CN105611169B - 图像获取方法和电子设备 - Google Patents
图像获取方法和电子设备 Download PDFInfo
- Publication number
- CN105611169B CN105611169B CN201511031595.8A CN201511031595A CN105611169B CN 105611169 B CN105611169 B CN 105611169B CN 201511031595 A CN201511031595 A CN 201511031595A CN 105611169 B CN105611169 B CN 105611169B
- Authority
- CN
- China
- Prior art keywords
- image
- electronic equipment
- benchmark
- information data
- posture information
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/698—Control of cameras or camera modules for achieving an enlarged field of view, e.g. panoramic image capture
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
- H04N23/682—Vibration or motion blur correction
- H04N23/684—Vibration or motion blur correction performed by controlling the image sensor readout, e.g. by controlling the integration time
- H04N23/6845—Vibration or motion blur correction performed by controlling the image sensor readout, e.g. by controlling the integration time by combination of a plurality of images sequentially taken
Abstract
本发明涉及一种图像获取方法和使用该图像获取方法的电子设备。所述图像获取方法应用于具有图像捕获单元的电子设备,所述图像捕获方法包括:捕获被摄场景的多个第一图像;感测并且记录捕获所述多个第一图像中的每个图像时,所述电子设备的姿态信息数据;以及基于所述姿态信息数据以及所述多个第一图像,拼接生成第二图像。
Description
技术领域
本发明涉及图像处理领域,更具体地,本发明涉及一种图像获取方法和使用该图像获取方法的电子设备。
背景技术
目前,已经出现在用户手持相机或具有图像拍摄功能的移动终端等电子设备时,通过旋转电子设备拍摄多个角度的图像,并且组合多个角度的图像以获得全景图像。全景图像包括诸如宽景、360度全景等。全景图像由于其视角宽广给观看者带来十分震撼的视觉效果,而受到用户的喜爱和广泛使用。
现有的全景图像生成方法主要简单地图像分析组合多个角度的图像,其处理速度慢,并且例如在生成场景中景物差别较小的全景图像时容易出现合成错误。因此,希望提供一种图像获取方法和使用该图像获取方法的电子设备,其能够更加迅速准确地获取全景图像,并且提高获得的图像质量。
发明内容
有鉴于上述情况,本发明提供了一种图像获取方法和使用该图像获取方法的电子设备。
根据本发明的一个实施例,提供了一种图像获取方法,应用于具有图像捕获单元的电子设备,所述图像捕获方法包括:捕获被摄场景的多个第一图像;感测并且记录捕获所述多个第一图像中的每个图像时,所述电子设备的姿态信息数据;以及基于所述姿态信息数据以及所述多个第一图像,拼接生成第二图像。
此外,根据本发明的一个实施例的图像获取方法,其中所述姿态信息数据包括所述电子设备的位置信息、角度信息、加速度信息中的一个或多个。
此外,根据本发明的一个实施例的图像获取方法,其中基于所述姿态信息数据以及所述多个第一图像,拼接生成第二图像包括:基于所述姿态信息数据,确定所述多个第一图像之间的相对位置关系信息;根据所述相对位置关系信息,确定所述多个第一图像在所述第二图像中所处位置信息;以及根据所述所处位置信息,拼接所述多个第一图像,以生成所述第二图像。
此外,根据本发明的一个实施例的图像获取方法,其中根据所述所处位置信息,拼接所述多个第一图像,以生成所述第二图像包括:在所述所处位置信息指示两个所述第一图像所处位置重叠的情况下,确定两个所述第一图像的重叠区域;根据预定比例,截取并且拼接两个所述第一图像。
此外,根据本发明的一个实施例的图像获取方法,其中所述第二图像是立体图像。
此外,根据本发明的一个实施例的图像获取方法,其中确定所述多个第一图像在所述第二图像中所处位置信息包括:基于所述相对位置关系信息,确定所述多个第一图像在所述第二图像中的立体坐标或立体角度。
此外,根据本发明的一个实施例的图像获取方法,其中基于所述姿态信息数据以及所述多个第一图像,拼接生成第二图像还包括:选择所述多个第一图像之一作为基准图像,所述多个第一图像中除所述基准图像外的其余图像为多个非基准图像;确定所述基准图像三轴空间坐标与所述多个非基准图像的每个的三轴空间坐标的偏差;选择所述偏差小于第一预定阈值的所述非基准图像为非基准拼接图像;以及拼接所述基准图像与所述非基准拼接图像,以生成所述第二图像。
此外,根据本发明的一个实施例的图像获取方法,其中在基于所述姿态信息数据,确定所述多个第一图像之间的相对位置关系信息之前,还包括:基于所述姿态信息数据,确定所述多个第一图像中的每个对应的所述电子设备的加速度;选择所述多个第一图像中其加速度小于第二预定阈值的第一图像。
此外,根据本发明的一个实施例的图像获取方法,其中拼接所述基准图像与所述非基准拼接图像,以生成所述第二图像包括:基于所述偏差,将所述非基准拼接图像转换为与捕获所述基准图像时相同三轴空间坐标下捕获的基准拼接图像,并且拼接所述基准图像与所述基准拼接图像,以生成所述第二图像。
根据本发明的另一实施例,提供了一种电子设备,包括:图像捕获单元,用于捕获被摄场景的多个第一图像;感测单元,用于感测并且记录所述图像捕获单元捕获所述多个第一图像中的每个图像时,所述电子设备的姿态信息数据;以及图像处理单元,用于基于所述姿态信息数据以及所述多个第一图像,拼接生成第二图像。
此外,根据本发明的另一个实施例的电子设备,其中所述姿态信息数据包括所述电子设备的位置信息、角度信息、加速度信息中的一个或多个。
此外,根据本发明的另一个实施例的电子设备,其中所述图像处理单元基于所述姿态信息数据,确定所述多个第一图像之间的相对位置关系信息;根据所述相对位置关系信息,确定所述多个第一图像在所述第二图像中所处位置信息;以及根据所述所处位置信息,拼接所述多个第一图像,以生成所述第二图像。
此外,根据本发明的另一个实施例的电子设备,其中在所述所处位置信息指示两个所述第一图像所处位置重叠的情况下,所述图像处理单元确定两个所述第一图像的重叠区域;根据预定比例,截取并且拼接两个所述第一图像。
此外,根据本发明的另一个实施例的电子设备,其中所述第二图像是立体图像。
此外,根据本发明的另一个实施例的电子设备,其中所述图像处理单元基于所述相对位置关系信息,确定所述多个第一图像在所述第二图像中的立体坐标或立体角度。
此外,根据本发明的另一个实施例的电子设备,其中所述图像处理单元选择所述多个第一图像之一作为基准图像,所述多个第一图像中除所述基准图像外的其余图像为多个非基准图像;确定所述基准图像三轴空间坐标与所述多个非基准图像的每个的三轴空间坐标的偏差;选择所述偏差小于第一预定阈值的所述非基准图像为非基准拼接图像;以及拼接所述基准图像与所述非基准拼接图像,以生成所述第二图像。
此外,根据本发明的另一个实施例的电子设备,其中所述图像处理单元基于所述姿态信息数据,确定所述多个第一图像中的每个对应的所述电子设备的加速度;选择所述多个第一图像中其加速度小于第二预定阈值的第一图像。
此外,根据本发明的另一个实施例的电子设备,其中所述图像处理单元基于所述偏差,将所述非基准拼接图像转换为与捕获所述基准图像时相同三轴空间坐标下捕获的基准拼接图像,并且拼接所述基准图像与所述基准拼接图像,以生成所述第二图像。
根据本发明实施例的图像获取方法和使用该图像获取方法的电子设备,其能够更加迅速准确地获取全景图像,并且提高获得的图像质量。
要理解的是,前面的一般描述和下面的详细描述两者都是示例性的,并且意图在于提供要求保护的技术的进一步说明。
附图说明
通过结合附图对本发明实施例进行更详细的描述,本发明的上述以及其它目的、特征和优势将变得更加明显。附图用来提供对本发明实施例的进一步理解,并且构成说明书的一部分,与本发明实施例一起用于解释本发明,并不构成对本发明的限制。在附图中,相同的参考标号通常代表相同部件或步骤。
图1是图示根据本发明实施例的电子设备的框图;
图2是图示根据本发明实施例的电子设备的示意图;
图3是图示根据本发明实施例的图像获取方法的概述流程图;
图4是图示根据本发明实施例的图像获取方法的第一示例流程图;
图5是进一步图示利用根据本发明实施例的图像获取方法获取图像的第一示意图;
图6是图示利用根据本发明实施例的图像获取方法获取图像的第二示意图;
图7A和7B是图示利用根据本发明实施例的图像获取方法获取图像的第三示意图;
图8是进一步图示根据本发明实施例的图像获取方法的第二示例流程图;
图9是图示利用根据本发明实施例的图像获取方法获取图像的第四示意图;
图10是进一步图示根据本发明实施例的图像获取方法的第三示例流程图;
图11是进一步图示根据本发明实施例的图像获取方法的第四示例流程图;以及
图12A和12B是图示利用根据本发明实施例的图像获取方法获取图像的第五示意图。
具体实施方式
下文中,将参照附图描述多个实施例、应用和修改。此外,下面描述的实施例是优选的特定示例,并且设置了技术上优选的各种限制,但是在以下描述中,本发明不限于这些实施例。
首先,将参照图1描述根据本发明实施例的电子设备。所述电子设备优选地例如是数字相机、数字摄像机、具有图像捕获功能的智能手机、平板电脑等。
如图1所示,根据本发明实施例的电子设备10具有图像捕获单元20、感测单元30和图像处理单元40。容易理解的是,图1中为了简化描述仅仅示出与本发明紧密相关的组件,根据本发明实施例的电子设备10当然还可以包括其它组件,诸如显示单元、存储单元、通信单元等。
具体地,图1所示的电子设备10中的图像捕获单元20捕获被摄场景的多个第一图像。在本发明的实施例中,可以使用电荷耦合器件(CCD)或者互补金属氧化物半导体(CMOS)图像传感器配置所述图像捕获单元20。在本发明的实施例中,可以在移动所述电子设备10的同时,通过所述图像捕获单元20连续捕获被摄场景的多个第一图像。通常,所述图像捕获单元20的捕获图像的视角范围(大约30度到50度)远窄于人的视角范围(大约150度到200度),因此在逐渐改变拍摄角的同时分别拍摄被摄场景的多个图像,将拍摄的多个图像相互拼接来创建单个图像,以获得其视角与人的视角相似或大于人的视角的全景图像。
所述感测单元30感测并且记录捕获所述多个第一图像中的每个图像时,所述电子设备10的姿态信息数据。在本发明的实施例中,所述姿态信息数据包括所述电子设备的位置信息、角度信息、加速度信息中的一个或多个。
如图2所示,所述电子设备10处于三轴空间坐标系(X,Y,Z)中,所述电子设备10可以绕Z轴旋转来改变所述图像捕获单元20的摇摆角,通过绕X轴旋转来改变相机所述图像捕获单元20的倾斜角,并且通过绕Y轴旋转来改变所述图像捕获单元20的旋转角。在此,Z轴是铅直轴(即,重力方向轴)。在图像捕获过程中,所述感测单元30感测所述电子设备10的位置信息、角度信息、加速度信息等。所述感测单元30可以包括诸如重力加速度传感器、地磁传感器和陀螺仪传感器等。
具体地,位置信息是所述电子设备10在三轴坐标系(X、Y、Z)中所处的位置坐标,可以通过诸如GPS配置的所述感测单元30获取。角度信息可以体现为所述电子设备10的朝向偏离预设方向的角度,例如可以体现为所述电子设备10相对于三轴坐标系X、Y和Z轴偏转的角度。角度信息可以通过由诸如罗盘、陀螺仪、重力传感器等传感器配置的所述感测单元30获取的参数进行计算后获得。在本发明的一个实施例中,所述感测单元30可以包括使用磁通门的磁通门地磁传感器,如果驱动信号被施加到缠绕各个磁通门芯的每一个驱动线圈,则通过该芯感生磁力。通过使用检测线圈检测第2阶谐波分量(其与外部磁场成比例),测量外部磁场的大小和方向。通过将当前测量的磁场的方向与先前测量的方向进行比较,感测旋转的角度和方向。在本发明的又一个实施例中,所述感测单元30可以包括陀螺仪传感器,陀螺仪传感器测量每一秒中的角度变化。具体地说,当物体移动时生成科里奥利力。陀螺仪传感器基于关于科里奥利力的公式,感测在惯性系统中动作的角速度。从而,感测旋转的角度和方向。例如在捕获某一第一图像姿态信息可以表示为(α,β,γ),其中α、β和γ分别为拍摄设备相对于X轴、Y轴和Z轴偏转的角度。此外,加速度信息可以通过由诸如加速度传感器配置的所述感测单元30直接获得,也可以对通过诸如角速度传感器获得的参数进行计算后获得。
所述图像处理单元40用于基于所述姿态信息数据以及所述多个第一图像,拼接生成第二图像。在本发明的实施例中,所述图像处理单元40可以是所述电子设备10的中央处理单元(CPU)。可替代地,所述图像处理单元40可以是所述电子设备10的专用图形处理单元(GPU)。在本发明的实施例中,所述第二图像为通过拼接所述多个第一图像生成的被摄场景的全景图像。更具体地,拼接所述多个第一图像生成的被摄场景的全景图像(即,所述第二图像)是沿水平方向延伸的普通全景图像。可替代地,所述第二图像是形成一个球面的360度球面全景图像,也就是说,所述第二图像是立体图像。需要理解的是,本发明不限于此。所述图像处理单元40可能与所述图像捕获单元20和感测单元30物理上分离,所述图像捕获单元20和所述感测单元30可以通过有线方式或者无线方式将其获取的所述多个第一图像数据以及捕获所述多个第一图像中的每个图像时所述电子设备10的姿态信息数据发送给所述图像处理单元40。
图3是图示根据本发明实施例的图像获取方法的概述流程图。如图3所示,根据本发明实施例的图像获取方法包括以下步骤。
在步骤S301中,捕获被摄场景的多个第一图像。如上所述,所述电子设备10中的所述图像捕获单元20捕获被摄场景的多个第一图像。此后,处理进到步骤S302。
在步骤S302中,感测并且记录捕获多个第一图像中的每个图像时,电子设备的姿态信息数据。如上所述,所述感测单元30感测并且记录捕获所述多个第一图像中的每个图像时,所述电子设备10的姿态信息数据。此后,处理进到步骤S303。
在步骤S303中,基于姿态信息数据以及多个第一图像,拼接生成第二图像。如上所述,所述图像处理单元40用于基于所述姿态信息数据以及所述多个第一图像,拼接生成第二图像。
在参照图1到3描述的根据本发明实施例的电子设备10及其图像获取方法中,通过配置所述感测单元30感测并且记录捕获所述多个第一图像中的每个图像时,所述电子设备10的姿态信息数据,并且由所述图像处理单元40基于所述姿态信息数据以及所述多个第一图像来拼接生成第二图像。与仅仅基于多个第一图像来拼接获得作为全景图像的第二图像的方式不同,根据本发明实施例的电子设备10通过进一步考虑捕获所述多个第一图像中的每个图像时所述电子设备10的姿态信息,能够更加迅速准确地获取全景图像,并且提高获得的图像质量。以下,将参照附图进一步详细描述由根据本发明实施例的电子设备10执行的图像获取方法。
第一示例
图4是图示根据本发明实施例的图像获取方法的第一示例流程图。如图4所示,图4是图示根据本发明实施例的图像获取方法的第一示例流程图包括以下步骤。
图4中的步骤S401和S402分别与参照图3描述的步骤S301和S302相同,在此将省略其重复描述。
在通过步骤S401和S402获得多个第一图像及其对应的姿态信息数据后,处理进到步骤S403。
在步骤S403中,基于姿态信息数据,确定多个第一图像之间的相对位置关系信息。在本发明的实施例中,由于在移动所述电子设备10的同时,通过所述图像捕获单元20连续捕获被摄场景的多个第一图像,所以获取的所述多个第一图像将对应到被摄场景的实际整体的全景图像的不同位置。所述多个第一图像之间的相互位置关系是由其被捕获时所述电子设备10的实际姿态所确定的。也就是说,在获取了姿态信息数据的情况下,基于所述姿态信息数据并且可选地考虑诸如所述图像捕获单元20的视场大小(例如,由景深、焦距等参数确定),可以确定所述图像捕获单元20在不同姿态下获取的多个第一图像之间的相互位置关系。此后,处理进到步骤S404。
在步骤S404中,根据相对位置关系信息,确定多个第一图像在第二图像中所处位置信息。在本发明的实施例中,通过在步骤S403中确定的多个第一图像之间的相互位置关系,可以进一步确定在由所述多个第一图像拼接获得的第二图像中,所述多个第一图像的每一个所处的具体位置信息。此后,处理进到步骤S405。
在步骤S405中,根据所处位置信息,拼接多个第一图像,以生成第二图像。在本发明的实施例中,由于在步骤S404中已经确定所述多个第一图像的每一个在要获取第二图像中所处的具体位置信息,因此可以直接执行拼接获取所述第二图像。容易理解的是,本发明不限于此,在执行拼接时,也可以诸如进一步考虑各个第一图像中的特征点,基于特征点之间的匹配以对所述多个第一图像执行微调和拼接。
在如上参照图4描述的根据本发明实施例的图像获取方法中,在执行多个第一图像的拼接以获得作为全景图像的第二图像的过程中,可以直接基于所述电子设备10执行图像捕获时的姿态信息确定所述多个第一图像在全景图像中的具体位置,从而与基于多个第一图像的具体图像数据分析来执行特征匹配的方法相比,更够大大地提高拼接的速度。此外,在所述多个第一图像为诸如湖面、雪景等相对单一场景的图像时,如果仅仅基于具体图像数据来获取特征点的拼接,则往往容易导致特征点获取的困难以及拼接的失准。而通过采用根据本发明实施例的图像获取方法,所述电子设备10执行图像捕获时的姿态信息将不会受到要捕获的场景本身的影响,从而能够确保拼接的准确性。
图5是进一步图示利用根据本发明实施例的图像获取方法获取图像的第一示意图。
如图5所示,所述图像捕获单元20连续捕获了多个第一图像50-1、50-2、…50-8…。如果仅通过分析多个第一图像50-1、50-2、…50-8的图像数据来执行拼接,则需要分析多个第一图像50-1、50-2、…50-8两两相互之间的图像特征,以获取适当的特征匹配,这将需要大量的计算分析资源,并且容易出现失配错误。通过采用基于姿态信息数据,确定多个第一图像50-1、50-2、…50-8之间的相对位置关系信息从而获得多个第一图像50-1、50-2、…50-8在第二图像中所处位置信息,能够快速和准确地拼接所述多个第一图像50-1、50-2、…50-8获得所述第二图像50。
图6是图示利用根据本发明实施例的图像获取方法获取图像的第二示意图。
如图6所示,在所述图像捕获单元20在其所处的三轴坐标系统中围绕各个坐标轴(X,Y,Z)旋转以执行图像捕获的情况下,通过基于相对于X轴、Y轴和Z轴偏转的角度(α,β,γ),确定多个第一图像60-1、…60-n、61-1、…61-m…63、64在第二图像中的空间相对位置,拼接生成第二图像60(即,球面全景图像)。
图7A和7B是图示利用根据本发明实施例的图像获取方法获取图像的第三示意图。
在如图5和图6所示的全景图像的第一和第二示例中,为了描述的清楚,各个第一图像50-1、50-2、…50-8以及60-1、…60-n、61-1、…61-m…63、64没有示出存在重叠区域。而实际上,在移动所述电子设备10以捕获多个第一图像的过程中,取决于所述电子设备10的移动幅度,捕获多个第一图像在拼接时会存在重叠区域。
具体地,如图7A所示,基于所述电子设备10的姿态信息,确定第一图像71和第一图像72在拼接时存在重叠区域73。进一步地,如图7B所示,根据预定比例,截取并且拼接两个所述第一图像。在本发明的一个实施例中,所述预定比例例如为50%。也就是说,重叠区域73’由所述第一图像71’和第一图像72’分别提供50%。如此,由于通常所述图像捕获单元20在其获取图像的边缘区域会出现由于畸变等导致的图像劣化,通过在重叠区域减少所需的第一图像的比例,提高了获取的第二图像的图像质量。
第二示例
图8是进一步图示根据本发明实施例的图像获取方法的第二示例流程图。图8所示的根据本发明实施例的图像获取方法的第二示例应用于生成沿水平方向延伸的普通全景图像。如图8所示,根据本发明实施例的图像获取方法的第二示例包括以下步骤。
图8中的步骤S801和S802分别与参照图3描述的步骤S301和S302相同,在此将省略其重复描述。
在通过步骤S801和S802获得多个第一图像及其对应的姿态信息数据后,处理进到步骤S803。
在步骤S803中,选择多个第一图像之一作为基准图像,多个第一图像中除基准图像外的其余图像为多个非基准图像。在本发明的一个实施例中,可以选择最早捕获的第一图像作为基准图像,而将除了该最早捕获的第一图像外的其余图像为多个非基准图像。此后,处理进到步骤S804。
在步骤S804中,确定基准图像三轴空间坐标与多个非基准图像的每个的三轴空间坐标的偏差。此后,处理进到步骤S805。
在步骤S805中,选择偏差小于第一预定阈值的非基准图像为非基准拼接图像。在本发明的一个实施例中,预先设置所述第一预定阈值。在获得基准图像三轴空间坐标与多个非基准图像的每个的三轴空间坐标的偏差后,如果所述偏差大于预先设置的所述第一预定阈值,则指示捕获与此偏差对应的非基准图像时所述电子设备10的姿态与捕获基准图像时所述电子设备10的姿态有着显著差别。例如,在生成沿水平方向延伸的普通全景图像的场景中,捕获与此偏差对应的非基准图像时所述电子设备10在与水平方向垂直的方向上存在明显的俯仰,使得此时捕获的非基准图像不适于拼接以获取沿水平方向延伸的普通全景图像,从而除去该与此偏差对应的非基准图像。另一方面,剩余的满足偏差小于第一预定阈值的非基准图像为非基准拼接图像。此后,处理进到步骤S806。
在步骤S806中,拼接基准图像与非基准拼接图像,以生成第二图像。
图9是图示利用根据本发明实施例的图像获取方法获取图像的第四示意图。图9所示的图像的第四示意图对应于参照图8描述的根据本发明实施例的图像获取方法的第二示例。
如图9所示,选择第一图像90作为基准图像。进一步地,确定基准图像90的三轴空间坐标与多个非基准图像的每个的三轴空间坐标的偏差。容易理解的是,为了便于清楚描述,图9中仅示出两个非基准图像91和92,并且仅示出非基准图像91和92与基准图像90的三轴空间坐标在单个维度上的偏差D1和D2。然而,本发明不限于此,而是可以包括多个非基准图像,并且基准图像与多个非基准图像的每个的三轴空间坐标的偏差可以是多个维度上的偏差的矢量和。
具体地,基准图像90与非基准图像91的三轴空间坐标的偏差为D1,基准图像90与非基准图像92的三轴空间坐标的偏差为D2,预先设置的第一预定阈值为D0。将D1和D2分别与D0进行比较,确定D1为小于D0,而D2为大于D0,那么将非基准图像91确定为非基准拼接图像,并且舍去与D2对应的非基准图像92。
如上参照图8和图9描述的根据本发明实施例的图像获取方法的第二示例是在捕获了多个第一图像之后,基于捕获所述多个第一图像时所述电子设备10的三轴空间坐标舍去出现明显偏差的第一图像,从而实现了对于所述电子设备10执行拍摄时的异常偏移的消除。
本发明不限于此,在本发明的另一实施例中,可以基于捕获所述多个第一图像时所述电子设备10的三轴空间坐标,实时提示用户出现所述电子设备10的异常偏移。具体地,在捕获第一帧第一图像时,将捕获所述第一帧第一图像时所述电子设备10的三轴空间坐标作为基准坐标。此后,在捕获随后帧的第一图像的同时,将所述电子设备10的实时三轴空间坐标与所述基准坐标进行比较,以获得实时三轴空间坐标与所述基准坐标的坐标偏差。在所述坐标偏差大于预定报警偏差的情况下,通过发出报警声音和/或显示报警图像的方式提示用户出现所述电子设备10的异常偏移。如果所述电子设备10的配置有用于实时显示拍摄场景的显示单元,则可以在所述显示单元显示指示所述电子设备10的姿态所需要调整的方向。
第三示例
图10是进一步图示根据本发明实施例的图像获取方法的第三示例流程图。图10所示的根据本发明实施例的图像获取方法的第三示例应用于基于所述电子设备10捕获图像时的加速度信息执行用于拼接的图像选择。如图10所示,根据本发明实施例的图像获取方法的第三示例包括以下步骤。
图10中的步骤S1001和S1002分别与参照图3描述的步骤S301和S302相同,在此将省略其重复描述。
在通过步骤S1001和S1002获得多个第一图像及其对应的姿态信息数据后,处理进到步骤S1003。
在步骤S1003中,基于姿态信息数据,确定第一数目的第一图像中的每个对应的电子设备的加速度。如上所述,所述感测单元20可以包括用于测量所述电子设备10的加速度的加速度传感器,用于确定捕获每个第一图像时所述电子设备10的加速度。此后,处理进到步骤S1004。
在步骤S1004中,选择第一数目的第一图像中其加速度小于第二预定阈值的第二数目的第一图像。在本发明的实施例中,基于所述电子设备10的图像捕获单元20的性能参数,预先确定所述第二预定阈值。所述第二预定阈值是所述电子设备10的图像捕获单元20能够捕获清晰图像的最大加速度。如果所述图像捕获单元20捕获图像时,所述电子设备10的加速度大于所述第二预定阈值,则此时捕获的图像可能由于所述电子设备10的迅速移动而出现模糊。因此,通过将每个第一图像所对应的所述电子设备10的加速度与所述第二预定阈值比较,选择小于是第二预定阈值的第二数目的第一图像,即选择满足清晰度条件的所述第二数目的第一图像用于拼接。此后,处理进到步骤S1005。
在步骤S1005中,基于姿态信息数据以及第二数目的第一图像,拼接生成第二图像。容易理解的是,在步骤S1005中可以基于以上参照图4描述的步骤S403到步骤S405执行所述第二数目的第一图像的拼接。此外,在通过步骤S1003基于加速度执行所述第一图像的选择后,还可以基于以上参照图8的描述的步骤S803到步骤S805进一步执行基于基准图像与非基准图像之间坐标偏差的图像选择。
第四示例
图11是进一步图示根据本发明实施例的图像获取方法的第四示例流程图。图11所示的根据本发明实施例的图像获取方法的第四示例应用于基于所述电子设备10捕获图像时的三轴空间坐标,补偿所述电子设备10捕获图像时的偏移。
图11中的步骤S1101到S1105分别与参照图8描述的步骤S801到S805相同,在此将省略其重复描述。
在步骤S1105中获得偏差小于第一预定阈值的非基准图像为非基准拼接图像之后,处理进到步骤S1106。
在步骤S1106中,基于偏差,将非基准拼接图像转换为与捕获基准图像时相同三轴空间坐标下捕获的基准拼接图像。例如,确定非基准拼接图像对应的姿态信息中相对于基准图像的Z轴偏转角度Δγ,其对应于电子设备10在捕获图像过程中相对于Z轴发生倾斜的情况。类似地,确定非基准拼接图像对应的姿态信息中相对于基准图像的X轴偏转角度Δα,其对应于电子设备10在捕获图像过程中相对于X轴发生倾斜的情况;确定非基准拼接图像对应的姿态信息中相对于基准图像的Y轴偏转角度Δβ,其对应于电子设备10在捕获图像过程中相对于Y轴发生倾斜的情况。基于确定的偏差,在图像所在平面上执行相应的旋转补偿,从而将非基准拼接图像转换为与捕获基准图像时相同三轴空间坐标下捕获的基准拼接图像。
此外,在对非基准拼接图像进行旋转补偿之前,首先判断该非基准拼接图像对应的姿态信息中相对于X、Y、Z轴的角度是否超过预设范围,如果没有超过预设范围,则说明捕获该非基准拼接图像时所述电子设备10的倾斜程度在可接受范围内,无需进行旋转校正。此后,处理进到步骤S1107。
在步骤S1107中,拼接基准图像与基准拼接图像,以生成第二图像。
图12A和12B是图示利用根据本发明实施例的图像获取方法获取图像的第五示意图。图12A和12B所示的图像的第五示意图对应于参照图11描述的根据本发明实施例的图像获取方法的第四示例。
如图12A所示,第一图像1200为基准图像,第一图像1201和1202为非基准拼接图像。
如图12B所示,通过基于捕获第一图像1201和1202与捕获第一图像1200时所述电子设备10的偏差,将第一图像1201和1202转换为与捕获基准图像1200时相同三轴空间坐标下捕获的基准拼接图像1201’和1202’。如此,对于所述电子设备10捕获多个第一图像时的偏移实现了补偿。
以上,参照图1到图12B描述了图像获取方法和使用该图像获取方法的电子设备,其能够更加迅速准确地获取全景图像,并且提高获得的图像质量。也就是说,与仅仅基于多个第一图像来拼接获得作为全景图像的第二图像的方式不同,根据本发明实施例的电子设备10通过进一步考虑捕获所述多个第一图像中的每个图像时所述电子设备10的姿态信息,能够更加迅速准确地获取全景图像,并且提高获得的图像质量。此外,采用根据本发明实施例的图像获取方法,将不会受到要捕获的场景本身的影响,避免了捕获诸如湖面、雪景等相对单一场景的图像时,容易出现特征点获取的困难以及拼接的失准。进一步地,采用根据本发明实施例的图像获取方法,避免了拼接合成全景图像时图像的边缘由于畸变等导致的图像劣化。更进一步地,采用根据本发明实施例的图像获取方法,实现了对于所述电子设备执行拍摄时的异常偏移的消除。更进一步地,采用根据本发明实施例的图像获取方法,基于确定的偏差,将非基准拼接图像转换为与捕获基准图像时相同三轴空间坐标下捕获的基准拼接图像,实现了对于所述电子设备捕获多个第一图像时的偏移的补偿。
需要说明的是,在本说明书中,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
最后,还需要说明的是,上述一系列处理不仅包括以这里所述的顺序按时间序列执行的处理,而且包括并行或分别地、而不是按时间顺序执行的处理。
通过以上的实施方式的描述,本领域的技术人员可以清楚地了解到本发明可借助软件加必需的硬件平台的方式来实现,当然也可以全部通过硬件来实施。基于这样的理解,本发明的技术方案对背景技术做出贡献的全部或者部分可以以软件产品的形式体现出来,该计算机软件产品可以存储在存储介质中,如ROM/RAM、磁碟、光盘等,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行本发明各个实施例或者实施例的某些部分所述的方法。
以上对本发明进行了详细介绍,本文中应用了具体个例对本发明的原理及实施方式进行了阐述,以上实施例的说明只是用于帮助理解本发明的方法及其核心思想;同时,对于本领域的一般技术人员,依据本发明的思想,在具体实施方式及应用范围上均会有改变之处,综上所述,本说明书内容不应理解为对本发明的限制。
Claims (16)
1.一种图像获取方法,应用于具有图像捕获单元的电子设备,其中,所述电子设备通过绕多个方向旋转来使所述图像捕获单元捕获多个方向上的图像,所述图像捕获方法包括:
捕获被摄场景的多个第一图像;
感测并且记录捕获所述多个第一图像中的每个图像时,所述电子设备的姿态信息数据;以及
基于所述姿态信息数据以及所述多个第一图像,拼接生成第二图像;
其中基于所述姿态信息数据以及所述多个第一图像,拼接生成第二图像包括:
基于所述姿态信息数据,确定所述多个第一图像之间的相对位置关系信息;
根据所述相对位置关系信息,确定所述多个第一图像在所述第二图像中所处位置信息;以及根据所述所处位置信息,拼接所述多个第一图像,以生成所述第二图像;
其中根据所述所处位置信息,拼接所述多个第一图像,以生成所述第二图像包括:
在所述所处位置信息指示两个所述第一图像所处位置重叠的情况下,确定两个所述第一图像的重叠区域;
根据预定比例,截取并且拼接两个所述第一图像。
2.如权利要求1所述的图像获取方法,其中所述姿态信息数据包括位置信息、角度信息、加速度信息中的一个或多个。
3.如权利要求1所述的图像获取方法,其中在基于所述姿态信息数据,确定所述多个第一图像之间的相对位置关系信息之前,还包括:
基于所述姿态信息数据,确定所述多个第一图像中的每个对应的所述电子设备的加速度;
选择所述多个第一图像中其加速度小于第二预定阈值的第一图像。
4.如权利要求3所述的图像获取方法,其中所述第二图像是立体图像。
5.如权利要求4所述的图像获取方法,其中确定所述多个第一图像在所述第二图像中所处位置信息包括:
基于所述相对位置关系信息,确定所述多个第一图像在所述第二图像中的立体坐标或立体角度。
6.一种图像获取方法,应用于具有图像捕获单元的电子设备,所述图像捕获方法包括:
捕获被摄场景的多个第一图像;
感测并且记录捕获所述多个第一图像中的每个图像时,所述电子设备的姿态信息数据;以及
基于所述姿态信息数据以及所述多个第一图像,拼接生成第二图像;其中基于所述姿态信息数据以及所述多个第一图像,拼接生成第二图像包括:
选择所述多个第一图像之一作为基准图像,所述多个第一图像中除所述基准图像外的其余图像为多个非基准图像;
确定所述基准图像三轴空间坐标与所述多个非基准图像的每个的三轴空间坐标的偏差;
选择所述偏差小于第一预定阈值的所述非基准图像为非基准拼接图像;以及
拼接所述基准图像与所述非基准拼接图像,以生成所述第二图像。
7.如权利要求6所述的图像获取方法,其中所述姿态信息数据包括位置信息、角度信息、加速度信息中的一个或多个。
8.如权利要求6所述的图像获取方法,其中拼接所述基准图像与所述非基准拼接图像,以生成所述第二图像包括:
基于所述偏差,将所述非基准拼接图像转换为与捕获所述基准图像时相同三轴空间坐标下捕获的基准拼接图像,并且拼接所述基准图像与所述基准拼接图像,以生成所述第二图像。
9.一种电子设备,包括:
图像捕获单元,用于捕获被摄场景的多个第一图像,其中,所述电子设备通过绕多个方向旋转来使所述图像捕获单元捕获多个方向上的多个第一图像;
感测单元,用于感测并且记录所述图像捕获单元捕获所述多个第一图像中的每个图像时,所述电子设备的姿态信息数据;以及
图像处理单元,用于基于所述姿态信息数据以及所述多个第一图像,拼接生成第二图像;
其中所述图像处理单元基于所述姿态信息数据,确定所述多个第一图像之间的相对位置关系信息;
根据所述相对位置关系信息,确定所述多个第一图像在所述第二图像中所处位置信息;以及
根据所述所处位置信息,拼接所述多个第一图像,以生成所述第二图像,其中在所述所处位置信息指示两个所述第一图像所处位置重叠的情况下,所述图像处理单元确定两个所述第一图像的重叠区域;根据预定比例,截取并且拼接两个所述第一图像。
10.如权利要求9所述的电子设备,其中所述姿态信息数据包括所述电子设备的位置信息、角度信息、加速度信息中的一个或多个。
11.如权利要求9所述的电子设备,其中所述图像处理单元基于所述姿态信息数据,确定所述多个第一图像中的每个对应的所述电子设备的加速度;选择所述多个第一图像中其加速度小于第二预定阈值的第一图像。
12.如权利要求11所述的电子设备,其中所述第二图像是立体图像。
13.如权利要求12所述的电子设备,其中所述图像处理单元基于所述相对位置关系信息,确定所述多个第一图像在所述第二图像中的立体坐标或立体角度。
14.一种电子设备,包括:
图像捕获单元,用于捕获被摄场景的多个第一图像;
感测单元,用于感测并且记录所述图像捕获单元捕获所述多个第一图像中的每个图像时,所述电子设备的姿态信息数据;以及
图像处理单元,用于基于所述姿态信息数据以及所述多个第一图像,拼接生成第二图像;
其中所述图像处理单元选择所述多个第一图像之一作为基准图像,所述多个第一图像中除所述基准图像外的其余图像为多个非基准图像;
确定所述基准图像三轴空间坐标与所述多个非基准图像的每个的三轴空间坐标的偏差;
选择所述偏差小于第一预定阈值的所述非基准图像为非基准拼接图像;以及
拼接所述基准图像与所述非基准拼接图像,以生成所述第二图像。
15.如权利要求14所述的电子设备,其中所述姿态信息数据包括所述电子设备的位置信息、角度信息、加速度信息中的一个或多个。
16.如权利要求14所述的电子设备,其中所述图像处理单元基于所述偏差,将所述非基准拼接图像转换为与捕获所述基准图像时相同三轴空间坐标下捕获的基准拼接图像,并且拼接所述基准图像与所述基准拼接图像,以生成所述第二图像。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201511031595.8A CN105611169B (zh) | 2015-12-31 | 2015-12-31 | 图像获取方法和电子设备 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201511031595.8A CN105611169B (zh) | 2015-12-31 | 2015-12-31 | 图像获取方法和电子设备 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN105611169A CN105611169A (zh) | 2016-05-25 |
CN105611169B true CN105611169B (zh) | 2019-06-25 |
Family
ID=55990682
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201511031595.8A Active CN105611169B (zh) | 2015-12-31 | 2015-12-31 | 图像获取方法和电子设备 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN105611169B (zh) |
Families Citing this family (12)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN106506795A (zh) * | 2016-09-13 | 2017-03-15 | 努比亚技术有限公司 | 一种移动终端及图片处理方法 |
CN106791422A (zh) * | 2016-12-30 | 2017-05-31 | 维沃移动通信有限公司 | 一种图像处理方法及移动终端 |
CN109698903A (zh) * | 2017-10-24 | 2019-04-30 | 富泰华工业(深圳)有限公司 | 图像获取方法及图像获取装置 |
JP7031280B2 (ja) * | 2017-12-18 | 2022-03-08 | 株式会社リコー | 画像処理装置、画像処理システムおよびプログラム |
CN109076158A (zh) * | 2017-12-22 | 2018-12-21 | 深圳市大疆创新科技有限公司 | 全景拍照方法、拍照设备及机器可读存储介质 |
CN109918464B (zh) * | 2019-02-26 | 2022-09-02 | 东软睿驰汽车技术(沈阳)有限公司 | 一种点云地图的存储方法及装置和调用方法及装置 |
CN111105347B (zh) * | 2019-11-19 | 2020-11-13 | 贝壳找房(北京)科技有限公司 | 一种生成带深度信息的全景图的方法、装置及存储介质 |
US11055835B2 (en) | 2019-11-19 | 2021-07-06 | Ke.com (Beijing) Technology, Co., Ltd. | Method and device for generating virtual reality data |
CN111402136B (zh) * | 2020-03-19 | 2023-12-15 | 如你所视(北京)科技有限公司 | 全景图生成方法、装置、计算机可读存储介质及电子设备 |
CN111787232B (zh) * | 2020-08-03 | 2022-05-17 | 海能达通信股份有限公司 | 基于云台摄像机的图像处理方法、设备及存储介质 |
CN113781393B (zh) * | 2021-08-04 | 2023-12-26 | 深圳市鑫信腾科技股份有限公司 | 屏幕缺陷检测方法、装置、设备及存储介质 |
CN113934495A (zh) * | 2021-10-14 | 2022-01-14 | 北京自如信息科技有限公司 | 一种移动端图像环视方法、系统和移动设备 |
Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103176347A (zh) * | 2011-12-22 | 2013-06-26 | 百度在线网络技术(北京)有限公司 | 全景图拍摄方法及拍摄装置和电子设备 |
CN103530799A (zh) * | 2013-10-22 | 2014-01-22 | 惠州Tcl移动通信有限公司 | 根据3d图库实现掌上看房的浏览方法及3d看房系统 |
CN103985103A (zh) * | 2013-02-07 | 2014-08-13 | 百度在线网络技术(北京)有限公司 | 一种生成全景图片的方法和装置 |
CN204046707U (zh) * | 2014-01-10 | 2014-12-24 | 重庆路威科技发展有限公司 | 一种便携式场景拍照装置 |
CN104599247A (zh) * | 2015-01-04 | 2015-05-06 | 深圳市腾讯计算机系统有限公司 | 图像校正方法及装置 |
CN104954671A (zh) * | 2015-05-27 | 2015-09-30 | 广东欧珀移动通信有限公司 | 全景摄像的方法及装置 |
CN105144230A (zh) * | 2013-04-30 | 2015-12-09 | 索尼公司 | 图像处理设备、图像处理方法和程序 |
-
2015
- 2015-12-31 CN CN201511031595.8A patent/CN105611169B/zh active Active
Patent Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103176347A (zh) * | 2011-12-22 | 2013-06-26 | 百度在线网络技术(北京)有限公司 | 全景图拍摄方法及拍摄装置和电子设备 |
CN103985103A (zh) * | 2013-02-07 | 2014-08-13 | 百度在线网络技术(北京)有限公司 | 一种生成全景图片的方法和装置 |
CN105144230A (zh) * | 2013-04-30 | 2015-12-09 | 索尼公司 | 图像处理设备、图像处理方法和程序 |
CN103530799A (zh) * | 2013-10-22 | 2014-01-22 | 惠州Tcl移动通信有限公司 | 根据3d图库实现掌上看房的浏览方法及3d看房系统 |
CN204046707U (zh) * | 2014-01-10 | 2014-12-24 | 重庆路威科技发展有限公司 | 一种便携式场景拍照装置 |
CN104599247A (zh) * | 2015-01-04 | 2015-05-06 | 深圳市腾讯计算机系统有限公司 | 图像校正方法及装置 |
CN104954671A (zh) * | 2015-05-27 | 2015-09-30 | 广东欧珀移动通信有限公司 | 全景摄像的方法及装置 |
Also Published As
Publication number | Publication date |
---|---|
CN105611169A (zh) | 2016-05-25 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN105611169B (zh) | 图像获取方法和电子设备 | |
CN106525074B (zh) | 一种云台漂移的补偿方法、装置、云台和无人机 | |
JP5299054B2 (ja) | 電子機器、表示制御方法およびプログラム | |
TWI457854B (zh) | 根據相關元資料之數位影像的捕捉與顯示 | |
US9516223B2 (en) | Motion-based image stitching | |
EP1628474A2 (en) | Image pickup device and method for panoramic imaging | |
KR20140000205A (ko) | 화상 처리 장치, 촬상 장치 및 화상 처리 방법과 프로그램 | |
EP3296952B1 (en) | Method and device for blurring a virtual object in a video | |
JP2002054912A (ja) | 形状計測システムと撮像装置と形状計測方法及び記録媒体 | |
US11758084B2 (en) | Systems and methods for generating panoramic visual content | |
CN110049246A (zh) | 电子设备的视频防抖方法、装置和电子设备 | |
EP3275182B1 (en) | Methods and systems for light field augmented reality/virtual reality on mobile devices | |
JP2022058658A (ja) | 画像の鮮鋭レベルを表わす位置合わせ誤差マップを得るための装置および方法 | |
CN110119189A (zh) | Slam系统的初始化、ar控制方法、装置和系统 | |
CN103632627B (zh) | 信息显示方法、装置及移动导览电子设备 | |
JP2013068482A (ja) | 方位補正システム、端末装置、サーバ装置、方位補正方法及びプログラム | |
JP2013205419A (ja) | 携帯型撮影装置 | |
JP6373046B2 (ja) | 携帯型撮影装置及び撮影プログラム | |
Gat et al. | Fusing image data with location and orientation sensor data streams for consumer video applications | |
JP5373140B2 (ja) | 携帯型撮影装置及び撮影プログラム | |
JP6813046B2 (ja) | 像流れ補正装置、像流れ補正方法及びプログラム | |
JP2011191186A (ja) | 3次元変化検出装置 | |
JP2020181059A (ja) | 撮像装置及びその制御方法、姿勢角算出装置、プログラム、記憶媒体 | |
CN116170689A (zh) | 视频生成方法、装置、计算机设备和存储介质 | |
Derrouich et al. | A Combination of Monocular CCD Camera and Inertial-sensor as Hybrid Vision Inertial-Navigation For Range Estimation |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |