CN113132709A - 一种双目测距装置、双目测距方法及电子设备 - Google Patents
一种双目测距装置、双目测距方法及电子设备 Download PDFInfo
- Publication number
- CN113132709A CN113132709A CN201911422718.9A CN201911422718A CN113132709A CN 113132709 A CN113132709 A CN 113132709A CN 201911422718 A CN201911422718 A CN 201911422718A CN 113132709 A CN113132709 A CN 113132709A
- Authority
- CN
- China
- Prior art keywords
- image
- lens
- light
- target
- emergent
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/20—Image signal generators
- H04N13/204—Image signal generators using stereoscopic image cameras
- H04N13/239—Image signal generators using stereoscopic image cameras using two 2D image sensors having a relative position equal to or related to the interocular distance
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
- G01B11/00—Measuring arrangements characterised by the use of optical techniques
- G01B11/14—Measuring arrangements characterised by the use of optical techniques for measuring distance or clearance between spaced objects or spaced apertures
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
- G01C11/00—Photogrammetry or videogrammetry, e.g. stereogrammetry; Photographic surveying
- G01C11/04—Interpretation of pictures
- G01C11/06—Interpretation of pictures by comparison of two or more pictures of the same area
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
- G01C3/00—Measuring distances in line of sight; Optical rangefinders
- G01C3/10—Measuring distances in line of sight; Optical rangefinders using a parallactic triangle with variable angles and a base of fixed length in the observation station, e.g. in the instrument
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/20—Image signal generators
- H04N13/271—Image signal generators wherein the generated image signals comprise depth maps or disparity maps
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/20—Image signal generators
- H04N13/296—Synchronisation thereof; Control thereof
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Signal Processing (AREA)
- Radar, Positioning & Navigation (AREA)
- Remote Sensing (AREA)
- Electromagnetism (AREA)
- Studio Devices (AREA)
- Measurement Of Optical Distance (AREA)
Abstract
本发明涉及拍摄技术领域,提供一种双目测距装置、双目测距方法及电子设备,以解决图像传感器获取的数据画面不同步,导致图像接收时延的问题。双目测距装置包括:第一镜头组件,目标对象对应的第一入射光线经过第一镜头组件后具有第一出射光线;第二镜头组件,目标对象对应的第二入射光线经过第二镜头组件后具有第二出射光线;图像传感器,采集目标图像,目标图像中包括第一出射光线对应的第一图像和第二出射光线对应的第二图像;图像处理模块,基于目标图像识别第一图像和第二图像,并利用第一图像和第二图像计算目标对象与双目测距装置之间的距离。这样,图像传感器能够同时获取包括第一图像和第二图像的目标图像,能够减少图像获取的时延。
Description
技术领域
本发明涉及拍摄技术领域,尤其涉及一种双目测距装置、双目测距方法及电子设备。
背景技术
随着拍摄技术的发展,双目相机逐渐普及。通过双目相机进行测距,能够进一步获取图像的深度信息。双目相机测距的原理是基于双目相机获得的图像,利用双目视差原理,计算出双目相机所拍摄到的物体相对于相机的三维空间位置。
现有技术中的双目视觉摄像装置,包括左右两个镜头和对应的两个图像传感器,通过将左右两个镜头的图像传送给对应的两个图像传感器,进行图像处理。然而,由于两个图像传感器获取的数据画面不同步,容易存在图像接收时延的问题。
发明内容
本发明实施例提供一种双目测距装置、双目测距方法及电子设备,以解决图像传感器获取的数据画面不同步,导致图像接收时延的问题。
为了解决上述技术问题,本发明是这样实现的:
第一方面,本发明实施例提供了一种双目测距装置,包括:
第一镜头,目标对象对应的第一入射光线经过所述第一镜头组件后具有第一出射光线;
第二镜头,所述目标对象对应的第二入射光线经过所述第二镜头组件后具有第二出射光线;
图像传感器,所述图像传感器采集目标图像,所述目标图像中包括所述第一出射光线对应的第一图像和所述第二出射光线对应的第二图像;
图像处理模块,基于所述目标图像识别所述第一图像和所述第二图像,并利用所述第一图像和所述第二图像,计算所述目标对象与所述双目测距装置之间的距离。
第二方面,本发明实施例还提供一种电子设备,包括如上所述的双目测距装置。
第三方面,本发明实施例还提供一种双目测距方法,应用于电子设备,所述电子设备包括第一镜头组件、第二镜头组件和图像传感器,所述方法包括:
通过所述图像传感器采集包括第一图像和第二图像的目标图像,所述第一图像为通过所述第一镜头组件获取的包括目标对象的图像,所述第二图像为通过所述第二镜头组件获取的包括所述目标对象的图像;
基于所述目标图像,识别所述第一图像和所述第二图像;
利用所述第一图像和所述第二图像,计算所述目标对象与所述电子设备之间的距离。
第四方面,本发明实施例还提供一种电子设备,所述电子设备包括第一镜头组件、第二镜头组件和图像传感器,所述电子设备包括:
采集模块,用于通过所述图像传感器采集包括第一图像和第二图像的目标图像,所述第一图像为通过所述第一镜头组件获取的包括目标对象的图像,所述第二图像为通过所述第二镜头组件获取的包括所述目标对象的图像;
识别模块,用于基于所述目标图像,识别所述第一图像和所述第二图像;
计算模块,用于利用所述第一图像和所述第二图像,计算所述目标对象与所述电子设备之间的距离。
可选的,所述计算模块包括:
识别子模块,用于在所述第一图像中识别与第一预设图像的特征匹配的第一目标图像,并在所述第二图像中识别与所述第一预设图像的特征匹配的第二目标图像,其中,所述第一目标图像和所述第二目标图像中均包含目标对象的图像;
计算子模块,用于利用所述第一目标图像和所述第二目标图像,计算所述目标对象与所述电子设备之间的距离。
可选的,所述识别子模块具体用于:
将所述第一图像和所述第二图像分别与所述第一预设图像进行对比,所述第一预设图像为基于第二预设图像采用预设算法生成的图像;
在所述第一图像和所述第二图像中,识别与所述第一预设图像的特征匹配的所述第一目标图像和所述第二目标图像。
可选的,所述双目测距装置还包括发光模块,所述电子设备还包括:
发射模块,用于在检测到环境光线的强度小于预设光强度值的情况下,控制所述发光模块发射光线。
第五方面,本发明实施例还提供一种电子设备,包括:存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,所述处理器执行所述计算机程序时实现如上所述的双目测距方法中的步骤。
第六方面,本发明实施例还提供一种计算机可读存储介质,所述计算机可读存储介质上存储计算机程序,所述计算机程序被处理器执行时实现如上所述的双目测距方法中的步骤。
本发明实施例中,双目测距装置包括:第一镜头组件,目标对象对应的第一入射光线经过所述第一镜头组件后具有第一出射光线;第二镜头组件,所述目标对象对应的第二入射光线经过所述第二镜头组件后具有第二出射光线;图像传感器,所述图像传感器采集目标图像,所述目标图像中包括所述第一出射光线对应的第一图像和所述第二出射光线对应的第二图像;图像处理模块,基于所述目标图像识别所述第一图像和所述第二图像,并利用所述第一图像和所述第二图像,计算所述目标对象与所述双目测距装置之间的距离。这样,图像传感器能够同时获取包括第一图像和第二图像的目标图像,从而基于目标图像计算目标对象与双目测距装置之间的距离,能够减少图像获取的时延。
附图说明
为了更清楚地说明本发明实施例的技术方案,下面将对本发明实施例描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动性的前提下,还可以根据这些附图获得其他的附图。
图1是本发明实施例提供的双目测距装置的结构图;
图2是本发明实施例提供的双目测距装置的三视图;
图3是本发明实施例提供的双目测距方法的流程图;
图4是本发明实施例提供的目标图像的分割示意图;
图5是本发明实施例提供的双目测距装置的三维坐标系;
图6是本发明实施例提供的图像特征识别的流程图;
图7是本发明实施例提供的电子设备的结构图之一;
图8是本发明实施例提供的电子设备的结构图之二;
图9是本发明实施例提供的电子设备的结构图之三。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
参见图1,图1是本发明实施例提供的双目测距装置的结构图,如图1所示,双目测距装置包括:
第一镜头组件1,目标对象对应的第一入射光线经过所述第一镜头组件1后具有第一出射光线;
第二镜头组件2,所述目标对象对应的第二入射光线经过所述第二镜头组件2后具有第二出射光线;
图像传感器3,所述图像传感器3采集目标图像,所述目标图像中包括所述第一出射光线对应的第一图像和所述第二出射光线对应的第二图像;
图像处理模块4,基于所述目标图像识别所述第一图像和所述第二图像,并利用所述第一图像和所述第二图像,计算所述目标对象与所述双目测距装置之间的距离。
目标对象可以是待拍摄的对象,目标对象对应的第一入射光线和第二入射光线分别射至第一镜头组件1和第二镜头组件2,从第一镜头组件1射出的第一出射光线和从第二镜头组件2射出的第二出射光线均射至同一图像传感器,该图像传感器3可以获取包括第一图像和第二图像的目标图像。
上述第一镜头组件和第二镜头组件分别可以包括一个或者多个镜头,还可以包括其他部件,例如反光部件。另外,还可以根据第一镜头组件1、第二镜头组件2与图像传感器之间的位置关系,使经过第一镜头组件1或第二镜头组件2的光线均射入同一图像传感器。本实施方式对此不作限定。
例如,图像传感器包括两部分,这两部分分别对应第一镜头组件1和第二镜头组件2。这两部分分别获取第一镜头组件1采集的第一图像和第二镜头组件2采集的第二图像,并在图像传感器上形成包括两幅图像内容的一张图像。这样,图像传感器可以同时获取第一出射光线和第二出射光线对应的图像,并进行处理,能够减少图像获取的时延。
图像传感器3可以将采集的目标图像传递给图像处理模块4,图像处理模块4可以对目标图像进行处理以识别目标图像中的第一图像和第二图像。例如,图像处理模块4根据第一图像和第二图像所对应的像素点,将目标图像进行分割,将一张目标图像分割为第一图像和第二图像。在获取第一图像和第二图像后,可以根据第一图像和第二图像对目标对象形成的视差,以及第一镜头组件1和第二镜头组件2之间的距离,计算目标对象与所述双目测距装置之间的距离。具体的计算过程可以参见现有技术,此处不再赘述。
本发明实施例的双目测距装置,将不同镜头进入的光线聚焦并射至同一图像传感器,从而可以在设置一个图像传感器的情况下可以同时采集多路图像数据,可以避免多路图像处理带来的处理压力以及多路数据图像画面不同步的问题,大幅降低对处理器的要求,节省了计算成本,同时也一定程度上降低了结构的复杂度。
可选的,所述第一镜头组件1包括第一镜头11、第一反光部件13和第三镜头12,所述第二镜头组件2包括第二镜头21、第二反光部件23和第四镜头22;
所述第一入射光线经过所述第一镜头11后具备第三出射光线,所述第三出射光线经所述第一反光部件13反射至所述第三镜头12,在经过所述第三镜头12后得到所述第一出射光线;
所述第二入射光线经过所述第二镜头21后具备第四出射光线,所述第四出射光线经所述第二反光部件23反射至所述第四镜头22,在经过所述第四镜头22后得到所述第二出射光线。
目标对象对应的第一入射光线依次经过第一镜头11、第一反光部件13和第三镜头12后得到第一出射光线;第二入射光线依次经过第二镜头21、第二反光部件23和第四镜头22后,得到第二出射光线,第一出射光线和第二出射光线均射至上述图像传感器3。
为了提高图像的效果,第一镜头11和第三镜头12的孔径可以相同,且第一反光部件13的光线入射区域和反射区域在传播通道上的传播直径可以与该孔径相同。同理,第二镜头21和第四镜头22的孔径也可以相同,且第二反光部件23的光线入射区域和反射区域在传播通道上的传播直径可以与该孔径相同。
上述第一镜头11和第三镜头12可以由若干块凹凸镜组成,第三镜头12可以是定焦或者变焦镜头。当光线的传播路径较长时,第三镜头12能够起到二次调节光路的作用,能够有效避免由于光路过长,而导致接收的光线无法聚焦到图像传感器的问题。
第一反光部件13可以是具备将光线反射功能的部件,第一反光部件13可以包括一个或者多个反光部件。例如,通过第一镜头11进入的第一入射光线经过多个反光部件多次反光后,射至第三镜头12。此外,通过第三镜头12射出的出射光线还可以再次经过反光部件反射后射至图像传感器3,本实施方式对反光部件的具体位置不作限定。第一反光部件13还可以是沿着光的传播通道设置的定向反光通道。为了提高反光效果,减少光线在传播过程中的损失,可以在反光部件上设置增反膜。
如图1和图2所述,第二镜头21和第一镜头11,第四镜头22和第三镜头12,第二反光部件23和第一反光部件13可以关于轴线A-A对称设置。位于第二入射光线的传播通道上的第二镜头21、第四镜头22和第二反光部件23的设置方式可以参照第一入射光线的传播通道上的第一镜头11、第三镜头12和第一反光部件13的设置方式,具体可以参照上述描述,此处不再赘述。
第一出射光线和第二出射光线射至图像传感器3后,图像传感器3可以同时获取包括第一图像和第二图像的目标图像,并基于目标图像进行处理得到第一图像和第二图像,由于能够同时得到第一图像和第二图像,减少图像获取的时延。
可选的,所述第一反光部件13包括第一棱镜131和第二棱镜132;
所述第三出射光线经所述第一棱镜131反射至所述第三镜头12,经过所述第三镜头12后射出的光线射至所述第二棱镜132,并经所述第二棱镜132反射后得到所述第一出射光线,所述第一出射光线射至所述图像传感器3。
其中,第一入射光线经过第一镜头11后具有第三出射光线,所述第一棱镜131位于所述第三出射光线的传播路径上;所述第三出射光线经所述第一棱镜131反射后具有第五出射光线,所述第三镜头设置于所述第五出射光线的传播路径上;所述第五出射光线经过所述第三镜头后具有第六出射光线,所述第二棱镜132设置于第六出射光线的传播路径上;所述第六出射光线经所述第二棱镜132反射后具有第一出射光线,所述图像传感器3设置于所述第一出射光线的传播路径上;所述第一出射光线射至所述图像传感器3。
第一出射光线和第二出射光线可以同时射至图像传感器上的不同的区域,因此,第一出射光线和第二出射光线可以在图像传感器上的不同的区域成像,从而得到包含第一图像和第二图像的目标图像。如图4所示,图像传感器采集的图像包括左侧图像和右侧图像两部分,其中,左侧图像占据0行至1360行以及24列至1559列的像素点,右侧图像占据1360行至2719行以及24列至1559列的像素点,图像处理模块按照图像占据的像素点区域,可以分别获取两个区域的图像。
第一棱镜131和第二棱镜132表面可以镀有增反膜,减少光线折射损失。第一棱镜131和第二棱镜132可以是等腰直角三角形,光线由第一镜头11通过第一棱镜131反射到第三镜头中,反射的光线范围与第三镜头的镜头孔径相同,图像可完整进入第三镜头中。同理,第三镜头反射出去的光线也由第二棱镜132反射到图像传感器3中。
这样,通过设置第一棱镜131和第二棱镜132对第一出射光线进行反射,能够提高反射效果,减少光线损失。
可选的,所述第二反光部件23包括第三棱镜231和第四棱镜232;
所述第四出射光线经所述第三棱镜231反射至所述第四镜头22,经过所述第四镜头22后射出的光线射至所述第四棱镜232,并经所述第四棱镜232反射后得到所述第二出射光线,所述第二出射光线射至所述图像传感器3。
其中,第二入射光线经过所述第二镜头后具有第四出射光线,所述第三棱镜231设置于所述第四出射光线的传播路径上;所述第四出射光线经所述第三棱镜231反射后具有第七出射光线,所述第四镜头22设置于所述第七出射光线的传播路径上;所述第七出射光线经过所述第四镜头22后具有第八出射光线,所述第四棱镜232设置于所述第八出射光线的传播路径上;所述第八出射光线经所述第四棱镜232反射后具有第二出射光线,所述图像传感器3设置于所述第二出射光线的传播路径上,所述第二出射光线射至所述图像传感器3。
第一出射光线和第二出射光线可以同时射至图像传感器上的不同的区域,因此,第一出射光线和第二出射光线可以在图像传感器上的不同的区域成像,从而得到包含第一图像和第二图像的目标图像。如图4所示,图像传感器采集的图像包括左侧图像和右侧图像两部分,其中,左侧图像占据0行至1360行以及24列至1559列的像素点,右侧图像占据1360行至2719行以及24列至1559列的像素点,图像处理模块按照图像占据的像素点区域,可以分别获取两个区域的图像。
其中,第三棱镜231和第四棱镜232的设置可以参照第一棱镜131和第二棱镜132,上述第二棱镜132和第四棱镜232还可以是包括不同的反光面的同一棱镜,如图1所示。
这样,通过设置第三棱镜和第四棱镜对第二出射光线进行反射,能够提高反射效果,减少光线损失。
可选的,所述第三镜头12和所述第四镜头22中的至少一个镜头为变焦镜头;
在所述第三镜头12为变焦镜头的情况下,所述装置还包括与所述第一镜头11连接的第一调节部件5,所述第一调节部件5用于控制所述第一镜头11沿目标线移动,并控制所述第三镜头12沿所述目标线伸缩,所述第三镜头12伸缩的方向与所述第一镜头11移动的方向相同;
在所述第四镜头为变焦镜头的情况下,所述装置还包括与所述第二镜头21连接的第二调节部件6,所述第二调节部件6用于控制所述第二镜头21沿所述目标线移动,并控制所述第四镜头22沿所述目标线伸缩,所述第四镜头22伸缩的方向与所述第二镜头21移动的方向相同;
其中,所述目标线为所述第一镜头11和所述第二镜头21的相同部位之间的连线。
在该实施方式中,第一镜头11和第二镜头21可以发生相对移动,第三镜头12和第四镜头22也可以发生相对移动。
在该实施方式中,双目测距装置可以包括固定部、第一移动部和第二移动部,第一镜头11和第三镜头12可以位于第一移动部,第二镜头21和第四镜头22可以位于第二移动部,通过对第一调节部件和第二调节部件中的至少一个部件进行控制,可以控制第一移动部和第二移动部发生相对移动,从而实现第一镜头11和第二镜头21相对移动,以及第三镜头12和第四镜头22相对移动。其中,第三镜头12可以是变焦镜头,在第一镜头11移动的过程中,第三镜头12通过伸缩变焦移动位置。
具体地,第一调节部件可以是具备齿轮结构的旋钮,通过齿轮结构配合丝杆带动第一镜头11向中间或向两边移动。第一镜头11也具有齿轮结构,旋钮通过齿轮带动丝杆转动,丝杆的转动带动第一镜头11的齿轮传动。第一镜头11所在的部件可以同时带动第三镜头12伸缩,从而实现第一镜头11和第三镜头12朝着相同的方向移动。
第二调节部件控制第二镜头21和第四镜头22的移动的方式也可以参照上述描述。
通过上述移动,能够调节第一镜头和第二镜头之间的距离,即基线距离,能够调节可视范围。配合变焦镜头,即第三镜头或第四镜头的伸缩,可以调节图像的清晰度,提高图像的效果,以适应不同的场景。
可选的,如图1所示,所述双目测距装置还包括发光模块7,所述发光模块用于在环境光线的强度小于预设光强度值的情况下发射光线,以使所述图像传感器在所述发光模块发光的情况下,采集所述目标图像。
在该实施方式中,双目测距装置包括发光模块7。在环境光线较暗的情况下,可以控制发光模块发光,即发射光线,提高环境光线亮度,从而提高图像清晰度,提高测距精度。在具体设置时,可以在双目测距装置两侧对称设置两个发光模块11,或者在中间设置一个发光模块,使景物获得均匀的光线。
具体地,如图1所示,测距装置可以设置判断模块8,该判断模块8可以用于获取图像传感器采集的光线,并判断光线强度是否大于预设光强度值。
当判断模块8确认光线强度小于或等于上述预设光强度值的情况下,进入黑夜模式,该模式下控制模块9控制发光模块启动,发射光线。在发光模块发光的情况下,判断模块8可以再次获取光线强度,并判断光线强度是否大于预设光强度值。直至在光强度值大于预设光强度值的情况下,图像传感器3采集的图像更清晰,能够提高测距精度。
当判断模块8确认光线强度大于上述预设光强度值的情况下,进入白天模式,该模式下控制模块9控制发光模块不启动。此时,图像传感器可以采集图像,这样获取的图像更清晰,能够提高测距精度。
本发明实施例还提供一种电子设备,该电子设备包括如上任一实施方式中所述的双目测距装置。该电子设备具备上述任一实施方式中的双目测距装置所具备的有益效果。
如图3所示,图3是本发明实施例提高的双目测距方法的流程图。该方法应用于电子设备,所述电子设备包括第一镜头组件、第二镜头组件和图像传感器,双目测距方法包括:
步骤301、通过所述图像传感器采集包括第一图像和第二图像的目标图像,所述第一图像为通过所述第一镜头组件获取的包括目标对象的图像,所述第二图像为通过所述第二镜头组件获取的包括所述目标对象的图像。
电子设备包括第一镜头组件、第二镜头组件和图像传感器,第一镜头组件和第二镜头组件可以包括位于电子设备的不同位置且相同朝向的两个镜头,通过第一镜头组件和第二镜头组件采集的图像数据均传送至同一图像传感器,该图像传感器可以获取包括第一图像和第二图像的目标图像。其中,第一图像和第二图像中均包括目标对象的图像。
步骤302、基于所述目标图像,识别所述第一图像和所述第二图像。
在此步骤中,由于目标图像中包括第一图像和第二图像,可以基于目标图像识别第一图像和第二图像,并可以将第一图像和第二图像分离。具体地,可以根据目标图像中第一图像和第二图像所对应的像素点,将第一图像和第二图像分离。
例如,图像传感器包括左右两部分区域,经过第一镜头组件的第一出射光线射至图像传感器的左侧区域,经过第二镜头组件的第二出射光线射至图像传感器的右侧区域。在成像时,两部分区域分别接收两个镜头组件的成像圆,以图4中所示的图像传感器为例,两个成像圆照射在这个靶面上。其中,左边的图像占据0至1360行和24至1559列的像素点;右边的图像占据1360行至2719行和24至1559列的像素点,图像处理模块可以根据像素点对应的图4
像区域,将两个区域进行分割,从而得到两个图像。
步骤303、利用所述第一图像和所述第二图像,计算所述目标对象与所述电子设备之间的距离。
由于第一图像和第二图像中均包含目标对象的图像,可以基于第一图像和第二图像针对目标对象形成的视差,以及第一镜头组件和第二镜头组件中的镜头之间的距离,计算目标对象与电子设备之间的距离。
具体地,首先图像处理模块可以对目标图像进行预处理,主要通过数据平滑进行图像降噪,改善图像质量。同时调整图像锐度和对比度,以便于识别特征地标。在基于目标图像识别到第一图像和第二图像后,可以标记第一图像和第二图像的特征点,如标记物体特征点的坐标矩阵为:[(x1,y1),(x2,y2),(x3,y3),(x4,y4)...]。在标记特征点后,可以对识别的二维图像进一步进行畸变矫正,重新获取特征点为[(x1’,y1’),(x2’,y2’),(x3’,y3’),(x4’,y4’)...]。
如图5所示,以基线中心为坐标系中心,镜头轴向为X轴,径向为Y轴,建立三维坐标系。利用多视觉几何算法(Multiple Geometric View),对二维特征点进行三维重建,获得三维特征坐标矩阵[(X1,Y1,Z1),(X2,Y2,Z2),(X3,Y3,Z3),(X4,Y4,Z4)...],并计算其特征点之间的距离,从而可以获得目标对象与电子设备之间的距离。
将获得的模型、距离数据保存,并通过输出端口输出数据。
可选的,所述利用所述第一图像和所述第二图像,计算所述目标对象与所述电子设备之间的距离,包括:
在所述第一图像中识别与第一预设图像的特征匹配的第一目标图像,并在所述第二图像中识别与所述第一预设图像的特征匹配的第二目标图像,其中,所述第一目标图像和所述第二目标图像中均包含目标对象的图像;
利用所述第一目标图像和所述第二目标图像,计算所述目标对象与所述电子设备之间的距离。
在该实施方式中,电子设备可以预先建立图像数据库。在识别第一图像和第二图像之后,可以进一步识别第一图像和第二图像中所包含的子图像,并将第一图像和第二图像中的子图像与图像库中的图像进行对比。在第一图像中识别与第一预设图像的特征匹配的第一目标图像,在第二图像中识别与第一预设图像的特征匹配的第二目标图像。
例如,如图6所示,可以先将图像中的对象通过特征提取进行区分,具体可以采用优化的卷积神经网络(Convolutional Neural Networks)进行图片特征提取,具体的计算过程为现有技术。
将提取的特征与图像数据库的图像特征进行比对,如果比对匹配,即识别成功。由于图片在程序中是一个二维数组,把比对图片和被比对图片拉成一维向量(保持库里面的图片与被比对图片的方向相同),通过余弦距离(为现有技术)可以进行相似度计算。如,将拉成一维向量[1,2,3,4,5,6,7,8,9],与同样已经横向拉成一维向量的图片库图片进行比对,如[2,2,3,4,5,7,7,8,9],然后计算相似度。
将已识别的特征输出给图像标记模块,同时将该特征图像放入存储器中,经过深度学习训练新的图像,如,采用深度卷积生成对抗网络进行训练,最后一同放入图像特征库中,为后续图像识别使用。若未成功匹配,即识别失败,则上传到平台,通过管理员判别是否可以作为特征图像使用,若为有效图像,会在后续训练学习后放入图像特征库中,若为无效图像,则排除。
上述第一预设图像可以是图像数据库中的任一图像。例如,在一张包括道路、车和路灯的图像中,识别路灯与图像库中的路灯匹配。这样,将第一图像和第二图像中的图像进行拆分后,与图像库中的图像进行匹配,能够提高图像匹配的效果。
可选的,所述在所述第一图像中识别与第一预设图像的特征匹配的第一目标图像,并在所述第二图像中识别与所述第一预设图像的特征匹配的第二目标图像,包括:
将所述第一图像和所述第二图像分别与所述第一预设图像进行对比,所述第一预设图像为基于第二预设图像采用预设算法生成的图像;
在所述第一图像和所述第二图像中,识别与所述第一预设图像的特征匹配的所述第一目标图像和所述第二目标图像。
在该实施方式中,可以预先建立图像数据库,并对图像数据库中的图像或者采集的图像采用预设算法生成新的图像。本实施方式中,上述第二预设图像可以是数据库中已有图像或者采集的图像,第一预设图像为基于第二预设图像生成的图像。
上述预设算法可以是深度生成对抗网络(Deep Convolution GenerativeAdversarial Networks,简称DCGAN)。对抗网络可以包括生成网络和鉴别网络。其中,生成网络基于图像数据库中已有的图像生成新的图片,比如将图像拉伸、复制重叠、随机抽取、增加点等等,然后给鉴别网络进行识别,鉴别网络判断是真实图片还是生成的图片。若判断为生成图片,会将信息反馈给生成网络,生成网络继续调整生成的图片,直至当生成网络生成图片和真实图片差不多,即特征点上无差异时,鉴别网络无法判断是真实图片还是生成网络生成的图片,也就是达到纳什均衡。其中,利用深度生成对抗网络生成图片为现有技术,此处不再赘述。
这样,基于生成的图像进行图像匹配,能够识别更加多样化更加全面的图像。
可选的,所述双目测距装置还包括发光模块,所述通过所述图像传感器采集包括第一图像和第二图像的目标图像之前,所述方法还包括:
在检测到环境光线的强度小于预设光强度值的情况下,控制所述发光模块发射光线。
在该实施方式中,电子设备可以获取环境光线的强度,具体可以通过传感器采集或者通过拍摄的照片获取。在环境光线较暗,即小于预设光强度值的情况下,控制发光模块发光,具体可以是红外光、EL(Electro Luminesence,电机发光)光或LED(发光二极管)光。并可以在发光模块发光的情况下,采集目标图像,这样目标图像的效果较好。
发光模块发光的方向可以和第一镜头以及第二镜头的朝向相同,这样能够提高光线亮度。
这样获得的目标图像的效果较好,从而能够提高测距精度。由于具有主动光发射模块,便于辅助标定;镜头可以通过接收到的环境亮度来确定是否开启主动光源,从而还可以起到降低功耗的作用。
电子设备的结构图可以参见图7所示。各模块的具体工作如下:
用户可以对电子设备的镜头之间的距离进行调节,即调节基线长度。在调整基线长度后,电子设备中的识别模块可以检测环境光的亮度。
在根据环境光的亮度确定当前为白天时,则镜头和棱镜组工作,采集图像并传给图像传感器。在根据环境光的亮度确定当前时间为黑夜时,则控制发光模块发光,以及镜头组采集图像,并将采集的图像传给图像传感器。其中,采集的图像中包括针对相同拍摄对象的两个图像的内容。
图像传感器将获取的图像给图像处理模块进行处理。图像处理模块包括识别子模块、标记子模块和计算子模块。其中,识别子模块用于在采集的一张图像中识别两个图像,并在这两个图像中识别与图像库中图像匹配的图像,标记子模块用于将与图像库中图像匹配的图像进行特征点标记,计算模块用于根据标记子模块标记的特征点对图像行畸变校正,然后建立三维视图,获取被拍摄对象与电子设备之间的距离,并输出数据。
本发明实施例中,上述双目测距方法可以应用于电子设备,例如:摄像机、手机、测距仪等。
本发明实施例的双目测距方法,图像传感器采集的图像中包括第一出射光线对应的第一图像和第二出射光线对应的第二图像,能够减少图像获取的时延。并能够基于图像库对采集的图像进行匹配,能够对不规则障碍物和场景进行智能识别和避障,并计算深度和进行三维重建。
参见图8,图8是本发明实施例提供的电子设备的结构图,所述电子设备包括第一镜头组件、第二镜头组件和图像传感器,如图8所示,电子设备800包括:
采集模块801,用于通过所述图像传感器采集包括第一图像和第二图像的目标图像,所述第一图像为通过所述第一镜头组件获取的包括目标对象的图像,所述第二图像为通过所述第二镜头组件获取的包括所述目标对象的图像;
识别模块802,用于基于所述目标图像,识别所述第一图像和所述第二图像;
计算模块803,用于利用所述第一图像和所述第二图像,计算所述目标对象与所述电子设备之间的距离。
可选的,所述计算模块803包括:
识别子模块,用于在所述第一图像中识别与第一预设图像的特征匹配的第一目标图像,并在所述第二图像中识别与所述第一预设图像的特征匹配的第二目标图像,其中,所述第一目标图像和所述第二目标图像中均包含目标对象的图像;
计算子模块,用于利用所述第一目标图像和所述第二目标图像,计算所述目标对象与所述电子设备之间的距离。
可选的,所述识别子模块具体用于:
将所述第一图像和所述第二图像分别与所述第一预设图像进行对比,所述第一预设图像为基于第二预设图像采用预设算法生成的图像;
在所述第一图像和所述第二图像中,识别与所述第一预设图像的特征匹配的所述第一目标图像和所述第二目标图像。
可选的,如图9所示,所述双目测距装置还包括发光模块,所述电子设备还包括:
发射模块804,用于在检测到环境光线的强度小于预设光强度值的情况下,控制所述发光模块发射光线。
电子设备800能够实现上述方法实施例中电子设备实现的各个过程以及达到相同的有益效果,为避免重复,这里不再赘述。
优选的,本发明实施例还提供一种电子设备,包括处理器,存储器,存储在存储器上并可在所述处理器上运行的计算机程序,该计算机程序被处理器执行时实现上述双目测距方法实施例中的各个过程,且能达到相同的技术效果,为避免重复,这里不再赘述。
本发明实施例还提供一种计算机可读存储介质,计算机可读存储介质上存储有计算机程序,该计算机程序被处理器执行时实现上述双目测距方法实施例的各个过程,且能达到相同的技术效果,为避免重复,这里不再赘述。其中,所述的计算机可读存储介质,如只读存储器(Read-Only Memory,简称ROM)、随机存取存储器(Random Access Memory,简称RAM)、磁碟或者光盘等。
需要说明的是,在本文中,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者装置不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者装置所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括该要素的过程、方法、物品或者装置中还存在另外的相同要素。
通过以上的实施方式的描述,本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现,当然也可以通过硬件,但很多情况下前者是更佳的实施方式。基于这样的理解,本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质(如ROM/RAM、磁碟、光盘)中,包括若干指令用以使得一台电子设备(可以是手机,计算机,服务器,空调器,或者网络设备等)执行本发明各个实施例所述的方法。
上面结合附图对本发明的实施例进行了描述,但是本发明并不局限于上述的具体实施方式,上述的具体实施方式仅仅是示意性的,而不是限制性的,本领域的普通技术人员在本发明的启示下,在不脱离本发明宗旨和权利要求所保护的范围情况下,还可做出很多形式,均属于本发明的保护之内。
Claims (14)
1.一种双目测距装置,其特征在于,包括:
第一镜头组件,目标对象对应的第一入射光线经过所述第一镜头组件后具有第一出射光线;
第二镜头组件,所述目标对象对应的第二入射光线经过所述第二镜头组件后具有第二出射光线;
图像传感器,所述图像传感器采集目标图像,所述目标图像中包括所述第一出射光线对应的第一图像和所述第二出射光线对应的第二图像;
图像处理模块,基于所述目标图像识别所述第一图像和所述第二图像,并利用所述第一图像和所述第二图像,计算所述目标对象与所述双目测距装置之间的距离。
2.根据权利要求1所述的双目测距装置,其特征在于,所述第一镜头组件包括第一镜头、第一反光部件和第三镜头,所述第二镜头组件包括第二镜头、第二反光部件和第四镜头;
所述第一入射光线经过所述第一镜头后具备第三出射光线,所述第三出射光线经所述第一反光部件反射至所述第三镜头,在经过所述第三镜头后得到所述第一出射光线;
所述第二入射光线经过所述第二镜头后具备第四出射光线,所述第四出射光线经所述第二反光部件反射至所述第四镜头,在经过所述第四镜头后得到所述第二出射光线。
3.根据权利要求2所述的双目测距装置,其特征在于,所述第一反光部件包括第一棱镜和第二棱镜;
所述第三出射光线经所述第一棱镜反射至所述第三镜头,经过所述第三镜头后射出的光线射至所述第二棱镜,并经所述第二棱镜反射后得到所述第一出射光线,所述第一出射光线射至所述图像传感器。
4.根据权利要求2所述的双目测距装置,其特征在于,所述第二反光部件包括第三棱镜和第四棱镜;
所述第四出射光线经所述第三棱镜反射至所述第四镜头,经过所述第四镜头后射出的光线射至所述第四棱镜,并经所述第四棱镜反射后得到所述第二出射光线,所述第二出射光线射至所述图像传感器。
5.根据权利要求2至4任一项所述的双目测距装置,其特征在于,所述第三镜头和所述第四镜头中的至少一个镜头为变焦镜头;
在所述第三镜头为变焦镜头的情况下,所述装置还包括与所述第一镜头连接的第一调节部件,所述第一调节部件用于控制所述第一镜头沿目标线移动,并控制所述第三镜头沿所述目标线伸缩,所述第三镜头伸缩的方向与所述第一镜头移动的方向相同;
在所述第四镜头为变焦镜头的情况下,所述装置还包括与所述第二镜头连接的第二调节部件,所述第二调节部件用于控制所述第二镜头沿所述目标线移动,并控制所述第四镜头沿所述目标线伸缩,所述第四镜头伸缩的方向与所述第二镜头移动的方向相同;
其中,所述目标线为所述第一镜头和所述第二镜头的相同部位之间的连线。
6.根据权利要求1所述的双目测距装置,其特征在于,所述双目测距装置还包括发光模块;
所述发光模块用于在环境光线的强度小于预设光强度值的情况下发射光线,以使所述图像传感器在所述发光模块发光的情况下,采集所述目标图像。
7.一种电子设备,其特征在于,包括权利要求1至6任一项所述的双目测距装置。
8.一种双目测距方法,应用于电子设备,其特征在于,所述电子设备包括第一镜头组件、第二镜头组件和图像传感器,所述方法包括:
通过所述图像传感器采集包括第一图像和第二图像的目标图像,所述第一图像为通过所述第一镜头组件获取的包括目标对象的图像,所述第二图像为通过所述第二镜头组件获取的包括所述目标对象的图像;
基于所述目标图像,识别所述第一图像和所述第二图像;
利用所述第一图像和所述第二图像,计算所述目标对象与所述电子设备之间的距离。
9.根据权利要求8所述的方法,其特征在于,所述利用所述第一图像和所述第二图像,计算所述目标对象与所述电子设备之间的距离,包括:
在所述第一图像中识别与第一预设图像的特征匹配的第一目标图像,并在所述第二图像中识别与所述第一预设图像的特征匹配的第二目标图像,其中,所述第一目标图像和所述第二目标图像中均包含目标对象的图像;
利用所述第一目标图像和所述第二目标图像,计算所述目标对象与所述电子设备之间的距离。
10.根据权利要求9所述的方法,其特征在于,所述在所述第一图像中识别与第一预设图像的特征匹配的第一目标图像,并在所述第二图像中识别与所述第一预设图像的特征匹配的第二目标图像,包括:
将所述第一图像和所述第二图像分别与所述第一预设图像进行对比,所述第一预设图像为基于第二预设图像采用预设算法生成的图像;
在所述第一图像和所述第二图像中,识别与所述第一预设图像的特征匹配的所述第一目标图像和所述第二目标图像。
11.根据权利要求8所述的方法,其特征在于,所述双目测距装置还包括发光模块,所述通过所述图像传感器采集包括第一图像和第二图像的目标图像之前,所述方法还包括:
在检测到环境光线的强度小于预设光强度值的情况下,控制所述发光模块发射光线。
12.一种电子设备,其特征在于,所述电子设备包括第一镜头组件、第二镜头组件和图像传感器,所述电子设备包括:
采集模块,用于通过所述图像传感器采集包括第一图像和第二图像的目标图像,所述第一图像为通过所述第一镜头组件获取的包括目标对象的图像,所述第二图像为通过所述第二镜头组件获取的包括所述目标对象的图像;
识别模块,用于基于所述目标图像,识别所述第一图像和所述第二图像;
计算模块,用于利用所述第一图像和所述第二图像,计算所述目标对象与所述电子设备之间的距离。
13.一种电子设备,其特征在于,包括:存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,所述处理器执行所述计算机程序时实现如权利要求8至11任一项所述的双目测距方法中的步骤。
14.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质上存储计算机程序,所述计算机程序被处理器执行时实现如权利要求8至11任一项所述的双目测距方法中的步骤。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201911422718.9A CN113132709B (zh) | 2019-12-31 | 2019-12-31 | 一种双目测距装置、双目测距方法及电子设备 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201911422718.9A CN113132709B (zh) | 2019-12-31 | 2019-12-31 | 一种双目测距装置、双目测距方法及电子设备 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN113132709A true CN113132709A (zh) | 2021-07-16 |
CN113132709B CN113132709B (zh) | 2022-11-08 |
Family
ID=76769653
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201911422718.9A Active CN113132709B (zh) | 2019-12-31 | 2019-12-31 | 一种双目测距装置、双目测距方法及电子设备 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN113132709B (zh) |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN105635720A (zh) * | 2016-01-19 | 2016-06-01 | 浙江大学 | 一种双镜头单传感器的立体视觉摄像机 |
CN205812185U (zh) * | 2016-07-07 | 2016-12-14 | 丘志煌 | 一种双目单图像传感器的拍摄系统 |
US20190080481A1 (en) * | 2017-09-08 | 2019-03-14 | Kabushiki Kaisha Toshiba | Image processing apparatus and ranging apparatus |
CN208782911U (zh) * | 2018-06-26 | 2019-04-23 | 深圳阜时科技有限公司 | 镜头组件、传感装置及成像系统 |
CN110401828A (zh) * | 2019-07-24 | 2019-11-01 | 深圳市中安视达科技有限公司 | 基于单传感器的双路图像采集式3d医疗成像系统及方法 |
CN110533708A (zh) * | 2019-08-28 | 2019-12-03 | 维沃移动通信有限公司 | 一种电子设备及深度信息获取方法 |
-
2019
- 2019-12-31 CN CN201911422718.9A patent/CN113132709B/zh active Active
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN105635720A (zh) * | 2016-01-19 | 2016-06-01 | 浙江大学 | 一种双镜头单传感器的立体视觉摄像机 |
CN205812185U (zh) * | 2016-07-07 | 2016-12-14 | 丘志煌 | 一种双目单图像传感器的拍摄系统 |
US20190080481A1 (en) * | 2017-09-08 | 2019-03-14 | Kabushiki Kaisha Toshiba | Image processing apparatus and ranging apparatus |
CN208782911U (zh) * | 2018-06-26 | 2019-04-23 | 深圳阜时科技有限公司 | 镜头组件、传感装置及成像系统 |
CN110401828A (zh) * | 2019-07-24 | 2019-11-01 | 深圳市中安视达科技有限公司 | 基于单传感器的双路图像采集式3d医疗成像系统及方法 |
CN110533708A (zh) * | 2019-08-28 | 2019-12-03 | 维沃移动通信有限公司 | 一种电子设备及深度信息获取方法 |
Also Published As
Publication number | Publication date |
---|---|
CN113132709B (zh) | 2022-11-08 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN112529951B (zh) | 扩展景深图像的获取方法、装置及电子设备 | |
KR102032882B1 (ko) | 자동 포커싱 방법, 장치 및 전자 장치 | |
JPWO2020121973A1 (ja) | 物体識別システム、演算処理装置、自動車、車両用灯具、分類器の学習方法 | |
CN108733208A (zh) | 智能设备的交互目标确定方法和装置 | |
CN109885053B (zh) | 一种障碍物检测方法、装置及无人机 | |
KR20090115739A (ko) | 정보 추출 방법, 정보 추출 장치, 프로그램, 등록 장치 및 대조 장치 | |
CN109618108B (zh) | 电子设备和移动平台 | |
US20140009503A1 (en) | Systems and Methods for Tracking User Postures to Control Display of Panoramas | |
CN110213491B (zh) | 一种对焦方法、装置及存储介质 | |
TW201541141A (zh) | 使用多鏡頭的自動對焦系統及其方法 | |
JP7378219B2 (ja) | 撮像装置、画像処理装置、制御方法、及びプログラム | |
US20140009570A1 (en) | Systems and methods for capture and display of flex-focus panoramas | |
US20230199324A1 (en) | Projection unit and photographing apparatus comprising same projection unit, processor, and imaging device | |
US11054659B2 (en) | Head mounted display apparatus and distance measurement device thereof | |
US20240231485A1 (en) | Eyeball tracking method and virtual reality device | |
US20220398760A1 (en) | Image processing device and three-dimensional measuring system | |
CN111160233B (zh) | 基于三维成像辅助的人脸活体检测方法、介质及系统 | |
CN209991983U (zh) | 一种障碍物检测设备及无人机 | |
TW201541143A (zh) | 使用多鏡頭的自動對焦系統及其方法 | |
JP2022129747A (ja) | 電子装置およびその制御方法 | |
CN113132709B (zh) | 一种双目测距装置、双目测距方法及电子设备 | |
CN112749610A (zh) | 深度图像、参考结构光图像生成方法、装置及电子设备 | |
US20190297315A1 (en) | Structured-light method and system of dynamically generating a depth map | |
US20230003894A1 (en) | Time-of-flight imaging circuitry, time-of-flight imaging system, time-of-flight imaging method | |
EP3936917A1 (en) | A digital image acquisition apparatus and an autofocus method |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |