CN108513121A - 用于场景的景深图评估的方法和设备 - Google Patents

用于场景的景深图评估的方法和设备 Download PDF

Info

Publication number
CN108513121A
CN108513121A CN201710763275.4A CN201710763275A CN108513121A CN 108513121 A CN108513121 A CN 108513121A CN 201710763275 A CN201710763275 A CN 201710763275A CN 108513121 A CN108513121 A CN 108513121A
Authority
CN
China
Prior art keywords
distance
scene
extrapolation
depth
region
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201710763275.4A
Other languages
English (en)
Other versions
CN108513121B (zh
Inventor
M·阿利拜
O·波蒂埃
V·马塞拉
A·贝隆
A·布尔热
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
STMicroelectronics France SAS
Original Assignee
STMicroelectronics SA
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by STMicroelectronics SA filed Critical STMicroelectronics SA
Publication of CN108513121A publication Critical patent/CN108513121A/zh
Application granted granted Critical
Publication of CN108513121B publication Critical patent/CN108513121B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/521—Depth or shape recovery from laser ranging, e.g. using interferometry; from the projection of structured light
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/02—Systems using the reflection of electromagnetic waves other than radio waves
    • G01S17/06—Systems determining position data of a target
    • G01S17/08—Systems determining position data of a target for measuring distance only
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G06T7/593—Depth or shape recovery from multiple images from stereo images
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/207—Image signal generators using stereoscopic image cameras using a single 2D image sensor
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/254—Image signal generators using stereoscopic image cameras in combination with electromagnetic radiation sources for illuminating objects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/271—Image signal generators wherein the generated image signals comprise depth maps or disparity maps
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G06T2207/10012—Stereo images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G06T2207/10021—Stereoscopic video; Stereoscopic image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N2013/0074—Stereoscopic image analysis
    • H04N2013/0081—Depth or disparity estimation from stereoscopic image signals

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Theoretical Computer Science (AREA)
  • Electromagnetism (AREA)
  • Optics & Photonics (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Measurement Of Optical Distance (AREA)
  • Optical Radar Systems And Details Thereof (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Image Analysis (AREA)

Abstract

确定场景的景深图的方法包括产生由飞行时间测量获取的场景的距离图，从两个不同视角采集场景的两个图像，以及考虑距离图而立体视觉处理两个图像。距离图的产生可以包括逐个区段的产生场景的距离直方图，以及立体视觉处理包括，对于景深图的对应于采集区段的每个区域，考虑对应的直方图而进行基础处理。

Description

用于场景的景深图评估的方法和设备
相关申请的交叉引用
本申请要求享有2017年2月27日提交的法国专利申请No.1751539的优先权，该申请在此通过全文引用的方式并入本文。
技术领域
本公开是实施例涉及由组合的立体视觉和飞行时间测量来确定景深图。
背景技术
景深图(depth map)是在场景的各个物体的位置与接收者之间距离的数字表示，景深图的重现相当于承载了景深信息而非亮度信息的照片。
存在用于采集或确定景深图的各种技术，例如，立体视觉和飞行时间测量。
飞行时间测量包括将可识别的电磁波信号(通常是脉冲激光照明)发射至场景，并检测由场景的物体所反射的信号。在信号发射时刻与由场景的物体所反射的信号的接收时刻之间的时间差实现发射器-接收器与物体间隔的距离的计算。
对于其部分，立体视觉是所谓的被动测量技术，并且实现根据从不同视角获取的场景的两个摄影图像而确定的场景的景深图。
图1示出了由立体视觉确定景深的原理。例如借由包括光学元件的图像传感器，从不同的已知视角获得包括物体11的相同场景10的两个图像201、202。两个视角通常具有平行的光轴并且水平地对准，以对应于由所谓的基本偏差所分离的左侧图像201和右侧图像202。
由基本偏差导致的视差意味着物体11在相应不同位置111、112处被投影至图像201、202中。投影111、112位于相同的表极线(epipolar line)12上，其对于位于具有垂直对准的接收表面和平行的光轴的相同平面中的视角是水平的。
接收器与物体11之间的距离(也即物体11的景深)的确定因此包括对于图像201的每个点计算与位于相同表极线12上的图像202的点的相似性。两个图像201、202的相似点的位置之间的距离δd称作视差。两个投影111、112之间的差距(disparity)δd的值实现对对应物体11的景深的外推，特别地考虑了基本偏差以及采集装置的光学和工艺特性。
用于识别投影之间的相似性以及从差距外推景深的技术通常包括欠抽样(undersampled)初始化计算、采用初始化和精炼处理的少抽样计算，以便于由所谓的降低粒度方法获得一致性。这些技术特别地更详细描述在科技论文中：HIRSCHMULLER,Heiko,Stereo processing by semi global matching and mutual information,IEEETransactions on pattern analysis and machine intelligence,2008,第30卷,no 2,第328-341页。
在立体视觉处理的通常形式中采用的计算因此要求大量计算资源，导致长的执行时间以及有时导致错误。
融合飞行时间测量和立体视觉技术可以使其能够限制并精炼立体视觉处理的通常形式。
例如，能够均使用飞行时间测量和立体视觉图像产生景深图的后验评估值，或者采用由使用一个或多个飞行时间(ToF)传感器的飞行时间测量获得的景深信息而初始化立体视觉处理，例如，替代欠抽样处理。此外，也能够考虑由飞行时间测得的景深变化而计算每个视差值。
该类型的技术组合特别地更详细描述在科技论文中：Vineet Gandhi,Jan Cech,Radu Horaud.High-Resolution Depth Maps Based on TOF-Stereo Fusion,ICRA 2012-IEEE International Conference on Robotics and Automation,May 2012,Saint-Paul,Minnesota,United States.IEEE,pp.4742-4749,2012。
应记住，飞行时间传感器实现通过测量信号发射与在该信号已经由物体反射之后信号的接收之间的时间差而测量物体和传感器之间的距离。
立体视觉与飞行时间测量技术的当前组合需要极其优良的相互校正以及立体视觉图像与飞行时间测量之间的像素对像素匹配。换言之，例如需要使用最少25千像素的高分辨率的飞行时间传感器来实现该景深图确定改进。
现在，高分辨率飞行时间传感器在能量和计算资源方面是笨重和贪婪的，这通常是不合需要的。它们也是高成本的。最终，这些不便利显著地不兼容日益广泛使用的紧凑型和电池供电的自动板载技术。
然而仍然存在与自动板载技术需求兼容的较低分辨率的飞行时间传感器。此外，它们比高分辨率竞争者成本较低。
该类型的飞行时间传感器是非常紧凑的、自动的以及能量节约的(特别地待机时消耗少于20μW以及工作时少于35mW)。该类型传感器测量距离图，其中逐个采集区段地获得景深，例如根据场景等效图像的5*3区域或15*9区域的矩阵。对于每个采集区段，以直方图的形式产生存在于场景的对应部分中的物体的景深的分布。
因此，与高分辨率飞行时间传感器技术相比，由该类型传感器获得的信息较不精确但是可以集成至自动或板载(on-board)系统的处理子系统。
存在如下需求：以简单和高效方式借助于与自动或板载技术兼容的传感器获得的该飞行时间测量而改进立体视觉处理。
发明内容
本发明的实施例利用上述类型的距离图，包括逐个采集区段地采集的距离的直方图，以优化在自动或板载系统中的立体视觉采集所获得的景深图的确定。
根据一个方面，一种确定场景的景深图的方法包括产生由飞行时间测量获得的场景的距离图。从两个不同视角采集场景的两个图像，并且两个图像的立体视觉处理考虑了距离图。根据该方面的一个总体特征，距离图的产生包括对于场景的每个采集区段产生距离直方图，以及立体视觉处理包括，对于景深图的对应于采集区段的每个区域，基础处理考虑了对应的直方图。
涉及景深图的区域与采集区段之间的匹配意味着：例如，区域与区段包括场景的相同部分的距离信息。实际上，可以取决于各种采集和测量的条件(诸如视角的位置和光学条件)建立几何关系。
根据该方面的方法因此实现以与自动或板载技术兼容的方式获取场景的改进空间理解。
该空间理解可以例如应用于摄影闪光的自适应管理和/或非常高效的自动对焦的情形中，与此同时优化了场景的景深图的确定。
立体视觉处理可以包括根据两个图像之间的差距外推场景的距离。
例如，基础处理限制了外推的计算(例如减小了外推的计算量和计算时间)和/或增强了外推结果的可靠性(例如实现误差的避免)和/或将额外的景深信息添加至景深图中场景距离的外推。
特别地，为了在自动或板载技术中实施，景深图的分辨率可以比由飞行时间测得的距离图的分辨率大至少一千倍，距离图的分辨率可以由等于采集区段数目的飞行时间而测得。
同样例如，由飞行时间测量获得的场景的距离图可以包括十至一千个采集区段。
有利地，由飞行时间可测量的相应最大距离和/或最小距离分别大于和/或小于立体视觉范围最高限值和/或立体视觉最低限值。
立体视觉范围最高限值对应于在立体视觉处理中可以外推的最大距离，以及立体范围最低限值对应于在立体视觉处理中可以外推的最小距离。
这些立体视觉范围最高和最低限值特别地取决于在场景的两个图像的视角位置之间的基本偏差。
根据一个实施例，基础处理包括：如果需要的话，则识别景深图的至少一个区域、称作范围外(out-of-range)区域，其对应的直方图并不包括分别小于立体视觉范围最高限值和/或大于立体视觉范围最低限值的任何距离，随后并未在至少一个范围外区域中进行外推。
该实施例使其能够通过避免使用在之前被检测作为范围外的区段中无用的(将不由立体视觉外推产生任何结果)计算而限制外推计算。
基础处理有利地包括将默认景深指派给至少一个范围外区域，默认景深由对应直方图的距离获得。
例如，默认距离可以等于或大于对应的直方图的最大距离，或者对应的直方图的平均或中位距离，或者根据其他准则从距离选择的值。
除了由立体视觉外推获得的信息之外，这实现了将景深信息添加至景深图。
基础处理可以包括将恒定景深分别指派给景深图的至少一个区域(称作平面区域)，其对应的直方图包括单组距离，其中其半高宽度小于阈值宽度，恒定景深等于来自单组的距离并且并不在至少一个平面区域中进行外推。
这也使其能够避免在包括基本上垂直于图像采集和飞行时间测量的视角的基本上平面表面的区域中使用外推计算，并且可能不包括使其能够外推视差的任何纹理(任何细节)或者包括重复图样、视差计算误差的来源。
此外，这也使能除了由立体视觉外推获得的信息之外将景深信息添加至景深图。
根据一个实施例，基础处理包括由对应直方图的距离的极限值逐个区域产生差距值的范围，并且从对应范围中所包括的差距值逐个区域进行场景的距离的外推。
该实施例使其能够通过限制在借由飞行时间测量直方图之前获得的范围中识别视差而限制用于立体视觉处理中外推的计算。
此外，对应的范围中所包括的差距值可以根据对应于飞行时间测量的精确度的增量而获得，同数量地限制了用于在立体视觉处理中距离外推的计算量。
此外，该实施例使其能够通过在场景中均匀纹理或重复图样的情形中避免共同误差而增强外推计算的可靠性。
根据一个实施例，基础处理包括：确定由外推获得的距离的逐个区域的分布，以及将逐个采集区段的距离直方图的轮廓与逐个区域的距离分布的轮廓比较，该比较产生一致性的水平。
换言之，该实施例包括比较由立体视觉和由飞行时间测量获得的景深直方图，并且实现借由一致性水平而提供关于景深图的质量和可靠性的信息。
根据另一方面，一种用于确定场景的景深图的装置包括：被配置用于产生场景的距离图的飞行时间传感器，被配置用于在两个不同视角处采集场景的两个图像的立体视觉图像采集装置，以及被配置用于考虑了距离图而进行两个图像的立体视觉处理的立体视觉处理器。根据该方面的一个总体特征，飞行时间传感器被配置为逐个场景采取区段产生距离直方图，并且立体视觉处理器包括基础处理器，其被配置为针对景深图的对应于采集区段的每个区域，在考虑对应的直方图的情形下进行基础处理。
立体视觉处理器可以被配置用于进行立体视觉处理，包括从两个图像之间的差距外推场景的距离。
例如，基础处理器可以被配置用于限制外推计算和/或增强外推结果的可靠性和/或将额外的景深信息添加至景深图中场景的距离的外推。
立体视觉图像采集装置的分辨率可以比飞行时间传感器的分辨率大至少一千倍，飞行时间传感器的分辨率等于采集区段的数目。
例如，飞行时间传感器包括从十至一千个采集区段。
有利地，飞行时间传感器可测量的最大距离和/或最小距离分别大于和/或小于可以由立体视觉处理器外推的立体视觉范围最高限值和/或立体视觉范围最低限值。
根据一个实施例，基础处理器被配置为如果需要的话则识别景深图的至少一个区域(称作范围外区域)，其对应的直方图并不包括小于立体视觉范围阈值的任何距离，立体视觉处理器被进一步配置为在至少一个范围外区域中不进行外推。
有利地，基础处理器被配置为将默认景深指派给至少一个范围外区域，默认景深由对应的直方图的距离获得。
基础处理器也可以被配置用于将相应恒定景深指派给景深图的至少一个区域(称作平面区域)，其对应的直方图包括距离的单个群组，其半高宽度小于阈值宽度，恒定景深等于与单个群组的距离，立体视觉处理器被进一步配置为不在至少一个平面区域中进行外推。
根据一个实施例，基础处理器被配置为从对应直方图的距离的极限值逐个区域产生差距值的范围，并且立体视觉处理器被配置为基于在对应范围中所包括的差距值逐个区域地进行场景距离的外推。
有利地，立体视觉处理器以采用对应于飞行时间测量精确度的增量基于差距值逐个区域地进行场景距离的外推。
根据一个实施例，基础处理器被配置为确定由外推获得的距离的逐个区域的分布以及将逐个采集区域的距离直方图的轮廓与每个各自区域的距离的分布的轮廓比较，该比较产生一致性水平。
也提出了一种电子装置，诸如静物照相机、移动电话或触摸屏平板，包括用于确定景深图的如上所限定的装置。
附图说明
通过审阅非限定性实施例的详细说明书和附图将使得本发明的其他优点和特征变得明显，其中：
如上所述，图1示出了由立体视觉确定景深的原理；以及
图2至图6展示了本发明的实施例。
具体实施方式
图2示出了通过立体视觉和飞行时间测量的协作而确定场景10的景深图的方法的一个实施例。
立体视觉采集涉及从两个不同视角采集场景10的两个图像201、202。
场景10的相同物体点的相应投影111和112秒特征在于视差(parallax)，也即图像201、202中它们相对位置之间的偏差，也称作差距(disparity)211。
同样，方法包括产生由飞行时间测量获得的距离图400。
场景10的距离图400的产生此外包括飞行时间测量，也即在光信号发射至场景上与当被反射时接收信号之间流逝的时间的测量。该时间测量值正比于发射器-接收器40与场景10的各个物体之间的距离，该距离也称作场景的各个物体的景深。
根据在发射器-接收器40的视场中矩阵分布而对于从10至500的采集区段420进行该测量。
一方面，两个图像201、202的视角与飞行时间测量的视角的位置之间的几何关系、以及另一方面光学特性(诸如视场)和各个采集信息的失真使其能够建立各个采集区段420与景深图100的区域120的精确匹配。换言之，存在对应于飞行时间测量的每个采集区段420的景深图的区域120。
在也称作“飞行时间传感器”的一些飞行时间测量装置中，除了距离的整体测量之外，将在每个采集区段420中距离的分布以直方图410的形式通信发送至区段。
距离图400的产生因此包括针对场景的每个采集区段420产生距离直方图410。
此外，采用立体视觉处理300包括：从两个图像201、202之间差距211外推210场景的距离。
立体视觉处理300包括：在距离外推210之前、期间和/或之后的基础处理310。
对于景深图100的对应于采集区段420的每个区域120而言，基础处理310考虑了采集区段420的直方图410并且特别地使其能够限制和/或改进外推210的结果的可靠性和/或除了由外推210获得的信息之外添加景深信息。
根据第一示例，基础处理310一方面有利地利用了可以由飞行时间测量所测得的最大距离通常大于对应于场景的距离的外推210中最大可识别的距离的立体视觉范围最高限值313的事实，另一方面利用了由飞行时间测量可测量的最小距离通常小于对应于场景的距离的外推210中最小可识别的距离的立体视觉范围最低限值313的事实。
如图3中所示，基础处理310因此包括识别采集区段，用于该采集区段的对应直方图412并不包括低于立体视觉范围阈值312的任何距离，这些采集区段随后被称作范围外区段122。
实际上，立体视觉的差距正比于对应物体的景深的倒数。在足够大的距离处，差距将因此不再是可检测的，位于无穷大处的光学物体没有引入视差。
此外，在足够小的距离处，物体可以引入不可检测的差距值，因为其大于最大差距或者由于视角所引起的光学失真。
对于该示例并且在下文中应该理解的是，“直方图并不包括小于最高限值的任何距离”类型的表述必须理解为意味着“直方图并不包括以足以相关的量小于最高限值的任何距离”。实际上，在飞行时间传感器中，均匀的噪声水平可以存在于所有距离处，并且假的闭塞可以在直方图引入有限数目的错误测量值。
例如，对于在图像201和202的相应视角之间的12mm的基本偏差以及具有12兆像素的分辨率而言，立体视觉范围最高限值312可以从大约1.5米至大约2.5米，而飞行时间测量的最大范围可以大于4米。对于其一部分而言，飞行时间测量的最小范围可以等于或非常接近于0米。
基础处理310也包括识别被称作范围外区域的对应区域122。
因此，恰当地，随后并未在被识别的范围外区域122中进行外推210(事实上这是不可能的，因为在场景10中不存在范围外区域)。
此外，基础处理310有利地包括将从对应直方图412的距离获得的默认景深314指派给至少一个范围外区域122。
例如，默认景深可以等于或大于来自对应直方图412的最大距离，或者等于对应直方图412的距离的平均值，对应直方图412的距离的中位值，或者来自对应直方图412的具有最大群体数(population)的距离。
因此在该第一示例中，基础处理310在距离的外推210之前进行，并且使其能够一方面节约计算时间和资源，以及另一方面将景深信息添加至原本不采用飞行时间测量就不具有任何该信息的景深图的区域122。
基础处理310也可以包括将恒定景深316指派给被称作平面区域的区域126。恒定景深316从直方图416获得，直方图416表示基本上垂直于测量光轴的基本上平面的表面的测量值。
表示该类型情形的直方图416包括单个距离测量值或者基本上单个距离测量值，也即其是包括了距离的单个群组的直方图，其半高宽度417低于阈值宽度。阈值宽度可以例如小于直方图的五个距离范围或五个柱条。
可以选择恒定景深316作为测得的最大比例距离，或者来自直方图416的平均值或中位值。
因为该类型的测量关于场景的对应于对应采集区段426的部分的平面特性的可靠性，因此无需外推210。然而，如果表示平面表面的距离416的群组不仅是存在于直方图中的测量值(在数量不足以相关而获得测量值的场景中)，则其将需要在对应的区域中执行外推210。
图4示出了基础处理310的第二实施例，其实现立体视觉处理300的改进。
在该第二实施例中，基础处理310隔离了存在于各个采集区段420的直方图410中的距离的极限值324。
对于对应区域120的任何点而言，将这些极限距离值324转换为形成了差距值的可能范围322的极限差距值。
实际上，当可以将差距值外推至景深时，景深测量实现等价差距的计算。
差距值322的该可能范围因此实现在限定于可能的差距值的该范围322的差距值之上使用场景距离的外推210。
换言之，基础处理310在该示例中包括从来自对应直方图410的距离的极限值324逐个区域的产生差距值322的范围。随后对于每个区域，基于在对应范围322中包括的差距值211而进行场景的距离的外推210。
一方面，该实施例在每个区域420中针对场景10的距离的每次外推210中所使用的计算量方面是有利的。
另一方面，该实施例使其能够增强景深图的确定的可靠性，特别是在不具有纹理的表面或具有重复图样的表面的情形下，为此场景的相同物体11的投影111、112的识别是困难的并且通常导致错误。
此外，飞行时间测量的分辨率(在量化步进的场景中)相对于测得物体的距离是恒定的。
另一方面，差距值与对应距离的倒数成比例。基础差距变化将因此诱发评估距离的分辨率(在量化步进的场景中)随着测得物体的距离增大而精确度降低。
因此，由于可能的差距值的范围322，可以评估对应于飞行时间测量的精确度的差距步进，例如对于测得距离的范围324为2cm。在两个图像201、202中相同物体11的两个投影111、112之间的匹配将随后根据该差距步进而实现，从而实现针对距离幅度的给定量级逐个区域120地最佳化外推计算。
图5示出了实现立体视觉处理300的改进的基础处理310的第三实施例。
在该实施例中，比较由立体视觉和由飞行时间测量获得的景深信息，以便于产生测量评估准则，在该情形中是两个直方图轮廓之间的一致性水平。
在此在景深的立体视觉外推210之后执行基础处理310，因此逐个区域120地重构了外推距离的直方图330。
对于每个采集区段420和对应的区域120而言，将外推距离的直方图330的轮廓334与由飞行时间测量所产生距离的直方图410的轮廓414比较。在此轮廓应该被理解为直方图的、可以由数值的内插而获得的包络。这使其能够回避直方图330和410的不同分辨率。
该比较可以例如借由诸如最小二乘法之类的标准比较方法而执行。
比较的结果产生了一致性水平，其实现对于相同场景评估两种类型景深测量之间的相似性。
接近1的一致性水平证明成功的立体视觉处理，而低于一致性阈值的一致性水平证明了在两个测量方法之间的偏离，以及因此相对不可靠的景深图。
图6示出了电子装置APP，在此视移动电话或触摸屏平板，包括用于确定场景的景深图的装置DIS。电子装置APP有利地视电池供电的便携式装置，并且装置DIS例如包括在板载立体视觉采集和处理系统中。
装置DIS包括被配置用于如上所述事实立体视觉采集的立体视觉图像采集装置20，被配置用于以如上所述方式产生场景的距离图400的飞行时间传感器40，被配置用于以诸如以上所述方式而事实立体视觉处理300的立体视觉处理器30，以及被配置用于以如上所述方式事实基础处理310的基础处理器31。
例如，立体视觉采集装置20包括两个透镜，具有在20mm和35mm之间并含有其数值的焦距，在60°和80°之间并包括该数值的视场，以及平行的光轴，以及限定了水平地对准并由12mm的基本偏差所间隔的两个视角的两个12兆像素图像传感器。
例如，飞行时间传感器40在两个视角之间并且是紧凑的一体化传感器类型。飞行时间传感器40可以用于940mm的红外频谱，具有与立体视觉采集装置20兼容的视场，3.5m的范围，2cm的精确度，低能耗(当空闲时20μW并且工作时35mW)，5*3个采集区段或15*9个采集区段的矩阵，以及自动32位计算单元。
立体视觉处理器30和基础处理器31可以任选地继承至相同的微控制器类型的计算单元集成电路中。
此外，本发明不限于这些实施例而是包括其所有变形，例如，如上所述的各个实施例可以适应于特定的立体视觉处理的约束并且可以进一步相互组合。此外，给出的定量信息诸如关于各个设备的性能的信息借由示例的方式在技术上下文的定义的框架中给出。

Claims (25)

1.一种用于确定场景的景深图的方法，所述方法包括：
产生由飞行时间测量获得的所述场景的距离图，产生所述距离图包括针对所述场景的每个采集区段产生对应的距离直方图；
从两个不同视角采集所述场景的两个图像；以及
在考虑所述距离图的情形下执行所述两个图像的立体视觉处理，所述立体视觉处理包括：针对所述景深图的对应于采集区段的每个区域，在考虑所述对应的距离直方图的情形下，执行基础处理。
2.根据权利要求1所述的方法，其中，所述景深图具有比由飞行时间测得的所述距离图的分辨率大至少一千倍的分辨率，由飞行时间测得的所述距离图的分辨率等于所述采集区段的数目。
3.根据权利要求1所述的方法，其中，所述由飞行时间测量获得的所述场景的距离图包括从十至一千个采集区段。
4.一种用于确定场景的景深图的方法，所述方法包括：
产生由飞行时间测量所获得的所述场景的距离图，产生所述距离图包括针对所述场景的每个采集区段产生对应的距离直方图；
从两个不同的视角采集所述场景的两个图像；以及
在考虑所述距离图的情形下，执行所述两个图像的立体视觉处理，所述立体视觉处理包括：针对所述景深图的对应于采集区段的每个区域，在考虑所述对应的距离直方图的情形下，执行基础处理，其中所述立体视觉处理包括从所述两个图像之间的差距外推所述场景的距离。
5.根据权利要求4所述的方法，其中，所述基础处理限制所述外推的计算次数和/或改进所述外推的结果的可靠性和/或将额外的景深信息添加至所述景深图中所述场景的距离的外推。
6.根据权利要求4所述的方法，其中，由飞行时间可测量的相应最大距离和/或最小距离分别大于和/或小于立体视觉范围最高限值和/或立体视觉范围最低限值。
7.根据权利要求6所述的方法，其中，所述基础处理包括识别所述景深图的被称作范围外区域的区域，其对应的距离直方图并不包括分别小于所述立体视觉范围最高限值和/或大于所述立体视觉范围最低限值的任何距离，在所述范围外区域中并未进行所述外推。
8.根据权利要求7所述的方法，其中，所述基础处理包括将默认景深指派给所述范围外区域，所述默认景深是从所述对应的距离直方图的距离获得的。
9.根据权利要求4所述的方法，其中，所述基础处理包括将恒定景深分别指派给所述景深图的被称作平面区域的区域，其对应的距离直方图包括距离的单个群组，其半高宽度小于阈值宽度，所述恒定景深等于与所述单个群组的距离，并且在所述平面区域中并未进行所述外推。
10.根据权利要求4所述的方法，其中，所述基础处理包括从所述对应的直方图的距离的极限值逐个区域地产生差距值的范围，以及其中从对应范围中所包括的差距值逐个区域地进行所述场景的距离的外推。
11.根据权利要求10所述的方法，其中，根据对应于所述飞行时间测量的精确度的步进，获取在对应范围中包括的差距值。
12.根据权利要求4所述的方法，其中，所述基础处理包括逐个区域地确定由所述外推获得的距离的分布，以及将逐个采集区段的所述距离的直方图的轮廓与逐个区域的距离的分布的轮廓进行比较，所述比较产生一致性的水平。
13.一种装置，包括：
飞行时间传感器，被配置用于产生场景的距离图，所述飞行时间传感器被配置用于逐个采集区段地产生所述场景的距离直方图；
立体视觉图像采集装置，被配置用于在两个不同视角处采集所述场景的两个图像；以及
立体视觉处理器，被配置用于在考虑所述距离图的情形下进行所述两个图像的立体视觉处理，所述立体视觉处理器包括基础处理器，所述基础处理器被配置用于针对对应于采集区段的景深图的每个区域，在考虑所述对应直方图的情形下进行基础处理。
14.根据权利要求13所述的装置，其中，所述立体视觉图像采集装置具有比所述飞行时间传感器的分辨率大至少一千倍的分辨率，所述飞行时间传感器的分辨率等于所述采集区段的数目。
15.根据权利要求13所述的装置，其中，所述飞行时间传感器包括从十至一千个采集区段。
16.根据权利要求13所述的装置，其中，所述立体视觉处理器被配置为进行立体视觉处理，所述立体视觉处理包括从所述两个图像之间的视差外推所述场景的距离。
17.根据权利要求16所述的装置，其中，所述基础处理器被配置为限制所述外推的计算和/或改进所述外推的结果的可靠性和/或将额外的景深信息添加至所述景深图中所述场景的距离的外推。
18.根据权利要求16所述的装置，其中，由所述飞行时间传感器可测量的最大距离和/或最小距离分别大于和/或小于可以由所述立体视觉处理器外推的立体视觉范围最高限值和/或立体视觉范围最低限值。
19.根据权利要求18所述的装置，其中，所述基础处理器用于识别所述景深图的被称作范围外区域的区域，其对应的直方图并不包括分别小于所述立体视觉范围最高限值和/或大于所述立体视觉范围最低限值的任何距离，所述立体视觉处理器被进一步配置用于不在所述范围外区域中进行所述外推。
20.根据权利要求19所述的装置，其中，所述基础处理器被配置用于将默认景深指派给所述范围外区域，所述默认景深是从所述对应直方图的距离获得的。
21.根据权利要求16所述的装置，其中，所述基础处理器被配置用于将相应恒定的景深指派给所述景深图的被称作平面区域的区域，其对应直方图包括距离的单个群组，其半高宽度小于阈值宽度，所述恒定景深等于距所述单个群组的距离，所述立体视觉处理器进一步配置用于不在所述平面区域中进行所述外推。
22.根据权利要求16所述的装置，其中，所述基础处理器被配置用于从所述对应的直方图的距离的极限值逐个区域地产生差距值的范围，以及其中所述立体视觉处理器被配置用于基于对应范围中包括的差距值逐个区域地进行所述场景的距离的外推。
23.根据权利要求22所述的装置，其中，所述立体视觉处理器被配置用于基于差距值采用对应于所述飞行时间传感器的精确度的增量而逐个区域地进行所述场景的距离的外推。
24.根据权利要求16所述的装置，其中，所述基础处理器被配置用于逐个区域地确定由所述外推获得的距离的分布，以及将逐个采集区段的距离直方图的轮廓与每个相应区域的距离的分布的轮廓进行比较，所述比较产生一致性的水平。
25.一种电子装置，包括根据权利要求13所述的装置，所述装置包括静物照相机、移动电话或触摸屏平板。
CN201710763275.4A 2017-02-27 2017-08-30 用于场景的景深图评估的方法和设备 Active CN108513121B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
FR1751539A FR3063374B1 (fr) 2017-02-27 2017-02-27 Procede et dispositif de determination d'une carte de profondeurs d'une scene
FR1751539 2017-02-27

Publications (2)

Publication Number Publication Date
CN108513121A true CN108513121A (zh) 2018-09-07
CN108513121B CN108513121B (zh) 2021-02-05

Family

ID=58547736

Family Applications (2)

Application Number Title Priority Date Filing Date
CN201721097448.5U Withdrawn - After Issue CN207835674U (zh) 2017-02-27 2017-08-30 电子装置和电子设备
CN201710763275.4A Active CN108513121B (zh) 2017-02-27 2017-08-30 用于场景的景深图评估的方法和设备

Family Applications Before (1)

Application Number Title Priority Date Filing Date
CN201721097448.5U Withdrawn - After Issue CN207835674U (zh) 2017-02-27 2017-08-30 电子装置和电子设备

Country Status (3)

Country Link
US (3) US10445892B2 (zh)
CN (2) CN207835674U (zh)
FR (1) FR3063374B1 (zh)

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
FR3063374B1 (fr) * 2017-02-27 2019-06-07 Stmicroelectronics Sa Procede et dispositif de determination d'une carte de profondeurs d'une scene
US11227405B2 (en) * 2017-06-21 2022-01-18 Apera Ai Inc. Determining positions and orientations of objects
CN111402188A (zh) * 2018-12-28 2020-07-10 浙江舜宇智能光学技术有限公司 Tof摄像模组深度测量评价方法及其评价装置
EP3935444A1 (en) 2019-03-08 2022-01-12 Array Photonics, Inc. Electronic devices having displays with infrared components behind the displays
CN110097592B (zh) * 2019-04-07 2020-12-15 杭州晶一智能科技有限公司 地面信息的语义性描述方法
US11330246B2 (en) * 2019-11-21 2022-05-10 Microsoft Technology Licensing, Llc Imaging system configured to use time-of-flight imaging and stereo imaging
JP2021165692A (ja) * 2020-04-08 2021-10-14 ソニーセミコンダクタソリューションズ株式会社 測距装置および測距方法
CN112686937B (zh) * 2020-12-25 2024-05-31 杭州海康威视数字技术股份有限公司 一种深度图像的生成方法、装置及设备

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102204259A (zh) * 2007-11-15 2011-09-28 微软国际控股私有有限公司 双模深度成像
CN102484736A (zh) * 2009-07-07 2012-05-30 汤姆森特许公司 用于三维(3d)投影的亮度校正的方法和系统
US20150041625A1 (en) * 2013-08-06 2015-02-12 Stmicroelectronics (Research & Development) Limited Time to digital converter and applications thereof
CN104883946A (zh) * 2012-12-20 2015-09-02 奥林巴斯株式会社 图像处理装置、电子设备、内窥镜装置、程序和图像处理方法
US20160195610A1 (en) * 2012-08-14 2016-07-07 Microsoft Technology Licensing, Llc Illumination light projection for a depth camera
WO2016196414A1 (en) * 2015-06-03 2016-12-08 Empire Technology Development Llc Three-dimensional imaging sensor calibration
CN207835674U (zh) * 2017-02-27 2018-09-07 意法半导体有限公司 电子装置和电子设备

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB2479784B (en) * 2010-04-23 2012-11-07 Nds Ltd Image scaling
US20140363097A1 (en) * 2013-06-06 2014-12-11 Etron Technology, Inc. Image capture system and operation method thereof
US9927253B2 (en) * 2016-05-11 2018-03-27 GE Lighting Solutions, LLC System and stereoscopic range determination method for a roadway lighting system
US10466714B2 (en) * 2016-09-01 2019-11-05 Ford Global Technologies, Llc Depth map estimation with stereo images

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102204259A (zh) * 2007-11-15 2011-09-28 微软国际控股私有有限公司 双模深度成像
CN102484736A (zh) * 2009-07-07 2012-05-30 汤姆森特许公司 用于三维(3d)投影的亮度校正的方法和系统
US20160195610A1 (en) * 2012-08-14 2016-07-07 Microsoft Technology Licensing, Llc Illumination light projection for a depth camera
CN104883946A (zh) * 2012-12-20 2015-09-02 奥林巴斯株式会社 图像处理装置、电子设备、内窥镜装置、程序和图像处理方法
US20150041625A1 (en) * 2013-08-06 2015-02-12 Stmicroelectronics (Research & Development) Limited Time to digital converter and applications thereof
WO2016196414A1 (en) * 2015-06-03 2016-12-08 Empire Technology Development Llc Three-dimensional imaging sensor calibration
CN207835674U (zh) * 2017-02-27 2018-09-07 意法半导体有限公司 电子装置和电子设备

Also Published As

Publication number Publication date
FR3063374B1 (fr) 2019-06-07
US20180247422A1 (en) 2018-08-30
CN207835674U (zh) 2018-09-07
CN108513121B (zh) 2021-02-05
FR3063374A1 (fr) 2018-08-31
US20190385320A1 (en) 2019-12-19
US11915438B2 (en) 2024-02-27
US10445892B2 (en) 2019-10-15
US11138749B2 (en) 2021-10-05
US20220005214A1 (en) 2022-01-06

Similar Documents

Publication Publication Date Title
CN207835674U (zh) 电子装置和电子设备
EP3248374B1 (en) Method and apparatus for multiple technology depth map acquisition and fusion
US8718326B2 (en) System and method for extracting three-dimensional coordinates
US10529076B2 (en) Image processing apparatus and image processing method
EP2072947B1 (en) Image processing device and image processing method
CN110443186B (zh) 立体匹配方法、图像处理芯片及移动载具
CN104272731B (zh) 用于处理3d信息的设备和方法
US20110074932A1 (en) Accurate 3D Object Reconstruction Using a Handheld Device with a Projected Light Pattern
US10719740B2 (en) Method and a system for identifying reflective surfaces in a scene
US10620316B2 (en) Systems and methods for generating a structured light depth map with a non-uniform codeword pattern
CN109961468A (zh) 基于双目视觉的体积测量方法、装置及存储介质
JP5951043B2 (ja) 画像計測装置
KR20120079144A (ko) 교정 장치, 거리 측정 시스템, 교정 방법, 및 교정 프로그램을 기록한 컴퓨터 판독 가능한 기록 매체
CN104949657A (zh) 物体检测装置、物体检测方法、以及包括物体检测程序的计算机可读非瞬时性存储介质
US20210256729A1 (en) Methods and systems for determining calibration quality metrics for a multicamera imaging system
CN112771575A (zh) 距离确定方法、可移动平台及计算机可读存储介质
JP2018009927A (ja) 画像処理装置、画像処理方法及びプログラム
US20130331145A1 (en) Measuring system for mobile three dimensional imaging system
US10217233B2 (en) Method of estimating image depth using birefringent medium and apparatus thereof
US9064310B2 (en) Position estimation device, position estimation method, and computer program product
Budge et al. Automatic registration of fused lidar/digital imagery (texel images) for three-dimensional image creation
Langmann Wide area 2D/3D imaging: development, analysis and applications
CN113014899B (zh) 一种双目图像的视差确定方法、装置及系统
CN113052886A (zh) 一种采用双目原理的双tof相机深度信息获取方法
JP2010107224A (ja) 位置特定装置及び異動建物検出装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CP03 Change of name, title or address

Address after: Montrouge, France

Patentee after: STMicroelectronics France

Country or region after: France

Address before: France

Patentee before: STMicroelectronics S.A.

Country or region before: France

CP03 Change of name, title or address