CN110914863A - 用于光学系统的主动对准校正 - Google Patents

用于光学系统的主动对准校正 Download PDF

Info

Publication number
CN110914863A
CN110914863A CN201880047605.2A CN201880047605A CN110914863A CN 110914863 A CN110914863 A CN 110914863A CN 201880047605 A CN201880047605 A CN 201880047605A CN 110914863 A CN110914863 A CN 110914863A
Authority
CN
China
Prior art keywords
optical axis
sensor
misalignment
image data
imaging system
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201880047605.2A
Other languages
English (en)
Other versions
CN110914863B (zh
Inventor
H·宁
K·M·阿塔纳索夫
A·J·林德纳
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Qualcomm Inc
Original Assignee
Qualcomm Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Qualcomm Inc filed Critical Qualcomm Inc
Publication of CN110914863A publication Critical patent/CN110914863A/zh
Application granted granted Critical
Publication of CN110914863B publication Critical patent/CN110914863B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G06T5/80—
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/128—Adjusting depth or disparity
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/521—Depth or shape recovery from laser ranging, e.g. using interferometry; from the projection of structured light
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50—Constructional details
    • H04N23/51—Housings
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50—Constructional details
    • H04N23/54—Mounting of pick-up tubes, electronic image sensors, deviation or focusing coils
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/62—Control of parameters via user interfaces
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00—Indexing scheme for image data processing or generation, in general
    • G06T2200/04—Indexing scheme for image data processing or generation, in general involving 3D image data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Optics & Photonics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Human Computer Interaction (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Geometry (AREA)

Abstract

本发明提供用以补偿成像系统内的光学装置的未对准的方法、系统及设备。举例来说，所述方法接收由具有第一光轴的第一光学装置及具有第二光轴的第二光学装置捕获的图像数据。所述方法还接收指示衬底的偏斜的传感器数据，所述衬底支撑所述第一光学装置及所述第二光学装置。所述偏斜可由所述第一光轴相对于所述第二光轴的未对准产生。所述方法基于所述所捕获图像数据及所述传感器数据产生深度值。所述深度值可反映对所述第一光轴相对于所述第二光轴的所述未对准的补偿。

Description

用于光学系统的主动对准校正
技术领域
本发明大体上涉及光学系统及过程，且更特定地说，涉及主动地校正光学系统的未对准组件。
背景技术
三维成像及深度估计技术在许多应用中具有不断增长的重要性。为实施这些三维成像及深度估计技术，许多光学系统合并在经恰当对准及校准时捕获特性化环境的部分的图像数据的多个组件。为产生精确深度值，光学系统常常在所述组件中的每一者之间维持指定位置关系(例如位移、定向等等)。
发明内容
用于产生至少一个深度值的所揭示计算机实施方法可包含由一或多个处理器从具有第一光轴的第一光学装置或具有第二光轴的第二光学装置接收所捕获图像数据。所述方法可进一步包含由所述一或多个处理器接收指示衬底的偏斜的传感器数据，所述衬底支撑所述第一光学装置及所述第二光学装置。所述偏斜可导致所述第一光轴相对于所述第二光轴的未对准。所述方法可包含由所述一或多个处理器基于所述所捕获图像数据及所述传感器数据产生深度值。所述所产生深度值可反映对所述第一光轴相对于所述第二光轴的所述未对准的补偿。
一种用于产生至少一个深度值的所揭示系统可包含：非暂时性机器可读存储媒体，其存储指令；及至少一个处理器，其经配置以耦合至所述非暂时性机器可读存储媒体。所述至少一个处理器可经配置以执行所述指令以接收由具有第一光轴的第一光学装置或具有第二光轴的第二光学装置捕获的所捕获图像数据。所述至少一个处理器可经进一步配置以执行所述指令以接收指示衬底的偏斜的传感器数据，所述衬底支撑所述第一光学装置及所述第二光学装置。所述偏斜可导致所述第一光轴相对于所述第二光轴的未对准。所述至少一个处理器可经配置以执行所述指令以基于所述所捕获图像数据及所述传感器数据产生深度值。所述所产生深度值可反映对所述第一光轴相对于所述第二光轴的所述未对准的补偿。
一种所揭示设备具有用于接收由具有第一光轴的第一光学装置或具有第二光轴的第二光学装置捕获的所捕获图像数据的装置。所述设备还包含用于接收指示衬底的偏斜的传感器数据的装置，所述衬底支撑所述第一光学装置及所述第二光学装置。所述偏斜可导致所述第一光轴相对于所述第二光轴的未对准。另外，所述设备包含用于基于所述所捕获图像数据及所述传感器数据产生深度值的装置。所述所产生深度值可反映对所述第一光轴相对于所述第二光轴的所述未对准的补偿。
一种所揭示非暂时性机器可读存储媒体具有指令，所述指令在由至少一个处理器执行时执行方法。所述方法包含接收由具有第一光轴的第一光学装置或具有第二光轴的第二光学装置捕获的所捕获图像数据。所述方法还可包含接收指示衬底的偏斜的传感器数据，所述衬底支撑所述第一光学装置及所述第二光学装置。所述偏斜可导致所述第一光轴相对于所述第二光轴的未对准。所述方法可包含基于所述所捕获图像数据及所述传感器数据产生深度值。所述所产生深度值可反映对所述第一光轴相对于所述第二光轴的所述未对准的补偿。
附图说明
图1A为根据一些实例的示范性成像系统的透视图。
图1B为根据一些实例的示范性成像系统的平面图。
图2A及2B为根据一些实例的示范性成像系统的截面图。
图3为根据一些实例的绘示示范性成像系统的组件的框图。
图4为根据一些实例的绘示示范性传感器的操作的方面的图解。
图5为根据一些实例的用于校正成像系统的组件之间的内在及诱发性对准误差的示范性过程的流程图。
具体实施方式
虽然本文中所描述的特征、方法、装置及系统可以各种形式体现，但一些示范性及非限制性实施例展示于附图中，且在下文中进行描述。本发明中所描述的一些组件是任选的，且一些实施方案相比于本发明中明确描述的那些组件可包含额外组件、不同组件或较少组件。
例如“下部”、“上部”、“水平”、“竖直”、“上方”、“下方”、“向上”、“向下”、“顶部”及“底部”的相对术语以及其衍生词(例如“水平地”、“朝下”、“朝上”等等)是指在论述时如随后描述且展示于附图中的定向。相对术语是出于读者的便利性而提供。其并不限制权利要求书的范围。
本发明人已确定，对于在共同衬底上具有两个光感测元件的装置，感测元件之间的位置关系的任何变化可向由装置产生的深度图(depth map)数据引入误差。
三维成像及深度估计技术在许多应用中具有不断增长的重要性，例如扩增实境产生及呈现工具、自主驱动及导航应用，及三维计量工具。为实施这些技术，许多成像系统合并在经恰当对准及校准时捕获特性化环境的部分(例如环境的“成像”部分)的图像数据的多个光学装置。成像系统可应用各种图像处理工具以产生深度图，所述深度图向成像部分内的每一像素指派特性化所述成像部分内对应于所述像素的位置的深度的值。在一些实例中，成像系统可基于结构化光过程、立体视觉过程或飞行时间过程被应用于所捕获图像数据而产生深度图。此外，成像系统可包含对应于这些过程的光学装置，例如相机、成像传感器(例如电荷耦合装置(CCD)传感器)、互补金属氧化物半导体(CMOS)成像传感器、例如红外(IR)光(例如近IR光)的发出具有预定波长的光的激光器，或例如衍射光栅的其它光学元件。
为在环境的成像部分上精确地产生深度值，成像系统常常在多个光学装置中的每一者之间维持指定位置关系(例如位移、定向等等)。举例来说，成像系统可包含两个或两个以上图像传感器(例如CCD传感器)，其沿例如安装于成像系统的壳体内的印刷电路板(PCB)的衬底或安装组合件的表面安置于指定位置及定向处。基于立体视觉过程(例如三角测量)被应用于由CCD传感器捕获的图像数据，成像系统可经校准以产生符合CCD传感器的指定位置及定向且在环境的成像部分上为精确的深度图。
成像系统的光学组件之间的位置关系(例如CCD传感器的位置或定向)的任何变化可向由成像系统产生的深度图引入误差。在一些实例中，如下文所描述，位置关系的变化可起因于光学组件的可预测的内在未对准。举例来说，归因于对准工具或制造条件的限制，CCD传感器的光轴可能不会精确平行，且光轴可呈现可在初始校准过程期间确定的与平行的角度偏差。此角度偏差在本文中被称作“偏航角”。成像系统可实施校正性过程，其校正经由所应用的图像处理技术计算的深度值，以反映及解释光学组件的内在未对准。
在其它实例中，光学组件的位置关系的变化及这些光学组件的基础未对准可起因于在操作期间施加至成像系统的外力或弯曲力矩。举例来说，用户可使用适当安装托架将成像系统附接至对应结构，例如三角架。在一些情况下，安装托架在成像系统的壳体上施加外力或弯曲力矩，且此外力或弯曲力矩可使得衬底或安装设备偏斜，并修改光学组件的定向。对光学组件的定向的所得修改可修改特性化光学组件中的每一者的偏航角。偏航角的变化可取消成像系统的任何先前校准，且向由成像系统产生的深度图数据引入误差。
为识别及校正诱发性未对准及所得偏航角误差，成像系统可在用户的每一相继操作之前基于所捕获图像数据进行重新校准。这些重新校准过程在时间及资源上可为充分的，且可减弱成像系统捕获特性化快速出现的事件的数据的能力。此外，如上文所描述的校准成像系统且解释光学组件的内在未对准的过程可能不会检测及校正偏航角未对准，所述偏航角未对准起因于外力或弯曲力矩至成像系统的壳体的随时间变化的施加。
本发明提供例如成像系统的系统，其检测组分光学装置的轴之间的未对准，且针对所检测的未对准主动地校正所捕获图像数据或所产生深度图数据。在下文所描述的一些实例中，所述成像系统对应于双相机立体视觉系统，其包含安置于衬底上的两个或两个以上图像传感器(例如CCD传感器或CMOS传感器)。在其它实例中，所述成像系统可表示结构化光系统，其包含结构化光发送器(例如近IR激光器)及对应接收器(例如安置于衬底上的能够检测IR(例如近IR)辐射的图像传感器)。此外，在额外实例中，所述成像系统可表示包含飞行时间传感器及安置于衬底上的RGB相机的飞行时间系统，或表示包含多个经校准及对准的组件或装置的额外或替代系统。成像系统还可包含或耦合至计算特性化由成像系统成像的环境的部分的深度图的深度绘图块(depth mapping block)。
衬底可包含印刷电路板或其它刚性平台或衬底，其可使用一或多个对应附接结构安装于壳体内。此外，如上文所描述，外力或弯曲力矩被施加至壳体的部分可导致衬底从壳体内的衬底的初始位置向下(或向上)偏斜。衬底的偏斜可导致成像系统的组件的光轴未对准，且向从组分光学装置所捕获的图像数据导出的深度图数据引入误差。
为检测及特性化由外力或弯曲力矩的施加而造成的偏斜，成像系统还包含安置于衬底的表面上的屈曲传感器(也被称作“弯曲传感器”)。在一些实例中，如下文所描述，屈曲传感器可为沿单一弯曲轴(例如成像系统的偏航轴)测量衬底的最大偏斜的一维屈曲传感器。在其它实例中，屈曲传感器可包含沿多个弯曲轴(例如成像系统的偏航轴、成像系统的俯仰轴或成像系统的横摇轴)测量衬底的偏斜的多维传感器。屈曲传感器的实例包含导电的基于墨水的传感器、光纤传感器、合并导电织物、线或聚合物的传感器、应变计、压电限制性传感器，或测量偏斜作为电阻的函数(例如线性函数或二次函数)的其它零阶传感器。
在额外实例中，系统还包含存储可执行指令的有形的非暂时性存储媒体或存储器，及耦合至存储媒体或存储器且经配置以执行所存储指令的处理单元(例如微处理器或中央处理单元(CPU))。处理单元还可耦合至屈曲传感器以接收、处理及调节指示衬底沿一或多个弯曲轴的偏斜的输出信号，且耦合至成像系统以接收及处理由对应光学装置捕获的图像数据。另外，在某些情况下，有形的非暂时性存储媒体或存储器还存储特性化成像系统的组件的内在未对准的数据。如上文所描述，内在未对准表示外力或弯曲力矩被施加至成像系统的壳体之前或之后存在的光学组件的未对准，且可由制造工具、过程或条件产生。
处理单元可执行所存储指令，以处理及调节从屈曲传感器接收的输出信号。处理单元可将经处理及调节的输出信号与对应偏斜量相关(例如如角度或位置单元中所测量)。当偏斜量经确定为超出阈值时，处理单元可主动地校正成像系统的内在未对准及由衬底的偏斜产生的光学装置的诱发性未对准两者。处理单元可进一步产生反映内在及诱发性未对准的校正的深度图数据，且将所产生深度图数据存储于有形的非暂时性存储器装置中。
图1A及1B为绘示示范性成像系统100的部分的图解。如图1A及1B中所绘示，成像系统100包含壳体102及附接至壳体102的内部表面102A的衬底104。衬底104可使用对应附接结构103A及103B沿侧向边缘104A及104B附接至内部表面102A。纵向边缘104C及104D(图1B中所示)可保持自由，且能够在内部表面102A上转变。衬底104可包含由热塑性或热固性基底材料形成的印刷电路板(例如PCB)。附接结构103A及103B的实例包含被动附接结构，例如铰链、支点或铰链与支点的组合(未展示)。此外，附接结构103A及103B可由与衬底104兼容的柔性材料形成，或与所述柔性材料合并，例如橡胶或发泡材料、柔性热塑性材料(例如热塑性PCB材料)或金属或塑料弹簧结构。
如图1A及1B中进一步所绘示，成像系统100还包含光学装置106及108，其沿衬底104的表面105安置于对应位置处。举例来说，对应位置可在光学装置106及108(在其定位于表面105上时)之间建立分隔距离。此外，光学装置106及108可使用数种机械紧固技术中的任一者附接至表面105，例如焊接或经由粘着剂。在某些实例中，光学装置106及/或光学装置108可经配置以捕获特性化一或多个物体被安置于光学装置106及108可见的环境内(例如“成像”环境内)的图像数据。
在一个实例中，成像系统100表示双相机立体视觉系统，且光学装置106及108各自包含能够检测及捕获可见光的图像传感器。图像传感器的实例包含但不限于电荷耦合装置(CCD)、互补金属氧化物半导体(CMOS)传感器，或组合CCD及CMOS架构的元件的混合型图像传感器。在一些情况下，由光学装置106及108捕获的图像数据可包含一对立体图像，其从略微不同的视点表示成像环境的可见部分(例如分别对应于光学装置106及108的位置)。如下文所描述，耦合至光学装置106及108的深度绘图块(例如如由成像系统100处理单元执行)可将一或多种立体视觉技术应用于所捕获图像数据，且基于所述一对立体图像中的每一者的位置之间的所计算像素偏移，产生特性化成像环境内的每一位置的深度值。可包含所产生深度值作为深度图的部分。
在其它实例中，成像系统100可包含具有激光发射器的结构化光系统(例如光学装置106)、安置于发射器与成像环境之间的衍射光栅(图1A或1B中未描绘)，及能够检测及捕获所发射光的图像传感器(例如光学装置108)。激光发射器可包含红外激光器，且图像传感器可包含能够检测红外辐射的CCD传感器、CMOS传感器或混合型图像传感器。在一些情况下，红外激光器经配置以发射单一红外辐射光束。单一红外辐射光束由衍射光栅分裂成多个光束，以将结构化图案投影至安置于成像环境内的物体上。光学装置108捕获经投影结构化图案。深度绘图块可使所捕获图像数据及所捕获图案与位于成像环境内的具有已知深度的成像平面处的预定义参考图案相关。如下文所描述，深度绘图块可基于在所捕获图像数据内检测的光斑位置之间的所计算偏移，产生特性化成像环境内的每一位置的深度值。
此外，成像系统100还可包含具有激光发射器(例如光学装置106)及对应图像传感器(例如光学装置108)的飞行时间系统。举例来说，激光发射器可经配置以发射经调制以照明成像环境内的一或多个物体的近红外(IR)辐射，且对应图像传感器可包含能够捕获所发射的近IR辐射的CCD传感器、CMOS传感器，或混合型传感器。在一些实例中，如下文所描述，光学装置108收集由被照明的物体所反射的辐射，且深度绘图块可基于调制光与所述调制光的经反射组分之间的相移的比较，计算特性化成像环境内的每一位置的深度值。
主题不限于成像系统的这些实例，且在其它实例中，成像系统100可包含具有多个经校准及对准的光学装置的任何额外或替代系统。此外，尽管关于光学装置106及108进行描述，但成像系统100可包含任何数目个经校准及对准的光学装置。举例来说，成像系统100可包含能够检测及捕获可见光辐射或具有特定波长或波长范围的辐射(例如IR(例如近IR)辐射)的额外图像传感器(例如CCD传感器、CMOS传感器或混合型传感器)。
成像系统100还包含检测及特性化由施加至壳体102的外力或弯曲力矩造成的衬底104的偏斜的屈曲传感器110。在一个实例中，屈曲传感器110可安置于衬底104的表面105上，例如介于光学装置106及108与纵向边缘104D之间的位置处。主题不限于屈曲传感器110沿表面105的此示范性安置，且在其它情况下，屈曲传感器110可安置于表面105上的其它适当位置处，例如介于光学装置106或光学装置108与纵向边缘104C之间的位置，或介于光学装置106或光学装置108与纵向边缘104D之间的位置处。
举例来说，如图1A及1B中所描绘，屈曲传感器110为测量衬底104在垂直于单一弯曲轴(例如轴162)的方向上的偏斜的一维屈曲传感器。在一个实例中，在屈曲传感器110上所测量的电阻与衬底104沿单一弯曲轴的偏斜线性地成比例，且就此而论，屈曲传感器110可近似为零阶传感器。在其它实例中，屈曲传感器110还可包含沿多个弯曲轴(例如轴162、164及/或166)测量衬底104的偏斜的多维传感器。替代地，可使用多个正交安装的一维屈曲传感器。屈曲传感器110的实例包含导电的基于墨水的传感器、光纤传感器、由导电织物、线或聚合物形成的传感器、应变计、压电限制性传感器，或测量偏斜作为电阻的线性函数的其它零阶传感器。
在一些情况下，可从屈曲传感器110所测量的偏斜(例如经由所测量偏斜的外插)导出衬底104的最大偏斜量。在其它情况下，屈曲传感器110可沿表面105安置于促进由屈曲传感器110对最大偏斜量的直接测量的位置处。
此外，尽管图1A及1B中未描绘，但成像系统100还可包含有助于光学装置106或108发射辐射或有助于光学装置106或108捕获成像数据的额外光学元件。举例来说，成像系统100可包含向并入光学装置106或108中的图像传感器(例如CCD传感器、CMOS传感器，或包含于双相机立体视觉系统内的混合型图像传感器)提供聚焦能力的一或多个透镜元件。在其它情况下，成像系统100可包含有助于由包含于光学装置106或108内(例如如包含于结构化光系统或飞行时间系统内)的图像传感器捕获IR(例如近IR)辐射的一或多个光学滤波器。主题不限于额外光学元件的这些实例，且在其它实例中，成像系统100可包含适合于光学装置106及108的任何额外或替代光学元件。
如上文所描述，成像系统100可在不存在任何外力或弯曲力矩的情况下建立及维持光学装置106及108之间的指定位置关系。举例来说，如图2A中所绘示，成像系统100可沿表面105在光学装置106及108之间建立及维持预定分隔距离204(例如图2A中的Ds)。另外，光学装置106及108可安置于表面105上，使得：(i)光学装置106的光轴206平行于光学装置108的光轴208；及(ii)光轴206及208各自垂直于表面105，且垂直于安置于成像环境内的成像平面210。在某些情况下，可在制造过程期间针对成像系统100建立光学装置106及108之间的位置关系(例如光学装置106及108沿表面105的位置及定向)，所述制造过程将光学装置106及108附接至衬底104且将衬底104安装至壳体102中。
在一些实例中，光学装置106及108在表面105上经定位及定向的精确性取决于制造工具、制造过程及制造条件。举例来说，光轴206及208的对准可归因于制造条件(例如归因于对准测量装置的限制等等)而发生变化。实情为，光学装置106及108可经定位及定向于表面105上，使得光轴206及208彼此大体上平行(且大体上垂直于表面105及成像平面210)。光轴206及208中的每一者的大体上平行的定向之间可存在小角度偏差。
大体上平行的定向之间的角度位移可建立成像系统100的内在未对准。可在制造时或经由初始校准过程确定所述内在未对准。在一些情况下，成像系统100可执行下文所描述的示范性过程中的一或多者，以例如基于所捕获图像数据的数字操纵而校正所捕获图像数据以解释内在未对准。
成像系统100还可在由一或多个用户进行的操作之前、期间或之后暴露于某些所施加的外力或弯曲力矩。举例来说，成像系统100的用户可将成像系统100安装于三角架或安装结构上，所述三角架或安装结构对成像系统100的部分施加外力或弯曲力矩。在其它情况下，用户可将成像系统100置于例如桌面或地板的表面上，且壳体102与所述表面之间的所得影响可使壳体102变形，且将应力施加至衬底104。如下文所描述，所施加的力或弯曲力矩(及所得应力)可使衬底104偏斜，且诱发光学装置106及108的额外未对准，所述额外未对准可在从现今未对准的光学装置106及108所捕获的图像数据导出的深度图数据中引入误差。
如图2B中所绘示，可垂直于壳体102的轴164施加外力212(例如图2B中的FAPP)。轴164可例如对应于成像系统100的偏航轴。外力212的施加诱发衬底104中的弯曲力矩(例如如沿侧向边缘104A及104B固定至壳体102)，其使得衬底104沿轴162弯曲且呈现经偏转形状214。在一个实例中，外力212的施加及所得弯曲力矩诱发衬底104的偏斜216(例如图2B中的ΔF)。此外，由外力212造成的衬底104的偏斜216还导致光轴206及208的位移及光轴206相对于光轴208的对应未对准(或光轴208相对于光轴206的对应未对准)。
取决于壳体102与衬底104之间的界面的配置，壳体102可在衬底104接合壳体102的位置处将弯曲力矩施加至衬底104。举例来说，如果衬底104通过焊合、焊接或粘着剂紧固至壳体102，那么壳体102可在衬底104上赋予弯曲力矩。
归因于衬底104的偏斜，光轴206的角度位置相对于偏航轴164移位对应角度位移218(例如图2B中的θF)，且光轴208的角度位置相对于偏航轴164移位对应角度位移220(例如图2B中的βF)。光轴206及208的角度位移θF 218及βF 220(例如“偏航角误差”)可导致光轴206相对于光轴208的未对准(或光轴208相对于光轴206的未对准)，且可在由光学装置106或108捕获的图像数据中引入误差。这些误差还可传播至从所捕获图像数据导出的深度图数据。作为实例，对于等效于100μm的对应于0.1度的角度位移θF 218及βF 220的偏斜216，光学装置106及108的所得未对准可针对成像环境内的经安置与成像系统100相距2.0m的位置，引入15cm的深度误差(例如所计算深度值的误差7.5％)。
在一些实例中，屈曲传感器110可测量由外力212的施加而造成的偏斜216，且产生指示所测量偏斜216的输出信号。基于输出信号，成像系统100可执行下文所描述的示范性过程中的一或多者，以主动地校正图像数据从而补偿所测量偏斜216，且此外，补偿成像系统100的内在未对准。通过针对内在未对准及诱发性偏航角误差主动地校正所捕获图像数据，图像系统100可甚至在存在所施加外力的情况下产生精确地特性化成像环境内的位置的深度的深度图数据。
图3为绘示成像系统100的示范性组件的示意性框图。成像系统100可包含具有数据库304及存储于其上的指令306的有形的非暂时性机器可读存储媒体(例如“存储媒体”)302。成像系统100可包含用于执行指令306或用于促进数据在数据库304处的存储及检索的一或多个处理器，例如处理器308。处理器308还可耦合至一或多个光学装置(例如光学装置106及108)及传感器(例如屈曲传感器110)。此外，处理器308可接收由光学装置106或108捕获的图像数据310A及由屈曲传感器110产生的传感器数据310B作为输入数据，且可针对内在未对准及诱发性偏航角误差，选择性地执行指令306的部分，以主动地校正所捕获图像数据或所导出深度图数据，如下文所描述。
数据库304可包含多种数据，例如系统数据312及光学装置数据314。在一个实例中，系统数据312可包含特性化成像系统100的参数的值，例如壳体102的尺寸、衬底104的尺寸、光学装置106及108的标识及特性(例如CCD传感器、IR激光发射器等等)、光学装置106及108沿衬底104的表面105的位置，或屈曲传感器110沿表面105的位置。在额外实例中，系统数据312还可指定使用下文所描述的示范性过程中的任一者触发图像数据及/或所产生深度数据的主动校正的阈值。此外，光学装置数据314可指定特性化光学装置106及108的额外参数的值，连同指定光学装置106及108的各种操作模式的配置数据(例如发射或检测具有特定波长的辐射的能力)。
数据库304还可包含装置校准数据316，其特性化归因于由制造工具、过程或条件强加的限制的光学装置106及108的内在未对准。举例来说，归因于制造过程期间的光学对准工具的限制，光学装置106的光轴可大体上平行于光学装置108的光轴，且与其具有角度偏差。光学装置106及108的光轴之间的角度或位置移位可在由制造商实施的初始校准过程期间进行识别及特性化，且装置校准数据316指定位置或角度偏差，其特性化成像系统100的内在未对准。
此外，数据库304包含传感器校准数据318，其使屈曲传感器110的传感器输出与衬底104的对应偏斜量相关。举例来说，如上文所描述，屈曲传感器110的特性可为零阶传感器，且衬底104的对应偏斜量(例如位置或角度位移的值)可作为传感器输出(例如电阻的值)的线性函数而变化。传感器校准数据318可呈表的形式。图4绘示衬底104的(所测量及预测的)偏斜量与屈曲传感器110的传感器输出之间的线性关系。
返回参看图3，数据库304还可包含图像数据存储区320，其保持由并入光学装置106或光学装置108内的图像传感器所捕获的原始图像数据(例如图像数据310A的部分)。另外，数据库304可包含深度值数据322，其包含深度值及指定由光学装置106及/或光学装置108成像的环境的对应部分的绘图函数(mapping function)的数据。在一些实例中，深度值可构成一或多个深度图的部分，且深度值数据322可存储特性化一或多个深度图的数据。
此外，数据库304可包含深度校正数据324，其使偏斜量及所计算深度数据与对应深度校正值相关。在一个实例中，深度校正数据324可包含识别对应于数据对的深度校正值的结构化数据库，所述数据对包含(i)衬底104的偏斜的经确定量(例如偏斜量)及(ii)成像环境内的位置的深度的所计算值。举例来说，在给定经确定偏斜量100μm及所计算深度值2.0m的情况下，结构化数据库可识别深度校正值15cm，且可指定所计算深度值2.0m应增大15cm以解释由100μm偏斜所造成的偏航角误差。在一些情况下，可基于使偏斜值及所计算深度数据与对应深度校正值相关的经验数据，或基于所捕获图像数据及/或所产生深度图数据的先前校正产生深度校正数据324。
为促进实例的理解，有时关于经配置以执行特定操作的一或多个块描述指令306。作为一个实例，指令306可包含管理光学装置106及108的操作及配置的光学装置控制块332。举例来说，光学装置106及108可包含能够检测及捕获具有可见光的光(例如IR(例如近IR)辐射)的图像传感器，例如CCD传感器、CMOS传感器，或混合型CCD/CMOS传感器。光学装置106及108还可包含能够在某些波长下发射例如IR(例如近IR)辐射的经调制或未经调制辐射的发射器装置，例如激光发射器。主题不限于光学装置的这些实例，且在其它实例中，成像系统100可包含额外或替代类型或数目的光学装置或元件，例如额外图像传感器或激光发射器。
指令306还可包含信号调节及处理块334，以调节及处理由屈曲传感器110产生的传感器数据。举例来说，信号调节及处理块334可接收传感器数据310B，其反映与屈曲传感器110的当前变形相关联的电阻的值，且在时间或空间域中处理传感器数据310B以减少噪声或其它伪影。另外，在一些情况下，信号调节及处理块334可进一步处理传感器数据310B，以使传感器输出(例如电阻的测量值)与衬底104的对应偏斜量(例如图2B的偏斜216)相关。举例来说，信号调节及处理块334可存取保持于数据库304中的传感器校准数据318。数据库304将传感器输出(例如电阻)转换成偏斜量(例如按例如微米的位置单位，或按例如度的角度单位)，且确定对应于传感器输出的偏斜量。
在一个实例中，所确定偏斜量(例如对应于屈曲传感器110的传感器输出)表示衬底104响应于外力或弯曲力矩而偏斜的最大量。在其它实例中，信号调节及处理块334可例如经由外插或其它过程，从所确定偏斜量、衬底104的尺寸，及/或屈曲传感器110沿表面105的位置导出偏斜的最大量。
另外，指令306可包含校正块336。在一个实例中，校正块336可存取特性化成像系统100的内在未对准的数据(例如如装置校准数据316中所指定)，且可将各种图像处理技术应用于图像数据310A的部分，以校正成像系统100的内在未对准。这些图像处理技术的实例包含但不限于删除或“裁剪”图像数据310A的部分以调整光学装置106或108之间的水平或竖直移位的过程，或旋转图像数据310A的部分以反映光学装置106及108之间的角度或旋转移位的过程。主题不限于这些示范性图像处理技术，且在其它实例中，校正块336可实施针对成像系统100的内在未对准校正图像数据310A的额外或替代过程。
此外，且当最大偏斜量超过阈值时(例如如系统数据312内所保持)，校正块336还可校正由衬底104的偏斜产生的偏航角误差。举例来说，且响应于由衬底104的偏斜产生的偏航角误差(例如图2B中的θF及βF)，校正块336可处理图像数据310A的部分以校正及补偿偏航角误差。举例来说，校正块336可通过在尺寸上调整图像数据310A中对应于成像环境内的某些区的部分(例如通过变换或投影图像数据310A的部分)，来校正偏航角误差。
在其它实例中，校正块336还可处理所产生深度图数据的部分，以校正光学装置106及108的定向的由衬底104的偏斜所产生的偏航角误差(例如图2B中的θF及βF)。举例来说，校正块336可存取数据库304内的深度校正数据324，且获得使所确定偏斜值及所计算深度数据与对应深度校正值相关的数据。基于所获得数据，校正块336可确定对应于衬底104的所确定偏斜量(例如如从传感器数据310B所确定)及包含于所产生深度图数据内的每一深度值的深度校正值。校正块336可根据对应深度校正值调整所产生深度图数据内的每一深度值，以针对偏斜及所得偏航角误差校正所产生深度图数据。
另外，基于装置校准数据316，校正块336可确定与成像系统100的内在未对准相关联的内在偏斜量(例如在无外力施加至衬底104时的内在偏斜量)。在一个实例中，校正块336还可调整由外力被施加至衬底104而产生的偏航角误差(例如图2B中的θF及βF)，以解释内在偏斜量。校正块336可进一步应用上文所描述的图像处理技术中的一或多者(例如修改、裁剪、旋转、投影或变换所捕获图像数据的部分)，以针对经调整偏航角误差校正所捕获图像数据。通过针对这些经调整偏航角误差校正所捕获图像数据，校正块336可同步补偿成像系统100的内在未对准及由外力被施加至壳体102产生的衬底104的偏斜两者。
在其它实例中，校正块336可产生经调整偏斜量，其解释(例如由外力被施加至壳体102产生的)衬底104的最大偏斜量及(例如由成像系统100的内在未对准产生的)内在偏斜量。举例来说，经调整偏斜量可表示最大及内在偏斜量的线性组合。基于使所确定偏斜值及所计算深度数据与对应深度校正值相关的数据，校正块336可确定对应于经调整偏斜量及包含于所产生深度图数据内的每一深度值的深度校正值。校正块336可根据对应深度校正值调整所产生深度图数据内的每一深度值，以针对成像系统100的内在未对准及衬底104的偏斜两者校正所产生深度图数据。
指令306还可包含基于图像数据310A的部分产生环境的成像部分的至少一个深度值的深度绘图块338。在上文所描述的一个实例中，图像数据310A可包含一对立体图像，其分别表示由并入光学装置106及108中的图像传感器成像的环境的部分。环境部分的成像部分内的每一位置可由所述一对图像之间的偏移(按像素进行测量)特性化，且所述偏移与在所述位置与成像系统100之间的距离成比例。深度绘图块338可进一步建立像素偏移作为特性化环境内的位置的深度值。举例来说，深度绘图块338可建立与作为特性化环境内的位置的深度值的像素偏移成比例的值，且将所计算深度值与环境的成像部分的深度图内的对应位置相关联。深度绘图块338可将深度值存储于数据库304的部分内，例如存储于深度值数据322内。深度绘图块338还可将特性化所产生深度图的数据存储于深度值数据322的部分内。
在其它实例中，成像系统100可表示结构化光系统，且图像数据310A包含所捕获的经图案化IR辐射，所述结构化光系统具有IR激光发射器(例如光学装置106)、安置于发射器与成像环境之间的衍射光栅，及能够检测及捕获所反射的IR辐射的图像传感器(例如光学装置108)。在一些情况下，IR激光器发出单一红外辐射光束，所述光束由衍射光栅分裂成多个光束，以将结构化图案投影至成像环境上。光学装置108捕获经投影结构化图案，且深度绘图块338可使所得图像数据内的图案(例如图像数据310A的部分)与位于成像环境内的具有已知深度的成像平面处的预定义参考图案相关。此外，深度绘图块338可识别及计算图像数据内的光斑位置之间的偏移，且可基于所计算偏移产生特性化成像环境内的每一位置的深度值。如上文所描述，深度绘图块338可将深度值及/或特性化所产生深度图的数据存储于数据库304的深度值数据322内。
此外，在额外实例中，成像系统100还可包含具有激光发射器(例如光学装置106)及对应图像传感器(例如光学装置108)的飞行时间系统。举例来说，激光发射器可经配置以发射经调制以照明成像环境内的一或多个物体的准直近红外(IR)辐射，且对应图像传感器可包含能够捕获近IR辐射的CCD传感器、CMOS传感器，或混合型传感器。光学装置108收集由被照明的物体所反射的辐射，且深度绘图块338可基于调制光与所述调制光的经反射组分之间的相移的比较，计算特性化成像环境内的每一位置的深度值(例如如图像数据310A的部分中所包含)。深度绘图块338可将深度值及/或特性化所产生深度图的数据存储于数据库304的深度值数据322内。
主题不限于上文所描述的深度绘图过程的实例，且深度绘图块338可将额外或替代图像处理技术应用于所捕获图像数据，以产生特性化成像环境的深度图。举例来说，深度绘图块338可处理所捕获图像数据的部分(例如图像数据310A)，以确定与特性化环境的先前分析部分的先前图像数据的类似性。响应于经确定类似性，深度绘图块338可存取数据库304，且(例如从深度值数据322)获得指定环境的先前分析部分的绘图函数的数据。深度绘图块338可直接且基于所应用绘图函数的输出产生所捕获图像数据的部分的深度值及/或深度图。
图5为根据一个实施方案的在成像系统的光学装置中校正内在及诱发性对准误差的示范性过程500的流程图。过程500可由在成像系统(例如图3的成像系统100)处本地执行指令的一或多个处理器执行。因此，过程500的各种操作可表示为存储于一或多个计算平台的存储媒体(例如成像系统100的存储媒体302)中的可执行指令。
参看图5，成像系统100可接收由例如光学装置106及108的一或多个光学装置捕获的图像数据(例如在框502中)。在一个实例中，光学装置控制块332在由成像系统100的处理器308执行时可存取存储媒体302，且(例如从光学装置数据314)获得指定光学装置106及108的操作模式的配置数据。光学装置控制块332可根据所获得配置数据产生使得光学装置106或光学装置108捕获图像数据的指令，且光学装置控制块332可将所捕获图像数据存储于存储媒体302的部分内(例如图像数据存储区320)。
举例来说，如上文所描述，成像系统100可表示双相机立体视觉系统，且所捕获图像数据可包含一对立体图像，所述一对立体图像表示由并入光学装置106及108中的图像传感器成像的环境的数个部分。在其它实例中，成像系统100可表示结构化光系统，或替代地表示飞行时间系统，且如上文所描述，所捕获图像数据可包含由光学装置108捕获的红外(IR)(例如近IR)图像数据。主题不限于成像系统及所捕获图像数据的这些实例，且在额外实例中，成像系统100可合并经对准及校准的光学装置的任何额外或替代集合，其可捕获指示所检测可见光、IR(例如近IR)辐射或具有其它波长的辐射的图像数据。
成像系统100还可接收指示衬底的偏斜的传感器数据，所述衬底支撑一或多个光学单元(例如在框504中)。举例来说，成像系统100可包含安置于衬底104的表面105上的传感器(例如图1A的屈曲传感器110)，所述衬底还支撑光学装置106及108。响应于外力被施加至成像系统100的壳体(例如图2B的壳体102)的部分，衬底104围绕与衬底104的纵向轴正交的轴弯曲。衬底104从其在壳体102内的初始位置向下(或向上)偏斜。衬底104的偏斜可导致光学装置106及108的未对准，且可引入一或多个偏航角误差。
屈曲传感器110可监测衬底104的弯曲，且可产生及输出指示特性化衬底104的偏斜的偏斜量的传感器数据。在一个实例中，信号调节及处理块334在由处理器308执行时可从屈曲传感器110接收传感器数据，且可在时间或空间域中处理传感器数据以减少噪声及其它伪影(例如在框504中)。
此外，成像系统100还可基于所接收传感器数据来确定偏斜的量(例如在框506中)。在一些实例中，如由处理器308执行的信号调节及处理块334可进一步处理传感器数据，且将传感器数据(例如电阻的测量值)转换成衬底104的对应偏斜量(例如图2B的偏斜216)。举例来说，信号调节及处理块334可存取存储媒体302，且(例如从传感器校准数据318)获得将传感器输出转换成偏斜量(例如按例如微米的位置单位，或按例如度的角度单位)的校准数据。基于所获得校准数据，信号调节及处理块334可确定对应于所接收传感器数据的偏斜量。
成像系统100还可确定偏斜量是否超过阈值(例如在框508中)。举例来说，如由处理器308执行的信号调节及处理块334可存取存储媒体302，且可(例如从系统数据312)获得识别阈值的数据。在一个实例中，阈值可为预定且固定的值，例如衬底104的屈曲容限。在其它实例中，阈值可基于包含但不限于环境特性(例如周围温度)、光学装置106或108的特性，或成像系统100的可操作特性的因素而变化。信号调节及处理块334可将偏斜量与所获得阈值进行比较。当确定偏斜超过阈值时，成像系统100可选择性地校正所捕获图像数据，以补偿由衬底104的偏斜诱发的未对准及偏航角误差。
当成像系统100确定偏斜量未能超出阈值时(例如框508；否)，成像系统100可针对成像系统100的内在未对准校正所捕获图像数据(例如在框510中)。举例来说，偏斜量可属于衬底104的屈曲容限。任何所得偏航角误差可能不足以扰乱光学装置106及108的定向。在一些情况下，校正块336在由成像系统100的处理器308执行时可存取存储媒体302，且获得特性化成像系统100的内在未对准的数据(例如如装置校准数据316中所指定)及所捕获图像数据的部分(例如如图像数据存储区320中所保持)。
校正块336可应用上文所列的图像处理技术中的一或多者，以针对成像系统100的内在未对准校正所捕获图像数据。举例来说，这些图像处理技术可包含但不限于删除或“裁剪”所捕获图像数据的部分以调整光学装置106或108之间的水平或竖直移位的过程。其它技术旋转及/或沿展所捕获图像数据的部分，以反射光学装置106及108之间的角度或旋转移位。
成像系统100还可产生符合经校正图像数据的深度值数据(例如在框512中)，且将经校正深度值数据的部分存储于一或多个有形的非暂时性存储媒体或存储器中(例如在框514中)。举例来说，深度绘图块338在由成像系统100的处理器308执行时可将如上文所描述的深度绘图技术中的一或多者应用于经校正图像数据。举例来说，深度绘图技术可包含立体视觉技术、结构化光技术或飞行时间技术。基于一或多个深度绘图技术的应用，深度绘图块338可甚至在存在成像系统100的内在未对准的情况下产生精确特性化成像环境内的位置的深度的深度值。在一些实例中，深度绘图块338还可针对包含所产生深度值的成像环境产生深度图数据。深度绘图块338可将所产生深度值及/或所产生深度图数据存储于存储媒体302的对应部分内，例如存储于深度值数据322内。在一些实例中，示范性过程500随后在框516中完成。
返回参看框508，当成像系统100确定偏斜量超过阈值时(例如框508；是)，成像系统100建立偏斜的量，且所得偏航角误差足以扰乱光学装置106及108的定向。在一些实例中，成像系统100可校正成像系统100的内在未对准及由衬底104的偏斜产生的偏航角误差两者。在一些实例中，成像系统100可产生反映内在未对准及偏航角误差的校正的深度图数据(例如在框518中)。
在一个实例中，在框518中，成像系统100针对内在未对准及偏航角误差校正所捕获图像数据的部分，且产生反映经校正图像数据的深度值及/或深度图数据。举例来说，校正块336在由成像系统100的处理器308执行时可存取存储媒体302，且获得特性化成像系统100的内在未对准的装置校准数据316及所捕获图像数据的部分(例如如图像数据存储区320中所保持)。校正块336可应用上文所描述的图像处理技术中的一或多者(例如修改、裁剪或旋转所捕获图像数据的部分)，以针对成像系统100的内在未对准校正所捕获图像数据。
另外，响应于由衬底104的偏斜产生的偏航角误差(例如图2B中的θF及βF)，校正块336可进一步处理所捕获图像数据且针对偏航角误差校正所捕获图像数据。举例来说，校正块336可通过在尺寸上调整所捕获图像数据中对应于成像环境内的某些区的部分(例如通过变换或投影所捕获图像数据的部分)，来补偿偏航角误差。响应于内在未对准及偏航角误差的校正，如由处理器308执行的深度绘图块338可使用上文所概述的示范性过程中的任一者产生符合经校正图像数据的深度值及/或深度图数据。
在另一实例中，如由处理器308执行的校正块336可确定与成像系统100的内在未对准相关联的内在偏斜量，且可调整由外力被施加至衬底104产生的偏航角误差(例如图2B中的θF及βF)，以解释内在偏斜量。校正块336可进一步应用一或多种图像处理技术(例如修改、裁剪、旋转、投影或变换所捕获图像数据的部分)，以针对经调整偏航角误差校正所捕获图像数据，如上文所描述。响应于补偿成像系统100的内在未对准及衬底104归因于所施加外力的偏斜两者的对经调整偏航角误差的校正，深度绘图块338可使用上文所概述的示范性过程中的任一者产生符合经校正图像数据的深度值及/或深度图数据。
在其它实例中，参看框518，成像系统100可最初针对成像系统100的内在未对准校正所捕获图像数据的部分，且产生符合经校正图像数据的深度值及/或深度图数据。随后，成像系统100可校正所产生深度值及/或深度图数据，以补偿由衬底104的偏斜引入的偏航角误差。成像系统100可针对内在未对准校正所捕获图像数据，且针对偏航角误差校正所产生深度图数据。另外或替代地，成像系统100可针对内在未对准及偏航角误差两者直接校正所捕获图像数据。
举例来说，如由处理器308执行的校正块336可应用上文所描述的图像处理技术中的一或多者(例如修改、裁剪或旋转所捕获图像数据的部分)，以校正所捕获图像数据从而补偿成像系统100的内在未对准。此外，深度绘图块338可存取经校正图像数据，且基于应用上文所描述的深度绘图技术中的一或多者(例如立体视觉技术、结构化光技术或飞行时间技术)产生对应深度图数据。
响应于深度值及/或深度图数据的产生，校正块336可存取存储媒体302，且(例如从深度校正数据324)获得将偏斜量及所计算深度值转换成对应深度校正值的相关性数据。基于相关性数据，校正块336可确定对应于衬底104的经确定偏斜量(例如如从框506中的传感器数据所确定)及深度值中的每一者的深度校正值。校正块336可根据对应深度校正值调整所产生深度图数据内的深度值中的每一者。对应深度校正值针对由衬底104的偏斜引入的偏航角误差校正所产生深度图数据。经校正深度图数据可甚至在存在内在未对准及诱发性偏航角误差的情况下精确地特性化成像环境内的位置的深度。
在其它实例中，参看框518，成像系统100可校正所产生深度值及/或深度图数据，以补偿成像系统100的内在未对准及由衬底104的偏斜引入的偏航角误差两者。在一个实例中，如由处理器308执行的深度绘图块338可使用上文所概述的示范性过程中的任一者产生符合所捕获图像数据的深度值及/或深度图数据。如上文所描述，如由处理器308执行的校正块336可建立调整衬底104的最大偏斜量的经调整偏斜量(例如由外力被应用于衬底104产生)，以解释由成像系统100的内在未对准产生的内在偏斜量)。
基于使所确定偏斜值及所计算深度值与对应深度校正值相关的数据，校正块336可确定对应于经调整偏斜量及每一深度值的深度校正值。校正块336可根据对应深度校正值调整每一深度值，以针对成像系统100的内在未对准及由外力的施加产生的衬底104的偏斜两者校正所产生深度值。在一些实例中，且使用上文所描述的过程中的任一者，校正块336还可校正深度图数据内的所产生深度值，或可基于经校正深度值产生经校正深度图数据。
示范性过程500随后回至框514。深度绘图块338可将所产生及/或所校正深度值及/或深度图数据的部分存储于一或多个有形的非暂时性存储媒体或存储器中(例如在框514中)。在一些实例中，示范性过程500随后在框516中完成。
本文中所描述的方法及系统可至少部分地以用于实践所揭示的过程的计算机实施处理过程及设备的形式实施。所揭示的方法还可至少部分地以用计算机程序代码进行编码的有形的非暂时性机器可读存储媒体的形式实施。媒体可包含例如随机存取存储器(RAM)、只读存储器(ROM)、紧密光盘(CD)-ROM、数字多功能光盘(DVD)-ROM、“BLUE-RAYDISC”TM(BD)-ROM、硬盘驱动器、快闪存储器或任何其它非暂时性机器可读存储媒体。当计算机程序代码被加载至计算机中且由所述计算机执行时，计算机变为用于实践所述方法的设备。所述方法还可至少部分地以加载有或执行有计算机程序代码的计算机的形式实施，使得所述计算机变为用于实践所述方法的专用计算机。当实施于通用处理器上时，计算机程序代码段配置处理器以产生特定逻辑电路。所述方法可替代地至少部分地实施于用于执行所述方法的专用集成电路中。
主题已关于示范性实施例进行描述。因为仅仅为实例，所以所主张的发明不限于这些实施例。可在不背离所主张主题的精神的情况下进行改变及修改。权利要求书意图覆盖这些变化及修改。

Claims (25)

1.一种产生至少一个深度值的方法，所述方法包括：
由一或多个处理器从具有第一光轴的第一光学装置或具有第二光轴的第二光学装置接收所捕获图像数据；
由所述一或多个处理器接收指示衬底的偏斜的传感器数据，所述衬底支撑所述第一光学装置及所述第二光学装置，所述偏斜导致所述第一光轴相对于所述第二光轴的未对准；
由所述一或多个处理器基于所述所捕获图像数据及所述传感器数据产生深度值，所述深度值反映对所述第一光轴相对于所述第二光轴的所述未对准的补偿。
2.根据权利要求1所述的方法，其中产生所述深度值包括：
响应于所述偏斜的量超过阈值的确定，针对所述第一及光轴相对于所述第二光轴的所述未对准校正所述所捕获图像数据；及
基于所述经校正图像数据产生所述深度值。
3.根据权利要求1所述的方法，其中：
所述方法进一步包括获得特性化所述成像系统的内在未对准的校准数据；
产生所述深度值包括基于所述所捕获图像数据、所述传感器数据及所述校准数据产生所述深度值；且
所述深度值反映对所述成像系统的所述内在未对准及所述第一光轴相对于所述第二光轴的所述未对准的补偿。
4.根据权利要求3所述的方法，其中产生所述深度值进一步包括：
针对所述成像系统的所述内在未对准及所述第一光轴相对于所述第二光轴的未对准校正所述所捕获图像数据；及
基于所述经校正图像数据产生所述深度值。
5.根据权利要求3所述的方法，其中产生所述深度值进一步包括：
针对所述成像系统的所述内在未对准校正所述所捕获图像数据；
基于所述经校正图像数据产生所述深度值；及
针对所述第一光轴相对于所述第二光轴的所述未对准校正所述深度值。
6.根据权利要求3所述的方法，其中产生所述深度值进一步包括：
基于所述所捕获图像数据产生所述深度值；及
针对所述成像系统的所述内在未对准及所述第一光轴相对于所述第二光轴的所述未对准校正所述深度值。
7.根据权利要求1所述的方法，其中：
所述第一光轴相对于所述第二光轴的所述未对准包括在所述第一光轴或所述第二光轴中的至少一者的方向上的偏航角误差，所述偏航角误差由所述衬底的所述偏斜产生；且
所述深度值反映对所述偏航角误差的补偿。
8.根据权利要求1所述的方法，其中：
接收所述传感器数据包括从屈曲传感器接收所述传感器数据，所述屈曲传感器经配置以测量沿所述衬底的至少一个弯曲轴的所述偏斜；且
所述方法进一步包括基于所述传感器数据确定偏斜量。
9.根据权利要求8所述的方法，其中所述屈曲传感器包括导电的基于墨水的传感器、光纤传感器、由导电织物、线或聚合物形成的传感器、应变计，或压电限制性传感器。
10.根据权利要求1所述的方法，其中：
所述成像系统包括壳体，所述衬底安置于所述壳体内；且
所述衬底的所述偏斜由所述壳体的部分施加外力或弯曲力矩而产生。
11.根据权利要求10所述的方法，其中所述衬底包括印刷电路板。
12.根据权利要求1所述的方法，其中：
所述第一光学装置为辐射发射器；且
所述第二光学装置为图像传感器。
13.一种用于产生至少一个深度值的系统，所述系统包括：
非暂时性机器可读存储媒体，其存储指令；及
至少一个处理器，其经配置以耦合至所述非暂时性机器可读存储媒体，所述至少一个处理器经配置以执行所述指令以进行以下操作：
接收从具有第一光轴的第一光学装置或具有第二光轴的第二光学装置捕获的所捕获图像数据；
接收指示衬底的偏斜的传感器数据，所述衬底支撑所述第一光学装置及所述第二光学装置，所述偏斜导致所述第一光轴相对于所述第二光轴的未对准；及
基于所述所捕获图像数据及所述传感器数据产生深度值，所述深度值反映对所述第一光轴相对于所述第二光轴的所述未对准的补偿。
14.根据权利要求13所述的系统，其中所述至少一个处理器经进一步配置以进行以下操作：
获得特性化所述成像系统的内在未对准的校准数据；及
响应于偏斜量超过阈值的确定，基于所述所捕获图像数据、所述传感器数据及所述校准数据产生所述深度值，所述深度值反映对所述成像系统的所述内在未对准及所述第一光轴相对于所述第二光轴的所述未对准的补偿。
15.根据权利要求14所述的系统，其中所述至少一个处理器经进一步配置以进行以下操作：
针对所述成像系统的所述内在未对准及所述第一光轴相对于所述第二光轴的未对准校正所述所捕获图像数据；及
基于所述经校正图像数据产生所述深度值。
16.根据权利要求14所述的系统，其中所述至少一个处理器经进一步配置以进行以下操作：
针对所述成像系统的所述内在未对准校正所述所捕获图像数据；
基于所述经校正图像数据产生所述深度值；及
针对所述第一光轴相对于所述第二光轴的所述未对准校正所述深度值。
17.根据权利要求14所述的系统，其中所述至少一个处理器经进一步配置以进行以下操作：
基于所述所捕获图像数据产生所述深度值；及
针对所述成像系统的所述内在未对准及所述第一光轴相对于所述第二光轴的所述未对准校正所述深度值。
18.根据权利要求14所述的系统，其中：
所述非暂时性机器可读存储媒体存储所述校准数据；且
所述至少一个处理器经进一步配置以从所述非暂时性机器可读存储媒体的部分提取所述校准数据。
19.根据权利要求13所述的系统，其中：
所述第一光轴相对于所述第二光轴的所述未对准包括在所述第一光轴或所述第二光轴中的至少一者的方向上的偏航角误差，所述偏航角误差由所述衬底的所述偏斜诱发；且
所述深度值反映对所述偏航角误差的补偿。
20.根据权利要求13所述的系统，其中：
所述传感器包括屈曲传感器，所述屈曲传感器经配置以测量沿所述衬底的至少一个弯曲轴的所述偏斜；
所述屈曲传感器包括导电的基于墨水的传感器、光纤传感器、由导电织物、线或聚合物形成的传感器、应变计，或压电限制性传感器；且
所述至少一个处理器经进一步配置以基于所述传感器数据确定偏斜量。
21.根据权利要求13所述的系统，其中：
所述成像系统包括壳体，所述衬底安置于所述壳体内；且
所述衬底包括印刷电路板；且
所述衬底的所述偏斜由将外力施加至所述壳体的部分而产生。
22.根据权利要求13所述的系统，其中：
所述第一光学装置包括辐射发射器；且
所述第二传感器包括图像传感器。
23.根据权利要求13所述的系统，其进一步包括：
所述第一光学装置及所述第二光学装置；及
传感器，其连接至所述衬底，所述传感器产生所述传感器数据的指示所述衬底的所述偏斜的至少一部分。
24.一种设备，其包括：
用于接收由具有第一光轴的第一光学装置或具有第二光轴的第二光学装置捕获的所捕获图像数据的装置；
用于接收指示衬底的偏斜的传感器数据的装置，所述衬底支撑所述第一光学装置及所述第二光学装置，所述偏斜导致所述第一光轴相对于所述第二光轴的未对准；及
用于基于所述所捕获图像数据及所述传感器数据产生深度值的装置，所述深度值反映对所述第一光轴相对于所述第二光轴的所述未对准的补偿。
25.一种非暂时性机器可读存储媒体，其存储指令，所述指令在由至少一个处理器执行时执行方法，所述方法包括：
接收由具有第一光轴的第一光学装置或具有第二光轴的第二光学装置捕获的所捕获图像数据；
接收指示衬底的偏斜的传感器数据，所述衬底支撑所述第一光学装置及所述第二光学装置，所述偏斜导致所述第一光轴相对于所述第二光轴的未对准；及
基于所述所捕获图像数据及所述传感器数据产生深度值，所述深度值反映对所述第一光轴相对于所述第二光轴的所述未对准的补偿。
CN201880047605.2A 2017-07-27 2018-06-26 用于光学系统的主动对准校正 Active CN110914863B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US15/661,599 2017-07-27
US15/661,599 US10412362B2 (en) 2017-07-27 2017-07-27 Active alignment correction for optical systems
PCT/US2018/039444 WO2019022896A1 (en) 2017-07-27 2018-06-26 ACTIVE ALIGNMENT CORRECTION OF OPTICAL SYSTEMS

Publications (2)

Publication Number Publication Date
CN110914863A true CN110914863A (zh) 2020-03-24
CN110914863B CN110914863B (zh) 2021-07-30

Family

ID=62986195

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201880047605.2A Active CN110914863B (zh) 2017-07-27 2018-06-26 用于光学系统的主动对准校正

Country Status (4)

Country Link
US (1) US10412362B2 (zh)
EP (1) EP3659108B1 (zh)
CN (1) CN110914863B (zh)
WO (1) WO2019022896A1 (zh)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20100208034A1 (en) * 2009-02-17 2010-08-19 Autoliv Asp, Inc. Method and system for the dynamic calibration of stereovision cameras
WO2013009416A2 (en) * 2011-07-13 2013-01-17 Qualcomm Incorporated Method and apparatus for calibrating an imaging device
US20150049172A1 (en) * 2013-08-16 2015-02-19 Qualcomm Incorporated Stereo yaw correction using autofocus feedback
CN105007407A (zh) * 2014-04-22 2015-10-28 弗兰克公司 用于终端用户视差调整的方法

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5250227A (en) 1990-05-03 1993-10-05 National Starch And Chemical Investment Holding Corporation Electrically conductive coating composition for providing a bend sensor
US5610528A (en) 1995-06-28 1997-03-11 International Business Machines Corporation Capacitive bend sensor
NO323926B1 (no) 2004-11-12 2007-07-23 New Index As Visuelt system samt styringsobjekt og apparat til bruk i systemet.
JP4855373B2 (ja) 2007-10-30 2012-01-18 ミネベア株式会社 曲げセンサ
CA2753562A1 (en) * 2009-02-26 2010-09-02 The Ohio State University Research Foundation Micrornas in never-smokers and related materials and methods
EP2518436B1 (de) 2011-04-28 2015-06-17 Storz Endoskop Produktions GmbH Biegesensor
JP2013033909A (ja) * 2011-06-29 2013-02-14 Hitachi Cable Ltd 発光素子搭載用基板及びｌｅｄパッケージ
TWI514219B (zh) 2013-12-17 2015-12-21 Ind Tech Res Inst 運用於軟性顯示面板的撓曲感測器及相關感測方法與系統
TWI706181B (zh) * 2015-09-11 2020-10-01 新加坡商海特根微光學公司 具有自動對焦控制的成像裝置
US20180025289A1 (en) * 2016-07-20 2018-01-25 Qualcomm Incorporated Performance Provisioning Using Machine Learning Based Automated Workload Classification

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20100208034A1 (en) * 2009-02-17 2010-08-19 Autoliv Asp, Inc. Method and system for the dynamic calibration of stereovision cameras
WO2013009416A2 (en) * 2011-07-13 2013-01-17 Qualcomm Incorporated Method and apparatus for calibrating an imaging device
US20150049172A1 (en) * 2013-08-16 2015-02-19 Qualcomm Incorporated Stereo yaw correction using autofocus feedback
CN105007407A (zh) * 2014-04-22 2015-10-28 弗兰克公司 用于终端用户视差调整的方法

Also Published As

Publication number Publication date
US10412362B2 (en) 2019-09-10
EP3659108A1 (en) 2020-06-03
CN110914863B (zh) 2021-07-30
US20190037195A1 (en) 2019-01-31
WO2019022896A1 (en) 2019-01-31
EP3659108C0 (en) 2023-08-23
EP3659108B1 (en) 2023-08-23

Similar Documents

Publication Publication Date Title
KR101787304B1 (ko) 교정 방법, 교정 장치 및 컴퓨터 프로그램 제품
CN102183235B (zh) 测距设备和模块、使用测距设备或模块的图像捕获设备
US8559704B2 (en) Three-dimensional vision sensor
JP4644540B2 (ja) 撮像装置
US9470548B2 (en) Device, system and method for calibration of camera and laser sensor
CN108111828B (zh) 投影设备校正方法、装置及投影设备
TWI557393B (zh) 雷射測距校正方法與應用此方法的裝置
US20050219530A1 (en) Method of adjusting monitor axis
JP2007171077A (ja) ３次元測定方法および装置
JP2012189324A (ja) ステレオカメラ
JP6620869B2 (ja) 校正方法、校正装置、及びプログラム
US11637948B2 (en) Image capturing apparatus, image processing apparatus, image processing method, image capturing apparatus calibration method, robot apparatus, method for manufacturing article using robot apparatus, and recording medium
JP5095164B2 (ja) 撮像装置の光軸ずれ検出方法、部品位置補正方法及び部品位置補正装置
CN110914863B (zh) 用于光学系统的主动对准校正
JP2020056662A (ja) 光軸調整用装置
WO2019087253A1 (ja) ステレオカメラのキャリブレーション方法
JP2007225403A (ja) 距離計測装置の調整機構およびそれを備えた立体形状認識システム
US8340355B2 (en) Three-dimensional measurement instrument, image pick-up apparatus and adjusting method for such an image pickup apparatus
JP6680335B2 (ja) ステレオカメラ、車両、算出方法及びプログラム
CN116105600A (zh) 基于双目相机的瞄准目标的方法、处理装置及激光跟踪仪
WO2021145280A1 (ja) ロボットシステム
JP6996582B2 (ja) 校正方法、校正装置及びプログラム
WO2022004248A1 (ja) 情報処理装置、情報処理方法及びプログラム
JP2018189459A (ja) 計測装置、計測方法、システム、および物品製造方法
JP6367584B2 (ja) カメラキャリブレーション装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant