CN106537907A - 多目标相机标定 - Google Patents

多目标相机标定 Download PDF

Info

Publication number
CN106537907A
CN106537907A CN201580041660.7A CN201580041660A CN106537907A CN 106537907 A CN106537907 A CN 106537907A CN 201580041660 A CN201580041660 A CN 201580041660A CN 106537907 A CN106537907 A CN 106537907A
Authority
CN
China
Prior art keywords
target
captured
images
image
equipment
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201580041660.7A
Other languages
English (en)
Other versions
CN106537907B (zh
Inventor
T.A.基法伯
D.C.米德尔顿
G.冈卡尔夫斯德利马
M.梅罗恩
V.纳斯里
J.施
K.R.曼钱达
P.C.金
C.伯纳德
Y.牛
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Intel Corp
Original Assignee
Intel Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Intel Corp filed Critical Intel Corp
Publication of CN106537907A publication Critical patent/CN106537907A/zh
Application granted granted Critical
Publication of CN106537907B publication Critical patent/CN106537907B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N17/00Diagnosis, testing or measuring for television systems or their details
    • H04N17/002Diagnosis, testing or measuring for television systems or their details for television cameras
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/80Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/45Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from two or more image sensors being of different type or operating in different modes, e.g. with a CMOS sensor for moving images in combination with a charge-coupled device [CCD] for still images
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/90Arrangement of cameras or camera modules, e.g. multiple cameras in TV studios or sports stadiums
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10016Video; Image sequence
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20172Image enhancement details
    • G06T2207/20208High dynamic range [HDR] image processing
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30204Marker
    • G06T2207/30208Marker matrix

Abstract

本文中描述用于标定图像捕获设备的技术。技术包括在第一目标处捕获一个或多个图像、在第二目标处捕获一个或多个图像、在第三目标处捕获一个或多个图像、在第四目标处捕获一个或多个图像以及基于捕获的图像标定多相机系统。

Description

多目标相机标定
相关申请的交叉引用
本申请要求通过引用并入本文中的2014年9月26日提交的美国专利申请号14/498,793的提交日的权益,所述美国专利申请要求通过引用并入本文中的2014年9月5日提交的美国临时专利申请号62/046,787的提交日的权益。
技术领域
本公开一般地涉及相机标定(camera calibration)。更具体地,本公开描述多目标标定过程。
背景技术
诸如平板、智能手机等的移动设备可包括许多设备,诸如用于捕获图像的相机。在许多情况下,平板要求对诸如移位、噪声和其它图像质量因素之类的相机系统公差的标定。在某些情况下,移动设备可包括被配置成单独或一齐工作的多个相机。具有多相机系统的移动设备在标定期间可能呈现困难。
多相机标定技术要求以不同角和离给定的多相机系统的相机的不同距离来捕获标定目标的许多图像。然而,在大量制造期间进行标定所要求的物理空间和时间可使生产的成本增加。
附图说明
图1是具有要被标定的多相机系统的计算设备的框图;
图2是图示要在标定中使用的第一目标的图;
图3是图示要在标定中使用的第二目标的图;
图4是图示由支架支撑的目标的图;
图5是图示要在标定中使用的多板目标的图;
图6A是图示多板目标的不同视图的图;
图6B是图示多板目标的附加视图的图;
图7A是图示包括在标定中使用的4个不同的目标的环境的图;
图7B是图示包括与第一目标相关联的第一位置的环境的图;
图7C是图示包括与第二目标相关联的第二位置的环境的图;
图7D是图示包括与第二目标相关联的第三位置的环境的图;
图7E是图示包括与第三目标相关联的第四位置的环境的图;
图7F是图示包括与第四目标相关联的第五位置的环境的图;
图7G是图示包括与第四目标相关联的第六位置的环境的图;
图8是图示在相对于目标的不同位置处捕获的六个图像的图;
图9是图示具有多相机系统的计算设备相对于目标的方位的图;
图10是图示照明在标定中的不利影响的图;
图11是图示要在计算设备的显示器处再现的图形用户界面的图;
图12是图示在成功标定时再现验证屏幕的图形用户界面的图;
图13是图示在标定失败时再现失败屏幕的图形用户界面的图;
图14是图示使标定失败的因素的示例的图形用户界面;
图15是图示使标定失败的另一个因素的示例的图形用户界面;以及
图16是描绘被配置成标定多相机系统的计算机可读介质的示例的框图。
具体实施方式
本文中公开的主题涉及用于标定多相机系统的技术。如上面所讨论的那样,标定对于相机和其它图像捕获设备的正确运行而言是重要的。然而,许多技术要求长时间段来完成,在其期间捕获同一目标的多个图像。本文中描述的包括使用多个目标的多相机系统的标定的技术可减少标定相机系统所要求的图像的数量,并且从而减少标定所要求的时间。
在某些情况下,本文中描述的技术可被实现为可由处理设备执行的计算机可读代码。本文中描述的技术可被集成到工厂装配设施中。在实施例中,本文中描述的技术可减少用于标定多相机系统所要求的图像数量。用于标定所要求的图像数量中的减少可使得能够在大量制造环境中实现本文中描述的标定技术。
图1是具有要被标定的多相机系统的计算设备的框图。计算设备100可包括处理器102、包括非瞬时计算机可读介质的存储设备104,以及存储器设备106。计算设备100可包括被配置成操作显示设备110以在图形用户界面(GUI)处再现图像的显示驱动108、被配置成操作包括一个或多个相机设备114的多相机系统113的相机驱动112。
计算设备100包括标定应用116。标定应用116可被配置成标定多相机系统113。在示例中,标定应用116用于标定多相机系统113。标定应用116可以是存储在存储介质上的指令,其被配置成由诸如处理器102之类的处理设备执行。在又一个示例中,标定应用116可被配置成经由驱动122结合旋转平台120的旋转模块118进行操作。如下面更详细地描述的那样,旋转平台120可旋转以在与多个目标相关联的不同位置处捕获图像。在某些情况下,标定应用116和旋转模块118可被配置为在或者计算设备100或者旋转平台120上操作的统一程序。在后者的情况下,旋转平台120可包括执行包括旋转计算设备100并结合多相机系统113捕获图像的指令的逻辑或软件指令和处理设备,以及被配置成执行标定应用116的操作的逻辑和或软件。
旋转模块118和标定应用116可被认为是分离的模块或父模块的子模块或单独的应用。也可包括附加模块和/或应用。在某些场景中,计算设备100可包括一个或多个传感器124。在这些场景中,一个或多个传感器124可用于检测在标定期间导致图像捕获中的错误的潜在条件。例如,传感器124可包括陀螺仪,所述陀螺仪被配置成确定计算设备何时不是水平的,从而在下面更详细地描述的标定过程期间产生捕获图像中的潜在错误。作为另一个示例,环境光传感器可用于确定外来物体是否遮挡给定相机与给定目标之间的视野。
如下面更详细地讨论的那样,通过在多于一个目标处捕获图像来提供对相机设备114的标定。旋转平台120可被配置成旋转到与多个目标相关联的不同位置。旋转可以是自动的,或者可涉及某一水平的人类输入。例如,可能要求操作者发起标定过程并在捕获每个图像之后继续按压旋转平台120上的按钮。进一步地,虽然图像捕获也可以是自动的,但是操作者可能对按压与相机设备114相关联的快门按钮以便在给定的位置处和针对给定的目标捕获给定的图像有用。
如本文中提到的那样,计算设备100可以是移动计算设备,其中诸如处理设备、存储设备和显示设备之类的组件被布置在单个外壳内。例如,计算设备100可以是平板计算机、智能手机、手持视频游戏系统、蜂窝电话、一体化平板计算设备或具有一体化功能的任何计算设备,其中计算设备的外壳容纳显示器以及诸如存储组件和处理组件之类的组件。
处理器102可以是被适配成执行存储的指令的主处理器。处理器102可以是单核处理器、多核处理器、计算集群或任何数量的其它配置。处理器102可被实现为复杂指令集计算机(CISC)或精简指令集计算机(RISC)处理器、x86指令集兼容处理器、多核或任何其它微处理器或中央处理单元(CPU)。
存储器设备106可包括随机存取存储器(RAM)(例如,静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、零电容RAM、硅-氧化物-氮化物-氧化物-硅 SONOS、嵌入式DRAM、扩展数据输出RAM、双数据速率(DDR)RAM、电阻式随机存取存储器(RRAM)、参数随机存取存储器(PRAM)等)、只读存储器(ROM)(例如,掩模型ROM、可编程只读存储器(PROM)、可擦除可编程只读存储器(EPROM)、电可擦除可编程只读存储器(EEPROM)等)、闪存或任何其它合适的存储器系统。主处理器102可通过系统总线134(例如,外围组件互连(PCI)、工业标准架构(ISA)、PCI-Express、HyperTransport®、NuBus等)连接到包括存储器106和存储设备104的组件。
显示驱动108可以是与计算设备100的软件或硬件以及显示设备110的交互点。例如,显示驱动108可包括接口,诸如数字视频接口(DVI)、高清晰度多媒体接口(HDMI)等。显示设备110可以是计算设备100的内置显示器或外围显示器。在实施例中,显示设备110包括触摸屏功能。
相机驱动112被配置成指导一个或多个相机设备114捕获视觉信息,或者换言之,要用于标定多相机系统113的图像集中的图像。相机设备114可以是被配置成捕获实时视频的视频相机、深度相机、红外相机等。
图1的框图不意图指示计算设备100要包括图1中示出的所有组件。进一步地,取决于具体实现的细节,计算设备100可包括图1中未示出的任何数量的附加组件。
图2是图示要在标定中使用的第一目标的图。第一目标200可具有大约410毫米(mm)乘大约620mm的尺寸。如图2中图示的那样,第一目标200可具有包括多个黑白方格的方格盘图案。第一目标的方格大小可以大约是30mm乘大约30mm。总计,第一目标200可包括20个方格乘13个方格。大约10mm的边框可围绕第一目标200的方格盘。在某些场景中,第一目标200可被配置成被布置在地面上方大约889mm处。
图3是图示要在标定中使用的第二目标的图。第二目标300包括大约40mm乘40mm的方格大小,具有22个方格乘15个方格,并且第二目标300的尺寸大约是620mm乘900mm。类似于第一目标200,第二目标300包括大约10mm的边框。
图4是图示由支架支撑的目标的图。如上面描述的那样,第一目标可被布置在地面上方大约889mm处。该高度被作为一个示例给出。然而,重要的是第一目标200和甚至第二目标300被布置在与多相机系统113相同的高度处。
在实施例中,本文中描述的目标可由将确保目标不翘曲或弯曲的坚硬材料组成。换言之,本文中描述的目标是平坦的。
图5是图示要在标定中使用的多板目标的图。如图5中图示的那样,多板目标500包括被布置离彼此成大约40度角的五个分离的方格盘。五个分离的方格盘中的每个可具有大约620mm乘545mm或者7个方格乘8个方格的尺寸,其中每个方格大约是60mm乘60mm。多板目标500设计可用于第三目标和第四目标中的每个。虽然图5中根本未图示方格盘,但是多板目标500可包括围绕每个单独的板的周边的红色边框502和白色边框504。类似于第一目标200和第二目标300,中心506多板目标500可被布置在与多相机系统在同一水平上的高度处。
图6A是图示多板目标的不同视图的图。在602处,图示多板目标500的前视图。注意多板目标500的面中的每个将具有方格盘设计,诸如在图5中图示的方格盘设计。视图604和606中的每个图示图5的多板目标500的侧视图。
图6B是图示多板目标的附加视图的图。如608和610中图示的那样,单独的板中的每个之间的角612可相同。在一个示例中,角612大约40度。在某些场景中,多板目标的高度可以是到多板目标的中心90厘米(cm),如610处所图示的那样。在614处指示,在其中使用第三目标和第四目标的场景中的每个中可将诸如图1的多相机系统113之类的多相机系统布置在多板目标前面,如下面更详细地讨论的那样。
图7A是图示包括在标定中使用的4个不同目标的环境的图。环境700包括第一目标200、第二目标300以及用于第三目标702和第四目标704中的每个的多板目标。为了便于讨论,下面可遵循分配给目标中的每个的数字。诸如具有上面关于图1讨论的多相机系统113的计算设备100之类的计算设备可用至少部分地使计算设备100发声的目标来定位。虽然未在图7A中图示,但是计算设备100可被放置在旋转平台上,所述旋转平台诸如上面关于图1所讨论的旋转平台120。如下面更详细地描述的那样,计算设备100可由旋转平台旋转以捕获每个目标的图像。
如图7A中图示的那样,目标200和目标300的初始布置可与在706处指示的中心线成45度。在实施例中,从计算设备100到目标200的距离大约是800mm,并且从计算设备100到目标300的距离大约是1200mm。目标702可被布置在离计算设备100 2230mm的距离处,而目标704被布置在离计算设备100 3050mm的距离处。
图7B是图示包括与第一目标相关联的第一位置的环境的图。在图7B中图示的第一位置710处,多相机系统114在第一目标200处捕获第一图像。目标200在多相机系统114的视野中居中,如在708处所指示的那样。整个目标200可在视野708内,并且在目标上方和下方的相等空间可出现视野708。
图7C是图示包括与第二目标相关联的第二位置的环境的图。在图7C中图示的第二位置712处,平板的多相机系统113在第二目标300处捕获第二图像。在实施例中,将计算设备100从第一位置710旋转大约90度到第二位置712。整个目标300可在视野708内,并且目标上方和下方的相等空间可出现视野708。
图7D是图示包括与第二目标相关联的第三位置的环境的图。在图7D中图示的第三位置714处,多相机系统113在第二目标300处捕获第三图像。在该场景中,存在第二目标300的所捕获的两个图像——一个在图7C的第二位置712处,并且一个在图7D中的第三位置714处。第二712与第三位置714之间的差异可能是计算设备100的大约10度的旋转。整个目标300可在视野708内,并且目标上方和下方的相等空间可出现视野708。
图7E是图示包括与第三目标相关联的第四位置的环境的图。在图7E中图示的第四位置716处,多相机系统113在第三目标702处捕获第四图像。第三位置714与第四位置714之间的差异可以是计算设备100的大约135度的旋转。整个目标702可在视野708内,并且目标上方和下方的相等空间可出现视野708。
图7F是图示包括与第四目标相关联的第五位置的环境的图。在图7F中图示的第五位置718处,多相机系统113在第四目标704处捕获第五图像。第四位置716与第五位置718之间的差异可以是计算设备100的大约180度的旋转。整个目标704可在视野708内,并且目标上方和下方的相等空间可出现视野708。
图7G是图示包括与第四目标相关联的第六位置的环境的图。在图7F中图示的第六位置720处,多相机系统113在第四目标704处捕获第六图像。第五位置718与第六位置720之间的差异可以是计算设备100的大约10度的旋转。整个目标704可在视野708内,并且目标上方和下方的相等空间可出现视野708。在该场景中,存在第四目标704的所捕获的两个图像——一个在图7F的第五位置718处,并且一个在图7G中的第六位置720处。第五与第六位置之间的差异可以是大约10度的旋转。
图8是图示在相对于目标的不同位置处捕获的六个图像的图。如图8中图示的那样,存在第一目标200的一个图像802,第二目标300的两个图像804、806,第三目标702的一个图像808,以及第四目标704的两个图像810、812。进一步地,如图8中图示的那样,第三目标702和第四目标704是被配置有白色边框和红色边框的多板目标。当捕获或者第三目标或者第四目标的图像时,可一次捕获一个方格盘。因此,本文中描述的技术包括通过按单独的板相对于其它板的位置标识所述单独的板而一起将多板目标的每个方格盘缝合在一起。换言之,多板目标的每个方格盘可被单独地捕获,并且随后在其它方格盘被捕获时被抑制。然后,方格盘图像可被缝合在一起,用于基于它们的相对位置的标定。
图9是图示具有多相机系统的计算设备相对于目标的方位的图。在某些场景中,诸如具有多相机系统113的计算设备100之类的计算设备可具有短轴902和长轴904。在该场景中,计算设备100的长轴904被放置在与目标的长轴906相同的方位上,如图9中所图示的那样。类似地,计算设备100的短轴902被放置在与目标的短轴908相同的方位上。
图10是图示照明在标定中的不利影响的图。在某些场景中,过度的照明或不足的照明可影响标定成功或失败。如图10中所指示的那样,在1002处的照明可不利地影响标定过程。在某些实施例中,照明用大约800 lux的光强度限制照亮目标。进一步地,可移除被定位在面向相机的目标后面的亮灯以减少过饱和。
图11是图示要在计算设备的显示器处再现的图形用户界面的图。在图像已经被捕获之后,计算设备100可开始处理标定。这可经由图形用户界面1100而被再现给操作者。
图12是图示在成功标定时再现验证屏幕的图形用户界面的图。如果标定成功,则可再现图形用户界面1200。
图13是图示在标定失败时再现失败屏幕的图形用户界面的图。如果标定不成功,则可再现图形用户界面1300,并且按压圆形箭头可重新启动该过程。
图14是图示使标定失败的因素的示例的图形用户界面。在某些场景中,标定可能由于已知的错误而失败。诸如标定应用116之类的应用可在图形用户界面处再现失败的图像。如上面所讨论的那样,诸如图1的传感器124之类的传感器可包括陀螺仪以指示图像在设备不水平时被捕获。在该情况下,标定应用116可停止该过程并且向操作者再现给定的图像不可用的消息,如在1400处所指示的那样。
图15是图示使标定失败的另一个因素的示例的图形用户界面。导致失败的另一个因素可包括被遮挡的相机设备,诸如相机设备114中的一个。在该场景中,标定应用116可通知操作者不可用图像,如图15中所图示的那样。在某些场景中,可经由包括环境光传感器的传感器124来执行被遮挡的图像的检测,如上面关于图1所讨论的那样。在该场景中,标定应用116可停止该过程并且向操作者再现给定的图像不可用的消息,如在1500处所指示的那样。
图16是描绘被配置成标定多相机系统的计算机可读介质的示例的框图。计算机可读介质1600可由处理器1600通过计算机总线1604访问。在某些示例中,计算机可读介质1600可以是非瞬时计算机可读介质。在某些示例中,计算机可读介质可以是存储介质,但是不包括载波、信号等。此外,计算机可读介质1600可包括指导处理器1602执行当前方法的步骤的计算机可执行指令。
本文中讨论的各种软件组件可被存储在有形非瞬时计算机可读介质1600上,如图11中所指示的那样。例如,标定应用1606可被配置成在第一目标处捕获一个或多个图像、在第二目标处捕获一个或多个图像、在第三目标处捕获一个或多个图像、在第四目标处捕获一个或多个图像以及基于捕获的图像标定多相机系统。
本文中描述的技术包括工厂相机标定以及将自动地捕获这些目标的图像并标定图像的应用。标定数据可被保存在正被测试的设备上的工厂分区中。相机将在将被指向目标的分离的固定装置(机动化的钻机平台)中。相机的高度将使得相机阵列的中心将与每个目标的中心对齐。
标定方法步骤可包括将平板放置在与第一目标对准的固定装置中。相机阵列在平板的背面上。触摸屏面向操作者,其中在右下方正面向相机。平板应当被一直插入到固定装置中,而不是成一个角。平板的表面应当平行于目标的表面。该固定装置将被设置成使得用户不需要调整平板。旋转钻机将启动,并且然后相机系统应当用于通过按平板的显示器上的快门按钮来捕获图像。这些动作应当快速连续地发生使得旋转与相机之间的定时同步。接下来的步骤应当自动发生,包括:在目标1处捕获图像,夹具将旋转45度,并且在第二目标处捕获第一图像。夹具将旋转大约10度,并且在第二目标处捕获第二图像。夹具将旋转大约135度至第三目标,并且在第三目标处捕获图像。夹具将旋转大约180度,并且第四目标的第一图像将被捕获。夹具将旋转大约10度,并且第四目标的第二图像将被捕获。在第四目标的第二图像被捕获之后,标定将启动。
可以在等待标定过程完成时将设备从旋转钻机移除。如果标定成功,则将.yml文件从工厂分区拉出用于备份。如果标定失败,则再次运行标定过程。
成功的标定在设备上在根/工厂中创建被称作“factorycameracalibration.yml”的标定文件。每个设备可产生唯一的文件。如果标定失败,则不创建文件。制造商应当将标定文件从设备复制出来并将其存储在备份服务器上。存档的标定可用于进一步改进标定过程。调试可包括确认当应用启动时多相机系统中的所有相机正在示出预览、确认当应用正在运行时第一目标被正确地定位在预览窗口内以及确认目标在正确的位置中。目标应当正在直接指向平板支架并且在离平板支架正确的距离处。
可公布它来看捕获的图像以看是否所有图像正被正确地捕获。打开标定调试应用可允许操作者查看是否执行了第一标定。可在将允许操作者打开与每个目标相关联的图像的标定调试应用中再现文本。在某些场景中,如果图像看起来正确并且标定仍失败,则图像可被发送给分析团队用于进一步检查。图像可被存储在工厂分区中的单个tar文件中。
相机标定可能由于多个原因而失败。某些常见的原因包括角点检测中的失败,标定数值优化不收敛,前面的方格盘可能太接近相机。如果注意到标定失败,则标定调试应用可被包括在设备上,并且可用于调试标定过程。标定调试应用可使得操作者能够在捕获的最新图像集上重新运行标定,并且可保存重要的调试信息。可通过将平板连接到另一个计算设备并从命令行做“adb pull”来查看信息。标定可以通过看平板的目录中的文件来调试标定失败的原因。在此文件中,所有警告文本被写入。如果标定不成功,则操作者可看到如随后是错误消息的“错误”的行。
如果相机视野被阻挡,如果方格盘上的大量光歪斜比45度多得多,和/或如果图像中存在模糊,则标定应用将未能检测方格盘图案。如果角点检测成功,则可再现所有图像的角点上的蓝色线,这可仅仅在调试标志在应用中被设置成真时为真。
如果角点检测不成功,则在调试模式中再次运行标定之后,在结果目录中应当存在图像。看此图片,你可看到app未能检测哪个方格盘。基于捕获数字,此文件名中的数字可以是0、1或3。被正确地检测的板将具有在其内角点上绘制的蓝色线并且失败将不具有。你还可以看FactoryCameraCalibration.log文件。应当存在具有标题“警告|未能检测图案”的警告。
如果太少图像具有正确的角点检测,则可生成消息,诸如错误|在BA期间存在过低活动图像。指示具有正确的角点检测的太少图像的另一个消息可能包括“错误|不存在可用图像!”。
在失败的情况下,操作者可检查方格盘具有太多的光或太少的光,并且可以调整照明。可能的是:多板目标中的底部板反射太多的光或者方格盘的顶部具有太少的光。如果任何方格盘太歪斜,则确保角被设置成正确的值。在某些情况下,如果铰链不紧,则顶部/底部方格盘可发生这点。
如果在任何图像中存在模糊标定、夹具在捕获时不是不动的、角点由于照明问题而未被准确地检测,则标定优化将不收敛。如果它失败,则在日志文件中,操作者可在文件的结束处找到以下消息:错误|光束调整不基于设置收敛,或者错误|在BA期间存在过低活动图像。操作者还可在文件的结束处看到以下警告:“警告|禁用视图X,超过错误阈值”或者“警告|在光束调整期间不使用视图号码X。如果操作者看到这些警告超过3次,则那将导致错误。在失败的情况下,确保当前捕获中的图像没有一个具有坏的照明或模糊,再次捕获图片并继续。
如果前面的方格盘太接近相机,则操作者可看到警告“未能到被提供用于纠正移位(相机X)的相簿上的角点”。在调试模式中再次运行标定之后,你还将在结果目录中看到被命名RectificationFailure.png的图像。在该情况下,第一个方格盘可能太接近相机。确保方格盘从顶部、右边、底部和左边在图像的中心。如果它已经在中心中,则将方格盘向后移动大约2英寸。
示例1包括一种用于标定多相机系统的系统。系统包括处理设备和要由处理设备实现的模块。模块包括图像捕获模块和标定模块。图像捕获模块被配置成在第一目标处捕获一个或多个图像、在第二目标处捕获一个或多个图像、在第四目标处捕获一个或多个图像。标定模块基于捕获的图像标定多相机系统。
图像捕获模块可在第一目标处捕获一个图像,并且在第二目标处捕获两个图像。图像捕获模块可在第三目标处捕获一个图像,但是在第二目标处捕获两个图像。
示例2包括一种用于标定多相机系统的方法。方法包括在第一目标处捕获一个或多个图像、在第二目标处捕获一个或多个图像、在第三目标处捕获一个或多个图像以及在第四目标处捕获一个或多个图像。方法还可包括基于捕获的图像标定多相机系统。
在某些情况下,一种装置包括执行示例2的方法的部件。进一步地,在某些情况下,具有可执行代码的计算机可读介质可由处理器执行,并且可使处理器执行示例2的方法。
示例3包括一种包括代码的计算机可读介质,所述代码在被执行时使处理设备在第一目标处捕获一个或多个图像、在第二目标处捕获一个或多个图像并且在第四目标处捕获一个或多个图像。进一步地,代码可被配置成使处理设备基于捕获的图像标定多相机系统。
示例4包括一种用于标定多相机系统的装置。装置可包括用于在第一目标处捕获一个或多个图像、在第二目标处捕获一个或多个图像、在第三目标处捕获一个或多个图像以及在第四目标处捕获一个或多个图像的部件。部件还可被配置成基于捕获的图像标定多相机系统。
示例5包括一种用于标定多相机系统的装置。装置包括至少部分地包括硬件逻辑的逻辑。逻辑被配置成在第一目标处捕获一个或多个图像、在第二目标处捕获一个或多个图像、在第三目标处捕获一个或多个图像以及在第四目标处捕获一个或多个图像。逻辑还可被配置成基于捕获的图像标定多相机系统。
实施例是实现或示例。说明书中对“实施例”、“一个实施例”、“某些实施例”、“各种实施例”或“其它实施例”的引用意味着结合实施例描述的特定特征、结构或特性被包括在本技术的至少某些实施例但不一定所有实施例中。“实施例”、“一个实施例”或“某些实施例”的各种出现不一定都指代相同实施例。
并非本文中描述和图示的所有组件、特征、结构、特性等都需要被包括在一个或多个特定实施例中。例如,如果说明书陈述“可”、“可能”、“能够”或“可以”包括组件、特征、结构或特性,则不要求包括该特定组件、特征、结构或特性。如果说明书或权利要求书提到“一”或“一个”元件,则那并不意味着只有元件中的一个。如果说明书或权利要求书提到“一个附加”元件,则那不排除有多于一个附加元件。
要注意虽然已经参考特定实现描述了某些实施例,但根据某些实施例,其它实现是可能的。另外,不需要以图示和描述的特定方式来布置在图中图示和/或在本文中描述的电路元件或其它特征的布置和/或顺序。根据某些实施例,许多其它布置是可能的。
在图中示出的每个系统中,在某些情况下元件可能每个具有相同的参考号码或不同的参考号码以暗示表示的元件可能不同和/或类似。然而,元件可足够灵活以具有不同的实现以及与本文中示出或描述的系统中的某些或全部一起工作。图中示出的各种元件可相同或不同。哪一个被称为第一元件和哪个被称作第二元件是任意的。
要理解可在一个或多个实施例中的任何地方使用前述示例中的细节。例如,也可关于本文中描述的方法或计算机可读介质中的任一个来实现上面描述的计算设备的所有可选特征。此外,虽然可能已经在本文中使用流程图和/或状态图来描述实施例,但是技术不限于本文中的那些图或相应的描述。例如,流程不需要移动通过每个图示的框或状态或者以与本文中图示和描述的顺序完全相同的顺序移动。
本技术不限于本文中列出的特定细节。实际上,受益于本公开的本领域技术人员将领会到:可在本技术的范围内做出从前述描述和图的许多其它变化。相应地,正是包括对其的任何修改的以下权利要求书限定了本技术的范围。

Claims (25)

1.一种用于标定多相机系统的系统,包括:
处理设备;以及
要由处理设备实现的模块,模块包括:
图像捕获模块,其用以:
在第一目标处捕获一个或多个图像;
在第二目标处捕获一个或多个图像;
在第三目标处捕获一个或多个图像;
在第四目标处捕获一个或多个图像;以及
标定模块,其用以基于捕获的图像标定多相机系统。
2.根据权利要求1所述的系统,进一步包括存储设备,其中标定模块要存储与标定相关联的标定数据。
3.根据权利要求1-2的任何组合所述的系统,其中:
在第一目标处捕获一个图像;
在第二目标处捕获两个图像;
在第三目标处捕获一个图像;以及
在第四目标处捕获两个图像。
4.根据权利要求1-2的任何组合所述的系统,进一步包括:
机动化平台,其用以在与第一目标相关联的第一位置处接收容纳多相机系统的设备;
旋转模块,其用以:
将设备旋转大约45度至与第二目标相关联的第二位置:
将设备旋转大约10度至与第二目标相关联的第三位置;
将设备旋转大约135度至与第三目标相关联的第四位置;
将设备旋转大约180度至与第四目标相关联的第五位置;
将设备旋转大约10度至与第四目标相关联的第六位置。
5.根据权利要求1-2的任何组合所述的系统,模块进一步包括调试模块,所述调试模块用以:
在标定之前确认多相机系统的所有相机正在示出预览;
在图像捕获被执行之前确认第一目标被定位在预览窗口内;
确认所有目标正在离多相机系统的预定距离处直接指向多相机系统;或者
其任何组合。
6.根据权利要求1-2的任何组合所述的系统,其中:
第一目标是大约410毫米(mm)高和大约620mm宽的方格盘图案矩形;
第二目标是大约620mm高和大约900mm宽的方格盘图案矩形;
第三目标包括五个方格盘图案矩形,其包括:
大约60mm高和60mm宽的第一方格盘图案矩形;
每个都附接到第一方格盘图案矩形的边缘的四个方格盘图案矩形,所述四个方格盘图案被布置离彼此成大约40度角;以及
第四目标类似于第三目标,除了第四目标被布置在离多相机系统的比第三目标被布置在其处的距离更远的距离处。
7.根据权利要求6所述的系统,进一步包括位置确定模块,其用以捕获第三目标、第四目标或其任何组合的每个方格盘图案的图像。
8.根据权利要求7所述的系统,其中位置确定模块要基于每个方格盘图案相对于目标中的其它方格盘图案的位置将每个方格盘图案的经捕获的单独的图像缝合在一起。
9.根据权利要求1-2的任何组合所述的系统,其中目标中的每个的中心和多相机系统被布置在地面上方大约90厘米(cm)。
10.根据权利要求1-2的任何组合所述的系统,其中:
多相机系统与第一目标之间的距离大约是800mm;
多相机系统与第二目标之间的距离大约是1200mm;
多相机系统与第三目标之间的距离大约是2230mm;以及
多相机系统与第四目标之间的距离大约是3050mm。
11.一种用于标定多相机系统的方法,包括
在第一目标处捕获一个或多个图像;
在第二目标处捕获一个或多个图像;
在第三目标处捕获一个或多个图像;
在第四目标处捕获一个或多个图像;以及
基于捕获的图像标定多相机系统。
12.根据权利要求11所述的方法,进一步包括存储设备,其中标定模块要存储与标定相关联的标定数据。
13.根据权利要求11-12的任何组合所述的方法,其中:
在第一目标处捕获一个图像;
在第二目标处捕获两个图像;
在第三目标处捕获一个图像;以及
在第四目标处捕获两个图像。
14.根据权利要求11-12的任何组合所述的方法,进一步包括:
机动化平台,其用以在与第一目标相关联的第一位置处接收容纳多相机系统的设备;
旋转模块,其用以:
将设备旋转大约45度至与第二目标相关联的第二位置:
将设备旋转大约10度至与第二目标相关联的第三位置;
将设备旋转大约135度至与第三目标相关联的第四位置;
将设备旋转大约180度至与第四目标相关联的第五位置;
将设备旋转大约10度至与第四目标相关联的第六位置。
15.根据权利要求11-12的任何组合所述的方法,模块进一步包括调试模块,所述调试模块用以:
在标定之前确认多相机系统的所有相机正在示出预览;
在图像捕获被执行之前确认第一目标被定位在预览窗口内;
确认所有目标正在离多相机系统的预定距离处直接指向多相机系统;或者
其任何组合。
16.根据权利要求11-12的任何组合所述的方法,其中:
第一目标是大约410毫米(mm)高和大约620mm宽的方格盘图案矩形;
第二目标是大约620mm高和大约900mm宽的方格盘图案矩形;
第三目标包括五个方格盘图案矩形,其包括:
大约60mm高和60mm宽的第一方格盘图案矩形;
每个都附接到第一方格盘图案矩形的边缘的四个方格盘图案矩形,所述四个方格盘图案被布置离彼此成大约40度角;以及
第四目标类似于第三目标,除了第四目标被布置在离多相机系统的比第三目标被布置在其处的距离更远的距离处。
17.根据权利要求16所述的方法,进一步包括位置确定模块,其用以捕获第三目标、第四目标或其任何组合的每个方格盘图案的图像。
18.根据权利要求17所述的方法,其中位置确定模块要基于每个方格盘图案相对于目标中的其它方格盘图案的位置将每个方格盘图案的经捕获的单独的图像缝合在一起。
19.根据权利要求11-12的任何组合所述的方法,其中目标中的每个的中心和多相机系统被布置在地面上方大约90厘米(cm)。
20.根据权利要求11-12的任何组合所述的方法,其中:
多相机系统与第一目标之间的距离大约是800mm;
多相机系统与第二目标之间的距离大约是1200mm;
多相机系统与第三目标之间的距离大约是2230mm;以及
多相机系统与第四目标之间的距离大约是3050mm。
21.一种包括代码的计算机可读介质,所述代码在被执行时使处理设备:
在第一目标处捕获一个或多个图像;
在第二目标处捕获一个或多个图像;
在第三目标处捕获一个或多个图像;
在第四目标处捕获一个或多个图像;以及
基于捕获的图像标定多相机系统。
22.根据权利要求21所述的计算机可读介质,进一步包括用以存储与标定相关联的标定数据的代码。
23.根据权利要求21-22的任何组合所述的计算机可读介质,其中:
在第一目标处捕获一个图像;
在第二目标处捕获两个图像;
在第三目标处捕获一个图像;以及
在第四目标处捕获两个图像。
24.根据权利要求21-22的任何组合所述的计算机可读介质,进一步包括用以以下的代码:
将设备从与第一目标相关联的第一位置旋转大约45度至与第二目标相关联的第二位置:
将设备旋转大约10度至与第二目标相关联的第三位置;
将设备旋转大约135度至与第三目标相关联的第四位置;
将设备旋转大约180度至与第四目标相关联的第五位置;
将设备旋转大约10度至与第四目标相关联的第六位置。
25.根据权利要求21-22的任何组合所述的计算机可读介质,进一步包括用以以下的代码:
在标定之前确认多相机系统的所有相机正在示出预览;
在图像捕获被执行之前确认第一目标被定位在预览窗口内;
确认所有目标正在离多相机系统的预定距离处直接指向多相机系统;或者
其任何组合。
CN201580041660.7A 2014-09-05 2015-08-06 多目标相机标定 Active CN106537907B (zh)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US201462046787P 2014-09-05 2014-09-05
US62/046787 2014-09-05
US14/498,793 US9596459B2 (en) 2014-09-05 2014-09-26 Multi-target camera calibration
US14/498793 2014-09-26
PCT/US2015/044027 WO2016036471A1 (en) 2014-09-05 2015-08-06 Multi-target camera calibration

Publications (2)

Publication Number Publication Date
CN106537907A true CN106537907A (zh) 2017-03-22
CN106537907B CN106537907B (zh) 2019-09-03

Family

ID=55438743

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201580041660.7A Active CN106537907B (zh) 2014-09-05 2015-08-06 多目标相机标定

Country Status (7)

Country Link
US (1) US9596459B2 (zh)
EP (1) EP3189656A4 (zh)
JP (1) JP2017536711A (zh)
KR (1) KR102271596B1 (zh)
CN (1) CN106537907B (zh)
TW (1) TWI562634B (zh)
WO (1) WO2016036471A1 (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108881898A (zh) * 2018-06-07 2018-11-23 歌尔股份有限公司 景深模组非线性标定的测试方法
CN114419168A (zh) * 2022-01-21 2022-04-29 北京微链道爱科技有限公司 一种图像特征点的标定方法及装置

Families Citing this family (25)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9865055B2 (en) 2015-02-24 2018-01-09 Nextvr Inc. Calibration for immersive content systems
US9894350B2 (en) * 2015-02-24 2018-02-13 Nextvr Inc. Methods and apparatus related to capturing and/or rendering images
JP6721884B2 (ja) * 2015-09-29 2020-07-15 日本電気株式会社 カメラ校正用ボード、カメラ校正用装置、カメラ校正用方法、及びカメラ校正用プログラム記録媒体
US10812778B1 (en) 2015-11-09 2020-10-20 Cognex Corporation System and method for calibrating one or more 3D sensors mounted on a moving manipulator
US11562502B2 (en) 2015-11-09 2023-01-24 Cognex Corporation System and method for calibrating a plurality of 3D sensors with respect to a motion conveyance
US10757394B1 (en) 2015-11-09 2020-08-25 Cognex Corporation System and method for calibrating a plurality of 3D sensors with respect to a motion conveyance
US10301019B1 (en) * 2015-12-17 2019-05-28 Amazon Technologies, Inc. Source location determination
US10142544B1 (en) * 2016-01-27 2018-11-27 RAPC Systems, Inc. Real time wide angle video camera system with distortion correction
US10140687B1 (en) * 2016-01-27 2018-11-27 RAPC Systems, Inc. Real time wide angle video camera system with distortion correction
US10853942B1 (en) * 2016-08-29 2020-12-01 Amazon Technologies, Inc. Camera calibration in a mobile environment
WO2018044584A1 (en) * 2016-08-31 2018-03-08 Nextvr Inc. Methods and apparatus related to capturing and/or rendering images
CN106530359B (zh) * 2017-01-19 2023-08-18 浙江舜宇智领技术有限公司 用于摄像模组的标定装置
CA3053087A1 (en) * 2017-02-24 2018-08-30 Pilkington Group Limited Universal target stand for adas static calibration, method of using the same, target plate for the same and use of a mat for the same
KR102633873B1 (ko) * 2017-04-17 2024-02-05 코그넥스코오포레이션 고정밀 교정 시스템 및 방법
CN107194972B (zh) * 2017-05-16 2021-04-02 成都通甲优博科技有限责任公司 一种摄像机标定方法及系统
HU4982U (hu) 2017-07-05 2019-05-28 Aimotive Kft Tartószerkezet
US10089753B1 (en) 2017-07-05 2018-10-02 Almotive Kft. Method, system and computer-readable medium for camera calibration
US10477186B2 (en) * 2018-01-17 2019-11-12 Nextvr Inc. Methods and apparatus for calibrating and/or adjusting the arrangement of cameras in a camera pair
TWI668565B (zh) * 2018-02-09 2019-08-11 神雲科技股份有限公司 相機功能的自動測試及修復方法及其電子裝置
TWI680436B (zh) * 2018-12-07 2019-12-21 財團法人工業技術研究院 深度相機校正裝置及其方法
DE102018222796A1 (de) * 2018-12-21 2020-06-25 Conti Temic Microelectronic Gmbh Aufbau und Vermessung des Aufbaus zur Kalibrierung einer Kamera
US11881001B2 (en) 2019-05-23 2024-01-23 Sony Interactive Entertainment Inc. Calibration apparatus, chart for calibration, and calibration method
US10992921B1 (en) 2019-08-28 2021-04-27 Amazon Technologies, Inc. Self-calibrating stereo camera pairs provided aboard aerial vehicles
IT202100024218A1 (it) * 2021-09-21 2023-03-21 Flexsight S R L Apparato automatizzato di calibrazione di una pluralità di sensori di immagine appartenenti ad uno scanner 3d e metodo di calibrazione di detti sensori di immagine mediante detto apparato automatizzato di calibrazione
GB2623505A (en) * 2022-10-14 2024-04-24 Belron Int Ltd Method for assessing illumination set-up for vehicle system calibration

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6137893A (en) * 1996-10-07 2000-10-24 Cognex Corporation Machine vision calibration targets and methods of determining their location and orientation in an image
CN101013505A (zh) * 2007-02-05 2007-08-08 武汉大学 相机标定方法及所用标定装置
CN101226638A (zh) * 2007-01-18 2008-07-23 中国科学院自动化研究所 一种对多相机系统的标定方法及装置
US8619144B1 (en) * 2012-03-14 2013-12-31 Rawles Llc Automatic camera calibration
US20140247354A1 (en) * 2013-03-04 2014-09-04 Magna Electronics Inc. Calibration system and method for multi-camera vision system

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS60132083U (ja) * 1984-02-15 1985-09-04 ソニー株式会社 パタ−ン切換装置
JP4224260B2 (ja) * 2002-02-18 2009-02-12 株式会社トプコン キャリブレーション装置、方法及び結果診断装置、並びにキャリブレーション用チャート
JP2008187566A (ja) 2007-01-31 2008-08-14 Sanyo Electric Co Ltd カメラ校正装置及び方法並びに車両
JP4555876B2 (ja) * 2008-05-30 2010-10-06 株式会社日本自動車部品総合研究所 車載カメラのキャリブレーション方法
CN101505433A (zh) 2009-03-13 2009-08-12 四川大学 一种实拍实显多镜头数码立体系统
US11699247B2 (en) 2009-12-24 2023-07-11 Cognex Corporation System and method for runtime determination of camera miscalibration
CN102438153B (zh) 2010-09-29 2015-11-25 华为终端有限公司 多摄像机图像校正方法和设备
TW201226237A (en) 2010-12-16 2012-07-01 Weltrend Semiconductor Inc Calibration circuit for automatically calibrating a view image around a car and method thereof
US8872897B2 (en) 2011-05-11 2014-10-28 Intel Corporation Camera calibration using an easily produced 3D calibration pattern
WO2013074604A2 (en) * 2011-11-15 2013-05-23 Magna Electronics, Inc. Calibration system and method for vehicular surround vision system
JP5732424B2 (ja) * 2012-04-02 2015-06-10 日本電信電話株式会社 3次元形状計測装置とそのキャリブレーション方法
JP5923422B2 (ja) 2012-09-24 2016-05-24 クラリオン株式会社 カメラのキャリブレーション方法及び装置
US8947537B2 (en) * 2013-02-25 2015-02-03 Teradyne, Inc. Rotatable camera module testing system

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6137893A (en) * 1996-10-07 2000-10-24 Cognex Corporation Machine vision calibration targets and methods of determining their location and orientation in an image
CN101226638A (zh) * 2007-01-18 2008-07-23 中国科学院自动化研究所 一种对多相机系统的标定方法及装置
CN101013505A (zh) * 2007-02-05 2007-08-08 武汉大学 相机标定方法及所用标定装置
US8619144B1 (en) * 2012-03-14 2013-12-31 Rawles Llc Automatic camera calibration
US20140247354A1 (en) * 2013-03-04 2014-09-04 Magna Electronics Inc. Calibration system and method for multi-camera vision system

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108881898A (zh) * 2018-06-07 2018-11-23 歌尔股份有限公司 景深模组非线性标定的测试方法
CN114419168A (zh) * 2022-01-21 2022-04-29 北京微链道爱科技有限公司 一种图像特征点的标定方法及装置
CN114419168B (zh) * 2022-01-21 2022-09-09 北京微链道爱科技有限公司 一种图像特征点的标定方法及装置

Also Published As

Publication number Publication date
WO2016036471A1 (en) 2016-03-10
KR20170026588A (ko) 2017-03-08
KR102271596B1 (ko) 2021-07-01
US20160073101A1 (en) 2016-03-10
TW201618534A (zh) 2016-05-16
JP2017536711A (ja) 2017-12-07
EP3189656A1 (en) 2017-07-12
US9596459B2 (en) 2017-03-14
TWI562634B (en) 2016-12-11
CN106537907B (zh) 2019-09-03
EP3189656A4 (en) 2018-05-02

Similar Documents

Publication Publication Date Title
CN106537907B (zh) 多目标相机标定
US10122997B1 (en) Automated matrix photo framing using range camera input
US9183620B2 (en) Automated tilt and shift optimization
US20150035857A1 (en) Methods and apparatus for generating composite images
US9319622B2 (en) Video projector with automated image enhancement
CA2969482A1 (en) Method and apparatus for multiple technology depth map acquisition and fusion
CN106289158A (zh) 距离检测装置以及包括该距离检测装置的相机模块
JP2016181068A (ja) 学習サンプル撮影装置
CN103780747A (zh) 一种信息处理方法及电子设备
WO2020085303A1 (ja) 情報処理装置及び情報処理方法
US20120069208A1 (en) Methods, Systems , and Computer Program Products for Assuring Horizontal Image Capture
Yu et al. Development of a Dundee Ground Truth imaging protocol for recording indoor crime scenes to facilitate virtual reality reconstruction
JP5955114B2 (ja) 撮像装置、その制御方法およびプログラム
KR101790994B1 (ko) 회전 가능한 360도 카메라 기반의 360도 영상 구현 시스템
US9847011B2 (en) Warning system for sub-optimal sensor settings
US10051192B1 (en) System and apparatus for adjusting luminance levels of multiple channels of panoramic video signals
TW202319888A (zh) 用以選擇在智慧型眼鏡中的攝影機的視野之使用者介面
US10735718B2 (en) Restoring components using data retrieved from a projector memory
CN114422763B (zh) 对屏功能的校验方法、装置、计算机设备及存储介质
JP7388084B2 (ja) 情報処理装置、方法および記録媒体
JP6234506B2 (ja) コンピュータ装置、その制御方法およびプログラム
JP6326023B2 (ja) 撮影用プログラム
JP2024049893A (ja) メータ読取装置、メータ読取方法、及びメータ読取プログラム
TWI566599B (zh) Screen adjustment monitoring system
JP2020139859A5 (zh)

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant