CN117795553A - 信息采集系统及其标定方法、装置及计算机可读存储介质 - Google Patents

信息采集系统及其标定方法、装置及计算机可读存储介质 Download PDF

Info

Publication number
CN117795553A
CN117795553A CN202180101281.8A CN202180101281A CN117795553A CN 117795553 A CN117795553 A CN 117795553A CN 202180101281 A CN202180101281 A CN 202180101281A CN 117795553 A CN117795553 A CN 117795553A
Authority
CN
China
Prior art keywords
display
pixel values
sequence
images
pixel
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202180101281.8A
Other languages
English (en)
Inventor
张土鑫
谭代强
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Zhuoyu Technology Co ltd
Original Assignee
SZ DJI Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by SZ DJI Technology Co Ltd filed Critical SZ DJI Technology Co Ltd
Publication of CN117795553A publication Critical patent/CN117795553A/zh
Pending legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/80Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T9/00Image coding

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Studio Devices (AREA)

Abstract

本申请提供一种信息采集系统及其标定方法、装置及可读存储介质,其中,显示界面包括至少三个非共线排列且互不重叠的显示区域,控制显示设备在显示界面依次显示多张目标图像(102),至少三个显示区域的任一显示区域依次显示的像素值的序列与至少三个显示区域的另一任意显示区域依次显示的像素值的序列不同;在依次显示多张目标图像过程中,控制拍摄设备拍摄显示界面,依次记录得到多张成像(104);获取多张成像中同一像素位置的像素值,生成像素位置的像素值的序列(106);基于记录的多张成像的像素位置的像素值的序列,和至少三个显示区域的像素值的序列,确定拍摄设备的述成像的像素位置与显示区域的位姿对应关系(108)。

Description

信息采集系统及其标定方法、装置及计算机可读存储介质 技术领域
本申请涉及信息处理技术领域,具体而言,涉及一种信息采集系统及其标定方法、装置及计算机可读存储介质。
背景技术
在涉及图像测量或机器视觉等技术领域中,拍摄设备的标定都是非常关键的环节,其标定结果的准确性将直接影响到拍摄设备的后续工作。
发明内容
有鉴于此,本申请实施例提供一种信息采集系统及其标定方法、装置及计算机可读存储介质,以解决相关技术中信息采集系统标定过程繁琐复杂的问题。
第一方面,提供一种信息采集系统的标定方法,所述信息采集系统包括显示设备和拍摄设备;
所述拍摄设备朝向所述显示设备的显示界面;所述显示界面包括至少三个显示区域,所述至少三个显示区域非共线排列且互不重叠;
所述方法包括:
控制所述显示设备在所述显示界面依次显示多张目标图像,在依次显示所述目标图像显示过程中,所述至少三个显示区域的任一显示区域依次显示的像素值的序列与所述至少三个显示区域的另一任意显示区域依次显示的像素值的序列不同;
在所述依次显示多张所述目标图像过程中,控制所述拍摄设备拍摄所述显示界面,依次记录得到多张成像;
获取多张所述成像中同一像素位置的像素值,生成所述像素位置的像素值的序列;
基于记录的多张所述成像的所述像素位置的像素值的序列,和所述至少三个显示区域的所述像素值的序列,确定所述拍摄设备的所述成像的像素位置与所述显示区域的位姿对应关系。
第二方面,提供一种信息采集系统的标定方法,所述系统包括显示设备和拍摄设备;
所述拍摄设备朝向所述显示设备的显示界面;所述显示界面包括至少M个显示区域,所述至少M个显示区域非共线排列且互不重叠;
所述方法包括:
控制所述显示设备在所述显示界面显示i张目标图像,在显示所述目标图像显示过程中,所述M个显示区域的任一显示区域显示的像素值的序列与所述至少M个显示区域的另一任意显示区域显示的像素值的序列不同;所述像素值的种类为N个,其中,N的i次方大于或等于M,i大于或等于1;
在显示i张所述目标图像过程中,控制所述拍摄设备拍摄所述显示界面,记录得 到i张成像;
基于i张所述成像中各像素位置的像素值的序列,和所述至少三个显示区域的所述像素值的序列,确定所述拍摄设备的所述成像的像素位置与所述显示区域的位姿对应关系。
第三方面,提供一种信息采集系统的标定装置,所述信息采集系统包括显示设备和拍摄设备;
所述标定装置包括处理器、存储器、存储在所述存储器上可被所述处理器执行的计算机程序,所述处理器执行所述计算机程序时实现第一方面所述的标定方法的步骤。
第四方面,提供一种信息采集系统的标定装置,所述信息采集系统包括显示设备和拍摄设备;所述拍摄设备朝向所述显示设备的显示界面;
所述标定装置包括处理器、存储器、存储在所述存储器上可被所述处理器执行的计算机程序,所述处理器执行所述计算机程序时实现第二方面所述的标定方法的步骤。
第五方面,提供一种信息采集系统,所述信息采集系统包括:拍摄设备和显示设备;以及前述第三方面所述的标定装置和/或前述第四方面所述的标定装置。
第六方面,提供一种计算机可读存储介质,所述可读存储介质上存储有若干计算机指令,所述计算机指令被执行时实现第一方面所述标定方法的步骤。
第七方面,提供一种计算机可读存储介质,所述可读存储介质上存储有若干计算机指令,所述计算机指令被执行时实现第二方面所述标定方法的步骤。
应用本申请提供的方案,显示设备的显示界面包括至少三个非共线排列且互不重叠的显示区域,通过显示设备显示多张目标图像,可以确定显示区域依次显示的像素值的序列,而拍摄设备对显示界面拍摄可以对应得到多张成像,从多张成像也可以获取到每一像素位置的像素值的序列,基于此,若拍摄设备的所述成像的所述像素位置的像素值的序列与所述显示区域的所述像素值的序列相同,该拍摄设备的所述成像的所述像素位置与显示区域在显示界面的位置就可对应上,进而就能够确定两者的位姿对应关系;本实施例方案能直接确定拍摄设备与显示设备的位姿对应关系,并且标定过程非常灵活,无需较多的限制。
附图说明
为了更清楚地说明本申请实施例中的技术方案,下面将对实施例描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本申请的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动性的前提下,还可以根据这些附图获得其他的附图。
图1A是本申请一个实施例中信息采集系统的标定场景示意图。
图1B是本申请一个实施例的信息采集系统的标定方法的流程图。
图1C是本申请一个实施例的三位格雷码图像示意图。
图1D是本申请一个实施例的水平排列的条纹图像示意图。
图1E是本申请一个实施例的一对正目标图像和逆目标图像的示意图。
图2A是本申请一个实施例的信息采集系统的示意图。
图2B是本申请一个实施例的五位格雷码图像的示意图。
图2C是本申请一个实施例的一对二位的正逆格雷码图像的示意图。
图2D是本申请一个实施例的相机的一张成像以及该张成像处理后的二值化格雷码图像。
图2E是本申请一个实施例的相机采集的原图以及该原图经过矫正后的图像的示意图。
图3是本申请另一个实施例的信息采集系统的标定方法的流程图。
图4是本申请一个实施例的信息采集系统的标定装置的示意图。
图5是本申请另一个实施例的信息采集系统的标定装置的示意图。
图6是本申请一个实施例的信息采集系统的示意图。
具体实施方式
下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本申请一部分实施例,而不是全部的实施例。
在涉及图像测量或机器视觉的技术领域中,通常需要进行拍摄设备的标定。拍摄设备包括光学组件和成像传感器,拍摄设备中的光学组件在生产和组装过程中可能存在畸变,相机标定的一方面是为了校正光学组件的畸变。另一方面,在包括有拍摄设备的信息采集系统中,为确定空间物体表面某点的三维几何位置与其在成像传感器所产生的成像中对应点之间的相互关系,需要建立拍摄设备成像的几何模型,进而根据捕获的图像重构出三维场景,如单目或双目测距,三维重建,SLAM,AR等等。几何模型的这些参数(包括内参和外参)就是拍摄设备的参数,求解拍摄设备参数的过程也即拍摄设备的标定。拍摄设备的标定非常关键,其标定结果的精度及算法的稳定性直接影响拍摄设备工作时产生的结果的准确性。因此,做好拍摄设备的标定是做好后续工作的前提。
以硬件在环测试(Hardware In the Loop,HIL)场景为例,硬件在环测试是一种用于复杂设备控制器的开发与测试技术。通过HIL测试,机器或系统的物理部分被仿真模拟器所代替,并被广泛运用于汽车控制器开发过程中。在ECU(Electronic Control Unit,电子控制器单元)开发过程中,系统软件和机械硬件结构通常是并行设计的。只有在集成后才能开展测试工作。如果在集成后发现了一些严重风险的安全漏洞,就有可能造成人身伤害、损坏设备和项目延误。硬件在环测试已经成为开发流程中非常重要的一环,减少了实车路试的次数,缩短开发时间和降低成本的同时提高自动驾驶软件质量,降低汽车厂商的风险。
现有车辆通常安装有一个或多个拍摄设备,用于观测车辆周边的环境信息并将观测数据提供给自动驾驶软件进行决策。因此,硬件在环测试场景中通常采用硬件在环测试设备对自动驾驶软件进行测试,该硬件在环测试设备包括有一处理器,可以运行自动驾驶软件;而为了对车辆的行驶过程进行模拟,该设备还包括有拍摄设备,以模拟实际车辆中所安装的拍摄设备;并且,该设备还包括显示识别,显示设备用于显示图像,通过显示设备显示的图像来模拟车辆所处的环境。拍摄设备对显示设备显示的图像进行采集,即模拟了车辆在实际场景中所观测到的数据,因此利用拍摄设备采集的图像,可以实现对自动驾驶软件的测试。
但对自动驾驶软件的测试之前,需要标定拍摄设备与显示设备两者的位姿对应关系,以对拍摄设备采集的原始图像进行处理。传统的标定方式,通常采用前述的求解 拍摄设备的内参与外参的标定方式来实现。以双目相机为例,外参标定可计算出两个相机间的位移和旋转参数,即为外部参数。利用这些内、外部参数,可以进一步地对任意两个不同相机做畸变矫正,以及判断两个相机的相对的位置姿态并做水平对齐矫正。标定完成之后,可以利用视差几何原理,使用内外参数对空间中的点做测距。未经标定的相机畸变大,画幅之间不对齐,无法进行自动驾驶软件的测试。
传统的用于硬件在环测试场景中的拍摄设备标定方法,通常依赖于特殊的外部硬件准备(比如棋盘格等等),并且需要熟悉标定的人员手动移动标志物去完成标定流程,非常依赖人工;而且每个人标定的能力不一致,导致标定精度也不一致。标定外参则要求多个拍摄设备之间必须有共享视野。
例如,棋盘格标定方案中,需要在事先准备已知世界坐标系中的棋盘格作为标定工具,记录棋盘格各个特征点在世界坐标系下的三维坐标。人工手动移动棋盘格覆盖全视野并拍照(一般需要采集30至120张图片不等),提取棋盘格特征点并与三维坐标做匹配,还需进一步优化迭代拟合最优的内参数,在利用双目相机共享视野中的标志物信息标定外参。
传统标定方法的灵活性较差,一般都需要预先准备一些标定物(如棋盘格),且标定物的制作精度要求极高(制作精度10000dpi以上),低精度的标志物会导致标定出来的参数精度不高或者直接无法使用。并且,标定只能在相机前的空间移动标定板,移动轨迹需要覆盖整个视场,而不能在其他场地开展,空间大受限制,灵活性较低。
传统双目相机通常固定在一个刚性物体上(给定基线长度)从而可以使两个相机拥有共享视野,如果不共享视野,则无法标定外参。并且,相机与显示设备的相对位姿固定不变(一旦移动则需要重新标定外参),非常不利于硬件在环测试装备设计的灵活性。并且,硬件在环测试装备是通过模拟器模拟实际场景去测试自动驾驶算法,相机标定往往需要有相关相机标定技术背景的工程师才可完成。
基于此,本申请实施例提供一种信息采集系统的标定方法,与前述方案中采用标定拍摄设备的内参和外参的方式不同,本实施例方案能直接确定拍摄设备与显示设备的位姿对应关系,并且标定过程非常灵活,无需较多的限制。接下来对本实施例方案进行详细说明。
本申请实施例的方案可以用于对信息采集系统进行标定;如图1A所示,是本申请一个实施例中信息采集系统的标定场景示意图,图1A中包括信息采集系统100,该信息采集系统中包括显示设备110和拍摄设备120;所述拍摄设备120朝向所述显示设备110的显示界面;所述显示界面包括至少三个显示区域,所述至少三个显示区域非共线排列且互不重叠。
如图1B所示,是本申请根据一示例性实施例示出的一种信息采集系统的标定方法的流程图,包括如下步骤:
在步骤102中,控制所述显示设备在所述显示界面依次显示多张目标图像;其中,在依次显示所述目标图像显示过程中,所述至少三个显示区域的任一显示区域依次显示的像素值的序列与所述至少三个显示区域的另一任意显示区域依次显示的像素值的序列不同;
在步骤104中,在所述依次显示多张所述目标图像过程中,控制所述拍摄设备拍摄所述显示界面,依次记录得到多张成像;
在步骤106中,获取多张所述成像中同一像素位置的像素值,生成所述像素位置的像素值的序列;
在步骤108中,基于记录的多张所述成像的所述像素位置的像素值的序列,和所述至少三个显示区域的所述像素值的序列,确定所述拍摄设备的所述成像的像素位置与所述显示区域的位姿对应关系。
本实施例方案用于确定信息采集系统中拍摄设备与显示设备的位姿对应关系;在一些例子中,所述拍摄设备可以是一个或多个,所述显示设备与拍摄设备对应,即一个显示设备对应一个拍摄设备,每个拍摄设备对应朝向一个显示设备的显示界面,因此显示设备也可以是一个或多个。作为例子,拍摄设备可以是至少两个,可以满足大部分双目或多目相机的标定场景。图1A的示意图中为了示例方便,示出了一个显示设备和一个摄像设备的例子,实际应用中可以根据需要配置拍摄设备和显示设备的数量,基于此,本实施例方案可以应用于多种业务场景,满足用户的需求。
其中,本实施例的信息采集系统,在不同应用场景下可以有不同的实现方式。作为例子,在硬件在环测试场景下,信息采集系统可以包括硬件在环测试设备。实际应用,根据不同业务需要,信息采集系统可以包括其他硬件,本实施例对此不作限定。
其中,本实施例中并不限定拍摄设备与显示设备的摆放关系,例如可以水平放置拍摄设备与显示设备等等,只需要拍摄设备朝向对应的显示设备的显示界面即可,使得拍摄设备可以拍摄到完整的显示设备的显示界面;可选的,拍摄设备的拍摄画面可以与显示设备的显示界面基本重合,使得拍摄设备不会拍摄到除了显示设备的显示界面之外的画面,从而减少外部干扰,提高标定的精度。
在一些例子中,所述信息采集系统包括:至少一个搭载部件,每个所述搭载部件用于搭载一台拍摄设备;例如,搭载部件可以是支架或云台等,本实施例对此不作限定。基于此,可以在搭载部件上根据需要搭载任意的拍摄设备。
在一些例子中,所述搭载部件包括:可移动的搭载部件,通过搭载部件的移动来调整拍摄设备与显示设备之间的距离。可移动的搭载部件的实现方式可以有多种,作为例子,可移动的搭载部件可以包括导轨及支架,支架用于搭载拍摄设备,支架可沿导轨移动;其中,导轨可以有一个或多个,通过导轨实现支架在一个或多个方向上的移动。或者,搭载部件还可以是具有伸缩杆的支架等,通过伸缩杆实现支架高度的调节,从而调整拍摄设备与显示设备之间的距离。
其中,针对两个或以上拍摄设备的例子,本实施例中并不限定各拍摄设备的位置关系,例如,以双目相机为例,双目相机可以水平排列放置,可以分别背对而放置等等。
为了确定拍摄设备与显示设备的位姿对应关系,本实施例方案中,若在显示设备的显示界面中确定出至少三个非共线且互不重叠的区域,这至少三个区域在显示界面上的位置已知,那么通过确定这至少三个区域在拍摄设备的成像的位置,拍摄设备与显示设备的位姿对应关系,就可通过这至少三个区域分别在显示设备的显示界面以及在拍摄设备的成像上的位置来确定,基于此,本实施例通过像素值序列,来实现显示界面中至少三个非共线且互不重叠的区域在拍摄设备的成像位置的确定。
其中,显示界面可以显示多张目标图像,在依次显示所述目标图像显示过程中,所述至少三个显示区域的任一显示区域依次显示的像素值的序列与所述至少三个显示 区域的另一任意显示区域依次显示的像素值的序列不同。由于拍摄设备朝向显示设备进行拍摄,在显示设备所述依次显示多张所述目标图像过程中,拍摄设备可以拍摄所述显示界面,依次记录得到多张成像。由于从多张成像也可以获取到成像中每一像素位置的像素值的序列,因此可以确定所述拍摄设备的所述成像的像素位置与所述显示区域的位姿对应关系。
在一些例子中,可以根据需要灵活确定显示界面中至少三个非共线且互不重叠的区域。可选的,显示区域的数量可以是三个或三个以上,具体的数量可以根据需要灵活配置。作为例子,可以是三个显示区域,这三个显示区域非共线且互不重叠。对于三个以上的显示区域,其中包括有三个非共线的显示区域,并且各个显示区域互不重叠。在一些例子中,显示区域的数量可以根据实际应用场景进行设置,例如,在一些标定场景中,显示区域的数量可以是三个,通过三个显示区域依次显示的像素值的序列,以及成像中每一像素位置的像素值的序列,可以确定拍摄设备与显示界面的对应关系;在另一些例子中,显示区域的数量可以较多并均匀分布于显示界面,基于此确定的拍摄设备与显示界面的对应关系可以较为精确地解决拍摄设备的畸变问题。在一些例子中,显示区域的数量与标定精度正相关,例如,显示区域的数量越多,标定精度越高。
在一些例子中,上述至少三个显示区域的数量,可以由用户设置;作为例子,信息采集系统可以提供有用户交互功能,例如信息采集系统提供有用户界面等可供用户操作,用户可以通过用户界面输入显示区域的数量;或者,信息采集系统可以与其他设备通信,本实施例的其他设备可以包括计算机、智能手机或平板设备等等多种可与信息采集系统通信的电子设备。用户可以通过其他设备设置可以显示区域的数量,其他设备将指示有显示区域的数量的消息发送给信息采集系统,信息采集系统通过接收到其他设备发送的消息,从而确定显示区域的数量。
在一些例子中,用户可以设置显示区域的数量值。在其他例子中,用户可以设置水平方向的数量和竖直方向的数量,两者相乘即显示区域的数量值;例如,水平方向上为8,竖直方向上为12,两者相乘的结果96即表示显示区域的数量。
在一些例子中,各个所述显示区域在所述显示界面上的位置,根据需要可以有多种实现方式。例如,可以根据显示区域的数量自动确定各个所述显示区域在所述显示界面上的位置,确定的策略可以有多种,例如可以是在显示界面上均匀分布的策略,也可以是基于显示界面的中心位置和边缘位置等策略,例如边缘位置分布的数量更多更密集等等。在其他例子中,也可以是用户设置的;用户设置的方式如前所述,可以是信息采集系统提供有用户交互功能供用户操作,或者用户通过与信息采集系统通信的其他设备进行设置。
在一些例子中,可以根据需要预先准备多张目标图像,多张目标图像被显示设备依次显示,各个显示区域依次显示的像素值的序列不同,每个显示区域对应的序列是指由该显示区域依次显示的像素值形成的序列。例如,显示设备依次显示三张目标图像,在显示区域1的位置上,三张目标图像的像素值依次为A、B和C,即在显示区域1中依次显示的像素值序列为ABC。
本实施例对于目标图像中像素点的像素值不进行限制,实际应用中可以根据需要灵活配置。例如,像素点的颜色可以采用红绿蓝(RGB)三个值来表现,本实施例的 像素值可以包括RGB三通道的值。在其他例子中,像素值也可以包括灰度值等,或者像素值还可以采用其他色彩空间来表示,本实施例对此不作限定。
本实施例中像素值的种类至少有两个,实际应用中可根据需要进行配置,只要从拍摄设备采集的成像中可识别并区分出不同的像素值即可,例如,可以是两类,如黑色和白色;或者可以是三类,如红绿蓝等,其他颜色也是可选的;当然,更多不同类别的像素值也是可选的。
在另一些例子中,为了提高后续的计算效率以及提高图像识别的准确度,本实施例的像素值可以是两类,如黑色和白色,由于黑色和白色的像素值差异较大,例如像素值采用灰度值表示,黑色和白色能够较为准确地识别出来。因此,本实施例中,在显示界面依次显示多张目标图像时,显示区域依次显示的像素值的序列可以是黑色和/或白色的任意组合,例如都为黑,都为白,或者黑和白的任意组合。
如图1A所示,所述显示设备可以在所述显示界面依次显示多张目标图像,在本实施例中以四张图像GC1至GC4为例进行示意,在所述依次显示多张所述目标图像过程中,控制所述拍摄设备拍摄所述显示界面,依次记录得到多张成像;基于多张所述成像同一像素位置的像素值的序列,以及所述至少三个显示区域的所述像素值的序列,可以确定所述拍摄设备的所述成像的像素位置与所述显示区域的位姿对应关系。
在一些例子中,对于拍摄设备及显示设备有两个或以上个的情况,这至少两个显示设备的显示过程一致,即可以显示相同的多张目标图像,且依次显示的顺序一致。在其他例子中,这至少两个显示设备的显示过程不一致也是可选的,即可以显示相同的多张目标图像但显示顺序不同,或者还可以是显示不同的目标图像等等。
本实施例中,通过显示区域依次显示的像素值的序列,以及多张成像也可以获取到每一像素位置的像素值的序列,基于此,若拍摄设备的所述成像的所述像素位置的像素值的序列与所述显示区域的所述像素值的序列相同,该拍摄设备的所述成像的所述像素位置与显示区域在显示界面的位置就可对应上,进而就能够确定两者的位姿对应关系。
在一些例子中,每种像素值对应有预设编码,所述像素值的序列为像素值的编码序列。本实施例中,可以根据需要为每种像素值配置对应的编码,每个显示区域依次显示的像素值的序列可以转换为编码序列,成像中像素位置的像素值的序列也可以转换为编码序列,因此利用编码序列可以更快速地进行序列的比较。
在一些例子中,可以预先记录每个显示区域在显示界面上的位置信息,从而,在拍摄设备的所述成像的所述像素位置的像素值的序列中,确定出与所述显示区域的所述像素值的序列相同的序列后,可以根据记录的显示区域在显示界面上的位置信息,将拍摄设备的所述成像的所述像素位置与显示区域在显示界面的位置就对应上,进而就能够确定两者的位姿对应关系。
在另一些例子中,为了减少对存储空间的占用同时提高处理效率,在一些例子中,所述显示区域依次显示像素值的序列表征所述显示区域的位置信息,从而在后续的处理中,基于像素值的序列可以快速地确定出该显示区域在显示界面上的位置。例如,假设显示区域在显示界面上的位置为坐标(3,3),沿用前述例子,显示区域依次显示的像素值的序列ABC,序列ABC可以表征坐标信息(3,3),也即是,序列ABC不仅用于将显示界面的各个显示区域进行区分,以供后续处理确定拍摄设备的成像上 哪个像素位置与该显示区域对应上,还能提供显示区域的坐标信息。实际应用中,所述显示区域依次显示像素值的序列表征所述显示区域的位置信息,可以根据需要采用多种方式实现,例如,可以采用设定的编码方式,将显示区域在显示界面上的位置进行编码,使得显示区域在显示界面上的位置信息与像素值的序列对应上,具体的编码方式实际应用中可以根据需要配置,本实施例对此不作限定。可选的,可以是所述显示区域依次显示的像素值的编码序列的解码结果,是所述显示区域在所述显示界面上的位置信息。
在一些例子中,可以采用二进制编码的编码方式,所述像素值的编码序列可以包括:采用二进制编码的编码序列。采用二进制编码的方式,其计算速度较快,可以提升标定的效率。另一方面,基于二进制编码,目标图像中像素值可以采用黑色和白色两种,使得图像像素值的识别更加的快速与准确。作为例子,可以是黑色对应编码“0”,白色对应编码“1”,当然,反过来黑色的编码为“1”,白色的编码为“0”也是可以的。并且,实际应用中也还可以根据需要采用其他的编码值,本实施例对此不进行限定。可选的,所述二进制编码,包括如下任一:格雷码、反格雷码、普通二进制码、8421码或54221码等。
以格雷码为例,显示设备显示的多张目标图像为采用格雷码编码的图像,如图1C所示,本实施例以三位格雷码为例,涉及三张格雷码图像,作为例子,这三张格雷码图像采用的是条纹为竖直方向的格雷码图像为例。这三张图像中分别用亮暗两种灰度(白色和黑色),可将显示界面划分出8个竖直排列的条状区域,其中白色区域对应编码“1”,黑色区域对应编码“0”。显示界面依次显示这三张图像,显示界面上任一点在三张图像中的像素值的编码序列,即为该点所在区域的编码序列。例如,显示设备的显示界面上的某一点P,该假设该点P处于序号3所在的区域内,在三张图像中的编码值依次是“0”、“1”、“1”,则该点的区域编码值为“011”,根据格雷码编码可以解码为3,即表示了该点所在区域的位置信息。
在一些例子中,显示设备的显示界面是一个平面,所述显示区域的位置信息包括:水平方向的位置信息和竖直方向的位置信息;由于显示区域的位置信息是两个维度的位置信息,基于此,可以分别从水平方向和竖直方向上对显示区域的位置信息进行编码,基于此,所述多张目标图像包括:用于对所述水平方向的位置信息进行编码的竖直排列的条纹图像;和用于对所述竖直方向的位置信息进行编码的水平排列的条纹图像。
如图1C所示,示出的是竖直排列的条纹图像,如前述实施例所言,竖直排列的条纹图像可显示界面划分出多个竖直排列的条状区域,图1C中示出了8个竖直排列的条状区域,即显示界面上水平方向的位置信息有8个。如图1D所示,示出的是水平排列的条纹图像,水平排列的条纹图像可将显示界面划分出多个水平排列的条状区域,图1D中示出了8个水平排列的条状区域,即显示界面上垂直方向的位置信息有8个。因此,通过这两类不同的条纹图像,可以将显示界面划分出8*8共64个显示区域,通过这两类不同的条纹图像,可以编码出每个显示区域的位置信息。
在一些例子中,所述竖直排列的条纹图像的数量,是基于水平方向上需编码的显示区域的数量确定的。作为例子,可以结合目标图像中像素值的种类数量,以及水平方向上需编码的显示区域的数量,来确定竖直排列的条纹图像的数量;例如,以N种 像素值为例,采用二进制编码为例,可以采用如下关系确定:N的k次方大于或等于水平方向上需编码的显示区域的数量,k即竖直排列的条纹图像的数量;以黑白两种像素值为例,采用二进制编码为例,可以采用如下关系确定:2的k次方大于或等于水平方向上需编码的显示区域的数量,k即竖直排列的条纹图像的数量。
在一些例子中,所述水平排列的条纹图像的数量,是基于竖直方向上需编码的显示区域的数量确定的。作为例子,可以结合目标图像中像素值的种类数量,以及竖直方向上需编码的显示区域的数量,来确定水平排列的条纹图像的数量;例如,以N种像素值为例,采用二进制编码为例,可以采用如下关系确定:N的j次方大于或等于竖直方向上需编码的显示区域的数量,j即水平排列的条纹图像的数量;以黑白两种像素值为例,采用二进制编码为例,可以采用如下关系确定:2的j次方大于或等于竖直方向上需编码的显示区域的数量,j即水平排列的条纹图像的数量。
本实施例中,在所述依次显示多张所述目标图像过程中,所述拍摄设备拍摄所述显示界面,从而依次记录得到多张成像。进一步的,需要获取多张所述成像中同一像素位置的像素值,以生成所述像素位置的像素值的序列。然而,由于环境亮度以及拍摄设备曝光程度的影响,成像中像素点的像素值的获取,有可能存在偏差。例如,显示设备显示的某个黑色像素值,可能因为环境亮度或曝光较大等原因,导致从成像中获取到的像素值偏白,进而导致后续的处理准确度较低。
基于此,所述多张目标图像包括:多对正目标图像和逆目标图像,每对正目标图像和逆目标图像之间,相同像素位置的像素值不同。基于此,拍摄设备拍摄显示界面所获得的成像中,包括了正目标图像的成像和逆目标图像的成像,而由于每对正目标图像和逆目标图像中相同位置的像素点的像素值不同,因此对正目标图像的成像和逆目标图像的成像中同一像素位置的像素值的比对,即可确定成像中像素点的像素值。
可选的,每对正目标图像和逆目标图像中相同像素位置的像素值不同,可以根据需要采用多种方式实现,例如,可以是选取两种差异较大的像素值,可选的,可以是黑色和白色。如图1E所示,示出了一对正目标图像和逆目标图像。基于此,对正目标图像的成像中,如果像素位置像素值大于逆图像的成像中同一像素位置像素值,即可确定正目标图像的成像中该像素位置的像素值为表征白色的像素值,当然,相对应的逆目标图像的成像中该像素位置的像素值为表征黑色的像素值。在目标图像有一对正逆图像的情况下,成像中包括正目标图像的成像,也包括对应的逆目标图像的成像,而正逆图像是用于准确地获取成像中像素位置的像素值的序列,基于此,本实施例生成的像素位置的像素值的序列,可以是基于所有正目标图像的成像所生成的;当然,基于所有逆图像的成像来生成也是可选的。
本实施例对每对正目标图像和逆目标图像的显示次序不进行限制,可以通过记录每对正目标图像和逆目标图像的显示次序,在后续可相对应的从多张成像中确定正目标图像的成像以及逆目标图像的成像即可。可选的,在一些例子中,每对正目标图像和逆目标图像可以依次显示,基于此,拍摄设备可依次对每对正目标图像和逆目标图像进行拍摄,从而在依次记录的成像中可以快速地获取到每对正目标图像和逆目标图像分别对应的成像。
本实施例中,基于记录的多张所述成像的所述像素位置的像素值的序列,和所述至少三个显示区域的所述像素值的序列,各个显示区域的像素值的序列,与成像中像 素位置的像素值的序列对应上,即可确定所述拍摄设备的所述成像的像素位置与所述显示区域的位姿对应关系。
在一些例子中,可以采用映射表记录拍摄设备的成像的像素位置与显示设备的位姿对应关系;作为例子,显示设备上显示的目标图像I_y,拍摄设备对其拍摄到的未经处理的原图像I_x,I_y经过拍摄设备+镜头自身的光学及其他特性被拍摄成像之后变成了带有畸变、旋转等特性的原图像I_x。经过前述步骤的处理,对采集到的所有I_x的每个像素位置X进行解码之后可以得到解码值Y,X存入映射表Z中行方向Z_row及列方向Z_col的表的位置Y处,Z表就相当于存储了目标图像所编码的像素位置Y,与位置Y被拍摄设备拍摄到后的特性影响下偏移到了像素X的映射关系。
通过如下例子进行说明,本实施例中显示界面包括有多个显示区域,多张目标图像依次显示,每个显示区域依次显示的像素值的序列不同,可选的,本实施例的显示区域依次显示的像素值的序列表征了该显示区域的位置信息,例如,显示区域的位置信息为(5,6),以二进制编码图像为例,将十进制的“5”和“6”转换为设定的二进制编码,以4位为例,假设坐标(5,6)对应的二进制编码分别为(0111,0101),即四位二进制编码的目标图像中,在位置为(5,6)的显示区域的像素值的序列分别是(白黑黑黑,白黑白黑)。
拍摄设备对各张依次显示的目标图像也依次拍摄,得到多张成像。通过对各张成像同一像素位置的像素值的获取,可以生成各个像素位置的像素值的序列。由于拍摄设备与显示设备的位姿差异以及相机自身的畸变等原因,也能确定其在某个像素位置的像素值序列为(白黑黑黑,白黑白黑)的序列,但该(白黑黑黑,白黑白黑)的序列并未在(5,6)位置,而是在成像的(6,7)位置上。基于此,通过(白黑黑黑,白黑白黑)的序列,将显示区域的位置信息(5,6),与拍摄设备的成像的像素位置(6,7)对应上,因此,通过显示设备的显示界面的至少三个显示区域,所述拍摄设备的所述成像的像素位置与所述显示区域的位姿对应关系也就可以确定。
例如,映射表实际上可以理解为一个矩阵,该矩阵具有M行N列,即表示对M*N个显示区域进行编码,映射表即一个M行N列的表格。通过矩阵记录所述位姿对应关系,矩阵中每个元素的值即拍摄设备的成像的像素位置,该元素在矩阵中的位置即显示界面中对应拍摄设备的成像的像素位置的位置;当然,反过来也是可选的,矩阵中每个元素的值即显示界面中对应拍摄设备的成像的像素位置的位置,该元素在矩阵中的位置即拍摄设备的成像的像素位置。例如,拍摄设备的成像的(6,7)位置对应的是显示区域的(5,6)位置,成像中(6,7)位置的像素值序列(0111,0101),解码得到的结果是(5,6),也即是显示区域的位置信息。因此,(5,6)就可记录于映射表的(6,7)位置,即矩阵中的(6,7)位置记录的(5,6),就表示了相机与显示设备的位姿对应关系,即相机的(6,7)位置对应于显示设备的显示界面的(5,6)位置。
由上述实施例可见,显示区域依次显示像素值的序列表征了所述显示区域的位置信息,还可在确定拍摄设备的成像的像素位置与显示设备的位姿对应关系的过程中达到快速处理的效果,接下来再通过一实施例对本申请方案进行说明。
如图2A所示,是本申请根据一示例性实施例示出的信息采集系统100的示意图,图2A中的信息采集系统100中的拍摄设备以双目相机为例进行示意,可以搭载两个 单目相机,单目相机可单独固定在各自的空间中;该信息采集系统包括两个显示器(1101和1102),分别置于相机前方。其中,两个相机分别朝向对应的显示器,使得相机可以拍到整个模拟器模拟的画面。可选的,信息采集系统中可以包括诸如滑轨等可移动的搭载部件,使得相机搭载在该搭载部件上时,可以通过搭载部件灵活调节相机与显示器之间的距离。本实施例中,并不限定相机必须有共享视野,也不限定两个相机需要固定在同一刚性物体上。
接着,可以利用相应的编码技术生成一系列编码图像。以格雷码为例,可以根据实际需要确定需要对多少个像素位置进行编码,例如,图像的宽度方向需要多少个像素,图像的高度方向需要多少个像素。可选的,图像宽度方向的像素个数和图像高度方向的像素个数可以由用户设置;作为例子,信息采集系统可以提供有用户交互功能,以供用户设置图像宽度方向的像素个数和图像高度方向的像素个数。
确定之后,即可对图像每行每列的坐标进行编码,以5位格雷码为例,可以对32个像素位置进行编码,1024个像素则需要10位格雷码;每个横纵坐标的数字对应的格雷码都是一串二进制数字,在图像中的对应的像素位置则是黑或者白,以此类推对图像中的每个像素进行编码。如图2B所示,是本申请一个实施例的五位格雷码图像的示意图,其示出了垂直方向的格雷码图像,其可以对图像宽度进行编码;水平方向的格雷码可以对图像高度进行编码。
本实施例中,还涉及格雷码逆图像,用于后续确定相机所采集到的图像。基于此,所需要生成的图像为:(图像高所需要的二进制位数*2+图像宽所需要的二进制位数*2)张正逆格雷码图像。例如,假设图像高是32个像素,图像宽是64个像素,那图像数量是:5*2+6*2。其中,包括水平方向的5位格雷码图像(正逆各5张),以及垂直方向的6位格雷码图像(正逆各6张)。如图2C所示,示出了一对二位的正逆格雷码图像的示意图。
之后,控制显示器依次显示上述多张格雷码正逆图像,对于显示器显示的每张图像,相机均会对应拍摄并存储拍摄到的图像。为了便于后续的识别,此处的依次,可以表示格雷码图像按照二进制位数的依次显示,按照二进制位数从第一位至第N位,也可以从第N位依次至第一位;当然,实际应用中也可以乱序显示,只要后续识别时知道各张不同位数的格雷码图像的显示顺序即可。另外,此处的依次,还可以包括同一位正逆格雷码图像的依次显示,例如可以每一对正逆格雷码图像依次显示,可以是先显示正格雷码图像和逆格雷码图像,或者是先显示逆格雷码图像再显示正格雷码图像,使相机连续拍摄的两张图像对应同一位正逆格雷码图像,方便后续的处理。
本实施例中,同一位数的一对正逆格雷码图像会进行显示,是为了准确地确定相机所拍摄到的成像对应的是哪一张格雷码图像。作为例子,针对相机连续拍摄到的对应同一位正逆格雷码图像的两张成像,相机采集到的正图像比逆图像灰度值大的则代表该像素为白,反之同理,N*2张正逆格雷码图可以计算出N张二值化格雷码图像。基于此,可以确定出相机所采集到对应每一张正格雷码图像的每一张成像。作为例子,根据格雷码正逆图像,对图像进行二值化操作,依次对拍摄到的水平、垂直格雷码图像的每一个像素X,按照上述方法做二值化操作,并将二值化的格雷码编码图像存储在磁盘中。操作完毕后获得一组(图像高所需要的二进制位数+图像宽所需要的二进制位数)黑白二值的格雷码编码图像。如图2D所示,示出了相机的一张成像,以及对 该成像处理后的二值化格雷码图像。
经过上述处理,接下来可以对二值化格雷码图像(以下简称二值化图像)进行格雷码解码。行(或列)方向的每个像素的真实坐标值将由所有二值化图片对应的二值(黑、白对应0、1)组成。N位格雷码代表有N幅二值化图像,假设X为原图中像素的坐标值,Y为N幅二值化图像中位置X的像素值所解码出来的值。遍历每个像素X,将X值存储于映射表Z中的Y位置处,其中Z表尺寸大小与格雷码编码的数值大小一致,因为格雷码解码后的值域范围为编码的值的值域范围。例如,格雷码编码列数为1024,编码行数为512;则映射表尺寸大小为1024*512。
其中,映射表即记录了显示器的显示界面与相机的位姿关系;作为例子,显示器上显示的格雷码图I_y,相机对其拍摄到的未经处理的原图像I_x,I_y经过相机+镜头自身的光学及其他特性被拍摄成像之后变成了带有畸变、旋转等特性的原图像I_x。经过前述步骤的处理,对采集到的所有I_x的每个像素X进行解码之后可以得到解码值Y,X存入映射表Z中行方向Z_row及列方向Z_col的表的位置Y处,Z表就相当于存储了格雷码所编码的像素位置Y,与位置Y被相机拍摄到后的特性影响下偏移到了像素X的映射关系。
记录有上述映射表,即完成了对信息采集系统的标定,映射表作为标定的结果,可以用于后续的处理。例如,拍摄设备后续对显示设备所显示的图像进行拍摄,拍摄设备拍摄到的图像,可以基于映射表进行转换处理,从而可以将带畸变、未水平对齐的原图像映到无畸变且水平对齐的目标图像,如图2E所示,示出了相机采集的原图,以及经过矫正后的图像的示意图;由此可知,由于通过上述标定方法所记录的映射表,不管相机的畸变、放置位置偏移程度如何,利用该映射表对相机采集图像经过处理,原图像都可被矫正回了无畸变、中心对齐的目标图像。
由上述实施例可见,拍摄设备的所述成像的像素位置与所述显示区域的位姿对应关系通过映射表记录,该映射表记录了拍摄设备的成像平面与显示设备的显示界面的一一对应的位姿关系,因此基于该映射表对拍摄设备的采集的图像进行矫正,矫正得到的图像。
对于双目或多目相机等场景,在标定时不要求相机必须有共享视野,这是由于本实施例方案直接确定了所述拍摄设备的所述成像的像素位置与所述显示区域的位姿对应关系。基于该位姿对应关系,在硬件在环测试等场景中,若需要模拟双目相机的视差,可以控制两个显示设备显示的图像之间有重合,则对应的两个拍摄设备采集的图像也相应的具有重合,即可实现在测试时模拟视差的效果;并且,两个显示设备显示的图像的重合率可以根据需要任意调整,因此本实施例方案还可以模拟任意视差,对自动驾驶软件的测试方式更加灵活,满足更多的测试需求。
由此可见,上述标定实施例无需技术人员干预,也不需要依赖预先定制的标定环境,如标定物或地面标线等等;在双目或多目相机场景中,也不要求各个相机是必须有共享视野,可以方便灵活地搭建单目、双目或多目等相机硬件在环测试设备,并且标定操作便利,能自动化地完成标定。
本发明主要是提供一种无需技术人员干预,不受标定标志物限制,不对共享视野有约束,自动化的双目硬件在环测试装备标定方法。这种方法不需要准备标定标志物,双目相机无需共享视野,且不需要专业的相机标定人员。该方法可以自动化的完成该 硬件设备所需要的双目畸变矫正及水平对齐矫正,完成后即可如传统标定完后的双目相机一致地去测试自动驾驶算法。
本实施例还提供了另一种信息采集系统的标定方法,所述系统包括显示设备和拍摄设备;所述拍摄设备朝向所述显示设备的显示界面;所述显示界面包括至少M个显示区域,所述至少M个显示区域非共线排列且互不重叠;
如图3所述,示出了本实施例的一种信息采集系统的标定方法的流程图,所述方法包括:
在步骤302中,控制所述显示设备在所述显示界面显示i张目标图像,在显示所述目标图像显示过程中,所述M个显示区域的任一显示区域显示的像素值的序列与所述至少M个显示区域的另一任意显示区域显示的像素值的序列不同;所述像素值的种类为N个,其中,N的i次方大于或等于M,i大于或等于1;
在步骤304中,在所述显示i张所述目标图像过程中,控制所述拍摄设备拍摄所述显示界面,记录得到i张成像;
在步骤306中,基于i张所述成像中各像素位置的像素值的序列,和所述至少三个显示区域的所述像素值的序列,确定所述拍摄设备的所述成像的像素位置与所述显示区域的位姿对应关系。
本实施例中,目标图像可以是1张,也可以是多张;实际应用中可以根据具体场景而配置。作为例子,若拍摄设备的成像传感器可识别的像素值的种类较多,且能够从成像中准确地区分出多种不同像素值,则较少的目标图像的数量也可实现多个不同显示区域的不同像素值的序列。作为例子,本实施例中的显示区域为3个,可通过3个显示区域的像素值序列,来找出拍摄设备的成像中,与这3个显示区域的像素值序列相同序列的像素位置;由于拍摄设备的成像传感器可识别的像素值的种类较多,例如有3类,通过这在这3个显示区域分别显示这3类不同的像素值,则通过一张目标图像,即可在拍摄设备的一张成像中识别到这3类不同的像素值在成像中的位置,由于这3个显示区域在显示设备的显示界面上的位置也是可确定的,因此即可确定所述拍摄设备的所述成像的像素位置与所述显示区域的位姿对应关系。
实际应用中,显示区域的个数、目标图像的数量及像素值的种类等都可以根据需要采用多种不同的实现方式,具体可参考前述实施例的描述。
在一些例子中,所述显示区域的数量,是用户设置的。
在一些例子中,各个所述显示区域在所述显示界面上的位置,是用户设置的。
在一些例子中,所述像素值至少有两类。
在一些例子中,所述像素值包括:黑和白。
在一些例子中,每种像素值对应有预设编码,所述像素值的序列为像素值的编码序列。
在一些例子中,所述显示区域依次显示的像素值的序列表征所述显示区域的位置信息。
在一些例子中,所述显示区域依次显示的像素值的编码序列的解码结果,是所述显示区域在所述显示界面上的位置信息。
在一些例子中,所述像素值的编码序列包括:采用二进制编码的编码序列。
在一些例子中,所述二进制编码,包括如下任一:格雷码、反格雷码、普通二进 制码、8421码或54221码。
在一些例子中,所述显示区域的位置信息包括:水平方向的位置信息和竖直方向的位置信息;
所述多张目标图像包括:
用于对所述水平方向的位置信息进行编码的竖直排列的条纹图像;和,
用于对所述竖直方向的位置信息进行编码的水平排列的条纹图像。
在一些例子中,所述竖直排列的条纹图像的数量,是基于水平方向上需编码的显示区域的数量确定的。
在一些例子中,所述水平排列的条纹图像的数量,是基于竖直方向上需编码的显示区域的数量确定的。
在一些例子中,所述多张目标图像包括:多对正目标图像和逆目标图像;每对正目标图像和逆目标图像之间,相同像素位置的像素值不同。
在一些例子中,每对正目标图像和逆目标图像依次显示。
在一些例子中,所述拍摄设备的拍摄画面与所述显示器的显示界面基本重合。
在一些例子中,所述拍摄设备至少有两个,每个所述拍摄设备对应一个显示设备。
在一些例子中,所述信息采集系统还包括:
至少一个搭载部件,每个所述搭载部件用于搭载一台拍摄设备。
在一些例子中,所述搭载部件包括:可移动的搭载部件。
在一些例子中,所述信息采集系统包括:硬件在环测试设备。
上述方法实施例可以通过软件实现,也可以通过硬件或者软硬件结合的方式实现。以软件实现为例,作为一个逻辑意义上的装置,是通过其所在图像处理的处理器将非易失性存储器中对应的计算机程序指令读取到内存中运行形成的。从硬件层面而言,如图4所示,为实施本实施例信息采集系统的标定装置400的一种硬件结构图,除了图4所示的处理器401、以及存储器402之外,实施例中用于实施本信息采集系统的标定方法的标定装置,通常根据该标定装置的实际功能,还可以包括其他硬件,对此不再赘述。
本实施例中,所述处理器401执行所述计算机程序时实现以下步骤:
控制所述显示设备在所述显示界面依次显示多张目标图像,在依次显示所述目标图像显示过程中,所述至少三个显示区域的任一显示区域依次显示的像素值的序列与所述至少三个显示区域的另一任意显示区域依次显示的像素值的序列不同;
在所述依次显示多张所述目标图像过程中,控制所述拍摄设备拍摄所述显示界面,依次记录得到多张成像;
获取多张所述成像中同一像素位置的像素值,生成所述像素位置的像素值的序列;
基于记录的多张所述成像的所述像素位置的像素值的序列,和所述至少三个显示区域的所述像素值的序列,确定所述拍摄设备的所述成像的像素位置与所述显示区域的位姿对应关系。
在一些例子中,所述显示区域的数量,是用户设置的。
在一些例子中,各个所述显示区域在所述显示界面上的位置,是用户设置的。
在一些例子中,所述像素值至少有两类。
在一些例子中,所述像素值包括:黑和白。
在一些例子中,每种像素值对应有预设编码,所述像素值的序列为像素值的编码序列。
在一些例子中,所述显示区域依次显示的像素值的序列表征所述显示区域的位置信息。
在一些例子中,所述显示区域依次显示的像素值的编码序列的解码结果,是所述显示区域在所述显示界面上的位置信息。
在一些例子中,所述像素值的编码序列包括:采用二进制编码的编码序列。
在一些例子中,所述二进制编码,包括如下任一:格雷码、反格雷码、普通二进制码、8421码或54221码。
在一些例子中,所述显示区域的位置信息包括:水平方向的位置信息和竖直方向的位置信息;
所述多张目标图像包括:
用于对所述水平方向的位置信息进行编码的竖直排列的条纹图像;和,
用于对所述竖直方向的位置信息进行编码的水平排列的条纹图像。
在一些例子中,所述竖直排列的条纹图像的数量,是基于水平方向上需编码的显示区域的数量确定的。
在一些例子中,所述水平排列的条纹图像的数量,是基于竖直方向上需编码的显示区域的数量确定的。
在一些例子中,所述多张目标图像包括:多对正目标图像和逆目标图像;每对正目标图像和逆目标图像之间,相同像素位置的像素值不同。
在一些例子中,每对正目标图像和逆目标图像依次显示。
在一些例子中,所述拍摄设备的拍摄画面与所述显示器的显示界面基本重合。
在一些例子中,所述拍摄设备至少有两个,每个所述拍摄设备对应一个显示设备。
在一些例子中,所述信息采集系统还包括:
至少一个搭载部件,每个所述搭载部件用于搭载一台拍摄设备。
在一些例子中,所述搭载部件包括:可移动的搭载部件。
在一些例子中,所述信息采集系统包括:硬件在环测试设备。
如图5所示,是本实施例提供的另一种信息采集系统的标定装置500的硬件结构图,该信息采集系统的标定装置包括处理器501、存储器502,以及存储在所述存储器上可被所述处理器执行的计算机程序,所述处理器执行所述计算机程序时实现如下步骤:
控制所述显示设备在所述显示界面显示i张目标图像,在显示所述目标图像显示过程中,所述M个显示区域的任一显示区域显示的像素值的序列与所述至少M个显示区域的另一任意显示区域显示的像素值的序列不同;所述像素值的种类为N个,其中,N的i次方大于或等于M,i大于或等于1;
在显示i张所述目标图像过程中,控制所述拍摄设备拍摄所述显示界面,记录得到i张成像;
基于i张所述成像中各像素位置的像素值的序列,和所述至少三个显示区域的所述像素值的序列,确定所述拍摄设备的所述成像的像素位置与所述显示区域的位姿对应关系。
在一些例子中,所述显示区域的数量,是用户设置的。
在一些例子中,各个所述显示区域在所述显示界面上的位置,是用户设置的。
在一些例子中,所述像素值至少有两类。
在一些例子中,所述像素值包括:黑和白。
在一些例子中,每种像素值对应有预设编码,所述像素值的序列为像素值的编码序列。
在一些例子中,所述显示区域依次显示的像素值的序列表征所述显示区域的位置信息。
在一些例子中,所述显示区域依次显示的像素值的编码序列的解码结果,是所述显示区域在所述显示界面上的位置信息。
在一些例子中,所述像素值的编码序列包括:采用二进制编码的编码序列。
在一些例子中,所述二进制编码,包括如下任一:格雷码、反格雷码、普通二进制码、8421码或54221码。
在一些例子中,所述显示区域的位置信息包括:水平方向的位置信息和竖直方向的位置信息;
所述多张目标图像包括:
用于对所述水平方向的位置信息进行编码的竖直排列的条纹图像;和,
用于对所述竖直方向的位置信息进行编码的水平排列的条纹图像。
在一些例子中,所述竖直排列的条纹图像的数量,是基于水平方向上需编码的显示区域的数量确定的。
在一些例子中,所述水平排列的条纹图像的数量,是基于竖直方向上需编码的显示区域的数量确定的。
在一些例子中,所述多张目标图像包括:多对正目标图像和逆目标图像;每对正目标图像和逆目标图像之间,相同像素位置的像素值不同。
在一些例子中,每对正目标图像和逆目标图像依次显示。
在一些例子中,所述拍摄设备的拍摄画面与所述显示器的显示界面基本重合。
在一些例子中,所述拍摄设备至少有两个,每个所述拍摄设备对应一个显示设备。
在一些例子中,所述信息采集系统还包括:
至少一个搭载部件,每个所述搭载部件用于搭载一台拍摄设备。
在一些例子中,所述搭载部件包括:可移动的搭载部件。
在一些例子中,所述信息采集系统包括:硬件在环测试设备。
如图6所示,本申请实施例还提供一种信息采集系统600,包括:拍摄设备610;显示设备620以及标定装置630;根据需要,拍摄设备610可以是一个或多个,显示设备620可以是一个或多个,每个拍摄设备610对应一个显示设备620;该标定装置630的实施方式可参考如图4所示实施例中的标定装置400或图5所示实施例中的标定装置500。
本申请实施例还提供一种计算机可读存储介质,所述可读存储介质上存储有若干计算机指令,所述计算机指令被执行时实任一实施例所述信息采集系统的标定方法的步骤。
本说明书实施例可采用在一个或多个其中包含有程序代码的存储介质(包括但不限于 磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。计算机可用存储介质包括永久性和非永久性、可移动和非可移动媒体,可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括但不限于:相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带,磁带磁磁盘存储或其他磁性存储设备或任何其他非传输介质,可用于存储可以被计算设备访问的信息。
对于装置实施例而言,由于其基本对应于方法实施例,所以相关之处参见方法实施例的部分说明即可。以上所描述的装置实施例仅仅是示意性的,其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性劳动的情况下,即可以理解并实施。
需要说明的是,在本文中,诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来,而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
以上对本发明实施例所提供的方法和装置进行了详细介绍,本文中应用了具体个例对本发明的原理及实施方式进行了阐述,以上实施例的说明只是用于帮助理解本发明的方法及其核心思想;同时,对于本领域的一般技术人员,依据本发明的思想,在具体实施方式及应用范围上均会有改变之处,综上所述,本说明书内容不应理解为对本发明的限制。

Claims (46)

  1. 一种信息采集系统的标定方法,其特征在于,所述信息采集系统包括显示设备和拍摄设备;
    所述拍摄设备朝向所述显示设备的显示界面;所述显示界面包括至少三个显示区域,所述至少三个显示区域非共线排列且互不重叠;
    所述方法包括:
    控制所述显示设备在所述显示界面依次显示多张目标图像,在依次显示所述目标图像显示过程中,所述至少三个显示区域的任一显示区域依次显示的像素值的序列与所述至少三个显示区域的另一任意显示区域依次显示的像素值的序列不同;
    在所述依次显示多张所述目标图像过程中,控制所述拍摄设备拍摄所述显示界面,依次记录得到多张成像;
    获取多张所述成像中同一像素位置的像素值,生成所述像素位置的像素值的序列;
    基于记录的多张所述成像的所述像素位置的像素值的序列,和所述至少三个显示区域的所述像素值的序列,确定所述拍摄设备的所述成像的像素位置与所述显示区域的位姿对应关系。
  2. 根据权利要求1所述的方法,其特征在于,所述显示区域的数量,是用户设置的。
  3. 根据权利要求1所述的方法,其特征在于,各个所述显示区域在所述显示界面上的位置,是用户设置的。
  4. 根据权利要求1所述的方法,其特征在于,所述像素值至少有两类。
  5. 根据权利要求1所述的方法,其特征在于,所述像素值包括:黑和白。
  6. 根据权利要求1所述的方法,其特征在于,每种像素值对应有预设编码,所述像素值的序列为像素值的编码序列。
  7. 根据权利要求1或6所述的方法,其特征在于,所述显示区域依次显示的像素值的序列表征所述显示区域的位置信息。
  8. 根据权利要求7所述的方法,其特征在于,所述显示区域依次显示的像素值的编码序列的解码结果,是所述显示区域在所述显示界面上的位置信息。
  9. 根据权利要求1所述的方法,其特征在于,所述像素值的编码序列包括:采用二进制编码的编码序列。
  10. 根据权利要求9所述的方法,其特征在于,所述二进制编码,包括如下任一:格雷码、反格雷码、普通二进制码、8421码或54221码。
  11. 根据权利要求1所述的方法,其特征在于,所述显示区域的位置信息包括:水平方向的位置信息和竖直方向的位置信息;
    所述多张目标图像包括:
    用于对所述水平方向的位置信息进行编码的竖直排列的条纹图像;和,
    用于对所述竖直方向的位置信息进行编码的水平排列的条纹图像。
  12. 根据权利要求11所述的方法,其特征在于,所述竖直排列的条纹图像的数量,是基于水平方向上需编码的显示区域的数量确定的。
  13. 根据权利要求11所述的方法,其特征在于,所述水平排列的条纹图像的数 量,是基于竖直方向上需编码的显示区域的数量确定的。
  14. 根据权利要求1或6所述的方法,其特征在于,所述多张目标图像包括:多对正目标图像和逆目标图像;每对正目标图像和逆目标图像之间,相同像素位置的像素值不同。
  15. 根据权利要求14所述的方法,其特征在于,每对正目标图像和逆目标图像依次显示。
  16. 根据权利要求1所述的方法,其特征在于,所述拍摄设备的拍摄画面与所述显示器的显示界面基本重合。
  17. 根据权利要求1所述的方法,其特征在于,所述拍摄设备至少有两个,每个所述拍摄设备对应一个显示设备。
  18. 根据权利要求1所述的方法,其特征在于,所述信息采集系统还包括:
    至少一个搭载部件,每个所述搭载部件用于搭载一台拍摄设备。
  19. 根据权利要求18所述的方法,其特征在于,所述搭载部件包括:可移动的搭载部件。
  20. 根据权利要求1所述的方法,其特征在于,所述信息采集系统包括:硬件在环测试设备。
  21. 一种信息采集系统的标定方法,其特征在于,所述系统包括显示设备和拍摄设备;
    所述拍摄设备朝向所述显示设备的显示界面;所述显示界面包括至少M个显示区域,所述至少M个显示区域非共线排列且互不重叠;
    所述方法包括:
    控制所述显示设备在所述显示界面显示i张目标图像,在显示所述目标图像显示过程中,所述M个显示区域的任一显示区域显示的像素值的序列与所述至少M个显示区域的另一任意显示区域显示的像素值的序列不同;所述像素值的种类为N个,其中,N的i次方大于或等于M,i大于或等于1;
    在显示i张所述目标图像过程中,控制所述拍摄设备拍摄所述显示界面,记录得到i张成像;
    基于i张所述成像中各像素位置的像素值的序列,和所述至少三个显示区域的所述像素值的序列,确定所述拍摄设备的所述成像的像素位置与所述显示区域的位姿对应关系。
  22. 根据权利要求21所述的方法,其特征在于,所述显示区域的数量,是用户设置的。
  23. 根据权利要求21所述的方法,其特征在于,各个所述显示区域在所述显示界面上的位置,是用户设置的。
  24. 根据权利要求21所述的方法,其特征在于,所述像素值至少有两类。
  25. 根据权利要求21所述的方法,其特征在于,所述像素值包括:黑和白。
  26. 根据权利要求21所述的方法,其特征在于,每种像素值对应有预设编码,所述像素值的序列为像素值的编码序列。
  27. 根据权利要求21或26所述的方法,其特征在于,所述显示区域依次显示的像素值的序列表征所述显示区域的位置信息。
  28. 根据权利要求27所述的方法,其特征在于,所述显示区域依次显示的像素值的编码序列的解码结果,是所述显示区域在所述显示界面上的位置信息。
  29. 根据权利要求21所述的方法,其特征在于,所述像素值的编码序列包括:采用二进制编码的编码序列。
  30. 根据权利要求29所述的方法,其特征在于,所述二进制编码,包括如下任一:格雷码、反格雷码、普通二进制码、8421码或54221码。
  31. 根据权利要求21所述的方法,其特征在于,所述显示区域的位置信息包括:水平方向的位置信息和竖直方向的位置信息;
    所述i张目标图像包括:
    用于对所述水平方向的位置信息进行编码的竖直排列的条纹图像;和,
    用于对所述竖直方向的位置信息进行编码的水平排列的条纹图像。
  32. 根据权利要求31所述的方法,其特征在于,所述竖直排列的条纹图像的数量,是基于水平方向上需编码的显示区域的数量确定的。
  33. 根据权利要求31所述的方法,其特征在于,所述水平排列的条纹图像的数量,是基于竖直方向上需编码的显示区域的数量确定的。
  34. 根据权利要求21或26所述的方法,其特征在于,所述i张目标图像包括:多对正目标图像和逆目标图像;每对正目标图像和逆目标图像之间,相同像素位置的像素值不同。
  35. 根据权利要求34所述的方法,其特征在于,每对正目标图像和逆目标图像依次显示。
  36. 根据权利要求21所述的方法,其特征在于,所述拍摄设备的拍摄画面与所述显示器的显示界面基本重合。
  37. 根据权利要求21所述的方法,其特征在于,所述拍摄设备至少有两个,每个所述拍摄设备对应一个显示设备。
  38. 根据权利要求21所述的方法,其特征在于,所述信息采集系统还包括:
    至少一个搭载部件,每个所述搭载部件用于搭载一台拍摄设备。
  39. 根据权利要求38所述的方法,其特征在于,所述搭载部件包括:可移动的搭载部件。
  40. 根据权利要求21所述的方法,其特征在于,所述信息采集系统包括:硬件在环测试设备。
  41. 一种信息采集系统的标定装置,其特征在于,所述信息采集系统包括显示设备和拍摄设备;
    所述标定装置包括处理器、存储器、存储在所述存储器上可被所述处理器执行的计算机程序,所述处理器执行所述计算机程序时实现权利要求1至20任一所述的标定方法的步骤。
  42. 一种信息采集系统的标定装置,其特征在于,所述信息采集系统包括显示设备和拍摄设备;所述拍摄设备朝向所述显示设备的显示界面;
    所述标定装置包括处理器、存储器、存储在所述存储器上可被所述处理器执行的计算机程序,所述处理器执行所述计算机程序时实现权利要求21至40任一所述的标 定方法的步骤。
  43. 一种信息采集系统,其特征在于,所述信息采集系统包括:拍摄设备和显示设备;以及如权利要求41所述的标定装置和/或如权利要求42所述的标定装置。
  44. 根据权利要求43所述的信息采集系统,其特征在于,所述信息采集系统包括:硬件在环测试设备。
  45. 一种计算机可读存储介质,其特征在于,所述可读存储介质上存储有若干计算机指令,所述计算机指令被执行时实现权利要求1至20任一项所述标定方法的步骤。
  46. 一种计算机可读存储介质,其特征在于,所述可读存储介质上存储有若干计算机指令,所述计算机指令被执行时实现权利要求21至40任一项所述标定方法的步骤。
CN202180101281.8A 2021-09-02 2021-09-02 信息采集系统及其标定方法、装置及计算机可读存储介质 Pending CN117795553A (zh)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/CN2021/116175 WO2023028939A1 (zh) 2021-09-02 2021-09-02 信息采集系统及其标定方法、装置及计算机可读存储介质

Publications (1)

Publication Number Publication Date
CN117795553A true CN117795553A (zh) 2024-03-29

Family

ID=85410763

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202180101281.8A Pending CN117795553A (zh) 2021-09-02 2021-09-02 信息采集系统及其标定方法、装置及计算机可读存储介质

Country Status (2)

Country Link
CN (1) CN117795553A (zh)
WO (1) WO2023028939A1 (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116934871B (zh) * 2023-07-27 2024-03-26 湖南视比特机器人有限公司 一种基于标定物的多目系统标定方法、系统及存储介质
CN117635729A (zh) * 2023-11-28 2024-03-01 钛玛科(北京)工业科技有限公司 一种线相机背光标定器及方法

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104281426B (zh) * 2013-07-05 2018-01-12 浙江大华技术股份有限公司 一种图像显示方法及装置
CN103487145B (zh) * 2013-09-25 2015-04-15 清华大学 多光谱采集系统的标定方法及系统
WO2019051649A1 (zh) * 2017-09-12 2019-03-21 深圳市大疆创新科技有限公司 图像传输方法、设备、可移动平台、监控设备及系统
US10713527B2 (en) * 2018-10-03 2020-07-14 SmartCone Technologies, Inc. Optics based multi-dimensional target and multiple object detection and tracking method
US10694160B2 (en) * 2018-11-20 2020-06-23 Disney Enterprises, Inc. Channel based projector calibration
WO2021035338A1 (en) * 2019-08-23 2021-03-04 Ignis Innovation Inc. Pixel location calibration image capture and processing
CN111080716B (zh) * 2019-12-20 2023-04-21 天津大学 基于彩色编码相移条纹的相机标定靶标及标定点提取方法
CN113313966A (zh) * 2020-02-27 2021-08-27 华为技术有限公司 一种位姿确定方法以及相关设备
CN111598956A (zh) * 2020-04-30 2020-08-28 商汤集团有限公司 标定方法、装置和系统
CN113012277B (zh) * 2021-02-03 2022-06-21 中国地质大学(武汉) 一种基于dlp面结构光多相机重建方法
CN113052920B (zh) * 2021-04-26 2022-11-22 歌尔光学科技有限公司 摄像头标定方法、装置及计算机可读存储介质

Also Published As

Publication number Publication date
WO2023028939A1 (zh) 2023-03-09

Similar Documents

Publication Publication Date Title
US20240153143A1 (en) Multi view camera registration
CN110686599B (zh) 基于彩色格雷码结构光的三维测量方法、系统、装置
EP2194725B1 (en) Method and apparatus for correcting a depth image
CN117795553A (zh) 信息采集系统及其标定方法、装置及计算机可读存储介质
CN113129430B (zh) 基于双目结构光的水下三维重建方法
CN113841384B (zh) 校准装置,用于校准的图表和校准方法
CN109712232B (zh) 一种基于光场的物体表面轮廓三维成像方法
CN109559349A (zh) 一种用于标定的方法和装置
CN113592721B (zh) 摄影测量方法、装置、设备及存储介质
CN110766767B (zh) 获取格雷码结构光图像的方法、系统、装置
CN111899282A (zh) 基于双目摄像机标定的行人轨迹跟踪方法及装置
Ziegler et al. Acquisition system for dense lightfield of large scenes
CN113298886A (zh) 一种投影仪的标定方法
CN115187612A (zh) 一种基于机器视觉的平面面积测量方法、装置及系统
CN112614215B (zh) 一种三维测量表面温度场重建方法
CN115578296B (zh) 一种立体视频处理方法
CN116524022A (zh) 偏移数据计算方法、图像融合方法、装置及电子设备
CN108510537B (zh) 3d建模方法和装置
CN113506347B (zh) 一种基于单幅照片的相机内参处理方法及系统
CN115170670A (zh) 外参标定方法、装置及程序产品
CN114663284A (zh) 红外热成像全景图像处理方法、系统及存储介质
JP2002135807A (ja) 3次元入力のためのキャリブレーション方法および装置
CN113538590A (zh) 一种变焦相机的标定方法、装置、终端设备和存储介质
CN113034553A (zh) 图像配准算法的评估方法、终端及存储介质
CN117523009B (zh) 一种双目相机标定方法、系统、装置及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
TA01 Transfer of patent application right

Effective date of registration: 20240515

Address after: Building 3, Xunmei Science and Technology Plaza, No. 8 Keyuan Road, Science and Technology Park Community, Yuehai Street, Nanshan District, Shenzhen City, Guangdong Province, 518057, 1634

Applicant after: Shenzhen Zhuoyu Technology Co.,Ltd.

Country or region after: China

Address before: 518057 Shenzhen Nanshan High-tech Zone, Shenzhen, Guangdong Province, 6/F, Shenzhen Industry, Education and Research Building, Hong Kong University of Science and Technology, No. 9 Yuexingdao, South District, Nanshan District, Shenzhen City, Guangdong Province

Applicant before: SZ DJI TECHNOLOGY Co.,Ltd.

Country or region before: China