CN114299158A - 多相机系统校准方法、装置、系统、电子设备及存储介质 - Google Patents

多相机系统校准方法、装置、系统、电子设备及存储介质 Download PDF

Info

Publication number
CN114299158A
CN114299158A CN202111624552.6A CN202111624552A CN114299158A CN 114299158 A CN114299158 A CN 114299158A CN 202111624552 A CN202111624552 A CN 202111624552A CN 114299158 A CN114299158 A CN 114299158A
Authority
CN
China
Prior art keywords
camera
information
sub
difference
target
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202111624552.6A
Other languages
English (en)
Inventor
黄雷
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Sensetime Technology Development Co Ltd
Original Assignee
Beijing Sensetime Technology Development Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Sensetime Technology Development Co Ltd filed Critical Beijing Sensetime Technology Development Co Ltd
Priority to CN202111624552.6A priority Critical patent/CN114299158A/zh
Publication of CN114299158A publication Critical patent/CN114299158A/zh
Priority to PCT/CN2022/117908 priority patent/WO2023124223A1/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G01MEASURING; TESTING
    • G01CMEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C11/00Photogrammetry or videogrammetry, e.g. stereogrammetry; Photographic surveying
    • G01C11/04Interpretation of pictures
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00Three dimensional [3D] modelling, e.g. data description of 3D objects
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/80Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/90Determination of colour characteristics

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Geometry (AREA)
  • Software Systems (AREA)
  • Computer Graphics (AREA)
  • Multimedia (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Studio Devices (AREA)
  • Image Processing (AREA)

Abstract

本公开提供了一种多相机系统校准方法、装置、系统、电子设备以及存储介质,本公开首先获取多相机系统中,至少部分相机同时拍摄目标物体所得到的多张图像;之后,基于所述多张图像,构建所述目标物体的点云模型;最后基于所述点云模型和所述目标物体的之间的差异信息,对所述多相机系统中的至少一个相机进行相机参数调整。

Description

多相机系统校准方法、装置、系统、电子设备及存储介质
技术领域
本公开涉及图像处理技术领域,具体而言,涉及一种多相机系统校准方法、装置、系统、电子设备以及存储介质。
背景技术
多台相机从多个角度拍摄物体,视野可以叠加,继而通过3D模型构建,能够实现检测得到的数据无缝融合。同步工作的相机甚至可以拍摄柔性物体(如人体,动物),从而将物体的每一瞬间记录下来。
多角度相机系统的设计和制造中的公差可能会导致相机不能被设置在正确的位置或具有正确的角度,例如,相机可以相对彼此在横向或者垂直方向上发生错位。这些缺陷可能导致由多角度相机系统生成的图像中的严重问题,例如不同部位颜色差异过大、严重失真或双重视觉,这需要后期大量的手动修复甚至无法修复,严重降低了用户体验。
发明内容
本公开实施例至少提供一种多相机系统校准方法、装置、系统、电子设备以及存储介质。
第一方面,本公开实施例提供了一种多相机系统校准方法,包括:
获取多相机系统中,至少部分相机同时拍摄目标物体所得到的多张图像;
基于所述多张图像,构建所述目标物体的点云模型;
基于所述点云模型和所述目标物体的之间的差异信息,对所述多相机系统中的至少一个相机进行相机参数调整。
该方面,通过多个相机同时拍摄目标物体的方式进行相机参数调整,能够利用多个角度拍摄的多张图片同时对多个相机的参数进行调整,不仅能够提高相机参数调整效率,还能够实现精确地对多相机系统中的相机进行参数调整,参数调整后的相机的位置和角度等参数的准确度得到提升,从而有利于提高利用多相机系统中各个相机拍摄的图像进行3D建模的精确性,降低了3D建模后期修复的工作量,提高了用户体验。
在一些可能的实施方式中,所述差异信息包括所述点云模型与所述目标物体之间的尺寸差异子信息;
在所述基于所述点云模型和所述目标物体的之间的差异信息,对所述多相机系统中的至少一个相机进行相机参数调整之前,还包括确定所述尺寸差异子信息的步骤:
获取所述目标物体的标准尺寸信息,以及,所述点云模型的模型尺寸信息;
确定所述点云尺寸信息与所述模型尺寸信息之间的差异信息,得到的所述尺寸差异子信息;
所述基于所述点云模型和所述目标物体的之间的差异信息,对所述多相机系统中的至少一个相机进行相机参数调整,包括:
基于所述点云模型与所述目标物体之间的尺寸差异子信息,对所述多相机系统中的至少一个相机进行相机参数调整。
该实施方式,通过目标物体的标准尺寸信息和点云模型的模型尺寸信息,能够准确地确定点云模型与真实的目标物体在尺寸上的差异信息,即上述尺寸差异子信息。该尺寸差异子信息能够反应多相机系统中至少部分相机在拍摄位置和拍摄角度上的偏差,因此,后续利用该尺寸差异子信息对多相机系统中的相机进行相机参数调整,能够有效提高调整精度。
在一些可能的实施方式中,所述基于所述点云模型与所述目标物体之间的尺寸差异子信息,对所述多相机系统中的至少一个相机进行相机参数调整,包括:
获取尺寸差异阈值;
基于所述点云模型和所述目标物体的之间的尺寸差异子信息,和所述尺寸差异阈值,确定所述多相机系统中的需要进行参数调整的第一目标相机;
基于所述尺寸差异子信息,对所述第一目标相机的第一预设参数进行调整。
该实施方式,利用尺寸预设阈值,能够较为准确地确定构建的点云模型在尺寸上是否出现了明显的不准确,即能够较为准确的确定多相机系统中的相机是否需要进行对应参数的调整,以及能够较为准确地筛选出需要进行参数调整的相机,即第一目标相机。后续根据尺寸差异子信息对该部分相机进行参数调整,不仅能够提高调整效率,还能够有效避免对不需要进行参数调整的相机进行参数调整,从而有利于提高参数调整的准确性。
在一些可能的实施方式中,所述目标物体包括至少一个子区块;所述标准尺寸信息包括每个子区块分别对应的标准尺寸子信息;所述模型尺寸信息包括每个子区块分别对应的模型尺寸子信息;所述尺寸差异子信息包括每个子区块分别对应的第一差异子信息;其中,所述第一差异子信息用于表征对应的子区块的标准尺寸子信息与模型尺寸子信息之间的差异信息。
该实施方式,包括至少一个子区块的目标物体具有多个面,每个面或者每个区块都有尺寸信息,利用多个尺寸信息进行相机参数的调整,有利于提高参数调整准的准确度。
在一些可能的实施方式中,所述基于所述点云模型和所述目标物体的之间的尺寸差异子信息,和所述尺寸差异阈值,确定所述多相机系统中的需要进行参数调整的第一目标相机,包括:
将第一差异子信息对应的差异值大于所述尺寸差异阈值的子区块,作为第一目标子区块;
确定所述第一目标子区块对应的相机,并将确定的相机作为所述第一目标子区块对应的第一目标相机;
所述基于所述尺寸差异子信息,对所述第一目标相机的第一预设参数进行调整,包括:
基于所述第一目标子区块对应的第一差异子信息,对所述第一目标子区块对应的第一目标相机的第一预设参数进行调整。
该实施方式,利用尺寸差异阈值能够较为准确地筛选出出现较大的尺寸偏差的子区块,即上述第一目标子区块;之后,利用筛选出的第一目标子区块对应的第一差异子信息,对该第一目标子区块对应的相机进行参数调整,不仅能够提高调整效率,还能够有效避免对不相关的相机进行参数调整,从而有利于提高参数调整的准确性。
在一些可能的实施方式中,所述基于所述点云模型和所述目标物体的之间的差异信息,对所述多相机系统中的至少一个相机进行相机参数调整,还包括:
在所述基于所述尺寸差异子信息,对所述第一目标相机的第一预设参数进行调整之后,重新获取所述多相机系统中,至少部分相机同时拍摄目标物体所得到的多张新的图像;
基于所述多张新的图像,重新构建所述目标物体的新的点云模型,以及,确定所述新的点云模型和所述目标物体之间的新的差异信息;
在基于所述尺寸差异阈值,确定所述新的差异信息中新的尺寸差异子信息不满足第一预设条件的情况下,基于所述新的尺寸差异子信息,对所述多相机系统中的至少一个相机进行相机参数调整。
该实施方式,通过一次参数调整很可能不能得到最准确的相机参数,因此,在调整之后通过点云模型重建,重新确定新的差异信息等步骤,能够较为准确地确定多相机系统中的相机是否调节得到最准确的相机参数,并在多相机系统中的相机未调节得到最准确的相机参数时,再次进行相机参数调整,能够有效提高调整精度。
在一些可能的实施方式中,所述差异信息包括点云模型与所述目标物体之间的颜色差异子信息;
所述基于所述点云模型和所述目标物体的之间的差异信息,对所述多相机系统中的至少一个相机进行相机参数调整,还包括:
在基于所述尺寸差异阈值,确定所述新的差异信息中新的尺寸差异子信息满足第一预设条件的情况下,获取颜色差异阈值;
基于所述点云模型和所述目标物体的之间的颜色差异子信息,和所述颜色差异阈值,确定所述多相机系统中的需要进行参数调整的第二目标相机;
基于所述颜色差异子信息,对所述第二目标相机的第二预设参数进行调整。
该实施方式,在拍摄位置、拍摄角度等第一预设参数调节完成后,进一步利用颜色差异子信息和颜色差异阈值对相机光圈等第二预设参数进行调整,能够提高相机参数调整的完整性和准确性。进一步地,利用颜色预设阈值,能够较为准确地确定构建的点云模型在颜色上是否出现了明显的不准确,即能够较为准确的确定多相机系统中的相机是否需要进行对应参数的调整,以及能够较为准确地筛选出需要进行参数调整的相机,即第二目标相机。后续根据颜色差异子信息对该部分相机进行参数调整,不仅能够提高调整效率,还能够有效避免对不需要进行参数调整的相机进行参数调整,从而有利于提高参数调整的准确性。
在一些可能的实施方式中,所述差异信息包括点云模型与所述目标物体之间的颜色差异子信息;
所述基于所述点云模型和所述目标物体的之间的差异信息,对所述多相机系统中的至少一个相机进行相机参数调整,包括:
获取颜色差异阈值;
基于所述点云模型和所述目标物体的之间的颜色差异子信息,和所述颜色差异阈值,确定所述多相机系统中的需要进行参数调整的第二目标相机;
基于所述颜色差异子信息,对所述第二目标相机的第二预设参数进行调整。
该实施方式,利用颜色预设阈值,能够较为准确地确定构建的点云模型在颜色上是否出现了明显的不准确,即能够较为准确的确定多相机系统中的相机是否需要进行对应参数的调整,以及能够较为准确地筛选出需要进行参数调整的相机,即第二目标相机。后续根据颜色差异子信息对该部分相机进行参数调整,不仅能够提高调整效率,还能够有效避免对不需要进行参数调整的相机进行参数调整,从而有利于提高参数调整的准确性。
在一些可能的实施方式中,所述目标物体包括至少一个子区块;所述颜色差异子信息包括每个子区块分别对应的第二差异子信息;其中,所述第二差异子信息用于表征对应的子区块在点云模型中的颜色信息与真实颜色信息之间的差异信息。
该实施方式,至少一个子区块的目标物体具有多个面,每个面或者每个区块都有颜色信息,利用多个颜色信息进行相机参数的调整,有利于提高参数调整准的准确度。
在一些可能的实施方式中,所述基于所述点云模型和所述目标物体的之间的颜色差异子信息,和所述颜色差异阈值,确定所述多相机系统中的需要进行参数调整的第二目标相机,包括:
将第二差异子信息对应的差异值大于所述颜色差异阈值的子区块,作为第二目标子区块;
确定所述第二目标子区块对应的相机,并将确定的相机作为所述第二目标子区块对应的第二目标相机;
所述基于所述颜色差异子信息,对所述第二目标相机的第二预设参数进行调整,包括:
基于所述第二目标子区块对应的第二差异子信息,对所述第二目标子区块对应的第二目标相机的第二预设参数进行调整。
该实施方式,利用颜色差异阈值能够较为准确地筛选出出现较大的颜色偏差的子区块,即上述第二目标子区块;之后,利用筛选出的第二目标子区块对应的第二差异子信息,对该第二目标子区块对应的相机进行参数调整,不仅能够提高调整效率,还能够有效避免对不相关的相机进行参数调整,从而有利于提高参数调整的准确性。
在一些可能的实施方式中,所述基于所述点云模型和所述目标物体的之间的差异信息,对所述多相机系统中的至少一个相机进行相机参数调整,还包括:
在所述基于所述颜色差异子信息,对所述第二目标相机的第二预设参数进行调整之后,重新获取所述多相机系统中,至少部分相机同时拍摄目标物体所得到的多张新的图像;
基于所述多张新的图像,重新构建所述目标物体的新的点云模型,以及,确定所述新的点云模型和所述目标物体之间的新的差异信息;
在基于所述颜色差异阈值,确定所述新的差异信息中新的颜色差异子信息不满足第二预设条件的情况下,基于所述新的颜色差异子信息,对所述第二目标相机的第二预设参数进行调整。
该实施方式,通过一次参数调整很可能不能得到最准确的相机参数,因此,在调整之后通过点云模型重建,重新确定新的差异信息等步骤,能够较为准确地确定多相机系统中的相机是否调节得到最准确的相机参数,并在多相机系统中的相机未调节得到最准确的相机参数时,再次进行相机参数调整,能够有效提高调整精度。
在一些可能的实施方式中,所述多相机系统中的不同相机针对所述目标物体具有把不同的拍摄角度,并且各个相机的拍摄角度叠加得到的目标拍摄角度为所述目标物体对应的全方位拍摄角度。
该实施方式能够保证多相机系统能够拍摄到完整的目标物体。
在一些可能的实施方式中,所述各个相机与所述目标物体之间的距离满足预设条件;其中所述预设条件包括各个相机针对所述目标物体的拍摄视野形成球体或环形体,并且所述目标物体位于所述球体或环形体内的预设位置,以使所述目标物体反射给各个相机的光线的相似度高于预设相似度。
该实施方式能够保证多相机系统中各个相机拍摄目标物体所用的光线较一致,有利于提高校准的准确性。
第二方面,本公开实施例还提供了一种多相机系统校准装置,包括:
图像获取模块,用于获取多相机系统中,至少部分相机同时拍摄目标物体所得到的多张图像;
建模模块,用于基于所述多张图像,构建所述目标物体的点云模型;
调整模块,用于基于所述点云模型和所述目标物体的之间的差异信息,对所述多相机系统中的至少一个相机进行相机参数调整。
第三方面,本公开实施例还提供了一种多相机系统校准系统,其特征在于,包括多个相机、相机调参部件以及目标物体;所述目标物体设置在所述多个相机形成的目标拍摄视野内;
所述多个相机中的至少部分相机用于同时拍摄所述目标物体的图像,并将拍摄得到的图像发送给所述相机调参部件;
所述相机调参部件用于按照上多相机系统校准方法对所述述多个相机中的至少一个相机进行参数调整
第四方面,本公开实施例还提供一种电子设备,包括:处理器、存储器和总线,所述存储器存储有所述处理器可执行的机器可读指令,当电子设备运行时,所述处理器与所述存储器之间通过总线通信,所述机器可读指令被所述处理器执行时执行上述第一方面,或第一方面中任一种可能的实施方式中的步骤。
第五方面,本公开实施例还提供一种计算机可读存储介质,该计算机可读存储介质上存储有计算机程序,该计算机程序被处理器运行时执行上述第一方面,或第一方面中任一种可能的实施方式中的步骤。
关于上述多相机系统校准装置、系统、电子设备、及计算机可读存储介质的效果描述参见上述多相机系统校准方法的说明,这里不再赘述。
为使本公开的上述目的、特征和优点能更明显易懂,下文特举较佳实施例,并配合所附附图,作详细说明如下。
附图说明
为了更清楚地说明本公开实施例的技术方案,下面将对实施例中所需要使用的附图作简单地介绍,此处的附图被并入说明书中并构成本说明书中的一部分,这些附图示出了符合本公开的实施例,并与说明书一起用于说明本公开的技术方案。应当理解,以下附图仅示出了本公开的某些实施例,因此不应被看作是对范围的限定,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他相关的附图。
图1示出了本公开实施例所提供的一种多相机系统的示意图;
图2示出了本公开实施例所提供的一种多相机系统校准方法的流程图;
图3示出了本公开实施例所提供的多个相机拍摄目标物体的示意图;
图4示出了本公开实施例所提供的另一种多相机系统校准方法的流程图;
图5示出了本公开实施例所提供的一种多相机系统校准装置的架构示意图;
图6示出了本公开实施例所提供的一种多相机系统校准系统的架构示意图;
图7示出了本公开实施例所提供的一种电子设备的示意图。
具体实施方式
为使本公开实施例的目的、技术方案和优点更加清楚,下面将结合本公开实施例中附图,对本公开实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本公开一部分实施例,而不是全部的实施例。通常在此处附图中描述和示出的本公开实施例的组件可以以各种不同的配置来布置和设计。因此,以下对在附图中提供的本公开的实施例的详细描述并非旨在限制要求保护的本公开的范围,而是仅仅表示本公开的选定实施例。基于本公开的实施例,本领域技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例,都属于本公开保护的范围。
如图1所示,通过多相机系统中的多个相机对某一物体进行多角度拍摄,之后利用拍摄的多张图片来进行彩色3D模型构建,这种技术的应用逐渐普遍。多个相机从多个角度拍摄物体,视野可以叠加,数据无缝融合。同步工作的组合相机甚至可以拍摄柔性物体(如人体,动物),从而将物体的每一瞬间都记录下来。多个相机之间会存在相机参数的细微差别。多相机系统在设计和制造中的公差可能会导致相机不能被设置在正确的位置或具有正确的角度,例如,相机可以相对彼此在横向或者垂直方向上发生错位。这些缺陷可能导致由多角度相机系统生成的图像中的严重问题,例如不同部位颜色差异过大、严重失真或双重视觉,这需要后期大量的手动修复甚至无法修复,严重降低了用户体验。
另外,多相机系统的多个摄像机可能没有按照预期的设计目的定位或定向,在这种情况下,相机的实际位置及其相对于设计的相对旋转是未知的。当组合由多个相机捕捉的图像时,该问题可能导致视觉伪像。例如生成两个相机之间的重叠图像会出现色斑。
针对上述技术问题,本公开提供了一种多相机系统校准方法、装置、系统、电子设备以及存储介质,本公开通过多个相机同时拍摄目标物体的方式进行相机参数调整,能够利用多个角度拍摄的多张图片同时对多个相机的参数进行调整,不仅能够提高相机参数调整效率,还能够实现精确地对多相机系统中的相机进行参数调整。参数调整后的相机的位置和角度等参数的准确度得到提升,从而有利于提高利用多相机系统中各个相机拍摄的图像进行3D建模的精确性,降低了3D建模后期修复的工作量,提高了用户体验。
下面以执行主体为具有计算能够的设备或系统为例对本公开实施例提供的多相机系统校准方法加以说明。
如图2所示,本公开提供的多相机系统校准方法可以包括如下步骤:
S210、获取多相机系统中,至少部分相机同时拍摄目标物体所得到的多张图像。
上述多相机系统中包括具有不同的拍摄角度的多个相机,如图3所示,可以包括具有不同的拍摄角度的4个相机:相机1、相机2、相机3和相机4。4个相机从不同的角度拍摄目标物体,从而能够得到包括目标物体的不同角度的图像。4个图像融合可以得到目标物体的全方位的图像。即,多相机系统中的不同相机针对所述目标物体具有把不同的拍摄角度,并且各个相机的拍摄角度叠加得到的目标拍摄角度为所述目标物体对应的全方位拍摄角度。这样能够保证多相机系统能够拍摄到完整的目标物体,有利于提高相机校准的准确度。
上述目标物体可以是具有多个面的物体,不同的面具有不同的位置、颜色等信息,利用具有多个面的目标物体的多个信息进行相机参数调整,能够提高调整的准确性。
示例性地,上述目标物体可以包括至少一个子区块,如图3所示,目标物体可以是一个魔方301,魔方具有多个活动连接的子区块,利用魔方中多个子区块的位置、颜色等多个信息进行相机参数调整,能够实现利用较多的信息进行相机参数调整,从而能够有效提高调整的准确性。
上述图像可以是多个相机在同一时刻拍摄的,该多张图像能够反应对应的多个相机在拍摄时刻的参数信息,例如,拍摄位置、拍摄角度、拍摄光圈等。利用同一时刻拍摄的多张图像能够对拍摄图像的多个相机同时进行参数调整。
示例性地,各个相机与所述目标物体之间的距离满足预设条件;其中所述预设条件包括各个相机针对所述目标物体的拍摄视野形成球体或环形体,并且所述目标物体位于所述球体或环形体内的预设位置,以使所述目标物体反射给各个相机的光线的相似度高于预设相似度。例如,目标物体位于所述球体或环形体内的中心位置,这样各个相机拍摄目标物体的图像所用的光线较一致,目标物体在颜色、结构、纹理以及形状等方面都比较一致,有利于提高校准的准确性。
S220、基于所述多张图像,构建所述目标物体的点云模型。
这里可以通过摄影测量学工具软件对多张图像进行处理,得到带颜色的点云三维模型,即上述点云模型。
S230、基于所述点云模型和所述目标物体的之间的差异信息,对所述多相机系统中的至少一个相机进行相机参数调整。
上述差异信息可以包括点云模型在尺寸上和/或在颜色上与真实的目标物体之间的差异,这些差异信息能够反应拍摄图像的相机在拍摄位置、拍摄角度、拍摄光圈上的偏差,因此,通过上述差异信息对多相机系统中的相机进行相机参数调整,能够有效提高调整精度。
在一些实施例中,上述差异信息可以包括所述点云模型与所述目标物体之间的尺寸差异子信息。在上述基于所述点云模型和所述目标物体的之间的差异信息,对所述多相机系统中的至少一个相机进行相机参数调整之前,还需要确定上述尺寸差异子信息:
首先,获取所述目标物体的标准尺寸信息,以及,所述点云模型的模型尺寸信息;之后,确定所述点云尺寸信息与所述模型尺寸信息之间的差异信息,得到的所述尺寸差异子信息。
在确定了尺寸差异子信息之后,上述基于所述点云模型和所述目标物体的之间的差异信息,对所述多相机系统中的至少一个相机进行相机参数调整,具体可以包括:基于所述点云模型与所述目标物体之间的尺寸差异子信息,对所述多相机系统中的至少一个相机进行相机参数调整。
通过目标物体的标准尺寸信息和点云模型的模型尺寸信息,能够准确地确定点云模型与真实的目标物体在尺寸上的差异信息,即上述尺寸差异子信息。该尺寸差异子信息能够反应多相机系统中至少部分相机在拍摄位置和拍摄角度上的偏差,因此,后续利用该尺寸差异子信息对多相机系统中的相机进行相机参数调整,能够有效提高调整精度。
示例性地,在确定了上述尺寸差异子信息之后,可以利用如下步骤实现上述确定基于所述点云模型与所述目标物体之间的尺寸差异子信息,对所述多相机系统中的至少一个相机进行相机参数调整:
首先,获取尺寸差异阈值;之后,基于所述点云模型和所述目标物体的之间的尺寸差异子信息,和所述尺寸差异阈值,确定所述多相机系统中的需要进行参数调整的第一目标相机;最后,基于所述尺寸差异子信息,对所述第一目标相机的第一预设参数进行调整。
上述尺寸差异阈值可以是根据具体的需求和场景设置的,例如设置为0.01。本公开对此并不进行限定。
利用尺寸预设阈值,能够较为准确地确定构建的点云模型在尺寸上是否出现了明显的不准确,即能够较为准确的确定多相机系统中的相机是否需要进行对应参数的调整,以及能够较为准确地筛选出需要进行参数调整的相机,即第一目标相机。后续根据尺寸差异子信息对该部分相机进行参数调整,不仅能够提高调整效率,还能够有效避免对不需要进行参数调整的相机进行参数调整,从而有利于提高参数调整的准确性。
示例性地,上述目标物体包括至少一个子区块;所述标准尺寸信息包括每个子区块分别对应的标准尺寸子信息,例如标准尺寸信息包括每个子区块的长度标准值、宽度标准值和高度标准值。所述模型尺寸信息包括每个子区块分别对应的模型尺寸子信息,例如模型尺寸信息包括每个子区块的模型长度值、模型宽度值和模型高度值。所述尺寸差异子信息包括每个子区块分别对应的第一差异子信息;其中,所述第一差异子信息用于表征对应的子区块的标准尺寸子信息与模型尺寸子信息之间的差异信息。
示例性地,可以利用如下公式确定某一子区块对应的第一差异子信息:
Figure BDA0003439323900000141
式中,D1表示上述第一差异子信息,x1表示长度标准值,y1表示宽度标准值,z1表示高度标准值,x2表示模型长度值,y2表示模型宽度值,z2表示模型高度值。
包括至少一个子区块的目标物体具有多个面,每个面或者每个区块都有尺寸信息,利用多个尺寸信息进行相机参数的调整,有利于提高参数调整准的准确度。
在确定了上述每个子区块对象的第一差异子信息之后,可以利用如下步骤确定所述多相机系统中的需要进行参数调整的第一目标相机:
首先,将第一差异子信息对应的差异值大于所述尺寸差异阈值的子区块,作为第一目标子区块;之后,确定所述第一目标子区块对应的相机,并将确定的相机作为所述第一目标子区块对应的第一目标相机。
在确定了某一第一目标子区块对应的第一目标相机之后,可以利用如下步骤对该第一目标子区块对应的第一目标相机进行参数调整:
基于该第一目标子区块对应的第一差异子信息,对该第一目标子区块对应的第一目标相机的第一预设参数进行调整。利用尺寸差异阈值能够较为准确地筛选出出现较大的尺寸偏差的子区块,即上述第一目标子区块;之后,利用筛选出的第一目标子区块对应的第一差异子信息,对该第一目标子区块对应的相机进行参数调整,不仅能够提高调整效率,还能够有效避免对不相关的相机进行参数调整,从而有利于提高参数调整的准确性。
上述第一预设参数可以是对应相机的拍摄位置、拍摄角度等。
在基于第一目标子区块对应的第一差异子信息,对该第一目标子区块对应的第一目标相机的第一预设参数进行调整时,具体可以是人工根据第一差异子信息来调整对应的第一目标相机的第一预设参数。当然也可以利用如下步骤实现:基于第一目标子区块对应的第一差异子信息,确定对应的第一目标相机目标拍摄位置、目标拍摄角度等第一目标参数信息;之后,根据当前第一目标相机当前的拍摄位置、拍摄角度等参数信息和上述第一目标参数信息,确定位置调整信息、角度调整信息等第一参数调整信息,最后按照上述第一参数调整信息对第一目标相机的拍摄位置、拍摄角度等第一预设参数进行调整。
通过一次参数调整很可能不能得到最准确的相机参数,因此,在调整之后可以重新采集图像,通过点云模型重建,重新确定新的差异信息等步骤,确定多相机系统中的相机是否调节得到最准确的相机参数,并在多相机系统中的相机未调节得到最准确的相机参数时,再次进行相机参数调整,以提高调整精度。示例性地,可以利用如下步骤实现上述再次或多次调整相机的第一预设参数:
首先,在所述基于所述尺寸差异子信息,对所述第一目标相机的第一预设参数进行调整之后,重新获取所述多相机系统中,至少部分相机同时拍摄目标物体所得到的多张新的图像;之后,基于所述多张新的图像,重新构建所述目标物体的新的点云模型,以及,确定所述新的点云模型和所述目标物体之间的新的差异信息;最后,在基于所述尺寸差异阈值,确定所述新的差异信息中新的尺寸差异子信息不满足第一预设条件的情况下,基于所述新的尺寸差异子信息,对所述多相机系统中的至少一个相机进行相机参数调整。
上述新的差异信息中新的尺寸差异子信息不满足第一预设条件具体可以是,存在至少一个子区块对应的新的第一差异子信息的差异值大于所述尺寸差异阈值。新的差异信息中新的尺寸差异子信息满足第一预设条件具体可以是,所有的子区块对应的新的第一差异子信息的差异值均小于所述尺寸差异阈值。
上述基于所述新的尺寸差异子信息,对所述多相机系统中的至少一个相机进行相机参数调整的实现步骤与上述实施例中基于尺寸差异子信息,对所述多相机系统中的至少一个相机进行相机参数调整相同,这里不再赘述。
在新的差异信息中新的尺寸差异子信息满足第一预设条件时,可以进一步对相机的拍摄光圈等第二预设参数进行进一步的调整。当然也可以直接对相机的拍摄光圈等第二预设参数进行调整,此种情况下,第一预设参数和第二预设参数的是两个独立没有关系的步骤。下面对第二预设参数的调整进行说明。
示例性地,上述差异信息包括点云模型与所述目标物体之间的颜色差异子信息。所述目标物体包括至少一个子区块;所述颜色差异子信息包括每个子区块分别对应的第二差异子信息;其中,所述第二差异子信息用于表征对应的子区块在点云模型中的颜色信息与真实颜色信息之间的差异信息。
至少一个子区块的目标物体具有多个面,每个面或者每个区块都有颜色信息,利用多个颜色信息进行相机参数的调整,有利于提高参数调整准的准确度。
在确定了点云模型与所述目标物体之间的颜色差异子信息之后,上述颜色上述基于所述点云模型和所述目标物体的之间的差异信息,对所述多相机系统中的至少一个相机进行相机参数调整,具体可以利用如下步骤实现:
首先,获取颜色差异阈值;之后,基于所述点云模型和所述目标物体的之间的颜色差异子信息,和所述颜色差异阈值,确定所述多相机系统中的需要进行参数调整的第二目标相机;最后,基于所述颜色差异子信息,对所述第二目标相机的第二预设参数进行调整。
上述颜色差异阈值可以是根据具体的需求和场景设置的,例如设置为0.01。本公开对此并不进行限定。
利用颜色预设阈值,能够较为准确地确定构建的点云模型在颜色上是否出现了明显的不准确,即能够较为准确的确定多相机系统中的相机是否需要进行对应参数的调整,以及能够较为准确地筛选出需要进行参数调整的相机,即第二目标相机。后续根据颜色差异子信息对该部分相机进行参数调整,不仅能够提高调整效率,还能够有效避免对不需要进行参数调整的相机进行参数调整,从而有利于提高参数调整的准确性。
示例性地,所述目标物体包括至少一个子区块;所述颜色差异子信息包括每个子区块分别对应的第二差异子信息;其中,所述第二差异子信息用于表征对应的子区块在点云模型中的颜色信息与真实颜色信息之间的差异信息。某一子区块在点云模型中的颜色信息包括该子区块的模型RGB值,某一子区块的真实颜色信息包括该子区块的标准RGB值。
示例性地,可以利用如下公式确定某一子区块对应的第二差异子信息:
Figure BDA0003439323900000171
式中,D2表示上述第二差异子信息,R1表示标准RGB值中的标准R值,G1表示标准RGB值中的标准G值,B1表示标准RGB值中的标准B值,R2表示模型RGB值中的模型R值,G2表示模型RGB值中的模型G值,B2表示模型RGB值中的模型B值。
在确定了上述每个子区块对象的第二差异子信息之后,可以利用如下步骤确定所述多相机系统中的需要进行参数调整的第二目标相机:
首先,将第二差异子信息对应的差异值大于所述颜色差异阈值的子区块,作为第二目标子区块;之后,确定所述第二目标子区块对应的相机,并将确定的相机作为所述第二目标子区块对应的第二目标相机。
在确定了某一第二目标子区块对应的第二目标相机之后,可以利用如下步骤对该第二目标子区块对应的第二目标相机进行参数调整:
基于该第二目标子区块对应的第二差异子信息,对该第二目标子区块对应的第二目标相机的第二预设参数进行调整。利用颜色差异阈值能够较为准确地筛选出出现较大的颜色偏差的子区块,即上述第二目标子区块;之后,利用筛选出的第二目标子区块对应的第二差异子信息,对该第二目标子区块对应的相机进行参数调整,不仅能够提高调整效率,还能够有效避免对不相关的相机进行参数调整,从而有利于提高参数调整的准确性。
上述第二预设参数可以是对应相机的拍摄光圈、快门、感光度等。
在基于第二目标子区块对应的第二差异子信息,对该第二目标子区块对应的第二目标相机的第二预设参数进行调整时,具体可以是人工根据第二差异子信息来调整对应的第二目标相机的第二预设参数。当然也可以利用如下步骤实现:基于第二目标子区块对应的第二差异子信息,确定对应的第二目标相机目标拍摄光圈、目标感光度等第二目标参数信息;之后,根据当前第二目标相机当前的拍摄光圈、感光度等参数信息和上述第二目标参数信息,确定光圈调整信息、感光度调整信息等第二参数调整信息,最后按照上述第二参数调整信息对第二目标相机的拍摄光圈、感光度等第二预设参数进行调整。
通过一次参数调整很可能不能得到最准确的相机参数,因此,在调整之后通过点云模型重建,重新确定新的差异信息等步骤,能够较为准确地确定多相机系统中的相机是否调节得到最准确的相机参数,并在多相机系统中的相机未调节得到最准确的相机参数时,再次进行相机参数调整,能够有效提高调整精度。示例性地,可以利用如下步骤实现上述再次或多次调整相机的第二预设参数:
首先,在所述基于所述颜色差异子信息,对所述第二目标相机的第二预设参数进行调整之后,重新获取所述多相机系统中,至少部分相机同时拍摄目标物体所得到的多张新的图像;之后,基于所述多张新的图像,重新构建所述目标物体的新的点云模型,以及,确定所述新的点云模型和所述目标物体之间的新的差异信息;最后,在基于所述颜色差异阈值,确定所述新的差异信息中新的颜色差异子信息不满足第二预设条件的情况下,基于所述新的颜色差异子信息,对所述第二目标相机的第二预设参数进行调整。
上述新的差异信息中新的颜色差异子信息不满足第二预设条件具体可以是,存在至少一个子区块对应的新的第二差异子信息的差异值大于所述颜色差异阈值。新的差异信息中新的颜色差异子信息满足第二预设条件具体可以是,所有的子区块对应的新的第二差异子信息的差异值均小于所述颜色差异阈值。
上述基于所述新的颜色差异子信息,对所述第二目标相机的第二预设参数进行调整的实现步骤与上述实施例中基于所述颜色差异子信息,对所述第二目标相机的第二预设参数进行调整相同,这里不再赘述。
上述实施例可以执行一轮或多轮参数调整,在一轮参数调整期间,多个相机提供的不同图像可以捕获位于多相机系统中心的目标物体,例如魔方的一组图像。基于捕获的图像进行建模,得到点云模型,同时生成目标物体的详细信息,例如魔方的位置、大小、形状、颜色和纹理等。之后根据建模得到的目标物体的详细信息和目标物体的标准信息进行相机参数调整。魔方可以变化形状,从而能够生成多个点云模型进行多次验证。
上述实施例中的方法能够快速得到各个相机参数的误差,实现相机参数精确调节,一般10分钟内就能校准正确。避免现有技术中人工调节,需要2~20个小时的校准时间的情况。
下面通过一个具体的实施例对本公开中的多相机系统校准方法进行说明。如图4所示:
步骤一、将包括目标物体三阶魔方、多个相机、目标调参部件的系统放在靶场测试现场。靶场测试现场布置和传统多角度拍摄相机系统相同。三阶魔方设置在多个相机形成的目标拍摄视野的中心,多相机系统的以球形或圆柱状围绕三阶魔方。所有相机对准魔方进行图像拍摄。多个相机通过网线经过路由器连接到目标调参部件,例如电脑上。电脑上安装群控系统软件、摄影测量学工具软件和校准系统软件等。其中,校准系统软件存储有魔方每个子区块的长度标准值x1、宽度标准值y1、高度标准值z1,以及,每个子区块的标准RGB值中的标准R值R1、标准G值G1、标准B值B1。
步骤二、在电脑上通过群控系统软件控制多相机系统中的至少部分相机同时拍照,得到多张原始图像。
步骤三、通过群控系统软件将不同相机拍摄的原始图像传输到电脑中。
步骤四、通过摄影测量学工具软件对多张原始图像进行处理,得到魔方的带颜色的三维的点云模型。
步骤五、校准系统软件计算出点云模型中每个子区块的模型长度值x2、模型宽度值y2值、模型高度值z2。与校准系统软件内置的x1,y1,z1结合得到第一差异子信息D1。
确定第一差异子信息对应的差异值大于尺寸差异阈值的子区块对应相机即第一目标相机。如果确定没有第一目标相机,则跳转到步骤七。
步骤六、调整第一目标相机的拍摄位置和拍摄方向等第一预设参数。调整完成后返回步骤一。
步骤七、校准系统软件计算出点云模型中每个子区块的模型RGB值:模型RGB值中的模型R值R2、模型RGB值中的模型G值G2、模型RGB值中的模型B值B2。与校准系统内置的R1,G1,B1结合得到第二差异子信息D2;
确定第二差异子信息对应的差异值大于颜色差异阈值的子区块对应相即第二目标相机,如果确定没有第二目标相机,则跳转进入步骤九。
步骤八、调整第二目标相机的拍摄光圈和感光度等第二预设参数。
步骤九、继续校准,直到所有子区块的第二差异子信息对应的差异值均小于颜色差异阈值。
本领域技术人员可以理解,在具体实施方式的上述方法中,各步骤的撰写顺序并不意味着严格的执行顺序而对实施过程构成任何限定,各步骤的具体执行顺序应当以其功能和可能的内在逻辑确定。
基于同一发明构思,本公开实施例中还提供了多相机系统校准方法对应的多相机系统校准装置,由于本公开实施例中的装置解决问题的原理与本公开实施例上述多相机系统校准方法相似,因此装置的实施可以参见方法的实施,重复之处不再赘述。
参照图5所示,为本公开实施例提供的一种多相机系统校准装置的架构示意图,所述装置包括:
图像获取模块510,用于获取多相机系统中,至少部分相机同时拍摄目标物体所得到的多张图像。
建模模块520,用于基于所述多张图像,构建所述目标物体的点云模型。
调整模块530,用于基于所述点云模型和所述目标物体的之间的差异信息,对所述多相机系统中的至少一个相机进行相机参数调整。
基于同一发明构思,本公开实施例中还提供了多相机系统校准方法对应的多相机系统校准系统,由于本公开实施例中的系统解决问题的原理与本公开实施例上述多相机系统校准方法相似,因此系统的实施可以参见方法的实施,重复之处不再赘述。
参照图6所示,为本公开实施例提供的一种多相机系统校准系统的架构示意图,所述系统包括多个相机610、相机调参部件620以及目标物体630。
所述目标物体630设置在所述多个相机610形成的目标拍摄视野内。所述多个相机610中的至少部分相机用于同时拍摄所述目标物体630的图像,并将拍摄得到的图像发送给所述相机调参部件620;所述相机调参部件620用于上述实施例中的多相机系统校准方法对所述述多个相机中的至少一个相机进行参数调整。
基于同一技术构思,本公开实施例还提供了一种电子设备。参照图7所示,为本公开实施例提供的电子设备700的结构示意图,包括处理器71、存储器72、和总线73。其中,存储器72用于存储执行指令,包括内存721和外部存储器722;这里的内存721也称内存储器,用于暂时存放处理器71中的运算数据,以及与硬盘等外部存储器722交换的数据,处理器71通过内存721与外部存储器722进行数据交换,当电子设备700运行时,处理器71与存储器72之间通过总线73通信,使得处理器71在执行以下指令:
获取多相机系统中,至少部分相机同时拍摄目标物体所得到的多张图像;基于所述多张图像,构建所述目标物体的点云模型;基于所述点云模型和所述目标物体的之间的差异信息,对所述多相机系统中的至少一个相机进行相机参数调整。
本公开实施例还提供一种计算机可读存储介质,该计算机可读存储介质上存储有计算机程序,该计算机程序被处理器运行时执行上述方法实施例中所述的多相机系统校准方法的步骤。其中,该存储介质可以是易失性或非易失的计算机可读取存储介质。
本公开实施例所提供的多相机系统校准方法的计算机程序产品,包括存储了程序代码的计算机可读存储介质,所述程序代码包括的指令可用于执行上述方法实施例中所述的多相机系统校准方法的步骤,具体可参见上述方法实施例,在此不再赘述。该计算机程序产品可以具体通过硬件、软件或其结合的方式实现。在一个可选实施例中,所述计算机程序产品具体体现为计算机存储介质,在另一个可选实施例中,计算机程序产品具体体现为软件产品,例如软件开发包(Software Development Kit,SDK)等等。
所属领域的技术人员可以清楚地了解到,为描述的方便和简洁,上述描述的系统和装置的具体工作过程,可以参考前述方法实施例中的对应过程,在此不再赘述。在本公开所提供的几个实施例中,应该理解到,所揭露的系统、装置和方法,可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的,例如,所述单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,又例如,多个单元或组件可以结合或者可以集成到另一个系统,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些通信接口,装置或单元的间接耦合或通信连接,可以是电性,机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外,在本公开各个实施例中的各功能单元可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。
所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个处理器可执行的非易失的计算机可读取存储介质中。基于这样的理解,本公开的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行本公开各个实施例所述方法的全部或部分步骤。而前述的存储介质包括:U盘、移动硬盘、只读存储器(Read-OnlyMemory,ROM)、随机存取存储器(Random Access Memory,RAM)、磁碟或者光盘等各种可以存储程序代码的介质。
最后应说明的是:以上所述实施例,仅为本公开的具体实施方式,用以说明本公开的技术方案,而非对其限制,本公开的保护范围并不局限于此,尽管参照前述实施例对本公开进行了详细的说明,本领域的普通技术人员应当理解:任何熟悉本技术领域的技术人员在本公开揭露的技术范围内,其依然可以对前述实施例所记载的技术方案进行修改或可轻易想到变化,或者对其中部分技术特征进行等同替换;而这些修改、变化或者替换,并不使相应技术方案的本质脱离本公开实施例技术方案的精神和范围,都应涵盖在本公开的保护范围之内。因此,本公开的保护范围应所述以权利要求的保护范围为准。

Claims (17)

1.一种多相机系统校准方法,其特征在于,包括:
获取多相机系统中,至少部分相机同时拍摄目标物体所得到的多张图像;
基于所述多张图像,构建所述目标物体的点云模型;
基于所述点云模型和所述目标物体的之间的差异信息,对所述多相机系统中的至少一个相机进行相机参数调整。
2.根据权利要求1所述的方法,其特征在于,所述差异信息包括所述点云模型与所述目标物体之间的尺寸差异子信息;
在所述基于所述点云模型和所述目标物体的之间的差异信息,对所述多相机系统中的至少一个相机进行相机参数调整之前,还包括确定所述尺寸差异子信息的步骤:
获取所述目标物体的标准尺寸信息,以及,所述点云模型的模型尺寸信息;
确定所述点云尺寸信息与所述模型尺寸信息之间的差异信息,得到的所述尺寸差异子信息;
所述基于所述点云模型和所述目标物体的之间的差异信息,对所述多相机系统中的至少一个相机进行相机参数调整,包括:
基于所述点云模型与所述目标物体之间的尺寸差异子信息,对所述多相机系统中的至少一个相机进行相机参数调整。
3.根据权利要求2所述的方法,其特征在于,所述基于所述点云模型与所述目标物体之间的尺寸差异子信息,对所述多相机系统中的至少一个相机进行相机参数调整,包括:
获取尺寸差异阈值;
基于所述点云模型和所述目标物体的之间的尺寸差异子信息,和所述尺寸差异阈值,确定所述多相机系统中的需要进行参数调整的第一目标相机;
基于所述尺寸差异子信息,对所述第一目标相机的第一预设参数进行调整。
4.根据权利要求3所述的方法,其特征在于,所述目标物体包括至少一个子区块;所述标准尺寸信息包括每个子区块分别对应的标准尺寸子信息;所述模型尺寸信息包括每个子区块分别对应的模型尺寸子信息;所述尺寸差异子信息包括每个子区块分别对应的第一差异子信息;其中,所述第一差异子信息用于表征对应的子区块的标准尺寸子信息与模型尺寸子信息之间的差异信息。
5.根据权利要求4所述的方法,其特征在于,所述基于所述点云模型和所述目标物体的之间的尺寸差异子信息,和所述尺寸差异阈值,确定所述多相机系统中的需要进行参数调整的第一目标相机,包括:
将第一差异子信息对应的差异值大于所述尺寸差异阈值的子区块,作为第一目标子区块;
确定所述第一目标子区块对应的相机,并将确定的相机作为所述第一目标子区块对应的第一目标相机;
所述基于所述尺寸差异子信息,对所述第一目标相机的第一预设参数进行调整,包括:
基于所述第一目标子区块对应的第一差异子信息,对所述第一目标子区块对应的第一目标相机的第一预设参数进行调整。
6.根据权利要求3至5任一项所述的方法,其特征在于,所述基于所述点云模型和所述目标物体的之间的差异信息,对所述多相机系统中的至少一个相机进行相机参数调整,还包括:
在所述基于所述尺寸差异子信息,对所述第一目标相机的第一预设参数进行调整之后,重新获取所述多相机系统中,至少部分相机同时拍摄目标物体所得到的多张新的图像;
基于所述多张新的图像,重新构建所述目标物体的新的点云模型,以及,确定所述新的点云模型和所述目标物体之间的新的差异信息;
在基于所述尺寸差异阈值,确定所述新的差异信息中新的尺寸差异子信息不满足第一预设条件的情况下,基于所述新的尺寸差异子信息,对所述多相机系统中的至少一个相机进行相机参数调整。
7.根据权利要求6所述的方法,其特征在于,所述差异信息包括点云模型与所述目标物体之间的颜色差异子信息;
所述基于所述点云模型和所述目标物体的之间的差异信息,对所述多相机系统中的至少一个相机进行相机参数调整,还包括:
在基于所述尺寸差异阈值,确定所述新的差异信息中新的尺寸差异子信息满足第一预设条件的情况下,获取颜色差异阈值;
基于所述点云模型和所述目标物体的之间的颜色差异子信息,和所述颜色差异阈值,确定所述多相机系统中的需要进行参数调整的第二目标相机;
基于所述颜色差异子信息,对所述第二目标相机的第二预设参数进行调整。
8.根据权利要求1所述的方法,其特征在于,所述差异信息包括点云模型与所述目标物体之间的颜色差异子信息;
所述基于所述点云模型和所述目标物体的之间的差异信息,对所述多相机系统中的至少一个相机进行相机参数调整,包括:
获取颜色差异阈值;
基于所述点云模型和所述目标物体的之间的颜色差异子信息,和所述颜色差异阈值,确定所述多相机系统中的需要进行参数调整的第二目标相机;
基于所述颜色差异子信息,对所述第二目标相机的第二预设参数进行调整。
9.根据权利要求7或8所述的方法,其特征在于,所述目标物体包括至少一个子区块;所述颜色差异子信息包括每个子区块分别对应的第二差异子信息;其中,所述第二差异子信息用于表征对应的子区块在点云模型中的颜色信息与真实颜色信息之间的差异信息。
10.根据权利要求9所述的方法,其特征在于,所述基于所述点云模型和所述目标物体的之间的颜色差异子信息,和所述颜色差异阈值,确定所述多相机系统中的需要进行参数调整的第二目标相机,包括:
将第二差异子信息对应的差异值大于所述颜色差异阈值的子区块,作为第二目标子区块;
确定所述第二目标子区块对应的相机,并将确定的相机作为所述第二目标子区块对应的第二目标相机;
所述基于所述颜色差异子信息,对所述第二目标相机的第二预设参数进行调整,包括:
基于所述第二目标子区块对应的第二差异子信息,对所述第二目标子区块对应的第二目标相机的第二预设参数进行调整。
11.根据权利要求9或10所述的方法,其特征在于,所述基于所述点云模型和所述目标物体的之间的差异信息,对所述多相机系统中的至少一个相机进行相机参数调整,还包括:
在所述基于所述颜色差异子信息,对所述第二目标相机的第二预设参数进行调整之后,重新获取所述多相机系统中,至少部分相机同时拍摄目标物体所得到的多张新的图像;
基于所述多张新的图像,重新构建所述目标物体的新的点云模型,以及,确定所述新的点云模型和所述目标物体之间的新的差异信息;
在基于所述颜色差异阈值,确定所述新的差异信息中新的颜色差异子信息不满足第二预设条件的情况下,基于所述新的颜色差异子信息,对所述第二目标相机的第二预设参数进行调整。
12.根据权利要求1至11任一项所述的方法,其特征在于,所述多相机系统中的不同相机针对所述目标物体具有把不同的拍摄角度,并且各个相机的拍摄角度叠加得到的目标拍摄角度为所述目标物体对应的全方位拍摄角度。
13.根据权利要求1至12任一项所述的方法,其特征在于,所述各个相机与所述目标物体之间的距离满足预设条件;其中所述预设条件包括各个相机针对所述目标物体的拍摄视野形成球体或环形体,并且所述目标物体位于所述球体或环形体内的预设位置,以使所述目标物体反射给各个相机的光线的相似度高于预设相似度。
14.一种多相机系统校准装置,其特征在于,包括:
图像获取模块,用于获取多相机系统中,至少部分相机同时拍摄目标物体所得到的多张图像;
建模模块,用于基于所述多张图像,构建所述目标物体的点云模型;
调整模块,用于基于所述点云模型和所述目标物体的之间的差异信息,对所述多相机系统中的至少一个相机进行相机参数调整。
15.一种多相机系统校准系统,其特征在于,包括多个相机、相机调参部件以及目标物体;所述目标物体设置在所述多个相机形成的目标拍摄视野内;
所述多个相机中的至少部分相机用于同时拍摄所述目标物体的图像,并将拍摄得到的图像发送给所述相机调参部件;
所述相机调参部件用于按照权利要求1至13任一项所述的多相机系统校准方法对所述述多个相机中的至少一个相机进行参数调整。
16.一种电子设备,其特征在于,包括:处理器、存储器和总线,所述存储器存储有所述处理器可执行的机器可读指令,当电子设备运行时,所述处理器与所述存储器之间通过总线通信,所述机器可读指令被所述处理器执行时执行如权利要求1至13任一项所述的多相机系统校准方法的步骤。
17.一种计算机可读存储介质,其特征在于,该计算机可读存储介质上存储有计算机程序,该计算机程序被处理器运行时执行如权利要求1至13任一项所述的多相机系统校准方法的步骤。
CN202111624552.6A 2021-12-28 2021-12-28 多相机系统校准方法、装置、系统、电子设备及存储介质 Pending CN114299158A (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN202111624552.6A CN114299158A (zh) 2021-12-28 2021-12-28 多相机系统校准方法、装置、系统、电子设备及存储介质
PCT/CN2022/117908 WO2023124223A1 (zh) 2021-12-28 2022-09-08 多相机系统校准方法、装置、系统、电子设备、存储介质及计算机程序产品

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111624552.6A CN114299158A (zh) 2021-12-28 2021-12-28 多相机系统校准方法、装置、系统、电子设备及存储介质

Publications (1)

Publication Number Publication Date
CN114299158A true CN114299158A (zh) 2022-04-08

Family

ID=80972584

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111624552.6A Pending CN114299158A (zh) 2021-12-28 2021-12-28 多相机系统校准方法、装置、系统、电子设备及存储介质

Country Status (2)

Country Link
CN (1) CN114299158A (zh)
WO (1) WO2023124223A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023124223A1 (zh) * 2021-12-28 2023-07-06 上海商汤智能科技有限公司 多相机系统校准方法、装置、系统、电子设备、存储介质及计算机程序产品

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9153061B2 (en) * 2012-05-04 2015-10-06 Qualcomm Incorporated Segmentation of 3D point clouds for dense 3D modeling
CN108171758B (zh) * 2018-01-16 2022-02-11 重庆邮电大学 基于最小光程原理和透明玻璃标定板的多相机标定方法
CN109116397B (zh) * 2018-07-25 2022-12-30 吉林大学 一种车载多相机视觉定位方法、装置、设备及存储介质
CN114299158A (zh) * 2021-12-28 2022-04-08 北京市商汤科技开发有限公司 多相机系统校准方法、装置、系统、电子设备及存储介质

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023124223A1 (zh) * 2021-12-28 2023-07-06 上海商汤智能科技有限公司 多相机系统校准方法、装置、系统、电子设备、存储介质及计算机程序产品

Also Published As

Publication number Publication date
WO2023124223A1 (zh) 2023-07-06

Similar Documents

Publication Publication Date Title
CN108876926B (zh) 一种全景场景中的导航方法及系统、ar/vr客户端设备
CN108257183B (zh) 一种相机镜头光轴校准方法和装置
CN109658365B (zh) 图像处理方法、装置、系统和存储介质
JP6619105B2 (ja) カメラ較正システム
WO2018076154A1 (zh) 一种基于鱼眼摄像机空间位姿标定的全景视频生成方法
WO2016037486A1 (zh) 人体三维成像方法及系统
CN104634276A (zh) 三维测量系统、拍摄设备和方法、深度计算方法和设备
CN112150528A (zh) 一种深度图像获取方法及终端、计算机可读存储介质
CN107767420B (zh) 一种水下立体视觉系统的标定方法
CN106530358A (zh) 仅用两幅场景图像标定ptz摄像机的方法
CN107808398B (zh) 摄像头参数算出装置以及算出方法、程序、记录介质
CN107248178A (zh) 一种基于畸变参数的鱼眼相机标定方法
CN110136207B (zh) 鱼眼相机标定系统、方法、装置、电子设备及存储介质
JP7218435B2 (ja) キャリブレーション装置、キャリブレーション用チャート、およびキャリブレーション方法
CN110335307B (zh) 标定方法、装置、计算机存储介质和终端设备
CN114697623A (zh) 投影面选取和投影图像校正方法、装置、投影仪及介质
KR102467556B1 (ko) 실측 깊이정보를 이용한 정밀한 360 이미지 제작기법
WO2021005977A1 (ja) 三次元モデル生成方法及び三次元モデル生成装置
CN114299158A (zh) 多相机系统校准方法、装置、系统、电子设备及存储介质
CN114549660B (zh) 基于圆柱形自识别标记物的多相机标定方法、装置及设备
WO2018056802A1 (en) A method for estimating three-dimensional depth value from two-dimensional images
CN111383264A (zh) 一种定位方法、装置、终端及计算机存储介质
CN110163922B (zh) 鱼眼相机标定系统、方法、装置、电子设备及存储介质
CN112648935A (zh) 一种图像处理方法、装置和三维扫描系统
CN113724365A (zh) 一种三维重建方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
REG Reference to a national code

Ref country code: HK

Ref legal event code: DE

Ref document number: 40067436

Country of ref document: HK