CN113781536A - 图像对齐方法和装置、电子设备和计算机可读存储介质 - Google Patents

图像对齐方法和装置、电子设备和计算机可读存储介质 Download PDF

Info

Publication number
CN113781536A
CN113781536A CN202111046749.6A CN202111046749A CN113781536A CN 113781536 A CN113781536 A CN 113781536A CN 202111046749 A CN202111046749 A CN 202111046749A CN 113781536 A CN113781536 A CN 113781536A
Authority
CN
China
Prior art keywords
depth
cameras
determining
map corresponding
target scene
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202111046749.6A
Other languages
English (en)
Inventor
叶培楚
刘鹏
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangzhou Xaircraft Technology Co Ltd
Original Assignee
Guangzhou Xaircraft Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangzhou Xaircraft Technology Co Ltd filed Critical Guangzhou Xaircraft Technology Co Ltd
Priority to CN202111046749.6A priority Critical patent/CN113781536A/zh
Publication of CN113781536A publication Critical patent/CN113781536A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/521—Depth or shape recovery from laser ranging, e.g. using interferometry; from the projection of structured light
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/22—Measuring arrangements characterised by the use of optical techniques for measuring depth
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/80—Geometric correction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Optics & Photonics (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Image Processing (AREA)

Abstract

本申请涉及图像处理技术领域，具体涉及一种图像对齐方法和图像对齐装置，以及电子设备和计算机可读存储介质，以解决现有图像对齐方法对齐准确性差的问题。本申请实施例提供的图像对齐方法，基于飞行器中的深度测量设备确定目标场景对应的深度图，从而为飞行器中的不同波段的多个相机提供了真实准确的深度数据，使多个相机各自采集的图像可以根据真实准确的深度数据进行图像对齐，与现有技术中假设深度数据为一个固定且统一的数值的方法相比，本申请大大提高了图像对齐的准确性。

Description

图像对齐方法和装置、电子设备和计算机可读存储介质
技术领域
本申请涉及图像处理技术领域，具体涉及一种图像对齐方法和图像对齐装置，以及电子设备和计算机可读存储介质。
背景技术
由于多光谱相机包括多个不同光谱波段的相机，因此，需要将多个不同光谱波段的相机采集的光谱图像进行对齐，以获得多光谱相机的对齐图像。目前，对多个不同光谱波段的相机采集的光谱图像进行对齐的方法，会忽略地形起伏，将地面近似为一个平面，以假设多光谱相机相对地面的高程是固定且统一的，从而实现对多个相机采集的光谱图像进行对齐。
然而，在农业场景中，飞行器对作物进行生长和病虫害分析时，一般飞行高度较低，此时，如果忽略地形起伏，将地面近似为一个平面，会导致假设的飞行器的飞行高度误差较大，从而导致得到的对齐图像的误差较大。
发明内容
有鉴于此，本申请实施例提供了一种图像对齐方法和装置、电子设备和计算机可读存储介质，以解决现有图像对齐方法对齐准确性差的问题。
第一方面，本申请一实施例提供的一种图像对齐方法，包括：基于飞行器中的深度测量设备确定目标场景对应的深度图，其中，所述深度测量设备包括至少两个测量原理不同的深度测量装置；基于目标场景对应的深度图、飞行器中不同波段的多个相机各自采集的图像、深度测量设备和多个相机之间的相对变换关系，确定多个相机各自采集的图像的对齐图像。
结合第一方面，在第一方面的某些实现方式中，深度测量设备包括第一深度测量装置和第二深度测量装置，基于飞行器中的深度测量设备确定目标场景对应的深度图，包括：基于第一深度测量装置确定第一深度数值；基于第一深度数值和预设深度阈值，确定目标场景对应的深度图。
结合第一方面，在第一方面的某些实现方式中，基于第一深度数值和预设深度阈值，确定目标场景对应的深度图，包括：如果第一深度数值大于或等于预设深度阈值，则基于第一深度测量装置确定目标场景对应的深度图；如果第一深度数值小于预设深度阈值，则基于第二深度测量装置确定目标场景对应的深度图。
结合第一方面，在第一方面的某些实现方式中，基于目标场景对应的深度图、飞行器中不同波段的多个相机各自采集的图像、深度测量设备和多个相机之间的相对变换关系，确定多个相机各自采集的图像的对齐图像，包括：基于目标场景对应的深度图、深度测量设备和多个相机之间的相对变换关系、多个相机各自的内参确定多个相机各自对应的深度图；基于多个相机各自对应的深度图和多个相机各自采集的图像，确定多个相机各自采集的图像的对齐图像。
结合第一方面，在第一方面的某些实现方式中，基于目标场景对应的深度图、深度测量设备和多个相机之间的相对变换关系、多个相机各自的内参确定多个相机各自对应的深度图，包括：基于目标场景对应的深度图、深度测量设备和多个相机之间的相对变换关系，确定多个相机各自的相机坐标系下的坐标数据；基于多个相机各自的相机坐标系下的坐标数据和多个相机各自的内参，确定多个相机各自对应的深度图。
结合第一方面，在第一方面的某些实现方式中，基于多个相机各自对应的深度图和多个相机各自采集的图像，确定多个相机各自采集的图像的对齐图像，包括：基于多个相机各自的地理位置信息，确定多个相机对应的虚拟相机的虚拟视点；基于虚拟视点和多个相机之间的相机相对变换关系，确定多个相机各自对应的虚拟相对变换关系，其中，虚拟相对变换关系为相机与虚拟视点之间的相对变换关系；基于多个相机各自的内参、虚拟相机的内参、多个相机各自对应的深度图和多个相机各自对应的虚拟相对变换关系，将多个相机各自采集的图像对应的图像坐标系坐标点投影到虚拟相机的像平面，以确定对齐图像。
结合第一方面，在第一方面的某些实现方式中，第一深度测量装置包括激光雷达，第二深度测量装置包括双目相机。
第二方面，本申请一实施例提供的一种图像对齐装置，包括：确定模块，置为基于飞行器中的深度测量设备确定目标场景对应的深度图，其中，深度测量设备包括至少两个测量原理不同的深度测量装置；对齐模块，配置为基于目标场景对应的深度图、飞行器中不同波段的多个相机各自采集的图像、深度测量设备和多个相机之间的相对变换关系，确定多个相机各自采集的图像的对齐图像。
第三方面，本申请一实施例提供的一种计算机可读存储介质，存储介质存储有指令，当指令由电子设备的处理器执行时，使得电子设备能够执行上述第一方面提及的图像对齐方法。
第四方面，本申请一实施例提供的一种电子设备，电子设备包括：处理器；用于存储计算机可执行指令的存储器；处理器，用于执行计算机可执行指令，以实现上述第一方面提及的图像对齐方法。
本申请实施例提供的一种图像对齐方法，基于飞行器中的深度测量设备确定目标场景对应的深度图，从而为飞行器中的不同波段的多个相机提供了真实的深度数据，使多个相机各自采集的图像可以根据真实的深度数据进行图像对齐，与现有技术中假设深度数据为一个固定且统一的数值的方法相比，本申请大大提高了图像对齐的准确性。另外，由于深度测量设备包括至少两个测量原理不同的深度测量装置，能够根据不同测量原理的优点选择合适的深度测量装置，从而得到更加准确的深度数据，为后续的图像对齐提供了更加准确的数据基础，进一步提高了图像对齐的准确性。
附图说明
图1所示为本申请一实施例提供的图像对齐方法的流程示意图。
图2所示为本申请另一实施例提供的图像对齐方法的流程示意图。
图3所示为本申请另一实施例提供的图像对齐方法的流程示意图。
图4所示为本申请另一实施例提供的图像对齐方法的流程示意图。
图5所示为本申请另一实施例提供的图像对齐方法的流程示意图。
图5a所示为本申请一实施例提供的一种相对变换关系的示意图。
图6所示为本申请另一实施例提供的图像对齐方法的流程示意图。
图7所示为本申请一实施例提供的图像对齐装置的结构示意图。
图8所示为本申请一实施例提供的确定模块的结构示意图。
图9所示为本申请一实施例提供的测量装置深度图确定单元的结构示意图。
图10所示为本申请一实施例提供的对齐模块的结构示意图。
图11所示为本申请一实施例提供的相机深度图确定单元的结构示意图。
图12所示为本申请一实施例提供的对齐单元的结构示意图。
图13所示为本申请一实施例提供的电子设备的结构示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
本申请实施例适用的场景可以包括飞行器、深度测量设备和不同波段的多个相机。深度测量设备和不同波段的多个相机固定设置于飞行器上。飞行器内设置有计算模块。计算模块与深度测量设备和不同波段的多个相机之间存在通信连接关系。不同波段的多个相机可以采集目标场景图像。飞行器中的计算模块可以基于飞行器中的深度测量设备确定目标场景对应的深度图，其中，深度测量设备包括至少两个测量原理不同的深度测量装置，然后基于目标场景对应的深度图、飞行器中不同波段的多个相机各自采集的图像、深度测量设备和多个相机之间的相对变换关系，确定多个相机各自采集的图像的对齐图像。
本申请实施例适用的另一场景可以包括服务器、深度测量设备和不同波段的多个相机。服务器与深度测量设备和不同波段的多个相机之间存在通信连接关系。不同波段的多个相机可以采集目标场景图像。服务器可以基于飞行器中的深度测量设备确定目标场景对应的深度图，其中，深度测量设备包括至少两个测量原理不同的深度测量装置，然后基于目标场景对应的深度图、飞行器中不同波段的多个相机各自采集的图像、深度测量设备和多个相机之间的相对变换关系，确定多个相机各自采集的图像的对齐图像。
图1所示为本申请一实施例提供的一种图像对齐方法的流程示意图。如图1所示，本申请实施例提供的图像对齐方法包括如下步骤。
步骤110，基于飞行器中的深度测量设备确定目标场景对应的深度图。
具体地，深度测量设备包括至少两个测量原理不同的深度测量装置。例如，深度测量设备可以包括两个测量原理不同的深度测量装置。一个深度测量装置可以是采用时差法(Time of Flight，TOF)进行深度值测量的装置，例如，激光雷达。另一个深度测量装置可以是基于三角化原理实现深度恢复的测量装置，例如，双目相机。只要深度测量设备能够获取针对目标场景的深度图即可，本申请不做具体限定。目标场景对应的深度图是指将从深度测量设备到目标场景中各点的距离作为像素值的图像。目标场景可以是农田场景。例如，目标场景可以是山地、梯田等地面起伏变化较大的场景。
示例性地，飞行器可以是无人机，也可以是其它飞行设备，本申请不做具体限定。深度测量设备可以包括两个深度测量装置，也可以包括三个深度测量装置，本申请对深度测量设备包括的深度测量装置的数量不做具体限定。深度测量设备包括的多个深度测量装置中，只要有一个深度测量装置与其他几个深度测量装置的测量原理不同即可。
步骤120，基于目标场景对应的深度图、飞行器中不同波段的多个相机各自采集的图像、深度测量设备和多个相机之间的相对变换关系，确定多个相机各自采集的图像的对齐图像。
示例性地，不同波段的多个相机可以是多光谱相机中的不同光谱波段的多个相机。不同波段的多个相机各自采集的图像可以是光谱图像。多光谱相机可以由四个不同波段的相机组成，也可以由六个不同波段的相机组成，本申请对多光谱相机包含的不同波段的相机的数量不做具体限定。
示例性地，多光谱相机可以为农业遥感提供多波段光谱数据。多光谱相机包括多个独立的成像器，分别配上特制的滤光片，能让每个成像器接收到不同波长范围的光谱。利用多光谱相机进行拍照，可以获取红、绿、蓝、红外、近红外等不同光谱波段的农田图像，然后将多个不同光谱波段的相机采集的光谱图像进行对齐，以获得多光谱相机的对齐图像。
示例性地，深度测量设备和多个相机均固定安装在飞行器上。深度测量设备和多个相机之间的相对变换关系可以通过对深度测量设备和多个相机进行标定来得到。多光谱相机包括的不同波段的多个相机之间的相对变换关系是已知的。
具体地，基于目标场景对应的深度图、飞行器中不同波段的多个相机各自采集的图像、深度测量设备和多个相机之间的相对变换关系，确定多个相机各自采集的图像的对齐图像，可以是利用深度测量设备和多个相机之间的相对变换关系，通过目标场景对应的深度图确定多个相机各自对应的深度图。然后采用虚拟投影方法构建一个虚拟相机，利用多个相机之间的相对变换关系，将多个相机各自采集的图像与各自对应的深度图融合后投影到虚拟相机的像平面，从而实现多个相机各自采集的图像的对齐。
本申请实施例提供的一种图像对齐方法，基于飞行器中的深度测量设备确定目标场景对应的深度图，从而为飞行器中的不同波段的多个相机提供了真实的深度数据，使多个相机各自采集的图像可以根据真实的深度数据进行图像对齐，与现有技术中假设深度数据为一个固定且统一的数值的方法相比，本申请大大提高了图像对齐的准确性。另外，由于深度测量设备包括至少两个测量原理不同的深度测量装置，能够根据不同测量原理的优点选择合适的深度测量装置，从而得到更加准确的深度数据，为后续的图像对齐提供了更加准确的数据基础，进一步提高了图像对齐的准确性。
图2所示为本申请另一实施例提供的图像对齐方法的流程示意图。在图1所示实施例基础上延伸出图2所示实施例，下面着重叙述图2所示实施例与图1所示实施例的不同之处，相同之处不再赘述。
如图2所示，在本申请实施例中，基于飞行器中的深度测量设备确定目标场景对应的深度图步骤，包括如下步骤。
步骤210，基于第一深度测量装置确定第一深度数值。
具体地，深度测量设备包括第一深度测量装置和第二深度测量装置。目标场景对应的深度图可以只由第一深度测量装置确定，可以只由第二深度测量装置确定，也可以由第一深度测量装置和第二深度测量装置共同确定。目标场景对应的深度图由第一深度测量装置和第二深度测量装置共同确定，可以是目标场景对应的深度图的一部分由第一深度测量装置确定，另一部分由第二深度测量装置确定。第一深度测量装置可以是主动式测量目标场景深度的装置，从而可以直接输出测量到的深度值。
示例性地，第一深度数值可以是第一深度测量装置直接输出的深度值，也可以是在一个时间段内第一深度测量装置输出的多个深度值的平均值，本领域技术人员可以根据实际需求确定第一深度数值的计算方式，本申请不做具体限定。
步骤220，基于第一深度数值和预设深度阈值，确定目标场景对应的深度图。
示例性地，第一深度测量装置和第二深度测量装置可以分别具有不同的优势。例如，在近距离测量方面，第二深度测量装置的准确性优于第一深度测量装置，但是在远距离测量方面，第一深度测量装置的准确性优于第二深度测量装置。再例如，第二深度测量装置获得的数据信息量多于第一深度测量装置。
示例性地，预设深度阈值可以是根据第一深度测量装置和第二深度测量装置的测距优势确定的。举例说明，如果在测量距离大于或等于50米时，第一深度测量装置的准确性优于第二深度测量装置，在测量距离小于50米时，第二深度测量装置的准确性优于第一深度测量装置，则可以设定预设深度阈值为50米。本领域技术人员可以根据实际需求设定预设深度阈值，本申请不做具体限定。
通过对比第一深度数值和预设深度阈值来确定目标场景对应的深度图，可以充分考虑第一深度测量装置和第二深度测量装置的测距优势，从而选择更加准确的深度测量装置，以得到更加准确的目标场景对应的深度图。
图3所示为本申请另一实施例提供的图像对齐方法的流程示意图。在图2所示实施例基础上延伸出图3所示实施例，下面着重叙述图3所示实施例与图2所示实施例的不同之处，相同之处不再赘述。
如图3所示，在本申请实施例中，基于第一深度数值和预设深度阈值，确定目标场景对应的深度图步骤，包括如下步骤。
步骤310，判断第一深度数值是否大于或等于预设深度阈值。
示例性地，在实际应用中，如果步骤310判断为是，即第一深度数值大于或等于预设深度阈值，则执行步骤320。如果步骤310判断为否，即第一深度数值小于预设深度阈值，则执行步骤330。
步骤320，基于第一深度测量装置确定目标场景对应的深度图。
步骤330，基于第二深度测量装置确定目标场景对应的深度图。
示例性地，第一深度测量装置可以是采用TOF进行深度值测量的装置，例如，激光雷达。激光雷达是以发射激光束探测目标的位置、速度等特征量的雷达系统，激光雷达的工作原理是向目标发射探测信号(激光束)，然后将接收到的从目标反射回来的信号(目标回波)与发射的探测信号进行比较，从而获得目标的有关信息，如目标距离、方位、高度、速度、姿态、形状等参数。
示例性地，第二深度测量装置可以是基于三角化原理实现深度恢复的测量装置，例如，双目相机。第二深度测量装置还可以是多目相机。在近距离测量时，基于三角化原理恢复的深度不确定性较低，深度值可靠性高，并且获取的数据信息量较大。因此，双目相机或多目相机等基于三角化原理实现深度恢复的测量装置，在近距离测量时能够获得准确可靠的深度值，且能够获得丰富的数据信息。
具体地，目标场景对应的深度图可以只基于第一深度测量装置确定，可以只基于第二深度测量装置确定，也可以是深度测量设备对应的深度图中的部分区域基于第一深度测量装置确定，另一部分区域基于第一深度测量装置确定，本申请不做具体限定。
通过对比第一深度数值与预设深度阈值的大小，来确定目标场景对应的深度图，从而自动为目标场景对应的深度图选择更加准确的深度测量装置，以得到更加准确的目标场景对应的深度图，为后续的图像对齐提供了更加准确的深度数据。
图4所示为本申请另一实施例提供的图像对齐方法的流程示意图。在图1所示实施例基础上延伸出图4所示实施例，下面着重叙述图4所示实施例与图1所示实施例的不同之处，相同之处不再赘述。
如图4所示，在本申请实施例中，基于目标场景对应的深度图、飞行器中不同波段的多个相机各自采集的图像、深度测量设备和多个相机之间的相对变换关系，确定多个相机各自采集的图像的对齐图像步骤，包括如下步骤。
步骤410，基于目标场景对应的深度图、深度测量设备和多个相机之间的相对变换关系、多个相机各自的内参确定多个相机各自对应的深度图。
具体地，利用深度测量设备和多个相机之间的相对变换关系和多个相机各自的内参，可以将目标场景对应的深度图中的任意一个空间点变换到多个相机各自对应的像平面中，从而构建多个相机各自对应的深度图。
步骤420，基于多个相机各自对应的深度图和多个相机各自采集的图像，确定多个相机各自采集的图像的对齐图像。
具体地，可以采用虚拟投影方法构建一个虚拟相机，将多个相机各自采集的图像与各自对应的深度图融合后投影到虚拟相机的像平面，从而实现多个相机各自采集的图像的对齐。
根据目标场景对应的深度图，进行一系列的坐标变换得到多个相机各自对应的深度图，从而得到多个相机在世界坐标系下的真实地深度数据，然后利用多个相机在世界坐标系下的真实地深度数据实现多个相机各自采集的图像的对齐，得到了对齐图像，提高了图像对齐的准确性。
图5所示为本申请另一实施例提供的图像对齐方法的流程示意图。在图4所示实施例基础上延伸出图5所示实施例，下面着重叙述图5所示实施例与图4所示实施例的不同之处，相同之处不再赘述。
如图5所示，在本申请实施例中，基于目标场景对应的深度图、深度测量设备和多个相机之间的相对变换关系、多个相机各自的内参确定多个相机各自对应的深度图步骤，包括如下步骤。
步骤510，基于目标场景对应的深度图、深度测量设备和多个相机之间的相对变换关系，确定多个相机各自的相机坐标系下的坐标数据。
示例性地，图5a所示为本申请一实施例提供的一种相对变换关系的示意图。如图5a所示，多光谱相机由四个不同波段的相机组成。四个不同波段的相机分别用C1、C2、C3、C4表示，第一深度测量装置用L表示，第二深度测量装置用S表示。第一深度测量装置L、第二深度测量装置S和四个不同波段的相机均固定安装在飞行器上，因此，第一深度测量装置L、第二深度测量装置S和四个不同波段的相机之间的位置关系是固定的，因此，通过标定第一深度测量装置L和相机C1，可以得到第一深度测量装置L和相机C1的相对变换关系
Figure BDA0003248844140000111
通过标定第二深度测量装置S和相机C1，可以得到第二深度测量装置S和相机C1的相对变换关系
Figure BDA0003248844140000112
而多光谱相机包括的不同波段的多个相机之间的相对变换关系是已知的，因此，可以得到第一深度测量装置L、第二深度测量装置S与相机C2、相机C3、相机C4之间的相对变换关系。另外，第二深度测量装置S和第一深度测量装置L之间也存在相对变换关系TSL。
目标场景对应的深度图用ID表示。对于深度图ID中的任意一点Pi＝(xi,yi,zi)，基于下述公式(1)或(2)，可以将深度图ID中的任意一点Pi变换到相机C1的坐标系下，得到相机C1的坐标系下的空间点
Figure BDA0003248844140000113
Figure BDA0003248844140000114
Figure BDA0003248844140000115
具体地，如果深度图ID中的点Pi是通过第一深度测量装置L获得的，则基于公式(1)来得到相机C1的坐标系下的空间点
Figure BDA0003248844140000116
如果深度图ID中的点Pi是通过第二深度测量装置S获得的，则基于公式(2)来得到相机C1的坐标系下的空间点
Figure BDA0003248844140000117
步骤520，基于多个相机各自的相机坐标系下的坐标数据和多个相机各自的内参，确定多个相机各自对应的深度图。
假设相机C1的内参数矩阵为
Figure BDA0003248844140000118
基于下述公式(3)，将相机C1的坐标系下的空间点
Figure BDA0003248844140000119
投影到相机C1的像平面
Figure BDA00032488441400001110
中，可得到坐标点
Figure BDA00032488441400001111
Figure BDA00032488441400001112
其中，相机C1的内参数矩阵为
Figure BDA00032488441400001113
可以是以下矩阵。
Figure BDA0003248844140000121
通过将图像采集装置对应的深度图中的所有像素都投影到相机C1的像平面
Figure BDA0003248844140000122
中，可以构建相机C1对应的深度图
Figure BDA0003248844140000123
同理，根据相对位姿变换的传递效果，可以构建多光谱相机M中的相机C2、相机C3以及相机C4对应的深度图
Figure BDA0003248844140000124
根据相对位姿变换的传递效果，使用相同的方法构建多个相机的深度图，提高了构建多个相机的深度图的效率。
图6所示为本申请另一实施例提供的图像对齐方法的流程示意图。在图4所示实施例基础上延伸出图6所示实施例，下面着重叙述图6所示实施例与图4所示实施例的不同之处，相同之处不再赘述。
如图6所示，在本申请实施例中，基于多个相机各自对应的深度图和多个相机各自采集的图像，确定多个相机各自采集的图像的对齐图像步骤，包括如下步骤。
步骤610，基于多个相机各自的地理位置信息，确定多个相机对应的虚拟相机的虚拟视点。
示例性地，多个相机对应一个虚拟相机，虚拟相机具有一个虚拟视点。虚拟视点可以位于多个相机的中心位置。如图5a所示，虚拟视点用V表示。多光谱相机对应的虚拟相机的虚拟视点可以位于多光谱相机的中心，也可以位于多个相机对应的其他参考点位置，本申请对此不做具体限定。
步骤620，基于虚拟视点和多个相机之间的相机相对变换关系，确定多个相机各自对应的虚拟相对变换关系。
具体地，虚拟相对变换关系为相机与虚拟视点之间的相对变换关系。多个相机之间的相对变换关系已知。以四个相机来举例说明。四个不同波段的相机C1、C2、C3、C4之间的相对变换关系如下。
相机C1变换到相机C2的相对变换关系为
Figure BDA0003248844140000131
相机C1变换到相机C3的相对变换关系为
Figure BDA0003248844140000132
相机C1变换到相机C4的相对变换关系为
Figure BDA0003248844140000133
由于相对变换关系
Figure BDA0003248844140000134
均为齐次矩阵，因此相对变换关系可以通过乘法进行传递，因此可以得到如下的相对变换关系。
相机C2变换到相机C3的相对变换关系为
Figure BDA0003248844140000135
相机C2变换到相机C4的相对变换关系为
Figure BDA0003248844140000136
相机C3变换到相机C4的相对变换关系为
Figure BDA0003248844140000137
假设虚拟视点V位于多光谱相机中心，并且设置虚拟相机内参为KV。相机C1到虚拟视点V之间的相对变换为
Figure BDA0003248844140000138
同理确定相机C2到虚拟视点V之间的相对变换
Figure BDA0003248844140000139
相机C3到虚拟视点V之间的相对变换
Figure BDA00032488441400001310
相机C4到虚拟视点V之间的相对变换为
Figure BDA00032488441400001311
步骤630，基于多个相机各自的内参、虚拟相机的内参、多个相机各自对应的深度图和多个相机各自对应的虚拟相对变换关系，将多个相机各自采集的图像对应的图像坐标系坐标点投影到虚拟相机的像平面，以确定对齐图像。
示例性地，根据四个相机采集的图像的重叠部分，确定相机C1采集的图像对应的重叠部分。假设相机C1采集的图像对应的重叠部分中任意一个坐标点pi＝(ui,vi,1)投影到虚拟相机CV的像平面，根据下述公式(4)得到坐标点pi在虚拟相机CV的像平面对应的坐标点
Figure BDA00032488441400001312
Figure BDA00032488441400001313
上述公式(4)中，zi为坐标点pi的深度值，可以基于多个相机各自对应的深度图获得。同理，将所有相机中的所有点都投影到虚拟相机CV的像平面中，从而实现将四个波段的信息汇总到同一个虚拟相机中，上述的计算方法可以将图像对齐的误差控制在亚像素级，大大提高了图像对齐的准确性。
上文结合图1至图6，详细描述了本申请的方法实施例，下面结合图7至图12，详细描述本申请的装置实施例。应理解，方法实施例的描述与装置实施例的描述相互对应，因此，未详细描述的部分可以参见前面方法实施例。
图7所示为本申请一实施例提供的图像对齐装置的结构示意图。如图7所示，本申请实施例提供的图像对齐装置700包括确定模块710和对齐模块720。
确定模块710被配置为，基于飞行器中的深度测量设备确定目标场景对应的深度图，其中，深度测量设备包括至少两个测量原理不同的深度测量装置。对齐模块720被配置为，基于目标场景对应的深度图、飞行器中不同波段的多个相机各自采集的图像、深度测量设备和多个相机之间的相对变换关系，确定多个相机各自采集的图像的对齐图像。
图8所示为本申请一实施例提供的确定模块的结构示意图。在图7所示实施例基础上延伸出图8所示实施例，下面着重叙述图8所示实施例与图7所示实施例的不同之处，相同之处不再赘述。
如图8所示，在本申请实施例中，确定模块710包括深度值确定单元711和深度图确定单元712。
具体地，深度值确定单元711被配置为，基于第一深度测量装置确定第一深度数值。测量装置深度图确定单元712被配置为，基于第一深度数值和预设深度阈值，确定目标场景对应的深度图。
图9所示为本申请一实施例提供的测量装置深度图确定单元的结构示意图。在图8所示实施例基础上延伸出图9所示实施例，下面着重叙述图9所示实施例与图8所示实施例的不同之处，相同之处不再赘述。
如图9所示，在本申请实施例中，测量装置深度图确定单元712包括第一测量装置深度图确定子单元7121和第二测量装置深度图确定子单元7122。
具体地，第一测量装置深度图确定子单元7121被配置为，如果第一深度数值大于或等于预设深度阈值，则基于第一深度测量装置确定目标场景对应的深度图。第二测量装置深度图确定子单元7122被配置为，如果第一深度数值小于预设深度阈值，则基于第二深度测量装置确定目标场景对应的深度图。
图10所示为本申请一实施例提供的对齐模块的结构示意图。在图7所示实施例基础上延伸出图10所示实施例，下面着重叙述图10所示实施例与图7所示实施例的不同之处，相同之处不再赘述。
如图10所示，在本申请实施例中，对齐模块720包括：相机深度图确定单元721和对齐单元722。
具体地，相机深度图确定单元721被配置为，基于目标场景对应的深度图、深度测量设备和多个相机之间的相对变换关系、多个相机各自的内参确定多个相机各自对应的深度图。对齐单元722被配置为，基于多个相机各自对应的深度图和多个相机各自采集的图像，确定多个相机各自采集的图像的对齐图像。
图11所示为本申请一实施例提供的相机深度图确定单元的结构示意图。在图10所示实施例基础上延伸出图11所示实施例，下面着重叙述图11所示实施例与图10所示实施例的不同之处，相同之处不再赘述。
如图11所示，在本申请实施例中，相机深度图确定单元721包括坐标确定子单元7211和相机深度图确定子单元7212。
具体地，坐标确定子单元7211被配置为，基于目标场景对应的深度图、深度测量设备和多个相机之间的相对变换关系，确定多个相机各自的相机坐标系下的坐标数据。相机深度图确定子单元7212被配置为，基于多个相机各自的相机坐标系下的坐标数据和多个相机各自的内参，确定多个相机各自对应的深度图。
图12所示为本申请一实施例提供的对齐单元的结构示意图。在图10所示实施例基础上延伸出图12所示实施例，下面着重叙述图12所示实施例与图10所示实施例的不同之处，相同之处不再赘述。
如图12所示，在本申请实施例中，对齐单元722包括虚拟视点确定子单元7221、虚拟相对变换关系确定子单元7222和对齐子单元7223。
具体地，虚拟视点确定子单元7221被配置为，基于多个相机各自的地理位置信息，确定多个相机对应的虚拟相机的虚拟视点。虚拟相对变换关系确定子单元7222被配置为，基于虚拟视点和多个相机之间的相机相对变换关系，确定多个相机各自对应的虚拟相对变换关系，其中，虚拟相对变换关系为相机与虚拟视点之间的相对变换关系。对齐子单元7223被配置为，基于多个相机各自的内参、虚拟相机的内参、多个相机各自对应的深度图和多个相机各自对应的虚拟相对变换关系，将多个相机各自采集的图像对应的图像坐标系坐标点投影到虚拟相机的像平面，以确定对齐图像。
下面，参考图13来描述根据本申请实施例的电子设备。图13所示为本申请一实施例提供的电子设备的结构示意图。
如图13所示，该电子设备130包括：一个或多个处理器1301和存储器1302；以及存储在存储器1302中的计算机程序指令，计算机程序指令在被处理器1301运行时使得处理器1301执行如上述任一实施例的图像对齐方法。
处理器1301可以是中央处理单元(CPU)或者具有数据处理能力和/或指令执行能力的其他形式的处理单元，并且可以控制电子设备中的其他组件以执行期望的功能。
存储器1302可以包括一个或多个计算机程序产品，计算机程序产品可以包括各种形式的计算机可读存储介质，例如易失性存储器和/或非易失性存储器。易失性存储器例如可以包括随机存取存储器(RAM)和/或高速缓冲存储器(cache)等。非易失性存储器例如可以包括只读存储器(ROM)、硬盘、闪存等。在计算机可读存储介质上可以存储一个或多个计算机程序指令，处理器1301可以运行程序指令，以实现上文的本申请的各个实施例的图像对齐方法中的步骤以及/或者其他期望的功能。
在一个示例中，电子设备130还可以包括：输入装置1303和输出装置1304，这些组件通过总线系统和/或其他形式的连接机构(图13中未示出)互连。
此外，该输入装置1303还可以包括例如键盘、鼠标、麦克风等等。
该输出装置1304可以向外部输出各种信息，例如可以包括例如显示器、扬声器、打印机、以及通信网络及其所连接的远程输出设备等等。
当然，为了简化，图13中仅示出了该电子设备130中与本申请有关的组件中的一些，省略了诸如总线、输入装置/输出接口等组件。除此之外，根据具体应用情况，电子设备130还可以包括任何其他适当的组件。
除了上述方法和设备以外，本申请的实施例还可以是计算机程序产品，包括计算机程序指令，计算机程序指令在被处理器运行时使得处理器执行如上述任一实施例的图像对齐方法中的步骤。
计算机程序产品可以以一种或多种程序设计语言的任意组合来编写用于执行本申请实施例操作的程序代码，程序设计语言包括面向对象的程序设计语言，诸如Java、C++等，还包括常规的过程式程序设计语言，诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算设备上执行、部分地在用户设备上执行、作为一个独立的软件包执行、部分在用户计算设备上部分在远程计算设备上执行、或者完全在远程计算设备或服务器上执行。
此外，本申请的实施例还可以是计算机可读存储介质，其上存储有计算机程序指令，计算机程序指令在被处理器运行时使得处理器执行本说明书上述“示例性方法”部分中描述的根据本申请各种实施例的图像对齐方法中的步骤。
计算机可读存储介质可以采用一个或多个可读介质的任意组合。可读介质可以是可读信号介质或者可读存储介质。可读存储介质例如可以包括但不限于电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。可读存储介质的更具体的例子(非穷举的列表)包括：具有一个或多个导线的电连接、便携式盘、硬盘、随机存取存储器((RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。
以上结合具体实施例描述了本申请的基本原理，但是，需要指出的是，在本申请中提及的优点、优势、效果等仅是示例而非限制，不能认为这些优点、优势、效果等是本申请的各个实施例必须具备的。另外，上述公开的具体细节仅是为了示例的作用和便于理解的作用，而非限制，上述细节并不限制本申请为必须采用上述具体的细节来实现。
本申请中涉及的器件、装置、设备、系统的方框图仅作为例示性的例子并且不意图要求或暗示必须按照方框图示出的方式进行连接、布置、配置。如本领域技术人员将认识到的，可以按任意方式连接、布置、配置这些器件、装置、设备、系统。诸如“包括”、“包含”、“具有”等等的词语是开放性词汇，指“包括但不限于”，且可与其互换使用。这里所使用的词汇“或”和“和”指词汇“和/或”，且可与其互换使用，除非上下文明确指示不是如此。这里所使用的词汇“诸如”指词组“诸如但不限于”，且可与其互换使用。
还需要指出的是，在本申请的装置、设备和方法中，各部件或各步骤是可以分解和/或重新组合的。这些分解和/或重新组合应视为本申请的等效方案。
提供所公开的方面的以上描述以使本领域的任何技术人员能够做出或者使用本申请。对这些方面的各种修改对于本领域技术人员而言是非常显而易见的，并且在此定义的一般原理可以应用于其他方面而不脱离本申请的范围。因此，本申请不意图被限制到在此示出的方面，而是按照与在此公开的原理和新颖的特征一致的最宽范围。
为了例示和描述的目的已经给出了以上描述。此外，此描述不意图将本申请的实施例限制到在此公开的形式。尽管以上已经讨论了多个示例方面和实施例，但是本领域技术人员将认识到其某些变型、修改、改变、添加和子组合。
以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种图像对齐方法，其特征在于，包括：
基于飞行器中的深度测量设备确定目标场景对应的深度图，其中，所述深度测量设备包括至少两个测量原理不同的深度测量装置；
基于所述目标场景对应的深度图、所述飞行器中不同波段的多个相机各自采集的图像、所述深度测量设备和所述多个相机之间的相对变换关系，确定所述多个相机各自采集的图像的对齐图像。
2.根据权利要求1所述的图像对齐方法，其特征在于，所述深度测量设备包括第一深度测量装置和第二深度测量装置，所述基于飞行器中的深度测量设备确定目标场景对应的深度图，包括：
基于所述第一深度测量装置确定第一深度数值；
基于所述第一深度数值和预设深度阈值，确定所述目标场景对应的深度图。
3.根据权利要求2所述的图像对齐方法，其特征在于，所述基于所述第一深度数值和预设深度阈值，确定所述目标场景对应的深度图，包括：
如果所述第一深度数值大于或等于所述预设深度阈值，
则基于所述第一深度测量装置确定所述目标场景对应的深度图；
如果所述第一深度数值小于所述预设深度阈值，
则基于所述第二深度测量装置确定所述目标场景对应的深度图。
4.根据权利要求1所述的图像对齐方法，其特征在于，所述基于所述目标场景对应的深度图、所述飞行器中不同波段的多个相机各自采集的图像、所述深度测量设备和所述多个相机之间的相对变换关系，确定所述多个相机各自采集的图像的对齐图像，包括：
基于所述目标场景对应的深度图、所述深度测量设备和所述多个相机之间的相对变换关系、所述多个相机各自的内参确定所述多个相机各自对应的深度图；
基于所述多个相机各自对应的深度图和所述多个相机各自采集的图像，确定所述多个相机各自采集的图像的对齐图像。
5.根据权利要求4所述的图像对齐方法，其特征在于，所述基于所述目标场景对应的深度图、所述深度测量设备和所述多个相机之间的相对变换关系、所述多个相机各自的内参确定所述多个相机各自对应的深度图，包括：
基于所述目标场景对应的深度图、所述深度测量设备和所述多个相机之间的相对变换关系，确定所述多个相机各自的相机坐标系下的坐标数据；
基于所述多个相机各自的相机坐标系下的坐标数据和所述多个相机各自的内参，确定所述多个相机各自对应的深度图。
6.根据权利要求4所述的图像对齐方法，其特征在于，所述基于所述多个相机各自对应的深度图和所述多个相机各自采集的图像，确定所述多个相机各自采集的图像的对齐图像，包括：
基于所述多个相机各自的地理位置信息，确定所述多个相机对应的虚拟相机的虚拟视点；
基于所述虚拟视点和所述多个相机之间的相机相对变换关系，确定所述多个相机各自对应的虚拟相对变换关系，其中，所述虚拟相对变换关系为所述相机与所述虚拟视点之间的相对变换关系；
基于所述多个相机各自的内参、所述虚拟相机的内参、所述多个相机各自对应的深度图和所述多个相机各自对应的虚拟相对变换关系，将所述多个相机各自采集的图像对应的图像坐标系坐标点投影到所述虚拟相机的像平面，以确定所述对齐图像。
7.根据权利要求2所述的图像对齐方法，其特征在于，所述第一深度测量装置包括激光雷达，所述第二深度测量装置包括双目相机。
8.一种图像对齐装置，其特征在于，包括：
确定模块，配置为基于飞行器中的深度测量设备确定目标场景对应的深度图，其中，所述深度测量设备包括至少两个测量原理不同的深度测量装置；
对齐模块，配置为基于所述目标场景对应的深度图、所述飞行器中不同波段的多个相机各自采集的图像、所述深度测量设备和所述多个相机之间的相对变换关系，确定所述多个相机各自采集的图像的对齐图像。
9.一种计算机可读存储介质，所述存储介质存储有指令，当所述指令由电子设备的处理器执行时，使得所述电子设备能够执行上述权利要求1至7任一项所述的图像对齐方法。
10.一种电子设备，所述电子设备包括：
处理器；
用于存储计算机可执行指令的存储器；
所述处理器，用于执行所述计算机可执行指令，以实现上述权利要求1至7任一项所述的图像对齐方法。
CN202111046749.6A 2021-09-06 2021-09-06 图像对齐方法和装置、电子设备和计算机可读存储介质 Pending CN113781536A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111046749.6A CN113781536A (zh) 2021-09-06 2021-09-06 图像对齐方法和装置、电子设备和计算机可读存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111046749.6A CN113781536A (zh) 2021-09-06 2021-09-06 图像对齐方法和装置、电子设备和计算机可读存储介质

Publications (1)

Publication Number Publication Date
CN113781536A true CN113781536A (zh) 2021-12-10

Family

ID=78841693

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111046749.6A Pending CN113781536A (zh) 2021-09-06 2021-09-06 图像对齐方法和装置、电子设备和计算机可读存储介质

Country Status (1)

Country Link
CN (1) CN113781536A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023184740A1 (zh) * 2022-04-01 2023-10-05 奥比中光科技集团股份有限公司 图像处理系统、方法、智能终端及计算机可读存储介质

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023184740A1 (zh) * 2022-04-01 2023-10-05 奥比中光科技集团股份有限公司 图像处理系统、方法、智能终端及计算机可读存储介质

Similar Documents

Publication Publication Date Title
US9269188B2 (en) Densifying and colorizing point cloud representation of physical surface using image data
CN105225241B (zh) 无人机深度图像的获取方法及无人机
CN112017251B (zh) 标定方法、装置、路侧设备和计算机可读存储介质
US20210327287A1 (en) Uav path planning method and device guided by the safety situation, uav and storage medium
WO2021016854A1 (zh) 一种标定方法、设备、可移动平台及存储介质
CN104392435A (zh) 鱼眼相机标定方法及标定装置
CN106019264A (zh) 一种基于双目视觉的无人机危险车距识别系统及方法
WO2021195886A1 (zh) 距离确定方法、可移动平台及计算机可读存储介质
CN113111513B (zh) 传感器配置方案确定方法、装置、计算机设备及存储介质
CN111511017B (zh) 定位方法及装置、设备、存储介质
WO2020107174A1 (zh) 地面点云地图精度评估方法、装置、系统及无人机
WO2022213632A1 (zh) 用于标定毫米波雷达的方法、装置、电子设备及路侧设备
US20220253057A1 (en) Image processing-based laser emission and dynamic calibration apparatus and method, device and medium
CN115359130B (zh) 雷达和相机的联合标定方法、装置、电子设备及存储介质
CN112911249A (zh) 目标对象的跟踪方法、装置、存储介质及电子装置
CN113781536A (zh) 图像对齐方法和装置、电子设备和计算机可读存储介质
EP3276576A1 (en) Disparity estimation by fusion of range data and stereo data
CN109146936B (zh) 一种图像匹配方法、装置、定位方法及系统
WO2020237422A1 (zh) 航测方法、飞行器及存储介质
JP2023503750A (ja) ロボットの位置決め方法及び装置、機器、記憶媒体
CN113674331A (zh) 图像对齐方法和装置、电子设备和计算机可读存储介质
CN113112551B (zh) 相机参数的确定方法、装置、路侧设备和云控平台
CN114359425A (zh) 正射图像生成方法及装置、正射指数图生成方法及装置
CN113340433A (zh) 温度测量方法、装置、存储介质及电子装置
CN114693807A (zh) 一种输电线路图像与点云的映射数据重构方法及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination