CN112132874A - 无标定板异源图像配准方法、装置、电子设备及存储介质 - Google Patents

无标定板异源图像配准方法、装置、电子设备及存储介质 Download PDF

Info

Publication number
CN112132874A
CN112132874A CN202011009665.0A CN202011009665A CN112132874A CN 112132874 A CN112132874 A CN 112132874A CN 202011009665 A CN202011009665 A CN 202011009665A CN 112132874 A CN112132874 A CN 112132874A
Authority
CN
China
Prior art keywords
coordinate
target
target detection
mapping relation
detection frame
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202011009665.0A
Other languages
English (en)
Other versions
CN112132874B (zh
Inventor
刘洋
刘华平
肖佳欣
杨东方
翟玉翔
杨艳丽
肖鹏
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Xian University of Posts and Telecommunications
Rocket Force University of Engineering of PLA
Original Assignee
Xian University of Posts and Telecommunications
Rocket Force University of Engineering of PLA
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Xian University of Posts and Telecommunications, Rocket Force University of Engineering of PLA filed Critical Xian University of Posts and Telecommunications
Priority to CN202011009665.0A priority Critical patent/CN112132874B/zh
Publication of CN112132874A publication Critical patent/CN112132874A/zh
Application granted granted Critical
Publication of CN112132874B publication Critical patent/CN112132874B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10048—Infrared image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Image Processing (AREA)
  • Studio Devices (AREA)

Abstract

本发明公开了一种无标定板异源图像配准方法、装置、电子设备及存储介质，方法包括：采用基于深度学习的目标智能检测算法对异源图像同时进行检测，分别得到同一目标在不同图像中的目标检测框，分别记为第一和第二目标检测框；记录第一目标检测框和第二目标检测框的四个角点坐标；将目标移动n个位置，重复步骤2得到n个位置对应的n对目标检测框，同时记录其对应点第二、第四坐标；构建映射矩阵得到满足预设映射关系表达式；求解预设映射关系表达式得到满足映射关系的参数，根据满足映射关系的参数完成异源图像配准。本发明借助目标智能检测算法分别在异源图中进行目标检测，利用检测结果计算异源图像之间的映射关系矩阵，实现异源图像自动配准。

Description

无标定板异源图像配准方法、装置、电子设备及存储介质
技术领域
本发明属于图像处理技术领域，具体涉及一种无标定板异源图像配准方法及其方法。
背景技术
图像配准是图像处理的一种重要应用，用于一组图像数据中的两幅图像，通过寻找一种空间变换把一副图像，也被称为浮动图形，映射到另一副参考图像之上，使得两图中的对应于空间同一位置的点一一对应起来，从而达到信息融合的目的。
相对于可见光图像，红外图像具有不受雨雪、风霜等恶劣环境影响、成像清楚、准确度高、能够识别伪装和抗干扰等特点，且可以24小时全天候工作。因此可以借助于红外图像针对同一场景同视角下可见光图像进行图像配准。由于不同成像传感器内部参数、视场、靶面尺寸或者拍摄角度等物理条件的差异，同一场景的可见光和红外图像并不能做到完全对准，需要对这两种相机进行配准。常用的可见光和红外相机配准方法为基于特征的图像配准方法。基于特征的图像匹配算法尽管被广泛的应用，但是这需要提取红外及可见光图像的特征。同时该类方法中最著名的SURF算子通过提取特征点，然后根据各特征点之间的向量距离确定匹配关系并进行变换矩阵计算。
但是，SURF算子有一定的误匹配率，即便后续使用RANSAC算法可以过滤一部分误匹配的特征点，但消耗了大量的处理资源，对于计算能力有限且实时性要求极高的嵌入式平台来说并不适用。此外，采用SURF方法所提取的图像特征点在红外和可见光等不同模态图像上表现形式不同，难以实现空间中同一点在不同模态图像上的描述。
发明内容
为了解决现有技术中存在的上述问题，本发明提供了一种无标定板异源图像配准方法及其方法。
本发明的一个实施例提供了一种无标定板异源图像配准方法，该无标定板异源图像配准方法包括：
步骤1、通过红外摄像头与可见光摄像头分别拍摄同一目标分别得到第一目标图像、第二目标图像，采用基于深度学习的目标智能检测算法分别对红外摄像头与可见光摄像头在同场景同视角下拍摄的第一目标图像和第二目标图像进行目标检测，分别得到第一目标检测框与第二目标检测框；
步骤2、确定所述第一目标检测框在世界坐标系下的第一坐标，根据所述第一坐标得到像素坐标系下的第二坐标，以及确定所述第二目标检测框在世界坐标系下的第三坐标，并根据所述第三坐标得到像素坐标系下的第四坐标；
步骤3、将目标移动n个位置，每次移动通过步骤1～2得到一组像素坐标系下的第二坐标、第四坐标，n次移动得到n组像素坐标系下的第二坐标、第四坐标；
步骤4、构建映射关系矩阵，使得n+1组像素坐标系下的第二坐标与n+1组像素坐标系下的第四坐标对应点满足预设映射关系表达式；
步骤5、采用最小二乘法求解所述预设映射关系表达式得到所述红外摄像头拍摄下像素坐标系的第二坐标和所述可见光摄像头拍摄下像素坐标系的第四坐标之间的关系参数，根据所述关系参数完成异源图像的配准。
在本发明的一个实施例中，步骤2中：
确定的所述第一目标检测框包括四个角点，所述第一目标检测框的四个角点在世界坐标系下第一坐标分别为A0(0,0,0)，B0(0,0,h)，C0(x,0,h)，D0(x,0,0)；
根据所述第一坐标得到所述第一目标检测框的四个角点在像素坐标系下的第二坐标，分别为a0(u0,v0)，b0(u0,v0+h0)，c0(u0+x0,v0+h0)，d0(u0+x0,v0)；
确定的所述第二目标检测框包括四个角点，所述第二目标检测框的四个角点在世界坐标系下的第三坐标分别为A’0(0,0,0)，B’0(0,0,h’)，C’0(x’,0,h’)，D’0(x’,0,0)；
根据所述第三坐标得到所述第二目标检测框的四个角点在像素坐标系下的第四坐标分别为a0’(u’0+v’0)，b0’(u’0,v’0+h0’)，c0’(u’0+x0’,v’0+h0’)，d0’(u’0+x0’,v’0)。
在本发明的一个实施例中，步骤3中：
n次移动后得到n组所述第一目标检测框的四个角点在像素坐标系下的第二坐标，分别为a1...an，b1...bn，c1...cn，d1...dn；
n次移动后得到n组所述第二目标检测框的四个角点在像素坐标系下的第四坐标，分别为a1’...an’，b1’...bn’，c1’...cn’，d1’...dn’。
在本发明的一个实施例中，步骤4中构建的所述映射关系矩阵表示为：
Figure BDA0002697150820000031
其中，U为映射关系矩阵，θ为可见光摄像头、红外摄像头的像素坐标系之间的夹角。
在本发明的一个实施例中，步骤4中的所述预设映射关系表达式为：
Figure BDA0002697150820000041
在本发明的一个实施例中，步骤5中采用最小二乘法求解所述预设映射关系表达式包括：
在所述预设映射关系表达式中加入误差参数；
采用最小二乘法求解加入误差参数的预设映射关系表达式得到对应的满足映射关系的参数；
根据所述满足映射关系的参数确定目标在所述红外摄像头拍摄下像素坐标系的第二坐标和所述可见光摄像头拍摄下像素坐标系的第四坐标之间满足映射关系的参数，根据所述满足映射关系的参数完成异源图像的配准。
本发明的另一个实施例提供了一种无标定板的异源图像智能配准装置，包括：
目标数据获取模块，用于通过红外摄像头与可见光摄像头分别拍摄同一目标分别得到第一目标图像、第二目标图像，采用基于深度学习的目标智能检测算法分别对红外摄像头与可见光摄像头在同场景同视角下拍摄的第一目标图像和第二目标图像进行目标检测，分别得到第一目标检测框与第二目标检测框；
第一目标数据坐标确定模块，用于确定所述第一目标检测框在世界坐标系下的第一坐标，根据所述第一坐标得到像素坐标系下的第二坐标，以及确定所述第二目标检测框在世界坐标系下的第三坐标，并根据所述第三坐标得到像素坐标系下的第四坐标；
第二目标数据坐标确定模块，用于将目标移动n个位置，每次移动得到一组像素坐标系下的第二坐标、第四坐标，n次移动得到n组像素坐标系下的第二坐标、第四坐标；
目标数据映射关系构建模块，用于构建映射关系矩阵，使得n+1组像素坐标系下的第二坐标与n+1组像素坐标系下的第四坐标对应点满足预设映射关系表达式；
目标数据配准模块，用于采用最小二乘法求解所述预设映射关系表达式得到所述红外摄像头拍摄下每组像素坐标系的第二坐标和所述可见光摄像头拍摄下每组像素坐标系的第四坐标之间满足映射关系的参数，根据所述满足映射关系的参数完成异源图像的配准。
本发明的再一个实施例提供了一种无标定板异源图像配准电子设备，所述电子设备包括处理器、通信接口、存储器和通信总线，其中，所述处理器、所述通信接口、所述存储器通过所述通信总线完成相互间的通信；
所述存储器，用于存放计算机程序；
所述处理器，用于执行所述存储器上存放的所述计算机程序时，实现上述任一项所述的无标定板异源图像配准方法。
本发明的又一个实施例提供了一种计算机可读存储介质，所述计算机可读存储介质内存储有计算机程序，所述计算机程序被处理器执行时实现上述任一项所述的无标定板异源图像配准方法。
与现有技术相比，本发明的有益效果：
本发明提供的无标定板异源图像配准方法，借助于基于深度学习的目标智能检测算法分别在红外图像和可见光图像中进行目标人物检测，利用检测结果计算异源图像之间的映射关系矩阵，从而实现异源成像系统的智能自动配准，配准率高，且该方法无需大量的处理资源，适用于任何嵌入式处理平台。
以下将结合附图及实施例对本发明做进一步详细说明。
附图说明
图1为本发明实施例提供的一种无标定板异源图像配准方法的流程示意图；
图2为本发明实施例提供的一种无标定板异源图像配准方法中使用的映射关系矩阵对应的映射变换示意图；
图3为本发明实施例提供的一种无标定板异源图像配准装置的结构示意图；
图4为本发明实施例提供的一种无标定板异源图像配准电子设备的结构示意图；
图5为本发明实施例提供的一种计算机可读存储介质的结构示意图。
具体实施方式
下面结合具体实施例对本发明做进一步详细的描述，但本发明的实施方式不限于此。
实施例一
为了实现异源图像的简单快速配准，对于可见光图像，红外图像具有不受雨雪、风霜等恶劣环境影响、成像清楚、准确度高、能够识别伪装和抗干扰等特点，且可以24小时全天候工作，本实施例借助于红外图像针对同一场景同视角下可见光图像进行图像配准。请参见图1，图1为本发明实施例提供的一种无标定板异源图像配准方法的流程示意图。本发明实施例提供了一种无标定板异源图像配准方法，该无标定板异源图像配准方法包括以下步骤：
步骤1、通过红外摄像头与可见光摄像头分别拍摄同一目标分别得到第一目标图像、第二目标图像，采用基于深度学习的目标智能检测算法分别对红外摄像头与可见光摄像头在同场景同视角下拍摄的第一目标图像和第二目标图像进行目标检测，分别得到第一目标检测框与第二目标检测框。
具体而言，本实施例为基于红外和可见光这两种异源图像组成的多源成像系统，首先，通过红外摄像头拍摄目标得到第一目标图像，采用从第一目标图像中使用第一检测框选出目标人物。同理，再通过可见光摄像头拍摄目标得到第二目标图像，再次采用基于深度学习的目标智能检测算法检测框选出与红外摄像头捕捉的同一场景同一视角下的目标人物。本实施例第一目标检测框检测出目标人物、第二目标检测框检测出目标人物采用的目标检测yolo算法可相同、可不相同。其中，基于深度学习的目标智能检测算法包括目标检测yolo算法、一阶段式多框检测算法(Single Shot MultiBox Detector，简称SSD)、区域神经网络检测算法(Region-CNN Detector，简称R-CNN-D)、更快速的区域神经网络检测算法(Faster Region-CNN，简称F-R-CNN-D)。
步骤2、确定第一目标检测框在世界坐标系下的第一坐标，根据第一坐标得到像素坐标系下的第二坐标，以及确定第二目标检测框在世界坐标系下的第三坐标，并根据第三坐标得到像素坐标系下的第四坐标。
具体而言，本实施例步骤1得到了红外摄像头检测出目标人物的第一目标检测框、可见光摄像头检测出目标人物的第二目标检测框，利用现有方法确定第一目标检测框在世界坐标系下的第一坐标、确定第二目标检测框在世界坐标系下的第三坐标，然后再利用现有世界坐标系与像素坐标系转换的方法，根据第一坐标得到像素坐标系下的第二坐标、根据第三坐标得到像素坐标系下的第四坐标，具体地：
本实施例确定的第一目标检测框包括四个角点，记录第一次得出的第一目标检测框四个角点在世界坐标系下第一坐标分别为：A0(0,0,0)，B0(0,0,h)，C0(x,0,h)，D0(x,0,0)，其中，在世界坐标系下的x与h的数值是已知的。将第一次世界坐标系下的第一坐标转换为像素坐标系下的第二坐标分别为a0(u0,v0)，b0(u0,v0+h0)，c0(u0+x0,v0+h0)，d0(u0+x0,v0)，在像素坐标系下的x0与h0的数值是已知的。
同理，本实施例确定的第二目标检测框也包括四个角点，记录第一次得出的第二目标检测框四个角点在世界坐标系下第三坐标分别为：A’0(0,0,0)，B’0(0,0,h’)，C’0(x’,0,h’)，D’0(x’,0,0)其中，在世界坐标系下的x′与h′的数值是已知的。将第一次世界坐标系下的第三坐标转换为像素坐标系下的第四坐标分别为a0’(u’0+v’0)，b0’(u’0,v’0+h0’)，c0’(u’0+x0’,v’0+h0’)，d0’(u’0+x0’,v’0)，在像素坐标系下的x′0与h′0的数值是已知的。
步骤3、将目标移动n个位置，每次移动通过步骤1～2得到一组像素坐标系下的第二坐标、第四坐标，n次移动得到n组像素坐标系下的第二坐标、第四坐标。
具体而言，为了提高配准的精度，本实施例红外摄像头拍摄时，让目标向左或右移动n个位置，每次移动一定距离si，i＝1～n，再每次通过红外摄像头拍摄目标得到第一目标图像，每次采用基于深度学习的目标智能检测算法使用新的第一目标检测框选出目标人物，根据移动后得出新的第一目标检测框四个角点坐标得出其在世界坐标系下的第一坐标，具体地，若目标向右移动的距离为si，目标经每次移动之后的第一目标检测框四个角点在世界坐标系下的第三坐标为Ai(si,0,0)，Bi(si,0,hi)，Ci(xi+si,0,hi)，Di(xi+si,0,0)，si是目标在世界坐标系下发生的位移，且其位移si的数值为已知的。将每次移动后得到的世界坐标系下的第三坐标转换为像素坐标系下的第四坐标为ai(ui,vi)，bi(ui,vi+hi)，ci(ui+xi,vi+hi)，di(ui+xi,vi)，从而得到第一目标检测框的n组像素坐标系下的第二坐标分别将其记录为a1...an，b1...bn，c1...cn，d1...dn。
同理，本实施例可见光摄像头拍摄时，同样让目标向左或右移动n次，每次移动一定距离s’i，i＝1～n，再每次通过红外摄像头拍摄目标得到第一目标图像，每次采用基于深度学习的目标智能检测算法使用新的第一目标检测框选出目标人物，根据移动后得出新的第一目标检测框四个角点坐标得出其在世界坐标系下的第一坐标，具体地，若目标向右移动的距离为s’i，目标经每次移动之后的第一目标检测框四个角点在世界坐标系下的第三坐标为A’i(s’i,0,0)，B’i(s’i,0,h’i)，Ci(x’i+s’i,0,h’i)，D’i(x’i+s’i,0,0)，s’i是目标在世界坐标系下发生的位移，且其位移s’i的数值为已知的。将每次移动后得到的世界坐标系下的第三坐标转换为像素坐标系下的第四坐标为a’i(u’i,v’i)，b’i(u’i,v’i+h’i)，c’i(u’i+x’i,v’i+h’i)，d’i(u’i+x’i,v’i)，从而得到第二目标检测框的n组可见光摄像头像素坐标系下的第四坐标分别将其记录为a1’...an’,b1’...bn’,c1’...cn’,d1’...dn’。
步骤4、构建映射关系矩阵，使得n+1组像素坐标系下的第二坐标与n+1组像素坐标系下的第四坐标对应点满足预设映射关系表达式。
具体而言，本实施例首先要找出映射关系矩阵U，使得分别在可见光摄像头下的像素坐标系中的第二坐标与红外摄像头下的像素坐标系中的第四坐标对应点满足预设映射关系表达式，本实施例预设映射关系表达式表示为：
Figure BDA0002697150820000101
其中，a0...an、a1’...an’为由步骤2、步骤3得到n+1组像素坐标系下的第二坐标与n+1组像素坐标系下的第四坐标，U为映射关系矩阵，请参见图2，图2为本发明实施例提供的一种无标定板异源图像配准方法中使用的映射关系矩阵对应的映射变换示意图，本实施例构建的映射关系矩阵求解方法具体如下：
假设目标在ai处的红外摄像头的像素坐标系下的第二坐标为(ui,vi)T，目标在a’i处的可见光摄像头的像素坐标系下的坐标为(u’i,v’i)T。令
Figure BDA0002697150820000102
则由图2可知，世界坐标系与像素坐标系的转换为：
Figure BDA0002697150820000103
可以看出，有u’i和v’i实际上是x在其坐标轴上的投影大小，所以可以直接做内积可得：
Figure BDA0002697150820000104
设可见光摄像头与红外摄像头的像素坐标系之间的夹角为θ，则可以推断出有
Figure BDA0002697150820000105
得出红外摄像头的像素坐标系、可见光摄像头的像素坐标系之间的映射关系矩阵表示为：
Figure BDA0002697150820000111
则可以得到红外摄像头的像素坐标系、可见光摄像头的像素坐标系之间的关系表示为：
Figure BDA0002697150820000112
在上述公式(5)得出的红外摄像头的像素坐标系、可见光摄像头的像素坐标系之间关系的基础上，加上平移、缩放，将公式(5)更新为：
Figure BDA0002697150820000113
其中，n0、p0分别为坐标原点在x轴和y轴上坐标平移的数据，m1、m2分别为在x轴和y轴方向上的缩放比例。若有n1＝m1cosθ，p1＝-m1sinθ，n2＝m2sinθ，p2＝m2cosθ，则上述公式(6)更新为：
Figure BDA0002697150820000114
公式(7)中含有6个满足映射关系的参数，分别为n0、p0、n1、p1、n2、p2。可见，完成世界坐标系与像素坐标系之间的转换，从而完成双光图像的配准，首先需要求出上述条件中的6个满足映射关系的参数。
步骤5、采用最小二乘法求解预设关系表达式得到红外摄像头拍摄下像素坐标系的第二坐标和可见光摄像头拍摄下像素坐标系的第四坐标之间满足映射关系的参数，根据满足映射关系的参数完成异源图像的配准。
具体而言，本实施例针对公式(7)的线性模型，采用最小二乘法求解公式(7)的预设关系表达式，所选择的线性模型使得所有观察值的残差平方和达到最小。以下是本实施例最小二乘法实现的具体步骤：
具体而言，本实施例首先在预设映射关系表达式中加入误差参数，加入误差参数的预设映射关系表达式表示为：
Figure BDA0002697150820000121
其中，exi、eyi分别为x轴、y轴方向加入的误差参数，本实施例通过最小二乘法求解加入误差参数的预设映射关系表达式，计算exi、eyi误差参数的最小值就找出了可见光摄像头与红外摄像头像素坐标之间最接近的映射关系，得到对应满足映射关系的参数n0、p0、n1、p1、n2、p2。具体地：
本实施例通过最小二乘法求解的最优化目标函数表示为：
Figure BDA0002697150820000122
由于世界坐标系下的第二坐标(ui,vi)、像素坐标系下的第四坐标(u’i,v’i)均为已知数据，故通过最小二乘法求解的最优化目标函数得到的最优化目标值可以看成是n0、p0、n1、p1、n2、p2的极小值。因极值点导数为0，则最优化目标函数可以简化表示为：
Figure BDA0002697150820000123
Figure BDA0002697150820000124
通过最小二乘法求解公式(10)、公式(11)化简后的目标函数，分别得到n0、p0、n1、p1、n2、p2表达式为：
Figure BDA0002697150820000131
Figure BDA0002697150820000132
通过公式(12)和(13)得出了满足映射关系的参数。在步骤2、步骤3可知第一目标检测框的四个角点在像素坐标系下的第二坐标、第二目标检测框的四个角点在像素坐标系下的第四坐标，通过上述求解过程得到满足映射关系的参数n0、p0、n1、p1、n2、p2，结合公式(7)可以确定目标在红外摄像头拍摄下每组像素坐标系的第二坐标和可见光摄像头拍摄下每组像素坐标系的第四坐标之间的关系，从而完成异源图像的配准。
需要说的是，本实施例步骤3中i取值是1～n，确定是n个位置移动后的(a1...an，b1...bn，c1...cn，d1...dn)与(a1’...an’,b1’...bn’,c1’...cn’,d1’...dn’)，步骤4中的i取值是0～n，步骤4中求解确定是(a0...an，b1...bn，c1...cn，d1...dn)分别与(a0’...an’,b1’...bn’,c1’...cn’,d1’...dn’)之间的关系。
综上所述，本实施例提出的无标定板异源图像配准方法，是一种更加简单智能的异源图像配准方法。以红外和可见光这两种异源图像组成的多源成像为例，借助基于深度学习的目标智能检测算智能检测图像，分别在红外图像和可见光图像中进行目标人物检测，利用检测获取的目标框像素坐标系下的四点坐标计算异源图像之间的映射关系矩阵，改善了异源图像间缺乏明显共有目标特征点的缺点，从而实现异源成像系统的智能自动配准，由红外摄像头采集包含目标人物和背景的红外图像，然后针对包含同样背景和目标人物的可见光图像进行图像配准，配准率高，且该方法无需大量的处理资源，使得异源图像间能够较易、较快的完成配准，适用于任何嵌入式处理平台。
实施例二
在上述实施例一的基础上，请参见图3，图3为本发明实施例提供的一种无标定板异源图像配准装置的结构示意图。本实施例提供了一种无标定板异源图像配准装置，该装置包括：
目标数据获取模块，用于通过红外摄像头与可见光摄像头分别拍摄同一目标分别得到第一目标图像、第二目标图像，采用基于深度学习的目标智能检测算法分别对红外摄像头与可见光摄像头在同场景同视角下拍摄的第一目标图像和第二目标图像进行目标检测，分别得到第一目标检测框与第二目标检测框。
第一目标数据坐标确定模块，用于确定第一目标检测框在世界坐标系下的第一坐标，根据第一坐标得到像素坐标系下的第二坐标，以及确定第二目标检测框在世界坐标系下的第三坐标，并根据第三坐标得到像素坐标系下的第四坐标。
具体而言，本实施例目标数据坐标确定模块中确定的第一目标检测框包括四个角点，第一目标检测框的四个角点在世界坐标系下第一坐标分别为A0(0,0,0)，B0(0,0,h)，C0(x,0,h)，D0(x,0,0)；
根据第一坐标得到第一目标检测框的四个角点在像素坐标系下的第二坐标，分别为a0(u0,v0)，b0(u0,v0+h0)，c0(u0+x0,v0+h0)，d0(u0+x0,v0)；
确定的第二目标检测框包括四个角点，第二目标检测框的四个角点在世界坐标系下的第三坐标分别为A’0(0,0,0)，B’0(0,0,h’)，C’0(x’,0,h’)，D’0(x’,0,0)；
根据第三坐标得到第二目标检测框的四个角点在像素坐标系下的第四坐标分别为a0’(u’0+v’0)，b0’(u’0,v’0+h0’)，c0’(u’0+x0’,v’0+h0’)，d0’(u’0+x0’,v’0)。
第二目标数据坐标确定模块，用于将目标移动n个位置，每次移动得到一组像素坐标系下的第二坐标、第四坐标，n次移动得到n组像素坐标系下的第二坐标、第四坐标。
具体而言，本实施例第二目标数据获取模块中n次移动后得到第一目标检测框的四个角点在像素坐标系下的第二坐标，分别为a1...an，b1...bn，c1...cn，d1...dn；
n次移动后得到第二目标检测框的四个角点在像素坐标系下的第四坐标，分别为a1’...an’，b1’...bn’，c1’...cn’，d1’...dn’。
目标数据映射关系构建模块，用于构建映射关系矩阵，使得n+1组像素坐标系下的第二坐标与n+1组像素坐标系下的第四坐标对应点满足预设映射关系表达式。
具体而言，本实施例目标数据映射关系构建模块中构建的映射关系矩阵表示为：
Figure BDA0002697150820000151
其中，U为映射关系矩阵，θ为可见光摄像头、红外摄像头的像素坐标系之间的夹角。
进一步地，本实施例预设映射关系表达式为：
Figure BDA0002697150820000161
目标数据配准模块，用于采用最小二乘法求解预设映射关系表达式得到红外摄像头拍摄下像素坐标系的第二坐标和可见光摄像头拍摄下像素坐标系的第四坐标之间满足映射关系的参数，根据满足映射关系的参数完成异源图像的配准。
具体而言，本实施例目标数据配准模块中采用最小二乘法求解预设映射关系表达式包括：
在预设映射关系表达式中加入误差参数；
采用最小二乘法求解加入误差参数的预设映射关系表达式得到对应的满足映射关系的参数；
根据满足映射关系的参数确定目标在红外摄像头拍摄下像素坐标系的第二坐标和可见光摄像头拍摄下像素坐标系的第四坐标之间的关系，以完成异源图像的配准。
本实施例提供的一种无标定板异源图像配准装置，可以执行上述无标定板异源图像配准方法实施例，其实现原理和技术效果类似，在此不再赘述。
实施例三
在上述实施例二的基础上，请参见图4，图4为本发明实施例提供的一种无标定板异源图像配准电子设备结构示意图。本实施例提供了一种无标定板异源图像配准电子设备，该电子设备包括处理器、通信接口、存储器和通信总线，其中，处理器、通信接口、存储器通过通信总线完成相互间的通信；
存储器，用于存放计算机程序；
处理器，用于执行存储器上所存放的计算机程序时，该计算机程序被处理器执行时实现以下步骤：
步骤1、通过红外摄像头与可见光摄像头分别拍摄同一目标分别得到第一目标图像、第二目标图像，采用基于深度学习的目标智能检测算法分别对红外摄像头与可见光摄像头在同场景同视角下拍摄的第一目标图像和第二目标图像进行目标检测，分别得到第一目标检测框与第二目标检测框。
步骤2、确定第一目标检测框在世界坐标系下的第一坐标，根据第一坐标得到像素坐标系下的第二坐标，以及确定第二目标检测框在世界坐标系下的第三坐标，并根据第三坐标得到像素坐标系下的第四坐标。
具体而言，本实施例步骤2中确定的第一目标检测框包括四个角点，第一目标检测框的四个角点在世界坐标系下第一坐标分别为A0(0,0,0)，B0(0,0,h)，C0(x,0,h)，D0(x,0,0)；
根据第一坐标得到第一目标检测框的四个角点在像素坐标系下的第二坐标，分别为a0(u0,v0)，b0(u0,v0+h0)，c0(u0+x0,v0+h0)，d0(u0+x0,v0)；
确定的第二目标检测框包括四个角点，第二目标检测框的四个角点在世界坐标系下的第三坐标分别为A’0(0,0,0)，B’0(0,0,h’)，C’0(x’,0,h’)，D’0(x’,0,0)；
根据第三坐标得到第二目标检测框的四个角点在像素坐标系下的第四坐标分别为a0’(u’0+v’0)，b0’(u’0,v’0+h0’)，c0’(u’0+x0’,v’0+h0’)，d0’(u’0+x0’,v’0)。
步骤3、将目标移动n个位置，每次移动得到一组像素坐标系下的第二坐标、第四坐标，n次移动得到n组像素坐标系下的第二坐标、第四坐标。
具体而言，本实施例步骤3中n次移动后得到第一目标检测框的四个角点在像素坐标系下的第二坐标，分别为a1...an，b1...bn，c1...cn，d1...dn；
n次移动后得到第二目标检测框的四个角点在像素坐标系下的第四坐标，分别为a1’...an’，b1’...bn’，c1’...cn’，d1’...dn’。
步骤4、构建映射关系矩阵，使得n+1组像素坐标系下的第二坐标与n+1组像素坐标系下的第四坐标对应点满足预设映射关系表达式。
具体而言，本实施例步骤4中构建的映射关系矩阵表示为：
Figure BDA0002697150820000181
其中，U为映射关系矩阵，θ为可见光摄像头、红外摄像头的像素坐标系之间的夹角。
进一步地，本实施例预设映射关系表达式为：
Figure BDA0002697150820000182
步骤5、采用最小二乘法求解预设映射关系表达式得到红外摄像头拍摄下像素坐标系的第二坐标和可见光摄像头拍摄下像素坐标系的第四坐标之间满足映射关系的参数，根据满足映射关系的参数完成异源图像的配准。
具体而言，本实施例步骤5中采用最小二乘法求解预设映射关系表达式包括：
在预设映射关系表达式中加入误差参数；
采用最小二乘法求解加入误差参数的预设映射关系表达式得到对应的满足映射关系的参数；
根据满足映射关系的参数确定目标在红外摄像头拍摄下每组像素坐标系的第二坐标和可见光摄像头拍摄下每组像素坐标系的第四坐标之间的关系，以完成异源图像的配准。
本实施例提供的一种无标定板异源图像配准电子设备，可以执行上述无标定板异源图像配准方法实施例和上述无标定板异源图像配准装置实施例，其实现原理和技术效果类似，在此不再赘述。
实施例四
在上述实施例三的基础上，请参见图5，图5为本发明实施例提供的一种计算机可读存储介质的结构示意图。本实施例提供的一种计算机可读存储介质，其上存储有计算机程序，上述计算机程序被处理器执行时实现以下步骤：
步骤1、通过红外摄像头与可见光摄像头分别拍摄同一目标分别得到第一目标图像、第二目标图像，采用基于深度学习的目标智能检测算法分别对红外摄像头与可见光摄像头在同场景同视角下拍摄的第一目标图像和第二目标图像进行目标检测，分别得到第一目标检测框与第二目标检测框。
步骤2、确定第一目标检测框在世界坐标系下的第一坐标，根据第一坐标得到像素坐标系下的第二坐标，以及确定第二目标检测框在世界坐标系下的第三坐标，并根据第三坐标得到像素坐标系下的第四坐标。
具体而言，本实施例步骤2中确定的第一目标检测框包括四个角点，第一目标检测框的四个角点在世界坐标系下第一坐标分别为A0(0,0,0)，B0(0,0,h)，C0(x,0,h)，D0(x,0,0)；
根据第一坐标得到第一目标检测框的四个角点在像素坐标系下的第二坐标，分别为a0(u0,v0)，b0(u0,v0+h0)，c0(u0+x0,v0+h0)，d0(u0+x0,v0)；
确定的第二目标检测框包括四个角点，第二目标检测框的四个角点在世界坐标系下的第三坐标分别为A’0(0,0,0)，B’0(0,0,h’)，C’0(x’,0,h’)，D’0(x’,0,0)；
根据第三坐标得到第二目标检测框的四个角点在像素坐标系下的第四坐标分别为a0’(u’0+v’0)，b0’(u’0,v’0+h0’)，c0’(u’0+x0’,v’0+h0’)，d0’(u’0+x0’,v’0)。
步骤3、将目标移动n个位置，每次移动得到一组像素坐标系下的第二坐标、第四坐标，n次移动得到n组像素坐标系下的第二坐标、第四坐标。
具体而言，本实施例步骤3中n次移动后得到第一目标检测框的四个角点在像素坐标系下的第二坐标，分别为a1...an，b1...bn，c1...cn，d1...dn；
n次移动后得到第二目标检测框的四个角点在像素坐标系下的第四坐标，分别为a1’...an’，b1’...bn’，c1’...cn’，d1’...dn’。
步骤4、构建映射关系矩阵，使得n+1组像素坐标系下的第二坐标与n+1组像素坐标系下的第四坐标对应点满足预设映射关系表达式。
具体而言，本实施例步骤4中构建的映射关系矩阵表示为：
Figure BDA0002697150820000201
其中，U为映射关系矩阵，θ为可见光摄像头、红外摄像头的像素坐标系之间的夹角。
进一步地，本实施例预设映射关系表达式为：
Figure BDA0002697150820000202
步骤5、采用最小二乘法求解预设映射关系表达式得到红外摄像头拍摄下每组像素坐标系的第二坐标和可见光摄像头拍摄下每组像素坐标系的第四坐标之间满足映射关系的参数，根据满足映射关系的参数完成异源图像的配准。
具体而言，本实施例步骤5中采用最小二乘法求解预设映射关系表达式包括：
在预设映射关系表达式中加入误差参数；
采用最小二乘法求解加入误差参数的预设映射关系表达式得到对应的满足映射关系的参数；
根据满足映射关系的参数确定目标在红外摄像头拍摄下像素坐标系的第二坐标和可见光摄像头拍摄下像素坐标系的第四坐标之间的关系，以完成异源图像的配准。
本实施例提供的一种计算机可读存储介质，可以执行上述无标定板异源图像配准方法实施例、上述无标定板异源图像配准装置实施例和上述无标定板异源图像配准电子设备实施例，其实现原理和技术效果类似，在此不再赘述。
以上内容是结合具体的优选实施方式对本发明所作的进一步详细说明，不能认定本发明的具体实施只局限于这些说明。对于本发明所属技术领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干简单推演或替换，都应当视为属于本发明的保护范围。

Claims (9)

1.一种无标定板异源图像配准方法，其特征在于，包括以下步骤：
步骤1、通过红外摄像头与可见光摄像头分别拍摄同一目标分别得到第一目标图像、第二目标图像，采用基于深度学习的目标智能检测算法分别对红外摄像头与可见光摄像头在同场景同视角下拍摄的第一目标图像和第二目标图像进行目标检测，分别得到第一目标检测框与第二目标检测框；
步骤2、确定所述第一目标检测框在世界坐标系下的第一坐标，根据所述第一坐标得到像素坐标系下的第二坐标，以及确定所述第二目标检测框在世界坐标系下的第三坐标，并根据所述第三坐标得到像素坐标系下的第四坐标；
步骤3、将目标移动n个位置，每次移动通过步骤1～2得到一组像素坐标系下的第二坐标、第四坐标，n次移动得到n组像素坐标系下的第二坐标、第四坐标；
步骤4、构建映射关系矩阵，使得n+1组像素坐标系下的第二坐标与n+1组像素坐标系下的第四坐标对应点满足预设映射关系表达式；
步骤5、采用最小二乘法求解所述预设映射关系表达式得到所述红外摄像头拍摄下像素坐标系的第二坐标和对应的可见光摄像头拍摄下像素坐标系的第四坐标之间满足映射关系的参数，根据所述满足映射关系的参数完成异源图像的配准。
2.根据权利要求1所述的无标定板异源图像配准方法，其特征在于，步骤2中：
确定的所述第一目标检测框包括四个角点，所述第一目标检测框的四个角点在世界坐标系下第一坐标分别为A0(0,0,0)，B0(0,0,h)，C0(x,0,h)，D0(x,0,0)；
根据所述第一坐标得到所述第一目标检测框的四个角点在像素坐标系下的第二坐标，分别为a0(u0,v0)，b0(u0,v0+h0)，c0(u0+x0,v0+h0)，d0(u0+x0,v0)；
确定的所述第二目标检测框包括四个角点，所述第二目标检测框的四个角点在世界坐标系下的第三坐标分别为A'0(0,0,0)，B'0(0,0,h')，C'0(x',0,h')，D'0(x',0,0)；
根据所述第三坐标得到所述第二目标检测框的四个角点在像素坐标系下的第四坐标分别为a0'(u'0+v'0)，b0'(u'0,v'0+h0')，c0'(u'0+x0',v'0+h0')，d0'(u'0+x0',v'0)。
3.根据权利要求2所述的无标定板异源图像配准方法，其特征在于，步骤3中：
n次移动后得到n组所述第一目标检测框的四个角点在像素坐标系下的第二坐标，分别为a1...an，b1...bn，c1...cn，d1...dn；
n次移动后得到n组所述第二目标检测框的四个角点在像素坐标系下的第四坐标，分别为a1'...an'，b1'...bn'，c1'...cn'，d1'...dn'。
4.根据权利要求3所述的无标定板异源图像配准方法，其特征在于，步骤4中构建的所述映射关系矩阵表示为：
Figure FDA0002697150810000021
其中，U为映射关系矩阵，θ为可见光摄像头、红外摄像头的像素坐标系之间的夹角。
5.根据权利要求4所述的无标定板异源图像配准方法，其特征在于，步骤4中的所述预设映射关系表达式为：
Figure FDA0002697150810000031
6.根据权利要求5所述的无标定板异源图像配准方法，其特征在于，步骤5中采用最小二乘法求解所述预设映射关系表达式包括：
在所述预设映射关系表达式中加入误差参数；
采用最小二乘法求解加入误差参数的预设映射关系表达式得到对应的满足映射关系的参数；
根据所述满足映射关系的参数确定目标在所述红外摄像头拍摄下每组像素坐标系的第二坐标和所述可见光摄像头拍摄下每组像素坐标系的第四坐标之间的关系，以完成异源图像的配准。
7.一种无标定板异源图像配准装置，其特征在于，包括：
目标数据获取模块，用于通过红外摄像头与可见光摄像头分别拍摄同一目标分别得到第一目标图像、第二目标图像，采用基于深度学习的目标智能检测算法分别对红外摄像头与可见光摄像头在同场景同视角下拍摄的第一目标图像和第二目标图像进行目标检测，分别得到第一目标检测框与第二目标检测框；
第一目标数据坐标确定模块，用于确定所述第一目标检测框在世界坐标系下的第一坐标，根据所述第一坐标得到像素坐标系下的第二坐标，以及确定所述第二目标检测框在世界坐标系下的第三坐标，并根据所述第三坐标得到像素坐标系下的第四坐标；
第二目标数据坐标确定模块，用于将目标移动n个位置，每次移动得到一组像素坐标系下的第二坐标、第四坐标，n次移动得到n组像素坐标系下的第二坐标、第四坐标；
目标数据映射关系构建模块，用于构建映射关系矩阵，使得n+1组像素坐标系下的第二坐标与n+1组像素坐标系下的第四坐标对应点满足预设映射关系表达式；
目标数据配准模块，用于采用最小二乘法求解所述预设映射关系表达式得到所述红外摄像头拍摄下像素坐标系的第二坐标和所述可见光摄像头拍摄下像素坐标系的第四坐标之间满足映射关系的参数，根据所述满足映射关系的参数完成异源图像的配准。
8.一种无标定板的异源图像智能配准电子设备，其特征在于，所述电子设备包括处理器、通信接口、存储器和通信总线，其中，所述处理器、所述通信接口、所述存储器通过所述通信总线完成相互间的通信；
所述存储器，用于存放计算机程序；
所述处理器，用于执行所述存储器上存放的所述计算机程序时，实现权利要求1～6任一项所述的无标定板异源图像配准方法。
9.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质内存储有计算机程序，所述计算机程序被处理器执行时实现权利要求1～6任一项所述的无标定板异源图像配准方法。
CN202011009665.0A 2020-09-23 2020-09-23 无标定板异源图像配准方法、装置、电子设备及存储介质 Active CN112132874B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011009665.0A CN112132874B (zh) 2020-09-23 2020-09-23 无标定板异源图像配准方法、装置、电子设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011009665.0A CN112132874B (zh) 2020-09-23 2020-09-23 无标定板异源图像配准方法、装置、电子设备及存储介质

Publications (2)

Publication Number Publication Date
CN112132874A true CN112132874A (zh) 2020-12-25
CN112132874B CN112132874B (zh) 2023-12-05

Family

ID=73842909

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011009665.0A Active CN112132874B (zh) 2020-09-23 2020-09-23 无标定板异源图像配准方法、装置、电子设备及存储介质

Country Status (1)

Country Link
CN (1) CN112132874B (zh)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113535996A (zh) * 2021-05-27 2021-10-22 中国人民解放军火箭军工程大学 一种基于航拍图像的道路图像数据集制备方法及装置
CN113642425A (zh) * 2021-07-28 2021-11-12 北京百度网讯科技有限公司 基于多模态的图像检测方法、装置、电子设备及存储介质
CN113658265A (zh) * 2021-07-16 2021-11-16 北京迈格威科技有限公司 相机标定方法、装置、电子设备及存储介质
CN113744349A (zh) * 2021-08-31 2021-12-03 湖南航天远望科技有限公司 一种红外光谱图像测量对准方法、装置及介质
CN115100290A (zh) * 2022-06-20 2022-09-23 苏州天准软件有限公司 交通场景下的单目视觉定位方法及装置、设备、存储介质
CN115994854A (zh) * 2023-03-22 2023-04-21 智洋创新科技股份有限公司 一种标志物点云和图像配准的方法和系统

Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106548467A (zh) * 2016-10-31 2017-03-29 广州飒特红外股份有限公司 红外图像和可见光图像融合的方法及装置
CN106960449A (zh) * 2017-03-14 2017-07-18 西安电子科技大学 基于多特征约束的异源配准方法
CN107492126A (zh) * 2017-08-03 2017-12-19 厦门云感科技有限公司 摄像头中心轴的校准方法、装置、系统、介质及设备
CN107577988A (zh) * 2017-08-03 2018-01-12 东软集团股份有限公司 实现侧方车辆定位的方法、装置及存储介质、程序产品
CN109146930A (zh) * 2018-09-20 2019-01-04 河海大学常州校区 一种电力机房设备红外与可见光图像配准方法
US20190008387A1 (en) * 2017-07-10 2019-01-10 The Florida International University Board Of Trustees Integrated nir and visible light scanner for co-registered images of tissues
CN110796691A (zh) * 2018-08-03 2020-02-14 中国科学院沈阳自动化研究所 一种基于形状上下文和hog特征的异源图像配准方法
CN111080523A (zh) * 2019-12-17 2020-04-28 天津津航技术物理研究所 红外周视搜索系统及基于角度信息的红外周视图像拼接方法
CN111242991A (zh) * 2020-01-10 2020-06-05 大连理工大学 一种可见光与红外相机快速配准的方法
CN111489288A (zh) * 2019-01-28 2020-08-04 北京初速度科技有限公司 一种图像的拼接方法和装置
CN111667520A (zh) * 2020-06-09 2020-09-15 中国人民解放军63811部队 红外图像和可见光图像的配准方法、装置及可读存储介质

Patent Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106548467A (zh) * 2016-10-31 2017-03-29 广州飒特红外股份有限公司 红外图像和可见光图像融合的方法及装置
CN106960449A (zh) * 2017-03-14 2017-07-18 西安电子科技大学 基于多特征约束的异源配准方法
US20190008387A1 (en) * 2017-07-10 2019-01-10 The Florida International University Board Of Trustees Integrated nir and visible light scanner for co-registered images of tissues
CN107492126A (zh) * 2017-08-03 2017-12-19 厦门云感科技有限公司 摄像头中心轴的校准方法、装置、系统、介质及设备
CN107577988A (zh) * 2017-08-03 2018-01-12 东软集团股份有限公司 实现侧方车辆定位的方法、装置及存储介质、程序产品
CN110796691A (zh) * 2018-08-03 2020-02-14 中国科学院沈阳自动化研究所 一种基于形状上下文和hog特征的异源图像配准方法
CN109146930A (zh) * 2018-09-20 2019-01-04 河海大学常州校区 一种电力机房设备红外与可见光图像配准方法
CN111489288A (zh) * 2019-01-28 2020-08-04 北京初速度科技有限公司 一种图像的拼接方法和装置
CN111080523A (zh) * 2019-12-17 2020-04-28 天津津航技术物理研究所 红外周视搜索系统及基于角度信息的红外周视图像拼接方法
CN111242991A (zh) * 2020-01-10 2020-06-05 大连理工大学 一种可见光与红外相机快速配准的方法
CN111667520A (zh) * 2020-06-09 2020-09-15 中国人民解放军63811部队 红外图像和可见光图像的配准方法、装置及可读存储介质

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
巩稼民;刘爱萍;马豆豆;杨红蕊;张凯泽;赵梦凯;: "结合邻域特征与IDCSCM的红外与可见光图像融合", 激光与红外, no. 07 *
杨凯斌;唐立军;刘晓春;吴定祥;卞一杰;李正龙;: "基于纹理公因子的异源图像配准方法", 计算机工程, no. 11 *

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113535996A (zh) * 2021-05-27 2021-10-22 中国人民解放军火箭军工程大学 一种基于航拍图像的道路图像数据集制备方法及装置
CN113535996B (zh) * 2021-05-27 2023-08-04 中国人民解放军火箭军工程大学 一种基于航拍图像的道路图像数据集制备方法及装置
CN113658265A (zh) * 2021-07-16 2021-11-16 北京迈格威科技有限公司 相机标定方法、装置、电子设备及存储介质
CN113642425A (zh) * 2021-07-28 2021-11-12 北京百度网讯科技有限公司 基于多模态的图像检测方法、装置、电子设备及存储介质
CN113744349A (zh) * 2021-08-31 2021-12-03 湖南航天远望科技有限公司 一种红外光谱图像测量对准方法、装置及介质
CN115100290A (zh) * 2022-06-20 2022-09-23 苏州天准软件有限公司 交通场景下的单目视觉定位方法及装置、设备、存储介质
CN115994854A (zh) * 2023-03-22 2023-04-21 智洋创新科技股份有限公司 一种标志物点云和图像配准的方法和系统

Also Published As

Publication number Publication date
CN112132874B (zh) 2023-12-05

Similar Documents

Publication Publication Date Title
CN112132874B (zh) 无标定板异源图像配准方法、装置、电子设备及存储介质
WO2021196294A1 (zh) 一种跨视频人员定位追踪方法、系统及设备
CN109308693B (zh) 由一台ptz相机构建的目标检测和位姿测量单双目视觉系统
CN103325112B (zh) 动态场景中运动目标快速检测方法
CN111721259B (zh) 基于双目视觉的水下机器人回收定位方法
CN108470356B (zh) 一种基于双目视觉的目标对象快速测距方法
CN111897349A (zh) 一种基于双目视觉的水下机器人自主避障方法
CN110807809A (zh) 基于点线特征和深度滤波器的轻量级单目视觉定位方法
CN107843251A (zh) 移动机器人的位姿估计方法
CN110136202A (zh) 一种基于ssd与双摄像头的多目标识别与定位方法
Momeni-k et al. Height estimation from a single camera view
CN109785373B (zh) 一种基于散斑的六自由度位姿估计系统及方法
CN111784778A (zh) 基于线性求解非线性优化的双目相机外参标定方法和系统
CN111998862A (zh) 一种基于bnn的稠密双目slam方法
CN111784655A (zh) 一种水下机器人回收定位方法
CN114331879A (zh) 一种均衡化二阶梯度直方图描述子的可见光与红外图像配准方法
CN112652020A (zh) 一种基于AdaLAM算法的视觉SLAM方法
CN112541932A (zh) 基于双光相机不同焦距变换参数的多源图像配准方法
CN111273701A (zh) 一种云台视觉控制系统以及控制方法
CN114998447A (zh) 多目视觉标定方法及系统
CN111325828A (zh) 一种基于三目相机的三维人脸采集方法及装置
Li et al. Vision-based target detection and positioning approach for underwater robots
CN112017259B (zh) 一种基于深度相机与热像仪的室内定位与建图方法
KR101766823B1 (ko) 불규칙한 조도 변화에 강건한 영상 기반 주행거리 측정 시스템 및 방법
CN110570473A (zh) 一种基于点线融合的权重自适应位姿估计方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant