CN116704048A - 一种双光配准方法 - Google Patents
一种双光配准方法 Download PDFInfo
- Publication number
- CN116704048A CN116704048A CN202310998945.6A CN202310998945A CN116704048A CN 116704048 A CN116704048 A CN 116704048A CN 202310998945 A CN202310998945 A CN 202310998945A CN 116704048 A CN116704048 A CN 116704048A
- Authority
- CN
- China
- Prior art keywords
- light
- infrared camera
- camera
- double
- registration
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 65
- 239000011159 matrix material Substances 0.000 claims abstract description 57
- 238000012937 correction Methods 0.000 claims abstract description 52
- 238000007619 statistical method Methods 0.000 claims abstract description 12
- 238000004422 calculation algorithm Methods 0.000 claims abstract description 4
- 238000013507 mapping Methods 0.000 claims description 27
- 238000001514 detection method Methods 0.000 claims description 23
- 230000009977 dual effect Effects 0.000 claims description 8
- 238000013519 translation Methods 0.000 claims description 7
- 238000003384 imaging method Methods 0.000 claims description 6
- 230000036544 posture Effects 0.000 claims description 4
- 238000013136 deep learning model Methods 0.000 claims description 3
- 230000004807 localization Effects 0.000 claims description 2
- 238000004364 calculation method Methods 0.000 abstract description 4
- 230000004927 fusion Effects 0.000 description 7
- 230000000694 effects Effects 0.000 description 5
- 230000003287 optical effect Effects 0.000 description 5
- 230000008901 benefit Effects 0.000 description 4
- 238000004590 computer program Methods 0.000 description 3
- 230000006870 function Effects 0.000 description 3
- 238000005259 measurement Methods 0.000 description 3
- 238000010586 diagram Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 239000013307 optical fiber Substances 0.000 description 2
- 230000008447 perception Effects 0.000 description 2
- 230000000644 propagated effect Effects 0.000 description 2
- 230000004044 response Effects 0.000 description 2
- 238000003491 array Methods 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 230000008569 process Effects 0.000 description 1
- 238000012216 screening Methods 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 239000000779 smoke Substances 0.000 description 1
- 230000001360 synchronised effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/40—Image enhancement or restoration using histogram techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10048—Infrared image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20112—Image segmentation details
- G06T2207/20132—Image cropping
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Image Processing (AREA)
- Studio Devices (AREA)
Abstract
本发明涉及双光配准技术领域，尤其涉及一种双光配准方法，通过内参标定和外参计算，准确将红外相机和可见光相机的坐标系对齐，确保双光图像在同一坐标系下直接对比；利用校正矩阵和投影矩阵，对红外图像和可见光图像校正处理，消除图像畸变；对红外图像和可见光图像进行剪裁，结合直方图统计法，减少图像中无关信息；采用双光配准算法，具有高效的计算能力和实时性，适用于自动驾驶领域；双光模组采集不同距离下的双光数据，根据X配准偏移表实现对不同距离下的配准偏移补偿；适用于红外和可见光的双光配准，还适用于不同分辨率不同像元尺寸的双光相机联合标定，本发明能够实现红外图像和可见光图像的准确对齐，适用于多种领域。
Description
技术领域
本发明涉及双光配准技术领域，尤其涉及一种双光配准方法。
背景技术
当前，红外图像和可见光图像在自动驾驶领域中广泛应用，但各自存在一些缺陷。红外图像具有免受光照和天气条件影响的优势，但对比度低且纹理细节不丰富。可见光图像具有丰富的纹理细节和高对比度，但在烟雾和夜间等环境中成像效果较差。因此，单一传感器获取到的图像无法满足市场需求。
为了克服这些问题，已经提出了红外图像和可见光图像的双光融合技术。双光融合能够综合利用红外图像的目标检测和可见光图像的纹理细节，以提供更精确的目标信息。然而，双光融合的关键是进行准确的双光配准，以将红外图像和可见光图像对齐。
目前，现有的双光配准技术主要包括固定差值配准法和特征点匹配方法。固定差值配准法通过保证双光光轴基本平行，依赖于精度高的工装进行配准。然而，当目标距离双光相机距离不同时，配准效果较差。另外，如果双光相机存在畸变，配准效果也会受到影响。特征点匹配方法通过检测并匹配关键点来计算单应性矩阵，然后进行双光配准。然而，红外图像的纹理细节较少，因此提取关键点时容易出现匹配错误，并且计算量大，无法实时完成。
发明内容
为解决上述问题本发明通过以下技术方案实现：
一种双光配准方法，包括以下步骤：
S1、对红外相机和可见光相机分别进行内参标定，并基于内参标定结果采集联合标定靶标的双光数据；
S2、调用Opencv接口得到可见光相机坐标系相对于红外相机坐标系的外参；
S3、基于联合标定数据和外参生成校正矩阵和投影矩阵，并根据校正矩阵和投影矩阵计算得到红外相机映射表和可见光相机映射表；
S4、由Opencv接口根据红外相机映射表和可见光相机映射表计算得到双光校正结果；
S5、通过直方图统计法将双光校正结果包含的红外相机校正图像和可见光相机校正图像进行剪裁；
S6、双光模组在不同距离采集联合标定靶标的双光数据，剪裁后的双光校正结果根据双光数据计算得到不同距离下沿X轴方向的配准偏移值，并生成X配准偏移表；
S7、通过算法模型得到10m以内的目标检测框，匹配该目标检测框的X配准偏移表，并根据对应距离的X配准偏移值进行配准。
进一步的，所述S1采用张正友标定法得到红外相机的内参矩阵和畸变向量/>即内参标定结果，其中/>，/>，/>为红外相机焦距，/>、/>为红外像元尺寸，/>、/>为红外相机成像主点，/>、/>、/>为红外相机径向畸变系数，、/>为切向畸变系数；
所述S1采用张正友标定法得到可见光相机的内参矩阵和畸变向量/>即内参标定结果，可见光相机内参标定结果参数与红外相机内参标定结果参数含义相同。
进一步的，所述S1中红外相机和可见光相机基于内参标定结果在不同姿态下同时采集联合标定靶标的双光数据，所述联合标定靶标为红外光和可见光都可正常成像的靶标，红外相机和可见光相机在采集内参和外参数据时需要相对靶标的不同姿态，是为了提高内参和外参标定结果准确性。
进一步的，所述S2以S1中采集的双光数据为基础，依据双光标定原理调用Opencv的stereoCalibrate接口，在stereoCalibrate接口中设置以红外相机坐标系为基准，既得到可见光相机坐标系相对于红外相机坐标系的外参，所述的外参包括可见光相机坐标系相对于红外相机坐标系的旋转矩阵和平移矩阵/>。
进一步的，所述S3调用Opencv的双光校正接口StereoRectify计算红外相机和可见光相机的内参标定结果以及双光标定的外参结果，即得到可见光相机和红外相机的校正矩阵和投影矩阵；
调用Opencv的InitUndistortRectifyMap接口，根据红外相机内参矩阵、畸变向量/>、校正矩阵和投影矩阵生成红外相机映射表map_x_ir和map_y_ir；
调用Opencv的InitUndistortRectifyMap接口，根据可见光内参矩阵、畸变向量/>、校正矩阵和投影矩阵生成可见光相机映射表map_x_vis和map_y_vis。
进一步的，所述S4通过Opencv的remap接口公式计算红外相机映射表和可见光相机映射表得到双光校正结果，即红外相机校正图像和可见光相机校正图像。
进一步的，所述S5通过直方图统计法统计红外相机校正图像中每一列灰度值不为0的像素点个数，得到每一列像素值不为0的直方图；
确定所有列中像素点个数大于0且像素点个数最少的列，遍历该列得到像素值大于0的位置，既得到裁剪红外相机校正图像的y值；
通过直方图统计法统计红外相机校正图像中每一行灰度值不为0的像素点个数，得到每一行像素值不为0的直方图；
确定所有行中像素点个数大于0且像素点个数最少的行，遍历该行得到像素值大于0的位置，既得到裁剪红外相机校正图像的x值；
所述可见光相机校正图像的剪裁方法和红外相机校正图像剪裁方法一致。
进一步的，所述S6采用双光模组采集不同距离下的联合标定靶标的双光数据，调用Opencv的ramap接口计算联合标定靶标的双光数据，得到不同距离下沿X轴方向的配准偏移值，记录10m以内不同距离下的X配准偏移值，并根据X配准偏移值生成X配准偏移表。
进一步的，所述S7通过深度学习模型YOLOv5得到图像中所有目标检测框，通过测距模型筛选所有目标检测框得到10m以内的目标检测框，匹配该目标检测框的X配准偏移表，并根据对应距离的X配准偏移值进行配准。
本发明提供了一种双光配准方法，能够实现红外相机和可见光相机的准确配准，并生成校正图像。具体有以下有益效果：
（1） 本发明提出的一种双光配准方法通过内参标定和外参计算，能够准确地将红外相机和可见光相机的坐标系对齐，确保双光图像在同一坐标系下进行直接对比；
（2） 本发明提出的一种双光配准方法利用校正矩阵和投影矩阵，可以对红外图像和可见光图像进行校正处理，消除图像畸变，提高图像质量和清晰度；
（3） 本发明提出的一种双光配准方法通过对红外图像和可见光图像进行剪裁，并结合直方图统计法，能够突出显示目标区域，减少图像中的噪声和无关信息；
（4） 本发明提出的一种双光配准方法采用Opencv接口实现核心的双光配准算法，具有高效的计算能力和实时性，适用于实时应用，如自动驾驶领域；
（5） 本发明提出的一种双光配准方法通过双光模组采集不同距离下的双光数据，并根据X配准偏移表实现对不同距离下的配准偏移补偿，提高了配准的适应性和准确性；
（6） 本发明提出的一种双光配准方法不仅适用于红外和可见光的双光配准，同时还适用于不同分辨率不同像元尺寸的双光相机联合标定；
综上所述本发明提供的一种双光配准方法能够实现红外图像和可见光图像的准确对齐，生成高质量的校正图像，并具备实时性和适应性，适用于多种领域，特别是在自动驾驶领域具有广阔的应用前景。
附图说明
为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简要介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域的普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施例提出的一种双光配准方法的流程图；
图2为本发明实施例提出的一种双光配准方法的红外光相机靶标原图和校正图；
图3为本发明实施例提出的一种双光配准方法的可见光相机靶标原图和校正图；
图4为本发明实施例提出的一种双光配准方法的map_x_ir成像图；
图5为本发明实施例提出的一种双光配准方法的map_y_ir成像图；
图6为本发明实施例提出的一种多通道阵列时钟同步动态优化系统的系统框图；
图7为本发明实施例提出的一种双光配准方法的建立状态寄存器示意图；
图中，200-终端设备、210-存储器、211-RAM、212-高速缓存存储器、213-ROM、214-程序/实用工具、215-程序模块、220-处理器、230-总线、240-外部设备、250-I/O接口、260-网络适配器、300-程序产品。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚明白，下面结合实施例和附图，对本发明作进一步的详细说明，本发明的示意性实施方式及其说明仅用于解释本发明，并不作为对本发明的限定。
实施例1
参考图1，本实施例提出一种双光配准方法。
一种双光配准方法，包括以下步骤：
参考图1，一种双光配准方法，包括以下步骤：
1、对红外相机和可见光相机分别进行内参标定，即采用张正友标定法得到红外相机的内参矩阵和畸变向量/>即内参标定结果，其中，/>，/>为红外相机焦距，/>、/>为红外像元尺寸，/>、/>为红外相机成像主点，/>、/>、/>为红外相机径向畸变系数，/>、/>为切向畸变系数；
采用张正友标定法得到可见光相机的内参矩阵和畸变向量即内参标定结果，可见光相机内参标定结果参数与红外相机内参标定结果参数含义相同。基于内参标定结果采集联合标定靶标的双光数据，即通过红外相机和可见光相机基于内参标定结果在不同姿态下同时采集联合标定靶标的双光数据，所述联合标定靶标为红外光和可见光都可正常成像的靶标。
本实施例提出了一种对于内参标定结果的判断方法，rms为红外相机和可见光相机分别进行内参标定时的平均投影误差，将内参标定结果评价指标定义为rms，将rms和阈值比较，当红外相机内参标定rms在0.72像素阈值内，可见光相机内参标定rms在0.86像素阈值内，则内参标定结果正确。
2、调用Opencv接口得到可见光相机坐标系相对于红外相机坐标系的外参，即以第1步采集的双光数据为基础，依据双光标定原理调用Opencv的stereoCalibrate接口，在stereoCalibrate接口中设置以红外相机坐标系为基准，既得到可见光相机坐标系相对于红外相机坐标系的外参，所述的外参也就是可见光相机坐标系相对于红外相机坐标系的旋转矩阵和平移矩阵/>。
本实施例提出了一种对于外参标定结果的判断方法，当红外相机和可见光相机进行联合标定，得到红外相机坐标系和可见光相机坐标系的旋转矩阵和平移矩阵/>，通过平移矩阵/>可得到两个相机坐标系的基线计算值，若abs(平移矩阵中基线值-实际测量值)小于阈值，所述阈值为外参标定平移向量中计算基线距离值与实际测量基线值差的绝对值，本实施例所记载的阈值为5mm，则外参标定结果正确；此外，外参标定结果还存在重投影误差rms，该rms在本实施例中为1.15像素阈值，当rms在 1.15像素阈值内，则外参标定结果正确，需要明确本实施例中所记载的是基线为公知常识中为红外相机坐标系和可见光坐标系两个坐标系原点水平方向距离。
3、基于联合标定数据和外参生成校正矩阵和投影矩阵，并根据校正矩阵和投影矩阵计算得到红外相机映射表和可见光相机映射表，即调用Opencv的双光校正接口StereoRectify计算红外相机和可见光相机的内参标定结果以及双光标定的外参结果，可得到可见光相机和红外相机的校正矩阵和投影矩阵。
此外还需要调用Opencv的InitUndistortRectifyMap接口，根据红外相机内参矩阵、畸变向量/>、校正矩阵和投影矩阵生成红外相机映射表map_x_ir和map_y_ir；
调用Opencv的InitUndistortRectifyMap接口，根据可见光内参矩阵、畸变向量/>、校正矩阵和投影矩阵生成可见光相机映射表map_x_vis和map_y_vis。
map_x_ir和map_y_ir分别为ir图像等分辨率大小的矩阵，其中map_x_ir中的灰度值为从源图像到目标图像中的坐标x值；map_y_ir中的灰度值为从源图像到目标图像中的坐标y值，如图4-图5，将map_x_ir和map_y_ir转换成图像。
4、由Opencv接口根据红外相机映射表和可见光相机映射表计算得到双光校正结果，即通过Opencv的remap接口公式计算红外相机映射表和可见光相机映射表得到双光校正结果，即红外相机校正图像和可见光相机校正图像如图2-图3所示，经过校正后的红外相机图像和可见光相机图像沿Y轴方向已经实现对齐。
所述remap接口公式为，本实施例以红外相机图像为例，其中/>表示ir图像，/>表示红外校正图像，/>为map_x_ir。
5、由于双光相机坐标系之间存在俯仰角，偏航角，滚动角从而导致如图2-图3的校正图像上存在黑色区域，因此需要通过直方图统计法将双光校正结果包含的红外相机校正图像和可见光相机校正图像进行剪裁，即通过直方图统计法统计红外相机校正图像中每一列灰度值不为0的像素点个数，得到每一列像素值不为0的直方图；
确定所有列中像素点个数大于0且像素点个数最少的列，遍历该列得到像素值大于0的位置，既得到裁剪红外相机校正图像的y值；
通过直方图统计法统计红外相机校正图像中每一行灰度值不为0的像素点个数，得到每一行像素值不为0的直方图；
确定所有行中像素点个数大于0且像素点个数最少的行，遍历该行得到像素值大于0的位置，既得到裁剪红外相机校正图像的x值；
同理，可按照上述方法对可见光相机校正图像进行剪裁；
本实施例采用的直方图统计法同样适用于不同分辨率不同像元尺寸的双光相机校正图像的剪裁。
6、双光模组在不同距离采集联合标定靶标的双光数据，剪裁后的双光校正结果根据双光数据计算得到不同距离下沿X轴方向的配准偏移值，并生成X配准偏移表，即采用双光模组采集不同距离2m、3m、5m、7m、9m、12m、15m、20m下的联合标定靶标的双光数据，调用Opencv的ramap接口计算联合标定靶标的双光数据，得到不同距离下沿X轴方向的配准偏移值，由于在10m后X轴方向偏移值为固定值，所以记录10m以内不同距离下的X配准偏移值，并根据X配准偏移值生成X配准偏移表。
7、通过深度学习模型YOLOv5得到图像中所有目标检测框，通过测距模型筛选所有目标检测框得到10m以内的目标检测框，匹配该目标检测框的X配准偏移表，并根据对应距离的X配准偏移值进行配准，其中配准过程是将双光图像中每一个像素点对齐，配准是双光融合基础，在双光配准后，可将可见光和红外相机像素值叠加，得到双光图像。
本实施例的红外相机分辨率为640*512，可见光相机的分辨率为1920*1080，同时Opencv的remap接口相应时间为10ms，本实施例能够实现毫秒级实时响应，适用于车载场景下的实时响应要求。
本实施例的在步骤1和步骤6中都采集了双光数据，步骤1中的双光数据用于内参标定，其采集距离为2m且根据对焦清晰决定，且靶标面在成像中占比不小于50%；
而步骤6中得到的双光数据用于配准偏移值的计算和生成配准偏移表，需要在不同距离下采集数据，采集距离大于10m。
本实施例采用的双光靶标为6*5的圆阵列而不是宽高相等的正方形阵列。这是因为使用奇数*偶数的圆阵列更适配Opencv中的FindCirclesGrid函数，该函数用于找到圆心阵列的位置。如果使用宽高相等的正方形阵列，那么通过寻找角点的函数将无法区分阵列的起始角落是左上、左下还是右上、右下。而使用奇数*偶数的圆阵列可以准确地找到圆心位置，从而实现更准确的标定和校正。
在进行相机的内参标定时，需要通过拍摄具有已知空间坐标的标定板或标定靶标来获得图像中的特征点坐标。使用本实施例的6*5圆阵列可以提供一组较为规律和容易检测的特征点，每个圆心坐标可以通过findCirclesGrid函数找到。通过采集这些特征点的图像坐标，结合已知的空间坐标，可以通过标定方法计算出相机的内参矩阵和畸变参数。
在双光配准中，使用不同距离下的双光数据，通过计算X轴方向的配准偏移值来实现配准。使用本实施例的6*5圆阵列可以提供一组规则且容易检测的特征点，每个特征点的X坐标可以被准确测量。通过测量不同距离下特征点在X轴方向上的偏移，可以计算得到配准偏移值，并生成X配准偏移表。这样可以实现在不同距离下的准确配准。
因此，选择6*5的圆阵列可以提供规则、易于检测的特征点，有助于进行相机的内参标定和生成配准X偏移量。
实施例2
本实施例在实施例1的基础上，提出一种双光配准方法的应用场景。
本实施例提出一种自动驾驶车辆的应用场景，其中红外相机和可见光相机用于环境感知和目标检测。通过双光配准方法，实现红外图像和可见光图像的对准和融合，提高目标检测的精确性和实时性。
在上述场景中，使用红外相机和可见光相机分别进行内参标定，获取红外相机和可见光相机各自的内部参数。然后，采集联合标定靶标的双光数据，并调用Opencv接口得到可见光相机坐标系相对于红外相机坐标系的外参，包括旋转矩阵R和平移矩阵T。
依据联合标定数据和外参，生成校正矩阵和投影矩阵，并根据校正矩阵和投影矩阵计算红外相机映射表和可见光相机映射表。利用这些映射表，对红外相机和可见光相机的原图进行校正，校正后的图像通过直方图统计的方法进行剪裁，去除不需要的区域。
后续通过双光模组在不同距离下采集联合标定靶标的双光数据，根据双光数据计算得到不同距离下沿X轴方向的配准偏移值，并生成X配准偏移表。
当车辆行驶时，通过Opencv的目标检测接口和测距接口，抓拍到10米以内的目标检测框，并从目标检测框中获取距离信息。利用该距离信息匹配X配准偏移表，根据对应距离的X配准偏移值对红外相机和可见光相机的图像进行配准。
通过双光融合技术，将红外图像和可见光图像融合为一幅图像，提供更准确、丰富的目标信息给自动驾驶系统，以实现更可靠的环境感知和决策支持。
综上所述，通过上述双光配准方法的应用场景，可以实现在自动驾驶车辆中利用红外相机和可见光相机的双光融合，提高目标检测的准确性和实时性，从而增强自动驾驶系统的安全性和可靠性。
实施例3
参考图6，在实施例1的基础上，本实施例提出一种双光配准方法的终端设备，终端设备200包括至少一个存储器210、至少一个处理器220以及连接不同平台系统的总线230。
存储器210可以包括易失性存储器形式的可读介质，例如RAM211和/或高速缓存存储器212，还可以进一步包括ROM213。
其中，存储器210还存储有计算机程序，计算机程序可以被处理器220执行，使得处理器220执行本申请实施例中上述任一项一种双光配准方法，其具体实现方式与上述应用的实施例中记载的实施方式、所达到的技术效果一致，部分内容不再赘述。存储器210还可以包括具有一组(至少一个)程序模块215的程序/实用工具214，这样的程序模块包括但不限于：操作系统、一个或者多个应用程序、其它程序模块以及程序数据，这些示例中的每一个或某种组合中可能包括网络环境的实现。
相应的，处理器220可以执行上述计算机程序，以及可以执行程序/实用工具214。
总线230可以为表示几类总线结构中的一种或多种，包括存储器总线或者存储器控制器、外围总线、图形加速端口、处理器或者使用多种总线结构中的任意总线结构的局域总线。
终端设备200也可以与一个或多个外部设备240例如键盘、指向设备、蓝牙设备等通信，还可与一个或者多个能够与该终端设备200交互的设备通信，和/或与使得该终端设备200能与一个或多个其它计算设备进行通信的任何设备(例如路由器、调制解调器等等)通信。这种通信可以通过I/O接口250进行。并且，终端设备200还可以通过网络适配器260与一个或者多个网络(例如局域网(LAN)，广域网(WAN)和/或公共网络，例如因特网)通信。网络适配器260可以通过总线230与终端设备200的其它模块通信。应当明白，尽管图中未示出，可以结合终端设备200使用其它硬件和/或软件模块，包括但不限于：微代码、设备驱动器、冗余处理器、外部磁盘驱动阵列、RAID系统、磁带驱动器以及数据备份存储平台等。
实施例4
参考图7，本实施例提出一种双光配准方法的可读存储介质，所述计算机可读存储介质上存储有指令，该指令被处理器执行时实现上述任一一种双光配准方法，其具体实现方式与上述应用的实施例中记载的实施方式、所达到的技术效果一致，部分内容不再赘述。
图7示出了本实施例提供的用于实现上述应用的程序产品300，其可以采用便携式紧凑盘只读存储器(CD-ROM)并包括程序代码，并可以在终端设备，例如个人电脑上运行。然而，本发明的程序产品300不限于此，在本实施例中，可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。程序产品300可以采用一个或多个可读介质的任意组合。可读介质可以是可读信号介质或者可读存储介质。可读存储介质例如可以为但不限于电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。可读存储介质的更具体的例子(非穷举的列表)包括：具有一个或多个导线的电连接、便携式盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。
计算机可读存储介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了可读程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。可读存储介质还可以是可读存储介质以外的任何可读介质，该可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。可读存储介质上包含的程序代码可以用任何适当的介质传输，包括但不限于无线、有线、光缆、RF等等，或者上述的任意合适的组合。可以以一种或多种程序设计语言的任意组合来编写用于执行本发明操作的程序代码，程序设计语言包括面向对象的程序设计语言诸如Java、C++等，还包括常规的过程式程序设计语言诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算设备上执行、部分地在用户设备上执行、作为一个独立的软件包执行、部分在用户计算设备上部分在远程计算设备上执行、或者完全在远程计算设备或服务器上执行。在涉及远程计算设备的情形中，远程计算设备可以通过任意种类的网络，包括局域网(LAN)或广域网(WAN)，连接到用户计算设备，或者，可以连接到外部计算设备(例如利用因特网服务提供商来通过因特网连接)。
以上显示和描述了本发明的基本原理和主要特征和本发明的优点。本行业的技术人员应该了解，本发明不受上述实施例的限制，上述实施例和说明书中描述的只是说明本发明的原理，在不脱离本发明精神和范围的前提下，本发明还会有各种变化和改进，这些变化和改进都落入要求保护的本发明范围内。本发明要求保护范围由所附的权利要求书及其等效物界定。
Claims (9)
1.一种双光配准方法，其特征在于，包括以下步骤：
S1、对红外相机和可见光相机分别进行内参标定，并基于内参标定结果采集联合标定靶标的双光数据；
S2、调用Opencv接口得到可见光相机坐标系相对于红外相机坐标系的外参；
S3、基于联合标定数据和外参生成校正矩阵和投影矩阵，并根据校正矩阵和投影矩阵计算得到红外相机映射表和可见光相机映射表；
S4、由Opencv接口根据红外相机映射表和可见光相机映射表计算得到双光校正结果；
S5、通过直方图统计法将双光校正结果包含的红外相机校正图像和可见光相机校正图像进行剪裁；
S6、双光模组在不同距离采集联合标定靶标的双光数据，剪裁后的双光校正结果根据双光数据计算得到不同距离下沿X轴方向的配准偏移值，并生成X配准偏移表；
S7、通过算法模型得到10m以内的目标检测框，匹配该目标检测框的X配准偏移表，并根据对应距离的X配准偏移值进行配准。
2.根据权利要求1所述的一种双光配准方法，其特征在于，所述S1采用张正友标定法得到红外相机的内参矩阵和畸变向量/>即内参标定结果，其中/>，/>，/>为红外相机焦距，/>、/>为红外像元尺寸，/>、/>为红外相机成像主点，/>、/>、/>为红外相机径向畸变系数，/>、/>为切向畸变系数；
所述S1采用张正友标定法得到可见光相机的内参矩阵和畸变向量 即内参标定结果，可见光相机内参标定结果参数与红外相机内参标定结果参数含义相同。
3.根据权利要求1所述的一种双光配准方法，其特征在于，所述S1中红外相机和可见光相机基于内参标定结果在不同姿态下同时采集联合标定靶标的双光数据，所述联合标定靶标为红外光和可见光都可正常成像的靶标。
4.根据权利要求1所述的一种双光配准方法，其特征在于，所述S2以S1中采集的双光数据为基础，依据双光标定原理调用Opencv的stereoCalibrate接口，在stereoCalibrate接口中设置以红外相机坐标系为基准，既得到可见光相机坐标系相对于红外相机坐标系的外参，所述的外参包括可见光相机坐标系相对于红外相机坐标系的旋转矩阵和平移矩阵/>。
5.根据权利要求1所述的一种双光配准方法，其特征在于，所述S3调用Opencv的双光校正接口StereoRectify计算红外相机和可见光相机的内参标定结果以及双光标定的外参结果，即得到可见光相机和红外相机的校正矩阵和投影矩阵；
调用Opencv的InitUndistortRectifyMap接口，根据红外相机内参矩阵、畸变向量、校正矩阵和投影矩阵生成红外相机映射表map_x_ir和map_y_ir；
调用Opencv的InitUndistortRectifyMap接口，根据可见光内参矩阵、畸变向量、校正矩阵和投影矩阵生成可见光相机映射表map_x_vis和map_y_vis。
6.根据权利要求1所述的一种双光配准方法，其特征在于，所述S4通过Opencv的remap接口公式计算红外相机映射表和可见光相机映射表得到双光校正结果，即红外相机校正图像和可见光相机校正图像。
7.根据权利要求1所述的一种双光配准方法，其特征在于，所述S5通过直方图统计法统计红外相机校正图像中每一列灰度值不为0的像素点个数，得到每一列像素值不为0的直方图；
确定所有列中像素点个数大于0且像素点个数最少的列，遍历该列得到像素值大于0的位置，既得到裁剪红外相机校正图像的y值；
通过直方图统计法统计红外相机校正图像中每一行灰度值不为0的像素点个数，得到每一行像素值不为0的直方图；
确定所有行中像素点个数大于0且像素点个数最少的行，遍历该行得到像素值大于0的位置，既得到裁剪红外相机校正图像的x值；
所述可见光相机校正图像的剪裁方法和红外相机校正图像剪裁方法一致。
8.根据权利要求1所述的一种双光配准方法，其特征在于，所述S6采用双光模组采集不同距离下的联合标定靶标的双光数据，调用Opencv的ramap接口计算联合标定靶标的双光数据，得到不同距离下沿X轴方向的配准偏移值，记录10m以内不同距离下的X配准偏移值，并根据X配准偏移值生成X配准偏移表。
9.根据权利要求1所述的一种双光配准方法，其特征在于，所述S7通过深度学习模型YOLOv5得到图像中所有目标检测框，通过测距模型筛选所有目标检测框得到10m以内的目标检测框，匹配该目标检测框的X配准偏移表，并根据对应距离的X配准偏移值进行配准。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310998945.6A CN116704048B (zh) | 2023-08-09 | 2023-08-09 | 一种双光配准方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310998945.6A CN116704048B (zh) | 2023-08-09 | 2023-08-09 | 一种双光配准方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN116704048A true CN116704048A (zh) | 2023-09-05 |
| CN116704048B CN116704048B (zh) | 2023-11-17 |
Family
ID=87829784
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202310998945.6A Active CN116704048B (zh) | 2023-08-09 | 2023-08-09 | 一种双光配准方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN116704048B (zh) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117141521A (zh) * | 2023-11-01 | 2023-12-01 | 广汽埃安新能源汽车股份有限公司 | 一种基于数据融合的车辆控制方法及装置 |
| CN117788532A (zh) * | 2023-12-26 | 2024-03-29 | 四川新视创伟超高清科技有限公司 | 一种安防领域基于fpga的超高清双光融合配准方法 |
Citations (16)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2006066325A1 (en) * | 2004-12-21 | 2006-06-29 | Canon Kabushiki Kaisha | Segmenting digital image and producing compact representation |
| CN104036455A (zh) * | 2013-03-06 | 2014-09-10 | 江苏理工学院 | 基于二代小波的红外图像细节增强方法 |
| CN104537673A (zh) * | 2015-01-09 | 2015-04-22 | 西安电子科技大学 | 基于多阈值和自适应模糊聚类的红外图像分割方法 |
| US20160093034A1 (en) * | 2014-04-07 | 2016-03-31 | Steven D. BECK | Contrast Based Image Fusion |
| CN106327424A (zh) * | 2016-08-30 | 2017-01-11 | 南京邮电大学 | 红外与可见光图像配准参数校正装置和校正方法 |
| CN106960427A (zh) * | 2016-01-11 | 2017-07-18 | 中兴通讯股份有限公司 | 二维码图像处理的方法和装置 |
| CN109146930A (zh) * | 2018-09-20 | 2019-01-04 | 河海大学常州校区 | 一种电力机房设备红外与可见光图像配准方法 |
| CN109242888A (zh) * | 2018-09-03 | 2019-01-18 | 中国科学院光电技术研究所 | 一种结合图像显著性和非下采样轮廓波变换的红外与可见光图像融合方法 |
| CN110956661A (zh) * | 2019-11-22 | 2020-04-03 | 大连理工大学 | 基于双向单应矩阵的可见光与红外相机动态位姿计算方法 |
| CN110969669A (zh) * | 2019-11-22 | 2020-04-07 | 大连理工大学 | 基于互信息配准的可见光与红外相机联合标定方法 |
| CN111242991A (zh) * | 2020-01-10 | 2020-06-05 | 大连理工大学 | 一种可见光与红外相机快速配准的方法 |
| CN111667520A (zh) * | 2020-06-09 | 2020-09-15 | 中国人民解放军63811部队 | 红外图像和可见光图像的配准方法、装置及可读存储介质 |
| CN114240989A (zh) * | 2021-11-30 | 2022-03-25 | 中国工商银行股份有限公司 | 图像分割方法、装置、电子设备及计算机存储介质 |
| CN115222785A (zh) * | 2022-08-06 | 2022-10-21 | 福州大学 | 一种基于双目标定的红外与可见光图像配准方法 |
| CN115511737A (zh) * | 2022-09-22 | 2022-12-23 | 北方夜视科技(南京)研究院有限公司 | 基于语义分割的红外图像增强方法 |
| CN115797417A (zh) * | 2022-09-16 | 2023-03-14 | 南通智能感知研究院 | 一种用于海上钻井平台的可见-红外相机图像快速配准方法 |
-
2023
- 2023-08-09 CN CN202310998945.6A patent/CN116704048B/zh active Active
Patent Citations (16)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2006066325A1 (en) * | 2004-12-21 | 2006-06-29 | Canon Kabushiki Kaisha | Segmenting digital image and producing compact representation |
| CN104036455A (zh) * | 2013-03-06 | 2014-09-10 | 江苏理工学院 | 基于二代小波的红外图像细节增强方法 |
| US20160093034A1 (en) * | 2014-04-07 | 2016-03-31 | Steven D. BECK | Contrast Based Image Fusion |
| CN104537673A (zh) * | 2015-01-09 | 2015-04-22 | 西安电子科技大学 | 基于多阈值和自适应模糊聚类的红外图像分割方法 |
| CN106960427A (zh) * | 2016-01-11 | 2017-07-18 | 中兴通讯股份有限公司 | 二维码图像处理的方法和装置 |
| CN106327424A (zh) * | 2016-08-30 | 2017-01-11 | 南京邮电大学 | 红外与可见光图像配准参数校正装置和校正方法 |
| CN109242888A (zh) * | 2018-09-03 | 2019-01-18 | 中国科学院光电技术研究所 | 一种结合图像显著性和非下采样轮廓波变换的红外与可见光图像融合方法 |
| CN109146930A (zh) * | 2018-09-20 | 2019-01-04 | 河海大学常州校区 | 一种电力机房设备红外与可见光图像配准方法 |
| CN110956661A (zh) * | 2019-11-22 | 2020-04-03 | 大连理工大学 | 基于双向单应矩阵的可见光与红外相机动态位姿计算方法 |
| CN110969669A (zh) * | 2019-11-22 | 2020-04-07 | 大连理工大学 | 基于互信息配准的可见光与红外相机联合标定方法 |
| CN111242991A (zh) * | 2020-01-10 | 2020-06-05 | 大连理工大学 | 一种可见光与红外相机快速配准的方法 |
| CN111667520A (zh) * | 2020-06-09 | 2020-09-15 | 中国人民解放军63811部队 | 红外图像和可见光图像的配准方法、装置及可读存储介质 |
| CN114240989A (zh) * | 2021-11-30 | 2022-03-25 | 中国工商银行股份有限公司 | 图像分割方法、装置、电子设备及计算机存储介质 |
| CN115222785A (zh) * | 2022-08-06 | 2022-10-21 | 福州大学 | 一种基于双目标定的红外与可见光图像配准方法 |
| CN115797417A (zh) * | 2022-09-16 | 2023-03-14 | 南通智能感知研究院 | 一种用于海上钻井平台的可见-红外相机图像快速配准方法 |
| CN115511737A (zh) * | 2022-09-22 | 2022-12-23 | 北方夜视科技(南京)研究院有限公司 | 基于语义分割的红外图像增强方法 |
Non-Patent Citations (6)
| Title |
|---|
| GANG LIU 等: "Registration of infrared and visible light image based on visual saliency and scale invariant feature transform", 《EURASIP JOURNAL ON IMAGE AND VIDEO PROCESSING》, pages 1 - 12 * |
| 吴迪: "红外与可见光图像融合算法研究", 《中国优秀硕士学位论文全文数据库信息科技辑》, no. 2016, pages 138 - 7414 * |
| 周光亮: "基于融合方法的人脸识别算法研究", 《中国优秀硕士学位论文全文数据库信息科技辑》, no. 2021, pages 138 - 437 * |
| 孟志敏: "红外与可见光图像融合的目标识别方法研究", 《中国优秀硕士学位论文全文数据库信息科技辑》, no. 2022, pages 135 - 205 * |
| 徐萌兮: "红外与可见光数字图像融合技术研究", 《中国优秀硕士学位论文全文数据库信息科技辑》, no. 2014, pages 138 - 770 * |
| 李凌杰 等: "基于改进直方图的红外图像增强方法", 《航空兵器》, vol. 29, no. 02, pages 101 - 105 * |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117141521A (zh) * | 2023-11-01 | 2023-12-01 | 广汽埃安新能源汽车股份有限公司 | 一种基于数据融合的车辆控制方法及装置 |
| CN117141521B (zh) * | 2023-11-01 | 2024-02-23 | 广汽埃安新能源汽车股份有限公司 | 一种基于数据融合的车辆控制方法及装置 |
| CN117788532A (zh) * | 2023-12-26 | 2024-03-29 | 四川新视创伟超高清科技有限公司 | 一种安防领域基于fpga的超高清双光融合配准方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN116704048B (zh) | 2023-11-17 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN116704048B (zh) | 一种双光配准方法 | |
| US11024052B2 (en) | Stereo camera and height acquisition method thereof and height acquisition system | |
| CN109472829B (zh) | 一种物体定位方法、装置、设备和存储介质 | |
| CN107749268B (zh) | 屏幕检测方法及设备 | |
| US11606542B2 (en) | Projection image automatic correction method and system based on binocular vision | |
| CN110146869A (zh) | 确定坐标系转换参数的方法、装置、电子设备和存储介质 | |
| CN107729893B (zh) | 一种合模机的视觉定位方法、系统和存储介质 | |
| US11461911B2 (en) | Depth information calculation method and device based on light-field-binocular system | |
| CN112686877B (zh) | 基于双目相机的三维房屋损伤模型构建测量方法及系统 | |
| US20220270294A1 (en) | Calibration methods, apparatuses, systems and devices for image acquisition device, and storage media | |
| CN112348775B (zh) | 基于车载环视的路面坑塘检测系统及方法 | |
| CN110345875B (zh) | 标定及测距方法、装置、电子设备及计算机可读存储介质 | |
| CN113763478B (zh) | 无人车相机标定方法、装置、设备、存储介质及系统 | |
| CN112115913B (zh) | 图像处理方法、装置及设备、存储介质 | |
| CN111627073B (zh) | 一种基于人机交互的标定方法、标定装置和存储介质 | |
| CN110940312A (zh) | 一种结合激光设备的单目相机测距方法及系统 | |
| CN111383204A (zh) | 视频图像融合方法、融合装置、全景监控系统及存储介质 | |
| CN109934873B (zh) | 标注图像获取方法、装置及设备 | |
| CN113223050A (zh) | 一种基于ArUco码的机器人运动轨迹实时采集方法 | |
| CN115761532A (zh) | 一种用于输电线路航巡影像的自动检测系统 | |
| CN114979956A (zh) | 一种无人机航拍地面目标定位方法及系统 | |
| CN112985258B (zh) | 一种三维测量系统的标定方法及测量方法 | |
| CN110111018A (zh) | 评估车辆感测能力的方法、装置、电子设备及存储介质 | |
| CN113297958A (zh) | 一种自动化标注方法、装置、电子设备和存储介质 | |
| CN111637837B (zh) | 一种单目摄像头测量物体尺寸及距离的方法和系统 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |