CN113945921A - 一种多模态数据采集系统及同步采集方法 - Google Patents
一种多模态数据采集系统及同步采集方法 Download PDFInfo
- Publication number
- CN113945921A CN113945921A CN202111238386.6A CN202111238386A CN113945921A CN 113945921 A CN113945921 A CN 113945921A CN 202111238386 A CN202111238386 A CN 202111238386A CN 113945921 A CN113945921 A CN 113945921A
- Authority
- CN
- China
- Prior art keywords
- data acquisition
- synchronous
- acquisition subsystem
- visible light
- subsystem
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
- G01S13/86—Combinations of radar systems with non-radar systems, e.g. sonar, direction finder
- G01S13/867—Combination of radar systems with cameras
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
- G01S13/88—Radar or analogous systems specially adapted for specific applications
- G01S13/89—Radar or analogous systems specially adapted for specific applications for mapping or imaging
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/90—Arrangement of cameras or camera modules, e.g. multiple cameras in TV studios or sports stadiums
Landscapes
- Engineering & Computer Science (AREA)
- Remote Sensing (AREA)
- Radar, Positioning & Navigation (AREA)
- Physics & Mathematics (AREA)
- Computer Networks & Wireless Communication (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Electromagnetism (AREA)
- Studio Devices (AREA)
Abstract
本发明公开了一种多模态数据采集系统,包括n×n台可见光相机构成的可见光相机阵列数据采集子系统、m台红外相机构成的红外相机数据采集子系统及p台毫米波雷达构成的毫米波雷达数据采集子系统,n、m、p分别为大于等于1的自然数。本发明还公开一种多模态数据同步采集方法,包括:搭建多模态数据采集系统;各个数据采集子系统之间进行外参标定,得到外参统一的多模态数据采集系统;各个数据采集子系统通过同步触发硬同步以及时间维度上的对齐配准软同步相结合的方式得到时序同步的多模态数据采集系统,并采集得到不同模态的数据;将不同模态的数据进行融合。本发明可用于浓烟、浓雾、雨雪等恶劣天气条件下的图像质量增强和目标检测等应用。
Description
技术领域
本发明涉及计算机视觉技术领域,尤其涉及一种多模态数据同步采集与融合系统及方法。
背景技术
在日常生活的应用领域中,例如在安防监控领域和自动驾驶领域,可见光相机在浓烟、浓雾、雨雪等极端恶劣的天气条件下会失去作用,不能得到场景的全部纹理及色彩信息且成像质量也不高,这就使得对自然场景的全天候监测变得尤为困难,因此如何提高可见光相机在浓烟、浓雾、雨雪等恶劣天气条件下的图像质量显得尤为重要。
以上背景技术内容的公开仅用于辅助理解本发明的构思及技术方案,其并不必然属于本专利申请的现有技术,在没有明确的证据表明上述内容在本专利申请的申请日已经公开的情况下,上述背景技术不应当用于评价本申请的新颖性和创造性。
发明内容
为解决可见光相机在浓烟、浓雾、雨雪等恶劣天气条件下的图像质量增强问题,本发明提出一种多模态数据采集系统及同步采集方法,可用于浓烟、浓雾、雨雪等恶劣天气条件下的图像质量增强和目标检测等应用。
为了达到上述目的,本发明采用以下技术方案:
本发明公开了一种多模态数据采集系统,包括n×n台可见光相机构成的可见光相机阵列数据采集子系统、m台红外相机构成的红外相机数据采集子系统及p台毫米波雷达构成的毫米波雷达数据采集子系统,其中n、m、p分别为大于等于1的自然数。
本发明还公开了一种多模态数据同步采集方法,包括以下步骤:
Z1:搭建上述的多模态数据采集系统;
Z2:各个数据采集子系统之间进行外参标定,得到外参统一的多模态数据采集系统;
Z3:各个数据采集子系统通过同步触发硬同步以及时间维度上的对齐配准软同步相结合的方式得到时序同步的多模态数据采集系统,并采集得到不同模态的数据;
Z4:将不同模态的数据进行融合得到质量增强的图像。
优选地,所述可见光相机阵列数据采集子系统用于采集场景的纹理及色彩信息;所述红外相机数据采集子系统用于采集场景的细节信息;所述毫米波雷达数据采集子系统用于采集场景的深度信息。
优选地,步骤Z2具体包括:以所述可见光相机阵列数据采集子系统为参考基准,通过所述可见光相机阵列数据采集子系统自标定、所述可见光相机阵列数据采集子系统与所述毫米波雷达数据采集子系统之间的外参联合标定、所述可见光相机阵列数据采集子系统与所述红外相机数据采集子系统之间进行特征点匹配配准得到各个数据采集子系统之间的相对位置关系,以得到外参统一的多模态数据采集系统。
优选地,所述可见光相机阵列数据采集子系统与所述毫米波雷达数据采集子系统之间的外参联合标定具体包括:通过在场景中放置雷达标定物,计算雷达扫过平面真实三维点和对应像素的全局单应性矩阵,完成雷达与可见光相机间相对位置关系的求解。
优选地,所述可见光相机阵列数据采集子系统与所述红外相机数据采集子系统之间进行特征点匹配配准具体包括:通过所述可见光相机阵列数据采集子系统与所述红外相机数据采集子系统所采集的图像的比例关系对图像进行缩放,并进行特征点的提取与描述子的构建,再利用RANSAC去除外点,利用剩余的内点进行单应性矩阵求解,以完成图像映射,实现所述可见光相机阵列数据采集子系统与所述红外相机数据采集子系统之间的标定。
优选地,其中同步触发硬同步具体包括:通过通用输入输出接口接受同步信号,获取同步信号的上升或者下降沿以触发拍摄实现同步采集。
优选地,同步信号通过同轴电缆进行传输,并采用方波信号发生器作为触发各个数据采集子系统拍摄的触发源,其中,同步信号通过同轴电缆进行传输具体为:对同步信号进行编码传输,利用单端输入转差分信号电路模块将触发信号转为差分信号并通过双绞线传输,在各个数据采集子系统的接受端利用差分输入转单端信号电路模块将信号恢复。
优选地,采用红外相机数据采集子系统的场同步信号作为各个数据采集子系统拍摄的触发源,将场同步信号通过变频模块转换成其他数据采集子系统可接受的触发信号,通过将触发信号传输给各个数据采集子系统,以完成硬同步采集。
优选地,各个数据采集子系统在时间维度上的对齐配准软同步具体包括:根据实际采集时可能存在的数据帧丢失以及起始帧对齐问题,以记录系统时间戳的形式记录多模态数据采集系统的各个数据采集子系统的数据采集时间,以进行各个数据采集子系统间数据时间戳对齐,进而得到时序同步的多模态同步采集系统。
与现有技术相比,本发明的有益效果在于:本发明提出的多模态数据采集系统及同步采集方法,构建由n×n可见光相机构成的可见光相机阵列数据采集子系统、m台红外相机构成的红外相机数据采集子系统及p台毫米波雷达构成的毫米波雷达数据采集子系统组成的多模态数据采集系统,各个数据采集子系统之间进行外参标定以确定相对位置关系,进而得到各数据采集子系统之间数据的映射关系;各数据采集子系统之间通过同步触发硬同步及时间维度上的对齐配准软同步相结合的方式得到时序同步的多模态数据采集系统。最终利用所述毫米波雷达数据采集子系统提供深度信息,利用所述红外相机数据采集子系统提供轮廓信息,与可见光相机阵列数据采集子系统进行数据融合,可以充分利用不同模态数据间的互补优势,实现在浓烟、浓雾、雨雪等恶劣天气条件下的图像质量增强、目标检测等应用。
附图说明
图1是本发明优选实施例的一种多模态数据同步采集方法流程图;
图2是本发明优选实施例的一种多模态数据采集系统的外参统一示意图;
图3是本发明优选实施例的一种多模态数据采集系统的时序同步示意图。
具体实施方式
为了更清楚地说明本发明实施例中的技术方案,以下结合附图对本发明和实施例进行更为详细的解释说明,附图仅作为示例而不是对本发明的限制,任何熟悉本技术领域的技术人员在本发明的技术范围内进行变化或替换,都应该涵盖在本发明的保护范围内。
本发明优选实施例公开了一种多模态数据采集系统,由n×n台可见光相机构成的可见光相机阵列数据采集子系统、m台红外相机构成的红外相机数据采集子系统及p台毫米波雷达构成的毫米波雷达数据采集子系统组成。
如图1所示,是本发明优选实施例的一种多模态同步数据采集方法,包括以下步骤:
Z1:搭建多模态同步数据采集系统;
通过由n×n台可见光相机构成的可见光相机阵列数据采集子系统、m台红外相机构成的红外相机数据采集子系统及p台毫米波雷达构成的毫米波雷达数据采集子系统组成多模态数据采集系统,其中各个数据采集子系统内及各个数据采集子系统间的传感器自由放置不受任何限制,n、m、p分别为大于等于1的自然数。
其中,可见光相机阵列数据采集子系统用于采集场景的纹理及色彩信息;红外相机数据采集子系统用于采集场景的轮廓等细节信息;毫米波雷达数据采集子系统用于采集场景的深度信息。
Z2:多模态数据采集子系统之间进行外参标定以确定相对位置关系,进而得到外参统一的多模态数据采集系统100;
其中,外参统一的多模态数据同步采集系统100是以可见光相机阵列数据采集子系统10为参考基准,通过可见光相机阵列数据采集子系统10自标定、可见光相机阵列数据采集子系统10与毫米波雷达数据采集子系统30之间外参联合标定、可见光相机阵列数据采集子系统10与红外相机数据采集子系统20之间进行特征点匹配配准得到各个数据采集子系统之间的相对位置关系,进而得到外参统一的多模态数据采集系统100,其示意图如图2所示。
在相机阵列自标定中,采用静态标定与动态标定相结合的标定方法:静态标定法采用张正友平面标定法,通过在相机阵列前面放置棋盘格进行两两相机之间的内外参标定;动态标定法则是针对动态变化场景,采用静态标定的结果作为初始估计,对相机阵列采集的图像进行特征点提取及匹配,反推真实三维点坐标并进行重投影去除误差较大的外点,利用内点通过重投影误差最小找到精化的相机内外参,以此来完成复杂场景下相机阵列的高精度标定。
可见光相机阵列数据采集子系统与毫米波雷达数据采集子系统间外参联合标定是指:通过在场景中放置雷达标定物,计算雷达扫过平面真实三维点和对应像素的全局单应性矩阵,完成雷达与相机间相对位置关系的求解。
在红外图像和可见光图像的配准部分,由于红外相机的焦距以及像元大小不一致,导致了红外相机与可见光相机采集的图像中每个像素代表的大小不同。所以本发明中首先需要通过两者的比例关系对图像进行缩放,进而进行特征点的提取与描述子的构建,再利用RANSAC去除外点,利用剩余的内点进行单应性矩阵求解,从而完成图像映射,实现可见光相机与红外相机之间的标定。
以上,通过各个子系统间外参的两两标定,得到外参统一的多模态数据采集系统。
Z3:多模态子系统之间同步触发并进行时间维度上的对齐配准得到时序同步的多模态数据采集系统;
具体地,多模态数据同步采集系统采用硬同步与软同步相结合的方式实现时序同步的多模态数据采集,即多模态数据采集子系统之间通过同步触发硬同步及时间维度上的对齐配准软同步相结合的方式得到时序同步的多模态数据采集系统,其示意图如图3所示。
其中硬同步采用同步信号触发各个数据采集子系统,各个子系统均采用触发采集模式,通过通用输入输出接口(GPIO)接受同步信号,获取同步信号的上升或者下降沿从而触发拍摄实现同步采集。在多模态数据同步采集系统中,使用方波信号发生器进行触发源,同步信号通过同轴电缆进行传输,同时为了提高室外、长距离传输时信号的抗干扰能力,多模态数据同步采集系统对同步信号进行编码传输,利用单端输入转差分信号电路模块将触发信号转为差分信号并通过双绞线传输,在各个数据采集子系统接受端利用差分输入转单端信号电路模块将信号恢复。在一些实施例中,数据采集子系统中若有由于自身硬件限制无法进行触发采集的情况,则可考虑其输出同步信号作为系统的触发源,例如利用红外相机数据采集系统的场同步信号作为整个系统的触发源,将场同步信号通过变频模块转换成其他子系统可接受的触发信号,通过将触发信号传输给各个数据采集子系统,最终完成硬同步采集。
多模数据采集系统的软同步则根据实际系统采集时可能存在的数据帧丢失以及起始帧对齐问题,以记录系统时间戳的形式记录多模态数据采集系统的各数据采集子系统数据采集时间,以进行各数据采集子系统间数据时间戳对齐,进而得到时序同步的多模态同步采集系统。
Z4:依据不同模态的数据特征进行融合最终实现可见光相机在浓烟、浓雾、雨雪等恶劣天气条件下的图像质量增强、目标检测等应用。
多模态数据融合方法,应用于多模态数据采集系统,可实现图像质量增强、目标检测等多种应用。在浓烟、浓雾、雨雪等恶劣的天气条件下,空气中可见光频段发生了较大的米氏散射,导致可见光能见度急剧降低,红外相机难以获取物体表面的纹理色彩信息,但是有较强的透过烟雾与水汽成像的能力,同时对人、车等热源较敏感,利用红外相机数据采集子系统为可见光相机阵列数据采集子系统提供显著的物体轮廓信息,通过图像融合的方法融合红外图像中显著的物体轮廓信息与可见光图像的色彩信息实现图像质量增强;同时由于数据采集时场景景深问题,不能使所有物体全部清晰成像,而利用可见光相机阵列重聚焦的方式可使其聚焦在某一深度平面,使该平面的物体清晰,但是具体应聚焦在哪一深度层是需要明确的问题,利用毫米波雷达数据采集子系统为可见光相机阵列数据采集子系统提供重聚焦的准确成像平面深度信息,同时修正可见光图像雾气透射率图,以此来实现可见光相机在浓烟、浓雾、雨雪等恶劣的天气条件下图像质量的提升;同时对多模态数据融合结果使用传统目标检测网络方法,如yolo、centernet等,或者在深度神经网络中对红外图像与可见光图像特征进行融合及目标检测,也可提高目标检测准确度,以此来实现目标检测等相关应用。
以上内容是结合具体的优选实施方式对本发明所作的进一步详细说明,不能认定本发明的具体实施只局限于这些说明。对于本发明所属技术领域的技术人员来说,在不脱离本发明构思的前提下,还可以做出若干等同替代或明显变型,而且性能或用途相同,都应当视为属于本发明的保护范围。
Claims (10)
1.一种多模态数据采集系统,其特征在于,包括n×n台可见光相机构成的可见光相机阵列数据采集子系统、m台红外相机构成的红外相机数据采集子系统及p台毫米波雷达构成的毫米波雷达数据采集子系统,其中n、m、p分别为大于等于1的自然数。
2.一种多模态数据同步采集方法,其特征在于,包括以下步骤:
Z1:搭建权利要求1所述的多模态数据采集系统;
Z2:各个数据采集子系统之间进行外参标定,得到外参统一的多模态数据采集系统;
Z3:各个数据采集子系统通过同步触发硬同步以及时间维度上的对齐配准软同步相结合的方式得到时序同步的多模态数据采集系统,并采集得到不同模态的数据;
Z4:将不同模态的数据进行融合得到质量增强的图像。
3.根据权利要求2所述的多模态数据同步采集方法,其特征在于,所述可见光相机阵列数据采集子系统用于采集场景的纹理及色彩信息;所述红外相机数据采集子系统用于采集场景的细节信息;所述毫米波雷达数据采集子系统用于采集场景的深度信息。
4.根据权利要求2所述的多模态数据同步采集方法,其特征在于,步骤Z2具体包括:以所述可见光相机阵列数据采集子系统为参考基准,通过所述可见光相机阵列数据采集子系统自标定、所述可见光相机阵列数据采集子系统与所述毫米波雷达数据采集子系统之间的外参联合标定、所述可见光相机阵列数据采集子系统与所述红外相机数据采集子系统之间进行特征点匹配配准得到各个数据采集子系统之间的相对位置关系,以得到外参统一的多模态数据采集系统。
5.根据权利要求4所述的多模态数据同步采集方法,其特征在于,所述可见光相机阵列数据采集子系统与所述毫米波雷达数据采集子系统之间的外参联合标定具体包括:通过在场景中放置雷达标定物,计算雷达扫过平面真实三维点和对应像素的全局单应性矩阵,完成雷达与可见光相机间相对位置关系的求解。
6.根据权利要求4所述的多模态数据同步采集方法,其特征在于,所述可见光相机阵列数据采集子系统与所述红外相机数据采集子系统之间进行特征点匹配配准具体包括:通过所述可见光相机阵列数据采集子系统与所述红外相机数据采集子系统所采集的图像的比例关系对图像进行缩放,并进行特征点的提取与描述子的构建,再利用RANSAC去除外点,利用剩余的内点进行单应性矩阵求解,以完成图像映射,实现所述可见光相机阵列数据采集子系统与所述红外相机数据采集子系统之间的标定。
7.根据权利要求2所述的多模态数据同步采集方法,其特征在于,其中同步触发硬同步具体包括:通过通用输入输出接口接受同步信号,获取同步信号的上升或者下降沿以触发拍摄实现同步采集。
8.根据权利要求7所述的多模态数据同步采集方法,其特征在于,同步信号通过同轴电缆进行传输,并采用方波信号发生器作为触发各个数据采集子系统拍摄的触发源,其中,同步信号通过同轴电缆进行传输具体为:对同步信号进行编码传输,利用单端输入转差分信号电路模块将触发信号转为差分信号并通过双绞线传输,在各个数据采集子系统的接受端利用差分输入转单端信号电路模块将信号恢复。
9.根据权利要求2所述的多模态数据同步采集方法,其特征在于,采用红外相机数据采集子系统的场同步信号作为各个数据采集子系统拍摄的触发源,将场同步信号通过变频模块转换成其他数据采集子系统可接受的触发信号,通过将触发信号传输给各个数据采集子系统,以完成硬同步采集。
10.根据权利要求2至9任一项所述的多模态数据同步采集方法,其特征在于,各个数据采集子系统在时间维度上的对齐配准软同步具体包括:根据实际采集时可能存在的数据帧丢失以及起始帧对齐问题,以记录系统时间戳的形式记录多模态数据采集系统的各个数据采集子系统的数据采集时间,以进行各个数据采集子系统间数据时间戳对齐,进而得到时序同步的多模态同步采集系统。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202111238386.6A CN113945921A (zh) | 2021-10-25 | 2021-10-25 | 一种多模态数据采集系统及同步采集方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202111238386.6A CN113945921A (zh) | 2021-10-25 | 2021-10-25 | 一种多模态数据采集系统及同步采集方法 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN113945921A true CN113945921A (zh) | 2022-01-18 |
Family
ID=79332044
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202111238386.6A Pending CN113945921A (zh) | 2021-10-25 | 2021-10-25 | 一种多模态数据采集系统及同步采集方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN113945921A (zh) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN114581944A (zh) * | 2022-02-18 | 2022-06-03 | 杭州睿影科技有限公司 | 一种毫米波图像处理方法、装置及电子设备 |
CN114710228A (zh) * | 2022-05-31 | 2022-07-05 | 杭州闪马智擎科技有限公司 | 一种时间的同步方法、装置、存储介质及电子装置 |
-
2021
- 2021-10-25 CN CN202111238386.6A patent/CN113945921A/zh active Pending
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN114581944A (zh) * | 2022-02-18 | 2022-06-03 | 杭州睿影科技有限公司 | 一种毫米波图像处理方法、装置及电子设备 |
CN114710228A (zh) * | 2022-05-31 | 2022-07-05 | 杭州闪马智擎科技有限公司 | 一种时间的同步方法、装置、存储介质及电子装置 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CA3157194C (en) | Systems and methods for augmentation of sensor systems and imaging systems with polarization | |
US10764559B2 (en) | Depth information acquisition method and device | |
CN108257161B (zh) | 基于多相机的车辆环境三维重构和运动估计系统及方法 | |
CN109035309B (zh) | 基于立体视觉的双目摄像头与激光雷达间的位姿配准方法 | |
CN110517303B (zh) | 一种基于双目相机和毫米波雷达的融合slam方法及系统 | |
CN110956661B (zh) | 基于双向单应矩阵的可见光与红外相机动态位姿计算方法 | |
WO2021098083A1 (zh) | 基于显著特征的多光谱相机动态立体标定算法 | |
WO2021098080A1 (zh) | 基于边缘特征的多光谱相机外参自校正算法 | |
CN113945921A (zh) | 一种多模态数据采集系统及同步采集方法 | |
CN107560592B (zh) | 一种用于光电跟踪仪联动目标的精确测距方法 | |
CN108269238B (zh) | 深度图像采集装置和深度图像采集系统及其图像处理方法 | |
CN103796001A (zh) | 一种同步获取深度及色彩信息的方法及装置 | |
JP6087947B2 (ja) | 非同期センサに依存するシーンの3d再構成の方法 | |
WO2020119467A1 (zh) | 高精度稠密深度图像的生成方法和装置 | |
WO2024045632A1 (zh) | 基于双目视觉和imu的水下场景三维重建方法及设备 | |
CN111583386B (zh) | 基于标签传播算法的多视角人体姿态重建方法 | |
WO2021139176A1 (zh) | 基于双目摄像机标定的行人轨迹跟踪方法、装置、计算机设备及存储介质 | |
CN112927233A (zh) | 一种船用激光雷达与视频联合目标捕捉方法 | |
CN109299696B (zh) | 一种基于双摄像头的人脸检测方法及装置 | |
CN111856445B (zh) | 一种目标检测方法、装置、设备及系统 | |
CN111882655A (zh) | 三维重建的方法、装置、系统、计算机设备和存储介质 | |
CN110827375B (zh) | 一种基于微光图像的红外图像真彩着色方法及系统 | |
CN109495694B (zh) | 一种基于rgb-d的环境感知方法及装置 | |
WO2023017663A1 (en) | Systems and methods for image processing based on optimal transport and epipolar geometry | |
CN110068308B (zh) | 一种基于多目相机的测距方法及测距系统 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |