CN112770066A - 一种用于多传感器融合图像拼接技术的时间同步方法 - Google Patents
一种用于多传感器融合图像拼接技术的时间同步方法 Download PDFInfo
- Publication number
- CN112770066A CN112770066A CN202011603513.3A CN202011603513A CN112770066A CN 112770066 A CN112770066 A CN 112770066A CN 202011603513 A CN202011603513 A CN 202011603513A CN 112770066 A CN112770066 A CN 112770066A
- Authority
- CN
- China
- Prior art keywords
- time
- information
- picture
- module
- aerial vehicle
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 230000004927 fusion Effects 0.000 title claims abstract description 12
- 238000000034 method Methods 0.000 title claims abstract description 11
- 238000003384 imaging method Methods 0.000 claims abstract description 11
- 238000013507 mapping Methods 0.000 claims abstract description 10
- RZVHIXYEVGDQDX-UHFFFAOYSA-N 9,10-anthraquinone Chemical compound C1=CC=C2C(=O)C3=CC=CC=C3C(=O)C2=C1 RZVHIXYEVGDQDX-UHFFFAOYSA-N 0.000 claims description 9
- 238000013461 design Methods 0.000 claims description 4
- 230000001360 synchronised effect Effects 0.000 claims description 3
- 230000000007 visual effect Effects 0.000 claims 1
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 3
- 230000000694 effects Effects 0.000 description 2
- 238000012544 monitoring process Methods 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 208000003028 Stuttering Diseases 0.000 description 1
- 238000010521 absorption reaction Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 230000003111 delayed effect Effects 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 238000009434 installation Methods 0.000 description 1
- 230000008447 perception Effects 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 238000002407 reforming Methods 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 230000035939 shock Effects 0.000 description 1
- 239000002352 surface water Substances 0.000 description 1
- 230000001960 triggered effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4038—Image mosaicing, e.g. composing plane images from plane sub-images
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
- G01C11/00—Photogrammetry or videogrammetry, e.g. stereogrammetry; Photographic surveying
- G01C11/04—Interpretation of pictures
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N33/00—Investigating or analysing materials by specific methods not covered by groups G01N1/00 - G01N31/00
- G01N33/18—Water
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
- G06F16/58—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
- G06F16/5866—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using information manually generated, e.g. tags, keywords, comments, manually generated location and time information
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
- G06F16/58—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
- G06F16/587—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using geographical or spatial information, e.g. location
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/50—Control of the SSIS exposure
- H04N25/57—Control of the dynamic range
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/04—Synchronising
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2200/00—Indexing scheme for image data processing or generation, in general
- G06T2200/32—Indexing scheme for image data processing or generation, in general involving image mosaicing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10004—Still image; Photographic image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20212—Image combination
- G06T2207/20221—Image fusion; Image merging
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Library & Information Science (AREA)
- Data Mining & Analysis (AREA)
- Databases & Information Systems (AREA)
- General Engineering & Computer Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- Chemical & Material Sciences (AREA)
- Health & Medical Sciences (AREA)
- Radar, Positioning & Navigation (AREA)
- Remote Sensing (AREA)
- Food Science & Technology (AREA)
- Medicinal Chemistry (AREA)
- Analytical Chemistry (AREA)
- Biochemistry (AREA)
- General Health & Medical Sciences (AREA)
- Immunology (AREA)
- Pathology (AREA)
- Studio Devices (AREA)
Abstract
一种用于多传感器融合图像拼接技术的时间同步方法，属于图像拼接技术领域。利用无人机上的相机拍摄所需图片，在每个测绘点时间模块显示的时间信息都会被拍入图片中，时间模块显示的时间信息即为实际成像时的时间，即拍摄所需图片的时间信息与空间信息都将在拍照时完成。根据识别出的时间从后台导出对应时间点的相机位置、姿态信息。这样位姿时间与成像时间都有了统一的参考标准，即时间模块记录的时间。只要能保持位姿信息和图片信息所对应的时间是同一个时间模块的计时时间，理论就不会出现时间上的信息偏差。
Description
技术领域
本发明属于图像拼接技术领域，具体是实现无人机航拍测绘点的图片信息、GPS信息和姿态信息的时间、空间同步。
技术背景
无人机航拍技术已经广泛地应用于水质检测系统中，但传统拼图技术不足以支撑大范围的湖泊水质监测。而现在有一种基于多传感器融合的新拼图技术被应用于无人机航拍水质监测领域。这种技术通过获取光学感知图像和地理坐标的一致性映射，利用相机光学拍摄的几何关系反演航拍像素的空间坐标数据，形成单帧图像像素坐标数据，最终基于所有测绘点的图片信息、GPS信息和姿态信息完成拼图。
在测绘反演中，摄像头的图片信息、GPS信息与姿态信息即使只有很小的误差，都会对后续的拼图效果产生很大的影响。因为，在大气环境中，风场的运动会对无人机桨叶所承受的相对气流加以改变，继而影响到旋翼在力跟力矩的输出，对无人机在高空飞行的姿态及位置形成影响。这种影响使无人机每一瞬的位姿都不一样，所以在实际飞行测绘实验中，即使图片信息与位姿信息所分为对应的时间只有几十毫秒的偏差，都会造成拼图的偏差或失败。因此在基于多传感器融合的图像拼接技术中，如何准确的对应每张图像的位姿信息以及时间信息就显得尤为重要。
发明内容
在实际测绘中时间不同步主要是由于相机的触发延时，相机拍照存在触发时间与曝光时间，曝光时间通常是几十毫秒，系统软件后台只会记录拍照的触发时间，并根据触发时间，将对应时刻的GPS信息与摄像头姿态信息随图像导出。这样图片信息对应的是图片成像时间，而位姿信息对应的是触发时间，也即意味着图片信息与位姿信息不同步，这种不同步的信息将在后续的拼图工作产生较大的误差。本技术将无人机位姿时间实时外显并拍入图片中，使时间同步可以达到预期精度。
一种用于多传感器融合图像拼接技术的时间同步方法，具体如下：
(一)基于多传感器融合图像拼接技术的时间同步装置的设计
在原有无人机配置基础上接入时间模块，所述的时间模块为LCD并行串口显示器，LCD并行串口显示器与飞控接口相连，以实现同步电源触发。LCD并行串口显示器设置于原有无人机的支架上，并位于无人机拍摄相机下方，处于相机拍摄的视野范围内边缘处。
进一步的，对于时间模块的要求：
(1)时间模块需要保证在高空运作中性能稳定，即不会出现断续或卡顿的情况。
(2)时间模块最小显示时间要达到1ms。
(3)时间模块采用光点显示代替数字显示，以解决高空下相机不对焦而导致时间模块拍摄模糊、后期无法识别的问题。
(二)时间同步实现过程
接入电源后时间模块与无人机同步开机工作，时间模块将图片成像时间外显，利用无人机上的相机拍摄所需图片，在每个测绘点时间模块显示的时间信息都会被拍入图片中，该信息即标定了图片的成像时间，同时也标定了图片的位姿时间；通过将飞控主频计数器的值转换为时间，按不同的时间单位分行并以光点外显，其中每行的光点数量由该行的时间值决定，进而实现对系统开机工作时间的实时记录。
进一步的，根据需要，在时间模块基础上添加可以对GPS信息与姿态信息实现外显的功能，后期再对特定区域进行图像识别，实现照片位姿数据的时间同步与空间同步。
图像采集点的时间信息与空间信息的标定都将在拍照时完成，根据识别出的时间从后台导出对应时间点的相机位置、姿态信息。这样位姿时间与成像时间都有了统一的参考标准，即时间模块记录的时间。只要能保持位姿信息和图片信息所对应的时间是同一个时间模块的计时时间，理论就不会出现时间上的信息偏差。
本发明的有益效果：时间显示模块位置固定，方便后期通过图像识别来读取时间信息。采用光点显示是因为在高空中，摄像头的焦距对准的是地面，而该模块固定的位置是飞行器的支架，在这种对焦情况下拍摄的文字会模糊，且文字处理对图像识别的要求更高，因此综合考虑下，采用光点显示最可靠、简洁。信息屏幕的固定位置宜放在摄像头视野范围内的边缘，将屏幕遮挡对图像采集的影响降到最低。
附图说明
图1为改进前的图像信息与位姿信息对应时间关系。
图2为改进后的图像信息与位姿信息对应时间关系。
图3为时间模块运行图。
图4为时间模块在具体实施例中的安装位置。
具体实施方式
以下根据附图及实施例对本发明的技术方案进行进一步的说明。
硬件配置设计
本发明拟在原有无人机机体减震支架上固定一LCD并行串口显示器(时间模块显示屏)，将LCD并行串口显示器与飞控主控芯片STM32F103相连。，与原有的拍摄模块配合使用实现时间同步。
软件程序设计
时间模块通过对单片机编程，将实时时间按行用光点外显，实现对图像成像时间的记录。将编写好的程序载入飞控主控芯片，如有需要，还可以对该模块的程序进行修改，添加上可以对GPS信息与姿态信息实现外显的程序，后期再对特定区域进行图像识别，实现照片位姿数据的时间同步与空间同步。通过该模块，图片的时间信息与空间信息都将在拍照时完成。
设计原理
时间模块固定在摄像头可视范围，该模块通过光点显示实时的时间信息(显示到毫秒)。在每个测绘点时间模块显示的信息都会被拍入图片中，并成为参考图片时间。由于此时间模块将会在无人机接入电源时与无人机同步开机工作，时间模块是将图片成像时间外显，因此对应为图片的位姿时间。
根据识别出的时间从后台导出对应时间点的相机位置、姿态信息。这样位姿时间与成像时间都有了统一的参考标准即时间模块记录的时间。这也就意味着，只要能保持位姿信息和图片信息所对应的是同一个计时模块时间，理论就不会出现时间上的信息偏差。
具体实验过程：
LCD并行串口显示器分六行显示，从上到下每行对应的时间单位分别为十分、分、十秒、秒、一百毫秒、十毫秒，每行最多能显示十个光点，其中一到九个光点所代表的就是一到九这几个数值，十个光点则代表零。如图3所示，时间模块第一行1个点，第二行2个点，第三行3个点，第四行4个点，第五行五个点，第六行六个点，此时时间模块所代表的时间为12分钟，34秒，560毫秒。
将改装后的无人机接上电源，LCD并行串口显示器的屏幕亮起开始计时显示，与飞控同时工作，用无人机遥控控制无人机起飞，上升到250米高空开始飞行任务，在预设的拍照取样点悬停，通过实时传输的画面判断无人机悬停较为稳定后，通过遥控触发相机，开始连续拍照。完成飞行任务后无人机降落，将相机的内存卡取出读取采集到的图像信息，在图片的左下角可以看到完整显示计时时间的LCD屏幕。通过图像识别将LCD上的时间信息读取，根据读取的时间信息将飞控中存储的无人机位姿信息导出，与图像信息对应。通过多传感器融合图像接技术，基于图像信息与位姿信息进行湖面水域的图像拼接工作。根据完成的图像与现有的地图对比，发现拼图效果较好，验证了本发明的可行性。
Claims (3)
1.一种用于多传感器融合图像拼接技术的时间同步方法，其特征在于，具体如下：
(一)基于多传感器融合图像拼接技术的时间同步装置的设计
在原有无人机配置基础上接入时间模块，所述的时间模块为LCD并行串口显示器，LCD并行串口显示器与飞控接口相连，时间模块与飞控采用同一电源供电，以实现同步电源触发；LCD并行串口显示器设置于原有无人机的支架上，并位于无人机拍摄相机下方，处于相机拍摄的视野范围内边缘处；
(二)时间同步实现过程
接入电源后时间模块与无人机同步开机工作，时间模块将图片成像时间外显，利用无人机上的相机拍摄所需图片，在每个测绘点时间模块显示的时间信息都会被拍入图片中，该信息即标定了图片的成像时间，同时也标定了图片的位姿时间；通过将飞控主频计数器的值转换为时间，按不同的时间单位分行并以光点外显，其中每行的光点数量由该行的时间值决定，进而实现对系统开机工作时间的实时记录。
2.根据权利要求1所述的一种用于多传感器融合图像拼接技术的时间同步方法，其特征在于，对于时间模块的要求：
(1)时间模块需要保证在高空运作中性能稳定；
(2)时间模块最小显示时间要达到1ms；
(3)时间模块采用光点显示代替数字显示。
3.根据权利要求1或2所述的一种用于多传感器融合图像拼接技术的时间同步方法，其特征在于，根据需要，在时间模块基础上添加可以对GPS信息与姿态信息实现外显的功能，后期再对特定区域进行图像识别，实现照片位姿数据的时间同步与空间同步。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011603513.3A CN112770066A (zh) | 2020-12-29 | 2020-12-29 | 一种用于多传感器融合图像拼接技术的时间同步方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011603513.3A CN112770066A (zh) | 2020-12-29 | 2020-12-29 | 一种用于多传感器融合图像拼接技术的时间同步方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN112770066A true CN112770066A (zh) | 2021-05-07 |
Family
ID=75697307
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202011603513.3A Pending CN112770066A (zh) | 2020-12-29 | 2020-12-29 | 一种用于多传感器融合图像拼接技术的时间同步方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112770066A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114449164A (zh) * | 2021-12-27 | 2022-05-06 | 广州极飞科技股份有限公司 | 拍照方法、装置、无人设备及存储介质 |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107094249A (zh) * | 2017-03-31 | 2017-08-25 | 腾讯科技（上海）有限公司 | 一种测试摄像头延时的方法及装置 |
| CN107241546A (zh) * | 2017-05-26 | 2017-10-10 | 清华大学 | 灯阵闪烁系统、摄像机时间检测设定系统和方法 |
| CN108040192A (zh) * | 2017-12-14 | 2018-05-15 | 北京理工大学 | 一种精确定位相机采集图像时刻的系统和方法 |
| CN108122258A (zh) * | 2017-12-14 | 2018-06-05 | 北京理工大学 | 采用微镜阵列投影法的相机采集刻标定系统和方法 |
| CN110753167A (zh) * | 2019-11-13 | 2020-02-04 | 广州文远知行科技有限公司 | 时间同步方法、装置、终端设备及存储介质 |
| CN111726538A (zh) * | 2019-03-20 | 2020-09-29 | 北京初速度科技有限公司 | 一种图像曝光参数量测系统及标板设备 |
-
2020
- 2020-12-29 CN CN202011603513.3A patent/CN112770066A/zh active Pending
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107094249A (zh) * | 2017-03-31 | 2017-08-25 | 腾讯科技（上海）有限公司 | 一种测试摄像头延时的方法及装置 |
| CN107241546A (zh) * | 2017-05-26 | 2017-10-10 | 清华大学 | 灯阵闪烁系统、摄像机时间检测设定系统和方法 |
| CN108040192A (zh) * | 2017-12-14 | 2018-05-15 | 北京理工大学 | 一种精确定位相机采集图像时刻的系统和方法 |
| CN108122258A (zh) * | 2017-12-14 | 2018-06-05 | 北京理工大学 | 采用微镜阵列投影法的相机采集刻标定系统和方法 |
| CN111726538A (zh) * | 2019-03-20 | 2020-09-29 | 北京初速度科技有限公司 | 一种图像曝光参数量测系统及标板设备 |
| CN110753167A (zh) * | 2019-11-13 | 2020-02-04 | 广州文远知行科技有限公司 | 时间同步方法、装置、终端设备及存储介质 |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114449164A (zh) * | 2021-12-27 | 2022-05-06 | 广州极飞科技股份有限公司 | 拍照方法、装置、无人设备及存储介质 |
| CN114449164B (zh) * | 2021-12-27 | 2023-07-18 | 广州极飞科技股份有限公司 | 拍照方法、装置、无人设备及存储介质 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111435162A (zh) | 激光雷达与相机同步方法、装置、设备和存储介质 | |
| CN105210368B (zh) | 背景差分提取装置以及背景差分提取方法 | |
| CN106705964A (zh) | 全景相机融合imu、激光扫描仪定位与导航系统及方法 | |
| WO2019061159A1 (zh) | 定位故障光伏板的方法、设备及无人机 | |
| CN108510545A (zh) | 空间定位方法、空间定位设备、空间定位系统及计算机可读存储介质 | |
| CN112655024A (zh) | 一种图像标定方法及装置 | |
| CN109741241A (zh) | 鱼眼图像的处理方法、装置、设备和存储介质 | |
| CN110634138A (zh) | 一种基于视觉感知的桥梁变形的监测方法、装置及设备 | |
| US20230105991A1 (en) | Method of imaging a wind turbine rotor blade | |
| CN110213491B (zh) | 一种对焦方法、装置及存储介质 | |
| CN103024428A (zh) | 一种全景影像系统自动校正装置及校正方法 | |
| CN114549595A (zh) | 数据处理方法、装置、电子设备及存储介质 | |
| CN113191388A (zh) | 用于目标检测模型训练的图像采集系统及样本生成方法 | |
| CN113031462A (zh) | 无人机用港机巡检航线规划系统及方法 | |
| CN112770066A (zh) | 一种用于多传感器融合图像拼接技术的时间同步方法 | |
| CN113971682A (zh) | 一种基于深度信息实时可变绿幕生成方法及抠像方法 | |
| CN112991457B (zh) | 手术导航中投影仪空间位置和内外参标定方法、装置 | |
| CN113256724B (zh) | 一种手柄inside-out视觉6自由度定位方法及系统 | |
| CN114584702A (zh) | 一种拍摄可见光和热成像重叠图的方法及系统 | |
| CN114663495A (zh) | 校准方法和装置、头戴显示设备及计算机可读存储介质 | |
| CN116977449A (zh) | 一种基于闪烁棋盘格的复眼事件相机主动标定方法 | |
| CN112017242A (zh) | 显示方法及装置、设备、存储介质 | |
| CN111866499A (zh) | 一种双目摄像头影像的中心校正方法 | |
| CN101751654A (zh) | 真实环境中采集的灯光信息在虚拟现实中的应用 | |
| CN116309873A (zh) | 视线数据样本的采集系统、方法、计算设备及存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20210507 |