CN112598716B - 一种多模态图像的配准方法、装置及系统 - Google Patents
一种多模态图像的配准方法、装置及系统 Download PDFInfo
- Publication number
- CN112598716B CN112598716B CN202011389257.2A CN202011389257A CN112598716B CN 112598716 B CN112598716 B CN 112598716B CN 202011389257 A CN202011389257 A CN 202011389257A CN 112598716 B CN112598716 B CN 112598716B
- Authority
- CN
- China
- Prior art keywords
- image
- registered
- processed
- images
- pair
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 48
- 230000003287 optical effect Effects 0.000 claims abstract description 57
- 239000011159 matrix material Substances 0.000 claims abstract description 40
- 238000012545 processing Methods 0.000 claims abstract description 32
- 230000000007 visual effect Effects 0.000 claims abstract description 5
- XEEYBQQBJWHFJM-UHFFFAOYSA-N Iron Chemical compound [Fe] XEEYBQQBJWHFJM-UHFFFAOYSA-N 0.000 claims description 42
- 229910052742 iron Inorganic materials 0.000 claims description 21
- 238000013507 mapping Methods 0.000 claims description 14
- CWYNVVGOOAEACU-UHFFFAOYSA-N Fe2+ Chemical compound [Fe+2] CWYNVVGOOAEACU-UHFFFAOYSA-N 0.000 claims description 5
- 230000004927 fusion Effects 0.000 abstract description 8
- 230000010287 polarization Effects 0.000 description 15
- 238000010586 diagram Methods 0.000 description 13
- 238000004590 computer program Methods 0.000 description 7
- 230000006870 function Effects 0.000 description 7
- 230000008569 process Effects 0.000 description 6
- 230000009466 transformation Effects 0.000 description 5
- 238000010438 heat treatment Methods 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 3
- 238000000605 extraction Methods 0.000 description 3
- 230000007246 mechanism Effects 0.000 description 3
- 238000012986 modification Methods 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 238000004519 manufacturing process Methods 0.000 description 2
- 230000003068 static effect Effects 0.000 description 2
- 230000001502 supplementing effect Effects 0.000 description 2
- 230000001360 synchronised effect Effects 0.000 description 2
- 238000009835 boiling Methods 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 238000013136 deep learning model Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 230000008447 perception Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000001931 thermography Methods 0.000 description 1
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
- G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10004—Still image; Photographic image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10048—Infrared image
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Image Processing (AREA)
Abstract
本发明提供一种多模态图像的配准方法、装置及系统，用于解决现有的配准算法存在的无法实时获取同一时间具有相同视角和重叠区域的多模态图像，进而无法实现多模态图像数据融合的技术问题，所述方法包括：对不同模态的光学传感器分别获取的多帧图像进行时间同步处理，确定多个待处理图像对，确定多个待处理图像对中的每个待处理图像对中的参考图像和待配准图像，根据每个待处理图像对中的参考图像和待配准图像的特征点，确定每个待处理图像对中的待配准图像对应的单应性矩阵，确定多个待处理图像对中的待配准图像对应的单应性矩阵的均值，根据均值对每个待处理图像对中的待配准图像进行配准处理。
Description
技术领域
本发明涉及图像处理技术领域，尤其涉及一种多模态图像的配准方法、装置及系统。
背景技术
随着机器学习技术的快速发展，基于深度学习的计算机视觉算法已经广泛地运用到视频监控、智能驾驶等任务中，极大地提高了图像采集设备对环境的感知能力。然而，在真实场景中，图像采集设备会面临各种复杂环境，当图像采集设备处于下雨天、下雪天、夜晚、雾霾等环境中时，将导致采集的RGB图像上的目标可辨识度低，特征不明显，此时由具有特定特征的图像数据训练得到的深度学习模型将不能很好地识别出该RGB图像上的低辨识目标。
研究表明，多模态图像数据的融合有助于提高在某些复杂环境下目标检测等计算机视觉算法的性能，在很多情况下其他模态的传感器信息对传统的RGB相机具有很好地信息补充作用。例如，红外相机采用热成像原理，可以根据环境的温度差异来成像，不受光照条件影响，偏振相机(带有偏振镜头的RGB相机)可以滤除由于偏振光在影像上形成的亮斑、耀斑，改善亮斑、耀斑处的影像清晰度，在很多复杂环境下，红外相机和偏振相机对RGB相机具有很好的信息补充作用。
实时获取同一时间具有相同视角和重叠区域的多模态图像，是实现多模态图像数据融合的技术前提。目前，针对RGB相机、红外相机进行配准的方法有很多，但算法复杂度较高，难以达到实时性要求，且现有的配准算法只适用于同模态图像，而不适用于不同模态图像之间的配准，具有一定的应用局限性。可见，现有的配准算法无法实时获取同一时间具有相同视角和重叠区域的多模态图像，进而无法实现多模态图像数据融合。
发明内容
本申请实施例提供一种多模态图像的配准方法、装置及系统，用于解决现有的配准算法存在的无法实时获取同一时间具有相同视角和重叠区域的多模态图像，进而无法实现多模态图像数据融合的问题。
第一方面，为解决上述技术问题，本申请实施例提供一种多模态图像的配准方法，应用于配准系统，所述配准系统包括至少两个不同模态的光学传感器以及固定装置，所述固定装置用于将所述不同模态的光学传感器的拍摄轴线固定在同一垂直平面，该方法的技术方案如下：
对所述不同模态的光学传感器分别获取的多帧图像进行时间同步处理，确定多个待处理图像对，其中，所述待处理图像对中的图像为所述不同模态的光学传感器在同一时刻分别获取的图像；
确定所述多个待处理图像对中的每个待处理图像对中的参考图像和待配准图像，其中，所述参考图像为视野范围最小的图像；
根据所述每个待处理图像对中的参考图像和待配准图像的特征点，确定所述每个待处理图像对中的所述待配准图像对应的单应性矩阵，其中，所述单应性矩阵用于表示所述参考图像和所述待配准图像之间的映射关系；
确定所述多个待处理图像对中的所述待配准图像对应的单应性矩阵的均值，根据所述均值对所述每个待处理图像对中的所述待配准图像进行配准处理。
在本申请实施例中，对不同模态的光学传感器分别获取的多帧图像进行时间同步处理，确定多个待处理图像对，其中，待处理图像对中的图像为不同模态的光学传感器在同一时刻分别获取的图像，确定多个待处理图像对中的每个待处理图像对中的参考图像和待配准图像，其中，所述参考图像为视野范围最小的图像，根据每个待处理图像对中的参考图像和待配准图像的特征点，确定每个待处理图像对中的待配准图像对应的单应性矩阵，其中，单应性矩阵用于表示参考图像和待配准图像之间的映射关系，确定多个待处理图像对中的待配准图像对应的单应性矩阵的均值，根据均值对每个待处理图像对中的待配准图像进行配准处理，通过时间同步可以解决由于不同模态的光学传感器的曝光方式、触发机制和帧率的差异造成的同步拍摄的困难，通过求取不同模态的光学传感器之间的单应矩阵可以实现不同模态的图像之间的配准，从而可以实时获取同一时间具有相同视角和重叠区域的多模态图像，进而实现多模态图像数据融合。
一种可选实施方式中，所述配准系统还包括铁质标定板，所述对所述不同模态的光学传感器分别获取的多帧图像进行时间同步处理之前，还包括：
固定所述不同模态的光学传感器的镜头焦距；
控制所述不同模态的光学传感器分别获取多帧图像，其中，所述多帧图像的主体为不同时刻的加热后的所述铁质标定板。
在本申请实施例中，固定不同模态的光学传感器的镜头焦距，控制不同模态的光学传感器分别获取多帧图像，其中，多帧图像的主体为不同时刻的加热后的所述铁质标定板，从而通过固定装置将不同模态的光学传感器的拍摄轴线固定在同一垂直平面，并保持不同模态的光学传感器的镜头焦距不变，使得只需求取一次单应性矩阵，且当不同模态的图像包括红外图像时，采用加热简易铁质标定板的方式可以实现了红外图像上特征点的清楚显示，铁质标定板的制作成本低廉，工艺简单，操作安全可靠。
一种可选实施方式中，根据所述每个待处理图像对中的参考图像和待配准图像的特征点，确定所述每个待处理图像对中的所述待配准图像对应的单应性矩阵，包括：
选取所述每个待处理图像对中的参考图像和待配准图像的特征点，其中，所述特征点为用于表示图像中的所述铁质标定板的角点的像素坐标；
根据所述每个待处理图像对中的所述参考图像和所述待配准图像的特征点，确定所述每个待处理图像对中的所述参考图像和所述待配准图像之间的匹配点对；
根据所述匹配点对，确定所述每个待处理图像对中的所述待配准图像对应的单应性矩阵。
一种可选实施方式中，选取所述每个待处理图像对中的参考图像和待配准图像的特征点，包括：
获取用户手动选取的所述每个待处理图像对中的参考图像和待配准图像的至少四个特征点，其中，所述参考图像的至少四个特征点的位置与所述待配准图像的至少四个特征点的位置相匹配。
在本申请实施例中，获取用户手动选取的每个待处理图像对中的参考图像和待配准图像的至少四个特征点，其中，参考图像的至少四个特征点的位置与待配准图像的至少四个特征点的位置相匹配，采用用户手动选取的方式来选取不同模态图像上配准的特征点，提高了特征点配准的正确性。
第二方面，本申请实施例还提供一种多模态图像的配准装置，应用于配准系统，所述配准系统包括至少两个不同模态的光学传感器以及固定装置，所述固定装置用于将所述不同模态的光学传感器的拍摄轴线固定在同一垂直平面，包括：
第一确定模块，用于对所述不同模态的光学传感器分别获取的多帧图像进行时间同步处理，确定多个待处理图像对，其中，所述待处理图像对中的图像为所述不同模态的光学传感器在同一时刻分别获取的图像；
第二确定模块，用于确定所述多个待处理图像对中的每个待处理图像对中的参考图像和待配准图像，其中，所述参考图像为视野范围最小的图像；
第三确定模块，用于根据所述每个待处理图像对中的参考图像和待配准图像的特征点，确定所述每个待处理图像对中的所述待配准图像对应的单应性矩阵，其中，所述单应性矩阵用于表示所述参考图像和所述待配准图像之间的映射关系；
处理模块，用于确定所述多个待处理图像对中的所述待配准图像对应的单应性矩阵的均值，根据所述均值对所述每个待处理图像对中的所述待配准图像进行配准处理。
一种可选实施方式中，所述配准系统还包括铁质标定板，所述装置还包括控制模块，用于：
固定所述不同模态的光学传感器的镜头焦距；
控制所述不同模态的光学传感器分别获取多帧图像，其中，所述多帧图像的主体为不同时刻的加热后的所述铁质标定板。
一种可选实施方式中，所述第三确定模块，具体用于：
选取所述每个待处理图像对中的参考图像和待配准图像的特征点，其中，所述特征点为用于表示图像中的所述铁质标定板的角点的像素坐标；
根据所述每个待处理图像对中的所述参考图像和所述待配准图像的特征点，确定所述每个待处理图像对中的所述参考图像和所述待配准图像之间的匹配点对；
根据所述匹配点对，确定所述每个待处理图像对中的所述待配准图像对应的单应性矩阵。
一种可选实施方式中，所述第三确定模块，具体用于：
获取用户手动选取的所述每个待处理图像对中的参考图像和待配准图像的至少四个特征点，其中，所述参考图像的至少四个特征点的位置与所述待配准图像的至少四个特征点的位置相匹配。
第三方面，本申请实施例提供一种多模态图像的配准系统，包括：
存储器，用于存储程序指令；
处理器，用于调用所述存储器中存储的程序指令，按照获得的程序指令执行第一方面中的任一种实施方式包括的步骤。
第四方面，本申请实施例提供一种存储介质，该存储介质存储有计算机可执行指令，所述计算机可执行指令用于使计算机执行第一方面中的任一种实施方式包括的步骤。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例。
图1为本申请实施例中的一种多模态图像的配准系统的结构示意图；
图2a为本申请实施例中的一种多模态图像的配准方法的流程示意图；
图2b为本申请实施例中的第一待处理图像对的示意图；
图2c为本申请实施例中的配准后的第一待处理图像对的示意图；
图3为本申请实施例中的一种多模态图像的配准装置的结构示意图；
图4为本申请实施例中的一种多模态图像的配准系统的结构示意图。
具体实施方式
为使本申请的目的、技术方案和优点更加清楚明白，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互任意组合。并且，虽然在流程图中示出了逻辑顺序，但是在某些情况下，能够以不同于此处的顺序执行所示出或描述的步骤。
本申请的说明书和权利要求书及上述附图中的术语“第一”和“第二”是用于区别不同对象，而非用于描述特定顺序。此外，术语“包括”以及它们任何变形，意图在于覆盖不排他的保护。例如包含了一系列步骤或单元的过程、方法、系统、产品或设备没有限定于已列出的步骤或单元，而是可选地还包括没有列出的步骤或单元，或可选地还包括对于这些过程、方法、产品或设备固有的其它步骤或单元。
本申请实施例中，“至少一个”可以表示至少两个，例如可以是两个、三个或者更多个，本申请实施例不做限制。
另外，本文中术语“和/或”，仅仅是一种描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。另外，本文中字符“/”，在不做特别说明的情况下，一般表示前后关联对象是一种“或”的关系。
目前，针对RGB相机、红外相机进行配准的方法有很多，但算法复杂度较高，难以达到实时性要求，且现有的配准算法只适用于同模态图像，而不适用于不同模态图像之间的配准，具有一定的应用局限性。可见，现有的配准算法无法实时获取同一时间具有相同视角和重叠区域的多模态图像，进而无法实现多模态图像数据融合。
鉴于此，本申请实施例提供一种多模态图像的配准方法，应用于配准系统，该配准系统包括至少两个不同模态的光学传感器以及固定装置，固定装置用于将不同模态的光学传感器的拍摄轴线固定在同一垂直平面，该方法可以对不同模态的光学传感器分别获取的多帧图像进行时间同步处理，确定多个待处理图像对，其中，待处理图像对中的图像为不同模态的光学传感器在同一时刻分别获取的图像，确定多个待处理图像对中的每个待处理图像对中的参考图像和待配准图像，其中，所述参考图像为视野范围最小的图像，根据每个待处理图像对中的参考图像和待配准图像的特征点，确定每个待处理图像对中的待配准图像对应的单应性矩阵，其中，单应性矩阵用于表示参考图像和待配准图像之间的映射关系，确定多个待处理图像对中的待配准图像对应的单应性矩阵的均值，根据均值对每个待处理图像对中的待配准图像进行配准处理，通过时间同步可以解决由于不同模态的光学传感器的曝光方式、触发机制和帧率的差异造成的同步拍摄的困难，通过求取不同模态的光学传感器之间的单应性矩阵可以实现不同模态的图像之间的配准，从而可以实时获取同一时间具有相同视角和重叠区域的多模态图像，进而实现多模态图像数据融合。
为了更好的理解上述技术方案，下面通过说明书附图以及具体实施例对本申请技术方案做详细的说明，应当理解本申请实施例以及实施例中的具体特征是对本申请技术方案的详细的说明，而不是对本申请技术方案的限定，在不冲突的情况下，本申请实施例以及实施例中的技术特征可以相互组合。
图1为本申请实施例所提供方法可适用的一种多模态图像的配准系统的结构，当然本申请实施例所提供的方法可以适用到多种多模态图像的配准系统上，应当理解图1所示的多模态图像的配准系统是对可适用本申请实施例所提供方法的多模态图像的配准系统的简单说明，而不是对可适用本申请实施例所提供方法的多模态图像的配准系统的限定。
图1所示的多模态图像的配准系统包括RGB相机101、红外相机102、偏振相机103、固定装置104以及铁质标定板105。固定装置104用于将RGB相机101、红外相机102和偏振相机103的拍摄轴线固定在同一垂直平面，其中，拍摄轴线为垂直于相机的圆心的水平线，在固定装置将RGB相机101、红外相机102和偏振相机103搭载在一起后，分别垂直于RGB相机101、红外相机102和偏振相机103的圆心的水平线将垂直于同一垂直平面(如第一垂直平面)。RGB相机101、红外相机102和偏振相机103用于拍摄不同时刻的加热后的铁质标定板105。
请参见图2a，为本申请实施例提供的一种多模态图像的配准方法，该方法可以由前述图1所示的多模态图像的配准系统执行。该方法的具体流程描述如下。
步骤201：对不同模态的光学传感器分别获取的多帧图像进行时间同步处理，确定多个待处理图像对，其中，待处理图像对中的图像为不同模态的光学传感器在同一时刻分别获取的图像。
在本申请实施例中，在固定装置将不同模态的光学传感器的拍摄轴线固定在同一垂直平面后，可以固定不同模态的光学传感器的镜头焦距，控制不同模态的光学传感器分别获取多帧图像，其中，多帧图像的主体为不同时刻的加热后的铁质标定板，由于不同模态的光学传感器的曝光方式、触发机制和帧率存在不同，导致不同模态的光学传感器无法同步拍摄，所以需对不同模态的光学传感器分别获取的多帧图像进行时间同步处理，从而确定多个待处理图像对，其中，待处理图像对中的图像为不同模态的光学传感器在同一时刻分别获取的图像。
为了便于理解，下面以举例的形式进行说明：
例如，在固定装置104将RGB相机101、红外相机102和偏振相机103的拍摄轴线固定在同一垂直平面后，固定RGB相机101、红外相机102和偏振相机103的镜头焦距，加热铁质标定板105(如开水加热)，并移动加热后的铁质标定板105，控制RGB相机101、红外相机102和偏振相机103分别获取20帧图像，其中，20帧图像的主体为不同时刻的加热后的铁质标定板105。通过机器人操作系统(Robot Operating System,ROS)中的时间同步器(TimeSynchronizer)对RGB相机101、红外相机102和偏振相机103分别获取的20帧图像进行时间同步处理，确定20个待处理图像对，其中，待处理图像对中的图像为RGB相机101、红外相机102和偏振相机103在同一时刻分别获取的图像，如第一待处理图像对中的图像为RGB相机101、红外相机102和偏振相机103在第一时刻分别获取的3帧图像。
步骤202：确定多个待处理图像对中的每个待处理图像对中的参考图像和待配准图像，其中，参考图像为视野范围最小的图像。
在本申请实施例中，在对不同模态的图像进行配准时，由于不同模态的图像的视野范围不同，为了可以实时获取同一时间具有相同视角和重叠区域的多模态图像，确定待处理图像对中的视野范围最小的图像为参考图像，其余为待配准图像，为了便于理解，下面以举例的形式进行说明：
例如，红外相机102获取的红外图像的视野范围最小，则对于上述的20个待处理图像对，确定红外相机102获取的20帧红外图像为参考图像，RGB相机101和偏振相机103分别获取的20帧RGB图像和20帧偏振图像为待配准图像。
步骤203：根据每个待处理图像对中的参考图像和待配准图像的特征点，确定每个待处理图像对中的待配准图像对应的单应性矩阵，其中，单应性矩阵用于表示参考图像和待配准图像之间的映射关系。
在本申请实施例中，单应性用于表示两张图像之间的映射关系，在该映射关系中一张图像上的一个点在另一张图像上有且只有一个映射点，单应性矩阵就是一个表示一张图像和另一张图像之间的映射关系的变换矩阵(3×3)，在确定多个待处理图像对中的每个待处理图像对中的参考图像和待配准图像之后，可以根据每个待处理图像对中的参考图像和待配准图像的特征点，确定每个待处理图像对中的待配准图像对应的单应性矩阵，其中，待配准图像对应的单应性矩阵就是一个表示参考图像和待配准图像之间的映射关系的变换矩阵(3×3)。
示例性的，待配准图像对应的单应性矩阵具体为：
参考图像和待配准图像之间的单应性变换公式具体为：
其中，(x1，y1)与(x2，y2)为参考图像和待配准图像之间的任一匹配点对，则为了确定表示参考图像和待配准图像之间的映射关系的单应性矩阵至少需要参考图像和待配准图像之间的4组匹配点对，即参考图像和待配准图像需要分别选取至少4个特征点。
具体的，首先选取每个待处理图像对中的参考图像和待配准图像的特征点，其中，特征点可以为用于表示图像中的铁质标定板的角点的像素坐标。当不同模态的光学传感器包括红外相机时，由于红外相机是根据周围物体及环境的温度差异成像，特征点自动提取算法在红外图像上的提取准确度不高，若采用特征点自动提取算法选取每个待处理图像对中的参考图像和待配准图像的特征点，将导致不同模态图像的匹配点求取有误，进而影响后续待配准图像的配准效果，所以可以获取用户手动选取的每个待处理图像对中的参考图像和待配准图像的至少四个特征点，其中，参考图像的至少四个特征点的位置与待配准图像的至少四个特征点的位置相匹配。然后根据每个待处理图像对中的参考图像和待配准图像的特征点，确定每个待处理图像对中的参考图像和待配准图像之间的匹配点对。再根据匹配点对，确定每个待处理图像对中的待配准图像对应的单应性矩阵。
为了便于理解，下面以举例的形式进行说明：
例如，对于上述的20个待处理图像对，以第一待处理图像对为例，如图2b所示，为本申请实施例提供的第一待处理图像对的示意图，第一待处理图像对中的图像为RGB相机101在第一时刻获取的第一RGB图像、红外相机102在第一时刻获取的第一红外图像以及偏振相机103在第一时刻获取的第一偏振图像，确定第一红外图像为参考图像，第一RGB图像和第一偏振图像为待配准图像；
获取用户手动选取的第一红外图像的四个特征点(x11，y11)、(x12，y12)、(x13，y13)以及(x14，y14)，第一RGB图像的四个特征点(x21，y21)、(x22，y22)、(x23，y23)以及(x24，y24)，第一偏振图像的四个特征点(x31，y31)、(x32，y32)、(x33，y33)以及(x34，y34)，其中，第一红外图像、第一RGB图像以及第一偏振图像的四个特征点为用于表示铁质标定板的角点的四个像素坐标，第一红外图像、第一RGB图像以及第一偏振图像的四个特征点的位置相匹配，如(x11，y11)、(x21，y21)以及(x31，y31)可以分别为第一红外图像、第一RGB图像以及第一偏振图像中的铁质标定板的左上角的像素坐标；
确定第一红外图像与第一RGB图像的4组匹配点对为：(x11，y11)和(x21，y21)、(x12，y12)和(x22，y22)、(x13，y13)和(x23，y23)以及(x14，y14)和(x24，y24)，将该4组匹配点对代入上述的单应性变换公式中，获得第一红外图像与第一RGB图像之间的单应性矩阵H11，类似的，确定第一红外图像与第一偏振图像的4组匹配点对为：(x11，y11)和(x31，y31)、(x12，y12)和(x32，y32)、(x13，y13)和(x33，y33)以及(x14，y14)和(x34，y34)，将该4组匹配点对代入上述的单应性变换公式中，获得第一红外图像与第一偏振图像之间的单应性矩阵H21；
类似的，对于剩下的19个待处理图像对，采用获取第一待处理图像对中的第一红外图像与第一RGB图像之间的单应性矩阵H11和第一待处理图像对中的第一红外图像与第一偏振图像之间的单应性矩阵H21的相同的方法，分别获取不同待处理图像对中的红外图像与RGB图像之间的单应性矩阵：H12、H13、H14、H15、H16、H17、H18、H19、H110、H111、H112、H113、H114、H115、H116、H117、H118、H119、H120，分别获取不同待处理图像对中的红外图像与偏振图像之间的单应性矩阵：H22、H23、H24、H25、H26、H27、H28、H29、H210、H211、H212、H213、H214、H215、H216、H217、H218、H219、H220。
步骤204：确定多个待处理图像对中的待配准图像对应的单应性矩阵的均值，根据均值对每个待处理图像对中的待配准图像进行配准处理。
在本申请实施例中，在确定每个待处理图像对中的待配准图像对应的单应性矩阵之后，可以确定多个待处理图像对中的待配准图像对应的单应性矩阵的均值，再根据均值对每个待处理图像对中的待配准图像进行配准处理。
为了便于理解，下面以举例的形式进行说明：
例如，分别获取不同的20个待处理图像对中的红外图像与RGB图像之间的单应性矩阵：H11、H12、H13、H14、H15、H16、H17、H18、H19、H110、H111、H112、H113、H114、H115、H116、H117、H118、H119、H120，确定该20个单应性矩阵的均值为H1，根据H1对20个待处理图像对的每个待处理图像对中的RGB图像进行配准处理，使得该RGB图像与同一时间的红外图像具有相同视角和重叠区域。类似的，分别获取不同的20个待处理图像对中的红外图像与偏振图像之间的单应性矩阵：H21、H22、H23、H24、H25、H26、H27、H28、H29、H210、H211、H212、H213、H214、H215、H216、H217、H218、H219、H220，确定该20个单应性矩阵的均值为H2，根据H2对20个待处理图像对的每个待处理图像对中的偏振图像进行配准处理，使得该偏振图像与同一时间的红外图像具有相同视角和重叠区域。示例性的，如图2c所示，为本申请实施例提供的配准后的第一待处理图像对的示意图，第一RGB图像和第一偏振图像与同一时间的第一红外图像具有相同视角和重叠区域。
上述的多模态图像的配准方法通过时间同步解决了由于不同模态的光学传感器的曝光方式、触发机制和帧率的差异造成的同步拍摄的困难，通过求取不同模态的光学传感器之间的单应性矩阵实现了不同模态的图像之间的配准，从而可以实时获取同一时间具有相同视角和重叠区域的多模态图像，进而实现多模态图像数据融合。
基于同一发明构思，本申请实施例提供一种多模态图像的配准装置，该多模态图像的配准装置可以应用于前述图1所示的多模态图像的配准系统。该多模态图像的配准装置能够实现前述的多模态图像的配准方法对应的功能。该多模态图像的配准装置可以是硬件结构、软件模块、或硬件结构加软件模块。该多模态图像的配准装置可以由芯片系统实现，芯片系统可以由芯片构成，也可以包含芯片和其他分立器件。请参见图3所示，该多模态图像的配准装置包括第一确定模块301、第二确定模块302、第三确定模块303、处理模块304，其中：
第一确定模块301，用于对所述不同模态的光学传感器分别获取的多帧图像进行时间同步处理，确定多个待处理图像对，其中，所述待处理图像对中的图像为所述不同模态的光学传感器在同一时刻分别获取的图像；
第二确定模块302，用于确定所述多个待处理图像对中的每个待处理图像对中的参考图像和待配准图像，其中，所述参考图像为视野范围最小的图像；
第三确定模块303，用于根据所述每个待处理图像对中的参考图像和待配准图像的特征点，确定所述每个待处理图像对中的所述待配准图像对应的单应性矩阵，其中，所述单应性矩阵用于表示所述参考图像和所述待配准图像之间的映射关系；
处理模块304，用于确定所述多个待处理图像对中的所述待配准图像对应的单应性矩阵的均值，根据所述均值对所述每个待处理图像对中的所述待配准图像进行配准处理。
一种可选实施方式中，所述装置还包括控制模块，用于：
固定所述不同模态的光学传感器的镜头焦距；
控制所述不同模态的光学传感器分别获取多帧图像，其中，所述多帧图像的主体为不同时刻的加热后的所述铁质标定板。
一种可选实施方式中，所述第三确定模块303，具体用于：
选取所述每个待处理图像对中的参考图像和待配准图像的特征点，其中，所述特征点为用于表示图像中的所述铁质标定板的角点的像素坐标；
根据所述每个待处理图像对中的所述参考图像和所述待配准图像的特征点，确定所述每个待处理图像对中的所述参考图像和所述待配准图像之间的匹配点对；
根据所述匹配点对，确定所述每个待处理图像对中的所述待配准图像对应的单应性矩阵。
一种可选实施方式中，所述第三确定模块303，具体用于：
获取用户手动选取的所述每个待处理图像对中的参考图像和待配准图像的至少四个特征点，其中，所述参考图像的至少四个特征点的位置与所述待配准图像的至少四个特征点的位置相匹配。
基于同一发明构思，本申请实施例提供一种多模态图像的配准系统，请参见图4所述，该多模态图像的配准系统包括至少一个处理器402，以及与至少一个处理器连接的存储器401，本申请实施例中不限定处理器402与存储器401之间的具体连接介质，图4是以处理器402和存储器401之间通过总线400连接为例，总线400在图4中以粗线表示，其它部件之间的连接方式，仅是进行示意性说明，并不以此为限。总线400可以分为地址总线、数据总线、控制总线等，为便于表示，图4中仅用一条粗线表示，但并不表示仅有一根总线或一种类型的总线。
在本申请实施例中，存储器401存储有可被至少一个处理器402执行的指令，至少一个处理器402通过调用存储器401存储的指令，可以执行前述的多模态图像的配准方法中所包括的步骤。其中，处理器402是多模态图像的配准系统的控制中心，可以利用各种接口和线路连接整个多模态图像的配准系统的各个部分，通过执行存储在存储器401内的指令，从而实现多模态图像的配准系统的各种功能。可选的，处理器402可包括一个或多个处理单元，处理器402可集成应用处理器和调制解调处理器，其中，应用处理器主要处理操作系统、用户界面和应用程序等，调制解调处理器主要处理无线通信。可以理解的是，上述调制解调处理器也可以不集成到处理器402中。在一些实施例中，处理器402和存储器401可以在同一芯片上实现，在一些实施例中，它们也可以在独立的芯片上分别实现。
存储器401作为一种非易失性计算机可读存储介质，可用于存储非易失性软件程序、非易失性计算机可执行程序以及模块。存储器401可以包括至少一种类型的存储介质，例如可以包括闪存、硬盘、多媒体卡、卡型存储器、随机访问存储器(Random AccessMemory，RAM)、静态随机访问存储器(Static Random Access Memory，SRAM)、可编程只读存储器(Programmable Read Only Memory，PROM)、只读存储器(Read Only Memory，ROM)、带电可擦除可编程只读存储器(Electrically Erasable Programmable Read-Only Memory，EEPROM)、磁性存储器、磁盘、光盘等等。存储器401是能够用于携带或存储具有指令或数据结构形式的期望的程序代码并能够由计算机存取的任何其他介质，但不限于此。本申请实施例中的存储器401还可以是电路或者其它任意能够实现存储功能的装置，用于存储程序指令和/或数据。
处理器402可以是通用处理器，例如中央处理器(CPU)、数字信号处理器、专用集成电路、现场可编程门阵列或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件，可以实现或者执行本申请实施例中公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者任何常规的处理器等。结合本申请实施例所公开的多模态图像的配准方法的步骤可以直接体现为硬件处理器执行完成，或者用处理器中的硬件及软件模块组合执行完成。
通过对处理器402进行设计编程，可以将前述实施例中介绍的多模态图像的配准方法所对应的代码固化到芯片内，从而使芯片在运行时能够执行前述的多模态图像的配准方法的步骤，如何对处理器402进行设计编程为本领域技术人员所公知的技术，这里不再赘述。
基于同一发明构思，本申请实施例还提供一种存储介质，该存储介质存储有计算机指令，当该计算机指令在计算机上运行时，使得计算机执行如前述的多模态图像的配准方法的步骤。
在一些可能的实施方式中，本申请提供的多模态图像的配准方法的各个方面还可以实现为一种程序产品的形式，其包括程序代码，当程序产品在多模态图像的配准系统上运行时，程序代码用于使该多模态图像的配准系统执行本说明书上述描述的根据本申请各种示例性实施方式的多模态图像的配准方法中的步骤。
本领域内的技术人员应明白，本申请的实施例可提供为方法、系统、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本申请是参照根据本申请的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
显然，本领域的技术人员可以对本申请进行各种改动和变型而不脱离本申请的精神和范围。这样，倘若本申请的这些修改和变型属于本申请权利要求及其等同技术的范围之内，则本申请也意图包含这些改动和变型在内。
Claims (10)
1.一种多模态图像的配准方法，其特征在于，应用于配准系统，所述配准系统包括至少两个不同模态的光学传感器以及固定装置，所述固定装置用于将所述不同模态的光学传感器的拍摄轴线固定在同一垂直平面，包括：
对所述不同模态的光学传感器分别获取的多帧图像进行时间同步处理，确定多个待处理图像对，其中，所述待处理图像对中的图像为所述不同模态的光学传感器在同一时刻分别获取的图像；
确定所述多个待处理图像对中的每个待处理图像对中的参考图像和待配准图像，其中，所述参考图像为视野范围最小的图像；
根据所述每个待处理图像对中的参考图像和待配准图像的特征点，确定所述每个待处理图像对中的所述待配准图像对应的单应性矩阵，其中，所述单应性矩阵用于表示所述参考图像和所述待配准图像之间的映射关系；
确定所述多个待处理图像对中的所述待配准图像对应的单应性矩阵的均值，根据所述均值对所述每个待处理图像对中的所述待配准图像进行配准处理。
2.如权利要求1所述的方法，其特征在于，所述配准系统还包括铁质标定板，所述对所述不同模态的光学传感器分别获取的多帧图像进行时间同步处理之前，还包括：
固定所述不同模态的光学传感器的镜头焦距；
控制所述不同模态的光学传感器分别获取多帧图像，其中，所述多帧图像的主体为不同时刻的加热后的所述铁质标定板。
3.如权利要求2所述的方法，其特征在于，根据所述每个待处理图像对中的参考图像和待配准图像的特征点，确定所述每个待处理图像对中的所述待配准图像对应的单应性矩阵，包括：
选取所述每个待处理图像对中的参考图像和待配准图像的特征点，其中，所述特征点为用于表示图像中的所述铁质标定板的角点的像素坐标；
根据所述每个待处理图像对中的所述参考图像和所述待配准图像的特征点，确定所述每个待处理图像对中的所述参考图像和所述待配准图像之间的匹配点对；
根据所述匹配点对，确定所述每个待处理图像对中的所述待配准图像对应的单应性矩阵。
4.如权利要求3所述的方法，其特征在于，选取所述每个待处理图像对中的参考图像和待配准图像的特征点，包括：
获取用户手动选取的所述每个待处理图像对中的参考图像和待配准图像的至少四个特征点，其中，所述参考图像的至少四个特征点的位置与所述待配准图像的至少四个特征点的位置相匹配。
5.一种多模态图像的配准装置，其特征在于，应用于配准系统，所述配准系统包括至少两个不同模态的光学传感器以及固定装置，所述固定装置用于将所述不同模态的光学传感器的拍摄轴线固定在同一垂直平面，包括：
第一确定模块，用于对所述不同模态的光学传感器分别获取的多帧图像进行时间同步处理，确定多个待处理图像对，其中，所述待处理图像对中的图像为所述不同模态的光学传感器在同一时刻分别获取的图像；
第二确定模块，用于确定所述多个待处理图像对中的每个待处理图像对中的参考图像和待配准图像，其中，所述参考图像为视野范围最小的图像；
第三确定模块，用于根据所述每个待处理图像对中的参考图像和待配准图像的特征点，确定所述每个待处理图像对中的所述待配准图像对应的单应性矩阵，其中，所述单应性矩阵用于表示所述参考图像和所述待配准图像之间的映射关系；
处理模块，用于确定所述多个待处理图像对中的所述待配准图像对应的单应性矩阵的均值，根据所述均值对所述每个待处理图像对中的所述待配准图像进行配准处理。
6.如权利要求5所述的装置，其特征在于，所述配准系统还包括铁质标定板，所述装置还包括控制模块，用于：
固定所述不同模态的光学传感器的镜头焦距；
控制所述不同模态的光学传感器分别获取多帧图像，其中，所述多帧图像的主体为不同时刻的加热后的所述铁质标定板。
7.如权利要求6所述的装置，其特征在于，所述第三确定模块，具体用于：
选取所述每个待处理图像对中的参考图像和待配准图像的特征点，其中，所述特征点为用于表示图像中的所述铁质标定板的角点的像素坐标；
根据所述每个待处理图像对中的所述参考图像和所述待配准图像的特征点，确定所述每个待处理图像对中的所述参考图像和所述待配准图像之间的匹配点对；
根据所述匹配点对，确定所述每个待处理图像对中的所述待配准图像对应的单应性矩阵。
8.如权利要求7所述的装置，其特征在于，所述第三确定模块，具体用于：
获取用户手动选取的所述每个待处理图像对中的参考图像和待配准图像的至少四个特征点，其中，所述参考图像的至少四个特征点的位置与所述待配准图像的至少四个特征点的位置相匹配。
9.一种多模态图像的配准系统，其特征在于，包括：
存储器，用于存储程序指令；
处理器，用于调用所述存储器中存储的程序指令，按照获得的程序指令执行权利要求1-4任一项所述的方法包括的步骤。
10.一种存储介质，其特征在于，所述存储介质存储有计算机可执行指令，所述计算机可执行指令用于使计算机执行权利要求1-4任一项所述的方法包括的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011389257.2A CN112598716B (zh) | 2020-12-01 | 2020-12-01 | 一种多模态图像的配准方法、装置及系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011389257.2A CN112598716B (zh) | 2020-12-01 | 2020-12-01 | 一种多模态图像的配准方法、装置及系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN112598716A CN112598716A (zh) | 2021-04-02 |
| CN112598716B true CN112598716B (zh) | 2024-04-05 |
Family
ID=75187665
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202011389257.2A Active CN112598716B (zh) | 2020-12-01 | 2020-12-01 | 一种多模态图像的配准方法、装置及系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112598716B (zh) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114066943B (zh) * | 2021-11-23 | 2024-06-18 | 广东工业大学 | 一种基于特征的多模态图像配准方法 |
Citations (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2017181899A1 (zh) * | 2016-04-21 | 2017-10-26 | 腾讯科技（深圳）有限公司 | 一种人脸活体验证方法及装置 |
| CN109410255A (zh) * | 2018-10-17 | 2019-03-01 | 中国矿业大学 | 一种基于改进的sift与哈希算法的图像配准方法及装置 |
| WO2020000369A1 (en) * | 2018-06-29 | 2020-01-02 | Logistics and Supply Chain MultiTech R&D Centre Limited | Multimodal imaging sensor calibration method for accurate image fusion |
| CN110728705A (zh) * | 2019-09-24 | 2020-01-24 | Oppo广东移动通信有限公司 | 图像处理方法、装置、存储介质及电子设备 |
| CN111047629A (zh) * | 2019-11-04 | 2020-04-21 | 中国科学院深圳先进技术研究院 | 多模态图像配准的方法、装置、电子设备及存储介质 |
| CN111311655A (zh) * | 2020-02-13 | 2020-06-19 | 东软医疗系统股份有限公司 | 多模态图像配准方法、装置、电子设备、存储介质 |
| CN111462128A (zh) * | 2020-05-28 | 2020-07-28 | 南京大学 | 一种基于多模态光谱图像的像素级图像分割系统及方法 |
| CN111667520A (zh) * | 2020-06-09 | 2020-09-15 | 中国人民解放军63811部队 | 红外图像和可见光图像的配准方法、装置及可读存储介质 |
| CN111754553A (zh) * | 2020-06-24 | 2020-10-09 | 上海联影医疗科技有限公司 | 多模态扫描图像配准方法、装置、计算机设备和存储介质 |
| CN111932587A (zh) * | 2020-08-03 | 2020-11-13 | Oppo广东移动通信有限公司 | 图像处理方法和装置、电子设备、计算机可读存储介质 |
Family Cites Families (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR102149276B1 (ko) * | 2014-10-23 | 2020-08-28 | 한화테크윈 주식회사 | 영상 정합 방법 |
| CN109671106B (zh) * | 2017-10-13 | 2023-09-05 | 华为技术有限公司 | 一种图像处理方法、装置与设备 |
-
2020
- 2020-12-01 CN CN202011389257.2A patent/CN112598716B/zh active Active
Patent Citations (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2017181899A1 (zh) * | 2016-04-21 | 2017-10-26 | 腾讯科技（深圳）有限公司 | 一种人脸活体验证方法及装置 |
| WO2020000369A1 (en) * | 2018-06-29 | 2020-01-02 | Logistics and Supply Chain MultiTech R&D Centre Limited | Multimodal imaging sensor calibration method for accurate image fusion |
| CN109410255A (zh) * | 2018-10-17 | 2019-03-01 | 中国矿业大学 | 一种基于改进的sift与哈希算法的图像配准方法及装置 |
| CN110728705A (zh) * | 2019-09-24 | 2020-01-24 | Oppo广东移动通信有限公司 | 图像处理方法、装置、存储介质及电子设备 |
| CN111047629A (zh) * | 2019-11-04 | 2020-04-21 | 中国科学院深圳先进技术研究院 | 多模态图像配准的方法、装置、电子设备及存储介质 |
| CN111311655A (zh) * | 2020-02-13 | 2020-06-19 | 东软医疗系统股份有限公司 | 多模态图像配准方法、装置、电子设备、存储介质 |
| CN111462128A (zh) * | 2020-05-28 | 2020-07-28 | 南京大学 | 一种基于多模态光谱图像的像素级图像分割系统及方法 |
| CN111667520A (zh) * | 2020-06-09 | 2020-09-15 | 中国人民解放军63811部队 | 红外图像和可见光图像的配准方法、装置及可读存储介质 |
| CN111754553A (zh) * | 2020-06-24 | 2020-10-09 | 上海联影医疗科技有限公司 | 多模态扫描图像配准方法、装置、计算机设备和存储介质 |
| CN111932587A (zh) * | 2020-08-03 | 2020-11-13 | Oppo广东移动通信有限公司 | 图像处理方法和装置、电子设备、计算机可读存储介质 |
Non-Patent Citations (2)
| Title |
|---|
| 基于单应性矩阵的SAR图像配准技术研究;王金泉;李钦富;;中国电子科学研究院学报;20081220(06);111-114 * |
| 快速特征提取与感知哈希结合的图像配准算法;宋博;姜万里;孙涛;熊正强;芮华建;;计算机工程与应用;20180401(07);211-217 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN112598716A (zh) | 2021-04-02 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| EP3425587A1 (en) | Method and device for generating a panoramic image | |
| WO2018201809A1 (zh) | 基于双摄像头的图像处理装置及方法 | |
| WO2017107700A1 (zh) | 一种实现图像配准的方法及终端 | |
| TWI709110B (zh) | 攝像頭校準方法和裝置、電子設備 | |
| CN111915483B (zh) | 图像拼接方法、装置、计算机设备和存储介质 | |
| CN101399914B (zh) | 摄影装置和摄影方法 | |
| CN113191954B (zh) | 一种基于双目相机的全景图像拼接方法 | |
| WO2019127269A1 (zh) | 图像拼接方法、图像拼接装置及电子设备 | |
| US11587259B2 (en) | Fixed pattern calibration for multi-view stitching | |
| US20240073496A1 (en) | Auto exposure for spherical images | |
| CN109040745A (zh) | 摄像头自校准方法和装置、电子设备、计算机存储介质 | |
| CN109040746A (zh) | 摄像头校准方法和装置、电子设备、计算机可读存储介质 | |
| CN108156383B (zh) | 基于相机阵列的高动态十亿像素视频采集方法及装置 | |
| CN112598716B (zh) | 一种多模态图像的配准方法、装置及系统 | |
| CN113989392A (zh) | 拼接摄像机的彩色棋盘格标定方法、装置及摄像机 | |
| WO2023280082A1 (zh) | 一种手柄inside-out视觉6自由度定位方法及系统 | |
| CN109697737A (zh) | 摄像头标定方法、装置、电子设备和计算机可读存储介质 | |
| CN113627328A (zh) | 电子设备及其图像识别方法、片上系统和介质 | |
| CN113240582A (zh) | 一种图像拼接方法及装置 | |
| CN103546680B (zh) | 一种无变形的全方位鱼眼摄像装置及实现方法 | |
| WO2017092261A1 (zh) | 一种摄像头模组、移动终端及其拍摄图像的方法和装置 | |
| CN111353945B (zh) | 鱼眼图像校正方法、装置及存储介质 | |
| CN109788199B (zh) | 一种适用于具有双摄像头终端的对焦方法 | |
| JP6483661B2 (ja) | 撮像制御装置、撮像制御方法およびプログラム | |
| WO2021208630A1 (zh) | 标定方法、标定装置及应用其的电子设备 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |