CN111127529B - 图像配准方法及装置、存储介质、电子装置 - Google Patents
图像配准方法及装置、存储介质、电子装置 Download PDFInfo
- Publication number
- CN111127529B CN111127529B CN201911311562.7A CN201911311562A CN111127529B CN 111127529 B CN111127529 B CN 111127529B CN 201911311562 A CN201911311562 A CN 201911311562A CN 111127529 B CN111127529 B CN 111127529B
- Authority
- CN
- China
- Prior art keywords
- image
- pixel point
- attribute
- registered
- registration
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 60
- 239000011159 matrix material Substances 0.000 claims abstract description 60
- 238000004422 calculation algorithm Methods 0.000 claims abstract description 39
- 238000012545 processing Methods 0.000 claims abstract description 28
- 230000004927 fusion Effects 0.000 claims abstract description 22
- 230000009466 transformation Effects 0.000 claims abstract description 16
- 238000012360 testing method Methods 0.000 claims description 44
- 238000004590 computer program Methods 0.000 claims description 17
- 230000001131 transforming effect Effects 0.000 claims description 11
- 238000007639 printing Methods 0.000 claims description 5
- 238000005516 engineering process Methods 0.000 abstract description 5
- 238000004364 calculation method Methods 0.000 description 14
- 238000010586 diagram Methods 0.000 description 14
- 230000005540 biological transmission Effects 0.000 description 6
- 238000000605 extraction Methods 0.000 description 5
- 230000006870 function Effects 0.000 description 5
- 238000013461 design Methods 0.000 description 4
- 238000007667 floating Methods 0.000 description 4
- 230000008569 process Effects 0.000 description 4
- 238000012549 training Methods 0.000 description 4
- 238000001514 detection method Methods 0.000 description 3
- 238000003702 image correction Methods 0.000 description 3
- 239000003054 catalyst Substances 0.000 description 2
- 238000004891 communication Methods 0.000 description 2
- 238000013527 convolutional neural network Methods 0.000 description 2
- 238000001914 filtration Methods 0.000 description 2
- 230000006872 improvement Effects 0.000 description 2
- 230000007246 mechanism Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 239000013598 vector Substances 0.000 description 2
- 101100248200 Arabidopsis thaliana RGGB gene Proteins 0.000 description 1
- 230000001133 acceleration Effects 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000007499 fusion processing Methods 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 238000010295 mobile communication Methods 0.000 description 1
- 238000010606 normalization Methods 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 238000002360 preparation method Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
- G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/90—Determination of colour characteristics
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10024—Color image
Landscapes
- Engineering & Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Image Processing (AREA)
Abstract
本发明提供了一种图像配准方法及装置、存储介质、电子装置，上述方法包括：获取待配准图像的配准矩阵；在RAW域，对目标图像的所有像素点坐标和所述配准矩阵的逆矩阵进行逆变换得到源图像的像素点坐标；根据所述源图像的像素点坐标和所述待配准图像的像素点坐标进行像素点融合，以对所述待配准图像进行配准；采用上述技术方案，解决相关技术中图像配准方法算法处理复杂，资源消耗较大，配准结果精度低等问题，提供了一种处理速度快，复杂度低，配准结果精确度高的图像配准方法，提高了图像配准效率。
Description
技术领域
本发明涉及图像处理技术领域，具体而言，涉及图像配准方法及装置、存储介质、电子装置。
背景技术
图像配准是指利用变换矩阵，将两幅图像的坐标系统一，使两幅图像对齐，达到完全重合的状态。图像配准作为图像拼接、图像融合、立体视觉、三维重建、深度估计和图像测量中最重要的技术已经在图像处理中广泛应用。不精确的图像配准会导致拼接或融合后的图像效果异常，或是出现重影。因此，精确的图像配准是图像拼接或是图像融合中的最根本最重要的前提条件，直接影响着后续图像处理中的效果输出。
现有的配准方法都是针对RGB彩色模式(RGB Color Mode，简称RGB)图像进行，但是目前现有的很多图像算法都作用在raw图像数据中，比如raw域融合，raw域拼接等。
专利1：《图像配准方法及装置》，申请号:201710257881.9。该专利对参考图像A和待配准图像B都进行了不同尺度的缩放，缩放的过程会导致其精度损失。然后将待配准图像B在参考图像A上平移。因此其设计的主要缺点是：所有像素点相减的绝对值之和最小得到的配准结果精度较低。
专利2：《图像配准方法及装置》，申请号：201710162160.X.该专利设计到卷积神经网络，需要提前准备大量训练数据和标签，训练后网络参数一般较大，而且训练时间一般较长。因此其设计的主要缺点是：利用CNN训练得到特征描述子的方法，计算复杂，效率低。
专利3：《多光谱图像配准方法和装置》，申请号：201511000876.7。该专利使用sift算子提取特征点，计算量和耗时较大，然后对每个特征点计算EOH描述符，该描述符稳定性较差。因此其设计的主要缺点是：边缘方法直方图EOH描述子鲁棒性较差，精度不够。
针对相关技术中，图像配准方法算法处理复杂，资源消耗较大，配准结果精度低等问题，尚未提出有效的技术方案。
发明内容
本发明实施例提供了一种图像配准方法及装置、存储介质、电子装置，以至少解决相关技术中图像配准方法算法处理复杂，资源消耗较大，配准结果精度低等问题。
根据本发明的一个实施例，提供了一种图像配准方法，上述方法包括：获取待配准图像的配准矩阵；在RAW域，对目标图像的所有像素点坐标和所述配准矩阵的逆矩阵进行逆变换得到源图像的像素点坐标；根据所述源图像的像素点坐标和所述待配准图像的像素点坐标进行像素点融合，以对所述待配准图像进行配准。
可选的，根据源图像的像素点坐标和待配准图像的像素点坐标进行像素点融合，以对待配准图像进行配准之前，上述方法还包括：对于每一像素点，获取目标图像的像素点的属性；将源图像中像素点的属性变换为在目标图像的像素点的属性，其中，属性均至少包括以下之一：R，G，B。
可选的，将源图像中像素点的属性变换为目标图像的像素点的属性，包括：通过CFA算法获取源图像的像素点的坐标的四个邻域像素的属性通道，其中，属性通道包括：R通道，G通道，B通道；对四个邻域像素的属性通道进行双线性插值，进而获取源图像中像素点的属性对应目标图像上的像素点的属性。
可选的，将源图像中像素点的属性变换为在目标图像的像素点的属性，包括：对于每一像素点，如果在目标图像上的属性与对应的在源图像上的属性不同，将源图像中像素点的属性变换为在目标图像的像素点的属性。
可选的，获取待配准图像的配准矩阵之前，上述方法还包括：设置测试卡的格式，其中，测试卡的格式至少用于指示以下至少之一：不同密度，不同方向的条纹图像；测试卡上含有摩尔圆，所述测试卡上有印刷角度不同的文字和目标符号，其中，测试卡用于对源图像和/或目标图像进行测试。
根据本发明的另一个实施例，提供了一种图像配准装置，包括：获取模块，用于获取待配准图像的配准矩阵；处理模块，用于在RAW域，对目标图像的所有像素点坐标和所述配准矩阵的逆矩阵进行逆变换得到源图像的像素点坐标；融合模块，用于根据所述源图像的像素点坐标和所述待配准图像的像素点坐标进行像素点融合，以对所述待配准图像进行配准。
可选的，处理模块还用于对于每一像素点，获取目标图像的像素点的属性；将源图像中像素点的属性变换为在目标图像的像素点的属性，其中，属性均至少包括以下之一：R，G，B。
可选的，处理模块还用于通过CFA算法获取源图像的像素点的坐标的四个邻域像素的属性通道，其中，属性通道包括：R通道，G通道，B通道；对四个邻域像素的属性通道进行双线性插值，进而获取源图像中像素点的属性对应目标图像上的像素点的属性。
可选的，处理模块还用于对于每一像素点，如果在目标图像上的属性与对应的在源图像上的属性不同，将源图像中像素点的属性变换为在目标图像的像素点的属性。
可选的，获取模块还用于设置测试卡的格式，其中，测试卡的格式至少用于指示以下至少之一：不同密度，不同方向的条纹图像；测试卡上含有摩尔圆，所述测试卡上有印刷角度不同的文字和目标符号，其中，测试卡用于对源图像和/或目标图像进行测试。
根据本发明的另一个实施例，还提供了一种存储介质，所述存储介质中存储有计算机程序，其中，所述计算机程序被设置为运行时执行以上任一项操作指令的接收方法。
根据本发明的另一个实施例，还提供了一种电子装置，包括存储器和处理器，所述存储器中存储有计算机程序，所述处理器被设置为运行所述计算机程序以执行以上任一项操作指令的接收方法。
通过本发明的技术方案，获取待配准图像的配准矩阵；在RAW域，对目标图像的所有像素点坐标和所述配准矩阵的逆矩阵进行逆变换得到源图像的像素点坐标；根据所述源图像的像素点坐标和所述待配准图像的像素点坐标进行像素点融合，以对所述待配准图像进行配准；采用上述技术方案解决相关技术中图像配准方法算法处理复杂，资源消耗较大，配准结果精度低等问题，提供了一种处理速度快，算法计算简单，复杂度低，配准结果精确度高的图像配准方法，提高了图像配准效率。
附图说明
此处所说明的附图用来提供对本发明的进一步理解，构成本申请的一部分，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。在附图中：
图1是本发明实施例的一种图像配准方法的计算机终端的硬件结构框图；
图2为根据本发明实施例的图像配准方法的流程图；
图3是根据本发明实施例的一种可选的图像配准方法的流程图；
图4是根据本发明实施例的利用该5x5模板计算当前像素点缺失的结构框图(一)；
图5是根据本发明实施例的利用该5x5模板计算当前像素点缺失的结构框图(二)；
图6是根据本发明实施例的利用该5x5模板计算当前像素点缺失的结构框图(三)；
图7是根据本发明实施例的利用该5x5模板计算当前像素点缺失的结构框图(四)；
图8是根据本发明实施例的利用该5x5模板计算当前像素点缺失的结构框图(五)；
图9是根据本发明实施例的利用该5x5模板计算当前像素点缺失的结构框图(六)；
图10是根据本发明实施例的利用该5x5模板计算当前像素点缺失的结构框图(七)；
图11是根据本发明实施例的利用该5x5模板计算当前像素点缺失的结构框图(八)；
图12是根据本发明实施例的一种可选的图像配准装置的结构框图；
图13是根据本发明实施例的另一种可选的图像配准装置的结构图。
具体实施方式
下文中将参考附图并结合实施例来详细说明本发明。需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。
需要说明的是，本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。
本申请实施例所提供的方法实施例可以在移动终端、计算机终端或者类似的运算装置中执行。以运行在计算机终端上为例，图1是本发明实施例的一种图像配准方法的计算机终端的硬件结构框图。如图1所示，移动终端10可以包括一个或多个(图1中仅示出一个)处理器102(处理器102可以包括但不限于微处理器MCU或可编程逻辑器件FPGA等的处理装置)和用于存储数据的存储器104，可选地，上述移动终端还可以包括用于通信功能的传输设备106以及输入输出设备108。本领域普通技术人员可以理解，图1所示的结构仅为示意，其并不对上述移动终端的结构造成限定。例如，移动终端10还可包括比图1中所示更多或者更少的组件，或者具有与图1所示等同功能或比图1所示功能更多的不同的配置。
存储器104可用于存储计算机程序，例如，应用软件的软件程序以及模块，如本发明实施例中的图像配准方法对应的计算机程序，处理器102通过运行存储在存储器104内的计算机程序，从而执行各种功能应用以及数据处理，即实现上述的方法。存储器104可包括高速随机存储器，还可包括非易失性存储器，如一个或者多个磁性存储装置、闪存、或者其他非易失性固态存储器。在一些实例中，存储器104可进一步包括相对于处理器102远程设置的存储器，这些远程存储器可以通过网络连接至移动终端10。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
传输装置106用于经由一个网络接收或者发送数据。上述的网络具体实例可包括移动终端10的通信供应商提供的无线网络。在一个实例中，传输装置106包括一个网络适配器(Network Interface Controller，简称为NIC)，其可通过基站与其他网络设备相连从而可与互联网进行通讯。在一个实例中，传输装置106可以为射频(Radio Frequency，简称为RF)模块，其用于通过无线方式与互联网进行通讯。
本发明实施例提供了一种可选的图像配准方法，图2为根据本发明实施例的图像配准方法的流程图，如图2所示，包括以下步骤：
步骤S202：获取待配准图像的配准矩阵；
步骤S204：在RAW域，对目标图像的所有像素点坐标和所述配准矩阵的逆矩阵进行逆变换得到源图像的像素点坐标；
步骤S206：根据所述源图像的像素点坐标和所述待配准图像的像素点坐标进行像素点融合，以对所述待配准图像进行配准。
通过上述技术方案，获取待配准图像的配准矩阵；在RAW域，对目标图像的所有像素点坐标和所述配准矩阵的逆矩阵进行逆变换得到源图像的像素点坐标；根据所述源图像的像素点坐标和所述待配准图像的像素点坐标进行像素点融合，以对所述待配准图像进行配准；采用上述技术方案解决相关技术中图像配准方法算法处理复杂，资源消耗较大，配准结果精度低等问题，提供了一种处理速度快，复杂度低，配准结果精确度高的图像配准方法，提高了图像配准效率。
需要说明的是，本发明实施例的图像配准流程可以理解是利用变换矩阵，将其中一幅图像(相当于上述实施例的源图像)的坐标系转换到另一幅图像(相当于上述实施例的目标图像)的坐标系中，变换后两幅图像相叠加时，达到完全重合的状态。
可选的，根据源图像的像素点坐标和待配准图像的像素点坐标进行像素点融合，以对待配准图像进行配准之前，上述方法还包括：对于每一像素点，获取目标图像的像素点的属性；将源图像中像素点的属性变换为在目标图像的像素点的属性，其中，属性均至少包括以下之一：R，G，B。
即对于目标对象的像素点的属性R，G，B，为了提高图像配准的准确度，还需执行以下技术方案：获取目标图像的像素点的属性；将源图像中像素点的属性变换为在目标图像的像素点的属性。
可选的，将源图像中像素点的属性变换为目标图像的像素点的属性，包括：通过彩色滤波阵列(Color Filter Array,简称为CFA)算法获取源图像的像素点的坐标的四个邻域像素的属性通道，其中，属性通道包括：R通道，G通道，B通道；对四个邻域像素的属性通道进行双线性插值，进而获取源图像中像素点的属性对应目标图像上的像素点的属性。
也就是说，在进行属性转换的过程中，本发明实施例引入了CFA算法和双线性插值算法，只对需要用到的像素点进行计算，使得算法复杂度较低，进而处理复杂度低，提出了一种高效率高的图像配准方法。
可选的，将源图像中像素点的属性变换为在目标图像的像素点的属性，包括：对于每一像素点，如果在目标图像上的属性与对应的在源图像上的属性不同，将源图像中像素点的属性变换为在目标图像的像素点的属性。
可选的，获取待配准图像的配准矩阵之前，上述方法还包括：设置测试卡的格式，其中，测试卡的格式至少用于指示以下至少之一：不同密度，不同方向的条纹图像；测试卡上含有摩尔圆，所述测试卡上有印刷角度不同的文字和目标符号，其中，测试卡用于对源图像和/或目标图像进行测试。
以下结合一可选实施例对上述流程进行说明，但不用于限定本发明实施例的技术方案，图3是根据本发明实施例的一种可选的图像配准方法的流程图，包括以下步骤：
步骤302，测试卡准备，设计一款特定的测试卡，本测试卡针对各种高分辨率图像，比如800万、900万、1500万甚至更大分辨率的图像，含有不同密度，不同方向的条纹图像；同时还含有摩尔圆；并配有大量文字及特殊符号作为参照物。该测试卡计算量较小，能够加快配准速度，需要说明的是，配准测试卡，纹理区域不限定，优选为四个角上有丰富纹理的测试卡。只在四个局部区域提取特征点，能够加快特征点检测和匹配速度，尤其适用于800万、900万、1500万甚至更大分辨率的图像。
步骤304，特征点检测，对四个局部区域采用Shi-Tomasi算法提取特征点。Shi-Tomasi算法是Harris算法的改进，计算得到的强特征点更稳定，鲁棒性更强。相比于其他检测算子如加速鲁棒特征算子(Speeded Up Robust Features，简称SURF，一种特征提取和特征描述算子)，尺度不变特征变换算子(Scale-Invariant Feature Transform，简称SIFT，一种特征提取和特征描述算子)运算量小，运算速度快，并且能够提取到稳定的强特征点，Shi-tomasi角点提取和SIFT描述子组合的方式，其中Shi-tomasi算法能够快速地提取出强特征点，而SIFT描述子能够增强匹配精度，可以达到速度和精度的最优。
步骤306，描述子生成，采用SIFT算子对每个特征点生成描述子,得到128维的特征向量。
步骤308，特征点匹配，采用速度更快的快速最邻近逼近搜索函数库(FastLibrary for Approximate Nearest Neighbors，简称FLFANN)算法找到最近邻近似匹配。这种方法简单粗暴，但同时会产生大量的错误匹配点，需要使用某些机制过滤掉这个错误匹配点。在已经得到的匹配点对中，把汉明距离小于最小距离的3倍作为判断依据。如果当前像素点的汉明距离小于最小距离的3倍，判断为错误的匹配，过滤排除。大于该值时则认为是一个正确的匹配。
步骤310，配准矩阵H计算，经过步骤306的特征点初步筛选和匹配，依旧存在少量配准错误的特征点对，直接配准会使两幅图像产生较大的偏移。因此，选用随机抽样一致(Random Sample Consensus，简称为RANSAC)算法进一步删除这些错误的匹配点。RANSAC算法总能找到一个最佳的单应性矩阵H，使满足该矩阵的数据点个数达到最多。
步骤312，raw图像校正，在步骤308得到配准矩阵H后，对待配准图像B进行图像校正，采用局部CFA和双线性插值两种算法，计算量小，运行速度快，将配准矩阵H直接作用于raw域图像，直接对raw域图像进行校正，后期可以少做一次ISP计算，减少计算量。
综上，通过上述步骤，设计特定的配准测试卡，采用Shi-tomasi角点提取和SIFT描述子组合的方式匹配特征点。计算后得到的配准矩阵H直接作用于raw域图像中，使用局部CFA和双线性插值算法校正待配准的raw域图像。
需要说明的是，配准矩阵是对源图像和目标图像进行操作所得到的。
此外，可以理解的是，raw数据一般有四种bayer格式，RGGB，GRBG,GBRG和BGGR。
本发明可选实施例中，用到配准矩阵H的逆矩阵H_inv。
H_inv＝[t11 t12 t13；t21 t22 t23；t31 t32 t33]；
对目标图像上的所有像素点坐标进行配准矩阵逆变换：
归一化后得到tx＝tx/tz，ty＝ty/tz；
上述公式计算得到的tx和ty为浮点数，tx和ty表示目标图像中的像素坐标(x,y)通过配准逆矩阵H_inv，得到源图像中的坐标为(tx,ty)。
从目标图像中得到源图像，然后融合该源图像和初始的图像，具体融合过程中，会考虑到用CFA算法确定R值等。
在后续融合时因raw数据与RGB域数据有所区别，不同的像素点表示不同的色域，因此在融合时需要将源图像根据目标图像中像素点的属性进行变换。比如：若目标raw图像中当前像素点格式为R，而源图像当前像素点格式不为R时就需要通过计算求出此点的R值，步骤如下：
步骤一，使用CFA算法将源图像中的浮点坐标(tx,ty)的四个邻域像素的另外三个像素中的R通道计算出来，如图4-11所示。
如图4-11所示，利用该5x5模板计算当前像素点缺失的另外两个通道值，计算较简单，而且不需要计算图像中所有像素点的两个缺失通道值，只需根据需要计算局部像素点缺失的两个通道即可。
根据上一步求得的数据，对映射后在源图像中需要对浮点坐标(tx,ty)邻域的四个R进行双线性插值，得到浮点坐标(tx,ty)中的R值，也就得到了目标raw图像中坐标为(x,y)的R值。
同理。若目标raw图像中当前像素点格式为G或B，进行和R相同的计算。最终将两幅图像融合。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到根据上述实施例的方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质(如ROM/RAM、磁碟、光盘)中，包括若干指令用以使得一台终端设备(可以是手机，计算机，服务器，或者网络设备等)执行本发明各个实施例的方法。
在本实施例中还提供了一种图像配准装置，该装置用于实现上述实施例及优选实施方式，已经进行过说明的不再赘述。如以下所使用的，术语“模块”可以实现预定功能的软件和/或硬件的组合。尽管以下实施例所描述的装置较佳地以软件来实现，但是硬件，或者软件和硬件的组合的实现也是可能并被构想的。
图12是根据本发明实施例的图像配准装置的结构框图，如图12所示，该装置包括：
(1)获取模块52，用于获取待配准图像的配准矩阵；
(2)处理模块54，用于在RAW域，对目标图像的所有像素点坐标和所述配准矩阵的逆矩阵进行逆变换得到源图像的像素点坐标；
(3)融合模块56，用于根据所述源图像的像素点坐标和所述待配准图像的像素点坐标进行像素点融合，以对所述待配准图像进行配准。
通过上述技术方案，获取待配准图像的配准矩阵；在RAW域，对目标图像的所有像素点坐标和所述配准矩阵的逆矩阵进行逆变换得到源图像的像素点坐标；根据所述源图像的像素点坐标和所述待配准图像的像素点坐标进行像素点融合，以对所述待配准图像进行配准；采用上述技术方案解决相关技术中图像配准方法算法处理复杂，资源消耗较大，配准结果精度低等问题，提供了一种处理速度快，算法计算简单，复杂度低，配准结果精确度高的图像配准方法，提高了图像配准效率。
可选的，处理模块54还用于对于每一像素点，获取目标图像的像素点的属性；将源图像中像素点的属性变换为在目标图像的像素点的属性，其中，属性均至少包括以下之一：R，G，B。
即对于目标对象的像素点的属性R，G，B，为了提高图像配准的准确度，还需执行以下技术方案：获取目标图像的像素点的属性；将源图像中像素点的属性变换为在目标图像的像素点的属性。
可选的，处理模块54，还用于通过CFA算法获取源图像的像素点的坐标的四个邻域像素的属性通道，其中，属性通道包括：R通道，G通道，B通道；对四个邻域像素的属性通道进行双线性插值，进而获取源图像中像素点的属性对应目标图像上的像素点的属性。
也就是说，在进行属性转换的过程中，本发明实施例引入了CFA算法和双线性插值算法，只对需要用到的像素点进行计算，使得算法复杂度较低，进而处理复杂度低，提出了一种高效率高的图像配准方法。
可选的，处理模块54，还用于对于每一像素点，如果在目标图像上的属性与对应的在源图像上的属性不同，将源图像中像素点的属性变换为在目标图像的像素点的属性。
可选的，获取模块52还用于设置测试卡的格式，其中，测试卡的格式至少用于指示以下至少之一：不同密度，不同方向的条纹图像；测试卡上含有摩尔圆，所述测试卡上有印刷角度不同的文字和目标符号，其中，测试卡用于对源图像和/或目标图像进行测试。
以下结合一可选实施例对上述流程进行说明，但不用于限定本发明实施例的技术方案，图13是根据本发明实施例的一种可选的图像配准装置的结构示意图。
(1)测试卡设计装置62用于设计一款特定的测试卡，本测试卡针对各种高分辨率图像，比如800万、900万、1500万甚至更大分辨率的图像，含有不同密度，不同方向的条纹图像；同时还含有摩尔圆；并配有大量文字及特殊符号作为参照物。该测试卡计算量较小，能够加快配准速度，需要说明的是，配准测试卡，纹理区域不限定，优选为四个角上有丰富纹理的测试卡。只在四个局部区域提取特征点，能够加快特征点检测和匹配速度，尤其适用于800万、900万、1500万甚至更大分辨率的图像。
(2)特征点计算和匹配装置64用于对四个局部区域采用Shi-Tomasi算法提取特征点。采用SIFT算子对每个特征点生成描述子,得到128维的特征向量。采用FLFANN算法找到最近邻近似匹配，但是利用FLFANN算法进行最近邻近似匹配简单粗暴，但同时会产生大量的错误匹配点，需要使用某些机制过滤掉这个错误匹配点。在已经得到的匹配点对中，把汉明距离小于最小距离的3倍作为判断依据。如果当前像素点的汉明距离小于最小距离的3倍，判断为错误的匹配，过滤排除。大于该值时则认为是一个正确的匹配。
(3)配准矩阵H计算装置66用于将特征点计算和匹配装置64得到的特征点初步筛选和匹配，存在少量配准错误的特征点对，直接配准会使两幅图像产生较大的偏移。因此，选用随机抽样一致算法进一步删除这些错误的匹配点。RANSAC算法总能找到一个最佳的单应性矩阵H，使满足该矩阵的数据点个数达到最多。
(4)raw域图像校正装置68用于将配准矩阵H计算装置66得到配准矩阵H，利用配准矩阵H对待配准图像B进行图像校正，采用局部CFA和双线性插值两种算法，计算量小，运行速度快，将配准矩阵H直接作用于raw域图像，直接对raw域图像进行校正，后期可以少做一次ISP计算，减少计算量。
综上，通过上述结构装置，设计特定的配准测试卡，采用Shi-tomasi角点提取和SIFT描述子组合的方式匹配特征点。计算后得到的配准矩阵H直接作用于raw域图像中，使用局部CFA和双线性插值算法校正待配准的raw域图像。
需要说明的是，以上技术方案可以结合使用，上述各个模块可以位于同一处理器中，也可以位于不同处理器中，本发明实施例对此不作限定。
本发明的实施例还提供了一种存储介质，该存储介质中存储有计算机程序，其中，该计算机程序被设置为运行时执行上述任一项方法实施例中的步骤。
可选地，在本实施例中，上述存储介质可以被设置为存储用于执行以下步骤的计算机程序：
S1，获取待配准图像的配准矩阵；
S2，在RAW域，对目标图像的所有像素点坐标和所述配准矩阵的逆矩阵进行逆变换得到源图像的像素点坐标；
S3，根据所述源图像的像素点坐标和所述待配准图像的像素点坐标进行像素点融合，以对所述待配准图像进行配准。
可选地，在本实施例中，上述存储介质可以包括但不限于：U盘、只读存储器(Read-Only Memory，简称为ROM)、随机存取存储器(Random Access Memory，简称为RAM)、移动硬盘、磁碟或者光盘等各种可以存储程序代码的介质。
可选地，本实施例中的具体示例可以参考上述实施例及可选实施方式中所描述的示例，本实施例在此不再赘述。
本发明的实施例还提供了一种电子装置，包括存储器和处理器，该存储器中存储有计算机程序，该处理器被设置为运行计算机程序以执行上述任一项方法实施例中的步骤。
可选地，上述电子装置还可以包括传输设备以及输入输出设备，其中，该传输设备和上述处理器连接，该输入输出设备和上述处理器连接。
可选地，在本实施例中，上述处理器可以被设置为通过计算机程序执行以下步骤：
S1，获取待配准图像的配准矩阵；
S2，在RAW域，对目标图像的所有像素点坐标和所述配准矩阵的逆矩阵进行逆变换得到源图像的像素点坐标；
S3，根据所述源图像的像素点坐标和所述待配准图像的像素点坐标进行像素点融合，以对所述待配准图像进行配准。
可选地，本实施例中的具体示例可以参考上述实施例及可选实施方式中所描述的示例，本实施例在此不再赘述。
显然，本领域的技术人员应该明白，上述的本发明的各模块或各步骤可以用通用的计算装置来实现，它们可以集中在单个的计算装置上，或者分布在多个计算装置所组成的网络上，可选地，它们可以用计算装置可执行的程序代码来实现，从而，可以将它们存储在存储装置中由计算装置来执行，并且在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤，或者将它们分别制作成各个集成电路模块，或者将它们中的多个模块或步骤制作成单个集成电路模块来实现。这样，本发明不限制于任何特定的硬件和软件结合。
以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。
Claims (6)
1.一种图像配准方法，其特征在于，包括：
获取待配准图像的配准矩阵，其中，所述待配准图像是待进行配准的RAW图像；
在RAW域，对目标图像的所有像素点坐标和所述配准矩阵的逆矩阵进行逆变换得到源图像的像素点坐标，其中，所述目标图像是RAW图像，所述源图像是RGB图像；
对于每一像素点，获取所述目标图像的像素点的属性；
将所述源图像中像素点的属性变换为在所述目标图像的像素点的属性，其中，所述属性均至少包括以下之一：R，G，B；
根据所述源图像的像素点坐标和所述待配准图像的像素点坐标进行像素点融合，以对所述待配准图像在所述RAW域进行配准；
其中，将所述源图像中像素点的属性变换为所述目标图像的像素点的属性，包括：
通过CFA算法获取所述源图像的像素点的坐标的四个邻域像素的属性通道，其中，所述属性通道包括：R通道，G通道，B通道；
对所述四个邻域像素的属性通道进行双线性插值，进而获取源图像中像素点的属性对应所述目标图像上的像素点的属性。
2.根据权利要求1所述的方法，其特征在于，将所述源图像中像素点的属性变换为在所述目标图像的像素点的属性，包括：
对于每一像素点，如果在所述目标图像上的属性与对应的在源图像上的属性不同，将所述源图像中像素点的属性变换为在所述目标图像的像素点的属性。
3.根据权利要求1至2任一项所述的方法，其特征在于，获取待配准图像的配准矩阵之前，所述方法还包括：
设置测试卡的格式，其中，所述测试卡的格式至少用于指示以下至少之一：不同密度，不同方向的条纹图像；测试卡上含有摩尔圆，所述测试卡上有印刷角度不同的文字和目标符号，其中，所述测试卡用于对所述源图像和/或所述目标图像进行测试。
4.一种图像配准装置，其特征在于，包括：
获取模块，用于获取待配准图像的配准矩阵，其中，所述待配准图像是待进行配准的RAW图像；
处理模块，用于在RAW域，对目标图像的所有像素点坐标和所述配准矩阵的逆矩阵进行逆变换得到源图像的像素点坐标，其中，所述目标图像是RAW图像，所述源图像是RGB图像；
融合模块，用于根据所述源图像的像素点坐标和所述待配准图像的像素点坐标进行像素点融合，以对所述待配准图像在所述RAW域进行配准；
所述处理模块，还用于通过CFA算法获取所述源图像的像素点的坐标的四个邻域像素的属性通道，其中，所述属性通道包括：R通道，G通道，B通道；对所述四个邻域像素的属性通道进行双线性插值，进而获取源图像中像素点的属性对应所述目标图像上的像素点的属性；
所述处理模块，还用于对于每一像素点，获取所述目标图像的像素点的属性；将所述源图像中像素点的属性变换为在所述目标图像的像素点的属性，其中，所述属性均至少包括以下之一：R，G，B。
5.一种计算机可读的存储介质，其特征在于，所述存储介质中存储有计算机程序，其中，所述计算机程序被设置为运行时执行所述权利要求1至3任一项中所述的方法。
6.一种电子装置，包括存储器和处理器，其特征在于，所述存储器中存储有计算机程序，所述处理器被设置为运行所述计算机程序以执行所述权利要求1至3任一项中所述的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201911311562.7A CN111127529B (zh) | 2019-12-18 | 2019-12-18 | 图像配准方法及装置、存储介质、电子装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201911311562.7A CN111127529B (zh) | 2019-12-18 | 2019-12-18 | 图像配准方法及装置、存储介质、电子装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN111127529A CN111127529A (zh) | 2020-05-08 |
| CN111127529B true CN111127529B (zh) | 2024-02-02 |
Family
ID=70499748
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201911311562.7A Active CN111127529B (zh) | 2019-12-18 | 2019-12-18 | 图像配准方法及装置、存储介质、电子装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111127529B (zh) |
Families Citing this family (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111984189B (zh) * | 2020-07-22 | 2022-05-17 | 深圳云天励飞技术股份有限公司 | 神经网络计算装置和数据读取、数据存储方法及相关设备 |
| CN118038096B (zh) * | 2024-02-18 | 2024-09-27 | 北京鸿鹄元数科技有限公司 | 一种特征点匹配和模板匹配的偏移量计算方法及系统 |
Citations (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2011221680A (ja) * | 2010-04-07 | 2011-11-04 | Hasumi Toru | 画像合成方法、画像合成プログラムおよび画像合成装置 |
| CN103236048A (zh) * | 2013-04-18 | 2013-08-07 | 上海交通大学 | 一种基于互信息和交互的医学图像拼接方法 |
| CN103729833A (zh) * | 2013-11-27 | 2014-04-16 | 乐视致新电子科技（天津）有限公司 | 一种图像拼接方法和装置 |
| CN104574329A (zh) * | 2013-10-09 | 2015-04-29 | 深圳迈瑞生物医疗电子股份有限公司 | 超声融合成像方法、超声融合成像导航系统 |
| CN105761236A (zh) * | 2015-11-16 | 2016-07-13 | 乐视致新电子科技（天津）有限公司 | 一种用于图像配准的图像预处理方法及装置 |
| WO2016207875A1 (en) * | 2015-06-22 | 2016-12-29 | Photomyne Ltd. | System and method for detecting objects in an image |
| WO2017107700A1 (zh) * | 2015-12-21 | 2017-06-29 | 努比亚技术有限公司 | 一种实现图像配准的方法及终端 |
| CN108391060A (zh) * | 2018-03-26 | 2018-08-10 | 华为技术有限公司 | 一种图像处理方法、图像处理装置和终端 |
| CN109727215A (zh) * | 2018-12-28 | 2019-05-07 | Oppo广东移动通信有限公司 | 图像处理方法、装置、终端设备及存储介质 |
| CN109829853A (zh) * | 2019-01-18 | 2019-05-31 | 电子科技大学 | 一种无人机航拍图像拼接方法 |
| WO2019183813A1 (zh) * | 2018-03-27 | 2019-10-03 | 华为技术有限公司 | 一种拍摄方法及设备 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US8760472B2 (en) * | 2008-04-01 | 2014-06-24 | Apple Inc. | Pixel transforms |
-
2019
- 2019-12-18 CN CN201911311562.7A patent/CN111127529B/zh active Active
Patent Citations (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2011221680A (ja) * | 2010-04-07 | 2011-11-04 | Hasumi Toru | 画像合成方法、画像合成プログラムおよび画像合成装置 |
| CN103236048A (zh) * | 2013-04-18 | 2013-08-07 | 上海交通大学 | 一种基于互信息和交互的医学图像拼接方法 |
| CN104574329A (zh) * | 2013-10-09 | 2015-04-29 | 深圳迈瑞生物医疗电子股份有限公司 | 超声融合成像方法、超声融合成像导航系统 |
| CN103729833A (zh) * | 2013-11-27 | 2014-04-16 | 乐视致新电子科技（天津）有限公司 | 一种图像拼接方法和装置 |
| WO2016207875A1 (en) * | 2015-06-22 | 2016-12-29 | Photomyne Ltd. | System and method for detecting objects in an image |
| CN105761236A (zh) * | 2015-11-16 | 2016-07-13 | 乐视致新电子科技（天津）有限公司 | 一种用于图像配准的图像预处理方法及装置 |
| WO2017107700A1 (zh) * | 2015-12-21 | 2017-06-29 | 努比亚技术有限公司 | 一种实现图像配准的方法及终端 |
| CN108391060A (zh) * | 2018-03-26 | 2018-08-10 | 华为技术有限公司 | 一种图像处理方法、图像处理装置和终端 |
| WO2019183813A1 (zh) * | 2018-03-27 | 2019-10-03 | 华为技术有限公司 | 一种拍摄方法及设备 |
| CN109727215A (zh) * | 2018-12-28 | 2019-05-07 | Oppo广东移动通信有限公司 | 图像处理方法、装置、终端设备及存储介质 |
| CN109829853A (zh) * | 2019-01-18 | 2019-05-31 | 电子科技大学 | 一种无人机航拍图像拼接方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN111127529A (zh) | 2020-05-08 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| EP3327668B1 (en) | Image-processing device and method for foreground mask correction for object segmentation | |
| CN101650783B (zh) | 图像识别方法以及摄像装置 | |
| CN104200461B (zh) | 基于互信息图像选块和sift特征的遥感图像配准方法 | |
| US8897598B1 (en) | Mosaicing documents for translation using video streams | |
| CN111127529B (zh) | 图像配准方法及装置、存储介质、电子装置 | |
| CN112434715B (zh) | 基于人工智能的目标识别方法、装置及存储介质 | |
| WO2015086537A1 (en) | Method for building a set of color correspondences from a set of feature correspondences in a set of corresponding images | |
| CN113158773B (zh) | 一种活体检测模型的训练方法及训练装置 | |
| CN113436215A (zh) | 前景目标的检测方法和装置、存储介质、电子装置 | |
| CN115546379A (zh) | 一种数据处理方法、装置和计算机设备 | |
| CN113838151B (zh) | 相机标定方法、装置、设备及介质 | |
| CN113516597B (zh) | 图像校正方法、装置和服务器 | |
| Koo et al. | Feature-based image registration algorithm for image stitching applications on mobile devices | |
| EP3839882B1 (en) | Radiometric correction in image mosaicing | |
| CN113298187A (zh) | 图像处理方法及装置、计算机可读存储介质 | |
| CN111630569B (zh) | 双目匹配的方法、视觉成像装置及具有存储功能的装置 | |
| CN116188535A (zh) | 基于光流估计的视频跟踪方法、装置、设备及存储介质 | |
| CN115294358A (zh) | 特征点提取方法、装置、计算机设备及可读存储介质 | |
| CN112991411B (zh) | 图像配准方法和设备、存储介质 | |
| CN114723883A (zh) | 一种三维场景重建方法、装置、设备及存储介质 | |
| CN107103321B (zh) | 道路二值化图像的生成方法及生成系统 | |
| CN113780286A (zh) | 对象识别方法及装置、存储介质、电子装置 | |
| CN112669346A (zh) | 一种路面突发状况确定方法及装置 | |
| CN112308809A (zh) | 一种图像合成方法、装置、计算机设备及存储介质 | |
| CN107301660A (zh) | 用于灾情研判的矢量图处理方法及系统 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |