CN110473238B - 一种图像配准方法、装置、电子设备及存储介质 - Google Patents
一种图像配准方法、装置、电子设备及存储介质 Download PDFInfo
- Publication number
- CN110473238B CN110473238B CN201910556208.4A CN201910556208A CN110473238B CN 110473238 B CN110473238 B CN 110473238B CN 201910556208 A CN201910556208 A CN 201910556208A CN 110473238 B CN110473238 B CN 110473238B
- Authority
- CN
- China
- Prior art keywords
- image
- registered
- determining
- transformation matrix
- feature points
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 49
- 238000003860 storage Methods 0.000 title claims abstract description 16
- 238000012216 screening Methods 0.000 claims abstract description 19
- 238000012937 correction Methods 0.000 claims description 112
- 239000011159 matrix material Substances 0.000 claims description 103
- 230000009466 transformation Effects 0.000 claims description 100
- 238000012952 Resampling Methods 0.000 claims description 25
- 238000004891 communication Methods 0.000 claims description 19
- 238000004590 computer program Methods 0.000 claims description 17
- 230000000717 retained effect Effects 0.000 claims description 8
- 238000012163 sequencing technique Methods 0.000 claims description 2
- 238000010586 diagram Methods 0.000 description 17
- 230000008569 process Effects 0.000 description 15
- 238000012545 processing Methods 0.000 description 6
- 238000012986 modification Methods 0.000 description 5
- 230000004048 modification Effects 0.000 description 5
- 238000000605 extraction Methods 0.000 description 4
- 230000006870 function Effects 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 3
- 230000004927 fusion Effects 0.000 description 3
- 238000007499 fusion processing Methods 0.000 description 2
- 238000012544 monitoring process Methods 0.000 description 2
- 230000004075 alteration Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 238000009826 distribution Methods 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 238000003672 processing method Methods 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
- G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10024—Color image
Landscapes
- Engineering & Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种图像配准方法、装置、电子设备及存储介质,由于在本发明实施例中,按照预设的规则将所述参考图像和待配准图像划分为多个区域,针对每个区域,确定该区域中每个特征点的信息熵,然后筛除信息熵相近的两个特征点中的任意一个。由于特征点的信息熵是基于包含特征点在内的预设邻域内的像素点的像素值确定的,信息熵相近的特征点处的纹理相似性很高,因此通过筛除信息熵相近的两个特征点中的任意一个,可以筛除相似性较高的特征点,从而避免了图像内自相似性对于图像配准的干扰,再基于保留的目标特征点进行图像配准,提高了图像配准的准确性。
Description
技术领域
本发明涉及图像处理技术领域,尤其涉及一种图像配准方法、装置、电子设备及存储介质。
背景技术
随着人们对监控要求的不断提高,图像融合和配准技术已经成为视频监控的热门技术之一,对图像配准的精确度、鲁棒性和易实现性的要求不断提高。在图像融合中,通过多传感器设备,采集不同光波段的图像,进行多图像融合处理,得到细节丰富且具有色彩的融合图像。在多图像融合处理之前,需要经过像素级的图像配准,才能融合出清晰度更高的图像。具体的,图像配准处理方法的一般步骤为:将可见光图像和非可见光图像中的一个作为参考图像,另一个作为待配准图像,对输入的参考图像和待配准图像提取各自的特征点集合,建立特征点一一对应的匹配关系,根据匹配特征点估计变换矩阵,最后依靠变换矩阵对图像进行重采样,得到精确匹配的两幅图像。
现有技术在进行图像配准时,只关注参考图像与待配准图像的相似性,却忽略了图像内自相似性对于图像配准的干扰。当参考图像和待配准图像中都有大量的重复纹理出现时,各图像中的特征点往往聚团出现,对后续的特征点匹配造成较大干扰,甚至直接导致图像配准失败。
发明内容
本发明实施例提供了一种图像配准方法、装置、电子设备及存储介质,用以解决现有技术中由于图像自相似性的干扰造成图像配准不准确的问题。
本发明实施例提供了一种图像配准方法,所述方法包括:
按照预设的规则将参考图像和待配准图像划分为多个区域,确定每个区域中每个特征点的信息熵;
针对每个区域,将该区域内的特征点的信息熵按照预设的顺序进行排序,依次判断相邻的两个信息熵的差值是否小于预设的信息熵,如果是,筛除该两个信息熵中任意一个信息熵对应的特征点;
根据保留的特征点的位置信息,确定目标特征点;基于所述目标特征点进行特征匹配,并确定变换矩阵,根据所述变换矩阵对所述待配准图像进行重采样。
进一步地,所述根据保留的特征点的位置信息,确定目标特征点包括:
针对保留的每个特征点,根据该特征点的位置信息,判断该特征点是否属于包含边缘像素点的区域内的特征点,如果是,将该特征点确定为目标特征点。
进一步地,所述根据保留的特征点的位置信息,确定目标特征点包括:
将包含边缘像素点的区域作为候选区域,针对每个候选区域内保留的每个特征点,根据该特征点的位置信息,确定该特征点到边缘的最小距离,按照最小距离由小到大进行排序,选取排序靠前的预设数量的候选特征点作为目标特征点。
进一步地,所述确定变换矩阵之后,根据所述变换矩阵对所述待配准图像进行重采样之前,所述方法还包括:
根据所述变换矩阵和待配准图像的宽度和高度,对所述变换矩阵进行更新。
进一步地,所述根据所述变换矩阵和待配准图像的宽度和高度,对所述变
换矩阵进行更新包括:
根据所述变换矩阵确定校正值,根据校正值、配准图像的宽度和高度确定偏移值,根据所述校正值和偏移值确定校正参数,根据所述校正参数对所述变换矩阵进行更新。
进一步地,所述校正值、偏移值和校正参数,分别包括水平方向校正值、水平方向偏移值和水平方向校正参数,以及垂直方向校正值、垂直方向偏移值和垂直方向校正参数。
进一步地,对所述变换矩阵进行更新之后,根据跟新后的变换矩阵对所述待配准图像进行重采样之前,所述方法还包括:
根据更新后的变换矩阵确定对待配准图像进行重采样时的像元位置,根据所述校正参数对所述待配准图像的像元位置进行调整;
其中,当水平方向校正参数大于0,将待配准图像向右方向移动所述水平方向校正参数个像元位置;
当水平方向校正参数小于0,将待配准图像向左方向移动所述水平方向校正参数个像元位置;
当垂直方向校正参数大于0,将待配准图像向下方向移动所述垂直方向校正参数个像元位置;
当垂直方向校正参数小于0,将待配准图像向上方向移动所述垂直方向校正参数个像元位置。
本发明实施例提高了一种图像配准装置,所述装置包括:
第一确定模块,用于按照预设的规则将参考图像和待配准图像划分为多个区域,确定每个区域中每个特征点的信息熵;
筛除模块,用于针对每个区域,将该区域内的特征点的信息熵按照预设的顺序进行排序,依次判断相邻的两个信息熵的差值是否小于预设的信息熵,如果是,筛除该两个信息熵中任意一个信息熵对应的特征点;
第二确定模块,用于根据保留的特征点的位置信息,确定目标特征点;基于所述目标特征点进行特征匹配,并确定变换矩阵,根据所述变换矩阵对所述待配准图像进行重采样。
进一步地,所述第二确定模块,具体用于针对保留的每个特征点,根据该特征点的位置信息,判断该特征点是否属于包含边缘像素点的区域内的特征点,如果是,将该特征点确定为目标特征点。
进一步地,所述第二确定模块,具体用于将包含边缘像素点的区域作为候选区域,针对每个候选区域内保留的每个特征点,根据该特征点的位置信息,确定该特征点到边缘的最小距离,按照最小距离由小到大进行排序,选取排序靠前的预设数量的候选特征点作为目标特征点。
进一步地,所述装置还包括:
更新模块,用于根据所述变换矩阵和待配准图像的宽度和高度,对所述变换矩阵进行更新。
进一步地,所述更新模块,具体用于根据所述变换矩阵确定校正值,根据校正值、配准图像的宽度和高度确定偏移值,根据所述校正值和偏移值确定校正参数,根据所述校正参数对所述变换矩阵进行更新。
进一步地,所述校正值、偏移值和校正参数,分别包括水平方向校正值、水平方向偏移值和水平方向校正参数,以及垂直方向校正值、垂直方向偏
移值和垂直方向校正参数。
进一步地,所述装置还包括:
调整模块,用于根据更新后的变换矩阵确定对待配准图像进行重采样时的像元位置,根据所述校正参数对所述待配准图像的像元位置进行调整;
其中,其中,当水平方向校正参数大于0,将待配准图像向右方向移动所述水平方向校正参数个像元位置;
当水平方向校正参数小于0,将待配准图像向左方向移动所述水平方向校正参数个像元位置;
当垂直方向校正参数大于0,将待配准图像向下方向移动所述垂直方向校正参数个像元位置;
当垂直方向校正参数小于0,将待配准图像向上方向移动所述垂直方向校正参数个像元位置。
本发明实施例提供了一种电子设备,包括处理器、通信接口、存储器和通信总线,其中,处理器,通信接口,存储器通过通信总线完成相互间的通信;
存储器,用于存放计算机程序;
处理器,用于执行存储器上所存放的程序时,实现上述任一项所述的方法步骤。
本发明实施例提供了一种计算机可读存储介质,所述计算机可读存储介质内存储有计算机程序,所述计算机程序被处理器执行时实现上述任一项所述的方法步骤。
本发明实施例提供了一种图像配准方法、装置、电子设备及存储介质,所述方法包括:按照预设的规则将参考图像和待配准图像划分为多个区域,确定每个区域中每个特征点的信息熵;针对每个区域,将该区域内的特征点的信息熵按照预设的顺序进行排序,依次判断相邻的两个信息熵的差值是否小于预设的信息熵,如果是,筛除该两个信息熵中任意一个信息熵对应的特征点;根据保留的特征点的位置信息,确定目标特征点;基于所述目标特征点进行特征匹配,并确定变换矩阵,根据所述变换矩阵对所述待配准图像进行重采样。
由于在本发明实施例中,按照预设的规则将所述参考图像和待配准图像划分为多个区域,针对每个区域,确定该区域中每个特征点的信息熵,然后筛除信息熵相近的两个特征点中的任意一个。由于特征点的信息熵是基于包含特征点在内的预设邻域内的像素点的像素值确定的,信息熵相近的特征点处的纹理相似性很高,因此通过筛除信息熵相近的两个特征点中的任意一个,可以筛除相似性较高的特征点,从而避免了图像内自相似性对于图像配准的干扰,再基于保留的目标特征点进行图像配准,提高了图像配准的准确性。
附图说明
为了更清楚地说明本发明实施例中的技术方案,下面将对实施例描述中所需要使用的附图作简要介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域的普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1为本发明实施例提供的图像配准过程示意图;
图2为本发明实施例提供的图像中的区域示意图;
图3为本发明实施例提供的确定目标特征点的流程示意图;
图4为本发明实施例提供的图像配准流程示意图;
图5为本发明实施例提供的图像配准装置结构示意图;
图6为本发明实施例提供的电子设备结构示意图。
具体实施方式
下面将结合附图对本发明作进一步地详细描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例,都属于本发明保护的范围。
图1为本发明实施例提供的图像配准过程示意图,该过程包括以下步骤:
S101:按照预设的规则将参考图像和待配准图像划分为多个区域,确定每个区域中每个特征点的信息熵。
本发明实施例提供的图像配准方法应用于电子设备,该电子设备可以是 PC、平板电脑等设备。电子设备可以接收图像采集设备发送的可见光图像和红外光图像,电子设备将可见光图像和红外光图像中的一个图像作为参考图像,另一个图像作为待配准图像。例如,将可见光图像作为参考图像,红外光图像作为待配准图像,或者将红外光图像作为参考图像,可见光图像作为待配准图像。
电子设备对参考图像和待配准图像进行特征提取,可以确定参考图像和待配准图像中的每个特征点,其中,确定图像中特征点的过程属于现有技术,在此不再对该过程进行赘述。电子设备按照预设的规则可以将参考图像和待配准图像划分为多个区域,例如将参考图像和待配准图像划分为M*N个区域,M 和N可以相同或不同。需要说明的是,电子设备对参考图像和待配准图像进行特征提取的过程和按照预设的规则将参考图像和待配准图像划分为多个区域的过程没有固定的先后顺序。可以先进行特征提取,然后划分区域,也可以先划分区域,然后进行特征提取。
针对每个区域,根据该区域中每个像素点的像素值出现的次数,确定每个像素点的像素值的概率,针对该区域中的每个特征点,根据包含该特征点的邻域内每个像素点的像素值的概率,确定该特征点的信息熵。
具体的,针对该区域中的每个特征点,将包含该特征点的邻域内每个像素点的像素值代入公式确定该特征点的信息熵;其中,bw为该区域横向像素点的数量,bh为该区域竖向像素点的数量, ns为每个像素值在该区域中出现的次数;r为邻域半径,En为该特征点的信息熵。
S102:针对每个区域,将该区域内的特征点的信息熵按照预设的顺序进行排序,依次判断相邻的两个信息熵的差值是否小于预设的信息熵,如果是,筛除该两个信息熵中任意一个信息熵对应的特征点。
电子设备确定出每个特征点的信息熵之后,针对每个区域,将该区域内的特征点的信息熵按照预设的顺序进行排序。其中,预设的顺序可以是由小到大的顺序,也可以是由大到小的顺序。然后依次计算相邻的两个信息熵的差值,判断该两个信息熵的差值是否小于预设的信息熵,如果是,筛除该两个信息熵中任意一个信息熵对应的特征点,如果否,保留该两个信息熵对应的特征点。也就是说,当相邻的两个信息熵满足E(n)-E(n-1)<Eth时,筛除该两个信息熵中任意一个信息熵对应的特征点,否则,保留该两个信息熵对应的特征点。其中,E(n)-E(n-1)为相邻的两个信息熵,Eth为预设的信息熵,Eth可以是0.1、0.15等。
S103:根据保留的特征点的位置信息,确定目标特征点;基于所述目标特征点进行特征匹配,并确定变换矩阵,根据所述变换矩阵对所述待配准图像进行重采样。
电子设备筛除特征点之后,根据保留的特征点的位置信息,可以确定目标特征点。其中,电子设备可以将保留的特征点都确定为目标特征点;或者可以根据保留的特征点的位置信息,确定特征点到边缘的最小距离。然后电子设备中预先保存距离阈值,将到边缘的最小距离小于距离阈值的特征点作为目标特征点。电子设备确定目标特征点之后,基于参考图像和待配准图像中的目标特征点进行特征匹配,并确定变换矩阵,然后根据变换矩阵对待配准图像进行重采样,进而实现参考图像和待配准图像的配准。其中,将到边缘的最小距离小于距离阈值的特征点作为目标特征点可以使得确定的目标特征点尽量靠近图像边缘,从而提高变换矩阵的准确性,进而提高图像配准的准确性。
其中,基于特征点进行特征匹配,并确定变换矩阵,根据变换矩阵对待配准图像进行重采样的过程属于现有技术,在此不再对该过程进行赘述。
由于在本发明实施例中,按照预设的规则将参考图像和待配准图像划分为多个区域,针对每个区域,确定该区域中每个特征点的信息熵,然后筛除信息熵相近的两个特征点中的任意一个。由于特征点的信息熵是基于包含特征点在内的预设邻域内的像素点的像素值确定的,信息熵相近的特征点处的纹理相似性很高,也就是自相似性很高,因此通过筛除信息熵相近的两个特征点中的任意一个,可以筛除相似性较高的特征点,从而避免了图像内自相似性对于图像配准的干扰,再基于保留的目标特征点进行图像配准,提高了图像配准的准确性。
为了进一步提高变换矩阵的准确性,进而提高图像配准的准确性,在上述实施例的基础上,在本发明实施例中,所述根据保留的特征点的位置信息,确定目标特征点包括:
针对保留的每个特征点,根据该特征点的位置信息,判断该特征点是否属于包含边缘像素点的区域内的特征点,如果是,将该特征点确定为目标特征点。
在图像配准过程中,参考图像和待配准图像中用于确定变换矩阵的特征点的分布可以影响确定出的变换矩阵的准确性,基于靠近图像边缘的特征点确定变换矩阵可以使得确定出的矩阵更准确。
在本发明实施例中,电子设备将参考图像和待配准图像划分为多个区域之后,可以分别确定出参考图像和待配准图像中包含边缘像素点的区域。电子设备可以识别保留的每个特征点的位置信息以及包含边缘像素点的区域的位置信息,因此电子设备可以判断保留的特征点中哪些是属于包含边缘像素点的区域内的特征点,然后将属于包含边缘像素点的区域内的特征点确定为目标特征点。图2为本发明实施例提供的图像中的区域示意图,需要说明的是,图2所示的图像为参考图像或待配准图像,并且图2仅为区域划分的示例,本发明实施例并不对区域划分的规则进行限定。如图2所示,将图像划分为5*5=25个区域,图2中的阴影部分区域即为包含边缘像素点的区域,将阴影部分区域内的保留的特征点确定为目标特征点。
本发明实施例中确定出的目标特征点都是位于图像边缘区域内的,因此目标特征点靠近图像边缘。进而根据本发明实施例确定的目标特征点确定变换矩阵,使得确定的变换矩阵更准确,进而提高图像配准的准确性。
为了进一步提高变换矩阵的准确性,进而提高图像配准的准确性,在上述实施例的基础上,在本发明实施例中,所述根据保留的特征点的位置信息,确定目标特征点包括:
将包含边缘像素点的区域作为候选区域,针对每个候选区域内保留的每个特征点,根据该特征点的位置信息,确定该特征点到边缘的最小距离,按照最小距离由小到大进行排序,选取排序靠前的预设数量的候选特征点作为目标特征点。
电子设备将参考图像和待配准图像划分为多个区域之后,可以分别确定出参考图像和待配准图像中包含边缘像素点的区域,然后将包含边缘像素点的区域作为候选区域。还以图2为例,图2中的阴影部分区域即为候选区域。然后针对每个候选区域内保留的每个特征点,根据该特征点的位置信息,确定该特征点到边缘的最小距离。
下面以图2为例,对确定特征点到边缘的最小距离的过程进行说明。
如图2所示,根据候选区域的位置,可以将候选区域分为左上角区域、左下角区域、右上角区域、右下角区域、上边缘区域、左边缘区域、右边缘区域和下边缘区域。图像左上角像素点的坐标为(0,0),当前特征点的坐标为(x, y),图像的宽度为w,高度为h。左上角区域内的特征点到边缘的最小距离为 x+y,左下角区域内的特征点到边缘的最小距离为x+|y-h|,右上角区域内的特征点到边缘的最小距离为|x-w|+y,右下角区域内的特征点到边缘的最小距离为|x-w|+|y-h|,上边缘区域内的特征点到边缘的最小距离为y,左边缘区域内的特征点到边缘的最小距离为x,右边缘区域内的特征点到边缘的最小距离为|x-w|,下边缘区域内的特征点到边缘的最小距离为|y-h|。
电子设备针对每个候选区域,按照该候选区域内的每个特征点到边缘的最小距离由小到大进行排序后,选取排序靠前的预设数量的候选特征点作为目标特征点。预设数量可以是3个、5个、10个等。
本发明实施例中确定出的目标特征点都是位于图像边缘区域内的,并且目标特征点在图像边缘处是均匀分布的,因此可以进一步提高变换矩阵的准确性,进而提高图像配准的准确性。
图3为确定目标特征点的流程示意图,如图3所示,分别对参考图像和待配准图像进行特征提取,确定特征点,然后将图像分块,也就是按照预设的规则将参考图像和待配准图像划分为多个区域,然后确定每个区域中每个特征点的信息熵,根据信息熵进行特征点的筛除,再根据保留的特征点的位置信息进一步筛选出目标特征点。
为了提高图像配准的准确性,在上述各实施例的基础上,在本发明实施例中,所述确定变换矩阵之后,根据所述变换矩阵对所述待配准图像进行重采样之前,所述方法还包括:
根据所述变换矩阵和待配准图像的宽度和高度,对所述变换矩阵进行更新。
在本发明实施例中,确定出变换矩阵之后,根据待配准图像的宽度和高度可以对变换矩阵进行校正,通过校正变换矩阵,可以使得变换矩阵更准确,进而使得图像配准更准确。
具体的,根据变换矩阵以及待配准图像的宽度,可以先确定用于对变换矩阵进行校正的校正值和偏移值,然后根据校正值和偏移值确定校正参数,基于校正参数对变换矩阵进行校正。
下面对变换矩阵校正的过程进行具体说明。
所述根据所述变换矩阵和待配准图像的宽度和高度,对所述变换矩阵进行更新包括:
根据所述变换矩阵确定校正值,根据校正值、配准图像的宽度和高度确定偏移值,根据所述校正值和偏移值确定校正参数,根据所述校正参数对所述变换矩阵进行更新。
所述校正值、偏移值和校正参数,分别包括水平方向校正值、水平方向偏移值和水平方向校正参数,以及垂直方向校正值、垂直方向偏移值和垂直方向校正参数。
电子设备根据目标特征点确定出的变换矩阵为三维矩阵对变换矩阵中最后一行的前两列元素进行向下取整运算得到校正值,即校正值为根据变换矩阵中前两列元素和待配准图像的宽度w和高度h确定偏移值为根据校正值和偏移值确定校正参数为根据校正参数确定校正后的矩阵为然后将确定的变换矩阵更新为校正后的变换矩阵。
其中,ax为水平方向校正值,α为水平方向偏移值,bX为水平方向校正参数,by为垂直方向校正值,β为垂直方向偏移值,bY为垂直方向校正参数。
根据本发明实施例提供的校正方法对变换矩阵进行校正,可以使得变换矩阵更准确,进而使得图像配准更准确。
图像重采样的过程是按所需的像元位置或像元间距重新采样,以构成几何变换后的新图像。电子设备对变换矩阵更新后,可以根据更新后的变换矩阵确定对待配准图像进行重采样时的像元位置,此时确定的像元位置一般是能够保证参考图像和待配准图像边缘对齐的像元位置,其中,根据变换矩阵确定对待配准图像进行重采样时的像元位置的过程属于现有技术,在此不再对该过程进行赘述。但是图像采集设备采集的参考图像和待配准图像可能出现畸变,也就是参考图像和待配准图像中的内容并不是完全相同,此时如果直接根据确定的像元位置进行图像重采样,有可能出现配准不准确的问题。为了进一步保证图像配准的准确性,在上述各实施例的基础上,在本发明实施例中,对所述变换矩阵进行更新之后,根据跟新后的变换矩阵对所述待配准图像进行重采样之前,所述方法还包括:
根据更新后的变换矩阵确定对待配准图像进行重采样时的像元位置,根据所述校正参数对所述待配准图像的像元位置进行调整;
其中,其中,当水平方向校正参数大于0,将待配准图像向右方向移动所述水平方向校正参数个像元位置;
当水平方向校正参数小于0,将待配准图像向左方向移动所述水平方向校正参数个像元位置;
当垂直方向校正参数大于0,将待配准图像向下方向移动所述垂直方向校正参数个像元位置;
当垂直方向校正参数小于0,将待配准图像向上方向移动所述垂直方向校正参数个像元位置。
上述实施例中确定出的矩阵校正参数能够反映待配准图像和参考图像内容上的错位量,在本发明实施例中,水平方向校正参数可以表示为bX,垂直方向校正参数可以表示为bY。当确定出的水平方向校正参数bX不为0时,说明参考图像和待配准图像的内容在左右方向上有偏差,当确定出的垂直方向校正参数bY不为0时,说明参考图像和待配准图像的内容在上下方向上有偏差。为了保证参考图像和待配准图像内容上完全对齐,在本发明实施例中,当bX>0,将待配准图像向右方向移动|bX|个像元位置;当bX<0,将待配准图像向左方向移动|bX|个像元位置;当bY>0,将待配准图像向下方向移动|bY|个像元位置;当bY<0,将待配准图像向上方向移动|bY|个像元位置。通过本发明实施例提供的方法,在确定出待配准图像进行重采样是的像元位置后,根据校正参数对待配准图像进行重采样是的像元位置进行调整,根据调整后的像元位置进行重采样,得到的图像可以和参考图像的内容对齐,因此使得图像配准更准确。
图4为本发明实施例提供的图像配准流程示意图,如图4所示,分别对参考图像和待配准图像进行特征提取,确定特征点,然后将图像分块,也就是按照预设的规则将参考图像和待配准图像划分为多个区域,然后根据每个区域中每个特征点的信息熵以及位置信息筛选出目标特征点。基于目标特征点进行特征匹配,并确定变换矩阵,然后对变换矩阵进行校正,并校正待配准图像,最后根据校正后的变换矩阵对待配准图像进行重采样。
图5为本发明实施例提供的图像配准装置结构示意图,该装置包括:
第一确定模块51,用于按照预设的规则将参考图像和待配准图像划分为多个区域,确定每个区域中每个特征点的信息熵;
筛除模块52,用于针对每个区域,将该区域内的特征点的信息熵按照预设的顺序进行排序,依次判断相邻的两个信息熵的差值是否小于预设的信息熵,如果是,筛除该两个信息熵中任意一个信息熵对应的特征点;
第二确定模块53,用于根据保留的特征点的位置信息,确定目标特征点;基于所述目标特征点进行特征匹配,并确定变换矩阵,根据所述变换矩阵对所述待配准图像进行重采样。
所述第二确定模块53,具体用于针对保留的每个特征点,根据该特征点的位置信息,判断该特征点是否属于包含边缘像素点的区域内的特征点,如果是,将该特征点确定为目标特征点。
所述第二确定模块53,具体用于将包含边缘像素点的区域作为候选区域,针对每个候选区域内保留的每个特征点,根据该特征点的位置信息,确定该特征点到边缘的最小距离,按照最小距离由小到大进行排序,选取排序靠前的预设数量的候选特征点作为目标特征点。
所述装置还包括:
更新模块54,用于根据所述变换矩阵和待配准图像的宽度和高度,对所述变换矩阵进行更新。
所述更新模块54,具体用于根据所述变换矩阵确定校正值,根据校正值、配准图像的宽度和高度确定偏移值,根据所述校正值和偏移值确定校正参数,根据所述校正参数对所述变换矩阵进行更新。
所述装置还包括:
调整模块55,用于根据更新后的变换矩阵确定对待配准图像进行重采样时的像元位置,根据所述校正参数对所述待配准图像的像元位置进行调整;
其中,其中,当水平方向校正参数大于0,将待配准图像向右方向移动所述水平方向校正参数个像元位置;
当水平方向校正参数小于0,将待配准图像向左方向移动所述水平方向校正参数个像元位置;
当垂直方向校正参数大于0,将待配准图像向下方向移动所述垂直方向校正参数个像元位置;
当垂直方向校正参数小于0,将待配准图像向上方向移动所述垂直方向校正参数个像元位置。
在上述各实施例的基础上,本发明实施例中还提供了一种电子设备,如图 6所示,包括:处理器601、通信接口602、存储器603和通信总线604,其中,处理器601,通信接口602,存储器603通过通信总线604完成相互间的通信;
所述存储器603中存储有计算机程序,当所述程序被所述处理器601执行时,使得所述处理器601执行如下步骤:
按照预设的规则将参考图像和待配准图像划分为多个区域,确定每个区域中每个特征点的信息熵;针对每个区域,将该区域内的特征点的信息熵按照预设的顺序进行排序,依次判断相邻的两个信息熵的差值是否小于预设的信息熵,如果是,筛除该两个信息熵中任意一个信息熵对应的特征点;根据保留的特征点的位置信息,确定目标特征点;基于所述目标特征点进行特征匹配,并确定变换矩阵,根据所述变换矩阵对所述待配准图像进行重采样。
基于同一发明构思,本发明实施例中还提供了一种电子设备,由于上述电子设备解决问题的原理与图像配准方法相似,因此上述电子设备的实施可以参见方法的实施,重复之处不再赘述。
本发明实施例提供的电子设备具体可以为桌面计算机、便携式计算机、智能手机、平板电脑、个人数字助理(Personal Digital Assistant,PDA)、网络侧设备等。
上述电子设备提到的通信总线可以是外设部件互连标准(Peripheral ComponentInterconnect,PCI)总线或扩展工业标准结构(Extended Industry StandardArchitecture,EISA)总线等。该通信总线可以分为地址总线、数据总线、控制总线等。为便于表示,图中仅用一条粗线表示,但并不表示仅有一根总线或一种类型的总线。
通信接口602用于上述电子设备与其他设备之间的通信。
存储器可以包括随机存取存储器(Random Access Memory,RAM),也可以包括非易失性存储器(Non-Volatile Memory,NVM),例如至少一个磁盘存储器。可选地,存储器还可以是至少一个位于远离前述处理器的存储装置。
上述处理器可以是通用处理器,包括中央处理器、网络处理器(NetworkProcessor,NP)等;还可以是数字信号处理器(Digital Signal Processing,DSP)、专用集成电路、现场可编程门陈列或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。
在本发明实施例中处理器执行存储器上所存放的程序时,实现按照预设的规则将参考图像和待配准图像划分为多个区域,确定每个区域中每个特征点的信息熵;针对每个区域,将该区域内的特征点的信息熵按照预设的顺序进行排序,依次判断相邻的两个信息熵的差值是否小于预设的信息熵,如果是,筛除该两个信息熵中任意一个信息熵对应的特征点;根据保留的特征点的位置信息,确定目标特征点;基于所述目标特征点进行特征匹配,并确定变换矩阵,根据所述变换矩阵对所述待配准图像进行重采样。由于在本发明实施例中,按照预设的规则将所述参考图像和待配准图像划分为多个区域,针对每个区域,确定该区域中每个特征点的信息熵,然后筛除信息熵相近的两个特征点中的任意一个。由于特征点的信息熵是基于包含特征点在内的预设邻域内的像素点的像素值确定的,信息熵相近的特征点处的纹理相似性很高,因此通过筛除信息熵相近的两个特征点中的任意一个,可以筛除相似性较高的特征点,从而避免了图像内自相似性对于图像配准的干扰,再基于保留的目标特征点进行图像配准,提高了图像配准的准确性。
在上述各实施例的基础上,本发明实施例还提供了一种计算机存储可读存储介质,所述计算机可读存储介质内存储有可由电子设备执行的计算机程序,当所述程序在所述电子设备上运行时,使得所述电子设备执行时实现如下步骤:
按照预设的规则将参考图像和待配准图像划分为多个区域,确定每个区域中每个特征点的信息熵;针对每个区域,将该区域内的特征点的信息熵按照预设的顺序进行排序,依次判断相邻的两个信息熵的差值是否小于预设的信息熵,如果是,筛除该两个信息熵中任意一个信息熵对应的特征点;根据保留的特征点的位置信息,确定目标特征点;基于所述目标特征点进行特征匹配,并确定变换矩阵,根据所述变换矩阵对所述待配准图像进行重采样。
基于同一发明构思,本发明实施例中还提供了一种计算机可读存储介质,由于处理器在执行上述计算机可读存储介质上存储的计算机程序时解决问题的原理与图像配准方法相似,因此处理器在执行上述计算机可读存储介质存储的计算机程序的实施可以参见方法的实施,重复之处不再赘述。
上述计算机可读存储介质可以是电子设备中的处理器能够存取的任何可用介质或数据存储设备,包括但不限于磁性存储器如软盘、硬盘、磁带、磁光盘(MO)等、光学存储器如CD、DVD、BD、HVD等、以及半导体存储器如 ROM、EPROM、EEPROM、非易失性存储器(NANDFLASH)、固态硬盘(SSD) 等。
在本发明实施例中提供的计算机可读存储介质内存储计算机程序,计算机程序被处理器执行时实现按照预设的规则将参考图像和待配准图像划分为多个区域,确定每个区域中每个特征点的信息熵;针对每个区域,将该区域内的特征点的信息熵按照预设的顺序进行排序,依次判断相邻的两个信息熵的差值是否小于预设的信息熵,如果是,筛除该两个信息熵中任意一个信息熵对应的特征点;根据保留的特征点的位置信息,确定目标特征点;基于所述目标特征点进行特征匹配,并确定变换矩阵,根据所述变换矩阵对所述待配准图像进行重采样。由于在本发明实施例中,按照预设的规则将所述参考图像和待配准图像划分为多个区域,针对每个区域,确定该区域中每个特征点的信息熵,然后筛除信息熵相近的两个特征点中的任意一个。由于特征点的信息熵是基于包含特征点在内的预设邻域内的像素点的像素值确定的,信息熵相近的特征点处的纹理相似性很高,因此通过筛除信息熵相近的两个特征点中的任意一个,可以筛除相似性较高的特征点,从而避免了图像内自相似性对于图像配准的干扰,再基于保留的目标特征点进行图像配准,提高了图像配准的准确性。
本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和 /或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/ 或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器,使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中,使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品,该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上,使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理,从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
尽管已描述了本发明的优选实施例,但本领域内的技术人员一旦得知了基本创造性概念,则可对这些实施例作出另外的变更和修改。所以,所附权利要求意欲解释为包括优选实施例以及落入本发明范围的所有变更和修改。
显然,本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样,倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内,则本发明也意图包含这些改动和变型在内。
Claims (10)
1.一种图像配准方法,其特征在于,所述方法包括:
按照预设的规则将参考图像和待配准图像划分为多个区域,确定每个区域中每个特征点的信息熵;
针对每个区域,将该区域内的特征点的信息熵按照预设的顺序进行排序,依次判断相邻的两个信息熵的差值是否小于预设的信息熵,如果是,筛除该两个信息熵中任意一个信息熵对应的特征点;
根据保留的特征点的位置信息,确定目标特征点;基于所述目标特征点进行特征匹配,并确定变换矩阵,根据所述变换矩阵对所述待配准图像进行重采样。
2.如权利要求1所述的方法,其特征在于,所述根据保留的特征点的位置信息,确定目标特征点包括:
针对保留的每个特征点,根据该特征点的位置信息,判断该特征点是否属于包含边缘像素点的区域内的特征点,如果是,将该特征点确定为目标特征点。
3.如权利要求1所述的方法,其特征在于,所述根据保留的特征点的位置信息,确定目标特征点包括:
将包含边缘像素点的区域作为候选区域,针对每个候选区域内保留的每个特征点,根据该特征点的位置信息,确定该特征点到边缘的最小距离,按照最小距离由小到大进行排序,选取排序靠前的预设数量的候选特征点作为目标特征点。
4.如权利要求1所述的方法,其特征在于,所述确定变换矩阵之后,根据所述变换矩阵对所述待配准图像进行重采样之前,所述方法还包括:
根据所述变换矩阵和待配准图像的宽度和高度,对所述变换矩阵进行更新。
5.如权利要求4所述的方法,其特征在于,所述根据所述变换矩阵和待配准图像的宽度和高度,对所述变换矩阵进行更新包括:
根据所述变换矩阵确定校正值,根据校正值、配准图像的宽度和高度确定偏移值,根据所述校正值和偏移值确定校正参数,根据所述校正参数对所述变换矩阵进行更新。
6.如权利要求5所述的方法,其特征在于,所述校正值、偏移值和校正参数,分别包括水平方向校正值、水平方向偏移值和水平方向校正参数,以及垂直方向校正值、垂直方向偏移值和垂直方向校正参数。
7.如权利要求6所述的方法,其特征在于,对所述变换矩阵进行更新之后,根据跟新后的变换矩阵对所述待配准图像进行重采样之前,所述方法还包括:
根据更新后的变换矩阵确定对待配准图像进行重采样时的像元位置,根据所述校正参数对所述待配准图像的像元位置进行调整;
其中,当水平方向校正参数大于0,将待配准图像向右方向移动所述水平方向校正参数个像元位置;
当水平方向校正参数小于0,将待配准图像向左方向移动所述水平方向校正参数个像元位置;
当垂直方向校正参数大于0,将待配准图像向下方向移动所述垂直方向校正参数个像元位置;
当垂直方向校正参数小于0,将待配准图像向上方向移动所述垂直方向校正参数个像元位置。
8.一种图像配准装置,其特征在于,所述装置包括:
第一确定模块,用于按照预设的规则将参考图像和待配准图像划分为多个区域,确定每个区域中每个特征点的信息熵;
筛除模块,用于针对每个区域,将该区域内的特征点的信息熵按照预设的顺序进行排序,依次判断相邻的两个信息熵的差值是否小于预设的信息熵,如果是,筛除该两个信息熵中任意一个信息熵对应的特征点;
第二确定模块,用于根据保留的特征点的位置信息,确定目标特征点;基于所述目标特征点进行特征匹配,并确定变换矩阵,根据所述变换矩阵对所述待配准图像进行重采样。
9.一种电子设备,其特征在于,包括处理器、通信接口、存储器和通信总线,其中,处理器,通信接口,存储器通过通信总线完成相互间的通信;
存储器,用于存放计算机程序;
处理器,用于执行存储器上所存放的程序时,实现权利要求1-7任一项所述的方法步骤。
10.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质内存储有计算机程序,所述计算机程序被处理器执行时实现权利要求1-7任一项所述的方法步骤。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910556208.4A CN110473238B (zh) | 2019-06-25 | 2019-06-25 | 一种图像配准方法、装置、电子设备及存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910556208.4A CN110473238B (zh) | 2019-06-25 | 2019-06-25 | 一种图像配准方法、装置、电子设备及存储介质 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN110473238A CN110473238A (zh) | 2019-11-19 |
CN110473238B true CN110473238B (zh) | 2021-08-27 |
Family
ID=68506924
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201910556208.4A Active CN110473238B (zh) | 2019-06-25 | 2019-06-25 | 一种图像配准方法、装置、电子设备及存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN110473238B (zh) |
Families Citing this family (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111612767B (zh) * | 2020-05-21 | 2022-10-28 | 西南交通大学 | 一种基于视觉的精密结构件识别方法 |
CN111768394A (zh) * | 2020-07-01 | 2020-10-13 | 上海商汤智能科技有限公司 | 图像处理方法及装置、电子设备和存储介质 |
CN112200845A (zh) * | 2020-10-22 | 2021-01-08 | 清华大学 | 一种图像配准方法和装置 |
CN112435283A (zh) * | 2020-11-04 | 2021-03-02 | 浙江大华技术股份有限公司 | 图像的配准方法、电子设备以及计算机可读存储介质 |
CN114638774B (zh) * | 2020-12-01 | 2024-02-02 | 珠海碳云智能科技有限公司 | 图像数据处理方法及装置、非易失性存储介质 |
CN113436068B (zh) * | 2021-06-10 | 2022-12-02 | 浙江大华技术股份有限公司 | 一种图像拼接方法、装置、电子设备及存储介质 |
CN117173439A (zh) * | 2023-11-01 | 2023-12-05 | 腾讯科技(深圳)有限公司 | 基于gpu的图像处理方法、装置、存储介质及电子设备 |
Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2007040359A1 (en) * | 2005-10-05 | 2007-04-12 | Lg Electronics Inc. | Method and apparatus for signal processing and encoding and decoding method, and apparatus therefor |
CN103389074A (zh) * | 2013-07-18 | 2013-11-13 | 河南科技大学 | 一种多尺度景象匹配区的选取方法 |
CN107146201A (zh) * | 2017-05-08 | 2017-09-08 | 重庆邮电大学 | 一种基于改进图像融合的图像拼接方法 |
CN107993258A (zh) * | 2017-11-23 | 2018-05-04 | 浙江大华技术股份有限公司 | 一种图像配准方法及装置 |
CN109223124A (zh) * | 2018-08-21 | 2019-01-18 | 哈尔滨市第医院 | 一种基于计算机骨科穿刺双引导控制系统 |
CN109636714A (zh) * | 2018-08-30 | 2019-04-16 | 沈阳聚声医疗系统有限公司 | 一种超声宽景成像的图像拼接方法 |
CN109766924A (zh) * | 2018-12-20 | 2019-05-17 | 东南大学 | 基于图像信息熵与自适应阈值daisy特征点的图像检测方法 |
Family Cites Families (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US8131476B2 (en) * | 2006-08-07 | 2012-03-06 | General Electric Company | System and method for co-registering multi-channel images of a tissue micro array |
-
2019
- 2019-06-25 CN CN201910556208.4A patent/CN110473238B/zh active Active
Patent Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2007040359A1 (en) * | 2005-10-05 | 2007-04-12 | Lg Electronics Inc. | Method and apparatus for signal processing and encoding and decoding method, and apparatus therefor |
CN103389074A (zh) * | 2013-07-18 | 2013-11-13 | 河南科技大学 | 一种多尺度景象匹配区的选取方法 |
CN107146201A (zh) * | 2017-05-08 | 2017-09-08 | 重庆邮电大学 | 一种基于改进图像融合的图像拼接方法 |
CN107993258A (zh) * | 2017-11-23 | 2018-05-04 | 浙江大华技术股份有限公司 | 一种图像配准方法及装置 |
CN109223124A (zh) * | 2018-08-21 | 2019-01-18 | 哈尔滨市第医院 | 一种基于计算机骨科穿刺双引导控制系统 |
CN109636714A (zh) * | 2018-08-30 | 2019-04-16 | 沈阳聚声医疗系统有限公司 | 一种超声宽景成像的图像拼接方法 |
CN109766924A (zh) * | 2018-12-20 | 2019-05-17 | 东南大学 | 基于图像信息熵与自适应阈值daisy特征点的图像检测方法 |
Non-Patent Citations (3)
Title |
---|
"Regional information entropy demons for infrared image nonrigod registration";lu chaoliang et al;《Optik》;20150831;第227-231页 * |
"基于分块信息熵和特征尺度的图像配准算法";高飞等;《北京理工大学学报》;20161130;第36卷(第11期);全文 * |
"基于特征点的图像拼接算法";赵萌萌;《中国优秀硕士学位论文全文数据库 信息科技辑》;20140315;全文 * |
Also Published As
Publication number | Publication date |
---|---|
CN110473238A (zh) | 2019-11-19 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN110473238B (zh) | 一种图像配准方法、装置、电子设备及存储介质 | |
CN107784654B (zh) | 图像分割方法、装置及全卷积网络系统 | |
CN112560980B (zh) | 目标检测模型的训练方法、装置及终端设备 | |
CN109977949B (zh) | 边框微调的文本定位方法、装置、计算机设备及存储介质 | |
CN102103753B (zh) | 使用实时相机运动估计检测和跟踪运动对象的方法和终端 | |
CN112164032B (zh) | 一种点胶方法、装置、电子设备及存储介质 | |
CN110400271B (zh) | 一种条纹非均匀性校正方法、装置、电子设备及存储介质 | |
CN106202086B (zh) | 一种图片处理、获取方法、装置及系统 | |
CN110288549B (zh) | 视频修复方法、装置及电子设备 | |
CN106504205A (zh) | 一种图像去雾方法及终端 | |
CN106203454A (zh) | 证件版式分析的方法及装置 | |
CN112800850A (zh) | 一种视频处理方法、装置、电子设备及存储介质 | |
CN104978750A (zh) | 用于处理视频文件的方法和装置 | |
CN111080654A (zh) | 图像的病变区域分割方法、装置及服务器 | |
CN111462164A (zh) | 一种前景分割方法以及基于图像合成的数据增强方法 | |
CN113989167A (zh) | 基于种子点自生长的轮廓提取方法、装置、设备及介质 | |
CN112991307A (zh) | 一种用于钻孔爆破的缺陷圆拟合方法、装置及介质 | |
CN113436068B (zh) | 一种图像拼接方法、装置、电子设备及存储介质 | |
CN109978903B (zh) | 一种标识点识别方法、装置、电子设备及存储介质 | |
CN111160358A (zh) | 一种图像二值化方法、装置、设备、介质 | |
CN112149745B (zh) | 确定难例样本的方法、装置、设备及存储介质 | |
CN113628259A (zh) | 图像的配准处理方法及装置 | |
CN113840135A (zh) | 色偏检测方法、装置、设备及存储介质 | |
CN112766256A (zh) | 光栅相位图处理方法、装置、电子设备及存储介质 | |
CN111507923A (zh) | 一种视频图像的噪声处理方法、装置、设备和介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |