CN111630558B - 一种图像处理、匹配方法、装置及存储介质 - Google Patents
一种图像处理、匹配方法、装置及存储介质 Download PDFInfo
- Publication number
- CN111630558B CN111630558B CN201880087343.2A CN201880087343A CN111630558B CN 111630558 B CN111630558 B CN 111630558B CN 201880087343 A CN201880087343 A CN 201880087343A CN 111630558 B CN111630558 B CN 111630558B
- Authority
- CN
- China
- Prior art keywords
- image
- edge
- matching
- reference pixel
- resolution
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 67
- 230000009467 reduction Effects 0.000 claims abstract description 63
- 238000003672 processing method Methods 0.000 claims abstract description 20
- 238000013507 mapping Methods 0.000 claims description 60
- 238000011946 reduction process Methods 0.000 claims description 30
- 230000008569 process Effects 0.000 claims description 20
- 238000000605 extraction Methods 0.000 claims description 5
- 239000000758 substrate Substances 0.000 claims 2
- 239000000523 sample Substances 0.000 claims 1
- 230000000717 retained effect Effects 0.000 description 6
- 238000010586 diagram Methods 0.000 description 4
- 230000007423 decrease Effects 0.000 description 2
- 238000006073 displacement reaction Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000005070 sampling Methods 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000012512 characterization method Methods 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000011022 operating instruction Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
Landscapes
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Image Processing (AREA)
Abstract
本发明公开一种图像处理、匹配方法、装置及存储介质,该图像处理方法包括对第一图像进行边缘提取,并获得提取的边缘两侧的像素数据;根据所述边缘两侧的像素数据间的差异程度,确定参考像素区域的范围;其中,所述参考像素区域由所述边缘,或所述边缘及其两侧像素形成;将所述第一图像除所述参考像素区域外的其他区域进行降分辨率处理,并将所述参考像素区域的像素信息保留在处理后的图像的对应边缘位置上,得到第二图像。通过上述方法可以在对图像进行降分辨率处理时,有效的保留图像原本的边缘处的像素信息,避免图像在降分辨率处理时边缘出现模糊。
Description
技术领域
本发明涉及图像处理技术领域,尤其涉及一种图像处理、匹配方法、装置及存储介质。
背景技术
降分辨率处理是图像处理技术领域常用的技术手段。降分辨率处理可以理解为对图像采样的点数减少了,对于原本N×M的图像来说,若降分辨率处理的缩放系数为k,则降分辨率处理相当于在原来N×M的图像中每行每列均每隔k个点取一个点,由取出的点组成一幅图像,组成的图像即为对N×M的图像进行缩放系数k的降分辨率处理后的图像。
根据降分辨率处理的原理可知,由于采样点的减少会使降分辨率处理后的图像的清晰程度受到一定影响,导致原本的图像会由于降分辨率处理处理出现边缘模糊,即降分辨率处理后无法清晰的辨别出图像中物体的边缘,甚至在原本的图像中相邻的两个边缘会由于降分辨率处理,导致两个边缘在降分辨率处理后相互几乎靠在一起而无法辨别。
发明内容
本发明的目的在于提供一种图像处理、匹配方法、装置及存储介质,能够在降分辨率处理后的图像中保留图像中边缘处的像素信息。
为实现上述目的,本发明提供一种图像处理方法,该方法包括:
对第一图像进行边缘提取,并获得提取的边缘两侧的像素数据;
根据所述边缘两侧的像素数据间的差异程度,确定参考像素区域的范围;其中,所述参考像素区域由所述边缘,或所述边缘及其两侧像素信息;
将所述第一图像除所述参考像素区域外的其他区域进行降分辨率处理,并将所述参考像素区域的像素信息保留在处理后的图像的对应边缘位置上,得到第二图像。
另一方面,本发明提出一种图像匹配方法,该方法包括:采用上述图像处理方法分别对左第一图像和右第一图像进行降分辨率处理,得到左第二图像和右第二图像;
对所述左第二图像和右第二图像进行匹配;
其中,所述左第一图像和右第一图像为在不同角度对同一目标进行拍摄的图像。
另一方面,本发明提出了一种图像处理装置,该装置包括:
通过总线连接的存储器和处理器;
所述存储器用于保存所述处理器执行的操作指令,以及图像和数据;
所述处理器用于运行所述操作指令,以实现上述的图像处理方法。
另一方面,本发明提出了一种图形匹配装置,该装置包括:
通过总线连接的存储器和处理器;
所述存储器用于保存所述处理器执行的操作指令,以及需要匹配的左第一图像和右第一图像;
所述处理器用于运行所述操作指令,以实现上述的图像匹配方法。
另一方面,本发明提出了一种存储介质,该存储介质存储有程序数据,所述程序数据能够被执行以实现上述的图像处理方法;或被执行以实现上述的图像处理方法。
有益效果:区别于现有技术的情况,本发明的图像处理方法通过对第一图像进行边缘提取,并获得提取的边缘两侧的像素数据;根据边缘两侧的像素数据间的差异程度,确定参考像素区域的范围;其中,参考像素区域由边缘,或边缘及其两侧像素形成;将第一图像除参考像素区域外的其他区域进行降分辨率处理,并将参考像素区域的像素信息保留在处理后的图像的对应边缘位置上,得到第二图像。进而在降分辨率处理后的图像中保留边缘或包含了边缘及边缘两侧的像素信息,避免了图像在降分辨率处理后出现边缘模糊的情况。
附图说明
图1是本发明图像处理方法第一实施例的流程示意图;
图2是图1中步骤S102的流程示意图;
图3是图1中步骤S103的流程示意图;
图4是本发明图像匹配方法第一实施例的流程示意图;
图5是图4中步骤S204的流程示意图;
图6是本发明图像匹配方法第二实施例的流程示意图;
图7是图6中步骤S205的流程示意图;
图8是图6中步骤S208的一实施方式的流程示意图;
图9是图6中步骤S208的另一实施方式流程示意图;
图10是本发明图像处理装置一实施例的结构示意图;
图11是本发明图像匹配装置一实施例的结构示意图;
图12是本发明图像匹配装置另一实施例的结构示意图;
图13是是本发明存储介质实施例的结构示意图。
具体实施方式
为使本领域的技术人员更好地理解本发明的技术方案,下面结合附图和具体实施方式对本发明做进一步详细描述。显然,所描述的实施方式仅仅是本发明的一部分实施方式,而不是全部的实施方式。基于本发明中的实施方式,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施方式,均属于本发明保护的范围。
参阅图1,图1是本发明图像处理方法第一实施例的流程示意图。如图1所示,该实施例的图像处理方法可包括如下步骤:
在步骤S101中,对第一图像进行边缘提取,并获得提取的边缘及边缘两侧的像素数据。
图像中边缘作为图像的重要信息,能够表征图像中各个物体或图形元素,在图像识别技术中是非常重要的数据,且图像的边缘是图像的灰度值变化相对于其他区域比较剧烈的地方,能够用于能识别相应的物体。(在图像识别技术中,边缘作为图像中用于表征各个物体或图形元素的重要)(大多数情况下,各个图形元素的边缘是该图形灰度值变化较于非边缘区域更为剧烈),
对图像进行边缘提取的方法有很多,本实施例对第一图像进行边缘提取的方法不做限定,可以采用现有技术中的任一中边缘提取的方法。
进一步,本实施例在提取边缘之后,以提取得到的边缘为参考,获取边缘及边缘两侧的像素数据。其中,像素选取对象可以是边缘上的像素点、边缘两侧的像素点或两者的组合。像素数据为像素选取对象的灰度值。
在步骤S102中,根据边缘及边缘两侧的像素数据间的差异程度,确定参考像素区域的范围。
由于不同清晰程度的边缘在保留其像素信息时所需要参与的边缘两侧的像素数量不同,因此,需要根据步骤S101中得到边缘两侧的像素数据来确定边缘的清晰程度。
边缘两侧的如灰度值、亮度信息等像素数据的差异程度可以表征边缘的清晰程度,例如,边缘的像素的灰度值、边缘两侧的像素的灰度值,或边缘及边缘两侧的像素的灰度值的差异较大,则说明边缘较清晰;若边缘的像素的灰度值、边缘两侧的像素的灰度值,或边缘及边缘两侧的像素的灰度值的差异较小,则说明边缘较模糊。由此可以确定边缘的清晰程度,进一步根据边缘的清晰程度确定在降分辨率处理后的图像中需要保留的参考像素区域的范围,由此,即使图像进行了降分辨率处理,但图像中物体或图形元素的边缘信息仍被保留了下来,而不是进行降分辨率的处理,即可令降分辨率处理的图像中仍可对这些物体或图形原始进行保留。
可以理解的是,对于清晰程度较高的边缘,仅需要该边缘及边缘两侧少量的像素即可计算得到边缘的中心像素,即保留该边缘的原始的像素信息;对于清晰程度较低的边缘,则需要该边缘两侧较多的像素来参与边缘的中心像素的计算。因此,在清晰度较高的边缘处设置相对区域范围较小的参考像素区域,在清晰度较低的边缘处设置相对区域范围较大的参考像素区域;对应的,即边缘及边缘两侧像素数据的差异程度较大处,设置相对区域范围较小的参考像素区域;在边缘两侧像素数据的差异程度较小处,设置相对区域范围较大的参考像素区域,由此既可以相对完整的保留下图像中的边缘及边缘两侧的像素数据,又可以减小对整体图像的降分辨率处理的影响。
可以理解的是,本实施例要在降分辨率处理后的图像中保留边缘处的像素信息,即该参考像素区域至少包含边缘,此外还包含边缘及其两侧的像素信息。当然,对于清晰度很高的边缘,其参考像素区域也可以仅含有边缘处的像素。
进一步,请参阅图2,如图2所示,在其他实施例中,步骤S102可包括如下步骤:
在步骤S1021中,根据边缘两侧的像素数据间的差异程度,确定边缘的清晰度等级。
本实施例为了明确如何根据边缘两侧的像素数据间的差异程度来确定参考像素区域范围,对边缘的清晰程度设置了不同的清晰度等级,不同的差异程度对应于不同的清晰度等级,可以理解的是,像素数据间的差异程度可能是相对连续的一系列数据形成的数据集合,而清晰度等级则只是表征了等级差异,因此,可以对差异程度的数据划分成不同的区间,每个区间对应一个清晰度等级。
进一步,可以设置若干个数值不等的差异程度阈值,由差异程度阈值划分出若干个差异程度的区域范围,每个区域范围设置一个对应的清晰度等级,落在同一区域范围的差异程度为同一清晰度等级,落在不同区域范围的差异程度为不同清晰度等级。例如,设置差异程度阈值分别为第一阈值和第二阈值,其中,第一阈值>第二阈值;差异程度大于或等于第一阈值的边缘的清晰度等级设置为一级,差异程度介于第一阈值和第二阈值之间的边缘的清晰度等级设置为二级,差异程度小于或等于第二阈值的边缘的清晰度等级设置为三级,由此可知,清晰度等级从一级到三级,边缘的清晰度逐渐下降。
在其他实施方式中,也可以采用其他的方式对差异程度不同的边缘划分相应的清晰度等级,此外,差异程度阈值可以根据实际需求进行相应设置。
在步骤S1022中,获取清晰度等级对应设定的等级宽度,并确定参考像素区域的范围。
本实施例中,对不同的清晰度等级预设了不同的等级宽度,等级宽度为反映参考像素区域内包含的像素总个数的表征值,本实施例中,参考像素区域内的包含的像素个数为等级宽度与降分辨率处理的缩放系数的乘积。其中,等级宽度的具体数值在本实施例中不做具体限定,可以根据实际需求进行设置。
根据上述的说明,清晰度越高的边缘,需要保留的边缘及其两侧的像素信息较少,因此对应的预设的等级宽度的数值较小;清晰度越低的边缘的需要保留的边缘及其两侧的像素信息较多,因此对应的预设的等级宽度的数值较大。有上述设置的清晰度等级,从一级到三级,边缘的清晰度逐渐降低,由此,从一级到三级对应的等级宽度逐渐增加。
本步骤即可根据边缘的清晰度等级即可确定边缘相应的参考像素区域的范围。
在步骤S103中,将第一图像除参考像素区域外的其他区域进行降分辨率处理,并将参考像素区域的像素信息保留在处理后的图像的对应边缘位置上,得到第二图像。
步骤S102确定了需要保留的参考像素区域,此时对图像进行降分辨率处理,并将步骤S102中确定的参考像素区域内的像素信息保留至降分辨率处理后的图像的对应的边缘位置上,如此即可得到保留了边缘及其两侧一定范围内的原始的像素信息,而其他区域分辨率下降的第二图像。
进一步,请参阅图3,如图3所示,步骤S103可包括如下步骤:
在步骤S1031中,获取边缘在第一图像中的原始位置。
由于对图像进行降分辨率处理会导致图像中像素发生位移,对于第一图像中的边缘自然也会在降分辨率处理的过程中发生位移,即降分辨率处理前后的边缘的位置不同,为了在降分辨率处理后的图像中能够在图像的对应边缘位置上保留参考像素区域的像素信息,则需要在降分辨率处理后的图像中找到边缘应当所在的位置。
因此,对第一图像进行降分辨率处理之前,先获取第一图像中提取得到的边缘在第一图像中的原始位置。
在步骤S1032中,计算边缘的原始位置在经过降分辨率处理后的图像中的映射位置。
在图像进行降分辨率处理之后,得到降分辨率处理的图像,根据步骤S1031中计算得到边缘在第一图像中的原始位置,计算该原始位置在降分辨率处理后的图像中的映射位置。
例如,假设第一图像为1×8的图像,其中,边缘的原始位置为(1,7),对第一图像进行降分辨率处理的缩放系数的数值为2,则降分辨率处理后的图像为1×4,此时,在降分辨率处理后的图像中,根据边缘的原始位置为(1,7)计算边缘在降分辨率处理后的图像中的映射位置,可以得到边缘在降分辨率处理后的图像中的映射位置为(1,3.5)。
在步骤S1033中,在经过降分辨率处理后的图像中,以边缘的映射位置为参考位置,将参考像素区域的像素信息保留至处理后的图像中。
在降分辨率处理后的图像中根据步骤S1032计算得到的边缘在降分辨率处理后的图像中的映射位置,即可确定出在降分辨率处理后的图像中边缘应当处于的位置,因此,将边缘的映射位置作为参考,将步骤S102中得到的参考像素区域内的像素保留至降分辨率处理后的图像中,即将参考像素区域的像素信息保留至降分辨率处理后的图像的对应边缘位置上。
根据本实施例的图像处理方法,在对图像进行降分辨率处理之前,根据边缘两侧的像素数据的差异程度,为不同差异程度的边缘获取相应的像素信息,在对图像进行降分辨率处理后,将获取到的像素信息相应的保留至降分辨率处理后的图像中的对应边缘的位置处,使得降分辨率处理后的图像可以保留的边缘,或边缘及其两侧的像素信息,而令图像的边缘不会因为降分辨率处理而导致模糊。
进一步,参阅图4,图4是本发明图像匹配方法第一实施例的流程示意图。如图4所示,本实施例的图像匹配方法可包括如下步骤;
在步骤S201中,分别对左第一图像和右第一图像进行边缘提取,并分别获得对左第一图像和右第一图像提取的边缘两侧的像素数据。
本实施例中,左第一图像和右第一图像为在不同角度对同一目标进行拍摄得到的图像,由此,左第一图像和右第一图像中提取的边缘为相同物体的轮廓线。进一步,可以理解在双目视觉系统中,左相机和右相机对目标拍摄得到的图像即可分别作为左第一图像和右第一图像。
在步骤S202中,分别对左第一图像和右第一图像,根据边缘两侧的像素数据间的差异程度,确定参考像素区域的范围。
在步骤S203中,分别将左第一图像和右第一图像除参考像素区域外的其他区域进行降分辨率处理,并将参考像素区域的像素信息保留在处理后的图像的对应边缘位置上,得到左第二图像和右第二图像。
本实施例中,在步骤S201至步骤S203中对左第一图像和右第一图像进行处理和图1至3所示的图像处理方法的步骤S101至步骤S103相同,此处不再赘述。本实施例中,得到的左第二图像和右第二图像分别为降分辨率处理后,且保留了参考像素区域内包含的像素信息的图像,其中,参考像素区域内包含边缘像素,或边缘像素及其两侧的像素的像素信息。
在步骤S204中,对得到的左第二图像和右第二图像进行匹配。
本实施例中,对降分辨率处理后的左第二图像和右第二图像进行匹配。本实施例对左第二图像和右第二图像进行匹配时采用的匹配方法不做限定,可以采用小窗口匹配法等现有的匹配方法。
进一步,请参阅图5,如图5所示,步骤S204可包括如下步骤:
在步骤S2041中,利用左第二图像保留的左第一映射位置及左参考像素区域的像素信息、右第一图像保留的右第一映射位置及右参考像素区域的像素信息,对左第二图像中的边缘和右第二图像中的边缘进行边缘的匹配,得到第一边缘匹配结果。
本实施例中,令左第一图像中得到的参考像素区域为左参考像素区域,右第一图像的到的参考像素区域为右参考像素区域。此外,在对左第一图像进行降分辨率处理前获取边缘在左第一图像中的原始位置,并在降分辨率处理后计算得到的边缘在经过降分辨率处理后的图像中的映射位置,记为左第一映射位置;同样,对于右第一图像,得到右第一映射位置。
根据上述步骤可知,左第一映射位置为边缘在对左第一图像进行降分辨率处理后的图形中的位置,左参考像素区域是以左第一映射位置为参考位置,保留至左第二图像中的,换言之,左第一映射位置即为边缘在左第二图像中的位置。右第一映射位置为边缘在对右第一图像进行降分辨率处理后的图形中的位置,右参考像素区域是以右第一映射位置为参考位置,保留至右第二图像中的,换言之,右第一映射位置即为边缘在右第二图像中的位置。因此,在对左第二图像和右第二图像进行匹配时,可以利用左第一映射位置和右第一映射位置分别在左第二图像和右第二图像中确定待匹配的边缘,对确定的待匹配的边缘先进行匹配,即可得到第一边缘匹配结果。可以理解的是,此时也包括了对参考像素区域内的像素的匹配。
值得注意的是,本实施例中是根据左第一映射位置和右第一映射位置来确定待匹配的边缘,根据上述对计算映射位置的解释可知,左第一映射位置和右第一映射位置可以为小数,换言之,在左第二图像和右第二图像中对边缘的匹配可以是小数级别的匹配,进而提高左第二图像和右第二图像中对边缘进行匹配的匹配精度。
由于,参考像素区域内保留的是边缘,或边缘及其两侧的像素的原始的像素信息,而参考像素区域内的像素的数量也不会太多,因此可以较快的完成参考像素区域内的像素及边缘的匹配,且可以保证第一边缘匹配结果的匹配精度。
在步骤S2042中,根据第一边缘匹配结果,对左第二图像和右第二图像的其他区域进行初步匹配。
第一边缘匹配结果是对左第二图像和右第二图像的边缘以及参考像素区域的匹配结果,根据边缘以及参考像素区域的匹配结果,以边缘和参考像素区域为参考,对左第二图像和右第二图像中除参考像素区域外的其他像素进行匹配。由于左第二图像和右第二图像的降分辨率处理后的图像,因此包含的像素数量较少,在匹配左第二图像和右第二图像中除参考像素区域外的其他像素时,可以较快的完成对左第二图像和右第二图像的初步匹配,且由于对包含了边缘的参考像素区域内的像素的匹配精度较高,使得在参考像素区域内的像素为参考匹配其余区域的像素时,其匹配精度也会高于现有降分辨率处理后的匹配精度。
本实施例的图像匹配方法令降分辨率处理后的左第二图像和右第二图像中均保留边缘及其两侧的像素的原始的像素信息,且在左第二图像和右第二图像中以小数表征边缘的位置,因此可以在对边缘进行匹配时利用原始的像素信息进行匹配操作,且匹配可以为小数级别的匹配,提高了边缘的匹配精度,进一步,以边缘为参考,匹配其余区域的像素时,也可以适当的提高匹配精度。
进一步,参阅图6,图6是本发明图像匹配方法第二实施例的流程示意图。本实施例的在图5所示的匹配方法第一实施例的基础上改进得到的,如图6所示,本实施例的匹配方法在图5所示的步骤S204之后,还可包括如下步骤:
在步骤S205中,对左第二图像和右第二图像分别进行升分辨率处理。
图5所示的图像匹配方法仅对降分辨率处理后的左第二图像和右第二图像进行匹配,由于左第二图像和右第二图像在参考像素区域外的部分是经过降分辨率处理的,因此包含的像素信息相对于左第一图像和右第一图像而言较少,因此,对考像素区域外的区域进行匹配的匹配精度相对较低。
由此,在步骤S204之后,对左第二图像和右第二图像进行升分辨率处理,值得注意的是,本实施例中仍会保留参考像素区域内的像素信息。
进一步,参阅图7,步骤S205可包括如下步骤:
在步骤S2051中,获取降分辨率处理时的缩放系数。
由于进行升分辨率处理是相对于降分辨率处理进行的,因此,升分辨率处理的缩放系数应当与降分辨率处理的缩放系数的数值相同。因此,在对图像进行升分辨率处理时需要先获取降分辨率处理的缩放系数。
在步骤S2052中,将缩放系数的数值作为升分辨率操作的缩放系数的数值,对左第二图像和右第二图像分别进行升分辨率处理。
将步骤S2051中获取的降分辨率处理的缩放系数的数值作为升分辨率处理是的缩放系数的数值,对左第二图像和右第二图像进行升分辨率处理。
可以理解的是,对左第一图像和右第一图像进行降分辨率处理时,可以采用多次降分辨率处理的方式,每次降分辨率处理的缩放系数的数值可以相同也可以不同。相应的,在对左第二图像和右第二图像进行升分辨率处理时,需要与降分辨率处理的过程对应。例如,对左第一图像和右第一图像进行降分辨率处理是分为了三次,且降分辨率处理的缩放系数的数值分别为2、4和6,相应的,对左第二图像和右第二图像进行升分辨率处理时,也需要分为三次,且升分辨率处理的缩放系数的数值分别为6、4和2。
在步骤S206中,根据左第一映射位置和右第一映射位置,计算边缘在升分辨率处理后的左第二图像和右第二图像中的左第二映射位置和右第二映射位置。
由于图像在升分辨率处理时会进行相应的插值计算,边缘在升分辨率处理的过程中其位置也会发生变化,因此,在对左第二图像和右第二图像进行升分辨率处理后,根据边缘在左第二图像和右第二图像中的左第一映射位置和右第一映射位置计算边缘在升分辨率处理后的图像中的左第二映射位置和右第二映射位置。
其中,边缘的左第二映射位置和右第二映射位置即为边缘在升分辨率处理后的左第二图像和右第二图像中应当所处的位置。
在步骤S207中,以所述左第二映射位置和右第二映射位置为参考位置将所述参考像素区域的像素信息保留在升分辨率处理后的左第二图像和右第二图像的对应边缘位置上,得到左第三图像和右第三图像。
在升分辨率处理后的左第二图像和右第二图像中,以计算得到的左第二映射位置和右第二映射位置为边缘的参考位置,将参考像素区域内的像素信息保留至升分辨率处理后的左第二图像和右第二图像的对应的边缘位置上,即可得到左第三图像和右第三图像。可以理解的是,左第二映射位置和右第二映射位置即为边缘在升分辨率处理后的左第二图像和右第二图像中的边缘所在的位置。
在步骤S208中,对左第三图像和右第三图像进行匹配。
在升分辨率处理后得到保留了参考像素区域内的像素信息的左第三图像和右第三图像,即保留了边缘、或边缘及其两侧像素的像素信息的左第三图像和右第三图像,进一步对左第三图像和右第三图像进行匹配。
进一步,本实施例中若对左第二图像和右第二图像进行升分辨率处理的过程中包含了多个升分辨率处理的过程,则每次对左第二图像和右第二图像进行升分辨率处理后,均进行一次对左第三图像和右第三图像的匹配。但本实施例中,即时降分辨率处理也是分为多次降分辨率处理的,但对降分辨率处理后的左第二图像和右第二图像的匹配仅在完全完成降分辨率处理后的左第二图像和右第二图像的匹配。
例如,降分辨率处理是分成了三次降分辨率处理,在完成三次降分辨率处理,得到左第二图像和右第二图像,对左第二图像和右第二图像进行匹配。在升分辨率处理时,与降分辨率处理相对应,也分成了三次升分辨率处理,但此时是每执行一次升分辨率处理,即对升分辨率处理后的左第三图像和右第三图像进行匹配。
进一步,请参阅图8,如图8所示,步骤S208可包括如下步骤:
在步骤S2081中,利用所述左第三图像保留的左第二映射位置及左参考像素区域的像素信息、所述右第三图像保留的右第二映射位置及右参考像素区域的像素信息,对所述左第三图像中右第三图像中的边缘进行边缘的匹配,得到第二边缘匹配结果。
在对左第二图像和右第二图像进行升分辨率处理,并保留了参考像素区域内的像素信息,得到左第三图像和右第三图像,其中,左第三图像和右第三图像中的左第二映射位置和右第二映射位置为边缘在左第三图像和右第三图像中的位置。进一步,左参考像素区域是以左第二映射位置为参考位置,保留至左第三图像中的;右参考像素区域是以右第二映射位置为参考位置,保留至右第三图像中的。
由此,在对左第三图像和右第三图像进行匹配时,先利用左第二映射位置和右第二映射位置分别在左第三图像和右第三图像中找到相应的待匹配的边缘,对确定的待匹配的边缘先进行匹配,即可得到第二边缘匹配结果。可以理解的是,此时也包括了对参考像素区域内的像素的匹配。
由于,参考像素区域内保留的是边缘,或边缘及其两侧的像素的原始的像素信息,而参考像素区域内的像素的数量也不会太多,因此可以较快的完成参考像素区域内的像素及边缘的匹配,且可以保证第二边缘匹配结果的匹配精度。
在步骤S2082中,根据第二边缘匹配结果,对左第三图像和右第三图像的其他区域进行精细匹配。
第二边缘匹配结果是对左第三图像和右第三图像的边缘以及参考像素区域的匹配结果,根据边缘以及参考像素区域的匹配结果,以边缘为参考,对左第三图像和右第三图像中除参考像素区域外的其他像素进行匹配。此时,左第三图像和右第三图像的像素数量相对于左第二图像和右第二图像的像素数量更多,包含的像素信息更丰富。而由于对左第二图像和右第二图像而言,已经对除参考像素区域外的其他区域的像素进行了初步匹配,因此,根据初步匹配的结果大致判断出参考像素区域外的其他区域的像素所在的相对范围,即可以根据初步匹配的匹配结果,确定本步骤中对左第三图像和右第三图像的除参考像素区域外的其他区域的像素进行精细匹配的匹配范围,在匹配范围内对每个像素进行精细匹配。
进一步,如图9所示,在步骤S2081之前还可以包括如下步骤:
在步骤S2083中,将左第一图像的边缘的左位置偏移量和右第一图像的边缘的右位置偏移量作为匹配约束条件,在左第三图像和右第三图像中确定进行边缘匹配的匹配范围。
本实施例中,在对左第一图像和右第一图像进行降分辨率处理时,记录左第一图像的边缘从左第一图像到左第二图像发生的左位置偏移量,以及记录右第一图像的边缘从右第一图像到右第二图像发生的右位置偏移量。
可以理解的是,左第一图像和右第一图像进行降分辨率处理时,对于能够匹配的点,其发生的位置偏移量应当的对应的。且以边缘为参考时,该边缘附近的像素的发生的位置偏移量应当与该边缘发生的位置偏移量相对应。由此,可以根据左第一图像的边缘的左位置偏移量和右第一图像的边缘的右位置偏移量作为匹配约束条件,确定出包含边缘匹配的匹配范围,在该匹配范围内进行边缘的匹配。如此,可以在确定的范围内进行边缘匹配,提高匹配精度。
请参阅图10,图10是本发明图像处理装置一实施例的结构示意图。如图10所示,本实施例的图像处理装置100可包括存储器12和处理器11,其中,存储器12和处理器13通过总线连接。存储器12用于保存处理器11执行的操作指令,以及图像和数据。处理器11用于根据操作指令,执行该操作指令以实现如图1至图3所示的图像处理方法第一实施例,详细的处理步骤请参见图1至图3所示的图像处理方法第一实施例的说明,此处不再赘述。
该图像处理装置可以为电脑、手机等终端设备,也可以为相机、摄像机、双目视觉系统等视觉相关的终端设备。
请参阅图11,图11是本发明图像匹配装置一实施例的结构示意图。如图11所示,本实施例的图像匹配装置200可包括存储器22和处理器21,其中,存储器22和处理器21通过总线连接。存储器22用于保存处理器21执行的操作指令,以及需要匹配的左第一图像和右第一图像。处理器21用于根据操作指令,执行该操作指令以实现如图4至图9所示的图像匹配方法第一实施例和图像匹配方法第二实施例,详细的处理步骤请参见图4至图9所示的图像匹配方法第一实施例和图像匹配方法第二实施例的说明,此处不再赘述。
进一步,请参阅图12,图12是本发明图像匹配装置另一实施例的结构示意图,本实施例的图像匹配装置为双目视觉系统。如图12所示,本实施例的双目视觉系统300包括通过总线连接的处理器31和存储器32,此外,处理器31分别与第一相机33、第二相机34和结构光源35连接。
存储器32用于保存处理器31执行的操作指令。处理器31用于根据操作指令控制结构光源35出射结构光在目标物体36上,并控制第一相机33和第二相机34分别对该目标物体36拍摄获得左第一图像和右第一图像,并将获得的左第一图像和右第一图像保存至存储器32中。此外,处理器31还用于根据操作指令,执行该操作指令以实现如图4至图9所示的图像匹配方法第一实施例和图像匹配方法第二实施例,进而对左第一图像和右第一图像进行匹配。
请参阅图13,图13是本发明存储介质实施例的结构示意图。如图13所示,本实施例中的存储介质400中存储有能够被执行的程序数据41,该程序数据41被执行能够实现图1至图3所示的图像处理方法第一实施例;或被执行以实现图4至图9所示的图像匹配方法第一实施例和图像匹配方法第二实施例。本实施例中,该存储介质可以是智能终端的存储模块、移动存储装置(如移动硬盘、U盘等)、网络云盘或应用存储平台等具备存储功能的介质。
以上仅为本发明的实施方式,并非因此限制本发明的专利范围,凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换,或直接或间接运用在其他相关的技术领域,均同理包括在本发明的专利保护范围。
Claims (14)
1.一种图像处理方法,其特征在于,包括:
对第一图像进行边缘提取,并获得提取的边缘及边缘两侧的像素数据;
根据所述边缘及边缘两侧的像素数据间的差异程度,确定参考像素区域的范围;其中,所述参考像素区域包括所述边缘,或所述边缘及其两侧像素信息;
将所述第一图像除所述参考像素区域外的其他区域进行降分辨率处理,并将所述参考像素区域的像素信息保留在处理后的图像的对应边缘位置上,得到降分辨率处理的第二图像。
2.根据权利要求1所述的方法,其特征在于,
所述根据所述边缘及边缘两侧的像素数据间的差异程度,确定参考像素区域的范围包括:
根据所述边缘及边缘两侧的像素数据间的差异程度,确定所述边缘的清晰度等级;
获取所述清晰度等级对应设定的等级宽度,并依据所述等级宽度确定所述参考像素区域的范围;
其中,所述等级宽度为与所述清晰度等级对应的,用于反映所述参考像素区域内包含的像素总个数的表正值;所述参考像素区域内包含的像素总个数为所述等级宽度与降分辨率处理的缩放系数的乘积。
3.根据权利要求2所述的方法,其特征在于,所述边缘及边缘两侧的像素数据为所述边缘像素及所述边缘两侧的像素的灰度值。
4.根据权利要求1所述的方法,其特征在于,
所述将所述参考像素区域的像素信息保留在处理后的图像的对应边缘位置上,包括:
获取所述边缘在所述第一图像中的原始位置;
计算所述边缘的原始位置在经所述降分辨率处理后的图像中的映射位置;
在所述经降分辨率处理后的图像中,以所述边缘的所述映射位置为参考位置,基于所述参考位置将所述参考像素区域的像素信息保留至所述经降分辨率处理后的图像中。
5.一种图像匹配方法,其特征在于,包括:
采用如权利要求1至4任一项所述的方法分别对左第一图像和右左第一图像进行降分辨率处理,得到左第二图像和右第二图像;
对所述左第二图像和右第二图像进行匹配;
其中,所述左第一图像和右第一图像为在不同角度对同一目标进行拍摄的图像。
6.根据权利要求5所述的方法,其特征在于,
所述左第一图像在所述降分辨率处理时的所述参考像素区域为左参考像素区域;所述右第一图像在所述降分辨率处理时的所述参考像素区域为右参考像素区域;
所述左第二图像保留有左第一图像的边缘的左第一映射位置,所述右第二图像保留有右第一图像的边缘的右第一映射位置。
7.根据权利要求6所述的方法,其特征在于,所述对所述左第二图像和右第二图像进行匹配,包括:
利用所述左第二图像保留的左第一映射位置及左参考像素区域的像素信息、所述右第一图像保留的右第一映射位置及右参考像素区域的像素信息,对所述左第二图像中的边缘和右第二图像中的边缘进行边缘的匹配,得到第一边缘匹配结果;
根据所述第一边缘匹配结果,对所述左第二图像和右第二图像的其他区域进行初步匹配。
8.根据权利要求6所述的方法,其特征在于,
在所述对所述左第二图像和右第二图像进行匹配之后,还包括:
对所述左第二图像和右第二图像分别进行升分辨率处理;
根据所述左第一映射位置和右第一映射位置,计算所述边缘在升分辨率处理后的左第二图像和右第二图像中的左第二映射位置和右第二映射位置;
以所述左第二映射位置和右第二映射位置为参考位置将所述参考像素区域的像素信息保留在升分辨率处理后的左第二图像和右第二图像的对应边缘位置上,得到左第三图像和右第三图像;
对左第三图像和右第三图像进行匹配。
9.根据权利要求6所述的方法,其特征在于,
所述对所述左第二图像和右第二图像分别进行升分辨率处理包括:
获取降分辨率处理时的缩放系数;
将所述缩放系数的数值作为升分辨率操作的缩放系数的数值,对所述左第二图像和右第二图像分别进行升分辨率处理。
10.根据权利要求6所述的方法,其特征在于,
所述对左第三图像和右第三图像进行匹配,包括:
利用所述左第三图像保留的左第二映射位置及左参考像素区域的像素信息、所述右第三图像保留的右第二映射位置及右参考像素区域的像素信息,对所述左第三图像中右第三图像中的边缘进行边缘的匹配,得到第二边缘匹配结果;
根据所述第二边缘匹配结果,对所述左第三图像和右第三图像的其他区域进行精细匹配。
11.根据权利要求10所述的方法,其特征在于,
在所述分别对左第一图像和右左第一图像进行降分辨率处理时,所述方法还包括:
记录所述左第一图像的边缘从所述左第一图像到所述左第二图像发生的左位置偏移量,以及记录所述右第一图像的边缘从所述右第一图像到所述右第二图像发生的右位置偏移量;
所述对左第三图像和右第三图像进行匹配,还包括:
将所述左位置偏移量和右位置偏移量作为匹配约束条件,在所述左第三图像和右第三图像中确定进行边缘匹配的匹配范围。
12.一种图像处理装置,其特征在于,包括:
通过总线连接的存储器和处理器;
所述存储器用于保存所述处理器执行的操作指令,以及图像和数据;
所述处理器用于运行所述操作指令,以实现权利要求1-4任意一项所述的图像处理方法。
13.一种图形匹配装置,其特征在于,包括:
通过总线连接的存储器和处理器;
所述存储器用于保存所述处理器执行的操作指令,以及需要匹配的左第一图像和右第一图像;
所述处理器用于运行所述操作指令,以实现权利要求5-11任意一项所述的图像匹配方法。
14.一种存储介质,其特征在于,存储有程序数据,所述程序数据能够被图像处理装置执行以实现权利要求1-4任意一项所述的图像处理方法;或被图像匹配装置执行以实现权利要求5-11任意一项所述的图像匹配方法。
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
PCT/CN2018/101798 WO2020037566A1 (zh) | 2018-08-22 | 2018-08-22 | 一种图像处理、匹配方法、装置及存储介质 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN111630558A CN111630558A (zh) | 2020-09-04 |
CN111630558B true CN111630558B (zh) | 2024-03-01 |
Family
ID=69592148
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201880087343.2A Active CN111630558B (zh) | 2018-08-22 | 2018-08-22 | 一种图像处理、匹配方法、装置及存储介质 |
Country Status (2)
Country | Link |
---|---|
CN (1) | CN111630558B (zh) |
WO (1) | WO2020037566A1 (zh) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN114972333B (zh) * | 2022-07-19 | 2022-10-25 | 淄博市淄川区市政环卫服务中心 | 基于人工智能的道路裂缝检测方法及系统 |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103390263A (zh) * | 2012-05-11 | 2013-11-13 | 郭琳 | 一种sar图像去噪方法 |
CN103914857A (zh) * | 2012-12-28 | 2014-07-09 | 中国科学院沈阳自动化研究所 | 一种面向边缘特征保持的图像压缩方法 |
CN104217431A (zh) * | 2014-08-29 | 2014-12-17 | 天津大学 | 基于边缘提取与图像融合技术的压缩感知补偿方法 |
Family Cites Families (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP2335419B1 (en) * | 2008-09-18 | 2020-11-04 | InterDigital Madison Patent Holdings | Methods and apparatus for video imaging pruning |
US8180180B2 (en) * | 2008-12-29 | 2012-05-15 | Arcsoft Hangzhou Co., Ltd. | Method for magnifying images and videos |
RU2013104894A (ru) * | 2013-02-05 | 2014-08-10 | ЭлЭсАй Корпорейшн | Процессор изображений с функциональностью сохраняющего контуры подавления шума |
CN106296578B (zh) * | 2015-05-29 | 2020-04-28 | 阿里巴巴集团控股有限公司 | 一种图像处理方法及装置 |
KR102087681B1 (ko) * | 2015-09-17 | 2020-03-11 | 삼성전자주식회사 | 이미지 처리 장치, 이미지 처리 방법 및 컴퓨터 판독가능 기록 매체 |
CN105354843B (zh) * | 2015-10-30 | 2017-12-05 | 北京奇艺世纪科技有限公司 | 一种图像边界提取方法和系统 |
-
2018
- 2018-08-22 CN CN201880087343.2A patent/CN111630558B/zh active Active
- 2018-08-22 WO PCT/CN2018/101798 patent/WO2020037566A1/zh active Application Filing
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103390263A (zh) * | 2012-05-11 | 2013-11-13 | 郭琳 | 一种sar图像去噪方法 |
CN103914857A (zh) * | 2012-12-28 | 2014-07-09 | 中国科学院沈阳自动化研究所 | 一种面向边缘特征保持的图像压缩方法 |
CN104217431A (zh) * | 2014-08-29 | 2014-12-17 | 天津大学 | 基于边缘提取与图像融合技术的压缩感知补偿方法 |
Also Published As
Publication number | Publication date |
---|---|
CN111630558A (zh) | 2020-09-04 |
WO2020037566A1 (zh) | 2020-02-27 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US9483835B2 (en) | Depth value restoration method and system | |
US9842382B2 (en) | Method and device for removing haze in single image | |
JP7175197B2 (ja) | 画像処理方法および装置、記憶媒体、コンピュータ装置 | |
CN108446694B (zh) | 一种目标检测方法及装置 | |
CN108665428B (zh) | 图像增强方法、装置、设备及存储介质 | |
KR101583947B1 (ko) | 영상 내 안개 제거 장치 및 그 방법 | |
US20170178341A1 (en) | Single Parameter Segmentation of Images | |
CN111563908B (zh) | 一种图像处理方法及相关装置 | |
CN109977952B (zh) | 基于局部最大值的候选目标检测方法 | |
CN109214996B (zh) | 一种图像处理方法及装置 | |
JP2020191046A (ja) | 画像処理装置、画像処理方法、及びプログラム | |
CN114119439A (zh) | 红外与可见光图像融合方法、装置、设备及存储介质 | |
US20150187051A1 (en) | Method and apparatus for estimating image noise | |
CN114549670A (zh) | 图像处理方法及图像处理系统 | |
CN113344801A (zh) | 一种应用于燃气计量设施环境下的图像增强方法、系统、终端及存储介质 | |
CN111630558B (zh) | 一种图像处理、匹配方法、装置及存储介质 | |
US7088857B2 (en) | Dynamic bilevel thresholding of digital images | |
CN113888438A (zh) | 图像处理方法、装置及存储介质 | |
US7853069B2 (en) | Stereoscopic image regenerating apparatus, stereoscopic image regenerating method, and stereoscopic image regenerating program | |
CN117218148A (zh) | 基于卫星图像的航道边界确定方法和系统、可读存储介质 | |
CN110765875B (zh) | 交通目标的边界检测方法、设备及装置 | |
JP4516994B2 (ja) | デジタル画像の背景色を決定するための方法およびシステム | |
KR20180064028A (ko) | 영상 처리 방법 및 장치 | |
KR101677171B1 (ko) | 픽셀 기반의 배경추정을 통한 이동물체 분할 방법 | |
JP2021050931A (ja) | 付着物検出装置、および付着物検出方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
CB02 | Change of applicant information | ||
CB02 | Change of applicant information |
Address after: 518000, Building A, Building 1, Shenzhen International Innovation Valley, Dashi 1st Road, Xili Community, Xili Street, Nanshan District, Shenzhen City, Guangdong Province 1701 Applicant after: Shenzhen Paitian Robot Technology Co.,Ltd. Address before: 518063 23 Floor (Room 2303-2306) of Desai Science and Technology Building, Yuehai Street High-tech Zone, Nanshan District, Shenzhen City, Guangdong Province Applicant before: SHENZHEN A&E INTELLIGENT TECHNOLOGY INSTITUTE Co.,Ltd. |
|
GR01 | Patent grant | ||
GR01 | Patent grant |