CN115665424A - 图像处理方法、装置、设备、存储介质及程序产品 - Google Patents
图像处理方法、装置、设备、存储介质及程序产品 Download PDFInfo
- Publication number
- CN115665424A CN115665424A CN202211454712.1A CN202211454712A CN115665424A CN 115665424 A CN115665424 A CN 115665424A CN 202211454712 A CN202211454712 A CN 202211454712A CN 115665424 A CN115665424 A CN 115665424A
- Authority
- CN
- China
- Prior art keywords
- search
- target
- parameter
- stage
- image block
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- Image Analysis (AREA)
Abstract
本申请提供了图像处理方法、装置、设备、存储介质及程序产品,该方法包括:若对参考图像帧进行搜索得到的初始匹配图像块不满足匹配条件,则针对第I搜索阶段,I为小于或等于搜索阶段数K的任意正整数;确定第I搜索阶段的目标搜索范围参数和目标搜索步长参数,根据目标搜索范围参数、第I-1搜索阶段确定的中间匹配图像块在参考图像帧中的位置,确定第I搜索图像区域,按照根据目标搜索步长参数确定的搜索步长,针对第I搜索图像区域进行图像块匹配搜索,确定中间匹配图像块;将第K搜索阶段确定的中间匹配图像块确定为与待处理图像块相匹配的目标匹配图像块。通过本申请可以在保证匹配块具有较高匹配度的情况下,提高匹配块的搜索效率。
Description
技术领域
本申请涉及图像处理技术领域,尤其涉及图像处理方法、图像处理装置、计算机设备、计算机可读存储介质及计算机程序产品。
背景技术
运动估计(Motion Estimation,ME)是广泛应用于诸如视频编码等图像处理领域的一项技术。运动估计的基本思想是将视频帧序列或图像序列的每一帧分成许多互不重叠的图像块,然后从参考帧中搜索出与图像块匹配的匹配块(也即匹配图像块),而图像块与对应匹配块之间的相对位移为运动矢量。全搜索算法可以通过遍历参考帧搜索到与图像块对应的匹配块,这种方法虽然能够找到与图像块匹配度高的匹配块,但是计算量大,从而导致匹配块的搜索效率低。而在实际应用中,通常需要兼顾匹配块的搜索效率和匹配度,这样更加有利于诸如视频编码中相关后续处理的进行。
发明内容
本申请实施例提供了图像处理方法、装置、设备、存储介质及程序产品,可以在保证匹配块具有较高的匹配度的情况下,有效提高匹配块的搜索效率。
一方面,本申请实施例提供了一种图像处理方法,所述方法包括:
采用间隔搜索方式对参考图像帧进行图像块匹配搜索,得到待处理图像块的初始匹配图像块,所述待处理图像块为待处理图像帧中的图像块,所述待处理图像帧与所述参考图像帧相关联;
若所述初始匹配图像块不满足匹配条件,则获取搜索阶段数K,K为大于1的整数,所述搜索阶段数K用于指示根据所述初始匹配图像块在所述参考图像帧中进行搜索的次数;
针对第I搜索阶段,确定所述第I搜索阶段的目标搜索范围参数和目标搜索步长参数,根据所述目标搜索范围参数、第I-1搜索阶段确定的中间匹配图像块在所述参考图像帧中的位置,确定所述参考图像帧中的第I搜索图像区域,按照根据所述目标搜索步长参数确定的搜索步长,针对所述第I搜索图像区域进行图像块匹配搜索,确定所述待处理图像块的中间匹配图像块;其中,I为小于或者等于K的任意一个正整数;
将第K搜索阶段确定的所述待处理图像块的中间匹配图像块,确定为所述参考图像帧中与所述待处理图像块相匹配的目标匹配图像块。
一方面,本申请实施例提供了一种图像处理装置,所述装置包括:
获取单元,用于采用间隔搜索方式对参考图像帧进行图像块匹配搜索,得到待处理图像块的初始匹配图像块,所述待处理图像块为待处理图像帧中的图像块,所述待处理图像帧与所述参考图像帧相关联;
处理单元,用于若所述初始匹配图像块不满足匹配条件,则获取搜索阶段数K,K为大于1的整数,所述搜索阶段数K用于指示根据所述初始匹配图像块在所述参考图像帧中进行搜索的次数;
所述处理单元,还用于针对第I搜索阶段,确定所述第I搜索阶段的目标搜索范围参数和目标搜索步长参数,根据所述目标搜索范围参数、第I-1搜索阶段确定的中间匹配图像块在所述参考图像帧中的位置,确定所述参考图像帧中的第I搜索图像区域,按照根据所述目标搜索步长参数确定的搜索步长,针对所述第I搜索图像区域进行图像块匹配搜索,确定所述待处理图像块的中间匹配图像块;其中,I为小于或者等于K的任意一个正整数;
所述处理单元,还用于将第K搜索阶段确定的所述待处理图像块的中间匹配图像块,确定为所述参考图像帧中与所述待处理图像块相匹配的目标匹配图像块。
一方面,本申请实施例提供了一种计算机设备,包括:处理器和存储器,所述处理器和所述存储器相互连接,其中,所述存储器存储有可执行程序代码,所述处理器用于调用所述可执行程序代码,实现本申请实施例提供的图像处理方法。
相应地,本申请实施例还提供了一种计算机可读存储介质,所述计算机可读存储介质中存储有指令,当其在计算机上运行时,使得计算机实现本申请实施例提供的图像处理方法。
相应地,本申请实施例还提供了一种计算机程序产品或计算机程序,所述计算机程序产品或计算机程序包括计算机指令,所述计算机指令存储在计算机可读存储介质中。计算机设备的处理器从所述计算机可读存储介质读取所述计算机指令,处理器执行所述计算机指令,使得所述计算机设备实现本申请实施例提供的图像处理方法。
本申请中,若采用间隔搜索方式从参考图像帧中确定的初始匹配图像块不满足匹配条件,则获取搜索阶段数K,并对参考图像帧进行后续搜索。针对第I搜索阶段(I为小于或等于K的正整数),确定该搜索阶段的搜索范围参数和搜索步长参数,并根据搜索范围参数和第I-1搜索阶段确定的中间匹配图像块,确定第I搜索图像区域;按照根据目标搜索步长参数确定的搜索步长对第I搜索图像区域进行搜索,确定第I搜索阶段的中间匹配图像块。将第K搜索阶段确定的中间匹配图像块,确定为目标匹配图像块。本申请提供的图像处理方法,采用间隔搜索方法对参考图像帧进行搜索,可以快速确定初始匹配图像块;基于初始匹配图像块进行多阶段的后续匹配搜索,这样可以得到比初始图像匹配块的匹配度更高的目标匹配图像块,且由于后续搜索只是针对参考图像帧上的少部分区域进行,并不会增加太多的计算量,这也使得后续匹配搜索具有较高的搜索效率,相比于全搜索算法遍历参考帧,本方法的计算量小,匹配块的搜索效率高。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本申请的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1是本申请实施例提供的图像处理方法所适用的一种系统架构的示意图;
图2是本申请实施例提供的一种图像处理方法的流程示意图;
图3a示出了参数的一种确定方式;
图3b示出了参数的另一种确定方式;
图3c示出了参数的又一种确定方式;
图4示出了搜索图像区域的一种确定方式;
图5示出了对搜索图像区域的一种搜索方式;
图6是本申请实施例提供的一种图像处理方法的示意图;
图7是本申请实施例提供的一种图像处理装置的结构示意图;
图8是本申请实施例提供的一种计算机设备的结构示意图。
具体实施方式
下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本申请一部分实施例,而不是全部的实施例。基于本申请中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本申请保护的范围。
需要说明的是,本申请实施例中所涉及到的“第一”、“第二”等描述仅用于描述目的,而不能理解为指示或者暗示其相对重要性或者隐含指明所指示的技术特征的数量。因此,限定有“第一”、“第二”的技术特征可以明示或者隐含的包括至少一个该特征。
本申请提供了一种图像处理方法,采用间隔搜索方式对参考图像帧进行图像块匹配搜索,得到初始匹配图像块,当初始匹配图像块不满足匹配条件时,对参考图像帧进行后续K个阶段的搜索,在有效地提升匹配块与图像块的匹配度的同时,且消耗较小的计算量,从而提高匹配块的搜索效率。本申请实施例提供的图像处理方法可以应用于运动估计、视频编码、云会议等涉及搜索匹配图像块的领域或场景。
视频编码是指通过压缩技术,将原始视频格式的文件转换成另一种视频格式文件的方法。视频编码中包含运动补偿、运动表示、运动估计、变换编码、量化编码等技术,其中,运动估计是从图像帧序列中抽取运动信息的一项技术,其核心思想是从参考图像帧中搜索出与当前图像块匹配度较高的匹配图像块,从而确定当前图像块与匹配图像块之间的运动矢量。运动估计方法的好坏,将影响整个视频编码方法的效率。而本申请提供的图像处理方法可以在保证匹配图像块的匹配度较高的情况下,提高匹配块的搜索效率,从而提高了视频编码的效率。
云会议是基于云计算技术的一种高效、便捷、低成本的会议形式。使用者只需要通过互联网界面,进行简单易用的操作,便可快速高效地与全球各地团队及客户同步分享语音、数据文件及视频,而会议中数据的传输、处理等复杂技术由云会议服务商帮助使用者进行操作。在云会议场景中,需要对会议视频的图像帧进行视频编码处理,并将处理得到的图像编码数据进行传输,因此在云会议场景中,图像帧的处理效率至关重要。而本申请提供的图像处理方法可以保证匹配块的较高匹配度,并有效提高视频图像帧的匹配效率,从而提升会议视频的处理效率,节省云会议视频的传输码率,节省数据传输带宽。
本申请实施例提供的图像处理方法可以适用于图1所示的图像处理系统。该图像处理系统包括:图像处理设备101、数据库102。数据库102存储有待处理图像帧序列,而图像处理设备101可以从数据库102中获取图像帧等数据进行图像块匹配处理。
在可行的实施方式中,图像处理设备101可以是服务器。该服务器可以是独立的物理服务器,也可以是多个物理服务器构成的服务器集群或者分布式系统,还可以是提供云服务、云数据库、云计算、云函数、云存储、网络服务、云通信、中间件服务、域名服务、安全服务、CDN、以及大数据和人工智能平台等基础云计算服务的云服务器。终端设备可以是智能手机、平板电脑、笔记本电脑、台式计算机、智能语音交互设备、智能家电、车载终端,等等,但并不局限于此。
在可行的实施方式中,图像处理设备101可以是终端设备。该终端设备可以是智能家电、具有无线通信功能的手持设备(例如智能手机、平板电脑)、计算设备(例如个人电脑(Personal Computer,PC)、车载终端、智能语音交互设备、可穿戴设备或者其他智能装置等,但并不局限于此。
本申请实施例提供的图像处理方法可以由图像处理设备101实现,包括但不限于如下步骤:
图像处理设备101采用间隔搜索方式对参考图像帧进行图像块匹配搜索,得到待处理图像块的初始匹配图像块,该待处理图像块为待处理图像帧中的图像块,待处理图像帧与参考图像帧相关联。若该初始匹配图像块不满足匹配条件,则获取搜索阶段数K,K为大于1的整数,搜索阶段数K用于指示根据初始匹配图像块在参考图像帧中进行搜索的次数;对参考图像帧中的特定范围进行K个阶段的搜索。其中,针对第I搜索阶段(I为小于或者等于K的任意一个正整数),确定第I搜索阶段的目标搜索范围参数和目标搜索步长参数,并根据该目标搜索范围参数、第I-1搜索阶段确定的中间匹配图像块在参考图像帧中的位置,确定参考图像帧中的第I搜索图像区域,按照根据目标搜索步长参数确定的搜索步长,针对第I搜索图像区域进行图像块匹配搜索,从而确定待处理图像块的中间匹配图像块。当K个阶段的搜索完成后,将第K个搜索阶段确定的待处理图像块的中间匹配图像块,确定为参考图像帧中与待处理图像块相匹配的目标匹配图像块。
本申请实施例提供的图像处理方法,采用间隔搜索方法对参考图像帧进行搜索,能够减少图像块搜索的计算量;当初始匹配图像块不满足匹配条件时,以该初始匹配图像块为基础进行后续搜索,能够进一步提升匹配图像块与待处理图像块的匹配度;由于后续搜索在以初始匹配图像块为中心的区域内进行,避免了对参考图像帧的全局搜索,因此后续搜索的计算量较小,从而提高了匹配图像块的搜索效率。
可以理解的是,本申请实施例描述的图像处理方法所适用的系统架构示意图是为了更加清楚地说明本申请实施例的技术方案,并不构成对于本申请实施例提供的技术方案的限定。本领域普通技术人员可知,图1中的图像处理设备101的数目仅仅是示意性的。根据业务实现需要,可以配置具有任意数目的服务器和终端设备。并且,随着系统架构的演变和新业务场景的出现,本申请实施例提供的技术方案对于类似的技术问题,同样适用。
需要说明的是,本申请实施例所涉及到参考图像帧等相关的数据,均是经过用户授权后所获取到的,并且,当本申请实施例运用到具体产品或技术中时,所涉及使用到的数据需要获得用户许可,且相关数据的收集、使用和处理需要遵守相关国家和地区的相关法律法规和标准。
请参阅图2,图2为本申请实施例提供的一种图像处理方法的流程示意图。该图像处理方法可以由上述图像处理设备101实现,也可以由其他图像处理设备实现。本申请实施例中提供的图像处理方法的流程包括但不限于:
S201、采用间隔搜索方式对参考图像帧进行图像块匹配搜索,得到待处理图像块的初始匹配图像块。
本申请实施例中,待处理图像块为待处理图像帧中的图像块,待处理图像帧与参考图像帧相关联。在一实施例中,待处理图像帧和参考图像帧可以是同一视频中的图像帧。
在一实施例中,间隔搜索方式可以为快速收敛的运动估计算法。快速收敛的运动估计算法主要包括三步搜索算法、四步搜索算法、正六边形搜索(Diamond Search)算法(也称钻石搜索算法)等等,快速运动估计算法的主要方法是按照一定的规律搜索参考图像帧内的数个像素点,然后逐一计算每个像素点对应的匹配块的最小差值和,根据最小差值和确定与图像块匹配的匹配块。但在快速运动估计算法的应用过程中,可能会出现“局部最优”问题。在实际应用过程中,快速收敛的运动估计算法可以消耗较少的计算量搜索得到匹配图像块,但得到的匹配图像块的匹配度可能较低,且有可能会出现“局部最佳”问题。
本申请实施例中,根据初始匹配图像块和待处理图像块确定匹配误差。根据匹配误差确定初始匹配图像块是否满足匹配条件,若初始匹配图像块满足匹配条件,则将初始匹配图像块确定为目标匹配图像块,若初始匹配图像块不满足匹配条件,则执行步骤S202及后续步骤。
本申请实施例中,若初始匹配图像块与待处理图像块之间的匹配误差大于或者等于误差阈值,则确定该初始匹配图像块不满足匹配条件,需要进行步骤S202及后续步骤;若匹配误差小于误差阈值,则说明初始匹配图像块的匹配度较高,无需进行后续搜索,可以直接将该初始匹配图像块确定为目标匹配图像块。在本申请实施例提供的方法中,若匹配误差满足匹配条件,则可以不再进行后续搜索,将该初始匹配图像块作为目标匹配图像块,减少了后续搜索的计算量,提高了图像处理效率。
在一实施例中,确定初始匹配图像块和待处理图像块之间的匹配误差的方法,可以为:针对待处理图像块中的任一像素点,计算该任一像素点的像素值与初始匹配图像块中的匹配像素点的像素值之间的像素差值,并计算该任一像素点的位置坐标与初始匹配图像块中的匹配像素点的位置坐标之间的矢量差值,匹配像素点在初始匹配图像块中的位置与任一像素点在待处理图像块中的位置相同。根据待处理图像块中的各个像素点对应的像素差值以及矢量差值,确定待处理图像块的像素差值参数以及矢量差值参数;对像素差值参数和矢量差值参数进行加权求和处理,得到待处理图像块与初始匹配图像块之间的匹配误差。
S202、若初始匹配图像块不满足匹配条件,则获取搜索阶段数K。
本申请实施例中,若初始匹配图像块不满足匹配条件,则获取搜索阶段数K,K为大于1的整数,且K小于初始搜索范围参数,搜索阶段数K用于指示根据初始匹配图像块在参考图像帧中进行搜索的次数。搜索阶段数K与处理模块的处理速度相关联,可以是搜索阶段数K与该处理速度成正比。该处理模块可以是指图像处理设备中用于图像块匹配相关处理的处理装置,例如图像处理设备的处理器、视频编码器等等。
在一实施例中,搜索阶段数K可以根据图像处理设备中处理模块的处理速度以及实际应用场景确定。例如,对直播视频的处理过程中,需要处理模块的处理速度较快,且直播视频的清晰度可以较低,则可以确定较大的搜索阶段数K,使得图像处理速度较快。对点播视频的编码过程中,需要点播视频的清晰度较高,则可以确定较小的搜索阶段数K,使得待处理图像帧中的图像块与参考图像帧中确定的匹配图像块的匹配度较高,从而使点播视频的清晰度较高。
当初始匹配图像块不满足匹配条件时,说明初始匹配图像块的匹配度不高,则对参考图像帧进行K个搜索阶段的搜索,每个搜索阶段的具体实现方式可以为步骤S203。
S203、针对第I搜索阶段,确定所述第I搜索阶段的目标搜索范围参数和目标搜索步长参数,根据所述目标搜索范围参数、第I-1搜索阶段确定的中间匹配图像块在所述参考图像帧中的位置,确定所述参考图像帧中的第I搜索图像区域,按照根据所述目标搜索步长参数确定的搜索步长,针对所述第I搜索图像区域进行图像块匹配搜索,确定所述待处理图像块的中间匹配图像块。
本申请实施例中,I为小于或者等于K的任意一个正整数。确定第I搜索阶段的目标搜索范围参数和目标搜索步长参数的方式可以为:
当I为1时,请参见图3a,确定第1搜索阶段的目标搜索范围参数和目标搜索步长参数的步骤可以为:获取初始搜索范围参数,该初始搜索范围参数包括初始水平搜索范围参数以及初始垂直搜索范围参数。将初始水平搜索范围参数确定为第1搜索阶段的目标水平搜索范围参数,将初始垂直搜索范围参数确定为第1搜索阶段的目标垂直搜索范围参数,并将第1搜索阶段的目标水平搜索范围参数和目标垂直搜索范围参数确定为第1搜索阶段的目标搜索范围参数。再根据初始水平搜索范围参数和搜索阶段数K确定第1搜索阶段的水平搜索步长参数,根据初始垂直搜索范围参数和搜索阶段数K确定第1搜索阶段的垂直搜索步长参数,将第1搜索阶段的水平搜索步长参数和垂直搜索步长参数确定为第1搜索阶段的目标搜索步长参数。
在一实施例中,获取初始搜索范围参数的方法可以是根据处理模块的处理速度以及实际应用场景确定初始搜索范围参数。例如,对直播视频的处理过程中,需要处理模块的处理速度较快,且直播视频的清晰度可以较低,则可以确定较小的初始搜索范围参数,使得图像处理速度较快。初始搜索范围参数用于指示参考图像帧中的搜索范围,且初始搜索范围参数与处理模块的处理速度相关联。
在一实施方式中,初始搜索范围参数包括初始水平搜索范围参数n以及初始垂直搜索范围参数m,搜索阶段数为K。将初始水平搜索范围参数确定为第1搜索阶段的目标水平搜索范围参数,为n,将初始垂直搜索范围参数确定为第1搜索阶段的目标垂直搜索范围参数,为m,将第1搜索阶段的目标水平搜索范围参数和目标垂直搜索范围参数确定为第1搜索阶段的目标搜索范围参数。根据初始水平搜索范围参数n和搜索阶段数K确定第1搜索阶段的水平搜索步长参数,为根据初始垂直搜索范围参数和搜索阶段数K确定第1搜索阶段的垂直搜索步长参数,为将第1搜索阶段的水平搜索步长参数和垂直搜索步长参数确定为第1搜索阶段的目标搜索步长参数。由此,确定第1搜索阶段的目标搜索范围参数和目标搜索步长参数。
当I大于1且小于K时,请参见图3b,确定第I搜索阶段的目标搜索范围参数和目标搜索步长参数的步骤可以为:获取第I-1搜索阶段的目标搜索步长参数和初始搜索范围参数,该目标搜索步长参数包括水平搜索步长参数和垂直搜索步长参数,该初始搜索范围参数包括初始水平搜索范围参数以及初始垂直搜索范围参数。将第I-1搜索阶段的水平搜索步长参数确定为第I搜索阶段的目标水平搜索范围参数,将第I-1搜索阶段的垂直搜索步长参数确定为第I搜索阶段的目标垂直搜索范围参数,将第I搜索阶段的目标水平搜索范围参数和目标垂直搜索范围参数确定为第I搜索阶段的目标搜索范围参数;再根据初始水平搜索范围参数、搜索阶段数K和I确定第I搜索阶段的水平搜索步长参数,根据初始垂直搜索范围参数、搜索阶段数K和I确定第I搜索阶段的垂直搜索步长参数,将第I搜索阶段的水平搜索步长参数和垂直搜索步长参数确定为第I搜索阶段的目标搜索步长参数。
在一实施方式中,第I-1搜索阶段的目标搜索步长参数包括水平搜索步长参数hsi-1和垂直搜索步长参数hvi-1,初始搜索范围参数包括初始水平搜索范围参数n以及初始垂直搜索范围参数m;则将第I-1搜索阶段的水平搜索步长参数确定为第I搜索阶段的目标水平搜索范围参数,为hsi-1,将第I-1搜索阶段的垂直搜索步长参数确定为第I搜索阶段的目标垂直搜索范围参数,为hvi-1;将第I搜索阶段的目标水平搜索范围参数和目标垂直搜索范围参数确定为第I搜索阶段的目标搜索范围参数。根据初始水平搜索范围参数n、所述搜索阶段数K和I确定所述第I搜索阶段的水平搜索步长参数hsi,即,根据初始垂直搜索范围参数m、所述搜索阶段数K和I确定所述第I搜索阶段的垂直搜索步长参数hvi,即,其中,为对x进行向下取整。
需要注意的是,当I大于1且小于K时,可能存在多个第I搜索阶段,每个第I搜索阶段确定目标搜索范围参数和目标搜索步长参数的过程,可以参照上述实施例中的具体步骤实现。
当I等于K时,请参见图3c,确定第K搜索阶段的目标搜索范围参数和目标搜索步长参数的步骤可以为:获取初始搜索范围参数,该初始搜索范围参数包括初始水平搜索范围参数以及初始垂直搜索范围参数。根据初始水平搜索范围参数以及搜索阶段数K确定第K搜索阶段的目标水平搜索范围参数,根据初始垂直搜索范围参数以及搜索阶段数K确定第K搜索阶段的目标垂直搜索范围参数,将第K搜索阶段的目标水平搜索范围参数和目标垂直搜索范围参数确定为第K搜索阶段的目标搜索范围参数;获取第一设定数值和第二设定数值,将第一设定数值确定为第K搜索阶段的水平搜索步长参数,将第二设定数值确定为第K搜索阶段的垂直搜索步长参数,将第K搜索阶段的水平搜索步长参数和垂直搜索步长参数确定为所述第K搜索阶段的目标搜索步长参数。
在一实施方式中,初始搜索范围参数包括初始水平搜索范围参数n以及初始垂直搜索范围参数m,第一设定数值为0,第二设定数值也为0。则根据初始水平搜索范围参数n以及搜索阶段数K确定第K搜索阶段的目标水平搜索范围参数,为根据初始垂直搜索范围参数m以及搜索阶段数K确定第K搜索阶段的目标垂直搜索范围参数,为其中,为对x进行向下取整。将第K搜索阶段的目标水平搜索范围参数和目标垂直搜索范围参数确定为第K搜索阶段的目标搜索范围参数;将第一设定数值0确定为第K搜索阶段的水平搜索步长参数,将第二设定数值0确定为第K搜索阶段的垂直搜索步长参数,将第K搜索阶段的水平搜索步长参数和垂直搜索步长参数确定为所述第K搜索阶段的目标搜索步长参数。由于第K搜索阶段的搜索步长是第K搜索阶段的目标搜索步长参数与第二目标数值进行幂运算得到的,且在幂运算中,第二目标数值为底数,目标搜索步长参数为指数。第K搜索阶段的目标搜索步长参数包含水平搜索步长参数(为0)以及垂直搜索步长参数(为0),因此,第K搜索阶段的搜索步长为1。
在本申请实施例提供的方法中,初始搜索范围参数越大,第I搜索阶段的目标搜索范围参数也越大,则初始搜索范围参数与处理模块的处理速度成反比;搜索阶段数K越大,在参考图像帧中进行搜索的次数也就越多,每次进行图像块搜索时的搜索步长也就越大,则搜索阶段数K与处理模块的处理速度成正比。每个搜索阶段的搜索范围参数和搜索步长参数都有调整,使得搜索步长与搜索范围相适应,可以让每个搜索阶段的图像块搜索效率更高,后续图像块搜索处理的计算量增加较少。
本申请实施例中,请参见图4,根据目标搜索范围参数、第I-1搜索阶段确定的中间匹配图像块在参考图像帧中的位置,确定所述参考图像帧中的第I搜索图像区域的方式可以为:获取第一目标数值,并将第一目标数值和第I搜索阶段的目标搜索范围参数中的目标水平搜索范围参数进行幂运算,并根据幂运算结果确定第I搜索阶段的水平搜索范围;第一目标数值与第I搜索阶段的目标搜索参数中的目标垂直搜索范围参数进行幂运算,并根据幂运算结果确定第I搜索阶段的垂直搜索范围。根据第I-1搜索阶段确定的中间匹配图像块在参考图像帧中的位置、第I搜索阶段的水平搜索范围和垂直搜索范围,从参考图像帧中确定第I搜索图像区域。本申请实施例提供的方法以第I-1搜索阶段确定的中间匹配图像块为基础,确定第I搜索阶段的搜索图像区域,有效减少了无用的图像块匹配过程,提高了图像处理模块的处理速度。
本申请实施例中,第I搜索图像区域包含多个像素点,且第I搜索图像区域的长大于或等于第I搜索阶段的水平搜索步长,第I搜索图像区域的宽大于或等于第I搜索阶段的垂直搜索步长。
在一实施方式中,第I搜索阶段的目标水平搜索范围参数为A,目标垂直搜索范围参数为B,第一目标数值为2。则将第一目标数值2和第I搜索阶段的目标水平搜索范围参数A进行幂运算,得到幂运算结果为2A,并根据该幂运算结果确定第I搜索阶段的水平搜索范围为[-2A,2A];将第一目标数值2与第I搜索阶段的目标垂直搜索范围参数B进行幂运算,得到幂运算结果为2B,并根据幂运算结果确定第I搜索阶段的垂直搜索范围[-2B,2B]。以第I-1搜索阶段确定的中间匹配图像块的中心点为中心,根据第I搜索阶段确定的水平搜索范围[-2A,2A]和垂直搜索范围[-2B,2B]可以确定一个长为2*2A,宽为2*2B的四边形区域,该四边形区域为参考图像帧上第I搜索图像区域。
本申请实施例中,请参见图5,按照根据目标搜索步长参数确定的搜索步长,针对第I搜索图像区域进行图像块匹配搜索,确定待处理图像块的中间匹配图像块的方式可以为:获取第二目标数值,并将第二目标数值和第I搜索阶段的目标搜索步长参数中的水平搜索步长参数进行幂运算,并根据幂运算结果确定第I搜索阶段的水平搜索步长;将第二目标数值和第I搜索阶段的目标搜索步长参数中的垂直搜索步长参数进行幂运算,并根据幂运算结果确定第I搜索阶段的垂直搜索步长。将第I搜索阶段的水平搜索步长和垂直搜索步长,确定为第I搜索阶段的搜索步长。确定第I搜索图像区域的起始搜索像素点,并根据该起始搜索像素点,按照第I搜索阶段的水平搜索步长和垂直搜索步长,从第I搜索图像区域中依次选取候选搜索像素点;针对目标搜索像素点,根据待处理图像块的尺寸信息,确定目标搜索像素点对应的候选图像块。并计算该候选图像块与待处理图像块之间的率失真代价,此处的目标搜索像素点为起始搜索像素和选取的多个候选搜索像素点中的任意一个像素点;根据各个目标搜索像素点对应的候选图像块与待处理图像块之间的率失真代价,从各个目标搜索像素点对应的候选图像块中确定待处理图像块的中间匹配图像块。根据率失真代价确定的中间匹配图像块一般为当前搜索图像区域内,与待处理图像块较匹配的图像块。本申请实施例提供的方法可以快速有效地对第I搜索阶段确定的参考图像帧的图像搜索区域进行图像块匹配处理,并根据率失真代价得到当前搜索阶段中与待处理图像块最匹配的中间匹配图像块,减少了冗余的计算量,也提高了匹配图像块与待处理图像块的匹配度。
在一实施例中,确定候选图像块与待处理图像块之间的率失真代价的过程可以为:获取待处理像素块中任一像素点的灰度值,再计算该任一像素点与候选图像块中与该任一像素点对应的候选像素点之间的灰度差绝对值;将待处理像素块中所有像素点对应的灰度差绝对值进行求和计算,得到待处理图像块的绝对差值和(Sum of AbsoluteDifferences,SAD);最后根据得到的SAD确定候选图像块的率失真代价。率失真代价越小,说明该候选图像块与待处理图像块的绝对差值和越小,该候选图像块与待处理图像块的匹配度越高。因此,选取率失真代价最小的候选图像块作为第I搜索阶段的中间匹配图像块。
在一实施方式中,第I搜索阶段的水平搜索步长参数为C、垂直搜索步长参数为D,且第二目标数值为2,则将第二目标数值2和第I搜索阶段的水平搜索步长参数C进行幂运算,并根据幂运算结果确定第I搜索阶段的水平搜索步长为2C;将第二目标数值2和第I搜索阶段的垂直搜索步长参数D进行幂运算,并根据幂运算结果确定第I搜索阶段的垂直搜索步长为2D。确定第I搜索图像区域的起始搜索像素点,并根据该起始搜索像素点,按照第I搜索阶段的水平搜索步长和垂直搜索步长,从第I搜索图像区域中依次选取候选搜索像素点。以目标搜索像素点为候选图像块的中心像素点,根据待处理图像块的尺寸信息,确定目标搜索像素点对应的候选图像块。根据各个目标搜索像素点对应的候选图像块与待处理图像块之间的率失真代价,从各个目标搜索像素点对应的候选图像块中确定待处理图像块的中间匹配图像块。
S204、将第K搜索阶段确定的所述待处理图像块的中间匹配图像块,确定为所述参考图像帧中与所述待处理图像块相匹配的目标匹配图像块。
本申请实施例中,由于第I搜索阶段的搜索范围是根据第I-1搜索阶段的中间匹配图像块确定的,因此当K个搜索阶段执行结束时,得到第K搜索阶段的中间匹配图像块,该中间匹配图像块为所有搜索阶段对应的搜索范围中,与待处理图像块较匹配的图像块。将第K搜索阶段确定的中间匹配图像块确定为参考图像帧中与待处理图像块相匹配的目标匹配图像块。
基于上述实施例,本申请的有益效果在于:采用间隔搜索方式对参考图像帧进行图像块匹配搜索,与全搜索算法相比,可以极大地减少计算量;再对初始匹配图像块进行匹配条件判断,若初始匹配图像块不满足匹配条件,再进行后续图像处理,可以进一步减少无用图像处理带来的计算量;根据图像处理模块的处理速度确定初始搜索范围参数和搜索阶段数K,可以使图像处理模块的处理速度与应用场景相适应;根据初始搜索范围参数和搜索阶段数K对参考图像帧的特定范围进行多阶段搜索,可以较好地避免出现快速收敛的运动估计算法中可能出现的“局部最优”的问题,也能提高匹配图像块与待处理图像块之间的匹配度;综上所述,本方法在有限增加计算量的情况下,大幅提升了匹配图像块与待处理图像块的匹配度,从而提升匹配图像块的匹配效率。在视频传输过程中,利用该方法进行视频帧压缩处理,可以节省数据传输码率,节省数据传输带宽。
请参见图6,该图为本申请实施例提供的图像处理方法的示意图。本申请实施例提供的图像处理方法的步骤,可以但不限于:
S601、采用间隔搜索方式对参考图像帧进行图像块匹配搜索,得到待处理图像块的初始匹配图像块。
本申请实施例中,采用间隔搜索方式获取参考图像帧上的初始匹配图像块,该初始匹配图像块与待处理图像块相关联。间隔搜索方式可以是快速收敛的运动估计算法。快速收敛的运动估计算法主要包括三步搜索算法、四步搜索算法、正六边形搜索(DiamondSearch)算法(也称钻石搜索算法)等等。
S602、判断匹配误差是否大于误差阈值;若匹配判断结果为是,则执行步骤S603,若匹配判断结果为否,则将初始匹配图像块确定为当前匹配图像块,并执行步骤S607。
本申请实施例中,可以根据初始匹配图像块与待处理图像块确定匹配误差,该匹配误差用于表示初始匹配图像块与待处理图像块的差异程度,匹配误差越大,则初始匹配图像块与待处理图像块的差异越大。若匹配判断结果为是,匹配误差大于误差阈值,说明初始匹配图像块与待处理图像块的差异过大,则基于初始匹配图像块对参考图像帧再次进行图像块搜索操作;若匹配判断结果为否,匹配误差小于或等于误差阈值,说明初始匹配图像块与待处理图像块较匹配,无需再次进行图像块搜索操作,将初始匹配图像块确定为当前匹配图像块。本申请实施例提供的方法能够合理利用图像处理设备的计算资源,有效提高图像处理效率。
S603、获取搜索阶段数K,确定当前阶段数I的值为1。
本申请实施例中,根据图像处理设备的处理速度确定初始搜索范围参数和搜索阶段数K,初始搜索范围参数用于指示在参考图像帧中进行搜索的范围,而搜索阶段数K用于指示初始匹配图像块在参考图像帧中进行搜索的次数,这使得对参考图像帧进行的图像块搜索能够根据实际应用场景的不同而进行调整,提高了图像处理方法的适应性。
S604、确定第I搜索阶段的目标搜索范围参数以及目标搜索步长参数。
本申请实施例中,I为小于或者等于K的任意一个正整数;则当I为1时,根据初始搜索范围参数确定第1搜索阶段的目标搜索范围参数,并根据初始搜索范围参数以及搜索阶段数K确定第1搜索阶段的目标搜索步长参数;当I大于1且小于K时,根据第I-1搜索阶段的目标搜索步长参数确定第I搜索阶段的目标搜索范围参数,并根据初始搜索范围参数、搜索阶段数K和I确定第I搜索阶段的目标搜索步长参数;当I为K时,根据初始搜索范围参数和搜索阶段数K确定第K搜索阶段的目标搜索范围参数,并根据设定数值确定第K搜索阶段的目标搜索步长参数。
S605、根据第I搜索阶段的目标搜索范围参数以及目标搜索步长参数对参考图像帧进行图像块搜索,得到第I搜索阶段的中间匹配图像块,并对当前阶段数I加1操作。
本申请实施例中,根据第I搜索阶段的目标搜索范围参数确定第I搜索图像区域,根据第I搜索阶段的目标搜索步长参数确定第I搜索阶段的搜索步长;根据第I搜索图像区域以及第I搜索阶段的搜索步长对参考图像帧中进行图像块搜索,确定与当前图像块相关的中间匹配图像块。对当前阶段数I进行加1操作,表示当前已完成的搜索阶段的数目。
S606、判断当前阶段数I是否大于搜索阶段数K,若阶段判断结果为是,则将第I搜索步骤的中间匹配图像块确定为当前匹配图像块,并执行步骤S607,若判断结果为否,则执行步骤S604。
本申请实施例中,判断当前阶段数I是否大于搜索阶段数K,若阶段判断结果为是,当前阶段数I大于搜索阶段数K,说明当前已完成K个搜索阶段的图像块搜索,可以结束对参考图像帧的搜索,若阶段判断结果为否,当前阶段数I小于或等于搜索阶段数K,说明当前已完成的搜索阶段的数目小于K,还需要继续执行对参考图像帧的搜索。
S607、将当前匹配图像块确定为待处理图像块的目标匹配图像块。
本申请实施例中,当前匹配图像块可以是根据初始匹配图像块确定的,也可以是根据第I搜索解决的中间匹配图像块确定的。
基于上述实施例,本申请的有益效果在于:对初始匹配图像块进行判断,当初始匹配图像块不满足条件时,才对参考图像帧进行图像块搜索,从而节省了计算资源;在对参考图像帧进行图像块搜索时,采用循环的方法进行搜索,且每次进行搜索时均调整了目标搜索范围参数和目标搜索步长参数,使得搜索范围与搜索步长相适应,在提升中间匹配图像块与待处理图像块的匹配度的同时,尽量少地增加图像处理模块的计算量,最终使得图像处理模块的处理效率得到大幅提升。
请参阅图7,图7为本申请实施例提供的一种图像处理装置的结构示意图,本申请实施例中提供的图像处理装置包括但不限于:
获取单元701,用于采用间隔搜索方式对参考图像帧进行图像块匹配搜索,得到待处理图像块的初始匹配图像块,所述待处理图像块为待处理图像帧中的图像块,所述待处理图像帧与所述参考图像帧相关联;
处理单元702,用于若所述初始匹配图像块不满足匹配条件,则获取搜索阶段数K,K为大于1的整数,所述搜索阶段数K用于指示根据所述初始匹配图像块在所述参考图像帧中进行搜索的次数;
处理单元702还用于针对第I搜索阶段,确定所述第I搜索阶段的目标搜索范围参数和目标搜索步长参数,根据所述目标搜索范围参数、第I-1搜索阶段确定的中间匹配图像块在所述参考图像帧中的位置,确定所述参考图像帧中的第I搜索图像区域,按照根据所述目标搜索步长参数确定的搜索步长,针对所述第I搜索图像区域进行图像块匹配搜索,确定所述待处理图像块的中间匹配图像块;其中,I为小于或者等于K的任意一个正整数;
处理单元702还用于将第K搜索阶段确定的所述待处理图像块的中间匹配图像块,确定为所述参考图像帧中与所述待处理图像块相匹配的目标匹配图像块。
在一实施例中,当I为1时,所述目标搜索范围参数是根据初始搜索范围参数确定的,所述目标搜索步长参数是根据所述初始搜索范围参数和所述搜索阶段数K确定的,所述第I-1搜索阶段确定的中间匹配图像块为所述初始匹配图像块;当I大于1且小于K时,所述目标搜索范围参数是根据第I-1搜索阶段的目标搜索步长参数确定的,所述目标搜索步长参数是根据所述初始搜索范围参数、所述搜索阶段数K和I确定的;当I为K时,所述目标搜索范围参数是根据所述初始搜索范围参数和所述搜索阶段数K确定的。
在一实施例中,第I搜索阶段的目标搜索范围参数包括所述第I搜索阶段的目标水平搜索范围参数和目标垂直搜索范围参数,所述处理单元702在根据所述目标搜索范围参数、第I-1搜索阶段确定的中间匹配图像块在所述参考图像帧中的位置,确定所述参考图像帧中的第I搜索图像区域时,具体用于:获取第一目标数值,将所述第一目标数值和所述第I搜索阶段的目标水平搜索范围参数进行幂运算,并根据幂运算结果确定所述第I搜索阶段的水平搜索范围;将所述第一目标数值和所述第I搜索阶段的目标垂直搜索范围参数进行幂运算,并根据幂运算结果确定所述第I搜索阶段的垂直搜索范围;根据第I-1搜索阶段确定的中间匹配图像块在所述参考图像帧中的位置、所述第I搜索阶段的水平搜索范围和垂直搜索范围,从所述参考图像帧中确定第I搜索图像区域。
在一实施例中,第I搜索阶段的目标搜索步长参数包括所述第I搜索阶段的水平搜索步长参数和垂直搜索步长参数,所述处理单元702还用于:获取第二目标数值,将所述第二目标数值和所述第I搜索阶段的水平搜索步长参数进行幂运算,并根据幂运算结果确定所述第I搜索阶段的水平搜索步长;将所述第二目标数值和所述第I搜索阶段的垂直搜索步长参数进行幂运算,并根据幂运算结果确定所述第I搜索阶段的垂直搜索步长;将所述第I搜索阶段的水平搜索步长和垂直搜索步长,确定为根据所述第I搜索阶段的目标搜索步长参数确定的所述第I搜索阶段的搜索步长。
在一实施例中,所述处理单元702在按照根据所述目标搜索步长参数确定的搜索步长,针对所述第I搜索图像区域进行图像块匹配搜索,确定所述待处理图像块的中间匹配图像块时,具体用于:确定所述第I搜索图像区域中的起始搜索像素点,根据所述起始搜索像素点,按照所述第I搜索阶段的水平搜索步长和垂直搜索步长,从所述第I搜索图像区域中依次选取候选搜索像素点;针对目标搜索像素点,根据所述待处理图像块的尺寸信息,确定所述目标搜索像素点对应的候选图像块,并计算所述候选图像块与所述待处理图像块之间的率失真代价;所述目标搜索像素点为所述起始搜索像素点和选取的多个候选搜索像素点中的任意一个像素点;根据各个目标搜索像素点对应的候选图像块与所述待处理图像块之间的率失真代价,从所述各个目标搜索像素点对应的候选图像块中确定所述待处理图像块的中间匹配图像块。
在一实施例中,初始搜索范围参数包括初始水平搜索范围参数以及初始垂直搜索范围参数,所述处理单元702在确定所述第I搜索阶段的目标搜索范围参数和目标搜索步长参数时,具体用于:当I为1时,将所述初始水平搜索范围参数确定为第1搜索阶段的目标水平搜索范围参数,将所述初始垂直搜索范围参数确定为第1搜索阶段的目标垂直搜索范围参数,将所述第1搜索阶段的目标水平搜索范围参数和目标垂直搜索范围参数确定为所述第1搜索阶段的目标搜索范围参数;根据所述初始水平搜索范围参数和所述搜索阶段数K确定所述第1搜索阶段的水平搜索步长参数,根据所述初始垂直搜索范围参数和所述搜索阶段数K确定所述第1搜索阶段的垂直搜索步长参数,将所述第1搜索阶段的水平搜索步长参数和垂直搜索步长参数确定为所述第1搜索阶段的目标搜索步长参数。
在一实施例中,第I-1搜索阶段的目标搜索步长参数包括水平搜索步长参数和垂直搜索步长参数,所述处理单元702在确定所述第I搜索阶段的目标搜索范围参数和目标搜索步长参数时,具体用于:当I大于1且小于K时,将所述第I-1搜索阶段的水平搜索步长参数确定为所述第I搜索阶段的目标水平搜索范围参数,将所述第I-1搜索阶段的垂直搜索步长参数确定为所述第I搜索阶段的目标垂直搜索范围参数,将所述第I搜索阶段的目标水平搜索范围参数和目标垂直搜索范围参数确定为所述第I搜索阶段的目标搜索范围参数;根据所述初始水平搜索范围参数、所述搜索阶段数K和I确定所述第I搜索阶段的水平搜索步长参数,根据所述初始垂直搜索范围参数、所述搜索阶段数K和I确定所述第I搜索阶段的垂直搜索步长参数,将所述第I搜索阶段的水平搜索步长参数和垂直搜索步长参数确定为所述第I搜索阶段的目标搜索步长参数。
在一实施例中,初始搜索范围参数包括初始水平搜索范围参数以及初始垂直搜索范围参数,所述处理单元702在确定所述第I搜索阶段的目标搜索范围参数和目标搜索步长参数时,具体用于:当I为K时,根据所述初始水平搜索范围参数以及所述搜索阶段数K确定第K搜索阶段的目标水平搜索范围参数,根据所述初始垂直搜索范围参数以及所述搜索阶段数K确定第K搜索阶段的目标垂直搜索范围参数,将所述第K搜索阶段的目标水平搜索范围参数和目标垂直搜索范围参数确定为所述第K搜索阶段的目标搜索范围参数;获取第一设定数值和第二设定数值,将所述第一设定数值确定为所述第K搜索阶段的水平搜索步长参数,将所述第二设定数值确定为所述第K搜索阶段的垂直搜索步长参数,将所述第K搜索阶段的水平搜索步长参数和垂直搜索步长参数确定为所述第K搜索阶段的目标搜索步长参数。
在一实施例中,所述处理单元702,还用于:确定所述初始匹配图像块与所述待处理图像块之间的匹配误差;若所述初始匹配图像块与所述待处理图像块之间的匹配误差大于或等于误差阈值,则确定所述初始匹配图像块不满足所述匹配条件。
在一实施例中,初始搜索范围参数和所述搜索阶段数K与处理模块的处理速度相关联,所述初始搜索范围参数与所述处理速度成反比关系,所述搜索阶段数K与所述处理速度成正比关系。
可以理解的是,本申请实施例提供的图像处理装置的各功能单元的功能可根据上述图像处理方法实施例中的方法具体实现,其具体实现过程可以参照上述图像处理方法实施例中的相关描述,此处不再赘述。
本申请实施例,采用间隔搜索方法对参考图像帧进行搜索,与全搜索算法遍历参考帧相比,本方法的计算量小,匹配块的搜索效率高;在进行后续搜索时,针对初始匹配图像块为中心的搜索区域进行图像块匹配搜索,可以得到比初始图像匹配块的匹配度更高的匹配图像块,且由于后续搜索只是针对参考图像帧上的部分区域进行,因此后续搜索增加的计算量较少,这也有效保证了匹配块的搜索效率。
请参阅图8,图8为本申请实施例提供的一种计算机设备的结构示意图。本申请实施例中所描述的计算机设备包括:处理器801及存储器802、通信接口803。其中,处理器801、存储器802及通信接口803可通过总线或其他方式连接,本申请实施例以通过总线连接为例。
其中,处理器801(或称CPU(Central Processing Unit,中央处理器))是计算机设备的计算核心以及控制核心,其可以解析计算机设备内的各类指令以及处理计算机设备的各类数据,例如:CPU可以用于解析输入设备向计算机设备所发送的开关机指令,并控制计算机设备进行开关机操作;再如:CPU可以在计算机设备内部结构之间传输各类交互数据,等等。存储器802(Memory)是计算机设备中的记忆设备,用于存放程序和数据。可以理解的是,此处的存储器802既可以包括计算机设备的内置存储器,当然也可以包括计算机设备所支持的扩展存储器。存储器802提供存储空间,该存储空间存储了计算机设备的操作系统,可包括但不限于:Android系统、iOS系统、Windows Phone系统等等,本申请对此并不作限定,通信接口803可选的可以包括标准的有线接口、无线接口(如Wi-Fi、移动通信接口等),受处理器801的控制用于收发数据。
在本申请实施例中,处理器801通过运行存储器802中的可执行程序代码,执行如下操作:
采用间隔搜索方式对参考图像帧进行图像块匹配搜索,得到待处理图像块的初始匹配图像块,所述待处理图像块为待处理图像帧中的图像块,所述待处理图像帧与所述参考图像帧相关联;
若所述初始匹配图像块不满足匹配条件,则获取搜索阶段数K,K为大于1的整数,所述搜索阶段数K用于指示根据所述初始匹配图像块在所述参考图像帧中进行搜索的次数;
针对第I搜索阶段,确定所述第I搜索阶段的目标搜索范围参数和目标搜索步长参数,根据所述目标搜索范围参数、第I-1搜索阶段确定的中间匹配图像块在所述参考图像帧中的位置,确定所述参考图像帧中的第I搜索图像区域,按照根据所述目标搜索步长参数确定的搜索步长,针对所述第I搜索图像区域进行图像块匹配搜索,确定所述待处理图像块的中间匹配图像块;其中,I为小于或者等于K的任意一个正整数;
将第K搜索阶段确定的所述待处理图像块的中间匹配图像块,确定为所述参考图像帧中与所述待处理图像块相匹配的目标匹配图像块。
在一实施例中,当I为1时,所述目标搜索范围参数是根据初始搜索范围参数确定的,所述目标搜索步长参数是根据所述初始搜索范围参数和所述搜索阶段数K确定的,所述第I-1搜索阶段确定的中间匹配图像块为所述初始匹配图像块;当I大于1且小于K时,所述目标搜索范围参数是根据第I-1搜索阶段的目标搜索步长参数确定的,所述目标搜索步长参数是根据所述初始搜索范围参数、所述搜索阶段数K和I确定的;当I为K时,所述目标搜索范围参数是根据所述初始搜索范围参数和所述搜索阶段数K确定的。
在一实施例中,第I搜索阶段的目标搜索范围参数包括所述第I搜索阶段的目标水平搜索范围参数和目标垂直搜索范围参数,所述处理器801在根据所述目标搜索范围参数、第I-1搜索阶段确定的中间匹配图像块在所述参考图像帧中的位置,确定所述参考图像帧中的第I搜索图像区域时,具体用于:获取第一目标数值,将所述第一目标数值和所述第I搜索阶段的目标水平搜索范围参数进行幂运算,并根据幂运算结果确定所述第I搜索阶段的水平搜索范围;将所述第一目标数值和所述第I搜索阶段的目标垂直搜索范围参数进行幂运算,并根据幂运算结果确定所述第I搜索阶段的垂直搜索范围;根据第I-1搜索阶段确定的中间匹配图像块在所述参考图像帧中的位置、所述第I搜索阶段的水平搜索范围和垂直搜索范围,从所述参考图像帧中确定第I搜索图像区域。
在一实施例中,第I搜索阶段的目标搜索步长参数包括所述第I搜索阶段的水平搜索步长参数和垂直搜索步长参数,所述处理器801还用于:获取第二目标数值,将所述第二目标数值和所述第I搜索阶段的水平搜索步长参数进行幂运算,并根据幂运算结果确定所述第I搜索阶段的水平搜索步长;将所述第二目标数值和所述第I搜索阶段的垂直搜索步长参数进行幂运算,并根据幂运算结果确定所述第I搜索阶段的垂直搜索步长;将所述第I搜索阶段的水平搜索步长和垂直搜索步长,确定为根据所述第I搜索阶段的目标搜索步长参数确定的所述第I搜索阶段的搜索步长。
在一实施例中,所述处理器801在按照根据所述目标搜索步长参数确定的搜索步长,针对所述第I搜索图像区域进行图像块匹配搜索,确定所述待处理图像块的中间匹配图像块时,具体用于:确定所述第I搜索图像区域中的起始搜索像素点,根据所述起始搜索像素点,按照所述第I搜索阶段的水平搜索步长和垂直搜索步长,从所述第I搜索图像区域中依次选取候选搜索像素点;针对目标搜索像素点,根据所述待处理图像块的尺寸信息,确定所述目标搜索像素点对应的候选图像块,并计算所述候选图像块与所述待处理图像块之间的率失真代价;所述目标搜索像素点为所述起始搜索像素点和选取的多个候选搜索像素点中的任意一个像素点;根据各个目标搜索像素点对应的候选图像块与所述待处理图像块之间的率失真代价,从所述各个目标搜索像素点对应的候选图像块中确定所述待处理图像块的中间匹配图像块。
在一实施例中,初始搜索范围参数包括初始水平搜索范围参数以及初始垂直搜索范围参数,所述处理器801在确定所述第I搜索阶段的目标搜索范围参数和目标搜索步长参数时,具体用于:当I为1时,将所述初始水平搜索范围参数确定为第1搜索阶段的目标水平搜索范围参数,将所述初始垂直搜索范围参数确定为第1搜索阶段的目标垂直搜索范围参数,将所述第1搜索阶段的目标水平搜索范围参数和目标垂直搜索范围参数确定为所述第1搜索阶段的目标搜索范围参数;根据所述初始水平搜索范围参数和所述搜索阶段数K确定所述第1搜索阶段的水平搜索步长参数,根据所述初始垂直搜索范围参数和所述搜索阶段数K确定所述第1搜索阶段的垂直搜索步长参数,将所述第1搜索阶段的水平搜索步长参数和垂直搜索步长参数确定为所述第1搜索阶段的目标搜索步长参数。
在一实施例中,第I-1搜索阶段的目标搜索步长参数包括水平搜索步长参数和垂直搜索步长参数,所述处理器801在确定所述第I搜索阶段的目标搜索范围参数和目标搜索步长参数时,具体用于:当I大于1且小于K时,将所述第I-1搜索阶段的水平搜索步长参数确定为所述第I搜索阶段的目标水平搜索范围参数,将所述第I-1搜索阶段的垂直搜索步长参数确定为所述第I搜索阶段的目标垂直搜索范围参数,将所述第I搜索阶段的目标水平搜索范围参数和目标垂直搜索范围参数确定为所述第I搜索阶段的目标搜索范围参数;根据所述初始水平搜索范围参数、所述搜索阶段数K和I确定所述第I搜索阶段的水平搜索步长参数,根据所述初始垂直搜索范围参数、所述搜索阶段数K和I确定所述第I搜索阶段的垂直搜索步长参数,将所述第I搜索阶段的水平搜索步长参数和垂直搜索步长参数确定为所述第I搜索阶段的目标搜索步长参数。
在一实施例中,初始搜索范围参数包括初始水平搜索范围参数以及初始垂直搜索范围参数,所述处理器801在确定所述第I搜索阶段的目标搜索范围参数和目标搜索步长参数时,具体用于:当I为K时,根据所述初始水平搜索范围参数以及所述搜索阶段数K确定第K搜索阶段的目标水平搜索范围参数,根据所述初始垂直搜索范围参数以及所述搜索阶段数K确定第K搜索阶段的目标垂直搜索范围参数,将所述第K搜索阶段的目标水平搜索范围参数和目标垂直搜索范围参数确定为所述第K搜索阶段的目标搜索范围参数;获取第一设定数值和第二设定数值,将所述第一设定数值确定为所述第K搜索阶段的水平搜索步长参数,将所述第二设定数值确定为所述第K搜索阶段的垂直搜索步长参数,将所述第K搜索阶段的水平搜索步长参数和垂直搜索步长参数确定为所述第K搜索阶段的目标搜索步长参数。
在一实施例中,所述处理器801,还用于:确定所述初始匹配图像块与所述待处理图像块之间的匹配误差;若所述初始匹配图像块与所述待处理图像块之间的匹配误差大于或等于误差阈值,则确定所述初始匹配图像块不满足所述匹配条件。
在一实施例中,初始搜索范围参数和所述搜索阶段数K与处理模块的处理速度相关联,所述初始搜索范围参数与所述处理速度成反比关系,所述搜索阶段数K与所述处理速度成正比关系。
具体实现中,本申请实施例中所描述的处理器801、存储器802及通信接口803可执行本申请实施例提供的一种图像处理方法中所描述的计算机设备的实现方式,也可执行本申请实施例提供的一种图像处理装置中所描述的实现方式,在此不再赘述。
本申请实施例,采用间隔搜索方法对参考图像帧进行搜索,与全搜索算法遍历参考帧相比,本方法的计算量小,匹配块的搜索效率高;在进行后续搜索时,针对初始匹配图像块为中心的搜索区域进行图像块匹配搜索,可以得到比初始图像匹配块的匹配度更高的匹配图像块,且由于后续搜索只是针对参考图像帧上的部分区域进行,因此后续搜索增加的计算量较少,这也有效保证了匹配块的搜索效率。
本申请实施例还提供了一种计算机可读存储介质,所述计算机可读存储介质中存储有计算机程序,当其在计算机上运行时,使得计算机实现如本申请实施例所述的图像处理方法。其具体实现方式可参考前文描述,此处不再赘述。
本申请实施例还提供了一种计算机程序产品或计算机程序,所述计算机程序产品或计算机程序包括计算机指令,所述计算机指令存储在计算机可读存储介质中。计算机设备的处理器从所述计算机可读存储介质读取所述计算机指令,处理器执行所述计算机指令,使得所述计算机设备执行如本申请实施例所述的图像处理方法。其具体实现方式可参考前文描述,此处不再赘述。
需要说明的是,对于前述的各个方法实施例,为了简单描述,故将其都表述为一系列的动作组合,但是本领域技术人员应该知悉,本申请并不受所描述的动作顺序的限制,因为依据本申请,某一些步骤可以采用其他顺序或者同时进行。其次,本领域技术人员也应该知悉,说明书中所描述的实施例均属于优选实施例,所涉及的动作和模块并不一定是本申请所必须的。
本领域普通技术人员可以理解上述实施例的各种方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成,该程序可以存储于一计算机可读存储介质中,存储介质可以包括:闪存盘、只读存储器(Read-Only Memory,ROM)、随机存取器(Random AccessMemory,RAM)、磁盘或光盘等。
以上所揭露的仅为本申请部分实施例而已,当然不能以此来限定本申请之权利范围,因此依本申请权利要求所作的等同变化,仍属本申请所涵盖的范围。
Claims (14)
1.一种图像处理方法,其特征在于,所述方法包括:
采用间隔搜索方式对参考图像帧进行图像块匹配搜索,得到待处理图像块的初始匹配图像块,所述待处理图像块为待处理图像帧中的图像块,所述待处理图像帧与所述参考图像帧相关联;
若所述初始匹配图像块不满足匹配条件,则获取搜索阶段数K,K为大于1的整数,所述搜索阶段数K用于指示根据所述初始匹配图像块在所述参考图像帧中进行搜索的次数;
针对第I搜索阶段,确定所述第I搜索阶段的目标搜索范围参数和目标搜索步长参数,根据所述目标搜索范围参数、第I-1搜索阶段确定的中间匹配图像块在所述参考图像帧中的位置,确定所述参考图像帧中的第I搜索图像区域,按照根据所述目标搜索步长参数确定的搜索步长,针对所述第I搜索图像区域进行图像块匹配搜索,确定所述待处理图像块的中间匹配图像块;其中,I为小于或者等于K的任意一个正整数;
将第K搜索阶段确定的所述待处理图像块的中间匹配图像块,确定为所述参考图像帧中与所述待处理图像块相匹配的目标匹配图像块。
2.根据权利要求1所述的方法,其特征在于,当I为1时,所述目标搜索范围参数是根据初始搜索范围参数确定的,所述目标搜索步长参数是根据所述初始搜索范围参数和所述搜索阶段数K确定的,所述第I-1搜索阶段确定的中间匹配图像块为所述初始匹配图像块;当I大于1且小于K时,所述目标搜索范围参数是根据第I-1搜索阶段的目标搜索步长参数确定的,所述目标搜索步长参数是根据所述初始搜索范围参数、所述搜索阶段数K和I确定的;当I为K时,所述目标搜索范围参数是根据所述初始搜索范围参数和所述搜索阶段数K确定的。
3.根据权利要求1或2所述的方法,其特征在于,所述第I搜索阶段的目标搜索范围参数包括所述第I搜索阶段的目标水平搜索范围参数和目标垂直搜索范围参数;
所述根据所述目标搜索范围参数、第I-1搜索阶段确定的中间匹配图像块在所述参考图像帧中的位置,确定所述参考图像帧中的第I搜索图像区域,包括:
获取第一目标数值,将所述第一目标数值和所述第I搜索阶段的目标水平搜索范围参数进行幂运算,并根据幂运算结果确定所述第I搜索阶段的水平搜索范围;
将所述第一目标数值和所述第I搜索阶段的目标垂直搜索范围参数进行幂运算,并根据幂运算结果确定所述第I搜索阶段的垂直搜索范围;
根据第I-1搜索阶段确定的中间匹配图像块在所述参考图像帧中的位置、所述第I搜索阶段的水平搜索范围和垂直搜索范围,从所述参考图像帧中确定第I搜索图像区域。
4.根据权利要求1或2所述的方法,其特征在于,所述第I搜索阶段的目标搜索步长参数包括所述第I搜索阶段的水平搜索步长参数和垂直搜索步长参数;所述方法还包括:
获取第二目标数值,将所述第二目标数值和所述第I搜索阶段的水平搜索步长参数进行幂运算,并根据幂运算结果确定所述第I搜索阶段的水平搜索步长;
将所述第二目标数值和所述第I搜索阶段的垂直搜索步长参数进行幂运算,并根据幂运算结果确定所述第I搜索阶段的垂直搜索步长;
将所述第I搜索阶段的水平搜索步长和垂直搜索步长,确定为根据所述第I搜索阶段的目标搜索步长参数确定的所述第I搜索阶段的搜索步长。
5.根据权利要求4所述的方法,其特征在于,所述按照根据所述目标搜索步长参数确定的搜索步长,针对所述第I搜索图像区域进行图像块匹配搜索,确定所述待处理图像块的中间匹配图像块,包括:
确定所述第I搜索图像区域中的起始搜索像素点,根据所述起始搜索像素点,按照所述第I搜索阶段的水平搜索步长和垂直搜索步长,从所述第I搜索图像区域中依次选取候选搜索像素点;
针对目标搜索像素点,根据所述待处理图像块的尺寸信息,确定所述目标搜索像素点对应的候选图像块,并计算所述候选图像块与所述待处理图像块之间的率失真代价;所述目标搜索像素点为所述起始搜索像素点和选取的多个候选搜索像素点中的任意一个像素点;
根据各个目标搜索像素点对应的候选图像块与所述待处理图像块之间的率失真代价,从所述各个目标搜索像素点对应的候选图像块中确定所述待处理图像块的中间匹配图像块。
6.根据权利要求2所述的方法,其特征在于,所述初始搜索范围参数包括初始水平搜索范围参数以及初始垂直搜索范围参数;
所述确定所述第I搜索阶段的目标搜索范围参数和目标搜索步长参数,包括:
当I为1时,将所述初始水平搜索范围参数确定为第1搜索阶段的目标水平搜索范围参数,将所述初始垂直搜索范围参数确定为第1搜索阶段的目标垂直搜索范围参数,将所述第1搜索阶段的目标水平搜索范围参数和目标垂直搜索范围参数确定为所述第1搜索阶段的目标搜索范围参数;
根据所述初始水平搜索范围参数和所述搜索阶段数K确定所述第1搜索阶段的水平搜索步长参数,根据所述初始垂直搜索范围参数和所述搜索阶段数K确定所述第1搜索阶段的垂直搜索步长参数,将所述第1搜索阶段的水平搜索步长参数和垂直搜索步长参数确定为所述第1搜索阶段的目标搜索步长参数。
7.根据权利要求2所述的方法,其特征在于,所述第I-1搜索阶段的目标搜索步长参数包括水平搜索步长参数和垂直搜索步长参数;
所述确定所述第I搜索阶段的目标搜索范围参数和目标搜索步长参数,包括:
当I大于1且小于K时,将所述第I-1搜索阶段的水平搜索步长参数确定为所述第I搜索阶段的目标水平搜索范围参数,将所述第I-1搜索阶段的垂直搜索步长参数确定为所述第I搜索阶段的目标垂直搜索范围参数,将所述第I搜索阶段的目标水平搜索范围参数和目标垂直搜索范围参数确定为所述第I搜索阶段的目标搜索范围参数;
根据所述初始水平搜索范围参数、所述搜索阶段数K和I确定所述第I搜索阶段的水平搜索步长参数,根据所述初始垂直搜索范围参数、所述搜索阶段数K和I确定所述第I搜索阶段的垂直搜索步长参数,将所述第I搜索阶段的水平搜索步长参数和垂直搜索步长参数确定为所述第I搜索阶段的目标搜索步长参数。
8.根据权利要求2所述的方法,其特征在于,所述初始搜索范围参数包括初始水平搜索范围参数以及初始垂直搜索范围参数;
所述确定所述第I搜索阶段的目标搜索范围参数和目标搜索步长参数,包括:
当I为K时,根据所述初始水平搜索范围参数以及所述搜索阶段数K确定第K搜索阶段的目标水平搜索范围参数,根据所述初始垂直搜索范围参数以及所述搜索阶段数K确定第K搜索阶段的目标垂直搜索范围参数,将所述第K搜索阶段的目标水平搜索范围参数和目标垂直搜索范围参数确定为所述第K搜索阶段的目标搜索范围参数;
获取第一设定数值和第二设定数值,将所述第一设定数值确定为所述第K搜索阶段的水平搜索步长参数,将所述第二设定数值确定为所述第K搜索阶段的垂直搜索步长参数,将所述第K搜索阶段的水平搜索步长参数和垂直搜索步长参数确定为所述第K搜索阶段的目标搜索步长参数。
9.根据权利要求1-8任一项所述的方法,其特征在于,所述方法还包括:
确定所述初始匹配图像块与所述待处理图像块之间的匹配误差;
若所述初始匹配图像块与所述待处理图像块之间的匹配误差大于或等于误差阈值,则确定所述初始匹配图像块不满足所述匹配条件。
10.根据权利要求2所述的方法,其特征在于,所述初始搜索范围参数和所述搜索阶段数K与处理模块的处理速度相关联,所述初始搜索范围参数与所述处理速度成反比关系,所述搜索阶段数K与所述处理速度成正比关系。
11.一种图像处理装置,其特征在于,包括:
获取单元,用于采用间隔搜索方式对参考图像帧进行图像块匹配搜索,得到待处理图像块的初始匹配图像块,所述待处理图像块为待处理图像帧中的图像块,所述待处理图像帧与所述参考图像帧相关联;
处理单元,用于若所述初始匹配图像块不满足匹配条件,则获取搜索阶段数K,K为大于1的整数,所述搜索阶段数K用于指示根据所述初始匹配图像块在所述参考图像帧中进行搜索的次数;
所述处理单元,还用于针对第I搜索阶段,确定所述第I搜索阶段的目标搜索范围参数和目标搜索步长参数,根据所述目标搜索范围参数、第I-1搜索阶段确定的中间匹配图像块在所述参考图像帧中的位置,确定所述参考图像帧中的第I搜索图像区域,按照根据所述目标搜索步长参数确定的搜索步长,针对所述第I搜索图像区域进行图像块匹配搜索,确定所述待处理图像块的中间匹配图像块;其中,I为小于或者等于K的任意一个正整数;
所述处理单元,还用于将第K搜索阶段确定的所述待处理图像块的中间匹配图像块,确定为所述参考图像帧中与所述待处理图像块相匹配的目标匹配图像块。
12.一种计算机设备,其特征在于,包括:处理器、存储器和通信接口,所述处理器、所述存储器和所述通信接口相互连接,其中,所述存储器存储有可执行程序代码,所述处理器用于调用所述可执行程序代码,实现如权利要求1-10中任一项所述的图像处理方法。
13.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质中存储有计算机指令,当其在计算机上运行时,使得计算机实现如权利要求1-10中任一项所述的图像处理方法。
14.一种计算机程序产品,其特征在于,所述计算机程序产品包括计算机程序或计算机指令,所述计算机程序或计算机指令被处理器执行时实现如权利要求1-10中任一项所述的图像处理方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202211454712.1A CN115665424A (zh) | 2022-11-21 | 2022-11-21 | 图像处理方法、装置、设备、存储介质及程序产品 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202211454712.1A CN115665424A (zh) | 2022-11-21 | 2022-11-21 | 图像处理方法、装置、设备、存储介质及程序产品 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN115665424A true CN115665424A (zh) | 2023-01-31 |
Family
ID=85018393
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202211454712.1A Pending CN115665424A (zh) | 2022-11-21 | 2022-11-21 | 图像处理方法、装置、设备、存储介质及程序产品 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN115665424A (zh) |
-
2022
- 2022-11-21 CN CN202211454712.1A patent/CN115665424A/zh active Pending
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN111741298B (zh) | 视频编码方法、装置、电子设备及可读存储介质 | |
EP3677027A1 (en) | Mixing of probabilities for entropy coding in video compression | |
CN109587491A (zh) | 一种帧内预测方法、装置及存储介质 | |
US20230023369A1 (en) | Video processing method, video processing apparatus, smart device, and storage medium | |
CN114710667A (zh) | 针对h.266/vvc屏幕内容帧内cu划分的快速预测方法及装置 | |
CN113596467B (zh) | 一种转码服务的检测方法、装置、电子设备及存储介质 | |
CN111918067A (zh) | 一种数据处理方法、装置以及计算机可读存储介质 | |
CN116614565A (zh) | 用于场景执法的多协议融合通信方法、平台、系统及介质 | |
CN115665424A (zh) | 图像处理方法、装置、设备、存储介质及程序产品 | |
US10531124B1 (en) | Multi-stage coding block partition search | |
WO2022193830A1 (zh) | 树形编码块的样点自适应补偿模式确定方法、装置 | |
CN115442617A (zh) | 一种基于视频编码的视频处理方法和装置 | |
CN115374318A (zh) | 模型调用方法、装置、计算机设备及存储介质 | |
CN113810717B (zh) | 图像处理方法及装置 | |
CN108347451B (zh) | 图片处理系统、方法和装置 | |
CN116760983B (zh) | 用于视频编码的环路滤波方法及装置 | |
CN116760986B (zh) | 候选运动矢量生成方法、装置、计算机设备和存储介质 | |
CN114697678A (zh) | 图像编码方法、装置、存储介质及设备 | |
CN111885378B (zh) | 多媒体数据编码方法、装置、设备以及介质 | |
CN117750016A (zh) | 图像处理方法、装置及计算机设备 | |
CN117768647A (zh) | 图像处理方法、装置、设备及可读存储介质 | |
CN116527940A (zh) | 一种视频编码方法、装置及计算机设备、介质 | |
CN112738522A (zh) | 视频编码方法、装置 | |
CN117459732A (zh) | 视频编码方法、装置、设备、可读存储介质及程序产品 | |
Wu et al. | Content-aware Progressive Image Compression and Syncing |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |