CN111724421A - 图像处理方法及装置、电子设备及存储介质 - Google Patents

图像处理方法及装置、电子设备及存储介质 Download PDF

Info

Publication number
CN111724421A
CN111724421A CN202010605387.9A CN202010605387A CN111724421A CN 111724421 A CN111724421 A CN 111724421A CN 202010605387 A CN202010605387 A CN 202010605387A CN 111724421 A CN111724421 A CN 111724421A
Authority
CN
China
Prior art keywords
image block
registration information
target image
image
target
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010605387.9A
Other languages
English (en)
Other versions
CN111724421B (zh
Inventor
王东
张帆
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen TetrasAI Technology Co Ltd
Original Assignee
Shenzhen TetrasAI Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen TetrasAI Technology Co Ltd filed Critical Shenzhen TetrasAI Technology Co Ltd
Priority to CN202010605387.9A priority Critical patent/CN111724421B/zh
Publication of CN111724421A publication Critical patent/CN111724421A/zh
Application granted granted Critical
Publication of CN111724421B publication Critical patent/CN111724421B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/30Determination of transform parameters for the alignment of images, i.e. image registration
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/11Region-based segmentation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/20Analysis of motion
    • G06T7/223Analysis of motion using block-matching
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20021Dividing image into blocks, subimages or windows

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Studio Devices (AREA)
  • Image Analysis (AREA)

Abstract

本申请公开了一种图像处理方法及装置、电子设备及存储介质。该方法包括:获取第一待配准图像和第一参考图像;将所述第一待配准图像分成至少两个第一图像块,将所述第一参考图像分成至少两个第二图像块;确定所述至少两个第一图像块中的第一目标图像块为静止图像块或运动图像块,得到第一结果;依据所述第一结果,对所述第一目标图像块和对应的所述第二图像块进行配准处理,得到所述第一目标图像块的第一配准信息。

Description

图像处理方法及装置、电子设备及存储介质
技术领域
本申请涉及图像处理技术领域,尤其涉及一种图像处理方法及装置、电子设备及存储介质。
背景技术
在图像处理领域中,图像质量与图像携带的信息呈正相关,通过对至少两张图像中进行提升图像质量处理(如:融合处理),可利用至少两张图像中的信息,提高图像的质量。由于在不同的图像中与同一物理点对应的像素点的位置不同,在对至少两张图像进行处理之前,需要对至少两张图像进行配准。
在目前的图像配准方法中,通过对待配准图像和参考图像进行图像配准处理,可得到待配准图像的配准信息。但通过该种方法得到的配准信息的精度低。
发明内容
本申请提供一种图像处理方法及装置、电子设备及存储介质。
第一方面,提供了一种图像处理方法,所述方法包括:
获取第一待配准图像和第一参考图像;
将所述第一待配准图像分成至少两个第一图像块,将所述第一参考图像分成至少两个第二图像块;
确定所述至少两个第一图像块中的第一目标图像块为静止图像块或运动图像块,得到第一结果;
依据所述第一结果,对所述第一目标图像块和对应的所述第二图像块进行配准处理,得到所述第一目标图像块的第一配准信息。
在该方面中,由于在图像中,不同的像素点之间存在相关性(包括:语义相关性、运动相关性),图像处理装置可依据至少两个静止图像块的配准信息,确定图像中静止像素点区域的配准信息,可提高静止像素点区域的配准信息的精度。图像处理装置分别确定每个运动图像块的配准信息,可减少不同运动图像块的配准信息之间的干扰、以及静止图像块的配准信息对运动图像块的干扰,从而提高运动图像块的配准信息的精度。这样,图像处理装置依据图像块是静止图像块或运动图像块,确定图像块的配准信息,可提高图像块的配准信息的精度,从而提高第一待配准图像的配准信息的精度。
结合本申请任一实施方式,所述在所述确定所述至少两个第一图像块中的第一目标图像块为静止图像块或运动图像块,得到第一结果之前,所述方法还包括:
获取采集设备的运动信息,其中,所述采集设备为采集所述第一待配准图像的成像设备;
对所述第一目标图像块和对应的所述第二图像块进行配准处理,得到所述第一目标图像块的第二配准信息;
所述确定所述至少两个第一图像块中的第一目标图像块为所述静止图像块或所述运动图像块,得到第一结果,包括:
依据所述运动信息和所述第一目标图像块的第二配准信息,得到所述第一结果。
结合本申请任一实施方式,所述依据所述运动信息和所述第一目标图像块的第二配准信息,得到所述第一结果,包括:
在所述运动信息与所述第一目标图像块的第二配准信息之间的差异超过第一阈值的情况下,确定所述第一结果为所述第一目标图像块为所述运动图像块;
在所述运动信息与所述第一目标图像块的第二配准信息之间的差异未超过所述第一阈值的情况下,确定所述第一结果为所述第一目标图像块为所述静止图像块。
结合本申请任一实施方式,在所述依据所述第一结果对所述第一目标图像块和对应的所述第二图像块进行配准处理,得到所述第一目标图像块的第一配准信息之前,所述方法还包括:
确定第二目标图像块为所述静止图像块或所述运动图像块,得到第二结果,其中,所述第二目标图像块为所述至少两个第一图像块中不同于所述第一目标图像块的图像块;
对所述第二目标图像块和对应的所述第二图像块进行配准处理,得到所述第二目标图像块的配准信息;
所述依据所述第一结果对所述第一目标图像块和对应的所述第二图像块进行配准处理,得到所述第一目标图像块的第一配准信息,包括:
在所述第一结果为所述第一目标图像块为所述运动图像块的情况下,依据所述第一目标图像块的第二配准信息得到所述第一目标图像块的第一配准信息;
在所述第一结果为所述第一目标图像块为所述静止图像块,且所述第二结果为所述第二目标图像块为所述静止图像块的情况下,依据所述第一目标图像块的第二配准信息和所述第二目标图像块的配准信息,得到所述第一目标图像块的第一配准信息。
结合本申请任一实施方式,所述对所述第一目标图像块和对应的所述第二图像块进行配准处理,得到所述第一目标图像块的第二配准信息,包括:
对所述第一待配准图像进行下采样处理得到第二待配准图像,对所述第一参考图像进行下采样处理得到第二参考图像;
将所述第二待配准图像分成至少两个第三图像块,将所述第二参考图像分成至少两个第四图像块;
对所述至少两个第三图像块中的第三目标图像块和对应的所述第四图像块进行配准处理,得到所述第三目标图像块的配准信息;
依据所述第三目标图像块的配准信息,对所述第一目标图像块和对应的所述第二图像块进行配准处理得到所述第一目标图像块的第二配准信息。
结合本申请任一实施方式,所述依据所述第三目标图像块的配准信息,对所述第一目标图像块和对应的所述第二图像块进行配准处理得到所述第一目标图像块的第二配准信息,包括:
使用所述第三目标图像块的配准信息对所述第一目标图像块进行修正,得到第一修正后的图像块;
对所述第一修正后的图像块和所述第二图像块进行配准处理得到所述第一目标图像块的第二配准信息。
结合本申请任一实施方式,在所述对所述至少两个第三图像块中的第三目标图像块和对应的所述第四图像块进行配准处理,得到所述第三目标图像块的配准信息之前,所述方法还包括:
确定所述第三目标图像块为所述静止图像块或所述运动图像块,得到第三结果;
所述对所述至少两个第三图像块中的第三目标图像块和对应的所述第四图像块进行配准处理,得到所述第三目标图像块的配准信息,包括:
依据所述第三结果对所述至少两个第三图像块中的第三目标图像块和对应的所述第四图像块进行配准处理,得到所述第三目标图像块的配准信息。
结合本申请任一实施方式,所述依据所述第三结果对所述至少两个第三图像块中的第三目标图像块和对应的所述第四图像块进行配准处理,得到所述第三目标图像块的配准信息,包括:
对所述第三目标图像块和对应的所述第四图像块进行配准处理,得到第三配准信息;
对第四目标图像块和对应的所述第四图像块进行配准处理,得到所述第四目标图像块的配准信息,其中,所述第四目标图像块为所述至少两个第三目标图像块中不同于所述第三目标图像块的图像块;
在所述第三结果为所述第三目标图像块为所述运动图像块的情况下,依据所述第三配准信息得到所述第三目标图像块的配准信息;
在所述第三结果为所述第三目标图像块为所述静止图像块的情况下,依据所述第三配准信息和所述第四目标图像块的配准信息,得到所述第三目标图像块的配准信息。
结合本申请任一实施方式,所述依据所述第三配准信息和所述第四目标图像块的配准信息,得到所述第三目标图像块的配准信息,包括:
依据所述第三配准信息和所述第四目标图像块的配准信息,得到所述第二待配准图像的配准信息;
使用所述第二待配准图像的配准信息修正所述第三配准信息,得到所述第三目标图像块的配准信息。
结合本申请任一实施方式,所述第三目标图像块包括第一像素点,所述第一像素点通过对所述第一待配准图像中的至少两个第二像素点进行所述下采样处理得到;
所述使用所述第三目标图像块的配准信息对所述第一目标图像块进行修正,得到第一修正后的图像块,包括:
将所述第三目标图像块的配准信息作为所述第一像素点的配准信息;
依据所述第一像素点的配准信息,得到所述至少两个第二像素点的配准信息;
依据所述至少两个像素点的配准信息,得到所述第一目标图像块的第四配准信息;
使用所述第一目标图像块的第四配准信息修正所述第一目标图像块的位置,得到所述第一修正后的图像块。
结合本申请任一实施方式,所述对所述第一目标图像块和对应的所述第二图像块进行配准处理,得到所述第一目标图像块的第二配准信息,包括:
对所述第一目标图像块和对应的所述第二图像块进行搜索配准处理,得到所述第一目标图像块的第二配准信息。
结合本申请任一实施方式,所述将所述第一待配准图像分成至少两个第一图像块,将所述第一参考图像分成至少两个第二图像块,包括:
以相同的分块方式分别对所述第一待配准图像和所述第一参考图像进行分块,得到所述至少两个第一图像块和所述至少两个第二图像块。
第二方面,提供了一种图像处理装置,所述装置包括:
获取单元,用于获取第一待配准图像和第一参考图像;
分块单元,用于将所述第一待配准图像分成至少两个第一图像块,将所述第一参考图像分成至少两个第二图像块;
第一处理单元,用于确定所述至少两个第一图像块中的第一目标图像块为静止图像块或运动图像块,得到第一结果;
第二处理单元,用于依据所述第一结果,对所述第一目标图像块和对应的所述第二图像块进行配准处理,得到所述第一目标图像块的第一配准信息。
结合本申请任一实施方式,所述获取单元,还用于在所述确定所述至少两个第一图像块中的第一目标图像块为静止图像块或运动图像块,得到第一结果之前,获取采集设备的运动信息,其中,所述采集设备为采集所述第一待配准图像的成像设备;
所述图像处理装置还包括:
配准单元,用于对所述第一目标图像块和对应的所述第二图像块进行配准处理,得到所述第一目标图像块的第二配准信息;
所述第一处理单元,用于:
依据所述运动信息和所述第一目标图像块的第二配准信息,得到所述第一结果。
结合本申请任一实施方式,所述第一处理单元,用于:
在所述运动信息与所述第一目标图像块的第二配准信息之间的差异超过第一阈值的情况下,确定所述第一结果为所述第一目标图像块为所述运动图像块;
在所述运动信息与所述第一目标图像块的第二配准信息之间的差异未超过所述第一阈值的情况下,确定所述第一结果为所述第一目标图像块为所述静止图像块。
结合本申请任一实施方式,所述第二处理单元,用于在所述依据所述第一结果对所述第一目标图像块和对应的所述第二图像块进行配准处理,得到所述第一目标图像块的第一配准信息之前,确定第二目标图像块为所述静止图像块或所述运动图像块,得到第二结果,其中,所述第二目标图像块为所述至少两个第一图像块中不同于所述第一目标图像块的图像块;
所述配准单元,用于对所述第二目标图像块和对应的所述第二图像块进行配准处理,得到所述第二目标图像块的配准信息;
所述第二处理单元,用于:
在所述第一结果为所述第一目标图像块为所述运动图像块的情况下,依据所述第一目标图像块的第二配准信息得到所述第一目标图像块的第一配准信息;
在所述第一结果为所述第一目标图像块为所述静止图像块,且所述第二结果为所述第二目标图像块为所述静止图像块的情况下,依据所述第一目标图像块的第二配准信息和所述第二目标图像块的配准信息,得到所述第一目标图像块的第一配准信息。
结合本申请任一实施方式,所述配准单元,用于:
对所述第一待配准图像进行下采样处理得到第二待配准图像,对所述第一参考图像进行下采样处理得到第二参考图像;
将所述第二待配准图像分成至少两个第三图像块,将所述第二参考图像分成至少两个第四图像块;
对所述至少两个第三图像块中的第三目标图像块和对应的所述第四图像块进行配准处理,得到所述第三目标图像块的配准信息;
依据所述第三目标图像块的配准信息,对所述第一目标图像块和对应的所述第二图像块进行配准处理得到所述第一目标图像块的第二配准信息。
结合本申请任一实施方式,所述配准单元,用于:
使用所述第三目标图像块的配准信息对所述第一目标图像块进行修正,得到第一修正后的图像块;
对所述第一修正后的图像块和所述第二图像块进行配准处理得到所述第一目标图像块的第二配准信息。
结合本申请任一实施方式,所述第一处理单元,用于在所述对所述至少两个第三图像块中的第三目标图像块和对应的所述第四图像块进行配准处理,得到所述第三目标图像块的配准信息之前,确定所述第三目标图像块为所述静止图像块或所述运动图像块,得到第三结果;
所述配准单元,用于:
依据所述第三结果对所述至少两个第三图像块中的第三目标图像块和对应的所述第四图像块进行配准处理,得到所述第三目标图像块的配准信息。
结合本申请任一实施方式,所述配准单元,用于:
对所述第三目标图像块和对应的所述第四图像块进行配准处理,得到第三配准信息;
对第四目标图像块和对应的所述第四图像块进行配准处理,得到所述第四目标图像块的配准信息,其中,所述第四目标图像块为所述至少两个第三目标图像块中不同于所述第三目标图像块的图像块;
在所述第三结果为所述第三目标图像块为所述运动图像块的情况下,依据所述第三配准信息得到所述第三目标图像块的配准信息;
在所述第三结果为所述第三目标图像块为所述静止图像块的情况下,依据所述第三配准信息和所述第四目标图像块的配准信息,得到所述第三目标图像块的配准信息。
结合本申请任一实施方式,所述配准单元,用于:
依据所述第三配准信息和所述第四目标图像块的配准信息,得到所述第二待配准图像的配准信息;
使用所述第二待配准图像的配准信息修正所述第三配准信息,得到所述第三目标图像块的配准信息。
结合本申请任一实施方式,所述第三目标图像块包括第一像素点,所述第一像素点通过对所述第一待配准图像中的至少两个第二像素点进行所述下采样处理得到;
所述配准单元,用于:
将所述第三目标图像块的配准信息作为所述第一像素点的配准信息;
依据所述第一像素点的配准信息,得到所述至少两个第二像素点的配准信息;
依据所述至少两个像素点的配准信息,得到所述第一目标图像块的第四配准信息;
使用所述第一目标图像块的第四配准信息修正所述第一目标图像块的位置,得到所述第一修正后的图像块。
结合本申请任一实施方式,所述配准单元,用于:
对所述第一目标图像块和对应的所述第二图像块进行搜索配准处理,得到所述第一目标图像块的第二配准信息。
结合本申请任一实施方式,所述分块单元,用于:
以相同的分块方式分别对所述第一待配准图像和所述第一参考图像进行分块,得到所述至少两个第一图像块和所述至少两个第二图像块。
第三方面,提供了一种处理器,所述处理器用于执行如上述第一方面及其任意一种可能实现的方式的方法。
第四方面,提供了一种电子设备,包括:处理器、发送装置、输入装置、输出装置和存储器,所述存储器用于存储计算机程序代码,所述计算机程序代码包括计算机指令,在所述处理器执行所述计算机指令的情况下,所述电子设备执行如上述第一方面及其任意一种可能实现的方式的方法。
第五方面,提供了一种计算机可读存储介质,所述计算机可读存储介质中存储有计算机程序,所述计算机程序包括程序指令,在所述程序指令被处理器执行的情况下,使所述处理器执行如上述第一方面及其任意一种可能实现的方式的方法。
第六方面,提供了一种计算机程序产品,所述计算机程序产品包括计算机程序或指令,在所述计算机程序或指令在计算机上运行的情况下,使得所述计算机执行上述第一方面及其任一种可能的实现方式的方法。
应当理解的是,以上的一般描述和后文的细节描述仅是示例性和解释性的,而非限制本申请。
附图说明
为了更清楚地说明本申请实施例或背景技术中的技术方案,下面将对本申请实施例或背景技术中所需要使用的附图进行说明。
此处的附图被并入说明书中并构成本说明书的一部分,这些附图示出了符合本申请的实施例,并与说明书一起用于说明本申请的技术方案。
图1为本申请实施例提供的一种像素坐标系的示意图;
图2为本申请实施例提供的一种图像处理方法的流程示意图;
图3为本申请实施例提供的一种在图像中移动图像块的示意图;
图4a为本申请实施例提供的一种第一待配准图像的示意图;
图4b为本申请实施例提供的一种第二待配准图像的示意图;
图5a为本申请实施例提供的一种第一待配准图像的示意图;
图5b为本申请实施例提供的一种第二待配准图像的示意图;
图5c为本申请实施例提供的一种第九图像块的示意图;
图5d为本申请实施例提供的一种第三图像块的示意图;
图6为本申请实施例提供的一种图像处理装置的结构示意图;
图7为本申请实施例提供的一种图像处理装置的硬件结构示意图。
具体实施方式
为了使本技术领域的人员更好地理解本申请方案,下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本申请一部分实施例,而不是全部的实施例。基于本申请中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本申请保护的范围。
本申请的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别不同对象,而不是用于描述特定顺序。此外,术语“包括”和“具有”以及它们任何变形,意图在于覆盖不排他的包含。例如包含了一系列步骤或单元的过程、方法、系统、产品或设备没有限定于已列出的步骤或单元,而是可选地还包括没有列出的步骤或单元,或可选地还包括对于这些过程、方法、产品或设备固有的其他步骤或单元。
应当理解,在本申请中,“至少一个(项)”是指一个或者多个,“多个”是指两个或两个以上,“至少两个(项)”是指两个或三个及三个以上,“和/或”,用于描述关联对象的关联关系,表示可以存在三种关系,例如,“A和/或B”可以表示:只存在A,只存在B以及同时存在A和B三种情况,其中A,B可以是单数或者复数。字符“/”一般表示前后关联对象是一种“或”的关系。“以下至少一项(个)”或其类似表达,是指这些项中的任意组合,包括单项(个)或复数项(个)的任意组合。例如,a,b或c中的至少一项(个),可以表示:a,b,c,“a和b”,“a和c”,“b和c”,或“a和b和c”,其中a,b,c可以是单个,也可以是多个。
在本文中提及“实施例”意味着,结合实施例描述的特定特征、结构或特性可以包含在本申请的至少一个实施例中。在说明书中的各个位置出现该短语并不一定均是指相同的实施例,也不是与其它实施例互斥的独立的或备选的实施例。本领域技术人员显式地和隐式地理解的是,本文所描述的实施例可以与其它实施例相结合。
在图像处理领域中,图像质量与图像携带的信息呈正相关,通过对至少两张图像中进行提升图像质量处理(如:融合处理),可利用至少两张图像中的信息,提高图像的质量。由于在不同的图像中与同一物理点对应的像素点的位置不同,在对至少两张图像进行处理之前,需要对至少两张图像进行配准。在目前的图像配准方法中,通过对待配准图像和参考图像进行图像配准处理,可得到待配准图像的配准信息,即待配准图像中所有像素点的配准信息均相同。
由于在成像设备采集图像的过程中,成像设备的拍摄场景内的不同物体的运动状态可能不一致。在成像设备采集到的图像中,若两个像素点对应的物体的运动状态不一致,下文将称这两个像素点的运动不一致。
例如,使用相机拍摄处于高速运动状态下的汽车得到图像a。由于在相机采集图像a的过程中,汽车的运动状态与拍摄场景内的其他背景的运动状态不同,在图像a中,与汽车对应的像素点与除与汽车对应的像素点之外的像素点的运动不一致。
显然,运动不一致的像素点的配准信息不同,而在目前的方法中,通过对待配准图像和参考图像进行图像配准处理,得到的运动不一致的像素点的配准信息相同,这将导致配准信息不准确。
本申请实施例提供了一种图像配准方法,可提高配准信息的精度。本申请实施例的执行主体为图像处理装置,可选的,图像处理装置可以是以下中的一种:手机、计算机、服务器、平板电脑。
在进行接下来的阐述之前,首先对下文将要出现的一些概念进行定义。本申请实施例中,像素坐标系用于表示像素点在图像中的位置,其中,横坐标用于表示像素点所在的列数,纵坐标用于表示像素点所在的行数。例如,在图1所示的图像中,以图像的左上角为坐标原点O、平行于图像的行的方向为X轴的方向、平行于图像的列的方向为Y轴的方向,构建像素坐标系为XOY。横坐标和纵坐标的单位均为像素点。例如,图1中的像素点A11的坐标为(1,1),像素点A23的坐标为(3,2),像素点A42的坐标为(2,4),像素点A34的坐标为(4,3)。
本申请实施例中,运动物体指在采集设备采集图像的过程中,在世界坐标系下的位姿发生改变的物体;静止物体指在采集设备采集图像的过程中,在世界坐标系下的位姿未发生改变的物体。为表述方便,下文将图像中与运动物体中的物点对应的像素点称为运动像素点,将图像中与静止物体中的物点对应的像素点称为静止像素点,将图像中与运动物体对应的像素点区域称为运动像素点区域,将图像中与静止物体对应的像素点区域称为静止像素点区域。
下面结合本申请实施例中的附图对本申请实施例进行描述。请参阅图2,图2是本申请实施例提供的一种图像处理方法的流程示意图。
201、获取第一待配准图像和第一参考图像。
本申请实施例中,第一待配准图像可以包含任意内容。例如,第一待配准图像可以包括道路。又例如,第一待配准图像可以包括道路和车辆。再例如,第一待配准图像还可以包括人。本申请对第一待配准图像中的内容不做限定。
本申请实施例中,第一参考图像可以包含任意内容。例如,第一参考图像可以包括道路。又例如,第一参考图像可以包括道路和车辆。再例如,第一参考图像还可以包括人。本申请对第一参考图像中的内容不做限定。
在一种获取第一待配准图像的实现方式中,图像处理装置接收用户通过输入组件输入的第一待配准图像。上述输入组件包括:键盘、鼠标、触控屏、触控板和音频输入器等。
在另一种获取第一待配准图像的实现方式中,图像处理装置接收第一终端发送的第一待配准图像。可选的,第一终端可以是以下任意一种:手机、计算机、平板电脑、服务器、可穿戴设备。
在又一种获取第一待配准图像的实现方式中,图像处理装置可以通过成像组件采集得到第一待配准图像。可选的,上述成像组件可以是摄像头。
在一种获取第一参考图像的实现方式中,图像处理装置接收用户通过输入组件输入的第一参考图像。上述输入组件包括:键盘、鼠标、触控屏、触控板和音频输入器等。
在另一种获取第一参考图像的实现方式中,图像处理装置接收第二终端发送的第一参考图像。可选的,第二终端可以是以下任意一种:手机、计算机、平板电脑、服务器、可穿戴设备。
在又一种获取第一参考图像的实现方式中,图像处理装置可以通过成像组件采集得到第一参考图像。可选的,上述成像组件可以是摄像头。
在又一种获取第一待配准图像和第一参考图像的实现方式中,图像处理装置获取待处理视频流,将待处理视频流中的第一帧图像作为参考图像,将待处理视频流中除第一帧图像之外的任意一帧图像作为第一待配准图像。
202、将上述第一待配准图像分成至少两个第一图像块,将上述第一参考图像分成至少两个第二图像块。
本申请实施例中,图像处理装置可以以任意分块方式将第一待配准图像分成至少两个第一图像块,图像处理装置也可以以任意分块方式将第一参考图像分成至少两个第二图像块。图像处理装置对第一待配准图像的分块方式和图像处理装置对第一参考图像的分块方式可以相同,也可以不同,本申请对此不做限定。
例如,第一待配准图像的尺寸为100*10,图像处理装置通过将第一待配准图像进行分块,得到10个尺寸为10*10的图像块。第一参考图像的尺寸为100*10,图像处理装置通过将第一参考图像进行分块,得到20个尺寸为5*10的图像块。
又例如,第一待配准图像的尺寸为100*10,图像处理装置通过将第一待配准图像进行分块,得到10个尺寸为10*10的图像块。第一参考图像的尺寸为100*10,图像处理装置通过将第一参考图像进行分块,得到10个尺寸为10*10的图像块。
再例如,第一待配准图像的尺寸为100*10,图像处理装置通过将第一待配准图像进行分块,得到10个尺寸为10*10的图像块。第一参考图像的尺寸为50*10,图像处理装置通过将第一参考图像进行分块,得到10个尺寸为5*10的图像块。
再例如,第一待配准图像的尺寸为100*10,图像处理装置通过将第一待配准图像进行分块,得到10个尺寸为10*10的图像块。第一参考图像的尺寸为50*10,图像处理装置通过将第一参考图像进行分块,得到5个尺寸为10*10的图像块。
图像处理装置通过对第一待配准图像进行分块得到至少两个第一图像块,图像处理装置通过对第一参考图像进行分块得到至少两个第二图像块。
203、确定上述至少两个第一图像块中的第一目标图像块为静止图像块或运动图像块,得到第一结果。
本申请实施例中,图像中的静止图像块的配准信息来源于成像设备在采集图像的过程中产生的运动,而图像中的运动图像块的配准信息不仅来源于成像设备在采集图像的过程中产生的运动,还来源于运动图像块所对应的物体在世界坐标系下的运动。
上述配准信息包括像素点区域相对于参考图像的位移。本申请实施例中,配准信息可以是以下之一:位移矢量、旋转矩阵、仿射矩阵、透射矩阵。
例如,使用相机拍摄处于高速运动状态下的汽车得到图像a和图像b。假设相机在采集图像a的时间为时间戳1,采集图像b的时间为时间戳2,其中,时间戳1小于时间戳2。将时间戳1至时间戳2的这段时间成为采集时间。将图像a作为参考图像、将图像b作为待配准图像。将图像b中包含汽车的图像块称为图像块A,将图像b中包含背景(如公路)的图像块称为图像块B。
因为图像块A相对于图像a的配准信息不仅来源于相机在采集时间内的运动,还来源于汽车在采集时间内的运动,所以图像块A为运动图像块。因为图像块B相对于图像a的配准信息来源于相机在采集时间内的运动,所以图像块B为运动图像块。
本申请实施例中,第一结果包括第一目标图像块为静止图像块或第一目标图像块为运动图像块。
在一种可能实现的方式中,图像处理装置使用光流法可确定第一待配准图像中与的运动像素点区域和静止像素点区域。进而可确定第一目标图像块为静止图像块或运动图像块,得到第一结果。例如,在第一目标图像块中运动像素点的数量与第一目标图像块中像素点的数量的比值超过第一参考阈值的情况下,图像处理装置将第一目标图像块作为运动图像块;在第一目标图像块中运动像素点的数量与第一目标图像块中像素点的数量的比值未超过第一参考阈值的情况下,图像处理装置将第一目标图像块作为静止图像块。
在另一种可能实现的方式中,图像处理装置使用高斯混合模型法确定第一待配准图像中与的运动像素点区域和静止像素点区域。进而可确定第一目标图像块为静止图像块或运动图像块,得到第一结果。例如,在第一目标图像块中运动像素点区域的面积与第一目标图像块的面积的比值超过第二参考阈值的情况下,图像处理装置将第一目标图像块作为运动图像块;在第一目标图像块中运动像素点区域的面积与第一目标图像块的面积的比值未超过第二参考阈值的情况下,图像处理装置将第一目标图像块作为静止图像块。
在又一种可能实现的方式中,图像处理装置使用检测神经网络对第一待配准图像进行处理,以确定第一目标图像块为静止图像块或运动图像块,得到第一结果。该检测神经网络以已标注图像集为训练数据训练得到。已标注图像集中图像的标签包括像素点标签,像素点标签包括该像素点为运动像素点还是静止像素点。
204、依据上述第一结果,对上述第一目标图像块和对应的上述第二图像块进行配准处理,得到上述第一目标图像块的第一配准信息。
本申请实施例中,与第一目标图像块对应的第二图像块可以是,第一参考图像中任意一个图像块,即至少两个第二图像块中任意一个图像块。可选的,第一目标图像块在第一待配准图像中的位置与第一目标图像块所对应的图像块在第一参考图像中的位置相同。
图像处理装置对第一目标图像块和对应的第二图像块进行配准处理,得到第一参考配准信息。
由于静止图像块的配准信息均来源于成像设备的运动,第一待配准图像中的静止图像块的配准信息均相同。因此,图像处理装置可依据至少两个静止图像块的配准信息,得到第一待配准图像中的静止像素点区域的配准信息,从而提高第一待配准图像中的静止像素点区域的配准信息的精度。
由于运动图像块的配准信息均不仅来源于成像设备的运动,还来源于运动物体的运动,第一待配准图像中的不同运动图像块的配准信息可能不同。因此,图像处理装置可分别确定每个运动图像块的配准信息,以减少不同运动图像块的配准信息之间的干扰、以及静止图像块的配准信息对运动图像块的干扰,从而提高运动图像块的配准信息的精度。
若图像处理装置确定第一目标图像块为运动图像块,表征第一目标图像块中的像素点的配准信息与第一待配准图像中除第一目标图像块之外的像素点的配准信息不同。因此,图像处理装置依据第一参考配准信息确定第一目标图像块的配准信息,一方面,可提升第一目标图像块的配准信息的精度。另一方面,可减少第一目标图像块的配准信息对第一待配准图像中除第一目标图像块之外的像素点的配准信息的影响,进而提升第一待配准图像中除第一目标图像块之外的像素点的配准信息的精度。例如,图像处理装置将第一参考配准信息作为第一配准信息。
若图像处理装置确定第一目标图像块为静止图像块,表征第一目标图像块中的像素点的配准信息与第一待配准图像中除第一目标图像块之外的静止像素点的配准信息相同。因此,图像处理装置依据第一参考配准信息和/或第一待配准图像中除第一目标图像块之外的静止像素点的配准信息(下文将称为第二参考配准信息),确定第一目标图像块的配准信息。这样,可提升第一目标图像块的配准信息的精度。例如,图像处理装置可将第一参考配准信息和第二参考配准信息的均值,作为第一配准信息。
由于在图像中,不同的像素点之间存在相关性(包括:语义相关性、运动相关性),图像处理装置可依据至少两个静止图像块的配准信息,确定图像中静止像素点区域的配准信息,可提高静止像素点区域的配准信息的精度。图像处理装置分别确定每个运动图像块的配准信息,可减少不同运动图像块的配准信息之间的干扰、以及静止图像块的配准信息对运动图像块的干扰,从而提高运动图像块的配准信息的精度。这样,图像处理装置依据图像块是静止图像块或运动图像块,确定图像块的配准信息,可提高图像块的配准信息的精度,从而提高第一待配准图像的配准信息的精度。
作为一种可选的实施方式,在执行步骤203之前,图像处理装置还执行以下步骤:
1、获取采集设备的运动信息,其中,上述采集设备为采集上述第一待配准图像的成像设备。
本申请实施例中,采集设备为采集第一待配准图像的成像设备。采集设备的运动信息为采集设备在采集第一待配准图像的过程中的运动信息。例如,假设采集设备为手机。小明使用手机拍摄行驶在公路上的汽车得到第一待配准图像。在手机拍摄的过程中,手机并不是静止的,而是处于运动的。该运动信息可用于表征手机在该过程中的运动。
可选的,该运动信息为像素坐标系下的运动信息。例如,运动信息可以是采集设备在像素坐标系下的位移,或者运动信息可以是采集设备在像素坐标系下的俯仰角,或者运动信息可以是采集设备在像素坐标系下的加速度。
可选的,在图像处理装置获取到采集设备在世界坐标系下的运动信息(下文将称为参考运动信息)的情况下,可将参考运动信息转换为采集设别在像素坐标系下的运动信息。
在一种获取运动信息的实现方式中,图像处理装置接收用户通过输入组件输入的运动信息。上述输入组件包括:键盘、鼠标、触控屏、触控板和音频输入器等。
在另一种获取运动信息的实现方式中,图像处理装置接收第三终端发送的运动信息。可选的,第三终端可以是以下任意一种:手机、计算机、平板电脑、服务器、可穿戴设备。
在又一种获取运动信息的实现方式中,图像处理装置为采集设备,图像处理装置通过运动传感器(如:加速度计、陀螺仪)采集得到运动信息。可选的,图像处理装置上装载有以下至少一个运动传感器:加速度计、陀螺仪。可选的,图像处理装置不仅包括运动传感器还包括地磁计。
2、对上述第一目标图像块和对应的上述第二图像块进行配准处理,得到上述第一目标图像块的第二配准信息。
本步骤中的第二配准信息即为步骤204中的第一参考配准信息,此处将不再赘述。
可选的,图像处理装置可通过对第一目标图像块和对应的第二图像块进行搜索配准处理,得到第一目标图像块的第二配准信息。
本申请实施例中,搜索配准处理的含义可参见下例(例1):假设图像块1为图像a的图像块,图像块2为图像b的图像块。搜索步长为(1,1),搜索范围为(3,3)。在第一次搜索配准的过程中,计算图像块1与图像块2之间的相似度得到相似度A。将(0,0)作为第一次搜索配准的配准信息,将相似度A作为第一次搜索配准的配准结果。在第二次搜索配准的过程中,将图像块1在图像a中移动(1,1)的距离,得到图像块3。计算图像块3与图像块2之间的相似度得到相似度B。将(1,1)作为第二次搜索配准的配准信息,将相似度B作为第二次搜索配准的配准结果。在第三次搜索配准的过程中,将图像块3移动(1,1)的距离,得到图像块4,…,直到搜索完搜索范围内的所有图像块,得到至少一个配准信息和至少一个配准结果。
应理解,本申请实施例中,搜索步长中的长度和搜索范围中的长度均为像素坐标系下的长度。如例1中的搜索步长为(1,1),表征在像素坐标系的横轴方向上的移动距离为1个单位,且在像素坐标系的纵轴方向上的移动距离也为1个单位。搜索范围(3,3),表征在横轴方向上距离搜索起始点的最大距离为3个单位,且在纵轴方向上距离搜索起始点的最大距离也为3个单位。
应理解,通过搜索配准处理得到的配准结果可作为通过搜索配准处理得到配准信息的精度。如在例1中,相似度A为第一次搜索配准的配准信息的精度,相似度B为第二次搜索配准的配准信息的精度。
图像处理装置通过对第一目标图像块和对应的第二图像块进行搜索配准处理得到第一目标图像块的第二配准信息,可提高第二配准信息的精度。
可选的,在图像处理装置通过对第一目标图像块和对应的第二图像块进行搜索配准处理得到的配准信息的数量超过1的情况下,图像处理装置将精度最高的配准信息作为第二配准信息。
例如,图像处理装置通过执行2次搜索配准处理,实现对第一目标图像块和对应的第二图像块的搜索配准处理。图像处理装置通过执行第一次搜索配准处理,得到配准信息1和配准结果1。图像处理装置通过执行第二次搜索配准处理,得到配准信息2和配准结果2。在配准结果1的精度高于配准结果2的情况下,图像处理装置可将配准信息1作为第三配准信息;在配准结果2的精度高于配准结果1的情况下,图像处理装置可将配准信息2作为第二配准信息。
作为一种可选的实施方式,在执行步骤2之前,图像处理装置获取第一目标图像块的第一搜索步长和第一目标图像块的第一搜索范围。图像处理装置以第一搜索步长在第一搜索范围内对第一目标图像块和对应第二图像块进行搜索配准处理,得到第二配准信息。通过在第一搜索范围内对第一目标图像块和对应的第二图像块进行搜索配准处理,可减少图像处理装置的数据处理量。
图像处理装置在执行步骤203的过程中执行以下步骤:
3、依据上述运动信息和上述第一目标图像块的第二配准信息,得到上述第一结果。
如上所述,静止图像块的配准信息来源与成像设备的运动,而运动信息表征成像设备的运动。因此,图像处理装置依据运动信息和第二配准信息,可确定第一目标图像块是静止图像块或运动图像块,得到第一结果。
在一种可能实现的方式中,运动信息与第二配准信息之间的差异超过第一阈值,表征第一图像块为运动图像块。因此,第一结果为第一目标图像块为运动图像块。此时,图像处理装置依据第二配准信息,得到第一目标图像块的第一配准信息。
假设第一配准信息为r1、第二配准信息为r2。在一种可能实现的方式中,r1、r2满足下式:
r1=k×r2…公式(1)
其中,k为实数。可选的,k=1。
在另一种可能实现的方式中,r1、r2满足下式:
r1=k×r2+g…公式(2)
其中,k、g均为实数。可选的,k=1,g=0。
在又一种可能实现的方式中,r1、r2满足下式:
Figure BDA0002560896750000111
其中,k、g均为实数。可选的,k=1,g=0。
在一种可能实现的方式中,在运动信息与第一目标图像块的第二配准信息之间的差异未超过上述第一阈值,表征第一目标图像块为静止图像块,即第一结果为静止图像块。此时,图像处理装置可依据第二配准信息和不同于第一目标图像块的静止图像块的配准信息,得到第一配准信息。
本申请实施例中,至少两个第一图像块还包括不同于第一目标图像块的第二目标图像块。图像处理装置通过确定第二目标图像块为静止图像块或运动图像块,得到第二结果。图像处理装置对第二目标图像块和对应的第二图像块进行配准处理,得到第二目标图像块的配准信息。
在第二结果为第二目标图像块为静止图像块的情况下,图像处理装置可依据第二配准信息和第二目标图像块的配准信息,得到第一配准信息。
假设第一配准信息为r1、第二配准信息为r2、第二目标图像块的配准信息为r3。在一种可能实现的方式中,r1、r2、r3满足下式:
r1=t×(r2+r3)/2…公式(4)
其中,t为实数。可选的,t=1。
在另一种可能实现的方式中,r1、r2、r3满足下式:
r1=t×(r2+r3)/2+f…公式(5)
其中,t、f均为实数。可选的,t=1,f=0。
在又一种可能实现的方式中,r1、r2、r3满足下式:
Figure BDA0002560896750000112
其中,t、f均为实数。可选的,t=1,f=0。
本申请实施例中,图像处理装置依据运动信息和图像块的配准信息,判断图像块为静止图像块或运动图像块,可提高判断准确度。
应理解,前文描述了图像处理装置如何依据运动信息和第二配准信息,确定第一目标图像块的配准信息,从而提升第一目标图像块的配准信息的精度。在实际处理中,图像处理装置可分别依据运动信息和至少两个第一图像块中的每一个图像块的配准信息,分别判断每一个图像块是否为运动像素点区域。进而依据判断结果,提升每个图像块的配准信息的精度,从而提升第一待配准图像的配准信息的精度。
作为一种可选的实施方式,图像处理装置以相同的分块方式分别对第一待配准图像和第一参考图像进行分块,得到至少两个第一图像块和至少两个第二图像块。具体而言,图像处理装置以第一分块方式将第一待配准图像分成上述至少两个第一图像块,并以第一分块方式将第一参考图像分成上述至少两个第二图像块。
例如,第一待配准图像的尺寸和第一参考图像的尺寸均为100*10。第一分块方式为将图像分成若干个10*10的图像块。图像处理装置以第一分块方式对第一待配准图像进行分块,可得到10个第一图像块,图像处理装置以第一分块方式对第一参考图像进行分块,可得到10个第二图像块。
又例如,第一待配准图像的尺寸为100*10,第一参考图像的尺寸为110*10。第一分块方式为将图像分成若干个10*10的图像块。图像处理装置以第一分块方式对第一待配准图像进行分块,可得到10个第一图像块,图像处理装置以第一分块方式对第一参考图像进行分块,可得到11个第二图像块。
作为一种可选的实施方式,第一待配准图像的尺寸与第一参考图像的尺寸相同。在第一待配准图像的尺寸与第一参考图像的尺寸不同的情况下,图像处理装置可通过对第一待配准图像进行剪裁和/或对第一参考图像进行剪裁,使第一待配准图像的尺寸与第一参考图像的尺寸相同;或者,图像处理装置可通过对第一待配准图像进行下采样处理和/或对第一参考图像进行下采样处理,使第一待配准图像的尺寸与第一参考图像的尺寸相同。
作为一种可选的实施方式,第三图像块在第一待配准图像中的位置与第四图像块在第一参考图像中的位置相同。
本申请实施例中,图像处理装置可对图像块进行编号,而图像块在图像中的位置可以是图像块的编号。图像块在图像中的位置还可以是图像块的中心在像素坐标系下的坐标。本申请对图像块的位置的具体形式不做限定。
作为一种可选的实施方式,图像处理装置在执行步骤2的过程中执行以下步骤:
4、对上述第一待配准图像进行下采样处理得到第二待配准图像,对上述第一参考图像进行下采样处理得到第二参考图像。
图像处理装置通过对第一待配准图像进行下采样处理,降低第一待配准图像的分辨率,得到第二待配准图像。图像处理装置通过对第一参考图像进行下采样处理,降低第一参考图像的分辨率,得到第二参考图像。可选的,第二待配准图像的分辨率与第二参考图像的分辨率相同。
5、将上述第二待配准图像分成至少两个第三图像块,将上述第二参考图像分成至少两个第四图像块。
本步骤中,对图像的分块的实现方式可参见步骤202中对图像的分块的实现方式,此处将不再赘述。
可选的,图像处理装置以第二分块方式对第二待配准图像进行分块,得到至少两个第三图像块。图像处理装置并以第二分块方式对第二参考图像进行分块,得到至少两个第四图像块。即图像处理装置对第二待配准图像的分块方式和图像处理装置对第二参考图像的分块方式相同。
6、对上述至少两个第三图像块中的第三目标图像块和对应的上述第四图像块进行配准处理,得到上述第三目标图像块的配准信息。
本步骤中,配准处理的实现方式可参见步骤2中的配准处理的实现方式,此处将不再赘述。
可选的,图像处理装置可通过对第三目标图像块和对应的第四图像块进行搜索配准处理,得到第三目标图像块的配准信息,以提高第三目标图像块的配准信息的精度。
7、依据上述第三目标图像块的配准信息,对上述第一目标图像块和对应的上述第二图像块进行配准处理得到上述第一目标图像块的第二配准信息。
在一种可能实现的方式中,第三目标图像块通过对第一待配准图像中的第一像素点区域进行下采样处理得到。图像处理装置将第三目标图像块的配准信息作为第一像素点区域的配准信息(下文将称为第一下采样配准信息)。由于第一目标图像块和第一像素点区域均属于第一待配准图像,第一目标图像块与第一像素点区域之间存在相关性。因此,图像处理装置可依据第一下采样配准信息,得到第一目标图像块的配准信息(下文将称为第二下采样配准信息)。图像处理装置进而可依据第二下采样配准信息,在第一待配准图像中移动第一目标图像块,得到第一移动后的图像块。对第一移动后的图像块和对应的第二图像块进行配准处理,得到第一目标图像块的第二配准信息。
本申请实施例中,将图像块在图像中移动可参见下例:如图3所示,图像块1包括:像素点A32、像素点A33、像素点A42、像素点A43。图像处理装置将图像块1在图像A中移动(1,0),可得到的图像块2或图像块3,其中,图像块2包括:像素点A31、像素点A32、像素点A41、像素点A42,图像块3包括:像素点A33、像素点A34、像素点A43、像素点A44;图像处理装置将图像块1在图像A中移动(0,1),可得到的图像块4或图像块5,其中,图像块4包括:像素点A22、像素点A23、像素点A32、像素点A33,图像块5包括:像素点A42、像素点A43、像素点A52、像素点A53
在该种实现方式中,图像处理装置依据第三目标图像块的配准信息移动第一目标图像块,得到第一移动后的图像块。通过对第一移动后的图像块和对应的第二图像块进行配准处理,得到第二配准信息,可提高第二配准信息的精度。
作为一种可选的实施方式,图像处理装置在执行步骤7的过程中执行以下步骤:
8、使用上述第三目标图像块的配准信息对上述第一目标图像块进行修正,得到第一修正后的图像块。
由于第二待配准图像通过对第一待配准图像进行下采样处理得到,且第三目标图像块为第二待配准图像中的像素点区域,第三目标图像块中的像素点与第一待配准图像中的像素点之间存在第一映射关系。因此图像处理装置可依据该第一映射关系和第三目标图像块的配准信息,得到第一目标图像块的第四配准信息。
例如,图像处理装置对图4a所示的第一待配准图像进行下采样处理,得到图4b所示的第二待配准图像。则像素点B与像素点A11、像素点A12、像素点A21、像素点A22之间存在第一映射关系。此时,第一像素点为像素点B,第二像素点包括:像素点A11、像素点A12、像素点A21、像素点A22
在一种可能实现的方式中,第三目标图像块包括第一像素点,第一像素点通过对第一待配准图像中的至少两个第二像素点进行下采样处理得到,即第一像素点和至少两个第二像素点之间存在第一映射关系。图像处理装置将第三目标图像块的配准信息作为第一像素点的配准信息。由于第一像素点与至少两个第二像素点之间存在第一映射关系,图像处理装置可依据第一像素点的配准信息,得到至少两个第二像素点的配准信息。进而可依据至少两个第二像素点的配准信息,得到第三图像块的第四配准信息。
可选的,图像处理装置可将第一像素点的配准信息作为至少两个第二像素点的配准信息。
在至少两个第二像素点属于第一目标图像块的情况下,可选的,图像处理装置将至少两个第二像素点的配准信息作为第一目标图像块的第四配准信息。
假设至少两个第二像素点包括第一参考像素点,在至少两个第二像素点不属于第一目标图像块的情况下,图像处理装置首先计算第一参考像素点与第一目标图像块之间的距离(可以是以下中的一种:像素坐标系下的距离、欧式距离),再依据该距离和至少两个第二像素点的配准信息,得到第四配准信息。其中,第四配准信息与该距离呈负相关。
例如,图像处理装置对图5a所示的第一待配准图像进行下采样处理,得到图5b所示的第二待配准图像。其中,像素点B11依据像素点A11、像素点A12、像素点A21、像素点A22得到;像素点B12依据像素点A13、像素点A14、像素点A23、像素点A24进行下采样处理得到,即一个下采样窗口包括像素点A13、像素点A14、像素点A23、像素点A24,图像处理装置依据像素点A13的像素值、像素点A14的像素值、像素点A23的像素值和像素点A24的像素值,确定像素点B12的像素值。
那么,像素点A11、像素点A12、像素点A21、像素点A22与像素点B11之间均存在第一映射关系,即像素点B11的配准信息、像素点A11的配准信息、像素点A12的配准信息、像素点A21的配准信息、像素点A22的配准信息均相等。
同理,像素点B12的配准信息、像素点A13的配准信息、像素点A14的配准信息、像素点A23的配准信息、像素点A24的配准信息均相等;像素点B13的配准信息、像素点A15的配准信息、像素点A16的配准信息、像素点A25的配准信息、像素点A26的配准信息均相等;像素点B14的配准信息、像素点A17的配准信息、像素点A18的配准信息、像素点A27的配准信息、像素点A28的配准信息均相等;
像素点B21的配准信息、像素点A31的配准信息、像素点A32的配准信息、像素点A41的配准信息、像素点A42的配准信息均相等;像素点B22的配准信息、像素点A33的配准信息、像素点A34的配准信息、像素点A43的配准信息、像素点A44的配准信息均相等;像素点B23的配准信息、像素点A35的配准信息、像素点A36的配准信息、像素点A45的配准信息、像素点A46的配准信息均相等;像素点B24的配准信息、像素点A37的配准信息、像素点A38的配准信息、像素点A47的配准信息、像素点A48的配准信息均相等;
像素点B31的配准信息、像素点A51的配准信息、像素点A52的配准信息、像素点A61的配准信息、像素点A62的配准信息均相等;像素点B32的配准信息、像素点A53的配准信息、像素点A54的配准信息、像素点A63的配准信息、像素点A64的配准信息均相等;像素点B33的配准信息、像素点A55的配准信息、像素点A56的配准信息、像素点A65的配准信息、像素点A66的配准信息均相等;像素点B34的配准信息、像素点A57的配准信息、像素点A58的配准信息、像素点A67的配准信息、像素点A68的配准信息均相等;
像素点B41的配准信息、像素点A71的配准信息、像素点A72的配准信息、像素点A81的配准信息、像素点A82的配准信息均相等;像素点B42的配准信息、像素点A73的配准信息、像素点A74的配准信息、像素点A83的配准信息、像素点A84的配准信息均相等;像素点B43的配准信息、像素点A75的配准信息、像素点A76的配准信息、像素点A85的配准信息、像素点A86的配准信息均相等;像素点B44的配准信息、像素点A77的配准信息、像素点A78的配准信息、像素点A87的配准信息、像素点A88的配准信息均相等。
图像处理装置对图5b所示的第二待配准图像分块,得到图5c所示的第三目标图像块。则第三目标图像块的配准信息、像素点B11的配准信息、像素点B12的配准信息、像素点B13的配准信息、像素点B14的配准信息均相等。也就是说,第三目标图像块的配准信息、像素点A11的配准信息、像素点A12的配准信息、像素点A21的配准信息、像素点A22的配准信息、像素点A13的配准信息、像素点A14的配准信息、像素点A23的配准信息、像素点A24的配准信息、像素点A31的配准信息、像素点A32的配准信息、像素点A41的配准信息、像素点A42的配准信息、像素点A33的配准信息、像素点A34的配准信息、像素点A43的配准信息、像素点A44的配准信息均相等。
假设图像处理装置对图5a所示的第一待配准图像进行分块,得到图5d所示的第一目标图像块,即第一目标图像块包含像素点A11、像素点A12、像素点A21、像素点A22。此时,图像处理装置可以依据像素点A11的配准信息、像素点A12的配准信息、像素点A21的配准信息和像素点A22的配准信息,得到第一目标图像块的配准信息。进而实现依据第三目标图像块的配准信息得到第一目标图像块的第四配准信息。
由于第二待配准图像的分辨率比第一待配准图像的分辨率低、第二参考图像的分辨率比第一参考图像的分辨率低,第三目标图像块的分辨率比第三图像的分辨率低、第十图像块的分辨率比第五图像块的分辨率低。图像处理装置通过对第三目标图像块和第十图像块进行配准处理,得到第三目标图像块的第四配准信息,并依据第三目标图像块的配准信息得到第一目标图像块的第四配准信息,可减少数据处理量。
在得到第一目标图像块的第四配准信息后,图像处理装置可依据第一目标图像块的第四配准信息,使第一目标图像块在第一待配准图像中移动,得到第一修正后的图像块,以达到依据第一目标图像块的第四配准信息校正第一目标图像块的位置的效果。
9、对上述第一修正后的图像块和上述第二图像块进行配准处理得到上述第一目标图像块的第二配准信息。
在本申请实施例中,图像处理装置首先使用第一目标图像块的第四配准信息校正第一目标图像块的位置,得到第一修正后的图像块。再对第一修正后的图像块和与第一目标图像块对应的第二图像块进行配准处理,得到第一目标图像块的第二配准信息。这样,可提高第一目标图像块的配准信息的精度(即可提高第二配准信息的精度)。
可选的,图像处理装置可通过对第一修正后的图像块和与第一目标图像块对应的第二图像块进行搜索配准处理,得到第一目标图像块的第二配准信息,进一步提高第一目标图像块的配准信息(即第二配准信息)的精度。
在执行步骤6之前,图像处理装置还执行以下步骤:
10、确定上述第三目标图像块为静止图像块或运动图像块,得到第三结果。
本申请实施例中,第三结果包括第三目标图像块为静止图像块,第三结果或包括第三目标图像块为运动图像块。
在得到第三结果后,图像处理装置在执行步骤6的过程中执行以下步骤:
11、依据上述第三结果对上述至少两个第三图像块中的第三目标图像块和对应的上述第四图像块进行配准处理,得到上述第三目标图像块的配准信息。
本申请实施例中,与第三目标图像块对应的第四图像块可以是,第二参考图像中任意一个图像块,即至少两个第四图像块中任意一个图像块。可选的,第三目标图像块在第一待配准图像中的位置与第三目标图像块所对应的图像块在第二参考图像中的位置相同。
图像处理装置对第三目标图像块和对应的第四图像块进行配准处理,得到第三参考配准信息。
若图像处理装置确定第三目标图像块为运动图像块,表征第三目标图像块中的像素点的配准信息与第二待配准图像中除第三目标图像块之外的像素点的配准信息不同。因此,图像处理装置依据第三参考配准信息确定第三目标图像块的配准信息,一方面,可提升第三目标图像块的配准信息的精度。另一方面,可减少第三目标图像块的配准信息对第二待配准图像中除第三目标图像块之外的像素点的配准信息的影响,进而提升第二待配准图像中除第三目标图像块之外的像素点的配准信息的精度。例如,图像处理装置将第三参考配准信息作为第三目标图像块的配准信息。
若图像处理装置确定第三目标图像块为静止图像块,表征第三目标图像块中的像素点的配准信息与第二待配准图像中除第三目标图像块之外的静止像素点的配准信息相同。因此,图像处理装置依据第三参考配准信息和/或第二待配准图像中除第三目标图像块之外的静止像素点的配准信息(下文将称为第四参考配准信息),确定第三目标图像块的配准信息。这样,可提升第三目标图像块的配准信息的精度。例如,图像处理装置可将第三参考配准信息和第四参考配准信息的均值,作为第三目标图像块的配准信息。
作为一种可选的实施方式,图像处理装置在执行步骤11的过程中执行以下步骤:
12、对上述第三目标图像块和对应的第四图像块进行配准处理,得到第三配准信息。
本步骤中的第二配准信息即为步骤11中的第三参考配准信息,此处将不再赘述。
13、对第四目标图像块和对应的第四图像块进行配准处理,得到上述第四目标图像块的配准信息,其中,上述第四目标图像块为上述至少两个第三目标图像块中不同于上述第三目标图像块的图像块。
本申请实施例中,与第四目标图像块对应的第四图像块可以是第二参考图像中的任意一个图像块。可选的,第四目标图像块在第二待配准图像中的位置与第四目标图像块所对应的第四图像块在第二参考图像中的位置相同。
14、在上述第三结果为第三目标图像块为运动图像块的情况下,依据上述第三配准信息得到第三目标图像块的配准信息。
假设第三配准信息为r4、第三目标图像块的配准信息为r5。在一种可能实现的方式中,r4、r5满足下式:
r5=e×r4…公式(7)
其中,e为实数。可选的,e=1。
在另一种可能实现的方式中,r4、r5满足下式:
r5=k×r4+z…公式(8)
其中,e、z均为实数。可选的,e=1,z=0。
在又一种可能实现的方式中,r4、r5满足下式:
Figure BDA0002560896750000161
其中,e、z均为实数。可选的,e=1,z=0。
可选的,在第三目标图像块的配准信息与运动信息之间的差异超过第二阈值的情况下,图像处理装置确定第三目标图像块为运动图像块。
第二阈值与第一阈值可以相同,也可以不同。由于第二待配准图像的分辨率小于第一待配准图像的分辨率、第二参考图像的分辨率小于第一参考图像的分辨率,可选的,第二阈值小于第一阈值。
15、在上述第三结果为第三目标图像块为静止图像块的情况下,依据上述第三配准信息和上述第四目标图像块的配准信息,得到上述第三目标图像块的配准信息。
假设第三配准信息为r4、第三目标图像块的配准信息为r5、第四目标图像块的配准信息为r6。在一种可能实现的方式中,r4、r5、r6满足下式:
r5=p×(r4+r6)/2…公式(10)
其中,p为实数。可选的,p=1。
在另一种可能实现的方式中,r4、r5、r6满足下式:
r5=p×(r1+r3)/2+c…公式(11)
其中,p、c均为实数。可选的,p=1,c=0。
在又一种可能实现的方式中,r4、r5、r6满足下式:
Figure BDA0002560896750000162
其中,p、c均为实数。可选的,p=1,c=0。
可选的,在第三目标图像块的配准信息与运动信息之间的差异未超过第二阈值的情况下,图像处理装置确定第三目标图像块为静止图像块。
作为一种可选的实施方式,图像处理装置在执行“依据上述第三配准信息和上述第四目标图像块的配准信息,得到上述第三目标图像块的配准信息”的过程中,执行以下步骤:
16、依据上述第三配准信息和上述第四目标图像块的配准信息,得到上述第二待配准图像的配准信息。
图像处理装置通过依据第三配准信息和第四目标图像块的配准信息,得到第二待配准图像的配准信息,可以实现依据第二待配准图像的局部配准信息,得到第二待配准图像的全局配准信息。
在一种可能实现的方式中,第三配准信息包括第一位移矢量,第四目标图像块的配准信息包括第二位移矢量。图像处理装置依据第一位移矢量和第二位移矢量,可得到第二待配准图像的仿射变换矩阵,作为第二待配准图像的配准信息。
在另一种可能实现的方式中,第三配准信息包括第一位移矢量,第四目标图像块的配准信息包括第二位移矢量。图像处理装置依据第一位移矢量和第二位移矢量,可得到第二待配准图像的透射变换矩阵,作为第二待配准图像的配准信息。
在一种可能实现的方式中,第三配准信息包括第一位移矢量,第四目标图像块的配准信息包括第二位移矢量。图像处理装置通过确定第一位移矢量和第二位移矢量的均值,可得到第二待配准图像的配准信息。
在又一种可能实现的方式中,第三配准信息包括第一旋转矩阵,第四目标图像块的配准信息包括第二旋转矩阵。图像处理装置依据第一旋转矩阵和第二旋转矩阵,可得到第二待配准图像的仿射变换矩阵,作为第二待配准图像的配准信息。
17使用上述第二待配准图像的配准信息修正上述第三配准信息,得到上述第三目标图像块的配准信息。
在一种修正第三配准信息的实现方式中,图像处理装置对第二待配准图像的配准信息和第三配准信息进行加权求和,得到第三目标图像块的配准信息。
由于第二待配准图像的配准信息携带除第三配准信息之外的静止像素点的配准信息,图像处理装置使用第二待配准图像的配准信息修正第三配准信息,可提升第三配准信息的精度,得到第三目标图像的配准信息。
作为一种可选的实施方式,上文提及的运动信息包括以下至少一个:横轴方向上的位移、纵轴方向上的位移、竖轴方向上的位移、绕横轴方向上的位移、纵轴方向上的位移、竖轴方向上的位移、俯仰角、偏航角、滚转角。
本申请实施例中,横轴指像素坐标系的横轴(即x轴);纵轴指像素坐标系的纵轴(即y轴);竖轴指垂直于像素坐标系所在的平面(即xoy平面)的轴。
在运动信息包括横轴方向上的位移的情况下,采集设备在x轴方向上存在移动,此时将改变配准信息中的x轴方向上的位移;在运动信息包括纵轴方向上的位移的情况下,采集设备在y轴方向上存在移动,此时将改变配准信息中的y轴方向上的位移;在运动信息包括竖轴方向上的位移的情况下,采集设备在竖轴方向上存在移动,此时将改变第一待配准图像的深度信息,进而改变配准信息中的x轴方向上的位移和/或配准信息中的y轴方向上的位移。
本申请实施例中,俯仰角为采集设备绕横轴旋转的角度;偏航角为采集设备绕纵轴旋转的角度;滚转角为采集设备绕竖轴旋转的角度。
在运动信息包括俯仰角的情况下,采集设备在x轴方向上存在移动和/或采集设备在y轴方向上存在位移,此时将改变配准信息中的x轴方向上的位移和/或配准信息中的y轴方向上的位移;在运动信息包括偏航角的情况下,采集设备在x轴方向上存在移动和/或采集设备在y轴方向上存在位移,此时将改变配准信息中的x轴方向上的位移和/或配准信息中的y轴方向上的位移;在运动信息包括滚转角的情况下,采集设备在x轴方向上存在移动和/或采集设备在y轴方向上存在位移,此时将改变配准信息中的x轴方向上的位移和/或配准信息中的y轴方向上的位移。
基于本申请实施例提供的技术方案,本申请实施例还提供了一种可能的应用场景。
随着手机的普及以及手机的拍照功能的提升,越来越多的人们使用手机进行拍照。但由于各种原因的存在,导致手机拍摄得到的图像的质量可能不佳,如:图像模糊、图像的曝光量不合适等等。因此,在手机拍摄得到的图像的质量不佳的情况下,需要对图像进行处理,以提高图像的质量,图像融合处理为其中之一。待融合的图像之间是否配准是决定图像融合处理的效果的关键,基于本申请实施例提供的技术方案,可提高待融合的图像的配准准确度,进而提升图像融合处理的效果。
例如,在用户按下拍照快门键时,手机在短时间内采集了图像A和图像B。基于本申请实施例提供的技术方案,手机对图像A和图像B进行处理,调整图像a中至少一个像素点的位置,实现将图像A向图像B配准,得到图像C。手机对图像B和图像C进行融合处理,得到图像D,并将图像D呈现给用户。
本领域技术人员可以理解,在具体实施方式的上述方法中,各步骤的撰写顺序并不意味着严格的执行顺序而对实施过程构成任何限定,各步骤的具体执行顺序应当以其功能和可能的内在逻辑确定。
上述详细阐述了本申请实施例的方法,下面提供了本申请实施例的装置。
请参阅图6,图6为本申请实施例提供的一种图像处理装置的结构示意图,该图像处理装置包括:获取单元11、分块单元12、第一处理单元13、第二处理单元14,其中:
获取单元11,用于获取第一待配准图像和第一参考图像;
分块单元12,用于将所述第一待配准图像分成至少两个第一图像块,将所述第一参考图像分成至少两个第二图像块;
第一处理单元13,用于确定所述至少两个第一图像块中的第一目标图像块为静止图像块或运动图像块,得到第一结果;
第二处理单元14,用于依据所述第一结果,对所述第一目标图像块和对应的所述第二图像块进行配准处理,得到所述第一目标图像块的第一配准信息。
结合本申请任一实施方式,所述获取单元,还用于在所述确定所述至少两个第一图像块中的第一目标图像块为静止图像块或运动图像块,得到第一结果之前,获取采集设备的运动信息,其中,所述采集设备为采集所述第一待配准图像的成像设备;
所述图像处理装置1还包括:
配准单元15,用于对所述第一目标图像块和对应的所述第二图像块进行配准处理,得到所述第一目标图像块的第二配准信息;
所述第一处理单元13,用于:
依据所述运动信息和所述第一目标图像块的第二配准信息,得到所述第一结果。
结合本申请任一实施方式,所述第一处理单元13,用于:
在所述运动信息与所述第一目标图像块的第二配准信息之间的差异超过第一阈值的情况下,确定所述第一结果为所述第一目标图像块为所述运动图像块;
在所述运动信息与所述第一目标图像块的第二配准信息之间的差异未超过所述第一阈值的情况下,确定所述第一结果为所述第一目标图像块为所述静止图像块。
结合本申请任一实施方式,所述第二处理单元14,用于在所述依据所述第一结果对所述第一目标图像块和对应的所述第二图像块进行配准处理,得到所述第一目标图像块的第一配准信息之前,确定第二目标图像块为所述静止图像块或所述运动图像块,得到第二结果,其中,所述第二目标图像块为所述至少两个第一图像块中不同于所述第一目标图像块的图像块;
所述配准单元15,用于对所述第二目标图像块和对应的所述第二图像块进行配准处理,得到所述第二目标图像块的配准信息;
所述第二处理单元14,用于:
在所述第一结果为所述第一目标图像块为所述运动图像块的情况下,依据所述第一目标图像块的第二配准信息得到所述第一目标图像块的第一配准信息;
在所述第一结果为所述第一目标图像块为所述静止图像块,且所述第二结果为所述第二目标图像块为所述静止图像块的情况下,依据所述第一目标图像块的第二配准信息和所述第二目标图像块的配准信息,得到所述第一目标图像块的第一配准信息。
结合本申请任一实施方式,所述配准单元15,用于:
对所述第一待配准图像进行下采样处理得到第二待配准图像,对所述第一参考图像进行下采样处理得到第二参考图像;
将所述第二待配准图像分成至少两个第三图像块,将所述第二参考图像分成至少两个第四图像块;
对所述至少两个第三图像块中的第三目标图像块和对应的所述第四图像块进行配准处理,得到所述第三目标图像块的配准信息;
依据所述第三目标图像块的配准信息,对所述第一目标图像块和对应的所述第二图像块进行配准处理得到所述第一目标图像块的第二配准信息。
结合本申请任一实施方式,所述配准单元15,用于:
使用所述第三目标图像块的配准信息对所述第一目标图像块进行修正,得到第一修正后的图像块;
对所述第一修正后的图像块和所述第二图像块进行配准处理得到所述第一目标图像块的第二配准信息。
结合本申请任一实施方式,所述第一处理单元13,用于在所述对所述至少两个第三图像块中的第三目标图像块和对应的所述第四图像块进行配准处理,得到所述第三目标图像块的配准信息之前,确定所述第三目标图像块为所述静止图像块或所述运动图像块,得到第三结果;
所述配准单元15,用于:
依据所述第三结果对所述至少两个第三图像块中的第三目标图像块和对应的所述第四图像块进行配准处理,得到所述第三目标图像块的配准信息。
结合本申请任一实施方式,所述配准单元15,用于:
对所述第三目标图像块和对应的所述第四图像块进行配准处理,得到第三配准信息;
对第四目标图像块和对应的所述第四图像块进行配准处理,得到所述第四目标图像块的配准信息,其中,所述第四目标图像块为所述至少两个第三目标图像块中不同于所述第三目标图像块的图像块;
在所述第三结果为所述第三目标图像块为所述运动图像块的情况下,依据所述第三配准信息得到所述第三目标图像块的配准信息;
在所述第三结果为所述第三目标图像块为所述静止图像块的情况下,依据所述第三配准信息和所述第四目标图像块的配准信息,得到所述第三目标图像块的配准信息。
结合本申请任一实施方式,所述配准单元15,用于:
依据所述第三配准信息和所述第四目标图像块的配准信息,得到所述第二待配准图像的配准信息;
使用所述第二待配准图像的配准信息修正所述第三配准信息,得到所述第三目标图像块的配准信息。
结合本申请任一实施方式,所述第三目标图像块包括第一像素点,所述第一像素点通过对所述第一待配准图像中的至少两个第二像素点进行所述下采样处理得到;
所述配准单元15,用于:
将所述第三目标图像块的配准信息作为所述第一像素点的配准信息;
依据所述第一像素点的配准信息,得到所述至少两个第二像素点的配准信息;
依据所述至少两个像素点的配准信息,得到所述第一目标图像块的第四配准信息;
使用所述第一目标图像块的第四配准信息修正所述第一目标图像块的位置,得到所述第一修正后的图像块。
结合本申请任一实施方式,所述配准单元15,用于:
对所述第一目标图像块和对应的所述第二图像块进行搜索配准处理,得到所述第一目标图像块的第二配准信息。
结合本申请任一实施方式,所述分块单元12,用于:
以相同的分块方式分别对所述第一待配准图像和所述第一参考图像进行分块,得到所述至少两个第一图像块和所述至少两个第二图像块。
由于在图像中,不同的像素点之间存在相关性(包括:语义相关性、运动相关性),图像处理装置可依据至少两个静止图像块的配准信息,确定图像中静止像素点区域的配准信息,可提高静止像素点区域的配准信息的精度。图像处理装置分别确定每个运动图像块的配准信息,可减少不同运动图像块的配准信息之间的干扰、以及静止图像块的配准信息对运动图像块的干扰,从而提高运动图像块的配准信息的精度。这样,图像处理装置依据图像块是静止图像块或运动图像块,确定图像块的配准信息,可提高图像块的配准信息的精度,从而提高第一待配准图像的配准信息的精度。
在一些实施例中,本申请实施例提供的装置具有的功能或包含的模块可以用于执行上文方法实施例描述的方法,其具体实现可以参照上文方法实施例的描述,为了简洁,这里不再赘述。
图7为本申请实施例提供的一种图像处理装置的硬件结构示意图。该图像处理装置2包括处理器21,存储器22,输入装置23,输出装置24。该处理器21、存储器22、输入装置23和输出装置24通过连接器相耦合,该连接器包括各类接口、传输线或总线等等,本申请实施例对此不作限定。应当理解,本申请的各个实施例中,耦合是指通过特定方式的相互联系,包括直接相连或者通过其他设备间接相连,例如可以通过各类接口、传输线、总线等相连。
处理器21可以是一个或多个图形处理器(graphics processing unit,GPU),在处理器21是一个GPU的情况下,该GPU可以是单核GPU,也可以是多核GPU。可选的,处理器21可以是多个GPU构成的处理器组,多个处理器之间通过一个或多个总线彼此耦合。可选的,该处理器还可以为其他类型的处理器等等,本申请实施例不作限定。
存储器22可用于存储计算机程序指令,以及用于执行本申请方案的程序代码在内的各类计算机程序代码。可选地,存储器包括但不限于是随机存储记忆体(random accessmemory,RAM)、只读存储器(read-only memory,ROM)、可擦除可编程只读存储器(erasableprogrammable read only memory,EPROM)、或便携式只读存储器(compact disc read-only memory,CD-ROM),该存储器用于相关指令及数据。
输入装置23用于输入数据和/或信号,以及输出装置24用于输出数据和/或信号。输入装置23和输出装置24可以是独立的器件,也可以是一个整体的器件。
可理解,本申请实施例中,存储器22不仅可用于存储相关指令,还可用于存储相关数据,如该存储器22可用于存储通过输入装置23获取的第一待配准图像,又或者该存储器22还可用于存储通过处理器21得到的第一配准信息等等,本申请实施例对于该存储器中具体所存储的数据不作限定。
可以理解的是,图7仅仅示出了一种图像处理装置的简化设计。在实际应用中,图像处理装置还可以分别包含必要的其他元件,包含但不限于任意数量的输入/输出装置、处理器、存储器等,而所有可以实现本申请实施例的图像处理装置都在本申请的保护范围之内。
本领域普通技术人员可以意识到,结合本文中所公开的实施例描述的各示例的单元及算法步骤,能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行,取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能,但是这种实现不应认为超出本申请的范围。
所属领域的技术人员可以清楚地了解到,为描述的方便和简洁,上述描述的系统、装置和单元的具体工作过程,可以参考前述方法实施例中的对应过程,在此不再赘述。所属领域的技术人员还可以清楚地了解到,本申请各个实施例描述各有侧重,为描述的方便和简洁,相同或类似的部分在不同实施例中可能没有赘述,因此,在某一实施例未描述或未详细描述的部分可以参见其他实施例的记载。
在本申请所提供的几个实施例中,应该理解到,所揭露的系统、装置和方法,可以通过其它的方式实现。例如,以上所描述的装置实施例仅仅是示意性的,例如,所述单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,例如多个单元或组件可以结合或者可以集成到另一个系统,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口,装置或单元的间接耦合或通信连接,可以是电性,机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外,在本申请各个实施例中的各功能单元可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。
在上述实施例中,可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用软件实现时,可以全部或部分地以计算机程序产品的形式实现。所述计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行所述计算机程序指令时,全部或部分地产生按照本申请实施例所述的流程或功能。所述计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。所述计算机指令可以存储在计算机可读存储介质中,或者通过所述计算机可读存储介质进行传输。所述计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线(例如同轴电缆、光纤、数字用户线(digital subscriberline,DSL))或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输。所述计算机可读存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。所述可用介质可以是磁性介质,(例如,软盘、硬盘、磁带)、光介质(例如,数字通用光盘(digital versatiledisc,DVD))、或者半导体介质(例如固态硬盘(solid state disk,SSD))等。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程,该流程可以由计算机程序来指令相关的硬件完成,该程序可存储于计算机可读取存储介质中,该程序在执行时,可包括如上述各方法实施例的流程。而前述的存储介质包括:只读存储器(read-only memory,ROM)或随机存储存储器(random access memory,RAM)、磁碟或者光盘等各种可存储程序代码的介质。

Claims (15)

1.一种图像处理方法,其特征在于,所述方法包括:
获取第一待配准图像和第一参考图像;
将所述第一待配准图像分成至少两个第一图像块,将所述第一参考图像分成至少两个第二图像块;
确定所述至少两个第一图像块中的第一目标图像块为静止图像块或运动图像块,得到第一结果;
依据所述第一结果,对所述第一目标图像块和对应的所述第二图像块进行配准处理,得到所述第一目标图像块的第一配准信息。
2.根据权利要求1所述的方法,其特征在于,所述在所述确定所述至少两个第一图像块中的第一目标图像块为静止图像块或运动图像块,得到第一结果之前,所述方法还包括:
获取采集设备的运动信息,其中,所述采集设备为采集所述第一待配准图像的成像设备;
对所述第一目标图像块和对应的所述第二图像块进行配准处理,得到所述第一目标图像块的第二配准信息;
所述确定所述至少两个第一图像块中的第一目标图像块为所述静止图像块或所述运动图像块,得到第一结果,包括:
依据所述运动信息和所述第一目标图像块的第二配准信息,得到所述第一结果。
3.根据权利要求2所述的方法,其特征在于,所述依据所述运动信息和所述第一目标图像块的第二配准信息,得到所述第一结果,包括:
在所述运动信息与所述第一目标图像块的第二配准信息之间的差异超过第一阈值的情况下,确定所述第一结果为所述第一目标图像块为所述运动图像块;
在所述运动信息与所述第一目标图像块的第二配准信息之间的差异未超过所述第一阈值的情况下,确定所述第一结果为所述第一目标图像块为所述静止图像块。
4.根据权利要求3所述的方法,其特征在于,在所述依据所述第一结果对所述第一目标图像块和对应的所述第二图像块进行配准处理,得到所述第一目标图像块的第一配准信息之前,所述方法还包括:
确定第二目标图像块为所述静止图像块或所述运动图像块,得到第二结果,其中,所述第二目标图像块为所述至少两个第一图像块中不同于所述第一目标图像块的图像块;
对所述第二目标图像块和对应的所述第二图像块进行配准处理,得到所述第二目标图像块的配准信息;
所述依据所述第一结果对所述第一目标图像块和对应的所述第二图像块进行配准处理,得到所述第一目标图像块的第一配准信息,包括:
在所述第一结果为所述第一目标图像块为所述运动图像块的情况下,依据所述第一目标图像块的第二配准信息得到所述第一目标图像块的第一配准信息;
在所述第一结果为所述第一目标图像块为所述静止图像块,且所述第二结果为所述第二目标图像块为所述静止图像块的情况下,依据所述第一目标图像块的第二配准信息和所述第二目标图像块的配准信息,得到所述第一目标图像块的第一配准信息。
5.根据权利要求2至4中任意一项所述的方法,其特征在于,所述对所述第一目标图像块和对应的所述第二图像块进行配准处理,得到所述第一目标图像块的第二配准信息,包括:
对所述第一待配准图像进行下采样处理得到第二待配准图像,对所述第一参考图像进行下采样处理得到第二参考图像;
将所述第二待配准图像分成至少两个第三图像块,将所述第二参考图像分成至少两个第四图像块;
对所述至少两个第三图像块中的第三目标图像块和对应的所述第四图像块进行配准处理,得到所述第三目标图像块的配准信息;
依据所述第三目标图像块的配准信息,对所述第一目标图像块和对应的所述第二图像块进行配准处理得到所述第一目标图像块的第二配准信息。
6.根据权利要求5所述的方法,其特征在于,所述依据所述第三目标图像块的配准信息,对所述第一目标图像块和对应的所述第二图像块进行配准处理得到所述第一目标图像块的第二配准信息,包括:
使用所述第三目标图像块的配准信息对所述第一目标图像块进行修正,得到第一修正后的图像块;
对所述第一修正后的图像块和所述第二图像块进行配准处理得到所述第一目标图像块的第二配准信息。
7.根据权利要求5或6所述的方法,其特征在于,在所述对所述至少两个第三图像块中的第三目标图像块和对应的所述第四图像块进行配准处理,得到所述第三目标图像块的配准信息之前,所述方法还包括:
确定所述第三目标图像块为所述静止图像块或所述运动图像块,得到第三结果;
所述对所述至少两个第三图像块中的第三目标图像块和对应的所述第四图像块进行配准处理,得到所述第三目标图像块的配准信息,包括:
依据所述第三结果对所述至少两个第三图像块中的第三目标图像块和对应的所述第四图像块进行配准处理,得到所述第三目标图像块的配准信息。
8.根据权利要求7所述的方法,其特征在于,所述依据所述第三结果对所述至少两个第三图像块中的第三目标图像块和对应的所述第四图像块进行配准处理,得到所述第三目标图像块的配准信息,包括:
对所述第三目标图像块和对应的所述第四图像块进行配准处理,得到第三配准信息;
对第四目标图像块和对应的所述第四图像块进行配准处理,得到所述第四目标图像块的配准信息,其中,所述第四目标图像块为所述至少两个第三目标图像块中不同于所述第三目标图像块的图像块;
在所述第三结果为所述第三目标图像块为所述运动图像块的情况下,依据所述第三配准信息得到所述第三目标图像块的配准信息;
在所述第三结果为所述第三目标图像块为所述静止图像块的情况下,依据所述第三配准信息和所述第四目标图像块的配准信息,得到所述第三目标图像块的配准信息。
9.根据权利要求8所述的方法,其特征在于,所述依据所述第三配准信息和所述第四目标图像块的配准信息,得到所述第三目标图像块的配准信息,包括:
依据所述第三配准信息和所述第四目标图像块的配准信息,得到所述第二待配准图像的配准信息;
使用所述第二待配准图像的配准信息修正所述第三配准信息,得到所述第三目标图像块的配准信息。
10.根据权利要求6至9中任意一项所述的方法,其特征在于,所述第三目标图像块包括第一像素点,所述第一像素点通过对所述第一待配准图像中的至少两个第二像素点进行所述下采样处理得到;
所述使用所述第三目标图像块的配准信息对所述第一目标图像块进行修正,得到第一修正后的图像块,包括:
将所述第三目标图像块的配准信息作为所述第一像素点的配准信息;
依据所述第一像素点的配准信息,得到所述至少两个第二像素点的配准信息;
依据所述至少两个像素点的配准信息,得到所述第一目标图像块的第四配准信息;
使用所述第一目标图像块的第四配准信息修正所述第一目标图像块的位置,得到所述第一修正后的图像块。
11.根据权利要求2至4中任意一项所述的方法,其特征在于,所述对所述第一目标图像块和对应的所述第二图像块进行配准处理,得到所述第一目标图像块的第二配准信息,包括:
对所述第一目标图像块和对应的所述第二图像块进行搜索配准处理,得到所述第一目标图像块的第二配准信息。
12.根据权利要求1至11中任意一项所述的方法,其特征在于,所述将所述第一待配准图像分成至少两个第一图像块,将所述第一参考图像分成至少两个第二图像块,包括:
以相同的分块方式分别对所述第一待配准图像和所述第一参考图像进行分块,得到所述至少两个第一图像块和所述至少两个第二图像块。
13.一种图像处理装置,其特征在于,所述装置包括:
获取单元,用于获取第一待配准图像和第一参考图像;
分块单元,用于将所述第一待配准图像分成至少两个第一图像块,将所述第一参考图像分成至少两个第二图像块;
第一处理单元,用于确定所述至少两个第一图像块中的第一目标图像块为静止图像块或运动图像块,得到第一结果;
第二处理单元,用于依据所述第一结果,对所述第一目标图像块和对应的所述第二图像块进行配准处理,得到所述第一目标图像块的第一配准信息。
14.一种电子设备,其特征在于,包括:处理器和存储器,所述存储器用于存储计算机程序代码,所述计算机程序代码包括计算机指令,在所述处理器执行所述计算机指令的情况下,所述电子设备执行如权利要求1至12中任一项所述的方法。
15.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质中存储有计算机程序,所述计算机程序包括程序指令,在所述程序指令被处理器执行的情况下,使所述处理器执行权利要求1至12中任意一项所述的方法。
CN202010605387.9A 2020-06-29 2020-06-29 图像处理方法及装置、电子设备及存储介质 Active CN111724421B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010605387.9A CN111724421B (zh) 2020-06-29 2020-06-29 图像处理方法及装置、电子设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010605387.9A CN111724421B (zh) 2020-06-29 2020-06-29 图像处理方法及装置、电子设备及存储介质

Publications (2)

Publication Number Publication Date
CN111724421A true CN111724421A (zh) 2020-09-29
CN111724421B CN111724421B (zh) 2024-01-09

Family

ID=72569525

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010605387.9A Active CN111724421B (zh) 2020-06-29 2020-06-29 图像处理方法及装置、电子设备及存储介质

Country Status (1)

Country Link
CN (1) CN111724421B (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111798497A (zh) * 2020-06-30 2020-10-20 深圳市慧鲤科技有限公司 图像处理方法及装置、电子设备及存储介质
CN116152051A (zh) * 2023-02-27 2023-05-23 上海福柯斯智能科技有限公司 一种x射线图像的分块配准图像剪影方法和装置

Citations (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5361105A (en) * 1993-03-05 1994-11-01 Matsushita Electric Corporation Of America Noise reduction system using multi-frame motion estimation, outlier rejection and trajectory correction
CN103489178A (zh) * 2013-08-12 2014-01-01 中国科学院电子学研究所 一种图像配准方法和系统
US20140126819A1 (en) * 2012-11-06 2014-05-08 Apple Inc. Region of Interest Based Image Registration
CN104063849A (zh) * 2014-06-20 2014-09-24 武汉工程大学 基于图像块自适应配准的视频超分辨重建方法
US20150002745A1 (en) * 2013-07-01 2015-01-01 Xerox Corporation System and method for enhancing images and video frames
CN104680483A (zh) * 2013-11-25 2015-06-03 浙江大华技术股份有限公司 图像的噪声估计方法、视频图像去噪方法及装置
CN105611116A (zh) * 2015-12-23 2016-05-25 苏州科达科技股份有限公司 一种全局运动矢量估计方法及监控视频稳像方法及装置
US20160196639A1 (en) * 2013-09-16 2016-07-07 Sk Telecom Co., Ltd. Apparatus and method for image stabilization using image blur correction
US20180189975A1 (en) * 2015-08-26 2018-07-05 Sony Interactive Entertainment Inc. Information processing apparatus and information processing method
CN108496201A (zh) * 2017-09-27 2018-09-04 深圳市大疆创新科技有限公司 图像处理方法和设备
CN109410130A (zh) * 2018-09-28 2019-03-01 华为技术有限公司 图像处理方法和图像处理装置
CN109685838A (zh) * 2018-12-10 2019-04-26 上海航天控制技术研究所 基于超像素分割的图像弹性配准方法
CN109741379A (zh) * 2018-12-19 2019-05-10 上海商汤智能科技有限公司 图像处理方法、装置、电子设备及计算机可读存储介质
CN111127353A (zh) * 2019-12-16 2020-05-08 重庆邮电大学 一种基于块配准和匹配的高动态图像去鬼影方法
CN111145192A (zh) * 2019-12-30 2020-05-12 维沃移动通信有限公司 图像处理方法及电子设备

Patent Citations (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5361105A (en) * 1993-03-05 1994-11-01 Matsushita Electric Corporation Of America Noise reduction system using multi-frame motion estimation, outlier rejection and trajectory correction
US20140126819A1 (en) * 2012-11-06 2014-05-08 Apple Inc. Region of Interest Based Image Registration
US20150002745A1 (en) * 2013-07-01 2015-01-01 Xerox Corporation System and method for enhancing images and video frames
CN103489178A (zh) * 2013-08-12 2014-01-01 中国科学院电子学研究所 一种图像配准方法和系统
US20160196639A1 (en) * 2013-09-16 2016-07-07 Sk Telecom Co., Ltd. Apparatus and method for image stabilization using image blur correction
CN104680483A (zh) * 2013-11-25 2015-06-03 浙江大华技术股份有限公司 图像的噪声估计方法、视频图像去噪方法及装置
CN104063849A (zh) * 2014-06-20 2014-09-24 武汉工程大学 基于图像块自适应配准的视频超分辨重建方法
US20180189975A1 (en) * 2015-08-26 2018-07-05 Sony Interactive Entertainment Inc. Information processing apparatus and information processing method
CN105611116A (zh) * 2015-12-23 2016-05-25 苏州科达科技股份有限公司 一种全局运动矢量估计方法及监控视频稳像方法及装置
CN108496201A (zh) * 2017-09-27 2018-09-04 深圳市大疆创新科技有限公司 图像处理方法和设备
CN109410130A (zh) * 2018-09-28 2019-03-01 华为技术有限公司 图像处理方法和图像处理装置
CN109685838A (zh) * 2018-12-10 2019-04-26 上海航天控制技术研究所 基于超像素分割的图像弹性配准方法
CN109741379A (zh) * 2018-12-19 2019-05-10 上海商汤智能科技有限公司 图像处理方法、装置、电子设备及计算机可读存储介质
CN111127353A (zh) * 2019-12-16 2020-05-08 重庆邮电大学 一种基于块配准和匹配的高动态图像去鬼影方法
CN111145192A (zh) * 2019-12-30 2020-05-12 维沃移动通信有限公司 图像处理方法及电子设备

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
LOTZ J 等: ""Patch-Based Nonlinear Image Registration for Gigapixel Whole Slide Images"", vol. 63, no. 9, XP011620568, DOI: 10.1109/TBME.2015.2503122 *
毛晓冬: "图像配准与拼接方法研究", vol. 2007, no. 02 *
陶恂: ""一种基于块配准的运动模糊图像复原算法"", vol. 28, no. 7 *

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111798497A (zh) * 2020-06-30 2020-10-20 深圳市慧鲤科技有限公司 图像处理方法及装置、电子设备及存储介质
CN116152051A (zh) * 2023-02-27 2023-05-23 上海福柯斯智能科技有限公司 一种x射线图像的分块配准图像剪影方法和装置
CN116152051B (zh) * 2023-02-27 2023-12-01 上海福柯斯智能科技有限公司 一种x射线图像的分块配准图像剪影方法和装置

Also Published As

Publication number Publication date
CN111724421B (zh) 2024-01-09

Similar Documents

Publication Publication Date Title
CN110866480B (zh) 对象的跟踪方法及装置、存储介质、电子装置
CN108229277B (zh) 手势识别、手势控制及多层神经网络训练方法、装置及电子设备
CN108932051B (zh) 增强现实图像处理方法、装置及存储介质
CN111314604B (zh) 视频防抖方法和装置、电子设备、计算机可读存储介质
CN109683699B (zh) 基于深度学习实现增强现实的方法、装置及移动终端
CN110378994B (zh) 人脸建模方法及相关产品
CN108958469B (zh) 一种基于增强现实的在虚拟世界增加超链接的方法
US10721431B2 (en) Method for estimating a timestamp in a video stream and method of augmenting a video stream with information
CN108776822B (zh) 目标区域检测方法、装置、终端及存储介质
CN111724421B (zh) 图像处理方法及装置、电子设备及存储介质
CN110796664A (zh) 图像处理方法、装置、电子设备及计算机可读存储介质
CN108052869B (zh) 车道线识别方法、装置及计算机可读存储介质
CN110309721B (zh) 视频处理方法、终端和存储介质
CN111199169A (zh) 图像处理方法和装置
KR102464271B1 (ko) 포즈 획득 방법, 장치, 전자 기기, 저장 매체 및 프로그램
CN117615255B (zh) 基于云台的拍摄追踪方法、装置、设备及存储介质
WO2024099068A1 (zh) 基于图像的速度确定方法、装置、设备及存储介质
CN112087728B (zh) 获取Wi-Fi指纹空间分布的方法、装置和电子设备
CN111494947B (zh) 摄像机移动轨迹确定方法、装置、电子设备及存储介质
CN112396634A (zh) 运动目标检测方法、装置、车辆及存储介质
CN111833285A (zh) 图像处理方法、图像处理装置及终端设备
CN115497094A (zh) 图像处理方法及装置、电子设备和存储介质
CN115690845A (zh) 一种运动轨迹预测方法及装置
CN111724422B (zh) 图像处理方法及装置、电子设备及存储介质
CN115330936A (zh) 合成三维图像的方法、装置及电子设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant