CN109064504A - 图像处理方法、装置和计算机存储介质 - Google Patents

图像处理方法、装置和计算机存储介质 Download PDF

Info

Publication number
CN109064504A
CN109064504A CN201810976003.7A CN201810976003A CN109064504A CN 109064504 A CN109064504 A CN 109064504A CN 201810976003 A CN201810976003 A CN 201810976003A CN 109064504 A CN109064504 A CN 109064504A
Authority
CN
China
Prior art keywords
image
processed
multiframe
frame
deviant
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201810976003.7A
Other languages
English (en)
Other versions
CN109064504B (zh
Inventor
董超
李嵩
贺岳平
王甜甜
赵富荣
周仪
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Sensetime Technology Co Ltd
Original Assignee
Shenzhen Sensetime Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Sensetime Technology Co Ltd filed Critical Shenzhen Sensetime Technology Co Ltd
Priority to CN201810976003.7A priority Critical patent/CN109064504B/zh
Publication of CN109064504A publication Critical patent/CN109064504A/zh
Application granted granted Critical
Publication of CN109064504B publication Critical patent/CN109064504B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/30Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30168Image quality inspection

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Image Processing (AREA)

Abstract

本发明实施例公开了一种图像处理方法、装置和计算机存储介质。所述方法包括:获取多帧待处理图像,其中,所述多帧待处理图像为针对同一目标对象的图像;对所述多帧待处理图像进行配准处理;对配准处理后的所述多帧待处理图像中的至少一帧图像进行图像质量提升处理,获得所述至少一帧图像中的每一帧图像对应的至少一帧目标图像。

Description

图像处理方法、装置和计算机存储介质
技术领域
本发明涉及图像处理技术,具体涉及一种图像处理方法、装置和计算机存储介质。
背景技术
为提升图像质量,通常会采用某一方法解决某一具体问题的图像处理方式,例如以图像去噪或者以图像去模糊实现图像质量增强。这些图像处理方式在针对某一特定问题,且仅针对一种应用场景时,可以取得图像质量提升的效果。但随着问题的复杂性的增加,或者应用场景的改变,这些仅适用于一种应用场景的图像处理方式往往不适用复杂的应用场景或者改变的应用场景。
发明内容
为解决现有存在的技术问题,本发明实施例提供一种图像处理方法、装置和计算机存储介质。
为达到上述目的,本发明实施例的技术方案是这样实现的:
本发明实施例提供了一种图像处理方法,所述方法包括:
获取多帧待处理图像,其中,所述多帧待处理图像为针对同一目标对象的图像;
对所述多帧待处理图像进行配准处理;
对配准处理后的所述多帧待处理图像中的至少一帧图像进行图像质量提升处理,获得所述至少一帧图像中的每一帧图像对应的至少一帧目标图像。
上述方案中,所述对所述多帧待处理图像进行配准处理,包括:
获取所述多帧待处理图像中符合预定条件的第一图像;
以所述第一图像作为参照图像对所述多帧待处理图像中的至少一帧第二图像进行配准,其中,所述第一图像和所述至少一帧第二图像组成所述多帧待处理图像。
上述方案中,所述获取所述多帧待处理图像中符合预定条件的第一图像,包括:获取所述多帧待处理图像中清晰度符合预定条件的第一图像。
上述方案中,所述以所述第一图像作为参照图像对所述多帧待处理图像中的至少一帧第二图像进行配准,包括:
确定所述第二图像相对于所述第一图像的偏移值,基于所述偏移值对所述第二图像进行相对于所述第一图像的配准处理。
上述方案中,所述确定第二图像相对于所述第一图像的偏移值,包括:
分别提取所述多帧待处理图像中每帧待处理图像的特征点;
对所述第一图像的特征点和所述第二图像的特征点进行特征光流匹配,基于匹配结果获得第二图像相对于所述第一图像的偏移值。
上述方案中,所述基于匹配结果获得所述第二图像相对于所述第一图像的偏移值,包括:
分别对所述多帧待处理图像进行分块处理;
基于匹配结果获得所述第二图像中的第二图像分块相对于所述第一图像中的与所述第二图像分块对应的第一图像分块的图像分块偏移值;
基于所述图像分块偏移值确定所述第二图像相对于所述第一图像的偏移值。
本发明实施例还提供了一种图像处理装置,所述装置包括:图像获取单元、图像配准单元和图像质量提升单元;其中,
所述图像获取单元,用于获取多帧待处理图像,其中,所述多帧待处理图像为针对同一目标对象的图像;
所述图像配准单元,用于对所述图像获取单元获得的所述多帧待处理图像进行配准处理;
所述图像质量提升单元,用于对配准处理后的所述多帧待处理图像中的至少一帧图像进行图像质量提升处理,获得所述至少一帧图像中的每一帧图像对应的至少一帧目标图像。
上述方案中,所述图像配准单元,用于获取所述多帧待处理图像中符合预定条件的第一图像;以所述第一图像作为参照图像对所述多帧待处理图像中的至少一帧第二图像进行配准,其中,所述第一图像和所述至少一帧第二图像组成所述多帧待处理图像。
上述方案中,所述图像配准单元,用于获取所述多帧待处理图像中清晰度符合预定条件的第一图像。
上述方案中,所述图像配准单元,用于确定所述第二图像相对于所述第一图像的偏移值,基于所述偏移值对所述第二图像进行相对于所述第一图像的配准处理。
上述方案中,所述图像配准单元,用于分别提取所述多帧待处理图像中每帧待处理图像的特征点;对所述第一图像的特征点和所述第二图像的特征点进行特征光流匹配,基于匹配结果获得第二图像相对于所述第一图像的偏移值。
上述方案中,所述图像配准单元,用于分别对所述多帧待处理图像进行分块处理;基于匹配结果获得所述第二图像中的第二图像分块相对于所述第一图像中的与所述第二图像分块对应的第一图像分块的图像分块偏移值;基于所述图像分块偏移值确定所述第二图像相对于所述第一图像的偏移值。
本发明实施例还提供了一种计算机存储介质,其上存储有计算机指令,该指令被处理器执行时实现本发明实施例所述图像处理方法的步骤。
本发明实施例还提供了一种图像处理装置,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,所述处理器执行所述程序时实现本发明实施例所述图像处理方法的步骤。
本发明实施例提供的图像处理方法、装置和计算机存储介质,所述方法包括:获取多帧待处理图像,其中,所述多帧待处理图像为同一采集设备采集的同一目标对象的图像;对所述多帧待处理图像进行配准处理;对配准处理后的所述多帧待处理图像中的至少一帧图像进行图像质量提升处理,获得所述至少一帧图像中的每一帧图像对应的至少一帧目标图像。采用本发明实施例的技术方案,通过对多帧待处理图像进行图像配准处理以及图像质量提升处理,从而获得高图像质量的目标图像,一方面允许在图像采集过程中的小幅移动,降低了对前期图像采集的质量要求;另一方面,以改善图像质量为出发点,实现了高-低图像质量的图像数据对的获取,并且可通过不同的图像质量提升处理实现了对应于不同的高-低图像质量的图像数据对的获取。
附图说明
图1为本发明实施例的图像处理方法的流程示意图;
图2为本发明实施例的图像处理方法中的配准处理的一种流程示意图;
图3为本发明实施例的图像处理方法中的配准处理的一种具体流程示意图;
图4为本发明实施例的图像处理方法中的配准处理中的一种偏移值获取流程示意图;
图5为本发明实施例的图像处理装置的组成结构示意图;
图6为本发明实施例的图像处理装置的硬件组成结构示意图。
具体实施方式
下面结合附图及具体实施例对本发明作进一步详细的说明。
实施例一
本发明实施例提供了一种图像处理方法。图1为本发明实施例的图像处理方法的一种流程示意图;如图1所示,所述方法包括:
步骤11:获取多帧待处理图像,其中,所述多帧待处理图像为针对同一目标对象的图像。
本实施例中,获得的多帧待处理图像为图像采集设备(图像采集设备具体可以是具有摄像头的移动终端,例如手机、照相机等)针对同一目标对象采集的多个图像。例如,一个图像采集设备在一个图像采集位置连续触发拍照快门从而采集的针对同一目标对象的多个图像。又例如,多个图像采集设备在同一个图像采集位置针对同一目标对象采集的图像。其中,上述的多帧待处理图像具有相同的尺寸。
步骤12:对所述多帧待处理图像进行配准处理。
本实施例中,在图像的采集过程中,多帧待处理图像之间可能会存在位移或者抖动,即使采用同一图像采集设备在一个图像采集位置连续触发拍照快门,也可能会由于手抖等不稳定的情况使得采集的多帧待处理图像并非是完全一样的。因此需要对多帧待处理图像中的进行配准处理,从而能够获得完全一致的配准处理后的多帧待处理图像。
步骤13:对配准处理后的所述多帧待处理图像中的至少一帧图像进行图像质量提升处理,获得所述至少一帧图像中的每一帧图像对应的至少一帧目标图像。
本实施例中,所述对配准处理后的所述多帧待处理图像中的至少一帧图像进行图像质量提升处理,包括:对配准处理后的所述多帧待处理图像进行图像去噪、图像增强、图像去模糊化中的至少一种处理。在其他实施例中不限于上述列举的图像质量提升处理方式,其他有助于图像质量提升的处理方式也在本发明实施例的保护范围之内。
作为一种实施方式,对配准处理后的所述多帧待处理图像进行图像去噪处理,具体可包括:对配准处理后的所述多帧待处理图像进行叠加,生成的目标图像具有较好的去噪效果。当然,本发明实施例中不限于上述列举的图像去噪处理方式,其他具有图像去噪效果的图像处理方式也在本发明实施例的保护范围之内。
作为一种实施方式,对配准处理后的所述多帧待处理图像进行图像增强处理可采用以下至少一种图像增强算法:图像直方图均衡化算法、图像对比度增强算法、图像锐化算法,当然,本发明实施例中不限于上述列举的图像增强算法,其他具有图像增强效果的图像处理方式也在本发明实施例的保护范围之内。
本发明实施例中,对配准处理后的所述多帧待处理图像,可以针对该多帧待处理图像中的至少一帧待处理图像进行图像质量提升处理。而采用的图像质量提升算法可采用至少一种,即可通过不同的图像质量提升算法获得针对于同一帧的待处理图像的不同图像质量的目标图像,也即获得对应于不同图像质量的待处理图像-目标图像的数据对。可以理解为,不同的图像质量提升算法可获得不同的高低图像质量数据对。
作为一种实施方式,采用的至少一种图像质量提升算法为针对同一图像质量提升效果的图像质量提升算法,以图像质量提升效果为图像去噪为例。例如可采用至少一种图像去噪算法,则获得表征低图像质量的高噪声图像和至少一个表征高图像质量的低噪声图像;又例如,若采用图像增强算法,则获得表征低图像质量的较模糊的图像和表征高图像质量的较清晰的图像,从而可实现不同应用场景的转换,也可为用于机器学习的训练数据集提供高低图像质量的样本图像。作为另一种实施方式,采用的至少一种图像质量提升算法为针对多个图像质量提升效果的图像质量提升算法,例如可采用图像去噪算法和图像增强算法对图像进行图像处理。
另一方面,对于获得多帧待处理图像,尤其是通过不同的图像采集设备采集的多帧待处理图像,还可通过本申请的图像处理后的效果评价不同的图像采集设备的图像采集的性能。
采用本发明实施例的技术方案,通过对多帧待处理图像进行图像配准处理以及图像质量提升处理,从而获得高图像质量的目标图像,一方面允许在图像采集过程中的小幅移动,降低了对前期图像采集的质量要求。另一方面,以改善图像质量为出发点,实现了高-低图像质量的图像数据对的获取,并且可通过不同的图像质量提升处理实现了对应于不同的高-低图像质量的图像数据对的获取。
在本发明的一种实施方式中,图2为本发明实施例的图像处理方法中的配准处理的一种流程示意图;如图2所示,所述对所述多帧待处理图像进行配准处理,包括:
步骤121:获取所述多帧待处理图像中符合预定条件的第一图像。
在本实施例中,所述获取所述多帧待处理图像中符合预定条件的第一图像,包括:获取所述多帧待处理图像中清晰度符合预定条件的第一图像。其中,将清晰度最高的待处理图像作为第一图像。
作为一种示例,所述获取所述多帧待处理图像中清晰度符合预定条件的第一图像,包括:分别计算所述多帧待处理图像中每帧待处理图像的梯度值,选取梯度值最大的图像作为清晰度符合预定条件的第一图像。
本实施方式中,可通过计算图像的梯度值的方式确定图像的清晰度。当然,本发明实施例不限于采用其他图像清晰度评价函数计算图像的清晰度;其中,所述图像清晰度评价函数包括但不限于以下函数的至少之一:均差法、峰值信噪比、HVS、点锐度算法、空域参数方差、频域调制传递函数MTF等。当然,本实施方式中也可通过人眼识别的方式获得清晰度最高的第一图像。
步骤122:以所述第一图像作为参照图像对所述多帧待处理图像中的至少一帧第二图像进行配准,其中,所述第一图像和所述至少一帧第二图像组成所述多帧待处理图像。
本实施方式中,首先对多帧待处理图像中的每个图像的清晰度进行分析识别,选择清晰度最高的图像(即第一图像)作为参考图像,多帧待处理图像中除第一图像以外的其他图像以所述第一图像为参考(或基准),向所述第一图像进行图像配准处理。
在本发明的一种实施方式中,图3为本发明实施例的图像处理方法中的配准处理的一种具体流程示意图;如图3所示,所述以所述第一图像作为参照图像对所述多帧待处理图像中的至少一帧第二图像进行配准,包括:
步骤1221:确定所述第二图像相对于所述第一图像的偏移值。
作为一种实施方式,所述确定第二图像相对于所述第一图像的偏移值,包括:分别提取所述多帧待处理图像中每帧待处理图像的特征点;对所述第一图像的特征点和所述第二图像的特征点进行特征光流匹配,基于匹配结果获得第二图像相对于所述第一图像的偏移值。
本实施例中,图像中提取出的特征点用于表征图像中的图像特征,或者也可以说特征点用于表征属于特征性的信息。所述特征点的类型包括但不限于以下至少之一:边缘、角、区域等。作为一种示例,所述特征点可以为图像中灰度值的变化较大的点,或者边缘的曲率较大的点。其中,可采用特征点检测算法分别提取所述多帧待处理图像中每帧待处理图像的特征点;所述特征点检测算法包括但不限于以下算法的至少之一:边缘检测算法、灰度检测算法、基于空间变换的方法。
步骤1222:基于所述偏移值对所述第二图像进行相对于所述第一图像的配准处理。
本实施方式中,通过光流匹配算法对所述第一图像的特征点和所述第二图像的特征点进行特征匹配,具体是将第一图像和第二图像中表征相同图像信息的特征点进行匹配,分别确定匹配的特征点在图像中的位置,基于第一图像中的特征点所在位置和第二图像中的特征点的位置可确定第二图像中的特征点相对于第一图像中的特征点的位移,可通过第二图像中所有匹配的特征点的位移按照平均(或加权平均)等处理方式确定所述第二图像相对于所述第一图像的平均位移,将所述平均位移确定为所述偏移值。进而可按照所述偏移值对第二图像进行相对于所述第一图像的配准处理,具体可针对第二图像按照该偏移值表征的相反方向移动与该偏移值对应的距离。
采用本实施例的配准处理方案,一方面允许在图像采集过程中的小幅移动,降低了对前期图像采集的质量要求;另一方面采用光流匹配方式,大大提升了配准精度,鲁棒性强。
在本发明的一种实施方式中,图4为本发明实施例的图像处理方法中的配准处理中的一种偏移值获取流程示意图;如图4所示,所述基于匹配结果获得所述第二图像相对于所述第一图像的偏移值,包括:
步骤201:分别对所述多帧待处理图像进行分块处理。
本实施方式中,分别对多帧待处理图像进行分块处理,使得每帧待处理图像分割为多个图像分块。所述多帧待处理图像的分块方式相同,例如将所述多帧待处理图像均按照16*16的分割方式进行分块处理。
步骤202:基于匹配结果获得所述第二图像中的第二图像分块相对于所述第一图像中的与所述第二图像分块对应的第一图像分块的图像分块偏移值。其中,第一图像分块为第一图像的任一图像分块;第二图像分块为第二图像的任一图像分块。
这里,按照前述实施例中的光流匹配算法对第一图像中的第一图像分块和第二图像中的第二图像分块进行匹配。作为一种示例,可分别提取所述多帧待处理图像中每帧待处理图像的特征点;在针对第一图像中的图像分块和第二图像中的图像分块进行匹配过程中,将表征相同图像信息的第一图像中的第一图像分块与第二图像中的第二图像分块的特征点进行匹配,基于同一特征点在第一图像分块中的第一位置和在第二图像分块中的第二位置可确定该特征点在第二图像分块中相对于在第一图像分块中的位置;可通过第二图像分块中所有匹配的特征点相对于第一图像分块的位移按照平均(或加权平均)等处理方式确定第二图像分块与对应的第一图像分块的图像分块偏移值。
步骤203:基于所述图像分块偏移值确定所述第二图像相对于所述第一图像的偏移值。
这里,可按照第二图像中每个图像分块相对于第一图像中对应的图像分块的偏移值进行相对于所述第一图像的对应图像分块的配准处理,具体可针对第二图像中的图像分块按照对应的偏移值表征的相反方向移动与该偏移值对应的距离,从而实现第二图像相对于所述第一图像的对齐。
本实施方式在图像配准过程中对图像进行分块处理,一方面大大降低了数据处理量,提升数据处理效率;另一方面本实施例可基于图像分块进行图像配准,能够大大提升稳定性,对于噪声的抗性强。
实施例二
本发明实施例还提供了一种图像处理装置。图5为本发明实施例的图像处理装置的组成结构示意图;如图5所示,所述装置包括:图像获取单元31、图像配准单元32和图像质量提升单元33;其中,
所述图像获取单元31,用于获取多帧待处理图像,其中,所述多帧待处理图像为针对同一目标对象的图像;
所述图像配准单元32,用于对所述图像获取单元31获得的所述多帧待处理图像进行配准处理;
所述图像质量提升单元33,用于对配准处理后的所述多帧待处理图像中的至少一帧图像进行图像质量提升处理,获得所述至少一帧图像中的每一帧图像对应的至少一帧目标图像。
在本发明的一种实施方式中,所述图像配准单元32,用于获取所述多帧待处理图像中符合预定条件的第一图像;以所述第一图像作为参照图像对所述多帧待处理图像中的至少一帧第二图像进行配准,其中,所述第一图像和所述至少一帧第二图像组成所述多帧待处理图像。
其中,所述图像配准单元32,用于获取所述多帧待处理图像中清晰度符合预定条件的第一图像。
作为一种实施方式,所述图像配准单元32,用于确定所述第二图像相对于所述第一图像的偏移值,基于所述偏移值对所述第二图像进行相对于所述第一图像的配准处理。
这里,所述图像配准单元32,用于分别提取所述多帧待处理图像中每帧待处理图像的特征点;对所述第一图像的特征点和所述第二图像的特征点进行特征光流匹配,基于匹配结果获得第二图像相对于所述第一图像的偏移值。
其中,所述图像配准单元32,用于分别对所述多帧待处理图像进行分块处理;基于匹配结果获得所述第二图像中的第二图像分块相对于所述第一图像中的与所述第二图像分块对应的第一图像分块的图像分块偏移值;基于所述图像分块偏移值确定所述第二图像相对于所述第一图像的偏移值。
在一实施例中,所述图像质量提升单元33,用于对配准处理后的所述多帧待处理图像中的至少一帧图像进行以下至少之一的图像质量提升处理:对配准处理后的所述多帧待处理图像进行图像去噪处理;对配准处理后的所述多帧待处理图像进行图像增强处理;对配准处理后的所述多帧待处理图像进行图像去模糊化处理。
本发明实施例中,所述装置中的图像获取单元31、图像配准单元32和图像质量提升单元33,在实际应用中均可由中央处理器(CPU,Central Processing Unit)、数字信号处理器(DSP,Digital Signal Processor)、微控制单元(MCU,Microcontroller Unit)或可编程门阵列(FPGA,Field-Programmable Gate Array)实现。
需要说明的是:上述实施例提供的图像处理装置在进行图像处理时,仅以上述各程序模块的划分进行举例说明,实际应用中,可以根据需要而将上述处理分配由不同的程序模块完成,即将装置的内部结构划分成不同的程序模块,以完成以上描述的全部或者部分处理。另外,上述实施例提供的图像处理装置与图像处理方法实施例属于同一构思,其具体实现过程详见方法实施例,这里不再赘述。
实施例三
本发明实施例还提供了一种图像处理装置。图6为本发明实施例的图像处理装置的硬件组成结构示意图,如图6所示,图像处理装置包括存储器42、处理器41及存储在存储器42上并可在处理器41上运行的计算机程序,所述处理器41执行所述程序时实现:获取多帧待处理图像,其中,所述多帧待处理图像为针对同一目标对象的图像;对所述多帧待处理图像进行配准处理;对配准处理后的所述多帧待处理图像中的至少一帧图像进行图像质量提升处理,获得所述至少一帧图像中的每一帧图像对应的至少一帧目标图像。
在一实施例中,所述处理器41执行所述程序时实现:获取所述多帧待处理图像中符合预定条件的第一图像;以所述第一图像作为参照图像对所述多帧待处理图像中的至少一帧第二图像进行配准,其中,所述第一图像和所述至少一帧第二图像组成所述多帧待处理图像。
在一实施例中,所述处理器41执行所述程序时实现:获取所述多帧待处理图像中清晰度符合预定条件的第一图像。
在一实施例中,所述处理器41执行所述程序时实现:确定所述第二图像相对于所述第一图像的偏移值,基于所述偏移值对所述第二图像进行相对于所述第一图像的配准处理。
在一实施例中,所述处理器41执行所述程序时实现:分别提取所述多帧待处理图像中每帧待处理图像的特征点;对所述第一图像的特征点和所述第二图像的特征点进行特征光流匹配,基于匹配结果获得第二图像相对于所述第一图像的偏移值。
在一实施例中,所述处理器41执行所述程序时实现:分别对所述多帧待处理图像进行分块处理;基于匹配结果获得所述第二图像中的第二图像分块相对于所述第一图像中的与所述第二图像分块对应的第一图像分块的图像分块偏移值;基于所述图像分块偏移值确定所述第二图像相对于所述第一图像的偏移值。
在一实施例中,所述处理器41执行所述程序时实现:对配准处理后的所述多帧待处理图像中的至少一帧图像进行以下至少一种图像质量提升处理:对配准处理后的所述多帧待处理图像进行图像去噪处理;对配准处理后的所述多帧待处理图像进行图像增强处理;对配准处理后的所述多帧待处理图像进行图像去模糊化处理。
可以理解,图像处理装置中的各个组件可通过总线系统43耦合在一起。可理解,总线系统43用于实现这些组件之间的连接通信。总线系统43除包括数据总线之外,还包括电源总线、控制总线和状态信号总线。但是为了清楚说明起见,在图6中将各种总线都标为总线系统43。
可以理解,存储器42可以是易失性存储器或非易失性存储器,也可包括易失性和非易失性存储器两者。其中,非易失性存储器可以是只读存储器(ROM,Read Only Memory)、可编程只读存储器(PROM,Programmable Read-Only Memory)、可擦除可编程只读存储器(EPROM,Erasable Programmable Read-Only Memory)、电可擦除可编程只读存储器(EEPROM,Electrically Erasable Programmable Read-Only Memory)、磁性随机存取存储器(FRAM,ferromagnetic random access memory)、快闪存储器(Flash Memory)、磁表面存储器、光盘、或只读光盘(CD-ROM,Compact Disc Read-Only Memory);磁表面存储器可以是磁盘存储器或磁带存储器。易失性存储器可以是随机存取存储器(RAM,Random AccessMemory),其用作外部高速缓存。通过示例性但不是限制性说明,许多形式的RAM可用,例如静态随机存取存储器(SRAM,Static Random Access Memory)、同步静态随机存取存储器(SSRAM,Synchronous Static Random Access Memory)、动态随机存取存储器(DRAM,Dynamic Random Access Memory)、同步动态随机存取存储器(SDRAM,SynchronousDynamic Random Access Memory)、双倍数据速率同步动态随机存取存储器(DDRSDRAM,Double Data Rate Synchronous Dynamic Random Access Memory)、增强型同步动态随机存取存储器(ESDRAM,Enhanced Synchronous Dynamic Random Access Memory)、同步连接动态随机存取存储器(SLDRAM,SyncLink Dynamic Random Access Memory)、直接内存总线随机存取存储器(DRRAM,Direct Rambus Random Access Memory)。本发明实施例描述的存储器42旨在包括但不限于这些和任意其它适合类型的存储器。
上述本发明实施例揭示的方法可以应用于处理器41中,或者由处理器41实现。处理器41可能是一种集成电路芯片,具有信号的处理能力。在实现过程中,上述方法的各步骤可以通过处理器41中的硬件的集成逻辑电路或者软件形式的指令完成。上述的处理器41可以是通用处理器、DSP,或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。处理器41可以实现或者执行本发明实施例中的公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者任何常规的处理器等。结合本发明实施例所公开的方法的步骤,可以直接体现为硬件译码处理器执行完成,或者用译码处理器中的硬件及软件模块组合执行完成。软件模块可以位于存储介质中,该存储介质位于存储器42,处理器41读取存储器42中的信息,结合其硬件完成前述方法的步骤。
在示例性实施例中,图像处理装置可以被一个或多个应用专用集成电路(ASIC,Application Specific Integrated Circuit)、DSP、可编程逻辑器件(PLD,ProgrammableLogic Device)、复杂可编程逻辑器件(CPLD,Complex Programmable Logic Device)、FPGA、通用处理器、控制器、MCU、微处理器(Microprocessor)、或其他电子元件实现,用于执行前述方法。
实施例四
在示例性实施例中,本发明实施例还提供了一种计算机存储介质,例如包括计算机程序的存储器42,上述计算机程序可由图像处理装置的处理器41执行,以完成前述方法所述步骤。计算机存储介质可以是FRAM、ROM、PROM、EPROM、EEPROM、Flash Memory、磁表面存储器、光盘、或CD-ROM等存储器;也可以是包括上述存储器之一或任意组合的各种设备。
本发明实施例还提供了一种计算机存储介质,其上存储有计算机指令,该指令被处理器执行时实现:获取多帧待处理图像,其中,所述多帧待处理图像为针对同一目标对象的图像;对所述多帧待处理图像进行配准处理;对配准处理后的所述多帧待处理图像中的至少一帧图像进行图像质量提升处理,获得所述至少一帧图像中的每一帧图像对应的至少一帧目标图像。
在一实施例中,该指令被处理器执行时实现:获取所述多帧待处理图像中符合预定条件的第一图像;以所述第一图像作为参照图像对所述多帧待处理图像中的至少一帧第二图像进行配准,其中,所述第一图像和所述至少一帧第二图像组成所述多帧待处理图像。
在一实施例中,该指令被处理器执行时实现:获取所述多帧待处理图像中清晰度符合预定条件的第一图像。
在一实施例中,该指令被处理器执行时实现:确定所述第二图像相对于所述第一图像的偏移值,基于所述偏移值对所述第二图像进行相对于所述第一图像的配准处理。
在一实施例中,该指令被处理器执行时实现:分别提取所述多帧待处理图像中每帧待处理图像的特征点;对所述第一图像的特征点和所述第二图像的特征点进行特征光流匹配,基于匹配结果获得第二图像相对于所述第一图像的偏移值。
在一实施例中,该指令被处理器执行时实现:分别对所述多帧待处理图像进行分块处理;基于匹配结果获得所述第二图像中的第二图像分块相对于所述第一图像中的与所述第二图像分块对应的第一图像分块的图像分块偏移值;基于所述图像分块偏移值确定所述第二图像相对于所述第一图像的偏移值。
在一实施例中,该指令被处理器执行时实现:对配准处理后的所述多帧待处理图像中的至少一帧图像进行以下至少一种图像质量提升处理:对配准处理后的所述多帧待处理图像进行图像去噪处理;对配准处理后的所述多帧待处理图像进行图像增强处理;对配准处理后的所述多帧待处理图像进行图像去模糊化处理。
在本申请所提供的几个实施例中,应该理解到,所揭露的装置和方法,可以通过其它的方式实现。以上所描述的设备实施例仅仅是示意性的,例如,所述单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,如:多个单元或组件可以结合,或可以集成到另一个系统,或一些特征可以忽略,或不执行。另外,所显示或讨论的各组成部分相互之间的耦合、或直接耦合、或通信连接可以是通过一些接口,设备或单元的间接耦合或通信连接,可以是电性的、机械的或其它形式的。
上述作为分离部件说明的单元可以是、或也可以不是物理上分开的,作为单元显示的部件可以是、或也可以不是物理单元,即可以位于一个地方,也可以分布到多个网络单元上;可以根据实际的需要选择其中的部分或全部单元来实现本实施例方案的目的。
另外,在本发明各实施例中的各功能单元可以全部集成在一个处理单元中,也可以是各单元分别单独作为一个单元,也可以两个或两个以上单元集成在一个单元中;上述集成的单元既可以采用硬件的形式实现,也可以采用硬件加软件功能单元的形式实现。
本领域普通技术人员可以理解:实现上述方法实施例的全部或部分步骤可以通过程序指令相关的硬件来完成,前述的程序可以存储于一计算机可读取存储介质中,该程序在执行时,执行包括上述方法实施例的步骤;而前述的存储介质包括:移动存储设备、ROM、RAM、磁碟或者光盘等各种可以存储程序代码的介质。
或者,本发明上述集成的单元如果以软件功能模块的形式实现并作为独立的产品销售或使用时,也可以存储在一个计算机可读取存储介质中。基于这样的理解,本发明实施例的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可以是个人计算机、服务器、或者网络设备等)执行本发明各个实施例所述方法的全部或部分。而前述的存储介质包括:移动存储设备、ROM、RAM、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述,仅为本发明的具体实施方式,但本发明的保护范围并不局限于此,任何熟悉本技术领域的技术人员在本发明揭露的技术范围内,可轻易想到变化或替换,都应涵盖在本发明的保护范围之内。因此,本发明的保护范围应以所述权利要求的保护范围为准。

Claims (10)

1.一种图像处理方法,其特征在于,所述方法包括:
获取多帧待处理图像,其中,所述多帧待处理图像为针对同一目标对象的图像;
对所述多帧待处理图像进行配准处理;
对配准处理后的所述多帧待处理图像中的至少一帧图像进行图像质量提升处理,获得所述至少一帧图像中的每一帧图像对应的至少一帧目标图像。
2.根据权利要求1所述的方法,其特征在于,所述对所述多帧待处理图像进行配准处理,包括:
获取所述多帧待处理图像中符合预定条件的第一图像;
以所述第一图像作为参照图像对所述多帧待处理图像中的至少一帧第二图像进行配准,其中,所述第一图像和所述至少一帧第二图像组成所述多帧待处理图像。
3.根据权利要求2所述的方法,其特征在于,所述获取所述多帧待处理图像中符合预定条件的第一图像,包括:获取所述多帧待处理图像中清晰度符合预定条件的第一图像。
4.根据权利要求2所述的方法,其特征在于,所述以所述第一图像作为参照图像对所述多帧待处理图像中的至少一帧第二图像进行配准,包括:
确定所述第二图像相对于所述第一图像的偏移值,基于所述偏移值对所述第二图像进行相对于所述第一图像的配准处理。
5.根据权利要求4所述的方法,其特征在于,所述确定第二图像相对于所述第一图像的偏移值,包括:
分别提取所述多帧待处理图像中每帧待处理图像的特征点;
对所述第一图像的特征点和所述第二图像的特征点进行特征光流匹配,基于匹配结果获得第二图像相对于所述第一图像的偏移值。
6.根据权利要求5所述的方法,其特征在于,所述基于匹配结果获得所述第二图像相对于所述第一图像的偏移值,包括:
分别对所述多帧待处理图像进行分块处理;
基于匹配结果获得所述第二图像中的第二图像分块相对于所述第一图像中的与所述第二图像分块对应的第一图像分块的图像分块偏移值;
基于所述图像分块偏移值确定所述第二图像相对于所述第一图像的偏移值。
7.一种图像处理装置,其特征在于,所述装置包括:图像获取单元、图像配准单元和图像质量提升单元;其中,
所述图像获取单元,用于获取多帧待处理图像,其中,所述多帧待处理图像为针对同一目标对象的图像;
所述图像配准单元,用于对所述图像获取单元获得的所述多帧待处理图像进行配准处理;
所述图像质量提升单元,用于对配准处理后的所述多帧待处理图像中的至少一帧图像进行图像质量提升处理,获得所述至少一帧图像中的每一帧图像对应的至少一帧目标图像。
8.根据权利要求7所述的装置,其特征在于,所述图像配准单元,用于获取所述多帧待处理图像中符合预定条件的第一图像;以所述第一图像作为参照图像对所述多帧待处理图像中的至少一帧第二图像进行配准,其中,所述第一图像和所述至少一帧第二图像组成所述多帧待处理图像。
9.一种计算机存储介质,其上存储有计算机指令,其特征在于,该指令被处理器执行时实现权利要求1至6任一项所述图像处理方法的步骤。
10.一种图像处理装置,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,其特征在于,所述处理器执行所述程序时实现权利要求1至6任一项所述图像处理方法的步骤。
CN201810976003.7A 2018-08-24 2018-08-24 图像处理方法、装置和计算机存储介质 Active CN109064504B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810976003.7A CN109064504B (zh) 2018-08-24 2018-08-24 图像处理方法、装置和计算机存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810976003.7A CN109064504B (zh) 2018-08-24 2018-08-24 图像处理方法、装置和计算机存储介质

Publications (2)

Publication Number Publication Date
CN109064504A true CN109064504A (zh) 2018-12-21
CN109064504B CN109064504B (zh) 2022-07-15

Family

ID=64757013

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810976003.7A Active CN109064504B (zh) 2018-08-24 2018-08-24 图像处理方法、装置和计算机存储介质

Country Status (1)

Country Link
CN (1) CN109064504B (zh)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110992412A (zh) * 2019-12-09 2020-04-10 Oppo广东移动通信有限公司 图像处理方法、装置、存储介质及电子设备
CN112017175A (zh) * 2020-09-04 2020-12-01 上海联影医疗科技股份有限公司 支架显示方法、装置和存储介质
CN112785573A (zh) * 2021-01-22 2021-05-11 上海商汤智能科技有限公司 图像处理方法及相关装置、设备
WO2021092797A1 (zh) * 2019-11-13 2021-05-20 Oppo广东移动通信有限公司 图像的配准方法、终端以及计算机存储介质
CN113228105A (zh) * 2019-12-30 2021-08-06 商汤国际私人有限公司 一种图像处理方法、装置和电子设备
CN113808181A (zh) * 2020-10-30 2021-12-17 上海联影智能医疗科技有限公司 医学图像的处理方法、电子设备和存储介质
CN114793262A (zh) * 2021-01-26 2022-07-26 华为技术有限公司 一种图像传感器、摄像头、电子设备及控制方法

Citations (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20020015536A1 (en) * 2000-04-24 2002-02-07 Warren Penny G. Apparatus and method for color image fusion
US20080170126A1 (en) * 2006-05-12 2008-07-17 Nokia Corporation Method and system for image stabilization
CN103606132A (zh) * 2013-10-31 2014-02-26 西安电子科技大学 基于空域和时域联合滤波的多帧数字图像去噪方法
CN103646232A (zh) * 2013-09-30 2014-03-19 华中科技大学 飞行器地面运动目标红外图像识别装置
CN104616296A (zh) * 2015-01-23 2015-05-13 上海联影医疗科技有限公司 提高放射治疗影像质量的方法及装置、放射治疗系统
CN105608674A (zh) * 2015-12-16 2016-05-25 同济大学 一种基于图像配准、插值和去噪的图像增强方法
CN105959514A (zh) * 2016-04-20 2016-09-21 河海大学 一种弱目标成像检测装置及方法
CN106060418A (zh) * 2016-06-29 2016-10-26 深圳市优象计算技术有限公司 基于imu信息的宽动态图像融合方法
CN106296570A (zh) * 2016-07-28 2017-01-04 北京小米移动软件有限公司 图像处理方法及装置
CN106846293A (zh) * 2016-12-14 2017-06-13 海纳医信(北京)软件科技有限责任公司 图像处理方法和装置
CN107369170A (zh) * 2017-07-04 2017-11-21 云南师范大学 图像配准处理方法和装置
CN107481214A (zh) * 2017-08-29 2017-12-15 北京华易明新科技有限公司 一种微光图像与红外图像融合方法
CN107680040A (zh) * 2017-09-26 2018-02-09 北京空间飞行器总体设计部 一种基于贝叶斯准则的多帧盲卷积超分辨重建方法及装置
CN107948500A (zh) * 2017-11-01 2018-04-20 广东欧珀移动通信有限公司 图像处理方法和装置
US20180197282A1 (en) * 2015-06-18 2018-07-12 Dxo Labs Method and device for producing a digital image

Patent Citations (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20020015536A1 (en) * 2000-04-24 2002-02-07 Warren Penny G. Apparatus and method for color image fusion
US20080170126A1 (en) * 2006-05-12 2008-07-17 Nokia Corporation Method and system for image stabilization
CN103646232A (zh) * 2013-09-30 2014-03-19 华中科技大学 飞行器地面运动目标红外图像识别装置
CN103606132A (zh) * 2013-10-31 2014-02-26 西安电子科技大学 基于空域和时域联合滤波的多帧数字图像去噪方法
CN104616296A (zh) * 2015-01-23 2015-05-13 上海联影医疗科技有限公司 提高放射治疗影像质量的方法及装置、放射治疗系统
US20180197282A1 (en) * 2015-06-18 2018-07-12 Dxo Labs Method and device for producing a digital image
CN105608674A (zh) * 2015-12-16 2016-05-25 同济大学 一种基于图像配准、插值和去噪的图像增强方法
CN105959514A (zh) * 2016-04-20 2016-09-21 河海大学 一种弱目标成像检测装置及方法
CN106060418A (zh) * 2016-06-29 2016-10-26 深圳市优象计算技术有限公司 基于imu信息的宽动态图像融合方法
CN106296570A (zh) * 2016-07-28 2017-01-04 北京小米移动软件有限公司 图像处理方法及装置
CN106846293A (zh) * 2016-12-14 2017-06-13 海纳医信(北京)软件科技有限责任公司 图像处理方法和装置
CN107369170A (zh) * 2017-07-04 2017-11-21 云南师范大学 图像配准处理方法和装置
CN107481214A (zh) * 2017-08-29 2017-12-15 北京华易明新科技有限公司 一种微光图像与红外图像融合方法
CN107680040A (zh) * 2017-09-26 2018-02-09 北京空间飞行器总体设计部 一种基于贝叶斯准则的多帧盲卷积超分辨重建方法及装置
CN107948500A (zh) * 2017-11-01 2018-04-20 广东欧珀移动通信有限公司 图像处理方法和装置

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
宋向等: "基于SIFT特征配准的多帧迭代盲解卷积算法", 《测绘科学》 *
王玉亮等: "基于尺度不变特征的眼底图像自动配准与拼接", 《南京航空航天大学学报》 *

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021092797A1 (zh) * 2019-11-13 2021-05-20 Oppo广东移动通信有限公司 图像的配准方法、终端以及计算机存储介质
CN110992412A (zh) * 2019-12-09 2020-04-10 Oppo广东移动通信有限公司 图像处理方法、装置、存储介质及电子设备
CN113228105A (zh) * 2019-12-30 2021-08-06 商汤国际私人有限公司 一种图像处理方法、装置和电子设备
CN112017175A (zh) * 2020-09-04 2020-12-01 上海联影医疗科技股份有限公司 支架显示方法、装置和存储介质
CN112017175B (zh) * 2020-09-04 2024-03-12 上海联影医疗科技股份有限公司 支架显示方法、装置和存储介质
CN113808181A (zh) * 2020-10-30 2021-12-17 上海联影智能医疗科技有限公司 医学图像的处理方法、电子设备和存储介质
CN112785573A (zh) * 2021-01-22 2021-05-11 上海商汤智能科技有限公司 图像处理方法及相关装置、设备
CN114793262A (zh) * 2021-01-26 2022-07-26 华为技术有限公司 一种图像传感器、摄像头、电子设备及控制方法

Also Published As

Publication number Publication date
CN109064504B (zh) 2022-07-15

Similar Documents

Publication Publication Date Title
CN109064504A (zh) 图像处理方法、装置和计算机存储介质
Elder et al. Local scale control for edge detection and blur estimation
TW202006602A (zh) 三維臉部活體檢測方法、臉部認證識別方法及裝置
Li et al. Fusing images with different focuses using support vector machines
CN107958235B (zh) 一种人脸图像检测方法、装置、介质和电子设备
Abrahim et al. RETRACTED ARTICLE: Splicing image forgery identification based on artificial neural network approach and texture features
CN110428399B (zh) 用于检测图像的方法、装置、设备和存储介质
CN105718937B (zh) 多类别对象分类方法及系统
Chandra et al. Context aware 3D CNNs for brain tumor segmentation
Wang et al. Blur image identification with ensemble convolution neural networks
Chrysos et al. Motion deblurring of faces
CN110023989B (zh) 一种素描图像的生成方法及装置
CN111095075B (zh) 用于电子显微镜的全自动、无模板粒子拾取
CN109376717A (zh) 人脸对比的身份识别方法、装置、电子设备及存储介质
WO2017070923A1 (zh) 一种人脸识别方法和装置
Zhang et al. Joint integral histograms and its application in stereo matching
HN et al. Human Facial Expression Recognition from static images using shape and appearance feature
Mairon et al. A closer look at context: From coxels to the contextual emergence of object saliency
Wang et al. Small vehicle classification in the wild using generative adversarial network
CN112488137A (zh) 样本获取方法、装置、电子设备及机器可读存储介质
Ahmed et al. Comparison of specific segmentation methods used for copy move detection
Hao et al. Iris segmentation using feature channel optimization for noisy environments
Juefei-Xu et al. DeepGender2: A generative approach toward occlusion and low-resolution robust facial gender classification via progressively trained attention shift convolutional neural networks (PTAS-CNN) and deep convolutional generative adversarial networks (DCGAN)
Mr et al. Developing a novel technique to match composite sketches with images captured by unmanned aerial vehicle
Zhang et al. High-frequency attention residual gan network for blind motion deblurring

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant