CN111091513B - 图像处理方法、装置、计算机可读存储介质及电子设备 - Google Patents

图像处理方法、装置、计算机可读存储介质及电子设备 Download PDF

Info

Publication number
CN111091513B
CN111091513B CN201911312392.4A CN201911312392A CN111091513B CN 111091513 B CN111091513 B CN 111091513B CN 201911312392 A CN201911312392 A CN 201911312392A CN 111091513 B CN111091513 B CN 111091513B
Authority
CN
China
Prior art keywords
frame image
image
feature points
reference frame
determining
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201911312392.4A
Other languages
English (en)
Other versions
CN111091513A (zh
Inventor
贾玉虎
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangdong Oppo Mobile Telecommunications Corp Ltd
Original Assignee
Guangdong Oppo Mobile Telecommunications Corp Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangdong Oppo Mobile Telecommunications Corp Ltd filed Critical Guangdong Oppo Mobile Telecommunications Corp Ltd
Priority to CN201911312392.4A priority Critical patent/CN111091513B/zh
Publication of CN111091513A publication Critical patent/CN111091513A/zh
Application granted granted Critical
Publication of CN111091513B publication Critical patent/CN111091513B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/70Denoising; Smoothing
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/73Deblurring; Sharpening
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/30Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10016Video; Image sequence

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Processing (AREA)
  • Studio Devices (AREA)

Abstract

本申请实施例公开了一种图像处理方法、装置、计算机可读存储介质及电子设备。本申请实施例通过获取拍摄场景的多帧图像;在多帧图像中确定出参考帧图像,并确定出参考帧图像中的特征点;基于特征点,判断拍摄场景是否满足多帧降噪处理条件;当判断结果为否时,输出参考帧图像。本申请实施例通过图像中的特征点判断当前拍摄场景是否满足多帧降噪处理条件,避免在不满足多帧降噪条件的情况下使用多帧降噪功能,从而提高成像质量,避免输出模糊图像。

Description

图像处理方法、装置、计算机可读存储介质及电子设备
技术领域
本申请涉及图像处理技术领域,具体涉及一种图像处理方法、装置、计算机可读存储介质及电子设备。
背景技术
目前,在对场景进行拍摄的过程中,由于摄像载体的震动,摄像机在拍摄时会产生抖动。如摄像机固定在建筑物、交通工具上,安装在带电机的设备上,或是手持摄像设备,这些载体都存在震动,带动摄像机镜头,使得拍摄的视频画面产生抖动,进而导致场景中同一点在拍摄的多帧图像中所成的像素点的图像坐标发生了随时间的偏移,进而导致图像质量受到影响。
相关技术中,通过多帧降噪技术对物理场景中同一点在不同图像帧中所成的像素点求平均来获得较好的降噪效果,得到更高质量的图像。然而,实际使用时,多帧降噪技术由于特征点匹配错误等原因,反而导致输出的图像模糊,成像效果不佳。
发明内容
本申请实施例提供了一种图像处理方法、装置、计算机可读存储介质及电子设备,能够提高成像质量,避免输出模糊图像。
第一方面,本申请实施例提供了一种图像处理方法,所述图像处理方法包括:
获取拍摄场景的多帧图像;
在所述多帧图像中确定出参考帧图像,并确定出所述参考帧图像中的特征点;
基于所述特征点,判断所述拍摄场景是否满足多帧降噪处理条件;
当判断结果为否时,输出所述参考帧图像。
第二方面,本申请实施例提供了一种图像处理装置,所述图像处理装置包括:
获取模块,用于获取拍摄场景的多帧图像;
确定模块,用于在所述多帧图像中确定出参考帧图像,并确定出所述参考帧图像中的特征点;
判断模块,用于基于所述特征点,判断所述拍摄场景是否满足多帧降噪处理条件;
输出模块,用于当判断结果为否时,输出所述参考帧图像。
第三方面,本申请实施例提供了一种存储介质,其上存储有计算机程序,当所述计算机程序在计算机上运行时,使得所述计算机执行如本申请实施例提供的图像处理方法。
第四方面,本申请实施例提供了一种电子设备,包括处理器、存储器和多个摄像头,所述存储器存储有计算机程序,所述处理器通过调用所述计算机程序,执行如本申请实施例提供的图像处理方法。
本申请实施例中,通过图像中的特征点判断当前拍摄场景是否满足多帧降噪处理条件,避免在不满足多帧降噪条件的情况下使用多帧降噪功能,从而提高成像质量,避免输出模糊图像。
附图说明
为了更清楚地说明本申请实施例中的技术方案,下面将对实施例描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本申请的一些实施例,对于本领域技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1是本申请实施例提供的图像处理方法的流程示意图。
图2是本申请实施例提供的图像处理方法的另一流程示意图。
图3是本申请实施例提供的图像处理装置的结构示意图。
图4是本申请实施例提供的电子设备的结构示意图。
图5是本申请实施例提供的电子设备的另一结构示意图。
具体实施方式
请参照图式,其中相同的组件符号代表相同的组件,本申请的原理是以实施在一适当的运算环境中来举例说明。以下的说明是基于所例示的本申请具体实施例,其不应被视为限制本申请未在此详述的其它具体实施例。
本申请实施例首先提供一种图像处理方法,该图像处理方法可应用于电子设备。该图像处理方法的执行主体可以是本申请实施例提供的图像处理装置,或者集成了该图像处理装置的电子设备,该图像处理装置可以采用硬件或者软件的方式实现,电子设备可以是智能手机、平板电脑、掌上电脑、笔记本电脑、或者台式电脑等配置有处理器而具有处理能力的设备。
例如,电子设备以智能手机为例。其中,电子设备可包括一个、两个或多个摄像头。电子设备可以包括前置摄像头和/或后置摄像头,前置摄像头可包括多个摄像头,后置摄像头也可以包括多个摄像头。本申请实施例用于获取图像的摄像头可以是前置摄像头,也可以是后置摄像头。
请参照图1,图1为本申请实施例提供的图像处理方法的流程示意图。该图像处理方法可应用于本申请实施例提供的电子设备,本申请实施例提供的图像处理方法的流程可以如下:
101,获取拍摄场景的多帧图像。
电子设备在获取拍摄场景的多帧图像时,可以调用摄像头对拍摄场景进行拍摄,即拍摄得到拍摄场景的多帧图像,也可以利用相机的预览功能,获取对待拍摄场景预览的多帧图像。
其中,电子设备获取到的拍摄场景的多帧图像可以是连续获取的多帧图像,也可以是从连续获取的图像中选取的不连续的多帧图像,只要获取的是对同一拍摄场景的多帧图像,图像中的内容大体相同即可。例如,电子设备获取的多帧图像都是对远处一座山拍摄的图像,即使在拍摄中由于手的抖动,或者摄像载体的震动等原因造成图像的拍摄角度或拍摄区域存在微小的不同,也可以认为电子设备获取的是是对同一拍摄场景的多帧图像。
102,在多帧图像中确定出参考帧图像,并确定出参考帧图像中的特征点。
其中,参考帧图像可以是多帧图像中随机选取的一帧图像,或者,按照一定选取规则从多帧图像中选取出来的一帧图像。例如,可以采用清晰度评价方法评价多帧图像的清晰度,选取多帧图像中最清晰的一帧图像作为参考帧图像,或者,选取多帧图像中对比度最高的一帧图像作为参考帧等等,选取规则可以视当前的场景及用户的实际需求而定。如果用户需要高对比度的照片,则可以将多帧图像中对比度最高的一帧图像确定为参考帧图像,如果用户需要高清晰度的照片,则可以将多帧图像中清晰度最高的一帧图像确定为参考帧图像,等等。
需要说明的是,以上对参考帧图像的确定方法的举例仅仅是示例性的,不构成对本申请确定参考帧图像的方法的限制,电子设备可以使用各种方法将多帧图像中符合当前实际需求的某一帧图像确定为参考帧图像,甚至,在一些情况下,电子设备也可以确定出两帧,或多帧参考帧图像。例如,如果用户对图像的清晰度要求较高,电子设备也可以将多帧图像中清晰度最高的两帧图像进行图像合成,将合成后的图像中确定为参考帧图像,等等。
在一实施例中,电子设备可以获取对拍摄场景的多帧图像,并事先利用机器学习算法对该拍摄场景的图像进行分析和学习处理,通过自行分析和学习的处理过程生成机器学习算法模型,根据机器学习算法模型处理的结果确定多帧图像中清晰度最高的图像,将其作为参考帧图像。
电子设备确定出参考帧图像后,在参考帧图像中确定出特征点。
其中,特征点为图像中具有特征的点,可以为极值点,或者在某方面属性突出的点,例如,两条线的交点,或者一个角的顶点等。图像中的特征点能够反映出图像中各个物体的位置和轮廓。
在一实施例中,对同一拍摄场景,电子设备可以使用事先训练好的机器学习算法模型在参考帧中确定出特征点。例如,对于拍摄场景为人脸的多帧图像,电子设备可以预先进行人脸特征点识别模型的训练,基于图像中人脸面部灰度值或边界特征,根据训练好的人脸特征点识别模型确定出多参考帧图像中的特征点。
在一实施例中,电子设备可以使用特征点提取算法在参考帧图像中确定出特征点,例如,Harris(哈里斯角点检测)、SIFT(Scale Invariant Featires Transform,尺度不变特征变换)等。特征点匹配算法具备较好的环境适应性,可以在满足实时性的情况下实现设备在各种成像环境下的快速、精准稳像。
103,基于特征点,判断拍摄场景是否满足多帧降噪处理条件。
在电子设备拍摄多帧图像的过程中,人的手臂因为呼吸和肌肉收缩,难免会发生轻微的抖动,摄像载体也可能会发生微小的震动,进而导致拍摄场景中同一点在多帧图像中所成的像素点的图像坐标发生了随时间的偏移。其中,电子设备可以通过多帧降噪处理得到拍摄场景的清晰图像。例如,估计图像之间的运动,将各图像向参考帧图像配准和插值,让物理场景的同一点在各配准和插值后的图像中对应的像素点有相同的图像坐标,进而用配准和插值后的多帧图像求平均,以达到降噪的效果。这样,输出的图像为多帧图像向参考帧图像配准和插值后,求平均的结果,通过降噪提高了成像质量。
但是,多帧降噪处理中,在将各图像向参考帧图像配准时,涉及到特征点匹配,将参考帧图像中确定出的特征点在其他图像中进行匹配,匹配出对应的特征点,而特征点匹配在一些场景下的匹配错误率是很高的。这时电子设备运用多帧降噪处理图像,输出的图像清晰度反而降低,成像质量难以保证。通过判断当前场景是否满足多帧降噪处理条件,就可以将场景区分为适合使用多帧降噪的场景,和不适合使用多帧降噪的场景。电子设备在适合使用多帧降噪的场景下使用多帧降噪技术提高成像质量,而在不适合使用多帧降噪的场景下避开多帧降噪处理,转而通过其他途径提高成像质量。
其中,电子设备在判断拍摄场景是否满足多帧降噪处理条件时,可以基于参考帧图像中确定出的特征点进行判断。可以理解的是,如果这些特征点在参考帧图像中相距很近,呈现某种规律性分布,例如格子衬衫,则参考帧图像在与同一拍摄场景的其他图像之间进行特征点匹配时,就容易匹配错误,此时可认为拍摄场景不满足多帧降噪处理条件。
在一实施例中,电子设备将参考帧图像中相距很近的一些特征点确定为目标特征点,再基于这些目标特征点确定拍摄场景是否满足多帧降噪条件。例如,电子设备将目标特征点输入预先经过学习的机器学习算法模型中,根据机器学习算法模型处理的结果判断参考帧图像中的目标特征点是否按照重复的几何图形排布。若参考帧图像中的目标特征点按照重复的几何图形排布,则认为拍摄场景不满足多帧降噪处理条件。
104,当判断结果为否时,输出参考帧图像。
若电子设备判断出拍摄场景不满足多帧降噪处理条件,说明这时运用多帧降噪处理图像,输出的图像清晰度反而降低,成像的清晰度难以保证。
在一实施例中,当电子设备判断出拍摄场景不满足多帧降噪处理条件时,直接输出参考帧图像,参考帧图像可以为多帧图像中通过评价清晰度确定出的最清晰的一帧图像,成像的清晰度有保证。
在一实施例中,若电子设备判断出拍摄场景满足多帧降噪处理条件,则将多帧图像中除参考帧图像以外的所有图像确定为当前帧图像,确定出每一个当前帧图像所对应的单应矩阵,电子设备基于这些单应矩阵,将每一个当前帧图像向参考帧图像进行图像配准,基于配准后的图像进行多帧降噪处理,输出多帧降噪处理后的结果图像。
由上可知,本申请实施例中,通过获取拍摄场景的多帧图像;在多帧图像中确定出参考帧图像,并确定出参考帧图像中的特征点;基于特征点,判断拍摄场景是否满足多帧降噪处理条件;当判断结果为否时,输出参考帧图像。本申请实施例通过图像中的特征点判断当前拍摄场景是否满足多帧降噪处理条件,避免在不满足多帧降噪处理条件的情况下使用多帧降噪功能,从而提高成像质量,避免输出模糊图像。
请参照图2,图2为本申请实施例提供的图像处理方法的另一流程示意图,该图像处理方法可应用于本申请实施例提供的电子设备,该图像处理方法的流程可以包括:
201、电子设备获取拍摄场景的多帧图像。
电子设备在获取拍摄场景的多帧图像时,可以调用摄像头对拍摄场景进行拍摄,即拍摄得到拍摄场景的多帧图像,也可以利用相机的预览功能,获取对待拍摄场景预览的多帧图像。
其中,电子设备获取到的拍摄场景的多帧图像可以是连续获取的多帧图像,也可以是从连续获取的图像中选取的不连续的多帧图像,只要获取的是对同一拍摄场景的多帧图像,图像中的内容大体相同即可。例如,电子设备获取的多帧图像都是对远处一座山拍摄的图像,即使在拍摄中由于手的抖动,或者摄像载体的震动等原因造成图像的拍摄角度或拍摄区域存在微小的不同,也可以认为电子设备获取的是是对同一拍摄场景的多帧图像。
202、电子设备对多帧图像的清晰度进行评价,将其中清晰度最高的一帧图像确定为参考帧图像。
电子设备获取到的多帧图像由于拍摄时手的抖动,或者摄像载体的震动等原因,清晰度有所不同,电子设备通过对获取到的多帧图像的清晰度进行评价,可以选出其中最清晰的一帧图像作为参考帧图像。
当图像比较清晰时,图像细节丰富,相邻像素的特征值(例如,灰度、颜色等)变化较大,在频域方面,表现为频谱的高频分量多。利用这些特点,电子设备对多帧图像的清晰度进行评价时,可以采用例如对焦评价函数、灰度梯度算法等的各种清晰度评价方法。其中,对焦评价函数可以是频谱函数、梯度函数和熵函数中的任意一种或者几种的结合,具体可以根据需要选定。
或者,电子设备也可以先确定出多帧图像的清晰度,再进行比较。例如,可以利用相关的图片识别方法,对图像清晰度进行识别和比较,如对比度法,相位法,高频分量法、平滑法、阈值积分法和/或灰度差分法等,并且,算法也可以结合应用和改进应用,从而提高识别准确性。
203、电子设备对参考帧图像进行角点检测,获取角点。
其中,角点为极值点,即在某方面属性特别突出的点。角点可以是两条线的交叉处,也可以是位于相邻的两个主要方向不同的事物上的点。角点检测为对有定义的、或者是能够检测出来的点的检测,检测出的点可以是角点,也可以是在某些属性上强度最大或者最小的孤立点、线段的终点,或者是曲线上局部曲率最大的点。
在一实施例中,电子设备可以使用Harris(哈里斯)角点检测算法进行角点检测。例如,电子设备确定出一定大小的矩形装的小窗口,将该小窗口在图像中移动,通过考察这个小窗口内图像灰度值的平均变换值来确定角点。如果窗口内区域图像的灰度值恒定,代表图像内所有不同方向的偏移几乎不发生变化;如果窗口在图像中跨越了一条边,那么沿着这条边的偏移几乎不发生变化,但是与边垂直的偏移会发生很大的变化;如果窗口包含一个孤立的点或者角点,那么所有不同方向的偏移会发生很大的变化。
可以理解的是,如果将该小窗口在参考帧图像中移动时,圈出的区域均为同一张纯色桌子的桌面且不包含桌子的边缘部分,那么,该小窗口所圈出的区域中,像素点的灰度值恒定,灰度值的平均变换值几乎为0,图像内所有不同方向的偏移几乎不发生变化,可以确定该小窗口所圈出的区域中没有能代表桌子轮廓的角点。
利用角点检测,电子设备就可以在参考帧图像中确定出一些有代表意义的点,并将这些具有代表意义的点确定为特征点,从而根据这些特征点来进行后续的操作。
204、电子设备对检测出的角点进行误检测剔除,以从角点中筛选得到特征点。
在一实施例中,电子设备通过角点检测确定出参考帧图像中的角点后,对其中检测出的不具有代表性的和/或误检测的角点进行剔除。例如,可以采用Harris Score(哈里斯评分)等算法表征特征点本身质量的指标和局部特征点之间的距离等条件,从而从确定出的角点中筛选出特征点。
在一实施例中,电子设备选取每个角点周围极小范围的预设区域,重新检测该预设区域内像素点的灰度值变化,通过考察这个极小范围的预设区域内图像灰度值的平均变换值来从角点中确定出特征点,即电子设备对检测出的角点进行误检测剔除,剔除掉其中不具有代表性的和/或误检测的角点。
205、电子设备获取每两个特征点的间距。
206、电子设备判断间距是否小于预设间距。若是则进入207,若否则返回继续206。
207、电子设备将两个特征点确定为目标特征点,并将两个特征点的间距添加到预设间距集合。
可以理解的是,电子设备在参考帧图像中确定出的特征点是到处分布的,有的区域特征点分布比较集中,有的区域特征点分布比较分散。而集中的特征点相比分散的特征点,在匹配特征点对时更容易匹配出错。
在一实施例中,电子设备将参考帧图像中相距很近的一些特征点确定为目标特征点,再基于这些目标特征点确定拍摄场景是否满足多帧降噪条件。例如,电子设备获取每两个特征点的间距,当两个特征点的间距小于预设间距时,电子设备将这两个特征点同时确定为目标特征点,并将两个特征点的间距添加到预设间距集合。
需要说明的是,本申请中对上述描述中获取的两个特征点具体为哪两个特征点不做限制,它们可以是参考帧图像中的任意两个特征点。本申请获取两个特征点也并非只获取一次,而是通过两两获取的方式多次获取参考帧图像中不同的两个特征点,直至遍历参考帧图像中的所有特征点。例如,先任意获取参考帧图像中的两个特征点,若这两个特征点的间距大于或等于预设间距,则返回至206,电子设备重新获取另外两个特征点的间距,并判断重新获取的另外两个特征点的间距是否小于预设间距。若电子设备重新获取的另外两个特征点的间距小于预设间距,则先将重新获取的这两个特征点确定为目标特征点,再重新获取其他两个特征点的间距进行判断;若电子设备重新获取的另外两个特征点的间距又大于或等于预设间距,则不对该间距做任何处理,再次重新获取其他两个特征点的间距进行判断,如此往复,直至电子设备遍历完参考帧图像中的所有特征点的两两组合。
在一实施例中,电子设备在获取每两个特征点的间距时,先从参考帧图像中任意选取一个特征点,再确定出其他特征点中距离该特征点最近的最邻近特征点,获取该特征点与最邻近特征点的间距。
如果两个特征点的间距小于预设间距,则电子设备将这两个特征点确定为目标特征点的同时,将这两个特征点的间距添加到预设间距集合。
208、电子设备确定预设间距集合中数值相等的间距所占的比例。
209、电子设备判断比例是否大于预设比例。若是则进入步骤212,若否则进入步骤210。
210、电子设备判定目标特征点按照重复的几何图形排布。
可以理解的是,如果目标特征点在参考帧图像中呈现一定的特征性分布,如,按照重复的几何图形排布,则预设间距集合中的这些间距中必然有部分间距在数值上是相等的。而若这些相等的间距在整个预设间距集合中所占的比例很大,则可以确定这些目标特征点之间是按照重复的几何图形排布的。
例如,对于“格子衬衫”的拍摄场景,以该格子衬衫的格子为正方形为例,该“格子衬衫”的参考帧图像中,在“格子”区域集中分布的目标特征点大部分位于格子衬衫中线条的交点处,有规律地按照重复的正方形排布。
这样,电子设备获取到的预设间距集合中,绝大部分的间距在数值上等于这些重复的正方形的边长,从而在整个预设间距集合中所占的比例大于预设比例时,电子设备可以判定在该“格子衬衫”的拍摄场景中,目标特征点按照重复的几何图形排布。
此外,需要说明的是,这里的相等并不要求数值上的完全相等,一模一样,须知任何测量手段都是存在误差的。因而,即使两个间距在数值上存在一定的偏差,若偏差在允许的范围内,就可认为这两个间距是相等的。
211、电子设备判定拍摄场景不满足多帧降噪处理条件。
对于集中分布的目标特征点,如果这些目标特征点周围的分布相似,则这些目标特征点相比周围分布不相似的其他目标特征点,更容易匹配错误。
在一实施例中,电子设备可以通过判断目标特征点是否按照重复的几何图形排布,判断目标特征点是否成特征性分布。
重复的几何图形可以为重复的矩形、三角形、圆形等。例如,在“格子衬衫”场景中,目标特征点按照重复的矩形排布,这样的拍摄场景容易匹配错误,属于不满足多帧降噪处理条件的拍摄场景。
本领域技术人员须知,上述举例只是为了进行示例性说明,除上述举例外的其他未例举的重复的几何图形排布方式,均属于本申请的保护范围。
212、电子设备输出参考帧图像。
若电子设备判断出拍摄场景不满足多帧降噪处理条件,说明这时运用多帧降噪处理图像,输出的图像清晰度反而降低,成像质量难以保证。
在一实施例中,当电子设备判断出拍摄场景不满足多帧降噪处理条件时,直接输出参考帧图像,由于参考帧图像是多帧图像识别清晰度确定出的最清晰的一帧图像,因而,成像的清晰度有保证。
213、电子设备将多帧图像中除参考帧图像以外的所有图像确定为当前帧图像。
在获取拍摄场景的多帧图像时,电子设备从多帧图像中将最清晰的一帧确定为参考帧图像,则其他的图像都为当前帧图像。
214、电子设备将当前帧图像向参考帧图像进行图像配准。
每一帧图像在拍摄时由于手的抖动,或者摄像载体的震动等原因造成图像的拍摄角度或拍摄区域存在微小的不同。因此,在对图像进行像素平均之前,将所有当前帧图像向参考帧图像进行配准和插值。在配准时,电子设备通过确定出每一个当前帧图像向参考帧图像配准时的单应矩阵,利用单应矩阵将当前帧图像中各像素点的坐标向参考帧图像中各像素点的坐标对齐,从而达到配准的目的。
在一实施例中,电子设备确定出每一个当前帧图像所对应的单应矩阵包括:
(1)电子设备在当前帧图像中匹配出与参考帧特征点对应的当前帧特征点,其中每一个参考帧特征点与其对应的当前帧特征点匹配成特征点对,得到多对特征点对。
在一实施例中,电子设备根据基于视觉判断正确匹配点对的周围像素块一致性,确定出当前帧图像中与参考帧图像中的参考帧特征点A1周围一定范围内像素块一致的匹配特征点B1,并将B1作为A1在当前帧图像中对应的特征点,这样,A1与B1就构成一对特征点对。例如,电子设备可以在参考帧图像的任一特征点周围建立特征窗,并确定出在当前帧图像中对应该特征窗的匹配窗,匹配窗的中心点即作为匹配特征点,参考帧特征点和其对应的当前帧匹配特征点构成特征点对。
在一实施例中,电子设备匹配得到多对特征点对后,对多对特征点对进行剔除筛选,得到筛选后的特征点对。例如,电子设备利用欧式距离公式计算参考帧图像和当前帧图像的特征点对在水平方向和垂直方向平移量的距离,将匹配的特征点对利用距离正态性分布特征进行距离验证,剔除无匹配特征点对,得到正确匹配的特征点对。
(2)根据多对特征点对计算出当前帧图像对应的多个单应矩阵。
其中,电子设备任意获取多对特征点对中的三对特征点对,并根据获取的三对特征点对计算出当前帧图像对应的单应矩阵。
(3)在多个单应矩阵中确定出最优单应矩阵。
其中,电子设备为了消除匹配错误的特征点对对单应矩阵准确性的影响,获取到多个单应矩阵之后,使用RANSAC(Random Sample Consensus,随机抽样一致)算法,对于计算出的任意一个单应矩阵,通过其对应的三个特征点对之外的其他特征点对对单应矩阵打分,进而得出最优单应矩阵,电子设备利用最优单应矩阵对当前帧图像进行仿射变换。例如,每根据三对特征点对计算出一个单应矩阵时,电子设备将该单应矩阵与其对应的三对特征点对以外的其他特征点对进行匹配,以获取单应矩阵在当前帧图像中的匹配成功率,将多个单应矩阵中匹配成功率最高的单应矩阵确定为最优单应矩阵。
电子设备确定出每一个当前帧图像相对于参考帧图像对应的单应矩阵后,就可以基于对应的单应矩阵将每一个当前帧图像进行仿射变换,从而将当前帧图像向参考帧图像进行图像配准。例如,电子设备将当前帧图中的像素点的坐标乘以对应的单应矩阵以进行仿射变换,得到仿射变换后该像素点所处的坐标,综合当前帧图像中各像素点仿射变换后的坐标得到当前帧图像向参考帧图像配准后的图像。
215、电子设备基于配准后的当前帧图像对参考帧图像进行多帧降噪处理,输出多帧降噪处理后的参考帧图像。
当前帧图像向参考帧图像进行配准后,各像素点在参考帧图像中的位置和在配准后的当前帧图像中的位置完成了统一,电子设备将参考帧图像与配准后的当前帧图像进行像素值平均,输出像素值平均后的成像结果,即为降噪处理后的结果图像。
其中,在各当前帧图像向参考帧图像进行图像配准时,电子设备可以每完成一次配准就将参考帧图像与配准后的当前帧图像进行像素值平均,随着每一次配准和求平均,得到的降噪处理后的结果图像的成像质量越来越高。或者,电子设备在所有当前帧图像都配准完成后,将参考帧图像与所有配准后的当前帧图像进行像素值平均,输出像素值平均后的成像结果,即为降噪处理后的结果图像。
由上可知,本申请实施例中,电子设备通过获取拍摄场景的多帧图像;在多帧图像中确定出参考帧图像,并确定出参考帧图像中的特征点;基于特征点,判断拍摄场景是否满足多帧降噪处理条件;当判断结果为否时,输出参考帧图像。本申请实施例通过图像中的特征点判断当前拍摄场景是否满足多帧降噪处理条件,避免在不满足多帧降噪条件的情况下使用多帧降噪功能,从而提高成像质量,避免输出模糊图像。
本申请实施例还提供一种图像处理装置。请参照图3,图3为本申请实施例提供的图像处理装置的第一结构示意图。其中该图像处理装置300应用于电子设备,该图像处理装置300包括获取模块301、确定模块302、判断模块303以及输出模块304,如下:
获取模块301,用于获取拍摄场景的多帧图像;
确定模块302,用于在多帧图像中确定出参考帧图像,并确定出参考帧图像中的特征点;
判断模块303,用于基于特征点,判断拍摄场景是否满足多帧降噪处理条件;
输出模块304,用于当判断结果为否时,输出参考帧图像。
在一实施例中,判断模块用于:
获取每两个特征点之间的间距,并根据间距从特征点中确定出多个目标特征点;
判断目标特征点是否按照重复的几何图形排布;
若判断结果为是,则判定拍摄场景不满足多帧降噪处理条件。
其中,当两个特征点的间距小于预设间距时,将两个特征点确定为目标特征点,并将两个特征点的间距添加到预设间距集合。
在一实施例中在判断目标特征点是否按照重复的几何图形排布时,确定预设间距集合中数值相等的间距所占的比例,当比例大于预设比例时,判定目标特征点按照重复的几何图形排布。
在一实施例中,在判断目标特征点是否按照重复的几何图形排布时,将目标特征点输入预先经过学习的机器学习算法模型中,根据机器学习算法模型处理的结果判断目标特征点是否按照重复的几何图形排布。
在一实施例中,在多帧图像中确定出参考帧图像时,确定模块302用于:
对多帧图像的清晰度进行评价,将其中清晰度最高的一帧图像确定为参考帧图像。
在一实施例中,在确定出参考帧图像中的特征点时,确定模块302用于:
对参考帧图像进行角点检测,获取角点;
对检测出的角点进行误检测剔除,以从角点中筛选得到特征点。
应当说明的是,本申请实施例提供的图像处理装置与上文实施例中的图像处理方法属于同一构思,在图像处理装置上可以运行图像处理方法实施例中提供的任一方法,其具体实现过程详见图像处理方法实施例,此处不再赘述。
由上可知,本申请实施例中,通过获取模块301获取拍摄场景的多帧图像;确定模块302在多帧图像中确定出参考帧图像,并确定出参考帧图像中的特征点;判断模块303基于特征点,判断拍摄场景是否满足多帧降噪处理条件;输出模块304当判断结果为否时,输出参考帧图像。本申请实施例通过图像中的特征点判断当前拍摄场景是否满足多帧降噪处理条件,避免在不满足多帧降噪条件的情况下使用多帧降噪功能,从而提高成像质量,避免输出模糊图像。
本申请实施例提供一种计算机可读的存储介质,其上存储有计算机程序,当其存储的计算机程序在计算机上执行时,使得计算机执行如本申请实施例提供的图像处理方法中的步骤。其中,存储介质可以是磁碟、光盘、只读存储器(Read Only Memory,ROM,)或者随机存取器(Random Access Memory,RAM)等。
本申请实施例还提供一种电子设备,请参照图4,图4为本申请实施例提供的电子设备的一结构示意图。电子设备包括处理器401、存储器402、摄像头403以及显示器404,处理器401与存储器402、摄像头403以及显示器404电性连接。
处理器401是电子设备的控制中心,利用各种接口和线路连接整个电子设备的各个部分,通过运行或加载存储在存储器402内的计算机程序,以及调用存储在存储器402内的数据,执行电子设备的各种功能并处理数据。
存储器402可用于存储软件程序以及模块,处理器401通过运行存储在存储器402的计算机程序以及模块,从而执行各种功能应用以及数据处理。存储器402可主要包括存储程序区和存储数据区,其中,存储程序区可存储操作系统、至少一个功能所需的计算机程序(比如声音播放功能、图像播放功能等)等;存储数据区可存储根据电子设备的使用所创建的数据等。此外,存储器402可以包括高速随机存取存储器,还可以包括非易失性存储器,例如至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。相应地,存储器402还可以包括存储器控制器,以提供处理器401对存储器402的访问。
摄像头403可以包括普通彩色摄像头,或者说视场角为45度左右的普通彩色摄像头,也可以为彩色长焦摄像头,或者说视场角为40度以内的彩色长焦摄像头,等等,此处不一一举例。摄像头403可以有一个,也可以有两个或多个。
显示器404可以用于显示由用户输入的信息或提供给用户的信息以及各种图形用户接口,这些图形用户接口可以由图形、文本、图标、视频和其任意组合来构成。显示器404包括显示屏,显示屏用于显示预览图像。
在本申请实施例中,电子设备中的处理器401会按照如下的步骤,将一个或一个以上的计算机程序的进程对应的指令加载到存储器402中,并由处理器401运行存储在存储器402中的计算机程序,从而实现各种功能,如下:
获取拍摄场景的多帧图像;
在多帧图像中确定出参考帧图像,并确定出参考帧图像中的特征点;
基于特征点,判断拍摄场景是否满足多帧降噪处理条件;
当判断结果为否时,输出参考帧图像。
请参照图5,图5为本申请实施例提供的电子设备的另一结构示意图,与图4所示电子设备的区别在于,电子设备还包括输入单元405和输出单元406等组件。
其中,输入单元405可用于接收输入的数字、字符信息或用户特征信息(比如指纹),以及产生与用户设置以及功能控制有关的键盘、鼠标、操作杆、光学或者轨迹球信号输入等。
输出单元406可用于显示由用户输入的信息或提供给用户的信息,如屏幕。
在本申请实施例中,电子设备中的处理器401会按照如下的步骤,将一个或一个以上的计算机程序的进程对应的指令加载到存储器402中,并由处理器401运行存储在存储器402中的计算机程序,从而实现各种功能,如下:
获取拍摄场景的多帧图像;
在多帧图像中确定出参考帧图像,并确定出参考帧图像中的特征点;
基于特征点,判断拍摄场景是否满足多帧降噪处理条件;
当判断结果为否时,输出参考帧图像。
在一实施例中,在基于特征点,判断拍摄场景是否满足多帧降噪处理条件时,处理器401还执行:
获取每两个特征点之间的间距,并根据间距从特征点中确定出多个目标特征点;
判断目标特征点是否按照重复的几何图形排布;
若判断结果为是,则判定拍摄场景不满足多帧降噪处理条件。
在一实施例中,在根据间距从特征点中确定出多个目标特征点时,处理器401还执行:
当两个特征点的间距小于预设间距时,将两个特征点确定为目标特征点,并将两个特征点的间距添加到预设间距集合。
在一实施例中,在判断目标特征点是否按照重复的几何图形排布时,处理器401还执行:
确定预设间距集合中数值相等的间距所占的比例;
当比例大于预设比例时,判定目标特征点按照重复的几何图形排布。
在一实施例中,在判断目标特征点是否按照重复的几何图形排布时,处理器401还执行:
将目标特征点输入预先经过学习的机器学习算法模型中,根据机器学习算法模型处理的结果判断目标特征点是否按照重复的几何图形排布。
在一实施例中,在多帧图像中确定出参考帧图像时,处理器401还执行:
对多帧图像的清晰度进行评价,将其中清晰度最高的一帧图像确定为参考帧图像。
在一实施例中,在确定出参考帧图像中的特征点时,处理器401还执行:
对参考帧图像进行角点检测,获取角点;
对检测出的角点进行误检测剔除,以从角点中筛选得到特征点。
应当说明的是,本申请实施例提供的电子设备与上文实施例中的图像处理方法属于同一构思,在电子设备上可以运行图像处理方法实施例中提供的任一方法,其具体实现过程详见特征提取方法实施例,此处不再赘述。
由上可知,本申请实施例中,电子设备通过获取拍摄场景的多帧图像;在多帧图像中确定出参考帧图像,并确定出参考帧图像中的特征点;基于特征点,判断拍摄场景是否满足多帧降噪处理条件;当判断结果为否时,输出参考帧图像。本申请实施例通过图像中的特征点判断当前拍摄场景是否满足多帧降噪处理条件,避免在不满足多帧降噪条件的情况下使用多帧降噪功能,从而提高成像质量,避免输出模糊图像。
需要说明的是,对本申请实施例的图像处理方法而言,本领域普通测试人员可以理解实现本申请实施例的图像处理方法的全部或部分流程,是可以通过计算机程序来控制相关的硬件来完成,计算机程序可存储于一计算机可读取存储介质中,如存储在电子设备的存储器中,并被该电子设备内的至少一个处理器执行,在执行过程中可包括如图像处理方法的实施例的流程。其中,的存储介质可为磁碟、光盘、只读存储器、随机存取记忆体等。
对本申请实施例的图像处理装置而言,其各功能模块可以集成在一个处理芯片中,也可以是各个模块单独物理存在,也可以两个或两个以上模块集成在一个模块中。上述集成的模块既可以采用硬件的形式实现,也可以采用软件功能模块的形式实现。集成的模块如果以软件功能模块的形式实现并作为独立的产品销售或使用时,也可以存储在一个计算机可读取存储介质中,存储介质譬如为只读存储器,磁盘或光盘等。
以上对本申请实施例所提供的一种图像处理方法、装置、计算机可读存储介质及电子设备进行了详细介绍,本文中应用了具体个例对本申请的原理及实施方式进行了阐述,以上实施例的说明只是用于帮助理解本申请的方法及其核心思想;同时,对于本领域的技术人员,依据本申请的思想,在具体实施方式及应用范围上均会有改变之处,综上,本说明书内容不应理解为对本申请的限制。

Claims (9)

1.一种图像处理方法,其特征在于,包括:
获取拍摄场景的多帧图像;
在所述多帧图像中确定出参考帧图像,并确定出所述参考帧图像中的特征点;
获取每两个所述特征点的间距,并根据所述间距从所述特征点中确定出多个目标特征点;
判断所述目标特征点是否按照重复的几何图形排布;
若判断结果为是,则判定所述拍摄场景不满足多帧降噪处理条件;
当所述拍摄场景不满足多帧降噪处理条件时,输出所述参考帧图像。
2.根据权利要求1所述的图像处理方法,其特征在于,所述根据所述间距从所述特征点中确定出多个目标特征点包括:
当两个特征点的间距小于预设间距时,将所述两个特征点确定为目标特征点,并将所述两个特征点的间距添加到预设间距集合。
3.根据权利要求2所述的图像处理方法,其特征在于,所述判断所述目标特征点是否按照重复的几何图形排布包括:
确定所述预设间距集合中数值相等的间距所占的比例;
当所述比例大于预设比例时,判定所述目标特征点按照重复的几何图形排布。
4.根据权利要求2所述的图像处理方法,其特征在于,所述判断所述目标特征点是否按照重复的几何图形排布包括:
将所述目标特征点输入预先经过学习的机器学习算法模型中,根据所述机器学习算法模型处理的结果判断所述目标特征点是否按照重复的几何图形排布。
5.根据权利要求1所述的图像处理方法,其特征在于,所述在所述多帧图像中确定出参考帧图像包括:
对所述多帧图像的清晰度进行评价,将其中清晰度最高的一帧图像确定为所述参考帧图像。
6.根据权利要求1至5任一项所述的图像处理方法,其特征在于,所述确定出所述参考帧图像中的特征点包括:
对所述参考帧图像进行角点检测,获取角点;
对检测出的所述角点进行误检测剔除,以从所述角点中筛选得到所述特征点。
7.一种图像处理装置,其特征在于,包括:
获取模块,用于获取拍摄场景的多帧图像;
确定模块,用于在所述多帧图像中确定出参考帧图像,并确定出所述参考帧图像中的特征点;
判断模块,用于获取每两个所述特征点的间距,并根据所述间距从所述特征点中确定出多个目标特征点;判断所述目标特征点是否按照重复的几何图形排布;若判断结果为是,则判定所述拍摄场景不满足多帧降噪处理条件;
输出模块,用于当所述拍摄场景不满足多帧降噪处理条件时,输出所述参考帧图像。
8.一种计算机可读存储介质,其特征在于,其上存储有计算机程序,当所述计算机程序在计算机上运行时,使得所述计算机执行如权利要求1至6任一项所述的图像处理方法。
9.一种电子设备,其特征在于,包括处理器和存储器,所述处理器与所述存储器电性连接,所述存储器储存有计算机程序,所述处理器通过调用所述计算机程序,执行如权利要求1至6任一项所述的图像处理方法。
CN201911312392.4A 2019-12-18 2019-12-18 图像处理方法、装置、计算机可读存储介质及电子设备 Active CN111091513B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201911312392.4A CN111091513B (zh) 2019-12-18 2019-12-18 图像处理方法、装置、计算机可读存储介质及电子设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911312392.4A CN111091513B (zh) 2019-12-18 2019-12-18 图像处理方法、装置、计算机可读存储介质及电子设备

Publications (2)

Publication Number Publication Date
CN111091513A CN111091513A (zh) 2020-05-01
CN111091513B true CN111091513B (zh) 2023-07-25

Family

ID=70396002

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911312392.4A Active CN111091513B (zh) 2019-12-18 2019-12-18 图像处理方法、装置、计算机可读存储介质及电子设备

Country Status (1)

Country Link
CN (1) CN111091513B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112488027B (zh) * 2020-12-10 2024-04-30 Oppo(重庆)智能科技有限公司 一种降噪方法、电子设备及计算机存储介质

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007151008A (ja) * 2005-11-30 2007-06-14 Casio Comput Co Ltd 画像処理装置及びプログラム
CN104604214A (zh) * 2012-09-25 2015-05-06 三星电子株式会社 用于产生拍摄图像的方法和设备
CN107205116A (zh) * 2017-06-13 2017-09-26 广东欧珀移动通信有限公司 图像选择方法及相关产品
CN107230192A (zh) * 2017-05-31 2017-10-03 广东欧珀移动通信有限公司 图像处理方法、装置、计算机可读存储介质和移动终端
WO2017215501A1 (zh) * 2016-06-15 2017-12-21 深圳市万普拉斯科技有限公司 图像降噪处理方法、装置及计算机存储介质
CN108898567A (zh) * 2018-09-20 2018-11-27 北京旷视科技有限公司 图像降噪方法、装置及系统
CN109348088A (zh) * 2018-11-22 2019-02-15 Oppo广东移动通信有限公司 图像降噪方法、装置、电子设备及计算机可读存储介质
CN110349163A (zh) * 2019-07-19 2019-10-18 Oppo广东移动通信有限公司 图像处理方法和装置、电子设备、计算机可读存储介质

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5204785B2 (ja) * 2007-12-03 2013-06-05 パナソニック株式会社 画像処理装置、撮影装置、再生装置、集積回路及び画像処理方法
WO2015081555A1 (zh) * 2013-12-06 2015-06-11 华为终端有限公司 双镜头设备的拍照方法及双镜头设备
JP6376618B2 (ja) * 2014-05-15 2018-08-22 華為技術有限公司Huawei Technologies Co.,Ltd. マルチフレームノイズ低減方法および端末
CN108055452B (zh) * 2017-11-01 2020-09-18 Oppo广东移动通信有限公司 图像处理方法、装置及设备

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007151008A (ja) * 2005-11-30 2007-06-14 Casio Comput Co Ltd 画像処理装置及びプログラム
CN104604214A (zh) * 2012-09-25 2015-05-06 三星电子株式会社 用于产生拍摄图像的方法和设备
WO2017215501A1 (zh) * 2016-06-15 2017-12-21 深圳市万普拉斯科技有限公司 图像降噪处理方法、装置及计算机存储介质
CN107230192A (zh) * 2017-05-31 2017-10-03 广东欧珀移动通信有限公司 图像处理方法、装置、计算机可读存储介质和移动终端
CN107205116A (zh) * 2017-06-13 2017-09-26 广东欧珀移动通信有限公司 图像选择方法及相关产品
CN108898567A (zh) * 2018-09-20 2018-11-27 北京旷视科技有限公司 图像降噪方法、装置及系统
CN109348088A (zh) * 2018-11-22 2019-02-15 Oppo广东移动通信有限公司 图像降噪方法、装置、电子设备及计算机可读存储介质
CN110349163A (zh) * 2019-07-19 2019-10-18 Oppo广东移动通信有限公司 图像处理方法和装置、电子设备、计算机可读存储介质

Also Published As

Publication number Publication date
CN111091513A (zh) 2020-05-01

Similar Documents

Publication Publication Date Title
CN111091590B (zh) 图像处理方法、装置、存储介质及电子设备
CN107424160B (zh) 通过视觉系统查找图像中线的系统和方法
JP4772839B2 (ja) 画像識別方法および撮像装置
JP5699788B2 (ja) スクリーン領域検知方法及びシステム
US11281897B2 (en) Gesture shaking recognition method and apparatus, and gesture recognition method
CN109784250B (zh) 自动引导小车的定位方法和装置
CN109479082B (zh) 图象处理方法及装置
CN110852997B (zh) 动态图像清晰度检测方法、装置、电子设备及存储介质
CN109241345B (zh) 基于人脸识别的视频定位方法和装置
EP3093822B1 (en) Displaying a target object imaged in a moving picture
CN108074237B (zh) 图像清晰度检测方法、装置、存储介质及电子设备
JP2020067748A (ja) 画像処理装置、画像処理方法、およびプログラム
US8873839B2 (en) Apparatus of learning recognition dictionary, and method of learning recognition dictionary
US9766708B2 (en) Locating method, locating device, depth determining method and depth determining device of operating body
CN111091513B (zh) 图像处理方法、装置、计算机可读存储介质及电子设备
JP2018137636A (ja) 画像処理装置及び画像処理プログラム
US10373329B2 (en) Information processing apparatus, information processing method and storage medium for determining an image to be subjected to a character recognition processing
US20120038785A1 (en) Method for producing high resolution image
CN111767752A (zh) 一种二维码识别方法及装置
Satiro et al. Super-resolution of facial images in forensics scenarios
JP6478282B2 (ja) 情報端末装置及びプログラム
JP5051671B2 (ja) 情報処理装置、情報処理方法およびプログラム
CN113822927A (zh) 一种适用弱质量图像的人脸检测方法、装置、介质及设备
JP6717769B2 (ja) 情報処理装置及びプログラム
Chen et al. Applying Image Processing Technology to Automatically Detect and Adjust Paper Benchmark for Printing Machine.

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant