CN108230255A - 用于实现图像增强的方法、装置和电子设备 - Google Patents

用于实现图像增强的方法、装置和电子设备 Download PDF

Info

Publication number
CN108230255A
CN108230255A CN201710845809.8A CN201710845809A CN108230255A CN 108230255 A CN108230255 A CN 108230255A CN 201710845809 A CN201710845809 A CN 201710845809A CN 108230255 A CN108230255 A CN 108230255A
Authority
CN
China
Prior art keywords
pixel
image
pending image
similarity
sliding window
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201710845809.8A
Other languages
English (en)
Inventor
黄明杨
石建萍
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Sensetime Technology Development Co Ltd
Original Assignee
Beijing Sensetime Technology Development Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Sensetime Technology Development Co Ltd filed Critical Beijing Sensetime Technology Development Co Ltd
Priority to CN201710845809.8A priority Critical patent/CN108230255A/zh
Publication of CN108230255A publication Critical patent/CN108230255A/zh
Priority to SG11202001844TA priority patent/SG11202001844TA/en
Priority to PCT/CN2018/106315 priority patent/WO2019057041A1/zh
Priority to US16/798,356 priority patent/US11182885B2/en
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/77—Retouching; Inpainting; Scratch removal
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/14—Transformations for image registration, e.g. adjusting or mapping for alignment of images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/20—Image enhancement or restoration using local operators
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/70—Denoising; Smoothing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/761—Proximity, similarity or dissimilarity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20004—Adaptive image processing
    • G06T2207/20012—Locally adaptive
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20021—Dividing image into blocks, subimages or windows
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G06T2207/30201—Face

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Human Computer Interaction (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Data Mining & Analysis (AREA)
  • Software Systems (AREA)
  • Databases & Information Systems (AREA)
  • Medical Informatics (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Computing Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Image Processing (AREA)

Abstract

本申请实施方式公开了一种用于实现图像增强的方法、装置、电子设备以及计算机可读介质，其中的方法包括：对待处理图像进行滤波处理，获得滤波处理后的图像；确定所述待处理图像中的像素点与所述待处理图像中的目标对象的目标区域的相似度；之后，将所述相似度、待处理图像以及滤波处理后的图像进行融合，使得所述待处理图像中与所述目标对象的相似度越高的像素点的滤波效果越强，所述待处理图像中与所述目标对象的相似度越低的像素点的滤波效果越弱。

Description

用于实现图像增强的方法、装置和电子设备
技术领域
本申请涉及计算机视觉技术，尤其是一种用于实现图像增强的方法、介质、用于实现图像增强的装置以及电子设备。
背景技术
图像增强技术是计算机视觉领域中的一个研究课题。图像增强技术由于其能够改善图像的视觉效果，因此，图像增强技术已经越来越多地被应用到人像美化方面。一个具体的例子，通过利用图像增强技术对照片进行图像滤波处理，可以去除或者淡化照片中人的面部上的暗斑、痘及皱纹等瑕疵，从而可以实现美颜效果。
在使用图像增强技术对原始图像进行处理时，有时会导致原始图像中的部分细节内容出现丢失现象，例如，在利用图像增强技术去除或者淡化照片中人的面部上的瑕疵的过程中，照片背景中的部分细节内容也会被一起去除或者淡化。另外，在图像增强技术被应用在视频中时，图像增强技术的实时性受到了挑战。由此可知，如何在提高图像增强技术的实时性的同时，尽可能的保留原始图像中的不应丢失的细节内容，是非常值得关注的。
发明内容
本申请实施方式提供一种用于实现图像增强的技术方案。
根据本申请实施方式的其中一个方面，提供了一种用于实现图像增强的方法，包括：对待处理图像进行滤波处理，获得滤波处理后的图像；确定所述待处理图像中的像素点与所述待处理图像中的目标对象的目标区域的相似度；将所述相似度、待处理图像以及滤波处理后的图像进行融合，使得所述待处理图像中与所述目标对象的相似度越高的像素点的滤波效果越强，所述待处理图像中与所述目标对象的相似度越低的像素点的滤波效果越弱。
在本发明一个实施方式中，所述对待处理图像进行滤波处理包括：以利用滑动窗口内的部分像素点的像素值的计算结果，更新所述滑动窗口内的预定位置像素点的像素值的方式，对所述待处理图像进行滤波处理。
在本发明又一个实施方式中，所述以利用滑动窗口内的部分像素点的像素值的计算结果，更新所述滑动窗口内的预定位置像素点的像素值的方式，对所述待处理图像进行滤波处理包括：使N×N的滑动窗口在待处理图像中滑动，其中，所述滑动窗口的边长N为不小于3的奇数个像素点；针对滑动窗口的任一次滑动：从滑动窗口内的N×N个像素点像素值中抽取部分像素点的像素值，根据抽取出的各像素值及其各自对应的权值计算更新像素值，并利用所述更新像素值替换所述滑动窗口内的预定位置像素点的像素值；在所述滑动窗口在所述待处理图像完成所有滑动操作后，获得滤波处理后的图像。
在本发明再一个实施方式中，所述部分像素点各自对应的权值的大小与其距离滑动窗口中心点的距离成反比。
在本发明再一个实施方式中，所述滑动窗口内的部分像素点的数量与滑动窗口内的所有像素点的数量的比值在1/10至1/30之间。
在本发明再一个实施方式中，所述部分像素点包括多个像素点，且所述多个像素点在所述滑动窗口内均匀分布。
在本发明再一个实施方式中，所述待处理图像包括：视频中的图像帧；且所述对待处理图像进行滤波处理包括：实时地对视频中的多个图像帧分别进行滤波处理。
在本发明再一个实施方式中，所述目标对象包括：人的面部，所述目标区域包括：基于人的面部关键点而确定出的人的面部上的局部皮肤区域。
在本发明再一个实施方式中，所述局部皮肤区域包括：以鼻子关键点为中心的正方形区域。
在本发明再一个实施方式中，在所述待处理图像为视频中的图像帧的情况下，所述确定所述待处理图像中的像素点与所述待处理图像中的目标对象的目标区域的相似度包括：针对视频中的一图像帧，实时检测该图像帧中的人的面部关键点，并根据检测到的人的面部关键点确定人的面部上的局部皮肤区域，实时地确定所述图像帧中的像素点与所述局部皮肤区域的相似度。
在本发明再一个实施方式中，所述确定所述待处理图像中的像素点与所述待处理图像中的目标对象的目标区域的相似度包括：根据所述目标区域中的像素点的像素值计算所述目标区域的像素值均值以及方差；根据所述待处理图像中的各像素点的像素值、所述均值以及所述方差计算各像素点与所述待处理图像中的目标对象的目标区域的相似度；对所述相似度进行归一化处理。
在本发明再一个实施方式中，所述相似度包括：基于红绿蓝RGB三通道的相似度、基于优化彩色视频信号YcrCb空间的色调与饱和度CrCb通道的相似度、或者基于灰度值和色调YIQ空间的色调IQ通道的相似度。
在本发明再一个实施方式中，所述将所述相似度、待处理图像以及滤波处理后的图像进行融合包括：将所述相似度、待处理图像以及滤波处理后的图像进行线性叠加。
根据本申请实施方式的其中另一个方面，提供了一种用于实现图像增强的方法，包括对待处理图像进行滤波处理，且所述滤波处理包括：获取滑动窗口内的部分像素点的像素值；根据针对所述部分像素点的像素值的计算结果，更新所述滑动窗口内的预定位置像素点的像素值。
在本发明一个实施方式中，所述滤波处理具体包括：使N×N的滑动窗口在待处理图像中滑动，其中，N为不小于3的奇数；针对滑动窗口的任一次滑动：从滑动窗口内的N×N个像素值中抽取部分像素点的像素值，根据抽取出的各像素值及其各自对应的权值计算更新像素值，并利用所述更新像素值替换所述滑动窗口内的预定位置像素点的像素值；在所述滑动窗口在所述待处理图像完成所有滑动操作后，获得滤波处理后的图像。
在本发明又一个实施方式中，所述使N×N的滑动窗口在待处理图像中滑动包括：按照从左至右、从上至下的顺序，使所述滑动窗口以步长为1个像素为单位在待处理图像中滑动。
在本发明再一个实施方式中，所述部分像素点各自对应的权值的大小与其距离滑动窗口中心点的距离成反比。
在本发明再一个实施方式中，所述滑动窗口内的部分像素点的数量与滑动窗口内的所有像素点的数量的比值在1/10至1/30之间。
在本发明再一个实施方式中，所述部分像素点包括多个像素点，且所述多个像素点在所述滑动窗口内均匀分布。
在本发明再一个实施方式中，所述待处理图像包括：视频中的图像帧；且所述对待处理图像进行滤波处理包括：实时地对视频中的多个图像帧分别进行滤波处理。
在本发明再一个实施方式中，所述目标对象包括：人的面部，所述目标区域包括：基于人的面部关键点而确定出的人的面部上的局部皮肤区域。
在本发明再一个实施方式中，所述局部皮肤区域包括：以鼻子关键点为中心的正方形区域。
根据本申请实施方式的其中再一个方面，提供了一种用于实现图像增强的装置，包括：滤波处理模块，用于对待处理图像进行滤波处理，获得滤波处理后的图像；相似度模块，用于确定所述待处理图像中的像素点与所述待处理图像中的目标对象的目标区域的相似度；融合处理模块，用于将所述相似度、待处理图像以及滤波处理后的图像进行融合，使得所述待处理图像中与所述目标对象的相似度越高的像素点的滤波效果越强，所述待处理图像中与所述目标对象的相似度越低的像素点的滤波效果越弱。
根据本申请实施方式的其中再一个方面，提供了一种用于实现图像增强的装置，包括用于对待处理图像进行滤波处理的滤波处理模块，且所述滤波处理模块包括：抽取像素点单元，用于获取滑动窗口内的部分像素点的像素值；滤波处理单元，用于根据针对所述部分像素点的像素值的计算结果，更新所述滑动窗口内的预定位置像素点的像素值。
根据本申请实施方式的再一个方面，提供了一种电子设备，包括：存储器，用于存储计算机程序；处理器，用于执行所述存储器中存储的计算机程序，且所述计算机程序被执行时，下述指令被运行：用于对待处理图像进行滤波处理的指令，获得滤波处理后的图像；用于确定所述待处理图像中的像素点与所述待处理图像中的目标对象的目标区域的相似度的指令；用于将所述相似度、待处理图像以及滤波处理后的图像进行融合，使得所述待处理图像中与所述目标对象的相似度越高的像素点的滤波效果越强，所述待处理图像中与所述目标对象的相似度越低的像素点的滤波效果越弱。
在本发明一个实施方式中，所述用于对待处理图像进行滤波处理的指令具体为：用于以利用滑动窗口内的部分像素点的像素值的计算结果，更新所述滑动窗口内的预定位置像素点的像素值的方式，对所述待处理图像进行滤波处理的指令。
在本发明又一个实施方式中，所述用于以利用滑动窗口内的部分像素点的像素值的计算结果，更新所述滑动窗口内的预定位置像素点的像素值的方式，对所述待处理图像进行滤波处理的指令具体为：用于使N×N的滑动窗口在待处理图像中滑动的指令，其中，所述滑动窗口的边长N为不小于3的奇数个像素点；针对滑动窗口的任一次滑动：用于从滑动窗口内的N×N个像素点像素值中抽取部分像素点的像素值，根据抽取出的各像素值及其各自对应的权值计算更新像素值，并利用所述更新像素值替换所述滑动窗口内的预定位置像素点的像素值的指令；在所述滑动窗口在所述待处理图像完成所有滑动操作后，获得滤波处理后的图像。
在本发明再一个实施方式中，所述部分像素点各自对应的权值的大小与其距离滑动窗口中心点的距离成反比。
在本发明再一个实施方式中，所述滑动窗口内的部分像素点的数量与滑动窗口内的所有像素点的数量的比值在1/10至1/30之间。
在本发明再一个实施方式中，所述部分像素点包括多个像素点，且所述多个像素点在所述滑动窗口内均匀分布。
在本发明再一个实施方式中，所述待处理图像包括：视频中的图像帧；且所述用于对待处理图像进行滤波处理的指令具体为：用于实时地对视频中的多个图像帧分别进行滤波处理的指令。
在本发明再一个实施方式中，所述目标对象包括：人的面部，所述目标区域包括：基于人的面部关键点而确定出的人的面部上的局部皮肤区域。
在本发明再一个实施方式中，所述局部皮肤区域包括：以鼻子关键点为中心的正方形区域。
在本发明再一个实施方式中，在所述待处理图像为视频中的图像帧的情况下，所述用于确定所述待处理图像中的像素点与所述待处理图像中的目标对象的目标区域的相似度的指令具体为：针对视频中的一图像帧，用于实时检测该图像帧中的人的面部关键点，并根据检测到的人的面部关键点确定人的面部上的局部皮肤区域，实时地确定所述图像帧中的像素点与所述局部皮肤区域的相似度的指令。
在本发明再一个实施方式中，所述用于确定所述待处理图像中的像素点与所述待处理图像中的目标对象的目标区域的相似度的指令包括：用于根据所述目标区域中的像素点的像素值计算所述目标区域的像素值均值以及方差的指令；用于根据所述待处理图像中的各像素点的像素值、所述均值以及所述方差计算各像素点与所述待处理图像中的目标对象的目标区域的相似度的指令；用于对所述相似度进行归一化处理的指令。
在本发明再一个实施方式中，所述相似度包括：基于RGB三通道的相似度、基于优化彩色视频信号YcrCb空间的色调与饱和度CrCb通道的相似度、或者基于灰度值和色调YIQ空间的色调IQ通道的相似度。
在本发明再一个实施方式中，所述用于将所述相似度、待处理图像以及滤波处理后的图像进行融合的指令具体为：用于将所述相似度、待处理图像以及滤波处理后的图像进行线性叠加的指令。
根据本申请实施方式的再一个方面，提供了一种电子设备，包括：存储器，用于存储计算机程序；处理器，用于执行所述存储器中存储的计算机程序，且所述计算机程序被执行时，执行用于对待处理图像进行滤波处理的指令，且所述用于对待处理图像进行滤波处理的指令包括：用于获取滑动窗口内的部分像素点的像素值的指令；用于根据针对所述部分像素点的像素值的计算结果，更新所述滑动窗口内的预定位置像素点的像素值的指令。
在本发明一个实施方式中，所述用于对待处理图像进行滤波处理的指令具体包括：用于使N×N的滑动窗口在待处理图像中滑动的指令，其中，N为不小于3的奇数；针对滑动窗口的任一次滑动：用于从滑动窗口内的N×N个像素值中抽取部分像素点的像素值，根据抽取出的各像素值及其各自对应的权值计算更新像素值，并利用所述更新像素值替换所述滑动窗口内的预定位置像素点的像素值的指令；在所述滑动窗口在所述待处理图像完成所有滑动操作后，获得滤波处理后的图像。
在本发明又一个实施方式中，所述用于使N×N的滑动窗口在待处理图像中滑动的指令具体为：用于按照从左至右、从上至下的顺序，使所述滑动窗口以步长为1个像素为单位在待处理图像中滑动的指令。
在本发明再一个实施方式中，所述部分像素点各自对应的权值的大小与其距离滑动窗口中心点的距离成反比。
在本发明再一个实施方式中，所述滑动窗口内的部分像素点的数量与滑动窗口内的所有像素点的数量的比值在1/10至1/30之间。
在本发明再一个实施方式中，所述部分像素点包括多个像素点，且所述多个像素点在所述滑动窗口内均匀分布。
在本发明再一个实施方式中，所述待处理图像包括：视频中的图像帧；且所述用于对待处理图像进行滤波处理的指令具体为：用于实时地对视频中的多个图像帧分别进行滤波处理的指令。
在本发明再一个实施方式中，所述目标对象包括：人的面部，所述目标区域包括：基于人的面部关键点而确定出的人的面部上的局部皮肤区域。
在本发明再一个实施方式中，所述局部皮肤区域包括：以鼻子关键点为中心的正方形区域。
根据本申请实施方式的再一个方面，提供的一种计算机存储介质，其上存储有计算机程序，该计算机程序被处理器执行时，执行本申请方法实施方式中的各步骤，例如，对待处理图像进行滤波处理，获得滤波处理后的图像；确定所述待处理图像中的像素点与所述待处理图像中的目标对象的目标区域的相似度；将所述相似度、待处理图像以及滤波处理后的图像进行融合，使得所述待处理图像中与所述目标对象的相似度越高的像素点的滤波效果越强，所述待处理图像中与所述目标对象的相似度越低的像素点的滤波效果越弱；再例如，对待处理图像进行滤波处理，且所述滤波处理包括：获取滑动窗口内的部分像素点的像素值；根据针对所述部分像素点的像素值的计算结果，更新所述滑动窗口内的预定位置像素点的像素值。
根据本申请实施方式的再一个方面，提供的一种计算机程序，该计算机程序被执行时，执行本申请方法实施方式中的各步骤，例如，对待处理图像进行滤波处理，获得滤波处理后的图像；确定所述待处理图像中的像素点与所述待处理图像中的目标对象的目标区域的相似度；将所述相似度、待处理图像以及滤波处理后的图像进行融合，使得所述待处理图像中与所述目标对象的相似度越高的像素点的滤波效果越强，所述待处理图像中与所述目标对象的相似度越低的像素点的滤波效果越弱；再例如，对待处理图像进行滤波处理，且所述滤波处理包括：获取滑动窗口内的部分像素点的像素值；根据针对所述部分像素点的像素值的计算结果，更新所述滑动窗口内的预定位置像素点的像素值。
基于本申请提供的用于实现图像增强的方法、用于实现图像增强的装置、电子设备以及计算机存储介质，本申请通过在滤波处理过程中利用抽取部分像素点的方式实现滤波处理，并利用待处理图像中的像素点与待处理图像中的目标对象的目标区域的相似度、待处理图像和待处理图像的滤波处理后的图像进行图像融合，使本申请的用于实现图像增强的技术方案在具有一定程度的实时性的同时，能够尽可能的保留待处理图像(例如，原始图像)中的不应丢失的细节内容，最终在能够满足视频的图像增强需求的同时，提高了图像增强效果。
下面通过附图和实施方式，对本申请的技术方案做进一步的详细描述。
附图说明
构成说明书的一部分的附图描述了本申请的实施方式，并且连同描述一起用于解释本申请的原理。
参照附图，根据下面的详细描述，可以更加清楚地理解本申请，其中：
图1为本申请的一个应用场景示意图；
图2为本申请的另一个应用场景示意图；
图3为本申请的再一个应用场景示意图；
图4为实现本申请实施方式的一示例性设备的框图；
图5为本申请方法一个实施方式的流程图；
图6为本申请方法另一个实施方式的流程图；
图7为本申请的滤波处理过程中选取的像素点的示意图；
图8为本申请的滤波处理前后的图像对比示意图；
图9为本申请的一个相似度模板的示意图；
图10为本申请的基于相似度模板进行融合处理前后的图像对比示意图；
图11为本申请装置一个实施方式的结构示意图；
图12为本申请装置另一个实施方式的结构示意图。
具体实施方式
现在将参照附图来详细描述本申请的各种示例性实施方式。应该注意到：除非另外具体说明，否则在这些实施方式中阐述的部件和步骤的相对布置、数字表达式和数值不限制本申请的范围。
同时，应当明白，为了便于描述，附图中所示出的各个部分的尺寸并不是按照实际的比例关系绘制的。
以下对至少一个示例性实施方式的描述实际上仅仅是说明性的，决不作为对本申请及其应用或使用的任何限制。
对于相关领域普通技术人员已知的技术、方法和设备可能不作详细讨论，但在适当情况下，所述技术、方法和设备应当被视为说明书的一部分。
应注意到：相似的标号和字母在下面的附图中表示类似项，因此一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步讨论。
本申请实施方式可以应用于计算机系统/服务器，其可与众多其它通用或者专用计算系统环境或配置一起操作。适于与计算机系统/服务器一起使用的众所周知的计算系统、环境和/或配置的例子包括但不限于：个人计算机系统、服务器计算机系统、瘦客户机、厚客户机、手持或膝上设备、基于微处理器的系统、机顶盒、可编程消费电子产品、网络个人电脑、小型计算机系统、大型计算机系统和包括上述任何系统的分布式云计算技术环境，等等。
计算机系统/服务器可以在由计算机系统执行的计算机系统可执行指令(诸如程序模块)的一般语境下描述。通常，程序模块可以包括例程、程序、目标程序、组件、逻辑以及数据结构等等，它们执行特定的任务或者实现特定的抽象数据类型。计算机系统/服务器可以在分布式云计算环境中实施，分布式云计算环境中，任务是由通过通信网络链接的远程处理设备执行的。在分布式云计算环境中，程序模块可以位于包括存储设备的本地或者远程计算系统存储介质上。
应用场景总览
首先参考图1，示意性地示出了根据本申请实施方式的可以在其中实现的应用场景。
由于图像增强技术能够改善图像的视觉效果，而在人像美化方面得到了越来越多的应用。
一个具体的例子，图1所示的电子设备100(例如，智能移动电话或者相机或者平板电脑等智能移动设备)中安装有APP101，且APP101是具有美颜功能的APP。用户在启动其电子设备100中的照相/录像功能，为自己、家人、朋友或者同事等拍摄照片/录像后，用户主动启动其电子设备100中的APP101对其拍摄的照片/录像进行美颜处理，从而可以消除照片/录像中的人的面部上的瑕疵。
另一个具体的例子，图2所示的电子设备200(例如，智能移动电话或者相机或者平板电脑等智能移动设备)中的照相/录像功能支持美颜。用户在启动其电子设备200中的照相/录像功能，为自己、家人、朋友或者同事等拍摄照片/录像后，照相/录像功能会主动提示用户是否针对当前拍摄的照片/录像进行美颜处理，在用户允许针对当前拍摄的照片/录像进行美颜处理的情况下，照相/录像功能调用美颜功能对当前拍摄的照片/录像进行美颜处理，从而可以消除照片/录像中的人的面部上的瑕疵。
再一个具体的例子，图3所示的电子设备300(例如，智能移动电话或者平板电脑或者笔记型计算机或者台式计算机或者服务器等具有互联网接入能力的电子设备)为主播人进行网络直播所使用的电子设备，主播人控制电子设备300运行能够实现网络直播以及能够执行美颜处理的程序代码，从而在主播人利用该电子设备300进行网络直播的过程中，电子设备300可以对其当前摄取到的直播视频中的人像(例如主播人)实时地进行美颜处理，以消除直播视频中主播人面部上的瑕疵，且电子设备300会将美颜处理后的直播视频通过网络实时地下发给收看直播视的各用户，从而各用户收看到的直播视频为美颜处理后的直播视频。
本申请中的美颜处理有时也被称为磨皮处理或者美化/美容处理等。
然而，本领域技术人员完全可以理解，本申请实施方式的适用场景不受到该框架任何方面的限制。
本申请提供的用于实现图像增强的技术方案通过对待处理图像(如原始图像或预处理后的图像等)进行滤波处理，可以使待处理图像中的一些细节部分被去除或者淡化，例如，滤波处理可以使人的面部上的瑕疵被去除或者淡化；通过基于待处理图像中的像素点与待处理图像中的目标对象的目标区域(例如，鼻子附近的皮肤区域)的相似度，可以利用相似度来体现出待处理图像中的各像素与目标区域之间的相似度差异；通过将相似度与待处理图像和滤波处理后的图像进行融合，在使一部分通过滤波处理而去除或者淡化的细节仍然被去除或者淡化的同时，使另一部分通过滤波处理而去除或者淡化的细节被展现出来；从而本申请提供的技术方案可以避免图像中的不必要被去除或者淡化的细节在图像增强处理过程中被去除或者淡化的现象。
本申请提供的用于实现图像增强的技术方案通过在滤波处理过程中，基于滑动窗口内的部分像素点的像素值来更新滑动窗口内的预定位置像素点的像素值，能够有效降低滤波处理过程中的计算量，从而有利于提高滤波处理的速度，进而使本申请提供的用于实现图像增强的技术方案能够具有一定的实时性，使用于实现图像增强的技术方案能够适用于视频成为可能。
由上述描述可知，本申请通过在滤波处理过程中利用抽取部分像素点的方式实现滤波处理，并利用相似度与待处理图像和待处理图像的滤波处理后的图像进行图像融合，使本申请的用于实现图像增强的技术方案在具有一定程度的实时性的同时，能够尽可能的保留待处理图像(例如，原始图像)中的不应丢失的细节内容，最终在能够满足视频的图像增强需求的同时，提高了图像增强效果。
示例性设备
图4示出了适于实现本申请的示例性设备400，设备400可以是移动终端(例如，智能移动电话等)、个人计算机(PC，例如，台式计算机或者笔记型计算机等)、平板电脑以及服务器等。图4中，设备400包括一个或者多个处理器、通信部等，所述一个或者多个处理器可以为：一个或者多个中央处理单元(CPU)401，和/或，一个或者多个图像处理器(GPU)413等，处理器可以根据存储在只读存储器(ROM)402中的可执行指令或者从存储部分408加载到随机访问存储器(RAM)403中的可执行指令而执行各种适当的动作和处理。通信部412可以包括但不限于网卡，所述网卡可以包括但不限于IB(Infiniband)网卡。处理器可与只读存储器402和/或随机访问存储器430中通信以执行可执行指令，通过总线404与通信部412相连、并经通信部412与其他目标设备通信，从而完成本申请中的相应步骤。在一个可选的示例中，处理器所执行的步骤包括：对待处理图像进行滤波处理，获得滤波处理后的图像；确定待处理图像中的像素点与待处理图像中的目标对象的目标区域的相似度；将上述相似度、待处理图像以及滤波处理后的图像进行融合，使得待处理图像中与目标对象的相似度越高的像素点的滤波效果越强，待处理图像中与目标对象的相似度越低的像素点的滤波效果越弱。在另一个可选的示例中，处理器所执行的步骤包括：对待处理图像进行滤波处理的步骤，且该滤波处理的步骤具体包括：获取滑动窗口内的部分像素点的像素值；根据针对部分像素点的像素值的计算结果更新滑动窗口内的预定位置像素点的像素值。
此外，在RAM 403中，还可以存储有装置操作所需的各种程序以及数据。CPU401、ROM402以及RAM403通过总线404彼此相连。在有RAM403的情况下，ROM402为可选模块。RAM403存储可执行指令，或在运行时向ROM402中写入可执行指令，可执行指令使中央处理单元401执行上述物体分割方法所包括的步骤。输入/输出(I/O)接口405也连接至总线404。通信部412可以集成设置，也可以设置为具有多个子模块(例如，多个IB网卡)，并分别与总线连接。
以下部件连接至I/O接口405：包括键盘、鼠标等的输入部分406；包括诸如阴极射线管(CRT)、液晶显示器(LCD)等以及扬声器等的输出部分407；包括硬盘等的存储部分408；以及包括诸如LAN卡、调制解调器等的网络接口卡的通信部分409。通信部分409经由诸如因特网的网络执行通信处理。驱动器410也根据需要连接至I/O接口405。可拆卸介质411，诸如磁盘、光盘、磁光盘、半导体存储器等等，根据需要安装在驱动器410上，以便于从其上读出的计算机程序根据需要被安装在存储部分408中。
需要特别说明的是，如图4所示的架构仅为一种可选实现方式，在具体实践过程中，可根据实际需要对上述图4的部件数量和类型进行选择、删减、增加或替换；在不同功能部件设置上，也可采用分离设置或集成设置等实现方式，例如，GPU和CPU可分离设置，再如理，可将GPU集成在CPU上，通信部可分离设置，也可集成设置在CPU或GPU上等。这些可替换的实施方式均落入本申请的保护范围。
特别地，根据本申请的实施方式，下文参考流程图描述的过程可以被实现为计算机软件程序，例如，本申请实施方式包括一种计算机程序产品，其包括有形地包含在机器可读介质上的计算机程序，计算机程序包含用于执行流程图所示的步骤的程序代码，程序代码可包括对应执行本申请提供的步骤对应的指令，例如，用于对待处理图像进行滤波处理，获得滤波处理后的图像的可执行指令；用于确定待处理图像中的像素点与待处理图像中的目标对象的目标区域的相似度的可执行指令；以及用于将相似度、待处理图像以及滤波处理后的图像进行融合，使得待处理图像中与目标对象的相似度越高的像素点的滤波效果越强，待处理图像中与目标对象的相似度越低的像素点的滤波效果越弱的可执行指令；再例如，用于对待处理图像进行滤波处理的指令，且该用于对待处理图像进行滤波处理的指令包括：用于获取滑动窗口内的部分像素点的像素值的可执行指令；以及用于根据针对部分像素点的像素值的计算结果更新滑动窗口内的预定位置像素点的像素值的可执行指令。
在这样的实施方式中，该计算机程序可以通过通信部分409从网络上被下载及安装，和/或从可拆卸介质411被安装。在该计算机程序被中央处理单元(CPU)401执行时，执行本申请中记载的上述指令。
示例性实施例
本申请提供的用于实现图像增强的技术方案可以由智能移动电话、台式计算机、笔记型计算机、照相机、平板电脑或者服务器等能够运行计算机程序(也可以称为程序代码)的电子设备实现，且该计算机程序可以存储于闪存、缓存、硬盘或者光盘等计算机可读存储介质中。
下面结合图5至图12对本申请提供的用于实现图像增强的技术方案进行说明。
图5中，S500、对待处理图像进行滤波处理，获得滤波处理后的图像。
在一个可选示例中，本申请中的步骤S500可以由处理器调用存储器中存储的用于滤波处理的指令执行，也可以由被处理器运行的滤波处理模块1100执行。
在一个可选示例中，本申请中的待处理图像可以是图片或者照片或者视频中的图像帧等；在待处理图像为视频中的图像帧时，滤波处理模块1100可以实时的对视频中的各图像帧分别进行滤波处理，以便于能够针对视频进行图像增强处理。另外，本申请中的待处理图像可以是原始图像，也可以是经过去噪等预处理后的图像。本申请不限制待处理图像的具体表现形式。
在一个可选示例中，滤波处理模块1100可以采用现有的滤波处理方式对待处理图像进行滤波处理；滤波处理模块1100也可以采用抽点滤波的方式对待处理图像进行滤波处理，也就是说，步骤S500可以具体包括：图6中的步骤S600以及步骤S610；步骤S600即获取滑动窗口内的部分像素点的像素值；步骤S610即根据针对上述获取的部分像素点的像素值的计算结果，更新滑动窗口内的预定位置像素点的像素值；且本申请中的滤波处理模块1100可以具体包括：抽取像素点单元1200以及滤波处理单元1210，抽取像素点单元1200主要用于获取滑动窗口内的部分像素点的像素值，而滤波处理单元1210主要用于利用针对滑动窗口内的部分像素点的像素值的计算结果，来更新滑动窗口内的预定位置像素点(例如，滑动窗口内的中心像素点)的像素值；在滤波处理模块1100(例如，抽取像素点单元1200或者滤波处理单元1210)控制滑动窗口在待处理图像中完成所有滑动操作后，滤波处理模块1100完成滤波处理操作，获得滤波处理后的图像。
在一个可选示例中，本申请中的滑动窗口的形状通常为正方形，且滑动窗口的边长通常为奇数个像素点，以便于确定滑动窗口的中心点(即中心像素点)。本申请中的被抽取出的像素点的数量与滑动窗口中的像素点的总数量的比值可以被设置在1/10至1/30之间，且被抽取出的像素点的数量可以根据实际需求设置，例如，可以通过衡量图像增强处理的实时性以及图像增强处理的画面效果来确定被抽取出的像素点的数量。
在一个可选示例中，被抽取出的所有像素点通常应在滑动窗口内均匀分布，例如，以滑动窗口的中点像素点为圆心，画至少两个同心圆，而被抽取出的所有像素点应均匀的分布在各同心圆的圆周上；再例如，以滑动窗口的中心像素点为“米”字的中心交点，被抽取出的所有像素点应均匀的分布在“米”字的各笔画中；再例如，以滑动窗口的中心像素点为正方形的中心点，画至少两个共中心点的正方形，而被抽取出的所有像素点应均匀的分布在共中心点的各正方形的边上。本申请不限制使抽取出的所有像素点在滑动窗口内均匀分布的具体实现方式。
在一个可选示例中，每一个被抽取出的像素点均对应有相应的权值，且每一个像素点所对应的权值的大小可以与其到滑动窗口的中心点的距离相关，例如，被抽取出的所有像素点中的距离滑动窗口的中心点越近的像素点所对应的权值越大，而被抽取出的所有像素点中的距离滑动窗口的中心点越远的像素点所对应的权值越小，如果被抽取出的两个像素点距离滑动窗口的中心点的距离相同，则这两个像素点所对应的权值通常相同，例如，被抽取出的位于同一个圆周上的所有像素点对应相同的权值。
在一个可选的实现方式中，滤波处理模块1100基于抽点滤波的方式对待处理图像进行滤波处理的一个具体例子为：参考图7，设定滑动窗口的形状为边长为17个像素点的正方形(图7中的每一个小方格的一个顶点即为滑动窗口中的一个像素点)，滤波处理模块1100(例如，抽取像素点单元1200或者滤波处理单元1210)控制滑动窗口按照从图像的左侧到图像的右侧，且从图像的上侧到图像的下侧的顺序，以步长为1的滑动方式在待处理图像中滑动，从而每次位于滑动窗口内的像素点的数量均为17×17＝289；设定滤波处理模块1100(例如，抽取像素点单元1200)每次从滑动窗口中的289个像素点中抽取的像素点的数量为16，且滤波处理模块1100(例如，抽取像素点单元1200)每次均按照如图7中的除滑动窗口的中心位置处的圆点之外的其他圆点所示的位置从滑动窗口内抽取16个像素点；滤波处理模块1100(例如，滤波处理单元1210)针对被抽取出的16个像素点的像素值以及这16个像素点各自对应的权值进行计算，例如，滤波处理模块1100(例如，滤波处理单元1210)将16个像素点的像素值分别与其对应的权值进行相乘，从而获得16个乘积，然后，滤波处理模块1100(例如，滤波处理单元1210)计算这16个乘积之和。滤波处理模块1100(例如，滤波处理单元1210)可以利用计算出的乘积之和替换滑动窗口中的预定位置处的像素点的像素值；通常情况下，滤波处理模块1100(例如，滤波处理单元1210)可以利用计算出的乘积之和替换滑动窗口中的中心点的像素值。滑动窗口中的中心点如图7中的位于第9行第9列位置处的圆点。当然，本申请也不排除滤波处理模块1100(例如，滤波处理单元1210)利用计算出的乘积之和替换滑动窗口中的中心点左/右/上/下相邻的像素点的像素值的可能性，例如，滤波处理模块1100(例如，滤波处理单元1210)利用计算出的乘积之和替换滑动窗口中的第9行第10列位置处的像素点的像素值。
在一个可选的示例中，待处理图像在滤波处理模块1100对其进行滤波处理之前，如图8中的左上图所示；待处理图像在滤波处理模块1100基于抽点滤波的方式对其进行滤波处理后，所获得的滤波处理后的图像如图8中的右上图所示；而图8中的左下图和右下图分别是左上图和右上图中的人的面部的鼻子一侧同样位置的皮肤区域的放大图；由图8中的这两个放大图可以看出，在滤波处理后的图像中，人的面部的皮肤上的暗斑被淡化，甚至被去除了；然而，由图8中的左上图和右上图可以感觉到，人的背景(例如，人身后的幕布)上的一些细节(例如，幕布上的纹路等)也同样被淡化，甚至被去除了。
由上述可选示例的描述可知，如果滤波处理模块1100采用抽点滤波的方式，则针对滑动窗口的每一次滑动而言，滤波处理模块1100通常需要执行16次乘法运算以及15次加法运算；而如果滤波处理模块1100采用非抽点滤波的方式，则针对滑动窗口的每一次滑动而言，滤波处理模块1100通常需要执行288次乘法运算以及287次乘法运算；相比较而言，本申请大幅度的减少了图像增强处理过程中的乘法和加法的运算量，从而使本申请的用于实现图像增强的技术方案能够适用于视频中，成为可能。
需要特别说明的是，虽然本申请不限制滑动窗口中的被替换像素值的预定位置像素点在滑动窗口中的具体位置(例如，可以位于滑动窗口中的中心点，也可以位于滑动窗口中的中心点左/右/上/下相邻的像素点处)，但是在滑动窗口在待处理图像上的所有滑动过程中，该预定位置不应发生变化，例如，针对滑动窗口的每一次滑动而言，均利用当前计算结果替换滑动窗口中的第9行第10列位置处的像素点的像素值。
在一个可选示例中，如果需要使待处理图像中的每一个像素点的像素值均被替换，则本申请应预先对待处理图像进行扩展处理，以使扩展处理前的待处理图像中的最外侧的X行X列中的像素点能够位于滑动窗口中的预定位置处(例如，中心点位置处)；而如果不对待处理图像进行扩展处理，则待处理图像中的最外侧的X行X列中的像素点的像素值通常不会被替换。在预定位置为中心位置的情况下，上述X通常为(滑动窗口的边长–1)/2。本申请对待处理图像进行扩展处理的一个具体例子为，设定滑动窗口的形状为边长为17个像素点的正方形，设定待处理图像的长和宽分别为300个像素点，在上述设定的情况下，滤波处理模块1100可以将待处理图像扩展为长和宽分别为316个像素点的图像，例如，滤波处理模块1100可以通过针对待处理图像的最外侧的像素点的像素值进行拷贝扩展的方式，使待处理图像的长和宽分别被扩展为316个像素点。
在一个可选示例中，由于待处理图像的边缘位置处的图像内容通常不是待处理图像所展现的图像内容的重点部分，因此，滤波处理模块1100完全可以不对待处理图像进行扩展处理。
S510、确定待处理图像中的像素点与待处理图像中的目标对象的目标区域的相似度。所述相似度可以形成相似度模板。
在一个可选示例中，本申请中的步骤S510可以由处理器调用存储器中存储的用于形成相似度的指令执行，也可以由被处理器运行的形成相似度模块1110执行。
在一个可选示例中，本申请中的目标对象通常为人的面部，当然，目标对象也可以为其他具有一定特征的对象，例如，具有车轮、车灯、汽车号牌以及挡风玻璃等固定特征的汽车等。在目标对象为人的面部的情况下，本申请中的目标区域通常为基于人的面部关键点而确定出的人的面部上的局部皮肤区域，例如，基于人的鼻子关键点确定出的鼻子附近的皮肤区域；鼻子附近的皮肤区域可以具体为以鼻子关键点为中心的正方形区域；鼻子附近的皮肤区域也可以具体为以鼻子关键点为一个顶点的正方形区域等；上述正方形区域的边长可以为100个像素点等。
在一个可选示例中，在本申请需要针对视频进行图像增强处理的情况下(即在待处理图像为视频中的一图像帧的情况下)，形成相似度模块1110可以利用现有的人脸关键点检测技术实时地检测出该图像帧中的人的面部关键点(例如，鼻子关键点)，并根据检测到的人的面部关键点确定人的面部上的局部皮肤区域(例如，鼻子附近的皮肤区域等)，且形成相似度模块1110实时地计算出该图像帧中的像素点与上述局部皮肤区域的相似度，相似度模块1110可以利用其计算出的所有相似度形成相似度模板。上述图像帧中的像素点通常为图像帧中的所有像素点，当然，上述图像帧中的像素点也可以为图像帧中的局部区域中的像素点(例如，图像帧中的目标区域附近的多个像素点等)，本申请不对图像帧中的像素点进行具体的限定。
由于步骤S500的滤波处理过程和步骤S510的确定相似度过程相互之间不存在依赖关系，因此，本申请的滤波处理过程和本申请的确定相似度过程完全可以并行执行，从而进一步使本申请的用于实现图像增强的技术方案能够适用于视频中，成为可能。
形成相似度模块1110形成相似度模板的一个具体例子为：
首先，形成相似度模块1110根据其确定出的目标区域中的多个像素点(例如，目标区域中的所有像素点)的像素值计算目标区域的像素值均值以及方差，例如，形成相似度模块1110利用下述公式(1)计算目标区域的像素值均值mean，并利用下述公式(2)计算目标区域的方差var：
mean＝(x1+x2+......+xn)/n 公式(1)
在上述公式(1)和公式(2)中，x1表示待处理图像中的第1个像素点的像素值，x2表示待处理图像中的第2个像素点的像素值，xn表示待处理图像中的第n个像素点的像素值，n表示待处理图像所包含的所有像素点的数量，mean表示目标区域的像素值均值，var表示目标区域的方差。
其次，形成相似度模块1110根据待处理图像中的像素点(例如，待处理图像中的各像素点或者目标区域附近的多个像素点)的像素值、均值以及方差，利用下述公式(3)计算待处理图像中的像素点与待处理图像中的目标对象的目标区域的相似度；
在上述公式(3)中，prob表示针对待处理图像中的一个像素点计算出来的相似度，pixel表示待处理图像中的一个像素点的像素值，mean表示目标区域的像素值均值，var表示目标区域的方差。
最后，形成相似度模块1110对其计算出的各相似度prob进行归一化处理，形成相似度模块1110利用所有归一化处理后的prob形成相似度模板，即本申请中的相似度模板通常是归一化的相似度模板。
在一个可选示例中，形成相似度模块1110确定出的相似度通常是基于RGB(即红绿蓝)三通道的相似度，从而形成相似度模块1110所形成的相似度模板通常是基于RGB(即红绿蓝)三通道的相似度所形成的相似度模板，当然，本申请确定出的相似度也可以为基于YcrCb(即YUV，优化彩色视频信号)空间的CrCb(色调与饱和度)通道的相似度或者基于YIQ(灰度值和色调)空间的IQ(色调)通道的相似度，从而形成相似度模块1110所形成的相似度模板也可以为基于YcrCb空间的CrCb通道的相似度模板或者基于YIQ空间的IQ通道的相似度模板等。可选的，本申请可以根据混合高斯模型在YcrCb空间的CrCb通道上计算相似度并形成相似度模板。本申请不限制形成相似度模板的具体实现方式。
在一个可选示例中，在形成相似度模块1110计算相似度(例如，计算prob)时，其可以以人的面部的局部皮肤区域为基础进行相似度计算，且在该相似度是基于RGB三通道的相似度时，由这样的相似度所组成的相似度模板可以称为肤色相似度模板，从视觉感方面而言，在该肤色相似度模板中，与待处理图像中的人的面部的肤色相似度越高的部分，其所展现出的颜色越黑，而与待处理图像中的人的面部的肤色相似度越低的部分，其所展现出的颜色则越白；例如，针对图8中的左上图所形成的相似度模板如图9所示，从图9所示的相似度模板可以看出，与图8左上图中的人的鼻子附近的皮肤区域的皮肤肤色相似程度越高的部分，其所展现出的颜色越黑，而与图8左上图中的人的鼻子附近的皮肤区域的皮肤肤色相似程度越低的部分，其所展现出的颜色则越白。
S520、将相似度(如相似度模板)、待处理图像以及滤波处理后的图像进行融合，使得待处理图像中与目标对象的相似度越高的像素点的滤波效果越强，待处理图像中与目标对象的相似度越低的像素点的滤波效果越弱。
在一个可选示例中，本申请中的步骤S520可以由处理器调用存储器中存储的用于进行图像融合的指令执行，也可以由被处理器运行的融合处理模块1120执行。
在一个可选示例中，融合处理模块1120可以将相似度(如相似度模板)、待处理图像以及滤波处理后的图像进行线性叠加，以实现三者的融合。融合处理模块1120可以采用下述公式(4)执行线性叠加处理：
result＝sqrt(alpha)×origin+(1-sqrt(alpha))×smooth 公式(4)
在上述公式(4)中，result表示线性叠加处理后的图像，sqrt(*)表示对*执行开方运算，alpha表示相似度模板(例如，归一化的相似度模板)中的各像素点的像素值，origin表示滤波处理前的待处理图像(例如，原始图像)中的各像素点的像素值，smooth表示滤波处理后的图像中的各像素点的像素值。
在相似度模板为肤色相似度模板的情况下，融合处理模块1120通过将相似度模板、待处理图像以及滤波处理后的图像进行线性叠加，使滤波处理后的图像中的与肤色存在一定差异的、经滤波处理被淡化甚至被去除的细节重新展现在线性叠加处理后的图像中，例如，在图8中的右上和右下图中，滤波处理后的图像中的人的面部的皮肤上的暗斑被淡化，甚至被去除了，然而，从图10中的左上图(即滤波处理后的图像)和左下图(即图10中的左上图中的方框的放大图)可以看出，滤波处理后的图像中的人的背景(例如，幕布)上的一些细节(例如，幕布上的纹路等)也同样被淡化，甚至被去除了；本申请通过执行线性叠加处理，获得待处理图像对应的更新图(即图10中的右上图)，该更新图中的方框与图10中的左上图中的方框位置相同，且该更新图中的方框的放大图如图10中的右下图所示，对比图10中的两个放大图可知，在经过本申请的融合处理后，待处理图像中的与人的鼻子附近的皮肤区域的肤色存在一定差异的人的背景(例如，幕布)上的一些细节(例如，幕布上的纹路等)重新被展现出来。
可能以许多方式来实现本申请的方法和装置、电子设备以及计算机可读存储介质。例如，可通过软件、硬件、固件或者软件、硬件、固件的任何组合来实现本申请的方法和装置、电子设备以及计算机可读存储介质。用于方法的步骤的上述顺序仅是为了进行说明，本申请的方法的步骤不限于以上具体描述的顺序，除非以其它方式特别说明。此外，在一些实施方式中，还可将本申请实施为记录在记录介质中的程序，这些程序包括用于实现根据本申请的方法的机器可读指令。因而，本申请还覆盖存储用于执行根据本申请的方法的程序的记录介质。
本申请的描述是为了示例和描述起见而给出的，而并不是无遗漏的或者将本申请限于所公开的形式。很多修改和变化对于本领域的普通技术人员而言是显然的。选择和描述实施方式是为了更好说明本申请的原理和实际应用，并且使本领域的普通技术人员能够理解本申请从而设计适于特定用途的带有各种修改的各种实施方式。

Claims (10)

1.一种用于实现图像增强的方法，其特征在于，包括：
对待处理图像进行滤波处理，获得滤波处理后的图像；
确定所述待处理图像中的像素点与所述待处理图像中的目标对象的目标区域的相似度；
将所述相似度、待处理图像以及滤波处理后的图像进行融合，使得所述待处理图像中与所述目标对象的相似度越高的像素点的滤波效果越强，所述待处理图像中与所述目标对象的相似度越低的像素点的滤波效果越弱。
2.根据权利要求1所述的方法，其特征在于，所述对待处理图像进行滤波处理包括：
以利用滑动窗口内的部分像素点的像素值的计算结果，更新所述滑动窗口内的预定位置像素点的像素值的方式，对所述待处理图像进行滤波处理。
3.根据权利要求2所述的方法，其特征在于，所述以利用滑动窗口内的部分像素点的像素值的计算结果，更新所述滑动窗口内的预定位置像素点的像素值的方式，对所述待处理图像进行滤波处理包括：
使N×N的滑动窗口在待处理图像中滑动，其中，所述滑动窗口的边长N为不小于3的奇数个像素点；
针对滑动窗口的任一次滑动：从滑动窗口内的N×N个像素点像素值中抽取部分像素点的像素值，根据抽取出的各像素值及其各自对应的权值计算更新像素值，并利用所述更新像素值替换所述滑动窗口内的预定位置像素点的像素值；
在所述滑动窗口在所述待处理图像完成所有滑动操作后，获得滤波处理后的图像。
4.根据权利要求3所述的方法，其特征在于，所述部分像素点各自对应的权值的大小与其距离滑动窗口中心点的距离成反比。
5.一种用于实现图像增强的方法，其特征在于，包括对待处理图像进行滤波处理，且所述滤波处理包括：
获取滑动窗口内的部分像素点的像素值；
根据针对所述部分像素点的像素值的计算结果，更新所述滑动窗口内的预定位置像素点的像素值。
6.一种用于实现图像增强的装置，其特征在于，包括：
滤波处理模块，用于对待处理图像进行滤波处理，获得滤波处理后的图像；
相似度模块，用于确定所述待处理图像中的像素点与所述待处理图像中的目标对象的目标区域的相似度；
融合处理模块，用于将所述相似度、待处理图像以及滤波处理后的图像进行融合，使得所述待处理图像中与所述目标对象的相似度越高的像素点的滤波效果越强，所述待处理图像中与所述目标对象的相似度越低的像素点的滤波效果越弱。
7.一种用于实现图像增强的装置，其特征在于，包括用于对待处理图像进行滤波处理的滤波处理模块，且所述滤波处理模块包括：
抽取像素点单元，用于获取滑动窗口内的部分像素点的像素值；
滤波处理单元，用于根据针对所述部分像素点的像素值的计算结果，更新所述滑动窗口内的预定位置像素点的像素值。
8.一种电子设备，包括：
存储器，用于存储计算机程序；
处理器，用于执行所述存储器中存储的计算机程序，且所述计算机程序被执行时，下述指令被运行：
用于对待处理图像进行滤波处理的指令，获得滤波处理后的图像；
用于确定所述待处理图像中的像素点与所述待处理图像中的目标对象的目标区域的相似度的指令；
用于将所述相似度、待处理图像以及滤波处理后的图像进行融合，使得所述待处理图像中与所述目标对象的相似度越高的像素点的滤波效果越强，所述待处理图像中与所述目标对象的相似度越低的像素点的滤波效果越弱的指令。
9.一种电子设备，包括：
存储器，用于存储计算机程序；
处理器，用于执行所述存储器中存储的计算机程序，且所述计算机程序被执行时，执行用于对待处理图像进行滤波处理的指令，且所述用于对待处理图像进行滤波处理的指令包括：
用于获取滑动窗口内的部分像素点的像素值的指令；
用于根据针对所述部分像素点的像素值的计算结果，更新所述滑动窗口内的预定位置像素点的像素值的指令。
10.一种计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现上述权利要求1-5中任一项所述的方法。
CN201710845809.8A 2017-09-19 2017-09-19 用于实现图像增强的方法、装置和电子设备 Pending CN108230255A (zh)

Priority Applications (4)

Application Number Priority Date Filing Date Title
CN201710845809.8A CN108230255A (zh) 2017-09-19 2017-09-19 用于实现图像增强的方法、装置和电子设备
SG11202001844TA SG11202001844TA (en) 2017-09-19 2018-09-18 Method and apparatus for implementing image enhancement, and electronic device
PCT/CN2018/106315 WO2019057041A1 (zh) 2017-09-19 2018-09-18 用于实现图像增强的方法、装置和电子设备
US16/798,356 US11182885B2 (en) 2017-09-19 2020-02-22 Method and apparatus for implementing image enhancement, and electronic device

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710845809.8A CN108230255A (zh) 2017-09-19 2017-09-19 用于实现图像增强的方法、装置和电子设备

Publications (1)

Publication Number Publication Date
CN108230255A true CN108230255A (zh) 2018-06-29

Family

ID=62655478

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710845809.8A Pending CN108230255A (zh) 2017-09-19 2017-09-19 用于实现图像增强的方法、装置和电子设备

Country Status (4)

Country Link
US (1) US11182885B2 (zh)
CN (1) CN108230255A (zh)
SG (1) SG11202001844TA (zh)
WO (1) WO2019057041A1 (zh)

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109255771A (zh) * 2018-08-22 2019-01-22 广州兴森快捷电路科技有限公司 图像滤波方法及装置
WO2019057041A1 (zh) * 2017-09-19 2019-03-28 北京市商汤科技开发有限公司 用于实现图像增强的方法、装置和电子设备
CN110222555A (zh) * 2019-04-18 2019-09-10 江苏图云智能科技发展有限公司 肤色区域的检测方法和装置
CN110992283A (zh) * 2019-11-29 2020-04-10 Oppo广东移动通信有限公司 图像处理方法、图像处理装置、电子设备和可读存储介质
CN111178218A (zh) * 2019-12-23 2020-05-19 北京中广上洋科技股份有限公司 一种基于人脸识别的多特征联合视频追踪方法及系统
CN111311499A (zh) * 2018-12-12 2020-06-19 展讯通信（上海）有限公司 图像增强方法及装置、存储介质、终端
CN112308806A (zh) * 2020-11-11 2021-02-02 海宁奕斯伟集成电路设计有限公司 图像处理方法、装置、电子设备以及可读存储介质
CN113129220A (zh) * 2019-12-31 2021-07-16 荣耀终端有限公司 图像处理方法及电子设备

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108230331A (zh) * 2017-09-30 2018-06-29 深圳市商汤科技有限公司 图像处理方法和装置、电子设备、计算机存储介质
CN110458232B (zh) * 2019-08-13 2023-05-30 腾讯科技（深圳）有限公司 一种确定图像风格相似度的方法及设备
CN111292268B (zh) * 2020-02-07 2023-07-25 抖音视界有限公司 图像处理方法、装置、电子设备及计算机可读存储介质
CN113221737B (zh) * 2021-05-11 2023-09-05 杭州海康威视数字技术股份有限公司 一种物料信息的确定方法、装置、设备及存储介质

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101464998A (zh) * 2009-01-15 2009-06-24 浙江大学 面向纺织行业的非高斯纹理噪声平滑滤波方法
US8345114B2 (en) * 2008-07-30 2013-01-01 DigitalOptics Corporation Europe Limited Automatic face and skin beautification using face detection
CN106651796A (zh) * 2016-12-05 2017-05-10 乐视控股（北京）有限公司 图片或视频处理方法及系统
CN106780311A (zh) * 2016-12-22 2017-05-31 华侨大学 一种结合皮肤粗糙度的快速人脸图像美化方法

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006190259A (ja) * 2004-12-06 2006-07-20 Canon Inc 手ぶれ判定装置及び画像処理装置及びその制御方法及びプログラム
US20070223834A1 (en) * 2006-03-23 2007-09-27 Samsung Electronics Co., Ltd. Method for small detail restoration in digital images
KR100952667B1 (ko) * 2008-03-20 2010-04-13 중앙대학교 산학협력단 저역 통과 필터링을 기반으로 한 영상 보간 장치 및 방법
US8526684B2 (en) * 2009-12-14 2013-09-03 Microsoft Corporation Flexible image comparison and face matching application
CN103020914B (zh) * 2012-12-18 2016-01-20 华侨大学 基于空间连续性原理的快速图像去雾方法
WO2014144950A1 (en) * 2013-03-15 2014-09-18 Olive Medical Corporation Noise aware edge enhancement
TWI520101B (zh) * 2014-04-16 2016-02-01 鈺創科技股份有限公司 美化影像中人體膚色的方法、美化影像中人體膚色的裝置、調整影像中人體膚色亮度的方法及調整影像中人體膚色亮度的裝置
CN104715221B (zh) * 2015-03-25 2018-02-16 广州宽度信息技术有限公司 一种超低对比度二维码的解码方法及系统
CN104715463A (zh) * 2015-04-09 2015-06-17 哈尔滨工业大学 基于dsp进行超声图像平滑处理程序的优化方法
WO2017041289A1 (en) * 2015-09-11 2017-03-16 Intel Corporation Scalable real-time face beautification of video images
CN108229279B (zh) * 2017-04-14 2020-06-02 深圳市商汤科技有限公司 人脸图像处理方法、装置和电子设备
CN108230255A (zh) * 2017-09-19 2018-06-29 北京市商汤科技开发有限公司 用于实现图像增强的方法、装置和电子设备
CN108230331A (zh) * 2017-09-30 2018-06-29 深圳市商汤科技有限公司 图像处理方法和装置、电子设备、计算机存储介质

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8345114B2 (en) * 2008-07-30 2013-01-01 DigitalOptics Corporation Europe Limited Automatic face and skin beautification using face detection
CN101464998A (zh) * 2009-01-15 2009-06-24 浙江大学 面向纺织行业的非高斯纹理噪声平滑滤波方法
CN106651796A (zh) * 2016-12-05 2017-05-10 乐视控股（北京）有限公司 图片或视频处理方法及系统
CN106780311A (zh) * 2016-12-22 2017-05-31 华侨大学 一种结合皮肤粗糙度的快速人脸图像美化方法

Cited By (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019057041A1 (zh) * 2017-09-19 2019-03-28 北京市商汤科技开发有限公司 用于实现图像增强的方法、装置和电子设备
US11182885B2 (en) 2017-09-19 2021-11-23 Beijing Sensetime Technology Development Co., Ltd. Method and apparatus for implementing image enhancement, and electronic device
CN109255771B (zh) * 2018-08-22 2021-02-19 广州兴森快捷电路科技有限公司 图像滤波方法及装置
CN109255771A (zh) * 2018-08-22 2019-01-22 广州兴森快捷电路科技有限公司 图像滤波方法及装置
CN111311499B (zh) * 2018-12-12 2022-08-23 展讯通信（上海）有限公司 图像增强方法及装置、存储介质、终端
CN111311499A (zh) * 2018-12-12 2020-06-19 展讯通信（上海）有限公司 图像增强方法及装置、存储介质、终端
CN110222555A (zh) * 2019-04-18 2019-09-10 江苏图云智能科技发展有限公司 肤色区域的检测方法和装置
CN110992283A (zh) * 2019-11-29 2020-04-10 Oppo广东移动通信有限公司 图像处理方法、图像处理装置、电子设备和可读存储介质
CN111178218A (zh) * 2019-12-23 2020-05-19 北京中广上洋科技股份有限公司 一种基于人脸识别的多特征联合视频追踪方法及系统
CN111178218B (zh) * 2019-12-23 2023-07-04 北京中广上洋科技股份有限公司 一种基于人脸识别的多特征联合视频追踪方法及系统
CN113129220A (zh) * 2019-12-31 2021-07-16 荣耀终端有限公司 图像处理方法及电子设备
CN113129220B (zh) * 2019-12-31 2024-03-29 荣耀终端有限公司 图像处理方法及电子设备
CN112308806A (zh) * 2020-11-11 2021-02-02 海宁奕斯伟集成电路设计有限公司 图像处理方法、装置、电子设备以及可读存储介质

Also Published As

Publication number Publication date
US20200193577A1 (en) 2020-06-18
SG11202001844TA (en) 2020-03-30
WO2019057041A1 (zh) 2019-03-28
US11182885B2 (en) 2021-11-23

Similar Documents

Publication Publication Date Title
CN108230255A (zh) 用于实现图像增强的方法、装置和电子设备
CN106971165B (zh) 一种滤镜的实现方法及装置
CN104067311B (zh) 数字化妆
Jiang et al. Unsupervised decomposition and correction network for low-light image enhancement
WO2021109876A1 (zh) 图像处理方法、装置、设备及存储介质
CN105654436B (zh) 一种基于前景背景分离的背光图像增强去噪方法
Lu et al. Real-time contrast preserving decolorization
US9639956B2 (en) Image adjustment using texture mask
Fang et al. Bottom-up saliency detection model based on human visual sensitivity and amplitude spectrum
CN105874506B (zh) 具有细节保留的图像模糊
Li et al. Visual-salience-based tone mapping for high dynamic range images
CN102800063B (zh) 基于各向异性滤波的图像增强与抽象化方法
WO2017035966A1 (zh) 用于人脸图像处理的方法和装置
CN109064390A (zh) 一种图像处理方法、图像处理装置及移动终端
CN108305256B (zh) 视频抠像处理方法、处理装置及计算机可读存储介质
CN110047124A (zh) 渲染视频的方法、装置、电子设备和计算机可读存储介质
Kim et al. Low-light image enhancement based on maximal diffusion values
CN108012091A (zh) 图像处理方法、装置、设备及其存储介质
CN111583154A (zh) 图像处理方法、肤质美化模型训练方法及相关装置
CN108428215A (zh) 一种图像处理方法、装置和设备
CN108076384A (zh) 一种基于虚拟现实的图像处理方法、装置、设备和介质
CN109784301A (zh) 图像处理方法、装置、计算机设备及存储介质
CN110111347A (zh) 图像标志提取方法、装置及存储介质
CN103914677B (zh) 一种动作识别方法及装置
Huang et al. Infrared image super-resolution via heterogeneous convolutional wgan

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20180629

RJ01 Rejection of invention patent application after publication