CN108230252B - 图像处理方法、装置以及电子设备 - Google Patents

图像处理方法、装置以及电子设备 Download PDF

Info

Publication number
CN108230252B
CN108230252B CN201710060426.XA CN201710060426A CN108230252B CN 108230252 B CN108230252 B CN 108230252B CN 201710060426 A CN201710060426 A CN 201710060426A CN 108230252 B CN108230252 B CN 108230252B
Authority
CN
China
Prior art keywords
image
information
sample set
sample
contour
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201710060426.XA
Other languages
English (en)
Other versions
CN108230252A (zh
Inventor
刘建博
严琼
鲍旭
王子彬
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Sensetime Technology Co Ltd
Original Assignee
Shenzhen Sensetime Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Sensetime Technology Co Ltd filed Critical Shenzhen Sensetime Technology Co Ltd
Priority to CN201710060426.XA priority Critical patent/CN108230252B/zh
Priority to PCT/CN2018/073882 priority patent/WO2018137623A1/zh
Publication of CN108230252A publication Critical patent/CN108230252A/zh
Application granted granted Critical
Publication of CN108230252B publication Critical patent/CN108230252B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G06T5/70—
    • G06T5/94—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/194—Segmentation; Edge detection involving foreground-background segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G06V10/443—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components by matching or filtering
    • G06V10/449—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters
    • G06V10/451—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters with interaction between the filter responses, e.g. cortical complex cells
    • G06V10/454—Integrating the filters into a hierarchical structure, e.g. convolutional neural networks [CNN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
    • G06V10/752—Contour matching
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/62—Text, e.g. of license plates, overlay texts or captions on TV images
    • G06V20/625—License plates
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G06V40/165—Detection; Localisation; Normalisation using facial parts and geometric relationships
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20004—Adaptive image processing
    • G06T2207/20012—Locally adaptive

Abstract

本发明实施例提供一种图像处理方法、装置以及电子设备。图像处理方法包括：从待处理的图像中确定目标对象信息；根据所述目标对象信息和预定的对象轮廓模板确定所述图像中的前景区域和背景区域；对所述前景区域或所述背景区域进行虚化处理。本发明实施例提供的技术方案提高了图像虚化处理的操作便利和准确性。

Description

图像处理方法、装置以及电子设备
技术领域
本发明实施例涉及图像处理技术，尤其涉及一种图像处理方法、装置以及电子设备。
背景技术
在处理图像时，经常对被拍摄对象的背景进行虚化处理，以能够突出被拍摄对象，营造单反相机的拍摄效果。在现有的虚化处理中，通常需要用户手动指定要执行虚化的区域(通常为背景区域)，再对该背景区域进行虚化处理。这种手动操作耗时、费力，效果不理想。
另一方面，在网络、电视、报刊等媒体上刊登或播放照片或视频时，为了保护个人隐私，也需要对照片或视频中的某些内容进行模糊处理。例如，在播放有关犯罪的新闻照片或视频时，需要对其中出现的证人或者青少年的脸部进行模糊处理。在现有的处理方法中，通常也采用手动指定要执行处理的区域(通常为人脸区域)，再对该区域进行相应模糊处理。
发明内容
本发明实施例提供一种图像处理技术方案。
根据本发明实施例的一方面，提供一种图像处理方法，包括：从待处理的图像中确定目标对象信息；根据所述目标对象信息和预定的对象轮廓模板确定所述图像中的前景区域和背景区域；对所述前景区域或所述背景区域进行虚化处理。
可选地，所述根据所述目标对象信息和预定的对象轮廓模板确定所述图像中的前景区域和背景区域包括：将所述对象轮廓模板中至少局部区域与确定的所述目标对象信息进行匹配；根据匹配结果确定所述对象轮廓模板中的对象轮廓与所述图像中的目标对象的轮廓之间的差异信息；根据所述差异信息调整所述对象轮廓模板中的对象轮廓；将经过调整的对象轮廓映射到所述图像中，获得所述图像中包括目标对象的前景区域以及包括至少部分非所述前景区域的背景区域。
可选地，所述差异信息包括：所述对象轮廓模板中的对象轮廓与所述图像中的目标对象的轮廓之间的缩放信息、偏移信息和/或角度信息。
可选地，所述图像为静态图像或视频帧图像。
可选地，所述图像为视频帧图像；所述从待处理的图像中确定目标对象信息包括：根据从之前的视频帧图像确定的目标对象信息从待处理的视频帧图像确定所述目标对象信息；或者，通过对待处理的视频流进行逐视频帧图像检测，确定各所述视频帧图像中的目标对象信息。
可选地，该图像处理方法还包括：确定所述前景区域和背景区域之间的过渡区域；对所述过渡区域进行虚化处理。
可选地，所述对所述过渡区域进行虚化处理包括：对所述过渡区域进行渐进虚化处理或光斑处理。
可选地，所述从待处理的图像中确定目标对象信息，包括：获取对象选择信息；根据所述对象选择信息从所述待处理的图像中确定所述目标对象信息。
可选地，所述从待处理的图像中确定目标对象信息，包括：从所述待处理的图像中检测目标对象，获得检测到的目标对象信息。
可选地，从所述待处理的图像中检测目标对象，获得检测到的目标对象信息，包括：通过预先训练的深度神经网络从所述待处理的图像中检测目标对象，获得检测到的目标对象信息。
可选地，所述目标对象信息包括以下至少之一：人脸信息、车牌信息、门牌信息、地址信息、身份ID信息、商标信息。
可选地，所述人脸信息包括以下至少之一：人脸关键点的信息、人脸位置信息、人脸大小信息、人脸角度信息。
可选地，所述对象轮廓模板包括以下至少之一：人脸轮廓模板、人体轮廓模板、车牌轮廓模板、门牌轮廓模板、预定框轮廓模板。
可选地，所述预定的对象轮廓模板包括：分别对应不同人脸角度的多个人体轮廓模板；根据所述目标对象信息和预定的对象轮廓模板确定所述图像中的前景区域和背景区域之前，还包括：从所述预定的对象轮廓模板当中确定与所述人脸角度信息对应的人体轮廓模板。
可选地，所述深度神经网络用于检测人脸关键点信息并采用以下方法预先训练而得：获取第一样本集，所述第一样本集包括多个未标注样本图像；基于深度神经网络，对所述第一样本集中的各所述未标注样本图像进行关键点位置标注，得到第二样本集，其中，所述深度神经网络用于对图像进行关键点定位；至少根据所述第二样本集中的部分样本图像及第三样本集，调整所述深度神经网络的参数，其中，所述第三样本集包括多个已标注样本图像。
可选地，所述基于深度神经网络，对所述第一样本集中的各所述未标注样本图像进行关键点位置标注，得到第二样本集，包括：对所述第一样本集中的各所述未标注样本图像进行图像变换处理，得到第四样本集，其中，所述图像变换处理包括：旋转、平移、缩放、加噪及加遮挡物中的任意一项或任意组合；基于所述深度神经网络，对所述第四样本集以及所述第一样本集中的各样本图像进行关键点位置标注，得到所述第二样本集。
可选地，所述至少根据所述第二样本集中的部分样本图像及第三样本集，调整所述深度神经网络的参数，包括：对于所述第一样本集中的每个未标注样本图像，基于所述未标注样本图像进行图像变换处理后的关键点位置信息，判断所述未标注样本图像的关键点位置信息是否为可选样本；其中，所述未标注样本图像的关键点位置信息，及其进行图像变换处理后的关键点位置信息均包括在所述第二样本集中；根据所述第二样本集中的各所述可选样本及第三样本集，调整所述深度神经网络的参数。
可选地，所述人脸关键点包括：眼睛关键点、鼻子关键点、嘴巴关键点、眉毛关键点及脸部轮廓关键点中的任意一种或任意组合。
根据本发明实施例的另一方面，还提供一种图像处理装置，包括：对象信息确定模块，用于从待处理的图像中确定目标对象信息；前背景确定模块，用于根据所述对象信息确定模块确定的目标对象信息和预定的对象轮廓模板确定所述图像中的前景区域和背景区域；虚化处理模块，用于对所述前背景确定模块确定的前景区域或所述背景区域进行虚化处理。
可选地，所述前背景确定单元包括：模板匹配单元，用于将所述对象轮廓模板中至少局部区域与确定的所述目标对象信息进行匹配；差异确定单元，用于根据所述模板匹配单元的匹配结果确定所述对象轮廓模板中的对象轮廓与所述图像中的目标对象的轮廓之间的差异信息；轮廓调整单元，用于根据所述差异确定单元确定的差异信息调整所述对象轮廓模板中的对象轮廓；前背景确定单元，用于将经过所述轮廓调整单元调整的对象轮廓映射到所述图像中，获得所述图像中包括目标对象的前景区域以及包括至少部分非所述前景区域的背景区域。
可选地，所述差异信息包括：所述对象轮廓模板中的对象轮廓与所述图像中的目标对象的轮廓之间的缩放信息、偏移信息和/或角度信息。
可选地，所述图像为静态图像或视频帧图像。
可选地，所述图像为视频帧图像。所述对象信息确定模块包括：第一对象信息确定单元，用于根据从之前的视频帧图像确定的目标对象信息从待处理的视频帧图像确定所述目标对象信息；或者，第二对象信息确定单元，用于通过对待处理的视频流进行逐视频帧图像检测，确定各所述视频帧图像中的目标对象信息。
可选地，该图像处理装置还包括：过渡区域确定模块，用于确定所述前景区域和背景区域之间的过渡区域；过渡虚化处理模块，用于对所述过渡区域确定模块确定的过渡区域进行虚化处理。
可选地，所述过渡虚化处理模块用于对所述过渡区域进行渐进虚化处理或光斑处理。
可选地，，所述对象信息确定模块包括：选择信息获取单元，用于获取对象选择信息；第三对象信息确定单元，用于根据所述选择信息获取单元获取的对象选择信息从所述待处理的图像中确定所述目标对象信息。
可选地，所述对象信息确定模块包括：第四对象信息确定单元，用于从所述待处理的图像中检测目标对象，获得检测到的目标对象信息。
可选地，所述第四对象信息确定单元用于通过预先训练的深度神经网络从所述待处理的图像中检测目标对象，获得检测到的目标对象信息。
可选地，所述目标对象信息包括以下至少之一：人脸信息、车牌信息、门牌信息、地址信息、身份ID信息、商标信息。
可选地，所述人脸信息包括以下至少之一：人脸关键点的信息、人脸位置信息、人脸大小信息、人脸角度信息。
可选地，所述对象轮廓模板包括以下至少之一：人脸轮廓模板、人体轮廓模板、车牌轮廓模板、门牌轮廓模板、预定框轮廓模板。
可选地，所述预定的对象轮廓模板包括：分别对应不同人脸角度的多个人体轮廓模板；所述前背景确定模块还用于在根据所述目标对象信息和预定的对象轮廓模板确定所述图像中的前景区域和背景区域之前，从所述预定的对象轮廓模板当中确定与所述人脸角度信息对应的人体轮廓模板。
可选地，所述装置还包括：样本集获取模块，用于获取第一样本集，所述第一样本集包括多个未标注样本图像；关键点位置标注模块，用于基于深度神经网络，对所述第一样本集中的各所述未标注样本图像进行关键点位置标注，得到第二样本集，其中，所述深度神经网络用于对图像进行关键点定位；网络参数调整模块，用于至少根据所述第二样本集中的部分样本图像及第三样本集，调整所述深度神经网络的参数，其中，所述第三样本集包括多个已标注样本图像。
可选地，所述关键点位置标注模块包括：图像变换处理单元，用于对所述第一样本集中的各所述未标注样本图像进行图像变换处理，得到第四样本集，其中，所述图像变换处理包括：旋转、平移、缩放、加噪及加遮挡物中的任意一项或任意组合；关键点位置标注单元，用于基于所述深度神经网络，对所述第四样本集以及所述第一样本集中的各样本图像进行关键点位置标注，得到所述第二样本集。
可选地，所述网络参数调整模块包括：可选样本判断单元，用于对于所述第一样本集中的每个未标注样本图像，基于所述未标注样本图像进行图像变换处理后的关键点位置信息，判断所述未标注样本图像的关键点位置信息是否为可选样本；其中，所述未标注样本图像的关键点位置信息，及其进行图像变换处理后的关键点位置信息均包括在所述第二样本集中；网络参数调整单元，用于根据所述第二样本集中的各所述可选样本及第三样本集，调整所述深度神经网络的参数。
可选地，所述人脸关键点包括：眼睛关键点、鼻子关键点、嘴巴关键点、眉毛关键点及脸部轮廓关键点中的任意一种或任意组合。
根据本发明实施例的另一方面，还提供一种电子设备，包括：第一处理器、第一存储器、第一通信元件和第一通信总线，所述第一处理器、所述第一存储器和所述第一通信元件通过所述第一通信总线完成相互间的通信；所述第一存储器用于存放至少一可执行指令，所述可执行指令使所述第一处理器执行前述任一图像处理方法对应的操作。。
根据本发明实施例的又一方面，还提供了一种计算机可读存储介质，所述计算机可读存储介质存储有：用于从待处理的图像中确定目标对象信息的可执行指令；用于根据所述目标对象信息和预定的对象轮廓模板确定所述图像中的前景区域和背景区域的可执行指令；用于对所述前景区域或所述背景区域进行虚化处理的可执行指令。
根据本发明实施例提供的图像处理技术，对待处理的图像进行检测，以确定目标对象信息，根据确定的目标对象信息和对象轮廓模板获取所述待处理的图像中的前景区域以及背景区域，再对所述背景区域或者前景区域进行虚化处理，从而可通过从图像检测到的目标对象信息来自动地确定需要执行虚化处理的前景区域或背景区域，而无需用户手动地标注要执行虚化处理的区域或者手动地执行虚化(模糊)操作，提高操作便利和准确性。
附图说明
图1是示出根据本发明实施例一的图像处理方法的流程图；
图2是示出根据本发明实施例二的图像处理方法的流程图；
图3是示出根据本发明实施例三的图像处理方法的流程图；
图4示出根据本发明实施例的包含人体全身的示例性人物轮廓模板以及包含人脸的人脸轮廓模板；
图5是示出根据本发明实施例四的训练关键点定位模型的示例性方法的流程图；
图6是示出根据本发明实施例五的图像处理装置的逻辑框图；
图7是示出根据本发明实施例六的图像处理装置的逻辑框图；
图8是示出根据本发明实施例七的图像处理装置的逻辑框图；
图9是示出根据本发明实施例八的电子设备的结构示意图。
具体实施方式
下面结合附图详细描述本发明实施例的示例性实施例。
实施例一
图1是示出根据本发明实施例一的图像处理方法的流程图。可在任何包括终端设备、个人计算机或服务器中实现该图像处理方法。
参照图1，在步骤S110，从待处理的图像中确定目标对象信息。
待处理的图像应具有一定的分辨率，可以是使用拍摄设备(如手机、数码相机、摄像头等)拍摄的图像，也可以是预存的图像(如手机相册中的图像)，也可以是视频序列中的图像。该图像可以是以人物、动物、车辆、物件(如名片、身份证、车牌等)为被拍摄对象的图像。如果该图像是人物图像，则该图像还可以是人物肖像(近照)、半身像，也可以是全身照。
在该步骤，可通过任何适用的图像分析技术从该待处理的图像确定/检测目标对象信息。检测到的目标对象信息用于定位目标对象在图像中占据的区域。
该目标对象信息可以是例如，但不限于，目标对象的位置、大小、关键部位的信息(如鼻子的位置、人脸位置和大小等)、目标对象的关键点、目标对象的属性信息(如人的肤色)等。
在步骤S120根据所述目标对象信息和预定的对象轮廓模板确定所述图像中的前景区域和背景区域。
如前所述，在步骤S110确定的目标对象信息用于定位目标对象在图像中占据的区域，因此可根据确定的目标对象信息以及表征目标对象的形状和比例关系的对象轮廓模板来区分出目标对象在该待处理的图像中占据的区域，并且将该目标对象在该待处理的图像中占据的区域确定为图像的前景区域，而将该前景区域以外的至少部分图像区域确定为背景区域。例如，人脸在整个人体中具有相对确定的位置和比例关系，所以可根据检测到的目标对象信息与表征人体形状和比例的人物轮廓模板进行匹配，从而勾画出人物在该待处理的图像中占据的区域作为前景区域，并且将该待处理的图像中前景区域以外的整体或局部区域确定为背景区域。
在步骤S130，对确定的前景区域或背景区域进行虚化处理。
可根据应用场景的需要对背景区域或者前景区域进行虚化处理。例如，可对确定的背景区域进行虚化处理，以在图像画面中突出被拍摄的目标对象，改善拍摄效果；或者，可对前景区域(例如人物区域或车牌)进行模糊处理，以模糊显示目标对象(人物、身份证号、或车牌号等)，保护隐私信息。
可使用任何适用的图像虚化技术对前景区域或背景区域进行虚化处理。可例如，但不限于，使用虚化滤镜对背景区域或前景区域进行模糊处理，即，通过高斯滤波改变临近的像素值，达到模糊的视觉效果。以上仅为一种示例性实现方式，还可以采用任何使用的虚化方法进行该虚化处理。
根据本发明实施例一的图像处理方法，对待处理的图像进行检测，以确定目标对象信息，根据确定的目标对象信息和对象轮廓模板获取所述待处理的图像中的前景区域以及背景区域，再对所述背景区域或者前景区域进行虚化处理，从而可通过从图像检测到的目标对象信息来自动地确定需要执行虚化处理的前景区域或背景区域，而无需用户手动地标注要执行虚化处理的区域或者手动地执行虚化(模糊)操作，提高操作便利和准确性。
实施例二
图2是示出根据本发明实施例二的图像处理方法的流程图。
参照图2，在步骤S210，从待处理的图像中确定目标对象信息。
如前所述，可通过任何适用的图像分析技术从该待处理的图像检测与目标对象信息，并且检测到的目标对象信息用于定位目标对象在图像中占据的区域。
这里，目标对象可以是人物、动物或任何物体(如车牌、车辆、身份证)。确定的目标对象信息可包括以下至少之一：人脸信息、车牌信息、门牌信息、地址信息、身份ID信息、商标信息，但不限于上述信息。这些目标对象信息均表征在拍摄有该对象的图像中对象的部分特征。具体地，根据本发明的一种可实施方式，步骤S210包括步骤S212和步骤S213。在步骤S212，获取对象选择信息，该对象选择信息可以是，例如(用户)指定的图像区域的信息、对象的标识信息、对象类型的信息等。在步骤S213，根据所述对象选择信息从所述待处理的图像中确定所述目标对象信息。例如，根据用户指定的图像区域的信息，在指定的图像区域确定目标对象信息。通过步骤S212和S213的处理，可根据另行提供的对象选择信息来对图像进行检测，获取目标对象信息。
具体地，根据本发明的另一种可实施方式，步骤S210具体包括：S214，从待处理的图像中检测目标对象，获得检测到的目标对象信息。也就是说，先从图像中检测得到目标对象，再根据检测到的目标对象确定目标对象信息。
可选地，可通过预先训练的深度神经网络从所述待处理的图像中检测目标对象，以获得检测到的目标对象信息。具体地，可通过标注有物体对象信息的样本图像预先训练用于检测物体对象的深度神经网络，用于检测例如车辆、人脸、行人、动物等的深度神经网络。在检测处理中，将待处理的图像输入该深度神经网络，通过深度神经网络的检测处理来获取目标对象信息。
另一方面，该待处理的图像可以是拍摄的静态图像，也可以是录制的视频内容中的视频帧图像，也可以是在线视频流中的视频帧图像。
相应地，根据本发明的又一种可实施方式，步骤S210可包括：S215，根据从之前的视频帧图像确定的目标对象信息从待处理的视频帧图像确定所述目标对象信息。同一目标对象在连续的视频帧之间所在的位置和大小相对接近，因此，可根据从前一或前几个视频帧图像确定的目标对象信息从当前待检测的视频帧图像来检测待处理的视频帧图像的目标对象信息，从而提高检测效率。
或者，根据本发明的又一种可实施方式，步骤S210可包括：S216，通过对待处理的视频流进行逐视频帧图像检测，确定各所述视频帧图像中的目标对象信息。通过对视频流中的视频帧图像进行逐帧检测，通过各帧的检测结果分别进行各帧的背景/前景虚化处理，有效保证了检测的稳定性和准确性，由于每一帧都进行了虚化处理，因此从整个视频流来看，相当于实现对相同目标对象的动态跟踪虚化处理。
需要说明的是，上文提及的待处理的视频流中的视频帧可以代表视频流中实实在在的帧，也可表示为视频流中需要进行处理的采样帧，本文对此并不限制。
通过前述任一种实施方式的处理，从待处理的图像中检测到目标对象信息。
在步骤S220，根据所述目标对象信息和预定的对象轮廓模板确定所述图像中的前景区域和背景区域。
具体地，实施例二的步骤S220包括步骤S221、S223、S225、S227和S229。
在步骤S221，将所述对象轮廓模板中至少局部区域与确定的所述目标对象信息进行匹配。虽然作为个体的各个目标对象(如人、狗、车辆、车牌等)之间存在差异，但每一类目标对象从总体外形轮廓上具有共性。因此，可预先设置对象轮廓模板来勾画出图像中可能出现的或感兴趣的或待检测的目标对象的轮廓。例如，可预先设置人物轮廓模板、轿车轮廓模板、狗的轮廓模板等，以用于与目标对象信息进行匹配。
总体上，对象轮廓模板可包括以下至少之一：人脸轮廓模板、人体轮廓模板、车牌轮廓模板、门牌轮廓模板、预定框轮廓模板等。人脸轮廓模板用于匹配人物近照中的人物轮廓，人体轮廓模板用于匹配人物全身照或半身照中的人物轮廓，车牌轮廓模板用于匹配图像中车辆上的车牌轮廓，预定框轮廓模板用于匹配具有预定形状的物件的轮廓，如身份证等。
具体地，在该步骤，可将对象轮廓模板中至少局部区域与确定的所述目标对象信息进行匹配。例如，假设确定的目标对象信息是车辆的车牌信息，而车辆的车牌通常设置在车辆头部的正中部，则可车辆正面的轮廓模板相对于车牌的位置进行匹配。
此外，由于在拍照时通常不会拍摄目标对象的全部，因此在匹配时可将对象轮廓模板的局部区域与确定的目标对象信息进行匹配，以确定目标对象在图像中占据的区域。
在步骤S223，根据匹配结果确定所述对象轮廓模板中的对象轮廓与所述图像中的目标对象的轮廓之间的差异信息。
由于表征对象共有特征的对象轮廓模板与待处理的图像中的对象大小通常不会是同一尺寸，并且对象的位置、姿态角度等与对象轮廓模板中的位置、姿态角度等通常会有偏差，因此在进行匹配的过程中，需要先将对象轮廓模板进行缩放、平移和/或旋转，再与确定的对象的位置、大小或关键点进行匹配，从而获取对象轮廓模板中的对象轮廓与所述待处理的图像中的对象轮廓之间的差异信息。
这里，该差异信息可包括，但不限于，对象轮廓模板中的对象轮廓与所述图像中的目标对象的轮廓之间的缩放信息和/或偏移信息等，还可包括例如对象轮廓模板中的对象轮廓与所述图像中的目标对象的轮廓之间的角度信息等。
在步骤S225，根据所述差异信息调整所述对象轮廓模板中的对象轮廓。
具体地，根据包括前述缩放信息、偏移信息等的差异信息将对象轮廓模板中的对象轮廓进行缩放、平移、旋转等，以与图像中目标对象所在的区域相匹配。
在步骤S227，将经过调整的对象轮廓映射到待处理的图像中，获得所述图像中包括目标对象的前景区域以及包括至少部分非所述前景区域的背景区域。
通过将经过调整的对象轮廓映射到待处理的图像中，可以将待处理的图像中落入调整的人物轮廓的部分确定为包括目标对象的前景区域，该前景区域内为目标对象占据的区域。此外，将包括前景区域以外的图像区域或者包括部分非前景区域的图像区域确定为该图像的背景区域。
此后，在步骤S229，确定所述前景区域和背景区域之间的过渡区域。
具体地，可将背景区域中与目标对象所在区域的外缘的距离小于预定的扩展距离的图像区域确定为该过渡区域。也就是说，将目标对象的轮廓的外缘向外扩展一定的距离，将扩展的区域作为该过渡区域。
在完成步骤S221～S229的处理后，执行步骤S230，对确定的前景区域或背景区域进行虚化处理，并且对确定的过渡区域进行渐进虚化处理或光斑处理。
对确定的前景区域或背景区域进行的虚化处理与步骤S130的处理类似，在此不予赘述。对过渡区域可执行渐进虚化处理或光斑处理，以使虚化处理的效果更为自然。
根据本发明实施例二的图像处理方法，以多种方式对待处理的静态图像或视频帧图像进行检测，确定静态图像或视频帧图像中的目标对象信息，根据确定的目标对象信息和对象轮廓模板获取所述待处理的图像中的前景区域、背景区域以及其间的过渡区域，再对所述背景区域或者前景区域进行虚化处理并对过渡区域进行虚化处理，从而可通过从静态图像或视频帧图像检测到的目标对象信息来自动地确定需要执行虚化处理的前景区域、背景区域以及过渡区域，而无需用户手动地标注要执行虚化处理的区域或者手动地执行虚化(模糊)操作，提高操作便利和准确性，并且使得虚化效果更为自然。
实施例三
图3是示出根据本发明实施例三的图像处理方法的流程图。
下面以人物作为目标对象的示例描述本实施例的图像处理方法。在此，以人脸关键点作为人脸信息。需要指出，以人脸关键点作为人脸信息仅为一种可行的实施方式，而不限于此，人脸信息还包括人脸位置信息、人脸大小信息以及人脸角度信息当中的一个或多个。
参照图3，在步骤S310，从待处理的图像检测人脸信息。
根据一种可实施方式，通过预先训练的关键点定位模型从待处理的图像检测人脸关键点，将检测到的人脸关键点作为人脸信息。稍后将详细介绍一种训练关键点定位模型的示例性方法。虽然作为个体的人与人之间在体型上存在差异，但从总体人物轮廓上具有共性，例如，头部为椭圆形，躯干大致为三角形。图4示出包含人体全身的示例性人物轮廓模板以及包含人脸的人脸轮廓模板。此外，由于在人物拍摄中，被拍摄的人可能处于多个不同的角度和距离，因此还可以预先设置人脸、半身、肖像、侧身等多个人物轮廓模板，用于匹配从不同的拍摄距离或拍摄角度捕捉的待处理的图像。
因此，在步骤S310，还可从待处理的图像检测人脸角度信息。
相应地，在步骤S320，从所述预定的人体轮廓模板当中确定与所述人脸角度信息对应的人体轮廓模板。
在步骤S330，根据所述人脸信息和预定的人体轮廓模板确定所述图像中的前景区域和背景区域。步骤S330的处理与前述步骤S120或S221～S229的处理类似，在此不予赘述。
此后，在步骤S340，对所述前景区域或所述背景区域进行虚化处理。该步骤与步骤S130的处理类似，在此不予赘述。
根据本发明实施例三的图像处理方法，通过对待处理的图像进行检测，获得人脸信息，根据检测到的人脸信息和人物轮廓模板获取所述待处理的图像中的前景区域以及背景区域，再对所述背景区域或者前景区域进行虚化处理，从而在对与人物相关的图像进行处理时，可通过从图像检测到的人脸信息来自动地、准确地确定需要执行处理的前景区域和背景区域，以对前景区域或背景区域执行虚化处理，而无需用户手动地标注要执行虚化处理的区域或者手动地执行处理操作，提高操作便利和准确性。
实施例四
以下将详细介绍一种训练关键点定位模型的示例性方法。
图5是示出根据本发明实施例三的训练关键点定位模型的示例性方法的流程图。
参照图5，在步骤S510，获取第一样本集，所述第一样本集包括多个未标注样本图像。
在实际应用中，通常将输入到模型中的已经标注有关键点位置信息的图像，称为已标注样本图像。其中，关键点位置信息是指关键点在图像坐标系中的坐标信息。具体地，可通过人工标注等方式事先对样本图像进行关键点位置标注。
以人脸关键点为例，标注的人脸关键点主要分布在人脸器官和脸部轮廓，人脸关键点如眼睛关键点、鼻子关键点、嘴巴关键点、脸部轮廓关键点等。人脸关键点位置信息是人脸关键点在人脸图像坐标系中的坐标信息。例如，将某一包含人脸的样本图像的左上角记为坐标原点，以水平向右为X轴正方向，以垂直向下为Y轴正方向，建立人脸图像坐标系，将第i个人脸关键点在该人脸图像坐标系中的坐标记为(xi，yi)。通过上述方式获得的样本图像即是已标注样本图像。相反地，如果不对样本图像进行上述关键点位置标注的处理，那么该样本图像可以理解为未标注样本图像。本步骤中的第一样本集就是包含有多个上述未标注样本图像的图像集合。
在步骤S520，基于深度神经网络，对所述第一样本集中的各所述未标注样本图像进行关键点位置标注，得到第二样本集，其中，所述深度神经网络用于对图像进行关键点定位。
其中，深度神经网络可以为卷积神经网络，但不限于此。由于深度神经网络是用于对图像进行关键点定位的，因此，将第一样本集中的各未标注样本图像输入到深度神经网络中，就可以对每一个未标注样本图像实现关键点位置标注。需要说明的是，关键点位置标注就是将未标注样本图像中的关键点位置信息(即坐标信息)标注出来。
可选地，关键点包括：人脸关键点、肢体关键点、掌纹关键点及标记物关键点中的任意一种或任意组合。当关键点包括人脸关键点时，人脸关键点包括：眼睛关键点、鼻子关键点、嘴巴关键点、眉毛关键点及脸部轮廓关键点中的任意一种或任意组合。
仍以包含人脸的未标注样本图像为例，将包含人脸的未标注样本图像输入深度神经网络，输出是未标注样本图像本身，以及未标注样本图像的关键点位置信息如眼睛关键点的坐标信息、鼻子关键点的坐标信息等。由此，当多个包含人脸的未标注样本图像输入到深度神经网络时，大量的未标注样本图像本身，以及未标注样本图像的关键点位置信息组成了本步骤中的第二样本集。
在步骤S530，至少根据所述第二样本集中的部分样本图像及第三样本集，调整所述深度神经网络的参数，其中，所述第三样本集包括多个已标注样本图像。
可以使用第二样本集中的部分样本图像或者全部样本图像，以及第三样本集一起调整深度神经网络的参数。这里，已标注样本图像可以参照本实施例步骤S510中的介绍和解释说明，在此不再赘述。
通过本实施例提供的训练关键点定位模型的方法，利用两个样本集调整深度神经网络的参数，其中一个是第二样本集，该第二样本集来源于基于深度神经网络，对包括多个未标注样本图像的第一样本集进行关键点位置标注获得的。另一个是包括多个已标注样本图像的第三样本集。然而，与现有技术中需要对所有输入到模型的图像中的关键点进行人工标注相比，本发明实施例可以实现在输入到模型的图像非全部为已标注图像的前提下，提高关键点定位模型的训练准确度，换言之，既可以避免样本资源浪费，又可以提高模型训练的效率。
根据本发明的一种可实施方案，步骤S520可包括以下处理：对所述第一样本集中的各所述未标注样本图像进行图像变换处理，得到第四样本集，其中，所述图像变换处理包括：旋转、平移、缩放、加噪及加遮挡物中的任意一项或任意组合，但不限于此；基于所述深度神经网络，对所述第四样本集以及所述第一样本集中的各样本图像进行关键点位置标注，得到所述第二样本集。
例如，将某一未标注样本图像旋转设定角度，该设定角度的取值范围通常为(-20°，20°)，即属于小幅度的旋转变换，同理，平移处理也仅是小位移的平移。假设第一样本集包括1万个未标注样本图像，对每一个未标注样本图像经过图像变换处理(如缩放、平移等)得到10个图像变换处理后的未标注样本图像。此时，1万个未标注样本图像就变成了10万个未标注样本图像，这10万个未标注样本图像组成了第四样本集。需要指出，无论是任何形式的图像变换处理的组合，只要能达到对于第一样本集中的各未标注样本图像，做相同或者不同图像变换处理效果，均属于本发明实施例的技术范畴内。此外，对未标注样本图像具体做哪种图像变换处理，还可以结合样本图像本身的特性，做适合该样本图像的图像变换处理。
由于第四样本集和第一样本集中均是未标注样本图像，那么基于与前述实施例一中说明的相同原理，将未标注样本图像输入深度神经网络，输出第四样本集以及第一样本集中的各样本图像的本身，以及各样本图像的关键点位置信息。
此外，根据本发明的一种可实施方式，步骤S330具体包括：对于所述第一样本集中的每个未标注样本图像，基于所述未标注样本图像进行图像变换处理后的关键点位置信息，判断所述未标注样本图像的关键点位置信息是否为可选样本；其中，所述未标注样本图像的关键点位置信息，及其进行图像变换处理后的关键点位置信息均包括在所述第二样本集中；根据所述第二样本集中的各所述可选样本及第三样本集，调整所述深度神经网络的参数。
其中，未标注样本图像的关键点位置信息，及其进行图像变换处理后的关键点位置信息均包括在第二样本集中。
首先，将该未标注样本图像进行图像变换处理后的关键点位置信息，进行图像校正处理。需要说明的是，图像校正处理就是上述图像变换处理的反变换处理，例如，某一未标注样本图像向右平移了5毫米，那么该未标注样本图像进行图像变换处理后的关键点位置信息，需要向左平移5毫米以实现图像校正处理。其次，对经图像校正的关键点位置信息(即一系列点的坐标值)求协方差矩阵Cov1，并将协方差矩阵Cov1逐列(或逐行)展开成向量的形式，并归一化成单位向量Cov1_v。并且，对该未标注样本图像的关键点位置信息求协方差矩阵Cov2，并将Cov2逐列(或逐行展开成向量的形式，并归一化成单位向量Cov2_v。计算Cov1_v和Cov2_v的内积，并将内积记作D。最后，将D与设定的内积阈值进行比较，若D小于内积阈值，则该未标注样本图像的关键点位置信息为可选样本。相反地，若D大于等于内积阈值，则该未标注样本图像的关键点位置信息不为可选样本。以此类推，基于第二样本集中图像变换处理之前和之后的关键点位置信息，对第一样本集中的每个未标注样本图像都进行上述判断处理，就可以选出步骤S240中的各可选样本。
此外，另一种选取可选样本的方式是，与上述判断过程不同的之处仅在于最后步骤中，若D小于设定的阈值，则针对该未标注样本图像，采用对其进行图像变换处理后的关键点位置信息，进行图像校正处理，获得经图像校正的关键点位置信息。再利用经图像校正的关键点位置信息的数据分布情况推断出的结果(例如一系列点的坐标值的均值)，对该未标注样本图像进行关键点位置标注，标注的关键点位置信息作为可选样本，包括在第二样本集中。
可使用深度神经网络的常用训练方法，根据所述第二样本集中的各所述可选样本及第三样本集，调整所述深度神经网络的参数，在此不予赘述。
实施例五
图6是示出根据本发明实施例五的图像处理装置的逻辑框图。
参照图6，实施例五的图像处理装置包括对象信息确定模块610、前背景确定模块620和虚化处理模块630。
对象信息确定模块610用于从待处理的图像中确定目标对象信息。
前背景确定模块620用于根据对象信息确定模块610确定的目标对象信息和预定的对象轮廓模板确定所述图像中的前景区域和背景区域。
虚化处理模块630用于对前背景确定模块620确定的前景区域或所述背景区域进行虚化处理。
本实施例的图像处理装置用于实现前述方法实施例中相应的图像处理方法，且具有相应方法实施例的有益效果，在此不再赘述。
实施例六
图7是示出根据本发明实施例六的图像处理装置的逻辑框图。
参照图7，实施例六的图像处理装置包括对象信息确定模块610、前背景确定模块620和虚化处理模块630。
进一步地，前背景确定模块620具体包括模板匹配单元6201、差异确定单元6202、轮廓调整单元6203和前背景确定单元6204。
模板匹配单元6201用于将前述对象轮廓模板中至少局部区域与确定的所述目标对象信息进行匹配。
差异确定单元6202，用于根据模板匹配单元6201的匹配结果确定所述对象轮廓模板中的对象轮廓与所述图像中的目标对象的轮廓之间的差异信息。
轮廓调整单元6203用于根据差异确定单元6202确定的差异信息调整所述对象轮廓模板中的对象轮廓。
前背景确定单元6204用于将经过轮廓调整单元6203调整的对象轮廓映射到所述图像中，获得所述图像中包括目标对象的前景区域以及包括至少部分非所述前景区域的背景区域。
可选地，所述差异信息包括：所述对象轮廓模板中的对象轮廓与所述图像中的目标对象的轮廓之间的缩放信息、偏移信息和/或角度信息。
可选地，所述图像为静态图像或视频帧图像。
根据本发明的一种可实施方式，所述图像为视频帧图像。对象信息确定模块610包括：第一对象信息确定单元6101，用于根据从之前的视频帧图像确定的目标对象信息从待处理的视频帧图像确定所述目标对象信息；或者，第二对象信息确定单元6102，用于通过对待处理的视频流进行逐视频帧图像检测，确定各所述视频帧图像中的目标对象信息。
可选地，实施例六的图像处理装置还包括：过渡区域确定模块640，用于确定所述前景区域和背景区域之间的过渡区域；过渡虚化处理模块650，用于对所述过渡区域确定模块640确定的过渡区域进行虚化处理。
可选地，过渡虚化处理模块650具体用于对所述过渡区域进行渐进虚化处理或光斑处理。
根据本发明的一种可实施方式，对象信息确定模块610包括：选择信息获取单元6103，用于获取对象选择信息；第三对象信息确定单元6104，用于根据所述选择信息获取单元6103获取的对象选择信息从所述待处理的图像中确定所述目标对象信息。
根据本发明的另一种可实施方式，对象信息确定模块610包括：第四对象信息确定单元6105，用于从所述待处理的图像中检测目标对象，获得检测到的目标对象信息。
可选地，第四对象信息确定单元6105用于通过预先训练的深度神经网络从所述待处理的图像中检测目标对象，获得检测到的目标对象信息。
可选地，所述目标对象信息包括以下至少之一：人脸信息、车牌信息、门牌信息、地址信息、身份ID信息、商标信息。
可选地，所述人脸信息包括以下至少之一：人脸关键点的信息、人脸位置信息、人脸大小信息、人脸角度信息。
可选地，所述对象轮廓模板包括以下至少之一：人脸轮廓模板、人体轮廓模板、车牌轮廓模板、门牌轮廓模板、预定框轮廓模板。
可选地，所述预定的对象轮廓模板包括：分别对应不同人脸角度的多个人体轮廓模板；相应地，前背景确定模块620还用于在根据所述目标对象信息和预定的对象轮廓模板确定所述图像中的前景区域和背景区域之前，从所述预定的对象轮廓模板当中确定与所述人脸角度信息对应的人体轮廓模板。
本实施例的图像处理装置用于实现前述方法实施例中相应的图像处理方法，且具有相应方法实施例的有益效果，在此不再赘述。
实施例七
图8是示出根据本发明实施例七的图像处理装置的逻辑框图。
参照图8，实施例七的图像处理装置包括对象信息确定模块610、前背景确定模块620和虚化处理模块630。
可选地，该图像处理装置还包括过渡区域确定模块640和过渡虚化处理模块650。
此外，该图像处理装置还包括样本集获取模块660、关键点位置标注模块670和网络参数调整模块680。
样本集获取模块660用于获取第一样本集，所述第一样本集包括多个未标注样本图像。
关键点位置标注模块670用于基于深度神经网络，对所述第一样本集中的各所述未标注样本图像进行关键点位置标注，得到第二样本集，其中，所述深度神经网络用于对图像进行关键点定位。
网络参数调整模块680用于至少根据所述第二样本集中的部分样本图像及第三样本集，调整所述深度神经网络的参数，其中，所述第三样本集包括多个已标注样本图像。
可选地，关键点位置标注模块670包括：图像变换处理单元6701，用于对所述第一样本集中的各所述未标注样本图像进行图像变换处理，得到第四样本集，其中，所述图像变换处理包括：旋转、平移、缩放、加噪及加遮挡物中的任意一项或任意组合；关键点位置标注单元6702，用于基于所述深度神经网络，对所述第四样本集以及所述第一样本集中的各样本图像进行关键点位置标注，得到所述第二样本集。
可选地，网络参数调整模块680包括：可选样本判断单元6801，用于对于所述第一样本集中的每个未标注样本图像，基于所述未标注样本图像进行图像变换处理后的关键点位置信息，判断所述未标注样本图像的关键点位置信息是否为可选样本，其中，所述未标注样本图像的关键点位置信息，及其进行图像变换处理后的关键点位置信息均包括在所述第二样本集中；网络参数调整单元6802，用于根据所述第二样本集中的各所述可选样本及第三样本集，调整所述深度神经网络的参数。
可选地，所述人脸关键点包括：眼睛关键点、鼻子关键点、嘴巴关键点、眉毛关键点及脸部轮廓关键点中的任意一种或任意组合。
本实施例的图像处理装置用于实现前述方法实施例中相应的图像处理方法，且具有相应方法实施例的有益效果，在此不再赘述。
实施例八
图9是示出根据本发明实施例八的电子设备的结构示意图。
本发明实施例还提供了一种电子设备，例如可以是移动终端、个人计算机(PC)、平板电脑、服务器等。下面参考图9，其示出了适于用来实现本发明实施例的终端设备或服务器的电子设备900的结构示意图。
如图9所示，电子设备900包括一个或多个处理器、通信元件等，所述一个或多个处理器例如：一个或多个中央处理单元(CPU)901，和/或一个或多个图像处理器(GPU)913等，处理器可以根据存储在只读存储器(ROM)902中的可执行指令或者从存储部分908加载到随机访问存储器(RAM)903中的可执行指令而执行各种适当的动作和处理。通信元件包括通信组件912和通信接口909。其中，通信组件912可包括但不限于网卡，所述网卡可包括但不限于IB(Infiniband)网卡，通信接口909包括诸如LAN卡、调制解调器等的网络接口卡的通信接口，通信接口909经由诸如因特网的网络执行通信处理。
处理器可与只读存储器902和/或随机访问存储器930中通信以执行可执行指令，通过总线904与通信组件912相连、并经通信组件912与其他目标设备通信，从而完成本发明实施例提供的任一项方法对应的操作，例如，从待处理的图像中确定目标对象信息；根据所述目标对象信息和预定的对象轮廓模板确定所述图像中的前景区域和背景区域；对所述前景区域或所述背景区域进行虚化处理。
此外，在RAM 903中，还可存储有装置操作所需的各种程序和数据。CPU901、ROM902以及RAM903通过总线904彼此相连。在有RAM903的情况下，ROM902为可选模块。RAM903存储可执行指令，或在运行时向ROM902中写入可执行指令，可执行指令使处理器901执行上述通信方法对应的操作。输入/输出(I/O)接口905也连接至总线904。通信组件912可以集成设置，也可以设置为具有多个子模块(例如多个IB网卡)，并在总线链接上。
以下部件连接至I/O接口905：包括键盘、鼠标等的输入部分906；包括诸如阴极射线管(CRT)、液晶显示器(LCD)等以及扬声器等的输出部分907；包括硬盘等的存储部分908；以及包括诸如LAN卡、调制解调器等的网络接口卡的通信接口909。驱动器910也根据需要连接至I/O接口905。可拆卸介质911，诸如磁盘、光盘、磁光盘、半导体存储器等等，根据需要安装在驱动器910上，以便于从其上读出的计算机程序根据需要被安装入存储部分908。
需要说明的是，如图9所示的架构仅为一种可选实现方式，在具体实践过程中，可根据实际需要对上述图9的部件数量和类型进行选择、删减、增加或替换；在不同功能部件设置上，也可采用分离设置或集成设置等实现方式，例如GPU和CPU可分离设置或者可将GPU集成在CPU上，通信组件912可分离设置，也可集成设置在CPU或GPU上，等等。这些可替换的实施方式均落入本发明的保护范围。
特别地，根据本发明实施例，上文参考流程图描述的过程可以被实现为计算机软件程序。例如，本发明实施例包括一种计算机程序产品，其包括有形地包含在机器可读介质上的计算机程序，计算机程序包含用于执行流程图所示的方法的程序代码，程序代码可包括对应执行本发明实施例提供的方法步骤对应的指令，例如，从待处理的图像中确定目标对象信息；根据所述目标对象信息和预定的对象轮廓模板确定所述图像中的前景区域和背景区域；对所述前景区域或所述背景区域进行虚化处理。在这样的实施例中，该计算机程序可以通过通信元件从网络上被下载和安装，和/或从可拆卸介质911被安装。在该计算机程序被中央处理单元(CPU)901执行时，执行本发明实施例的方法中限定的上述功能。
实施例八的电子设备900对待处理的图像进行检测，以确定目标对象信息，根据确定的目标对象信息和对象轮廓模板获取所述待处理的图像中的前景区域以及背景区域，再对所述背景区域或者前景区域进行虚化处理，从而可通过从图像检测到的目标对象信息来自动地确定需要执行虚化处理的前景区域或背景区域，而无需用户手动地标注要执行虚化处理的区域或者手动地执行虚化(模糊)操作，提高操作便利和准确性。
可能以许多方式来实现本发明的方法和装置、设备。例如，可通过软件、硬件、固件或者软件、硬件、固件的任何组合来实现本发明实施例的方法和装置、设备。用于方法的步骤的上述顺序仅是为了进行说明，本发明实施例的方法的步骤不限于以上具体描述的顺序，除非以其它方式特别说明。此外，在一些实施例中，还可将本发明实施为记录在记录介质中的程序，这些程序包括用于实现根据本发明实施例的方法的机器可读指令。因而，本发明还覆盖存储用于执行根据本发明的方法的程序的记录介质。
本发明实施例的描述是为了示例和描述起见而给出的，而并不是无遗漏的或者将本发明限于所公开的形式。很多修改和变化对于本领域的普通技术人员而言是显然的。选择和描述实施例是为了更好说明本发明的原理和实际应用，并且使本领域的普通技术人员能够理解本发明从而设计适于特定用途的带有各种修改的各种实施例。

Claims (33)

1.一种图像处理方法，包括：
通过预先训练的深度神经网络，从待处理的图像中检测目标对象，获得检测到的目标对象信息；其中，所述深度神经网络根据第二样本集中的部分样本图像以及第三样本集中的样本图像共同训练得到；其中，所述第二样本集为根据待训练的深度神经网络对第一样本集中未标注样本图像进行关键点标注得到，所述第三样本集包括多个已标注样本图像；
根据所述目标对象信息和预定的对象轮廓模板确定所述图像中的前景区域和背景区域；
对所述前景区域或所述背景区域进行虚化处理。
2.根据权利要求1所述的方法，其中，所述根据所述目标对象信息和预定的对象轮廓模板确定所述图像中的前景区域和背景区域包括：
将所述对象轮廓模板中至少局部区域与确定的所述目标对象信息进行匹配；
根据匹配结果确定所述对象轮廓模板中的对象轮廓与所述图像中的目标对象的轮廓之间的差异信息；
根据所述差异信息调整所述对象轮廓模板中的对象轮廓；
将经过调整的对象轮廓映射到所述图像中，获得所述图像中包括目标对象的前景区域以及包括至少部分非所述前景区域的背景区域。
3.根据权利要求2所述的方法，其中，所述差异信息包括：所述对象轮廓模板中的对象轮廓与所述图像中的目标对象的轮廓之间的缩放信息、偏移信息和/或角度信息。
4.根据权利要求1～3中任一项所述的方法，其中，所述图像为静态图像或视频帧图像。
5.根据权利要求4所述的方法，其中，所述图像为视频帧图像，
所述从待处理的图像中检测目标对象，获得检测到的目标对象信息：
根据从之前的视频帧图像确定的目标对象信息从待处理的视频帧图像确定所述目标对象信息；或者，通过对待处理的视频流进行逐视频帧图像检测，确定各所述视频帧图像中的目标对象信息。
6.根据权利要求1～3中任一项所述的方法，还包括：
确定所述前景区域和背景区域之间的过渡区域；
对所述过渡区域进行虚化处理。
7.根据权利要求6所述的方法，其中，所述对所述过渡区域进行虚化处理包括：对所述过渡区域进行渐进虚化处理或光斑处理。
8.根据权利要求1～3中任一项所述的方法，其中，所述从待处理的图像中确定目标对象信息，包括：
获取对象选择信息；
根据所述对象选择信息从所述待处理的图像中确定所述目标对象信息。
9.根据权利要求1～3中任一项所述的方法，其中，所述目标对象信息包括以下至少之一：人脸信息、车牌信息、门牌信息、地址信息、身份ID信息、商标信息。
10.根据权利要求9所述的方法，其中，所述人脸信息包括以下至少之一：人脸关键点的信息、人脸位置信息、人脸大小信息、人脸角度信息。
11.根据权利要求10所述的方法，其中，所述对象轮廓模板包括以下至少之一：人脸轮廓模板、人体轮廓模板、车牌轮廓模板、门牌轮廓模板、预定框轮廓模板。
12.根据权利要求11所述的方法，其中，所述预定的对象轮廓模板包括：分别对应不同人脸角度的多个人体轮廓模板；
根据所述目标对象信息和预定的对象轮廓模板确定所述图像中的前景区域和背景区域之前，还包括：从所述预定的对象轮廓模板当中确定与所述人脸角度信息对应的人体轮廓模板。
13.根据权利要求12所述的方法，其中，所述深度神经网络用于检测人脸关键点信息并采用以下方法预先训练而得：
获取第一样本集，所述第一样本集包括多个未标注样本图像；
基于深度神经网络，对所述第一样本集中的各所述未标注样本图像进行关键点位置标注，得到第二样本集，其中，所述深度神经网络用于对图像进行关键点定位；
至少根据所述第二样本集中的部分样本图像及第三样本集，调整所述深度神经网络的参数，其中，所述第三样本集包括多个已标注样本图像。
14.根据权利要求13所述的方法，其中，所述基于深度神经网络，对所述第一样本集中的各所述未标注样本图像进行关键点位置标注，得到第二样本集，包括：
对所述第一样本集中的各所述未标注样本图像进行图像变换处理，得到第四样本集，其中，所述图像变换处理包括：旋转、平移、缩放、加噪及加遮挡物中的任意一项或任意组合；
基于所述深度神经网络，对所述第四样本集以及所述第一样本集中的各样本图像进行关键点位置标注，得到所述第二样本集。
15.根据权利要求14所述的方法，其中，所述至少根据所述第二样本集中的部分样本图像及第三样本集，调整所述深度神经网络的参数，包括：
对于所述第一样本集中的每个未标注样本图像，基于所述未标注样本图像进行图像变换处理后的关键点位置信息，判断所述未标注样本图像的关键点位置信息是否为可选样本；其中，所述未标注样本图像的关键点位置信息，及其进行图像变换处理后的关键点位置信息均包括在所述第二样本集中；
根据所述第二样本集中的各所述可选样本及第三样本集，调整所述深度神经网络的参数。
16.根据权利要求13所述的方法，其中，所述人脸关键点包括：眼睛关键点、鼻子关键点、嘴巴关键点、眉毛关键点及脸部轮廓关键点中的任意一种或任意组合。
17.一种图像处理装置，包括：
对象信息确定模块，用于通过预先训练的深度神经网络，从待处理的图像中检测目标对象，获得检测到的目标对象信息；其中，所述深度神经网络根据第二样本集中的部分样本图像以及第三样本集中的样本图像共同训练得到；其中，所述第二样本集为根据待训练的深度神经网络对第一样本集中未标注样本图像进行关键点标注得到，所述第三样本集包括多个已标注样本图像；
前背景确定模块，用于根据所述对象信息确定模块确定的目标对象信息和预定的对象轮廓模板确定所述图像中的前景区域和背景区域；
虚化处理模块，用于对所述前背景确定模块确定的前景区域或所述背景区域进行虚化处理。
18.根据权利要求17所述的装置，其中，所述前背景确定模块包括：
模板匹配单元，用于将所述对象轮廓模板中至少局部区域与确定的所述目标对象信息进行匹配；
差异确定单元，用于根据所述模板匹配单元的匹配结果确定所述对象轮廓模板中的对象轮廓与所述图像中的目标对象的轮廓之间的差异信息；
轮廓调整单元，用于根据所述差异确定单元确定的差异信息调整所述对象轮廓模板中的对象轮廓；
前背景确定单元，用于将经过所述轮廓调整单元调整的对象轮廓映射到所述图像中，获得所述图像中包括目标对象的前景区域以及包括至少部分非所述前景区域的背景区域。
19.根据权利要求18所述的装置，其中，所述差异信息包括：所述对象轮廓模板中的对象轮廓与所述图像中的目标对象的轮廓之间的缩放信息、偏移信息和/或角度信息。
20.根据权利要求17～19中任一项所述的装置，其中，所述图像为静态图像或视频帧图像。
21.根据权利要求20所述的装置，其中，所述图像为视频帧图像，
所述对象信息确定模块包括：
第一对象信息确定单元，用于根据从之前的视频帧图像确定的目标对象信息从待处理的视频帧图像确定所述目标对象信息；或者，
第二对象信息确定单元，用于通过对待处理的视频流进行逐视频帧图像检测，确定各所述视频帧图像中的目标对象信息。
22.根据权利要求17～19中任一项所述的装置，还包括：
过渡区域确定模块，用于确定所述前景区域和背景区域之间的过渡区域；
过渡虚化处理模块，用于对所述过渡区域确定模块确定的过渡区域进行虚化处理。
23.根据权利要求22所述的装置，其中，所述过渡虚化处理模块用于对所述过渡区域进行渐进虚化处理或光斑处理。
24.根据权利要求17～19中任一项所述的装置，其中，所述对象信息确定模块包括：
选择信息获取单元，用于获取对象选择信息；
第三对象信息确定单元，用于根据所述选择信息获取单元获取的对象选择信息从所述待处理的图像中确定所述目标对象信息。
25.根据权利要求17～19中任一项所述的装置，其中，所述目标对象信息包括以下至少之一：人脸信息、车牌信息、门牌信息、地址信息、身份ID信息、商标信息。
26.根据权利要求25所述的装置，其中，所述人脸信息包括以下至少之一：人脸关键点的信息、人脸位置信息、人脸大小信息、人脸角度信息。
27.根据权利要求26所述的装置，其中，所述对象轮廓模板包括以下至少之一：人脸轮廓模板、人体轮廓模板、车牌轮廓模板、门牌轮廓模板、预定框轮廓模板。
28.根据权利要求27所述的装置，其中，所述预定的对象轮廓模板包括：分别对应不同人脸角度的多个人体轮廓模板；
所述前背景确定模块还用于在根据所述目标对象信息和预定的对象轮廓模板确定所述图像中的前景区域和背景区域之前，从所述预定的对象轮廓模板当中确定与所述人脸角度信息对应的人体轮廓模板。
29.根据权利要求28所述的装置，其中，所述装置还包括：
样本集获取模块，用于获取第一样本集，所述第一样本集包括多个未标注样本图像；
关键点位置标注模块，用于基于深度神经网络，对所述第一样本集中的各所述未标注样本图像进行关键点位置标注，得到第二样本集，其中，所述深度神经网络用于对图像进行关键点定位；
网络参数调整模块，用于至少根据所述第二样本集中的部分样本图像及第三样本集，调整所述深度神经网络的参数，其中，所述第三样本集包括多个已标注样本图像。
30.根据权利要求29所述的装置，其中，所述关键点位置标注模块包括：
图像变换处理单元，用于对所述第一样本集中的各所述未标注样本图像进行图像变换处理，得到第四样本集，其中，所述图像变换处理包括：旋转、平移、缩放、加噪及加遮挡物中的任意一项或任意组合；
关键点位置标注单元，用于基于所述深度神经网络，对所述第四样本集以及所述第一样本集中的各样本图像进行关键点位置标注，得到所述第二样本集。
31.根据权利要求30所述的装置，其中，所述网络参数调整模块包括：
可选样本判断单元，用于对于所述第一样本集中的每个未标注样本图像，基于所述未标注样本图像进行图像变换处理后的关键点位置信息，判断所述未标注样本图像的关键点位置信息是否为可选样本；其中，所述未标注样本图像的关键点位置信息，及其进行图像变换处理后的关键点位置信息均包括在所述第二样本集中；
网络参数调整单元，用于根据所述第二样本集中的各所述可选样本及第三样本集，调整所述深度神经网络的参数。
32.根据权利要求28所述的装置，其中，所述人脸关键点包括：眼睛关键点、鼻子关键点、嘴巴关键点、眉毛关键点及脸部轮廓关键点中的任意一种或任意组合。
33.一种电子设备，包括：第一处理器、第一存储器、第一通信元件和第一通信总线，所述第一处理器、所述第一存储器和所述第一通信元件通过所述第一通信总线完成相互间的通信；
所述第一存储器用于存放至少一可执行指令，所述可执行指令使所述第一处理器执行如权利要求1～16中任一项所述的图像处理方法对应的操作。
CN201710060426.XA 2017-01-24 2017-01-24 图像处理方法、装置以及电子设备 Active CN108230252B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN201710060426.XA CN108230252B (zh) 2017-01-24 2017-01-24 图像处理方法、装置以及电子设备
PCT/CN2018/073882 WO2018137623A1 (zh) 2017-01-24 2018-01-23 图像处理方法、装置以及电子设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710060426.XA CN108230252B (zh) 2017-01-24 2017-01-24 图像处理方法、装置以及电子设备

Publications (2)

Publication Number Publication Date
CN108230252A CN108230252A (zh) 2018-06-29
CN108230252B true CN108230252B (zh) 2022-02-01

Family

ID=62657248

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710060426.XA Active CN108230252B (zh) 2017-01-24 2017-01-24 图像处理方法、装置以及电子设备

Country Status (2)

Country Link
CN (1) CN108230252B (zh)
WO (1) WO2018137623A1 (zh)

Families Citing this family (33)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109147024A (zh) 2018-08-16 2019-01-04 Oppo广东移动通信有限公司 基于三维模型的表情更换方法和装置
CN109242763B (zh) * 2018-08-27 2023-09-01 Oppo广东移动通信有限公司 图片处理方法、图片处理装置、终端设备
CN110889314B (zh) * 2018-09-10 2022-09-13 北京市商汤科技开发有限公司 图像处理方法、装置、电子设备、服务器及系统
CN113298845A (zh) * 2018-10-15 2021-08-24 华为技术有限公司 一种图像处理方法、装置与设备
CN113112505B (zh) * 2018-10-15 2022-04-29 华为技术有限公司 一种图像处理方法、装置与设备
CN110147708B (zh) * 2018-10-30 2023-03-31 腾讯科技（深圳）有限公司 一种图像数据处理方法和相关装置
CN111274852B (zh) * 2018-12-05 2023-10-31 北京猎户星空科技有限公司 目标对象关键点检测方法和装置
CN111325217B (zh) * 2018-12-14 2024-02-06 京东科技信息技术有限公司 数据处理方法、装置、系统和介质
CN110033463B (zh) * 2019-04-12 2021-06-04 腾讯科技（深圳）有限公司 一种前景数据生成及其应用方法、相关装置和系统
CN112132913A (zh) * 2019-06-25 2020-12-25 北京字节跳动网络技术有限公司 图像处理方法、装置、介质和电子设备
CN110310327B (zh) * 2019-06-28 2022-10-25 联想(北京)有限公司 图像处理方法及装置、计算机系统以及可读存储介质
WO2021026848A1 (zh) * 2019-08-14 2021-02-18 深圳市大疆创新科技有限公司 图像处理方法、设备、拍摄装置、可移动平台及存储介质
CN110728632B (zh) * 2019-09-04 2022-07-12 北京奇艺世纪科技有限公司 图像模糊处理方法、装置、计算机设备和存储介质
CN110827371B (zh) * 2019-11-05 2023-04-28 厦门美图之家科技有限公司 证件照生成方法、装置、电子设备及存储介质
CN112785487B (zh) * 2019-11-06 2023-08-04 RealMe重庆移动通信有限公司 图像处理方法及装置、存储介质和电子设备
CN110910304B (zh) * 2019-11-08 2023-12-22 北京达佳互联信息技术有限公司 图像处理方法、装置、电子设备及介质
CN110991298B (zh) * 2019-11-26 2023-07-14 腾讯科技（深圳）有限公司 图像的处理方法和装置、存储介质及电子装置
CN113012054B (zh) * 2019-12-20 2023-12-05 舜宇光学（浙江）研究院有限公司 基于抠图的样本增强方法和训练方法及其系统和电子设备
CN113129207B (zh) * 2019-12-30 2023-08-01 武汉Tcl集团工业研究院有限公司 一种图片的背景虚化方法及装置、计算机设备、存储介质
CN113129241B (zh) * 2019-12-31 2023-02-07 RealMe重庆移动通信有限公司 图像处理方法及装置、计算机可读介质、电子设备
CN111539443B (zh) * 2020-01-22 2024-02-09 北京小米松果电子有限公司 一种图像识别模型训练方法及装置、存储介质
CN111507896B (zh) * 2020-04-27 2023-09-05 抖音视界有限公司 图像液化处理方法、装置、设备和存储介质
CN111639653B (zh) * 2020-05-08 2023-10-10 浙江大华技术股份有限公司 一种误检图像确定方法、装置、设备和介质
CN111652796A (zh) * 2020-05-13 2020-09-11 上海连尚网络科技有限公司 图像处理方法、电子设备及计算机可读存储介质
CN112016508B (zh) * 2020-09-07 2023-08-29 杭州海康威视数字技术股份有限公司 人脸识别方法、装置、系统、计算设备及存储介质
CN112364898B (zh) * 2020-10-27 2024-01-19 星火科技技术(深圳)有限责任公司 图像识别自动标注方法、装置、设备及存储介质
CN112348035A (zh) * 2020-11-11 2021-02-09 东软睿驰汽车技术（沈阳）有限公司 车辆关键点检测方法、装置及电子设备
CN112800878A (zh) * 2021-01-14 2021-05-14 北京迈格威科技有限公司 目标检测方法、装置、电子设备及可读存储介质
CN113379623B (zh) * 2021-05-31 2023-12-19 北京达佳互联信息技术有限公司 图像处理方法、装置、电子设备及存储介质
CN113191348B (zh) * 2021-05-31 2023-02-03 山东新一代信息产业技术研究院有限公司 一种基于模板的文本结构化提取方法及工具
CN113784207A (zh) * 2021-07-30 2021-12-10 北京达佳互联信息技术有限公司 视频画面的显示方法和装置、电子设备及存储介质
CN114143561B (zh) * 2021-11-12 2023-11-07 北京中联合超高清协同技术中心有限公司 一种超高清视频多视角漫游播放方法
CN114063858B (zh) * 2021-11-26 2023-03-17 北京百度网讯科技有限公司 图像处理方法、装置、电子设备及存储介质

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104751406A (zh) * 2015-03-11 2015-07-01 百度在线网络技术（北京）有限公司 一种用于对图像进行虚化的方法和装置
CN105447458A (zh) * 2015-11-17 2016-03-30 深圳市商汤科技有限公司 一种大规模人群视频分析系统和方法
CN105678714A (zh) * 2016-02-05 2016-06-15 网易传媒科技（北京）有限公司 一种图像处理方法和装置
CN105701513A (zh) * 2016-01-14 2016-06-22 深圳市未来媒体技术研究院 快速提取掌纹感兴趣区域的方法

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5870103A (en) * 1996-09-25 1999-02-09 Eastman Kodak Company Method for creating realistic-looking composite images
CN103119625B (zh) * 2011-09-16 2015-06-03 华为技术有限公司 一种视频人物分割的方法及装置
CN104408743A (zh) * 2014-11-05 2015-03-11 百度在线网络技术（北京）有限公司 图像分割方法和装置
CN104751407B (zh) * 2015-03-11 2019-01-25 百度在线网络技术（北京）有限公司 一种用于对图像进行虚化的方法和装置
CN105979165B (zh) * 2016-06-02 2019-02-05 Oppo广东移动通信有限公司 虚化照片生成方法、装置和移动终端

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104751406A (zh) * 2015-03-11 2015-07-01 百度在线网络技术（北京）有限公司 一种用于对图像进行虚化的方法和装置
CN105447458A (zh) * 2015-11-17 2016-03-30 深圳市商汤科技有限公司 一种大规模人群视频分析系统和方法
CN105701513A (zh) * 2016-01-14 2016-06-22 深圳市未来媒体技术研究院 快速提取掌纹感兴趣区域的方法
CN105678714A (zh) * 2016-02-05 2016-06-15 网易传媒科技（北京）有限公司 一种图像处理方法和装置

Also Published As

Publication number Publication date
WO2018137623A1 (zh) 2018-08-02
CN108230252A (zh) 2018-06-29

Similar Documents

Publication Publication Date Title
CN108230252B (zh) 图像处理方法、装置以及电子设备
US8081844B2 (en) Detecting orientation of digital images using face detection information
US8391645B2 (en) Detecting orientation of digital images using face detection information
JP4755202B2 (ja) 顔特徴の検出方法
US8577099B2 (en) Method, apparatus, and program for detecting facial characteristic points
KR20190028349A (ko) 이미지 내 휴먼 분리를 위한 전자 장치 및 방법
US11961237B2 (en) Foreground data generation method and method for applying same, related apparatus, and system
CN111008935B (zh) 一种人脸图像增强方法、装置、系统及存储介质
JP2006119817A (ja) 画像処理装置
CN109377494A (zh) 一种用于图像的语义分割方法和装置
WO2016031573A1 (ja) 画像処理装置、画像処理方法、プログラムおよび記録媒体
CN108875623A (zh) 一种基于图像特征融合对比技术的人脸识别方法
CN112633221A (zh) 一种人脸方向的检测方法及相关装置
CN106682652A (zh) 基于增强现实的结构表面病害巡检和分析方法
JP4496005B2 (ja) 画像処理方法および画像処理装置
CN110751163B (zh) 目标定位方法及其装置、计算机可读存储介质和电子设备
US20060010582A1 (en) Chin detecting method, chin detecting system and chin detecting program for a chin of a human face
CN113139504B (zh) 身份识别方法、装置、设备及存储介质
JP4831344B2 (ja) 目の位置の検出方法
CN111126283A (zh) 一种自动过滤模糊人脸的快速活体检测方法及系统
CN117496019B (zh) 一种驱动静态图像的图像动画处理方法及系统
JP2005108197A (ja) 対象物識別装置および方法並びにプログラム
WO2020259603A1 (zh) 图像处理装置及图像处理方法
JP2005250773A (ja) 対象物識別装置および方法並びにプログラム
CN117409463A (zh) 直播播放策略管理系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant