CN107529096A - 图像处理方法及装置 - Google Patents
图像处理方法及装置 Download PDFInfo
- Publication number
- CN107529096A CN107529096A CN201710812696.1A CN201710812696A CN107529096A CN 107529096 A CN107529096 A CN 107529096A CN 201710812696 A CN201710812696 A CN 201710812696A CN 107529096 A CN107529096 A CN 107529096A
- Authority
- CN
- China
- Prior art keywords
- image
- current video
- user
- scene
- dressing
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000003672 processing method Methods 0.000 title claims abstract description 27
- 238000000034 method Methods 0.000 claims abstract description 38
- 238000012545 processing Methods 0.000 claims description 34
- 238000009434 installation Methods 0.000 claims description 20
- 238000004590 computer program Methods 0.000 claims description 6
- 230000004927 fusion Effects 0.000 claims description 5
- 238000001514 detection method Methods 0.000 claims description 2
- 238000004364 calculation method Methods 0.000 claims 1
- 210000003128 head Anatomy 0.000 description 17
- 238000003384 imaging method Methods 0.000 description 15
- 230000006870 function Effects 0.000 description 12
- 238000010586 diagram Methods 0.000 description 10
- 238000003860 storage Methods 0.000 description 10
- 238000005516 engineering process Methods 0.000 description 6
- 238000004458 analytical method Methods 0.000 description 4
- 239000000463 material Substances 0.000 description 4
- 230000008569 process Effects 0.000 description 4
- 238000011084 recovery Methods 0.000 description 4
- 230000006399 behavior Effects 0.000 description 3
- 230000000694 effects Effects 0.000 description 3
- 238000000605 extraction Methods 0.000 description 3
- 230000003287 optical effect Effects 0.000 description 3
- 230000008901 benefit Effects 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 230000005611 electricity Effects 0.000 description 2
- 238000005286 illumination Methods 0.000 description 2
- 238000005259 measurement Methods 0.000 description 2
- 238000010587 phase diagram Methods 0.000 description 2
- 230000011218 segmentation Effects 0.000 description 2
- 230000009182 swimming Effects 0.000 description 2
- 238000012935 Averaging Methods 0.000 description 1
- 208000020564 Eye injury Diseases 0.000 description 1
- 208000027418 Wounds and injury Diseases 0.000 description 1
- 238000003491 array Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 239000003795 chemical substances by application Substances 0.000 description 1
- 238000004040 coloring Methods 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 230000006378 damage Effects 0.000 description 1
- 238000007418 data mining Methods 0.000 description 1
- 238000013136 deep learning model Methods 0.000 description 1
- 230000007812 deficiency Effects 0.000 description 1
- 238000009826 distribution Methods 0.000 description 1
- 238000003708 edge detection Methods 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 230000004438 eyesight Effects 0.000 description 1
- 239000004744 fabric Substances 0.000 description 1
- 239000000835 fiber Substances 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 230000004907 flux Effects 0.000 description 1
- 239000012634 fragment Substances 0.000 description 1
- 208000014674 injury Diseases 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 210000003733 optic disk Anatomy 0.000 description 1
- 239000000758 substrate Substances 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- 238000002834 transmittance Methods 0.000 description 1
- 230000016776 visual perception Effects 0.000 description 1
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/47—End-user applications
- H04N21/478—Supplemental services, e.g. displaying phone caller identification, shopping application
- H04N21/4788—Supplemental services, e.g. displaying phone caller identification, shopping application communicating with other users, e.g. chatting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
- G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
- G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
- G06F3/04842—Selection of displayed objects or displayed text elements
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/04—Context-preserving transformations, e.g. by using an importance map
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/56—Extraction of image or video features relating to colour
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/103—Static body considered as a whole, e.g. static pedestrian or occupant recognition
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/161—Detection; Localisation; Normalisation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/431—Generation of visual interfaces for content selection or interaction; Content or additional data rendering
- H04N21/4312—Generation of visual interfaces for content selection or interaction; Content or additional data rendering involving specific graphical features, e.g. screen layout, special fonts or colors, blinking icons, highlights or animations
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
- H04N21/44012—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving rendering scenes according to scene graphs, e.g. MPEG-4 scene graphs
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Multimedia (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Human Computer Interaction (AREA)
- Signal Processing (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Processing Or Creating Images (AREA)
Abstract
本发明公开了一种图像处理方法、装置,其中,该方法包括:获取当前视频用户的场景视频;获取视频聊天的背景选择模式;在所述背景选择模式为手动选择模式时,根据用户的选择操作从预设背景库中确定目标聊天背景;在所述背景选择模式为自动选择模式时,根据所述场景视频的各帧人物区域图像识别当前视频用户的着装,根据所述当前视频用户的着装确定目标聊天背景;将所述场景视频中的各帧人物区域图像与所述目标聊天背景融合以生成当前视频用户的聊天画面。该方法可以满足视频用户更换聊天画面中的聊天背景的需求,提升用户体验。
Description
技术领域
本发明涉及终端技术领域,尤其涉及一种图像处理方法及装置。
背景技术
随着手机、平板电脑等移动终端的普及,视频聊天在人们日常沟通中越来越普遍。视频聊天时,出现在聊天画面中的不仅包括视频用户,还包括视频用户所处的环境。视频用户出于隐私或其他个人原因不愿暴露自身所处的环境,如何控制视频聊天画面中的背景的图像处理方法成为亟待解决的技术问题。
发明内容
本发明的实施例提供了一种图像处理方法、图像处理装置、电子装置和计算机可读存储介质。
本发明实施方式的图像处理方法用于电子装置,所述图像处理方法包括:
获取当前视频用户的场景视频;
获取视频聊天的背景选择模式;
在所述背景选择模式为手动选择模式时,根据用户的选择操作从预设背景库中确定目标聊天背景;
在所述背景选择模式为自动选择模式时,根据所述场景视频的各帧人物区域图像识别当前视频用户的着装,根据所述当前视频用户的着装确定目标聊天背景;
将所述场景视频中的各帧人物区域图像与所述目标聊天背景融合以生成当前视频用户的聊天画面。
本发明实施方式的图像处理装置,用于电子装置。所述图像处理装置包括第一获取模块,用于获取当前视频用户的场景视频;
第二获取模块,用于获取视频聊天的背景选择模式;
手动选择模块,用于在所述背景选择模式为手动选择模式时,根据用户的选择操作从预设背景库中确定目标聊天背景;
自动选择模块,用于在所述背景选择模式为自动选择模式时,根据所述场景视频的各帧人物区域图像识别当前视频用户的着装,根据所述当前视频用户的着装确定目标聊天背景;
融合模块,用于将所述场景视频中的各帧人物区域图像与所述目标聊天背景融合以生成当前视频用户的聊天画面。
本发明实施方式的电子装置包括一个或多个处理器、存储器和一个或多个程序。其中所述一个或多个程序被存储在所述存储器中,并且被配置成由所述一个或多个处理器执行,所述程序包括用于执行上述的图像处理方法的指令。
本发明实施方式的计算机可读存储介质包括与能够摄像的电子装置结合使用的计算机程序,所述计算机程序可被处理器执行以完成上述的图像处理方法。
本发明实施方式的图像处理方法、图像处理装置、电子装置和计算机可读存储介质通过获取当前视频用户的场景视频;获取视频聊天的背景选择模式;在所述背景选择模式为手动选择模式时,根据用户的选择操作从预设背景库中确定目标聊天背景;在所述背景选择模式为自动选择模式时,根据所述场景视频的各帧人物区域图像识别当前视频用户的着装,根据所述当前视频用户的着装确定目标聊天背景;将所述场景视频中的各帧人物区域图像与所述目标聊天背景融合以生成当前视频用户的聊天画面。该方法可以满足视频用户更换聊天画面中的聊天背景的需求,提升用户体验。
本发明附加的方面和优点将在下面的描述中部分给出,部分将从下面的描述中变得明显,或通过本发明的实践了解到。
附图说明
本发明上述的和/或附加的方面和优点从下面结合附图对实施例的描述中将变得明显和容易理解,其中,
图1是本发明某些实施方式的图像处理方法的流程示意图。
图2是本发明某些实施方式的图像处理方法的流程示意图。
图3是本发明某些实施方式的图像处理方法的流程示意图。
图4是本发明某些实施方式的图像处理方法的流程示意图。
图5是本发明某些实施方式的图像处理方法的流程示意图。
图6(a)至图6(e)是根据本发明一个实施例的结构光测量的场景示意图。
图7(a)和图7(b)根据本发明一个实施例的结构光测量的场景示意图。
图8是本发明某些实施方式的图像处理装置的模块示意图。
图9是本发明某些实施方式的电子装置的模块示意图。
图10是本发明某些实施方式的图像处理电路的模块示意图。
图11是本发明某些实施方式的电子装置的模块示意图。
具体实施方式
下面详细描述本发明的实施例,所述实施例的示例在附图中示出,其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的,旨在用于解释本发明,而不能理解为对本发明的限制。
下面参考附图描述本发明实施例的图像处理方法、装置、电子装置和计算机可读存储介质。
图1是本发明某些实施方式的图像处理方法的流程示意图。该方法的执行主体为图像处理装置,该装置可集成在终端中。其中,终端可以包括手机、平板电脑、智能穿戴式设备等具有各种操作系统的硬件设备。
如图1所示,该方法包括以下步骤:
S1、获取当前视频用户的场景视频。
举例来说,视频用户A和视频用户B正在使用手机进行视频聊天,聊天画面中不仅有视频用户,还包括视频用户所处的环境。在视频聊天画面中环境可以理解为现实背景。
本实施例中的场景视频可以理解为由终端设备上的取像装置不断获取的多帧场景图像,在场景图像中即包括视频用户以及视频用户所处的环境,该场景图像以聊天画面的形式显示在终端。例如,图像处理装置包括可见光摄像头11,通过可见光摄像头11获取当前视频用户的场景视频以及场景视频包括的多帧场景图像。可见光摄像头11可以是RGB摄像头,所拍摄出的图像可以为彩色图像。
S2、获取视频聊天的背景选择模式。
举例来说,视频用户A出于隐私或其他个人原因不愿向视频用户B暴露自身所处的环境,可以理解为视频用户A想把聊天画面中的现实背景替换成虚拟背景。在本实施例中,用户可以根据自身的意愿选择视频聊天背景,以提升用户视频聊天体验。
例如,背景选择模式可以为手动选择模式,当视频用户选择手动选择模式时,在视频聊天界面上会呈现出很多聊天背景供视频用户选择,这些呈现出的聊天背景可以是用户平时收集的背景素材,也可以是终端厂商提供的背景素材,但并不以此限。
例如,背景选择模式可以为自动选择模式,当视频用户选择自动选择模式时,终端会对视频用户特征进行分析,根据分析结果自动选取聊天背景,但并不以此限。
S3、在所述背景选择模式为手动选择模式时,根据用户的选择操作从预设背景库中确定目标聊天背景。
举例来说,预设背景库中保存有各种风格的背景供用户选择,用户可以对预设背景库保存的背景进行更新替换。
在一种可能的实现方式中,对终端获取的用户行为数据进行特征分析,识别用户喜好,根据用户喜好更新预设背景库。举例来说,图像处理装置的处理器中建立了预设背景库学习模型,当用户使用终端上网时,终端可以实时检测用户行为数据,处理器对终端检测到的用户行为数据进行特征分析,识别用户喜好,根据用户喜好更新预设背景库。例如,视频用户为资深的体育爱好者,则预设背景库中保存的可能较多为运动员、竞技场等类型的背景。本实施根据用户喜好更新预设背景库,可以使预设背景库中有更多地令用户满意的背景,提升用户体验。
S4、在所述背景选择模式为自动选择模式时,根据所述场景视频的各帧人物区域图像识别当前视频用户的着装,根据所述当前视频用户的着装确定目标聊天背景。
举例来说,当视频用户正在海边穿着泳衣游玩,假如海边的光线比较强,这时视频聊天画面中的环境不太清晰,影响用户的体验。此时,本实施例在识别到用户的着装为泳衣时,选出目标聊天背景的类型为大海来应景,以更加贴近视频用户的当前所处环境。
举例来说,当视频用户穿着白色衣服时,假如视频用户所处的周边环境也比较亮堂,这时,视频用户可能不是很显著存在于频聊天画面中,影响用户的体验。此时,本实施例在识别到用户的着装为白色衣服时,选出色彩反差比较大的目标聊天背景,例如黑色的聊天背景,以使视频用户在视频聊天画面中更加突出。
本实施例通过识别当前视频用户的着装确定目标聊天背景,进而提升用户体验。
S5、将所述场景视频中的各帧人物区域图像与所述目标聊天背景融合以生成当前视频用户的聊天画面。
图像融合是图像处理中重要部分,能够协同利用同一场景的多种传感器图像信息,输出一幅更适合于人类视觉感知或计算机进一步处理与分析的融合图像。它可明显的改善单一传感器的不足,提高图像的清晰度及信息包含量,有利于更为准确、更为可靠、更为全面地获取目标或场景的信息。
需要指出的是,在步骤S1之后在步骤S5之前,对场景视频包括的多帧场景图像分布进行人物识别,获取各帧人物区域图像。接着,将各帧人物区域图像与所述目标聊天背景融合以生成当前视频用户的聊天画面。其中,步骤S5中的目标聊天背景可以来自于步骤S3选出的目标聊天背景,也可以是来自于步骤S4选出的目标聊天背景。
本实施例提供的图像处理方法,包括:获取当前视频用户的场景视频;获取视频聊天的背景选择模式;在所述背景选择模式为手动选择模式时,根据用户的选择操作从预设背景库中确定目标聊天背景;在所述背景选择模式为自动选择模式时,根据所述场景视频的各帧人物区域图像识别当前视频用户的着装,根据所述当前视频用户的着装确定目标聊天背景;将所述场景视频中的各帧人物区域图像与所述目标聊天背景融合以生成当前视频用户的聊天画面。该方法可以满足视频用户更换聊天画面中的聊天背景的需求,提升用户体验。
图2是本发明某些实施方式的图像处理方法的流程示意图。本实施例在上述实施例的基础上进行优化。本实施例对“在所述背景选择模式为自动选择模式时,根据所述场景视频的各帧人物区域图像识别当前视频用户的着装,根据所述当前视频用户的着装确定目标聊天背景”进行优化。
如图2所示,该视频聊天背景控制方法包括以下步骤:
S41、获取当前视频用户的所述场景视频中多帧场景图像,执行步骤S42。
举例来说,图像处理装置包括可见光摄像头11,通过可见光摄像头11获取当前视频用户的场景视频以及场景视频包括的多帧场景图像。可见光摄像头11可以是RGB摄像头,所拍摄出的图像可以为彩色图像。可见光摄像头11可以是一个或多个。此外,对获取当前视频用户的所述场景视频中多帧场景图像的具体方式,本实施例不做具体限定。
S42、获取所述当前视频用户的多帧深度图像,执行步骤S43。
举例来说,图像处理装置包括深度图像采集组件12,通过深度图像采集组件12获取所述当前视频用户的多帧深度图像。深度图像中每个像素的灰度值可以表征拍摄场景中的某一点到深度图像采集组件12的距离,在本实施例中,深度图像包含表征当前视频用户所在的场景中各个人或物体的深度信息。深度图像的相关技术参见现有技术,在此不再赘述。
S43、处理所述多帧场景图像和对应的所述多帧深度图像以提取所述当前视频用户在每一帧所述场景图像中的人物区域而获得人物区域图像,执行步骤S44或步骤S47。
现有的分割人物与背景的方法主要根据相邻像素在像素值方面的相似性和不连续性进行人物与背景的分割,但这种分割方法易受外界光照等环境因素的影响。
由于都是对当前视频用户所处的场景进行拍摄,各帧场景图像的场景范围与深度图像的场景范围基本一致,且场景图像中的各个像素均能在深度图像中找到对应该像素的深度信息。基于深度图像的获取不易受光照、场景中色彩分布等因素的影响,因此,通过深度图像提取到的人物区域更加准确,尤其可以准确标定出人物区域的边界。进而也有利于较为精准的将所述场景视频中的各帧人物区域图像与所述目标聊天背景融合,所生成当前视频用户的聊天画面的效果更佳。
图3是本发明某些实施方式的图像处理方法的流程示意图。本实施例对“处理所述多帧场景图像和对应的所述多帧深度图像以提取所述当前视频用户在每一帧所述场景图像中的人物区域而获得人物区域图像”进行优化。
在一种可能的实现方式中,步骤S43的具体实现方式如图3所示,包括以下步骤:
步骤S431、识别每一帧所述场景图像中的人脸区域。
步骤S432、从所述场景图像对应所述深度图像中获取与所述人脸区域对应的深度信息。
步骤S433、根据所述人脸区域的深度信息确定所述人物区域的深度范围。
步骤S434、根据所述人物区域的深度范围确定与所述人脸区域连接且落入所述深度范围内的人物区域以获得所述人物区域图像。
举例来说,步骤431、步骤432、步骤433和步骤434均可以由处理器20实现。
也即是说,处理器20可进一步用于识别每一帧所述场景图像中的人脸区域;从所述场景图像对应所述深度图像中获取与所述人脸区域对应的深度信息;根据所述人脸区域的深度信息确定所述人物区域的深度范围;根据所述人物区域的深度范围确定与所述人脸区域连接且落入所述深度范围内的人物区域以获得所述人物区域图像。
具体地,首先可采用已训练好的深度学习模型识别出场景图像中的人脸区域,随后根据场景图像与深度图像的对应关系可确定出人脸区域的深度信息。由于人脸区域包括鼻子、眼睛、耳朵、嘴唇等特征,因此,人脸区域中的各个特征在深度图像中所对应的深度数据是不同的,例如,在人脸正对深度图像采集组件12时,深度图像采集组件12拍摄得的深度图像中,鼻子对应的深度数据可能较小,而耳朵对应的深度数据可能较大。因此,上述的人脸区域的深度信息可能为一个数值或是一个数值范围。其中,当人脸区域的深度信息为一个数值时,该数值可通过对人脸区域的深度数据取平均值得到;或者,可以通过对人脸区域的深度数据取中值得到。
由于人物区域包含人脸区域,也即是说,人物区域与人脸区域同处于某一个深度范围内,因此,处理器20确定出人脸区域的深度信息后,可以根据人脸区域的深度信息设定人物区域的深度范围,再根据人物区域的深度范围提取落入该深度范围内且与人脸区域相连接的人物区域以获得人物区域图像。
如此,即可根据深度信息从场景图像中提取出人物区域图像。由于深度信息的获取不受环境中光照、色温等因素的影像响,因此,提取出的人物区域图像更加准确。
S44、针对每一帧人物区域图像进行边缘检测获取所述当前视频用户的人物轮廓,执行步骤S45。
具体地,图像边缘检测可以大幅度地减少了数据量,并且剔除了可以认为不相关的信息,保留了图像重要的结构属性。因此,本实施例利用人物轮廓可以加快识别着装款式的速度。
具体地,可通过Canny算子对每一帧人物区域图像进行边缘提取。Canny算子进行边缘提取的算法的核心主要包括以下几步:首先,用2D高斯滤波模板对场景图像进行卷积以消除噪声;随后,利用微分算子得到各个像素的灰度的梯度值,并根据梯度值计算各个像素的灰度的梯度方向,通过梯度方向可以找到对应像素沿梯度方向的邻接像素;随后,遍历每一个像素,若某个像素的灰度值与其梯度方向上前后两个相邻像素的灰度值相比不是最大的,那么认为这个像素不是边缘点。如此,即可确定每一帧人物区域图像中处于边缘位置的像素点,从而获得边缘提取后的人物轮廓。
S45、根据所述人物轮廓从预设着装款式库中获取与所述人物轮廓匹配的着装款式,其中,所述预设着装款式模板包括人物轮廓和着装款式的对应关系,执行步骤S46。
具体地,同一人物穿不同的着装提取的人物轮廓不同,提取的人物轮廓可以用来反映人物的着装款式。本实施例中,预先通过对海量的人物轮廓和着装款式进行数据挖掘,建立预设着装款式库。其中,预设着装款式库建立了建立人物轮廓和着装款式的对应关系,根据对应关系在预设着装款式库中获取与所述人物轮廓匹配的着装款式,方法简单高效。
S46、根据所述当前视频用户的所述着装款式从预设背景库中获取与所述着装款式匹配的目标聊天背景。
具体地,本实施例中的预设背景库包含海量的、各种类型的背景,且预设背景库建立了着装款式和背景的对应关系。根据当前视频用户的着装款式和对应关系,可以简单方便地获取与着装款式匹配的目标聊天背景。
S47、针对每一帧人物区域图像进行图像色彩分析,执行步骤S48。
S48、获取所述人物区域图像的颜色直方图以获取当前视频用户的着装主色调,执行步骤S49。
S49、根据所述当前视频用户的着装主色调从预设背景库中获取与所述主色调匹配的目标聊天背景;所述目标聊天背景的色彩与所述着装的主色调之间形成色彩反差。
具体地,借助图像色彩分析可以分析出图像的颜色直方图等颜色信息。由于颜色直方图描述的是不同色彩在整幅图像中所占的比例,进而可以识别出图像中的主色调。
本实施例中的预设背景库包含海量的、各种类型的背景,且预设背景库建立了着装的主色调和背景的对应关系。根据当前视频用户的着装主色调和对应关系,可以简单方便地获取与主色调匹配的目标聊天背景。需要指出的是,本实施例与主色调匹配的目标聊天背景可以理解为与目标聊天背景的色彩与所述着装的主色调之间形成色彩反差,以使视频用户在视频聊天画面中更加突出。
图4是本发明某些实施方式的图像处理方法的流程示意图。本实施例在上述实施例的基础上进行优化。本实施例对“获取所述当前视频用户的多帧深度图像”进行优化。
如图4所示,“获取所述当前视频用户的多帧深度图像”的具体实现方式包括以下步骤:
S420、向所述当前视频用户投射结构。
S421、拍摄经所述当前视频用户调制的结构光图像。
S422、解调所述结构光图像的各个像素对应的相位信息以得到所述深度图像。
参见10,在某些实施方式中,深度图像采集组件12包括结构光投射器121和结构光摄像头122。步骤S420可以由结构光投射器121实现,步骤S421和步骤S422可以由结构光摄像头122实现。
也即是说,结构光投射器121可用于向当前用户透射结构光;结构光摄像头122可用于拍摄经当前用户调制的结构光图像,以及解调结构光图像的各个像素对应的相位信息以得到深度图像。
具体地,结构光投射器121将一定模式的结构光投射到当前用户的面部及躯体上后,在当前用户的面部及躯体的表面会形成由当前用户调制后的结构光图像。结构光摄像头122拍摄经调制后的结构光图像,再对结构光图像进行解调以得到深度图像。其中,结构光的模式可以是激光条纹、格雷码、正弦条纹、非均匀散斑等。
图5是本发明某些实施方式的图像处理方法的流程示意图。本实施例对“解调所述结构光图像的各个像素对应的相位信息以得到所述深度图像”进行优化。
在一种可能的实现方式中,步骤S422的具体实现方式包括以下步骤:
步骤S4220、解调所述结构光图像中各个像素对应的相位信息。
步骤S4221、将所述相位信息转化为深度信息。
步骤S4222、根据所述深度信息生成所述深度图像。
参见图10,在某些实施方式中,步骤S4220、步骤S4221和步骤S4222均可以由结构光摄像头122实现。
也即是说,结构光摄像头122可进一步用于解调结构光图像中各个像素对应的相位信息,将相位信息转化为深度信息,以及根据深度信息生成深度图像。
具体地,与未经调制的结构光相比,调制后的结构光的相位信息发生了变化,在结构光图像中呈现出的结构光是产生了畸变之后的结构光,其中,变化的相位信息即可表征物体的深度信息。因此,结构光摄像头122首先解调出结构光图像中各个像素对应的相位信息,再根据相位信息计算出深度信息,从而得到最终的深度图像。
为了使本领域的技术人员更加清楚的了解根据结构来采集当前用户的面部及躯体的深度图像的过程,下面以一种应用广泛的光栅投影技术(条纹投影技术)为例来阐述其具体原理。其中,光栅投影技术属于广义上的面结构光。
如图6(a)所示,在使用面结构光投影的时候,首先通过计算机编程产生正弦条纹,并将正弦条纹通过结构光投射器121投射至被测物,再利用结构光摄像头122拍摄条纹受物体调制后的弯曲程度,随后解调该弯曲条纹得到相位,再将相位转化为深度信息即可获取深度图像。为避免产生误差或误差耦合的问题,使用结构光进行深度信息采集前需对深度图像采集组件12进行参数标定,标定包括几何参数(例如,结构光摄像头122与结构光投射器121之间的相对位置参数等)的标定、结构光摄像头122的内部参数以及结构光投射器121的内部参数的标定等。
具体而言,第一步,计算机编程产生正弦条纹。由于后续需要利用畸变的条纹获取相位,比如采用四步移相法获取相位,因此这里产生四幅相位差为的条纹,然后结构光投射器121将该四幅条纹分时投射到被测物(图6(a)所示的面具)上,结构光摄像头122采集到如图6(b)左边的图,同时要读取如图6(b)右边所示的参考面的条纹。
第二步,进行相位恢复。结构光摄像头122根据采集到的四幅受调制的条纹图(即结构光图像)计算出被调制相位,此时得到的相位图是截断相位图。因为四步移相算法得到的结果是由反正切函数计算所得,因此结构光调制后的相位被限制在[-π,π]之间,也就是说,每当调制后的相位超过[-π,π],其又会重新开始。最终得到的相位主值如图6(c)所示。
其中,在进行相位恢复过程中,需要进行消跳变处理,即将截断相位恢复为连续相位。如图6(d)所示,左边为受调制的连续相位图,右边是参考连续相位图。
第三步,将受调制的连续相位和参考连续相位相减得到相位差(即相位信息),该相位差表征了被测物相对参考面的深度信息,再将相位差代入相位与深度的转化公式(公式中涉及到的参数经过标定),即可得到如图6(e)所示的待测物体的三维模型。
应当理解的是,在实际应用中,根据具体应用场景的不同,本发明实施例中所采用的结构光除了上述光栅之外,还可以是其他任意图案。
作为一种可能的实现方式,本发明还可使用散斑结构光进行当前用户的深度信息的采集。
具体地,散斑结构光获取深度信息的方法是使用一基本为平板的衍射元件,该衍射元件具有特定相位分布的浮雕衍射结构,横截面为具有两个或多个凹凸的台阶浮雕结构。衍射元件中基片的厚度大致为1微米,各个台阶的高度不均匀,高度的取值范围可为0.7微米~0.9微米。图7(a)所示结构为本实施例的准直分束元件的局部衍射结构。图7(b)为沿截面A-A的剖面侧视图,横坐标和纵坐标的单位均为微米。散斑结构光生成的散斑图案具有高度的随机性,并且会随着距离的不同而变换图案。因此,在使用散斑结构光获取深度信息前,首先需要标定出空间中的散斑图案,例如,在距离结构光摄像头122的0~4米的范围内,每隔1厘米取一个参考平面,则标定完毕后就保存了400幅散斑图像,标定的间距越小,获取的深度信息的精度越高。随后,结构光投射器121将散斑结构光投射到被测物(即当前用户)上,被测物表面的高度差使得投射到被测物上的散斑结构光的散斑图案发生变化。结构光摄像头122拍摄投射到被测物上的散斑图案(即结构光图像)后,再将散斑图案与前期标定后保存的400幅散斑图像逐一进行互相关运算,进而得到400幅相关度图像。空间中被测物体所在的位置会在相关度图像上显示出峰值,把上述峰值叠加在一起并经过插值运算后即可得到被测物的深度信息。
由于普通的衍射元件对光束进行衍射后得到多数衍射光,但每束衍射光光强差别大,对人眼伤害的风险也大。即便是对衍射光进行二次衍射,得到的光束的均匀性也较低。因此,利用普通衍射元件衍射的光束对被测物进行投射的效果较差。本实施例中采用准直分束元件,该元件不仅具有对非准直光束进行准直的作用,还具有分光的作用,即经反射镜反射的非准直光经过准直分束元件后往不同的角度出射多束准直光束,且出射的多束准直光束的截面面积近似相等,能量通量近似相等,进而使得利用该光束衍射后的散点光进行投射的效果更好。同时,激光出射光分散至每一束光,进一步降低了伤害人眼的风险,且散斑结构光相对于其他排布均匀的结构光来说,达到同样的采集效果时,散斑结构光消耗的电量更低。
图8是本发明某些实施方式的图像处理装置的模块示意图。如图8所示,本实施例提供的图像处理装置,包括:
第一获取模块1,用于获取当前视频用户的场景视频;
第二获取模块2,用于获取视频聊天的背景选择模式;
手动选择模块3,用于在所述背景选择模式为手动选择模式时,根据用户的选择操作从预设背景库中确定目标聊天背景;
自动选择模块4,用于在所述背景选择模式为自动选择模式时,根据所述场景视频的各帧人物区域图像识别当前视频用户的着装,根据所述当前视频用户的着装确定目标聊天背景;
融合模块5,用于将所述场景视频中的各帧人物区域图像与所述目标聊天背景融合以生成当前视频用户的聊天画面。
关于本实施例中的装置,其中各个模块执行操作的具体方式已经在有关该方法的实施例中进行了详细描述,此处将不做详细阐述说明。
本实施例提供的图像处理装置,包括:获取当前视频用户的场景视频;获取视频聊天的背景选择模式;在所述背景选择模式为手动选择模式时,根据用户的选择操作从预设背景库中确定目标聊天背景;在所述背景选择模式为自动选择模式时,根据所述场景视频的各帧人物区域图像识别当前视频用户的着装,根据所述当前视频用户的着装确定目标聊天背景;将所述场景视频中的各帧人物区域图像与所述目标聊天背景融合以生成当前视频用户的聊天画面。该方法可以满足视频用户更换聊天画面中的聊天背景的需求,提升用户体验。
图9是本发明某些实施方式的电子装置的模块示意图。图10是本发明某些实施方式的图像处理电路的模块示意图。本实施例的电子装置1000包括图像处理装置100。图像处理装置100可以利用硬件和/或软件实现。图像处理装置100包括成像设备10和处理器20。如图10所示,为便于说明,仅示出与本发明实施例相关的图像处理技术的各个方面。
成像设备10包括可见光摄像头11和深度图像采集组件12。
具体地,可见光摄像头11包括图像传感器111和透镜112,可见光摄像头11可用于捕捉当前用户的彩色信息以获得场景图像,其中,图像传感器111包括彩色滤镜阵列(如Bayer滤镜阵列),透镜112的个数可为一个或多个。可见光摄像头11在获取场景图像过程中,图像传感器111中的每一个成像像素感应来自拍摄场景中的光强度和波长信息,生成一组原始图像数据;图像传感器111将该组原始图像数据发送至处理器20中,处理器20对原始图像数据进行去噪、插值等运算后即得到彩色的场景图像。处理器20可按多种格式对原始图像数据中的每个图像像素逐一处理,例如,每个图像像素可具有8、10、12或14比特的位深度,处理器20可按相同或不同的位深度对每一个图像像素进行处理。
深度图像采集组件12包括结构光投射器121和结构光摄像头122,深度图像采集组件12可用于捕捉当前视频用户的深度信息以得到深度图像。结构光投射器121用于将结构光投射至当前视频用户,其中,结构光图案可以是激光条纹、格雷码、正弦条纹或者随机排列的散斑图案等。结构光摄像头122包括图像传感器1221和透镜1222,透镜1222的个数可为一个或多个。图像传感器1221用于捕捉结构光投射器121投射至当前视频用户上的结构光图像。结构光图像可由深度采集组件12发送至处理器20进行解调、相位恢复、相位信息计算等处理以获取当前视频用户的深度信息。
在某些实施方式中,可见光摄像头11与结构光摄像头122的功能可由一个摄像头实现,也即是说,成像设备10仅包括一个摄像头和一个结构光投射器121,上述摄像头不仅可以拍摄场景图像,还可拍摄结构光图像。
除了采用结构光获取深度图像外,还可通过双目视觉方法、基于飞行时间差(Timeof Flight,TOF)等深度像获取方法来获取当前视频用户的深度图像。
处理器20进一步用于将由从场景图像和深度图像中提取的人物区域图像与目标聊天背景图像融合。在提取人物区域图像时,处理器20可以结合深度图像中的深度信息从场景图像中提取出二维的人物区域图像,也可以根据深度图像中的深度信息建立人物区域的三维图,再结合场景图像中的色彩信息对三维的人物区域进行颜色填补以得到三维的彩色的人物区域图像。因此,融合处理人物区域图像和目标聊天背景图像时可以是将二维的人物区域图像与目标聊天背景图像进行融合以得到合并图像,也可以是将三维的彩色的人物区域图像与目标聊天背景图像进行融合以得到合并图像。
此外,图像处理装置100还包括图像存储器30。图像存储器30可内嵌在电子装置1000中,也可以是独立于电子装置1000外的存储器,并可包括直接存储器存取(DirectMemory Access,DMA)特征。可见光摄像头11采集的原始图像数据或深度图像采集组件12采集的结构光图像相关数据均可传送至图像存储器30中进行存储或缓存。处理器20可从图像存储器30中读取原始图像数据以进行处理得到场景图像,也可从图像存储器30中读取结构光图像相关数据以进行处理得到深度图像。另外,场景图像和深度图像还可存储在图像存储器30中,以供处理器20随时调用处理,例如,处理器20调用场景图像和深度图像进行人物区域提取,并将提后的得到的人物区域图像与目标聊天背景图像进行融合处理以得到合并图像。其中,目标聊天背景图像和合并图像也可存储在图像存储器30中。
图像处理装置100还可包括显示器50。显示器50可直接从处理器20中获取合并图像,还可从图像存储器30中获取合并图像。显示器50显示合并图像以供用户观看,或者由图形引擎或图形处理器(Graphics Processing Unit,GPU)进行进一步的处理。图像处理装置100还包括编码器/解码器60,编码器/解码器60可编解码场景图像、深度图像及合并图像等的图像数据,编码的图像数据可被保存在图像存储器30中,并可以在图像显示在显示器50上之前由解码器解压缩以进行显示。编码器/解码器60可由中央处理器(CentralProcessing Unit,CPU)、GPU或协处理器实现。换言之,编码器/解码器60可以是中央处理器(Central Processing Unit,CPU)、GPU、及协处理器中的任意一种或多种。
图像处理装置100还包括控制逻辑器40。成像设备10在成像时,处理器20会根据成像设备获取的数据进行分析以确定成像设备10的一个或多个控制参数(例如,曝光时间等)的图像统计信息。处理器20将图像统计信息发送至控制逻辑器40,控制逻辑器40控制成像设备10以确定好的控制参数进行成像。控制逻辑器40可包括执行一个或多个例程(如固件)的处理器和/或微控制器。一个或多个例程可根据接收的图像统计信息确定成像设备10的控制参数。
图11是本发明某些实施方式的电子装置的模块示意图。参阅图11,本发明实施方式的电子装置1000包括一个或多个处理器200、存储器300和一个或多个程序310。其中一个或多个程序310被存储在存储器300中,并且被配置成由一个或多个处理器200执行。程序310包括用于执行上述任意一项实施方式的图像处理方法的指令。
例如,程序310包括用于执行以下步骤所述的图像处理方法的指令:
01:获取当前视频用户的场景视频;
02:获取视频聊天的背景选择模式;
03:在所述背景选择模式为手动选择模式时,根据用户的选择操作从预设背景库中确定目标聊天背景;
04:在所述背景选择模式为自动选择模式时,根据所述场景视频的各帧人物区域图像识别当前视频用户的着装,根据所述当前视频用户的着装确定目标聊天背景;
05:将所述场景视频中的各帧人物区域图像与所述目标聊天背景融合以生成当前视频用户的聊天画面。
本发明实施方式的计算机可读存储介质包括与能够摄像的电子装置1000结合使用的计算机程序。计算机程序可被处理器200执行以完成上述任意一项实施方式的图像处理方法。
例如,计算机程序可被处理器200执行以完成以下步骤所述的图像处理方法:
01:获取当前视频用户的场景视频;
02:获取视频聊天的背景选择模式;
03:在所述背景选择模式为手动选择模式时,根据用户的选择操作从预设背景库中确定目标聊天背景;
04:在所述背景选择模式为自动选择模式时,根据所述场景视频的各帧人物区域图像识别当前视频用户的着装,根据所述当前视频用户的着装确定目标聊天背景;
05:将所述场景视频中的各帧人物区域图像与所述目标聊天背景融合以生成当前视频用户的聊天画面。
在本说明书的描述中,参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中,对上述术语的示意性表述不必须针对的是相同的实施例或示例。而且,描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外,在不相互矛盾的情况下,本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。
此外,术语“第一”、“第二”仅用于描述目的,而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此,限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。在本发明的描述中,“多个”的含义是至少两个,例如两个,三个等,除非另有明确具体的限定。
流程图中或在此以其他方式描述的任何过程或方法描述可以被理解为,表示包括一个或更多个用于实现特定逻辑功能或过程的步骤的可执行指令的代码的模块、片段或部分,并且本发明的优选实施方式的范围包括另外的实现,其中可以不按所示出或讨论的顺序,包括根据所涉及的功能按基本同时的方式或按相反的顺序,来执行功能,这应被本发明的实施例所属技术领域的技术人员所理解。
在流程图中表示或在此以其他方式描述的逻辑和/或步骤,例如,可以被认为是用于实现逻辑功能的可执行指令的定序列表,可以具体实现在任何计算机可读介质中,以供指令执行系统、装置或设备(如基于计算机的系统、包括处理器的系统或其他可以从指令执行系统、装置或设备取指令并执行指令的系统)使用,或结合这些指令执行系统、装置或设备而使用。就本说明书而言,"计算机可读介质"可以是任何可以包含、存储、通信、传播或传输程序以供指令执行系统、装置或设备或结合这些指令执行系统、装置或设备而使用的装置。计算机可读介质的更具体的示例(非穷尽性列表)包括以下:具有一个或多个布线的电连接部(电子装置),便携式计算机盘盒(磁装置),随机存取存储器(RAM),只读存储器(ROM),可擦除可编辑只读存储器(EPROM或闪速存储器),光纤装置,以及便携式光盘只读存储器(CDROM)。另外,计算机可读介质甚至可以是可在其上打印程序的纸或其他合适的介质,因为可以例如通过对纸或其他介质进行光学扫描,接着进行编辑、解译或必要时以其他合适方式进行处理来以电子方式获得程序,然后将其存储在计算机存储器中。
应当理解,本发明的各部分可以用硬件、软件、固件或它们的组合来实现。在上述实施方式中,多个步骤或方法可以用存储在存储器中且由合适的指令执行系统执行的软件或固件来实现。例如,如果用硬件来实现,和在另一实施方式中一样,可用本领域公知的下列技术中的任一项或他们的组合来实现:具有用于对数据信号实现逻辑功能的逻辑门电路的离散逻辑电路,具有合适的组合逻辑门电路的专用集成电路,可编程门阵列(PGA),现场可编程门阵列(FPGA)等。
本技术领域的普通技术人员可以理解实现上述实施例方法携带的全部或部分步骤是可以通过程序来指令相关的硬件完成,的程序可以存储于一种计算机可读存储介质中,该程序在执行时,包括方法实施例的步骤之一或其组合。
此外,在本发明各个实施例中的各功能单元可以集成在一个处理模块中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个模块中。上述集成的模块既可以采用硬件的形式实现,也可以采用软件功能模块的形式实现。集成的模块如果以软件功能模块的形式实现并作为独立的产品销售或使用时,也可以存储在一个计算机可读取存储介质中。
上述提到的存储介质可以是只读存储器,磁盘或光盘等。尽管上面已经示出和描述了本发明的实施例,可以理解的是,上述实施例是示例性的,不能理解为对本发明的限制,本领域的普通技术人员在本发明的范围内可以对上述实施例进行变化、修改、替换和变型。
Claims (12)
1.一种图像处理方法,其特征在于,包括:
获取当前视频用户的场景视频;
获取视频聊天的背景选择模式;
在所述背景选择模式为手动选择模式时,根据用户的选择操作从预设背景库中确定目标聊天背景;
在所述背景选择模式为自动选择模式时,根据所述场景视频的各帧人物区域图像识别当前视频用户的着装,根据所述当前视频用户的着装确定目标聊天背景;
将所述场景视频中的各帧人物区域图像与所述目标聊天背景融合以生成当前视频用户的聊天画面。
2.如权利要求1所述的方法,其特征在于,在所述根据所述场景视频的各帧人物区域图像识别当前视频用户的着装之前,还包括:
获取当前视频用户的所述场景视频中多帧场景图像;
获取所述当前视频用户的多帧深度图像;
处理所述多帧场景图像和对应的所述多帧深度图像以提取所述当前视频用户在每一帧所述场景图像中的人物区域而获得人物区域图像。
3.如权利要求2所述的方法,其特征在于,所述根据所述场景视频的各帧人物区域图像识别当前视频用户的着装,包括:
针对每一帧人物区域图像进行边缘检测获取所述当前视频用户的人物轮廓;
根据所述人物轮廓从预设着装款式库中获取与所述人物轮廓匹配的着装款式,其中,所述预设着装款式库包括人物轮廓和着装款式的对应关系。
4.如权利要求3所述的方法,其特征在于,所述根据当前视频用户的着装确定目标聊天背景,包括:
根据所述当前视频用户的所述着装款式从预设背景库中获取与所述着装款式匹配的目标聊天背景。
5.如权利要求2所述的方法,其特征在于,所述根据所述场景视频的各帧人物区域图像识别当前视频用户的着装,包括:
针对每一帧人物区域图像进行图像色彩分析;
获取所述人物区域图像的颜色直方图以获取当前视频用户的着装主色调。
6.如权利要求5所述的方法,其特征在于,所述根据当前视频用户的着装确定目标聊天背景,包括:
根据所述当前视频用户的着装主色调从预设背景库中获取与所述主色调匹配的目标聊天背景;所述目标聊天背景的色彩与所述着装的主色调之间形成色彩反差。
7.根据权利要求2所述的方法,其特征在于,所述获取所述当前视频用户的多帧深度图像,包括:
向所述当前视频用户投射结构光;
拍摄经所述当前视频用户调制的结构光图像;
解调所述结构光图像的各个像素对应的相位信息以得到所述深度图像。
8.根据权利要求7所述的方法,其特征在于,所述解调所述结构光图像的各个像素对应的相位信息以得到所述深度图像包括:
解调所述结构光图像中各个像素对应的相位信息;
将所述相位信息转化为深度信息;和
根据所述深度信息生成所述深度图像。
9.根据权利要求2所述的方法,其特征在于,所述处理所述多帧场景图像和对应的所述多帧深度图像以提取所述当前视频用户在每一帧所述场景图像中的人物区域而获得人物区域图像,包括:
识别每一帧所述场景图像中的人脸区域;
从所述场景图像对应所述深度图像中获取与所述人脸区域对应的深度信息;
根据所述人脸区域的深度信息确定所述人物区域的深度范围;和
根据所述人物区域的深度范围确定与所述人脸区域连接且落入所述深度范围内的人物区域以获得所述人物区域图像。
10.一种图像处理装置,其特征在于,包括:
第一获取模块,用于获取当前视频用户的场景视频;
第二获取模块,用于获取视频聊天的背景选择模式;
手动选择模块,用于在所述背景选择模式为手动选择模式时,根据用户的选择操作从预设背景库中确定目标聊天背景;
自动选择模块,用于在所述背景选择模式为自动选择模式时,根据所述场景视频的各帧人物区域图像识别当前视频用户的着装,根据所述当前视频用户的着装确定目标聊天背景;
融合模块,用于将所述场景视频中的各帧人物区域图像与所述目标聊天背景融合以生成当前视频用户的聊天画面。
11.一种电子装置,其特征在于,所述电子装置包括:
一个或多个处理器;
存储器;和
一个或多个程序,其中所述一个或多个程序被存储在所述存储器中,并且被配置成由所述一个或多个处理器执行,所述程序包括用于执行权利要求1至9任意一项所述的图像处理方法的指令。
12.一种计算机可读存储介质,其特征在于,包括与能够摄像的电子装置结合使用的计算机程序,所述计算机程序可被处理器执行以完成权利要求1至9任意一项所述的图像处理方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201710812696.1A CN107529096A (zh) | 2017-09-11 | 2017-09-11 | 图像处理方法及装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201710812696.1A CN107529096A (zh) | 2017-09-11 | 2017-09-11 | 图像处理方法及装置 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN107529096A true CN107529096A (zh) | 2017-12-29 |
Family
ID=60736567
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201710812696.1A Pending CN107529096A (zh) | 2017-09-11 | 2017-09-11 | 图像处理方法及装置 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN107529096A (zh) |
Cited By (14)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN108234825A (zh) * | 2018-01-12 | 2018-06-29 | 广州市百果园信息技术有限公司 | 视频处理方法及计算机存储介质、终端 |
CN109309839A (zh) * | 2018-09-30 | 2019-02-05 | Oppo广东移动通信有限公司 | 数据处理方法及装置、电子设备及存储介质 |
CN110298862A (zh) * | 2018-03-21 | 2019-10-01 | 广东欧珀移动通信有限公司 | 视频处理方法、装置、计算机可读存储介质和计算机设备 |
CN110547782A (zh) * | 2019-05-06 | 2019-12-10 | 苏宁金融服务(上海)有限公司 | 一种用于无接触式测量的脉率信号处理方法及装置 |
CN110956063A (zh) * | 2018-09-27 | 2020-04-03 | 北京小米移动软件有限公司 | 图像处理方法、装置、设备及存储介质 |
CN111491123A (zh) * | 2020-04-17 | 2020-08-04 | 维沃移动通信有限公司 | 视频背景处理方法、装置及电子设备 |
CN111627086A (zh) * | 2020-06-03 | 2020-09-04 | 上海商汤智能科技有限公司 | 一种头像的展示方法、装置、计算机设备及存储介质 |
CN111741348A (zh) * | 2019-05-27 | 2020-10-02 | 北京京东尚科信息技术有限公司 | 网页视频播放的控制方法、系统、设备和存储介质 |
CN111913630A (zh) * | 2020-06-30 | 2020-11-10 | 维沃移动通信有限公司 | 视频会话方法、装置和电子设备 |
CN112261320A (zh) * | 2020-09-30 | 2021-01-22 | 北京市商汤科技开发有限公司 | 图像处理方法和相关产品 |
CN112363658A (zh) * | 2020-10-27 | 2021-02-12 | 维沃移动通信有限公司 | 视频通话的互动方法和装置 |
CN113573085A (zh) * | 2021-07-21 | 2021-10-29 | 广州繁星互娱信息科技有限公司 | 虚拟资源获取方法和装置、存储介质及电子设备 |
CN113689650A (zh) * | 2021-09-07 | 2021-11-23 | 广州邦讯信息系统有限公司 | 基于监控摄像头的森林防火烟雾检测方法及系统 |
CN115119054A (zh) * | 2022-06-27 | 2022-09-27 | 平安银行股份有限公司 | 一种基于ios系统的视频虚拟着装及背景处理方法和装置 |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101610421A (zh) * | 2008-06-17 | 2009-12-23 | 深圳华为通信技术有限公司 | 视频通讯方法、装置及系统 |
CN101778243A (zh) * | 2009-12-29 | 2010-07-14 | 中兴通讯股份有限公司 | 可视电话及可视通话过程中进行图像互动的方法 |
CN105791796A (zh) * | 2014-12-25 | 2016-07-20 | 联想(北京)有限公司 | 图像处理方法和图像处理装置 |
CN106257995A (zh) * | 2016-07-25 | 2016-12-28 | 深圳大学 | 一种结构光场三维成像方法及其系统 |
-
2017
- 2017-09-11 CN CN201710812696.1A patent/CN107529096A/zh active Pending
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101610421A (zh) * | 2008-06-17 | 2009-12-23 | 深圳华为通信技术有限公司 | 视频通讯方法、装置及系统 |
CN101778243A (zh) * | 2009-12-29 | 2010-07-14 | 中兴通讯股份有限公司 | 可视电话及可视通话过程中进行图像互动的方法 |
CN105791796A (zh) * | 2014-12-25 | 2016-07-20 | 联想(北京)有限公司 | 图像处理方法和图像处理装置 |
CN106257995A (zh) * | 2016-07-25 | 2016-12-28 | 深圳大学 | 一种结构光场三维成像方法及其系统 |
Cited By (17)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN108234825A (zh) * | 2018-01-12 | 2018-06-29 | 广州市百果园信息技术有限公司 | 视频处理方法及计算机存储介质、终端 |
CN110298862A (zh) * | 2018-03-21 | 2019-10-01 | 广东欧珀移动通信有限公司 | 视频处理方法、装置、计算机可读存储介质和计算机设备 |
CN110956063A (zh) * | 2018-09-27 | 2020-04-03 | 北京小米移动软件有限公司 | 图像处理方法、装置、设备及存储介质 |
CN109309839B (zh) * | 2018-09-30 | 2021-11-16 | Oppo广东移动通信有限公司 | 数据处理方法及装置、电子设备及存储介质 |
CN109309839A (zh) * | 2018-09-30 | 2019-02-05 | Oppo广东移动通信有限公司 | 数据处理方法及装置、电子设备及存储介质 |
CN110547782A (zh) * | 2019-05-06 | 2019-12-10 | 苏宁金融服务(上海)有限公司 | 一种用于无接触式测量的脉率信号处理方法及装置 |
CN111741348A (zh) * | 2019-05-27 | 2020-10-02 | 北京京东尚科信息技术有限公司 | 网页视频播放的控制方法、系统、设备和存储介质 |
CN111741348B (zh) * | 2019-05-27 | 2022-09-06 | 北京京东尚科信息技术有限公司 | 网页视频播放的控制方法、系统、设备和存储介质 |
CN111491123A (zh) * | 2020-04-17 | 2020-08-04 | 维沃移动通信有限公司 | 视频背景处理方法、装置及电子设备 |
CN111627086A (zh) * | 2020-06-03 | 2020-09-04 | 上海商汤智能科技有限公司 | 一种头像的展示方法、装置、计算机设备及存储介质 |
CN111913630A (zh) * | 2020-06-30 | 2020-11-10 | 维沃移动通信有限公司 | 视频会话方法、装置和电子设备 |
CN112261320A (zh) * | 2020-09-30 | 2021-01-22 | 北京市商汤科技开发有限公司 | 图像处理方法和相关产品 |
CN112363658A (zh) * | 2020-10-27 | 2021-02-12 | 维沃移动通信有限公司 | 视频通话的互动方法和装置 |
CN113573085A (zh) * | 2021-07-21 | 2021-10-29 | 广州繁星互娱信息科技有限公司 | 虚拟资源获取方法和装置、存储介质及电子设备 |
CN113573085B (zh) * | 2021-07-21 | 2023-12-19 | 广州繁星互娱信息科技有限公司 | 虚拟资源获取方法和装置、存储介质及电子设备 |
CN113689650A (zh) * | 2021-09-07 | 2021-11-23 | 广州邦讯信息系统有限公司 | 基于监控摄像头的森林防火烟雾检测方法及系统 |
CN115119054A (zh) * | 2022-06-27 | 2022-09-27 | 平安银行股份有限公司 | 一种基于ios系统的视频虚拟着装及背景处理方法和装置 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN107529096A (zh) | 图像处理方法及装置 | |
CN107707839A (zh) | 图像处理方法及装置 | |
CN107610077A (zh) | 图像处理方法和装置、电子装置和计算机可读存储介质 | |
CN107707831A (zh) | 图像处理方法和装置、电子装置和计算机可读存储介质 | |
CN107734264A (zh) | 图像处理方法和装置 | |
CN107509045A (zh) | 图像处理方法和装置、电子装置和计算机可读存储介质 | |
CN107734267A (zh) | 图像处理方法和装置 | |
CN107707838A (zh) | 图像处理方法和装置 | |
CN107509043A (zh) | 图像处理方法及装置 | |
CN107610080A (zh) | 图像处理方法和装置、电子装置和计算机可读存储介质 | |
CN107610078A (zh) | 图像处理方法和装置 | |
CN107707835A (zh) | 图像处理方法及装置、电子装置和计算机可读存储介质 | |
CN107644440A (zh) | 图像处理方法和装置、电子装置和计算机可读存储介质 | |
CN107705278A (zh) | 动态效果的添加方法和终端设备 | |
CN107705277A (zh) | 图像处理方法和装置 | |
CN107527335A (zh) | 图像处理方法和装置、电子装置和计算机可读存储介质 | |
CN107622496A (zh) | 图像处理方法及装置 | |
CN107592491A (zh) | 视频通信背景显示方法和装置 | |
CN107613228A (zh) | 虚拟服饰的添加方法和终端设备 | |
CN107610076A (zh) | 图像处理方法和装置、电子装置和计算机可读存储介质 | |
CN107705243A (zh) | 图像处理方法及装置、电子装置和计算机可读存储介质 | |
CN107454336A (zh) | 图像处理方法及装置、电子装置和计算机可读存储介质 | |
CN107613223A (zh) | 图像处理方法及装置、电子装置和计算机可读存储介质 | |
CN107682656A (zh) | 背景图像处理方法、电子设备和计算机可读存储介质 | |
CN107682645A (zh) | 图像处理方法和装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
RJ01 | Rejection of invention patent application after publication | ||
RJ01 | Rejection of invention patent application after publication |
Application publication date: 20171229 |