CN109670427B - 一种图像信息的处理方法、装置及存储介质 - Google Patents

一种图像信息的处理方法、装置及存储介质 Download PDF

Info

Publication number
CN109670427B
CN109670427B CN201811494173.8A CN201811494173A CN109670427B CN 109670427 B CN109670427 B CN 109670427B CN 201811494173 A CN201811494173 A CN 201811494173A CN 109670427 B CN109670427 B CN 109670427B
Authority
CN
China
Prior art keywords
image
target
information
face
processed
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201811494173.8A
Other languages
English (en)
Other versions
CN109670427A (zh
Inventor
袁佳平
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tencent Technology Shenzhen Co Ltd
Original Assignee
Tencent Technology Shenzhen Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tencent Technology Shenzhen Co Ltd filed Critical Tencent Technology Shenzhen Co Ltd
Priority to CN201811494173.8A priority Critical patent/CN109670427B/zh
Publication of CN109670427A publication Critical patent/CN109670427A/zh
Priority to PCT/CN2019/118344 priority patent/WO2020114215A1/zh
Application granted granted Critical
Publication of CN109670427B publication Critical patent/CN109670427B/zh
Priority to US17/191,678 priority patent/US11386933B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G11INFORMATION STORAGE
    • G11BINFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/10Indexing; Addressing; Timing or synchronising; Measuring tape travel
    • G11B27/11Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information not detectable on the record carrier
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/25Fusion techniques
    • G06F18/253Fusion techniques of extracted features
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00Handling natural language data
    • G06F40/20Natural language analysis
    • G06F40/205Parsing
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/002D [Two Dimensional] image generation
    • G06T11/60Editing figures and text; Combining figures or text
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00Geometric image transformations in the plane of the image
    • G06T3/04Context-preserving transformations, e.g. by using an importance map
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00Geometric image transformations in the plane of the image
    • G06T3/40Scaling of whole images or parts thereof, e.g. expanding or contracting
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/50Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G06V10/806Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of extracted features
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/40Scenes; Scene-specific elements in video content
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161Detection; Localisation; Normalisation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168Feature extraction; Face representation
    • GPHYSICS
    • G11INFORMATION STORAGE
    • G11BINFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/02Editing, e.g. varying the order of information signals recorded on, or reproduced from, record carriers
    • G11B27/031Electronic editing of digitised analogue information signals, e.g. audio or video signals
    • G11B27/036Insert-editing
    • GPHYSICS
    • G11INFORMATION STORAGE
    • G11BINFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/10Indexing; Addressing; Timing or synchronising; Measuring tape travel
    • G11B27/19Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier
    • G11B27/28Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier by using information signals recorded by the same method as the main recording
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/431Generation of visual interfaces for content selection or interaction; Content or additional data rendering
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47End-user applications
    • H04N21/485End-user interface for client configuration
    • H04N21/4856End-user interface for client configuration for language selection, e.g. for the menu or subtitles
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20212Image combination
    • G06T2207/20221Image fusion; Image merging
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30196Human being; Person
    • G06T2207/30201Face

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Human Computer Interaction (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • Databases & Information Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Medical Informatics (AREA)
  • Signal Processing (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Computational Linguistics (AREA)
  • Image Processing (AREA)
  • Processing Or Creating Images (AREA)

Abstract

本发明实施例公开了一种图像信息的处理方法、装置及存储介质。本发明实施例通过获取待处理图像,并对待处理图像进行相应的预处理,以得到目标图像信息;提取目标图像信息中的人脸特征点信息,并将人脸特征点信息结合到目标区域图像的相应位置上,得到结合图像;当检测到视频播放到相应的预设播放区间时,在视频上覆盖显示结合图像。该方案通过提取预处理后的待处理图像中的人脸特征点信息,并将人脸特征点信息融合到目标区域图像中的脸部位置上,得到结合图像,在视频播放到预设播放区间时,在视频上覆盖显示结合图像,实现了视频人物换脸功能,极大的提高了图像信息的处理灵活性和多样性。

Description

一种图像信息的处理方法、装置及存储介质
技术领域
本发明涉及通信技术领域,具体涉及一种图像信息的处理方法、装置及存储介质。
背景技术
随着终端的不断普及与发展,用户越来越依赖终端,终端上可以安装各种各样的应用,其中,图像处理应用深受用户的喜爱,用户可以通过图像处理应用对待处理图像中的特定特征进行趣味调整,比如,对待处理图像中的特定脸部特征手动增加特殊效果,实现趣味处理。
现有技术中,终端会在图像处理应用中的待处理图像上显示多个效果控件,用户可以通过点击相应的效果控件实现特殊效果的选择,终端会将用户选择的特殊效果增加到待处理图像的脸部特征上,如在脸部特征上增加猫须效果等,实现趣味处理。
在对现有技术的研究和实践过程中,本发明的发明人发现,现有技术中,只能对静态的待处理图像的脸部特征进行简单的效果处理,处理灵活性以及局限性较差,给用户带来单一的视觉体验和较差的代入感。
发明内容
本发明实施例提供一种图像信息的处理方法、装置及存储介质,旨在提高图像信息的处理灵活性和多样性。
为解决上述技术问题,本发明实施例提供以下技术方案:
一种图像信息的处理方法,包括:
获取待处理图像,并对所述待处理图像进行相应的预处理,以得到目标图像信息;
提取所述目标图像信息中的人脸特征点信息,并将所述人脸特征点信息结合到目标区域图像的相应位置上,得到结合图像,所述目标区域图像属于视频相应的预设播放区间中的播放图像;
当检测到所述视频播放到所述相应的预设播放区间时,在所述视频上覆盖显示所述结合图像。
一种图像信息的处理装置,包括:
处理单元,用于获取待处理图像,并对所述待处理图像进行相应的预处理,以得到目标图像信息;
提取单元,用于提取所述目标图像信息中的人脸特征点信息,并将所述人脸特征点信息结合到目标区域图像的相应位置上,得到结合图像,所述目标区域图像属于视频相应的预设播放区间中的播放图像;
显示单元,用于当检测到所述视频播放到所述相应的预设播放区间时,在所述视频上覆盖显示所述结合图像。
在一些实施例中,所述压缩子单元,具体还用于:
获取待处理图像;
获取所述待处理图像的长度和宽度;
对比所述长度以及宽度,将更长的边确定为目标边;
获取所述目标边对应的长度值;
计算预设长度值与所述目标边的长度值的比值,并将所述比值确定为调节比例;
根据所述调节比例对所述待处理图像的长度以及宽度进行压缩。
在一些实施例中,所述提取单元,具体用于:
对所述目标图像信息进行解码处理,得到目标图像;
确定所述目标图像上的人脸图像;
判断所述人脸图像上的人脸特征点信息是否满足预设条件;
当判断出所述人脸图像上的人脸特征点信息满足预设条件时,提取所述人脸图像上的人脸特征点信息,并将所述人脸特征点信息结合到所述目标区域图像的相应位置上,得到所述结合图像;
当判断出所述人脸图像上的人脸特征点信息不满足预设条件时,生成失败提示信息。
在一些实施例中,所述提取单元,具体还用于:
将所述目标图像信息发送至服务器,以得到所述服务器根据所述目标图像信息进行人脸融合处理后反馈的目标字符串信息;
解析所述目标字符串信息,得到人脸融合处理后的结合图像。
在一些实施例中,所述提取单元,具体还用于:
将所述目标图像信息发送至服务器,以得到所述服务器根据所述目标图像信息进行人脸融合处理后反馈的目标字符串信息;
解析所述目标字符串信息,生成预设数量的结合图像地址以及分享图像地址;
根据所述预设数量的结合图像地址以及分享图像地址,加载预设数量的结合图像以及分享图像;
启动所述视频。
在一些实施例中,所述显示单元,具体用于:
当检测到所述视频播放到所述相应的预设播放区间的起始点位置时,将所述结合图像覆盖在所述设置后的显示组件上,以得到目标组件,在所述视频上覆盖显示所述目标组件;
当检测到所述视频播放到所述相应的预设播放区间的结束点位置时,将覆盖显示在所述视频上的所述目标组件移除。
一种存储介质,所述存储介质存储有多条指令,所述指令适于处理器进行加载,以执行上述图像信息的处理方法中的步骤。
本发明实施例通过获取待处理图像,并对待处理图像进行相应的预处理,以得到目标图像信息;提取目标图像信息中的人脸特征点信息,并将人脸特征点信息结合到目标区域图像的相应位置上,得到结合图像;当检测到视频播放到相应的预设播放区间时,在视频上覆盖显示结合图像。该方案通过提取预处理后的待处理图像中的人脸特征点信息,并将人脸特征点信息融合到目标区域图像中的脸部位置上,得到结合图像,在视频播放到预设播放区间时,在视频上覆盖显示结合图像,实现了视频人物换脸功能,极大的提高了图像信息的处理灵活性和多样性。
附图说明
为了更清楚地说明本发明实施例中的技术方案,下面将对实施例描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1是本发明实施例提供的图像信息的处理系统的场景示意图;
图2是本发明实施例提供的图像信息的处理方法的流程示意图;
图3是本发明实施例提供的图像信息的处理方法的另一流程示意图;
图4是本发明实施例提供的图像处理界面的示意图;
图5是本发明实施例提供的图像处理界面的另一示意图;
图6是本发明实施例提供的图像处理界面的另一示意图;
图7是本发明实施例提供的图像处理界面的另一示意图;
图8a是本发明实施例提供的图像信息的处理装置的结构示意图;
图8b是本发明实施例提供的图像信息的处理装置的另一结构示意图;
图9是本发明实施例提供的终端的结构示意图。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
本发明实施例提供一种图像信息的处理方法、装置及存储介质。
请参阅图1,图1为本发明实施例所提供的图像信息的处理系统的场景示意图,包括:终端10和服务器20,终端10与服务器20之间可以通过通信网络连接,该通信网络,包括无线网络以及有线网络,其中无线网络包括无线广域网、无线局域网、无线城域网、以及无线个人网中的一种或多种的组合。网络中包括路由器、网关等等网络实体,图中并未示意出。终端10可以通过通信网络与服务器20进行信息交互,比如可以从服务器20下载应用(如图像处理应用)。
该图像信息的处理系统可以包括图像信息的处理装置,该图像信息的处理装置具体可以集成在平板电脑、手机、笔记本电脑、台式电脑等具备储存单元并安装有微处理器而具有运算能力的终端中,在图1中,该终端即为图1中的终端10,该终端10中可以安装有各种用户所需的应用,比如具备图像处理的图像处理应用等。该终端10可以用于获取待处理图像,并对该待处理图像进行相应的预处理,以得到目标图像信息,将目标图像信息发送至服务器20,并接收服务器20根据目标图像信息进行人脸融合处理后反馈的目标字符串信息,该字符串信息为图像信息满足一定保真度的要求下,对图像信息进行编码压缩后形成的可逆字符串信息,该可逆字符串信息可以减少图像信息的数据大小,以便图像信息的存储和传输。终端10解析该目标字符串信息,得到人脸融合处理后的结合图像,当检测到视频播放到相应的预设播放区间时,在该视频上覆盖显示该结合图像,等等。
该图像信息的处理系统还可以包括服务器20,主要用于接收终端10发送的目标图像信息,根据目标图像信息进行人脸融合处理,以得到目标图像信息与目标区域图像人脸融合后的结合图像对应的目标字符串信息,将该目标字符串信息发送至终端10。
该图像信息的处理系统还可以包括存储器,用于存储信息库,该信息库中包括图像处理应用安装包,视频数据,目标区域图像等等,以使得服务器可以从存储器中获取目标区域图像与目标图像信息进行人脸融合处理,并生成目标字符串信息,发送至终端10。
需要说明的是,图1所示的图像信息的处理系统的场景示意图仅仅是一个示例,本发明实施例描述的图像信息的处理系统以及场景是为了更加清楚的说明本发明实施例的技术方案,并不构成对于本发明实施例提供的技术方案的限定,本领域普通技术人员可知,随着图像信息的处理系统的演变和新业务场景的出现,本发明实施例提供的技术方案对于类似的技术问题,同样适用。
以下分别进行详细说明。
在本实施例中,将从图像信息的处理装置的角度进行描述,该图像信息的处理装置具体可以集成在平板电脑、手机等具备储存单元并安装有微处理器而具有运算能力的终端中。
一种图像信息的处理方法,包括:获取待处理图像,并对待处理图像进行相应的预处理,以得到目标图像信息;提取目标图像信息中的人脸特征点信息,并将人脸特征点信息结合到目标区域图像的相应位置上,以得到结合图像;当检测到视频播放到相应的预设播放区间时,在视频上覆盖显示结合图像。
请参阅图2,图2是本发明实施例提供的图像信息的处理方法的流程示意图。该图像信息的处理方法包括:
在步骤101中,获取待处理图像,并对待处理图像进行相应的预处理,以得到目标图像信息。
需要说明的是,该待处理图像可以为通过摄像头实时采集的图片,也可以为缓存或者存储在终端上的图片等,该图像的格式可以为位图(BitMaP, BMP)、联合照片专家组(Joint Photographic Expert Group,JPEG)、图形交换格式(Graphics InterchangeFormat,GIF)格式等等。
其中,可以通过如下操作获取待处理图像,打开终端上的某一客户端,如图像处理客户端,该图像处理客户端会显示主界面,该显示主界面上可以显示多个视频显示控件,用户可以基于该显示主界面点击一个目标视频控件,客户端会进入该目标视频控件对应的海报显示界面,该海报显示界面上可以包括图像选择控件,该图像选择控件是用于触发获取待处理图像的快捷入口,当检测到用户点击该图像选择控件之后,可以调用摄像头组件来采集待处理图像,可选的,也可以调取终端上的相册,进而选择相册中的某一目标图片作为待识别图像。
进一步的,在获取待处理图像之后,可以对待处理图像进行相应的预处理,该对待处理图像进行预处理,该预处理的方式可以为对图像进行降噪处理、像素调节处理以及数据大小调节处理等等,以得到目标图像信息,该经过预处理后的目标图像信息可以直接进行后期的特征提取。
在一些实施方式中,该获取待处理图像,并对待处理图像进行相应的预处理,以得到目标图像信息的步骤,可以为对该待处理图像的尺寸数据以及数据大小进行相应的压缩,以得到目标图像信息。
其中,随着终端的摄像头以及屏幕显示像素的发展,图像的像素以及数据大小也相应越来越大,为了实现对图像后期的准确以及快速处理,会对待处理图像的像素大小以及数据大小进行相应的限制,如对待处理图像进行500千字节((Kilobyte,KB)以及1080像素(pixel)的限制,该像素是指由图像的小方格即所谓的像素组成的,这些小方块都有一个明确的位置和被分配的色彩数值,而这些一小方格的颜色和位置就决定该图像所呈现出来的样子。可以将像素视为整个图像中不可分割的单位或者是元素,不可分割的意思是它不能够再切割成更小单位抑或是元素,它是以一个单一颜色的小格存在。每一个点阵图像包含了一定量的像素,这些像素决定图像在屏幕上所呈现的大小,即图像的像素的多少决定了图像的尺寸数据的大小。
所以需要对待处理图像的尺寸数据以及数据大小进行相应的压缩,使得待处理图像满足500KB的数据大小以及1080像素的尺寸数据的限制,并将压缩后符合条件的图像信息确定为目标图像信息。
在一些实施方式中,该对该待处理图像的尺寸数据以及数据大小进行相应的压缩,以得到目标图像信息的步骤,可以包括:
(1)对该待处理图像的尺寸数据进行压缩;
(2)生成显示组件,根据压缩后的待处理图像的尺寸数据设置该显示组件的尺寸数据,并将该压缩后的待处理图像绘制在设置后的显示组件上;
(3)对绘制后的显示组件进行编码处理,以生成目标图像信息。
其中,在确定了图片的分辨率的情况下,图像的像素与图像的长度可以形成一固定关系,比如,图片的分辨率一般都是用72每英寸点数(Dots Per Inch, DPI),即每英寸包含72像素,此时,一厘米等于28像素。所以可以根据待处理图像的像素与限制像素之间的比例关系,对待处理图像的尺寸数据进行压缩。
进一步的,为了实现对待处理图像的数据大小进行相应的压缩,需要生成显示组件,该显示组件可以为Canvas组件,属于标准通用标记语言下的一个应用超文本标记语言(HTML)的第五次重大修改(HTML5)的用于绘制图像的元素。该Canvas组件允许动态渲染位图像。可以通俗将该Canvas组件理解位 Canvas画布,该Canvas画布具有height属性以及width属性,该height属性为 Canvas画布的高度,和一幅图像一样,这个属性可以指定为一个整数像素值或者是窗口高度的百分比。当这个值改变的时候,在该画布上已经完成的任何绘图都会擦除掉。默认值是150。该width属性为画布的宽度。和一幅图像一样,这个属性可以指定为一个整数像素值或者是窗口宽度的百分比。当这个值改变的时候,在该画布上已经完成的任何绘图都会擦除掉。默认值是300。可以根据压缩后的待处理图像的尺寸数据设置该Canvas画布的height属性以及width 属性,该Canvas画布的height属性以及width属性可以与压缩后的待处理图像的尺寸数据相等,并将压缩后的待处理图像绘制在Canvas画布上。
相应的,在将压缩后的待处理图像绘制在Canvas画布上后,可以通过 Canvas画布的toDataURL方法,改变压缩后的待处理图像的图像质量,并将该压缩后的待处理图像编码压缩为字符串信息,进一步改变压缩后的待处理图像的数据大小,使得压缩后的待处理图像满足数据大小限制要求,需要说明的是,该字符串信息为可逆性的,即可以对字符串信息进行反编码,得到压缩后的待处理图像,将满足像素大小(即尺寸数据)以及数据大小的字符串信息确定为目标图像信息。
在一些实施方式中,该对该待处理图像的尺寸数据进行压缩的步骤,可以包括:
(2.1)获取该待处理图像的长度和宽度;
(2.2)对比该长度以及宽度,将更长的边确定为目标边;
(2.3)根据该目标边的长度值对该待处理图像的尺寸数据进行压缩。
其中,由于图像的像素与图像的长度可以形成一固定关系,所以根据对像素的调节来达到对长度调节的等于作用,即可以获取待处理图像的长度像素 (即长度)以及宽度像素(即宽度),该长度像素为待处理图像的长度上的像素值,该宽度像素为待处理图像的宽度上的像素值。为了达到限制待处理图像的像素的效果,只需要将长度像素或者宽度像素中较高的边的像素调整进行限制,像素更低的边的像素也必定满足限制条件,所以可以对比长度像素以及宽度像素的大小,将像素更高的边确定为目标边,获取目标边的像素值与限制像素的比例关系,根据比例关系对待处理图像的尺寸数据进行相应的压缩。
在一些实施方式中,该根据该目标边的长度值对该待处理图像的尺寸数据进行压缩的步骤,可以包括:
(3.1)获取该目标边对应的长度值;
(3.2)计算预设长度值与该目标边的长度值的比值,并将该比值确定为调节比例;
(3.3)根据该调节比例对该待处理图像的长度以及宽度进行压缩。
其中,由于图像的像素与图像的长度可以形成一固定关系,所以根据对像素的调节来达到对长度调节的等于作用,即可以获取像素值更高(即长度值更高)的目标边对应的像素(即长度值),该预设长度值(即预设像素)可以为 540像素或者1080像素,计算该预设像素与目标边像素的比值,并将该比值确定为调节比例,由于像素与长度形成一固定关系,所以可以根据该调节比例对待处理图像的长度以及宽度进行相应的压缩,压缩后的待处理图像的像素满足限制像素的要求。
在步骤102中,提取目标图像信息中的人脸特征点信息,并将人脸特征点信息结合到目标区域图像的相应位置上,得到结合图像。
其中,由于目标图像信息包括可逆性的字符串信息,所以可以对字符串信息反编码得到尺寸数据(即像素大小)以及数据大小都符合限定条件的目标图像,并可以从目标图像信息中快速确定人脸图像,需要说明的是,由于人脸图像中包含的模式特征十方丰富,如直方图特征、颜色特征、模板特征、结构特征以及Haar特征(Haar特征是一种反映图像的灰度变化的,像素分模块求差值的一种特征)等。所以可以对目标图像进行特征扫描,可以快速确定出人脸图像。
进一步的,可能有些目标图像上包括有多个人脸图像,所以当检测到人脸图像为多个时,可以将靠近图像中心的人脸图像确定为目标人脸图像,对目标人脸图像进行图像预处理,进而提取该目标人脸图像上的人脸特征点信息,该人脸特征点信息可以包括眼睛、鼻子、嘴巴以及下巴等局部构成点的几何描述。该目标区域图像属于视频相应的预设播放区间中的播放图像,如该目标区域图像可以为视频中相应的预设播放区间中的播放画面中的某一特定形象的图像,将提取的人脸特征点信息与目标区域图像中的特定形象进行脸部层面融合,以得到结合图像,该结合图像既有待处理图像中的五官特色,也呈现出视频中相应的预设播放区间中的特定形象的外貌特征,从而实现无缝变脸功能。
在一些实施方式中,该提取该目标图像信息中的人脸特征点信息,并将该人脸特征点信息结合到目标区域图像的相应位置上,以得到结合图像的步骤,可以包括:
(1)对该目标图像信息进行解码处理,以得到目标图像;
(2)确定该目标图像上的人脸图像;
(3)提取该人脸图像上的人脸特征点信息,并将该人脸特征点信息结合到目标区域图像的相应位置上,得到结合图像。
其中,由于图像信息为可逆性的字符串信息,所以可以对该目标图像信息进行解码处理,可以得到尺寸数据以及数据大小都符合限定条件的目标图像,对该目标图像进行人脸特征扫描,快速确定出人脸图像,并对人脸图像进行灰度校正、噪声过滤等处理,进而提取出人脸图像上的人脸特征点信息,并将人脸特征点信息结合到目标区域图像中的特定人物形象的脸部,得到结合图像,使得结合图像中的特定人物形象在保持了原有的外貌特征的前提下,又有待处理图像中提取的人脸特征点信息,实现无缝变脸功能。可选的,为了保证人脸特征点信息与目标区域图像融合的效果,需要保证提取的人脸特征点信息满足预设条件,如需要保证提取的人脸特征点信息包含人脸正脸上的所有特征点信息以及保证提取的人脸特征点信息的清晰度大于一定阈值,当判断出人脸图像上的人脸特征点信息满足预设条件,执行提取人脸图像上的人脸特征点信息的步骤。当判断出人脸图像上的人脸特征点信息不满足预设条件时,生成失败提示信息,该失败提示信息可以为“人脸融合失败,请重新提交图片”的提示消息。
在一些实施方式中,该提取该目标图像信息中的人脸特征点信息,并将该人脸特征点信息结合到目标区域图像的相应位置上,以得到结合图像的步骤,可以包括:
(2.1)将该目标图像信息发送至服务器,以得到该服务器根据该目标图像信息进行人脸融合处理后反馈的目标字符串信息;
(2.2)解析该目标字符串信息,得到人脸融合处理后的结合图像。
其中,人脸图像融合的实现过程不止可以在终端上完成,也可以在服务器侧完成。也就是说,可以将目标图像信息即编码压缩后的字符串信息直接发送至服务器,服务器侧会对应解码该字符串信息,得到尺寸数据以及数据大小都符合限定条件的目标图像,对该目标图像进行人脸特征扫描,快速确定出人脸图像,并对人脸图像进行灰度校正、噪声过滤等处理,进而提取出人脸图像上的人脸特征点信息,并将人脸特征点信息结合到目标区域图像中的特定人物形象的脸部,得到结合图像,使得结合图像中的特定人物形象在保持了原有的外貌特征的前提下,又有待处理图像中提取的人脸特征点信息,实现变脸功能。可选的,为了保证人脸特征点信息与目标区域图像融合的效果,服务器需要保证提取的人脸特征点信息满足预设条件,如需要保证提取的人脸特征点信息包含人脸正脸上的所有特征点信息以及保证提取的人脸特征点信息的清晰度大于一定阈值,当服务器判断出人脸图像上的人脸特征点信息满足预设条件,执行提取人脸图像上的人脸特征点信息的步骤。当服务器判断出人脸图像上的人脸特征点信息不满足预设条件时,向终端发送失败提示指令,终端在接收到该失败提示指令时,会对应生成失败提示信息,该失败信息可以为“人脸融合失败,请重新提交图片”的提示消息。
进一步的,为了提升传输时间,服务器侧也会对将该结合图像编码生成可逆性的目标字符串信息并反馈到终端上,终端在接收到目标字符串信息后,会解码该目标字符串信息,得到人脸融合处理后的结合图像。
在一些实施方式中,该解析该目标字符串信息,得到人脸融合处理后的结合图像的步骤,可以包括:
(3.1)解析该目标字符串信息,生成预设数量的结合图像地址以及分享图像地址;
(3.2)根据该预设数量的结合图像地址以及分享图像地址,加载预设数量的结合图像以及分享图像;
(3.3)启动该视频。
其中,终端在接收到服务器返回的目标字符串信息后,解析该目标字符串信息,根据约定的数据结构,将目标字符串信息解析成预设数量的结合图像地址和分享图像地址,如可以将目标字符串信息解析成3个结合图像地址和1个用于分享的分享图像地址。
进一步的,可以打开该预设数量的结合图像地址和分享图像地址,以下载得到预设数量的结合图像以及分享图像,然后分别将这些图像加载到视频中,待图像加载完成后启动视频进行播放。
在步骤103中,当检测到视频播放到相应的预设播放区间时,在视频上覆盖显示结合图像。
其中,当检测到视频播放到相应的预设播放区间时,即视频播放时间点位于预设播放区间的起始时间点到结束时间点之内时,可以在视频上覆盖显示结合图像,即视频的每一帧播放图像的对应位置都会显示人脸融合处理后的结合图像,由于视觉暂留现象,流畅的播放该预设播放区间的播放画面,会给用户一种视频中特定形象的人脸变换为待处理图像中的人脸的视觉体验。
在一些实施方式中,该当检测到视频播放到相应的预设播放区间时,在视频上覆盖显示结合图像的步骤,可以包括:
(1)当检测到视频播放到相应的预设播放区间的起始点位置时,将该结合图像覆盖在该设置后的显示组件上,以得到目标组件,在该视频上覆盖显示该目标组件;
(2)当检测到视频播放到相应的预设播放区间的结束点位置时,将覆盖显示在该视频上的该目标组件移除。
其中,当检测到视频播放到相应的预设播放区间的起始点位置时,将该预设播放区间相应的结合图像覆盖在设置后的显示组件(如Canvas画布)上,以得到绘制有结合图像的Canvas画布,并在该视频的相应位置上覆盖显示该 Canvas画布,通过该Canvas画布对视频中的人脸部分进行覆盖,显示人脸融合处理后的结合图像,给用户一种视频中特定形象的人脸变换为待处理图像中的人脸的视觉体验。
进一步的,当检测到视频播放到相应的预设播放区间的结束点位置时,将覆盖显示在该视频上的Canvas画布去除,使得后续的播放恢复正常,不影响用户的正常观看。
在一实施方式中,在将人脸融合处理后的结合图像覆盖在设置后的显示组件(如Canvas画布)上后,得到目标组件,可以缩小该目标组件的尺寸,只需要保证目标组件上的结合图像只保留头部部分即可以,因此,当检测到视频播放到相应的预设播放区间的起始点位置时,在视频上覆盖显示目标组件,只对视频中的特定形象的头部部分覆盖,可以达到更好的视觉体验。
在一些实施方式中,该在视频上覆盖显示结合图像的步骤之前,还可以包括将结合图像加载到视频中的预设播放区间中。
其中,人眼具有视觉暂留(Persistence of vision)现象,该视觉暂留现象是光对视网膜所产生的视觉在光停止作用后,仍保留一段时间的现象,其具体应用是电影的拍摄和放映。原因是由视神经的反应速度造成的。是动画、电影等视觉媒体形成和传播的根据。视觉实际上是靠眼睛的晶状体成像,感光细胞感光,并且将光信号转换为神经电流,传回大脑引起人体视觉。感光细胞的感光是靠一些感光色素,感光色素的形成是需要一定时间的,这就形成了视觉暂停的机理。而视频由若干个播放画面组成,即视频由若干个播放图像组成,只是该若干个播放画面以一秒24帧的速率进行播放,所以在人眼中形成了动态视频。
进一步的,为了实现将人脸融合处理后的结合图像播放在视频上,那么可以提前确定结合图像中的特定形象在视频中出现的预设播放区间,即特定形象在视频中出现的起始时间点以及结束时间点。将相应的结合图像提前加载到该起始时间以及结束时间之间的播放画面的对应位置中,实现视频中的特定形象的换脸功能,使得后期视频在播放到相应的起始时间点以及结束时间点时,可以直接播放结合图像与播放画面加载融合后的图像,由于视觉暂留现象,流畅的播放该预设播放区间的播放画面,会给用户一种视频中特定形象的人脸变换为待处理图像中的人脸的视觉体验。该实施方式即为预先将结合图像与相应的播放画面进行加载,使得后期播放时,可以直接播放人脸融合后的画面。
在一些实施方式中,该将结合图像加载到视频中的预设播放区间中的步骤,可以包括:
(1.1)确定视频对应的预设播放区间;
(1.2)获取该预设播放区间内的预设播放图像;
(1.3)将该结合图像加载在该预设播放图像对应的位置上。
其中,确定结合图像中的特定形象在视频中出现的起始时间点以及结束时间点,获取在该起始时间点到结束时间点中的预设播放图像,将结合图像加载在每一预设播放图像对应的位置上,使得结合图像中进行人脸融合处理后的特定形象部分对应覆盖每一预设播放图像中特定形象部分,实现视频中的特定形象的换脸功能。
在一些实施方式中,该将该结合图像加载在该预设播放图像对应的位置上的步骤,可以包括:
(2.1)将该结合图像覆盖在结合后的显示组件上,以得到目标组件;
(2.2)将该目标组件加载在该预设播放图像对应的位置上。
其中,通过该Canvas画布可以实现位图像的动态渲染,所以可以将人脸融合处理后的结合图像覆盖在结合后的Canvas画布上,以得到目标Canvas画布。将目标Canvas画布加载到每一预设播放图像对应的位置上,实现目标Canvas 画布上的换脸后的特定形象覆盖每一预设播放图像中的特定形象。
在一实施方式中,在将人脸融合处理后的结合图像覆盖在结合后的Canvas 画布后,可以缩小该Canvas画布的尺寸,只需要保证Canvas画布上的结合图像只保留头部部分即可以,因此,将缩小后的Canvas画布加载到每一预设播放图像对应的位置上时,只需要将每一预设播放图像中的特定形象的头部部分覆盖,可以达到更好的视觉体验。
由上可知,本发明实施例通过获取待处理图像,并对待处理图像进行相应的预处理,以得到目标图像信息;提取目标图像信息中的人脸特征点信息,并将人脸特征点信息结合到目标区域图像的相应位置上,得到结合图像;当检测到视频播放到相应的预设播放区间时,在视频上覆盖显示结合图像。该方案通过提取预处理后的待处理图像中的人脸特征点信息,并将人脸特征点信息融合到目标区域图像中的脸部位置上,得到结合图像,在视频播放到预设播放区间时,在视频上覆盖显示结合图像,实现了视频人物换脸功能,极大的提高了图像信息的处理灵活性和多样性。
根据上述所描述的方法,以下将举例作进一步详细说明。
在本实施例中,将以客户端为图像处理客户端、以及该图像信息的处理装置具体集成在终端中为例进行说明。
请参阅图3,图3为本发明实施例提供的图像信息的处理方法的另一流程示意图。该方法流程可以包括:
在步骤201中,终端获取待处理图像,获取待处理图像的长度和宽度,对比长度以及宽度,将更长的边确定为目标边。
其中,用户可以操作终端打开图像处理客户端,该图像处理客户端可以提供特征码扫描控件,该特征码扫描控件提供特征码扫描功能,也就是说,用户可以通过触发特征码扫描控件打开摄像头扫描第三方提供的特征码,需要说明的是,该特征码可以为二维码,该二维码又称二维条码,常见的二维码为QR Code,QR全称Quick Response,是一个近几年来终端上超流行的一种编码方式,它比传统的Bar Code条形码能存更多的信息,也能表示更多的数据类型。二维条码/二维码(2-dimensional bar code)是用某种特定的几何图形按一定规律在平面(二维方向上)分布的黑白相间的图形记录数据符号信息的;在代码编制上巧妙地利用构成计算机内部逻辑基础的“0”、“1”比特流的概念,使用若干个与二进制相对应的几何形体来表示文字数值信息,通过图像输入设备或光电扫描设备自动识读以实现信息自动处理:它具有条码技术的一些共性:每种码制有其特定的字符集;每个字符占有一定的宽度;具有一定的校验功能等。同时还具有对不同行的信息自动识别功能、及处理图形旋转变化点。
进一步的,在图像处理客户端通过特征码扫描功能扫描了第三方提供的二维码后,可以进入相应的用户界面(User Interface,UI),该用户界面包含了目标区域图像以及目标视频,该目标区域图像为包含了特定人物形象的图像,而该目标视频为需要进行人脸融合的视频数据。如图4所示,终端10进入相应的用户界面,该用户界面包含图像选择控件11,当用户点击了该图像选择控件 11时,终端可以提供拍照控件12、照片图库控件13以及取消控件14,当用户点击了拍照控件12时,终端会对应调用摄像头组件来实时采集待处理图像,而当用户点击照片图库13选择本地相册获取待处理图像的方式时,终端会调取存储在存储器中的图像,并以列表的形式展现在用户界面上,用户可以根据需求选择对应的待处理图像,当用户点击取消控件14时,返回用户界面。相应的,为了实现对图像后期的准确以及快速处理,会对待处理图像的像素以及数据大小进行相应的限制,如限定待处理图像为1080像素之内以及限定待处理图像的数据大小为500KB之内,由于图像的像素与图像的长度可以形成一固定关系,所以根据对像素的调节来即为对长度调节的等于作用。
由于限定像素为1080像素,所以需要保证待处理图像的长度像素以及宽度像素都在限定像素1080之内,因此,需要确定调整比例对待处理图像的长度像素以及宽度像素进行相应的调整,使得长度像素以及宽度像素都限定在1080 像素内。为了提升像素调节效率,需要对比长度像素以及宽度像素,将像素更高的边确定为目标边。例如,当待处理图像的长度像素为3240像素,宽度像素为2160像素时,将像素更高的长度像素确定为目标边。
在步骤202中,终端获取目标边对应的长度值,计算预设长度值与目标边的长度值的比值,并将比值确定为调节比例,根据调节比例对待处理图像的长度以及宽度进行压缩。
其中,终端获取目标边对应的像素为3240像素,以及预设像素1080像素,计算该预设像素1080像素与目标边的对应的像素3240的比值为三分之一,并将该比值三分之一确定为调节比例。
由于在图片的分辨率确定的情况下,如图片的分辨率为每英寸包含220像素,对应的图像的长度与图像的像素会形成一定的固定关系,可以认为一厘米图像长度等于72个像素,所以可以根据该调节比例对待处理图像的长度以及宽度进行压缩。如待处理图像在每英寸72像素下的长度为45厘米以及宽度为30,那么可以按照调节比例将待处理的长度压缩为15厘米以及宽度压缩为10厘米。压缩后的待处理图像的长度像素为15乘以72等于1080像素,宽度像素为10乘以 72等于720像素,符合像素限制条件。
在步骤203中,终端生成显示组件,根据压缩后的待处理图像的尺寸数据设置显示组件的尺寸数据,并将压缩后的待处理图像绘制在设置后的显示组件上。
其中,该显示组件可以为Canvas画布,终端创建Canvas画布,并将该Canvas 画布的height属性设置与为压缩后的待处理图像的长度属性1080像素相等,将 width属性设置与压缩后的待处理图像的宽度属性720像素相等,并将压缩后的待处理图像绘制在设置过height属性以及width属性的Canvas画布上。比如,可以通过执行如下语句完成:
var canvas=document createElemet(“canvas”);
canvas.width=img.width;
canvas.height=img.height;
var ctx=canvas.getContext(“2d”);
ctx.drawImage(img,0,0,img.width,img.height);
该var canvas=document createElemet(“canvas”)为生成Canvas画布语句,canvas.width=img.width为将Canvas画布的宽度设置为压缩后的待处理图像的宽度;canvas.height=img.height为将Canvas画布的长度设置为压缩后的待处理图像的长度。var ctx=canvas.getContext(“2d”)以及ctx.drawImage(img,0, 0,img.width,img.height)为将压缩后的待处理图像绘制在Canvas画布上。
在步骤204中,终端对绘制后的显示组件进行编码处理,以生成目标图像信息。
其中,终端可以对绘制有压缩后的待处理图像的Canvas画布进行编码处理,改变压缩后的待处理图像的图像质量以及转化为编码后的字符串信息,以实现数据大小的压缩,并将编码后的字符串信息确定为目标图像信息。比如,可以通过执行如下语句完成:
var base64=canvas.toDataURL(“image/jpeg”,0.9);
通过该var base64=canvas.toDataURL(“image/jpeg”,0.9)语句实现将压缩后的待处理图像的图像质量设置为0.9,并进行base64编码处理,得到对应的base64编码的字符串信息,并将该字符串信息确定为目标图像信息,在图像质量改变后,相应的数据大小也会降低,满足500KB的限制。
需要说明的是,该字符串信息为可逆性的,即可以通过对该字符串信息进行分析,还原出处理后的图像信息。
在步骤205中,终端对目标图像信息进行解码处理,以得到压缩后的目标图像,确定目标图像上的人脸图像。
其中,终端可以对目标图像信息中的字符串信息进行反编码得到像素大小以及数据大小都符合限定条件的目标图像,并且对该目标图像进行人脸扫描,以确定出该目标图像上的人脸图像。
进一步的,如果扫描出有多个人脸图像,可以优先将靠近图像中心点的人脸图像确定为目标人脸图像。
在步骤206中,终端判断人脸图像上的人脸特征点信息是否满足预设条件。
其中,为了保证后期的人脸与视频中的人物的人脸融合效果,需要提前对目标图像上确定的人脸图像上的人脸特征点信息进行检查,该预设条件即为通过条件,具体可以为判断人脸特征点的数量是否达到预设阈值,当人脸图像为侧脸时,能提取的人脸特征点的数量不能达到预设阈值。以及可以为判断人脸特征点的清晰度是否达到预设阈值。
因此,当终端判断出人脸图像上的人脸特征点信息满足预设条件时,执行步骤207。当判断出人脸图像上的人脸特征点信息不满足预设条件时,执行步骤208。
在步骤207中,终端提取人脸图像上的人脸特征点信息,并将人脸特征点信息结合到目标区域图像的相应位置上,得到结合图像。
其中,当终端判断出人脸图像上的人脸特征点信息满足预设条件时,终端可以对人脸图像进行灰度校正、噪声过滤等处理后,提取出对应的人脸特征点信息。
需要说明的是,该目标区域图像为包含特定人物形象的图像,且该目标区域图像上会保留相应的位置,比如为脸部位置,该脸部位置可以进行修改。该目标区域图像可以为用户界面默认的,也可以为用户自己选择的,此处不作具体限定。
因此,可以将提取的人脸特征点信息结合到目标区域图像中的脸部位置上,使得目标区域图像中的特定人物形象即有待处理图像中的五官特色,也呈现出特定人物形象的外貌特征。
在步骤208中,终端生成失败提示信息。
其中,当终端判断出人脸图像上的人脸特征点信息不满足预设条件时,可以生成失败提示信息,比如“人脸图像不符合要求,请重新上传”来提示用户重新选择待处理图像。
在步骤209中,当终端检测到视频播放到相应的预设播放区间的起始点位置时,将结合图像覆盖在设置后的显示组件上,以得到目标组件,在视频上覆盖显示目标组件。
其中,终端会获取视频并按照起始时间进行播放,如图5所示,该播放图像为非预设播放区间的播放图像,用户可以点击跳过控件15来跳过该画面。
进一步的,视频由若干个播放图像组成,该若干个播放图像以每秒24帧以上的频率进行播放,结合人眼具有的视觉暂留现象,实现了动态视频。所以需要确定目标区域图像中特定人物形象出现过的预设播放区域,即起始时间点以及结束时间点,该预设播放区域可以为一个或者多个。并确定预设播放区间内的多帧预设播放图像。终端可以将结合图像覆盖在结合后的显示组件上,以得到目标组件,即终端可以将人脸融合处理过的结合图像对应覆盖在Canvas画布上,以得到目标Canvas画布,该结合图像的尺寸大小与Canvas画布的尺寸大小相等。
由于Canvas画布可以实现对位图像的动态渲染,那么在视频播放到相应的预设播放区间的起始点位置时,可以将目标Canvas画布加载到每一帧预设播放图像的人脸附近的相应位置上进行动态渲染,实现对每一帧上的预设播放图像中的特定人物进行换脸,而预设播放图像中的背景则不进行改变。如图6所示,当终端检测到视频播放到相应的预设播放区间,即特定人物形象16出现的播放画面时,会加载目标Canvas画布17,将目标Canvas画布17结合到特定人物形象 16上,使得在预设播放区间中的每一帧播放图像上显示出换脸后的特定人物形象16,实现换脸效果的通过,给用户一种流畅的视觉体验。
在步骤210中,当终端检测到视频播放到相应的预设播放区间的结束点位置时,将覆盖显示在视频上的目标组件移除。
其中,如图6所示,当检测到视频播放到相应的预设播放区间的结束点位置时,会将覆盖显示在该视频上的目标Canvas画布17去除,使得后续的播放恢复正常,不影响用户的正常观看。
需要说明的是,如图7所示,当视频结束播放或者用户点击跳过控件时,会显示结束页面,用户可以通过点击“再开一次”控件18,进行再一次重复播放,或者点击“分享”控件,将进行人脸融合后的视频通过即时通讯软件分享给其他好友,或者将该人脸融合后的视频上传到即时通讯软件相应的服务器中。
由上述可知,本发明实施例通过获取待处理图像,并对待处理图像的长度以及宽度进行尺寸压缩,并根据Canvas画布对尺寸压缩后的待处理图像进行数据大小压缩,以得到目标图像信息,对目标图像信息进行解码处理,得到尺寸大小以及数据大小都符合条件的目标图像并进行扫描,得到人脸图像,提取人脸图像上的人脸特征点信息融合到包含特定人物形象的目标区域图像上,得到结合图像,当检测到视频播放到相应的预设播放区间的起始点位置时,将结合图像覆盖在设置后的Canvas画布上,以得到目标Canvas画布,在视频上覆盖显示目标Canvas画布,当检测到视频播放到相应的预设播放区间的结束点位置时,将覆盖显示的目标Canvas画布移除。该方案通过提取预处理后的待处理图像中的人脸特征点信息,并将人脸特征点信息融合到目标区域图像中的脸部位置上,得到结合图像,在视频播放到预设播放区间时,在视频上覆盖显示结合图像,实现了视频人物换脸功能,极大的提高了图像信息的处理灵活性和多样性。
为便于更好的实施本发明实施例提供的图像信息的处理方法,本发明实施例还提供一种基于上述图像信息的处理方法的装置。其中名词的含义与上述图像信息的处理方法中相同,具体实现细节可以参考方法实施例中的说明。
请参阅图8a,图8a为本发明实施例提供的图像信息的处理装置的结构示意图,其中该图像信息的处理装置可以包括处理单元301、提取单元302及显示单元303等。
处理单元301,用于获取待处理图像,并对该待处理图像进行相应的预处理,以得到目标图像信息。
其中,处理单元301可以通过如下操作获取待处理图像,打开终端上的某一客户端,如图像处理客户端,该图像处理客户端会显示主界面,该显示主界面上可以显示多个视频显示控件,用户可以基于该显示主界面点击一个目标视频控件,客户端会进入该目标视频控件对应的海报显示界面,该海报显示界面上可以包括图像选择控件,该图像选择控件是用于触发获取待处理图像的快捷入口,当检测到用户点击该图像选择控件之后,处理单元301可以调用摄像头组件来采集待处理图像,可选的,也可以调取终端上的相册,进而选择相册中的某一目标图片作为待识别图像。
进一步的,处理单元301在获取待处理图像之后,可以对待处理图像进行相应的预处理,该对待处理图像进行预处理,该预处理的方式可以为对图像进行降噪处理、像素调节处理以及数据大小调节处理等等,以得到目标图像信息,该经过预处理后的目标图像信息可以直接进行后期的特征提取。
在一些实施方式中,处理单元301,可以用于获取待处理图像,对该待处理图像的尺寸数据以及数据大小进行相应的压缩,以得到目标图像信息。
其中,随着终端的摄像头以及屏幕显示像素的发展,图像的像素以及数据大小也相应越来越大,为了实现对图像后期的准确以及快速处理,处理单元301 会对待处理图像的像素大小以及数据大小大小进行相应的限制,如对待处理图像进行500千字节以及1080像素的限制,该像素是指由图像的小方格即所谓的像素组成的,这些小方块都有一个明确的位置和被分配的色彩数值,而这些一小方格的颜色和位置就决定该图像所呈现出来的样子。可以将像素视为整个图像中不可分割的单位或者是元素,不可分割的意思是它不能够再切割成更小单位抑或是元素,它是以一个单一颜色的小格存在。每一个点阵图像包含了一定量的像素,这些像素决定图像在屏幕上所呈现的大小。
所以处理单元301需要对待处理图像的尺寸数据以及数据大小进行相应的压缩,使得待处理图像满足500KB的数据大小以及1080像素的尺寸数据的限制,并将压缩后符合条件的目标图像信息确定为目标图像信息。
在一些实施方式中,如图8b所示,该处理单元301可以包括压缩子单元 3011、生成子单元3012以及编码子单元3013,如下:
压缩子单元3011,用于获取待处理图像,对该待处理图像的尺寸数据进行压缩。
生成子单元3012,用于生成显示组件,根据压缩后的待处理图像的尺寸数据设置该显示组件的尺寸数据,并将该压缩后的待处理图像绘制在设置后的显示组件上。
编码子单元3013,用于对绘制后的显示组件进行编码处理,以生成目标图像信息。
其中,在确定了图片的分辨率的情况下,像素与长度可以形成一固定关系,比如,图片的分辨率一般都是用72每英寸点数(Dots Per Inch,DPI),即每英寸包含72像素,此时,一厘米等于28像素。所以压缩子单元3011可以根据待处理图像的像素与限制像素之间的比例关系,对待处理图像的尺寸数据进行压缩。
进一步的,为了实现对待处理图像的数据大小进行相应的压缩,生成子单元3012需要生成显示组件,该显示组件可以为Canvas组件,可以通俗将该 Canvas组件理解位Canvas画布,该Canvas画布具有height属性以及width属性,该height属性为Canvas画布的高度,和一幅图像一样,这个属性可以指定为一个整数像素值或者是窗口高度的百分比。当这个值改变的时候,在该画布上已经完成的任何绘图都会擦除掉。默认值是150。该width属性为画布的宽度。和一幅图像一样,这个属性可以指定为一个整数像素值或者是窗口宽度的百分比。当这个值改变的时候,在该画布上已经完成的任何绘图都会擦除掉。默认值是300。可以根据压缩后的待处理图像的尺寸数据设置该Canvas画布的height 属性以及width属性,该Canvas画布的height属性以及width属性可以与压缩后的待处理图像的尺寸数据相等,并将压缩后的待处理图像绘制在Canvas画布上。
相应的,在将压缩后的待处理图像绘制在Canvas画布上后,编码子单元 3013可以通过Canvas画布的toDataURL方法,改变压缩后的待处理图像的图像质量,并将该压缩后的待处理图像编码压缩为字符串信息,进一步改变压缩后的待处理图像的数据大小,使得压缩后的待处理图像满足数据大小限制要求,需要说明的是,该字符串信息为可逆性的,即可以对字符串信息进行反编码,得到压缩后的待处理图像,将满足像素大小以及数据大小的字符串信息确定为目标图像信息。
在一些实施方式中,压缩子单元3011,可以用于获取待处理图像;获取该待处理图像的长度和宽度;对比该长度以及宽度,将更长的边确定为目标边;根据该目标边的长度值对该待处理图像的尺寸数据进行压缩。
其中,由于图像的像素与图像的长度可以形成一固定关系,所以根据对像素的调节来达到对长度调节的等于作用,即压缩子单元3011可以获取待处理图像的长度像素(即长度)以及宽度像素(即宽度),该长度像素为待处理图像的长度上的像素值,该宽度像素为待处理图像的宽度上的像素值。为了达到限制待处理图像的像素的效果,只需要将长度像素或者宽度像素中较高的边的像素调整进行限制,像素更低的边的像素也必定满足限制条件,所以可以对比长度像素以及宽度像素的大小,将像素更高的边确定为目标边,获取目标边的像素值与限制像素的比例关系,根据比例关系对待处理图像的尺寸数据进行相应的压缩。
在一些实施方式中,压缩子单元3011,还可以用于获取待处理图像;获取该待处理图像的长度和宽度;对比该长度以及宽度,将更长的边确定为目标边;获取该目标边对应的长度值;计算预设长度值与该目标边的长度值的比值,并将该比值确定为调节比例;根据该调节比例对该待处理图像的长度以及宽度进行压缩。
其中,由于图像的像素与图像的长度可以形成一固定关系,所以根据对像素的调节来达到对长度调节的等于作用,即,压缩子单元3011可以获取像素值更高(即长度值更高)的目标边对应的像素(即长度值),该预设长度值(即预设像素)可以为540像素或者1080像素,计算该预设像素与目标边像素的比值,并将该比值确定为调节比例,由于像素与长度形成一固定关系,所以可以根据该调节比例对待处理图像的长度以及宽度进行相应的压缩,压缩后的待处理图像的像素满足限制像素的要求。
提取单元302,用于提取该目标图像信息中的人脸特征点信息,并将该人脸特征点信息结合到目标区域图像的相应位置上,得到结合图像,该目标区域图像属于视频相应的预设播放区间中的播放图像。
其中,由于目标图像信息包括可逆性的字符串信息,所以提取单元302可以对字符串信息反编码得到尺寸数据(即像素大小)以及数据大小都符合限定条件的目标图像,并可以从目标图像信息中快速确定人脸图像,需要说明的是,由于人脸图像中包含的模式特征十方丰富,如直方图特征、颜色特征、模板特征、结构特征以及Haar特征等。所以可以对目标图像进行特征扫描,可以快速确定出人脸图像。
进一步的,可能有些目标图像上包括有多个人脸图像,所以当检测到人脸图像为多个时,可以将靠近图像中心的人脸图像确定为目标人脸图像,对目标人脸图像进行图像预处理,进而提取该目标人脸图像上的人脸特征点信息,该人脸特征点信息可以包括眼睛、鼻子、嘴巴以及下巴等局部构成点的几何描述。该目标区域图像为视频中某一特定形象的图像,将提取的人脸特征点信息与目标区域图像中的特定形象进行脸部层面融合,以得到结合图像,该结合图像既有待处理图像中的五官特色,也呈现出特定形象的外貌特征,从而实现无缝变脸功能。
在一些实施方式中,提取单元302,可以用于对该目标图像信息进行解码处理,以得到目标图像;确定该目标图像上的人脸图像;判断该人脸图像上的人脸特征点信息是否满足预设条件;当判断出该人脸图像上的人脸特征点信息满足预设条件时,提取该人脸图像上的人脸特征点信息,并将该人脸特征点信息结合到目标区域图像的相应位置上,以得到结合图像;当判断出该人脸图像上的人脸特征点信息不满足预设条件时,生成失败提示信息。
其中,由于图像信息为可逆性的字符串信息,所以提取单元302可以对该目标图像信息进行解码处理,可以得到尺寸数据以及数据大小都压缩后符合限定条件的目标图像,对该目标图像进行人脸特征扫描,快速确定出人脸图像,并对人脸图像进行灰度校正、噪声过滤等处理,进而提取出人脸图像上的人脸特征点信息,并将人脸特征点信息结合到目标区域图像中的特定人物形象的脸部,得到结合图像,使得结合图像中的特定人物形象在保持了原有的外貌特征的前提下,又有待处理图像中提取的人脸特征点信息,实现无缝变脸功能。可选的,为了保证人脸特征点信息与目标区域图像融合的效果,需要保证提取的人脸特征点信息满足预设条件,如需要保证提取的人脸特征点信息包含人脸正脸上的所有特征点信息以及保证提取的人脸特征点信息的清晰度大于一定阈值,当判断出人脸图像上的人脸特征点信息满足预设条件,执行提取人脸图像上的人脸特征点信息的步骤。当判断出人脸图像上的人脸特征点信息不满足预设条件时,生成失败提示信息,该失败提示信息可以为“人脸融合失败,请重新提交图片”的提示消息。
在一些实施方式中,提取单元302,还可以用于将该目标图像信息发送至服务器,以得到该服务器根据该目标图像信息进行人脸融合处理后反馈的目标字符串信息;解析该目标字符串信息,得到人脸融合处理后的结合图像。
其中,人脸图像融合的实现过程不止可以在终端上完成,也可以在服务器侧完成。也就是说,提取单元302可以将目标图像信息即编码压缩后的字符串信息直接发送至服务器,服务器侧会对应解码该字符串信息,得到尺寸数据以及数据大小都压缩后符合限定条件的目标图像,对该目标图像进行人脸特征扫描,快速确定出人脸图像,并对人脸图像进行灰度校正、噪声过滤等处理,进而提取出人脸图像上的人脸特征点信息,并将人脸特征点信息结合到目标区域图像中的特定人物形象的脸部,得到结合图像,使得结合图像中的特定人物形象在保持了原有的外貌特征的前提下,又有待处理图像中提取的人脸特征点信息,实现变脸功能。可选的,为了保证人脸特征点信息与目标区域图像融合的效果,服务器需要保证提取的人脸特征点信息满足预设条件,如需要保证提取的人脸特征点信息包含人脸正脸上的所有特征点信息以及保证提取的人脸特征点信息的清晰度大于一定阈值,当服务器判断出人脸图像上的人脸特征点信息满足预设条件,执行提取人脸图像上的人脸特征点信息的步骤。当服务器判断出人脸图像上的人脸特征点信息不满足预设条件时,向终端发送失败提示指令,终端在接收到该失败提示指令时,会对应生成失败提示信息,该失败信息可以为“人脸融合失败,请重新提交图片”的提示消息。
进一步的,为了提升传输时间,服务器侧也会对将该结合图像编码生成可逆性的目标字符串信息并反馈到终端上,提取单元302在接收到目标字符串信息后,会解码该目标字符串信息,得到人脸融合处理后的结合图像。
在一些实施方式中,该提取单元302,还可以用于将该目标图像信息发送至服务器,以得到该服务器根据该目标图像信息进行人脸融合处理后反馈的目标字符串信息;解析该目标字符串信息,生成预设数量的结合图像地址以及分享图像地址;根据该预设数量的结合图像地址以及分享图像地址,加载预设数量的结合图像以及分享图像;启动该视频。
其中,提取单元302在接收到服务器返回的目标字符串信息后,解析该目标字符串信息,根据约定的数据结构,将目标字符串信息解析成预设数量的结合图像地址和分享图像地址,如可以将目标字符串信息解析成3个结合图像地址和1个用于分享的分享图像地址。
进一步的,提取单元302可以打开该预设数量的结合图像地址和分享图像地址,以下载得到预设数量的结合图像以及分享图像,然后分别将这些图像加载到视频中,待图像加载完成后启动视频进行播放。
显示单元303,用于当检测到视频播放到相应的预设播放区间时,在该视频上覆盖显示该结合图像。
其中,当显示单元303检测到视频播放到相应的预设播放区间时,即视频播放时间点位于预设播放区间的起始时间点到结束时间点之内时,可以在视频上覆盖显示结合图像,即视频的每一帧播放图像的对应位置都会显示人脸融合处理后的结合图像,由于视觉暂留现象,流畅的播放该预设播放区间的播放画面,会给用户一种视频中特定形象的人脸变换为待处理图像中的人脸的视觉体验。
在一些实施方式中,该显示单元303,还可以用于当检测到视频播放到相应的预设播放区间的起始点位置时,将该结合图像覆盖在该设置后的显示组件上,以得到目标组件,在该视频上覆盖显示该目标组件;当检测到视频播放到相应的预设播放区间的结束点位置时,将覆盖显示在该视频上的该目标组件移除。
其中,当显示单元303检测到视频播放到相应的预设播放区间的起始点位置时,将该预设播放区间相应的结合图像覆盖在设置后的显示组件(如Canvas 画布)上,以得到绘制有结合图像的Canvas画布,并在该视频的相应位置上覆盖显示该Canvas画布,通过该Canvas画布对视频中的人脸部分进行覆盖,显示人脸融合处理后的结合图像,给用户一种视频中特定形象的人脸变换为待处理图像中的人脸的视觉体验。
进一步的,当显示单元303检测到视频播放到相应的预设播放区间的结束点位置时,将覆盖显示在该视频上的Canvas画布去除,使得后续的播放恢复正常,不影响用户的正常观看。
以上各个单元的具体实施可参见前面的实施例,在此不再赘述。
由上可知,本发明实施例通过处理单元301获取待处理图像,并对待处理图像进行相应的预处理,以得到目标图像信息;提取单元302提取目标图像信息中的人脸特征点信息,并将人脸特征点信息结合到目标区域图像的相应位置上,得到结合图像;当显示单元303检测到视频播放到相应的预设播放区间时,在视频上覆盖显示结合图像。该方案通过提取预处理后的待处理图像中的人脸特征点信息,并将人脸特征点信息融合到目标区域图像中的脸部位置上,得到结合图像,在视频播放到预设播放区间时,在视频上覆盖显示结合图像,实现了视频人物换脸功能,极大的提高了图像信息的处理灵活性和多样性。
本发明实施例还提供一种终端,如图9所示,该终端可以包括射频(RF, RadioFrequency)电路601、包括有一个或一个以上计算机可读存储介质的存储器602、输入单元603、显示单元604、传感器605、音频电路606、无线保真(WiFi,Wireless Fidelity)模块607、包括有一个或者一个以上处理核心的处理器608、以及电源609等部件。本领域技术人员可以理解,图9中示出的终端结构并不构成对终端的限定,可以包括比图示更多或更少的部件,或者组合某些部件,或者不同的部件布置。其中:
RF电路601可用于收发信息或通话过程中,信号的接收和发送,特别地,将基站的下行信息接收后,交由一个或者一个以上处理器608处理;另外,将涉及上行的数据发送给基站。通常,RF电路601包括但不限于天线、至少一个放大器、调谐器、一个或多个振荡器、用户身份模块(SIM,Subscriber Identity Module)卡、收发信机、耦合器、低噪声放大器(LNA,Low Noise Amplifier)、双工器等。此外,RF电路601还可以通过无线通信与网络和其他设备通信。无线通信可以使用任一通信标准或协议,包括但不限于全球移动通讯系统(GSM,Global System of Mobile communication)、通用分组无线服务(GPRS, GeneralPacket Radio Service)、码分多址(CDMA,Code Division Multiple Access)、宽带码分多址(WCDMA,Wideband Code Division Multiple Access)、长期演进(LTE,Long TermEvolution)、电子邮件、短消息服务(SMS,Short Messaging Service)等。
存储器602可用于存储软件程序以及模块,处理器608通过运行存储在存储器602的软件程序以及模块,从而执行各种功能应用以及图像信息的处理。存储器602可主要包括存储程序区和存储数据区,其中,存储程序区可存储操作系统、至少一个功能所需的应用程序(比如声音播放功能、图像播放功能等) 等;存储数据区可存储根据终端的使用所创建的数据(比如音频数据、电话本等)等。此外,存储器602可以包括高速随机存取存储器,还可以包括非易失性存储器,例如至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。相应地,存储器602还可以包括存储器控制器,以提供处理器608和输入单元603对存储器602的访问。
输入单元603可用于接收输入的数字或字符信息,以及产生与用户设置以及功能控制有关的键盘、鼠标、操作杆、光学或者轨迹球信号输入。具体地,在一个具体的实施例中,输入单元603可包括触敏表面以及其他输入设备。触敏表面,也称为触摸显示屏或者触控板,可收集用户在其上或附近的触摸操作 (比如用户使用手指、触笔等任何适合的物体或附件在触敏表面上或在触敏表面附近的操作),并根据预先设定的程式驱动相应的连接装置。可选的,触敏表面可包括触摸检测装置和触摸控制器两个部分。其中,触摸检测装置检测用户的触摸方位,并检测触摸操作带来的信号,将信号传送给触摸控制器;触摸控制器从触摸检测装置上接收触摸信息,并将它转换成触点坐标,再送给处理器608,并能接收处理器608发来的命令并加以执行。此外,可以采用电阻式、电容式、红外线以及表面声波等多种类型实现触敏表面。除了触敏表面,输入单元603还可以包括其他输入设备。具体地,其他输入设备可以包括但不限于物理键盘、功能键(比如音量控制按键、开关按键等)、轨迹球、鼠标、操作杆等中的一种或多种。
显示单元604可用于显示由用户输入的信息或提供给用户的信息以及终端的各种图形用户接口,这些图形用户接口可以由图形、文本、图标、视频和其任意组合来构成。显示单元604可包括显示面板,可选的,可以采用液晶显示器(LCD,Liquid Crystal Display)、有机发光二极管(OLED,Organic Light-Emitting Diode)等形式来配置显示面板。进一步的,触敏表面可覆盖显示面板,当触敏表面检测到在其上或附近的触摸操作后,传送给处理器608 以确定触摸事件的类型,随后处理器608根据触摸事件的类型在显示面板上提供相应的视觉输出。虽然在图9中,触敏表面与显示面板是作为两个独立的部件来实现输入和输入功能,但是在某些实施例中,可以将触敏表面与显示面板集成而实现输入和输出功能。
终端还可包括至少一种传感器605,比如光传感器、运动传感器以及其他传感器。具体地,光传感器可包括环境光传感器及接近传感器,其中,环境光传感器可根据环境光线的明暗来调节显示面板的亮度,接近传感器可在终端移动到耳边时,关闭显示面板和/或背光。作为运动传感器的一种,重力加速度传感器可检测各个方向上(一般为三轴)加速度的大小,静止时可检测出重力的大小及方向,可用于识别手机姿态的应用(比如横竖屏切换、相关游戏、磁力计姿态校准)、振动识别相关功能(比如计步器、敲击)等;至于终端还可配置的陀螺仪、气压计、湿度计、温度计、红外线传感器等其他传感器,在此不再赘述。
音频电路606、扬声器,传声器可提供用户与终端之间的音频接口。音频电路606可将接收到的音频数据转换后的电信号,传输到扬声器,由扬声器转换为声音信号输出;另一方面,传声器将收集的声音信号转换为电信号,由音频电路606接收后转换为音频数据,再将音频数据输出处理器608处理后,经RF电路601以发送给比如另一终端,或者将音频数据输出至存储器602以便进一步处理。音频电路606还可能包括耳塞插孔,以提供外设耳机与终端的通信。
WiFi属于短距离无线传输技术,终端通过WiFi模块607可以帮助用户收发电子邮件、浏览网页和访问流式媒体等,它为用户提供了无线的宽带互联网访问。虽然图9示出了WiFi模块607,但是可以理解的是,其并不属于终端的必须构成,完全可以根据需要在不改变发明的本质的范围内而省略。
处理器608是终端的控制中心,利用各种接口和线路连接整个手机的各个部分,通过运行或执行存储在存储器602内的软件程序和/或模块,以及调用存储在存储器602内的数据,执行终端的各种功能和处理数据,从而对手机进行整体监控。可选的,处理器608可包括一个或多个处理核心;优选的,处理器608可集成应用处理器和调制解调处理器,其中,应用处理器主要处理操作系统、用户界面和应用程序等,调制解调处理器主要处理无线通信。可以理解的是,上述调制解调处理器也可以不集成到处理器608中。
终端还包括给各个部件供电的电源609(比如电池),优选的,电源可以通过电源管理系统与处理器608逻辑相连,从而通过电源管理系统实现管理充电、放电、以及功耗管理等功能。电源609还可以包括一个或一个以上的直流或交流电源、再充电系统、电源故障检测电路、电源转换器或者逆变器、电源状态指示器等任意组件。
尽管未示出,终端还可以包括摄像头、蓝牙模块等,在此不再赘述。具体在本实施例中,终端中的处理器608会按照如下的指令,将一个或一个以上的应用程序的进程对应的可执行文件加载到存储器602中,并由处理器608来运行存储在存储器602中的应用程序,从而实现各种功能:
获取待处理图像,并对该待处理图像进行相应的预处理,以得到目标图像信息;提取该目标图像信息中的人脸特征点信息,并将该人脸特征点信息结合到目标区域图像的相应位置上,得到结合图像,该目标区域图像属于视频相应的预设播放区间中的播放图像;当检测到该视频播放到该相应的预设播放区间时,在该视频上覆盖显示该结合图像。
在上述实施例中,对各个实施例的描述都各有侧重,某个实施例中没有详述的部分,可以参见上文针对图像信息的处理方法的详细描述,此处不再赘述。
由上可知,本发明实施例的终端可以通过获取待处理图像,并对待处理图像进行相应的预处理,以得到目标图像信息;提取目标图像信息中的人脸特征点信息,并将人脸特征点信息结合到目标区域图像的相应位置上,得到结合图像;当检测到视频播放到相应的预设播放区间时,在视频上覆盖显示结合图像。该方案通过提取预处理后的待处理图像中的人脸特征点信息,并将人脸特征点信息融合到目标区域图像中的脸部位置上,得到结合图像,在视频播放到预设播放区间时,在视频上覆盖显示结合图像,实现了视频人物换脸功能,极大的提高了图像信息的处理灵活性和多样性。
本领域普通技术人员可以理解,上述实施例的各种方法中的全部或部分步骤可以通过指令来完成,或通过指令控制相关的硬件来完成,该指令可以存储于一计算机可读存储介质中,并由处理器进行加载和执行。
为此,本发明实施例提供一种存储介质,其中存储有多条指令,该指令能够被处理器进行加载,以执行本发明实施例所提供的任一种图像信息的处理方法中的步骤。例如,该指令可以执行如下步骤:
获取待处理图像,并对该待处理图像进行相应的预处理,以得到目标图像信息;提取该目标图像信息中的人脸特征点信息,并将该人脸特征点信息结合到目标区域图像的相应位置上,得到结合图像,该目标区域图像属于视频相应的预设播放区间中的播放图像;当检测到该视频播放到该相应的预设播放区间时,在该视频上覆盖显示该结合图像。
以上各个操作的具体实施可参见前面的实施例,在此不再赘述。
其中,该存储介质可以包括:只读存储器(ROM,Read Only Memory)、随机存取记忆体(RAM,Random Access Memory)、磁盘或光盘等。
由于该存储介质中所存储的指令,可以执行本发明实施例所提供的任一种图像信息的处理方法中的步骤,因此,可以实现本发明实施例所提供的任一种图像信息的处理方法所能实现的有益效果,详见前面的实施例,在此不再赘述。
以上对本发明实施例所提供的一种图像信息的处理方法、装置及存储介质进行了详细介绍,本文中应用了具体个例对本发明的原理及实施方式进行了阐述,以上实施例的说明只是用于帮助理解本发明的方法及其核心思想;同时,对于本领域的技术人员,依据本发明的思想,在具体实施方式及应用范围上均会有改变之处,综上所述,本说明书内容不应理解为对本发明的限制。

Claims (14)

1.一种图像信息的处理方法,其特征在于,包括:
获取待处理图像,并对所述待处理图像进行相应的预处理,以得到目标图像信息;
提取所述目标图像信息中的人脸特征点信息,并将所述人脸特征点信息结合到目标区域图像的相应位置上,得到结合图像,所述目标区域图像属于视频相应的预设播放区间中的播放图像中预设形象的图像;
所述将所述人脸特征点信息结合到目标区域图像的相应位置上,得到结合图像的步骤,包括:
将提取的人脸特征点信息与目标区域图像中的特定形象进行脸部层面融合,以得到结合图像;
当检测到所述视频播放到所述相应的预设播放区间的起始点位置时,将所述结合图像覆盖在设置后的显示组件上,以得到目标组件,缩小所述目标组件的尺寸,使得缩小后的目标组件上的结合图像保留头部部分,在所述视频上覆盖显示所述目标组件;
当检测到所述视频播放到所述相应的预设播放区间的结束点位置时,将覆盖显示在所述视频上的所述目标组件移除。
2.根据权利要求1所述的处理方法,其特征在于,所述对所述待处理图像进行相应的预处理,以得到目标图像信息的步骤,包括:
对所述待处理图像的尺寸数据以及数据大小进行相应的压缩,以得到目标图像信息。
3.根据权利要求2所述的处理方法,其特征在于,所述对所述待处理图像的尺寸数据以及数据大小进行相应的压缩,以得到目标图像信息的步骤,包括:
对所述待处理图像的尺寸数据进行压缩;
生成显示组件,根据压缩后的待处理图像的尺寸数据设置所述显示组件的尺寸数据,并将所述压缩后的待处理图像绘制在设置后的显示组件上;
对绘制后的显示组件进行编码处理,以生成所述目标图像信息。
4.根据权利要求3所述的处理方法,其特征在于,所述对所述待处理图像的尺寸数据进行压缩的步骤,包括:
获取所述待处理图像的长度和宽度;
对比所述长度以及宽度,将更长的边确定为目标边;
根据所述目标边的长度值对所述待处理图像的尺寸数据进行压缩。
5.根据权利要求4所述的处理方法,其特征在于,所述根据所述目标边的长度值对所述待处理图像的尺寸数据进行压缩的步骤,包括:
获取所述目标边对应的长度值;
计算预设长度值与所述目标边的长度值的比值,并将所述比值确定为调节比例;
根据所述调节比例对所述待处理图像的长度以及宽度进行压缩。
6.根据权利要求3至5任一项所述的处理方法,其特征在于,所述提取所述目标图像信息中的人脸特征点信息,并将所述人脸特征点信息结合到目标区域图像的相应位置上,得到结合图像的步骤,包括:
对所述目标图像信息进行解码处理,得到目标图像;
确定所述目标图像上的人脸图像;
提取所述人脸图像上的人脸特征点信息,并将所述人脸特征点信息结合到所述目标区域图像的相应位置上,得到所述结合图像。
7.根据权利要求6所述的处理方法,其特征在于,所述提取所述人脸图像上的人脸特征点信息的步骤之前,还包括:
判断所述人脸图像上的人脸特征点信息是否满足预设条件;
当判断出所述人脸图像上的人脸特征点信息满足预设条件时,执行提取所述人脸图像上的人脸特征点信息的步骤;
当判断出所述人脸图像上的人脸特征点信息不满足预设条件时,生成失败提示信息。
8.根据权利要求3至5任一项所述的处理方法,其特征在于,所述提取所述目标图像信息中的人脸特征点信息,并将所述人脸特征点信息结合到目标区域图像的相应位置上,得到结合图像的步骤,包括:
将所述目标图像信息发送至服务器,以得到所述服务器根据所述目标图像信息进行人脸融合处理后反馈的目标字符串信息;
解析所述目标字符串信息,得到人脸融合处理后的结合图像。
9.根据权利要求8所述的处理方法,其特征在于,所述解析所述目标字符串信息,得到人脸融合处理后的结合图像的步骤,包括:
解析所述目标字符串信息,生成预设数量的结合图像地址以及分享图像地址;
根据所述预设数量的结合图像地址以及分享图像地址,加载预设数量的结合图像以及分享图像;
启动所述视频。
10.一种图像信息的处理装置,其特征在于,包括:
处理单元,用于获取待处理图像,并对所述待处理图像进行相应的预处理,以得到目标图像信息;
提取单元,用于提取所述目标图像信息中的人脸特征点信息,并将所述人脸特征点信息结合到目标区域图像的相应位置上,得到结合图像,所述目标区域图像属于视频相应的预设播放区间中的播放图像中预设形象的图像;
所述提取单元,用于提取所述目标图像信息中的人脸特征点信息,将提取的人脸特征点信息与目标区域图像中的特定形象进行脸部层面融合,以得到结合图像;
显示单元,用于当检测到所述视频播放到所述相应的预设播放区间时,在所述视频上覆盖显示所述结合图像;
所述显示单元,用于当检测到所述视频播放到所述相应的预设播放区间的起始点位置时,将所述结合图像覆盖在设置后的显示组件上,以得到目标组件,缩小所述目标组件的尺寸,使得缩小后的目标组件上的结合图像保留头部部分,在所述视频上覆盖显示所述目标组件;
当检测到所述视频播放到所述相应的预设播放区间的结束点位置时,将覆盖显示在所述视频上的所述目标组件移除。
11.根据权利要求10所述的图像信息的处理装置,其特征在于,所述处理单元,用于获取待处理图像,并对所述待处理图像的尺寸数据以及数据大小进行相应的压缩,以得到目标图像信息。
12.根据权利要求11所述的图像信息的处理装置,其特征在于,所述处理单元,包括:
压缩子单元,用于获取待处理图像,对所述待处理图像的尺寸数据进行压缩;
生成子单元,用于生成显示组件,根据压缩后的待处理图像的尺寸数据设置所述显示组件的尺寸数据,并将所述压缩后的待处理图像绘制在设置后的显示组件上;
编码子单元,用于对绘制后的显示组件进行编码处理,以生成所述目标图像信息。
13.根据权利要求12所述的图像信息的处理装置,其特征在于,所述压缩子单元,具体用于:
获取待处理图像;
获取所述待处理图像的长度和宽度;
对比所述长度以及宽度,将更长的边确定为目标边;
根据所述目标边的长度值对所述待处理图像的尺寸数据进行压缩。
14.一种存储介质,其特征在于,所述存储介质存储有多条指令,所述指令适于处理器进行加载,以执行权利要求1至9任一项所述的图像信息的处理方法中的步骤。
CN201811494173.8A 2018-12-07 2018-12-07 一种图像信息的处理方法、装置及存储介质 Active CN109670427B (zh)

Priority Applications (3)

Application Number Priority Date Filing Date Title
CN201811494173.8A CN109670427B (zh) 2018-12-07 2018-12-07 一种图像信息的处理方法、装置及存储介质
PCT/CN2019/118344 WO2020114215A1 (zh) 2018-12-07 2019-11-14 一种图像信息的处理方法、装置及存储介质
US17/191,678 US11386933B2 (en) 2018-12-07 2021-03-03 Image information processing method and apparatus, and storage medium

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201811494173.8A CN109670427B (zh) 2018-12-07 2018-12-07 一种图像信息的处理方法、装置及存储介质

Publications (2)

Publication Number Publication Date
CN109670427A CN109670427A (zh) 2019-04-23
CN109670427B true CN109670427B (zh) 2021-02-02

Family

ID=66143683

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811494173.8A Active CN109670427B (zh) 2018-12-07 2018-12-07 一种图像信息的处理方法、装置及存储介质

Country Status (3)

Country Link
US (1) US11386933B2 (zh)
CN (1) CN109670427B (zh)
WO (1) WO2020114215A1 (zh)

Families Citing this family (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109670427B (zh) * 2018-12-07 2021-02-02 腾讯科技(深圳)有限公司 一种图像信息的处理方法、装置及存储介质
CN111741348B (zh) * 2019-05-27 2022-09-06 北京京东尚科信息技术有限公司 网页视频播放的控制方法、系统、设备和存储介质
CN111145082A (zh) * 2019-12-23 2020-05-12 五八有限公司 人脸图像处理方法、装置、电子设备及存储介质
CN113691833B (zh) * 2020-05-18 2023-02-03 北京搜狗科技发展有限公司 虚拟主播换脸方法、装置、电子设备及存储介质
CN111753854B (zh) * 2020-07-28 2023-12-22 腾讯医疗健康(深圳)有限公司 图像处理方法、装置、电子设备及存储介质
CN112232023A (zh) * 2020-10-21 2021-01-15 苏州速显微电子科技有限公司 一种在线位图字体生成系统及方法
CN112488911B (zh) * 2020-11-26 2023-04-14 四三九九网络股份有限公司 在html5画布canvas上渲染gif文件的方法
CN112487396A (zh) * 2020-12-08 2021-03-12 平安国际智慧城市科技股份有限公司 图片的处理方法、装置、计算机设备及存储介质
US11900519B2 (en) * 2021-11-17 2024-02-13 Adobe Inc. Disentangling latent representations for image reenactment
CN115314754A (zh) * 2022-06-17 2022-11-08 网易(杭州)网络有限公司 交互控件的显示控制方法、装置和电子设备
CN115623245B (zh) * 2022-12-19 2023-03-03 檀沐信息科技(深圳)有限公司 视频直播中的图像处理方法、装置及计算机设备

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8839118B2 (en) * 2010-06-30 2014-09-16 Verizon Patent And Licensing Inc. Users as actors in content
US9264661B2 (en) * 2013-06-07 2016-02-16 Apple Inc. Adaptive post-processing for mobile video calling system
CN104751410B (zh) * 2013-12-31 2017-05-24 腾讯科技(深圳)有限公司 图像与二维码的融合方法及装置
CN105335925A (zh) * 2014-07-30 2016-02-17 北京畅游天下网络技术有限公司 一种图片的裁剪方法和浏览器装置
CN105513098B (zh) * 2014-09-26 2020-01-21 腾讯科技(北京)有限公司 一种图像处理的方法和装置
EP3255610B1 (en) * 2015-03-02 2021-01-20 Huawei Technologies Co. Ltd. Image processing method and apparatus, and electronic terminal
CN105118082B (zh) * 2015-07-30 2019-05-28 科大讯飞股份有限公司 个性化视频生成方法及系统
CN106022424B (zh) * 2016-05-10 2019-04-26 腾讯科技(深圳)有限公司 生成具有动态效果的二维码图片的方法及装置
CN106599817A (zh) * 2016-12-07 2017-04-26 腾讯科技(深圳)有限公司 一种人脸替换方法及装置
CN107750007A (zh) * 2017-12-06 2018-03-02 北京搜狐新动力信息技术有限公司 一种视频弹幕的处理方法及装置
CN108040290A (zh) * 2017-12-22 2018-05-15 四川长虹电器股份有限公司 基于ar技术的电视节目实时换脸方法
CN109670427B (zh) * 2018-12-07 2021-02-02 腾讯科技(深圳)有限公司 一种图像信息的处理方法、装置及存储介质

Also Published As

Publication number Publication date
CN109670427A (zh) 2019-04-23
WO2020114215A1 (zh) 2020-06-11
US11386933B2 (en) 2022-07-12
US20210193184A1 (en) 2021-06-24

Similar Documents

Publication Publication Date Title
CN109670427B (zh) 一种图像信息的处理方法、装置及存储介质
US10497097B2 (en) Image processing method and device, computer readable storage medium and electronic device
US10902234B2 (en) Image recognition method and apparatus
CN108287744B (zh) 文字显示方法、装置及存储介质
RU2599385C2 (ru) Способ и устройство для видеосвязи
CN108551519B (zh) 一种信息处理方法、装置、存储介质及系统
CN110795056B (zh) 调节显示参数的方法、装置、终端及存储介质
KR102558385B1 (ko) 비디오 증강 제어 방법, 장치, 전자 기기 및 저장 매체
CN112770059B (zh) 拍照方法、装置及电子设备
CN107436712B (zh) 为呼出菜单设置皮肤的方法、装置及终端
US11627369B2 (en) Video enhancement control method, device, electronic device, and storage medium
CN112449120A (zh) 高动态范围视频生成方法及装置
CN112312144B (zh) 一种直播方法、装置、设备和存储介质
WO2018205878A1 (zh) 一种传输视频信息的方法、终端、服务器及存储介质
US20220094846A1 (en) Method for selecting image based on burst shooting and electronic device
US20220405375A1 (en) User identity verification method and electronic device
CN113645476B (zh) 画面处理方法、装置、电子设备及存储介质
CN109639981B (zh) 一种图像拍摄方法及移动终端
CN107743198B (zh) 一种拍照方法、终端及存储介质
CN113946302B (zh) 一种打开文件的方法及设备
CN117076811A (zh) 一种网页导出方法、装置、设备及存储介质
KR102058190B1 (ko) 캐릭터 서비스 시스템에서의 캐릭터 서비스를 제공하기 위한 장치
US20210377454A1 (en) Capturing method and device
CN115526772A (zh) 视频处理方法、装置、设备和存储介质
CN111263216B (zh) 一种视频传输方法、装置、存储介质及终端

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant