CN106028136A - 一种图像处理方法及装置 - Google Patents

一种图像处理方法及装置 Download PDF

Info

Publication number
CN106028136A
CN106028136A CN201610371695.3A CN201610371695A CN106028136A CN 106028136 A CN106028136 A CN 106028136A CN 201610371695 A CN201610371695 A CN 201610371695A CN 106028136 A CN106028136 A CN 106028136A
Authority
CN
China
Prior art keywords
standard
point coordinates
target face
affine transformation
visual angle
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201610371695.3A
Other languages
English (en)
Inventor
李典
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing QIYI Century Science and Technology Co Ltd
Original Assignee
Beijing QIYI Century Science and Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing QIYI Century Science and Technology Co Ltd filed Critical Beijing QIYI Century Science and Technology Co Ltd
Priority to CN201610371695.3A priority Critical patent/CN106028136A/zh
Publication of CN106028136A publication Critical patent/CN106028136A/zh
Pending legal-status Critical Current

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream, rendering scenes according to MPEG-4 scene graphs
    • H04N21/44008—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream, rendering scenes according to MPEG-4 scene graphs involving operations for analysing video streams, e.g. detecting features or characteristics in the video stream
    • G06T3/02—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G06V40/162—Detection; Localisation; Normalisation using pixel segmentation or colour matching
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream, rendering scenes according to MPEG-4 scene graphs
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging

Abstract

本发明实施例提供了一种图像处理方法及装置，当系统接收到虚拟道具素材映射指令后，对当前视频码流中目标面部所处的区域进行捕捉，获得目标面部；对目标面部区域进行标记，生成多个目标标记点，并获得目标标记点对应的坐标；根据目标标记点坐标和标准面部的标准标记点坐标，计算出视角仿射变换矩阵；再根据视角仿射变换矩阵和标准虚拟道具素材及其对应坐标，计算出目标虚拟道具素材及其对应于目标面部的坐标；将目标虚拟道具素材映射到当前视频码流中，完成目标虚拟道具的映射。应用本发明实施例，能够提高对直播视频进行虚拟道具穿戴时的虚拟道具与对应部位的叠加准确性，进而提高用户体验。

Description

一种图像处理方法及装置
技术领域
本发明涉及图像处理技术领域，特别涉及一种图像处理方法及装置。
背景技术
随着互联网科技的飞速发展以及互联网网速的大幅提升，互联网视频直播随之兴起。互联网视频直播与传统的广播电视视频直播不同，在互联网视频直播过程中，通过互联网能接受到用户反馈的信息并加载到信息源中，提高了视频直播的观赏性和互动性，因此互联网视频直播已被人们广泛的接受和喜爱。
目前，互联网视频直播多采用虚拟道具作为视频直播互动的载体，在进行视频直播时，通过客户端向服务器发送穿戴虚拟道具的指令，服务器接收到指令后，根据接收到的指令将预设的标准虚拟道具直接通过图像合成的方式叠加到原始视频中，使观看者能够观看到完成虚拟道具穿戴后的视频。但是，由于不同用户在进行视频直播时其特征部位也是不同的，又由于在视频直播的过程中，视频拍摄的角度也是不断变化的，因此，在对直播视频进行虚拟道具穿戴时，虚拟道具很难准确地与对应特征部位叠加，用户体验不高。
发明内容
本发明实施例公开了一种图像处理方法及装置，以提高对直播视频进行虚拟道具穿戴时的虚拟道具与对应部位的叠加准确性，进而提高用户体验。
为例达到上述目的，本发明实施例提供了一种图像处理方法，应用于视频直播系统，所述方法包括：
接收到虚拟道具素材映射指令后，对当前视频码流中目标面部所处的区域进行捕捉，获得目标面部；
对所述目标面部进行标记，生成预设数量的目标面部标记点，并确定所述目标面部标记点所对应的目标标记点坐标；
根据所述目标标记点坐标和预设的关于标准面部的标准标记点坐标，对目标标记点坐标与标准面部的标准标记点坐标之间的变换关系进行计算，获得视角仿射变换矩阵；
根据所述视角仿射变换矩阵、所述虚拟道具素材映射指令所对应的标准虚拟道具素材和所述标准虚拟道具素材所对应标准面部的坐标，确定所述虚拟道具素材映射指令所对应的目标虚拟道具素材以及所述目标虚拟道具素材所对应目标面部的坐标；
基于所述目标面部坐标，将所述目标虚拟道具素材映射到当前视频码流中，完成所述目标虚拟道具素材的映射。
可选的，所述对当前视频码流中目标面部所处的区域进行捕捉，获得目标面部，包括：
对当前视频码流中目标面部所处区域的像素点颜色特征进行识别，获得目标面部。
可选的，所述对所述目标面部进行标记，包括：
对所述目标面部中特征部位上的像素点进行标记，所述特征部位包含与所述标准虚拟道具素材对应的部位。
可选的，所述根据所述目标标记点坐标和预设的关于标准面部的标准标记点坐标，对目标标记点坐标与标准面部的标准标记点坐标之间的变换关系进行计算，获得视角仿射变换矩阵，包括：
建立所述目标标记点坐标的齐次方程；所述目标标记点坐标的齐次方程表达式为：qi＝[x′i，y′i，1]T(i＝1，2，...，n)，式中，n为目标面部标记点的总个数；
建立所述标准面部的标准标记点坐标的齐次方程；所述标准面部的标准标记点坐标的齐次方程表达式为：pi＝[xi，yi，1]T(i＝1，2，...，n)，式中，n为标准面部的标准标记点的总个数，且所述目标面部标记点的总个数与所述标准面部的标准标记点的总个数相同；
对所述目标标记点坐标的齐次方程与标准面部的标准标记点坐标的齐次方程之间的变换关系进行计算，获得视角仿射变换矩阵。
可选的，所述对所述目标标记点坐标的齐次方程与标准面部的标准标记点坐标的齐次方程之间的变换关系进行计算，获得视角仿射变换矩阵，包括：
令所述视角仿射变换矩阵则Hpi＝qi(i＝1，2，...，n)，得
对所述标准面部的标准标记点坐标的齐次方程表达式进行转化，得到标准面部的标准标记点坐标转化矩阵对所述目标标记点坐标的齐次方程表达式进行转化，得到目标标记点坐标转化矩阵B＝[x′1，y′1，...，x′n，y′n]T；对视角仿射变换矩阵进行转化，得到视角仿射变换矩阵的转化矩阵X＝[a，b，c，d，e，f]T；其中AX＝B；
对所述标准面部的标准标记点坐标转化矩阵A求伪逆矩阵A+，得X＝A+B，进而求得视角仿射变换矩阵H。
为了达到上述目的，本发明实施例还提供了一种图像处理装置，应用于视频直播系统，所述装置包括：
目标面部获得模块，用于在接收到虚拟道具素材映射指令后，对当前视频码流中目标面部所处的区域进行捕捉，获得目标面部；
目标标记点坐标获得模块，用于对所述目标面部进行标记，生成预设数量的目标面部标记点，并确定所述目标面部标记点所对应的目标标记点坐标；
视角仿射变换矩阵计算模块，用于根据所述目标标记点坐标和预设的关于标准面部的标准标记点坐标，对目标标记点坐标与标准面部的标准标记点坐标之间的变换关系进行计算，获得视角仿射变换矩阵；
目标虚拟道具素材确定模块，用于根据所述视角仿射变换矩阵、所述虚拟道具素材映射指令所对应的标准虚拟道具素材和所述标准虚拟道具素材所对应标准面部的坐标，确定所述虚拟道具素材映射指令所对应的目标虚拟道具素材以及所述目标虚拟道具素材所对应目标面部的坐标；
图像合成模块，用于将所述目标虚拟道具素材映射到当前视频码流中，完成所述目标虚拟道具素材的映射。
可选的，所述目标面部获得模块，包括：
目标面部获得子模块，用于在接收到虚拟道具素材映射指令后，对当前视频码流中目标面部所处区域的像素点特征进行识别，获得目标面部。
可选的，所述目标标记点坐标获得模块，包括：
特征部位标记点获得子模块，用于对所述目标面部中特征部位上的像素点进行标记，所述特征部位包含与所述标准虚拟道具素材对应的部位。
可选的，所述视角仿射变换矩阵计算模块，包括：
第一齐次方程建立子模块，用于建立所述目标标记点坐标的齐次方程；所述目标标记点坐标的齐次方程表达式为：qi＝[x′i，y′i，1]T(i＝1，2，...，n)，式中，n为目标面部标记点的总个数；
第二齐次方程建立子模块，用于建立所述标准面部的标准标记点坐标的齐次方程；所述标准面部的标准标记点坐标的齐次方程表达式为：pi＝[xi，yi，1]T(i＝1，2，...，n)，式中，n为标准面部的标准标记点的总个数，且所述目标面部标记点的总个数与所述标准面部的标准标记点的总个数相同；
视角仿射变换矩阵计算子模块，用于对所述目标标记点坐标的齐次方程与标准面部的标准标记点坐标的齐次方程之间的变换关系进行计算，获得视角仿射变换矩阵。
可选的，所述视角仿射变换矩阵计算子模块，包括：
视觉仿射变换矩阵建立单元，用于建立视角仿射变换矩阵则Hpi＝qi(i＝1，2，...，n)，得
转化矩阵获得单元，用于对所述标准面部的标准标记点坐标的齐次方程表达式进行转化，得到标准面部的标准标记点坐标转化矩阵对所述目标标记点坐标的齐次方程表达式进行转化，得到目标标记点坐标转化矩阵B＝[x′1，y′1，...，x′n，y′n]T；对视角仿射变换矩阵进行转化，得到视角仿射变换矩阵的转化矩阵X＝[a，b，c，d，e，f]T；其中AX＝B；
视觉仿射变换矩阵计算单元，用于对所述标准面部的标准标记点坐标转化矩阵A求伪逆矩阵A+，得X＝A+B，进而求得视角仿射变换矩阵H。
本发明实施例提供了一种图像处理方法及装置，当系统接收到虚拟道具素材映射指令后，对当前视频码流中目标面部所处的区域进行捕捉，获得目标面部；对目标面部区域进行标记，生成多个目标标记点，并获得目标标记点对应的坐标；根据目标标记点坐标和标准面部的标准标记点坐标，计算出视角仿射变换矩阵；再根据视角仿射变换矩阵和标准虚拟道具素材及其对应坐标，计算出目标虚拟道具素材及其对应于目标面部的坐标；将目标虚拟道具素材映射到当前视频码流中，完成目标虚拟道具的映射。应用本发明实施例，由于针对于视频码流中的目标面部来确定虚拟道具素材映射指令所对应的目标虚拟道具素材以及该目标虚拟道具素材所对应目标面部的坐标，并非简单将虚拟道具素材映射指令所对应的标准虚拟道具素材直接叠加到视频码流中，因此，能够提高对直播视频进行虚拟道具穿戴时的虚拟道具与对应部位的叠加准确性，进而提高用户体验。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施例提供的一种图像处理方法的流程示意图；
图2为本发明实施例提供的一种具体数量个目标标记点的参考图；
图3为本发明实施例提供的四种具体的获得目标虚拟道具素材示意图；
图4为本发明实施例提供的目标虚拟道具素材映射到直播者面部后的图像；
图5为本发明实施例提供的一种图像处理装置的结构示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
图1为本发明实施例提供的一种图像处理方法流程示意图，应用于视频直播系统，方法可以包括步骤：
S100：接收到虚拟道具素材映射指令后，对当前视频码流中目标面部所处的区域进行捕捉，获得目标面部；
可知的是，视频直播系统获得摄像头所采集的关于直播者的视频码流，并接收访问用户对视频码流的访问。可以理解的是，在直播者进行视频直播的时候，直播画面的背景一般都是不变或者说是静止的，在整个的视频码流中只有直播者的面部在变化，因此，可以很容易的通过当前视频码流对直播者的面部进行识别。本领域技术人员可以理解的是，视频码流实际上是动态的直播图像，一幅图像是由大量的像素点构成，且每个像素点都有对应的颜色。
当视频直播系统接收到虚拟道具素材映射指令后，对当前视频码流中目标面部所处区域的像素点特征进行识别，获得目标面部，例如：视频直播系统在接收到头冠、腮红、眼睛以及胡子所对应的虚拟道具素材映射指令后，由于人的面部区域的像素分布具有相对固定的特征，即便直播者在视频流中所呈现的面部的姿态、大小、位置等都是不相同的，却依旧可以通过识别这些特征来识别直播者的面部，也就是所说的目标面部，即虚拟道具素材将要佩戴的面部。值得强调的是，本发明实施例中视频直播系统所接收到的虚拟道具素材映射指令还可以有很多种，比如，眉毛、鼻子、耳机等所对应的虚拟道具素材映射指令，并且视频直播系统所接收到的虚拟道具素材个数以及顺序也可以为多种形式，本发明实施例不对视频直播系统所接收到的虚拟道具素材映射指令形式、个数以及顺序做进一步限定。
除此之外，视频直播系统在接收到虚拟道具素材映射指令后，对当前视频流中的每一幅直播图像中的所有子图像块进行分析，进而识别出目标面部，可以理解的是，对于每一幅直播图像而言，可以根据现有图像分割方法来将其划分多个子图像，进而基于子图像来识别面部；其中，由于实际应用中对目标面部的识别方式多样，这里就不一一列举，因此，本申请也不对目标面部获得的方式做明确限定。
S200：对所述目标面部进行标记，生成预设数量的目标面部标记点，并确定所述目标面部标记点所对应的目标标记点坐标；
实际中，当视频直播系统确定当前视频码流中的目标面部后，将根据目标面部的特征进一步的对目标面部进行像素点提取，所提取的像素点将作为目标面部标记点，例如，本实施例中，在视频直播系统确定当前视频码流中的目标面部后，对目标面部的轮廓及五官进行像素点的提取，选取68个像素点，这68个被提取的像素点作为目标面部的标记点，如图2中所示人脸面部标记点，为了更加准确的标记目标面部，选取的像素点在目标面部的分布尽可能均匀，同时，为了缓解数据计算压力，通常情况下，在保证能够准确的标记目标面部的情况下，选取的像素点个数越少越好，所以，本发明实施例对目标面部标记点的分布以及目标面部标记点的个数不做具体的限定。
对获得的68个目标面部标记点分别在当前直播图像中的坐标进行计算，得到关于这68个目标面部标记点所对应的目标标记点坐标。
本实施例所提供的方案还可以对目标面部中特征部位上的像素点进行标记，所述特征部位包含与所述标准虚拟道具素材对应的部位，例如，系统对目标面部中特征部位，如眼睛、脸颊、胡子以及额头对应的特征部位进行像素点的提取，当然，这里的特征部位仅为本实施例的具体示例，除此外还可以是嘴巴、耳朵、鼻子等等，同时也可以是其中的一个或多个组合，这里值得强调的是，在对目标面部的特征部位进行标记的时候需要系统预设的有与所标记的特征部位对应的标准面部的标准标记点，所以本申请不对标准面部的特征部位的形式及数量做明确限定。
S300：根据所述目标标记点坐标和预设的关于标准面部的标准标记点坐标，对目标标记点坐标与标准面部的标准标记点坐标之间的变换关系进行计算，获得视角仿射变换矩阵；
本领域技术人员可以理解的是，在同一平面内的预设的标准标记点与目标面部标记点之间进行对应的时，有一种对应关系，通常情况下称这种对应关系为视角仿射变换，本申请提出的方案可通过如下步骤求得视角仿射变换矩阵，具体如下：
a、建立所述目标标记点坐标的齐次方程；所述目标标记点坐标的齐次方程表达式为：qi＝[x′i，y′i，1]T(i＝1，2，...，n)，式中，n为目标面部标记点的总个数；
实际计算时，根据具体的目标面部标记点的数目来建立目标标记点坐标的齐次方程，针对上述所选取的68个目标面部标记点为例，可建立这68个目标标记点坐标所对应的齐次方程表达式为：qi＝[x′i，y′i，1]T(i＝1，2，...，68)。
b、建立所述标准面部的标准标记点坐标的齐次方程；所述标准面部的标准标记点坐标的齐次方程表达式为：pi＝[xi，yi，1]T(i＝1，2，...，n)，式中，n为标准面部的标准标记点的总个数，且所述目标面部标记点的总个数与所述标准面部的标准标记点的总个数相同；
与建立目标标记点坐标的齐次方程对应的，可建立标准面部的68个标准标记点坐标对应的齐次方程表达式为：pi＝[xi，yi，1]T(i＝1，2，...，68)，这里需要强调的是，标准面部的标准标记点的数量需要与目标面部标记点的数量相等，这样是保证在寻找对应关系的时候能够一一对应，不会造成对应关系不明确的现象。
c、对所述目标标记点坐标的齐次方程与标准面部的标准标记点坐标的齐次方程之间的变换关系进行计算，获得视角仿射变换矩阵。
针对上述步骤a中所建立的目标标记点坐标的齐次方程表达式为：qi＝[x′i，y′i，1]T(i＝1，2，...，n)，以及步骤b中所建立的标准面部的标准标记点坐标的齐次方程表达式为：pi＝[xi，yi，1]T(i＝1，2，...，n)，本发明实施例提出了一种具体的视角仿射变换矩阵的求解过程，具体可以为：
令所述视角仿射变换矩阵则Hpi＝qi(i＝1，2，...，n)，得
对所述标准面部的标准标记点坐标的齐次方程表达式进行转化，得到标准面部的标准标记点坐标转化矩阵对所述目标标记点坐标的齐次方程表达式进行转化，得到目标标记点坐标转化矩阵B＝[x′1，y′1，...，x′n，y′n]T；对视角仿射变换矩阵进行转化，得到视角仿射变换矩阵的转化矩阵X＝[a，b，c，d，e，f]T；其中AX＝B；
对所述标准面部的标准标记点坐标转化矩阵A求伪逆矩阵A+，得X＝A+B，进而求得视角仿射变换矩阵H。
S400：根据所述视角仿射变换矩阵、所述虚拟道具素材映射指令所对应的标准虚拟道具素材和所述标准虚拟道具素材所对应标准面部的坐标，确定所述虚拟道具素材映射指令所对应的目标虚拟道具素材以及所述目标虚拟道具素材所对应目标面部的坐标；
不难理解的是，在同一视角仿射变换矩阵H下，可通过该视角仿射变换矩阵H和标准虚拟道具素材计算出与标准虚拟道具素材所对应的目标虚拟道具素材，对于本实施例来说，可以通过S300中所得到的视角仿射变换矩阵H以及系统预设的标准虚拟道具素材，对应求得标准虚拟道具素材对应的目标虚拟道具素材。
如图3所示，为本发明实施例提供的几种具体的目标虚拟道具素材获得示意图，图3中提供了4组对应与同一视角仿射变换矩阵H的目标虚拟道具素材获得示意图，如：根据标准虚拟道具素材1和视角仿射变换矩阵H，对应获得目标虚拟道具素材1，具体的，根据在标准面部上对应的标准虚拟道具素材1的大小，通过视角仿射变换矩阵H的对应关系，确定对应目标虚拟道具素材1的大小，并将获得的目标虚拟道具素材1提取出来。这样可以保证获得的目标虚拟道具素材1的大小将匹配于目标面部对应特殊部位的大小；同样的，分别可以根据其他几组对应关系，依次获得目标虚拟道具素材2-4，完成目标虚拟道具素材的获得。图3中所示的几组对应关系仅为本发明实施例的具体表征，本申请并不对虚拟道具素材的数量以及顺序做进一步的限定。
不仅如此，还可以通过该视角仿射变换矩阵H和标准的虚拟道具素材1-4所对应标准面部的坐标，获得对应目标虚拟道具素材所对应目标面部的坐标。
S500：基于所述目标面部坐标，将所述目标虚拟道具素材映射到当前视频码流中，完成所述目标虚拟道具素材的映射。
可以理解的是，由步骤S400获得的标准虚拟道具素材对应的目标虚拟道具素材，可确定对应目标虚拟道具素材的大小，再由步骤S400获得的目标虚拟道具素材的坐标，可确定对应目标虚拟道具素材相对于直播图像中目标面部的位置；根据所确定的目标虚拟道具素材的大小以及目标虚拟道具素材相对于直播图像中目标面部的位置，通过图像叠加技术，可将该目标虚拟道具素材唯一的叠加在直播图像中，如图4所示，为本发明实施例提供的目标虚拟道具素材映射到直播者面部后的图像。通过图像叠加技术将目标虚拟道具素材映射到当前视频码流中，完成对目标虚拟道具素材的映射。
应用本发明实施例，根据目标标记点坐标和标准面部的标准标记点坐标，计算出视角仿射变换矩阵；再根据视角仿射变换矩阵和标准虚拟道具素材及其对应坐标，可唯一获得目标虚拟道具素材及其对应于目标面部的坐标；再将目标虚拟道具素材映射到当前视频码流中，完成目标虚拟道具的映射。应用本发明实施例，在对直播视频进行虚拟道具穿戴时，虚拟道具能够准确地与对应特征部位叠加，进而提高用户体验。
图5为本发明实施例提供的一种图像处理装置的结构示意图，装置可以包括：目标面部获得模块100、目标标记点坐标获得模块200、视角仿射变换矩阵计算模块300、目标虚拟道具素材确定模块400和图像合成模块500；
其中，目标面部获得模块100，用于在接收到虚拟道具素材映射指令后，对当前视频码流中目标面部所处的区域进行捕捉，获得目标面部；
具体的，所述目标面部获得模块100，可以包括：
目标面部获得子模块，用于接收到虚拟道具素材映射指令后，对当前视频码流中目标面部所处区域的像素点特征进行识别，获得目标面部。
目标标记点坐标获得模块200，用于对所述目标面部进行标记，生成预设数量的目标面部标记点，并确定所述目标面部标记点所对应的目标标记点坐标。
在本发明所提供的实施例中，目标标记点坐标获得模块200可以包括：特征部位标记点获得子模块，具体用于对所述目标面部中特征部位上的像素点进行标记，所述特征部位包含与所述标准虚拟道具素材对应的部位。
视角仿射变换矩阵计算模块300，用于根据所述目标标记点坐标和预设的关于标准面部的标准标记点坐标，对目标标记点坐标与标准面部的标准标记点坐标之间的变换关系进行计算，获得视角仿射变换矩阵；
实际应用中，视角仿射变换矩阵计算模块300可以包括：
第一齐次方程建立子模块，用于建立所述目标标记点坐标的齐次方程；所述目标标记点坐标的齐次方程表达式为：qi＝[x′i，y′i，1]T(i＝1，2，...，n)，式中，n为目标面部标记点的总个数；
第二齐次方程建立子模块，用于建立所述标准面部的标准标记点坐标的齐次方程；所述标准面部的标准标记点坐标的齐次方程表达式为：pi＝[xi，yi，1]T(i＝1，2，...，n)，式中，n为标准面部的标准标记点的总个数，且所述目标面部标记点的总个数与所述标准面部的标准标记点的总个数相同；
视角仿射变换矩阵计算子模块，用于对所述目标标记点坐标的齐次方程与标准面部的标准标记点坐标的标准齐次方程之间的变换关系进行计算，获得视角仿射变换矩阵。
具体的，视角仿射变换矩阵计算子模块可以包括有：
视觉仿射变换矩阵建立单元，用于建立视角仿射变换矩阵则Hpi＝qi(i＝1，2，…，n)，得
转化矩阵获得单元，用于对所述标准面部的标准标记点坐标的齐次方程表达式进行转化，得到标准面部的标准标记点坐标转化矩阵对所述目标标记点坐标的齐次方程表达式进行转化，得到目标标记点坐标转化矩阵B＝[x′1，y′1，...，x′n，y′n]T；对视角仿射变换矩阵进行转化，得到视角仿射变换矩阵的转化矩阵X＝[a，b，c，d，e，f]T；其中AX＝B；
视觉仿射变换矩阵计算单元，用于对所述标准面部的标准标记点坐标转化矩阵A求伪逆矩阵A+，得X＝A+B，进而求得视角仿射变换矩阵H。
目标虚拟道具素材确定模块400，用于根据所述视角仿射变换矩阵、所述虚拟道具素材映射指令所对应的标准虚拟道具素材和所述标准虚拟道具素材所对应标准面部的坐标，确定所述虚拟道具素材映射指令所对应的目标虚拟道具素材以及所述目标虚拟道具素材所对应目标面部的坐标；
图像合成模块500，用于将所述目标虚拟道具素材映射到当前视频码流中，完成所述目标虚拟道具素材的映射。
应用本发明实施例，根据目标标记点坐标和标准面部的标准标记点坐标，计算出视角仿射变换矩阵；再根据视角仿射变换矩阵和标准虚拟道具素材及其对应坐标，可唯一获得目标虚拟道具素材及其对应于目标面部的坐标；再将目标虚拟道具素材映射到当前视频码流中，完成目标虚拟道具的映射。应用本发明实施例，在对直播视频进行虚拟道具穿戴时，虚拟道具能够准确地与对应特征部位叠加，进而提高用户体验。
需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
本说明书中的各个实施例均采用相关的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于装置实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。
本领域普通技术人员可以理解实现上述方法实施方式中的全部或部分步骤是可以通过程序来指令相关的硬件来完成，所述的程序可以存储于计算机可读取存储介质中，这里所称得的存储介质，如：ROM/RAM、磁碟、光盘等。
以上所述仅为本发明的较佳实施例而已，并非用于限定本发明的保护范围。凡在本发明的精神和原则之内所作的任何修改、等同替换、改进等，均包含在本发明的保护范围内。

Claims (10)

1.一种图像处理方法，应用于视频直播系统，其特征在于，所述方法包括：
接收到虚拟道具素材映射指令后，对当前视频码流中目标面部所处的区域进行捕捉，获得目标面部；
对所述目标面部进行标记，生成预设数量的目标面部标记点，并确定所述目标面部标记点所对应的目标标记点坐标；
根据所述目标标记点坐标和预设的关于标准面部的标准标记点坐标，对目标标记点坐标与标准面部的标准标记点坐标之间的变换关系进行计算，获得视角仿射变换矩阵；
根据所述视角仿射变换矩阵、所述虚拟道具素材映射指令所对应的标准虚拟道具素材和所述标准虚拟道具素材所对应标准面部的坐标，确定所述虚拟道具素材映射指令所对应的目标虚拟道具素材以及所述目标虚拟道具素材所对应目标面部的坐标；
基于所述目标面部坐标，将所述目标虚拟道具素材映射到当前视频码流中，完成所述目标虚拟道具素材的映射。
2.根据权利要求1所述方法，其特征在于，所述对当前视频码流中目标面部所处的区域进行捕捉，获得目标面部，包括：
对当前视频码流中目标面部所处区域的像素点颜色特征进行识别，获得目标面部。
3.根据权利要求1或2所述方法，其特征在于，所述对所述目标面部进行标记，包括：
对所述目标面部中特征部位上的像素点进行标记，所述特征部位包含与所述标准虚拟道具素材对应的部位。
4.根据权利要求1所述方法，其特征在于，所述根据所述目标标记点坐标和预设的关于标准面部的标准标记点坐标，对目标标记点坐标与标准面部的标准标记点坐标之间的变换关系进行计算，获得视角仿射变换矩阵，包括：
建立所述目标标记点坐标的齐次方程；所述目标标记点坐标的齐次方程表达式为：qi＝[x′i,′i,1]T(i＝1,2,…,)，式中，n为目标面部标记点的总个数；
建立所述标准面部的标准标记点坐标的齐次方程；所述标准面部的标准标记点坐标的齐次方程表达式为：pi＝[xi,yi,1]T(i＝1,2,…,n)，式中，n为标准面部的标准标记点的总个数，且所述目标面部标记点的总个数与所述标准面部的标准标记点的总个数相同；
对所述目标标记点坐标的齐次方程与标准面部的标准标记点坐标的齐次方程之间的变换关系进行计算，获得视角仿射变换矩阵。
5.根据权利要求4所述方法，其特征在于，所述对所述目标标记点坐标的齐次方程与标准面部的标准标记点坐标的齐次方程之间的变换关系进行计算，获得视角仿射变换矩阵，包括：
令所述视角仿射变换矩阵则Hpi＝qi(i＝1,2,…,n)，得
对所述标准面部的标准标记点坐标的齐次方程表达式进行转化，得到标准面部的标准标记点坐标转化矩阵对所述目标标记点坐标的齐次方程表达式进行转化，得到目标标记点坐标转化矩阵B＝[x′1,y′1,…,x′n,y′n]T；对视角仿射变换矩阵进行转化，得到视角仿射变换矩阵的转化矩阵X＝[a,b,c,d,e,f]T；其中AX＝B；
对所述标准面部的标准标记点坐标转化矩阵A求伪逆矩阵A+，得X＝A+B，进而求得视角仿射变换矩阵H。
6.一种图像处理装置，应用于视频直播系统，其特征在于，所述装置包括：
目标面部获得模块，用于在接收到虚拟道具素材映射指令后，对当前视频码流中目标面部所处的区域进行捕捉，获得目标面部；
目标标记点坐标获得模块，用于对所述目标面部进行标记，生成预设数量的目标面部标记点，并确定所述目标面部标记点所对应的目标标记点坐标；
视角仿射变换矩阵计算模块，用于根据所述目标标记点坐标和预设的关于标准面部的标准标记点坐标，对目标标记点坐标与标准面部的标准标记点坐标之间的变换关系进行计算，获得视角仿射变换矩阵；
目标虚拟道具素材确定模块，用于根据所述视角仿射变换矩阵、所述虚拟道具素材映射指令所对应的标准虚拟道具素材和所述标准虚拟道具素材所对应标准面部的坐标，确定所述虚拟道具素材映射指令所对应的目标虚拟道具素材以及所述目标虚拟道具素材所对应目标面部的坐标；
图像合成模块，用于将所述目标虚拟道具素材映射到当前视频码流中，完成所述目标虚拟道具素材的映射。
7.根据权利要求6所述装置，其特征在于，所述目标面部获得模块，包括：
目标面部获得子模块，用于在接收到虚拟道具素材映射指令后，对当前视频码流中目标面部所处区域的像素点特征进行识别，获得目标面部。
8.根据权利要求6或7所述装置，其特征在于，所述目标标记点坐标获得模块，包括：
特征部位标记点获得子模块，用于对所述目标面部中特征部位上的像素点进行标记，所述特征部位包含与所述标准虚拟道具素材对应的部位。
9.根据权利要求6所述装置，其特征在于，所述视角仿射变换矩阵计算模块，包括：
第一齐次方程建立子模块，用于建立所述目标标记点坐标的齐次方程；所述目标标记点坐标的齐次方程表达式为：qi＝[x′i,y′i,1]T(i＝1,2,…,n)，式中，n为目标面部标记点的总个数；
第二齐次方程建立子模块，用于建立所述标准面部的标准标记点坐标的齐次方程；所述标准面部的标准标记点坐标的齐次方程表达式为：pi＝[xi,yi,1]T(i＝1,2,…,n)，式中，n为标准面部的标准标记点的总个数，且所述目标面部标记点的总个数与所述标准面部的标准标记点的总个数相同；
视角仿射变换矩阵计算子模块，用于对所述目标标记点坐标的齐次方程与标准面部的标准标记点坐标的齐次方程之间的变换关系进行计算，获得视角仿射变换矩阵。
10.根据权利要求9所述装置，其特征在于，所述视角仿射变换矩阵计算子模块，包括：
视觉仿射变换矩阵建立单元，用于建立视角仿射变换矩阵则Hpi＝qi(i＝1,2,…,n)，得
转化矩阵获得单元，用于对所述标准面部的标准标记点坐标的齐次方程表达式进行转化，得到标准面部的标准标记点坐标转化矩阵对所述目标标记点坐标的齐次方程表达式进行转化，得到目标标记点坐标转化矩阵B＝[x′1,y′1,…,x′n,y′n]T；对视角仿射变换矩阵进行转化，得到视角仿射变换矩阵的转化矩阵X＝[a,b,c,d,e,f]T；其中AX＝B；
视觉仿射变换矩阵计算单元，用于对所述标准面部的标准标记点坐标转化矩阵A求伪逆矩阵A+，得X＝A+B，进而求得视角仿射变换矩阵H。
CN201610371695.3A 2016-05-30 2016-05-30 一种图像处理方法及装置 Pending CN106028136A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201610371695.3A CN106028136A (zh) 2016-05-30 2016-05-30 一种图像处理方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201610371695.3A CN106028136A (zh) 2016-05-30 2016-05-30 一种图像处理方法及装置

Publications (1)

Publication Number Publication Date
CN106028136A true CN106028136A (zh) 2016-10-12

Family

ID=57091484

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201610371695.3A Pending CN106028136A (zh) 2016-05-30 2016-05-30 一种图像处理方法及装置

Country Status (1)

Country Link
CN (1) CN106028136A (zh)

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106658035A (zh) * 2016-12-09 2017-05-10 武汉斗鱼网络科技有限公司 一种特效礼物动态展示方法及装置
CN106780658A (zh) * 2016-11-16 2017-05-31 北京旷视科技有限公司 人脸特征添加方法、装置及设备
CN108134964A (zh) * 2017-11-22 2018-06-08 上海掌门科技有限公司 视频直播道具叠加方法、计算机设备及存储介质
CN109274977A (zh) * 2017-07-18 2019-01-25 腾讯科技（深圳）有限公司 虚拟道具分配方法、服务器及客户端
CN109618211A (zh) * 2018-12-04 2019-04-12 深圳市子瑜杰恩科技有限公司 短视频道具编辑方法及相关产品
CN110175952A (zh) * 2019-05-28 2019-08-27 合肥晌玥科技有限公司 一种基于目标检测的玉石加工路径的自动生成方法及装置
CN111583139A (zh) * 2020-04-27 2020-08-25 北京字节跳动网络技术有限公司 腮红调整方法、装置、电子设备及计算机可读介质
US10832034B2 (en) 2016-11-16 2020-11-10 Beijing Kuangshi Technology Co., Ltd. Facial image generating method, facial image generating apparatus, and facial image generating device
CN112288665A (zh) * 2020-09-30 2021-01-29 北京大米科技有限公司 图像融合的方法、装置、存储介质及电子设备
CN112843723A (zh) * 2021-02-03 2021-05-28 北京字跳网络技术有限公司 交互方法、装置、电子设备和存储介质

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6661906B1 (en) * 1996-12-19 2003-12-09 Omron Corporation Image creating apparatus
CN101018314A (zh) * 2006-02-07 2007-08-15 Lg电子株式会社 移动通信中的视频通话
CN101354789A (zh) * 2008-08-22 2009-01-28 北京中星微电子有限公司 一种图像面具特效的实现方法和设备
CN102982520A (zh) * 2012-12-05 2013-03-20 武汉大学 一种基于轮廓先验的鲁棒性人脸超分辨率处理方法
CN104780458A (zh) * 2015-04-16 2015-07-15 美国掌赢信息科技有限公司 一种即时视频中的特效加载方法和电子设备

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6661906B1 (en) * 1996-12-19 2003-12-09 Omron Corporation Image creating apparatus
CN101018314A (zh) * 2006-02-07 2007-08-15 Lg电子株式会社 移动通信中的视频通话
CN101354789A (zh) * 2008-08-22 2009-01-28 北京中星微电子有限公司 一种图像面具特效的实现方法和设备
CN102982520A (zh) * 2012-12-05 2013-03-20 武汉大学 一种基于轮廓先验的鲁棒性人脸超分辨率处理方法
CN104780458A (zh) * 2015-04-16 2015-07-15 美国掌赢信息科技有限公司 一种即时视频中的特效加载方法和电子设备

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
FRANCIS S HILL.JR.著: "《计算机图形学(OpenGL版)第3版》", 28 February 2009, 清华大学出版社 *

Cited By (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10580182B2 (en) 2016-11-16 2020-03-03 Beijing Kuangshi Technology Co., Ltd. Facial feature adding method, facial feature adding apparatus, and facial feature adding device
CN106780658A (zh) * 2016-11-16 2017-05-31 北京旷视科技有限公司 人脸特征添加方法、装置及设备
CN106780658B (zh) * 2016-11-16 2021-03-09 北京旷视科技有限公司 人脸特征添加方法、装置及设备
US10832034B2 (en) 2016-11-16 2020-11-10 Beijing Kuangshi Technology Co., Ltd. Facial image generating method, facial image generating apparatus, and facial image generating device
CN106658035A (zh) * 2016-12-09 2017-05-10 武汉斗鱼网络科技有限公司 一种特效礼物动态展示方法及装置
US11228811B2 (en) 2017-07-18 2022-01-18 Tencent Technology (Shenzhen) Company Limited Virtual prop allocation method, server, client, and storage medium
CN109274977A (zh) * 2017-07-18 2019-01-25 腾讯科技（深圳）有限公司 虚拟道具分配方法、服务器及客户端
CN108134964A (zh) * 2017-11-22 2018-06-08 上海掌门科技有限公司 视频直播道具叠加方法、计算机设备及存储介质
CN109618211A (zh) * 2018-12-04 2019-04-12 深圳市子瑜杰恩科技有限公司 短视频道具编辑方法及相关产品
CN110175952A (zh) * 2019-05-28 2019-08-27 合肥晌玥科技有限公司 一种基于目标检测的玉石加工路径的自动生成方法及装置
CN110175952B (zh) * 2019-05-28 2023-12-05 合肥晌玥科技有限公司 一种基于目标检测的玉石加工路径的自动生成方法及装置
CN111583139A (zh) * 2020-04-27 2020-08-25 北京字节跳动网络技术有限公司 腮红调整方法、装置、电子设备及计算机可读介质
CN111583139B (zh) * 2020-04-27 2023-06-20 抖音视界有限公司 腮红调整方法、装置、电子设备及计算机可读介质
CN112288665A (zh) * 2020-09-30 2021-01-29 北京大米科技有限公司 图像融合的方法、装置、存储介质及电子设备
CN112843723A (zh) * 2021-02-03 2021-05-28 北京字跳网络技术有限公司 交互方法、装置、电子设备和存储介质
CN112843723B (zh) * 2021-02-03 2024-01-16 北京字跳网络技术有限公司 交互方法、装置、电子设备和存储介质

Similar Documents

Publication Publication Date Title
CN106028136A (zh) 一种图像处理方法及装置
US11423556B2 (en) Methods and systems to modify two dimensional facial images in a video to generate, in real-time, facial images that appear three dimensional
US9438878B2 (en) Method of converting 2D video to 3D video using 3D object models
CN103207664B (zh) 一种图像处理方法和设备
EP0969418A3 (en) Image processing apparatus for displaying three-dimensional image
CN109675315A (zh) 游戏角色模型的生成方法、装置、处理器及终端
JP2000503177A (ja) ２次元映像（ｍｏｔｉｏｎ ｐｉｃｔｕｒｅ）を３次元映像に変換する方法及び装置
CN104715447A (zh) 图像合成方法和装置
WO1997018523B1 (en) Computer stereo vision system and method
CN111897422B (zh) 一种虚实物体实时融合的实物交互方法与系统
CN106131457A (zh) 一种gif图像生成方法、装置和终端设备
US10755476B2 (en) Image processing method and image processing device
CN111222537A (zh) 可快速制作并传播增强现实系统及方法
CN111652795A (zh) 脸型的调整、直播方法、装置、电子设备和存储介质
WO2015186284A1 (ja) 画像処理装置、画像処理方法及びプログラム
CN111179341B (zh) 一种增强现实设备与移动机器人的配准方法
WO2024044084A1 (en) Systems and methods for augmented reality viewing based on directly mapped point cloud overlays
CN111652792B (zh) 图像的局部处理、直播方法、装置、设备和存储介质
Abate et al. An image based approach to hand occlusions in mixed reality environments
KR20130003992A (ko) 3차원 영상 데이터 생성 방법 및 이를 위한 장치
CN113778233B (zh) 一种操控显示设备的方法、装置及可读介质
CN113225484B (zh) 快速获取屏蔽非目标前景的高清图片的方法及装置
CN108830804A (zh) 基于线扩展函数标准差的虚实融合模糊一致性处理方法
CN114399811A (zh) 调节方法、调节装置、智能试衣镜系统及介质
CN111652807B (zh) 眼部的调整、直播方法、装置、电子设备和存储介质

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20161012