CN112257594A - 多媒体数据的显示方法、装置、计算机设备及存储介质 - Google Patents

多媒体数据的显示方法、装置、计算机设备及存储介质 Download PDF

Info

Publication number
CN112257594A
CN112257594A CN202011139508.1A CN202011139508A CN112257594A CN 112257594 A CN112257594 A CN 112257594A CN 202011139508 A CN202011139508 A CN 202011139508A CN 112257594 A CN112257594 A CN 112257594A
Authority
CN
China
Prior art keywords
deformation
information
region
image
deformation region
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202011139508.1A
Other languages
English (en)
Other versions
CN112257594B (zh
Inventor
曾冠东
朱耀宇
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangzhou Fanxing Huyu IT Co Ltd
Original Assignee
Guangzhou Fanxing Huyu IT Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangzhou Fanxing Huyu IT Co Ltd filed Critical Guangzhou Fanxing Huyu IT Co Ltd
Priority to CN202011139508.1A priority Critical patent/CN112257594B/zh
Publication of CN112257594A publication Critical patent/CN112257594A/zh
Application granted granted Critical
Publication of CN112257594B publication Critical patent/CN112257594B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/02—Affine transformations
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/04—Context-preserving transformations, e.g. by using an importance map
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/149—Segmentation; Edge detection involving deformable models, e.g. active contour models
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Software Systems (AREA)
  • Biomedical Technology (AREA)
  • Mathematical Physics (AREA)
  • Data Mining & Analysis (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Computational Linguistics (AREA)
  • Evolutionary Computation (AREA)
  • Biophysics (AREA)
  • Artificial Intelligence (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Processing Or Creating Images (AREA)

Abstract

本申请提供了一种多媒体数据的显示方法、装置、计算机设备及存储介质，属于计算机技术领域。本申请通过在确定出待显示的第一图像中的人脸区域后，确定满足目标形状条件的变形区域，进而将像素点的变形限制在该变形区域中，根据变形区域的变形强度信息，对变形区域进行变形，由于存在变形区域的限制，边缘上的像素点偏移后也不会超出该变形区域，从而能够避免出现边缘不平滑的问题，对基于这样变形得到的第二图像进行显示，能够提高多媒体数据中的图像显示效果，进而提高用户体验。

Description

多媒体数据的显示方法、装置、计算机设备及存储介质
技术领域
本申请涉及计算机技术领域，特别涉及一种多媒体数据的显示方法、装置、计算机设备及存储介质。
背景技术
随着各类社交类应用程序、拍摄类应用程序、图像处理类应用程序的不断发展，滤镜、贴纸、美颜美妆、瘦脸瘦身、人脸变形等新型拍摄功能层出不穷。其中，人脸变形功能由于其趣味性和搞笑效果受到了用户的广泛欢迎。
目前在对图像或视频中的人脸进行变形时，主要是通过基于像素点的像素变形实现的。相关技术人员预先对整个人脸区域的变形强度进行设置，计算机设备基于预先设置好的变形程度，对人脸进行变形，进而对变形后的图像或视频进行显示。
在上述实现过程中，由于在确定像素点变形后的位置时通常会采取近似处理，导致像素点位置出现偏差，对于边缘像素点，位置偏差会导致非常明显的边缘不平滑的问题，基于这样的图像或视频进行显示，会导致图像或视频等多媒体数据的显示效果较差，进而导致用户体验较差。
发明内容
本申请实施例提供了一种多媒体数据的显示方法、装置、计算机设备及存储介质，可以提高多媒体数据显示效果，进而提高用户体验。该技术方案如下：
一方面，提供了一种多媒体数据的显示方法，该方法包括：
对待显示的第一图像进行检测，确定该第一图像中的人脸区域；
基于该人脸区域，确定满足目标形状条件的变形区域；
在该变形区域中，基于该变形区域中像素点的位置信息、该变形区域的变形强度信息，对该变形区域进行变形，得到第二图像；
对该第二图像进行显示。
在一种可能的实现方式中，该在该变形区域中，基于该变形区域中像素点的位置信息、该变形区域的变形强度信息，对该变形区域进行变形包括：
基于该变形区域中各个像素点的位置信息，确定该变形区域的中心点位置信息；
对于该变形区域中任一像素点，基于该任一像素点的位置信息和该中心点位置信息，确定该任一像素点与该变形区域的中心点的距离信息，其中，一个距离信息对应于一个变形强度信息；
根据该距离信息对应的变形强度信息，对该任一像素点进行偏移。
在一种可能的实现方式中，该变形强度信息为正交方向上的变形强度信息；
该在该变形区域中，基于该变形区域中像素点的位置信息、该变形区域的变形强度信息，对该变形区域进行变形包括：
基于该变形区域中各个像素点的位置信息，确定该变形区域的中心点位置信息；
对于该变形区域中任一像素点，基于该任一像素点的位置信息和该中心点位置信息，确定该任一像素点与该变形区域的中心点的距离信息；
若该位置信息指示该任一像素点位于正交方向上，则根据该距离信息对应的正交方向上的变形强度信息，对该任一像素点进行偏移；
若该位置信息指示该任一像素点位于非正交方向上，则根据基于该距离信息确定出的变形强度信息，对该任一像素点进行偏移。
在一种可能的实现方式中，该根据基于该距离信息确定出的变形强度信息，对该任一像素点进行偏移包括：
根据该距离信息，确定该距离信息在正交方向上的第一距离信息和第二距离信息；
根据该第一距离信息和第二距离信息分别对应的正交方向上的变形强度信息，确定该距离信息对应的变形强度信息；
根据该距离信息对应的变形强度信息，对该任一像素点进行偏移。
在一种可能的实现方式中，该基于该人脸区域，确定满足目标形状条件的变形区域之后，该方法还包括：
对该变形区域的边框进行显示；
响应于对该变形区域的边框的调整操作，确定调整后的变形区域，作为待变形的变形区域。
在一种可能的实现方式中，该变形区域的确定过程包括：
将该第一图像输入人脸检测模型，通过该人脸检测模型，输出该人脸区域的定位框；
在该人脸区域的定位框内，确定与该定位框相切的该变形区域。
在一种可能的实现方式中，该在该变形区域中，基于该变形区域中像素点的位置信息、该变形区域的变形强度信息，对该变形区域进行变形，得到第二图像之后，该方法还包括：
从该第二图像和该第二图像在视频数据中对应的下一帧图像中，分别确定目标数量的像素点以及目标数量的对应像素点，该第二图像中的像素点与该下一帧图像中的对应像素点对应于同一人脸特征点；
根据该目标数量的像素点和该目标数量的对应像素点，确定该变形区域的仿射变换信息，该仿射变换信息用于指示该变形区域的偏移量和放缩倍数；
在该变形区域中，基于该仿射变换信息，对该变形区域进行变形，得到第三图像；
对该第三图像进行显示。
在一种可能的实现方式中，该基于该人脸区域，确定满足目标形状条件的变形区域之后，该方法还包括下述至少一项：
在该变形区域中，基于该变形区域中像素点的位置信息、该变形区域的变形强度信息、该变形区域的旋转角度信息，对该变形区域进行变形，得到第二图像；
在该变形区域中，基于该变形区域中像素点的位置信息、该变形区域的变形强度信息、该第一图像的宽高比例信息，对该变形区域进行变形，得到第二图像。
在一种可能的实现方式中，该变形区域的变形强度信息满足变形强度限制值，该变形强度限制值用于指示该变形区域的最大变形强度信息和最小变形强度信息。
一方面，提供了一种多媒体数据的显示装置，该装置包括：
检测模块，用于对待显示的第一图像进行检测，确定该第一图像中的人脸区域；
区域确定模块，用于基于该人脸区域，确定满足目标形状条件的变形区域；
变形模块，用于在该变形区域中，基于该变形区域中像素点的位置信息、该变形区域的变形强度信息，对该变形区域进行变形，得到第二图像；
显示模块，用于对该第二图像进行显示。
在一种可能的实现方式中，该变形模块，用于：
基于该变形区域中像素点的位置信息，确定该变形区域的中心点位置信息；
对于该变形区域中任一像素点，基于该任一像素点的位置信息和该中心点位置信息，确定该任一像素点与该变形区域的中心点的距离信息，其中，一个距离信息对应于一个变形强度信息；
根据该距离信息对应的变形强度信息，对该任一像素点进行偏移。
在一种可能的实现方式中，该变形强度信息为正交方向上的变形强度信息；
该变形模块包括确定子模块和偏移子模块；
该确定子模块，用于基于该变形区域中像素点的位置信息，确定该变形区域的中心点位置信息；
该确定子模块，还用于对于该变形区域中任一像素点，基于该任一像素点的位置信息和该中心点位置信息，确定该任一像素点与该变形区域的中心点的距离信息；
该偏移子模块，用于若该位置信息指示该任一像素点位于正交方向上，则根据该距离信息对应的正交方向上的变形强度信息，对该任一像素点进行偏移；
该偏移子模块，还用于若该位置信息指示该任一像素点位于非正交方向上，则根据基于该距离信息确定出的变形强度信息，对该任一像素点进行偏移。
在一种可能的实现方式中，该偏移子模块，用于：
根据该距离信息，确定该距离信息在正交方向上的第一距离信息和第二距离信息；
根据该第一距离信息和第二距离信息分别对应的正交方向上的变形强度信息，确定该距离信息对应的变形强度信息；
根据该距离信息对应的变形强度信息，对该任一像素点进行偏移。
在一种可能的实现方式中，该显示模块，还用于对该变形区域的边框进行显示；
该确定模块，还用于响应于对该变形区域的边框的调整操作，确定调整后的变形区域，作为待变形的变形区域。
在一种可能的实现方式中，该变形区域的确定过程包括：
将该第一图像输入人脸检测模型，通过该人脸检测模型，输出该人脸区域的定位框；
在该人脸区域的定位框内，确定与该定位框相切的该变形区域。
在一种可能的实现方式中，该装置还包括：
像素点确定模块，用于从该第二图像和该第二图像在视频数据中对应的下一帧图像中，分别确定目标数量的像素点以及目标数量的对应像素点，该第二图像中的像素点与该下一帧图像中的对应像素点对应于同一人脸特征点；
信息确定模块，用于根据该目标数量的像素点和该目标数量的对应像素点，确定该变形区域的仿射变换信息，该仿射变换信息用于指示该变形区域的偏移量和放缩倍数；
该变形模块，还用于在该变形区域中，基于该仿射变换信息，对该变形区域进行变形，得到第三图像；
该显示模块，还用于对该第三图像进行显示。
在一种可能的实现方式中，该变形模块，还用于在该变形区域中，基于该变形区域中像素点的位置信息、该变形区域的变形强度信息、该变形区域的旋转角度信息，对该变形区域进行变形，得到第二图像；
该变形模块，还用于在该变形区域中，基于该变形区域中像素点的位置信息、该变形区域的变形强度信息、该第一图像的宽高比例信息，对该变形区域进行变形，得到第二图像。
在一种可能的实现方式中，该变形区域的变形强度信息满足变形强度限制值，该变形强度限制值用于指示该变形区域的最大变形强度信息和最小变形强度信息。
一方面，提供了一种计算机设备，该计算机设备包括一个或多个处理器和一个或多个存储器，该一个或多个存储器中存储有至少一条程序代码，该程序代码由该一个或多个处理器加载并执行以实现该多媒体数据的显示方法所执行的操作。
一方面，提供了一种计算机可读存储介质，该计算机可读存储介质中存储有至少一条程序代码，该程序代码由处理器加载并执行以实现该多媒体数据的显示方法所执行的操作。
一方面，提供了一种计算机程序产品或计算机程序，该计算机程序产品或计算机程序包括计算机程序代码，该计算机程序代码存储在计算机可读存储介质中。计算机设备的处理器从计算机可读存储介质读取该计算机程序代码，处理器执行该计算机程序代码，以实现该多媒体数据的显示方法所执行的操作。
本申请提供的方案，通过在确定出待显示的第一图像中的人脸区域后，确定满足目标形状条件的变形区域，进而将像素点的变形限制在该变形区域中，根据变形区域的变形强度信息，对变形区域进行变形，由于存在变形区域的限制，边缘上的像素点偏移后也不会超出该变形区域，从而能够避免出现边缘不平滑的问题，对基于这样变形得到的第二图像进行显示，能够提高多媒体数据中的图像显示效果，进而提高用户体验。
附图说明
为了更清楚地说明本申请实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本申请实施例提供的一种多媒体数据的显示方法的实施环境示意图；
图2是本申请实施例提供的一种多媒体数据的显示方法的流程图；
图3是本申请实施例提供的一种多媒体数据的显示方法的流程图；
图4是本申请实施例提供的一种多媒体数据的显示方法的流程图；
图5是本申请实施例提供的一种多媒体数据的显示装置的结构示意图；
图6是本申请实施例提供的一种计算机设备的结构示意图。
具体实施方式
为使本申请的目的、技术方案和优点更加清楚，下面将结合附图对本申请实施方式作进一步地详细描述。
图1是本申请实施例提供的一种多媒体数据的显示方法的实施环境示意图，参见图1，该实施环境包括：终端101和服务器102。
终端101可以为智能手机、平板电脑、智能手表、手提电脑、MP3播放器(MovingPicture Experts Group Audio Layer III，动态影像专家压缩标准音频层面3)、MP4(Moving Picture Experts Group Audio Layer IV，动态影像专家压缩标准音频层面4)播放器和膝上型便携计算机等设备中的至少一种。可选地，终端101和服务器102通过有线网络或无线网络进行通信，本申请对此不加以限定。终端101从服务器102获取多种搞笑的变形效果的拍摄模板，进而通过摄像头组件获取图像，基于获取到的拍摄模板对图像中的人脸进行变形，得到变形后的图像或视频。可选地，该摄像头组件内置或外接于终端101，本申请对此不加以限定。终端101将变形后的图像或视频发送给服务器102，以便终端101通过服务器102对变形后的图像或视频进行分享。
终端101可以泛指多个终端中的一个，本实施例仅以终端101来举例说明。本领域技术人员可以知晓，上述终端的数量可以更多或更少。比如上述终端可以仅为几个，或者上述终端为几十个或几百个，或者更多数量，本申请实施例对终端的数量和设备类型均不加以限定。
服务器102可以为一台服务器、多台服务器、云服务器、云计算平台和虚拟化中心中的至少一种。可选地，服务器102和终端101通过有线网络或无线网络进行通信，本申请对此不加以限定。服务器102关联有一个模板数据库，用于存储多个拍摄模板。服务器102从模板数据库中获取多个拍摄模板，进而将获取到的拍摄模板发送给终端101，并接收终端101发送的变形后的图像，对接收到的图像或视频进行存储，或将接收到的图像或视频发送给其他用户对应的终端。可选地，上述服务器的数量可以更多或更少，本申请实施例对此不加以限定。当然，服务器102还可以包括其他功能服务器，以便提供更全面且多样化的服务。
图2是本申请实施例提供的一种多媒体数据的显示方法的流程图，参见图2，该方法包括：
201、计算机设备对待显示的第一图像进行检测，确定该第一图像中的人脸区域。
202、计算机设备基于该人脸区域，确定满足目标形状条件的变形区域。
203、计算机设备在该变形区域中，基于该变形区域中像素点的位置信息、该变形区域的变形强度信息，对该变形区域进行变形，得到第二图像。
204、计算机设备对该第二图像进行显示。
本申请实施例提供的方案，通过在确定出待显示的第一图像中的人脸区域后，确定满足目标形状条件的变形区域，进而将像素点的变形限制在该变形区域中，根据变形区域的变形强度信息，对变形区域进行变形，由于存在变形区域的限制，边缘上的像素点偏移后也不会超出该变形区域，从而能够避免出现边缘不平滑的问题，对基于这样变形得到的第二图像进行显示，能够提高多媒体数据中的图像显示效果，进而提高用户体验。
在一种可能的实现方式中，在该变形区域中，基于该变形区域中像素点的位置信息、该变形区域的变形强度信息，对该变形区域进行变形包括：
基于该变形区域中像素点的位置信息，确定该变形区域的中心点位置信息；
对于该变形区域中任一像素点，基于该任一像素点的位置信息和该中心点位置信息，确定该任一像素点与该变形区域的中心点的距离信息，其中，一个距离信息对应于一个变形强度信息；
根据该距离信息对应的变形强度信息，对该任一像素点进行偏移。
在一种可能的实现方式中，该变形强度信息为正交方向上的变形强度信息；
该在该变形区域中，基于该变形区域中像素点的位置信息、该变形区域的变形强度信息，对该变形区域进行变形包括：
基于该变形区域中像素点的位置信息，确定该变形区域的中心点位置信息；
对于该变形区域中任一像素点，基于该任一像素点的位置信息和该中心点位置信息，确定该任一像素点与该变形区域的中心点的距离信息；
若该位置信息指示该任一像素点位于正交方向上，则根据该距离信息对应的正交方向上的变形强度信息，对该任一像素点进行偏移；
若该位置信息指示该任一像素点位于非正交方向上，则根据基于该距离信息确定出的变形强度信息，对该任一像素点进行偏移。
在一种可能的实现方式中，该根据基于该距离信息确定出的变形强度信息，对该任一像素点进行偏移包括：
根据该距离信息，确定该距离信息在正交方向上的第一距离信息和第二距离信息；
根据该第一距离信息和第二距离信息分别对应的正交方向上的变形强度信息，确定该距离信息对应的变形强度信息；
根据该距离信息对应的变形强度信息，对该任一像素点进行偏移。
在一种可能的实现方式中，该基于该人脸区域，确定满足目标形状条件的变形区域之后，该方法还包括：
对该变形区域的边框进行显示；
响应于对该变形区域的边框的调整操作，确定调整后的变形区域，作为待变形的变形区域。
在一种可能的实现方式中，该变形区域的确定过程包括：
将该第一图像输入人脸检测模型，通过该人脸检测模型，输出该人脸区域的定位框；
在该人脸区域的定位框内，确定与该定位框相切的该变形区域。
在一种可能的实现方式中，该在该变形区域中，基于该变形区域中像素点的位置信息、该变形区域的变形强度信息，对该变形区域进行变形，得到第二图像之后，该方法还包括：
从该第二图像和该第二图像在视频数据中对应的下一帧图像中，分别确定目标数量的像素点以及目标数量的对应像素点，该第二图像中的像素点与该下一帧图像中的对应像素点对应于同一人脸特征点；
根据该目标数量的像素点和该目标数量的对应像素点，确定该变形区域的仿射变换信息，该仿射变换信息用于指示该变形区域的偏移量和放缩倍数；
在该变形区域中，基于该仿射变换信息，对该变形区域进行变形，得到第三图像；
对该第三图像进行显示。
在一种可能的实现方式中，该基于该人脸区域，确定满足目标形状条件的变形区域之后，该方法还包括下述至少一项：
在该变形区域中，基于该变形区域中像素点的位置信息、该变形区域的变形强度信息、该变形区域的旋转角度信息，对该变形区域进行变形，得到第二图像；
在该变形区域中，基于该变形区域中像素点的位置信息、该变形区域的变形强度信息、该第一图像的宽高比例信息，对该变形区域进行变形，得到第二图像。
在一种可能的实现方式中，该变形区域的变形强度信息满足变形强度限制值，该变形强度限制值用于指示该变形区域的最大变形强度信息和最小变形强度信息。
图3是本申请实施例提供的一种多媒体数据的显示方法的流程图，参见图3，该方法包括：
301、终端对待显示的第一图像进行检测，确定该第一图像中的人脸区域。
需要说明的是，终端的可视化界面上包括拍摄功能入口，用户通过触发该拍摄功能入口，即可使用终端提供的拍摄功能。终端响应于用户对该拍摄功能入口的触发操作，通过摄像头组件获取拍摄范围内的第一图像。
在一种可能的实现方式中，终端将获取到的第一图像输入人脸检测模型，通过该人脸检测模型，输出该人脸区域的定位框。
该人脸检测模型为多任务卷积神经网络(Multi-Task Convolutional NeuralNetwork，MTCNN)，包括三个级联的卷积神经网络(Convolutional Neural Network，CNN)，分别是，生成网络(Proposal Network)、语义分割网络(Refine Network)和输出网络(Output Network)。其中，Proposal Network包括三个卷积层，Refine Network包括三个卷积层和一个全连接层，Output Network包括四个卷积层和一个全连接层。各个网络的处理过程如下：
终端将该第一图像输入至Proposal Network的第一个卷积层中，通过第一个卷积层提取第一图像的图像特征，进而将图像特征输入至下一个卷积层，以此类推，直至通过最后一个卷积层输出该第一图像中的多个候选人脸窗口。再将该多个候选人脸窗口输入至Refine Network的第一个卷积层中，通过第一个卷积层提取候选人脸窗口的图像特征，进而将图像特征输入至下一个卷积层进行特征提取，以此类推，直至通过最后一个卷积层输出最终提取出的图像特征，通过全连接层输出该第一图像中的人脸窗口。最后将该人脸窗口输入至Output Network的第一个卷积层中，通过第一个卷积层提取人脸窗口的图像特征，进而将图像特征输入至下一个卷积层进行特征提取，以此类推，直至通过最后一个卷积层输出最终提取出的人脸特征点，进而通过全连接层输出该人脸特征点以及基于该人脸特征点确定出的人脸区域的定位框。
需要说明的是，该人脸检测模块由服务器通过对初始模型进行训练得到，初始模型与人脸检测模型的结构相同。模型训练完成后服务器将训练好的模型，也即是人脸检测模型下发给终端，以便终端通过该人脸检测模型对图像中的人脸进行检测。该人脸检测模型的训练过程如下：
服务器获取多个样本图像以及样本图像中的人脸特征点以及人脸区域的定位框，进而将获取到的样本图像输入至初始模型，通过初始模型中的各个网络对样本图像进行处理，具体过程与上述过程同理，此处不再赘述，最终得到样本图像中的人脸特征点以及基于该人脸特征点确定出的人脸区域的定位框，进而根据获取到的样本图像中的人脸特征点以及人脸区域的定位框和模型识别得到的样本图像中的人脸特征点以及人脸区域的定位框，确定初始模型的损失函数值，根据该损失函数值，通过梯度下降法，对该初始模型的参数进行调整，再继续对下一个样本图像进行与上述过程同理的处理，直至调整后的初始模型满足预设条件，则将满足预设条件的初始模型作为训练好的人脸检测模型。
其中，该预设条件可以为预测结果的准确性满足迭代截止条件，还可以为损失函数值满足迭代截止条件，还可以为迭代次数达到预设次数，本申请实施例对具体采用哪种条件作为预设条件不加以限定。
需要说明的是，上述过程仅为一种示例性的人脸检测方法，在更多可能的实现方式中，终端采用其他方式来对第一图像进行检测，以确定第一图像中的人脸区域，本申请实施例对具体采用哪种方式不加以限定。
302、终端基于该人脸区域，确定满足目标形状条件的变形区域。
需要说明的是，通过上述步骤301确定出的人脸区域的定位框为矩形框，终端根据该人脸区域的定位框，即可确定出满足目标形状条件的变形区域。
在一种可能的实现方式中，终端在该人脸区域的定位框内，确定与该定位框相切的该变形区域。
可选地，该目标形状条件为任意形状，例如，该目标形状条件为三角形、正圆、椭圆等，本申请实施例对此不加以限定。
需要说明的是，终端在确定出满足目标条件的形状区域后，在可视化界面上对该变形区域的边框进行显示，该边框上包括可移动的关键点，用户通过对该关键点进行滑动操作，即可实现对变形区域的调整操作，终端响应于对该变形区域的边框的调整操作，确定调整后的变形区域，作为待变形的变形区域。通过在变形区域的边框上设置可移动的关键点，以便用户对变形区域的大小、形状等进行调整，增加变形过程中的互动操作和趣味性，提高用户体验。
303、终端基于该变形区域中像素点的位置信息，确定该变形区域的中心点位置信息。
需要说明的是，由于上述步骤302已经确定出了满足目标形状的变形区域，因而在该步骤303中，即可从该变形区域的所有像素点中，确定出位于变形区域中心点位置处的像素点，作为该变形区域的中心点，进而以该中心点作为坐标原点，来构建坐标系，即可获取到该中心点以及变形区域中各个像素点的位置信息，也即是坐标。可选地，坐标原点为其他像素点，本申请实施例对此不加以限定。
304、对于该变形区域中任一像素点，终端基于该任一像素点的位置信息和该中心点位置信息，确定该任一像素点与该变形区域的中心点的距离信息，其中，一个距离信息对应于一个变形强度信息。
在一种可能的实现方式中，对于该变形区域中任一像素点，终端获取该任一像素点的位置信息，也即是坐标，进而根据该任一像素点的坐标和中心点的坐标，确定该任一像素点与中心点的距离信息，也即是，该任一像素点与中心点之间的距离。
需要说明的是，不同的距离信息对应于不同的变形强度信息，也即是，一个变形区域中包括多个变形强度信息，该多个变形强度信息由相关技术人员预先设置得到。例如，相关技术人员仅对变形区域的边框与正交方向的两个坐标轴相交的像素点的变形强度信息，也即是正交方向上的变形强度信息进行设置，以便终端根据变形区域的边框与正交方向的两个坐标轴相交的像素点与中心点的距离，以及这几个像素点的变形强度信息，自行进行变形区域中其他像素点的变形强度信息的确定，或者，相关技术人员对各个距离信息设置对应的变形强度信息，或者，相关技术人员对单位距离的变形强度信息进行设置，以便终端基于确定出的距离信息自行进行变形强度信息的确定，本申请实施例对此不加以限定。
其中，正交方向为相互垂直的两个方向，如水平方向和竖直方向，可选地，正交方向还有多种其他可能形式，本申请实施例对此不加以限定。
通过对不同距离信息设置不同的变形强度信息，以保证与中心点距离相同的像素点的变形程度都是一样的，从而保证边缘像素点的变形程度相同，避免出现边缘不平滑的问题，提高图像的变形效果，进而提高图像的显示效果，提高用户体验。
可选地，相关技术人员在对变形强度信息进行设置时，对变形强度限制值进行设置，该变形强度限制值用于指示该变形区域的最大变形强度信息和最小变形强度信息，变形区域的变形强度信息满足变形强度限制值。通过设置变形强度限制值，避免出现变形区域边缘变形程度较大，与变形区域外的像素点差距较大，边缘出现断层的问题，提高图像的变形效果，进而提高图像的显示效果，提高用户体验。
305、终端根据该距离信息对应的变形强度信息，对该任一像素点进行偏移，直至变形区域中的各个像素点处理完成，得到第二图像。
在一种可能的实现方式中，终端根据变形区域的变形强度信息，确定单位距离的变形强度信息，进而根据该任一像素点与中心点的距离信息，结合单位距离的变形强度信息，确定该任一像素点的变形强度信息，也即是，将该距离信息对应的距离值，与单位距离的变形强度信息对应的变形强度值的乘积，确定为该任一像素点的变形强度信息对应的变形强度值，以得到该任一像素点的变形强度信息，进而基于该变形强度信息对该任一像素点进行偏移，以此类推，来对变形区域中的各个像素点进行处理，从而得到第二图像。
在另一种可能的实现方式中，终端根据该任一像素点与中心点的距离信息，将该距离信息对应的变形强度信息，确定该任一像素点的变形强度信息，进而基于该变形强度信息对该任一像素点进行偏移，以此类推，来对变形区域中的各个像素点进行处理，从而得到第二图像。
在另一种可能的实现方式中，终端根据该任一像素点与中心点的距离信息，结合单位距离的变形强度信息，确定该任一像素点的变形强度信息，也即是，将该距离信息对应的距离值，与单位距离的变形强度信息对应的变形强度值的乘积，确定为该任一像素点的变形强度信息对应的变形强度值，以得到该任一像素点的变形强度信息，进而基于该变形强度信息对该任一像素点进行偏移，以此类推，来对变形区域中的各个像素点进行处理，从而得到第二图像。
可选地，终端在对变形区域进行变形时，获取变形区域的旋转角度信息、第一图像的宽高比例信息等，进而基于这些信息和变形强度信息，来对变形区域进行变形。
在一种可能的实现方式中，终端在该变形区域中，基于该变形区域中各个像素点的位置信息、该变形区域的变形强度信息、该变形区域的旋转角度信息，对该变形区域进行变形，得到第二图像。
也即是，终端根据该任一像素点与中心点的距离信息，将该距离信息对应的变形强度信息，确定该任一像素点的变形强度信息，进而基于该变形强度信息与该变形区域的旋转角度信息对该任一像素点进行偏移，以此类推，来对变形区域中的各个像素点进行处理，从而得到第二图像。
在另一种可能的实现方式中，终端在该变形区域中，基于该变形区域中各个像素点的位置信息、该变形区域的变形强度信息、该第一图像的宽高比例信息，对该变形区域进行变形，得到第二图像。
也即是，终端根据该任一像素点与中心点的距离信息，将该距离信息对应的变形强度信息，确定该任一像素点的变形强度信息，进而基于该变形强度信息对该任一像素点进行偏移，以此类推，来对变形区域中的各个像素点进行处理，进而将变形后得到的图像乘上第一图像的宽高比例信息，从而得到第二图像。
在更多可能的实现方式中，终端在该变形区域中，基于该变形区域中各个像素点的位置信息、该变形区域的变形强度信息、该变形区域的旋转角度信息、该第一图像的宽高比例信息，对该变形区域进行变形，得到第二图像，具体过程与上述过程同理，此处不再赘述。
需要说明的是，上述步骤305的过程，通过开放图形库(Open Graphics Library，OpenGL)实现。通过OpenGL的像素线性插值能够实现图像的拉伸变形，例如，通过偏移OpenGL的纹理坐标来达到像素采样偏移的目标，也即是，为纹理坐标设置偏移量，能够使像素颜色采样偏移，而且因为OpenGL能够自动进行像素插值，因而错位的像素就会以拉伸的形式展示在图像中，实现图像的拉伸变形。此外，OpenGL能够并行对多个像素同时进行处理，从而提高图像处理效率。通过对多个像素并行进行处理，能够实现多个像素的同时偏移，以实现满足目标形状条件的变形效果。
306、终端对该第二图像进行显示。
需要说明的是，变形效果能够随着人脸的移动而进行移动，以保证显示的实时性。例如，在拍摄视频时，第二图像作为视频数据中的任一帧图像，终端能够基于第二图像来对下一帧图像中的变形区域进行移动、旋转或放缩，以保证变形效果随着人脸的移动而进行移动。
在一种可能的实现方式中，终端从该第二图像和该第二图像在视频数据中对应的下一帧图像中，分别确定目标数量的像素点以及目标数量的对应像素点，该第二图像中的像素点与该下一帧图像中的对应像素点对应于同一人脸特征点，根据该目标数量的像素点和该目标数量的对应像素点，确定该变形区域的仿射变换信息，该仿射变换信息用于指示该变形区域的偏移量和放缩倍数，在该变形区域中，基于该仿射变换信息，对该变形区域进行变形，得到第三图像，对该第三图像进行显示。该目标数量为大于等于3的任意整数值，本申请实施例对目标数量的具体取值不加以限定。
其中，仿射变换信息以仿射变换矩阵的形式进行表示，通过仿射变换矩阵，能够将变形区域与人脸检测得到的人脸特征点关联起来，将仿射变换矩阵应用与变形区域，即可实现变形区域随着人脸的旋转、移动和放缩，进行对应的旋转、移动和放缩，保证变形效果的实时性，进而提高用户体验。
需要说明的是，上述步骤301至步骤306是以终端自行获取图像并对图像进行检测及变形为例来进行说明的，在更多可能的实现方式中，终端在获取到第一图像后，将第一图像发送给服务器，由服务器对第一图像进行检测及变形，具体过程与上述步骤301至步骤305同理，此处不再赘述，服务器将第一图像变形后得到的第二图像发送给终端，由终端对第二图像进行显示，本申请实施例对此不加以限定。
本申请实施例提供的方案，能够用于图像拍摄、视频拍摄、直播等多种领域，在直播中通过实时显示主播变形后的图像，能够增加主播与观众的互动性，提供丰富多彩的玩法和创意，吸引用户，增加用户粘性，并提高用户体验。
本申请实施例提供的方案，通过在确定出待显示的第一图像中的人脸区域后，确定满足目标形状条件的变形区域，进而将像素点的变形限制在该变形区域中，根据变形区域的变形强度信息，对变形区域进行变形，由于存在变形区域的限制，边缘上的像素点偏移后也不会超出该变形区域，从而能够避免出现边缘不平滑的问题，对基于这样变形得到的第二图像进行显示，能够提高多媒体数据中的图像显示效果，进而提高用户体验。
上述步骤301至步骤306是以相同距离信息对应于相同的变形强度信息为例来进行说明的，在更多可能的实现方式中，相同距离信息对应于不同的变形强度信息。例如，对于满足目标形状条件为椭圆的变形区域，正交方向为长轴方向和短轴方向，正交方向上的变形强度信息设置为不同值，以实现基于椭圆形状来对变形区域进行变形，参见图4，图4是本申请实施例提供的一种多媒体数据的显示方法的流程图，该方法包括：
401、终端对待显示的第一图像进行检测，确定该第一图像中的人脸区域。
需要说明的是，该步骤与上述步骤301同理，此处不再赘述。
402、终端基于该人脸区域，确定满足目标形状条件的变形区域。
需要说明的是，该步骤与上述步骤302同理，此处不再赘述。
403、终端基于该变形区域中像素点的位置信息，确定该变形区域的中心点位置信息。
需要说明的是，该步骤与上述步骤303同理，此处不再赘述。
404、对于该变形区域中任一像素点，终端基于该任一像素点的位置信息和该中心点位置信息，确定该任一像素点与该变形区域的中心点的距离信息。
在一种可能的实现方式中，对于该变形区域中任一像素点，终端获取该任一像素点的位置信息，也即是坐标，进而根据该任一像素点的坐标和中心点的坐标，确定该任一像素点与中心点的距离信息，也即是，该任一像素点与中心点之间的距离。
405、若该位置信息指示该任一像素点位于正交方向上，则终端根据该距离信息对应的正交方向上的变形强度信息，对该任一像素点进行偏移，直至变形区域中的各个像素点处理完成，得到第二图像，执行步骤409。
需要说明的是，一个变形区域中包括多个变形强度信息，该多个变形强度信息由相关技术人员预先设置得到。例如，相关技术人员仅对变形区域的边框与正交方向的两个坐标轴相交的像素点的变形强度信息，也即是正交方向上的变形强度信息进行设置，以便终端根据变形区域的边框与正交方向的两个坐标轴相交的像素点与中心点的距离，以及这几个像素点的变形强度信息，自行进行变形区域中其他像素点的变形强度信息的确定，或者，相关技术人员对正交的两个方向上单位距离的变形强度信息进行设置，以便终端基于确定出的距离信息自行进行变形强度信息的确定，本申请实施例对此不加以限定。
在一种可能的实现方式中，若该位置信息指示该任一像素点位于正交方向上，终端根据正交方向上的变形强度信息，分别确定正交的两个方向上单位距离的变形强度信息，进而根据该任一像素点的位置以及该任一像素点与中心点的距离信息，结合该任一像素点的位置所处的方向对应的单位距离的变形强度信息，确定该任一像素点的变形强度信息，也即是，将该距离信息对应的距离值，与该任一像素点的位置所处的方向单位距离的变形强度信息对应的变形强度值的乘积，确定为该任一像素点的变形强度信息对应的变形强度值，以得到该任一像素点的变形强度信息，进而基于该变形强度信息对该任一像素点进行偏移，以此类推，来对变形区域中的各个像素点进行处理，从而得到第二图像。
在另一种可能的实现方式中，若该位置信息指示该任一像素点位于正交方向上，终端根据该任一像素点的位置信息，确定该任一像素点位于正交的两个方向中的哪一个方向，进而根据该任一坐标点所处的方向对应的单位距离的变形强度信息，以及该任一像素点与中心点的距离信息，确定该任一像素点的变形强度信息，也即是，将该距离信息对应的距离值，与该任一像素点的位置所处的方向单位距离的变形强度信息对应的变形强度值的乘积，确定为该任一像素点的变形强度信息对应的变形强度值，以得到该任一像素点的变形强度信息，进而基于该变形强度信息对该任一像素点进行偏移，以此类推，来对变形区域中的各个像素点进行处理，从而得到第二图像。
可选地，相关技术人员在对变形强度信息进行设置时，对变形强度限制值进行设置，该变形强度限制值用于指示该变形区域的最大变形强度信息和最小变形强度信息，变形区域在正交方向上的变形强度信息满足变形强度限制值。通过设置变形强度限制值，避免出现变形区域边缘变形程度较大，与变形区域外的像素点差距较大，边缘出现断层的问题，提高图像的变形效果，进而提高图像的显示效果，提高用户体验。
406、若该位置信息指示该任一像素点位于非正交方向上，则终端根据该距离信息，确定该距离信息在正交方向上的第一距离信息和第二距离信息。
在一种可能的实现方式中，若该位置信息指示该任一像素点位于非正交方向上，则终端根据该任一像素点的位置信息，确定该任一像素点与变形区域的中心点的距离信息，进而确定该距离信息在正交方向上的第一距离信息和第二距离信息。例如，正交方向为水平方向和竖直方向，中心点位置信息对应的坐标为(0,0)，该任一像素点的位置信息对应的坐标为(1,1)，则终端确定该任一像素点与中心点之间的连线与水平方向的夹角为45度，该任一像素点与中心点的距离信息对应的距离为1.414，则该任一像素点与中心点的距离信息在水平方向上的第一距离信息为1，在竖直方向上的第一距离信息为1。
在另一种可能的实现方式中，若该位置信息指示该任一像素点位于非正交方向上，则终端根据该任一像素点的位置信息，直接确定该任一像素点与中心点的距离信息在正交方向上的第一距离信息和第二距离信息。例如，中心点位置信息对应的坐标为(0,0)，该任一像素点的位置信息对应的坐标为(1,1)，则该任一像素点与中心点的距离信息在水平方向上的第一距离信息为1，在竖直方向上的第一距离信息为1。
407、终端根据该第一距离信息和第二距离信息分别对应的正交方向上的变形强度信息，确定该距离信息对应的变形强度信息。
在一种可能的实现方式中，终端根据正交方向上的变形强度信息，以及变形区域的边框与正交方向的两个坐标轴相交的像素点与中心点的距离，分别确定正交的两个方向上单位距离的变形强度信息，进而根据该第一距离信息和第二距离信息，结合正交的两个方向上单位距离的变形强度信息，确定该任一像素点的变形强度信息。也即是，将水平方向上的变形强度信息，与变形区域的边框与水平方向的坐标轴相交的像素点与中心点的距离的比值，确定为水平方向上单位距离的变形强度信息，将该第一距离信息对应的距离值，与水平方向上单位距离的变形强度信息对应的变形强度值的乘积，确定为该第一距离信息对应的变形强度信息所指示的变形强度值，将竖直方向上的变形强度信息，与变形区域的边框与竖直方向的坐标轴相交的像素点与中心点的距离的比值，确定为竖直方向上单位距离的变形强度信息，将该第二距离信息对应的距离值，与竖直方向上单位距离的变形强度信息对应的变形强度值的乘积，确定为该第二距离信息对应的变形强度信息所指示的变形强度值，进而确定该第一距离信息对应的变形强度信息所指示的变形强度值，与该第二距离信息对应的变形强度信息所指示的变形强度值的矢量和，以得到该任一像素点的变形强度信息。
例如，仍以中心点位置信息对应的坐标为(0,0)，该任一像素点的位置信息对应的坐标为(1,1)为例，变形区域的边框与水平方向的坐标轴相交的像素点的位置信息对应的坐标为(2,0)，变形区域的边框与竖直方向的坐标轴相交的像素点的位置信息对应的坐标为(0,3)，这两个像素点的变形强度信息对应的变形强度值为6，则水平方向上单位距离的变形强度值为3，竖直方向上单位距离的变形强度值为2，则第一距离信息对应的变形强度值为3，第二距离信息对应的变形强度值为2，则该任一像素点的变形强度信息对应的变形强度值为3.6。
在另一种可能的实现方式中，相关技术人员直接设置正交的两个方向上单位距离的变形强度信息时，该任一像素点的变形强度信息的确定过程与上述过程同理，此处不再赘述。
408、终端根据该距离信息对应的变形强度信息，对该任一像素点进行偏移，直至变形区域中的各个像素点处理完成，得到第二图像。
需要说明的是，终端基于该变形强度信息对该任一像素点进行偏移，并按照与之同理的方式，来对变形区域中的各个像素点进行处理，从而得到第二图像。
409、终端对该第二图像进行显示。
需要说明的是，变形效果能够随着人脸的移动而进行移动，以保证显示的实时性。例如，在拍摄视频时，第二图像作为视频数据中的任一帧图像，终端能够基于第二图像来对下一帧图像中的变形区域进行移动、旋转或放缩，以保证变形效果随着人脸的移动而进行移动。
在一种可能的实现方式中，终端从该第二图像和该第二图像在视频数据中对应的下一帧图像中，分别确定目标数量的像素点以及目标数量的对应像素点，该第二图像中的像素点与该下一帧图像中的对应像素点对应于同一人脸特征点，根据该目标数量的像素点和该目标数量的对应像素点，确定该变形区域的仿射变换信息，该仿射变换信息用于指示该变形区域的偏移量和放缩倍数，在该变形区域中，基于该仿射变换信息，对该变形区域进行变形，得到第三图像，对该第三图像进行显示。该目标数量为大于等于3的任意整数值，本申请实施例对目标数量的具体取值不加以限定。
其中，仿射变换信息以仿射变换矩阵的形式进行表示，通过仿射变换矩阵，能够将变形区域与人脸检测得到的人脸特征点关联起来，将仿射变换矩阵应用与变形区域，即可实现变形区域随着人脸的旋转、移动和放缩，进行对应的旋转、移动和放缩，保证变形效果的实时性，进而提高用户体验。
其中，上述步骤401至步骤409是以终端自行获取图像并对图像进行检测及变形为例来进行说明的，在更多可能的实现方式中，终端在获取到第一图像后，将第一图像发送给服务器，由服务器对第一图像进行检测及变形，具体过程与上述步骤401至步骤408同理，此处不再赘述，服务器将第一图像变形后得到的第二图像发送给终端，由终端对第二图像进行显示，本申请实施例对此不加以限定。
本申请实施例提供的方案，能够用于图像拍摄、视频拍摄、直播等多种领域，在直播中通过实时显示主播变形后的图像，能够增加主播与观众的互动性，提供丰富多彩的玩法和创意，吸引用户，增加用户粘性，并提高用户体验。
本申请实施例提供的方案，通过在确定出待显示的第一图像中的人脸区域后，确定满足目标形状条件的变形区域，进而将像素点的变形限制在该变形区域中，根据变形区域的变形强度信息，对变形区域进行变形，由于存在变形区域的限制，边缘上的像素点偏移后也不会超出该变形区域，从而能够避免出现边缘不平滑的问题，对基于这样变形得到的第二图像进行显示，能够提高多媒体数据中的图像显示效果，进而提高用户体验。通过基于椭圆形状来对变形区域进行变形，能产生更加搞笑滑稽的效果，提高图像、视频等多媒体数据显示的趣味性，吸引用户，增加用户粘度。
上述所有可选技术方案，可以采用任意结合形成本申请的可选实施例，在此不再一一赘述。
图5是本申请实施例提供的一种多媒体数据的显示装置的结构示意图，参见图5，该装置包括：
检测模块501，用于对待显示的第一图像进行检测，确定该第一图像中的人脸区域；
区域确定模块502，用于基于该人脸区域，确定满足目标形状条件的变形区域；
变形模块503，用于在该变形区域中，基于该变形区域中像素点的位置信息、该变形区域的变形强度信息，对该变形区域进行变形，得到第二图像；
显示模块504，用于对该第二图像进行显示。
本申请实施例提供的装置，通过在确定出待显示的第一图像中的人脸区域后，确定满足目标形状条件的变形区域，进而将像素点的变形限制在该变形区域中，根据变形区域的变形强度信息，对变形区域进行变形，由于存在变形区域的限制，边缘上的像素点偏移后也不会超出该变形区域，从而能够避免出现边缘不平滑的问题，对基于这样变形得到的第二图像进行显示，能够提高多媒体数据中的图像显示效果，进而提高用户体验。
在一种可能的实现方式中，该变形模块503，用于：
基于该变形区域中像素点的位置信息，确定该变形区域的中心点位置信息；
对于该变形区域中任一像素点，基于该任一像素点的位置信息和该中心点位置信息，确定该任一像素点与该变形区域的中心点的距离信息，其中，一个距离信息对应于一个变形强度信息；
根据该距离信息对应的变形强度信息，对该任一像素点进行偏移。
在一种可能的实现方式中，该变形强度信息为正交方向上的变形强度信息；
该变形模块503包括确定子模块和偏移子模块；
该确定子模块，用于基于该变形区域中像素点的位置信息，确定该变形区域的中心点位置信息；
该确定子模块，还用于对于该变形区域中任一像素点，基于该任一像素点的位置信息和该中心点位置信息，确定该任一像素点与该变形区域的中心点的距离信息；
该偏移子模块，用于若该位置信息指示该任一像素点位于正交方向上，则根据该距离信息对应的正交方向上的变形强度信息，对该任一像素点进行偏移；
该偏移子模块，还用于若该位置信息指示该任一像素点位于非正交方向上，则根据基于该距离信息确定出的变形强度信息，对该任一像素点进行偏移。
在一种可能的实现方式中，该偏移子模块，用于：
根据该距离信息，确定该距离信息在正交方向上的第一距离信息和第二距离信息；
根据该第一距离信息和第二距离信息分别对应的正交方向上的变形强度信息，确定该距离信息对应的变形强度信息；
根据该距离信息对应的变形强度信息，对该任一像素点进行偏移。
在一种可能的实现方式中，该显示模块504，还用于对该变形区域的边框进行显示；
该确定模块，还用于响应于对该变形区域的边框的调整操作，确定调整后的变形区域，作为待变形的变形区域。
在一种可能的实现方式中，该变形区域的确定过程包括：
将该第一图像输入人脸检测模型，通过该人脸检测模型，输出该人脸区域的定位框；
在该人脸区域的定位框内，确定与该定位框相切的该变形区域。
在一种可能的实现方式中，该装置还包括：
像素点确定模块，用于从该第二图像和该第二图像在视频数据中对应的下一帧图像中，分别确定目标数量的像素点以及目标数量的对应像素点，该第二图像中的像素点与该下一帧图像中的对应像素点对应于同一人脸特征点；
信息确定模块，用于根据该目标数量的像素点和该目标数量的对应像素点，确定该变形区域的仿射变换信息，该仿射变换信息用于指示该变形区域的偏移量和放缩倍数；
该变形模块503，还用于在该变形区域中，基于该仿射变换信息，对该变形区域进行变形，得到第三图像；
该显示模块504，还用于对该第三图像进行显示。
在一种可能的实现方式中，该变形模块503，还用于在该变形区域中，基于该变形区域中像素点的位置信息、该变形区域的变形强度信息、该变形区域的旋转角度信息，对该变形区域进行变形，得到第二图像；
该变形模块503，还用于在该变形区域中，基于该变形区域中像素点的位置信息、该变形区域的变形强度信息、该第一图像的宽高比例信息，对该变形区域进行变形，得到第二图像。
在一种可能的实现方式中，该变形区域的变形强度信息满足变形强度限制值，该变形强度限制值用于指示该变形区域的最大变形强度信息和最小变形强度信息。
需要说明的是：上述实施例提供的多媒体数据的显示装置在对多媒体数据进行显示时，仅以上述各功能模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能模块完成，即将计算机设备的内部结构划分成不同的功能模块，以完成以上描述的全部或者部分功能。另外，上述实施例提供的多媒体数据的显示装置与多媒体数据的显示方法实施例属于同一构思，其具体实现过程详见方法实施例，这里不再赘述。
图6是本申请实施例提供的一种计算机设备的结构示意图。该计算机设备600可以是：智能手机、平板电脑、MP3播放器(Moving Picture Experts Group Audio Layer III，动态影像专家压缩标准音频层面3)、MP4(Moving Picture Experts Group Audio LayerIV，动态影像专家压缩标准音频层面4)播放器、笔记本电脑或台式电脑。计算机设备600还可能被称为用户设备、便携式终端、膝上型终端、台式终端等其他名称。
通常，计算机设备600包括有：一个或多个处理器601和一个或多个存储器602。
处理器601可以包括一个或多个处理核心，比如4核心处理器、8核心处理器等。处理器601可以采用DSP(Digital Signal Processing，数字信号处理)、FPGA(Field－Programmable Gate Array，现场可编程门阵列)、PLA(Programmable Logic Array，可编程逻辑阵列)中的至少一种硬件形式来实现。处理器601也可以包括主处理器和协处理器，主处理器是用于对在唤醒状态下的数据进行处理的处理器，也称CPU(Central ProcessingUnit，中央处理器)；协处理器是用于对在待机状态下的数据进行处理的低功耗处理器。在一些实施例中，处理器601可以集成有GPU(Graphics Processing Unit，图像处理器)，GPU用于负责显示屏所需要显示的内容的渲染和绘制。一些实施例中，处理器601还可以包括AI(Artificial Intelligence，人工智能)处理器，该AI处理器用于处理有关机器学习的计算操作。
存储器602可以包括一个或多个计算机可读存储介质，该计算机可读存储介质可以是非暂态的。存储器602还可包括高速随机存取存储器，以及非易失性存储器，比如一个或多个磁盘存储设备、闪存存储设备。在一些实施例中，存储器602中的非暂态的计算机可读存储介质用于存储至少一个程序代码，该至少一个程序代码用于被处理器601所执行以实现本申请中方法实施例提供的多媒体数据的显示方法。
在一些实施例中，计算机设备600还可选包括有：外围设备接口603和至少一个外围设备。处理器601、存储器602和外围设备接口603之间可以通过总线或信号线相连。各个外围设备可以通过总线、信号线或电路板与外围设备接口603相连。具体地，外围设备包括：射频电路604、显示屏605、摄像头组件606、音频电路607、定位组件608和电源609中的至少一种。
外围设备接口603可被用于将I/O(Input/Output，输入/输出)相关的至少一个外围设备连接到处理器601和存储器602。在一些实施例中，处理器601、存储器602和外围设备接口603被集成在同一芯片或电路板上；在一些其他实施例中，处理器601、存储器602和外围设备接口603中的任意一个或两个可以在单独的芯片或电路板上实现，本实施例对此不加以限定。
射频电路604用于接收和发射RF(Radio Frequency，射频)信号，也称电磁信号。射频电路604通过电磁信号与通信网络以及其他通信设备进行通信。射频电路604将电信号转换为电磁信号进行发送，或者，将接收到的电磁信号转换为电信号。可选地，射频电路604包括：天线系统、RF收发器、一个或多个放大器、调谐器、振荡器、数字信号处理器、编解码芯片组、用户身份模块卡等等。射频电路604可以通过至少一种无线通信协议来与其它计算机设备进行通信。该无线通信协议包括但不限于：城域网、各代移动通信网络(2G、3G、4G及5G)、无线局域网和/或WiFi(Wireless Fidelity，无线保真)网络。在一些实施例中，射频电路604还可以包括NFC(Near Field Communication，近距离无线通信)有关的电路，本申请对此不加以限定。
显示屏605用于显示UI(User Interface，用户界面)。该UI可以包括图形、文本、图标、视频及其它们的任意组合。当显示屏605是触摸显示屏时，显示屏605还具有采集在显示屏605的表面或表面上方的触摸信号的能力。该触摸信号可以作为控制信号输入至处理器601进行处理。此时，显示屏605还可以用于提供虚拟按钮和/或虚拟键盘，也称软按钮和/或软键盘。在一些实施例中，显示屏605可以为一个，设置在计算机设备600的前面板；在另一些实施例中，显示屏605可以为至少两个，分别设置在计算机设备600的不同表面或呈折叠设计；在另一些实施例中，显示屏605可以是柔性显示屏，设置在计算机设备600的弯曲表面上或折叠面上。甚至，显示屏605还可以设置成非矩形的不规则图形，也即异形屏。显示屏605可以采用LCD(Liquid Crystal Display，液晶显示屏)、OLED(Organic Light-EmittingDiode，有机发光二极管)等材质制备。
摄像头组件606用于采集图像或视频。可选地，摄像头组件606包括前置摄像头和后置摄像头。通常，前置摄像头设置在计算机设备的前面板，后置摄像头设置在计算机设备的背面。在一些实施例中，后置摄像头为至少两个，分别为主摄像头、景深摄像头、广角摄像头、长焦摄像头中的任意一种，以实现主摄像头和景深摄像头融合实现背景虚化功能、主摄像头和广角摄像头融合实现全景拍摄以及VR(Virtual Reality，虚拟现实)拍摄功能或者其它融合拍摄功能。在一些实施例中，摄像头组件606还可以包括闪光灯。闪光灯可以是单色温闪光灯，也可以是双色温闪光灯。双色温闪光灯是指暖光闪光灯和冷光闪光灯的组合，可以用于不同色温下的光线补偿。
音频电路607可以包括麦克风和扬声器。麦克风用于采集用户及环境的声波，并将声波转换为电信号输入至处理器601进行处理，或者输入至射频电路604以实现语音通信。出于立体声采集或降噪的目的，麦克风可以为多个，分别设置在计算机设备600的不同部位。麦克风还可以是阵列麦克风或全向采集型麦克风。扬声器则用于将来自处理器601或射频电路604的电信号转换为声波。扬声器可以是传统的薄膜扬声器，也可以是压电陶瓷扬声器。当扬声器是压电陶瓷扬声器时，不仅可以将电信号转换为人类可听见的声波，也可以将电信号转换为人类听不见的声波以进行测距等用途。在一些实施例中，音频电路607还可以包括耳机插孔。
定位组件608用于定位计算机设备600的当前地理位置，以实现导航或LBS(Location Based Service，基于位置的服务)。定位组件608可以是基于美国的GPS(GlobalPositioning System，全球定位系统)、中国的北斗系统、俄罗斯的格雷纳斯系统或欧盟的伽利略系统的定位组件。
电源609用于为计算机设备600中的各个组件进行供电。电源609可以是交流电、直流电、一次性电池或可充电电池。当电源609包括可充电电池时，该可充电电池可以支持有线充电或无线充电。该可充电电池还可以用于支持快充技术。
在一些实施例中，计算机设备600还包括有一个或多个传感器610。该一个或多个传感器610包括但不限于：加速度传感器611、陀螺仪传感器612、压力传感器613、指纹传感器614、光学传感器615以及接近传感器616。
加速度传感器611可以检测以计算机设备600建立的坐标系的三个坐标轴上的加速度大小。比如，加速度传感器611可以用于检测重力加速度在三个坐标轴上的分量。处理器601可以根据加速度传感器611采集的重力加速度信号，控制显示屏605以横向视图或纵向视图进行用户界面的显示。加速度传感器611还可以用于游戏或者用户的运动数据的采集。
陀螺仪传感器612可以检测计算机设备600的机体方向及转动角度，陀螺仪传感器612可以与加速度传感器611协同采集用户对计算机设备600的3D动作。处理器601根据陀螺仪传感器612采集的数据，可以实现如下功能：动作感应(比如根据用户的倾斜操作来改变UI)、拍摄时的图像稳定、游戏控制以及惯性导航。
压力传感器613可以设置在计算机设备600的侧边框和/或显示屏605的下层。当压力传感器613设置在计算机设备600的侧边框时，可以检测用户对计算机设备600的握持信号，由处理器601根据压力传感器613采集的握持信号进行左右手识别或快捷操作。当压力传感器613设置在显示屏605的下层时，由处理器601根据用户对显示屏605的压力操作，实现对UI界面上的可操作性控件进行控制。可操作性控件包括按钮控件、滚动条控件、图标控件、菜单控件中的至少一种。
指纹传感器614用于采集用户的指纹，由处理器601根据指纹传感器614采集到的指纹识别用户的身份，或者，由指纹传感器614根据采集到的指纹识别用户的身份。在识别出用户的身份为可信身份时，由处理器601授权该用户执行相关的敏感操作，该敏感操作包括解锁屏幕、查看加密信息、下载软件、支付及更改设置等。指纹传感器614可以被设置在计算机设备600的正面、背面或侧面。当计算机设备600上设置有物理按键或厂商Logo时，指纹传感器614可以与物理按键或厂商Logo集成在一起。
光学传感器615用于采集环境光强度。在一个实施例中，处理器601可以根据光学传感器615采集的环境光强度，控制显示屏605的显示亮度。具体地，当环境光强度较高时，调高显示屏605的显示亮度；当环境光强度较低时，调低显示屏605的显示亮度。在另一个实施例中，处理器601还可以根据光学传感器615采集的环境光强度，动态调整摄像头组件606的拍摄参数。
接近传感器616，也称距离传感器，通常设置在计算机设备600的前面板。接近传感器616用于采集用户与计算机设备600的正面之间的距离。在一个实施例中，当接近传感器616检测到用户与计算机设备600的正面之间的距离逐渐变小时，由处理器601控制显示屏605从亮屏状态切换为息屏状态；当接近传感器616检测到用户与计算机设备600的正面之间的距离逐渐变大时，由处理器601控制显示屏605从息屏状态切换为亮屏状态。
本领域技术人员可以理解，图6中示出的结构并不构成对计算机设备600的限定，可以包括比图示更多或更少的组件，或者组合某些组件，或者采用不同的组件布置。
在示例性实施例中，还提供了一种计算机可读存储介质，例如包括程序代码的存储器，上述程序代码可由处理器执行以完成上述实施例中的多媒体数据的显示方法。例如，该计算机可读存储介质可以是只读存储器(Read-Only Memory,ROM)、随机存取存储器(Random Access Memory，RAM)、只读光盘(Compact Disc Read-Only Memory，CD-ROM)、磁带、软盘和光数据存储设备等。
在示例性实施例中，还提供了一种计算机程序产品或计算机程序，该计算机程序产品或计算机程序包括计算机程序代码，该计算机程序代码存储在计算机可读存储介质中，计算机设备的处理器从计算机可读存储介质读取该计算机程序代码，处理器执行该计算机程序代码，使得该计算机设备执行上述实施例中提供的多媒体数据的显示方法的方法步骤。
本领域普通技术人员可以理解实现上述实施例的全部或部分步骤可以通过硬件来完成，也可以通过程序来程序代码相关的硬件完成，该程序可以存储于一种计算机可读存储介质中，上述提到的存储介质可以是只读存储器，磁盘或光盘等。
上述仅为本申请的可选实施例，并不用以限制本申请，凡在本申请的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本申请的保护范围之内。

Claims (12)

1.一种多媒体数据的显示方法，其特征在于，所述方法包括：
对待显示的第一图像进行检测，确定所述第一图像中的人脸区域；
基于所述人脸区域，确定满足目标形状条件的变形区域；
在所述变形区域中，基于所述变形区域中像素点的位置信息、所述变形区域的变形强度信息，对所述变形区域进行变形，得到第二图像；
对所述第二图像进行显示。
2.根据权利要求1所述的方法，其特征在于，所述在所述变形区域中，基于所述变形区域中像素点的位置信息、所述变形区域的变形强度信息，对所述变形区域进行变形包括：
基于所述变形区域中像素点的位置信息，确定所述变形区域的中心点位置信息；
对于所述变形区域中任一像素点，基于所述任一像素点的位置信息和所述中心点位置信息，确定所述任一像素点与所述变形区域的中心点的距离信息，其中，一个距离信息对应于一个变形强度信息；
根据所述距离信息对应的变形强度信息，对所述任一像素点进行偏移。
3.根据权利要求1所述的方法，其特征在于，所述变形强度信息为正交方向上的变形强度信息；
所述在所述变形区域中，基于所述变形区域中像素点的位置信息、所述变形区域的变形强度信息，对所述变形区域进行变形包括：
基于所述变形区域中像素点的位置信息，确定所述变形区域的中心点位置信息；
对于所述变形区域中任一像素点，基于所述任一像素点的位置信息和所述中心点位置信息，确定所述任一像素点与所述变形区域的中心点的距离信息；
若所述位置信息指示所述任一像素点位于正交方向上，则根据所述距离信息对应的正交方向上的变形强度信息，对所述任一像素点进行偏移；
若所述位置信息指示所述任一像素点位于非正交方向上，则根据基于所述距离信息确定出的变形强度信息，对所述任一像素点进行偏移。
4.根据权利要求3所述的方法，其特征在于，所述根据基于所述距离信息确定出的变形强度信息，对所述任一像素点进行偏移包括：
根据所述距离信息，确定所述距离信息在正交方向上的第一距离信息和第二距离信息；
根据所述第一距离信息和第二距离信息分别对应的正交方向上的变形强度信息，确定所述距离信息对应的变形强度信息；
根据所述距离信息对应的变形强度信息，对所述任一像素点进行偏移。
5.根据权利要求1所述的方法，其特征在于，所述基于所述人脸区域，确定满足目标形状条件的变形区域之后，所述方法还包括：
对所述变形区域的边框进行显示；
响应于对所述变形区域的边框的调整操作，确定调整后的变形区域，作为待变形的变形区域。
6.根据权利要求1所述的方法，其特征在于，所述变形区域的确定过程包括：
将所述第一图像输入人脸检测模型，通过所述人脸检测模型，输出所述人脸区域的定位框；
在所述人脸区域的定位框内，确定与所述定位框相切的所述变形区域。
7.根据权利要求1所述的方法，其特征在于，所述在所述变形区域中，基于所述变形区域中像素点的位置信息、所述变形区域的变形强度信息，对所述变形区域进行变形，得到第二图像之后，所述方法还包括：
从所述第二图像和所述第二图像在视频数据中对应的下一帧图像中，分别确定目标数量的像素点以及目标数量的对应像素点，所述第二图像中的像素点与所述下一帧图像中的对应像素点对应于同一人脸特征点；
根据所述目标数量的像素点和所述目标数量的对应像素点，确定所述变形区域的仿射变换信息，所述仿射变换信息用于指示所述变形区域的偏移量和放缩倍数；
在所述变形区域中，基于所述仿射变换信息，对所述变形区域进行变形，得到第三图像；
对所述第三图像进行显示。
8.根据权利要求1所述的方法，其特征在于，所述基于所述人脸区域，确定满足目标形状条件的变形区域之后，所述方法还包括下述至少一项：
在所述变形区域中，基于所述变形区域中像素点的位置信息、所述变形区域的变形强度信息、所述变形区域的旋转角度信息，对所述变形区域进行变形，得到第二图像；
在所述变形区域中，基于所述变形区域中像素点的位置信息、所述变形区域的变形强度信息、所述第一图像的宽高比例信息，对所述变形区域进行变形，得到第二图像。
9.根据权利要求1至8中任意一项所述的方法，其特征在于，所述变形区域的变形强度信息满足变形强度限制值，所述变形强度限制值用于指示所述变形区域的最大变形强度信息和最小变形强度信息。
10.一种多媒体数据的显示装置，其特征在于，所述装置包括：
检测模块，用于对待显示的第一图像进行检测，确定所述第一图像中的人脸区域；
区域确定模块，用于基于所述人脸区域，确定满足目标形状条件的变形区域；
变形模块，用于在所述变形区域中，基于所述变形区域中像素点的位置信息、所述变形区域的变形强度信息，对所述变形区域进行变形，得到第二图像；
显示模块，用于对所述第二图像进行显示。
11.一种计算机设备，其特征在于，所述计算机设备包括一个或多个处理器和一个或多个存储器，所述一个或多个存储器中存储有至少一条程序代码，所述程序代码由所述一个或多个处理器加载并执行以实现如权利要求1至权利要求9任一项所述的多媒体数据的显示方法所执行的操作。
12.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质中存储有至少一条程序代码，所述程序代码由处理器加载并执行以实现如权利要求1至权利要求9任一项所述的多媒体数据的显示方法所执行的操作。
CN202011139508.1A 2020-10-22 2020-10-22 多媒体数据的显示方法、装置、计算机设备及存储介质 Active CN112257594B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011139508.1A CN112257594B (zh) 2020-10-22 2020-10-22 多媒体数据的显示方法、装置、计算机设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011139508.1A CN112257594B (zh) 2020-10-22 2020-10-22 多媒体数据的显示方法、装置、计算机设备及存储介质

Publications (2)

Publication Number Publication Date
CN112257594A true CN112257594A (zh) 2021-01-22
CN112257594B CN112257594B (zh) 2024-09-13

Family

ID=74264092

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011139508.1A Active CN112257594B (zh) 2020-10-22 2020-10-22 多媒体数据的显示方法、装置、计算机设备及存储介质

Country Status (1)

Country Link
CN (1) CN112257594B (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113034351A (zh) * 2021-03-25 2021-06-25 联想(北京)有限公司 图像处理方法及装置
WO2022187997A1 (zh) * 2021-03-08 2022-09-15 深圳市大疆创新科技有限公司 一种视频处理的方法、电子设备以及存储介质

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20100054620A1 (en) * 2008-08-27 2010-03-04 Seiko Epson Corporation Image processing apparatus, image processing method, and image processing program
US20150117719A1 (en) * 2013-10-29 2015-04-30 Canon Kabushiki Kaisha Image processing apparatus, image processing method, and storage medium
CN105894446A (zh) * 2016-05-09 2016-08-24 西安北升信息科技有限公司 一种视频中的自动脸部轮廓修饰方法
CN109003224A (zh) * 2018-07-27 2018-12-14 北京微播视界科技有限公司 基于人脸的形变图像生成方法和装置
CN109087239A (zh) * 2018-07-25 2018-12-25 腾讯科技（深圳）有限公司 一种人脸图像处理方法、装置及存储介质

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20100054620A1 (en) * 2008-08-27 2010-03-04 Seiko Epson Corporation Image processing apparatus, image processing method, and image processing program
US20150117719A1 (en) * 2013-10-29 2015-04-30 Canon Kabushiki Kaisha Image processing apparatus, image processing method, and storage medium
CN105894446A (zh) * 2016-05-09 2016-08-24 西安北升信息科技有限公司 一种视频中的自动脸部轮廓修饰方法
CN109087239A (zh) * 2018-07-25 2018-12-25 腾讯科技（深圳）有限公司 一种人脸图像处理方法、装置及存储介质
CN109003224A (zh) * 2018-07-27 2018-12-14 北京微播视界科技有限公司 基于人脸的形变图像生成方法和装置

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022187997A1 (zh) * 2021-03-08 2022-09-15 深圳市大疆创新科技有限公司 一种视频处理的方法、电子设备以及存储介质
CN113034351A (zh) * 2021-03-25 2021-06-25 联想(北京)有限公司 图像处理方法及装置

Also Published As

Publication number Publication date
CN112257594B (zh) 2024-09-13

Similar Documents

Publication Publication Date Title
CN110097576B (zh) 图像特征点的运动信息确定方法、任务执行方法和设备
CN109308205B (zh) 应用程序的显示适配方法、装置、设备及存储介质
WO2020224479A1 (zh) 目标的位置获取方法、装置、计算机设备及存储介质
CN111541907B (zh) 物品显示方法、装置、设备及存储介质
CN110427110B (zh) 一种直播方法、装置以及直播服务器
CN111464749B (zh) 进行图像合成的方法、装置、设备及存储介质
CN111324250B (zh) 三维形象的调整方法、装置、设备及可读存储介质
CN111083526B (zh) 视频转场方法、装置、计算机设备及存储介质
CN111753784A (zh) 视频的特效处理方法、装置、终端及存储介质
CN110570460A (zh) 目标跟踪方法、装置、计算机设备及计算机可读存储介质
CN112581358B (zh) 图像处理模型的训练方法、图像处理方法及装置
CN112581571B (zh) 虚拟形象模型的控制方法、装置、电子设备及存储介质
CN110335224B (zh) 图像处理方法、装置、计算机设备及存储介质
CN111246095A (zh) 控制镜头运动的方法、装置、设备及存储介质
CN111178343A (zh) 基于人工智能的多媒体资源检测方法、装置、设备及介质
CN111586444B (zh) 视频处理方法、装置、电子设备及存储介质
CN110807769B (zh) 图像显示控制方法及装置
CN112565806A (zh) 虚拟礼物赠送方法、装置、计算机设备及介质
CN110991445B (zh) 竖排文字识别方法、装置、设备及介质
CN112269559A (zh) 音量调整方法、装置、电子设备及存储介质
CN112257594B (zh) 多媒体数据的显示方法、装置、计算机设备及存储介质
CN113160031B (zh) 图像处理方法、装置、电子设备及存储介质
CN110891181B (zh) 直播画面显示方法、装置、存储介质及终端
CN113032590A (zh) 特效展示方法、装置、计算机设备及计算机可读存储介质
CN111988664B (zh) 视频处理方法、装置、计算机设备及计算机可读存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant