CN113079383A - 视频处理方法、装置、电子设备及存储介质 - Google Patents

视频处理方法、装置、电子设备及存储介质 Download PDF

Info

Publication number
CN113079383A
CN113079383A CN202110318633.7A CN202110318633A CN113079383A CN 113079383 A CN113079383 A CN 113079383A CN 202110318633 A CN202110318633 A CN 202110318633A CN 113079383 A CN113079383 A CN 113079383A
Authority
CN
China
Prior art keywords
image
processed
video
target object
segmentation
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202110318633.7A
Other languages
English (en)
Other versions
CN113079383B (zh
Inventor
薛永娇
栾青
四建楼
程俊奇
吴尧
于霄
张春
刘畅
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Sensetime Technology Development Co Ltd
Original Assignee
Beijing Sensetime Technology Development Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Sensetime Technology Development Co Ltd filed Critical Beijing Sensetime Technology Development Co Ltd
Priority to CN202110318633.7A priority Critical patent/CN113079383B/zh
Publication of CN113079383A publication Critical patent/CN113079383A/zh
Application granted granted Critical
Publication of CN113079383B publication Critical patent/CN113079383B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/21—Server components or server architectures
    • H04N21/218—Source of audio or video content, e.g. local disk arrays
    • H04N21/2187—Live feed
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/77—Retouching; Inpainting; Scratch removal
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G06V10/267—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion by performing operations on regions, e.g. growing, shrinking or watersheds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Signal Processing (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Data Mining & Analysis (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Computational Linguistics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Human Computer Interaction (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Databases & Information Systems (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本公开提供了一种视频处理方法、装置、电子设备及存储介质，该方法包括：获取待处理视频；对所述待处理视频中的每帧待处理图像进行图像分割，确定包含所述待处理图像中目标对象轮廓区域的分割图像；基于包含所述待处理图像中目标对象轮廓区域的分割图像，生成所述目标对象的展示数据并利用全息投影方式展示所述展示数据。

Description

视频处理方法、装置、电子设备及存储介质
技术领域
本公开涉及图像处理技术领域，具体而言，涉及一种视频处理方法、装置、电子设备及存储介质。
背景技术
随着科技的发展，视频展示功能被广泛应用于人们的生活、工作等场景中，比如，在直播场景中通过播放设备实时展示直播视频，在远程会议或远程演讲等远程视频场景中，通过视频播放设备播放提取录制的视频或者实时录制的视频等。
但是在使用播放设备展示视频时，可能存在视频展示效果不真实的问题，降低了视频的展示效果。
发明内容
有鉴于此，本公开至少提供一种视频处理方法、装置、电子设备及存储介质。
第一方面，本公开提供了一种视频处理方法，包括：
获取待处理视频；
对所述待处理视频中的每帧待处理图像进行图像分割，确定包含所述待处理图像中目标对象轮廓区域的分割图像；
基于包含所述待处理图像中目标对象轮廓区域的分割图像，生成所述目标对象的展示数据并利用全息投影方式展示所述展示数据。
上述方法中，通过对获取的待处理视频中的每帧待处理图像进行图像分割，得到包含目标对象轮廓区域的分割图像，再可以基于该分割图像，生成目标对象的展示数据，并可以利用全息投影方式展示该展示数据，比如，在远程会议场景中，可以生成发言人(目标对象)发表讲话的展示数据，再通过全息投影方式展示该展示数据，使得该展示数据的展示过程较为真实，即可以较为真实的展示发言人发表讲话的过程，提高了展示数据的展示效果。
一种可能的实施方式中，所述对所述待处理视频中的每帧待处理图像进行图像分割，确定包含所述待处理图像中目标对象轮廓区域的分割图像，包括：
在所述待处理视频为实时视频数据的情况下，选择第一神经网络对所述待处理视频中的每帧待处理图像进行图像分割，确定包含所述待处理图像中目标对象轮廓区域的分割图像；
在所述待处理视频为离线视频数据的情况下，选择第二神经网络对所述待处理视频中的每帧待处理图像进行图像分割，确定包含所述待处理图像中目标对象轮廓区域的分割图像；
其中，所述第一神经网络的运算时间小于所述第二神经网络对应的运算时间。
这里针对不同类型的待处理视频，选择不同的神经网络对待处理视频进行处理，以满足不同类型的待处理视频的处理要求，提高图像分割处理的灵活性。
一种可能的实施方式中，在对所述待处理视频中的每帧待处理图像进行图像分割，确定包含所述待处理图像中目标对象轮廓区域的分割图像之后，还包括：
基于所述分割图像、和确定的待替换的目标背景的像素信息，生成对所述分割图像进行背景替换后的目标图像；
展示所述待处理视频中每帧待处理图像对应的所述目标图像。
一种可能的实施方式中，所述基于包含所述待处理图像中目标对象轮廓区域的分割图像，生成所述目标对象的展示数据，包括：
识别所述目标对象的脸部在所述分割图像上的位置信息；
根据识别到的所述脸部的位置信息，对所述分割图像中所述目标对象的脸部图像进行调整处理，生成处理后的分割图像，其中所述调整处理包括五官调整处理、颜色调整处理、上妆处理中的至少一种；
基于所述处理后的分割图像，生成所述目标对象的展示数据。
这里通过基于识别到的目标对象的脸部在分割图像上的位置信息，对分割图像中目标对象的脸部图像进行调整处理，调整处理包括五官调整处理、颜色调整处理、上妆处理中的至少一种，通过设置的多种调整处理方式，提高了处理后的分割图像的多样性；进而基于处理后的分割图像，生成目标对象的展示数据并利用全息投影方式展示该展示数据，丰富了展示数据的内容，提高了展示效果。
一种可能的实施方式中，所述基于包含所述待处理图像中目标对象轮廓区域的分割图像，生成所述目标对象的展示数据，包括：
基于目标特效数据，以及所述分割图像，生成添加有目标特效的分割图像；
基于所述添加有目标特效的分割图像，生成所述目标对象的展示数据。
这里，通过为分割图像添加目标特效，使得添加有目标特效的分割图像的内容较丰富，进而在基于添加有目标特效的分割图像，生成目标对象的展示数据并利用全息投影方式展示该展示数据时，可以提高展示效果。
以下装置、电子设备等的效果描述参见上述方法的说明，这里不再赘述。
第二方面，本公开提供了一种视频处理装置，包括：
获取模块，用于获取待处理视频；
确定模块，用于对所述待处理视频中的每帧待处理图像进行图像分割，确定包含所述待处理图像中目标对象轮廓区域的分割图像；
第一生成模块，用于基于包含所述待处理图像中目标对象轮廓区域的分割图像，生成所述目标对象的展示数据并利用全息投影方式展示所述展示数据。
一种可能的实施方式中，所述确定模块，在对所述待处理视频中的每帧待处理图像进行图像分割，确定包含所述待处理图像中目标对象轮廓区域的分割图像时，用于：
在所述待处理视频为实时视频数据的情况下，选择第一神经网络对所述待处理视频中的每帧待处理图像进行图像分割，确定包含所述待处理图像中目标对象轮廓区域的分割图像；
在所述待处理视频为离线视频数据的情况下，选择第二神经网络对所述待处理视频中的每帧待处理图像进行图像分割，确定包含所述待处理图像中目标对象轮廓区域的分割图像；
其中，所述第一神经网络的运算时间小于所述第二神经网络对应的运算时间。
一种可能的实施方式中，在对所述待处理视频中的每帧待处理图像进行图像分割，确定包含所述待处理图像中目标对象轮廓区域的分割图像之后，还包括：第二生成模块，用于：
基于所述分割图像、和确定的待替换的目标背景的像素信息，生成对所述分割图像进行背景替换后的目标图像；
展示所述待处理视频中每帧待处理图像对应的所述目标图像。
一种可能的实施方式中，所述第一生成模块，在基于包含所述待处理图像中目标对象轮廓区域的分割图像，生成所述目标对象的展示数据时，用于：
识别所述目标对象的脸部在所述分割图像上的位置信息；
根据识别到的所述脸部的位置信息，对所述分割图像中所述目标对象的脸部图像进行调整处理，生成处理后的分割图像，其中所述调整处理包括五官调整处理、颜色调整处理、上妆处理中的至少一种；
基于所述处理后的分割图像，生成所述目标对象的展示数据。
一种可能的实施方式中，所述第一生成模块，在基于包含所述待处理图像中目标对象轮廓区域的分割图像，生成所述目标对象的展示数据时，用于：
基于目标特效数据，以及所述分割图像，生成添加有目标特效的分割图像；
基于所述添加有目标特效的分割图像，生成所述目标对象的展示数据。
第三方面，本公开提供一种电子设备，包括：处理器、存储器和总线，所述存储器存储有所述处理器可执行的机器可读指令，当电子设备运行时，所述处理器与所述存储器之间通过总线通信，所述机器可读指令被所述处理器执行时执行如上述第一方面或任一实施方式所述的视频处理方法的步骤。
第四方面，本公开提供一种计算机可读存储介质，该计算机可读存储介质上存储有计算机程序，该计算机程序被处理器运行时执行如上述第一方面或任一实施方式所述的视频处理方法的步骤。
为使本公开的上述目的、特征和优点能更明显易懂，下文特举较佳实施例，并配合所附附图，作详细说明如下。
附图说明
为了更清楚地说明本公开实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，此处的附图被并入说明书中并构成本说明书中的一部分，这些附图示出了符合本公开的实施例，并与说明书一起用于说明本公开的技术方案。应当理解，以下附图仅示出了本公开的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。
图1示出了本公开实施例所提供的一种视频处理方法的流程示意图；
图2示出了本公开实施例所提供的另一种视频处理方法的流程示意图；
图3示出了本公开实施例所提供的一种视频处理装置的架构示意图；
图4示出了本公开实施例所提供的一种电子设备的结构示意图。
具体实施方式
为使本公开实施例的目的、技术方案和优点更加清楚，下面将结合本公开实施例中的附图，对本公开实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本公开一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本公开实施例的组件可以以各种不同的配置来布置和设计。因此，以下对在附图中提供的本公开的实施例的详细描述并非旨在限制要求保护的本公开的范围，而是仅仅表示本公开的选定实施例。基于本公开的实施例，本领域技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本公开保护的范围。
随着科技的发展，视频展示功能被广泛应用于人们的生活、工作等场景中，比如，在直播场景中通过播放设备实时展示直播视频，在远程会议或远程演讲等远程视频场景中，通过视频播放设备播放提取录制的视频或者实时录制的视频等。
但是在使用播放设备展示视频时，可能存在视频展示效果不真实的问题，降低了视频的展示效果。为了缓解上述问题，本公开实施例提供了一种视频处理方法、装置、电子设备及存储介质。
针对以上方案所存在的缺陷，均是发明人在经过实践并仔细研究后得出的结果，因此，上述问题的发现过程以及下文中本公开针对上述问题所提出的解决方案，都应该是发明人在本公开过程中对本公开做出的贡献。
下面将结合本公开中附图，对本公开中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本公开一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本公开的组件可以以各种不同的配置来布置和设计。因此，以下对在附图中提供的本公开的实施例的详细描述并非旨在限制要求保护的本公开的范围，而是仅仅表示本公开的选定实施例。基于本公开的实施例，本领域技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本公开保护的范围。
应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。
为便于对本公开实施例进行理解，首先对本公开实施例所公开的一种视频处理方法进行详细介绍。本公开实施例所提供的视频处理方法的执行主体一般为具有一定计算能力的计算机设备，该计算机设备例如包括：终端设备或服务器或其它处理设备，终端设备可以为用户设备(User Equipment，UE)、移动设备、用户终端、终端、蜂窝电话、无绳电话、个人数字助理(Personal Digital Assistant，PDA)、手持设备、计算设备、车载设备、可穿戴设备等。在一些可能的实现方式中，该视频处理方法可以通过处理器调用存储器中存储的计算机可读指令的方式来实现。
参见图1所示，为本公开实施例所提供的视频处理方法的流程示意图，所述方法包括S101-S103，其中：
S101，获取待处理视频；
S102，对所述待处理视频中的每帧待处理图像进行图像分割，确定包含所述待处理图像中目标对象轮廓区域的分割图像；
S103，基于包含所述待处理图像中目标对象轮廓区域的分割图像，生成所述目标对象的展示数据并利用全息投影方式展示所述展示数据。
上述方法中，通过对获取的待处理视频中的每帧待处理图像进行图像分割，得到包含目标对象轮廓区域的分割图像，再可以基于该分割图像，生成目标对象的展示数据，并可以利用全息投影方式展示该展示数据，比如，在远程会议场景中，可以生成发言人(目标对象)发表讲话的展示数据，再通过全息投影方式展示该展示数据，使得该展示数据的展示过程较为真实，即可以较为真实的展示发言人发表讲话的过程，提高了展示数据的展示效果。
下述对S101-S103进行具体说明。
针对S101以及S102：
待处理视频可以为获取的现实场景中的任一视频数据。比如，在直播场景中，待处理视频可以为直播过程中产生的视频数据；在会议场景中，待处理视频可以为会议内容对应的视频，也可以为会议参与人员发表讲话的视频等。
示例性的，在得到待处理视频后，可以使用神经网络对待处理视频中的每帧待处理图像进行图像分割，得到包含有待处理图像中目标对象轮廓区域的分割图像。
待处理视频可以为实时视频数据，也可以为离线视频数据，比如，实时视频数据可以为演讲人员实时在采集设备前发表讲话的视频数据；离线视频数据可以为演讲人员提前在采集设备前录制的发表讲话的视频数据。
一种可选实施方式中，所述对所述待处理视频中的每帧待处理图像进行图像分割，确定包含所述待处理图像中目标对象轮廓区域的分割图像，包括：
方式一、在所述待处理视频为实时视频数据的情况下，选择第一神经网络对所述待处理视频中的每帧待处理图像进行图像分割，确定包含所述待处理图像中目标对象轮廓区域的分割图像；
方式二、在所述待处理视频为离线视频数据的情况下，选择第二神经网络对所述待处理视频中的每帧待处理图像进行图像分割，确定包含所述待处理图像中目标对象轮廓区域的分割图像；
其中，所述第一神经网络的运算时间小于所述第二神经网络对应的运算时间。
这里，第一神经网络的网络结构和第二神经网络的网络结构可以根据实际需要进行设置。一般的，神经网络的网络结构较为复杂时，该神经网络的准确性较高，但运算时间也较长；反之，神经网络的网络结构较为简单时，该神经网络的准确性交底，但运算时间较短。
考虑到待处理视频为实时视频数据时，对待处理视频的处理效率有较高的要求，故可以选择运算时间较短的第一神经网络对待处理视频中的每帧待处理图像进行图像分割处理，确定包含待处理图像中目标对象轮廓区域的分割图像。
而在待处理视频为离线视频数据时，对待处理视频的处理效率的要求较低，故可以选择精准度较高的第二神经网络对待处理视频中的每帧待处理图像进行图像分割处理，确定包含待处理图像中目标对象轮廓区域的分割图像。
这里针对不同类型的待处理视频，选择不同的神经网络对待处理视频进行处理，以满足不同类型的待处理视频的处理要求，提高图像分割处理的灵活性。
针对S103：
这里，可以基于包含待处理图像中目标对象轮廓区域的分割图像，利用全息投影技术生成展示数据，比如该展示数据可以为分割图像对应的全息图像，再利用全息投影技术展示该展示数据，实现对目标对象结构的虚拟立体展示。
示例性的，可以将包含待处理图像中目标对象轮廓区域的分割图像，输入至全息投影设备中，控制全息投影设备生成并展示目标对象的展示数据。
或者，可以从包含待处理图像中目标对象轮廓区域的分割图像中截取目标对象轮廓区域对应的轮廓图像；基于该轮廓图像生成目标对象的展示数据，并利用全息投影方式展示该展示数据。比如，可以将轮廓图像输入至全息投影设备中，使用全息投影设备生成并展示目标对象对应的展示数据。
一种可选实施方式中，在对所述待处理视频中的每帧待处理图像进行图像分割，确定包含所述待处理图像中目标对象轮廓区域的分割图像之后，还包括：
S104，基于所述分割图像、和确定的待替换的目标背景的像素信息，生成对所述分割图像进行背景替换后的目标图像；
S105，展示所述待处理视频中每帧待处理图像对应的所述目标图像。
待替换的目标背景可以根据需要进行选择，比如，待替换的目标背景可以为确定的待替换的背景图像，该背景图像可以为包括多种颜色的非纯色图像，也可以为包括单一颜色的纯色图像。其中，该待替换的背景图像与分割图像的尺寸一致。
示例性的，针对分割图像上背景区域中的每个第一像素点，可以将第一像素点的第一像素信息，替换为待替换的目标背景中与该第一像素点的位置匹配的第二像素点的第二像素信息。将分割图像上背景区域中的各个第一像素点均进行像素信息的替换处理，生成对分割图像进行背景替换后的目标图像。
实施时，可以控制展示设备展示待处理视频中每帧待处理图像对应的目标图像。该展示设备可以任一包括显示屏的电子设备，比如，该展示设备可以为手机、平板、电脑等。或者，也可以利用全息投影方式展示目标图像。
一种可选实施方式中，S103中，所述基于包含所述待处理图像中目标对象轮廓区域的分割图像，生成所述目标对象的展示数据，包括：
S1301，识别所述目标对象的脸部在所述分割图像上的位置信息；
S1302，根据识别到的所述脸部的位置信息，对所述分割图像中所述目标对象的脸部图像进行调整处理，生成处理后的分割图像，其中所述调整处理包括五官调整处理、颜色调整处理、上妆处理中的至少一种；
S1303，基于所述处理后的分割图像，生成所述目标对象的展示数据。
这里，可以将分割图像输入至用于进行脸部区域检测的神经网络中，确定目标对象的脸部在分割图像上的位置信息。再可以根据识别到的脸部的位置信息，对分割图像中目标对象的脸部图像进行五官调整处理、颜色调整处理、上妆处理中的至少一种，生成处理后的分割图像。
在调整处理包括五官调整处理时，脸部的位置信息可以包括脸部的轮廓区域在分割图像上的位置信息，以及脸部上的五官在分割图像上的位置信息，比如，可以包括眼部在分割图像上的位置信息、嘴部在分割图像上的位置信息等。其中，五官调整处理可以包括对预设的多种五官进行调整处理，也可以响应于选择的脸部部位，对选择的脸部部位进行调整处理。
实施时，五官调整处理可以为对目标对象的脸部图像进行美颜处理，比如，可以将分割图像中目标对象的脸部图像上的眼睛变大、或者脸部变小，生成处理后的分割图像。
在调整处理包括颜色调整处理时，脸部的位置信息可以包括脸部的轮廓区域在分割图像上的位置信息。实施时，颜色调整处理可以为对目标对象的脸部图像进行滤镜处理，比如，可以将分割图像中目标对象的脸部图像的像素信息，调整为与选择的滤镜对应的颜色的像素信息，生成处理后的分割图像。示例性的，还可以对分割图像进行滤镜处理，生成处理后的分割图像。
在调整处理包括上妆处理时，脸部的位置信息可以包括脸部的轮廓区域在分割图像上的位置信息，以及目标对象上待上妆的目标部位在分割图像上的位置信息。目标对象中待上妆的目标部位可以包括但不限于眼部、脸部、唇部、眉部等。其中，待上妆的目标部位可以响应用户的部位选择操作进行确定；或者，也可以为预设的至少一个部位。
实施时，可以使用用于进行部位检测的神经网络，确定目标对象上待上妆的目标部位在分割图像上的位置信息，比如，确定唇部在分割图像上的位置信息等。再可以根据识别到的目标部位的位置信息，对分割图像中目标对象的目标部位进行上妆处理，生成上妆处理后的分割图像。其中，目标部位的上妆处理过程可以根据目标部位的类型进行具体设置，比如，目标部位为眼部时，可以为眼部对应的上妆处理可以为添加眼线、眼影、美瞳等处理过程。
再可以基于处理后的分割图像，生成目标对象的展示数据，利用全息投影方式展示展示数据，比如可以将调整处理后的分割图像输入至全息投影设备中，控制该全息投影设备生成并展示目标对象对应的展示数据。和/或，也可以控制展示设备展示处理后的分割图像。
这里通过基于识别到的目标对象的脸部在分割图像上的位置信息，对分割图像中目标对象的脸部图像进行调整处理，调整处理包括五官调整处理、颜色调整处理、上妆处理中的至少一种，通过设置的多种调整处理方式，提高了处理后的分割图像的多样性；进而基于处理后的分割图像，生成目标对象的展示数据并利用全息投影方式展示该展示数据，丰富了展示数据的内容，提高了展示效果。
一种可选实施方式中，在S103中，所述基于包含所述待处理图像中目标对象轮廓区域的分割图像，生成所述目标对象的展示数据，包括：
S1321，基于目标特效数据，以及所述分割图像，生成添加有目标特效的分割图像；
S1322，基于所述添加有目标特效的分割图像，生成所述目标对象的展示数据。
目标特效数据可以为文字数据、语音数据、图像数据中的一种或多种，比如，目标特效数据可以为“加油”。具体实施时，可以提前设置有多种特效数据，从多种特效数据中确定目标特效数据，比如可以响应于特效确定操作，确定目标特效数据。
并可以基于目标特效数据和分割图像，生成添加有目标特效分割图像，比如，在目标特效数据为语音数据时，可以生成包含该语音数据的分割图像。在目标特效数据为文字数据或图像数据时，可以确定目标特效数据在分割图像的展示位置，生成将该目标特效数据展示在分割图像上的展示位置的图像，该图像即为添加有目标特效的分割图像。
再可以将添加有目标特效的分割图像输入至全息投影设备中，控制全息投影设备生成并展示目标对象对应的展示数据。或者，也可以控制展示设备展示该添加有目标特效的分割图像。
这里，通过为分割图像添加目标特效，使得添加有目标特效的分割图像的内容较丰富，进而在基于添加有目标特效的分割图像，生成目标对象的展示数据并利用全息投影方式展示该展示数据时，可以提高展示效果。
具体实施时，可以设置直播助手系统，将获取的待处理视频输入至直播助手系统中，通过控制直播助手系统对待处理视频中的每帧待处理图像进行图像分割，得到包含待处理图像中目标对象轮廓区域的分割图像。即可以将第一神经网络和第二神经网络设置在直播助手系统中，通过控制直播助手系统中的第一神经网络或第二神经网络对待处理视频中的每帧待处理图像进行图像分割，得到包含待处理图像中目标对象轮廓区域的分割图像。
再得到包含有待处理图像中目标对象轮廓区域的分割图像后，基于该分割图像生成展示数据，并利用全息投影技术展示该展示数据。比如，可以将全息投影设备与直播助手系统相连，将直播助手系统输出的分割图像，输入至全息投影设备中，控制全息投影设备生成并展示目标对象的展示数据。
还可以在直播助手系统中设置背景替换功能，响应于背景替换操作，基于包含有待处理图像中目标对象轮廓区域的分割图像、和待替换的目标背景的像素信息，对分割图像进行背景替换，得到目标图像；再控制与直播助手系统相连的展示设备展示待处理视频中每帧待处理图像对应的目标图像。
还可以在直播助手系统中设置美颜功能和/或滤镜功能，在直播助手系统中设置有美颜功能时，响应于美颜操作，识别目标对象的脸部在分割图像上的位置信息，再根据识别到的脸部的位置信息，对分割图像中目标对象的脸部图像进行五官调整处理，生成处理后的分割图像。在直播助手系统中设置有滤镜功能时，响应于滤镜操作，识别目标对象的脸部在分割图像上的位置信息，再根据识别到的脸部的位置信息，对分割图像中目标对象的脸部图像进行颜色调整处理，生成处理后的分割图像；或者响应于滤镜操作，对分割图像进行颜色调整处理，生成处理后的分割图像。进而可以基于处理后的分割图像生成展示数据，并利用全息投影方式展示该展示数据。
还可以在直播助手系统中设置美妆功能，响应于美妆操作，可以识别目标对象中待上妆的目标部位在分割图像上的位置信息；并根据识别到的目标部位的位置信息，对分割图像中目标对象的目标部位的图像进行上妆处理，生成上妆处理后的分割图像，其中，该上妆处理的过程可以根据上妆部位进行具体设置。进而可以基于上妆处理后的分割图像生成展示数据，并利用全息投影方式展示该展示数据。
还可以在直播助手系统中设置特效功能，可以响应于特效确定操作，确定目标特效数据，或者，确定目标特效数据、和目标特效在分割图像上的放置位置；基于目标特效数据和分割图像，生成添加有目标特效的分割图像；或者，可以基于目标特效数据、目标特效在分割图像上的放置位置和分割图像，生成在该放置位置处添加有目标特效的分割图像。进而可以基于添加有目标特效的分割图像，生成目标对象的展示数据并利用全息投影方式展示该展示数据。
结合图2对本公开提出的视频处理方法进行示例性说明，可以在摄像设备位置处生成目标对象的实时视频数据，和/或，也可以在任意场景中提前录制视频数据，生成目标对象的离线视频数据；在可以将实时视频数据和/或离线视频数据输入至直播助手系统中进行处理，生成目标对象对应的分割图像，该分割图像可以包括未经过调整处理的分割图像、经过调整处理后的分割图像、进行背景替换后的分割图像(即目标图像)等。
在视频数据为实时视频数据时，直播助手系统可以使用第一神经网络对实时视频数据进行图像分割，确定实时视频数据中每帧待处理图像对应的包含有目标对象轮廓区域的分割图像；在视频数据为离线视频数据时，直播助手系统可以使用第二神经网络对离线视频数据进行图像分割，确定离线视频数据中每帧待处理图像对应的包含有目标对象轮廓区域的分割图像。
可以基于分割图像生成目标对象的展示数据，控制展示设备展示目标对象的展示数据，或者，也可以将目标对象的展示数据输入至全息投影设备中，生成并展示目标对象的全息影像。或者，也可以基于目标对象的展示数据生成展示视频，将展示视频输入至全息投影设备中，通过全息投影技术生成并展示目标对象的全息影像。
本领域技术人员可以理解，在具体实施方式的上述方法中，各步骤的撰写顺序并不意味着严格的执行顺序而对实施过程构成任何限定，各步骤的具体执行顺序应当以其功能和可能的内在逻辑确定。
基于相同的构思，本公开实施例还提供了一种视频处理装置，参见图3所示，为本公开实施例提供的视频处理装置的架构示意图，包括获取模块301、确定模块302、第一生成模块303，具体的：
获取模块301，用于获取待处理视频；
确定模块302，用于对所述待处理视频中的每帧待处理图像进行图像分割，确定包含所述待处理图像中目标对象轮廓区域的分割图像；
第一生成模块303，用于基于包含所述待处理图像中目标对象轮廓区域的分割图像，生成所述目标对象的展示数据并利用全息投影方式展示所述展示数据。
一种可能的实施方式中，所述确定模块302，在对所述待处理视频中的每帧待处理图像进行图像分割，确定包含所述待处理图像中目标对象轮廓区域的分割图像时，用于：
在所述待处理视频为实时视频数据的情况下，选择第一神经网络对所述待处理视频中的每帧待处理图像进行图像分割，确定包含所述待处理图像中目标对象轮廓区域的分割图像；
在所述待处理视频为离线视频数据的情况下，选择第二神经网络对所述待处理视频中的每帧待处理图像进行图像分割，确定包含所述待处理图像中目标对象轮廓区域的分割图像；
其中，所述第一神经网络的运算时间小于所述第二神经网络对应的运算时间。
一种可能的实施方式中，在对所述待处理视频中的每帧待处理图像进行图像分割，确定包含所述待处理图像中目标对象轮廓区域的分割图像之后，还包括：第二生成模块304，用于：
基于所述分割图像、和确定的待替换的目标背景的像素信息，生成对所述分割图像进行背景替换后的目标图像；
展示所述待处理视频中每帧待处理图像对应的所述目标图像。
一种可能的实施方式中，所述第一生成模块303，在基于包含所述待处理图像中目标对象轮廓区域的分割图像，生成所述目标对象的展示数据时，用于：
识别所述目标对象的脸部在所述分割图像上的位置信息；
根据识别到的所述脸部的位置信息，对所述分割图像中所述目标对象的脸部图像进行调整处理，生成处理后的分割图像，其中所述调整处理包括五官调整处理、颜色调整处理、上妆处理中的至少一种；
基于所述处理后的分割图像，生成所述目标对象的展示数据。
一种可能的实施方式中，所述第一生成模块303，在基于包含所述待处理图像中目标对象轮廓区域的分割图像，生成所述目标对象的展示数据时，用于：
基于目标特效数据，以及所述分割图像，生成添加有目标特效的分割图像；
基于所述添加有目标特效的分割图像，生成所述目标对象的展示数据。
在一些实施例中，本公开实施例提供的装置具有的功能或包含的模板可以用于执行上文方法实施例描述的方法，其具体实现可以参照上文方法实施例的描述，为了简洁，这里不再赘述。
基于同一技术构思，本公开实施例还提供了一种电子设备。参照图4所示，为本公开实施例提供的电子设备的结构示意图，包括处理器401、存储器402、和总线403。其中，存储器402用于存储执行指令，包括内存4021和外部存储器4022；这里的内存4021也称内存储器，用于暂时存放处理器401中的运算数据，以及与硬盘等外部存储器4022交换的数据，处理器401通过内存4021与外部存储器4022进行数据交换，当电子设备400运行时，处理器401与存储器402之间通过总线403通信，使得处理器401在执行以下指令：
获取待处理视频；
对所述待处理视频中的每帧待处理图像进行图像分割，确定包含所述待处理图像中目标对象轮廓区域的分割图像；
基于包含所述待处理图像中目标对象轮廓区域的分割图像，生成所述目标对象的展示数据并利用全息投影方式展示所述展示数据。
此外，本公开实施例还提供一种计算机可读存储介质，该计算机可读存储介质上存储有计算机程序，该计算机程序被处理器运行时执行上述方法实施例中所述的视频处理方法的步骤。其中，该存储介质可以是易失性或非易失的计算机可读取存储介质。
本公开实施例还提供一种计算机程序产品，该计算机程序产品承载有程序代码，所述程序代码包括的指令可用于执行上述方法实施例中所述的视频处理方法的步骤，具体可参见上述方法实施例，在此不再赘述。
其中，上述计算机程序产品可以具体通过硬件、软件或其结合的方式实现。在一个可选实施例中，所述计算机程序产品具体体现为计算机存储介质，在另一个可选实施例中，计算机程序产品具体体现为软件产品，例如软件开发包(Software Development Kit，SDK)等等。
所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统和装置的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。在本公开所提供的几个实施例中，应该理解到，所揭露的系统、装置和方法，可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，又例如，多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些通信接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外，在本公开各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。
所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个处理器可执行的非易失的计算机可读取存储介质中。基于这样的理解，本公开的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本公开各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(Read-OnlyMemory，ROM)、随机存取存储器(Random Access Memory，RAM)、磁碟或者光盘等各种可以存储程序代码的介质。
以上仅为本公开的具体实施方式，但本公开的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本公开揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本公开的保护范围之内。因此，本公开的保护范围应以权利要求的保护范围为准。

Claims (10)

1.一种视频处理方法，其特征在于，包括：
获取待处理视频；
对所述待处理视频中的每帧待处理图像进行图像分割，确定包含所述待处理图像中目标对象轮廓区域的分割图像；
基于包含所述待处理图像中目标对象轮廓区域的分割图像，生成所述目标对象的展示数据并利用全息投影方式展示所述展示数据。
2.根据权利要求1所述的视频处理方法，其特征在于，所述对所述待处理视频中的每帧待处理图像进行图像分割，确定包含所述待处理图像中目标对象轮廓区域的分割图像，包括：
在所述待处理视频为实时视频数据的情况下，选择第一神经网络对所述待处理视频中的每帧待处理图像进行图像分割，确定包含所述待处理图像中目标对象轮廓区域的分割图像；
在所述待处理视频为离线视频数据的情况下，选择第二神经网络对所述待处理视频中的每帧待处理图像进行图像分割，确定包含所述待处理图像中目标对象轮廓区域的分割图像；
其中，所述第一神经网络的运算时间小于所述第二神经网络对应的运算时间。
3.根据权利要求1或2所述的视频处理方法，其特征在于，在对所述待处理视频中的每帧待处理图像进行图像分割，确定包含所述待处理图像中目标对象轮廓区域的分割图像之后，还包括：
基于所述分割图像、和确定的待替换的目标背景的像素信息，生成对所述分割图像进行背景替换后的目标图像；
展示所述待处理视频中每帧待处理图像对应的所述目标图像。
4.根据权利要求1～3任一所述的视频处理方法，其特征在于，所述基于包含所述待处理图像中目标对象轮廓区域的分割图像，生成所述目标对象的展示数据，包括：
识别所述目标对象的脸部在所述分割图像上的位置信息；
根据识别到的所述脸部的位置信息，对所述分割图像中所述目标对象的脸部图像进行调整处理，生成处理后的分割图像，其中所述调整处理包括五官调整处理、颜色调整处理、上妆处理中的至少一种；
基于所述处理后的分割图像，生成所述目标对象的展示数据。
5.根据权利要求1～4任一所述的视频处理方法，其特征在于，所述基于包含所述待处理图像中目标对象轮廓区域的分割图像，生成所述目标对象的展示数据，包括：
基于目标特效数据，以及所述分割图像，生成添加有目标特效的分割图像；
基于所述添加有目标特效的分割图像，生成所述目标对象的展示数据。
6.一种视频处理装置，其特征在于，包括：
获取模块，用于获取待处理视频；
确定模块，用于对所述待处理视频中的每帧待处理图像进行图像分割，确定包含所述待处理图像中目标对象轮廓区域的分割图像；
第一生成模块，用于基于包含所述待处理图像中目标对象轮廓区域的分割图像，生成所述目标对象的展示数据并利用全息投影方式展示所述展示数据。
7.根据权利要求6所述的视频处理装置，其特征在于，所述确定模块，在对所述待处理视频中的每帧待处理图像进行图像分割，确定包含所述待处理图像中目标对象轮廓区域的分割图像时，用于：
在所述待处理视频为实时视频数据的情况下，选择第一神经网络对所述待处理视频中的每帧待处理图像进行图像分割，确定包含所述待处理图像中目标对象轮廓区域的分割图像；
在所述待处理视频为离线视频数据的情况下，选择第二神经网络对所述待处理视频中的每帧待处理图像进行图像分割，确定包含所述待处理图像中目标对象轮廓区域的分割图像；
其中，所述第一神经网络的运算时间小于所述第二神经网络对应的运算时间。
8.根据权利要求6或7所述的视频处理装置，其特征在于，在对所述待处理视频中的每帧待处理图像进行图像分割，确定包含所述待处理图像中目标对象轮廓区域的分割图像之后，还包括：第二生成模块，用于：
基于所述分割图像、和确定的待替换的目标背景的像素信息，生成对所述分割图像进行背景替换后的目标图像；
展示所述待处理视频中每帧待处理图像对应的所述目标图像。
9.一种电子设备，其特征在于，包括：处理器、存储器和总线，所述存储器存储有所述处理器可执行的机器可读指令，当电子设备运行时，所述处理器与所述存储器之间通过总线通信，所述机器可读指令被所述处理器执行时执行如权利要求1至5任一所述的视频处理方法的步骤。
10.一种计算机可读存储介质，其特征在于，该计算机可读存储介质上存储有计算机程序，该计算机程序被处理器运行时执行如权利要求1至5任一所述的视频处理方法的步骤。
CN202110318633.7A 2021-03-25 2021-03-25 视频处理方法、装置、电子设备及存储介质 Active CN113079383B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110318633.7A CN113079383B (zh) 2021-03-25 2021-03-25 视频处理方法、装置、电子设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110318633.7A CN113079383B (zh) 2021-03-25 2021-03-25 视频处理方法、装置、电子设备及存储介质

Publications (2)

Publication Number Publication Date
CN113079383A true CN113079383A (zh) 2021-07-06
CN113079383B CN113079383B (zh) 2023-06-20

Family

ID=76610115

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110318633.7A Active CN113079383B (zh) 2021-03-25 2021-03-25 视频处理方法、装置、电子设备及存储介质

Country Status (1)

Country Link
CN (1) CN113079383B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117061717A (zh) * 2023-10-12 2023-11-14 杭州罗莱迪思科技股份有限公司 投影拼接视频有效控制方法、系统及其应用

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20170337693A1 (en) * 2016-05-23 2017-11-23 Intel Corporation Method and system of real-time image segmentation for image processing
CN107766803A (zh) * 2017-09-29 2018-03-06 北京奇虎科技有限公司 基于场景分割的视频人物装扮方法、装置及计算设备
CN111127486A (zh) * 2019-12-25 2020-05-08 Oppo广东移动通信有限公司 图像分割方法、装置、终端及存储介质
CN111292337A (zh) * 2020-01-21 2020-06-16 广州虎牙科技有限公司 图像背景替换方法、装置、设备及存储介质
CN111899268A (zh) * 2020-08-17 2020-11-06 上海商汤智能科技有限公司 图像分割方法及装置、电子设备和存储介质

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20170337693A1 (en) * 2016-05-23 2017-11-23 Intel Corporation Method and system of real-time image segmentation for image processing
CN107766803A (zh) * 2017-09-29 2018-03-06 北京奇虎科技有限公司 基于场景分割的视频人物装扮方法、装置及计算设备
CN111127486A (zh) * 2019-12-25 2020-05-08 Oppo广东移动通信有限公司 图像分割方法、装置、终端及存储介质
CN111292337A (zh) * 2020-01-21 2020-06-16 广州虎牙科技有限公司 图像背景替换方法、装置、设备及存储介质
CN111899268A (zh) * 2020-08-17 2020-11-06 上海商汤智能科技有限公司 图像分割方法及装置、电子设备和存储介质

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117061717A (zh) * 2023-10-12 2023-11-14 杭州罗莱迪思科技股份有限公司 投影拼接视频有效控制方法、系统及其应用
CN117061717B (zh) * 2023-10-12 2024-01-09 杭州罗莱迪思科技股份有限公司 投影拼接视频有效控制方法、系统及其应用

Also Published As

Publication number Publication date
CN113079383B (zh) 2023-06-20

Similar Documents

Publication Publication Date Title
US11410457B2 (en) Face reenactment
US11094131B2 (en) Augmented reality apparatus and method
US11527242B2 (en) Lip-language identification method and apparatus, and augmented reality (AR) device and storage medium which identifies an object based on an azimuth angle associated with the AR field of view
CN110390704B (zh) 图像处理方法、装置、终端设备及存储介质
US11538211B2 (en) Puppeteering remote avatar by facial expressions
CN110555507B (zh) 虚拟机器人的交互方法、装置、电子设备及存储介质
US11308692B2 (en) Method and device for processing image, and storage medium
WO2020119032A1 (zh) 基于生物特征的声源追踪方法、装置、设备及存储介质
WO2017072534A2 (en) Communication system and method
CN113302694A (zh) 用于基于模板生成个性化视频的系统和方法
CN111880709A (zh) 一种展示方法、装置、计算机设备及存储介质
CN105872442A (zh) 一种基于人脸识别的即时弹幕礼物赠送方法及系统
CN108259810A (zh) 一种视频通话的方法、设备和计算机存储介质
CN112818767A (zh) 数据集生成、伪造检测方法、装置、电子设备及存储介质
CN112614228B (zh) 三维网格的简化方法、装置、电子设备和存储介质
CN114007099A (zh) 一种视频处理方法、装置和用于视频处理的装置
CN108701355A (zh) Gpu优化和在线基于单高斯的皮肤似然估计
CN110794964A (zh) 虚拟机器人的交互方法、装置、电子设备及存储介质
CN111444743A (zh) 一种视频人像替换方法及装置
CN113453027B (zh) 直播视频、虚拟上妆的图像处理方法、装置及电子设备
CN113079383A (zh) 视频处理方法、装置、电子设备及存储介质
CN112149599A (zh) 表情追踪方法、装置、存储介质和电子设备
CN111652792A (zh) 图像的局部处理、直播方法、装置、设备和存储介质
CN113012040B (zh) 图像处理方法、装置、电子设备及存储介质
CN114998115A (zh) 图像美化处理方法、装置及电子设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant