CN112929683A - 视频处理方法、装置、电子设备及存储介质 - Google Patents
视频处理方法、装置、电子设备及存储介质 Download PDFInfo
- Publication number
- CN112929683A CN112929683A CN202110083859.3A CN202110083859A CN112929683A CN 112929683 A CN112929683 A CN 112929683A CN 202110083859 A CN202110083859 A CN 202110083859A CN 112929683 A CN112929683 A CN 112929683A
- Authority
- CN
- China
- Prior art keywords
- human body
- video
- sticker
- video image
- graph
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000003672 processing method Methods 0.000 title claims abstract description 28
- 238000012545 processing Methods 0.000 claims abstract description 19
- 230000002452 interceptive effect Effects 0.000 claims description 28
- 238000004590 computer program Methods 0.000 claims description 9
- 238000010200 validation analysis Methods 0.000 claims description 3
- 230000015572 biosynthetic process Effects 0.000 claims description 2
- 238000003786 synthesis reaction Methods 0.000 claims description 2
- 238000000034 method Methods 0.000 abstract description 11
- 230000008859 change Effects 0.000 abstract description 5
- 238000010586 diagram Methods 0.000 description 21
- 230000000694 effects Effects 0.000 description 14
- 239000000203 mixture Substances 0.000 description 6
- 238000004891 communication Methods 0.000 description 5
- 239000011521 glass Substances 0.000 description 5
- 238000005034 decoration Methods 0.000 description 3
- 235000013399 edible fruits Nutrition 0.000 description 3
- 238000012549 training Methods 0.000 description 3
- 210000002683 foot Anatomy 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 230000033001 locomotion Effects 0.000 description 2
- 210000003739 neck Anatomy 0.000 description 2
- 230000008569 process Effects 0.000 description 2
- 235000013311 vegetables Nutrition 0.000 description 2
- 210000003423 ankle Anatomy 0.000 description 1
- 210000000617 arm Anatomy 0.000 description 1
- 238000006073 displacement reaction Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 210000003127 knee Anatomy 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 238000003062 neural network model Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 210000000697 sensory organ Anatomy 0.000 description 1
- 210000002832 shoulder Anatomy 0.000 description 1
- 230000011664 signaling Effects 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 230000002194 synthesizing effect Effects 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
- 210000000707 wrist Anatomy 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
- H04N21/21—Server components or server architectures
- H04N21/218—Source of audio or video content, e.g. local disk arrays
- H04N21/2187—Live feed
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
- H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
- H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
- H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
- H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
- H04N21/23418—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving operations for analysing video streams, e.g. detecting features or characteristics
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/41—Structure of client; Structure of client peripherals
- H04N21/426—Internal components of the client ; Characteristics thereof
- H04N21/42653—Internal components of the client ; Characteristics thereof for processing graphics
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/431—Generation of visual interfaces for content selection or interaction; Content or additional data rendering
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
- H04N21/44008—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving operations for analysing video streams, e.g. detecting features or characteristics in the video stream
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
- H04N21/44012—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving rendering scenes according to scene graphs, e.g. MPEG-4 scene graphs
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
- H04N21/81—Monomedia components thereof
- H04N21/8146—Monomedia components thereof involving graphical data, e.g. 3D object, 2D graphics
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Computer Graphics (AREA)
- Databases & Information Systems (AREA)
- Processing Or Creating Images (AREA)
Abstract
本发明提供一种视频处理方法、装置、电子设备及存储介质，该方法包括：获取待处理视频；基于人体识别模型，对待处理视频的每帧视频图像进行人体识别；若在至少一帧视频图像中识别到人体，则在视频图像中人体所在的位置叠加贴纸图形。本发明在对待处理视频添加贴纸图形之前，先通过人体识别模型对每帧视频图像进行人体识别，当在视频图像中识别到人体，就在人体位置叠加贴纸图形，使得贴纸图形能够根据人体的位置变化，避免了出现贴纸在视频界面上固定不变的现象，能够满足用户要求。
Description
技术领域
本发明涉及图像处理领域，具体而言，涉及一种视频处理方法、装置、电子设备及存储介质。
背景技术
随着流媒体技术的进步，以及网络带宽的飞速增长，直播业务日趋火热，在直播图像或视频中添加一些特效对象(如贴纸)，能够使得图像或视频更加生动活泼，趣味性强，从而能够更加吸引用户，增加图像或视频的浏览量。
但是，现有的添加特效贴纸的方式，虽然可以将软件中提供的贴纸按照添加至图像中，但添加的贴纸在视频播放界面的位置是固定的，不能根据人物的变化而变化，无法满足用户的动画要求。
发明内容
有鉴于此，本发明的目的之一在于提供一种视频处理方法、装置、电子设备及存储介质，用以避免了出现贴纸在视频界面上固定不变的现象，使贴纸图形能够跟随人体位置移动，满足用户要求。
本发明技术方案可以这样实现：
第一方面，本发明提供一种视频处理方法，包括：获取待处理视频；基于人体识别模型，对所述待处理视频的每帧视频图像进行人体识别；若在至少一帧所述视频图像中识别到人体，则在所述视频图像中所述人体所在的位置叠加贴纸图形。
可选地，若在至少一帧所述视频图像中识别到人体，则在所述视频图像中所述人体所在的位置叠加贴纸图形，包括：若在至少一帧所述视频图像中识别到人体，则获取人体关键点的位置；在所述人体关键点的位置叠加与所述人体关键点匹配的贴纸图形。
可选地，在所述人体关键点的位置叠加与所述人体关键点匹配的贴纸图形，包括:显示交互界面，所述交互界面上具有贴纸选择区域；响应用户针对所述贴纸选择区域的操作，获取所述贴纸图形；根据所述贴纸图形的类型，确定与所述贴纸匹配的人体关键点；在与所述贴纸图形匹配的人体关键点的位置叠加所述贴纸图形。
可选地，所述交互界面还包视频预览区域，还包括：在所述视频预览区域显示叠加了所述贴纸图形的所述视频图像。
可选地，还包括：对具有所述贴纸图形的视频图像以及不具有所述贴纸图形的视频图像进行合成，生成处理后的待处理视频。
可选地，若在至少一帧所述视频图像中识别到人体，则在所述视频图像中所述人体所在的位置叠加贴纸图形，包括：获取存在所述人体的全部目标视频图像的全部时间戳以及用户选择的多张目标贴纸图形；为每张所述目标贴纸图形配置生效时间戳；所述生效时间戳与至少一个所述时间戳匹配；在每张所述目标视频图像中所述人体所在位置叠加生效时间戳与所述目标视频图像的时间戳匹配的目标贴纸图形。
第二方面，本发明提供一种视频处理装置，包括：获取模块，用于获取待处理视频；识别模块，用于基于人体识别模型，对所述待处理视频的每帧视频图像进行人体识别；添加模块，用于若在至少一帧所述视频图像中识别到人体，则在所述视频图像中所述人体所在的位置叠加贴纸图形。
可选地，添加模块，具体用于若在至少一帧所述视频图像中识别到人体，则获取人体关键点的位置；在所述人体关键点的位置叠加与所述人体关键点匹配的贴纸图形。
可选地，添加模块，还具体用于：显示交互界面，所述交互界面上具有贴纸选择区域；响应用户针对所述贴纸选择区域的操作，获取所述贴纸图形；根据所述贴纸图形的类型，确定与所述贴纸匹配的人体关键点；在与所述贴纸图形匹配的人体关键点的位置叠加所述贴纸图形。
可选地，所述视频处理装置还包括显示模块，所述交互界面还包视频预览区域，所述显示模块用于在所述视频预览区域显示叠加了所述贴纸图形的所述视频图像。
可选地，所述视频处理装置还包括合成模块，所述显合成模块用于对具有所述贴纸图形的视频图像以及不具有所述贴纸图形的视频图像进行合成，生成处理后的待处理视频。
可选地，添加模块，还具体用于获取存在所述人体的全部目标视频图像的全部时间戳以及用户选择的多张目标贴纸图形；为每张所述目标贴纸图形配置生效时间戳；所述生效时间戳与至少一个所述时间戳匹配；在每张所述目标视频图像中所述人体所在位置叠加生效时间戳与所述目标视频图像的时间戳匹配的目标贴纸图形。
第三方面，本发明提供一种电子设备，包括处理器和存储器，所述存储器存储有能够被所述处理器执行的计算机程序，所述处理器可执行所述计算机程序以实现第一方面所述的视频处理方法。
第四方面，本发明提供一种存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现第一方面所述的视频处理方法。
本发明提供一种视频处理方法、装置、电子设备及存储介质，该方法包括：获取待处理视频；基于人体识别模型，对所述待处理视频的每帧视频图像进行人体识别；若在至少一帧所述视频图像中识别到人体，则在所述视频图像中所述人体所在的位置叠加贴纸图形。与现有技术的区别在于，现有技术中视频上叠加的贴纸图形位置固定，无法跟随人体位置，无法满足用户对于动态贴纸的需求，而本发明在对待处理视频添加贴纸之前，先通过人体识别模型对每帧视频图像进行人体识别，当在视频图像中识别到人体，就在人体位置叠加贴纸图形，使得贴纸图形能够根据人体的位置变化，避免了出现贴纸在视频界面上固定不变的现象，能够满足用户要求。
附图说明
为了更清楚地说明本发明实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本发明的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。
图1为本发明实施例提供的一种视频处理方法的示意性流程图；
图2为本发明实施例提供的一种交互界面的示意图；
图3为本发明实施例提供的第一种场景示意图；
图4为本发明实施例提供的第二种场景示意图；
图5为本发明实施例提供的步骤S13的一种实现方式的示意性流程图；
图6为本发明实施例提供的另一种视频处理方法的示意性流程图；
图7为本发明实施例提供的另一种交互界面的示意图；
图8为本发明实施例提供的步骤132的一种实现方式的示意性流程图；
图9为本发明实施例提供的第三种场景示意图；
图10A为本发明实施例提供的第四种场景示意图；
图10B为本发明实施例提供的第五种场景示意图；
图11为本发明实施例提供的第六种场景示意图；
图12为本发明实施例提供的一种视频处理装置的功能模块图；
图13为本发明实施例提供的一种电子设备结构框图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本发明实施例的组件可以以各种不同的配置来布置和设计。
因此，以下对在附图中提供的本发明的实施例的详细描述并非旨在限制要求保护的本发明的范围，而是仅仅表示本发明的选定实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。
在本发明的描述中，需要说明的是，若出现术语“上”、“下”、“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，或者是该发明产品使用时惯常摆放的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。
此外，若出现术语“第一”、“第二”等仅用于区分描述，而不能理解为指示或暗示相对重要性。
需要说明的是，在不冲突的情况下，本发明的实施例中的特征可以相互结合。
随着移动社交应用软件的流行，移动社交应用软件的功能也日渐丰富，在图像或视频中添加一些特效对象(如贴纸)，既可以彰显作者的个性，又能够使得图像或视频更加生动活泼，趣味性强，从而能够更加吸引用户，增加图像或视频的浏览量。
例如，一个视频文件里面有一个人在跳舞，用户想要在这个人的头部位置添加皇冠贴纸，且添加的皇冠贴着可以随着头部的移动而移动，或者用户想要在视频中的人的眼部位置带上添加眼镜贴纸，合成视频后，每一帧画面上有人的地方都会有眼镜贴纸。
然而，在实际场景中，当视频中的人物处于运动状态，比如，人物在跳舞或者走路，那么对于不同帧图形而言，人物在图像中位置可能不同，或者，人物的某个部位在不同图像中位置不同。现有相关技术中的贴纸一般都是静态贴纸，即，贴纸在视频播放界面的某个位置保持不动，不能根据人位置的变化而变化，无法满足用户的动画要求。
为了解决上述技术问题，本发明实施例提供了一种视频处理方法，该视频处理方法，可以应用于电子设备中，电子设备可以但不限于是各种个人计算机、笔记本电脑、智能手机、平板电脑等。
需要说明的是，本发明实施例提供的一种视频处理方法，可以应用在视频后期编辑、加工等应用场景中，例如，用户可以从电影、录像带等视频的再加工。
请参见图1，图1为本发明实施例提供的一种视频处理方法的示意性流程图，该方法可以包括：
S11、获取待处理视频。
在一些可能的实施例中，上述的待处理视频可以是直播客户端在直播者进行直播时采集得到视频；直播客户端可以为集摄像、录音、显示等多个功能于一体的设备，例如，PC、手机、平板电脑等，也可以是将摄像机、录音机、显示屏等多个设备组合在一起而组成的直播设备，在此不做限定。待处理视频也可以是预先存储在电子设备存储器中的视频文件，例如电影、短视频、录像视频等，该视频文件可以是电子设备预先下载存储在存储器中的文件，也可以是电子设备通过录像或者摄像装置拍摄的视频文件，当待处理视频为预先存储的视频文件时，用户可以通过电子设备中的相应的应用程序的用户界面，可以根据自己的喜好或需要获得预先存储的待处理视频。
S12、基于人体识别模型，对待处理视频的每帧视频图像进行人体识别。
在一些可能的实施例中，对待处理视频中各帧图像进行人体识别，是指通过预先训练好的人体识别模型确定每一帧图像中是否存在人体，其中，人体识别模型可以采用卷积式机器学习算法针对大量训练图像进行训练，最终获得能够准确识别到人体的神经网络模型，训练图像可以预先从视频文件截取，或者从图像库中获取，大量的训练图像中，其中部分图像可以具有人体，部分图像可以不具有人体，从而可以对训练的人体识别模型进行测试，保证获得识别准确率较高的人体识别模型。
S13、若在至少一帧视频图像中识别到人体，则在视频图像中人体所在的位置叠加贴纸图形。
在一些可能的实施例中，可以事先创建贴纸图形模版并存储在服务器中，当用户首次使用某个贴纸图形时，可以从服务器中下载该模版，电子设备会保存已经下载的贴纸图形模版，以后再使用该图形模版时可以直接从电子设备本地获取。当用户需要添加贴纸时，电子设备会向用户展示贴纸图形列表，用户可以从该列表中选择需要的贴纸图形。电子设备获得用户选择的贴纸之后，即可将贴纸图形叠加在人体所在位置。
本发明提供一种视频处理方法，在获取待处理视频之后，即可基于人体识别模型，对待处理视频的每帧视频图像进行人体识别；若在至少一帧视频图像中识别到人体，则在视频图像中人体所在的位置叠加贴纸图形。与现有技术的区别在于，现有技术中视频上叠加的贴纸图形位置固定，无法跟随人体位置，无法满足用户对于动态贴纸的需求，而本发明在对待处理视频添加贴纸之前，先通过人体识别模型对每帧视频图像进行人体识别，当在视频图像中识别到人体，就在人体位置叠加贴纸图形，使得贴纸图形能够根据人体的位置变化，避免了出现贴纸在视频界面上固定不变的现象，能够满足用户要求。
为了方便理解上述实施例，下面以待处理视频为预先存储的视频文件为例，给出一种交互界面，请参见图2，图2为本发明实施例提供的一种交互界面的示意图，在如图2所示的交互界面中，包含获取待处理视频的控件、视频预览区域、视频轨道标识以及贴纸选择区域。该视频轨道标识可以在用户预览视频画面时播放或停止视频。
如图2所示的交互界面，用户可以通过操作获取视频控件获取预先存储的视频文件，例如，电影、短视频、录像视频等，获取的待处理视频可以显示在视频预览区域，用户可以根据拖拽视频预览区域下方的视频轨道显示不同帧视频图像，用户还可以根据自己的需要，确定是否在当前帧视频图像中添加贴纸图形，若用户需要添加贴纸，则可以在如图2所示的贴纸图形选择区域选择自己期望的贴纸，电子设备获得用户选择的贴纸之后，即可将贴纸图形叠加在人体所在位置。
基于图2所示的交互界面，实现上述视频处理方法的方式可以是：显示交互界面，响应用户针对视频获取控件的操作，获得待处理视频，对待处理视频的每帧视频图像进行人体识别，确定全部存在人体的视频帧图像；获取目标贴纸图形，将目标贴纸图形叠加在全部存在人体的视频帧图像中人体所在位置。
在获取贴纸的过程中，可以采用以下方式：响应用户针对贴纸选择区域的操作，获取用户选择的目标贴纸图形，将目标贴纸图形叠加到全部存在人体的视频帧图像中人体所在位置。
在一种场景中，参见图3，图3为本发明实施例提供的第一种场景示意图，用户通过操作视频获取控件(如图3中的“①”)，获得待处理视频后，用户可以通过操作视频轨道预览每帧图像(如图3中的“②”)，当在第n帧视频图像中识别到人体，用户可以在贴纸选择区域选择自己期望的贴纸(如图3中的“③”)，电子设备获得用户选择的贴纸后，将贴纸叠加在人体所在位置。
在另一种场景中，参见图4，图4为本发明实施例提供的第二种场景示意图，当在第m帧视频图像中没有识别到人体，则可以不用再为第m帧视频图像叠加贴纸图形。
可选地，对于识别到人体的视频图像，用户期望在不同的人体部位添加不同的形式的贴纸，增加视频的趣味性，因此，下面给出一种可能的实现方式，参见图5，图5为本发明实施例提供的步骤S13的一种实现方式的示意性流程图，即步骤S13可以包括：
S131、若在至少一帧视频图像中识别到人体，则获取人体关键点的位置。
在一些可能的实施例中，上述的人体识别模型对每帧视频图像进行人体识别的过程中，还可以对各帧图像进行人体姿态识别，以得到在各帧图像中的人体关键点的位置，其中，人体关键点即视频图像中用户的不同部位的特征点，可以指人体五官、关节点等处对应的关键点，如手腕、脖子、胳膊、肩部、膝盖、脚踝等处对应的关键点。
S132、在人体关键点的位置叠加与关键点匹配的贴纸图形。
在一些可能的实施例中，本发明实施例中的贴纸图形还可以为预先根据人体部位分成的多类贴纸图形库，贴纸图形库可以但不限于包含：头部贴纸类、眼睛贴纸类、脸部贴纸类、嘴巴贴纸类、脖子贴纸类、左手贴纸类、右手贴纸类、左脚贴纸类、右脚贴纸类、躯干贴纸类等。每一类贴纸图形库中贴纸图形可以包括但不限于为预配置的各种不同形式的图形，如水果图形、蔬菜图形、卡通图形等等，本公开实施例中对贴纸图形的具体样式不做限定。
在一种可能的实现方式中，每张贴纸图形可以通过与人体部位有关的描述性内容与人体部位建立关联关系，例如，眼镜形状的贴纸图形的描述性内容是眼部挂件、眼部装饰品等，另外，对于一些和人体部位无关的贴纸图形，例如，水果图形、蔬菜图形等，若用户期望将这类贴纸图形添加到某一个人体部位处，也可以为这类贴纸图形添加与人体部位有关的描述性内容，例如，水果图形的描述性内容可以为躯干装饰品或者头部装饰品，此处不作限定。
可选地，为了方便用户观察贴纸添加在不同人体部位的效果，下面还给出一种可能的实现方式，参见图6，图6为本发明实施例提供的另一种视频处理方法的示意性流程图，该方法还包括：
S14、在视频预览区域显示视频图像的人体关键点。
S15、将用户选择的贴纸图形加载到人体关键点的位置。
为了方便理解，在图3的基础上，请参见图7，图7为本发明实施例提供的另一种交互界面的示意图，在第n帧视频图像中存在人体，电子设备在识别到人体后，进而可以识别出多个人体关键点的位置，并通过视频预览界面向用户展示识别到的人体关键点，如图7所示，进而，用户可以在贴纸选择区域选择期望叠加在人体不同人体部位的贴纸。
可选地，为了准确为不同部位添加贴纸，下面给出一种可能的实现方式，参见图8，图8为本发明实施例提供的步骤132的一种实现方式的示意性流程图，即步骤S132可以包括：
S132-1、显示交互界面，交互界面上具有贴纸选择区域。
可以理解的是，上述的交互界面可以是图7所示的交互界面。
S132-2、响应用户针对贴纸选择区域的操作，获取贴纸图形。
S132-3、根据贴纸图形的类型，确定与贴纸匹配的人体关键点。
可以理解的是，本发明实施例中贴纸图形可以具有与人体部位相关的描述性内容，通过获取用户选择的贴纸图形的描述性内容，可以确定贴纸图形的类型，例如，眼镜形状的贴纸的描述性内容可以是眼部挂件，那么用户在选择到眼镜形状的贴纸图形后，可以确定该贴纸图形的类型为眼睛贴纸类。
S132-4、在与贴纸图形匹配的人体关键点的位置叠加贴纸图形。
为了方面理解，下面在图7的基础上，给出一种场景示意图，参见图9，图9为本发明实施例提供的第三种场景示意图。
例如，当在第n帧视频图像中识别到人体，其中n大于或等于1，在视频预览区域可以显示人体关键点，用于基于人体关键点识别结果，可以在贴纸图形选择区域根据自己的需要选择贴纸，例如，若用户可以在贴纸选择区域选择五角星形状的贴纸图形(如图9中的“①”)，电子设备获得用户选择的五角星形状的贴纸图形后，确定该贴纸的类型为头部贴纸类，则可以将五角星形状的贴纸图形叠加在头部所在位置；若用户可以在贴纸选择区域选择十六角星形状的贴纸图形(如图9中的“②”)，电子设备获得用户选择的十六角星形状贴纸图形后，确定该贴纸的类型为躯干贴纸类，则可以将十六角星形状贴纸图形叠加在躯干所在位置。
在另一种场景中,在不同帧视频图像中，人体位置未发生变化，但由于人体姿态改变导致人体关键点位置发生改变，此时，人体关键点位置处的位置也应该跟随人体关键点移动，请参见图10A和图10B，图10A为本发明实施例提供的第四种场景示意图，图10B为本发明实施例提供的第五种场景示意图。
首先，参见图10A，在第s帧图像中，人体位置坐标可以为(x,y),此时，用户可以在贴纸选择区域选择五角星形状的贴纸图形，电子设备将五角星形状的贴纸图形叠加在头部关键点所在位置；继而，参见图10B，在第s+r帧图像中,其中，r大于或等于1，人体位置坐标仍然为(x,y),人头部进行扭转、俯仰等动作，导致人体头部关键点发生位移改变，此时，用户仍然选择五角星形状的贴纸图形，电子设备可以将五角星形状的贴纸图形叠加在位置改变后的头部关键点所在位置，从而实现了贴纸跟随人体部位改变的效果。
可选地，为了获得具有贴纸效果的视频，还可以对全部叠加有贴纸图形的视频图像以及未叠加贴纸图形的视频图像进行视频合成。
可选地，为了实现同一人体关键点位置切换不同贴纸的效果，增加视频趣味性，下面还给出一种可能的实现方式，即视频图像中人体所在的位置叠加贴纸图形的方式可以是：先获取存在人体的全部视目标视频图像的全部时间戳以及用户选择的多张目标贴纸图形；为每张目标贴纸配置生效时间戳；生效时间戳与至少一个时间戳匹配；在每张目标视频图像中人体所在位置叠加生效时间戳与目标视频图像的时间戳匹配的目标贴纸图形。
为了方便理解，请参见图11，图11为本发明实施例提供的第六种场景示意图，在对所述待处理视频的每帧视频图像进行人体识别后，可以获得全部存在人体的视频图像的时间戳信息，如图11所示，假设在时刻t1、t2、t5、t6各自对应的视频图像中存在人体，用户在这3张图像中选择了两种目标贴纸图形，如图11所示的目标贴纸清单中目标贴纸1和目标贴纸2，此时可以根据视频图像的时间戳t1、t2、t5、t6，为目标贴纸1和目标贴纸2配置生效时间，例如，如目标贴纸清单所示，目标贴纸1的生效时间为t5和t6，目标贴纸2的生效时间为t1和t3，添加完贴纸后的视频效果图可以如图11所示贴纸效果视频图像所示，可以看出，在t1和t3时刻，人体位置的贴纸为目标贴纸1，在t1和t3时刻，人体位置的贴纸切换为目标贴纸2，从而实现更换贴纸的效果。
需要说明的是，在上述实施例中，假设存在人体的目标视频图像的时间戳有n个，这n个时间戳之间具有时序顺序，假设存在m个目标贴纸，那么为m个贴纸配置生效时间戳的方式可以是：将第1至m个目标贴纸在这n个时间戳中轮询，从而实现目标贴纸在随时切换的效果，例如，假设存在10帧目标视频图像对应t1至t10，目标贴纸2张，那么轮询的结果可以是：其中一张目标贴纸对应的时间戳为t1、t3、t5、t7、t9、另一张目标贴纸对应的时间戳为t2、t4、t6、t8、t10、还可以是：将预设数量的连续时间戳分配给每个目标贴纸，从而实现间隔一段时间实现贴纸切换想效果，其中预设数量的计算方式可以是对n除以m的商向下取整获得的数值，例如，继续以上述示例说明，将t1、t2、t3、t4、t5配置给一张目标贴纸，将t6、t7、t8、t9、t10配置给另一张目标贴纸。
在一种可能的实现方式中，对于存在人体的每帧视频图像，可以将贴纸图形叠加到人体关键点位置，生成这一帧新的视频图像，对于不存在人体的每帧视频图像，对该帧图形不进行任何处理，在合成时，按照原有的时间顺序，对全部视频图像进行合成。用户可以对合成后的视频进行保存，还可以在交互界面的视频预览区域进行播放预览。
为了实现与上述视频处理方法的实施例中的各个步骤，以达到对应的技术效果，下面给出一种视频处理装置的实现方式，参见图12，图12为本发明实施例提供的一种视频处理装置的功能模块图，其中，该视频处理装置20包括：获取模块201、识别模块202、添加模块203。
获取模块201，用于获取待处理视频。
识别模块202，用于基于人体识别模型，对所述待处理视频的每帧视频图像进行人体识别；
添加模块203，用于若在至少一帧所述视频图像中识别到人体，则在所述视频图像中所述人体所在的位置叠加贴纸图形。
可选地，为了实现为不同人体部位添加贴纸的效果，添加模块203，具体用于若在至少一帧所述视频图像中识别到人体，则获取人体关键点的位置；在所述人体关键点的位置叠加与所述人体关键点匹配的贴纸图形。
可选地，为了准确为不同部位添加贴纸，添加模块，还具体用于：显示交互界面，所述交互界面上具有贴纸选择区域；响应用户针对所述贴纸选择区域的操作，获取所述贴纸图形；根据所述贴纸图形的类型，确定与所述贴纸匹配的人体关键点；在与所述贴纸图形匹配的人体关键点的位置叠加所述贴纸图形。
可选地，所述交互界面还包视频预览区域，在与所述贴纸图形匹配的人体关键点的位置叠加所述贴纸图形之后，添加模块还用于：在所述视频预览区域显示所述视频图像的人体关键点；将用户选择的所述贴纸图形加载到所述人体关键点的位置。
可选地，该视频处理装置20还可以包括合成模块，合成模块用于对全部叠加有贴纸图形的视频图像以及未叠加贴纸图形的视频图像进行视频合成。
可选地，添加模块，还具体用于获取存在人体的全部目标视频图像的全部时间戳以及用户选择的多张目标贴纸图形；为每张目标贴纸图形配置生效时间戳；生效时间戳与至少一个所述时间戳匹配；在每张目标视频图像中所述人体所在位置叠加生效时间戳与目标视频图像的时间戳匹配的目标贴纸图形。
本发明实施例还提供一种电子设备，如图13，图13为本发明实施例提供的一种电子设备结构框图。该电子设备80包括通信接口801、处理器802和存储器803。该处理器802、存储器803和通信接口801相互之间直接或间接地电性连接，以实现数据的传输或交互。例如，这些元件相互之间可通过一条或多条通讯总线或信号线实现电性连接。存储器803可用于存储软件程序及模块，如本发明实施例所提供的视频处理方法对应的程序指令/模块，处理器802通过执行存储在存储器803内的软件程序及模块，从而执行各种功能应用以及数据处理。该通信接口801可用于与其他节点设备进行信令或数据的通信。在本发明中该电子设备80可以具有多个通信接口801。
其中，存储器803可以是但不限于，随机存取存储器(RandomAccessMemory，RAM)，只读存储器(ReadOnlyMemory，ROM)，可编程只读存储器(ProgrammableRead-OnlyMemory，PROM)，可擦除只读存储器(ErasableProgrammableRead-OnlyMemory，EPROM)，电可擦除只读存储器(ElectricErasableProgrammableRead-OnlyMemory，EEPROM)等。
处理器802可以是一种集成电路芯片，具有信号处理能力。该处理器可以是通用处理器，包括中央处理器(CentralProcessingUnit，CPU)、网络处理器(NetworkProcessor，NP)等；还可以是数字信号处理器(DigitalSignalProcessing，DSP)、专用集成电路(ApplicationSpecificIntegratedCircuit，ASIC)、现场可编程门阵列(Field－ProgrammableGateArray，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。
可以理解的是，上述的视频处理装置20的各个模块可以软件或固件(Firmware)的形式存储于电子设备80的存储器803中，并由处理器802执行，同时，执行上述模块所需的数据、程序的代码等可以存储在存储器803中。
本发明实施例提供一种存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现如前述实施方式中任一项的视频处理方法。该计算机可读存储介质可以是，但不限于，U盘、移动硬盘、ROM、RAM、PROM、EPROM、EEPROM、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到的变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以所述权利要求的保护范围为准。
Claims (11)
1.一种视频处理方法，其特征在于，包括：
获取待处理视频；
基于人体识别模型，对所述待处理视频的每帧视频图像进行人体识别；
若在至少一帧所述视频图像中识别到人体，则在所述视频图像中所述人体所在的位置叠加贴纸图形。
2.根据权利要求1所述的视频处理方法，其特征在于，若在至少一帧所述视频图像中识别到人体，则在所述视频图像中所述人体所在的位置叠加贴纸图形，包括：
若在至少一帧所述视频图像中识别到人体，则获取人体关键点的位置；
在所述人体关键点的位置叠加与所述人体关键点匹配的贴纸图形。
3.根据权利要求2所述的视频处理方法，其特征在于，在所述人体关键点的位置叠加与所述人体关键点匹配的贴纸图形，包括:
显示交互界面，所述交互界面上具有贴纸选择区域；
响应用户针对所述贴纸选择区域的操作，获取所述贴纸图形；
根据所述贴纸图形的类型，确定与所述贴纸匹配的人体关键点；
在与所述贴纸图形匹配的人体关键点的位置叠加所述贴纸图形。
4.根据权利要求3所述的视频处理方法，其特征在于，所述交互界面还包括视频预览区域，在与所述贴纸图形匹配的人体关键点的位置叠加所述贴纸图形之后，还包括：
在所述视频预览区域显示所述视频图像的人体关键点；
将用户选择的所述贴纸图形加载到所述人体关键点的位置。
5.根据权利要求1所述的视频处理方法，其特征在于，还包括：
对全部叠加有贴纸图形的视频图像以及未叠加贴纸图形的视频图像进行视频合成。
6.根据权利要求1所述的视频处理方法，其特征在于，若在至少一帧所述视频图像中识别到人体，则在所述视频图像中所述人体所在的位置叠加贴纸图形，包括：
获取存在所述人体的全部目标视频图像的全部时间戳以及用户选择的多张目标贴纸图形；
为每张所述目标贴纸图形配置生效时间戳；所述生效时间戳与至少一个所述时间戳匹配；
在每张所述目标视频图像中所述人体所在的位置叠加所述生效时间戳与所述目标视频图像的时间戳匹配的目标贴纸图形。
7.一种视频处理装置，其特征在于，包括：
获取模块，用于获取待处理视频；
识别模块，用于基于人体识别模型，对所述待处理视频的每帧视频图像进行人体识别；
添加模块，用于若在至少一帧所述视频图像中识别到人体，则在所述视频图像中所述人体所在的位置叠加贴纸图形。
8.根据权利要求7所述的视频处理装置，其特征在于，
添加模块，具体用于若在至少一帧所述视频图像中识别到人体，则获取人体关键点的位置；在所述人体关键点的位置叠加与所述人体关键点匹配的贴纸图形。
9.根据权利要求8所述的视频处理装置，其特征在于，添加模块，还具体用于：
显示交互界面，所述交互界面上具有贴纸选择区域；
响应用户针对所述贴纸选择区域的操作，获取所述贴纸图形；
根据所述贴纸图形的类型，确定与所述贴纸匹配的人体关键点；
在与所述贴纸图形匹配的人体关键点的位置叠加所述贴纸图形。
10.一种电子设备，包括处理器和存储器，其特征在于，所述存储器存储有能够被所述处理器执行的计算机程序，所述处理器可执行所述计算机程序以实现如权利要求1-6任意一项所述的视频处理方法。
11.一种存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1-6任意一项所述的视频处理方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110083859.3A CN112929683A (zh) | 2021-01-21 | 2021-01-21 | 视频处理方法、装置、电子设备及存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110083859.3A CN112929683A (zh) | 2021-01-21 | 2021-01-21 | 视频处理方法、装置、电子设备及存储介质 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN112929683A true CN112929683A (zh) | 2021-06-08 |
Family
ID=76164114
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110083859.3A Pending CN112929683A (zh) | 2021-01-21 | 2021-01-21 | 视频处理方法、装置、电子设备及存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112929683A (zh) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113422980A (zh) * | 2021-06-21 | 2021-09-21 | 广州博冠信息科技有限公司 | 视频数据处理方法及装置、电子设备、存储介质 |
| CN113613067A (zh) * | 2021-08-03 | 2021-11-05 | 北京字跳网络技术有限公司 | 视频处理方法、装置、设备及存储介质 |
| CN116095412A (zh) * | 2022-05-30 | 2023-05-09 | 荣耀终端有限公司 | 视频处理方法及电子设备 |
Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107578369A (zh) * | 2017-09-08 | 2018-01-12 | 北京奇虎科技有限公司 | 视频数据处理方法及装置、计算设备 |
| CN110809171A (zh) * | 2019-11-12 | 2020-02-18 | 腾讯科技（深圳）有限公司 | 视频处理方法及相关设备 |
| CN110971840A (zh) * | 2019-12-06 | 2020-04-07 | 广州酷狗计算机科技有限公司 | 视频贴图方法及装置、计算机设备及存储介质 |
| CN111031393A (zh) * | 2019-12-26 | 2020-04-17 | 广州酷狗计算机科技有限公司 | 视频播放方法、装置、终端及存储介质 |
| CN111225232A (zh) * | 2018-11-23 | 2020-06-02 | 北京字节跳动网络技术有限公司 | 基于视频的贴纸动画引擎、实现方法、服务器和介质 |
| CN111880709A (zh) * | 2020-07-31 | 2020-11-03 | 北京市商汤科技开发有限公司 | 一种展示方法、装置、计算机设备及存储介质 |
| WO2020259152A1 (zh) * | 2019-06-25 | 2020-12-30 | 北京字节跳动网络技术有限公司 | 贴纸生成方法、装置、介质和电子设备 |
-
2021
- 2021-01-21 CN CN202110083859.3A patent/CN112929683A/zh active Pending
Patent Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107578369A (zh) * | 2017-09-08 | 2018-01-12 | 北京奇虎科技有限公司 | 视频数据处理方法及装置、计算设备 |
| CN111225232A (zh) * | 2018-11-23 | 2020-06-02 | 北京字节跳动网络技术有限公司 | 基于视频的贴纸动画引擎、实现方法、服务器和介质 |
| WO2020259152A1 (zh) * | 2019-06-25 | 2020-12-30 | 北京字节跳动网络技术有限公司 | 贴纸生成方法、装置、介质和电子设备 |
| CN110809171A (zh) * | 2019-11-12 | 2020-02-18 | 腾讯科技（深圳）有限公司 | 视频处理方法及相关设备 |
| CN110971840A (zh) * | 2019-12-06 | 2020-04-07 | 广州酷狗计算机科技有限公司 | 视频贴图方法及装置、计算机设备及存储介质 |
| CN111031393A (zh) * | 2019-12-26 | 2020-04-17 | 广州酷狗计算机科技有限公司 | 视频播放方法、装置、终端及存储介质 |
| CN111880709A (zh) * | 2020-07-31 | 2020-11-03 | 北京市商汤科技开发有限公司 | 一种展示方法、装置、计算机设备及存储介质 |
Cited By (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113422980A (zh) * | 2021-06-21 | 2021-09-21 | 广州博冠信息科技有限公司 | 视频数据处理方法及装置、电子设备、存储介质 |
| CN113613067A (zh) * | 2021-08-03 | 2021-11-05 | 北京字跳网络技术有限公司 | 视频处理方法、装置、设备及存储介质 |
| WO2023011146A1 (zh) * | 2021-08-03 | 2023-02-09 | 北京字跳网络技术有限公司 | 视频处理方法、装置、设备及存储介质 |
| CN113613067B (zh) * | 2021-08-03 | 2023-08-22 | 北京字跳网络技术有限公司 | 视频处理方法、装置、设备及存储介质 |
| EP4344229A4 (en) * | 2021-08-03 | 2024-10-09 | Beijing Zitiao Network Technology Co Ltd | VIDEO PROCESSING METHOD AND APPARATUS, DEVICE AND STORAGE MEDIUM |
| CN116095412A (zh) * | 2022-05-30 | 2023-05-09 | 荣耀终端有限公司 | 视频处理方法及电子设备 |
| CN116095412B (zh) * | 2022-05-30 | 2023-11-14 | 荣耀终端有限公司 | 视频处理方法及电子设备 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109462776B (zh) | 一种视频特效添加方法、装置、终端设备及存储介质 | |
| CN112929683A (zh) | 视频处理方法、装置、电子设备及存储介质 | |
| KR101907136B1 (ko) | 유무선 웹을 통한 아바타 서비스 시스템 및 방법 | |
| US8547401B2 (en) | Portable augmented reality device and method | |
| TW201911082A (zh) | 圖像處理方法、裝置及儲存介質 | |
| KR101951761B1 (ko) | 모바일 환경에서 제공되는 서비스에서 아바타를 제공하는 아바타 서비스 시스템 및 방법 | |
| CN113112614B (zh) | 基于增强现实的互动方法及装置 | |
| CN108401176A (zh) | 一种实现视频人物标注的方法和装置 | |
| CN112199016B (zh) | 图像处理方法、装置、电子设备及计算机可读存储介质 | |
| CN112950751B (zh) | 姿态动作的展示方法及装置、存储介质、系统 | |
| CN113721804A (zh) | 一种显示方法、装置、电子设备及计算机可读存储介质 | |
| CN108322832A (zh) | 评论方法、装置、及电子设备 | |
| CN109600559B (zh) | 一种视频特效添加方法、装置、终端设备及存储介质 | |
| CN113487709A (zh) | 一种特效展示方法、装置、计算机设备以及存储介质 | |
| WO2018135246A1 (ja) | 情報処理システム及び情報処理装置 | |
| CN111639613B (zh) | 一种增强现实ar特效生成方法、装置及电子设备 | |
| CN107679942A (zh) | 基于虚拟现实的产品展示方法、装置及存储介质 | |
| CN113965773A (zh) | 直播展示方法和装置、存储介质及电子设备 | |
| CN114554111A (zh) | 视频生成方法和装置、存储介质及电子设备 | |
| CN116524088B (zh) | 珠宝虚拟试戴方法、装置、计算机设备和存储介质 | |
| CN110719415B (zh) | 一种视频图像处理方法、装置、电子设备及计算机可读介质 | |
| CN116912463A (zh) | 3d虚拟形象处理方法、装置、电子设备和可读存储介质 | |
| CN111625101B (zh) | 一种展示控制方法及装置 | |
| US20230103116A1 (en) | Content utilization platform system and method of producing augmented reality (ar)-based image output | |
| KR20180112751A (ko) | 유무선 웹을 통한 아바타 서비스 시스템 및 방법 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20210608 |