CN114666622A - 特效视频确定方法、装置、电子设备及存储介质 - Google Patents

特效视频确定方法、装置、电子设备及存储介质 Download PDF

Info

Publication number
CN114666622A
CN114666622A CN202210351050.9A CN202210351050A CN114666622A CN 114666622 A CN114666622 A CN 114666622A CN 202210351050 A CN202210351050 A CN 202210351050A CN 114666622 A CN114666622 A CN 114666622A
Authority
CN
China
Prior art keywords
video
special effect
target
scene object
target special
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210351050.9A
Other languages
English (en)
Inventor
马佳欣
刘纯
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Zitiao Network Technology Co Ltd
Original Assignee
Beijing Zitiao Network Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Zitiao Network Technology Co Ltd filed Critical Beijing Zitiao Network Technology Co Ltd
Priority to CN202210351050.9A priority Critical patent/CN114666622A/zh
Publication of CN114666622A publication Critical patent/CN114666622A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams, manipulating MPEG-4 scene graphs
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/236—Assembling of a multiplex stream, e.g. transport stream, by combining a video stream with other content or additional data, e.g. inserting a URL [Uniform Resource Locator] into a video stream, multiplexing software data into a video stream; Remultiplexing of multiplex streams; Insertion of stuffing bits into the multiplex stream, e.g. to obtain a constant bit-rate; Assembling of a packetised elementary stream
    • H04N21/23608—Remultiplexing multiplex streams, e.g. involving modifying time stamps or remapping the packet identifiers
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/238—Interfacing the downstream path of the transmission network, e.g. adapting the transmission rate of a video stream to network bandwidth; Processing of multiplex streams
    • H04N21/2387—Stream processing in response to a playback request from an end-user, e.g. for trick-play
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream, rendering scenes according to MPEG-4 scene graphs
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/472—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content
    • H04N21/47205—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content for manipulating displayed content, e.g. interacting with MPEG-4 objects, editing locally

Abstract

本公开实施例提供了一种特效视频确定方法、装置、电子设备及存储介质，该方法包括：响应于特效触发操作，调取至少两个视频处理通道；基于各视频处理通道绑定的视频处理算法，分别对待特效处理视频和实时视频流流进行处理，得到于显示界面的目标特效对象；基于所述目标特效对象和背景视频流，确定目标特效视频；其中，所述目标特效视频与所述待特效处理视频相对应。本公开实施例的技术方案，实现了基于双链路通道对两路视频分别进行处理，以得到目标特效视频，不仅提高了确定特效视频的效率，还丰富了特效视频内容的技术效果。

Description

特效视频确定方法、装置、电子设备及存储介质
技术领域
本公开实施例涉及计算机技术领域，尤其涉及一种特效视频的确定方法、装置、电子设备及存储介质。
背景技术
随着短视频的发展，越来越多的用户会通过短视频来记录相应的内容，或者通过拍摄短视频来休闲娱乐。
现有的短视频拍摄软件中多会集成各种特效道具，以基于相应的特效道具满足视频内容的丰富性。但是，现有的特效道具对视频的拍摄具有一定的局限性，例如，仅仅可以对上传的图像进行处理，无法应用到视频处理场景中。
发明内容
本发明提供一种特效视频确定方法、装置、电子设备及存储介质，以基于两个视频处理通道对相应的视频进行处理，得到目标特效视频，提高了特效视频帧处理多样性的技术效果。
第一方面，本公开实施例提供了一种特效视频确定方法，该方法包括：
响应于特效触发操作，调取至少两个视频处理通道；
基于各视频处理通道绑定的视频处理算法，分别对待特效处理视频和实时视频流流进行处理，得到于显示界面的目标特效对象；
基于所述目标特效对象和背景视频流，确定目标特效视频；
其中，所述目标特效视频和所述待特效处理视频中的显示对象相匹配。
第二方面，本公开实施例还提供了一种特效视频确定装置，该装置包括：
视频处理通道调取模块，用于响应于特效触发操作，调取至少两个视频处理通道；
特效对象确定模块，用于基于各视频处理通道绑定的视频处理算法，分别对待特效处理视频和实时视频流流进行处理，得到于显示界面的目标特效对象；
特效视频确定模块，用于基于所述目标特效对象和背景视频流，确定目标特效视频；
其中，所述目标特效视频和所述待特效处理视频中的显示对象相匹配。
第三方面，本公开实施例还提供了一种电子设备，所述设备包括：
一个或多个处理器；
存储装置，用于存储一个或多个程序，
当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如本公开实施例任一所述的特效视频确定方法。
第四方面，本公开实施例还提供了一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现如本公开实施例任一所述的特效视频确定方法。
本公开实施所提供的技术方案，通过在检测到触发相应的特效道具后，可以调取至少两个视频处理通道，基于各视频处理通道绑定的视频处理算法，可以分别对待特效处理视频和实时视频里进行处理，以得到最终显示在显示界面上的目标特效对象，基于目标特效对象和背景视频流，可以得到目标特效视频，实现了可以对双路视频流进行处理，从而得到相应的特效视频，提高了特效视频内容丰富性的效果。
附图说明
结合附图并参考以下具体实施方式，本公开各实施例的上述和其他特征、优点及方面将变得更加明显。贯穿附图中，相同或相似的附图标记表示相同或相似的元素。应当理解附图是示意性的，原件和元素不一定按照比例绘制。
图1为本公开实施例所提供的一种特效视频确定方法的流程示意图；
图2为本公开实施所提供的一种特效视频确定装置结构示意图；
图3为本公开实施例所提供的一种电子设备结构示意图。
具体实施方式
下面将参照附图更详细地描述本公开的实施例。虽然附图中显示了本公开的某些实施例，然而应当理解的是，本公开可以通过各种形式来实现，而且不应该被解释为限于这里阐述的实施例，相反提供这些实施例是为了更加透彻和完整地理解本公开。应当理解的是，本公开的附图及实施例仅用于示例性作用，并非用于限制本公开的保护范围。
应当理解，本公开的方法实施方式中记载的各个步骤可以按照不同的顺序执行，和/或并行执行。此外，方法实施方式可以包括附加的步骤和/或省略执行示出的步骤。本公开的范围在此方面不受限制。
本文使用的术语“包括”及其变形是开放性包括，即“包括但不限于”。术语“基于”是“至少部分地基于”。术语“一个实施例”表示“至少一个实施例”；术语“另一实施例”表示“至少一个另外的实施例”；术语“一些实施例”表示“至少一些实施例”。其他术语的相关定义将在下文描述中给出。
需要注意，本公开中提及的“第一”、“第二”等概念仅用于对不同的装置、模块或单元进行区分，并非用于限定这些装置、模块或单元所执行的功能的顺序或者相互依存关系。需要注意，本公开中提及的“一个”、“多个”的修饰是示意性而非限制性的，本领域技术人员应当理解，除非在上下文另有明确指出，否则应该理解为“一个或多个”。
本公开实施方式中的多个装置之间所交互的消息或者信息的名称仅用于说明性的目的，而并不是用于对这些消息或信息的范围进行限制。
在介绍本技术方案之前，可以先对应用场景进行示例性说明。可以将本公开技术方案应用在任意需要特效展示的画面中，例如，短视频拍摄场景，或者，现有的任意视频拍摄场景。
在本公开实施例中，可以基于本公开实施例所提供的技术方案集成相应的特效道具，该特效道具可以部署在视频处理软件中，以在拍摄视频图像时，可以生成与该特效道具相对应的目标特效视频。其具体的实施方式可以参见下述详细阐述。
图1为本公开实施例所提供的一种特效视频确定方法的流程示意图，本实施例可适用于在互联网所支持的任意图像展示场景中，用于基于实时视频流流和相应的录制视频，生成目标特效视频的情形，该方法可以由特效视频处理装置来执行，该装置可以通过软件和/或硬件的形式实现，该硬件可以是电子设备，如移动终端、PC端或服务器等。任意图像展示的场景通常是由客户端和服务器来配合实现的，本实施例所提供的方法可以由服务端来执行，客户端来执行，或者是客户端和服务端的配合来执行。
S110、响应于特效触发操作，调取至少两个视频处理通道。
其中，至少两个视频处理通道可以是两个处理通道，或者更多的视频处理通道。该视频处理通道主要用于对基于实时互动界面生成的多媒体数据流进行数据上传和处理，或者，对上传的待特效处理视频进行处理。
在本实施例中，所述响应于特效触发操作，调取至少两个视频处理通道，包括：响应于对目标特效道具的触发操作，调取至少两个视频处理通道；或，检测到入镜画面中包括场景对象时，调取所述至少两个视频处理通道。
可以理解为，当检测到触发与本实施例所提供的方案相对应的特效道具时，将触发的特效道具作为目标特效道具，此时，可以调取至少两个视频处理通道，以基于至少两个视频处理通道对相应的视频进行特效处理。另一种方式可以是，在检测到触发视频拍摄控件后，只要检测到入镜画面中包括相应的场景对象，可选的，场景对象可以是用户、动物等，就说明需要进行特效视频处理，可以调取至少两个视频处理通道。还可以是，只要检测到触发特效视频拍摄控件，就可以调取至少两个视频处理通道，以基于其中一个视频处理通道获取上传的视频或者对特效道具包中存储的待特效处理视频进行处理。
需要说明的是，执行本公开实施例提供的特效视频确定方法的装置，可以集成在支持特效图像处理功能的应用软件中，且该软件可以安装至电子设备中，可选的，电子设备可以是移动终端或者PC端等。应用软件可以是对图像/视频处理的一类软件，其具体的应用软件在此不再一一赘述，只要可以实现图像/视频处理即可。还可以是专门研发的应用程序，来实现添加特效并特效展示的软件中，亦或是集成在相应的页面中，用户可以通过PC端中集成的页面来实现特效添加处理。
S120、基于各视频处理通道绑定的视频处理算法，分别对待特效处理视频和实时视频流流进行处理，得到于显示界面的目标特效对象。
其中，至少两个视频处理通道包括第一处理通道和第二处理通道，相应的是，视频处理算法包括第一场景对象识别算法和第二场景对象识别算法。第一处理通道与第一场景对象识别算法相对应，第二处理通道与第二场景对象识别算法相对应。待特效处理视频可以是将基于此来确定特效视频内容的视频。实时视频流流可以是基于终端设备拍摄的内容生成的视频流。目标特效对象可以是于特效视频中显示的对象。也就是说，实时视频流和待特效处理视频流中都是包括相应的场景对象的。可以是在第一处理视频通道和第二视频处理通道中添加相应的功能组件，该功能组件中设置有相应的算法，以基于相应的算法实现面部识别、局部抠出以及部位跟随的效果。
具体的，基于预先设置的视频数据处理通道对待特效处理视频进行处理，以及基于另一视频数据处理通道对实时视频流流上传并处理，并基于与各视频处理通道绑定的视频处理算法，对相应的视频数据进行处理，以得到最终的目标特效对象。
在生成特效视频的实际应用中，可以是一个视频处理通道处理待特效处理视频，另一个视频处理通道对采集的实时视频流进行处理。
在触发目标特效道具之后，可以在显示界面上显示视频上传控件，如果用户触发了该视频上传控件，则用户可以根据个人偏好上传相应的视频，并将上传的视频作为待特效处理视频。当然，如果用户在预设时长内没有触发该视频上传控件，则可以调取特效道具中存储的待特效处理视频。
可选的，当检测到触发上传所述待特效处理视频的控件时，基于所述第一处理通道上传所述待特效处理视频，以提取所述待特效处理视频中的第一场景对象，并显示于所述显示界面；或，从特效道具包中调取与目标特效相对应的待特效处理视频，以基于所述第一处理通道提取所述待特效处理视频中的第一场景对象，并显示于所述显示界面。
可以理解为，待处理特效视频的来源包括两个，一个是用户上传的待特效处理视频，另一个为特效道具中存储的到特效处理视频。不论是哪一种待特效处理视频，都可以采用本技术方案来处理。对待处理特效的处理可以基于第一处理通道来实现，即基于第一处理通道传输待特效处理视频，并基于第一处理通道绑定的第一场景对象识别算法，确定待特效处理视频中的第一场景对象。第一场景对象可以是动物和/或用户。即，用户可以根据实际需求上传待处理特效视频，相应的，待处理特效视频中是包括第一场景对象的，可以基于第一场景对象识别算法识别出动物和/或用户，实现了特效对象定制化以及可自定义化，从而提高了用户体验的效果。
当然，在实际应用中，可能用户仅仅是浏览该特效视频效果，可以不触发待特效处理视频上传控件，此时，可以使用特效道具包中存储的待特效处理视频。可选的，如果预设时长内未触发视频上传控件，则可以将道具包中存储的视频作为待特效处理视频。
上述方式实现了，目标特效对象可以定制化的效果。即，用户可以自己选择上传视频，或者使用特效道具内置视频，视频中是包括相应的宠物的，当摄像头步骤到用户面部图像后，就可以将面部图像中的嘴部部位抠出，并将其显示在宠物嘴部部位的关键点上。
在上述技术方案的基础上，基于各视频处理通道绑定的视频处理算法，分别对待特效处理视频和实时视频流流进行处理，得到于显示界面的目标特效对象，包括：基于与第一处理通道相对应的第一场景对象识别算法，识别待特效处理视频中各待处理视频帧的第一场景对象；以及，基于摄像装置获取实时多媒体视频流，并基于与第二处理通道相对应的第二场景对象识别算法，识别实时视频流流的第二场景对象；基于第一场景对象和第二场景对象，确定目标特效对象。
可以理解为，每个处理通道都对应有一个识别算法。具体的，可以基于第一处理通道对应的第一场景对象识别算法，获取待特效处理视频中各待处理视频的第一场景对象。此时，第一场景识别算法可以是与第一场景对象相对应的面部识别算法。例如，第一场景对象主要是兔子或猫咪，那么第一场景对象识别算法，主要是识别猫咪或者兔子的算法。在基于第二处理通道对待特效处理视频处理的过程中，可以基于应用软件所属设备的摄像装置，拍摄包括第二场景对象的实时视频流，并基于第二处理通道传输该实时视频流，此时，可以通过与第二处理通道相对应的第二场景对象识别算法，确定实时视频流中的第二场景对象。第二场景对象可以是用户。可以根据第一场景对象和第二场景对象，确定目标特效对象，此时的目标特效对象为最终显示在显示界面上行的对象。
在本实施例中，根据第一场景对象和第二场景对象，确定目标特效对象可以是：获取第二场景对象目标部位的部位信息，并将该部位信息显示在第二场景对象的目标部位上，得到目标特效对象。
其中，目标部位可以是面部五官中的任意一个部位，还可以是肢体躯干上的任意一个部位。可选的，面部五官中的鼻子、嘴巴、眼睛、眉毛等，肢体躯干上的任意部位可以是手臂、腿部等。第一场景对象和第二场景对象可以相同，也可以不同，其具体是否相同在开发阶段可以进行设置，但是，不论是否相同，都需要采用双视频处理通道，分别对相应的视频流进行处理，以得到最终的显示效果。
可以理解为，第二场景对象识别算法不仅可以识别实时视频流中的第二场景对象，还可以提取第二场景对象中目标部位的部位信息。如，预先设置的目标部位为嘴巴，则基于第二场景对象识别算法在确定视频流中包括第二场景对象时，可以提取第二场景对象中的嘴巴部位。同时，可以将嘴巴部位替换换到第一场景对象的嘴巴部位上，以得到第一场景对象的嘴巴在第二场景对象嘴部上显示的效果。
通常，第二场景对象主要是用户，用户的表情都是非常丰富，相应的，五官的位置变化幅度是比较大的，此种情况下，可以根据目标部位在正常状态下的显示比例，确定一个基准比例，以便在后续具体应用过程中，可以根据基准比例调整实际采集的数据，以使目标部位信息与第二场景对象目标部位的相匹配。
可选的，获取第二场景对象中目标部位的部位信息，并根据所述部位信息和预设显示比例，更新所述部位信息。
其中，预设显示比例可以是在开发阶段设置的。其设置的依据主要是基于关键点识别算法，确定第一场景对象中目标部位在正常状态下的关键点。根据关键点确定出正常的显示比例。可以在表情夸张的情况下，基于该显示比例进行调整，以将调整后的嘴部信息显
S130、基于所述目标特效对象和背景视频流，确定目标特效视频。
其中，目标特效视频为在显示界面上显示的视频。背景视频流可以是目标特效视频背景信息所对应的视频流。目标特效对象为基于S110和S120确定出的在显示界面上显示的对象。
具体的，可以在显示界面上显示包括目标特效对象和背景视频流的目标特效视频。即，显示界面上可以基于背景视频流渲染出目标特效视频的背景视频，并将待特效处理视频帧中第二场景对象处理后，作为各背景视频帧的前景视频帧。
在本实施例中，基于目标特效对象和背景视频流，确定目标特效视频，可以是：将所述目标特效对象和所述实时视频流流中的背景视频流融合处理，得到所述目标特效视频；或，基于所述目标特效对象和所述待特效处理视频的背景视频流，确定所述目标特效视频；或，通过对所述目标特效对象和预先设置的背景视频流融合处理，得到所述目标特效视频。
基于上述可知，背景视频流的确定方式包括至少三种：
第一种方式为：可以将实时视频流中的除第二场景对象之外的视频流作为背景视频流。基于此背景视频流和确定出的目标特效对象，确定目标特效视频。
第二种方式为：直接在显示界面上显示待特效处理视频，并将第一场景对象中目标部位的部位信息显示在第二场景对象的目标部位上。
第三种方式为，可以预先设置的背景视频流，即预先设置目标特效对象在哪个背景视频流下进行播放，可以将目标特效对象在此背景视频流下进行显示。
示例性的，第一场景对象为宠物猫，第二场景对象为用户，第一场景对象识别算法为宠物识别算法，第二场景对象用户识别算法，目标部位为嘴部部位。用户可以触发目标特效道具，此时在显示界面上可以显示视频上传控件。若用户触发该控件，则可以基于第一处理通道获取上传的视频，并宠物面部识别算法，识别视频帧中的宠物，并将上传视频中宠物的动作等信息显示在显示界面上，同时，可以启动摄像装置拍摄包括用户的实时视频流，并基于第二处理通道获取实时视频流中的用户，并将用户的嘴部信息抠出显示在宠物的嘴部部位上，此时，用户图像并未显示在显示界面上。可以将实时视频流中的背景视频流作为目标特效视频的背景视频流，达到了用户嘴部跟随宠物移动效果。
在本实施例中，实现了一路视频处理通道对上传的待特效处理视频进行宠物识别，另一路视频处理通道对实时拍摄的视频进行处理，并抠出该视频流中嘴部部位，并将嘴部部位贴合在宠物嘴部关键点上，以达到用户嘴部跟随宠物嘴部移动的效果。
本公开实施所提供的技术方案，通过在检测到触发相应的特效道具后，可以调取至少两个视频处理通道，基于各视频处理通道绑定的视频处理算法，可以分别对待特效处理视频和实时视频里进行处理，以得到最终显示在显示界面上的目标特效对象，基于目标特效对象和背景视频流，可以得到目标特效视频，实现了可以对双路视频流进行处理，从而得到相应的特效视频，提高了特效视频内容丰富性的效果。
图2为本公开实施例所提供的一种特效视频确定装置结构示意图，所述装置包括：视频处理通道调取模块210、特效对象确定模块220以及特效视频确定模块230。
其中，视频处理通道调取模块210，用于响应于特效触发操作，调取至少两个视频处理通道；特效对象确定模块220，用于基于各视频处理通道绑定的视频处理算法，分别对待特效处理视频和实时视频流流进行处理，得到于显示界面的目标特效对象；特效视频确定模块230，用于基于所述目标特效对象和背景视频流，确定目标特效视频；其中，所述目标特效视频和所述待特效处理视频中的显示对象相匹配。
在上述技术方案的基础上，所述响应于特效触发操作，调取至少两个视频处理通道，包括：
响应于对目标特效道具的触发操作，调取至少两个视频处理通道；或，
检测到入镜画面中包括场景对象时，调取所述至少两个视频处理通道。
在上述技术方案的基础上，所述至少两个视频处理通道包括第一处理通道和第二处理通道，所述视频处理算法包括第一场景对象识别算法和第二场景对象识别算法，所述第一处理通道与所述第一场景对象识别算法相对应，所述第二处理通道与所述第二场景对象识别算法相对应。
在上述技术方案的基础上，在所述调取至少两个视频处理通道之后，还包括：
当检测到触发上传所述待特效处理视频的控件时，基于所述第一处理通道上传所述待特效处理视频，以提取所述待特效处理视频中的第一场景对象，并显示于所述显示界面；或，从特效道具包中调取与目标特效相对应的待特效处理视频，以基于所述第一处理通道提取所述待特效处理视频中的第一场景对象，并显示于所述显示界面。
在上述技术方案的基础上，所述特效对象确定算法，包括：第一对象确定单元，用于基于与所述第一处理通道相对应的第一场景对象识别算法，识别所述待特效处理视频中各待处理视频帧的第一场景对象；以及，
第二对象确定单元，用于基于摄像装置获取实时多媒体视频流，并基于与所述第二处理通道相对应的第二场景对象识别算法，识别所述实时视频流流的第二场景对象；
目标特效对象确定单元，用于基于所述第一场景对象和所述第二场景对象，确定所述目标特效对象。
在上述技术方案的基础上，所述目标特效对象确定单元，用于获取所述第二场景对象目标部位的部位信息，并将所述部位信息显示在所述第二场景对象的目标部位上，得到所述目标特效对象。
在上述技术方案的基础上，所述目标特效对象确定单元，用于获取第二场景对象中目标部位的部位信息，并根据所述部位信息和预设显示比例，更新所述部位信息。
在上述技术方案的基础上，所述特效视频确定模块，用于将所述目标特效对象和所述实时视频流流中的背景视频流融合处理，得到所述目标特效视频；或，
基于所述目标特效对象和所述待特效处理视频的背景视频流，确定所述目标特效视频；或，
通过对所述目标特效对象和预先设置的背景视频流融合处理，得到所述目标特效视频。
在上述技术方案的基础上，所述第一场景对象和所述第二场景对象为用户或动物，所述目标部位包括肢体躯干上的任意部位。
本公开实施所提供的技术方案，通过在检测到触发相应的特效道具后，可以调取至少两个视频处理通道，基于各视频处理通道绑定的视频处理算法，可以分别对待特效处理视频和实时视频里进行处理，以得到最终显示在显示界面上的目标特效对象，基于目标特效对象和背景视频流，可以得到目标特效视频，实现了可以对双路视频流进行处理，从而得到相应的特效视频，提高了特效视频内容丰富性的效果。
本公开实施例所提供的图像处理装置可执行本公开任意实施例所提供的图像处理方法，具备执行方法相应的功能模块和有益效果。
值得注意的是，上述装置所包括的各个单元和模块只是按照功能逻辑进行划分的，但并不局限于上述的划分，只要能够实现相应的功能即可；另外，各功能单元的具体名称也只是为了便于相互区分，并不用于限制本公开实施例的保护范围。
图3为本公开实施例所提供的一种电子设备的结构示意图。下面参考图3，其示出了适于用来实现本公开实施例的电子设备(例如图3中的终端设备或服务器)300的结构示意图。本公开实施例中的终端设备可以包括但不限于诸如移动电话、笔记本电脑、数字广播接收器、PDA(个人数字助理)、PAD(平板电脑)、PMP(便携式多媒体播放器)、车载终端(例如车载导航终端)等等的移动终端以及诸如数字TV、台式计算机等等的固定终端。图3示出的电子设备仅仅是一个示例，不应对本公开实施例的功能和使用范围带来任何限制。
如图3所示，电子设备300可以包括处理装置(例如中央处理器、图形处理器等)301，其可以根据存储在只读存储器(ROM)302中的程序或者从存储装置308加载到随机访问存储器(RAM)303中的程序而执行各种适当的动作和处理。在RAM 303中，还存储有电子设备300操作所需的各种程序和数据。处理装置301、ROM 302以及RAM 303通过总线304彼此相连。编辑/输出(I/O)接口305也连接至总线304。
通常，以下装置可以连接至I/O接口305：包括例如触摸屏、触摸板、键盘、鼠标、摄像头、麦克风、加速度计、陀螺仪等的输入装置306；包括例如液晶显示器(LCD)、扬声器、振动器等的输出装置307；包括例如磁带、硬盘等的存储装置308；以及通信装置309。通信装置309可以允许电子设备300与其他设备进行无线或有线通信以交换数据。虽然图3示出了具有各种装置的电子设备300，但是应理解的是，并不要求实施或具备所有示出的装置。可以替代地实施或具备更多或更少的装置。
特别地，根据本公开的实施例，上文参考流程图描述的过程可以被实现为计算机软件程序。例如，本公开的实施例包括一种计算机程序产品，其包括承载在非暂态计算机可读介质上的计算机程序，该计算机程序包含用于执行流程图所示的方法的程序代码。在这样的实施例中，该计算机程序可以通过通信装置309从网络上被下载和安装，或者从存储装置308被安装，或者从ROM 302被安装。在该计算机程序被处理装置301执行时，执行本公开实施例的方法中限定的上述功能。
本公开实施方式中的多个装置之间所交互的消息或者信息的名称仅用于说明性的目的，而并不是用于对这些消息或信息的范围进行限制。
本公开实施例提供的电子设备与上述实施例提供的特效视频确定方法属于同一发明构思，未在本实施例中详尽描述的技术细节可参见上述实施例，并且本实施例与上述实施例具有相同的有益效果。
本公开实施例提供了一种计算机存储介质，其上存储有计算机程序，该程序被处理器执行时实现上述实施例所提供的特效视频确定方法。
需要说明的是，本公开上述的计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质或者是上述两者的任意组合。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子可以包括但不限于：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机访问存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本公开中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。而在本公开中，计算机可读信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读信号介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括但不限于：电线、光缆、RF(射频)等等，或者上述的任意合适的组合。
在一些实施方式中，客户端、服务器可以利用诸如HTTP(HyperText TransferProtocol，超文本传输协议)之类的任何当前已知或未来研发的网络协议进行通信，并且可以与任意形式或介质的数字数据通信(例如，通信网络)互连。通信网络的示例包括局域网(“LAN”)，广域网(“WAN”)，网际网(例如，互联网)以及端对端网络(例如，ad hoc端对端网络)，以及任何当前已知或未来研发的网络。
上述计算机可读介质可以是上述电子设备中所包含的；也可以是单独存在，而未装配入该电子设备中。
上述计算机可读介质承载有一个或者多个程序，当上述一个或者多个程序被该电子设备执行时，使得该电子设备：
响应于特效触发操作，调取至少两个视频处理通道；
基于各视频处理通道绑定的视频处理算法，分别对待特效处理视频和实时视频流流进行处理，得到于显示界面的目标特效对象；
基于所述目标特效对象和背景视频流，确定目标特效视频。
可以以一种或多种程序设计语言或其组合来编写用于执行本公开的操作的计算机程序代码，上述程序设计语言包括但不限于面向对象的程序设计语言—诸如Java、Smalltalk、C++，还包括常规的过程式程序设计语言—诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中，远程计算机可以通过任意种类的网络——包括局域网(LAN)或广域网(WAN)—连接到用户计算机，或者，可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。
附图中的流程图和框图，图示了按照本公开各种实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分，该模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个接连地表示的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或操作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。
描述于本公开实施例中所涉及到的单元可以通过软件的方式实现，也可以通过硬件的方式来实现。其中，单元的名称在某种情况下并不构成对该单元本身的限定，例如，第一获取单元还可以被描述为“获取至少两个网际协议地址的单元”。
本文中以上描述的功能可以至少部分地由一个或多个硬件逻辑部件来执行。例如，非限制性地，可以使用的示范类型的硬件逻辑部件包括：现场可编程门阵列(FPGA)、专用集成电路(ASIC)、专用标准产品(ASSP)、片上系统(SOC)、复杂可编程逻辑设备(CPLD)等等。
在本公开的上下文中，机器可读介质可以是有形的介质，其可以包含或存储以供指令执行系统、装置或设备使用或与指令执行系统、装置或设备结合地使用的程序。机器可读介质可以是机器可读信号介质或机器可读储存介质。机器可读介质可以包括但不限于电子的、磁性的、光学的、电磁的、红外的、或半导体系统、装置或设备，或者上述内容的任何合适组合。机器可读存储介质的更具体示例会包括基于一个或多个线的电气连接、便携式计算机盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦除可编程只读存储器(EPROM或快闪存储器)、光纤、便捷式紧凑盘只读存储器(CD-ROM)、光学储存设备、磁储存设备、或上述内容的任何合适组合。
根据本公开的一个或多个实施例，【示例一】提供了一种特效视频确定方法，该方法包括：
响应于特效触发操作，调取至少两个视频处理通道；
基于各视频处理通道绑定的视频处理算法，分别对待特效处理视频和实时视频流流进行处理，得到于显示界面的目标特效对象；
基于所述目标特效对象和背景视频流，确定目标特效视频；
其中，所述目标特效视频和所述待特效处理视频中的显示对象相匹配。
根据本公开的一个或多个实施例，【示例二】提供了一种特效视频确定方法，包括：
可选的，所述响应于特效触发操作，调取至少两个视频处理通道，包括：
响应于对目标特效道具的触发操作，调取至少两个视频处理通道；或，检测到入镜画面中包括场景对象时，调取所述至少两个视频处理通道。
根据本公开的一个或多个实施例，【示例三】提供了一种特效视频确定方法，包括：
可选的，所述至少两个视频处理通道包括第一处理通道和第二处理通道，所述视频处理算法包括第一场景对象识别算法和第二场景对象识别算法，所述第一处理通道与所述第一场景对象识别算法相对应，所述第二处理通道与所述第二场景对象识别算法相对应。
根据本公开的一个或多个实施例，【示例四】提供了一种特效视频确定方法，包括：
可选的，在所述调取至少两个视频处理通道之后，还包括：
当检测到触发上传所述待特效处理视频的控件时，基于所述第一处理通道上传所述待特效处理视频，以提取所述待特效处理视频中的第一场景对象，并显示于所述显示界面；或，从特效道具包中调取与目标特效相对应的待特效处理视频，以基于所述第一处理通道提取所述待特效处理视频中的第一场景对象，并显示于所述显示界面。
根据本公开的一个或多个实施例，【示例五】提供了一种特效视频确定方法，包括：
可选的，所述基于各视频处理通道绑定的视频处理算法，分别对待特效处理视频和实时视频流流进行处理，得到于显示界面的目标特效对象，包括：基于与所述第一处理通道相对应的第一场景对象识别算法，识别所述待特效处理视频中各待处理视频帧的第一场景对象；以及，基于摄像装置获取实时多媒体视频流，并基于与所述第二处理通道相对应的第二场景对象识别算法，识别所述实时视频流流的第二场景对象；基于所述第一场景对象和所述第二场景对象，确定所述目标特效对象。
根据本公开的一个或多个实施例，【示例六】提供了一种特效视频确定方法，包括：
可选的，所述基于所述第一场景对象和所述第二场景对象，确定所述目标特效对象，包括：获取所述第二场景对象目标部位的部位信息，并将所述部位信息显示在所述第二场景对象的目标部位上，得到所述目标特效对象。
根据本公开的一个或多个实施例，【示例七】提供了一种特效视频确定方法，包括：
可选的，所述获取所述第二场景对象目标部位的部位信息，包括：获取第二场景对象中目标部位的部位信息，并根据所述部位信息和预设显示比例，更新所述部位信息。
根据本公开的一个或多个实施例，【示例八】提供了一种特效视频确定方法，包括：
可选的，所述基于所述目标特效对象和所述背景视频流，确定目标特效视频，包括：
将所述目标特效对象和所述实时视频流流中的背景视频流融合处理，得到所述目标特效视频；或，基于所述目标特效对象和所述待特效处理视频的背景视频流，确定所述目标特效视频；或，通过对所述目标特效对象和预先设置的背景视频流融合处理，得到所述目标特效视频。
根据本公开的一个或多个实施例，【示例九】提供了一种特效视频确定方法，包括：
可选的，所述第一场景对象和所述第二场景对象为用户或动物，所述目标部位包括肢体躯干上的任意部位。
根据本公开的一个或多个实施例，【示例十】提供了一种特效视频确定装置，该装置包括：
视频处理通道调取模块，用于响应于特效触发操作，调取至少两个视频处理通道；
特效对象确定模块，用于基于各视频处理通道绑定的视频处理算法，分别对待特效处理视频和实时视频流流进行处理，得到于显示界面的目标特效对象；
特效视频确定模块，用于基于所述目标特效对象和背景视频流，确定目标特效视频；
其中，所述目标特效视频和所述待特效处理视频中的显示对象相匹配。
以上描述仅为本公开的较佳实施例以及对所运用技术原理的说明。本领域技术人员应当理解，本公开中所涉及的公开范围，并不限于上述技术特征的特定组合而成的技术方案，同时也应涵盖在不脱离上述公开构思的情况下，由上述技术特征或其等同特征进行任意组合而形成的其它技术方案。例如上述特征与本公开中公开的(但不限于)具有类似功能的技术特征进行互相替换而形成的技术方案。
此外，虽然采用特定次序描绘了各操作，但是这不应当理解为要求这些操作以所示出的特定次序或以顺序次序执行来执行。在一定环境下，多任务和并行处理可能是有利的。同样地，虽然在上面论述中包含了若干具体实现细节，但是这些不应当被解释为对本公开的范围的限制。在单独的实施例的上下文中描述的某些特征还可以组合地实现在单个实施例中。相反地，在单个实施例的上下文中描述的各种特征也可以单独地或以任何合适的子组合的方式实现在多个实施例中。
尽管已经采用特定于结构特征和/或方法逻辑动作的语言描述了本主题，但是应当理解所附权利要求书中所限定的主题未必局限于上面描述的特定特征或动作。相反，上面所描述的特定特征和动作仅仅是实现权利要求书的示例形式。

Claims (12)

1.一种特效视频确定方法，其特征在于，包括：
响应于特效触发操作，调取至少两个视频处理通道；
基于各视频处理通道绑定的视频处理算法，分别对待特效处理视频和实时视频流流进行处理，得到于显示界面的目标特效对象；
基于所述目标特效对象和背景视频流，确定目标特效视频。
2.根据权利要求1所述的方法，其特征在于，所述响应于特效触发操作，调取至少两个视频处理通道，包括：
响应于对目标特效道具的触发操作，调取至少两个视频处理通道；或，
检测到入镜画面中包括场景对象时，调取所述至少两个视频处理通道。
3.根据权利要求1所述的方法，其特征在于，所述至少两个视频处理通道包括第一处理通道和第二处理通道，所述视频处理算法包括第一场景对象识别算法和第二场景对象识别算法，所述第一处理通道与所述第一场景对象识别算法相对应，所述第二处理通道与所述第二场景对象识别算法相对应。
4.根据权利要求3所述的方法，其特征在于，在所述调取至少两个视频处理通道之后，还包括：
当检测到触发上传所述待特效处理视频的控件时，基于所述第一处理通道上传所述待特效处理视频，以提取所述待特效处理视频中的第一场景对象，并显示于所述显示界面；或，
从特效道具包中调取与目标特效相对应的待特效处理视频，以基于所述第一处理通道提取所述待特效处理视频中的第一场景对象，并显示于所述显示界面。
5.根据权利要求3所述的方法，其特征在于，所述基于各视频处理通道绑定的视频处理算法，分别对待特效处理视频和实时视频流流进行处理，得到于显示界面的目标特效对象，包括：
基于与所述第一处理通道相对应的第一场景对象识别算法，识别所述待特效处理视频中各待处理视频帧的第一场景对象；以及，
基于摄像装置获取实时多媒体视频流，并基于与所述第二处理通道相对应的第二场景对象识别算法，识别所述实时视频流流的第二场景对象；
基于所述第一场景对象和所述第二场景对象，确定所述目标特效对象。
6.根据权利要求5所述的方法，其特征在于，所述基于所述第一场景对象和所述第二场景对象，确定所述目标特效对象，包括：
获取所述第二场景对象目标部位的部位信息，并将所述部位信息显示在所述第二场景对象的目标部位上，得到所述目标特效对象。
7.根据权利要求6所述的方法，其特征在于，所述获取所述第二场景对象目标部位的部位信息，包括：
获取第二场景对象中目标部位的部位信息，并根据所述部位信息和预设显示比例，更新所述部位信息。
8.根据权利要求1所述的方法，其特征在于，所述基于所述目标特效对象和所述背景视频流，确定目标特效视频，包括：
将所述目标特效对象和所述实时视频流流中的背景视频流融合处理，得到所述目标特效视频；或，
基于所述目标特效对象和所述待特效处理视频的背景视频流，确定所述目标特效视频；或，
通过对所述目标特效对象和预先设置的背景视频流融合处理，得到所述目标特效视频。
9.根据权利要求6所述的方法，其特征在于，所述第一场景对象和所述第二场景对象为用户或动物，所述目标部位包括肢体躯干上的任意部位。
10.一种特效视频确定装置，其特征在于，包括：
视频处理通道调取模块，用于响应于特效触发操作，调取至少两个视频处理通道；
特效对象确定模块，用于基于各视频处理通道绑定的视频处理算法，分别对待特效处理视频和实时视频流流进行处理，得到于显示界面的目标特效对象；
特效视频确定模块，用于基于所述目标特效对象和背景视频流，确定目标特效视频；
其中，所述目标特效视频和所述待特效处理视频中的显示对象相匹配。
11.一种电子设备，其特征在于，所述设备包括：
一个或多个处理器；
存储装置，用于存储一个或多个程序，
当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如权利要求1-9中任一所述的特效视频确定方法。
12.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现如权利要求1-9中任一所述的特效视频确定方法。
CN202210351050.9A 2022-04-02 2022-04-02 特效视频确定方法、装置、电子设备及存储介质 Pending CN114666622A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210351050.9A CN114666622A (zh) 2022-04-02 2022-04-02 特效视频确定方法、装置、电子设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210351050.9A CN114666622A (zh) 2022-04-02 2022-04-02 特效视频确定方法、装置、电子设备及存储介质

Publications (1)

Publication Number Publication Date
CN114666622A true CN114666622A (zh) 2022-06-24

Family

ID=82034938

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210351050.9A Pending CN114666622A (zh) 2022-04-02 2022-04-02 特效视频确定方法、装置、电子设备及存储介质

Country Status (1)

Country Link
CN (1) CN114666622A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116456131A (zh) * 2023-03-13 2023-07-18 北京达佳互联信息技术有限公司 特效渲染方法、装置、电子设备及存储介质

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018102880A1 (en) * 2016-12-09 2018-06-14 Frangos Marcus George Systems and methods for replacing faces in videos
CN108537725A (zh) * 2018-04-10 2018-09-14 光锐恒宇（北京）科技有限公司 一种视频处理方法和装置
CN108711192A (zh) * 2018-04-10 2018-10-26 光锐恒宇（北京）科技有限公司 一种视频处理方法和装置
CN112153472A (zh) * 2020-09-27 2020-12-29 广州博冠信息科技有限公司 一种画面特效的生成方法及装置、存储介质及电子设备
CN113362434A (zh) * 2021-05-31 2021-09-07 北京达佳互联信息技术有限公司 一种图像处理方法、装置、电子设备及存储介质

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018102880A1 (en) * 2016-12-09 2018-06-14 Frangos Marcus George Systems and methods for replacing faces in videos
CN108537725A (zh) * 2018-04-10 2018-09-14 光锐恒宇（北京）科技有限公司 一种视频处理方法和装置
CN108711192A (zh) * 2018-04-10 2018-10-26 光锐恒宇（北京）科技有限公司 一种视频处理方法和装置
CN112153472A (zh) * 2020-09-27 2020-12-29 广州博冠信息科技有限公司 一种画面特效的生成方法及装置、存储介质及电子设备
CN113362434A (zh) * 2021-05-31 2021-09-07 北京达佳互联信息技术有限公司 一种图像处理方法、装置、电子设备及存储介质

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116456131A (zh) * 2023-03-13 2023-07-18 北京达佳互联信息技术有限公司 特效渲染方法、装置、电子设备及存储介质
CN116456131B (zh) * 2023-03-13 2023-12-19 北京达佳互联信息技术有限公司 特效渲染方法、装置、电子设备及存储介质

Similar Documents

Publication Publication Date Title
CN113411642B (zh) 投屏方法、装置、电子设备和存储介质
US20230421716A1 (en) Video processing method and apparatus, electronic device and storage medium
WO2023051185A1 (zh) 图像处理方法、装置、电子设备及存储介质
CN113542902B (zh) 一种视频处理方法、装置、电子设备和存储介质
CN112351222B (zh) 图像特效处理方法、装置、电子设备和计算机可读存储介质
CN113467603A (zh) 音频处理方法、装置、可读介质及电子设备
CN113010740A (zh) 词权重的生成方法、装置、设备及介质
US20240121349A1 (en) Video shooting method and apparatus, electronic device and storage medium
CN113033677A (zh) 视频分类方法、装置、电子设备和存储介质
CN114095671A (zh) 云会议直播系统、方法、装置、设备及介质
CN113589982A (zh) 一种资源播放方法、装置、电子设备和存储介质
CN116934577A (zh) 一种风格图像生成方法、装置、设备及介质
CN114666622A (zh) 特效视频确定方法、装置、电子设备及存储介质
WO2021057644A1 (zh) 拍摄方法和装置
CN110414625B (zh) 确定相似数据的方法、装置、电子设备及存储介质
CN113628097A (zh) 图像特效配置方法、图像识别方法、装置及电子设备
CN110809166B (zh) 视频数据处理方法、装置和电子设备
CN110084306B (zh) 用于生成动态图像的方法和装置
CN114697568B (zh) 特效视频确定方法、装置、电子设备及存储介质
CN115002359A (zh) 视频处理方法、装置、电子设备及存储介质
CN111314627B (zh) 用于处理视频帧的方法和装置
CN110188833B (zh) 用于训练模型的方法和装置
CN113837918A (zh) 多进程实现渲染隔离的方法及装置
CN112492230A (zh) 视频处理方法、装置、可读介质及电子设备
CN111787257A (zh) 一种视频录制方法、装置、电子设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination