CN113301385A - 视频数据处理方法、装置、电子设备和可读存储介质 - Google Patents

视频数据处理方法、装置、电子设备和可读存储介质 Download PDF

Info

Publication number
CN113301385A
CN113301385A CN202110560242.6A CN202110560242A CN113301385A CN 113301385 A CN113301385 A CN 113301385A CN 202110560242 A CN202110560242 A CN 202110560242A CN 113301385 A CN113301385 A CN 113301385A
Authority
CN
China
Prior art keywords
video
target
determining
processed
frame
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202110560242.6A
Other languages
English (en)
Other versions
CN113301385B (zh
Inventor
赵明瑶
舒科
闫嵩
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Dami Technology Co Ltd
Original Assignee
Beijing Dami Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Dami Technology Co Ltd filed Critical Beijing Dami Technology Co Ltd
Priority to CN202110560242.6A priority Critical patent/CN113301385B/zh
Publication of CN113301385A publication Critical patent/CN113301385A/zh
Application granted granted Critical
Publication of CN113301385B publication Critical patent/CN113301385B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/23418—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving operations for analysing video streams, e.g. detecting features or characteristics
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/23424—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving splicing one content stream with another content stream, e.g. for inserting or substituting an advertisement
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/426—Internal components of the client ; Characteristics thereof
    • H04N21/42653—Internal components of the client ; Characteristics thereof for processing graphics
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/44008—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving operations for analysing video streams, e.g. detecting features or characteristics in the video stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/44016—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving splicing one content stream with another content stream, e.g. for substituting a video clip
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/265—Mixing

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Graphics (AREA)
  • Business, Economics & Management (AREA)
  • Marketing (AREA)
  • Television Signal Processing For Recording (AREA)

Abstract

本申请实施例提供了一种视频数据处理方法、装置、电子设备和可读存储介质，涉及计算机技术领域，在本申请实施例中，可以基于对原始视频的目标检测，选取带有检测对象的目标帧。由此，本申请实施例可以基于各目标帧之间的间隔对各目标帧进行合并，确定各待处理视频片段，其中，由于目标帧之间的间隔长短可以表征目标帧之间是否连续，因此，通过各目标帧之间的间隔，本申请实施例可以确定内容连贯的多个待处理视频片段。这样，通过本申请实施例可以确定既带有检测对象，又内容连贯的多个待处理视频片段，使得后续进行视频合成时可以得到质量较高的合成视频。

Description

视频数据处理方法、装置、电子设备和可读存储介质
技术领域
本申请涉及计算机技术领域，特别是涉及一种视频数据处理方法、装置、电子设备和可读存储介质。
背景技术
目前，随着互联网技术的发展，线上服务平台的数量越来越多，人们可以通过终端设备来与线上服务平台进行交互，以获取相应的线上服务。
在线上服务的过程中，为了使得用户能够获得更好的体验，线上服务平台可以通过相应的应用程序在用户侧终端设备的显示屏显示一段合成视频。例如，该合成视频可以是带有虚拟人物形象的合成视频(该虚拟人物形象可以是在线客服界面所展示的虚拟客服人员，也可以是在线课堂界面所展示的虚拟老师等等)，再例如，该合成视频也可以是带有虚拟卡通形象的合成视频。
然而，在相关技术中，用于进行合成视频的素材仍存在数量不足以及质量不佳的问题，这样会导致最终的合成视频出现质量较差的问题，因此，如何提高素材的质量和数量是一个亟需解决的问题。
发明内容
有鉴于此，本申请实施例提供一种视频数据处理方法、装置、电子设备和可读存储介质，以确定内容连贯的待处理视频片段，进而使得后续进行视频合成时可以得到质量较高的合成视频。
第一方面，提供了一种视频数据处理方法，所述方法应用于电子设备，所述方法包括：
确定原始视频。
针对所述原始视频进行目标检测，确定各目标帧，所述目标帧至少包括目标检测对应的检测对象。
基于各目标帧之间的间隔对各目标帧进行合并，确定各待处理视频片段，所述待处理视频片段用于视频合成。
第二方面，提供了一种视频数据处理装置，所述装置应用于电子设备，所述装置包括：
原始视频确定模块，用于确定原始视频。
目标检测模块，用于针对所述原始视频进行目标检测，确定各目标帧，所述目标帧至少包括目标检测对应的检测对象。
合并模块，用于基于各目标帧之间的间隔对各目标帧进行合并，确定各待处理视频片段，所述待处理视频片段用于视频合成。
第三方面，本申请实施例提供了一种电子设备，包括存储器和处理器，所述存储器用于存储一条或多条计算机程序指令，其中，所述一条或多条计算机程序指令被所述处理器执行以实现如第一方面所述的方法。
第四方面，本申请实施例提供了一种计算机可读存储介质，其上存储计算机程序指令，所述计算机程序指令在被处理器执行时实现如第一方面所述的方法。
在本申请实施例中，可以基于对原始视频的目标检测，选取带有检测对象的目标帧(即选取了带有实质内容的目标帧)。然后，本申请实施例可以基于各目标帧之间的间隔对各目标帧进行合并，确定各待处理视频片段，其中，由于目标帧之间的间隔长短可以表征目标帧之间是否连续，因此，通过各目标帧之间的间隔，本申请实施例可以确定内容连贯的多个待处理视频片段。这样，通过本申请实施例可以确定既带有实质内容，又内容连贯的多个待处理视频片段，使得后续进行视频合成时可以得到质量较高的合成视频。
附图说明
通过以下参照附图对本申请实施例的描述，本申请实施例的上述以及其它目的、特征和优点将更为清楚，在附图中：
图1为本申请实施例的视频数据处理系统的示意图；
图2为本申请实施例的视频数据处理方法的流程图；
图3为本申请实施例的确定待处理视频片段过程的流程图；
图4为本申请实施例的确定合成视频过程的流程图；
图5为本申请实施例的确定目标视频片段的流程图；
图6为本申请实施例的另一种确定合成视频过程的流程图；
图7为本申请实施例的视频数据处理装置的结构示意图；
图8为本申请实施例的电子设备的结构示意图。
具体实施方式
以下基于实施例对本申请进行描述，但是本申请并不仅仅限于这些实施例。在下文对本申请的细节描述中，详尽描述了一些特定的细节部分。对本领域技术人员来说没有这些细节部分的描述也可以完全理解本申请。为了避免混淆本申请的实质，公知的方法、过程、流程、元件和电路并没有详细叙述。
此外，本领域普通技术人员应当理解，在此提供的附图都是为了说明的目的，并且附图不一定是按比例绘制的。
除非上下文明确要求，否则在说明书的“包括”、“包含”等类似词语应当解释为包含的含义而不是排他或穷举的含义；也就是说，是“包括但不限于”的含义。
在本申请的描述中，需要理解的是，术语“第一”、“第二”等仅用于描述目的，而不能理解为指示或暗示相对重要性。此外，在本申请的描述中，除非另有说明，“多个”的含义是两个或两个以上。
为了解决上述问题，本申请实施例提供一种视频数据处理系统，如图1所示，图1为本申请实施例的一种视频数据处理系统的示意图，该示意图包括：原始视频11、用于确定待处理视频片段的电子设备12和多个待处理视频片段(131-13n)。
其中，原始视频11为一段适用于本申请的视频，例如，原始视频 11可以是通过摄像设备录制的视频，当该视频经过合法授权之后，本申请实施例可以将该视频用于待处理视频片段的确定。
电子设备12可以是终端，也可以是服务器。其中，终端可以是智能手机、平板电脑或者个人计算机(Personal Computer，PC)等，服务器可以是单个服务器，也可以是以分布式方式配置的服务器集群，还可以是云服务器。
待处理视频片段131-待处理视频片段13n为电子设备12基于原始视频11确定的视频片段，其中，n为大于等于2的自然数。
具体的，当电子设备12接收到原始视频11后，可以对原始视频11 进行目标检测，其目的在于检测原始视频11中的检测对象并确定目标帧，其中，目标帧至少包括目标检测对应的检测对象，检测对象可以表征一个或多个目标。
例如，检测对象可以是视频帧中的手势动作，该手势动作可以包括“OK”手势、“挥手”手势、“点头”手势等等，当然，手势动作也可以只包括一种手势。
当电子设备12确定各个目标帧之后，可以基于各目标帧之间的间隔对各目标帧进行合并，以确定各个待处理视频片段。
其中，电子设备12可以通过各目标帧之间的间隔确定多个待处理视频片段。
在实际应用中，本申请实施例可以将内容较为连贯的多个目标帧确定为一个待处理视频片段，反之，若两个目标帧之间间隔过远，则表征该两个目标帧的内容大概率不连贯，因此，本申请实施例可以将这两个目标帧作为两个待处理视频片段中的视频帧。
另外，在确定各个待处理视频片段之后，各待处理视频片段可以用于视频的合成。
在本申请实施例中，可以基于对原始视频的目标检测，选取带有检测对象的目标帧(即选取了带有实质内容的目标帧)。然后，本申请实施例可以基于各目标帧之间的间隔对各目标帧进行合并，确定各待处理视频片段，其中，由于目标帧之间的间隔长短可以表征目标帧之间是否连续，因此，通过各目标帧之间的间隔，本申请实施例可以确定内容连贯的多个待处理视频片段。这样，通过本申请实施例可以确定既带有实质内容，又内容连贯的多个待处理视频片段，使得后续进行视频合成时可以得到质量较高的合成视频。
下面将结合具体实施方式，对本申请实施例提供的一种视频数据处理方法进行详细的说明，如图2所示，具体步骤如下：
在步骤21，确定原始视频。
其中，原始视频为一段适用于本申请的视频，例如，原始视频可以是通过摄像设备录制的视频，当该视频经过合法授权之后，本申请实施例可以将该视频用于待处理视频片段的确定。
在一个在线课堂的场景下，原始视频可以是通过摄像设备对老师进行拍摄而录制的视频，当在线课堂平台接收到该原始视频后，可以基于该原始视频确定待处理视频片段。
在步骤22，针对原始视频进行目标检测，确定各目标帧。
其中，目标帧至少包括目标检测对应的检测对象。该检测对象可以通过预先训练的目标检测模型确定。具体的，目标检测模型通过对原始视频中的视频帧进行区域选择、特征提取以及特征分类，可以检测原始视频中的视频帧是否包含检测对象。
在本申请实施例中，目标检测的结果可以用于表征原始视频各视频帧中是否存在被检测的目标(即检测对象)，具体的，目标检测的结果可以通过数值进行表示，若目标检测结果大于0，则表征原始视频的视频帧中存在被检测的目标，反之则不存在。当然，目标检测的结果也可以通过其它方式进行表示，例如，可以通过分类结果的方式表示目标检测的结果，其中，分类结果可以包括“是”和“否”，分类结果“是”可以表征原始视频的视频帧中存在被检测的目标，分类结果“否”可以表征原始视频的视频帧中不存在被检测的目标。
需要说明的，本申请实施例可以对原始视频的各个视频帧同时进行目标检测，也可以对原始视频的各个视频帧逐个进行目标检测。
在步骤23，基于各目标帧之间的间隔对各目标帧进行合并，确定各待处理视频片段。
其中，待处理视频片段用于视频合成。
在实际应用中，本申请实施例可以将内容较为连贯的多个目标帧确定为一个待处理视频片段，反之，若两个目标帧之间间隔过远，则表征该两个目标帧的内容大概率不连贯，因此，本申请实施例可以将这两个目标帧作为两个待处理视频片段中的视频帧。
在本申请实施例中，可以基于对原始视频的目标检测，选取带有检测对象的目标帧(例如选取了带有手势等实质内容的目标帧)。然后，本申请实施例可以基于各目标帧之间的间隔对各目标帧进行合并，确定各待处理视频片段，其中，由于目标帧之间的间隔长短可以表征目标帧之间是否连续，因此，通过各目标帧之间的间隔，本申请实施例可以确定内容连贯的多个待处理视频片段。这样，通过本申请实施例可以确定既带有检测对象，又内容连贯的多个待处理视频片段，使得后续进行视频合成时可以得到质量较高的合成视频。
在一种优选的实施方式中，步骤23可以执行为：遍历各目标帧，基于各目标帧之间的间隔，确定至少一个临时列表，以及基于临时列表中的各目标帧生成待处理视频片段。
其中，临时列表中相邻的两个目标帧之间的间隔小于间隔阈值
在实际应用中，上述间隔可以通过相邻目标帧之间视频帧的数量表示，也可以通过相邻目标帧之间的时间间隔表示，也可以通过其它适用的方式进行表示。
在一种优选的实施方式中，若以相邻目标帧之间视频帧的数量表示二者之间的间隔，则在遍历各目标帧时，需要确定各目标帧在原始视频中的位置，具体的，该过程可以执行为：确定各目标帧对应的帧序号。
其中，帧序号用于表征对应目标帧在原始视频中的位置。
进一步的，确定至少一个临时列表的过程可以执行为：基于各目标帧对应的帧序号，确定各目标帧之间间隔的帧数量，以及将帧数量小于数量阈值的连续目标帧作为一个临时列表，确定至少一个临时列表。
其中，数量阈值可以是一个根据实际情况设置的数值，例如，数量阈值可以是0、1、2、3、4、5等等。
例如，原始视频中包括10个视频帧(视频帧X1-视频帧X10)，其中，目标帧为X1、X2、X3、X7、X8、X9和X10，数量阈值为1。
当确定各个目标帧之后，用于确定临时列表的电子设备可以遍历各个目标帧并确定各目标帧对应的帧序号。其中，上述7个目标帧对应的帧序号为1、2、3、7、8、9和10。
由上述7个目标帧对应的帧序号可知，X1与X2、X2与X3之间间隔的帧数量为0，X7与X8、X8与X9、X9与X10之间间隔的帧数量为 0，但是，X3与X7之间间隔的帧数量为3(大于数量阈值)。
因此，用于确定临时列表的电子设备可以将目标帧X1、X2和X3 确定为一个临时列表，将目标帧X7、X8、X9和X10确定为一个临时列表。
通过本申请实施例，相邻两个目标帧之间的帧数量间隔越小，表征这两个目标帧之间的内容相对连贯，进而，基于内容连贯的目标帧而确定的临时列表可以生成内容流畅、连贯的待处理视频。
在另一种优选的实施方式中，若以相邻目标帧之间的时间间隔表示二者之间的间隔，则在遍历各目标帧时，需要确定各目标帧对应的时间戳，具体的，该过程可以执行为：确定各目标帧对应的时间戳。
其中，时间戳用于表征对应目标帧在原始视频中的时间。
进一步的，确定至少一个临时列表的过程可以执行为：基于各目标帧对应的时间戳，确定各目标帧之间的时间间隔，以及将时间间隔小于时间阈值的连续目标帧作为一个临时列表，确定至少一个临时列表。
其中，时间阈值可以是一个根据实际情况(例如获取原始视频的摄像机参数等)设置的数值，例如，时间阈值可以是8ms、9ms、10ms、 15ms等等。
例如，原始视频中包括12个视频帧(视频帧Y1-视频帧Y12，每个视频帧之间间隔4ms)，其中，目标帧为Y1、Y2、Y4、Y7、Y8、Y9和 Y11，时间阈值为9ms。
当确定各个目标帧之后，用于确定临时列表的电子设备可以遍历各个目标帧并确定各目标帧对应的时间戳。其中，上述7个目标帧对应的时间戳为0ms、4ms、12ms、24ms、28ms、32ms和40ms。
由上述7个目标帧对应的时间戳可知，Y1与Y2、Y7与Y8、Y8 与Y9之间的时间间隔为4ms，Y2与Y4、Y9与Y11之间的时间间隔为 8ms，Y4与Y7之间的时间间隔为12ms(大于时间阈值)。
因此，用于确定临时列表的电子设备可以将目标帧Y1、Y2和Y4 确定为一个临时列表，将目标帧Y7、Y8、Y9和Y11确定为一个临时列表。
通过本申请实施例，相邻两个目标帧之间的时间间隔越小，表征这两个目标帧之间的内容相对连贯，进而，基于内容连贯的目标帧而确定的临时列表可以生成内容流畅、连贯的待处理视频。
当确定临时列表之后，本申请实施例可以基于临时列表中的各目标帧生成待处理视频片段。
然后，在一种优选的实施方式中，本申请实施例可以对待处理视频片段进行分类和存储，具体的，该过程可以执行为：确定待处理视频片段的视频片段类别，以及存储待处理视频片段和视频片段类别。
其中，该视频片段类别可以通过目标检测后，检测对象的类别进行表示，例如，视频片段类别可以包括“OK”、“挥手”、“点头”等等。
通过对待处理视频片段的分类存储，可以实现在视频合成的过程中先对待处理视频片段的类别进行检索，然后再对特定类别下的待处理视频片段进行进一步检索，以提高检索待处理视频片段的效率。
进一步的，在一种优选的实施方式中，若以检测对象的类别表示视频片段类别，则确定视频片段类别的过程可以执行为：确定待处理视频片段中各目标帧对应的检测对象，以及将出现次数最多的检测对象的类别作为待处理视频片段的视频片段类别。
综上所述内容，本申请实施例可以基于对原始视频的目标检测，选取带有检测对象的目标帧。然后，本申请实施例可以基于各目标帧之间的间隔对各目标帧进行合并，确定各待处理视频片段并分类存储，其中，由于目标帧之间的间隔长短可以表征目标帧之间是否连续，因此，通过各目标帧之间的间隔，本申请实施例可以确定内容连贯的多个待处理视频片段。这样，通过本申请实施例可以确定既带有实质内容，又内容连贯的多个待处理视频片段，使得后续进行视频合成时可以得到质量较高的合成视频。同时，由于本申请实施例对待处理视频片段进行了分类存储，所以，通过本申请实施例还可以使得后续进行视频合成时具有较高的效率。
结合上述方法步骤，如图3所示，图3为本申请实施例的一种确定待处理视频片段过程的流程图，具体包括如下步骤：
在步骤31，确定原始视频。
在步骤32，对原始视频进行目标检测，确定目标检测结果。
其中，目标检测结果可以用于表征原始视频各视频帧中是否存在被检测的目标，具体的，目标检测结果可以通过数值进行表示，若目标检测结果大于0，则表征原始视频的视频帧中存在被检测的目标，反之则不存在。
需要说明的，本申请实施例可以对原始视频的各个视频帧同时进行目标检测，也可以对原始视频的各个视频帧逐个进行目标检测，图3将以逐个进行目标检测的方式进行说明。
在步骤33，判断目标检测结果是否大于0，若目标检测结果大于0，则执行步骤34，若目标检测结果小于等于0，则执行步骤31。
在实际应用中，目标检测结果一般通过“0”和“1”来表示，其中，“0”用于表征对应视频帧中不包含检测对象，“1”用于表征对应视频帧中包含检测对象。也就是说，在步骤33中，若目标检测结果大于0，则表征目标检测结果为“1”，即对应视频帧中包含检测对象。
在步骤34，确定目标帧，并将目标帧的帧序号加入预定列表。
在本申请实施例中，将以相邻目标帧之间视频帧的数量表示二者之间的间隔为例进行举例说明。其中，预定列表用于存储目标帧的帧序号，也就是说，预定列表中的帧序号对应的视频帧中均存在被检测的目标。
在步骤35，确定预定列表中相邻目标帧之间的间隔。
其中，图3以相邻目标帧之间视频帧的数量表示相邻目标帧之间的间隔。在实际应用中，也可以通过相邻目标帧之间的时间间隔表示相邻目标帧之间的间隔，也可以通过其它适用的方式进行表示。
在步骤36，判断相邻目标帧之间的间隔是否小于5帧，若相邻目标帧之间的间隔小于5帧，则执行步骤37，若相邻目标帧之间的间隔大于等于5帧，则执行步骤38。
其中，步骤36对应判断条件中的5帧为本申请实施例的一种优选的举例，在实际应用中，可以使用其它适用的帧数进行判断，例如4帧、 6帧等等。
在步骤37，将目标帧加入临时列表。
在本申请实施例中，临时列表用于存储满足步骤36对应条件的目标帧，也就是说，临时列表中所存储的各目标帧可以用于组成一段连续的视频片段。
在步骤38，基于临时列表生成待处理视频片段。
在基于临时列表生成待处理视频片段的过程中，可以对临时列表所存储的目标帧进行补帧处理，具体的，若相邻目标帧之间存在视频帧间隔，则可以在该相邻目标帧之间进行补帧，以使得待处理视频片段具有良好的连贯性。
在步骤39，确定待处理视频片段的类别并存储待处理视频片段。
通过本申请实施例，可以基于对原始视频的目标检测，选取带有检测对象的目标帧。然后，本申请实施例可以基于各目标帧之间的间隔对各目标帧进行合并，确定各待处理视频片段并分类存储，其中，由于目标帧之间的间隔长短可以表征目标帧之间是否连续，因此，通过各目标帧之间的间隔，本申请实施例可以确定内容连贯的多个待处理视频片段。这样，通过本申请实施例可以确定既带有实质内容，又内容连贯的多个待处理视频片段，使得后续进行视频合成时可以得到质量较高的合成视频。同时，由于本申请实施例对待处理视频片段进行了分类存储，所以，通过本申请实施例还可以使得后续进行视频合成时具有较高的效率。
另一方面，在确定并存储待处理视频片段之后，若用于视频合成的电子设备接收到视频合成指令，则该电子设备可以根据接受到的视频合成指令以及各待处理视频片段确定合成视频。
具体的，如图4所示，确定合成视频的过程可以包括如下步骤：
在步骤41，响应于接收到视频合成指令，根据视频合成指令和各待处理视频片段确定各目标视频片段。
其中，视频合成指令用于指定各目标视频片段的连接顺序。
在一种优选的实施方式中，待处理视频片段可以存储于数据库中，该数据库可以用于存储各待处理视频片段、各待处理视频片段对应的类别以及各待处理视频片段之间的帧对信息。
其中，帧对信息可以用于表征对应的两个待处理视频片段之间的关联关系，具体的，帧对信息可以通过两个待处理视频片段之间的合成评价参数确定，该合成评价参数可以包括像素相似度、色彩相似度、比例相似度和光流值等等，本申请实施例可以通过其中的一种或多种参数对两个待处理视频片段是否可以拼接进行合成评价。
例如，通过色彩相似度可以基于两个待处理视频片段之间的颜色差异度对这两个待处理视频片段进行合成评价，若这两个待处理视频片段之间的颜色差异度没有超出预定的差异度阈值，则说明这两个待处理视频片段可以进行视频拼接，进而，可以针对这两个待处理视频片段生成一个帧对信息，以表征这两个待处理视频片段之间的关联关系。
通过设置帧对信息，可以确保在合成视频中，相邻两个目标视频片段之间是具有相关性的，即增加了合成视频整体的流畅程度，相较于直接合成的视频，本申请实施例基于帧对信息得到的合成视频具有连贯、流畅的优点。
如图5所示，图5为本申请实施例的一种确定目标视频片段的流程图。
在确定目标视频片段的过程中，用于视频合成的电子设备52可以接收视频合成指令51，其中，视频合成指令51中包括指定的视频片段类别(类别A、类别C和类别D)和指定的连接顺序(C-D-A)。
当电子设备52接收到该视频合成指令51后，可以根据视频合成指令51所指定的视频片段类别和视频片段的连接顺序从数据库53中检索并获取对应的待处理视频片段作为目标视频片段54。
其中，数据库53中包括多个类别的待处理视频片段以及各待处理视频片段对应的帧对信息，目标视频片段54包括视频片段a1、a3、c1、 c2和d3。另外，数据库53中类别的数量不仅限于图5所示的4个类别。
由图5可知，数据库53中的帧对信息可以用于表征2个待处理视频片段之间的关联关系，其中，该关联关系可以表征该2个待处理视频片段可以进行拼接，同时，关联关系还可以包括该2个待处理视频片段的连接顺序。例如，帧对信息“a1-b1”可以用于表征待处理视频片段a1 和待处理视频片段b1可以进行拼接，同时待处理视频片段a1和待处理视频片段b1的连接顺序为a1在前、b1在后。
基于上述图5所示的内容，电子设备52可以基于视频合成指令51 所指定的视频片段类别、视频合成指令51所指定的视频片段连接顺序和数据库53中的帧对信息，从数据库53中确定各目标视频片段54。
在步骤42，基于视频合成指令指定的连接顺序，对各目标视频片段进行合成操作，确定合成视频。
在本申请实施例中，若视频合成指令指定的是视频片段类别，且一个视频片段类别下存在多个待处理视频片段，则在确定合成视频的过程中，可能存在多个符合条件的视频序列，进而，步骤42可以执行为：根据视频合成指令指定的各目标视频片段，确定至少一个视频序列，以及根据预定筛选规则，在至少一个视频序列中确定合成视频。
其中，预定筛选规则可以是任意适用的规则，例如，预定筛选规则可以是先确定各视频序列的评分，然后选取评分最高的视频序列作为确定合成视频的视频序列。再例如，预定筛选规则也可以是选取排序第一位的视频序列作为确定合成视频的视频序列。
另外，在基于视频合成指令和各目标视频片段确定合成视频时，还可以针对各目标视频片段进行优化处理，具体的，上述步骤42可以执行为：确定各目标视频片段中的人物区域图像，对各目标视频片段中的人物区域图像进行色彩转换，以使得各目标视频片段中的人物区域图像颜色统一，以及对视频合成指令指定的连接顺序、各目标视频片段中色彩转换后的人物区域图像以及预存背景进行合成操作，确定合成视频。
其中，由于各个目标视频片段可能存在一定程度的色差差异，所以，在本申请实施例中可以针对各目标视频片段中的人物区域图像和背景区域图像进行优化处理，以得到各视频帧颜色统一的合成视频。
例如，如图6所示，图6为本申请实施例提供的一种确定合成视频过程的流程图。
由图6可知，图6中包括目标视频片段61、目标视频片段62和目标视频片段63。其中，目标视频片段61包括人物区域图像611和背景区域图像612，目标视频片段62包括人物区域图像621和背景区域图像 622，目标视频片段63包括人物区域图像631和背景区域图像632。
需要说明的，为了清楚的进行解释说明，本申请实施例在图6中通过不同的填充表征不同区域图像之间的色彩差异，也就是说，相同的填充表征不同区域图像之间不存在色彩差异，不同的填充表征不同区域图像之间存在色彩差异。其中，色彩差异为同种颜色之间的色彩差异，例如红色与红色之间的色彩差异、蓝色与蓝色之间的色彩差异。
如图6所示，在确定合成视频的过程中，可以先各目标视频片段中的人物区域图像，即确定人物区域图像611、人物区域图像621和人物区域图像631。
然后，本申请实施例可以对各目标视频片段中的人物区域图像进行色彩转换，以使得各目标视频片段中的人物区域图像颜色统一，其效果如图6所示，各目标视频片段中的人物区域图像由不同的填充转换为统一的填充。
其中，对各目标视频片段中的人物区域图像进行色彩转换时，可以将各人物区域图像转换为其中一个人物区域图像的颜色，也可以将各人物区域图像转换为预定标准的颜色。
然后，本申请实施例可以对视频合成指令指定的连接顺序、各目标视频片段中色彩转换后的人物区域图像以及预存背景64进行合成操作，确定合成视频65。
通过本申请实施例，可以在确定合成视频时对各目标视频片段进行优化处理，以使得合成视频中各视频帧的颜色统一，进一步提高了合成视频的质量。
基于相同的技术构思，本申请实施例还提供了一种视频数据处理装置，如图7所示，该装置包括：原始视频确定模块71、目标检测模块72 和合并模块73。
原始视频确定模块71，用于确定原始视频。
目标检测模块72，用于针对所述原始视频进行目标检测，确定各目标帧，所述目标帧至少包括目标检测对应的检测对象。
合并模块73，用于基于各目标帧之间的间隔对各目标帧进行合并，确定各待处理视频片段，所述待处理视频片段用于视频合成。
在一些优选的实施例中，所述合并模块73，具体用于：
遍历各目标帧。
基于各目标帧之间的间隔，确定至少一个临时列表，所述临时列表中相邻的两个目标帧之间的间隔小于间隔阈值。
基于所述临时列表中的各目标帧生成待处理视频片段。
在一些优选的实施例中，所述合并模块73，具体用于：
确定各目标帧对应的帧序号，所述帧序号用于表征对应目标帧在所述原始视频中的位置。
所述合并模块73，具体还用于：
基于各目标帧对应的帧序号，确定各目标帧之间间隔的帧数量。
将所述帧数量小于数量阈值的连续目标帧作为一个临时列表，确定至少一个临时列表。
在一些优选的实施例中，所述合并模块73，具体用于：
确定各目标帧对应的时间戳，所述时间戳用于表征对应目标帧在所述原始视频中的时间。
所述合并模块73，具体还用于：
基于各目标帧对应的时间戳，确定各目标帧之间的时间间隔。
将所述时间间隔小于时间阈值的连续目标帧作为一个临时列表，确定至少一个临时列表。
在一些优选的实施例中，所述装置还包括：
视频片段类别确定模块，用于确定所述待处理视频片段的视频片段类别。
存储模块，用于存储所述待处理视频片段和所述视频片段类别。
在一些优选的实施例中，所述视频片段类别确定模块，具体用于：
确定所述待处理视频片段中各目标帧对应的检测对象。
将出现次数最多的检测对象的类别作为所述待处理视频片段的视频片段类别。
在一些优选的实施例中，所述装置包括：
目标视频片段确定模块，用于响应于接收到视频合成指令，根据所述视频合成指令和各待处理视频片段确定各目标视频片段，所述视频合成指令用于指定各目标视频片段的连接顺序。
合成模块，用于基于所述视频合成指令指定的连接顺序，对各目标视频片段进行合成操作，确定合成视频。
在一些优选的实施例中，所述合成模块，具体用于：
根据所述视频合成指令指定的各目标视频片段，确定至少一个视频序列。
根据预定筛选规则，在至少一个视频序列中确定合成视频。
在本申请实施例中，可以基于对原始视频的目标检测，选取带有检测对象的目标帧(即选取了带有实质内容的目标帧)。然后，本申请实施例可以基于各目标帧之间的间隔对各目标帧进行合并，确定各待处理视频片段，其中，由于目标帧之间的间隔长短可以表征目标帧之间是否连续，因此，通过各目标帧之间的间隔，本申请实施例可以确定内容连贯的多个待处理视频片段。这样，通过本申请实施例可以确定既带有实质内容，又内容连贯的多个待处理视频片段，使得后续进行视频合成时可以得到质量较高的合成视频。
图8是本申请实施例的电子设备的示意图。如图8所示，图8所示的电子设备为通用地址查询装置，其包括通用的计算机硬件结构，其至少包括处理器81和存储器82。处理器81和存储器82通过总线83连接。存储器82适于存储处理器81可执行的指令或程序。处理器81可以是独立的微处理器，也可以是一个或者多个微处理器集合。由此，处理器81 通过执行存储器82所存储的指令，从而执行如上所述的本申请实施例的方法流程实现对于数据的处理和对于其它装置的控制。总线83将上述多个组件连接在一起，同时将上述组件连接到显示控制器84和显示装置以及输入/输出(I/O)装置85。输入/输出(I/O)装置85可以是鼠标、键盘、调制解调器、网络接口、触控输入装置、体感输入装置、打印机以及本领域公知的其他装置。典型地，输入/输出装置85通过输入/输出(I/O)控制器86与系统相连。
本领域的技术人员应明白，本申请的实施例可提供为方法、装置(设备)或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可读存储介质 (包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品。
本申请是参照根据本申请实施例的方法、装置(设备)和计算机程序产品的流程图来描述的。应理解可由计算机程序指令实现流程图中的每一流程。
这些计算机程序指令可以存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现流程图一个流程或多个流程中指定的功能。
也可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程中指定的功能的装置。
本申请的另一实施例涉及一种非易失性存储介质，用于存储计算机可读程序，所述计算机可读程序用于供计算机执行上述部分或全部的方法实施例。
即，本领域技术人员可以理解，实现上述实施例方法中的全部或部分步骤是可以通过程序来指定相关的硬件来完成，该程序存储在一个存储介质中，包括若干指令用以使得一个设备(可以是单片机，芯片等) 或处理器(processor)执行本申请各实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-OnlyMemory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述仅为本申请的优选实施例，并不用于限制本申请，对于本领域技术人员而言，本申请可以有各种改动和变化。凡在本申请的精神和原理之内所作的任何修改、等同替换、改进等，均应包含在本申请的保护范围之内。

Claims (11)

1.一种视频数据处理方法，其特征在于，所述方法包括：
确定原始视频；
针对所述原始视频进行目标检测，确定各目标帧，所述目标帧至少包括目标检测对应的检测对象；以及
基于各目标帧之间的间隔对各目标帧进行合并，确定各待处理视频片段，所述待处理视频片段用于视频合成。
2.根据权利要求1所述的方法，其特征在于，所述基于各目标帧之间的间隔对各目标帧进行合并，确定各待处理视频片段，包括：
遍历各目标帧；
基于各目标帧之间的间隔，确定至少一个临时列表，所述临时列表中相邻的两个目标帧之间的间隔小于间隔阈值；以及
基于所述临时列表中的各目标帧生成待处理视频片段。
3.根据权利要求2所述的方法，其特征在于，所述遍历各目标帧，包括：
确定各目标帧对应的帧序号，所述帧序号用于表征对应目标帧在所述原始视频中的位置；
所述基于各目标帧之间的间隔，确定至少一个临时列表，包括：
基于各目标帧对应的帧序号，确定各目标帧之间间隔的帧数量；以及
将所述帧数量小于数量阈值的连续目标帧作为一个临时列表，确定至少一个临时列表。
4.根据权利要求2所述的方法，其特征在于，所述遍历各目标帧，包括：
确定各目标帧对应的时间戳，所述时间戳用于表征对应目标帧在所述原始视频中的时间；
所述基于各目标帧之间的间隔，确定至少一个临时列表，包括：
基于各目标帧对应的时间戳，确定各目标帧之间的时间间隔；以及
将所述时间间隔小于时间阈值的连续目标帧作为一个临时列表，确定至少一个临时列表。
5.根据权利要求1所述的方法，其特征在于，所述方法还包括：
确定所述待处理视频片段的视频片段类别；以及
存储所述待处理视频片段和所述视频片段类别。
6.根据权利要求5所述的方法，其特征在于，所述确定所述待处理视频片段的视频片段类别，包括：
确定所述待处理视频片段中各目标帧对应的检测对象；以及
将出现次数最多的检测对象的类别作为所述待处理视频片段的视频片段类别。
7.根据权利要求1所述的方法，其特征在于，所述方法包括：
响应于接收到视频合成指令，根据所述视频合成指令和各待处理视频片段确定各目标视频片段，所述视频合成指令用于指定各目标视频片段的连接顺序；以及
基于所述视频合成指令指定的连接顺序，对各目标视频片段进行合成操作，确定合成视频。
8.根据权利要求7所述的方法，其特征在于，所述基于所述视频合成指令指定的连接顺序，对各目标视频片段进行合成操作，确定合成视频，包括：
根据所述视频合成指令指定的各目标视频片段，确定至少一个视频序列；以及
根据预定筛选规则，在至少一个视频序列中确定合成视频。
9.一种视频数据处理装置，其特征在于，所述装置包括：
原始视频确定模块，用于确定原始视频；
目标检测模块，用于针对所述原始视频进行目标检测，确定各目标帧，所述目标帧至少包括目标检测对应的检测对象；以及
合并模块，用于基于各目标帧之间的间隔对各目标帧进行合并，确定各待处理视频片段，所述待处理视频片段用于视频合成。
10.一种电子设备，包括存储器和处理器，其特征在于，所述存储器用于存储一条或多条计算机程序指令，其中，所述一条或多条计算机程序指令被所述处理器执行以实现如权利要求1-8中任一项所述的方法。
11.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质内存储有计算机程序，所述计算机程序被处理器执行时实现权利要求1-8中任一项所述的方法。
CN202110560242.6A 2021-05-21 2021-05-21 视频数据处理方法、装置、电子设备和可读存储介质 Active CN113301385B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110560242.6A CN113301385B (zh) 2021-05-21 2021-05-21 视频数据处理方法、装置、电子设备和可读存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110560242.6A CN113301385B (zh) 2021-05-21 2021-05-21 视频数据处理方法、装置、电子设备和可读存储介质

Publications (2)

Publication Number Publication Date
CN113301385A true CN113301385A (zh) 2021-08-24
CN113301385B CN113301385B (zh) 2023-02-28

Family

ID=77323864

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110560242.6A Active CN113301385B (zh) 2021-05-21 2021-05-21 视频数据处理方法、装置、电子设备和可读存储介质

Country Status (1)

Country Link
CN (1) CN113301385B (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113747238A (zh) * 2021-09-03 2021-12-03 北京跳悦智能科技有限公司 视频片段截取方法及系统、计算机设备及可读存储介质
CN113850837A (zh) * 2021-11-25 2021-12-28 腾讯科技（深圳）有限公司 视频处理方法、装置、电子设备、存储介质及计算机产品
CN114095754A (zh) * 2021-11-17 2022-02-25 维沃移动通信有限公司 视频处理方法、装置及电子设备
CN114449346A (zh) * 2022-02-14 2022-05-06 腾讯科技（深圳）有限公司 视频处理方法、装置、设备以及存储介质
WO2023221634A1 (zh) * 2022-05-19 2023-11-23 腾讯科技（深圳）有限公司 视频检测方法、装置、设备、存储介质和程序产品

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007072789A (ja) * 2005-09-07 2007-03-22 Nippon Telegr & Teleph Corp <Ntt> 映像構造化方法及び装置及びプログラム
CN109089128A (zh) * 2018-07-10 2018-12-25 武汉斗鱼网络科技有限公司 一种视频处理方法、装置、设备及介质
CN111400553A (zh) * 2020-04-26 2020-07-10 Oppo广东移动通信有限公司 视频搜索方法、视频搜索装置及终端设备
WO2020169121A2 (zh) * 2019-02-22 2020-08-27 影石创新科技股份有限公司 一种视频自动剪辑方法及便携式终端
CN111723243A (zh) * 2020-06-15 2020-09-29 南京领行科技股份有限公司 一种动作片段检测方法、装置、设备及介质
CN112258513A (zh) * 2020-10-23 2021-01-22 岭东核电有限公司 核电试验视频分割方法、装置、计算机设备和存储介质

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007072789A (ja) * 2005-09-07 2007-03-22 Nippon Telegr & Teleph Corp <Ntt> 映像構造化方法及び装置及びプログラム
CN109089128A (zh) * 2018-07-10 2018-12-25 武汉斗鱼网络科技有限公司 一种视频处理方法、装置、设备及介质
WO2020169121A2 (zh) * 2019-02-22 2020-08-27 影石创新科技股份有限公司 一种视频自动剪辑方法及便携式终端
CN111400553A (zh) * 2020-04-26 2020-07-10 Oppo广东移动通信有限公司 视频搜索方法、视频搜索装置及终端设备
CN111723243A (zh) * 2020-06-15 2020-09-29 南京领行科技股份有限公司 一种动作片段检测方法、装置、设备及介质
CN112258513A (zh) * 2020-10-23 2021-01-22 岭东核电有限公司 核电试验视频分割方法、装置、计算机设备和存储介质

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113747238A (zh) * 2021-09-03 2021-12-03 北京跳悦智能科技有限公司 视频片段截取方法及系统、计算机设备及可读存储介质
CN114095754A (zh) * 2021-11-17 2022-02-25 维沃移动通信有限公司 视频处理方法、装置及电子设备
CN114095754B (zh) * 2021-11-17 2024-04-19 维沃移动通信有限公司 视频处理方法、装置及电子设备
CN113850837A (zh) * 2021-11-25 2021-12-28 腾讯科技（深圳）有限公司 视频处理方法、装置、电子设备、存储介质及计算机产品
CN113850837B (zh) * 2021-11-25 2022-02-08 腾讯科技（深圳）有限公司 视频处理方法、装置、电子设备、存储介质及计算机产品
CN114449346A (zh) * 2022-02-14 2022-05-06 腾讯科技（深圳）有限公司 视频处理方法、装置、设备以及存储介质
CN114449346B (zh) * 2022-02-14 2023-08-15 腾讯科技（深圳）有限公司 视频处理方法、装置、设备以及存储介质
WO2023221634A1 (zh) * 2022-05-19 2023-11-23 腾讯科技（深圳）有限公司 视频检测方法、装置、设备、存储介质和程序产品

Also Published As

Publication number Publication date
CN113301385B (zh) 2023-02-28

Similar Documents

Publication Publication Date Title
CN113301385B (zh) 视频数据处理方法、装置、电子设备和可读存储介质
CN104394422B (zh) 一种视频分割点获取方法及装置
CN109803180B (zh) 视频预览图生成方法、装置、计算机设备及存储介质
CN108650558B (zh) 基于交互视频的视频前情提要的生成方法及装置
CN113301409B (zh) 视频合成方法、装置、电子设备和可读存储介质
CN112527115B (zh) 用户形象生成方法、相关装置及计算机程序产品
CN111757175A (zh) 视频处理方法及装置
CN113301408B (zh) 视频数据处理方法、装置、电子设备和可读存储介质
CN109286848B (zh) 一种终端视频信息的交互方法、装置及存储介质
US11334621B2 (en) Image search system, image search method and storage medium
CN113038185B (zh) 弹幕处理方法及装置
CN113297416A (zh) 视频数据存储方法、装置、电子设备和可读存储介质
CN110650350B (zh) 一种编码图像显示方法、装置和电子设备
CN114222076B (zh) 一种换脸视频生成方法、装置、设备以及存储介质
CN112866577B (zh) 图像的处理方法、装置、计算机可读介质及电子设备
WO2024002092A1 (zh) 视频的推送方法、装置和存储介质
JP6793169B2 (ja) サムネイル出力装置、サムネイル出力方法およびサムネイル出力プログラム
JP4916950B2 (ja) 動画像比較装置、動画像比較方法、及び動画像比較プログラム
US9082065B2 (en) Image editing device, image editing method, program, and computer readable storage medium
US20210289266A1 (en) Video playing method and apparatus
CN115988259A (zh) 一种视频处理方法、装置、终端、介质及程序产品
US20150160836A1 (en) Extracting demonstrations from in-situ video content
WO2022201515A1 (ja) サーバおよびアニメーション推薦システム、アニメーション推薦方法、プログラム
US20240045992A1 (en) Method and electronic device for removing sensitive information from image data
CN108521614B (zh) 电影介绍生成方法和系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant