CN113301408A - 视频数据处理方法、装置、电子设备和可读存储介质 - Google Patents

视频数据处理方法、装置、电子设备和可读存储介质 Download PDF

Info

Publication number
CN113301408A
CN113301408A CN202110558559.6A CN202110558559A CN113301408A CN 113301408 A CN113301408 A CN 113301408A CN 202110558559 A CN202110558559 A CN 202110558559A CN 113301408 A CN113301408 A CN 113301408A
Authority
CN
China
Prior art keywords
video
frame
similarity
video frame
video segment
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202110558559.6A
Other languages
English (en)
Other versions
CN113301408B (zh
Inventor
赵明瑶
舒科
闫嵩
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Dami Technology Co Ltd
Original Assignee
Beijing Dami Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Dami Technology Co Ltd filed Critical Beijing Dami Technology Co Ltd
Priority to CN202110558559.6A priority Critical patent/CN113301408B/zh
Publication of CN113301408A publication Critical patent/CN113301408A/zh
Application granted granted Critical
Publication of CN113301408B publication Critical patent/CN113301408B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/426—Internal components of the client ; Characteristics thereof
    • H04N21/42653—Internal components of the client ; Characteristics thereof for processing graphics
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/70—Information retrieval; Database structures therefor; File system structures therefor of video data
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/433—Content storage operation, e.g. storage operation in response to a pause request, caching operations
    • H04N21/4332—Content storage operation, e.g. storage operation in response to a pause request, caching operations by placing content in organized collections, e.g. local EPG data repository
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream, rendering scenes according to MPEG-4 scene graphs
    • H04N21/44008—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream, rendering scenes according to MPEG-4 scene graphs involving operations for analysing video streams, e.g. detecting features or characteristics in the video stream

Abstract

本申请实施例提供了一种视频数据处理方法、装置、电子设备和可读存储介质，涉及计算机技术领域，通过本申请实施例，可以基于第一视频片段和第二视频片段中的视频帧之间的合成评价参数来判断第一视频片段和第二视频片段是否具有的关联关系，其中，若合成评价参数满足预定条件，则可以生成表征第一视频片段和第二视频片段之间关联关系的帧对信息。当确定各视频片段之间的帧对信息后，可以基于各帧对信息对各视频片段进行存储，以建立各视频片段对应的数据库，这样，在后续进行视频合成时，可以确保获取的相邻两个视频片段之间是具有相关性的，增加了合成视频整体的流畅程度，使得合成视频具有连贯、流畅的优点。

Description

视频数据处理方法、装置、电子设备和可读存储介质
技术领域
本申请涉及计算机技术领域，特别是涉及一种视频数据处理方法、装置、电子设备和可读存储介质。
背景技术
目前，随着互联网技术的发展，线上服务平台的数量越来越多，人们可以通过终端设备来与线上服务平台进行交互，以获取相应的线上服务。
在线上服务的过程中，为了使得用户能够获得更好的体验，线上服务平台可以通过相应的应用程序在用户侧终端设备的显示屏显示一段合成视频。例如，该合成视频可以是带有虚拟人物形象的合成视频(该虚拟人物形象可以是在线客服界面所展示的虚拟客服人员，也可以是在线课堂界面所展示的虚拟老师等等)，再例如，该合成视频也可以是带有虚拟卡通形象的合成视频。
然而，在相关技术中，用于进行合成视频的素材之间往往存在关联性较差的问题，这样会导致最终的合成视频出现不连贯、不流畅的问题，因此，如何提高素材之间的关联性是一个亟需解决的问题。
发明内容
有鉴于此，本申请实施例提供一种视频数据处理方法、装置、电子设备和可读存储介质，可以确保视频合成的素材之间是具有相关性的，增加了合成视频整体的流畅程度。
第一方面，提供了一种视频数据处理方法，所述方法应用于电子设备，所述方法包括：
确定第一视频片段和第二视频片段，所述第一视频片段包括至少一个第一视频帧，所述第二视频片段包括至少一个第二视频帧。
计算各所述第一视频帧分别与各所述第二视频帧之间的合成评价参数。
响应于所述合成评价参数满足预定条件，生成所述第一视频片段和所述第二视频片段之间的帧对信息，所述帧对信息用于表征对应的两个视频片段之间的关联关系。
基于至少一个帧对信息以及每个帧对信息对应的视频片段，建立数据库。
第二方面，提供了一种视频数据处理装置，所述装置应用于电子设备，所述装置包括：
第一确定模块，用于确定第一视频片段和第二视频片段，所述第一视频片段包括至少一个第一视频帧，所述第二视频片段包括至少一个第二视频帧。
合成评价参数模块，用于计算各所述第一视频帧分别与各所述第二视频帧之间的合成评价参数。
帧对信息模块，用于响应于所述合成评价参数满足预定条件，生成所述第一视频片段和所述第二视频片段之间的帧对信息，所述帧对信息用于表征对应的两个视频片段之间的关联关系。
建立模块，用于基于至少一个帧对信息以及每个帧对信息对应的视频片段，建立数据库。
第三方面，本申请实施例提供了一种电子设备，包括存储器和处理器，所述存储器用于存储一条或多条计算机程序指令，其中，所述一条或多条计算机程序指令被所述处理器执行以实现如第一方面所述的方法。
第四方面，本申请实施例提供了一种计算机可读存储介质，其上存储计算机程序指令，所述计算机程序指令在被处理器执行时实现如第一方面所述的方法。
通过本申请实施例，可以基于第一视频片段和第二视频片段中的视频帧(即第一视频帧和第二视频帧)之间的合成评价参数来判断第一视频片段和第二视频片段是否具有较强的关联关系，若合成评价参数满足预定条件，则可以生成第一视频片段和第二视频片段的帧对信息，该帧对信息用于表征对应的两个视频片段之间的关联关系。当确定多个帧对信息后，可以基于各帧对信息以及各帧对信息对应的视频片段建立数据库，这样，在后续进行视频合成时，可以确保相邻两个视频片段之间是具有相关性的，增加了合成视频整体的流畅程度，使得合成视频具有连贯、流畅的优点。
附图说明
通过以下参照附图对本申请实施例的描述，本申请实施例的上述以及其它目的、特征和优点将更为清楚，在附图中：
图1为本申请实施例的视频数据处理系统的示意图；
图2为本申请实施例的视频数据处理方法的流程图；
图3为本申请实施例的另一种视频数据处理方法的流程图；
图4为本申请实施例的第一视频帧的人物区域图像和第二视频帧的人物区域图像的示意图；
图5为本申请实施例的基于色彩相似度判断是否生成帧对信息的流程图；
图6为本申请实施例的基于比例相似度判断是否生成帧对信息的流程图；
图7为本申请实施例的生成帧对信息过程的流程图；
图8为本申请实施例的视频数据处理装置的结构示意图；
图9为本申请实施例的电子设备的结构示意图。
具体实施方式
以下基于实施例对本申请进行描述，但是本申请并不仅仅限于这些实施例。在下文对本申请的细节描述中，详尽描述了一些特定的细节部分。对本领域技术人员来说没有这些细节部分的描述也可以完全理解本申请。为了避免混淆本申请的实质，公知的方法、过程、流程、元件和电路并没有详细叙述。
此外，本领域普通技术人员应当理解，在此提供的附图都是为了说明的目的，并且附图不一定是按比例绘制的。
除非上下文明确要求，否则在说明书的“包括”、“包含”等类似词语应当解释为包含的含义而不是排他或穷举的含义；也就是说，是“包括但不限于”的含义。
在本申请的描述中，需要理解的是，术语“第一”、“第二”等仅用于描述目的，而不能理解为指示或暗示相对重要性。此外，在本申请的描述中，除非另有说明，“多个”的含义是两个或两个以上。
为了解决上述问题，本申请实施例提供一种视频数据处理系统，如图1所示，图1为本申请实施例的一种视频数据处理系统的示意图，该示意图包括：第一视频片段111、第二视频片段112、用于视频数据处理的电子设备12和数据库13。
其中，第一视频片段111和第二视频片段112是本申请实施例中待处理的两个视频片段，通过图1所示的系统，可以判断第一视频片段111和第二视频片段112之间是否具有较强的关联关系。
在实际应用中，第一视频片段111一般包括至少一个第一视频帧，第二视频片段112一般包括至少一个第二视频帧。
电子设备12可以是终端，也可以是服务器。其中，终端可以是智能手机、平板电脑或者个人计算机(Personal Computer，PC)等，服务器可以是单个服务器，也可以是以分布式方式配置的服务器集群，还可以是云服务器。
数据库13中包括多个备选视频片段，其中，备选视频片段是在视频合成的过程中作为合成素材的视频片段，若第一视频片段111和第二视频片段112之间具有较强的关联关系，则电子设备12可以将第一视频片段111和第二视频片段112作为备选视频片段存入数据库13中。
具体的，当电子设备12接收到第一视频片段111和第二视频片段112后，可以确定第一视频片段111中各第一视频帧与第二视频片段112中各第二视频帧之间的合成评价参数，其中，该合成评价参数可以用于评价第一视频帧与第二视频帧之间的关联关系，若第一视频帧与第二视频帧之间具有较强的关联关系，则表征第一视频片段111和第二视频片段112之间具有较强的关联关系。
进一步的，若合成评价参数满足预定条件(即第一视频帧与第二视频帧之间具有较强的关联关系)，则电子设备12可以生成第一视频片段111和第二视频片段112之间的帧对信息，其中，帧对信息可以用于表征两个视频片段之间的关联关系，该关联关系可以用于表征对应两个视频片段可以进行拼接合成。
当电子设备12确定了多个帧对信息后，电子设备12可以基于至少一个帧对信息以及每个帧对信息对应的视频片段，建立数据库。
通过本申请实施例，可以基于第一视频片段和第二视频片段中的视频帧(即第一视频帧和第二视频帧)之间的合成评价参数来判断第一视频片段和第二视频片段是否具有较强的关联关系，若合成评价参数满足预定条件，则可以生成第一视频片段和第二视频片段的帧对信息，该帧对信息用于表征对应的两个视频片段之间的关联关系。当确定多个帧对信息后，可以基于各帧对信息以及各帧对信息对应的视频片段建立数据库，这样，在后续进行视频合成时，可以确保相邻两个视频片段之间是具有相关性的，增加了合成视频整体的流畅程度，使得合成视频具有连贯、流畅的优点。
下面将结合具体实施方式，对本申请实施例提供的视频数据处理方法进行详细的说明，如图2所示，具体步骤如下：
在步骤21，确定第一视频片段和第二视频片段。
可选的，结合上述图1所述内容，本申请实施例可以从视频片段集合中确定第一视频片段和第二视频片段。
其中，第一视频片段包括至少一个第一视频帧，第二视频片段包括至少一个第二视频帧。
在本申请实施例中，帧对信息是用于表征2个视频片段可以进行拼接的信息，因此，可以通过2个视频片段中适当位置的视频帧来判断该2个视频片段是否可以进行拼接。
例如，在步骤21中，第一视频帧可以是第一视频片段的最后n帧中的任一帧，第二视频帧可以是第二视频片段的起始m帧中的任一帧。当然，第一视频帧也可以是第一视频片段的起始n帧中的任一帧，第二视频帧也可以是第二视频片段的最后m帧中的任一帧。其中，m和n为自然数，其数值可以根据实际情况进行设置。
在步骤22，计算各第一视频帧分别与各第二视频帧之间的合成评价参数。
在本申请实施例中，合成评价参数是用于评价各第一视频帧与各第二视频帧之间相似度的参数，例如，合成评价参数可以包括像素相似度、色彩相似度、比例相似度、光流值等等。通过合成评价参数中的一种或多种参数，可以判断第一视频帧与第二视频帧之间是否具有关联性，进而，可以判断第一视频片段和第二视频片段之间是否具有关联性。
需要说明的，上述合成评价参数既可以包括一种参数，也可以包括多种参数，具体的参数种类可以根据实际情况进行设置。
针对上述合成评价参数，在一种优选的实施方式中，合成评价参数可以至少包括像素相似度，其中，确定像素相似度的过程可以执行为：确定第一视频帧的人物区域图像和第二视频帧的人物区域图像，以及基于第一视频帧的人物区域图像和第二视频帧的人物区域图像确定第一视频帧和第二视频帧之间的像素相似度。
进一步的，如图3所示，基于人物区域图像确定像素相似度的过程可以包括如下步骤：
在步骤31，确定第一视频帧的人物区域图像和第二视频帧的人物区域图像之间的重叠度。
在一种优选的实施方式中，步骤31中的重叠度可以是第一视频帧的人物区域图像和第二视频帧的人物区域图像之间的交并比(Intersection over Union，IoU)。
在本申请实施例中，IoU可以用于确定第一视频帧的人物区域图像和第二视频帧的人物区域图像之间的重叠程度，具体的，如图4所示，图4为本申请实施例提供的一种第一视频帧的人物区域图像和第二视频帧的人物区域图像的示意图，该示意图包括：视频帧41、视频帧42以及阴影部分43。其中，视频帧41用于表征第一视频帧人物图像区域，视频帧42用于表征第二视频帧人物图像区域，阴影部分43用于表征视频帧41和视频帧42之间重叠的部分。
根据图4所示的内容可知，视频帧41和视频帧42之间的IoU可以通过阴影部分43所占的面积确定，具体的，视频帧41和视频帧42之间的IoU可以通过如下公式确定：
Figure BDA0003078233100000071
其中，a用于表征视频帧41的面积，b用于表征视频帧42的面积。因此，视频帧41和视频帧42之间的IoU即为：阴影部分43占视频帧41和视频帧42所占所有面积的总和。
在本申请实施例中，通过确定第一视频帧的人物区域图像和第二视频帧的人物区域图像之间的重叠度，可以从空间的维度确定第一视频帧的人物区域图像和第二视频帧的人物区域图像的相似程度，提高了确定第一视频帧和第二视频帧之间的像素相似度的准确性。
在步骤32，响应于重叠度大于预定重叠度阈值，确定第一视频帧和第二视频帧之间的像素比。
在本申请实施例中，若上述重叠度大于预定重叠度阈值，则表征第一视频帧和第二视频帧在空间维度具有较高的相似程度，然后，可以进一步的确定第一视频帧和第二视频帧之间的像素比，以判断第一视频帧和第二视频帧在像素值维度的相似度。
具体的，步骤32具体可以执行为：确定第一视频帧的人物区域图像和第二视频帧的人物区域图像中相应位置像素值差值为0的像素数量，以及基于像素值差值为0的像素数量和像素总数量，确定第一视频帧和第二视频帧之间的像素比。
也就是说，在本申请实施例中，可以将第一视频帧的人物区域图像和第二视频帧的人物区域图像进行对齐，然后确定对应位置像素点的像素值差值，然后通过像素值差值为0的像素数量和像素总数量，确定第一视频帧和第二视频帧之间的像素比。具体的，可以通过如下公式确定第一视频帧和第二视频帧之间的像素比：
像素比＝像素值差值为0的像素数量/像素总数量
通过本申请实施例，通过确定第一视频帧的人物区域图像和第二视频帧的人物区域图像之间的像素比，可以从像素值的维度来确定第一视频帧的人物区域图像和第二视频帧的人物区域图像的相似程度，提高了确定第一视频帧和第二视频帧之间的像素相似度的准确性。
在步骤33，响应于像素比大于预定像素比阈值，确定第一视频帧和第二视频帧之间的像素相似度。
在本申请实施例中，若上述像素比大于预定像素比阈值，则表征第一视频帧和第二视频帧在像素值维度具有较高的相似程度，然后，可以进一步的确定第一视频帧和第二视频帧之间的像素相似度。
具体的，步骤33具体可以执行为：确定第一视频帧的人物区域图像的第一平均哈希编码，确定第二视频帧的人物区域图像的第二平均哈希编码，以及基于第一平均哈希编码和第二平均哈希编码之间的汉明距离，确定第一视频帧和第二视频帧之间的像素相似度。
其中，平均哈希编码可以通过预设的哈希算法对图像数据进行计算，然后输出一个定长的数据key，该数据key只用于表征对应的图像数据，也就是说，通过哈希算法确定的数据key为对应图像数据的唯一标识。
需要说明的，确定第一平均哈希编码的过程和确定第二平均哈希编码的过程没有固定的执行顺序，也就是说，在本申请实施例中可以先确定第一平均哈希编码再确定第二平均哈希编码，也可以先确定第二平均哈希编码再确定第一平均哈希编码，还可以同时确定第一平均哈希编码和第二平均哈希编码。
然后，本申请实施例可以基于第一平均哈希编码和第二平均哈希编码之间的汉明距离，确定第一视频帧和第二视频帧之间的像素相似度。其中，汉明距离可以用于确定两段二进制数之间的相似程度，在本申请实施例中，在计算第一平均哈希编码和第二平均哈希编码之间的汉明距离后，可以将该汉明距离作为第一视频帧和第二视频帧之间的像素相似度。
通过本申请实施例，基于第一视频帧的人物区域图像和第二视频帧的人物区域图像之间的重叠度，可以确定第一视频帧和第二视频帧在空间维度的相似程度。基于第一视频帧的人物区域图像和第二视频帧的人物区域图像之间的像素比，可以确定第一视频帧和第二视频帧在像素值维度的相似程度。因此，通过上述重叠度和上述像素比可以对第一视频帧和第二视频帧进行初步筛选，进而，本申请实施例可以仅针对相似度高的第一视频帧和第二视频帧计算像素相似度，提高了确定像素相似度的效率。
针对上述合成评价参数，在另一种优选的实施方式中，合成评价参数可以至少包括色彩相似度，确定色彩相似度的过程可以执行为：确定第一视频帧的背景区域图像和第二视频帧的背景区域图像之间的色差作为色彩相似度。
在本申请实施例中，背景区域图像通常为一个统一的背景样式，例如，以在线课堂为例，在线课堂界面所展示的内容可以包括虚拟老师人物区域图像和在线课堂背景区域图像。
因此，通过对比第一视频帧的背景区域图像和第二视频帧的背景区域图像之间的色差，可以反映第一视频帧和第二视频帧之间的整体色差。
具体的，上述色差可以通过LAB颜色空间的色差进行表示，其中，L用于表征明度，A用于表征红绿色差，B用于表征蓝黄色差。
在一种优选的实施方式中，可以在RGB颜色空间中通过预定公式来计算出第一视频帧的背景区域图像中预定位置颜色，以及第二视频帧的背景区域图像中相应位置颜色的加权的欧氏距离，进而将该欧氏距离作为第一视频帧的背景区域图像和第二视频帧的背景区域图像之间的色差。其中，R用于表征红色，G用于表征绿色，B用于表征蓝色。
其中，该预定公式如下：
Figure BDA0003078233100000091
其中，C用于表征颜色1和颜色2之间的色差，颜色1可以用于表征第一视频帧的背景区域图像中预定位置的颜色，颜色2可以用于表征第二视频帧的背景区域图像中相应位置的颜色。
Figure BDA0003078233100000092
用于表征颜色1红色通道与颜色2红色通道的平均值，具体的，可以由如下公式进行表示：
Figure BDA0003078233100000093
其中，C1,R用于表征颜色1的红色通道，C2,R用于表征颜色2的红色通道。
ΔR用于表征颜色1红色通道与颜色2红色通道之间的差值，具体的，可以由如下公式进行表示：
ΔR＝C1,R-C2,R
ΔG用于表征颜色1绿色通道与颜色2绿色通道之间的差值，具体的，可以由如下公式进行表示：
ΔG＝C1,G-C2,G
其中，C1,G用于表征颜色1的绿色通道，C2,G用于表征颜色2的绿色通道。
ΔB用于表征颜色1蓝色通道与颜色2蓝色通道之间的差值，具体的，可以由如下公式进行表示：
ΔB＝C1,B-C2,B
其中，C1,B用于表征颜色1的蓝色通道，C2,B用于表征颜色2的蓝色通道。
在本申请实施例中，由于背景区域图像往往是颜色较为统一的区域，因此，通过第一视频帧的背景区域图像和第二视频帧的背景区域图像之间的色差，可以较为准确的反映第一视频帧和第二视频帧之间的相似程度，也即可以较为准确的反映第一视频片段和第二视频片段之间的相似程度。
针对上述合成评价参数，在另一种优选的实施方式中，合成评价参数可以至少包括比例相似度，确定比例相似度的过程可以执行为：确定第一视频帧中人物头部区域图像的像素数量，确定第二视频帧中人物头部区域图像的像素数量，以及基于第一视频帧中人物头部区域图像的像素数量和第二视频帧中人物头部区域图像的像素数量，确定比例相似度。
需要说明的，确定头部区域图像的像素数量的过程没有固定的执行顺序，也就是说，在本申请实施例中可以先确定第一视频帧中人物头部区域图像的像素数量再确定第二视频帧中人物头部区域图像的像素数量，也可以先确定第二视频帧中人物头部区域图像的像素数量再确定第一视频帧中人物头部区域图像的像素数量，还可以同时确定第一视频帧和第二视频帧中人物头部区域图像的像素数量。
在本申请实施例中，由于人体的比例是一个较为固定的数值，因此，通过人物头部区域图像所占的像素数量，可以判断人物与镜头之间的距离。如果第一视频帧中人物到镜头之间的距离和第二视频帧中人物到镜头之间的距离差距过大，则表征第一视频帧和第二视频帧不适合进行拼接，反之，则表征第一视频帧和第二视频帧适合进行拼接。
具体的，可以基于如下公式确定比例相似度：
Figure BDA0003078233100000111
其中，abs用于表征统计函数，也就是说，基于上述公式，可以通过统计第一视频帧和第二视频帧人物头部区域图像的像素数量来评价第一视频帧和第二视频帧的比例相似度。
在本申请实施例中，由于人体的比例是一个较为固定的数值，因此，通过第一视频帧和第二视频帧人物头部区域图像的像素数量，可以较为准确的反映第一视频帧和第二视频帧中人物与镜头之间的距离，进而，可以基于人物与镜头之间的距离，较为准确的反映第一视频片段和第二视频片段之间的相似程度。
针对上述合成评价参数，在另一种优选的实施方式中，合成评价参数可以至少包括光流值，光流值用于表征一个场景中的物体，由于运动(物体本身运动或者镜头运动)而产生的动态变化，光流值越大，则表示两帧之间由于运动产生的变化越大，光流值越小，则表示两帧之间由于运动产生的变化越小。
在本申请实施例中，由于光流值可以反映两个视频帧之间的动态变化，因此，基于光流值的大小，可以判断第一视频帧和第二视频帧之间的动态变化，进而可以较为准确的反映第一视频片段和第二视频片段之间的相似程度。
在步骤23，响应于合成评价参数满足预定条件，生成第一视频片段和第二视频片段之间的帧对信息。
可选的，响应于任一合成评价参数(也即任一第一视频帧与任一第二视频帧之间的合成评价参数)满足该预定条件，生成第一视频片段和第二视频片段之间的帧对信息。在其他可选的实现方式中，响应于超过预定比例(例如50％等)的合成评价参数满足该预定条件，生成第一视频片段和第二视频片段之间的帧对信息。
其中，帧对信息用于表征对应的两个视频片段之间的关联关系。
在本申请实施例中，当确定合成评价参数中的一项或多项后，可以基于该一项或多项合成评价参数以及预定条件进行判断，若该一项或多项合成评价参数满足预定条件，则可以生成第一视频片段和第二视频片段之间的帧对信息，以表征第一视频片段和第二视频片段可以进行拼接。
在一种情况下，本申请实施例可以基于合成评价参数中的像素相似度来判断是否可以生成第一视频片段和第二视频片段之间的帧对信息，具体的，该过程可以执行为：响应于像素相似度大于预定像素相似度阈值，生成第一视频片段和第二视频片段之间的帧对信息。
在本情况下，第一视频帧和第二视频帧之间的像素相似度可以表征二者各个像素点之间的相似度，因此，当像素相似度大于预定像素相似度阈值时，可以表征第一视频帧和第二视频帧具有较高的相似度，进而可以生成第一视频片段和第二视频片段之间的帧对信息，以表征第一视频片段和第二视频片段可以进行拼接。
在另一种情况下，本申请实施例可以基于合成评价参数中的色彩相似度来判断是否可以生成第一视频片段和第二视频片段之间的帧对信息，具体的，该过程可以执行为：响应于色彩相似度小于第一预定色彩相似度阈值，生成第一视频片段和第二视频片段之间的帧对信息。
在本情况下，第一视频帧和第二视频帧之间的色彩相似度可以表征二者颜色之间的相似度，当色彩相似度小于第一预定色彩相似度阈值时，表征第一视频帧和第二视频帧具有较高的相似度，进而可以生成第一视频片段和第二视频片段之间的帧对信息，以表征第一视频片段和第二视频片段可以进行拼接。
在另一种情况下，当色彩相似度大于第一预定色彩相似度阈值，本申请实施例可以对第一视频片段和第二视频片段进行色彩转换，具体的，该过程可以执行为：响应于色彩相似度大于等于第一预定色彩相似度阈值且小于第二预定色彩相似度阈值，针对第一视频片段和第二视频片段进行色彩转换，以及生成色彩转换后的第一视频片段和色彩转换后的第二视频片段之间的帧对信息。
其中，第二预定色彩相似度阈值大于第一预定色彩相似度阈值。
在本情况下，第一视频帧和第二视频帧之间的色彩相似度可以表征二者颜色之间的相似度，当色彩相似度大于等于第一预定色彩相似度阈值时，表征第一视频帧和第二视频帧之间具有一定的色彩差异，但是，本申请实施例可以通过第二预定色彩相似度阈值对该色彩差异进行限定。也就是说，当色彩相似度大于等于第一预定色彩相似度阈值且小于第二预定色彩相似度阈值时，第一视频帧和第二视频帧之间的色彩差异仍在可控范围之内。因此，本申请实施例可以对在此情况下的第一视频片段和第二视频片段进行色彩转换，然后生成色彩转换后的第一视频片段和色彩转换后的第二视频片段之间的帧对信息。
在本情况下，本申请实施例可以基于颜色直方图对第一视频片段和第二视频片段进行色彩转换，其中，颜色直方图用于表征图像的颜色分布特征，利用颜色直方图的特性，可以实现对第一视频片段和第二视频片段进行颜色调整，以使得二者的色彩互相统一。
结合上述关于色彩相似度的两种情况，如图5所示，图5为本申请实施例提供的一种基于色彩相似度判断是否生成帧对信息的流程图，具体包括如下步骤：
在步骤51，确定第一视频帧和第二视频帧之间的色彩相似度。
在步骤52，判断色彩相似度是否大于等于第二预定色彩相似度阈值，若色彩相似度大于等于第二预定色彩相似度阈值，则结束当前流程，若色彩相似度小于第二预定色彩相似度阈值，则执行步骤53。
在步骤53，判断色彩相似度是否小于第一预定色彩相似度阈值，若色彩相似度小于第一预定色彩相似度阈值，则执行步骤55，若色彩相似度大于等于第一预定色彩相似度阈值，则执行步骤54。
其中，由于在步骤52将大于等于第二预定色彩相似度阈值的色彩相似度进行滤除，所以在步骤53中，大于等于第一预定色彩相似度阈值的色彩相似度均小于第二预定色彩相似度阈值。
在步骤54，针对第一视频帧对应的第一视频片段和第二视频帧对应的第二视频片段进行色彩转换。
在步骤55，生成帧对信息。
其中，该帧对信息可以是第一视频片段和第二视频片段的帧对信息，也可以是色彩转换后的第一视频片段和色彩转换后的第二视频片段的帧对信息。
通过本申请实施例，可以基于合成评价参数中的色彩相似度生成第一视频片段和第二视频片段的帧对信息，在此过程中，本申请实施例可以根据处于不同数值范围内的色彩相似度进行不同的处理，这样，既可以提高生成帧对信息的数量，也可以提高帧对信息对应的第一视频片段和第二视频片段的相似度。
在另一种情况下，本申请实施例可以基于合成评价参数中的比例相似度来判断是否可以生成第一视频片段和第二视频片段之间的帧对信息，具体的，该过程可以执行为：响应于比例相似度小于第一预定比例相似度阈值，生成第一视频片段和第二视频片段之间的帧对信息。
在本情况下，通过人物头部区域图像所占的像素数量，可以判断人物与镜头之间的距离，当比例相似度小于第一预定比例相似度阈值时，表征第一视频帧和第二视频帧具有较高的相似度，进而可以生成第一视频片段和第二视频片段之间的帧对信息，以表征第一视频片段和第二视频片段可以进行拼接。
在另一种情况下，当比例相似度大于第一预定比例相似度阈值，本申请实施例可以对第一视频片段和第二视频片段进行比例调整，具体的，该过程可以执行为：响应于比例相似度大于等于第一预定比例相似度阈值且小于第二预定比例相似度阈值，针对第一视频片段和第二视频片段进行比例调整，以及生成比例调整后的第一视频片段和比例调整后的第二视频片段之间的帧对信息。
其中，第二预定比例相似度阈值大于第一预定比例相似度阈值。
在本情况下，当比例相似度大于等于第一预定比例相似度阈值时，表征第一视频帧和第二视频帧之间具有一定的比例差异，但是，本申请实施例可以通过第二预定比例相似度阈值对该比例差异进行限定。也就是说，当比例相似度大于等于第一预定比例相似度阈值且小于第二预定比例相似度阈值时，第一视频帧和第二视频帧之间的比例差异仍在可控范围之内。因此，本申请实施例可以对在此情况下的第一视频片段和第二视频片段进行比例调整，然后生成比例调整后的第一视频片段和比例调整后的第二视频片段之间的帧对信息。
在本情况下，本申请实施例可以对第一视频片段和第二视频片段进行尺寸缩放，以使得二者的比例互相统一。
结合上述关于比例相似度的两种情况，如图6所示，图6为本申请实施例提供的一种基于比例相似度判断是否生成帧对信息的流程图，具体包括如下步骤：
在步骤61，确定第一视频帧和第二视频帧之间的比例相似度。
在步骤62，判断比例相似度是否大于等于第二预定比例相似度阈值，若比例相似度大于等于第二预定比例相似度阈值，则结束当前流程，若比例相似度小于第二预定比例相似度阈值，则执行步骤63。
在步骤63，判断比例相似度是否小于第一预定比例相似度阈值，若比例相似度小于第一预定比例相似度阈值，则执行步骤65，若比例相似度大于等于第一预定比例相似度阈值，则执行步骤64。
其中，由于在步骤62将大于等于第二预定比例相似度阈值的比例相似度进行滤除，所以在步骤63中，大于等于第一预定比例相似度阈值的比例相似度均小于第二预定比例相似度阈值。
在步骤64，针对第一视频帧对应的第一视频片段和第二视频帧对应的第二视频片段进行比例调整。
在步骤65，生成帧对信息。
其中，该帧对信息可以是第一视频片段和第二视频片段的帧对信息，也可以是比例调整后的第一视频片段和比例调整后的第二视频片段的帧对信息。
通过本申请实施例，可以基于合成评价参数中的比例相似度生成第一视频片段和第二视频片段的帧对信息，在此过程中，本申请实施例可以根据处于不同数值范围内的比例相似度进行不同的处理，这样，既可以提高生成帧对信息的数量，也可以提高帧对信息对应的第一视频片段和第二视频片段的相似度。
在另一种情况下，本申请实施例可以基于合成评价参数中的光流值来判断是否可以生成第一视频片段和第二视频片段之间的帧对信息，具体的，该过程可以执行为：确定第一视频帧和第二视频帧之间光流值大于预定光流值阈值的像素数量，以及响应于光流值大于预定光流值阈值的像素数量小于预定像素数量阈值，生成第一视频片段和第二视频片段之间的帧对信息。
在本情况下，由于光流值可以反映两个视频帧之间的动态变化，因此，基于光流值的大小，可以判断第一视频帧和第二视频帧之间的相似程度，然后，基于该相似程度，可以判断是否生成第一视频片段和第二视频片段之间的帧对信息。
在另一种情况下，本申请实施例可以基于合成评价参数中的多种参数来判断是否可以生成第一视频片段和第二视频片段之间的帧对信息，在一种优选的实施方式中，该过程可以执行为：响应于像素相似度大于预定像素相似度阈值，确定第一视频帧和第二视频帧之间的色彩相似度，响应于色彩相似度满足预定色彩相似度条件，确定第一视频帧和第二视频帧之间的比例相似度，响应于比例相似度满足预定比例相似度条件，确定第一视频帧和第二视频帧之间的光流值，以及响应于光流值大于预定光流值阈值的像素数量小于预定像素数量阈值，生成第一视频片段和第二视频片段之间的帧对信息。
需要说明的，上述过程为本申请实施例的一种举例，在实际应用中，对合成评价参数中各参数的判断顺序可以根据实际情况进行调整。
如图7所示，图7为本申请实施例提供的一种生成帧对信息过程的流程图，具体包括如下步骤：
在步骤71，确定第一视频帧和第二视频帧之间的像素相似度。
在步骤72，判断像素相似度是否满足预定像素相似度条件，若像素相似度满足预定像素相似度条件，则执行步骤73，若像素相似度不满足预定像素相似度条件，则结束当前流程。
其中，预定像素相似度条件可以是像素相似度大于预定像素相似度阈值。
在步骤73，确定第一视频帧和第二视频帧之间的色彩相似度。
在步骤74，判断色彩相似度是否满足预定色彩相似度条件，若色彩相似度满足预定色彩相似度条件，则执行步骤75，若色彩相似度不满足预定色彩相似度条件，则结束当前流程。
其中，基于色彩相似度进行判断的流程可以参照上述图5所述内容，本申请实施例在此不做赘述。
另外，若参照上述图5所述内容对色彩相似度进行判断，则可以将图5中的步骤55替换为图7中的步骤75-步骤79。
在步骤75，确定第一视频帧和第二视频帧之间的比例相似度。
在步骤76，判断比例相似度是否满足预定比例相似度条件，若比例相似度满足预定比例相似度条件，则执行步骤77，若比例相似度不满足预定比例相似度条件，则结束当前流程。
其中，基于比例相似度进行判断的流程可以参照上述图6所述内容，本申请实施例在此不做赘述。
另外，若参照上述图6所述内容对比例相似度进行判断，则可以将图6中的步骤65替换为图7中的步骤77-步骤79。
在步骤77，确定第一视频帧和第二视频帧之间的光流值。
在步骤78，判断光流值是否满足预定光流值条件，若光流值满足预定光流值条件，则执行步骤79，若光流值不满足预定光流值条件，则结束当前流程。
其中，预定光流值条件可以是光流值大于预定光流值阈值的像素数量小于预定像素数量阈值。
在步骤79，生成帧对信息。
通过本申请实施例，基于合成评价参数中的多种参数来判断是否可以生成第一视频片段和第二视频片段之间的帧对信息，可以有效筛选出相似度较高的第一视频片段和第二视频片段，进而可以提高合成视频的质量。
在步骤24，基于至少一个帧对信息以及每个帧对信息对应的视频片段，建立数据库。
在一种优选的实施方式中，步骤24可以执行为：确定多个帧对信息和每个帧对信息对应的视频片段，基于各帧对信息建立关联矩阵，以及基于关联矩阵和关联矩阵对应的各视频片段，建立数据库。
其中，在本申请实施例中，关联矩阵为各帧对信息的集合。
通过本申请实施例，可以基于第一视频片段和第二视频片段中的视频帧(即第一视频帧和第二视频帧)之间的合成评价参数来判断第一视频片段和第二视频片段是否具有较强的关联关系，若合成评价参数满足预定条件，则可以生成第一视频片段和第二视频片段的帧对信息，该帧对信息用于表征对应的两个视频片段之间的关联关系。当确定多个帧对信息后，可以基于各帧对信息以及各帧对信息对应的视频片段建立数据库，这样，在后续进行视频合成时，可以确保相邻两个视频片段之间是具有相关性的，增加了合成视频整体的流畅程度，使得合成视频具有连贯、流畅的优点。
在本申请实施例中，当建立数据库之后，数据库中的视频片段可以作为视频合成的素材，当用于视频合成的电子设备接收到视频合成指令后，可以根据该视频合成指令从数据库中确定对应的目标视频片段，以确定合成视频。
具体的，视频合成的过程可以执行为：响应于接收到视频合成指令，根据视频合成指令从数据库中确定多个目标视频片段，以及基于视频合成指令指定的连接顺序，对各目标视频片段进行合成操作，确定合成视频。
其中，视频合成指令用于指定各目标视频片段的连接顺序。
由上述方法步骤可知，数据库中至少包括帧对信息以及各帧对信息对应的视频片段，因此，在合成视频的过程中可以确保相邻两个目标视频片段之间是具有相关性的，增加了合成视频整体的流畅程度。
基于相同的技术构思，本申请实施例还提供了一种视频数据处理装置，如图8所示，该装置包括：第一确定模块81、合成评价参数模块82、帧对信息模块83和建立模块84。
第一确定模块81，用于确定第一视频片段和第二视频片段，所述第一视频片段包括至少一个第一视频帧，所述第二视频片段包括至少一个第二视频帧。
合成评价参数模块82，用于计算各所述第一视频帧分别与各所述第二视频帧之间的合成评价参数。
帧对信息模块83，用于响应于所述合成评价参数满足预定条件，生成所述第一视频片段和所述第二视频片段之间的帧对信息，所述帧对信息用于表征对应的两个视频片段之间的关联关系。
建立模块84，用于基于至少一个帧对信息以及每个帧对信息对应的视频片段，建立数据库。
在一些优选的实施例中，所述合成评价参数至少包括像素相似度。
所述像素相似度基于如下模块确定：
第二确定模块，用于确定所述第一视频帧的人物区域图像和所述第二视频帧的人物区域图像。
像素相似度模块，用于基于所述第一视频帧的人物区域图像和所述第二视频帧的人物区域图像确定所述第一视频帧和所述第二视频帧之间的像素相似度。
在一些优选的实施例中，所述像素相似度模块，具体用于：
确定所述第一视频帧的人物区域图像和所述第二视频帧的人物区域图像之间的重叠度。
响应于所述重叠度大于预定重叠度阈值，确定所述第一视频帧和所述第二视频帧之间的像素比。
响应于所述像素比大于预定像素比阈值，确定所述第一视频帧和所述第二视频帧之间的像素相似度。
在一些优选的实施例中，所述像素相似度模块，具体用于：
确定所述第一视频帧的人物区域图像和所述第二视频帧的人物区域图像中相应位置像素值差值为0的像素数量。
基于像素值差值为0的像素数量和像素总数量，确定所述第一视频帧和所述第二视频帧之间的像素比。
在一些优选的实施例中，所述像素相似度模块，具体用于：
确定所述第一视频帧的人物区域图像的第一平均哈希编码。
确定所述第二视频帧的人物区域图像的第二平均哈希编码。
基于所述第一平均哈希编码和所述第二平均哈希编码之间的汉明距离，确定所述第一视频帧和所述第二视频帧之间的像素相似度。
在一些优选的实施例中，所述帧对信息模块83，具体用于：
响应于所述像素相似度大于预定像素相似度阈值，生成所述第一视频片段和所述第二视频片段之间的帧对信息。
在一些优选的实施例中，所述合成评价参数至少包括色彩相似度。
所述色彩相似度基于如下模块确定：
第三确定模块，用于确定所述第一视频帧的背景区域图像和所述第二视频帧的背景区域图像之间的色差作为色彩相似度。
在一些优选的实施例中，所述帧对信息模块83，具体用于：
响应于所述色彩相似度小于第一预定色彩相似度阈值，生成所述第一视频片段和所述第二视频片段之间的帧对信息。
在一些优选的实施例中，所述帧对信息模块83，具体用于：
响应于所述色彩相似度大于等于所述第一预定色彩相似度阈值且小于第二预定色彩相似度阈值，针对所述第一视频片段和所述第二视频片段进行色彩转换，所述第二预定色彩相似度阈值大于所述第一预定色彩相似度阈值。
生成色彩转换后的第一视频片段和色彩转换后的第二视频片段之间的帧对信息。
在一些优选的实施例中，所述合成评价参数至少包括比例相似度。
所述比例相似度基于如下模块确定：
第四确定模块，用于确定所述第一视频帧中人物头部区域图像的像素数量。
第五确定模块，用于确定所述第二视频帧中人物头部区域图像的像素数量。
比例相似度模块，用于基于所述第一视频帧中人物头部区域图像的像素数量和所述第二视频帧中人物头部区域图像的像素数量，确定比例相似度。
在一些优选的实施例中，所述帧对信息模块83，具体用于：
响应于所述比例相似度小于第一预定比例相似度阈值，生成所述第一视频片段和所述第二视频片段之间的帧对信息。
在一些优选的实施例中，所述帧对信息模块83，具体用于：
响应于所述比例相似度大于等于所述第一预定比例相似度阈值且小于第二预定比例相似度阈值，针对所述第一视频片段和所述第二视频片段进行比例调整，所述第二预定比例相似度阈值大于所述第一预定比例相似度阈值。
生成比例调整后的第一视频片段和比例调整后的第二视频片段之间的帧对信息。
在一些优选的实施例中，所述合成评价参数至少包括光流值。
所述帧对信息模块83，具体用于：
确定所述第一视频帧和所述第二视频帧之间光流值大于预定光流值阈值的像素数量。
响应于光流值大于预定光流值阈值的像素数量小于预定像素数量阈值，生成所述第一视频片段和所述第二视频片段之间的帧对信息。
在一些优选的实施例中，所述合成评价参数包括像素相似度、色彩相似度、比例相似度和光流值。
所述帧对信息模块83，具体用于：
响应于所述像素相似度大于预定像素相似度阈值，确定所述第一视频帧和所述第二视频帧之间的色彩相似度。
响应于所述色彩相似度满足预定色彩相似度条件，确定所述第一视频帧和所述第二视频帧之间的比例相似度。
响应于所述比例相似度满足预定比例相似度条件，确定所述第一视频帧和所述第二视频帧之间的光流值。
响应于光流值大于预定光流值阈值的像素数量小于预定像素数量阈值，生成所述第一视频片段和所述第二视频片段之间的帧对信息。
在一些优选的实施例中，所述建立模块84，具体用于：
确定多个帧对信息和每个帧对信息对应的视频片段。
基于各帧对信息建立关联矩阵。
基于所述关联矩阵和所述关联矩阵对应的各视频片段，建立数据库。
在一些优选的实施例中，所述装置还包括：
目标视频片段确定模块，用于响应于接收到视频合成指令，根据所述视频合成指令从数据库中确定多个目标视频片段，所述视频合成指令用于指定各目标视频片段的连接顺序。
合成模块，用于基于所述视频合成指令指定的连接顺序，对各目标视频片段进行合成操作，确定合成视频。
通过本申请实施例，可以基于第一视频片段和第二视频片段中的视频帧(即第一视频帧和第二视频帧)之间的合成评价参数来判断第一视频片段和第二视频片段是否具有较强的关联关系，若合成评价参数满足预定条件，则可以生成第一视频片段和第二视频片段的帧对信息，该帧对信息用于表征对应的两个视频片段之间的关联关系。当确定多个帧对信息后，可以基于各帧对信息以及各帧对信息对应的视频片段建立数据库，这样，在后续进行视频合成时，可以确保相邻两个视频片段之间是具有相关性的，增加了合成视频整体的流畅程度，使得合成视频具有连贯、流畅的优点。
图9是本申请实施例的电子设备的示意图。如图9所示，图9所示的电子设备为通用地址查询装置，其包括通用的计算机硬件结构，其至少包括处理器91和存储器92。处理器91和存储器92通过总线93连接。存储器92适于存储处理器91可执行的指令或程序。处理器91可以是独立的微处理器，也可以是一个或者多个微处理器集合。由此，处理器91通过执行存储器92所存储的指令，从而执行如上所述的本申请实施例的方法流程实现对于数据的处理和对于其它装置的控制。总线93将上述多个组件连接在一起，同时将上述组件连接到显示控制器94和显示装置以及输入/输出(I/O)装置95。输入/输出(I/O)装置95可以是鼠标、键盘、调制解调器、网络接口、触控输入装置、体感输入装置、打印机以及本领域公知的其他装置。典型地，输入/输出装置95通过输入/输出(I/O)控制器96与系统相连。
本领域的技术人员应明白，本申请的实施例可提供为方法、装置(设备)或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可读存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品。
本申请是参照根据本申请实施例的方法、装置(设备)和计算机程序产品的流程图来描述的。应理解可由计算机程序指令实现流程图中的每一流程。
这些计算机程序指令可以存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现流程图一个流程或多个流程中指定的功能。
也可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程中指定的功能的装置。
本申请的另一实施例涉及一种非易失性存储介质，用于存储计算机可读程序，所述计算机可读程序用于供计算机执行上述部分或全部的方法实施例。
即，本领域技术人员可以理解，实现上述实施例方法中的全部或部分步骤是可以通过程序来指定相关的硬件来完成，该程序存储在一个存储介质中，包括若干指令用以使得一个设备(可以是单片机，芯片等)或处理器(processor)执行本申请各实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-OnlyMemory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述仅为本申请的优选实施例，并不用于限制本申请，对于本领域技术人员而言，本申请可以有各种改动和变化。凡在本申请的精神和原理之内所作的任何修改、等同替换、改进等，均应包含在本申请的保护范围之内。

Claims (19)

1.一种视频数据处理方法，其特征在于，所述方法包括：
确定第一视频片段和第二视频片段，所述第一视频片段包括至少一个第一视频帧，所述第二视频片段包括至少一个第二视频帧；
计算各所述第一视频帧分别与各所述第二视频帧之间的合成评价参数；
响应于所述合成评价参数满足预定条件，生成所述第一视频片段和所述第二视频片段之间的帧对信息，所述帧对信息用于表征对应的两个视频片段之间的关联关系；以及
基于至少一个帧对信息以及每个帧对信息对应的视频片段，建立数据库。
2.根据权利要求1所述的方法，其特征在于，所述合成评价参数至少包括像素相似度；
所述像素相似度基于如下步骤确定：
确定所述第一视频帧的人物区域图像和所述第二视频帧的人物区域图像；以及
基于所述第一视频帧的人物区域图像和所述第二视频帧的人物区域图像确定所述第一视频帧和所述第二视频帧之间的像素相似度。
3.根据权利要求2所述的方法，其特征在于，所述基于所述第一视频帧的人物区域图像和所述第二视频帧的人物区域图像确定所述第一视频帧和所述第二视频帧之间的像素相似度，包括：
确定所述第一视频帧的人物区域图像和所述第二视频帧的人物区域图像之间的重叠度；
响应于所述重叠度大于预定重叠度阈值，确定所述第一视频帧和所述第二视频帧之间的像素比；以及
响应于所述像素比大于预定像素比阈值，确定所述第一视频帧和所述第二视频帧之间的像素相似度。
4.根据权利要求3所述的方法，其特征在于，所述确定所述第一视频帧和所述第二视频帧之间的像素比，包括：
确定所述第一视频帧的人物区域图像和所述第二视频帧的人物区域图像中相应位置像素值差值为0的像素数量；以及
基于像素值差值为0的像素数量和像素总数量，确定所述第一视频帧和所述第二视频帧之间的像素比。
5.根据权利要求3所述的方法，其特征在于，所述确定所述第一视频帧和所述第二视频帧之间的像素相似度，包括：
确定所述第一视频帧的人物区域图像的第一平均哈希编码；
确定所述第二视频帧的人物区域图像的第二平均哈希编码；以及
基于所述第一平均哈希编码和所述第二平均哈希编码之间的汉明距离，确定所述第一视频帧和所述第二视频帧之间的像素相似度。
6.根据权利要求1-5中任一项所述的方法，其特征在于，所述响应于所述合成评价参数满足预定条件，生成所述第一视频片段和所述第二视频片段之间的帧对信息，包括：
响应于所述像素相似度大于预定像素相似度阈值，生成所述第一视频片段和所述第二视频片段之间的帧对信息。
7.根据权利要求1所述的方法，其特征在于，所述合成评价参数至少包括色彩相似度；
所述色彩相似度基于如下步骤确定：
确定所述第一视频帧的背景区域图像和所述第二视频帧的背景区域图像之间的色差作为色彩相似度。
8.根据权利要求1或7所述的方法，其特征在于，所述响应于所述合成评价参数满足预定条件，生成所述第一视频片段和所述第二视频片段之间的帧对信息，包括：
响应于所述色彩相似度小于第一预定色彩相似度阈值，生成所述第一视频片段和所述第二视频片段之间的帧对信息。
9.根据权利要求1或7所述的方法，其特征在于，所述响应于所述合成评价参数满足预定条件，生成所述第一视频片段和所述第二视频片段之间的帧对信息，包括：
响应于所述色彩相似度大于等于所述第一预定色彩相似度阈值且小于第二预定色彩相似度阈值，针对所述第一视频片段和所述第二视频片段进行色彩转换，所述第二预定色彩相似度阈值大于所述第一预定色彩相似度阈值；以及
生成色彩转换后的第一视频片段和色彩转换后的第二视频片段之间的帧对信息。
10.根据权利要求1所述的方法，其特征在于，所述合成评价参数至少包括比例相似度；
所述比例相似度基于如下步骤确定：
确定所述第一视频帧中人物头部区域图像的像素数量；
确定所述第二视频帧中人物头部区域图像的像素数量；以及
基于所述第一视频帧中人物头部区域图像的像素数量和所述第二视频帧中人物头部区域图像的像素数量，确定比例相似度。
11.根据权利要求1或10所述的方法，其特征在于，所述响应于所述合成评价参数满足预定条件，生成所述第一视频片段和所述第二视频片段之间的帧对信息，包括：
响应于所述比例相似度小于第一预定比例相似度阈值，生成所述第一视频片段和所述第二视频片段之间的帧对信息。
12.根据权利要求1或10所述的方法，其特征在于，所述响应于所述合成评价参数满足预定条件，生成所述第一视频片段和所述第二视频片段之间的帧对信息，包括：
响应于所述比例相似度大于等于所述第一预定比例相似度阈值且小于第二预定比例相似度阈值，针对所述第一视频片段和所述第二视频片段进行比例调整，所述第二预定比例相似度阈值大于所述第一预定比例相似度阈值；以及
生成比例调整后的第一视频片段和比例调整后的第二视频片段之间的帧对信息。
13.根据权利要求1所述的方法，其特征在于，所述合成评价参数至少包括光流值；
所述响应于所述合成评价参数满足预定条件，生成所述第一视频片段和所述第二视频片段之间的帧对信息，包括：
确定所述第一视频帧和所述第二视频帧之间光流值大于预定光流值阈值的像素数量；以及
响应于光流值大于预定光流值阈值的像素数量小于预定像素数量阈值，生成所述第一视频片段和所述第二视频片段之间的帧对信息。
14.根据权利要求1所述的方法，其特征在于，所述合成评价参数包括像素相似度、色彩相似度、比例相似度和光流值；
所述响应于所述合成评价参数满足预定条件，生成所述第一视频片段和所述第二视频片段之间的帧对信息，包括：
响应于所述像素相似度大于预定像素相似度阈值，确定所述第一视频帧和所述第二视频帧之间的色彩相似度；
响应于所述色彩相似度满足预定色彩相似度条件，确定所述第一视频帧和所述第二视频帧之间的比例相似度；
响应于所述比例相似度满足预定比例相似度条件，确定所述第一视频帧和所述第二视频帧之间的光流值；以及
响应于光流值大于预定光流值阈值的像素数量小于预定像素数量阈值，生成所述第一视频片段和所述第二视频片段之间的帧对信息。
15.根据权利要求1所述的方法，其特征在于，所述基于至少一个帧对信息以及每个帧对信息对应的视频片段，建立数据库，包括：
确定多个帧对信息和每个帧对信息对应的视频片段；
基于各帧对信息建立关联矩阵；以及
基于所述关联矩阵和所述关联矩阵对应的各视频片段，建立数据库。
16.根据权利要求15所述的方法，其特征在于，所述方法还包括：
响应于接收到视频合成指令，根据所述视频合成指令从数据库中确定多个目标视频片段，所述视频合成指令用于指定各目标视频片段的连接顺序；以及
基于所述视频合成指令指定的连接顺序，对各目标视频片段进行合成操作，确定合成视频。
17.一种视频数据处理装置，其特征在于，所述装置包括：
第一确定模块，用于确定第一视频片段和第二视频片段，所述第一视频片段包括至少一个第一视频帧，所述第二视频片段包括至少一个第二视频帧；
合成评价参数模块，用于计算各所述第一视频帧分别与各所述第二视频帧之间的合成评价参数；
帧对信息模块，用于响应于所述合成评价参数满足预定条件，生成所述第一视频片段和所述第二视频片段之间的帧对信息，所述帧对信息用于表征对应的两个视频片段之间的关联关系；以及
建立模块，用于基于至少一个帧对信息以及每个帧对信息对应的视频片段，建立数据库。
18.一种电子设备，包括存储器和处理器，其特征在于，所述存储器用于存储一条或多条计算机程序指令，其中，所述一条或多条计算机程序指令被所述处理器执行以实现如权利要求1-16中任一项所述的方法。
19.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质内存储有计算机程序，所述计算机程序被处理器执行时实现权利要求1-16中任一项所述的方法。
CN202110558559.6A 2021-05-21 2021-05-21 视频数据处理方法、装置、电子设备和可读存储介质 Active CN113301408B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110558559.6A CN113301408B (zh) 2021-05-21 2021-05-21 视频数据处理方法、装置、电子设备和可读存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110558559.6A CN113301408B (zh) 2021-05-21 2021-05-21 视频数据处理方法、装置、电子设备和可读存储介质

Publications (2)

Publication Number Publication Date
CN113301408A true CN113301408A (zh) 2021-08-24
CN113301408B CN113301408B (zh) 2023-01-10

Family

ID=77323681

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110558559.6A Active CN113301408B (zh) 2021-05-21 2021-05-21 视频数据处理方法、装置、电子设备和可读存储介质

Country Status (1)

Country Link
CN (1) CN113301408B (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113992979A (zh) * 2021-10-27 2022-01-28 北京跳悦智能科技有限公司 一种视频扩展方法及系统、计算机设备
CN114286198A (zh) * 2021-12-30 2022-04-05 北京爱奇艺科技有限公司 一种视频关联方法、装置、电子设备和存储介质
CN116866638A (zh) * 2023-07-31 2023-10-10 联通沃音乐文化有限公司 一种基于影像的智能视频处理方法和系统

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110602552A (zh) * 2019-09-16 2019-12-20 广州酷狗计算机科技有限公司 视频合成的方法、装置、终端及计算机可读存储介质
US20200210707A1 (en) * 2019-01-02 2020-07-02 Boe Technology Group Co., Ltd. Sample extraction method and device targeting video classification problem
CN111522996A (zh) * 2020-04-09 2020-08-11 北京百度网讯科技有限公司 视频片段的检索方法和装置
CN111950653A (zh) * 2020-08-24 2020-11-17 腾讯科技（深圳）有限公司 视频处理方法和装置、存储介质及电子设备
CN112381151A (zh) * 2020-11-17 2021-02-19 有米科技股份有限公司 相似视频的确定方法及装置
US10956746B1 (en) * 2018-12-27 2021-03-23 Facebook, Inc. Systems and methods for automated video classification
CN112800805A (zh) * 2019-10-28 2021-05-14 上海哔哩哔哩科技有限公司 视频剪辑方法、系统、计算机设备及计算机存储介质

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10956746B1 (en) * 2018-12-27 2021-03-23 Facebook, Inc. Systems and methods for automated video classification
US20200210707A1 (en) * 2019-01-02 2020-07-02 Boe Technology Group Co., Ltd. Sample extraction method and device targeting video classification problem
CN110602552A (zh) * 2019-09-16 2019-12-20 广州酷狗计算机科技有限公司 视频合成的方法、装置、终端及计算机可读存储介质
CN112800805A (zh) * 2019-10-28 2021-05-14 上海哔哩哔哩科技有限公司 视频剪辑方法、系统、计算机设备及计算机存储介质
CN111522996A (zh) * 2020-04-09 2020-08-11 北京百度网讯科技有限公司 视频片段的检索方法和装置
CN111950653A (zh) * 2020-08-24 2020-11-17 腾讯科技（深圳）有限公司 视频处理方法和装置、存储介质及电子设备
CN112381151A (zh) * 2020-11-17 2021-02-19 有米科技股份有限公司 相似视频的确定方法及装置

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113992979A (zh) * 2021-10-27 2022-01-28 北京跳悦智能科技有限公司 一种视频扩展方法及系统、计算机设备
CN113992979B (zh) * 2021-10-27 2023-09-15 北京跳悦智能科技有限公司 一种视频扩展方法及系统、计算机设备
CN114286198A (zh) * 2021-12-30 2022-04-05 北京爱奇艺科技有限公司 一种视频关联方法、装置、电子设备和存储介质
CN114286198B (zh) * 2021-12-30 2023-11-10 北京爱奇艺科技有限公司 一种视频关联方法、装置、电子设备和存储介质
CN116866638A (zh) * 2023-07-31 2023-10-10 联通沃音乐文化有限公司 一种基于影像的智能视频处理方法和系统
CN116866638B (zh) * 2023-07-31 2023-12-15 联通沃音乐文化有限公司 一种基于影像的智能视频处理方法和系统

Also Published As

Publication number Publication date
CN113301408B (zh) 2023-01-10

Similar Documents

Publication Publication Date Title
CN113301408B (zh) 视频数据处理方法、装置、电子设备和可读存储介质
CN113301409B (zh) 视频合成方法、装置、电子设备和可读存储介质
Ni et al. ESIM: Edge similarity for screen content image quality assessment
CN110288614B (zh) 图像处理方法、装置、设备及存储介质
JP6483221B2 (ja) 三次元コードの生成方法
US11037275B2 (en) Complex architecture for image processing
WO2016127883A1 (zh) 一种图像区域检测方法及装置
Du et al. Saliency-guided color-to-gray conversion using region-based optimization
CN101360250B (zh) 沉浸产生方法和系统及因素控制、内容分析及参数预测法
CN113301385B (zh) 视频数据处理方法、装置、电子设备和可读存储介质
Jakhetiya et al. Just noticeable difference for natural images using RMS contrast and feed-back mechanism
CN113888534A (zh) 一种图像处理方法、电子设备及可读存储介质
CN112633221A (zh) 一种人脸方向的检测方法及相关装置
CN111080722B (zh) 一种基于显著性检测的颜色迁移方法及系统
AU2016312847A1 (en) A process, system and apparatus for machine colour characterisation of digital media
CN112435173A (zh) 一种图像处理和直播方法、装置、设备和存储介质
CN112218006B (zh) 一种多媒体数据处理方法、装置、电子设备及存储介质
KR101329136B1 (ko) 영상 시퀀스 디스플레이에 대한 몰입감 향상 방법 및시스템
CN113297416A (zh) 视频数据存储方法、装置、电子设备和可读存储介质
US11055881B2 (en) System and a method for providing color vision deficiency assistance
KR101895390B1 (ko) 영상 대비 평가 장치 및 방법
Che et al. Reduced-reference quality metric for screen content image
CN113947523B (zh) 一种背景图像的替换方法和装置
Lu et al. A two-stage parametric subspace model for efficient contrast-preserving decolorization
Júnior et al. An approach for non-photorealistic rendering that is appealing to human viewers

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant