CN113553469A - 数据处理方法、装置、电子设备及计算机存储介质 - Google Patents
数据处理方法、装置、电子设备及计算机存储介质 Download PDFInfo
- Publication number
- CN113553469A CN113553469A CN202010328722.5A CN202010328722A CN113553469A CN 113553469 A CN113553469 A CN 113553469A CN 202010328722 A CN202010328722 A CN 202010328722A CN 113553469 A CN113553469 A CN 113553469A
- Authority
- CN
- China
- Prior art keywords
- feature
- video
- image
- image sequence
- search
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000003672 processing method Methods 0.000 title claims abstract description 54
- 238000012545 processing Methods 0.000 claims description 77
- 238000000034 method Methods 0.000 claims description 62
- 238000000605 extraction Methods 0.000 claims description 38
- 230000002159 abnormal effect Effects 0.000 claims description 37
- 238000004364 calculation method Methods 0.000 claims description 21
- 238000004891 communication Methods 0.000 claims description 15
- 230000002547 anomalous effect Effects 0.000 claims description 3
- 238000004590 computer program Methods 0.000 claims description 2
- 230000008569 process Effects 0.000 description 24
- 238000001514 detection method Methods 0.000 description 14
- 238000010586 diagram Methods 0.000 description 10
- 238000005070 sampling Methods 0.000 description 7
- 238000013145 classification model Methods 0.000 description 5
- 238000003062 neural network model Methods 0.000 description 5
- 238000012795 verification Methods 0.000 description 5
- 238000012549 training Methods 0.000 description 3
- 238000013459 approach Methods 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 2
- 238000012512 characterization method Methods 0.000 description 2
- 238000013527 convolutional neural network Methods 0.000 description 2
- 230000002452 interceptive effect Effects 0.000 description 2
- 230000008439 repair process Effects 0.000 description 2
- 230000004044 response Effects 0.000 description 2
- 230000002123 temporal effect Effects 0.000 description 2
- 230000009466 transformation Effects 0.000 description 2
- 230000001131 transforming effect Effects 0.000 description 2
- 230000015572 biosynthetic process Effects 0.000 description 1
- 238000004422 calculation algorithm Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000008030 elimination Effects 0.000 description 1
- 238000003379 elimination reaction Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000011022 operating instruction Methods 0.000 description 1
- 238000003786 synthesis reaction Methods 0.000 description 1
- 239000002699 waste material Substances 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/70—Information retrieval; Database structures therefor; File system structures therefor of video data
- G06F16/73—Querying
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/70—Information retrieval; Database structures therefor; File system structures therefor of video data
- G06F16/78—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
- G06F16/783—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
- G06F16/7837—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content using objects detected or recognised in the video content
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Multimedia (AREA)
- Library & Information Science (AREA)
- Data Mining & Analysis (AREA)
- Databases & Information Systems (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Computational Linguistics (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明实施例提供了一种数据处理方法、装置、电子设备及计算机存储介质。其中，数据处理方法，包括：获取第一图像序列，其中，所述第一图像序列为待搜索图像序列；获取所述第一图像序列中的子序列；获取所述子序列对应的二值特征；至少基于所述二值特征，确定与所述第一图像序列相似度满足预设条件的目标图像序列。通过本发明实施例，可以快速获得与第一图像序列匹配的目标图像序列。
Description
技术领域
本发明实施例涉及计算机技术领域，尤其涉及一种数据处理方法、装置、电子设备及计算机存储介质。
背景技术
随着网络技术的发展，尤其是无线端的网速提升，视频这种流媒体能够更方便、快捷地被用户获取。随之而来的是短视频、网剧、网络综艺等新内容伴随着传统的视频内容在网络中快速的增长，并得到了广泛的传播。
而随着视频形式的丰富，同源视频的数量也急剧增加，同源视频是指新视频仅是通过滤镜变换、水平翻转、时间裁剪、空间裁剪、转码、增/减字幕或logo(标识)等方式对源视频进行变换得到的。随着同源视频数量的增加，如何在这些不同形式的视频中，快速地确定出同源视频成为一个亟需解决的问题。
发明内容
有鉴于此，本发明实施例提供一种数据处理方案，以解决上述部分或全部问题。
根据本发明实施例的第一方面，提供了一种数据处理方法，包括：获取第一图像序列，其中，所述第一图像序列为待搜索图像序列；获取所述第一图像序列中的子序列；获取所述子序列对应的二值特征；至少基于所述二值特征，确定与所述第一图像序列相似度满足预设条件的目标图像序列。
根据本发明实施例的第二方面，提供一种数据处理方法，包括：获取第二图像序列；根据所述第二图像序列的子序列，确定所述子序列对应的搜索特征，并存储所述搜索特征；其中，所述搜索特征为对应的子序列对应的视频片段样例对应的二值特征。
根据本发明实施例的第三方面，提供了一种数据处理装置，包括：第一获取模块，用于获取第一图像序列，其中，所述第一图像序列为待搜索图像序列；第二获取模块，用于获取所述第一图像序列中的子序列；第一确定模块，用于获取所述子序列对应的二值特征；第二确定模块，用于至少基于所述二值特征，确定与所述第一图像序列相似度满足预设条件的目标图像序列。
根据本发明实施例的第四方面，提供了一种数据处理装置，包括：第三获取模块，用于获取第二图像序列；第三确定模块，用于根据所述第二图像序列的子序列，确定所述子序列对应的搜索特征，并存储所述搜索特征；其中，所述搜索特征为对应的子序列对应的视频片段样例对应的二值特征。
根据本发明实施例的第五方面，提供了一种电子设备，包括：处理器、存储器、通信接口和通信总线，所述处理器、所述存储器和所述通信接口通过所述通信总线完成相互间的通信；所述存储器用于存放至少一可执行指令，所述可执行指令使所述处理器执行如第一方面或第二方面所述的数据处理方法对应的操作。
根据本发明实施例的第六面，提供了一种计算机存储介质，其上存储有计算机程序，该程序被处理器执行时实现如第一方面或第二方面所述的数据处理方法。
根据本发明实施例提供的数据处理方案，根据第一图像序列中子序列的二值特征，获得与第一图像序列相似度满足预设条件的目标图像序列，由于二值特征数据量小，且其描述的粒度为子序列(也就是视频片段)而非某个单独的图像帧，因而使得通过二值特征进行搜索时的内存压力较小，而且可以保证可以准确地确定目标图像序列，实现快速、高效地搜索。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明实施例中记载的一些实施例，对于本领域普通技术人员来讲，还可以根据这些附图获得其他的附图。
图1a为根据本发明实施例一的一种数据处理方法的步骤流程图；
图1b为根据本发明实施例一的一种使用场景的示意图；
图2为根据本发明实施例二的一种数据处理方法的步骤流程图；
图3a为根据本发明实施例三的一种数据处理方法的步骤流程图；
图3b为根据本发明实施例三的一种使用场景的示意图；
图4为根据本发明实施例四的一种数据处理方法的步骤流程图；
图5a为根据本发明实施例五的一种数据处理方法的步骤流程图；
图5b为根据本发明实施例五的一种使用场景中获取搜索特征和第二实值特征的示意图；
图5c为根据本发明实施例五的一种使用场景中搜索同源视频的示意图；
图6为根据本发明实施例六的一种视频搜索装置的结构框图；
图7为根据本发明实施例七的一种视频处理装置的结构框图；
图8为根据本发明实施例八的一种电子设备的结构示意图。
具体实施方式
为了使本领域的人员更好地理解本发明实施例中的技术方案，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅是本发明实施例一部分实施例，而不是全部的实施例。基于本发明实施例中的实施例，本领域普通技术人员所获得的所有其他实施例，都应当属于本发明实施例保护的范围。
下面结合本发明实施例附图进一步说明本发明实施例具体实现。
实施例一
参照图1a，示出了根据本发明实施例一的一种数据处理方法的步骤流程图。
本实施例的数据处理方法包括以下步骤：
步骤S102：获取第一图像序列，其中，所述第一图像序列为待搜索图像序列。
第一图像序列可以为待搜索图像序列，例如，第一图像序列为用户输入的视频。该视频可以是长视频(如时长大于或等于10分钟的视频)或者短视频(如时长小于10分钟的视频)，本实施例对此不作限制。
在本实施例中，该数据处理方法可以应用于同源视频搜索领域，同源视频是指新视频仅是通过滤镜变换、水平翻转、时间裁剪、空间裁剪、转码、增/减字幕或logo(标识)等方式对源视频进行变换得到的。通过同源视频搜索可以快速找到内容实质相同，仅是进行了简单变换处理的视频。
当然，在其他实施例中，该数据处理方法也可以应用到其他任何适当的领域和场景中，本实施例对此不作限制。
步骤S104：获取所述第一图像序列中的子序列。
子序列可以为与视频片段对应的图像序列，子序列中可以包括视频片段中的全部或部分图像帧。
第一图像序列的子序列可以是一个或一个以上，本实施例对此不作限制。
步骤S106：获取所述子序列对应的二值特征。
二值特征用于描述对应的子序列指示的视频片段的图像信息，由于二值特征仅通过“0”和“1”对描述对象的图像信息进行描述，因而其占用的存储空间小，使用二值特征进行搜索时的计算量也较小，因而使得利用二值特征可以快速地召回需要的视频片段，从而提升了搜索效率，且可以降低搜索时的负载。
本领域技术人员可以根据需要使用任何适当的方式获取子序列(即视频片段)对应的二值特征，本实施例对此不作限制。
例如，在一具体实现中，可以通过下述方式获得子序列的二值特征：获取所述子序列中包括的第一图像帧对应的中间特征；根据所述第一图像帧的中间特征，获取所述子序列对应的视频片段的初始特征；对所述初始特征进行哈希计算，获得所述视频片段对应的二值特征。
第一图像帧可以通过对子序列进行图像帧采样(sample)的方式获得，具体的采样依据可以根据需要确定，本实施例对此不作限制。
针对采用获得的第一图像帧，可以将其输入到训练的、中间特征提取模型(backbone model)中，利用中间特征提取模型对各第一图像帧进行图像特征提取处理，获得各第一图像帧的中间特征。中间特征提取模型可以是Resnet-50神经网络模型等。通过这种方式可以高效地获得各第一图像帧的中间特征，且保证获得的中间特征能够满足需求。
当然，在其他实施例中，根据不同的需要，可以训练不同的神经网络模型对第一图像帧进行中间特征提取，或者也可以采用其他任何适当的方式获得第一图像帧的中间特征，本实施例对此不作限制。
子序列对应的视频片段的初始特征可以是通过将视频片段对应的一个或多个第一图像帧的中间特征输入到训练的、搜索特征提取模型中提取出的特征。通过对初始特征进行哈希计算获得视频片段对应的二值特征。
当然，在其他实施例中，也可以通过将第一图像帧的中间特征输入到训练的、用户获得二值特征的神经网络模型中的方式获得二值特征，或者，采用其他任何适当的方式获得二值特征，本实施例对此不作限制。
步骤S108：至少基于所述二值特征，确定与所述第一图像序列相似度满足预设条件的目标图像序列。
在一具体实现中，可以使用第一图像序列中的各子序列对应的二值特征与预设的视频片段样例的搜索特征(该搜索特征即为视频片段样例的二值特征)进行匹配，获得与各子序列对应的视频片段相匹配的视频片段样例(为了便于描述，将其记作目标视频片段样例)，再从目标视频片段样例所属的第二图像序列中确定相似度满足预设条件的第二图像序列作为目标图像序列。
其中，预设条件可以根据需要确定，本实施例对此不作限制。例如，预设条件可以是视频片段与对应的目标视频片段样例的相似度满足设定值，且目标视频片段样例之间的时序关系与对应的视频片段之间的时序关系一致。
如，第一图像序列1中的子序列为2个，分别对应视频片段A和B，且在时序上视频片段A在视频片段B之前，视频片段A对应的目标视频片段样例a，视频片段B对应的目标视频片段样例b，目标视频片段样例a和b均属于第二图像序列2，且时序上目标视频片段样例a在目标视频片段样例b之前，则可以认为视频片段A和B之间的时序关系与目标视频片段样例a和b之间的时序关系一致。
当然，在其他实施例中，可以根据其他预设条件获得目标图像序列，本实施例对此不作限制。
下面结合一个具体使用场景，对数据处理方法的实现过程进行说明如下：
在本使用场景中，数据处理方法配置于服务端(服务端包括服务器和/或云端)。当然，在其他实施例中，该方法可以配置于终端设备，本实施例对此不作限制。
如图1b所示，用户可以通过终端设备等的交互界面上传待搜索视频(例如影视剧集A的片段)，或者输入待搜索视频的名称、ID或者URL(如影视剧集A的片段的统一资源定位符)等。终端设备可以将用户输入的内容以数据处理请求的方式发送至服务端，服务端根据用户输入的内容通过解码获得第一图像序列。
通过对第一图像序列进行图像帧采样获得多个第一图像帧，如获得第一图像帧1～5，并根据这些第一图像帧获得一个或多个子序列。如子序列a包括第一图像帧1～3，其对应视频片段A，子序列b对应第一图像帧3～5，其对应视频片段B等。
通过将每个第一图像帧输入到中间特征提取模型中，获得输出的、与各第一图像帧对应的中间特征。进而将子序列包括的第一图像帧的中间特征输入到搜索特征提取模型中，获得输出的与视频片段对应的搜索特征，再对搜索特征进行哈希计算，获得视频片段对应的二值特征。每个二值特征用于至少描述对应的视频片段的图像信息。
再根据每个二值特征，确定与第一图像序列相似度满足预设条件的目标图像序列，就可以实现同源视频的搜索。
通过本实施例，根据第一图像序列中子序列的二值特征，获得与第一图像序列相似度满足预设条件的目标图像序列，由于二值特征数据量小，且其描述的粒度为子序列(也就是视频片段)而非某个单独的图像帧，因而使得通过二值特征进行搜索时的内存压力较小，而且可以保证可以准确地确定目标图像序列，实现快速、高效地搜索。
本实施例的数据处理方法可以由任意适当的具有数据处理能力的电子设备执行，包括但不限于：服务器、移动终端(如平板电脑、手机等)和PC机等。
实施例二
参照图2，示出了根据本发明实施例二的一种数据处理方法的步骤流程图。
本实施例的数据处理方法包括前述的步骤S102～步骤S108。
可选地，为了提升该方法的适应性，在本实施例中，在步骤S102之前可以执行步骤S100，以确定接收的数据处理请求对应的使用场景，若本实施例中的数据处理方法能够适用于数据处理请求对应的使用场景，则可以执行步骤S102，反之，若不能适用，则可以根据预先配置的处理逻辑向用户反馈错误提示或者将数据处理请求转发至其他用于处理对应使用场景的数据处理请求的服务端，本实施例对此不作限制。
步骤S100：根据接收的数据处理请求，确定所述数据处理请求对应的场景是否满足处理条件。
数据处理请求可以是终端设备基于用户的操作生成并发送至服务端的请求。例如，在盗用视频检测的界面中，用户输入自己创作的视频或者是拥有版权的视频(为了便于描述记作待搜索视频)，终端设备根据用户输入的待搜索视频生成用于指示进行盗用视频检测的数据处理请求，并将其发送至服务端。数据处理请求中可以包括用于指示场景的字段。
服务端通过对数据处理请求进行解析，确定数据处理请求对应的场景。如前述的数据处理请求被解析后，根据其中指示场景的字段的值，确定其场景为盗用视频检测。进而根据处理条件确定数据处理请求对应的场景是否满足该处理条件。
处理条件可以是根据需要确定，例如，服务端预先配置有记录可处理场景的配置信息，处理条件可以是在配置信息中存在与数据处理请求对应的场景匹配的可处理场景。也就是说，若在配置信息记录的可处理场景中包括盗用视频检测，则数据处理请求对应的场景满足处理条件；反之，若配置信息记录的可处理场景中未包括盗用视频检测，则数据处理请求对应的场景未满足处理条件。当然，处理条件也可以是其他任何适当的条件，本实施例对此不作限制。
若确定数据处理请求对应的场景未满足处理条件，则可以向终端设备发送错误提示，或者，将数据处理请求转发至能够处理该请求的服务端。
或者，若确定所述数据处理请求对应的场景满足处理条件，则可以执行步骤S102～步骤S108，以从数据处理请求中获取第一图像序列(即待搜索图像序列)，进而从第一图像序列中获取子序列，根据子序列的二值特征确定与第一图像序列相似度满足预设条件的目标图像序列。其具体实现过程可以是如实施例一中所述，在此不再赘述。
可选地，在本实施例中，为了保证获得的二值特征可以较为全面地描述视频片段的图像信息，从而确保后续搜索时的准确性，所述步骤S108包括以下子步骤：
子步骤S1081：从预存的多个搜索特征中，确定与所述二值特征相匹配的搜索特征。
其中，所述搜索特征为与视频片段样例对应的二值特征。
在一具体实现中，为了能够快速、全面地从预存的多个搜索特征中获得与二值特征相匹配的搜索特征，子步骤S1081可以实现为：根据所述二值特征，使用二进制搜索引擎对预存的多个搜索特征进行搜索，获得所述二值特征相匹配的搜索特征。
通过将二值特征在二进制搜索引擎中搜索的方式，可以快速地从预存的搜索特征中召回与二值特征相匹配的搜索特征。且充分利用了二值特征具有计算量小、占用存储空间低的特点，保证了搜索的效率。
例如，第一图像序列包括子序列a和b，分别对应视频片段A和B，针对子序列a对应的二值特征，获得3个相匹配的搜索特征，分别对应目标视频片段样例M、N和Q。针对子序列b对应的二值特征，获得3个相匹配的搜索特征，分别对应目标视频片段样例X、Y和Z。
当然，在其他实施例中，可以通过其他方式获得与二值特征相匹配的搜索特征，本实施例对此不作限制。
子步骤S1082：根据相匹配的所述搜索特征，确定与所述第一图像序列对应的目标图像序列。
在一具体实现中，可以根据相匹配的搜索特征确定其对应的目标视频片段样例所属的第二图像序列，进而从第二图像序列中确定与第一图像序列对应的目标图像序列。
本领域技术人员可以采用任何适当的方式从第二图像序列中确定与第一图像序列对应的目标图像序列，本实施例对此不作限制。
通过本实施例，根据第一图像序列中子序列的二值特征，获得与第一图像序列相似度满足预设条件的目标图像序列，由于二值特征数据量小，且其描述的粒度为子序列(也就是视频片段)而非某个单独的图像帧，因而使得通过二值特征进行搜索时的内存压力较小，而且可以保证可以准确地确定目标图像序列，实现快速、高效地搜索。
此外，本实施例的实现方式可以将第一图像序列对应的视频分割为一个或一个以上的视频片段，并针对每个视频片段获得对应的二值特征，并使用二值特征较为快速、准确地搜索出目标图像序列，既减少了计算量，提升了搜索效率，又保证了搜索精度，而且可以实现不同时长视频之间的相互召回。
本实施例的数据处理方法可以由任意适当的具有数据处理能力的电子设备执行，包括但不限于：服务器、移动终端(如平板电脑、手机等)和PC机等。
实施例三
参照图3，示出了根据本发明实施例三的一种数据处理方法的步骤流程图。
本实施例的数据处理方法包括前述的步骤S102～步骤S108。其中，在步骤S108采用实施例二的方式实现时，子步骤S1082包括下述过程：
过程A：根据相匹配的所述搜索特征对应的目标视频片段样例，确定与相匹配的所述搜索特征对应的候选片段对。
其中，所述候选片段对包括目标视频片段样例和对应的视频片段。
例如，第一图像序列包括子序列a和b，分别对应视频片段A和B，针对子序列a对应的二值特征，获得3个相匹配的搜索特征，分别对应目标视频片段样例M、N和Q。针对子序列b对应的二值特征，获得3个相匹配的搜索特征，分别对应目标视频片段样例X、Y和Z。
视频片段A和目标视频片段样例M形成一个候选片段对，视频片段A与目标视频片段样例N形式另一个候选片段对，以此类推，获得与所有相匹配的搜索特征对应的候选片段对。
根据目标视频片段样例M、N和Q，目标视频片段样例X、Y和Z所属的第二图像序列进行整合获得的候选片段对可以表示为下表。
从表中可以看出每个候选片段对中包括一个视频片段(以起始时间和终止时间表示)和对应的目标视频片段样例(以起始时间和终止时间表示)。
过程B：获得视频片段对应的子序列包括的第一图像帧对应的第一实值特征，以形成所述视频片段对应的第一实值特征组。
其中，所述第一实值特征用于指示对应的第一图像帧的图像信息和上下文信息。
视频片段对应的第一实值特征组包括该视频片段包含的所有第一图像帧的第一实值特征。
在一种可行方式中，第一图像帧的第一实值特征可以通过下述方式获得：将第一图像帧的中间特征输入到训练的、用于提取实值特征的实值特征提取模型中，获得其输出的第一实值特征。
在另一种可行方式中，第一图像帧的第一实值特征可以通过下述方式获得：针对所述视频片段对应的子序列包含的所述第一图像帧，根据当前第一图像帧的中间特征、和时序上相邻的设定数量的所述第一图像帧的中间特征，确定所述当前第一图像帧的第一实值特征。
其中，时序上相邻的设定数量的第一图像帧可以与当前第一图像帧属于同一子序列，也可以属于不同子序列。
例如，与视频片段A对应的子序列a包括第一图像帧1～3，在获取第一图像帧1的第一实值特征时，可以将第一图像帧1和2的中间特征输入到实值特征提取模型中，获得其输出的第一实值特征作为第一图像帧1的第一实值特征。实值特征提取模型可以是训练的、用于提取实值特征的卷积神经网络模型等，本实施例对此不作限制。实值特征与二值特征相对，由于实值特征可以使用“0”和“1”之外的值记录信息，因此实值特征可以更好、更全面地表示第一图像帧的图像信息和上下文信息等。
在获取第一图像帧2对应的第一实值特征时,可以将第一图像帧2～4的中间特征输入到实值特征提取模型中，获得其输出的第一实值特征作为第一图像帧2的第一实值特征。以此类推，直至获得的视频片段A的所有第一图像帧对应的第一实值特征。
通过这种方式获得的第一实值特征不仅包括对应的第一图像帧的图像信息，而且可以包括上下文信息，这样在使用第一实值特征进行同源视频的匹配时，可以提升匹配的精度。
当然，在其他实施例中，也可以通过其他方式获得视频片段的第一实值特征组，本实施例对此不作限制。
过程C：根据所述候选片段对的视频片段的第一实值特征组、和目标视频片段样例预设的第二实值特征组，从所述候选片段对中确定目标片段对。
本领域技术人员可以采用任何适当的方式获得目标视频片段样例的第二实值特征组，其获取方式可以与第一实值特征组的获取方式相同或不同，对此不再赘述。
在一具体实现中，过程C可以实现为：根据所述候选片段对中的视频片段的第一实值特征组和目标视频片段样例的第二实值特征组，确定包括的视频片段和包括的目标视频片段样例之间相匹配的候选片段对；将包含的视频片段和目标视频片段样例相互匹配的候选片段对确定为所述目标片段对。
例如，可以对候选片段对进行逐个判断，确定其包括的视频片段和目标视频片段样例是否相匹配。如，针对当前候选片段对，通过计算其包括的视频片段的第一实值特征组和目标视频片段样例的第二实值特征组之间的相似度确定两者是否匹配。
计算第一实值特征组和第二实值特征组之间的相似度可以通过下述方式实现：计算第一实值特征组中的第一实值特征和第二实值特征组中第二实值特征的相似度，根据计算出的相似度进行时序校验，若时序校验结果指示视频片段和目标视频片段样例之间的相似度关系满足时序关系，则确定视频片段和目标视频片段样例之间匹配，可以将当前候选片段对作为目标片段对。
如，当前候选片段对包括视频片段A和目标视频片段样例1。视频片段A的第一实值特征组中包括第一实值特征a～c，目标视频片段样例1的第二实值特征组包括第二实值特征1～4。
通过计算第一实值特征a与第二实值特征1～4之间的相似度可以确定与第一实值特征a相似度满足设定条件的第二实值特征，如为第二实值特征1。设定条件可以根据需要确定，例如，设定条件可以是相似度最高或者超过某一阈值(阈值可以是70％、80％、90％或100％等)。
类似地，可以确定第一实值特征b相似度满足设定条件的第二实值特征(如第二实值特征3)和第一实值特征c相似度满足设定条件的第二实值特征(如第二实值特征4)。
由于第一实值特征a～c对应的第一图像帧之间的时序关系是时序后向，因此，若第一实值特征a～c对应的满足设定条件的第二实值特征对应的第二图像帧之间的时序关系也满足时序后向，则表示满足时序关系，当前候选片段对可以作为目标片段对。
需要说明的是，上面仅是例举了一种确定视频片段和目标视频片段样例之间相似度的方式，本领域技术人员也可以通过其他方式确定视频片段与目标视频片段样例之间的相似度，本实施例对此不作限制。
过程D：根据目标片段对中目标视频片段样例所属的第二图像序列，确定与所述第一图像序列对应的目标图像序列。
本领域技术人员可以采用任何适当的方式根据目标片段对确定目标图像序列。
例如，根据各目标片段对中包括的目标视频片段样例所属的第二图像序列，确定第二图像序列与第一图像序列的重合时长，选取重合时长超过设定时长(设定时长可以根据需要确定)的第二图像序列作为目标图像序列。
又例如，根据第一图像序列与不同的第二图像序列的重合时长占比，选取重合时长占比超过设定占比值(设定占比值可以根据需要确定)的第二图像序列作为目标图像序列。
再例如，可以直接将各目标片段对中包括的目标视频片段样例所属的第二图像序列作为目标图像序列，本实施例对此不作限制。
下面结合一个具体使用场景，对数据处理方法的实现过程进行说明如下：
如图3b所示，其示出了一种在盗用视频检测场景中，数据处理方法的实现过程。在本使用场景中，以数据处理方法配置在服务端，由服务端执行为例进行说明。当然，在其他使用场景中，该方法可以配置在终端设备上。
在盗用视频检测场景中，可以预先使用预存的视频建立版权库，版权库中包括各第二图像序列(与版权视频对应)中的视频片段样例的搜索特征和第二实值特征组。
如图3b中界面1所示，在进行盗用视频检测时，用户可以通过终端设备的交互界面上传待搜索视频，以确定待搜索视频是否为盗用视频等等，终端设备根据待搜索视频生成数据处理请求，数据处理请求中携带有用于指示对应的场景为盗用视频检测的字段。终端设备将生成的数据处理请求发送至服务端。根据数据处理请求，服务端通过对数据处理请求进行解析，获得其对应的场景，若对应的场景未满足处理条件，例如，配置信息中记录的可处理场景未包括盗用视频检测，则确定数据处理请求对应的场景未满足处理条件，可以终止处理，并向终端设备返回错误提示。
或者，若对应的场景满足处理条件，则通过对数据处理请求中指示的待搜索视频进行解码，获取对应的第一图像序列。
通过对第一图像序列进行图像帧采样获得至少一个子序列，子序列与待搜索视频中的视频片段对应，子序列中包括一个或一个以上第一图像帧。针对每个第一图像帧，将其输入到中间特征提取模型中，获得各第一图像帧的中间特征。
针对各子序列，根据其包括的第一图像帧的中间特征，使用搜索特征提取模型获得子序列对应的视频片段对应的初始特征，再对初始特征进行哈希计算(hash)获得视频片段对应的二值特征。
此外，针对各子序列，根据其包括的第一图像帧的中间特征，使用实值特征提取模型获得其中的各第一图像帧对应的第一实值特征，从而获得子序列对应的视频片段对应的第一实值特征组。
使用各视频片段对应的二值特征，在版权库中搜索与该二值特征对应的相匹配的搜索特征。根据相匹配的搜索特征，确定各视频片段对应的目标视频片段样例，并据此获得候选片段对。
针对各候选片段对，根据对应的视频片段的第一实值特征组和对应的目标视频片段样例的第二实值特征组进行实值特征计算和时序校验，确定视频片段和对应的目标视频片段样例之间是否匹配。
将视频片段和目标视频片段样例之间相互匹配的候选片段对作为目标片段对。根据目标片段对中包括的目标视频片段样例所属的第二图像序列，确定第二图像序列中的目标图像序列对应的版权视频作为待搜索视频的同源视频。
例如，待搜索视频包括视频片段A和B，目标片段对1中目标视频片段样例a与视频片段A匹配，目标片段对2中目标视频片段样例b与视频片段B匹配，且目标视频片段样例a和b属于同一第二图像序列，且两者的时序关系与视频片段A和B的时序关系相同，确定该第二图像序列对应的版权视频是待搜索视频的同源视频。
如果待搜索视频有同源视频，则表示其可能是盗用视频，同源视频可以通过图3b中界面2所示界面展示。当然，在其他使用场景中待搜索视频可以是创作者自己创作的视频，通过本使用场景的方法从已有视频库中确定自己创作的视频是否被盗用。
通过这种方式可以高效地定位与版权库中视频同源的视频，从而监控视频盗用现象，实现对盗用视频进行检测，对版权视频进行保护的目的，解决目前视频盗用的成本低的问题。
在另一使用场景中，该方法可以应用于视频去重场景。例如，在向用户推荐视频时，与用户对应的所有的候选推荐视频作为一个候选集合。针对每个候选推荐视频，以当前候选推荐视频作为待搜索视频(对应第一图像序列)，候选集合中除当前候选推荐视频外的剩余候选推荐视频作为视频库中的视频(对应第二图像序列)。
通过上述的数据处理方法可以确定剩余的候选推荐视频中是否有当前候选推荐视频的同源视频，确定同源视频的过程与前一使用场景的过程类似，故不再赘述。若存在同源视频，则可以将同源视频从候选集合中删除，并将当前候选推荐视频添加到推荐集合中。再从候选集合中确定一个新的当前候选推荐视频，确定候选集合中是否存在同源视频，若不存在，则将当前候选推荐视频添加到推荐集合中，继续返回从候选集合中确定一个新的当前候选推荐视频的过程继续执行，直至确定完所有候选推荐视频。
这样可以推荐视频展示去重，更合理地进行流量分配，尤其是在短视频展示时，可以避免用户看到同样的视频内容，减少重复视频的曝光，提升用户体验。
当然，在其他使用场景中，视频去重也可以采用其他方式，例如预先使用视频搜索方法建立视频间的同源关系，后续可以直接使用建立的同源关系进行去重，这样可以提升响应速度。
在又一使用场景中，该方法还可以应用于不同时间长度的同源视频之间的相互推荐和引流。例如，用户在观看短视频时，可以通过上述方法获得与短视频(对应第一图像序列)同源的长视频(对应目标图像序列)，进而向用户推荐相应的长视频，解决现有技术中长视频(如电视剧、综艺和电影等)有较多资源，但由于其推广成本较高，用户难以及时看到长视频，造成资源浪费的问题。
通过本实施例，根据第一图像序列中子序列的二值特征，获得与第一图像序列相似度满足预设条件的目标图像序列，由于二值特征数据量小，且其描述的粒度为子序列(也就是视频片段)而非某个单独的图像帧，因而使得通过二值特征进行搜索时的内存压力较小，而且可以保证可以准确地确定目标图像序列，实现快速、高效地搜索。
本实施例的视频搜索方法可以由任意适当的具有数据处理能力的电子设备执行，包括但不限于：服务器、移动终端(如平板电脑、手机等)和PC机等。
实施例四
参照图4，示出了根据本发明实施例四的一种数据处理方法的步骤流程图。
本实施例的数据处理方法包括以下步骤：
步骤S402：获取第二图像序列。
在本实施例中，第二图像序列可以是用于形成视频的图像序列，为了便于描述，与第二图像序列对应的视频可以记作样例视频。样例视频可以是创造者创作的视频、或者通过任何适当的方式获得的视频，其可以是长视频或者短视频，本实施例对此不作限制。
步骤S404：根据所述第二图像序列的子序列，确定所述子序列对应的搜索特征，并存储所述搜索特征。
其中，所述搜索特征为对应的子序列对应的视频片段样例对应的二值特征。
在一具体实现中，第二图像序列中包括一个或一个以上的第二图像帧，通过对第二图像序列进行图像帧取样获得第二图像序列中的子序列，子序列可以与样例视频中的视频片段样例对应。子序列中包括至少一个第二图像帧。
子序列对应的搜索特征可以通过下述方式获得：
通过将各子序列中的第二图像帧输入中间特征提取模型(也称backbone model)中，获得各第二图像帧对应的中间特征。中间特征中包括对应的第二图像帧的信息。
中间特征提取模型可以是任何适当的模型，例如，其可以是resnet-50神经网络模型。当然，在其他实施例中，可以选择其他的神经网络模型作为中间特征提取模型。
可选地，根据需要可以将第二图像帧的中间特征存储到离线存储设备(如本地磁盘等)中，以便后续使用。例如，在训练用于提取搜索特征的搜索特征提取模型和/或用于提取实值特征的实值特征提取模型时，可以直接使用存储的第二图像帧的中间特征进行训练，从而节省训练成本和时间。或者，在出现坏案例(badcase)时，可以直接使用存储的第二图像帧的中间特征进行修复。
在本实施例中，视频片段样例可以是样例视频的逻辑视频片段，并非必须是独立的片段。例如，样例视频包括第二图像帧1～5，其中，视频片段样例a包括第二图像帧1～3，则其可以通过第二图像帧1的时间作为起始时间，第二图像帧3的时间作为终止时间来表示。
针对视频片段样例a，使用第二图像帧1～3的中间特征作为输入数据，输入到搜索特征提取模型中，获得对应的样例搜索特征，并对样例搜索特征进行哈希计算，获得对应的搜索特征。
获得视频片段样例b的搜索特征的过程类似，故不再赘述。
针对获得的搜索特征由于其是二值特征，占用的空间较少，因此可以将其存储到内存中，从而便于后续进行视频搜索时使用，提升搜索速度，减少将其读取到内存中的耗时，且不会造成过大的存储压力。
通过本实施例，获取第二图像序列中子序列对应的搜索特征，由于搜索特征是二值特征，且其描述的是视频片段样例的特征，这样有效减少了存储压力和后续使用搜索特征时的计算压力。
本实施例的数据处理方法可以由任意适当的具有数据处理能力的电子设备执行，包括但不限于：服务器、移动终端(如平板电脑、手机等)和PC机等。
实施例五
参照图5a，示出了根据本发明实施例五的一种数据处理方法的步骤流程图。
在本实施例中，数据处理方法包括前述的步骤S402和步骤S404。其中，为了确保搜索特征能够较为准地描述对应的视频片段样例的图像信息，从而保证根据其搜索时的准确性，在本实施例中，步骤S404包括以下子步骤：
步骤S4041：确定所述第二图像序列的子序列包括的第二图像帧中是否存在异常图像帧。
异常图像帧包括但不限于纯色帧、字幕帧等。异常图像帧的图像信息(也称外观)相近，但语义信息差异很大，若通过异常图像帧对视频进行搜索会降低搜索的准确度，因而，在获得搜索特征时，可以将第二图像帧中的异常图像帧排除掉，以提升准确性。
在一具体实现中，可以使用训练的分类模型对各第二图像帧进行检测，确定其是否为异常图像帧。分类模型可以是根据需要训练的、能够识别异常图像帧的卷积神经网络模型。
通过将各第二图像帧输入到分类模型中可以确定其中是否存在异常图像帧。若存在异常图像帧，则执行步骤S4042；反之，则可以直接将各视频片段样例包含的第二图像帧的中间特征输入到搜索特征提取模型中，获得样例搜索特征。
步骤S4042：若存在异常图像帧，则将子序列中非异常图像帧的中间特征，输入搜索特征提取模型中，获得与子序列对应的视频片段样例对应的样例搜索特征。
若视频片段样例a包括第二图像帧1～3，其中，第二图像帧2为异常图像帧，则将第二图像帧1和3的中间特征输入到搜索特征提取模型中，获得其输出的样例搜索特征。
步骤S4043：将对所述样例搜索特征进行哈希计算获得的二值特征存储为与所述视频片段样例对应的搜索特征。
通过对各样例搜索特征进行哈希计算，将其转换为二值特征，以达到保留一定的视频片段样例的图像信息的情况下减少数据量的目的。
可选地，由于二值特征的数据量较少，因此会损失一些视频片段样例的信息，为了提升同源视频的搜索精度，在对第二图像序列进行处理的过程中，所述方法还可以包括步骤S406和步骤S408。
步骤S406：针对所述子序列包括的所述第二图像帧，将当前第二图像帧的中间特征、相邻的设定数量的第二图像帧的中间特征，输入实值特征提取模型，获得所述当前第二图像帧对应的第二实值特征。
其中，所述第二实值特征用于指示对应的第二图像帧的图像信息和上下文信息。
设定数量可以根据需要确定，本实施例对此不作限制。
在一具体实现中，可以将当前第二图像帧的中间特征和时序上相邻的后两个第二图像帧的中间特征输入到实值特征提取模型中，得到与当前第二图像帧对应的第二实值特征。该第二实值特征描述当前第二图像帧的图像信息和上下文信息。
步骤S408：存储所述第二图像帧对应的第二实值特征。
由于第二实值特征的数据量较大，因此存储消耗较大，所以可以将其存储在线上硬盘中以备后续视频搜索时使用。
可选地，为了避免异常图像帧对第二实值特征的影响，所述步骤S408可以实现为：确定所述第二图像帧中是否存在异常图像帧；若存在异常图像帧，则存储所述第二图像帧中非异常图像帧对应的第二实值特征。
确定第二图像帧是否为异常图像帧的方式可以采用前述的分类模型，或者采用其他任何适当的方式，本实施例对此不作限制。
通过确定是否存在异常图像帧，可以在存储第二实值特征时将异常图像帧的第二实值特征筛除，避免占用存储空间，也防止在后续同源视频搜索时影响搜索精度。
下面结合一具体使用场景，对数据处理方法的实现过程和基于数据处理结果进行同源视频搜索的实现过程进行说明如下：
在本使用场景中，以盗版视频检测为例进行说明，该数据处理方法可以配置于服务端。在其他使用场景中，该数据处理方法也可以配置于终端设备，本使用场景对此不作限制。
在进行盗版视频检测之前，可以通过视频处理方法建立版权库。其具体过程如下：
如图5b所示，针对版权库中的视频(记作样例视频)，通过对其进行解码获得第二图像序列，并通过对第二图像序列进行图像帧采样获得多个第二图像帧(图5b中所示Frame1～4)，这些第二图像帧可以属于一个或多个子序列。
将各第二图像帧分别输入到中间特征提取模型(Backbone Model)中进行处理，获得各第二图像帧对应的中间特征(图5b中所示Mid feat 1～4)。这些中间特征可以存储到离线存储中，以备后续进行搜索特征提取模型和/或实值特征提取模型的快速更新使用，或者进行badcase修复使用。
在获取各第二图像帧对应的中间特征后，一方面，根据其获得样例视频的视频片段样例的二值特征。另一方面，根据其获得各第二图像帧的第二实值特征，从而根据其形成包括其的视频片段样例的第二实值特征组。此外，还可以根据中间特征检测第二图像帧中是否存在异常图像帧，以对二值特征和第二实值特征进行调整。
下面对这三方面进行详细说明：
针对每个第二图像帧，可以将其中间特征输入到分类模型中，确定其是否为异常图像帧。
获取二值特征的过程可以为：将N个连续的第二图像帧(如果其中包含异常图像帧则可以将异常图像帧删除)的中间特征输入到搜索特征提取模型中，获得一个样例搜索特征，对该样例搜索特征进行哈希计算，获得包含这N个第二图像帧的视频片段样例对应的二值特征。该二值特征用于描述对应的视频片段样例，由于二值特征数据量较小，因此其存储消耗小，可以将其存储到线上内存中。
前述N的取值大于或等于1。
获得第二实值特征的过程可以为：从第二图像帧中确定当前第二图像帧(如果当前第二图像帧为异常图像帧则可以直接跳过重新确定当前第二图像帧)，将包含当前第二图像帧的M个连续的第二图像帧的中间特征输入到实值特征提取模型中，获得与当前第二图像帧对应的第二实值特征。该第二实值特征用于描述对应的第二图像帧的图像信息和上下文信息。由于第二实值特征的数据量较大，因此可以将各第二图像帧的第二实值特征存储到线上硬盘上。后续在使用时可以根据视频片段样例包含的第二图像帧确定对应的第二实值特征组。
前述的M的取值大于或等于1。
通过上述过程可以获得待处理视频的搜索特征和第二实值特征，以备后续使用。
如图5c所示，在进行盗版检测时，用户通过终端设备输入待搜索视频，该待搜索视频可以是需要检测是否为盗版视频的视频。如用户在某视频网站中看到创作者A发布了视频A，需要确定该视频A是否为创作者A的原创视频，则其可以输入视频A的信息(视频A本身或者输入视频A的URL等)，终端设备根据视频A的信息生成用于指示盗版检测的数据处理请求。
服务端根据数据处理请求确定其对应的场景为盗版检测，如果盗版检测满足处理条件，则服务端根据数据处理请求中指示的视频A的信息，获得视频A(为了便于描述记作待搜索视频)，针对待搜索视频可以对其进行解码获得第一图像序列，再从第一图像序列中和获取视频片段对应的子序列，子序列中包括一个或一个以上的第一图像帧，第一图像帧通过对第一图像序列进行图像帧采样获得。使用中间特征提取模型获得各第一图像帧对应的中间特征。
根据各第一图像帧的中间特征获得各视频片段的二值特征和第一实值特征组。具体的获取实现过程如前述实施例中所述，故在此不再赘述。
根据视频片段的二值特征，在二进制搜索引擎中搜索，从版权库中线上内存中存储的搜索特征中获得相匹配的搜索特征。通过对相匹配的搜索特征进行整合，获得候选片段对(Recalled Clip Pair)。
针对每个候选片段对，根据其中包括的视频片段的第一实值特征组和目标视频片段样例的第二实值特征组，通过进行实值特征计算与时序校验，若得到包含的视频片段与目标视频片段样例相匹配的目标片段对(Matched Clip Pair)，则表示有同源视频。根据目标片段对中的目标视频片段样例所属的第二图像序列(其对应版权库中的样例视频)确定目标图像序列(即同源视频)。
若同源视频为版权视频，则待搜索视频可能为盗版视频；反之，若待搜索视频为版权视频，则同源视频可能为盗版视频。
在本使用场景中，将同源视频搜索分为两个阶段，即同源视频召回阶段和同源视频匹配阶段。在同源视频召回阶段将一个待搜索视频作为query输入，根据相似度召回多个候选片段对。在同源视频匹配阶段，以多个候选片段对作为输入，通过实值特征计算和时序校验，确定真实的目标片段对，实现了同源视频的准确搜索。
此外，在同源视频召回阶段使用了二值特征，同时二值特征描述粒度为视频时间段(即视频片段)，因此对于机器内存的压力较小，同时能够进行视频同源片段的快速定位。
在同源视频匹配阶段使用了实值特征，能够精确的定位重复的同源片段，同时对系统的性能不会带来过大的压力。
通过上述过程实现了快速高效地召回候选片段对，精确可靠地确定同源视频，而且可以快速更新相应的中间特征存储，解决了现有技术中，只能对单镜头的短视频进行同源视频搜索，无法输出重复匹配的片段，当重复时长占总时长比例较低时几乎无法召回的问题。而且相较于现有技术中获取每个图像帧的特征，根据其进行匹配的召回方式，解决其存在的视频长度较长，若单独的图像帧的特征表征信息量较少会影响最终的召回和精度，若单独的图像帧的特征表征信息较长，视频索引会占用很多内存，从而提高系统的机器成本，同时降低算法的响应时间的问题。
通过本实施例，获取第二图像序列中子序列对应的搜索特征，由于搜索特征是二值特征，且其描述的是视频片段样例的特征，这样有效减少了存储压力和后续使用搜索特征时的计算压力。
本实施例的数据处理处理方法可以由任意适当的具有数据处理能力的电子设备执行，包括但不限于：服务器、移动终端(如平板电脑、手机等)和PC机等。
实施例六
参照图6，示出了根据本发明实施例六的一种数据处理装置的结构框图。
本实施例的数据处理装置包括：第一获取模块602，用于获取第一图像序列，其中，所述第一图像序列为待搜索图像序列；第二获取模块604，用于获取所述第一图像序列中的子序列；第一确定模块606，用于获取所述子序列对应的二值特征；第二确定模块608，用于至少基于所述二值特征，确定与所述第一图像序列相似度满足预设条件的目标图像序列。
可选地，所述第一图像序列为视频；所述第一图像序列中的子序列为视频片段。
可选地，第二确定模块608用于从预存的多个搜索特征中，确定与所述二值特征相匹配的搜索特征，其中，所述搜索特征为与视频片段样例对应的二值特征；根据相匹配的所述搜索特征，确定与所述第一图像序列对应的目标图像序列。
可选地，所述第一确定模块606用于获取所述子序列中包括的第一图像帧对应的中间特征；根据所述第一图像帧的中间特征，获取所述子序列对应的视频片段的初始特征；对所述初始特征进行哈希计算，获得所述视频片段对应的二值特征。
可选地，第二确定模块608用于在从预存的多个搜索特征中，确定与所述二值特征相匹配的搜索特征时，根据所述二值特征，使用二进制搜索引擎对预存的多个搜索特征进行搜索，获得所述二值特征相匹配的搜索特征。
可选地，所述第二确定模块608用于在根据相匹配的所述搜索特征，确定与所述第一图像序列对应的目标图像序列时，根据相匹配的所述搜索特征对应的目标视频片段样例，确定与相匹配的所述搜索特征对应的候选片段对，其中，所述候选片段对包括目标视频片段样例和对应的视频片段；根据所述候选片段对的视频片段的第一实值特征组、和目标视频片段样例预设的第二实值特征组，从所述候选片段对中确定目标片段对；根据目标片段对中目标视频片段样例所属的第二图像序列，确定与所述第一图像序列对应的目标图像序列。
可选地，所述第二确定模块608还用于在根据相匹配的所述搜索特征，确定与所述第一图像序列对应的目标图像序列时，获得视频片段对应的子序列包括的第一图像帧对应的第一实值特征，以形成所述视频片段对应的第一实值特征组，其中，所述第一实值特征用于指示对应的第一图像帧的图像信息和上下文信息。
可选地，所述第二确定模块608用于在获得视频片段对应的子序列包括的第一图像帧对应的第一实值特征时，针对所述视频片段对应的子序列包含的所述第一图像帧，根据当前第一图像帧的中间特征、和时序上相邻的设定数量的所述第一图像帧的中间特征，确定所述当前第一图像帧的第一实值特征。
可选地，所述第二确定模块608用于在根据所述候选片段对的视频片段的第一实值特征组、和目标视频片段样例预设的第二实值特征组，从所述候选片段对中确定目标片段对时，根据所述候选片段对中的视频片段的第一实值特征组和目标视频片段样例的第二实值特征组，确定包括的视频片段和包括的目标视频片段样例之间相匹配的候选片段对；将包含的视频片段和目标视频片段样例相互匹配的候选片段对确定为所述目标片段对。
本实施例的数据处理装置用于实现前述多个方法实施例中相应的数据处理方法，并具有相应的方法实施例的有益效果，在此不再赘述。此外，本实施例的数据处理装置中的各个模块的功能实现均可参照前述方法实施例中的相应部分的描述，在此亦不再赘述。
实施例七
参照图7，示出了根据本发明实施例七的一种数据处理装置的结构框图。
本实施例的数据处理装置，包括：第三获取模块702，用于获取第二图像序列；第三确定模块704，用于根据所述第二图像序列的子序列，确定所述子序列对应的搜索特征，并存储所述搜索特征；其中，所述搜索特征为对应的子序列对应的视频片段样例对应的二值特征。
可选地，所述装置还包括：第四获取模块706，用于针对所述子序列包括的所述第二图像帧，将当前第二图像帧的中间特征、相邻的设定数量的第二图像帧的中间特征，输入实值特征提取模型，获得所述当前第二图像帧对应的第二实值特征，其中，所述第二实值特征用于指示对应的第二图像帧的图像信息和上下文信息；存储模块708，用于存储所述第二图像帧对应的第二实值特征。
可选地，所述存储模块708用于确定所述第二图像帧中是否存在异常图像帧；若存在异常图像帧，则存储所述第二图像帧中非异常图像帧对应的第二实值特征。
可选地，第三确定模块704用于确定所述第二图像序列的子序列包括的第二图像帧中是否存在异常图像帧；若存在异常图像帧，则将子序列中非异常图像帧的中间特征，输入搜索特征提取模型中，获得与子序列对应的视频片段样例对应的样例搜索特征；将对所述样例搜索特征进行哈希计算获得的二值特征存储为与所述视频片段样例对应的搜索特征。
本实施例的数据处理装置用于实现前述多个方法实施例中相应的数据处理方法，并具有相应的方法实施例的有益效果，在此不再赘述。此外，本实施例的数据处理装置中的各个模块的功能实现均可参照前述方法实施例中的相应部分的描述，在此亦不再赘述。
实施例八
参照图8，示出了根据本发明实施例八的一种电子设备的结构示意图，本发明具体实施例并不对电子设备的具体实现做限定。
如图8所示，该电子设备可以包括：处理器(processor)802、通信接口(Communications Interface)804、存储器(memory)806、以及通信总线808。
其中：
处理器802、通信接口804、以及存储器806通过通信总线808完成相互间的通信。
通信接口804，用于与其它电子设备如终端设备或服务器进行通信。
处理器802，用于执行程序810，具体可以执行上述视频搜索方法或视频处理方法实施例中的相关步骤。
具体地，程序810可以包括程序代码，该程序代码包括计算机操作指令。
处理器802可能是中央处理器CPU，或者是特定集成电路ASIC(ApplicationSpecific Integrated Circuit)，或者是被配置成实施本发明实施例的一个或多个集成电路。电子设备包括的一个或多个处理器，可以是同一类型的处理器，如一个或多个CPU；也可以是不同类型的处理器，如一个或多个CPU以及一个或多个ASIC。
存储器806，用于存放程序810。存储器806可能包含高速RAM存储器，也可能还包括非易失性存储器(non-volatile memory)，例如至少一个磁盘存储器。
程序810具体可以用于使得处理器802执行以下操作：获取第一图像序列，其中，所述第一图像序列为待搜索图像序列；获取所述第一图像序列中的子序列；获取所述子序列对应的二值特征；至少基于所述二值特征，确定与所述第一图像序列相似度满足预设条件的目标图像序列。
在一种可选的实施方式中，所述第一图像序列为视频；所述第一图像序列中的子序列为视频片段。
在一种可选的实施方式中，程序810还用于使得处理器802在至少基于所述二值特征，确定与所述第一图像序列相似度满足预设条件的目标图像序列时，从预存的多个搜索特征中，确定与所述二值特征相匹配的搜索特征，其中，所述搜索特征为与视频片段样例对应的二值特征；根据相匹配的所述搜索特征，确定与所述第一图像序列对应的目标图像序列。
在一种可选的实施方式中，程序810还用于使得处理器802在获取所述子序列对应的二值特征时，获取所述子序列中包括的第一图像帧对应的中间特征；根据所述第一图像帧的中间特征，获取所述子序列对应的视频片段的初始特征；对所述初始特征进行哈希计算，获得所述视频片段对应的二值特征。
在一种可选的实施方式中，程序810还用于使得处理器802在从预存的多个搜索特征中，确定与所述二值特征相匹配的搜索特征时，根据所述二值特征，使用二进制搜索引擎对预存的多个搜索特征进行搜索，获得所述二值特征相匹配的搜索特征。
在一种可选的实施方式中，程序810还用于使得处理器802在根据相匹配的所述搜索特征，确定与所述第一图像序列对应的目标图像序列时，根据相匹配的所述搜索特征对应的目标视频片段样例，确定与相匹配的所述搜索特征对应的候选片段对，其中，所述候选片段对包括目标视频片段样例和对应的视频片段；根据所述候选片段对的视频片段的第一实值特征组、和目标视频片段样例预设的第二实值特征组，从所述候选片段对中确定目标片段对；根据目标片段对中目标视频片段样例所属的第二图像序列，确定与所述第一图像序列对应的目标图像序列。
在一种可选的实施方式中，程序810还用于使得处理器802在根据相匹配的所述搜索特征，确定与所述第一图像序列对应的目标图像序列时，获得视频片段对应的子序列包括的第一图像帧对应的第一实值特征，以形成所述视频片段对应的第一实值特征组，其中，所述第一实值特征用于指示对应的第一图像帧的图像信息和上下文信息。
在一种可选的实施方式中，程序810还用于使得处理器802在获得视频片段对应的子序列包括的第一图像帧对应的第一实值特征时，针对所述视频片段对应的子序列包含的所述第一图像帧，根据当前第一图像帧的中间特征、和时序上相邻的设定数量的所述第一图像帧的中间特征，确定所述当前第一图像帧的第一实值特征。
在一种可选的实施方式中，程序810还用于使得处理器802在根据所述候选片段对的视频片段的第一实值特征组、和目标视频片段样例预设的第二实值特征组，从所述候选片段对中确定目标片段对时，根据所述候选片段对中的视频片段的第一实值特征组和目标视频片段样例的第二实值特征组，确定包括的视频片段和包括的目标视频片段样例之间相匹配的候选片段对；将包含的视频片段和目标视频片段样例相互匹配的候选片段对确定为所述目标片段对。
或者，
程序810具体可以用于使得处理器802执行以下操作：获取第二图像序列；根据所述第二图像序列的子序列，确定所述子序列对应的搜索特征，并存储所述搜索特征；其中，所述搜索特征为对应的子序列对应的视频片段样例对应的二值特征。
在一种可选的实施方式中，程序810还用于使得处理器802针对所述子序列包括的所述第二图像帧，将当前第二图像帧的中间特征、相邻的设定数量的第二图像帧的中间特征，输入实值特征提取模型，获得所述当前第二图像帧对应的第二实值特征，其中，所述第二实值特征用于指示对应的第二图像帧的图像信息和上下文信息；存储所述第二图像帧对应的第二实值特征。
在一种可选的实施方式中，程序810还用于使得处理器802在存储所述第二图像帧对应的第二实值特征时，确定所述第二图像帧中是否存在异常图像帧；若存在异常图像帧，则存储所述第二图像帧中非异常图像帧对应的第二实值特征。
在一种可选的实施方式中，程序810还用于使得处理器802在根据所述第二图像序列的子序列，确定所述子序列对应的搜索特征，并存储所述搜索特征时，确定所述第二图像序列的子序列包括的第二图像帧中是否存在异常图像帧；若存在异常图像帧，则将子序列中非异常图像帧的中间特征，输入搜索特征提取模型中，获得与子序列对应的视频片段样例对应的样例搜索特征；将对所述样例搜索特征进行哈希计算获得的二值特征存储为与所述视频片段样例对应的搜索特征。
程序810中各步骤的具体实现可以参见上述数据处理方法实施例中的相应步骤和单元中对应的描述，在此不赘述。所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的设备和模块的具体工作过程，可以参考前述方法实施例中的对应过程描述，在此不再赘述。
需要指出，根据实施的需要，可将本发明实施例中描述的各个部件/步骤拆分为更多部件/步骤，也可将两个或多个部件/步骤或者部件/步骤的部分操作组合成新的部件/步骤，以实现本发明实施例的目的。
上述根据本发明实施例的方法可在硬件、固件中实现，或者被实现为可存储在记录介质(诸如CD ROM、RAM、软盘、硬盘或磁光盘)中的软件或计算机代码，或者被实现通过网络下载的原始存储在远程记录介质或非暂时机器可读介质中并将被存储在本地记录介质中的计算机代码，从而在此描述的方法可被存储在使用通用计算机、专用处理器或者可编程或专用硬件(诸如ASIC或FPGA)的记录介质上的这样的软件处理。可以理解，计算机、处理器、微处理器控制器或可编程硬件包括可存储或接收软件或计算机代码的存储组件(例如，RAM、ROM、闪存等)，当所述软件或计算机代码被计算机、处理器或硬件访问且执行时，实现在此描述的数据处理方法。此外，当通用计算机访问用于实现在此示出的数据处理方法的代码时，代码的执行将通用计算机转换为用于执行在此示出的数据处理方法的专用计算机。
本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及方法步骤，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明实施例的范围。
以上实施方式仅用于说明本发明实施例，而并非对本发明实施例的限制，有关技术领域的普通技术人员，在不脱离本发明实施例的精神和范围的情况下，还可以做出各种变化和变型，因此所有等同的技术方案也属于本发明实施例的范畴，本发明实施例的专利保护范围应由权利要求限定。
Claims (17)
1.一种数据处理方法，包括：
获取第一图像序列，其中，所述第一图像序列为待搜索图像序列；
获取所述第一图像序列中的子序列；
获取所述子序列对应的二值特征；
至少基于所述二值特征，确定与所述第一图像序列相似度满足预设条件的目标图像序列。
2.根据权利要求1所述的数据处理方法，其中：
所述第一图像序列为视频；
所述第一图像序列中的子序列为视频片段。
3.根据权利要求1所述的数据处理方法，其中，至少基于所述二值特征，确定与所述第一图像序列相似度满足预设条件的目标图像序列，包括：
从预存的多个搜索特征中，确定与所述二值特征相匹配的搜索特征，其中，所述搜索特征为与视频片段样例对应的二值特征；
根据相匹配的所述搜索特征，确定与所述第一图像序列对应的目标图像序列。
4.根据权利要求1所述的方法，其中，所述获取所述子序列对应的二值特征，包括：
获取所述子序列中包括的第一图像帧对应的中间特征；
根据所述第一图像帧的中间特征，获取所述子序列对应的视频片段的初始特征；
对所述初始特征进行哈希计算，获得所述视频片段对应的二值特征。
5.根据权利要求3所述的方法，其中，从预存的多个搜索特征中，确定与所述二值特征相匹配的搜索特征，包括：
根据所述二值特征，使用二进制搜索引擎对预存的多个搜索特征进行搜索，获得所述二值特征相匹配的搜索特征。
6.根据权利要求3所述的方法，其中，所述根据相匹配的所述搜索特征，确定与所述第一图像序列对应的目标图像序列，包括：
根据相匹配的所述搜索特征对应的目标视频片段样例，确定与相匹配的所述搜索特征对应的候选片段对，其中，所述候选片段对包括目标视频片段样例和对应的视频片段；
根据所述候选片段对的视频片段的第一实值特征组、和目标视频片段样例预设的第二实值特征组，从所述候选片段对中确定目标片段对；
根据目标片段对中目标视频片段样例所属的第二图像序列，确定与所述第一图像序列对应的目标图像序列。
7.根据权利要求6所述的方法，其中，所述根据相匹配的所述搜索特征，确定与所述第一图像序列对应的目标图像序列，还包括：
获得视频片段对应的子序列包括的第一图像帧对应的第一实值特征，以形成所述视频片段对应的第一实值特征组，其中，所述第一实值特征用于指示对应的第一图像帧的图像信息和上下文信息。
8.根据权利要求7所述的方法，其中，所述获得视频片段对应的子序列包括的第一图像帧对应的第一实值特征，包括：
针对所述视频片段对应的子序列包含的所述第一图像帧，根据当前第一图像帧的中间特征、和时序上相邻的设定数量的所述第一图像帧的中间特征，确定所述当前第一图像帧的第一实值特征。
9.根据权利要求5所述的方法，其中，所述根据所述候选片段对的视频片段的第一实值特征组、和目标视频片段样例预设的第二实值特征组，从所述候选片段对中确定目标片段对，包括：
根据所述候选片段对中的视频片段的第一实值特征组和目标视频片段样例的第二实值特征组，确定包括的视频片段和包括的目标视频片段样例之间相匹配的候选片段对；
将包含的视频片段和目标视频片段样例相互匹配的候选片段对确定为所述目标片段对。
10.一种数据处理方法，包括：
获取第二图像序列；
根据所述第二图像序列的子序列，确定所述子序列对应的搜索特征，并存储所述搜索特征；
其中，所述搜索特征为对应的子序列对应的视频片段样例对应的二值特征。
11.根据权利要求10所述的方法，其中，所述方法还包括：
针对所述子序列包括的所述第二图像帧，将当前第二图像帧的中间特征、相邻的设定数量的第二图像帧的中间特征，输入实值特征提取模型，获得所述当前第二图像帧对应的第二实值特征，其中，所述第二实值特征用于指示对应的第二图像帧的图像信息和上下文信息；
存储所述第二图像帧对应的第二实值特征。
12.根据权利要求11所述的方法，其中，所述存储所述第二图像帧对应的第二实值特征，包括：
确定所述第二图像帧中是否存在异常图像帧；
若存在异常图像帧，则存储所述第二图像帧中非异常图像帧对应的第二实值特征。
13.根据权利要求10所述的方法，其中，根据所述第二图像序列的子序列，确定所述子序列对应的搜索特征，并存储所述搜索特征，包括：
确定所述第二图像序列的子序列包括的第二图像帧中是否存在异常图像帧；
若存在异常图像帧，则将子序列中非异常图像帧的中间特征，输入搜索特征提取模型中，获得与子序列对应的视频片段样例对应的样例搜索特征；
将对所述样例搜索特征进行哈希计算获得的二值特征存储为与所述视频片段样例对应的搜索特征。
14.一种数据处理装置，包括：
第一获取模块，用于获取第一图像序列，其中，所述第一图像序列为待搜索图像序列；
第二获取模块，用于获取所述第一图像序列中的子序列；
第一确定模块，用于获取所述子序列对应的二值特征；
第二确定模块，用于至少基于所述二值特征，确定与所述第一图像序列相似度满足预设条件的目标图像序列。
15.一种数据处理装置，包括：
第三获取模块，用于获取第二图像序列；
第三确定模块，用于根据所述第二图像序列的子序列，确定所述子序列对应的搜索特征，并存储所述搜索特征；
其中，所述搜索特征为对应的子序列对应的视频片段样例对应的二值特征。
16.一种电子设备，包括：处理器、存储器、通信接口和通信总线，所述处理器、所述存储器和所述通信接口通过所述通信总线完成相互间的通信；
所述存储器用于存放至少一可执行指令，所述可执行指令使所述处理器执行如权利要求1-9中任一项或10-13中任一项所述的数据处理方法对应的操作。
17.一种计算机存储介质，其上存储有计算机程序，该程序被处理器执行时实现如权利要求1-9中任一项或10-13中任一项所述的数据处理方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010328722.5A CN113553469B (zh) | 2020-04-23 | 2020-04-23 | 数据处理方法、装置、电子设备及计算机存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010328722.5A CN113553469B (zh) | 2020-04-23 | 2020-04-23 | 数据处理方法、装置、电子设备及计算机存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN113553469A true CN113553469A (zh) | 2021-10-26 |
| CN113553469B CN113553469B (zh) | 2023-12-22 |
Family
ID=78101145
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010328722.5A Active CN113553469B (zh) | 2020-04-23 | 2020-04-23 | 数据处理方法、装置、电子设备及计算机存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113553469B (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115953406A (zh) * | 2023-03-14 | 2023-04-11 | 杭州太美星程医药科技有限公司 | 用于医学图像配准的匹配方法、装置、设备及可读介质 |
Citations (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2009150425A2 (en) * | 2008-06-10 | 2009-12-17 | Half Minute Media Ltd | Automatic detection of repeating video sequences |
| US20120143915A1 (en) * | 2009-10-01 | 2012-06-07 | Crim (Centre De Rechrche Informatique De Montreal) | Content-based video copy detection |
| CN103336957A (zh) * | 2013-07-18 | 2013-10-02 | 中国科学院自动化研究所 | 一种基于时空特征的网络同源视频检测方法 |
| CN105975939A (zh) * | 2016-05-06 | 2016-09-28 | 百度在线网络技术（北京）有限公司 | 视频检测方法和装置 |
| US20180025079A1 (en) * | 2015-12-30 | 2018-01-25 | Tencent Technology (Shenzhen) Company Limited | Video search method and apparatus |
| CN109960746A (zh) * | 2019-03-14 | 2019-07-02 | 佛山市摄时度文化传播有限公司 | 视频侵权预警方法及装置 |
| CN110490845A (zh) * | 2019-07-26 | 2019-11-22 | 北京大米科技有限公司 | 一种图像特征提取方法、装置、存储介质及电子设备 |
| CN110598014A (zh) * | 2019-09-27 | 2019-12-20 | 腾讯科技（深圳）有限公司 | 一种多媒体数据处理方法、装置及存储介质 |
| CN110599486A (zh) * | 2019-09-20 | 2019-12-20 | 福州大学 | 一种视频抄袭的检测方法及系统 |
| CN110996123A (zh) * | 2019-12-18 | 2020-04-10 | 广州市百果园信息技术有限公司 | 一种视频处理方法、装置、设备及介质 |
-
2020
- 2020-04-23 CN CN202010328722.5A patent/CN113553469B/zh active Active
Patent Citations (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2009150425A2 (en) * | 2008-06-10 | 2009-12-17 | Half Minute Media Ltd | Automatic detection of repeating video sequences |
| US20120143915A1 (en) * | 2009-10-01 | 2012-06-07 | Crim (Centre De Rechrche Informatique De Montreal) | Content-based video copy detection |
| CN103336957A (zh) * | 2013-07-18 | 2013-10-02 | 中国科学院自动化研究所 | 一种基于时空特征的网络同源视频检测方法 |
| US20180025079A1 (en) * | 2015-12-30 | 2018-01-25 | Tencent Technology (Shenzhen) Company Limited | Video search method and apparatus |
| CN105975939A (zh) * | 2016-05-06 | 2016-09-28 | 百度在线网络技术（北京）有限公司 | 视频检测方法和装置 |
| CN109960746A (zh) * | 2019-03-14 | 2019-07-02 | 佛山市摄时度文化传播有限公司 | 视频侵权预警方法及装置 |
| CN110490845A (zh) * | 2019-07-26 | 2019-11-22 | 北京大米科技有限公司 | 一种图像特征提取方法、装置、存储介质及电子设备 |
| CN110599486A (zh) * | 2019-09-20 | 2019-12-20 | 福州大学 | 一种视频抄袭的检测方法及系统 |
| CN110598014A (zh) * | 2019-09-27 | 2019-12-20 | 腾讯科技（深圳）有限公司 | 一种多媒体数据处理方法、装置及存储介质 |
| CN110996123A (zh) * | 2019-12-18 | 2020-04-10 | 广州市百果园信息技术有限公司 | 一种视频处理方法、装置、设备及介质 |
Non-Patent Citations (1)
| Title |
|---|
| 王炜;徐玮;熊志辉;张茂军;: "基于模糊直方图的两阶段相似视频的自动鉴别和检索", 小型微型计算机系统, no. 08 * |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115953406A (zh) * | 2023-03-14 | 2023-04-11 | 杭州太美星程医药科技有限公司 | 用于医学图像配准的匹配方法、装置、设备及可读介质 |
| CN115953406B (zh) * | 2023-03-14 | 2023-05-23 | 杭州太美星程医药科技有限公司 | 用于医学图像配准的匹配方法、装置、设备及可读介质 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN113553469B (zh) | 2023-12-22 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11132555B2 (en) | Video detection method, server and storage medium | |
| US11500916B2 (en) | Identifying media components | |
| CN109756746B (zh) | 视频审核方法、装置、服务器及存储介质 | |
| Zhang et al. | Efficient video frame insertion and deletion detection based on inconsistency of correlations between local binary pattern coded frames | |
| CN111522996B (zh) | 视频片段的检索方法和装置 | |
| CN111651636B (zh) | 视频相似片段搜索方法及装置 | |
| US10366211B2 (en) | Method, device and apparatus for recognizing picture | |
| CN110147469B (zh) | 一种数据处理方法、设备及存储介质 | |
| US20170185675A1 (en) | Fingerprinting and matching of content of a multi-media file | |
| CN113435391B (zh) | 一种侵权视频的识别方法和装置 | |
| CN111753673A (zh) | 一种视频数据的检测方法和装置 | |
| CN112866799A (zh) | 一种视频抽帧处理方法、装置、设备及介质 | |
| CN108989875B (zh) | 一种生成弹幕文件的方法及装置 | |
| US10897658B1 (en) | Techniques for annotating media content | |
| CN111314732A (zh) | 确定视频标签的方法、服务器及存储介质 | |
| CN109409321B (zh) | 一种镜头运动方式的确定方法及装置 | |
| CN110505513A (zh) | 一种视频截图方法、装置、电子设备及存储介质 | |
| CN110213630B (zh) | 一种视频处理方法、装置、电子设备及介质 | |
| CN111241381A (zh) | 信息推荐方法、装置、电子设备及计算机可读存储介质 | |
| CN113553469B (zh) | 数据处理方法、装置、电子设备及计算机存储介质 | |
| CN110087142A (zh) | 一种视频切片方法、终端及存储介质 | |
| CN113343033B (zh) | 视频搜索方法、装置、计算机设备及存储介质 | |
| CN113438500B (zh) | 视频处理方法、装置、电子设备及计算机存储介质 | |
| CN111104550A (zh) | 视频推荐方法、装置、电子设备及计算机可读存储介质 | |
| CN110489592B (zh) | 视频分类方法、装置、计算机设备和存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |