CN113596575A - 一种视频指纹数据的生成方法、比对方法及设备 - Google Patents

一种视频指纹数据的生成方法、比对方法及设备 Download PDF

Info

Publication number
CN113596575A
CN113596575A CN202110879878.7A CN202110879878A CN113596575A CN 113596575 A CN113596575 A CN 113596575A CN 202110879878 A CN202110879878 A CN 202110879878A CN 113596575 A CN113596575 A CN 113596575A
Authority
CN
China
Prior art keywords
data
fingerprint
video
frame data
group
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202110879878.7A
Other languages
English (en)
Other versions
CN113596575B (zh
Inventor
张家斌
张家明
赵圣魁
姜卫平
郭忠武
纪军
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Bohui Technology Inc
Original Assignee
Beijing Bohui Technology Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Bohui Technology Inc filed Critical Beijing Bohui Technology Inc
Priority to CN202110879878.7A priority Critical patent/CN113596575B/zh
Publication of CN113596575A publication Critical patent/CN113596575A/zh
Application granted granted Critical
Publication of CN113596575B publication Critical patent/CN113596575B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/44008Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving operations for analysing video streams, e.g. detecting features or characteristics in the video stream
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/4402Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display
    • H04N21/440218Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display by transcoding between formats or standards, e.g. from MPEG-2 to MPEG-4

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Image Analysis (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

本申请提供了一种视频指纹数据的生成方法、比对方法及设备,主要用于对进行过转码处理后的多站点间的视频内容的一致性进行比对,具体的,从视频流数据中提取出待比对视频的至少一组帧数据组;针对于每组帧数据组中每个帧数据,确定该帧数据所属帧图片的宏块特征图;基于宏块特征图,确定帧图片的特征指纹值;基于该帧数据组中的每个帧数据所属帧图片的特征指纹值,确定该帧数据组的指纹数据组;基于待比对视频中每个帧数据组的指纹数据组,确定待比对视频的指纹比对数据。这样,在无需对视频流数据进行解码的情况下,便能够生成表征待比对视频的指纹数据,从而可以简化指纹数据的提取步骤,提高数据的生成速率。

Description

一种视频指纹数据的生成方法、比对方法及设备
技术领域
本申请涉及图像处理技术领域,尤其是涉及一种视频指纹数据的生成方法、比对方法及设备。
背景技术
随着科技的不断发展,视频会议、视频指挥调度系统在各个行业应用的不断深入,对相关视频系统的安全防护需求也逐渐凸显,视频内容防篡改便是视频安全的重要组成部分,其主要依赖的即是视频一致性比对技术。对于视频一致性比对技术而言,视频指纹数据的生成则是视频一致性比对技术的基础和关键。视频指纹数据是指从采集到的视频中提取出的能代表视频图像的特征数据。
目前,常见的视频指纹数据的提取方法包括针对于图像特征提取的感知哈希算法(Perceptual HASH algorithm,PHASH)和尺度不变特征变换(Scale-Invariant FeatureTransform,SIFT)的特征描述算法;这类算法的共同特点是需要基于原始的视频图像数据进行处理,提取出的描述特征是视频图像的时域、频域或时域频域相结合的特征,此时,若要比对的视频是经过编码压缩的,则必须对视频进行解码还原,进而,使得视频指纹数据的提取过程中数据的处理量较大,数据的处理速率较低。
发明内容
有鉴于此,本申请的目的在于提供一种视频指纹数据的生成方法、比对方法及设备,无需对获取到的视频流数据进行解码,提取出表征视频图片的指纹数据,从而简化了指纹数据的提取步骤,有助于提高数据的处理速率。
本申请实施例提供了一种视频指纹数据的生成方法,应用于视频采集设备,所述生成方法包括:
从待比对视频的视频流数据中提取出所述待比对视频的至少一组帧数据组,其中,当所述视频采集设备所设置的会议终端为非视频录制端时,所述视频流数据为经过视频服务器转码后的数据;
针对于每组帧数据组中每个帧数据,确定该帧数据所属帧图片的宏块特征图;
基于所述宏块特征图,确定所述帧图片的特征指纹值;
基于该帧数据组中每个帧数据所属帧图片的特征指纹值,确定该帧数据组对应的指纹数据组;
基于所述待比对视频中每个帧数据组的指纹数据组,确定所述待比对视频的指纹比对数据。
进一步的,所述针对于每组帧数据组中每个帧数据,确定该帧数据所属帧图片的宏块特征图,包括:
针对于每组帧数据组中每个帧数据,基于该帧数据确定该帧数据所属帧图片对应的多个宏块结构;
确定每个宏块结构的宏块位置、宏块大小以及宏块类型;
针对于每个宏块结构,将该宏块结构的宏块大小转换为灰度像素值;
使用所述灰度像素值,填充该宏块结构的宏块位置所覆盖的像素点,并使用该宏块结构的宏块类型所对应的彩色像素值,填充所述宏块位置中预设区域内的像素点,得到填充好的宏块结构;
基于每个填充好的宏块结构,生成该帧数据所属帧图片的宏块特征图。
进一步的,所述从待比对视频的视频流数据中提取出所述待比对视频的至少一组帧数据组,包括:
从所述待比对视频的视频流数据中提取出至少一个关键帧数据;
针对于每个关键帧数据,将采集时间位于该关键帧数据之后的第一个前向预测编码帧数据确定为该关键帧数据的参考帧数据;
利用该关键帧数据和该关键帧数据的参考帧数据,构成该关键帧数据的帧数据组。
进一步的,所述基于所述宏块特征图,确定该帧数据的特征指纹值,包括:
将所述宏块特征图转换为灰度特征图,并压缩所述灰度特征图;
对压缩后的灰度特征图进行离散傅里叶变换,得到变换特征图;
对所述变换特征图进行均值滤波处理,得到处理后的变换特征图;
基于所述处理后的变换特征图,构造得到该帧数据的特征指纹值。
进一步的,所述基于所述待比对视频中每个帧数据组的指纹数据组,确定所述待比对视频的指纹比对数据,包括:
基于所述待比对视频中每个帧数据组的指纹数据组,按照每个帧数据组的提取顺序,生成所述待比对视频的指纹比对数据。
本申请实施例还提供了一种视频指纹数据的比对方法,应用于视频比对设备;所述视频比对设备用于统一比对不同视频采集设备所生成的多个指纹比对数据;所述比对方法包括:
获取至少两个指纹比对数据;
分别比对任意两个指纹比对数据,从所述任意两个指纹比对数据中的第一指纹比对数据中提取出至少一个第一指纹数据组;
针对于每个第一指纹数据组,按照该第一指纹数据组所属帧数据组的提取顺序,从所述任意两个指纹比对数据中的第二指纹比对数据中提取出该第一指纹数据组对应的至少一个第二指纹数据组;
确定该第一指纹数据组与每个第二指纹数据组之间的加权汉明距离;
基于确定出的至少一个加权汉明距离,确定所述第一指纹比对数据所属的第一视频文件与第二指纹比对数据所属的第二视频文件是否一致。
进一步的,所述确定该第一指纹数据组与每个第二指纹数据组之间的加权汉明距离,包括:
将该第一指纹数据组中关键帧数据对应的第一特征指纹值与每个第二指纹数据组中关键帧数据对应的第二特征指纹值进行比对,确定所述第一特征指纹值与每个第二特征指纹值之间的第一汉明距离;
将该第一指纹数据组中参考帧数据对应的第三特征指纹值与每个第二指纹数据组中参考帧数据对应的第四特征指纹值进行比对,确定所述第三特征指纹值与每个第四特征指纹值之间的第二汉明距离;
基于确定出的至少一个第一汉明距离、至少一个第二汉明距离、第一汉明距离的第一权重以及第二汉明距离的第二权重,确定该第一指纹数据组与每个第二指纹数据组之间的加权汉明距离。
本申请实施例还提供了一种视频比对系统,所述视频比对系统包括:至少两个视频采集设备和视频比对设备;
所述视频采集设备,用于从采集到的待比对视频的视频流数据中提取出所述待比对视频文件的指纹比对数据,并将所述指纹比对数据发送至所述视频比对设备;
所述视频比对设备,用于分别从每个视频采集设备获取指纹比对数据,并比对每两个指纹比对数据,确定两个指纹比对数据所属的待对比视频文件是否一致。
本申请实施例还提供了一种视频比对方法,应用于视频比对系统,所述视频比对方法包括:
通过视频采集设备从采集到的待比对视频的视频流数据中提取出所述待比对视频文件的指纹比对数据,并将所述指纹比对数据发送至视频比对设备;
控制所述视频比对设备分别从每个视频采集设备获取指纹比对数据,并比对每两个指纹比对数据,确定两个指纹比对数据所属的待比对视频文件是否一致。
本申请实施例还提供了一种视频采集设备,所述视频采集设备包括:
第一提取模块,用于从待比对视频的视频流数据中提取出所述待比对视频的至少一组帧数据组,其中,当所述视频采集设备所设置的会议终端为非视频录制端时,所述视频流数据为经过视频服务器转码后的数据;
第一确定模块,用于针对于每组帧数据组中每个帧数据,确定该帧数据所属帧图片的宏块特征图;
第二确定模块,用于基于所述宏块特征图,确定该帧数据的特征指纹值;
第三确定模块,用于基于该帧数据组中每个帧数据所属帧图片的特征指纹值,确定该帧数据组对应的指纹数据组;
第四确定模块,用于基于所述待比对视频中每个帧数据组的指纹数据组,确定所述待比对视频的指纹比对数据。
进一步的,所述第一确定模块在用于针对于每组帧数据组中每个帧数据,确定该帧数据所属帧图片的宏块特征图时,所述第一确定模块用于:
针对于每组帧数据组中每个帧数据,基于该帧数据确定该帧数据所属帧图片对应的多个宏块结构;
确定每个宏块结构的宏块位置、宏块大小以及宏块类型;
针对于每个宏块结构,将该宏块结构的宏块大小转换为灰度像素值;
使用所述灰度像素值,填充该宏块结构的宏块位置所覆盖的像素点,并使用该宏块结构的宏块类型所对应的彩色像素值,填充所述宏块位置中预设区域内的像素点,得到填充好的宏块结构;
基于每个填充好的宏块结构,生成该帧数据所属帧图片的宏块特征图。
进一步的,所述第一提取模块在用于从待比对视频的视频流数据中提取出所述待比对视频的至少一组帧数据组时,所述第一提取模块用于:
从所述待比对视频的视频流数据中提取出至少一个关键帧数据;
针对于每个关键帧数据,将采集时间位于该关键帧数据之后的第一个前向预测编码帧数据确定为该关键帧数据的参考帧数据;
利用该关键帧数据和该关键帧数据的参考帧数据,构成该关键帧数据的帧数据组。
进一步的,所述第二确定模块在用于基于所述宏块特征图,确定该帧数据的特征指纹值时,所述第二确定模块用于:
将所述宏块特征图转换为灰度特征图,并压缩所述灰度特征图;
对压缩后的灰度特征图进行离散傅里叶变换,得到变换特征图;
对所述变换特征图进行均值滤波处理,得到处理后的变换特征图;
基于所述处理后的变换特征图,构造得到该帧数据的特征指纹值。
进一步的,所述第四确定模块在用于基于所述待比对视频中每个帧数据组的指纹数据组,确定所述待比对视频的指纹比对数据时,所述第四确定模块用于:
基于所述待比对视频中每个帧数据组的指纹数据组,按照每个帧数据组的提取顺序,生成所述待比对视频的指纹比对数据。
本申请实施例还提供了一种视频比对设备,所述视频比对设备用于统一比对不同视频采集设备所生成的多个指纹比对数据;所述视频比对设备包括:
获取模块,用于获取至少两个指纹比对数据;
指纹比对模块,用于分别比对任意两个指纹比对数据,从所述任意两个指纹比对数据中的第一指纹比对数据中提取出至少一个第一指纹数据组;
第二提取模块,用于针对于每个第一指纹数据组,按照该第一指纹数据组所属帧数据组的提取顺序,从所述任意两个指纹比对数据中的第二指纹比对数据中提取出该第一指纹数据组对应的至少一个第二指纹数据组;
距离确定模块,用于确定该第一指纹数据组与每个第二指纹数据组之间的加权汉明距离;
文件比对模块,用于基于确定出的至少一个加权汉明距离,确定所述第一指纹比对数据所属的第一视频文件与第二指纹比对数据所属的第二视频文件是否一致。
进一步的,所述距离确定模块在用于确定该第一指纹数据组与每个第二指纹数据组之间的加权汉明距离时,所述距离确定模块用于:
将该第一指纹数据组中关键帧数据对应的第一特征指纹值与每个第二指纹数据组中关键帧数据对应的第二特征指纹值进行比对,确定所述第一特征指纹值与每个第二特征指纹值之间的第一汉明距离;
将该第一指纹数据组中参考帧数据对应的第三特征指纹值与每个第二指纹数据组中参考帧数据对应的第四特征指纹值进行比对,确定所述第三特征指纹值与每个第四特征指纹值之间的第二汉明距离;
基于确定出的至少一个第一汉明距离、至少一个第二汉明距离、第一汉明距离的第一权重以及第二汉明距离的第二权重,确定该第一指纹数据组与每个第二指纹数据组之间的加权汉明距离。
本申请实施例还提供一种电子设备,包括:处理器、存储器和总线,所述存储器存储有所述处理器可执行的机器可读指令,当电子设备运行时,所述处理器与所述存储器之间通过总线通信,所述机器可读指令被所述处理器执行时执行如上述的方法的步骤。
本申请实施例还提供一种计算机可读存储介质,该计算机可读存储介质上存储有计算机程序,该计算机程序被处理器运行时执行如上述的方法的步骤。
本申请实施例提供的一种视频指纹数据的生成方法、比对方法及设备,主要用于对进行过转码处理后的多站点间的视频内容的一致性进行比对,具体的,从待比对视频的视频流数据中提取出所述待比对视频的至少一组帧数据组;针对于每组帧数据组中每个帧数据,确定该帧数据所属帧图片的宏块特征图;基于所述宏块特征图,确定所述帧图片的特征指纹值;基于该帧数据组中每个帧数据所属帧图片的特征指纹值,确定该帧数据组对应的指纹数据组;基于所述待比对视频中每个帧数据组的指纹数据组,确定所述待比对视频的指纹比对数据。这样,在生成待比对视频的指纹比对数据时无需对获取到的视频流数据进行解码,便能够提取出表征视频图片的指纹数据,从而简化了指纹数据的提取步骤,有助于提高数据的处理速率。
为使本申请的上述目的、特征和优点能更明显易懂,下文特举较佳实施例,并配合所附附图,作详细说明如下。
附图说明
为了更清楚地说明本申请实施例的技术方案,下面将对实施例中所需要使用的附图作简单地介绍,应当理解,以下附图仅示出了本申请的某些实施例,因此不应被看作是对范围的限定,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他相关的附图。
图1为本申请实施例所提供的一种视频比对系统的结构示意图;
图2为本申请实施例所提供的一种视频指纹数据的生成方法的流程图;
图3为本申请实施例所提供的一种视频数据结构示意图;
图4为本申请实施例提供的一种特征指纹值提取流程示意图;
图5为本申请实施例提供的一种视频指纹数据的比对方法的流程图;
图6为本申请实施例提供的一种视频比对方法的流程图;
图7为本申请实施例所提供的一种视频采集设备的结构示意图;
图8为本申请实施例所提供的一种视频比对设备的结构示意图;
图9为本申请实施例所提供的一种电子设备的结构示意图。
具体实施方式
为使本申请实施例的目的、技术方案和优点更加清楚,下面将结合本申请实施例中附图,对本申请实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本申请一部分实施例,而不是全部的实施例。通常在此处附图中描述和示出的本申请实施例的组件可以以各种不同的配置来布置和设计。因此,以下对在附图中提供的本申请的实施例的详细描述并非旨在限制要求保护的本申请的范围,而是仅仅表示本申请的选定实施例。基于本申请的实施例,本领域技术人员在没有做出创造性劳动的前提下所获得的每个其他实施例,都属于本申请保护的范围。
经研究发现,目前,常见的视频指纹数据的提取方法包括针对于图像特征提取的感知哈希算法(Perceptual HASH algorithm,PHASH)和尺度不变特征变换(Scale-Invariant Feature Transform,SIFT)的特征描述算法;这类算法的共同特点是需要基于原始的视频图像数据进行处理,提取出的描述特征是视频图像的时域、频域或时域频域相结合的特征,此时,若要比对的视频是经过编码压缩的,则必须对视频进行解码还原,进而,使得视频指纹数据的提取过程中数据的处理量较大,数据的处理速率较低。
基于此,本申请实施例提供了一种视频指纹数据的生成方法,简化了指纹数据的提取步骤,有助于提高数据的处理速率。
请参阅图1,图1为本申请实施例所提供的一种视频比对系统的结构示意图。所述视频比对系统100包括至少两个视频采集设备110和视频比对设备120。
所述视频采集设备110用于从采集到的待比对视频的视频流数据中提取出所述待比对视频文件的指纹比对数据,并将所述指纹比对数据发送至所述视频比对设备120;
所述视频比对设备120用于分别从每个视频采集设备110获取指纹比对数据,并比对每两个指纹比对数据,确定两个指纹比对数据所属的待对比视频文件是否一致。
请参阅图2,图2为本申请实施例所提供的一种视频指纹数据的生成方法的流程图,应用于视频采集设备。如图2中所示,本申请实施例提供的视频指纹数据的生成方法,包括:
S201、从待比对视频的视频流数据中提取出所述待比对视频的至少一组帧数据组,其中,当所述视频采集设备所设置的会议终端为非视频录制端时,所述视频流数据为经过视频服务器转码后的数据。
S202、针对于每组帧数据组中每个帧数据,确定该帧数据所属帧图片的宏块特征图。
S203、基于所述宏块特征图,确定所述帧图片的特征指纹值。
S204、基于该帧数据组中每个帧数据所属帧图片的特征指纹值,确定该帧数据组对应的指纹数据组。
S205、基于所述待比对视频中每个帧数据组的指纹数据组,确定所述待比对视频的指纹比对数据。
这里,获取到的待比对视频的视频流数据采用了相同的视频编码方式,例如,均采用H.264进行视频编码;采用相同的视频编码参数,例如,视频帧率、码率、GOP模式、帧内及帧间编码预测模式等。意味着在视频编码方式和视频编码参数选定的基础上,采集到的待比对视频具有客观上的相似性和可比性,从而为不需要解码就能够提取出视频一致性比对时所需的视频指纹数据。
另外,本申请中的视频指纹数据的生成方法可应用于进行过数据转码的视频流数据,例如,对原始视频流数据叠加水印处理后视频流数据,显然,在叠加水印的过程中,需对原始视频流数据进行转码处理,因此,对于非视频录制终端而言,其接收到的视频流数据为转码后的数据。
由于,采集到的待比对视频的视频流数据中包括有至少一组帧数据组成,因此,在采集到的待比对视频的视频流数据后需要对视频流数据进行分帧处理,目的在于从的视频流数据中分割出进行指纹数据提取的帧数据组。
宏块是视频数据处理过程中的基本单元,以H.264编码的视频为例,如图3所示,图3为本申请实施例所提供的一种视频数据结构示意图。图3展示了宏块在视频数据中的位置:具体的,连续的以关键帧开始的若干帧图像被分为图像组(Group of Picture),图像组中包括有图像序列(Sequence)每帧图像(Picture)又可以分为若干切片(Slice),每个切片按照16x16的大小可分为若干宏块(Macro Block),每个宏块还可以进一步划分为4个大小为8x8的子块(Sub-Block)。
此外,宏块有四种不同的结构类型:skip类型、PCM类型、sub_mb_pred(子宏块预测)类型、mb_pred(宏块预测)类型,而每种类型又有细分的结构。但不论是哪种类型的宏块,都包括以下几个最为典型的参数:
(1)宏块位置:宏块在当前图像中的偏移位置;
(2)宏块类型:宏块的类型;以I_Slice中的宏块为例,一共有26种不同的宏块类型,如I_NxN、I_16x16_0_0_0、I_16x16_1_1_0、I_16x16_3_2_1、I_PCM等;
(3)宏块大小:当前宏块的大小;对于skip类型的宏块,宏块大小为0。
这里,对于同一个待比对视频进行编码的过程中,当编码器参数设置相同时,编码后生成的各个Slice中包含的宏块的位置、类型、大小等参数都会相对固定,这就为我们以此提取宏块分布特征图提供了可能。
特别需要说明的是,宏块的上述参数数据,只需按照视频编码规范的语法进行简单遍历分析即可获得,不需要进行整个视频解码(主要包括熵解码、反量化、反变换、滤波等处理)过程,对计算资源的占用非常小。
在步骤S201中,在获取待比对视频的视频流数据后,作为示例的,以目前主流的视频会议应用为例,首先,参考H.323/SIP协议规范完成待比对视频的识别;其次,参考RTP规范从待比对视频中提取出传输单元;最后,依据H.264的规范对待比对视频进行分帧处理,根据每帧数据的帧类型,从待比对视频中提取出至少一组帧数据组。
在一种可能的实施方式中,为了能够从待比对视频中提取出能够表征该待比对视频的指纹数据,首先,需要从待比对视频的视频流数据中提取出能够表征待比对视频的至少一组帧数据组,具体的,步骤S201包括:从所述待比对视频的视频流数据中提取出至少一个关键帧数据;针对于每个关键帧数据,将采集时间位于该关键帧数据之后的第一个前向预测编码帧数据确定为该关键帧数据的参考帧数据;利用该关键帧数据和该关键帧数据的参考帧数据,构成该关键帧数据的帧数据组。
在从待比对视频的视频流数据中提取至少一组帧数据组的过程中,首先,对视频流数据进行分帧处理,从分帧处理得到的各个帧数据中根据每个帧数据的类型,确定出至少一个关键帧数据;然后,针对于每个关键帧数据,根据该关键帧数据的采集时间,将采集时间在该关键帧数据之后的第一个出现的前向预测编码帧数据确定为该关键帧数据对应的参考帧数据;最后,利用该关键帧数据和该关键帧数据的参考帧数据,构成该关键帧数据的帧数据组,即每个帧数据组包括两帧数据:关键帧数据及该关键帧数据对应的参考帧数据。
这里,对于待比对视频的视频流数据来说,除了关键帧数据和参考帧数据之外,还存在双向差别帧数据(B帧数据),B帧数据记录的是本帧数据与前后帧数据之间的差别,换言之,要解码B帧数据,不仅要取得前一帧的缓存图片,还要获取解码之后的下一帧的缓存图片,通过前后帧缓存图片与本帧数据的叠加取得最终的图片,所以,在图片的处理过程中B帧数据压缩率高,解码时CPU的数据处理量也较多;由于,本申请提出的方法无需对待比对视频进行解码,因此,无需获取B帧数据,进而,间接的减少了CPU的数据处理量,提高了数据的处理速率。
在步骤S202中,针对于每组帧数据组中的每个帧数据,即分别针对于每组帧数据组中的关键帧数据和参考帧数据,分别确定关键帧数据所属帧图片的宏块特征图,以及参考帧数据所属帧图片的宏块特征图。
在一种可能的实施方式中,步骤S202包括:基于该帧数据确定该帧数据所属帧图片对应的多个宏块结构。确定每个宏块结构的宏块位置、宏块大小以及宏块类型。针对于每个宏块结构,将该宏块结构的宏块大小转换为灰度像素值。使用所述灰度像素值,填充该宏块结构的宏块位置所覆盖的像素点,并使用该宏块结构的宏块类型所对应的彩色像素值,填充所述宏块位置中预设区域内的像素点,得到填充好的宏块结构。基于每个填充好的宏块结构,生成该帧数据所属帧图片的宏块特征图。
由于每组帧数据组中包括有两帧数据,即关键帧数据和参考帧数据,因此,在确定帧数据的宏块特征图时,需要分别确定关键帧数据所属帧图片的宏块特征图和参考帧数据所属帧图片的宏块特征图。
作为示例的,以关键帧数据为例进行说明,首先,按照宏块在图片中的分布特性,基于该帧数据确定该帧数据所属帧图片对应的多个宏块结构;确定每个宏块结构在关键帧数据中的宏块位置、该宏块结构的宏块大小以及该宏块结构的宏块类型;
其次,根据每个宏块结构的宏块大小,映射得到该宏块结构的灰度像素值,其中,灰度像素值位于0~255之间;使用映射得到的灰度像素值填充预先构建好的与关键帧数据分辨率相同的模板图片中该宏块结构的宏块位置所覆盖的16x16的像素点区域,此外,当宏块结构的宏块大小为0时,将该宏块结构的宏块位置所覆盖的16x16的像素点区域填充为黑色;当宏块结构的宏块大小超过1000bit时,将该宏块结构的宏块位置所覆盖的16x16的像素点区域填充为白色;
然后,根据宏块结构的宏块类型,确定该宏块结构对应的彩色像素值,例如,红色代表I_Slice中的宏块类型;蓝色代表P_Slice中的宏块类型;绿色代表B_Slice中的宏块类型等;使用彩色像素值填充该宏块结构的宏块位置所覆盖的像素点区域中预设区域内的像素点,例如,宏块位置所覆盖的是16×16的像素点区域,将16×16的像素点区域中的中间位置的8×8的像素点区域确定为预设区域,使用彩色像素值填充8×8的像素点区域,得到填充好的宏块结构;
最后,基于各个填充好的宏块结构,生成该关键帧数据所属帧图像的宏块特征图。
此外,参考帧数据的宏块特征图的生成过程与关键帧数据的宏块特征图的生成过程一致,在此不再赘述。
在步骤S203中,在确定出每个帧数据组中每个帧数据所属帧图片的宏块特征图之后,分别从每个帧数据所属帧图片的宏块特征图中提取出该帧数据所属帧图片的特征指纹值,即分别从关键帧数据所属帧图片的宏块特征图中提取出该关键帧图片的特征指纹值,以及从参考帧数据所属帧图片的宏块特征图中提取出该参考帧图片的特征指纹值。
在一种可能的实施方式中,步骤S203包括:将所述宏块特征图转换为灰度特征图,并压缩所述灰度特征图;对压缩后的灰度特征图进行离散傅里叶变换,得到变换特征图;对所述变换特征图进行均值滤波处理,得到处理后的变换特征图;基于所述处理后的变换特征图,构造得到该帧数据所属帧图片的特征指纹值。
如图4所示,图4为本申请实施例提供的一种特征指纹值提取流程示意图,对应于上述实施例,以关键帧图片的宏块特征图为例进行说明,获取关键帧图片的宏块特征图,对关键帧图片的宏块特征图进行灰度化处理,将关键帧图片的宏块特征图转换为灰度特征图,并对灰度特征图进行压缩处理,将灰度特征图缩小至32×32像素;对压缩后的灰度特征图进行离散余弦变换(DCT变换),并对DCT变换后的会对特征图进行缩小DCT变换,得到变换特征图;对变换特征图进行均值滤波处理,得到处理后的变换特征图;基于所述处理后的变换特征图,采用感知哈希算法构造得到关键帧图片的特征指纹值。这里,得到的特征指纹值为一个长度为64bit的数值。
本申请通过灰度化处理、压缩处理、离散余弦变换、缩小DCT变换等措施,构造得到的特征指纹值仅包括关键帧图片中最重要的低频分量信息,也即关键帧图片中物体的轮廓和边缘信息,这与关键帧图片的宏块特征图以及待比对视频中原始图片之间能够较好的对应,从而可以保障本申请中方法的有效性。
此外,参考帧数据所属参考帧图片的特征指纹值的构造过程与关键帧数据所属关键帧图片的特征指纹值的构造过程一致,在此不再赘述。
进而,在步骤S204中,可以基于关键帧数据所属关键帧图片的特征指纹值和参考帧数据所属参考帧图片的特征指纹值,组合得到该帧数据组对应的指纹数据组。
在一种可能的实施方式中,步骤S205包括:基于所述待比对视频中每个帧数据组的指纹数据组,按照每个帧数据组的提取顺序,生成所述待比对视频的指纹比对数据。
该步骤中,在生成待比对视频的指纹比对数据时,可以按照每个帧数据组中每个帧数据的提取顺序,拼接待比对视频中每个帧数据组的指纹数据组,得到待比对视频的指纹比对数据;具体的,可以按照每个帧数据组中关键帧数据的被提取顺序,拼接待比对视频中每个帧数据组的指纹数据组;这里,可以按照时间顺序依次提取每个关键帧数据,进而,得到每个关键帧数据的提取顺序。
此外,也可以根据参考帧数据的提取顺序来决定待比对视频中每个帧数据组的指纹数据组的拼接顺序,参考帧数据的提取顺序的确定过程与关键帧数据一致,在此不再赘述。
本申请实施例提供的视频指纹数据的生成方法,主要用于对进行过转码处理后的多站点间的视频内容的一致性进行比对,具体的,从待比对视频的视频流数据中提取出所述待比对视频的至少一组帧数据组;针对于每组帧数据组中每个帧数据,确定该帧数据所属帧图片的宏块特征图;基于所述宏块特征图,确定所述帧图片的特征指纹值;基于该帧数据组中每个帧数据所属帧图片的特征指纹值,确定该帧数据组对应的指纹数据组;基于所述待比对视频中每个帧数据组的指纹数据组,确定所述待比对视频的指纹比对数据。这样,在生成待比对视频的指纹比对数据时无需对获取到的视频流数据进行解码,便能够提取出表征视频图片的指纹数据,从而简化了指纹数据的提取步骤,有助于提高数据的处理速率。
请参阅图5,图5为本申请实施例提供的一种视频指纹数据的比对方法的流程图。如图5中所示,本申请实施例提供的视频指纹数据的比对方法应用于视频比对设备;所述视频比对设备用于统一比对不同视频采集设备所生成的多个指纹比对数据;所述视频指纹数据的比对方法包括:
S501、获取至少两个指纹比对数据。
S502、分别比对任意两个指纹比对数据,从所述任意两个指纹比对数据中的第一指纹比对数据中提取出至少一个第一指纹数据组。
S503、针对于每个第一指纹数据组,按照该第一指纹数据组所属帧数据组的提取顺序,从所述任意两个指纹比对数据中的第二指纹比对数据中提取出该第一指纹数据组对应的至少一个第二指纹数据组。
S504、确定该第一指纹数据组与每个第二指纹数据组之间的加权汉明距离。
S505、基于确定出的至少一个加权汉明距离,确定所述第一指纹比对数据所属的第一视频文件与每个第二指纹比对数据所属的第二视频文件是否一致。
在视频指纹数据的比对过程中由于来自于不同视频采集设备的视频的指纹比对数据不可避免地存在因编码、网络传输引入的时延等问题,因此,在进行比对前,需要对来自于不同视频采集设备的视频的指纹比对数据分别进行缓存。
在步骤S501中,从不同的视频采集设备中获取并缓存至少两个指纹比对数据,每个指纹比对数据分别为来自于不同的视频采集设备的待比对视频对应的指纹比对数据。
这里,视频比对设备可以设置于视频服务器一端,也可以独立于视频服务器单独设置,根据实际情况做具体设置,在此不做限制。
为了确定获取到的视频是否一致,通过比对表征该视频的指纹比对数据来对视频的一致性进行判断,每次从至少两个指纹比对数据中获取任意两个指纹比对数据。
在步骤S502中,分别比对获取到的任意两个指纹比对数据,从任意两个指纹比对数据中的第一指纹比对数据中提取出至少一个第一指纹数据组。
这里,任意两个指纹比对数据的比对过程,即为任意两个指纹比对数据的相似度判定过程,具体来说,就是判断两个指纹比对数据是否相似的过程。
第一指纹数据组中包括有第一指纹比对数据所属视频中一关键帧数据的特征指纹值,以及与该关键帧数据对应的参考帧数据的特征指纹值。
在步骤S503中,针对于每个第一指纹数据组,按照该第一指纹数据组所属帧数据组中帧数据的提取顺序,具体的,可以按照该第一指纹数据组所属帧数据组中关键帧数据的提取顺序,从任意两个指纹比对数据中的第二指纹比对数据中提取出可以与该第一指纹数据组进行比对的至少一个第二指纹数据组。
作为示例的,第一指纹数据组所属帧数据组的提取顺序为“3”,说明该帧数据组是第3组,那么在比对时考虑到传输时延或者分割间隔不一致的情况的存在,可以从第二指纹比对数据中提取出“第2组第二指纹数据组”、“第3组第二指纹数据组”以及“第4组第二指纹数据组”,分别与“第3组第一指纹数据组”进行比对。
在步骤S504中,采用加权汉明距离的相似度判定方法,确定第一指纹数据组与每个第二指纹数据组之间的加权汉明距离。
在一种可能的实施方式中,步骤S504包括:将该第一指纹数据组中关键帧数据对应的第一特征指纹值与每个第二指纹数据组中关键帧数据对应的第二特征指纹值进行比对,确定所述第一特征指纹值与每个第二特征指纹值之间的第一汉明距离;将该第一指纹数据组中参考帧数据对应的第三特征指纹值与每个第二指纹数据组中参考帧数据对应的第四特征指纹值进行比对,确定所述第三特征指纹值与每个第四特征指纹值之间的第二汉明距离;基于确定出的至少一个第一汉明距离、至少一个第二汉明距离、第一汉明距离的第一权重以及第二汉明距离的第二权重,确定该第一指纹数据组与第二指纹数据组之间的加权汉明距离。
如前所述,构造出的特征指纹值是一个64bit大小的数值,两个特征指纹值之间的汉明距离就是两个64bit数值中不相同的位数,经过加权后的汉明距离代表的含义与此相同,汉明距离越小,说明两组特征指纹值越相似,也即两个特征指纹值所属图片之间越相近。
这里,第一指纹数据组中实际包括了关键帧数据的第一特征指纹值,以及参考帧数据的第三特征指纹值;同理,每个第二指纹数据组中实际包括了关键帧数据的第二特征指纹值,以及参考帧数据的第四特征指纹值;由于关键帧数据和参考帧数据对于视频表达的重要程度不同,因此它们的指纹数据在匹配判定中的权重也应不同,即,第一权重与第二权重是不同的。
在比对过程中分别将第一指纹数据组中关键帧数据的第一特征指纹值与每个第二指纹数据组中关键帧数据的第二特征指纹值进行比较,确定出第一特征指纹值与每个第二特征指纹值之间的第一汉明距离。
分别将第一指纹数据组中参考帧数据的第三特征指纹值与每个第二指纹数据组中参考帧数据的第四特征指纹值进行比较,确定出第三特征指纹值与每个第四特征指纹值之间的第二汉明距离。
具体的,通过以下公式计算第一指纹数据组与每个第二指纹数据组之间的加权汉明距离:
Ham(Ks,Kd)=Wi×Ham(Ksi,Kdi)+Wp×Ham(Ksp,Kdp);
其中,Ham(Ks,Kd)为加权汉明距离,Ham(Ksi,Kdi)为第一汉明距离,Ham(Ksp,Kdp)为第二汉明距离,Wi为第一权重,Wp为第二权重。
通过以下公式计算第一权重:
Figure BDA0003191751350000181
其中,Wi为第一权重,Ssi为第一指纹数据组所属第一视频文件中关键帧数据所占大小,Sdi为第二指纹数据组所属第二视频文件中关键帧数据所占大小,Ssp为第一指纹数据组所属第一视频文件中参考帧数据所占大小,Sdp为第二指纹数据组所属第二视频文件中参考帧数据所占大小。
通过以下公式计算第二权重:
Wp=1-Wi
其中,Wp为第二权重,Wi为第一权重。
在步骤S505中,基于确定出的至少一个加权汉明距离,确定第一指纹比对数据所属的第一视频文件与第二指纹比对数据所属的第二视频文件是否一致。
具体的,当确定出的至少一个加权汉明距离中大于预设汉明距离的数量大于或等于预设数量阈值,则确定第一指纹比对数据所属的第一视频文件与第二指纹比对数据所属的第二视频文件一致;否则,不一致。
本申请实施例提供的视频指纹数据的比对方法,应用于视频比对设备,所述视频比对设备用于统一比对不同视频采集设备所生成的多个指纹比对数据;获取至少两个指纹比对数据;分别比对任意两个指纹比对数据,从所述任意两个指纹比对数据中的第一指纹比对数据中提取出至少一个第一指纹数据组;针对于每个第一指纹数据组,按照该第一指纹数据组所属帧数据组的提取顺序,从所述任意两个指纹比对数据中的第二指纹比对数据中提取出该第一指纹数据组对应的至少一个第二指纹数据组;确定该第一指纹数据组与每个第二指纹数据组之间的加权汉明距离;基于确定出的至少一个加权汉明距离,确定所述第一指纹比对数据所属的第一视频文件与第二指纹比对数据所属的第二视频文件是否一致。这样,便可以根据视频文件的指纹比对数据,准确的确定出第一视频文件与第二视频文件是否一致,有助于防止视频文件在传输的过程中被篡改。
请参阅图6,图6为本申请实施例提供的一种视频比对方法的流程图,应用于视频比对系统。如图6中所示,本申请实施例提供的视频比对方法,包括:
步骤S601、通过视频采集设备从采集到的待比对视频的视频流数据中提取出所述待比对视频文件的指纹比对数据,并将所述指纹比对数据发送至视频比对设备;
步骤S602、控制所述视频比对设备分别从每个视频采集设备获取指纹比对数据,并比对每两个指纹比对数据,确定两个指纹比对数据所属的待对比视频文件是否一致。
请参阅图7,图7为本申请实施例所提供的一种视频采集设备的结构示意图。如图7中所示,所述视频采集设备110包括:
第一提取模块111,用于从待比对视频的视频流数据中提取出所述待比对视频的至少一组帧数据组,其中,当所述视频采集设备所设置的会议终端为非视频录制端时,所述视频流数据为经过视频服务器转码后的数据;
第一确定模块112,用于针对于每组帧数据组中每个帧数据,确定该帧数据所属帧图片的宏块特征图;
第二确定模块113,用于基于所述宏块特征图,确定该帧数据的特征指纹值;
第三确定模块114,用于基于该帧数据组中每个帧数据所属帧图片的特征指纹值,确定该帧数据组对应的指纹数据组;
第四确定模块115,用于基于所述待比对视频中每个帧数据组的指纹数据组,确定所述待比对视频的指纹比对数据。
进一步的,所述第一确定模块112在用于针对于每组帧数据组中每个帧数据,确定该帧数据所属帧图片的宏块特征图时,所述第一确定模块112用于:
针对于每组帧数据组中每个帧数据,基于该帧数据确定该帧数据所属帧图片对应的多个宏块结构;
确定每个宏块结构的宏块位置、宏块大小以及宏块类型;
针对于每个宏块结构,将该宏块结构的宏块大小转换为灰度像素值;
使用所述灰度像素值,填充该宏块结构的宏块位置所覆盖的像素点,并使用该宏块结构的宏块类型所对应的彩色像素值,填充所述宏块位置中预设区域内的像素点,得到填充好的宏块结构;
基于每个填充好的宏块结构,生成该帧数据所属帧图片的宏块特征图。
进一步的,所述第一提取模块111在用于从待比对视频的视频流数据中提取出所述待比对视频的至少一组帧数据组时,所述第一提取模块111用于:
从所述待比对视频的视频流数据中提取出至少一个关键帧数据;
针对于每个关键帧数据,将采集时间位于该关键帧数据之后的第一个前向预测编码帧数据确定为该关键帧数据的参考帧数据;
利用该关键帧数据和该关键帧数据的参考帧数据,构成该关键帧数据的帧数据组。
进一步的,所述第二确定模块113在用于基于所述宏块特征图,确定该帧数据的特征指纹值时,所述第二确定模块113用于:
将所述宏块特征图转换为灰度特征图,并压缩所述灰度特征图;
对压缩后的灰度特征图进行离散傅里叶变换,得到变换特征图;
对所述变换特征图进行均值滤波处理,得到处理后的变换特征图;
基于所述处理后的变换特征图,构造得到该帧数据的特征指纹值。
进一步的,所述第四确定模块115在用于基于所述待比对视频中每个帧数据组的指纹数据组,确定所述待比对视频的指纹比对数据时,所述第四确定模块115用于:
基于所述待比对视频中每个帧数据组的指纹数据组,按照每个帧数据组的提取顺序,生成所述待比对视频的指纹比对数据。
本申请实施例提供的视频采集设备,从待比对视频的视频流数据中提取出所述待比对视频的至少一组帧数据组,其中,当所述视频采集设备所设置的会议终端为非视频录制端时,所述视频流数据为经过视频服务器转码后的数据;针对于每组帧数据组中每个帧数据,确定该帧数据所属帧图片的宏块特征图;基于所述宏块特征图,确定所述帧图片的特征指纹值;基于该帧数据组中每个帧数据所属帧图片的特征指纹值,确定该帧数据组对应的指纹数据组;基于所述待比对视频中每个帧数据组的指纹数据组,确定所述待比对视频的指纹比对数据。这样,在生成待比对视频的指纹比对数据时无需对获取到的视频流数据进行解码,便能够提取出表征视频图片的指纹数据,从而简化了指纹数据的提取步骤,有助于提高数据的处理速率。
请参阅图8,图8为本申请实施例所提供的一种视频比对设备的结构示意图。所述视频比对设备用于统一比对不同视频采集设备所生成的多个指纹比对数据;如图8中所示,所述视频比对设备120包括:
获取模块121,用于获取至少两个指纹比对数据;
指纹比对模块122,用于分别比对任意两个指纹比对数据,从所述任意两个指纹比对数据中的第一指纹比对数据中提取出至少一个第一指纹数据组;
第二提取模块123,用于针对于每个第一指纹数据组,按照该第一指纹数据组所属帧数据组的提取顺序,从所述任意两个指纹比对数据中的第二指纹比对数据中提取出该第一指纹数据组对应的至少一个第二指纹数据组;
距离确定模块124,用于确定该第一指纹数据组与每个第二指纹数据组之间的加权汉明距离;
文件比对模块125,用于基于确定出的至少一个加权汉明距离,确定所述第一指纹比对数据所属的第一视频文件与第二指纹比对数据所属的第二视频文件是否一致。
进一步的,所述距离确定模块124在用于确定该第一指纹数据组与每个第二指纹数据组之间的加权汉明距离时,所述距离确定模块124用于:
将该第一指纹数据组中关键帧数据对应的第一特征指纹值与每个第二指纹数据组中关键帧数据对应的第二特征指纹值进行比对,确定所述第一特征指纹值与每个第二特征指纹值之间的第一汉明距离;
将该第一指纹数据组中参考帧数据对应的第三特征指纹值与每个第二指纹数据组中参考帧数据对应的第四特征指纹值进行比对,确定所述第三特征指纹值与每个第四特征指纹值之间的第二汉明距离;
基于确定出的至少一个第一汉明距离、至少一个第二汉明距离、第一汉明距离的第一权重以及第二汉明距离的第二权重,确定该第一指纹数据组与每个第二指纹数据组之间的加权汉明距离。
本申请实施例提供的视频比对设备,所述视频比对设备用于统一比对不同视频采集设备所生成的多个指纹比对数据;获取至少两个指纹比对数据;分别比对任意两个指纹比对数据,从所述任意两个指纹比对数据中的第一指纹比对数据中提取出至少一个第一指纹数据组;针对于每个第一指纹数据组,按照该第一指纹数据组所属帧数据组的提取顺序,从所述任意两个指纹比对数据中的第二指纹比对数据中提取出该第一指纹数据组对应的至少一个第二指纹数据组;确定该第一指纹数据组与每个第二指纹数据组之间的加权汉明距离;基于确定出的至少一个加权汉明距离,确定所述第一指纹比对数据所属的第一视频文件与第二指纹比对数据所属的第二视频文件是否一致。这样,便可以根据视频文件的指纹比对数据,准确的确定出第一视频文件与第二视频文件是否一致,有助于防止视频文件在传输的过程中被篡改。
请参阅图9,图9为本申请实施例所提供的一种电子设备的结构示意图。如图9中所示,所述电子设备900包括处理器910、存储器920和总线930。
所述存储器920存储有所述处理器910可执行的机器可读指令,当电子设备900运行时,所述处理器910与所述存储器920之间通过总线530通信,所述机器可读指令被所述处理器910执行时,可以执行如上述图2、图5以及图6所示方法实施例中的方法的步骤,具体实现方式可参见方法实施例,在此不再赘述。
本申请实施例还提供一种计算机可读存储介质,该计算机可读存储介质上存储有计算机程序,该计算机程序被处理器运行时可以执行如上述图2、图5以及图6所示方法实施例中的方法的步骤,具体实现方式可参见方法实施例,在此不再赘述。
所属领域的技术人员可以清楚地了解到,为描述的方便和简洁,上述描述的系统、装置和单元的具体工作过程,可以参考前述方法实施例中的对应过程,在此不再赘述。
在本申请所提供的几个实施例中,应该理解到,所揭露的系统、装置和方法,可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的,例如,所述单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,又例如,多个单元或组件可以结合或者可以集成到另一个系统,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些通信接口,装置或单元的间接耦合或通信连接,可以是电性,机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外,在本申请各个实施例中的各功能单元可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。
所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个处理器可执行的非易失的计算机可读取存储介质中。基于这样的理解,本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括:U盘、移动硬盘、只读存储器(Read-OnlyMemory,ROM)、随机存取存储器(Random Access Memory,RAM)、磁碟或者光盘等各种可以存储程序代码的介质。
最后应说明的是:以上所述实施例,仅为本申请的具体实施方式,用以说明本申请的技术方案,而非对其限制,本申请的保护范围并不局限于此,尽管参照前述实施例对本申请进行了详细的说明,本领域的普通技术人员应当理解:任何熟悉本技术领域的技术人员在本申请揭露的技术范围内,其依然可以对前述实施例所记载的技术方案进行修改或可轻易想到变化,或者对其中部分技术特征进行等同替换;而这些修改、变化或者替换,并不使相应技术方案的本质脱离本申请实施例技术方案的精神和范围,都应涵盖在本申请的保护范围之内。因此,本申请的保护范围应以权利要求的保护范围为准。

Claims (10)

1.一种视频指纹数据的生成方法,其特征在于,应用于视频采集设备,所述生成方法包括:
从待比对视频的视频流数据中提取出所述待比对视频的至少一组帧数据组,其中,当所述视频采集设备所设置的会议终端为非视频录制端时,所述视频流数据为经过视频服务器转码后的数据;
针对于每组帧数据组中每个帧数据,确定该帧数据所属帧图片的宏块特征图;
基于所述宏块特征图,确定所述帧图片的特征指纹值;
基于该帧数据组中每个帧数据所属帧图片的特征指纹值,确定该帧数据组对应的指纹数据组;
基于所述待比对视频中每个帧数据组的指纹数据组,确定所述待比对视频的指纹比对数据。
2.根据权利要求1所述的生成方法,其特征在于,所述针对于每组帧数据组中每个帧数据,确定该帧数据所属帧图片的宏块特征图,包括:
针对于每组帧数据组中每个帧数据,基于该帧数据确定该帧数据所属帧图片对应的多个宏块结构;
确定每个宏块结构的宏块位置、宏块大小以及宏块类型;
针对于每个宏块结构,将该宏块结构的宏块大小转换为灰度像素值;
使用所述灰度像素值,填充该宏块结构的宏块位置所覆盖的像素点,并使用该宏块结构的宏块类型所对应的彩色像素值,填充所述宏块位置中预设区域内的像素点,得到填充好的宏块结构;
基于每个填充好的宏块结构,生成该帧数据所属帧图片的宏块特征图。
3.根据权利要求1所述的生成方法,其特征在于,所述从待比对视频的视频流数据中提取出所述待比对视频的至少一组帧数据组,包括:
从所述待比对视频的视频流数据中提取出至少一个关键帧数据;
针对于每个关键帧数据,将采集时间位于该关键帧数据之后的第一个前向预测编码帧数据确定为该关键帧数据的参考帧数据;
利用该关键帧数据和该关键帧数据的参考帧数据,构成该关键帧数据的帧数据组。
4.根据权利要求1所述的生成方法,其特征在于,所述基于所述待比对视频中每个帧数据组的指纹数据组,确定所述待比对视频的指纹比对数据,包括:
基于所述待比对视频中每个帧数据组的指纹数据组,按照每个帧数据组的提取顺序,生成所述待比对视频的指纹比对数据。
5.一种视频指纹数据的比对方法,其特征在于,应用于视频比对设备,所述视频比对设备用于统一比对不同视频采集设备所生成的多个指纹比对数据;所述比对方法包括:
获取至少两个指纹比对数据;
分别比对任意两个指纹比对数据,从所述任意两个指纹比对数据中的第一指纹比对数据中提取出至少一个第一指纹数据组;
针对于每个第一指纹数据组,按照该第一指纹数据组所属帧数据组的提取顺序,从所述任意两个指纹比对数据中的第二指纹比对数据中提取出该第一指纹数据组对应的至少一个第二指纹数据组;
确定该第一指纹数据组与每个第二指纹数据组之间的加权汉明距离;
基于确定出的至少一个加权汉明距离,确定所述第一指纹比对数据所属的第一视频文件与第二指纹比对数据所属的第二视频文件是否一致。
6.根据权利要求5所述的比对方法,其特征在于,所述确定该第一指纹数据组与每个第二指纹数据组之间的加权汉明距离,包括:
将该第一指纹数据组中关键帧数据对应的第一特征指纹值与每个第二指纹数据组中关键帧数据对应的第二特征指纹值进行比对,确定所述第一特征指纹值与每个第二特征指纹值之间的第一汉明距离;
将该第一指纹数据组中参考帧数据对应的第三特征指纹值与每个第二指纹数据组中参考帧数据对应的第四特征指纹值进行比对,确定所述第三特征指纹值与每个第四特征指纹值之间的第二汉明距离;
基于确定出的至少一个第一汉明距离、至少一个第二汉明距离、第一汉明距离的第一权重以及第二汉明距离的第二权重,确定该第一指纹数据组与每个第二指纹数据组之间的加权汉明距离。
7.一种视频采集设备,其特征在于,所述视频采集设备包括:
第一提取模块,用于从待比对视频的视频流数据中提取出所述待比对视频的至少一组帧数据组,其中,当所述视频采集设备所设置的会议终端为非视频录制端时,所述视频流数据为经过视频服务器转码后的数据;
第一确定模块,用于针对于每组帧数据组中每个帧数据,确定该帧数据所属帧图片的宏块特征图;
第二确定模块,用于基于所述宏块特征图,确定该帧数据的特征指纹值;
第三确定模块,用于基于该帧数据组中每个帧数据所属帧图片的特征指纹值,确定该帧数据组对应的指纹数据组;
第四确定模块,用于基于所述待比对视频中每个帧数据组的指纹数据组,确定所述待比对视频的指纹比对数据。
8.一种视频比对设备,其特征在于,所述视频比对设备用于统一比对不同视频采集设备所生成的多个指纹比对数据;所述视频比对设备包括:
获取模块,用于获取至少两个指纹比对数据;
指纹比对模块,用于分别比对任意两个指纹比对数据,从所述任意两个指纹比对数据中的第一指纹比对数据中提取出至少一个第一指纹数据组;
第二提取模块,用于针对于每个第一指纹数据组,按照该第一指纹数据组所属帧数据组的提取顺序,从所述任意两个指纹比对数据中的第二指纹比对数据中提取出该第一指纹数据组对应的至少一个第二指纹数据组;
距离确定模块,用于确定该第一指纹数据组与每个第二指纹数据组之间的加权汉明距离;
文件比对模块,用于基于确定出的至少一个加权汉明距离,确定所述第一指纹比对数据所属的第一视频文件与第二指纹比对数据所属的第二视频文件是否一致。
9.一种电子设备,其特征在于,包括:处理器、存储器和总线,所述存储器存储有所述处理器可执行的机器可读指令,当电子设备运行时,所述处理器与所述存储器之间通过所述总线进行通信,所述机器可读指令被所述处理器运行时执行如权利要求1至4任一所述的视频指纹数据的生成方法的步骤,和/或权利要求5至6任一所述的视频指纹数据的比对方法的步骤。
10.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质上存储有计算机程序,所述计算机程序被处理器运行时执行如权利要求1至4任一所述的视频指纹数据的生成方法的步骤,和/或权利要求5至6任一所述的视频指纹数据的比对方法的步骤。
CN202110879878.7A 2021-08-02 2021-08-02 一种视频指纹数据的生成方法、比对方法及设备 Active CN113596575B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110879878.7A CN113596575B (zh) 2021-08-02 2021-08-02 一种视频指纹数据的生成方法、比对方法及设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110879878.7A CN113596575B (zh) 2021-08-02 2021-08-02 一种视频指纹数据的生成方法、比对方法及设备

Publications (2)

Publication Number Publication Date
CN113596575A true CN113596575A (zh) 2021-11-02
CN113596575B CN113596575B (zh) 2023-09-22

Family

ID=78253607

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110879878.7A Active CN113596575B (zh) 2021-08-02 2021-08-02 一种视频指纹数据的生成方法、比对方法及设备

Country Status (1)

Country Link
CN (1) CN113596575B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115828115A (zh) * 2023-02-16 2023-03-21 北京圣芯诺科技有限公司 数据一致性评估方法、装置、电子设备以及程序产品

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102156751A (zh) * 2011-04-26 2011-08-17 深圳市迅雷网络技术有限公司 一种提取视频指纹的方法及装置
CN102419816A (zh) * 2011-11-18 2012-04-18 山东大学 用于相同内容视频检索的视频指纹方法
US20130208942A1 (en) * 2010-09-30 2013-08-15 British Telecommunications Public Limited Company Digital video fingerprinting
CN103593464A (zh) * 2013-11-25 2014-02-19 华中科技大学 基于视觉特征的视频指纹检测及视频序列匹配方法及系统
US20140195548A1 (en) * 2013-01-07 2014-07-10 Wilson Harron Identifying video content via fingerprint matching
US20160267178A1 (en) * 2015-03-13 2016-09-15 TCL Research America Inc. Video retrieval based on optimized selected fingerprints
CN109829515A (zh) * 2019-03-07 2019-05-31 北京市博汇科技股份有限公司 一种音频指纹匹配方法以及音频指纹匹配装置
CN109960960A (zh) * 2017-12-14 2019-07-02 中国移动通信集团安徽有限公司 视频指纹生成和匹配方法及装置、计算机设备和存储介质
CN111601181A (zh) * 2020-04-27 2020-08-28 北京首版科技有限公司 生成视频指纹数据的方法及装置
CN111753673A (zh) * 2020-06-04 2020-10-09 五八有限公司 一种视频数据的检测方法和装置

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20130208942A1 (en) * 2010-09-30 2013-08-15 British Telecommunications Public Limited Company Digital video fingerprinting
CN102156751A (zh) * 2011-04-26 2011-08-17 深圳市迅雷网络技术有限公司 一种提取视频指纹的方法及装置
CN102419816A (zh) * 2011-11-18 2012-04-18 山东大学 用于相同内容视频检索的视频指纹方法
US20140195548A1 (en) * 2013-01-07 2014-07-10 Wilson Harron Identifying video content via fingerprint matching
CN103593464A (zh) * 2013-11-25 2014-02-19 华中科技大学 基于视觉特征的视频指纹检测及视频序列匹配方法及系统
US20160267178A1 (en) * 2015-03-13 2016-09-15 TCL Research America Inc. Video retrieval based on optimized selected fingerprints
CN109960960A (zh) * 2017-12-14 2019-07-02 中国移动通信集团安徽有限公司 视频指纹生成和匹配方法及装置、计算机设备和存储介质
CN109829515A (zh) * 2019-03-07 2019-05-31 北京市博汇科技股份有限公司 一种音频指纹匹配方法以及音频指纹匹配装置
CN111601181A (zh) * 2020-04-27 2020-08-28 北京首版科技有限公司 生成视频指纹数据的方法及装置
CN111753673A (zh) * 2020-06-04 2020-10-09 五八有限公司 一种视频数据的检测方法和装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
吴悦等: "基于感知哈希和切块的视频相似度检测方法", 计算机应用 *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115828115A (zh) * 2023-02-16 2023-03-21 北京圣芯诺科技有限公司 数据一致性评估方法、装置、电子设备以及程序产品

Also Published As

Publication number Publication date
CN113596575B (zh) 2023-09-22

Similar Documents

Publication Publication Date Title
Stütz et al. Non-blind structure-preserving substitution watermarking of H. 264/CAVLC inter-frames
CN108965887B (zh) 一种基于块间去耦合的视频信息隐藏方法和装置
Cheddad et al. Enhancing steganography in digital images
Li et al. A scalable coding approach for high quality depth image compression
KR101346942B1 (ko) 벡터 임베디드 그래픽 코딩
CN112714231A (zh) 一种基于dct符号替换的鲁棒隐写方法
Amanipour et al. Video-tampering detection and content reconstruction via self-embedding
US9787985B2 (en) Reduction of spatial predictors in video compression
JP4454908B2 (ja) 情報処理装置、情報処理方法、プログラム及び記録媒体
Fallahpour et al. A high capacity data hiding algorithm for H. 264/AVC video
CN113596575B (zh) 一种视频指纹数据的生成方法、比对方法及设备
JP2004241869A (ja) 透かし埋め込み及び画像圧縮部
CN110740316A (zh) 数据编码方法及装置
WO2015028098A1 (en) Method and system for embedding information and authenticating a h.264 video using a digital watermark
Khalilian et al. Multiplicative video watermarking with semi-blind maximum likelihood decoding for copyright protection
CN111065000B (zh) 视频水印处理方法、装置及存储介质
Zhu et al. Information Hiding Algorithm for H. 264 Based on the predition difference of Intra_4× 4
CN111182310A (zh) 视频处理方法、装置、计算机可读介质及电子设备
CN116095341A (zh) 一种水印嵌入方法、装置、设备以及存储介质
Fallahpour et al. Flexible image watermarking in JPEG domain
Ait Sadi et al. Content fragile watermarking for H. 264/AVC video authentication
Chao et al. Keypoint encoding and transmission for improved feature extraction from compressed images
KR100500144B1 (ko) 디지털 영상 인증을 위한 디지털 워터마크의 삽입 및추출방법
CN111510672A (zh) 一种视频篡改恢复处理方法、系统、存储介质、编码器
Zhou et al. The research for tamper forensics on MPEG-2 video based on compressed sensing

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant