CN113569719A - 视频侵权判定方法、装置、存储介质及电子设备 - Google Patents
视频侵权判定方法、装置、存储介质及电子设备 Download PDFInfo
- Publication number
- CN113569719A CN113569719A CN202110845137.7A CN202110845137A CN113569719A CN 113569719 A CN113569719 A CN 113569719A CN 202110845137 A CN202110845137 A CN 202110845137A CN 113569719 A CN113569719 A CN 113569719A
- Authority
- CN
- China
- Prior art keywords
- video
- information
- judged
- characteristic information
- fingerprint
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 64
- 238000000605 extraction Methods 0.000 claims description 13
- 238000005516 engineering process Methods 0.000 claims description 12
- 238000012360 testing method Methods 0.000 claims description 12
- 230000008447 perception Effects 0.000 claims description 5
- 238000012790 confirmation Methods 0.000 claims description 3
- 238000012545 processing Methods 0.000 abstract description 8
- 238000013473 artificial intelligence Methods 0.000 description 15
- 230000006870 function Effects 0.000 description 8
- 230000006399 behavior Effects 0.000 description 7
- 238000004458 analytical method Methods 0.000 description 4
- 238000013500 data storage Methods 0.000 description 4
- 238000012544 monitoring process Methods 0.000 description 4
- 230000006835 compression Effects 0.000 description 3
- 238000007906 compression Methods 0.000 description 3
- 238000010586 diagram Methods 0.000 description 3
- 239000000284 extract Substances 0.000 description 3
- 230000003287 optical effect Effects 0.000 description 3
- 239000013598 vector Substances 0.000 description 3
- 241001465754 Metazoa Species 0.000 description 2
- 238000007726 management method Methods 0.000 description 2
- 238000012550 audit Methods 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000005538 encapsulation Methods 0.000 description 1
- 238000005206 flow analysis Methods 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 230000002265 prevention Effects 0.000 description 1
- 239000000047 product Substances 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 230000011664 signaling Effects 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 239000013589 supplement Substances 0.000 description 1
- 238000012384 transportation and delivery Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
- G06F21/10—Protecting distributed programs or content, e.g. vending or licensing of copyrighted material ; Digital rights management [DRM]
- G06F21/16—Program or content traceability, e.g. by watermarking
Landscapes
- Engineering & Computer Science (AREA)
- Software Systems (AREA)
- Theoretical Computer Science (AREA)
- Multimedia (AREA)
- Technology Law (AREA)
- Computer Hardware Design (AREA)
- Computer Security & Cryptography (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
- Television Signal Processing For Recording (AREA)
Abstract
本发明提供了一种视频侵权判定方法、装置、存储介质及电子设备，涉及图像处理技术领域，所述方法包括：获取待判定视频；提取所述待判定视频的特征信息；判断预先建立的版权视频特征信息库中是否存在与所述待判定视频的特征信息相匹配的特征信息；其中，所述版权视频特征信息库中存储有所有版权视频的特征信息；当所述版权视频特征信息库中存在与所述待判定视频的特征信息相匹配的特征信息时，确定所述待判定视频侵权。本发明提供的技术方案，能够快速、准确地对侵权视频进行自动判定。
Description
技术领域
本发明涉及图像处理技术领域，特别地涉及一种视频侵权判定方法、装置、存储介质及电子设备。
背景技术
随着互联网视频、短视频的快速发展，视频内容侵权行为时有发生，且防不胜防，严重侵害了版权方的利益。为保护版权方的权益，版权方不得不去各视频业务平台搜寻侵权行为，进而对侵权行为进行举证，以维护自己的权益。
视频业务平台具有多样性，包括有手机视频、PC视频、电视IPTV、电视OTT(OverThe Top)等；视频内容又是海量的存在，包括了赛事、电视剧、电影、综艺、纪实、电竞、少儿、音乐等视频。
现有技术中对侵权视频的搜寻大多采用人工操作。但由于视频业务平台的多样性、视频内容节目的丰富性，版权方对侵权行为的搜寻需要投入大量的人力和财力，并且，由于人工操作的局限性，侵权行为搜寻的准确率低、覆盖面不全，且受到地域、时间的限制。
发明内容
针对上述现有技术中的问题，本申请提出了一种视频侵权判定方法、装置、存储介质及电子设备，能够快速、准确地对侵权视频进行自动判定。
为达到上述目的，本发明的技术方案是这样实现的：
第一方面，本发明实施例提供了一种侵权视频判定方法，所述方法包括：
获取待判定视频；
提取所述待判定视频的特征信息；
判断预先建立的版权视频特征信息库中是否存在与所述待判定视频的特征信息相匹配的特征信息；其中，所述版权视频特征信息库中存储有所有版权视频的特征信息；
当所述版权视频特征信息库中存在与所述待判定视频的特征信息相匹配的特征信息时，确定所述待判定视频侵权。
优选地，所述提取所述待判定视频的特征信息，包括：
将所述待判定视频解码成多张帧图像；
提取每张所述帧图像的特征信息；
将所述多张帧图像的特征信息的集合作为所述待判定视频的特征信息。
优选地，所述提取每张所述帧图像的特征信息，包括：
对于每张所述帧图像，执行以下操作：
基于预设感知算法，生成该帧图像的指纹信息；
基于AI技术，识别该帧图像中的人物信息和场景信息；
将所述指纹信息、所述人物信息和所述场景信息作为该帧图像的特征信息；
所述将所述多张帧图像的特征信息的集合作为所述待判定视频的特征信息，包括：
将所述指纹信息的集合、所述人物信息的集合和所述场景信息的集合作为所述待判定视频的特征信息。
优选地，所述版权视频特征信息库中的每个版权视频的特征信息与所述待判定视频的特征信息的获取方法相同；所述判断预先建立的版权视频特征信息库中是否存在与所述待判定视频的特征信息相匹配的特征信息，包括：
S1：从所述待判定视频的指纹信息的集合中随机选取一个指纹信息，作为第一指纹信息；
S2：将所述第一指纹信息与所述版权视频特征信息库中每个版权视频的每张帧图像的指纹信息进行逐一比对；
S3：若所述版权视频特征信息库中存在指纹信息与所述第一指纹信息的相似度大于第一预设阈值，将所述版权视频特征信息库中存在的所述指纹信息作为第二指纹信息，并将所述第二指纹信息对应的帧图像的人物信息与所述第一指纹信息对应的帧图像的人物信息进行比对；
S4：若所述第二指纹信息对应的帧图像中存在人物信息与所述第一指纹信息对应的帧图像的人物信息的相似度大于第二预设阈值，将所述第二指纹信息对应的帧图像中存在的所述人物信息作为第一人物信息，并将所述第一人物信息对应的场景信息与所述第一指纹信息对应的帧图像的场景信息进行比对；
S5：若所述第一人物信息对应的场景信息与所述第一指纹信息对应的帧图像的场景信息的相似度大于第三预设阈值，从所述待判定视频的指纹信息的集合中选取下一个指纹信息，循环执行S2～S5；
S6：当所述循环执行操作达到预设循环次数时，确定所述版权视频特征信息库中存在与所述待判定视频的特征信息相匹配的特征信息。
进一步地，所述方法还包括：
从所述多张帧图像中选取关键帧图像；
生成所述关键帧图像的缩略图，作为所述待判定视频的缩略图；
在所述确定所述待判定视频侵权之后，所述方法还包括：
获取所述待判定视频的缩略图和与所述待判定视频的特征信息相匹配的特征信息对应的版权视频的缩略图，以供审核确认；其中，每个所述版权视频的缩略图与所述待判定视频的缩略图的获取方法相同。
优选地，所述获取待判定视频，包括：
采用自动拨测技术，遍历已有的视频业务平台中的每一个视频，以获取所述待判定视频。
进一步地，所述方法还包括：
当确定所述待判定视频侵权时，进行报警。
第二方面，本发明实施例提供了一种侵权视频判定装置，所述装置包括：
视频获取单元，用于获取待判定视频；
特征提取单元，用于提取所述待判定视频的特征信息；
判断单元，用于判断预先建立的版权视频特征信息库中是否存在与所述待判定视频的特征信息相匹配的特征信息；其中，所述版权视频特征信息库中存储有所有版权视频的特征信息；
确定单元，用于当所述版权视频特征信息库中存在与所述待判定视频的特征信息相匹配的特征信息时，确定所述待判定视频侵权。
第三方面，本发明实施例提供了一种存储介质，所述存储介质上存储有程序代码，所述程序代码被处理器执行时，实现如上述实施例中任一项所述的侵权视频判定方法。
第四方面，本发明实施例提供了一种电子设备，所述电子设备包括存储器、处理器，所述存储器上存储有可在所述处理器上运行的程序代码，所述程序代码被所述处理器执行时，实现如上述实施例中任一项所述的侵权视频判定方法。
本发明实施例提供的一种侵权视频判定方法、装置、存储介质及电子设备，通过提取待判定视频的特征信息，判断预先建立的版权视频特征信息库中是否存在与待判定视频的特征信息相匹配的特征信息，当版权视频特征信息库中存在与待判定视频的特征信息相匹配的特征信息时，确定待判定视频侵权，使得系统能够自动判定所获取的视频是否为侵权视频，相比于现有的人工操作，侵权判定的效率更高；同时，由于版权视频特征信息库中存储有所有版权视频的特征信息，因此，通过判断版权视频特征信息库中是否存在与待判定视频的特征信息相匹配的特征信息，能够获得较准确的侵权判定结果。可见，本发明提供的技术方案，能够快速、准确地对侵权视频进行自动判定，从而为版权方节省了大量的人力和时间。
此外，本发明采用了AI自动拨测的方式，能够进一步提高侵权判定效率。
附图说明
通过结合附图阅读下文示例性实施例的详细描述可更好地理解本发明公开的范围。其中所包括的附图是：
图1为本发明实施例的方法流程图；
图2为本发明实施例所述的方法的一个实际应用场景的系统结构图；
图3为本发明实施例的装置结构图。
具体实施方式
为了使本发明的目的、技术方案和优点更加清楚，以下将结合附图及实施例来详细说明本发明的实施方法，借此对本发明如何应用技术手段来解决技术问题，并达成技术效果的实现过程能充分理解并据以实施。
在下面的描述中阐述了很多具体细节以便于充分理解本发明，但是，本发明还可以采用其他不同于在此描述的其他方式来实施，因此，本发明的保护范围并不受下面公开的具体实施例的限制。
实施例一
为克服版权方人工搜寻侵权行为，投入大、准确率低、覆盖面不全，并受到地域、时间的限制的问题。本发明提出了一种自动拨测、精准识别版权的方法，替代人工操作，可快速准确地找到侵权内容，为版权方节省了大量的人力和时间。
根据本发明的实施例，提供了一种视频侵权判定方法，如图1所示，本实施例所述的方法包括：
步骤S101，获取待判定视频；
本实施例中，所述待判定视频指的是已有的视频业务平台中的所有视频，包括直播视频、点播视频等。其中，所述视频业务平台包括手机视频业务平台、PC视频业务平台、电视IPTV业务平台、电视OTT业务平台等。所述获取待判定视频，包括：采用自动拨测技术，遍历已有的视频业务平台中的每一个视频，以获取所述待判定视频。
具体地，在所述视频业务平台的用户侧设置监测点，模拟视频终端接入到视频业务平台，采用AI(Artificial Intelligence，人工智能)自动拨测技术，遍历该视频业务平台中的每一个视频，且每次获取一个待判定视频，对其进行侵权判定后，再获取下一个视频作为所述待判定视频。
拨测，是指模拟用户的业务操作过程，获得完成业务的操作过程性能数据和操作结果数据。对于本实施例来说，拨测即为模拟用户播放视频业务平台中的某一个视频文件，从而获得该视频完整内容的过程。本实施例采用AI自动拨测，能够大大提高对视频业务平台中的视频的遍历效率，进而快速获取待判定视频。
步骤S102，提取所述待判定视频的特征信息；
本实施例中，提取所述待判定视频的特征信息，包括：将所述待判定视频解码成多张帧图像；提取每张所述帧图像的特征信息；将所述多张帧图像的特征信息的集合作为所述待判定视频的特征信息。
本实施例中，所述提取每张所述帧图像的特征信息，包括：
对于每张所述帧图像，执行以下操作：基于预设感知算法，生成该帧图像的指纹信息；基于AI技术，识别该帧图像中的人物信息和场景信息；将所述指纹信息、所述人物信息和所述场景信息作为该帧图像的特征信息。
则，本实施例中所述的将所述多张帧图像的特征信息的集合作为所述待判定视频的特征信息，包括：将所述指纹信息的集合、所述人物信息的集合和所述场景信息的集合作为所述待判定视频的特征信息。
具体地，将待判定视频解码成多张帧图像之后，除了提取每张帧图像的特征信息(即该帧图像的指纹信息、人物信息、场景信息)之外，还可以进一步生成每张帧图像的缩略图，以及相邻两张帧图像之间的时间间隔，以供后续的审核、比对等操作的使用。
为了减小计算开销，对于上述缩略图，也可只获取关键帧的缩略图。具体地，从所述多张帧图像中选取关键帧图像，生成所述关键帧图像的缩略图，并将关键帧图像的缩略图作为待判定视频的缩略图。其中，关键帧也叫I帧(I frame)，在MPEG(Moving PictureExperts Group，动态图像专家组)编码的过程中，部分视频帧序列压缩成为I帧；部分压缩成P帧；还有部分压缩成B帧。I帧法是帧内压缩法，也称为“关键帧”压缩法。
本实施例中，对于上述特征信息，也可只提取关键帧(I帧)的特征信息。则，在后续的特征信息比对中，也只比对待判定视频与版权视频之间的关键帧的特征信息，以进一步减小计算开销。
所述预设感知算法，可以包括HOG(Histogram of Oriented Gradient，方向梯度直方图)特征提取算法，LBP(Local Binary Pattern，局部二值模式)特征提取算法，Haar特征提取算法等。基于该预设感知算法所生成的某一张帧图像的指纹信息可以包括该帧图像的颜色特征、纹理特征、形状特征、空间关系特征、亮度特征等。需要说明的是，对于每张帧图像，需采用相同的感知算法(特征提取算法)来获得其对应的指纹信息，该指纹信息具体为一个唯一的字符串来唯一标识该帧图像。帧图像的指纹信息具有高稳定性，能够避免视频文件的格式转换、编辑、裁剪拼接、压缩等操作的影响，即使将某一个视频文件的格式、大小等进行改变，其指纹信息也不会改变。可见，通过该指纹信息，能够有效识别两个实质内容相同的视频文件，即使二者的格式和/或大小不同。
为了获得更准确的侵权判定结果，在上述生成指纹信息的基础上，本实施例还进一步基于AI技术，识别每张帧图像中的人物信息和场景信息。其中，场景信息包括该帧图像中的风景、动物等信息。此外，还可基于AI技术，识别每张帧图像中的台标、文字等内容，以供后续在进行特征信息比对时，提供更准确的特征信息，以进一步获得更准确的侵权判定结果。
上述基于AI技术所识别出的人物信息、场景信息、台标、文字等不仅可用于后续进行特征信息比对(即用于匹配版权画面)，也可用于分析盗版视频叠加的台标、文字等内容，以供版权方准确追踪盗版视频的来源，从而为有效打击盗版视频提供技术基础。
步骤S103，判断预先建立的版权视频特征信息库中是否存在与所述待判定视频的特征信息相匹配的特征信息；其中，所述版权视频特征信息库中存储有所有版权视频的特征信息；
本实施例中，所述版权视频特征信息库中的每个版权视频的特征信息与所述待判定视频的特征信息的获取方法相同，即版权视频特征信息库中的每个版权视频的特征信息采用步骤S102中所述的方法获取。则，每个版权视频的特征信息同样为：该版权视频的多张帧图像的特征信息的集合，具体包括：多张帧图像的指纹信息的集合、人物信息的集合和场景信息的集合，进一步还可以包括：多张帧图像中的台标、文字等内容。
此外，版权视频特征信息库中还存储有每个版权视频的名称以及每个版权视频的缩略图。每个版权视频的缩略图与上述待判定视频的缩略图的获取方法相同，优选为关键帧的缩略图。
上述每个版权视频的名称、每个版权视频的帧图像的指纹信息、人物信息、场景信息、台标、文字内容，以及关键帧缩略图序列构成一个标准的版权视频特征信息库。
本实施例中，判断预先建立的版权视频特征信息库中是否存在与所述待判定视频的特征信息相匹配的特征信息，包括以下步骤：
S1：从所述待判定视频的指纹信息的集合中随机选取一个指纹信息，作为第一指纹信息；
S2：将所述第一指纹信息与所述版权视频特征信息库中每个版权视频的每张帧图像的指纹信息进行逐一比对；
S3：若所述版权视频特征信息库中存在指纹信息与所述第一指纹信息的相似度大于第一预设阈值，将所述版权视频特征信息库中存在的所述指纹信息作为第二指纹信息，并将所述第二指纹信息对应的帧图像的人物信息与所述第一指纹信息对应的帧图像的人物信息进行比对；
S4：若所述第二指纹信息对应的帧图像中存在人物信息与所述第一指纹信息对应的帧图像的人物信息的相似度大于第二预设阈值，将所述第二指纹信息对应的帧图像中存在的所述人物信息作为第一人物信息，并将所述第一人物信息对应的场景信息与所述第一指纹信息对应的帧图像的场景信息进行比对；
S5：若所述第一人物信息对应的场景信息与所述第一指纹信息对应的帧图像的场景信息的相似度大于第三预设阈值，从所述待判定视频的指纹信息的集合中选取下一个指纹信息，循环执行S2～S5；
S6：当所述循环执行操作达到预设循环次数时，确定所述版权视频特征信息库中存在与所述待判定视频的特征信息相匹配的特征信息。
即在本实施例中，先比对指纹信息，当版权视频特征信息库中存在与待判定视频的某一个指纹信息相似的指纹信息(通过相似度以及所述第一预设阈值来确定)时，进一步比对人物信息，当二者的人物信息也相似(通过相似度以及所述第二预设阈值来确定)时，进一步比对场景信息，当二者的场景信息也相似(通过相似度以及所述第三预设阈值来确定)时，继续比对下一帧图像，当下一帧图像也出现上述指纹信息、人物信息、场景信息均相似的状况，则进一步比对下下一帧图像，直到比对的帧图像的数量达到预设数量(即上述循环执行操作达到预设循环次数)，说明待判定视频与版权视频特征信息库中的某一个版权视频确实很相似，即版权视频特征信息库中存在与待判定视频的特征信息相匹配的特征信息，此时，判定该待判定视频侵权。
需要说明的是，在实际应用中，指纹信息、人物信息和场景信息是一张帧图像的最主要的特征信息，因此，上述流程仅比对了指纹信息、人物信息和场景信息。当然，还可根据实际需要，进一步比对某张帧图像中的台标内容和文字内容，或其它可区分两张帧图像的内容，本实施例对此不做限制。
具体地，从待判定视频的指纹信息的集合中随机选取一个指纹信息，作为第一指纹信息。在版权视频特征信息库中进行搜索，搜索结果返回超过所述第一预设阈值的前n个与第一指纹信息相似的指纹信息，进而获得该指纹信息所对应的n个帧图像。若n＝0，则说明第一指纹信息所对应的帧图像不存在侵权行为；若n＞0，则进一步比对人物信息和场景信息，比对结果返回与第一指纹信息所对应的帧图像相似的版权视频的帧图像数量m，其中，m≤n。若m＝0，则说明第一指纹信息所对应的帧图像不存在侵权行为；若m＞0，则进一步比对待判定视频的下一个指纹信息，即下一张帧图像。
由于版权视频和待判定视频的两张相邻的帧图像之间的时间间隔不一定一致，所以不能帧与帧直接比对，需比对版权视频和待判定视频相近帧的特征，并且比对20帧以上。例如，版权视频的帧间隔是250ms，待判定视频的帧间隔是500ms，比对20帧以上，所需要的时长是10s。上述20帧即为上述比对的帧图像数量的预设数量，也即为上述循环执行操作的预设循环次数。
步骤S104，当所述版权视频特征信息库中存在与所述待判定视频的特征信息相匹配的特征信息时，确定所述待判定视频侵权。
本实施例中，当根据步骤S103中所述的方法判断出版权视频特征信息库中存在与待判定视频的特征信息相匹配的特征信息时，确定待判定视频侵权。
进一步地，本实施例所述的方法还包括：当确定所述待判定视频侵权时，进行报警，以对版权方进行有效提醒。
为了对上述视频侵权结果进行进一步确认，防止系统误判，在确定所述待判定视频侵权之后，本实施例所述的方法还包括：获取所述待判定视频的缩略图和与所述待判定视频的特征信息相匹配的特征信息对应的版权视频的缩略图，以供审核确认；其中，每个所述版权视频的缩略图与所述待判定视频的缩略图的获取方法相同。
具体地，可以将待判定视频的缩略图和判定与其相似的版权视频的缩略图进行人工对比审核，从而进一步确认系统的判定结果，防止系统误判。
本实施例中，所述待判定视频的缩略图的获取方法为：从待判定视频的多张帧图像中选取关键帧图像，生成所述关键帧图像的缩略图，并将关键帧图像的缩略图作为待判定视频的缩略图。
图2为本发明实施例所述的方法的一个实际应用场景的系统结构图，当然，还可根据实际情况将本实施例所述的方法应用于其它场景及其对应的系统，本实施例对此不做限制。
如图2所示，系统分为采集层、数据处理层和应用层。采集层由若干参考源采集设备、监测点采集设备组成，为硬件设备，采集设备获取视频文件(即待判定视频)后，提取视频文件的特征信息上报到云端，即数据处理层；数据处理层实现版权视频的特征信息的存储、搜索等功能；应用层实现侵权审核等功能。
在一个实施例中，采集设备也可仅获取视频文件，将视频文件上报到云端，由云端来提取视频文件的特征信息，并实现版权视频的特征信息的存储、搜索等功能。
以下对各层分别进行描述：
(1)采集层
采集设备以模拟手机、PC或机顶盒终端的形式，直接接入到参考源或监测点对应的网元上，例如，接入到CDN(Content Delivery Network，内容分发网络)、路由器、OLT(Optical Line Terminal，光线路终端)、ONU(Optical Network Unit，光网络单元)等网元上，以HLS、IGMP、RTSP等信令获取视频流，或以FTP方式获取视频文件。采集设备的功能有：
业务访问能力：支持IGMP、RTSP、HLS、HTTP等业务请求协议；
自动遍历能力：基于EPG页面，实现所有视频的自动遍历播放；
业务流解析能力：支持对TS、RTP、HLS等视频封装协议的解析，支持MPEG音视频I、P、B帧的解析；
图像指纹提取能力：支持图像指纹向量的提取，视频重新编码、裁剪、叠加logo或文字等行为，对指纹向量没有明显的影响。
图像AI分析能力：识别视频的帧图像中的人物、场景(风景、人物、动物等)、台标和文字，作为特征向量的补充。
图像取证能力：抽样视频的关键帧图像，并重新编码后以静态方式保持在本地，等待云端提取。
(2)数据处理层
数据处理层是软件系统，部署在云端，包括数据存储模块、特征搜索模块等。
其中，数据存储模块由结构化数据存储、非结构化数据存储等功能组件组成。对于非结构型数据资源主要是指帧图像的缩略图；对于结构型数据，包括指纹信息库、AI分析结果等。
特征搜索模块由内存数据库、负载均衡和高速对功能等组件组成。
(3)应用层
对于侵权告警，提供审核功能，可人工调阅监测点告警的实际帧图像的缩略图，以确认告警的真实性。此外还有统计报表、系统管理等功能。
本发明实施例提供的一种侵权视频判定方法，通过提取待判定视频的特征信息，判断预先建立的版权视频特征信息库中是否存在与待判定视频的特征信息相匹配的特征信息，当版权视频特征信息库中存在与待判定视频的特征信息相匹配的特征信息时，确定待判定视频侵权，使得系统能够自动判定所获取的视频是否为侵权视频，相比于现有的人工操作，侵权判定的效率更高；同时，由于版权视频特征信息库中存储有所有版权视频的特征信息，因此，通过判断版权视频特征信息库中是否存在与待判定视频的特征信息相匹配的特征信息，能够获得较准确的侵权判定结果。可见，本发明提供的技术方案，能够快速、准确地对侵权视频进行自动判定，从而为版权方节省了大量的人力和时间。
此外，本发明采用了AI自动拨测的方式，能够进一步提高侵权判定效率。
实施例二
与上述方法实施例相对应地，本发明还提供一种视频侵权判定装置，如图3所示，所述装置包括：
视频获取单元201，用于获取待判定视频；
特征提取单元202，用于提取所述待判定视频的特征信息；
判断单元203，用于判断预先建立的版权视频特征信息库中是否存在与所述待判定视频的特征信息相匹配的特征信息；其中，所述版权视频特征信息库中存储有所有版权视频的特征信息；
确定单元204，用于当所述版权视频特征信息库中存在与所述待判定视频的特征信息相匹配的特征信息时，确定所述待判定视频侵权。
本实施例中，所述特征提取单元202包括：
帧图像获取单元，用于将所述待判定视频解码成多张帧图像；
特征提取子单元，用于提取每张所述帧图像的特征信息；
待判定视频特征获取单元，用于将所述多张帧图像的特征信息的集合作为所述待判定视频的特征信息。
本实施例中，所述特征提取子单元采用以下方式提取每张所述帧图像的特征信息：
对于每张所述帧图像，执行以下操作：
基于预设感知算法，生成该帧图像的指纹信息；
基于AI技术，识别该帧图像中的人物信息和场景信息；
将所述指纹信息、所述人物信息和所述场景信息作为该帧图像的特征信息。
则，所述待判定视频特征获取单元还用于将所述指纹信息的集合、所述人物信息的集合和所述场景信息的集合作为所述待判定视频的特征信息。
本实施例中，所述版权视频特征信息库中的每个版权视频的特征信息与所述待判定视频的特征信息的获取方法相同；所述判断单元203采用以下方式判断预先建立的版权视频特征信息库中是否存在与所述待判定视频的特征信息相匹配的特征信息：
S1：从所述待判定视频的指纹信息的集合中随机选取一个指纹信息，作为第一指纹信息；
S2：将所述第一指纹信息与所述版权视频特征信息库中每个版权视频的每张帧图像的指纹信息进行逐一比对；
S3：若所述版权视频特征信息库中存在指纹信息与所述第一指纹信息的相似度大于第一预设阈值，将所述版权视频特征信息库中存在的所述指纹信息作为第二指纹信息，并将所述第二指纹信息对应的帧图像的人物信息与所述第一指纹信息对应的帧图像的人物信息进行比对；
S4：若所述第二指纹信息对应的帧图像中存在人物信息与所述第一指纹信息对应的帧图像的人物信息的相似度大于第二预设阈值，将所述第二指纹信息对应的帧图像中存在的所述人物信息作为第一人物信息，并将所述第一人物信息对应的场景信息与所述第一指纹信息对应的帧图像的场景信息进行比对；
S5：若所述第一人物信息对应的场景信息与所述第一指纹信息对应的帧图像的场景信息的相似度大于第三预设阈值，从所述待判定视频的指纹信息的集合中选取下一个指纹信息，循环执行S2～S5；
S6：当所述循环执行操作达到预设循环次数时，确定所述版权视频特征信息库中存在与所述待判定视频的特征信息相匹配的特征信息。
进一步地，本实施例所述的装置还包括：
选取单元，用于从所述帧图像获取单元获取的所述多张帧图像中选取关键帧图像；
缩略图生成单元，用于生成所述关键帧图像的缩略图，作为所述待判定视频的缩略图；
进一步地，本实施例所述的装置还包括：
缩略图获取单元，用于在确定所述待判定视频侵权之后，获取所述待判定视频的缩略图和与所述待判定视频的特征信息相匹配的特征信息对应的版权视频的缩略图，以供审核确认；其中，每个所述版权视频的缩略图与所述待判定视频的缩略图的获取方法相同。
本实施例中，所述视频获取单元201采用以下方式获取待判定视频：
采用自动拨测技术，遍历已有的视频业务平台中的每一个视频，以获取所述待判定视频。
进一步地，本实施例所述的装置还包括：
报警单元，用于当确定所述待判定视频侵权时，进行报警。
上述装置的工作原理、工作流程等涉及具体实施方式的内容可参见本发明所提供的视频侵权判定方法的具体实施方式，此处不再对相同的技术内容进行详细描述。
本发明实施例提供的一种侵权视频判定装置，通过提取待判定视频的特征信息，判断预先建立的版权视频特征信息库中是否存在与待判定视频的特征信息相匹配的特征信息，当版权视频特征信息库中存在与待判定视频的特征信息相匹配的特征信息时，确定待判定视频侵权，使得系统能够自动判定所获取的视频是否为侵权视频，相比于现有的人工操作，侵权判定的效率更高；同时，由于版权视频特征信息库中存储有所有版权视频的特征信息，因此，通过判断版权视频特征信息库中是否存在与待判定视频的特征信息相匹配的特征信息，能够获得较准确的侵权判定结果。可见，本发明提供的技术方案，能够快速、准确地对侵权视频进行自动判定，从而为版权方节省了大量的人力和时间。
此外，本发明采用了AI自动拨测的方式，能够进一步提高侵权判定效率。
实施例三
根据本发明的实施例，还提供了一种存储介质，所述存储介质上存储有程序代码，所述程序代码被处理器执行时，实现如上述实施例任一项所述的视频侵权判定方法。
实施例四
根据本发明的实施例，还提供了一种电子设备，所述电子设备包括存储器、处理器，所述存储器上存储有可在所述处理器上运行的程序代码，所述程序代码被所述处理器执行时，实现如上述实施例任一项所述的视频侵权判定方法。
本发明实施例提供的一种侵权视频判定方法、装置、存储介质及电子设备，通过提取待判定视频的特征信息，判断预先建立的版权视频特征信息库中是否存在与待判定视频的特征信息相匹配的特征信息，当版权视频特征信息库中存在与待判定视频的特征信息相匹配的特征信息时，确定待判定视频侵权，使得系统能够自动判定所获取的视频是否为侵权视频，相比于现有的人工操作，侵权判定的效率更高；同时，由于版权视频特征信息库中存储有所有版权视频的特征信息，因此，通过判断版权视频特征信息库中是否存在与待判定视频的特征信息相匹配的特征信息，能够获得较准确的侵权判定结果。可见，本发明提供的技术方案，能够快速、准确地对侵权视频进行自动判定，从而为版权方节省了大量的人力和时间。
此外，本发明采用了AI自动拨测的方式，能够进一步提高侵权判定效率。
在本申请所提供的几个实施例中，应该理解到，所揭露的装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。
作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本发明实施例方案的目的。
另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以是两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分，或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台电子设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
虽然本发明所公开的实施方式如上，但所述的内容只是为了便于理解本发明而采用的实施方式，并非用以限定本发明。任何本发明所属技术领域内的技术人员，在不脱离本发明所公开的精神和范围的前提下，可以在实施的形式上及细节上作任何的修改与变化，但本发明的保护范围，仍须以所附的权利要求书所界定的范围为准。
Claims (10)
1.一种视频侵权判定方法，其特征在于，所述方法包括：
获取待判定视频；
提取所述待判定视频的特征信息；
判断预先建立的版权视频特征信息库中是否存在与所述待判定视频的特征信息相匹配的特征信息；其中，所述版权视频特征信息库中存储有所有版权视频的特征信息；
当所述版权视频特征信息库中存在与所述待判定视频的特征信息相匹配的特征信息时，确定所述待判定视频侵权。
2.根据权利要求1所述的视频侵权判定方法，其特征在于，所述提取所述待判定视频的特征信息，包括：
将所述待判定视频解码成多张帧图像；
提取每张所述帧图像的特征信息；
将所述多张帧图像的特征信息的集合作为所述待判定视频的特征信息。
3.根据权利要求2所述的视频侵权判定方法，其特征在于，所述提取每张所述帧图像的特征信息，包括：
对于每张所述帧图像，执行以下操作：
基于预设感知算法，生成该帧图像的指纹信息；
基于AI技术，识别该帧图像中的人物信息和场景信息；
将所述指纹信息、所述人物信息和所述场景信息作为该帧图像的特征信息；
所述将所述多张帧图像的特征信息的集合作为所述待判定视频的特征信息，包括：
将所述指纹信息的集合、所述人物信息的集合和所述场景信息的集合作为所述待判定视频的特征信息。
4.根据权利要求3所述的视频侵权判定方法，其特征在于，所述版权视频特征信息库中的每个版权视频的特征信息与所述待判定视频的特征信息的获取方法相同；所述判断预先建立的版权视频特征信息库中是否存在与所述待判定视频的特征信息相匹配的特征信息，包括：
S1：从所述待判定视频的指纹信息的集合中随机选取一个指纹信息，作为第一指纹信息；
S2：将所述第一指纹信息与所述版权视频特征信息库中每个版权视频的每张帧图像的指纹信息进行逐一比对；
S3：若所述版权视频特征信息库中存在指纹信息与所述第一指纹信息的相似度大于第一预设阈值，将所述版权视频特征信息库中存在的所述指纹信息作为第二指纹信息，并将所述第二指纹信息对应的帧图像的人物信息与所述第一指纹信息对应的帧图像的人物信息进行比对；
S4：若所述第二指纹信息对应的帧图像中存在人物信息与所述第一指纹信息对应的帧图像的人物信息的相似度大于第二预设阈值，将所述第二指纹信息对应的帧图像中存在的所述人物信息作为第一人物信息，并将所述第一人物信息对应的场景信息与所述第一指纹信息对应的帧图像的场景信息进行比对；
S5：若所述第一人物信息对应的场景信息与所述第一指纹信息对应的帧图像的场景信息的相似度大于第三预设阈值，从所述待判定视频的指纹信息的集合中选取下一个指纹信息，循环执行S2～S5；
S6：当所述循环执行操作达到预设循环次数时，确定所述版权视频特征信息库中存在与所述待判定视频的特征信息相匹配的特征信息。
5.根据权利要求2所述的视频侵权判定方法，其特征在于，所述方法还包括：
从所述多张帧图像中选取关键帧图像；
生成所述关键帧图像的缩略图，作为所述待判定视频的缩略图；
在所述确定所述待判定视频侵权之后，所述方法还包括：
获取所述待判定视频的缩略图和与所述待判定视频的特征信息相匹配的特征信息对应的版权视频的缩略图，以供审核确认；其中，每个所述版权视频的缩略图与所述待判定视频的缩略图的获取方法相同。
6.根据权利要求1所述的视频侵权判定方法，其特征在于，所述获取待判定视频，包括：
采用自动拨测技术，遍历已有的视频业务平台中的每一个视频，以获取所述待判定视频。
7.根据权利要求1所述的视频侵权判定方法，其特征在于，所述方法还包括：
当确定所述待判定视频侵权时，进行报警。
8.一种视频侵权判定装置，其特征在于，所述装置包括：
视频获取单元，用于获取待判定视频；
特征提取单元，用于提取所述待判定视频的特征信息；
判断单元，用于判断预先建立的版权视频特征信息库中是否存在与所述待判定视频的特征信息相匹配的特征信息；其中，所述版权视频特征信息库中存储有所有版权视频的特征信息；
确定单元，用于当所述版权视频特征信息库中存在与所述待判定视频的特征信息相匹配的特征信息时，确定所述待判定视频侵权。
9.一种存储介质，所述存储介质上存储有程序代码，其特征在于，所述程序代码被处理器执行时，实现如权利要求1至7中任一项所述的视频侵权判定方法。
10.一种电子设备，其特征在于，所述电子设备包括存储器、处理器，所述存储器上存储有可在所述处理器上运行的程序代码，所述程序代码被所述处理器执行时，实现如权利要求1至7中任一项所述的视频侵权判定方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110845137.7A CN113569719B (zh) | 2021-07-26 | 2021-07-26 | 视频侵权判定方法、装置、存储介质及电子设备 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110845137.7A CN113569719B (zh) | 2021-07-26 | 2021-07-26 | 视频侵权判定方法、装置、存储介质及电子设备 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN113569719A true CN113569719A (zh) | 2021-10-29 |
| CN113569719B CN113569719B (zh) | 2023-12-29 |
Family
ID=78167507
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110845137.7A Active CN113569719B (zh) | 2021-07-26 | 2021-07-26 | 视频侵权判定方法、装置、存储介质及电子设备 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113569719B (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115330711A (zh) * | 2022-08-09 | 2022-11-11 | 广州有好戏网络科技有限公司 | 一种基于数据处理的影像视频内容管理方法与系统 |
Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20070098966A (ko) * | 2007-08-27 | 2007-10-08 | (주)코인미디어 랩 | 동영상 저작권 침해 탐지를 위한 동영상 파일 크롤링 방법 |
| CN106126617A (zh) * | 2016-06-22 | 2016-11-16 | 腾讯科技（深圳）有限公司 | 一种视频检测方法及服务器 |
| CN107750015A (zh) * | 2017-11-02 | 2018-03-02 | 腾讯科技（深圳）有限公司 | 视频版权的检测方法、装置、存储介质及设备 |
| CN108733676A (zh) * | 2017-04-14 | 2018-11-02 | 合信息技术（北京）有限公司 | 视频缩略图的提取方法及装置 |
| CN109960746A (zh) * | 2019-03-14 | 2019-07-02 | 佛山市摄时度文化传播有限公司 | 视频侵权预警方法及装置 |
| CN110222594A (zh) * | 2019-05-20 | 2019-09-10 | 厦门能见易判信息科技有限公司 | 盗版视频识别方法及系统 |
| CN110599486A (zh) * | 2019-09-20 | 2019-12-20 | 福州大学 | 一种视频抄袭的检测方法及系统 |
| CN111507260A (zh) * | 2020-04-17 | 2020-08-07 | 重庆邮电大学 | 一种视频相似度快速检测方法及检测装置 |
-
2021
- 2021-07-26 CN CN202110845137.7A patent/CN113569719B/zh active Active
Patent Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20070098966A (ko) * | 2007-08-27 | 2007-10-08 | (주)코인미디어 랩 | 동영상 저작권 침해 탐지를 위한 동영상 파일 크롤링 방법 |
| CN106126617A (zh) * | 2016-06-22 | 2016-11-16 | 腾讯科技（深圳）有限公司 | 一种视频检测方法及服务器 |
| CN108733676A (zh) * | 2017-04-14 | 2018-11-02 | 合信息技术（北京）有限公司 | 视频缩略图的提取方法及装置 |
| CN107750015A (zh) * | 2017-11-02 | 2018-03-02 | 腾讯科技（深圳）有限公司 | 视频版权的检测方法、装置、存储介质及设备 |
| CN109960746A (zh) * | 2019-03-14 | 2019-07-02 | 佛山市摄时度文化传播有限公司 | 视频侵权预警方法及装置 |
| CN110222594A (zh) * | 2019-05-20 | 2019-09-10 | 厦门能见易判信息科技有限公司 | 盗版视频识别方法及系统 |
| CN110599486A (zh) * | 2019-09-20 | 2019-12-20 | 福州大学 | 一种视频抄袭的检测方法及系统 |
| CN111507260A (zh) * | 2020-04-17 | 2020-08-07 | 重庆邮电大学 | 一种视频相似度快速检测方法及检测装置 |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115330711A (zh) * | 2022-08-09 | 2022-11-11 | 广州有好戏网络科技有限公司 | 一种基于数据处理的影像视频内容管理方法与系统 |
| CN115330711B (zh) * | 2022-08-09 | 2023-03-10 | 广州有好戏网络科技有限公司 | 一种基于数据处理的影像视频内容管理方法与系统 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN113569719B (zh) | 2023-12-29 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| AU2024202313B2 (en) | Video Processing For Embedded Information Card Localization And Content Extraction | |
| US8830331B2 (en) | Method and apparatus for detecting near-duplicate videos using perceptual video signatures | |
| Chen et al. | Automatic detection of object-based forgery in advanced video | |
| Assfalg et al. | Semantic annotation of sports videos | |
| Pan et al. | Automatic detection of replay segments in broadcast sports programs by detection of logos in scene transitions | |
| US6697523B1 (en) | Method for summarizing a video using motion and color descriptors | |
| Shi et al. | A fast and robust key frame extraction method for video copyright protection | |
| CN110381366B (zh) | 赛事自动化报道方法、系统、服务器及存储介质 | |
| Zhang et al. | Efficient video frame insertion and deletion detection based on inconsistency of correlations between local binary pattern coded frames | |
| Kobla et al. | Detection of slow-motion replay sequences for identifying sports videos | |
| CN108683924B (zh) | 一种视频处理的方法和装置 | |
| Awad et al. | Content-based video copy detection benchmarking at TRECVID | |
| RU2413990C2 (ru) | Способ и устройство для обнаружения границ элемента контента | |
| JP2006251885A (ja) | スポーツ映像の分類装置およびログ生成装置 | |
| US20090225169A1 (en) | Method and system of key frame extraction | |
| CN113569719B (zh) | 视频侵权判定方法、装置、存储介质及电子设备 | |
| EP3809318A1 (en) | Artificial intelligence-assisted content source identification | |
| Su et al. | Efficient copy detection for compressed digital videos by spatial and temporal feature extraction | |
| US20140078395A1 (en) | Video synchronization | |
| KR100930529B1 (ko) | 비디오 식별을 통한 유해 동영상 검열 시스템 및 방법 | |
| US20100189368A1 (en) | Determining video ownership without the use of fingerprinting or watermarks | |
| CN115640424A (zh) | 一种基于深度学习特征图分析的视频库比对方法及系统 | |
| Baudry et al. | A framework for video forensics based on local and temporal fingerprints | |
| Bober et al. | MPEG-7 visual signature tools | |
| Benini et al. | Statistical skimming of feature films |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |