CN112399236B - 一种视频查重方法、装置及电子设备 - Google Patents

一种视频查重方法、装置及电子设备 Download PDF

Info

Publication number
CN112399236B
CN112399236B CN202011073834.7A CN202011073834A CN112399236B CN 112399236 B CN112399236 B CN 112399236B CN 202011073834 A CN202011073834 A CN 202011073834A CN 112399236 B CN112399236 B CN 112399236B
Authority
CN
China
Prior art keywords
video
processing
region
picture
video frame
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202011073834.7A
Other languages
English (en)
Other versions
CN112399236A (zh
Inventor
袁勇
刘岸
杨杰
李岩
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Dajia Internet Information Technology Co Ltd
Original Assignee
Beijing Dajia Internet Information Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Dajia Internet Information Technology Co Ltd filed Critical Beijing Dajia Internet Information Technology Co Ltd
Priority to CN202011073834.7A priority Critical patent/CN112399236B/zh
Publication of CN112399236A publication Critical patent/CN112399236A/zh
Application granted granted Critical
Publication of CN112399236B publication Critical patent/CN112399236B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/431—Generation of visual interfaces for content selection or interaction; Content or additional data rendering
    • H04N21/4312—Generation of visual interfaces for content selection or interaction; Content or additional data rendering involving specific graphical features, e.g. screen layout, special fonts or colors, blinking icons, highlights or animations
    • H04N21/4316—Generation of visual interfaces for content selection or interaction; Content or additional data rendering involving specific graphical features, e.g. screen layout, special fonts or colors, blinking icons, highlights or animations for displaying supplemental content in a region of the screen, e.g. an advertisement in a separate window
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/70—Information retrieval; Database structures therefor; File system structures therefor of video data
    • G06F16/73—Querying
    • G06F16/732—Query formulation
    • G06F16/7328—Query by example, e.g. a complete video frame or video sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration by the use of more than one image, e.g. averaging, subtraction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/472—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content
    • H04N21/4722—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content for requesting additional data associated with the content
    • H04N21/4725—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content for requesting additional data associated with the content using interactive regions of the image, e.g. hot spots

Abstract

本公开公开了一种视频查重方法、装置及电子设备，用于解决相关技术中视频查重准确性较差的技术问题。该方法包括：接收待查重的视频流；并对所述待查重的视频流进行拆帧处理，获得视频帧序列；对所述视频帧序列中各个视频帧进行视频剪裁处理，筛选所述各个视频帧中与预设形状相同的区域，以确定所述待查重的视频流中的画中画区域，所述画中画区域用于表征所述待查重的视频流中各个视频帧中完整展示视频内容的小面积区域；对所述画中画区域进行特征提取处理，获得目标查重信息，并对所述目标查重信息进行查重处理。

Description

一种视频查重方法、装置及电子设备
技术领域
本公开涉及计算机技术领域，尤其涉及一种视频查重方法、装置及电子设备。
背景技术
目前，用户可以使用各种视频剪辑应用进行视频剪辑，从而可以获得表达内容更为丰富的视频。且随着视频剪辑各种玩法越来越多样，在视频平台特别是短视频平台，用户可以对相同的视频内容进行不同的剪辑，因而产生大量相似的视频，而如何对视频进行查重管理，成为一个关注的热点话题。
然而，在前述对视频进行剪辑所产生的形变视频进行查重管理时，有一类比较难进行查重管理的剪辑视频，即对视频进行画中画剪辑操作的剪辑视频。针对这类剪辑视频，由于在整个视频帧中，视频内容实际所占的面积比较小，导致在提取特征的时候，容易被大部分无用信号淹没，使得查重系统在检索的时候，容易召回图像库里完全不相关的视频，导致查重系统对这类剪辑视频查重准确性较低。
发明内容
本公开提供一种视频查重方法、装置及电子设备，用于解决相关技术中视频查重准确性较差的技术问题。本公开的技术方案如下：
根据本公开实施例的第一方面，提供一种视频查重方法，所述方法包括：
接收待查重的视频流；并对所述待查重的视频流进行拆帧处理，获得视频帧序列；
对所述视频帧序列中各个视频帧进行视频剪裁处理，筛选所述各个视频帧中与预设形状相同的区域，以确定所述待查重的视频流中的画中画区域，所述画中画区域用于表征所述待查重的视频流中各个视频帧中完整展示视频内容的小面积区域；
对所述画中画区域进行特征提取处理，获得目标查重信息，并对所述目标查重信息进行查重处理。
在一种可能的实施方式中，对所述视频帧序列中各个视频帧进行视频剪裁处理，确定所述待查重的视频流的画中画区域，包括：
对各个视频帧进行第一预设处理，获得所述待查重视频流的目标掩膜图像；
对所述目标掩膜图像进行第二预设处理，确定所述各个视频帧中图像中与预设形状相同的轮廓区域；
确定各个所述轮廓区域内，像素值大于等于第一阈值的像素占所述轮廓区域的占比率，所述占比率用于表征所述轮廓区域检测到画中画区域的概率；
根据所述占比率，确定所述待查重的视频流的画中画区域。
在一种可能的实施方式中，对各个视频帧进行第一预设处理，获得所述待查重视频流的目标掩膜图像，包括：
对所述各个视频帧进行预定大小的缩小处理，获得所述各个视频帧对应的缩小视频帧，所述缩小视频帧的帧图像尺寸的大小相同；
按照拆帧顺序对各个所述缩小视频帧进行差异掩膜处理，获得各个所述缩小视频帧对应的差异掩膜图像；
对所述各个所述差异掩膜图像进行图像形态学开操作处理，获得所述各个所述差异掩膜图像对应的第一掩膜图像；
将各个所述第一掩膜图像进行叠加处理，得到第二掩膜图像；并根据所述第一掩膜图像的数目对所述第二掩膜图像对应的二维矩阵数组进行平均值处理，获得处理后的二维矩阵数组对应的平均掩膜图像；
对所述平均掩膜图像进行图像形态学闭操作处理，获得输出掩膜图像；并对所述输出掩膜图像进行二值化处理，获得所述待查重视频流的目标掩膜图像。在一种可能的实施方式中，所述第二预设处理为根据预设函数对所述目标掩膜图像进行处理，其中，所述预设函数为:绘制轮廓函数和轮廓处理函数。
在一种可能的实施方式中，根据所述占比率，确定所述待查重的视频流的画中画区域，包括：
若各个所述轮廓区域中的第一轮廓区域的所述占比率大于或等于预设值，则将所述第一轮廓区域确定为所述待查重的视频流的画中画区域。
在一种可能的实施方式中，若各个所述轮廓区域占比率小于预设值，则在对所述待查重的视频流进行拆帧处理，获得视频帧序列之后，所述方法还包括：
对所述视频帧序列中各个视频帧进行边缘检测处理，获得所述各个视频帧对应的边缘处理图像；
对所述边缘处理图像进行霍夫变换直线检测处理，获得第一检测结果；
对所述第一检测结果进行检验处理，以确定所述待查重的视频流的画中画区域。
在一种可能的实施方式中，对所述第一检测结果进行检验处理，以确定所述待查重的视频流的画中画区域，包括：
确定所述第一检测结果中水平线对应的坐标集合；
对所述坐标集合中的坐标进行聚类处理，获得第一聚类结果；
对所述坐标集合和所述第一聚类结果进行校验处理，获得所述第一检测结果对应的置信度；
确定所述置信度和各个所述轮廓区域的所述占比率是否满足预设规则，以确定所述待查重的视频流的画中画区域。
根据本公开实施例的第二方面，提供一种视频查重装置，所述装置包括：
第一处理单元，被配置为执行接收待查重的视频流；并对所述待查重的视频流进行拆帧处理，获得视频帧序列；
第二处理单元，被配置为执行对所述视频帧序列中各个视频帧进行视频剪裁处理，筛选所述各个视频帧中与预设形状相同的区域，以确定所述待查重的视频流中的画中画区域，所述画中画区域用于表征所述待查重的视频流中各个视频帧中完整展示视频内容的小面积区域；
查重单元，用于对所述画中画区域进行特征提取处理，获得目标查重信息，并对所述目标查重信息进行查重处理。
在一种可能的实施方式中，所述第二处理单元被配置为执行：
对各个视频帧进行第一预设处理，获得所述待查重视频流的目标掩膜图像；
对所述目标掩膜图像进行第二预设处理，确定所述各个视频帧中图像中与预设形状相同的轮廓区域；
确定各个所述轮廓区域内，像素值大于等于第一阈值的像素占所述轮廓区域的占比率，所述占比率用于表征所述轮廓区域检测到画中画区域的概率；
根据所述占比率，确定所述待查重的视频流的画中画区域。
在一种可能的实施方式中，所述第二处理单元被配置为执行：
对所述各个视频帧进行预定大小的缩小处理，获得所述各个视频帧对应的缩小视频帧，所述缩小视频帧的帧图像尺寸的大小相同；
按照拆帧顺序对各个所述缩小视频帧进行差异掩膜处理，获得各个所述缩小视频帧对应的差异掩膜图像；
对所述各个所述差异掩膜图像进行图像形态学开操作处理，获得所述各个所述差异掩膜图像对应的第一掩膜图像；
将各个所述第一掩膜图像进行叠加处理，得到第二掩膜图像；并根据所述第一掩膜图像的数目对所述第二掩膜图像对应的二维矩阵数组进行平均值处理，获得处理后的二维矩阵数组对应的平均掩膜图像；
对所述平均掩膜图像进行图像形态学闭操作处理，获得输出掩膜图像；并对所述输出掩膜图像进行二值化处理，获得所述待查重视频流的目标掩膜图像。在一种可能的实施方式中，所述第二预设处理为根据预设函数对所述目标掩膜图像进行处理，其中，所述预设函数为:绘制轮廓函数和轮廓处理函数。
在一种可能的实施方式中，所述第二处理单元被配置为执行：
若各个所述轮廓区域中的第一轮廓区域的所述占比率大于或等于预设值，则将所述第一轮廓区域确定为所述待查重的视频流的画中画区域。
在一种可能的实施方式中，所述第二处理单元被配置为执行：
对所述视频帧序列中各个视频帧进行边缘检测处理，获得所述各个视频帧对应的边缘处理图像；
对所述边缘处理图像进行霍夫变换直线检测处理，获得第一检测结果；
对所述第一检测结果进行检验处理，以确定所述待查重的视频流的画中画区域。
在一种可能的实施方式中，所述第二处理单元被配置为执行：
确定所述第一检测结果中水平线对应的坐标集合；
对所述坐标集合中的坐标进行聚类处理，获得第一聚类结果；
对所述坐标集合和所述第一聚类结果进行校验处理，获得所述第一检测结果对应的置信度；
确定所述置信度和各个所述轮廓区域的所述占比率是否满足预设规则，以确定所述待查重的视频流的画中画区域。
根据本公开实施例的第三方面，提供一种电子设备，所述电子设备包括：
处理器；
用于存储处理器可执行指令的存储器；
其中，处理器被配置为执行指令，以实现本公开实施例上述第一方面以及第一方面涉及的任一可能涉及的方法。
根据本公开实施例的第四方面，提供一种存储介质，当存储介质中的指令由电子设备的处理器执行时，使得电子设备能够执行本公开实施例上述第一方面以及第一方面涉及的任一可能涉及的方法。
根据本公开实施例的第五方面，提供一种计算机程序产品，当所述计算机程序产品在电子设备上运行时，使得所述电子设备执行实现本公开实施例上述第一方面以及第一方面任一可能涉及的方法。
本公开的实施例提供的技术方案至少带来以下有益效果：
在本公开实施例中，可以接收待查重的视频流；并对待查重的视频流进行拆帧处理，获得视频帧序列；然后可以对视频帧序列中各个视频帧进行视频剪裁处理，筛选各个视频帧中与预设形状相同的区域，以确定待查重的视频流中的画中画区域，画中画区域用于表征待查重的视频流中各个视频帧中完整展示视频内容的小面积区域；对画中画区域进行特征提取处理，获得目标查重信息，并对目标查重信息进行查重处理。
可见，在本公开实施例中，可以通过对视频帧序列中各个视频帧进行视频剪裁处理，筛选各个视频帧中与预设形状相同的区域的方式，准确确定待查重的视频流中的画中画区域，从而实现准确对画中画剪辑视频进行查重的效果。
应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本公开。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本公开的实施例，并与说明书一起用于解释本公开的原理，并不构成对本公开的不当限定。
图1是根据一示例性实施例示出的画中画剪辑视频；
图2是根据一示例性实施例示出的又一画中画剪辑视频；
图3是根据一示例性实施例示出的一种应用场景的示意图；
图4是根据一示例性实施例示出的一种视频查重方法的流程示意图；
图5是根据一示例性实施例示出的一视频流拆帧后对应的视频帧的示意图；
图6是根据一示例性实施例示出的差异掩膜图像的示意图；
图7是根据一示例性实施例示出的平均掩模图像的示意图；
图8是根据一示例性实施例示出的目标掩膜图像的示意图；
图9是根据一示例性实施例示出的对目标掩膜图像进行绘制轮廓区域处理后的图像的示意图；
图10是根据一示例性实施例示出的边缘处理图像；
图11是根据一示例性实施例示出的聚类过程的示意图；
图12是根据一示例性实施例示出的检测画中画区域的视频帧示意图；
图13是根据一示例性实施例示出的一种视频查重装置的结构框图；
图14为根据一示例性实施例示出的电子设备的结构示意图；
图15为根据一示例性实施例示出的电子设备的另一结构示意图。
具体实施方式
为了使本领域普通人员更好地理解本公开的技术方案，下面将结合附图，对本公开实施例中的技术方案进行清楚、完整地描述。
需要说明的是，本公开的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的图像在适当情况下可以互换，以便这里描述的本公开的实施例能够以除了在这里图示或描述的那些以外的顺序实施。以下示例性实施例中所描述的实施方式并不代表与本公开相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本公开的一些方面相一致的装置和方法的例子。
为便于理解本公开实施例提供的技术方案，这里先对本公开实施例使用的一些关键名词进行解释：
画中画剪辑技术：对两个待处理的视频，使用一大一小两个视频画面叠加的方式，同时呈现两个视频信号。例如可以将视频A以完整占据显示界面和视频B以预定区域占据显示界面的叠加方式，将视频A和视频B同时显示。具体的，视频A和视频B可以是同一视频内容也可以是不同视频内容，且视频B的显示方式可以是圆形预定区域、矩形预定区域，还可以是水滴形预定区域或者是相框形预定区域等等，本公开实施例中不做限制。
画中画剪辑视频：使用画中画剪辑技术对视频处理后所生成的视频，该视频包括一大一小两个视频画面，且大面积显示的视频画面为背景画面，小面积显示画面为内容画面。
例如，请参见图1，图1为本公开实施例中示例性示出的画中画剪辑视频，具体的，图1中的画中画剪辑视频是将视频A以完整占据显示界面的显示方式，和视频B以圆形预定区域的显示方式同时显示，且视频A和视频B为相同的视频，其中，视频B对应的显示区域称为画中画区域。
请参见图2，图2为本公开实施例中示例性示出的又一画中画剪辑视频，具体的，图2中的画中画剪辑视频为将视频A以完整占据显示界面的显示方式，和视频B以矩形预定区域的方式同时显示，且视频A和视频B为不同的视频，其中，视频B对应的显示区域称为画中画区域。
下面对本公开实施例的设计思想进行简要介绍：
目前，短视频逐渐成为一种新的内容分享方式，为了对短视频表达内容的丰富性，用户使用各种剪辑方式对视频进行剪辑，其中，使用画中画剪辑技术对视频剪辑成为用户喜爱的剪辑方式。然而，在对视频进行剪辑所产生的形变视频(例如画中画剪辑视频)进行查重管理时，由于在整个视频帧中，视频内容实际所占的面积比较小，导致在提取视频特征的时候，容易被大部分无用信号淹没，使得查重系统在检索的时候，容易召回图像库里完全不相关的视频，因而导致查重系统对画中画剪辑视频类视频查重准确度较低。
鉴于此，本公开提供一种视频查重方法，通过该方法可以准确的定位视频流中的画中画区域(即展示视频内容的区域)，从而可以对画中画剪辑视频类视频进行准确查重处理。
介绍完本公开实施例的设计思想之后，下面对本公开实施例中的视频查重技术方案适用的应用场景做一些简单介绍，需要说明的是，本公开实施例描述的应用场景是为了更加清楚的说明本公开实施例的技术方案，并不构成对于本公开实施例提供的技术方案的限定，本领域普通技术人员可知，随着新应用场景的出现，本公开实施例提供的技术方案对于类似的技术问题，同样适用。
在本公开实施例中，请参见图3所示的一种应用场景示意图，应用场景图中包括两个终端301和一个电子设备302，可以通过终端301登录视频剪辑平台(未示出)，并发布剪辑后的视频，例如画中画剪辑视频。需要说明的是，图1中仅以两个终端301和一个电子设备302进行交互为例进行示出，在具体实施过程中，可以是多个终端301与一个电子设备302之间进行交互，也可以是多个终端301和多个电子设备302之间进行交互，本公开实施例中不做限制。
在具体的实施过程中，终端301和电子设备302之间可以通过一个或者多个通信网络303进行通信连接。该通信网络303可以是有线网络，也可以是无线网络，例如无线网络可以是移动蜂窝网络，或者可以是无线保真(WIreless-Fidelity，WIFI)网络，当然还可以是其他可能的网络，本公开实施例对此不做限定。
在本公开实施例中，用户可以通过终端301登录视频剪辑平台对视频进行剪辑，然后可以将剪辑后的视频发布在预定发布平台。对应的，电子设备302部署有查重系统，可以接收预定发布平台对应的视频，然后对该视频进行查重处理，从而实现对各个视频的查重和以及后续的版权保护。
下面结合说明书附图介绍本公开实施例提供的技术方案。
图4是本公开实施例提供的一示例性视频查重方法的流程图，如图4所示，该方法可以应用于前述的电子设备。图4所示的流程图描述如下。
步骤401：接收待查重的视频流，并对所述待查重的视频流进行拆帧处理，获得视频帧序列。
在本公开实施例中，电子设备可以接收待查重的视频流，具体的，该待查重的视频流可以是根据预设规则筛选的视频流，该预设规则例如为预定平台点赞数大于预定阈值(例如1000)，或者是转发数大于预设阈值(例如500)；待查重的视频流还可以是直接从电子设备或与电子设备连接的设备(例如终端)的数据库中直接确定的某一个视频流，当然，还可以是其它方式确定的视频流，本公开实施例中不做限制。需要说明的是，本公开实施例中待查重的视频流为经过画中画剪辑技术剪辑的视频流。
在本公开实施例中，当接收待查重的视频流之后，可以对待查重的视频流进行拆帧处理，从而可以获得视频帧序列。
在本公开实施例中，可以从待查重的视频流中均匀的抽取预定帧数的视频帧，具体的，预定帧数可以是20帧，也可以是30帧，还可以是45帧，本公开实施例中不做限制。在具体的实施过程中，为了减少计算资源消耗和提升查重系统的整体处理效率，可以将预定帧数设置为20帧。
在本公开实施例中，可以从待查重的视频流中均匀的抽取预定帧数的视频帧确定为视频帧序列，即视频帧序列中包括多个视频帧，且每个视频帧可以对应一个帧标识。并且，每个视频帧的对应的帧标识是按照抽取顺序即拆帧顺序确定的。这样的方式，可以为后续对多个视频帧处理时，提供识别视频帧的识别基础。
在本公开实施例中，为了更好的对本公开提供的技术方案进行说明，后面以对一个视频流的处理为例进行说明。
请参见图5，图5为本公开实施例中提供的一视频流拆帧后对应的视频帧的示意图，具体的，图5中包括5个视频帧示意图。需要说明的是，在具体的实施过程中，帧标识可以是“3、7、以及11”即数字，也可以是字母例如“a、V、f”，当然，也可以是其它字符等等，本公开实施例不做限制。
步骤402：对视频帧序列中各个视频帧进行视频剪裁处理，筛选各个视频帧中与预设形状相同的区域，以确定待查重的视频流中的画中画区域，画中画区域用于表征待查重的视频流中各个视频帧中完整展示视频内容的小面积区域。
在本公开实施例中，可以对视频帧序列中各个视频进行视频剪裁处理，筛选各个视频帧中与预设形状相同的区域，以确定待查重的视频流中的画中画区域。具体的，对视频帧序列中各个视频帧进行视频剪裁处理，可以采用但不限于以下步骤：
步骤a：对各个视频帧进行第一预设处理，获得待查重视频流的目标掩膜图像。
在本公开实施例中，可以对各个视频帧进行缩小处理，获得各个视频帧对应的缩小视频帧。具体的，可以将各个视频帧进行预定大小的缩小处理，预定大小例如是缩小为各个视频帧对应的图像尺寸的0.4倍，或者是0.5倍。这样的方式，可以降低对视频帧的处理资源的消耗，从而提升后续对视频帧的处理速度。
进一步地，可以按照拆帧顺序对各个缩小视频帧进行差异掩膜处理，获得各个缩小视频帧对应的差异掩膜图像。在本公开实施例中，可以使用高斯混合模型背景建模(Background Subtractor MOG2，自适应混合高斯背景建模MOG2)方法，按照拆帧顺序对各个缩小视频帧，进行差异掩膜处理，获得各个缩小视频帧对应的差异掩膜图像。具体的，可以是根据帧标识确定缩小视频帧的前帧视频帧或者后帧视频帧，然后使用高斯混合模型背景建模方法对缩小视频帧与其前帧视频帧前后帧进行处理，获得多个差异掩膜图像。
例如，若缩小视频帧为6帧，分别为缩小视频帧1、缩小视频帧2、缩小视频帧3、缩小视频帧4、缩小视频帧5以及缩小视频帧6，则可以将缩小视频帧1与缩小视频帧2进行差异掩膜处理，获得差异掩膜图像1；将缩小视频帧2与缩小视频帧3进行差异掩膜处理，获得差异掩膜图像2；将缩小视频帧3与缩小视频帧4进行差异掩膜处理，获得差异掩膜图像3；将缩小视频帧4与缩小视频帧5进行差异掩膜处理，获得差异掩膜图像4；将缩小视频帧5与缩小视频帧6进行差异掩膜处理，获得差异掩膜图像5。
请参见附图6，图6为本公开实施例示例性示出的差异掩膜图像，具体的，图6中包括2个示意图，分别为d示意图和e示意图，d示意图对应示出的是帧标识为1的视频帧对应的差异掩膜图像，e示意图对应示出的是帧标识为12的视频帧对应的差异掩膜图像。具体的，可以看到经过差异掩模处理后的差异掩膜图像包括有内容的区域和无内容的区域。
在本公开实施例中，可以对各个差异掩膜图像进行图像形态学开操作处理，获得各个差异掩膜图像对应的第一掩膜图像。在具体的实施过程中，可以使用预定结构元对各个差异掩膜图像进行腐蚀操作，获得腐蚀结果图，然后再用预定结构元对腐蚀结果图进行膨胀操作。其中，预定结构元可以是根据实际实施情况对应确定，也可以是预先确定的某个结构元，本公开实施例不做限定。这样的方式，可以使得获得的第一掩膜图像的中各个区域的轮廓变的光滑，且可以断开较窄的狭颈和消除细的突出物，即获得的第一掩膜图像的轮廓光滑清晰。
在本公开实施例中，可以将多个第一掩膜图像进行叠加处理，得到第二掩膜图像；并对第二掩膜图像进行均值处理，获得平均掩膜图像，然后对平均掩膜图像进行图像形态学闭操作处理，获得输出掩膜图像。
在本公开实施例中，可以将各个第一掩膜图像按照拆帧顺序，与其相邻的第一掩膜图像进行叠加处理，得到第二掩膜图像。这样的方式，可以有效将各个第一掩膜图像的特征进行叠加整合，从而可以获得包括所有第一掩膜图像的特征信息的第二掩膜图像。
例如，第一掩膜图像共5个，分别为第一掩膜图像1、第一掩膜图像2、第一掩膜图像3、第一掩膜图像4以及第一掩膜图像5，则可以将第一掩膜图像1与第一掩膜图像2、第一掩膜图像3、第一掩膜图像4以及第一掩膜图像5进行叠加处理，得到第二掩膜图像。
在本公开实施例中，可以根据第二掩膜图像对应的二维矩阵数组除以第一掩膜图像的数目即5，获得处理后的二维矩阵数组对应的平均掩膜图像。也就是说，可以通过将包括所有第一掩膜图像的特征信息的第二掩膜图像进行均值处理，确定平均掩膜图像，即从所有的视频帧中确定每个视频帧都包括的共同特征的轮廓部分。
具体的，请参见图7，图7为本公开实施例示出的平均掩膜图像的示意图，很显然，从图7中可以看出包括两个区域，一个是没有内容的区域，一个是有内容的区域，且图7中含有内容的区域中的内容多且杂，即图7中的含有内容的区域的内容是经过多个第一掩膜图像叠加得到第二掩膜图像，然后再对第二掩膜图像进行均值处理后的内容，根据该含有内容的区域，可以较为准确的确定待处理的视频流中视频实质内容的区域。
在具体的实施过程中，可以使用第一预定结构元对平均掩膜图像进行图像形态学闭操作处理，具体的，先使用第一预定结构元对平均掩膜图像进行膨胀操作处理，获得膨胀结果图，然后使用第一预定结构元对膨胀结果图进行腐蚀，从而获得输出掩膜图像。这样的方式，可以弥补平均掩膜图像中狭窄的间断和细长的沟壑，消除小的孔洞，并填补轮廓线中的裂痕，从而使得获得的输出掩膜图像中的轮廓更为完整。
在本公开实施例中，当获得输出掩膜图像之后，可以对输出掩膜图像进行二值化处理，获得待查重视频流的目标掩膜图像。其中，二值化处理可以理解为使得图像的像素点矩阵中的每个像素点的灰度值为0(黑色)或者255(白色)，也就是说，目标掩膜图像的整个图像呈现只有黑和白的效果。这样的方式，可以更为准确的确定目标掩膜图像中各个区域。需要说明的是，前述的缩小处理、计算前后帧之间的差异掩膜图像处理、图像形态学开操作处理、相加处理、均值处理以及图像形态学闭操作处理和二值化处理均属于第一预设处理。
具体的，请参见图8，图8为本公开示例性示出的目标掩膜图像，很显然，图8中示出的目标掩膜图像包括两个区域，一个是白色内容区域，一个是黑色背景区域，即图8中示出的目标掩膜图像可以较为清楚确定图像中的各个区域。
步骤b：对目标掩膜图像进行第二预设处理，确定各个视频帧中图像中与预设形状相同的轮廓区域。
在本公开实施例中，当确定目标掩膜图像之后，可以对目标掩膜图像进行第二预设处理，其中，第二预设处理为根据预设函数对目标掩膜图像进行处理，具体的，预设函数可以为:绘制轮廓函数和轮廓处理函数。
在具体的实施过程中，可以采用OpenCV软件中的绘制轮廓函数例如findContours()函数和轮廓处理函数例如contourArea()函数，寻找目标掩膜图像中与预设形状相同的轮廓区域。
在本公开实施例中，预设形状可以是圆形、或者是矩形、还可以是水杯形，当然，也可以是其他任何可以呈现画中画区域的形状，本公开实施例中不做限制。为了便于理解，后文中以矩形为例进行说明。
在本公开实施例中，请参见图9，图9为本公开实施例示出的对目标掩膜图像进行绘制轮廓区域处理后的图像的示意图，其中，以虚线框框出的区域示出了与预设形状即矩形相同的轮廓区域。在具体的实施过程中，该轮廓区域可以表示为(top,left,bottom,right)，其中，top用于表示矩形上边线的坐标,left用于表示矩形左边线的坐标,bottom用于表示矩形下边线的坐标,以及right用于表示矩形右边线的坐标，坐标原点为图像左上原点。且该轮廓区域可以使用其它方式进行标示，例如红色线条、蓝色线条等，本公开实施例中不做限制。
步骤c：确定各个轮廓区域内，像素值大于等于第一阈值的像素占轮廓区域的占比率，占比率用于表征所述轮廓区域检测到画中画区域的概率。
步骤d：根据占比率，确定待查重的视频流的画中画区域。
在本公开实施例中，可以对轮廓区域内的像素进行遍历，统计在该区域内，像素值大于等于第一阈值的像素占该区域的占比，在具体的实施过程中，考虑到图像像素值范围是0到255，128是像素值范围的中间数，因而可以将第一阈值设为为128，当然，也可以将第一阈值设为130，本公开实施例中不做限制。
在本公开实施例中，当确定轮廓区域的占比率之后，可以判断占比率是否大于或等于预设值，若大于或等于预设值，则确定该轮廓区域为画中画区域。具体的，该预设值可以设置为0.9，也可以设置为0.8，根据实际实施情况对应确定。
可见，在本公开实施例中，可以根据占比率对应判断各个轮廓区域是否为画中画区域。具体的，可以参见图9所示的图像，根据前述占比率的判断方式，可以确定白色区域对应为画中画区域。
在本公开实施例中，考虑到可能存在一些干扰，影响画中画区域的确定，还可以对占比率小于预设值对应的图像再进行一些处理，以更准确的确定画中画区域。具体的，当确定占比率小于预设值时，还可以对视频帧序列中各个视频帧进行边缘检测处理，获得各个视频帧对应的边缘处理图像；然后对边缘处理图像进行霍夫变换直线检测处理，获得第一检测结果；并对第一检测结果进行检验处理，从而可以确定待查重的视频流的画中画区域。
在具体的实施过程中，可以使用Canny边缘检测算法对各个视频帧进行边缘检测，也可以使用sobel边缘检测算法对各个视频帧进行边缘检测，当然还可以采用其它边缘检测算法对各个视频帧进行处理，本公开实施例不做限制。
具体的，请参见图10，图10为本公开实施例示出的使用Canny边缘检测算法对各个视频帧进行边缘检测的边缘处理图像，具体的，图10中包括3个示意图，分别为f示意图、g示意图以及h示意图，f示意图对应示出的是帧标识为3的视频帧的边缘处理图像，g示意图对应示出的是帧标识为8的视频帧的边缘处理图像，h示意图对应示出的是帧标识为11的视频帧的边缘处理图像。其中，f示意图、g示意图以及h示意图分别示出了帧标识为3、8、11的视频帧中的所包含的物品、人、或者是动物、线条等内容的边缘轮廓。
在本公开实施例中，当获得各个视频帧的边缘处理图像之后，可以对边缘图像进行霍夫变换直线检测处理，从而可以定位出边缘处理图像中所包括的直线。在具体的实施过程中，考虑到画中画区域的边界线一般都是水平或者竖直的，可以对边缘处理图像中检测到的直线进行滤除，仅保留检测到的水平线或者竖直线。
在本公开实施例，可以对第一检测结果进行检测处理，具体的，可以确定确定第一检测结果中水平线对应的坐标集合，然后对该坐标集合进行聚类处理，获得第一聚类结果。在本公开实施例中，通过聚类处理，可以按照某个特定标准(例如距离准则)把一个坐标集合分割成不同的类或簇，使得同一个簇内的数据对象的相似性尽可能大，同时不在同一个簇中的数据对象的差异性也尽可能地大。即聚类处理后同一类的数据尽可能聚集到一起，不同数据尽量分离。
具体的，对坐标集合进行聚类处理时，可以采用划分方法、层次方法、基于密度的方法、基于网络的方法等不同的算法类型对坐标集合进行聚类处理，后文中以划分方法中的KMeans聚类算法对坐标集合进行聚类处理为例进行说明。
在具体的实施过程中，考虑到画中画区域实际对应两条水平线和两条水平线，则可以对第一检测结果中水平线进行聚类数目为2的KMeans聚类处理，且迭代次数设置为10，得到聚类后的结果，且结果可以表示(y_up,y_bottom)。
为了更好对本公开提供的方案的理解，下面对以一个具体的例子对KMeans聚类过程进行介绍：
对于给定的一维数据(x1,x2,…,x10)，假设要聚成2类，先随机初始化两个类中心，例如随机初始化的两个类中心(c1,c2)。
在进行第1次迭代计算时，可以分别计算c1到(x1,x2,…,x10)的距离，以及c2到(x1,x2,…,x10)的距离，对于x1，由于d(x1,c1)<＝d(x1,c1)，x1属于c1，x2到x10以此类推，得到第一次迭代的结果。
然后，可以更新类中心c1＝(x1+x2+x3)/3,c2＝(x4+x5+x6+x7+x8+x9+x10)/7，很显然，第1次迭代后，类中心发生了移动。进一步地，后面的迭代跟第1次迭代过程一样，经过10次迭代后，可以获得类中心c1和c2，也就是说，迭代10次后，c1和c2所在的位置，即为最终类中心的位置，即第一聚类结果。
请参见图11，图11为本公开实施例中示出的聚类过程示意图。具体的，图11中包括4个过程示意图，分别为m示意图、n示意图、q示意图以及s示意图，m示意图对应示出的是一维数据示意图，其中，用圆圈标识对应的各个数据，n示意图对应示出的是包括类中心的一维数据示意图，q示意图对应示出的是第一次迭代结果示意图、s示意图对应示出的是更新类中心的示意图，t示意图对应示出的是第一聚类结果。
在本公开实施例中，通过kMeans算法进行聚类处理，可以将坐标集合中n个对象分成k个簇，使簇内具有较高的相似度，而簇间的相似度较低，且使用k-means算法进行聚类处理的效率高，可以对较多数据进行快速处理，提高处理速度。
在本公开实施开中，当获得第一聚类结果之后，还可以对坐标集合和第一聚类结果进行校验处理，具体的，可以根据第一聚类结果中的类中心位置和直线对应的坐标，对应确定与类中心位置对应的上下直线对应的置信度，当确定上下直线对应的置信度满足对应的预设阈值且该直接对应的轮廓区域的占比率小于预设值，则确定对应的轮廓区域为画中画区域。
在本公开实施例中，可以通过以下方式对应确定与类中心位置对应的上下直线：
std::abs(yi–y_up)<＝2，numUpCount＝numUpCount+1；
std::abs(yi–y_bottom)<＝2，numBottomCount＝numBottomCount+1；
其中，std::abs表示求绝对值运算，numUpCount＝numUpCount+1用于表征当yi–y_up小于等于2时，numUpCount值加1的运算；yi用于表征numUpCount线对应的坐标中任一坐标值，且numUpCount的初始值为0；umBottomCount＝numBottomCount+1用于表征当yi–y_bottom小于等于2时，numBottomCountt值加1的运算；yi用于表征numUpCount对应的坐标中numBottomCountt对应的任一坐标值，且BottomCountt的初始值为0；numUpCount和numBottomCountt分别用于表征不同的线。
可见，在本公开实施例中，可以通过上述的方式，对应确定与类中心位置对应的上下直线，那么，当检测到上下直线，其对应的置信概率upLineProb和downLineProb分别为：
upLineProb＝numUpCount/20；
downLineProb＝numBottomCount/20；
其中，upLineProb用于表征一条线的占比率，downLineProb用于表征另一条线的占比率，20用于表征拆帧时对应的预定帧数。
在本公开实施例中，当确定轮廓区域的占比率RateProb<0.9，若(std::abs(top-y_up)<＝2并且upLineProb>＝0.4并且(std::abs(bottom-y_bottom<＝2)并且downLineProb>＝0.4，则满足预设规则，可以将该区域确定为画中画区域。
例如，请参见图12，图12为本公开实施例示出的检测画中画区域的视频帧示意图，具体的，图12包括4帧确定出画中画区域的视频帧示意图，其中，黑色线条矩形框框出的区域即为画中画区域。
需要说明的是，本公开实施例中提供的确定视频流画中画区域的技术方案，可以应用于其他任何涉及检测画中画区域的场景。例如，在对视频进行智能裁剪时，可以使用确定视频流画中画区域的技术方案，检测视频流中小窗口区域的位置。
步骤203：对画中画区域进行特征提取处理，获得目标查重信息，并对目标查重信息进行查重处理。
在本公开实施例中，当确定画中画区域之后，还可以对画中画区域进行特征提取处理，从而可以获得目标查重信息，进而可以对目标查重信息进行查重处理。
基于同一发明构思，本公开实施例提供了一种视频查重装置，该视频查重装置能够实现前述的视频查重方法对应的功能。该视频查重装置可以是硬件结构、软件模块、或硬件结构加软件模块。该视频查重装置可以由芯片系统实现，芯片系统可以由芯片构成，也可以包含芯片和其他分立器件。请参见图3所示，该视频查重装置包括第一处理单元1301、第二处理单元1302以及查重单元1303。其中：
第一处理单元1301，被配置为执行接收待查重的视频流；并对所述待查重的视频流进行拆帧处理，获得视频帧序列；
第二处理单元1302，被配置为执行对所述视频帧序列中各个视频帧进行视频剪裁处理，筛选所述各个视频帧中与预设形状相同的区域，以确定所述待查重的视频流中的画中画区域，所述画中画区域用于表征所述待查重的视频流中各个视频帧中完整展示视频内容的小面积区域；
查重单元1303，用于对所述画中画区域进行特征提取处理，获得目标查重信息，并对所述目标查重信息进行查重处理。
在一种可能的实施方式中，所述第二处理单元1302被配置为执行：
对各个视频帧进行第一预设处理，获得所述待查重视频流的目标掩膜图像；
对所述目标掩膜图像进行第二预设处理，确定所述各个视频帧中图像中与预设形状相同的轮廓区域；
确定各个所述轮廓区域内，像素值大于等于第一阈值的像素占所述轮廓区域的占比率，所述占比率用于表征所述轮廓区域检测到画中画区域的概率；
根据所述占比率，确定所述待查重的视频流的画中画区域。
在一种可能的实施方式中，所述第二处理单元1302被配置为执行：
对所述各个视频帧进行预定大小的缩小处理，获得所述各个视频帧对应的缩小视频帧，所述缩小视频帧的帧图像尺寸的大小相同；
按照拆帧顺序对各个所述缩小视频帧，进行差异掩膜处理，获得各个所述缩小视频帧对应的差异掩膜图像；
对所述各个所述差异掩膜图像进行图像形态学开操作处理，获得所述各个所述差异掩膜图像对应的第一掩膜图像；
将各个所述第一掩膜图像进行叠加处理，得到多个第二掩膜图像；并对所述多个第二掩膜图像进行均值处理，获得平均掩膜图像；
对所述平均掩膜图像进行图像形态学闭操作处理，获得输出掩膜图像；并对所述输出掩膜图像进行二值化处理，获得所述待查重视频流的目标掩膜图像。
在一种可能的实施方式中，所述第二预设处理为根据预设函数对所述目标掩膜图像进行处理，其中，所述预设函数为:绘制轮廓函数和轮廓处理函数。
在一种可能的实施方式中，所述第二处理单元1302被配置为执行：
若各个所述轮廓区域中的第一轮廓区域的所述占比率大于或等于预设值，则将所述第一轮廓区域确定为所述待查重的视频流的画中画区域。
在一种可能的实施方式中，所述第二处理单元1302被配置为执行：
对所述视频帧序列中各个视频帧进行边缘检测处理，获得所述各个视频帧对应的边缘处理图像；
对所述边缘处理图像进行霍夫变换直线检测处理，获得第一检测结果；
对所述第一检测结果进行检验处理，以确定所述待查重的视频流的画中画区域。
在一种可能的实施方式中，所述第二处理单元1302被配置为执行：
确定所述第一检测结果中水平线对应的坐标集合；
对所述坐标集合中的坐标进行聚类处理，获得第一聚类结果；
对所述坐标集合和所述第一聚类结果进行校验处理，获得所述第一检测结果对应的置信度；
确定所述置信度和各个所述轮廓区域的所述占比率是否满足预设规则，以确定所述待查重的视频流的画中画区域。
前述如图4的视频查重方法的实施例涉及的各步骤的所有相关内容均可以援引到本公开实施例中的视频查重装置所对应的功能单元的功能描述，在此不再赘述。
本公开实施例中对单元的划分是示意性的，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，另外，在本公开各个实施例中的各功能单元可以集成在一个处理器中，也可以是单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
基于同一发明构思，本公开实施例还提供一种电子设备，如图14所示，本公开实施例中的电子设备包括至少一个处理器1401，以及与至少一个处理器1401连接的存储器1402和通信接口1403，本公开实施例中不限定处理器1401与存储器1402之间的具体连接介质，图14中是以处理器1401和存储器1402之间通过总线1400连接为例，总线1400在图14中以粗线表示，其它部件之间的连接方式，仅是进行示意性说明，并不引以为限。总线1400可以分为地址总线、图像总线、控制总线等，为便于表示，图14中仅用一条粗线表示，但并不表示仅有一根总线或一种类型的总线。
在本公开实施例中，存储器1402存储有可被至少一个处理器1401执行的指令，至少一个处理器1401通过执行存储器1402存储的指令，可以执行前述的视频查重方法中所包括的步骤。
其中，处理器1401是电子设备的控制中心，可以利用各种接口和线路连接整个故障检测设备的各个部分，通过运行或执行存储在存储器1402内的指令以及调用存储在存储器1402内的图像，计算设备的各种功能和处理图像，从而对计算设备进行整体监控。可选的，处理器1401可包括一个或多个处理单元，处理器1401可集成应用处理器和调制解调处理器，其中，处理器1401主要处理操作系统、用户界面和应用程序等，调制解调处理器主要处理无线通信。可以理解的是，上述调制解调处理器也可以不集成到处理器1401中。在一些实施例中，处理器1401和存储器1402可以在同一芯片上实现，在一些实施例中，它们也可以在独立的芯片上分别实现。
处理器1401可以是通用处理器，例如中央处理器(CPU)、数字信号处理器、专用集成电路、现场可编程门阵列或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件，可以实现或者执行本公开实施例中公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者任何常规的处理器等。结合本公开实施例所公开的方法的步骤可以直接体现为硬件处理器执行完成，或者用处理器中的硬件及软件模块组合执行完成。
存储器1402作为一种非易失性计算机可读存储介质，可用于存储非易失性软件程序、非易失性计算机可执行程序以及模块。存储器1402可以包括至少一种类型的存储介质，例如可以包括闪存、硬盘、多媒体卡、卡型存储器、随机访问存储器(Random AccessMemory，RAM)、静态随机访问存储器(Static Random Access Memory，SRAM)、可编程只读存储器(Programmable Read Only Memory，PROM)、只读存储器(Read Only Memory，ROM)、带电可擦除可编程只读存储器(Electrically Erasable Programmable Read-Only Memory，EEPROM)、磁性存储器、磁盘、光盘等等。存储器1402是能够用于携带或存储具有指令或图像结构形式的期望的程序代码并能够由计算机存取的任何其他介质，但不限于此。本公开实施例中的存储器1402还可以是电路或者其它任意能够实现存储功能的装置，用于存储程序指令和/或图像。
通信接口1403是能够用于进行通信的传输接口，可以通过通信接口1403接收图像或者发送图像。
参见图15所示的电子设备的进一步地的结构示意图，该电子设备还包括帮助电子设备内的各个器件之间传输信息的基本输入/输出系统(I/O系统)1501、用于存储操作系统1502、应用程序1503和其他程序模块1504的大容量存储设备1505。
基本输入/输出系统1501包括有用于显示信息的显示器1506和用于用户输入信息的诸如鼠标、键盘之类的输入设备1507。其中显示器1506和输入设备1507都通过连接到系统总线1400的基本输入/输出系统1501连接到处理器1401。所述基本输入/输出系统1501还可以包括输入输出控制器以用于接收和处理来自键盘、鼠标、或电子触控笔等多个其他设备的输入。类似地，输入输出控制器还提供输出到显示屏、打印机或其他类型的输出设备。
所述大容量存储设备1505通过连接到系统总线1400的大容量存储控制器(未示出)连接到处理器1401。所述大容量存储设备1505及其相关联的计算机可读介质为该服务器包提供非易失性存储。也就是说，大容量存储设备1505可以包括诸如硬盘或者CD-ROM驱动器之类的计算机可读介质(未示出)。
根据本公开的各种实施例，该计算设备包还可以通过诸如因特网等网络连接到网络上的远程计算机运行。也即该计算设备可以通过连接在所述系统总线1400上的通信接口1403连接到网络1508，或者说，也可以使用通信接口1403来连接到其他类型的网络或远程计算机系统(未示出)。
在示例性实施例中，还提供了一种包括指令的存储介质，例如包括指令的存储器1402，上述指令可由装置的处理器1401执行以完成上述方法。可选地，存储介质可以是非临时性计算机可读存储介质，例如，所述非临时性计算机可读存储介质可以是ROM、随机存取存储器(RAM)、CD-ROM、磁带、软盘和光图像存储设备等。
在一些可能的实施方式中，本公开提供的视频查重方法的各个方面还可以实现为一种程序产品的形式，其包括程序代码，当所述程序产品在电子设备上运行时，所述程序代码用于使该电子设备执行本说明书上述描述的根据本公开各种示例性实施方式的视频查重方法中的步骤。
本领域内的技术人员应明白，本公开的实施例可提供为方法、系统、或计算机程序产品。因此，本公开可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本公开可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器和光学存储器等)上实施的计算机程序产品的形式。
本公开是参照根据本公开实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程图像处理设备的处理器以产生一个机器，使得通过计算机或其他可编程图像处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程图像处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程图像处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
显然，本领域的技术人员可以对本公开进行各种改动和变型而不脱离本公开的精神和范围。这样，倘若本公开的这些修改和变型属于本公开权利要求及其等同技术的范围之内，则本公开也意图包含这些改动和变型在内。

Claims (14)

1.一种视频查重方法，其特征在于，所述方法包括：
接收待查重的视频流；并对所述待查重的视频流进行拆帧处理，获得视频帧序列；
对所述视频帧序列中各个视频帧进行视频剪裁处理，筛选所述各个视频帧中与预设形状相同的区域，以确定所述待查重的视频流中的画中画区域，所述画中画区域用于表征所述待查重的视频流中各个视频帧中完整展示视频内容的小面积区域；
对所述画中画区域进行特征提取处理，获得目标查重信息，并对所述目标查重信息进行查重处理；
其中，对所述视频帧序列中各个视频帧进行视频剪裁处理，确定所述待查重的视频流的画中画区域，包括：
对各个视频帧进行第一预设处理，获得所述待查重视频流的目标掩膜图像；
对所述目标掩膜图像进行第二预设处理，确定所述各个视频帧中图像中与预设形状相同的轮廓区域；
确定各个所述轮廓区域内，像素值大于等于第一阈值的像素占所述轮廓区域的占比率，所述占比率用于表征所述轮廓区域检测到画中画区域的概率；
根据所述占比率，确定所述待查重的视频流的画中画区域。
2.如权利要求1所述的方法，其特征在于，对各个视频帧进行第一预设处理，获得所述待查重视频流的目标掩膜图像，包括：
对所述各个视频帧进行预定大小的缩小处理，获得所述各个视频帧对应的缩小视频帧，所述缩小视频帧的帧图像尺寸的大小相同；
按照拆帧顺序对各个所述缩小视频帧进行差异掩膜处理，获得各个所述缩小视频帧对应的差异掩膜图像；
对所述各个所述差异掩膜图像进行图像形态学开操作处理，获得所述各个所述差异掩膜图像对应的第一掩膜图像；
将各个所述第一掩膜图像进行叠加处理，得到第二掩膜图像；并根据所述第一掩膜图像的数目对所述第二掩膜图像对应的二维矩阵数组进行平均值处理，获得处理后的二维矩阵数组对应的平均掩膜图像；
对所述平均掩膜图像进行图像形态学闭操作处理，获得输出掩膜图像；并对所述输出掩膜图像进行二值化处理，获得所述待查重视频流的目标掩膜图像。
3.如权利要求2所述的方法，其特征在于，所述第二预设处理为根据预设函数对所述目标掩膜图像进行处理，其中，所述预设函数为:绘制轮廓函数和轮廓处理函数。
4.如权利要求3所述的方法，其特征在于，根据所述占比率，确定所述待查重的视频流的画中画区域，包括：
若各个所述轮廓区域中的第一轮廓区域的所述占比率大于或等于预设值，则将所述第一轮廓区域确定为所述待查重的视频流的画中画区域。
5.如权利要求4所述的方法，其特征在于，若各个所述轮廓区域占比率小于预设值，则在对所述待查重的视频流进行拆帧处理，获得视频帧序列之后，所述方法还包括：
对所述视频帧序列中各个视频帧进行边缘检测处理，获得所述各个视频帧对应的边缘处理图像；
对所述边缘处理图像进行霍夫变换直线检测处理，获得第一检测结果；
对所述第一检测结果进行检验处理，以确定所述待查重的视频流的画中画区域。
6.如权利要求5所述的方法，其特征在于，对所述第一检测结果进行检验处理，以确定所述待查重的视频流的画中画区域，包括：
确定所述第一检测结果中水平线对应的坐标集合；
对所述坐标集合中的坐标进行聚类处理，获得第一聚类结果；
对所述坐标集合和所述第一聚类结果进行校验处理，获得所述第一检测结果对应的置信度；
确定所述置信度和各个所述轮廓区域的所述占比率是否满足预设规则，以确定所述待查重的视频流的画中画区域。
7.一种视频查重装置，其特征在于，所述装置包括：
第一处理单元，被配置为执行接收待查重的视频流；并对所述待查重的视频流进行拆帧处理，获得视频帧序列；
第二处理单元，被配置为执行对所述视频帧序列中各个视频帧进行视频剪裁处理，筛选所述各个视频帧中与预设形状相同的区域，以确定所述待查重的视频流中的画中画区域，所述画中画区域用于表征所述待查重的视频流中各个视频帧中完整展示视频内容的小面积区域；
查重单元，用于对所述画中画区域进行特征提取处理，获得目标查重信息，并对所述目标查重信息进行查重处理；
其中，所述第二处理单元被配置为执行：
对各个视频帧进行第一预设处理，获得所述待查重视频流的目标掩膜图像；
对所述目标掩膜图像进行第二预设处理，确定所述各个视频帧中图像中与预设形状相同的轮廓区域；
确定各个所述轮廓区域内，像素值大于等于第一阈值的像素占所述轮廓区域的占比率，所述占比率用于表征所述轮廓区域检测到画中画区域的概率；
根据所述占比率，确定所述待查重的视频流的画中画区域。
8.如权利要求7所述的装置，其特征在于，所述第二处理单元被配置为执行：
对所述各个视频帧进行预定大小的缩小处理，获得所述各个视频帧对应的缩小视频帧，所述缩小视频帧的帧图像尺寸的大小相同；
按照拆帧顺序对各个所述缩小视频帧进行差异掩膜处理，获得各个所述缩小视频帧对应的差异掩膜图像；
对所述各个所述差异掩膜图像进行图像形态学开操作处理，获得所述各个所述差异掩膜图像对应的第一掩膜图像；
将各个所述第一掩膜图像进行叠加处理，得到第二掩膜图像；并根据所述第一掩膜图像的数目对所述第二掩膜图像对应的二维矩阵数组进行平均值处理，获得处理后的二维矩阵数组对应的平均掩膜图像；
对所述平均掩膜图像进行图像形态学闭操作处理，获得输出掩膜图像；并对所述输出掩膜图像进行二值化处理，获得所述待查重视频流的目标掩膜图像。
9.如权利要求8所述的装置，其特征在于，所述第二预设处理为根据预设函数对所述目标掩膜图像进行处理，其中，所述预设函数为:绘制轮廓函数和轮廓处理函数。
10.如权利要求9所述的装置，其特征在于，所述第二处理单元被配置为执行：
若各个所述轮廓区域中的第一轮廓区域的所述占比率大于或等于预设值，则将所述第一轮廓区域确定为所述待查重的视频流的画中画区域。
11.如权利要求10所述的装置，其特征在于，所述第二处理单元被配置为执行：
对所述视频帧序列中各个视频帧进行边缘检测处理，获得所述各个视频帧对应的边缘处理图像；
对所述边缘处理图像进行霍夫变换直线检测处理，获得第一检测结果；
对所述第一检测结果进行检验处理，以确定所述待查重的视频流的画中画区域。
12.如权利要求11所述的装置，其特征在于，所述第二处理单元被配置为执行：
确定所述第一检测结果中水平线对应的坐标集合；
对所述坐标集合中的坐标进行聚类处理，获得第一聚类结果；
对所述坐标集合和所述第一聚类结果进行校验处理，获得所述第一检测结果对应的置信度；
确定所述置信度和各个所述轮廓区域的所述占比率是否满足预设规则，以确定所述待查重的视频流的画中画区域。
13.一种电子设备，其特征在于，包括：
处理器；
用于存储所述处理器可执行指令的存储器；
其中，所述处理器被配置为执行所述指令，以实现如权利要求1至权利要求6中任一项所述的视频查重方法。
14.一种存储介质，其特征在于，当所述存储介质中的指令由电子设备的处理器执行时，使得所述电子设备能够执行如权利要求1至权利要求6中任一项所述的视频查重方法。
CN202011073834.7A 2020-10-09 2020-10-09 一种视频查重方法、装置及电子设备 Active CN112399236B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011073834.7A CN112399236B (zh) 2020-10-09 2020-10-09 一种视频查重方法、装置及电子设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011073834.7A CN112399236B (zh) 2020-10-09 2020-10-09 一种视频查重方法、装置及电子设备

Publications (2)

Publication Number Publication Date
CN112399236A CN112399236A (zh) 2021-02-23
CN112399236B true CN112399236B (zh) 2022-08-26

Family

ID=74596805

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011073834.7A Active CN112399236B (zh) 2020-10-09 2020-10-09 一种视频查重方法、装置及电子设备

Country Status (1)

Country Link
CN (1) CN112399236B (zh)

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008059081A (ja) * 2006-08-29 2008-03-13 Sony Corp 画像処理装置及び画像処理方法、並びにコンピュータ・プログラム
US9213903B1 (en) * 2014-07-07 2015-12-15 Google Inc. Method and system for cluster-based video monitoring and event categorization
CN110334606B (zh) * 2019-06-11 2022-12-13 苏州赤火燃燃数据科技有限公司 画中画定位方法及装置
CN110738128A (zh) * 2019-09-19 2020-01-31 天津大学 一种基于深度学习的重复视频检测方法
CN110879967B (zh) * 2019-10-16 2023-02-17 厦门美柚股份有限公司 视频内容重复判断方法及装置
CN111553259B (zh) * 2020-04-26 2022-03-15 北京宙心科技有限公司 一种图像去重方法及系统

Also Published As

Publication number Publication date
CN112399236A (zh) 2021-02-23

Similar Documents

Publication Publication Date Title
CN110060237B (zh) 一种故障检测方法、装置、设备及系统
US20210192227A1 (en) Method and apparatus for detecting parking space usage condition, electronic device, and storage medium
WO2021139324A1 (zh) 图像识别方法、装置、计算机可读存储介质及电子设备
CN109670500A (zh) 一种文字区域获取方法、装置、存储介质及终端设备
Liu et al. Digital image forgery detection using JPEG features and local noise discrepancies
CN108564579B (zh) 一种基于时空相关的混凝土裂缝检测方法及检测装置
CN107704797B (zh) 基于安防视频中行人和车辆的实时检测方法和系统及设备
CN111626163A (zh) 一种人脸活体检测方法、装置及计算机设备
CN110991310A (zh) 人像检测方法、装置、电子设备及计算机可读介质
CN110889437A (zh) 一种图像处理方法、装置、电子设备及存储介质
CN114169381A (zh) 图像标注方法、装置、终端设备及存储介质
CN112651953A (zh) 图片相似度计算方法、装置、计算机设备及存储介质
CN113688839B (zh) 视频处理方法及装置、电子设备、计算机可读存储介质
CN114299030A (zh) 物体检测模型处理方法、装置、设备及存储介质
CN109934072B (zh) 人员统计方法及装置
CN112883783A (zh) 一种视频浓缩方法、装置、终端设备及存储介质
CN112399236B (zh) 一种视频查重方法、装置及电子设备
WO2023160061A1 (zh) 图像中运动对象的确定方法、装置、电子设备和存储介质
CN115345895B (zh) 用于视觉检测的图像分割方法、装置、计算机设备及介质
JP4967045B2 (ja) 背景判別装置、方法及びプログラム
CN113762027B (zh) 一种异常行为的识别方法、装置、设备及存储介质
Ince et al. Fast video fire detection using luminous smoke and textured flame features
CN116246298A (zh) 一种空间占用人数统计方法、终端设备及存储介质
CN114677578A (zh) 确定训练样本数据的方法和装置
CN114155598A (zh) 一种图像处理模型的训练方法、装置及电子设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant