CN107704823A - 黑边视频检测方法及装置 - Google Patents

黑边视频检测方法及装置 Download PDF

Info

Publication number
CN107704823A
CN107704823A CN201710916085.1A CN201710916085A CN107704823A CN 107704823 A CN107704823 A CN 107704823A CN 201710916085 A CN201710916085 A CN 201710916085A CN 107704823 A CN107704823 A CN 107704823A
Authority
CN
China
Prior art keywords
video
training
black surround
network model
detected
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201710916085.1A
Other languages
English (en)
Inventor
马健
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Qihoo Technology Co Ltd
Original Assignee
Beijing Qihoo Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Qihoo Technology Co Ltd filed Critical Beijing Qihoo Technology Co Ltd
Priority to CN201710916085.1A priority Critical patent/CN107704823A/zh
Publication of CN107704823A publication Critical patent/CN107704823A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/46—Extracting features or characteristics from the video content, e.g. video fingerprints, representative shots or key frames
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2413—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on distances to training or reference patterns
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/56—Extraction of image or video features relating to colour
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/48—Matching video sequences

Abstract

本发明提供了一种黑边视频检测方法及装置，该方法包括：从待检测视频集合中筛选出视频训练数据集。确定待训练网络模型，并基于视频训练数据集为待训练网络模型设定训练参数。将视频训练数据集中的数据赋予待训练网络模型作为实际训练参数值，由待训练网络模型基于实际训练参数值进行模型训练，直到待训练网络模型收敛，得到训练后的检测模型。进而可以利用训练后的检测模型对待检测视频进行检测，检测出其中的黑边视频。由此，本发明实施例利用训练后网络模型对待检测视频进行测试，这种视频检测方式能够有效地筛选出更多且更难筛选出的黑边视频，并且黑边视频检测的准确率非常高。

Description

黑边视频检测方法及装置
技术领域
本发明涉及计算机技术领域，特别是涉及一种黑边视频检测方法及装置。
背景技术
近年来，由于短视频融合了文字、语音和视频，其能够更加直观、立体地满足用户的表达、沟通以及分享的需求，越来越多的企业进入短视频行业。但是，目前短视频的质量参差不齐，这是所有做视频聚合的企业所面临的问题。通常来说短视频的质量可以从两个方面进行考量：一方面是视频自身的清晰度，如视频是否有黑边、视频格式是否兼容等问题。另一方面是视频所讲的内容是否有营养、有价值。其中，后一方面是比较主观的，难以直接通过技术直接区分，而前一方面视频自身的质量问题是可以通过技术手段进行筛选和过滤的。黑边视频的产生一般是由于拍摄设备和视频播放平台的大小不一致，为了保证视频不被拉伸的情况下，对视频进行黑边填充而导致的，其检测难点主要在于填充的宽度不固定、颜色不单一、不同位置大小的水印混淆、纯黑背景视频混淆。这些难点导致了黑边视频的召回率和准确率都很难达到一个比较理想的情况。
深度学习能够自适应很好的学习这些黑边视频特征，无需人为制定特征。但是，深度学习需要收集大量的数据集来进行模型训练，因此训练数据集的快速构建是一项重大挑战。此外，深度学习模型非常多，而训练时间又很长，如何选择和制定合适的网络模型并进行快速迭代实验也是目前面临的巨大问题。
发明内容
鉴于上述问题，提出了本发明以便提供一种克服上述问题或者至少部分地解决上述问题的黑边视频检测方法和装置。
依据本发明的一方面，提供了一种黑边视频检测方法，包括：
从待检测视频集合中筛选出视频训练数据集，其中，所述视频训练数据集包括与黑边视频相似度超过第一阈值的疑似黑边视频；
确定待训练网络模型，并基于所述视频训练数据集为所述待训练网络模型设定训练参数；
将所述视频训练数据集中的数据赋予所述待训练网络模型作为实际训练参数值，由所述待训练网络模型基于实际训练参数值进行模型训练，直到所述待训练网络模型收敛，得到训练后的检测模型；
利用训练后的检测模型对待检测视频进行检测，检测出其中的黑边视频。
可选地，所述从待检测视频集合中筛选出视频训练数据集，包括：
从所述待检测视频集合中按照预设规则筛选出与黑边视频相似度超过第一阈值的疑似黑边视频；
利用筛选出的疑似黑边视频构建所述视频训练数据集。
可选地，从所述待检测视频集合中按照预设规则筛选出与黑边视频相似度超过第一阈值的疑似黑边视频，包括：
从所述待检测视频集合中选取任意待检测视频，并从选取的待检测视频中抽取指定数量的视频关键帧；
分析所述指定数量的视频关键帧是否存在黑边；
若是，分析指定数量的视频关键帧的黑边参数是否均位于第二阈值范围内，若是，则确定该待检测视频与黑边视频相似度超过第一阈值，将选取的待检测视频确认为疑似黑边视频。
可选地，所述黑边参数包括：黑边颜色和/或黑边尺寸。
可选地，所述从选取的待检测视频中抽取指定数量的视频关键帧，包括：
依据视频播放顺序从选取的待检测视频中等间隔抽取指定数量的视频关键帧。
可选地，所述利用筛选出的疑似黑边视频构建所述视频训练数据集，包括：
对筛选出的疑似黑边视频中的黑边范围进行标注，利用标注黑边范围后的疑似黑边视频构建视频训练数据集。
可选地，将所述视频训练数据集中的数据赋予所述待训练网络模型作为实际训练参数值，由所述待训练网络模型基于实际训练参数值进行模型训练，直到所述待训练网络模型收敛，得到训练后的检测模型，包括：
若所述视频训练数据集中疑似黑边视频的黑边包含其他视频特征信息，则对其他视频特征信息进行标注；
将所述视频训练数据集中的数据赋予所述待训练网络模型作为实际训练参数值，由所述待训练网络模型基于实际训练参数值以及被标注的其他视频特征信息进行模型训练，直到所述待训练网络模型收敛，得到训练后的检测模型。
可选地，所述其他视频特征信息包括以下至少之一：
视频黑边范围内的水印、视频黑边连接的黑色视频背景、视频黑边的颜色为非单一颜色。
可选地，所述待训练网络模型包括AlexNet网络模型。
可选地，将所述视频训练数据集中的数据赋予所述待训练网络模型作为实际训练参数值，由所述待训练网络模型基于实际训练参数值进行模型训练，直到所述待训练网络模型收敛，得到训练后的检测模型，包括：
将所述视频训练数据集中的数据赋予所述待训练网络模型作为实际训练参数值，由所述待训练网络模型利用深度学习工具基于实际训练参数值进行模型训练，直到所述待训练网络模型收敛，得到训练后的检测模型。
可选地，所述深度学习工具包括Caffe学习工具。
依据本发明的另一方面，还提供了一种黑边视频检测装置，包括：
筛选模块，适于从待检测视频集合中筛选出视频训练数据集，其中，所述视频训练数据集包括与黑边视频相似度超过第一阈值的疑似黑边视频；
参数设定模块，适于确定待训练网络模型，并基于所述视频训练数据集为所述待训练网络模型设定训练参数；
模型训练模块，适于将所述视频训练数据集中的数据赋予所述待训练网络模型作为实际训练参数值，由所述待训练网络模型基于实际训练参数值进行模型训练，直到所述待训练网络模型收敛，得到训练后的检测模型；
检测模块，适于利用训练后的检测模型对待检测视频进行检测，检测出其中的黑边视频。
可选地，所述筛选模块还适于：
从所述待检测视频集合中按照预设规则筛选出与黑边视频相似度超过第一阈值的疑似黑边视频；
利用筛选出的疑似黑边视频构建所述视频训练数据集。
可选地，所述筛选模块还适于：
从所述待检测视频集合中选取任意待检测视频，并从选取的待检测视频中抽取指定数量的视频关键帧；
分析所述指定数量的视频关键帧是否存在黑边；
若是，分析指定数量的视频关键帧的黑边参数是否均位于第二阈值范围内，若是，则确定该待检测视频与黑边视频相似度超过第一阈值，将选取的待检测视频确认为疑似黑边视频。
可选地，所述黑边参数包括：黑边颜色和/或黑边尺寸。
可选地，所述筛选模块还适于：
依据视频播放顺序从选取的待检测视频中等间隔抽取指定数量的视频关键帧。
可选地，所述筛选模块还适于：
对筛选出的疑似黑边视频中的黑边范围进行标注，利用标注黑边范围后的疑似黑边视频构建视频训练数据集。
可选地，所述模型训练模块还适于：
若所述视频训练数据集中疑似黑边视频的黑边包含其他视频特征信息，则对其他视频特征信息进行标注；
将所述视频训练数据集中的数据赋予所述待训练网络模型作为实际训练参数值，由所述待训练网络模型基于实际训练参数值以及被标注的其他视频特征信息进行模型训练，直到所述待训练网络模型收敛，得到训练后的检测模型。
可选地，所述其他视频特征信息包括以下至少之一：
视频黑边范围内的水印、视频黑边连接的黑色视频背景、视频黑边的颜色为非单一颜色。
可选地，所述待训练网络模型包括AlexNet网络模型。
可选地，所述模型训练模块还适于：
将所述视频训练数据集中的数据赋予所述待训练网络模型作为实际训练参数值，由所述待训练网络模型利用深度学习工具基于实际训练参数值进行模型训练，直到所述待训练网络模型收敛，得到训练后的检测模型。
可选地，所述深度学习工具包括Caffe学习工具。
依据本发明的再一方面，还提供了一种计算机程序，包括计算机可读代码，当所述计算机可读代码在计算设备上运行时，导致所述计算设备执行上文所述的黑边视频检测方法。
依据本发明的再一方面，还提供了一种计算机可读介质，其中存储了上文所述的计算机程序。
在本发明实施例中，首先，从待检测视频集合中筛选出视频训练数据集，该视频训练数据集包括与黑边视频相似度超过第一阈值的疑似黑边视频。其次，确定待训练网络模型，并基于视频训练数据集为待训练网络模型设定训练参数。然后，将视频训练数据集中的数据赋予待训练网络模型作为实际训练参数值，由待训练网络模型基于实际训练参数值进行模型训练，直到待训练网络模型收敛，得到训练后的检测模型。进而可以利用训练后的检测模型对待检测视频进行检测，检测出其中的黑边视频。由此，本发明实施例通过采用简单的方式筛选出疑似黑边视频作为视频训练数据集，从而利用该视频训练数据集对网络模型进行训练，以使网络模型能够自适应很好的学习黑边视频的特征。在网络模型达到收敛的情况下，便可以利用训练后网络模型对待检测视频进行测试，这种视频检测方式能够有效地筛选出更多且更难筛选出的黑边视频，并且黑边视频检测的准确率非常高。
进一步地，采用本发明方案检测黑边视频可以节约由纯粹人工挑选黑边视频所带来的大量人力成本。
上述说明仅是本发明技术方案的概述，为了能够更清楚了解本发明的技术手段，而可依照说明书的内容予以实施，并且为了让本发明的上述和其它目的、特征和优点能够更明显易懂，以下特举本发明的具体实施方式。
根据下文结合附图对本发明具体实施例的详细描述，本领域技术人员将会更加明了本发明的上述以及其他目的、优点和特征。
附图说明
通过阅读下文优选实施方式的详细描述，各种其他的优点和益处对于本领域普通技术人员将变得清楚明了。附图仅用于示出优选实施方式的目的，而并不认为是对本发明的限制。而且在整个附图中，用相同的参考符号表示相同的部件。在附图中：
图1示出了根据本发明一个实施例的黑边视频检测方法的流程示意图；
图2示出了根据本发明一个实施例的挑选疑似黑边视频的方法的流程示意图；
图3示出了AlexNet网络模型的网络结构图；
图4a、图4b和图5分别示出了现有的黑边视频中的视频帧的示意图；
图6示出了根据本发明一个实施例的黑边视频检测装置的结构示意图；
图7示出了用于执行根据本发明的黑边视频检测方法的计算设备的框图；以及
图8示出了用于保持或者携带实现根据本发明的黑边视频检测方法的程序代码的存储单元。
具体实施方式
下面将参照附图更详细地描述本公开的示例性实施例。虽然附图中显示了本公开的示例性实施例，然而应当理解，可以以各种形式实现本公开而不应被这里阐述的实施例所限制。相反，提供这些实施例是为了能够更透彻地理解本公开，并且能够将本公开的范围完整的传达给本领域的技术人员。
为解决上述技术问题，本发明实施例提供了一种黑边视频检测方法。图1示出了根据本发明一个实施例的黑边视频检测方法的流程示意图。参见图1，该方法至少包括步骤S102至步骤S108。
步骤S102，从待检测视频集合中筛选出视频训练数据集，其中，视频训练数据集包括与黑边视频相似度超过第一阈值的疑似黑边视频。
在该步骤中，从待检测视频集合中筛选出视频训练数据集时，可以依据一定的规则挑选出一部分疑似黑边视频，以缩减人工挑选黑边视频的数量级和人工代价。然后再通过人工对疑似黑边视频进行过滤，从而将视频训练数据集挑选出来。
步骤S104，确定待训练网络模型，并基于视频训练数据集为待训练网络模型设定训练参数。
在该步骤中，待训练网络模型可以是AlexNet网络模型，也可以是其他的网络模型，本发明实施例对此不做具体限定。
步骤S106，将视频训练数据集中的数据赋予待训练网络模型作为实际训练参数值，由待训练网络模型基于实际训练参数值进行模型训练，直到待训练网络模型收敛，得到训练后的检测模型。
该步骤中，待训练网络模型的收敛时间需要根据视频训练数据集的规模、训练环境等因素而定。一般情况下，待训练网络模型经过三天的训练之后，即可实现收敛。
步骤S108，利用训练后的检测模型对待检测视频进行检测，检测出其中的黑边视频。
该步骤中，待检测视频可以是任意的待检测视频，例如，检测模型可以对待检测视频集合中的视频进行检测，也可以对待检测视频集合之外的视频进行检测，本发明实施例对此不做具体限定。
本发明实施例通过采用简单的方式筛选出疑似黑边视频作为视频训练数据集，从而利用该视频训练数据集对网络模型进行训练，以使网络模型能够自适应很好的学习黑边视频的特征。在网络模型达到收敛的情况下，便可以利用训练后网络模型对待检测视频进行测试，这种视频检测方式能够有效地筛选出更多且更难筛选出的黑边视频，并且黑边视频检测的准确率非常高。
进一步地，采用本发明方案检测黑边视频可以节约由纯粹人工挑选黑边视频所带来的大量人力成本。
参见上文步骤S102，本领域人员易知模型训练时需要依据大量的训练数据集。因此，在对待训练网络模型进行训练之前需要收集大量的视频训练数据。由于黑边视频仅仅是目前存在的整个视频中的一部分，所以采用纯粹的人工挑选方式的代价太大。针对此问题，本发明实施例提供了一种从待检测视频集合中筛选出视频训练数据集的方式。其原理是：先通过预设规则的从待检测视频集合中挑选出与黑边视频相似度超过第一阈值的疑似黑边视频，然后利用筛选出的疑似黑边视频构建视频训练数据集。具体的，参见图2，挑选疑似黑边视频的步骤可以包括步骤S202至步骤S210。
步骤S202，从待检测视频集合中选取任意待检测视频，并从选取的待检测视频中抽取指定数量的视频关键帧。例如，抽取10帧视频关键帧。此处的该指定数量由用户进行确定，本发明实施例对视频关键帧的具体数值不做限定。
步骤S204，分析指定数量的视频关键帧是否存在黑边。若是，执行步骤S206，分析指定数量的视频关键帧的黑边参数是否均位于第二阈值范围内，若是，则执行步骤S208，确定该待检测视频与黑边视频相似度超过第一阈值，并将选取的待检测视频确认为疑似黑边视频；若否，执行步骤S210，结束流程，即选取的待检测视频不是疑似黑边视频。
其中，分析视频关键帧是否存在黑边时，可以根据视频关键帧的边缘颜色坐标进行分析，若视频关键帧的边缘颜色坐标显示为黑色对应的颜色坐标，或者与黑色对应的颜色坐标相近，则可以确定视频关键帧存在黑边。
另外，若指定数量的视频关键帧不存在黑边，执行步骤S210，结束流程。
在该实施例中，第一阈值可以由用户进行设定，例如，第一阈值为90％，当确定出待检测视频与黑边视频相似度超过90％，那么，将选取的待检测视频确认为疑似黑边视频。
在该实施例中，黑边参数可以包括黑边颜色和/或黑边尺寸。例如，若黑边参数为黑边颜色，则黑边颜色对应的第二阈值范围可以设定为：[R(0～10)，G(0～10)，B(0～10)]。若黑边参数为黑边尺寸(如黑边宽度的尺寸)，则黑边尺寸对应的第二阈值范围可以设定为大于30px。
采用上述方式挑选出一部分的疑似黑边视频后，可以大大缩减人工挑选的数量级和代价。之后，为了确保疑似黑边视频的准确性，还可以再通过人工的过滤，进而使挑选出的视频训练数据集包含的都是黑边视频。
参见上文实施例，在本发明一实施例中，当从选取的待检测视频中抽取指定数量的视频关键帧时，为了能够全面的收集到待检测视频的视频关键帧，可以依据视频播放顺序从选取的待检测视频中等间隔抽取指定数量的视频关键帧。
例如，视频一共有30分钟，若需要抽取10帧视频，则可以每隔3分钟抽取一次视频关键帧，这样可以全面的收集到待检测视频的视频关键帧。
继续参见上文实施例，在本发明一实施例中，在利用筛选出的疑似黑边视频构建视频训练数据集的过程中，还可以对筛选出的疑似黑边视频中的黑边范围进行标注，通过利用标注黑边范围后的疑似黑边视频构建视频训练数据集，进而在后续可以由待训练网络模型依据疑似黑边视频的标注的黑边范围进行模型训练。
参见上文步骤S104，由于AlexNet网络模型的图像分类精度远超过传统的网络模型，因此，该实施例的待训练网络模型采用AlexNet网络模型。图3为AlexNet网络模型的网络结构图。AlexNet网络模型是由Alex在ImageNet图像分类竞赛上提出的深度学习网络模型，其输入图像的大小为227*227像素。AlexNet网络模型主要由输入层、五层卷积层(Convolutional Layer)、三层全连接层(Full Connection Layer)和输出层组成。
在本发明一实施例中，由于模型训练参数的设定和视频训练数据集的规模有很大的关系，其参数的设定将直接影响模型训练的性能和模型的好坏。因此，本发明实施例依据前文构建的视频训练数据集为AlexNet网络模型设定训练参数。另外，训练参数时还需要考虑模型的迭代时长、收敛速度等综合因素。
在该实施中，假设视频训练数据集包含10000张黑边图片(即10000帧黑边视频)，那么AlexNet网络模型在GPU下的迭代时长大约需要2小时，在迭代时长一半左右的时间网络模型开始收敛。表1示出了本发明一实施例中对AlexNet网络模型的训练参数设定的数值。
参数名称 参数值 备注
base_lr 0.01 学习速率
Stepsize 1000 衰减步长
test_interval 1000 测试网络频率
max_iter 50000 最大迭代次数
表1
表1中，参数stepsize对应的参数值为1000，代表模型每1000次迭代，其学习速率更改一次。test_interval对应的参数值为1000，其中interval是区间的意思，代表模型训练的时候，每迭代1000次就测试一次网络频率。
需要说明的是，上文所举出的参数值仅仅是示意性的，训练参数还可以是其他数值，这需要根据实际情况而确定，本发明实施例对此不做具体限定。
参见上文步骤S106，在本发明一实施例中，在将视频训练数据集中的数据赋予待训练网络模型作为实际训练参数值，由待训练网络模型基于实际训练参数值进行模型训练，直到待训练网络模型收敛，得到训练后的检测模型的过程中，可以将视频训练数据集中的数据赋予待训练网络模型作为实际训练参数值，由待训练网络模型利用深度学习工具基于实际训练参数值进行模型训练，直到待训练网络模型收敛，得到训练后的检测模型。
在该实施例中，深度学习工具可以包括Caffe学习工具，也可以采用其他深度学习工具，本发明实施例对此不做具体限定。
由于黑边视频中不仅仅存在黑边，还可能在黑边中存在其他的干扰信息，黑边的宽度不固定、黑边的颜色范围不同、纯黑背景视频干扰、水印的干扰等。参见图4a、图4b和图5，是现有视频中经常出现的几个黑边视频的例子。
图4a中，黑边视频的黑边宽度尺寸不固定，视频左侧黑边宽度均等，视频右侧的宽度不一致。
图4a和图4b中，视频的黑边区域中有“秒拍”字样的水印的遮挡。
图4b中，视频中还存在有纯黑背景的干扰，背景和黑边融为一体，其颜色坐标为(2,2,2)。
图5中，黑边的颜色不单一，图片左边颜色坐标为(2,2,2)，右边颜色坐标为(5,0,6)。此外，通过将上述各图进行比对可知，不同视频的黑边宽度也不相同。
当然，黑边视频中还可能存在其他的问题的干扰，这些问题都会给黑边视频的检测带来较大的难度。因此，为了可以准确地识别出存在干扰信息的黑边视频，本发明实施例在将视频训练数据集中的数据赋予待训练网络模型作为实际训练参数值，由待训练网络模型基于实际训练参数值进行模型训练，直到待训练网络模型收敛，得到训练后的检测模型的过程中，如果疑似黑边视频的黑边包含其他视频特征信息，可以对其他视频特征信息进行标注。在该实施例中，其他视频特征信息可以包括视频黑边范围内的水印、视频黑边连接的黑色视频背景、视频黑边的颜色为非单一颜色中的至少一种。
然后，本发明实施例可以将标注的其他视频特征信息携带在视频训练数据集的疑似黑边视频中，将疑似黑边视频和标注的其他视频特征信息一起作为实际训练参数值输入至待训练网络模型中。进而，待训练网络模型可以利用深度学习工具(例如，采用Caffe深度学习工具)基于实际训练参数值和被标注的其他视频特征信息进行模型训练，直到待训练网络模型收敛，得到训练后的检测模型。
基于同一发明构思，本发明实施例还提供了一种黑边视频检测装置，图6示出了根据本发明一个实施例的黑边视频检测方法的流程示意图。参见图6，该黑边视频检测装置600至少包括筛选模块610、参数设定模块620、模型训练模块630以及检测模块640。
现介绍本发明实施例的基于黑边视频检测装置600的各组成或器件的功能以及各部分间的连接关系：
筛选模块610，适于从待检测视频集合中筛选出视频训练数据集，其中，视频训练数据集包括与黑边视频相似度超过第一阈值的疑似黑边视频；
参数设定模块620，与筛选模块610耦合，适于确定待训练网络模型，并基于视频训练数据集为待训练网络模型设定训练参数；其中，待训练网络模型包括AlexNet网络模型。
模型训练模块630，与参数设定模块620耦合，适于将视频训练数据集中的数据赋予待训练网络模型作为实际训练参数值，由待训练网络模型基于实际训练参数值进行模型训练，直到待训练网络模型收敛，得到训练后的检测模型；
检测模块640，与模型训练模块630耦合，适于利用训练后的检测模型对待检测视频进行检测，检测出其中的黑边视频。
在本发明一实施例中，筛选模块610还适于从待检测视频集合中按照预设规则筛选出与黑边视频相似度超过第一阈值的疑似黑边视频，并利用筛选出的疑似黑边视频构建视频训练数据集。
在本发明一实施例中，筛选模块610还适于从待检测视频集合中选取任意待检测视频，并从选取的待检测视频中抽取指定数量的视频关键帧，并分析指定数量的视频关键帧是否存在黑边。若是，则分析指定数量的视频关键帧的黑边参数是否均位于第二阈值范围内。
若是，则确定该待检测视频与黑边视频相似度超过第一阈值，将选取的待检测视频确认为疑似黑边视频。
在该实施例中，黑边参数包括黑边颜色和/或黑边尺寸。
在本发明一实施例中，筛选模块610还适于依据视频播放顺序从选取的待检测视频中等间隔抽取指定数量的视频关键帧。
在本发明一实施例中，筛选模块610还适于对筛选出的疑似黑边视频中的黑边范围进行标注，利用标注黑边范围后的疑似黑边视频构建视频训练数据集。
在本发明一实施例中，模型训练模块630还适于，若视频训练数据集中疑似黑边视频的黑边包含其他视频特征信息，则对其他视频特征信息进行标注；
将视频训练数据集中的数据赋予待训练网络模型作为实际训练参数值，由待训练网络模型基于实际训练参数值以及被标注的其他视频特征信息进行模型训练，直到待训练网络模型收敛，得到训练后的检测模型。
在该实施例中，其他视频特征信息包括以下至少之一，视频黑边范围内的水印、视频黑边连接的黑色视频背景、视频黑边的颜色为非单一颜色。
在本发明一实施例中，模型训练模块630还适于，将视频训练数据集中的数据赋予待训练网络模型作为实际训练参数值，由待训练网络模型利用深度学习工具基于实际训练参数值进行模型训练，直到待训练网络模型收敛，得到训练后的检测模型。
该实施例中，深度学习工具可以采用Caffe深度学习工具，也可以采用其他深度学习工具，本发明实施例对此不做具体限定。
根据上述任意一个优选实施例或多个优选实施例的组合，本发明实施例能够达到如下有益效果：
在本发明实施例中，首先，从待检测视频集合中筛选出视频训练数据集，该视频训练数据集包括与黑边视频相似度超过第一阈值的疑似黑边视频。其次，确定待训练网络模型，并基于视频训练数据集为待训练网络模型设定训练参数。然后，将视频训练数据集中的数据赋予待训练网络模型作为实际训练参数值，由待训练网络模型基于实际训练参数值进行模型训练，直到待训练网络模型收敛，得到训练后的检测模型。进而可以利用训练后的检测模型对待检测视频进行检测，检测出其中的黑边视频。由此，本发明实施例通过采用简单的方式筛选出疑似黑边视频作为视频训练数据集，从而利用该视频训练数据集对网络模型进行训练，以使网络模型能够自适应很好的学习黑边视频的特征。在网络模型达到收敛的情况下，便可以利用训练后网络模型对待检测视频进行测试，这种视频检测方式能够有效地筛选出更多且更难筛选出的黑边视频，并且黑边视频检测的准确率非常高。
进一步地，采用本发明方案检测黑边视频可以节约由纯粹人工挑选黑边视频所带来的大量人力成本。
在此处所提供的说明书中，说明了大量具体细节。然而，能够理解，本发明的实施例可以在没有这些具体细节的情况下实践。在一些实例中，并未详细示出公知的方法、结构和技术，以便不模糊对本说明书的理解。
类似地，应当理解，为了精简本公开并帮助理解各个发明方面中的一个或多个，在上面对本发明的示例性实施例的描述中，本发明的各个特征有时被一起分组到单个实施例、图、或者对其的描述中。然而，并不应将该公开的方法解释成反映如下意图：即所要求保护的本发明要求比在每个权利要求中所明确记载的特征更多的特征。更确切地说，如下面的权利要求书所反映的那样，发明方面在于少于前面公开的单个实施例的所有特征。因此，遵循具体实施方式的权利要求书由此明确地并入该具体实施方式，其中每个权利要求本身都作为本发明的单独实施例。
本领域那些技术人员可以理解，可以对实施例中的设备中的模块进行自适应性地改变并且把它们设置在与该实施例不同的一个或多个设备中。可以把实施例中的模块或单元或组件组合成一个模块或单元或组件，以及此外可以把它们分成多个子模块或子单元或子组件。除了这样的特征和/或过程或者单元中的至少一些是相互排斥之外，可以采用任何组合对本说明书(包括伴随的权利要求、摘要和附图)中公开的所有特征以及如此公开的任何方法或者设备的所有过程或单元进行组合。除非另外明确陈述，本说明书(包括伴随的权利要求、摘要和附图)中公开的每个特征可以由提供相同、等同或相似目的的替代特征来代替。
此外，本领域的技术人员能够理解，尽管在此所述的一些实施例包括其它实施例中所包括的某些特征而不是其它特征，但是不同实施例的特征的组合意味着处于本发明的范围之内并且形成不同的实施例。例如，在权利要求书中，所要求保护的实施例的任意之一都可以以任意的组合方式来使用。
本发明的各个部件实施例可以以硬件实现，或者以在一个或者多个处理器上运行的软件模块实现，或者以它们的组合实现。本领域的技术人员应当理解，可以在实践中使用微处理器或者数字信号处理器(DSP)来实现根据本发明实施例的黑边视频检测装置中的一些或者全部部件的一些或者全部功能。本发明还可以实现为用于执行这里所描述的方法的一部分或者全部的设备或者装置程序(例如，计算机程序和计算机程序产品)。这样的实现本发明的程序可以存储在计算机可读介质上，或者可以具有一个或者多个信号的形式。这样的信号可以从因特网网站上下载得到，或者在载体信号上提供，或者以任何其他形式提供。
本发明还公开了一种计算机程序，包括计算机可读代码，当所述计算机可读代码在计算设备上运行时，导致所述计算设备执行根据权上文所述的黑边视频检测方法。此外，本发明还公开了一种计算机可读介质，其中存储了如上文实施例所述的计算机程序。
例如，图7示出了可以实现黑边视频检测方法的计算设备。该计算设备传统上包括处理器710和存储器720形式的计算机程序产品或者计算机可读介质。存储器720可以是诸如闪存、EEPROM(电可擦除可编程只读存储器)、EPROM、硬盘或者ROM之类的电子存储器。存储器720具有存储用于执行上述方法中的任何方法步骤的程序代码731的存储空间730。例如，存储程序代码的存储空间730可以包括分别用于实现上面的方法中的各种步骤的各个程序代码731。这些程序代码可以从一个或者多个计算机程序产品中读出或者写入到这一个或者多个计算机程序产品中。这些计算机程序产品包括诸如硬盘，紧致盘(CD)、存储卡或者软盘之类的程序代码载体。这样的计算机程序产品通常为例如图8所示的便携式或者固定存储单元。该存储单元可以具有与图7的计算设备中的存储器720类似布置的存储段、存储空间等。程序代码可以例如以适当形式进行压缩。通常，存储单元包括用于执行本发明的方法步骤的计算机可读代码731’，即可以由诸如710之类的处理器读取的代码，当这些代码由计算设备运行时，导致该计算设备执行上面所描述的方法中的各个步骤。
应该注意的是上述实施例对本发明进行说明而不是对本发明进行限制，并且本领域技术人员在不脱离所附权利要求的范围的情况下可设计出替换实施例。在权利要求中，不应将位于括号之间的任何参考符号构造成对权利要求的限制。单词“包含”不排除存在未列在权利要求中的元件或步骤。位于元件之前的单词“一”或“一个”不排除存在多个这样的元件。本发明可以借助于包括有若干不同元件的硬件以及借助于适当编程的计算机来实现。在列举了若干装置的单元权利要求中，这些装置中的若干个可以是通过同一个硬件项来具体体现。单词第一、第二、以及第三等的使用不表示任何顺序。可将这些单词解释为名称。
至此，本领域技术人员应认识到，虽然本文已详尽示出和描述了本发明的多个示例性实施例，但是，在不脱离本发明精神和范围的情况下，仍可根据本发明公开的内容直接确定或推导出符合本发明原理的许多其他变型或修改。因此，本发明的范围应被理解和认定为覆盖了所有这些其他变型或修改。

Claims (10)

1.一种黑边视频检测方法，包括：
从待检测视频集合中筛选出视频训练数据集，其中，所述视频训练数据集包括与黑边视频相似度超过第一阈值的疑似黑边视频；
确定待训练网络模型，并基于所述视频训练数据集为所述待训练网络模型设定训练参数；
将所述视频训练数据集中的数据赋予所述待训练网络模型作为实际训练参数值，由所述待训练网络模型基于实际训练参数值进行模型训练，直到所述待训练网络模型收敛，得到训练后的检测模型；
利用训练后的检测模型对待检测视频进行检测，检测出其中的黑边视频。
2.根据权利要求1所述的方法，其中，所述从待检测视频集合中筛选出视频训练数据集，包括：
从所述待检测视频集合中按照预设规则筛选出与黑边视频相似度超过第一阈值的疑似黑边视频；
利用筛选出的疑似黑边视频构建所述视频训练数据集。
3.根据权利要求1或2所述的方法，其中，从所述待检测视频集合中按照预设规则筛选出与黑边视频相似度超过第一阈值的疑似黑边视频，包括：
从所述待检测视频集合中选取任意待检测视频，并从选取的待检测视频中抽取指定数量的视频关键帧；
分析所述指定数量的视频关键帧是否存在黑边；
若是，分析指定数量的视频关键帧的黑边参数是否均位于第二阈值范围内，若是，则确定该待检测视频与黑边视频相似度超过第一阈值，将选取的待检测视频确认为疑似黑边视频。
4.根据权利要求1-3任一项所述的方法，其中，所述黑边参数包括：黑边颜色和/或黑边尺寸。
5.根据权利要求1-4任一项所述的方法，其中，所述从选取的待检测视频中抽取指定数量的视频关键帧，包括：
依据视频播放顺序从选取的待检测视频中等间隔抽取指定数量的视频关键帧。
6.根据权利要求1-5任一项所述的方法，其中，所述利用筛选出的疑似黑边视频构建所述视频训练数据集，包括：
对筛选出的疑似黑边视频中的黑边范围进行标注，利用标注黑边范围后的疑似黑边视频构建视频训练数据集。
7.根据权利要求1-6任一项所述的方法，其中，将所述视频训练数据集中的数据赋予所述待训练网络模型作为实际训练参数值，由所述待训练网络模型基于实际训练参数值进行模型训练，直到所述待训练网络模型收敛，得到训练后的检测模型，包括：
若所述视频训练数据集中疑似黑边视频的黑边包含其他视频特征信息，则对其他视频特征信息进行标注；
将所述视频训练数据集中的数据赋予所述待训练网络模型作为实际训练参数值，由所述待训练网络模型基于实际训练参数值以及被标注的其他视频特征信息进行模型训练，直到所述待训练网络模型收敛，得到训练后的检测模型。
8.一种黑边视频检测装置，包括：
筛选模块，适于从待检测视频集合中筛选出视频训练数据集，其中，所述视频训练数据集包括与黑边视频相似度超过第一阈值的疑似黑边视频；
参数设定模块，适于确定待训练网络模型，并基于所述视频训练数据集为所述待训练网络模型设定训练参数；
模型训练模块，适于将所述视频训练数据集中的数据赋予所述待训练网络模型作为实际训练参数值，由所述待训练网络模型基于实际训练参数值进行模型训练，直到所述待训练网络模型收敛，得到训练后的检测模型；
检测模块，适于利用训练后的检测模型对待检测视频进行检测，检测出其中的黑边视频。
9.一种计算机程序，包括计算机可读代码，当所述计算机可读代码在计算设备上运行时，导致所述计算设备执行根据权利要求1至7任一个所述的黑边视频检测方法。
10.一种计算机可读介质，其中存储了如权利要求9所述的计算机程序。
CN201710916085.1A 2017-09-30 2017-09-30 黑边视频检测方法及装置 Pending CN107704823A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201710916085.1A CN107704823A (zh) 2017-09-30 2017-09-30 黑边视频检测方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710916085.1A CN107704823A (zh) 2017-09-30 2017-09-30 黑边视频检测方法及装置

Publications (1)

Publication Number Publication Date
CN107704823A true CN107704823A (zh) 2018-02-16

Family

ID=61184009

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710916085.1A Pending CN107704823A (zh) 2017-09-30 2017-09-30 黑边视频检测方法及装置

Country Status (1)

Country Link
CN (1) CN107704823A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113596578A (zh) * 2021-07-26 2021-11-02 深圳创维－Rgb电子有限公司 视频处理方法及装置、电子设备、计算机可读存储介质

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102547365A (zh) * 2010-12-28 2012-07-04 中国移动通信集团公司 视频图像的黑边检测方法及装置
CN105354405A (zh) * 2014-08-20 2016-02-24 中国科学院上海高等研究院 基于机器学习的免疫组化图像自动化判读系统
CN105718890A (zh) * 2016-01-22 2016-06-29 北京大学 一种基于卷积神经网络的特定视频检测方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102547365A (zh) * 2010-12-28 2012-07-04 中国移动通信集团公司 视频图像的黑边检测方法及装置
CN105354405A (zh) * 2014-08-20 2016-02-24 中国科学院上海高等研究院 基于机器学习的免疫组化图像自动化判读系统
CN105718890A (zh) * 2016-01-22 2016-06-29 北京大学 一种基于卷积神经网络的特定视频检测方法

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113596578A (zh) * 2021-07-26 2021-11-02 深圳创维－Rgb电子有限公司 视频处理方法及装置、电子设备、计算机可读存储介质

Similar Documents

Publication Publication Date Title
CN109800736B (zh) 一种基于遥感影像和深度学习的道路提取方法
US20160210534A1 (en) Learning Contour Identification System Using Portable Contour Metrics Derived From Contour Mappings
CN105989330A (zh) 一种图片检测方法及设备
CN106777177A (zh) 检索方法和装置
CN110059654A (zh) 一种基于细粒度识别的菜品自动结算及饮食健康管理方法
CN108682453A (zh) 一种肺结节标注系统
CN108257122A (zh) 基于机器视觉的纸张缺陷检测方法、装置及服务器
CN110910982A (zh) 自编码模型训练方法、装置、设备及存储介质
CN103646074B (zh) 一种确定图片簇描述文本核心词的方法及装置
CN104796300B (zh) 一种数据包特征提取方法及装置
CN104778238B (zh) 一种视频显著性的分析方法及装置
CN106845352A (zh) 行人检测方法和装置
CN109859204A (zh) 卷积神经网络模型检验方法及装置
CN106530290A (zh) 医学图像分析方法和装置
CN113222913B (zh) 一种电路板缺陷检测定位方法、装置和存储介质
CN111597932A (zh) 基于卷积神经网络的道路裂缝图像识别方法、装置及系统
CN110058756A (zh) 一种图像样本的标注方法及装置
CN109284700A (zh) 图像中多个人脸检测的方法、存储介质、设备及系统
CN109918400A (zh) 绩效自动考核方法、装置、计算机设备及存储介质
CN111882559B (zh) Ecg信号的获取方法及装置、存储介质、电子装置
CN109934297A (zh) 一种基于深度学习卷积神经网络的水稻考种方法
Lan et al. Detection of fissures in rice grains using imaging enhancement
CN107704823A (zh) 黑边视频检测方法及装置
CN109522642B (zh) 设备的仿真方法和装置
CN107423297A (zh) 图片的筛选方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20180216