CN106454509A - 一种广告图像的检测方法及装置 - Google Patents
一种广告图像的检测方法及装置 Download PDFInfo
- Publication number
- CN106454509A CN106454509A CN201610855543.0A CN201610855543A CN106454509A CN 106454509 A CN106454509 A CN 106454509A CN 201610855543 A CN201610855543 A CN 201610855543A CN 106454509 A CN106454509 A CN 106454509A
- Authority
- CN
- China
- Prior art keywords
- picture
- section
- time
- value
- advertisement
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 73
- 238000000605 extraction Methods 0.000 claims description 34
- 239000012634 fragment Substances 0.000 claims description 33
- 238000010586 diagram Methods 0.000 claims description 27
- 239000000284 extract Substances 0.000 claims description 22
- 238000004364 calculation method Methods 0.000 claims description 16
- 230000008878 coupling Effects 0.000 claims description 5
- 238000010168 coupling process Methods 0.000 claims description 5
- 238000005859 coupling reaction Methods 0.000 claims description 5
- 238000002360 preparation method Methods 0.000 claims description 3
- 230000011218 segmentation Effects 0.000 abstract 2
- 238000000034 method Methods 0.000 description 22
- 230000008569 process Effects 0.000 description 10
- 230000009286 beneficial effect Effects 0.000 description 3
- 230000008859 change Effects 0.000 description 3
- 238000012163 sequencing technique Methods 0.000 description 3
- 230000015572 biosynthetic process Effects 0.000 description 2
- 238000006243 chemical reaction Methods 0.000 description 2
- 230000007423 decrease Effects 0.000 description 2
- 235000013399 edible fruits Nutrition 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000012360 testing method Methods 0.000 description 2
- 206010023204 Joint dislocation Diseases 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 239000000969 carrier Substances 0.000 description 1
- 230000007812 deficiency Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000004069 differentiation Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 238000013316 zoning Methods 0.000 description 1
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
- H04N21/44008—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving operations for analysing video streams, e.g. detecting features or characteristics in the video stream
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/435—Processing of additional data, e.g. decrypting of additional data, reconstructing software from modules extracted from the transport stream
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
- H04N21/81—Monomedia components thereof
- H04N21/812—Monomedia components thereof involving advertisement data
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Business, Economics & Management (AREA)
- Marketing (AREA)
- Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
Abstract
本发明提供一种广告图像的检测方法及装置。一种广告图像的检测方法包括：提取广告视频流中基准位置的图片及其前后至少1张图片；选择得到的每张图片中识别率高的像素点作为图片匹配时的识别点；采用以提取的图片中基准位置的图片及其前后至少1张图片划分一段的方式，将提取的图片划段，形成图片段；将所述图片段分为多个部分，形成图片组；并行将所述图片组中每个所述图片段中的基准位置图片的识别点及基准位置前后至少1张图片的识别点进行相似度匹配，得到每个图片组的广告分段时间向量；根据所述每个图片组的广告分段时间向量，得到所述广告视频流中每段广告的开始时间和结束时间。
Description
技术领域
本发明涉及图像处理领域，尤其涉及一种广告图像的检测方法及装置。
背景技术
随着数字电视的发展和普遍应用，人们对电视的内容提出了越来越高的要求，而广告作为商业信息的主要载体在数字化的今天扮演着越来越重要的角色。面对如此浩瀚的广告信息，如何快速检测出满足人们需求的广告将成为人们需要解决的问题。
现有的广告检测方法是先将彩色图像转化成灰度图像，再将灰度图像进行最大类间方差(OTSU)二值化处理，即将0～255个等级的灰度图像通过适当的阈值选取获得可以反映图像整体和局部特征的黑白图像，然后再将黑白图像划分为8*8区域，再统计每一区域中像素值0和255的个数，若0的个数多则该区域为0，反之，则为1，将8*8区域的特征值生成64位的二进制串，最后通过比较相邻图片的二进制串来判断是否属于同一幅广告。
现有技术在检测广告时，需要先将彩色图像转换成灰度图像，这样会丢失大量信息，不利于对广告信息的准确判断。其次，在计算阈值时，需要遍历灰度图像的所有像素点，在提取特征时，也需要统计划分区域内所有像素点的特征值，这样导致运算量大。而且不同的彩色图像可能有相同的二值化图像，这样在判断广告的时候使得误差不可避免，识别准确率降低。此外，在判断每个区域为0或1的时候，只比较0或1的个数多少就判读该区域为0或1，这样使黑白图像和提取的特征图像存在多对一的关系，也会使误识别的概率大大增加。
发明内容
基于上述现有技术的不足，本发明提出一种广告图像的检测方法及装置，以解决现有技术在检测广告时需要将彩色图像转换成灰度图像丢失大量信息、对图像的所有像素点识别导致运算量大及OTSU二值化处理和特征提取时与原图像对应不唯一使识别的准确率降低的问题。
本发明提供一种广告图像的检测方法，包括：
提取广告视频流中基准位置的图片及其前后至少1张图片；
选择得到的每张图片中识别率高的像素点作为图片匹配时的识别点；
采用以提取的图片中基准位置的图片及其前后至少1张图片划分一段的方式，将提取的图片划段，形成图片段；
将所述图片段分为多个部分，形成图片组；其中，所述图片组中图片的数量大于所述图片段中的图片的数量；
并行将所述图片组中每个所述图片段中的基准位置的图片的识别点及基准位置前后至少1张图片的识别点进行相似度匹配，得到每个图片组的广告分段时间向量；
根据所述每个图片组的广告分段时间向量，得到所述广告视频流中每段广告的开始时间和结束时间。
进一步地，所述提取所述广告视频流中基准位置的图片及其前后至少1张图片，包括：
提取所述广告视频流中现存广告最短时间倍数位置的图片及其前后至少1张图片。
进一步地，所述选择得到的每张图片中识别率高的像素点作为图片匹配时的识别点，包括：
检测得到的每张图片的宽度和高度；
依据图片的宽度和高度，将得到的每张图片表示成三阶张量形式；
选择三阶张量中宽度一半位置的坐标点和高度一半位置的坐标点作为识别点。
进一步地，所述三阶张量中宽度一半位置的坐标点和高度一半位置的坐标点的获得方法，包括：
选取预设数量的广告样本；
提取预设数量的广告样本中基准位置的图片及其前后至少1张图片；
采用以提取的图片中基准位置的图片及其前后至少1张图片划分为一段的方式，将提取的图片划段，形成图片段；
将所述图片段分为多个部分，形成图片组；其中，所述图片组中图片的数量大于所述图片段中图片的数量；
检测提取的图片的宽度和高度；
依据图片的宽度和高度，将提取的图片表示成三阶张量形式；
将选取三阶张量坐标点的方式的次数记为t；其中所述t的值大于1，小于或等于三阶张量的行数^3*三阶张量的列数^3；
在第t次选取坐标点的方式下选取的坐标点作为识别点；
并行将所述图片组中每个所述图片段中的基准位置图片的识别点及基准位置前后至少1张图片的识别点进行相似度匹配，得到每个图片组的广告分段时间向量；
根据所述每个图片组的广告分段时间向量，得到所述广告视频流中每段广告的开始时间和结束时间；
判断t是否在预设选取方式次数内；
如果所述t在预设选取方式次数内，将t加1后赋值给t，并对赋值后的t执行所述在第t次选取坐标点的方式下选取的坐标点作为识别点的步骤执行；
如果所述t不在预设选取方式次数内，计算得到每次选取坐标点的方式下所述广告样本的识别率；
比较所述每次选取坐标点的方式下的广告样本的识别率，选取识别率最高的选取坐标点的方式。
进一步地，所述选取识别率最高的选取坐标点的方式之后，进一步包括：
满足预定时间要求时，调整所述广告样本；
对调整后的广告样本返回执行所述选取预设数量的广告样本的步骤，得到调整后的广告样本的识别率最高的选取坐标点的方式；
所述得到调整后的广告样本的识别率最高的选取坐标点的方式之后，还包括：
判断所述调整后的广告样本的识别率最高的选取坐标点的方式对应的广告样本的识别率，和调整前的广告样本的识别率最高的选取坐标点的方式对应的广告样本的识别率是否一致；
若一致，则保留调整前的广告样本的识别率最高的选取坐标点的方式；
若不一致，则将调整前的广告样本的识别率最高的选取坐标点的方式，替换为所述调整后的广告样本的识别率最高的选取坐标点的方式。
进一步地，所述并行将所述图片组中每个所述图片段中的基准位置图片的识别点及基准位置前后至少1张图片的识别点进行相似度匹配，得到每个图片组的广告分段时间向量，包括：
依次将图片组中的各个图片段中相邻的两张图片中的识别点对应的像素值向量都作差取绝对值后求和，分别得到每个图片组中每个图片段的计算结果；
从每个图片组中每个图片段的计算结果中找出最大的值和第二大的值；
将每个图片组的广告分段时间向量中对应最大值和第二大的值的差值大于预设阈值的图片段的值，设置为图片段中基准位置对应的时间，将所述广告分段时间向量中对应最大值和第二大的值的差值小于或者等于预设阈值的图片段的值，设置为预设数值。
进一步地，所述根据所述每个图片组的广告分段时间向量，得到所述广告视频流中每段广告的开始时间和结束时间，包括：
依据所述每个图片组的广告分段时间向量，得到对应图片组中每段广告的开始时间和结束时间；
结合所述每个图片组中每段广告的开始时间和结束时间，得到所述广告视频流中每段广告的开始时间和结束时间。
进一步地，所述依据所述每个图片组的广告分段时间向量，得到对应图片组中每段广告的开始时间和结束时间，包括：
依次检测所述每个图片组的广告分段时间向量中对应每个图片段的值；
若所述广告分段时间向量中对应图片段中的值为图片段中基准位置对应时间，则判断所述广告分段时间向量中对应图片段中的值与所述图片段的开始时间值的差是否等于现存广告时间值；
如果等于，则所述图片段中基准位置对应时间为一段广告的结束时间；
如果不等于，则继续检测所述广告分段时间向量中对应下一个图片段中的值，直到检测到满足第一条件的图片段，并将所述图片段中基准位置对应时间为一段广告的结束时间；其中，所述第一条件包括：所述广告分段时间向量中对应图片段中的值为图片段中基准位置对应时间、且判断所述广告分段时间向量中对应图片段中的值与图片段的开始时间值的差等于现存广告时间值；
若所述广告分段时间向量中对应第一个图片段中的值为预设数值，则直接检测所述广告分段时间向量中对应下一个图片段中的值，直到检测到所述广告分段时间向量中对应图片段中的值为图片段中基准位置对应时间。
本发明提供一种广告图像的检测装置，该装置，包括：
图片提取模块，用于提取广告视频流中基准位置的图片及其前后至少1张图片；
识别点选择模块，用于选择得到的每张图片中识别率高的像素点作为图片匹配时的识别点；
图片段形成模块，用于采用以提取的图片中基准位置的图片及其前后至少1张图片划分一段的方式，将提取的图片划段，形成图片段；
图片组形成模块，用于将所述图片段分为多个部分，形成图片组；其中，所述图片组中图片的数量大于所述图片段中图片的数量；
多个匹配模块，所述匹配模块的数量与所述图片组的数量相同，所述多个匹配模块并行工作，用于并行将所述图片组中每个所述图片段中的基准位置图片的识别点及基准位置前后至少1张图片的识别点进行相似度匹配，得到每个图片组的广告分段时间向量；
输出模块，用于根据所述每个图片组的广告分段时间向量，得到所述广告视频流中每段广告的开始时间和结束时间。
进一步地，所述图片提取模块包括:
图片提取子模块，用于提取所述广告视频流中现存广告最短时间倍数位置的图片及其前后至少1张图片。
进一步地，所述识别点选择模块包括：
检测单元，用于检测得到的每张图片的宽度和高度；
表示单元，用于依据图片的宽度和高度，将提取的图片表示成三阶张量形式；
选择单元，用于选择三阶张量中宽度一半位置的坐标点和高度一半位置的坐标点作为识别点。
进一步地，所述多个匹配模块包括：
计算单元，用于依次将图片组中的各个图片段中相邻的两张图片中的识别点对应的像素值向量都作差取绝对值后求和，分别得到每个图片组中每个图片段的计算结果；
比较单元，用于从每个图片组中每个图片段的计算结果中找出最大的值和第二大的值；
广告分段时间向量设置单元，用于将每个图片组的广告分段时间向量中对应最大值和第二大的值的差值大于预设阈值的图片段的值，设置为图片段中基准位置对应的时间，将所述广告分段时间向量中对应最大值和第二大的值的差值小于或者等于预设阈值的图片段的值，设置为预设数值。
进一步地，所述输出模块包括：
第一输出单元，用于依据所述每个图片组的广告分段时间向量，得到对应图片组中每段广告的开始时间和结束时间；
第二输出单元，用于结合所述每个图片组每段广告的开始时间和结束时间，得到所述广告视频流中每段广告的开始时间和结束时间。
进一步地，所述第一输出单元包括：
向量检测单元，用于依次检测所述每个图片组的广告分段时间向量中对应每个图片段的值；
判断单元，用于在所述向量检测单元检测所述广告分段时间向量中对应图片段中的值为图片段中基准位置对应时间时，判断所述广告分段时间向量中对应图片段中的值与所述图片段的开始时间值的差是否等于现存广告时间值；
广告确定时间单元，用于在所述判断单元的判断结果为等于时，确定所述图片段中基准位置对应时间为一段广告的结束时间；在所述向量检测单元检测所述广告分段时间向量中对应的图片段中的值满足第一条件时，将所述图片段中基准位置对应时间为一段广告的结束时间；
其中，所述第一条件包括：所述广告分段时间向量中对应图片段中的值为图片段中基准位置对应时间、且判断所述广告分段时间向量中对应图片段中的值与图片段的开始时间值的差等于现存广告时间值；
所述向量检测单元还用于在所述判断单元的判断结果为不等于时，继续检测所述广告分段时间向量中对应下一个图片段中的值。
本发明提供的广告图像的检测方法及装置，是将提取的图片中识别率高的像素点作为图片匹配时的识别点，并将提取的图片划段，形成图片段，再将图片段划分为多个部分形成图片组，通过并行匹配图片组中的图片段，得到每个图片组的广告分段时间向量，根据每个图片组的广告分段时间向量，得到广告视频流中广告的开始时间和结束时间。本发明将图片用三阶张量表示，这样保留了图像的全部特征，更有利于识别。选择图片中识别率高的像素点作为图片匹配时的识别点这样在保证识别率的前提下，减小了计算量。另外，通过并行匹配图片组中的图片段，还能提高广告检测的效率，使复杂的大规模广告检测问题可以在短时间内得到识别结果。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。
图1是本发明实施例公开的一种广告图像的检测方法的流程示意图；
图2是本发明实施例公开的又一种广告图像的检测方法的流程示意图；
图3是本发明实施例公开的一种从广告样本中选择识别点的流程示意图；
图4是本发明实施例公开的一种广告图像的检测装置的结构示意图；
图5是本发明实施例公开的又一种广告图像的检测装置的结构示意图；
图6是本发明实施例公开两个电视节目中一段广告视频的一部分进行匹配的示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
本发明实施例公开了一种广告图像的检测方法，参见图1，该方法包括：
S101、提取广告视频流中基准位置的图片及其前后至少1张图片；
本发明中提到的广告视频流是指纯粹的多段广告组合在一起的一段视频流，发明的目的是找出这段视频中有多少段广告及每段广告的开始时间和结束时间。
可选地，所述的基准位置由现存广告时间决定的，是现存广告时间的最短时间倍数位置对应的图片。众所周知，电视视频是由单个图像帧组成的，一般而言，每秒视频大概包含25幅图像帧。例如现存广告时间有5，10，15，30，60秒，现存广告最短时间是5秒，此时需要从广告视频流中提取第5秒，第10秒，第15秒等等5的倍数秒位置对应的图片。在提取第5秒的图片时，由于第5秒的视频大概包含25幅图片，选择25幅图片中的最后一张图片作为第5秒对应的图片，同样的对于第10秒对应的图片，第15秒对应的图片等5的倍数秒位置对应的图片，均是从相应时间视频包含的图片中选择的最后一张图片。
提取广告视频流中的图片是为了通过分析提取图片的属性来判断是不是属于同一广告的属性。
从视频流中提取广告图片时，提取的广告图片越多，计算的复杂性越高，识别的效果越好，但是选的图片过多，会将广告图片分的过细，由于一段广告可能由多个场景组成，由于检测出不同的场景，会误识别该广告属于不同的广告段。具体每段广告选择多少张图片需要根据广告视频流决定，一般在提取广告视频流中的图片时，每段包括3～9张图片可以满足识别要求。
S102、选择得到的每张图片中识别率高的像素点作为图片匹配时的识别点；
选择得到的每张图片的识别点是为了依据识别点的相似度属性来匹配图片。
可选地，本发明的另一个实施例中，本步骤的具体实现方式如下：
检测得到的每张图片的宽度和高度；
依据图片的宽度和高度，将得到的每张图片表示成三阶张量形式；
选择三阶张量中宽度一半位置的坐标点和高度一半位置的坐标点作为识别点。
需要说明的是，检测得到的每张图片的宽度和高度，是为了选择合适的三维数组表示该图片大小及计算该图片像素点的个数。若图片的长度和高度分别为P和Q，此时该图片对应的三阶张量形式为A(1：P，1：Q，1：3)，即表示P*Q*3个数组成的有空间结构的数组。该图片的所有像素点个数为3*P*Q，从所有的像素点中选取适合图片匹配的识别像素点。
三阶张量中宽度一半位置的坐标点和高度一半位置的坐标点位置，是三阶张量中的中间位置即A(P/2，1：Q，1：3)块，A(1：P，Q/2，1：3)块，此时对应的识别点的个数为3*P+3*Q个。在选取的A(P/2，1：Q，1:3)块中含有(1：Q)*(1：3)＝Q*3个坐标点，A(1：P，Q/2，1:3)块中含有(1：P)*(1：3)＝P*3个坐标点，所以此时对应的识别点的个数为3*P+3*Q个。
还需要说明的是，张量中的识别点的位置不是固定的，是在预设数量的广告样本下依据变参数的统计优化算法选取的使广告的识别率最高的选取识别点方式下选择的识别点，一般选取A(P/2，1：Q，1：3)块，A(1：P，Q/2，1：3)块位置，能达到99％的识别率。
还需要说明的是，像素点的个数不是固定的，一般像素点选取的个数为3*P+3*Q时，能满足广告的识别率，但像素点的个数可以在3*P+3*Q个数的基础上增减，若像素点的个数增加的话，识别率会提高，但是识别的时间会增加，像素点减少的话，识别率会下降，但识别的时间会减小，实际选取像素点的个数时根据实际需要来综合考虑识别率和识别时间。
S103、采用以提取的图片中基准位置的图片及其前后至少1张图片划分一段的方式，将提取的图片划段，形成图片段；
分多少段由视频流长度决定，视频流的长度除以现存广告最短时间得到分段数。例如，现存广告时间是5，10，15，30，60秒，视频长度除以5秒得到分段数。每段中包含的图片是由第5秒对应的图片和该位置前后至少1张图片构成。例如第1段的图片由3张图片构成，这3张图片是由第5秒的视频中包含的25幅图片中的第25幅图片、第5秒最后一张图片的前一张图片即第5秒的视频中的第24幅图片、及第6秒视频中包含的25幅图片中的第1幅图片构成。
S104、将所述图片段分为多个部分，形成图片组；
其中，所述图片组中图片的数量大于所述图片段中图片的数量；
将所述图片段分为多个部分，是由计算机集群分布系统分配的。每部分有多少段由从视频流中提取的图片划分的段数和计算机集群系统中计算机的数量决定的，图片组中包含的图片段按提取的图片段的顺序依次存储。
所谓的计算机集群系统是一组独立的计算机的集合，它们通过网络进行连接，每个计算机可以独立作为1个计算机，也可以协同其他计算机表现成为1个单独的集中的计算资源，在处理问题的时候需要每台计算机或处理器都同时工作，供并行任务使用。
将提取的图片划段后分组是因为广告图像的检测过程是在多台计算机具有集群系统的条件下完成的，在图像检测的过程中需要这些计算机同时工作，而计算机的数量决定了图片组的数量，将划段的图片分组后，使处于计算机集群系统条件下的计算机能够并行处理这些图片组，并行计算能大大缩短图片匹配的时间。
S105、并行将所述图片组中每个所述图片段中的基准位置图片的识别点及基准位置前后至少1张图片的识别点进行相似度匹配，得到每个图片组的广告分段时间向量；
图片越相似时，其差值越小，以此差值判断图片的相似性。当差值在一定阈值范围内，则说明图片属于一段广告。
每个图片组的广告分段时间向量由图片组中的图片段中的图片的相似度匹配的结果组成。其中图片段中的图片相似度匹配结果有两种取值情况，一种情况为图片段中的图片的差值大于预设阈值，此时广告分段时间向量中图片段的值设置为基准位置对应的时间，如5秒，10秒等5的倍数秒时间值，另一种情况为图片段中的图片差值小于或者等于预设阈值，此时广告分段时间向量中图片段的值设置为预设数值，表示这一图片段和下一图片段是同一段广告的图片。
S106、根据所述每个图片组的广告分段时间向量，得到所述广告视频流中每段广告的开始时间和结束时间；
可选地，本发明的另一个实施例中，本步骤具体实现方式如下：
依据所述每个图片组的广告分段时间向量，得到对应图片组中每段广告的开始时间和结束时间；
结合所述每个图片组中每段广告的开始时间和结束时间，得到所述广告视频流中每段广告的开始时间和结束时间。
其中，各个图片组是有顺序的，是依据提取图片段的先后顺序划分的图片组。按照图片组的顺序依次结合各个图片组中的图片段将构成广告视频流中所有的图片段。其中，广告视频流中的所有的图片段是按照基准位置的顺序有先后顺序，这样保证了广告视频流的连续性和完整性。
在得到每个图片组的广告分段时间向量，得出对应图片组中每段广告的开始时间和结束时间后，按照图片组的顺序将得到一系列的广告分段时间向量，这一系列的广告分段时间向量是有先后顺序的，通过结合这一系列的广告分段时间向量的值将得到广告视频流中每一段广告的开始时间和结束时间。
可选地，本发明的另一个实施例中，所述依据所述每个图片组的广告分段时间向量，得到对应图片组中每段广告的开始时间和结束时间，包括：
依次检测所述每个图片组的广告分段时间向量中对应每个图片段的值；
若所述广告分段时间向量中对应图片段中的值为图片段中基准位置对应时间，则判断所述广告分段时间向量中对应图片段中的值与所述图片段的开始时间值的差是否等于现存广告时间值；
如果等于，则所述图片段基准位置对应时间为一段广告的结束时间；
如果不等于，则继续检测所述广告分段时间向量中对应下一个图片段中的值，直到检测到满足第一条件的图片段，并将所述图片段中基准位置对应时间为一段广告的结束时间；
其中，所述第一条件包括：所述广告分段时间向量中对应图片段中的值为图片段中基准位置对应时间、且判断所述广告分段时间向量中对应图片段中的值与图片段的开始时间值的差等于现存广告时间值；
若所述广告分段时间向量中对应第一个图片段中的值为预设数值，则直接检测所述广告分段时间向量中对应下一个图片段中的值，直到检测到所述广告分段时间向量中对应图片段中的值为图片段中基准位置对应时间。
图6给出两个电视节目中一段广告视频的一部分进行匹配的实施例。
这是两个电视节目中一段广告视频的一部分共16秒25*16＝400张图片，其中第五行最后一张图片是第5秒对应的图片，它分别与其前后两张图片作差取绝对值后求和，得到的和数除以(3*P+3*Q)得S1＝12.1796，S2＝12.2496。|S2-S1|＝0.0700<25,可得前10秒属于同一段广告，接下来依据第10秒对应图片及其前后两张图片判断前10s与10-15s是否属于同一段广告，经计算S2＝8.8762，S1＝11.8016，|S2-S1|＝2.9253<25,因此前15秒属于一段广告，接下来依据第15秒对应图片及其前后两张图片判断前15s与15-20s是否属于同一段广告，经计算S2＝401.7853，S1＝0.1773，|S2-S1|＝401.6080>25，因此前15秒属于一段广告，15-20s是其它广告。
本发明提供的广告图像的检测方法，是将提取的图片中识别率高的像素点作为图片匹配时的识别点，并将提取的图片划段，形成图片段，再将图片段划分为多个部分形成图片组，通过并行匹配图片组中的图片段，得到每个图片组的广告分段时间向量，根据每个图片组的广告分段时间向量，得到广告的开始时间和结束时间。本发明将图片用三阶张量表示，这样保留了图像的全部特征，更有利于识别。选择图片中识别率高的像素点作为图片匹配时的识别点这样在保证识别率的前提下，减小了计算量。另外，通过并行匹配图片组中的图片段，还能提高广告检测的效率，使复杂的大规模广告检测问题可以在短时间内得到识别结果。
本发明另一个实施例公开了又一种广告图像的检测方法，参见图2，该方法包括：
S201、提取广告视频流中基准位置的图片及其前后至少1张图片；
S202、选择得到的每张图片中识别率高的像素点作为图片匹配时的识别点；
S203、采用以提取的图片中基准位置的图片及其前后至少1张图片划分一段的方式，将提取的图片划段，形成图片段；
S204、将所述图片段分为多个部分，形成图片组；其中，所述图片组中图片的数量大于所述图片段中的图片的数量；
S205、依次将图片组中的各个图片段中相邻的两张图片中的识别点对应的像素值向量都作差取绝对值后求和，分别得到每个图片组中每个图片段的计算结果；
S206、从每个图片组中每个图片段的计算结果中找到最大的值和第二大的值；
S207、将每个图片组的广告分段时间向量中对应最大值和第二大的值的差值大于预设阈值的图片段的值，设置为图片段的基准位置对应的时间，将所述广告分段时间向量中对应最大值和第二大的值的差值小于或者等于预设阈值的图片段的值，设置为预设数值；
其中，所述预设阈值由用户设定，用于控制精度，其值越小分的越细，一般为小于50的数。并且，所述预设数值一般可设为0。
需要说明的是，所述每个组的广告分段时间向量用于记录图片段中的图片之间相似度匹配的结果，如果图片段中的图片满足一定的相似度要求则设置为预设数值，如果不满足相似度的要求则设置为图片段中基准位置对应的时间。
S208、根据所述每个图片组的广告分段时间向量，得到所述广告视频流中每段广告的开始时间和结束时间。
本发明实施例依次将图片组中各个图片段在相邻的两张图片中的识别点对应的像素值向量作差取绝对值后求和，分别得到每个图片组中每个图片段的计算结果中最大的值和第二大的值，将最大的值和第二大的值作差，差值大于预设阈值时，广告分段时间向量中对应图片段的值，设置为图片段中基准位置对应的时间，差值小于或者等于预设阈值时，广告分段时间向量中对应图片段的值，设置为预设数值。得到每个图片组中的图片段中的图片的相似度匹配结果，通过每个图片组中的图片段中的图片的匹配结果得到广告视频流中广告的开始时间和结束时间。
本发明另一个实施例公开了一种广告图像的检测方法中，三阶张量中宽度一半位置的坐标点和高度一半位置的坐标点的获得方法可参见图3，该方法包括：
S301、选取预设数量的广告样本；
预设数量的广告样本的数可以为100段，其中所述的100段广告是为了统计需要，当然段数越多越好，但是段数越多耗费的人力越多，因为识别率靠人工验证。识别率是指算法给出分段时间中正好是实际分段时间的个数除以样本的实际分段数与算法给出的段数中较大的那个。
S302、提取预设数量的广告样本中基准位置的图片及其前后至少1张图片；
从预设数量的广告样本中提取图片是为了根据图片的属性判断是不是属于同一广告。
S303、采用以提取的图片中基准位置的图片及其前后至少1张图片划分为一段的方式，将提取的图片化段，形成图片段；
S304、将图片段分为多个部分，形成图片组；其中，所述图片组中图片的数量大于所述图片段中图片的数量；
S305、检测提取的图片的宽度和高度；
需要说明的是，步骤S305与步骤S303可以同时执行，也可以先后执行，不受执行先后顺序的影响。
S306、依据图片的宽度和高度，将提取的图片表示成三阶张量形式；
需要说明的是，步骤S306与步骤S304可以同时执行，也可以先后执行，不受执行先后顺序的影响。
检测提取的图片的宽度和高度，是为了选择合适的三维数组表示该图片大小和统计该图片中像素点的个数。
S307、将选取三阶张量坐标点的方式的次数记为t；其中所述t的值大于1，小于或等于三阶张量的行数^3*三阶张量的列数^3；
其中，三阶张量的行数^3表示三阶张量的行数的三次方，三阶张量的列数^3表示三阶张量的列数的三次方。选取三阶张量坐标点方式是变化的，将选取的方式记为t，是为了区分不同的选取方式。图片的宽度和高度用P和Q表示，三阶张量表示为A(1：P，1：Q，1：3)，代表三阶张量为P行，Q列。每次任意选取张量中的3*P+3*Q个坐标点，则此时选取坐标点的方式次数为(P*Q)3种方式。
S308、在第t次选取坐标点的方式下选取的坐标点作为识别点；
预设选取方式次数由图片的宽度和高度决定，如果图片的宽度和高度分别为P和Q，则预设选取方式次数为(P*Q)3种方式。
每次选取坐标的方式均不同于上一次的选取方式，选取坐标点的方式随着选取的次数而改变。
S309、并行将所述图片组中每个所述图片段中的基准位置图片的识别点及基准位置前后至少1张图片的识别点进行相似度匹配，得到每个图片组的广告分段时间向量；
本发明实施例中，采用与上实施例中相同的并行运算方式，这里不再赘述。
本发明实施例中以第一段3张图片为例介绍广告匹配过程。
选取第一张图片中选定的(3*P+3*Q)个识别点对应的坐标值记为向量X，与下一张图像选定的识别点对应像素值向量Y作差取绝对值后求和，记为S1；令X＝Y，Y取上一张图片中的3*P+3*Q个识别点对应的像素值，X与Y作差取绝对值后求和，记为S2，判断两数之差是否大于tmp，其中tmp由用户设定，用于控制精度，tmp会影响正确率，一般为小于50的数，值越小分的越细。若两数之差大于tmp，则记录下该段第5秒位置对应值为T1＝5，T1代表第一段广告第5秒位置，若两数之差小于tmp，则记录下此时对应值为T1＝0。
需要说明的是，若此时判断的是其他段，若两数之差大于tmp时，则此时记录的时间为相应段对应的时间，当是第二段时，记录的对应值T2＝10，当为第三段时记录的对应值T3＝15。
S310、根据所述每个图片组的广告分段时间向量，得到所述广告视频流中每段广告的开始时间和结束时间；
本发明实施例以第1至3段即T1、T2、T3为例说明如何根据广告分段点确定广告开始时间和结束时间。
Temp为相应广告段起始对应时间，在判断第一段的时候，Temp＝0。如果第一段广告对应位置记为5s，则T1＝5，那么，0-T1划分为一段，记D1为(0，T1)。其中，0代表开始时间，T1代表结束时间，继续判断T2，其中，T2代表第二段广告对应值。此时，Temp对应为第一段广告的结束时间，如果第二段广告对应时间为10s，则T2记为10。检测T2-T1是否属于现存广告时间中的某个值。如果属于，那么5-10s划分为一段，记D2为(Temp，T2)，继续判断T3。此时Temp为第二段广告的结束时间，如果第三段广告对应值记为15s，则T3＝15，检测T3-T2是否属于现存广告时间中的某个值，如果属于，那么10-15s划分为一段，记D3为(Temp，T3)。
在判断第一段的时候，Temp＝0，如果第一段广告和第二段广告是一段广告，即此时T1＝0，此时继续判断T2。当T2为10时，检测T2-T1是否属于现存广告时间中的某个值，如果属于，那么0-10s划分为一段，记为D2为(Temp，T2)。如果T2为0时，继续判断T3。当T3为15时，检测T3-T1是否属于现存广告时间中的值，如果属于，那么0-15s划分为一段，记为(Temp，T3)。
S311、判断t是否在预设选取方式次数内；
S312、如果所述t在预设选取方式次数内，将t加1后赋值给t，执行S308，如果所述t不在预设选取方式次数内，则执行S313；
S313、计算得到每次选取坐标点的方式下所述广告样本的识别率；
S314、比较所述每次选取坐标点的方式下的所述广告样本的识别率，选取识别率最高的选取坐标点的方式。
识别率是指算法给出分段时间中正好是实际分段时间的个数除以样本的实际分段数与算法给出的段数中较大的那个。
本实施例是从预设数量的广告样本中通过改变选取坐标的方式自动选取坐标点，得出使广告的识别率最高的选取坐标点的方式，将这种选取坐标点的方式作为以后检测广告图像的识别点。本发明实施通过选取图像中的识别率高的识别点，在保证识别率的前提下，降低了运算量，提高了检测的效率。
可选地，本发明的另一个实施例中，该方法还包括：
满足预定时间要求时，调整所述广告样本；
依据所述调整后的广告样本，返回执行上述实施例中步骤S301～S314，得到调整后的广告样本的识别率最高的选取坐标点的方式；
所述得到调整后的广告样本的识别率最高的选取坐标点的方式之后，还包括：
判断所述调整后的广告样本的识别率最高的选取坐标点的方式对应的广告样本的识别率，和调整前的广告样本的识别率最高的选取坐标点的方式对应的广告样本的识别率是否一致；
若一致，则保留所述调整前的广告样本的识别率最高的选取坐标点的方式；
若不一致，则将所述调整前的广告样本中的识别率最高的选取坐标点的方式，替换为所述调整后的广告样本的识别率最高的选取坐标点的方式。
本发明实施例是在之前选取的预设数量的广告样本的基础上调整广告样本，选取最新的广告样本定期(比如三个月)升级识别坐标点，这样通过更新坐标点，使选取的坐标点更有利于提高广告的识别率。
本发明实施例中还公开了一种广告图像的检测装置，如图4所示。广告图像的检测装置包括：图片提取模块401，识别点选择模块402，图片段形成模块403，图片组形成模块404，多个匹配模块405，输出模块406。
图片提取模块401，用于提取广告视频流中基准位置的图片及其前后至少1张图片；
可选的，所述的图片提取模块包括：图片提取子模块，用于提取所述广告视频流中现存广告最短时间倍数位置的图片及其前后至少1张图片。
识别点选择模块402，用于选择得到的每张图片中识别率高的像素点作为图片匹配时的识别点；
图片段形成模块403，用于采用以提取的图片中基准位置的图片及其前后至少1张图片划分一段的方式，将提取的图片划段，形成图片段；
图片组形成模块404，用于将所述图片段分为多个部分，形成图片组；其中，所述图片组中图片的数量大于所述图片段中图片的数量；
多个匹配模块405，所述匹配模块的数量与所述图片组的数量相同，所述多个匹配模块并行工作，用于并行将所述图片组中每个所述图片段中的基准位置图片的识别点及基准位置前后至少1张图片的识别点进行相似度匹配，得到每个图片组的广告分段时间向量；
输出模块406，用于根据所述每个图片组的广告分段时间向量，得到所述广告视频流中每段广告的开始时间和结束时间。
本实施例公开的广告图像的检测装置中，通过识别点选择模块402选择图片提取模块401提取出的图片上使广告识别率高的识别点，在保证识别率的前提下，减小了运算量。将提取的图片通过图片段形成模块403划分图片段，将图片段通过图片组形成模块404划分图片组，将图片组形成模块中的图片段通过多个匹配模块405进行并行运算，提高了广告检测的效率，大大减小了检测的时间，通过输出模块406找到广告视频流中每段广告的开始时间和结束时间。
还需要说明的是，本实施例公开的广告图像的检测装置中，各个模块的工作过程可参见对应图1的方法实施例，此处不再赘述。
可选地，本发明另一实施例中，识别点选择模块402，包括：
检测单元，用于检测得到的每张图片的宽度和高度；
表示单元，用于依据图片的宽度和高度，将得到的每张图片表示成三阶张量形式；
选择单元，用于选择三阶张量中宽度一半位置的坐标点和高度一半位置的坐标点作为识别点。
本实施例公开的识别点选择模块402中，各个单元的工作过程可参见对应图1的方法实施例，此处不再赘述。
可选地，本发明另一实施例中，如图5所示，该装置还包括：
样本选取模块501，用于选取预设数量的广告样本；
样本图片提取模块502，用于提取预设数量的广告样本中基准位置的图片及其前后至少1张图片；
样本图片段形成模块503，用于采用以提取的图片中基准位置的图片及其前后至少1张图片划分为一段的方式，将提取的图片划段，形成图片段；
样本图片组形成模块504，用于将所述图片段分为多个部分，形成图片组；其中，所述图片组中图片的数量大于所述图片段中图片的数量；
样本检测模块505，用于检测提取的图片的宽度和高度；
样本表示模块506，用于依据图片的宽度和高度，将提取的图片表示成三阶张量形式；
选取坐标点的方式次数记录模块507，用于将选取三阶张量坐标点的方式的次数记为t；
样本识别点选择模块508，用于在第t次选取坐标点的方式下选取的坐标点作为识别点；
样本多个匹配模块509，所述匹配模块的数量与所述图片组的数量相同，所述多个匹配模块并行工作，用于并行将所述图片组中每个所述图片段中的基准位置图片的识别点及基准位置前后至少1张图片的识别点进行相似度匹配，得到每个图片组的广告分段时间向量；
样本输出模块510，用于根据所述每个图片组的广告分段时间向量，得到所述广告视频流中每段广告的开始时间和结束时间；
次数判断模块511，用于判断t是否在预设选取方式次数内；
赋值模块512，用于次数判断模块511判断出所述t在预设选方式次数内，将t加1后赋值给t，改变选取三阶张量中的坐标点方式；
识别率计算模块513，用于次数判断模块511判断出所述t不在预设选取方式次数内，则计算得到每次选取坐标点的方式下所述广告样本的识别率；
样本选取坐标点的方式模块514，用于比较所述每次选取坐标点的方式下的所述广告样本的识别率，选取识别率最高的选取坐标点的方式。
需要说明的是，本实施例公开的广告图像的检测装置中，各个模块的工作过程可参见对应图3的方法实施例，此处不再赘述。
可选地，本发明另一实施例中，如图5所示，所述广告图像的检测装置还包括：
样本调整模块515，用于满足预定时间要求时，调整所述广告样本；
其中，样本选取模块501、样本图片提取模块502、样本图片段形成模块503、样本图片组形成模块504、样本检测模块505、样本表示模块506、选取坐标点的方式次数记录模块507、样本识别点选择模块508、样本并行匹配模块509、样本输出模块510、次数判断模块511、赋值模块512、识别率计算模块513以及样本选取坐标点的方式模块514，还用于对调整的广告样本执行相应操作，具体操作内容可参见上述实施例内容，此处不再赘述。
本实施例中，所述广告图像的检测装置还包括：
比较模块516，用于判断所述调整后的广告样本的识别率最高的选取坐标点的方式对应的广告样本的识别率，和调整前的广告样本的识别率最高的选取坐标点的方式对应的广告样本的识别率是否一致；
保留模块517，用于所述比较模块的结果为一致时，保留调整前的广告样本的识别率最高的选取坐标点的方式；
更新模块518，用于所述比较模块的结果为不一致时，将调整前的广告样本的识别率最高的选取坐标点的方式，替换为所述调整后的广告样本的识别率最高的选取坐标点的方式。
可选地，本发明另一实施例中，多个匹配模块405，包括：
计算单元，用于依次将图片组中的各个图片段中相邻的两张图片中的识别点对应的像素值向量都作差取绝对值后求和，分别得到每个图片组中每个图片段的计算结果；
比较单元，用于从每个图片组中每个图片段的计算结果中找出最大的值和第二大的值；
广告分段时间向量设置单元，用于将每个图片组的广告分段时间向量中对应最大值和第二大的值的差值大于预设阈值的图片段的值，设置为图片段中基准位置对应的时间，将所述广告分段时间向量中对应最大值和第二大的值的差值小于或者等于预设阈值的图片段的值，设置为预设数值。
需要说明的是，本实施例公开的广告图像的检测装置中，各个单元的工作过程可参见对应图2的方法实施例，此处不再赘述。
可选地，本发明另一实施例中，输出模块406，包括：
第一输出单元，用于依据所述每个图片组的广告分段时间向量，得到对应图片组中每段广告的开始时间和结束时间；
第二输出单元，用于结合所述每个图片组每段广告的开始时间和结束时间，得到所述广告视频流中每段广告的开始时间和结束时间。
需要说明的是，本实施例公开的广告图像的检测装置中，各个单元的工作过程可参见对应图1的方法实施例，此处不再赘述。
可选地，本发明另一实施例中，第一输出单元，包括：
向量检测单元，用于依次检测所述每个图片组的广告分段时间向量中对应每个图片段的值；
判断单元，用于在所述向量检测单元检测所述广告分段时间向量中对应图片段中的值为图片段中基准位置对应时间时，判断所述广告分段时间向量中对应图片段中的值与所述图片段的开始时间值的差是否等于现存广告时间值；
广告确定时间单元，用于在所述判断单元的判断结果为等于时，确定所述图片段中基准位置对应时间为一段广告的结束时间；在所述向量检测单元检测所述广告分段时间向量中对应的图片段中的值满足第一条件时，将所述图片段中基准位置对应时间为一段广告的结束时间；
其中，所述第一条件包括：所述广告分段时间向量中对应图片段中的值为图片段中基准位置对应时间、且判断所述广告分段时间向量中对应图片段中的值与图片段的开始时间值的差等于现存广告时间值；
所述向量检测单元还用于在所述判断单元的判断结果为不等于时，继续检测所述广告分段时间向量中对应下一个图片段中的值。
需要说明的是，本实施例公开的广告图像的检测装置中，各个单元的工作过程可参见对应图1的方法实施例，此处不再赘述。
对所公开的实施例的上述说明，使本领域专业技术人员能够实现或使用本发明。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本发明的精神或范围的情况下，在其它实施例中实现。因此，本发明将不会被限制于本文所示的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。
Claims (14)
1.一种广告图像的检测方法，其特征在于，包括：
提取广告视频流中基准位置的图片及其前后至少1张图片；
选择得到的每张图片中识别率高的像素点作为图片匹配时的识别点；
采用以提取的图片中基准位置的图片及其前后至少1张图片划分一段的方式，将提取的图片划段，形成图片段；
将所述图片段分为多个部分，形成图片组；其中，所述图片组中图片的数量大于所述图片段中的图片的数量；
并行将所述图片组中每个所述图片段中的基准位置的图片的识别点及基准位置前后至少1张图片的识别点进行相似度匹配，得到每个图片组的广告分段时间向量；
根据所述每个图片组的广告分段时间向量，得到所述广告视频流中每段广告的开始时间和结束时间。
2.根据权利要求1所述的广告图像的检测方法，其特征在于，所述提取所述广告视频流中基准位置的图片及其前后至少1张图片，包括：
提取所述广告视频流中现存广告最短时间倍数位置的图片及其前后至少1张图片。
3.根据权利要求1所述的广告图像的检测方法，其特征在于，所述选择得到的每张图片中识别率高的像素点作为图片匹配时的识别点，包括：
检测得到的每张图片的宽度和高度；
依据图片的宽度和高度，将得到的每张图片表示成三阶张量形式；
选择三阶张量中宽度一半位置的坐标点和高度一半位置的坐标点作为识别点。
4.根据权利要求3所述的广告图像的检测方法，其特征在于，所述三阶张量中宽度一半位置的坐标点和高度一半位置的坐标点的获得方法，包括：
选取预设数量的广告样本；
提取预设数量的广告样本中基准位置的图片及其前后至少1张图片；
采用以提取的图片中基准位置的图片及其前后至少1张图片划分为一段的方式，将提取的图片划段，形成图片段；
将所述图片段分为多个部分，形成图片组；其中，所述图片组中图片的数量大于所述图片段中图片的数量；
检测提取的图片的宽度和高度；
依据图片的宽度和高度，将提取的图片表示成三阶张量形式；
将选取三阶张量坐标点的方式的次数记为t；其中所述t的值大于1，小于或等于三阶张量的行数^3*三阶张量的列数^3；
在第t次选取坐标点的方式下选取的坐标点作为识别点；
并行将所述图片组中每个所述图片段中的基准位置图片的识别点及基准位置前后至少1张图片的识别点进行相似度匹配，得到每个图片组的广告分段时间向量；
根据所述每个图片组的广告分段时间向量，得到所述广告视频流中每段广告的开始时间和结束时间；
判断t是否在预设选取方式次数内；
如果所述t在预设选取方式次数内，将t加1后赋值给t，并对赋值后的t执行所述在第t次选取坐标点的方式下选取的坐标点作为识别点的步骤执行；
如果所述t不在预设选取方式次数内，计算得到每次选取坐标点的方式下所述广告样本的识别率；
比较所述每次选取坐标点的方式下的所述广告样本的识别率，选取识别率最高的选取坐标点的方式。
5.根据权利要求4所述的广告图像的检测方法，其特征在于，所述选取识别率最高的选取坐标点的方式之后，进一步包括：
满足预定时间要求时，调整所述广告样本；
对调整后的广告样本返回执行所述选取预设数量的广告样本的步骤，得到调整后的广告样本的识别率最高的选取坐标点的方式；
所述得到调整后的广告样本的识别率最高的选取坐标点的方式之后，还包括：
判断所述调整后的广告样本的识别率最高的选取坐标点的方式对应的广告样本的识别率，和调整前的广告样本的识别率最高的选取坐标点的方式对应的广告样本的识别率是否一致；
若一致，则保留调整前的广告样本的识别率最高的选取坐标点的方式；
若不一致，则将调整前的广告样本的识别率最高的选取坐标点的方式，替换为所述调整后的广告样本的识别率最高的选取坐标点的方式。
6.根据权利要求1所述的广告图像的检测方法，其特征在于，所述并行将所述图片组中每个所述图片段中的基准位置图片的识别点及基准位置前后至少1张图片的识别点进行相似度匹配，得到每个图片组的广告分段时间向量，包括：
依次将图片组中的各个图片段中相邻的两张图片中的识别点对应的像素值向量都作差取绝对值后求和，分别得到每个图片组中每个图片段的计算结果；
从每个图片组中每个图片段的计算结果中找出最大的值和第二大的值；
将每个图片组的广告分段时间向量中对应最大值和第二大的值的差值大于预设阈值的图片段的值，设置为图片段中基准位置对应的时间，将所述广告分段时间向量中对应最大值和第二大的值的差值小于或者等于预设阈值的图片段的值，设置为预设数值。
7.根据权利要求6所述的广告图像的检测方法，其特征在于，所述根据所述每个图片组的广告分段时间向量，得到所述广告视频流中每段广告的开始时间和结束时间，包括：
依据所述每个图片组的广告分段时间向量，得到对应图片组中每段广告的开始时间和结束时间；
结合所述每个图片组中每段广告的开始时间和结束时间，得到所述广告视频流中每段广告的开始时间和结束时间。
8.根据权利要求7所述的广告图像的检测方法，其特征在于，所述依据所述每个图片组的广告分段时间向量，得到对应图片组中每段广告的开始时间和结束时间，包括：
依次检测所述每个图片组的广告分段时间向量中对应每个图片段的值；
若所述广告分段时间向量中对应图片段中的值为图片段中基准位置对应时间，则判断所述广告分段时间向量中对应图片段中的值与所述图片段的开始时间值的差是否等于现存广告时间值；
如果等于，则所述图片段中基准位置对应时间为一段广告的结束时间；
如果不等于，则继续检测所述广告分段时间向量中对应下一个图片段中的值，直到检测到满足第一条件的图片段，并将所述图片段中基准位置对应时间为一段广告的结束时间；其中，所述第一条件包括：所述广告分段时间向量中对应图片段中的值为图片段中基准位置对应时间、且判断所述广告分段时间向量中对应图片段中的值与图片段的开始时间值的差等于现存广告时间值；
若所述广告分段时间向量中对应第一个图片段中的值为预设数值，则直接检测所述广告分段时间向量中对应下一个图片段中的值，直到检测到所述广告分段时间向量中对应图片段中的值为图片段中基准位置对应时间。
9.一种广告图像的检测装置，其特征在于，包括：
图片提取模块，用于提取广告视频流中基准位置的图片及其前后至少1张图片；
识别点选择模块，用于选择得到的每张图片中识别率高的像素点作为图片匹配时的识别点；
图片段形成模块，用于采用以提取的图片中基准位置的图片及其前后至少1张图片划分一段的方式，将提取的图片划段，形成图片段；
图片组形成模块，用于将所述图片段分为多个部分，形成图片组；其中，所述图片组中图片的数量大于所述图片段中图片的数量；
多个匹配模块，所述匹配模块的数量与所述图片组的数量相同，所述多个匹配模块并行工作，用于并行将所述图片组中每个所述图片段中的基准位置图片的识别点及基准位置前后至少1张图片的识别点进行相似度匹配，得到每个图片组的广告分段时间向量；
输出模块，用于根据所述每个图片组的广告分段时间向量，得到所述广告视频流中每段广告的开始时间和结束时间。
10.根据权利要求9所述的装置，其特征在于，所述图片提取模块包括:
图片提取子模块，用于提取所述广告视频流中现存广告最短时间倍数位置的图片及其前后至少1张图片。
11.根据权利要求9所述的装置，其特征在于，所述识别点选择模块包括：
检测单元，用于检测得到的每张图片的宽度和高度；
表示单元，用于依据图片的宽度和高度，将得到的每张图片表示成三阶张量形式；
选择单元，用于选择三阶张量中宽度一半位置的坐标点和高度一半位置的坐标点作为识别点。
12.根据权利要求9所述的装置，其特征在于，所述多个匹配模块包括：
计算单元，用于依次将图片组中的各个图片段中相邻的两张图片中的识别点对应的像素值向量都作差取绝对值后求和，分别得到每个图片组中每个图片段的计算结果；
比较单元，用于从每个图片组中每个图片段的计算结果中找出最大的值和第二大的值；
广告分段时间向量设置单元，用于将每个图片组的广告分段时间向量中对应最大值和第二大的值的差值大于预设阈值的图片段的值，设置为图片段中基准位置对应的时间，将所述广告分段时间向量中对应最大值和第二大的值的差值小于或者等于预设阈值的图片段的值，设置为预设数值。
13.根据权利要求12所述的装置，其特征在于，所述输出模块包括：
第一输出单元，用于依据所述每个图片组的广告分段时间向量，得到对应图片组中每段广告的开始时间和结束时间；
第二输出单元，用于结合所述每个图片组中每段广告的开始时间和结束时间，得到所述广告视频流中每段广告的开始时间和结束时间。
14.根据权利要求13所述的装置，其特征在于，所述第一输出单元包括：
向量检测单元，用于依次检测所述每个图片组的广告分段时间向量中对应每个图片段的值；
判断单元，用于在所述向量检测单元检测所述广告分段时间向量中对应图片段中的值为图片段中基准位置对应时间时，判断所述广告分段时间向量中对应图片段中的值与所述图片段的开始时间值的差是否等于现存广告时间值；
广告确定时间单元，用于在所述判断单元的判断结果为等于时，确定所述图片段中基准位置对应时间为一段广告的结束时间；在所述向量检测单元检测所述广告分段时间向量中对应的图片段中的值满足第一条件时，将所述图片段中基准位置对应时间为一段广告的结束时间；
其中，所述第一条件包括：所述广告分段时间向量中对应图片段中的值为图片段中基准位置对应时间、且判断所述广告分段时间向量中对应图片段中的值与图片段的开始时间值的差等于现存广告时间值；
所述向量检测单元还用于在所述判断单元的判断结果为不等于时，继续检测所述广告分段时间向量中对应下一个图片段中的值。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201610855543.0A CN106454509B (zh) | 2016-09-27 | 2016-09-27 | 一种广告图像的检测方法及装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201610855543.0A CN106454509B (zh) | 2016-09-27 | 2016-09-27 | 一种广告图像的检测方法及装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN106454509A true CN106454509A (zh) | 2017-02-22 |
| CN106454509B CN106454509B (zh) | 2019-09-27 |
Family
ID=58170608
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201610855543.0A Active CN106454509B (zh) | 2016-09-27 | 2016-09-27 | 一种广告图像的检测方法及装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN106454509B (zh) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108710458A (zh) * | 2018-05-09 | 2018-10-26 | 维沃移动通信有限公司 | 一种分屏控制方法和终端设备 |
| CN109740644A (zh) * | 2018-12-19 | 2019-05-10 | 惠科股份有限公司 | 用于确定画面相邻行相似度的方法 |
| CN109740643A (zh) * | 2018-12-19 | 2019-05-10 | 惠科股份有限公司 | 用于确定画面相邻行相似度的方法 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102523482A (zh) * | 2011-12-07 | 2012-06-27 | 中山大学 | 一种基于视频内容以及回归方法的广告监测技术 |
| US20140099023A1 (en) * | 2012-10-05 | 2014-04-10 | National Applied Research Laboratories | Search method for video clip |
| CN103916677A (zh) * | 2014-04-16 | 2014-07-09 | 北京酷云互动科技有限公司 | 一种广告视频识别方法和装置 |
| US20140376882A1 (en) * | 2013-06-20 | 2014-12-25 | Hon Hai Precision Industry Co., Ltd. | Computing device with video analyzing function and video analyzing method |
| CN105631487A (zh) * | 2015-12-31 | 2016-06-01 | 北京奇艺世纪科技有限公司 | 图片比对方法、装置及视频比对方法、装置 |
-
2016
- 2016-09-27 CN CN201610855543.0A patent/CN106454509B/zh active Active
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102523482A (zh) * | 2011-12-07 | 2012-06-27 | 中山大学 | 一种基于视频内容以及回归方法的广告监测技术 |
| US20140099023A1 (en) * | 2012-10-05 | 2014-04-10 | National Applied Research Laboratories | Search method for video clip |
| US20140376882A1 (en) * | 2013-06-20 | 2014-12-25 | Hon Hai Precision Industry Co., Ltd. | Computing device with video analyzing function and video analyzing method |
| CN103916677A (zh) * | 2014-04-16 | 2014-07-09 | 北京酷云互动科技有限公司 | 一种广告视频识别方法和装置 |
| CN105631487A (zh) * | 2015-12-31 | 2016-06-01 | 北京奇艺世纪科技有限公司 | 图片比对方法、装置及视频比对方法、装置 |
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108710458A (zh) * | 2018-05-09 | 2018-10-26 | 维沃移动通信有限公司 | 一种分屏控制方法和终端设备 |
| CN109740644A (zh) * | 2018-12-19 | 2019-05-10 | 惠科股份有限公司 | 用于确定画面相邻行相似度的方法 |
| CN109740643A (zh) * | 2018-12-19 | 2019-05-10 | 惠科股份有限公司 | 用于确定画面相邻行相似度的方法 |
| US11381828B2 (en) | 2018-12-19 | 2022-07-05 | HKC Corporation Limited | Method and display device for determining similarity of adjacent rows of an image |
| US11967130B2 (en) | 2018-12-19 | 2024-04-23 | HKC Corporation Limited | Method for determining similarity of adjacent rows in a picture and display device |
Also Published As
| Publication number | Publication date |
|---|---|
| CN106454509B (zh) | 2019-09-27 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN102129693B (zh) | 基于色彩直方图和全局对比度的图像视觉显著性计算方法 | |
| US20200250840A1 (en) | Shadow detection method and system for surveillance video image, and shadow removing method | |
| Recky et al. | Windows detection using k-means in cie-lab color space | |
| CN103544703B (zh) | 数字图像拼接检测方法 | |
| CN106023259B (zh) | 一种运动目标频率检测方法及装置 | |
| CN108769731A (zh) | 一种检测视频中目标视频片段的方法、装置及电子设备 | |
| CN103841401B (zh) | 用于修正三维图像的深度图的装置和方法 | |
| CN110163076A (zh) | 一种图像数据处理方法和相关装置 | |
| CN102930279B (zh) | 用于产品数量检测的图像识别方法 | |
| CN109447186A (zh) | 聚类方法及相关产品 | |
| CN104166983A (zh) | 基于结合图割(Graph Cut)的Vibe改进算法的运动目标实时提取方法 | |
| CN106612457B (zh) | 视频序列对齐方法和系统 | |
| CN103093458B (zh) | 关键帧的检测方法及装置 | |
| CN106454509A (zh) | 一种广告图像的检测方法及装置 | |
| CN104041063B (zh) | 视频的关联信息库制作和视频播放的方法、平台及系统 | |
| CN109740533A (zh) | 遮挡比例确定方法、装置和电子系统 | |
| CN110674886B (zh) | 一种融合多层级特征的视频目标检测方法 | |
| CN101640798A (zh) | 运动矢量检测装置、运动矢量检测方法以及程序 | |
| CN110910314A (zh) | 一种货架场景图像的拼接方法及装置 | |
| CN110910401A (zh) | 半自动化图像分割数据标注方法、电子装置及存储介质 | |
| JP2000235639A5 (zh) | ||
| CN102306153B (zh) | 基于归一化语义加权和规则的足球视频进球事件检测方法 | |
| CN104282013B (zh) | 一种用于前景目标检测的图像处理方法及装置 | |
| CN103871089B (zh) | 一种基于融合的图像超像素网格化方法 | |
| CN106844394B (zh) | 基于行人上下衣颜色判别的视频检索方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| C10 | Entry into substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |