CN113963305B - 一种视频关键帧和特写片段提取方法 - Google Patents
一种视频关键帧和特写片段提取方法 Download PDFInfo
- Publication number
- CN113963305B CN113963305B CN202111568084.5A CN202111568084A CN113963305B CN 113963305 B CN113963305 B CN 113963305B CN 202111568084 A CN202111568084 A CN 202111568084A CN 113963305 B CN113963305 B CN 113963305B
- Authority
- CN
- China
- Prior art keywords
- image
- video
- frame
- aim
- similarity
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000605 extraction Methods 0.000 title claims abstract description 16
- 238000012545 processing Methods 0.000 claims abstract description 42
- 238000004422 calculation algorithm Methods 0.000 claims abstract description 29
- 230000003139 buffering effect Effects 0.000 claims abstract description 4
- 238000000034 method Methods 0.000 claims description 26
- 238000001514 detection method Methods 0.000 claims description 19
- AYFVYJQAPQTCCC-GBXIJSLDSA-N L-threonine Chemical compound C[C@@H](O)[C@H](N)C(O)=O AYFVYJQAPQTCCC-GBXIJSLDSA-N 0.000 claims description 10
- 238000002789 length control Methods 0.000 claims description 3
- KRADHMIOFJQKEZ-UHFFFAOYSA-N Tri-2-ethylhexyl trimellitate Chemical compound CCCCC(CC)COC(=O)C1=CC=C(C(=O)OCC(CC)CCCC)C(C(=O)OCC(CC)CCCC)=C1 KRADHMIOFJQKEZ-UHFFFAOYSA-N 0.000 claims description 2
- 238000011161 development Methods 0.000 abstract description 5
- 210000000746 body region Anatomy 0.000 abstract description 3
- 238000004364 calculation method Methods 0.000 description 9
- 230000008569 process Effects 0.000 description 6
- 238000009499 grossing Methods 0.000 description 4
- HOWHQWFXSLOJEF-MGZLOUMQSA-N systemin Chemical compound NCCCC[C@H](N)C(=O)N[C@@H](CCSC)C(=O)N[C@@H](CCC(N)=O)C(=O)N[C@@H]([C@@H](C)O)C(=O)N[C@@H](CC(O)=O)C(=O)OC(=O)[C@@H]1CCCN1C(=O)[C@H]1N(C(=O)[C@H](CC(O)=O)NC(=O)[C@H](CCCN=C(N)N)NC(=O)[C@H](CCCCN)NC(=O)[C@H](CO)NC(=O)[C@H]2N(CCC2)C(=O)[C@H]2N(CCC2)C(=O)[C@H](CCCCN)NC(=O)[C@H](CO)NC(=O)[C@H](CCC(N)=O)NC(=O)[C@@H](NC(=O)[C@H](C)N)C(C)C)CCC1 HOWHQWFXSLOJEF-MGZLOUMQSA-N 0.000 description 4
- 108010050014 systemin Proteins 0.000 description 4
- 238000013145 classification model Methods 0.000 description 3
- 238000004590 computer program Methods 0.000 description 2
- 230000004075 alteration Effects 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 230000002349 favourable effect Effects 0.000 description 1
- 239000012634 fragment Substances 0.000 description 1
- 238000012821 model calculation Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/22—Matching criteria, e.g. proximity measures
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N17/00—Diagnosis, testing or measuring for television systems or their details
- H04N17/004—Diagnosis, testing or measuring for television systems or their details for digital television systems
Landscapes
- Engineering & Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Theoretical Computer Science (AREA)
- Bioinformatics & Cheminformatics (AREA)
- General Engineering & Computer Science (AREA)
- Bioinformatics & Computational Biology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Evolutionary Biology (AREA)
- Evolutionary Computation (AREA)
- Physics & Mathematics (AREA)
- Artificial Intelligence (AREA)
- General Physics & Mathematics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- General Health & Medical Sciences (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Image Analysis (AREA)
Abstract
本发明提供了一种视频关键帧和特写片段提取方法，包括S1，从视频源获取视频帧；S2，将视频帧输入到缓存区进行缓存；S3，将缓存区的第一帧视频帧和最后一帧视频帧分别进行灰度化处理；S4，分别对第一灰度图像和第二灰度图像进行边缘区域获取和主体区域获取；S5，计算第一相似度，计算第二相似度；S6，根据第一相似度和第二相似度判断缓存区中缓存的所有视频帧是否组成特写片段；S7，判断特写片段是否为大面积空白的视频片段；S8，将最后一帧视频帧作为关键帧，将缓存区中的所有视频帧组成的视频片段作为特写片段进行输出。本发明所需要的计算资源少，算法开发成本低，运算量小，同时也考虑了视频源的属性。
Description
技术领域
本发明涉及视频处理领域，尤其涉及一种视频关键帧和特写片段提取方法。
背景技术
在视频用户生成内容（UGC-User Generated Content）领域，有效的视频内容包含在大量无效的视频里面。与固定目的的视频素材相比，用户生成内容普遍包含不同场景的视频图像。视频关键帧和片段提取的目的在于降低图像处理的工作量、图像模型识别的运算资源和缩短结果输出时间。
当前行业在视频提取关键帧和场景的方法：1）只针对特定类型的物体和场景。比如，人群、铁塔。这时，直接调用AI分类模型能够以图像识别结果获得关键帧；2）以图像整体进行关键帧的判断，通过一定间隔的图像相似度判断图像是否属于关键帧。
当前视频提取关键帧和片段的不足：1）AI分类、推理模型过早介入视频处理。对于有多种场景（比如室内设备、室外建筑物）的视频图像，AI模型推算带来不必要的计算资源消耗和提取算法开发的成本；2）基于整体图像的相似度分析，判断具有运动主体的视频片段的准确度不高；并且，运算量较大；3）对视频的属性未有足够关注。比如，通常30帧/秒视频拍摄情况下，0.2秒（6帧）间隔判断为镜头特写；而在120帧/秒拍摄情况下，0.05秒(6帧)间隔也能够判断为镜头特写。
发明内容
本发明的目的在于公开了一种视频关键帧和特写片段提取方法，解决当前视频关键帧提取中出现AI模型推算带来不必要的计算资源消耗和提取算法开发的成本、基于整体图像的相似度分析运算量较大、未对拍摄条件进行考虑的技术问题。
为达到上述目的，本发明采用如下技术方案：
一种视频关键帧和特写片段提取方法，包括：
S1，从视频源获取视频帧；
S2，将视频帧输入到缓存区进行缓存，直到填满缓存区；
S3，将缓存区的第一帧视频帧和最后一帧视频帧分别进行灰度化处理，获得第一灰度图像和第二灰度图像；
S4，分别对第一灰度图像和第二灰度图像进行边缘区域获取，得到第一边缘区域图像和第二边缘区域图像；
分别对第一灰度图像和第二灰度图像进行主体区域获取，得到第一主体区域图像和第二主体区域图像；
S5，计算第一边缘区域图像和第二边缘区域图像之间的第一相似度，计算第一主体区域图像和第二主体区域图像之间的第二相似度；
S6，根据第一相似度和第二相似度判断缓存区中缓存的所有视频帧是否组成特写片段，若是，则进入S7，若否，则进入S1；
S7，判断特写片段是否为大面积空白的视频片段，若是，则进入S1，若否，则进入S8；
S8，将最后一帧视频帧作为关键帧，将缓存区中的所有视频帧组成的视频片段作为特写片段进行输出。
优选地，所述视频源包括视频文件或视频流。
优选地，所述缓存区的大小通过如下公式进行计算：
式中，
表示缓存区的大小，
表示视频帧的像素点的行数和列数的乘积，
表示视频源的帧率，
表示预设的时间长度。
优选地，所述S4包括：
对于第一灰度图像，以其左下角为坐标原点建立直角坐标系
；
将直角坐标系
中，将第一灰度图像中横坐标属于
和
的区域的像素点作为第一边缘区域图像中的像素点，width表示视频帧的像素点的列数；
获取第一灰度图像的中央像素点的坐标：
将第一灰度图像中横坐标属于
且纵坐标属于
区间内的像素点作为第一主体区域图像中的像素点；L表示预设的主体区域图像的像素点的行数；
对于第二灰度图像，以其左下角为坐标原点建立直角坐标系
；
在直角坐标系
中，将第二灰度图像中横坐标属于
和
的区域的像素点作为第二边缘区域图像中的像素点，
将横坐标属于
且纵坐标属于
区间内的像素点作为第二主体区域图像中的像素点。
优选地，所述S5包括：
采用SSIM算法对第一边缘区域图像和第二边缘区域图像进行计算，获得第一相似度；
采用SSIM算法对第一主体区域图像和第二主体区域图像进行计算，获得第二相似度。
优选地，所述S6包括：
若第一相似度大于thre或第二相似度大于thre，则表示缓存区中缓存的所有视频帧组成特写片段，thre表示相似度阈值。
优选地，所述S7包括：
计算第二主体区域图像中的像素点的像素值的方差，若所述方差小于预设的方差阈值，则表示所述特写片段为大面积空白的视频片段。
本发明不是通过建立AI分类模型来获取关键帧，而是通过对边缘区域和主体区域的相似性来获取关键帧，同时还根据视频源的帧率和尺寸来获取缓存区的大小。使得本发明所需要的计算资源少，算法开发成本低，运算量小，同时也考虑了视频源的属性。使得获取的关键帧更为准确。关键帧的出现时间间隔多样，本发明的输出结果优于以固定时间间隔的关键帧提取。
附图说明
利用附图对本发明作进一步说明，但附图中的实施例不构成对本发明的任何限制，对于本领域的普通技术人员，在不付出创造性劳动的前提下，还可以根据以下附图获得其它的附图。
图1，为本发明一种视频关键帧和特写片段提取方法的一种示例性实施例图。
具体实施方式
下面详细描述本发明的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，仅用于解释本发明，而不能理解为对本发明的限制。
如图1所示的一种实施例，本发明提供了一种视频关键帧和特写片段提取方法，包括：
S1，从视频源获取视频帧；
S2，将视频帧输入到缓存区进行缓存，直到填满缓存区；
S3，将缓存区的第一帧视频帧和最后一帧视频帧分别进行灰度化处理，获得第一灰度图像和第二灰度图像；
S4，分别对第一灰度图像和第二灰度图像进行边缘区域获取，得到第一边缘区域图像和第二边缘区域图像；
分别对第一灰度图像和第二灰度图像进行主体区域获取，得到第一主体区域图像和第二主体区域图像；
S5，计算第一边缘区域图像和第二边缘区域图像之间的第一相似度，计算第一主体区域图像和第二主体区域图像之间的第二相似度；
S6，根据第一相似度和第二相似度判断缓存区中缓存的所有视频帧是否组成特写片段，若是，则进入S7，若否，则进入S1；
S7，判断特写片段是否为大面积空白的视频片段，若是，则进入S1，若否，则进入S8；
S8，将最后一帧视频帧作为关键帧，将缓存区中的所有视频帧组成的视频片段作为特写片段进行输出。
优选地，所述视频源包括视频文件或视频流。
具体的，视频文件包括手机、执法仪、无人机等设备中存储的文件，视频流通过流媒体协议（rtsp、sip、rtmp、rtp等）获取。
优选地，所述S8还包括把出现在特写片段开始时间前5秒到特写片段结束时间后5秒的视频片段单独保存以方便后续的视频处理；把其中3张视频图像单独保存作为后续图文报告、AI图像识别的用途。
优选地，所述缓存区的大小通过如下公式进行计算：
式中，
表示缓存区的大小，
表示视频帧的像素点的行数和列数的乘积，
表示视频源的帧率，
表示预设的时间长度。
本发明不是通过建立AI分类模型来获取关键帧，而是通过对边缘区域和主体区域的相似性来获取关键帧，同时还根据视频源的帧率和尺寸来获取缓存区的大小。使得本发明所需要的计算资源少，算法开发成本低，运算量小，同时也考虑了视频源的属性。使得获取的关键帧更为准确。关键帧的出现时间间隔多样，本发明的输出结果优于以固定时间间隔的关键帧提取。
在一种实施方式中，
的值为0.3S。
优选地，所述S4包括：
对于第一灰度图像，以其左下角为坐标原点建立直角坐标系
；
将直角坐标系
中，将第一灰度图像中横坐标属于
和
的区域的像素点作为第一边缘区域图像中的像素点，
表示视频帧的像素点的列数；
获取第一灰度图像的中央像素点的坐标：
将第一灰度图像中横坐标属于
且纵坐标属于
区间内的像素点作为第一主体区域图像中的像素点；L表示预设的主体区域图像的像素点的行数；
对于第二灰度图像，以其左下角为坐标原点建立直角坐标系
；
在直角坐标系
中，将第二灰度图像中横坐标属于
和
的区域的像素点作为第二边缘区域图像中的像素点，
将横坐标属于
且纵坐标属于
区间内的像素点作为第二主体区域图像中的像素点。
在一种实施方式中，L的值为200。
优选地，所述S5包括：
采用SSIM算法对第一边缘区域图像和第二边缘区域图像进行计算，获得第一相似度；
采用SSIM算法对第一主体区域图像和第二主体区域图像进行计算，获得第二相似度。
具体的，除了SSIM算法之外，还可以是其它计算两幅图像之间的相似度的算法，这里不再赘述。
在一种实施方式中，所述采用SSIM算法对第一边缘区域图像和第二边缘区域图像进行计算，获得第一相似度，包括：
分别对第一边缘区域图像和第二边缘区域图像进行区域突出点处理，获得第一处理图像和第二处理图像；
使用SSIM算法对第一处理图像和第二处理图像进行计算，获得第一相似度。
区域突出点指的是图像中像素值突变的像素点，这些像素点的像素值由于光线或抖动或干扰等原因，像素值跟真实的像素值相差比较大，因此，需要先对区域突出点进行处理后再计算相似度，避免计算得到的相似度不准确。
在一种实施方式中，所述采用SSIM算法第一主体区域图像和第二主体区域图像进行计算，获得第一相似度，包括：
分别对第一主体区域图像和第二主体区域图像进行区域突出点处理，获得第三处理图像和第四处理图像；
使用SSIM算法对第三处理图像和第四处理图像进行计算，获得第二相似度。
在一种实施方式中，对第一边缘区域图像进行区域突出点处理，包括：
对第一边缘区域图像进行区域突出点检测，获取第一边缘区域中的区域突出点的集合U；
采用预设的区域突出点处理算法分别对集合U中的区域突出点进行处理，获得第一处理图像。
在一种实施方式中，采用如下公式对第一边缘区域图像进行区域突出点检测：
对于当前进行区域突出点检测的像素点aim,使用如下公式对aim进行一次检测：
若aim满足上述公式，则对aim进行二次检测；
若aim满足二次检测公式，则aim属于区域突出点，
其中，neu表示坐标为
的像素点的集合，K表示预设的常数系数，
表示像素点aim的坐标，
和
分别表示像素点aim和集合neu中的像素点i的像素值，
表示长度控制系数，
表示像素点aim和i之间的连线的长度，
表示neu内的像素点的像素值的中值，
和
分别表示neiu内的像素点的像素值的最大值和最小值；
表示预测的一次检测阈值；min表示取最小值，totm表示获取中括号内判断条件的像素点的总数，
和
分别表示像素点aim的横向梯度幅值和纵向直梯度幅值，
和
分别表示像素点i的横向梯度幅值和纵向直梯度幅值；
表示预设的梯度幅值阈值，
表示预设的二次检测阈值。
在上述实施方式中，本发明先通过对aim和neu中的像素点在像素值和距离这两方面对aim是否属于区域突出点进行一次检测，然后再将满足一次检测条件的像素点进行二次检测，这种设置方式，一次检测仅对部分相关参数进行检测，如果不符合一次检测要求，则直接切换进行区域突出点检测的像素点，有效地提高了检测的效率。而二次检测则是从梯度幅值这个方面来进行检测，一般而言，区域突出点的梯度幅值会比较大，因此，本发明能够在一次检测的基础上对像素点进行二次检测，有利于提高检测结果的准确性。
在一种实施方式中，采用预设的区域突出点处理算法分别对区域突出点进行处理，包括：
分别采用预设的第一突出点处理算法和第一突出点处理算法对区域突出点进行处理，获得第一像素值和第二像素值；
分别计算第一像素值和第二像素值的平滑系数，根据平滑系数确定区域突出点最终的像素值。
由于区域突出点的周围的像素点的像素值的分布条件一般不同，若单一地采用同一种处理算法进行处理，并不能很好地适应不同的像素值的分布条件，因此，本发明先分别使用两种处理算法获得处理结果，然后将处理结果与周围像素点的像素值之间差异较小者作为最终的处理结果。
在一种实施方式中，所述第一突出点处理算法包括：
对于区域突出点b，采用如下公式对其进行处理：
其中，neb表示区域突出点b的
大小的邻域中的像素点的集合，
表示像素点j的像素值，mid表示取中间值，
表示进行处理后得到的第一像素值。
在上述实施例中，第一突出点处理公式在像素值分布条件为区域突出点的像素值远远大于neb中的像素点的像素值的这种像素值分布条件下获得准确的处理结果。
在一种实施方式中，所述第二突出点处理算法包括：
对于区域突出点b，采用如下公式对其进行处理：
若
，则采用如下函数对b进行处理：
若
，则采用如下函数对b进行处理：
其中，
表示区域突出点处理前的像素值，
表示第二像素值，neb表示b的
大小的邻域中的像素点的集合，
表示neb中的像素点的像素值方差，thkz表示预设的方差阈值，
和
表示预设的权重系数，
表示neb中的像素点的像素值的平均值，
表示neb中的像素点k的像素值，
和
分别表示第一计算系数和第二计算系数，
表示b和k之间的距离，
在上述实施例中，第二突出点处理算法主要是用来处理像素点的分布条件为区域突出点的像素值与大于neb中的像素点的像素值相差比较大的这种情况下的区域突出点。在处理时，使用了方差阈值类进一步为区域突出点选择不同的函数来进行处理，有利于提高处理结果的准确性。在计算的过程中，通过考虑neb中的像素点与b在像素点和距离之间差别程度来为neb中不同的像素点设置了不同的计算系数，差别程度越小，则计算系数越大，通过计算系数来对neb中的像素点的像素值进行融合，从而获得准确的区域突出点处理结果。
在一种实施方式中，分别计算第一像素值和第二像素值的平滑系数，根据平滑系数确定区域突出点最终的像素值，包括：
分别将第一像素值和第二像素值作为对区域突出点进行区域突出点处理后的像素值，计算区域突出点与其8邻域中的像素点之间的标准差；
若第一像素值对应的标准差小于等于第二像素值对应的标准差，则将第一像素值作为区域突出点最终的像素值；
否则，将第二像素值作为区域突出点最终的像素值。
获取第二处理图像、第三处理图像、第四处理图像的方式与获取第一处理图像的方式一致，只是处理的图像不同，这里不再赘述。
优选地，所述S6包括：
若第一相似度大于thre或第二相似度大于thre，则表示缓存区中缓存的所有视频帧组成特写片段，thre表示相似度阈值。
在一种实施方式中，thre的值为0.8。
优选地，所述S7包括：
计算第二主体区域图像中的像素点的像素值的方差，若所述方差小于预设的方差阈值，则表示所述特写片段为大面积空白的视频片段。
在另一种实施方式中，所述S7包括：
获取最后一帧图像帧的中央区域50x200像素，以此区域随机一点作颜色填充计算；如果满足填充的像素的数量占总像素的比例超过80%，可以判断中央区域为同一颜色的图像，则表示所述特写片段为大面积空白的视频片段。
尽管已经示出和描述了本发明的实施例，本领域技术人员可以理解：在不脱离本发明的原理和宗旨的情况下可以对这些实施例进行多种变化、修改、替换和变形，本发明的范围由权利要求及其等同物限定。
需要说明的是，在本发明各个实施例中的各功能单元/模块可以集成在一个处理单元/模
块中，也可以是各个单元/模块单独物理存在，也可以是两个或两个以上单元/模块集成在一个单元/模块中。上述集成的单元/模块既可以采用硬件的形式实现，也可以采用软件功能单元/模块的形式实现。
通过以上的实施方式的描述，所属领域的技术人员可以清楚地了解应当理解，可以以硬件、软件、固件、中间件、代码或其任何恰当组合来实现这里描述的实施例。对于硬件实现，处理器可以在一个或多个下列单元中实现：专用集成电路（ASIC）、数字信号处理器（DSP）、数字信号处理设备（DSPD）、可编程逻辑器件（PLD）、现场可编程门阵列（FPGA）、处理器、控制器、微控制器、微处理器、设计用于实现这里所描述功能的其他电子单元或其组合。对于软件实现，实施例的部分或全部流程可以通过计算机程序来指令相关的硬件来完成。
实现时，可以将上述程序存储在计算机可读介质中或作为计算机可读介质上的一个或多个指令或代码进行传输。计算机可读介质包括计算机存储介质和通信介质，其中通信介质包括便于从一个地方向另一个地方传送计算机程序的任何介质。存储介质可以是计算机能够存取的任何可用介质。计算机可读介质可以包括但不限于 RAM、ROM、EEPROM、CD-ROM 或其他光盘存储、磁盘存储介质或者其他磁存储设备、或者能够用于携带或存储具有指令或数据结构形式的期望的程序代码并能够由计算机存取的任何其他介质。
Claims (6)
1.一种视频关键帧和特写片段提取方法，其特征在于，包括：
S1，从视频源获取视频帧；
S2，将视频帧输入到缓存区进行缓存，直到填满缓存区；
S3，将缓存区的第一帧视频帧和最后一帧视频帧分别进行灰度化处理，获得第一灰度图像和第二灰度图像；
S4，分别对第一灰度图像和第二灰度图像进行边缘区域获取，得到第一边缘区域图像和第二边缘区域图像；
分别对第一灰度图像和第二灰度图像进行主体区域获取，得到第一主体区域图像和第二主体区域图像；
S5，计算第一边缘区域图像和第二边缘区域图像之间的第一相似度，计算第一主体区域图像和第二主体区域图像之间的第二相似度；
S6，根据第一相似度和第二相似度判断缓存区中缓存的所有视频帧是否组成特写片段，若是，则进入S7，若否，则进入S1；
S7，判断特写片段是否为大面积空白的视频片段，若是，则进入S1，若否，则进入S8；
S8，将最后一帧视频帧作为关键帧，将缓存区中的所有视频帧组成的视频片段作为特写片段进行输出；
所述S5包括：
采用SSIM算法对第一边缘区域图像和第二边缘区域图像进行计算，获得第一相似度；
采用SSIM算法对第一主体区域图像和第二主体区域图像进行计算，获得第二相似度；
所述采用SSIM算法对第一边缘区域图像和第二边缘区域图像进行计算，获得第一相似度，包括：
分别对第一边缘区域图像和第二边缘区域图像进行区域突出点处理，获得第一处理图像和第二处理图像；
使用SSIM算法对第一处理图像和第二处理图像进行计算，获得第一相似度；
对第一边缘区域图像进行区域突出点处理，包括：
对第一边缘区域图像进行区域突出点检测，获取第一边缘区域中的区域突出点的集合U；
采用预设的区域突出点处理算法分别对集合U中的区域突出点进行处理，获得第一处理图像；
采用如下公式对第一边缘区域图像进行区域突出点检测：
对于当前进行区域突出点检测的像素点aim,使用如下公式对aim进行一次检测：
若aim满足上述公式，则对aim进行二次检测；
若aim满足二次检测公式，则aim属于区域突出点，
其中，neu表示坐标为[xaim±K,yaim±K]的像素点的集合，K表示预设的常数系数，[xaim,yaim]表示像素点aim的坐标，Gaim和Gi分别表示像素点aim和集合neu中的像素点i的像素值，δ表示长度控制系数，long(aim,i)表示像素点aim和i之间的连线的长度，Gv表示neu内的像素点的像素值的中值，Gma和Gim分别表示neu 内的像素点的像素值的最大值和最小值；sre表示预测的一次检测阈值；min表示取最小值，totm表示获取中括号内判断条件的像素点的总数，gradxaim和gradyaim分别表示像素点aim的横向梯度幅值和纵向直梯度幅值，gradxi和gradyi分别表示像素点i的横向梯度幅值和纵向直梯度幅值；totmthr表示预设的梯度幅值阈值，numthre表示预设的二次检测阈值。
2.根据权利要求1的一种视频关键帧和特写片段提取方法，其特征在于，所述视频源包括视频文件或视频流。
3.根据权利要求1的一种视频关键帧和特写片段提取方法，其特征在于，所述缓存区的大小通过如下公式进行计算：
bufsize＝imgsize×fps×vidtime
式中，bufsize表示缓存区的大小，imgsize表示视频帧的像素点的行数和列数的乘积，fps表示视频源的帧率，vidtime表示预设的时间长度。
4.根据权利要求1的一种视频关键帧和特写片段提取方法，其特征在于，所述S4包括：
对于第一灰度图像，以其左下角为坐标原点建立直角坐标系XY1；
将直角坐标系XY1中，将第一灰度图像中横坐标属于[1,0.1width]和[0.9width,width]的区域的像素点作为第一边缘区域图像中的像素点，width表示视频帧的像素点的列数；
获取第一灰度图像的中央像素点的坐标：
将第一灰度图像中横坐标属于
且纵坐标属于
区间内的像素点作为第一主体区域图像中的像素点；L表示预设的主体区域图像的像素点的行数；
对于第二灰度图像，以其左下角为坐标原点建立直角坐标系XY2；
在直角坐标系XY2中，将第二灰度图像中横坐标属于[1,0.1width]和[0.9width,width]的区域的像素点作为第二边缘区域图像中的像素点，
将横坐标属于
且纵坐标属于
区间内的像素点作为第二主体区域图像中的像素点。
5.根据权利要求1的一种视频关键帧和特写片段提取方法，其特征在于，所述S6包括：
若第一相似度大于thre或第二相似度大于thre，则表示缓存区中缓存的所有视频帧组成特写片段，thre表示相似度阈值。
6.根据权利要求1的一种视频关键帧和特写片段提取方法，其特征在于，所述S7包括：
计算第二主体区域图像中的像素点的像素值的方差，若所述方差小于预设的方差阈值，则表示所述特写片段为大面积空白的视频片段。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111568084.5A CN113963305B (zh) | 2021-12-21 | 2021-12-21 | 一种视频关键帧和特写片段提取方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111568084.5A CN113963305B (zh) | 2021-12-21 | 2021-12-21 | 一种视频关键帧和特写片段提取方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN113963305A CN113963305A (zh) | 2022-01-21 |
| CN113963305B true CN113963305B (zh) | 2022-03-11 |
Family
ID=79473346
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202111568084.5A Active CN113963305B (zh) | 2021-12-21 | 2021-12-21 | 一种视频关键帧和特写片段提取方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113963305B (zh) |
Families Citing this family (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114973293B (zh) * | 2022-06-08 | 2024-09-20 | Oppo广东移动通信有限公司 | 相似性判断方法、关键帧提取方法及装置、介质和设备 |
| CN115033740A (zh) * | 2022-08-09 | 2022-09-09 | 杭州实在智能科技有限公司 | 一种rpa流程视频关键帧抽取和元素定位方法 |
| CN117710870B (zh) * | 2024-02-05 | 2024-04-30 | 武汉博特智能科技有限公司 | 基于大数据技术的互联网内容监测方法、设备及存储介质 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105243649A (zh) * | 2015-11-09 | 2016-01-13 | 天津大学 | 基于二次噪点检测的图像降噪方法 |
| WO2019085941A1 (zh) * | 2017-10-31 | 2019-05-09 | 腾讯科技（深圳）有限公司 | 一种关键帧提取方法、装置和存储介质 |
| CN110580705A (zh) * | 2019-11-08 | 2019-12-17 | 江苏省测绘工程院 | 一种基于双域图信号滤波检测建筑物边缘点的方法 |
| CN112990191A (zh) * | 2021-01-06 | 2021-06-18 | 中国电子科技集团公司信息科学研究院 | 一种基于字幕视频的镜头边界检测与关键帧提取方法 |
Family Cites Families (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101990093A (zh) * | 2009-08-06 | 2011-03-23 | 索尼株式会社 | 检测视频中的重放片段的方法和设备 |
| CN108229290B (zh) * | 2017-07-26 | 2021-03-02 | 北京市商汤科技开发有限公司 | 视频物体分割方法和装置、电子设备、存储介质 |
| CN109525901B (zh) * | 2018-11-27 | 2020-08-25 | Oppo广东移动通信有限公司 | 视频处理方法、装置、电子设备及计算机可读介质 |
| CN111079793A (zh) * | 2019-11-21 | 2020-04-28 | 北京云聚智慧科技有限公司 | 图标相似度的确定方法和电子设备 |
| CN112651953B (zh) * | 2020-12-31 | 2024-03-15 | 平安国际智慧城市科技股份有限公司 | 图片相似度计算方法、装置、计算机设备及存储介质 |
-
2021
- 2021-12-21 CN CN202111568084.5A patent/CN113963305B/zh active Active
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105243649A (zh) * | 2015-11-09 | 2016-01-13 | 天津大学 | 基于二次噪点检测的图像降噪方法 |
| WO2019085941A1 (zh) * | 2017-10-31 | 2019-05-09 | 腾讯科技（深圳）有限公司 | 一种关键帧提取方法、装置和存储介质 |
| CN110580705A (zh) * | 2019-11-08 | 2019-12-17 | 江苏省测绘工程院 | 一种基于双域图信号滤波检测建筑物边缘点的方法 |
| CN112990191A (zh) * | 2021-01-06 | 2021-06-18 | 中国电子科技集团公司信息科学研究院 | 一种基于字幕视频的镜头边界检测与关键帧提取方法 |
Non-Patent Citations (3)
| Title |
|---|
| Adaptive multichannel detectors for distributed target based on gradient test;Peiqin Tang 等;《Signal Processing》;20211006;1-7 * |
| 基于视觉检测的注塑品缺陷检测系统设计;曾小波 等;《数字技术与应用》;20201031;第38卷(第10期);116-118 * |
| 漆画图像细节纹理自适应滤噪技术仿真;姚建平，周璇;《计算机仿真》;20190331;第36卷(第3期);393-396 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN113963305A (zh) | 2022-01-21 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN113963305B (zh) | 一种视频关键帧和特写片段提取方法 | |
| CN110334635B (zh) | 主体追踪方法、装置、电子设备和计算机可读存储介质 | |
| CN109785291B (zh) | 一种车道线自适应检测方法 | |
| US9600744B2 (en) | Adaptive interest rate control for visual search | |
| WO2018103243A1 (zh) | 一种带宽节省方法、系统、直播终端及可读取存储介质 | |
| CN110348522B (zh) | 一种图像检测识别方法及系统、电子设备、图像分类网络优化方法及系统 | |
| CN111988561B (zh) | 视频分析的自适应调整方法、装置、计算机设备和介质 | |
| CN112104869B (zh) | 一种视频大数据存储及转码优化系统 | |
| CN107360435B (zh) | 块效应检测方法、块噪声滤除方法及装置 | |
| US11259029B2 (en) | Method, device, apparatus for predicting video coding complexity and storage medium | |
| EP2375748A1 (en) | Method and apparatus for detecting coding artifacts in an image | |
| CN109035287B (zh) | 前景图像提取方法和装置、运动车辆识别方法和装置 | |
| US20210074001A1 (en) | Motion Detection Method and Motion Detection System with Low Computational Complexity and High Detection Accuracy | |
| CN110620924A (zh) | 编码数据的处理方法、装置、计算机设备及存储介质 | |
| CN109255752A (zh) | 图像自适应压缩方法、装置、终端及存储介质 | |
| CN111127358A (zh) | 图像处理方法、装置及存储介质 | |
| US9349069B2 (en) | Dynamic line-detection system for processors having limited internal memory | |
| CN109447022A (zh) | 一种镜头类型识别方法及装置 | |
| US10708600B2 (en) | Region of interest determination in video | |
| CN113438386B (zh) | 一种应用于视频处理的动静判定方法及装置 | |
| CN112634141B (zh) | 一种车牌矫正方法、装置、设备及介质 | |
| CN107292892B (zh) | 视频帧图像的分割方法及装置 | |
| CN117112833B (zh) | 一种基于存储空间优化的视频静态帧过滤方法及装置 | |
| CN110570441B (zh) | 一种超高清低延时视频控制方法及系统 | |
| CN109451318B (zh) | 便于vr视频编码的方法、装置、电子设备及存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| PE01 | Entry into force of the registration of the contract for pledge of patent right |
Denomination of invention: A method for extracting video keyframes and close-up segments Granted publication date: 20220311 Pledgee: China Postal Savings Bank Co.,Ltd. Guangzhou Tianhe Branch Pledgor: Networks Technology Co.,Ltd. Registration number: Y2024980009515 |
|
| PE01 | Entry into force of the registration of the contract for pledge of patent right |