CN112883899A - 基于颜色聚类的视频镜头分割方法 - Google Patents

基于颜色聚类的视频镜头分割方法 Download PDF

Info

Publication number
CN112883899A
CN112883899A CN202110267399.XA CN202110267399A CN112883899A CN 112883899 A CN112883899 A CN 112883899A CN 202110267399 A CN202110267399 A CN 202110267399A CN 112883899 A CN112883899 A CN 112883899A
Authority
CN
China
Prior art keywords
color
frame
clustering
class
color class
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202110267399.XA
Other languages
English (en)
Inventor
张宪民
吴立新
黄勇
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai Callsc Electronic Information Technology Co ltd
Original Assignee
Shanghai Callsc Electronic Information Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shanghai Callsc Electronic Information Technology Co ltd filed Critical Shanghai Callsc Electronic Information Technology Co ltd
Priority to CN202110267399.XA priority Critical patent/CN112883899A/zh
Publication of CN112883899A publication Critical patent/CN112883899A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/49—Segmenting video sequences, i.e. computational techniques such as parsing or cutting the sequence, low-level clustering or determining units such as shots or scenes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/23—Clustering techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/56—Extraction of image or video features relating to colour
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/46—Extracting features or characteristics from the video content, e.g. video fingerprints, representative shots or key frames
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/48—Matching video sequences

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Multimedia (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Engineering & Computer Science (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Computing Systems (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于颜色聚类的视频镜头分割方法，首先，在任一帧视频图像内选择一定数量的像素点构成集合，在颜色域内对该集合的像素点进行颜色聚类运算；其次，按最近邻颜色距离规则聚类每一像素点；按最近邻颜色类规则合并颜色类；然后，计算帧内每个颜色类的中心坐标(x,y,z)、计算每个颜色类的半径Radius、统计每个颜色类的像素点个数count，并构成帧内颜色类矢量及其标注；最后，计算帧间图像之间的帧内颜色类矢量的相似度，建立基于颜色类矢量图像帧间相似度估计模型；根据每一帧图像的颜色类矢量将一段视听信息媒体流聚类为镜头序列。

Description

基于颜色聚类的视频镜头分割方法
技术领域
本发明属于媒体视听信息处理领域，具体涉及一种基于颜色聚类的视频镜头分割方法。
背景技术
广播电视互联网新媒体视听信息监测监管中需要对视频序列的内容进行视频分析。镜头分割是视频分析的关键技术；
每一个视听信息流，或是CCTV-1台24小时节目流，或是手机新媒体的一段短视频流，都是若干镜头组成的。每个镜头是一段图像帧序列组成，这些帧图像时间相关、颜色空间相关、亮度分布相关、几何特征相关、内容也相关。
目前，国内外影视行业，对视听信息流进行镜头分割大多采用人工观察的方法，镜头如何分割都是通过相关操作人员观察决定。
人工观察的方法精确度及效率低，可能会影响视频的播放效果。
发明内容
本发明所要解决的技术问题是：提供一种基于颜色聚类的视频镜头分割方法，解决了现有技术中人工观察方法分割镜头精确度及效率低的问题。
本发明为解决上述技术问题采用以下技术方案：
基于颜色聚类的视频镜头分割方法，包括如下步骤：
步骤1、在任一帧视频图像内选择一定数量的像素点构成集合，在颜色域内对该集合的像素点进行颜色聚类运算；
步骤2、引入类别数的限制参数C1，按最近邻颜色距离规则聚类每一像素点；按最近邻颜色类规则合并颜色类，使得帧内颜色聚类的类别数为C1或小于C1；
步骤3、计算帧内每个颜色类的中心坐标(x,y,z)、计算每个颜色类的半径Radius、统计每个颜色类的像素点个数count，并构成帧内颜色类矢量及其标注：
{Color1((x,y,z),Radius,count)；Color2((x,y,z),Radius,count)；…ColorC1((x,y,z),Radius,count))}；
步骤4、计算帧间图像之间的帧内颜色类矢量的相似度，建立基于颜色类矢量图像帧间相似度估计模型；将每一帧图像的颜色类矢量进行相似度估计聚类分析计算；将一段视听信息媒体流聚类为镜头序列。
聚类过程中，颜色空间的坐标系可以为CIE1931为基础的各类颜色表达空间。
所述颜色表达空间包括CIE-RGB、YUV、YCbCr、RGB、HSV。
步骤1中，在任一帧视频图像内至少选择60％的像素点构成集合。
步骤3中，计算每个颜色类的像素点个数count时，引入每个颜色类最少像素个数的限制参数C2，在镜头聚类过程中，如某个颜色类的像素点少于最少像素个数的限制参数C2，则将该颜色类去掉或将该颜色类的像素点归并到最近邻的类别中去。
聚类后的镜头序列包括：时间相关、颜色空间相关、亮度分布相关、几何特征相关、内容相关。
与现有技术相比，本发明具有以下有益效果：
1、基于颜色相关对视频镜头进行分割，直接通过计算机硬件处理，速度快，精确度高。
2、采用该方法，计算机可以基于颜色进行实时分割镜头，进一步提高了处理的速度及精确度。
附图说明
图1为本发明帧内颜色类矢量及其标注的构成结构图。
具体实施方式
下面结合附图对本发明的结构及工作过程作进一步说明。
基于颜色聚类的视频镜头分割方法，包括如下步骤：
步骤1、在任一帧视频图像内选择一定数量的像素点构成集合，在颜色域内对该集合的像素点进行颜色聚类运算；
步骤2、引入类别数的限制参数C1，按最近邻颜色距离规则聚类每一像素点；按最近邻颜色类规则合并颜色类，使得帧内颜色聚类的类别数为C1或小于C1；
步骤3、计算帧内每个颜色类的中心坐标(x,y,z)、计算每个颜色类的半径Radius、统计每个颜色类的像素点个数count，并构成帧内颜色类矢量及其标注：
{Color1((x,y,z),Radius,count)；Color2((x,y,z),Radius,count)；…ColorC1((x,y,z),Radius,count))}；
步骤4、计算帧间图像之间的帧内颜色类矢量的相似度，建立基于颜色类矢量图像帧间相似度估计模型；将每一帧图像的颜色类矢量进行相似度估计聚类分析计算；将一段视听信息媒体流聚类为镜头序列。
具体实施例，如图1所示，
基于颜色聚类的视频镜头分割方法，包括如下步骤：
步骤1、在任一帧视频图像内选择65％左右的像素点(基于某一规则的感兴趣区域内)构成集合，在颜色域内对该集合的像素点进行颜色聚类运算；颜色空间的坐标系可以是CIE1931为基础的各类颜色表达空间，如：CIE-RGB、YUV、YCbCr、RGB、HSV等；所述基于某一规则的感兴趣区域可以根据不同的应用目的做出相应的调节，也可以按照个人主观因素做出，例如：将中心位置作为基准，围绕其进行像素点选择，或者将台标附近的位置作为基准，选择相应区域的像素点，还可以根据马赛克活动范围，跑马灯活动轨迹等，也可以按照个人喜好选择像素点区域。
步骤2、引入类别数的限制参数C1，该实施例C1可以选择5，该参数能够防止聚类过程时的类别数无序增长；按最近邻颜色距离规则聚类每一像素点；按最近邻颜色类规则合并颜色类，使得帧内颜色聚类的类别数为C1或小于C1；
步骤3、计算帧内每个颜色类的中心坐标(x,y,z)、计算每个颜色类的半径Radius、统计每个颜色类的像素点个数count，并构成帧内颜色类矢量及其标注：
{Color1((x,y,z),Radius,count)；Color2((x,y,z),Radius,count)；…ColorC1((x,y,z),Radius,count))}；
计算每个颜色类的像素点个数count时，引入每个颜色类最少像素个数的限制参数C2，该实施例C2选择像素个数的7％，在镜头聚类过程中，如某个颜色类的像素点少于最少像素个数的限制参数C2，则将该颜色类去掉或将该颜色类的像素点归并到最近邻的类别中去；C2是根据实际处理情况，或者根据经验值来选择参数，与运算时间长度、计算量大小、计算负担等因素相关。
步骤4、计算帧间图像之间的帧内颜色类矢量的相似度，根据理论模型和统计经验，建立基于颜色类矢量图像帧间相似度估计模型；将每一帧图像的颜色类矢量进行相似度估计聚类分析计算；将一段视听信息媒体流聚类为镜头序列。
聚类后的镜头序列包括：时间相关、颜色空间相关、亮度分布相关、几何特征相关、内容相关。
采用该方法分割镜头，能够被进一步应用到如下领域：
1、视听信息流检测监管领域：可以建立基于镜头样本的视听信息流监测监管大数据集(堆、库)，检测和收集图像异态、声音异态镜头样本、收集内容安全违规违法事例的镜头样本，积累基于镜头样本的经验数据、利用大数据分析和机器智能算法对大数据镜头样本进行分析并学习和揭示其中的统计特征和舆论泛起模式(规律)，可以提高视听信息流监测监管效率。
2、移动互联网中的短视频流监测监管领域：需要建立基于镜头样本的大数据，统一监测监管基于镜头样本格式和存储传输标准，对移动互联网上发布的短视频建立基于镜头样本的机器索引，内容分类标准；对于互联网的舆论监测、舆论导向掌控具有重大意义；也有潜在的巨大商业价值。
3、移动互联网上各类视频平台的检测监管：如：抖音、直播引发了视频社会化、视频产业生态链、社会治理的视频化、如：互联网视频+医疗互联网视频+购物、互联网视频+教育、互联网视频+扶贫、互联网视频+居家办公等；视频社会化导致了分分秒秒都在产生巨大海量的视音频信息；如何对这些视音频信息监测监管？如何对这些视音频信息进行视频内容的分析？本发明的基于颜色聚类分析的实时高效的镜头分割方法是回答这些问题的关键技术。
以上对本发明的较佳实施例进行了描述。需要理解的是，本发明并不局限于上述特定实施方式，其中未尽详细描述的部分应该理解为用本领域中的普通方式予以实施；任何熟悉本领域的技术人员，在不脱离本发明技术方案范围情况下，都可利用上述揭示的方法和技术内容对本发明技术方案做出许多可能的变动和修饰，或修改为等同变化的等效实施例，这并不影响本发明的实质内容。因此，凡是未脱离本发明技术方案的内容，依据本发明的技术实质对以上实施例所做的任何简单修改、等同变化及修饰，均仍属于本发明技术方案保护的范围内。

Claims (6)

1.基于颜色聚类的视频镜头分割方法，其特征在于：包括如下步骤：
步骤1、在任一帧视频图像内选择一定数量的像素点构成集合，在颜色域内对该集合的像素点进行颜色聚类运算；
步骤2、引入类别数的限制参数C1，按最近邻颜色距离规则聚类每一像素点；按最近邻颜色类规则合并颜色类，使得帧内颜色聚类的类别数为C1或小于C1；
步骤3、计算帧内每个颜色类的中心坐标(x,y,z)、计算每个颜色类的半径Radius、统计每个颜色类的像素点个数count，并构成帧内颜色类矢量及其标注：
{Color1((x,y,z),Radius,count)；Color2((x,y,z),Radius,count)；…ColorC1((x,y,z),Radius,count))}；
步骤4、计算帧间图像之间的帧内颜色类矢量的相似度，建立基于颜色类矢量图像帧间相似度估计模型；将每一帧图像的颜色类矢量进行相似度估计聚类分析计算；将一段视听信息媒体流聚类为镜头序列。
2.根据权利要求1所述的基于颜色聚类的视频镜头分割方法，其特征在于：聚类过程中，颜色空间的坐标系可以为CIE1931为基础的各类颜色表达空间。
3.根据权利要求2所述的基于颜色聚类的视频镜头分割方法，其特征在于：所述颜色表达空间包括CIE-RGB、YUV、YCbCr、RGB、HSV。
4.根据权利要求1所述的基于颜色聚类的视频镜头分割方法，其特征在于：步骤1中，在任一帧视频图像内至少选择60％的像素点构成集合。
5.根据权利要求1所述的基于颜色聚类的视频镜头分割方法，其特征在于：步骤3中，计算每个颜色类的像素点个数count时，引入每个颜色类最少像素个数的限制参数C2，在镜头聚类过程中，如某个颜色类的像素点少于最少像素个数的限制参数C2，则将该颜色类去掉或将该颜色类的像素点归并到最近邻的类别中去。
6.根据权利要求1所述的基于颜色聚类的视频镜头分割方法，其特征在于：聚类后的镜头序列包括：时间相关、颜色空间相关、亮度分布相关、几何特征相关、内容相关。
CN202110267399.XA 2021-03-12 2021-03-12 基于颜色聚类的视频镜头分割方法 Pending CN112883899A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110267399.XA CN112883899A (zh) 2021-03-12 2021-03-12 基于颜色聚类的视频镜头分割方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110267399.XA CN112883899A (zh) 2021-03-12 2021-03-12 基于颜色聚类的视频镜头分割方法

Publications (1)

Publication Number Publication Date
CN112883899A true CN112883899A (zh) 2021-06-01

Family

ID=76042108

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110267399.XA Pending CN112883899A (zh) 2021-03-12 2021-03-12 基于颜色聚类的视频镜头分割方法

Country Status (1)

Country Link
CN (1) CN112883899A (zh)

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20140348378A1 (en) * 2013-05-21 2014-11-27 Peking University Founder Group Co., Ltd. Method and apparatus for detecting traffic video information
CN112347303A (zh) * 2020-11-27 2021-02-09 上海科江电子信息技术有限公司 媒体视听信息流监测监管数据样本及其标注方法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20140348378A1 (en) * 2013-05-21 2014-11-27 Peking University Founder Group Co., Ltd. Method and apparatus for detecting traffic video information
CN112347303A (zh) * 2020-11-27 2021-02-09 上海科江电子信息技术有限公司 媒体视听信息流监测监管数据样本及其标注方法

Similar Documents

Publication Publication Date Title
CN109151501B (zh) 一种视频关键帧提取方法、装置、终端设备及存储介质
CN109829443B (zh) 基于图像增强与3d卷积神经网络的视频行为识别方法
CN108353208B (zh) 优化媒体指纹保持以提高系统资源利用率
CN111026914B (zh) 视频摘要模型的训练方法、视频摘要生成方法及装置
US20160307029A1 (en) Duplicate reduction for face detection
CN111383201B (zh) 基于场景的图像处理方法、装置、智能终端及存储介质
WO2017166597A1 (zh) 一种卡通视频识别方法、装置和电子设备
US20220148194A1 (en) Image foreground segmentation algorithm based on edge knowledge transformation
CN111383244A (zh) 一种目标检测跟踪方法
CN116363554A (zh) 一种监控视频关键帧提取方法、系统、介质、设备及终端
CN114596259A (zh) 无参考的视频质量确定方法、装置、设备和存储介质
CN112347303B (zh) 媒体视听信息流监测监管数据样本及其标注方法
Ji et al. News videos anchor person detection by shot clustering
CN105120335B (zh) 一种处理电视节目图片的方法和装置
Kumar et al. Design of smart video surveillance system for indoor and outdoor scenes
CN112883899A (zh) 基于颜色聚类的视频镜头分割方法
Ouyang et al. The comparison and analysis of extracting video key frame
Bloom et al. Player tracking and stroke recognition in tennis video
Ye et al. Real-time TV logo detection based on color and HOG features
CN112258453A (zh) 一种工业故障巡检机器人定位地标检测方法
Okade et al. A novel moving object segmentation framework utilizing camera motion recognition for H. 264 compressed videos
Mahesh et al. A new hybrid video segmentation algorithm using fuzzy c means clustering
Chakraborty et al. ALO-SBD: a hybrid shot boundary detection technique for video surveillance system
CN114241397B (zh) 一种边防视频智能分析方法及系统
Xie et al. Anomaly detection in crowded scenes using genetic programming

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination