CN105654058A

CN105654058A - 互联网络视频演播室环境下彩色恒定特征提取方法及系统

Info

Publication number: CN105654058A
Application number: CN201511028859.4A
Authority: CN
Inventors: 朱山; 朱光喜; 喻西香
Original assignee: Wuhan Hongruida Information Technology Co Ltd
Current assignee: Wuhan Hongruida Information Technology Co Ltd
Priority date: 2015-12-31
Filing date: 2015-12-31
Publication date: 2016-06-08

Abstract

本发明涉及图像与视频处理技术领域，具体涉及一种在互联网络视频演播室环境下实时彩色恒定特征提取方法和系统，用于对不良视频检测系统，及检测方法和系统。本发明采用离线和在线相结合的方法，即离线完互联网上演播室内主播群体皮肤与非皮肤分类概率密度的统计分类，形成每个主播人员彩色恒定特征的ROC曲线，方便在线完成查找表模式对播放的视频进行实时图像采集、处理，并与离线获取每个主播人员彩色恒定特征的ROC曲线进行比较，既保证了肤色色温检测的准确性，又确保系统运行的实时性。

Description

互联网络视频演播室环境下彩色恒定特征提取方法及系统

技术领域

本发明涉及图像与视频处理技术领域，具体涉及一种在互联网络视频演播室环境下实时彩色恒定特征提取方法和系统，用于对不良视频检测系统，及检测方法和系统。

背景技术

伴随着移动互联网井喷式发展，不良视频的制造者和追随者也在以更多种手段和方式来传播负能量，追逐高利润并毒害青少年。迄今为止关于检测不良视频的基础研究成果颇多，但付诸实际应用却遇到诸多难题。

迄今为止，现有对网络不良视频检测技术成果，尚无现成经验可以达到上述目标，根据对国际上类似技术研究成果调研分析，系统中每个层次都存在关键技术问题有待攻克。

不良图片视频内容最基本的形态是裸露皮肤，随后是语调失常，伴之举止龌龊，每阶段分别表现出异常的特征，提炼出相关特征量，是检测的基础，是提高检测率，降低误检率的关键，聚焦与研究皮肤特征提取是关键。

但是，目前流行的肤色检测过程，需要大量的训练样本，去做皮肤和非皮肤概率分布密度统计，然后运用贝叶斯分类法得到分类结果，这是传统普适的肤色特征提取方法，无法实时处理，因而不能满足互联网应用需求，这一过程限制了实际系统的执行速度和检测准确度，需要寻求新的方法优化统计与分类过程，加快分类速度。

发明内容

本发明的目的在于提供一种在互联网络视频演播室环境下实时彩色恒定特征提取方法和系统，用于对不良视频检测系统，及检测方法和系统。，解决保持互联网络视频演播流畅的情况下，有效进行不良视频检测的问题。

本发明提供了一种对互联网络视频演播室环境下实时彩色恒定特征提取方法，其包括：

在线状态下，在互联网络视频演播中按预设原则提取含有主播人员的多张视频图像；

离线状态下，统计每位主播人员的每张视频图像中主播人员图像的皮肤分类概率密度p(c/skin)、非皮肤分类概率密度p(c/_skin)；

根据θ为经验值，来获取每位主播人员彩色恒定特征的ROC曲线。

在一些实施例中，优选为，所述预设原则为：主播人员图像的皮肤和非皮肤区域比例不同，且处于0.01-99.9％之间。

在一些实施例中，优选为，所述θ来自关于皮肤裸露的接收操作特性曲线。

在一些实施例中，优选为，所述统计每位主播人员的每张视频图像中主播人员图像的皮肤分类概率密度p(c/skin)、非皮肤分类概率密度p(c/_skin)包括：

从视频图像中提取主播人员图像；

对主播人员图像中的每个像素分别提取RGB值；

根据RGB值比较，将每个像素归类于皮肤区域或非皮肤区域；

待一张视频图像中主播人员图像的所有像素均归类后，对皮肤区域统计皮肤直方图RGB像元数s[rgb]、皮肤总数Ts，对非皮肤区域统计非皮肤直方图的像元数n[rgb]、非皮肤总数Tn；

利用

p (c | s k i n) = \frac{s [r g b]}{T_{s}};

和

p (c |_s k i n) = \frac{n [r g b]}{T_{n}}

分别求取皮肤分类概率密度p(c/skin)、非皮肤分类概率密度p(c/_skin)。

在一些实施例中，优选为，所述根据RGB值比较，将每个像素归类于皮肤区域或非皮肤区域的方法包括：

初级分类，以第一原则对RGB值进行判断，将像素值进行分类，当像素值归类为皮肤区域时，进行终级分类；

终极分类，将归类为皮肤区域的RGB值与该主播人员的皮肤色温RGB范围进行比较，如果在该范围内，则最终归为皮肤区域，如果不在该范围内，则最终归为非皮肤区域。

在一些实施例中，优选为，所述第一原则为：当R＞G＞B时，为皮肤区域；当B＞R，或B＞G，或G＞R时，为非皮肤区域。

本发明还提供了一种利用所述的对互联网络视频演播室环境下实时彩色恒定特征提取方法进行互联网络视频裸露的监测方法，其包括：

在线状态下，在互联网络视频演播中按预设原则提取某主播人员的多张视频图像；

离线状态下，统计该主播人员的每张视频图像中主播人员图像的皮肤分类概率密度p(c/skin)、非皮肤分类概率密度p(c/_skin)；

根据判定该主播人员是否超过裸露要求；θ取自该主播人员彩色恒定特征的ROC曲线，所述该主播人员彩色恒定特征的ROC曲线通过上述对互联网络视频演播室环境下实时彩色恒定特征提取方法来获取。

本发明提供了一种对互联网络视频演播室环境下实时彩色恒定特征提取系统，其包括：

提取模块，用于在线状态下，在互联网络视频演播中按预设原则提取含有主播人员的多张视频图像；

统计模块，用于离线状态下，统计每位主播人员的每张视频图像中主播人员图像的皮肤分类概率密度p(c/skin)、非皮肤分类概率密度p(c/_skin)；

获取模块，用于根据θ为经验值，来获取每位主播人员彩色恒定特征的ROC曲线。

在一些实施例中，优选为，所述统计模块包括：

图像提取单元，用于从视频图像中提取主播人员图像；

RGB提取单元，用于对主播人员图像中的每个像素分别提取RGB值；

归类单元，用于根据RGB值比较，将每个像素归类于皮肤区域或非皮肤区域；

统计单元，用于待一张视频图像中主播人员图像的所有像素均归类后，对皮肤区域统计皮肤直方图RGB像元数s[rgb]、皮肤总数Ts，对非皮肤区域统计非皮肤直方图的像元数n[rgb]、非皮肤总数Tn；

求取单元，用于利用

p (c | s k i n) = \frac{s [r g b]}{T_{s}};

和

p (c |_s k i n) = \frac{n [r g b]}{T_{n}}

本发明还提供了一种包含上述对互联网络视频演播室环境下实时彩色恒定特征提取系统的装置，其包括：

存储模块，用于存储每位主播人员彩色恒定特征的ROC曲线；

比较模块，用于根据判定该主播人员是否超过裸露要求；θ取自所述存储模块中该主播人员彩色恒定特征的ROC曲线。

本发明实施例提供的一种在互联网络视频演播室环境下实时彩色恒定特征提取方法和系统，用于对不良视频检测系统，及检测方法和系统，与现有技术相比，采用离线和在线相结合的方法，即离线完互联网上演播室内主播群体皮肤与非皮肤分类概率密度的统计分类，形成每个主播人员彩色恒定特征的ROC曲线，方便在线完成查找表模式对播放的视频进行实时图像采集、处理，并与离线获取每个主播人员彩色恒定特征的ROC曲线进行比较，既保证了肤色色温检测的准确性，又确保系统运行的实时性。

附图说明

图1为本发明一个实施例中离线操作对视频图像进行肤色分类的流程结构示意图；

图2为本发明一个实施例中视频实时来检测分类流程结构示意图。

具体实施方式

下面通过具体的实施例结合附图对本发明做进一步的详细描述。

考虑到目前检验互联网络视频演播室中演播内容的不良内容时，需要依附过大的参照样本，且检测过程复杂、缓慢，无法适应实时播放的需要，为了解决该问题，本发明提供了在互联网络视频演播室环境下实时彩色恒定特征提取方法和系统，用于对不良视频检测系统，及检测方法和系统。

一种对互联网络视频演播室环境下实时彩色恒定特征提取方法，其包括：

将上述实时彩色恒定特征提取方法进行互联网络视频裸露的监测方法，具体步骤包括：

上述提取方法作为一个完整的系统在硬件上运行，同时也可以作为一个软件程序的系统运行，具体为对互联网络视频演播室环境下实时彩色恒定特征提取系统，其包括：

上述检测方法也可以在具体的硬件上运行，或者作为一个软件程序的系统运行，具体为，将包含上述对互联网络视频演播室环境下实时彩色恒定特征提取系统的检测装置，其包括：

存储模块，用于存储每位主播人员彩色恒定特征的ROC曲线；

采用离线和在线相结合的方法，即离线完互联网上演播室内主播群体皮肤与非皮肤分类概率密度的统计分类，形成每个主播人员彩色恒定特征的ROC曲线，方便在线完成查找表模式对播放的视频进行实时图像采集、处理，并与离线获取每个主播人员彩色恒定特征的ROC曲线进行比较，既保证了肤色色温检测的准确性，又确保系统运行的实时性。

下面，具体描述：

对互联网络视频演播室环境下实时彩色恒定特征提取方法，本方法针对目前流行的肤色检测过程需要大量的训练样本，去做皮肤和非皮肤概率分布密度统计及ROC判别，无法实时处理，因而不能满足互联网应用需求，需要寻求新的方法优化统计与分类过程，加快分类速度。提出一种离线和在线相结合的方法，即离线完成对于人员(这里特指演播室的主播群体)皮肤与非皮肤分类概率密度的统计分类，在线完成查找表模式实时处理，既保证了肤色色温检测的准确性，又确保系统运行的实时性。其包括：

步骤101，在线状态下，在互联网络视频演播中按预设原则提取含有主播人员的多张视频图像；

对互联网不良视频检测系统架构(图1)中关键部分”肤色特征”提取任务要求，它既要保证准确提取裸露皮肤面积(误检率不高于10％),又要确保检测期间不得干扰实时播放流程(实时流程要求：每秒25帧及以上)。

面对浩如烟海而又不受约束的图像与视频环境，例如移动互联网，要想建立一种快速准确的皮肤与非皮肤分类机制，必然遇到非常巨大的训练数据集，因为只有大的训练样本集才能给出较准确的概率密度函数估值。如何既可以保证巨大数据集的使用，又保证图像视频数据流的实时流畅，这是亟待解决的科学性与可行性的矛盾统一问题。对此，发明人提出一种离线形成主播人员ROC曲线，以备后续查找比对的想法。

为了形成每个主播人员的ROC曲线，需要采集一定量的样本，该样本采用在线提取的方式。提取中需要对主播人员在不同场景下，不同穿着，不同皮肤裸露面积的视频图像进行采集，以形成有效的样本。由于后续形成ROC曲线是不需要在线处理，所以，该在线是为了后续离线形成ROC做前提准备工作。提取视频图像的预设原则为：主播人员图像的皮肤和非皮肤区域比例不同，且处于0.01-99.9％之间。

需要说明的是，本发明并不普适于范在的互联网领域，而是注重于面向互联网视频演播室场景应用。

步骤102，离线状态下，统计每位主播人员的每张视频图像中主播人员图像的皮肤分类概率密度p(c/skin)、非皮肤分类概率密度p(c/_skin)；

离线完成对于人员(这里特指演播室的主播群体)皮肤与非皮肤分类概率密度的直方图统计，这项检测在实时检测之前进行，对主播人员建立肤色特征数据库，描出ROC曲线表，作为先验数据供系统使用，由于主播人员毕竟有限(不像互联网上人员不计其数)，而且ROC判决又无实时要求，可操作性很强。

该步骤具体包括：

步骤1021，从视频图像中提取主播人员图像；

本步骤采用了图像中提取前景图像的技术。

步骤1022，对主播人员图像中的每个像素分别提取RGB值；

由于本方法始终在图像视频的Retinex原理空间中进行，理论和实践表明所检测的彩色rgb数据，它具有比例变化、旋转变化、照度变化和部分遮挡条件下色彩相对关系稳定不变性。

步骤1023，根据RGB值比较，将每个像素归类于皮肤区域或非皮肤区域；

对主播人员在正常演播室条件下图像皮肤色温特性进行研究，概括总结出其色温关系特征规律：

(a).正常皮肤，必然是r>g>b；

(b).如果b>rorb>gorg>r则必定是非皮肤；

(c).具体到每位主播的皮肤色温参考范围，收录入相关数据库，如A138(主播编号)统计数据为：A138max{rgb〡192165138}；A138mix{rgb〡125119106}。

由此，将皮肤色温特征量化成查找表LUT，在系统检测中只需要对检测对象“对号入座”，实施简单的查找表逻辑判断，便可以实时对人员图像中每个像元属性(皮肤或非皮肤)给出明确判决，既保证了实时性又保证了准确性。因此，进行如下具体步骤：

步骤10231，初级分类，以第一原则对RGB值进行判断，将像素值进行分类，当像素值归类为皮肤区域时，进行终级分类；

所述第一原则为：当R＞G＞B时，为皮肤区域；当B＞R，或B＞G，或G＞R时，为非皮肤区域。

步骤10232，终极分类，将归类为皮肤区域的RGB值与该主播人员的皮肤色温RGB范围进行比较，如果在该范围内，则最终归为皮肤区域，如果不在该范围内，则最终归为非皮肤区域。

步骤1024，待一张视频图像中主播人员图像的所有像素均归类后，对皮肤区域统计皮肤直方图RGB像元数s[rgb]、皮肤总数Ts，对非皮肤区域统计非皮肤直方图的像元数n[rgb]、非皮肤总数Tn；

步骤1025，利用

p (c | s k i n) = \frac{s [r g b]}{T_{s}};

和

p (c |_s k i n) = \frac{n [r g b]}{T_{n}}

在SPM分类基础上皮肤色温区分法，由于人的皮肤图像色彩基本取决于血红蛋白和黑色素在光照下的反映色温，Retinex已经证明它是充分不变的，因此我们可以得到界限鲜明的两个类别。

步骤103，根据θ为经验值，来获取每位主播人员彩色恒定特征的ROC曲线。

通过给出皮肤和非皮肤模型的分类条件概率，便可用贝叶斯最大似然(ML)方法来进行分类。这里0≤θ≤1是一个门限值，用来调节“真”和“伪”之间的平衡，这门限值一般由常规关于皮肤裸露的接收操作特性曲线(ReceiverOperatingCharacteristics:ROC)来决定，ROC由训练数据集计算得来，ROC曲线反映“真”与“伪”事物的关系。

利用这种以直方图为基础的贝叶斯分类也称为皮肤概率映射(SkinProbabilityMap:SPM)对数以千计的主播肤色进行统计分析，当一位主播人员的所有视频图像根据上述各步骤处理完后，则形成了该主播人员的皮肤裸露接收操作特性曲线ROC。对所有主播人员分析后，便可以总结出每种类型主播的ROC曲线，此项工作可以离线进行，有充分的时间和空间。

将上述方法提取的每种类型、每位主播的ROC曲线，进行互联网络视频裸露的监测方法，包括：

步骤101’，在线状态下，在互联网络视频演播中按预设原则提取某主播人员的多张视频图像；

步骤102’，离线状态下，统计该主播人员的每张视频图像中主播人员图像的皮肤分类概率密度p(c/skin)、非皮肤分类概率密度p(c/_skin)；

上述两个步骤与前面提取方法相似，本检测方法的应用重点是给出了离线采集每位主播人员的ROC曲线，以方便在线快速检测。

步骤103’，根据判定该主播人员是否超过裸露要求；θ取自该主播人员彩色恒定特征的ROC曲线，所述该主播人员彩色恒定特征的ROC曲线通过上文对互联网络视频演播室环境下实时彩色恒定特征提取方法来获取。

根据对大量主播人员肤色特征的rgb分布特点分析，给出肤色rgb数值关系表达式，同时给出非肤色rgb数值关系表达式，并启用主播先验数据库，从而将肤色特征提取变成简单的查找表LUT方法，实现了实时肤色特征提取。

将上述对互联网络视频演播室环境下实时彩色恒定特征提取方法应用到具体硬件或软件系统中，其包括：

其中，统计模块包括：

图像提取单元，用于从视频图像中提取主播人员图像；

求取单元，用于利用

p (c | s k i n) = \frac{s [r g b]}{T_{s}};

和

p (c |_s k i n) = \frac{n [r g b]}{T_{n}}

将对互联网络视频演播室环境下实时彩色恒定特征提取系统的检测方法应用到硬件中或软件系统中，形成一个检测装置，其包括：

存储模块，用于存储每位主播人员彩色恒定特征的ROC曲线；

本发明的目标是首先保证对不良视频中裸露皮肤和非皮肤面积的检测精度高，检测准确率高于90％；同时保证高的检测速度和效率，检测过程不能干扰或延阻视频节目实时播放。

本发明注重于面向互联网视频演播室场景应用，从实现不良视频自动检测的系统级可行性及其效率、稳定性和可靠性的目标出发，针对现有技术上存在的不足，提出了实时彩色恒定Retinex的特征提取方法，具有多种不变特征肤色特征提取、并将复杂判决过程简化为快速查找表方法。

实施例：

该系统由4个层次组成,包括环境检测控制、特征提取、前景提取、判决警示,系统目标是实现网络演播室视频自动监测,对其中不良视频内容可以实时检测出来,并发布警示.

本发明提出实时彩色恒定Retinex的肤色特征提取方法.

图像和视频中皮肤颜色是人类最显著的基础特性，根据Retinex原理，它具有比例变化、旋转变化、照度变化和部分遮挡条件下色彩相对关系稳定不变性。因此皮肤彩色检测通常是对人体行为识别最有效的预先处理步骤，是对不良视频检测的首个关键环节。

离线和在线相结合方法

如上所述，经典的SPM模型下的最大似然(ML)条件概率分类法需要一个ROC过程，即需要接收端根据操作特性来自适应确定这个门限，这是不可逾越的步骤，具体说,执行这一步骤需要人工干预来判决,因此它是实时运作的屏障。但是，这种分类法科学性又很强，应该是准确分类的基础性步骤。为此，我们需要扬长避短、因势利导，将这个步骤做成离线过程，避开其非实时性的弱点，发挥其科学性得长处，如图1所示，它提供了对主播人员前期的肤色特性检测，并由此建立主播肤色特性数据库，作为在线实时检测的数据基础。

上述离线统计过程给出了人员皮肤颜色的rgb数据,有待总结探索其基本规律，这种探索过程是需要时间和空间的，但又是十分必要的，在此基础上我们运用回归分析法提取主播的皮肤颜色特征，将这些特征变成简单的LUT查找表(基体方法下文阐述)，使得我们能够实时检测出每位主播的肤色状况,在线实时检测过程如图2所示。

2.提出一种在SPM分类基础上皮肤色温区分法

在正常光照条件下人的皮肤色温遵循Retinex基本规律，成为颜色特征不变性，所以，我们用摄像头摄取主播室场景视频，每段时间(按需要设定，这里设为1帧/分钟，抽帧过程不妨碍视频正常播放，换句话说我们检测着主播室每分钟变化状况)抽取其中I帧，遍历求出每帧图像中每像元点的r,g,b三基色数值，可以得到界限分明的p(rgb〡skin)和p(rgb〡nskin)两类数据，即将皮肤和非皮肤两类物质区别开来。其过程如图2所示。

3.总结出人员肤色色温r、g、b之间的数量基本关系，给出人体皮肤色温应该遵循的基本规律，即r>g>b；同时也给出非人体皮肤的基本规律，如果b>rorb>gorg>r则必定是非皮肤。由此奠定了系统判决的基础。按照系统设计目标，检测目标针对主播室现场，检测人物是预先统计分析过其肤色特征、肤色色温范围rgb数值有参考值，因此检测准确度具有双重保障。

以上仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims

1.一种对互联网络视频演播室环境下实时彩色恒定特征提取方法，其特征在于，包括：

2.如权利要求1所述的对互联网络视频演播室环境下实时彩色恒定特征提取方法，其特征在于，所述预设原则为：主播人员图像的皮肤和非皮肤区域比例不同，且处于0.01-99.9％之间。

3.如权利要求1所述的对互联网络视频演播室环境下实时彩色恒定特征提取方法，其特征在于，所述θ来自关于皮肤裸露的接收操作特性曲线。

4.如权利要求1-3任一项所述的对互联网络视频演播室环境下实时彩色恒定特征提取方法，其特征在于，所述统计每位主播人员的每张视频图像中主播人员图像的皮肤分类概率密度p(c/skin)、非皮肤分类概率密度p(c/_skin)包括：

从视频图像中提取主播人员图像；

对主播人员图像中的每个像素分别提取RGB值；

根据RGB值比较，将每个像素归类于皮肤区域或非皮肤区域；

利用

p (c | s k i n) = \frac{s [r g b]}{T_{s}};

和

p (c |_s k i n) = \frac{n [r g b]}{T_{n}}

5.如权利要求4所述的对互联网络视频演播室环境下实时彩色恒定特征提取方法，其特征在于，所述根据RGB值比较，将每个像素归类于皮肤区域或非皮肤区域的方法包括：

6.如权利要求5所述的对互联网络视频演播室环境下实时彩色恒定特征提取方法，其特征在于，所述第一原则为：当R＞G＞B时，为皮肤区域；当B＞R，或B＞G，或G＞R时，为非皮肤区域。

7.一种利用权利要求1-6任一项所述的对互联网络视频演播室环境下实时彩色恒定特征提取方法进行互联网络视频裸露的监测方法，其特征在于，包括：

根据判定该主播人员是否超过裸露要求；θ取自该主播人员彩色恒定特征的ROC曲线，所述该主播人员彩色恒定特征的ROC曲线通过权利要求1-6任一项所述的对互联网络视频演播室环境下实时彩色恒定特征提取方法来获取。

8.一种对互联网络视频演播室环境下实时彩色恒定特征提取系统，其特征在于，包括：

9.如权利要求8所述的对互联网络视频演播室环境下实时彩色恒定特征提取系统，其特征在于，所述统计模块包括：

图像提取单元，用于从视频图像中提取主播人员图像；

求取单元，用于利用

p (c | s k i n) = \frac{s [r g b]}{T_{s}};

和

p (c |_s k i n) = \frac{n [r g b]}{T_{n}}

10.一种包含权利要求8或9所述的对互联网络视频演播室环境下实时彩色恒定特征提取系统的检测装置，其特征在于，包括：

存储模块，用于存储每位主播人员彩色恒定特征的ROC曲线；