CN103559509A - 一种基于场景信息的实时目标抠像方法 - Google Patents
一种基于场景信息的实时目标抠像方法 Download PDFInfo
- Publication number
- CN103559509A CN103559509A CN201310541516.2A CN201310541516A CN103559509A CN 103559509 A CN103559509 A CN 103559509A CN 201310541516 A CN201310541516 A CN 201310541516A CN 103559509 A CN103559509 A CN 103559509A
- Authority
- CN
- China
- Prior art keywords
- picture element
- background
- picture
- classifier
- scene information
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Landscapes
- Compression Or Coding Systems Of Tv Signals (AREA)
- Studio Circuits (AREA)
- Image Analysis (AREA)
Abstract
一种基于场景信息的目标抠像方法，包含场景信息学习和实时动态抠像，场景信息学习步骤：将输入的场景图片通过预分类器从而提取肯定属于背景的像素点，从提取的背景象素点中获取全局统计信息用于进一步更新和精确化实时动态抠像过程中的预分类器。实时动态抠像步骤：将含有目标的前景图片通过预分类器去除属于背景的象素点，在剩余的象素点中逐点与对应象素点位置的背景模型进行比较，从而进一步去除属于背景的象素点，对剩余的象素点提取特征，并输入分类器用于判断该象素点是否属于透明前景还是非透明前景，对于透明前景求取对应的Alpha值。本发明可以提高算法的实时性和可靠性，同时还能判断出前景中的半透明区域以及非透明区域。
Description
技术领域
本发明属于模式识别领域，涉及图像处理和计算机视觉等技术，特别是涉及一种基于场景信息的实时目标抠像技术。
背景技术
视频抠像技术是视频编缉的一项重要技术，它被用来提取视频中感兴趣的物体，之后可以通过视频合成技术将该物体与其它视频进行合成，从而得到一段具有特殊效果的视频。除此之外，视频抠像在影视制作、远程视频会议、增强现实、数字家庭娱乐等方面有着广泛的应用。因此目标抠像的研究具有重要意义。
目前常用的目标抠像算法需要大量的人机交互过程来手动获取场景信息，如：贝叶斯方法(Bayesian matting)、泊松方法(Poissonmatting)等等。除此之外，复杂的计算过程也严重影响了相关算法在视频实时抠像中的应用。
发明内容
本发明为解决上述提到的现有的目标抠像算法需要大量的人际交互过程来手动获取场景信息的问题，提供一种基于场景信息的目标抠像方法，具体的，其技术方案如下：
一种基于场景信息的实时目标抠像方法，包含场景信息学习和实时动态抠像，
场景信息学习步骤S1：将输入的场景图片通过预分类器从而提取肯定属于背景的像素点，从提取的背景象素点中获取全局统计信息用于进一步更新和精确化实时动态抠像过程中的预分类器，并在每个象素构建用于描述背景信息的模型。
实时动态抠像步骤S2：将含有目标的前景图片通过预分类器去除属于背景的象素点，在剩余的象素点中逐点与对应象素点位置的背景模型进行比较，从而进一步去除属于背景的象素点，对剩余的象素点提取特征，并输入分类器用于判断该象素点是否属于透明前景还是非透明前景，对于透明前景求取对应的Alpha值。
优选的，所述场景信息学习步骤S1进一步包括以下步骤：
S11：使用预分类器获得肯定属于背景的象素点；
S12：对于所有可能属于背景的象素点，提取特征并统计对应特征的全局统计信息用于更新实时抠像过程中预分类器的参数；
S13：对于每个象素点构建用于描述对应象素点背景颜色特征的模型。
优选的，所述实时动态抠像步骤S2进一步包括以下步骤：
S21：使用预分类器去除背景象素点；
S22：对于S21步骤之后剩余的象素点，进一步利用背景模型去除背景象素点；
S23：对于剩下的前景象素点，提取每个象素点的特征；
S24：输入分类器，识别前景象素点为半透明象素点或者非透明象素点；
S25：对于半透明象素点，求取其alpha通道值。
优选的，所述步骤S25进一步包括以下步骤：
S251：提取特征向量F=max((b-r)，(b-g))；
S252：若F>th3，则表示该象素点为半透明象素点；
S253：alpha通道值计算公式为Alpha=(F-th3)／const，其中const为一常数。
优选的，所述实时动态抠像通过将预分类器与象素点模型串行设计，从而大幅提高抠像效率。
优选的，所述实时动态抠像利用场景的全局和象素点级统计信息来更新和精确预分类器进行目标抠像操作。
本方法针对常用算法的上述不足，通过场景信息学习过程自动获取场景中背景的相关信息用于更新和精化实时抠像过程中的分类器或模型的参数，从而避免了传统方法需要手动获取场景信息的不足。同时，通过将预分类器和背景模型的串行处理，大幅提高了系统的运行效率。除此之外，本方法还针对半透明的前景象素点提供了一种计算对应透明度的简便方法。本发明的方法基于场景信息对场景中的运动目标抠像，它可以提高算法的实时性和可靠性，同时还能判断出前景中的半透明区域以及非透明区域。除此之外，串行的抠像流程还能大幅提高抠像效率。
附图说明
图1示出基于场景的目标抠像方法的流程框图。
具体实施方式
下面参照附图结合实施例对本发明作进一步的说明。
本发明实现了一个基于场景信息的目标抠像系统。如图1示出系统的流程框图，包括场景信息学习和实时动态抠像两个部分：
场景信息学习包括步骤：将输入的场景图片通过预分类器从而提取肯定属于背景的像素点，从提取的背景象素点中获取全局统计信息用于进一步更新和精确化实时动态抠像过程中的预分类器，在每个象素点构建用于描述背景信息的模型。
实时动态抠像过程包括步骤：将含有目标的前景图片通过预分类器去除属于背景的象素点，在剩余的象素点中逐点与对应象素点位置的背景模型进行比较进一步去除属于背景的象素点，对剩余的象素点提取特征，并输入分类器用于判断该象素点是否属于透明前景还是非透明前景，对于透明前景求取对应的Alpha值。
本发明的方法需要的硬件最低配置为：Inte1Core2Quad CPU，3G内存的计算机；最低分辨率为320x240的监控摄像头。在此配置水平的硬件上，采用C++语言编程实现本方法，可以达到11fps的检测效果。
下面结合图1对本发明的方法涉及的关键步骤进行逐一详细说明，本发明的方法中的基本步骤相同，具体形式如下所述：
1.场景信息学习过程
首先，通过预分类器提取所有属于背景的象素点：
在这里，我们以蓝色背景为例进行说明，其它颜色的场景可以类似获得。在图片中，我们逐个遍历所有象素点，对于满足如下条件的象素点将被判断为背景象素点：
(b-r)>th1＆&(b-g)>th2
其中，b，g，r为每个象素点的蓝色、绿色和红色分量，th1和th2手动设置的阈值，大于0且比较小。在后面的步骤中，我们将通过全局统计信息来进一步精确两个参数的范围。
其二，统计全局信息：
对于所有通过预分类器判断属于背景的象素点，统计b-r以及b-g的直方图。针对两个直方图分别获取阈值thr和thg，使对于b-r的直方图，大于thr的区域占直方图总面积的95％以上，对于b-g的直方图，大于thg的区域占直方图总面积的95％以上。
最后，在每个象素点构建对应的背景模型：
上述步骤中，我们学习出场中背景的全局信息，这里我们将在每个象素点处构建用于描述背景的模型，从而更进一步精确描述背景。
构建模型的方法有多种例如GMM方法[1]，kernel方法[2]等等。这里我们为了提高算法的实时性能，对属于背景的每个象素点获取其在时间轴上的样本并求取其均值x和方差，对于相应象素点输入的新的样本若满足：
|xi-x|<3*
则认为该样本属于背景。若某象素点由于预分类器的判断不属于背景无法获得描述该象素点背景信息的模型时，那么该象素点的模型用最近邻象素点的背景模型代替。2.实时动态抠像过程
首先，通过预分类器去除所有属于背景的象素点：
该步骤与场景信息学习过程中的第一步类似，只是th1、th2用thr和thg代替。该步骤可以去除绝大多数背景象素点，同时由于该步骤得分类器简单，因此能大幅提高算法效率。
其二，利用背景模型进一步去除背景象素点：
对于上一步未被检测为背景的每个象素点，将对应象素点的r，g，b值与在场景信息学习过程中获得的均值和方差进行比较，若满足|xi-x|<3*条件，则被认为是背景象素点进一步去除。
其三，提取特征，并判断前景象素点的透明类别
对于经过第二步剩余的象素点，我们就认为他为前景象素点即为属于目标的象素点。在这里我们将进一步对前景象素点进行分类：半透明象素点和非透明象素点。其分类过程如下：针对每个象素点，我们提取特征向量F=max((b-r)，(b-g))。若F>th3，则表示该象素点包含较多蓝色分量为半透明象素点，反之，则为非透明象素点。其透明程度通过下述公式获得：
Alpha=(F-th3)／const
其中，const为一常值。图2(a)和(b)分别显示了包含目标蓝屏图像以及目标的抠像结果，图中圈中的区域为半透明区域。
本方法针对常用算法的上述不足，通过场景信息学习过程自动获取场景中背景的相关信息用于更新和精化实时抠像过程中的分类器或模型的参数，从而避免了传统方法需要手动获取场景信息的不足。同时，通过将预分类器和背景模型的串行处理，大幅提高了系统的运行效率。
除此之外，本方法还针对半透明的前景象素点提供了一种计算对应透明度的简便方法。
本发明的方法基于场景信息对场景中的运动目标抠像，它可以提高算法的实时性和可靠性，同时还能判断出前景中的半透明区域以及非透明区域。除此之外，串行的抠像流程还能大幅提高抠像效率。
本领域的技术人员容易理解，以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。
Claims (6)
1.一种基于场景信息的目标抠像方法，其特征在于：其包含场景信息学习和实时动态抠像，
场景信息学习步骤S1：将输入的场景图片通过预分类器从而提取肯定属于背景的像素点，从提取的背景象素点中获取全局统计信息用于进一步更新和精确化实时动态抠像过程中的预分类器，并在每个象素构建用于描述背景信息的模型。
实时动态抠像步骤S2：将含有目标的前景图片通过预分类器去除属于背景的象素点，在剩余的象素点中逐点与对应象素点位置的背景模型进行比较，从而进一步去除属于背景的象素点，对剩余的象素点提取特征，并输入分类器用于判断该象素点是否属于透明前景还是非透明前景，对于透明前景求取对应的Alpha值。
2.根据权利要求1所述的所述一种基于场景信息的目标抠像方法，其特征在于：场景信息学习步骤S1进一步包括以下步骤：
S11：使用预分类器获得肯定属于背景的象素点；
S12：对于所有可能属于背景的象素点，提取特征并统计对应特征的全局统计信息用于更新实时抠像过程中预分类器的参数；
S13：对于每个象素点构建用于描述对应象素点背景颜色特征的模型。
3.根据权利要求1所述的所述一种基于场景信息的目标抠像方法，其特征在于：所述实时动态抠像步骤S2进一步包括以下步骤：
S21：使用预分类器去除背景象素点；
S22：对于S21步骤之后剩余的象素点，进一步利用背景模型去除背景象素点；
S23：对于剩下的前景象素点，提取每个象素点的特征；
S24：输入分类器，识别前景象素点为半透明象素点或者非透明象素点；
S25：对于半透明象素点，求取其alpha通道值。
4.根据权利要求3所述的所述一种基于场景信息的目标抠像方法，其特征在于：所述步骤S25进一步包括以下步骤：
S251：提取特征向量F=max((b-r)，(b-g))；
S252：若F>th3，则表示该象素点为半透明象素点；
S253：alpha通道值计算公式为Alpha=(F-th3)／const，其中const为一常数。
5.根据权利要求1所述的所述一种基于场景信息的目标抠像方法，其特征在于：所述实时动态抠像通过将预分类器与象素点模型串行设计，从而大幅提高抠像效率。
6.根据权利要求1所述的所述一种基于场景信息的目标抠像方法，其特征在于：所述实时动态抠像利用场景的全局和象素点级统计信息来更新和精确预分类器进行目标抠像操作。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201310541516.2A CN103559509B (zh) | 2013-11-06 | 2013-11-06 | 一种基于场景信息的实时目标抠像方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201310541516.2A CN103559509B (zh) | 2013-11-06 | 2013-11-06 | 一种基于场景信息的实时目标抠像方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN103559509A true CN103559509A (zh) | 2014-02-05 |
| CN103559509B CN103559509B (zh) | 2017-02-08 |
Family
ID=50013750
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201310541516.2A Active CN103559509B (zh) | 2013-11-06 | 2013-11-06 | 一种基于场景信息的实时目标抠像方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN103559509B (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107888811A (zh) * | 2017-11-22 | 2018-04-06 | 张恩岫 | 基于人体姿态的自动抠像相机 |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN1445984A (zh) * | 2003-04-14 | 2003-10-01 | 浙江大学 | 数字图像处理中以任意图像为背景的快速抠图方法 |
| CN101094413A (zh) * | 2007-07-06 | 2007-12-26 | 浙江大学 | 用于视频监控的实时运动检测方法 |
| CN101098475A (zh) * | 2007-07-10 | 2008-01-02 | 浙江大学 | 一种数字视频处理中交互式时空一致的视频抠图方法 |
-
2013
- 2013-11-06 CN CN201310541516.2A patent/CN103559509B/zh active Active
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN1445984A (zh) * | 2003-04-14 | 2003-10-01 | 浙江大学 | 数字图像处理中以任意图像为背景的快速抠图方法 |
| CN101094413A (zh) * | 2007-07-06 | 2007-12-26 | 浙江大学 | 用于视频监控的实时运动检测方法 |
| CN101098475A (zh) * | 2007-07-10 | 2008-01-02 | 浙江大学 | 一种数字视频处理中交互式时空一致的视频抠图方法 |
Non-Patent Citations (3)
| Title |
|---|
| HONGLIANG LI 等: "FaceSeg：Automatic Face Segmentation for Real-Time Video", 《IEEE TRANSACTIONS ON MULTIMEDIA》 * |
| ZHANPENG ZHANG 等: "Learning based alpha matting using support vector regression", 《IEEE 12TH INTERNATIONAL CONFERENCE ON COMPUTER VISION》 * |
| 张展鹏 等: "数字抠像的最新研究进展", 《自动化学报》 * |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107888811A (zh) * | 2017-11-22 | 2018-04-06 | 张恩岫 | 基于人体姿态的自动抠像相机 |
| CN107888811B (zh) * | 2017-11-22 | 2018-09-14 | 黄海滨 | 基于人体姿态的自动抠像相机 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN103559509B (zh) | 2017-02-08 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| WO2022099598A1 (zh) | 一种基于图像像素相对统计特征的视频动态目标检测的方法 | |
| KR100568237B1 (ko) | 비디오 영상으로부터 이동 물체를 추출하는 장치 및 방법 | |
| CN104978567B (zh) | 基于场景分类的车辆检测方法 | |
| WO2022027931A1 (zh) | 基于视频图像的运动车辆前景检测方法 | |
| CN109918971B (zh) | 监控视频中人数检测方法及装置 | |
| CN107527370B (zh) | 一种基于camshift的目标跟踪方法 | |
| CN103810722A (zh) | 结合改进的lbp纹理和色度信息的运动目标检测方法 | |
| TW202004667A (zh) | 物件追蹤系統及方法 | |
| CN110032946A (zh) | 一种基于机器视觉的铝/铝泡罩包装药片识别与定位方法 | |
| CN105184771A (zh) | 一种自适应运动目标检测系统及检测方法 | |
| CN114885119A (zh) | 一种基于计算机视觉的智能监控报警系统及方法 | |
| CN112489055A (zh) | 融合亮度-时序特征的卫星视频动态车辆目标提取方法 | |
| CN109583414B (zh) | 基于视频检测的室内占道检测方法、设备、介质及处理器 | |
| CN103578121B (zh) | 干扰运动环境下基于共享高斯模型的运动检测方法 | |
| CN110322479B (zh) | 一种基于时空显著性的双核kcf目标跟踪方法 | |
| CN103559509A (zh) | 一种基于场景信息的实时目标抠像方法 | |
| CN108711164B (zh) | 一种基于LBP和Color特征的运动检测方法 | |
| CN109636866A (zh) | 基于降分辨率的随机聚类统计的前景提取方法 | |
| Fang et al. | Traffic sign detection based on co-training method | |
| KR20150055481A (ko) | 영상 내 그림자 화소 제거를 위한 배경 기반 방법 | |
| Zhang et al. | Background subtraction based on pixel clustering | |
| CN112926676B (zh) | 一种虚假目标识别方法、装置及计算机设备 | |
| Huang et al. | A novel algorithm for abandoned object detection | |
| Jadav et al. | Shadow Extraction and Elimination of Moving Vehicles for Tracking Vehicles | |
| Shoaib et al. | Hierarchical Bayer-pattern based background subtraction for low resource devices |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| TA01 | Transfer of patent application right | ||
| TA01 | Transfer of patent application right |
Effective date of registration: 20161223 Address after: Room 22, Great Wall Building, No. 818 Shijingshan Road, Beijing, Shijingshan District Applicant after: Huilong Foundation Science and Technology (Beijing) Co. Ltd. Address before: Haidian District City, West Third Ring Road North, 72 century economic and Trade Building (opposite the Capital Normal University), block B, floor 27, Beijing Applicant before: FEIGE KANGCAI (BEIJING) SOFTWARE TECHNOLOGY CO., LTD. |
|
| C14 | Grant of patent or utility model | ||
| GR01 | Patent grant |