CN101375607A - 帧间模式关注区视频对象分割 - Google Patents

帧间模式关注区视频对象分割 Download PDF

Info

Publication number
CN101375607A
CN101375607A CNA2007800038416A CN200780003841A CN101375607A CN 101375607 A CN101375607 A CN 101375607A CN A2007800038416 A CNA2007800038416 A CN A2007800038416A CN 200780003841 A CN200780003841 A CN 200780003841A CN 101375607 A CN101375607 A CN 101375607A
Authority
CN
China
Prior art keywords
frame
video
roi
district
feature
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CNA2007800038416A
Other languages
English (en)
Other versions
CN101375607B (zh
Inventor
王浩宏
哈立德·希勒米·厄勒-马列
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Qualcomm Inc
Original Assignee
Qualcomm Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Qualcomm Inc filed Critical Qualcomm Inc
Publication of CN101375607A publication Critical patent/CN101375607A/zh
Application granted granted Critical
Publication of CN101375607B publication Critical patent/CN101375607B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/40—Analysis of texture
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/174—Segmentation; Edge detection involving the use of two or more images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/194—Segmentation; Edge detection involving foreground-background segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/215—Motion-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G06T7/251—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments involving models
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/254—Analysis of motion involving subtraction of images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G06V40/165—Detection; Localisation; Normalisation using facial parts and geometric relationships
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G06V40/167—Detection; Localisation; Normalisation using comparisons between temporally consecutive images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G06V40/171—Local features and components; Facial parts ; Occluding parts, e.g. glasses; Geometrical relationships
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18—Eye characteristics, e.g. of the iris
    • G06V40/19—Sensors therefor
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/20—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using video object coding
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20112—Image segmentation details
    • G06T2207/20132—Image cropping
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G06T2207/30201—Face

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Health & Medical Sciences (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • General Health & Medical Sciences (AREA)
  • Human Computer Interaction (AREA)
  • Signal Processing (AREA)
  • Geometry (AREA)
  • Ophthalmology & Optometry (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Image Analysis (AREA)
  • Closed-Circuit Television Systems (AREA)

Abstract

本发明针对用于从视频序列自动分割关注区(ROI)视频对象的技术。ROI对象分割使得能够从视频序列的非ROI或“背景”区域中提取所述视频序列中观看者可能关注的选定ROI或“前景”对象。ROI对象的实例是人类面部或人体的头部及肩部区域。所揭示的技术包括组合ROI特征检测、区分割和背景减除的混合技术。所述ROI检测使用所述帧中的对应于移动前景区和所述视频序列中的先前视频帧的前景区的组合前景区。以此方式，所述揭示的技术可生成准确的前景对象和从所述视频序列中对所述前景对象实施低复杂性提取。ROI对象分割系统可实施本文所描述的技术。另外，ROI对象分割可用于各种各样的利用视频序列的多媒体应用程序，例如视频电话应用程序和视频监视应用程序。

Description

帧间模式关注区视频对象分割
技术领域
本发明涉及视频对象分割，且更明确地说，涉及用于多媒体应用程序的从视频序列中自动分割关注区(ROI)视频对象的技术。
背景技术
自动关注区(ROI)视频对象分割可用于各种各样的利用视频序列的多媒体应用程序。ROI对象可称为视频帧内的“前景”对象，且非ROI区域可称为所述视频帧内的“背景”区域。ROI对象分割使得能够从视频序列的背景中提取所述视频序列中观看者可能关注的选定前景对象。多媒体应用程序可接着优先利用从视频序列分割的ROI对象。ROI对象的典型实例是人类面部或人体的头部及肩部区域。
举例来说，在视频监视应用程序中，可将从所俘获的视频序列分割的ROI对象输入到面部数据库系统中。所述面部数据库系统可使用所分割的ROI对象(例如，人类面部)以准确匹配存储于数据库内的目标面部对象。执法机构可利用此ROI对象分割应用程序来从监视视频序列中识别嫌疑犯。
作为另一实例，在视频电话(VT)应用程序中，可将从所俘获的视频序列分割的ROI对象输入到视频序列编码器。所述视频序列编码器可将更多资源分配给所分割的ROI对象以用更高质量编码所述ROI对象以供传输到接收方。VT应用程序准许用户共享视频和音频信息以支持例如视频会议等应用程序。在VT系统中，用户可发送和接收视频信息，仅接收视频信息，或仅发送视频信息。接收方通常以从发送方传输视频信息的形式观看所接收的视频信息。通过优先编码所分割的ROI对象，接收方能够比视频序列的非ROI区域更清楚地观看ROI对象。
其它实例包括其中人员播送信息视频的视频广播应用程序，例如现场或预录新闻或娱乐广播。在此类应用程序中，可能需要优先编码对应于演播员(例如新闻记者或访谈节目主持人)的面部的ROI对象。
自动ROI对象分割通常集中在运动分析、运动分割和区分割。在一种情况下，基于统计模型的对象分割算法将ROI对象概括为基于斑点(blob-based)的统计区模型和形状模型。因此，ROI对象分割问题可转换为模型检测和追踪问题。在另一情况下，可基于来自立体相机设置的两个视图之间的差别估计而从视频帧提取前景对象。又一情况提议一种ROI对象分割算法，其包括基于区的分割途径和基于特征的分割途径两者。所述算法使用区描述符来表示对象区，所述对象区相对于运动、颜色和纹理特征来说为同类的，且在整个视频序列上对所述对象区进行追踪。
发明内容
本发明针对于用于从视频序列自动分割关注区(ROI)视频对象的技术。ROI对象分割使得能够从视频序列的非ROI或“背景”区域中提取所述视频序列的选定ROI或“前景”对象。ROI对象的实例是人类面部或人体的头部及肩部区域。所揭示的技术包括组合ROI特征检测、区分割和背景减除的混合技术。以此方式，所揭示的技术可提供准确的前景对象生成和从视频序列提取前景对象的低复杂性提取。
所揭示的技术还包括用于基于面部特征的固有特性(例如对称位置和形状特点)而检验在视频序列的视频帧内所检测到的面部特征的技术。另外，所揭示的技术包括用于在视频序列的视频帧内分离多个个别面部的所检测到的面部特征的技术。如本文描述的，多面部分离技术可映射成最大匹配方案问题，其可将计算复杂性从指数降低到多项式。以此方式，所述技术提供对视频序列的帧内的每一面部的准确特征检测。
举例来说，ROI对象分割系统可实施本文所描述的技术。ROI对象分割系统支持帧内模式分割和帧间模式分割。帧内模式分割在不使用ROI对象运动信息的情况下独立于视频序列中的其它帧来处理视频序列的一个帧。帧间模式分割基于ROI对象的运动信息而处理视频序列的帧，所述运动信息指示当前帧与视频序列的先前帧或后续帧之间的运动。ROI对象分割系统可基于一个或一个分割模式决策因素而决定对所接收的帧执行帧内模式分割还是帧间模式分割。
所揭示的技术可进一步包括用于在帧内模式分割期间通过从整个帧内的一组候选区中自动选择视频帧的位于ROI对象形状内的界定区而生成前景对象的技术。所揭示的技术还包括用于在帧间模式分割期间基于背景建模和减除而检测前景对象内的移动区的技术。成功检测移动前景区可改进帧间模式分割期间的ROI特征检测的执行速度。
在一个实施例中，本发明提供一种方法，其包含：接收视频序列的视频帧；识别所述视频帧的移动前景区，其表示相对于所述视频序列中的不同视频帧的移动；检测所述视频帧的组合前景区内的关注区(ROI)特征，所述组合前景区对应于所述移动前景区和所述不同视频帧的前景区；以及基于所述检测到的ROI特征而近似推得所述视频帧内的ROI对象的形状。
在另一实施例中，本发明提供一种计算机可读媒体，其包含使可编程处理器执行以下操作的指令：接收视频序列的视频帧；识别所述视频帧的移动前景区，其表示相对于所述视频序列中的不同视频帧的移动；检测所述视频帧的组合前景区内的关注区(ROI)特征，所述组合前景区对应于所述移动前景区和所述不同视频帧的前景区；以及基于所述检测到的ROI特征而近似推得所述视频帧内的ROI对象的形状。
在额外的实施例中，本发明提供一种包含处理器的系统，所述处理器经编程以：接收视频序列的视频帧；识别所述视频帧的移动前景区，其表示相对于所述视频序列中的不同视频帧的移动；检测所述视频帧的组合前景区内的关注区(ROI)特征，所述组合前景区对应于所述移动前景区和所述不同视频帧的前景区；以及基于所述检测到的ROI特征而近似推得所述视频帧内的ROI对象的形状。
本文描述的技术可在硬件、软件、固件或其任何组合中实施。如果在软件中实施，那么所述技术可部分由包含程序代码的计算机可读媒体实现，所述程序代码含有在由可编程处理器(包括单个处理器或任何处理器组合)执行时执行一种或一种以上本文描述的方法的指令。
附图和以下描述中陈述一个或一个以上实施例的细节。将从描述和附图以及权利要求书中容易了解其它特征、目的和优点。
附图说明
图1是说明实施用于从视频序列自动分割ROI视频对象的技术的关注区(ROI)对象分割系统的方框图。
图2A和2B是说明视频序列的视频帧内的ROI对象和非ROI区域的界定的图。
图3说明视频序列的ROI对象内所呈现的对象移动/旋转变化和对象形状变形。
图4说明视频序列的ROI对象内的人员的面部表情变化。
图5A是说明来自图1的ROI对象分割系统的示范性操作的流程图。
图5B是更详细说明来自图5A的分割模式决策的流程图。
图6是说明在对从视频源所接收的视频序列的帧执行帧内模式分割时的ROI对象分割系统的方框图。
图7到13是说明在帧内模式分割期间由ROI对象分割系统实施的技术的示范性结果的屏幕截图。
图14是说明执行帧内模式分割的ROI对象分割系统的操作的流程图。
图15是说明在对从视频源所接收的视频序列的帧执行帧间模式分割时的ROI对象分割系统的方框图。
图16和17是说明在帧间模式分割期间由ROI对象分割系统实施的技术的示范性结果的屏幕截图。
图18是说明执行帧间模式分割的ROI对象分割系统的操作的流程图。
具体实施方式
图1是说明实施用于从视频序列自动分割ROI视频对象的技术的关注区(ROI)对象分割系统14的方框图。ROI对象分割可用于各种各样的利用视频序列的多媒体应用程序，例如视频电话(VT)应用程序和视频监视应用程序。
举例来说，在视频监视应用程序中，可将从所俘获的视频序列分割的ROI对象输入到面部数据库系统中。所述面部数据库系统可使用所分割的ROI对象(例如，人类面部)以准确匹配存储于数据库内的目标面部对象。
作为另一实例，在VT应用程序中，可将从所俘获的视频序列分割的ROI对象输入到视频序列编码器。所述视频序列编码器可将更多资源分配给所分割的ROI对象以用更高质量编码所述ROI对象以供传输到接收方。
其它实例包括其中人员播送信息视频的视频广播应用程序，例如现场或预录新闻或娱乐广播。在此类应用程序中，可能需要优先编码对应于演播员(例如新闻记者或访谈节目主持人)的面部的ROI对象。
如图1所示，系统14从视频源12接收视频序列。视频源12可以是获得视频序列的视频俘获装置(例如相机)或存储预录的视频序列的视频档案。系统14自动分割来自所接收的视频序列的ROI对象。ROI对象分割系统14在ROI对象分割过程期间将从视频源12获得的视频序列的视频帧存储到视频存储器16中。在处理视频序列的每一帧之后，系统14将所分割的视频帧的输出图像发送到多媒体应用程序18。
举例来说，ROI对象可包含人类面部或人体的头部及肩部区域。ROI对象可称为视频帧内的“前景”对象，且非ROI区域可称为所述视频帧内的“背景”区域。ROI对象分割系统14从视频序列的背景区域中提取所述视频序列的帧中多媒体应用程序18的用户可能关注的一个或一个以上选定前景对象。多媒体应用程序18可优先利用从视频序列分割的ROI对象。在一个实施例中，多媒体应用程序18可包含视频监视应用程序，其并入有面部数据库系统。在另一实施例中，多媒体应用程序18可包含视频电话(VT)应用程序，其并入有支持ROI的视频编码器-解码器(CODEC)。
在多媒体应用程序18包含视频监视应用程序的实施例中，可将从所俘获的视频序列分割的ROI对象输入到面部数据库系统中。在此情况下，视频源12可以是视频档案，其存储来自监视相机的预录视频序列。面部数据库系统可使用所分割的ROI对象(例如，人类面部)以准确匹配存储于数据库内的目标面部对象。执法机构可利用ROI对象分割系统14连同面部数据库系统以便从监视视频序列中识别嫌疑犯。
在多媒体应用程序18包含VT应用程序的实施例中，可将从所俘获的视频序列分割的ROI对象输入到支持ROI的视频编码器中。VT应用程序准许用户共享视频和音频信息以支持例如视频会议等应用程序。在VT系统中，用户可发送和接收视频信息，仅接收视频信息，或仅发送视频信息。在此情况下，视频源12可以是获得视频序列的视频俘获装置，例如相机。举例来说，视频源12可包含视频相机，视频相机包括在能够参加与另一通信装置的视频电话的通信装置内。
支持ROI的视频编码器可驻留在通信装置内，所述通信装置进一步包括恰当的传输、接收、调制解调器和处理电子元件以支持有线或无线通信。举例来说，支持ROI的视频编码器可驻留在经装备以与其它终端通信的无线移动终端或有线终端内。无线移动终端的实例包括移动无线电电话、移动个人数字助理(PDA)、移动计算机或装备有无线通信能力和视频编码和/或解码能力的其它移动装置。举例来说，支持ROI的视频编码器可驻留在VT应用程序中所使用的所谓的相机电话或视频电话内。有线终端的实例包括桌上型计算机、视频电话、网络器具、机顶盒、交互式电视等。
支持ROI的视频编码器可优先编码所分割的ROI对象，所述ROI对象包括在从ROI对象分割系统14接收的输出图像中。举例来说，支持ROI的视频编码器可向视频帧的ROI对象分配额外的编码位且向视频帧的非ROI区域分配降低数目的编码位。明确地说，在移动应用程序中，可用于编码视频帧的编码位的量可能较低且根据无线信道条件而改变。因此，向ROI对象优先分配编码位可有助于改进ROI对象的视觉质量，同时有效符合适用的位速率要求。因此，通过优先编码ROI对象，接收方能够比视频序列的非ROI区域更清楚地观看ROI对象。接着可经由有线或无线通信信道将所编码的视频帧传输到另一通信装置。
如上所述，ROI对象分割系统14可实施用于从视频序列自动分割ROI视频对象的技术。所揭示的技术包括组合检测视频序列的视频帧内的ROI特征(即，面罩和面部特征)、将视频帧分割成多个候选区和基于所述视频帧和所述视频序列的先前视频帧而执行背景(非ROI)减除的混合技术。以此方式，所揭示的技术可提供准确的前景(ROI)对象生成和从视频序列中的帧提取前景对象的低复杂性提取。
所揭示的技术还包括用于基于面部特征的固有特性(例如对称位置和形状特点)而检验在视频序列的视频帧内所检测到的面部特征的技术。另外，所揭示的技术包括用于在视频序列的视频帧内分离多个个别面部的所检测到的面部特征的技术。如本文描述的，多面部分离技术可映射成最大匹配方案问题，其可将计算复杂性从指数降低到多项式。以此方式，所述技术提供对视频序列的帧内的每一面部的准确特征检测并降低处理要求。
ROI对象分割系统14支持多个(例如，两个)分割模式：帧内模式和帧间模式。帧内模式分割独立于视频序列中的其它帧而处理所述视频序列的一个帧。在此情况下，不使用ROI对象运动信息。帧内模式分割是第一高复杂性分割模式。帧间模式分割是第二低复杂性分割模式，其基于先前或后续帧信息而处理视频序列的帧，且通常是较低复杂性分割模式。帧间模式分割利用当前帧与视频序列的一个或一个以上先前帧或后续帧之间的ROI对象的运动信息。因此，帧间模式分割是相对低复杂性分割模式。
ROI对象分割系统14可基于一个或一个以上分割模式决策因素而决定对所接收的帧执行帧内模式分割还是帧间模式分割。在选择高复杂性分割模式时，应用在不参考视频帧的运动信息的情况下分割从视频帧分割ROI对象(即，帧内模式分割)。在选择低复杂性分割模式时，应用基于视频帧和视频序列的不同视频帧的运动信息而从视频帧分割ROI对象。
所揭示的技术进一步包括用于在帧内模式分割期间通过从整个帧内的一组候选区中自动选择视频帧的位于ROI对象形状内的界定区而生成前景对象的技术。所揭示的技术还包括用于在帧间模式分割期间基于背景建模和减除而检测前景对象内的移动区的技术。成功检测移动前景区可改进帧间模式分割期间的ROI特征检测的执行速度。背景建模和减除技术对于噪声和移动背景区来说是稳固的。所述技术还大致上比采用计算密集型运动估计操作的移动对象分割途径更有效。
在帧内模式分割的情况下，ROI对象分割系统14首先检测视频帧内的面罩且接着检测所述面罩内的面部特征，例如人类眼部和嘴部。系统14接着基于人类面部特征的几何特性和形状特点而执行特征检验以移除错误的面部特征检测。此后，系统14确定所述帧是否包括一个以上人员面部并将所检测到的面部特征分成针对各个面部的群组。基于面部特征的几何位置和ROI几何模型，近似推得ROI对象形状。举例来说，ROI几何模型可包含人类头部及肩部几何模型。
系统14对视频帧执行区生长以生成一组候选区。系统14接着通过从整个帧的所述组候选区选择位于所得ROI对象形状内的区而生成前景对象。系统14接着确定是否存在一个以上前景对象并将多个前景对象合并在一起以形成输出图像的组合前景对象。在合并所述多个前景对象之后，如果适用的话，系统14将所述分割的帧的输出图像发送到多媒体应用程序18，例如用于在监视应用程序中进行个人身份检测或在VT应用程序中进行优先编码。
在帧间模式分割的情况下，ROI对象分割系统14使用背景建模和减除技术以利用视频序列的连续视频帧的时间相关。以此方式，本文所描述的技术提供增强的效率。系统14将ROI对象内的处于当前帧与先前帧之间的移动像素分类为前景像素。系统14接着基于所述前景像素而生成移动前景区。系统14可接着检测移动前景区内的ROI特征和先前帧内的面罩和面部特征位置。以此方式，系统14降低针对视频序列的每一帧执行区分割的计算复杂性。系统14接着将移动前景区与先前帧的前景对象合并以形成输出图像，且将所述分割的帧的输出图像发送到多媒体应用程序18。
ROI对象分割系统14可在硬件、软件、固件或其任何组合中实施。举例来说，ROI对象分割系统14的各个方面可在一个或一个以上数字信号处理器(DSP)、微处理器、专用集成电路(ASIC)、现场可编程逻辑阵列(FPGA)或任何其它等效集成或离散逻辑电路以及此类组件的任何组合内实施。术语“处理器”可大体上指代前述逻辑电路中的任一者(其为单独的或结合其它逻辑电路)，且可指代此类处理器中的一者或一者以上。当在软件中实施时，归因于ROI对象分割系统14的功能性可实施为计算机可读媒体上的指令，所述计算机可读媒体例如为随机存取存储器(RAM)、只读存储器(ROM)、非易失性随机存取存储器(NVRAM)、电可擦除可编程只读存储器(EEPROM)、快闪存储器、磁性媒体、光学媒体等。执行所述指令以支持本发明中所描述的功能性的一个或一个以上方面。
图2A和2B是说明视频序列的视频帧22内的ROI对象24和非ROI区域25的界定的图。在图2B的实例中，将ROI对象描绘为头部及肩部ROI对象24。在其它实施例中，ROI对象可包含矩形ROI对象或可能具有圆形的或不规则形状的非矩形ROI对象。ROI对象24含有视频帧22中所呈现的人员的面部26。非ROI区域25(即，背景)在图2B通过阴影突出。
可通过来自图1的ROI对象分割系统14从视频序列自动分割ROI对象24。对于VT应用程序来说，通信装置可用支持ROI的编码器优先编码ROI对象24。在此情况下，ROI对象24可包含视频帧22的含有视频会议参与者的面部26的部分。其它实例包括优先编码串流视频(例如，信息视频或新闻或娱乐广播)中播送信息的人员的面部。ROI对象24的大小、形状和位置可以是固定的或可调整的，且可用多种方式界定、描述或调整。
ROI对象24准许视频发送方强调所传输的视频帧22内的个别对象，例如人员的面部26。相反，ROI对象24准许视频接收方更清楚地观看所接收的视频帧22内的所需对象。在任一情况下，用相对于非ROI区域25(例如视频帧22的背景区)的更高图像质量编码ROI对象24内的面部26。以此方式，用户能够更清楚地观看面部表情、嘴唇移动、眼部移动等。在一些实施例中，还可不仅用额外编码位而且用增强的错误检测和弹性来编码ROI对象。
图3说明视频序列的ROI对象内所呈现的对象移动/旋转和对象形状变形。明确地说，图3的帧0和1中所绘示的人员头部显著改变其位置。在图3的实例中，人员头部在帧1中相对于帧0倾斜。图4说明视频序列的ROI对象内的人员的面部表情变化。明确地说，帧0和1中所绘示的人员嘴部从大致闭合位置转变为张开位置。因此，图3和4表示视频序列的ROI对象中的大量移动的情况。
图5A是说明来自图1的ROI对象分割系统14的示范性操作的流程图。ROI对象分割系统14实施用于从视频序列自动分割ROI对象的技术。如上所述，ROI对象分割系统14支持帧内模式分割和帧间模式分割两者以处理视频序列。
ROI对象分割系统14从视频源12接收视频序列的第一帧(30)。ROI对象分割系统14对所接收的帧执行帧内模式分割(32)。帧内模式分割独立于所述视频序列中的其它帧而处理视频序列的当前帧。在帧内模式分割的情况下，ROI对象分割系统14不使用ROI对象运动信息。在执行帧内模式分割的同时，ROI对象分割系统14将视频序列的所接收帧存储在视频存储器16中。ROI对象分割系统14接着将所分割帧的输出图像发送到多媒体应用程序18(34)。
ROI对象分割系统14从视频源12接收视频序列的下一帧(36)。系统14接着作出模式决策以确定对所接收帧执行帧内模式分割还是帧间模式分割(37)。模式决策可基于一个或一个以上分割模式决策因素。举例来说，系统14可基于例如以下分割模式决策因素来决定待对所接收帧执行哪种分割模式：所接收帧的计算复杂性、所接收帧的所需分割质量、所接收帧与先前帧之间的相似量、所接收帧与先前帧之间的运动活动量、用于先前帧的分割模式和自从上一帧内模式过程以来所分割的帧数目。在其它实施例中，分割模式决策可基于额外的分割模式决策因素。
当系统14决定不执行帧内模式分割(37的否分支)时，ROI对象分割系统14基于先前帧而对所接收帧执行帧间模式分割(38)。在此情况下，ROI对象分割系统14从视频序列的先前帧(例如，从视频存储器16)检索运动信息，且使用当前帧与先前帧之间的ROI对象的运动信息。在执行帧间模式分割时，ROI对象分割系统14将视频序列的所接收帧存储在视频存储器16中。ROI对象分割系统14接着将所分割帧的输出图像发送到多媒体应用程序18(40)。
ROI对象分割系统14继续从视频源12接收视频序列的帧。当系统14决定执行帧间模式分割(例如37的“是”分支)时，ROI分割系统14再次对所接收帧执行帧内模式分割(32)。因此，ROI对象分割系统14对从视频源12接收的视频序列的一些帧执行帧内模式分割，且对视频序列的其它帧执行帧间模式分割。
图5B是更详细说明来自图5A的分割模式决策(步骤37)的流程图。ROI对象分割系统14可基于一个或一个以上分割模式决策因素而作出分割模式决策。系统14可执行图5中所说明的一个或一个以上步骤以确定待对所接收帧执行的分割模式。在一些实施例中，系统14可单个地执行所述步骤，或以任何次序组合一个或一个以上所述步骤。在其它实施例中，ROI对象分割系统14可在决定对所接收帧执行帧内模式分割还是帧间模式分割时考虑额外的分割模式决策因素。
系统14可确定所接收帧的计算复杂性(46)。举例来说，系统14可检查所接收的帧以确定所接收帧中所包括的候选ROI特征的数目。如果所述帧包括大量ROI特征，那么所接收帧可能对于帧间模式分割过程来说过于复杂而不能准确地从所述帧分割ROI对象。因此，系统14可在计算复杂性高于预定水平时决定执行帧内模式分割，以便处理高复杂性视频帧。系统14还可从最终用户确定所需分割质量(48)。举例来说，如果实施ROI分割系统14的视频通信装置的最终用户对于所接收的视频帧请求高于预定水平的分割质量，那么系统14可对所接收帧执行帧内模式分割。相反，如果最终用户对于所接收的视频帧请求低于预定水平的分割质量，那么系统14可对所接收帧执行帧间模式分割。
另外，系统14可确定所接收帧与先前帧之间的相似量(50)。举例来说，系统14可将所接收帧与先前帧进行比较，以确定所述两个帧的色彩直方图之间的相似量是否高于预定水平。所述两个帧之间的较大色彩变化可指示场景变化。在此情况下，系统14可执行帧内模式分割以便分割所接收帧内的潜在新ROI对象。如果色彩直方图在所述两个帧之间保持大致相似，那么系统14可执行帧间模式分割。
系统14可确定所接收帧与先前帧之间的运动活动量(52)。举例来说，系统14可将所接收帧与先前帧进行比较，以确定ROI对象在所述帧内的位置之间的移动量是否高于预定水平。如果ROI对象在所述两个帧内占据大致不同区域或位置，那么系统14可执行帧内模式分割。如果ROI对象在所述两个帧内占据大致相同区域或位置，那么系统14可执行帧间模式分割。
在以上步骤中，视频序列的ROI分割过程可包括以任何次序对视频序列的视频帧执行的任何数目的帧内模式分割和帧间模式分割。举例来说，可将帧内模式分割表示为0，且可将帧间模式分割表示为1。示范性视频序列分割中的一组帧的帧内模式(0)和帧间模式状态(1)可表示为：0011011110。在此情况下，分割模式决策完全基于所接收帧的或所接收帧与先前帧之间的属性。
系统14还可基于用于分割先前帧的分割模式而确定待对所接收帧执行哪种分割模式。系统14可确定先前帧是否由帧内模式过程分割(54)。如果先前帧由帧内模式过程分割，那么系统14可决定由帧间模式过程分割所接收帧。在此步骤中，视频序列的ROI分割过程可包括对视频序列的视频帧执行的任何数目的帧内模式分割和帧间模式分割，使得帧间模式分割总是跟随帧内模式分割。示范性视频序列分割中的一组帧的帧内模式(0)和帧间模式状态(1)可表示为：0110111101。在此情况下，分割模式决策完全基于先前帧的分割模式。
另外，系统14可确定自从上一帧内模式分割帧以来所分割的帧数目(56)。举例来说，系统14可在周期性基础上(例如每N个帧)决定执行帧内模式分割。在一些情况下，第N个帧可包含第10个帧。在其它实施例中，N可等于多于或少于10个帧。在此步骤中，视频序列的ROI分割过程可包括对视频序列的视频帧执行的任何数目的帧内模式分割和帧间模式分割，使得周期性执行帧内模式分割。示范性视频序列分割中的一组帧的帧内模式(0)和帧间模式状态(1)可表示为：0111011101。在此情况下，分割模式决策是基于每隔3个帧执行帧内模式分割。
图6是说明在对从视频源12接收的视频序列的帧执行帧内模式分割时的ROI对象分割系统14的方框图。在此情况下，ROI对象分割系统14独立于所述视频序列的其它帧且在没有运动信息的情况下处理视频序列的一个帧。图7到13是说明在帧内模式分割期间由ROI对象分割系统14实施的技术的示范性结果的屏幕截图。
在图6所说明的实施例中，视频源12包括色度蓝信道(Cb)60、色度红信道(Cr)61和亮度信道(Y)62。ROI对象分割系统14实施用以从自视频源12接收的视频序列的视频帧自动分割ROI对象(例如人类头部及肩部区域)的技术。所揭示的技术包括在帧内模式分割期间将基于特征和基于模型的检测与区分割组合的混合技术。
ROI对象分割系统14包括面罩检测器64，其基于从视频源12的色度蓝信道60和色度红信道61接收的蓝和红信道色度值而检测视频帧内的皮肤颜色区。面罩检测器64接着将所检测到的皮肤颜色区的像素分类为面部像素。以此方式，面罩检测器64可通过移除所接收帧内不是面部像素的像素来获得面罩。在获得面罩之后，面罩检测器64使用膨胀与腐蚀的数学形态运算以移除面罩内由面部特征(例如眼部和嘴部区)引起的噪声和孔。图7说明对标准“母女”视频测试序列的帧执行的快速面罩检测的实例。
通常，面罩检测器64使用皮肤颜色映射，其可通过存在狭窄且相容地分布在YCbCr色彩空间中的一组特定色度值而识别视频帧内的皮肤颜色区。皮肤颜色映射对于不同类型的皮肤颜色来说是稳固的。人类种族的皮肤颜色看起来不同的主要原因是皮肤的暗度或明度。换句话说，皮肤颜色由色彩的明亮度差异表征，明亮度由Y管理而非由Cr或Cb管理。因此，可仅基于所接收帧的Cr和Cb分量而实现有效的皮肤颜色映射。面罩检测器64可利用范围为Cr∈[133，173]且Cb∈[77，127]的CbCr皮肤颜色映射来检测所接收的视频帧内的皮肤颜色区。然而，不应将Cr和Cb范围认为是限制性的，且面罩检测器64可利用具有不同Cr和Cb范围的皮肤颜色映射。
在一些情况下，面罩检测器64可能不能够专门获得人类面部。如图7中所说明，所述帧内的母亲和女儿的衣服区看起来具有与皮肤色调映射所定义的色调类似的色调。因此，面罩检测器64可能错误地将衣服区选择作为面罩的一部分。本文所描述的快速面罩检测步骤移除所述帧内的一些非面部区，但可能需要进一步处理以获得并检验准确的面部区。
系统14还包括：眼部检测器66和嘴部检测器67，其检测面罩内的候选面部特征；以及特征检验模型68，其从候选眼部和嘴部中选择面部特征。通常基于关于人类面部和其特征的常识(例如面部区的椭圆形状和面部特征间的整体空间关系限制)而建立面部过滤器。因此，定位这些面部特征可用于推导视频帧内的恰当面部位置。
眼部检测器66检测由面罩检测器64获得的面罩内的候选眼部特征。眼部检测器66基于两个观测而检测候选眼部特征。第一，眼部周围的色度分量通常含有高Cb值和低Cr值。因此，眼部检测器66可基于下文给出的等式(1)而构造所述帧的色度眼部映射。
C = Cb 2 + ( 225 - Cr ) 2 + ( Cb / Cr ) 3 - - - ( 1 )
一旦获得色度眼部映射，眼部检测器66便可向所述眼部映射内的每一像素的色度(C)眼部映射值应用阈值，以定位候选眼部在眼部映射内的最明亮区。眼部检测器66接着应用形态运算以将充分接近的最明亮区合并为单个候选眼部。图8A说明“母女”视频测试序列的帧的色度眼部映射内的眼部检测的实例。
第二，眼部通常在亮度分量中含有黑暗像素和明亮像素两者。因此，灰阶形态算子可用于强调眼部区周围的亮度分量中的较明亮和较黑暗像素。眼部检测器66可基于下文给出的等式(2)而构造所述帧的亮度眼部映射。
Figure A200780003841D00171
一旦获得亮度眼部映射，眼部检测器66便可向眼部映射内的每一像素的亮度(L)眼部映射值应用阈值，以定位候选眼部在眼部映射内的最明亮区。眼部检测器66接着应用形态运算以将充分接近的最明亮区合并为单个候选眼部。图8B说明“母女”视频测试序列的帧的色度眼部映射内的眼部检测的实例。
眼部检测器66将在色度眼部映射(图8A所示)内所检测到的候选眼部与在亮度眼部映射(图8B所示)内所检测到的候选眼部组合，以找到面罩内的最终候选眼部。然而，在一些情况下，最终候选眼部仍可能含有不正确的候选眼部。可稍后在特征检验过程期间移除这些无关的候选眼部。
嘴部检测器67检测面罩检测器64所获得的面罩内的候选嘴部特征。通常，嘴部区的颜色与其它面部区相比含有较强的红分量和较弱的蓝分量。因此，在嘴部区中，色度分量Cr应大于色度分量Cb。然而，嘴部区在Cr/Cb特征中具有相对较低的响应，但在Cr2特征中具有相对较高的响应。嘴部检测器67可基于下文给出的等式(3)和(4)而构造所述帧的嘴部映射。
M = C r 2 ( C r 2 - λ Cr Cb ) 2 , 其中
                     (3)
一旦获得嘴部映射，嘴部检测器67便可向嘴部映射内的每一像素的嘴部(M)值应用阈值，以定位候选嘴部在嘴部映射内的最明亮区。嘴部检测器67接着应用形态运算以将充分接近的最明亮区合并为单个候选嘴部。图9说明“母女”视频测试序列的帧的嘴部映射内的嘴部检测的实例。
特征检验模块68检验由眼部检测器66和嘴部检测器67在面罩内检测到的候选面部特征，以从候选眼部和嘴部中选择正确的面部特征。特征检验模块68确保稳固的ROI特征检测过程。虽然上文描述的眼部和嘴部映射过程可有效分类眼部区和嘴部区，但一些错误分类仍可能导致错误的面部特征检测。特征检验模块68执行三个检验步骤以检验面罩内的候选面部特征并移除任何错误的面部特征检测。
第一，在面部形貌方面，观测到面部特征通常位于“凹谷”区(即，凹陷区)中，所述“凹谷”区由所述区内部的高强度对比度表征。因此，特征检验模块68通过执行灰阶接近和膨胀形态运算来识别所述凹谷区。特征检验模块68接着将所述帧内的候选面部特征的位置与所述帧内的凹谷区的位置进行比较。如果候选面部特征没有至少部分地与所检测到的凹谷区的一区域重叠，那么特征检验模块68将不考虑所述候选面部特征。因此，为了保留候选面部特征，特征检验模块68需要将所述特征与所识别的凹谷区中的一者相互关联。图10A说明在“母女”视频序列的帧内所识别的凹谷区。
第二，特征检验模块68基于双眼的固有特性(例如在所述帧内的对称位置和形状特点)而检验候选眼部特征。图10B说明具有各自质心O1和O2的双眼的固有特性。举例来说，双眼相对于面部的长轴A而对称，使得|AO1|＝|AO2|，双眼具有相似面积且双眼具有相似形状，其可通过投射到轴OA来进行比较。双眼还相对于各自PCA(主要成分分析)轴(PCA1和PCA2)而对称。另外，通常可在双眼上方检测到眉毛。
特征检验模块68可利用加权分值系统来检验面罩内的候选眼部特征。在此情况下，特征检验模块68基于双眼特性而核查许多基准，并为所述基准中的每一者提供分值。举例来说，特征检验模块68确定眼部质心位置是否在凹谷区内部。接下来，特征检验模块68确定眼部质心和所检测到的虹膜的位置是否大体接近。可通过将眼部中的强度值投射到横轴和纵轴上并识别对应于最小累积总强度值的点来找到虹膜位置。特征检验模块68接着确定是否在眼部上方找到了眉毛。接下来，特征检验模块68确定眼部的PCA轴是否在合理方向范围内，这可通过典型的人类双眼的经验表征来确定。特征检验模块68接着确定所述眼部是否在合理距离内具有双眼，这同样可通过经验表征来确定。接下来，特征检验模块68确定所述双眼是否具有基于轴OA的对称PCA轴。特征检验模块68接着确定所述双眼是否具有基于轴OA的对称形状。
特征检验模块68累积来自上文描述的每一基准的分值，以便从候选特征中选择正确的面部特征且构造视频帧的面部特征映射。可对针对各种个别基准而确定的分值相同地加权，或不同地加权以强调一个或一个以上基准优于其它基准。特征检验模块68将错误检测识别为累积分值低于预设阈值的那些候选面部特征。特征检验模块68接着移除这些经检测为错误的候选面部特征。
第三，特征检验模块68检验面部特征映射内由两个候选眼部和一个候选嘴部的每种可能组合得出的眼部-嘴部三角形。特征检验模块68首先检查眼部-嘴部三角形的几何形状和方位，且不再考虑不合理的眼部-嘴部三角形。被认为不合理的眼部-嘴部三角形是未大体上匹配典型人类的一系列根据经验确定的眼部-嘴部三角形几何形状的那些眼部-嘴部三角形。图10C说明“母女”视频序列的帧的面部特征映射内的两个可能的眼部-嘴部三角形(虚线)。特征检验模块68接着使用模板来检验眼部-嘴部三角形区域的斜度特点。因为人类面部是三维(3D)对象，所以整个面部区内的亮度往往是不均匀的。合理的眼部-嘴部三角形区域应含有鼻子，这使得所述斜度信息比在其它面部区域(例如下颚)中更为复杂。通过使用可从眼部-嘴部三角形区域得到的更具区别性的斜度信息，特征检验模块68可为视频帧中的面部选择正确的候选眼部和嘴部。
系统14还包括多面部分离模块70，其将由特征检验模块68所选择的面部特征分成针对所述帧内的个别面部的群组。在视频帧中包括一个以上面部的视频序列(例如所述母女序列)中，多面部分离模块70将候选眼部和嘴部组分成对应于不同面部的群组。此任务的困难有三重。第一，视频帧内所包括的面部总数目是未知的。第二，可能尚未在视频帧中检测到某些面部特征。第三，彻底核查所有潜在面部特征群组组合具有指数计算复杂性。通过将所述问题简化为将眼部与嘴部配对的任务，可将原有问题映射成图形理论问题，所述图形理论问题具有多项式计算复杂性。所得的计算复杂性降低可能对于许多应用来说是非常合意的，所述应用包括具有有限功率和处理资源的移动应用和需要快速且可能需要实时结果的其它应用。
通过应用图形理论，多面部分离模块70考虑两分图形G＝(V，E)，其中顶点组V＝{嘴部}+{双眼}且边缘组E＝{(vi，vj)}，其中vi和vj属于不同组，且节点vi与vj之间的距离在合理范围内。如果匹配S被定义为E的子集，使得S中的任何两个边缘均不入射到同一顶点或直接连接的顶点，那么所述问题变成最大匹配方案问题。以此方式，多面部分离过程是原有最大匹配方案问题的变化形式，因为在原有最大匹配方案问题定义中，对匹配的限制仅需要S中的任何两个边缘均不入射到同一顶点。
重要的是，观测将多面部分离问题转换为原有最大匹配方案问题的可能性。如果边缘组E’＝{(vi，vj)}，其中存在vk，使得在将边缘组从E扩展到EUE′之后定义为(vi，vk)∈E，(vj，vk)∈E但 ( v i , v j ) ∉ E , 那么所述问题变成原有最大匹配方案问题，不同之处只是必须包括额外的限制以使得结果匹配必须是E而非EUE′的子集。因此，多面部分离模块70可以多项式时间复杂性解决多面部分离问题。
系统14包括对象形状近似模块72，其基于ROI对象几何模型而为视频帧内的每一面部近似推得ROI对象形状。举例来说，可基于人类头部及肩部几何模型而在所述帧内近似推得ROI对象形状。在特征检验模块68获得面部的正确眼部-嘴部三角形之后，对象形状近似模块72可基于眼部-嘴部三角形的节点之间的几何关系而建立ROI对象形状，例如头部及肩部模型。
为了在帧内模式分割期间加快执行，对象形状近似模块72可使用简单的矩形模型来近似推得ROI对象形状，例如人类头部及肩部对象形状。对于在视频帧中包括一个以上面部的视频序列，在多面部分离模块70将候选眼部和嘴部分成针对不同面部的群组之后，对象形状近似模块72基于单独的眼部-嘴部三角形而为所述面部的每一者近似推得ROI对象形状。举例来说，对象形状近似模块72可为包括在视频帧内的每一面部近似推得头部及肩部对象形状。图11说明针对“母女”视频测试序列的帧内的每一面部定义的头部及肩部对象形状。
ROI对象分割系统14还包括区分割模块74，其对整个帧执行分裂与合并区生长。区分割模块74将原始帧划分成多个同类候选区。当执行分裂与合并区生长时，区分割模块74将视频帧内的相邻像素之间的关系分类到相似类别和相异类别中。可基于所述区中的平均像素强度值而确定区相似性。区分割模块74接着将所连接的相似像素群集为较小区并继续合并这些区以形成最小数目的候选区。图12说明区生长过程，其中最初将视频帧分裂为1195个区，且接着将所述区合并在一起，直到生成22个候选区为止。
系统14进一步包括对象生成模块76，其从整个帧内的候选区自动选择所述帧的位于经近似推得的ROI对象形状内的区。可将选定区认为是前景区，且可将未选区认为是背景区。对象生成模块76接着基于背景区而生成前景对象。
对象生成模块76仅从由区分割模块74生成的所述组候选区中选择位于由对象形状近似模块72近似推得的ROI对象形状内的区。如上文描述，ROI对象形状可包含含有ROI对象(例如，面部)的矩形区域，且可基于所述面部的选定眼部-嘴部三角形而估计ROI对象形状的大小。以此方式，可在ROI对象形状内而非在整个视频帧内进行进一步处理。
对象生成模块76检查视频帧内由区分割模块74生成的候选区中的每一者，且确定所述区是否位于ROI对象形状内。对象生成模块76可将在ROI对象形状内具有多于预定义百分比(例如，60％)的全部像素的区认为是前景区。对象生成模块76可接着将视频帧内的在ROI对象形状内具有少于预定义百分比的全部像素的剩余区认为是背景区。以此方式，对象生成模块76从视频帧内的前景区生成前景对象。
最后，系统14包括对象融合模块78，其将所述帧内的多个前景对象合并为最终输出图像。对于包括一个以上前景对象的视频序列，对象融合模块78合并前景对象以形成输出图像。图13说明针对视频帧内的每一面部生成前景对象且通过合并所述两个前景对象而生成输出图像。ROI对象分割系统14可接着将所分割帧的输出图像发送到多媒体应用程序18。
图14是说明执行帧内模式分割的ROI对象分割系统14的操作的流程图。本文将参看图7所说明的ROI对象分割系统14而描述所述操作。ROI对象分割系统14从视频源12接收视频序列的帧(80)。在帧内模式分割的情况下，ROI对象分割系统14独立于视频序列的其它帧且在没有运动信息的情况下处理视频序列的所接收帧。
面罩检测器64基于所述视频帧内所识别的皮肤颜色区而检测所接收帧内的面罩(82)。面罩检测器64接着将所识别的皮肤颜色区的像素分类为面部像素。以此方式，面罩检测器64可通过移除所接收帧内不是面部像素的像素而获得面罩。
眼部检测器66和嘴部检测器67接着检测所述面罩内的候选面部特征(84)。眼部检测器66可基于面罩内的像素的色度值和亮度值而检测候选眼部特征。嘴部检测器67可基于面罩内的像素的色度值而检测候选嘴部特征。特征检验模块68执行由眼部检测器66和嘴部检测器67检测的候选面部特征的检验，以选择正确的面部特征(86)。
ROI对象分割系统14接着确定所接收的视频帧是否包括一个以上面部(87)。如果视频帧确实包括一个以上面部，那么多面部分离模块70将由特征检验模块68选择的面部特征分成针对包括在所述帧中的个别面部的群组(88)。对象形状近似模块72接着基于由特征检验模块68选择的面部特征所界定的ROI对象几何模型而为视频帧内的每一面部近似推得ROI对象形状(90)。举例来说，可基于正确的眼部-嘴部三角形的位置而为所述帧内的每一面部近似推得头部及肩部对象形状。
区分割模块74对整个帧执行分裂与合并区生长(92)。区分割模块74将原始帧划分为多个同类候选区。对象生成模块76接着从整个帧内的候选区中自动选择所述帧的位于经近似推得的ROI对象形状内的区。可将选定区认为是前景区，且可将未选区认为是背景区。对象生成模块76接着基于前景区而生成前景对象(94)。
ROI对象分割系统14确定视频帧是否包括一个以上前景对象(95)。当视频帧包括一个以上前景对象时，对象融合模块78将所述帧内的前景对象合并为最终输出图像(96)。ROI对象分割系统14接着将所分割帧的输出图像发送到多媒体应用程序18(98)。
图15是说明在对从视频源12接收的视频序列的帧执行帧间模式分割时的ROI对象分割系统14的方框图。在此情况下，ROI对象分割系统14基于当前帧和存储在视频存储器16中的视频序列的先前或后续帧之间的ROI对象的运动信息而处理所述视频序列的帧。图16和17是说明在帧间模式分割期间由ROI对象分割系统14实施的技术的示范性结果的屏幕截图。在一些实施例中，ROI对象分割系统14可基于一个或一个以上分割模式决策因素而对视频序列的一些帧执行帧内模式分割(如图6到14中描述)且对视频序列的其它帧执行帧间模式分割(下文描述)。
如上文描述，ROI对象分割系统14实施用以从自视频源12接收的视频序列的视频帧自动分割ROI对象(例如人类头部及肩部区域)的技术。ROI对象分割系统14基于ROI对象的运动信息而执行帧间模式分割。所揭示的技术包括用于基于背景建模和减除而在前景对象内检测移动区的技术。成功检测到移动前景区可改进帧间模式分割期间的ROI特征检测的执行速度。
在图15所说明的实施例中，视频源12同样包括色度蓝信道(Cb)100、色度红信道(Cr)101和亮度信道(Y)102。ROI对象分割系统14进一步包括在执行帧间模式分割时的背景减除模块112，如图15所说明。在此情况下，ROI对象分割系统14还包括在执行帧内模式分割时所使用的组件，如图6所说明。举例来说，ROI对象分割系统14包括ROI特征检测器104，其包含来自图6的面罩检测器64、眼部检测器68和嘴部检测器67。另外，ROI对象分割模块14还包括特征检验模块106、多面部分离模块108、对象形状近似模块110、区分割模块114、对象生成模块116和对象融合模块118，其可以与图6中的相应组件类似的方式进行操作。
背景减除模块112与ROI特征检测器104和区分割模块114交互，以支持帧间模式分割。通过背景减除模块112，系统14识别视频帧的移动前景区，移动前景区表示相对于视频序列中的不同视频帧的移动。明确地说，为了识别移动前景区，背景减除模块112将所述视频帧的ROI对象内的像素的第一位置与所述像素在不同视频帧(例如，所述视频序列中的先前帧)内的第二位置进行比较。
背景减除模块112接着将尚未从第二位置移动的像素分类为背景像素，且将已从第二位置移动的像素分类为前景像素。基于所识别的前景像素而识别移动前景区。系统14接着检测所述视频帧中对应于移动前景区和先前在不同(例如，先前)视频帧中所识别的前景区的组合前景区内的ROI特征。基于所检测到的ROI特征，形状近似模块110近似推得所述视频帧内的ROI对象的形状。
背景减除模块112利用视频序列的连续视频帧的时间相关。背景减除模块112对从视频源12接收的视频序列的ROI对象内的像素进行逐像素分类过程。以此方式，背景减除模块112基于当前帧与从视频存储器16检索的所述视频序列的先前或后续帧之间的运动信息而确定当前帧的哪些像素是背景像素。换句话说，背景减除模块112使用帧间模式操作中可用的额外信息来快速且有效地查找前景对象的移动区。同样，背景减除模块112将当前帧中尚未从其先前位置移动的那些像素分类为背景像素。又，背景减除模块112接着将已从其先前位置移动的那些像素分类为前景像素。以此方式，背景减除模块112更为有效且具有比基于运动估计的技术低的复杂性。
背景减除模块112可提供一个或一个以上益处。举例来说，可将面罩的搜索空间从整个图像缩减到移动前景区加上来自先前帧的面罩区，其可认为是组合前景区。另外，面部特征将位于移动前景区内部或位于与在先前帧中相同的位置处。另一可能的益处是可将连接的移动前景区视为同类区。
图16说明基于“母女”视频序列的帧之间的像素运动的前景像素分类的实例。在图16中，由于从帧8到10的前景对象的移动相当小，所以背景减除模块112仅将头部像素的部分分类为前景像素，而身体像素在前10个帧期间是静止的。
为了执行逐像素分类过程，背景减除模块112应用背景模块。明确地说，背景减除模块112采用K个高斯分布的混合来对像素强度建模(例如，K＝5)，其中根据其用以解释所观测的背景的频率来对每一高斯曲线进行加权。因此，前景区内的某一像素在时间t处具有强度Xt的概率估计为：
P ( X t ) = Σ i = 1 K w i , t 1 2 π σ i e 1 2 ( X t - μ i , t ) T Σ - 1 ( X t - μ i , t ) , - - - ( 5 )
其中wi，t是正规化权数，μi和σi是第i个分布的平均和标准偏差。
随着每一像素的混合模型的参数改变，背景减除模块112确定所述混合的哪些高斯曲线最有可能是由背景处理生成的。基于启发式信息，背景减除模块112选择具有最具支持性证据和最小方差的高斯分布。这是因为基于w/σ的值来对所述K个分布进行排序。所述模型的这种排序实际上是有序列表，其中最有可能的背景分布保持在顶部，且较不可能的瞬时背景分布朝向底部下降。背景减除模块112可基于下文给出的等式(6)而找出最有可能的分布模型。
B = arg min b ( Σ j = 1 b w j > T - - - ( 6 )
其中阈值T是给予背景的总权数的分值。
接着，背景减除模块112对照现有的K个高斯分布来核查新像素，直到找到匹配为止。背景减除模块112在分布的平均值与新像素值之间的距离在所述分布的2.5个标准偏差内时找到匹配。如果所述K个分布均不与当前像素值匹配，那么由具有当前新像素值作为平均值、初始高方差和低先前权数的新分布代替具有w/σ最小值的最不可能分布。一般来说，新像素值可始终由K个高斯分布的混合模型的主要分量中的一者表示。如果此匹配的分布是B个背景分布中的一者，那么可将新像素标记为背景。如果不是的话，将所述像素标记为前景。
为了保持所述混合模型的自适应性，背景减除模块112持续使用新的像素值来更新模型参数。对于匹配的高斯分布，背景减除模块112在时间t处用此新像素值Xt更新所有参数。另外，背景减除模块112将先前权数更新为
wi＝(1-α)wi-1+α      (7)
且将平均值和方差更新为
μi＝(1-ρ)μi-1+ρXi   (8)
且 σ i 2 = ( 1 - ρ ) σ i 1 2 + ρ ( X i - μ i ) 2 - - - ( 9 )
其中α是控制自适应速度的认知速率，1/α定义确定改变的时间常数，且ρ为与当前像素相关联的可能性，其由认知速率α缩放。因此，ρ可由下式表示：
ρ = α 1 2 π σ i e x i μ i 2 σ i 2 - - - ( 10 )
对于不匹配的分布，平均值μt和方差σt保持不变，而背景减除模块112将先前权数更新为
wi＝(1-α)wi-1           (11)
此更新方法的一个优点在于，当背景减除模块112允许对象成为背景的一部分时，原始背景模型未被破坏。换句话说，原始背景分布保持在所述混合中，直到其成为最不可能的分布且观测到新色彩为止。因此，如果此静止对象碰巧再次移动，那么背景减除模块112将快速地把先前背景分布重新并入到所述模型中。
一旦背景减除模块112将移动像素分类为前景像素，区分割模块114便可对前景像素执行分裂与合并区生长，以创建视频帧的移动前景区。以此方式，使用经分类的前景像素来合并从区生长途径获得的区，且进而形成前景区。明确地说，通过用分裂与合并生长技术来融合从背景减除生成的移动前景区，可获得前景对象的移动区。
检测前景像素和创建移动前景区可增加帧间模式分割过程的稳固性，并加速ROI特征检测执行。可将对ROI特征的搜索局限于组合前景区，组合前景区包括移动前景区和由先前帧的面罩形成的前景区。图17说明从“母女”视频序列的视频帧的背景区提取的移动前景区。
ROI对象分割系统14可接着使用与用于执行上文描述的帧内模式分割大致相似的技术来完成帧间模式分割过程。举例来说，ROI特征检测器100检测由移动前景区和先前帧内的面罩及面部特征位置形成的组合前景区内的面罩以及面部特征。以此方式，背景减除模块112降低在整个视频帧内执行ROI特征检测的计算复杂性。对象融合模块118接着合并所述前景对象以形成输出图像。ROI对象分割模块14将所分割帧的输出图像发送到多媒体应用程序18。
在所说明的实施例中，在所述视频序列期间没有引入新的面部或面部特征。因此，ROI对象分割系统14可在执行帧间模式分割时跳过特征检验模块108和多面部分离模块108，如在ROI特征检测器104与对象形状近似模块110之间延伸的虚线指示。明确地说，如果所检测到的面部特征位于靠近先前帧中的特征处，这意味着先前帧中的对象不呈现显著移动，那么可通过使用对象形状近似模块110和对象生成模块116来快速生成当前帧的对象，而不需要应用特征检验模块106和多面部分离模块108的功能。
否则，如果引入新的面部或面部特征，那么应用整个过程，即应用特征检验模块106、多面部分离模块108、对象形状近似模块110和对象生成模块116。在对象生成模块116中，将所连接的移动前景区视为同类区。对象融合模块118合并前景对象以形成输出图像。ROI对象分割系统14将所分割帧的输出图像发送到多媒体应用程序18。
面罩和面部特征检测器100可能会在帧间模式分割期间在视频帧内检测到额外的ROI特征。在此情况下，ROI对象分割系统14可使用特征检验模块106来检验新检测到的面部特征。另外，系统14可针对视频帧中所包括的新面部而使用多面部分离模块108，接着使用对象形状近似模块110和对象生成模块116。
图18是说明执行帧间模式分割的ROI对象分割系统14的操作的流程图。本文将参看图15中所说明的ROI对象分割系统14来描述所述操作。ROI对象分割系统14从视频源12接收视频序列的帧，且从视频存储器16检索所述视频序列的先前帧(120)。在帧间模式分割的情况下，ROI对象分割系统14基于当前帧与所述视频序列的先前帧之间的ROI对象的运动信息而处理所述视频序列的帧。在一些实施例中，ROI对象分割系统14可替代地或额外地使用指示相对于后续视频帧的ROI对象运动的运动信息。
背景减除模块112对所接收的视频帧执行背景减除，以将先前帧与当前帧之间的ROI对象内的移动像素分类为前景像素(122)。背景减除模块112进行逐像素分类过程，以便确定当前帧的哪些像素已从其在先前帧中的先前位置移动。一旦背景减除模块112将所述移动像素分类为前景像素，区分割模块114便可对前景像素执行分裂与合并区生长，以创建视频帧的移动前景区(124)。
ROI对象分割系统14可接着使用与用于执行上文描述的帧内模式分割大致类似的技术来完成帧间模式分割过程。ROI特征检测器104在包括移动前景区和来自先前帧的面罩位置两者的区内(即，在组合前景区内)检测面罩(126)。此外，ROI特征检测器104在包括移动前景区和先前帧内的面部特征位置的组合前景区内检测面部特征(例如，候选眼部和嘴部)(128)。
如果ROI特征检测器104所检测到的面部特征位于靠近在先前帧中检测到的面部特征处(130)，那么先前帧中的对象不呈现显著移动。在此情况下，可通过使用对象形状近似模块110(136)和对象生成模块116(138)来快速生成当前帧的对象，而跳过特征检验模块106(132)和多面部分离模块108(134)的功能。
否则，如果ROI特征检测器104所检测到的面部特征不位于靠近在先前帧中检测到的面部特征处，那么先前帧中的对象已经显著移动。在此情况下，应用整个过程。明确地说，特征检验模块106检验所检测到的特征(132)，且多面部分离模块108执行面部分离(134)。接着，应用对象形状近似模块110(136)，接着应用对象生成模块116(138)。在对象生成模块116中，将所连接的移动前景区视为同类区以生成所述对象(138)。对象融合模块118接着合并前景对象以形成输出图像(140)。ROI对象分割系统14将所分割帧的输出图像发送到多媒体应用程序18(142)。
本文所描述的技术可在硬件、软件、固件或其任何组合中实施。如果在软件中实施，那么所述技术可部分地通过包含程序代码的计算机可读媒体实现，所述程序代码含有在执行时执行上文描述的一种或一种以上方法的指令。在此情况下，计算机可读媒体可包含例如同步动态随机存取存储器(SDRAM)等随机存取存储器(RAM)、只读存储器(ROM)、非易失性随机存取存储器(NVRAM)、电可擦除可编程只读存储器(EEPROM)、快闪存储器、磁性或光学数据存储媒体等。
所述程序代码可由可编程处理器执行，所述可编程处理器可由一个或一个以上数字信号处理器(DSP)、通用微处理器、专用集成电路(ASIC)、现场可编程逻辑阵列(FPGA)或者等效集成或离散逻辑电路的其它组合实现。在一些实施例中，本文所描述的功能性可在经配置以用于自动对象分割的专用软件模块或硬件单元内提供或并入在自动对象分割系统中。
在本发明中，已经针对从视频序列自动分割ROI对象而描述了各种技术。ROI对象分割系统可单独或组合实施一种或一种以上所揭示的技术，以提供经准确分割的ROI对象以供用于多媒体应用程序，例如VT应用程序、视频串流应用程序或视频监视应用程序。
所揭示的技术包括包含ROI特征检测、区分割和背景减除的混合技术。所揭示的技术可包括帧内模式和帧间模式对象分割两者。帧间模式分割通过使用背景建模和减除而非常规计算密集型运动估计操作来利用视频序列的连续视频帧的时间相关，以加速ROI对象分割系统的执行。所揭示的技术还包括面部特征检验、多面部分离和ROI对象生成以加速ROI对象分割系统执行帧内模式分割。这些和其它实施例属于所附权利要求书的范围内。

Claims (27)

1.一种方法，其包含：
接收视频序列的视频帧；
识别所述视频帧的移动前景区，其表示相对于所述视频序列中的不同视频帧的移动；
检测所述视频帧的组合前景区内的关注区(ROI)特征，所述组合前景区对应于所述移动前景区和所述不同视频帧的前景区；以及
基于所述检测到的ROI特征而估近所述视频帧内的ROI对象的形状。
2.根据权利要求1所述的方法，其进一步包含：如果所述视频帧中的所述检测到的ROI特征的位置未大致对应于在所述不同视频帧中检测到的其它ROI特征的位置，那么检验所述检测到的ROI对象以针对所述ROI对象选择正确的ROI特征。
3.根据权利要求1所述的方法，其进一步包含生成识别所述ROI对象的输出图像，且相对于所述视频帧的非ROI区来优先编码所述ROI对象。
4.根据权利要求1所述的方法，其中所述不同视频帧是所述视频序列中的先前视频帧。
5.根据权利要求1所述的方法，其中识别移动前景区包含：
将所述视频帧的所述ROI对象内的像素的第一位置与所述不同视频帧内的所述像素的第二位置进行比较；
将尚未从所述第二位置移动的像素分类为背景像素；
将已从所述第二位置移动的像素分类为前景像素；以及
基于所述前景像素来识别所述移动前景区。
6.根据权利要求1所述的方法，其中识别移动前景区包含在所述视频帧内执行背景减除过程以基于所述视频帧与所述视频序列的所述不同视频帧之间的运动信息来确定哪些区是背景区。
7.根据权利要求1所述的方法，其中检测ROI特征包含：
基于所述视频帧内的皮肤颜色区的色度值来检测所述组合前景区内的面罩；
基于所述检测到的面罩内的像素的色度值和亮度值两者来检测所述组合前景区内的眼部特征；以及
基于所述检测到的面罩内的像素的色度值来检测所述组合前景区内的嘴部特征。
8.根据权利要求1所述的方法，其中所述检测到的ROI特征包含所述组合前景区内的检测到的候选面部特征，所述方法进一步包含检验所述检测到的候选面部特征以针对所述ROI对象选择正确的面部特征且从所述组候选面部特征中移除错误的面部特征。
9.根据权利要求1所述的方法，其中所述组合前景区包括一个以上ROI对象，所述方法进一步包含：如果所述视频帧中的所述检测到的ROI特征的位置未大致对应于在所述不同视频帧中检测到的其它ROI特征的位置，那么将所述检测到的ROI特征分成针对所述各个ROI对象的群组，且向所述移动前景区内的所述检测到的ROI特征应用最大匹配方案问题。
10.一种计算机可读媒体，其包含使可编程处理器执行以下操作的指令：
接收视频序列的视频帧；
识别所述视频帧的移动前景区，其表示相对于所述视频序列中的不同视频帧的移动；
检测所述视频帧的组合前景区内的关注区(ROI)特征，所述组合前景区对应于所述移动前景区和所述不同视频帧的前景区；以及
基于所述检测到的ROI特征来估近所述视频帧内的ROI对象的形状。
11.根据权利要求10所述的计算机可读媒体，其进一步包含使所述可编程处理器执行以下操作的指令：如果所述视频帧中的所述检测到的ROI特征的位置未大致对应于在所述不同视频帧中检测到的其它ROI特征的位置，那么检验所述检测到的ROI特征以针对所述ROI对象选择正确的ROI特征。
12.根据权利要求10所述的计算机可读媒体，其中所述指令使所述处理器生成识别所述ROI对象的输出图像，且相对于所述视频帧的非ROI区来优先编码所述ROI对象。
13.根据权利要求10所述的计算机可读媒体，其中所述不同视频帧是所述视频序列中的先前视频帧。
14.根据权利要求10所述的计算机可读媒体，其中所述指令使所述处理器：
将所述视频帧的所述ROI对象内的像素的第一位置与所述不同视频帧内的所述像素的第二位置进行比较；
将尚未从所述第二位置移动的像素分类为背景像素；
将已从所述第二位置移动的像素分类为前景像素；且
基于所述前景像素来识别所述移动前景区。
15.根据权利要求10所述的计算机可读媒体，其中所述指令使所述处理器在所述视频帧内执行背景减除过程以基于所述视频帧与所述视频序列的所述不同视频帧之间的运动信息来确定哪些区是背景区，且基于所述背景减除过程来识别所述移动前景区。
16.根据权利要求10所述的计算机可读媒体，其中为了检测ROI特征，所述指令使所述处理器：
基于所述视频帧内的皮肤颜色区的色度值来检测所述组合前景区内的面罩；
基于所述检测到的面罩内的像素的色度值和亮度值两者来检测所述组合前景区内的眼部特征；且
基于所述检测到的面罩内的像素的色度值来检测所述组合前景区内的嘴部特征。
17.根据权利要求10所述的计算机可读媒体，其中所述检测到的ROI特征包含所述组合前景区内的检测到的候选面部特征，且所述指令使所述处理器检验所述检测到的候选面部特征以针对所述ROI对象选择正确的面部特征且从所述组候选面部特征中移除错误的面部特征。
18.根据权利要求10所述的计算机可读媒体，其中所述组合前景区包括一个以上ROI对象，所述方法进一步包含：如果所述视频帧中的所述检测到的ROI特征的位置未大致对应于在所述不同视频帧中检测到的其它ROI特征的位置，那么将所述检测到的ROI特征分成针对所述各个ROI对象的群组，且向所述移动前景区内的所述检测到的ROI特征应用最大匹配方案问题。
19.一种包含处理器的系统，所述处理器经编程以：
接收视频序列中的视频帧；
识别所述视频帧的移动前景区，其表示相对于所述视频序列中的不同视频帧的移动；
检测所述视频帧的组合前景区内的关注区(ROI)特征，所述组合前景区对应于所述移动前景区和所述不同视频帧的前景区；以及
基于所述检测到的ROI特征来估近所述视频帧内的ROI对象的形状。
20.根据权利要求19所述的系统，其中如果所述视频帧中的所述检测到的ROI特征的位置未大致对应于在所述不同视频帧中检测到的其它ROI特征的位置，那么所述处理器检验所述检测到的ROI特征以针对所述ROI对象选择正确的ROI特征。
21.根据权利要求19所述的系统，其中所述处理器生成识别所述ROI对象的输出图像，且相对于所述视频帧的非ROI区来优先编码所述ROI对象。
22.根据权利要求19所述的系统，其中所述不同视频帧是所述视频序列中的先前视频帧。
23.根据权利要求19所述的系统，所述处理器：
将所述视频帧的所述ROI对象内的像素的第一位置与所述不同视频帧内的所述像素的第二位置进行比较；
将尚未从所述第二位置移动的像素分类为背景像素；
将已从所述第二位置移动的像素分类为前景像素；以及
基于所述前景像素来识别所述移动前景区。
24.根据权利要求19所述的系统，其中所述处理器在所述视频帧内执行背景减除过程以基于所述视频帧与所述视频序列的所述不同视频帧之间的运动信息来确定哪些区是背景区，且基于所述背景减除过程来识别所述移动前景区。
25.根据权利要求19所述的系统，其中为了检测ROI特征，所述处理器：
基于所述视频帧内的皮肤颜色区的色度值来检测所述组合前景区内的面罩；
基于所述检测到的面罩内的像素的色度值和亮度值两者来检测所述组合前景区内的眼部特征；且
基于所述检测到的面罩内的像素的色度值来检测所述组合前景区内的嘴部特征。
26.根据权利要求19所述的系统，其中所述检测到的ROI特征包含所述组合前景区内的检测到的候选面部特征，且所述处理器检验所述检测到的候选面部特征以针对所述ROI对象选择正确的面部特征且从所述组候选面部特征中移除错误的面部特征。
27.根据权利要求19所述的系统，其中所述组合前景区包括一个以上ROI对象，且如果所述视频帧中的所述检测到的ROI特征的位置未大致对应于在所述不同视频帧中检测到的其它ROI特征的位置，那么所述处理器将所述检测到的ROI特征分成针对所述各个ROI对象的群组，且向所述移动前景区内的所述检测到的ROI特征应用最大匹配方案问题。
CN2007800038416A 2006-02-07 2007-02-07 帧间模式关注区视频对象分割的方法和系统 Expired - Fee Related CN101375607B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US11/350,344 US8265392B2 (en) 2006-02-07 2006-02-07 Inter-mode region-of-interest video object segmentation
US11/350,344 2006-02-07
PCT/US2007/061802 WO2007092904A2 (en) 2006-02-07 2007-02-07 Inter-mode region-of-interest video object segmentation

Publications (2)

Publication Number Publication Date
CN101375607A true CN101375607A (zh) 2009-02-25
CN101375607B CN101375607B (zh) 2011-03-02

Family

ID=38266658

Family Applications (1)

Application Number Title Priority Date Filing Date
CN2007800038416A Expired - Fee Related CN101375607B (zh) 2006-02-07 2007-02-07 帧间模式关注区视频对象分割的方法和系统

Country Status (6)

Country Link
US (1) US8265392B2 (zh)
EP (1) EP1982529A2 (zh)
JP (1) JP4981818B2 (zh)
KR (1) KR100983204B1 (zh)
CN (1) CN101375607B (zh)
WO (1) WO2007092904A2 (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103517072A (zh) * 2012-06-18 2014-01-15 联想(北京)有限公司 视频通信方法和设备
CN103957423A (zh) * 2014-05-14 2014-07-30 杭州古北电子科技有限公司 一种基于计算机视觉的视频压缩和重建方法
WO2017206456A1 (zh) * 2016-05-31 2017-12-07 宇龙计算机通信科技(深圳)有限公司 一种视频通话中视频图像展示方法及装置
CN113052923A (zh) * 2021-03-31 2021-06-29 维沃移动通信（深圳）有限公司 色调映射方法、装置、电子设备和存储介质

Families Citing this family (60)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8019170B2 (en) 2005-10-05 2011-09-13 Qualcomm, Incorporated Video frame motion-based automatic region-of-interest detection
US8208758B2 (en) 2005-10-05 2012-06-26 Qualcomm Incorporated Video sensor-based automatic region-of-interest detection
US8150155B2 (en) 2006-02-07 2012-04-03 Qualcomm Incorporated Multi-mode region-of-interest video object segmentation
EP2116044A2 (en) * 2007-01-30 2009-11-11 Fergason Patent Properties, LLC Image acquistion and display system and method using information derived from an area of interest in a video image implementing system synchronized brightness control and use of metadata
JP4663699B2 (ja) * 2007-09-27 2011-04-06 富士フイルム株式会社 画像表示装置、及び画像表示方法
JP5464799B2 (ja) * 2007-11-16 2014-04-09 キヤノン株式会社 画像処理装置、画像処理方法及びプログラム
WO2009078957A1 (en) * 2007-12-14 2009-06-25 Flashfoto, Inc. Systems and methods for rule-based segmentation for objects with full or partial frontal view in color images
FR2926384B1 (fr) * 2008-01-10 2010-01-15 Gen Electric Procede de traitement d'images de radiologie interventionnelle et systeme d'imagerie associe.
US8233676B2 (en) * 2008-03-07 2012-07-31 The Chinese University Of Hong Kong Real-time body segmentation system
US8243987B2 (en) * 2008-06-06 2012-08-14 International Business Machines Corporation Object tracking using color histogram and object size
US9031279B2 (en) * 2008-07-09 2015-05-12 Disney Enterprises, Inc. Multiple-object tracking and team identification for game strategy analysis
WO2010083238A1 (en) 2009-01-13 2010-07-22 Futurewei Technologies, Inc. Method and system for image processing to classify an object in an image
US8345990B2 (en) 2009-08-03 2013-01-01 Indian Institute Of Technology Bombay System for creating a capsule representation of an instructional video
EP2507742A2 (en) * 2009-12-02 2012-10-10 Tata Consultancy Services Limited A cost effective and robust system and method for eye tracking and driver drowsiness identification
CN102236899B (zh) 2010-05-07 2013-12-04 株式会社理光 物体检测方法和装置
US8954885B2 (en) 2010-10-05 2015-02-10 Fergason Patent Properties, Llc Display system using metadata to adjust area of interest and method
AU2010241260B2 (en) * 2010-10-29 2013-12-19 Canon Kabushiki Kaisha Foreground background separation in a scene with unstable textures
KR20120052767A (ko) * 2010-11-16 2012-05-24 한국전자통신연구원 영상 분리 장치 및 방법
TR201101980A1 (tr) * 2011-03-01 2012-09-21 Ulusoy İlkay Bir nesne temelli bölütleme yöntemi.
TWI439967B (zh) * 2011-10-31 2014-06-01 Hon Hai Prec Ind Co Ltd 安全監控系統及安全監控方法
TWI495339B (zh) * 2011-11-11 2015-08-01 Univ Nat Cheng Kung 摘要影像的製造方法
US9262670B2 (en) * 2012-02-10 2016-02-16 Google Inc. Adaptive region of interest
KR20130108949A (ko) * 2012-03-26 2013-10-07 한국전자통신연구원 영상부호 및 복호화 단계에서의 이중 객체검출 및 이동경로 정보를 이용한 영상 압축 방법
KR20130111061A (ko) * 2012-03-30 2013-10-10 한국전자통신연구원 이진 분할 트리를 이용한 영상 인코딩 방법
US10757369B1 (en) * 2012-10-08 2020-08-25 Supratik Mukhopadhyay Computer implemented system and method for high performance visual tracking
CN109862373B (zh) 2013-07-15 2021-10-15 索尼公司 用于对比特流进行编码的方法和装置
CN104346802B (zh) * 2013-08-05 2018-02-16 浙江大华技术股份有限公司 一种人员离岗监控方法及设备
WO2015045233A1 (ja) * 2013-09-26 2015-04-02 日本電気株式会社 情報処理システム
GB201318658D0 (en) 2013-10-22 2013-12-04 Microsoft Corp Controlling resolution of encoded video
GB2523330A (en) 2014-02-20 2015-08-26 Nokia Technologies Oy Method, apparatus and computer program product for segmentation of objects in media content
US9454819B1 (en) * 2015-06-03 2016-09-27 The United States Of America As Represented By The Secretary Of The Air Force System and method for static and moving object detection
US10043075B2 (en) * 2015-11-19 2018-08-07 Microsoft Technology Licensing, Llc Eye feature identification
US9846808B2 (en) * 2015-12-31 2017-12-19 Adaptive Computation, Llc Image integration search based on human visual pathway model
US10269123B2 (en) 2017-01-09 2019-04-23 Qualcomm Incorporated Methods and apparatus for video background subtraction
US10699139B2 (en) * 2017-03-30 2020-06-30 Hrl Laboratories, Llc System for real-time object detection and recognition using both image and size features
US10816354B2 (en) 2017-08-22 2020-10-27 Tusimple, Inc. Verification module system and method for motion-based lane detection with multiple sensors
US10762673B2 (en) 2017-08-23 2020-09-01 Tusimple, Inc. 3D submap reconstruction system and method for centimeter precision localization using camera-based submap and LiDAR-based global map
US10565457B2 (en) 2017-08-23 2020-02-18 Tusimple, Inc. Feature matching and correspondence refinement and 3D submap position refinement system and method for centimeter precision localization using camera-based submap and LiDAR-based global map
US10649458B2 (en) 2017-09-07 2020-05-12 Tusimple, Inc. Data-driven prediction-based system and method for trajectory planning of autonomous vehicles
US10953880B2 (en) 2017-09-07 2021-03-23 Tusimple, Inc. System and method for automated lane change control for autonomous vehicles
US10953881B2 (en) 2017-09-07 2021-03-23 Tusimple, Inc. System and method for automated lane change control for autonomous vehicles
US10410055B2 (en) * 2017-10-05 2019-09-10 TuSimple System and method for aerial video traffic analysis
JP7122815B2 (ja) * 2017-11-15 2022-08-22 キヤノン株式会社 画像処理装置、画像処理方法、及びプログラム
CN112004729B (zh) 2018-01-09 2023-12-01 图森有限公司 具有高冗余的车辆的实时远程控制
CN115834617A (zh) 2018-01-11 2023-03-21 图森有限公司 用于自主车辆操作的监视系统
US11009356B2 (en) 2018-02-14 2021-05-18 Tusimple, Inc. Lane marking localization and fusion
US11009365B2 (en) 2018-02-14 2021-05-18 Tusimple, Inc. Lane marking localization
US10685244B2 (en) 2018-02-27 2020-06-16 Tusimple, Inc. System and method for online real-time multi-object tracking
CN110378185A (zh) 2018-04-12 2019-10-25 北京图森未来科技有限公司 一种应用于自动驾驶车辆的图像处理方法、装置
CN116129376A (zh) 2018-05-02 2023-05-16 北京图森未来科技有限公司 一种道路边缘检测方法和装置
EP3849868A4 (en) 2018-09-13 2022-10-12 Tusimple, Inc. REMOTE SAFE DRIVING PROCESSES AND SYSTEMS
US10942271B2 (en) 2018-10-30 2021-03-09 Tusimple, Inc. Determining an angle between a tow vehicle and a trailer
CN111319629B (zh) 2018-12-14 2021-07-16 北京图森智途科技有限公司 一种自动驾驶车队的组队方法、装置及系统
US11386562B2 (en) 2018-12-28 2022-07-12 Cyberlink Corp. Systems and methods for foreground and background processing of content in a live video
CN116916080A (zh) * 2019-05-17 2023-10-20 上海哔哩哔哩科技有限公司 视频数据处理方法、装置、计算机设备及可读存储介质
US11823460B2 (en) 2019-06-14 2023-11-21 Tusimple, Inc. Image fusion for autonomous vehicle operation
CN110929597A (zh) * 2019-11-06 2020-03-27 普联技术有限公司 一种基于图像的树叶过滤方法、装置及存储介质
EP3893150A1 (en) 2020-04-09 2021-10-13 Tusimple, Inc. Camera pose estimation techniques
AU2021203567A1 (en) 2020-06-18 2022-01-20 Tusimple, Inc. Angle and orientation measurements for vehicles with multiple drivable sections
FR3131047A1 (fr) * 2021-12-21 2023-06-23 Orange Procédé de détection du mouvement d’au moins un objet, dispositif électronique, système, produit programme d’ordinateur et support de stockage correspondants

Family Cites Families (104)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS59194274A (ja) * 1983-04-18 1984-11-05 Nippon Telegr & Teleph Corp <Ntt> 人物判定装置
EP0330455A3 (en) * 1988-02-22 1990-07-04 Kabushiki Kaisha Toshiba Image encoding apparatus
US5150432A (en) * 1990-03-26 1992-09-22 Kabushiki Kaisha Toshiba Apparatus for encoding/decoding video signals to improve quality of a specific region
US5048095A (en) 1990-03-30 1991-09-10 Honeywell Inc. Adaptive image segmentation system
JP2863818B2 (ja) 1990-08-31 1999-03-03 工業技術院長 動画像の変化点検出方法
US5323470A (en) * 1992-05-08 1994-06-21 Atsushi Kara Method and apparatus for automatically tracking an object
KR950009699B1 (ko) * 1992-06-09 1995-08-26 대우전자주식회사 움직임벡터 검출방법 및 장치
GB9308952D0 (en) * 1993-04-30 1993-06-16 Philips Electronics Uk Ltd Tracking objects in video sequences
US5852669A (en) * 1994-04-06 1998-12-22 Lucent Technologies Inc. Automatic face and facial feature location detection for low bit rate model-assisted H.261 compatible coding of video
KR100235343B1 (ko) * 1994-12-29 1999-12-15 전주범 영역분할 기법을 이용한 동영상신호 부호화기의 움직임 벡터 측정장치
KR100235345B1 (ko) * 1994-12-29 1999-12-15 전주범 분할영역에서의 움직임 추정방법 및 장치
KR0180170B1 (ko) * 1995-06-30 1999-05-01 배순훈 움직임 추정 방법 및 추정 장치
US6026183A (en) 1995-10-27 2000-02-15 Texas Instruments Incorporated Content-based video compression
KR0181069B1 (ko) * 1995-11-08 1999-05-01 배순훈 움직임 추정장치
US5774591A (en) 1995-12-15 1998-06-30 Xerox Corporation Apparatus and method for recognizing facial expressions and facial gestures in a sequence of images
US5764283A (en) * 1995-12-29 1998-06-09 Lucent Technologies Inc. Method and apparatus for tracking moving objects in real time using contours of the objects and feature paths
US5692063A (en) * 1996-01-19 1997-11-25 Microsoft Corporation Method and system for unrestricted motion estimation for video
JPH1051755A (ja) * 1996-05-30 1998-02-20 Fujitsu Ltd テレビ会議端末の画面表示制御装置
US6343141B1 (en) * 1996-10-08 2002-01-29 Lucent Technologies Inc. Skin area detection for video image systems
US5828769A (en) 1996-10-23 1998-10-27 Autodesk, Inc. Method and apparatus for recognition of objects via position and orientation consensus of local image encoding
US5864630A (en) * 1996-11-20 1999-01-26 At&T Corp Multi-modal method for locating objects in images
US6456328B1 (en) * 1996-12-18 2002-09-24 Lucent Technologies Inc. Object-oriented adaptive prefilter for low bit-rate video systems
US6993201B1 (en) 1997-07-08 2006-01-31 At&T Corp. Generalized scalability for video coder based on video objects
US6188777B1 (en) * 1997-08-01 2001-02-13 Interval Research Corporation Method and apparatus for personnel detection and tracking
US6335985B1 (en) * 1998-01-07 2002-01-01 Kabushiki Kaisha Toshiba Object extraction apparatus
US6148092A (en) 1998-01-08 2000-11-14 Sharp Laboratories Of America, Inc System for detecting skin-tone regions within an image
GB2333590A (en) * 1998-01-23 1999-07-28 Sharp Kk Detecting a face-like region
US6301370B1 (en) * 1998-04-13 2001-10-09 Eyematic Interfaces, Inc. Face recognition from video images
US6477201B1 (en) * 1998-05-22 2002-11-05 Sarnoff Corporation Content-adaptive compression encoding
AUPP400998A0 (en) * 1998-06-10 1998-07-02 Canon Kabushiki Kaisha Face detection in digital images
US6023183A (en) 1998-06-15 2000-02-08 International Business Machines Corporation Voltage conversion circuit and method
US6141041A (en) * 1998-06-22 2000-10-31 Lucent Technologies Inc. Method and apparatus for determination and visualization of player field coverage in a sporting event
US6292575B1 (en) * 1998-07-20 2001-09-18 Lau Technologies Real-time facial recognition and verification system
US6924832B1 (en) * 1998-08-07 2005-08-02 Be Here Corporation Method, apparatus & computer program product for tracking objects in a warped video image
US6999604B1 (en) * 1998-08-07 2006-02-14 Korea Institute Of Science And Technology Apparatus and method for detecting a moving object in a sequence of color frame images
JP4235854B2 (ja) * 1998-11-02 2009-03-11 独立行政法人情報通信研究機構 画像処理方法及び装置
US6480615B1 (en) * 1999-06-15 2002-11-12 University Of Washington Motion estimation within a sequence of data frames using optical flow with adaptive gradients
US6545706B1 (en) * 1999-07-30 2003-04-08 Electric Planet, Inc. System, method and article of manufacture for tracking a head of a camera-generated image of a person
US6526161B1 (en) 1999-08-30 2003-02-25 Koninklijke Philips Electronics N.V. System and method for biometrics-based facial feature extraction
EP1968012A3 (en) * 1999-11-16 2008-12-03 FUJIFILM Corporation Image processing apparatus, image processing method and recording medium
US7123745B1 (en) * 1999-11-24 2006-10-17 Koninklijke Philips Electronics N.V. Method and apparatus for detecting moving objects in video conferencing and other applications
US6754389B1 (en) * 1999-12-01 2004-06-22 Koninklijke Philips Electronics N.V. Program classification using object tracking
GB2358098A (en) * 2000-01-06 2001-07-11 Sharp Kk Method of segmenting a pixelled image
US6829395B2 (en) * 2000-01-20 2004-12-07 Axis, Ab Apparatus and method for storing and reading digital images
US6970598B1 (en) 2000-01-21 2005-11-29 Xerox Corporation Data processing methods and devices
US6668070B2 (en) * 2000-03-29 2003-12-23 Sony Corporation Image processing device, image processing method, and storage medium
US6580821B1 (en) 2000-03-30 2003-06-17 Nec Corporation Method for computing the location and orientation of an object in three dimensional space
JP3603737B2 (ja) * 2000-03-30 2004-12-22 日本電気株式会社 移動体追尾方法及びその装置
EP1158786A3 (en) * 2000-05-24 2005-03-09 Sony Corporation Transmission of the region of interest of an image
US6731799B1 (en) 2000-06-01 2004-05-04 University Of Washington Object segmentation with background extraction and moving boundary techniques
US6826292B1 (en) * 2000-06-23 2004-11-30 Sarnoff Corporation Method and apparatus for tracking moving objects in a sequence of two-dimensional images using a dynamic layered representation
US6665450B1 (en) * 2000-09-08 2003-12-16 Avid Technology, Inc. Interpolation of a sequence of images using motion analysis
US6965684B2 (en) 2000-09-15 2005-11-15 Canon Kabushiki Kaisha Image processing methods and apparatus for detecting human eyes, human face, and other objects in an image
US6680745B2 (en) * 2000-11-10 2004-01-20 Perceptive Network Technologies, Inc. Videoconferencing method with tracking of face and dynamic bandwidth allocation
US6678413B1 (en) * 2000-11-24 2004-01-13 Yiqing Liang System and method for object identification and behavior characterization using video analysis
US7020305B2 (en) * 2000-12-06 2006-03-28 Microsoft Corporation System and method providing improved head motion estimations for animation
JP2002175538A (ja) * 2000-12-08 2002-06-21 Mitsubishi Electric Corp 似顔絵生成装置及び似顔絵生成方法及び似顔絵生成プログラムを記録した記録媒体及び通信用端末及び通信用端末による通信方法
US6670963B2 (en) 2001-01-17 2003-12-30 Tektronix, Inc. Visual attention model
US6964023B2 (en) 2001-02-05 2005-11-08 International Business Machines Corporation System and method for multi-modal focus detection, referential ambiguity resolution and mood classification using multi-modal input
JP2002312793A (ja) * 2001-02-07 2002-10-25 Victor Co Of Japan Ltd 動画像からの物体抽出方法及びその装置
GB2372165A (en) * 2001-02-10 2002-08-14 Hewlett Packard Co A method of selectively storing images
US20020168091A1 (en) * 2001-05-11 2002-11-14 Miroslav Trajkovic Motion detection via image alignment
US6870945B2 (en) * 2001-06-04 2005-03-22 University Of Washington Video object tracking by estimating and subtracting background
JP4596222B2 (ja) * 2001-06-26 2010-12-08 ソニー株式会社 画像処理装置および方法、記録媒体、並びにプログラム
JP4840630B2 (ja) * 2001-06-27 2011-12-21 ソニー株式会社 画像処理装置および方法、記録媒体、並びにプログラム
JP3920849B2 (ja) * 2001-06-29 2007-05-30 株式会社エヌ・ティ・ティ・ドコモ 画像符号化装置、画像復号装置、画像符号化方法、及び画像復号方法
US7861169B2 (en) 2001-11-19 2010-12-28 Ricoh Co. Ltd. Multimedia print driver dialog interfaces
US7130446B2 (en) * 2001-12-03 2006-10-31 Microsoft Corporation Automatic detection and tracking of multiple individuals using multiple cues
KR100456619B1 (ko) * 2001-12-05 2004-11-10 한국전자통신연구원 에스.브이.엠(ｓｖｍ)을 이용한 얼굴 등록/인증 시스템 및방법
JP2003174504A (ja) 2001-12-05 2003-06-20 Mitsubishi Electric Corp 通話機能付き携帯端末装置およびそのための制御装置、ならびにバックライト制御方法
US7277580B2 (en) * 2001-12-12 2007-10-02 Sony Corporation Multiple thresholding for video frame segmentation
KR100411347B1 (ko) 2001-12-29 2003-12-18 엘지전자 주식회사 동영상 비디오의 장면전환 검출 방법
AUPS140502A0 (en) * 2002-03-27 2002-05-09 Seeing Machines Pty Ltd Method for automatic detection of facial features
US7212670B1 (en) 2002-05-03 2007-05-01 Imagetree Corp. Method of feature identification and analysis
US7082211B2 (en) 2002-05-31 2006-07-25 Eastman Kodak Company Method and system for enhancing portrait images
AU2003236900A1 (en) 2002-06-12 2003-12-31 British Telecommunications Public Limited Company Video pre-processing
US7190809B2 (en) * 2002-06-28 2007-03-13 Koninklijke Philips Electronics N.V. Enhanced background model employing object classification for improved background-foreground segmentation
KR100474848B1 (ko) 2002-07-19 2005-03-10 삼성전자주식회사 영상시각 정보를 결합하여 실시간으로 복수의 얼굴을검출하고 추적하는 얼굴 검출 및 추적 시스템 및 방법
US7035461B2 (en) 2002-08-22 2006-04-25 Eastman Kodak Company Method for detecting objects in digital images
US7227893B1 (en) * 2002-08-22 2007-06-05 Xlabs Holdings, Llc Application-specific object-based segmentation and recognition system
EP1418530B1 (en) 2002-10-08 2012-12-05 Sony France S.A. Adaptive artificial vision method and system
KR100455294B1 (ko) * 2002-12-06 2004-11-06 삼성전자주식회사 감시 시스템에서의 사용자 검출 방법, 움직임 검출 방법및 사용자 검출 장치
JP2004220555A (ja) 2002-12-27 2004-08-05 Fuji Photo Film Co Ltd 画像から被写体領域を抽出する装置、方法、プログラムおよびプログラムを記録した記録媒体
US6999600B2 (en) * 2003-01-30 2006-02-14 Objectvideo, Inc. Video scene background maintenance using change detection and classification
US7599524B2 (en) * 2003-04-04 2009-10-06 Sarnoff Corporation Method and apparatus for providing a robust object finder
WO2005036456A2 (en) * 2003-05-12 2005-04-21 Princeton University Method and apparatus for foreground segmentation of video sequences
US7430335B2 (en) 2003-08-13 2008-09-30 Apple Inc Pre-processing method and system for data reduction of video sequences and bit rate reduction of compressed video sequences using spatial filtering
US7536032B2 (en) * 2003-10-24 2009-05-19 Reactrix Systems, Inc. Method and system for processing captured image information in an interactive video display system
US7127083B2 (en) * 2003-11-17 2006-10-24 Vidient Systems, Inc. Video surveillance system with object detection and probability scoring based on object class
US7136507B2 (en) * 2003-11-17 2006-11-14 Vidient Systems, Inc. Video surveillance system with rule-based reasoning and multiple-hypothesis scoring
US20050104960A1 (en) * 2003-11-17 2005-05-19 Mei Han Video surveillance system with trajectory hypothesis spawning and local pruning
JP2005182196A (ja) * 2003-12-16 2005-07-07 Canon Inc 画像表示方法および画像表示装置
JP2005293539A (ja) 2004-03-08 2005-10-20 Matsushita Electric Works Ltd 表情認識装置
JP4819380B2 (ja) * 2004-03-23 2011-11-24 キヤノン株式会社 監視システム、撮像設定装置、制御方法、及びプログラム
US8594391B2 (en) 2004-05-06 2013-11-26 Avago Technologies General Ip (Singapore) Pte. Ltd. Finger-based identification systems and methods
GB2414614A (en) * 2004-05-28 2005-11-30 Sony Uk Ltd Image processing to determine most dissimilar images
WO2006025185A1 (ja) * 2004-08-31 2006-03-09 Matsushita Electric Industrial Co., Ltd. 監視記録装置およびその方法
US20060067562A1 (en) * 2004-09-30 2006-03-30 The Regents Of The University Of California Detection of moving objects in a video
US7391907B1 (en) * 2004-10-01 2008-06-24 Objectvideo, Inc. Spurious object detection in a video surveillance system
US7583287B2 (en) * 2005-03-22 2009-09-01 Microsoft Corp. System and method for very low frame rate video streaming for face-to-face video conferencing
US7602944B2 (en) * 2005-04-06 2009-10-13 March Networks Corporation Method and system for counting moving objects in a digital video stream
US7409076B2 (en) * 2005-05-27 2008-08-05 International Business Machines Corporation Methods and apparatus for automatically tracking moving entities entering and exiting a specified region
JP2009508450A (ja) * 2005-09-13 2009-02-26 ヴェリフィコン コーポレーション 物体のトラッキングおよび活動分析のためのシステムおよび方法
US8150155B2 (en) 2006-02-07 2012-04-03 Qualcomm Incorporated Multi-mode region-of-interest video object segmentation

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103517072A (zh) * 2012-06-18 2014-01-15 联想(北京)有限公司 视频通信方法和设备
CN103517072B (zh) * 2012-06-18 2017-11-03 联想(北京)有限公司 视频通信方法和设备
CN103957423A (zh) * 2014-05-14 2014-07-30 杭州古北电子科技有限公司 一种基于计算机视觉的视频压缩和重建方法
WO2017206456A1 (zh) * 2016-05-31 2017-12-07 宇龙计算机通信科技(深圳)有限公司 一种视频通话中视频图像展示方法及装置
CN113052923A (zh) * 2021-03-31 2021-06-29 维沃移动通信（深圳）有限公司 色调映射方法、装置、电子设备和存储介质

Also Published As

Publication number Publication date
US8265392B2 (en) 2012-09-11
KR100983204B1 (ko) 2010-09-20
US20070183662A1 (en) 2007-08-09
KR20080100241A (ko) 2008-11-14
WO2007092904A3 (en) 2007-10-18
CN101375607B (zh) 2011-03-02
EP1982529A2 (en) 2008-10-22
JP2009526292A (ja) 2009-07-16
WO2007092904A2 (en) 2007-08-16
JP4981818B2 (ja) 2012-07-25

Similar Documents

Publication Publication Date Title
CN101375607B (zh) 帧间模式关注区视频对象分割的方法和系统
CN101375312B (zh) 多模式关注区视频对象分割
CN101375608A (zh) 帧内模式关注区视频对象分割
CN101317185B (zh) 基于视频传感器的自动关注区检测
CN104408429A (zh) 一种视频代表帧提取方法及装置
US9672632B2 (en) Device and method for camera driven background subtraction
US20100172587A1 (en) Method and apparatus for setting a lip region for lip reading
CN107273884A (zh) 一种基于移动终端摄像头的车辆牌照识别方法
CN117880759B (zh) 一种智能化视频短信链路高效检测方法
KR101556381B1 (ko) 터미널 서버에서의 화면프레임 전송방법 및 이를 이용하는 터미널 서버
CN114998957A (zh) 自动曝光数据处理方法、装置、设备及系统
Kim et al. Real-time viewer detection algorithm for smart epg in the intelligent DTV

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20110302

Termination date: 20190207

CF01 Termination of patent right due to non-payment of annual fee