JP2009526292A - モード間の関心領域ビデオオブジェクトセグメンテーション - Google Patents

モード間の関心領域ビデオオブジェクトセグメンテーション Download PDF

Info

Publication number
JP2009526292A
JP2009526292A JP2008553552A JP2008553552A JP2009526292A JP 2009526292 A JP2009526292 A JP 2009526292A JP 2008553552 A JP2008553552 A JP 2008553552A JP 2008553552 A JP2008553552 A JP 2008553552A JP 2009526292 A JP2009526292 A JP 2009526292A
Authority
JP
Japan
Prior art keywords
roi
video frame
video
detected
region
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2008553552A
Other languages
English (en)
Other versions
JP4981818B2 (ja
Inventor
ワン、ハオホン
エル−マレー、クハレド・ヘルミ
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Qualcomm Inc
Original Assignee
Qualcomm Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Qualcomm Inc filed Critical Qualcomm Inc
Publication of JP2009526292A publication Critical patent/JP2009526292A/ja
Application granted granted Critical
Publication of JP4981818B2 publication Critical patent/JP4981818B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/40—Analysis of texture
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/174—Segmentation; Edge detection involving the use of two or more images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/194—Segmentation; Edge detection involving foreground-background segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/215—Motion-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G06T7/251—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments involving models
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/254—Analysis of motion involving subtraction of images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G06V40/165—Detection; Localisation; Normalisation using facial parts and geometric relationships
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G06V40/167—Detection; Localisation; Normalisation using comparisons between temporally consecutive images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G06V40/171—Local features and components; Facial parts ; Occluding parts, e.g. glasses; Geometrical relationships
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18—Eye characteristics, e.g. of the iris
    • G06V40/19—Sensors therefor
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/20—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using video object coding
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20112—Image segmentation details
    • G06T2207/20132—Image cropping
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G06T2207/30201—Face

Abstract

開示は、ビデオシーケンスからの関心領域（ＲＯＩ）ビデオオブジェクトの自動セグメンテーションのための技術に関する。ＲＯＩオブジェクトセグメンテーションは、ビューアにとって関心あるものであり得るビデオシーケンスの選択された前景オブジェクト、すなわち「前傾」オブジェクトが、ビデオシーケンスの非ＲＯＩオブジェクト、すなわち「背景」範囲から抽出されることを可能にする。ＲＯＩオブジェクトの例は、人の顔または頭、および人体の肩の範囲である。開示された技術は、ＲＯＩ特徴検出と、領域セグメンテーションと、背景減算とを組み合わせる混成技術を含む。ＲＯＩ検出は、移動前景領域とビデオシーケンス内のこれまでのビデオフレームの前景領域とに対応するフレームの組み合わされた前景領域を使用する。このようにして、開示された技術は、正確な前景オブジェクト生成と、ビデオシーケンスからの前景オブジェクトの低複雑性の抽出とを提供することができる。ＲＯＩオブジェクトセグメンテーションシステムは、本明細書で説明される技術を実施することができる。加えて、ＲＯＩオブジェクトセグメンテーションは、ビデオ電話アプリケーションおよびビデオ監視アプリケーションなど、ビデオシーケンスを利用する幅広いマルチメディアアプリケーションで有用であり得る。

Description

本開示は、ビデオオブジェクト（video object）セグメンテーションに関し、より詳細には、マルチメディアアプリケーションのためのビデオシーケンスからの関心領域（ＲＯＩ）ビデオオブジェクトの自動セグメンテーションのための技術に関する。
自動関心領域（ＲＯＩ）ビデオオブジェクトセグメンテーションは、ビデオシーケンスを利用する幅広いマルチメディアアプリケーションにとって有用であり得る。ＲＯＩオブジェクトは、ビデオフレーム内の「前景」オブジェクトと呼ばれる場合があり、非ＲＯＩ範囲は、ビデオフレーム内の「背景」範囲と呼ばれる場合がある。ＲＯＩオブジェクトセグメンテーションは、ビューアにとって関心あるものであり得るビデオシーケンスの選択された前景オブジェクトがビデオシーケンスの背景から抽出されることを可能にする。マルチメディアアプリケーションは、その場合、ビデオシーケンスからセグメンテーションされたＲＯＩオブジェクトを優先的に利用することができる。ＲＯＩオブジェクトの典型的な例は、人の顔または頭、および人体の肩の範囲である。
例えば、ビデオ監視アプリケーションでは、捕捉されたビデオシーケンスからセグメンテーションされたＲＯＩオブジェクトは、顔のデータベースシステム内へのインプットであり得る。顔のデータベースシステムは、データベース内に記憶された目標顔オブジェクトに正確に整合させるために、セグメンテーションされたＲＯＩオブジェクト（例えば、人の顔）を使用することができる。警察は、監視ビデオシーケンスから容疑者を識別するために、ＲＯＩオブジェクトセグメンテーションのこの応用例を利用することができる。
もう１つの例として、ビデオ電話（ＶＴ）アプリケーションでは、捕捉されたビデオシーケンスからセグメンテーションされたＲＯＩオブジェクトは、ビデオシーケンス符号器内へのインプットであり得る。ビデオシーケンス符号器は、受信者への伝送のために、より高い品質を用いてＲＯＩを符号化する目的で、より多くのリソースをセグメンテーションされたＲＯＩオブジェクトに割り当てることが可能である。ＶＴアプリケーションは、テレビ会議などのアプリケーションをサポートするために、ユーザがビデオおよび音声の情報を共有することを可能にする。ＶＴシステムでは、ユーザはビデオ情報を送ることおよび受信すること、単にビデオ情報を受信すること、または単にビデオ情報を送ることが可能である。受信者は、一般に、送信者から送信された形式で受信されたビデオ情報を閲覧する。セグメンテーションされたＲＯＩオブジェクトの優先的な符号化により、受信者は、ビデオシーケンスの非ＲＯＩ範囲よりも、より明確にＲＯＩオブジェクトを閲覧することが可能である。
その他の例は、人物が、生放送もしくは事前記録されたニュース放送または娯楽放送など、情報ビデオを提示するビデオ放送アプリケーションを含む。かかるアプリケーションでは、取材記者またはトークショーの司会者など、司会者の顔に対応するＲＯＩオブジェクトを優先的に符号化することが所望される可能性がある。
自動ＲＯＩオブジェクトセグメンテーションは、一般に、動作（motion）分析、動作セグメンテーション、および領域セグメンテーションに重点を置く。１つの事例では、統計的なモデルベースのオブジェクトセグメンテーションアルゴリズムは、ＲＯＩオブジェクトをブラブベースの統計的な領域モデルと形状モデルとに切り離す（abstracts）。したがって、ＲＯＩオブジェクトセグメンテーション問題は、モデル検出およびトラッキング問題に変換され得る。もう１つの事例では、前景オブジェクトは、ステレオカメラセットアップからの２つのビューの間の不整合推定に基づいて、ビデオフレームから抽出されることが可能である。別の事例は、領域ベースのセグメンテーション手法および特徴ベースのセグメンテーション手法の両方を含むＲＯＩオブジェクトセグメンテーションアルゴリズムを提案する。アルゴリズムは、動作、色、およびテクスチャの特徴に関して同種のオブジェクト領域を表すために領域記述子を使用して、ビデオシーケンスの全域でそれらの領域記述子を追跡する。
発明の概要
本開示は、ビデオシーケンスからの関心領域（ＲＯＩ）ビデオオブジェクトの自動セグメンテーションのための技術に関する。ＲＯＩオブジェクトセグメンテーションは、ビデオシーケンスの非ＲＯＩ、すなわち「背景」範囲から、ビデオシーケンスの選択されたＲＯＩ、すなわち「前景」オブジェクトが抽出されることを可能にする。ＲＯＩオブジェクトの例は、人の顔または頭、および人体の肩の範囲である。開示された技術は、ＲＯＩ特徴検出と、領域セグメンテーションと、背景減算とを組み合わせる混成技術を含む。このようにして、開示された技術は、正確な前景オブジェクトの生成と、ビデオシーケンスからの前景オブジェクトの低複雑性の抽出とを提供することができる。
開示された技術はまた、対称位置特性および形状特性など、顔の特徴の固有の属性に基づいて、ビデオシーケンスのビデオフレーム内で検出された顔の特徴の検証のための技術も含む。加えて、開示された技術は、ビデオシーケンスのビデオフレーム内の複数の個々の顔に関して検出された顔の特徴の分離のための技術を含む。本明細書で説明されるように、複数の顔の分離技術は、計算処理上の複雑性を指数関数的なものから多項式的なものに低減する最大整合方式問題（maximum matching scheme problem）にマップされ得る。このようにして、これらの技術は、ビデオシーケンスのフレーム内の各顔に関して正確な特徴検出を提供する。
ＲＯＩオブジェクトセグメンテーションシステムは、例えば、本明細書で説明される技術を実施することができる。ＲＯＩオブジェクトセグメンテーションシステムは、モード内セグメンテーションとモード間セグメンテーションとをサポートする。モード内セグメンテーションは、ＲＯＩオブジェクト動作情報を使用せずに、ビデオシーケンス内のその他のフレームから独立してビデオシーケンスのフレームを処理する。モード間セグメンテーションは、現在のフレームとビデオシーケンスのこれまでのフレームまたは後続のフレームとの間の動作を表示するＲＯＩオブジェクトに関する動作情報に基づいて、ビデオ気シーケンスのフレームを処理する。ＲＯＩオブジェクトセグメンテーションシステムは、１つまたは複数のセグメンテーションモード決定係数に基づいて、受信されたフレームに対して、モード内セグメンテーションを実行するか、またはモード間セグメンテーションを実行するかを決定することができる。
開示された技術は、フレーム全体内の候補領域のセットから、ＲＯＩオブジェクト形状内に配置されたビデオフレームの定義された領域を自動的に選択することによって、モード内セグメンテーションの間の前景オブジェクトの生成のための技術をさらに含む。開示された技術はまた、背景モデル形成と減算とに基づいて、モード間セグメンテーションの間、前景オブジェクト内の移動領域を検出するための技術も含む。移動前景領域を首尾よく検出することは、モード間セグメンテーションの間、ＲＯＩ特徴検出の性能速度を改善する可能性がある。
一実施形態では、開示は、ビデオシーケンスのビデオフレームを受信することと、ビデオシーケンス内の異なるビデオフレームに対する移動を表す、ビデオフレームの移動前景領域を識別することと、移動前景領域と異なるビデオフレームの前景領域とに対応する、ビデオフレームの組み合わされた前景領域内の関心領域（ＲＯＩ）特徴を検出することと、検出されたＲＯＩ特徴に基づいて、ビデオフレーム内のＲＯＩオブジェクトの形状を概算することとを備える方法を提供する。
もう１つの実施形態では、開示は、プログラム可能プロセッサに、ビデオシーケンスのビデオフレームを受信させ、ビデオシーケンス内の異なるビデオフレームに対する移動を表す、ビデオフレームの移動前景領域を識別させ、移動前景領域と異なるビデオフレームの前景領域とに対応する、ビデオフレームの組み合わされた前景領域内の関心領域（ＲＯＩ）特徴を検出させ、検出されたＲＯＩ特徴に基づいて、ビデオフレーム内のＲＯＩオブジェクトの形状を概算させる命令を備えるコンピュータ可読媒体を提供する。
追加の実施形態では、開示は、ビデオシーケンス内のビデオフレームを受信し、ビデオシーケンス内の異なるビデオフレームに対する移動を表す、ビデオフレームの移動前景領域を識別し、移動前景領域と異なるビデオフレームの前景領域とに対応する、ビデオフレームの組み合わされた前景領域内の関心領域（ＲＯＩ）特徴を検出し、検出されたＲＯＩ特徴に基づいて、ビデオフレーム内のＲＯＩオブジェクトの形状を概算するようにプログラムされたプロセッサを備えるシステムを提供する。
本明細書で説明される技術は、ハードウェア、ソフトウェア、ファームウェア、またはそれらの任意の組合せで実施され得る。ソフトウェアで実施される場合、技術は、単一のプロセッサまたはプロセッサの任意の組合せを含めて、プログラム可能プロセッサによって実行された場合、本明細書で開示される方法の１つまたは複数を実行する命令を含むプログラムコードを備えるコンピュータ可読媒体によって一部実施され得る。
１つまたは複数の実施形態の詳細は、添付の図面および下の説明で記載される。その他の特徴機能、オブジェクト、および利点は、説明および図面から、ならびに特許請求の範囲から明らかになるであろう。
詳細な説明
図１は、ビデオシーケンスからのＲＯＩビデオオブジェクトの自動セグメンテーションのための技術を実施する関心領域（ＲＯＩ）オブジェクトセグメンテーションシステム１４を例示するブロック図である。ＲＯＩオブジェクトセグメンテーションは、ビデオ電話（ＶＴ）アプリケーションおよびビデオ監視アプリケーションなど、ビデオシーケンスを利用する幅広いマルチメディアアプリケーションで有用であり得る。
例えば、ビデオ監視アプリケーションでは、捕捉されたビデオシーケンスからセグメンテーションされたＲＯＩオブジェクトは、顔のデータベースシステム内へのインプットであり得る。顔のデータベースシステムは、データベース内に記憶された目標顔オブジェクトに正確に整合させるために、セグメンテーションされたＲＯＩオブジェクト（例えば、人の顔）を使用することができる。
もう１つの例として、ＶＴアプリケーションでは、捕捉されたビデオシーケンスからセグメンテーションされたＲＯＩオブジェクトは、ビデオシーケンス符号器内へのインプットであり得る。ビデオシーケンス符号器は、受信者への伝送のために、より高い品質を用いてＲＯＩを符号化する目的で、セグメンテーションされたＲＯＩオブジェクトにより多くのリソースを割り当てることが可能である。
その他の例は、人物が、生放送もしくは事前記録されたニュース放送または娯楽放送など、情報ビデオを提示するビデオ放送アプリケーションを含む。かかるアプリケーションでは、取材記者またはトークショーの司会者など、司会者の顔に対応するＲＯＩオブジェクトを優先的に符号化することが所望される可能性がある。
図１で示されるように、システム１４は、ビデオ源１２からビデオシーケンスを受信する。ビデオ源１２は、カメラなど、ビデオシーケンスを取得するビデオ捕捉装置、または事前記録されたビデオシーケンスを記憶するビデオアーカイブ（archive）であり得る。システム１４は、受信されたビデオシーケンスからＲＯＩオブジェクトを自動的にセグメンテーションする。ＲＯＩオブジェクトセグメンテーションシステム１４は、ＲＯＩオブジェクトセグメンテーション処理の間に、ビデオ源１２から取得されたビデオシーケンスのビデオフレームをビデオメモリ１６内に記憶する。ビデオシーケンスの各フレームが処理された後、システム１４は、セグメンテーションされたビデオフレームの出力画像をマルチメディアアプリケーション１８に送る。
例えば、ＲＯＩオブジェクトは、人の顔または頭、および人体の肩の範囲を備え得る。ＲＯＩオブジェクトは、ビデオフレーム内の「前景」オブジェクトと呼ばれる場合があり、非ＲＯＩ範囲は、ビデオフレーム内の「背景」範囲と呼ばれる場合がある。ＲＯＩオブジェクトセグメンテーションシステム１４は、マルチメディアアプリケーション１８のユーザにとって関心あるものであり得るビデオシーケンス内のフレームの１つまたは複数の選択された前景オブジェクトをビデオシーケンスの背景範囲から抽出する。マルチメディアアプリケーション１８は、ビデオシーケンスからセグメンテーションされたＲＯＩオブジェクトを優先的に利用することができる。一実施形態では、マルチメディアアプリケーション１８は、顔のデータベースシステムを組み込んだビデオ監視アプリケーションを備え得る。もう１つの実施形態では、マルチメディアアプリケーション１８は、ＲＯＩ動作可能にされたビデオ符号器・復号器（ＣＯＤＥＣ）を組み込んだ、ビデオ電話（ＶＴ）アプリケーションを備え得る。
マルチメディアアプリケーション１８が、ビデオ監視アプリケーションを備える実施形態では、捕捉されたビデオシーケンスからセグメンテーションされたＲＯＩオブジェクトは、顔のデータベースシステム内へのインプットであり得る。この場合、ビデオ源１２は、監視カメラからの事前記録されたビデオシーケンスを記憶するビデオアーカイブであり得る。顔のデータベースシステムは、データベース内に記憶された目標顔オブジェクトに正確に整合させるために、セグメンテーションされたＲＯＩオブジェクト（例えば、人の顔）を使用することができる。警察は、監視ビデオシーケンスから容疑者を識別するために、顔のデータベースシステムを有するＲＯＩオブジェクトセグメンテーションシステム１４を利用することができる。
マルチメディアアプリケーション１８がＶＴアプリケーションを備える実施形態では、捕捉されたビデオシーケンスからセグメンテーションされたＲＯＩオブジェクトは、ＲＯＩ動作可能にされたビデオ符号器内へのインプットであり得る。ＶＴアプリケーションは、テレビ会議などのアプリケーションをサポートするために、ユーザがビデオおよび音声の情報を共有することを可能にする。ＶＴシステムでは、ユーザはビデオ情報を送ることおよび受信すること、単にビデオ情報を受信すること、または単にビデオ情報を送ることが可能である。この場合、ビデオ源１２は、カメラなど、ビデオシーケンスを取得するビデオ捕捉装置であり得る。例えば、ビデオ源１２は、もう１つの通信装置とビデオ電話に参加することが可能な通信装置内に含まれたビデオカメラを備え得る。
ＲＯＩ動作可能にされたビデオ符号器は、有線または無線の通信をサポートするために適切な送信電子工学、受信電信工学、モデム電信工学、および処理電子工学をさらに含む通信装置内に常駐し得る。例えば、ＲＯＩ動作可能にされたビデオ符号器は、その他の端末と通信するために装備された無線移動体端末内または有線端末内に常駐し得る。無線移動体端末の例は、移動体無線電話、移動体パーソナルデジタルアシスタント（ＰＤＡ）、移動体コンピュータ、または無線通信能力とビデオ符号化能力および／または復号化能力とを備えたその他の移動体装置を含む。例えば、ＲＯＩ動作可能にされたビデオ符号器は、ＶＴアプリケーションで使用される、いわゆる、カメラ電話内またはビデオ電話内に常駐し得る。有線端末の例は、デスクトップコンピュータ、ビデオ電話、ネットワーク装置、セットトップボックス、インタラクティブテレビなどを含む。
ＲＯＩ動作可能にされたビデオ符号器は、ＲＯＩオブジェクトセグメンテーションシステム１４から受信された出力画像内に含まれた、セグメンテーションされたＲＯＩオブジェクトを優先的に符号化することができる。例えば、ＲＯＩ動作可能にされたビデオ符号器は、追加のコーディングビットをビデオフレームのＲＯＩオブジェクトに割り当て、減じられた数のコーディングビットをビデオフレームの非ＲＯＩ領域に割り当てることができる。移動体アプリケーションでは、特に、ビデオフレームを符号化するために利用可能な符号化ビットの量は、少なく、かつ無線チャネル条件に従って変化する可能性がある。したがって、ＲＯＩオブジェクトへのコーディングビットの優先的な割当ては、適用可能なビットレート要件に効率的に準拠すると同時に、ＲＯＩオブジェクトの視覚的品質を改善するのに役立つ可能性がある。したがって、ＲＯＩオブジェクトの優先的な符号化により、受信者は、ビデオシーケンスの非ＲＯＩ領域よりも、より明確にＲＯＩオブジェクトを閲覧することが可能である。符号化されたビデオフレームは、次いで、有線または無線の通信チャネル上でもう１つの通信装置に送信されることが可能である。
上で説明されたように、ＲＯＩオブジェクトセグメンテーションシステム１４は、ビデオシーケンスからのＲＯＩビデオオブジェクトの自動セグメンテーションのための技術を実施することが可能である。開示された技術は、ビデオシーケンスのビデオフレーム内のＲＯＩ特徴（すなわち、顔面および顔の特徴）を検出することと、ビデオフレームを複数の候補領域にセグメンテーションすることと、ビデオフレームおよびビデオシーケンスのこれまでのビデオフレームに基づいて、背景（非ＲＯＩ）減算を実行することとを組み合わせる混成技術を含む。このようにして、開示された技術は、正確な前景（ＲＯＩ）オブジェクトの生成と、ビデオシーケンス内のフレームからの前景オブジェクトの低複雑性の抽出とを提供することができる。
開示された技術はまた、対称位置特性および形状特性など、顔の特徴の固有の属性に基づいて、ビデオシーケンスのビデオフレーム内で検出された顔の特徴の検証のための技術も含む。加えて、開示された技術は、ビデオシーケンスのビデオフレーム内の複数の個々の顔に関して検出された顔の特徴の分離のための技術を含む。本明細書で説明されるように、複数の顔の分離技術は、計算処理上の複雑性を指数関数的なものから多項式的なものに低減する最大整合方式問題にマップされ得る。このようにして、これらの技術は、低減された処理要件により、ビデオシーケンスのフレーム内の各顔に関して正確な特徴検出を提供する。
ＲＯＩオブジェクトセグメンテーションシステム１４は、セグメンテーションの複数の（例えば、２つの）モード、すなわち、モード内とモード間とをサポートする。モード内セグメンテーションは、ビデオシーケンス内のその他のフレームから独立してビデオシーケンスのフレームを処理する。この場合、ＲＯＩオブジェクト動作情報は使用されない。モード内セグメンテーションは、第１の、高複雑性のセグメンテーションモードである。モード間セグメンテーションは、これまでのフレーム情報または後続のフレーム情報に基づいて、ビデオシーケンスのフレームを処理し、一般に、より低い複雑性のセグメンテーションモードである、第２の、低複雑性のセグメンテーションモードである。モード間セグメンテーションは、現在のフレームとビデオシーケンスの１つまたは複数のこれまでのフレームまたは後続のフレームの間のＲＯＩオブジェクトに関する動作情報を使用する。したがって、モード間セグメンテーションは、比較的低複雑性のセグメンテーションモードである。
ＲＯＩオブジェクトセグメンテーションシステム１４は、１つまたは複数のセグメンテーションモード決定係数に基づいて、受信されたフレームに対して、モード内セグメンテーションを実行するか、またはモード間セグメンテーションを実行するかについて決定することができる。ビデオフレームに関する動作情報の参照を伴わないビデオフレームからのＲＯＩオブジェクトのセグメンテーション、すなわち、モード内セグメンテーションは、高複雑性のセグメンテーションモードが選択された場合に応用される。ビデオフレームおよびビデオシーケンスの異なるビデオフレームに関する動作情報に基づくビデオフレームからのＲＯＩオブジェクトのセグメンテーションは、低複雑性のセグメンテーションモードが選択された場合に応用される。
開示された技術は、フレーム全体の候補領域のセットから、ＲＯＩオブジェクト形状内に配置されたビデオフレームの定義された領域を自動的に選択することによって、モード内セグメンテーションの間の前景オブジェクトの生成のための技術をさらに含む。開示された技術はまた、背景モデル形成と減算とに基づいて、モード間セグメンテーションの間、前景オブジェクト内の移動領域を検出するための技術も含む。移動前景領域を首尾よく検出することは、モード間セグメンテーションの間、ＲＯＩ特徴検出の性能速度を改善する可能性がある。背景モデル形成および減算技術は、雑音と移動背景領域とに関して頑強である。技術はまた、計算処理上集中的な動作推定演算（computationally intensive motion estimation operations）を用いる移動オブジェクトセグメンテーション手法よりも、実質的により効率的である。
モード内セグメンテーションの場合、ＲＯＩオブジェクトセグメンテーションシステム１４は、まず、ビデオフレーム内の顔面を検出し、次いで、人の目および口など、顔面内の顔の特徴を検出する。システム１４は、次いで、擬似の顔の特徴検出を除去するために、人の顔の特徴の幾何学的属性と形状特性とに基づいて特徴検証を実行する。その後、システム１４は、フレームが２つ以上の人の顔を含むかどうかを判断して、検出された顔の特徴を個々の顔に関するグループに分離する。顔の特徴の幾何学的位置およびＲＯＩ幾何モデルに基づいて、ＲＯＩオブジェクトが概算される。例えば、ＲＯＩ幾何モデルは、人の頭および肩の幾何学モデルを備え得る。
システム１４は、候補領域のセットを生成するためにビデオフレームに対して領域増大（region growing）を実行する。システム１４は、次いで、フレーム全体向けの候補領域のセットから、結果として生じるＲＯＩオブジェクト形状内に配置された領域を選択することによって前景オブジェクトを生成する。システム１４は、次いで、２個以上の前景オブジェクトが存在するかどうかを判断して、出力画像向けの組み合わされた前景オブジェクトを形成するために、複数の前景オブジェクトを一緒に併合する。複数の前景オブジェクトを併合すると、適用可能である場合、システム１４は、例えば、監視アプリケーションでの個人識別検出またはＶＴアプリケーションでの優先的な符号化のために、セグメンテーションされたフレームの出力画像をマルチメディアアプリケーション１８に送る。
モード間セグメンテーションの場合、ＲＯＩオブジェクトセグメンテーションシステム１４は、ビデオシーケンスの連続するビデオフレームの時間的相関性を活かすために、背景モデル形成および減算技術を使用する。このようにして、本明細書で説明される技術は、拡張された効率を提供する。システム１４は、現在のフレームとこれまでのフレームの間のＲＯＩオブジェクト内の移動画素を前景画素として分類する。システム１４は、次いで、前景画素に基づいて、移動前景領域を生成する。システム１４は、次いで、移動前景領域内のＲＯＩ特徴と、これまでのフレーム内の顔面および顔の特徴位置とを検出することができる。このようにして、システム１４は、ビデオシーケンスの各フレームのための領域セグメンテーションを実行することの計算処理上の複雑性を低減する。システム１４は、次いで、出力画像に移動前景領域をこれまでのフレームの前景オブジェクトと併合し、セグメンテーションされたフレームの出力画像をマルチメディアアプリケーション１８に送る。
ＲＯＩオブジェクトセグメンテーションシステム１４は、ハードウェア、ソフトウェア、ファームウェア、またはそれらの任意の組合せで実施され得る。例えば、ＲＯＩオブジェクトセグメンテーションシステム１４の様々な態様は、１つまたは複数のデジタル信号プロセッサ（ＤＳＰ）、マイクロプロセッサ、特定アプリケーション向け集積回路（ＡＳＩＣ）、フィールドプログラム可能な論理アレイ（ＦＰＧＡ）、または任意のその他の等価の集積論理回路または離散的論理回路、ならびにかかる成分の任意の組合せの範囲内で実施され得る。用語「プロセッサ」は、一般に、単独でまたはその他の論理回路との組合せで、前述の論理回路のいずれかを指す場合があり、かかるプロセッサの１つまたは複数を指す場合がある。ソフトウェアで実施された場合、ＲＯＩオブジェクトセグメンテーションシステム１４に帰される機能性は、ランダムアクセスメモリ（ＲＡＭ）、読出し専用メモリ（ＲＯＭ）、不揮発性ランダムアクセスメモリ（ＮＶＲＡＭ）、電気的に消去可能でプログラム可能な読取り専用メモリ（electrically erasable programmable read-only memory）（ＥＥＰＲＯＭ）、フラッシュメモリ、磁気媒体、光媒体など、コンピュータ可読媒体上の命令として実施され得る。命令は、本開示で説明される機能性の１つまたは複数の態様をサポートするために実行される。
図２Ａおよび２Ｂは、ビデオシーケンスのビデオフレーム２２内のＲＯＩオブジェクト２４および非ＲＯＩ領域２５の定義を例示するブロック図である。図２Ｂの例では、ＲＯＩオブジェクトは頭および肩のＲＯＩオブジェクト２４として示される。その他の実施形態では、ＲＯＩオブジェクトは、長方形のＲＯＩオブジェクトまたは曲線的なもしくは不規則な形状を有する可能性がある非長方形のＲＯＩオブジェクトを備え得る。ＲＯＩオブジェクト２４は、ビデオフレーム２２内に提示された人物の顔２６を含む。非ＲＯＩ領域２５、すなわち、背景は、図２Ｂで影によって強調表示される。
ＲＯＩオブジェクト２４は、図１からのＲＯＩオブジェクトセグメンテーションシステム１４によってビデオシーケンスから自動的にセグメンテーションされることが可能である。ＶＴアプリケーションの場合、通信装置は、ＲＯＩ動作可能にされた符号器を用いてＲＯＩオブジェクト２４を優先的に符号化することができる。その場合、ＲＯＩオブジェクト２４は、テレビ会議の参加者の顔２６を含む、ビデオフレーム２２の部分を包括し得る。その他の例は、ストリーミングビデオ（例えば、情報ビデオまたはニュース放送もしくは娯楽放送）内の情報を提示する人物の顔を優先的に符号化することを含む。ＲＯＩオブジェクト２４のサイズ、形状、および位置は、固定され得、または調整可能であり得、様々な方法で定義、説明または調整され得る。
ＲＯＩオブジェクト２４は、ビデオの送信者が、人物の顔２６など、送信されたビデオフレーム２２内の個々のオブジェクトを強調することを可能にする。逆に、ＲＯＩオブジェクト２４は、ビデオの受信者が、受信されたビデオフレーム２２内の所望されるオブジェクトをより明確に閲覧することを可能にする。いずれの場合も、ＲＯＩオブジェクト２４内の顔２６は、ビデオフレーム２２の背景領域など、非ＲＯＩ領域２５に対してより高い画像品質で符号化される。このようにして、ユーザは顔の表情、唇の動き、目の動きなどをより明確に閲覧することができる。いくつかの実施形態では、ＲＯＩオブジェクトはまた、追加のコーディングビットだけでなく、拡張された擬似検出および耐障害性（resiliency）も用いて符号化されることも可能である。
図３は、ビデオシーケンスのＲＯＩオブジェクト内に提示されたオブジェクトに関するオブジェクト移動／回転と、形状変形の変化を例示する。特に、図３のフレーム０および１内に描写された人物の頭は、その位置をかなり変える。図３の例では、人物の頭は、フレーム０に対してフレーム１内で傾いている。図４は、ビデオシーケンスのＲＯＩオブジェクト内の人物に関する顔の表情の変化を例示する。特に、フレーム０および１内に描写された人物の口は、かなり閉じた位置から大きく開いた位置に変化する。したがって、図３および４は、ビデオシーケンスのＲＯＩオブジェクトの大量の移動の事例を表す。
図５Ａは、図１からのＲＯＩオブジェクトセグメンテーションシステム１４の例示的な動作を示す流れ図である。ＲＯＩオブジェクトセグメンテーションシステム１４は、ビデオシーケンスからのＲＯＩオブジェクトの自動的セグメンテーションのための技術を実施する。上で説明されたように、ＲＯＩオブジェクトセグメンテーションシステム１４は、ビデオシーケンスを処理するために、モード内セグメンテーションおよびモード間セグメンテーションの両方をサポートする。
ＲＯＩオブジェクトセグメンテーションシステム１４は、ビデオ源１２からビデオシーケンスの第１のフレームを受信する（３０）。ＲＯＩオブジェクトセグメンテーションシステム１４は、受信されたフレームに対してモード内セグメンテーションを実行する（３２）。モード内セグメンテーションは、ビデオシーケンス内のその他のフレームから独立してビデオシーケンスの現在のフレームを処理する。モード内セグメンテーションの場合、ＲＯＩオブジェクトセグメンテーションシステム１４は、ＲＯＩオブジェクト移動情報を使用しない。モード内セグメンテーションを実行する間、ＲＯＩオブジェクトセグメンテーションシステム１４は、ビデオシーケンスの受信されたフレームをビデオメモリ１６内に記憶する。ＲＯＩオブジェクトセグメンテーションシステム１４は、次いで、セグメンテーションされたフレームの出力画像をマルチメディアアプリケーション１８に送る（３４）。
ＲＯＩオブジェクトセグメンテーションシステム１４は、ビデオ源１２からビデオシーケンスの次のフレームを受信する（３６）。システム１４は、次いで、受信されたフレームに対して、モード内セグメンテーションを実行するか、またはモード間セグメンテーションを実行するかを判断するために、モード決定を行う（３７）。モード決定は、１つまたは複数のセグメンテーションモード決定係数に基づくことが可能である。例えば、システム１４は、受信されたフレームの計算処理上の複雑性、受信されたフレームのためのセグメンテーションの所望される品質、受信されたフレームとこれまでのフレームの間の類似性の量、受信されたフレームとこれまでのフレームの間の移動活動の量、これまでのフレームのために使用されたセグメンテーションモード、および最後のモード内処理以来、セグメンテーションされたフレームの数など、セグメンテーションモード決定係数に基づいて、どのセグメンテーションモードが受信されたフレームに対して実行されるかを決定することができる。その他の実施形態では、セグメンテーションモード決定は、追加のセグメンテーションモード決定計係数に基づくことが可能である。
システム１４がモード内セグメンテーションを実行しないことを決定する場合（３７の「いいえ」ブランチ）、ＲＯＩオブジェクトセグメンテーションシステム１４は、これまでのフレームに基づいて、受信されたフレームに対してモード間セグメンテーションを実行する（３８）。この場合、ＲＯＩオブジェクトセグメンテーションシステム１４は、ビデオシーケンスのこれまでのフレームから（例えば、ビデオメモリ１６から）動作情報を取り出して、動作情報を現在のフレームとこれまでのフレームの間のＲＯＩオブジェクトのために使用する。モード間セグメンテーションを実行する間、ＲＯＩオブジェクトセグメンテーションシステム１４は、ビデオシーケンスの受信されたフレームをビデオメモリ１６内に記憶する。ＲＯＩオブジェクトセグメンテーションシステム１４は、次いで、セグメンテーションされたフレームの出力画像をマルチメディアアプリケーション１８に送る（４０）。
ＲＯＩオブジェクトセグメンテーションシステム１４は、引き続きビデオ源１２からビデオシーケンスのフレームを受信する。システム１４がモード間セグメンテーションを実行することを決定した場合（３７の「はい」ブランチ）、ＲＯＩセグメンテーションシステム１４は、受信されたフレームに対してモード内セグメンテーションを再び実行する（３２）。したがって、ＲＯＩオブジェクトセグメンテーションシステム１４は、ビデオ源１２から受信されたビデオシーケンスのフレームのいくつかに対してモード内セグメンテーションを実行して、ビデオシーケンスのその他のフレームに対してモード間セグメンテーションを実行する。
図５Ｂは、図５Ａからのセグメンテーションモード決定（ステップ３７）をより詳細に例示する流れ図である。ＲＯＩオブジェクトセグメンテーションシステム１４は、１つまたは複数のセグメンテーションモード決定係数に基づいてセグメンテーションモード決定を行うことができる。システム１４は、受信されたフレームに対して実行するためのセグメンテーションのモードを決定するために、図５で例示されたステップの１つまたは複数を実行することができる。いくつかの実施形態では、システム１４は、ステップを個々に実行すること、または任意の順序でステップの１つまたは複数を組み合わせることが可能である。その他の実施形態では、ＲＯＩオブジェクトセグメンテーションシステム１４は、受信されたフレームに対してモード内セグメンテーションを実行するか、またはモード間セグメンテーションを実行するかを決定する場合、追加のセグメンテーションモード決定係数を考慮することができる。
システム１４は、受信されたフレームの計算処理上の複雑性を決定することができる（４６）。例えば、システム１４は、受信されたフレーム内に含まれたＲＯＩ特徴候補の数を決定するために受信されたフレームを調査することができる。フレームが大量のＲＯＩ特徴を含む場合、受信されたフレームは、モード間セグメンテーション処理がフレームからＲＯＩオブジェクトを正確にセグメンテーションするにはあまりにも複雑すぎる可能性がある。したがって、システム１４は、高複雑性のビデオフレームを処理するために計算処理上の複雑性が所定のレベルより高い場合、モード内セグメンテーションを実行することを決定することができる。システム１４はまた、最終利用者からセグメンテーションの所望される品質を決定することもできる（４８）。例えば、ＲＯＩセグメンテーションシステム１４を実施するビデオ通信装置の最終利用者が、受信されたビデオフレームに関して所定のレベルより高い品質のセグメンテーションを要求する場合、システム１４は、受信されたフレームに対してモード内セグメンテーションを実行することができる。逆に、最終利用者が受信されたビデオフレームに関して所定のレベル未満の品質のセグメンテーションを要求する場合、システム１４は、受信されたフレームに対してモード間セグメンテーションを実行することができる。
加えて、システム１４は、受信されたフレームとこれまでのフレームの間の類似性の量を決定することが可能である（５０）。例えば、システム１４は、２個のフレームのカラーヒストグラム間の類似性の量が所定のレベルより高いかどうかを判断するために、受信されたフレームをこれまでのフレームと比較することができる。２個のフレーム間の大きな色変化は、シーンの変化を表示する可能性がある。この場合、システム１４は、受信されたフレーム内の潜在的な新しいＲＯＩオブジェクトをセグメンテーションするために、モード内セグメンテーションを実行することができる。カラーヒストグラムが２個のフレーム間で依然として実質的に類似する場合、システム１４はモード間セグメンテーションを実行することができる。
システム１４は、受信されたフレームとこれまでのフレームの間の動作活動の量を決定することが可能である（５２）。例えば、システム１４は、フレーム内のＲＯＩオブジェクトの位置の間の移動量が所定のレベルより高いかどうかを判断するために、受信されたフレームをこれまでのフレームと比較することができる。ＲＯＩオブジェクトが、２個のフレーム内の実質的に異なる領域または位置を占有する場合、システム１４は、モード内セグメンテーションを実行することができる。ＲＯＩオブジェクトが、２個のフレーム内の実質的に同じ領域または位置を占有する場合、システム１４はモード間セグメンテーションを実行することができる。
上のステップで、ビデオシーケンスのＲＯＩセグメンテーション処理は、任意の順序でビデオシーケンスのビデオフレームに対して実行される任意の数のモード内セグメンテーションと任意の数のモード間セグメンテーションとを含み得る。例えば、モード内セグメンテーションは０として表されることが可能であり、モード間セグメンテーションは１として表されることが可能である。例示的なビデオシーケンスセグメンテーションにおいて、フレームのセットのモード内セグメンテーション（０）およびモード間セグメンテーション状態（１）は、００１１０１１１１０として表されることが可能である。この場合、セグメンテーションモード決定は、受信されたフレームの属性、または受信されたフレームとこれまでのフレームの間の属性に単に基づく。
システム１４はまた、これまでのフレームをセグメンテーションするために使用されたセグメンテーションモードに基づいて、受信されたフレームに対してどのセグメンテーションモードが実行されるかを判断することも可能である。システム１４は、これまでのフレームがモード内処理によってセグメンテーションされたかどうかを判断することができる（５４）。これまでのフレームがモード内処理によってセグメンテーションされた場合、システム１４は、受信されたフレームをモード間処理によってセグメンテーションすることを決定することができる。このステップでは、ビデオシーケンスのＲＯＩセグメンテーション処理は、モード間セグメンテーションが常にモード内セグメンテーションに続くように、ビデオシーケンスのビデオフレームに対して実行される任意の数のモード内セグメンテーションと任意の数のモード間セグメンテーションとを含み得る。例示的なビデオシーケンスセグメンテーションにおいて、フレームのセットのモード内（０）およびモード間状態（１）は、０１１０１１１１０１として表されることが可能である。この場合、セグメンテーションモード決定は、これまでのフレームのセグメンテーションモードに単に基づく。
さらに、システム１４は、最後のモード内セグメンテーションされたフレーム以来、セグメンテーションされたフレームの数を決定することが可能である（５６）。例えば、システム１４は、Ｎ個のフレームごとになど、周期ベースでモード内セグメンテーションを実行することを決定することができる。場合によっては、第Ｎ番目のフレームは、第１０番目のフレームを備える可能性がある。その他の実施形態では、Ｎは１０個のフレーム以上または以下であり得る。このステップでは、ビデオシーケンスのＲＯＩセグメンテーション処理は、モード内セグメンテーションが周期的に実行されるように、ビデオシーケンスのビデオフレームに対して実行される任意の数のモード内セグメンテーションと任意の数のモード間セグメンテーションとを含み得る。例示的なビデオシーケンスセグメンテーションにおいて、フレームのセットのモード内（０）およびモード間状態（１）は、０１１１０１１１０１として表されることが可能である。この場合、セグメンテーションモード決定は、第４番目のフレームごとにモード内セグメンテーションを実行することに基づく。
図６は、ビデオ源１２から受信されたビデオシーケンスのフレームに対してモード内セグメンテーションを実行する場合のＲＯＩオブジェクトセグメンテーションシステム１４を例示するブロック図である。この場合、ＲＯＩオブジェクトセグメンテーションシステム１４は、ビデオシーケンスのその他のフレームから独立して、かつ動作情報なしに、ビデオシーケンスのフレームを処理する。図７〜１３は、モード内セグメンテーションの間、ＲＯＩオブジェクトセグメンテーションシステム１４によって実施される技術の例示的な結果を示すスクリーンショットである。
図６内に例示された実施形態では、ビデオシーケンス１２は、クロミナンス（chrominance）ブルーチャネル（Ｃｂ）６０と、クロミナンスレッドチャネル（Ｃｒ）６１と、輝度（luminance）チャネル（Ｙ）６２とを含む。ＲＯＩオブジェクトセグメンテーションシステム１４は、ビデオ源１２から受信されたビデオシーケンスのビデオフレームから、人の頭および肩の範囲など、ＲＯＩオブジェクトを自動的にセグメンテーションするための技術を実施する。開示された技術は、モード内セグメンテーションの間、特徴ベースおよびモデルベースの検出を領域セグメンテーションと組み合わせる混成技術を含む。
ＲＯＩオブジェクトセグメンテーションシステム１４は、ビデオ源１２のクロミナンスブルーチャネル６０とクロミナンスレッドチャネル６１とから受信されたブルーチャネルとレッドチャネルのクロミナンス値に基づいて、ビデオフレーム内の皮膚色領域を検出する顔面検出器６４を含む。顔面検出器６４は、次いで、検出された皮膚色領域の画素を顔の画素として分類する。このようにして、顔面検出器６４は、受信されたフレーム内の顔の画素でない画素を除去することによって顔面を取得することができる。顔面が取得された後で、顔面検出器６４は、目および口の領域など、顔の特徴による顔面内の雑音およびホール（holes）を除外するために膨張および侵食の数学的な形態的演算（morphological operations）を使用する。図７は、標準「母と娘」ビデオテストシーケンスのフレームに関する迅速な顔面検出の例を示す。
一般に、顔面検出器６４は、ＹＣｂＣｒ色空間内に狭くかつ一貫して分布されたクロミナンス値のある種のセットの存在によって、ビデオフレーム内の皮膚色領域を識別することが可能な皮膚色マップを使用する。皮膚色マップは、異なる種類の皮膚色に対して頑強である。人類の皮膚色は、主に皮膚の黒さと白さによって異なって認識される。すなわち、皮膚色は、ＣｒまたはＣｂではなく、Ｙによって支配される色の明るさの違いによって特徴づけられる。したがって、効果のある皮膚色マップは、受信されたフレームのＣｒおよびＣｂの成分だけに基づいて実現され得る。顔面検出器６４は、受信されたビデオフレーム内の皮膚色領域を検出するために、Ｃｒ∈［１３３，１７３］およびＣｂ∈［７７，１２７］の範囲の有するＣｂＣｒ皮膚色マップを利用することが可能である。Ｃｒ範囲およびＣｂ範囲は、限定的なものと考えるべきではなく、顔面検出器６４は、異なるＣｒ範囲およびＣｂ範囲を有する皮膚色マップを利用することが可能である。
場合によっては、顔面検出器６４は、人の顔を排他的に取得することができない可能性がある。図７で例示されたように、フレーム内の母と娘の衣類の領域は、皮膚の色調マップによって定義されるものに類似した色調を有するようである。したがって、顔面検出器６４は、衣類の領域を誤って顔面の一部として選択する可能性がある。本明細書で説明される迅速な顔面検出ステップは、フレーム内の顔でない一部の領域を除外するが、正確な顔の領域を取得および検証するためにさらなる処理が必要とされる可能性がある。
システム１４は、顔面内の顔の特徴候補を検出する目検出器６６および口検出器６７と、目および口の候補から顔の特徴を選択する特徴検証モジュール６８とを含む。顔フィルタは、一般に、顔の領域の楕円形状、および顔の特徴の中の全体的な空間的関係制約など、人の顔およびそれらの特徴の一般知識に基づいて構築される。したがって、これらの顔の特徴の位置を突き止めることは、ビデオフレーム内のおよその顔の位置を導出する際に有用である。
目検出器６６は、顔面検出器６４によって取得された顔面内の目の特徴候補を検出する。目検出器６６は、２つの考察に基づいて目の特徴候補を検出する。第１に、目の周りのクロミナンス成分は、通常、高いＣｂ値と低いＣｒ値とを含む。したがって、目検出器６６は、下で提示される方程式（１）に基づいてフレームのクロミナンス目マップを構築することができる。
Figure 2009526292
クロミナンス目マップが取得されると、目検出器６６は、目の候補に関して目マップ内の最も明るい領域の位置を突き止めるために、しきい値を目マップ内の各画素のクロミナンス（Ｃ）目マップ値に応用することができる。目検出器６６は、次いで、実質的に近接した最も明るい領域を単一の目の候補に併合するために、形態的演算を応用する。図８Ａは「母と娘」ビデオテストシーケンスのフレームのクロミナンス目マップ内の目の検出の例を示す。
第２に、目は、通常、輝度成分内に黒い画素および明るい画素の両方を含む。したがって、目の領域の回りの輝度成分内のより明るい画素とより暗い画素とを強調するために、グレースケール形態的演算が使用され得る。目検出器６６は、下で提示される方程式（２）に基づいてフレームの輝度目マップを構築することができる。
Figure 2009526292
輝度目マップが取得されると、目検出器６６は、目の候補に関して目マップ内の最も明るい領域の位置を突き止めるために、しきい値を目マップ内の各画素の輝度（Ｌ）目マップ値に応用することができる。目検出器６６は、次いで、実質的に近接した最も明るい領域を単一の目の候補に併合するために、形態的演算を応用する。図８Ｂは、「母と娘」ビデオテストシーケンスのフレームの輝度目マップ内の目の検出の例を示す。
目検出器６６は、顔面内の最終的な目の候補を見つけるために、（図８Ａで示された）クロミナンス目マップ内で検出された目の候補を、（図８Ｂで示された）輝度目マップ内で検出された目の候補と組み合わせる。しかし、場合によっては、最終的な目の候補は、依然として不正確な目の候補を含む場合がある。これらの異質の目の候補は、後に特徴検証処理の間に除外され得る。
口検出器６７は、顔面検出器６４によって取得された顔面内の口の特徴候補を検出する。一般に、口領域の色は、その他の顔の領域よりも、より強い赤色成分と、より弱い青色成分とを含む。したがって、口領域では、クロミナンス成分Ｃｒはクロミナンス成分Ｃｂよりも多いはずである。しかし、口領域は、Ｃｒ／Ｃｂ特徴内で比較的低い反応を有するが、Ｃｒ２特徴内で比較的高い反応を有する。口検出器６７は、下で提示される方程式（３）および（４）に基づいてフレームの口マップを構築することができる。
Figure 2009526292
Figure 2009526292
口マップが取得されると、口検出器６７は、口の候補に関して口マップ内の最も明るい領域の位置を突き止めるために、しきい値を口マップ内の各画素の口（Ｍ）値に応用することができる。口検出器６７は、次いで、実質的に近接した最も明るい領域を単一の口の候補に併合するために、形態的演算を応用する。図９は、「母と娘」ビデオテストシーケンスのフレームの口マップ内の口の検出の例を示す。
特徴検証モジュール６８は、目および口の候補から正確な顔の特徴を選択するために、目検出器６６と口検出器６７とによって顔面内で検出された顔の特徴候補を検証する。特徴検出モジュール６８は、頑強なＲＯＩ特徴検出処理を確実にする。上で説明された目および口のマップ処理は、目および口の領域を分類する際に効果があるが、いくつかの誤った分類は、依然として、擬似の顔の特徴検出という結果をもたらす可能性がある。特徴検証モジュール６８は、顔面内で顔の特徴候補を検証して、任意の擬似の顔の特徴検出を除去するために、３つの検証ステップを実行する。
第１に、顔の形態学の点から、顔の特徴は、一般に、領域内の高輝度コントラストによって特徴づけられる「くぼみ」領域、すなわち、陥凹領域内に配置されることが観察される。したがって、特徴検出モジュール６８は、グレースケール近接・膨張（grayscale-close and dilation）形態的演算を実行することによって、くぼみ領域を識別する。特徴検証モジュール６８は、次いで、フレーム内の顔の特徴候補の位置をフレーム内のくぼみ領域の位置と比較する。顔の特徴候補が、検出されたくぼみ領域の範囲に少なくとも一部重複しない場合、特徴検証モジュール６８は、その顔の特徴候補を考慮から除外することになる。したがって、顔の特徴候補を保持するために、特徴検証モジュール６８は、特徴と識別されたくぼみ領域のうちの１つとの相関性を要求する。図１０Ａは、「母と娘」ビデオシーケンスのフレーム内で識別されたくぼみ領域を例示する。
第２に、特徴検証モジュール６８は、フレーム内の対称位置および形状特徴など、目の対の固有の属性に基づいて目の特徴候補を検証する。図１０Ｂは、それぞれの重心Ｏ１およびＯ２を有する目の対の固有の属性を例示する。例えば、２つの目は、｜ＡＯ１｜＝｜ＡＯ２｜であるように、顔の主軸Ａに関して対称であり、両目は類似範囲を有し、両目は、軸ＯＡに対して投影することによって比較され得る類似の形状を有する。２つの目はまた、それぞれのＰＣＡ（主成分分析）軸、すなわち、ＰＣＡ１およびＰＣＡ２に関しても対称である。加えて、眉は、通常、２つの目の上に検出され得る。
特徴検証モジュール６８は、顔面内の目の特徴候補を検証するために、重みづけされた得点システム（score system）を利用することができる。この場合、特徴検出モジュール６８は、目の対の属性に基づいていくつかの基準をチェックして、基準の各々に関して得点を提供する。例えば、特徴検証モジュール６８は、目の重心位置がくぼみ領域内部にあるかどうかを判断する。次に、特徴検証モジュール６８は、目の重心の位置と検出された虹彩とが実質的に近接しているかどうかを判断する。虹彩の位置は、目の中の輝度値を横軸と縦軸とに投影して、累算された最低総輝度値に対応するポイントを識別することによって発見され得る。特徴検証モジュール６８は、次いで、眉が目の上に発見されるかどうかを判断する。次に、特徴検証モジュール６８は、目のＰＣＡ軸が合理的な方向の範囲内にあるかどうかを判断するが、これは典型的な人の目の対の経験的な特徴から判断され得る。特徴検証モジュール６８は、次いで、目が合理的な距離内に目の対を有するかどうかを判断するが、これも経験的な特徴から判断され得る。次に、特徴検証モジュール６８は、軸ＯＡに従って、目の対が対称的なＰＣＡ軸を有するかどうかを判断する。特徴検証モジュール６８は、次いで、軸ＯＡに従って、目の対が対称的形状を有するかどうかを判断する。
特徴検証モジュール６８は、候補から正確な顔の特徴を選択して、ビデオフレームの顔の特徴マップを構築するために、上で説明された各基準からの得点を累算する。様々な個々の基準に関して決定された得点は、等しく重みづけされることが可能であり、またはその他の基準に対して１つまたは複数の基準を強調するために、異なって重みづけされることも可能である。特徴検証モジュール６８は、事前設定されたしきい値未満の累積得点を有するそれらの顔の特徴候補として擬似検出を識別する。特徴検証モジュール６８は、次いで、それらの誤って検出された顔の特徴候補を除外する。
第３に、特徴検証モジュール６８は、顔の特徴マップ内の２つの目の候補および１つの口の候補のあらゆる可能な組合せから目と口の三角形を検証する。特徴検証モジュール６８は、まず、目と口の三角形の幾何学的形状と方向性とを精査して、合理的でない目と口の三角形をさらなる考察から除外する。合理的でないと見なされる目と口の三角形は、典型的な人に関して経験的に決定された目と口の三角形形状の範囲に実質的に整合しないそれらのものである。図１０Ｃは、「母と娘」ビデオシーケンスのフレームの顔の特徴マップ内の２つの可能な目と口の三角形（破線）を例示する。特徴検証モジュール６８は、次いで、目と口の三角形範囲の傾斜特性を検証するためにテンプレートを使用する。人の顔は３次元（３Ｄ）オブジェクトであるため、顔の領域の全体にわたる輝度は不均等になりがちである。正規の目と口の三角形範囲は、顎など、その他の顔の範囲よりも傾斜情報をより複雑にする鼻を含むべきである。目と口の三角形範囲から利用可能なより識別可能な傾斜情報を使用して、特徴検証モジュール６８は、ビデオフレーム内の顔に関して正確な目および口の候補を選択することができる。
システム１４はまた、特徴検証モジュール６８によって選択された顔の特徴をフレーム内の個々の顔に関するグループに分離する複数の顔分離モジュール７０も含む。ビデオフレーム内に２つ以上の顔を含む母と娘シーケンスなどのビデオシーケンスでは、複数の顔分離モジュール７０は、目および口の候補のセットを異なる顔に対応するグループに分離する。このタスクの困難は三重である。第１に、ビデオフレーム内に含まれる顔の総数は知られていない。第２に、いくつかの顔の特徴は、ビデオフレーム内で検出されていない可能性がある。第３に、すべての潜在的な顔の特徴グループの組合せの網羅的なチェックは、指数関数的な計算処理上の複雑性を有する。問題を、目を口と対にするタスクに簡素化することによって、元の問題は多項式的な計算処理上の複雑性を有するグラフ理論問題にマップされ得る。結果として生じる、計算処理上の複雑性の抑圧は、限定された電力および処理リソースを有する移動体アプリケーション、ならびに高速の、場合によっては、リアルタイムの結果を要求するその他のアプリケーションを含めて、多くのアプリケーションにとって非常に望ましい可能性がある。
グラフ理論を応用して、複数の顔分離モジュール７０は、頂点セットＶ＝｛口｝＋｛目の対｝と輪郭線セットＥ＝｛（ｖｉ，ｖｊ）｝とを有する偶グラフ（bipartite graph）Ｇ＝（Ｖ，Ｅ）を考慮し、ｖｉおよびｖｊは異なるセットに属し、ノードｖｉおよびｖｊの間の距離は合理的な範囲内である。整合するＳが、Ｓ内の２つの輪郭線が同じ頂点に付随するものまたは直接的に連結された頂点でないように、Ｅのサブセットとして定義された場合、問題は最大整合方式問題になる。このように、元の最大整合方式問題定義では、整合に対する制約は、Ｓ内の２つの輪郭線が同じ頂点に付随しないことだけを要求するため、複数の顔分離処理は元の最大整合方式問題の可変要素である。
複数の顔分離問題を元の最大整合方式問題に変換する可能性を観察することは重要である。（ｖｉ，ｖｋ）∈Ｅ，（ｖｊ，ｖｋ）∈Ｅであるが
Figure 2009526292
であるようにｖｋが存在する、輪郭線セットＥ’＝｛（ｖｉ，ｖｊ）｝が輪郭線セットをＥからＥ∪Ｅ’に拡張した後で定義された場合、結果として生じる整合がＥ∪Ｅ’の代わりにＥのサブセットでなければならないように、追加の制約が含まれなければならない点を除いて、問題は元の最大整合方式問題になる。したがって、複数の顔分離モジュール７０は、多項式時間の複雑性における複数の顔分離問題を解決することができる。
システム１４は、ＲＯＩオブジェクト幾何モデルに基づいて、ビデオフレーム内の各顔に関してＲＯＩオブジェクト形状を概算するオブジェクト形状概算モジュール７２を含む。例えば、ＲＯＩオブジェクト形状は、人の頭および肩の幾何モデルに基づいて、フレーム内で概算され得る。特徴検証モジュール６８が顔に関して正確な目と口の三角形を取得した後で、オブジェクト形状概算モジュール７２は、目と口の三角形のノード間の幾何学的関係に基づいて、ＲＯＩオブジェクト形状（例えば、頭および肩のモデル）を構築することができる。
モード内セグメンテーションの間の性能を加速するために、オブジェクト形状概算モジュール７２は、人の頭および肩のオブジェクト形状など、ＲＯＩオブジェクト形状を概算するために簡単な長方形モデルを使用することが可能である。ビデオフレーム内に２つ以上の顔を含むビデオシーケンスの場合、複数の顔分離モジュール７０が目および口の候補を異なる顔に関するグループに分離した後、オブジェクト形状概算モジュール７２は、個別の目と口の三角形に基づいて顔の各々に関してＲＯＩオブジェクト形状を概算する。例えば、オブジェクト形状概算モジュール７２は、ビデオフレーム内に含まれた各顔に関して頭および肩のオブジェクト形状を概算することができる。図１１は、「母と娘」ビデオテストシーケンスのフレーム内で各顔に関して定義された頭および肩のオブジェクト形状を例示する。
ＲＯＩオブジェクトセグメンテーションシステム１４はまた、フレーム全体に対してスプリット・併合（split-and-merge）領域増大を実行する領域セグメンテーションモジュール７４も含む。領域セグメンテーションモジュール７４は、元のフレームを複数の同種の候補領域に分割する。スプリット・併合領域増大を実行する場合、領域セグメンテーションモジュール７４は、ビデオフレーム内の隣り合う画素間の関係を、類似するクラスと異なるクラスとに分類する。領域類似性は、領域内の平均画素輝度値に基づいて決定され得る。領域セグメンテーションモジュール７４は、次いで、連結された類似する画素を小さな領域にクラスタ化して、最低数の候補領域を形成するために、それらの領域を併合し続ける。図１２は、ビデオフレームが当初１１９５個の領域に分割され、次いで、２２個の候補領域が生成されるまで領域が併合される領域増大処理を例示する。
システム１４は、フレーム全体内の候補領域から、概算されたＲＯＩオブジェクト形状内に配置されたフレームの領域を自動的に選択するオブジェクト生成モジュール７６をさらに含む。選択された領域は前景領域と見なされることが可能であり、選択されなかった領域は、背景領域と見なされることが可能である。オブジェクト生成モジュール７６は、次いで、前景領域に基づいて前景オブジェクトを生成する。
オブジェクト生成モジュール７６は、オブジェクト形状概算モジュール７２によって概算されたＲＯＩオブジェクト形状内に配置された、領域セグメンテーションモジュール７４によって生成された候補領域のセットだけから領域を選択する。上で説明されたように、ＲＯＩオブジェクト形状は、ＲＯＩオブジェクト（例えば、顔）を含む長方形範囲を備えることが可能であり、ＲＯＩオブジェクト形状のサイズは、顔に関して選択された目と口の三角形に基づいて推定され得る。このようにして、さらなる処理は、ビデオフレーム全体内での代わりにＲＯＩオブジェクト形状内で行われ得る。
オブジェクト生成モジュール７６は、領域セグメンテーションモジュール７４によって生成されたビデオフレーム内の候補領域の各々を調査して、領域がＲＯＩオブジェクト形状内に配置されるかどうかを判断する。オブジェクト生成モジュール７６は、ＲＯＩオブジェクト形状内の総画素の事前定義された割合（例えば、６０％）を超える総画素を有する領域を前景領域と見なすことができる。オブジェクト生成モジュール７６は、次いで、ＲＯＩオブジェクト形状内の総画素の事前定義された割合未満の総画素を有するビデオフレーム内の残りの領域を背景領域と見なすことができる。このようにして、オブジェクト生成モジュール７６は、ビデオフレーム内の前景領域から前景オブジェクトを生成する。
最後に、システム１４は、フレーム内の複数の前景オブジェクトを最終的な出力画像に併合するオブジェクトフュージング（fusing）モジュール７８を含む。２個以上の前景オブジェクトを含むビデオシーケンスの場合、オブジェクトフュージングモジュール７８は、出力画像を形成するために前景オブジェクトを併合する。図１３は、ビデオフレーム内の顔の各々に関する前景オブジェクトの生成と、２個の前景オブジェクトを併合することによる出力画像の生成とを例示する。ＲＯＩオブジェクトセグメンテーションシステム１４は、次いで、セグメンテーションされたフレームの出力画像をマルチメディアアプリケーション１８に送る。
図１４は、モード内セグメンテーションを実行するＲＯＩオブジェクトセグメンテーションシステム１４の動作を例示する流れ図である。動作は、本明細書で、図７で例示されたＲＯＩオブジェクトセグメンテーションシステム１４を参照して説明される。ＲＯＩオブジェクトセグメンテーションシステム１４は、ビデオ源１２からビデオシーケンスのフレームを受信する（８０）。モード内セグメンテーションの場合、ＲＯＩオブジェクトセグメンテーションシステム１４は、ビデオシーケンスのその他のフレームから独立して、かつ動作情報なしに、ビデオシーケンスの受信されたフレームを処理する。
顔面検出器６４は、ビデオフレーム内で識別された皮膚色領域に基づいて、受信されたフレーム内の顔面を検出する（８２）。顔面検出器６４は、次いで、識別された皮膚色領域の画素を顔の画素として分類する。このようにして、顔面検出器６４は、受信されたフレーム内の顔の画素ではない画素を除去することによって顔面を取得することができる。
目検出器６６および口検出器６７は、次いで、顔面内の顔の特徴候補を検出する（８４）。目検出器６６は、顔面内の画素のクロミナンス値と輝度値とに基づいて、目の特徴候補を検出することができる。装着検出器６７は、顔面内の画素のクロミナンス値に基づいて、口の特徴候補を検出することができる。特徴検証モジュール６８は、正確な顔の特徴を選択するために、目検出器６６と口検出器６７とによって検出された顔の特徴候補の検証を実行する。
ＲＯＩオブジェクトセグメンテーションシステム１４は、次いで、受信されたビデオフレームが２つ以上の顔を含むか否かを判断する（８７）。ビデオフレームが２つ以上の顔を含む場合、複数の顔分離モジュール７０は、特徴検証モジュール６８によって選択された顔の特徴をフレーム内に含まれた個々の顔に関するグループに分離する（８８）。オブジェクト形状概算モジュール７２は、次いで、特徴検証モジュール６８によって選択された顔の特徴によって定義されたＲＯＩオブジェクト幾何モデルに基づいて、ビデオフレーム内の各顔に関してＲＯＩオブジェクト形状を概算する（９０）。例えば、頭および肩のオブジェクト形状は、正確な目と口の三角形の位置に基づいて、フレーム内の各顔に関して概算され得る。
領域セグメンテーションモジュール７４は、フレーム全体に対してスプリット・併合領域増大を実行する（９２）。領域セグメンテーションモジュール７４は、元のフレームを複数の同種の候補領域に分割する。オブジェクト生成モジュール７６は、次いで、フレーム全体内の候補領域から、概算されたＲＯＩオブジェクト形状内に配置されたフレームの領域を選択する。選択された領域は前景領域と見なされることが可能であり、選択されなかった領域は背景領域と見なされることが可能である。オブジェクト生成モジュール７６は、次いで、前景領域に基づいて前景オブジェクトを生成する（９４）。
ＲＯＩオブジェクトセグメンテーションシステム１４は、ビデオフレームが２個以上の前景オブジェクトを含むかどうかを判断する（９５）。ビデオフレームが２個以上の前景オブジェクトを含む場合、オブジェクトフュージングモジュール７８は、フレーム内の前景オブジェクトを最終的な出力画像に併合する（９６）。ＲＯＩオブジェクトセグメンテーションシステム１４は、次いで、セグメンテーションされたフレームの出力画像をマルチメディアアプリケーション１８に送る（９８）。
図１５は、ビデオ源１２から受信されたビデオシーケンスのフレームに対してモード間セグメンテーションを実行する場合のＲＯＩオブジェクトセグメンテーションシステム１４を例示するブロック図である。この場合、ＲＯＩオブジェクトセグメンテーションシステム１４は、現在のフレームとビデオメモリ１６内に記憶されたこれまでのフレームまたは後続のフレームの間のＲＯＩオブジェクトに関する動作情報に基づいてビデオシーケンスのフレームを処理する。図１６および１７は、モード間セグメンテーションの間、ＲＯＩオブジェクトセグメンテーションシステム１４によって実施された技術の例示的な結果を示すスクリーンショットである。いくつかの実施形態では、ＲＯＩオブジェクトセグメンテーションシステム１４は、ビデオシーケンスのフレームのいくつかに対して、図６〜１４で説明されたように、モード内セグメンテーションを実行し、１つまたは複数のセグメンテーションモード決定係数に基づいて、ビデオシーケンスのその他のフレームに対して、下で説明されるように、モード間セグメンテーションを実行することができる。
上で説明されたように、ＲＯＩオブジェクトセグメンテーションシステム１４は、ビデオ源１２から受信されたビデオシーケンスのビデオフレームから、人の頭および肩の範囲など、ＲＯＩオブジェクトを自動的にセグメンテーションするための技術を実施する。ＲＯＩオブジェクトセグメンテーションシステム１４は、ＲＯＩオブジェクトに関する動作情報に基づいて、モード間セグメンテーションを実行する。開示された技術は、背景モデル形成と減算とに基づいて、前景オブジェクト内の移動領域を検出するための技術を含む。移動前景領域を首尾よく検出することは、モード間セグメンテーションの間、ＲＯＩ特徴検出の性能速度を改善する可能性がある。
図１５で例示された実施形態では、ビデオ源１２は、この場合も、クロミナンスブルーチャネル（Ｃｂ）１００と、クロミナンスレッドチャネル（Ｃｒ）１０１と、輝度チャネル（Ｙ）１０２とを含む。ＲＯＩオブジェクトセグメンテーションシステム１４は、図１５で例示されたように、モード間セグメンテーションを実行する場合、背景減算モジュール１１２をさらに含む。この場合、ＲＯＩオブジェクトセグメンテーションシステム１４はまた、図６で例示されたモード内セグメンテーションを実行する場合に使用される成分も含む。例えば、ＲＯＩオブジェクトセグメンテーションシステム１４は、図６からの顔面検出器６４と、目検出器６８と、口検出器６７とを備える、ＲＯＩ特徴検出器１０４を含む。加えて、ＲＯＩオブジェクトセグメンテーションモジュール１４は、図６で対応する成分に類似した方法で動作することが可能な、特徴検証モジュール１０６、複数の顔分離モジュール１０８、オブジェクト形状概算モジュール１１０、領域セグメンテーションモジュール１１４、オブジェクト生成モジュール１１６、およびオブジェクトフュージングモジュール１１８も含む。
背景減算モジュール１１２は、モード間セグメンテーションをサポートするために、ＲＯＩ特徴検出器１０４および領域セグメンテーションモジュール１１４と相互作用する。背景減算モジュール１１２を用いて、システム１４は、ビデオシーケンス内の異なるビデオフレームに対する移動を表す、ビデオフレームの移動前景領域を識別する。特に、移動前景領域を識別するために、背景減算モジュール１１２は、ビデオフレームのＲＯＩオブジェクト内の画素の第１の位置を異なるビデオフレーム（例えば、ビデオシーケンス内のこれまでのフレーム）内の画素の第２の位置と比較する。
背景減算モジュール１１２は、次いで、第２の位置から移動していない画素を背景画素として分類して、第２の位置から移動した画素を前景画素として分類する。移動前景領域は、識別された前景画素に基づいて識別される。システム１４は、次いで、移動前景領域と異なる（例えば、これまでの）ビデオフレーム内でこれまで識別された前景領域とに対応するビデオフレームの組み合わされた前景領域内のＲＯＩ特徴を検出する。検出されたＲＯＩ特徴に基づいて、形状概算モジュール１１０は、ビデオフレーム内のＲＯＩオブジェクトの形状を概算する。
背景減算モジュール１１２は、ビデオシーケンスの連続するビデオフレームの時間的相関性を活かす。背景減算モジュール１１２は、ビデオ源１２から受信されたビデオシーケンスのＲＯＩオブジェクト内の画素の画素単位の分類処理を行う。このようにして、背景減算モジュール１１２は、現在のフレームとビデオメモリ１６から取り出されたビデオシーケンスのこれまでのフレームまたは後続のフレームの間の動作情報に基づいて、現在のフレームのどの画素が背景画素であるかを判断する。すなわち、背景減算モジュール１１２は、前景オブジェクトの移動領域を迅速かつ効率的に発見するために、モード間動作で利用可能な追加の情報を使用する。この場合も、背景減算モジュール１１２は、それらのこれまでの位置から移動していない、現在のフレームのそれらの画素を背景画素として分類する。背景減算モジュール１１２は、次いで、それらのこれまでの位置から移動したそれらの画素を前景画素として分類する。このように、背景減算モジュール１１２は、より効率的であり、かつより低い複雑性を有する。
背景減算モジュール１１２は、１つまたは複数の利点を提供することが可能である。例えば、顔面の探索空間は、画像全体から、移動前景領域に加えて組み合わされた前景領域と見なされ得る、これまでのフレームからの顔面領域に低減され得る。加えて、顔の特徴は、移動前景領域内にあるかまたはこれまでのフレームと同じ位置内にあることになる。もう１つの可能な利点として、連結された移動前景領域は、同種の領域として処理されることが可能である。
図１６は、「母と娘」ビデオシーケンスのフレーム間の画素動作に基づく、前景画素分類の例を示す。図１６で、フレーム８から１０までの前景オブジェクトの移動はやや小さいため、背景減算モジュール１１２は、頭の画素の部分だけを前景画素として分類し、一方、体の画素は初めの１０個のフレームの間、静的である。
画素単位の分類処理を実行するために、背景減算モジュール１１２は背景モデルを応用する。特に、背景減算モジュール１１２は、画素輝度（例えば、Ｋ＝５）をモデル形成するために、Ｋガウス分布の混合を適合させ、各ガウスは、それにより観察された背景を説明する周波数に従って重みづけされる。したがって、前景領域内の一定の画素が時間ｔの時点で輝度Ｘｔを有する確率は、
Figure 2009526292
として推定され、ｗｉ，ｔは、正規化された重みμｉであり、σｉは第ｉ番目の分布の平均値かつ標準偏移である。
各画素変化の混合モデルのパラメータとして、背景減算モジュール１１２は、混合のどのガウスが背景処理によって生み出される可能性が最も高いかを判断する。発見的情報に基づいて、背景減算モジュール１１２は、最もサポートする証拠と最小の分散とを有するガウス分布を選択する。Ｋ分布がｗ／σの値に基づいて順序づけられるのはこの理由からである。モデルのこの順序づけは、効果的に順序づけられたリストであり、最も可能性のある背景分布は上にとどまり、可能性の低い過渡背景分布は下に引き付けられる。背景減算モジュール１１２は、下に提示された方程式（６）に基づいて、最も可能性のある分布モデルを発見することができる。
Figure 2009526292
しきい値Ｔは、背景に与えられたわずかな総重みである。
次いで、背景減算モジュール１１２は、整合が発見されるまで、既存のＫガウス分布に対して新しい画素をチェックする。背景減算モジュール１１２は、分布の平均値と新しい画素値の間の距離が、分布の２．５平均偏移内である場合、整合を発見する。Ｋ分布のいずれも現在の画素値と整合しない場合、ｗ／σの最も小さい値を有する、可能性が最も低い分布は、平均値として現在の新しい画素値と、当初の高い分散と、低い先行重みとを有する新しい分布と取り替えられる。一般に、新しい画素値は、Ｋガウス分布の混合モデルの主な成分のうちの１つによって常に表されることが可能である。この整合された分布がＢ背景分布のうちの１つである場合、新しい画素は背景として印される。そうでない場合、画素は前景として印される。
混合モデルをアダプティブに維持するために、背景減算モジュール１１２は、新しい画素値を用いてモデルパラメータを連続的に更新する。整合されたガウス分布の場合、背景減算モジュール１１２は、この新しい画素値Ｘｉを用いて時間ｔですべてのパラメータを更新する。加えて、背景減算モジュール１１２は、先行重みを、
Figure 2009526292
として更新し、平均値と分散とは、
Figure 2009526292
Figure 2009526292
として更新され、αは学習レート制御適合速度であり、１／αは変化を決定する時間定数を定義し、ρは、学習レートαによって基準化された現在の画素に関連する確率性である。したがって、ρは、
Figure 2009526292
によって表されることが可能である。整合されない分布の場合、平均値μｔと分散σｔとは、依然として変化せず、一方、背景減算モジュール１１２は先行重みを、
Figure 2009526292
として更新する。
この更新方法の１つの利点は、背景減算モジュール１１２が、オブジェクトが背景の一部になることを可能にする場合、元の背景モデルが破棄されないことである。すなわち、元の背景分布は、可能性が最も低い分散になり、新しい色が観察されるまで混合の形で残る。したがって、この静的オブジェクトが偶然再び移動する場合、背景減算モジュール１１２は、これまでの背景分布をモデルに迅速に再度組み込むことになる。
背景減算モジュール１１２が移動画素を前景画素として分類すると、領域セグメンテーションモジュール１１４は、ビデオフレームの移動前景領域を生み出すために、前景画素に対してスプリット・併合領域増大を実行することが可能である。このようにして、分類された前景画素は、領域増大手法から取得された領域を併合するために、かつそれにより前景領域を形成するために使用される。特に、スプリット・併合増大技術を用いた背景減算の結果として生じた移動前景領域をフュージングすることによって、前景オブジェクトの移動領域が取得され得る。
前景画素を検出して、移動前景領域を生み出すことは、モード間セグメンテーション処理の頑強さを高めて、ＲＯＩ特徴検出の性能を加速する可能性がある。ＲＯＩ特徴に関する探索は、移動前景領域とこれまでのフレームの顔面によって形成された前景領域とを含めて、組み合わされた前景領域に限定され得る。図１７は、「母と娘」ビデオシーケンスのビデオフレームの背景範囲から抽出された移動前景領域を例示する。
ＲＯＩオブジェクトセグメンテーションシステム１４は、次いで、モード間セグメンテーション処理を完了するために、上で説明されたモード内セグメンテーションを実行するために使用されたのと実質的に類似の技術を使用することが可能である。例えば、ＲＯＩ特徴検出器１００は、移動前景領域によって形成された組み合わされた前景領域内の顔面および顔の特徴と、これまでのフレーム内の顔面および顔の特徴の位置とを検出する。このようにして、背景減算モジュール１１２は、ビデオフレーム全体内でＲＯＩ特徴検出を実行することの計算処理上の複雑性を低減する。オブジェクトフュージングモジュール１１８は、次いで、出力画像を形成するために前景オブジェクトを併合する。ＲＯＩオブジェクトセグメンテーションモジュール１４は、セグメンテーションされたフレームの出力画像をマルチメディアアプリケーション１８に送る。
例示された実施形態では、新しい顔または新しい顔の特徴はビデオシーケンスの間に導入されない。したがって、ＲＯＩオブジェクトセグメンテーションシステム１４は、ＲＯＩ特徴検出器１０４とオブジェクト形状概算モジュール１１０の間で拡張する破線によって表示されるように、モード間セグメンテーションを実行する場合、特徴検証モジュール１０８と、複数の顔分離モジュール１０８とを省略することができる。特に、これまでのフレーム内のオブジェクトがかなりの移動を提示しないことを意味する、検出された顔の特徴がこれまでのフレーム内の特徴に近接して配置される場合、現在のフレームのオブジェクトは、特徴検証モジュール１０６および複数の顔分離モジュール１０８の機能を応用する必要なしに、オブジェクト形状概算モジュール１１０とオブジェクト生成モジュール１１６とを使用して迅速に生成され得る。
その他の点では、新しい顔または新しい顔の特徴が導入される場合、処理全体が応用される。すなわち、特徴検証モジュール１０６と、複数の顔分離モジュール１０８と、オブジェクト形状概算モジュール１１０と、オブジェクト生成モジュール１１６とが応用される。オブジェクト生成モジュール１１６では、連結された移動前景領域は同種の領域として処理される。オブジェクトフュージングモジュール１１８は、出力画像を形成するために、前景オブジェクトを併合する。ＲＯＩオブジェクトセグメンテーションシステム１４は、セグメンテーションされたフレームのビデオをマルチメディアアプリケーション１８に送る。
顔面および顔の特徴検出器１００は、モード間セグメンテーションの間、ビデオフレーム内の追加のＲＯＩ特徴を検出することが可能である。この場合、ＲＯＩオブジェクトセグメンテーションシステム１４は、新たに検出された顔の特徴を検証するために、特徴検証モジュール１０６を使用することができる。加えて、システム１４は、ビデオフレーム内に含まれた新しい顔に関して、複数の顔分離モジュール１０８と、その後に続く、オブジェクト形状概算モジュール１１０と、オブジェクト生成モジュール１１６とを使用することができる。
図１８は、モード間セグメンテーションを実行するＲＯＩオブジェクトセグメンテーションシステム１４の動作を例示する流れ図である。動作は、本明細書で、図１５で例示されたＲＯＩオブジェクトセグメンテーションシステム１４を参照して説明され、ＲＯＩオブジェクトセグメンテーションシステム１４は、ビデオ源１２からビデオシーケンスのフレームを受信して、ビデオメモリ１６からビデオシーケンスのこれまでのフレームを取り出す（１２０）。モード間セグメンテーションの場合、ＲＯＩオブジェクトセグメンテーションシステム１４は、現在のフレームとビデオシーケンスのこれまでのフレームの間のＲＯＩオブジェクトに関する動作情報に基づいてビデオシーケンスのフレームを処理する。いくつかの実施形態では、ＲＯＩオブジェクトセグメンテーションシステム１４は、あるいはまたは加えて、後続のビデオフレームに関するＲＯＩオブジェクト動作を表示する動作情報を使用する。
背景減算モジュール１１２は、これまでのフレームと現在のフレームの間のＲＯＩオブジェクト内の移動画素を前景画素として分類するために、受信されたビデオフレームに対して背景減算を実行する（１２２）。背景減算モジュール１１２は、現在のフレームのどの画素がこれまでのフレーム内のそれらのこれまでの位置から移動したかを決定するために、画素単位の分類処理を行う。背景減算モジュール１１２が移動画素を前景画素として分類すると、領域セグメンテーションモジュール１１４は、ビデオフレームの移動前景領域を生み出すために、前景画素に対してスプリット・併合領域増大を実行することができる（１２４）。
ＲＯＩオブジェクトセグメンテーションシステム１４は、次いで、モード間セグメンテーション処理を完了するために、上で説明されたモード内セグメンテーションを実行するために使用されたのと実質的に類似の技術を使用することが可能である。ＲＯＩ特徴検出器１０４は、移動前景領域およびこれまでのフレームからの顔面位置の両方を含む領域内、すなわち、組み合わされた前景領域内の顔面を検出する（１２６）。さらに、ＲＯＩ特徴検出器１０４は、移動前景領域を含めて、組み合わされた前景領域内の顔の特徴（例えば、目および口の候補）を検出し、これまでのフレーム内で顔の特徴位置を検出する（１２８）。
ＲＯＩ特徴検出器１０４によって検出された顔の特徴がこれまでのフレーム内で検出された顔の特徴に近接して配置される（１３０）場合、これまでのフレーム内のオブジェクトはかなりの移動を提示しない。この場合、現在のフレームのオブジェクトは、特徴検証モジュール１０６（１３２）および複数の顔分離モジュール１０８（１３４）の機能を省略すると同時に、オブジェクト形状概算モジュール１１０（１３６）とオブジェクト生成モジュール１１６（１３８）とを使用することによって迅速に生成され得る。
その他の点では、ＲＯＩ特徴検出器１０４によって検出された顔の特徴が、これまでのフレーム内で検出された顔の特徴に近接して配置されない場合、これまでのフレーム内のオブジェクトはかなり移動した。この場合、処理全体が応用される。特に、特徴検証モジュール１０６は検出された特徴を検証して（１３２）、複数の顔分離モジュール１０８は顔の分離を実行する（１３４）。次いで、オブジェクト形状概算モジュール１１０（１３６）と、その後に続くオブジェクト生成モジュール１１６（１３８）とが応用される。オブジェクト生成モジュール１１６で、連結された移動前景領域は、オブジェクトを生成する（１３８）ために同種の領域として処理される。オブジェクトフュージングモジュール１１８は、次いで、出力画像を形成するために前景オブジェクトを併合する（１４０）。ＲＯＩオブジェクトセグメンテーションシステム１４は、セグメンテーションされたフレームの出力画像をマルチメディアアプリケーション１８に送る（１４２）。
本明細書で説明された技術は、ハードウェア、ソフトウェア、ファームウェア、またはそれらの任意の組合せで実施され得る。ソフトウェアで実施される場合、技術は、実行された場合、上で説明された方法の１つまたは複数を実行する命令を含むプログラムコードを備えるコンピュータ可読媒体によって一部実施され得る。この場合、コンピュータ可読媒体は、同時ダイナミックランダムアクセスメモリ（ＳＤＲＡＭ）、読出し専用メモリ（ＲＯＭ）、不揮発性ランダムアクセスメモリ（ＮＶＲＡＭ）、電気的に消去可能でプログラム可能な読取り専用メモリ（ＥＥＰＲＯＭ）、フラッシュメモリ、磁気データ記憶媒体または光データ記憶媒体など、ランダムアクセスメモリ（ＲＡＭ）を備え得る。
プログラムコードは、１つまたは複数のデジタル信号プロセッサ（ＤＳＰ）、汎用マイクロプロセッサ、特定アプリケーション向け集積回路（ＡＳＩＣ）、フィールドプログラム可能論理アレイ（ＦＰＧＡ）、または等価の集積論理回路または離散的論理回路のその他の組合せによって実施され得るプログラム可能プロセッサによって実施されることが可能である。いくつかの実施形態では、本明細書で説明される機能性は、自動オブジェクトセグメンテーションのために構成された専用のソフトウェアモジュール内もしくはハードウェア装置内で提供されること、または自動オブジェクトセグメンテーションシステム内に組み込まれることが可能である。
この開示では、ビデオシーケンスからのＲＯＩオブジェクトの自動セグメンテーションのための様々な技術が説明された。ＲＯＩオブジェクトセグメンテーションシステムは、ＶＴアプリケーション、ビデオストリーミングアプリケーション、またはビデオ監視用となど、マルチメディアアプリケーションでの使用のために正確にセグメンテーションされたＲＯＩオブジェクトを提供する目的で、開示された技術のうちの１つまたは複数を個々にまたは組み合わせて実施することが可能である。
開示された技術は、ＲＯＩ特徴検出と、領域セグメンテーションと、背景減算とを含む混成技術を含む。開示された技術は、モード内およびモード間のオブジェクトセグメンテーションを含み得る。モード間セグメンテーションは、ＲＯＩオブジェクトセグメンテーションシステムの実行を加速するために、通常の計算処理上集中的な動作推定演算の代わりに、背景モデル形成と減算とを使用することによって、ビデオシーケンスの連続するビデオフレームの時間的相関性を活かす。開示された技術はまた、ＲＯＩオブジェクトセグメンテーションシステムによるモード内セグメンテーションの性能を加速するために、顔の特徴検証、複数の顔分離、およびＲＯＩオブジェクトセグメンテーションも含む。これらのおよびその他の実施形態は、特許請求の範囲の範囲内である。
ビデオシーケンスからのＲＯＩビデオオブジェクトの自動セグメンテーションのための技術を実施する関心領域（ＲＯＩ）オブジェクトセグメンテーションシステムを例示するブロック図。 ビデオシーケンスのビデオフレーム内のＲＯＩオブジェクトおよび非ＲＯＩオブジェクトの定義を例示するブロック図。 ビデオシーケンスのビデオフレーム内のＲＯＩオブジェクトおよび非ＲＯＩオブジェクトの定義を例示するブロック図。 ビデオシーケンスのＲＯＩオブジェクト内に提示されるオブジェクトに関してオブジェクト移動／回転、および形状変形の変化を例示する図。 ビデオシーケンスのＲＯＩオブジェクト内の人物に関して顔の表情の変更を例示する図。 図１からのＲＯＩオブジェクトセグメンテーションシステムの例示的な動作を示す流れ図。 図５Ａからのセグメンテーションモード決定をより詳細に例示する流れ図。 ビデオ源から受信されたビデオシーケンスのフレームに関してモード内セグメンテーションを実行する場合のＲＯＩオブジェクトセグメンテーションシステムを例示するブロック図。 モード内セグメンテーションの間、ＲＯＩオブジェクトセグメンテーションシステムによって実施される技術の例示的な結果を示すスクリーンショット。 モード内セグメンテーションの間、ＲＯＩオブジェクトセグメンテーションシステムによって実施される技術の例示的な結果を示すスクリーンショット。 モード内セグメンテーションの間、ＲＯＩオブジェクトセグメンテーションシステムによって実施される技術の例示的な結果を示すスクリーンショット。 モード内セグメンテーションの間、ＲＯＩオブジェクトセグメンテーションシステムによって実施される技術の例示的な結果を示すスクリーンショット。 モード内セグメンテーションの間、ＲＯＩオブジェクトセグメンテーションシステムによって実施される技術の例示的な結果を示すスクリーンショット。 モード内セグメンテーションの間、ＲＯＩオブジェクトセグメンテーションシステムによって実施される技術の例示的な結果を示すスクリーンショット。 モード内セグメンテーションの間、ＲＯＩオブジェクトセグメンテーションシステムによって実施される技術の例示的な結果を示すスクリーンショット。 モード内セグメンテーションの間、ＲＯＩオブジェクトセグメンテーションシステムによって実施される技術の例示的な結果を示すスクリーンショット。 モード内セグメンテーションの間、ＲＯＩオブジェクトセグメンテーションシステムによって実施される技術の例示的な結果を示すスクリーンショット。 モード内セグメンテーションの間、ＲＯＩオブジェクトセグメンテーションシステムによって実施される技術の例示的な結果を示すスクリーンショット。 モード内セグメンテーションを実行するＲＯＩオブジェクトセグメンテーションシステムの動作を例示する流れ図。 ビデオ源から受信されたビデオシーケンスのフレームに対してモード間セグメンテーションを実行する場合のＲＯＩオブジェクトセグメンテーションシステムを例示するブロック図。 モード間セグメンテーションの間、ＲＯＩオブジェクトセグメンテーションシステムによって実施される技術の例示的な結果を示すスクリーンショット。 モード間セグメンテーションの間、ＲＯＩオブジェクトセグメンテーションシステムによって実施される技術の例示的な結果を示すスクリーンショット。 モード間セグメンテーションを実行するＲＯＩオブジェクトセグメンテーションシステムの動作を例示する流れ図。

Claims (27)

  1. ビデオシーケンスのビデオフレームを受信することと、
    前記ビデオシーケンス内の異なるビデオフレームに対する移動を表す、前記ビデオフレームの移動前景領域を識別することと、
    前記移動前景領域と前記異なるビデオフレームの前景領域とに対応する前記ビデオフレームの組み合わされた前景領域内の関心領域（ＲＯＩ）特徴を検出することと、
    前記検出されたＲＯＩ特徴に基づいて、前記ビデオフレーム内のＲＯＩオブジェクトの形状を概算することと
    を備える方法。
  2. 前記ビデオフレーム内の前記検出されたＲＯＩ特徴が、前記異なるビデオフレーム内で検出されたその他のＲＯＩ特徴の位置に実質的に対応しない場合、前記ＲＯＩオブジェクトに関して正確なＲＯＩ特徴を選択するために、前記検出されたＲＯＩ特徴を検証することをさらに備える、請求項１に記載の方法。
  3. 前記ＲＯＩオブジェクトを識別する出力画像を生成することと、前記ビデオフレームの非ＲＯＩ領域に対して前記ＲＯＩオブジェクトを優先的に符号化することとをさらに備える、請求項１に記載の方法。
  4. 前記異なるビデオフレームが前記ビデオシーケンス内のこれまでのビデオフレームである、請求項１に記載の方法。
  5. 移動前景領域を識別することが、
    前記ビデオフレームの前記ＲＯＩオブジェクト内の画素の第１の位置を前記異なるビデオフレーム内の前記画素の第２の位置と比較することと、
    前記第２の位置から移動していない画素を背景画素として分類することと、
    前記第２の位置から移動した画素を前景画素として分類することと、
    前記前景画素に基づいて前記移動前景領域を識別することと
    を備える、請求項１に記載の方法。
  6. 移動前景領域を識別することが、前記ビデオシーケンスの前記ビデオフレームと前記異なるビデオフレームの間の動作情報に基づいて、どの領域が背景領域であるかを決定するために、前記ビデオフレーム内の背景減算処理を実行することを備える、請求項１に記載の方法。
  7. ＲＯＩ特徴を検出することが、
    前記ビデオフレーム内の皮膚色領域のクロミナンス値に基づいて、前記組み合わされた前景領域内の顔面を検出することと、
    前記検出された顔面内の画素のクロミナンス値および輝度値の両方に基づいて、前記組み合わされた前景領域内の目の特徴を検出することと、
    前記検出された顔面内の画素のクロミナンス値に基づいて、前記組み合わされた前景領域内の口の特徴を検出することと
    を備える、請求項１に記載の方法。
  8. 前記検出されたＲＯＩ特徴が、前記組み合わされた前景領域内で検出された顔の特徴候補を備え、前記方法が、前記ＲＯＩオブジェクトに関して正確な顔の特徴を選択して、顔の特徴候補の前記セットから擬似の顔の特徴を除去するために、前記検出された顔の特徴候補を検証することをさらに備える、請求項１に記載の方法。
  9. 前記組み合わされた前景領域が２個以上のＲＯＩオブジェクトを含み、前記方法が、前記ビデオフレーム内の前記検出されたＲＯＩ特徴が、前記異なるビデオフレーム内で検出されたその他のＲＯＩ特徴の位置に実質的に対応しない場合、前記検出されたＲＯＩ特徴を前記個々のＲＯＩオブジェクトに関するグループに分離することと、最大整合方式問題を前記移動前景領域内の前記検出されたＲＯＩ特徴に応用することをさらに備える、請求項１に記載の方法。
  10. プログラム可能プロセッサに、
    ビデオシーケンスのビデオフレームを受信させ、
    前記ビデオシーケンス内の異なるビデオフレームに対する移動を表す、前記ビデオフレームの移動前景領域を識別させ、
    前記移動前景領域と前記異なるビデオフレーム内の前景領域とに対応する前記ビデオフレームの組み合わされた前景領域内の関心領域（ＲＯＩ）特徴を検出させ、
    前記検出されたＲＯＩ特徴に基づいて、前記ビデオフレーム内のＲＯＩオブジェクトの形状を概算させる
    命令を備えるコンピュータ可読媒体。
  11. 前記ビデオフレーム内の前記検出されたＲＯＩ特徴の位置が、前記異なるビデオフレーム内で検出されたその他のＲＯＩ特徴の位置に実質的に対応しない場合、前記プログラム可能プロセッサに、前記ＲＯＩオブジェクトに関して正確なＲＯＩ特徴を選択するために、前記検出されたＲＯＩ特徴を検証させる命令をさらに備える、請求項１０に記載のコンピュータ可読媒体。
  12. 前記命令が、前記プロセッサに前記ＲＯＩオブジェクトを識別する出力画像を生成させ、前記ビデオフレームの非ＲＯＩ領域に対して前記ＲＯＩオブジェクトを優先的に符号化する、請求項１０に記載のコンピュータ可読媒体。
  13. 前記異なるビデオフレームが前記ビデオシーケンス内のこれまでのビデオフレームである、請求項１０に記載のコンピュータ可読媒体。
  14. 前記命令がプロセッサに、
    前記ビデオフレームの前記ＲＯＩオブジェクト内の画素の第１の位置を前記異なるビデオフレーム内の前記画素の第２の位置と比較させ、
    前記第２の位置から移動していない画素を背景画素として分類させ、
    前記第２の位置から移動した画素を前景画素として分類させ、
    前記前景画素に基づいて、前記移動前景領域を識別させる
    請求項１０に記載のコンピュータ可読媒体。
  15. 前記命令が、前記ビデオフレームと前記ビデオシーケンスの前記異なるビデオフレームの間の動作情報に基づいて、どの領域が背景領域であるかを決定し、背景減算処理に基づいて前記移動前景領域を識別するために、プロセッサに前記ビデオフレーム内で前記背景減算処理を実行させる、請求項１０に記載のコンピュータ可読媒体。
  16. ＲＯＩ特徴の検出のために、前記命令がプロセッサに、
    前記ビデオフレーム内の皮膚色領域のクロミナンス値に基づいて、前記組み合わされた前景領域内の顔面を検出させ、
    前記検出された顔面内の画素のクロミナンス値および輝度値に基づいて、前記組み合わされた前景領域内の目の特徴を検出させ、
    前記検出された顔面の画素のクロミナンス値に基づいて、前記組み合わされた前景領域内の口の特徴を検出させる
    請求項１０に記載のコンピュータ可読媒体。
  17. 前記検出されたＲＯＩ特徴が、前記組み合わされた前景領域内で検出された顔の特徴候補を備え、前記命令が、前記ＲＯＩオブジェクトに関して正確な顔の特徴を選択して、顔の特徴候補の前記セットから擬似の顔の特徴を除去するために、プロセッサに前記検出された顔の特徴候補を検証させる、請求項１０に記載のコンピュータ可読媒体。
  18. 前記組み合わされた前景領域が２個以上のＲＯＩオブジェクトを含み、前記方法が、前記ビデオフレーム内の前記検出されたＲＯＩ特徴の位置が前記異なるビデオフレーム内で検出されたその他のＲＯＩ特徴の位置に実質的に対応しない場合、前記検出されたＲＯＩ特徴を前記個々のＲＯＩオブジェクトに関するグループに分離することと、最大整合方式問題を前記移動前景領域内の前記検出されたＲＯＩ特徴に応用することとをさらに備える、請求項１０に記載のコンピュータ可読媒体。
  19. ビデオシーケンス内のビデオフレームを受信し、
    前記ビデオシーケンス内の異なるビデオフレームに対する移動を表す、前記ビデオフレームの移動前景領域を識別し、
    前記移動前景領域と前記異なるビデオフレームの前景領域とに対応する前記ビデオフレームの組み合わされた前景領域内の関心領域（ＲＯＩ）特徴を検出し、
    前記検出されたＲＯＩ特徴に基づいて、前記ビデオフレーム内のＲＯＩオブジェクトの形状を概算する
    ようにプログラムされたプロセッサを備えるシステム。
  20. 前記プロセッサが、前記ビデオフレーム内の前記検出されたＲＯＩ特徴の位置が、前記異なるビデオフレーム内で検出されたその他のＲＯＩ特徴の位置に実質的に対応しない場合、前記ＲＯＩオブジェクトに関して正確なＲＯＩ特徴を選択するために、前記検出されたＲＯＩ特徴を検証する、請求項１９に記載のシステム。
  21. 前記プロセッサが、前記ＲＯＩオブジェクトを識別する出力画像を生成して、前記ビデオフレームの非ＲＯＩ領域に対して前記ＲＯＩオブジェクトを優先的に符号化する、請求項１９に記載のシステム。
  22. 前記異なるビデオフレームが前記ビデオシーケンス内のこれまでのビデオフレームである、請求項１９に記載のシステム。
  23. 前記プロセッサが、
    前記ビデオフレームの前記ＲＯＩオブジェクト内の画素の第１の位置を前記異なるビデオフレーム内の前記画素の第２の位置と比較し、
    前記第２の位置から移動していない画素を背景画素として分類し、
    前記第２の位置から移動した画素を前景画素として分類し、
    前記前景画素に基づいて、前記移動前景領域を識別する
    請求項１９に記載のシステム。
  24. 前記プロセッサが、前記ビデオフレームと前記ビデオシーケンス内の前記異なるビデオフレームの間の動作情報に基づいて、どの領域が背景領域かを決定して、背景減算処理に基づいて、前記移動前景領域を識別するために、前記ビデオフレーム内で背景減算処理を実行する、請求項１９に記載のシステム。
  25. ＲＯＩ特徴の検出のために、プロセッサが、
    前記ビデオフレーム内の皮膚色領域のクロミナンス値に基づいて、前記組み合わされた前景領域内の顔面を検出し、
    前記検出された顔面内の画素のクロミナンス値および輝度値の両方に基づいて、前記組み合わされた前景領域内の目の特徴を検出し、
    前記検出された顔面内の画素のクロミナンス値に基づいて、前記組み合わされた前景領域内の口の特徴を検出する
    請求項１９に記載のシステム。
  26. 前記検出されたＲＯＩ特徴が、前記組み合わされた前景領域内で検出された顔の特徴候補を備え、前記プロセッサが、前記ＲＯＩオブジェクトに関して正確な顔の特徴を選択して、顔の特徴候補の前記セットから擬似の顔の特徴を除去するために、前記検出された顔の特徴候補を検証する、請求項１９に記載のシステム。
  27. 前記組み合わされた前景領域が２個以上のＲＯＩオブジェクトを含み、前記プロセッサが、前記ビデオフレーム内の前記検出されたＲＯＩ特徴が前記異なるビデオフレーム内で検出されたその他のＲＯＩ特徴の位置に実質的に対応しない場合、前記検出されたＲＯＩ特徴を前記個々のＲＯＩオブジェクトに関するグループに分離して、最大整合方式問題を前記移動前景領域内の前記検出されたＲＯＩ特徴に応用する、請求項１９に記載のシステム。
JP2008553552A 2006-02-07 2007-02-07 モード間の関心領域ビデオオブジェクトセグメンテーション Expired - Fee Related JP4981818B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US11/350,344 US8265392B2 (en) 2006-02-07 2006-02-07 Inter-mode region-of-interest video object segmentation
US11/350,344 2006-02-07
PCT/US2007/061802 WO2007092904A2 (en) 2006-02-07 2007-02-07 Inter-mode region-of-interest video object segmentation

Publications (2)

Publication Number Publication Date
JP2009526292A true JP2009526292A (ja) 2009-07-16
JP4981818B2 JP4981818B2 (ja) 2012-07-25

Family

ID=38266658

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2008553552A Expired - Fee Related JP4981818B2 (ja) 2006-02-07 2007-02-07 モード間の関心領域ビデオオブジェクトセグメンテーション

Country Status (6)

Country Link
US (1) US8265392B2 (ja)
EP (1) EP1982529A2 (ja)
JP (1) JP4981818B2 (ja)
KR (1) KR100983204B1 (ja)
CN (1) CN101375607B (ja)
WO (1) WO2007092904A2 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPWO2015045233A1 (ja) * 2013-09-26 2017-03-09 日本電気株式会社 情報処理システム

Families Citing this family (62)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8208758B2 (en) 2005-10-05 2012-06-26 Qualcomm Incorporated Video sensor-based automatic region-of-interest detection
US8019170B2 (en) 2005-10-05 2011-09-13 Qualcomm, Incorporated Video frame motion-based automatic region-of-interest detection
US8150155B2 (en) 2006-02-07 2012-04-03 Qualcomm Incorporated Multi-mode region-of-interest video object segmentation
US8982146B2 (en) * 2007-01-30 2015-03-17 Fergason Patent Properties Llc Image acquisition and display system and method using information derived from an area of interest in a video image implementing system synchronized brightness control and use of metadata
JP4663699B2 (ja) * 2007-09-27 2011-04-06 富士フイルム株式会社 画像表示装置、及び画像表示方法
JP5464799B2 (ja) * 2007-11-16 2014-04-09 キヤノン株式会社 画像処理装置、画像処理方法及びプログラム
US8682029B2 (en) * 2007-12-14 2014-03-25 Flashfoto, Inc. Rule-based segmentation for objects with frontal view in color images
FR2926384B1 (fr) * 2008-01-10 2010-01-15 Gen Electric Procede de traitement d'images de radiologie interventionnelle et systeme d'imagerie associe.
US8233676B2 (en) * 2008-03-07 2012-07-31 The Chinese University Of Hong Kong Real-time body segmentation system
US8243987B2 (en) * 2008-06-06 2012-08-14 International Business Machines Corporation Object tracking using color histogram and object size
US9031279B2 (en) * 2008-07-09 2015-05-12 Disney Enterprises, Inc. Multiple-object tracking and team identification for game strategy analysis
CN102576412B (zh) 2009-01-13 2014-11-05 华为技术有限公司 图像处理以为图像中的对象进行分类的方法和系统
US8345990B2 (en) 2009-08-03 2013-01-01 Indian Institute Of Technology Bombay System for creating a capsule representation of an instructional video
EP2507742A2 (en) * 2009-12-02 2012-10-10 Tata Consultancy Services Limited A cost effective and robust system and method for eye tracking and driver drowsiness identification
CN102236899B (zh) 2010-05-07 2013-12-04 株式会社理光 物体检测方法和装置
US8954885B2 (en) 2010-10-05 2015-02-10 Fergason Patent Properties, Llc Display system using metadata to adjust area of interest and method
AU2010241260B2 (en) * 2010-10-29 2013-12-19 Canon Kabushiki Kaisha Foreground background separation in a scene with unstable textures
KR20120052767A (ko) * 2010-11-16 2012-05-24 한국전자통신연구원 영상 분리 장치 및 방법
TR201101980A1 (tr) * 2011-03-01 2012-09-21 Ulusoy İlkay Bir nesne temelli bölütleme yöntemi.
TWI439967B (zh) * 2011-10-31 2014-06-01 Hon Hai Prec Ind Co Ltd 安全監控系統及安全監控方法
TWI495339B (zh) * 2011-11-11 2015-08-01 Univ Nat Cheng Kung 摘要影像的製造方法
US9262670B2 (en) * 2012-02-10 2016-02-16 Google Inc. Adaptive region of interest
KR20130108949A (ko) * 2012-03-26 2013-10-07 한국전자통신연구원 영상부호 및 복호화 단계에서의 이중 객체검출 및 이동경로 정보를 이용한 영상 압축 방법
KR20130111061A (ko) * 2012-03-30 2013-10-10 한국전자통신연구원 이진 분할 트리를 이용한 영상 인코딩 방법
CN103517072B (zh) * 2012-06-18 2017-11-03 联想(北京)有限公司 视频通信方法和设备
US10757369B1 (en) * 2012-10-08 2020-08-25 Supratik Mukhopadhyay Computer implemented system and method for high performance visual tracking
KR20200045013A (ko) 2013-07-15 2020-04-29 소니 주식회사 상호작용성을 위한 모션-구속된 타일 세트들 sei 메시지의 확장들
CN104346802B (zh) * 2013-08-05 2018-02-16 浙江大华技术股份有限公司 一种人员离岗监控方法及设备
GB201318658D0 (en) 2013-10-22 2013-12-04 Microsoft Corp Controlling resolution of encoded video
GB2523330A (en) 2014-02-20 2015-08-26 Nokia Technologies Oy Method, apparatus and computer program product for segmentation of objects in media content
CN103957423A (zh) * 2014-05-14 2014-07-30 杭州古北电子科技有限公司 一种基于计算机视觉的视频压缩和重建方法
US9454819B1 (en) * 2015-06-03 2016-09-27 The United States Of America As Represented By The Secretary Of The Air Force System and method for static and moving object detection
US10043075B2 (en) * 2015-11-19 2018-08-07 Microsoft Technology Licensing, Llc Eye feature identification
US9846808B2 (en) * 2015-12-31 2017-12-19 Adaptive Computation, Llc Image integration search based on human visual pathway model
CN105872448A (zh) * 2016-05-31 2016-08-17 宇龙计算机通信科技(深圳)有限公司 一种视频通话中视频图像展示方法及装置
US10269123B2 (en) 2017-01-09 2019-04-23 Qualcomm Incorporated Methods and apparatus for video background subtraction
US10699139B2 (en) * 2017-03-30 2020-06-30 Hrl Laboratories, Llc System for real-time object detection and recognition using both image and size features
US10816354B2 (en) 2017-08-22 2020-10-27 Tusimple, Inc. Verification module system and method for motion-based lane detection with multiple sensors
US10762673B2 (en) 2017-08-23 2020-09-01 Tusimple, Inc. 3D submap reconstruction system and method for centimeter precision localization using camera-based submap and LiDAR-based global map
US10565457B2 (en) 2017-08-23 2020-02-18 Tusimple, Inc. Feature matching and correspondence refinement and 3D submap position refinement system and method for centimeter precision localization using camera-based submap and LiDAR-based global map
US10953881B2 (en) 2017-09-07 2021-03-23 Tusimple, Inc. System and method for automated lane change control for autonomous vehicles
US10953880B2 (en) 2017-09-07 2021-03-23 Tusimple, Inc. System and method for automated lane change control for autonomous vehicles
US10649458B2 (en) 2017-09-07 2020-05-12 Tusimple, Inc. Data-driven prediction-based system and method for trajectory planning of autonomous vehicles
US10410055B2 (en) * 2017-10-05 2019-09-10 TuSimple System and method for aerial video traffic analysis
JP7122815B2 (ja) * 2017-11-15 2022-08-22 キヤノン株式会社 画像処理装置、画像処理方法、及びプログラム
EP3737595B1 (en) 2018-01-09 2023-12-27 TuSimple, Inc. Real-time remote control of vehicles with high redundancy
CN115834617A (zh) 2018-01-11 2023-03-21 图森有限公司 用于自主车辆操作的监视系统
US11009356B2 (en) 2018-02-14 2021-05-18 Tusimple, Inc. Lane marking localization and fusion
US11009365B2 (en) 2018-02-14 2021-05-18 Tusimple, Inc. Lane marking localization
US10685244B2 (en) 2018-02-27 2020-06-16 Tusimple, Inc. System and method for online real-time multi-object tracking
CN110378185A (zh) 2018-04-12 2019-10-25 北京图森未来科技有限公司 一种应用于自动驾驶车辆的图像处理方法、装置
CN110458854B (zh) 2018-05-02 2022-11-15 北京图森未来科技有限公司 一种道路边缘检测方法和装置
US11292480B2 (en) 2018-09-13 2022-04-05 Tusimple, Inc. Remote safe driving methods and systems
US10942271B2 (en) 2018-10-30 2021-03-09 Tusimple, Inc. Determining an angle between a tow vehicle and a trailer
US11386562B2 (en) 2018-12-28 2022-07-12 Cyberlink Corp. Systems and methods for foreground and background processing of content in a live video
CN111954053B (zh) * 2019-05-17 2023-09-05 上海哔哩哔哩科技有限公司 获取蒙版帧数据的方法、计算机设备及可读存储介质
US11823460B2 (en) 2019-06-14 2023-11-21 Tusimple, Inc. Image fusion for autonomous vehicle operation
CN110929597A (zh) * 2019-11-06 2020-03-27 普联技术有限公司 一种基于图像的树叶过滤方法、装置及存储介质
EP3893150A1 (en) 2020-04-09 2021-10-13 Tusimple, Inc. Camera pose estimation techniques
AU2021203567A1 (en) 2020-06-18 2022-01-20 Tusimple, Inc. Angle and orientation measurements for vehicles with multiple drivable sections
CN113052923B (zh) * 2021-03-31 2023-02-28 维沃移动通信（深圳）有限公司 色调映射方法、装置、电子设备和存储介质
FR3131047A1 (fr) * 2021-12-21 2023-06-23 Orange Procédé de détection du mouvement d’au moins un objet, dispositif électronique, système, produit programme d’ordinateur et support de stockage correspondants

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000137817A (ja) * 1998-11-02 2000-05-16 Telecommunication Advancement Organization Of Japan 画像処理方法及び装置
JP2002312793A (ja) * 2001-02-07 2002-10-25 Victor Co Of Japan Ltd 動画像からの物体抽出方法及びその装置
JP2003526841A (ja) * 1999-08-30 2003-09-09 コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ 生物測定学に基づく顔の抽出システム及び方法
WO2003107677A1 (en) * 2002-06-12 2003-12-24 British Telecommunications Public Limited Company Video pre-processing
JP2004054960A (ja) * 2002-07-19 2004-02-19 Samsung Electronics Co Ltd 映像視覚情報を結合してリアルタイムで複数の顔を検出して追跡する顔検出・追跡システム及びその方法

Family Cites Families (99)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS59194274A (ja) * 1983-04-18 1984-11-05 Nippon Telegr & Teleph Corp <Ntt> 人物判定装置
EP0330455A3 (en) * 1988-02-22 1990-07-04 Kabushiki Kaisha Toshiba Image encoding apparatus
US5150432A (en) * 1990-03-26 1992-09-22 Kabushiki Kaisha Toshiba Apparatus for encoding/decoding video signals to improve quality of a specific region
US5048095A (en) * 1990-03-30 1991-09-10 Honeywell Inc. Adaptive image segmentation system
JP2863818B2 (ja) 1990-08-31 1999-03-03 工業技術院長 動画像の変化点検出方法
US5323470A (en) * 1992-05-08 1994-06-21 Atsushi Kara Method and apparatus for automatically tracking an object
KR950009699B1 (ko) * 1992-06-09 1995-08-26 대우전자주식회사 움직임벡터 검출방법 및 장치
GB9308952D0 (en) * 1993-04-30 1993-06-16 Philips Electronics Uk Ltd Tracking objects in video sequences
US5852669A (en) * 1994-04-06 1998-12-22 Lucent Technologies Inc. Automatic face and facial feature location detection for low bit rate model-assisted H.261 compatible coding of video
KR100235345B1 (ko) * 1994-12-29 1999-12-15 전주범 분할영역에서의 움직임 추정방법 및 장치
KR100235343B1 (ko) * 1994-12-29 1999-12-15 전주범 영역분할 기법을 이용한 동영상신호 부호화기의 움직임 벡터 측정장치
KR0180170B1 (ko) * 1995-06-30 1999-05-01 배순훈 움직임 추정 방법 및 추정 장치
US6026183A (en) * 1995-10-27 2000-02-15 Texas Instruments Incorporated Content-based video compression
KR0181069B1 (ko) * 1995-11-08 1999-05-01 배순훈 움직임 추정장치
US5774591A (en) * 1995-12-15 1998-06-30 Xerox Corporation Apparatus and method for recognizing facial expressions and facial gestures in a sequence of images
US5764283A (en) * 1995-12-29 1998-06-09 Lucent Technologies Inc. Method and apparatus for tracking moving objects in real time using contours of the objects and feature paths
US5692063A (en) * 1996-01-19 1997-11-25 Microsoft Corporation Method and system for unrestricted motion estimation for video
JPH1051755A (ja) * 1996-05-30 1998-02-20 Fujitsu Ltd テレビ会議端末の画面表示制御装置
US6343141B1 (en) * 1996-10-08 2002-01-29 Lucent Technologies Inc. Skin area detection for video image systems
US5828769A (en) * 1996-10-23 1998-10-27 Autodesk, Inc. Method and apparatus for recognition of objects via position and orientation consensus of local image encoding
US5864630A (en) * 1996-11-20 1999-01-26 At&T Corp Multi-modal method for locating objects in images
US6456328B1 (en) * 1996-12-18 2002-09-24 Lucent Technologies Inc. Object-oriented adaptive prefilter for low bit-rate video systems
US6993201B1 (en) * 1997-07-08 2006-01-31 At&T Corp. Generalized scalability for video coder based on video objects
US6188777B1 (en) * 1997-08-01 2001-02-13 Interval Research Corporation Method and apparatus for personnel detection and tracking
US6335985B1 (en) * 1998-01-07 2002-01-01 Kabushiki Kaisha Toshiba Object extraction apparatus
US6148092A (en) * 1998-01-08 2000-11-14 Sharp Laboratories Of America, Inc System for detecting skin-tone regions within an image
GB2333590A (en) * 1998-01-23 1999-07-28 Sharp Kk Detecting a face-like region
US6301370B1 (en) * 1998-04-13 2001-10-09 Eyematic Interfaces, Inc. Face recognition from video images
US6477201B1 (en) * 1998-05-22 2002-11-05 Sarnoff Corporation Content-adaptive compression encoding
AUPP400998A0 (en) * 1998-06-10 1998-07-02 Canon Kabushiki Kaisha Face detection in digital images
US6023183A (en) * 1998-06-15 2000-02-08 International Business Machines Corporation Voltage conversion circuit and method
US6141041A (en) * 1998-06-22 2000-10-31 Lucent Technologies Inc. Method and apparatus for determination and visualization of player field coverage in a sporting event
US6292575B1 (en) * 1998-07-20 2001-09-18 Lau Technologies Real-time facial recognition and verification system
WO2000008586A2 (en) * 1998-08-07 2000-02-17 Korea Institute Of Science And Technology Apparatus and method for detecting a moving object in a sequence of color frame images
US6924832B1 (en) * 1998-08-07 2005-08-02 Be Here Corporation Method, apparatus & computer program product for tracking objects in a warped video image
US6480615B1 (en) * 1999-06-15 2002-11-12 University Of Washington Motion estimation within a sequence of data frames using optical flow with adaptive gradients
US6545706B1 (en) * 1999-07-30 2003-04-08 Electric Planet, Inc. System, method and article of manufacture for tracking a head of a camera-generated image of a person
EP1968012A3 (en) * 1999-11-16 2008-12-03 FUJIFILM Corporation Image processing apparatus, image processing method and recording medium
US7123745B1 (en) * 1999-11-24 2006-10-17 Koninklijke Philips Electronics N.V. Method and apparatus for detecting moving objects in video conferencing and other applications
US6754389B1 (en) * 1999-12-01 2004-06-22 Koninklijke Philips Electronics N.V. Program classification using object tracking
GB2358098A (en) * 2000-01-06 2001-07-11 Sharp Kk Method of segmenting a pixelled image
US6829395B2 (en) * 2000-01-20 2004-12-07 Axis, Ab Apparatus and method for storing and reading digital images
US6970598B1 (en) * 2000-01-21 2005-11-29 Xerox Corporation Data processing methods and devices
US6668070B2 (en) * 2000-03-29 2003-12-23 Sony Corporation Image processing device, image processing method, and storage medium
US6580821B1 (en) * 2000-03-30 2003-06-17 Nec Corporation Method for computing the location and orientation of an object in three dimensional space
JP3603737B2 (ja) * 2000-03-30 2004-12-22 日本電気株式会社 移動体追尾方法及びその装置
EP1158786A3 (en) * 2000-05-24 2005-03-09 Sony Corporation Transmission of the region of interest of an image
US6731799B1 (en) * 2000-06-01 2004-05-04 University Of Washington Object segmentation with background extraction and moving boundary techniques
US6826292B1 (en) * 2000-06-23 2004-11-30 Sarnoff Corporation Method and apparatus for tracking moving objects in a sequence of two-dimensional images using a dynamic layered representation
US6665450B1 (en) * 2000-09-08 2003-12-16 Avid Technology, Inc. Interpolation of a sequence of images using motion analysis
EP1211640A3 (en) 2000-09-15 2003-10-15 Canon Kabushiki Kaisha Image processing methods and apparatus for detecting human eyes, human face and other objects in an image
US6680745B2 (en) * 2000-11-10 2004-01-20 Perceptive Network Technologies, Inc. Videoconferencing method with tracking of face and dynamic bandwidth allocation
US6678413B1 (en) * 2000-11-24 2004-01-13 Yiqing Liang System and method for object identification and behavior characterization using video analysis
US7020305B2 (en) * 2000-12-06 2006-03-28 Microsoft Corporation System and method providing improved head motion estimations for animation
JP2002175538A (ja) * 2000-12-08 2002-06-21 Mitsubishi Electric Corp 似顔絵生成装置及び似顔絵生成方法及び似顔絵生成プログラムを記録した記録媒体及び通信用端末及び通信用端末による通信方法
US6670963B2 (en) 2001-01-17 2003-12-30 Tektronix, Inc. Visual attention model
US6964023B2 (en) 2001-02-05 2005-11-08 International Business Machines Corporation System and method for multi-modal focus detection, referential ambiguity resolution and mood classification using multi-modal input
GB2372165A (en) * 2001-02-10 2002-08-14 Hewlett Packard Co A method of selectively storing images
US20020168091A1 (en) * 2001-05-11 2002-11-14 Miroslav Trajkovic Motion detection via image alignment
US6870945B2 (en) * 2001-06-04 2005-03-22 University Of Washington Video object tracking by estimating and subtracting background
JP4596222B2 (ja) * 2001-06-26 2010-12-08 ソニー株式会社 画像処理装置および方法、記録媒体、並びにプログラム
JP4840630B2 (ja) * 2001-06-27 2011-12-21 ソニー株式会社 画像処理装置および方法、記録媒体、並びにプログラム
EP1404133A4 (en) * 2001-06-29 2010-04-21 Ntt Docomo Inc IMAGE ENCODER, IMAGE DECODER, IMAGE ENCODING METHOD, AND IMAGE DECODING METHOD
US7861169B2 (en) * 2001-11-19 2010-12-28 Ricoh Co. Ltd. Multimedia print driver dialog interfaces
US7130446B2 (en) * 2001-12-03 2006-10-31 Microsoft Corporation Automatic detection and tracking of multiple individuals using multiple cues
KR100456619B1 (ko) * 2001-12-05 2004-11-10 한국전자통신연구원 에스.브이.엠(ｓｖｍ)을 이용한 얼굴 등록/인증 시스템 및방법
JP2003174504A (ja) 2001-12-05 2003-06-20 Mitsubishi Electric Corp 通話機能付き携帯端末装置およびそのための制御装置、ならびにバックライト制御方法
US7277580B2 (en) * 2001-12-12 2007-10-02 Sony Corporation Multiple thresholding for video frame segmentation
KR100411347B1 (ko) * 2001-12-29 2003-12-18 엘지전자 주식회사 동영상 비디오의 장면전환 검출 방법
AUPS140502A0 (en) * 2002-03-27 2002-05-09 Seeing Machines Pty Ltd Method for automatic detection of facial features
US7212670B1 (en) * 2002-05-03 2007-05-01 Imagetree Corp. Method of feature identification and analysis
US7082211B2 (en) * 2002-05-31 2006-07-25 Eastman Kodak Company Method and system for enhancing portrait images
US7190809B2 (en) * 2002-06-28 2007-03-13 Koninklijke Philips Electronics N.V. Enhanced background model employing object classification for improved background-foreground segmentation
US7035461B2 (en) * 2002-08-22 2006-04-25 Eastman Kodak Company Method for detecting objects in digital images
US7227893B1 (en) * 2002-08-22 2007-06-05 Xlabs Holdings, Llc Application-specific object-based segmentation and recognition system
EP1418530B1 (en) * 2002-10-08 2012-12-05 Sony France S.A. Adaptive artificial vision method and system
KR100455294B1 (ko) * 2002-12-06 2004-11-06 삼성전자주식회사 감시 시스템에서의 사용자 검출 방법, 움직임 검출 방법및 사용자 검출 장치
JP2004220555A (ja) 2002-12-27 2004-08-05 Fuji Photo Film Co Ltd 画像から被写体領域を抽出する装置、方法、プログラムおよびプログラムを記録した記録媒体
US6999600B2 (en) * 2003-01-30 2006-02-14 Objectvideo, Inc. Video scene background maintenance using change detection and classification
US7599524B2 (en) * 2003-04-04 2009-10-06 Sarnoff Corporation Method and apparatus for providing a robust object finder
WO2005036456A2 (en) * 2003-05-12 2005-04-21 Princeton University Method and apparatus for foreground segmentation of video sequences
US7430335B2 (en) * 2003-08-13 2008-09-30 Apple Inc Pre-processing method and system for data reduction of video sequences and bit rate reduction of compressed video sequences using spatial filtering
WO2005041579A2 (en) * 2003-10-24 2005-05-06 Reactrix Systems, Inc. Method and system for processing captured image information in an interactive video display system
US7127083B2 (en) * 2003-11-17 2006-10-24 Vidient Systems, Inc. Video surveillance system with object detection and probability scoring based on object class
US7136507B2 (en) * 2003-11-17 2006-11-14 Vidient Systems, Inc. Video surveillance system with rule-based reasoning and multiple-hypothesis scoring
US20050104960A1 (en) * 2003-11-17 2005-05-19 Mei Han Video surveillance system with trajectory hypothesis spawning and local pruning
JP2005182196A (ja) * 2003-12-16 2005-07-07 Canon Inc 画像表示方法および画像表示装置
JP2005293539A (ja) 2004-03-08 2005-10-20 Matsushita Electric Works Ltd 表情認識装置
JP4819380B2 (ja) * 2004-03-23 2011-11-24 キヤノン株式会社 監視システム、撮像設定装置、制御方法、及びプログラム
US8594391B2 (en) * 2004-05-06 2013-11-26 Avago Technologies General Ip (Singapore) Pte. Ltd. Finger-based identification systems and methods
GB2414614A (en) * 2004-05-28 2005-11-30 Sony Uk Ltd Image processing to determine most dissimilar images
JP5032846B2 (ja) * 2004-08-31 2012-09-26 パナソニック株式会社 監視装置および監視記録装置、それらの方法
US20060067562A1 (en) * 2004-09-30 2006-03-30 The Regents Of The University Of California Detection of moving objects in a video
US7391907B1 (en) * 2004-10-01 2008-06-24 Objectvideo, Inc. Spurious object detection in a video surveillance system
US7583287B2 (en) * 2005-03-22 2009-09-01 Microsoft Corp. System and method for very low frame rate video streaming for face-to-face video conferencing
WO2006105655A1 (en) * 2005-04-06 2006-10-12 March Networks Corporation Method and system for counting moving objects in a digital video stream
US7409076B2 (en) * 2005-05-27 2008-08-05 International Business Machines Corporation Methods and apparatus for automatically tracking moving entities entering and exiting a specified region
JP2009508450A (ja) * 2005-09-13 2009-02-26 ヴェリフィコン コーポレーション 物体のトラッキングおよび活動分析のためのシステムおよび方法
US8150155B2 (en) 2006-02-07 2012-04-03 Qualcomm Incorporated Multi-mode region-of-interest video object segmentation

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000137817A (ja) * 1998-11-02 2000-05-16 Telecommunication Advancement Organization Of Japan 画像処理方法及び装置
JP2003526841A (ja) * 1999-08-30 2003-09-09 コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ 生物測定学に基づく顔の抽出システム及び方法
JP2002312793A (ja) * 2001-02-07 2002-10-25 Victor Co Of Japan Ltd 動画像からの物体抽出方法及びその装置
WO2003107677A1 (en) * 2002-06-12 2003-12-24 British Telecommunications Public Limited Company Video pre-processing
JP2004054960A (ja) * 2002-07-19 2004-02-19 Samsung Electronics Co Ltd 映像視覚情報を結合してリアルタイムで複数の顔を検出して追跡する顔検出・追跡システム及びその方法

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPWO2015045233A1 (ja) * 2013-09-26 2017-03-09 日本電気株式会社 情報処理システム

Also Published As

Publication number Publication date
JP4981818B2 (ja) 2012-07-25
WO2007092904A2 (en) 2007-08-16
US20070183662A1 (en) 2007-08-09
EP1982529A2 (en) 2008-10-22
KR20080100241A (ko) 2008-11-14
CN101375607A (zh) 2009-02-25
US8265392B2 (en) 2012-09-11
KR100983204B1 (ko) 2010-09-20
WO2007092904A3 (en) 2007-10-18
CN101375607B (zh) 2011-03-02

Similar Documents

Publication Publication Date Title
JP4981818B2 (ja) モード間の関心領域ビデオオブジェクトセグメンテーション
JP4819912B2 (ja) マルチモードの関心領域ビデオオブジェクトセグメンテーション
JP4988770B2 (ja) モード間の関心領域画像オブジェクト区分
US11727577B2 (en) Video background subtraction using depth
CN107771336B (zh) 基于颜色分布的图像中的特征检测和掩模
US8983152B2 (en) Image masks for face-related selection and processing in images
US20210334998A1 (en) Image processing method, apparatus, device and medium for locating center of target object region
Zafarifar et al. Blue sky detection for picture quality enhancement
Guilluy et al. Feature trajectories selection for video stabilization
TWI624793B (zh) 物件偵測的適應系統與方法
Liu et al. Efficient face segmentation based on face attention model and seeded region merging
Chiu et al. A Face Replacement System Based on Face Pose Estimation

Legal Events

Date Code Title Description
A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20101116

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20110216

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20110412

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20110712

A602 Written permission of extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A602

Effective date: 20110720

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20110810

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20120321

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20120420

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20150427

Year of fee payment: 3

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

Ref document number: 4981818

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees