JP2003058894A

JP2003058894A - ピクセル化された画像をセグメント化するための方法および装置

Info

Publication number: JP2003058894A
Application number: JP2002196585A
Authority: JP
Inventors: He Hongu Ki; へホングキ; Toshio Nomura; 敏男野村
Original assignee: Sharp Corp
Current assignee: Sharp Corp
Priority date: 2001-07-07
Filing date: 2002-07-04
Publication date: 2003-02-28
Also published as: GB0116681D0; CN1396775A; EP1274251A2; GB2377333A; US20030053692A1; EP1274251A3

Abstract

(57)【要約】【課題】高速演算を可能にするために、ピクセル化さ
れた画像を、少なくとも１つの前景領域と、少なくとも
１つの背景領域とにセグメント化する方法および装置を
提供する。【解決手段】本発明の方法は、少なくとも１つの前景
領域および少なくとも１つの背景領域を有するピクセル
化画像をセグメント化する方法であって、少なくとも１
つの背景領域の第１の視覚的特徴を判定する工程と、第
１の視覚的特徴から第１の隠されていない背景画像を生
成する工程と、ピクセル化画像のピクセルの少なくとも
一部のうちそれぞれのピクセルと、第１の背景画像の対
応するピクセルとを比較する工程と、比較の結果に少な
くとも部分的に応じて、該少なくとも一部のピクセルの
それぞれを前景ピクセルまたは背景ピクセルとして割り
当てる工程と、を包含する。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、ピクセル化された
画像を、少なくとも１つの前景領域と、少なくとも１つ
の背景領域とにセグメント化する方法および装置に関す
る。このような技術は、データ速度の低速化および／ま
たは前景領域の圧縮品質の向上のための映像圧縮分野に
おいて用いることが可能である。このような技術は、セ
グメント化された背景を別の背景画像または別の背景シ
ーンのシーケンスと取り換えることにより、新たな画像
シーケンスを構築するためにも用いることも可能であ
る。このような技術の可能な用途をさらに挙げると、映
像通信、映像会議、テレビ放送、インターネットマルチ
メディアアプリケーション、ＭＰＥＧ−４アプリケーシ
ョン（例えば、映像圧縮）、顔面検出アプリケーション
およびリアルタイム映像追跡システム（例えば、観測者
追跡のための立体映像３Ｄディスプレイ）がある。

【０００２】このような技術の特定の用途としては、マ
ルチメディアアプリケーション用のデジタルビデオカメ
ラならびに他のデジタル画像取り込みデバイスおよびデ
ジタル記録デバイスがある。このようなデバイスの一例
を挙げると、Ｓｈａｒｐ（登録商標）のＩｎｔｅｒｎｅ
ｔＶｉｅｗＣａｍＶＮ−ＥＺシリーズがある。

【０００３】

【従来の技術】多くの公知の画像処理用途および画像解
析用途では、複数の画像シーケンスが用いられる。これ
らの画像シーケンスは、前景オブジェクトおよび背景オ
ブジェクトを含む。前景オブジェクトは一時的にアクテ
ィブであることが多く、背景領域は比較的静的である。
前景オブジェクトが移動および／または形状の変更を行
うにつれて、背景シーンの一部を被覆および／または露
出させる場合もある。これらの用途において、これらの
画像を前景領域および背景領域にセグメント化すること
が可能であると、非常に有用である。

【０００４】Ｓｈａｒｐ（登録商標）のＩｎｔｅｒｎｅ
ｔＶｉｅｗＣａｍＶＮ−ＥＺ１は、マルチメディア
アプリケーション用に作製されたＭＰＥＧ−４デジタル
レコーダである。コンピュータのユーザは、このレコー
ダを用いると、マルチメディアアプリケーション（例え
ば、ホームページ通信、インターネットのブロードキャ
スト通信およびＥメール通信）に動画を組み込むことが
できる。このレコーダは、ＭＰＥＧ−４デジタル動画圧
縮規格およびマイクロソフト（登録商標）Ａｄｖａｎｃ
ｅｄＳｔｒｅａｍｉｎｇＦｏｒｍａｔを用いて、サ
イズが小さく、インターネット配信に適した動画ピクチ
ャファイルを生成する。映像データは、約１時間の記録
が可能なスマートメディア（登録商標）メモリカードに
記録される。

【０００５】画像取り込みは、例えば、家庭環境におい
て行われ、その場合、無地の壁が静的背景として存在す
る。例えば、セグメント化がうまく行えると、前景領域
および背景領域に様々な圧縮技術を適用することが可能
となる。その場合、より高い圧縮比を達成することが可
能となり、その結果、記録時間の増加と前景領域の品質
向上とを両立させることが可能となる。その上、背景領
域を他のシーンと取り換えて特殊効果を生成して、消費
者への訴求効果を高めることも可能となる。元の画像と
取り換えられる新規背景画像としては、自然の画像また
はコンピュータによって生成された画像がある。ユーザ
は、インターネット接続およびデータ供給ウェブサイト
（例えば、Ｓｈａｒｐ（登録商標）スペースタウン）を
用いて、背景画像および構成画像の格納、取り出し、公
開および交換を行うことができる。新規画像の生成に特
殊効果を用いることができると、このようなデバイスの
消費者への訴求度が高くなる。

【０００６】上記機能を用いて、画像処理能力を備えた
他のモバイルデバイスの訴求度を高めることもできる。
その一例として、シャープ（登録商標）の携帯電話であ
るＪ−ＳＨシリーズがある。これらの携帯電話には、画
像をＥメールとして送受するマルチメディア機能が付い
ている。内蔵されている薄膜トランジスタ（ＴＦＴ）液
晶ディスプレイ（ＬＣＤ）により、ピクチャを表示する
ことが可能である。しかし、携帯電話は映像シーケンス
ではなく個別の画像を処理するように設計されている場
合が多い。これは、個別画像および映像シーケンスのど
ちらも処理することが可能なＩｎｔｅｒｎｅｔＶｉｅ
ｗＣａｍと対照的である。

【０００７】個々の画像の処理に機能が限定されている
携帯電話および他のデバイスの場合、単一の画像をセグ
メント化する能力を持たせることが望ましい。一連の個
別画像を含む映像シーケンスをセグメント化する技術を
用いて、単一画像をセグメント化することが可能であ
る。しかし、映像シーケンスの方が、前景および背景に
関する情報量が多い。例えば、前景オブジェクトは１つ
の画像から別の画像に移動するのに対し、背景は静的状
態のままであることがある。動画情報を抽出すると、前
景領域および背景領域のセグメント化が容易になり得
る。実際には、単一画像のセグメント化に用いられる技
術が、最も効率の良い映像シーケンスセグメント化技術
であるとは限らない。場合によっては、映像シーケンス
をセグメント化することよりも単一画像をセグメント化
する方が難しい場合もある。

【０００８】従来のシステムでは、セグメント化を行う
際、緻密に制御された背景（例えば、前景オブジェクト
の後ろ側にある均一に着色された画面または強く照明さ
れたバッキング）を用いていた。例えば、ＵＳ５８０８
６８２にデータ圧縮システムについての開示があり、こ
のシステムでは、既知の色で均一に照明された特殊な背
景から前景オブジェクトをセグメント化する。その後、
セグメント化されたオブジェクトを既知の色で均一に照
明する。任意の色を用いることが可能であるが、最も一
般的なのは青色である。そのため、この種類の色付きの
バッキングは青色バッキングと呼ばれることが多い。そ
の後、公知のクロマキー技術を用いて前景オブジェクト
をセグメント化することができる。

【０００９】着色されたバッキングが大型である場合、
照明を均一に行うことは容易なことではない。ＵＳ５４
２４７８１に線形画像複合システムについての開示があ
り、このシステムでは、輝度の不均一および／または着
色されたバッキングの色を修正する工程を、エッジグロ
ー、エッジ暗化、エッジ詳細の消失および他の異常など
の不利点を被ることなく行う。

【００１０】白黒画像の場合、背景の制御を用いて、前
景オブジェクトと背景シーンとを２つの異なる範囲のグ
レイスケールに分割することが知られている。通常、こ
のような分割工程は、グレイレベルのヒストグラム内の
深い谷部を見出すことによって達成可能となる場合が多
い。ＮｏｂｕｙｕｋｉＯｔｓｕによる「Ａｔｈｒｅ
ｓｈｏｌｄｓｅｌｅｃｔｉｏｎｍｅｔｈｏｄｆｒ
ｏｍｇｒｅｙ−ｌｅｖｅｌｈｉｓｔｏｇｒａｍｓ」
（ＩＥＥＥＴｒａｎｓ．ｏｎＳｙｓｔｅｍｓ、Ｍａ
ｎａｎｄＣｙｂｅｒｅｔｉｃｓ、Ｖｏｌ．ＳＭＥ−
９、Ｎｏ．１、１９７９年１月、ｐ６２〜６６）に、背
景から前景オブジェクトのセグメント化を行うのに最も
適した閾値を発見する方法についての開示がある。添付
の図面の図１は、この種のヒストグラムを示し、ｈ
（ｔ）はピクセル数を示し、ｔはピクセル値の振幅を示
す。背景が制御されると、背景のピクセルの大部分は比
較的低レベルになる一方、前景ピクセルのレベルは高く
なる傾向となる。Ｏｔｓｕは、これらの２つの範囲の間
の谷部において閾値Ｔを定義しようとした。

【００１１】この技術にはいくつかの問題がある。例え
ば、図１では、背景および前景のグレイレベル範囲間に
良好に定義された谷部が図示されているが、このような
良好に定義された谷部が現れるのは、背景を極めて緻密
に制御されていて、かつ都合のよい前景が存在した場合
であり、決して全ての前景に対して現れるわけではな
い。全前景の一部は必ず消失している可能性がある。

【００１２】この技術を緻密に制御された条件下におい
て用いなかった場合、問題はもっと深刻になる。具体的
には、多くの場合において、画像のうち全てがセグメン
ト化できたわけではなかった場合、かなりの数の前景ピ
クセルが閾値を下回りレベルを持ち、かなりの数の背景
ピクセルのレベルが閾値を上回るレベルを持つ。そのた
め、選択された閾値Ｔがどんな値であっても、セグメン
ト化精度が損なわれることになる。

【００１３】単一画像をセグメント化する別の技術に関
する開示が、ＴＦｕｇｉｍｏｔｏらによる「Ａｍｅ
ｔｈｏｄｆｏｒｒｅｍｏｖｉｎｇｂａｃｋｇｒｏ
ｕｎｄｒｅｇｉｏｎｓｆｒｏｍｍｏｖｉｎｇｉ
ｍａｇｅｓ」（ＳＰＩＥｖｏｌ．１６０６Ｖｉｓｕ
ａｌｃｏｍｍｕｎｉｃａｔｉｏｎｓａｎｄｉｍａ
ｇｅｐｒｏｃｅｓｓｉｎｇ１９９１、ｉｍａｇｅ
ｐｒｏｃｅｓｓｉｎｇ、ｐ５９９〜６０６）にある。こ
の技術では、明るさ強度の変動に対する耐久性を得るた
めに、ピクセル値のレベルおよび極性の両方を用いてい
る。

【００１４】添付図面の図２は、図１と同じ軸を有する
ヒストグラムであり、明るさ強度の変動による効果を示
す。このような変動が無い場合、ヒストグラムに示され
る分布の狭いピークは垂直軸に集中し、その両側には対
称的な傾斜が続く。明るさ強度の変動が発生すると、こ
のピークは水平方向にオフセットする。Ｆｕｇｉｍｏｔ
ｏらによる技術は、ガウス分布を実際のピーク位置と整
合させ、一定の関数を用いて曲線の残り部分（これは、
前景のピクセルレベルを表すものと仮定される）をシミ
ュレートすることにより、非対称の正の閾値および負の
閾値Ｔ１およびＴ２を導出しようとするものである。ガ
ウス分布とこの一定関数との間の交点により、処理され
る画像の閾値Ｔ１およびＴ２が得られる。その後、これ
らの閾値の間にある全ピクセル値がノイズを表すと仮定
する。

【００１５】このＴＦｕｇｉｍｏｔｏらによる技術に
も、Ｏｔｓｕの場合と同じ問題がある。このＴＦｕｇ
ｉｍｏｔｏらによる技術の場合、明るさ強度の変動に対
する耐久性は得られるが、出くわす可能性のある全ての
画像を正確にセグメント化するような方法で閾値を選択
することはできていない。

【００１６】ＵＳ５８７８１６３に、イメージン
グターゲット追跡器と、ターゲットを当該ターゲットの
背景から最適に識別するために用いられる閾値を判定す
る方法とについての開示がある。ターゲットは、あるグ
レイレベル領域を占有すると仮定する。このグレイレベ
ル領域は、ターゲットの内側領域および外側領域に対応
する２つのヒストグラムからそれぞれ識別される。どち
らのヒストグラムも反復的に円滑化され、その後、実際
に観測されたピクセル値のルックアップテーブルが演算
される。最適な閾値が２つ選択され、ヒストグラムセグ
メントの各端部に設定される。この可能性マップは、タ
ーゲットのシグナチャに対して経時的に適合される。タ
ーゲットのグレイレベル分布を用いて、当該ターゲット
に属する可能性のあるグレイレベルの一帯域を通過させ
る閾値を選択する。この種類のアプリケーションの場
合、セグメント化に精度は要求されない。

【００１７】ＪＰ１０−６３８５５に、所望のオブジ
ェクト領域を抽出する方法についての開示がある。１つ
の画像を複数の色領域に分割し、各色領域に類似の色を
含ませる。ユーザに注目エリアを選択させ、この注目エ
リアが特定の色領域と実質的にオーバーラップする場
合、その色領域は、所望のオブジェクトの一部として選
択される。その後、選択された色領域を全て含むエリア
全体を、所望のオブジェクトエリアとして定義する。こ
の技術は、静止画像または画像シーケンスに適用するこ
とが可能であるが、所定の注目エリアが必要となり、こ
の注目エリアに当てはまる背景色領域を含み得る。

【００１８】

【発明が解決しようとする課題】これらの方法では、所
望のアプリケーションにおいて妥当なセグメント化結果
が得られ、演算も効率的である場合が多いが、強度また
は色の点においてターゲットから区別できるように緻密
に制御された背景を必要とするために、利用可能なアプ
リケーションの範囲が著しく限定される。

【００１９】従って、より高度な課題として、一般的な
シーンの背景から前景オブジェクトをセグメント化する
方法がある。これらの方法では、差分画像を計算するこ
とがしばしば必要になる。差分画像とは、現在のフレー
ムと所定のフレームとの間の差異を特徴付けるものであ
る。所定のフレームは、背景を事前記録した画像であっ
てもよいし、前のフレームであってもよいし、あるいは
複数の前のフレームから生成された画像であってもよ
い。

【００２０】ＵＳ５９１４７４８に、対象物（ｓ
ｕｂｊｅｃｔ）を異なる背景に挿入する電子複合システ
ムについての開示がある。この方法では、背景の事前記
録された画像をシーケンスの各画像から除去して、差分
画像を生成する。その後、この差分画像を閾値判定する
ことにより、マスク画像を生成する。このマスク画像を
用いて、前景オブジェクトをその背景からセグメント化
する。この方法は実施するのが簡単であるが、セグメン
ト化された前景領域および背景領域両方にある大量のア
ーチファクトをユーザが手入力で修正して除去する作業
が必要となる場合がある。

【００２１】ＪＰ５−８９２４３に、背景画像入替
（ａｌｔｅｒａｔｉｏｎ）デバイスについての開示があ
る。このデバイスは、３つの連続するフレームを用いて
１つのオブジェクトを抽出し、各ラインを水平方向にス
キャンして、オブジェクトのエッジ全体を検出するもの
である。このような技術の場合、静止画像を用いること
は不可能であり、比較的単純な形状のオブジェクトしか
抽出することができない。

【００２２】ＪＰ６−５２３１１に、移動オブジェク
トを抽出する方法についての開示がある。この方法は、
３つの工程を含む。第１の工程において、各画像中の静
的エリアを検出する。この工程において、２つの連続す
る画像の直接的な差の絶対値として差分画像を得る。そ
の後、この差分画像を所定の閾値と比較して、静的画像
エリアを判定する。第２の工程において、全差分画像か
ら抽出された全静的画像エリアから背景画像を構築す
る。第３の工程において、第２の工程において形成され
た背景画像および入力画像から導出された差分画像を閾
値判定することにより、移動オブジェクトを識別する。
このような技術は、移動オブジェクトの場合にしか用い
ることができないため、静止画像の場合は用いることが
できない。

【００２３】ＪＰ２０００−２５１０７９に、ダイナ
ミックピクチャオブジェクト抽出技術についての開示が
ある。この技術では、時間指向性（ｔｉｍｅ−ｄｉｒｅ
ｃｔｉｏｎａｌ）輝度ヒストグラムを用いている。各ピ
クセル位置についてヒストグラムを構築して、時間指向
性輝度分布を記述する。これらのヒストグラムを用い
て、背景ピクセルおよび移動オブジェクトピクセルを定
義する。しかし、この技術の場合、各ピクセルに固有の
ヒストグラムが必要となるため、膨大な量の演算処理能
力およびメモリが必要となる。

【００２４】このような公知の技術は計算工程が高コス
トであり、高速アプリケーションまたはさらにはリアル
タイムアプリケーション（例えば、上述したような、演
算処理能力およびメモリ容量の点において制約があるカ
メラおよび携帯電話）に適さない場合があり得る。さら
に、このような方法を効率良くインプリメントするの
は、性能を犠牲にしなければ困難または不可能である。

【００２５】ＵＳ５８４８１８３に、スキャンされ
た文書画像からヒストグラムデータを生成および利用す
るシステムおよび方法についての開示がある。ヒストグ
ラムデータは、サンプルウィンドウ内からの画像ピクセ
ルを用いて生成することができる。サンプルウィンドウ
の位置およびサイズは、例えば、ユーザがユーザインタ
ーフェースを用いるかまたはサンプルウィンドウ境界に
ある特定の１つの符号または一連の符号を用いることに
よって決定しなければならない。その後、解析が行わ
れ、白色背景と関連付けられたピーク周波数を有する第
１のグレイ値と、黒色閾値と関連付けられたピーク周波
数を有する第２のグレイ値と、画像のヒストグラムと関
連付けられた最小周波数を有する第３のグレイ値と、第
１のグレイ値および第２のグレイ値と関連付けられたピ
ーク周波数の１／４および／または５／８に等しい周波
数を有する他のグレイ値とを判定する。これらの様々な
グレイ値を用いて、再生機器の画像コントラストを向上
させることができる。

【００２６】ＵＳ６０４３９００は、この方法を
改良したものであり、同特許では、スキャンシステムに
よってスキャンされる文書の背景の種類を検出し、画像
のスキャンによって展開されたリードエッジヒストグラ
ムに基づいて、最適な画像表示方法を判定する。

【００２７】ＵＳ５２８０３６７に、複雑な文書
のスキャン画像を、テキストが保存されかつ背景から分
離されている状態の１画像に変換するシステムについて
の開示がある。このシステムでは、最初にスキャン画像
をブロックに細分化した後、各ブロックをピクセル単位
で検査して、これらのピクセルのグレイスケール値のヒ
ストグラムを構築する。このヒストグラムを、第１の領
域、中間領域および最終領域に区分けする。第１の領域
および最終領域中にピークが１つ以上あり、かつ、中間
領域中にヒストグラムピークが１つある場合、これらの
ピクセルを再度検査して、中間ピークのグレイスケール
レベルを有するピクセルのうち、第１の領域ピークのレ
ベルを有するピクセルの近隣にあるピクセルが発生する
周波数を判定する。この周波数が高い場合、中間ピーク
は背景情報であるとみなす。システムは、閾値を判定し
た後、閾値を適用してブロックを再度スキャンして、ブ
ロック内の背景情報からテキストを分離させる。

【００２８】ＵＳ５８３１７４８に、デジタルコ
ピー機器用の画像プロセッサ（詳細には、文書画像のグ
ラウンドおよび背景を迅速に除去する画像プロセッサ）
についての開示がある。グラウンドとは、記録情報が存
在しないエリア（例えば、白色の紙上の白色ベースのエ
リア）のことである。背景とは、主要オブジェクトの下
側にあるエリアのうち再生されるエリアであるか、また
は、主要オブジェクトと比較してそれほど重要でない文
書部分である。例えば、背景を形成するグレイエリア上
に黒色の文字を印刷することができる。ヒストグラム
は、１つの文書画像中の複数の領域についてまたはより
好適には各ラインについて生成される。グラウンドによ
り、白色レベルまたは白色レベル付近にピークが生成さ
れることが多くなり、文書中の黒色文字は、ヒストグラ
ム中の低レベルにおいてまばらに広く分散し、一方、背
景は、グラウンド範囲よりも下の範囲を占める傾向とな
る。ヒストグラムの３つのウィンドウを定義して、グラ
ウンド、背景および文字それぞれについて特徴的性質を
抽出することが可能である。グラウンドピークに従って
グラウンド数量に関するウィンドウを判定し、グラウン
ドピークおよび上記の３つの周波数を用いることによ
り、グラウンドを除去するためのグラウンド範囲を判定
する。その後、グラウンド範囲に従って画像データを修
正し、修正されたデータに従って紙シート上に画像を形
成し、これにより、手入力による介入を行う必要無く各
グラウンドを除去することが可能となる。

【００２９】１９９９ＩＥＥＥＣｏｍｐｕｔｅｒ
ＳｏｃｉｅｔｙＣｏｎｆｅｒｅｎｅｃｅｏｎＣｏ
ｍｐｕｔｅｒＶｉｓｉｏｎａｎｄＰａｔｔｅｒｎ
ＲｅｃｏｇｎｉｔｉｏｎＰｒｏｃｅｅｄｉｎｇｓ
（１９９９年６月２３〜２５日、ｐ４５９〜４６４、Ｖ
ｏｌ．２、Ｇｏｒｄｏｎら）における「Ｂａｃｋｇｒｏ
ｕｎｄｅｓｔｉｍａｔｉｏｎａｎｄｒｅｍｏｖａ
ｌｂａｓｅｄｏｎｒａｎｇｅａｎｄｃｏｌｏｕ
ｒ」に、単一画像を前景領域および背景領域にセグメン
ト化する工程を範囲セグメント化技術および色セグメン
ト化技術に基づいて行う方法についての開示がある。同
文献に明確に記載されているわけではないが、この色セ
グメント化技術は、移動前景オブジェクトを含むフレー
ムシーケンスの解析と、隠されていない背景画像の何ら
かの様式による導出とに基づいているようである。

【００３０】ＥＰ１１１５２５４（本明細書中、
同文献の内容を参考のため援用する）に、ピクセル化画
像のシーケンスを前景領域および背景領域にセグメント
化する効率の良い技術についての開示がある。先行画像
の背景領域および前景領域を解析して、背景領域に対応
するノイズヒストグラムと、前景領域に対応する信号ヒ
ストグラムとを得る。このノイズヒストグラムから第１
の閾値を最低レベルとして導出し、これにより、所定比
率の背景ピクセルのノイズレベルがこの第１の閾値より
も低くなるようにする。信号ヒストグラムから第２の閾
値を最高レベルとして導出し、これにより、所定比率の
前景ピクセルの信号レベルがこの第２の閾値よりも高く
なるようにする。

【００３１】セグメント化される画像と隠されていない
背景の画像との間の差として差分画像を形成する。各ピ
クセルの差分画像の値が第１の閾値未満でありかつ当該
ピクセルを包囲している隣接する差分画像ピクセルの過
半数が背景領域に割り当てられている場合、差分画像ピ
クセルを背景ピクセルとして割り当てる。次いで、残り
のピクセルのそれぞれの値が第２の閾値よりも大きく、
かつ、前景領域に割り当てられた隣接ピクセルの大部分
によって包囲されている場合、残りのピクセルをそれぞ
れ前景領域に割り当てる。

【００３２】その後、残りのピクセルを第１の閾値と第
２の閾値との間の第３の閾値と比較することにより、こ
れらの残りのピクセルを、候補となる前景ピクセルまた
は背景ピクセルとして割り当てる。その後、各候補ピク
セルが隣接するピクセルの過半数が既に背景領域または
背景候補ピクセルに割り当てられている場合、各候補ピ
クセルを背景ピクセルとして割り当てる。残りのピクセ
ルは、前景に割り当てられる。

【００３３】この技術は静的背景を有する画像シーケン
スをセグメント化する場合は極めて効果的であるが、こ
の技術を行うためには、隠されていない背景の事前記録
された画像が必要となる。例えば、これは、背景の１つ
以上の初期画像を取得した後に前景オブジェクトをカメ
ラの視野に入らせるようにすることによって達成するこ
とが可能である。本明細書中、以下、この種類の方法お
よびセグメントされる画像と背景画像との比較を行う他
の方法を「ツーショット（ｔｗｏ−ｓｈｏｔ）」法と呼
ぶ。

【００３４】画像取り込みプロセス全体の間、背景を実
質的に同一に保つ必要があるため、画像取り込みデバイ
スを安定したサポート上に取り付けなければならない。
画像取り込みプロセス全体の間、背景を実質的に同一に
保つ必要がある。このような必要性があると、多くのア
プリケーションにおいて不便または不可能が生じる。例
えば、ユーザは、別の人物にカメラの焦点を当てながら
カメラを保持することを望む場合がある。焦点合わせが
正しく達成されると、そのユーザは、開始ボタンを押し
て画像取り込みを開始する。簡便性のため、（たとえ漸
進的な移動しか可能ではない場合であっても）カメラを
移動させながらセグメント化を行うことを可能にする必
要がある。このようなアプリケーションにはツーショッ
ト方法は適していないため、「ワンショット（ｏｎｅ−
ｓｈｏｔ）」技術を用いて、最初に背景画像を取得する
必要なくセグメント化を開始できるようにすることが望
ましい。また、特定のアプリケーション（例えば、画像
をインターネットからダウンロードするアプリケーショ
ン）の場合、利用可能な背景画像が無い場合がある。こ
のような場合、ワンショット法は必要不可欠である。

【００３５】しばしば、セグメント化を行う際に用いる
ことが可能な画像が複数の画像のシーケンスではなく単
一画像である状況が存在する。このような状況では、単
一画像のセグメント化を事前記録された背景画像を用い
ずに行う「ワンフレーム」方法が必要となる。本明細書
において上述したように、単一画像をセグメント化する
技術は、映像シーケンスのセグメント化には効率の点に
おいて不十分である場合がある。従って、「ワンショッ
ト」および「ワンフレーム」という用語は、異なる状況
を区別するために用いる。

【００３６】

【課題を解決するための手段】本発明の方法は、少なく
とも１つの前景領域および少なくとも１つの背景領域を
有するピクセル化画像をセグメント化する方法であっ
て、（ａ）該少なくとも１つの背景領域の第１の視覚的
特徴を判定する工程（５５）と、（ｂ）該第１の視覚的
特徴から第１の隠されていない背景画像を生成する工程
（６６）と、（ｃ）該ピクセル化画像のピクセルの少な
くとも一部のうちそれぞれのピクセルと、該第１の背景
画像の対応するピクセルとを比較する工程（１１、１
２、１３）と、（ｄ）工程（ｃ）の結果に少なくとも部
分的に応じて、該少なくとも一部のピクセルのそれぞれ
を前景ピクセルまたは背景ピクセルとして割り当てる工
程（１１、１２、１３）と、を包含する。

【００３７】本発明の方法は、前記第１の視覚的特徴は
実質的に均一な視覚的特徴であってもよい。

【００３８】本発明の方法は、前記第１の視覚的特徴は
実質的に均一な色であってもよい。

【００３９】本発明の方法は、前記ピクセル化画像の各
ピクセルは複数の色成分によって表され、前記工程
（ａ）は、該ピクセル化画像の少なくとも一部のピクセ
ル数の各色成分と、該色成分の各値とについてヒストグ
ラムを形成する工程と、最大ピクセル数が発生する各ヒ
ストグラムの色成分値を検出する工程とを包含し、前記
工程（ｂ）は、前記第１の背景画像の各ピクセルに該色
成分値を帰属させる工程を包含してもよい。

【００４０】本発明の方法は、前記ピクセル化画像の少
なくとも一部は手入力で選択され、前記少なくとも１つ
の背景領域の少なくとも一部を包含してもよい。

【００４１】本発明の方法は、前記ピクセル化画像はラ
ンドスケープフォーマットであり、該ピクセル化画像の
少なくとも一部は該ピクセル化画像の側部（５７）を包
含してもよい。

【００４２】本発明の方法は、前記ピクセル化画像はポ
ートレートフォーマットであり、該ピクセル化画像の少
なくとも一部は該ピクセル化画像の上部（５８）を包含
してもよい。

【００４３】本発明の方法は、前記ピクセル化画像はポ
ートレートフォーマットであり、該ピクセル化画像の少
なくとも一部は該ピクセル化画像の上部角部（５９）を
包含してもよい。

【００４４】本発明の方法は、前記工程（ｂ）は、前記
第１の背景画像の各ピクセルに第１の視覚的特徴を帰属
させる工程を包含してもよい。

【００４５】本発明の方法は、前記工程（ａ）〜前記工
程（ｄ）は少なくとも１回繰り返され、該工程（ａ）
は、先行工程である該工程（ｄ）において背景ピクセル
として割り当てられたピクセルのうち少なくとも一部の
第１の視覚的特徴を判定する工程を包含してもよい。

【００４６】本発明の方法は、（ｅ）複数のピクセルブ
ロックを含む第２の隠されていない背景画像を生成する
工程であって、各ブロックのピクセルは、第２の実質的
に均一な視覚的特徴を有する、工程（６０）と、（ｆ）
前記ピクセル化画像のピクセルのうち少なくともいくつ
かの各々のピクセルと、該第２の背景画像の対応するピ
クセルとを比較する工程（１１、１２、１３）と、
（ｇ）該工程（ｆ）の結果に少なくとも部分的に応じ
て、該少なくとも一部のピクセルのそれぞれを前景ピク
セルまたは背景ピクセルとして割り当てる工程（１１、
１２、１３）と、を後続工程として包含してもよい。

【００４７】本発明の方法は、第２の視覚的特徴はそれ
ぞれ実質的に均一な色であってもよい。

【００４８】本発明の方法は、各第２の視覚的特徴は、
前記ブロックのピクセルに対応するピクセル化画像の各
ピクセルの対応する視覚的特徴によって少なくとも部分
的入力判定され、背景ピクセルとして割り当てられても
よい。

【００４９】本発明の方法は、各第２の視覚的特徴は、
前記第１の視覚的特徴によって少なくとも部分的入力判
定されてもよい。

【００５０】本発明の方法は、各ブロックの第２の視覚
的特徴は、前記ブロックのピクセルに対応するピクセル
化画像のピクセルの第１の視覚的特徴および対応する視
覚的特徴の線形の組み合わせを含み、背景ピクセルとし
て割り当てられてもよい。

【００５１】本発明の方法は、前記工程（ｅ）〜前記工
程（ｇ）を少なくとも１度繰り返す工程を包含し、各第
２の視覚的特徴は、前記ブロックのピクセルに対応する
ピクセル化画像の各ピクセルに対応する視覚的特徴によ
って少なくとも部分的に判定され、先行工程である該工
程（ｇ）において背景ピクセルとして割り当てられても
よい。

【００５２】本発明の方法は、前記ブロックはそれぞ
れ、所定の数のピクセルを包含してもよい。

【００５３】本発明の方法は、前記ブロックはそれぞ
れ、ピクセルからなる正方形アレイを包含してもよい。

【００５４】本発明の方法は、少なくとも１回の繰り返
しを含み、該繰り返しまたは各繰り返しは、各ブロック
中のピクセル数を低減させた状態で前記工程（ｅ）〜前
記工程（ｇ）を少なくとも１回行う工程を包含してもよ
い。

【００５５】本発明の方法は、（ｈ）第３の隠されてい
ない背景画像を生成する工程であって、前記ピクセル化
画像の割り当てられた背景ピクセルに対応する各ピクセ
ルは、該割り当てられた背景ピクセルに対応する視覚的
特徴によって少なくとも部分的に判定される第３の視覚
的特徴を有する、工程（６０）と、（ｉ）該ピクセル化
画像のピクセルのうち少なくとも一部の各々のピクセル
と、該第３の背景画像の対応するピクセルとを比較する
工程（１１、１２、１３）と、ｊ）該工程（ｉ）の結果
に少なくとも部分的に応じて、該少なくとも一部のピク
セルのそれぞれを前景ピクセルまたは背景ピクセルとし
て割り当てる工程（１１、１２、１３）と、を後続工程
として包含してもよい。

【００５６】本発明の方法は、前記第３の視覚的特徴は
色であってもよい。

【００５７】本発明の方法は、割り当てられた背景ピク
セルに対応する第３の背景画像の各ピクセルの第３の特
徴は、該割り当てられた背景ピクセルの対応する視覚的
特徴と、前記第１の視覚的特徴または前記第２の視覚的
特徴との線形の組み合わせを含んでもよい。

【００５８】本発明の方法は、前記工程（ｈ）におい
て、前記ピクセル化画像の割り当てられた前景ピクセル
に対応する第３の背景画像の各ピクセルは、前記第１の
視覚的特徴または前記第２の視覚的特徴を有してもよ
い。

【００５９】本発明の方法は、前記工程（ｈ）〜前記工
程（ｊ）を少なくとも１回繰り返す工程を包含し、該工
程（ｈ）における前記背景ピクセル割当ては、先行工程
である該工程（ｊ）において判定されてもよい。

【００６０】本発明の方法は、前記工程（ｃ）および前
記工程（ｄ）は、（ｋ）前記少なくとも１つの背景領域
のうち少なくとも一部分を選択する工程と、（ｌ）該少
なくとも一部分のピクセルの値から第１の閾値を導出し
て、該ピクセルの第１の所定の比率の値が該第１の閾値
よりも低くなるようにする工程と、（ｍ）前記ピクセル
化画像の各ピクセルと前記第１の背景画像の対応するピ
クセルとの間の差として差分画像を形成する工程と、
（ｎ）該差分画像ピクセルの値が該第１の閾値を下回
り、かつ、第１の所定の数の隣接する差分画像ピクセル
を上回る値が該第１の閾値を下回る場合、各差分画像ピ
クセルを背景ピクセルとして割り当てる工程と、を包含
してもよい。

【００６１】本発明の方法は、前記工程（ｆ）および前
記工程（ｇ）は、（ｋ）前記少なくとも１つの背景領域
のうち少なくとも一部を選択する工程と、（ｌ）前記少
なくとも一部のピクセルの値から第１の閾値を導出し
て、該ピクセルの第１の所定の比率の値が該第１の閾値
よりも低くなるようにする工程と、（ｍ）前記ピクセル
化画像の各ピクセルと前記第２の背景画像の対応するピ
クセルとの間の差として差分画像を形成する工程と、
（ｎ）該差分画像ピクセルの値が該第１の閾値を下回
り、かつ、第１の所定の数の隣接する差分画像ピクセル
を上回る値が該第１の閾値を下回る場合、各差分画像ピ
クセルを背景ピクセルとして割り当てる工程と、を包含
してもよい。

【００６２】本発明の方法は、前記工程（ｉ）および前
記工程（ｊ）は、（ｋ）前記少なくとも１つの背景領域
のうち少なくとも一部を選択する工程と、（ｌ）該少な
くとも一部分のピクセルの値から第１の閾値を導出し
て、該ピクセルの第１の所定の比率の値が該第１の閾値
よりも低くなるようにする工程と、（ｍ）前記ピクセル
化画像の各ピクセルと前記第３の背景画像の対応するピ
クセルとの間の差として差分画像を形成する工程と、
（ｎ）該差分画像ピクセルの値が該第１の閾値を下回
り、かつ、第１の所定の数の隣接する差分画像ピクセル
を上回る値が該第１の閾値を下回る場合、各差分画像ピ
クセルを背景ピクセルとして割り当てる工程とを包含し
てもよい。

【００６３】本発明の方法は、前記第１の所定の比率は
０．５〜１であってもよい。

【００６４】本発明の方法は、前記第１の所定の比率は
実質的に０．７５に等しくてもよい。

【００６５】本発明の方法は、前記第１の所定の数は、
隣接する差分画像ピクセルの数の半数に実質的に等しく
てもよい。

【００６６】本発明の方法は、前記工程（ｋ）〜前記工
程（ｎ）は、少なくとも一回繰り返され、該工程（ｋ）
における少なくとも一部は、先行工程である該工程
（ｎ）において割り当てられた背景ピクセルを包含して
もよい。

【００６７】本発明の方法は、前記工程（ｎ）はそれぞ
れ、背景ピクセルとして割り当てられた差分画像ピクセ
ルの値の第１の初期ヒストグラムを形成する工程を包含
し、前記工程（ｌ）は、第１の得られたヒストグラムか
ら前記第１の閾値を導出し、該第１の閾値は、先行工程
である該工程（ｎ）において形成された該第１の初期ヒ
ストグラムと、先行工程である該工程（ｌ）の該第１の
得られたヒストグラムの１よりも小さな第１の所定の分
数との和を包含してもよい。

【００６８】本発明の方法は、前記第１の所定の分数は
１／２であってもよい。

【００６９】本発明の方法は、（ｏ）前記少なくとも１
つの前景領域のうち少なくとも一部分を選択する工程
と、（ｐ）該少なくとも一部分のピクセルの値から第２
の閾値を導出して、該ピクセルの第２の所定の比率の値
が該第２の閾値よりも低くなるようにする工程と、
（ｑ）各差分画像ピクセルの値が該第２の閾値を上回
り、かつ、第２の所定の数の隣接する差分画像ピクセル
を上回る値が該第２の閾値を上回る場合、背景ピクセル
として割り当てられていない該差分画像ピクセルを前景
ピクセルとして割り当てる工程と、を包含してもよい。

【００７０】本発明の方法は、前記第２の所定の比率は
０．５〜１であってもよい。

【００７１】本発明の方法は、前記第２の所定の比率は
実質的に０．７５に等しくてもよい。

【００７２】本発明の方法は、前記第２の所定の数は、
隣接する差分画像ピクセルの数の半数に実質的に等しく
てもよい。

【００７３】本発明の方法は、前記工程（ｏ）〜前記工
程（ｑ）は、少なくとも１回繰り返され、該工程（ｏ）
における少なくとも一部分は、先行工程である該工程
（ｑ）において割り当てられた前記前景ピクセルを包含
してもよい。

【００７４】本発明の方法は、各工程（ｑ）は、前景ピ
クセルとして割り当てられた差分画像ピクセルの値の第
２の初期ヒストグラムを形成する工程を包含し、前記工
程（ｐ）は、第２の得られたヒストグラムから前記第２
の閾値を導出する工程を包含し、該第２の閾値は、先行
工程である該工程（ｑ）において形成された該第２の初
期ヒストグラムと、先行工程である該工程（ｐ）の該第
２の得られたヒストグラムの１よりも小さな第２の所定
の分数との和を包含してもよい。

【００７５】本発明の方法は、前記第２の所定の分数は
１／２であってもよい。

【００７６】本発明の方法は、前記差分画像ピクセルの
値が第３の閾値を下回る場合、前景ピクセルまたは背景
ピクセルとして割り当てられていない各差分画像ピクセ
ルを背景候補ピクセルとして割り当てる工程を包含して
もよい。

【００７７】本発明の方法は、前記第３の閾値は、前記
第１の閾値と前記第２の閾値の間であってもよい。

【００７８】本発明の方法は、前記第３の閾値は、前記
第１の閾値および前記第２の閾値の相加平均であっても
よい。

【００７９】本発明の方法は、第３の所定の数よりも多
い隣接ピクセルが背景ピクセルまたは背景候補ピクセル
として割り当てられた場合、前景ピクセルまたは背景ピ
クセルとして割り当てられていない各差分画像ピクセル
を背景ピクセルとして割り当てる工程を包含してもよ
い。

【００８０】本発明の方法は、前記第３の所定の数は、
隣接する差分画像ピクセルの半数であってもよい。

【００８１】本発明の方法は、前景ピクセルまたは背景
ピクセルとして割り当てられていない各差分画像ピクセ
ルを前景ピクセルとして割り当てる工程を包含してもよ
い。

【００８２】本発明の方法は、要素が差分画像ピクセル
に対応したバイナリマスクを形成する工程を包含し、各
要素は、対応する差分画像ピクセルが背景ピクセルとし
て割り当てられた場合は第１の値を有し、該対応する差
分画像ピクセルが前景ピクセルとして割り当てられた場
合、該第１の値と異なる第２の値を有してもよい。

【００８３】本発明の装置は、背景領域を部分的に隠す
少なくとも１つの前景領域および少なくとも１つの隠さ
れていない領域を有するピクセル化画像をセグメント化
する装置であって、該少なくとも１つの背景領域の視覚
的特徴を判定する手段と、該視覚的特徴から隠されてい
ない背景画像を生成する手段と、該ピクセル化画像のピ
クセルのうち少なくとも一部のそれぞれのピクセルと、
該背景画像の対応するピクセルとを比較する手段と、該
比較手段に少なくとも部分的に依存して、該少なくとも
一部のピクセルそれぞれを前景ピクセルまたは背景ピク
セルとして割り当てる手段と、を備える。

【００８４】本発明の装置は、ピクセル化画像をセグメ
ント化する装置であって、プログラム可能なデータプロ
セッサと、該データプロセッサを制御して前記いずれか
の方法を行わせるプログラムと、を備える。

【００８５】本発明の格納媒体は、データプロセッサを
制御して前記方法を行わせるプログラムを含む。

【００８６】本発明のプログラムは、データプロセッサ
を制御して前記いずれかの方法を行わせる。

【００８７】本発明のデバイスは、前記装置を備える単
一の画像取り込みデバイスである。

【００８８】本発明の第１の局面によれば、少なくとも
１つの前景領域および少なくとも１つの背景領域を有す
る単一のピクセル化画像をセグメント化する方法が提供
される。上記方法は、以下の工程を含む。

【００８９】（ａ）上記少なくとも１つの背景領域の第
１の視覚的特徴を判定する工程と、（ｂ）上記第１の視
覚的特徴から第１の隠されていない背景画像を生成する
工程と、（ｃ）上記ピクセル化画像のピクセルの少なく
とも一部の各々と、上記第１の背景画像の対応するピク
セルとを比較する工程と、（ｄ）上記工程（ｃ）の結果
に少なくとも部分的に応じて、上記少なくとも一部のピ
クセルの各々を前景ピクセルまたは背景ピクセルとして
割り当てる工程。

【００９０】上記第１の視覚的特徴は、実質的に均一な
視覚的特徴であり得る。上記第１の視覚的特徴は、実質
的に均一な色であり得る。

【００９１】上記ピクセル化画像の各ピクセルは、複数
の色成分によって表すことが可能であり、上記工程
（ａ）は、上記ピクセル化画像の少なくとも一部のピク
セル数の各色成分のヒストグラムを上記色成分の各値に
ついて形成する工程と、上記ピクセル数が最大になる各
ヒストグラムの色成分値を検出する工程とを含み得る。
上記工程（ｂ）は、上記色成分値を上記第１の背景画像
の各ピクセルに帰属させる工程を含み得る。

【００９２】上記少なくともピクセル化画像の一部は、
手入力による選択が可能であり、上記少なくとも１つの
背景領域の少なくとも一部を含み得る。

【００９３】上記ピクセル化画像はランドスケープフォ
ーマットであり得、上記ピクセル化画像の少なくとも一
部はその側部を含み得る。

【００９４】上記ピクセル化画像はポートレートフォー
マットであり得、上記ピクセル化画像の少なくとも一部
はその上部を含み得る。

【００９５】上記ピクセル化画像はポートレートフォー
マットであり得、上記ピクセル化画像の少なくとも一部
はその上部角部を含み得る。

【００９６】上記工程（ｂ）は、上記第１の視覚的特徴
を上記第１の背景画像の各ピクセルに帰属させる工程を
含み得る。

【００９７】上記工程（ａ）が、上記先行工程（ｄ）に
おいて背景ピクセルとして割り当てられたピクセルの少
なくとも一部の第１の視覚的特徴を判定する工程を含む
場合、上記方法は、上記工程（ａ）から工程（ｄ）まで
を少なくとも１回繰り返す工程を含み得る。

【００９８】上記方法は、以下の後続工程を含み得る。（ｅ）複数のピクセルブロックを含む第２の隠されてい
ない背景画像を生成する工程であって、各ブロックのピ
クセルは第２の実質的に均一な視覚的特徴を有する、工
程と、（ｆ）上記ピクセル化画像のピクセルの少なくと
も一部の各々と、上記第２の背景画像の対応するピクセ
ルとを比較する工程と、（ｇ）上記工程（ｆ）の結果に
少なくとも部分的に応じて、上記少なくとも一部のピク
セルを前景ピクセルまたは背景ピクセルとして割り当て
る工程。

【００９９】上記第２の視覚的特徴は実質的に均一な色
であり得る。

【０１００】各第２の視覚的特徴は、上記ピクセルブロ
ックに対応しかつ背景ピクセルとして割り当てられたピ
クセル化画像の各ピクセルの対応する視覚的特徴によっ
て少なくとも部分的に判定され得る。

【０１０１】各第２の視覚的特徴は、上記第１の視覚的
特徴によって少なくとも部分的に判定され得る。

【０１０２】各ブロックの第２の視覚的特徴は、上記第
１の視覚的特徴と、上記ピクセルブロックに対応しかつ
背景ピクセルとして割り当てられたピクセル化画像のピ
クセルの対応する視覚的特徴との線形の組み合わせを含
み得る。

【０１０３】各第２の視覚的特徴が、上記ピクセルブロ
ックに対応しかつ上記先行工程（ｇ）において背景ピク
セルとして割り当てられたピクセル化画像の各ピクセル
の対応する視覚的特徴により少なくとも部分的に判定さ
れた場合、上記方法は、上記工程（ｅ）から工程（ｇ）
までを少なくとも１回繰り返す工程を含み得る。

【０１０４】上記ブロックはそれぞれ、所定の数のピク
セルを含み得る。上記ブロックはそれぞれ、複数のピク
セルからなる正方形アレイを含み得る。上記方法は、少
なくとも１回の繰り返しを含み得、上記繰り返しはそれ
ぞれ、上記各ブロック中のピクセル数を少なくした状態
で工程（ｅ）〜（ｇ）を少なくとも１回行う工程を含
む。

【０１０５】上記方法は、以下の後続工程を含み得る。

【０１０６】（ｈ）第３の隠されていない背景画像を生
成する工程であって、上記第３の隠されていない背景画
像において、上記ピクセル化画像の割り当てられた背景
ピクセルに対応する各ピクセルは、第３の視覚的特徴を
有し、上記第３の視覚的特徴は、上記割り当てられた背
景ピクセルの対応する視覚的特徴によって少なくとも部
分的に判定される、工程と、（ｉ）上記ピクセル化画像
のピクセルのうち少なくとも一部の各々と、上記第３の
背景画像の対応するピクセルとを比較する工程と、
（ｊ）上記工程（ｉ）の結果に少なくとも部分的に応じ
て、上記少なくとも一部のピクセルの各々を前景ピクセ
ルまたは背景ピクセルとして割り当てる工程。

【０１０７】上記第３の視覚的特徴は色であり得る。

【０１０８】割り当てられた背景ピクセルに対応する第
３の背景画像の各ピクセルの第３の特徴は、上記割り当
てられた背景ピクセルの対応する視覚的特徴と、上記第
１の視覚的特徴または上記第２の視覚的特徴との線形の
組み合わせを含み得る。

【０１０９】上記工程（ｈ）において、上記ピクセル化
画像の割り当てられた前景ピクセルに対応する上記第３
の背景画像の各ピクセルは、上記第１の視覚的特徴また
は上記第２の視覚的特徴を有し得る。

【０１１０】上記工程（ｈ）における上記背景ピクセル
割当てが上記先行工程（ｊ）において判定された場合、
上記方法は、上記工程（ｈ）から工程（Ｕ）までを少な
くとも１回繰り返す工程を含み得る。

【０１１１】上記工程（ｃ）および工程（ｄ）は、以下
の工程を含み得る。

【０１１２】（ｋ）上記少なくとも１つの背景領域のう
ち少なくとも１つの部分を選択する工程と、（ｌ）上記
少なくとも１つの部分のピクセル値から第１の閾値を導
出して、第１の所定の比のピクセルに上記第１の閾値よ
りも低い値を持たせる工程と、（ｍ）上記ピクセル化画
像の各ピクセルと上記第１の背景画像の対応するピクセ
ルとの間の差として１つの差分画像を形成する工程と、
（ｎ）上記差分画像ピクセルの値が上記第１の閾値より
も小さく、かつ、第１の所定の数の隣接する差分画像ピ
クセルよりも多い値が上記第１の閾値よりも小さい場
合、各差分画像ピクセルを背景ピクセルとして割り当て
る工程。

【０１１３】上記工程（ｆ）および工程（ｇ）は、以下
の工程を含み得る。

【０１１４】（ｋ）上記少なくとも１つの背景領域のう
ち少なくとも一部分を選択する工程と、（ｌ）上記少な
くとも１つの部分のピクセル値から第１の閾値を導出し
て、第１の所定の比のピクセルに上記第１の閾値よりも
小さな値を持たせる工程と、（ｍ）上記ピクセル化画像
の各ピクセルと上記第３の背景画像の対応するピクセル
との間の差として１つの差分画像を形成する工程と、
（ｎ）上記差分画像ピクセルの値が上記第１の閾値より
も小さく、かつ、第１の所定の数の隣接する差分画像ピ
クセルよりも多い値が上記第１の閾値よりも小さい場
合、各差分画像ピクセルを背景ピクセルとして割り当て
る工程。

【０１１５】上記工程（ｉ）および（ｊ）は、以下の工
程を含み得る。

【０１１６】（ｋ）上記少なくとも１つの背景領域のう
ち少なくとも一部分を選択する工程と、（ｌ）上記少な
くとも１つの部分のピクセル値から第１の閾値を導出し
て、第１の所定の比のピクセルに上記第１の閾値よりも
小さな値を持たせる工程と、（ｍ）上記ピクセル化画像
の各ピクセルと上記第３の背景画像の対応するピクセル
との間の差として１つの差分画像を形成する工程と、
（ｎ）上記差分画像ピクセルの値が上記第１の閾値より
も小さく、かつ、第１の所定の数の隣接する差分画像ピ
クセルよりも多い値が上記第１の閾値よりも小さい場
合、各差分画像ピクセルを背景ピクセルとして割り当て
る工程。

【０１１７】上記第１の所定の比率は０．５〜１であり
得、０．７５と実質的に等しくあり得る。

【０１１８】上記第１の所定の数は、隣接する差分画像
ピクセルの数の半分と実質的に等しくあり得る。

【０１１９】上記工程（ｋ）における少なくとも１つの
部分が上記先行工程（ｎ）において割り当てられた背景
ピクセルを含む場合、上記工程（ｋ）〜工程（ｎ）は、
少なくとも１回繰り返され得る。

【０１２０】各工程（ｎ）は、背景ピクセルとして割り
当てられた差分画像ピクセルの値の第１の初期ヒストグ
ラムを形成する工程を含み得、工程（ｌ）は、（上記先
行工程（ｎ）において形成された上記第１の初期ヒスト
グラムと、上記先行工程（ｌ）の第１の得られたヒスト
グラムの１よりも小さな第１の所定の分数（ｆｒａｃｔ
ｉｏｎ）との和を含む）上記第１の閾値を、第１の得ら
れたヒストグラムから導出し得る。上記第１の所定の分
数は１／２であり得る。

【０１２１】上記方法は、以下の工程を含み得る。

【０１２２】（ｏ）上記少なくとも１つの前景領域のう
ち少なくとも１つの部分を選択する工程と、（ｐ）上記
少なくとも１つの部分のピクセル値から第２の閾値を導
出して、上記ピクセルの第２の所定の部分に上記第２の
閾値よりも大きな値を持たせる工程と、（ｑ）上記差分
画像ピクセルの値が上記第２の閾値よりも大きく、か
つ、第２の所定の数の隣接する差分画像ピクセルよりも
大きな値が上記第２の閾値を越えている場合、背景ピク
セルとして割り当てられていない各差分画像ピクセルを
前景ピクセルとして割り当てる工程。

【０１２３】上記第２の所定の比率は０．５〜１であり
得、実質的に０．７５に等しくてもよい。

【０１２４】上記第２の所定の数は、上記隣接する差分
画像ピクセルの数の実質的に半分であり得る。

【０１２５】上記工程（ｏ）の少なくとも１つの部分が
上記先行工程（ｑ）において割り当てられた前景ピクセ
ルを含む場合、上記工程（ｏ）〜工程（ｑ）は、少なく
とも１回繰り返され得る。

【０１２６】各工程（ａ）は、前景ピクセルとして割り
当てられた差分画像ピクセルの値の第２の初期ヒストグ
ラムを形成する工程を含み得、上記工程（ｐ）は、（上
記先行工程（ｑ）において形成された第２の初期ヒスト
グラムと、上記先行工程（ｐ）の第２の得られたヒスト
グラムの１よりも小さい第２の所定の分数との和を含
む）上記第２の閾値を、第２の得られたヒストグラムか
ら導出し得る。

【０１２７】上記第２の所定の分数は１／２であり得
る。

【０１２８】上記方法は、上記差分画像ピクセルの値が
第３の閾値よりも小さい場合、前景ピクセルまたは背景
ピクセルとして割り当てられていない各差分画像ピクセ
ルを背景候補ピクセルとして割り当てる工程を含み得
る。上記第３の閾値は、上記第１の閾値と上記第２の閾
値との間であり得、上記第１の閾値および上記第２の閾
値の相加平均であり得る。

【０１２９】上記方法は、第３の所定の数を超える数の
隣接ピクセルが背景ピクセルまたは背景候補ピクセルと
して割り当てられている場合、前景ピクセルまたは背景
ピクセルとして割り当てられていない各差分画像ピクセ
ルを背景ピクセルとして割り当てる工程を含み得る。上
記第３の所定の数は、隣接する差分画像ピクセルの半分
の数であり得る。

【０１３０】上記方法は、前景ピクセルまたは背景ピク
セルとして割り当てられていない各差分画像ピクセルを
前景ピクセルとして割り当てる工程を含み得る。

【０１３１】上記方法は、バイナリマスクを形成する工
程を含み得る。上記バイナリマスクの要素は差分画像ピ
クセルに対応し、上記対応する差分画像ピクセルが背景
ピクセルとして割り当てられた場合、各要素は第１の値
を有し、上記対応する差分画像ピクセルが前景ピクセル
として割り当てられた場合、各要素は、上記第１の値と
異なる第２の値を有する。

【０１３２】本発明の第２の局面によれば、少なくとも
１つの前景領域および少なくとも１つの背景領域を有す
る単一のピクセル化画像をセグメント化する装置が提供
される。上記装置は、上記少なくとも１つの背景領域の
視覚的特徴を判定する手段と、上記視覚的特徴から隠さ
れていない背景画像を生成する手段と、上記ピクセル化
画像のピクセルの少なくとも一部の各々と、上記背景画
像の対応するピクセルとを比較する手段と、上記比較手
段に少なくとも部分的に応じて、上記少なくとも一部の
ピクセルの各々を前景ピクセルまたは背景ピクセルとし
て割り当てる手段とを含む。

【０１３３】本発明の第３の局面によれば、ピクセル化
画像をセグメント化する装置が提供される。上記装置
は、プログラム可能なデータプロセッサと、上記データ
プロセッサを制御して本発明の第１の局面による方法を
行わせるプログラムとを含む。

【０１３４】本発明の第４の局面によれば、プログラム
を含む格納媒体が提供される。上記プログラムは、デー
タプロセッサを制御して、本発明の第１の局面による方
法を行わせる。

【０１３５】本発明の第５の局面によれば、プログラム
が提供される。上記プログラムは、データプロセッサを
制御して、本発明の第１の局面による方法を行わせる。

【０１３６】本発明の第６の局面によれば、画像取り込
みデバイスが提供される。上記画像取り込みデバイス
は、本発明の第２の局面または第３の局面による装置を
含む。

【０１３７】この技術を用いて、ピクセル化画像を１つ
以上の前景領域および１つ以上の比較的均一な背景領域
にセグメント化することができ、その際、隠されていな
い背景の事前記録された画像は不要である。

【０１３８】単一画像をセグメント化する際、ユーザ
は、ハンドヘルド画像取り込みデバイスを用いて上記画
像を直接取得することができ、その際、安定したサポー
ト（例えば、三脚）は不要である。画像シーケンスを取
得する際、いかなる動きも漸進的である限り、上記画像
取り込みデバイスもハンドヘルド機器として持ち運ぶこ
とが可能である。

【０１３９】本発明の少なくともいくつかの実施形態
は、ツーショット方法（例えば、ＥＰ１１１５２５４に
開示されているような種類のツーショット方法）から導
出されたものとみなすことが可能である。このようなツ
ーショット方法を用いると、ロバスト性およびインプレ
メンテーションの容易さという関連する利点が得られ
る。例えば、上記ツーショット方法のロバスト性は、映
像シーケンスがセグメント化されるときも維持される。
いくつかの実施形態において、上記セグメント化の品質
は、セグメント化が進むにつれて自己改善していくよう
にすることが可能である。このような実施形態におい
て、上記セグメント化結果により、上記ノイズおよび信
号ヒストグラムの推定が向上し、その結果次のセグメン
ト化工程も向上し、これにより、向上効果が連続する。

【０１４０】この技術は、演算処理能力およびメモリ要
件の点において計算効率の良い様式で実現することが可
能であり、主に整数を用いて実施することが可能な簡単
な数値計算操作しか必要としない。従って、上記技術
は、高速アプリケーションそしてさらにはリアルタイム
のアプリケーション（例えば、本明細書中において上述
した種類のアプリケーション）に極めて適している。

【０１４１】例示目的のため、本発明について添付の図
面を参照しながらさらに説明する。

【０１４２】

【発明の実施の形態】図３は、３つのステージ５１、５
２および５３を用いた画像セグメント化方法を示す。こ
れらのステージはそれぞれ、反復プロシージャを行う。
この反復プロシージャでは、ＥＰ１１１５２５４に
開示されている技術に基づいたツーショット方法を用い
て、当該画像と推定された背景画像とを比較することに
より、背景画像を繰り返し概算または更新し、ピクセル
化画像をセグメント化する。第１のステージ５１では、
背景画像を完全に均一な画像として推定する。第２のス
テージ５２では、背景をブロック単位の画像として更新
する。第３かつ最終ステージ５３では、背景画像を個々
のピクセル解像度で更新する。

【０１４３】本方法は５４から開始し、第１の反復の
間、５５において、背景画像を均一な画像として以下の
技術を用いて推定する。

【０１４４】１つの色画像は、複数の色成分（例えば、
赤色（Ｒ）色成分、緑色（Ｇ）色成分および青色（Ｂ）
色成分、ルミネセンス（Ｙ）および２色の差成分（Ｕ、
Ｖ）、あるいは色相（Ｈ）、飽和度（Ｓ）ならびに値
（Ｖ））によって表すことが可能である。本発明の技術
は、任意の色フォーマットに適用することが可能である
が、簡便性および汎用性のために、本明細書中、ＲＧＢ
成分に適用する技術について以下に詳細に説明する。ま
た、色以外の視覚特性を用いて背景画像を推定および表
現してもよく、そのような色以外の視覚特性を挙げる
と、画像エントロピーおよび画像テクスチャ（例えば、
Ｌａｗのテクスチャパラメータによって表現（ｒｅｐｒ
ｉｎｔ）される画像エントロピーおよび画像テクスチ
ャ）がある。

【０１４５】単一の画像Ｉ（ｘ、ｙ）の各ピクセルをＲ
（ｘ、ｙ）、Ｇ（ｘ、ｙ）、Ｂ（ｘ、ｙ）として示す。
ここで、ｘおよびｙは、ピクセルの離散的な座標であ
る。ピクセルが前景オブジェクトまたは領域を表す場
合、そのピクセルは前景ピクセルと呼ばれる。ピクセル
が前景オブジェクトまたは領域によるブロックまたは隠
されていない背景領域を表す場合、そのピクセルは背景
ピクセルと呼ばれる。

【０１４６】この技術を、背景が実質的に均一でありか
つ実質的に同じ色の領域を１つ以上含む単一の画像に適
用する。これにより、背景ピクセルは、全てが同じ一定
の色成分Ｒ_０、Ｇ_０、Ｂ_０を持つことになり、したがっ
てこれらの色成分は、位置とは独立でる。

【０１４７】例えば赤色成分Ｒ_ｏを判定するために、当
該画像の全ピクセル（前景ピクセルを含む）の赤色成分
からヒストグラムｈ_ｒ（ｒ）を生成する。一般的には、
画像ピクセルの赤色成分は特定の範囲に分散している
が、背景ピクセルは、全て同じ赤色成分値を持つため、
ヒストグラムにおいて、図４ａに示すように位置Ｒ_０に
おいてピークを形成する。当該画像中において見える背
景ピクセルの数が十分である場合、そのピークは、ヒス
トグラム中に存在する可能性がありかつ前景領域中の共
通の赤色成分と関連付けることが可能である他の任意の
ピークよりも実質的に大きい場合が多い。このようなピ
ークは容易に識別可能であり、その値Ｒ_０が表すのは、
均一な背景のピクセルの赤色成分である。

【０１４８】他の色成分それぞれについて同じヒストグ
ラム生成プロシージャを行って、背景ピクセルの３つの
色成分の値を判定する。次いで、これらの３つの背景色
成分を背景画像の全ピクセルに帰属させることにより、
均一な背景画像を推定または生成する。このような帰属
工程は、前景領域（単数または複数）の後ろ側にあって
隠されている背景領域（単数または複数）に均一な背景
色を外挿する工程に相当する。

【０１４９】実際は、画像中の背景は完全に均一である
わけではなく、実際の背景の均一度が高い場合であって
も、背景の物理的表面の不均一、不均一な背景照度、背
景に映る前景オブジェクトの影、単一の画像取り込みデ
バイスにおける光学システムの収差、および単一の画像
取り込みデバイス中の電子ノイズなどの理由により、変
動が生じる。従って、背景領域の色成分に単一値を持た
せるのではなく背景領域の色成分に小さな範囲を占有さ
せる場合が多い。これを図４ｂに示す。図４ｂは、最も
共通する色成分値に対応する最大値と共に、ヒストグラ
ム中のピークも広くなる様子を示す。ここでも、ヒスト
グラムが最大になったときの赤色成分値Ｒ_０が見受けら
れ、その背景画像は、この値および対応する緑色成分、
青色成分の値を、ヒストグラムが最大になったときの対
応する値を、当該背景画像の全ピクセルに帰属させるこ
とによって生成される。

【０１５０】前景領域に、均一な色からなる比較的大型
のエリアを持たせることが可能である。このようなエリ
アのヒストグラム中のピークは、背景領域に対応するピ
ークよりも広くなる場合がある。これを避けるために、
画像中の背景領域を手入力でまたは自動で識別すること
が可能である。例えば、図５に示すように、背景のみを
含む左側領域および右側領域５７を含む「ランドスケー
プフォーマット」画像中にターゲット前景領域５６を実
質的にセンタリングすることができ、この場合、領域５
７を選択して、ヒストグラムを形成することが可能であ
る。このような領域を選択する工程は、これらの領域中
のほとんどのピクセルが背景ピクセルである限りそれほ
ど精度は要求されないため、自動で行うことが可能であ
る。従って、ランドスケープフォーマット画像用途に
は、この技術が最も有用である可能性が高い。

【０１５１】ポートレートフォーマット画像の場合、ヒ
ストグラムを形成する際に他の領域を選択すると適切で
ある。図６は、ポートレートフォーマット画像の典型的
な構成を示し、この画像の下側部分は概して前景領域を
含み、この画像の上側部分には比較的少量の背景領域が
ある。この場合、この画像の上側にある領域５８をヒス
トグラムを形成する際に選択することが可能である。図
７は、代替例として、ヒストグラムを形成する際に上部
角部領域５９を選択した様子を示す。

【０１５２】いくつかのアプリケーション（例えばセグ
メント化をオフラインで行う場合）において、ユーザに
背景領域（単数または複数）を手入力で選択させること
が可能である。例えば、画像をモニター上に表示して、
ユーザがマウスポインタを用いてヒストグラム形成に用
いられる領域を選択することが可能である。具体的には
ユーザの操作（マウス操作やペン操作）によって画面上
に境界線を描き、背景領域を選択する。また、デフォル
トの境界線を画面に表示した後、ユーザがこれを変更す
ることで背景領域を選択してもよい。

【０１５３】例えば、ランドスケープフォーマット画像
の場合、図５に示す背景領域と前景領域の境界線を不適
当であると判断した場合は、ユーザの操作（例えば、タ
ッチパネルに対する操作、マウスによるドラッグ操作、
リモコンやキーボード等からのボタン操作）によって境
界線を左右に並行移動させる。ユーザがディスプレイに
示された境界線を適当であると判断した場合は、図６に
示す境界線をユーザがディスプレイ上で確認し、必要な
らばユーザからの操作によって境界線を上下に並行移動
させた後、境界線を確定して背景領域の選択を終了す
る。

【０１５４】同様にポートレートフォーマット画像の場
合は、図６に示す境界線をユーザがディスプレイ上で確
認し、必要ならば、ユーザからの操作によって境界線を
上下あるいは左右に移動させた後、境界線を確定して背
景領域の選択を終了する。

【０１５５】なお、境界線は直線に限る必要は無く折れ
線や曲線によって境界線を表現してもよい。例えば、予
め複数のパターンを準備しておき、ユーザがいずれかの
パターンを選択することで背景領域の選択を行うように
してもよい。この時、選択されたパターンをディスプレ
イ上に表示し、ユーザがこれを不適切と判断した場合に
は、上記と同様、境界線に移動、回転、変形などの操作
を加え、背景領域を選択するようにしてもよい。

【０１５６】ここでは、ユーザによる背景領域の選択に
ついて説明してきたが、この他に、境界線は固定し、カ
メラ側を動かすことで適切な背景領域となるようにして
もよい。すなわち、撮影中にユーザが撮影画像をディス
プレイ等で確認し、ディスプレイ上に表示された境界線
を見ながら、被写体が前景領域に収まるようにカメラを
調整する。カメラの調整としてはカメラ自身を直接動か
すこと、カメラのズーム機能を用いることが含まれる。

【０１５７】図３に示すように、推定された背景画像ま
たは生成された背景画像を、構築された背景画像６０と
して、画像（ただし、セグメント化に用いることが可能
な画像が１しか無い場合）または現在の画像６１（すな
わち、画像シーケンスの画像）と共にツーショットセグ
メント化プロシージャ６２に供給する。この技術は、Ｅ
Ｐ１１１５２５４（本明細書中、同文献の内容を
参考のため援用する）に開示されている技術に基づいて
おり、この技術を図８に示す。図８は、第１のステージ
５１全体を「拡大」フロー図としてより詳細に示すブロ
ック機能図である。この図は、データ供給および工程ま
たは動作のシーケンスを示す。

【０１５８】工程５において、現在の画像６１の各ピク
セルと構築された背景画像６０の各対応するピクセルと
の間の差を計算して、差分画像を判定する。この工程を
図９に示す。図９は、背景画像６０および現在の画像６
１を示す。工程５において差分画像を計算する（これ
を、図９中の８に示す）。この差分画像には、ピクセル
値の多くまたは全てがノイズを表すノイズ領域９があ
る。画像８にはまた、前景画像にそのピクセルによって
対応する信号領域１０があり、これは、画像ピクセルと
背景画像６０の対応する背景ピクセルとの間の差を表
す。

【０１５９】工程３において、差分画像がこのような最
初の差分画像であると判定し、工程１ｃにおいて、差分
画像８の背景領域９および前景領域１０の統計特性から
ノイズヒストグラムおよび信号ヒストグラム１ｄを計算
する。

【０１６０】工程１ｃの後または工程３が差分画像は最
初の差分画像ではないと判定した場合、制御は工程１１
へと進み、この工程１１において、差分画像中の背景ピ
クセルの有力候補を識別する。詳細には、各ピクセルと
第１の閾値とを比較する。この第１の閾値は、工程２４
において工程１ｃにおいて判定されたノイズの統計特性
に従って判定される。ピクセルのうち、値が第１の閾値
を下回り、かつ、第１の閾値を下回る値を有する多数の
隣接ピクセルによって包囲されているピクセルを、背景
領域（またはこのような領域が１つ以上ある場合は当該
背景領域のうち１つ）に割り当てる。

【０１６１】工程１２において、工程１１において少な
くとも１つの背景領域に割り当てられていない各差分画
像ピクセルと第２の閾値とを比較することにより、前景
ピクセルの有力候補を識別する。第２の閾値は、工程２
５において、工程１ｃにおいて判定された信号領域１０
の信号強度ヒストグラムに従って判定される。ピクセル
のうち、値が第２の閾値よりも大きく、かつ、第２の閾
値を上回る値を有する多数の隣接ピクセルによって包囲
されているピクセルを、当該前景領域または各前景領域
に割り当てる。

【０１６２】その後、工程１３において、背景領域また
は前景領域にまだ割り当てられていないピクセルを、少
なくとも１つの背景領域または少なくとも１つの前景領
域に割り当てるべきか否かを識別する。このようなピク
セルそれぞれを第３の閾値と比較する。第３の閾値は、
工程２６において判定され、第１の閾値と第２の閾値と
の間のレベルを有する。レベルが第３の閾値を下回るピ
クセルを、背景候補ピクセルとして識別する。その後、
隣接ピクセルの大多数が背景ピクセルとしてまたは背景
ピクセル候補として既に識別されている場合、これらの
背景候補ピクセルそれぞれを、少なくとも１つの背景領
域に割り当てる。その後、残りのピクセルを前景ピクセ
ルとして割り当てる。

【０１６３】工程１１、１２および１３それぞれにおい
て、差分画像全体を閾値判定し、その後「空間フィルタ
リング」を行って当該ピクセルの割り当て様式を判定す
ると有用である。しかし、ピクセルが各画像のエッジお
よび角部近隣にある場合、各ピクセルの近隣領域は限定
される。空間フィルタリングは全ての画像境界に対して
同じ方法で行うことが可能であるが、少なくとも特定の
アプリケーションでは、空間フィルタリングを行う範囲
を、各ピクセルが完全に隣接ピクセルとなっている当該
画像または各画像の中間部分に限定する方がより適切で
ある場合がある。その結果、画像周囲のマージンはフィ
ルタリングされていない。

【０１６４】例えば、画像サイズがＭ×Ｎピクセルであ
り、空間フィルタリングに用いられるウィンドウサイズ
がｍ×ｎピクセルである場合、（Ｍ−ｍ＋１）×（Ｎ−
ｎ＋ｌ）ピクセルを含む中央領域に空間フィルタリング
を行ない、その周囲のマージン内のピクセルに（適切な
より小さなウィンドウサイズを用いて）空間フィルタリ
ングを行うか、または、その周囲のマージン中のピクセ
ルを空間フィルタリングが行われない状態に保持するこ
とができる。セグメント化に精度が要求されないアプリ
ケーションの場合、周囲マージンへのピクセル割当てを
判定する工程を、閾値判定のみを用いてしかもフィルタ
リングプロセスを用いずに行うことが可能である。

【０１６５】工程１４において、バイナリマスクを形成
する。詳細には、このマスクは、差分画像のピクセルに
対応する要素を含む。対応する差分画像ピクセルが少な
くとも１つの背景領域に割り当てられた場合、バイナリ
マスクの各ピクセルに第１の値を帰属させ、対応する差
分画像ピクセルが少なくとも１つの前景領域に割り当て
られた場合、バイナリマスクの各ピクセルに、第１の値
と異なる第２の値を帰属させる。バイナリマスクはこの
ようにして所望のセグメント化を表し、画像のさらなる
処理に用いることができる。

【０１６６】工程１６において、シーケンスの現在の画
像の解析に基づいて信号ヒストグラムおよびノイズヒス
トグラムを更新し、更新されたヒストグラムを工程１に
戻す。工程１７において、終了規則（ｔｅｒｍｉｎａｔ
ｉｏｎｒｕｌｅ）が満たされているか否かを判定す
る。終了規則が満たされていない場合、制御は工程５５
に戻る。終了規則が満たされている場合、１８におい
て、「ステージ」カウンタを１だけインクリメントす
る。

【０１６７】工程１８では、任意の適切な終了規則を用
いることが可能である。例えば、反復回数が所定の数に
達した場合にステージ１を終了させることができ、この
ような所定の数は２または３に設定される場合が多い。

【０１６８】後続する反復工程それぞれの間、画像のセ
グメント化をバイナリマスク１４に従って行い、工程５
５において、背景ピクセルとして識別されたピクセルに
基づいて背景画像を概算する。同様に、ノイズヒストグ
ラムおよび信号ヒストグラムを更新する工程を、バイナ
リマスク１４によって定義された背景ピクセルおよび前
景ピクセルの統計特性に従って行い、その結果、次のセ
グメント化サイクルが向上する。

【０１６９】ここで、本方法において用いられる図８に
示す個々の技術についてより詳細に説明する。

【０１７０】工程５において、差分画像Ｄ（ｘ、ｙ）を
定義する。Ｄ（ｘ、ｙ）は、以下の式によって得られ
る。

【０１７１】Ｄ（ｘ、ｙ）＝Ｆ［Ｉ（ｘ、ｙ）、Ｂ（ｘ、ｙ）｝ここで、Ｆはユーザによって定義された測定値であり、
Ｉ（ｘ、ｙ）とＢ（ｘ、ｙ）との間の差を特徴付けるも
のである。

【０１７２】一番簡単なケースでは、Ｉ（ｘ、ｙ）およ
びＢ（ｘ、ｙ）がどちらともグレイレベル画像であり、
例えば、Ｄ（ｘ、ｙ）をその直接的差として定義するこ
とができる。すなわち、Ｄ（ｘ、ｙ）＝Ｉ（ｘ、ｙ）−Ｂ（ｘ、ｙ）理想的ケースでは、ノイズは存在せず、このようなＤ
（ｘ、ｙ）の値は以下の式によって得られる。

【０１７３】

【数１】ここで、ｓ（ｘ、ｙ）は、信号の測定値であり、∈は、
「〜の一要素である」ことを示す。ｓ（ｘ、ｙ）の項
は、オブジェクトピクセルと背景画像中の同じ位置にお
けるピクセルとの間の測定値の差を表す。全ての前景ピ
クセルがゼロ以外の信号値を生み出した場合、それらの
前景ピクセルを識別し、差の測定値がゼロである背景ピ
クセルと分離させることができる。

【０１７４】このような単純なアプローチは、画像中に
は必ずノイズがあり、特定のオブジェクトピクセルが背
景画像中の対応するピクセルと同じ値を有することが必
ずあるため、実際にはうまく機能しない。ノイズによる
影響を盛り込むと、上記の式は最終的に以下のようにす
ることができる。

【０１７５】

【数２】ここで、ノイズ項ｎ（ｘ、ｙ）を確率変数であると仮定
し、その平均値をゼロおよび分散をσとする。

【０１７６】背景ピクセルから前景ピクセルをセグメン
ト化する工程を可能にするためには、信号強度をノイズ
強度よりもずっと強くする必要がある。よって、上記の
式を以下のように書き換えることが可能である。

【０１７７】

【数３】ここで、上記式中のｓ（ｘ、ｙ）は、ノイズ要素を含ん
でいるとみなすことができる。実際には、ノイズ要素を
実際の信号そのものと区別することは不可能である。

【０１７８】ノイズ項ｎ（ｘ、ｙ）から信号項ｓ（ｘ、
ｙ）を分離させる最も簡単な方法は、閾値Ｔを見付け
て、これにより、全前景ピクセルの信号値をＴよりも大
きくし、全背景ピクセルのノイズ値をＴよりも小さくす
ることである。その結果、以下のようなバイナリマスキ
ング関数を導出することができる。

【０１７９】

【数４】ここで、１は前景ピクセルを示し、０は背景ピクセルを
示す。

【０１８０】上記のような方法は、特定の制限条件が有
る場合（例えば、背景の色が均一な色（例えば、深い青
色）である場合）に可能である。差分画像Ｄ（ｘ、ｙ）
は、式（３）（本明細書中、これについては後述する）
を用いて計算することが可能である。前景オブジェクト
が同じ深い青色の領域を含まない場合でかつ画像生成シ
ステムのノイズレベルが低い場合、差分画像において前
景領域の信号値は強くなり、背景領域中の前景領域では
極めて小さな値を持つはずである。差分画像の信号値は
強いはずである。その場合、閾値Ｔを見付けて、これら
の信号とノイズ値を分離させることが可能である。

【０１８１】実際は、背景が一般的なシーンである場
合、この極めて簡単な方法はうまく機能しない場合があ
る。例えば、特定の前景ピクセルは対応する背景ピクセ
ルに類似する場合があり、任意の所与の閾値Ｔを下回り
得る信号値を生成する場合がある。同様に、特定の背景
ピクセルは、Ｔを上回るノイズ値を生成し得る。この後
者の問題を引き起こす原因としては多くがあり得、その
ような原因としては、例えば、画像生成システム中の電
子ノイズの存在、背景の照明状態の変化および／または
画像生成システムの小さな外乱がある。本方法の複数の
閾値は、この問題を実質的に解消する。本明細書中、以
下この点について説明する。

【０１８２】画像Ｉ（ｘ、ｙ）とＢ（ｘ、ｙ）との間の
差を測定する際に一般的に用いられる方法として、色距
離がある。

【０１８３】

【数５】ここで、α、βおよびγは重み付けファクターであり、
｛Ｒ_Ｉ、Ｇ_Ｉ、Ｂ_Ｉ｝および｛Ｒ_Ｂ、Ｇ_Ｂ、Ｂ_Ｂ｝はそ
れぞれ、画像Ｉ（ｘ、ｙ）および画像Ｂ（ｘ、ｙ）のＲ
ＧＢ色成分である。

【０１８４】上記式において、色成分を正規化すること
が必要になる場合がしばしばある。このような正規化
は、各色成分を色成分の和で除算することによって達成
される。例えば、Ｒ_Ｉ成分を以下のように正規化するこ
とが可能である。

【０１８５】

【数６】このような正規化された色フォーマットを用いて、Ｆの
一例を以下の式によって得る。

【０１８６】

【数７】ここで、Ｙ_１＝Ｒ_Ｉ＋Ｇ_Ｉ＋Ｂ_ＩおよびＹ_Ｂ＝Ｒ_Ｂ＋Ｇ
_Ｂ＋Ｂ_Ｂである。この正規化は、異なる照明強度による
影響を低減する目的には有用であるものの、Ｙ_Ｉまたは
Ｙ_Ｂの値が極めて小さい場合には問題点が出てくる。極
めて小さい値で除算を行うと、各色成分中のノイズ要素
の増幅が極めて大きくなり、そのため、どんなセグメン
ト化方法にも困難が生じ得る。従って、この正規化を用
いる場合は注意が必要である。

【０１８７】演算コストを低減するために、式（１）に
示した色距離測定を以下のように近似することができ
る。

【０１８８】

【数８】重み付けファクターを事前定義して、各色成分の重要性
を反映することが可能である。多くのアプリケーション
において典型的な一組の値α＝β＝γ＝１が適切である
ことが分かっている。これを式で表すと以下のようにな
る。

【０１８９】Ｆ｛Ｉ、Ｂ｝＝│Ｒ_Ｉ−Ｒ_Ｂ│＋│Ｇ_Ｉ−Ｇ_Ｂ│＋│Ｂ_Ｉ−Ｂ_Ｂ│ （３）差測定関数Ｆを定義する方法は他にもある。例えば、信
号およびノイズの統計特性に基づいたエントロピー測定
を用いてもよい。このような方法を用いるとより良好な
差特性を得ることができるが、演算能力が多く必要とな
ることが多い。

【０１９０】式（３）に示したような差測定関数Ｆに基
づいて、差分画像Ｄ（ｘ、ｙ）を以下の式によって得
る。

【０１９１】

【数９】ここで、各色成分中のノイズを、平均値がゼロで分散が
σの確率変数であると仮定する。これらの確率変数を、
各色チャンネルおよび各ピクセルから独立していると仮
定する場合もある。

【０１９２】理論上は、ノイズｎ_ｒ、ｎ_ｇおよびｎ_ｂの
値は、負の無限から正の無限まで変化し得る。実際のコ
ンピュータによるインプレメンテーションでは、これら
の値を有限範囲（例えば−Ｎ〜＋Ｎ、ここで、Ｎは整数
であり、典型的には２５５と等しい）内の整数によって
表すことが可能である。この場合、│ｎ_ｒ│、│ｎ_ｇ│
および│ｎ_ｂ│の値は０からＮに変化する。

【０１９３】ノイズ項を│ｎ_ｒ│、│ｎ_ｇ│および│ｎ
_ｂ│とし、絶対値演算子││を付しているのには理由が
ある。この理由は、イメージング平均化によるノイズ低
減について以下に説明する際により明らかとなる。この
イメージング平均化によるノイズ低減を適用した後に、
絶対値演算を適用する。ノイズの統計特性の推定は、ヒ
ストグラムを生成する方法を用いて初めに推定すること
が可能である。例えば、画像Ｉ（ｘ、ｙ）が背景のみを
含み、Ｂ（ｘ、ｙ）とは異なるタイミングで取り込まれ
た場合、差分画像Ｄ（ｘ、ｙ）は、各ピクセル中のノイ
ズ変数を表す。その後、特定のノイズ値ｔが発生した回
数の総計をカウントすることにより、ヒストグラムｈ_ｎ
（ｔ）を構築することができる。このとき、Ｄ（ｘ、
ｙ）＝│ｎ _ｒ│＋│ｎ_ｇ│＋│ｎ_ｂ│＝ｔである。図４
ａのグラフは、このようなノイズヒストグラムの一例を
示す。

【０１９４】理論的には、│ｎ_ｒ│＋│ｎ_ｇ│＋│ｎ_ｂ
│の値は０から３Ｎに変化する。これが意味するのは、
ｈ_ｎ（ｔ）は３Ｎ個の要素または区間（ｂｉｎ）を持っ
ているはずであり、これらはそれぞれ整数カウンタであ
るということである。しかし、│ｎ_ｒ│＋│ｎ_ｇ│＋│
ｎ_ｂ│の値が３Ｎと等しくなるのは、３つの項全てがそ
の最大値Ｎに達したときのみである。実際は、│ｎ_ｒ│
＋│ｎ_ｇ│＋│ｎ_ｂ│の値は、この３Ｎという最大値を
はるかに下回る可能性がある。Ｎ個の区間のみからなる
ヒストグラムを用いると適切である場合がしばしばあ
る。Ｎ値を超えるピクセルの場合、そのピクセルの値を
Ｎに切り捨てることが可能である。このような切り捨て
は、演算処理能力およびメモリ格納量に制約がある場合
に有利である。

【０１９５】このノイズヒストグラムは、セグメント化
が開始される前に計算しなければならないが、ノイズヒ
ストグラムを計算することができるのは、背景ピクセル
が既知である場合のみである。これらの矛盾する要件を
解決する１つの手法として、画像中において背景領域で
ある可能性がある特定の部分を見付ける方法がある。

【０１９６】例えば、当該ターゲットまたは各ターゲッ
トの初期位置は、画像の中央領域内の位置であり得る。
このような中央領域は、図９に示すような背景のみを含
む左側マージンおよび右側マージン上の特定の領域９を
含む。左側マージンおよび右側マージン上の領域９を用
いて、ノイズヒストグラムを概算することができる。

【０１９７】いくつかのアプリケーションにおいて計算
をオフラインで行う場合、ノイズ特性の概算対象となる
背景領域をユーザに手入力で選択させることも可能であ
る。アプリケーションがパーソナルコンピュータ（Ｐ
Ｃ）で実施される場合、例えば、単一の画像をモニター
上に表示して、ユーザに、マウスポインタを用いてこの
目的のための１領域を選択させることが可能である。

【０１９８】差分画像が計算されると、先ず最初に第１
の閾値Ｔ_ｎを用いて、背景ピクセルの有力候補を判定す
る。この閾値は、ほとんどの前景ピクセルの信号値が当
該閾値よりも高く、かつ、ほとんどの背景ピクセルのノ
イズ値が当該閾値よりも低くなるような値に決定され
る。

【０１９９】この閾値をノイズヒストグラムｈ_ｎ（ｔ）
から判定する。理想的には、ヒストグラムの最初の数個
の区間のみがゼロにならないように、ノイズ値を区分け
する。そうすると、閾値Ｔ_ｎは第１の値ｔとなり、第１
の値ｔを超える残りの区間はゼロとなる。これを式とし
て表すと以下のようになる。

【０２００】ｈ_ｎ（ｔ）＝０ここで、任意のｔ≧Ｔ_ｎ残念なことに、このようなほぼ理想的な状況は通常存在
しない。

【０２０１】ｔの範囲が高くなるとヒストグラムは必ず
しもゼロではなくなるが、ほとんどのノイズ値は通常
は、図１０に示すように示すようにヒストグラムの最初
の数個の区間に集中することが多い。残りの区間は、長
く延びた形状をとる傾向となり、ｔが増加するにつれて
低減することが多い。その場合、背景ピクセル（の数）
所与のパーセントよりも大きくなるようなｔの最小値と
して閾値Ｔ_ｎを定義することが可能となる。

【０２０２】その後、この閾値Ｔ_ｎを、事前設定された
パーセント値η_ｎ（０．５＜η_ｎ≦１）に関連付ける。
この閾値Ｔ_ｎを、以下の不等式を満足する最小Ｔ_ｎとし
て決定する。

【０２０３】

【数１０】ここで、Ｋ_ｎは背景ピクセルの総数であり、以下の式に
よって得られる。

【０２０４】

【数１１】その後、第１の閾値Ｔ_ｎを用いて差分画像を閾値判定し
て、背景ピクセルの有力候補を識別する。バイナリマス
クは以下の式によって得られる。

【０２０５】

【数１２】ここで、０は背景ピクセルの有力候補を示し、１は、他
のピクセル（これらは、閾値を満足しなかった前景ピク
セルまたは背景ピクセルであり得る）の有力候補を示
す。ここでは、背景ピクセルの有力候補のみを対象とす
る。

【０２０６】本明細書中以下に説明するプロセスにおい
て、これらの他のピクセルをさらに分類する。Ｋ_ｎ個の
背景ピクセルを含む単一の画像Ｉ（ｘ、ｙ）の場合、お
よそη_ｎ・Ｋ_ｎ個のピクセルのノイズ値が閾値Ｔ_ｎを下
回る。残りの（ｌ−η_ｎ）・Ｋ_ｎ個のピクセルの値はこ
の閾値Ｔ_ｎを上回り、このプロセスでは、これらの残り
のピクセルは背景ピクセルとして検出されない。

【０２０７】ここで暗黙のうちに仮定されているのは、
ほとんどの前景ピクセルの信号強度は第１の閾値を上回
っているということである。しかし、少数の前景ピクセ
ルの信号値がこの閾値を下回る可能性もある。この単純
な閾値判定方法を用いると、このような閾値を下回る前
景ピクセルの信号値を誤って背景ピクセルとして分類し
てしまう可能性がある。

【０２０８】η_ｎの値を高く設定すると、Ｔ_ｎの値も高
くなり、検出されない背景ピクセルが少なくなる。一
方、閾値Ｔ_ｎがより大きくなると、それは、特定の前景
ピクセルが誤って背景ピクセルとして分類される可能性
が高くなることを意味する。セグメント化を行う目的は
背景から移動オブジェクトを分離させることであるた
め、セグメント化の際、信号値が小さい場合にも、前景
オブジェクトと背景との間のどんな差異も見分けられる
ようにすると理想的である。これが意味することは、セ
グメント化目的のためには閾値Ｔ_ｎは小さいほど良いと
いうことである。そのため、妥協が必要となり、η_ｎは
典型的には０．７５に設定される。

【０２０９】実際の背景ピクセルは分離状態では存在せ
ず、常に他の背景ピクセルに接続された状態でいる。あ
る１つのピクセルが実際に背景ピクセルである場合、そ
の隣接ピクセルの多くも背景ピクセルである可能性が高
い。一方、誤って背景ピクセルとして検出されてしまっ
た前景ピクセルは、背景中に小アーチファクトを示す場
合が多い。この知見から、これらの誤って検出されたピ
クセルを除去するための以下のフィルタリング方法が得
られる。

【０２１０】背景ピクセルの各現在の候補について、小
さな隣接領域（これは、現在のピクセルにセンタリング
された正方形のウィンドウである場合が多い）を選択す
る。このウィンドウ中のピクセルの総数をｍとすると、
およそη_ｎ・ｍ（η_ｎ＞０．５）個のピクセルが背景ピ
クセルとして正しく分類されることが予測される。これ
は、ｍの値が十分に大きい場合に正しい。

【０２１１】１つの背景ピクセルが１つの前景オブジェ
クトの近隣にある場合、この小さなウィンドウは、前景
ピクセルをいくつか含み得る。直観的には、現在の背景
ピクセルが前景オブジェクトに隣接している場合にも、
隣接ピクセルの約半数は背景ピクセルであり、隣接ピク
セルの約半数は前景ピクセルである。これが正しいの
は、ウィンドウサイズが十分に小さい場合のときだけで
あることは自明である。そのため、この点は、ｍが「十
分に大きい」ことを必要とする上記要件と矛盾する。

【０２１２】従って、妥協が必要となる。発見的手法に
よる結果によると、ｍの典型的な値は１００であるた
め、９×９または１１×１１のピクセルが得られる。ウ
ィンドウサイズを奇数にして、現在のピクセルをウィン
ドウの中央に配置するようにすることは一般的に行われ
ている。

【０２１３】その後、背景ピクセルのパーセントφ_ｎが
この隣接領域にあるかどうかに基づいて、背景ピクセル
の候補を受容または拒否することができる。φ_ｎが０．
５以上である場合、その候補は受容され、φ_ｎが０．５
以上ではない場合、その候補は拒否される。

【０２１４】

【数１３】計算の観点からみると、このプロセスは、バイナリ画像
Ｍ_ｎ（ｘ、ｙ）に適用される移動ウィンドウ平均化演算
としてインプリメントすることができ、この演算の後、
０．５の閾値を用いた閾値判定方法を行う。

【０２１５】同様に、前景ピクセルの有力候補を第２の
閾値Ｔ_Ｓを用いて検出することができる。この第２の閾
値Ｔ_Ｓは、信号ヒストグラムｈ_Ｓ（ｔ）から計算するこ
とができる。上述したように、信号ヒストグラムは、第
１の画像がセグメント化されるまでは初期において用い
ることができない場合がある。第１の画像については、
この閾値はＴ_ｎから簡単に推定することができ、以下の
式によって得られる。Ｔ_ｓ＝μＴ_ｎここで、μは、１よりも大きな実数である。μは典型的
には、１．５〜２に設定される。

【０２１６】上記式は、第１の画像が完全にセグメント
化される前に信号強度の初期推定を行う場合のみにおい
て用いられる。前景ターゲットの初期位置について他に
情報がある場合、この式を用いなくてもよい。例えば、
図９に示すように前景オブジェクトが初期において画像
中央部にセンタリングされている場合、その画像中央領
域を用いて、初期信号ヒストグラムを構築することがで
きる。

【０２１７】一般的には、信号ヒストグラムｈ_Ｓ（ｔ）
は、セグメント化された前景オブジェクトから構築され
る。このようなセグメント化された前景オブジェクト
は、第１の画像がセグメント化された直後に用いること
が可能となる。その後、第２の閾値Ｔ_Ｓを、以下の不等
式を満足するｔの最大値として定義する。

【０２１８】

【数１４】ここで、０．５＜η_ｎ≦１であり、Ｋ_Ｓは前景ピクセル
の総数である。η_ｎの典型的な値は０．７５である。

【０２１９】閾値Ｔ_Ｓは通常はＴ_ｎよりも大きい。閾値
Ｔ_ＳがＴ_ｎよりも大きくない場合、それは、移動オブジ
ェクトの強度および色が背景に極めて類似しているため
に、オブジェクトと背景との差異がノイズ効果よりも小
さくなっていることを意味する。その場合、セグメント
化を行うのは極めて困難になる。

【０２２０】第２の閾値Ｔ_Ｓが得られた場合、その第２
の閾値Ｔ_Ｓを用いて差分画像を閾値判定して、前景ピク
セルの有力候補を検出する。閾値判定後、バイナリマス
クを得る。

【０２２１】

【数１５】強い背景ピクセルとして既に識別されたピクセルを再度
処理する必要は無いが、このようなピクセルは、以下に
説明するようなフィルタリングプロセスに貢献する。

【０２２２】単一の画像Ｉ（ｘ、ｙ）がＫ_Ｓ個の前景ピ
クセルを含む場合、およそη_ＳＫ_Ｓ個のピクセルが、閾
値Ｔ_Ｓを上回る信号値を有する。残りの（１−η_Ｓ）Ｋ
_Ｓ個のピクセルは、閾値Ｔ_Ｓを下回る信号値を有し、こ
のプロセスでは前景ピクセルとして検出されない。背景
ピクセルの有力候補を検出する工程の場合と同様に、ノ
イズ値が第２の閾値Ｔ_Ｓを満たした場合、背景ピクセル
を誤って前景ピクセルと検出することがある。これらの
誤って検出されたピクセルは通常、ランダムかつ別個に
分散している状態であることが多く、移動ウィンドウ演
算（例えば、本明細書において上述した移動ウィンドウ
演算に類似する移動ウィンドウ演算）を用いて除去する
ことが可能である。この移動ウィンドウ演算の基準と上
述した移動ウィンドウ演算の基準も類似している。初期
において識別された前景ピクセル候補がその隣接ピクセ
ルのうち少なくとも半数を前景ピクセル候補として持っ
ている場合、その前景ピクセル候補は前景ピクセルとし
て確認され、初期において識別された前景ピクセル候補
がその隣接ピクセルのうち少なくとも半数を前景ピクセ
ル候補として持っていない場合、その前景ピクセル候補
は拒否される。

【０２２３】

【数１６】ここで、y_Ｓは、現在のピクセルの隣接する小さな領域
中の前景ピクセルの有力候補のパーセントである。この
隣接領域は通常、現在のピクセルにおいてセンタリング
された正方形ウィンドウとして選択される場合が多い。
この隣接領域のサイズは通常、背景ピクセルの有力候補
を検出するために９×９または１１×１１に設定される
ことが多い。前景オブジェクトが小さい場合、このウィ
ンドウサイズを小さくすることも可能である。

【０２２４】背景ピクセルまたは前景ピクセルの有力候
補として受容されていないピクセルを、さらなる閾値判
定およびフィルタリングプロセスにおいて分類すること
が可能である。第３の閾値Ｔ_ｍを導入し、閾値Ｔ_ｎ〜閾
値Ｔ_Ｓの間の値を持たせる。これを式として表すと、以
下のようになる。

【０２２５】Ｔ_ｍ＝αＴ_ｓ＋（１−α）Ｔ_ｎここで、０＜α＜１である。典型的には、αの値は０．
５に設定され得る。

【０２２６】この第３の閾値Ｔ_ｍを用いて、差分画像を
再度閾値判定する。しかし、今回は残りのピクセルのみ
が処理対象となる。新規なバイナリマスク関数は以下に
よって得られる。

【０２２７】

【数１７】先行プロセスの場合と同様に、「未判定の」ピクセルに
フィルタリング演算を適用する。ウィンドウ中のピクセ
ルのうち半数よりも多くのピクセルが背景ピクセルであ
る場合、現在のピクセルを背景ピクセルとして分類し、
ウィンドウ中のピクセルのうち半数よりも多くのピクセ
ルが背景ピクセルではない場合、現在のピクセルを前景
ピクセルとして分類する。最後に、バイナリマスクを以
下の式によって得る。

【０２２８】

【数１８】ここでＭ（ｘ、ｙ）は最終バイナリマスクであり、φ_ｍ
は、確認されるべき現在のピクセルにセンタリングされ
た正方形ウィンドウ中の前景ピクセルのパーセントであ
る。上記の場合と同様に、このウィンドウサイズも通常
は９×９または１１×１１であるが、異なるサイズのオ
ブジェクトに適合するように調節することも可能であ
る。

【０２２９】バイナリマスクＭ（ｘ、ｙ）を用いて画像
をセグメント化した後は、前景領域および背景領域を用
いて信号ヒストグラムおよびノイズヒストグラムをそれ
ぞれ再度計算することが可能となる。また、画像をまと
めてバイナリマスクと共に保存することも可能である。
その後、上記プロセスを繰り返すことにより、次回の画
像の入手およびセグメント化を行う。

【０２３０】これらの工程を繰り返して、反復プロシー
ジャを形成することが可能である。そのとき、前景領域
および背景領域はここで初期セグメント化されているた
め、信号ヒストグラムおよびノイズヒストグラムを再度
計算することが可能である。このように信号ヒストグラ
ムおよびノイズヒストグラムを再計算すると、次回の反
復においてノイズ閾値Ｔ_ｎおよび信号閾値Ｔ_Ｓをより良
好に推定することができるようになる。

【０２３１】あるいは、信号ヒストグラムおよびノイズ
ヒストグラムを累積プロシージャを用いて更新してもよ
い。例えば、信号ヒストグラムを以下のように更新する
ことが可能である。

【０２３２】

【数１９】ここで、

【０２３３】

【数２０】は、直前のフレームをセグメント化する際に用いられる
先行信号ヒストグラムであり、Ｈ_Ｓ（ｘ）は、最終フレ
ームのセグメント化結果を用いて得られた新規ヒストグ
ラムであり、λは、値が１／２であることの多い定数で
ある（典型的には１／２）。

【０２３４】上記式は、先行信号ヒストグラムから得ら
れた重み付けされたヒストグラムに相当し、以下の式の
ように、最近接フレームにより、大きな重み付けをする
ことによって得られる。

【０２３５】

【数２１】同様に、この累積方法を用いてノイズヒストグラムを計
算することも可能である。

【０２３６】図３に示すように、１８においてステージ
カウンタのカウンタ値が増えるたびに、工程６４および
工程６５において、行うべきステージを判定する。これ
により、１７において終了規則が満たされると、ステー
ジカウンタ１８はステージカウントを２に増やし、工程
６４および工程６５は、第２のステージ５２を行わせ
る。この第２のステージ５２は、第１のステージ５１と
類似しており、同じツーショットセグメント化６２を用
いたものであるが、６６において背景画像の更新をブロ
ック単位の解像度で行う点において第１のステージ５１
と異なる。

【０２３７】背景画像は一般的には完全に均一であるこ
とは少ないが、背景領域中の色変化は漸進的に生じる場
合が多い。すなわち、小エリアにおいて色はほとんど一
定である。したがって、背景画像の向上した推定画像
を、それぞれが一定の色を有する小ブロックのモザイク
として構築する。

【０２３８】例えば、背景画像をｍ×ｎのピクセルから
なるブロックに分割することができ、その画像はｋ×１
ブロックを含むことができ、その結果、ｍｋ×ｎｌピク
セルの単一の画像サイズが得られる。典型的には、ｍお
よびｎの値を８または１６に設定して、８×８ピクセル
または１６×１６ピクセルの正方形を得る。これは、ブ
ロックベースの処理（例えば、典型的には、各ブロック
の構成がＹ成分中に１６×１６ピクセルを含みＵ成分お
よびＶ成分中に８×８ピクセルを含む構成であるＭＰＥ
Ｇアプリケーションにおける処理）に関連する。

【０２３９】ブロックが水平方向においてｉ番目の位置
にあり、垂直方向においてｊ番目の位置にある場合、全
てのピクセルに一定の色値Ｒ_ｉ，ｊ、Ｇ_ｉ，ｊ、Ｂ
_ｉ，ｊ（０≦ｉ＜ｋかつ０≦ｊ＜１）を帰属させる。こ
れらの値Ｒ_ｉ，ｊ、Ｇ_ｉ，ｊおよびＢ_ｉ，ｊは、ブロッ
クの「平均」色を考慮に入れたものであり、ブロック毎
に異なり得る。背景領域および前景領域を初期セグメン
ト化すると、この改良にとって有用な情報が得られる。
例えば、Ｒ_ｉ，ｊの値は、以下のように定義することが
できる。Ｒ_ｉ，ｊ＝ａＲ_０＋（１−α）Δ_ｉ，ｊここで、０＜α≦１であり、Δ_ｉ，ｊは以下の式によっ
て得られる。

【０２４０】

【数２２】ここで、Ｒ（ｘ、ｙ）は、現在のブロック中の各ピクセ
ルの赤色成分であり、Ｍ（ｘ、ｙ）はバイナリマスクで
ある。現在のブロック中の背景ピクセルが多いほど、当
該背景ピクセルのΔ_ｉ，ｊの値に対する寄与度も高くな
る。

【０２４１】現在のブロック中に背景ピクセルが無い場
合、Δ_ｉ，ｊの値はＲ_０に等しく、Ｒ_ｉ，ｊの値にも等
しい。

【０２４２】ブロック中の全ピクセルが背景ピクセルで
ある場合、背景ピクセルの総数はｍｎに等しい。その場
合、Δ_ｉ，ｊの値は概してこのブロックの平均化色を表
す。典型的には、αは０．５に設定されることが多いた
め、Ｒ_ｉ，ｊは、およそＲ_０およびΔ_ｉ，ｊの平均値で
ある。

【０２４３】同様に、Ｇ_ｉ，ｊおよびＢ_ｉ，ｊの値を計
算する。その場合、これらのブロックのモザイクからな
る背景画像を構築しこれにより、実際の背景をより良好
に概算する。

【０２４４】工程６７において終了規則が満たされたと
判定されるまでステージ２を繰り返す。終了規則の内容
としては、例えば、所定の回数（例えば、５〜１０）の
反復の指定であり得る。終了規則が満たされると、ステ
ージカウンタ１８のカウント値は増加し、工程６４およ
び工程６５において、第３のステージ５３を行う。

【０２４５】背景画像の更新をブロック単位で行うと、
ステージ１において用いられる完全に均一な画像が向上
する。しかし、このような均一な画像をさらに向上させ
ることも可能である。詳細には、前景オブジェクトの境
界周辺のエリアまたは背景のうち色変化の激しい場所に
ある均一な画像をさらに向上させることも可能である。
これは、ピクセルベースの解像度での改良を行って背景
画像が実際の背景を反映する際に両者間のレベルをでき
るだけ近密にすることにより、６８において達成され
る。

【０２４６】１つのピクセルが１つの背景ピクセルとし
て分類された場合、そのピクセルの値を直接用いて、背
景画像を更新する。ピクセルが前景ピクセルとして分類
された位置において、背景画像中の対応するピクセル
と、第２のステージ５２からの対応する背景ピクセル値
とを取り換える。背景画像および現在の画像は、それぞ
れ｛Ｒ_ｂｇ（ｘ、ｙ）、Ｇ_ｂｇ（ｘ、ｙ）、Ｂ
_ｂｇ（ｘ、ｙ）｝および｛Ｒ_１（ｘ、ｙ）、Ｇ_１（ｘ、
ｙ）、Ｂ_１（ｘ、ｙ）｝と記述することが可能である。

【０２４７】以下の式は、背景画像の赤色成分を更新す
るための式である。

【０２４８】

【数２３】ここで、０＜α≦１であり、Ｒ_ｉ，ｊは、第２のステー
ジ５２からの値である。典型的なαは１／２に設定され
る。

【０２４９】同様に、背景画像の緑色成分および青色成
分を更新する。

【０２５０】工程６９において、第３のステージ５３に
関する終了規則が満たされているか否かを判定する。例
えば、反復回数の総数が事前定義された回数（これは、
１０〜２０に設定されることが多い）を超えた場合、第
３のステージを判定することが可能である。これで画像
のセグメント化は終了し、７０においてプロセスを終了
する。

【０２５１】ノイズレベルを低減できれば、このような
セグメント化結果を向上させることが可能である。上述
したように、ノイズ項ｎ_ｒ、ｎ_ｇ、ｎ_ｂは、ピクセル単
位で独立した確率変数である。ここで、これらのノイズ
項は、絶対値演算が適用される前の時点の直接的差であ
る。一方、前景ピクセルの信号値は、小隣接領域にわた
って互いに相関する傾向となる。赤色成分の場合、例え
ば、直接的差分画像Ｄ _ｒを以下のようにして得ることが
できる。Ｄ_ｒ（ｘ、ｙ）＝Ｒ_Ｉ（ｘ、ｙ）−Ｒ_Ｂ（ｘ、ｙ）移動ウィンドウ平均化演算をこの画像に適用した後で絶
対値演算を適用すると、ノイズ分散は低減する一方、平
均信号はほぼ同じままである（ただし、ウィンドウサイ
ズが小さい場合）。説明を簡単にするため、ノイズ項ｎ
_ｒ、ｎ_ｇ、ｎ_ｂの各々の分散σであると仮定する。ウィ
ンドウサイズがｎ×ｎピクセルである場合、平滑化画像
のノイズ分散は、σからσ／ｎに低下する。典型的に
は、ウィンドウサイズを３×３に設定して、各色成分中
のノイズ分散を１／３低下させる。この演算は３つの色
成分全てに適用することが可能であり、その後、絶対値
演算子を適用して、式（３）によって定義された差分画
像を生成する。

【０２５２】図１１は、ノイズ低下を行うように改良さ
れている点において図８の方法と異なる方法を示す。工
程５は、サブ工程５ａ〜５ｃを含む。工程５ａにおい
て、全ての色成分またはチャンネルに関する直接的差分
画像を計算し、工程５ｂにおいて移動ウィンドウ平均化
演算を行って、直接的色成分の差分画像それぞれのノイ
ズを低減する。その後、工程５ｃにおいて最終差分画像
を生成する。

【０２５３】このアルゴリズムの性能は、映像画像中の
背景領域の均一性と近密に関連する。背景領域中の色が
変化すると、背景画像を推定するのが困難になるため、
セグメント化された背景中にアーチファクトが発生す
る。

【０２５４】色変換方法を適用することにより、背景領
域の均一性を向上させることが可能である。例えば、画
像全体に対数関数を適用して、背景中の色変化を少なく
するようにすることができる。残念なことに、対数関数
を用いると色範囲全体も狭くなるため、前景領域を背景
領域から分離させる作業が困難になる。

【０２５５】背景は概ね均一であるため、色は、最も共
通している色の周囲に集中しており、背景の色範囲は、
前景の色範囲と比較すると小さい。これらの色範囲の背
景のみを低下させる必要がある。この知見から、区分的
線形関数に基づいた新規な色変換方法を開発した。

【０２５６】この方法の第１の工程では、背景およびそ
の範囲において最も共通する色を判定する。この工程に
ついて、赤色成分を用いて説明する。第１の画像をセグ
メント化した後、当該背景中の全ピクセルを用いてヒス
トグラムＨ（Ｒ）を構築する。位置Ｒ_０において、背景
において最も共通する赤色成分を表す最大ピークを発見
する。最大ピークを発見した後は、最大ピークの両側か
ら検索を行って、色範囲［Ｒ_１、Ｒ_２］（ここで、全体
の色範囲が［０、２５５］である場合、０≦Ｒ _１≦Ｒ_０
かつＲ_０≦Ｒ_２≦２５５）を判定する。以下のプロシー
ジャにおいて、Ｒ_１およびＲ_２の値を判定する。１．Ｒ_１＝Ｒ_０およびＲ_２＝Ｒ_０、およびＳ＝Ｈ
（Ｒ_０）に設定する。２．０＜α≦１のときにＳ＞αである場合、検索を中止
する。そうではない場合、検索を継続する。３．Ｈ（Ｒ_２＋１）＞Ｈ（Ｒ_１−１）である場合、Ｒ_２
を１だけ増加させた後、Ｈ（Ｒ_２）をＳに加算する；Ｈ
（Ｒ_２＋１）＞Ｈ（Ｒ_１−１）ではない場合、Ｒ１を１
だけ低減させた後、Ｈ（Ｒ_１）をＳに加算する。４．工程２に進む。

【０２５７】αは典型的には５０％に設定され、これに
より、背景ピクセルの５０％は、［Ｒ_１、Ｒ_２］の範囲
内の赤色を有する。次いで、区分線形関数を用いて、色
範囲［０、２５５］全体をスケーリングする。これを一
般的な式で表すと以下のようになる。

【０２５８】

【数２４】ここで、ｆ_１（Ｒ）、ｆ_０（Ｒ）およびｆ_２（Ｒ）は線
形であり、以下の条件を満たす増加関数である。

【０２５９】

【数２５】以下の式は、上記の条件を満たす一連の関数の一例であ
る。

【０２６０】

【数２６】ここで、

【０２６１】

【数２７】典型的には、ａ_０は１／２に設定され、ａ_１およびａ_２
はどちらとも１に設定される。

【０２６２】同様のスケーリング関数を導出して、緑色
および青色に適用することが可能である。これらの色変
換は、差分画像の計算を行う前に適用することが可能で
ある。

【０２６３】セグメント化が行われた後は、静的背景を
除去して、新規背景画像と取り換えることが可能であ
る。この新規背景画像は、前景オブジェクトに対して強
いコントラストを持つことができるため、前景オブジェ
クト周囲の境界が鮮明になる。このような結果は、境界
ピクセルに平滑化演算を適用することによって「ソフト
化」することができる。

【０２６４】あるオブジェクトピクセルの隣接するピク
セルが全て前景ピクセルである場合、そのオブジェクト
ピクセルはオブジェクト内にあるとみなされる。これら
の隣接ピクセルは、図１２中の７１に示すような４点接
合された隣接部または図１２中の７２に示すような８点
接合された隣接部として定義することが可能である。オ
ブジェクト内部のオブジェクトピクセルに演算を行う必
要は無い。

【０２６５】隣接ピクセルのうち少なくとも１つが背景
ピクセルである場合、オブジェクトピクセルは境界上に
あるとみなされる。以下の式により、このピクセルを新
規ピクセルと取り換えることが可能である。Ｉ’（ｘ、ｙ）＝εＩ（ｘ、ｙ）＋（１−ε）Ｂ’
（ｘ、ｙ）ここで、Ｂ’（ｘ、ｙ）は、ユーザが選択した新規背景
画像であり、εは、定数であり、その典型的な値は１／
２である。

【０２６６】本明細書において上述してきた実施形態に
おいて、背景画像を推定し、３つの異なる解像度で更新
する。図１３に示すように、それぞれが先行ステージの
場合よりも微細な解像度を有する３つよりも多くのステ
ージにこの工程を適用することも可能である。これは、
画像全体から始まってピクセル解像度で終了するブロッ
クサイズを変更することにより達成される。ブロックサ
イズを一定のきざみまたは２で除算することによって低
減させて、各ステージにおけるブロックサイズを先行ス
テージのブロックサイズの半分にすることが可能であ
る。画像のピクセル数がＮ×Ｎピクセルであり、Ｎが整
数２のべき乗（すなわち、２^ｎ）である場合、ステージ
の総数はｎ＋１となる。

【０２６７】図１３に示す方法は、図３中の５１に示す
第１のステージから始まり、その際、背景領域（単数ま
たは複数）全体が同じ色を有すると仮定する。工程７５
において、各ステージが意図された反復回数分だけ行わ
れているかどうかを確認し、各ステージが意図された反
復回数分だけ行われている場合、工程７６において、最
終ステージが行われたかどうかを判定する。各ステージ
が意図された反復回数分だけ行われていない場合、１８
においてステージカウンタを増加させ、７４において次
のステージの背景解像度を決定する。このようにして、
最終ステージにおいてピクセル−レベル解像度が達成さ
れるまで、各ステージについて背景解像度を漸進的させ
る。これにより、各中間ステージは図３の第２のステー
ジ５２に対応し、１つ以上のブロック単位の解像度およ
び最終ステージは、図３中の第３のステージ５３に対応
する。

【０２６８】これまで説明してきた方法は、単一画像を
セグメント化することを意図したワンフレーム方法であ
るが、この方法は、ワンショット方法を形成するように
適用することも可能である。ワンフレーム方法は第１の
フレームに適用することが可能であり、その後、背景画
像を用いて、次回の画像をセグメント化することが可能
である。しかし、これらの後続画像をセグメント化する
工程は、背景画像の更新をピクセル解像度で行うことに
より、１つのステージしか含むことができない。第２の
画像の反復回数は一定の数Ｌ（Ｌの典型的な値は１０で
ある）に設定することができる。その後、後続画像の反
復回数をＬよりも小さい数のｋ（ｋ＜Ｌ）に低減するこ
とができる。例えば、反復回数Ｉｎ（ｉ）を、以下の式
によって得ることができる。Ｉｎ（ｉ）＝ｍａｘ｛ｋ、Ｌ−ｉ＋１｝ここで、ｉは、第１の画像について０から始まる画像番
号である。

【０２６９】この技術を図１４に示す。図１４は、工程
８０、８１および８２を含む点において図３と異なる。
８０においてシーケンス中の次の画像を入手し、この画
像に３つのステージのセグメント化を行う。詳細には、
工程８１において、この画像が第１の画像であることを
判定し、工程６４および工程６５において、第１のステ
ージ５１の後に第２のステージ５２および第３のステー
ジ５３を確実に行うようにする。

【０２７０】全ての後続画像について、工程８１におい
て、第３のステージ５３のみを行うようにする。この工
程８１は、工程８２においてシーケンスの最終画像が検
出されてプロセスが終了するまで継続する。

【０２７１】本明細書中にて上述した実施形態におい
て、各ステージの終了規則は、所定の回数の反復を行う
ことであった。しかし、他の終了規則を用いることも可
能であり、図１５は、３つのステージが完了していなく
ても所定の時間が経過すると方法を終了させる点におい
て図３と異なる方法を示す。詳細には、各セグメント化
６２の後、工程８４において、事前設定されたタイマー
が時間切れになっているかどうか試験をし、事前設定さ
れたタイマーが時間切れになっている場合、７０におい
て方法を即座に終了させる。

【０２７２】図１６は、ユーザとの相互対話が可能な点
において図１５と異なる方法を示す。詳細には、第３の
ステージ５３を行った後、８５において単一の画像を構
成し、８６においてその結果を確認する。その結果が受
容可能なものである場合、７０においてプロセスを終了
する。しかし、その結果が受容可能なものではない場
合、当該画像に本方法を再度行う（その場合、受容可能
な結果を得るためには、ユーザによるさらなる介入を伴
う可能性がある）。

【０２７３】本方法は、任意の適切な装置（例えば、図
１７に示す装置）に行うことが可能である。プログラム
されたデータプロセッサは、ＣＰＵバス３１に接続され
た中央処理装置（ＣＰＵ）３０を含む。システムメモリ
３２は、バス３１に接続され、データプロセッサを動作
させるための全てのシステムソフトウェアまたはプログ
ラムを含む。

【０２７４】データバス３５に接続された映像ディジタ
イザー３４（ただし、画像信号が既にデジタルデータフ
ォーマットでない場合）に接続された画像生成デバイス
３３（例えば、Ｓｈａｒｐ（登録商標）Ｉｎｔｅｒｎｅ
ｔＶｉｅｗＣａｍ）を用いて、画像を入手する。任意
選択の表示デバイス３６もデータバス３５に接続するこ
とができ、これにより、入力を全画面またはウィンドウ
（ただし出力画像も別のウィンドウに表示される場合）
に表示することが可能となる。

【０２７５】あるいは、入来画像を他のソースから得て
もよいし、入来画像を最初から（ハードディスクまたは
データバス３５に接続された他の任意の格納デバイス３
７に格納することが可能な）コンピュータファイルの形
式にしておいてもよい。

【０２７６】このシステムは、入来画像を格納するフレ
ームバッファ３８と、背景画像用のフレームバッファ３
９と、バイナリマスク用のフレームバッファ４０と、セ
グメント化プロセスの間に生成される一時データ用に必
要な他のメモリバッファ４１とを含む。

【０２７７】セグメント化された前景領域および背景領
域をバイナリマスクと共に他のデバイスに送ってさらな
る処理を施してもよいし、または、他の格納デバイス
（例えば、ハードディスク）に格納してもよい。

【０２７８】画像構成は、セグメント化された前景領域
（単数または複数）および任意のユーザによって指定さ
れた新規背景画像を用いて行うことが可能である。新規
に構成された画像は、表示デバイス３６上に（全画面形
式でまたは別のウィンドウに表示されているオリジナル
画像と比較するためのウィンドウ形式で）表示すること
が可能である。

【０２７９】前景領域および背景領域を有するピクセル
化画像をセグメント化するために、均一な視覚的特徴
（例えば、上記背景の色）を判定し、この判定結果か
ら、隠されていない背景画像を生成する（５５）。上記
生成された背景画像６０とはセグメント化対象画像（６
１）とを（例えばツーショットセグメント化技術６２を
用いて）比較する。上記画像のピクセルを前景ピクセル
または背景ピクセルとして割り当てる。

【０２８０】

【発明の効果】本発明の方法は、少なくとも１つの前景
領域および少なくとも１つの背景領域を有するピクセル
化画像をセグメント化する方法であって、少なくとも１
つの背景領域の第１の視覚的特徴を判定する工程と、第
１の視覚的特徴から第１の隠されていない背景画像を生
成する工程と、ピクセル化画像のピクセルの少なくとも
一部のうちそれぞれのピクセルと、第１の背景画像の対
応するピクセルとを比較する工程と、比較の結果に少な
くとも部分的に応じて、該少なくとも一部のピクセルの
それぞれを前景ピクセルまたは背景ピクセルとして割り
当てる工程と、を包含し、これによって、ピクセル化画
像を１つ以上の前景領域および１つ以上の比較的均一な
背景領域にセグメント化することができる。よって、高
速アプリケーションそしてさらにはリアルタイムのアプ
リケーションに用いることができる。

【図面の簡単な説明】

【図１】図１は、第１の公知の画像セグメント化技術を
示すヒストグラムである。

【図２】図２は、第２の公知の画像セグメント化技術を
示すヒストグラムである。

【図３】図３は、本発明の実施形態を構成する画像セグ
メント化方法を示すフロー図である。

【図４】図４ａは、図３の方法の初期工程の部分を示す
ヒストグラムである。図４ｂは、図３の方法の初期工程
の部分を示すヒストグラムである。

【図５】図５は、ノイズヒストグラムを計算する際に自
動的に選択することが可能な領域を示す図である。

【図６】図６は、ノイズヒストグラムを計算する際に自
動的に選択することが可能な領域を示す図である。

【図７】図７は、ノイズヒストグラムを計算する際に自
動的に選択することが可能な領域を示す図である。

【図８】図８は、図３に示す方法の部分を示すフロー図
である。

【図９】図９は、差分画像の生成を図示したものであ
る。

【図１０】図１０は、図３の方法における閾値の選択結
果を示すヒストグラムを２つ示す。

【図１１】図１１は、図９に示す技術を改変した技術を
示すフロー図である。

【図１２】図１２は、４点接合されたピクセル隣接部お
よび８点接合されたピクセル隣接部を示す。

【図１３】図１３は、本発明の別の実施形態を構成する
方法を示すフロー図である。

【図１４】図１４は、図３に示す方法を改変した方法を
示すフロー図である。

【図１５】図１５は、図３に示す方法を改変した方法を
示すフロー図である。

【図１６】図１６は、図３に示す方法を改変した方法を
示すフロー図である。

【図１７】図１７は、本発明のさらなる実施形態を構成
する画像選択装置を示すブロック模式図である。

【符号の説明】

６０背景画像

───────────────────────────────────────────────────── フロントページの続きＦターム(参考） 5C059 MA00 MB01 PP15 PP29 TD10 5L096 AA02 AA06 FA37 GA06 GA40 HA02 JA18

Claims

【特許請求の範囲】

【請求項１】少なくとも１つの前景領域および少なく
とも１つの背景領域を有するピクセル化画像をセグメン
ト化する方法であって、（ａ）該少なくとも１つの背景領域の第１の視覚的特徴
を判定する工程（５５）と、（ｂ）該第１の視覚的特徴から第１の隠されていない背
景画像を生成する工程（６６）と、（ｃ）該ピクセル化画像のピクセルの少なくとも一部の
うちそれぞれのピクセルと、該第１の背景画像の対応す
るピクセルとを比較する工程（１１、１２、１３）と、（ｄ）工程（ｃ）の結果に少なくとも部分的に応じて、
該少なくとも一部のピクセルのそれぞれを前景ピクセル
または背景ピクセルとして割り当てる工程（１１、１
２、１３）と、を包含する、方法。
【請求項２】前記第１の視覚的特徴は実質的に均一な
視覚的特徴である、請求項１に記載の方法。
【請求項３】前記第１の視覚的特徴は実質的に均一な
色である、請求項２に記載の方法。
【請求項４】前記ピクセル化画像の各ピクセルは複数
の色成分によって表され、前記工程（ａ）は、該ピクセ
ル化画像の少なくとも一部のピクセル数の各色成分と、
該色成分の各値とについてヒストグラムを形成する工程
と、最大ピクセル数が発生する各ヒストグラムの色成分
値を検出する工程とを包含し、前記工程（ｂ）は、前記
第１の背景画像の各ピクセルに該色成分値を帰属させる
工程を包含する、請求項３に記載の方法。
【請求項５】前記ピクセル化画像の少なくとも一部は
手入力で選択され、前記少なくとも１つの背景領域の少
なくとも一部を含む、請求項４に記載の方法。
【請求項６】前記ピクセル化画像はランドスケープフ
ォーマットであり、該ピクセル化画像の少なくとも一部
は該ピクセル化画像の側部（５７）を含む、請求項４に
記載の方法。
【請求項７】前記ピクセル化画像はポートレートフォ
ーマットであり、該ピクセル化画像の少なくとも一部は
該ピクセル化画像の上部（５８）を含む、請求項４に記
載の方法。
【請求項８】前記ピクセル化画像はポートレートフォ
ーマットであり、該ピクセル化画像の少なくとも一部は
該ピクセル化画像の上部角部（５９）を含む、請求項４
に記載の方法。
【請求項９】前記工程（ｂ）は、前記第１の背景画像
の各ピクセルに第１の視覚的特徴を帰属させる工程を包
含する、請求項１〜８のいずれかに記載の方法。
【請求項１０】前記工程（ａ）〜前記工程（ｄ）は少
なくとも１回繰り返され、該工程（ａ）は、先行工程で
ある該工程（ｄ）において背景ピクセルとして割り当て
られたピクセルのうち少なくとも一部の第１の視覚的特
徴を判定する工程を包含する、請求項１〜９のいずれか
に記載の方法。
【請求項１１】（ｅ）複数のピクセルブロックを含む
第２の隠されていない背景画像を生成する工程であっ
て、各ブロックのピクセルは、第２の実質的に均一な視
覚的特徴を有する、工程（６０）と、（ｆ）前記ピクセル化画像のピクセルのうち少なくとも
いくつかの各々のピクセルと、該第２の背景画像の対応
するピクセルとを比較する工程（１１、１２、１３）
と、（ｇ）該工程（ｆ）の結果に少なくとも部分的に応じ
て、該少なくとも一部のピクセルのそれぞれを前景ピク
セルまたは背景ピクセルとして割り当てる工程（１１、
１２、１３）と、を後続工程として包含する、請求項１
〜１０のいずれかに記載の方法。
【請求項１２】第２の視覚的特徴はそれぞれ実質的に
均一な色である、請求項１１に記載の方法。
【請求項１３】各第２の視覚的特徴は、前記ブロック
のピクセルに対応するピクセル化画像の各ピクセルの対
応する視覚的特徴によって少なくとも部分的入力判定さ
れ、背景ピクセルとして割り当てられる、請求項１１ま
たは１２に記載の方法。
【請求項１４】各第２の視覚的特徴は、前記第１の視
覚的特徴によって少なくとも部分的入力判定される、請
求項１〜１３のいずれかに記載の方法。
【請求項１５】各ブロックの第２の視覚的特徴は、前
記ブロックのピクセルに対応するピクセル化画像のピク
セルの第１の視覚的特徴および対応する視覚的特徴の線
形の組み合わせを含み、背景ピクセルとして割り当てら
れる、請求項９に記載の方法。
【請求項１６】前記工程（ｅ）〜前記工程（ｇ）を少
なくとも１度繰り返す工程を包含し、各第２の視覚的特
徴は、前記ブロックのピクセルに対応するピクセル化画
像の各ピクセルに対応する視覚的特徴によって少なくと
も部分的に判定され、先行工程である該工程（ｇ）にお
いて背景ピクセルとして割り当てられる、請求項１３に
記載の方法。
【請求項１７】前記ブロックはそれぞれ、所定の数の
ピクセルを含む、請求項１１〜１６のいずれかに記載の
方法。
【請求項１８】前記ブロックはそれぞれ、ピクセルか
らなる正方形アレイを含む、請求項１７に記載の方法。
【請求項１９】少なくとも１回の繰り返しを含み、該
繰り返しまたは各繰り返しは、各ブロック中のピクセル
数を低減させた状態で前記工程（ｅ）〜前記工程（ｇ）
を少なくとも１回行う工程を包含する、請求項１７また
は１８に記載の方法。
【請求項２０】（ｈ）第３の隠されていない背景画像
を生成する工程であって、前記ピクセル化画像の割り当
てられた背景ピクセルに対応する各ピクセルは、該割り
当てられた背景ピクセルに対応する視覚的特徴によって
少なくとも部分的に判定される第３の視覚的特徴を有す
る、工程（６０）と、（ｉ）該ピクセル化画像のピクセルのうち少なくとも一
部の各々のピクセルと、該第３の背景画像の対応するピ
クセルとを比較する工程（１１、１２、１３）と、ｊ）該工程（ｉ）の結果に少なくとも部分的に応じて、
該少なくとも一部のピクセルのそれぞれを前景ピクセル
または背景ピクセルとして割り当てる工程（１１、１
２、１３）と、を後続工程として包含する、請求項１〜
１９のいずれかに記載の方法。
【請求項２１】前記第３の視覚的特徴は色である、請
求項２０に記載の方法。
【請求項２２】割り当てられた背景ピクセルに対応す
る第３の背景画像の各ピクセルの第３の特徴は、該割り
当てられた背景ピクセルの対応する視覚的特徴と、前記
第１の視覚的特徴または前記第２の視覚的特徴との線形
の組み合わせを含む、請求項２０または２１に記載の方
法。
【請求項２３】前記工程（ｈ）において、前記ピクセ
ル化画像の割り当てられた前景ピクセルに対応する第３
の背景画像の各ピクセルは、前記第１の視覚的特徴また
は前記第２の視覚的特徴を有する、請求項２０〜２２の
いずれかに記載の方法。
【請求項２４】前記工程（ｈ）〜前記工程（ｊ）を少
なくとも１回繰り返す工程を包含し、該工程（ｈ）にお
ける前記背景ピクセル割当ては、先行工程である該工程
（ｊ）において判定される、請求項２０〜２３のいずれ
かに記載の方法。
【請求項２５】前記工程（ｃ）および前記工程（ｄ）
は、（ｋ）前記少なくとも１つの背景領域のうち少なくとも
一部分を選択する工程と、（ｌ）該少なくとも一部分のピクセルの値から第１の閾
値を導出して、該ピクセルの第１の所定の比率の値が該
第１の閾値よりも低くなるようにする工程と、（ｍ）前記ピクセル化画像の各ピクセルと前記第１の背
景画像の対応するピクセルとの間の差として差分画像を
形成する工程と、（ｎ）該差分画像ピクセルの値が該第１の閾値を下回
り、かつ、第１の所定の数の隣接する差分画像ピクセル
を上回る値が該第１の閾値を下回る場合、各差分画像ピ
クセルを背景ピクセルとして割り当てる工程と、を包含
する、請求項１〜１０のいずれかに記載の方法。
【請求項２６】前記工程（ｆ）および前記工程（ｇ）
は、（ｋ）前記少なくとも１つの背景領域のうち少なくとも
一部を選択する工程と、（ｌ）前記少なくとも一部のピクセルの値から第１の閾
値を導出して、該ピクセルの第１の所定の比率の値が該
第１の閾値よりも低くなるようにする工程と、（ｍ）前記ピクセル化画像の各ピクセルと前記第２の背
景画像の対応するピクセルとの間の差として差分画像を
形成する工程と、（ｎ）該差分画像ピクセルの値が該第１の閾値を下回
り、かつ、第１の所定の数の隣接する差分画像ピクセル
を上回る値が該第１の閾値を下回る場合、各差分画像ピ
クセルを背景ピクセルとして割り当てる工程と、を含
む、請求項１１〜１９のいずれかに記載の方法。
【請求項２７】前記工程（ｉ）および前記工程（ｊ）
は、（ｋ）前記少なくとも１つの背景領域のうち少なくとも
一部を選択する工程と、（ｌ）該少なくとも一部分のピクセルの値から第１の閾
値を導出して、該ピクセルの第１の所定の比率の値が該
第１の閾値よりも低くなるようにする工程と、（ｍ）前記ピクセル化画像の各ピクセルと前記第３の背
景画像の対応するピクセルとの間の差として差分画像を
形成する工程と、（ｎ）該差分画像ピクセルの値が該第１の閾値を下回
り、かつ、第１の所定の数の隣接する差分画像ピクセル
を上回る値が該第１の閾値を下回る場合、各差分画像ピ
クセルを背景ピクセルとして割り当てる工程と、を包含
する、請求項２０〜２４のいずれかに記載の方法。
【請求項２８】前記第１の所定の比率は０．５〜１で
ある、請求項２５〜２７のいずれかに記載の方法。
【請求項２９】前記第１の所定の比率は実質的に０．
７５に等しい、請求項２８に記載の方法。
【請求項３０】前記第１の所定の数は、隣接する差分
画像ピクセルの数の半数に実質的に等しい、請求項２８
または２９に記載の方法。
【請求項３１】前記工程（ｋ）〜前記工程（ｎ）は、
少なくとも一回繰り返され、該工程（ｋ）における少な
くとも一部は、先行工程である該工程（ｎ）において割
り当てられた背景ピクセルを含む、請求項２５〜３０の
いずれかに記載の方法。
【請求項３２】前記工程（ｎ）はそれぞれ、背景ピク
セルとして割り当てられた差分画像ピクセルの値の第１
の初期ヒストグラムを形成する工程を包含し、前記工程
（ｌ）は、第１の得られたヒストグラムから前記第１の
閾値を導出し、該第１の閾値は、先行工程である該工程
（ｎ）において形成された該第１の初期ヒストグラム
と、先行工程である該工程（ｌ）の該第１の得られたヒ
ストグラムの１よりも小さな第１の所定の分数との和を
含む、請求項３１に記載の方法。
【請求項３３】前記第１の所定の分数は１／２であ
る、請求項３２に記載の方法。
【請求項３４】（ｏ）前記少なくとも１つの前景領域
のうち少なくとも一部分を選択する工程と、（ｐ）該少なくとも一部分のピクセルの値から第２の閾
値を導出して、該ピクセルの第２の所定の比率の値が該
第２の閾値よりも低くなるようにする工程と、（ｑ）各差分画像ピクセルの値が該第２の閾値を上回
り、かつ、第２の所定の数の隣接する差分画像ピクセル
を上回る値が該第２の閾値を上回る場合、背景ピクセル
として割り当てられていない該差分画像ピクセルを前景
ピクセルとして割り当てる工程と、を包含する、請求項
２５〜２５のいずれかに記載の方法。
【請求項３５】前記第２の所定の比率は０．５〜１で
ある、請求項３４に記載の方法。
【請求項３６】前記第２の所定の比率は実質的に０．
７５に等しい、請求項３５に記載の方法。
【請求項３７】前記第２の所定の数は、隣接する差分
画像ピクセルの数の半数に実質的に等しい、請求項３５
または３６に記載の方法。
【請求項３８】前記工程（ｏ）〜前記工程（ｑ）は、
少なくとも１回繰り返され、該工程（ｏ）における少な
くとも一部分は、先行工程である該工程（ｑ）において
割り当てられた前記前景ピクセルを含む、請求項３４〜
３７のいずれかに記載の方法。
【請求項３９】各工程（ｑ）は、前景ピクセルとして
割り当てられた差分画像ピクセルの値の第２の初期ヒス
トグラムを形成する工程を包含し、前記工程（ｐ）は、
第２の得られたヒストグラムから前記第２の閾値を導出
する工程を包含し、該第２の閾値は、先行工程である該
工程（ｑ）において形成された該第２の初期ヒストグラ
ムと、先行工程である該工程（ｐ）の該第２の得られた
ヒストグラムの１よりも小さな第２の所定の分数との和
を含む、請求項３８に記載の方法。
【請求項４０】前記第２の所定の分数は１／２であ
る、請求項３９に記載の方法。
【請求項４１】前記差分画像ピクセルの値が第３の閾
値を下回る場合、前景ピクセルまたは背景ピクセルとし
て割り当てられていない各差分画像ピクセルを背景候補
ピクセルとして割り当てる工程を包含する、請求項３４
〜４０のいずれかに記載の方法。
【請求項４２】前記第３の閾値は、前記第１の閾値と
前記第２の閾値の間である、請求項１４に記載の方法。
【請求項４３】前記第３の閾値は、前記第１の閾値お
よび前記第２の閾値の相加平均である、請求項４２に記
載の方法。
【請求項４４】第３の所定の数よりも多い隣接ピクセ
ルが背景ピクセルまたは背景候補ピクセルとして割り当
てられた場合、前景ピクセルまたは背景ピクセルとして
割り当てられていない各差分画像ピクセルを背景ピクセ
ルとして割り当てる工程を包含する、請求項４１〜４３
のいずれかに記載の方法。
【請求項４５】前記第３の所定の数は、隣接する差分
画像ピクセルの半数である、請求項４４に記載の方法。
【請求項４６】前景ピクセルまたは背景ピクセルとし
て割り当てられていない各差分画像ピクセルを前景ピク
セルとして割り当てる工程を包含する、請求項４４また
は４５に記載の方法。
【請求項４７】要素が差分画像ピクセルに対応したバ
イナリマスクを形成する工程を包含し、各要素は、対応
する差分画像ピクセルが背景ピクセルとして割り当てら
れた場合は第１の値を有し、該対応する差分画像ピクセ
ルが前景ピクセルとして割り当てられた場合、該第１の
値と異なる第２の値を有する、請求項２５〜４６のいず
れかに記載の方法。
【請求項４８】背景領域を部分的に隠す少なくとも１
つの前景領域および少なくとも１つの隠されていない領
域を有するピクセル化画像をセグメント化する装置であ
って、該少なくとも１つの背景領域の視覚的特徴を判定
する手段と、該視覚的特徴から隠されていない背景画像
を生成する手段と、該ピクセル化画像のピクセルのうち
少なくとも一部のそれぞれのピクセルと、該背景画像の
対応するピクセルとを比較する手段と、該比較手段に少
なくとも部分的に依存して、該少なくとも一部のピクセ
ルそれぞれを前景ピクセルまたは背景ピクセルとして割
り当てる手段と、を備える、装置。
【請求項４９】ピクセル化画像をセグメント化する装
置であって、プログラム可能なデータプロセッサと、該
データプロセッサを制御して請求項１〜４７のいずれか
に記載の方法を行わせるプログラムと、を備える装置。
【請求項５０】データプロセッサを制御して請求項１
〜４７のいずれかに記載の方法を行わせるプログラムを
含む、格納媒体。
【請求項５１】データプロセッサを制御して請求項１
〜４７のいずれかに記載の方法を行わせるプログラム。
【請求項５２】請求項４８または４９に記載の装置を
備える単一の画像取り込みデバイス。