JP2018129029A - 画像処理装置、画像処理方法、および画像処理プログラム - Google Patents

Abstract

【課題】画像から精緻かつ高速に前景の領域を特定する。
【解決手段】画像処理装置１であって、カラー画像と、前景をセンシングした結果であるセンサ画像とを入力する入力部１１と、カラー画像の中から前景が含まれていない背景画像を取得する背景画像取得部１５と、センサ画像に基づいて、前景と、背景と、背景と前景との境界部分である未知とのラベルをもつラベル画像を生成するラベル画像計算部１４と、ラベル画像のうち、未知のラベルをもつ未知画素の各々について、カラー画像と背景画像とを用いて、未知画素のラベルを背景または前景に補正する境界補正部１６と、補正後のラベル画像を用いてカラー画像から前景を抽出する画像合成部１８とを備える。境界補正部１６は、未知画素と同じ位置におけるカラー画像のカラー画素と、背景画像の背景画素との第１の色距離を算出し、第１の色距離が第１の閾値以下の場合は、当該未知画素のラベルを背景に更新する。
【選択図】図２

Description

本発明は、画像から前景を抽出する画像処理装置、画像処理方法、および画像処理プログラムに関する。

ある画像に含まれる被写体から所望の人物や物体だけを前景として検出し、またそれ以外の領域を背景とする技術は画像処理分野において広く知られている。これを実現する方法として、背景となる画像をあらかじめ撮影し、同じ画角で撮影したカラー画像との差分を取ることで新たに出現した被写体を前景として検出する背景差分法がある。

また、カラー画像から特定の明度や色度に該当する画素を取り除き、残った領域を前景とするキーイング法などが提案されている。これらの画像処理は主に所望の被写体だけが映った画像を別の画像上に重ね合わせる画像合成や、重要でない画素をより小さい情報量で表す画像圧縮などに適用されている。

特許文献１では、撮影された映像のうち同じ場所に留まっている人物の領域をより精度よく検出する方法が提案されている。この手法では時系列の画素値の変動の度合いを示す変動値と、その画素が前景であることを示す前景値を算出するもので、変動値が閾値を超えた画像から時系列上で離れた画像であるほど前景値を低く取得する。これにより、使用するメモリの量を抑えつつ継続的に画像の前景部分を検出することを可能としている。

また、非特許文献１では、カラー画像と同時にセンサ画像を取得しており、センサ画像で被写体のおおまかな領域を検出することを前提としている。この手法では前景と背景の境界部分から一定の距離内の画素を未知画素と定義し、カラー画像の周囲の画素値の比較によるクラスタリング処理を行っている。

特許第5873415号

宮下広夢, 竹内広大, 山口真理子, 長田秀信, 小野朗, センサとカメラを活用した高速・高精度な被写体抽出, 電子情報通信学会MVE 研究会, 2016.

特許文献１では、前景を検出するために入力された画像のすべての画素について変動値を算出しており、さらに画素ごとに変動値の時間的な変化を取得して前景値を求めなければならない。これらの処理は特に画素数に比例して計算コストが上昇し、画像の解像度が高い場合は出力されるまでの処理時間が長くなってしまう恐れがある。

また、特許文献１では、変動値、前景値を画素ごとに算出しなくてもよく、部分領域ごとに算出してもよいと言及しているが、その場合は部分領域の大きさに依存して出力される前景の解像度が劣化してしまう。

一方、非特許文献１では、おおまかな被写体領域を特定するためのセンサ画像の精度が悪い場合や、センサ画像とカラー画像の画角がずれている場合などでは、正しい前景を得られない可能性がある。特にセンサ画像で前景と背景が誤って検出された画素が存在し、その画素が未知画素として定義されなかった場合、クラスタリング処理によってその誤りが伝搬してしまう危険性がある。

本発明は、上記事情に鑑みてなされたものであり、本発明の目的は、画像から精緻かつ高速に前景の領域を特定することにある。

上記目的を達成するため、本発明は、カラー画像から前景を抽出する画像処理装置であって、前記カラー画像と、前景をセンシングした結果であるセンサ画像とを入力する入力部と、前記カラー画像の中から、前景が含まれていない背景画像を取得する背景画像取得部と、前記センサ画像に基づいて、前景と、背景と、背景と前景との境界部分である未知とのラベルをもつラベル画像を生成するラベル画像計算部と、前記ラベル画像のうち、未知のラベルをもつ未知画素の各々について、前記カラー画像と前記背景画像とを用いて、前記未知画素のラベルを背景または前景に補正する境界補正部と、補正後のラベル画像を用いて、前記カラー画像から前景を抽出する画像合成部と、を備え、前記境界補正部は、前記未知画素と同じ位置における前記カラー画像のカラー画素と、前記背景画像の背景画素との第１の色距離を算出し、第１の色距離が第１の閾値以下の場合は、当該未知画素のラベルを背景に更新する。

本発明は、画像処理装置が行う、カラー画像から前景を抽出する画像処理方法であって、前記カラー画像と、前景をセンシングした結果であるセンサ画像とを入力する入力ステップと、前記カラー画像の中から、前景が含まれていない背景画像を取得する取得ステップと、前記センサ画像に基づいて、前景と、背景と、背景と前景との境界部分である未知とのラベルをもつラベル画像を生成するラベル画像生成ステップと、前記ラベル画像のうち、未知のラベルをもつ未知画素の各々について、前記カラー画像と前記背景画像とを用いて、前記未知画素のラベルを背景または前景に補正する補正ステップと、補正後のラベル画像を用いて、前記カラー画像から前景を抽出する抽出ステップと、を行い、前記補正ステップは、前記未知画素と同じ位置における前記カラー画像のカラー画素と、前記背景画像の背景画素との第１の色距離を算出し、第１の色距離が第１の閾値以下の場合は、当該未知画素のラベルを背景に更新する。

本発明は、上記画像処理装置として、コンピュータを機能させることを特徴とする画像処理プログラムである。

本発明によれば、画像から精緻かつ高速に前景の領域を特定することができる。

本発明の実施形態に係る画像処理システムの全体構成を示す図である。 画像処理部の構成を示すブロック図である。 画像処理部の処理を示すフローチャートである。 背景画像の例を示す図である。 カラー画像の例を示す図である。 マスク画像の例を示す図である。 初期領域の例を示す図である。 ノイズ除去後の初期領域の例を示す図である。 ラベル画像の例を示す図である。 ３値のラベル画像の例と、４値のラベル画像の例とを示す図である。 境界補正部の処理を示すフローチャートである。 探索位置画像の例を示す図である。 探索位置画像、ラベル画像、カラー画像および背景画像の一部を示す図である。 補正後のラベル画像の例を示す図である。 抽出画像の例を示す図である。 第１の変形例（変形例１−１）のラベル画像の生成処理を示すフローチャートである。 ラベル画像の例である。 未知画素の補正処理の詳細を示すフローチャートである。 探索位置画像の例である。 第１段ループＡの終了後のラベル画像の例である。 第２段ループＡの終了後のラベル画像の例である。 複数の種類の未知画素の配置例である。 複数の種類の未知画素の配置例である。 複数の種類の未知画素の配置例である。 複数の種類の未知画素の配置例である。 第１の変形例（変形例１−２）のラベル画像および探索位置画像の例である。 第１の変形例（変形例１−３）のラベル画像および探索位置画像の例である。 ３段階の補正処理の各段階のラベル画像の例である。 第２の変形例の画像処理部の構成を示すブロック図である。 パラメータの自動制御処理を示すフローチャートである。 処理時間に影響を与える複数のパラメータの例である。

以下、本発明の実施の形態について、図面を参照して説明する。

図１は、本発明の実施形態に係る画像処理システムの構成を示すシステム構成図である。本実施形態の画像処理システムは、当該システムの中核をなす画像処理部１と、当該画像処理装置１に接続されるカメラ部２と、センサ部３と、操作インタフェース部４と、出力部５とを備える。

なお、本実施形態では、カメラ部２が撮影するカラー画像は、複数のフレームからなる映像（動画）である場合を例に以下に説明するが、カメラ部２が撮影するカラー画像は、静止画像であってもよい。

操作インタフェース部４は、操作者（ユーザ）が画像処理における様々な設定を行い、画像処理の状況を逐次確認するためのインタフェースである。

カメラ部２には、一般的なビデオカメラを用いること想定し、逐次、画像処理部１へカラー画像を出力する。

センサ部３には、深度情報を計測する深度センサ、温度情報を計測するサーモセンサなどを用いること想定し、逐次、画像処理部１へセンサ画像を出力する。センサ部３は、抽出したい前景（対象、被写体など）を含む撮影範囲をセンシングした結果を画像として扱うことができるもととする。また、センサ部３は、カメラ部２と同程度のフレームレートでセンサ画像を出力するものとする。

センサ部３には、抽出したい前景に応じて、当該前景に適したセンサを用いるものとする。例えば、抽出したい前景と背景とでセンサとの距離が異なる場合は、センサ部３に深度センサを用いることが望ましい。また、抽出したい前景と背景との温度が異なる場合は、センサ部３にサーモセンサを用いることが望ましい。あるいは、背景がある特定の色である場合には、センサ部３にクロマキーシステムを用いてもよい。また、背景が変化しない場合は、センサ部３で抽出したい対象が映っている画像と映っていない画像との差分を計算し、差分画像を画像処理部１に出力してもよい。

出力部５には、一般的なモニタ（ディスプレイ）、プロジェクタなどの出力装置を用いること想定し、カラー画像から抽出したい対象だけを抽出した抽出画像を出力する。

なお、図１に示す画像処理システムは、１つの機器（筐体）として一体となっていてもよいし、複数の装置から構成され、各部（各装置）がネットワークを経由して接続されていてもよい。

図２は、図１に示す画像処理部１の構成を示すブロック図である。図示する画像処理部１は、画像入力部１１と、初期領域計算部１２と、初期領域ノイズ除去部１３と、ラベル画像計算部１４と、背景画像取得部１５と、境界補正部１６と、探索位置設定部１７と、画像合成部１８と、画像出力部１９と、を備える。

画像入力部１１は、カラー画像と、抽出したい対象である前景をセンシングした結果であるセンサ画像と、マスク画像とを入力する。マスク画像については後述する。初期領域計算部１２は、センサ画像とマスク画像とから、前景の領域をおおまかに示す初期領域を計算する。初期領域ノイズ除去部１３は、初期領域に対してノイズを削除する。

ラベル画像計算部１４は、センサ画像に基づいて、前景と、背景と、背景と前景との境界部分である未知とのラベルをもつラベル画像を生成する。背景画像取得部１５は、カラー画像の中から前景が含まれていない背景画像を取得する。境界補正部１６は、ラベル画像のうち、未知のラベルをもつ未知画素の各々について、カラー画像と背景画像とを用いて、未知画素のラベルを背景または前景に補正する。探索位置設定部１７には、カラー画像において、未知画素の周囲の参照画素の探索位置が設定される。画像合成部１８は、補正後のラベル画像を用いて、カラー画像から前景を抽出する。画像出力部１９は、カラー画像から抽出した前景を出力部５に出力する。

上記説明した画像処理部１は、例えば、ＣＰＵと、メモリと、ＨＤＤ等の外部記憶装置と、入力装置と、出力装置とを備えた汎用的なコンピュータシステムを用いることができる。このコンピュータシステムにおいて、ＣＰＵがメモリ上にロードされた画像処理部１用のプログラムを実行することにより、画像処理部１の各機能が実現される。また、画像処理部１用のプログラムは、ハードディスク、フレキシブルディスク、ＣＤ−ＲＯＭ、ＭＯ、ＤＶＤ−ＲＯＭなどのコンピュータ読取り可能な記録媒体に記憶することも、ネットワークを介して配信することもできる。

次に、本実施形態の画像処理部１の処理について説明する。

図３は、画像処理部１の処理を示すフローチャートである。なお、カラー画像およびセンサ画像が動画として連続的に画像処理部１に入力される場合は、フレームごとに図３に示すＳ１２〜Ｓ２０の処理が連続して実施されるものとする。

まず、背景画像取得部１５は、画像入力部１１から前景が含まれていないカラー画像を取得し、背景画像としてメモリ等に保持する（Ｓ１１）。

図４に、背景画像の例を示す。この前景が含まれていない背景画像は、操作者（ユーザ）が指示したタイミングで取得する。例えば、操作者は、最初にカメラ部２の前に前景がない状態で、背景画像の取得指示を、操作インタフェース部４を介して画像処理部１に入力する。これにより、カメラ部２が撮像した前景が含まれていないカラー画像が画像入力部１１に入力され、背景画像として保持される。その後、抽出したい前景（例えば人などの被写体）にカメラの前に入ってもらった状態で以降のＳ１２〜Ｓ２０の処理が、フレーム毎に行われる。

次に、画像入力部１１には、カラー画像と、センサ画像と、マスク画像とが入力される（Ｓ１２）。

図５に、前景を含むカラー画像の例を示す。カラー画像は、カメラ部２から入力され、抽出したい領域（以下、「前景領域」）と、抽出したくない領域（以下、「背景領域」）とが含まれているものとする。図４の例では、中央にいる人物４１を前景領域、それ以外を背景領域として、以下の処理を説明する。

また、カラー画像は、RGB（Red、Green、Blue)またはYUVの色空間などで表現されており、画素ごとに複数チャンネルの画素値を保持しているものとする。YUV は、輝度信号（Y）、輝度と青色成分との差（U）、輝度と赤色成分との差（V）の情報で色を表現する形式である。チャンネルは、画素を構成する色空間の次元を示す。例えばRGB色空間ではR(赤成分)、G(緑成分)、B(青成分)の３チャンネルを有する。また、深度センサのセンサ画像の場合は、深度成分のみを示すため、１チャンネルを有する。

センサ画像は、センサ部３から入力される、前景をセンシングした結果である画像であり、前景領域をおおまかに示すものとする。センサ画像は、センサ部３の種類に応じた情報を示すある１つのチャンネルを、カラー画像と同じ画角で保持しているものとする。なお、センサ画像がカラー画像の解像度より低い場合は、センサ画像を拡大・縮小し、カラー画像と解像度を一致させる。

図６に、マスク画像の例を示す。マスク画像は、操作インタフェース部４を用いて、操作者により手入力される画像であって、図５に示すカラー画像全体のうち、確実に背景領域となる領域を示すものである。図６のマスク画像では、黒い画素５１が確実に背景領域となる領域を示し、白い画素５２は前景領域が出現する可能性がある領域を示す。なお、センサ画像を監視して前景領域が表れない領域を統計することでマスク画像を自動的に作成してもよい。

次に、初期領域計算部１２は、画像入力部１１からセンサ画像とマスク画像とを取得し、前景領域をおおまかに示す２値の初期領域を計算する（Ｓ１３）。

図７に、初期領域の例を示す。ここで白い画素は前景領域を示す画素（前景画素）とし、黒い画素は背景領域を示す画素（背景画素）とする。以降の説明では、前景画素の画素値をF（Fore）、背景画素の画素値をB（Back）とする。

初期領域計算部１２は、センサ画像の各画素の画素値が所定の閾値より大きいか否かにより、センサ画像の各画素をFとBの２値に分類した初期領域を計算する。この閾値は、操作者が手入力で指定してもよいし、初期領域計算部１２が複数のセンサ画像を監視して、画素および／または領域ごとに自動的に適切な閾値を決定してもよい。なお、初期領域計算部１２は、マスク画像の黒い画素５１については、センサ画像の画素値に関わらず、強制的にB（背景画素）とする。

なお、本実施形態では、マスク画像を用いて２値の初期領域計算することとしたが、マスク画像を用いることなく、センサ画像のみから初期領域を計算することとしてもよい。

次に、初期領域ノイズ除去部１３は、初期領域計算部１２で出力された初期領域に対して、メディアンフィルタなどを施すことで、初期領域のノイズを除去する（Ｓ１４）。先述した図７では、前景となる人物の顔から首にかけて誤った背景画素（黒い部分）が存在し、また、本来背景である箇所に誤った前景画素（白い部分）が存在している。

図８は、図７に対してメディアンフィルタを施したノイズ除去後の初期領域の例である。なお、ノイズ除去として、初期領域画像の縦方向のメディアンフィルタの後、横方向のメディアンフィルタを施すといった、より高速なノイズ除去アルゴリズムを利用することが望ましい。

次に、ラベル画像計算部１４は、ノイズを除去した初期領域のうち、後述するＳ１８の補正処理の対象となる画素を未知画素として特定する。以降の説明では、未知画素の画素値をU（Unknown）とする。すなわち、ラベル画像計算部１４は、２値（F、B）の画素値をもつ初期領域から、３値（F、B、U）の画素値をもつラベル画像を生成し、境界補正部１６に出力する。ここで、画素値は、ラベルともいう。

具体的には、ラベル画像計算部１４は、初期領域の各画素を参照し、前景画素と背景画素とが隣接している画素を境界画素として特定し、記憶する（Ｓ１５）。次に、ラベル画像計算部１４は、初期領域うち各境界画素から一定距離内にある画素を、未知画素の画素値（U）に更新し、F、B、Uのラベル画像を生成する（Ｓ１６）。なお、ラベル画像計算部１４は、初期領域画像の未知画素以外の画素については、初期領域の画素値（FまたはB）のままとする。

図９は、ラベル画像計算部１４の処理により生成されたラベル画像の例である。図示する例では、白が前景画素、黒が背景画素、薄灰が未知画素を示す。なお、ラベル画像計算部１４は、境界画素ごとに並列的にＳ１６の処理を実施することで、より高速にＳ１６の処理を完了することができる。

このとき、ラベル画像計算部１４は、未知画素を複数の種類に分けてもよい。

図１０（Ａ）は、前景画素、背景画素、未知画素の３値のラベル画像の例であり、図１０（Ｂ）は、未知画素を２種類とした４値のラベル画像の例を示している。図１０（Ｂ）では、未知画素は、前景画素と背景画素との境界画素からの距離に応じて２つに区別（分類）されている。すなわち、濃灰は、境界画素および境界画素から近い未知画素（画素値U_A）を示し、薄灰は、境界画素から遠い未知画素（画素値U_B）を示している。境界画素から近い未知画素（画素値U_A）は、境界画素から所定の距離内の未知画素であり、境界画素から遠い未知画素（画素値U_B）は、境界画素から所定の距離より離れた未知画素である。

この未知画素の種類は、後述するＳ１８の補正処理において参照され、未知画素の種類に対応した補正処理が行われる。なお、未知画素の種類は、境界画素からの距離だけでなく、周囲の画素値、領域（前景領域、背景領域、未知領域）の形状などに応じて区別してもよく、また２種類より多くてもよい。

次に、ラベル画像計算部１４は、ラベル画像からすべての未知画素を参照し、未知画素の座標列を格納した未知画素列を生成する（Ｓ１７）。未知画素が複数種類ある場合は、ラベル画像計算部１４は、それぞれの種類ごとに未知画素列を作成する。

次に、境界補正部１６は、ラベル画像のすべての未知画素に境界補正を行い、補正後のラベル画像を生成する（Ｓ１８）。

図１１は、図３のＳ１８の処理の詳細を示すフローチャートである。まず、境界補正部１６は、探索位置設定部１７に設定された探索位置の変更指示が入力されたか否かを判定する（Ｓ３１）。カラー画像（フレーム）が逐次的に画像処理部１に入力される場合、操作者が変更指示を入力しない場合は、前のフレームで用いた探索位置（または、あらかじめ設定した所定の探索位置）を使用する。操作者は、各カラー画像（フレーム）の内容に応じて所望の探索位置を選択し、操作インタフェース部４を介して探索位置を入力することができる。これにより、探索位置設定部１７には、変更後の探索位置が設定される。探索位置は、補正処理において参照する複数の参照画素の位置を示すものである。

なお、カラー画像が静止画の場合は、あらかじめ設定した所定の探索位置を使用するか、あるいは、操作者がカラー画像の内容に応じて選択した探索位置を、変更指示として操作インタフェース部４を介して入力することとしてもよい。

探索位置の変更指示が入力された場合（Ｓ３１：ＹＥＳ）、境界補正部１６は探索位置設定部１７に設定された探索位置の探索位置画像を作成する（Ｓ３２）。

図１２に、４つの探索位置画像の例を示す。各探索位置画像の白点は、画像中央を補正対象の未知画素としたときに、当該未知画素の近傍にある処理中に参照する画素の相対的な座標を示す。

例えば図１２（Ａ）では、画像の中央部ほど白点が多く、画像中央から離れると白点がなくなっている。これはある未知画素を補正するとき、その未知画素に近い画素ほど多く参照し、離れた画素は無視することを示している。図１２（Ｂ）は、参照回数が比較的多い場合の探索位置画像であり、図１２（Ａ）よりも白点の密度が濃い。図１２（Ｃ）は、比較的広い範囲で参照する場合の探索位置画像であり、図１２（Ａ）および図１２（Ｂ）よりも広い範囲で白点が設置されている。一方で、図１２（Ｄ）は、より近くの画素は参照せず、遠くの画素のみ参照する場合の探索位置画像であり、画像の中央部に白点がない。

ここで、本実施形態では、未知画素の種類に応じて、適切な探索位置画像（探索位置）を用いることとする。すなわち、未知画素の種類に応じて探索位置を変更する。例えば、上述した境界画素に近い未知画素（画素値U_A）では、近くに前景や背景の画素が存在しない。そこで、未知画素（画素値U_A）については、図１２（Ｄ）の探索位置画像の探索位置を採用することで、無駄な参照を省くことができる。

一方、境界画素から遠い未知画素（画素値U_B）では、近くに前景や背景の画素が存在するため、図１２（Ａ）〜（Ｃ）のいずれかの探索位置画像の探索位置を採用する。操作者は、カラー画像の内容に応じて、未知画素（画素値U_B）に対して、図１２（Ａ）〜（Ｃ）のどの探索位置を使用するのか選択する。

次に、境界補正部１６は、探索位置画像のすべての白点を参照し、画像中央からの相対的な座標を探索位置として取得し、探索位置列を生成する（Ｓ３３）。このとき、境界補正部１６は、探索位置列を画像中央からの距離で昇順に並べ替える（ソートする）ものとする。すなわち、境界補正部１６は、探索位置に含まれる複数の参照画素の位置を、未知画素と同じ位置のカラー画素から近い順に並べ替えた探索位置列を生成する。これにより、後段のループＢの処理で探索位置を参照するときに、補正対象の未知画素に近いものから順番に参照される。

後述するＳ３７では、境界補正部１６は、未知画素（画素値U_A）に対しては、例えば図１２（Ｄ）の探索位置画像の探索位置列を選択し、未知画素（画素値U_B）に対して、例えば図１２（Ａ）〜（Ｃ）のいずれかの探索位置画像の探索位置列を選択する。

次に、境界補正部１６は、ラベル画像計算部１４から取得した未知画素列に含まれるすべての未知画素について、補正処理を実施する（ループＡ：Ｓ３４〜Ｓ４３）。なお、未知画素ごとに並列してこの処理を実施することで、より高速に処理を完了できる。

まず、境界補正部１６は、ラベル画像における補正対象の未知画素uの座標(x_u,y_u)を取得する。次に、未知画素と同じ座標にあるカラー画像の画素値s(x_u,y_u)と、背景画像の画素値b(x_u,y_u)とを取得する。そして、境界補正部１６は、未知画素uと同じ位置における、カラー画像の画素の画素値と、背景画像の画素の画素値との距離を示す色距離（第１の色距離）を計算する（Ｓ３４）。カラー画像および背景画像がYUV色空間の場合、画素値sとbの色距離distance_s,bは、例えば下記のように計算される。

ただし、このときwは、各チャンネルに対する重みであり、操作者が手入力する、あるいは境界補正部１６が自動的に設定するものとする。例えば上記で U_ｗ=0，V_ｗ=0の場合、色距離は輝度値成分のみで計算される。

境界補正部１６は、計算した色距離を色距離最小値としてメモリなどに保持する。また、境界補正部１６は、処理対象の未知画素の候補ラベルとして、背景画素を示すB、あるいは未知画素由来の背景画素であることを示すB_Uとしてメモリなどに保持する（Ｓ３５）。B_Uは、補正前は未知画素であることを示すフラグである。

そして、境界補正部１６は、色距離最小値が所定の閾値Ａ（第１の閾値）より大きいか否かを判別する（Ｓ３６）。色距離最小値が所定の閾値Ａ以下の場合（Ｓ３６：ＮＯ）、境界補正部１６は、ラベル画像の当該未知画素に対する画素値l(x_u,y_u) を候補ラベルの値（BまたはB_U）に更新し（Ｓ４３）、当該未知画素に対する補正処理を終える。例えば、上述の色距離distance_s,bが閾値Ａを下回っていた場合、補正対象の未知画素uは、未知画素を示すUから、背景を示すBあるいはB_Uに更新される。

色距離最小値が閾値Ａより大きい場合（Ｓ３６：ＹＥＳ）、以降の処理を継続する。本実施形態では、境界補正部１６は、前述のとおり、補正対象の未知画素の種類（U_A、U_B）に応じた探索位置列を選択し（Ｓ３７）、先頭の探索位置から順に下記の処理を実施する（ループＢ：Ｓ３８〜Ｓ４２）。

境界補正部１６は、補正対象の未知画素uの座標(x_u,y_u)から探索位置(x_d,y_d)だけ移動した座標におけるカラー画像の画素値s_d((x_u+x_d),(y_u+y_d))と、ラベル画像の画素値l_d ((x_u+x_d),(y_u+y_d))とを取得する（Ｓ３８）。境界補正部１６は、ラベル画像の画素値l_dがF（背景）またはB（前景）であるかを判別し（Ｓ３９）、ラベル画像の画素値l_dがU（未知）の場合（Ｓ３９：ＮＯ）、当該探索位置での以降の処理を行うことなく、次の探索位置の処理を行う。

ラベル画像の画素値l_dがFまたはBの場合（Ｓ３９：ＹＥＳ）、境界補正部１６は、カラー画像における補正対象の画素の画素値s(x_u,y_u)と、探索位置の画素の画素値s_d((x_u+x_d),(y_u+y_d))とを用いて、色距離distance_s,sdを例えば下記のように計算する（Ｓ４０）。すなわち、境界補正部１６は、未知画素と同じ位置におけるカラー画像のカラー画素と、当該カラー画素の周辺の参照画素との色距離（第２の色距離）を算出する。

このとき、wは各チャンネルに対する重みであり、操作者が手入力する、あるいは境界補正部１６が自動的に設定するものとする。例えば上記でP_w 以外が0の場合、色距離は画素間の座標の距離のみで計算される。

そして、境界補正部１６は、Ｓ４０で算出した色距離が、現時点においてメモリに保持している色距離最小値より小さい場合、保持している色距離最小値をＳ４０で算出した色距離に更新する。また、色距離最小値を更新した場合は、境界補正部１６は、ラベル画像の当該探索位置における参照画素の画素値l_d ((x_u+x_d),(y_u+y_d))を候補ラベルとする（Ｓ４１）。

例えば、境界補正部１６は、ラベル画像の参照画素の画素値l_dがF（前景）の場合、候補ラベルをFまたは未知画素由来である前景を示すF_Uとする。F_Uは、補正前は未知画素であることを示すフラグである。また、境界補正部１６は、参照画素の画素値l_dが背景を示すBの場合、候補ラベルをBまたは未知画素由来である背景を示すB_Uとする。

なお、Ｓ４０で算出した色距離最小値が現時点において保持している色距離最小値以上の場合、すなわち、色距離最小値を更新できない場合は、参照画素の画素値l_dを候補ラベルとしない。

そして、境界補正部１６は、色距離最小値が所定の閾値Ｂ（第２の閾値）より大きいか否かを判別する（Ｓ４２）。色距離最小値が閾値Ｂ以下の場合（Ｓ４２：ＮＯ）、境界補正部１６は、ラベル画像の当該未知画素に対する画素値l(x_u,y_u)を候補ラベルの値に更新し（Ｓ４３）、当該未知画素に対する処理を終える。すなわち、境界補正部１６は、Ｓ３７で選択した探索位置列の順番で、各探索位置の参照画素との色距離を算出し、色距離が閾値Ｂ以下になった時点で、当該参照画素と同じ画素値で補正対象の未知画素の画素値を補正する。

色距離最小値が閾値Ｂより大きい場合（Ｓ４２：ＹＥＳ）、Ｓ３８に戻り、次の探索位置の処理を行う。なお、探索位置の参照が探索位置列の終端まで到達した場合、境界補正部１６は、その時点で保持されている候補ラベルの値で、ラベル画像の当該未知画素に対する画素値l(x_u,y_u)を更新（追受診）し、当該未知画素に対する補正処理を終える。

次に、図１１の処理について、図１３を用いて具体的に説明する。

図１３は、上から探索位置画像１３１、ラベル画像１３２、カラー画像１３３および背景画像１３４の一部を表している。図１３の中心の線１３５は、ラベル画像において補正対象の画素（未知画素）の座標を示している。まず、この座標においてカラー画像１３３の画素と、背景画像１３４の画素とが比較される（Ｓ３４）。この比較で色距離が十分に小さい場合（Ｓ３６：ＮＯ）、ラベル画像１３２の補正対象の画素は背景を示すBまたはB_Uとなり（Ｓ４３）、図１１の補正処理を終了する。

一方、色距離が比較的大きい場合（Ｓ３６：ＹＥＳ）、カラー画像１３３の補正対象の画素と、当該画素の周辺の参照画素との比較に移る。図１３の左側の線１３６は、探索位置画像１３１の探索位置が前景に対応している場合で、カラー画像１３３上でこの座標の画素と、中心の線１３５の座標の画素との色距離が近い場合は、ラベル画像の補正対象の画素の補正結果は前景を示すFまたはF_Uとなる。また、右側の線１３７は探索位置画像１３１の探索位置が背景に対応している場合で、カラー画像１３３上でこの座標の画素と、中心の線１３５の座標の画素との色距離が近い場合は、ラベル画像の補正対象の画素の補正結果は背景を示すBまたはB_Uとなる。

なお、閾値Ａは背景画像とカラー画像との色距離の比較に用い、閾値Ｂはカラー画像における補正対象の画素と周辺の参照画素との色距離の比較に用いるものあるが、閾値Ａと閾値Ｂの値は一致していなくてもよい。例えば撮影環境において背景が安定している場合は、閾値Ａをより大きく設定して、できるだけ処理を早く終わらせる方が好ましい。一方で、撮影環境において背景が変化しやすい場合には、背景を誤って前景としてしまうこと（FalsePositive）を防ぐため、閾値Ａを小さく設定することが望ましい。

図１４に、境界補正部１６から出力される補正後のラベル画像の例を示す。補正前の図８と比較して、誤検出が低減されている。また前景と背景の境界部分も滑らかになっており、センサ画像の解像度が小さい場合に発生するジャギーなどのノイズが解決されている。

そして、図３のＳ１９の処理に戻り、画像合成部１８は、カラー画像とＳ１８で補正されたラベル画像とを入力として、抽出画像を生成する。

図１５に抽出画像の例を示す。画像合成部１８は、すべての画素ごとにラベル画像の画素値を参照し、画素値がFの場合はカラー画像の画素値を抽出画像に反映し、画素値がBの場合は黒または白などの操作者が設定した画素値を抽出画像に設定する。図１５の例では背景領域を真っ白に削除すべく、ラベル画像でBの画素には白の画素値が設定された抽出画像を示している。

また、操作者が外部画像を指定し、ラベル画像の画素値がFの場合はカラー画像の画素値を、ラベル画像の画素値がBの場合は外部画像の画素値を適用することで、前景領域だけが外部画像に貼りついたような抽出画像を得ることができる。

ここで、画像合成部１８は、境界補正部１６から出力されたラベル画像を平滑化した後に、Ｓ１９の抽出画像の生成処理を行ってもよい。例えば、画像合成部１８は、Fを255、Bを0としてアルファ画像を作成し、アルファ画像にガウシアンフィルタなどで平滑化してからカラー画像のアルファチャンネルに適用する。これにより、前景領域の境界部分が滑らかになり、より違和感のない抽出画像を得ることができる。

また、画像合成部１８は、補正後のラベル画像の画素の種類（未知画素由来であることを示すフラグの有無）に応じて平滑化処理を変化させてもよい。すなわち、前記画像合成部１８は、フラグの有無に応じたラベル画像の平滑化処理を行い、平滑化後のラベル画像を用いて、カラー画像から前景を抽出してもよい。

例えば、ある座標（x,y）において、ラベル画像の画素値l(x,y)が未知画素由来の背景を示すフラグが設定されたB_Uであるとき、画像合成部１８は、アルファ値α(x,y)を推定する以下のような計算を実施する。なお、アルファ値は、透過度である。

ここで、s(x,y)はカラー画像の画素値、b(x,y)は背景画像の画素値を示す。また座標(x_d、y_d)は、ラベル画像で座標(x_、y)から最も近い前景を示す画素Fの座標を示す。

一方、ある座標（x,y）において、ラベル画像の画素値l(x,y)がB_U以外の場合は、背景画素を用いることなく、アルファ値を算出する。例えば、前述のようにFを255、Bを0としてアルファ画像を作成し、平滑化処理を施した場合は、0と255の間にある画素は例えば128などのアルファ値となる。

最後に、画像出力部１９は、Ｓ１９で生成した抽出画像を、モニタやプロジェクタなどの出力部５に合わせて適切なフォーマットに変換し、抽出画像を出力する。

以上説明した本実施形態では、入力されたカラー画像から所望の人物や物体などの前景を抽出する場合、特にその境界部分において精緻に前景を抽出することが可能となる。また、閾値Ａ、Ｂを適切に設定することで、抽出処理にかかる計算を削減し、高速に抽出画像を出力することが可能となる。

また、本実施形態の画像処理部１は、カラー画像の中から、前景が含まれていない背景画像を取得し、未知画素と同じ位置におけるカラー画像のカラー画素と、背景画像の背景画素との第１の色距離を算出し、第１の色距離が第１の閾値以下の場合は、当該未知画素のラベルを背景に更新する。

非特許文献１では、ある未知画素の補正後のラベルを決定する際に、カラー画像中の周囲の画素値との比較しか行っていない。そのため、初期領域を計算する際に本来は背景である画素が誤って前景となり（FalsePositive）、またラベル画像を計算する際にそれが未知画素に置き換わらず残ってしまった場合、カラー画像中でその画素と似た色である未知画素がすべて前景となってしまうなど、誤りが伝播してしまう可能性がある。

これに対し、本実施形態では、始めに背景画像との比較を行い、色距離が近い場合は未知画素の補正結果を背景画素として確定させるため、非特許文献１よりもFalsePositiveの伝播を受けにくくなり、結果としてより精度の高い抽出を可能としている。

また、本実施形態では、背景と前景の境界からの距離に応じて、複数の種類の未知のラベルを設定し、各未知画素のラベルの種類に応じて、カラー画像内での第２の色距離を算出する際に参照する複数の参照画素の位置を示す探索位置を変更する。これにより、本実施形態では、例えば境界画素に近い未知画素を補正する際に、極近い画素を無視するような探索位置（例えば、図１２（Ｄ））を採用することで、極近い未知画素への参照をスキップすることができ、結果として参照回数の削減と高速な抽出画像の取得が可能となる。

すなわち、非特許文献１では、未知画素を中心として周囲の画素を疎に参照しているが、この参照する位置はすべての未知画素において同一となっているため、特に未知画素が密集しているような箇所では無駄な参照が多発し、結果として効率的な計算が行えず、処理時間が大幅に増加する。本実施形態では、未知画素の種類に応じて、探索位置を使い分けることで、無駄な参照を回避することができる。

また、本実施形態では、探索位置に含まれる複数の参照画素の位置を、未知画素と同じ位置のカラー画素から近い順に並べ替えた探索位置列を生成する。これにより、本実施形態では、第２の色距離を算出する際に、未知画素の位置から近い参照画素から順に実施することができる。多くの場合において、色距離が近い画素は、座標も近いため、結果としてより参照回数を削減し、高速に抽出画像を得ることが可能となる。

また、本実施形態では、探索位置列の順番で、参照画素との第２の色距離を算出し、第２の色距離が第２の閾値以下になった時点で、当該参照画素と同じ画素値（ラベル）で未知画素の画素値（ラベル）を補正する。このように、第２の閾値を設け、第２の色距離が第２の閾値を下回った時点で処理を離脱することにより、抽出画像の精度を毀損することなく、画素の参照回数を大幅に削減でき、高速に抽出画像を得ることができる。

また、本実施形態では、未知画素の補正後のラベルに、補正前は未知画素であったこと示すフラグを設定し、フラグの有無に応じたラベル画像の平滑化処理を行い、平滑化後のラベル画像を用いて、前記カラー画像から前景を抽出する。例えば、未知画素由来の背景を示すフラグが設定されたB_Uである場合、カラー画像とラベル画像に加えて背景画像を入力とすることで、前景・背景の２値ではない厳密なアルファ値を計算することが可能となり、より滑らかで精緻な抽出画像を得ることができる。

なお、本発明は上記実施形態に限定されるものではなく、その要旨の範囲内で数々の変形が可能である。

以下に、上記実施形態の第１の変形例および第２の変形例について説明する。

＜第１の変形例（変形例１−１）＞
第１の本変形例は、ラベル画像の生成処理（図３：Ｓ１６−Ｓ１８）を効率化するための変形例である。

図１６は、第１の変形例におけるラベル画像の生成処理を示すフローチャートである。図１６は、図３の上記実施形態のＳ１６およびＳ１８の処理を置き換えるものである。すなわち、本変更例では、図３のＳ１１〜Ｓ１５を行った後、図１６に示す処理を行い、その後、図３のＳ１９〜Ｓ２０を行う。なお、本変形例のＳ１８１の処理は、後述する図１８で具体的に示す。

本変形例では、ラベル画像計算部１４は、複数の種類の未知のラベルを設定し、境界補正部１６は、未知のラベルをもつ未知画素の各々について、未知画素の種類ごとに複数の段階で各未知画素のラベルを背景または前景に補正し、補正済みの種類のラベルの補正結果を用いて、次の種類の未知画素のラベルを補正する。具体的には以下のとおりである。

ラベル画像計算部１４は、初期領域うち、各境界画素から一定距離にある画素v(x, y)を、複数の種類の未知画素（画素値U_S1、U_S2）に更新し、ラベル画像を生成する。このときv(x, y)は、座標(x, y)にある初期領域の画素であるものとする。

すなわち、まず、ラベル画像計算部１４は、境界画素から一定距離にある全ての各画素v(x, y)について、ループＣ（Ｓ１６１〜Ｓ１６３）の処理を行い、未知画素を複数の種類に分ける。

まず、ラベル画像計算部１４は、xとyの加算値を計算し、その値の2による剰余(一般的にmodulo, modと表記される)を計算し、計算結果が0か否かを判別する（Ｓ１６１）。剰余が0の場合（Ｓ１６２：ＹＥＳ）、ラベル画像計算部１４は、処理対象の未知画素を第１の種類の未知画素（画素値U_S1）に更新する（Ｓ１６２）。

一方、剰余が1の場合（Ｓ１６２：ＮＯ）、ラベル画像計算部１４は、処理対象の未知画素を第２の種類の未知画素（画素値U_S2）に更新する（Ｓ１６３）。そして、ラベル画像計算部１４は、ループＣを行うことで、初期領域のうち各境界画素から一定距離内にある全ての画素を、複数の種類の未知画素のラベル（画素値U_S1、U_S2）に更新する。そして、ラベル画像計算部１４は、F、B、U_S1、U_S2の４値のラベル画像を生成する（Ｓ１６４）。

なお、ラベル画像計算部１４は、初期領域画像の未知画素以外の画素については、初期領域の画素値（FまたはB）のままとする。また、ラベル画像計算部１４は、境界画素ごとに並列的にループＣの処理を実施することで、高速にループＣの処理を完了することができる。

そして、ラベル画像計算部１４は、ラベル画像からすべての未知画素U_S1、U_S2を参照し、未知画素の種類ごとに未知画素の座標列を格納した未知画素列を作成する（Ｓ１７１）。ここでは、未知画素U_S1に対応する未知画素列と、未知画素U_S2に対応する未知画素列の２つが作成される。

図１７は、ラベル画像計算部１４の処理により生成されたラベル画像の例である。図１７の左側の画像１７１は、ラベル画像の全体を示し、右側の画像１７２は、ラベル画像１７１のうち前景（被写体）領域の一部を拡大したものである。図示する画像１７２では、白色１７３は前景画素を、黒色１７４は背景画素を、薄灰（明るい灰色）１７５は未知画素U_S1を、そして、濃灰（暗い灰色）１７６は未知画素U_S2を示す。

ここでは、Ｓ１６１〜Ｓ１６３で座標(x, y)の加算値の剰余に基づいて未知画素を複数の種類（画素値U_S1、U_S2）に分類する。これにより、未知画素からなる未知領域１７７において、図示するように、複数の種類の未知画素が縦方法および横方向で交互（順番）に配置され、市松模様となる。換言すると、未知画素U_S1と未知画素U_S2とが、上下左右の四方向で隣接しないように配置される。

なお、後述するが、複数の種類の未知画素の配置は、図１７に限定されるものではない。ラベル画像計算部１４は、未知画素からなる未知画素領域において、各未知画素の周囲の８つの画素（上、下、左、右、右上、左上、右下、左下）のうち、少なくとも４つの画素が参照される場合において、そのうちの少なくとも１つが、異なる種類の未知画素となるように、各未知画素の種類を設定すればよい。

そして、境界補正部１６は、未知画素の種類ごとに、ラベル画像のすべての未知画素に境界補正を行い、補正後のラベル画像を生成する（Ｓ１８１）。具体的には、境界補正部１６は、カラー画像、背景画像、ラベル画像および複数の未知画素列を入力として、前景の境界部分を補正したラベル画像を出力する。

図１８は、本変更例における図１１のＳ１８の処理の詳細を示すフローチャートである。図１８は、上記実施形態の図１１に対応するものである。本変形例では、未知画素の種類ごとに、順番にラベルを補正する。

まず、境界補正部１６は、図１１のＳ３１と同様に、操作者による設定やパラメータの自動的な制御によって、探索位置設定部１７に設定された探索位置の変更指示が入力されたか否かを判定する（Ｓ５１）。探索位置の変更指示が入力された場合（Ｓ５１：ＹＥＳ）、境界補正部１６は探索位置設定部１７に設定された探索位置の探索位置画像を取得する（Ｓ５２）。ここでは、未知画素の種類ごとに、探索位置画像が取得される。

図１９に、２つの探索位置画像の例を示す。本変形例では、未知画素の種類に応じて、適切な探索位置画像（探索位置）を用いることとする。すなわち、未知画素の種類に応じて探索位置を変更する。図１９（Ａ）は、未知画素U_S1に対応する未知画素列用の探索位置画像であり、図１９（Ｂ）は、未知画素U_S2に対応する未知画素列用の探索位置画像である。また、各探索位置画像の白点は、画像中央を補正対象の未知画素としたときに、当該未知画素の近傍にある、処理中に参照する画素の相対的な座標を示す。

例えば図１９（Ａ）では、画像の中央部ほど白点が多く、画像中央から離れると白点がなくなっている。すなわち、補正対象の未知画素に近いほど、密に探索位置が設定されている。これはある未知画素を補正するとき、その未知画素に近い画素ほど多く参照し、離れた画素は無視することを示している。

一方、図１９（Ｂ）は、図１９（Ａ）と比較して、探索位置の数が非常に少なくなるように設定される。すなわち、第２段階目以降に補正を行う未知画素用の探索位置は、各未知画素の周囲の画素である。具体的には、図１９（Ｂ）は、補正対象の未知画素の周囲の上下左右の４つの画素のみが、探索位置として設定されている。これは、未知画素U_S2は、先に補正処理を行った未知画素U_S1の補正結果を利用できるためである。これにより、本変形例では、先に補正を行った補正済の種類の未知画素の補正結果を利用できるため、不要な探索位置での参照を省き、補正処理を効率化および高速化することができる。

次に、境界補正部１６は、図１９の各探索位置画像の各々について、当該探索位置画像のすべての白点を参照し、画像中央からの相対的な座標を探索位置として取得し、探索位置列を生成する（Ｓ５３）。すなわち、未知画素U_S1用の探索位置列Ａ１と、未知画素U_S2用の探索位置列Ａ２とが生成される。

このとき、境界補正部１６は、各探索位置列を画像中央からの距離で昇順に並べ替える（ソートする）ものとする。すなわち、境界補正部１６は、探索位置に含まれる複数の参照画素の位置を、未知画素と同じ位置のカラー画素から近い順に並べ替えた探索位置列を生成する。これにより、探索位置を参照するときに、補正対象の未知画素に近いものから順番に参照される。

なお、境界補正部１６は、後述する第１の種類の未知画素U_S1の境界補正を行う第１段ループＡ（未知画素U_S1）では、図１９（Ａ）の探索位置画像の探索位置列Ａ１を選択し、第２の種類の未知画素U_S2の境界補正を行う第２段ループＡ（未知画素U_S2）では、図１９（Ｂ）の探索位置画像の探索位置列Ａ２を選択する。

次に、境界補正部１６は、第１段階の補正処理として、未知画素U_S1に対応する未知画素列を参照し、すべての未知画素U_S1について補正処理（第１段ループＡ）を実施する（Ｓ５４）。この第１段ループＡの補正処理は、図１１のループＡ（Ｓ３４〜Ｓ４３）と同様である。

すなわち、境界補正部１６は、未知画素U_S1の座標に対応するカラー画像中の画素、および、背景画像中の画素に基づいて算出した色距離が閾値Ａ以下である場合は、候補ラベルを背景とし、候補ラベルで未知画素U_S1を更新する。一方、色距離が閾値Ａより大きい場合は、図１１のＳ３７において未知画素U_S1用の探索位置列Ａ１を選択し、カラー画像中の補正対象の画素と、探索位置列Ａ１の各探索位置の画素との色距離を比較する。その結果、色距離が閾値Ｂ以下である画素、あるいは色距離が最小である画素のラベル（画素値）を候補ラベルとし、候補ラベルで未知画素U_S1を更新する。

図２０は、第１段ループＡ（Ｓ５４）の終了後のラベル画像を示すものである。図示するラベル画像２０１では、第１段ループＡを行う前のラベル画像１７２（図１７参照）と比較して、未知画素U_S1に対応するすべての薄灰の画素が、白色または黒色に更新されていることがわかる。一方で未知画素U_S2に対応するすべての濃灰の画素は、まだ更新されていない。

次に、境界補正部１６は、第２段階の補正処理として、未知画素U_S2に対応する未知画素列を参照し、すべての未知画素U_S2について補正処理（第２段ループＡ）を実施する（Ｓ５５）。この第２段ループＡの補正処理も、図１１のループＡ（Ｓ３４〜Ｓ４３）と同様である。ここでは、図１１のＳ３７において、未知画素U_S2用の探索位置列Ａ２を選択する。探索位置列Ａ２では、探索位置の数が非常に少ないため、図１１のループＡの中のループＢ（Ｓ３８〜Ｓ４２）の比較計算の回数が非常に少ないものとなる。したがって、ループＢの処理時間が短くなる。

図２１は、第２段ループＡ（Ｓ５５）の終了後のラベル画像を示すものである。図示するラベル画像２１１では、第２段ループＡを行う前のラベル画像２０１（図２０参照）と比較して、未知画素U_S2に対応するすべての濃灰の画素が、未知画素U_S1と同様に白色または黒色に更新されていることがわかる。

以上説明した変形例１では、未知画素を複数の種類に分類して、種類ごとに順番に補正処理を行う。このように、複数段階（ここでは、２段階）での補正処理を行うことにより境界補正の効率化および高速化を実現することができる。すなわち、本変形例では、上記実施形態で述べた効果に加え、精度への影響を抑えつつ、前景の抽出に要する計算量を削減することが可能になり、抽出画像の出力にかかる時間を短縮することができる。

なお、上記実施形態でも本変形例と同様に、未知画素にいくつかの種類を設けてもよいことが記載されているが、上記実施形態では、ある未知画素を補正（更新）する際に、補正済の未知画素のラベルを利用することを前提としていない。そのため、上記実施形態では、未知画素に複数の種類があるとしても、各未知画素を並列化し、一括して補正することができる。

一方、本変形例では、未知画素の補正を複数の段階に分け、第１段階では通常の探索位置画像（例えば、図１９（Ａ））を用いて第１の種類の未知画素を補正して、ラベル画像を更新する（図２０）。そして、第２段階では、補正後の第１の種類の未知画素の補正結果を利用することで、極少ない探索位置画像（例えば、図１９（Ｂ））で第２の種類の未知画素を補正し、最終的なラベル画像を取得する。

この複数段階の補正処理によって、未知画素を補正する処理（図１６：Ｓ１８１、図１８）の処理時間を、半分まではいかないまでも、大幅に削減することが可能となる。また、第１段階および第２段階のそれぞれのループ処理（図１８：Ｓ５４、Ｓ５５）では、各未知画素の補正を並列化することができるため、従来の並列化の恩恵を大きく損ねない利点がある。

なお、本変形例では、補正対象の未知画素は、当該未知画素の周囲の４つの画素のいずれかに、色距離が最も近く、かつ、自身と同じラベルの画素が存在することを前提としている。この条件を満たさないような画素は少なからず存在するため、本変形例では若干ではあるが、上記実施形態よりも精度を犠牲にする場合がある。

また、本変形例では、複数の種類の未知画素を、図１７に示すような市松模様に配置することとしたが、これに限定されるものではない。すなわち、各未知画素の周囲の８つの画素（上、下、左、右、右上、左上、右下、左下）のうち、少なくとも４つの画素が参照される場合において、そのうちの少なくとも１つが、異なる種類の未知画素となるように、各未知画素の種類を設定すればよい。例えば、複数の種類の未知画素を、以下のようにすることも考えらえる。

図２２〜図２５は、各未知画素の周囲の４つの画素のうち、少なくとも１つが異なる種類の未知画素となるように、複数の種類の未知画素を設定した例である。

図２２に示す横型模様は、図１６のループＣにおいて、ラベル画像計算部１４は、mod(y, 2)を計算し、計算結果が0か否かを判定する（Ｓ１６１）。すなわち、対象画素の座標が（x, y）の場合に、yの値について2による剰余を計算する。剰余が0の場合（Ｓ１６１：ＹＥＳ）、ラベル画像計算部１４は、処理対象の未知画素を第１の種類の未知画素（図示する白色）に更新する（Ｓ１６２）。一方、剰余が1の場合（Ｓ１６１：ＮＯ）、ラベル画像計算部１４は、処理対象の未知画素を第２の種類の未知画素（図示する灰色）に更新する（Ｓ１６３）。

図２３に示す縦型模様は、図１６のループＣにおいて、ラベル画像計算部１４は、mod(x, 2)を計算し、計算結果が0か否かを判定する。すなわち、対象画素の座標（x, y）のxの値について2による剰余を計算する。剰余が0の場合、ラベル画像計算部１４は、処理対象の未知画素を第１の種類の未知画素（白色）に更新する。一方、剰余が1の場合、ラベル画像計算部１４は、処理対象の未知画素を第２の種類の未知画素（灰色）に更新する。

図２４に示す４ブロック模様は、図１６のループＣにおいて、ラベル画像計算部１４は、mod(x, 3) > 0 AND mod(y, 3) > 0 の条件を満たすか否か、すなわち1（真値）か、或いは0（偽値）かを判定する。対象画素の座標（x, y）のxの値について3による剰余が0より大きく、かつ、yの値について3による剰余が0より大きい場合は、ラベル画像計算部１４は、1（真値）と判定し、処理対象の未知画素を第１の種類の未知画素（灰色）に更新する。一方、mod(x, 3) > 0 AND mod(y, 3) > 0の条件を満たさない場合、ラベル画像計算部１４は、0（偽値）と判定し、処理対象の未知画素を第２の種類の未知画素（白色）に更新する。

図２５に示す６ブロック模様は、図１６のループＣにおいて、ラベル画像計算部１４は、mod(y, 6) > 2 の計算結果を A とし、mod(x + 2 * A, 4) > 1 の条件を満たすか否か、すなわち1（真値）か、或いは0（偽値）かを判定する。ラベル画像計算部１４は、対象画素の座標（x, y）のyの値について6による剰余を計算し、2より大きい場合は計算結果Aを1（真値）とし、2以下の場合は計算結果Aを0（偽値）とする。そして、ラベル画像計算部１４は、対象画素の座標（x, y）のxに2*計算結果Aを加算した値について４による剰余を計算し、1より大きい場合は、1（真値）と判定し、処理対象の未知画素を第１の種類の未知画素（灰色）に更新する。一方、1以下の場合、ラベル画像計算部１４は、0（偽値）と判定し、処理対象の未知画素を第２の種類の未知画素（白色）に更新する。

＜第１の変形例（変形例１−２）＞
上述した第１の変形例（変形例１−１）では、未知画素の種類を、未知画素U_S1と未知画素U_S2の２つとしたが、さらに多くの種類に未知画素を分類してもよい。例えば、図１０に示す上記実施形態では、未知画素を前景画素と背景画素との境界画素からの距離に応じて２つに分類（区別）しており、境界画素から遠い未知画素に対してはより近い画素を参照する探索位置列を、境界画素および境界画素から近い未知画素に対しては、近い画素を無視し、より遠い画素を参照するような探索位置列を割り当てている。

本変形例（変形例１−２）では、変形例１−１の未知画素の種類と、境界画素からの距離に応じた未知画素の種類とを組み合わせた変形例である。

図２６は、本変形例のラベル画像および探索位置画像の例を示す。本変形例では、未知画素U_S1を２つの種類に分類し、未知画素U_S2は分類しない。これにより、本変形例では、未知画素は、３種類に分類される。図示するラベル画像２２１は、薄灰が未知画素U_S1を示し、濃灰が未知画素U_S2を示す。ここでは、３つの探索位置画像２２２、２２３、２２４が用いられる。

薄灰の未知画素U_S1のうち、境界画素から遠い未知画素U_S1については、境界補正部１６は、近い画素を密に参照するような探索位置画像２２２を選択する。これは境界付近に参照すべき前景および／または背景のラベルが存在しているためである。一方、薄灰の未知画素U_S1のうち、境界画素から近い未知画素U_S1については、境界補正部１６は、近い画素を無視するような探索位置画像２２３を選択する。これは画素の近くはすべて未知画素であり、参照する必要がないためである。

また、濃灰である未知画素U_S2については、境界補正部１６は、上下左右の４点を参照する探索位置画像２２４を選択する。これは、境界画素に近い場合、および、境界画素から遠い場合のどちらにおいても、上下左右の画素がすでに前景または背景のラベルに補正されており、参照すべきであるからである。

なお、本変形例では、図１８に示す変形例１−１の補正処理と同様に、Ｓ５４の第１段ループＡ（未知画素U_S1）の後に、Ｓ５５の第２段ループＡ（未知画素U_S2）を行うものとする。

また、本変形例では、未知画素U_S2については、さらなる分類をしないこととしたが、これに限らず、未知画素U_S2についてもいくつかの種類に分類し、それぞれ適切な探索位置画像を用いてもよい。

＜変形例１−３＞
上述した上記変形例１−１および変形例１−２では、図１８に示すように２段階の補正処理を行うこととしたが、３段階以上の補正処理を実施することを目的として、未知画素を３つ以上の種類に分類してもよい。以下に、３段階の補正処理を行う本変形例１−３について説明する。

図２７は、本変形例のラベル画像および探索位置画像の例を示す。本変形例では、３段階の補正処理を行うために、３種類の未知画素に分類する。図示するラベル画像２３１では、前景画素を白色(画素値255)で、背景画素を黒色(画素値0)で、第１の種類の未知画素U_S1を薄灰色(画素値192)で、第２の種類の未知画素U_S2を中灰色(画素値128)で、第３の種類の未知画素U_S3を濃灰色(画素値64)で示している。ラベル画像計算部１４は、例えば下記の剰余計算を用いた分岐に基づいて、未知画素を３種類に分類する。

mod(x+y, 2) = 0 かつ、mod(x, 2) = 0 またはmod(y, 2) = 0のとき、未知画素U_S1
mod(x+y, 2) = 0 かつ、mod(x, 2) = 1 またはmod(y, 2) = 1のとき、未知画素U_S2
mod(x+y, 2) = 1 のとき、未知画素U_S3

本変形例では、薄灰色の未知画素U_S1は、多数の探索位置を用いる探索位置画像２３２を用いる。一方、中灰色の未知画素U_S2は、右上、左上、右下、左下の４つの周囲の画素を参照する探索位置画像２３３を用いる。また、濃灰色の未知画素U_S3は、上下左右の４つの周囲の画素を参照する探索位置画像２３４を用いる。

そして、本変形例では、境界補正部１６は、未知画素の種類ごとに、順番に未知画素のラベルを補正する。具体的には、境界補正部１６は、第１段階の補正処理として、未知画素U_S1（薄灰色）に対応する未知画素列を参照し、すべての未知画素U_S1について探索位置画像２３２を用いて補正処理（第１段ループＡ）を実施する。

次に、境界補正部１６は、第２段階の補正処理として、未知画素U_S2（中灰色）に対応する未知画素列を参照し、すべての未知画素U_S2について探索位置画像２３３を用いて補正処理（第２段ループＡ）を実施する。次に、境界補正部１６は、第３段階の補正処理として、未知画素U_S3（濃灰色）に対応する未知画素列を参照し、すべての未知画素U_S3について探索位置画像２３４を用いて補正処理（第３段ループＡ）を実施する。第１段ループＡ、第２段ループＡおよび第３段ループＡの各処理は、図１１のループＡ（Ｓ３４〜Ｓ４３）と同様である。

図２８は、３段階の補正処理の各段階のラベル画像の例である。ラベル画像２４１は、図２７のラベル画像２３１であり、第１段ループＡが行われる前のラベル画像である。ラベル画像２４２は、第１段ループＡが行われた後のラベル画像であり、未知画素U_S1（薄灰色）は前景（白色）または背景（黒）のラベルに更新されている。ラベル画像２４３は、第２段ループＡが行われた後のラベル画像であり、未知画素U_S2（中灰色）は前景（白色）または背景（黒色）のラベルに更新されている。ラベル画像２４４は、第３段ループＡが行われた後のラベル画像であり、未知画素U_S3（濃灰色）は前景（白色）または背景（黒色）のラベルに更新されている。

このとき、第２段ループＡ（未知画素U_S2：中灰色）と、第３段ループＡ（未知画素U_S3：濃灰色）の補正処理については、探索位置の数が非常に少ない探索位置画像２３３、２３４がそれぞれ用いられる。このため、図１１のループＡの中のループＢ（Ｓ３８〜Ｓ４２）の比較計算の回数が非常に少ないものとなる。

すなわち、変形例１−１のように、未知画素を均等に２種類に分類し、２段階で補正処理を行う場合（図１７参照）は、総未知画素数の半分に該当する未知画素について、計算処理を非常に小さくすることができる。さらに、本変形例（図２７参照）のように、未知画素をU_S1：U_S2：U_S3＝１：１：２となるように分類し、未知画素U_S1、未知画素U_S2、未知画素U_S3の順番で３段階で補正を行う場合は、総未知画素数の４分の３に相当する未知画素U_S2、U_S3について、計算処理を非常に小さくすることができる。

＜第２の変形例＞
次に、上記実施形態の第２の変形例について説明する。

本変形例は、パラメータの自動制御に関するものである。ここでは、動画像を想定し、カラー画像がフレーム単位で連続的に画像処理部に入力されるものとする。

図２９は、本変形例の画像処理部１Ａの構成を示すブロック図である。図示する画像処理部１Ａは、パラメータ制御部２０および記憶部２１を備える点において、図２に示す画像処理部１と異なる。また、本実施形態の画像入力部１１は、カラー画像（フレーム）が入力された時刻をパラメータ制御部２０に出力する。また、本実施形態の画像出力部１９は、画像合成部１８から前景が入力された時刻を、パラメータ制御部２０に出力する。それ以外の各部１１〜１９については、図２の画像処理部１の各部１１〜１９と同様であるため、ここでは説明を省略する。

パラメータ制御部２０は、画像処理部１Ａにおいて、カラー画像から前景を抽出する処理時間が、所定の閾値（第３の閾値）を超えるか否かを判定し、判定結果に応じて、処理時間に影響を与える少なくとも１つのパラメータを制御する。具体的には、パラメータ制御部２０は、処理時間が所定の閾値以上の場合、当該処理時間を短縮する方向に少なくとも１つのパラメータの値を所定の変動幅で変更し、当該処理時間が所定の閾値未満の場合、当該処理時間を長くして抽出精度が向上する方向に少なくとも１つのパラメータの値を所定の変動幅で変更する。記憶部２１には、処理時間に影響を与える複数のパラメータに関する情報が、あらかじめ記憶される。

本変形例の画像処理部１Ａは、上記実施形態と同様に、動画像のフレームが画像として入力されるたびに、入力されたフレームの画像の中から前景（被写体）の領域を特定し、当該領域だけを残した画像を新たに作成し、抽出画像として出力する。本変形例では、パラメータ制御部２０は、この処理と並行して、画像処理部１Ａの各部がそれぞれ使用する各種パラメータの自動制御を行う。

図３０は、パラメータの自動制御処理を示すフローチャートである。パラメータ制御部２０は、フレームが入力される度に、ループＤの処理（Ｓ６１〜Ｓ６４）を行う。具体的には、以下のとおりである。

画像入力部１１は、フレームが入力されるたびに、入力された時刻をパラメータ制御部２０に送出する。また、画像出力部１９は、画像合成部１８から前景が入力された時刻をパラメータ制御部２０に送出する。パラメータ制御部２０は、画像出力部１９から送出された時刻から画像入力部１１から送出された時刻を減算することで、前景の抽出に要する処理時間を測定する（Ｓ６１）。すなわち、パラメータ制御部２０は、１フレームの画像処理に要する時間を、処理時間として測定する。この処理時間は、目標とするフレームレートで抽出画像を出力できているかを判定するためのものである。なお、本変形例では、上記処理時間を指標として用いるが、後述するように、これ以外の指標を用いてもよい。

次に、パラメータ制御部２０は、測定した処理時間が所定の閾値より大きい（閾値を上回る）か否かを判定する（Ｓ６２）。この閾値は、目標とするフレームレートに依存するもので、例えば、フレームレート 59.94 fps の動画像が入力され、リアルタイムに抽出画像を出力する場合であって、かつ、画像処理部１Ａにおいて動画像の入出力にかかる時間を無視する場合、閾値として16msec程度を設定する。

パラメータ制御部２０は、Ｓ６２の判定結果に応じて、処理時間に影響を与える所定のパラメータを自動的に制御する（Ｓ６３、Ｓ６４）。

図３１は、画像処理部１Ａが用いる各種パラメータのうち、処理時間に与える影響が大きいパラメータに関するパラメータ情報の例を示す。パラメータ情報は、記憶部２１にあらかじめ記憶されている。図示するパラメータ情報の例では、パラメータ毎に、単位、初期値、処理時間を短縮する場合の変動値（変動幅）、抽出精度を向上する場合の変動値、上限値、および、下限値が設定されている。

変動値は、現在のパラメータ値をどのように変更するか示すものであり、パラメータ値の減少または増加の変動幅、機能のｏｎ/ｏｆｆなどを示す。例えば、「ノイズ除去のフィルタサイズ」については、処理時間を短縮する場合は、現在のパラメータ値を「２」減少させ、抽出精度を向上する場合は、現在のパラメータ値を「２」増加させることを示している。また、「平滑化のフィルタ」については、処理時間を短縮する場合は、ｏｆｆに設定し、抽出精度を向上する場合は、ｏｎに設定することを示している。

また、図示するパラメータ情報では、パラメータとして、初期領域ノイズ除去部１３が使用する「ノイズ除去のフィルタサイズ」、探索位置設定部１７が使用する「探索位置の密度指標」、ラベル画像計算部１４が使用する「未知領域に置換する距離」、境界補正部１６が使用する「補正処理を終了する色距離の閾値」、画像合成部１８が使用する「平滑化のフィルタ」、画像出力部１９が使用する「出力の固定遅延」および「出力画素のバッファ数」が設定されている。

これらのパラメータは抽出の精度にも影響するため、処理時間を短縮する方向にパラメータを変更すると、抽出の精度が劣化する。逆に、処理時間を長くする方向にパラメータを変更すると、抽出の精度が改善する。

また、画像出力部１９の「出力の固定遅延」および「出力画素のバッファ数」は、フレームレートおよびフレームドロップ（コマ落ち）に影響するパラメータである。具体的には、「出力の固定遅延」の遅延時間を短縮すると、フレームレートは向上するが、フレームドロップが発生しやすくなる。一方、「出力の固定遅延」の遅延時間を長くすると、フレームレートは低下するが、フレームドロップを回避しやすくなる。同様に、「出力画素のバッファ数」を減少すると、フレームレートは向上するが、フレームドロップが発生しやすくなる。一方、「出力画素のバッファ数」を増加すると、フレームレートは低下するが、フレームドロップを回避しやすくなる。

処理時間が閾値より大きい場合（Ｓ６２：ＹＥＳ）、パラメータ制御部２０は、記憶部２１に記憶されたパラメータの少なくとも１つを、処理時間を短縮する方向に変更する（Ｓ６３）。具体的には、現在使用しているパラメータ値を、処理時間を短縮する方向の変動値で変更し、制御する。一方、処理時間が閾値以下の場合（Ｓ６２：ＮＯ）、記憶部２１に記憶されたパラメータの少なくとも１つを、抽出精度を向上またはフレームドロップを防止する方向に変更する（Ｓ６４）。この場合、基本的に処理時間は長くなる。

なお、図３１に示す各パラメータに変更レベルをあらかじめ設定し、パラメータ制御部２０は、変更レベルの低いパラメータから順に、上限値または下限値になるまで、当該パラメータの値を変更するものとしてもよい。例えば、「ノイズ除去のフィルタサイズ」については、精度への影響が大きいため、変更レベルを高く設定する。また、「補正処理を終了する色距離の閾値」については、精度への影響が小さく、一方で処理時間には大きく影響するため、変更レベルを低く設定する。この場合、パラメータ制御部２０は、最初に、変更レベルの最も低いパラメータの制御を行い、当該パラメータが上限値または下限値になった場合、次に変更レベルが低いパラメータを制御する。

また、パラメータ制御部２０が行うパラメータの変更は、画像処理部１Ａに次のフレームが入力されたときから反映される。なお、パラメータの自動制御を有効にしたときの、図３１に示す複数の各パラメータの値の初期値を保持しておき、処理時間が閾値を上回った場合には、少なくとも１つのパラメータについて処理時間を短縮する方向に変更し、処理時間が閾値を下回った場合には、各パラメータを元の値の初期値に戻すように制御してもよい。

以上説明した本変形例では、処理時間と抽出精度に影響を与えるパラメータを事前に選定し、増減方向を決めておき、目標の処理時間（所定の閾値）に達するまで各パラメータを自動的に変更して制御することにより、目標とするフレームレートを実現するパラメータの値を見つけるまでの操作量を削減することができる。さらに、本変形例では、複数のフレームの画像を処理している途中で、処理時間に影響するような画像内容の変化が発生しても、目標とするフレームレートを維持することが容易になる。

本変形例では、特にリアルタイムでの前景抽出を想定しており、前景抽出の精度が高く、かつ、その処理時間が短いアルゴリズムを実現する必要がある。しかし、抽出精度と処理時間とはトレードオフの関係にあることが多く、本変形例では精度への影響を抑えつつ、処理時間を短くするためのものである。「精度はできるだけ高く保ちつつ、できるだけフレームレートを向上させたい」という操作は熟練した操作者でないと難しいため、これを自動的に制御することで、容易な操作を実現することができる。

なお、本変形例では、上記処理時間を指標として用いるが、これ以外の指標を用いてもよい。例えば、画像出力部１９の出力の固定遅延を考慮した、画像入力部１１にフレームが入力した時刻から、画像出力部１９が抽出画像を出力する時刻までの時間（フレームレート）を指標として用いてもよい。この場合、画像出力部１９は、抽出画像を出力した時刻を、パラメータ制御部２０に送出する。

また、画像出力部１９が抽出画像のバッファを設ける場合は、バッファしている抽出画像のバッファ数を指標として用いることとしてもよい。バッファ数を指標とする場合は、画像出力部１９は、バッファ数をパラメータ制御部２０に通知し、パラメータ制御部２０は、通知されたバッファ数が所定の閾値を超えるか否かに応じて、処理時間を短縮する方向、または、抽出精度を向上する方向にパラメータを制御する。

以上説明した第１の変形例および第２の変形例を組み合わせることとしてもよい。

１ ：画像処理部
１１：画像入力部
１２：初期領域計算部
１３：初期領域ノイズ除去部
１４：ラベル画像計算部
１５：背景画像取得部
１６：境界補正部
１７：探索位置設定部
１８：画像合成部
１９：画像出力部
２ ：カメラ部
３ ：センサ部
４ ：操作インタフェース部
５ ：出力部

Claims (18)

1. カラー画像から前景を抽出する画像処理装置であって、
   前記カラー画像と、前景をセンシングした結果であるセンサ画像とを入力する入力部と、
   前記カラー画像の中から、前景が含まれていない背景画像を取得する背景画像取得部と、
   前記センサ画像に基づいて、前景と、背景と、背景と前景との境界部分である未知とのラベルをもつラベル画像を生成するラベル画像計算部と、
   前記ラベル画像のうち、未知のラベルをもつ未知画素の各々について、前記カラー画像と前記背景画像とを用いて、前記未知画素のラベルを背景または前景に補正する境界補正部と、
   補正後のラベル画像を用いて、前記カラー画像から前景を抽出する画像合成部と、を備え、
   前記境界補正部は、前記未知画素と同じ位置における前記カラー画像のカラー画素と、前記背景画像の背景画素との第１の色距離を算出し、第１の色距離が第１の閾値以下の場合は、当該未知画素のラベルを背景に更新すること
   を特徴とする画像処理装置。
2. 請求項１記載の画像処理装置であって、
   前記境界補正部は、前記第１の色距離が第１の閾値より大きい場合は、前記未知画素と同じ位置における前記カラー画像のカラー画素と、当該カラー画素の周辺の未知画素以外の参照画素との第２の色距離を算出し、第２の色距離が第２の閾値以下の場合は、前記参照画素と同じラベルで前記未知画素のラベルを補正すること
   を特徴とする画像処理装置。
3. 請求項２記載の画像処理装置であって、
   前記ラベル画像計算部は、背景と前景の境界からの距離に応じて、複数の種類の未知のラベルを設定し、
   前記境界補正部は、前記各未知画素のラベルの種類に応じて、第２の色距離を算出する際に参照する複数の前記参照画素の位置を示す探索位置を変更すること
   を特徴とする画像処理装置。
4. 請求項３記載の画像処理装置であって、
   前記境界補正部は、前記探索位置に含まれる複数の参照画素の位置を、前記未知画素と同じ位置の前記カラー画素から近い順に並べ替えた探索位置列を生成すること
   を特徴とする画像処理装置。
5. 請求項４記載の画像処理装置であって、
   前記境界補正部は、前記探索位置列の順番で、前記参照画素との第２の色距離を算出し、第２の色距離が第２の閾値以下になった時点で、当該参照画素と同じラベルで前記未知画素のラベルを補正すること
   を特徴とする画像処理装置。
6. 請求項１から５のいずれか１項に記載の画像処理装置であって、
   前記境界補正部は、前記未知画素の補正後のラベルに、補正前は未知画素であったこと示すフラグを設定し、
   前記画像合成部は、前記フラグの有無に応じたラベル画像の平滑化処理を行い、平滑化後のラベル画像を用いて、前記カラー画像から前景を抽出すること
   を特徴とする画像処理装置。
7. 画像処理装置が行う、カラー画像から前景を抽出する画像処理方法であって、
   前記カラー画像と、前景をセンシングした結果であるセンサ画像とを入力する入力ステップと、
   前記カラー画像の中から、前景が含まれていない背景画像を取得する取得ステップと、
   前記センサ画像に基づいて、前景と、背景と、背景と前景との境界部分である未知とのラベルをもつラベル画像を生成するラベル画像生成ステップと、
   前記ラベル画像のうち、未知のラベルをもつ未知画素の各々について、前記カラー画像と前記背景画像とを用いて、前記未知画素のラベルを背景または前景に補正する補正ステップと、
   補正後のラベル画像を用いて、前記カラー画像から前景を抽出する抽出ステップと、を行い、
   前記補正ステップは、前記未知画素と同じ位置における前記カラー画像のカラー画素と、前記背景画像の背景画素との第１の色距離を算出し、第１の色距離が第１の閾値以下の場合は、当該未知画素のラベルを背景に更新すること
   を特徴とする画像処理方法。
8. 請求項１から６のいずれか１項に記載の画像処理装置として、コンピュータを機能させることを特徴とする画像処理プログラム。
9. 請求項１記載の画像処理装置であって、
   前記ラベル画像計算部は、複数の種類の未知のラベルを設定し、
   前記境界補正部は、未知のラベルをもつ未知画素の各々について、未知画素の種類ごとに複数の段階で各未知画素のラベルを背景または前景に補正し、補正済みの種類のラベルの補正結果を用いて、次の種類の未知画素のラベルを補正すること
   を特徴とする画像処理装置。
10. 請求項９記載の画像処理装置であって、
    前記ラベル画像計算部は、前記未知画素からなる未知領域において、各未知画素の周囲の４つの画素の少なくとも１つが、異なる種類の未知画素となるように、前記各未知画素のラベルを設定すること
    を特徴とする画像処理装置。
11. 請求項９または１０記載の画像処理装置であって、
    前記ラベル画像計算部は、前記未知画素からなる未知領域において、前記複数の種類のラベルの未知画素が市松模様となるように前記未知画素のラベルを設定すること
    を特徴とする画像処理装置。
12. 請求項９から１１のいずれか１項に記載の画像処理装置であって、
    前記境界補正部は、
    前記第１の色距離が第１の閾値より大きい場合は、前記未知画素と同じ位置における前記カラー画像のカラー画素と、当該カラー画素の周辺の未知画素以外の参照画素との第２の色距離を算出し、第２の色距離が第２の閾値以下の場合は、前記参照画素と同じラベルで前記未知画素のラベルを補正し、
    前記各未知画素のラベルの種類に応じて、第２の色距離を算出する際に参照する複数の参照画素の位置を示す探索位置を変更すること
    を特徴とする画像処理装置。
13. 請求項１２記載の画像処理装置であって、
    第２段階目以降に補正を行う未知画素用の前記探索位置の参照画素は、各未知画素の周囲の画素であること
    を特徴とする画像処理装置。
14. 請求項１および９から１３のいずれか１項に記載の画像処理装置であって、
    前記カラー画像から前景を抽出する処理時間が、第３の閾値を超えるか否かを判定し、判定結果に応じて、前記処理時間に影響を与える少なくとも１つのパラメータを制御する制御部を、さらに有すること
    を特徴とする画像処理装置。
15. 請求項１４記載の画像処理装置であって、
    前記パラメータ毎の変動幅を記憶する記憶部を、さらに備え、
    前記制御部は、前記処理時間が第３の閾値以上の場合、前記処理時間を短縮する方向に前記少なくとも１つのパラメータの値を前記変動幅で変更し、前記処理時間が第３の閾値未満の場合、前記処理時間を長くして抽出精度が向上する方向に前記少なくとも１つのパラメータの値を前記変動幅で変更すること
    を特徴とする画像処理装置。
16. 請求項７記載の画像処理方法であって、
    前記ラベル画像生成ステップは、複数の種類の未知のラベルを設定し、
    前記補正ステップは、未知のラベルをもつ未知画素の各々について、未知画素の種類ごとに複数の段階で各未知画素のラベルを背景または前景に補正し、補正済みの種類のラベルの補正結果を用いて、次の種類の未知画素のラベルを補正すること
    を特徴とする画像処理方法。
17. 請求項７または１６記載の画像処理方法であって、
    前記カラー画像から前景を抽出する処理時間が、第３の閾値を超えるか否かを判定し、判定結果に応じて、前記処理時間と抽出精度に影響を与える少なくとも１つのパラメータを制御する制御ステップを、さらに行うこと
    を特徴とする画像処理方法。
18. 請求項９から１５のいずれか１項に記載の画像処理装置として、コンピュータを機能させることを特徴とする画像処理プログラム。