JP2016001404A - 画像処理方法、画像処理装置およびコンピュータプログラム - Google Patents

Abstract

【課題】ステレオ画像のように視差のある複数の画像に対する領域分割結果を概略同様にする。【解決手段】画素の位置関係と画素の特徴量の関係とに基づいて画像を複数の画素からなる領域に分割する画像分割処理を、互いに視差のある同一シーンに対応する複数の画像に対して行う画像処理方法であって、前記互いに視差のある同一シーンに対応する複数の画像の１つである第一の画像に対し、前記画像分割処理を施して第一の画像に対する画像分割情報を出力する第一の画像分割処理工程と、前記互いに視差のある同一シーンに対応する複数の画像の１つであって、前記第一の画像とは異なる第二の画像に対し、前記第一の画像分割処理工程が出力した第一の画像に対する画像分割情報を参照し、前記画像分割処理を施す第二の画像分割処理工程とを有する。【選択図】 図３

Description

本発明は、画像処理方法、画像処理装置およびコンピュータプログラムに関する。
特に、画素の特徴に応じ該特徴が類似する画素をグループ化することで画像を領域に切り分ける領域分割処理を、ステレオ画像等の同一シーンを撮影した複数の画像に対して行う画像処理方法等に関する。

近年、ステレオカメラもしくはステレオビデオカメラに注目が集まっている。
ステレオカメラ／ビデオは、従来の１視点からなる写真／動画に対し、複数視点から撮影することにより視差を得、被写体との間の距離、また被写体の形状等の情報を得ることができる。

しかしながら、ステレオカメラが撮影する画像の視差より距離の情報を得る（距離推定処理）ためには非常に多くの計算を要するので、これを如何に削減するかという課題が残る。

一方、色やテクスチャ等の類似性に応じて、画像を複数の領域に分割する、領域分割処理という技術がある。これにより、画素単位で距離推定処理を行うのではなく、領域分割した領域単位で距離推定処理を行うように構成すると、計算量を削減することが期待できる。

［領域分割処理］
画像を色や模様、明るさ等の属性が同じになるように複数の領域に分割する技術として領域分割（Segmentation）手法が用いられる。これら分割された領域は、その後、領域単位で符号化処理、領域の認識が行えるため画素レベルで画像を処理する場合に比べ処理量を削減することができる。近年、組み込み機器で高解像度の画像に対して画像処理を行うケースは増えてきており、領域分割後の領域単位で処理することで、組み込み機器でも高解像度の画像に対してリアルタイムで複雑な処理ができるようになると考えられる。

リアルタイムな領域分割処理を実現するためにいくつかの手法が提案されている。その中で、色空間（Ｒ，Ｇ，Ｂ）と座標空間（Ｘ，Ｙ）の５次元の情報を用いて画素データをクラスタリングすることで画像を領域に分ける手法として、非特許文献１がある。非特許文献１の手法は、Simple Linear Iterative Clustering（ＳＬＩＣ）と呼ばれる。ＳＬＩＣ手法では、はじめに、クラスタの中心となる代表点を画像中に格子状に配置する。ＳＬＩＣ手法での代表点は色空間（Ｒ，Ｇ，Ｂ）と座標空間（Ｘ，Ｙ）の５次元の情報を持つ。代表点はシードやクラスタ中心（cluster centroid）とも呼ばれる。ＳＬＩＣ手法におけるクラスタリングは、ｋ−ｍｅａｎｓ法をベースとしており、各画素を格子状に配置した代表点にクラスタリングする。ＳＬＩＣ手法の特徴は代表点にクラスタリングする座標空間を所定範囲に限定している点である。代表点にクラスタリングされた画素の集合が分割された領域となる。この分割された領域をＳｕｐｅｒｐｉｘｅｌと呼ぶ。この手法は繰り返し処理があるものの画像サイズに比例した少ない演算量で処理できる特徴を持つ。

また、非特許文献１の手法をＧＰＵで実装し、高速化を実現した手法として非特許文献２がある。非特許文献２の手法ではＧＰＵで高速処理を実現するために階層クラスタリング方式（Hierarchical clustering scheme）を使っている。これにより高解像度画像のリアルタイムな領域分割処理を実現している。

R. Achanta, et al. " SLIC Superpixels," tech. rep., EPFL, EPFL, 2010. C.Y. Ren, et al. "gSLIC: a real-time implementation of SLIC superpixel segmentation", University of Oxford, Department of Engineering, Technical Report, 2011.

Ｓｕｐｅｒｐｉｘｅｌ処理をステレオ画像に適用した場合、複数視点画像が持つ各Ｓｕｐｅｒｐｉｘｅｌ間の対応関係をどうやって決定するか、という課題がある。
これは、Ｓｕｐｅｒｐｉｘｅｌ手法の多くは、実際に人間がそうと認識する領域よりも細かい領域に分割した結果（過分割状態）を生成する。また、どのように（過）分割するか、ということに対して、Ｓｕｐｅｒｐｉｘｅｌ手法自体が規定していない。

したがって、同じシーンを概略同じ方向から撮影したステレオ画像の対自体は画像として似ているものの、それぞれのＳｕｐｅｒｐｉｘｅｌ処理結果の分割結果が似ていない場合がある。この場合、左右視点画像のＳｕｐｅｒｐｉｘｅｌ間の対応づけが困難になるという課題がある。

本発明は、こうした従来技術における課題に鑑みてなされたものであり、ステレオ画像のように、視差のある複数の画像に対する領域分割結果を概略同様にすることができる画像処理方法等を提供することを目的とする。

本発明の画像処理方法は、は以下の構成をとる。
すなわち、この画像処理方法は、画素の位置関係と画素の特徴量の関係とに基づいて画像を複数の画素からなる領域に分割する画像分割処理を、互いに視差のある同一シーンに対応する複数の画像に対して行う画像処理方法である。また、この画像処理方法は、前記互いに視差のある同一シーンに対応する複数の画像の１つである第一の画像に対し、前記画像分割処理を施して第一の画像に対する画像分割情報を出力する第一の画像分割処理工程を有している。さらに、互いに視差のある同一シーンに対応する複数の画像の１つであって、前記第一の画像とは異なる第二の画像に対し、前記第一の画像分割処理工程が出力した第一の画像に対する画像分割情報を参照し、前記画像分割処理を施す第二の画像分割処理工程を有する。

本発明によれば、互いに視差のある同一シーンを撮影した複数の画像に対してＳｕｐｅｒｐｉｘｅｌ処理を行う場合に、概略同様なＳｕｐｅｒｐｉｘｅｌ処理結果（各視点画像の領域分割結果）が得られる。言いかえれば、画像中の視差のない部分を中心に、複数の画像のＳｕｐｅｒｐｉｘｅｌの処理結果が概略同様になる。このことにより、各画像のＳｕｐｅｒｐｉｘｅｌ間の対応が容易にとれるようになり、Ｓｕｐｅｒｐｉｘｅｌ単位での処理を構成し易くなる（例えば、Ｓｕｐｅｒｐｉｘｅｌ単位で、被写体との距離推定を行う等）。

本発明の画像処理方法を実現する実施形態１のデータ処理装置の構成例を示すブロック図である。 Ｓｕｐｅｒｐｉｘｅｌ処理の流れを示すフローチャートである。 本実施形態におけるデータの流れを示すデータフロー図である。 ステレオ画像の例を示す図である。 ステレオ画像に対し、独立にＳｕｐｅｒｐｉｘｅｌ処理の初期化をした状態を示す図である。 ステレオ画像に対し、本実施形態によるＳｕｐｅｒｐｉｘｅｌ処理の初期化状態例を示す図である。 ステレオ画像に対し、本実施形態によるＳｕｐｅｒｐｉｘｅｌ処理を行った結果の代表点の状態の例を示す図である。

［実施形態１］
以下、本発明の実施形態を、図面を参照して詳細に説明する。
＜画像処理装置の構成＞
図１は、本発明による画像処理方法を実現可能なデータ処理装置（画像処理装置）の構成例を示すブロック図である。
データ入力部１０１ａ、１０１ｂは、画像データを入力する部分であり、公知のＣＣＤやＣＭＯＳ等のセンサー装置を備えている。本実施形態では、データ入力部１０１ａと１０１ｂは、それぞれ互いに視差のある画像を入力する。データ入力部１０１ａ、１０１ｂより入力したデータは、後述するＲＡＭ１０６や、あるいはデータ保存部１０２に格納される。

データ保存部１０２は、画像データを保持する部分であり、通常はハードディスク、ＳＳＤ、フレキシブルディスク、ＣＤ−ＲＯＭ、ＣＤ−Ｒ、ＤＶＤ、Ｂｌｕ−ｒａｙ（登録商標）、メモリーカード、ＣＦカード、スマートメディア、ＳＤカード、メモリスティック、ｘＤピクチャーカード、ＵＳＢメモリ等で構成される。データ保存部１０２には、画像データの他に、プログラムやその他のデータを保存することも可能である。あるいは、後述するＲＡＭ１０６の一部を、データ保存部１０２として用いてもよい。また、後述する通信部１０７により接続した機器の記憶装置を、データ保存部１０２として利用するというように仮想的に構成してもよい。

表示部１０３は、画像処理前、画像処理後の画像を表示、あるいはＧＵＩ等の画像を表示する装置で、一般的にはＣＲＴや液晶ディスプレイ等が用いられる。あるいは、ケーブル等で接続された装置外部のディスプレイ装置であっても構わない。

入力部１０８は、ユーザからの指示や、データを入力する装置で、キーボードやポインティング装置を含む。なお、ポインティング装置としては、マウス、トラックボール、トラックパッド、タブレット等が挙げられる。あるいは、例えば公知のデジタルカメラ装置やプリンタ等の機器に本実施形態のデータ処理装置を適用する場合には、ボタンやダイヤル等を入力部１０８としてもよい。また、キーボードをソフトウェアで構成（ソフトウェアキーボード）し、ボタンやダイヤル、あるいは、先に挙げたポインティングデバイスを操作して、文字等を入力するようにしてもよい。

また、公知のタッチスクリーン装置のように、表示部１０３と入力部１０８が同一装置であってもよい。その場合、タッチスクリーンによる入力を入力部１０８の入力として扱うようにしてもよい。あるいは、公知のジェスチャー認識処理によりユーザの指示を受け取るよう構成する場合、入力部１０８は可視光線あるいは赤外線による画像を入力する入力装置と、その画像からユーザの動作を認識してコマンドに変換する装置から構成してもよい。

前者の場合、入力装置はデータ入力部１０１ａ、１０１ｂのいずれか（もしくは両方）が兼ねるのであってもよい。後者の場合、コマンドに変換する装置は図１の構成に専用の回路を追加して構成するか、あるいは後述するＣＰＵ１０４上で動作するソフトウェア等で構成すればよい。動作の認識方式は公知のものでよい。

ＣＰＵ１０４は、上述した各構成の処理の全てに関わる。ＲＯＭ１０５とＲＡＭ１０６は、その処理に必要なプログラム（コンピュータプログラム）、データ、作業領域等をＣＰＵ１０４に提供する。また、後述する処理に必要な制御プログラムがデータ保存部１０２に格納されている場合や、ＲＯＭ１０５に格納されている場合には、一旦ＲＡＭ１０６に読み込まれてから実行される。あるいは、通信部１０７を経由して装置がプログラムを受信する場合には、一度データ保存部１０２に記録した後にＲＡＭ１０６に読み込まれるか、直接通信部１０７からＲＡＭ１０６に直接読み込まれてから実行される。

画像処理部１０９は、画像処理を行う回路であり、本発明による画像処理方法を実現する回路を含む。なお、本実施形態では通常の回路により構成する例を示すが、公知のＦＰＧＡやＤＳＰ等の汎用の回路で構成するようにしてもよい。あるいは、公知のＣＰＵやＧＰＵとそれを制御するソフトウェアで構成するようにしてもよい。

なお、図１においては、ＣＰＵが１つ（ＣＰＵ１０４）だけである構成だが、これを複数設けるような構成にしてもよい。

通信部１０７は、機器間の通信を行うためのインタフェース（Ｉ／Ｆ）である。これは例えば、公知の有線ネットワーク、ＵＳＢ、ＩＥＥＥ１２８４、ＩＥＥＥ１３９４、電話回線等の有線による通信方式であってもよいし、あるいは赤外線（ＩｒＤＡ）、ＩＥＥＥ８０２．１１ａ、ＩＥＥＥ８０２．１１ｂ、ＩＥＥＥ８０２．１１ｇ、ＩＥＥＥ８０２．１１ｎ、ＩＥＥＥ８０２．１１ａｃ、Ｂｌｕｅｔｏｏｔｈ（登録商標）、ＵＷＢ（Ｕｌｔｒａ Ｗｉｄｅ Ｂａｎｄ）、無線電話回線、ＮＦＣ等の無線通信方式であってもよい。

画像処理部（第一の画像分割処理部、第二の画像分割処理部）１０９は、本実施形態による画像処理を行う処理部である。この部分の処理の詳細は後述する。

なお、図１ではデータ入力部１０１ａ、１０１ｂ、データ保存部１０２、表示部１０３、入力部１０８が全て１つの装置内に含まれるような図を示している。しかし、これらの部分が別々の機器内にあり、機器同士が公知の通信方式による通信路で接続され、全体として図１と同様の構成となるようにしてもよい。
データ処理装置のシステム構成については、上記以外にも様々な構成要素の追加等が考えられるが、本発明の主眼ではないので、詳細な説明は省略する。

＜Ｓｕｐｅｒｐｉｘｅｌ処理 画像分割処理＞
以下、このように構成されたデー処理装置の動作について説明する。まず、Ｓｕｐｅｒｐｉｘｅｌ処理（画像分割処理）について説明する。
この実施形態では、Ｓｕｐｅｒｐｉｘｅｌ処理として、各画素が属する分割領域を決定する処理を全分割領域のサブセットに対して行い、各画素の画像中での位置によって全分割領域のサブセットを決定する手法の一例である公知のＳＬＩＣ手法を用いている。
図２のフローチャートに基づいて、ＳＬＩＣ手法（ＳＬＩＣアルゴリズム）による処理の流れを説明する。

ＳＬＩＣ手法では、はじめに、ステップＳ２０１で代表点の初期化を行う。代表点（代表画素）は色空間（Ｒ，Ｇ，Ｂ）と座標空間（Ｘ，Ｙ）の５次元の情報（画像分割情報）を持つ。代表点の初期化は、例えば入力画像に代表点を縦と横に間隔Ｓで格子状に配置し、座標空間（Ｘ，Ｙ）の情報を設定し、その座標に対応する入力画像の画素値で色空間（Ｒ，Ｇ，Ｂ）の情報を初期化するよう構成すればよい。あるいは、座標に対応する画素だけではなく、その近傍の画素も参照して決定するように構成してもよい。またあるいは、処理外部から初期値として座標空間（Ｘ，Ｙ）の情報、色空間（Ｒ，Ｇ，Ｂ）の情報を与えるよう構成することも可能である。その場合、Ｓ２０１ではＲＡＭ１０６やデータ保存部１０２等に格納されている代表点情報を読み込む処理を行う。

次に、ステップＳ２０２でクラスタリングを行う。クラスタリングでは代表点を中心に所定範囲の領域の画素との距離Ｄ_Ｓを計算する。非特許文献１ではＣＩＥ Ｌ＊ａ＊ｂ＊色空間が使われているがここではＲＧＢ色空間で説明する。ｋ番目の代表点の色空間（Ｒ，Ｇ，Ｂ）は（ｒ_ｋ，ｇ_ｋ，ｂ_ｋ）、座標空間（Ｘ，Ｙ）は（ｘ_ｋ，ｙ_ｋ）とする。ｋは間隔Ｓで配置した代表点の数をＫとした時、０からＫ−１までの値をとる。ｉ番目の画素の色空間（Ｒ，Ｇ，Ｂ）は（ｒ_ｉ，ｇ_ｉ，ｂ_ｉ）、座標空間（Ｘ，Ｙ）は（ｘ_ｉ，ｙ_ｉ）とする。ｉは入力画像内の画素位置を表すインデックスである。距離Ｄ_Ｓの計算式を式１に示す。

式１において、ｍは係数であり、係数ｍを間隔Ｓで除算した値を、色空間に加算する座標空間のユークリッド距離に乗じる重みのパラメータとする。式１でインデックス（ｉ）が０からＫ−１番目の代表点において、これらに対応する画素と距離計算を行い、各画素において距離が最も近い代表点を選択する。選択された代表点のインデックスをラベル値としてラベルマップを出力する。以上がステップＳ２０２の処理である。

次に、ステップＳ２０３において、代表点の更新が行われる。この代表点の更新では、各代表点に属する画素から色平均（色の類似性）と平均座標が計算される。代表点が持つ色空間（Ｒ，Ｇ，Ｂ）には、各Ｓｕｐｅｒｐｉｘｅｌに属する画素の色平均、そして座標空間（Ｘ，Ｙ）には、各Ｓｕｐｅｒｐｉｘｅｌに属する画素の集合の平均座標が格納される。

なお、本例では代表点の特徴を計算するのに単純な平均を用いているが、この他になんらかの尺度で重みづけ平均により算出したり、あるいは最頻値、中央値等、他の方法で求めたりしても構わない。

次に、ステップＳ２０４において、クラスタリング（画像分割処理）が収束したかどうかをチェックする。収束したかどうかは、例えば更新前の代表点と更新後の代表点とのユークリッド距離が所定の閾値以下かどうかで判定できる。ここでは、代表点間のユークリッド距離は座標空間の情報から計算する。

本実施形態の収束判定の距離計算は、他に色空間のユークリッド距離のみ計算してもよいし、座標空間と色空間を合わせたユークリッド距離で計算してもよい。また、距離計算はユークリッド距離に限らず例えばユークリッド距離の２乗、あるいはマンハッタン距離等で計算してもよい。

なお、以上では、簡便な方法として、ＲＧＢ色空間のデータを用いた例を説明したが、他の色空間を用いても構わない。例えば、 ＣＩＥ Ｌ＊ａ＊ｂ＊のような均等色空間を用いるように構成するならば、色空間の距離は色差となる。

また、収束の判定に距離を使うことに限らず、繰り返し回数を３回〜１０回等の固定回数とするようにしてもよい。これは、固定回数の繰り返しで十分な収束が見込める場合に適用することができる。

ステップＳ２０４で収束していないと判断された場合は、Ｎｏのフローを通り、ステップＳ２０２のクラスタリングからの処理を繰り返す。ステップＳ２０４で収束したと判断された場合はＹｅｓのフローを通ってＳｕｐｅｒｐｉｘｅｌ生成を終了する。これにより、クラスタリングからの処理が１回以上反復して実行される。

図４は、同一シーンに対応する画像、例えばステレオ画像の例を示す図である。
図４の４０１と４１１は、それぞれ同一シーンに対応する左目画像と右目画像に相当する。画像４０１と画像４１１には、円形オブジェクト４０２あるいは４１２、三角形オブジェクト４０３あるいは４１３がキャプチャーされている。図４の例は、例えば、円形のオブジェクトは撮影位置から比較的近くに存在したので、円形オブジェクト４０２と円形オブジェクト４１２は視差（ｄ）がついている。一方、比較的遠くにあり、三角形オブジェクト４０３と４１３には視差が（ほとんど）ない。

＜独立してＳｕｐｅｒｐｉｘｅｌ処理を行う場合＞
まず、図４のステレオ画像に対し、従来のように画像４０１と画像４１１に対してそれぞれ独立にＳｕｐｅｒｐｉｘｅｌ処理を行うことを考えてみる。
図５は、図４の画像４０１、画像４１１に対し、独立にＳｕｐｅｒｐｉｘｅｌ処理の初期化した状態を示す図である。なお、図５において、図４と同じものについては同じ符号を付与し説明を省略する。

図２のステップＳ２０１の説明で述べたように、均等に間隔Ｓで格子状に、画像４０１に対しては代表点（代表画素情報）５０１０〜５０５７を、画像４１１に対しては代表点（代表画素情報）５１１０〜５１５７を配置して初期化を行う。

画像４０１と画像４１１が画角、解像度が概略同等（通常のステレオ画像は概略同等である）であり、また、分割数が同じであれば、代表点５０１０と代表点５１１０の、それぞれの画像内での相対位置は同じである。他の代表点についても同様なので、代表点５０１０〜５０５７と代表点５１１０〜５１５７は対応づけて考えることができる。
しかしながら、先に述べたように、図４または図５の例においては、円形オブジェクト４０２と円形オブジェクト４１２には視差があるので、代表点との位置関係が異なっている。

説明の単純化のため、以下、画像４０１と画像４１１は円形オブジェクト４０２および円形オブジェクト４１２の視差による位置の違い以外は差異がないものとして説明する。

例えば、画像４０１の代表点５０３３は、円形オブジェクトの４０２の外にあるのに対し、それに対応する画像４１１の代表点５１３３は円形オブジェクト４１２の内側に位置する。したがって、画像４０１の代表点５０３３の色空間情報は背景を構成する画素の色に近いものになり、画像４１１のＳｕｐｅｒｐｉｘｅｌ処理においては代表点５１３３の色空間情報は円形オブジェクト４１２を構成する画素の色に近いものになる。

その場合、画像４０１の代表点５０３３が含まれる矩形の中にある画素の大半（円形オブジェクト４０２を構成する画素以外の画素）は代表点５０３３と同じインデックスが付与される（代表点５０３３に対応するクラスタに属する）。

一方、画像４１１の代表点５１３３が含まれる矩形の中にある画素の大半は、円形オブジェクト４１２を構成する画素であり、これらは代表点５１３３と同じインデックスが付与される（代表点５１３３に対応するクラスタに属する）。

この時、画像４１１の代表点５１３３が含まれる矩形の中にある画素のうち、円形オブジェクト４１２の上にない画素は、周囲の代表点５１２３、５１２４、５１３４、５１４４、５１４３に対応するクラスタに属することになる。

簡単化のため、図４および図５では背景を描いていないが、実際には背景部分の画素も何らかの色情報を持っている。したがって、上記のように背景画像が周囲のクラスタに加わることで、画像４１１の代表点５１２３、５１２４、５１３４、５１４４のクラスタの色情報や空間情報が、対応する画像４０１の代表点５０２３、５０２４、５０３４、５０４４と異なる場合がある。

これは、各代表点が、最終的に形成されるべきクラスタと無関係な初期状態にあることに由来する。この後、図２で説明した反復処理を行うことにより、代表点近傍の各画素の色情報、配置、また他のクラスタとの関係による影響を受けて代表点情報を更新していくので、周囲の状況依存で結果が大きく変わるためである。したがって、先に述べたように、これらの代表点が割り当てられた矩形領域が画像４０１と４１１とで互いにほぼ同じであっても、代表点５０３３、５１３３のクラスタ情報に差ができることは、次々と隣接する代表点に影響を与える。加えて、その影響は、さらにその周囲の代表点情報に再帰的に影響を与え、最終的に画像４０１と４１１とでＳｕｐｅｒｐｉｘｅｌ処理の結果（画像分割情報）が大きく異なる場合がある。これは、画像４０１と画像４１１とで、人間が認識する画像としてはほぼ同じ部分（例えば視差のない画像右半分）のＳｕｐｅｒｐｉｘｅｌ処理結果が異なる場合があるということになる。

＜第１の画像のＳｕｐｅｒｐｉｘｅｌ処理結果を利用する場合 第２の画像の初期化＞
このため、以下では、まず、画像４０１、画像４１１のいずれかに対して、Ｓｕｐｅｒｐｉｘｅｌ処理（第１の画像分割処理工程）を行い、得られた代表点情報を、もう一方の画像のＳｕｐｅｒｐｉｘｅｌ処理（第二の画像分割処理工程）で参照して代表点の初期化を行う。これにより、画像４０１と画像４１１とで、視差の無い部分について概略同等なＳｕｐｅｒｐｉｘｅｌ処理結果が得られるようになる。このため、後のＳｕｐｅｒｐｉｘｅｌ処理における反復処理の収束を高速化させることができ、処理時間、消費電力を改善することができる。

図６は、この処理を説明する図である。なお、図６において、図４、図５と同じものについては、同じ符号を付与し説明を省略する。
図６中の画像４０１は、図５の画像４０１の状態に対し、Ｓｕｐｅｒｐｉｘｅｌ処理を行った結果の例を示している。図５で示した初期状態の代表点に対し、空間情報が更新された代表点の状態を表している。図５の代表点の位置からの変位を、図６中では矢印で示している。

図６中の画像４１１は、画像４０１の代表点情報（画像分割情報）を用いて、画像４１１のＳｕｐｅｒｐｉｘｅｌ処理の初期化を行った状態を示している。図６中の代表点５１１０〜５１５７は、対応する図６の代表点５０１０〜５０５７の位置情報（座標情報）を使っている。また、この時、各代表点の色情報も５０１０〜５０５７から受け継ぐようにする。

＜第１の画像のＳｕｐｅｒｐｉｘｅｌ処理結果を利用する場合 第２の画像のＳｕｐｅｒｐｉｘｅｌ処理＞
図７は、図６に示すように初期化された画像４１１に対し、Ｓｕｐｅｒｐｉｘｅｌ処理を行った結果の例を示す図である。なお、図７において、図４〜図６と同じものについては、同じ符号を付与し説明を省略する。特に、図７において画像４０１は画像４１１との対比のために示したもので、図６の画像４０１と同じなので、詳細な説明は省略する。

図７中の画像４１１において、初期化終了時の図６の状態に比べて移動した代表点は、視差のある円形オブジェクト４１２の近辺の代表点だけにとどまっている。

先に述べた画像４０１と画像４１１とを独立に初期化した場合との違いは、図７に示すように画像４０１のＳｕｐｅｒｐｉｘｅｌ処理結果の代表点情報を参照している点である。したがって、視差のない部分（例えば画像４１１の右半分）については、すでに概略同等の画像である画像４０１のＳｕｐｅｒｐｉｘｅｌ処理で収束状態になった代表点である。このため、画像４１１を独立に初期化した場合に比べ、初期代表点は比較的安定した状態（色情報も空間情報も変わりにくい状態）である。したがって、図７の画像４１１のＳｕｐｅｒｐｉｘｅｌ処理結果は、視差のない部分（画像４１１の右半分）については、おおよそ画像４０１と同様なＳｕｐｅｒｐｉｘｅｌ処理結果が得られる。視差のある部分およびその周辺（画像４１１の左半分）は、視差による画素値の相違に応じたＳｕｐｅｒｐｉｘｅｌ処理結果が得られる。

＜データの流れ＞
図３は、本実施形態におけるデータの流れの例を示すデータフロー図である。
３０１および３０２は、画像データを入力するデータ入力部で、例えば図１のデータ入力部１０１ａ, １０１ｂに対応する。データ入力部１０１ａ, １０１ｂはＣＣＤやＣＭＯＳ等の公知の画像センサーであるので、Ｓｕｐｅｒｐｉｘｅｌ処理の前に画像処理（いわゆる現像処理等）が必要な場合、３０１，３０２はそれらの処理部を含むものである。この画像処理は、図１の構成においては画像処理部１０９で行うように構成するか、あるいはＣＰＵ１０４内にソフトウェアを用いて行うように構成する。

３１１および３１２はＳｕｐｅｒｐｉｘｅｌ処理部（第一の画像分割処理部、第二の画像分割処理部）であり、図２のフローチャートで説明した処理（第一の画像分割処理工程、第二の画像分割処理工程）を行う。Ｓｕｐｅｒｐｉｘｅｌ処理部３１１，３１２は、図１の構成においては画像処理部１０９で行うように構成するか、あるいはＣＰＵ１０４内にソフトウェアを用いて行うように構成する。

データ入力部３０１，３０２は互いに視差のある画像（ステレオ画像［第一の画像、第二の画像］）をキャプチャーし、それぞれＳｕｐｅｒｐｉｘｅｌ処理部３１１,３１２に出力する。
データ入力部３０１とＳｕｐｅｒｐｉｘｅｌ処理部３１１の間の画像データ受け渡しは、公知のバスにより接続するよう構成すればよい。あるいは、データ入力部３０１の出力画像を図１のＲＡＭ１０６もしくはデータ保存部１０２に一旦格納し、Ｓｕｐｅｒｐｉｘｅｌ処理部３１１がそれを参照して処理を行うように構成するのであってもよい。データ入力部３０２とＳｕｐｅｒｐｉｘｅｌ処理部３１２の間の画像データ受け渡しについても同様である。

説明の便宜上、データ入力部３０１が出力する画像を第一の画像、データ入力部３０２が出力する画像を第二の画像と呼ぶこととする。Ｓｕｐｅｒｐｉｘｅｌ処理部３１１が第一の画像に対してＳｕｐｅｒｐｉｘｅｌ処理を行った結果を、第一のＳｕｐｅｒｐｉｘｅｌ処理結果と呼ぶこととする。また、Ｓｕｐｅｒｐｉｘｅｌ処理部３１２が第二の画像に対してＳｕｐｅｒｐｉｘｅｌ処理を行った結果を第二のＳｕｐｅｒｐｉｘｅｌ処理結果と呼ぶこととする。

第一、第二のＳｕｐｅｒｐｉｘｅｌ処理結果は、最低限ラベルマップの情報を含めばよいが、好ましくは代表点の情報も含むよう構成し、予め定めたフォーマットでＲＡＭ１０６やあるいはデータ保存部１０２に出力される。あるいは、通信部１０７に対して出力し、他の機器に送信するように変形してもよい。Ｓｕｐｅｒｐｉｘｅｌ処理結果を格納するフォーマットは、上記の出力すべき情報を格納できるものであれば任意の形式で構わない。

また、図３では、Ｓｕｐｅｒｐｉｘｅｌ処理部３１１からＳｕｐｅｒｐｉｘｅｌ処理部３１２へデータが出力できるようになっている。これは、Ｓｕｐｅｒｐｉｘｅｌ処理部３１１が、第一の画像のＳｕｐｅｒｐｉｘｅｌ処理を行う際に作成される代表点情報（画像分割情報）をＳｕｐｅｒｐｉｘｅｌ処理部３１２に渡すためのものである。Ｓｕｐｅｒｐｉｘｅｌ処理部３１１からＳｕｐｅｒｐｉｘｅｌ処理部３１２への代表点情報の受け渡しは公知のバスにより接続するよう構成すればよい。あるいは、Ｓｕｐｅｒｐｉｘｅｌ処理部３１１が出力する代表点情報を図１のＲＡＭ１０６もしくはデータ保存部１０２に一旦格納し、Ｓｕｐｅｒｐｉｘｅｌ処理部３１２がそれを参照して処理を行うように構成してもよい。

＜Ｓｕｐｅｒｐｉｘｅｌ処理部の動作＞
次に、Ｓｕｐｅｒｐｉｘｅｌ処理部３１１,３１２の動作について説明する。
Ｓｕｐｅｒｐｉｘｅｌ処理部３１１はデータ入力部３０１より第一の画像を受け取り、図２のフローチャートで説明した処理を行う。この時、初期化ステップＳ２０１では、先に説明したように、第一の画像に対し代表点を縦と横に間隔Ｓで格子状に配置し、座標空間（Ｘ，Ｙ）の情報を設定し、その座標に対応する入力画像の画素値で色空間（Ｒ，Ｇ，Ｂ）の情報を初期化する。

続くステップＳ２０２〜Ｓ２０４の処理を、ステップＳ２０４の条件満たすまで反復して行い、Ｓｕｐｅｒｐｉｘｅｌ処理を行う。Ｓｕｐｅｒｐｉｘｅｌ処理が終了したら（ステップＳ２０４の判定をＹｅｓで抜けたら）、Ｓｕｐｅｒｐｉｘｅｌ処理部３１１は処理結果を出力する。これは先に述べたように、予め定めたフォーマットに従い、ＲＡＭ１０６、データ保存部１０２、通信部１０７のいずれか（あるいはその複数）に出力する。また、Ｓｕｐｅｒｐｉｘｅｌ処理部３１１は、代表点情報（画像分割情報）をＳｕｐｅｒｐｉｘｅｌ処理部３１２に出力する。

Ｓｕｐｅｒｐｉｘｅｌ処理部３１２は、データ入力部３０２より第二の画像を受け取り、図２のフローチャートで説明した処理を行う。この時、初期化ステップＳ２０１では、Ｓｕｐｅｒｐｉｘｅｌ処理部３１１が出力した代表点情報を参照して初期化を行う。最も簡単には、Ｓｕｐｅｒｐｉｘｅｌ処理部３１１が出力した代表点情報を初期値として用いるようにすればよいし、あるいは、Ｓｕｐｅｒｐｉｘｅｌ処理部３１１が出力した代表点情報と第二の画像を参照して初期化するようにしてもよい。

続くステップＳ２０２〜Ｓ２０４の処理を、ステップＳ２０４の条件満たすまで反復して行い、Ｓｕｐｅｒｐｉｘｅｌ処理を行う。Ｓｕｐｅｒｐｉｘｅｌ処理が終了したら（ステップＳ２０４の判定をＹｅｓで抜けたら）、Ｓｕｐｅｒｐｉｘｅｌ処理部３１２は処理結果を出力する。これは先に述べたように、予め定めたフォーマットに従い、ＲＡＭ１０６、データ保存部１０２、通信部１０７のいずれか（あるいはその複数）に出力するよう構成する。

なお、本実施形態では、説明を容易にするため、Ｓｕｐｅｒｐｉｘｅｌ処理部３１１とＳｕｐｅｒｐｉｘｅｌ処理部３１２を、別個の処理部として説明したが、これらを１つの処理部として構成してもよい。

なお、本実施形態では、領域分割（画像分割処理）を行う際に、画素の色情報と空間情報を用いる例を示したが、これ以外にも、例えば画素のテクスチャ特徴量やエッジ強度等、特徴を数値化した特徴量を加えるようにしてもよい。その場合、色情報による距離と空間情報による距離を重みづけ加算して全体の距離を作成したのと同様に、追加した特徴量による距離も重みづけして加算するよう構成すればよい。

また、本実施形態では、領域分割手法として、ＳＬＩＣ手法（ＳＬＩＣアルゴリズム）を用いた例について説明したが、本発明による画像処理方法等を適用可能な領域分割手法（画像分割処理）は、これに限定されるものではない。例えばｋ−ｍｅａｎｓアルゴリズム等の手法によって画像分割処理を行ってもよい。

また、本実施形態では、第二の画像（図４〜７の画像４１１）のＳｕｐｅｒｐｉｘｅｌ処理の初期化の際に、第一の画像（図４〜７の画像４０１）のＳｕｐｅｒｐｉｘｅｌ処理結果の代表点情報をそのまま使うよう構成した。しかし、例えば第二の画像の対応位置の画素値を参照して第一の画像のＳｕｐｅｒｐｉｘｅｌ処理結果を修正し、それを用いて初期化するような変形も可能である。

また、本実施形態では、ステレオ画像（一般には２入力）を用いて説明を行ったが、本発明による画像処理方法等はそれに限定されるものではなく、例えば３視点以上である場合にも適用可能である。その場合、複数視点のうちの１視点画像を第一の画像とし、その他の視点画像を第二の画像とすればよい。

さらに、上述の図１や図３の説明では簡単化のため、画像入力手段（センサー等）を２系統持つような構成として説明したが、本発明による画像処理方法は視差のある画像があればよいので、例えば公知のプレノプティックカメラ等にも適用可能である。

上述のように、本実施形態によれば、視差のある複数視点の画像に対し領域分割を行う場合に、ある視点画像の領域分割結果を用いて他の視点画像の領域分割処理の初期化を行うことにより、各視点画像の領域分割結果が概略同様になるようにすることができる。また、領域分割結果が概略同様なので、各視点画像のもつ領域間の対応づけが容易に行えるようになる。

［実施形態２］
実施形態１においては、第一の画像のＳｕｐｅｒｐｉｘｅｌ処理結果より代表点情報を取り出し、その代表点情報を用いて第二の画像のＳｕｐｅｒｐｉｘｅｌ処理の初期化を行う例を説明した。しかしながら、本発明による方式は、第二の画像の初期化に用いる第一の画像の代表点情報は、第一の画像の収束した代表点情報でなくても構わない。

第一の画像のＳｕｐｅｒｐｉｘｅｌ処理の反復処理（図２のＳ２０２およびＳ２０３の処理）において、収束のＮ回前（Ｎ≧１）の代表点情報（画像分割情報）を第二の画像のＳｕｐｅｒｐｉｘｅｌ処理に渡す。その後、第一の画像のＳｕｐｅｒｐｉｘｅｌ処理は残るＮ回の反復処理を行って、画像分割処理結果を出力する。第二の画像のＳｕｐｅｒｐｉｘｅｌ処理は収束のＮ回前の代表点情報を用いて初期化を行い、やはりＮ回の反復処理を行って、画像分割処理結果を出力する。このように構成することにより、第一の画像、第二の画像のＳｕｐｅｒｐｉｘｅｌ処理の実質の反復回数が同等になる。

これは、例えば、先に述べたように、収束の判定として、反復処理の繰り返し回数を３回〜１０回等の固定回数にした場合に有効である。一般化すると、繰り返し回数がＭ回（１≦Ｎ＜Ｍ）とした場合、第一の画像のＳｕｐｅｒｐｉｘｅｌ処理は（Ｍ−Ｎ）回目の繰り返しを行った時点で、代表点情報（画像分割情報）を第二の画像のＳｕｐｅｒｐｉｘｅｌ処理に渡す。その後、第一の画像のＳｕｐｅｒｐｉｘｅｌ処理、第二の画像のＳｕｐｅｒｐｉｘｅｌ処理ともにＮ回の繰り返し処理を行って終了する。この場合、第一の画像に対しては実際にＭ回の反復処理が行われる。一方、第二の画像に対しては、実際にはＮ回の反復処理だが、実質的にＭ回の反復処理を行ったと同様の結果が得られる。これにより第二の画像に対する反復処理に関して、処理時間、消費電力を改善することができる。

［その他の実施例形態］
本発明の目的は、以下の処理を実行することによっても達成される。すなわち、上述した各実施形態の機能を実現するコンピュータプログラムを、システム或いは装置が備えるコンピュータ（又はＣＰＵやＭＰＵ等）が記憶媒体等から読み出して実行する処理である。この場合、記憶媒体等から読み出されたコンピュータプログラム自体が、上述した実施形態の機能を実現することになり、そのコンピュータプログラムも本発明を構成することになる。

１０１ａ，１０１ｂ データ入力部
１０２ データ保存部
１０４ ＣＰＵ
１０９ 画像処理部
３０１，３０２ データ入力部
３１１，３１２ Ｓｕｐｅｒｐｉｘｅｌ処理部

Claims (9)

1. 画素の位置関係と画素の特徴量の関係とに基づいて画像を複数の画素からなる領域に分割する画像分割処理を、互いに視差のある同一シーンに対応する複数の画像に対して行う画像処理方法であって、
   前記互いに視差のある同一シーンに対応する複数の画像の１つである第一の画像に対し、前記画像分割処理を施して第一の画像に対する画像分割情報を出力する第一の画像分割処理工程と、
   前記互いに視差のある同一シーンに対応する複数の画像の１つであって、前記第一の画像とは異なる第二の画像に対し、前記第一の画像分割処理工程が出力した第一の画像に対する画像分割情報を参照し、前記画像分割処理を施す第二の画像分割処理工程と、
   を有することを特徴とする画像処理方法。
2. 前記画像分割処理は、
   各分割領域を構成する画素の集合に対して該集合を代表する代表画素と各画素との間の類似性に基づき各画素が属する分割領域を決定する処理と、
   決定された分割領域の代表画素の画素情報を計算する処理とを、１回以上反復する処理であることを特徴とする請求項１記載の画像処理方法。
3. 前記画像分割処理は、ｋ−ｍｅａｎｓアルゴリズムを適用した処理であることを特徴とする請求項２記載の画像処理方法。
4. 前記画像分割処理は、前記各画素が属する分割領域を決定する処理を全分割領域のサブセットに対して行い、該全分割領域のサブセットとは各画素の画像中での位置によって決定することを特徴とする請求項２記載の画像処理方法。
5. 前記画像分割処理は、ＳＬＩＣアルゴリズムを適用した処理であることを特徴とする請求項４記載の画像処理方法。
6. 前記第一の画像分割処理工程は、前記画像分割処理をＭ回（Ｍ≧２）反復する処理を含み、（Ｍ−Ｎ）回目（１≦Ｎ＜Ｍ）の前記反復処理の結果の画像分割情報を出力するとともに、その後、Ｎ回の反復処理を行った画像分割処理結果を出力し、
   前記第二の画像分割処理工程は、該（Ｍ−Ｎ）回目の画像分割情報を用いて画像分割処理の初期化を行い、Ｎ回の反復処理を行った画像分割処理結果を出力する
   ことを特徴とする請求項１乃至５のいずれか１項に記載の画像処理方法。
7. 前記画像分割情報とは、少なくとも分割領域を構成する画素の集合を代表する代表画素の色情報と座標情報とを含む情報であることを特徴とする請求項１乃至６のいずれか１項に記載の画像処理方法
8. 画素の位置関係と画素の特徴量の関係とに基づいて画像を複数の画素からなる領域に分割する画像分割処理を、互いに視差のある同一シーンに対応する複数の画像に対して行う画像処理装置であって、
   前記互いに視差のある同一シーンに対応する複数の画像の１つである第一の画像に対し、前記画像分割処理を施して第一の画像に対する画像分割情報を出力する第一の画像分割処理手段と、
   前記互いに視差のある同一シーンに対応する複数の画像の１つであって、前記第一の画像とは異なる第二の画像に対し、前記第一の画像分割処理工程が出力した第一の画像に対する画像分割情報を参照し、前記画像分割処理を施す第二の画像分割処理手段と、
   を備えることを特徴とする画像処理装置。
9. コンピュータを、請求項１乃至７の何れか１項に記載の画像処理方法が有する各工程の処理を実行させるためのコンピュータプログラム。