JP2009238077A - 画像処理装置および画像処理方法並びにプログラム - Google Patents
画像処理装置および画像処理方法並びにプログラム Download PDFInfo
- Publication number
- JP2009238077A JP2009238077A JP2008085449A JP2008085449A JP2009238077A JP 2009238077 A JP2009238077 A JP 2009238077A JP 2008085449 A JP2008085449 A JP 2008085449A JP 2008085449 A JP2008085449 A JP 2008085449A JP 2009238077 A JP2009238077 A JP 2009238077A
- Authority
- JP
- Japan
- Prior art keywords
- image
- distance
- image data
- gray
- pair
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Withdrawn
Links
Images
Landscapes
- Image Processing (AREA)
- Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
- Facsimile Image Signal Circuits (AREA)
- Image Analysis (AREA)
Abstract
【課題】画像処理装置において、カラー画像から精度の高い距離データを取得できるようにする。
【解決手段】被写体を2つの視点から撮像して得た、各々が複数の色の濃淡画像で構成された一対の画像データから被写体までの距離を算出して立体画像データを生成する画像処理装置において、一対の画像データを入力し、入力された一対の画像データの複数の色の複数の画素について距離を算出し、入力された一対の画像データの少なくとも一方の画像データにおいて、画像データを構成する複数の色の濃淡画像を複数の所定領域に分割し、分割された所定領域毎に、複数の色の濃淡画像のうちから最も距離の算出に適する1つの色の濃淡画像を選択し、選択された色の濃淡画像において算出された距離のデータを記録する。
【選択図】図19
【解決手段】被写体を2つの視点から撮像して得た、各々が複数の色の濃淡画像で構成された一対の画像データから被写体までの距離を算出して立体画像データを生成する画像処理装置において、一対の画像データを入力し、入力された一対の画像データの複数の色の複数の画素について距離を算出し、入力された一対の画像データの少なくとも一方の画像データにおいて、画像データを構成する複数の色の濃淡画像を複数の所定領域に分割し、分割された所定領域毎に、複数の色の濃淡画像のうちから最も距離の算出に適する1つの色の濃淡画像を選択し、選択された色の濃淡画像において算出された距離のデータを記録する。
【選択図】図19
Description
本発明は、被写体を2つの視点から撮像して得た一対の画像データから立体画像データを生成する画像処理装置に関し、特に一対の画像データがカラー画像であるときの画像処理方法に関するものである。
近年、被写体を2つの視点から撮像して得た一対の画像データから立体画像データを生成する画像処理装置が提案されており、立体画像データの生成方法としては、取得された一対の画像データにおいて共通して写っている点、いわゆる対応点を特定し、三角測量の原理に従って対応点までの距離を算出することにより、被写体の三次元形状を推測するステレオマッチング法を用いる方法が知られている。
このようなステレオマッチング法を用いた画像処理装置では、一対の画像データとしてそれぞれ複数の色の濃淡画像で構成されたカラー画像を使用し、同色の濃淡画像においてそれぞれ上記ステレオマッチングを行うことにより各々の色での視差を算出して、画像領域毎に対象物の色に基づいた積和演算によって融合処理を行い、統一視差を算出することにより信頼性の高い立体画像データを算出するようにしたものがある(特許文献1)。
特開2003−150936号公報
通常、濃淡画像において特徴的なパターンが少ない場合等には、対応点を誤検出してしまう虞があり、誤った距離が算出されてしまう場合がある。この場合、特許文献1に記載の画像処理装置においては、誤って算出されたデータも融合処理に使用されてしまうため、精度が低減してしまう虞がある。
本発明はかかる事情に鑑みてなされたものであり、カラー画像から精度の高い距離データを取得することができる画像処理装置及び画像処理方法並びにプログラムを提供することを目的とするものである。
本発明の画像処理装置は、被写体を2つの視点から撮像して得た、各々が複数の色の濃淡画像で構成された一対の画像データから前記被写体までの距離を算出して立体画像データを生成する画像処理装置において、
前記一対の画像データを入力する画像入力手段と、
入力された前記一対の画像データの複数の色の複数の画素について前記距離を算出する距離算出手段と、
入力された前記一対の画像データの少なくとも一方の画像データにおいて、該画像データを構成する前記複数の色の濃淡画像を複数の所定領域に分割する領域分割手段と、
該領域分割手段により分割された前記所定領域毎に、前記複数の色の濃淡画像のうちから最も前記距離算出に適する1つの色の濃淡画像を選択する選択手段と、
該選択手段により選択された色の濃淡画像において前記距離算出手段が算出した前記距離のデータを記録する記録手段とを備えてなることを特徴とするものである。
前記一対の画像データを入力する画像入力手段と、
入力された前記一対の画像データの複数の色の複数の画素について前記距離を算出する距離算出手段と、
入力された前記一対の画像データの少なくとも一方の画像データにおいて、該画像データを構成する前記複数の色の濃淡画像を複数の所定領域に分割する領域分割手段と、
該領域分割手段により分割された前記所定領域毎に、前記複数の色の濃淡画像のうちから最も前記距離算出に適する1つの色の濃淡画像を選択する選択手段と、
該選択手段により選択された色の濃淡画像において前記距離算出手段が算出した前記距離のデータを記録する記録手段とを備えてなることを特徴とするものである。
本発明の画像処理装置は、前記領域分割手段が、前記複数の色の濃淡画像においてそれぞれエッジを抽出し、該抽出されたエッジを有する画素を含む領域毎に前記所定領域を分割するものであり、
前記選択手段が、各々の前記所定領域内で前記エッジが抽出された色の濃淡画像を選択するものであることが好ましい。
前記選択手段が、各々の前記所定領域内で前記エッジが抽出された色の濃淡画像を選択するものであることが好ましい。
本発明の画像処理装置は、前記領域分割手段が、前記複数の色の濃淡画像においてそれぞれ予め所定間隔で定められた輝度値を有する画素を検出し、該検出された画素を含む領域毎に前記所定領域を分割するものであり、
前記選択手段が、各々の前記所定領域内で前記画素が検出された色の濃淡画像を選択するものであることが好ましい。
前記選択手段が、各々の前記所定領域内で前記画素が検出された色の濃淡画像を選択するものであることが好ましい。
本発明の画像処理装置は、前記画像入力手段が、2つのカメラからなるものであってもよい。
本発明の画像処理装置は、前記画像入力手段が、2つの光学系を備えた複眼カメラであってもよい。
この場合、前記複眼カメラが、多板構成からなる撮像系を備えたものであることが好ましい。なおここで「多板構成」とは複数の光学系を持ち、その各々の光軸に対応した複数の撮像素子を配置しそれらの出力信号を用いて信号処理を行い、最終的に1つの撮像出力信号を得る構成を意味する。
本発明の画像処理方法は、被写体を2つの視点から撮像して得た、各々が複数の色の濃淡画像で構成された一対の画像データから前記被写体までの距離を算出して立体画像データを生成する画像処理方法において、
前記一対の画像データを入力し、
該入力された前記一対の画像データの複数の色の複数の画素について前記距離を算出し、
前記入力された前記一対の画像データの少なくとも一方の画像データにおいて、該画像データを構成する前記複数の色の濃淡画像を複数の所定領域に分割し、
該分割された前記所定領域毎に、前記複数の色の濃淡画像のうちから最も前記距離算出に適する1つの色の濃淡画像を選択し、
該選択された色の濃淡画像において算出された前記距離のデータを記録することを特徴とするものである。
前記一対の画像データを入力し、
該入力された前記一対の画像データの複数の色の複数の画素について前記距離を算出し、
前記入力された前記一対の画像データの少なくとも一方の画像データにおいて、該画像データを構成する前記複数の色の濃淡画像を複数の所定領域に分割し、
該分割された前記所定領域毎に、前記複数の色の濃淡画像のうちから最も前記距離算出に適する1つの色の濃淡画像を選択し、
該選択された色の濃淡画像において算出された前記距離のデータを記録することを特徴とするものである。
本発明の画像処理プログラムは、コンピュータに、被写体を2つの視点から撮像して得た、各々が複数の色の濃淡画像で構成された一対の画像データから前記被写体までの距離を算出して立体画像データを生成することを実行させるための画像処理プログラムにおいて、
前記一対の画像データを入力し、
該入力された前記一対の画像データの複数の色の複数の画素について前記距離を算出し、
前記入力された前記一対の画像データの少なくとも一方の画像データにおいて、該画像データを構成する前記複数の色の濃淡画像を複数の所定領域に分割し、
該分割された前記所定領域毎に、前記複数の色の濃淡画像のうちから最も前記距離算出に適する1つの色の濃淡画像を選択し、
該選択された色の濃淡画像において算出された前記距離のデータを記録することを実行させるためのものである。
前記一対の画像データを入力し、
該入力された前記一対の画像データの複数の色の複数の画素について前記距離を算出し、
前記入力された前記一対の画像データの少なくとも一方の画像データにおいて、該画像データを構成する前記複数の色の濃淡画像を複数の所定領域に分割し、
該分割された前記所定領域毎に、前記複数の色の濃淡画像のうちから最も前記距離算出に適する1つの色の濃淡画像を選択し、
該選択された色の濃淡画像において算出された前記距離のデータを記録することを実行させるためのものである。
本発明の画像処理装置及び画像処理方法並びにプログラムによれば、一対の画像データを入力し、入力された一対の画像データの複数の色の複数の画素について距離を算出し、入力された一対の画像データの少なくとも一方の画像データにおいて、画像データを構成する複数の色の濃淡画像を複数の所定領域に分割し、分割された所定領域毎に、複数の色の濃淡画像のうちから最も距離の算出に適する1つの色の濃淡画像を選択し、選択された色の濃淡画像において算出された距離のデータを記録するので、所定領域毎に最も距離の算出に適する1つの色の画像データから算出された距離データが記録されることにより精度の高い距離データを取得することができる。
以下、本発明の実施形態について図面を参照して詳細に説明する。図1は第一の実施形態である画像処理装置1の機能構成を示すブロック図である。本実施形態の画像処理装置1は、図1に示す如く、画像入力部(画像入力手段)10、操作部11、表示制御部12、モニタ13、読込部14、画像選択部(選択手段)15、距離算出部(距離算出手段)16、データ圧縮部17、メディア制御部18、記録メディア(記録手段)19、内部メモリ20等を備えており、これらはデータバス21を介して、各種信号、データの送受信を行う。
画像入力部10は、画像を入力するものであり、被写体を異なる2つの視点から撮像して得た、各々がR、G、Bの色の濃淡画像で構成されたカラー画像の基準画像Aと参照画像Bからなる一対の画像データが入力される。なお一対の画像データにおいては、どちらの画像データを基準画像Aとしてもよい。また本実施形態では入力される画像データを2つとしたが、異なる視点から撮像された、いわゆる視差画像のデータであれば3つや4つ等の複数の画像データを入力してもよい。この場合、複数の画像データのうち、一つの画像データを基準画像Aとし、その他の画像データを参照画像Bとする。
操作部11は、動作モードスイッチ、メニュー/OKボタン、上下レバー、左右ボタン、Back(戻り)ボタン、表示切替ボタン、レリーズボタン、電源スイッチ等で構成されるものであり、ユーザがこれらを操作することにより各種設定を行う。
表示制御部12は、画像入力部10により入力された画像をモニタ13に表示させる他に、後述の距離算出部16により算出された被写体各部までの距離データつまり奥行きデータに基づいて生成された被写体の立体画像をモニタ13に表示することができる。また表示制御部12は、後述の記録メディア19に記録され、メディア制御部18によって読み出された立体画像データに基づく立体画像をモニタ13に表示させる。
モニタ13は、表示制御部12を介して平面画像又は立体画像を表示するものであり、操作部11によって設定操作される各種設定メニュー等も表示する。
読込部14は、画像入力部10により入力された画像データを構成するR、G、Bの3つの色の濃淡画像を読み込み、全ての画素の画素値を読み出す。そして読み出された画素値に基づいて公知の変換処理を行うことにより全ての画素について輝度値等の情報を取得する。なお本実施形態では輝度値は、読み出された画素値から算出するものとしたが、本発明はこれに限られるものではなく、画素値をそのまま輝度値として使用することもできる。
画像選択部15は、読込部14によって読み込まれた一対の画像データの基準画像Aにおいて、基準画像Aを構成するR、G、Bの3つの色の濃淡画像Ar、Ag、Abのうちから後述の距離算出部16による距離の算出に最も適する1つの色の濃淡画像を選択するものである。なおこの画像選択部15による濃淡画像の選択方法については後で詳細に説明する。
距離算出部16は、画像選択部15により選択された色の濃淡画像と、この濃淡画像に対応する色の参照画像の濃淡画像とから、すなわち選択された色の一対の濃淡画像から被写体各部までの距離を算出するものであり、公知のステレオマッチング法を使用することができて、一対の濃淡画像においてエッジやセグメント等、共通して写っている点、いわゆる対応点を相関演算によって特定し、この対応点の位置情報から視差を求め、この視差に基づいて三角測量の原理に従って対応点までの距離すなわち被写体各部までの距離を算出する。
このとき対応点の検出は、基準画像Aから複数の画素で構成された画素ブロックWaを算出し、算出された画素ブロックWaを参照画像B中で走査して濃淡等の形状パターンの一致度評価値(相関度)を計算して、参照画像Bにおいて画素ブロックWaと対応するブロックWbを検出する、いわゆる領域ベースマッチング(area-based matching)といわれる方法や、先に基準画像A及び参照画像Bからエッジやセグメント等の特徴点を見つけ出し、基準画像Aと参照画像Bにおけるこの特徴点の相関度から対応点を検出する、いわゆる特徴ベースマッチング(feature-based matching)といわれる方法等を使用することができる。一致度評価値(相関度)の計算は、例えば各画素の差の絶対値を合計する、または各画素の差を2乗したものを合計するなど、公知の技術を使用することができる。
このように距離算出部16は、選択された1つの色の一対の濃淡画像についてのみ距離の算出を行うので、距離の算出に要する時間を低減することができる。
データ圧縮部17は、算出された距離データを圧縮処理するものであり、圧縮された距離データはメディア制御部18を介して記録メディア19に記録される。
メディア制御部18は、記録メディア19に記憶された距離データ等の読み出し、又は距離データ等の書き込みを行う。
記録メディア(記録手段)19は、距離データ等の各種データを記憶可能な記録媒体であり、磁気的又は光学的記録媒体、半導体メモリ等によって構成されている。
内部メモリ20は、画像処理装置1において設定される各種定数やプログラム等を格納するものであって、画像入力部10により入力された画像データや距離算出部16により算出された距離データ等を記憶するバッファメモリとしても機能する。
本実施形態の画像処理装置1は上記のように構成されている。次に画像処理装置1による画像処理について説明する。図2は画像処理装置1による一連の画像処理のフローチャート、図3は画像選択部15による画像選択処理のフローチャートである。
本実施形態の画像処理装置1は、図2に示す如く、画像入力部10が一対の画像データすなわち基準画像Aと参照画像Bを入力し(ステップS1)、読込部14が基準画像Aを構成するRの濃淡画像Ar、Gの濃淡画像Ag、Bの濃淡画像Ab及び画像データBを構成するRの濃淡画像Br、Gの濃淡画像Bg、Bの濃淡画像Bbをそれぞれ読み込んで、輝度値等の画素値を読み出す(ステップS2)。
次に画像選択部15が、読込部14によって読み込まれた基準画像Aを構成するR、G、Bの濃淡画像Ar、Ag、Abのうちから距離算出部16による距離の算出に最も適する1つの色の濃淡画像を選択する画像選択処理を行う(ステップS3)。
画像選択部15による画像選択処理1は、図3に示す如く、基準画像Aを構成するR、G、Bの濃淡画像Ar、Ag、Abそれぞれについて最小輝度値と最大輝度値を算出し(ステップS11)、最小輝度値と最大輝度値との輝度差の値Dr、Dg、Dbをそれぞれ算出する(ステップS12)。
次に画像選択部15は、算出された輝度差の値が最も大きい値のものを判別する(ステップS13)。そして画像選択部15は、最も大きい値が輝度差Drである場合(ステップS13;Dr)にはRの濃淡画像Arを選択し(ステップS14)、最も大きい値が輝度差Dgである場合(ステップS13;Dg)にはGの濃淡画像Agを選択し(ステップS15)、最も大きい値が輝度差Dbである場合(ステップS13;Db)にはBの濃淡画像Abを選択する(ステップS16)。このようにして画像選択部15は画像選択処理1を行う。
一般的に輝度差の値が大きい濃淡画像は、輝度差の値が小さい濃淡画像に比べて、距離の算出に必要な特徴がある可能性が高い。つまり距離の算出に使用する、例えばエッジ等の対応点は、輝度が急激に変化する点すなわち輝度差の大きい点なので、輝度差の値が大きい濃淡画像の方が検出可能な対応点の多い輝度分布を備えている可能性が高い。従って上記のように輝度差の値の大きい濃淡画像を選択することにより、対応点の検出精度すなわち被写体精度を向上させることができるので、精度の高い距離データを取得することが可能となる。
なお画像選択部15による画像の選択は別の方法であってもよい。次に画像選択部15による第二の実施形態の画像選択処理2ついて説明する。図4Aは画像選択部15による第二の画像選択処理2のフローチャート、図4Bはカウント処理のフローチャート、図5は濃淡画像の輝度分布及び画素のカウント方法の一例、図6は濃淡画像の輝度分布及び画素のカウント方法の別の一例である。
画像選択部15は、図4Aに示す如く、基準画像Aを構成するR、G、Bの濃淡画像Ar、Ag、Abそれぞれについて予め例えば10毎等の所定間隔で定められた所定の輝度値C(例えばL10、L20、L30・・・)を有する画素を検出する(ステップS20)。この画素の検出は、例えば図5に示す如く、濃淡画像Ar、Ag、Abのそれぞれについて、全ての画素の輝度値Lにおいて所定の輝度値Cであるか否かを判別し、図中色付で示す所定の輝度値Cを有する画素を検出する。
次に画像選択部15は、基準画像Aを構成するR、G、Bの濃淡画像Ar、Ag、AbそれぞれについてステップS20にて検出された画素の数Fr、Fg、Fbをカウントするカウント処理を行う(ステップS21)。
カウント処理は、図4Bに示す如く、濃淡画像Arについて行うときには、先ずFrに0を代入して初期化し(ステップS120)、続いてaに0を代入して初期化する(ステップS121)。そして濃淡画像Arに所定の輝度値Cがあるか否かを判別し(ステップS122)、所定の輝度値Cがある場合(ステップS122;YES)には、a=cであるか否かを判別する(ステップS123)。そしてa=cでない場合(ステップS123;NO)には、Frをカウントアップして(ステップS124)、aにcを代入し(ステップS125)、ステップS126へ処理を移行する。
一方、ステップS122にて所定の輝度値Cがない場合(ステップS122;NO)及びステップS123にてa=cである場合(ステップS123;YES)にも、ステップS126へ処理を移行して、その画素が水平方向の端の画素であるか否かを判別する(ステップS126)。
そして水平方向の端の画素ではない場合(ステップS126;NO)には、水平方向に1画素移動して(ステップS127)、処理をステップS122へ移行して以降の処理を繰り返し、端の画素である場合(ステップS126;YES)には、その画素が垂直方向の端の画素であるか否かを判別する(ステップS128)。
そして垂直方向の端の画素ではない場合(ステップS128;NO)には垂直方向に1画素移動して(ステップS129)、処理をステップS121へ移行して以降の処理を繰り返し、端の画素である場合(ステップS128;YES)には、カウント処理を終了する。そして同様のカウント処理を濃淡画像Ag、Abについても行う。
上記カウント処理を行うと、例えば図5の濃淡画像においては、画素数のカウントは、一列目の画素列では「2」、2列目の画素列では「1」、3列目、4列目の画素列では「1」、5列目の画素列では「1」となるのでこれらを合計して画素数は「6」となる。このようにして基準画像Aを構成するR、G、Bの濃淡画像Ar、Ag、Abそれぞれについて上記のように画素数Fr、Fg、Fbをカウントする。
なお本実施形態では、画素数のカウントを上記のように画素列毎に行ったが、濃淡画像Ar、Ag、Abをそれぞれ構成する全ての画素について前記カウントを行えば、どのようにカウントしてもよく、適宜変更することができる。
そして次に画像選択部15は、カウントされた画素数が最も多い画素数を判別する(ステップS22)。そして画像選択部15は、最も多い画素数が画素数Frである場合(ステップS22;Fr)にはRの濃淡画像Arを選択し(ステップS23)、最も多い画素数が画素数Fgである場合(ステップS22;Fg)にはGの濃淡画像Agを選択し(ステップS24)、最も多い画素数が画素数Fbである場合(ステップS22;Fb)にはBの濃淡画像Abを選択する(ステップS25)。このようにして画像選択部15は画像選択処理2を行う。
一般的に、輝度値の起伏が頻繁な濃淡画像は、輝度値の起伏が乏しい濃淡画像に比べて、距離の算出に必要な特徴がある可能性が高い。つまり距離の算出に使用する、例えばエッジや大きな輝度の勾配を持つ領域等の対応点は、輝度値の起伏がある点なので、輝度値の起伏が頻繁な濃淡画像の方が検出可能な対応点の多い輝度分布を備えている可能性が高い。従って上記のように輝度値の起伏の頻繁な濃淡画像を選択することにより、対応点の検出精度すなわち被写体精度を向上させることができるので、精度の高い距離データを取得することが可能となる。
なお本実施形態では、上記のように基準画像Aを構成するR、G、Bの濃淡画像Ar、Ag、Abそれぞれにおいて、全ての画素について所定の輝度値Cを有する画素の検出と、検出された画素の数Fr、Fg、Fbのカウントを行ったが、図6に示す如く、例えば1つおきの画素列等、所定間隔毎の画素列において上記画素の検出を行って、検出された画素の数Fr、Fg、Fbのカウントを行うようにしてもよい。この場合、画素数のカウントは、図6に示す如く、一列目の画素列では「2」、3列目の画素列では「1」、5列目の画素列では「1」となるのでこれらを合計して画素数は「4」となる。
このように所定間隔毎の画素列において画素の数Fr、Fg、Fbをカウントすることにより基準画像Aと参照画像Bとにおける相関演算が画素列毎に行われる場合には、対応点となり得る画素の頻度を反映した濃淡画像を選択することができると共に、画像選択処理の速度を速くすることができる。
次に画像選択部15による第三の実施形態の画像選択処理3ついて説明する。図7は画像選択部15による第三の画像選択処理3のフローチャート、図8はカラー画像の一例である。
画像選択部15は、図7に示す如く、基準画像Aを構成するR、G、Bの濃淡画像Ar、Ag、Abそれぞれについてエッジ(輪郭)を抽出する(ステップS30)。なおエッジの抽出は一般的に使用されている公知の技術を使用することができる。
次に画像選択部15は、基準画像Aを構成するR、G、Bの濃淡画像Ar、Ag、AbそれぞれについてステップS30にてエッジが抽出された画素の数つまりエッジに相当する画素数Er、Eg、Ebをカウントする(ステップS31)。
次に画像選択部15は、カウントされた画素数が最も多い画素数を判別する(ステップS32)。そして画像選択部15は、最も多い画素数が画素数Erである場合(ステップS32;Er)にはRの濃淡画像Arを選択し(ステップS33)、最も多い画素数が画素数Egである場合(ステップS32;Eg)にはGの濃淡画像Agを選択し(ステップS34)、最も多い画素数が画素数Ebである場合(ステップS32;Eb)にはBの濃淡画像Abを選択する(ステップS35)。このようにして画像選択部15は画像選択処理3を行う。
例えば図8に示す如く、赤い色の対象物Pr、緑色の対象物Pg、青色の対象物Pbの順に大きさの大きい対象物が撮像されたカラー画像Pにおいては、R、G、Bの濃淡画像Pr、Pg、Pbのそれぞれについてエッジに相当する画素数Er、Eg、Ebをカウントすると、Rの濃淡画像Prでの画素数Erが最も多い画素数となる。つまり画素数が多いほど、多くのエッジが抽出されていることとなり、基準画像Aと参照画像Bとにおいて多くの画素で相関が取れる、つまり対応点が検出し易くなる。従って上記のように、エッジに相当する画素数が最も多い濃淡画像を選択することにより、対応点の検出精度すなわち被写体精度を向上させることができて、精度の高い距離データを取得することが可能となる。
なお本実施形態では、上記のように基準画像Aを構成するR、G、Bの濃淡画像Ar、Ag、Abそれぞれにおいて、全ての画素についてエッジに相当する画素数Er、Eg、Ebのカウントを行ったが、上記実施形態と略同様に図6に示す如く、例えば1画素列毎、所定間隔毎の画素列においてエッジに相当する画素数Er、Eg、Ebのカウントを行うようにしてもよい。このように所定間隔毎の画素列において画素数Er、Eg、Ebをカウントすることにより基準画像Aと参照画像Bとにおける相関演算が画素列毎に行われる場合には、対応点となり得るエッジの頻度を反映した濃淡画像を選択することができると共に、画像選択処理の速度を速くすることができる。
次に画像選択部15による第四の実施形態の画像選択処理4ついて説明する。図9は画像選択部15による第四の画像選択処理4のフローチャート、図10はエッジが抽出された濃淡画像においてエッジの交差回数のカウントの一例である。
画像選択部15は、図9に示す如く、基準画像Aを構成するR、G、Bの濃淡画像Ar、Ag、Abそれぞれについてエッジ(輪郭)を抽出する(ステップS40)。なおエッジの抽出は一般的に使用されている公知の技術を使用することができる。
次に画像選択部15は、基準画像Aを構成するR、G、Bの濃淡画像Ar、Ag、Abそれぞれについてエッジの交差回数Nr、Ng、Nbをカウントする(ステップS41)。エッジの交差回数Nr、Ng、Nbのカウントは、基準画像Aと参照画像Bとにおいて相関演算を行う方向と同じ方向で一定間隔のライン毎に、このラインとエッジとが交差しているか否かを画素毎に判断して、交差している回数を交差回数Nr、Ng、Nbとしてカウントする。
例えばエッジが、図10に示すように抽出されている場合には、図10中所定の画素列毎に左から右に向かってエッジが交差しているか否かを判別する。このときエッジの交差の判別は、例えば抽出されたエッジが黒になるように公知の方法により濃淡画像を二値化し、白から黒及び黒から白に変化したときをエッジが交差したとして交差回数を1とカウントする。すると図10では一番上の画素列で交差回数4をカウントし、続いて下方の画素列になるにしたがって、交差回数7、10、11をカウントするので、図10の濃淡画像ではエッジの交差回数は11となる。このようにして交差回数Nr、Ng、Nbをカウントする。
そして図9に示す如く、交差回数Nr、Ng、Nbをカウントすると(ステップS41)、次に画像選択部15は、カウントされた交差回数Nr、Ng、Nbが最も多い交差回数を判別する(ステップS42)。そして画像選択部15は、最も多い交差回数が交差回数Nrである場合(ステップS42;Nr)にはRの濃淡画像Arを選択し(ステップS43)、最も多い交差回数が交差回数Ngである場合(ステップS42;Ng)にはGの濃淡画像Agを選択し(ステップS44)、最も多い交差回数が交差回数Nbである場合(ステップS42;Nb)にはBの濃淡画像Abを選択する(ステップS45)。このようにして画像選択部15は画像選択処理4を行う。
一般的に抽出されたエッジの数が多い場合には、ステレオマッチング処理を行うときに、基準画像Aと参照画像Bとの間で対応点となる得る画素が多数存在している可能性が高く相関演算がし易い。従って上記のように交差回数Nr、Ng、Nbの多い濃淡画像を選択すれば、交差回数が多いということは、つまり対応点となる得るエッジの数が多いということになるので、対応点の検出精度すなわち被写体精度を向上させることができて、精度の高い距離データを取得することができると共に、対応点となり得るエッジの頻度を反映した濃淡画像を選択することができる。
次に上記のようにして、図2に示す如く、画像選択部15が1つの色の濃淡画像を選択すると(ステップS3)、距離算出部16は画像選択部15により選択された色の基準画像Aの濃淡画像と対応する色の参照画像Bの濃淡画像とから上述のようにして被写体各部までの距離を算出する(ステップS4)。
そして距離算出部16が距離を算出して距離データを取得すると(ステップS4)、次にデータ圧縮部17が算出した距離データを圧縮し、メディア制御部18が圧縮された距離データを記録メディア19に記録して(ステップS5)、画像処理装置1による画像処理を終了する。
以上により、本実施形態の画像処理装置1によれば、入力された一対の画像データの基準画像Aにおいて、画像データを構成するRGBの色の濃淡画像Ar、Ag、Abのうちから最も距離の算出に適する1つ色の濃淡画像を選択し、選択された色の濃淡画像とこの濃淡画像に対応する色の参照画像Bの濃淡画像とから前記距離を算出するので、最も距離の算出に適する1つの色の濃淡画像でのみ距離の算出を行うことにより精度の高い距離データを算出することができると共に距離の算出に要する時間を低減することができる。このとき距離の算出に要する時間を低減するためのみであれば、必ずしも距離の算出に最適な色の濃淡画像を選択する必要はない。
なお本実施形態では、画像選択部15が基準画像Aについてのみ輝度差の値Dr、Dg、Db又は所定の輝度値を有する画素の数Fr、Fg、Fb、エッジに相当する画素数Er、Eg、Eb、エッジの交差回数Nr、Ng、Nbの算出を行ったが本発明はこれに限られるものではなく、参照画像Bについて前記算出を行ってもよいし、基準画像Aと参照画像Bの両方について前記算出を行ってもよい。
また本実施形態ではカラー画像としてR、G、Bの3つの色の濃淡画像で構成された画像を使用したが、本発明はこれに限られるものではなく、例えば4つの色等、複数の色の濃淡画像で構成されたカラー画像にも適用することができる。
また本発明の画像処理装置は、被写体を2つの視点から撮像して得た、各々が複数の色の濃淡画像で構成された一対の画像データから前記被写体までの距離を算出して立体画像データを生成する画像処理装置において、
前記一対の画像データを入力する画像入力手段と、
入力された前記一対の画像データの少なくとも一方の画像データにおいて、該画像データを構成する前記複数の色の濃淡画像のうちからその一部である少なくとも1つの色の濃淡画像を選択する選択手段と、
該選択手段により選択された色の濃淡画像と該濃淡画像に対応する色の他方の画像データの濃淡画像とから前記距離を算出する距離算出手段とを備えてなることができる。
前記一対の画像データを入力する画像入力手段と、
入力された前記一対の画像データの少なくとも一方の画像データにおいて、該画像データを構成する前記複数の色の濃淡画像のうちからその一部である少なくとも1つの色の濃淡画像を選択する選択手段と、
該選択手段により選択された色の濃淡画像と該濃淡画像に対応する色の他方の画像データの濃淡画像とから前記距離を算出する距離算出手段とを備えてなることができる。
次に第二の実施形態の画像処理装置1−2について、以下図面を参照して詳細に説明する。図11は第二の実施形態の画像処理装置1−2の機能構成を示すブロック図、図12は画像処理装置1−2による一連の画像処理のフローチャート、図13は領域分割部22及び画像選択部15−2による領域分割及び画像選択処理のフローチャートである。なお図11は便宜上、上記実施形態の画像処理装置1の機能構成を示すブロック図である図1と同様の箇所は同符号で示して説明を省略し、異なる箇所のみ詳細に説明する。
本実施形態の画像処理装置1−2は、図11に示す如く、画像分割部(画像分割手段)22を備えている点が上記実施形態の画像処理装置1とは異なっている。画像分割部22は、基準画像Aを構成するR、G、Bの色の濃淡画像Ar、Ag、Abを複数の所定領域に分割するものである。
また本実施形態の画像選択部15−2は、領域分割部22により分割された所定領域毎に、R、G、Bの色の濃淡画像Ar、Ag、Abから最も距離算出に適する1つの色の濃淡画像を選択するものである。
本実施形態の画像処理装置1−2は上記のように構成されている。次に画像処理装置1−2による画像処理について説明する。図12は画像処理装置1−2による一連の画像処理のフローチャート、図13は領域分割部22及び画像選択部15−2による画像分割及び画像選択処理のフローチャート、図14は領域分割部22及び画像選択部15−2による画像分割及び画像選択方法の一例である。
本実施形態の画像処理装置1−2は、図12に示す如く、画像入力部10が一対の画像データすなわち基準画像Aと参照画像Bを入力し(ステップS51)、読込部14が基準画像Aを構成するRの濃淡画像Ar、Gの濃淡画像Ag、Bの濃淡画像Ab及び画像データBを構成するRの濃淡画像Br、Gの濃淡画像Bg、Bの濃淡画像Bbをそれぞれ読み込んで、輝度値等の画素値を読み出す(ステップS52)。
次に領域分割部22が、エッジを有する画素を含む領域毎に所定領域の分割処理を行い、画像選択部15−2が各々の所定領域内でエッジが抽出された色の濃淡画像を選択する画像選択処理を行う(ステップS53)。
領域分割及び画像選択処理1は、図13Aに示す如く、まず基準画像Aを構成するR、G、Bの色の濃淡画像Ar、Ag、Abの各々においてエッジの抽出を行い(ステップS60)、fとmに0を代入して初期化を行う(ステップS61)。そして画像分割部22が、例えば濃淡画像Ar、Ag、Abの順に各画素列について水平方向に1画素ずつ、エッジがあるか否かの判別を行う。すなわち図13Aに示す如く、まずR濃淡画像Arにエッジがあるか否かに判別を行い(ステップS62)、エッジがある場合(ステップS62;YES)には、その画素の番号nを記憶する(ステップS63)。
そしてmが0であるか否かを判別し(ステップS64)、0である場合(ステップS64;YES)には、画像選択部15−2が1からn画素番号までの領域についてR濃淡画像Arを選択して(ステップS65)、fにrを代入し(ステップS66)、mにnを代入する(ステップS67)。
次にn画素番号の画素が水平方向において端の画素であるか否かを判別し(ステップS68)、端の画素でない場合(ステップS68;NO)には、水平方向に1画素移動して(ステップS69)、ステップS62へ処理を移行する。一方、ステップS68にて端の画素である場合(ステップS68;YES)には、図13Dに示す如く、ステップS98へ処理を移行して以降の処理を行う。
またステップS64にてmが0でない場合(ステップS64;NO)には、fを判別し(ステップS70),fがrである場合(ステップS70;r)には、画像選択部15−2が(n−m)/2の画素番号までの領域についてR濃淡画像Arを選択し(ステップS71)、fがgである場合(ステップS70;g)には、画像選択部15−2が(n−m)/2の画素番号までの領域についてG濃淡画像Agを選択し(ステップS72)、fがbである場合(ステップS70;b)には、画像選択部15−2が(n−m)/2の画素番号までの領域についてB濃淡画像Abを選択して(ステップS73)、ステップS66へ処理を移行する。このとき(n−m)/2の少数点以下の数は繰り上げるか、または繰り下げることによって整数の値とする。
一方、ステップS62にて、R濃淡画像Arにエッジがない場合(ステップS62;NO)には、図13Bに示す如く、G濃淡画像Agにエッジがあるか否かの判別を行う(ステップS74)。そしてエッジがある場合(ステップS74;YES)には、その画素の番号nを記憶する(ステップS75)。
そしてmが0であるか否かを判別し(ステップS76)、0である場合(ステップS76;YES)には、画像選択部15−2が1からn画素番号までの領域についてG濃淡画像Agを選択し(ステップS77)、fにgを代入する(ステップS78)。なお図13
BのステップS79〜ステップS81の処理は、図13AのステップS67〜ステップS69の処理と、図13BのステップS82〜ステップS85の処理は、図13AのステップS70〜ステップS73と、それぞれ同様であるため説明は省略する。
BのステップS79〜ステップS81の処理は、図13AのステップS67〜ステップS69の処理と、図13BのステップS82〜ステップS85の処理は、図13AのステップS70〜ステップS73と、それぞれ同様であるため説明は省略する。
そして画像選択部15−2が図13BのステップS83〜ステップS85にて濃淡画像を選択すると、ステップS78へ処理を移行する。
一方、ステップS74にて、G濃淡画像Agにエッジがない場合(ステップS74;NO)には、図13Cに示す如く、B濃淡画像Abにエッジがあるか否かの判別を行う(ステップS86)。そしてエッジがある場合(ステップS86;YES)には、その画素の番号nを記憶する(ステップS87)。
そしてmが0であるか否かを判別し(ステップS88)、0である場合(ステップS88;YES)には、画像選択部15−2が1からn画素番号までの領域についてB濃淡画像Abを選択し(ステップS89)、fにbを代入する(ステップS90)。なお図13
CのステップS91〜とステップS93の処理は、図13AのステップS67〜ステップS69の処理と、図13CのステップS94〜ステップS97の処理は、図13AのステップS70〜ステップS73と、それぞれ同様であるため説明は省略する。
CのステップS91〜とステップS93の処理は、図13AのステップS67〜ステップS69の処理と、図13CのステップS94〜ステップS97の処理は、図13AのステップS70〜ステップS73と、それぞれ同様であるため説明は省略する。
そして画像選択部15−2が図13CのステップS95〜ステップS97にて濃淡画像を選択すると、ステップS90へ処理を移行する。
次にステップS68、ステップS80、ステップS92にて、水平方向に端の画素であると判別した場合(ステップS68、ステップS80、ステップS92;YES)には、図13Dに示す如く、ステップS98へ処理を移行して、fを判別し(ステップS98),fがrである場合(ステップS98;r)には、画像選択部15−2がn画素番号までの領域についてR濃淡画像Arを選択し(ステップS99)、fがgである場合(ステップS98;g)には、画像選択部15−2がn画素番号までの領域についてG濃淡画像Agを選択し(ステップS100)、fがbである場合(ステップS98;b)には、画像選択部15−2がn画素番号までの領域についてB濃淡画像Abを選択して(ステップS101)、ステップS102へ処理を移行する。このとき(n−m)/2の少数点以下の数は繰り上げるか、または繰り下げることによって整数の値とする。
そしてステップS102にて、垂直方向の端の画素であるか否かを判別し(ステップS102)、端の画素でない場合(ステップS102;NO)には、垂直方向に1画素移動して(ステップS103)、図13AのステップS61へ処理を移行して以降の処理を繰り返す。一方、端の画素である場合(ステップS102;YES)、領域分割及び画像選択処理1を終了して、図12のステップS54へ処理を移行する。
つまり図14に示す如く、例えば濃淡画像中、一点鎖線で示す画素列を例にすると、水平方向に一画素ずつ各濃淡画像Ar、Ag、Abでエッジがあるか否かを判別したときに、まずR濃淡画像ArのA画素番号にてエッジが検出されるので、1画素番号〜A画素番号の領域は濃淡画像Arが選択される。次にG濃淡画像AgのB画素番号にてエッジが検出されるので、B画素番号と、B画素番号のひとつ前に検出されたエッジすなわちA画素番号との中間点である(B−A)/2画素番号の左側又は右側が領域の境界となり、この境界までの領域は濃淡画像Arが選択される。
次に同様にして(D−C)/2画素番号の左側又は右側の境界までの領域で濃淡画像Agが選択され、水平方向の端の画素になったときには、残りの領域で濃淡画像Abが選択される。そして、上記の処理をすべての画素列において行う。
一般的にエッジの付近は、対応点が検出し易く、対応点の検出精度すなわち被写体精度を向上できる可能性が高い。従って上記のように抽出されたエッジを有する画素を含む領域毎に、エッジが抽出された色の濃淡画像を選択することにより、撮像された被写体に応じて分割された領域毎に選択する色の濃淡画像を変えることができるので、選択精度の高い距離データを取得することが可能となる。
次に領域分割部22及び画像選択部15−2による第二の領域分割及び画像選択処理2について説明する。図15は第二の領域分割及び画像選択処理2のフローチャートである。なお図15は、便宜上、図13のフローチャートと同様の処理は同じステップ番号で示して説明を省略し、異なる箇所についてのみ詳細に説明する。
領域分割部22及び画像選択部15−2は、上記実施形態の領域分割及び画像選択処理1とは異なり、図15Aに示す如く、まず基準画像Aを構成するR、G、Bの色の濃淡画像Ar、Ag、Abの各々において予め例えば10毎等の所定間隔で定められた所定の輝度値C(例えばL10、L20、L30・・・)を有する画素を検出し(ステップS60’)、次にf、m、a、p、eにそれぞれ0を代入して初期化を行って(ステップS61’)、画像分割部22が、例えば濃淡画像Ar、Ag、Abの順に各画素列について水平方向に1画素ずつ、所定の輝度値Cがあるか否かの判別を行う。すなわち図15Aに示す如く、まずR濃淡画像Arに所定の輝度値Cがあるか否かに判別を行う(ステップS62’)。
そして所定の輝度値Cがある場合(ステップS62’;YES)には、a=cであるか否かの判別を行い(ステップS163)、a=cではない場合(ステップS163;NO)には、ステップS63へ処理を移行して図13Aと同様にステップS63〜ステップS67の処理を行った後でaにcを代入し(ステップS168)、ステップS68へ処理を移行する。
一方、ステップS163にてa=cである場合(ステップS163;YES)及びステップS62’にて所定の輝度値Cがない場合(ステップS62’;NO)には、図15Bに示す如く、G濃淡画像Agに所定の輝度値Cがあるか否かの判別を行う(ステップS74’)。
そして所定の輝度値Cがある場合(ステップS74’;YES)には、p=cであるか否かの判別を行い(ステップS175)、p=cではない場合(ステップS175;NO)には、ステップS75へ処理を移行して図13Bと同様にステップS75〜ステップS79の処理を行った後でpにcを代入し(ステップS180)、ステップS80へ処理を移行する。
一方、ステップS175にてp=cである場合(ステップS175;YES)及びステップS74’にて所定の輝度値Cがない場合(ステップS74’;NO)には、図15Cに示す如く、B濃淡画像Abに所定の輝度値Cがあるか否かの判別を行う(ステップS86’)。
そして所定の輝度値Cがある場合(ステップS86’;YES)には、e=cであるか否かの判別を行い(ステップS187)、e=cではない場合(ステップS187;NO)には、ステップS87へ処理を移行して図13Cと同様にステップS87〜ステップS91の処理を行った後でeにcを代入し(ステップS192)、ステップS92へ処理を移行する。
一方、ステップS187にてe=cである場合(ステップS187;YES)及びステップS86’にて所定の輝度値Cがない場合(ステップS86’;NO)には、図15Cに示す如く、ステップS92へ処理を移行する。
そして次にステップS68、ステップS80、ステップS92にて、水平方向に端の画素であると判別した場合(ステップS68、ステップS80、ステップS92;YES)には、mが0であるか否かを判別し(ステップS198)、mが0である場合(ステップS198;YES)には水平方向の全画素でG濃淡画像Agを選択して(ステップS199)、ステップS102へ処理を移行する。このとき水平方向の全画素でR濃淡画像Arを選択しても良いし、B濃淡画像Abを選択しても良い。
またステップS198にてmが0でない場合(ステップS198;NO)には、ステップS98へ処理を移行して、図13Dと同様にステップS98〜ステップS103の処理を行う。第二の領域分割及び画像選択処理2は上記のようにして行う。
一般的に、輝度値の起伏が頻繁な濃淡画像は、輝度値の起伏が乏しい濃淡画像に比べて、距離の算出に必要な特徴がある可能性が高い。つまり距離の算出に使用する、例えばエッジや大きな輝度の勾配を持つ領域等の対応点は、輝度値の起伏がある点なので、輝度値の起伏が頻繁な濃淡画像の方が検出可能な対応点の多い輝度分布を備えている可能性が高い。従って上記のように輝度値の起伏の頻繁な濃淡画像を領域毎に選択することにより、対応点の検出精度すなわち被写体精度を向上させることができるので、精度の高い距離データを取得することが可能となる。
次に上述のようにして、図12に示す如く、領域分割部22が分割した所定領域毎に画像選択部15−2が1つの色の濃淡画像を選択すると(ステップS53)、距離算出部16は所定領域毎に画像選択部15により選択された色の基準画像Aの濃淡画像と対応する色の参照画像Bの濃淡画像とから上述のようにして被写体各部までの距離を算出する(ステップS54)。
そして距離算出部16が距離を算出して距離データを取得すると(ステップS54)、次にデータ圧縮部17が算出した距離データを圧縮し、メディア制御部18が圧縮された距離データを記録メディア19に記録して(ステップS55)、画像処理装置1−2による画像処理を終了する。
以上により、本実施形態の画像処理装置1−2によれば、入力された一対の画像データの基準画像Aにおいて、画像データを構成するRGBの色の濃淡画像Ar、Ag、Abを複数の所定領域に分割し、分割された所定領域毎に、RGBの色のうちから最も距離の算出に適する1つ色の濃淡画像を選択し、選択された色の濃淡画像とこの濃淡画像に対応する色の参照画像Bの濃淡画像とから前記距離を算出するので、所定領域毎に最も距離の算出に適する1つの色の濃淡画像でのみ距離の算出を行うことにより精度の高い距離データを算出することができると共に距離の算出に要する時間を低減することができる。このとき距離の算出に要する時間を低減するためのみであれば、必ずしも距離の算出に最適な色の濃淡画像を選択する必要はない。
なお本実施形態では、領域分割部22が基準画像Aについてのみ領域の分割を行い、画像選択部15−2が分割された領域毎に濃淡画像の選択を行ったが本発明はこれに限られるものではなく、参照画像Bについて前記分割及び前記選択を行ってもよいし、基準画像Aと参照画像Bの両方について前記分割及び前記選択を行ってもよい。
また本実施形態ではカラー画像としてR、G、Bの3つの色の濃淡画像で構成された画像を使用したが、本発明はこれに限られるものではなく、例えば4つの色等、複数の色の濃淡画像で構成されたカラー画像にも適用することができる。
また本発明の画像処理装置は、被写体を2つの視点から撮像して得た、各々が複数の色の濃淡画像で構成された一対の画像データから前記被写体までの距離を算出して立体画像データを生成する画像処理装置において、
前記一対の画像データを入力する画像入力手段と、
入力された前記一対の画像データの少なくとも一方の画像データにおいて、該画像データを構成する前記複数の色の濃淡画像を複数の所定領域に分割する領域分割手段と、
該領域分割手段により分割された前記所定領域毎に、前記複数の色の濃淡画像のうちからその一部である少なくとも1つの色の濃淡画像を選択する選択手段と、
前記選択手段により選択された色の濃淡画像と該濃淡画像に対応する色の他方の画像データの濃淡画像とから前記距離を算出する距離算出手段とを備えてなることができる。
前記一対の画像データを入力する画像入力手段と、
入力された前記一対の画像データの少なくとも一方の画像データにおいて、該画像データを構成する前記複数の色の濃淡画像を複数の所定領域に分割する領域分割手段と、
該領域分割手段により分割された前記所定領域毎に、前記複数の色の濃淡画像のうちからその一部である少なくとも1つの色の濃淡画像を選択する選択手段と、
前記選択手段により選択された色の濃淡画像と該濃淡画像に対応する色の他方の画像データの濃淡画像とから前記距離を算出する距離算出手段とを備えてなることができる。
次に第三の実施形態の画像処理装置1−3について、以下図面を参照して詳細に説明する。図16は第三の実施形態の画像処理装置1−3の機能構成を示すブロック図、図17は画像処理装置1−3による一連の画像処理のフローチャートである。なお図16は便宜上、第一の実施形態の画像処理装置1の機能構成を示すブロック図である図1と同様の箇所は同符号で示して説明を省略し、異なる箇所のみ詳細に説明する。
本実施形態の画像処理装置1−3は、図16に示す如く、距離算出部16−3が第一の実施形態とは異なるものであり、距離算出部16−3は読込部14によって読み込まれた基準画像Aと参照画像BとにおいてR、G、Bの3つの色の濃淡画像の全ての画素について被写体各部までの距離を算出するものである。なお本実施形態の距離算出部16−3は全ての画素について前記距離を算出するものとしたが、画素間引きや、部分的な領域についてのみ前記距離を算出するものであってもよい。本実施形態の画像処理装置1−3は上記のように構成されている。次に画像処理装置1−3による画像処理について説明する。図17は画像処理装置1−3による一連の画像処理のフローチャートである。
本実施形態の画像処理装置1−3は、図17に示す如く、画像入力部10が一対の画像データすなわち基準画像Aと参照画像Bを入力し(ステップS110)、読込部14が基準画像Aを構成するRの濃淡画像Ar、Gの濃淡画像Ag、Bの濃淡画像Ab及び画像データBを構成するRの濃淡画像Br、Gの濃淡画像Bg、Bの濃淡画像Bbをそれぞれ読み込んで、輝度値等の画素値を読み出す(ステップS111)。
そして距離算出部16−3が、入力された基準画像Aと参照画像Bとをそれぞれ構成する一対のRの濃淡画像Ar、Br、Gの濃淡画像Ag、Bg、Bの濃淡画像Ab、Bbとから全ての画素について被写体各部までの距離を算出する(ステップS112)。
次に画像選択部15が、読込部14によって読み込まれた基準画像Aを構成するR、G、Bの濃淡画像Ar、Ag、Abのうちから距離算出部16−3による距離の算出に最も適する1つの色の濃淡画像を選択する画像選択処理を行う(ステップS113)。なお画像選択部15による画像選択処理は、上述した第一の実施形態の画像処理装置1と同様の画像選択処理1、画像選択処理2、画像選択処理3、画像選択処理4を使用することができるため、説明は省略する。
そして画像選択部15により基準画像Aを構成するR、G、Bの濃淡画像Ar、Ag、Abのうちから1つの色の濃淡画像が選択されると(ステップS113)、選択された色の基準画像A及び参照画像Bの濃淡画像から算出された距離のデータを、データ圧縮部17が圧縮し、メディア制御部18が圧縮された距離データを記録メディア19に記録する(ステップS114)。このようにして画像処理装置1−3による画像処理は終了する。
以上により本実施形態の画像処理装置1−3によれば、基準画像Aと参照画像Bとを入力し、入力された基準画像Aと参照画像Bの全ての画素について距離を算出し、入力された基準画像Aにおいて、基準画像Aを構成するR、G、Bの色の濃淡画像Ar、Ag、Abのうちから最も距離の算出に適する1つの色の濃淡画像を選択し、選択された色の濃淡画像において算出された距離のデータを記録するので、最も距離の算出に適する1つの色の濃淡画像から算出された距離データが記録されることにより精度の高い距離データを取得することができる。
なお本実施形態では、画像選択部15が基準画像Aについてのみ濃淡画像の選択を行ったが本発明はこれに限られるものではなく、参照画像Bについて前記選択を行ってもよいし、基準画像Aと参照画像Bの両方について前記選択を行ってもよい。
また本実施形態ではカラー画像としてR、G、Bの3つの色の濃淡画像で構成された画像を使用したが、本発明はこれに限られるものではなく、例えば4つの色等、複数の色の濃淡画像で構成されたカラー画像にも適用することができる。
また本発明の画像処理装置は、被写体を2つの視点から撮像して得た、各々が複数の色の濃淡画像で構成された一対の画像データから前記被写体までの距離を算出して立体画像データを生成する画像処理装置において、
前記一対の画像データを入力する画像入力手段と、
入力された前記一対の画像データの複数の色の複数の画素について前記距離を算出する距離算出手段と、
入力された前記一対の画像データの少なくとも一方の画像データにおいて、該画像データを構成する前記複数の色の濃淡画像のうちからその一部である少なくとも1つの色の濃淡画像を選択する選択手段と、
該選択手段により選択された色の濃淡画像において前記距離算出手段が算出した前記距離のデータを記録する記録手段とを備えてなることができる。
前記一対の画像データを入力する画像入力手段と、
入力された前記一対の画像データの複数の色の複数の画素について前記距離を算出する距離算出手段と、
入力された前記一対の画像データの少なくとも一方の画像データにおいて、該画像データを構成する前記複数の色の濃淡画像のうちからその一部である少なくとも1つの色の濃淡画像を選択する選択手段と、
該選択手段により選択された色の濃淡画像において前記距離算出手段が算出した前記距離のデータを記録する記録手段とを備えてなることができる。
次に第四の実施形態の画像処理装置1−4について、以下図面を参照して詳細に説明する。図18は第四の実施形態の画像処理装置1−4の機能構成を示すブロック図、図19は画像処理装置1−4による一連の画像処理のフローチャートである。なお図18は便宜上、第二の実施形態の画像処理装置1−2の機能構成を示すブロック図である図18と同様の箇所は同符号で示して説明を省略し、異なる箇所のみ詳細に説明する。
本実施形態の画像処理装置1−4は、図18に示す如く、距離算出部16−4が第二の実施形態とは異なるものであり、距離算出部16−4は読込部14によって読み込まれた基準画像Aと参照画像BとにおいてR、G、Bの3つの色の濃淡画像の全ての画素について被写体各部までの距離を算出するものである。なお本実施形態の距離算出部16−4は全ての画素について前記距離を算出するものとしたが、画素間引きや、部分的な領域についてのみ前記距離を算出するものであってもよい。本実施形態の画像処理装置1−4は上記のように構成されている。次に画像処理装置1−4による画像処理について説明する。図17は画像処理装置1−3による一連の画像処理のフローチャートである。
本実施形態の画像処理装置1−4は、図19に示す如く、画像入力部10が一対の画像データすなわち基準画像Aと参照画像Bを入力し(ステップS120)、読込部14が基準画像Aを構成するRの濃淡画像Ar、Gの濃淡画像Ag、Bの濃淡画像Ab及び画像データBを構成するRの濃淡画像Br、Gの濃淡画像Bg、Bの濃淡画像Bbをそれぞれ読み込んで、輝度値等の画素値を読み出す(ステップS121)。
そして距離算出部16−4が、入力された基準画像Aと参照画像Bとをそれぞれ構成する一対のRの濃淡画像Ar、Br、Gの濃淡画像Ag、Bg、Bの濃淡画像Ab、Bbとから全ての画素について被写体各部までの距離を算出する(ステップS122)。
次に領域分割部22が、読込部14によって読み込まれた基準画像Aを構成するR、G、Bの色の濃淡画像Ar、Ag、Abを複数の所定領域に分割し、画像選択部15−2が、分割された所定領域毎に、R、G、Bの色の濃淡画像Ar、Ag、Abのうちから最も距離の算出に適する色の濃淡画像を選択する、領域分割及び画像選択処理を行う(ステップS123)。なお領域分割部22と画像選択部15−2による領域分割及び画像選択処理は、上述した第二の実施形態の画像処理装置1−2と同様の領域分割及び画像選択処理1又は領域分割及び画像選択処理2を使用することができるため、説明は省略する。
そして画像選択部15−2により所定領域毎に基準画像Aを構成するR、G、Bの濃淡画像Ar、Ag、Abのうちから1つの色の濃淡画像が選択されると(ステップS123)、選択された色の基準画像A及び参照画像Bの濃淡画像から算出された距離のデータを、データ圧縮部17が圧縮し、メディア制御部18が圧縮された距離データを記録メディア19に記録する(ステップS124)。このようにして画像処理装置1−4による画像処理は終了する。
以上により本実施形態の画像処理装置1−4によれば、基準画像Aと参照画像Bとを入力し、入力された基準画像Aと参照画像Bの全ての画素について距離を算出し、入力された基準画像Aにおいて、基準画像Aを構成するR、G、Bの色の濃淡画像Ar、Ag、Abを複数の所定領域に分割し、分割された所定領域毎に、R、G、Bの色の濃淡画像Ar、Ag、Abのうちから最も距離の算出に適する1つの色の濃淡画像を選択し、選択された色の濃淡画像において算出された距離のデータを記録するので、所定領域毎に最も距離の算出に適する1つの色の画像データから算出された距離データが記録されることにより精度の高い距離データを取得することができる。
なお本実施形態では、画像選択部15−2が基準画像Aについてのみ濃淡画像の選択を行ったが本発明はこれに限られるものではなく、参照画像Bについて前記選択を行ってもよいし、基準画像Aと参照画像Bの両方について前記選択を行ってもよい。
また本実施形態ではカラー画像としてR、G、Bの3つの色の濃淡画像で構成された画像を使用したが、本発明はこれに限られるものではなく、例えば4つの色等、複数の色の濃淡画像で構成されたカラー画像にも適用することができる。
また本発明の画像処理装置は、被写体を2つの視点から撮像して得た、各々が複数の色の濃淡画像で構成された一対の画像データから前記被写体までの距離を算出して立体画像データを生成する画像処理装置において、
前記一対の画像データを入力する画像入力手段と、
入力された前記一対の画像データの複数の色の複数の画素について前記距離を算出する距離算出手段と、
入力された前記一対の画像データの少なくとも一方の画像データにおいて、該画像データを構成する前記複数の色の濃淡画像を複数の所定領域に分割する領域分割手段と、
該領域分割手段により分割された前記所定領域毎に、前記複数の色の濃淡画像のうちからその一部である少なくとも1つの色の濃淡画像を選択する選択手段と、
該選択手段により選択された色の濃淡画像において前記距離算出手段が算出した前記距離のデータを記録する記録手段とを備えてなることができる。
前記一対の画像データを入力する画像入力手段と、
入力された前記一対の画像データの複数の色の複数の画素について前記距離を算出する距離算出手段と、
入力された前記一対の画像データの少なくとも一方の画像データにおいて、該画像データを構成する前記複数の色の濃淡画像を複数の所定領域に分割する領域分割手段と、
該領域分割手段により分割された前記所定領域毎に、前記複数の色の濃淡画像のうちからその一部である少なくとも1つの色の濃淡画像を選択する選択手段と、
該選択手段により選択された色の濃淡画像において前記距離算出手段が算出した前記距離のデータを記録する記録手段とを備えてなることができる。
次に、図20及び図21に上述した実施形態の画像入力部10の構成を示すブロック図の一例をそれぞれ示す。上述した実施形態の画像入力部10は、異なる視点から撮像された視差画像として少なくとも2つの画像データを入力するものであり、例えば1つのカメラが、順次視点を変えて撮像して得られた画像データを入力してもよい。
また画像入力部10として、図20に示す如く、撮影レンズ等で構成される2つの光学系10a−1、10a−2と、CCD等の撮像素子すなわちR用撮像素子10b−1r、10b−2rと、G用撮像素子10b−1g、10b−2gと、B用撮像素子10b−1b、10b−2bと、R用A/D変換部10c−1r、10c−2rと、G用A/D変換部10c−1g、10c−2gと、B用A/D変換部10c−1b、10c−2bとを有し、異なる視点に位置する少なくとも2つの撮像系つまり2眼を備えた複眼カメラ10を使用してもよい。この場合、撮像系は、2つの光学系を持ち、その各々の光軸に対応した複数の撮像素子を配置しそれらの出力信号を用いて信号処理を行い、最終的に1つの撮像出力信号を得る多板構成とする。このような複眼カメラでは略同時に撮像された視差画像を得ることができる。
また画像入力部10は、図21に示す如く、上記と同様の光学系10a−1と、R用撮像素子10b−1rと、G用撮像素子10b−1gと、B用撮像素子10b−1bと、R用A/D変換部10c−1rと、G用A/D変換部10c−1gと、B用A/D変換部10c−1bとを備えてなるカメラ10A及び上記と同様の光学系10a−2と、R用撮像素子10b−2rと、G用撮像素子10b−2gと、B用撮像素子10b−2bと、R用A/D変換部10c−2rと、G用A/D変換部10c−2gと、B用A/D変換部10c−2bとを備えてなるカメラ10Bの2つのカメラから構成されるものであってもよい。この場合カメラ10Aとカメラ10Bは異なる視点から撮像可能な位置に配設される。なお2つ以上のカメラから構成されるものであってもよい。
そして上記図20及び図21の画像入力部10は、該画像処理入力部10により得られた視差画像の画像データを、図2のステップS1又は図12のステップS51、図17のステップS110、図19のステップS120にて入力する。
なお本発明の画像処理装置は、上述した実施形態の画像処理装置に限られるものではなく、本発明の趣旨を逸脱しない範囲において適宜設計変更可能である。
1、1−2、1−3、1−4 画像処理装置
10 画像入力部(画像入力手段)
10A、10B カメラ
10a−1、10a−2 光学系
15、15−2 画像選択部(画像選択手段)
16、16−3、16−4 距離算出部(距離算出手段)
19 記録メディア(記録手段)
22 領域分割部(領域分割手段)
10 画像入力部(画像入力手段)
10A、10B カメラ
10a−1、10a−2 光学系
15、15−2 画像選択部(画像選択手段)
16、16−3、16−4 距離算出部(距離算出手段)
19 記録メディア(記録手段)
22 領域分割部(領域分割手段)
Claims (8)
- 被写体を2つの視点から撮像して得た、各々が複数の色の濃淡画像で構成された一対の画像データから前記被写体までの距離を算出して立体画像データを生成する画像処理装置において、
前記一対の画像データを入力する画像入力手段と、
入力された前記一対の画像データの複数の色の複数の画素について前記距離を算出する距離算出手段と、
入力された前記一対の画像データの少なくとも一方の画像データにおいて、該画像データを構成する前記複数の色の濃淡画像を複数の所定領域に分割する領域分割手段と、
該領域分割手段により分割された前記所定領域毎に、前記複数の色の濃淡画像のうちから最も前記距離算出に適する1つの色の濃淡画像を選択する選択手段と、
該選択手段により選択された色の濃淡画像において前記距離算出手段が算出した前記距離のデータを記録する記録手段とを備えてなることを特徴とする画像処理装置。 - 前記領域分割手段が、前記複数の色の濃淡画像においてそれぞれエッジを抽出し、該抽出されたエッジを有する画素を含む領域毎に前記所定領域を分割するものであり、
前記選択手段が、各々の前記所定領域内で前記エッジが抽出された色の濃淡画像を選択するものであることを特徴とする請求項1に記載の画像処理装置。 - 前記領域分割手段が、前記複数の色の濃淡画像においてそれぞれ予め所定間隔で定められた輝度値を有する画素を検出し、該検出された画素を含む領域毎に前記所定領域を分割するものであり、
前記選択手段が、各々の前記所定領域内で前記画素が検出された色の濃淡画像を選択するものであることを特徴とする請求項1に記載の画像処理装置。 - 前記画像入力手段が、2つのカメラからなるものであることを特徴とする請求項1〜3いずれか1項に記載の画像処理装置。
- 前記画像入力手段が、2つの光学系を備えた複眼カメラであることを特徴とする請求項1〜3いずれか1項に記載の画像処理装置。
- 前記複眼カメラが、多板構成からなる撮像系を備えたものであることを特徴とする請求項5に記載の画像処理装置。
- 被写体を2つの視点から撮像して得た、各々が複数の色の濃淡画像で構成された一対の画像データから前記被写体までの距離を算出して立体画像データを生成する画像処理方法において、
前記一対の画像データを入力し、
該入力された前記一対の画像データの複数の色の複数の画素について前記距離を算出し、
前記入力された前記一対の画像データの少なくとも一方の画像データにおいて、該画像データを構成する前記複数の色の濃淡画像を複数の所定領域に分割し、
該分割された前記所定領域毎に、前記複数の色の濃淡画像のうちから最も前記距離算出に適する1つの色の濃淡画像を選択し、
該選択された色の濃淡画像において算出された前記距離のデータを記録することを特徴とする画像処理方法。 - コンピュータに、被写体を2つの視点から撮像して得た、各々が複数の色の濃淡画像で構成された一対の画像データから前記被写体までの距離を算出して立体画像データを生成することを実行させるための画像処理プログラムにおいて、
前記一対の画像データを入力し、
該入力された前記一対の画像データの複数の色の複数の画素について前記距離を算出し、
前記入力された前記一対の画像データの少なくとも一方の画像データにおいて、該画像データを構成する前記複数の色の濃淡画像を複数の所定領域に分割し、
該分割された前記所定領域毎に、前記複数の色の濃淡画像のうちから最も前記距離算出に適する1つの色の濃淡画像を選択し、
該選択された色の濃淡画像において算出された前記距離のデータを記録することを実行させるための画像処理プログラム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2008085449A JP2009238077A (ja) | 2008-03-28 | 2008-03-28 | 画像処理装置および画像処理方法並びにプログラム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2008085449A JP2009238077A (ja) | 2008-03-28 | 2008-03-28 | 画像処理装置および画像処理方法並びにプログラム |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2009238077A true JP2009238077A (ja) | 2009-10-15 |
Family
ID=41251908
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2008085449A Withdrawn JP2009238077A (ja) | 2008-03-28 | 2008-03-28 | 画像処理装置および画像処理方法並びにプログラム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2009238077A (ja) |
-
2008
- 2008-03-28 JP JP2008085449A patent/JP2009238077A/ja not_active Withdrawn
Similar Documents
Publication | Publication Date | Title |
---|---|---|
TWI729995B (zh) | 基於場景之拍攝圖像而產生合併、融合三維點雲 | |
US8401274B2 (en) | Image processing apparatus and method | |
KR100909325B1 (ko) | 변위 센서 | |
JP4747970B2 (ja) | 画像処理装置 | |
CN103039066B (zh) | 成像装置、图像处理装置以及图像处理方法 | |
JP2001194114A (ja) | 画像処理装置および画像処理方法、並びにプログラム提供媒体 | |
JP7223079B2 (ja) | 画像処理装置およびその制御方法、ならびに撮像装置 | |
CN103262530B (zh) | 视频监视装置 | |
WO2018147059A1 (ja) | 画像処理装置、および画像処理方法、並びにプログラム | |
CN103828345A (zh) | 用于图像处理的设备、方法和程序、存储介质以及图像拾取设备 | |
JP2007128247A (ja) | 画像処理装置、画像処理方法、そのプログラム、およびそのプログラムを記録したコンピュータ読取り可能な記録媒体 | |
JPWO2011125461A1 (ja) | 画像生成装置及び方法並びにプリンタ | |
JP2009236811A (ja) | 画像処理装置および画像処理方法並びにプログラム | |
US11182918B2 (en) | Distance measurement device based on phase difference | |
JP2011237296A (ja) | 3次元形状計測方法、3次元形状計測装置、及びプログラム | |
JP4296617B2 (ja) | 画像処理装置および画像処理方法、並びに記録媒体 | |
JP2002056379A (ja) | 3次元データ生成装置 | |
JP4337203B2 (ja) | 距離画像生成装置および距離画像生成方法、並びにプログラム提供媒体 | |
JP7132501B2 (ja) | 測距カメラ | |
JP2015148498A (ja) | 測距装置および測距方法 | |
JP2009238076A (ja) | 画像処理装置および画像処理方法並びにプログラム | |
JP2009238077A (ja) | 画像処理装置および画像処理方法並びにプログラム | |
JP2009238075A (ja) | 画像処理装置および画像処理方法並びにプログラム | |
JP4605582B2 (ja) | ステレオ画像認識装置及びその方法 | |
WO2016056202A1 (en) | Image processing apparatus, image processing method, and program |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A300 | Application deemed to be withdrawn because no request for examination was validly filed |
Free format text: JAPANESE INTERMEDIATE CODE: A300 Effective date: 20110607 |