JP2006109385A - 画像処理装置および方法、並びにプログラム - Google Patents

Abstract

【課題】複数の特徴量を利用して、消失点を算出することができる。
【解決手段】ｎ個の特徴量抽出部５１それぞれには、入力画像が供給され、各特徴量抽出部５１は、１フレーム毎にその各画素の所定の特徴量を抽出する。例えば特徴量抽出部５１−１は、色差値を抽出し、特徴量抽出部５１−２は、エッジ強度を抽出する。各特徴量抽出部５１は、抽出した各画素の特徴量を特徴量評価部９１に供給する。特徴量評価部９１は、特徴量抽出部５１から供給された特徴量に基づいて各画素の評価値を算出し、量子化部５２に供給する。量子化部５２は、特徴量評価部９１から供給された各画素の評価値に基づいて、入力画像を量子化する。
【選択図】 図３２

Description

本発明は、画像処理装置および方法、並びにプログラムに関し、被写体像の動きを利用した画像処理に最適な画像処理装置および方法、並びにプログラムに関する。

例えば真上から見ると図１に示すような花畑を、ビデオカメラによって、一定の仰角で撮像すると、図２に示すように、所定の模様が手前になるほど粗く、遠ざかるほど細かくなる映像が得られる。なお以下において、一定の仰角で撮像された場合に、手前になる程粗く、遠ざかるほど細かくなる傾向を有する模様の単位を、肌理と称し、その傾向の程度を、肌理の勾配と称する。

ところでビデオカメラでは、通常、撮像の結果得られた画像について、被写体像の動きを利用したノイズリダクション等の処理を施して、録画等がなされる。

具体的には、図２に示したように一定の仰角を伴って、水平方向に直線運動するビデオカメラにより撮像された被写体の像は等速直線運動になっていないので、撮像画像の中の等速直線運動と近似し得る部分が適宜検出されて、その部分に対応する１つ前の画像の部分に動き補償がなされ、検出された部分と足し合わされることで行われる。

しかしながら一定の仰角で撮像された画像上の被写体像は、等速直線運動していないので、結局、正確に動き補償を行うことができず、ノイズリダクション等の処理も適切に行うことができない問題があった。

本発明はこのような状況に鑑みてなされたものであり、被写体像の動きを利用した処理を適切に行うことができるようにするものである。

本発明の画像処理装置は、撮像機器によって、所定の仰角で撮像された結果得られた入力画像から、複数の特徴量を抽出する抽出手段と、抽出された複数の特徴量に基づいて評価値を算出する評価値算出手段と、評価値に基づいて、入力画像を量子化する量子化手段と、量子化手段により量子化された入力画像に基づいて、消失点を算出する消失点算出手段と、消失点の情報を用いて画像の処理を行う画像処理手段とを備えることを特徴とする。

評価値算出手段は、複数の特徴量に、各特徴量に応じた重み付けを行って評価値を算出することができる。

評価値算出手段は、入力画像の一部または全部の特徴量に基づいて、特徴量に応じた重みを算出し、算出したその重みで重み付けを行って評価値を算出することができる。

本発明の画像処理方法は、撮像機器によって、所定の仰角で撮像された結果得られた入力画像から、複数の特徴量を抽出する抽出ステップと、抽出された複数の特徴量に基づいて評価値を算出する評価値算出ステップと、評価値に基づいて、入力画像を量子化する量子化ステップと、量子化ステップにより量子化された入力画像に基づいて、消失点を算出する消失点算出ステップと、消失点の情報を用いて画像の処理を行う画像処理ステップとを含むことを特徴とする。

本発明のプログラムは、撮像機器によって、所定の仰角で撮像された結果得られた入力画像から、複数の特徴量を抽出する抽出ステップと、抽出された複数の特徴量に基づいて評価値を算出する評価値算出ステップと、評価値に基づいて、入力画像を量子化する量子化ステップと、量子化ステップにより量子化された入力画像に基づいて、消失点を算出する消失点算出ステップと、消失点の情報を用いて画像の処理を行う画像処理ステップとを含むことを特徴とする。

本発明の画像処理装置および方法、並びにプログラムにおいては、撮像機器によって、所定の仰角で撮像された結果得られた入力画像から、複数の特徴量が抽出され、抽出された複数の特徴量に基づいて評価値が算出され、評価値に基づいて、入力画像が量子化され、量子化された入力画像に基づいて、消失点が算出され、消失点の情報を用いて画像の処理が行われる。

本発明によれば、消失点を用いて画像処理を行うことができる。

以下に本発明の実施の形態を説明するが、本明細書に記載の発明と、発明の実施の形態との対応関係を例示すると、次のようになる。この記載は、本明細書に記載されている発明をサポートする実施の形態が本明細書に記載されていることを確認するためのものである。従って、発明の実施の形態中には記載されているが、発明に対応するものとして、ここには記載されていない実施の形態があったとしても、そのことは、その実施の形態が、その発明に対応するものではないことを意味するものではない。逆に、実施の形態が発明に対応するものとしてここに記載されていたとしても、そのことは、その実施の形態が、その発明以外の発明には対応しないものであることを意味するものでもない。

さらに、この記載は、本明細書に記載されている発明の全てを意味するものではない。換言すれば、この記載は、本明細書に記載されている発明であって、この出願では請求されていない発明の存在、すなわち、将来、分割出願されたり、補正により出現、追加される発明の存在を否定するものではない。

本発明の画像処理装置は、撮像機器によって、所定の仰角で撮像された結果得られた入力画像から、複数の特徴量を抽出する抽出手段（例えば、図３２の特徴量抽出部５１）と、抽出された複数の特徴量に基づいて評価値を算出する評価値算出手段（例えば、図３２の特徴量評価部９１）と、評価値に基づいて、入力画像を量子化する量子化手段と、量子化手段により量子化された入力画像に基づいて、消失点を算出する消失点算出手段（例えば、図３２の消失点算出部２２）と、消失点の情報を用いて画像の処理を行う画像処理手段（例えば、図３の画像変換部１３および処理部１４）とを備えることを特徴とする。

図３は、本発明を適用した画像処理装置１の構成例を示している。画像処理装置１は、図２に示したような一定の仰角を伴って水平方向に直線運動するビデオカメラにより撮像された結果得られた画像（一定の肌理の勾配を有する画像）を、正面から撮像された画像（図２の例では、真上から撮像された画像（図１））（肌理の勾配がない画像）（以下、正対画像と称する）に変換する。すなわち被写体の像が画像中でも等速直線運動となるように変換される。

そして画像処理装置１は、正対画像全体に対して、例えば動き補償付きノイズリダクション処理を行う。すなわち正対画像中では被写体の像が等速直線運動になっているので、正確な動き補償を行うことができ、その結果ノイズリダクション等を適切に行うことができる。

画像処理装置１は、処理の結果得られた画像を、元の肌理の勾配を有する画像に戻し、例えばそれを図示せぬ記録媒体や表示部等に出力する。

画像処理装置１の構成について説明する。

画像入力部１１は、図示せぬ撮像部によって撮像された結果得られた画像を入力する。例えば、図２に示すような、撮像部によって、一定の仰角を伴って水平方向に直線運動するビデオカメラにより撮像された画像が入力される。

画像入力部１１は、入力した入力画像を、仰角算出部１２および画像変換部１３に供給する。

仰角算出部１２は、画像入力部１１から供給された入力画像から、その画像の撮像時の撮像部の仰角を算出し（例えば、フレーム毎に算出し）、画像変換部１３および画像変換部１５に供給する。

仰角算出部１２は、図４に示すように構成されている。量子化部２１は、画像入力部１１から供給された入力画像をフレーム毎に量子化し、消失点算出部２２に供給する。

消失点算出部２２は、量子化部２１から供給された量子化データに基づいて消失点（撮像画像上の座標）を算出し、仰角算出部２３に供給する。

消失点とは、被写体の平面が無限遠方に収束する点であり、この例の場合、肌理の勾配から求められる。

仰角算出部２３は、消失点算出部２２から供給された消失点の座標を利用して、入力画像の撮像時の撮像部の仰角を算出し、その算出結果を画像変換部１３に供給する。

なお量子化部２１乃至仰角算出部２３の構成および処理の詳細については後述する。

図３に戻り画像変換部１３は、仰角算出部１２から供給された撮像部の仰角に基づいて、画像入力部１１から供給された入力画像を、正面から撮像した場合に得られる画像（正対画像）に変換する。すなわち被写体の像が等速直線運動する画像が生成される。画像変換部１３は、変換した正対画像を、処理部１４に供給する。

ここで画像変換部１３の画像変換の原理について説明する。

例えば図５に示すような等間隔に穴が空いた鉄板Ｔを、図６に示すように、カメラＣＡによって所定の仰角θで撮像すると、図７に示すような、穴の模様（肌理）が手前になるほどが粗く、遠ざかるほどが細かくなるような勾配を有する画像Ｄａが得られる。なお図７中の目盛りＭは、穴の模様の縦方向（肌理の勾配方向）の位置を表している。

このような肌理の勾配を有する画像Ｄａを、今度は、図８に示すように、プロジェクタＰＪを用いて、カメラＣＡの仰角θと同じ分だけ傾けられたスクリーンＳＣに表示すると、図９に示すように、実際の鉄板Ｔ（図５）と同様に、穴の模様が一定間隔で並ぶ鉄板Ｔの画像Ｄｂが映し出される。

なお図９の矢印の元は、画像Ｄａの所定の穴の模様の縦方向の位置を表し、矢印の先は、矢印の元の画像Ｄａの穴の模様に対応する画像Ｄｂの穴の模様の縦方向の位置を表している。

すなわち画像変換部１３は、図９に示すような正対画像（画像Ｄｂ）および入力画像（画像Ｄａ）の画素位置と仰角（θ）の幾何学的な関係を利用して、算出された仰角に基づいて、正対画像を構成する各画素に対応する入力画像の画素を検出し、検出した入力画像の画素の画像値を正対画像の画素に設定することで、正対画像を生成する。

なお消失点（正確には消失点の像）Ｒは、図７の例では、穴の模様の縦方向の間隔がなくなる図上、上方に存在する。また図９に示すように、消失点Ｒと焦点Ｑを結ぶ線は、被写体の面（図９の例では、スクリーンの面）と並行となることから、仰角（カメラ光軸と被写体の面の角度）は、消失点を求めることで得ることができる。すなわちこの理由から、仰角算出部１２では、はじめに消失点を求め（消失点算出部２２）、それを利用して仰角を算出する（仰角算出部２３）。

図３に戻り処理部１４は、画像変換部１３から得られた正対画像に対して、動き補償付きノイズリダクション処理を行い、その結果得られた画像を、画像変換部１５に供給する。

具体的には、動き補償付きフレームメモリ３１は、画像変換部１３から供給された正対画像を、所定フレーム分遅延させて、動きベクトル推定部３２に供給する。動き補償付きフレームメモリ３１はまた、アドレス制御部３３の制御に従って、入力された正対画像について動きベクトル推定部３２で推定された動きベクトルに応じた動き補償を行って記憶し、それを乗算器３４に供給する。

動きベクトル推定部３２は、画像変換部１３から供給された正対画像と、動き補償付きフレームメモリ３１から供給された正対画像（過去の画像）を利用してブロックマッチング等を行い、動きベクトルを推定し、アドレス制御部３３に供給する。

アドレス制御部３３は、動きベクトル推定部３２から供給された動きベクトルに応じて、動き補償付きフレームメモリ３１に記憶される正対画像をシフトさせる（動き補償）。

乗算部３４は、動き補償付きフレームメモリ３１から供給された正対画像（過去の正対画像）に係数ｋ（０＜ｋ＜１）を乗算し、その結果を加算器３６に供給する。

乗算器３５は、画像変換部１３から供給された正対画像に係数（１−ｋ）を乗算し、その結果得られた画像を加算器３６に供給する。なお係数ｋは、推定された動きベクトルに基づいて信頼性判断が適宜行われて決定される。

加算器３６は、乗算器３４から供給された画像と、乗算器３５から供給された画像を加算し、その結果得られた画像（ノイズが除去された画像）を画像変換部１５に供給する。

画像変換部１５は、処理部１４から供給された正対画像（ノイズが除去された正対画像）を、仰角算出部１２から供給された仰角に基づいて、入力画像と同様の肌理の勾配を有する画像（以下、出力画像と称する）に変換し、画像出力部１６に供給する。

画像出力部１６は、画像変換部１５から供給された出力画像を、例えば図示せぬ表示部に出力して表示させたり、記録媒体に出力して記録させる。

次に、図１０のフローチャートを参照して、画像処理装置１の動作を説明する。

ステップＳ１において、仰角算出部１２（図３）は、画像入力部１１から入力された入力画像から、撮像時の撮像部の仰角を算出する。ここでの処理を、図１１のフローチャートと図４を参照して説明する。

ステップＳ１１において、仰角算出部１２の量子化部２１（特徴量抽出部５１）は、入力画像の１フレーム毎にその各画素の特徴量を抽出する。例えば各画素の色差値やエッジ強度が抽出される。なおエッジ強度を特徴量とする場合、特徴量抽出部５１は、微分フィルタ（図示せず）を内蔵し、入力画像のエッジを強調してエッジ強度を抽出する。

ステップＳ１２において、量子化部２１の量子化部５２は、ステップＳ１１で抽出された各画素の特徴量に基づいて、入力画像を量子化する。

例えば特徴量が色差値である場合、所定の基準値と同じ色差値を有する画素の値が１とされ、それ以外の色差値を有する画素の値が０とされる。

例えば図２に示した入力画像は、図１２に示すように量子化される。なお図１２中、白点は、値１の画素を表し、黒点は、値０の画素を表している。

ここで基準値を決定するための処理を、図１３のフローチャートを参照して説明する。

ステップＳ２１において、入力画像（例えば、１フレーム）から、所定の特徴量（この例の場合、色差値）のヒストグラムが生成される。

ステップＳ２２において、ステップＳ２１で生成されたヒストグラムにおいて、度数の上位ｎ個の色差値が選択される。

ステップＳ２３において、ステップＳ２２で選択されたｎ個の色差値の中から１個の色差値が選択され、ステップＳ２４において、選択された色差値と同じ色差値を有する画素の位置が検出される。

次にステップＳ２５において、図１４乃至図１６に示す例のように、ステップＳ２４でその位置が検出された画素の、水平方向の位置（Ｘ軸座標）の最大値と最小値の差、および垂直方向の位置（Ｙ軸座標）の最大値と最小値の差がそれぞれ算出されるとともに、その合計値が算出される。

ステップＳ２６において、ステップＳ２２で選択されたｎ個の色差値のすべてがステップＳ２３で選択されたか否かが判定され、まだ選択されていない色差値があると判定された場合、ステップＳ２３に戻り、次の色差値が選択され、ステップＳ２４以降の処理が同様に行われる。

ステップＳ２６で、すべての色差値が選択されたと判定された場合、ステップＳ２７に進み、ステップＳ２５で算出された合計値の中で最大の合計値が得られた色差値が基準値として選択される。

このようにして基準値が決定される。すなわち入力画像に、例えば比較的多く存在する色であって、入力画像全体に分布している色の色差値が基準値となり、そのような色について量子化される。

なおここでは特徴量が色差値である場合を例として説明したが、エッジ強度等の他の特徴量についても同様にして基準値が決定される。

図１１に戻りステップＳ１３において、仰角算出部１２（消失点算出部２２）は、ステップＳ１２で得られた量子化データから消失点を算出する。

具体的には、消失点算出部２２の肌理勾配算出部６１は、ステップＳ１２で得られた量子化データ（図１２）から、ライン毎に、白点（肌理）の間隔の平均値（肌理勾配データ）を算出する。例えば図１７に示すように、所定のラインにおいて値が１の画素ａ１，ａ２，ａ３，ａ４が並んでいる場合、その間隔の平均値が算出される。

そして肌理勾配算出部６１は、算出したライン毎のこの平均値ＡＶ（図１８）に基づいて、図１９に示すように回帰直線を設定する。すなわちこの回帰直線が肌理の勾配に相当する。

次に消失点算出部６２は、設定された回帰直線と、そのＹ軸（入力画像上のＹ軸）との交点を消失点として算出する。

消失点Ｒは、入力画像（図２）を見た場合の被写体の平面が無限遠方に収束する点であるので、図２０に示すように入力画像を超えた位置に存在する場合もある。なお消失点ＲのＸ軸座標は、入力画像の中心点のＸ軸座標とする。

次にステップＳ１４において、仰角算出部１２（仰角算出部２３）は、ステップＳ１３で算出された消失点を利用して仰角を算出する。

仰角は、図２１に示すように、消失点Ｒと焦点Ｑを結ぶ直線と、結像面Ｚの中心点と焦点Ｑを結ぶ直線からなる角度と同値であるので、仰角は、式（１）に示すように算出される。

なお式中、ｐは、入力画像の中心点と消失点Ｒの距離（図２０）であり、ｈは、入力画像のＹ軸方向の大きさ（高さ）（図２０）であり、ｒは、ｐ／ｈである。またｋは所定の係数である（後述）。また図２１に示した幾何学関係は、図２２に示すこともできる。

このようして仰角が算出されると図１０のステップＳ２において、画像変換部１３は、その仰角を利用して、入力画像を正対画像に変換する。

具体的には、正対画像の画素（ｘ１，ｙ１）毎に、それに対応する入力画像の画素（ｘ０，ｙ０）が検出される（図２３）。

正対画像の画素（ｘ１，ｙ１）、入力画像の画素（ｘ０，ｙ０）、および仰角θは、図２４に示すような幾何学的な関係を有しているので、正対画像の画素（ｘ１，ｙ１）に対応する入力画像の画素（ｘ０，ｙ０）は、式（２）に示すように求められる。
これを用いて、入力画像が与えられたとき被写体平面上の実際の模様を推定することができる。

次にステップＳ３に進み、処理部１４は、画像変換部１３により変換された正対画像に対して、上述したような動き補償付きノイズリダクション処理を施する。

ステップＳ４において、画像変換部１５は、ステップＳ１で算出された仰角を利用して、処理部１４によりノイズリダクション処理が施された正対画像を、元の肌理の勾配を有する画像（出力画像）に変換する。

具体的には、出力画像の画素（ｘ０，ｙ０）毎に、それに対応する正対画像（ｘ１，ｙ１）の画素が検出される（図２５）。

出力画像の画素（ｘ０，ｙ０）、正対画像の画素（ｘ１，ｙ１）、および仰角θは、図２６に示すような幾何学的な関係を有しているので、出力画像の画素（ｘ０，ｙ０）に対応する正対画像の画素（ｘ１，ｙ１）は、式（３）に示すように求められる。これを用いればフィルムにどのように像が写るかを知ることができる。

次にステップＳ５において、画像出力部１６は、画像変換部１５から供給された出力画像を、表示部や記録媒体に供給する。

以上のような処理が１フレーム毎に繰り返し行われて、入力画像が処理される。

実際にカメラで撮影した画像から被写体平面上の模様を推定しようとする際、カメラの画角や原点からの距離は未知である場合が多い。正しいkおよびdの値を、それぞれk0, d0, 推定値をk1, d1とすると、推定した被写体平面上の点P(x1,y1)と実際の被写体平面上の点P(X1,Y1)との関係は、式(2)でk=k1, d=d1とし、これを式(3)でk=k0, d=d0としたものに代入することにより、式(17) となる。

このことから、レンズの焦点距離 k h やカメラの原点からの距離 d が正確に求まっていなくても、推定した被写体平面上に描画した模様は、実際の被写体平面上の模様を x および y 方向に定数倍に拡大もしくは縮小したものとなる。このようにして求めた正対画像上では、多くの場合、物体は等速直線運動を行っていると考えることができる。

これは、簡単な作図によっても確認することが可能である（図２７乃至図２９）

例えば図２１を参照して説明すると、画角ｆｏｖは、式（４）に示すように、係数ｋで特定され、仰角は、式（１）に示したようにその係数を含んで求められるので、画角に応じて仰角は変化する。なお図２７乃至図２９の例において、縦方向の拡大率をｒとすると、式（５）が成立する。

また以上においては、水平被写体を撮像した場合を例として説明したが、図３０に示すように垂直被写体を撮像した場合においても、本発明を適用することができる。

この場合の画像処理装置１の構成例を図３１に示す。この画像処理装置には、図３に示す画像処理装置１に、画像回転部７１乃至スイッチ７３がさらに設けられている。

画像回転部７１は、画像入力部１１から供給された入力画像（垂直被写体像をも含む可能性のある画像）を９０度回転し、その結果得られた画像（以下、回転画像と称する）を、方向決定部７２およびスイッチ７３に供給する。

方向決定部７２は、仰角算出部１２から供給された信頼性情報に基づいて、スイッチ７３を制御して、画像回転部７１から供給される回転画像または画像入力部１１から供給される入力画像を選択させ、いずれか一方の画像を仰角算出部１２および画像変換部１３に供給させる。

仰角算出部１２は、仰角を算出する際に、はじめに、入力画像そのもの、および入力画像が９０度回転された画像（回転画像）のいずれを利用して仰角を算出すればよいかを表す信頼性情報を生成し、方向決定部７２に供給する。

具体的には仰角算出部１２は、１フレームの入力画像および回転画像のそれぞれから消失点を算出し、そのとき利用した回帰直線（図１９）に対して、各肌理勾配データ（図１９の例の場合、ライン毎の値が１の画素の間隔平均値）がどれだけ離れているかを算出し（分散や偏差を算出し）、それを（またはその逆数を）信頼性情報とする。

すなわち方向決定部７２は、入力画像から得られた信頼性情報と、回転画像から得られた信頼性情報を比較し、信頼性が高い方（分散や偏差が小さい方）の画像が仰角算出部１２および画像変換部１３に供給されるようにスイッチ７３を制御する。

上記の方向決定処理は、所定数のフレームにつき1回行うものとする。

以上のようにして、垂直被写体に対しても本発明を適用することができる。また、原理的には本発明は、水平と垂直以外の任意の角度のついた平面に対しても適用することが可能である。

また以上においては、仰角算出部１２の量子化部２１（図４）において入力画像を量子化する際に、各画素について、１個の特徴の特徴量（例えば、色差値またはエッジ強度）を利用したが、複数の特徴の特徴量を利用することができる。

この場合の仰角算出部１２の構成例を図３２に示す。この仰角算出部には、図４の仰角算出部１２の量子化部２１に代えて、量子化部８１が設けられている。この量子化部８１には、ｎ個の特徴量抽出部５１−１乃至５１−ｎと、特徴量評価部９１が設けられている。他の部分は、図４における場合と同様であるので、その説明は適宜省略する。

ｎ個の特徴量抽出部５１それぞれには、入力画像が供給され、各特徴量抽出部５１は、１フレーム毎にその各画素の所定の特徴量を抽出する。例えば特徴量抽出部５１−１は、色差値を抽出し、特徴量抽出部５１−２は、エッジ強度を抽出する。各特徴量抽出部５１は、抽出した各画素の特徴量を特徴量評価部９１に供給する。

特徴量評価部９１は、特徴量抽出部５１から供給された特徴量に基づいて各画素の評価値を算出し、量子化部５２に供給する。

量子化部５２は、特徴量評価部９１から供給された各画素の評価値に基づいて、入力画像を量子化する。

このようにして複数の特徴量を利用して入力画像を量子化することができる。

また特徴量評価部９１は、各特徴Ｃに対して評価値Ｅを算出する。そして図３３に示すような、利用する特徴Ｃに応じた重み値Ｗを示すテーブルを保持しておき、評価値Ｅを算出する際に、式（６）に示すように重み付けを行って評価値Ｅを算出することができる。
Ｅ＝Ｗ１・Ｅ１＋Ｗ２・Ｅ２＋・・・＋Ｗｎ・Ｅｎ・・・（６）
ただし、Ｅ１乃至ＥｎはＣ１乃至Ｃｎの特徴量による評価値とする。

また特徴量評価部９１は、図３４に示すような所定の特徴（利用する特徴の全部または一部）（図３４の例では、特徴Ｃ１乃至Ｃｊ）に応じた重み値Ｗ（Ｗ１乃至Ｗｊ）を示すテーブルを保持しておき、その特徴の特徴量から評価値Ｚを、式（７）に示すように算出する。
Ｚ＝Ｗ１・Ｅ１＋Ｗ１・Ｅ２＋・・・＋Ｗｊ・Ｅｊ・・・（７）

そして特徴量評価部９１は、図３５に示すような、評価値Ｚに応じた、所定の特徴Ｃ（利用する特徴の全部または一部（図３５の例では、評価値Ｚを算出する際に利用されなかった特量Ｃ(j+1)乃至Ｃｎ）の重み値Ｗ（Ｗ(j+1)乃至Ｗｎ）を示すテーブルを保持しておき、その重み値Ｗの組みから、式（８）に示すように評価値Ｅを算出することもできる。
Ｅ＝Ｗ(j+1)・Ｅ（j+1）＋Ｗ(j+2)・Ｅ（j+2）＋・・・＋Ｗｎ・Ｅｎ・・・（８）

図３６は、仰角算出部１２の他の構成例を示している。この仰角算出部には、図４に示す仰角算出部１２の量子化部２１および消失点算出部２２に代えて、消失点算出部１０１が設けられている。他の部分は、図４における場合と同様である。

この仰角算出部１２の動作を、図３７のフローチャートを参照して説明する。

ステップＳ５１において、消失点算出部１０１は、繰り返し回数Ａを設定する。

ステップＳ５２において、消失点算出部１０１は、乱数 i, j, s を発生させる。

ステップＳ５３において、消失点算出部１０１は、図３９に示すように、入力画像から所定の座標（ｉ，ｊ）を中心とした、一辺の長さがＳの正方形（以下、サブ画像と称する）を切り出す。

サブ画像の中心座標（ｉ，ｊ）は、式（９）に示すように決められる。式中、ｗは、入力画像のＸ軸方向の長さであり、ｈは、Ｙ軸方向の長さである（図３８）。random()は、０以上１未満のランダムな実数を発生させる乱数発生器（図示せず）の出力で、計算の度に異なった値となる。すなわちｉの計算に利用される乱数とｊの計算に利用される乱数は異なる。
ｉ＝ｗ×random()
ｊ＝ｈ×random()・・・・（９）

またサブ画像の一辺の長さｓは、式（１０）で算出される。式中、logは、自然対数であり、expは、指数関数であり、min(a,b)は、ａとｂの小さい方を示す関数である。

なおサブ画像が入力画像からはみ出る場合、はみ出なくなるまで別の乱数でｉ、ｊ、ｓが、それぞれが計算される。

次に、ステップＳ５４において、消失点算出部１０１は、（i,j）を中心に入力画像から切り出した上下それぞれＳの幅の帯状の部分である、部分画像の各画素（ｐ，ｑ）について、サブ画像とマッチングを行う。具体的には、消失点算出部１０１は、部分画像の各画素（ｐ，ｑ）を中心に、一辺の長さＳの正方形と切り出し、サブ画像との間で、全画素についての、RGBそれぞれの画素値の差の絶対値の合計値Ｖ（ｐ，ｑ）を算出する。この処理では絶対値以外にも二乗値も用いられる。

ステップＳ５５において、消失点算出部１０１は、ステップＳ５４で算出した各画素の合計値Ｖ（ｐ，ｑ）に基づいて、Ｙ座標毎の特徴量Ｕ（ｐ）を特定する。

具体的には、Ｙ座標毎の合計値Ｖ（ｐ，ｑ）の最小値が特徴量Ｕ（ｐ）とされる（式（１１））。

またＹ座標毎の合計値Ｖ（ｐ，ｑ）の平均値が特徴量Ｕ（ｐ）とされる（式（１２））。

またＹ座標毎の合計値Ｖ（ｐ，ｑ）のうち、q=sにおける値が特徴量Ｕ（ｐ）とされる（式（１３））。

ステップＳ５６において、消失点算出部１０１は、ステップＳ５５で算出された特徴量Ｕから肌理勾配データａを算出する。

例えば特徴量Ｕのアクティビティ値が（式（１４））、肌理勾配データａとされる。

また特徴量Ｕの自己相関関数Ｘ（ｔ）を利用して、肌理勾配データａを算出することもできる。

具体的には、式（１５）を満たすｔ１を自己相関の半値とし（図４０）、これが肌理勾配データａとされる。

また自己相関関数Ｘ（ｔ）がゼロになる回数（ゼロクロス）の逆数が肌理勾配データａとされる（図４１）。ゼロクロス回数が0の場合は、a=0とする。

また式（１６）により求められる相関アクティビティが肌理勾配データａとされる。

以上のようにして、部分画像の肌理勾配データａが算出されると、ステップＳ５７に進む。

ここでは、上記各試行毎に、部分画像に対してＸ軸座標毎の特徴量Ｕが算出されるとともに、その特徴量Ｕから肌理勾配データａが求められる。

消失点算出部１０１は、図４２に示すような、肌理勾配データａを利用して、分割領域毎に、１つの点をプロットする。

上記ステップＳＳ５２乃至Ｓ５７までの試行を１試行とする。この次にステップＳ５８に進み、上記試行が、所定回数Ａだけ繰り返されたかどうかが判定され、そうであればステップＳ５９に、そうでなければステップＳ５２に進む。

ステップＳ５８で試行が所定の回数繰り返されたと判定された場合、ステップＳ５９において、消失点算出部１０１は、図４３に示すように、上記プロットの集合を、垂直方向にｎの区分に分け、それぞれの区分の中に含まれるプロットのみを対象として、肌理勾配データａの平均値やメディアンをＡ（ｎ）とし、ｊ方向の中間の中間値をｊ（ｎ）として、その座標で特定される点をプロットする。

さらに消失点算出部１０１は、このプロットを利用して、回帰直線を設定し、そのＹ軸との交点を消失点とする。

ステップＳ６０において、仰角算出部２３は、ステップＳ５９で算出された消失点を利用して、仰角を算出する。

図４４乃至図４８は、上記処理の例を示している。

図４９は、仰角算出部１２の他の構成例を示している。この仰角算出部には、図４に示す仰角算出部１２の量子化部２１および消失点算出部２２に代えて、ブロック化部１１１と消失点算出部１１２が設けられている。他の部分は、図４における場合と同様である。

ブロック化部１１１は、入力画像を、肌理の勾配を利用してブロックサイズを決定する。

ブロック化部１１１の構成について説明する。ブロック化メモリ１２１は、アドレス制御部１２５の制御に従って、入力画像の一部（ブロック）を切り出して、特徴量算出部１２２に供給する。

特徴量算出部１２２は、ブロック化メモリ１２１から供給されたブロックから所定の特徴量を算出する。例えばブロック内の画素の輝度値やエッジ強度のヒストグラムの分布、RGBヒストグラムの各成分の差分、またはブロック内の画素の輝度値やエッジ強度の最大値、最小値、若しくはダイナミックレンジが特徴量として算出される。

特徴量判定部１２３は、特徴量算出部１２２から供給されたブロックの特徴量に応じてブロック化メモリ１２１で切り出されるブロックのサイズを小さくさせたり、そのときのブロックの大きさを記憶部１２４に記憶させる。

アドレス制御部１２５は、特徴量判定部１２３からの判定結果に基づいて、切り出されるブロックのサイズを変更させて、入力画像全体からブロックを切り出させる。

消失点算出部１１２は、ブロック化部１１１で特定されたブロックのサイズを利用して、消失点を算出する。

次に、この仰角算出部１２の動作を、図５０のフローチャートを参照して説明する。

ステップＳ７１において、アドレス制御部１２５は、ブロックサイズを初期値に設定し、ステップＳ７２において、ブロック化メモリ１２１を制御して、ブロックをラスタ順の所定の位置に設定する。

ステップＳ７３において、ブロック化メモリ１２１は、設定されたブロックを切り出す。ここで切り出されたブロックは特徴量算出部１２２に供給される。

ステップＳ７４において、特徴量算出部１２２は、ブロック化メモリ１２１から供給されたブロックの特徴量を算出する。

次にステップＳ７５において、特徴量判定部１２３は、特徴量算出部１２２により算出された特徴量と基準特徴量（初期ブロックサイズの特徴量もしくは直前ブロックサイズの特徴量）との差が所定の閾値より大きいか否かを判定し、それ以下であると判定した場合、ステップＳ７６に進み、その旨をアドレス制御部１２５に通知する。これにより、アドレス制御部１２５は、切り出すブロックのサイズを１サイズ分だけ小さくする。

その後処理は、ステップＳ７３に戻り、それ以降の処理が行われる。

ステップＳ７５で、閾値より大きいと判定された場合、ステップＳ７７に進み、特徴量判定部１２３は、そのときのブロックサイズを記憶部１２４に記憶する。

次にステップＳ７８において、アドレス制御部１２５は、入力画像全体からブロックを切り出したか否かを判定し、切り出していないと判定した場合、ステップＳ７１に戻り、ブロックサイズを初期サイズに設定するとともに、ステップＳ７２において、ブロックを次のラスタ順の位置に移動させる。そしてそれ以降の処理が同様にして行われる。

ステップＳ７８で、入力画像全体からブロックが切り出されたと判定された場合、ステップＳ７９に進む。

ステップＳ７９において、消失点算出部１１２は、特定されたブロックについて、ライン毎にブロックサイズの平均値を算出する。

次にステップＳ８０において、消失点算出部１１２は、算出した平均値を利用して回帰直線を設定し、消失点を算出する。

ステップＳ８１において、仰角算出部２３は、ステップＳ８０で算出された消失点を利用して、仰角を算出する。

その後処理は終了する。

上述した一連の処理は、ハードウエアにより実現させることもできるが、ソフトウエアにより実現させることもできる。一連の処理をソフトウエアにより実現する場合には、そのソフトウエアを構成するプログラムがコンピュータにインストールされ、そのプログラムがコンピュータで実行されることより、上述した画像処理装置１が機能的に実現される。

図５１は、コンピュータ５０１の構成例を示している。CPU（Central Processing Unit）５１１にはバス５１５を介して入出力インタフェース５１６が接続されており、CPU５１１は、入出力インタフェース５１６を介して、ユーザから、キーボード、マウスなどよりなる入力部５１８から指令が入力されると、例えば、ROM（Read Only Memory）５１２、ハードディスク５１４、またはドライブ５２０に装着される磁気ディスク５３１、光ディスク５３２、光磁気ディスク５３３、若しくは半導体メモリ５３４などの記録媒体に格納されているプログラムを、RAM（Random Access Memory）５１３にロードして実行する。これにより、上述した各種の処理が行われる。さらに、CPU５１１は、その処理結果を、例えば、入出力インタフェース５１６を介して、LCD（Liquid Crystal Display）などよりなる出力部５１７に必要に応じて出力する。なお、プログラムは、ハードディスク５１４やROM５１２に予め記憶しておき、コンピュータ５０１と一体的にユーザに提供したり、磁気ディスク５３１、光ディスク５３２、光磁気ディスク５３３、半導体メモリ５３４等のパッケージメディアとして提供したり、衛星、ネットワーク等から通信部５１９を介してハードディスク５１４に提供することができる。

なお、本明細書において、記録媒体により提供されるプログラムを記述するステップは、記載された順序に沿って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的あるいは個別に実行される処理をも含むものである。

被写体の例を示す図である。 撮像画像の例を示す図である。 本発明を適用した画像処理装置の構成例を示すブロック図である。 図３の仰角算出部の構成例を示すブロック図である。 被写体の他の例を示す図である。 画像変換の原理を説明する図である。 撮像画像の他の例を示す図である。 画像変換の原理を説明する他の図である。 画像変換の原理を説明する他の図である。 画像処理装置の動作を説明するフローチャートである。 図１０のステップＳ１の処理を説明するフローチャートである。 肌理を説明する図である。 肌理を特定する際の基準値を決定する処理を説明するフローチャートである。 肌理を特定する際の基準値を決定する処理を説明する図である。 肌理を特定する際の基準値を決定する処理を説明する他の図である。 肌理を特定する際の基準値を決定する処理を説明する他の図である。 回帰直線データを算出する方法を説明する図である。 回帰直線データを算出する方法を説明する他の図である。 回帰直線を設定する処理を説明する図である。 消失点の算出方法を説明する図である。 仰角を算出する方法を説明する図である。 仰角を算出する方法を説明する他の図である。 画像変換を説明する図である。 画像変換を説明する他の図である。 画像変換を説明する他の図である。 画像変換を説明する他の図である。 画像変換を説明する他の図である。 画像変換を説明する他の図である。 画像変換を説明する他の図である。 撮像画像の他の例を示す図である。 本発明を適用した画像処理装置の他の構成例を示すブロック図である。 仰角算出部の他の構成例を示すブロック図である。 重み値が設定されたテーブルの例を示す図である。 重み値が設定された他のテーブルの例を示す図である。 重み値が設定されたテーブルの例を示す図である。 仰角算出部の他の構成例を示すブロック図である。 図２６の仰角算出部の動作を説明するフローチャートである。 図２６の仰角算出部の動作を説明する図である。 図２６の仰角算出部の動作を説明する他の図である。 図２６の仰角算出部の動作を説明する他の図である。 図２６の仰角算出部の動作を説明する他の図である。 図２６の仰角算出部の動作を説明する他の図である。 図２６の仰角算出部の動作を説明する他の図である。 図２６の仰角算出部の動作を説明する他の図である。 図２６の仰角算出部の動作を説明する他の図である。 図２６の仰角算出部の動作を説明する他の図である。 図２６の仰角算出部の動作を説明する他の図である。 図２６の仰角算出部の動作を説明する他の図である。 仰角算出部の他の構成例を示すブロック図である。 図４９の仰角算出部の動作を説明するフローチャートである。 コンピュータ５０１構成例を示すブロック図である。

符号の説明

１ 画像処理装置， １１ 画像入力部， １２ 仰角算出部， １３ 画像変換部， １４ 処理部， １５ 画像変換部， １６ 画像出力部， ２１ 量子化部， ２２ 消失点算出部， ２３ 仰角算出部， ５１ 特徴量抽出部， ５２ 量子化部， ６１ 肌理勾配算出部， ６２ 消失点算出部， ７１ 画像回転部， ７２ 方向決定部， ７３ スイッチ， ８１ 量子化部， ９１ 特徴量評価部， １０１ 特徴量抽出部， １０２ 消失点算出部， １１１ ブロック化部， １２１ ブロック化メモリ， １２２ 特徴量計算部， １２３ 特徴量判定部， １２４ 記憶部， １２５ アドレス制御部， １１ 無線部， １２ 符号復号処理部， １３ 制御部， １４ 記憶部， １５ データベース部， １６ 表示部， １７ 音声信号発生部， １８ スピーカ

Claims (5)

1. 撮像機器によって、所定の仰角で撮像された結果得られた入力画像から、複数の特徴量を抽出する抽出手段と、
   前記抽出された前記複数の特徴量に基づいて評価値を算出する評価値算出手段と、
   前記評価値に基づいて、前記入力画像を量子化する量子化手段と、
   前記量子化手段により量子化された前記入力画像に基づいて、消失点を算出する消失点算出手段と、
   前記消失点の情報を用いて画像の処理を行う画像処理手段と
   を備えることを特徴とする画像処理装置。
2. 前記評価値算出手段は、前記複数の特徴量に、各特徴量に応じた重み付けを行って前記評価値を算出する
   ことを特徴とする請求項１に記載の画像処理装置。
3. 前記評価値算出手段は、前記入力画像の一部または全部の特徴量に基づいて、前記特徴量に応じた重みを算出し、算出したその重みで重み付けを行って前記評価値を算出する
   ことを特徴とする請求項１に記載の画像処理装置。
4. 撮像機器によって、所定の仰角で撮像された結果得られた入力画像から、複数の特徴量を抽出する抽出ステップと、
   前記抽出された前記複数の特徴量に基づいて評価値を算出する評価値算出ステップと、
   前記評価値に基づいて、前記入力画像を量子化する量子化ステップと、
   前記量子化ステップにより量子化された前記入力画像に基づいて、消失点を算出する消失点算出ステップと、
   前記消失点の情報を用いて画像の処理を行う画像処理ステップと
   を含むことを特徴とする画像処理方法。
5. 画像処理を行う画像処理装置を制御するプロセッサに実行させるプログラムにおいて、
   撮像機器によって、所定の仰角で撮像された結果得られた入力画像から、複数の特徴量を抽出する抽出ステップと、
   前記抽出された前記複数の特徴量に基づいて評価値を算出する評価値算出ステップと、
   前記評価値に基づいて、前記入力画像を量子化する量子化ステップと、
   前記量子化ステップにより量子化された前記入力画像に基づいて、消失点を算出する消失点算出ステップと、
   前記消失点の情報を用いて画像の処理を行う画像処理ステップと
   を含むことを特徴とするプログラム。

Images