JP2011249948A - ステレオ画像処理装置、画像処理方法及びプログラム - Google Patents

Abstract

【課題】 撮影画像の画質及び距離画像の精度を向上することのできるステレオ画像処理装置を提供する。
【解決手段】 マッチング回路１８は、増幅回路１６から出力される２つの映像信号に対して周知のマッチング処理を行い、画像のずれ量を示す信号を出力する。距離画像生成回路２０は、マッチング回路１８からの出力を受けて、撮影対象物までの距離を測定して距離画像を生成する。加算回路２２は、増幅回路１６から出力される映像信号の一方に対して、画像のずれ量に相当する分だけ画像をずらした後に、２つの映像信号を加算することで、低輝度域や中輝度域におけるノイズ成分を低減する。加算回路２２からの出力信号に対し、非線形処理回路２４による非線形処理が施され、監視用画像が出力される。また、増幅制御回路２８では、増幅回路１６から出力される映像信号のレベルが所定範囲内に入るように、増幅回路１６での増幅率を制御する。
【選択図】 図１

Description

本発明は、撮影を行って撮影画像を取得するとともに、ステレオ測距を行って撮影対象物の距離を測定するステレオ画像処理装置に関するものである。

複数の撮像手段を用いて得られた複数の撮像画像に対し、ステレオマッチング処理を施して撮影対象物までの距離を測定するステレオ画像処理装置が知られており、車載カメラ装置や監視カメラ装置に適用されている。

このようなステレオ画像処理装置の一例を図７に示す。このステレオ画像処理装置１００では、一対の撮影レンズ１０２、撮像素子１０４、増幅回路１０６により、同一の撮影対象物について、異なる位置から撮影された２つの映像信号が生成される。一方の映像信号Ａ１は、非線形処理回路１０８において、映像出力用の非線形処理によって主に低輝度・中輝度域の成分が増幅された後、輪郭補正回路１１０において輪郭補正処理が施され、監視用画像を示す映像信号が出力される。

また、増幅回路１０６から出力された２つの映像信号Ａ１，Ｂ１は、ステレオ画像処理回路１１２に送られて、ここで測距演算処理（ステレオマッチング処理）が施され、画像内の撮影対象物に対する距離を示す距離画像信号が出力される。このようなステレオカメラ装置を用いることで、非線形処理の影響を受けることのない距離画像を生成することができる。

特開２００９−１２１８７０号公報

上記の従来のステレオカメラ装置では、撮像素子から出力された映像信号が、直接、非線形処理回路に入力されるため、低・中輝度域の信号に対するノイズ成分もそのまま増幅されてしまい、監視用画像の画質劣化につながるという問題があった。

また、撮影対象物が明るい場合（すなわち、映像信号の輝度が高い場合）には、撮像により得られた画像に白潰れが生じてしまうことがある。このような場合では、画像信号間のマッチングを精度良く行うことができなくなり、結果として距離画像の精度が悪くなってしまう。

一方、撮影対象物が暗い場合（映像信号の輝度が低い場合）には、一定程度の明るさの監視用画像を得るために増幅回路における増幅率を高くすることが好ましい。この場合、ノイズ成分の増幅も顕著になるため、画像マッチングの精度が低下してしまい、距離画像の精度が低下する問題も生じていた。

本発明は、上記背景に鑑みなされたものであり、観察用画像と距離画像の双方の画質を向上することが可能なステレオ画像処理装置を提供することを目的とする。

本発明のステレオ画像処理装置は、撮影対象物を撮影したときに撮影手段から得られる複数の映像信号に対して、前記映像信号の一つとの間でマッチング処理を行い、画像のずれ量を示すずれ量信号を出力するマッチング手段と、前記ずれ量に相当する分だけ前記映像信号が示す画像をずらした後に、前記複数の映像信号を加算処理する加算手段と、前記加算手段において加算処理された前記映像信号に対して、入力信号レベルと出力信号レベルが非線形関係を有する映像出力用の非線形処理を行う非線形処理手段と、前記マッチング手段からの出力を用いて、前記撮影対象物までの距離を測定する測距演算を行う測距演算手段を備える。

この構成により、複数の映像信号が加算されて、低輝度及び中輝度域におけるノイズ成分が低減されるので、非線形処理を施した後の画像の画質を向上することができる。

本発明のステレオ画像処理装置は、前記撮影手段から出力される信号のレベルを増幅する増幅手段と、前記増幅手段における増幅率を変化させる増幅制御手段とを更に備える。

この構成により、被写体の輝度が高い場合であっても、撮像で得られる画像に白潰れが生じることがなくなり、撮影画像の画質向上、距離画像の精度向上を図ることができる。

本発明のステレオ画像処理装置において、前記増幅制御手段は、前記映像信号のレベルが所定範囲内になるように前記増幅率の制御を行い、前記マッチング手段は、前記映像信号のレベルが前記所定範囲外である場合には、前記マッチング処理を行わないことを特徴とする。

この構成により、被写体が明るい場合や暗い場合であっても、マッチング処理及び加算処理で入力される映像信号のレベルが一定程度に保たれるから、撮影画像の画質向上、距離画像の精度向上を図ることができる。

本発明のステレオ画像処理装置において、前記増幅制御手段は、複数の異なる増幅率を定めるとともに、一定時間毎に前記増幅手段における増幅率を切り替えることを特徴とする。

この構成により、低輝度域から高輝度域のそれぞれ適した増幅率で増幅された映像信号が出力され、マッチング処理及び加算処理が行われるから、撮影画像のダイナミックレンジを広げることができるとともに、距離画像の精度が向上する。

本発明のステレオ画像処理方法は、撮影対象物を撮影したときに撮影手段から得られる複数の映像信号に対して、前記映像信号の一つとの間でマッチング処理を行い、画像のずれ量を示すずれ量信号を出力するステップと、前記ずれ量に相当する分だけ前記映像信号が示す画像をずらした後に、前記複数の映像信号を加算処理するステップと、前記加算手段において加算処理された前記映像信号に対して、入力信号レベルと出力信号レベルが非線形関係を有する映像出力用の非線形処理を行うステップと、前記マッチング手段からの出力を用いて、前記撮影対象物までの距離を測定するステップを備える。この構成によっても、上記と同様の効果を得ることができる。

本発明のステレオ画像処理プログラムは、コンピュータに対し、撮影対象物を撮影したときに撮影手段から得られる複数の映像信号に対して、前記映像信号の一つとの間でマッチング処理を行い、画像のずれ量を示すずれ量信号を出力するステップと、前記ずれ量に相当する分だけ前記映像信号が示す画像をずらした後に、前記複数の映像信号を加算処理するステップと、前記加算手処理が施された前記映像信号に対して、入力信号レベルと出力信号レベルが非線形関係を有する映像出力用の非線形処理を行うステップと、前記マッチング処理による出力を用いて、前記撮影対象物までの距離を測定するステップを実行させることを特徴とする。この構成によっても、上記と同様の効果を得ることができる。

本発明によれば、監視用画像の画質が向上するとともに、距離画像の精度が向上する。

本発明のステレオ画像処理装置を適用した、ステレオカメラ装置の構成を示すブロック図である。 第１実施形態に係るステレオカメラ装置の動作を示すフローチャートである。 第２実施形態に係るステレオカメラ装置の動作を示す説明図である。 第３実施形態に係るステレオカメラ装置の構成を示すブロック図である。 第３実施形態に係るステレオカメラ装置の動作を示すフローチャートである。 第４実施形態に係るステレオカメラ装置の動作を示すフローチャートである。 従来のステレオカメラ装置の構成を示すブロック図である。

以下、本発明の画像処理装置を監視用カメラに適用した場合の実施形態につき、図面を参照して説明する。以下では、監視用カメラを例として説明するが、本発明はこれに限定されるものではなく、例えば車両間の距離を測定可能な車載用カメラ装置にも適用することができる。

（第１の実施形態）
図１は、本発明の第１の実施形態に係るステレオ画像処理装置の構成を示すブロック図である。本実施形態のステレオ画像処理装置を含むステレオカメラ装置は、光路上に配置された一対の撮影レンズ（撮影レンズＡ，Ｂ）１２及び撮像素子（撮像素子Ａ，Ｂ）１４を備える。この撮像素子１４は、例えばＣＣＤやＣＭＯＳの個体撮像素子が用いられ、撮影レンズ１２を通過する光学像を電気信号（画像信号）に変換する。

ステレオ画像処理装置１０は、増幅回路（増幅回路Ａ，Ｂ）１６、マッチング回路１８，距離画像生成回路２０，加算回路２２，非線形処理回路２４，輪郭補正回路２６と、増幅制御回路２８を備えている。

増幅回路１６は、後述する増幅制御回路２８から入力される増幅率信号に基づき、撮像素子１４からの信号を増幅して映像信号を出力する。２つの増幅回路１６から出力される各映像信号は、マッチング回路１８，加算回路２２及び増幅制御回路２８に入力される。

マッチング回路１８は、増幅回路１６からの２つの映像信号に対し、周知の画像マッチング処理を行うことで、これらの映像信号による画像間のずれ量を検出し、ずれ量を示す信号を出力する。たとえば、画像の特徴点を検出して，これら特徴点の画像内の位置を比較することで、画像間のずれ量を検出することができる。

距離画像生成回路２０は、マッチング回路１８から出力された、２つの画像のずれ量を示す信号を用いて、例えば公知の三角測量の方法を適用することで、撮影対象物までの距離を測定する測距演算を行って、距離画像を出力する。ここで、距離画像とは、例えば画像の濃淡で撮影対象物までの距離を示す画像である。例えば、撮影対象物までの距離が遠いほど、その対象物に対応する色の濃度が薄く表示され、距離が近いほどその色の濃度が濃く表示される。

加算回路２２には、増幅回路１６からの２つの映像信号と、マッチング回路１８から出力された、画像のずれ量を示す信号が入力される。加算回路２２は、これら２つの映像信号の一方に対し、ずれ量に相当する分だけ画素の位置をシフトした後、他方の映像信号と加算処理を行う。２つの映像信号を加算することで、低輝度・中輝度域における映像信号のノイズ成分を低減することができる。なお、本発明において、加算処理とは、２つの映像信号を加算する処理の他、２つの映像信号の加算平均を行う処理も含まれる。

非線形処理回路２４は、加算回路２２において加算処理が施された映像信号に対して、周知の非線形処理を施す。ここで、非線形処理とは、例えばガンマ補正処理のように、入力信号のレベルと出力信号のレベルの関係が非線形となるような信号処理をいう。例えば、ガンマ値を０．４５とした非線形処理（ガンマ処理）を施すことにより、増幅回路１６から出力された映像信号のレベルと、図示しないモニタに表示される監視用画像の発光レベルとの関係を線形にすることができる。また、輪郭補正回路２６は、画像の先鋭感を強調するための信号処理である。これら非線形処理及び輪郭補正処理を施すことにより、撮影画像の画質が向上された監視用画像が出力される。

増幅制御回路２８は、増幅回路１６から出力される映像信号の輝度レベルを検出するとともに、輝度レベルが所定範囲に入るように、増幅回路１６における増幅率を算出する。例えば、増幅回路１６からの映像信号の輝度レベルが所定範囲の上限を超えている場合は、増幅回路１６の増幅率が高すぎると判断し、増幅率を下げる増幅率信号を増幅回路１６に送る。逆に、増幅回路１６からの映像信号の輝度レベルが所定範囲の下限を下回る場合は、増幅率を上げる増幅率信号を増幅回路１６に送る。これらの増幅回路１６の増幅率の調整は、個々の増幅回路１６に対して行われる。なお、増幅制御回路２８における増幅率の調整は、一定時間毎に行うことができる。

本実施の形態におけるこれらの画像処理は、ステレオ画像処理装置に備えられたメモリやＨＤＤに格納されるプログラムによって実現されていても良い。

上記構成によるステレオ画像処理装置について、図２を用いてその動作を説明する。

第１実施形態のステレオ画像処理装置を用いて撮影対象物を撮影すると、２つの撮像素子１４からの信号が２つの増幅回路１６によってそれぞれ増幅される（Ｓ１１）。これにより、増幅処理済みの映像信号が増幅回路１６から出力される。

増幅回路１６から出力された２つの映像信号は、マッチング回路１８に送られて、ここで周知のステレオマッチング処理が施され、画像のずれ量を示す信号が距離画像生成回路２０に出力される（Ｓ１２）。距離画像生成回路２０では、このずれ量を示す信号に基づき公知の三角測量による測距演算を行い、撮影対象物までの距離を示す距離画像を生成する（Ｓ１３）。

増幅回路１６から出力された２つの画像信号と、マッチング回路１８から出力されたずれ量信号は、加算回路２２にも送られる。加算回路２２では、入力される一方の映像信号に対し、ずれ量に相当する分だけ画像の位置をシフトした後、他方の映像信号と加算処理を行う（Ｓ１４）。これにより、低輝度及び中輝度域のノイズが低減されるため、監視用画像のＳ／Ｎ比を向上することができる。

加算回路２２から出力された映像信号に対して、非線形処理回路２６及び輪郭補正回路２８において、それぞれ、非線形処理及び輪郭処理が施される（Ｓ１５）。これにより、低輝度の階調性と先鋭感を重視した見栄えの良い監視用画像を得ることができる。

増幅回路１６から出力された２つの映像信号は、増幅制御回路２８にも入力される。増幅制御回路２８では、各々の映像信号に対して、その出力レベルが一定の範囲内であるか否かを判定し、所定範囲外である場合は、増幅回路１６の増幅率を変更するようにフィードバックをかける（Ｓ１６）。これにより、映像信号の輝度レベルが一定の範囲内に確実に入るようになり、被写体が暗い場合や明るい場合であっても、監視用画像の画質を向上させることができる。

（第２の実施形態）
次に、本発明の第２の実施形態に係るステレオ画像処理装置について、図３を用いて説明する。なお、ここでは、前記第１の実施形態と異なる部分についてのみ説明を加えることとし、前記第１の実施形態と同じ構成部分については、その説明を省略する。

第２の実施形態に係るステレオ画像処理装置では、増幅制御回路２８において、低輝度域の被写体に適した増幅率Ａ１、中輝度域の被写体に適した増幅率Ａ２、高輝度域の被写体に適した増幅率Ａ３が予め定められている。これら増幅率Ａ１〜Ａ３の関係は、Ａ１＞Ａ２＞Ａ３となっており、高輝度域の画像に白潰れが生じるのを抑制する。

増幅制御回路２８は、増幅回路１６における増幅率をＡ１に設定する。増幅回路１６において、低輝度域の画像に適した増幅率Ａ１にて増幅された映像信号Ｓ１を出力する。次いで、増幅制御回路２８は、増幅回路１６における増幅率をＡ２に設定し、時刻Ｔ１からＴ２の間に、増幅回路１６において、中輝度域の画像に適した増幅率Ａ２で増幅された映像信号Ｓ２を出力する。その後、増幅制御回路２８は、増幅回路における増幅率をＡ３に設定し、時刻Ｔ２からＴ３の間に、増幅回路１６において、高輝度域用の増幅率Ａ３で増幅された映像信号Ｓ３を出力する。これら増幅処理がされた各映像信号Ｓ１〜Ｓ３は、順次、マッチング回路１８に送られる。

マッチング回路１８では、時刻Ｔ１からＴ２の間に、増幅率Ａ１で増幅された２つの映像信号Ｓ１に対してマッチング処理が施され、画像のずれ量を示す信号が出力される。同様に、時刻Ｔ２からＴ３の間に、増幅率Ａ２で増幅処理された２つの映像信号Ｓ２に対してマッチング処理が施され、時刻Ｔ３からＴ４の間に映像信号Ｓ３に対してマッチング処理が施される。マッチング処理により得られたずれ量信号は、加算回路２２に送られる。

そして、異なる増幅率で増幅された映像信号Ｓ１，Ｓ２、Ｓ３は、順次、加算回路２２においてずれ量を示す信号に基づき画像のシフトが行われた後、加算処理が施され、次いで、非線形処理及び輪郭補正が施されて監視用画像が出力される。同様に、マッチング処理が施された映像信号Ｓ１，Ｓ２、Ｓ３は、距離画像生成回路２０に送られて測距処理が施され、距離画像が出力される。

また、映像信号Ｓ１〜Ｓ３は、増幅制御回路２８に送られて、出力レベルが所定範囲に入るようにフィードバック処理が施される。

この第２の実施形態に係るステレオ画像処理装置によれば、低輝度、中輝度、高輝度の被写体に適した増幅率で映像信号を増幅処理するようにしたので、高輝度域の白潰れや低輝度域のノイズをさらに抑制することができる。これにより、監視用画像のダイナミックレンジを広げることができるとともに、距離画像の精度が向上する。

（第３の実施形態）
次に、本発明の第３の実施形態に係るステレオ画像処理装置について、図４及び図５を用いて説明する。図４に示すように、このステレオ画像処理装置３０では、増幅制御回路２８において、映像信号のレベルが所定範囲内であると判定し、増幅制御回路２８からマッチング回路１８に対し、画像マッチングを指示する信号が送信される。

図５のフローチャートで示すように、まず、撮像素子１４において被写体を撮像し、次いで、増幅回路１６において映像信号が増幅される（Ｓ１１）。増幅回路１６から出力された２つの映像信号は、増幅制御回路２８に送られ、映像信号の出力レベルが所定範囲内であるか否かが判定される（Ｓ２０）。映像信号のレベルが所定範囲内である場合には、増幅制御回路２８から、画像マッチングを指示する信号がマッチング回路１８に送られ、これら映像信号を用いて距離画像及び監視用画像が生成される（Ｓ１２〜Ｓ１５）。距離画像及び監視用画像を生成するステップについては、前記第１の実施形態で説明したのと同様であるから、詳細な説明は省略する。

一方、増幅回路１６から出力された映像信号のレベルが所定範囲外であると判定すると、増幅制御回路２８は、増幅回路１６における増幅率を変更する信号を送る（Ｓ２１）。そして、変更後の増幅率において、再び画像取得及び信号増幅の処理を行い（Ｓ１１）、出力された映像信号のレベルが所定範囲内であるか否かを判定する（Ｓ１２）。

この第３の実施形態に係るステレオ画像処理装置によれば、信号レベルが所定の範囲内になる場合にのみ、監視用画像及び距離画像を生成するようにしたから、低輝度や高輝度の被写体であっても黒つぶれや白飛びの発生が抑制されてダイナミックレンジの大きな監視用画像を得ることができるとともに、距離画像の精度の向上を図ることができる。

（第４の実施形態）
次に、本発明の第４の実施形態に係るステレオ画像処理装置について、図６を用いて説明する。まず、増幅制御回路２８は、低輝度の被写体に適した増幅率を決定し、増幅回路１６での増幅率を設定する（Ｓ３１）。次いで、ステレオ画像処理装置は、前記第１の実施形態で説明したのと同様の方法にて、距離画像及び監視用画像を生成し、これを出力する（Ｓ３２）。これにより、低輝度域における距離画像及び監視用画像の画質が向上する。

次に、増幅制御回路２８は、中輝度の被写体に適した増幅率を決定し、増幅回路１６での増幅率を設定する（Ｓ３３）。そして、前述したのと同様に、距離画像及び監視用画像を出力する（Ｓ３４）。その後、増幅制御回路２８は、高輝度の被写体に適した増幅率を設定し（Ｓ３５）、距離画像及び監視用画像を出力する（Ｓ３６）。

このようにして低輝度域、中輝度域、高輝度域の被写体に適した増幅率で増幅されるので、低輝度域から高輝度域にわたって、監視用画像の画質及び距離画像の精度が向上する。

上記実施形態では、２つの撮像素子を用いる例について説明したが、本発明における撮像素子の数はこれに限定されるものではなく、例えば、３つ以上の撮像素子を使用しても良い。また、撮像素子が１つであっても良く、その場合には、１つの撮像素子から２画面を切り出してステレオ画像処理を行うことができる。

以上のように、本発明に係るステレオ画像処理装置によれば、測距精度が向上するとともに、撮影画像の画質を向上するという効果を有し、例えば、車載式や監視用のステレオカメラ装置として有用である。

１０，３０，１００ ステレオ画像処理装置
１２，１０２ 撮影レンズ
１４，１０４ 撮像素子
１６，１０６ 増幅回路
１８ マッチング回路
２０ 距離画像生成回路
２２ 加算回路
２４，１０８ 非線形処理回路
２６，１１０ 輪郭補正回路
２８ 増幅制御回路
１１２ ステレオ画像処理回路

Claims (9)

1. 撮影対象物を撮影したときに撮影手段から得られる複数の映像信号に対して、前記映像信号の一つとの間でマッチング処理を行い、画像のずれ量を示すずれ量信号を出力するマッチング手段と、
   前記ずれ量に相当する分だけ前記映像信号が示す画像をずらした後に、前記複数の映像信号を加算処理する加算手段と、
   前記加算手段において加算処理された前記映像信号に対して、入力信号レベルと出力信号レベルが非線形関係を有する映像出力用の非線形処理を行う非線形処理手段と、
   前記マッチング手段からの出力を用いて、前記撮影対象物までの距離を測定する測距演算を行う測距演算手段と、
   を備えたことを特徴とするステレオ画像処理装置。
2. 前記撮影手段から出力される信号のレベルを増幅する増幅手段と、前記増幅手段における増幅率を変化させる増幅制御手段とを備えたことを特徴とする、請求項１記載のステレオ画像処理装置。
3. 前記増幅制御手段は、前記映像信号のレベルが所定範囲内になるように前記増幅率の制御を行い、前記マッチング手段は、前記映像信号のレベルが前記所定範囲外である場合には、前記マッチング処理を行わないことを特徴とする、請求項２記載のステレオ画像処理装置。
4. 前記増幅制御手段は、複数の異なる増幅率を定めるとともに、一定時間毎に前記増幅手段における増幅率を切り替えることを特徴とする、請求項２記載のステレオ画像処理装置。
5. 撮影対象物を撮影したときに撮影手段から得られる複数の映像信号に対して、前記映像信号の一つとの間でマッチング処理を行い、画像のずれ量を示すずれ量信号を出力するステップと、
   前記ずれ量に相当する分だけ前記映像信号が示す画像をずらした後に、前記複数の映像信号を加算処理するステップと、
   前記加算手段において加算処理された前記映像信号に対して、入力信号レベルと出力信号レベルが非線形関係を有する映像出力用の非線形処理を行うステップと、
   前記マッチング手段からの出力を用いて、前記撮影対象物までの距離を測定するステップと、
   を備えたことを特徴とするステレオ画像処理方法。
6. 前記撮影で得られる信号のレベルを増幅する増幅ステップと、前記増幅ステップにおける増幅率を変化させる増幅制御ステップを備えたことを特徴とする、請求項５記載のステレオ画像処理方法。
7. 前記増幅制御ステップは、前記映像信号のレベルが所定範囲内になるように前記増幅率の制御を行い、前記マッチングステップは、前記映像信号のレベルが前記所定範囲外である場合には、前記マッチング処理を行わないことを特徴とする、請求項５記載のステレオ画像処理方法。
8. 前記増幅制御ステップは、複数の異なる増幅率を定めるとともに、一定時間毎に前記増幅ステップにおける増幅率を切り替えることを特徴とする、請求項５記載のステレオ画像処理方法。
9. ステレオ画像処理装置用のプログラムであって、コンピュータに対し、
   撮影対象物を撮影したときに撮影手段から得られる複数の映像信号に対して、前記映像信号の一つとの間でマッチング処理を行い、画像のずれ量を示すずれ量信号を出力するステップと、
   前記ずれ量に相当する分だけ前記映像信号が示す画像をずらした後に、前記複数の映像信号を加算処理するステップと、
   前記加算処理が施された前記映像信号に対して、入力信号レベルと出力信号レベルが非線形関係を有する映像出力用の非線形処理を行うステップと、
   前記マッチング処理による出力を用いて、前記撮影対象物までの距離を測定するステップと、
   を実行させることを特徴とするプログラム。