JP2008042227A - 撮像装置 - Google Patents

Abstract

【課題】ステレオ撮像システムにおいて、被写体距離に関わらず左右のカメラ間で連携して露光制御を行うこと。
【解決手段】撮像を行う第一の撮像手段と第二の撮像手段と、第一の撮像手段と第二の撮像手段が出力する信号に対しカメラ信号処理を行い映像信号を生成するカメラ信号処理手段と、カメラ信号処理手段が出力するステレオ撮像画像を用いてステレオ画像処理を行うステレオ画像処理手段と、ステレオ画像処理手段において行われるステレオマッチング処理の情報を用いて露光制御をするための演算処理を行う連携露光演算手段と、連携露光演算手段の処理結果を用いて第一の撮像手段と第二の撮像手段とカメラ信号処理手段の制御を行うステレオ撮像制御部とを有する撮像装置によって構成される。
【選択図】図２

Description

本発明は、複数の撮像手段を備える撮像装置に関する。

本技術分野の背景技術として、例えば、特開平９−８４０５６号公報（特許文献１）がある。該公報には、「各撮像装置からの画像の明度を自動的に揃えて適正な画像処理を行う。」ことを目的とし、解決手段として、「自動絞り調節機能を有する２台のカメラ２ａ，２ｂと画像処理部３とから成る画像処理装置１において、カメラ２ａからの画像データを基準画像データとし、この基準画像データを各カメラ２ａ，２ｂの各絞り調節部８，８に入力する。各絞り調節部８，８は、この基準画像データに基づき、それぞれの絞り系５，５を調節しており、画像処理部３は、各カメラ２ａ，２ｂから同明度の画像データを入力する。」という技術が開示されている。

特開平９−８４０５６号公報

上記特許文献１では、「カメラ２ｂについては自装置の画像データとカメラ２ａからの基準画像データとを比較した結果を用いて絞り系５を調節するように構成し、カメラ２ａとカメラ２ｂでサンプル点を抽出してそれぞれ抽出された点の平均輝度値を算出してこれを比較し、その比較結果に基づいて絞り系５に対する制御信号を生成する」という技術が開示されている（特許文献１の段落０００５から０００６に記載）。上記特許文献１では、「基準画像データについては前記図７に示したのと同様の複数個のサンプル点を、カメラ２ｂからの画像データについてはこれらサンプル点に対応する各点をそれぞれ抽出し」（特許文献１の段落０００７に記載）と記載されているが、カメラ２ａとカメラ２ｂでの対応するサンプル点の抽出方法の詳細が未記載である。対応するサンプル点の抽出方法において、図１１（ａ）のカメラ２ａのＬ２とカメラ２ｂのＲ２で示すように、画面の同じ位置即ち同じアドレスの画像を用いることが容易に考えられる。

しかしながら、画面の同じ位置の画像を用いた場合、ステレオ撮像による左右の視差の違いが生じるため、図１１（ａ）に示すように異なる被写体が写った画像で比較演算を行うことになり、露光制御において誤動作を生じることになる。また、この視差の量は、被写体の距離によって異なるため、事前に被写体距離を想定し画面内でのオフセットアドレスを計算していた場合も誤差が生じ、誤動作することになる。

そこで本発明は、ステレオ撮像装置において、被写体距離に関わらず左右のカメラ間で連携して露光制御を行うことを目的とする。

本発明の代表的なある一面の概要は、上記目的を達成するため、ステレオマッチング処理の情報を利用して第一、第二の撮像手段で撮像したステレオ撮像画像のステレオマッチングした領域を比較し輝度レベルの比率を演算して、露光制御をするための演算処理を行い、この処理結果を用いて、第一の撮像手段と第二の撮像手段とカメラ信号処理手段の制御を行うことを特徴とする。

より詳細には、本発明は、上記目的を達成するため、特許請求の範囲に記載の構成となっている。

本発明によれば、ステレオ撮像装置において被写体距離に関わらず左右のカメラ間で連携して露光制御を行うことを実現できる。

以下、図面を用いて本発明の実施例を説明する。

図１は、本発明の第１実施例に係るステレオ撮像画像処理システムを示す第１の模式図である。図１において、０１０１はステレオ撮像部、０１０２はステレオ画像処理部、０１０３は連携露光演算部である。

ステレオ撮像画像処理システムにおいて、ステレオ撮像部０１０１は、レンズやシャッタやアイリスや撮像素子やＡＧＣやＡＤやカメラ信号処理ＤＳＰやタイミングジェネレータ等から構成され、光電変換により撮像を行いステレオ撮像画像データを出力する。ステレオ撮像部０１０１で光電変換のために用いる撮像素子には、ＣＣＤやＣＭＯＳを用いればよい。また、ステレオ撮像部０１０１がミラーやプリズムを用いて構成され、１つの撮像素子から構成される形態としても良い。ステレオ画像処理部０１０２は、ステレオ撮像部０１０１が出力するステレオ撮像画像データを用いて、ステレオ画像処理を行い、距離情報や情報の信頼度を演算し出力する。ステレオ画像処理部０１０２で行われるステレオ画像処理には、ノイズ除去を行うためのローパスフィルタ処理等の前処理や、エッジ検出等の特徴量演算処理、正規化相関や差分絶対値和等を用いてステレオ画像間すなわち２つの画像間の対応点検索を行い視差を検出するステレオマッチング処理、ローパスフィルタ処理やラベリング等により特異点の除去を行う後処理、視差情報を用いて距離情報を演算する距離計算処理などがある。そして、処理の途中で得られる情報、例えばステレオマッチング処理で対応点検索を行った場合のテンプレート画像とマッチング画像の輝度情報や、視差情報、評価値すなわち演算スコアや、探索領域での評価値の分布を出力することもできる。また、ステレオ画像処理部０１０２で行われるステレオマッチング処理は、特徴量演算処理の結果を用いて特徴量が閾値以上の点や領域のみについて行い、処理の軽減や高速化を図ってもよい。連携露光演算部０１０３は、ステレオ画像処理部０１０２から得られるステレオマッチング処理の情報を用いて、ステレオ撮像部０１０１で露光制御を行うための演算処理を行い、連携露光演算部０１０３の演算結果を用いてステレオ撮像部０１０１で露光制御を行う。

図２は、本発明の第１実施例に係る連携露光演算部の処理シーケンスの一例を示す図である。図２に示すステレオ画像処理シーケンスは、連携露光演算部０１０３でソフトウエアやＤＳＰにより実行される。

図２の連携露光演算処理シーケンスにおいて、ＳＴ０２０１では、ステレオ画像処理部０１０２から出力されるステレオマッチング処理の情報、ここではテンプレート画像とマッチング画像、すなわち第一のカメラ画像と第二のカメラ画像、の輝度情報を取得する。ＳＴ０２０２では、ＳＴ０２０１で取得したテンプレート画像とマッチング画像の輝度情報の比較を行う。ＳＴ０２０２で行う比較処理において、テンプレート画像とマッチング画像がｎ×ｍ（ｎ，ｍ＞０）の領域からなる場合には、そのままｎ＊ｍの領域で演算を行っても良いし、中心付近のＮ×Ｍ（Ｎ＜ｎ，Ｍ＜ｍ）の領域で演算を行っても良い。ＳＴ０２０２で行う比較処理は、輝度レベルの比較を行うために、それぞれの領域の積分値の差分を演算し正規化してもよいし、それぞれの画像の差分絶対値を演算してもよい。さらに、ステレオ撮像部０１０１がガンマ演算をした画像を出力している場合には、ステレオ撮像部０１０１で行うガンマ変換と逆の特性を持った逆ガンマ変換を行い、ガンマ変換の影響を除去してから比較処理を行ってもよい。また、ステレオマッチング処理がサブピクセル精度で行われている場合には、輝度レベルの比較もサブピクセル精度で行っても良いし、ピクセル単位に丸めて処理の高速化を図っても良い。ＳＴ０２０３では、ＳＴ０２０２での比較結果を用いて、テンプレート画像とマッチング画像、すなわち第一のカメラ画像と第二のカメラ画像の輝度レベルの比率を決定する。ＳＴ０２０３で決定した輝度レベルの比率を用いてステレオ撮像部で０１０１で露光制御を行うことにより、ステレオ撮像した画像間で連携した露光制御を行うことができる。

このように連携露光演算部０１０３で、ステレオ画像処理部０１０２から得られる被写体距離に応じたステレオマッチング処理の情報を用いて露光制御を行うための演算処理を行うことにより、図１１（ｂ）に示すように、被写体距離に応じて対応する領域で連携露光を行うための比較演算処理を行うことができ、被写体距離に関わらず左右のカメラ間で連携して露光制御を行うことが可能となる。

図３は、本発明の第１実施例に係るステレオ撮像画像処理システムを示す第２の模式図である。図３において、０３０１＿１は第一の撮像部、０３０１＿２は第二の撮像部、０３０４はカメラ信号処理部、０３０５はステレオ撮像制御部である。図１と比較して、ステレオ撮像部０１０１が、第一の撮像部０３０１＿１と第二の撮像部０３０１＿２とカメラ信号処理部０３０４とステレオ撮像制御部０３０５に置き換わっている。

第一の撮像部０３０１＿１は、レンズやシャッタやアイリスや撮像素子やＡＧＣやＡＤ等から構成され、光電変換により撮像を行い撮像データを出力する。第二の撮像部０３０１＿２は、レンズやシャッタやアイリスや撮像素子やＡＧＣやＡＤ等から構成され、光電変換により撮像を行い撮像データを出力する。カメラ信号処理部０３０４は、第一の撮像部０３０１＿１と第二の撮像部０３０１＿２が出力する信号すなわち撮像データに対し、フィルタ処理・デモザイキング処理・キャリア除去処理・エンハンス処理等のカメラ信号処理を行い、映像信号を出力する。また、カメラ信号処理部０３０４が、第一の撮像部０３０１＿１と第二の撮像部０３０１＿２の撮像素子を駆動するためのタイミングジェネレータ等を実装し、駆動タイミング制御によるシャッタ制御を可能な構成としてもよい。図３において、カメラ信号処理部０３０４を１つの構成としたが、２つのカメラ信号処理部から構成され、それぞれが０３０１＿１は第一の撮像部、０３０１＿２は第二の撮像部に接続される構成としてもよい。ステレオ撮像制御部０３０５は、カメラ信号処理部０３０４から得られる輝度評価情報と、連携露光演算部０１０３から得られる輝度レベルの比率を用いて露光制御の演算を行い、アイリス制御値や、シャッタ速度制御値、アナログまたはデジタルのゲインコントロール値を決定し、露光制御を行う。ステレオ撮像部が図３に示すように２つでなく、１つの撮像素子から構成されている場合には、読み出し信号のゲイン制御において、異なる光軸の画像、例えば右画像と左画像でのゲイン制御値を映像信号読み出し期間内で異ならせてやればよい。

図４は、本発明の第１実施例に係るステレオ撮像制御部の処理シーケンスの一例を示す図である。図４に示すステレオ画像処理シーケンスは、ステレオ撮像制御部０３０５でソフトウエアやＤＳＰにより実行される。

図４のステレオ撮像制御部の処理シーケンスにおいて、ＳＴ０４０１では、カメラ信号処理部０３０４から出力される輝度評価情報、例えば、画面を複数の領域に分割したり、サンプリング領域を設定したりして、領域内部の明るさを輝度信号の積分により評価した結果、を取得する。ＳＴ０４０２では、輝度評価情報を用いて第一の撮像部０３０１＿１と第二の撮像部０３０１＿２のそれぞれ、すなわち単眼での露光制御の演算を行う。ＳＴ０４０３では、連携露光演算部０１０３から出力される輝度レベルの比率を取得する。ＳＴ０４０４では、ＳＴ０４０２に演算したそれぞれの単眼での露光制御結果と、輝度レベルの比率を用いて連携露光の演算を行う。ＳＴ０４０４の演算では、例えば、ＳＴ０４０２で演算した第一の撮像部０３０１＿１の露光制御ゲインがα、第二の撮像部０３０１＿２の露光制御ゲインがβ、輝度レベルの比率がγの場合、第二の撮像部０３０１＿２の露光制御ゲインをαγと再演算したり、βγと再演算すればよい。このように、ステレオ撮像部０３０５で単眼の露光制御演算結果に連携露光制御部０１０３で演算した輝度レベルの比率を用いて再度露光制御のためのゲインを計算することにより、ステレオマッチング処理で対応する被写体の輝度レベルを等しく、すなわち同一被写体の明るさを等しくして撮影することができる。また、本実施例では、２つのカメラを用いた場合を説明したが、３つ以上のカメラを用いた場合においても同様に適用することが可能である。

かように本実施例によれば、ステレオ画像処理において行われるステレオマッチング処理の情報を用いてカメラ間の輝度レベルの比率を演算し、演算した輝度レベルの比率を用いてカメラの露光制御を行うことにより、被写体距離に関わらず左右のカメラ間で連携して露光制御可能となり、ステレオマッチング処理で対応する被写体の輝度レベルを等しく撮影することができる。

実施例１で説明したように、ステレオ画像処理において行われるステレオマッチング処理の情報を用いてカメラ間の輝度レベルの比率を演算し、演算した輝度レベルの比率を用いてカメラの露光制御を行うことにより、被写体距離に関わらず左右のカメラ間で連携して露光制御可能となるが、ステレオ画像処理のステレオマッチング処理で行われる対応点検索の処理は複数の点や領域において行われることが普通である。このため、ステレオマッチング処理の情報として複数の点や領域に関する対応点検索処理の結果を用い、連携露光演算部で複数の輝度レベルの比率を演算した場合、演算結果が同一とならないという問題が発生する。このように、輝度レベルの比率の演算結果が複数得られた場合においては、以下に示すアルゴリズムで解決してやればよい。

図５は、本発明の第２実施例に係る連携露光演算部の処理シーケンスの一例を示す第１の図である。

図５の連携露光演算処理シーケンスにおいて、ＳＴ０５０１では、ステレオ画像処理部０１０２から出力される複数の点や領域についてのステレオマッチング処理の情報、ここではテンプレート画像とマッチング画像、すなわち第一のカメラ画像と第二のカメラ画像の輝度情報を取得する。ＳＴ０５０２では、ＳＴ０２０２と同様にＳＴ０５０１で取得したテンプレート画像とマッチング画像の輝度情報の比較を行い、輝度レベルを決定する。ＳＴ０５０３では、ＳＴ０５０１で取得した複数の点や領域についてのステレオマッチング処理の情報の全てに対して処理を行ったかの判定を行い、未だ全てに対して処理を行っていない場合には、ＳＴ０５０２に戻り再度画像の比較を行う。このようにＳＴ０５０３で繰り返し処理を行うことにより、複数の輝度レベルの値が演算結果として得られる。輝度レベルのＳＴ０５０３で全てに対して処理が行われていたと判定された場合には、ＳＴ０５０４で、上記処理で得られた複数の輝度レベルの比率の値のヒストグラムを作成する。ＳＴ０５０４でヒストグラムを作成する場合に、重複する画像に対しては削除してヒストグラムの作成を行っても良い。ＳＴ０５０５では、ＳＴ０５０４で作成した輝度レベルの比率のヒストグラムの評価を行い、総合的な輝度レベルの比率を決定する。ＳＴ０５０５で行うヒストグラムの評価は、最頻値を選択する方法や、正規分布等の関数モデルで近似しピーク値を演算する方法、高輝度や低輝度の分布を除去したり重み付けを低くしたりして評価する方法や、良く知られているヒストグラムの評価の手法を用いて行えばよい。このように、ＳＴ０５０４でヒストグラムを作成し、ＳＴ０５０５で決定した総合的な輝度レベルの比率を用いて露光制御の演算を行うことにより、ステレオマッチング処理で複数の点に対して対応点検索を行った場合においても、ステレオ撮像した画像間で連携した露光制御を行うことができる。

図６は、本発明の第２実施例に係る連携露光演算部の処理シーケンスの一例を示す第２の図であり、図５のＳＴ０５０４で行うヒストグラムの作成の処理について説明している。

図６において、ＳＴ０６０１では、複数の点や領域についてのステレオマッチング処理の情報についての評価を行う。ＳＴ０６０１で評価を行うために、ＳＴ０５０１で、ステレオマッチング処理の情報として、対応点検索の評価値すなわち演算スコアや、探索領域での評価値の分布の取得を行う。ＳＴ０６０２では、複数の点や領域についての評価結果に応じて複数の重み付けを決定する。ＳＴ０６０３では、ＳＴ０６０２で決定した複数の重み付けを元に輝度レベルの比率のヒストグラムを作成する。ＳＴ０６０１やＳＴ０６０２の処理は、ＳＴ０５０２で行っても良い。図７を用いて、ＳＴ０６０１で行うステレオマッチング処理の情報についての評価方法と、ＳＴ０６０２で行う重み付けの決定方法について説明する。

図７は、本発明の第２実施例に係る連携露光演算部の処理の概要を示す図である。図７では、第一の撮像部０３０１＿１と第二の撮像部０３０１＿２すなわち、カメラ１とカメラ２で撮影した映像イメージと、ステレオマッチング処理の対応点検索の探索領域での評価値の分布が示されている。上方の図７（ａ）には虫が撮影されていない場合、下方の図７（ｂ）にはカメラ２にのみに虫が撮影されている場合が図示されている。また図７では、対応点検索において、カメラ１が基準画像、カメラ２が探索画像として処理されるよう図示されている。図７（ａ）に示すように、テンプレート画像の特徴すなわちテクスチャが鮮明であり、似たようなテクスチャが存在しない場合には、対応点検索の探索領域での評価値はピークの値が大きく分散も小さくなる。図７（ｂ）に示すように、カメラ１とカメラ２で対応する画像に対し、カメラ２にのみに虫が重なって撮影された場合、対応点検索の探索領域での評価値は複数のピークを持ち、ピークの値も小さく、分散も大きくなる。図７（ｂ）に示すように、カメラ１のテンプレート画像と、カメラ２の対応する虫が移っている画像Ａｂで輝度レベルの比較を行った場合、被写体に対する輝度レベルの比率を誤って演算することとなる。よってＳＴ０６０１では、探索領域での評価値の分布、すなわちピーク値の値や分散、ピークの数や分布を評価する。ＳＴ０６０２では、ＳＴ０６０１の評価結果を用いて、重み付けの決定、例えばピークの値が大きいかつ分散が小さいかつピークが１つである場合には、重み付けを重くすなわちヒストグラム作成時のカウントを大きくする。例えばピークの値が中程度かつ分散が中程度の場合には、重み付けを小さくすなわちヒストグラム作成時のカウントを小さくする。例えばピークの値が小さいまたは分散が大きいまたはピークが複数個存在する場合には、重み付けを０すなわちヒストグラム作成時にカウントしないようにする。このように、対応点検索の評価値すなわち演算スコアや、探索領域での評価値の分布を用いることにより、片眼のみに虫などの障害物が移っていた場合や、オクルージョンが発生した場合、似たようなテクスチャが多く存在し対応点検索で間違った画像間で対応をしやすい場合等を評価することができる。重み付けを決定して輝度レベルの比率のヒストグラムの作成をすることにより、対応点検索の結果に影響されること無くすなわち誤った対応点検索の情報に大きく影響されること無く、正しい輝度レベルの比率を検出することができる。上記の説明では、複数の点や領域についてのステレオマッチング処理の情報は、画面内の複数の点や領域で記載したが、時間軸的に複数の情報をサンプリングし、同様な手順で評価し重み付けを行っても良い。また、ステレオ画像処理部０１０２から得られる距離情報を用いて、近い距離または着目する距離領域内に相当する画像の輝度レベルの比率の重み付けを重くし、遠い画像または着目する距離領域外に相当する画像の輝度レベルの比率を小さくしてもよく、この場合においては着目する距離の被写体の輝度レベルを適正に制御することができる。

かように本実施例によれば、ステレオマッチング処理で複数の点に対して対応点検索をおこなった場合においても、対応点検索の探索領域での評価値を用いて複数の輝度レベルの比率に対して重み付けを行って輝度レベルの比率のヒストグラムを作成し総合的な輝度レベルの比率を決定することが可能となり、ステレオ撮像した画像間で連携した露光制御を行うことができる。

図８は、本発明の第３実施例に係るステレオ撮像画像処理システムを示す模式図である。本発明の第１実施例の模式図である図３と比較して、画像処理部０８０６を構成要素として持つ。

図８において、画像処理部０８０６は、カメラ信号処理部０２０４が出力するステレオ撮像画像データを用いて、それぞれ第一の撮像部０３０１＿１と第二の撮像部０３０１＿２で撮影した画像に対して画像処理を行い、処理結果を連携露光演算部０１０３に出力する。画像処理部０８０６で行われる画像処理は、良く知られている画像処理、例えば人物検出や顔検出、背景検出、侵入物検出、危険物検出、動体検出、車両検出、歩行者検出、自転車検出、道路標識検出、光源検出などであり、撮像時間の異なる画像を用いて背景差分や動き検出を利用して処理を行ってもよい。

図９は、本発明の第３実施例に係る連携露光演算部の処理シーケンスの一例を示す図であり、本発明の第２実施例で説明した、図５のＳＴ０５０４で行うヒストグラムの作成の処理について説明している。

図９において、ＳＴ０９０１では、画像処理部０８０６で行われる画像処理の結果を取得する。ＳＴ０９０２では、画像処理の結果の評価とステレオマッチング処理の情報の評価を行う。ＳＴ０９０３では、ＳＴ０９０２の評価結果に応じて複数の重み付けを決定する。ＳＴ０９０４では、ＳＴ０９０３で決定した複数の重み付けを元に輝度レベルの比率のヒストグラムを作成する。ＳＴ０９０１やＳＴ０９０２、ＳＴ０９０３の処理は、ＳＴ０５０２で行っても良い。ＳＴ０９０２とＳＴ０９０３で行われる処理としては、単眼の画像処理結果を利用し、着目する被写体、例えば人物や侵入物等の輝度レベルの比率に対する重み付けを大きくし、背景などは輝度レベルの比率に対する重み付けを小さくする処理を行う。このことにより、着目する被写体すなわち重要な被写体の輝度レベルを優先してヒストグラムを作成し評価することができ、重要な被写体の輝度レベルを適正に制御することができる。また、このような画像処理部０８０６で行う単眼の画像処理は、ステレオ画像処理部０１０２でステレオ画像処理と同時に行っても良い。

かように本実施例によれば、ステレオマッチング処理で複数の点に対して対応点検索をおこなった場合においても、画像処理結果を用いて複数の輝度レベルの比率に対して重み付けを行って輝度レベルの比率のヒストグラムを作成し総合的な輝度レベルの比率を決定することが可能となり、着目する被写体を優先してステレオ撮像した画像間で連携した露光制御を行うことができる。

図１０は、本発明の第４実施例に係る連携露光演算部の処理シーケンスの一例を示す図であり、本発明の第２実施例で説明した、図５のＳＴ０５０２で行う、テンプレート画像とマッチング画像を比較し輝度レベルの比率を決定する処理について説明している。

図１０において、ＳＴ１００１では、画像処理部０８０６で行われる画像処理の結果を取得する。ＳＴ１００２では、画像処理の結果の評価を行う。ＳＴ１００３ではＳＴ１００２の評価結果に応じてテンプレート画像とマッチング画像の比較領域の選択を行う。ＳＴ１００４では、ＳＴ１００３で選択された領域のテンプレート画像とマッチング画像の比較を行い、輝度レベルの比率を決定する。ステレオマッチング処理の対応点検索で対応付けを行った画像の領域、すなわちテンプレート画像とマッチング画像には、着目する被写体と背景画像が混在して同時に撮影され登録されている場合がある。そこで、ＳＴ１００２では、画像処理の結果を用いて領域内での着目する被写体と背景画像が撮影されている領域の評価を行い、ＳＴ１００３で着目する被写体が撮影されている領域を選択する。また、ＳＴ１００２とＳＴ１００３で行う画像処理結果の評価と選択処理しては、オクルージョン対策のための前景画像の選択、這い虫対策のための後景画像の選択、特定の被写体画像の選択等がある。上記により、輝度レベルの比率を決定する場合に、ステレオマッチング処理で対応する画像の領域において、着目する領域を選択して演算することができ、重要な被写体の輝度レベルを適正に制御することができる。また、ＳＴ１００２において、画像処理結果の評価を行う場合に、ステレオ画像処理部０１０２から得られる距離情報を用いて評価を行っても良い。これにより、輝度レベルの比率を決定する場合に、ステレオマッチング処理で対応する画像の領域において、特定の距離ある被写体を選択して演算することができ、重要な被写体の輝度レベルを適正に制御することができる。さらに、ＳＴ１００２において、画像処理結果の評価を行う場合に、ステレオ画像処理部０１０２から得られる距離情報と、画像処理部０８０６で行われる画像処理の結果を用いて評価を行っても良い。これにより、輝度レベルの比率を決定する場合に、ステレオマッチング処理で対応する画像の領域において、特定の距離かつ着目した被写体を選択して演算することができ、重要な被写体の輝度レベルを適正に制御することができる。

かように本実施例によれば、ステレオマッチング処理で対応した領域の画像に着目する被写体とその他の画像が混在して撮影された場合においても、画像処理結果やステレオ画像処理結果を用いて着目する領域を選択して輝度レベルの比率を決定することが可能となり、着目する被写体を優先してステレオ撮像した画像間で連携した露光制御を行うことができる。

本発明は監視カメラや立体視カメラ、車載カメラに利用可能である。

本発明の第１実施例に係るステレオ撮像画像処理システムを示す第１の模式図である。 本発明の第１実施例に係る連携露光演算部の処理シーケンスの一例を示す図である。 本発明の第１実施例に係るステレオ撮像画像処理システムを示す第２の模式図である。 本発明の第１実施例に係るステレオ撮像制御部の処理シーケンスの一例を示す図である。 本発明の第２実施例に係る連携露光演算部の処理シーケンスの一例を示す第１の図である。 本発明の第２実施例に係る連携露光演算部の処理シーケンスの一例を示す第２の図である。 本発明の第２実施例に係る連携露光演算部の処理の概要を示す図である。 本発明の第３実施例に係るステレオ撮像画像処理システムを示す模式図である。 本発明の第３実施例に係る連携露光演算部の処理シーケンスの一例を示す図である。 本発明の第４実施例に係る連携露光演算部の処理シーケンスの一例を示す図である。 本発明の第１実施例に係る連携露光演算部の対応する画像の抽出方式の従来例と本発明の概要を示す図である。

符号の説明

０１０１…ステレオ撮像部
０１０２…ステレオ画像処理部
０１０３…連携露光演算部
０３０１＿１…第１の撮像部
０３０１＿２…第２の撮像部
０３０４…カメラ信号処理部
０３０５…ステレオ撮像制御部
０８０６…画像処理部。

Claims (8)

1. ステレオ撮像を行うステレオ撮像手段と、
   該ステレオ撮像手段が出力するステレオ撮像画像を用いてステレオ画像処理を行うステレオ画像処理手段と、
   該ステレオ画像処理手段において行われるステレオマッチング処理の情報を用いて、該ステレオ撮像手段の露光制御をするための演算処理を行う連携露光演算手段と、
   を備えることを特徴とする撮像装置。
2. 撮像を行う第一の撮像手段と、
   撮像を行う第二の撮像手段と、
   該第一の撮像手段と該第二の撮像手段が出力する信号に対しカメラ信号処理を行い映像信号を生成するカメラ信号処理手段と、
   該カメラ信号処理手段が出力するステレオ撮像画像を用いてステレオ画像処理を行うステレオ画像処理手段と、
   該ステレオ画像処理手段において行われるステレオマッチング処理の情報を用いて、露光制御をするための演算処理を行う連携露光演算手段と、
   該連携露光演算手段の処理結果を用いて、該第一の撮像手段と該第二の撮像手段と該カメラ信号処理手段の制御を行うステレオ撮像制御部と、
   を備え、
   該連携露光演算手段で演算処理を行う場合に、ステレオマッチング処理の情報を利用して該第一の撮像手段と該第二の撮像手段で撮像したステレオ撮像画像のステレオマッチングした領域を比較し輝度レベルの比率を演算すること、
   を特徴とする撮像装置。
3. 請求項２に記載の撮像装置において、
   前記ステレオ撮像制御部で、前記第一の撮像手段と前記第二の撮像手段と前記カメラ信号処理手段の制御を行う場合に、前記カメラ信号処理手段から得られる輝度評価情報を用いた単眼の露光制御演算結果と、前記連携露光演算手段で演算した輝度レベルの比率と、を用いて、露光制御のゲインを演算すること、
   を特徴とする撮像装置。
4. 請求項１から３のいずれかに記載の撮像装置において、
   前記連携露光演算手段で演算処理を行う場合に、ステレオマッチング処理の情報を利用して得られる複数の輝度レベルの比率の分布を演算して、総合的な輝度レベルの比率を演算すること、
   を特徴とする撮像装置。
5. 請求項４に記載の撮像装置において、
   前記連携露光演算手段で複数の輝度レベルの比率の分布を演算して総合的な輝度レベルの比率を演算する場合に、それぞれの輝度レベルの比率をステレオマッチング処理の情報を用いて重み付けして演算を行うこと、
   を特徴とする撮像装置。
6. 撮像を行う第一の撮像手段と、
   撮像を行う第二の撮像手段と、
   該第一の撮像手段と該第二の撮像手段が出力する信号に対しカメラ信号処理を行い映像信号を生成するカメラ信号処理手段と、
   該カメラ信号処理手段が出力するステレオ撮像画像を用いてステレオ画像処理を行うステレオ画像処理手段と、
   該カメラ信号処理手段が出力するステレオ撮像画像を用いてそれぞれの画像の画像処理を行う画像処理手段と、
   該ステレオ画像処理手段において行われるステレオマッチング処理の情報と該画像処理手段で行われるそれぞれの画像の画像処理結果を用いて、露光制御をするための演算処理を行う連携露光演算手段と、
   該連携露光演算手段の処理結果を用いて、該第一の撮像手段と該第二の撮像手段と該カメラ信号処理手段の制御を行うステレオ撮像制御部と、
   を備え、
   該連携露光演算手段で演算処理を行う場合に、ステレオマッチング処理の情報を利用して輝度レベルの比率を演算し、画像処理結果の結果を用いて輝度レベルの比率に重み付けをして総合的な輝度レベルの比率を演算すること、
   を特徴とする撮像装置。
7. 請求項６に記載の撮像装置において、
   前記連携露光演算手段でステレオ撮像画像のステレオマッチングした領域を比較し輝度レベルの比率を演算する場合に、画像処理結果の結果を用いてステレオマッチングした領域の一部の領域を選択して演算すること、
   を特徴とする撮像装置。
8. 請求項１から７に記載の撮像装置において、
   前記連携露光演算手段でステレオ撮像画像のステレオマッチングした領域を比較し輝度レベルの比率を演算する場合に、ステレオ画像処理の結果を用いてステレオマッチングした領域の一部の領域を選択して演算すること、
   を特徴とする撮像装置。

Images