JP2008177643A

JP2008177643A - 撮像装置および撮像方法

Info

Publication number: JP2008177643A
Application number: JP2007006732A
Authority: JP
Inventors: Hiromasa Katayama; 博誠片山
Original assignee: Sony Corp
Current assignee: Sony Corp
Priority date: 2007-01-16
Filing date: 2007-01-16
Publication date: 2008-07-31

Abstract

【課題】レンズを介して取り込む映像のうち不要部分についての検波処理を除外して正確な検波を行うことができるようにすること。
【解決手段】本発明は、光学系を介して光を取り込み電気信号に変換する撮像素子１０と、撮像素子１０から出力される電気信号の光学系に対する撮像での座標情報を用いて所定の検波対象枠に収まっているか否かを示す信号を検波可否出力する座標測定部と、座標測定部から出力される検波可否信号を受けて検波対象枠に収まっていると判断された場合のみ撮像素子１０から出力される電気信号を用いて検波を行うＯＰＤブロックとを備える撮像装置である。
【選択図】図７

Description

本発明は、光学系を介して撮像素子に取り込んだ光を電気信号に変換し、所定の信号処理を行う撮像装置および撮像方法に関する。

近年、監視カメラや自動車のフロント／バックモニタ等において広角化を狙った撮像システムが多く適用されている。この広角化をねらった撮像システムにおいては、広角レンズを使用することから、撮像素子の周辺画素にケラレが生じやすいことが知られている

一方、撮像システムにおける画像処理として、AE（Automatic Exposure）/AWB（auto white balance）などの検波は、CCD（Charge Coupled Devices）/CMOS（Complementary Metal Oxide Semiconductor）センサーなどに代表される撮像素子の画素配列が四角形であることから、特許文献１などに代表されるように、得られる複数の画枠を全て四角形の形にし、枠毎に検波を行う方式を取っている。

特開２００２−５１３４８号公報

しかし、上記の撮像装置を用いたアプリケーションに対してもそのまま従来の検波方式を用いてしまうと、処理の必要性のない画素の情報が検波に使われてしまい、検波情報に対し余計な情報の付加が発生してしまう。また、これを防止するため、検波の枠を小さくしてしまうと、逆に検波自身の精度を落とす結果となってしまう。

また、DSPなどの信号処理部において、四方の不必要な画素に対して信号処理が行われても、意味の無い情報の処理となり、その分の余計な消費電力の増大が発生する。

本発明は、このような課題を解決するために成されたものである。すなわち、本発明は、光学系を介して光を取り込み電気信号に変換する撮像素子と、撮像素子から出力される電気信号の光学系に対する撮像での座標情報を用いて所定の検波対象枠に収まっているか否かを示す信号を検波可否出力する座標測定手段と、座標測定手段から出力される検波可否信号を受けて検波対象枠に収まっていると判断された場合のみ撮像素子から出力される電気信号を用いて検波を行う検波手段とを備える撮像装置である。

このような本発明では、撮像素子で取り込んで得た電気信号の撮像での座標情報を用いてその座標が所定の検波対象枠に収まっているか否かを判断し、収まっている場合のみ撮像素子から出力される電気信号を用いて検波を行うことから、検波に不要な電気信号を除外できるようになる。

ここで、本発明では、検波対象枠に収まっているか否かを判断する座標測定手段として、極座標方式による距離測定や、楕円極座標方式による座標測定を行い、その距離測定や座標測定の値と所定の閾値との比較によって検波可否信号を出力する。これにより、光学系でのいわゆるけられの範囲に対応した的確な検波可否の判断を行うことができるようになる。

また、本発明では、光学系に対する撮像での中心座標を原点とした所定の座標方式による距離測定の値に予め設定したステップ幅を加えた値と所定の閾値との比較によって検波可否信号を出力するものでもある。これにより、矩形範囲での検波処理にも容易に対応できるようになる。

また、本発明は、光学系を介して撮像素子に光を取り込み電気信号に変換する工程と、撮像素子から出力される電気信号の光学系に対する撮像での座標情報を用いて所定の検波対象枠に収まっているか否かを示す検波可否信号を出力する工程と、検波可否信号を受けて検波対象枠に収まっていると判断された場合のみ撮像素子から出力される電気信号を用いて検波を行う工程とを備える撮像方法である。

このような本発明では、撮像素子で取り込んで得た電気信号の撮像での座標情報を用いてその座標が所定の検波対象枠に収まっているか否かを判断し、収まっている場合のみ撮像素子から出力される電気信号を用いて検波を行うことから、検波に不要な電気信号を除外した信号処理を行うことができるようになる。

したがって、本発明によれば、次のような効果がある。すなわち、撮像素子で取り込んだ電気信号について不要な情報を用いることなく正確な検波処理を実現することが可能となる。また、電気信号の不要な部分での処理を停止でき、消費電力の低減を図ることが可能となる。

以下、本発明の実施の形態を図に基づき説明する。本実施形態に係る撮像装置は、広角レンズ撮像に対応した検波処理を実現でき、しかもシステムの軽量化を維持できる点に特徴がある。

すなわち、広角化をねらった撮像システムにおいて、広角レンズを使用した場合、円形の撮像が行われるため、現在の主流であるCCD（Charge Coupled Devices）やCMOS（Complementary Metal Oxide Semiconductor）センサーからの画素で、四方部分などに用いられない画素が多数発生する。これら不要部分では広角レンズ特有のケラレなどが発生するため、これらの情報の余計な検波を行ってしまうと、AE（Automatic Exposure）やAWB（auto white balance）の検波等の制御に悪影響を及ぼす。

また、画素の信号処理も必要としない部分なので、不必要な処理を無くせば、不要動作の低減を行うことができ、消費電力削減にも繋がる。

本発明は、この不要画素部分において検波や信号処理を行わないようにすることを目的とした技術である。

図１から図４は、本実施形態の撮像装置の概要を説明する模式図である。図１は、広角レンズを用いた場合の撮像素子での撮像イメージを説明する模式図である。CCDやCMOSセンサーから成る撮像素子では撮像範囲が矩形となっており、広角レンズを用いると、その矩形の撮像範囲の四方部分に広角レンズを通さない部分、すなわち使用されない画素部分が発生する（図中ドット部分参照）。

撮像素子は各画素で取り込んだ光を光量に応じた電気信号に変換した後段に出力するが、撮像領域の全ての画素の電気信号を用いてAEやAWB等の検波処理を実行すると、上記のような使用されない画素部分の電気信号も検波処理の対象となり、正確な検波結果を得ることができなくなってしまう。

そこで、本実施形態の撮像装置では、このような撮像領域の使用されない画素の電気信号を検波処理の対象から除外するため、所定の計算によって撮像素子の電気信号を検波対象とするか否かの演算を行っている。以下、この演算の例（撮像方法）を説明する。

（演算その１）
図２は、極座標による演算を説明する模式図である。すなわち、先ず、広角レンズを介して撮像素子で電気信号を取り込む。この広角レンズによる有効な撮像領域が円である場合、図２に示すように、撮像素子の撮像領域における撮像中心から各画素までの距離を、極座標により抽出する。

撮像中心から画素までの距離Rは、各画素の水平方向の距離xおよび垂直方向の距離yを抽出し、R＝√（x²+y²）の計算により算出される。

これが、検波不要判定閾値cよりも大きな値を持つ場合に検波可否信号として検波加算不要信号を出力し、撮像素子の後段にある検波ブロックにこの信号を与える。検波ブロックでは、検波可否信号として検波加算不要信号を受信した場合、その画素における電気信号を検波用データとして使用しないよう検波処理を止める。

一方、算出した距離Rが検波不要判定閾値cよりも小さい値を持つ場合には、検波可否信号として検波加算必要信号を出力し、検波ブロックにこの信号を与える。検波部録では、検波可否信号として検波加算必要信号を受信した場合、その画素における電気信号を検波用データとして使用するよう検波処理を実行する。

この検波不要判定閾値cは、実際の撮像面の半径に相当し、これを予め設定しておく。

距離Rのルート計算は、例えば開平方式(筆算法)などを用いて、回路にて導出しても良いが、回路規模を考慮し、検波不要判定閾値cを撮像面半径の2乗の設定値にすることで、ルート計算を省くことが可能である。

（演算その２）
図３は、楕円極座標による演算を説明する模式図である。すなわち、先ず、広角レンズを介して撮像素子で電気信号を取り込む。この広角レンズによる撮像面が楕円である場合、図３に示すように、撮像素子の撮像領域における各画素の位置を楕円極座標により抽出する。

水平軸側の楕円半径をa、垂直軸側の楕円半径をbとし、これをレンズにあわせた距離パラメータとして予め設定する。この設定から、各画素の水平方向の距離xおよび垂直方向の距離yを抽出し、x²/a²+y²/b²を計算し、これが楕円閾値cより大きくなるかによって、検波可否判定を行う。

つまり、x²/a²+y²/b²の計算値が楕円閾値cより大きい場合、検波可否信号として検波加算不要信号を出力し、撮像素子の後段にある検波ブロックにこの信号を与える。検波ブロックでは、検波可否信号として検波加算不要信号を受信した場合、その画素における電気信号を検波用データとして使用しないよう検波処理を止める。

一方、算出したx²/a²+y²/b²の計算値が楕円閾値cより小さい場合、検波可否信号として検波加算必要信号を出力し、検波ブロックにこの信号を与える。検波部録では、検波可否信号として検波加算必要信号を受信した場合、その画素における電気信号を検波用データとして使用するよう検波処理を実行する。

（演算その３）
図４は、ステップ幅を用いた矩形検波枠設定例を説明する模式図である。上記、演算その１および演算その２において、各画素の撮像中心からの距離Rや座標位置（距離x、距離y）を算出した状態で、所定のステップ幅を加算する演算を行う。

これは、矩形検波対応枠にするための演算である。すなわち、ステップ幅水平設定パラメータxs、垂直設定パラメータysを予め設定しておく。これは、閾値境界周辺にてターゲット画素が、水平方向xs画素、垂直方向ys画素以内にある場合には、検波を出来るように対応させている。これにより、矩形範囲での検波処理にも容易に対応できるようになる。

次に、検波処理の対象となる検波枠と撮像領域との関係を説明する。図５は、９枠での検波枠イメージを説明する模式図である。すなわち、図５（ａ）に示すように、従来の９枠での検波枠は、撮像領域に対して縦横３×３の９枠の矩形から成る検波枠を設定し、各検波枠内の画素の電気信号を用いて所定の検波演算を行っている。

しかし、９枠が全て矩形であるため、広角レンズを用いた場合など撮像領域の四方に発生する不要部分も検波枠内に入ってしまい、この不要部分を含む検波枠では正確な検波演算を行うことができなくなる。

本実施形態では、図５（ｂ）に示すように、広角レンズによる撮像範囲を閾値として設定しておき、撮像中心から画素までの距離Rを先に説明した演算その１によって求め、広角レンズの撮像範囲に対応した閾値との比較によって、閾値を超える距離Rとなる画素の電気信号については検波対象から除外するようにしている。したがって、９枠の検波枠を設定しても、四方に発生する不要部分を検波枠から外すことができ、全ての検波枠において不要な信号を含まない正確な検波演算を行うことが可能となる。

図６は、不要部分の信号処理停止を説明する模式図である。上記の説明では、画素の撮像中心からの距離Rが広角レンズによる撮像範囲の閾値を超える場合には検波演算から除外することで正確な検波演算を行うようにしたが、図６に示すように、画素の撮像中心からの距離Rと広角レンズによる撮像範囲の閾値との比較によって、後段の画像処理を停止するか否かの判断に用いることもできる。

すなわち、画素の撮像中心からの距離Rが広角レンズによる撮像範囲の閾値以下の場合には、その画素の電気信号を画像処理に適用するとして処理を実行するが、距離Rや閾値を超える場合には、その画素の電気信号を画像処理に適用しないとして、その画素を対象とした画像処理を停止させるようにする。これにより、不要な画素については画像処理自体を停止でき、消費電力の削減を図ることができる。

なお、上記図５から図６に示す例では、画素の撮像中心からの距離Rと広角レンズによる撮像範囲の閾値との比較を用いた演算その１を例としたが、画素の撮像領域での座標位置（距離x、距離y）と広角レンズによる撮像範囲の閾値との比較を用いた演算その２であっても同様である。

次に、具体的なシステム構成について説明する。図７は、本実施形態の撮像装置を適用した撮像システムの構成例を説明するブロック図である。

すなわち、この撮像システムは、例えば自動車の前方や後方に取り付けられるモニターカメラのシステムとして適用されるもので、１８０°の超広角レンズＬを介して撮像素子で取り込んだ映像を画像処理によって歪みを補正して出力するシステムとなっている。

例えば、自動車の前方の映像を１８０°の超広角レンズＬで取り込むと、図４に示す取り込み画像のようにレンズの歪みがそのまま映像に反映される。通常、矩形の撮像範囲を備える撮像素子１０によって取り込む映像は、超広角レンズＬの歪みの影響によって略円形や略楕円形の領域だけが使用されることになる。

撮像システムには、撮像素子１０で取り込んだ映像（各画素の電気信号）に対する信号処理を施すＤＳＰ（Digital Signal Processor）２０、歪補正部３０およびNTSCエンコーダ４０が設けられている。

このうち、ＤＳＰ２０は、所定の検波処理やＹ（輝度）Ｃ（色差）分離を行い、後段の歪補正回路に信号を渡す処理を行う。なお、このＤＳＰ２０については後述する。

歪補正部３０は、超広角レンズで取り込んだ際の映像の歪みを補正する座標変換等の処理を行う部分である。これにより、図４に示す補正後画像のような歪みのとれた映像を得ることができる。

図８は、撮像システムにおけるＤＳＰの回路ブロック図である。ＤＳＰ２０は、PREブロック２１、Yブロック２２、Cブロック２３およびOPDブロック２４に大別される。PREブロック２１は、撮像素子であるセンサーから出力を受けて、ビット順の変換を行うビット順変換部２１１、ゲイン調整を行うデジタルAGC（Automatic Gain Control）部２１２、シェーディング補正を行うシェーディング補正部２１３、信号の欠落の検出やその補正を行う欠陥検出・補正部２１４、信号のタイミングを揃えるディレイライン２１５、パターン生成部２１６、黒積分部２１７を備えている。

また、PREブロック２１には、本実施形態の特徴部分の一つである座標測定部２００が設けられている。この座標測定部２００は、先に説明した演算を行って、これにより得た検波可否信号をOPDブロック２４等に出力する。

Yブロック２２は、PREブロック２１から出力される信号からＹ（輝度）信号を取り出す回路であり、Y生成部２２１、輪郭補正部（アパコン）２２２、ハレーション対策用ゲイン調整部２２３、γ補正部２２４を備えている。

Cブロック２３は、PREブロック２１から出力される信号からＣ（色差）信号を取り出す回路であり、色分離・クランプ部２３１、フィルタ２３２、RGBマトリクス２３３、WB/γ補正部２３４、R-G/B-G色変換部２３５、Cr/Cb形成部２３６を備えている。

OPDブロック２４は、検波処理を行うブロックであり、輝度積分部２４１、R/G/B積分部２４２を備えている。OPDブロック２４は、先に説明した座標測定部２００から出力される検波可否信号を受けて、この検波可否信号が検波加算必要信号であれば各回路での検波処理を実行し、検波加算不要信号であれば各回路での検波処理を実行しないよう制御される。

これにより、検波加算必要信号が入力された場合のみ検波処理を行うため、超広角レンズで取り込んだ映像のうち撮像素子の使用しない画素に対応した電気信号については検波対象とならず、必要な画素の電気信号のみを用いた検波処理を行うことが可能となる。

次に、座標測定部２００の詳細について説明する。図９は、極座標距離測定演算（円の場合）を行う座標測定部のブロック図である。この座標測定部２００には、Ｈカウンタ２００１、Ｖカウンタ２００２、Ｈステップ置き換え部２００３、Ｖステップ置き換え部２００４、距離R計算ブロック２００５、距離判定部２００６が設けられている。

Ｈカウンタ２００１は、撮像素子から出力される有効画素水平方向タイミング信号を受けて、カウント数hをＨステップ置き換え部２００３に渡す。Ｈステップ置き換え部２００３は、与えられる水平ステップ幅Xsを加味してカウント数hの置き換えを行う。

一方、Ｖカウンタ２００２は、撮像素子から出力される有効画素垂直方向タイミング信号を受けて、カウント数vをＶステップ置き換え部２００４に渡す。Ｖステップ置き換え部２００４は、与えられる垂直ステップ幅Ysを加味してカウント数vの置き換えを行う。

Ｈステップ置き換え部２００３から出力されるカウント数hおよびＶステップ置き換え部２００４から出力されるカウント数vは距離R計算ブロック２００５に送られ、ここで距離Rの演算を行う。距離Rの演算は、R＝√{(x-h)²+(y-v)²}となる。ここで、x,yは中心画素パラメータである。

距離R計算ブロック２００５で演算によって得られた距離Rは距離判定部２００６に渡される。距離判定部２００６では、距離Rと検波不要判定閾値cとの比較を行い、検波要・不要を示す検波可否信号をOPDブロック等へ出力することになる。

図１０は、極座標距離測定演算（楕円の場合）を行う座標測定部のブロック図である。この座標測定部には、Ｈカウンタ２００１、Ｖカウンタ２００２、Ｈステップ置き換え部２００３、Ｖステップ置き換え部２００４、距離R計算ブロック２００５、距離判定部２００６が設けられている。

Ｈステップ置き換え部２００３から出力されるカウント数hおよびＶステップ置き換え部２００４から出力されるカウント数vは距離R計算ブロック２００５に送られ、ここで距離Rの演算を行う。距離Rの演算は、R＝√{(x-h)²/a²+(y-v)²/b²}となる。ここで、x,yは中心画素パラメータ、aは楕円閾値長半径、bは同短半径である。

このような距離測定部２００によって、撮像素子の各画素の位置に応じた検波可否信号を後段の回路に出力することができ、検波可否信号における検波加算必要信号が入力された場合のみ検波処理等を行うため、超広角レンズで取り込んだ映像のうち撮像素子の使用しない画素に対応した電気信号については検波対象とならず、必要な画素の電気信号のみを用いた検波処理を行うことが可能となる。

なお、本実施形態では、検波可否信号に応じて検波処理等を行うか否かを切り換える例を説明したが、検波可否信号に応じて処理ブロックの所定の構成の動作の停止を制御するようにしてもよい。例えば、検波可否信号が検波加算不要信号であった場合、ＰＲＥブロック２１のデジタルAGC２１２、シェーディング補正部２１３、欠陥検出・補正部２１４、ディレインライン２１５、黒積分部２１７、Yブロック２２の輪郭補正部２２２といった構成についての動作自体を停止させるようにする。これにより、不要な画素に対する回路を動作させずに済み、消費電力の低減を図ることが可能となる。

また、本実施形態では検波処理としてAEやAWBを例としたが、AFやエッジ強調、エッジ平滑化処理といった他の信号処理にて適用可能である。

広角レンズを用いた場合の撮像素子での撮像イメージを説明する模式図である。極座標による演算を説明する模式図である。楕円極座標による演算を説明する模式図である。ステップ幅を用いた矩形検波枠設定例を説明する模式図である。９枠での検波枠イメージを説明する模式図である。不要部分の信号処理停止を説明する模式図である。本実施形態の撮像装置を適用した撮像システムの構成例を説明するブロック図である。撮像システムにおけるＤＳＰの回路ブロック図である。極座標距離測定演算（円の場合）を行う座標測定部のブロック図である。極座標距離測定演算（楕円の場合）を行う座標測定部のブロック図である。

符号の説明

１０…撮像素子、２０…ＤＳＰ、２１…ＰＲＥブロック、２２…Ｙブロック、２３…Ｃブロック、２４…ＯＰＤブロック、３０…歪補正部、４０…ＮＴＳＣエンコーダ、２００…座標測定部、２００５…距離R計算ブロック、２００６…距離判定部

Claims

光学系を介して光を取り込み電気信号に変換する撮像素子と、
前記撮像素子から出力される前記電気信号の前記光学系に対する撮像での座標情報を用いて所定の検波対象枠に収まっているか否かを示す信号を検波可否出力する座標測定手段と、
前記座標測定手段から出力される検波可否信号を受けて前記検波対象枠に収まっていると判断された場合のみ前記撮像素子から出力される前記電気信号を用いて検波を行う検波手段と
を備えることを特徴とする撮像装置。
座標測定手段は、前記光学系に対する撮像での中心座標を原点とした極座標方式による距離測定を行い、前記電気信号に対応した当該距離測定の値と所定の閾値との比較によって前記検波対象枠に収まっているか否かを示す検波可否信号を出力する
ことを特徴とする請求項１記載の撮像装置。
座標測定手段は、前記光学系に対する撮像での中心座標を原点とした楕円極座標方式による座標測定を行い、前記電気信号に対応した当該座標測定の値と所定の閾値との比較によって前記検波対象枠に収まっているか否かを示す検波可否信号を出力する
ことを特徴とする請求項１記載の撮像装置。
前記座標測定手段は、前記光学系に対する撮像での中心座標を原点とした所定の座標方式による距離測定の値に予め設定したステップ幅を加えた値と所定の閾値との比較によって前記検波対象枠に収まっているか否かを示す検波可否信号を出力する
ことを特徴とする請求項１記載の撮像装置。
前記座標測定手段から出力される検波可否信号を受けて前記検波対象枠に収まっていないと判断した場合に処理を停止する制御を行う信号処理手段を備えている
ことを特徴とする請求項１記載の撮像装置。
光学系を介して撮像素子に光を取り込み電気信号に変換する工程と、
前記撮像素子から出力される前記電気信号の前記光学系に対する撮像での座標情報を用いて所定の検波対象枠に収まっているか否かを示す検波可否信号を出力する工程と、
前記検波可否信号を受けて前記検波対象枠に収まっていると判断された場合のみ前記撮像素子から出力される前記電気信号を用いて検波を行う工程と
を備えることを特徴とする撮像方法。