JP2019054327A - 撮像装置 - Google Patents

Abstract

【課題】明部と暗部以外の中間レベルでの左右エリアの境界部の信号レベルのレベル差を小さくすることが可能な撮像装置を提供することにある。【解決手段】撮像装置は、左右エリアの画像データを出力する撮像素子と、前記左右エリアの分割境界に隣り合う画素の信号レベルを検出するレベル測定部と、前記左右エリアの一方のみの映像信号に対し、全諧調に対し任意に指定された変換テーブル値を用いて任意レベルに変換する変換部と、前記レベル測定部の測定信号に基づいて、前記隣り合う画素の信号レベルの信号レベル差が最小となるように、前記変換テーブル値を更新する更新部と、を有する。【選択図】図１

Description

本発明は撮像装置に関し、特に、映像信号を分割出力可能な固体撮像素子を用いた撮像装置に適用可能である。

近年、高画素、高フレームレート化のため、映像信号を分割出力可能な固体撮像素子を用いた撮像装置がある。この撮像装置は、左側映像信号と右側映像信号とを分割出力できる固体撮像素子を使用し、被写体を撮像した左右の映像信号を合成した後、画像データとして表示装置に表示させる。分割出力型個体撮像素子の出力信号レベルを補正する技術は、例えば、特開２０１１−１４９９５号公報（特許文献１）に開示されている。

図５は、本発明者により検討された撮像装置のブロック図を示す。図６は、本発明者により検討された補正方法とその効果を示す図である。

図５の撮像装置は、左右映像のレベル誤差を補正する機能を備えた撮像装置であり、左右レベル差を低減するために、左側の映像と右側の映像の境界部のレベルが同じになるように、左右いずれかを基準とし、もう一方の映像に対して補正を行う。

図５の撮像装置について説明する。１は撮像レンズである。２は撮像レンズ1から入射した光を光電変換し、左右均等に分割された左右それぞれの領域の映像信号を左右独立して出力可能なＣＣＤ撮像素子（エリア分割型ＣＣＤ撮像素子）である。３はＣＣＤ撮像素子２の映像信号に対し、プリアンプ処理後、ＣＤＳ(相関２重サンプリング）によりノイズ低減を行ったアナログ信号に対し、所望のアンプ処理等を行うＡＦＥ部（アナログフロントエンド回路）である。４はＡＦＥ部３から出力されるアナログ映像信号をデジタル信号に変換するＡＤ変換部（Ａ/Ｄ部）である。５はＡ/Ｄ部４から出力されるデジタル映像信号をサンプリングし、任意の画素、領域の映像信号レベルを測定する映像信号レベル測定部である。６は左右の映像信号の遅延量を調整する左信号用遅延処理部である。１１は左側を基準とし、右側の映像レベルに対してのみＢｌａｃｋレベルを調整可能な右側Ｂｌａｃｋ補正部であり、１２は右側Ｇａｉｎのみ調整可能な右側Ｇａｉｎ補正部である。８は左信号遅延処理部６と右側Ｇａｉｎ補正部１２から出力される映像左右の信号データ１枚の映像信号に合成し、ガンマ補正やニー補正などの所定の映像信号処理を行う汎用映像信号処理部である。９は汎用映像処理部８から出力される映像信号データを入力し、カメラリンク（ＣａｍｅｒａＬｉｎｋ）規格等の所定のデジタル映像信号として、他の機器へと出力するカメラリンク（ＣａｍｅｒａＬｉｎｋ）出力ドライバ部である。１０はＡＦＥ３、汎用映像処理部８に対し、所定の制御を行うほか、レベル測定部５から左側の映像と右側の映像の境界部の信号レベルを取得し、境界部の信号レベルのレベル差が最小となるように右側Ｂｌａｃｋ補正部１１と右側Ｇａｉｎ補正部１２とを制御するＣＰＵ部である。

図５では、左側を基準とし、右側の映像レベルに対してのみＢｌａｃｋレベルを調整可能な右側Ｂｌａｃｋ補正部１１と、同様に右側Ｇａｉｎのみ調整可能な右側Ｇａｉｎ補正部１２を備えたハードウェア構成を用いている。

図５の構成では、左右の境界に隣接する領域の暗部と明部を抽出し、信号特性を暗部レベルと明部レベルを通る直線をそれぞれ左右のレベルに対応した、図６のＹ＿Ｌｅｆｔ/Ｙ＿Ｒｉｇｈｔで示す一次関数に近似し、この一次関数Ｙ＿ＬｅｆｔとＹ＿Ｒｉｇｈｔが等しくなるように、図６の（式１）によって右側Ｂｌａｃｋ補正値を求め、図６の（式２）によって右側補正Ｇａｉｎを求める。その値を、図５の右側Ｂｌａｃｋ補正１１と右側Ｇａｉｎ補正１２に適用することによって、図６の補正後の図のように、左右の明部と暗部が等しく補正された映像を得ることができる。

特開２０１１−１４９９５号公報

エリア分割型ＣＣＤ撮像素子を用いる場合、ＡＦＥ部３は、分割エリア毎に独立した１対のアナログフロントエンド回路を持つ構成となる。一対のアナログフロントエンド回路のばらつき等により、信号レベルのリニアリティが左右エリアの境界部の映像でわずかに異なる場合がある。このため、Ｂｌａｃｋ補正とＧａｉｎ補正による一次関数的な線形補正では、明部と暗部以外の中間レベルでの補正誤差が大きくなる問題があることを見出した。

本発明の課題は、明部と暗部以外の中間レベルでの左右エリアの境界部の信号レベルのレベル差を小さくすることが可能な撮像装置を提供することにある。

その他の課題と新規な特徴は、本明細書の記述および添付図面から明らかになるであろう。

本開示のうち代表的なものの概要を簡単に説明すれば下記の通りである。

すなわち、撮像装置は、左右エリアの画像データを出力する撮像素子と、前記左右エリアの分割境界に隣り合う画素の信号レベルを検出するレベル測定部と、前記左右エリアの一方のみの映像信号に対し、全諧調に対し任意に指定された変換テーブル値を用いて任意レベルに変換する変換部と、前記レベル測定部の測定信号に基づいて、前記隣り合う画素の信号レベルの信号レベル差が最小となるように、前記変換テーブル値を更新する更新部と、を有する。

上記撮像装置によれば、明部と暗部以外の中間レベルでの左右エリアの境界部の信号レベルのレベル差を最小とすることが可能である。

本発明の実施例に係る撮像装置のブロック図 本発明の実施例に係るエリア境界に隣接する信号検出部を説明するための図 本発明の実施例に係る動作処理フロー図 本発明の実施例に係る動作処理フロー図 本発明の実施例に係る補正効果を示す図 本発明者により検討された撮像装置のブロック図 本発明者により検討された補正方法と効果を示す図

以下、実施例について、図面を用いて説明する。ただし、以下の説明において、同一構成要素には同一符号を付し繰り返しの説明を省略することがある。なお、図面は説明をより明確にするため、実際の態様に比べ模式的に表される場合があるが、あくまで一例であって、本発明の解釈を限定するものではない。

本発明の実施例について、図１を用いて説明する。

図１は、本発明の実施例に係る撮像装置１００のブロック図である。撮像装置１００は、図１に示される以下の構成を有する。

１は、被写体からの入射光を受ける撮像レンズである。

２は、撮像レンズ１から入射した光を光電変換し、左右均等に分割された左右それぞれの領域の映像信号２１、２２を左右独立して出力可能なＣＣＤ（Ｃｈａｒｇｅｄ-ｃｏｕｐｌｅｄ ｄｅｖｉｃｅｓ）撮像素子である。撮像素子２は、エリア分割型のＣＣＤ撮像素子である。なお、以下の説明では、エリア分割は、左エリアと右エリアとの２つのエリアに分割する例を、主に、説明するが、これに限定されるわけではない。エリア分割は、上下の２つのエリアでもよい。エリア分割数は、３分割しても良いし、４分割してもよい。例えば、上下左右の４つのエリアに分割してもよい。

３は、ＣＣＤ撮像素子２の映像信号（２１、２２）に対し、プリアンプ処理後、ＣＤＳ(相関２重サンプリング）によりノイズ低減を行ったアナログ信号に対し、所望のアンプ処理等を行うＡＦＥ（アナログフロントエンド）部である。

４は、ＡＦＥ部３から出力されるアナログ映像信号（３１、３２）をデジタル信号に変換するアナログデジタル変換部（Ａ/Ｄ部）である。

５は、Ａ/Ｄ部４から出力されるデジタル映像信号（４１、４２）をサンプリングし、任意の画素、領域の映像信号レベルを測定する映像信号レベル測定部である。

６は、左右の映像信号の遅延量を調整する左信号用遅延処理部である。

７は、入力される右側映像信号（４２）の全諧調に対し、ルックアップテーブル（ＬＵＴ）を用いて、それぞれ任意の諧調に変換する右信号ＬＵＴ補正部である。すなわち、右信号ＬＵＴ補正部７は、ルックアップテーブルによる変換部と見做すこともできる。

８は、左信号遅延処理部６と右信号ＬＵＴ補正部７から出力される左右の映像信号（６１，７２）の信号データを、１枚（1フレーム）の映像信号（８０）に合成し、ガンマ補正やニー補正などの所定の映像信号処理を行う汎用映像信号処理部である。

９は、汎用映像処理部８から出力される映像信号データ（８０）を入力し、カメラリンク（ＣａｍｅｒａＬｉｎｋ）規格等の所定のデジタル映像信号（９０）として、他の機器へと出力するカメラリンク（ＣａｍｅｒａＬｉｎｋ）出力ドライバ部である。

１０は、ＡＦＥ部３、汎用映像処理部８に対し、所定の制御を行うほか、レベル測定部５から左右エリアの信号レベルを取得し、左右エリアのレベル差が最小となるように右側ＬＵＴ部７に適切なルックアップテーブルデータを設定するＣＰＵ（中央処理装置）部である。すなわち、ＣＰＵ部１０は、右側ＬＵＴ補正部７にルックテーブルデータを設定するルックアップテーブル更新部と見做すことが出来る。

次に、撮像装置１００の動作を説明する。

撮像装置１００において、撮像レンズ１を通過した被写体からの入射光はＣＣＤ撮像素子２に入射される。撮像素子２は入射された光を光電変換し、撮像エリアの中心を境界とし、左エリアンに対応する左アナログ映像信号（２１）および右エリアに対応する右アナログ映像信号（２２）を独立した経路でＡＦＥ部３に出力する。

ＡＦＥ部３では、左アナログ映像信号（２１）および右アナログ映像信号（２２）それぞれに対し、それぞれ独立に、プリアンプ処理、ＣＤＳによるノイズ低減処理、クランプ処理等の所定の処理を行いＡＤ変換部４へ出力する。

ＡＤ変換部４は、入力された左アナログ映像信号（３１）および右アナログ映像信号（３２）をそれぞれＡＤ変換し、左側デジタル映像信号（左側映像信号）（４１）と右側デジタル映像信号（右側映像信号）（４２）とを生成する。左側デジタル映像信号（４１）は左側信号遅延部６と映像信号レベル測定部５とへそれぞれ出力され、右側デジタル映像信号（４２）は右側ＬＵＴ補正部７と映像信号レベル測定部５とへそれぞれ出力される。

映像信号レベル測定部５は、図２で示すように、左右エリアの分割境界に隣接する映像レベルを幅と高さがそれぞれ１画素以上の測定ブロックごとに映像レベルを数値化し保持する。測定ブロックは、信号検出部であり、また、測定ポイントである。

右側ＬＵＴ補正部７は、全諧調に対し任意に指定された変換テーブル値（ルックアップテーブル）に基づき、右側映像信号（４２）に対し、諧調変換を行い、汎用映像処理部８へ出力する。

左側信号用遅延部６は、ＡＤ変換部４から入力された左側映像信号（４１）に対し、右側ＬＵＴ補正部７で生じる信号遅延と等しい信号遅延を行い、左右エリアの映像の位相をあわせ、汎用映像処理部８へ出力する。

汎用映像処理部８は、左右の映像信号（６１、７２）を1枚（１フレーム）の映像信号（８０）に合成後、撮像装置１００として一般的な映像処理を行い、カメラリンクドライバ部９へ出力し、カメラリンクドライバ部９は入力された映像データ（８０）をＣａｍｅｒａＬｉｎｋ規格に適合した所定の信号（９０）に変化し、他の機器へと出力する。

ＣＰＵ部１０は、映像信号レベル測定部５から、図２で示す左右エリアのエリア境界（４３）に隣接する測定ポイントの測定値Ｄｅｔ＿Ｌ［ｎ］、Ｄｅｔ＿Ｒ［ｎ］（ｎ＝０からＮ）を取得し、図３Ａおよび図３Ｂのフローチャートで示す計算フローによって、左映像（４１）に対し、隣接する右映像（４２）のレベル差が最小となる右側ＬＵＴデータを算出し、右側ＬＵＴ補正部７にＬＵＴデータをリアルタイムに設定する。ＣＰＵ部１０は、図３Ａおよび図３Ｂに示される計算フローに関するソフトウエアプログラムを実行し、右側ＬＵＴ補正部７に適切なＬＵＴデータをリアルタイムに設定する。すなわち、ＣＰＵ部１０は、ルックアップテーブルの更新部と見做すことも出来る。

なお、図２は、エリア境界に隣接する信号検出部（測定ポイント）を説明するための図であり、左側デジタル映像信号（４１）と右側デジタル映像信号（４２）とを1フレームに合成した場合の仮想的なフレーム構成である。１フレームは、水平方向の全有効領域Ｈと垂直方向の全有効領域Ｖとで構成されている。水平方向の全有効領域Ｈは、左エリア（Ｌ）とされる左側デジタル映像信号（４１）と、右エリア（Ｒ）とされる右側デジタル映像信号（４２）とから構成される。左エリア（Ｌ）と右エリア（Ｒ）とのエリア境界（ＬＲ）は、左エリア（Ｌ）の測定ブロックＬ［０］−Ｌ［Ｎ］と、右エリア（Ｒ）の測定ブロックＲ［０］−Ｒ［Ｎ］と、を有する。エリア（Ｌ）の測定ブロックＬ［０］−Ｌ［Ｎ］は左側測定用とされ、右エリア（Ｒ）の測定ブロックＲ［０］−Ｒ［Ｎ］は右側測定用とされる。

各測定ブロック（Ｌ［０］−Ｌ［Ｎ］、Ｒ［０］−Ｒ［Ｎ］）のサイズは、例えば、幅と高さがそれぞれ１画素以上（〜数画素）とすることが出来る。各測定ブロック（Ｌ［０］−Ｌ［Ｎ］、Ｒ［０］−Ｒ［Ｎ］）は、測定ポイントとされており、例えば、測定ブロック（Ｌ［０］）の測定値はＤｅｔ＿Ｌ［０］とされ、測定ブロック（Ｒ［０］）の測定値はＤｅｔ＿Ｒ［０］とされている。すなわち、各測定ブロック（Ｌ［０］−Ｌ［Ｎ］、Ｒ［０］−Ｒ［Ｎ］）の測定値は、Ｄｅｔ＿Ｒ［ｎ］（ｎ＝０からＮ）、Ｄｅｔ＿Ｌ［ｎ］（ｎ＝０からＮ）である。図２には、複雑さを避けるため、代表として、Ｄｅｔ＿Ｒ［０］、Ｄｅｔ＿Ｒ［Ｎ］、Ｄｅｔ＿Ｌ［０］、Ｄｅｔ＿Ｌ［Ｎ］の４つを記載している。

次に、図３Ａおよび図３Ｂに示される動作処理フローについて説明する。なお、図３Ａに示す動作処理フローの下側のＡ印は、図３Ｂに示す動作処理フローの上側のＡ印に結合されている。

この動作処理フローでは、映像の諧調を０〜１０２３（１０ｂｉｔ）とし、測定された隣接データＤｅｔ＿Ｌ［ｎ］,Ｄｅｔ＿Ｒ［ｎ］はその範囲をとるものとする。

初めにＬＵＴ設定用配列変数ＬＵＴ［０〜１０２３］と、同諧調値の加算回数を格納する変数 ＡｄｄＣｏｕｎｔ［０〜１０２３］、そして各検出諧調値の和を格納する変数をＡｄｄＬｅｖｅｌ［０〜１０２３］として準備し、ＬＵＴ［］のみ“ＬＵＴ［ｌｅｖ］=ｌｅｖ”（ｌｅｖは０〜１０２３）で初期化し、それ以外はすべて０で初期化する。

次に、映像信号レベル測定部５から、左右レベル検出値ＤｅｔＬ＿［ｎ］,Ｄｅｔ＿Ｒ［ｎ］の全データを取得する。Ｄｅｔ＿Ｌ［ｎ］,Ｄｅｔ＿Ｒ［ｎ］に対し、それぞれ対と左右の値の比が０．９〜１．１の範囲にある場合のみ、それに対応するＤｅｔ＿Ｌ［ｎ］,Ｄｅｔ＿Ｒ［ｎ］を有効値とし、有効な右側データＤｅｔ＿Ｒ［ｎ］の出現頻度をＡｄｄＣｏｕｎｔ［］へ、それに対応する左側検出値Ｄｅｔ＿Ｌ［ｎ］の和をＡｄｄＬｅｖｅｌ［］に格納する。上記処理を全Ｄｅｔ＿Ｌ［ｎ］,Ｄｅｔ＿Ｒ［ｎ］に適用後、ＡｄｄＣｏｕｎｔ［］が１以上のＡｄｄＬｅｖｅｌ［］に対し、対応するＡｄｄＣｏｕｎｔ［］で割り、ＡｄｄＬｅｖｅｌを平均化し、有効なＬＵＴデータとしてＬＵＴ［ｌｅｖ］に格納する。

上記処理にて、有効なＬＵＴデータが格納されなＬＵＴ諧調は、前後の有効なＬＵＴ値から直性補間を行い、ＬＵＴ［］データの連続性を確保する。同手順により全諧調のＬＵＴデータを生成後、生成したＬＵＴデータを右側ＬＵＴ補正部７に随時（リアルタイムに）設定する。

図４は、図３Ａおよび図３Ｂによる補正効果を示している。図４に示される補正後のグラフにおいて、Ｒｘ２は補正後の右側（Ｒｉｇｈｔ）データを示しており、図３Ａおよび図３Ｂによる右側データの補正により、中間部の補正誤差（右側データＬｘ―Ｒｘ２）は小さくされている。

図４に示される補正後のグラフにおいて、図４に示される補正前のグラフと比べ、明部と暗部、および、明部と暗部の間の中間レベルでの左右エリアの境界部の信号レベルのレベル差が小さくされている。また、図６の補正後のグラフと比較して、明部と暗部の間の中間レベルでの左右エリアの境界部の信号レベルのレベル差が小さくされている。

以上、本発明者によってなされた発明を実施例に基づき具体的に説明したが、本発明は、上記実施例に限定されるものではなく、種々変更可能であることはいうまでもない。

実施例では、エリア分割は、左エリアと右エリアとの２つのエリアに分割する例を説明したが、これに限定されるわけではない。エリア分割は、上下の２つのエリアでもよい。エリア分割数は、３分割しても良いし、４分割してもよい。例えば、左中右の３つのエリアに分割してもよいし、上中下の３つのエリアに分割してもよいし、上下左右の４つのエリアに分割してもよい。

また、実施例では、右エリアの信号レベルを、左エリアの信号レベルに一致させるように補正する例を示したが、これに限定されるわけではない。左エリアの信号レベルを、右エリアの信号レベルに一致させるように補正してもよい。

１：撮像レンズ
２：ＣＣＤ撮像素子
３：ＡＦＥ
４：Ａ／Ｄ
５：映像信号レベル測定部
６：左側信号遅延
７：右側ＬＵＴ補正
８： 汎用映像処理
９：ＣａｍｅｒａＬｉｎｋ出力ドライバ
１０：ＣＰＵ

Claims (5)

1. 左右エリアの画像データを出力する撮像素子と、
   前記左右エリアの分割境界に隣り合う画素の信号レベルを検出するレベル測定部と、
   前記左右エリアの一方の映像信号に対し、全諧調に対し任意に指定された変換テーブル値を用いて任意レベルに変換する変換部と、
   前記レベル測定部の測定結果に基づいて、前記隣り合う画素の信号レベルのレベル差が最小となるように、前記変換テーブル値を更新する更新部と、を有する、
   撮像装置。
2. 請求項１の撮像装置において、
   前記更新部による前記変換テーブル値の更新は、リアルタイムに行われる、撮像装置。
3. 請求項１の撮像装置において、
   前記変換テーブル値は、ルックアップテーブルである、撮像装置。
4. エリア分割読み出し可能な撮像素子を用い、分割エリアの分割境界に隣り合う画素の信号レベルを検出可能なレベル検出部と、
   前記分割エリアの一方のみの映像信号に対し、ルックアップテーブルを用いて任意レベルに変換することが可能な変換部と、
   前記レベル検出部の検出結果に基づいて、前記分割境界に隣り合う画素の前記信号レベルのレベル差が最小となるように、前記ルックアップテーブルをリアルタイムで更新する更新部と、を有する、
   撮像装置。
5. 請求項４の撮像装置において、
   前記ルックアップテーブルは、全諧調に対し、諧調変換を行う、撮像装置。

Images