JP2020088419A - 撮像装置、画像補正方法、プログラム - Google Patents

Abstract

【課題】少なくとも一方が欠陥画素を有する複数の撮像素子がそれぞれ撮像した画像を適切に補正することができる撮像装置を提供する。【解決手段】複数の撮像素子１３０Ａ、１３０Ｂがそれぞれ撮像した複数の画像を、撮像条件に応じて補正する撮像装置であって、複数の撮像素子それぞれの撮像条件に基づいて、複数の撮像素子に対して統一された補正レベルを決定する補正レベル決定手段と、補正レベル決定手段が決定した補正レベルに基づいて複数の撮像素子がそれぞれ撮像した複数の画像を補正する補正手段と、を有する。【選択図】図１

Description

本発明は、撮像装置、画像補正方法、及び、プログラムに関する。

撮像装置に用いられるＣＣＤやＣＭＯＳ等に代表される撮像素子は画質向上のために高画素化が進んでいるが、高画素化に伴って欠陥画素を含むこと多くなってきた。欠陥画素とは正常画素と特性が異なる画素（典型的な例として白傷、黒傷がある）をいう。欠陥画素は撮像された画像の劣化をもたらすため、撮像装置は撮像された画像を補正することが一般的である。

例えば、検査などにより登録された欠陥画素の座標に基づいて、撮像された画像の画素値を補正する方法が知られている（例えば、特許文献１参照。）。特許文献１には、補正不足や過補正による画質の低下を防ぐために、複数の補正レベルの欠陥座標を登録し、撮像条件に応じて補正に用いる欠陥補正レベルを変更する技術が開示されている。

しかしながら、従来の補正方法では、少なくとも一方が欠陥画素を有する複数の撮像素子がそれぞれ撮像した画像を補正することが困難であるという問題がある。補足すると、例えば、全天球撮像装置のような広角な撮像装置は複数の撮像素子及び光学系を有し、複数の画像をつなぎ合わせて一つの画像を生成する。この場合、異なる撮像素子で別々に補正方法を決めて補正を行うと複数の画像に画質差が生じるおそれがある。

本発明は、上記課題に鑑み、少なくとも一方が欠陥画素を有する複数の撮像素子がそれぞれ撮像した画像を適切に補正することができる撮像装置を提供することを目的とする。

上記課題に鑑み、本発明は、複数の撮像素子がそれぞれ撮像した複数の画像を、撮像条件に応じて補正する撮像装置であって、複数の撮像素子それぞれの撮像条件に基づいて、複数の撮像素子に対して統一された補正レベルを決定する補正レベル決定手段と、前記補正レベル決定手段が決定した前記補正レベルに基づいて複数の撮像素子がそれぞれ撮像した複数の画像を補正する補正手段と、を有することを特徴とする。

少なくとも一方が欠陥画素を有する複数の撮像素子がそれぞれ撮像した画像を適切に補正することができる撮像装置を提供することができる。

複数の撮像素子で撮像された画像の補正方法を説明する図の一例である。 撮像装置の一例の断面図である。 撮像装置の一例のハードウェア構成図である。 撮像装置が備える機能をブロック状に示す一例の機能ブロック図である。 撮像装置が実行する撮像手順を示す一例のフローチャート図である。 撮像装置における射影関係を説明する図の一例である。 天球画像の画像データのデータ構造を説明する図の一例である。 撮像装置が用いる変換パラメータを説明する図である。 撮像装置が２つの部分画像から生成する全天球画像の一例を示す。 撮像条件と欠陥画素について説明する図の一例である。 欠陥画素の補正レベルについて説明する図の一例である。 欠陥画素ＤＢに記憶されている欠陥画素テーブルの一例を示す図である。 補正レベルＤＢに記憶されている補正レベルテーブルの一例を示す図である。 補正方法を説明する図の一例である。 補正レベルテーブルの一例を示す図である。 撮像装置が欠陥画素の画素値を補正する手順を示すフローチャート図の一例である。

以下、本発明を実施するための形態の一例として、撮像装置と撮像装置が行う画像補正方法について図面を参照しながら説明する。

＜補正の概略＞
図１は、複数の撮像素子で撮像された画像の補正方法を説明する図の一例である。撮像装置は第１撮像素子１３０Ａ，第２撮像素子１３０Ｂを有しており、それぞれが欠陥画素４０１を有している。なお、欠陥画素４０１が実際に画像に影響して現れる数は、露光時間、ゲイン及び温度等の撮像条件により変化する。露光時間とは撮像素子を光に晒す時間又は撮像素子で発生する電荷の蓄積時間であり、本実施形態ではシャッター速度とほぼ同じ意味である。ゲインとはＩＳＯ感度であり、撮像素子がどの程度弱い光まで記録できるかを示す指標である。温度とは撮像素子又はその周囲の温度である。

撮像装置は、第１撮像素子１３０Ａ，第２撮像素子１３０Ｂそれぞれの撮像条件(露光時間、ゲイン、撮像素子の温度等)に基づいて補正レベルを決めている。図１では第１撮像素子１３０Ａの補正レベルは１、第２撮像素子１３０Ｂの補正レベルは２である。従来の撮像素子は第１撮像素子１３０Ａの画像を補正レベル１で、第２撮像素子１３０Ｂの画像を補正レベル２でそれぞれ別々に補正していた。

本実施形態の撮像装置は、第１撮像素子１３０Ａと第２撮像素子１３０Ｂの両方の補正レベルを考慮して、第１撮像素子１３０Ａ，第２撮像素子１３０Ｂの全体の補正レベルを決定する。例えば、補正レベル１と２では補正レベル２の方が大きいので、撮像装置は補正レベル２を第１撮像素子１３０Ａ及び第２撮像素子１３０Ｂの全体の補正レベルに決定する。

こうすることで、複数の撮像素子が欠陥画素を有しているがそれぞれの補正レベルが異なっていても、複数の撮像素子が撮像した複数の画像の補正レベルを統一し、画質差を低減することができる。

＜用語について＞
統一された補正レベルとは、いくつかの補正レベルを１つにまとめることをいう。例えば、補正レベルを同じにすること、同一にすることをいう。隣り合った補正レベルの差が小さくなるように補正レベルが決定されている場合（例えば補正レベルが１〜１００まであるような場合）、複数の撮像素子の補正レベルは全く同じでなくてもよい。

画像の補正とは、真に近い値に変更すること、適切な画素値に変更すること、画質を向上させることをいう。

＜構成例＞
以下、図２及び図３を参照しながら、本実施形態による撮像装置１００の全体構成について説明する。図２は、本実施形態による撮像装置１００の断面図である。図２に示す撮像装置１００は、撮像体１９と、上記撮像体１９その他コントローラボードやバッテリなどの部品を保持する筐体１７と、上記筐体１７に設けられた撮像ボタン１８とを備える。

図２に示す撮像体１９は、２つの結像光学系２０Ａ，２０Ｂと、第１撮像素子１３０Ａ，第２撮像素子１３０Ｂと、を有する。撮像素子１３０Ａ，１３０Ｂは、ＣＣＤ（Charge Coupled Device）センサやＣＭＯＳ（Complementary Metal Oxide Semiconductor）センサなどである。結像光学系２０は、例えば６群７枚の魚眼レンズとして構成される。上記魚眼レンズは、図２に示す実施形態では、１８０度（＝３６０度／ｎ；光学系の数ｎ＝２）より大きい全画角を有し、好適には、１９０度以上の画角を有する。このような広角な結像光学系２０と撮像素子１３０とを１個ずつ組み合わせたものを広角撮像光学系と称する。

２つの結像光学系２０Ａ，２０Ｂの光学素子（レンズ、プリズム、フィルタ及び開口絞り）は、撮像素子１３０Ａ，１３０Ｂに対して位置が定められる。結像光学系２０Ａ，２０Ｂの光学素子の光軸が、対応する撮像素子１３０の受光領域の中心部に直交して位置するように、かつ、受光領域が、対応する魚眼レンズの結像面となるように位置決めが行われる。

図２に示す実施形態では、結像光学系２０Ａ，２０Ｂは、同一仕様のものであり、それぞれの光軸が合致するようにして、互いに逆向きに組み合わせられる。撮像素子１３０Ａ，１３０Ｂは、受光した光分布を画像信号に変換し、コントローラボード上の画像処理ブロックに、順次、画像フレームを出力する。詳細は後述するが、撮像素子１３０Ａ，１３０Ｂでそれぞれ撮像された画像は、合成処理されて、これにより、立体角４πステアラジアンの画像（以下「全天球画像」と参照する。）が生成される。全天球画像は、撮像地点から見渡すことのできる全ての方向を撮像したものとなる。説明する実施形態では、全天球画像を生成するものとして説明するが、水平面のみ３６０度を撮像した、いわゆるパノラマ画像であってもよく、全天球又は水平面３６０度の全景のうちの一部を撮像した画像であってもよい。また、全天球画像は、静止画として保存することもできるし、動画として保存することもできる。

図３は、本実施形態による撮像装置１００のハードウェア構成を示す。撮像装置１００は、ＣＰＵ（Central Processing Unit）１１２と、ＲＯＭ（Read Only Memory）１１４と、画像処理ブロック１１６と、動画圧縮ブロック１１８と、ＤＲＡＭ（Dynamic Random Access Memory）インタフェース１２０を介して接続されるＤＲＡＭ１３２と、外部センサインタフェース１２４を介して接続される姿勢センサ１３６とを有する。

ＣＰＵ１１２は、撮像装置１００の各部の動作及び全体動作を制御する。ＲＯＭ１１４は、ＣＰＵ１１２が解読可能なコードで記述された制御プログラムや各種パラメータを格納する。画像処理ブロック１１６は、第１撮像素子１３０Ａ，第２撮像素子１３０Ｂと接続され、それぞれで撮像された画像の画像信号が入力される。第１撮像素子１３０Ａは第１撮像素子１３０Ａの温度を検出する第１温度センサ１５０Ａを有し、第２撮像素子１３０Ｂは第２撮像素子１３０Ｂの温度を検出する第２温度センサ１５０Ｂを有している。

画像処理ブロック１１６は、ＩＳＰ（Image Signal Processor）などを含み構成され、撮像素子１３０から入力された画像信号に対し、シェーディング補正、ベイヤー補間、ホワイト・バランス補正、ガンマ補正などを行う。画像処理ブロック１１６は、更に、第１撮像素子１３０Ａと第２撮像素子１３０Ｂから上記処理を経て取得された複数の画像を合成処理し、これにより、上記した全天球画像を生成する処理を行う。

動画圧縮ブロック１１８は、ＭＰＥＧ−４ ＡＶＣ／Ｈ．２６４などの動画圧縮及び伸張を行うコーデック・ブロックである。動画圧縮ブロック１１８は、生成された全天球画像の動画データを保存するため、又は、保存された動画データを再生出力するために用いられる。ＤＲＡＭ１３２は、各種信号処理及び画像処理を施す際にデータを一時的に保存する記憶領域を提供する。

姿勢センサ１３６は、加速度センサ、ジャイロセンサ、地磁気センサ又はこれらの組み合わせで構成され、撮像装置１００の姿勢を特定するために用いられる。例えば、３軸の加速度センサは、３軸の加速度成分を検出することができる。３軸のジャイロセンサは、３軸の角速度を検出することができる。地磁気センサは、磁界の向きを計測することができる。これらのセンサの出力を単独で又は組み合わせることにより、撮像装置１００の３つの姿勢角が与えられる。姿勢センサ１３６から得られる情報は、全天球画像の天頂補正を施すために用いられ、また、後述する注目点に応じた画像回転処理を施すために用いることができる。

撮像装置１００は、更に、外部ストレージインタフェース１２２と、ＵＳＢ（Universal Serial Bus）インタフェース１２６と、シリアルブロック１２８と、映像出力インタフェース１２９とを含み構成される。外部ストレージインタフェース１２２には、メモリカードスロットに挿入されたメモリカードなどの外部ストレージ１３４が接続される。外部ストレージインタフェース１２２は、外部ストレージ１３４に対する読み書きを制御する。

ＵＳＢインタフェース１２６には、ＵＳＢコネクタ１３８が接続される。ＵＳＢインタフェース１２６は、ＵＳＢコネクタ１３８を介して接続されるパーソナル・コンピュータなどの外部機器とのＵＳＢ通信を制御する。シリアルブロック１２８は、パーソナル・コンピュータなどの外部機器とのシリアル通信を制御し、無線ＮＩＣ（Network Interface Card）１４０が接続される。映像出力インタフェース１２９は、ＨＤＭＩ（High−Definition Multimedia Interface，ＨＤＭＩは登録商標である。）などの外部ディスプレイと接続するためのインタフェースであり、記録前や記録中の画像又は、記録した画像を外部ディスプレイなどに映像出力することができる。

なお、一例として、ＵＳＢコネクタ１３８、無線ＮＩＣ１４０、ＨＤＭＩ（登録商標）による映像出力インタフェース１２９を示しているが、特定の規格に限定されるものではない。他の実施形態では、有線ＬＡＮ（Local Area Network）などの有線通信、Ｂｌｕｅｔｏｏｔｈ（登録商標）やワイヤレスＵＳＢなどの他の無線通信、ＤｉｓｐｌａｙＰｏｒｔ（登録商標）やＶＧＡ（Video Graphics Array）などの他の映像出力インタフェースを介して、外部機器と接続されてもよい。

電源スイッチの操作によって通電状態になると、上記制御プログラムがメインメモリにロードされる。ＣＰＵ１１２は、メインメモリに読み込まれたプログラムに従って、装置各部の動作を制御するとともに、制御に必要なデータをメモリ上に一時的に保存する。これにより、撮像装置１００の後述する各機能部及び処理が実現される。

＜機能について＞
図４は、撮像装置１００が備える機能をブロック状に示す機能ブロック図の一例である。撮像装置１００は、撮像条件取得部３０２と、補正レベル決定部３０３と、撮像画像取得部２０２と、画像補正部２０３と、つなぎ合わせ処理部２０４と、天頂補正部２０６と、全天球画像生成部２０８と、画像圧縮部２１０とを有する。

撮像画像取得部２０２は、上記した第１撮像素子１３０Ａ，第２撮像素子１３０Ｂを制御し、それぞれからの撮像画像を取得する。静止画の場合は、シャッターが押されたタイミングで取得された１フレーム分の２つの撮像画像が取得される。動画の場合は、連続したフレームが順次撮像され、各フレームごとに２つの撮像画像が取得される。撮像素子１３０各々で撮像される画像は、概ね全天球のうちの半球を視野に収めた魚眼画像であり、全天球画像の部分的な画像を構成する。以下、撮像素子１３０それぞれが撮像した画像を部分画像と称する場合がある。

撮像条件取得部３０２は、第１撮像素子１３０Ａと第２撮像素子１３０Ｂそれぞれの撮像条件を取得する。第１撮像素子１３０Ａの温度を第１温度センサ１５０Ａから取得する。ゲインと露光時間は撮像時の設定値なので第１撮像素子１３０ＡやＣＰＵ１１２等から取得する。第２撮像素子１３０Ｂの温度を第２温度センサ１５０Ｂから取得する。ゲインと露光時間は撮像時の設定値なので第２撮像素子１３０ＢやＣＰＵ１１２等から取得する。

補正レベル決定部３０３は、補正レベルＤＢ３０４を参照して、撮像条件に適合する補正レベルを第１撮像素子１３０Ａと第２撮像素子１３０Ｂのそれぞれで決定する。また、第１撮像素子１３０Ａと第２撮像素子１３０Ｂそれぞれの補正レベルを考慮して第１撮像素子１３０Ａと第２撮像素子１３０Ｂの全体の統一された補正レベルを決定する。

画像補正部２０３は、欠陥画素ＤＢ３０５を参照して補正レベルに対応付けられた欠陥画素を決定し、この画素の画素値を補正する。

つなぎ合わせ処理部２０４は、取得された２つの部分画像間のつなぎ位置を検出し、２つの部分画像をつなぎ合わせるための処理を実行する。つなぎ位置検出処理では、フレーム毎に、複数の部分画像間に存在する重複領域において、複数の対応点各々の位置ずらし量を検出する処理が行われる。

天頂補正部２０６は、図３に示した姿勢センサ１３６を制御し、撮像装置１００の姿勢角を検出し、生成される全天球画像の天頂方向が所定の基準方向に一致するようにするための補正処理を実行する。ここで、所定の基準方向とは、典型的には、鉛直方向であり、重力加速度が作用する方向である。全天球画像の天頂方向が鉛直方向（天方向）に一致するよう補正することにより、特に動画像において、閲覧時に視野の変更を行う場合でもユーザに３次元酔いなどの違和感を与えないようにすることが可能となる。

全天球画像生成部２０８は、つなぎ合わせ処理部２０４及び天頂補正部２０６の処理結果が反映された状態で、撮像された２つの部分画像から全天球画像を生成する処理を実行する。なお、説明する実施形態においては、２つの部分画像から全天球画像を生成するための変換パラメータが存在し、つなぎ合わせ処理部２０４は、この変換パラメータに対し、つなぎ位置検出の結果を反映する。天頂補正部２０６も、変換パラメータに対し天頂補正の結果を反映する。そして、全天球画像生成部２０８は、これらの処理結果が反映された変換パラメータを用いて、２つの部分画像から全天球画像を生成する。このように処理することにより、最終的な全天球画像を得るための処理負荷を軽減することができる。

しかしながら、上記した実施形態に限定されるものではなく、２つの部分画像をつなぎ合わせて全天球画像を生成し、生成された全天球画像に対して天頂補正処理を施して、天頂補正が施された全天球画像を生成するよう構成することもできる。なお、変換パラメータについては後述する。

画像圧縮部２１０は、静止画圧縮ブロックを含み構成され、静止画を撮像する場合、撮像された画像を、ＪＰＥＧ（Joint Photographic Experts Group）などの所定の静止画形式の画像データに圧縮する。画像圧縮部２１０は、また、図３に示した動画圧縮ブロック１１８を含み構成され、動画を撮像する場合、撮像された連続する画像フレームを所定の動画形式の画像データに圧縮する。動画圧縮形式としては、特に限定されるものではないが、Ｈ．２６４／ＭＰＥＧ−４ ＡＶＣ（Advanced Video Coding）、Ｈ．２６５／ＨＥＶＣ（High Efficiency Video Coding）、Ｍｏｔｉｏｎ ＪＰＥＧ、Ｍｏｔｉｏｎ ＪＰＥＧ２０００などの種々の動画圧縮形式を挙げることができる。生成された画像データは、撮像装置１００に装着された外部ストレージ１３４や、その他、撮像装置１００が備えるフラッシュメモリなどのストレージに保存される。

＜全体的な手順＞
図５は、撮像装置１００が実行する撮像手順を示すフローチャート図の一例である。以下、図５を参照しながら、撮像装置１００が実行する処理について説明する。なお、図５に示す処理は、ユーザによる撮像ボタンの押下などの記録指示に応答して開始される。図５に示す処理は静止画を撮像する場合を説明している。

ステップＳ１０１では、撮像画像取得部２０２が第１撮像素子１３０Ａ，第２撮像素子１３０Ｂからの撮像画像を取得する。撮像画像について図６〜図８を参照して説明する。

図６は、本実施形態による撮像装置１００における射影関係を説明する図である。本実施形態において、１つ魚眼レンズで撮像された画像は、撮像地点から概ね半球分の方位を撮像したものとなる。また、魚眼レンズは、図６（ａ）に示すように、光軸に対する入射角度φに対応した像高ｈで画像を生成する。像高ｈと、入射角度φとの関係は、所定の投影モデルに応じた射影関数で決定される。

射影関数は、魚眼レンズの性質によって異なる。上記投影モデルとしては、等距離射影方式（ｈ＝ｆ・φ）、中心投影方式（ｈ＝ｆ・ｔａｎφ）、立体射影方式（ｈ＝２ｆ・ｔａｎ（φ／２））、等立体角射影方式（ｈ＝２ｆ・ｓｉｎ（φ／２））及び正射影方式（ｈ＝ｆ・ｓｉｎφ）を挙げることができる。いずれの方式においても、光軸からの入射角度φと焦点距離ｆとに対応して結像の像高ｈが決定される。また、本実施形態では、画像対角線よりもイメージサークル径が小さな、いわゆる円周魚眼レンズの構成を採用するものとし、得られる部分画像は、図６（ｂ）に示すように、撮像範囲の概ね半球分が投影されたイメージサークル全体を含む平面画像となる。

図７は、本実施形態で用いられる全天球画像の画像データのデータ構造を説明する図である。なお、図７はすでに２つの半球の画像がつなぎ合わされた状態を示す。図７（ｂ）に示すように、全天球画像のフォーマットは、所定の軸に対するなす角度に対応する角度φと、上記軸周りの回転角に対応する水平角度θとを座標とした画素値の配列として表現される。各座標値（θ，φ）は、図７（ａ）に示すように、撮像地点を中心とした全方位を表す球面上の各点と対応付けられており、全方位が全天球画像上にマッピングされる。

図８は、本実施形態による撮像装置が用いる変換パラメータを説明する図である。変換パラメータは、平面座標系で表現される部分画像から、球面座標系で表現される画像への射影を規定する。変換パラメータは、図８（ａ）及び（ｂ）に示すように、各魚眼レンズごとに、補正後画像の座標値（θ,φ）と、該座標値（θ,φ）にマッピングされる補正前の部分画像の座標値（ｘ、ｙ）とを対応付ける情報を、全座標値（θ，φ）に対して保持したものである。図８の例示では、１画素が担当する角度は、φ方向及びθ方向いずれも１／１０度であり、変換パラメータは、各魚眼レンズについて、３６００×１８００の対応関係を示す情報を有している。オリジナルの変換パラメータは、事前に製造元等で理想的なレンズモデルからの歪みを補正した上で計算され、テーブル化されたものを用いることができる。

図５に戻って説明する。ステップＳ１０２では、画像補正部２０３が第１撮像素子１３０Ａと第２撮像素子１３０Ｂがそれぞれ撮像した画像を補正する。この処理の詳細は後述する。

次に、ステップＳ１０３では、つなぎ合わせ処理部２０４が、取得された２つの部分画像間の重複領域にてつなぎ位置を検出し、変換パラメータに対し、つなぎ位置検出の結果を反映する。つなぎ位置検出の結果の反映により、図８（ａ）に示す変換パラメータは、補正後画像の座標値（θ,φ）に対し、つなぎ位置補正を反映した部分画像の座標値（ｘ、ｙ）が対応付けられるように修正される。

ステップＳ１０４では、天頂補正部２０６が、撮像装置１００の重力方向に対する姿勢角を検出し、生成される全天球画像の天頂方向が鉛直方向に一致するように変換パラメータを修正する。天頂補正は、詳細を後述する３次元回転変換と同様の処理により実施することができるが、ここでは詳細には立ち入らない。

ステップＳ１０５では、全天球画像生成部２０８が変換パラメータを用いて、撮像された２つの部分画像から全天球画像を生成する処理を実行する。ステップＳ１０５においては、まず、変換パラメータを用いて、部分画像が、平面座標系から球面座標系へ変換される。そして、２つの球面座標系の部分画像が画像合成されて、全天球画像が生成される。

図９は、本実施形態による撮像装置１００が２つの部分画像から生成する全天球画像を示す。図９（ａ）は撮像装置１００で撮像された半球画像（前側）、図９（ｂ）は撮像装置１００で撮像された半球画像（後側）、図９（ｃ）は正距円筒図法により表された画像（以下、「正距円筒射影画像」という）を示した図である。

図９（ａ）に示されているように、撮像素子１０３ａによって得られた画像は、後述の魚眼レンズ１０２ａによって湾曲した半球画像（前側）となる。また、図９（ｂ）に示されているように、撮像素子１０３ｂによって得られた画像は、後述の魚眼レンズ１０２ｂによって湾曲した半球画像（後側）となる。そして、半球画像（前側）と、１８０度反転された半球画像（後側）とは、特殊撮像装置１によって合成され、図９（ｃ）に示されているように、正距円筒射影画像ＥＣが作成される。

OpenGL ES（Open Graphics Library for Embedded Systems）等が利用されることで、正距円筒射影画像が球面を覆うように貼り付けられ、全天球画像ＣＥが作成される。このように、全天球画像ＣＥは、正距円筒射影画像ＥＣが球の中心を向いた画像として表される。なお、OpenGL ESは、２Ｄ(2−Dimensions) 及び３Ｄ(3−Dimensions)のデータを視覚化するために使用するグラフィックスライブラリである。なお、全天球画像ＣＥは、静止画であっても動画であってもよい。

図５に戻って説明する。ステップＳ１０６では、画像圧縮部２１０が生成された全天球画像の画像データを画像圧縮し、ステップＳ１０７で、生成された画像データをストレージに保存する。

＜補正レベルについて＞
まず、欠陥画素について説明する。撮像素子の画素数は年々増大する傾向にあり、これに伴い欠陥画素の数も増大する傾向にある。欠陥画素とは正常画素と特性が異なる画素である。例えば、撮像素子の欠陥画素には、フォトダイオードの光感度が無い黒傷と呼ばれる欠陥と、過度の暗電流が重畳される白傷と呼ばれる欠陥とがある。欠陥画素は、温度や経時変化により程度が変わるため、近年では補正に要求される技術も高くなっている。

図１０は、撮像条件と欠陥画素について説明する図の一例である。図１０（ａ）、（ｂ）、（ｃ）はいずれも、ある撮像条件における暗露光画像(遮光状態で撮像した画像)のヒストグラムを示す。横軸に各画素の出力（例えば輝度値であり、左ほど暗く、右ほど明るい）、縦軸に画像における各輝度の画素数を示している。

図１０（ａ）に示すように、暗露光における撮像では、黒レベル１１付近に正常画素のピーク１２が形成される。ノイズの影響により正常画素のピーク１２は黒レベル１１付近に分布を持って広がっている。

図１０（ｂ）は欠陥画素がある場合のヒストグラムを模式的に示す。欠陥画素がある場合、撮像条件によって、暗露光の画像であっても正常画素のピーク１２以外のピークが形成される場合がある。これは暗電流等の画素ごとの特性差により、光が入射していないのにもかかわらず欠陥画素に出力を生じることで起こる。正常画素のピーク１２以外のピーク１３，１４，１５は本来出力されないはずのものなので、輝点を生じ画像の劣化をもたらす。

一般的には画像の劣化を防ぐために、検査装置が欠陥画素の座標を予め登録しておき、画像補正部２０３が周辺の同色画素から補間する。これを静的欠陥補正という。あるいは、座標が登録されていなくても、周辺画素との出力差から補正をかけることもできる。これを動的欠陥補正という。しかし、補正が適切でない場合や欠陥画素の数が多い場合には補正不足が起こりうる。

欠陥画素の特性差により出力に関してもバラつきがあり一般的にはいくつかのピークが生じる。図１０（ｂ）では、例として、欠陥画素のピーク１３、欠陥画素のピーク１４、欠陥画素のピーク１５という、欠陥画素による３つのピークを示した。欠陥画素のピーク１５に関しては、撮像素子の飽和出力（最大輝度）に到達しているため分布の広がりが小さい。

説明の便宜上、欠陥画素をピークで表しているが、欠陥画素のピークの間に出力を持つ画素も存在している。これらも欠陥画素である。また、撮像素子の特性によっては明確なピークを示す欠陥画素が生じない可能性もある。撮像条件が変わるとヒストグラムも変化することが一般的である。

欠陥画素のピーク１３，１４，１５はそれぞれある撮像条件の場合に観測される。欠陥画素が観測される撮像条件の違いに対応して、欠陥画素のピーク１３，１４，１５も補正レベルと対応している。図１０（ｂ）に各ピークの補正レベルをかっこ内の数値で示す。図１０（ｂ）では一例として、欠陥画素のピーク１３は補正レベル３、欠陥画素のピーク１４は補正レベル２、欠陥画素のピーク１５は補正レベル１とする。補正レベルは補正の対象となる画素を意味し、補正の強度を意味するわけではない。

図１０（ｃ）は図１０（ｂ）とは別の撮像条件で得られるヒストグラムを示す。図１０（ｃ）の撮像条件では、欠陥画素のピーク１３が正常画素のピーク１２に埋もれており、欠陥画素のピーク１３は確認されない。よって、欠陥画素のピーク１４と欠陥画素のピーク１５しか生じていないことを示している。一般的に欠陥画素は、温度が高いほど、露光時間が長いほど、ゲインが高いほど出力が大きくなる。このため、撮像条件を図１０（ａ）の欠陥画素のピークがない状態から、出力が大きくなる撮像条件に変えていくと、補正レベル１、補正レベル２、補正レベル３の順に欠陥画素のピークが正常画素のピークから分離して、現れてくる。一般に、図１０（ａ）よりも図１０（ｃ）の方が、出力が大きくなる撮像条件であり、図１０（ｃ）よりも図１０（ｂ）の方が、出力が大きくなる撮像条件である。従って、一般には補正レベルｎの画素は補正レベルｎ−１の画素を含む。しかし、欠陥画素によっては、出力が大きくなる撮像条件になると正常画素に戻るものがあってよい。

図１１は、欠陥画素の補正レベルについて説明する図の一例であり、図１２は欠陥画素ＤＢ３０５に記憶されている欠陥画素テーブルの一例を示す図である。図１１では一例として図１０（ｂ）で説明した欠陥画素の出力に基づいて、検査装置が欠陥画素の座標を補正レベル１から補正レベル３と対応付けて登録する場合を説明する。登録は専用の検査装置が行うものとする。

図１１では３つの点線が表示されている。点線４１以上の出力の画素を補正レベル１、点線４２以上の出力の画素を補正レベル２、点線４３以上の出力の画素を補正レベル３として登録する。

このように細かく補正レベルを分けなくて補正レベル３のみ登録して、画像補正部２０３がすべての欠陥画素に対して補正レベル３の補正をかけることも可能だが、図１０（ｃ）に示すように補正レベル３の欠陥が現れていない場合は、過補正による転写が生じ画質劣化や処理時間に無駄が生じる。このためレベルわけを行い、実際の撮像条件で最適な補正を行うことが好ましい。どのようにレベルわけを実施するかは、撮像素子の特性や撮像装置１００の仕様によって異なってくる。

図１２に示すように、欠陥画素テーブルには補正レベルごとに欠陥画素の座標が対応付けられた画素情報を有している。図１２（ａ）は補正レベル１の欠陥画素テーブルであり、図１２（ｂ）は補正レベル２の欠陥画素テーブルであり、図１２（ｃ）は補正レベル３の欠陥画素テーブルである。図１２（ａ）〜（ｃ）に示すように、補正レベル３は補正レベル２の欠陥画素を有し、補正レベル２は補正レベル１の欠陥画素を有している。画像補正部２０３は補正レベルに対応付けられた画素の画素値に対し静的欠陥補正を行うことで、ある撮像条件で欠陥画素と認識される画素の画素値を補正できる。

図１３は、補正レベルＤＢ３０４に記憶されている補正レベルテーブルの一例である。補正レベルテーブルは補正レベル決定部３０３が補正レベルを決定するために使用される（補正レベル情報の一例）。撮像条件に応じて複数の補正レベルテーブルが予め作成されている。図１３（ａ）は撮像素子の温度が３０度より大きく４０度以下の場合の補正レベルテーブルであり、図１３（ｂ）は撮像素子の温度が２０度より大きく３０度以下の場合の補正レベルテーブルであり、図１３（ｃ）は撮像素子の温度が１０度より大きく２０度以下の場合の補正レベルテーブルである。いずれにおいてもゲインと露光時間が対応付けられている。

欠陥画素は、温度、露光時間及びゲインに影響されて現れるので、検査装置はこれらをパラメータとして補正レベルを決定する。なお、ゲインは撮像素子のアナログゲインを考慮してもよいし、最終的なゲイン（画像処理でのデジタルゲインを含む最終的なゲイン）を考慮してもよい。また、温度に関しては、露光開始温度、露光終了温度、又は、露光中の平均温度などを使用してよい。露光時間は、メカニカルシャッターの有無に関わらず電荷の蓄積時間である。

図１３の補正レベルテーブルによれば、撮像条件によって以下のような補正レベルを決定できる。
撮像条件１ 温度：25℃ 露光時間：32s ゲイン：x16 → 補正レベル３
撮像条件２ 温度：17℃ 露光時間：16s ゲイン：x16 → 補正レベル２
撮像条件３ 温度：33℃ 露光時間：8s ゲイン：x4 → 補正レベル１
これにより、補正レベルが決定され、図１２に示した欠陥画素テーブルにより補正レベルに対応付けられた欠陥画素が分かるので、画像補正部２０３が欠陥画素の画像データを補正できる。

＜補正方法について＞
欠陥画素がある場合の欠陥画素の画素値を算出する方法としては、ニアレストネイバー法、バイリニア法、バイキュービック法、Lanczos法等が知られている。画像補正部２０３は、欠陥画素の周辺の同色の画素（ＲＧＢのそれぞれ）を用いて欠陥画素の画素値を算出する。

図１４は補正方法を説明する図の一例である。図１４（ａ）に示すように、最も簡単なニアレストネイバー法では、近接する４つの画素の画素値の平均を欠陥画素の画素値とする。欠陥画素を３３番とすると、以下のように補正される。
３３番の画素値＝（２３番の画素値＋３２番の画素値＋４３番の画素値＋３４番の画素値）/４
周囲の４画素に限らず周辺の８画素を用いてもよい。また、図１４（ｂ）に示すように、欠陥画素（３３番）に隣接して欠陥画素（３４番）がある場合、隣接した欠陥画素がない場合よりも補間に用いる画素の数を増大することが好ましい。
３３番の画素値＝（１１〜５５番の画素値（２５つの欠陥画素は除く）の合計）/２３
なお、３４番目の画素については３４番の画素を中心にして同様の補正を行う。

動的欠陥補正については、いわゆるノイズを低減する処理を行う。ノイズ除去には、近傍画素の平均値で置き換える平均化、近傍画素の中央値に置き換えるメディアン、又は、注目画素からの距離に応じて近傍の画素値の重み付き和に置き換えるガウシアンなどがある。

＜複数の撮像素子がある場合の補正レベル＞
以上は、撮像素子が１つのみの場合の補正方法である。本実施形態では、撮像装置１００が複数の撮像素子を有している場合に、各撮像素子の補正レベルを統一するため以下のように処理する。

図１５は、補正レベルテーブルの一例である。第１撮像素子１３０Ａと第２撮像素子１３０Ｂをもつ撮像装置１００において欠陥画素について異なる補正レベルが決定される例を説明する。図１５（ａ）（ｂ）は同じ補正レベルテーブルであるが、第１撮像素子１３０Ａと第２撮像素子１３０Ｂで撮像条件（ゲイン）が異なっている。第１撮像素子１３０Ａのゲインはx8であるが、第２撮像素子１３０Ｂのゲインはx16であった。この場合、第１撮像素子１３０Ａの補正レベルは１、第２撮像素子１３０Ｂの補正レベルは２となる。

なお、第１撮像素子１３０Ａと第２撮像素子１３０Ｂで補正テーブルが異なっていてもよい。

複数の撮像素子で異なるゲインが決定されるのは、本実施形態のように全天球を撮像できる撮像装置１００において、片側の撮像素子に光源が写り込み、第１撮像素子１３０Ａと第２撮像素子１３０Ｂに写る被写体の明るさの差が大きく、白とび又は黒つぶれを防ぐ目的で異なるゲインを設定されるような場合である。あるいは、第１撮像素子１３０Ａと第２撮像素子１３０Ｂとで光学系の特性差等があり、必要なゲインが異なる場合も考えられる。

図１５（ｃ）（ｄ）は、第１撮像素子１３０Ａと第２撮像素子１３０Ｂの温度が異なる場合に補正テーブルにより決定される補正レベルを示す。例えば第１撮像素子１３０Ａの温度が32℃で、第２撮像素子１３０Ｂの温度が29℃である場合、露光時間及びゲインが同じであっても補正レベルが異なってくる。第１撮像素子１３０Ａの補正レベルは２，第２撮像素子１３０Ｂの補正レベルは１である。温度差が生じる原因の１つとして、撮像装置１００内のレイアウトによって発熱元との距離が異なることがあげられる。

本実施形態の撮像装置１００（全天球撮像装置）のように、複数枚の撮像画像をつなげて１つの画像を作る場合、上記のように各撮像素子で補正レベルが異なっても同一の補正レベルですべての撮像素子に補正をかけることが望ましい。補正しても欠陥がない画素の画像と全く同等とすることはできないため、補正による画質の変化が起こる。画質の変化は補正個数が多いほど大きく、異なる補正レベルの画像をつなぎ合わせる際に画質差によりつなぎ目が目立つ可能性があるためである。

本実施形態では、補正レベル決定部３０３は、第１撮像素子１３０Ａの補正レベルと第２撮像素子１３０Ｂの補正レベルが異なる場合、大きい方の補正レベルに統一する。例えば、第１撮像素子１３０Ａの補正レベルは２、第２撮像素子１３０Ｂの補正レベルは１の場合、第２撮像素子１３０Ｂの補正レベルも２とする。このように補正レベルを決定しても、第２撮像素子１３０Ｂの補正レベルが大きすぎると言うことはない。これは、第１撮像素子１３０Ａの補正レベルが２，第２撮像素子１３０Ｂの補正レベルが１の場合、実際には第２撮像素子１３０Ｂの補正レベルも２に近いと考えられ、補正しすぎということにはならないためである。また、欠陥画素のデメリットである転写などの現れ方がレベルによって違うため、第１の撮像素子と第２の撮像素子の画像の差を小さくできるメリットの方が大きいといえる。

＜処理手順＞
図１６は撮像装置１００が欠陥画素の画素値を補正する手順を示すフローチャート図の一例である。撮像素子は２つ、補正レベルは３つであるとする。

撮像装置１００はレリーズ信号（シャッタボタンの押下）が入力されたか否かを判断する（Ｓ２０１）。

レリーズ信号が入力されると、撮像装置１００は第１撮像素子１３０Ａと第２撮像素子１３０Ｂの周囲の明るさをそれぞれ撮像素子で検出して撮像条件（ゲインと露光時間）をそれぞれ決定する（Ｓ２０２）。ゲインと露光時間など露出を自動で決定する機能をＡＥ（Automatic Exposure）という。ＡＥは撮像素子の出力から輝度値の評価値を算出し、評価値に基づいて適切な露出量が得られるようにゲイン、絞り及び露光時間（シャッター速度）を制御する機能である。それぞれ露出量に影響するためいずれかを優先したり上限や下限を設けたりするなどしてゲイン、絞り及び露光時間が決定される。例えば、撮像装置１００に絞りがなく、ユーザがゲイン又は露光時間のどちらかを優先設定した場合（固定した場合）、評価値が決まった値になるように固定していない方を変更する。あるいは上限又は下限が決められている場合、評価値が決まった値になるようにゲイン又は露光時間を中央値から交互に変更する。

例えばＣＰＵ１１２が撮像条件を決定した場合、撮像条件取得部３０２はＣＰＵ１１２から決定された撮像条件（ゲインと露光時間）を取得する。第１撮像素子１３０Ａ、第２撮像素子１３０Ｂが撮像条件を決定するのであれば、第１撮像素子１３０Ａ、第２撮像素子１３０Ｂから撮像条件取得部３０２が決定された撮像条件（ゲインと露光時間）を取得する。

次に、第１撮像素子１３０Ａと第２撮像素子１３０Ｂに撮像条件が設定される（Ｓ２０３、Ｓ２０４）。第１撮像素子１３０Ａと第２撮像素子１３０Ｂは設定された撮像条件で露光する（Ｓ２０５，Ｓ２０６）。撮像条件取得部３０２は露光時の温度を取得しておく。

補正レベル決定部３０３は、ステップＳ２０２で決定された撮像条件（ゲインと露光時間）と、ステップＳ２０３、Ｓ２０４で取得された温度を元に第１撮像素子１３０Ａと第２撮像素子１３０Ｂそれぞれの補正レベルを、補正レベルＤＢ３０４を参照して決定する。そして、第１撮像素子１３０Ａと第２撮像素子１３０Ｂそれぞれの補正レベルに基づいて統一された補正レベルを決定する（Ｓ２０７）。上記したように、本実施形態では、最も大きい補正レベルに統一する。

画像補正部２０３は、各レベルの補正処理を実行する（Ｓ２０８〜Ｓ２１０）。すなわち、欠陥画素ＤＢ３０５を参照し、補正レベル１の場合は補正レベル１に対応付けられた欠陥画素の画素値を補正し、補正レベル２の場合は補正レベル２に対応付けられた欠陥画素の画素値を補正し、補正レベル３の場合は補正レベル３に対応付けられた欠陥画素の画素値を補正する。

＜まとめ＞
以上説明したように、本実施形態の撮像素子は、複数の撮像素子が欠陥画素を有しているがそれぞれの補正レベルが異なっていても、複数の撮像素子が撮像した複数の画像の補正レベルを統一し、画質差を低減することができる。

＜その他の適用例＞
以上、本発明を実施するための最良の形態について実施例を用いて説明したが、本発明はこうした実施例に何等限定されるものではなく、本発明の要旨を逸脱しない範囲内において種々の変形及び置換を加えることができる。

例えば、撮像条件に、露光時間、ゲイン及び撮像素子の温度の他、絞りを用いてもよい。絞りによってレンズの光学特性が変化する。魚眼レンズの光学特性により周辺は光量がおちるため、周辺は中央よりも出力を挙げる必要があるため、欠陥画素が目立ちやすくなる。周辺の光量の落ち方が絞りにより変化するので、欠陥画素テーブルには絞りを取り入れることが有効になる。

また、本実施形態では、２つの画像のつなぎ合わせの前に画像を補正しているが、画像の補正はつなぎ合わせ後に行ってもよい。

また、本実施形態では、補正を撮像装置１００が行っているが、画像の補正をサーバが行ってもよい。この場合、撮像装置１００は２つの画像と撮像条件をサーバに送信し、サーバが補正後の２つの画像データを撮像装置１００に返す。

また、以上の実施例で示した図４の構成例は、撮像装置１００の処理の理解を容易にするために、主な機能に応じて分割したものである。しかし、各処理単位の分割の仕方や名称によって本願発明が制限されることはない。撮像装置１００は、処理内容に応じて更に多くの処理単位に分割することもできる。また、１つの処理単位が更に多くの処理を含むように分割することもできる。

なお、補正レベル決定部３０３は補正レベル決定手段の一例であり、画像補正部２０３は補正手段の一例であり、欠陥画素ＤＢ３０５は画素情報記憶手段の一例であり、補正レベルＤＢ３０４は補正レベル情報記憶手段の一例であり、撮像条件取得部３０２は撮像条件取得手段の一例である。

１１ 黒レベル
１２〜１５ ピーク
１００ 撮像装置
１３０Ａ，１３０Ｂ 撮像素子
１５０Ａ、１５０Ｂ 温度センサ
２０３ 画像補正部
３０２ 撮像条件取得部
３０３ 補正レベル決定部
３０４ 補正レベルＤＢ
３０５ 欠陥画素ＤＢ
４０１ 欠陥画素

特開2013−074368号公報

Claims (8)

1. 複数の撮像素子がそれぞれ撮像した複数の画像を、撮像条件に応じて補正する撮像装置であって、
   複数の撮像素子それぞれの撮像条件に基づいて、複数の撮像素子に対して統一された補正レベルを決定する補正レベル決定手段と、
   前記補正レベル決定手段が決定した前記補正レベルに基づいて複数の撮像素子がそれぞれ撮像した複数の画像を補正する補正手段と、
   を有することを特徴とする撮像装置。
2. 前記補正レベル決定手段は、各撮像素子の撮像条件に基づいて撮像素子ごとに該撮像素子が撮像した画像の補正レベルを決定し、
   各撮像素子に対して決定された補正レベルが異なっていても、複数の撮像素子に対して同じ補正レベルを決定することを特徴とする請求項１に記載の撮像装置。
3. 前記補正レベル決定手段は、複数の撮像素子の補正レベルを、各撮像素子に対して決定された補正レベルのうち最も大きい補正レベルに決定することを特徴とする請求項２に記載の撮像装置。
4. 補正レベルに撮像素子の画素の座標が対応付けられた画素情報を記憶する画素情報記憶手段と、
   前記撮像条件と補正レベルが対応付けられた補正レベル情報を記憶する補正レベル情報記憶手段と、
   複数の撮像素子がそれぞれ画像を撮像した際の撮像条件を取得する撮像条件取得手段と、を有し、
   前記補正レベル決定手段は、前記撮像条件取得手段が取得した撮像条件に対応付けられた前記補正レベルを前記補正レベル情報記憶手段から取得し、
   取得した前記補正レベルに対応付けられた前記画素情報を前記画素情報記憶手段から取得し、
   前記補正手段は、前記画素情報記憶手段から取得した前記画素情報の画素の画素値を補正することを特徴とする請求項１〜３のいずれか１項に記載の撮像装置。
5. 前記撮像条件は、露光時間、ゲイン、及び、撮像素子の温度の１つ以上であることを特徴とする請求項１〜４のいずれか１項に記載の撮像装置。
6. 前記撮像条件は、更に絞りを含むことを特徴とする請求項５に記載の撮像装置。
7. 複数の撮像素子がそれぞれ撮像した複数の画像を、撮像条件に応じて補正する撮像装置の画像補正方法であって、
   補正レベル決定手段が、複数の撮像素子それぞれの撮像条件に基づいて、複数の撮像素子に対して統一された補正レベルを決定するステップと、
   補正手段が、前記補正レベル決定手段が決定した前記補正レベルに基づいて複数の撮像素子がそれぞれ撮像した複数の画像を補正するステップと、
   を有することを特徴とする画像補正方法。
8. 複数の撮像素子がそれぞれ撮像した複数の画像を、撮像条件に応じて補正する撮像装置を、
   複数の撮像素子それぞれの撮像条件に基づいて、複数の撮像素子に対して統一された補正レベルを決定する補正レベル決定手段と、
   前記補正レベル決定手段が決定した前記補正レベルに基づいて複数の撮像素子がそれぞれ撮像した複数の画像を補正する補正手段、
   として機能させるためのプログラム。

Images