JP2019110361A - 撮像装置、撮像方法及び撮像プログラム - Google Patents

Abstract

【課題】分光感度の異なる撮像モジュールの切換え時に、出力画像の偏差を低減することが可能な撮像装置、撮像方法及び撮像プログラムを提供すること。【解決手段】本開示に係る撮像装置１０は、分光感度が相互に異なる複数の撮像部１１１と、複数の撮像部１１１のそれぞれが撮影した撮像画像の画像情報を算出するゲイン算出部１１３と、複数の撮像部１１１のうちの第１撮像部１１１ａが撮影した第１撮像画像と複数の撮像部１１１のうちの第２撮像部１１１ｂが撮影した第２撮像画像とを切換えて出力する際、第１撮像画像の第１画像情報と第２撮像画像の第２画像情報との差Ｄが所定値Ｄｔｈ以下となるように制御する制御部１１４と、を備える。【選択図】図１

Description

本開示は、撮像装置、撮像方法及び撮像プログラムに関するものであり、特に、分光感度の異なる撮像モジュールの切換え時に、出力画像の偏差を低減することが可能な撮像装置、撮像方法及び撮像プログラムに関する。

近年、広角撮影用の広角撮像モジュールと望遠撮影用の望遠撮像モジュールとの焦点距離が異なる２つの撮像モジュールを搭載したスマートフォンが市場に出てきている。このスマートフォンは、撮像のズーム時に広角撮像モジュールで撮影した画像をデジタルズームで拡大し出力画像として出力し、所定の倍率に達した場合、望遠撮像モジュールで撮影した画像に切換えて出力する。しかしながら、上記２つの撮像モジュールは、分光感度が一致していないので、出力画像の切換え時のプレービューの表示画面で、画像の偏差、特に色や明度の偏差がユーザに視認されてしまうという問題があった。

特許文献１には、２つの撮像モジュールを有する撮像装置におけるホワイトバランスゲインの算出方法が開示されている。すなわち、特許文献１には、第１の撮像モジュールのホワイトバランスゲインの結果を用いて第２の撮像モジュールのホワイトバランスゲインを求めることで、簡単な処理構成でホワイトバランスゲインを求める算出方法が開示されている。しかしながら、特許文献１には、ホワイトバランスゲインを求めるための具体的な算出方法は記載されていない。また、特許文献１には、切替え時の画像の偏差をユーザに視認されにくくするため、切換え時の偏差を低減させることは記載されていない。また、特許文献１に記載の第１の撮像モジュールは、常時、駆動状態であるため、消費電力を低減することが難しいという問題もあった。

特許文献２には、異なる焦点距離に調整され、異なる画像信号を生成する第１の撮像部と第２の撮像部とを有する撮像装置が記載されている。また、特許文献２には、第２の撮像部において、焦点距離が相対的に小さく調整されている撮像光学系を使って得られた画像信号に基づいて算出されたホワイトバランスゲインを使って、ホワイトバランスを調整することが記載されている。

特開２００７−３１８６４４号公報 特開２０１０−１３０１９６号公報

上記のように、広角撮像モジュールで撮影した撮像画像と望遠撮像モジュールで撮影した撮像画像とを、色や明度の偏差を調整することなく切換えるため、撮像モジュールの切換え時に、出力画像の偏差がユーザに視認されてしまうという問題があった。

本開示の目的は、このような問題を解決するためになされたものであり、分光感度の異なる撮像モジュールの切換え時に、出力画像の偏差を低減することが可能な撮像装置、撮像方法及び撮像プログラムを提供することを目的とする。

本開示の撮像装置は、
分光感度が相互に異なる複数の撮像部と、
前記複数の撮像部のそれぞれが撮影した撮像画像の画像情報を算出する算出部と、
前記複数の撮像部のうちの第１撮像部が撮影した第１撮像画像と前記複数の撮像部のうちの第２撮像部が撮影した第２撮像画像とを切換えて出力する際、前記第１撮像画像の第１出力画像情報と前記第２撮像画像の第２出力画像情報との差が所定値以下となるように制御する制御部と、
を備える。

本開示の撮像方法は、
分光感度が相互に異なる複数の撮像部のそれぞれが撮影した撮像画像の画像情報を算出するステップと、
前記複数の撮像部のうちの第１撮像部が撮影した第１撮像画像と前記複数の撮像部のうちの第２撮像部が撮影した第２撮像画像とを切換えて出力する際、前記第１撮像画像の第１出力画像情報と前記第２撮像画像の第２出力画像情報との差が所定値以下となるように制御するステップと、
を備える。

本開示の撮像プログラムは、
分光感度が相互に異なる複数の撮像部のそれぞれが撮影した撮像画像の画像情報を算出するステップと、
前記複数の撮像部のうちの第１撮像部が撮影した第１撮像画像と前記複数の撮像部のうちの第２撮像部が撮影した第２撮像画像とを切換えて出力する際、前記第１撮像画像の第１出力画像情報と前記第２撮像画像の第２出力画像情報との差が所定値以下となるように制御するステップと、
をコンピュータに実行させる。

本開示により、分光感度の異なる撮像モジュールの切換え時に、出力画像の偏差を低減することが可能な撮像装置、撮像方法及び撮像プログラムを提供することができる。

実施の形態１に係る撮像装置を例示するブロック図である。 実施の形態１に係る撮像モジュールを例示するブロック図である。 画像のブロック分割を例示する模式図である。 実施の形態１に係る画像処理を例示するフローチャートである。 実施の形態１に係る画像処理を例示するフローチャートである。 実施の形態１に係る画像処理を例示するフローチャートである。 実施の形態１に係る撮像モジュールを使用して撮影した撮像画像の例である。 実施の形態１に係る撮像モジュールを使用して撮影した撮像画像の例である。

以下、図面を参照して実施の形態について説明する。各図面において、同一又は対応する要素には同一の符号が付されており、説明の明確化のため、必要に応じて重複説明を省略する。

特許請求の範囲に係る発明は、以下の実施の形態に限定するものではない。また、実施の形態で説明する構成の全てが課題を解決するための手段として必須であるとは限らない。

［実施の形態１］
実施の形態１に係る撮像装置を説明する。
図１は、実施の形態１に係る撮像装置を例示するブロック図である。
図１においては説明を簡単にするため、撮像モジュールの数を２つに限定する。

図１に示すように、撮像装置１０は、撮像モジュール１１と画像切換部１２とパラメータ記憶部１３と画像表示部１４と画像記憶部１５とを備える。

撮像モジュール１１は、第１撮像モジュール１１ａと第２撮像モジュール１１ｂとを有する。

第１撮像モジュール１１ａは、第１撮像部１１１ａと統計算出部１１２ａとゲイン算出部１１３ａと制御部１１４ａとローパスフィルタ１１５ａと露出制御部１１６ａとを有する。第２撮像モジュール１１ｂは、第２撮像部１１１ｂと統計算出部１１２ｂとゲイン算出部１１３ｂと制御部１１４ｂとローパスフィルタ１１５ｂと露出制御部１１６ｂとを有する。

第１撮像モジュール１１ａは、レンズ、絞り、シャッターなどのハードウェア等で実現される第１撮像部１１１ａや、第１撮像部１１１ａで撮影した撮像画像の信号を処理する信号処理回路等を有する。第２撮像モジュール１１ｂの構成も第１撮像モジュール１１ａと同様である。

第１撮像モジュール１１ａは、例えば、広角撮影用の撮像モジュールであり、第２撮像モジュール１１ｂは、望遠撮影用の撮像モジュールである。よって、第１撮像部１１１ａの分光感度と第２撮像部１１１ｂの分光感度とは相互に異なる。また、第１撮像モジュール１１ａの第１撮像部１１１ａの焦点距離は、第２撮像モジュール１１ｂの第２撮像部１１１ｂの焦点距離よりも短い。第１撮像部１１１ａと第２撮像部１１１ｂとを総称して撮像部１１１と称することもある。

第１撮像部１１１ａは、広角撮影用の撮像モジュールとして機能するための広角用レンズを有する。第２撮像部１１１ｂは、望遠撮影用の撮像モジュールとして機能するための望遠用レンズを有する。撮像装置１０は、ユーザが操作したズーム倍率が、例えば１．０倍以上２．０倍以下の場合、広角撮影用の第１撮像部１１１ａを使用して被写体を撮影する。また、撮像装置１０は、ユーザが操作したズーム倍率が、例えば２．１倍以上４．０倍以下の場合、望遠撮影用の第２撮像部１１１ｂを使用して被写体を撮影する。実施の形態に係る撮像装置１０においては、ズーム倍率によって、広角用レンズ（第１撮像モジュール１１ａ）と望遠用レンズ（第２撮像モジュール１１ｂ）とを使い分けて被写体を撮影する。

画像切換部１２は、ユーザが操作したズーム倍率によって、第１撮像モジュール１１ａが撮影した第１撮像画像と第２撮像モジュール１１ｂが撮影した第２撮像画像とを切換えて出力画像として出力する。

画像切換部１２は、ズーム倍率が、例えば１．０倍以上２．０倍以下の場合、広角撮影用の第１撮像モジュール１１ａを使用し、デジタルズームで所定の倍率とした第１撮像画像を出力画像として出力する。また、画像切換部１２は、ズーム倍率が、例えば２．１倍以上４．０倍以下の場合、望遠撮影用の第２撮像モジュール１１ｂを使用し、デジタルズームで所定の倍率とした第２撮像画像を出力画像として出力する。

パラメータ記憶部１３は、パラメータ記憶部１３ａとパラメータ記憶部１３ｂとを有する。パラメータ記憶部１３は、撮像モジュール１１のブロック統計画像（ブロック統計値Ｓ）とホワイトバランスゲインＷｇと色再現補正のためのパラメータとガンマ補正テーブル等の画像信号処理のためのパラメータを記憶する。パラメータ記憶部を画像信号処理パラメータ記憶部と称することもある。

ゲイン算出部１１３は、複数の撮像部１１１のそれぞれが撮影した撮像画像の画像情報を算出する。すなわち、ゲイン算出部１１３ａは、第１撮像部１１１ａが撮影した第１撮像画像の第１画像情報を算出する。ゲイン算出部１１３ｂは、第２撮像部１１１ｂが撮影した第２撮像画像の第２画像情報を算出する。ゲイン算出部１１３の具体的な処理は、後述する。

ここで、ゲイン算出部１１３が算出した画像情報は、例えば撮像画像のホワイトバランスゲインＷｇである。すなわち、ゲイン算出部１１３は、複数の撮像部１１１のそれぞれが撮影した撮像画像の色彩種別に基づいてホワイトバランスゲインＷｇを算出する。

ゲイン算出部１１３ａとゲイン算出部１１３ｂとを総称してゲイン算出部１１３と称することもある。ゲイン算出部１１３ａを第１算出部と称し、ゲイン算出部１１３ｂを第２算出部と称することもある。ゲイン算出部を、算出部と称することもある。

制御部１１４は、複数の撮像部１１１のうちの第１撮像部１１１ａが撮影した第１撮像画像と複数の撮像部１１１のうちの第２撮像部１１１ｂが撮影した第２撮像画像とを切換えて出力する際、第１撮像画像の第１出力画像情報と第２撮像画像の第２出力画像情報との差Ｄが所定値Ｄｔｈ以下となるように制御する。

ここで、第１出力画像情報とは、例えば第１撮像部１１１ａが撮影した第１撮像画像のカラーバランスＣｂａである。第２出力画像情報とは、例えば、第２撮像部１１１ｂが撮影した第２撮像画像のカラーバランスＣｂｂである。

第１撮像モジュール１１ａから第２撮像モジュール１１ｂに切換わり、第２撮像モジュール１１ｂがアクティブになった場合、制御部１１４ｂは、パラメータ記憶部１３ａに記憶されたアクティブに切換える前の第１撮像モジュール１１ａの補正パラメータを参照する。その後、制御部１１４ｂは、撮像モジュール１１の切換え時に、切換え後の出力画像（第２撮像画像）の色が、切換え前の出力画像（第１撮像画像）の色に近似するように処理を行う。

制御部１１４が第１出力画像情報と第２撮像画像の第２出力画像情報との差Ｄが所定値Ｄｔｈ以下となるように制御することにより、撮像モジュールの切換え時に、出力画像の偏差を低減することができる。制御部１１４ａと制御部１１４ｂとを総称して制御部１１４と称することもある。

尚、制御部１１４は、撮像モジュール１１の外に設けられてもよい。この場合、制御部１１４は、パラメータ記憶部１３ａに記憶されたアクティブに切換える前の第１撮像モジュール１１ａの補正パラメータを参照し、撮像モジュール１１の切換え時に、切換え後の出力画像の色が、切換え前の出力画像の色に近似するように処理を行う。

また、制御部１１４は、第１撮像画像が出力される場合、第２撮像モジュール１１ｂの電源をオフにする。また、制御部１１４は、第２撮像画像が出力される場合、第１撮像モジュール１１ａの電源をオフにする。

制御部１１４が非アクティブの方の撮像モジュールの電源をオフすることにより、撮像装置１０の消費電力を低減することができる。

電源をオフする代わりに、非アクティブの方の撮像モジュール内の一部の部位へ供給する電力を削減又は停止して休止状態にしてもよい。

ローパスフィルタ１１５は、第１撮像画像と第２撮像画像とを切換えて出力する際、所定時間Ｔｈにおける第１出力画像情報と第２出力画像情報との変化量Ｕが所定変化量Ｕｈ以下となるようにする。ローパスフィルタ１１５ａとローパスフィルタ１１５ｂとを総称してローパスフィルタ１１５と称することもある。ローパスフィルタをホワイトバランスローパスフィルタと称することもある。

ローパスフィルタ１１５が所定時間Ｔｈにおける第１出力画像情報と第２出力画像情報との変化量Ｕが所定変化量Ｕｈ以下となるように制御することにより、撮像モジュール１１の切換え時に、出力画像が滑らかに変化するようにできる。

画像表示部１４は、第１撮像モジュール１１ａ又は第２撮像モジュール１１ｂのいずれかであって、アクティブに切換えられアクティブになった方の撮像モジュールが撮影した撮像画像を出力画像として表示する。

画像記憶部１５は、第１撮像モジュール１１ａ又は第２撮像モジュール１１ｂのいずれかアクティブになった方の撮像モジュールが撮影した撮像画像を記憶する。

実施の形態１に係る撮像装置１０においては、分光感度の異なる撮像モジュールの切換え時に、切換え前の撮像モジュールを使用して撮影した出力画像の色に近似するように、切換え後の撮像モジュールを使用して撮影した出力画像の色を制御（調整）する。

これにより、分光感度の異なる撮像モジュールの切換え時に、出力画像の偏差を低減することが可能な撮像装置、撮像方法及び撮像プログラムを提供することができる。その結果、出力画像の偏差がユーザに視認されにくくなり、ユーザは違和感を感じることが少なくなる。

また、実施の形態１に係る撮像装置１０においては、非アクティブの方の撮像モジュール（出力画像を出力しない方の撮像モジュール）の電源をオフ、又は休止状態にすることにより、撮像装置１０の消費電力を低減することができる。

実施の形態１に係る撮像モジュールについて説明する。
複数の撮像モジュール１１のうちの１つである第１撮像モジュール１１ａについて説明する。第１撮像モジュール１１ａ以外の撮像モジュールも同様であるので説明を省略する。

図２は、実施の形態１に係る撮像モジュールを例示するブロック図である。
図２においては簡単のため、画像切換部１２との接続、画像表示部１４との接続、及び画像記憶部１５との接続は省略する。
図３は、画像のブロック分割を例示する模式図である。

図２に示すように、第１撮像モジュール１１ａは、第１撮像部１１１ａと統計算出部１１２ａとゲイン算出部１１３ａと制御部１１４ａとローパスフィルタ１１５ａと露出制御部１１６ａとに加えて、撮像素子とＡＦＥ回路と画像信号処理回路とドライバとＴＧ(Timing Generator)とをさらに有する。第１撮像部１１１ａは、レンズと絞りとシャッターとを有する。

第１撮像モジュール１１ａの撮像素子から出力されたＲＧＢ(Red Green Blue)色信号は、図示しないＣＤＳ(Correlated Double Sampling)回路で信号処理される。信号処理後のＲＧＢ信号は、ＡＦＥ(Analog Front End)回路でＡ／Ｄ(Analog/Digital)変換される。Ａ／Ｄ変換後に得られた画像信号は、欠陥画素補正、黒レベル補正等の前処理が行われ、ホワイトバランス補正、ベイヤー色補完、色再現補正、ガンマ補正等の複数の電子的処理が行われた後、画像（画像情報）が記憶される。ホワイトバランス補正部は、ホワイトバランス補正を行う。

一般的に、肉眼で観察した被写体像と撮像装置を使用して撮影した撮像画像との間には、照明光源に応じて色彩上の差異が生じる。図２に示す画像信号処理回路のホワイトバランス補正は、特に白色の被写体が白く再現されるようにするための処理である。例えば、日光などの自然光と蛍光灯などの人工光とでは、両光源の色温度に差異がある。このため、撮影された撮像画像の白色再現性に大きな影響を及ぼす。ホワイトバランス補正は、この再現された撮像画像に違和感が生じないようにするためのものである。

尚、ゲイン算出部を第１のホワイトバランス算出手段と称し、制御部を第２のホワイトバランス算出手段と称することもある。また、統計算出部を画像ブロック統計回路と称し、ローパスフィルタをホワイトバランスローパスフィルタと称することもある。

統計算出部１１２は、複数の撮像部１１１のそれぞれが撮影した撮像画像を複数のブロックに分割する。統計算出部１１２は、例えば図３に示すように、撮像画像の画像領域を、縦方向がｎ個で横方向がｍ個のブロックに分割する。ただし、ｎとｍは自然数である。分割された各ブロック内には、複数のＲＧＢ画素が含まれる。

統計算出部１１２は、分割されたブロック毎に、複数のＲＧＢ画素値を統計処理してブロック統計値Ｓを算出する。統計処理とは、例えば複数のＲＧＢ画素値を積算して積算値を取得すること、又は、複数のＲＧＢ画素値を平均して平均値を取得することである。

統計算出部１１２は、算出したブロック統計値Ｓをパラメータ記憶部１３に記憶する。ブロック統計値を画像ブロック統計値と称することもある。統計算出部１１２ａと統計算出部１１２ｂとを総称して統計算出部１１２と称することもある。

一方で、ゲイン算出部１１３は、統計されたブロック統計値Ｓに基づいて画像情報を算出する。画像情報は、例えば撮像画像のホワイトバランスゲインＷｇである。

ホワイトバランスゲインＷｇは、ブロック統計値Ｓと被写体輝度Ｂｖとを参照し、無彩色として処理する、又は、有彩色として処理するなどを判断して算出される。このようにして算出されるホワイトバランスゲインＷｇの算出方法を、ホワイトバランス算出方法という。被写体輝度Ｂｖは、露出制御部１１６ａが算出した露出制御情報、シャッター速度、センサー感度から求める。

露出制御部１１６は、撮像部１１１の絞り（露出制御情報）とシャッター速度とアナログゲインとを制御して、入力画像情報Ｒｄの露出を決定（制御）する。露出制御部１１６ａと露出制御部１１６ｂとを総称して露出制御部１１６と称することもある。

撮像モジュール１１は、統計算出部１１２が算出しブロック統計値Ｓに基づいて、ホワイトバランス補正や露出制御を行う。

実施の形態１に係る撮像装置１０の動作を説明する。
実施の形態１では、説明を簡単にするため、第１撮像モジュール１１ａを広角撮像モジュールとし、第２撮像モジュール１１ｂを望遠撮像モジュールとし、第１撮像モジュール１１ａから第２撮像モジュール１１ｂに切換える場合について説明する。

図４Ａは、実施の形態１に係る画像処理を例示するフローチャートである。
図４Ａは、広角撮像モジュールで撮影した撮像画像の画像処理を例示するフローチャートである。
図４Ｂは、実施の形態１に係る画像処理を例示するフローチャートである。
図４Ｂは、望遠撮像モジュールで撮影した撮像画像の画像処理を例示するフローチャートである。
図４Ｃは、実施の形態１に係る画像処理を例示するフローチャートである。

図５Ａは、実施の形態１に係る撮像モジュールを使用して撮影した撮像画像の例である。
図５Ａは、広角撮像モジュールを使用して撮影した撮像画像の例である。
図５Ｂは、実施の形態１に係る撮像モジュールを使用して撮影した撮像画像の例である。
図５Ｂは、望遠撮像モジュールを使用して撮影した撮像画像の例である。

図４Ａに示すように、切換え前の第１撮像モジュール１１ａが撮像画像を取得する。図５Ａに示すように、第１撮像モジュール１１ａが取得した撮像画像をブロックに分割する（ステップＳ１０１）。

切換え前の第１撮像モジュール１１ａは、ブロック統計値Ｓａを算出し、ブロック統計値Ｓａをパラメータ記憶部１３ａに記憶する。

制御部１１４ａ（第２のホワイトバランス算出手段）は、パラメータ記憶部１３ａに記憶された切換え前の第１撮像モジュール１１ａのブロック統計値Ｓａを取得する（ステップＳ１０２）。

ブロック統計値ＳａからオートホワイトバランスＡｗａを算出する（ステップＳ１０３）。

切換え前の第１撮像モジュール１１ａのゲイン算出部１１３ａ（第１のホワイトバランス算出手段）は、ブロック統計値Ｓａと被写体輝度Ｂｖａとに基づいて、ホワイトバランスゲインＷｇａを算出する（ステップＳ１０４）。ゲイン算出部１１３ａは、色再現マトリクスＣｍａとを算出する（ステップＳ１０４）。

尚、ホワイトバランスゲインを、第１ホワイトバランスゲインと称することもある。

制御部１１４ａは、ブロック統計値Ｓａを積算し、積算ブロック統計値Ｓｓａを算出する（ステップＳ１０５）。

第１撮像モジュール１１ａの積算ブロック統計値Ｓｓａに、ホワイトバランスゲインＷｇａと色再現マトリクスＣｍａとを乗算する（ステップＳ１０６）。

ステップＳ１０６の乗算の結果、撮像画像全体のカラーバランスＣｂａを算出する（ステップＳ１０７）。第１撮像モジュール１１ａの第１撮像部１１１ａが撮影した第１撮像画像のカラーバランスＣｂａを、第１出力画像情報と称することもある。

尚、ステップＳ１０２からステップＳ１０７までの処理は、アクティブの撮像モジュール１１において毎フレームの度に行い、その結果をパラメータ記憶部１３に記憶してもよい。また、ステップＳ１０２からステップＳ１０７までの処理は、切換え後の撮像モジュール１１が、アクティブになった直後に１回だけ行ってもよい。アクティブを、駆動中と称することもある。

一方、切換え後の第２撮像モジュール１１ｂは、切換え前の第１撮像モジュール１１ａと同様に、図４Ｂ及び図５Ｂに示すステップＳ２０１からステップＳ２０７のように、撮像画像全体のカラーバランスＣｂｂを算出する。すなわち、第２撮像モジュール１１ｂは、ブロック統計値Ｓｂを積算した積算ブロック統計値Ｓｓｂに、第２撮像モジュール１１ｂのホワイトバランスゲインＷｇｂと色再現マトリクスＣｍｂを乗算して、撮像画像全体のカラーバランスＣｂｂを算出する。第２撮像モジュール１１ｂの第２撮像部１１１ｂが撮影した第２撮像画像のカラーバランスＣｂｂを、第２出力画像情報と称することもある。

次に、図４Ｃに示すように、切換え後の撮像画像全体のカラーバランスＣｂｂが、切換え前の撮像画像全体のカラーバランスＣｂａに一致するような差分補正ゲイン係数Ｇｄｃを算出する（ステップＳ３０１）。

差分補正ゲイン係数Ｇｄｃは、
と表される。

ステップＳ３０１の後、切換え後の第２撮像モジュール１１ｂのホワイトバランスゲインＷｇｂに、差分補正ゲイン係数Ｇｄｃを乗算し、補正後ホワイトバランスゲインＷｃｇｂを算出する（ステップＳ３０２）。このとき、ＲＧＢの各ホワイトバランスゲインＷｇのうち、最小のものが１．０となるように正規化してもよい。

切換え後の第２撮像モジュール１１ｂの補正後ホワイトバランスゲインＷｃｇｂは、
と表される。

尚、補正後ホワイトバランスゲインを、第２ホワイトバランスゲインと称することもある。

ステップＳ３０２の後、切換え後の第２撮像モジュール１１ｂのローパスフィルタ１１５ｂを使用して、画像信号処理回路（図２参照）のホワイトバランス補正部に設定するためのフィルタ後ホワイトバランスゲインＷｆｇｂを算出する（ステップＳ３０３）。

具体的には、切換え後の第２撮像モジュール１１ｂのローパスフィルタ１１５ｂは、所定時間Ｔｈにおいて、補正後ホワイトバランスゲインＷｃｇｂからホワイトバランスゲインＷｇｂに滑らかに変化するようにするためのフィルタ後ホワイトバランスゲインＷｆｇｂを算出する。所定時間Ｔｈは、例えば３０フレームである。

切換え後の第２撮像モジュール１１ｂのフィルタ後ホワイトバランスゲインＷｆｇｂは、
と表される。ＬＰＦ（Ｗｇｂ，Ｗｃｇｂ）は、切換え後の第２撮像モジュール１１ｂのホワイトバランスゲインＷｇｂと、切換え後の第２撮像モジュール１１ｂの補正後ホワイトバランスゲインＷｃｇｂと、をパラメータとする関数である。

ステップＳ３０３の後、切換え後の第２撮像モジュール１１ｂのホワイトバランス補正部が、フィルタ後ホワイトバランスゲインＷｆｇｂに基づいて撮像画像を補正する（ステップＳ３０４）。

これにより、撮像モジュール１１の切換え時に、出力画像の色の偏差を低減し、出力画像の色味が滑らかに変化するようにすることができる。

［実施の形態２］
実施の形態２に係る撮像装置においては、ゲイン算出部１１３が算出した画像情報は、例えば、撮像画像の明度Ｂｄである。また、第１撮像部１１１ａが撮影した第１撮像画像の第１出力画像情報は、第１撮像部１１１ａが撮影した第１撮像画像の明度Ｂｄａである。また、第２撮像部１１１ｂが撮影した第２撮像画像の第２出力画像情報は、第２撮像部１１１ｂが撮影した第２撮像画像の明度Ｂｄｂである。

実施の形態２に係る撮像装置は、切換え前の撮像モジュール１１を使用して撮影した出力画像の明度Ｂｄに一致するようなデジタルゲインＤｇを算出し、切換え時の出力画像の明度Ｂｄの偏差を低減する。明度を、Ｇレベル信号、又はＧ信号と称することもある。

実施の形態２に係る撮像装置において、撮像モジュール１１で撮影された撮像画像は、入力画像情報Ｒｄとして入力され、各種ゲイン処理が施され出力画像として出力される。撮像モジュール１１の出力画像情報Ｐｄは、入力画像情報ＲｄとホワイトバランスゲインＷｇとデジタルゲインＤｇと色再現マトリクスＣｍとガンマ補正係数γとを乗算して得られる。

すなわち、撮像モジュール１１の出力画像情報Ｐｄは、
と表される。

露出制御部１１６は、シャッター速度と絞りとアナログゲインとを制御して撮像される入力画像の露出を決定する。実施の形態２に係る撮像装置においては、デジタルゲインＤｇで、明度Ｂｄを制御（調整）する。入力画像情報をＲＡＷデータと称することもある。

具体的には、切換え前の第１撮像モジュール１１ａの出力画像の明度（Ｇ信号）の積算値を目標に、切換え後の第２撮像モジュール１１ｂの出力画像の明度（Ｇ信号）の積算値が一致するように、デジタルゲインＤｇを調整する。

デジタルゲインＤｇが１．０以下の値の場合、高輝度の画素にピンク色が付いてしまう。よって、デジタルゲインＤｇを１．０よりも大きな値とするため、切換え後の第２撮像モジュール１１ｂの露出制御部１１６ｂは、アンダー露出で露光するように制御し、デジタルゲインＤｇを用いて明るさ（Ｇ信号積算値）が切換え前の第１撮像モジュール１１ａの明るさと一致するように制御する。アンダー露出は、たとえば、−０．３ＥＶである。

その後、切換え後の第２撮像モジュール１１ｂの露出制御部１１６ｂは、アンダー露出から通常の適正な露出になるまで数フレームをかけて制御値を調整すると共に、デジタルゲインＤｇも１．０になるように該数フレームをかけて制御する。

実施の形態２に係る撮像装置がこのように制御することで、撮像モジュール１１の切換え時に、出力画像の明度の偏差を低減することができる。その結果、実施の形態２においても、分光感度の異なる撮像モジュールの切換え時に、出力画像の偏差を低減することが可能な撮像装置、撮像方法及び撮像プログラムを提供することができる。

尚、撮像モジュール１１の切換え時以外（通常）は、デジタルゲインＤｇは、１．０に設定し、撮像モジュール１１の切換え時にこれを利用する。

上記で説明した実施の形態は、ハードウェアの構成として本開示を説明した。しかし、本開示はこれに限定されない。本開示は、例えばＰＣ(Personal Computer)上のソフトウェアによっても実行することができる。また、本開示は、各構成要素の処理を、例えば、ＰＣが有するＣＰＵ（Central Processing Unit）にコンピュータプログラムを実行させることによっても実現することができる。コンピュータプログラムは、様々なタイプの非一時的なコンピュータ可読媒体（non-transitory computer readable medium）を用いて格納され、コンピュータに供給することができる。非一時的なコンピュータ可読媒体は、例えば、磁気記録媒体、光磁気記録媒体、ＣＤ−ＲＯＭ（Read Only Memory）、半導体メモリである。また、コンピュータプログラムは、非一時的なコンピュータ可読媒体によって供給されても良いし、有線通信路、又は無線通信路を介して供給されても良い。

１０…撮像装置
１１…撮像モジュール
１１ａ…第１撮像モジュール
１１ｂ…第２撮像モジュール
１１１…撮像部
１１１ａ…第１撮像部
１１１ｂ…第２撮像部
１１２、１１２ａ、１１２ｂ…統計算出部
１１３、１１３ａ、１１３ｂ…ゲイン算出部
１１４、１１４ａ、１１４ｂ…制御部
１１５、１１５ａ、１１５ｂ…ローパスフィルタ
１１６、１１６ａ、１１６ｂ…露出制御部
１２…画像切換部
１３、１３ａ、１３ｂ…パラメータ記憶部
１４…画像表示部
１５…画像記憶部
Ａｗａ、Ａｗｂ…オートホワイトバランス
Ｂｖ、Ｂｖａ、Ｂｖｂ…被写体輝度
Ｃｍ、Ｃｍａ、Ｃｍｂ…色再現マトリクス
Ｗｇ、Ｗｇａ、Ｗｇｂ…ホワイトバランスゲイン
Ｗｃｇ、Ｗｃｇａ、Ｗｃｇｂ…補正後ホワイトバランスゲイン
Ｗｆｇ、Ｗｆｇａ、Ｗｆｇｂ…フィルタ後ホワイトバランスゲイン
Ｓ、Ｓａ、Ｓｂ…ブロック統計値
Ｓｓａ、Ｓｓｂ…積算ブロック統計値
Ｃｂａ、Ｃｂｂ…カラーバランス
Ｇｄｃ…差分補正ゲイン係数
Ｄ…差
Ｄｔｈ…所定値
Ｔｈ…所定時間
Ｂｄ、Ｂｄａ、Ｂｄｂ…明度
Ｒｄ…入力画像情報
Ｐｄ…出力画像情報
Ｄｇ…デジタルゲイン
γ…ガンマ補正係数
Ｕ…変化量
Ｕｔｈ…所定変化量

Claims (10)

1. 分光感度が相互に異なる複数の撮像部と、
   前記複数の撮像部のそれぞれが撮影した撮像画像の画像情報を算出する算出部と、
   前記複数の撮像部のうちの第１撮像部が撮影した第１撮像画像と前記複数の撮像部のうちの第２撮像部が撮影した第２撮像画像とを切換えて出力する際、前記第１撮像画像の第１出力画像情報と前記第２撮像画像の第２出力画像情報との差が所定値以下となるように制御する制御部と、
   を備える撮像装置。
2. 前記画像情報は、前記撮像画像のホワイトバランスゲインであり、
   前記算出部は、前記撮像画像の色彩種別に基づいて前記ホワイトバランスゲインを算出し、
   前記第１出力画像情報は、前記第１撮像画像のカラーバランスであり、
   前記第２出力画像情報は、前記第２撮像画像のカラーバランスである、
   請求項１に記載の撮像装置。
3. 前記画像情報は、前記撮像画像の明度であり、
   前記第１出力画像情報は、前記第１撮像画像の明度であり、
   前記第２出力画像情報は、前記第２撮像画像の明度であり、
   請求項１に記載の撮像装置。
4. 前記複数の撮像部のそれぞれが撮影した撮像画像を複数のブロックに分割し、前記分割されたブロック毎にＲＧＢ画素値を統計してブロック統計値を算出する統計算出部を、さらに備え、
   前記算出部は、前記ブロック統計値に基づいて前記画像情報を算出する、
   請求項１乃至３のいずれか１項に記載の撮像装置。
5. 前記第１出力画像情報は、第１算出部で算出され、
   前記第１撮像部と前記第１算出部とは、第１撮像モジュールに含まれ、
   前記第２出力画像情報は、第２算出部で算出され、
   前記第２撮像部と前記第２算出部とは、第２撮像モジュールに含まれ、
   前記制御部は、
   前記第１撮像画像が出力される場合、前記第２撮像モジュールの電源をオフにし、
   前記第２撮像画像が出力される場合、前記第１撮像モジュールの電源をオフにする、
   請求項１乃至４のいずれか１項に記載の撮像装置。
6. 前記第１撮像画像と前記第２撮像画像とを切換えて出力する画像切換部を、さらに備える、
   請求項１乃至５のいずれか１項に記載の撮像装置。
7. 前記第１撮像画像と前記第２撮像画像とを切換えて出力する際、所定時間における前記第１出力画像情報と前記第２出力画像情報との変化量が所定変化量以下とするローパスフィルタを、さらに備える、
   請求項１乃至６のいずれか１項に記載の撮像装置。
8. 前記第１撮像部の焦点距離は、前記第２撮像部の焦点距離よりも短い、
   請求項１乃至７のいずれか１項に記載の撮像装置。
9. 分光感度が相互に異なる複数の撮像部のそれぞれが撮影した撮像画像の画像情報を算出するステップと、
   前記複数の撮像部のうちの第１撮像部が撮影した第１撮像画像と前記複数の撮像部のうちの第２撮像部が撮影した第２撮像画像とを切換えて出力する際、前記第１撮像画像の第１出力画像情報と前記第２撮像画像の第２出力画像情報との差が所定値以下となるように制御するステップと、
   を備える撮像方法。
10. 分光感度が相互に異なる複数の撮像部のそれぞれが撮影した撮像画像の画像情報を算出するステップと、
    前記複数の撮像部のうちの第１撮像部が撮影した第１撮像画像と前記複数の撮像部のうちの第２撮像部が撮影した第２撮像画像とを切換えて出力する際、前記第１撮像画像の第１出力画像情報と前記第２撮像画像の第２出力画像情報との差が所定値以下となるように制御するステップと、
    をコンピュータに実行させるプログラム。