JP2007235466A - 撮像装置及び撮像方法 - Google Patents

Abstract

【課題】偽色の発生を抑制することができる撮像装置を提供すること。
【解決手段】本発明に係る撮像装置は、複数の色成分の光のいずれかをそれぞれ透過する複数の色フィルタが配列されたフィルタ部と、複数の色フィルタをそれぞれ透過した光をそれぞれ受光する複数の受光素子が配列された受光部と、被写体に対する複数の色フィルタの位置を変化させるフィルタ駆動部と、被写体を構成する複数の領域のそれぞれから、フィルタ駆動部による複数の色フィルタの位置の変化前と変化後とで異なる色成分の光を複数の受光素子に受光させる撮像制御部と、複数の受光素子が被写体を構成する複数の領域のそれぞれから受光した異なる色成分の光の受光量に基づいて、撮像画像を生成する撮像画像生成部とを備える。
【選択図】図２

Description

本発明は、撮像装置及び撮像方法に関する。特に本発明は、偽色の発生を抑制する撮像装置及び撮像方法に関する。

緑色、白色、赤色、及び青色の色フィルタセグメントを有し、緑色を中心に上下左右に輝度信号として用いる白色を最も多く配し、緑色に対して対角の四隅に赤色及び青色を完全市松パターンに配して、白色の空間周波数を正方形を斜め４５度回転した形状に形成し、この形状の中に緑色を正方形状に形成し、さらにこの正方形内に赤色及び青色の撮像データが回転形状と同じ形状に形成する関係で撮像データを精製する固体撮像装置が知られている（例えば、特許文献１参照。）。
特開２００４−３０４７０６号公報

被写体が撮像素子による空間的なサンプリング周波数より高い空間周波数成分を含む場合、撮像素子から出力される出力画像情報に被写体の有していない構造や偽信号が含まれてしまう場合がある。例えば、細かいしま模様を撮影した場合等、被写体の色のピッチが撮像素子の画素ピッチに近い場合等に偽色が発生してしまうことがある。このような場合、撮像素子の配置に応じた空間解像度を保ちつつ、偽色の発生を抑制することができることが望まれる。また、特許文献１の固体撮像装置のように、白色のフィルタセグメントを有する撮像装置では、白色のフィルタセグメントを挟むカラーのフィルタセグメント間において、白色のフィルタセグメントの存在によって撮像素子による空間的なサンプリング周波数が低下してしまい、偽色が発生し易くなる場合がある。白色のフィルタセグメントを有する撮像装置においても、撮像素子の配置に応じた空間解像度を保ちつつ、偽色の発生を抑制することができることが望ましい。

そこで本発明は、上記の課題を解決することができる撮像装置及び撮像方法を提供することを目的とする。この目的は特許請求の範囲における独立項に記載の特徴の組み合わせにより達成される。また従属項は本発明の更なる有利な具体例を規定する。

本発明の第１の形態における撮像装置は、複数の色成分の光のいずれかをそれぞれ透過する複数の色フィルタが配列されたフィルタ部と、複数の色フィルタをそれぞれ透過した光をそれぞれ受光する複数の受光素子が配列された受光部と、被写体に対する複数の色フィルタの位置を変化させるフィルタ駆動部と、被写体を構成する複数の領域のそれぞれから、フィルタ駆動部による複数の色フィルタの位置の変化前と変化後とで異なる色成分の光を複数の受光素子に受光させる撮像制御部と、複数の受光素子が被写体を構成する複数の領域のそれぞれから受光した異なる色成分の光の受光量に基づいて、撮像画像を生成する撮像画像生成部とを備える。

フィルタ駆動部は、被写体に対する複数の受光素子の位置を複数の色フィルタとともに変化させ、撮像制御部は、被写体を構成する複数の領域のそれぞれから、フィルタ駆動部による複数の色フィルタ及び複数の受光素子の位置の変化前と変化後とで異なる色成分の光を異なる受光素子に受光させる。

撮像制御部は、被写体を構成する複数の領域のそれぞれから、フィルタ駆動部による複数の色フィルタの位置の変化前と変化後とで異なる色成分の光を複数の受光素子に受光させる第１撮像モードで撮像し、さらに、被写体を構成する複数の領域のそれぞれから、フィルタ駆動部によって複数の色フィルタの位置を変化させずに、複数の受光素子のそれぞれに複数の色成分のいずれか１つの色成分の光を受光させる第２撮像モードで撮像し、撮像画像生成部は、第１撮像モードにおいて複数の受光素子が被写体を構成する複数の領域のそれぞれから受光した異なる色成分の光の受光量に基づいて第１画像を生成する第１画像生成部と、第２撮像モードにおいて複数の受光素子のそれぞれが被写体を構成する複数の領域のそれぞれから受光した複数の色成分のいずれか１つの色成分の光の受光量に基づいて第２画像を生成する第２画像生成部とを有し、第１画像生成部が生成した第１画像及び第２画像生成部が生成した第２画像に含まれる色に基づいて、第１画像及び第２画像のうち画質のより高い方の画像を選択する撮像画像選択部と、撮像画像選択部が選択した第１画像又は第２画像を、撮像画像として保存する撮像画像格納部とをさらに備える。

撮像画像生成部は、フィルタ駆動部による複数の色フィルタの位置の変化前及び変化後において複数の受光素子が被写体を構成する複数の領域のそれぞれから受光した異なる色成分の光の受光量に基づいて第１画像を生成する第１画像生成部と、フィルタ駆動部による複数の色フィルタの位置の変化前又は変化後のいずれか一方において複数の受光素子が被写体を構成する複数の領域のそれぞれから受光した光の受光量に基づいて第２画像を生成する第２画像生成部とを有し、第１画像生成部が生成した第１画像及び第２画像生成部が生成した第２画像に含まれる色に基づいて、第１画像及び第２画像のうち画質のより高い方の画像を選択する撮像画像選択部と、撮像画像選択部が選択した第１画像又は第２画像を、撮像画像として保存する撮像画像格納部とをさらに備える。

第１画像生成部が生成した第１画像及び第２画像生成部が生成した第２画像に含まれる色に基づいて、第２画像に偽色が生じているか否かを判断する偽色判断部をさらに備え、撮像画像選択部は、偽色判断部が第２画像に偽色が生じていると判断した場合に、第１画像を選択し、偽色判断部が第２画像に偽色が生じていないと判断した場合に第２画像を選択する。

偽色判断部は、第１画像と第２画像に含まれる色分布の相違度が、予め定められた基準相違度より大きい場合に、第２画像に偽色が生じていると判断する。

偽色判断部が第２画像生成部が生成した撮像画像に偽色が生じていると判断した場合に、偽色が生じている部分領域である偽色領域を特定する偽色領域特定部と、偽色判断部が第２画像に偽色が生じていると判断した場合に、第２画像において偽色領域特定部が特定した偽色領域を、第１画像における偽色領域特定部が特定した偽色領域で置き換えた画像を生成する置き換え画像生成部とをさらに備え、撮像画像格納部は、置き換え画像生成部が生成した置き換え画像を、撮像画像として保存する。

複数の色フィルタは、少なくとも赤、緑、及び青の色成分の光をそれぞれ透過させ、フィルタ駆動部は、赤、緑、及び青の色成分の光をそれぞれ透過する複数の色フィルタの位置を被写体に対して変化させ、撮像制御部は、赤、緑、及び青の色成分を透過する色フィルタの位置をフィルタ駆動部により順次変化させて、被写体を構成する複数の領域のそれぞれから赤、緑、及び青の色成分の光を複数の受光素子に受光させ、撮像画像生成部は、複数の受光素子が被写体を構成する複数の領域のそれぞれから受光した赤、緑、及び青の色成分の光の受光量に基づいて、撮像画像を生成する。

本発明の第２の形態における撮像方法は、複数の色成分の光のいずれかをそれぞれ透過する複数の色フィルタが配列されたフィルタ部により光をフィルタリングするフィルタ段階と、複数の色フィルタをそれぞれ透過した光をそれぞれ受光する複数の受光素子が配列された受光部により光を受光する受光段階と、被写体に対する複数の色フィルタの位置を変化させるフィルタ駆動段階と、被写体を構成する複数の領域のそれぞれから、フィルタ駆動段階による複数の色フィルタの位置の変化前と変化後とで異なる色成分の光を複数の受光素子に受光させる撮像制御段階と、複数の受光素子が被写体を構成する複数の領域のそれぞれから受光した異なる色成分の光の受光量に基づいて、撮像画像を生成する撮像画像生成段階とを備える。

本発明の第３の形態における撮像装置は、複数の色成分の光のいずれかをそれぞれ透過する複数の色フィルタが一列に配列された複数の色フィルタ列と、複数の色フィルタ列の間に所定の間隔で並べられた、色フィルタが配列されていない複数の非色フィルタ列とを有するフィルタ部と、複数の色フィルタを透過した光をそれぞれ受光する複数の第１の受光素子と、非色フィルタ列から入射される光をそれぞれ受光する複数の第２の受光素子とが、色フィルタ列及び非色フィルタ列に沿って配列された受光部と、フィルタ部の前面に配置され、第１の受光素子と、第２の受光素子とにまたがる方向に被写体からの光を分散させて、被写体を構成する複数の領域のそれぞれからの光を第１の受光素子及び第２の受光素子のそれぞれに受光させる光学ローパスフィルタとを備える。

色フィルタ列と非色フィルタ列とは交互に並べられ、光学ローパスフィルタは、色フィルタ列及び非色フィルタ列とが交互に並ぶ方向に被写体からの光を分散させる。

複数の受光素子が受光する色フィルタ列から透過する光の受光量に基づいて昼間における撮像画像を撮像し、複数の受光素子が受光する非色フィルタ列から入射する光の受光量に基づいて昼間における撮像画像を生成する撮像画像生成部をさらに備える。

本発明の第４の形態における撮像方法は、複数の色成分の光のいずれかをそれぞれ透過する複数の色フィルタが一列に配列された複数の色フィルタ列と、複数の色フィルタ列の間に所定の間隔で並べられた、色フィルタが配列されていない複数の非色フィルタ列とを有するフィルタ部により光をフィルタリングするフィルタ段階と、複数の色フィルタを透過した光をそれぞれ受光する複数の第１の受光素子と、非色フィルタ列から入射される光をそれぞれ受光する複数の第２の受光素子とが、色フィルタ列及び非色フィルタ列に沿って配列された受光部により光を受光する受光段階と、フィルタ部の前面に配置され、第１の受光素子と、第２の受光素子とにまたがる方向に被写体からの光を分散させて、被写体を構成する複数の領域のそれぞれからの光を第１の受光素子及び第２の受光素子のそれぞれに受光させる光学ローパスフィルタにより光分散段階とを備える。

なお上記の発明の概要は、本発明の必要な特徴の全てを列挙したものではなく、これらの特徴群のサブコンビネーションもまた発明となりうる。

本発明によれば、偽色の発生を抑制することができる撮像装置を提供することができる。

以下、発明の実施形態を通じて本発明を説明するが、以下の実施形態は特許請求の範囲に係る発明を限定するものではなく、また実施形態の中で説明されている特徴の組み合わせの全てが発明の解決手段に必須であるとは限らない。

図１は、この発明の第１実施形態に係る撮像装置１００の構成の一例を示す。本実施形態における撮像装置１００は、偽色の発生を抑制することができる撮像装置を提供することを目的とする。撮像装置１００は、撮像部１０５、撮像画像生成部１３０、偽色判断部１４０、偽色領域特定部１４５、撮像画像選択部１５０、撮像画像格納部１６０、置き換え画像生成部１７０、撮像制御部１８０、及びフィルタ駆動部１９０を備える。撮像部１０５は、フィルタ部１１０及び受光部１２０を有する。また、撮像画像生成部１３０は、第１画像生成部１３１及び第２画像生成部１３２を有する。

フィルタ部１１０には、複数の色成分の光のいずれかをそれぞれ透過する複数の色フィルタが配列されている。受光部１２０には、そして、複数の色フィルタをそれぞれ透過した光をそれぞれ受光する複数の受光素子が配列されている。受光素子は例えば、ＣＣＤ、ＣＭＯＳ等の固体撮像素子であってよい。

フィルタ駆動部１９０は、被写体に対する複数の色フィルタの位置を変化させる。そして、撮像制御部１８０は、被写体を構成する複数の領域のそれぞれから、フィルタ駆動部１９０による複数の色フィルタの位置の変化前と変化後とで異なる色成分の光を複数の受光素子に受光させる。そして、撮像画像生成部１３０は、複数の受光素子が被写体を構成する複数の領域のそれぞれから受光した異なる色成分の光の受光量に基づいて、撮像画像を生成する。

複数の色フィルタは、例えば、少なくとも赤、緑、及び青の色成分の光をそれぞれ透過させる。そして、フィルタ駆動部１９０は、赤、緑、及び青の色成分の光をそれぞれ透過する複数の色フィルタの位置を被写体に対して変化させる。そして、撮像制御部１８０は、赤、緑、及び青の色成分を透過する色フィルタの位置をフィルタ駆動部１９０により順次変化させて、被写体を構成する複数の領域のそれぞれから赤、緑、及び青の色成分の光を複数の受光素子に受光させる。そして、撮像画像生成部１３０は、複数の受光素子が被写体を構成する複数の領域のそれぞれから受光した赤、緑、及び青の色成分の光の受光量に基づいて、撮像画像を生成する。このため、受光部１２０は、赤、緑、及び青等、複数の色成分の光を被写体の各領域から受けることができる。したがって、本実施形態の撮像装置１００によれば、撮像画像に偽色が発生することを抑制することができる。

なお、フィルタ駆動部１９０は、被写体に対する受光部１２０の位置を固定した状態で、被写体に対する複数の色フィルタの位置を変化させてよい。そして、撮像制御部１８０は、被写体を構成する複数の領域のそれぞれから、フィルタ駆動部１９０による複数の色フィルタの位置の変化前と変化後とで異なる色成分の光を複数の受光素子のそれぞれに受光させる。このため、受光素子のそれぞれは、フィルタ駆動部１９０によるフィルタ部１１０の変化前と変化後とで、被写体の各領域毎から発せられる異なる色成分の光を受光することができ、撮像画像における偽色の発生を抑制することができる。

他にも、フィルタ駆動部１９０は、被写体に対する複数の受光素子の位置を複数の色フィルタとともに変化させてよい。そして、撮像制御部１８０は、被写体を構成する複数の領域のそれぞれから、フィルタ駆動部１９０による複数の色フィルタ及び複数の受光素子の位置の変化前と変化後とで異なる色成分の光を異なる受光素子に受光させてよい。このため、フィルタ駆動部１９０によるフィルタ部１１０及び受光部１２０の変化前と変化後とで、被写体の各領域から発せられる各色成分の光は、異なる受光素子によって受光される。このように、被写体に対する複数の受光素子の位置を複数の色フィルタとともに変化させても、撮像画像における偽色の発生を抑制することができる。

撮像制御部１８０は、被写体を構成する複数の領域のそれぞれから、フィルタ駆動部１９０による複数の色フィルタの位置の変化前と変化後とで異なる色成分の光を複数の受光素子に受光させる第１撮像モードで撮像し、さらに、被写体を構成する複数の領域のそれぞれから、フィルタ駆動部１９０によって複数の色フィルタの位置を変化させずに、複数の受光素子のそれぞれに複数の色成分のいずれか１つの色成分の光を受光させる第２撮像モードで撮像する。

そして、第１画像生成部１３１は、第１撮像モードにおいて複数の受光素子が被写体を構成する複数の領域のそれぞれから受光した異なる色成分の光の受光量に基づいて第１画像を生成する。そして、第２画像生成部１３２は、第２撮像モードにおいて複数の受光素子のそれぞれが被写体を構成する複数の領域のそれぞれから受光した複数の色成分のいずれか１つの色成分の光の受光量に基づいて第２画像を生成する。

そして、撮像画像選択部１５０は、第１画像生成部１３１が生成した第１画像及び第２画像生成部１３２が生成した第２画像に含まれる色に基づいて、第１画像及び第２画像のうち画質のより高い画像を選択する。そして、撮像画像格納部１６０は、撮像画像選択部１５０が選択した第１画像又は第２画像を、撮像画像として保存する。例えば、撮像画像選択部１５０は、第２画像における偽色の有無、画像の鮮明さ等のパラメータに基づいて、第１画像及び第２画像のうち画質のより高い方の画像を選択してよい。

具体的には、偽色判断部１４０は、第１画像生成部１３１が生成した第１画像及び第２画像生成部１３２が生成した第２画像に含まれる色に基づいて、第２画像に偽色が生じているか否かを判断する。より具体的には、偽色判断部１４０は、第１画像と第２画像に含まれる色分布の相違度が、予め定められた基準相違度より大きい場合に、第２画像に偽色が生じていると判断する。

そして、撮像画像選択部１５０は、偽色判断部１４０が第２画像に偽色が生じていると判断した場合に第１画像を選択し、偽色判断部１４０が第２画像に偽色が生じていないと判断した場合に第２画像を選択する。このため、撮像装置１００は、第２画像に偽色が生じている場合には、第２画像に比べて偽色が生じにくい第１画像を撮像画像として保存することができる。

なお、撮像制御部１８０は、第１撮像モードにおける撮像動作から第２画像を生成してもよい。この場合、第１画像生成部１３１は、フィルタ駆動部１９０による複数の色フィルタの位置の変化前及び変化後において複数の受光素子が被写体を構成する複数の領域のそれぞれから受光した異なる色成分の光の受光量に基づいて第１画像を生成する。そして、第２画像生成部１３２は、フィルタ駆動部１９０による複数の色フィルタの位置の変化前又は変化後のいずれか一方において複数の受光素子が被写体を構成する複数の領域のそれぞれから受光した光の受光量に基づいて第２画像を生成する。

そして、撮像画像選択部１５０は、第１画像生成部１３１が生成した第１画像及び第２画像生成部１３２が生成した第２画像に含まれる色に基づいて、第１画像又は第２画像のうち画質のより高い方の画像を選択する。そして、撮像画像格納部１６０は、撮像画像選択部１５０が選択した第１画像又は第２画像を、撮像画像として保存する。なお、第１画像及び第２画像とは、偽色領域特定部１４５が偽色を判断するために用いた画像であってよいし、偽色領域特定部１４５が偽色を判断するために用いた画像とは別に、新たに撮像した画像であってもよい。具体的には、偽色領域特定部１４５が、第２画像において偽色が発生していると判断した場合に、撮像制御部１８０は、フィルタ駆動部１９０により第１撮像モードで撮像し直して、新たに第１画像を撮像し直してもよい。

また、偽色領域特定部１４５は、偽色判断部１４０が第２画像生成部１３２が生成した撮像画像に偽色が生じていると判断した場合に、偽色が生じている部分領域である偽色領域を特定する。そして、置き換え画像生成部１７０は、偽色判断部１４０が第２画像に偽色が生じていると判断した場合に、第２画像において偽色領域特定部１４５が特定した偽色領域を、第１画像における偽色領域特定部１４５が特定した偽色領域で置き換えた画像を生成する。そして、撮像画像格納部１６０は、置き換え画像生成部１７０が生成した置き換え画像を、撮像画像として保存する。このため、撮像装置１００は、第２画像の偽色領域だけを第１画像で置き換えることによって、偽色のなくかつより画質の高い画像を生成することができる。

以上説明したように、本実施形態における撮像装置１００によれば、空間分解能を低下を防ぎつつ、撮像画像に偽色が発生することを抑止し、被写体の色をより適切に再現することができる。

図２は、フィルタ駆動部１９０によるフィルタ部１１０の駆動例の一例を示す。本例では、フィルタ部１１０及び受光部１２０の一部についての動作の一例について説明する。フィルタ部１１０は、緑の色成分の光を透過する色フィルタ２１１及び２１４、青の色成分の光を透過する色フィルタ２１２及び２１５、並びに、赤の色成分の光を透過する色フィルタ２１３を有する。また、各色フィルタ２１１〜２１５は、互いに等間隔で配置されている。本例では、撮像装置１００のユーザによる１つの撮像指示によって、複数のタイミング（タイミング１、タイミング２、及びタイミング３）で、受光部１２０の受光素子のそれぞれを受光させる。

タイミング１では、受光素子２２１、２２２、２２３、２２４、及び２２５は、それぞれ色フィルタ２１１、２１２、２１３、２１４、及び２１５が透過した光を受光する。そして、撮像制御部１８０は、続くタイミング２で撮像する前に、フィルタ駆動部１９０によって、被写体２９０に対する受光部１２０の位置を固定させた状態で、フィルタ部１１０の全体を被写体に対してだけ移動させる。例えば、フィルタ駆動部１９０は、受光部１２０の受光面に対して水平方向に、色フィルタの配置間隔だけフィルタ部１１０の全体を移動させる。この状態で撮像動作させることによって、タイミング２において受光素子２２２、２２３、２２４、及び２２５は、それぞれ色フィルタ２１１、２１２、２１３、及び２１４が透過した光を受光する。

さらに、フィルタ駆動部１９０は、続くタイミング３で撮像する前に、被写体に対する受光部１２０の位置を固定させた状態で、受光部１２０の受光面に対して水平方向に、色フィルタの配置間隔だけ被写体に対してフィルタ部１１０の全体をさらに移動させる。この状態において撮像動作させることによって、タイミング３において受光素子２２３、２２４、及び２２５は、それぞれ色フィルタ２１１、２１２、２１３が透過した光を受光する。

この結果、例えば受光素子２２３は、１つの撮像指示によって、被写体の１箇所からの赤、青、緑の色成分の光を順次受光する。そして、第１画像生成部１３１は、受光部１２０の受光素子のそれぞれが被写体の１の箇所から発せられる各色成分の光の受光量に基づいて、各受光素子毎に被写体の色を算出して第１画像を生成する。また、第２画像生成部１３２は、タイミング１、タイミング２、又はタイミング３のいずれかにおいて受光部１２０の各受光素子が受光した受光量と受光した光の色成分とに基づいて、第２画像を生成する。なお、撮像制御部１８０は、タイミング１〜タイミング３とは別のタイミングで各受光素子を受光させることによって、第２画像を撮像してもよい。

図３は、フィルタ駆動部１９０によるフィルタ部１１０及び受光部１２０の駆動例を示す。本例においても、図２と同様に、フィルタ部１１０及び受光部１２０の一部分についての動作の一例について説明する。なお、図２の構成要素と同じ符号を付した構成要素は、図２で説明した各構成要素の動作と、以下に述べる点以外の点については同一であるので、相違点を除いて説明を省略する。また、本例においても図２と同様に、撮像装置１００のユーザによる１つの撮像指示によって、複数のタイミング（タイミング１、タイミング２、及びタイミング３）で、受光部１２０の受光素子のそれぞれを受光させる。

タイミング１では、受光素子２２１、２２２、２２３、２２４、及び２２５は、それぞれ色フィルタ２１１、２１２、２１３、２１４、及び２１５が透過した光を受光する。撮像制御部１８０は、続くタイミング２で撮像する前に、フィルタ部１１０と受光部１２０との相対的な位置を変えずに、フィルタ駆動部１９０によってフィルタ部１１０及び受光部１２０を被写体に対して移動させる。例えば、フィルタ駆動部１９０は、フィルタ部１１０及び受光部１２０を一体的に、受光部１２０の受光面に対して水平方向に、色フィルタの配置間隔だけ移動させる。この状態で撮像動作させることによって、タイミング２において、各受光素子は、タイミング１と同じ色成分の光を受光するが、タイミング１とは異なる被写体の領域からの光を受光することができる。

さらに、フィルタ駆動部１９０は、続くタイミング３で撮像する前に、フィルタ部１１０と受光部１２０との相対的な位置を変えずに、フィルタ部１１０及び受光部１２０の全体を受光部１２０の受光面に対して水平方向に、色フィルタの配置間隔だけ被写体に対して移動させる。この状態での撮像動作により、タイミング３において、各受光素子はタイミング１及びタイミング２とはさらに異なる位置からの光を受光することができる。

この結果、撮像装置１００は、被写体の一箇所からの赤、青、緑の各色成分の光を、異なる受光部１２０で順次受光することになる。そして、第１画像生成部１３１は、異なる受光部１２０の受光素子が受光した、被写体の１の箇所から発せられる各色成分の光の受光量に基づいて、被写体の色を算出して第１画像を生成する。また、第２画像生成部１３２は、タイミング１、タイミング２、又はタイミング３のいずれかにおいて受光部１２０の各受光素子が受光した受光量から、第２画像を生成する。なお、撮像制御部１８０は、タイミング１〜タイミング３とは別のタイミングで各受光素子を受光させることによって、第２画像を撮像してもよい。

以上図２及び図３に関連して説明したように、撮像装置１００は、被写体の各領域からの異なる色を受光して、被写体の第１画像を生成することができる。このため、撮像装置１００は、第１画像において偽色が発生することを抑制することができる。

図４は、フィルタ部１１０における色フィルタの配列の他の一例と、フィルタ部１１０の駆動例を示す。フィルタ部１１０は、緑及び赤の色成分の光を透過する色フィルタが繰り返し一列に並べられた色フィルタ列４５１ａと、青及び緑の色成分の光を透過する色フィルタが繰り返し一列に並べられた色フィルタ列４５１ｂとが、各色フィルタ列において各色フィルタが並べられた方向と直交する方向に交互に配置されている。このように、本例においてはフィルタ部１１０は、ベイヤー配列で色フィルタが配置されている。

そして、フィルタ駆動部１９０は、１つの撮像指示をユーザから受け取った場合に、タイミング１において被写体に対して撮像した後に、フィルタ部１１０の位置を被写体に対して色フィルタの配置間隔だけ変化させて撮像する（タイミング２）。これにより、変化前と変化後とで、被写体からの異なる色成分の光を、受光部１２０に受光させることができる。なお、図２又は図３に関連して説明したように、フィルタ駆動部１９０は、受光部１２０の位置を被写体に対して固定したまま、フィルタ部１１０の位置を被写体に対して移動させてよいし、フィルタ部１１０とともに受光部１２０を、被写体に対して移動させてもよい。

そして、第１画像生成部１３１は、タイミング１又はタイミング２のいずれか一方で受光部１２０が受光した受光量に基づいて第１画像を生成し、第２画像生成部１３２は、タイミング１又はタイミング２のいずれか一方で受光部１２０が受光した光の受光量に基づいて第２画像を生成する。

以上、図３から図５に関連して、フィルタ部１１０の配列及び受光部１２０による受光動作の一例を説明したが、フィルタ部１１０における色フィルタの配列は、ベイヤー配列等に限らずＧのストライプとＲＢ市松配列等の様々な配列に適用することができる。また、受光部１２０は、補色系の色成分を透過する色フィルタを有してもよい。

図５は、偽色判断部１４０が偽色が生じているか否かを判断する判断方法の一例を示す。偽色判断部１４０は、第１画像及び第２画像の画像領域の同一の撮像領域である複数の部分領域＃５５０、＃５５１・・・において、複数の色領域に含まれる色を有する画素数を計数する。そして、偽色判断部１４０は、各色領域に含まれる画素数の、全画素数に対する構成比率を算出する。そして、第１画像における構成比率と第２画像における構成比率との比を相違度として算出し、当該相違度が予め定められた基準相違度より大きい場合に、第２画像における部分領域において偽色が発生していると判断する。

具体的には、図５の例では、部分領域＃５５０において、＃５０２と＃５０３で示される色領域において、相違度が予め定められた基準相違度（例えば、２０％）より大きく算出されており、第２画像における部分領域＃５５０において偽色が発生していると判断される。これにより、偽色判断部１４０は第２画像における部分領域毎に偽色の発生の有無を判断することができる。なお、偽色判断部１４０は、部分領域毎ではなく、全画像領域において構成比率を算出してよい。また、偽色判断部１４０は、構成比率を色領域毎に算出する代わりに、例えば、赤、青、緑等の、各色フィルタが透過する色成分毎に、各色成分を受光した受光素子の数の、受光素子数に対する構成比率を算出してもよい。

図６は、置き換え画像生成部１７０による置き換え画像の一例を示す。偽色判断部１４０が第２画像６２０において偽色が生じていると判断した場合に、偽色領域特定部１４５は偽色が生じている偽色領域６２１を特定する。例えば、偽色領域特定部１４５は、偽色判断部１４０が算出した部分領域毎における各色領域毎の構成比率に基づいて、偽色領域を特定することができる。

そして、置き換え画像生成部１７０は、第２画像６２０における偽色領域５２１と同じ撮像領域である第１画像６１０における部分領域６１１と、第２画像６２０における偽色領域６２１以外の部分領域６２２とを合成して、置き換え画像６３０を生成する。そして、撮像画像格納部１６０は、置き換え画像６３０を撮像画像として格納する。これにより、第２画像の偽色領域だけを第１画像で置き換えることによって、偽色のなくかつ画質のより高い画像を生成することができる。

なお、撮像画像格納部１６０は、第２画像の偽色領域以外の画像領域の画質が、第１画像の当該画像領域と同じ撮像領域の画像領域と画質に比べて劣っていない場合には、第１画像を撮像画像として格納してよい。置き換え画像生成部１７０は、第１画像及び第２画像における部分領域毎に画質を算出して、算出した画質がより高い方の部分領域の画像を、撮像画像を構成する部分画像として用いてよい。このとき置き換え画像生成部１７０は、部分領域毎に空間周波数成分を算出して、より高い空間周波数成分を有する部分領域の画質をより高く算出してよい。他にも、置き換え画像生成部１７０は、第１画像において動く被写体を含む部分領域を特定し、当該部分領域の画質をより低く算出してもよい。置き換え画像生成部１７０は、第１画像において動く被写体を含む部分領域を特定する場合に、例えば、複数のタイミング毎に生成される複数の画像のそれぞれに対してエッジ抽出等の画像処理によって被写体の輪郭を特定し、複数の画像における被写体の位置の動きを特定することによって動く被写体を含む部分領域を特定してよい。

図７は、撮像装置１００による撮像タイミングの一例を示す。撮像装置１００は、時刻ｔ７０１においてユーザによるレリーズボタンの押下を検出すると、時刻ｔ７０１〜ｔ７０２（タイミング１）、時刻ｔ７０３〜ｔ７０４（タイミング２）、及び時刻ｔ７０５〜ｔ７０６（タイミング３）において受光部１２０を露光することによって、第１画像を生成する。そして、撮像制御部１８０は、時刻ｔ７０７〜ｔ７０８にかけて、受光部１２０を露光させることによって、第２画像を生成する。なお、第１画像を取得するための各露光時間と第２画像を生成するための露光時間とは略同一であってよい。

また、撮像タイミングの他の例では、撮像制御部１８０は、露光期間の合計値が略同一となるよう、受光部１２０を露光させるタイミングを決定してもよい。具体的には、時刻ｔ７１１においてユーザによるレリーズボタンの押下を検出すると、時刻ｔ７１１〜ｔ７１２（タイミング１）、時刻ｔ７１３〜ｔ７１４（タイミング２）、及び時刻ｔ７１５〜ｔ７１６（タイミング３）において受光部１２０を露光することによって、第１画像を生成する。そして、撮像制御部１８０は、時刻ｔ７１７〜ｔ７１８にかけて、受光部１２０を露光させることによって、第２画像を生成する。なお、第１画像を撮像すべく露光させた各露光時間の合計値（ｔ７１２−ｔ７１１＋ｔ７１４−ｔ７１３＋ｔ７１６−ｔ７１５）は、第２画像を撮像すべく露光させた露光時間ｔ７１８−ｔ１７と略同一に設定される。なお、撮像制御部１８０は、第１画像を撮像するための最初の露光期間の露光開始時刻と、第１画像を撮像するための最終の露光期間の露光終了時刻との差（ｔ７１６−ｔ７１１）を、第２画像を撮像するための露光時間ｔ７１８−ｔ１７と略同一となるよう受光部１２０を露光させるタイミングを決定してもよい。

図８は、この発明の第２実施形態における撮像装置１００の一例を示す。本実施形態における撮像装置１００は、夜間及び昼間においても十分な明るさの画像を取得しつつ、昼間において撮像画像に偽色が発生することを抑制することができる撮像装置を提供することを目的とする。第２実施形態における撮像装置１００では、撮像部７０５は、第１実施形態における撮像部１０５が有する構成要素の他に、光学ローパスフィルタ８１０をさらに有している。また撮像部７０５が有する受光部１２０は、色フィルタを介さずに被写体の光を受光する受光素子をさらに含んでいる。第２実施形態における撮像部７０５以外の構成要素の特徴及び動作については、図１から図７に関連して説明した第各構成要素の特徴及び動作と同様であるので、相違点を除いて説明を省略する。

フィルタ部１１０は、複数の色成分の光のいずれかをそれぞれ透過する複数の色フィルタが一列に配列された複数の色フィルタ列８５１ａ〜ｃと、複数の色フィルタ列の間に所定の間隔で並べられた、色フィルタが配列されていない複数の非色フィルタ列８５２ａ〜ｃとを有する。

そして受光部１２０は、複数の色フィルタを透過した光をそれぞれ受光する複数の第１の受光素子（例えば、８２１ａ及び８２１ｂ）と、非色フィルタ列から入射される光をそれぞれ受光する複数の第２の受光素子（例えば、８２２ａ及び８２２ｂ）とが、色フィルタ列及び非色フィルタ列に沿って配列されている。例えば、第１の受光素子８２１aは、色フィルタ列８５１aが有する色フィルタ８１１aを透過した光を受光し、第１の受光素子８２１ｂは、色フィルタ列８５１ｂが有する色フィルタ８１１ｂを透過した光を受光する。また、例えば、第２の受光素子８２２aは、非色フィルタ列８５２aにおける非フィルタ領域８１２aから入射した光を受光し、第２の受光素子８２２ｂは、非色フィルタ列８５２ｂにおける非フィルタ領域８１２ｂから入射した光を受光する。

そして、光学ローパスフィルタ８１０は、フィルタ部１１０の前面に配置され、第１の受光素子と、第２の受光素子とにまたがる方向に被写体からの光を分散させて、被写体を構成する複数の領域のそれぞれからの光を第１の受光素子及び第２の受光素子のそれぞれに受光させる。具体的には、光学ローパスフィルタ８１０は、第１の受光素子と第２の受光素子とにまたがる方向に、当該方向に対して略直交する方向に光を分散させる角度より大きい角度で、被写体からの光を分散させる。また、光学ローパスフィルタ８１０は、第１の受光素子と第２の受光素子とにまたがる方向に略直交する方向に被写体からの光を分散させなくてもよい。例えば、被写体から非色フィルタ領域８１２aに向けて入射してくる光は、光学ローパスフィルタ８１０によって、非色フィルタ領域８１２aに隣接する色フィルタ８１１a及び８１１ｂへと入射するよう分散される。この結果、例えば、受光素子８２１ｂは、非色フィルタ領域８１２a及び８１２ｂに向けて被写体から入射してくる光を、色フィルタ８１１ｂを介して受光することができる。

このため、例えば、被写体から色フィルタ８１１ｂの方向に入射してくる光が緑色の色成分を有しておらず、被写体から非色フィルタ領域８１２a又は８１２ｂへと入射してくる光が緑の色成分を有している場合には、被写体の有する緑色を撮像画像に反映させることができる。このため、撮像装置１００は、撮像画像における偽色の発生を抑制することができる。

なお、色フィルタ列８５１a〜ｃと非色フィルタ列８５２a〜ｃとは交互に並べられている。そして、光学ローパスフィルタ８１０は、色フィルタ列及び非色フィルタ列とが交互に並ぶ方向に被写体からの光を分散させてよい。なお、色フィルタ列と非色フィルタ列との並びは、本実施形態における並び以外に、例えば２つの連続する色フィルタ列毎に１の非色フィルタ列を配置する等、様々な並びで配置することができる。また光学ローパスフィルタ８１０には、赤外線をカットする赤外カットフィルタも合わせて形成されてもよい。他にも、光学ローパスフィルタ８１０の表面に赤外線を反射するミラーが形成されてもよい。

また、撮像画像生成部１３０は、複数の受光素子が受光する色フィルタ列から透過する光の受光量に基づいて昼間における撮像画像を撮像し、複数の受光素子が受光する非色フィルタ列から入射する光の受光量に基づいて昼間における撮像画像を生成する。これにより、夜間においても明るい撮像画像を生成することができる。

なお、図１から図７に関連して説明したように、昼間においては、フィルタ駆動部１９０によってフィルタ部１１０若しくは、フィルタ部１１０及び受光部１２０の位置を被写体に対して変化させて撮像することによって、より高い画質の画像を撮像画像格納部１６０に保存してよいことは言うまでもない。例えば、フィルタ駆動部１９０は、光学ローパスフィルタ８１０によって光が分散される方向とは異なる方向に、フィルタ部１１０若しくは、フィルタ部１１０及び受光部１２０の位置を被写体に対して移動させて撮像してよい。具体的には、フィルタ列８５１a〜ｃにおいて色フィルタが並べられた方向に、フィルタ部１１０若しくは、フィルタ部１１０及び受光部１２０の位置を被写体に対して移動させて撮像してよい。

以上説明したように、本実施形態における撮像装置１００は、色フィルタを介さずに被写体の光を受光する第２の受光素子をさらに有しているので、第２の受光素子からの受光信号を輝度信号として用いることができる。特に、夜間において第２の受光素子からの受光信号に基づいて撮像画像を生成することによって、第１の受光素子からの受光信号だけを用いて生成される撮像画像に比べてより明るい撮像画像を得ることができる。このため、本実施形態における撮像装置１００は、昼夜両用の監視カメラとして用いることができる。

以上、実施形態を用いて本発明を説明したが、本発明の技術的範囲は上記実施形態に記載の範囲には限定されない。上記実施形態に、多様な変更又は改良を加えることができる。そのような変更又は改良を加えた形態も本発明の技術的範囲に含まれ得ることが、特許請求の範囲の記載から明らかである。

第１実施形態に係る撮像装置１００の構成の一例を示す。 フィルタ駆動部１９０によるフィルタ部１１０の駆動例の一例を示す図である。 フィルタ駆動部１９０によるフィルタ部１１０及び受光部１２０の駆動例を示す図である。 フィルタ部１１０における色フィルタの配列の他の一例と、フィルタ部１１０の駆動例を示す図である。 偽色判断部１４０が偽色が生じているか否かを判断する判断方法の一例を示す図である。 置き換え画像生成部１７０による置き換え画像の一例を示す図である。 撮像装置１００による撮像タイミングの一例を示す図である。 第２実施形態における撮像装置１００の一例を示す図である。

符号の説明

１００ 撮像装置
１０５ 撮像部
１１０ フィルタ部
１２０ 受光部
１３０ 撮像画像生成部
１３１ 第１画像生成部
１３２ 第２画像生成部
１４０ 偽色判断部
１４５ 偽色領域特定部
１５０ 撮像画像選択部
１６０ 撮像画像格納部
１７０ 置き換え画像生成部
１８０ 撮像制御部
１９０ フィルタ駆動部
７０５ 撮像部
８１０ 光学ローパスフィルタ

Claims (13)

1. 複数の色成分の光のいずれかをそれぞれ透過する複数の色フィルタが配列されたフィルタ部と、
   前記複数の色フィルタをそれぞれ透過した光をそれぞれ受光する複数の受光素子が配列された受光部と、
   被写体に対する前記複数の色フィルタの位置を変化させるフィルタ駆動部と、
   被写体を構成する複数の領域のそれぞれから、前記フィルタ駆動部による前記複数の色フィルタの位置の変化前と変化後とで異なる色成分の光を前記複数の受光素子に受光させる撮像制御部と、
   前記複数の受光素子が被写体を構成する複数の領域のそれぞれから受光した異なる色成分の光の受光量に基づいて、撮像画像を生成する撮像画像生成部と
   を備える撮像装置。
2. 前記フィルタ駆動部は、被写体に対する前記複数の受光素子の位置を前記複数の色フィルタとともに変化させ、
   前記撮像制御部は、被写体を構成する複数の領域のそれぞれから、前記フィルタ駆動部による前記複数の色フィルタ及び前記複数の受光素子の位置の変化前と変化後とで異なる色成分の光を異なる受光素子に受光させる
   請求項１に記載の撮像装置。
3. 前記撮像制御部は、被写体を構成する複数の領域のそれぞれから、前記フィルタ駆動部による前記複数の色フィルタの位置の変化前と変化後とで異なる色成分の光を前記複数の受光素子に受光させる第１撮像モードで撮像し、さらに、被写体を構成する複数の領域のそれぞれから、前記フィルタ駆動部によって前記複数の色フィルタの位置を変化させずに、前記複数の受光素子のそれぞれに複数の色成分のいずれか１つの色成分の光を受光させる第２撮像モードで撮像し、
   前記撮像画像生成部は、
   第１撮像モードにおいて前記複数の受光素子が被写体を構成する複数の領域のそれぞれから受光した異なる色成分の光の受光量に基づいて第１画像を生成する第１画像生成部と、
   第２撮像モードにおいて前記複数の受光素子のそれぞれが被写体を構成する複数の領域のそれぞれから受光した複数の色成分のいずれか１つの色成分の光の受光量に基づいて第２画像を生成する第２画像生成部と
   を有し、
   前記第１画像生成部が生成した第１画像及び前記第２画像生成部が生成した第２画像に含まれる色に基づいて、第１画像及び第２画像のうち画質のより高い方の画像を選択する撮像画像選択部と、
   前記撮像画像選択部が選択した第１画像又は第２画像を、撮像画像として保存する撮像画像格納部と
   をさらに備える
   請求項１に記載の撮像装置。
4. 前記撮像画像生成部は、
   前記フィルタ駆動部による前記複数の色フィルタの位置の変化前及び変化後において前記複数の受光素子が被写体を構成する複数の領域のそれぞれから受光した異なる色成分の光の受光量に基づいて第１画像を生成する第１画像生成部と、
   前記フィルタ駆動部による前記複数の色フィルタの位置の変化前又は変化後のいずれか一方において前記複数の受光素子が被写体を構成する複数の領域のそれぞれから受光した光の受光量に基づいて第２画像を生成する第２画像生成部と
   を有し、
   前記第１画像生成部が生成した第１画像及び前記第２画像生成部が生成した第２画像に含まれる色に基づいて、第１画像及び第２画像のうち画質のより高い方の画像を選択する撮像画像選択部と、
   前記撮像画像選択部が選択した第１画像又は第２画像を、撮像画像として保存する撮像画像格納部と
   をさらに備える
   請求項１に記載の撮像装置。
5. 前記第１画像生成部が生成した第１画像及び前記第２画像生成部が生成した第２画像に含まれる色に基づいて、第２画像に偽色が生じているか否かを判断する偽色判断部
   をさらに備え、
   前記撮像画像選択部は、前記偽色判断部が第２画像に偽色が生じていると判断した場合に、第１画像を選択し、前記偽色判断部が第２画像に偽色が生じていないと判断した場合に第２画像を選択する
   請求項３又は４に記載の撮像装置。
6. 前記偽色判断部は、第１画像と第２画像に含まれる色分布の相違度が、予め定められた基準相違度より大きい場合に、第２画像に偽色が生じていると判断する
   請求項５に記載の撮像装置。
7. 前記偽色判断部が前記第２画像生成部が生成した撮像画像に偽色が生じていると判断した場合に、偽色が生じている部分領域である偽色領域を特定する偽色領域特定部と、
   前記偽色判断部が第２画像に偽色が生じていると判断した場合に、第２画像において前記偽色領域特定部が特定した偽色領域を、第１画像における前記偽色領域特定部が特定した偽色領域で置き換えた画像を生成する置き換え画像生成部と
   をさらに備え、
   前記撮像画像格納部は、前記置き換え画像生成部が生成した置き換え画像を、撮像画像として保存する
   請求項５に記載の撮像装置。
8. 前記複数の色フィルタは、少なくとも赤、緑、及び青の色成分の光をそれぞれ透過させ、
   前記フィルタ駆動部は、赤、緑、及び青の色成分の光をそれぞれ透過する前記複数の色フィルタの位置を被写体に対して変化させ、
   前記撮像制御部は、赤、緑、及び青の色成分を透過する色フィルタの位置を前記フィルタ駆動部により順次変化させて、被写体を構成する複数の領域のそれぞれから赤、緑、及び青の色成分の光を前記複数の受光素子に受光させ、
   前記撮像画像生成部は、前記複数の受光素子が被写体を構成する複数の領域のそれぞれから受光した赤、緑、及び青の色成分の光の受光量に基づいて、撮像画像を生成する
   請求項１に記載の撮像装置。
9. 複数の色成分の光のいずれかをそれぞれ透過する複数の色フィルタが配列されたフィルタ部により光をフィルタリングするフィルタ段階と、
   前記複数の色フィルタをそれぞれ透過した光をそれぞれ受光する複数の受光素子が配列された受光部により光を受光する受光段階と、
   被写体に対する前記複数の色フィルタの位置を変化させるフィルタ駆動段階と、
   被写体を構成する複数の領域のそれぞれから、前記フィルタ駆動段階による前記複数の色フィルタの位置の変化前と変化後とで異なる色成分の光を前記複数の受光素子に受光させる撮像制御段階と、
   前記複数の受光素子が被写体を構成する複数の領域のそれぞれから受光した異なる色成分の光の受光量に基づいて、撮像画像を生成する撮像画像生成段階と
   を備える撮像方法。
10. 複数の色成分の光のいずれかをそれぞれ透過する複数の色フィルタが一列に配列された複数の色フィルタ列と、複数の前記色フィルタ列の間に所定の間隔で並べられた、前記色フィルタが配列されていない複数の非色フィルタ列とを有するフィルタ部と、
    前記複数の色フィルタを透過した光をそれぞれ受光する複数の第１の受光素子と、前記非色フィルタ列から入射される光をそれぞれ受光する複数の第２の受光素子とが、前記色フィルタ列及び前記非色フィルタ列に沿って配列された受光部と、
    前記フィルタ部の前面に配置され、前記第１の受光素子と、前記第２の受光素子とにまたがる方向に被写体からの光を分散させて、被写体を構成する複数の領域のそれぞれからの光を前記第１の受光素子及び前記第２の受光素子のそれぞれに受光させる光学ローパスフィルタと
    を備える撮像装置。
11. 前記色フィルタ列と前記非色フィルタ列とは交互に並べられ、
    前記光学ローパスフィルタは、前記色フィルタ列及び前記非色フィルタ列とが交互に並ぶ方向に被写体からの光を分散させる
    請求項１０に記載の撮像装置。
12. 前記複数の受光素子が受光する前記色フィルタ列から透過する光の受光量に基づいて昼間における撮像画像を撮像し、前記複数の受光素子が受光する前記非色フィルタ列から入射する光の受光量に基づいて昼間における撮像画像を生成する撮像画像生成部
    をさらに備える請求項１０に記載の撮像装置。
13. 複数の色成分の光のいずれかをそれぞれ透過する複数の色フィルタが一列に配列された複数の色フィルタ列と、複数の前記色フィルタ列の間に所定の間隔で並べられた、前記色フィルタが配列されていない複数の非色フィルタ列とを有するフィルタ部により光をフィルタリングするフィルタ段階と、
    前記複数の色フィルタを透過した光をそれぞれ受光する複数の第１の受光素子と、前記非色フィルタ列から入射される光をそれぞれ受光する複数の第２の受光素子とが、前記色フィルタ列及び前記非色フィルタ列に沿って配列された受光部により光を受光する受光段階と、
    前記フィルタ部の前面に配置され、前記第１の受光素子と、前記第２の受光素子とにまたがる方向に被写体からの光を分散させて、被写体を構成する複数の領域のそれぞれからの光を前記第１の受光素子及び前記第２の受光素子のそれぞれに受光させる光学ローパスフィルタにより光分散段階と
    を備える撮像方法。
    

Images