JP2012095223A - 撮像装置、撮像方法及びプログラム - Google Patents

Abstract

【課題】電子ズームを使用する場合に、撮影モードを適切に切り換えることができるようにする。
【解決手段】カラー映像として出力するデイモード、または白黒映像として出力するナイトモードにより被写体を撮像して生成した映像を出力する撮像装置であって、前記映像を拡大して表示するための拡大映像を生成する際に、被写体輝度Ｙに応じて、デイモードとナイトモードとを切り換える起点となる被写体輝度Ｙの閾値を、拡大映像を生成する際の拡大率に応じて算出するようにして、ノイズ感の少ない映像を得ることができるようにする。
【選択図】図１

Description

本発明は、特に、複数の撮影モードにより撮影を行うために用いて好適な撮像装置、撮像方法及びプログラムに関する。

従来の撮像装置は、入射光を結像するレンズと、レンズにより結像した光学像を電気信号に変換する撮像素子とを有しており、撮像素子から得られた電気信号に対し信号処理を施すことにより所定の画像信号を得ることができる。撮像素子として通常用いるＣＣＤセンサ又はＣＭＯＳセンサが１枚のみの単板式のセンサにおいては、色分解を行う色フィルタとして、画素ごとに異なる色のフィルタがセンサ上に設けられている。

赤（Ｒ）、緑（Ｇ）、青（Ｂ）の色信号を得るには、Ｒ、Ｇ、Ｂに対応する光の帯域を透過させるＲ、Ｇ、Ｂの原色フィルタを用いる場合と、マジェンタ（Ｍｇ）、シアン（Ｃｙ）、イエロー（Ｙｅ）、Ｇの補色フィルタを用いる場合とがある。上記のいずれの色フィルタも、染料もしくは顔料を用いて目的の色を透過させるようにその分光透過特性が設計されており、近赤外領域でも一定の透過率を有する。また、撮像素子の光電変換部は主にシリコン（Ｓｉ）などの半導体で構成されているため、光電変換部の分光感度特性は波長の長い近赤外光まで感度を有している。したがって、色フィルタを具備した撮像素子から得られた信号は近赤外領域の光線にも反応している。

一方、人間の色に対する感度特性である色覚特性、及び明るさに対する感度特性である比視感度特性は、可視域である３８０ｎｍから７８０ｎｍまでの感度特性であり、７００ｎｍより長波長域ではほとんど感度を有さない。そこで、撮像装置の色再現性を人間の色覚特性に合わせるためには、撮像素子の前に近赤外領域の光線を通過させない視感度補正用の赤外光除去フィルタ（以後、ＩＲＣＦ）を設ける必要があった。

また、被写体輝度が低下すると、感度が足りなくなるためノイズが増加し、被写体を判別できなくなってしまう。そこで、前述したＩＲＣＦを光路から除去して近赤外領域の光線を通過させ、感度を上げるモードが存在する。具体的には、近赤外領域の光線を通過させると色バランスが崩れるため、カラー映像モード（デイモード）から白黒映像モード（ナイトモード）に撮影モードを切り換える。また、このようなデイモード及びナイトモードの切換えを自動で行うオートデイナイト（以後、ＡＤＮ）を呼ばれる機能を備えたものもある。

デイモードからナイトモードへの切換えは、被写体の輝度を用いて行われる。また、被写体の輝度の閾値は、シャッタスピード、絞り、ＡＧＣ（オートゲインコントロール）、画面輝度といったカメラの自動露出データ（ＡＥデータ）に基づいて決定される。この被写体の輝度の閾値と予め設定された撮影モード切換え閾値レベル（以後、閾値Ｔｈ）とを比較し、被写体の輝度が閾値Ｔｈ以下の場合に、ナイトモードにする。

さらに、バリフォーカルレンズにおいて、ＩＲＣＦの挿抜機構がないレンズでは感度は上がらないが、カラー成分にのるノイズが除去できるため、単にデイモードからナイトモードに切り換えるカメラもある。このように、ＡＤＮでは、なるべくカラー映像で撮影し、照度が低下してノイズが多くなり、被写体の判別ができないようになるとナイトモードにして、感度を上げるようにする。代表的な例としては、例えば、特許文献１には、入射光量に基づいてナイトモードに切り換える技術が開示されている。

特開２００４−１２０２０２号公報

しかしながら、特許文献１に開示された技術では、被写体輝度に基づいて撮影モードを切り換えており、被写体のノイズ感などは考慮されていない。電子ズームによって画面を拡大すると、ゲイン用アンプによるゲイン性ノイズも電子ズーム倍率によって拡大されてしまい、実質的に画面のノイズ感が増えてしまう。そのため、電子ズームを使用するとノイズ感の多い画像にもかかわらず被写体輝度及びＡＥデータが同じであるため、ナイトモードに切り換わらないという問題がある。

本発明は前述の問題点に鑑み、電子ズームを使用する場合に、撮影モードを適切に切り換えることができるようにすることを目的としている。

本発明の撮像装置は、カラー映像として出力する第１のモード、または白黒映像として出力する第２のモードにより被写体を撮像して生成した映像を出力する撮像装置であって、前記映像を拡大して表示するための拡大映像を生成する生成手段と、前記被写体の輝度に応じて、前記第１のモードと前記第２のモードとを切り換える切換手段と、前記切換手段によりモードを切り換える起点となる前記被写体の輝度の閾値を、前記映像と前記生成手段によって生成される拡大映像との大きさの比に基づいて算出する算出手段とを有することを特徴とする。

本発明によれば、電子ズームを使用する場合に、撮影モードを適切に切り換えることができる。

第１の実施形態に係る撮像装置の構成例を示すブロック図である。 第３の実施形態に係る撮像装置の構成例を示すブロック図である。 デイモードからナイトモードに切換る手順を示すフローチャートである。 ナイトモードからデイモードに切換る手順を示すフローチャートである。 拡大倍率が等倍である時の映像の一例を示す図である。 拡大倍率が１より大きい高倍である時の映像の一例を示す図である。

（第１の実施形態）
以下、本発明の第１の実施形態について、図面を参照しながら説明する。
図１は、本実施形態に係る撮像装置１００の構成例を示すブロック図である。
図１において、撮像レンズ１から入射した光は、赤外光除去フィルタ（ＩＲＣＦ）２を介して撮像素子３の受光面上に結像され、アナログ信号が生成される。ＡＤ変換部４は、撮像素子３において生成されたアナログ信号に対してＡＤ変換を行い、デジタル信号に変換する。

映像信号処理部５は、変換されたデジタル信号に色変換、ＡＥ処理、及びＷＢ処理を行い、さらに信号処理された映像信号の階調変換を行うγ処理など諸々の画像処理を行う。また、映像信号処理部５は、撮影モードの判定に使用される被写体輝度Ｙを算出する。被写体輝度Ｙはシャッタスピード（以後、ＳＳ）、絞り、ＡＧＣ（オートゲインコントロール）、及び画面輝度から算出される。

映像信号出力部６は、カラー映像または白黒映像の映像信号を出力する。撮影モード判定部７は、映像信号処理部５にて算出された被写体輝度Ｙと撮影モード切換え閾値レベル（閾値Ｔｈ）とを比較し、デイモード（第１のモード）かもしくはナイトモード（第２のモード）か撮影モードを判定する。通常、ナイトモードからデイモードに切り換える場合に、被写体輝度Ｙが閾値Ｔｈ_ndより大きい場合にはデイモードにし、カラー映像の映像信号を出力する。一方、デイモードからナイトモードに切り換える場合に、被写体輝度Ｙが閾値Ｔｈ_dnより小さい場合にはナイトモードにし、白黒映像の映像信号を出力する。切換え閾値算出部８は、画面の拡大率に応じて起点となる閾値Ｔｈを算出する。拡大処理部９は、画面の拡大処理を行う。

図５は、拡大倍率が等倍である時の映像の一例を示す図であり、図６は、拡大倍率が１より大きい高倍である時の映像の一例を示す図である。
図５において、拡大倍率が等倍時の画面５０１には、ＡＧＣのゲインに起因するノイズ５０２が発生している。画面を電子的に拡大すると、図６に示すように、ゲイン用アンプのゲインに起因するゲイン性ノイズも同時に拡大されてしまい、拡大後の画面６０１のノイズ感は実質的に拡大前より増加する。その結果、拡大されたノイズ６０２によって、画面のノイズ感が増加した拡大映像になってもデイモードのままで撮影を続けてしまうこととなる。

そこで本実施形態では、画面の拡大倍率に応じて閾値Ｔｈを算出することにより、被写体が判別しにくい状態にならないように撮影モードを切り換える。

次に、撮影モードを切り換える時の処理手順について説明する。
図３は、デイモードからナイトモードに切り換える場合の処理手順の一例を示すフローチャートである。なお、図３の説明では、ユーザにより映像を電子的に拡大または縮小する指示がなされたものとして説明する。
まず、ステップＳ３０１において、映像信号処理部５は、ＳＳ、絞り、ＡＧＣ、及び画面輝度から被写体輝度Ｙを算出する。

ここで、被写体輝度Ｙを算出する時の算出領域は、電子的な拡大処理の有無に関わらず、図５に示す等倍時の画面５０１全体の輝度で算出している。一方、図６に示すように電子的な拡大処理を行う場合は、拡大後の画面６０１から被写体輝度を求めてもよい。この場合、表示画面の輝度をより正しく算出することができる。

次に、ステップＳ３０２において、拡大処理部９は、映像信号処理部５で生成された映像信号に対して電子的な拡大または縮小を行う。さらに、拡大率検出部１０は、ユーザ等により指示された映像の拡大率を検出する。なお、映像が拡大される場合は、拡大率は１より大きい値となり、縮小される場合は、拡大率は１未満となる。また、拡大率が１の場合は等倍となる。

次に、ステップＳ３０３において、切換え閾値算出部８は、検出された拡大率に応じて閾値Ｔｈ_dnを算出する。

以下、拡大率に応じた閾値Ｔｈ_dnの算出方法について、説明する。映像が等倍時（Ｍ₀＝１）においては、閾値Ｔｈ_dnbaseが予め設定されている。等倍時において、被写体輝度Ｙが閾値Ｔｈ_dnbaseである映像が、デイモードからナイトモードへの切換りの基準相当の映像となる。ここで、映像を電子的に拡大すると、ゲイン用アンプのゲインに起因するゲイン性ノイズは同時に拡大されてしまい、拡大後の画面のノイズ感は実質的に拡大前より増加する。そのため、映像を拡大する場合は閾値Ｔｈをより高く設定することが必要となる。拡大率による係数をＫ_dnとし、現在の拡大率をＭとすると、以下の式（１）により閾値Ｔｈ_dnが算出される。

なお、係数Ｋ_dnは映像を拡大等することによって映像のノイズ感などから算出される係数である。係数Ｋ_dnは映像の倍率差（Ｍ−Ｍ₀）に対して、一律の変化であってもよい。また、ノイズの表れが映像の倍率差（Ｍ−Ｍ₀）で変化する場合には、倍率差により係数Ｋ_dnを変化させてもよい。さらに、式（１）を変形した以下の式（２）により、閾値Ｔｈ_dnを算出してもよい。

次に、ステップＳ３０４において、撮影モード判定部７は、被写体輝度Ｙが、算出した閾値Ｔｈ_dnよりも小さいか否かを判定する。この判定の結果、閾値Ｔｈ_dnよりも小さい場合は、ステップＳ３０５において、撮影モードをデイモードからナイトモードへ切り換える。一方、閾値Ｔｈ_dn以上である場合は、撮影モードはそのままであるため、処理を終了する。

次に、ナイトモードからデイモードへの切換えについて説明する。
図４は、ナイトモードからデイモードに切り換える場合の処理手順の一例を示すフローチャートである。なお、図４の説明でも、ユーザにより映像を電子的に拡大または縮小する指示がなされたものとして説明する。
まず、ステップＳ４０１及びＳ４０２については、それぞれ図３のステップＳ３０１及びＳ３０２と同様であるため、説明は省略する。次に、ステップＳ４０３において、切換え閾値算出部８は、算出された拡大倍率に応じて閾値Ｔｈ_ndを算出する。

以下、ナイトモードからデイモードへ切り換えるため基準となる閾値Ｔｈ_ndの算出方法について説明する。ナイトモードからデイモードへ切り換える基準となる閾値Ｔｈ_dnと、デイモードからナイトモードへ切り換える基準となる閾値Ｔｈ_ndとでは、ハンチングを防止するため一定のヒステリシスを持っている。したがって、以下の式（３）の関係を満たしている。

デイモードからナイトモードへの切り換える場合と同様に、ナイトモードからデイモードへの切り換える場合も基準倍率（Ｍ₀＝１）における閾値Ｔｈ_ndbaseが予め設定されている。この場合も映像を電子的に拡大すると、ゲイン用アンプのゲインに起因するゲイン性ノイズも同時に拡大されてしまい、拡大後の画面のノイズ感は実質的に拡大前より増加する。そのため、映像を拡大する場合は閾値Ｔｈをより高く設定することが必要となる。拡大率による係数をＫ_dnとし、現在の拡大率をＭとすると、以下の式（４）により閾値Ｔｈ_ndが算出される。

なお、係数Ｋ_ndは、係数Ｋ_dn同様に映像のノイズ感などから算出される係数である。ここで、閾値Ｔｈ_ndは、閾値Ｔｈ_dn以下の値であるため、撮影モードが切り換わる時の被写体輝度Ｙが異なり、ＡＧＣ等が異なっている場合がある。そのため、係数Ｋ_dnと係数Ｋ_ndとで異なる値を設定してもよい。また、係数Ｋ_dn同様に、映像の倍率差（Ｍ−Ｍ₀）に対して、一律の変化であってもよい。さらに、式（４）を変形した以下の式（５）により、閾値Ｔｈ_ndを算出してもよい。

次に、ステップＳ４０４において、撮影モード判定部７は、被写体輝度Ｙが算出した閾値Ｔｈ_ndよりも大きいか否かを判定する。この判定の結果、閾値Ｔｈ_ndよりも大きい場合は、ステップＳ４０５において、撮影モードをナイトモードからデイモードへ切り換える。一方、閾値Ｔｈ_nd以上である場合は、撮影モードはそのままであるため、処理を終了する。

ここで、状況によっては拡大処理部９による拡大処理が頻繁に発生する場合がある。この拡大処理によりに、デイモードとナイトモードとが頻繁に切り換わると、画面として好ましくないものになってしまう。このような場合、図３のステップＳ３０５または図４のステップＳ４０５において、撮影モードを切り替えるタイミングとして、拡大処理が終了してから所定の時間が経過した後に撮影モードを切り換えることによって、撮影モードの頻繁な切換えを低減できる。

以上のように本実施形態によれば、拡大率に応じて閾値Ｔｈを変更するようにしたので、電子ズームにより映像を拡大する場合に、撮影モードを適切に切り換えてノイズ感の少ない映像を得ることができる。

（第２の実施形態）
第１の実施形態では、映像の拡大率に応じて撮影モードを切り替える閾値Ｔｈを変更しているが、画像を切り出した場合も同様に適用してもよい。例えば、手振れ補正など電子防振機能を有効にしている場合、振れを補正するために画像の切り出しが行われる。以下、画像を切り出すことによって電子防振を行う場合について説明する。なお、本実施形態における基本的な構成及び処理については第１の実施形態と同様であるため、第１の実施形態と異なる部分についてのみ説明する。

電子防振機能を有効にしている場合に、等倍画像から画像を電子的に切り出し、そのときの切り出し率に応じて、デイモードからナイトモード、ナイトモードからデイモードへの切換えを行う。このとき、切り出し率は固定のままでもよく、振幅によって切り出し率を変えてもよい。なお、振幅によって切り出し率を変える場合は、図３のステップＳ３０２及び図４のステップＳ４０２において、切り出し率を検出する。このとき、第１の実施形態で説明した拡大率と同様のシーケンスにより検出する。

（第３の実施形態）
本実施形態では、ＩＲＣＦを制御する例について説明する。
図２は、本実施形態に係る撮像装置２００の構成例を示すブロック図である。なお、図１と同様の構成について同一の符号を付しており、同一の構成については説明を省略する。また、閾値Ｔｈを算出して撮影モードを切り換える手順については第１及び第２の実施形態と同様であるため、説明は省略する。

図２に示すように、撮像装置２００は、ＩＲＣＦ制御部１１を備えており、撮影モードがデイモードの場合は撮影モード判定部７の指示に応じてＩＲＣＦ制御部１１によりＩＲＣＦ２を光路長に挿入し、近赤外領域の光を用いずに撮影してカラー映像を出力する。

一方、被写体輝度Ｙが小さくなると、撮像素子３が近赤外域にも感度を有することからＩＲＣＦ制御部１１によりＩＲＣＦ２を光路長から抜き、撮影を行う。このようにＩＲＣＦ２を抜くことにより近赤外の光も受光し、感度の向上を行う。また、撮影モードを切り換えるタイミングとしては、拡大処理部９により拡大処理を行う前に撮影モードを切り換えると、拡大処理を終了した時点ではモードの切換えが終了する。一方、撮影モードの切換えを拡大処理中に行うと、重要度が低い画面での拡大処理中に、ＩＲＣＦ制御部１１によりＩＲＣＦ２の挿抜を行うことができる。

（その他の実施形態）
また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。

５ 映像信号処理部
７ 撮影モード判定部
８ 切換え閾値算出部
９ 拡大処理部

Claims (11)

1. カラー映像として出力する第１のモード、または白黒映像として出力する第２のモードにより被写体を撮像して生成した映像を出力する撮像装置であって、
   前記映像を拡大して表示するための拡大映像を生成する生成手段と、
   前記被写体の輝度に応じて、前記第１のモードと前記第２のモードとを切り換える切換手段と、
   前記切換手段によりモードを切り換える起点となる前記被写体の輝度の閾値を、前記映像と前記生成手段によって生成される拡大映像との大きさの比に基づいて算出する算出手段とを有することを特徴とする撮像装置。
2. 前記生成手段は、前記映像から切り出された映像を用いて拡大映像を生成することを特徴とする請求項１に記載の撮像装置。
3. 前記切換手段は、前記拡大映像における被写体の輝度に応じて切り換えることを特徴とする請求項１または２に記載の撮像装置。
4. 前記算出手段は、前記切換手段により前記第１のモードから前記第２のモードに切り換える場合の閾値と、前記第２のモードから前記第１のモードに切り換える場合の閾値とを算出することを特徴とする請求項１〜３の何れか１項に記載の撮像装置。
5. 前記算出手段は、前記第１のモードから前記第２のモードに切り換える場合の閾値が、前記第２のモードから前記第１のモードに切り換える場合の閾値よりも大きい値にならないように算出することを特徴とする請求項４に記載の撮像装置。
6. 前記切換手段は、前記生成手段によりズームにより拡大映像が生成されている間にモードの切換えを行うことを特徴とする請求項１〜５の何れか１項に記載の撮像装置。
7. 前記切換手段は、前記生成手段により拡大映像が生成される前にモードの切換えを行うことを特徴とする請求項１〜５の何れか１項に記載の撮像装置。
8. 前記切換手段は、前記生成手段により拡大映像が生成されてから所定の時間が経過した後にモードの切換えを行うことを特徴とする請求項１〜５の何れか１項に記載の撮像装置。
9. 前記切換手段によって切り換えられたモードに応じて、赤外光除去フィルタの挿抜を制御する制御手段をさらに有することを特徴とする請求項１〜８の何れか１項に記載の撮像装置。
10. カラー映像として出力する第１のモード、または白黒映像として出力する第２のモードにより被写体を撮像して生成した映像を出力する撮像方法であって、
    前記映像を拡大して表示するための拡大映像を生成する生成工程と、
    前記被写体の輝度に応じて、前記第１のモードと前記第２のモードとを切り換える切換工程と、
    前記切換工程においてモードを切り換える起点となる前記被写体の輝度の閾値を、前記映像と前記生成工程において生成される拡大映像との大きさの比に基づいて算出する算出工程とを有することを特徴とする撮像方法。
11. カラー映像として出力する第１のモード、または白黒映像として出力する第２のモードにより被写体を撮像して生成した映像を出力する撮像装置を制御するためのプログラムであって、
    前記映像を拡大して表示するための拡大映像を生成する生成工程と、
    前記被写体の輝度に応じて、前記第１のモードと前記第２のモードとを切り換える切換工程と、
    前記切換工程においてモードを切り換える起点となる前記被写体の輝度の閾値を、前記映像と前記生成工程において生成される拡大映像との大きさの比に基づいて算出する算出工程とをコンピュータに実行させることを特徴とするプログラム。

Images