JP2023154475A - 撮像装置およびその制御方法 - Google Patents

Abstract

【課題】可視光画像データと非可視光画像データが取得可能な撮像装置において、消費電力を抑制しつつ非可視光画像データを取得する。【解決手段】撮像装置は、撮像により可視光画像データおよび非可視光画像データを生成する撮像手段１００、１０１と、可視光画像データおよび非可視光画像データのうち少なくとも一方を用いた画像処理を行う処理手段１０３、１０７と、撮像シーンを判定する判定手段１１０～１１２、１１７、１１８、１１９と、撮像シーンの判定結果に応じて、撮像手段による非可視光画像データの生成および処理手段における非可視光画像データを用いた画像処理を実行するか否かを制御する制御手段１１７とを有する。【選択図】図１

Description

本発明は、可視光画像と非可視光画像の取得が可能な撮像装置に関する。

近赤外光等の非可視光を撮像して得られる非可視光画像データは、可視光を撮像して得られる可視光画像データに対する画像処理、例えば、暗所、霞または霧状態および遠距離撮像でのノイズ低減、コントラスト改善、霞等除去および振れ補正の処理に用いることができる。ただし、可視光画像データと非可視光画像データを撮像により得るためには、可視光撮像用の撮像素子と非可視光撮像用の撮像素子とが必要である。可視光撮像非可視光撮像を同時に行える撮像素子もあるが、可視光画像データと非可視光画像データのそれぞれに対して、撮像素子に起因する画素補正、黒レベル補正および傷補正等の処理が必要となる。このため、可視光撮像のみを行う撮像装置に比べて消費電力が大きくなる。また、非可視光を発する光源を用いて撮像を行う場合は、該光源に通電するために消費電力が大きくなる。

特許文献１には、撮像するシーンが変化したと判定した際に、可視光と非可視光の画像データを取得する状態から可視光画像データのみを取得する状態への切り替えをユーザに選択させる撮像装置が開示されている。また、特許文献２には、被写体の色温度に応じて、可視光光源と非可視光光源の光量を制御する撮像装置が開示されている。

特開２０１０－１５４２６６号公報 特開２００７－１４２５５８号公報

しかしながら、特許文献１に開示された撮像装置では、撮像シーンの変化を色の時間変化により判定している。このため、非可視光画像データを必要とする撮像シーン以外でも非可視光画像データを取得する場合がある。また特許文献２に開示された撮像装置では、被写体の色温度で非可視光光源の光量を調整するので、非可視光光源が不要な撮像シーンでも非可視光光源を使用するおそれがある。この場合、撮像装置における消費電力が大きくなる。

本発明は、可視光画像データと非可視光画像データが取得可能で、消費電力を抑制しつつ非可視光画像データを取得できるようにした撮像装置およびその制御方法を提供する。

本発明の一側面としての撮像装置は、撮像により可視光画像データおよび非可視光画像データを生成する撮像手段と、可視光画像データおよび非可視光画像データのうち少なくとも一方を用いた画像処理を行う処理手段と、撮像シーンを判定する判定手段と、撮像シーンの判定結果に応じて、撮像手段による非可視光画像データの生成および処理手段における非可視光画像データを用いた画像処理を実行するか否かを制御する制御手段とを有することを特徴とする。

また本発明の他の一側面としての制御方法は、撮像により可視光画像データおよび非可視光画像データを生成する撮像手段と、可視光画像データおよび非可視光画像データのうち少なくとも一方を用いた画像処理を行う処理手段とを有する撮像装置に適用される。該制御方法は、撮像シーンを判定するステップと、撮像シーンの判定結果に応じて、撮像手段による非可視光画像データの生成および処理手段における非可視光画像データを用いた画像処理を実行するか否かを制御するステップとを有することを特徴とする。なお、撮像装置のコンピュータに上記制御方法に従う処理を実行させるプログラムも、本発明の他の一側面を構成する。

本発明によれば、可視光データと非可視光画像データを取得可能な撮像装置において、消費電力を抑制しつつ非可視光画像データを取得することができる。

実施例１の撮像装置の構成を示すブロック図。 実施例１の撮像装置における撮像処理を示すフローチャート。 実施例１における非可視光画像の使用／不使用判定処理を示すフローチャート。 実施例１における非可視光画像の使用可否と使用用途を示す図。 実施例１における表示画像の例を示す図。 実施例２の撮像装置の構成を示すブロック図。 実施例２における撮像素子のフィルタの配置図。 実施例３における表示画像の例を示す図。 実施例４における出力画像の例を示す図。 実施例５における表示画像の例を示す図。

以下、本発明の実施例について図面を参照しながら説明する。本発明の実施例である撮像装置には、後述するデジタルカメラだけでなく、各種電子機器に設けられる撮像装置も含まれる。各種電子機器には、コンピュータ機器（パーソナルコンピュータ、タブレットコンピュータ、メディアプレーヤ、ＰＤＡ等、携帯電話機、スマートフォン、ロボット、ドローン、車載カメラおよび監視カメラ等が含まれる。

図１は、実施例１であるデジタルカメラ（以下、単にカメラという）の構成を示している。カメラは、可視光撮像素子１００、非可視光撮像素子１０１、第１画像処理部１０６、第２画像処理部１０２、制御バス１０４、データバス１０５、メモリ制御部１１３、メモリ１１４、不揮発性メモリ制御部１１５および不揮発性メモリ１１６を有する。さらにカメラは、メイン制御部１１７、カメラ状態取得部１１８および距離情報取得部１１９を有する。さらにカメラは、表示制御部１２０、表示部１２１、非可視光光源１２２、通信部１２３および不図示の圧縮伸張部や外部記録部を有する。

可視光撮像素子（可視光用の第１撮像手段）１００は、ＣＣＤセンサやＣＭＯＳセンサ等の光電変換素子であり、赤（Ｒ）、緑（Ｇ）および青（Ｂ）のカラーフィルタを通して受光した可視光（被写体像）を電気信号に変換して補正前可視光画像データを生成する。Ｒ、ＧおよびＢのカラーフィルタは、可視光撮像素子１００の撮像面上の複数の画素に対して所定パターンで配置され、各色の波長帯域に光透過率のピークを有し、他の波長帯域の光の透過を遮断する。

非可視光撮像素子（非可視光用の第２撮像手段）１０１は、ＣＣＤセンサやＣＭＯＳセンサ等の光電変換素子であり、近赤外フィルタを通して受光した非可視光被写体像を電気信号に変換して補正前非可視光画像データを生成する。近赤外フィルタは、非可視光撮像素子１０１の撮像面上の複数の画素のそれぞれに配置され、近赤外波長帯域に光透過率のピークを有し、他の波長帯域の光の透過を遮断する。なお、非可視光撮像素子１０１は、近赤外波長帯域以外の波長帯域の非可視光を撮像するものであってもよい。可視光撮像素子１００と非可視光撮像素子１０１により撮像手段が構成される。

第２画像処理部１０２は、非可視光画像補正部１０３と不図示のＤＭＡＣ（Direct Memory Accessコントローラ）から構成される。非可視光画像補正部１０３は、非可視光撮像素子１０１で生成された補正前非可視光画像データに対して画素補正、黒レベル補正、シェーディング補正および傷補正等の画像処理を行い、非可視光画像データを生成する。第２画像処理部１０２のＤＭＡＣは、データバス１０５に接続され、非可視光画像データをメモリ制御部１１３を介してメモリ１１４へ書き出したり、メモリ１１４上の補正前非可視光画像データを読み出してメモリ制御部１１３を介して非可視光画像補正部１０３へ出力したりする。

第１画像処理部１０６は、可視光画像補正部１０７、現像部１０８、合成部１０９、認識部１１０、画像積分部１１１、ベクトル検出部１１２および不図示のＤＭＡＣから構成される。ＤＭＡＣは、データバス１０５と接続され、可視光画像補正部１０７、現像部１０８、合成部１０９、認識部１１０、画像積分部１１１およびベクトル検出部１１２で処理したデータを、メモリ制御部１１３を介してメモリ１１４へ書き出す。また、ＤＭＡＣは、メモリ１１４上にあるデータを読み出して、メモリ制御部１１３を介して可視光画像補正部１０７、現像部１０８、合成部１０９、認識部１１０、画像積分部１１１およびベクトル検出部１１２へ出力する。第１画像処理部１０６と第２画像処理部１０２により処理手段が構成される。

可視光画像補正部１０７は、可視光撮像素子１００で生成された補正前可視光画像データに対して画素補正、黒レベル補正、シェーディング補正および傷補正等の画像処理を行い、可視光画像データを生成する。

現像部１０８は、可視光画像データやメモリ１１４に保存された可視光画像データに対して、ホワイトバランス調整（ＡＷＢ）、倍率色収差補正、ガンマ補正、輝度・色生成処理、幾何変形およびノイズ低減等の画像処理を行う。また、現像部１０８は、後述する図３のステップＳ３０３でメモリ１１４に保存された非可視光画像データに対してガンマ補正、輝度・色生成処理、幾何変形およびノイズ低減等の画像処理を行う。

合成部１０９は、図３のステップＳ３０３で可視光画像データと非可視光画像データの合成を行い、合成に際してノイズ低減、コントラスト改善および振れ補正の画像処理を行う。なお、本実施例では、ノイズ低減とコントラスト改善において可視光撮像素子１００と非可視光撮像素子１０１は同時に駆動されて同時刻の補正前可視光画像データと補正前非可視光画像データを取得する。ただし、可視光撮像素子１００と非可視光撮像素子１０１が互いに異なる時刻で補正前可視光画像データと補正前非可視光画像データを取得し、これらの画像データを取得時刻のずれを画像位置合わせを行って使用してもよい。このようにすることで、合成部１０９が行う画像処理を動画像データにも行うことが可能となる。また、振れ補正については、可視光撮像素子１００と非可視光撮像素子１０１のシャッタスピードが互いに異なるという前提で説明する。

ノイズ低減では、例えば、複合ＢＦ(Dual Bilateral Filter）を用いて、非可視光画像データを援用して可視光画像データのノイズを除去する。複合ＢＦは、非可視光画像データと可視光画像データのエッジ情報を全て使用するので、可視光画像データで不鮮明であるようなエッジが補間され、エッジ保存性とノイズ除去能力が向上する。

コントラスト改善では、例えば、可視光画像データと非可視光画像データの画素値におけるヒストグラムを取得する。まず、可視光画像データのヒストグラム（横軸が画素値、縦軸が頻度）が非可視光画像データのヒストグラムよりも狭い範囲に分布している場合、つまり以下の式（１）における割合ｍが１未満の場合は、コントラストが低いと判断ししてコントラスト改善を行う。

ｍ＝可視光画像データのヒストグラム範囲（横軸）
／非可視光画像のヒストグラム範囲（横軸） （１）
次にコントラスト改善では、可視光画像データから輝度信号を抽出してさらに、輝度信号をウェーブレット変換し、低周波成分と高周波成分に分離する。そして、低周波成分に対して空間方向の勾配の大きさのヒストグラムを非可視光画像データの勾配の大きさのヒストグラムに揃えた低周波成分と元（可視光画像データ）の低周波成分の輝度値を、式（２）により算出する。

（ヒストグラムを揃えた低周波成分×ｍ＋元の低周波成分×（１－ｍ））／２ （２）
またコントラスト改善では、高周波成分の輝度値を式（３）により算出する。

（非可視光画像データの高周波成分×ｍ＋元の高周波成分×（１－ｍ））／２ （３）
そしてコントラスト改善では、低周波成分の輝度値と高周波成分の輝度値を逆ウェーブレット変換することでコントラストを改善した画像データを生成する。

振れ補正では、例えば、可視光撮像素子１００による撮像のシャッタスピードが遅くて手振れ等によるカメラ振れに起因した像振れが生じるおそれがある場合に、非可視光撮像素子１０１による撮像のシャッタスピードを速くし、かつ複数フレームの非可視光画像データを取得する。そして、複数フレームの非可視光画像データからブラー・カーネルを推定し、推定したブラー・カーネルを用いて可視光画像データに対してデコンボリューションを実行することで像振れを補正する。

なお、合成部１０９で行うノイズ低減、コントラスト改善および振れ補正として、上述した方法以外の方法を用いたものを採用してもよい。

認識部１１０は、１フレームの入力画像データから、深層学習（ＤＬ）を用いて、予め定められた候補被写体の領域（候補領域）を１つ以上検出する被写体認識を行う。認識部１１０は、候補領域ごとに、フレーム内の位置および大きさ、候補被写体の種別（自動車、飛行機、鳥、昆虫、人体、頭部、瞳、猫、犬等）を示すオブジェクトクラスとその信頼度を入力画像データに関連付ける。また、オブジェクトクラスごとに検出した領域数を計数する。さらに、入力画像データの撮像シーン（空、夜景、風景、スポーツ、ポートレート、料理、レース等）を認識し、その信頼度を入力画像データに関連付ける。

このような認識部１１０は、人物や動物の顔領域のような特徴領域を検出するための公知技術を用いて候補領域を検出することができる。例えば、学習データを用いて学習済みのクラス識別器として認識部１１０を構成してもよい。識別（分類）のアルゴリズムに特に制限はない。多クラス化したロジスティック回帰、サポートベクターマシン、ランダムフォレストまたはニューラルネットワーク等を実装した識別器を学習させることで、認識部１１０を実現できる。

また、非可視光画像データで被写体認識を行う際に、認識部１１０の学習モデルが可視光画像用学習モデルであると認識率が下がるおそれがあるため、非可視光画像用学習モデルへの変更を行ってもよい。学習モデルとは、入力に対して、その入力の内容に何らかの評価をして、それを出力値として出すものであり、ある目的のためにデータセットを用いて学習し、その学習の結果得られるモデルである。

なお、認識部１１０は、ＤＬを用いないものであってもよい。例えば、画像全体の明るさが暗く、かつ輝度が高い所が複数個所存在する場合にその撮像シーンを夜景と判断するようにしてもよい。

また認識部１１０は、ＤＬを用いた被写体追尾（ＤＬ追尾）あるいはＤＬを用いない被写体追尾（非ＤＬ追尾）を行う。ＤＬ追尾は、畳み込み層を含む学習済みの多層ニューラルネットワークを用いて、追尾対象の被写体領域の位置および大きさを推定する。より具体的には、対象となり得るオブジェクトクラスごとの被写体領域についての特徴点と、特徴点が含む特徴量とを抽出する機能と、抽出した特徴点をフレーム間で対応付ける機能とを有する。このようなＤＬ追尾は、過去フレームの追尾対象の被写体領域についての特徴点に対応付けられる現フレームの特徴点から、現フレームにおける追尾対象の被写体領域の位置と大きさを推定する。そして現フレームについて推定した追尾対象の被写体領域について位置、大きさおよび信頼度スコアを出力する。

信頼度スコアは、フレーム間における特徴点の対応付けの信頼度、すなわち追尾対象の被写体領域の推定結果の信頼度を示す。信頼度スコアが、フレーム間の特徴点の対応付けの信頼度が低いことを示す場合、現フレームにおいて推定された被写体領域が過去フレームにおける追尾対象の被写体領域とは異なる被写体に関する領域である可能性があることを示す。

一方、非ＤＬ追尾は、深層学習を用いない手法によって、現フレームにおける追尾対象の被写体領域を推定する。ここでの非ＤＬ追尾は、過去フレームにおける追尾対象の被写体領域をテンプレートとしたパターンマッチングで推定するが、他の方法を用いてもよい。

画像積分部１１１は、入力画像データを複数の矩形領域に分割して領域ごとに画素値を積分し、積分結果を出力する。積分結果は、例えば自動露出（ＡＥ）や現像部１０８のホワイトバランス調整等に使われる。

ベクトル検出部１１２は、入力画像データにおける前フレームと現フレームからブロックマッチング法等により被写体の動きベクトルを検出する。ただし、動きベクトルの験出に別の方法を用いてもよい。

なお、認識部１１０、画像積分部１１１およびベクトル検出部１１２へは、入力画像データとして、可視光画像データと非可視光画像データのいずれか又は両方が入力される。認識部１１０、画像積分部１１１およびベクトル検出部１１２は、認識部１１０により認識される撮像シーンに応じて入力画像データを可視光画像データと非可視光画像データから選択するようにしてもよい。

制御バス１０４は、メイン制御部１１７から第１画像処理部１０６、第２画像処理部１０２、可視光撮像素子１００、非可視光撮像素子１０１、表示制御部１２０、メモリ制御部１１３、不揮発性メモリ制御部１１５へアクセスする際に使用される。また、カメラ状態取得部１１８、距離情報取得部１１９、非可視光光源１２２および通信部１２３へアクセスする際にも用いられる。

データバス１０５は、メモリ１１４または不揮発性メモリ１１６と、メイン制御部１１７、第１画像処理部１０６、第２画像処理部１０２、表示制御部１２０、カメラ状態取得部１１８、距離情報取得部１１９および通信部１２３とのデータを転送するために用いられる。

メモリ制御部１１３は、メイン制御部１１７、第１画像処理部１０６、第２画像処理部１０２、表示制御部１２０、カメラ状態取得部１１８、距離情報取得部１１９および通信部１２３からの指示に応じて、メモリ１１４へのデータ書き込みやメモリ１１４からのデータ読み出しを行う。メモリ１１４は、ＤＲＡＭ等により構成され、所定数の静止画像データや、所定時間の動画像データおよび音声データ等や、メイン制御部１１７の動作用の定数、プログラム等を格納する。

不揮発性メモリ制御部１１５は、メイン制御部１１７からの指示に応じて、不揮発性メモリ１１６に対するデータ書き込みやデータ読み出しを行う。不揮発性メモリ１１６は、電気的に消去・記録可能なメモリであり、例えばＥＥＰＲＯＭ等が用いられる。不揮発性メモリ１１６は、メイン制御部１１７の動作用の定数、プログラム等を格納する。

制御手段としてのメイン制御部１１７は、マイクロコンピュータにより構成され、カメラの全体の制御を司る。すなわち、カメラ内の各機能ブロックに対して様々な指示を行い、各種処理を実行する。メイン制御部１１７は、制御バス１０４を介して接続された第１画像処理部１０６、第２画像処理部１０２、可視光撮像素子１００、非可視光撮像素子１０１、表示制御部１２０、メモリ制御部１１３および不揮発性メモリ制御部１１５を制御する。さらにカメラ状態取得部１１８、距離情報取得部１１９、非可視光光源１２２および通信部１２３を制御する。メイン制御部１１７は、不揮発性メモリ１１６に記録されたプログラムに従って各処理を実行する。

さらにメイン制御部１１７は、後述するように認識部１１０、画像積分部１１１、ベクトル検出部１１２、カメラ状態取得部１１８および距離情報取得部１１９からの出力に基づいて、カメラが撮像しようとしている撮像シーンを判定する。認識部１１０、画像積分部１１１、ベクトル検出部１１２、カメラ状態取得部１１８、距離情報取得部１１９およびメイン制御部１１７により判定手段が構成される。

カメラ状態取得部１１８は、カメラの状態や動作設定を取得する。カメラの状態とは、不図示のジャイロセンサにより取得されるカメラの姿勢や振れ等である。カメラの動作設定は、表示部１２１にメニュー画面を表示することでユーザにより行われる設定であり、シャッタスピード、ＡＥのＯＮ／ＯＦＦ、ＡＷＢ／マニュアルＷＢ等の設定である。

距離情報取得部１１９は、カメラから被写体までの距離である被写体距離の情報を取得する。被写体距離は、例えば、Time of Flight（ＴｏＦ）、すなわちカメラから近赤外光を被写体に照射して被写体からの反射光がカメラに戻るまでの時間を計測し、該時間に光速を乗ずることで算出できる。なお、被写体距離の取得に他の方法を用いてもよい。

表示制御部１２０は、表示部（モニタ）１２１への画像データやＵＩ（ユーザインターフェース）の表示を制御する。表示部１２１は、液晶パネルや有機ＥＬパネル等で構成され、画像データやＵＩ等を表示する。表示制御部１２０と表示部１２１により表示手段が構成される。

非可視光光源１２２は、非可視光ＬＥＤ等で構成され、メイン制御部１１７から発光量、発光タイミング、発光時間および照射位置等の制御を受けて非可視光を被写体に照射する。照射位置は、例えば撮像データ中に人物が認識されてその人物に光を照射するときの該人物の位置である。

通信部１２３は、第１画像処理部１０６および第２画像処理部１０２で処理された画像データ、現像部１０８で未処理の可視光ＲＡＷデータや非可視光ＲＡＷデータおよびＪＰＥＧ形式やＭＰＥＧ形式等に圧縮された圧縮画像データ等をカメラの外部へ送信する。可視光／非可視光ＲＡＷデータは、可視光／非可視光画像補正部１０７、１０３で未処理または処理済みの画像データである。通信部１２３は、外部機器との間で画像データ等の通信によるやり取りを行う。なお、通信部１２３は、有線通信と無線通信のどちらか又は両方で外部機器と通信を行う。

その他、図示はしないが、カメラは、各画像データをＪＰＥＧ形式やＭＰＥＧ形式等に圧縮したり圧縮データを伸張したりする圧縮伸張部や、画像データを外部記録メディアに記録する外部記録部等を有する。

図２のフローチャートは、カメラの電源ＯＮ後にメイン制御部１１７がプログラムに従って実行する撮像処理を示している。メイン制御部１１７は、電源ＯＮ後に所定の初期化処理を行った後、撮像処理に入る。

ステップＳ２０１では、メイン制御部１１７は、メモリ１１４に保持された、カメラにおいて設定されている撮像モードを取得する。撮像モードには、ＵＩモード、静止画記録モード（単写／連写モード）および動画記録モード等がある。

ステップＳ２０２では、メイン制御部１１７は、ステップＳ２０１で取得した撮像モードがＵＩモードか否かを判定し、ＵＩモードであればステップＳ２０３に、ＵＩモードでなければステップＳ２０４にそれぞれ進む。

ステップＳ２０３では、メイン制御部１１７は、表示部１２１にＵＩを表示し、該ＵＩを通じてユーザにより行われた設定の情報をメモリ１１４に書き込む。そして、ＵＩモードを抜けてステップＳ２１１へ進む。なお、ここにいう設定には、例えば、カメラの動作や後述する静止画処理（ステップＳ２０６）、静止画ＬＶ処理（ステップＳ２０７）、動画記録処理（ステップＳ２０９）および動画ＬＶ処理（ステップＳ２１０）での設定である。具体的には、カメラの省電力モードのＯＮ／ＯＦＦやホワイトバランスの自動／手動、静止画処理における連写モードや連写回数数、動画記録処理における記録画素数やフレームレート等が含まれる。また、非可視光画像データを得るために非可視光光源１２２や非可視光撮像素子１０１を使用すると、これらを使用しない場合に比べて消費電力が増える。このため、省電力モードでは常に非可視光画像データの不使用が設定されるようにしてもよいし、省電力非可視光画像データの使用／不使用の設定をユーザがＵＩを通じて行ってもよい。

また、合成部１０９におけるノイズ低減度合いや振れ補正度合いとして弱、中、強の設定が可能である場合において、ＵＩを通じた強設定時には非可視光画像データの使用が設定されるようにしてもよい。また、表示部１２１へライブビュー（ＬＶ）画像を表示するＬＶ処理において、ＵＩを通じて非可視光画像データの使用／不使用を設定できるようにしてもよい。さらに後述する図３のステップＳ３０２で非可視光画像データを使用すると判断された場合に、ＵＩを通じて非可視光画像データとして非可視光ＲＡＷデータをメモリ１１４に保存するか否かを設定できるようにしてもよい。このような設定を可能とすることで、合成部１０９でノイズ低減、コントラスト改善および振れ補正を受けない非可視光ＲＡＷデータを後にユーザが利用しない場合は、非可視光ＲＡＷデータの保存に要する電力やメモリ１１４の容量を削減することができる。

ステップＳ２０４では、メイン制御部１１７は、ステップＳ２０１で取得した撮像モードが静止画記録モードか否かを判定し、静止画記録モードであればステップＳ２０５へ進み、そうでなければステップＳ２０８へ進む。

ステップＳ２０５では、メイン制御部１１７は、ユーザにより不図示のシャッタボタンが操作されて静止画撮像が指示されたか否かを判定し、指示された場合はステップＳ２０６へ進み、そうでなければステップＳ２０７へ進む。

ステップＳ２０６では、メイン制御部１１７は、静止画記録処理を行う。静止画記録処理では、第１画像処理部１０６（現像部１０８または合成部１０９）で出力画像データとしての静止画データを生成し、該静止画データをＪＰＥＧ形式等で圧縮して外部記録メディアに記録する。静止画記録処理が終了するとステップＳ２１１へ進む。

ステップＳ２０７では、メイン制御部１１７は、静止画ＬＶ処理を行う。静止画ＬＶ処理では、第１画像処理部１０６で出力画像データとしてのＬＶ画像データを生成し、該ＬＶ画像データをステップＳ２０３のＵＩ処理で設定されたフレームレートで表示部１２１に表示する。また、静止画ＬＶ処理においては、可視光撮像素子１００と非可視光撮像素子１０１の駆動タイミングや可視光画像補正部１０７と非可視光画像補正部１０３が制御される。静止画ＬＶ処理が終了するとステップＳ２１１へ進む。

ステップＳ２０８では、メイン制御部１１７は、ステップＳ２０１で取得した撮像モードが動画記録モードか否かを判定し、動画記録モードであればステップＳ２０９へ進み、そうでなければステップＳ２１０へ進む。

ステップＳ２０９では、メイン制御部１１７は、動画記録処理を行う。動画記録処理では、第１画像処理部１０６でフレームごとに画像データを生成することで出力画像データとしての動画データを生成する。そして、該動画データをＭＰＥＧ形式等で圧縮して外部記録メディアに記録する。動画記録処理が終了するとステップＳ２１１へ進む。

ステップＳ２１０では、メイン制御部１１７は、動画ＬＶ処理を行う。動画ＬＶ処理では、静止画ＬＶ処理と同様に、第１画像処理部１０６で出力画像データとしてのＬＶ画像データを生成し、該ＬＶ画像データをステップＳ２０３のＵＩ処理で設定されたフレームレートで表示部１２１に表示する。また、動画ＬＶ処理においても、可視光撮像素子１００と非可視光撮像素子１０１の駆動タイミングや可視光画像補正部１０７と非可視光画像補正部１０３が制御される。動画ＬＶ処理が終了するとステップＳ２１１へ進む。

ステップＳ２１１では、メイン制御部１１７は、不図示の電源スイッチがユーザにより操作されてカメラの電源がＯＦＦされたか否かを判定し、電源がＯＦＦされたらステップＳ２１２へ進み、そうでなければステップＳ２０１へ戻る。

ステップＳ２１２では、メイン制御部１１７は、カメラの動作の終了処理を行う。この終了処理では、ステップＳ２０３のＵＩ処理でメモリ１１４に書き込まれた設定情報で不揮発性メモリ１１６を更新する。

図３のフローチャートは、メイン制御部１１７が図２中の静止画記録処理（ステップＳ２０６）、静止画ＬＶ処理（ステップＳ２０７）、動画記録処理（ステップＳ２０９）および動画ＬＶ処理（ステップＳ２１０）で実行する非可視光画像データの使用／不使用の設定処理を示している。非可視光画像データの使用／不使用は、言い換えれば非可視光撮像素子１０１による撮像および第２画像処理部１０２での処理の実行／不実行である。

ステップＳ３０１では、メイン制御部１１７は、非可視光画像使用判定情報を取得する。具体的には、メイン制御部１１７は、認識部１１０での撮像シーンの認識結果が夜景である場合またはステップＳ２０３のＵＩ処理で撮像シーンが風景や夜景として設定された場合に、非可視光画像データを使用するように非可視光画像使用判定情報を設定（更新）する。それ以外の場合は、非可視光画像データを使用しないように非可視光画像使用判定情報を設定する。

また、メイン制御部１１７は、画像積分部１１１での積分結果に基づいて、撮像シーンにおける光源の種類を判定する。光源の種類の判定には、黒体放射曲線を利用することができる。このとき、草芝緑の色温度に水銀灯の色温度が近いために光源の種類の判定が困難な場合、つまりは光源の種類が苦手光源である撮像シーンと判定した場合は、非可視光画像データを使用するように非可視光画像使用判定情報を設定する。それ以外の場合は、非可視光画像データを使用しないように非可視光画像使用判定情報を設定する。

また、メイン制御部１１７は、画像積分部１１１での領域ごとの積分結果から算出した輝度情報に基づいて、ＡＥ制御によってＩＳＯ感度を上げる撮像シーンと判定した場合は、非可視光画像データを使用するように非可視光画像使用判定情報を設定する。それ以外の場合は、非可視光画像データを使用しないように非可視光画像使用判定情報を設定する。

さらに、メイン制御部１１７は、カメラ状態取得部１１８のジャイロセンサによる検出結果からカメラ振れが発生していると判定し、かつ暗い撮像シーンであると判定した場合は、非可視光画像データを使用するように非可視光画像使用判定情報を設定する。それ以外の場合は、非可視光画像データを使用しないように非可視光画像使用判定情報を設定する。暗い撮像シーンと判定される場合は、認識部１１０による撮像シーンの認識結果が夜景である場合、ＵＩ処理で撮像シーンが「夜景」に設定された場合または画像積分部１１１での積分結果から算出した輝度情報に基づいてＡＥ制御でＩＳＯ感度を上げる撮像シーンと判定した場合である。

なお、非可視光画像使用判定情報は、非可視光画像データの使用／不使用以外に、認識部１１０の認識結果、ＵＩ処理での撮像シーン設定、光源判定結果、輝度情報、ＡＥ制御（ＩＳＯ感度）情報、カメラ状態（振れ等）や動きベクトルの検出結果および被写体距離情報も含まれる。

ステップＳ３０２では、メイン制御部１１７は、ステップＳ３０１で得た非可視光画像使用判定情報から非可視光画像データを使用するか否かを判定し、使用する場合はステップＳ３０３へ進み、使用しない場合はステップＳ３０４へ進む。

ステップＳ３０３では、メイン制御部１１７は、非可視光撮像素子１０１の駆動をＯＮにして非可視光画像データを取得できる状態とし、カメラを非可視光画像データを処理できる状態に遷移させる。このときメイン制御部１１７は、非可視光画像使用判定情報に応じて非可視光光源１２２からの被写体への非可視光の照射／非照射を制御する。そして本処理を終了する。

ステップＳ３０４は、メイン制御部１１７は、非可視光撮像素子１０１の駆動をＯＦＦにして非可視光画像データを取得できない状態とし、カメラを非可視光画像データを処理しない状態に遷移させる。そして本処理を終了する。

図４は、条件（判定方法）ごとの非可視光画像データの使用（○）と不使用（無マーク）および使用する場合の用途をまとめて示している。使用用途において、コントラスト改善、ノイズ低減および振れ補正は、合成部１０９が非可視光画像データを使用して行う処理である。ＷＢ判定は、光源判定に非可視光画像データを用いることを意味している。認識部入力画像（可視／非可視）の切り替えは、認識部１１０への入力画像データの可視光データと非可視光データ間での切り替えを意味している。

判定方法が「風景」、使用用途が「コントラスト改善」である場合は、霞や霧等の影響でコントラストが低下しているおそれがあるため、メイン制御部１１７は合成部１０９にコントラスト改善の処理を行わせる。

判定方法が「夜景」、使用用途が「ノイズ低減」である場合は、夜景にて可視光画像データのノイズ量が増えるため、メイン制御部１１７は合成部１０９にノイズ低減の処理を行わせる。

判定方法が「苦手光源」、使用用途が「ＷＢ判定」である場合は、メイン制御部１１７は、光源判定を間違えて、可視光画像データの色味が不自然にならないように、非可視光画像データを用いて現像部１０８でのＡＷＢ用の係数を決める。具体的には、被写体の可視光と非可視光に対する反射率の違いにより、可視光画像データが草芝等の緑植物の画像データか水銀灯下の画像データかを判断して光源を判定する。そして、特定した光源に応じてＡＷＢ用の係数を決める。

判定方法が「ＩＳＯ感度上げる」、使用用途が「ノイズ低減」である場合は、ＩＳＯ感度を上げると可視光画データのノイズが増える。このため、メイン制御部１１７は、合成部１０９にノイズ低減の処理を行わせる。なお、判定条件の「ＩＳＯ感度上げる」に代えて、「ＩＳＯ感度が上限値に達した」を用いてもよい。

判定方法が「暗いかつ手振れあり」、使用用途が「振れ補正」である場合は、被写体が暗い状態での手振れにより可視光画像データに像振れが生じるおそれがある。このため、メイン制御部１１７は、合成部１０９に振れ補正の処理を行わせる。被写体が暗い場合は、可視光画像データのノイズによりブラー・カーネルに影響を与えるおそれがあるため、非可視光画像データでブラー・カーネルを推定することで、振れ補正精度を高めることができる。

判定方法が「風景」、使用用途が「認識部入力画像（可視／非可視）切り替え」である場合は、霞や霧等の影響により認識率の低下を避ける必要がある。また、判定方法が「夜景」または「ＩＳＯ感度上げる」、使用用途が「認識部入力画像（可視／非可視）切り替え」である場合は、可視光画像データのノイズが増えて認識率が低下するのを避ける必要がある。このため、これらの場合は、メイン制御部１１７は、認識部１１０の入力画像データを非可視光画像データに切り替える。また、認識部１１０に可視光画像データと非可視光画像データを入力して結果を得てもよい。非可視光画像データを使用する際には、認識部１１０の学習モデルを非可視光画像用学習モデルに切り替えてもよい。

図５は、表示部１２１に表示されるＬＶ画像の例を示している。Ｉｒマーク５００は、ステップＳ２０３のＵＩ処理で非可視光画像データの使用が設定されたときに点灯表示され、ユーザに非可視光画像データの使用を示す。非可視光画像データの不使用が設定されているときにＩｒマーク５００を点滅表示することで、非可視光画像データの使用をユーザに促すようにしてもよい。Ｉｒ光源マーク５０１は、非可視光光源１２２の点灯中を表すマークである。ユーザがカメラを省電力状態で動作させたいにもかかわらず、消費電力が増加する非可視光画像データおよび非可視光光源１２２の使用が設定されていることをマーク５００、５０１を表示してユーザに通知することで、ユーザにこれらの使用設定をＯＦＦさせることができる。

また、ユーザが意図せずに又は使用設定を忘れて非可視光画像データが使用されていない場合に、Ｉｒマーク５００を点滅表示してユーザに非可視光画像データの使用を促すことで、より良い出力画像データを取得することが可能となる。

以上説明したように、本実施例では、撮像シーンに基づく非可視光画像データの使用／不使用の判定を行って非可視光撮像素子１０１の駆動、第２画像処理部１０２での画像処理および非可視光光源１２２の点灯のＯＮ／ＯＦＦを制御する。これにより、カメラの消費電力を抑制しつつ非可視光画像データ、さらには良好な出力画像データを得ることができる。

次に、実施例２について説明する。図６は、実施例２のカメラの構成を示している。なお、図６に示す構成要素のうち実施例１（図１）に示した構成要素と同一のものには実施例１と同符号を付して説明を省略する。

本実施例のカメラは、実施例１の可視光撮像素子１００および非可視光撮像素子１０１の代わりに撮像素子６００を有するとともに、非可視光画素分離部（分離手段）６０１を有する。

撮像素子６００は、ＣＣＤやＣＭＯＳセンサ等の撮像素子であり、Ｒ、ＧおよびＢのカラーフィルタと近赤外フィルタを通して受光した被写体像を電気信号に変換して補正前画像データを生成する。

図７は、撮像素子６００におけるＲ、ＧおよびＢのカラーフィルタと近赤外フィルタの配置例を示している。７００はＲのカラーフィルタ、７０１はＧのカラーフィルタ、７０３はＢのカラーフィルタである。７０２は近赤外フィルタである。これらカラーフィルタ７００、７０１，７０３と近赤外フィルタ７０２は、撮像素子６００の撮像面上の複数の画素に対して図７に示したパターンで配置される。カラーフィルタ７００、７０１。７０３は、各色の波長帯域に光透過率のピークを有し、他の波長帯域の光の透過を遮断する。また、近赤外フィルタ７０２は、近赤外波長帯域に光透過率のピークを有し、他の波長帯域の光の透過を遮断する。なお、撮像素子６００は、近赤外波長帯域以外の波長帯域の非可視光を撮像するものであってもよい。

非可視光画素分離部６０１は、撮像素子６００で生成された補正前画像データにおける近赤外フィルタ７０２に対応する画素（以下、赤外画素という）をＧのカラーフィルタ７０１に対応する画素で置き換えた補正前可視光画像データを生成する。そして補正前可視光画像データを可視光画像補正部１０７へ出力する。また、非可視光画素分離部６０１は、補正前画像データにおける赤外画素のみからなる補正前非可視光画像データを生成し、これを非可視光画像補正部１０３へ出力する。この際、非可視光画素分離部６０１は、補正前非可視光画像データの画素数を補正前可視光画像データと揃えるために、カラーフィルタ７００、７０１，７０３に対応する画素を全て赤外画素で置き換えて補正前非可視光画像データを生成する。

なお、非可視光画素分離部６０１での画像データの分離方法は、可視光画像データと非可視光画像データが分離できればよく、上述した方法以外の方法を用いてもよい。補正前可視光画像データと補正前可視光画像データへの分離後の処理は、実施例１と同じである。

本実施例でも、撮像シーンに基づく非可視光画像データの使用／不使用の判定を行って非可視光撮像素子１０１の駆動、第２画像処理部１０２での画像処理および非可視光光源１２２の点灯ＯＮ／ＯＦＦ（発光／非発光）を制御する。これにより、カメラの消費電力を抑制しつつ非可視光画像データ、さらには良好な出力画像データを得ることができる。

次に、実施例３について説明する。本実施例のカメラの構成は、実施例１または実施例２のカメラと同じである。

図８は、本実施例のカメラの表示部１２１に表示される画像８００の例を示している。画像８００は、ＬＶ画像でも静止画でも動画でもよい。画像８００は、夜景と人物８０１を撮像して得られた画像を示す。この場合、メイン制御部１１７は、認識部１１０による人物８０１と夜景の認識結果および画像積分部１１１からの領域ごとの輝度情報に基づいて撮像シーンを判定し、その判定結果に応じて非可視光画像使用判定情報を設定（更新）する。

非可視光画像使用判定情報が非可視光画像データの使用を示す場合、メイン制御部１１７は、図３に示しステップ３０３において、非可視光撮像素子１０１または撮像素子６００の赤外画素の駆動をＯＮにして非可視光画像データを取得できる状態とする。さらに、カメラを非可視光画像データを処理できる状態に遷移させる。このときメイン制御部１１７は、非可視光画像使用判定情報に含まれる認識結果である人物８０１と該人物８０１が含まれる領域の輝度情報に基づいて、非可視光光源１２２からの非可視光の発光量と照射位置を制御する。

本実施例によれば、非可視光画像使用判定情報に基づいて非可視光光源１２２の発光量と照射位置を制御することで、余分な非可視光の照射が行われなくなる。このため、カメラの消費電力を削減することができる。

次に、実施例４について説明する。本実施例のカメラの構成は、実施例１または実施例２のカメラと同じである。

図９は、本実施例のカメラにおいて通信部１２３へ出力される画像９００の例を示す。画像９００は、ＬＶ画像でも静止画でも動画でもよい。画像９００は、道路９０１と車両９０２を撮像して得られた画像を示し、車両９０２自体または車両９０２のナンバープレートの番号を記録するためのものである。この場合、メイン制御部１１７は、認識部１１０による車両９０２の認識結果、画像積分部１１１からの領域ごとの輝度情報、ベクトル検出部１１２からの動きベクトルの情報および認識部１１０による被写体の追尾結果に基づいて撮像シーンを判定する。そして、その判定結果に応じて非可視光画像使用判定情報示を設定（更新）する。

非可視光画像使用判定情報が非可視光画像データの使用を示す場合、メイン制御部１１７は、図３のステップ３０３において、非可視光撮像素子１０１または撮像素子６００の赤外画素の駆動をＯＮにして非可視光画像データを取得できる状態とする。さらに、カメラを非可視光画像データを処理できる状態に遷移させる。この際、メイン制御部１１７は、非可視光画像使用判定情報に含まれる車両９０２の認識結果、該車両９０２が含まれる領域の輝度情報、動きベクトルの情報および被写体追尾結果に基づいて、動体である車両９０２の次フレームでの位置を予想する。さらにメイン制御部１１７は、車両９０２の次フレームでの位置の予想結果に基づいて、非可視光光源１２２からの非可視光の発光量と照射位置を制御する。

本実施例でも、非可視光画像使用判定情報に基づいて非可視光光源１２２の発光量と照射位置を制御することで、余分な非可視光の照射が行われなくなる。このため、カメラの消費電力を削減することができる。

次に、実施例５について説明する。本実施例のカメラの構成は、実施例１または実施例２のカメラと同じである。

図１０は、本実施例のカメラにおいて表示部１２１に表示される画像１０００の例を示している。画像１０００は、ＬＶ画像でも静止画で動画でもよい。画像１０００は、人物１００１、道路１００２および横断歩道１００３を撮像して得られた画像である。この画像１０００は、車載カメラ（ドライブレコーダ）により取得され、人物１００１や不図示の車両を記録したり、自動運転用に横断歩道１００３を渡る人物１００１を検出したりするために用いられる。メイン制御部１１７は、認識部１１０による人物１００１や横断歩道１００３の認識結果、画像積分部１１１からの領域ごとの輝度情報および距離情報取得部１１９にからの被写体距離情報に基づいて撮像シーンを判定する。そして、その判定結果に応じて非可視光画像使用判定情報を設定（更新）する。

非可視光画像使用判定情報が非可視光画像データの使用を示す場合、メイン制御部１１７は、図３に示したステップ３０３において、非可視光撮像素子１０１または撮像素子６００の赤外画素の駆動をＯＮにして非可視光画像データを取得できる状態とする。さらに、カメラを非可視光画像データを処理できる状態に遷移させる。この際、メイン制御部１１７は、非可視光画像使用判定情報に含まれる人物１００１と横断歩道１００３の認識結果、これらが含まれる領域の輝度情報および被写体距離情報に基づいて、非可視光光源１２２からの非可視光の発光量と照射位置を制御する。

具体的には、人物１００１が含まれる領域の輝度情報が所定輝度より低く（すなわち人物１００１が暗く）、人物１００１までの距離が所定距離より遠い場合は、非可視光光源１２２の発光量を増加させる。一方、距離が所定距離より近ければ非可視光光源１２２の発光量を減少させる。また、非可視光画像使用判定情報に含まれる認識結果において人物１００１が認識できない場合、つまりは被写体距離情報のみで遠距離を撮像していると判定した場合は、非可視光光源１２２の発光量を増加させる。

本実施例でも、非可視光画像使用判定情報に基づいて非可視光光源１２２の発光量と照射位置を制御することで、余分な非可視光の照射が行われなくなる。このため、カメラの消費電力を削減することができる。

上記実施例の開示は、以下の構成を含む。

（構成１）撮像により可視光画像データおよび非可視光画像データを生成する撮像手段と、前記可視光画像データおよび前記非可視光画像データのうち少なくとも一方を用いた画像処理を行う処理手段と、撮像シーンを判定する判定手段と、前記撮像シーンの判定結果に応じて、前記撮像手段による前記非可視光画像データの生成および前記処理手段における前記非可視光画像データを用いた画像処理を実行するか否かを制御する制御手段とを有することを特徴とする撮像装置。

（構成２）前記撮像手段は、可視光用の第１撮像手段と、非可視光用の第２撮像手段とを有することを特徴とする構成１に記載の撮像装置。

（構成３）前記撮像手段により生成された画像データから前記可視光画像データと前記非可視光画像データを分離する分離手段を有することを特徴とする構成１または２に記載の撮像装置。

（構成４）前記判定手段は、ユーザによる設定に応じて前記撮像シーンを判定することを特徴とする構成１から３のいずれか１つに記載の撮像装置。

（構成５）前記判定手段は、前記可視光画像データおよび前記非可視光画像データのうち少なくとも１つを用いた被写体認識の結果に応じて前記撮像シーンを判定することを特徴とする構成１から４のいずれか１つに記載の撮像装置。

（構成６）前記判定手段は、前記撮像シーンに応じて前記可視光画像データおよび前記非可視光画像データのうち前記被写体認識に用いる画像データを選択することを特徴とする構成５に記載の撮像装置。

（構成７）前記判定手段は、前記被写体認識に学習モデルを使用し、前記被写体認識に用いる画像データが前記可視光画像データである場合および前記非可視光画像データである場合にそれぞれ、前記学習モデルとして、可視光画像用学習モデルおよび非可視光画像用学習モデルを使用することを特徴とする構成５または６に記載の撮像装置。

（構成８） 前記判定手段は、前記可視光画像データおよび前記非可視光画像データのうち少なくとも１つから取得した輝度情報を用いて前記撮像シーンを判定することを特徴とする構成１から７のいずれか１つに記載の撮像装置。

（構成９）前記判定手段は、前記可視光画像データおよび前記非可視光画像データのうち少なくとも１つから取得した動きベクトルの情報を用いて前記撮像シーンを判定することを特徴とする構成１から８のいずれか１つに記載の撮像装置。

（構成１０）前記判定手段は、被写体距離の情報を用いて前記撮像シーンを判定することを特徴とする構成１から９のいずれか１つに記載の撮像装置。

（構成１１）前記制御手段は、前記撮像シーンの判定結果と前記撮像装置の振れの検出結果とに応じて、前記非可視光画像データの生成および前記非可視光画像データを用いた画像処理を実行するか否かを制御することを特徴とする構成１から１０のいずれか１つに記載の撮像装置。

（構成１２）前記制御手段は、前記撮像シーンの判定結果に応じて、被写体に非可視光を照射する非可視光光源を発光させるか否かを制御することを特徴とする構成１から１１のいずれか１つに記載の撮像装置。

（構成１３）前記非可視光画像データの生成および前記非可視光画像データを用いた画像処理が実行される場合に、前記制御手段は、ユーザによる設定に応じて前記非可視光画像データをメモリに記録することを特徴とする構成１から１２のいずれか１つに記載の撮像装置。

（構成１４）
前記非可視光画像データの生成および前記非可視光画像データを用いた画像処理が実行されていることをユーザに示す表示を行う表示手段を有することを特徴とする構成１から１３のいずれか１つに記載の撮像装置。

（構成１５）
前記非可視光画像データの生成および前記非可視光画像データを用いた画像処理が不実行である場合に、その実行をユーザに促す表示を行う表示手段を有することを特徴とする構成１から１４のいずれか１つに記載の撮像装置。

（構成１６）被写体に非可視光を照射する非可視光光源が点灯していることをユーザに示す表示を行う表示手段を有することを特徴とする構成１から１５のいずれか１つに記載の撮像装置。
（その他の実施例）
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

以上説明した各実施例は代表的な例にすぎず、本発明の実施に際しては、各実施例に対して種々の変形や変更が可能である。

１００ 可視光撮像素子
１０１ 非可視光撮像素子
１０２ 第２画像処理部
１０６ 第１画像処理部
１１０ 認識部
１１１ 画像積分部
１１２ ベクトル検出部
１１７ メイン制御部
１１８ カメラ状態取得部
１１９ 距離情報取得部

Claims (18)

1. 撮像により可視光画像データおよび非可視光画像データを生成する撮像手段と、
   前記可視光画像データおよび前記非可視光画像データのうち少なくとも一方を用いた画像処理を行う処理手段と、
   撮像シーンを判定する判定手段と、
   前記撮像シーンの判定結果に応じて、前記撮像手段による前記非可視光画像データの生成および前記処理手段における前記非可視光画像データを用いた画像処理を実行するか否かを制御する制御手段とを有することを特徴とする撮像装置。
2. 前記撮像手段は、可視光用の第１撮像手段と、非可視光用の第２撮像手段とを有することを特徴とする請求項１に記載の撮像装置。
3. 前記撮像手段により生成された画像データから前記可視光画像データと前記非可視光画像データを分離する分離手段を有することを特徴とする請求項１に記載の撮像装置。
4. 前記判定手段は、ユーザによる設定に応じて前記撮像シーンを判定することを特徴とする請求項１に記載の撮像装置。
5. 前記判定手段は、前記可視光画像データおよび前記非可視光画像データのうち少なくとも１つを用いた被写体認識の結果に応じて前記撮像シーンを判定することを特徴とする請求項１に記載の撮像装置。
6. 前記判定手段は、前記撮像シーンに応じて前記可視光画像データおよび前記非可視光画像データのうち前記被写体認識に用いる画像データを選択することを特徴とする請求項５に記載の撮像装置。
7. 前記判定手段は、
   前記被写体認識に学習モデルを使用し、
   前記被写体認識に用いる画像データが前記可視光画像データである場合および前記非可視光画像データである場合にそれぞれ、前記学習モデルとして、可視光画像用学習モデルおよび非可視光画像用学習モデルを使用することを特徴とする請求項５に記載の撮像装置。
8. 前記判定手段は、前記可視光画像データおよび前記非可視光画像データのうち少なくとも１つから取得した輝度情報を用いて前記撮像シーンを判定することを特徴とする請求項１に記載の撮像装置。
9. 前記判定手段は、前記可視光画像データおよび前記非可視光画像データのうち少なくとも１つから取得した動きベクトルの情報を用いて前記撮像シーンを判定することを特徴とする請求項１に記載の撮像装置。
10. 前記判定手段は、被写体距離の情報を用いて前記撮像シーンを判定することを特徴とする請求項１に記載の撮像装置。
11. 前記制御手段は、前記撮像シーンの判定結果と前記撮像装置の振れの検出結果とに応じて、前記非可視光画像データの生成および前記非可視光画像データを用いた画像処理を実行するか否かを制御することを特徴とする請求項１に記載の撮像装置。
12. 前記制御手段は、前記撮像シーンの判定結果に応じて、被写体に非可視光を照射する非可視光光源を発光させるか否かを制御することを特徴とする請求項１に記載の撮像装置。
13. 前記非可視光画像データの生成および前記非可視光画像データを用いた画像処理が実行される場合に、前記制御手段は、ユーザによる設定に応じて前記非可視光画像データをメモリに記録することを特徴とする請求項１に記載の撮像装置。
14. 前記非可視光画像データの生成および前記非可視光画像データを用いた画像処理が実行されていることをユーザに示す表示を行う表示手段を有することを特徴とする請求項１に記載の撮像装置。
15. 前記非可視光画像データの生成および前記非可視光画像データを用いた画像処理が不実行である場合に、その実行をユーザに促す表示を行う表示手段を有することを特徴とする請求項１に記載の撮像装置。
16. 被写体に非可視光を照射する非可視光光源が点灯していることをユーザに示す表示を行う表示手段を有することを特徴とする請求項１に記載の撮像装置。
17. 撮像により可視光画像データおよび非可視光画像データを生成する撮像手段と、前記可視光画像データおよび前記非可視光画像データのうち少なくとも一方を用いた画像処理を行う処理手段とを有する撮像装置の制御方法であって、
    撮像シーンを判定するステップと、
    前記撮像シーンの判定結果に応じて、前記撮像手段による前記非可視光画像データの生成および前記処理手段における前記非可視光画像データを用いた画像処理を実行するか否かを制御するステップとを有することを特徴とする制御方法。
18. 撮像装置のコンピュータに、請求項１７に記載の制御方法に従う処理を実行させることを特徴とするプログラム。