JP2020137018A - 撮像装置 - Google Patents

Abstract

【課題】複数の撮像光学系がそれぞれ可変絞りを備える撮像装置において、各撮像レンズによる画像を繋ぎ合せて適切な画像を生成すること。【解決手段】開示の技術の一態様に係る撮像装置は、可変絞りを備える複数の撮像光学系と、前記複数の撮像光学系毎での被写体輝度を検出する被写体輝度検出部と、前記被写体輝度に基づき露出値を取得する露出値取得部と、前記露出値に基づき、前記複数の撮像光学系毎の露出を制御する露出制御部と、を有し、前記露出制御部は、前記複数の撮像光学系のうちの２以上の撮像光学系での前記露出値に基づいて、前記複数の撮像光学系のうちの１つの撮像光学系の絞り値を決定する。【選択図】図６

Description

本願は、撮像装置に関する。

従来から、複数の撮像光学系で撮像した複数の画像を、画像処理で繋ぎ合せて１つの画像を生成する全天球カメラ等の撮像装置が知られている。また、複数の撮像光学系毎で撮像される被写体が異なる場合に、複数の撮像光学系毎に備えられた撮像素子が、同じ露光時間で、且つ異なるゲインで撮像することで、撮像光学系毎の露出を適正化する撮像装置が開示されている（例えば、特許文献１参照）。

しかしながら、複数の撮像光学系がそれぞれ可変絞りを備える撮像装置では、露出の調整により撮像光学系毎で絞り値が異なるものになる場合がある。絞り値が異なることで、撮像光学系毎の被写界深度や解像度に差が生じ、各撮像光学系による画像を繋ぎ合せて１つの画像を生成した時に、繋ぎ目部分で被写体の合焦状態や解像度の差に起因する画質の低下等が生じ、適切な画像を生成できなくなる場合があった。

特許文献１の撮像装置は、複数の撮像光学系がそれぞれ可変絞りを備える撮像装置を開示していないため、上述したような課題を解消することはできない。

本発明は、上述した点に鑑みてなされたものであって、複数の撮像光学系がそれぞれ可変絞りを備える撮像装置において、各撮像光学系による画像を繋ぎ合せて適切な画像を生成することを課題とする。

開示の技術の一態様に係る撮像装置は、可変絞りを備える複数の撮像光学系と、前記複数の撮像光学系毎での被写体輝度を検出する被写体輝度検出部と、前記被写体輝度に基づき露出値を取得する露出値取得部と、前記露出値に基づき、前記複数の撮像光学系毎の露出を制御する露出制御部と、を有し、前記露出制御部は、前記複数の撮像光学系のうちの２以上の撮像光学系での前記露出値に基づいて、前記複数の撮像光学系のうちの１つの撮像光学系の絞り値を決定する。

本発明の一実施形態によれば、複数の撮像光学系がそれぞれ可変絞りを備える撮像装置において、各撮像光学系による画像を繋ぎ合せて適切な画像を生成することができる。

実施形態に係る全天球カメラの構成の一例を示す図である。 実施形態に係る全天球カメラのハードウェア構成の一例を示すブロック図である。 可変絞りの構成の一例を説明する図である。 全天球カメラの２つの撮像ユニットで被写体輝度が異なる場合に生成される全天球画像の一例を説明する図である。 第１の実施形態に係る全天球カメラの機能構成の一例を示すブロック図である。 第１の実施形態に係る全天球カメラの露出制御動作の一例を示すフローチャートである。 第２の実施形態に係る全天球カメラの機能構成の一例を示すブロック図である。 第２の実施形態に係る全天球カメラの露出制御動作の一例を示すフローチャートである。

以下に、図面を参照して発明を実施するための形態について説明する。各図面において、同一の構成部分には同一符号を付し、重複した説明を省略する場合がある。

実施形態では、撮像装置の一例として全天球カメラを説明する。全天球カメラは、撮像光学系と撮像素子とを含む撮像ユニットを２つ備え、それぞれの撮像ユニットによる撮像画像から生成した全天球画像を出力することができる。ここで、全天球画像は、生成画像の一例である。

＜実施形態に係る全天球カメラの構成＞
図１は、実施形態に係る全天球カメラの構成の一例を説明する断面図である。図１に示すように、全天球カメラ６は、筐体１７と、撮像ボタン１８と、撮像ユニット６０１Ａと、撮像ユニット６０１Ｂとを有する。筐体１７は、撮像ユニット６０１Ａ、撮像ユニット６０１Ｂ、及びバッテリ等の部品を保持する。撮像ボタン１８は筐体１７に設けられ、撮像ボタン１８がユーザに押下されることで、全天球カメラ６による撮像が実行される。

撮像ユニット６０１Ａは、撮像光学系６０２Ａと、撮像素子６０３Ａとを有する。また、撮像ユニット６０１Ｂは撮像光学系６０２Ｂと、撮像素子６０３Ｂとを有する。

撮像光学系６０２Ａ及び６０２Ｂは、それぞれ６群７枚の魚眼レンズとして構成される。各魚眼レンズは、１８０度より大きい全画角を有し、好適には、１９０度以上の画角を有する。ここで、撮像光学系６０２Ａ及び６０２Ｂは、「複数の撮像光学系」の一例である。

撮像素子６０３Ａ及び６０３Ｂは、撮像光学系６０２Ａ及び６０２Ｂによる光学像を、電気信号の画像データに変換して出力するＣＭＯＳ（Complementary Metal Oxide Semiconductor）センサやＣＣＤ（Charge Coupled Device）センサ等の画像センサを備えている。

また、撮像素子６０３Ａ及び６０３Ｂは、画像センサの水平又は垂直同期信号や画素クロックなどを生成するタイミング生成回路と、画像センサの動作に必要な種々のコマンドやパラメータ等が設定されるレジスタ群等を備えている。

撮像光学系６０２Ａ及び６０２Ｂに含まれる光学素子（レンズ、プリズム、フィルタ）は、撮像素子６０３Ａ及び６０３Ｂに対してそれぞれ位置が定められる。撮像光学系６０２Ａの光学素子の光軸は、撮像素子６０３Ａの受光領域の中心部に直交して位置するように、且つ、撮像光学系６０２Ａの結像面が撮像素子６０３Ａの受光領域となるように位置決めが行われる。同様に、撮像光学系６０２Ｂの光学素子の光軸は、撮像素子６０３Ｂの受光領域の中心部に直交して位置するように、且つ、撮像光学系６０２Ｂの結像面が撮像素子６０３Ｂの受光領域となるように位置決めが行われる。

撮像光学系６０２Ａ及び６０２Ｂは、同一仕様のものであり、それぞれの光軸が合致するようにして、互いに逆向きに組み合わせられる。従って、撮像ユニット６０１Ａの撮像方向と撮像ユニット６０１Ｂの撮像方向は逆向きになっている。

撮像素子６０３Ａ及び６０３Ｂは、受光した光分布を画像信号に変換し、画像処理ユニットに順次、画像フレームを出力する。撮像素子６０３Ａ及び６０３Ｂでそれぞれ撮像された魚眼画像に対して、傾き補正、歪み補正、繋ぎ合わせの画像処理がそれぞれ実行され、立体角４πステアラジアンの全天球画像が生成される。全天球画像は、撮像地点から見渡すことのできる全方位を一度に撮像した画像である。

実施形態では、全天球画像を生成するものとして説明するが、水平面のみ３６０度を撮像した、いわゆるパノラマ画像であっても良く、全天球又は水平面３６０度の全景のうちの一部を撮像した画像であっても良い。また、全天球画像は、静止画として保存することもできるし、動画として保存することもできる。

また、実施形態では、撮像装置の一例として、２つの撮像ユニット６０１Ａ及び６０１Ｂを備える全天球カメラ６を説明するが、これに限定されるものではなく、撮像装置は３つ以上の撮像ユニットを備えても良い。また、撮像素子の数は、撮像光学系の数に必ずしも一致させる必要はなく、いくつでも良い。

さらに、撮像光学系６０２Ａ及び６０２Ｂは、撮像機能を備える光学系であれば、魚眼レンズとして構成されたものに限定されるものではない。なお、実施形態に係る魚眼レンズは、広角レンズや、超広角レンズと称されるレンズを含んでいる。

また、全天球カメラ６は全方位の撮像専用の撮像装置である必要はなく、通常のデジタルカメラやスマートフォン等に後付けの全方位の撮像ユニットを取り付けることで、実質的に全天球カメラと同じ機能を備えるようにしても良い。

＜実施形態に係る全天球カメラのハードウェア構成＞
次に、全天球カメラ６のハードウェア構成を、図２を参照して説明する。図２は、全天球カメラ６のハードウェア構成の一例を示すブロック図である。

図２に示すように、全天球カメラ６は、撮像ユニット６０１Ａ及び６０１Ｂと、画像処理ユニット６０４と、撮像制御ユニット６０５と、マイク６０８と、音処理ユニット６０９と、ＣＰＵ６１１と、ＲＯＭ６１２と、ＳＲＡＭ（Static Random Access Memory）６１３とを備える。また、全天球カメラ６は、ＤＲＡＭ（Dynamic Random Access Memory）６１４と、操作部６１５と、外部機器接続Ｉ／Ｆ６１６と、遠距離通信回路６１７と、アンテナ６１７ａと、加速度・方位センサ６１８とを備える。

撮像ユニット６０１Ａは、可変絞り６１Ａと、シャッター６２Ａとを備えている。可変絞り６１Ａとシャッター６２Ａは、撮像光学系６０２Ａと撮像素子６０３Ａの間で、撮像光学系６０２Ａの光軸方向に並べて配置されている。

同様に、撮像ユニット６０１Ｂは、可変絞り６１Ｂと、シャッター６２Ｂとを備えている。可変絞り６１Ｂとシャッター６２Ｂは、撮像光学系６０２Ｂと撮像素子６０３Ｂの間で、撮像光学系６０２Ｂの光軸方向に並べて配置されている。

この可変絞り６１Ａ及び６１Ｂと、シャッター６２Ａ及び６２Ｂについては、詳細を後述する。

撮像素子６０３Ａ及び６０３Ｂは、各々、画像処理ユニット６０４とパラレルＩ／Ｆバスで接続されている。一方、撮像素子６０３Ａ及び６０３Ｂは、撮像制御ユニット６０５とは、シリアルＩ／Ｆバス（Ｉ２Ｃバス等）で接続されている。

画像処理ユニット６０４、撮像制御ユニット６０５及び音処理ユニット６０９は、バス６１０を介してＣＰＵ６１１と接続されている。さらに、バス６１０には、ＲＯＭ６１２、ＳＲＡＭ６１３、ＤＲＡＭ６１４、操作部６１５、外部機器接続Ｉ／Ｆ（Interface）６１６、遠距離通信回路６１７、及び加速度・方位センサ６１８等も接続されている。

画像処理ユニット６０４は、撮像素子６０３Ａ及び６０３Ｂからそれぞれ出力される魚眼画像の画像データをパラレルＩ／Ｆバスを通して取り込み、それぞれの画像データに対して所定の処理を施した後、これらの画像データを合成処理して生成した全天球画像のデータを出力することができる。ここで、画像処理ユニット６０４は、「全天球画像出力部」の一例である。

撮像制御ユニット６０５は、一般に撮像制御ユニット６０５をマスタデバイス、撮像素子６０３Ａ及び６０３Ｂをスレーブデバイスとして、Ｉ２Ｃバスを利用して、撮像素子６０３Ａ及び６０３Ｂのレジスタ群にコマンド等を設定する。必要なコマンド等は、ＣＰＵ６１１から受け取る。また、撮像制御ユニット６０５は、同じくＩ２Ｃバスを利用して、撮像素子６０３Ａ及び６０３Ｂのレジスタ群のステータスデータ等を取り込み、ＣＰＵ６１１に送る。

また、撮像制御ユニット６０５は、操作部６１５に含まれる撮像ボタン１８が押下されたタイミングで、撮像素子６０３Ａ及び６０３Ｂに画像データの出力を指示する。全天球カメラ６によっては、ディスプレイ（例えば、スマートフォンのディスプレイ）によるプレビュー表示機能や動画表示に対応する機能を持つ場合もある。この場合は、撮像素子６０３Ａ及び６０３Ｂからの画像データの出力は、所定のフレームレート（フレーム／分）によって連続して行われる。

また、撮像制御ユニット６０５は、ＣＰＵ６１１と協働して撮像素子６０３Ａ及び６０３Ｂの画像データの出力タイミングの同期をとる同期制御手段としても機能する。なお、実施形態では、全天球カメラ６にはディスプレイが設けられていないが、表示部を設けてもよい。

マイク６０８は、音を音（信号）データに変換する。音処理ユニット６０９は、マイク６０８から出力される音データをＩ／Ｆバスを通して取り込み、音データに対して所定の処理を施す。

ＣＰＵ６１１は、全天球カメラ６の全体の動作を制御すると共に必要な処理を実行する。ＲＯＭ６１２は、ＣＰＵ６１１のための種々のプログラムを記憶している。ＳＲＡＭ６１３及びＤＲＡＭ６１４はワークメモリであり、ＣＰＵ６１１で実行するプログラムや処理途中のデータ等を記憶する。特にＤＲＡＭ６１４は、画像処理ユニット６０４での処理途中の画像データや処理済みの全天球画像のデータを記憶する。

操作部６１５は、撮像ボタン１８等の操作ボタンの総称である。ユーザは操作部６１５を操作することで、種々の撮影モードや撮影条件などを入力することができる。

外部機器接続Ｉ／Ｆ６１６は、各種の外部機器を接続するためのインタフェースである。この場合の外部機器は、例えば、ＵＳＢ（Universal Serial Bus）メモリやＰＣ等である。ＤＲＡＭ６１４に記憶された全天球画像のデータは、このネットワークＩ／Ｆ６１６を介して外付けのメディアに記録されたり、必要に応じてネットワークＩ／Ｆ６１６を介してスマートフォン等の外部端末（装置）に送信されたりする。

遠距離通信回路６１７は、全天球カメラ６に設けられたアンテナ６１７ａを介して、Ｗｉ−Ｆｉ、ＮＦＣ（Near Field Communication）やＢｌｕｅｔｏｏｔｈ（登録商標）等の近距離無線通信技術によって、スマートフォン等の外部端末（装置）と通信を行う。この遠距離通信回路６１７によっても、全天球画像のデータをスマートフォン等の外部端末（装置）に送信することができる。

加速度・方位センサ６１８は、地球の磁気から全天球カメラ６の方位を算出し、方位情報を出力する。この方位情報はＥｘｉｆ（Exchangeable Image File Format）に沿った関連情報（メタデータ）の一例であり、撮影画像の画像補正等の画像処理に利用される。なお、関連情報には、画像の撮影日時、及び画像データのデータ容量の各データも含まれている。

また、加速度・方位センサ６１８は、全天球カメラ６の移動に伴う角度の変化（Ｒｏｌｌ角、Ｐｉｔｃｈ角、Ｙａｗ角）を検出するセンサである。角度の変化はＥｘｉｆに沿った関連情報（メタデータ）の一例であり、撮像画像の画像補正等の画像処理に利用される。

更に、加速度・方位センサ６１８は、３軸方向の加速度を検出するセンサである。全天球カメラ６は、加速度・方位センサ６１８が検出した加速度に基づいて、全天球カメラ６の姿勢（重力方向に対する角度）を算出する。全天球カメラ６に、加速度・方位センサ６１８が設けられることによって、画像補正の精度を向上させることができる。

＜実施形態に係る全天球カメラによる露出制御＞
ここで、実施形態に係る全天球カメラ６による露出制御について説明する。

実施形態では、露出制御にアペックスシステムを用いる。アペックスシステムとは、撮像装置の露出値Ｅｖを簡易に計算するために、絞り値、露光時間（シャッター速度）、及びＩＳＯ（International Organization for Standardization）感度（ゲイン）に対してそれぞれＡｖ、Ｔｖ、及びＳｖという数値を対応させて計算する手法である。アペックスシステムにより、単位系がばらばらの露出関連パラメータを同じ尺度で取り扱うことができる。

アペックスシステムにおいて、露出値Ｅｖは、撮像素子を光に露光する度合いを表す値である。また、露光時間Ｔｖ、絞り値Ａｖ、及びＩＳＯ感度Ｓｖを合わせて露出制御値と称する。露出値Ｅｖと露出制御値の間には以下の関係が成り立つ。
Ｅｖ＝Ａｖ＋Ｔｖ−（Ｓｖ−５）
実施形態では、露出制御値を変化させ、撮像ユニット６０１Ａ及び６０１Ｂの露出値Ｅｖを制御する。

図２に示すように、撮像制御ユニット６０５は、撮像素子６０３Ａ及び６０３Ｂに制御信号を出力し、撮像素子６０３Ａ及び６０３ＢのそれぞれのＩＳＯ感度Ｓｖを変化させることで、撮像ユニット６０１Ａ及び６０１Ｂの露出を制御することができる。

また、シャッター６２Ａは、撮像光学系６０２Ａを通過した光を撮像素子６０３Ａに入射させる穴を開閉する機構である。撮像ユニット６０１Ａによる撮像の時に、撮像制御ユニット６０５からの制御信号により、シャッター６２Ａを開放させる時間（露光時間、シャッター速度）を変化させることで、撮像ユニット６０１Ａの露出を制御することができる。

同様に、シャッター６２Ｂは、撮像光学系６０２Ｂを通過した光を撮像素子６０３Ｂに入射させる穴を開閉する機構である。撮像ユニット６０１Ｂによる撮像の時に、撮像制御ユニット６０５からの制御信号により、シャッター６２Ｂを開放させる時間を変化させることで、撮像ユニット６０１Ｂの露出を制御することができる。

可変絞り６１Ａは、開口を備え、撮像光学系６０２Ａを通過する光の光量を調節する機構である。撮像制御ユニット６０５からの制御信号により、開口の直径（開口径）を変化させることで、撮像ユニット６０１Ａの露出を制御することができる。

同様に、可変絞り６１Ｂは、開口を備え、撮像光学系６０２Ｂを通過する光の光量を調節する機構である。撮像制御ユニット６０５からの制御信号により、開口の直径（開口径）を変化させることで、撮像ユニット６０１Ｂの露出を制御することができる。

ここで、図３は、可変絞り６１Ａ及び６１Ｂの構成の一例を説明する図である。図３に示すように、可変絞り６１Ａは、撮像光学系６０２Ａと撮像素子６０３Ａの間に設けられる。また、可変絞り６１Ａは、羽根絞りを含んで構成され、羽根部分を動作させて開口径を変化させることができる。

なお、可変絞り６１Ａの設置位置は、撮像光学系６０２Ａと撮像素子６０３Ａの間に限定されるものではなく、撮像光学系６０２Ａに含まれるレンズとレンズの間に設置されても良い。また、可変絞り６１Ａは羽根絞りを含むものに限定されるものではなく、開口径が異なる複数の穴を光路内に出し入れするターレット式絞りであっても良い。

可変絞り６１Ａ及び６１Ｂは、絞り値を変化させることで、撮像ユニット６０１Ａ及び６０１Ｂの露出を変化させるとともに、撮像光学系６０２Ａ及び６０２Ｂの被写界深度を変化させることができる。

可変絞り６１Ａ及び６１Ｂでは、開口径を大きくすることで、ＩＳＯ感度を上げずに光量を上げることができるため、ノイズの少ない画像を撮像できる。また、露光時間を短くできるため、手ブレや被写体のブレが生じてもボケのない画像を撮像できる。

一方、開口径を小さくすることで、レンズの収差の影響を低減できるため、撮像した画像の解像感を向上させ、また光源や明るい被写体の輪郭部分に発生する色付き現象であるパープルリングを低減することができる。また、露光時間を長くできるため、蛍光灯等のフリッカがある光源下で、画像の縞模様の発生を低減させることができ、また、映像において、フレーム間で明るさが異なることで生じるちらつき減少を抑制することができる。

また、全天球カメラ６は、可変絞り６１Ａ及び６１Ｂによって、撮像光学系６０２Ａ及び６０２Ｂに含まれるレンズにゴミや傷が付いたりした場合に、被写界深度が浅くなる（ボケやすくなる）ように開口径を大きくする。これにより、レンズに付いたゴミや傷の像をボケさせ、撮像画像において目立たないようにでき、撮像画像を繋ぎ合せて生成される全天球画像において、ゴミや傷の像を目立たないようにすることができる。

撮像ユニット６０１Ｂにおける可変絞り６１Ｂは、上述した可変絞り６１Ａと同様であるため、説明を省略する。

次に、図４は、全天球カメラの２つの撮像ユニットで被写体輝度が異なる場合に生成される全天球画像の一例を説明する図である。ここで、被写体輝度は、被写体の明るさを示す指標である。

図４において、全天球カメラ６の撮像ユニット６０１Ａは、人１１を被写体として撮像し、撮像ユニット６０１Ｂは、太陽１３を被写体として撮像している。図４に示す例では、撮像ユニット６０１Ａの露出と、撮像ユニット６０１Ｂの露出は等しい状態である。

図４の中央部分に示した撮像画像３１は、撮像ユニット６０１Ａで撮像された撮像画像３１Ａと、撮像ユニット６０１Ｂで撮像された撮像画像３１Ｂとを含んでいる。撮像画像３１Ａ及び３１Ｂのそれぞれに対し、画像処理ユニット６０４により傾き補正、歪み補正、及び繋ぎ合わせの画像処理が実行されることで、全天球画像３２が生成される。なお、傾き補正、歪み補正、及び繋ぎ合わせの画像処理は、特許６２５６５１３号公報等に開示された公知の技術を適用できるため、ここでは、詳細な説明は省略する。

図４に示すように、人１１を被写体とする撮像画像３１Ａは、太陽１３を被写体とする撮像画像３１Ｂと比較して被写体輝度Ｂｖが低い。そのため、両者を繋ぎ合わせて生成される全天球画像３２は、繋ぎ目部分で明るさが異なる不自然な画像になる。

実施形態では、撮像ユニット６０１Ａ及び６０１Ｂの被写体輝度Ｂｖが異なることに起因して、全天球画像が不自然な画像になることを避けるために、撮像ユニット６０１Ａ及び６０１Ｂのそれぞれの露出を制御する。

＜第１の実施形態に係る全天球カメラの機能構成＞
次に、全天球カメラ６の機能構成を説明する。図５は、本実施形態に係る全天球カメラの機能構成の一例を説明する図である。全天球カメラ６は、露出値取得部５１Ａ及び５１Ｂと、露出制御部５３と、絞り値記憶部５４とを有する。露出値取得部５１Ａ、露出値取得部５１Ｂ、及び露出制御部５３は、それぞれ撮像制御ユニット６０５等で実現することができ、また、絞り値記憶部５４は、ＲＯＭ６１２等で実現することができる。

露出値取得部５１Ａは、被写体輝度検出部５２Ａを有し、被写体輝度検出部５２Ａの検出した撮像ユニット６０１Ａの被写体輝度Ｂｖ_Ａに基づいて、撮像ユニット６０１Ａの露出値Ｅｖ_Ａを取得する。

被写体輝度検出部５２Ａは、撮像素子６０３Ａ等により実現することができる。被写体輝度検出部５２Ａは、一例として、撮像素子６０３Ａにより撮像した画像の画素輝度の平均値や最大値等の評価値を算出し、これを撮像ユニット６０１Ａの被写体輝度Ｂｖ_Ａとして検出する。但し、これに限定されるものではなく、被写体輝度検出部５２Ａは、撮像ユニット６０１Ａの周囲の明るさを測定する照度計等の測光部を含み、測光部による測光値を被写体輝度Ｂｖ_Ａとして検出しても良い。

露出値取得部５１Ａは、一例として、被写体や撮像シーンに応じて予め定めた補正条件により被写体輝度Ｂｖ_Ａを補正した結果を、露出値Ｅｖ_Ａとして取得する。

また、撮像素子６０３Ａの周囲が明るすぎると、撮像素子６０３Ａにより撮像した画像に画素輝度が飽和した部分が含まれたり、逆に暗すぎると撮像素子６０３Ａにより撮像した画像に黒潰れした部分が含まれたりする場合がある。

そのため、露出値取得部５１Ａは、被写体輝度Ｂｖ_Ａに基づき、露光時間Ｔｖ、絞り値Ａｖ、及びＩＳＯ感度Ｓｖの調整を繰り返し行い、画素輝度の飽和や黒潰れ等のない適正な画像が得られる状態になった後で、撮像素子６０３Ａにより撮像した画像の評価値（上述参照）を、露出値Ｅｖ_Ａとして検出しても良い。

露出値取得部５１Ｂの機能は、露出値取得部５１Ａと同様であり、また、被写体輝度検出部５２Ｂの機能は、撮像ユニットが６０１Ｂである点と、撮像素子が６０３Ｂである点とを除き、被写体輝度検出部５２Ａと同様であるため、説明を省略する。

露出値取得部５１Ａ及び５１Ｂは、取得した露出値Ｅｖ_Ａ及びＥｖ_Ｂを露出制御部５３に出力することができる。

なお、本実施形態では、全天球カメラ６が露出値取得部５１Ａ及び５１Ｂという２つの露出値取得部を備える例を示したが、１つの露出値取得部が撮像ユニット６０１Ａ及び６０１Ｂのそれぞれの露出値を取得しても良い。

露出制御部５３は、絞り値決定部５３１と、露出制御値決定部５３２と、露出制御値出力部５３３とを有し、露出値取得部５１Ａ及び５１Ｂにより取得された露出値Ｅｖ_Ａ及びＥｖ_Ｂに基づき、撮像ユニット６０１Ａ及び６０１Ｂの露出を制御する。

絞り値決定部５３１は、複数の撮像光学系の一例である撮像光学系６０２Ａ及び６０２Ｂのうちの２以上の撮像光学系での露出値に基づいて、撮像光学系６０２Ａ及び６０２Ｂのうちの１つの撮像光学系の絞り値を決定する。

具体的には、絞り値決定部５３１は、検出された露出値Ｅｖ_Ａと露出値Ｅｖ_Ｂとを比較し、大きい方の露出値に基づいて、絞り値記憶部５４を参照して絞り値Ａｖを取得し、決定することができる。なお、絞り値記憶部５４には、予め定められた露出値と絞り値との対応関係を示すテーブルが格納されている。

ここで、撮像光学系は、絞り値に応じて被写界深度や解像度が変化するため、撮像ユニット６０１Ａと撮像ユニット６０１Ｂで絞り値を異ならせると、撮像ユニット６０１Ａと撮像ユニット６０１Ｂで被写界深度や解像度に差が生じる場合がある。

被写界深度や解像度に差が生じた状態で、撮像ユニット６０１Ａによる撮像画像３１Ａと撮像ユニット６０１Ｂによる撮像画像３１Ｂとを繋ぎ合せて１つの全天球画像を生成すると、繋ぎ目部分で被写体の合焦状態や解像度の差に起因する画質の低下等が生じ、適切な画像を生成できなくなる場合がある。

また、被写界深度以外にも、絞り値によって周辺光量の低下の仕方や解像度も変化する場合があり、これらも繋ぎ目部分での画質の低下等の要因になる場合がある。

本実施形態では、決定された絞り値Ａｖを、撮像ユニット６０１Ａ及び６０１Ｂで共通の絞り値とする。つまり、撮像ユニット６０１Ａの絞り値Ａｖ_Ａと、撮像ユニット６０１Ｂの絞り値Ａｖ_Ｂを等しくし、撮像ユニット毎で被写界深度や解像度の差が生じないようにする。このようにすることで、全天球画像の繋ぎ目部分で、被写体の合焦状態や解像度の差に起因する画質の低下等を抑制することができる。

なお、本実施形態では、２つの撮像ユニット６０１Ａ及び６０１Ｂにおいて、絞り値を等しくする例を説明したが、撮像ユニットが３つ以上ある場合は、何れの撮像ユニットにおいても絞り値を等しくする。

露出制御値決定部５３２は、露出制御値を自動で決定する公知の露出プログラムにより、撮像素子６０３Ａ及び６０３Ｂの撮像した画像に基づいて、適切な露出量が得られるように、露光時間Ｔｖ、及びＩＳＯ感度Ｓｖを決定する。

より詳しくは、露出制御値決定部５３２は、決定された絞り値Ａｖに絞り値を固定した（変化させない）状態で、撮像素子６０３Ａの撮像した画像に基づいて、適切な露光時間Ｔｖ_Ａ及びＩＳＯ感度Ｓｖ_Ａを、露出プログラムにより決定する。

同様に、露出制御値決定部５３２は、決定された絞り値Ａｖに絞り値を固定した状態で、撮像素子６０３Ｂの撮像した画像に基づいて、適切な露光時間Ｔｖ_Ｂ、及びＩＳＯ感度Ｓｖ_Ｂを、露出プログラムにより決定する。

露出制御値出力部５３３は、絞り値Ａｖを可変絞り６１及び６１Ｂに出力し、露光時間Ｔｖ_Ａをシャッター６２Ａに、露光時間Ｔｖ_Ｂをシャッター６２Ｂに、それぞれ出力する。また、露出制御値出力部５３３は、ＩＳＯ感度Ｓｖ_Ａを撮像素子６０３Ａに出力し、ＩＳＯ感度Ｓｖ_Ｂを撮像素子６０３Ｂに出力する。このようにして、撮像ユニット６０１Ａ及び６０１Ｂの露出制御値を設定することができる。

＜第１の実施形態に係る全天球カメラの露出制御動作＞
次に、全天球カメラ６の露出制御動作について説明する。図６は、本実施形態に係る全天球カメラの動作の一例を説明する図である。

先ず、ステップＳ６１において、露出値取得部５１Ａは、被写体輝度検出部５２Ａの検出した撮像ユニット６０１Ａにおける被写体輝度Ｂｖ_Ａに基づき、撮像ユニット６０１Ａの露出値Ｅｖ_Ａを取得し、露出制御部５３に出力する。

続いて、ステップＳ６２において、露出値取得部５１Ｂは、被写体輝度検出部５２Ｂの検出した撮像ユニット６０１Ｂにおける被写体輝度Ｂｖ_Ｂに基づき、撮像ユニット６０１Ｂの露出値Ｅｖ_Ｂを取得し、露出制御部５３に出力する。

続いて、ステップＳ６３において、露出制御部５３の絞り値決定部５３１は、露出値Ｅｖ_Ａが露出値Ｅｖ_Ｂより大きいか否かを判定する。

ステップＳ６３において、露出値Ｅｖ_Ａが露出値Ｅｖ_Ｂより大きいと判定された場合は（ステップＳ６３、Ｙｅｓ）、ステップＳ６４において、絞り値決定部５３１は、露出値Ｅｖ_Ａに基づいて、絞り値記憶部５４を参照して絞り値Ａｖを取得し、決定する。

一方、ステップＳ６３において、露出値Ｅｖ_Ａが露出値Ｅｖ_Ｂより大きくないと判定された場合は（ステップＳ６３、Ｎｏ）、ステップＳ６５において、絞り値決定部５３１は、露出値Ｅｖ_Ｂに基づいて、絞り値記憶部５４を参照して絞り値Ａｖを取得し、決定する。

続いて、ステップＳ６６において、露出制御値決定部５３２は、決定された絞り値Ａｖに絞り値を固定した状態で、撮像素子６０３Ａの撮像した画像に基づいて、適切な露光時間Ｔｖ_Ａ、及びＩＳＯ感度Ｓｖ_Ａを、露出プログラムにより決定する。

続いて、ステップＳ６７において、露出制御値決定部５３２は、決定された絞り値Ａｖに絞り値を固定した状態で、撮像素子６０３Ｂの撮像した画像に基づいて、適切な露光時間Ｔｖ_Ｂ、及びＩＳＯ感度Ｓｖ_Ｂを、露出プログラムにより決定する。

続いて、ステップＳ６８において、露出制御値出力部５３３は、絞り値Ａｖを可変絞り６１及び６１Ｂに出力し、露光時間Ｔｖ_Ａをシャッター６２Ａに、露光時間Ｔｖ_Ｂをシャッター６２Ｂにそれぞれ出力する。また、露出制御値出力部５３３は、ＩＳＯ感度Ｓｖ_Ａを撮像素子６０３Ａに出力し、ＩＳＯ感度Ｓｖ_Ｂを撮像素子６０３Ｂに出力する。

このようにして、全天球カメラ６は、露出制御を実行し、撮像ユニット６０１Ａ及び６０１Ｂの露出制御値を設定することができる。

＜効果＞
以上説明してきたように、撮像ユニット６０１Ａと撮像ユニット６０１Ｂで絞り値を異ならせると、撮像ユニット６０１Ａと撮像ユニット６０１Ｂで被写界深度や解像度に差が生じる。その結果、撮像ユニット６０１Ａによる撮像画像３１Ａと撮像ユニット６０１Ｂによる撮像画像３１Ｂとを繋ぎ合せて１つの全天球画像を生成した時に、繋ぎ目部分で被写体の合焦状態や解像度の差に起因する画質の低下等が生じ、適切な画像を生成できなくなる場合があった。また、絞り値によって周辺光量の低下の仕方や解像度が変化する場合もあり、これらも繋ぎ目部分における画質の低下等の要因になる場合があった。

本実施形態では、撮像ユニット６０１Ａと撮像ユニット６０１Ｂの絞り値を等しくすることで、被写界深度や解像度の差が出ないようにする。これにより、全天球画像の繋ぎ目部分で被写体の合焦状態や解像度の差に起因する画質の低下等を抑制することができる。そして、複数の撮像光学系がそれぞれ可変絞りを備える撮像装置において、各撮像光学系による画像を繋ぎ合せて適切な画像を生成することができる。

また、本実施形態では、全天球カメラ６は可変絞り６１Ａ及び６１Ｂを備える。可変絞り６１Ａ及び６１Ｂの開口径を大きくすることで、ＩＳＯ感度を上げずに光量を上げることができるため、ノイズの少ない画像を撮像できる。また、露光時間を短くできるため、手ブレや被写体のブレが生じてもボケのない画像を撮像できる。

また、可変絞り６１Ａ及び６１Ｂの開口径を小さくすることで、レンズの収差の影響を低減できるため、撮像した画像の解像感を向上させ、また光源や明るい被写体の輪郭部分に発生する色付き現象であるパープルリングを低減することができる。また、露光時間を長くできるため、蛍光灯等のフリッカがある光源下で、画像の縞模様の発生を低減させることができ、また、映像において、フレーム間で明るさが異なることで生じるちらつき減少を抑制することができる。

さらに、撮像光学系６０２Ａ及び６０２Ｂに含まれるレンズにゴミや傷が付いたりした場合に、被写界深度が浅くなる（ボケやすくなる）ように可変絞り６１Ａ及び６１Ｂの開口径を大きくすることができる。これにより、レンズに付いたゴミや傷の像をボケさせ、撮像画像において目立たないようにすることができ、撮像画像を繋ぎ合せて生成される全天球画像において、ゴミや傷の像を目立たないようにすることができる。

［第２の実施形態］
次に、第２の実施形態に係る全天球カメラを説明する。なお、既に説明した実施形態と同一の構成部についての説明は省略する。

＜第２の実施形態に係る全天球カメラの機能構成＞
図７は、本実施形態に係る全天球カメラの機能構成の一例を説明する図である。図７に示すように、全天球カメラ６ａは、露出制御部５３ａを有する。また、露出制御部５３ａは、仮絞り値取得部５３４と、絞り値調整部５３５とを有する。

仮絞り値取得部５３４は、取得された露出値Ｅｖ_Ａに基づき、絞り値記憶部５４を参照して仮絞り値Ａｖ_Ａ_ＴＥＭＰを取得し、絞り値決定部５３１ａに出力する。また、仮絞り値取得部５３４は、取得された露出値Ｅｖ_Ｂに基づき、絞り値記憶部５４を参照して仮絞り値Ａｖ_Ｂ_ＴＥＭＰを取得し、絞り値決定部５３１ａに出力する。

絞り値調整部５３５は、仮絞り値Ａｖ_Ａ_ＴＥＭＰと仮絞り値Ａｖ_Ｂ_ＴＥＭＰの差の絶対値を算出し、予め定められた閾値と比較する。そして、閾値より小さい場合は、絞り値Ａｖ_Ａを仮絞り値Ａｖ_Ａ_ＴＥＭＰとして決定し、また、絞り値Ａｖ_Ｂを仮絞り値Ａｖ_Ｂ_ＴＥＭＰとして決定する。そして、絞り値Ａｖ_Ａ及びＡｖ_Ｂを露出制御値決定部５３２に出力する。

一方、仮絞り値Ａｖ_Ａ_ＴＥＭＰと仮絞り値Ａｖ_Ｂ_ＴＥＭＰの差の絶対値が閾値より大きい場合は、絞り値調整部５３５は、絞り値Ａｖ_Ａ及びＡｖ_Ｂの差が閾値より小さくなるように、絞り値Ａｖ_Ａ及びＡｖ_Ｂを調整する。そして、調整後の絞り値Ａｖ_Ａ及びＡｖ_Ｂを露出制御値決定部５３２に出力する。

このようにして、撮像ユニット６０１Ａの絞り値Ａｖ_Ａと撮像ユニット６０１Ｂの絞り値Ａｖ_Ｂの差の絶対値を、予め定められた閾値以下にすることができる。なお、本実施形態では、２つの撮像ユニット６０１Ａ及び６０１Ｂの差の絶対値を閾値以下にする例を説明したが、撮像ユニットを３つ以上備える場合には、何れの撮像ユニット同士の差の絶対値も、予め定められた閾値以下にする。

＜第２の実施形態に係る全天球カメラの露出制御動作＞
次に、全天球カメラ６ａの露出制御動作について説明する。図８は、本実施形態に係る全天球カメラの動作の一例を説明する図である。ステップＳ８１〜Ｓ８２の動作は、図６におけるステップＳ６１〜Ｓ６２の動作と同じであり、また、ステップＳ８８〜Ｓ９０の動作は、図６におけるステップＳ６６〜Ｓ６８の動作と同じであるため、説明を省略する。

ステップＳ８３において、仮絞り値取得部５３４は、取得された露出値Ｅｖ_Ａに基づき、絞り値記憶部５４を参照して仮絞り値Ａｖ_Ａ_ＴＥＭＰを取得し、絞り値決定部５３１ａに出力する。

続いて、ステップＳ８４において、仮絞り値取得部５３４は、取得された露出値Ｅｖ_Ｂに基づき、絞り値記憶部５４を参照して仮絞り値Ａｖ_Ｂ_ＴＥＭＰを取得し、絞り値決定部５３１ａに出力する。

続いて、ステップＳ８５において、絞り値決定部５３１ａは、仮絞り値Ａｖ_Ａ_ＴＥＭＰと仮絞り値Ａｖ_Ｂ_ＴＥＭＰの差の絶対値が予め定められた閾値より小さいか否かを判定する。

ステップＳ８５で、閾値より小さいと判定された場合は（ステップＳ８５、Ｙｅｓ）、ステップＳ８６において、絞り値決定部５３１ａは、絞り値Ａｖ_Ａを仮絞り値Ａｖ_Ａ_ＴＥＭＰとして決定し、また、絞り値Ａｖ_Ｂを仮絞り値Ａｖ_Ｂ_ＴＥＭＰとして決定する。そして、調整後の絞り値Ａｖ_Ａ及びＡｖ_Ｂを露出制御値決定部５３２に出力する。

一方、ステップＳ８５で、閾値より小さくないと判定された場合は（ステップＳ８５、Ｎｏ）、絞り値調整部５３５は、絞り値Ａｖ_Ａ及びＡｖ_Ｂの差が閾値より小さくなるように、絞り値Ａｖ_Ａ及びＡｖ_Ｂを調整する。そして、調整後の絞り値Ａｖ_Ａ及びＡｖ_Ｂを露出制御値決定部５３２に出力する。

このようにして、全天球カメラ６ａは、露出制御を実行することができる。

＜効果＞
第１の実施形態では、撮像ユニット６０１Ａ及び６０１Ｂの絞り値が等しくなるようにしたが、両者で被写体が異なるため、それぞれに最適な絞り値が異なる場合がある。例えば、一方の被写体が暗い場合には、光量をできるだけ大きくするために絞り値を大きくしたいが、他方の被写体は十分に明るく、解像感を得るためにできるだけ絞り値を小さくしたいような場合である。

そこで、本実施形態では、撮像ユニット６０１Ａ及び６０１Ｂの差の絶対値が、予め定められた閾値以下になるように、撮像ユニット６０１Ａ及び６０１Ｂの絞り値を決定する。これにより、撮像ユニット６０１Ａ及び６０１Ｂの絞り値の差に閾値以下の余裕を持たせることができ、露出プログラムによる露光時間Ｔｖ_Ａ及びＴｖ_Ｂの決定処理や、ＩＳＯ感度Ｓｖ_Ａ及びＳｖ_Ｂの決定処理を収束させやすくし、露出制御に時間がかかることを避けることができる。

なお、これ以外の効果は、第１の実施形態で説明したものと同様である。

以上、実施形態を説明したが、本発明は、具体的に開示された上記の実施形態に限定されるものではなく、特許請求の範囲から逸脱することなく、種々の変形や変更が可能である。

５１Ａ、５１Ｂ 露出値取得部
５２Ａ、５２Ｂ 被写体輝度検出部
５３ 露出制御部
５３１ 絞り値決定部
５３２ 露出制御値決定部
５３３ 露出制御値出力部
５３４ 仮絞り値取得部
５３５ 絞り値調整部
５４ 絞り値記憶部
６、６ａ 全天球カメラ
６１Ａ、６１Ｂ 可変絞り
６２Ａ、６２Ｂ シャッター
６０１Ａ、６０１Ｂ 撮像ユニット
６０２Ａ、６０２Ｂ 撮像光学系
６０３Ａ、６０３Ｂ 撮像素子
６０５ 撮像制御ユニット
３１、３１Ａ、３１Ｂ 撮像画像
３２ 全天球画像
Ｅｖ、Ｅｖ_Ａ、Ｅｖ_Ｂ 露出値
Ａｖ 絞り値
Ａｖ_Ａ_ＴＥＭＰ、Ａｖ_Ｂ_ＴＥＭＰ 仮絞り値
Ｔｖ、Ｔｖ_Ａ、Ｔｖ_Ｂ 露光時間
Ｓｖ、Ｓｖ_Ａ、Ｓｖ_Ｂ ＩＳＯ感度

特許６２９９１１６号公報

Claims (4)

1. 可変絞りを備える複数の撮像光学系と、
   前記複数の撮像光学系毎での被写体輝度を検出する被写体輝度検出部と、
   前記被写体輝度に基づき露出値を取得する露出値取得部と、
   前記露出値に基づき、前記複数の撮像光学系毎の露出を制御する露出制御部と、を有し、
   前記露出制御部は、
   前記複数の撮像光学系のうちの２以上の撮像光学系での前記露出値に基づいて、前記複数の撮像光学系のうちの１つの撮像光学系の絞り値を決定する
   撮像装置。
2. 前記複数の撮像光学系毎の前記絞り値の差の絶対値は、何れも予め定められた閾値以下である
   請求項１に記載の撮像装置。
3. 前記複数の撮像光学系毎の前記絞り値は、何れも等しい
   請求項１、又は２に記載の撮像装置。
4. 前記撮像装置は、前記複数の撮像光学系により撮像された複数の画像を繋ぎ合せて生成した全天球画像を出力する全天球画像出力部を有する
   請求項１乃至３の何れか１項に記載の撮像装置。

Images