JP2018011109A - 撮像装置及びその制御方法 - Google Patents

Abstract

【課題】天体のような長秒露光で撮影する必要のある被写体を撮影する場合においても、ユーザが画角合わせを容易に行うことを可能にする撮像装置を提供する。【解決手段】被写体を撮影して撮影画像を取得し、撮影画像を表示制御する撮像装置３００を設ける。撮像装置３００は、撮影画角の変更操作が検知された場合に、撮影画角の変更操作中に取得される第１の撮影画像と、撮影画角の変更操作の開始前に取得された撮影画像とに基づいて、第３の撮影画像を生成して表示部３１１に表示する。【選択図】図１

Description

本発明は、撮像装置及びその制御方法に関する。

撮像素子の高感度化、低ノイズ化により、デジタルカメラ等の撮像装置は、高ＩＳＯ感度、長時間露出設定（長秒露光設定）が可能な製品が増えてきている。したがって、ユーザは、写真撮影の技術が高くなくとも、夜景や夜空などの高感度で長秒露光が必要なシーンでの撮影を比較的容易に行えるようになってきている。

しかし、天体のように非常に小さく暗い被写体の場合、被写体自体を所望の画角内にとらえることが困難である場合がある。通常、デジタルカメラで撮影する際には、ユーザは、カメラに搭載されている光学ファインダーや、表示モニタ部を見ながら画角を合わせる。特許文献１は、構図変更中である場合に、撮像感度を上げてフレームレートも高くし露光時間を短くすることで、画像のブレを少なくした連続画像を表示する電子カメラを開示している。

特開２００８−９２０４７号公報

天体などのように、被写体の輝度が低く大きさも小さい場合、光学ファインダーが肉眼で見える明るさでなければ、ユーザは被写体をとらえることはできない。表示モニタ部を備えるカメラの場合には、露光時間を長く確保することで、天体をライブビューとして撮影表示させることは可能である。しかし、天体を撮影する場合には、露光時間が長いので、ユーザが、画角合わせのためにパンニング操作を行うと、天体の位置が動いて露光量が不足し、画像として表示することができず、画角合わせをすることが困難となる。

特許文献１が開示する電子カメラでは、感度を上げて露光時間を短くすることで画像のブレを抑えることは可能ではある。しかし、夜景や夜空のようなシーンでは、既に感度は上がった状態であり、露光時間も長いので、さらに感度を上げて撮影された画像は、ノイズが多くなり、ライブビューの画像としては画質が良くない。本発明は、天体のような長秒露光で撮影する必要のある被写体を撮影する場合においても、ユーザが画角合わせを容易に行うことを可能にする撮像装置の提供を目的とする。

本発明の一実施形態の撮像装置は、被写体を撮影して撮影画像を取得する撮影手段と、前記撮影画像を表示制御する制御手段とを備える。前記制御手段は、撮影画角の変更操作が検知された場合に、前記撮影画角の変更操作中に取得される第１の撮影画像と、前記撮影画角の変更操作の開始前に取得された第２の撮影画像とに基づいて、第３の撮影画像を生成して表示部に表示する。

本発明の撮像装置によれば、天体のような長秒露光で撮影する必要のある被写体を撮影する場合においても、ユーザが画角合わせを容易に行うことが可能になる。

本実施形態の撮像装置の構成例を示す図である。 パンニング操作時のライブビュー画像の生成処理を説明する図である。 カメラの動き量と露光タイミングと撮像回路のゲインを示す図である。 ライブビュー画像の生成、表示に関わる機能ブロック図である。 ライブビュー表示の一例を説明するフローチャートである。 長秒表示モードでのライブビュー表示処理の例を説明する図である。 画像切り出し処理の一例を説明するフローチャートである。 パンニング操作時の被写体と撮影画角との関係を示す図である。 パンニング操作と露光タイミングを説明する図である。

図８および図９は、天体を被写体として撮影する際の画角合わせ動作を説明する図である。
図８は、パンニング操作時の被写体と撮影画角との関係を示す。図８（Ａ）は、被写体としての天体と、撮影画角を示す。ユーザは、画角８０１から画角８０２へパンニング操作によって撮影画角を変えることを想定している。この例では、画角８０１と画角８０２の両方の撮影画角に共通して入っている画角を画角８０３として図示している。

図８（Ｂ）は、撮影画角が図８（Ａ）に示す画角８０１から画角８０２に変化した場合における画像を示す。画角８０１の状態では、カメラ静止時にはライブビューとして画像８１１に示す天体が表示モニタに表示されている。この状態から、画角８０２までユーザがパンニング操作を行ったとする。天体をライブビュー表示させるためには、１枚の画像を得るのに十分な露光時間を必要とする。最終的な画角８０２におけるカメラ静止時の表示画像が画像８１４である場合、パンニング操作の途中の画像である画像８１２や画像８１３では、天体の十分な露光量を取得することができない。その結果、ライブビュー用として画質の良い天体画像を得ることができない。したがって、本来、画角合わせのためのパンニング操作であるにもかかわらず、被写体が見えないので、画角合わせをすることが困難となる。

図９は、パンニング操作と露光タイミングを説明する図である。
図９に示すグラフの横軸は時間、縦軸はカメラの動き量を示す。Ｔ９０１〜Ｔ９０５は、ライブビューのための露光タイミングを示す。各フレームにおける露光時間は、露光９１１〜露光９１４で表現されている。露光９１１〜露光９１４で撮影した画像は、図８に示す画像８１１〜画像８１４と一致する。

また、９１０はカメラ動き量を表現しており、カメラ動き量が大きな区間は、画角合わせのためのパンニング操作を示している。したがって、この例では、Ｔ９０２〜Ｔ９０４の期間にパンニング操作がされている。カメラ動き量９１０からわかるように、露光９１１および露光９１４では、カメラ動き量はゼロであり、静止状態となっている。したがって、図８（Ｂ）の画像８１１および画像８１４では天体画像を得ることができている。しかし、露光９１２および露光９１３は、カメラ動き量が大きくパンニング動作をしている際の露光であるので、同じ露光時間であっても、図８（Ｂ）の画像８１２および画像８１３のように天体画像を得ることができていない。以下に説明する本実施形態の撮像装置によれば、天体撮影の際にパンニング操作が行われた場合でも、画質の良いライブビュー用の画像を得て、画角合わせを容易にすることが可能となる。

以下、発明の実施形態を通じて本発明を説明するが、以下の実施形態は請求項に係る発明を限定するものではなく、また実施形態の中で説明されている特徴の組み合わせの全てが発明の解決手段に必須であるとは限らない。

図１は、本実施形態の撮像装置の構成例を示す図である。
撮像装置３００は、レンズ部３０１乃至動き検出部３１６を備える。レンズ部３０１を通った被写体像は、メカニカルシャッタ３０３、絞り３０４にて適切な光量に調整され、撮像素子３０６上の撮像面に結像される。撮像素子３０６上の撮像面に結合した被写体像は、撮像素子３０６の表面に２次元に配置された光電変換素子にて光電変換され、撮影画像として出力される。すなわち、撮像素子３０６は、被写体を撮影して撮影画像を取得する撮影手段として機能する。撮影画像に対して、ゲイン調整と、アナログ信号からデジタル信号への変換を行うＡ／Ｄ変換が行われて、Ｒ、Ｇｒ、Ｇｂ、Ｂの信号として取り込まれ、撮像信号処理回路３０７に送られる。撮像信号処理回路３０７は、ノイズを軽減するローパスフィルタ処理やシェーディング処理、ＷＢ処理などの各種の画像信号処理、さらに各種の補正、画像信号の圧縮等を行う。

レンズ部３０１は、不図示のズームレンズ、フォーカスレンズを有する。レンズ駆動部３０２によって、ズームレンズ、フォーカスレンズが駆動制御される。メカシャッタ３０３、絞り３０４は、シャッタ・絞り駆動部３０５によって駆動制御される。全体制御演算部３０９は、撮像システム全体の制御と各種演算を行う。メモリ部Ｉ（以下、単に「メモリ部」と記述）３０８は、画像信号を一時的に記憶する。記録媒体制御Ｉ／Ｆ部３１０は、記録媒体３１２に画像信号の記録または読み出しを行う。

表示部３１１は、画像信号を表示する。例えば、表示部３１１は、全体制御演算部３０９の指示にしたがって、撮影画像をライブビュー表示する。すなわち、全体制御演算部３０９は、撮影画像を表示制御する制御手段として機能する。記録媒体３１２は、半導体メモリ等の着脱可能記憶媒体であり、画像信号の記録または読み出しを行う。外部Ｉ／Ｆ部３１３は、外部コンピュータ等と通信を行うためのインタフェースである。メモリ部II（以下、単に「メモリ部」と記述）３１４は、全体制御演算部３０９での演算結果を記憶する。操作部３１５を用いてユーザが設定した撮像システムの駆動条件に関する情報は、全体制御演算部３０９に送られ、この情報を元に撮像装置３００全体の制御が行われる。

動き検出部３１６は、ジャイロセンサや加速度センサなどを有する。動き検出部３１６は、撮像装置３００に固定して取り付けられており、撮像装置３００が動いた場合に動きの方向と動き量を検出し、検出した動き量のデータを全体制御演算部３０９に渡す。

図２は、本実施形態におけるパンニング操作時のライブビュー画像の生成処理を説明する図である。
図８を参照して前述した画角８０１から画角８０２へ画角を変更するケースを想定している。図８（Ａ）の画角８０１におけるカメラ静止時のライブビュー画像を画像１０１とする。画角８０２におけるカメラ静止時の画像を画像１０４とする。画角８０１と画角８０２との間でのライブビューで使用する画像１０２，１０３の生成処理について説明する。

画角８０１と画角８０２との間では、ユーザはパンニング操作を行っているため、通常のライブビュー撮影では、天体像を得ることができない。そこで、本実施形態の撮像装置３００では、全体制御演算部３０９は、パンニング操作中のライブビュー画像１０２、１０３を、画角８０１のカメラ静止時の画像１０１を切り出すことによって生成する。パンニング中の露光画像１１２、１１３は、画像１０１からの切り出し処理に用いる切り出し位置を決定するために使用する。全体制御演算部３０９は、パンニング中の露光画像１１２とカメラ静止時の画像１０１とを比較し、画像１１２と、画像１０１からの切り出し画像１２２とが同じ被写体位置となるように、画像１０１から画像１２２を切り出す。全体制御演算部３０９は、切り出し画像１２２をライブビュー画像１０２として使用する。全体制御演算部３０９は、ライブビュー画像１０３についても、露光画像１１３と画像１０１からの切り出し画像１２３を用いて生成する。

すなわち、全体制御演算部３０９は、撮影画角の変更操作の一例としてパンニング操作が検知された場合に、以下の処理を実行する。全体制御演算部３０９は、撮影画角の変更操作中に取得される第１の撮影画像（画像１１２）と、撮影画角の変更操作の開始直前に取得された第２の撮影画像（画像１０１）とに基づいて、第３の撮影画像（ライブビュー画像１０２）を生成して表示部に表示する。なお、全体制御演算部３０９が、チルティング操作が検知された場合に、チルティング操作中に取得される露光画像と、チルティング操作の開始直前に取得された画像とに基づいて、チルティング操作中のライブビュー画像を生成してもよい。

図３は、パンニング動作時のカメラの動き量と露光タイミングと撮像回路のゲインの関係を説明する図である。
図３に示すグラフの横軸は時間、縦軸はカメラの動き量を示す。Ｔ２０１〜２０５は露光タイミングを示し、その各フレームにおける露光時間を露光２１１〜２１４で表現している。露光２１１が、図２の画像１０１に対応する。露光２１２が、画像１１２に対応する。露光２１３が、画像２１３に対応する。露光２１４が、画像１０４に対応する。２０９はカメラ動き量を示す。Ｔ２０１，Ｔ２０４ではカメラは静止状態であり、Ｔ２０２〜２０４の期間に、画角合わせのためのパンニング操作が行われている。

画像１１２は、ライブビュー画像そのものに使用するのではなく、カメラ静止時の画像１０１からの切り出し位置を求めるために使用するので、画像１１２の輝度はライブビューで使用する十分なものである必要はない。画像１１２の輝度は、画像１０１と比較してその画像ズレ量が求まる程度のもので構わない。したがって、露光２１２の露光時間も露光２１１と比較して短くすることができるので、パンニング操作による画像のブレが抑えられる。２１０は撮像回路のゲインを示す。この例では、露光２１２、２１３では、通常よりも高いゲイン設定となっている。画像１１２、１１３がライブビュー画像そのものを使用するものではなく、画像にある程度ノイズが生じても構わないからである。

図４は、ライブビュー画像の生成、表示処理に関わる撮像装置の機能ブロック図である。
表示画像制御部４０１、撮像設定制御部４０２、画像比較処理部４０３、画像切り出し処理部４０４、画像補間処理部４０５、表示画像選択部４０６は、全体制御演算部３０９の機能により実現される。

動き検出部３１６は、カメラの動き量を検出し、パンニング操作中か否かを判定する。表示画像制御部４０１は、動き検出部３１６による判定結果に基づいて、ライブビュー表示の制御を、「カメラ静止中」と「パンニング動作中」とで切り替える。パンニング操作中の露光画像は、切り出し位置を求めるために使用されるので、そのときの撮影条件（ゲインや露光時間）は、カメラ静止中の撮影条件とは異なる。

撮像設定制御部４０２は、パンニング操作中か否かの判定に基づいて、撮影条件を設定する。画像比較処理部４０３は、設定された撮影条件に基づいて露光されたパンニング操作中の露光画像と、メモリ３０８に保存されていたカメラ静止時の画像とを比較することで、２枚の画像における被写体位置のズレ量を求める。画像切り出し処理部４０４は、求まったズレ量に基づいて、カメラ静止時の画像を切り出す。そして、画像補完処理部４０５が、切り出された画像において情報が不足している領域の画像を補う画像補間処理を実行する。これにより、ライブビュー画像が生成される。そして、表示画像選択部４０６が、表示画像制御部４０１の制御によりライブビュー画像を選択して、表示部３１１に表示する。

図５は、ライブビュー表示の一例を説明するフローチャートである。
Ｓ５０１において、全体制御演算部３０９が、操作部３１５から撮影者が入力した設定に基づいて、各種パラメータを初期化する。全体制御演算部３０９は、初期化したパラメータをメモリ部３１４に記録する。

Ｓ５０２において、全体制御演算部３０９が、操作部３１５を用いたユーザの入力設定に変更があれば、変更内容を各種パラメータに反映させる。レンズ３０１、絞り３０４などの設定変更があれば、全体制御演算部３０９は、レンズ駆動部３０２、シャッタ・絞り駆動部３０５を駆動させ、設定に応じたレンズ位置、絞り値に変更する。全体制御演算部３０９は、変更を反映したパラメータをメモリ部３１４に記録する。

次に、Ｓ５０３において、全体制御演算部３０９が、メモリ部３１４に記録されたパラメータに基づいて、露光時間Ｔｖが、予め決められた閾値（露光時間Ｔｖｔｈ）よりも大きいか（長秒撮影か）を判断する。撮影が長秒撮影である場合は、処理がＳ５０４に進む。Ｓ５０４において、全体制御演算部３０９が、長秒表示モードでのライブビュー表示処理を実行して、処理がＳ５０７に進む。長秒表示モードでのライブビュー表示処理に関しては、図６、図７を参照して後述する。

撮影が長秒撮影である場合は、処理がＳ５０５に進み、全体制御演算部３０９が、通常のライブビュー表示処理を実行する。通常のライブビュー表示処理では、Ｓ５０５において、全体制御演算部３０９が、設定された露光時間Ｔｖに基づいて、ライブビュー画像を露光撮影する。そして、Ｓ５０６において、全体制御演算部３０９が、ライブビュー画像をリアルタイムで画像表示部３１１に表示する。

次に、Ｓ５０７において、全体制御演算部３０９が、ライブビュー表示処理を終了するかを判断する。具体的には、ユーザによる操作部３１５を用いた操作によって電源がＯＦＦとなったり、レリーズが押されたりした場合に、全体制御演算部３０９が、ライブビュー表示処理を終了すると判断する。全体制御演算部３０９が、ライブビュー表示処理を終了すると判断した場合は、ライブビュー表示処理を終了する。全体制御演算部３０９が、ライブビュー表示処理を終了しないと判断した場合は、処理がＳ５０２に戻る。

図６は、長秒表示モードでのライブビュー表示処理の例を説明するフローチャートである。
まず、Ｓ６０１において、動き検出部３１６が、カメラの動き量を取得する。Ｓ６０２において、表示画像制御部４０１が、取得されたカメラの動き量に基づいて、カメラの状態が、カメラ静止状態、パンニング動作（操作）中のいずれであるかを判定する。カメラの状態がカメラ静止状態の場合には、従来通り露光した画像をライブビュー画像として使用する。この場合には、表示画像制御部４０１は、撮像設定制御部４０２に指示して、メモリ部３１４に記録された露光時間Ｔｖ、絞り値Ａｖ、撮影感度（ゲインＧ）などの撮影条件、撮像素子３０６の駆動モードのうちの少なくとも一つに関するパラメータを設定させる。そして、Ｓ６０４において、全体制御演算部３０９が、設定されたパラメータに基づいて、撮像素子３０６を駆動させ、露光撮影を行う。続いて、Ｓ６０５において、撮像信号処理回路３０７が、露光画像を、パンニング動作中の切り出し処理のためにメモリ部３０８に保存する。

カメラの状態がパンニング動作中である場合は、露光画像は切り出しのための位置決めに使用される。したがって、Ｓ６０６において、撮像設定制御部４０２は、カメラ静止状態のときとは異なる撮影条件に応じた撮影パラメータをメモリ部３１４から取得および設定する。具体的には、パンニング動作中である場合は、カメラ静止状態の場合と比べて、短い露光時間とする。なお、表示画像制御部４０１が、Ｓ６０２における判定結果として、撮影画角の変動の大きさを示す情報を出力するようにしてもよい。そして、Ｓ６０６において、この情報に基づいて、撮影条件に関するパラメータを設定するようにしてもよい。

Ｓ６０７において、全体制御演算部３０９が、設定されたパラメータに基づいて、撮像素子３０６を駆動させ、露光撮影を行う。続いて、Ｓ６０８において、画像切り出し処理部４０４が、パンニング中のライブビュー画像を生成するために、画像切り出し処理を行う。そして、Ｓ６０９において、表示画像制御部４０１が、Ｓ６０５、Ｓ６０８で得られた画像を画像表示部３１１に表示する。なお、画像切り出し処理に用いる画像はパンニング動作の開始直前の画像でなくてもよく、パンニング動作の開始前に取得され、取得されてからパンニング動作の開始までの経過時間が所定時間未満の画像でもよい。

図７は、図６のＳ６０８における画像切り出し処理の一例を説明するフローチャートである。
Ｓ７０１において、全体制御演算部３０９が、保存画像すなわちパンニング動作に入る前のカメラ静止状態のライブビュー画像をメモリ部３０８から読み込む。続いて、Ｓ７０２において、全体制御演算部３０９が、パンニング動作中に露光された画像と、Ｓ７０１で読み込んだカメラ静止状態の画像とを比較し、被写体位置のズレ量を求める。

次に、Ｓ７０３において、全体制御演算部３０９が、Ｓ７０２で求めた被写体位置のズレ量に基づいて、カメラ静止状態のライブビュー画像の切り出し位置を算出する。そして、Ｓ７０４において、Ｓ７０３において算出された切り出し位置にしたがって、カメラ静止状態のライブビュー画像から画像の切り出し処理を行う。切り出し処理を行うと情報の存在しない画像領域が生じる。したがって、Ｓ７０５において、全体制御演算部３０９が、不足領域のデータ補完を実行する。データ補完は、黒画像を挿入しても構わないし、位置合わせに使用したパンニング中の露光画像を加工したものを合成しても構わない。こうして生成された画像を、パンニング中のライブビュー画像として使用することで、パンニング中でも画角合わせを可能とする。

なお、本実施例では、パンニング動作中の撮影条件として、ゲインアップによる高感度化を想定しているが、撮像素子の画素加算による高感度化でも構わない。また、被写体のズレ量を求める際には、画像全体のデータを比較しても構わないし、輝度差の大きな特徴点近傍のデータを使用しても構わない。以上のようにすることで、天体のような長秒露光にて撮影する必要のある被写体においても、容易に画角合わせを実行することが可能となる。

（その他の実施形態）
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

３００ 撮像装置
３０９ 全体制御演算部
３１６ 動き検出部

Claims (11)

1. 被写体を撮影して撮影画像を取得する撮影手段と、
   前記撮影画像を表示制御する制御手段とを備え、
   前記制御手段は、撮影画角の変更操作が検知された場合に、前記撮影画角の変更操作中に取得される第１の撮影画像と、前記撮影画角の変更操作の開始前に取得された第２の撮影画像とに基づいて、第３の撮影画像を生成して表示部に表示する
   ことを特徴とする撮像装置。
2. 前記制御手段は、前記第２の撮影画像から画像を切り出すことによって、前記第３の撮影画像を生成する
   ことを特徴とする請求項１に記載の撮像装置。
3. 前記制御手段は、前記第１の撮影画像と前記第２の撮影画像とを比較することによって、前記第２の撮影画像からの画像の切り出し位置を決定する
   ことを特徴とする請求項２に記載の撮像装置。
4. 前記制御手段は、前記第１の撮影画像と前記第２の撮影画像とにおける被写体位置のズレ量を求め、前記被写体位置のズレ量に基づいて、前記第２の撮影画像からの画像の切り出し位置を決定する
   ことを特徴とする請求項３に記載の撮像装置。
5. 前記制御手段は、前記第２の撮影画像から切り出された画像に対して画像補間処理を実行することによって、前記第３の撮影画像を生成する
   ことを特徴とする請求項２乃至４のいずれか１項に記載の撮像装置。
6. 前記制御手段は、
   前記撮影手段による撮影の際の露光時間が閾値より大きい場合に、前記撮影画角の変更操作が検知されたかを判断し、前記撮影画角の変更操作が検知された場合に、前記第３の撮影画像を生成する
   ことを特徴とする請求項１乃至５のいずれか１項に記載の撮像装置。
7. 前記制御手段は、前記取得された撮影画像を前記表示部にライブビュー表示する
   ことを特徴とする請求項１乃至６のいずれか１項に記載の撮像装置。
8. 前記撮影手段による撮影の際の撮影条件を設定する設定手段を備え、
   前記設定手段は、撮影画角の変更操作が検知された場合に、撮影画角の変更操作が検知されない場合の撮影条件と異なる撮影条件を設定する
   ことを特徴とする請求項１乃至７のいずれか１項に記載の撮像装置。
9. 前記撮影画角の変更操作を検知して、前記撮影画角の変動の大きさを示す情報を出力する検知手段を備え、
   前記設定手段は、前記検知手段が出力する前記情報に基づいて、前記撮影条件を設定する
   ことを特徴とする請求項８に記載の撮像装置。
10. 前記撮影画角の変更操作は、パンニング操作またはチルティング操作である
    ことを特徴とする請求項１乃至９のいずれか１項に記載の撮像装置。
11. 被写体を撮影して撮影画像を取得する撮影工程と、
    前記撮影画像を表示制御する制御工程とを有し、
    前記制御工程では、撮影画角の変更操作が検知された場合に、前記撮影画角の変更操作中に取得される第１の撮影画像と、前記撮影画角の変更操作の開始前に取得された第２の撮影画像とに基づいて、第３の撮影画像を生成して表示部に表示する
    ことを特徴とする撮像装置の制御方法。

Images