JP2018014585A - 画像処理装置とその制御方法及びプログラム - Google Patents

Abstract

【課題】天体の日周運動の軌跡等を撮影する際に用いられる補助情報として高精度のシミュレーション画像を生成することができる画像処理装置を提供する。【解決手段】所定の時間を空けて同じ被写体を撮影した第１の撮影画像と第２の撮影画像を取得し（Ｓ３０２〜Ｓ３０３）、第１の撮影画像と第２の撮影画像のそれぞれから被写体を検出し（Ｓ３０４）、各撮影画像における被写体の位置に基づいて被写体の動きを予測し（Ｓ３０５）、撮像手段の撮影状況を示す情報を取得し（Ｓ３０６）、予測された被写体の動きの軌跡を、取得した撮影状況を示す情報を考慮して第１の撮影画像または第２の撮影画像に描画した合成画像を生成し（Ｓ３０７）、合成画像を表示部に表示する。【選択図】図３

Description

本発明は、画像処理装置とその制御方法及びプログラムに関し、特に、天体の日周運動の軌跡を撮影する際に用いられる補助情報を表示装置に表示するための画像処理技術に関する。

デジタルカメラ等での撮影手法の１つに、通常よりも長時間の露光を行う長秒時露光という手法がある。長秒時露光を用いることで、通常の露光時間では捉えることのできない低輝度の物体の動作や軌跡等を撮影することが可能であることから、長秒時露光は、例えば、星等の天体の日周運動の軌跡等を撮影する際に用いられる。ここで、天体の日周運動の軌跡を長秒時露光により撮影する際に、ユーザが撮影する構図の決定を補助するための情報（以下「補助情報」という）をデジタルカメラに設けられている液晶パネル等の表示装置に表示する技術が知られている（特許文献１参照）。

特許文献１に記載された技術では、デジタルカメラのＣＰＵ（制御部）はまず、デジタルカメラに設けられたＧＰＳセンサ（位置センサ）や電子コンパス（方位センサ）、重力センサ（仰角センサ）でデジタルカメラの位置情報を取得する。そして、ＣＰＵは、取得した位置情報や方位情報、仰角情報、予めデジタルカメラに記憶している天体位置情報等に基づいて、任意の時間が経過した後の天体の位置を予測する。その後、ＣＰＵは、表示装置に表示されるライブビュー画像に予測結果を補助情報として重畳表示する。これにより、ユーザは、表示装置に表示されるライブビュー画像から任意の時間が経過した後の天体の位置を容易に把握することができる。

特開２０１２−４７６３号公報

しかしながら、実際の撮影現場では、自然状況の変化や意図せぬ人工的な発光等によって、必ずしも事前に演算で求めた予測画像の通りの撮影画像が得られるわけではない。

本発明は、天体の日周運動の軌跡等を撮影する際に用いられる補助情報として高精度のシミュレーション画像を生成可能な画像処理装置を提供することを目的とする。

本発明に係る画像処理装置は、所定の時間を空けて同じ被写体を撮影した第１の撮影画像と第２の撮影画像とを撮像手段から取得する画像取得手段と、前記第１の撮影画像と前記第２の撮影画像のそれぞれから前記被写体を検出する被写体検出手段と、前記被写体の前記第１の撮影画像における位置と前記第２の撮影画像における位置とに基づいて前記被写体の動きを予測する予測手段と、前記予測手段が予測した被写体の動きの軌跡を前記第１の撮影画像または前記第２の撮影画像に描画した合成画像を生成する合成手段と、前記合成画像を表示装置に表示する表示制御手段と、前記第１の撮影画像の撮影から前記第２の撮影画像の撮影までの間の前記撮像手段の撮影状況を示す情報を取得する状況取得手段と、前記状況取得手段が取得した情報の値が所定値を超えた場合に、前記情報に応じて前記軌跡の描画に用いるパラメータの値を調整する制御手段と、を備えることを特徴とする。

本発明によれば、天体の日周運動の軌跡等を撮影する際に用いられる補助情報として高精度なシミュレーション画像を生成して、撮影者に提供することができる。

本発明の実施形態に係る画像処理装置の一例であるデジタルカメラの概略構成を示す背面斜視図である。 デジタルカメラのハードウェア構成を示すブロック図である。 デジタルカメラで星の日周運動を撮影する際に実行されるシミュレーション画像の生成方法を説明するフローチャートである。

以下、本発明の実施形態について、添付図面を参照して詳細に説明する。図１は、本発明の実施形態に係る画像処理装置の一例であるデジタルカメラ１００の概略構成を示す背面斜視図である。デジタルカメラ１００の背面には、画像や各種の情報を表示する表示部１０１と、ユーザによる各種操作を受け付ける各種スイッチやボタン等の操作部材からなる操作部１０２が設けられている。また、デジタルカメラ１００の背面には、撮影モード等を切り替えるモード切替スイッチ１０４と、回転操作可能なコントローラホイール１０３が設けられている。デジタルカメラ１００の上面には、撮影指示を行うシャッタボタン１２１と、デジタルカメラ１００の電源のオン／オフを切り替える電源スイッチ１２２と、被写体に対して閃光を照射するストロボ１２０が設けられている。

デジタルカメラ１００は、接続ケーブル１１１及びコネクタ１１２を介して外部装置と接続することができ、外部装置に画像データ（静止画データ、動画データ）等を出力することができる。デジタルカメラ１００の下面には、蓋１３１により開閉可能な記憶媒体スロット（不図示）が設けられており、記憶媒体スロットに対してメモリカード等の記憶媒体１３０を挿抜することができるようになっている。記憶媒体スロットに格納された記憶媒体１３０は、デジタルカメラ１００のシステム制御部２１０（図２参照）と通信可能である。記憶媒体１３０は、記憶媒体スロットに対して挿抜可能なメモリカード等に限定されるものではなく、ＤＶＤ−ＲＷディスク等の光学ディスクやハードディスク等の磁気ディスクであってもよく、デジタルカメラ１００の本体に内蔵されていてもよい。

図２は、デジタルカメラ１００のハードウェア構成を示すブロック図である。なお、デジタルカメラ１００の図２に示す各要素のうち、図１に示した要素と同じものについては同じ符号を付して、重複する説明を省略する。また、図２では、デジタルカメラ１００の図１に示した要素のうち一部の要素を省略している。

デジタルカメラ１００は、バリア２０１、撮影レンズ２０２、シャッタ２０３、撮像部２０４、Ａ／Ｄ変換器２０５、画像処理部２０６、画像合成部２１９、メモリ制御部２０７、Ｄ／Ａ変換器２０８、メモリ２０９及びシステム制御部２１０を備える。バリア２０１は、撮像光学系を覆うことにより、撮像光学系の汚れや破損を防止する。撮影レンズ２０２は、ズームレンズ、フォーカスレンズを含むレンズ群により構成されており、撮像光学系を構成する。シャッタ２０３は、絞り機能を備え、撮像部２０４に対する露光量を調節する。シャッタ２０３は、機械式シャッタであってもよいし、撮像素子のリセットタイミングの制御によって蓄積時間を制御する電子シャッタであってもよい。

撮像部２０４は、光学像を電気信号（アナログ信号）に変換する撮像素子を備え、例えば、ＲＧＢの画素が規則的に配置されたベイヤー配列構造を有するＣＣＤセンサやＣＭＯＳセンサ等のイメージセンサである。撮像部２０４からＡ／Ｄ変換器２０５へアナログ信号が出力され、Ａ／Ｄ変換器２０５は、取得したアナログ信号をデジタル信号からなる画像データに変換する。撮影レンズ２０２、撮像部２０４及びＡ／Ｄ変換器２０５は、撮影画像を取得する画像取得手段を構成する。

画像処理部２０６又はメモリ制御部２０７は、Ａ／Ｄ変換器２０５から出力される画像データを取得する。メモリ制御部２０７は、Ａ／Ｄ変換器２０５、画像処理部２０６及びメモリ２０９を制御する。画像処理部２０６は、Ａ／Ｄ変換器２０５から取得した画像データ又はメモリ制御部２０７から取得したデータに対して、画素補間やシェーディング補正等の補正処理、ホワイトバランス（ＷＢ）処理、γ補正処理、色変換処理等を行う。シェーディング補正処理は、取得したデータに対して撮影レンズ２０２の特性や撮像部２０４の収差等の特性に起因して生じるシェーディングを補正するように画面内の輝度レベルを補正する処理である。ＷＢ処理は、シェーディング補正処理後の画像データに対して画面内の白基準を白に合わせる処理である。

また、画像処理部２０６は、周知の技術を用いて、撮影画像（画像データ）からの被写体検出を行う。更に、画像処理部２０６は、画像の切り出しや変倍処理を行うことで電子ズーム機能を実現する。また、画像処理部２０６は撮像した画像の画像データを用いて所定の演算処理を行い、こうして得られた演算結果に基づいてシステム制御部２１０が露光制御や測距制御を行う。例えば、システム制御部２１０により、ＴＴＬ（スルー・ザ・レンズ）方式のＡＦ（オートフォーカス）処理、ＡＥ（自動露出）処理、ＥＦ（ストロボプリ発光）処理が行われる。画像処理部２０６は、撮像した画像の画像データを用いて所定の演算処理を行い、得られた演算結果を用いて、システム制御部２１０はＴＴＬ方式のＡＷＢ（オートホワイトバランス）処理を行う。

画像合成部２１９は、複数の画像データを合成する合成処理回路を備える。画像合成部２１９は、単純な加算合成や加算平均合成のみならず、合成対象の画像データの各領域において最も明るい又は暗い値を持つ画像を選択し、それらを合成して１枚の画像データを生成する比較明合成処理や比較暗合成処理を行うことができる。なお、画像合成部２１９は、画像処理部２０６と一体に構成されていてもよいし、システム制御部２１０が画像合成部２１９の機能を担う構成となっていてもよい。

Ａ／Ｄ変換器２０５から出力される画像データは、画像処理部２０６及びメモリ制御部２０７を介して、或いは、メモリ制御部２０７を介して、メモリ２０９に書き込まれる。メモリ２０９は、表示部１０１に表示する画像データを格納する画像表示用メモリ（ビデオメモリ）を兼ねている。メモリ２０９は、所定枚数の静止画像、パノラマ画像（広角画像）、所定時間の動画像、音声データ等を格納することができる十分な記憶容量を備えている。これにより、複数の静止画像を連続して撮影する連写撮影や画像合成処理を行う際にも、メモリ２０９に対して大量の画像データの書き込みを高速で行うことができる。なお、メモリ２０９は、システム制御部２１０が不揮発性メモリ２１１から読み出したプログラム等を展開する作業領域として用いることもできる。

メモリ２０９に格納されている画像表示用データ（デジタルデータ）は、メモリ制御部２０７を介してＤ／Ａ変換器２０８に送信される。Ｄ／Ａ変換器２０８は、受信したデジタルデータをアナログ信号に変換して表示部１０１に供給し、これにより、表示部１０１に画像等が表示される。表示部１０１は、液晶ディスプレイ又は有機ＥＬディスプレイ等の表示装置であり、Ｄ／Ａ変換器２０８からのアナログ信号に基づいて画像等を表示する。表示部１０１における表示のオン／オフは、システム制御部２１０によって切り替えられ、表示をオフにすることで電力消費を低減させることができる。なお、撮像部２０４からＡ／Ｄ変換器２０５を通じてメモリ２０９に蓄積されるデジタル信号をＤ／Ａ変換器２０８によりアナログ信号に変換して表示部１０１に逐次表示することにより、ライブビュー表示機能や電子ビューファインダ機能を実現することができる。

デジタルカメラ１００は、不揮発性メモリ２１１、システムタイマ２１２、システムメモリ２１３、検出部２１５、センサ部２２０及びストロボ制御部２１７を備える。不揮発性メモリ２１１は、電気的に消去や記憶が可能なメモリ（例えば、ＥＥＰＲＯＭ等）であり、システム制御部２１０が実行するプログラムや動作用の定数等を格納する。また、不揮発性メモリ２１１は、システム情報を記憶する領域やユーザ設定情報を記憶する領域を有しており、システム制御部２１０は、デジタルカメラ１００の起動時に不揮発性メモリ２１１に記憶された種々の情報や設定を読み出して復元する。

システム制御部２１０は、ＣＰＵを備え、不揮発性メモリ２１１に記憶されている各種のプログラムコードを実行することにより、デジタルカメラ１００の全体的な動作を制御する。システム制御部２１０が不揮発性メモリ２１１から読み出したプログラムや動作用の定数、変数等は、システムメモリ２１３上に展開される。システムメモリ２１３には、ＲＡＭが用いられる。また、システム制御部２１０は、メモリ２０９やＤ／Ａ変換器２０８、表示部１０１等を制御することにより、表示制御を行う。更に、システム制御部２１０は、タイミング発生回路を使用して撮影レンズ２０２、シャッタ２０３及び撮像部２０４を制御する。

システムタイマ２１２は、各種の制御に用いる時間や内蔵された時計の時間を計測する。ストロボ制御部２１７は、被写体の明るさに応じて、ストロボ１２０の発光を制御する。センサ部２２０と検出部２１５は、デジタルカメラ１００での撮影状況を示す情報を取得する状況取得手段としての役割を担う。センサ部２２０は、地磁気センサや角度センサ、方位センサ、ＧＰＳセンサ、重力センサ、ジャイロセンサ、明るさセンサ等を含む。検出部２１５は、センサ部２２０から取得した検出信号を解析し、撮影方位や仰角等の姿勢情報、地理的位置情報、照度情報、揺れ情報等を数値化して生成し、システム制御部２１０へ供給する。システム制御部２１０は、検出部２１５から取得した各種の情報をシステムメモリ２１３に記憶する。

図２に示される表示部１０１、操作部１０２、シャッタボタン１２１、モード切替スイッチ１０４、電源スイッチ１２２及びストロボ１２０は、図１を参照して説明したものと同じである。操作部１０２を構成する各種の操作部材は、各種の機能ボタンとして用いられ、例えば、表示部１０１に表示される種々の機能アイコンの選択に用いられ、所定の機能アイコンが選択されることにより、場面ごとに機能を割り当ることができる。機能ボタンとしては、例えば、メニュー、メニュー移動＋、メニュー移動−、マクロ、画質選択、露出補正、時計設定、画像送り、ストロボ設定、単写／連写／セルフタイマ切り替え、終了、リターン等の各種のボタンが挙げられる。なお、機能ボタンは、これらに限られるものではない。例えば、メニューボタンが押下されると、各種の設定を行うためのメニュー画面が表示部１０１に表示される。ユーザは、表示部１０１に表示されたメニュー画面と、上下左右の４方向ボタンやＳＥＴボタンとを用いて、直感的に設定操作を行うことができる。

回転操作が可能な操作部材であるコントローラホイール１０３（図２に不図示、図１参照）は、４方向ボタンと共に選択項目を指定するとき等に使用される。コントローラホイール１０３が回転操作されると、操作量（回転角度や回転回数等）に応じた電気的なパルス信号が発生する。システム制御部２１０は、このパルス信号を解析して、デジタルカメラ１００の各部を制御する。モード切替スイッチ１０４は、デジタルカメラ１００の動作モードを、静止画撮影モード、動画撮影モード、再生モード等の各種モードの間で切り替えるためのスイッチである。

シャッタボタン１２１は、第１スイッチＳＷ１と第２スイッチＳＷ２を有する。第１スイッチＳＷ１は、シャッタボタン１２１の操作途中の半押し状態でオンとなり、これにより、撮影準備を指示する信号がシステム制御部２１０に送信される。システム制御部２１０は、第１スイッチＳＷ１がオンになった信号を受信すると、ＡＦ処理、ＡＥ処理、ＡＷＢ処理、ＥＦ処理等の動作を開始する。第２スイッチＳＷ２は、シャッタボタン１２１の操作が完了する全押し状態でオンとなり、これにより、撮影開始を指示する信号がシステム制御部２１０に送信される。システム制御部２１０は、第２スイッチＳＷ２がオンになった信号を受信すると、撮像部２０４からの信号読み出しから記憶媒体１３０への画像データの書き込みまでの一連の撮影動作を行う。

デジタルカメラ１００は、電源部２１４及び電源制御部２１８を備える。電源部２１４は、アルカリ電池やリチウム電池等の一次電池、ＮｉＣｄ電池やＮｉＭＨ電池、Ｌｉ電池等の二次電池、或いは、ＡＣアダプタ等であり、電源制御部２１８へ電力を供給する。電源制御部２１８は、電源部２１４における電池の装着の有無、電池の種類、電池残量等を検出し、その検出結果及びシステム制御部２１０の指示に基づいて、必要な電圧を必要な期間、記憶媒体１３０を含む各部へ供給する。デジタルカメラ１００は、記憶媒体１３０が記憶媒体スロット（不図示）に装着された際に、記憶媒体１３０とシステム制御部２１０との間の通信を可能にするための記憶媒体Ｉ／Ｆ２１６を備える。記憶媒体１３０の詳細については、図１を参照して既に説明しているため、ここでの説明を省略する。

なお、システム制御部２１０は、デジタルカメラ１００を構成する各部の処理の全部又は一部を論理回路により実現するＡＳＩＣ等の専用プロセッサであってもよい。また、画像処理部２０６やメモリ制御部２０７、画像合成部２１９についても同様に、ソフトウェア（プログラム）による実装とハードウェアによる実装のいずれも可能であり、ソフトウェアとハードウェアとの組合せによって実装されていてもよい。

次に、星の日周運動を撮影するためにユーザが操作部１０２を操作して、デジタルカメラ１００の動作モードが星空軌跡合成モードに設定された場合にデジタルカメラ１００での実行される制御について説明する。図３は、デジタルカメラ１００で星の日周運動を撮影する際に実行されるシミュレーション画像の生成方法を説明するフローチャートである。なお、星の日周運動は、天体の日周運動の１つである。図３のフローチャートの各処理は、システム制御部２１０が不揮発性メモリ２１１に格納された所定のプログラムをシステムメモリ２１３に展開し、デジタルカメラ１００を構成する各部の動作を制御することにより実現される。また、星空軌跡合成モードが選択された場合には、予め定められた時間での星の軌跡をシミュレーションした画像が生成されるものとする。星の軌跡をシミュレーションする時間は、ユーザによる操作部１０２の操作により変更可能となっている。

ステップＳ３０１においてシステム制御部２１０は、検出部２１５を介してセンサ部２２０へ測定開始を指示する。例えば、システム制御部２１０は、検出部２１５を介して、デジタルカメラ１００の撮影状況を示す情報、例えば、デジタルカメラ１００の揺れ、撮影方位や仰角等の姿勢情報、地理的位置情報等の各種センサ情報（センサ検出値）を取得する。そして、システム制御部２１０は、取得したセンサ検出値をシステムメモリ２１３に記憶する。ステップＳ３０２においてシステム制御部２１０は、星空軌跡合成モードでの露出条件に基づいて、シミュレーション画像を生成するための撮影での露出条件を決定し、１回目の撮影を行うことで第１の撮影画像を取得する。システム制御部２１０は、第１の撮影画像と、第１の撮影画像の露光開始時間を示す情報をシステムメモリ２１３に記憶する。これにより、星の日周運動の実際の撮影と同じ露出条件で星の軌跡をシミュレーションしたシミュレーション画像を生成することができる。

ステップＳ３０３においてシステム制御部２１０は、ステップＳ３０２で決定された露出条件に基づき、同じ星（被写体）を撮影する２回目の撮影を行い、第２の撮影画像を取得する。そして、システム制御部２１０は、第２の撮影画像と、第２の撮影画像の露光開始時間を示す情報をシステムメモリ２１３に記憶する。これ以降の星の動きを予測するための動きベクトルを算出するために、１回目の撮影（ステップＳ３０２）と２回目の撮影（ステップＳ３０３）との間には適切な待ち時間が必要である。よって、２回目の撮影は、１回目の撮影から一定の時間を空けて行われる。１回目の撮影が終わって２回目の撮影が開始されるまでの待ち時間の間もセンサ部２２０は動作を続けており、検出部２１５を通して得られる各種の情報はシステムメモリ２１３に記憶され続ける。

続いて、ステップＳ３０４においてシステム制御部２１０は、画像処理部２０６により、システムメモリ２１３に格納された第１の撮影画像と第２の撮影画像のそれぞれから写っている星を検出する。ステップＳ３０５においてシステム制御部２１０は、第１の撮影画像に写っている星の位置と第２の撮影画像に写っている星の位置の差分に基づき、星の動きベクトルを算出する。動きベクトルは、ステップＳ３０４で検出されたすべての星に対して行われる。ステップＳ３０６においてシステム制御部２１０は、ステップＳ３０１で取得を開始したセンサ情報を読み出す。具体的には、システム制御部２１０は、ステップ３０１でセンサ情報の取得を開始してからの各センサ検出値の積算値を読み出す。各センサ検出値の積算値は、ステップＳ３０１の開始後からステップＳ３０６の開始直前までのものであってもよいし、ステップＳ３０１の開始後からステップＳ３０３の終了までのものであってもよい。また、各センサ検出値の積算値は、これらに限らず、ステップＳ３０２の開始後からステップＳ３０３の終了までの間のものや、ステップＳ３０２の開始後からステップＳ３０６の開始直前までのものであってもよい。なお、各センサ検出値の１回の変動値ではなく、各センサ検出値の積算値を用いることで、例えば、ジャイロセンサにより小さな揺れが継続的に検出されている場合であっても、その揺れを星の軌跡に反映させることができる。

ステップＳ３０７においてシステム制御部２１０は、画像合成部２１９により、第１の撮影画像の撮影から予め定められた時間までの星の軌跡を第１の撮影画像又は第２の撮影画像に描画したシミュレーション画像（合成画像）を生成する。このとき、システム制御部２１０は、ステップＳ３０６で取得したセンサ情報を考慮して、画像合成部２１９での星の軌跡の描画に用いるパラメータを調整する。

一例として、センサ部２２０が有するジャイロセンサによるデジタルカメラ１００の揺れに関する情報を用いて軌跡合成処理を行う場合について説明する。システム制御部２１０は、例えば、ステップＳ３０６で読み出したジャイロ情報の積算値が所定の値を超えていた場合、デジタルカメラ１００が揺れている撮影状況であると判断する。そして、システム制御部２１０は、星の軌跡をにじませる（ぼかしを入れる）等して軌跡合成処理を行い、シミュレーション画像を生成する。星の軌跡は、一般的にその周囲よりも高輝度の線として表現される。そのため、画像合成部２１９は、例えば、各星の軌跡を示す線を描画するためのパラメータとしての輝度値を、線の幅方向において中央部で大きく端部で小さくなるように差を設けるように調整することで、星の軌跡をにじませることができる。なお、このような画像処理は、シミュレーション画像を生成する際の軌跡合成にのみ適用されるものであり、実際の撮影（本撮影）には適用されない。

ジャイロ情報以外のセンサ情報、例えば、明るさセンサからの明るさの変化を示すセンサ検出値の積算値が所定値を超えた場合には、システム制御部２１０は、明るさを調整して軌跡合成を行う等してシミュレーション画像を生成する。なお、明るさの調整には、例えば、星の軌跡と背景とのコントラストを低くする等の方法がある。

このように、実際の撮影状況が理想的な撮影状況から大きくずれている場合には、実際の撮影では、星の軌跡にぼやけが生じたり、コントラストが低くなったりするおそれがあるため、表示部１０１に警告表示を行うことが望ましい。重力センサや方位センサ等のセンサ検出値の積算値に所定の閾値を超える変化があった場合には、所望する軌跡画像を得ることができない可能性が高いため、シミュレーション画像の生成処理を中止して、表示部１０１にその旨が表示される構成としてもよい。なお、各種センサの１回の検出値に所定の閾値以上の変化があった場合にも、所望する軌跡画像を得ることができない可能性が高いため、シミュレーション画像の生成処理を中止して、表示部１０１にその旨が表示される構成としてもよい。以上の通りに、少なくともシミュレーション画像を生成するための第１の撮影画像と第２の撮影画像を取得する間のセンサ情報を画像合成に反映させることにより、より正確なシミュレーション画像を生成することができる。

ステップＳ３０８においてシステム制御部２１０は、生成したシミュレーション画像を表示部１０１に表示する。ステップＳ３０９においてシステム制御部２１０は、シミュレーション時間が変更されたか否かを判定する。システム制御部２１０は、シミュレーション時間が変更されたと判定した場合（Ｓ３０９でＹＥＳ）、処理をステップＳ３０１へ戻し、シミュレーション時間は変更されていないと判定した場合（Ｓ３０９でＮＯ）、本処理を終了させる。

以上の説明の通り、本実施形態では、デジタルカメラ１００で天体の日周運動を撮影する際に補助情報として用いられる星の軌跡のシミュレーション画像を、デジタルカメラ１００の実際の撮影状況を反映させて生成する。これにより、高精度なシミュレーション画像を生成して、表示部１０１に表示することができる。ユーザは、表示されたシミュレーション画像を参考にすることにより、撮影の失敗を防いで所望の構図の撮影画像を得ることが可能となる。

以上、本発明をその好適な実施形態に基づいて詳述してきたが、本発明はこれら特定の実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の様々な形態も本発明に含まれる。例えば、本発明に係る画像処理装置は、デジタルカメラ１００のような撮影を主目的とした電子機器に限定されるものではなく、撮像機能を備えたスマートフォンや携帯電話、ゲーム機、タブレット端末等の電子機器であってもよい。また、本発明に係る画像処理装置は、撮像機能のみを有するカメラ部と有線通信又は無線通信により接続された電子機器（例えば、ラップトップ型やデスクトップ型のパーソナルコンピュータ等）であってもよい。

１００ デジタルカメラ
１０１ 表示部
２０４ 撮像部
２０６ 画像処理部
２１０ システム制御部
２１９ 画像合成部
２２０ センサ部

Claims (12)

1. 所定の時間を空けて同じ被写体を撮影した第１の撮影画像と第２の撮影画像とを撮像手段から取得する画像取得手段と、
   前記第１の撮影画像と前記第２の撮影画像のそれぞれから前記被写体を検出する被写体検出手段と、
   前記被写体の前記第１の撮影画像における位置と前記第２の撮影画像における位置とに基づいて前記被写体の動きを予測する予測手段と、
   前記予測手段が予測した被写体の動きの軌跡を前記第１の撮影画像または前記第２の撮影画像に描画した合成画像を生成する合成手段と、
   前記合成画像を表示装置に表示する表示制御手段と、
   前記第１の撮影画像の撮影から前記第２の撮影画像の撮影までの間の前記撮像手段の撮影状況を示す情報を取得する状況取得手段と、
   前記状況取得手段が取得した情報の値が所定値を超えた場合に、前記情報に応じて前記軌跡の描画に用いるパラメータの値を調整する制御手段と、を備えることを特徴とする画像処理装置。
2. 前記情報の値は、前記第１の撮影画像の撮影から前記第２の撮影画像の撮影までの間に検出された検出値の積算値である特徴とする請求項１に記載の画像処理装置。
3. 前記状況取得手段は、地磁気センサ、角度センサ、方位センサ、ＧＰＳセンサ、重力センサ、ジャイロセンサ及び明るさセンサの少なくとも１つが検出した検出値を取得することを特徴とする請求項１又は２に記載の画像処理装置。
4. 前記予測手段は、前記被写体の前記第１の撮影画像における位置と前記第２の撮影画像における位置との差分から前記被写体の動きベクトルを算出し、算出した前記動きベクトルに基づいて前記被写体の軌跡を予測することを特徴とする請求項１乃至３のいずれか１項に記載の画像処理装置。
5. 前記情報の値が所定の閾値を超えたときに前記表示装置に警告表示を行う警告手段を備えることを特徴とする請求項１乃至４のいずれか１項に記載の画像処理装置。
6. 前記制御手段は、前記情報の値が所定の閾値を超えたときに前記合成手段による合成画像の生成を中止することを特徴とする請求項５に記載の画像処理装置。
7. 前記制御手段は、前記パラメータの値を変更した場合であっても、前記撮像手段により前記被写体の動きの軌跡を実際に撮影した撮影画像を生成するときには前記パラメータの値を変更しないことを用いないことを特徴とする請求項１乃至６のいずれか１項に記載の画像処理装置。
8. 前記被写体は星であることを特徴とする請求項１乃至７のいずれか１項に記載の画像処理装置。
9. 前記パラメータは輝度値であることを特徴とする請求項８に記載の画像処理装置。
10. 撮像手段から被写体を撮影した画像を取得する画像取得手段と、
    前記画像取得手段が取得した画像から被写体を検出する被写体検出手段と、
    前記被写体検出手段が検出した被写体の動きを予測する予測手段と、
    前記予測手段が予測した被写体の動きの軌跡を前記画像取得手段が取得した画像に描画した合成画像を生成する合成手段と、
    前記合成画像を表示装置に表示する表示制御手段と、
    前記撮像手段の撮影状況を示す情報を取得する状況取得手段と、
    前記状況取得手段が取得した情報が所定の条件を満たさない場合に、前記情報に応じて前記軌跡の描画に用いるパラメータを変更する制御手段と、を備えることを特徴とする画像処理装置。
11. 画像処理装置の制御方法であって、
    所定の時間を空けて同じ被写体を撮影した第１の撮影画像と第２の撮影画像とを撮像手段から取得するステップと、
    前記第１の撮影画像と前記第２の撮影画像のそれぞれから前記被写体を検出するステップと、
    前記被写体の前記第１の撮影画像における位置と前記第２の撮影画像における位置とに基づいて前記被写体の動きを予測するステップと、
    前記第１の撮影画像の撮影から前記第２の撮影画像の撮影までの間の前記撮像手段の撮影状況を示す情報を取得するステップと、
    前記予測された被写体の動きの軌跡を前記第１の撮影画像または前記第２の撮影画像に描画した合成画像を生成するステップと、
    前記合成画像を表示装置に表示するステップと、を有し、
    前記合成画像を生成するステップでは、前記情報の値が所定値を超えた場合に、前記情報に応じて前記軌跡の描画に用いるパラメータの値を調整して前記被写体の動きの軌跡を描画することを特徴とする画像処理装置の制御方法。
12. 請求項１１に記載の画像処理装置の制御方法の各ステップをコンピュータに実行させることを特徴とするプログラム。

Images