JP2017069939A - 画像処理装置及びその制御方法、並びにプログラム - Google Patents

Abstract

【課題】特殊な装置を設けることなく、天体の日周運動の軌跡の撮影を補助する補助情報を表示することができる画像処理装置を提供する。
【解決手段】カメラ１００は、第１の撮影画像３００における星の位置及び第２の撮影画像における星の位置の差分から算出された動きベクトルに基づいて星の予測軌跡情報３０１を生成し、さらに予測軌跡情報３０１を含む軌跡シミュレーション画像４００を生成し、生成された軌跡シミュレーション画像４００を表示部１１０に表示する。
【選択図】図４

Description

本発明は、画像処理装置及びその制御方法、並びにプログラムに関し、特に、天体の日周運動の軌跡の撮影を行う際に用いられる補助情報を表示する画像処理装置及びその制御方法、並びにプログラムに関する。

画像処理装置としてのカメラでは、通常より長い時間露光する長秒時露光による撮影が行われる。長秒時露光では、通常の露光時間で捉えられない発光の弱い物体の動作や光の軌跡等の撮影が可能であり、長秒時露光は、例えば、天体の日周運動の軌跡の撮影等に用いられる。天体の日周運動の軌跡の撮影を行う際、カメラに設けられる表示部には、ユーザが撮影する構図の決定を補助するための補助情報が表示される。当該補助情報を表示するために、カメラは、当該カメラに設けられるＧＰＳや仰角センサでカメラの位置情報を取得し、取得されたカメラの位置情報及び予め格納された天体の位置情報に基づいて任意の時間が経過した後の天体の位置を予測する。その後、カメラは、表示部に表示されるライブビュー画像に当該予測された結果を補助情報として重畳する（例えば、特許文献１参照）。ユーザは表示部に表示されるライブビュー画像によって任意の時間が経過した後の天体の位置を容易に把握可能である。

特開２０１２−４７６３号公報

しかしながら、上述したカメラでは、上記補助情報を表示するためにＧＰＳや仰角センサ等の特殊な装置を設ける必要がある。すなわち、従来のカメラでは、上記特殊な装置を設けていないと、天体の日周運動の軌跡の撮影を補助する補助情報を表示することができない。

本発明の目的は、特殊な装置を設けることなく、天体の日周運動の軌跡の撮影を補助する補助情報を表示することができる画像処理装置及びその制御方法、並びにプログラムを提供することにある。

上記目的を達成するために、本発明の画像処理装置は、同じ被写体が異なる時間に撮影された第１の撮影画像及び第２の撮影画像を少なくとも取得する画像取得手段と、前記第１の撮影画像及び前記第２の撮影画像の各々における前記被写体を検出する検出手段と、前記第１の撮影画像における前記被写体の位置及び前記第２の撮影画像における前記被写体の位置の差分から前記被写体の動きベクトルを算出する算出手段と、前記算出された動きベクトルに基づいて生成された前記被写体の予測軌跡情報を含む合成画像を生成する合成画像生成手段と、前記生成された合成画像を表示する表示手段と、を備えることを特徴とする。

本発明によれば、特殊な装置を設けることなく、天体の日周運動の軌跡の撮影を補助する補助情報を表示することができる。

本発明の実施の形態に係る画像処理装置としてのカメラの構成を概略的に示すブロック図である。 図１のカメラで実行される表示処理の手順を示すフローチャートである。 図１のカメラによる予測軌跡情報の生成を説明するための図であり、図３（ａ）は予測軌跡情報の生成に用いられる撮影画像の一例を示し、図３（ｂ）は撮影画像が分割された分割領域を示し、図３（ｃ）は算出された星の予測位置を示し、図３（ｄ）は生成された予測軌跡情報の一例を示す。 図１のカメラで生成される軌跡シミュレーション画像を説明するための図である。 図１のカメラで実行される軌跡画像の撮影処理の手順を示すフローチャートである。

以下、本発明の実施の形態を図面を参照しながら詳述する。

図１は、本発明の実施の形態に係る画像処理装置としてのカメラ１００の構成を概略的に示すブロック図である。

図１において、カメラ１００は、シャッター１０１、バリア１０２、撮影レンズ１０３、撮像部１０４、Ａ／Ｄ変換部１０５、画像処理部１０６、メモリ制御部１０７、メモリ１０８、Ｄ／Ａ変換部１０９、及び表示部１１０を備える。また、カメラ１００は、システム制御部１１１、不揮発性メモリ１１２、システムメモリ１１３、システムタイマー１１４、操作部１１５、電源制御部１１６、電源部１１７、記録媒体Ｉ／Ｆ１１８、及び通信部１１９を備える。システム制御部１１１は、シャッター１０１、撮影レンズ１０３、撮像部１０４、画像処理部１０６、不揮発性メモリ１１２、システムメモリ１１３、システムタイマー１１４、操作部１１５、電源制御部１１６、及び通信部１１９とそれぞれ接続されている。システム制御部１１１、メモリ制御部１０７、メモリ１０８、及び記録媒体Ｉ／Ｆ１１８はシステムバス１２０を介して互いに接続されている。撮像部１０４はＡ／Ｄ変換部１０５と接続され、Ａ／Ｄ変換部１０５は画像処理部１０６及びメモリ制御部１０７とそれぞれ接続されている。Ｄ／Ａ変換部１０９はメモリ制御部１０７及び表示部１１０とそれぞれ接続され、電源部１１７は電源制御部１１６と接続されている。

カメラ１００は、静止画像及び動画像を撮影可能であり、長秒時露光によって撮影された静止画像を用いて天体の日周運動の軌跡画像を生成可能な星空軌跡合成モードを有する。星空軌跡合成モードでは、長秒時露光によって撮影された複数枚の静止画像を比較して明るい部分のみ合成する比較明合成を行って軌跡画像が生成される。本実施の形態では、ユーザの操作部１１５の操作によって星空軌跡合成モードが設定されると、カメラ１００は、ユーザが撮影する軌跡画像の構図の決定を補助する補助情報として後述する図４の軌跡シミュレーション画像４００を表示部１１０に表示する。これにより、ユーザは、軌跡画像の撮影を行う前に、天体の日周運動の軌跡の様子を把握することができ、所望する撮影の構図を決定することができる。

シャッター１０１は絞り機能を有する。バリア１０２は、シャッター１０１、撮影レンズ１０３、及び撮像部１０４を含む撮像系を保護する。撮影レンズ１０３はズームレンズ及びフォーカスレンズを含むレンズ群である。撮像部１０４は撮影レンズ１０３を透過した光束に基づく光学像を電気的なアナログ信号に変換するＣＣＤやＣＭＯＳ素子等で構成される撮像素子である。Ａ／Ｄ変換部１０５は、撮像部１０４で変換されたアナログ信号をデジタル信号に変換し、当該デジタル信号を画像処理部１０６やメモリ制御部１０７に送信する。画像処理部１０６は、Ａ／Ｄ変換部１０５から送信されたデジタル信号やメモリ制御部１０７から取得した画像データ等に対して画素補間及び縮小等を含む各種画像処理を行う。本実施の形態では、画像処理部１０６は被写体として同じ星が異なる時間で撮影された複数枚、例えば、２枚の撮影画像の画像データをメモリ制御部１０７からそれぞれ取得する。画像処理部１０６は、取得された画像データに基づいて各撮影画像における星を検出し、当該星が撮影画像において占める面積や当該撮影画像における星の中心座標を算出する。また、画像処理部１０６は取得された各画像データに基づいて２枚の撮影画像における星の位置のずれを示す動きベクトルを検出する。メモリ制御部１０７は、Ａ／Ｄ変換部１０５から送信されたデジタル信号に基づく画像データをメモリ１０８に送信する。メモリ１０８はメモリ制御部１０７から送信された画像データや表示部１１０に各種情報を表示するための表示用データを格納する。Ｄ／Ａ変換部１０９はメモリ１０８に格納された画像データや表示用データ等をアナログ信号に変換して当該アナログ信号を表示部１１０に送信する。表示部１１０は、ＬＣＤ等のディスプレイを含み、Ｄ／Ａ変換部１０９から送信されたアナログ信号に基づいて各種画像を表示する。表示部１１０は、電子ビューファインダーの機能を有し、撮影レンズ１０３を透過した光束によって得られた光学像に対応する画像をスルー画像表示（ライブビュー画像表示）可能である。

システム制御部１１１はカメラ１００全体を統括的に制御し、システム制御部１１１は不揮発性メモリ１１２に格納された各種プログラムを実行して各種制御を行う。不揮発性メモリ１１２は、ＥＥＰＲＯＭ等を含み、システム制御部１１１で用いられる各種プログラムを格納する。システムメモリ１１３はＲＡＭ等を含み、システム制御部１１１の作業領域として用いられる。また、システムメモリ１１３は各種データの一時格納領域として用いられる。システムタイマー１１４は各種制御に用いられる時間の計測を行う。操作部１１５は、カメラ１００の各種設定や各種撮影の操作を行うボタン等を含む。本実施の形態では、例えば、ユーザの操作部１１５の操作によって星空軌跡合成モードが設定され、また、当該星空軌跡合成モードで用いられる露出条件や長秒時露光における連続露光時間が設定される。電源制御部１１６は、電源部１１７からカメラ１００に設けられる各構成要素への電力の供給を制御する。電源部１１７はアルカリ電池やリチウム電池等の一次電池、ＮｉＣｄ電池やＮｉＭＨ電池等の二次電池、及びＡＣアダプター等を含み、カメラ１００に設けられる各構成要素へ電力を供給する。記録媒体Ｉ／Ｆ１１８は、接続されたメモリカードやハードディスク等の記録媒体１２１とデータ通信を行う。通信部１１９は、有線ケーブルで接続された各種装置や無線通信可能な各種装置と映像信号や音声信号等のデータ通信を行う。

図２は、図１のカメラ１００で実行される合成画像表示処理の手順を示すフローチャートである。

図２の処理は、システム制御部１１１が不揮発性メモリ１１２に格納された各種プログラムを実行することによって行われる。図２の処理は、ユーザの操作部１１５の操作によって星空軌跡合成モードが予め設定され、ユーザが軌跡画像の撮影を行う前に行われることを前提とする。

図２において、まず、システム制御部１１１は、星空軌跡合成モードの露出条件に基づいて後述する軌跡シミュレーション画像４００を生成するための撮影の露出条件を決定する（ステップＳ２０１）。すなわち、本実施の形態では、軌跡画像の撮影時と同じ露出条件による軌跡シミュレーション画像４００が生成される。次いで、システム制御部１１１は決定された露出条件に基づいて所望の星を含む同じ被写体を異なる時間で複数回、例えば、２回撮影する。システム制御部１１１は、１回目の撮影の撮影画像である図３（ａ）の第１の撮影画像３００及び２回目の撮影の撮影画像である第２の撮影画像をそれぞれ生成する（ステップＳ２０２）。その後、システム制御部１１１は生成された各撮影画像及び当該各撮影画像の露光開始時間を示す情報をメモリ１０８に格納する。次いで、システム制御部１１１は、格納された各撮影画像を取得し（画像取得手段）、取得された各撮影画像における星を検出する（ステップＳ２０３）。具体的に、システム制御部１１１は、各撮影画像から、当該各撮影画像を構成する複数の画素のうち周囲の画素と画素値の異なる孤立点を抽出し、抽出された孤立点から星を検出する。システム制御部１１１は、検出された全ての星において、各撮影画像における各星に関連する情報である被写体関連情報を取得する。被写体関連情報は、各星の中心座標、各星が各撮影画像において占める面積を含み、また、被写体関連情報は、各星の平均輝度値、及び各星の色情報のうち少なくとも一方を含む。

次いで、システム制御部１１１は、第１の撮影画像における各星の位置及び第２の撮影画像における各星の位置の差分から当該各星の動きベクトルを算出する（ステップＳ２０４）。システム制御部１１１は、各撮影画像を図３（ｂ）に示すように、複数の分割領域に分割し、複数の分割領域のうち、例えば、星が予め設定された所定の数以上存在する分割領域に対して動きベクトルを算出する。星が予め設定された所定の数以上存在する分割領域が複数である場合、システム制御部１１１は該当する各分割領域に対して動きベクトルをそれぞれ算出する。次いで、システム制御部１１１は、当該動きベクトルに基づいて算出されたアフィン係数が利用可能であるか否かを判別する（ステップＳ２０５）。アフィン係数は、各撮影画像に対して拡大・縮小、平行移動等の各種画像処理を施す際に用いられる。本実施の形態では、システム制御部１１１は、上記動きベクトルに基づいてアフィン係数を算出し、算出されたアフィン係数を用いて、例えば、連続露光時間が経過したときの各星の予測位置を算出する。画像処理後の画像における被写体の座標（ｘ’,ｙ’）は、画像処理前の画像における被写体の座標（ｘ、ｙ）及びアフィン係数（ａ，ｂ，ｃ，ｄ）とすると、下記式１で算出される。

システム制御部１１１は、動きベクトルが複数算出された場合、算出された複数の動きベクトルのうち少なくとも３つ以上の動きベクトルを任意の組合せで選択する。その後、システム制御部１１１は選択された各動きベクトルに基づいてアフィン係数をそれぞれ算出し、算出された各アフィン係数に基づいて下記式２に示すアフィン係数の誤差Ｅを算出する。

システム制御部１１１は、アフィン係数の誤差Ｅが予め設定された閾値以下になる動きベクトルの個数を計測する。ステップＳ２０５では、システム制御部１１１は、当該動きベクトルの個数が予め設定された個数以上である場合、動きベクトルに基づいて算出されたアフィン係数が利用可能であると判別する。一方、システム制御部１１１は、当該動きベクトルの個数が予め設定された個数より少ない場合、動きベクトルに基づいて算出されたアフィン係数が利用不可能であると判別する。

ステップＳ２０５の判別の結果、動きベクトルに基づいて算出されたアフィン係数が利用不可能であるとき、システム制御部１１１は本処理を終了する。一方、ステップＳ２０５の判別の結果、動きベクトルに基づいて算出されたアフィン係数が利用可能であるとき、システム制御部１１１は、算出されたアフィン係数に基づいて、予め設定された連続露光時間が経過したときの各星の予測位置の算出処理を行う（ステップＳ２０６）。予測位置の算出処理では、システム制御部１１１は、格納された各撮影画像の露光開始時間の差分に基づいて単位時間当たりのアフィン係数を算出する。また、システム制御部１１１は、連続露光時間を複数の予測時間に区切るための時間間隔を設定し、区切られた複数の予測時間がそれぞれ経過したときの各星における複数の予測位置を算出する。例えば、連続露光時間が３０分で設定された場合、図３（ｃ）に示すように、開始点から１５分経過した後の各星の予測位置、及び開始点から３０分経過した後の各星の予測位置が算出される。

次いで、システム制御部１１１は算出された各星の予測位置に基づいて図３（ｄ）の予測軌跡情報３０１を生成する。予測軌跡情報３０１は各星の軌跡を示す線を含み、各星の軌跡を示す線は各星の予測位置をそれぞれ線で繋ぐことによって形成される。本実施の形態では、予測軌跡情報３０１の線の太さ及び色は各星の被写体関連情報に基づいて決定される。例えば、被写体関連情報に各星の平均輝度値が含まれる場合、予測軌跡情報３０１の線の太さは各星の平均輝度値に基づいて決定され、被写体関連情報に各星の色情報が含まれる場合、予測軌跡情報３０１の線の色は各星の色情報に基づいて決定される。次いで、システム制御部１１１は生成された予測軌跡情報３０１を含む合成用画像３０２を生成する（ステップＳ２０７）（予測軌跡情報生成手段）。

次いで、システム制御部１１１は、取得された第１の撮影画像３００及び第２の撮影画像のうち後述する軌跡シミュレーション画像４００の基準となる第１の撮影画像３００において、各星より手前に位置する山３０３等を含む前景領域を検出する。本実施の形態では、前景領域を検出する際、システム制御部１１１は第１の撮影画像３００を当該第１の撮影画像３００における各星が検出不可能になる大きさまで縮小した縮小画像を生成する。システム制御部１１１は、当該縮小画像を構成する複数の画素のうち輝度値や色情報が近い画素をグルーピングし、隣接する画素と急激に輝度値や色情報が異なる画素を境界として複数の領域に分割する。これにより、縮小画像において、例えば、第１の撮影画像３００の山３０３に相当する山領域及び空３０４に相当する空領域に分割する。また、システム制御部１１１は分割された各領域の平均輝度値を算出し、空領域の平均輝度値及び空領域を除く各領域の平均輝度値を比較し、比較した結果が予め設定された所定の値以上である領域を前景領域として検出する。次いで、システム制御部１１１は取得された第１の撮影画像３００及び合成用画像３０２を用いて比較明合成を行う。システム制御部１１１は第１の撮影画像３００のうち前景領域以外の領域に合成用画像３０２に含まれる予測軌跡情報３０１を合成して軌跡シミュレーション画像４００を生成する（ステップＳ２０８）（合成画像生成手段）。すなわち、本実施の形態では、軌跡シミュレーション画像４００において、予測軌跡情報４０１が星４０２より手前に位置する山４０３に重畳しない。次いで、システム制御部１１１は軌跡シミュレーション画像４００を表示部１１０に表示し（ステップＳ２０９）、連続露光時間が変更されたか否かを判別する（ステップＳ２１０）。

ステップＳ２１０の判別の結果、連続露光時間が変更されたとき、システム制御部１１１はステップＳ２０６の処理に戻る。これにより、システム制御部１１１は変更された連続露光時間が経過したときの星の予測位置から新たな星の予測軌跡情報を生成する。一方、ステップＳ２１０の判別の結果、連続露光時間が変更されないとき、システム制御部１１１は本処理を終了する。

上述した図２の処理によれば、第１の撮影画像３００における星の位置及び第２の撮影画像における星の位置の差分から算出された動きベクトルに基づいて星の予測軌跡情報３０１が生成される。さらに予測軌跡情報３０１を含む軌跡シミュレーション画像４００が生成され、生成された軌跡シミュレーション画像４００が表示される。動きベクトルの算出のためには第１の撮影画像３００及び第２の撮影画像のそれぞれにおける星の位置のみが取得できればよく、これらの位置の取得のためには第１の撮影画像３００及び第２の撮影画像が取得できればよい。したがって、特殊な装置を設けることなく、星の予測軌跡情報３０１を表示することができる。

また、上述した図２の処理では、星の予測軌跡情報３０１は星の軌跡を示す線を含み、星の軌跡を示す線の太さ及び色は被写体関連情報に基づいて決定される。これにより、例えば、第１の撮影画像３００及び第２の撮影画像において複数の星が存在しても、各星の被写体関連情報に基づいて各星の軌跡を示す線の太さや色を個々に設定することができ、もって、ユーザは表示された軌跡シミュレーション画像４００における複数の星から所望の星を容易に特定することができる。

さらに、上述した図２の処理では、第１の撮影画像３００及び第２の撮影画像の各々における孤立点に基づいて星が検出されるので、星を検出するための特殊な画像処理や星検出用情報等を用いることなく、第１の撮影画像３００及び第２の撮影画像から星を検出することができる。

上述した図２の処理では、連続露光時間が変更されると、変更された連続露光時間が経過したときの星の予測位置から新たな星の予測軌跡情報が生成される。これにより、ユーザが所望する連続露光時間が経過したときの星の予測軌跡情報を容易に表示することができる。

また、上述した図２の処理では、区切られた複数の予測時間がそれぞれ経過したときの複数の星の予測位置に基づいて星の予測軌跡情報３０１が生成される。これにより、予測軌跡情報３０１の精度を向上することができ、実際に撮影される星の軌跡に近似する星の予測軌跡情報３０１を生成することができる。

上述した図２の処理では、第１の撮影画像３００及び第２の撮影画像の各々の撮影時の露出条件は、星の軌跡画像を撮影する際に設定された露出条件に基づいて決定される。これにより、星の軌跡画像を撮影する際に設定された露出条件に基づいて撮影された第１の撮影画像３００及び第２の撮影画像を用いて星の予測軌跡情報３０１を含む軌跡シミュレーション画像４００を生成することができる。すなわち、星の軌跡画像の撮影時と同じ露出条件の星の予測軌跡情報３０１を含む軌跡シミュレーション画像４００を生成することができ、もって、実際に撮影される星の軌跡画像に近似する星の予測軌跡情報３０１を生成することができる。

また、上述した図２の処理では、軌跡シミュレーション画像４００において、予測軌跡情報４０１が星４０２より手前に位置する山４０３に重畳されない。これにより、星４０２より手前に位置する山４０３に星の予測軌跡情報４０１が合成された不自然な軌跡シミュレーション画像４００が生成されることを防止することができる。

本実施の形態では、天体の日周運動の軌跡を撮影する画像処理装置としてのカメラ１００に本発明を適用した場合について説明したが、本発明の適用先はカメラ１００に限られない。例えば、上述した予測軌跡情報３０１を生成可能なクライアントＰＣ等を含む画像処理装置であれば本発明を適用することができる。具体的に、クライアントＰＣは、カメラ１００等から上述した第１の撮影画像３００及び第２の撮影画像を取得する。その後、クライアントＰＣは、取得された第１の撮影画像３００における星の位置及び第２の撮影画像における星の位置の差分から星の動きベクトルを算出し、算出された動きベクトルに基づいて各星の予測軌跡情報３０１を生成する。さらに、クライアントＰＣは生成された予測軌跡情報３０１を含む軌跡シミュレーション画像４００を生成し、生成された軌跡シミュレーション画像４００をクライアントＰＣに設けられる表示部等に表示する。これにより、上述した本実施の形態と同様の効果を奏することができる。

また、本実施の形態では、軌跡シミュレーション画像４００を生成する際に設定された各設定値を軌跡画像の撮影の設定値として設定してもよい。

図５は、図１のカメラ１００で実行される軌跡画像の撮影処理の手順を示すフローチャートである。

図５の処理は、システム制御部１１１が不揮発性メモリ１１２に格納された各種プログラムを実行することによって行われる。また、図５の処理は、軌跡シミュレーション画像４００の生成後に軌跡画像の撮影を実行する軌跡合成撮影モードが予め設定されていることを前提とする。

図５において、まず、システム制御部１１１は図２のステップＳ２０１〜Ｓ２１０の処理を行う。次いで、システム制御部１１１はユーザの操作部１１５の操作によって軌跡シミュレーション画像４００に含まれる星の数を調整する数量調整設定が行われたか否かを判別する（ステップＳ５０１）。本実施の形態では、数量調整設定として、表示部１１０に表示された軌跡シミュレーション画像４００に含まれる星の数を増やす又は減らすことを設定可能である。

ステップＳ５０１の判別の結果、数量調整設定が行われたとき、システム制御部１１１は数量調整設定に基づいて第１の撮影画像３００及び第２の撮影画像の各々を構成する各画素の画素値を調整するゲイン値を設定する（ステップＳ５０２）。これにより、各撮影画像を構成する各画素の画素値が変更され、各撮影画像における孤立点の検出結果が変わる。例えば、ゲイン値が設定されることで、周囲の画素の画素値との差が大きくなった画素が、孤立点、つまり、星として検出され、周囲の画素の画素値との差が小さくなった画素が、星として検出されなくなる。ステップＳ５０２で設定されたゲイン値はメモリ１０８に保持される。次いで、システム制御部１１１はステップＳ２０６以降の処理を行う。

ステップＳ５０１の判別の結果、数量調整設定が行われないとき、システム制御部１１１はユーザの操作部１１５の操作によって当該軌跡シミュレーション画像４００の表示の終了が指示されたか否かを判別する（ステップＳ５０３）。

ステップＳ５０３の判別の結果、軌跡シミュレーション画像４００の表示の終了が指示されないとき、システム制御部１１１は、軌跡シミュレーション画像４００の表示を継続し、本処理を終了する。一方、ステップＳ５０３の判別の結果、軌跡シミュレーション画像４００の表示の終了が指示されたとき、システム制御部１１１は軌跡画像の撮影の連続露光時間を設定する（ステップＳ５０４）。具体的に、システム制御部１１１は図２の処理で用いられた連続露光時間を軌跡画像の撮影の連続露光時間として設定する。次いで、システム制御部１１１は軌跡画像の撮影のゲイン値を設定する（ステップＳ５０５）。具体的に、システム制御部１１１はステップＳ５０２で設定されたゲイン値を軌跡画像の撮影のゲイン値として設定する。ステップＳ５０４，Ｓ５０５で設定された連続露光時間及びゲイン値は表示部１１０に表示される。なお、本実施の形態では、軌跡画像の撮影の設定の一例として、連続露光時間及びゲイン値を設定する場合を説明したが、連続露光時間及びゲイン値以外の設定値を設定してもよい。例えば、軌跡シミュレーション画像４００を生成する際に設定されたホワイトバランス、シャッタースピード、絞り値等の設定値のそれぞれを軌跡画像の撮影の設定値として設定してもよい。次いで、システム制御部１１１は軌跡画像の撮影の開始が指示されたか否かを判別する（ステップＳ５０６）。

ステップＳ５０６の判別の結果、軌跡画像の撮影の開始が指示されないとき、システム制御部１１１は本処理を終了する。一方、ステップＳ５０６の判別の結果、軌跡画像の撮影の開始が指示されたとき、システム制御部１１１はステップＳ５０４，Ｓ５０５で設定された設定値に基づいて軌跡画像の撮影を開始する（ステップＳ５０７）。軌跡画像の撮影では、システム制御部１１１は設定された連続露光時間を経過するまで連続して撮影を行い、連続露光時間が経過するまでの間に撮影された全ての画像を比較明合成して星空の軌跡画像を生成する。当該軌跡画像は撮影の開始が指示されてから連続露光時間が経過するまでの間、撮影が行われる毎に更新される。その後、システム制御部１１１は設定された連続露光時間が経過すると、撮影を終了し、最後に生成された軌跡画像を記録媒体１２１に保存し（ステップＳ５０８）、本処理を終了する。

上述した図５の処理では、軌跡シミュレーション画像４００を生成する際に設定された設定値のそれぞれが軌跡画像の撮影の設定値として設定される。これにより、軌跡シミュレーション画像４００と同じ設定条件で軌跡画像の撮影を行うことができ、もって、軌跡シミュレーション画像４００と近似した軌跡画像の撮影を行うことができる。

本発明は、上述の実施の形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読み出して実行する処理でも実現可能である。また、本発明は、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

１００ カメラ
１０６ 画像処理部
１１１ システム制御部
１１５ 操作部
３００ 第１の撮影画像
３０１，４０１ 予測軌跡情報
４０２ 星
４０３ 山
４００ 軌跡シミュレーション画像

Claims (10)

1. 同じ被写体が異なる時間に撮影された第１の撮影画像及び第２の撮影画像を少なくとも取得する画像取得手段と、
   前記第１の撮影画像及び前記第２の撮影画像の各々における前記被写体を検出する検出手段と、
   前記第１の撮影画像における前記被写体の位置及び前記第２の撮影画像における前記被写体の位置の差分から前記被写体の動きベクトルを算出する算出手段と、
   前記算出された動きベクトルに基づいて生成された前記被写体の予測軌跡情報を含む合成画像を生成する合成画像生成手段と、
   前記生成された合成画像を表示する表示手段と、を備えることを特徴とする画像処理装置。
2. 前記第１の撮影画像及び前記第２の撮影画像の各々における前記被写体の色と前記被写体の輝度の少なくとも一方を含む被写体関連情報を検出する検出手段と、
   前記被写体の予測軌跡情報を生成する予測軌跡情報生成手段とを更に備え、
   前記被写体の予測軌跡情報は、前記被写体の軌跡を示す線を含み、
   前記予測軌跡情報生成手段は、前記被写体の軌跡を示す線の太さと色の少なくとも一方を前記被写体関連情報に基づいて決定することを特徴とする請求項１記載の画像処理装置。
3. 連続露光時間を設定する設定手段を更に備え、
   前記予測軌跡情報生成手段は、前記連続露光時間が経過したときの前記被写体の予測位置から前記被写体の予測軌跡情報を生成し、
   前記予測軌跡情報生成手段は、前記被写体の予測軌跡情報を生成した後に、前記連続露光時間が変更されると、前記変更された連続露光時間が経過したときの前記被写体の予測位置に基づいて新たな前記被写体の予測軌跡情報を生成することを特徴とする請求項２記載の画像処理装置。
4. 前記予測軌跡情報生成手段は、前記連続露光時間を複数の予測時間に区切るための時間間隔を設定し、前記区切られた複数の予測時間がそれぞれ経過したときの複数の前記被写体の予測位置に基づいて前記被写体の予測軌跡情報を生成することを特徴とする請求項３記載の画像処理装置。
5. 前記検出手段は、前記第１の撮影画像及び前記第２の撮影画像の各々における孤立点に基づいて前記被写体を検出することを特徴とする請求項１乃至４のいずれか１項に記載の画像処理装置。
6. 前記表示手段は、設定された露出条件に基づいて撮影された前記被写体の軌跡画像を表示し、
   前記第１の撮影画像及び前記第２の撮影画像の各々の撮影時の露出条件は、前記設定された露出条件に基づいて決定されることを特徴とする請求項１乃至５のいずれか１項に記載の画像処理装置。
7. 前記被写体は星であることを特徴とする請求項１乃至６のいずれか１項に記載の画像処理装置。
8. 前記第１の撮影画像及び前記第２の撮影画像の各々における前記被写体より手前に位置する他の被写体を検出する他の検出手段を更に備え、
   前記合成画像生成手段は、前記予測軌跡情報を前記他の被写体に重畳しないことを特徴とする請求項１乃至７のいずれか１項に記載の画像処理装置。
9. 画像処理装置の制御方法であって、
   同じ被写体が異なる時間に撮影された第１の撮影画像及び第２の撮影画像を少なくとも取得する画像取得ステップと、
   前記第１の撮影画像及び前記第２の撮影画像の各々における前記被写体を検出する検出ステップと、
   前記第１の撮影画像における前記被写体の位置及び前記第２の撮影画像における前記被写体の位置の差分から前記被写体の動きベクトルを算出する算出ステップと、
   前記算出された動きベクトルに基づいて生成された前記被写体の予測軌跡情報を含む合成画像を生成する合成画像生成ステップと、
   前記生成された合成画像を表示する表示ステップと、を備えることを特徴とする画像処理装置の制御方法。
10. 画像処理装置の制御方法をコンピュータに実行させるプログラムであって、
    前記画像処理装置の制御方法は、
    同じ被写体が異なる時間に撮影された第１の撮影画像及び第２の撮影画像を少なくとも取得する画像取得ステップと、
    前記第１の撮影画像及び前記第２の撮影画像の各々における前記被写体を検出する検出ステップと、
    前記第１の撮影画像における前記被写体の位置及び前記第２の撮影画像における前記被写体の位置の差分から前記被写体の動きベクトルを算出する算出ステップと、
    前記算出された動きベクトルに基づいて生成された前記被写体の予測軌跡情報を含む合成画像を生成する合成画像生成ステップと、
    前記生成された合成画像を表示する表示ステップと、を備えることを特徴とするプログラム。