JP2016019231A - 撮像装置および撮像装置の制御方法 - Google Patents

Abstract

【課題】事前に天体移動軌跡の予想を行い、この天体移動軌跡画像を生成することが可能な撮像装置および撮像装置の制御方法を提供する。【解決手段】撮像素子と、該撮像素子に光学像を結像させるレンズと、を有する撮像装置における制御方法であって、撮像素子から読み出された撮影時の異なる複数枚の画像データに基づいて天体の移動軌跡を算出する天体軌跡算出ステップと（Ｓ１１０）、天体軌跡算出ステップにより求めた天体移動軌跡によって天体軌跡画像を生成する天体軌跡画像生成ステップ（Ｓ１１２）を備える。【選択図】 図２

Description

本発明は、天体撮影を行うにあたって、事前に天体の移動軌跡画像を予測し、この移動軌跡画像を表示または記録可能な撮像装置および撮像装置の制御方法に関する。

天体撮影は非常に暗い被写体を長時間露光により撮影しなければならず、知識や経験を要するため、初心者には困難であった。しかし、近年、デジタルカメラの高性能化・多様化により、天体撮影を初心者でも気軽に行うようになってきている。

天体撮影の撮影技法の１つとして、天体の移動軌跡を１枚の写真に表現する方法がある。この天体移動軌跡画像を得る撮影方法としては、露光時間が数分から数時間に及ぶ長時間撮影や、一定間隔でインターバル撮影した複数の画像を１枚の画像に合成する方法がある。しかし、いずれの撮影方法も事前に写真の出来栄えを確認することができない。その結果、撮影画像が露出不足や露出過多となり、撮影者の期待と異なる写真になってしまうことがあった。そこで、特許文献１には、撮像素子から所定時間間隔で画像データを読み出し、画素データのレベルを検出し、この検出結果に応じて、画素データに乗算する重み付け係数を変更するようにした撮像装置が開示されている。

特開２０１３−０３０９９８号公報

特許文献１に記載の撮像装置は、画素データのレベルに応じて乗算の重み付け係数を変更しているため、撮影画像が露出不足や露出過多となることを防止することが期待できる。しかし、構図・シャッタ速度・インターバル間隔・インターバル撮影回数等、撮影条件に起因する失敗については効果がない。従って、撮影中に撮影条件を変更する場合には、最初から撮影をやり直すしかない。天体の移動軌跡の撮影は、長時間を要するため、撮影者への負担が大きい。

本発明は、このような事情を鑑みてなされたものであり、事前に天体移動軌跡の予想を行い、この天体移動軌跡画像を生成することが可能な撮像装置および撮像装置の制御方法を提供することを目的とする。

上記目的を達成するため第１の発明に係る撮像装置は、撮像素子と、上記撮像素子に光学像を結像させるレンズと、上記撮像素子から読み出された撮影時の異なる複数枚の画像データに基づいて天体の移動軌跡を算出する天体軌跡算出部と、上記天体軌跡算出部により求めた天体移動軌跡によって天体軌跡画像を生成する天体軌跡画像生成部と、を備える。

第２の発明に係る撮像装置は、上記第１の発明において、上記天体軌跡算出部は、上記複数枚の画像データから選択した複数枚の天体画像データによって表される複数枚の天体の位置合わせ量と撮影時情報に基づき天体の移動軌跡を算出する。
第３の発明に係る撮像装置は、上記第１の発明において、上記天体軌跡算出部は、上記複数枚の天体画像データによって表される複数枚の天体画像が重なり合うに必要なシフト量と回転量を算出し、該複数枚の天体画像のそれぞれの撮影時情報から求めた撮影時間間隔を用いて、所定時間後の天体の移動軌跡を算出する。

第４の発明に係る撮像装置は、上記第３の発明において、上記天体軌跡算出部による上記シフト量と回転量の算出に先立って、上記光学像の内の静止部分について、上記複数枚の天体画像が重なり合うように上記複数枚の天体画像を移動させる画像位置合わせ部を有する。
第５の発明に係る撮像装置は、上記第３の発明において、上記撮像装置の動きを検出する動きセンサと、上記天体軌跡算出部による上記シフト量と回転量の算出に先立って、上記動きセンサからの出力に基づいて、上記複数枚の天体画像を移動させる画像位置合わせ部と、を備える。

第６の発明に係る撮像装置は、上記第１の発明において、上記天体軌跡画像生成部は、上記複数の天体画像から静止部分の画像を生成し、この静止部分の画像に上記天体軌跡算出部によって算出された天体の移動軌跡の画像を重畳した天体移動軌跡画像を生成する。
第７の発明に係る撮像装置は、上記第１の発明において、上記天体軌跡画像生成部は、上記天体移動軌跡を所定時間間隔で予測し、この所定時間間隔の天体移動軌跡を順次動画で表示するように天体移動軌跡画像を生成する。
第８の発明に係る撮像装置は、上記第７の発明において、上記天体軌跡画像生成部は、天体画像の内の輝点の軌跡が次第に伸びるように、上記動画を生成する。

第９の発明に係る撮像装置の制御方法は、撮像素子と、該撮像素子に光学像を結像させるレンズと、を有する撮像装置における制御方法において、上記撮像素子から読み出された撮影時の異なる複数枚の画像データに基づいて天体の移動軌跡を算出する天体軌跡算出ステップと、上記天体軌跡算出ステップにより求めた天体移動軌跡によって天体軌跡画像を生成する天体軌跡画像生成ステップと、を備える。

第１０の発明に係る撮像装置の制御方法は、上記第９の発明において、上記天体軌跡算出ステップは、上記複数枚の天体画像データによって表される複数枚の天体画像が重なり合うに必要なシフト量と回転量を算出し、該複数枚の天体画像のそれぞれの撮影時情報から求めた撮影時間間隔を用いて、所定時間後の天体の移動軌跡を算出する。

本発明によれば、事前に天体移動軌跡の予想を行い、この天体移動軌跡画像を生成することが可能な撮像装置および撮像装置の制御方法を提供することができる。

本発明の一実施形態に係るカメラの主として電気的構成を示すブロック図である。 本発明の一実施形態に係るカメラの動作を示すフローチャートである。 本発明の一実施形態に係るカメラの天体軌跡予測処理の動作を示すフローチャートである。 本発明の一実施形態に係るカメラにおいて、選択画像、静止画被写体画像、および天体画像の例を示す図である。 本発明の一実施形態に係るカメラにおいて、ブロックマッチング法による移動量（Ｘ，Ｙ）の算出を説明する図である。 本発明の一実施形態に係るカメラにおいて、ブロックマッチング法による回転角（θ）の算出を説明する図である。 本発明の一実施形態に係るカメラにおいて、生成された天体軌跡画像の一例を示す図である。 本発明の一実施形態の変形例に係るカメラにおいて、生成されたタイムラプス動画の一例を示す図である。

以下、本発明の一実施形態としてデジタルカメラに適用した例を説明する。このデジタルカメラは、撮像部を有し、この撮像部によって被写体像を画像データに変換し、この変換された画像データに基づいて、被写体像を本体背面の表示部にライブビュー表示する。撮影者はライブビュー表示を観察することで、構図やシャッタチャンスを決定する。レリーズ操作時には、画像データが記録媒体に記録される。記録媒体に記録された画像データは、再生モードを選択すると、表示部に表示することができる。

また、このカメラは、天体軌跡予測モードが設定されると、少なくとも２枚の天体撮影を行い、この撮影で取得した２枚の画像データから星等の天体の移動量や回転角を求め、この移動量等に基づいて所定時間後の星等の天体の位置を予測し、所定時間後の予測された天体軌跡画像を生成し、表示等する。

図１は、本実施形態に係るカメラ１００の主として電気的構成を示すブロック図である。このカメラ１００は、撮影光学系２、焦点調整機構４、絞り６、絞り駆動機構８、シャッタ１０、シャッタ駆動機構１２、撮像素子１４、撮像素子インターフェイス（ＩＦ）１６、システムコントローラ２０、内部メモリ２２、記録メディア２４、センサ２６、表示素子駆動部２８、表示素子３０、タッチパネル３２、タッチパネル駆動部３４、カメラ操作スイッチ３６を有している。なお、撮影光学系２、焦点調整機構４および絞り６を含むレンズ鏡筒は、カメラ本体と一体に構成してもよく、また交換式レンズ鏡筒として構成してもよい。

撮影光学系２は、ズームレンズやフォーカスレンズ等の複数の光学レンズを含み、光学像を撮像素子１４の受光面に結像させる。絞り６は、撮影光学系２の光路中に配置され、開閉自在に構成され、撮像素子１４に入射する撮影光束Ｆの光量を調整するために、開口径が変化する。絞り駆動機構８は、絞り６の開口径を調節するための駆動機構を有し、システムコントローラ２０内のＣＰＵ（Central Processing Unit）２０２からの制御信号に従って絞り６を駆動する。

シャッタ１０は、撮影光学系２の光路中に配置され、撮像素子１４の受光面を遮光状態または露光状態に切り替えるように構成されている。このシャッタ１０により、撮像素子１４の露光時間が調整される。シャッタ駆動機構１２は、シャッタ１０を駆動するための駆動機構を有し、システムコントローラ２０内のＣＰＵ２０２からの制御信号に従ってシャッタ１０を駆動する。

撮像素子１４は、撮影光学系２によって集光された被写体からの撮影光束Ｆが結像される受光面を有している。撮像素子１４の受光面には、複数の画素が二次元状に配置され、また入射面側にカラーフィルタが設けられている。撮像素子１４は、受光面に結像された撮影光束Ｆに対応した光像（被写体像）を、その光量に応じた電気信号（画像信号）に変換する。

撮影光学系２および撮像素子１４と共に撮像部として機能する撮像素子ＩＦ１６は、システムコントローラ２０内のＣＰＵ２０２からの制御信号に従って撮像素子１４の駆動制御を行う。すなわち、撮像素子ＩＦ１６は、ＣＰＵ２０２からの制御信号に従って、撮像素子１４の露光制御（電荷蓄積制御）を行い、露光後に画像信号を読み出し、読み出した画像信号に対してＣＤＳ（相関二重サンプリング）処理やＡＧＣ（自動利得制御）処理等のアナログ処理を施す。さらに、撮像素子ＩＦ１６は、アナログ処理した画像信号をデジタル信号に変換する。

システムコントローラ２０に接続された内部メモリ２２は、画像データバッファ２２２、ログ情報バッファ２２４、制御プログラム２２６を有している。画像データバッファ２２２は、撮像素子ＩＦ１１６で得られた画像データを一時記憶するための記憶エリアである。ログ情報バッファ２２４は、撮影時のログ情報、例えば撮影日時、手ブレ補正量、各種センサ情報等を、一時的に記憶するための記憶エリアである（図２のＳ１０６参照）。画像データバッファ２２２とログ情報バッファ２２４としては、ＳＤＲＡＭ等の電気的書き換え可能な揮発性メモリを用いる。制御プログラム２２６は、ＣＰＵ２０２が種々の処理を実行するためのプログラムコードである。制御プログラム２２６は、フラッシュＲＯＭ等の電気的に書き換え可能な不揮発性メモリを用いる。

記録メディア２４は、カメラ本体に装填自在で、電気的に書き換え可能な不揮発性メモリで、例えばメモリカードである。なお、ハードディスク等、カメラ本体に固定なメモリであってもよい。画像ファイル２４ａは、天体軌跡予測部２０８ｃの出力データを基に画像合成部２０８ｄにおいて合成された天体の移動軌跡が１枚の写真の画像ファイルである。

センサ２６は、角速度センサ２４２、地磁気センサ２４６、ＧＰＳ（Global Positioning System）２４８を有する。角速度センサ２４２は、カメラ１００に加えられた角速度を検出する。地磁気センサ２４６は、地磁気の磁場（磁界）の大きさと方向を検出する。ＧＰＳ２４８は、衛星測位システムを利用して、地球上の現在位置を検出する。

表示素子３０は、例えば、液晶パネル（ＬＣＤ）や有機ＥＬであり、ライブビュー用の画像及び記録メディア２４に記録された画像等の各種の画像を表示する。表示素子駆動部２８は、システムコントローラ２０内のＣＰＵ２０２から入力された画像データに基づいて表示素子３０を駆動させ、表示素子３０に画像を表示させる。また、表示素子駆動部２８および表示素子３０によって、天体軌跡予測部２０８ｃによって予測され、画像合成部２０８ｄによって合成された天体軌跡の予測画像が表示される（図２のＳ１１２参照）。

タッチパネル３２は、表示素子３０の表示画面上に一体的に形成されており、表示画面上へのユーザの指等の接触位置等を検出する。タッチパネル駆動部３４は、タッチパネル３２を駆動するとともに、タッチパネル３０からの接触検出信号をシステムコントローラ２０内のＣＰＵ２０２に出力する。ＣＰＵ２０２は、接触検出信号から、ユーザの表示画面上への接触操作を検出し、その接触操作に応じた処理を実行する。

カメラ操作スイッチ３６は、ユーザによって操作される各種の操作部材である。例えば、レリーズボタン、動画ボタン、十字選択ボタン、電源ボタン等が含まれる。レリーズボタンは、１ｓｔレリーズスイッチと、２ｎｄレリーズスイッチとを有している。１ｓｔレリーズスイッチは、ユーザがレリーズボタンを半押しするとオンするスイッチである。１ｓｔレリーズスイッチがオンすることにより、ＡＦ処理等の撮影準備動作が行われる。また、２ｎｄレリーズスイッチは、ユーザがレリーズボタンを全押しするとオンするスイッチである。２ｎｄレリーズスイッチがオンすることにより、静止画撮影用の露光動作が行われる。

カメラ操作スイッチ３６中の動画ボタンは、動画撮影の開始又は終了を指示するための操作部材である。ユーザによって動画ボタンが押されると動画撮影処理が開始される。また、動画撮影処理の実行中に動画ボタンが押されると、動画撮影処理が終了される。十字選択ボタンは、表示素子２８に表示される撮影設定の候補のうち、任意の項目を選択するためのボタンである。項目選択電源ボタンは、カメラの電源をオン又はオフするための操作部材である。ユーザによって電源ボタンが操作されると、カメラ１００が起動して動作可能な状態となる。カメラ１００が起動している間に電源ボタンが操作されると、カメラ１００が省電力待機状態となる。

システムコントローラ２０は、カメラ１００の動作を制御するための制御回路であり、ＣＰＵ２０２、ＡＦ（Auto Focus）制御部２０４、ＡＥ（Auto Exposure）制御部２０６、画像処理部２０８、手ブレ補正量算出部２１０、メモリ制御部２１２を有する。

ＣＰＵ２０２は、前述した制御プログラム２２６に従って、焦点調整機構４、絞り駆動機構８、シャッタ駆動機構１２、表示素子駆動部２８、タッチパネル駆動部３４等のシステムコントローラ２０外の各ブロック、およびシステムコントローラ２０内の各ブロックの動作を制御し、カメラ１００の全体制御を行う。

ＡＦ制御部２０４は、撮像画面内の焦点状態を検出してＡＦ処理を制御する。より詳しくは、ＡＦ制御部２０４は、撮像素子ＩＦ１６からの画像データに基づくＡＦ評価値に従って画像データのコントラストを評価し、ＡＦ評価値がピーク値となるように焦点調整機構４を制御してフォーカスレンズを合焦状態とする。

ＡＥ制御回路２０６は、ＡＥ処理を制御する。より詳しくは、ＡＥ制御部２０６は、撮像素子ＩＦ１６で得られた画像データを用いて被写体輝度を算出する。ＣＰＵ２０２は、この被写体輝度に従って、露光時の絞り６の開口量（絞り値）、シャッタ１０の開放時間（シャッタ速度値）、撮像素子感度やＩＳＯ感度等を算出する。なお、天体撮影時には、通常、バルブ撮影で行われ、この場合には、ユーザが設定した絞り値とＩＳＯ感度で制御され、ユーザがレリーズボタンを押し込むとシャッタが開放され、再度、レリーズボタンを押し込むとシャッタが閉じられる。したがって、この場合にはＡＥ処理は実行されない。

画像処理部２０８は、撮像素子１４から読み出され撮像素子ＩＦ１６で処理された画像データに画像処理を施す。この画像処理部２０８は、画像位置合わせ部２０８a、比較画像生成部２０８ｂ、天体軌跡予測部２０８ｃおよび画像合成部２０８ｄを有する。

画像位置合わせ部２０８ａは、撮像素子１４から読み出された複数の画像データの内、２枚の画像の位置合わせを行う。画像の位置合わせの詳細については、図３のステップＳ２０２において後述する。この画像位置合わせ部２０８ａは、天体軌跡算出部によるシフト量と回転量の算出に先立って、光学像の内の静止部分について、複数枚の天体画像が重なり合うように天体画像を移動させる画像位置合わせ部として機能する。

比較画像生成部２０８ｂは、位置合わせ結果に基づき２枚の画像を比較し、静止被写体画像、天体画像を生成する。位置合わせした２枚の画像の間で対応する画素値の差分値が閾値以下であれば静止被写体、差分値が閾値より大きければ天体画像として判別する。この静止被写体画像と天体画像生成の詳細については、図３のステップＳ２０４およびＳ２０６において後述する。

天体軌跡予測部２０８ｃは、天体画像から天体の軌跡を示す関数を求める。具体的には、比較画像生成部２０８ｂによって生成された天体画像を用いて、２つの画像を一致させるために必要な位置ずれ量（移動量（Ｘ，Ｙ）と回転角（θ））を算出する。この天体軌跡予測の詳細については、図３のステップＳ２０８において後述する。

この天体軌跡予測部２０８ｃは、撮像素子から読み出された撮影時の異なる複数枚の画像データに基づいて天体の移動軌跡を算出する天体軌跡算出部として機能する。この天体軌跡算出部は、複数枚の画像データから選択した複数枚の天体画像データによって表される複数枚の天体画像の位置合わせ量と撮影時情報に基づき天体の移動軌跡を算出する。また、この天体軌跡算出部は、複数枚の天体画像データによって表せる複数枚の天体画像が重なり合うために必要なシフト量と回転量を算出し、複数枚の天体画像各々の撮影時情報から求めた撮影時間間隔を用いて、所定時間後の天体の移動軌跡を算出する。

画像合成部２０８ｄは、加算合成部２０８ｄ２、比較合成部２０８ｄ４、加算平均合成部２０８ｄ６および動画合成部２０８ｄ８を有する。画像合成部２０８ｄは、天体軌跡算出部により求めた天体移動軌跡によって天体軌跡画像を生成する天体軌跡画像生成部として機能する。また、画像合成部２０８ｄは、上記複数の天体画像から静止部分の画像を生成し、この静止部分の画像に天体軌跡算出部によって算出された天体の移動軌跡の画像を重畳した天体移動軌跡画像を生成する天体軌跡画像生成部として機能する。

加算合成部２０８ｄ２は、対応する画素の画素値を加算して画像を合成する。比較合成部２０８ｄ４は、対応する画素の画素値を比較し、画素値の大きい方または小さい方を選択して画像を合成する。なお、対応する画素の画素値の差分値が閾値以上の場合のみ、画素値の大きい方または小さい方を選択するようにしてもよい。加算平均合成部２０８ｄ６は、対応する画素の画素値の平均値で画像を合成する。動画合成部２０８ｄ８は、複数の合成された静止画を用いて動画とする。

手振れ補正量算出部２１０は、センサ２６の角速度センサ２４２から読み出された角速度を画像データに対応する手振れ補正量へ変換する。画像位置合わせ部２０８ａは、この手振れ補正量に基づいて、位置合わせを行ってもよい。画像の位置合わせの詳細については、図３のステップＳ２０２において後述する。

メモリ制御部２１２は、ＣＰＵ２０２等が、内部メモリ２２、記録メディア２４にアクセスするための制御を行うインターフェイスである。

次に、図２および図３に示すフローチャートを用いて、カメラ１００の撮影動作を説明する。この動作は、ＣＰＵ２０２が内部メモリ２２から制御プログラム２２６を読み込み、この制御プログラム２２６に従って各部を制御することにより実行する。

なお、本フローにおいては、天体軌跡予測モードが設定されている場合の動作を示す。天体軌跡予測モードが設定されている場合には、ユーザがレリーズボタンを少なくとも２回、操作することによって、２枚の画像データを取り込み、この画像データから所定時間後の天体軌跡予測画像を生成し、表示する。また、図２のＳ１１２と図３のＳ２１２の括弧内の表記は、後述する本発明の第１の変形例を示しており、この処理については後述する。

図２のフローチャートがスタートすると、まず、ライブビュー表示を開始する（Ｓ１００）。ここでは、画像処理部２０８が撮像素子１４からの画像信号をライブビュー表示用に画像処理を行い、この画像処理された画像データを用いて、表示素子３０がライブビュー画像を表示する。ライブビュー表示においては、所定時間間隔で撮像素子１４から画像信号を読み出す度にライブビュー画像が更新される。表示素子３０にライブビュー画像が表示されると、撮影者は、ライブビュー画像を確認しながら、構図、ピント位置、撮影条件を被写体に合わせて設定する。

ライビューの表示を行うと、次に、撮影モードの設定を行う（Ｓ１０２）。ユーザは、カメラ操作スイッチ３６を操作することによって撮影モードの設定を行う。撮影モードとしては、例えば、露出マニュアルモード、シャッタ速優先モード、タイムラプス動画モードの設定が可能である。露出マニュアルモードは、絞り値やシャッタ速度値等を撮影者が手動設定可能なモードである。シャッタ速優先モードは、撮影者シャッタ速度を設定すると、適正露光となるように絞り値等を自動調節するモードである。タイムラプス動画モードは、天体の軌跡が次第に生成されていく様子を逐次表示するモードである（例えば、図８参照）。

撮影モードの設定を行うと、次に、レリーズボタンがオンされたか否かを判定する（Ｓ１０４）。前述したように、天体軌跡予測モードが設定されている場合には、少なくとも２回、レリーズボタンの押し下げ操作に応じて画像データの取り込みを行う。このステップでは、天体軌跡予測するための画像取り込み指示用にレリーズボタンが操作されたか否かを判定する。この判定の結果、レリーズボタンが操作されていない場合には、ステップＳ１００に戻る。

ステップ１０４における判定の結果、レリーズボタンが押下された場合には、画像データとログ情報をメモリに保存する（Ｓ１０６）。ここでは、シャッタ１０を開放して撮影を開始する。そして、撮影が終わると、撮像素子ＩＦ１６からの画像データが内部メモリ２２内の画像データバッファ２２２に保存されると共に、撮影時のログ情報がログ情報バッファ２２４に保存される。ログ情報には、撮影日時、手振れ補正量、各種センサ情報が含まれる。撮影モードとして露出マニュアルモードやシャッタ速優先モードが設定されている場合には、ユーザが設定したシャッタ速度で撮影が行われる。

ステップＳ１０６において、画像データとログ情報の保存を行うと、次に、規定枚数撮影済みであるか否かを判定する（Ｓ１０８）。ここで規定枚数は、天体軌跡予測モードにおいて、予測のために取得する撮影枚数であり、この規定枚数はメニュー画面等においてユーザが設定してもよく、またカメラの設計値として決めておいてもよい。この判定のために、ステップＳ１０６において撮影された回数をカウントし、このカウント値と規定枚数を比較する。このステップＳ１０８における判定の結果、撮影済み枚数が規定枚数に達していない場合には、ステップＳ１００に戻り、撮影を行う。

ステップＳ１０８における判定の結果、撮影済み枚数が規定枚数に達すると、次に、天体軌跡予測処理を行う（Ｓ１１０）。ここでは、ステップＳ１０６において取得した規定枚数の画像データを用いて、所定時間後の天体軌跡を予測する。この天体軌跡予測処理の詳しい動作については、図３を用いて後述する。

天体軌跡予測処理を行うと、次に、天体軌跡画像の表示と記録を行う（Ｓ１１２）。ここでは、画像合成部２０８が、ステップＳ１１０における天体軌跡予測処理において生成した天体軌跡画像に、基準画像を合成する。基準画像としては、例えば、複数枚撮影した画像データの内、最も撮影日時が古いものを選択してもよく、また、比較合成部２０８ｄ４によって暗合成を行い、静止部分の画像を生成し、これを基準画像としてもよい。

画像合成部２０８が合成した天体軌跡予測画像は、表示素子３０に表示され、また記録メディア２４に記録される。ユーザは、この合成した天体軌跡画像を見て、意図通りの画像が得られる場合には天体軌跡撮影の長時間露光を開始し、意図通りの画像が得られない場合には、構図等の設定を変更する。また、この合成した天体軌跡画像で十分であれば、この画像を最終画像としてもよい。なお、合成した天体軌跡画像の表示のみ行い、記録を省略してもよく、また記録のみ行い、ユーザは必要に応じて記録された画像を再生表示するようにしてもよい。天体軌跡画像の記録等を行うと、このフローを終了する。

このように、図２に示すフローチャートにおいては、天体軌跡予測モードが設定されている場合には、レリーズボタンが操作されるたびに（Ｓ１０４）、画像データを取得し（Ｓ１０６）、撮影済みの枚数が規定枚数に達すると（Ｓ１０８Ｙｅｓ）、天体軌跡予測処理を行い（Ｓ１１０）、予測処理に結果を用いて、天体軌跡画像を合成する（Ｓ１１２）。このため、ユーザは、天体軌跡撮影のために、長時間露光を開始する前に、予想画像を確認することができ、構図等、撮影条件に起因する失敗を防止することができる。

次に、図３を用いて、ステップＳ１１０における天体軌跡予測処理について説明する。天体軌跡予測処理のフローでは、まず画像選択を行う（Ｓ２００）。ここでは、内部メモリ２２内の画像データバッファ２２２に保存した画像データの中から処理対象となる画像を選択する。画像データバッファ２２２に保存した画像データが２枚の場合には、その２枚を選択する。

画像データバッファ２２２には、ステップＳ１０８における規定枚数に対応した画像データが保存されているので、保存されたデータが３枚以上の場合がある。この場合には、まず撮影時刻（撮影タイミング）が最も古い２枚の画像を選択する。２枚の画像を選択すると、ステップＳ２０２〜Ｓ２０８の処理を行い、ステップＳ２１０における判定の結果、再び、ステップＳ２００に戻ってきた際に、次の２枚を選択する。この場合には、最も古い１枚の画像を除き、残りの画像の中で最も古い２枚の画像を選択し、ステップＳ２０２以下を実行する。この処理をステップＳ２１０における判定の結果、処理待ち画像データがなくなるまで繰り返す。なお、本実施形態においては、古い順に２枚ずつ選択しているが、これに限らず、他の選択方法であっても構わない。

ステップＳ２００において、画像選択を行うと、次に、位置合わせ処理を行う（Ｓ２０２）。ここでは、画像位置合わせ部２０８ａが位置合わせ処理を行う。画像位置合わせ処理としては、画像内において静止している部分の位置合わせを行う。天体写真の内、星等は移動する被写体であり、また地上の家等は、静止している被写体である。また撮影にあたって三脚等で固定されている場合に、三脚等に衝撃が加えられ、途中で撮影方向が変化している可能がある。そこで、静止している部分の画像を比較し、対応する部分が一致するように、位置合わせ処理を行う。この位置合わせ処理は、画像中から家や山等、背景の部分を画像処理によって抽出し、この抽出した部分について位置ずれ量を求め画像が重なり合うように位置合わせ処理を行う。

位置ずれ量の算出は、例えば、ブロックマッチングを用いて位置ずれ量を求める（ブロックマッチングの詳細については、特開２０１３−０９８９３５号参照、概略について図５を用いて後述する）。また、他のマッチング方法として、ＳＨＩＦＴやＳＵＲＦを用いてもよい（特開２０１４−０１１４９７号公報参照）。さらに、手振れ補正量算出部２１０で求めた手振れ補正量を用いてもよい。手振れ補正量とは図２に示すフローチャートのスタートエンドの間において、撮影画像間の位置ずれ量に対する補正量を指す。

ステップＳ２０２において位置合わせ処理を行うと、次に、静止被写体画像の生成を行う（Ｓ２０４）。ここでは、比較画像合成部２０８ｂが、ステップＳ２００において選択した２枚の画像を用いて、静止被写体画像を生成する。例えば、図４（ａ）（ｂ）は、選択された２枚の画像であり、星（白点で表す）と家が写っている。この２枚の画像の中で家の部分が静止被写体であることから、ステップＳ２０４においては、移動体である星を取り除き、図４（ｃ）に示すような静止被写体である家の部分のみからなる静止被写体画像を生成する。

静止被写体画像の生成方法としては、例えば、位置合わせした２枚の画像の間で対応する画素値の差分値が閾値以下の画素値で画像を構成することによって行う（比較暗合成法）。すなわち、移動する被写体の場合には、対応する画素値の差分値は閾値以上となり、静止している被写体の場合には、対応する画素値の差分値は閾値以下となるので、両被写体を識別することができ、静止被写体の画像のみを取り出すことができる。

ステップＳ２０４において静止画被写体画像を生成すると、次に、天体画像を生成する（Ｓ２０６）。天体画像は、ステップＳ２００において選択された画像の中で、星等の移動する被写体からなる画像である。ここでは、比較画像生成部２０８ｂが天体画像を生成する。例えば、前述の図４（ａ）（ｂ）は、選択された２枚の画像であり、家の部分が静止被写体を取り除き、図４（ｄ）（ｅ）に示すように、移動体である星のみからなる天体画像を生成する。なお、図４（ｄ）に示す画像は、図４（ａ）に示す選択画像から生成された天体画像であり、図４（ｅ）に示す画像は、図４（ｂ）に示す選択画像から生成された天体画像である。

天体画像の生成方法としては、例えば、位置合わせした２枚の画像の間で対応する画素値の差分値が閾値以上の画素値で画像を構成することによって行う（比較明合成法）。すなわち、移動する被写体の場合には、対応する画素値の差分値は閾値以上となるので、天体画像のみを取り出すことができる。

ステップＳ２０６において天体画像を生成すると、次に、天体軌跡算出を行う（Ｓ２０８）。ここでは、天体軌跡予測部２０８ｃが、ステップＳ２０６において生成された２枚の天体画像について、２枚の画像を重なり合わせるために必要な移動量（Ｘ，Ｙ）と、回転角（θ）を算出する。移動量（Ｘ，Ｙ）と回転角（θ）の算出方法は、種々あるが、例えば、ブロックマッチング法がある。

このブロックマッチング法により算出方法について、図５および図６を用いて説明する。まず、図５を用いて、移動量（Ｘ，Ｙ）の算出について説明する。図５（ａ）はＮフレーム目の画像であり(図４（ｄ）に対応する画像)、図５（ｂ）はＮ＋１フレーム目の画像であり（図４（ｅ）に対応する画像）、それぞれステップＳ２００において選択された２つの画像とする。Ｎフレーム目においてＡは評価画像であり、Ｎ＋１フレーム目の画像にある評価画像Ａと同じ評価画像Ａｃとの位置ずれを表す移動量をブロックマッチング法で検出する。

移動量（Ｘ，Ｙ）をブロックマッチング法で検出するには、図５（ｂ）に示すＮ＋１フレーム目の画像において、画像をサーチするためのサーチ領域Ｓを定め、左上の隅に評価画像Ａをおき、評価画像の各画素とサーチ領域Ｓの対応領域における各画素の差分の総和を求める。次に、評価画像Ａを１画素分、右に動かし、同様に各画素の差分の総和を求める、以後、順次、評価画像Ａを１画素分ずつ右に動かし、右端に達すると、１画素下げて、同様に１画素分ずつ左端から右に動かしながら、各画素の差分の総和を求める。評価画像Ａのサーチ領域Ｓ内における移動が終わると、差分の総和の中で、一番小さい総和だったときの評価画像Ａの位置と、Ｎフレーム目における評価画像Ａの位置とのずれが、移動量（Ｘ，Ｙ）となる。

回転角（θ）をブロックマッチング法で検出するには、図４（ｄ）に示す選択画像を、図４（ｅ）に示す選択画像と重なり合うまで、回転を少しずつ繰り返す。すなわち、図６に示すように、例えば、図６（ａ）に示すＮフレーム目の画像を、図６（ｂ）に示すように角度で２度回転させ、この画像とＮ＋１フレーム目にあたる図４（ｅ）の画像と各画素の差分の総和を算出する。次に、Ｎフレーム目の画像を図６（ｃ）に示すように角度で４度回転させ、この画像と図４（ｅ）の画像と各画素の差分の総和を算出する。この操作を繰り返し行い、各画素の差分の総和が最小値となる角度を求めると、この角度が回転角（θ）に相当する。

このように、本実施形態においては、ブロックマッチング法を用いて、最も相関がある移動量（Ｘ，Ｙ）と回転角（θ）を求めている。なお、前述したように、マッチング法としてはブロックマッチング法に限らず、ＳＨＩＦＴやＳＵＲＦ等の他のマッチング法を用いてもよい。

ステップＳ２０６において、天体軌跡算出を行うと、次に、処理待ち画像データが無いか否かを判定する（Ｓ２１０）。ここでは、ステップＳ１０８における規定枚数の画像の全てについて、ステップＳ２００〜Ｓ２０８における処理を行ったか否かに基づいて判定する。この判定の結果、処理待ち画像データがあれば、ステップＳ２００に戻り、前述の処理を実行する。

ステップＳ２１０における判定の結果、処理待ち画像がなくなると、次に、天体軌跡画像データを生成する（Ｓ２１２）。ここでは、画像合成部２０８ｄが、ステップＳ２０８において算出した移動量（Ｘ，Ｙ）、回転角（θ）を用いて、所定時間の天体軌跡画像を予想し、生成する。

例えば、基準画像（図４（ｄ）が相当）の撮影時刻が２０時、天体画像（図４（ｅ）が相当）の撮影時刻が２３時とする。撮影者が２０時から２４時までの天体軌跡画像を生成したい場合には、まず、例えば、１０分に相当する移動量（Ｘ，Ｙ）と回転角（θ）を求める。次に基準画像を２０時から１０分間隔に相当する移動量、回転角で画像をアフィン変換する（アフィン変換については、特開２０１２−１９８８０７号公報を参照）。画像は１０分間隔毎に生成されるため、この例では合計で２４枚の画像が生成される。

なお、この例では、撮影時刻２０時から２３時までの３時間の間に撮影を行っているが、この時間はこれよりも長くても短くてもよい。長い方が精度よく予測ができるが、予測画像を得るまでに時間がかかるのであれば、これより短くてもよい。また、１０分間隔で移動量と回転角を予測しているが、この間隔に応じて予測画像における星と星の間隔が決まることから、ユーザの好みに応じて変更するようにしてもよい。

次に、所定時間間隔でアフィン変換された画像が生成されると、基準画像にアフィン変換された生成画像を合成する。この合成にあたっては、比較明合成によって行う。比較明合成は、対応する画素ごとに明るい方の画素値で画像を構成する画像合成方法である（比較明合成の詳細については、特開２０１３−２４００２９号公報参照）。比較明合成で合成した画像に、図４（ｃ）に示すような静止被写体画像を合成すると、図７に示すような、天体軌跡画像が生成される。なお、本実施形態においては、基準画像として、一番最初に撮影した画像を用いているが、これに限らず、他の画像を用いてもよい。

このように、本発明の一実施形態においては、天体軌跡予測モードが設定されている場合に、レリーズボタンが操作される毎に画像データを取り込み内部メモリ２２に保存する（図２のＳ１０６）。内部メモリ２２に保存された画像データが規定枚数に達すると（Ｓ１０８Ｙｅｓ）、取り込んだ画像の位置ずれ量（移動量（Ｘ，Ｙ）と回転角（θ））を算出する天体軌跡予測処理を行う（図２のＳ１１０、および図３）。そして、天体軌跡予測処理で求めた位置ずれ量を用いて、予測した天体軌跡画像を生成する（Ｓ２１２）。

次に、図８を用いて、本発明の一実施形態の第１の変形例について説明する。本発明の一実施形態においては、天体軌跡画像を静止画で生成していた。これに対して、本変形例においては、天体軌跡画像を天体軌跡動画（タイムラプス動画）で生成する。

本変形例は、図２のＳ１１２において、天体軌跡画像の記録に代えて、動画データの記録を行い、図３のＳ２１２において、天体軌跡画像データの生成に代えて、動画データの生成を行う。これ以外は、本発明の一実施形態と同様である。そこで、相違点のみについて説明する。

図３のＳ２１２においては、ステップＳ２００において選択された２枚の画像ごとに、ステップＳ２０８において算出された位置ずれ量に基づく画像を、それぞれ生成する。そして、ステップＳ１１２においては、ステップＳ２１２において、選択された２枚の画像毎に合成された天体軌跡画像を表示・記録する。選択された２枚の画像毎に合成された天体画像を順番に表示すると、例えば、図８に示すように、タイムラプス動画となる。
図８に示す例では、図８（ａ）においては、星は輝点で示されているが、時間が経過した図８（ｂ）では、星が少し伸び、図８（ｃ）、図８（ｄ）と時間が経過するにつれて、次第に、星が伸びていく。このように、このタイムラプス動画では、一番古い画像中の星の輝点が伸びていくような画像となる。

本変形例においては、画像合成部２０８ｄが、天体移動軌跡を所定時間間隔で予測し、この所定時間間隔の天体移動軌跡を順次動画で表示するように天体移動軌跡画像を生成する天体軌跡画像生成部としての機能を果たす。また、画像合成部２０８ｄが、天体画像の内の輝点の軌跡が次第に伸びるように、動画を生成する天体軌跡画像生成部としての機能を果たす。

次に、本発明の一実施形態の第２の変形例について説明する。本発明の一実施形態においては、画像位置合わせ部２０８ａは、画像中の静止している部分の位置合わせをブロックマッチング法等によって行っていた。本変形例は、角速度センサ２４２の検出信号を用いて、カメラの動きに応じて、画像の位置合わせを行う。防振用に設けられている角速度センサの検知出力を用いることができ、また画像処理に比較し簡単に位置合わせを行うことができる。

本変形例においては、角速度センサ２４２が、撮像装置の動きを検出する動きセンサとしての機能を果たす。なお、動きセンサとしては、角速度センサに限らず、例えば、ジャイロや加速度センサ等のカメラの動きを検出できるセンサであればよい。また、画像位置合わせ部２０８ａが、天体軌跡算出部による上記シフト量と回転量の算出に先立って、動きセンサからの出力に基づいて、複数枚の天体画像を移動させる画像位置合わせ部としての機能を果たす。

以上説明したように、本発明の一実施形態や変形例においては、撮像素子から読み出された撮影時の異なる複数枚の画像データに基づいて天体の移動軌跡を算出する天体軌跡算出ステップ（例えば、図２のＳ１１０、図３）と、この天体軌跡算出ステップにより求めた天体移動軌跡によって天体軌跡画像を生成する天体軌跡画像生成ステップ（例えば、図２のＳ１１２）を実行している。また、天体軌跡算出ステップは、複数枚の天体画像データによって表される天体画像が重なり合うに必要なシフト量と回転量を算出し、複数枚の天体画像のそれぞれの撮影時情報から求めた撮影時間間隔を用いて、所定時間後の天体の移動軌跡を算出している（例えば、図５および図６の説明参照）。このため、事前に天体移動軌跡の予想を行い、この天体移動軌跡画像を生成することができる。

なお、本発明の一実施形態や変形例においては、また、位置ずれ量として、移動量（Ｘ，Ｙ）および回転角（θ）を求めていたが、これに限らず、例えば、位置ずれ量を極座標（ｒ，θ）で表し、回転角（θ）と、回転角方向の移動量（ｒ）を求めるようにしてもよく、またＸＹ座標のみで位置ずれ量を求めるようにしてもよい。

また、本発明の一実施形態や変形例においては、画像位置合わせ部２０８ａ、比較画像生成部２０８ｂ、天体軌跡予測部２０８ｃ、画像合成部２０８ｄを、ＣＰＵ２０２とは別体の構成としたが、各部の全部または一部をソフトウエアで構成し、ＣＰＵ２０２によって実行するようにしても勿論かまわない。

また、本発明の一実施形態や変形例においては、撮影のための機器として、デジタルカメラを用いて説明したが、カメラとしては、デジタル一眼レフカメラでもコンパクトデジタルカメラでもよく、ビデオカメラ、ムービーカメラのような動画用のカメラでもよく、さらに、携帯電話、スマートフォン、携帯情報端末（ＰＤＡ：Personal Digital Assist）、パーソナルコンピュータ（ＰＣ）、タブレット型コンピュータ、ゲーム機器等に内蔵されるカメラでも構わない。

また、本明細書において説明した技術のうち、主にフローチャートで説明した制御に関しては、プログラムで設定可能であることが多く、記録媒体や記録部に収められる場合もある。この記録媒体、記録部への記録の仕方は、製品出荷時に記録してもよく、配布された記録媒体を利用してもよく、インターネットを介してダウンロードしたものでもよい。

また、特許請求の範囲、明細書、および図面中の動作フローに関して、便宜上「まず」、「次に」等の順番を表現する言葉を用いて説明したとしても、特に説明していない箇所では、この順で実施することが必須であることを意味するものではない。

本発明は、上記実施形態にそのまま限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化できる。また、上記実施形態に開示されている複数の構成要素の適宜な組み合わせにより、種々の発明を形成できる。例えば、実施形態に示される全構成要素の幾つかの構成要素を削除してもよい。さらに、異なる実施形態にわたる構成要素を適宜組み合わせてもよい。

２・・・撮影光学系、４・・・焦点調整機構、６・・・絞り、８・・・絞り駆動機構、１０・・・シャッタ、１２・・・シャッタ駆動機構、１４・・・撮像素子、１６・・・撮像素子ＩＦ、２０・・・システムコントローラ、２２・・・内部メモリ、２４・・・記録メディア、２４ａ・・・画像ファイル、２６・・・センサ、２８・・・表示素子駆動部、３０・・・表示素子、３２・・・タッチパネル、３４・・・タッチパネル駆動部、３６・・・カメラ操作スイッチ、１００・・・カメラ、２０２・・・ＣＰＵ、２０４・・・ＡＦ制御部、２０６・・・ＡＥ制御部、２０８・・・画像処理部、２０８ａ・・・画像位置合わせ部、２０８ｂ・・・比較画像生成部、２０８ｃ・・・天体軌跡予測部、２０８ｄ・・・画像合成部、２０８ｄ２・・・加算合成部、２０８ｄ４・・・比較合成部、２０８ｄ６・・・加算平均合成部、２０８ｄ８・・・動画生成部、２１０・・・手振れ補正量算出部、２１２・・・メモリ制御部、２２２・・・画像データバッファ、２２４・・・ログ情報バッファ、２２６・・・制御プログラム、２４２・・・角速度センサ、２４６・・・地磁気センサ、２４８・・・ＧＰＳ

Claims (10)

1. 撮像素子と、
   上記撮像素子に光学像を結像させるレンズと、
   上記撮像素子から読み出された撮影時の異なる複数枚の画像データに基づいて天体の移動軌跡を算出する天体軌跡算出部と、
   上記天体軌跡算出部により求めた天体移動軌跡によって天体軌跡画像を生成する天体軌跡画像生成部と、
   を備えたことを特徴とする撮像装置。
2. 上記天体軌跡算出部は、上記複数枚の画像データから選択した複数枚の天体画像データによって表される複数枚の天体画像の位置合わせ量と撮影時情報に基づき天体の移動軌跡を算出することを特徴とする請求項１に記載の撮像装置。
3. 上記天体軌跡算出部は、上記複数枚の天体画像データによって表される複数枚の天体画像が重なり合うに必要なシフト量と回転量を算出し、該複数枚の天体画像のそれぞれの撮影時情報から求めた撮影時間間隔を用いて、所定時間後の天体の移動軌跡を算出することを特徴とする請求項１に記載の撮像装置。
4. 上記天体軌跡算出部による上記シフト量と回転量の算出に先立って、上記光学像の内の静止部分について、上記複数枚の天体画像が重なり合うように上記複数枚の天体画像を移動させる画像位置合わせ部を有することを特徴とする請求項３に記載の撮像装置。
5. 上記撮像装置の動きを検出する動きセンサと、
   上記天体軌跡算出部による上記シフト量と回転量の算出に先立って、上記動きセンサからの出力に基づいて、上記複数枚の天体画像を移動させる画像位置合わせ部と、
   を備えることを特徴とする請求項３に記載の撮像装置。
6. 上記天体軌跡画像生成部は、上記複数の天体画像から静止部分の画像を生成し、この静止部分の画像に上記天体軌跡算出部によって算出された天体の移動軌跡の画像を重畳した天体移動軌跡画像を生成することを特徴とする請求項１に記載の撮像装置。
7. 上記天体軌跡画像生成部は、上記天体移動軌跡を所定時間間隔で予測し、この所定時間間隔の天体移動軌跡を順次動画で表示するように天体移動軌跡画像を生成することを特徴とする請求項６に記載の撮像装置。
8. 上記天体軌跡画像生成部は、天体画像の内の輝点の軌跡が次第に伸びるように、上記動画を生成することを特徴とする請求項７に記載の撮像装置。
9. 撮像素子と、該撮像素子に光学像を結像させるレンズと、を有する撮像装置における制御方法において、
   上記撮像素子から読み出された撮影時の異なる複数枚の画像データに基づいて天体の移動軌跡を算出する天体軌跡算出ステップと、
   上記天体軌跡算出ステップにより求めた天体移動軌跡によって天体軌跡画像を生成する天体軌跡画像生成ステップと、
   を備えたことを特徴とする撮像装置の制御方法。
10. 上記天体軌跡算出ステップは、上記複数枚の天体画像データによって表される複数枚の天体画像が重なり合うに必要なシフト量と回転量を算出し、該複数枚の天体画像のそれぞれの撮影時情報から求めた撮影時間間隔を用いて、所定時間後の天体の移動軌跡を算出することを特徴とする請求項９に記載の撮像装置の制御方法。