JP2015118213A - 画像処理装置およびそれを備えた撮像装置、画像処理方法、プログラム、記憶媒体 - Google Patents

Abstract

【課題】所定の露光時間に応じた天体の日周運動の軌跡の撮影に有利な画像処理装置を提供すること。【解決手段】画像処理装置は、撮像手段（２１０，２２１）から撮影画像を取得する画像取得手段（２２４）と、前記撮影画像に写る天体の天体座標を予測する予測手段（２７２）と、天体座標の情報を記憶する記憶手段（２４５）と、前記記憶された天体座標の情報と前記予測された天体座標とを比較し、前記撮影画像に写る天体の天体座標を特定する特定手段（２７３）と、シミュレーションにおける露光時間を設定する露光時間設定手段（２０６）と、前記露光時間に基づいて前記特定された天体の軌跡を演算し、当該軌跡に基づく前記撮影画像に写る天体の軌跡画像を生成する生成手段（２７４）と、前記生成手段により生成された軌跡画像を撮影画像に合成する合成手段（２７４）と、を有する。【選択図】図１

Description

本発明は、画像処理装置に関し、特にデジタルカメラの天体撮影における画像処理に関する。

天体は、地球が自転しているために、地球から観測するとあたかも天体がゆっくり動いているかのように見える。この現象を日周運動と呼ぶ。

一般的に、天体を撮影する際には被写体が暗いため、長時間の露光が必要である。従って、撮像装置を固定して露光を続けると、その露光時間に応じた天体の日周運動の軌跡を撮影することが出来る。この日周運動の軌跡は、天の北極、もしくは北極星を中心とした同心円状のものであり、毎時およそ１５度ずつの円弧を描く。故に露光時間によって写る軌跡の長さが変わるため、露光時間及び画角を考慮することにより趣深い写真を撮影することが可能である。

特許文献１には、撮影方向の高度角と方位角、撮影位置及び撮影時期を取得し、これらを用いて特定される地点での自然状況をシミュレーションし、さらにシミュレーションされた自然状況を撮影画像に重畳することについて開示されている。

特開平１０−２２１７５２号公報

しかしながら、特許文献１には、例えば、所定の露光時間に応じた天体の日周運動の軌跡を予測するようなシミュレーションプログラムと撮像装置の具体的処理・演算内容については詳細に記述されてはいない。したがって、特許文献１では、所定の露光時間に応じた天体の日周運動の軌跡を撮影するにあたって、どのくらいの露光時間や画角でどのような軌跡を写すことができるのか容易に把握することができなかった。また、その場合、該撮影においては比較的長い露光時間（長秒露光）が必要であることが多く、失敗したときの時間が無駄になってしまうために、手軽に撮影を行うことができなかった。

本発明は、上記の問題に鑑みてなされたものであり、所定の露光時間に応じた天体の日周運動の軌跡の撮影に有利な画像処理装置を提供することを例示的目的とする。

本発明の一側面としての画像処理装置は、撮像手段から撮影画像を取得する画像取得手段と、前記撮影画像に写る天体の天体座標を予測する予測手段と、天体座標の情報を記憶する記憶手段と、前記記憶された天体座標の情報と前記予測された天体座標とを比較し、前記撮影画像に写る天体の天体座標を特定する特定手段と、シミュレーションにおける露光時間を設定する露光時間設定手段と、前記露光時間に基づいて前記特定された天体の軌跡を演算し、当該軌跡に基づく前記撮影画像に写る天体の軌跡画像を生成する生成手段と、前記生成手段により生成された軌跡画像を撮影画像に合成する合成手段と、を有することを特徴とする。

本発明の他の目的及び特徴は、以下の実施例において説明される。

本発明によれば、所定の露光時間に応じた天体の日周運動の軌跡の撮影に有利な画像処理装置を提供することができる。

本発明の一実施形態に係る画像処理のフローチャートである。 図２（ａ）は、本発明の一実施形態に係る撮像装置の構成を示すシステムブロック図である。図２（ｂ）は、本発明の一実施形態に係る撮影時情報取得部の構成を示すシステムブロック図である。図２（ｃ）は、本発明の一実施形態に係る画像処理部の構成を示すシステムブロック図である。 本発明の一実施形態に係る撮像装置の撮影方向の特定する状況を示す模式図である。 本発明の一実施形態に係る撮影画像から天体画素座標を抽出するフローチャートである。 本発明の一実施形態に係る撮影画像に写る天体位置を予測するフローチャートである。 本発明の一実施形態に係る撮影画像から天体の位置を特定するフローチャートである。 本発明の一実施形態に係る撮影範囲を示す図である。 本発明の一実施形態に係る所定の露光時間に応じた天体の日周運動の軌跡を予測した模式図である。 本発明の一実施形態に係る撮影画像から描画不可能な天体を示した模式図である。 本発明の一実施形態に係る画角外の天体に対する補完処理のフローチャートである。 本発明の一実施形態に係る画角外の天体に対する補完処理を示す模式図である。 本発明の一実施形態に係る画角外の天体に対する補完処理を示す模式図である。 本発明の一実施形態に係る前景部に隠れた天体に対する補完処理のフローチャートである。 本発明の一実施形態に係るシミュレーション画像と露光時間の設定画面例を示す図である。

以下に、本発明の好ましい実施の形態を、添付の図面に基づいて詳細に説明する。

図１には、本発明における画像処理のフローチャートを示す。図２には本発明の実施例における撮像装置のシステム構成を示す。

以下、図２を用いて本発明の実施例における撮像装置の構成について詳細に説明する。

２０１は撮像装置（本体）である。なお、図２（ａ）では、撮像装置本体とレンズ装置（撮像光学系）とが一体となった一体型の撮像装置を示しているが、本発明はこれに限らず、レンズ装置が撮像装置本体に対して交換可能（着脱可能）な交換型の撮像装置（撮像システム）にも適用可能である。２１０は撮像光学系であり、ズームレンズ２１１ａ、フォーカスレンズ２１１ｂ、絞り２１２、シャッタ２１３などによって構成される。２３０は撮像光学系制御部であり、撮像光学系２１０における各構成部材を駆動させるための制御手段である。撮像光学系制御部２３０は、ズーム制御部２３１、フォーカス制御部２３２、絞り制御部２３３、シャッター制御部２３４などで構成されている。２２１は撮像光学系２１０を介した光（光学像）を電気信号に変換する撮像素子で、撮像制御部２２２によってタイミング等を制御される。撮像光学系２１０および撮像素子２２１により撮像手段が構成される。２２３は撮像素子２２１のアナログ信号出力をデジタル信号に変換するＡ／Ｄ変換器である。Ａ／Ｄ変換器２２３から出力される信号は、画像入力部（画像取得手段）２２４を介して内部メモリ２４３に格納される。Ａ／Ｄ変換器２２３は、メモリ制御部２４１及びシステム制御部２６０により制御される。２７０は画像処理部であり、Ａ／Ｄ変換器２２３からのデータ或いはメモリ制御部２４１からのデータに対して所定の画素補間処理や色変換処理、そして本発明の天体の軌跡の描画処理を行う。

この画像処理部２７０は、図２（ｃ）に示されるように、輝点画素座標抽出部（輝点画素抽出手段）２７１、天体位置予測部（予測手段）２７２、天体座標位置特定部（特定手段）２７３、天体軌跡描画部（生成手段・合成手段）２７４を有している。また、輝点画素座標抽出部２７１は輝度差分算出部（輝度差分算出手段）２７５と前景判定部（前景判定手段）２７６を有しており、天体軌跡描画部２７４は天体距離算出部２７７を有している。画像入力部２２４と画像処理部２７０は、本発明における画像処理装置として機能する。

２５０は撮影時情報取得部であり、図２（ｂ）に示されるように、位置情報取得部２５１、日時情報取得部２５２、方位情報取得部２５３、姿勢情報取得部２５４、画角情報取得部２５５を有する。

２４１はメモリ制御部であり、Ａ／Ｄ変換器２２３、画像処理部２７０、圧縮伸長部２４２、内部メモリ２４３を制御し、記録メディア２４４へのデータの記録も制御する。また、天体情報記憶部２４５は、地球から見た天体の位置や動きの情報を記憶する。

２２７は画像表示制御部であり、２０７はＴＦＴ，ＬＣＤ等から成る画像表示部（表示手段）である。内部メモリ２４３に書き込まれた表示用の画像データは画像表示制御部２２７を介して画像表示部２０７により表示される。内部メモリ２４３は撮影した静止画像や動画像を格納するためのメモリであり、システム制御部２６０の作業領域としても使用することも可能である。圧縮伸長部２４２は内部メモリ２４３に格納された画像データを読み込んで圧縮処理あるいは伸長処理を行い、処理を終えたデータを再び内部メモリ２４３に書き込む。

システム制御部２６０は撮像装置２０１全体を制御する。２０２、２０３、２０４、２０５、および２０６は、システム制御部２６０の各種の動作指示を入力するための操作手段であり、スイッチやダイアル、タッチパネル等の単数あるいは複数の組み合わせで構成される。２０２は電源のオン／オフを指示するための電源ボタンである。２０３はレリーズボタンであり、静止画を記録するためのシャッタを動作させるトリガ信号や、動画記録をスタートやストップさせるためのトリガ信号として使用される。２０４はズーム操作キーであり、これによりズームレンズ２１１ａを制御し焦点距離を操作する。２０５は撮像装置２０１の機能選択や各種設定を行うためのメニュー操作キーである。２０６は撮像装置の露光時間を設定する露光時間設定ダイヤル（露光時間設定手段）である。

２４６は電源制御部であり、電源ボタン２０２の信号をトリガとして電源２４７より撮像装置２０１に電源を供給する。

以下、図１のフローチャートを用いて本発明における画像処理の流れを詳細に説明する。

まず、本発明における撮像装置２０１は、天体情報記憶部（記憶手段）２４５に、予め記憶された球面座標上の星図データ（天球儀のようなもの）を保持している。この星図データは、実際の地球と天体の距離に関わらず、地球を中心として観測できる天体を半径がＲである球面にしるしたものであり、位置と日時を指定することでその時観測される天体の座標を知ることが出来るようになっている。

図１のフローチャートにおいて、始めにステップＳ１００にて撮影を行う。この撮影で得られる画像データは、プレビュー表示での用途を目的としているので、ＩＳＯ感度を実際の長秒撮影を行うときに設定するＩＳＯ感度より高くしたり、シャッタースピードを速くしたりすることで時間短縮を図ることが望ましい。ただしこのとき、実際の長秒の天体撮影の際に写る天体を数、明るさ共に再現性高くシミュレートする場合には、実際の長秒撮影を行うときに設定する絞り値、ＩＳＯ感度に基づいて、例えばつぎのように露出条件を設定するとよい。時間短縮のためにたとえばシャッタースピードは速くしたとしても、絞り値をより開放側に、あるいはＩＳＯ感度を高感度に露出条件を設定するとよい。また、ライブビュー撮影のように、撮像素子２２１から順次画像データを取得し画像表示部２０７に順次表示するモードにおいて、所定の周期で撮像される画像データに基づいて天体の軌跡画像を生成し、表示される各画像に合成してもよい。この場合、姿勢情報取得部（姿勢検出手段）２５４により撮像装置２０１の姿勢を検出し、姿勢（画角、撮影範囲）が安定してからシミュレート画像として天体の軌跡画像を合成して表示させるようにしてもよい。

また、本撮影においては撮影のタイミングと同時に撮像装置２０１に搭載されたＧＰＳセンサ２５１及び２５２、方位角センサ２５３、及び重力センサ２５４からの出力を取得する。これらは、図２（ｂ）においてそれぞれ位置情報取得部２５１及び日時情報取得部２５２、方位情報取得部２５３、姿勢情報取得部２５４に相当する。つまり、Ｓ１００の撮影と同時に、位置情報取得部（位置情報取得手段）２５１および日時情報取得部（時刻情報取得手段）２５２から、撮影位置（地上の緯度・経度）及び撮影時刻の情報を取得する。方位情報取得部（方位情報取得手段）２５３から、撮像装置２０１の向いている方位φの情報を取得する。姿勢情報取得部（仰角情報取得手段）２５４から、撮影仰角θの情報を取得する。これによって撮像装置２０１の光軸方向、即ち撮影方向を一意に特定することが出来る。この模式図を図３に示す。加えて、画角情報取得部（画角情報取得手段）２５５から、撮像装置２０１の撮影時の画角の情報を取得する。

ステップＳ１００での処理が終了すると、ステップＳ１０１の処理を行う。

ステップＳ１０１では、ステップＳ１００にて得られた撮影画像から天体と思われる部分を抽出する。具体的には、画像データから輝点画素座標抽出部２７１を用いて、エッジの検出を行い前景と天体を判別する。ここで、輝点画素座標抽出部２７１は、撮影画像に対して所定の輝度値以上の輝点画素を抽出する機能を有する。これを図４のフローチャートに示した。また、ステップＳ１０１の天体抽出処理は、現在の撮影画像の撮影範囲に存在する天体のうち、一部しか画面内に写っていないことを前提として、シミュレーションの再現性を高めるために行っているが、これに限らない。すなわち、撮影範囲内（の天体座標）に存在する全ての天体の軌跡をシミュレートする場合は、ステップＳ１０１を省略できる。しかし、この場合、実際の撮影では得られない天体の軌跡もシミュレート画像には写ってしまう可能性がある。

まず、ステップＳ４０１において撮影した画像のエッジの検出を行う。ステップＳ４０１が終わると、ステップＳ４０２の処理を行う。ステップＳ４０２は天体と前景とを分離するために隣接画素間の差分を算出する。一般的に、隣接画素間で輝度値（信号値）の差分が小さい部分においては前景、反対に隣接画素間での輝度値の差分が大きい部分に関しては天体と認識できる。本実施例においては、ステップＳ４０３において輝度値の差分に対して、あるしきい値以上である（所定レベルより大きい）部分を検出し、このエッジ部に囲まれた部分を天体と認識する。ステップＳ４０３において、そのしきい値以上であった場合（ステップＳ４０３のＹＥＳ）、ステップＳ４０４にて、その部分を天体と認識し輝点画素の座標位置を記憶する。一方、しきい値以下と判定された場合（ステップＳ４０３のＮＯ）、ステップＳ４０５にて、この領域を前景と認識し記憶する。以上で図４に示したフローチャートを終了する。ステップＳ１０１での処理が終わるとステップＳ１０２の処理を行う。

ステップＳ１０２では撮影画像に映る天体の天体位置（天体座標）を求める。これにはステップＳ１００にて撮影時に取得した撮像装置２０１の撮影方向の情報と画角情報を使用する。これを図５のフローチャートに示す。以下図５を用いて詳しく説明する。

まず、ステップＳ５０１において、ＧＰＳセンサから緯度、経度及び撮影時刻、方位角センサから撮影方位、重力センサから撮影仰角を取得する。このステップＳ５０１で取得した情報を用いて、ステップＳ５０２において撮影範囲を算出する処理を行う。

いま、ＧＰＳセンサ、方位角センサ及び重力センサから得られた任意の撮影方向ベクトル（ｒ，θ，φ）を考える。なお、θは仰角、φは方位に当たるものとする。これを図７（ａ）に示す。

また、この時の撮影範囲を図７（ｂ）に示す。緯度方向の画角をｄφ、経度方向の画角をｄθとおき、Ａ，Ｂ、Ｃ、Ｄの４点に囲まれた領域を撮影範囲とすると、それぞれの点の座標は前述のパラメータを用いて、

と表すことが出来る。ただし、本実施例において上記の値は撮像装置２０１が緯度及び経度に対してそれぞれ平行である時の撮影範囲の座標を割り出している。しかし、撮像装置２０１が緯度及び経度に関して平行でない場合でも、撮像装置２０１の姿勢を重力センサによって検知可能であれば、同様にして撮影範囲Ａ、Ｂ、Ｃ、Ｄの座標を求めることが可能である。

この撮影範囲を求めることで、ステップＳ１０１において抽出した天体と認識された部分の画素座標を線形的に予測することが出来る。この撮影範囲にステップＳ１０１（ステップＳ５０３）において抽出した輝点画素の座標位置を反映し、画像内の全ての天体の天体座標を予測する。これでステップＳ１０２にて撮影画像内の天体の天体座標の予測が完了し図５のフローチャートが完了する。次に、ステップＳ１０３の処理を行う。

ステップＳ１０３においては、ステップＳ１０２において撮影画像における予測した天体座標と、星図データの天体座標とを照合し、撮影画像内の天体座標の位置を特定する。これを図６のフローチャートに示した。図６において、まずステップＳ６０１では、ステップＳ５０２にて求めた撮影範囲を星図データに適応し、撮影範囲の天体データを取得する。ステップＳ６０１の処理が終了したら、ステップＳ６０２の処理を行う。ステップＳ６０２では、ステップＳ１０２（ステップＳ５０３）において予測した天体座標をステップＳ６０１で取得した星図データの天体座標と比較し、特定する処理を行う。ステップＳ６０２の処理の終了後図６のフローチャートを終える。

星図データと照合し画像内の天体座標が特定されたことで、撮影画像中に北極星が存在しなくともこの座標値を用いて軌跡を描画することが可能となる。ステップＳ１０３の処理が終了するとステップＳ１０４の処理を行う。

ステップＳ１０４においては、ユーザーに対して撮像時に露光時間の設定を行う際に用いる露光時間設定ダイヤル２０６により軌跡を撮影する際のシミュレートする露光時間の設定を促す。ここで、ユーザーにより設定された所定の露光時間をＴとおく。ステップＳ１０４にて露光時間Ｔが設定されると、ステップＳ１０５の処理に進む（Ｓ１０４のＹＥＳ）。露光時間が設定されていない場合、露光時間Ｔの設定を促す（Ｓ１０４のＮＯ）。

ステップＳ１０５ではステップＳ１０３において座標の割り出された天体に関して軌跡の演算処理を行う。これについて以下に詳しく述べる。

まず、北極星Ｓ_Ｈ（あるいは天の北極）の座標を（ｒ，θ_Ｈ，０）、軌跡を描く天体Ｓ_ａの座標を（ｒ，θ_ａ，φ_ａ）と仮定する。

演算の都合上、ｘｙｚ座標系で考える。

上記の文字を使用すると、ｘｙｚ座標系において各天体の位置は、
北極星Ｓ_Ｈ＝（ｒｃｏｓθ_Ｈ ，０ ，ｒｓｉｎθ_Ｈ）
天体Ｓ_ａ＝（ｒｃｏｓθ_ａｃｏｓφ_ａ ，ｒｃｏｓθ_ａｓｉｎφ_ａ ，ｒｓｉｎθ_ａ）
と表すことが出来る。

天体の日周運動は北極星Ｓ_Ｈをほぼ中心として回転する。そこで北極星Ｓ_Ｈをｚ軸上に移動し、ｚ軸を中心に回転させることを考える。

初めに北極星Ｓ_Ｈ（ｒｃｏｓθ_Ｈ ，０ ，ｒｓｉｎθ_Ｈ）を（０ ，０ ，ｒ ）に移動する必要があるため、ｙ軸を中心に負の方向へ（９０°−θ_Ｈ）回転移動させる。この座標変換をＤ_Ｈとおくと、

となる。

北極星Ｓ_Ｈの移動に伴い、同様に天体Ｓ_ａも回転変換する。移動後の天体Ｓ_ａの位置をＳ_ａ’とおくと、ｘ、ｙ、ｚの各成分Ｓ_ａ’ｘ，Ｓ_ａ’ｙ，Ｓ_ａ’ｚは、
Ｓ_ａ’ｘ ＝ ｒｃｏｓθ_ａｃｏｓφ_ａｓｉｎθ_Ｈ−ｒｓｉｎθ_ａｃｏｓθ_Ｈ
Ｓ_ａ’ｙ ＝ ｒｃｏｓθ_ａｓｉｎφ_ａ
Ｓ_ａ’ｚ ＝ ｒｃｏｓθ_ａｃｏｓφ_ａｃｏｓθ_Ｈ−ｒｓｉｎθ_ａｓｉｎθ_Ｈ
となる。

次に、北極星Ｓ_Ｈを中心とした同心円状の軌跡を描く。

描く軌跡の中心角は、ステップＳ１０１においてユーザーが定めた所定の露光時間Ｔの値によって決まる。

天体Ｓ_ａは北極星Ｓ_Ｈを中心に１時間に１５度の速度で回転する。従ってωを単位時間当たりの回転角度とおくと、時刻ｔにおいてＳ_ａ´の位置にある天体が回転移動した位置Ｒ（Ｓ_ａ´，ｔ）は、

これを解いて、
Ｒａｘ ＝ Ｓ_ａ’ｘｃｏｓωｔ−Ｓ_ａ’ｙｓｉｎωｔ
Ｒａｙ ＝ Ｓ_ａ’ｘｓｉｎωｔ＋Ｓ_ａ’ｙｃｏｓωｔ
Ｒａｚ ＝ Ｓ_ａ’ｚ
となる。

この値から先程移動した座標変換Ｄ_Ｈを戻すことで、日周運動によって回転した際の時刻ｔにおける天体Ｓａの位置を予測できる。従って、時刻ｔにおける天体Ｓ_ａの位置Ｓ_ａ（ｔ）は、Ｒ（Ｓａ´，ｔ）をｙ軸周りに正の方向に（９０°−θ_Ｈ）回転変換すればよく、これを解いて、
Ｓ_ａ（ｔ）ｘ ＝ Ｒａｘ ｓｉｎθ_Ｈ−Ｒａｚ ｃｏｓθ_Ｈ
Ｓ_ａ（ｔ）ｙ ＝ Ｒａｙ
Ｓ_ａ（ｔ）ｚ ＝ Ｒａｘ ｃｏｓθ_Ｈ＋Ｒａｚ ｓｉｎθ_Ｈ
となる。

この時刻ｔを０から露光時間Ｔまで変化させ、演算を行うことで天体Ｓａの軌跡を予測することが可能となる。

本実施例において、所定の露光時間に応じた天体の日周運動の軌跡を予測した模式図を図８に示した。北極星を日周運動の回転中心とすると、この露光時間Ｔと北極星と対象天体との距離によって軌跡の長さが決定する。図８において、Ｔは露光時間、ωは日周運動の角速度、即ち１５［度／時間］を示している。北極星からの距離が大きいＬ１の地点にある天体の軌跡は、北極星からの距離がＬ１よりも小さいＬ２の地点にある天体の軌跡よりも長くなる。

しかし、上記の演算方法では、撮影時に露光された天体については軌跡を算出可能であるが、撮影時に露光されなかった天体に関しては軌跡を描くことが出来ない。これに関しては、主に２つのケースがあり、１つ目は撮影時に画角外（撮影範囲以外（撮影範囲周辺）の領域）にあった天体で、露光時間中に画角内に入り込んでくるものである。２つ目は、撮影時に前景に隠れており、露光時間中に現れたものである。これを図９に示す。

そこで、両者に対して別途以下の軌跡補完処理を行う。

まず前者の画角外に存在する天体に対して行う処理を補完処理１とする。補完処理１は露光時間Ｔ中に撮影範囲に入り込むと予測できる天体に関して、星図データより画角外の天体座標を取得し、軌跡を補完する処理を行う。つまり、本発明では、露光時間Ｔに応じて、撮影範囲に入り込む、画角外（撮影範囲以外の領域）にある天体の軌跡の演算も行う。この処理を図１０のフローチャートに示し、以下詳細に説明する。

図３において北極星Ｓ_Ｈの座標を（ｒ，θ_Ｈ，φ_Ｈ）とおき、方位φは北から西へ向かう向きを正とする。はじめに、ステップＳ１００１において撮影画像内に北極星Ｓ_Ｈが存在するかを判定する。判定手段として図１のステップＳ１０３において撮影画像内の天体が特定されているので、それを利用すればよい。

北極星Ｓ_Ｈが撮影画像内に入っている場合、補完対象の辺、即ち天体が画角外から日周運動によって画角内に入り込んでくる可能性のある辺は画角の４辺全てである。従って以下のような方法で補完領域を定める。

撮影画像内に北極星Ｓ_Ｈが存在する時、ステップＳ１００２の処理に進む（Ｓ１００１のＹＥＳ）。ステップＳ１００２では撮影範囲を示す４点（頂点）の中で、北極星Ｓ_Ｈから一番遠い点を求める。これを（ｒ，θ_ｍ，φ_ｍ）として、この２点間の距離をＬｍとする。ステップＳ１００２の処理が終了したら、ステップＳ１００３の処理を行う。

ステップＳ１００３では、北極星を中心として半径を線分Ｌｍとした円領域Ｒｃを算出する。この後にステップＳ１００４において、円領域Ｒｃかつ点Ａ、Ｂ、Ｃ、Ｄで囲まれた撮影範囲（画角領域）以外の共通範囲を求め、これを補完領域とする。これを図１１に図示する。また、計算の過程を以下に示す。

いま、北極星Ｓ_Ｈから画角の４つの頂点で一番遠い頂点の座標を（ｒ，θ_ｍ，φ_ｍ）とすると、北極星Ｓ_Ｈと該北極星Ｓ_Ｈから一番遠い頂点との距離Ｌｍは、

となる。

ここでｒ≒∞であることから円の公式を利用して、求める円領域Ｒｃは、

を満たす（ｒ，θ，φ）である。

図１１においては、（ｒ，θ_ｍ，φ_ｍ）を、

に置き換えればよい。

次に、ステップＳ１００１において、北極星Ｓ_Ｈが画角内に入っていないと判断された場合を考える（ステップＳ１００１のＮＯ）。この時の補完対象の辺を図１２（ａ）に示す。図１２（ａ）において、矢印は天体の日周運動の回転方向を示し、斜線は補完すべき辺を示している。この補完すべき辺に関しては、図１のステップＳ１０３において特定された天体の位置の情報を用いればよい。これがステップＳ１００５の処理である。

次にステップＳ１００６において、撮影範囲を示す点Ａ、Ｂ、Ｃ、Ｄのうち、これらの辺に含まれる頂点に関して下記の計算を行い、補完処理を行う領域を求める。

具体的には、補完対象である辺の各点と北極星Ｓ_Ｈとを結ぶ線分を半径、ステップＳ１０４において設定された露光時間をＴと、日周運動の角速度をωとして、北極星Ｓ_Ｈを中心に負の方向にωＴ回転させる処理を行う。ステップＳ１００７において、この時に補完対象である辺が通った部分を補完領域とする。

例えば、撮影範囲が図１２（ａ）のＰに示す位置であった場合を考える。同図より、補完対象となる辺は図７（ｂ）に示されるところの辺ＡＢ及び辺ＢＣである。これらの辺に含まれる頂点Ａ、Ｂ及びＣの座標について、北極星Ｓ_Ｈの座標を中心にωＴ、負の方向に回転させる。

いま、対象となる点の座標をＳ_ｐ（ｒ，θ_ｐ，φ_ｐ）とおく。回転の中心は北極星Ｓ_Ｈであるため、前述の通りｘｙｚ座標系において
北極星Ｓ_Ｈ（ｒｃｏｓθ_Ｈ ，０ ，ｒｓｉｎθ_Ｈ）を（０ ，０ ，ｒ ）に移動する。

北極星Ｓ_Ｈの移動に伴い、同様にＳ_ｐも移動させる。移動後の座標をＳ_ｐ’とおくと、各ｘｙｚ成分は、
Ｓ_ｐ’ｘ ＝ ｒｃｏｓθ_ｐｃｏｓφ_ｐｓｉｎθ_Ｈ−ｒｃｏｓθ_Ｈｃｏｓθ_ｐ
Ｓ_ｐ’ｙ ＝ ｒｃｏｓθ_ｐｓｉｎφ_ｐ
Ｓ_ｐ’ｚ ＝ ｒｃｏｓθ_ｐｃｏｓφ_ｐｃｏｓθ_Ｈ＋ｒｓｉｎθ_ｐｓｉｎθ_Ｈ
となる。

次に、北極星Ｓ_Ｈを中心として上記の座標を負の方向にωＴ回転する。

求める回転移動後の座標Ｒ（Ｓｐ´，ｔ）は、

これを解いて、
Ｒｐｘ ＝ Ｓ_ｐ’ｘｃｏｓωｔ＋Ｓ_ｐ’ｙｓｉｎωｔ
Ｒｐｙ ＝ −Ｓ_ｐ’ｘｓｉｎωｔ＋Ｓ_ｐ’ｙｃｏｓωｔ
Ｒｐｚ ＝ Ｓ_ｐ’ｚ
となる。

この値から先程ｙ軸を中心に回転移動したＤ_Ｈを戻して、
Ｓ_ｐ（Ｔ）ｘ ＝ Ｒｐｘ ｓｉｎθ_Ｈ−Ｒｐｚ ｃｏｓθ_Ｈ
Ｓ_ｐ（Ｔ）ｙ ＝ Ｒｐｙ
Ｓ_ｐ（Ｔ）ｚ ＝ Ｒｐｘ ｃｏｓωＴ＋Ｓ_ｐ’ｚ ｓｉｎθ_Ｈ
となる。

これを図１２（ｂ）で説明する。補完対象である辺ＡＢ及び辺ＢＣの各点Ａ、Ｂ、Ｃに適用して、上記の式によって算出される点を上記の演算によって求めた点を各々Ａ´、Ｂ´、Ｃ´とおくと、補完領域はＡＡ´Ｂ´Ｃ´ＣＢによって囲まれる領域である。

そして、補完処理１では、Ｓ１００８にて、ステップＳ１００４とステップＳ１００７にて設定した補完領域に関して、星図データより存在しうる天体の座標を補完する。そして、ステップＳ１００９にて補完された天体に対して前述の軌跡演算処理を行い、図１０のフローチャートを終える。

次に後者の前景部に隠れる天体に対して行う処理を補完処理２として、図１３のフローチャートを用いて説明する。

まず、ステップＳ１３０１では、図４のステップＳ４０５にて前景と判定された領域を取得する。ステップＳ１３０１の処理が終わると、ステップＳ１３０２の処理を行う。ステップＳ１３０２では星図データより前景の領域に隠れた天体の座標を補完する。その後、このステップＳ１３０２で補完した座標に対してステップＳ１３０３にて、前述の軌跡演算処理を行い、図１３のフローチャートを終える。

以上ステップＳ１０５において軌跡の予測演算が終わると、ステップＳ１０６にて撮影画像に予測した軌跡画像の生成処理を行う。具体的には、ステップＳ１０５において予測した３次元で表現された軌跡を２次元表現（座標）に変換し、ステップＳ１０１にて抽出された各天体の信号レベルに基づいて各軌跡の明るさを設定して軌跡画像を生成する。または実際の撮影のために設定されている露出条件に基づいて各軌跡の明るさを決めてもよい。

生成された軌跡画像は撮影画像に合成（重畳）する。ここで、軌跡画像はMR（Mixed Reality）画像であることを知らしめるために、撮影画像に重畳するのではなく、所定の合成比率で合成して、透過表示させてもよい。

この時に、ステップＳ１０５にて予測した軌跡がステップＳ１０１にて分離した前景と重複する箇所が発生する場合があるが、その場合は前景の画素データを優先する。ステップＳ１０６の処理が終わると、ステップＳ１０７の処理を行う。

ステップＳ１０７においては、ステップＳ１０６にて描画処理された画像データを画像表示部２０７にプレビュー表示する。

後に、ステップＳ１０８においてユーザーはこのプレビューされた画像を見て、シミュレートとして設定した露光時間Ｔが適当であるかの判断を行う。適当と判断されると、天体の軌跡予測処理は終了する（ステップＳ１０８のＹＥＳ）。ユーザーが露光時間Ｔは適当でないと判断した場合にはステップＳ１０４に戻り、露光時間Ｔを設定し直す（ステップＳ１０８のＮＯ）。

ここで、ステップＳ１０４の露光時間Ｔを設定する他の設定例を説明する。図１４（ａ）（ｂ）は、再生画像または撮像素子２２１から順次取得されるライブビュー画像について軌跡シミュレーションを行っているときの画像と設定画面の画像表示部２０７での表示例を説明する図である。撮像画像に対して現在設定されているシミュレートする露光時間Ｔに基づいて算出された軌跡が合成されている。図１４（ａ）の画面下部の設定画面では、シミュレートする露光時間１４０１、露光時間１４０１を調整するためのマイナスアイコンとプラスアイコンの調整アイコン１４０２、軌跡シミュレーションモードであることを示すモード表示１４０３で構成されている。露光時間１４０１はプルダウンや直接入力で露光時間を設定することもできる。調整アイコン１４０２は物理キー、タッチ等でアイコンを選択することでそれぞれ露光時間をマイナス、あるいはプラス側に所定幅単位で調整可能である。調整アイコン１４０２の操作時に調整される露光時間の調整幅は固定でもよいし、可変でもよい。例えば、現在撮影されている天体と撮影位置の情報から、画面上で調整の前後で変化がわかる程度に軌跡が所定の長さ以上変化するように露光時間の調整幅を設定してもよい。調整アイコン１４０２としては他にもバーアイコンなどが考えられる。図１４（ｂ）は、図１４（ａ）で露光時間を設定できた調整アイコン１４０２の代わりに、軌跡の長さで設定する調整アイコン１４０４を備える例である。調整アイコン１４０４では、軌跡の長さを短、中、長などの複数段階で設定可能とし、各設定に対応する露光時間は露光時間１４０１に表示される。また、調整アイコン１４０４についてもバーアイコンで設定可能としてもよい。

これにより、本発明によれば、撮影される日周運動の軌跡が本撮影（長秒露光）前に把握可能（予測可能）であるため、構図等の失敗を防止することができる。

本実施形態では、ステップＳ１０５の軌跡の予測演算の際に軌跡演算する対象となる天体を絞り込むため、上記のように北極星を検出する処理や画角外、前景で隠れた天体がないかの検出処理を行った。しかし、これに限らず、撮影範囲から所定範囲（割合）分大きな範囲において存在する天体の軌跡を算出し、撮影範囲内に入るかどうかを軌跡の座標から判定するなどしてもよい。さらには、前景に隠れた天体や画角外の天体が存在し、露光時間の設定によっては撮影範囲内に軌跡が表れることをユーザに知らしめるために、撮影範囲の周囲の所定範囲の領域も表示領域とし、そこに存在する軌跡も併せて表示してもよい。

以上、本発明をその好適な実施形態に基づいて詳述してきたが、本発明はこれら特定の実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の様々な形態も本発明に含まれる。上述の実施形態の一部を適宜組み合わせてもよい。また、前述した実施形態の機能を実現するための手順が記述されたソフトウェアのプログラムコードを記録した記憶媒体を、システム又は装置に供給する場合も本発明に含む。また、上述の実施形態の機能を実現するソフトウェアのプログラムを、記録媒体から直接、或いは有線／無線通信を用いてプログラムを実行可能なコンピュータを有するシステム又は装置に供給し、そのプログラムを実行する場合も本発明に含む。従って、本発明の機能処理をコンピュータで実現するために、該コンピュータに供給、インストールされるプログラムコード自体も本発明を実現するものである。つまり、本発明の機能処理を実現するためのコンピュータプログラム自体も本発明に含まれる。その場合、プログラムの機能を有していれば、オブジェクトコード、インタプリタにより実行されるプログラム、ＯＳに供給するスクリプトデータ等、プログラムの形態を問わない。プログラムを供給するための記録媒体としては、例えば、ハードディスク、磁気テープ等の磁気記録媒体、光／光磁気記憶媒体、不揮発性の半導体メモリでもよい。また、プログラムの供給方法としては、コンピュータネットワーク上のサーバに本発明を形成するコンピュータプログラムを記憶し、接続のあったクライアントコンピュータがコンピュータプログラムをダウンロードしてプログラムするような方法も考えられる。

本発明は、天体の日周運動の軌跡を撮影可能なデジタルカメラやビデオカメラなどの撮像装置に好適に利用できる。

２０６ 露光時間設定ダイヤル
２２４ 画像入力部
２４５ 天体情報記憶部
２７２ 天体位置予測部
２７３ 天体座標位置特定部
２７４ 天体軌跡描画部

Claims (21)

1. 撮像手段から撮影画像を取得する画像取得手段と、
   前記撮影画像に写る天体の天体座標を予測する予測手段と、
   天体座標の情報を記憶する記憶手段と、
   前記記憶された天体座標の情報と前記予測された天体座標とを比較し、前記撮影画像に写る天体の天体座標を特定する特定手段と、
   シミュレーションにおける露光時間を設定する露光時間設定手段と、
   前記露光時間に基づいて前記特定された天体の軌跡を演算し、当該軌跡に基づく前記撮影画像に写る天体の軌跡画像を生成する生成手段と、
   前記生成手段により生成された軌跡画像を撮影画像に合成する合成手段と、
   を有することを特徴とする画像処理装置。
2. 撮像手段から撮影画像を取得する画像取得手段と、
   前記撮影画像に写る天体の天体座標を予測する予測手段と、
   天体座標の情報を記憶する記憶手段と、
   前記記憶された天体座標の情報と前記予測された天体座標とを比較し、前記撮影画像に写る天体の天体座標を特定する特定手段と、
   シミュレーションにおける天体の軌跡の長さを設定する設定手段と、
   前記特定された天体座標と、前記シミュレーションにおける天体の軌跡の長さに基づいて、前記撮影画像に写る天体の軌跡画像を生成する生成手段と、
   前記生成手段により生成された軌跡画像を撮影画像に合成する合成手段と、
   を有することを特徴とする画像処理装置。
3. 前記予測手段は、撮影位置および撮影方位から、前記撮影画像を撮像する際の前記撮像手段の撮影範囲を特定し、前記撮影範囲に基づいて前記撮影画像に写る天体の天体座標を予測することを特徴とする請求項１または２に記載の画像処理装置。
4. 前記予測手段は、撮影仰角、撮影時の画角に基づいて前記撮影範囲を特定することを特徴とする請求項３に記載の画像処理装置。
5. 撮影時刻を取得する時刻情報取得手段を有し、
   前記予測手段は、前記撮影時刻及び前記撮影範囲に基づいて前記撮影画像に写る天体の天体座標を予測することを特徴とする請求項３または４に記載の画像処理装置。
6. 前記撮影画像に対して信号レベルが所定レベルより大きい輝点画素を抽出する輝点画素抽出手段を有し、
   前記予測手段は、抽出された前記輝点画素の座標位置に基づいて前記撮影画像に写る天体の天体座標を予測することを特徴とする請求項１乃至５のいずれか１つに記載の画像処理装置。
7. 前記予測手段は、前記記憶された天体座標の情報から前記撮影画像を撮像する際の前記撮像手段の撮影範囲を特定することを特徴とする請求項１乃至６のいずれか１つに記載の画像処理装置。
8. 前記生成手段は、露光時間の設定に応じて、前記撮影画像を撮像する際の前記撮像手段の撮影範囲周辺の領域にある天体の天体座標を特定し、軌跡を演算することを特徴とする請求項１乃至７のいずれか１つに記載の画像処理装置。
9. 前記撮影画像内で画素間の信号値の差分を算出する差分算出手段と、
   前記差分に基づいて前記撮影画像における前景部の判定を行う前景判定手段と、を有し、
   前記生成手段は、露光時間に応じて、前記撮影画像のうち前記前景部と判定された領域にある天体の軌跡を算出することを特徴とする請求項１乃至８のいずれか１つに記載の画像処理装置。
10. 前記合成手段は、前記軌跡と前記前景部とが重複する箇所は、前記前景部に、より大きな重みをつけて合成することを特徴とする請求項９に記載の画像処理装置。
11. 前記予測手段が前記天体座標の予測に用いる撮影画像は、シミュレーションする撮影の露出条件に基づいた露出条件で撮像された画像であることを特徴とする請求項１乃至１０のいずれか１つに記載の画像処理装置。
12. 前記予測手段が前記天体座標の予測に用いる撮影画像の絞り値及びＩＳＯ感度は、シミュレーションする撮影の絞り値よりも開放側か、シミュレーションする撮影のＩＳＯ感度よりも高感度であることを特徴とする請求項１乃至１１のいずれか１つに記載の画像処理装置。
13. 前記軌跡画像が合成された撮影画像を表示する表示手段を有することを特徴とする請求項１乃至１２のいずれか１つに記載の画像処理装置。
14. 前記表示手段は、前記撮像手段が所定の周期で撮像する撮影画像に前記軌跡画像が合成された撮影画像を順次表示することを特徴とする請求項１３に記載の画像処理装置。
15. 前記表示手段は、露光時間の調整をプラスあるいはマイナスに所定幅単位で指示でき、当該指示のためのアイコンを表示することを特徴とする請求項１３または１４に記載の画像処理装置。
16. 前記所定幅は前記軌跡が調整の前後で所定の長さ以上変化するように設定されることを特徴とする請求項１５に記載の画像処理装置。
17. 撮像手段と、
    撮影位置を取得する位置情報取得手段と、
    撮影方位を取得する方位情報取得手段と、
    請求項１３乃至１６のいずれか１つに記載の画像処理装置と、
    を有することを特徴とする撮像装置。
18. 撮像装置の姿勢を検出する姿勢検出手段を有し、
    前記表示手段は、前記姿勢検出手段により検出される姿勢が安定してから前記軌跡画像が合成された撮影画像を表示することを特徴とする請求項１７に記載の撮像装置。
19. 撮像手段から撮影画像を取得する画像取得ステップと、
    前記撮影画像に写る天体の天体座標を予測する予測ステップと、
    天体座標の情報を記憶する記憶手段から得られる前記天体座標の情報と前記予測された天体座標とを比較し、前記撮影画像に写る天体の天体座標を特定する特定ステップと、
    シミュレーションにおける露光時間を設定する露光時間設定ステップと、
    前記露光時間に基づいて前記特定された天体の軌跡を演算し、当該軌跡に基づく前記撮影画像に写る天体の軌跡画像を生成する生成ステップと、
    前記生成ステップにより生成された軌跡画像を撮影画像に合成する合成ステップと、
    を有することを特徴とする画像処理方法。
20. 請求項１９に記載の画像処理方法の手順が記述されたコンピュータで実行可能なプログラム。
21. コンピュータに、請求項１９に記載の画像処理方法の各工程を実行させるためのプログラムが記憶されたコンピュータが読み取り可能な記憶媒体。