JP2019029753A - 電子機器、画像補正方法および画像補正プログラム - Google Patents

Abstract

【課題】より簡便に天体撮影が可能な電子機器を提供する。【解決手段】制御部と、制御部によって制御される撮像部と、撮像部で撮影された画像を表示する表示部と、を備えた電子機器であって、制御部は、撮像部を介して天体撮影をする場合に、日周運動に起因して発生する天体の回転を打ち消すように、撮像部を介して得られた画像を回転させる補正を行う。【選択図】図１５

Description

本技術は、電子機器、画像補正方法および画像補正プログラムに関する。

例えば特許文献１には、ガイド画像に従って、容易、かつ正確に被写体を捉えて撮影を行うことが可能な撮像装置が開示されている。

特開２００８−１７２２３号公報

特許文献１に開示の撮像装置では、例えば、天体撮影のためには、種々の情報が必要であり、種々の情報を処理してガイド画像を作成するために複雑な処理が必要であった。

本技術は上述の点に鑑みてなされたものであり、より簡便に天体撮影が可能な電子機器を提供することを目的とする。

電子機器、画像補正方法および画像補正プログラムが開示される。１つの実施の形態は、電子機器であって、制御部と、制御部によって制御される撮像部と、撮像部で撮影された画像を表示する表示部と、を備え、制御部は、撮像部を介して天体撮影をする場合に、日周運動に起因して発生する天体の回転を打ち消すように、撮像部を介して得られた画像を回転させる補正を行う。

他の１つの実施の形態は、撮像部で撮影された画像の画像補正方法であって、撮像部を介して天体撮影をする場合に、日周運動に起因して発生する天体の回転を打ち消すように、前記撮像部を介して得られた画像を回転させるステップを備える。

他の１つの実施の形態は、撮像部で撮影された画像の画像補正プログラムであって、前記撮像部を介して天体撮影をする場合に、日周運動に起因して発生する天体の回転を打ち消すように、前記撮像部を介して得られた画像を回転させるステップを備える。

本技術に係る電子機器、画像補正方法および画像補正プログラムによれば、より簡便に天体撮影を行うことができる。

電子機器の外観の一例を示す斜視図である。 電子機器の外観の一例を示す平面図である。 電子機器の電気的構成の一例を示すブロック図である。 通常のカメラ設定で撮影した夜空の一例を示す図である。 長時間露光により撮影した夜空の一例を示す図である。 日周運動による星の光跡とその回転中心を模式的に示す図である。 日周運動による星の光跡とその回転中心を模式的に示す図である。 日周運動する星を撮影した場合の光跡の発生と、それを解消する補正方法を模式的に示す図である。 歪曲収差を含んだ画像の一例を示す図である。 歪曲収差を補正した画像の一例を示す図である。 中心射影による画像における星の光跡の一例を示す図である。 等距離射影による画像における星の光跡の一例を示す図である。 中心射影による画像を等距離射影による画像に変換する方法の一例を説明する図である。 中心射影による画像を等距離射影による画像に変換する方法の一例を説明する図である。 天体撮影時の処理動作を説明するフローチャートの一例である。 天体撮影モードで撮影した夜空の一例を示す図である。 天体撮影時の処理動作を説明するフローチャートの他の一例である。

図１および図２は、それぞれ、電子機器１０の外観の一例を概略的に示す斜視図および背面図である。電子機器１０は、例えば、スマートフォン等の携帯電子機器である。図１および図２に示されるように、電子機器１０は、平面視で例えば略長方形の板状の機器ケース１１を備えている。機器ケース１１は電子機器１０の外装を構成している。

機器ケース１１の前面１１ａには、文字、記号、図形等の各種情報が表示される表示領域１２が位置している。表示領域１２の背面側にはタッチパネル１３０（後述の図３参照）が位置している。これにより、ユーザは、電子機器１０の前面の表示領域１２を指等で操作することによって、電子機器１０に対して各種情報を入力することができる。なお、ユーザは、指以外の操作子、例えば、スタイラスペンなどのタッチパネル用ペンで表示領域１２を操作することによっても、電子機器１０に対して各種情報を入力することができる。

機器ケース１１の前面１１ａの上端部にはレシーバ穴１３が位置している。機器ケース１１の前面１１ａの下端部にはスピーカ穴１４が位置している。機器ケース１１の下側の側面１１ｃにはマイク穴１５が位置している。

機器ケース１１の前面１１ａの上端部においては、後述する第１カメラ１８０が有するレンズ１８１が視認可能となっている。図２に示されるように、機器ケース１１の背面１１ｂの上端部においては、後述する第２カメラ１９０が有するレンズ１９１が視認可能となっている。

電子機器１０は、複数の操作ボタン２２で構成される操作ボタン群２２０（後述の図３参照）を備えている。複数の操作ボタン２２のそれぞれはハードウェアボタンである。具体的には、複数の操作ボタン２２のそれぞれは押しボタンである。なお、操作ボタン群２２０に含まれる少なくとも１つの操作ボタン２２は、表示領域１２に表示されるソフトウェアボタンであってもよい。

操作ボタン群２２０には、機器ケース１１の前面１１ａの下端部に位置する操作ボタン２２ａ，２２ｂおよび２２ｃが含まれる。また、操作ボタン群２２０には、機器ケース１１の表面に位置する図示しない電源ボタンおよびボリュームボタンが含まれる。

操作ボタン２２ａは、例えばバックボタンである。バックボタンは、表示領域１２の表示を１つ前の表示に切り替えるための操作ボタンである。ユーザが操作ボタン２２ａを操作することよって、表示領域１２の表示が１つ前の表示に切り替わる。操作ボタン２２ｂは、例えばホームボタンである。ホームボタンは、表示領域１２にホーム画面を表示させるための操作ボタンである。ユーザが操作ボタン２２ｂを操作することよって、表示領域１２にホーム画面が表示される。操作ボタン２２ｃは、例えば履歴ボタンである。履歴ボタンは、電子機器１０で実行されたアプリケーションの履歴を表示領域１２に表示させるための操作ボタンである。ユーザが操作ボタン２２ｃを操作することよって、表示領域１２には、電子機器１０で実行されたアプリケーションの履歴が表示される。

図３は、電子機器１０の電気的構成の一例を概略的に示すブロック図である。図３に示されるように、電子機器１０は、制御部１００、無線通信部１１０、表示部１２０、タッチパネル１３０および操作ボタン群２２０を備える。さらに電子機器１０は、衛星信号受信部１４０、レシーバ１５０、スピーカ１６０、マイク１７０、第１カメラ１８０、第２カメラ１９０、加速度センサ２００および電池２３０を備える。電子機器１０が備えるこれらの構成要素は、機器ケース１１内に収められている。

制御部１００は、電子機器１０の他の構成要素を制御することによって、電子機器１０の動作を統括的に管理することが可能である。制御部１００は制御回路とも言える。制御部１００は、以下にさらに詳細に述べられるように、種々の機能を実行するための制御および処理能力を提供するために、少なくとも１つのプロセッサを含む。

少なくとも１つのプロセッサは、単一の集積回路（ＩＣ）として、または複数の通信可能に接続された集積回路ＩＣおよび／またはディスクリート回路（discrete circuits）として実行されてもよい。少なくとも１つのプロセッサは、種々の既知の技術に従って実行されることが可能である。

１つの実施形態において、プロセッサは、例えば、関連するメモリに記憶された指示を実行することによって１以上のデータ計算手続きまたは処理を実行するように構成された１以上の回路またはユニットを含む。他の実施形態において、プロセッサは、１以上のデータ計算手続きまたは処理を実行するように構成されたファームウェア（例えば、ディスクリートロジックコンポーネント）であってもよい。

プロセッサは、１以上のプロセッサ、コントローラ、マイクロプロセッサ、マイクロコントローラ、特定用途向け集積回路（ＡＳＩＣ）、デジタル信号処理装置、プログラマブルロジックデバイス、フィールドプログラマブルゲートアレイ、またはこれらのデバイス若しくは構成の任意の組み合わせ、または他の既知のデバイスおよび構成の組み合わせを含み、以下に説明される機能を実行してもよい。

本例では、制御部１００は、ＣＰＵ（Central Processing Unit）１０１、ＤＳＰ（Digital Signal Processor）１０２および記憶部１０３を備えている。記憶部１０３は、ＲＯＭ（Read Only Memory）およびＲＡＭ（Random Access Memory）などの、ＣＰＵ１０１およびＤＳＰ１０２が読み取り可能な非一時的な記録媒体を含む。記憶部１０３が有するＲＯＭは、例えば、不揮発性メモリであるフラッシュＲＯＭ（フラッシュメモリ）である。記憶部１０３には、電子機器１０を制御するための複数の制御プログラム１０３ａ等が記憶されている。制御部１００の各種機能は、ＣＰＵ１０１およびＤＳＰ１０２が記憶部１０３内の各種の制御プログラム１０３ａを実行することによって実現される。

なお、制御部１００の全ての機能あるいは制御部１００の一部の機能は、その機能の実現にソフトウェアが不要なハードウェア回路によって実現されてもよい。また、記憶部１０３は、ＲＯＭおよびＲＡＭ以外の、コンピュータが読み取り可能な非一時的な記録媒体を備えていてもよい。記憶部１０３は、例えば、小型のハードディスクドライブおよびＳＳＤ（Solid State Drive）などを備えていてもよい。

記憶部１０３内の複数の制御プログラム１０３ａには、様々なアプリケーション（アプリケーションプログラム）が含まれている。記憶部１０３には、例えば、音声通話およびビデオ通話を行うための通話アプリケーション、ウェブサイトを表示するためのブラウザ、電子メールの作成、閲覧および送受信を行うためのメールアプリケーションが記憶されている。また、記憶部１０３には、第１カメラ１８０および第２カメラ１９０を利用して天体撮影を行うためのカメラアプリケーション、記憶部１０３に記録されている静止画および動画を表示するための記録画像表示アプリケーションなどが記憶されている。記憶部１０３内の少なくとも１つのアプリケーションは、記憶部１０３内に予め記憶されているものであってよい。また、記憶部１０３内の少なくとも１つのアプリケーションは、電子機器１０が他の装置からダウンロードして記憶部１０３内に記憶したものであってよい。

無線通信部１１０は、アンテナ１１１を有している。無線通信部１１０は、アンテナ１１１を用いて、例えば複数種類の通信方式で無線通信することが可能である。無線通信部１１０の無線通信は、制御部１００によって制御される。

無線通信部１１０は、アンテナ１１１で受信した信号に対して増幅処理等の各種処理を行い、処理後の受信信号を制御部１００に出力する。制御部１００は、入力される受信信号に対して各種処理を行って、当該受信信号に含まれる情報を取得する。また、制御部１００は、情報を含む送信信号を無線通信部１１０に出力する。無線通信部１１０は、入力される送信信号に対して増幅処理等の各種処理を行って、処理後の送信信号をアンテナ１１１から無線送信する。

表示部１２０は、電子機器１０の前面に位置する表示領域１２と、表示パネル１２１とを備えている。表示部１２０は、表示領域１２に各種情報を表示することが可能である。表示パネル１２１は、例えば、液晶表示パネルあるいは有機ＥＬパネルである。表示パネル１２１は、制御部１００によって制御されることによって、文字、記号、図形などの各種情報を表示することが可能である。表示パネル１２１は、機器ケース１１内において、表示領域１２と対向している。表示パネル１２１に表示される情報は表示領域１２に表示される。

タッチパネル１３０は、表示領域１２に対する指等の操作子による操作を検知することが可能である。タッチパネル１３０は、例えば、投影型静電容量方式のタッチパネルである。タッチパネル１３０は、例えば、表示領域１２の裏側に位置する。ユーザが指等の操作子によって表示領域１２に対して操作を行ったとき、その操作に応じた電気信号をタッチパネル１３０は制御部１００に出力することが可能である。制御部１００は、タッチパネル１３０からの電気信号（出力信号）に基づいて、表示領域１２に対して行われた操作の内容を特定することが可能である。そして制御部１００は、特定した操作内容に応じた処理を行うことが可能である。

操作ボタン群２２０の各操作ボタン２２は、ユーザによって操作されると、操作されたことを示す操作信号を制御部１００に出力することが可能である。これにより、制御部１００は、各操作ボタン２２について、当該操作ボタン２２が操作されたか否かを判断することができる。操作信号が入力された制御部１００が他の構成要素を制御することによって、電子機器１０では、操作された操作ボタン２２に割り当てられている機能が実行される。

衛星信号受信部１４０は、測位衛星が送信する衛星信号を受信することが可能である。そして、衛星信号受信部１４０は、受信した衛星信号に基づいて、電子機器１０の位置情報を取得することが可能である。この位置情報には、例えば、電子機器１０の位置を示す緯度および経度が含まれる。

衛星信号受信部１４０は、例えばＧＰＳ受信機であって、ＧＰＳ（Global Positioning System）の測位衛星からの無線信号を受信することが可能である。衛星信号受信部１４０は、受信した無線信号に基づいて電子機器１０の現在位置を例えば緯度および経度で算出し、算出した緯度および経度を含む位置情報を制御部１００に出力する。

マイク１７０は、電子機器１０の外部から入力される音を電気的な音信号（音情報とも呼ぶ）に変換し、この音信号を制御部１００に出力することが可能である。電子機器１０の外部からの音は、マイク穴１５から電子機器１０の内部に取り込まれてマイク１７０に入力される。

スピーカ１６０は、例えばダイナミックスピーカである。スピーカ１６０は、制御部１００からの電気的な音信号を音に変換し、この音を外部に出力することが可能である。スピーカ１６０から出力される音は、スピーカ穴１４から外部に出力される。

レシーバ１５０は受話音を出力することが可能である。レシーバ１５０は例えばダイナミックスピーカである。レシーバ１５０は、制御部１００からの電気的な音信号を音に変換し、この音を外部に出力することが可能である。ユーザは、レシーバ穴１３から出力される音を、当該レシーバ穴１３に耳を近づけることによって聞くことができる。

なお、レシーバ１５０の代わりに、機器ケース１１の前面部分を振動させる、圧電振動素子等の振動素子を設けてもよい。この場合には、音は、当該前面部分の振動によりユーザに伝達される。

第１カメラ１８０は、レンズ１８１およびイメージセンサなどを備えており、撮像部と呼称する場合もある。第２カメラ１９０は、レンズ１９１およびイメージセンサなどを備えており、撮像部と呼称する場合もある。第１カメラ１８０および第２カメラ１９０のそれぞれは、制御部１００による制御に基づいて被写体を撮影し、撮影した被写体を示す静止画像あるいは動画像を生成し、この画像を制御部１００に出力することが可能である。

第１カメラ１８０のレンズ１８１は、機器ケース１１の前面１１ａから視認可能となっている。従って、第１カメラ１８０は、電子機器１０の前面側（表示領域１２側）に存在する被写体を撮影することが可能である。この第１カメラ１８０はインカメラと呼ばれる。第２カメラ１９０のレンズ１９１は、機器ケース１１の背面１１ｂから視認可能となっている。従って、第２カメラ１９０は、電子機器１０の背面側に存在する被写体を撮影することが可能である。第２カメラ１９０はアウトカメラと呼ばれる。

加速度センサ２００は、電子機器１０の加速度を検知し、検知した加速度を示す加速度情報を制御部１００へと出力することが可能である。加速度センサ２００は例えば３軸加速度センサである。加速度センサ２００は、ｘ軸方向、ｙ軸方向およびｚ軸方向の電子機器１０の加速度を検知することが可能である。ｘ軸方向、ｙ軸方向およびｚ軸方向は、例えば、電子機器１０の長手方向、短手方向および厚み方向にそれぞれ設定される。

電池２３０は電子機器１０の電源を出力することが可能である。電池２３０は例えば充電式の電池である。電池２３０から出力される電源は、電子機器１０が備える制御部１００および無線通信部１１０などの各種構成に対して供給される。

一般的なスマートフォン等の携帯電子機器による天体撮影時の問題点を説明する。

スマートフォン等の携帯電子機器を用いて天体撮影を行う場合、通常のカメラ設定では光量不足により星を撮影することはできない。図４には、通常のカメラ設定で撮影した夜空の一例を示しており、図４に示されるように夜空の星は写らない。光量不足を補うために、数分間シャッターを開きっぱなしにする長時間露光により天体撮影を行うことが可能となる。図５には、長時間露光により撮影した夜空を示しているが、長時間露光を行うと、地球の自転（日周運動）の影響により星が線状の光跡として写されることとなる。日周運動により北半球では星が「北極星（ポラリス）」を回転中心として反時計回りに１時間で１５°動くことになる。なお、スマートフォンで長時間露光するようにシャッタースピードを調整するアプリケーションは公知となっている。

日周運動による星の光跡（日周運動ボケ）を発生させないようにするには、赤道儀に携帯電子機器を取り付け、日周運動に合わせて携帯電子機器を回転させながら撮影する方法がある。しかし、赤道儀は極軸を観測地の緯度と等しい角度に合わせ、地球の自転軸と平行に据え付けるなどの設定が必要であるだけでなく、安定動作のためのカウンターウエイトが必要であり、持ち運びの観点からも難がある。

本技術は、赤道儀の機能をソフトウェアで実現することで、赤道儀を使用せずに携帯電子機器においても日周運動ボケの発生しない天体撮影を可能とするものである。

日周運動の回転中心は、北半球であれば「北極星（ポラリス）」であり、南半球であれば「はちぶんぎ座σ星（ポラリスオーストラリス）」であり、両者を結ぶ線が地球の自転軸となる。従って、回転中心を中心として回転する日周運動とは逆方向に回転するように撮影画像を回転処理し、回転変換処理した複数の画像を合成することで日周運動に起因する星の光跡（日周運動ボケ）が発生せず、かつ、光量不足を補うことができる。

図６および図７は、日周運動による星の光跡ＦＬとその回転中心ＲＣを模式的に示す図であり、図６は回転中心ＲＣが画像内にある場合を示し、図７は回転中心ＲＣが画像外にある場合を示している。図６および図７に示すように星の光跡ＦＬは弧を描いており、光跡ＦＬに直行する直線である法線ＮＬが収束する点が、日周運動の回転中心ＲＣとなる。このように日周運動の回転中心ＲＣを求めれば、図６のように回転中心ＲＣが画像内にある場合、および図７のように回転中心ＲＣが画像外にある場合のどちらの場合であっても、回転中心ＲＣを求めることができる。回転中心ＲＣが判れば、それを中心とした回転のアフィン変換により日周運動とは逆方向に画像全体を回転させることで、星の光跡の発生を解消することができる。

図８は、日周運動する星を撮影した場合の光跡の発生と、それを解消する補正方法を模式的に示す図である。図８においては、図１に示した電子機器１０の表示領域１２に表示される画像ＩＭを模式的に示している。画像ＩＭは、図２に示す第２カメラ１９０により長時間露光で撮影された夜空の画像であり、１つの星ＳＴが時間と共に回転中心ＲＣに対して矢印ＡＲ１の方向に反時計回りに移動する状態を示している。図８では、電子機器１０の第２カメラ１９０を長時間露光させて撮影した場合に、星ＳＴが時間と共に移動する状態を破線で示しており、この移動の痕跡が光跡となる。

これに対し、星ＳＴの移動速度に合わせて画像ＩＭを回転中心ＲＣに対して矢印ＡＲ２の方向に時計回りに移動させるように回転変換処理することで、星ＳＴの移動を実質的に打ち消すことができる。この回転変換処理は回転移動のアフィン変換により実現することができる。ここで、図７を用いて説明したように、回転中心ＲＣが画像外にある場合でも回転中心ＲＣを求めることができるので、図８に示すような時計回りの移動も可能である。

なお、スマートフォン等の携帯電子機器の場合、イメージセンサの面積が非常に小さいので、天体撮影の場合には光量が不足するが、複数回の撮影を行い、それぞれの撮影で得られた画像ＩＭに回転変換処理を行い、変換後の複数の画像を合成することで、光量不足を補うことができる。

画像の合成の回数や１回の撮影の露光時間（シャッタースピード）は、被写体である天体の明るさ等に基づいて設定することが望ましいが、例えば、天体撮影のアプリケーションに組み込まれた各種の撮影モードに、それぞれ予め固定的に設定しておけば、ユーザは撮影モードを選択するだけで済み、ユーザが、画像の合成の回数や露光時間を設定する手間を省くことができる。また、ユーザが天体撮影のアプリケーションを起動し、そこで展開される露光時間の設定画面から、任意の露光時間を設定することで、撮影回数すなわち画像の合成の回数が自動的に決定されるようにしてもよい。

スマートフォン等の携帯電子機器のカメラは、単焦点のレンズを使用する関係上、広角撮影が可能な曲面レンズを通して撮影しているので、その撮影画像はレンズと同じ円形に歪んでおり、樽形収差などの歪曲収差を含んでいる。図９には、歪曲収差を含んだ画像の一例を示す。

図９に示すように、歪曲収差を含んだ画像は、魚眼レンズで撮影したように上下に膨らむように歪んでいる。この画像はイメージセンサから等距離に存在する同じ物体であれば面積が変化しないことから等距離射影による画像と呼ばれる。

そのため、スマートフォン等の携帯電子機器では、イメージセンサが設置されるセンサパッケージ内で歪曲収差を補正している。図１０には、歪曲収差を補正した画像の一例を示す。

図１０に示すように、歪曲収差を補正した画像は、歪みが補正された代わりに、等距離に存在する同じ物体の面積が変化している。すなわち、イメージセンサの中心軸（画像の中央）から離れるにつれて面積が大きくなっており、中心射影による画像と呼ばれる。

このように、スマートフォンで撮影した画像は、歪曲収差を補正するために中心射影による画像となっており、パース（遠近感）の強い画像となっている。

スマートフォン等の携帯電子機器で夜空を長時間露光で撮影した場合の、補正後の画像、すなわち中心射影による画像における星の光跡の一例は図１１のようになる。図１１に示されるように、画像の右上側では星の光跡は右側に反るように表れ、画像の左下側では星の光跡は左側に反るように表れており、あたかも、日周運動の回転中心が異なっているように見える。しかし、これは補正による影響であり、この画像に基づいて回転中心を算出しようとしても正確な回転中心を算出できず、画像を日周運動と逆方向に回転させるだけでは日周運動ボケを解消することができない。

一方、スマートフォン等の携帯電子機器で夜空を長時間露光で撮影した場合の、補正前の画像、すなわち等距離射影による画像における星の光跡の一例は図１２のようになる。図１２に示されるように、等距離射影では歪曲収差を含んでいるので、地上の物体の輪郭形状は下に膨らむように歪んでいるが、星の光跡は画像のどの場所においても同じ方向に反るように表れており、日周運動の回転中心は１つであることが判る。

先に説明したように、スマートフォン等の携帯電子機器では、センサパッケージ内で歪曲収差を補正して撮影画像としているので、補正後の撮影画像を等距離射影による画像に変換した後、回転中心を算出し、画像を日周運動と逆方向に回転させるようにすれば日周運動ボケを解消することができる。

中心射影による画像を等距離射影による画像に変換する方法について、図１３および図１４を用いて説明する。

図１３は等距離射影上の特定の画素Ｐ１と中心射影上の特定の画素Ｐ１０との位置関係の一例を示す平面図であり、図１４は等距離射影上の特定の画素Ｐ１と中心射影上の特定の画素Ｐ１０との位置関係の一例を示す斜視図である。図１３および図１４において、中心射影の原点Ｏからレンズの焦点ＦＰまでの距離で焦点距離Ｆが規定され、中心射影の原点Ｏと焦点ＦＰとを結ぶ光軸はカメラの方向を示すベクトルＶＣと一致している。そして、中心射影上の特定の画素Ｐ１０の中心から中心射影の原点Ｏまでの距離をＬ、等距離射影の写像球面ＳＰの半径をｒ、等距離射影上の特定の画素Ｐ１の中心から光軸までの距離をｌとした場合、等距離射影と中心射影との関係は、図１３から以下の数式（１）で表すことができる。

ここで、図１４に示すように、中心射影上の特定の画素Ｐ１０の中心の座標を（Ｘ，Ｙ）とすると、Ｌ^２＝Ｘ^２＋Ｙ^２と表すことができるので、中心射影上の特定の画素Ｐ１の中心の座標を（ｘ，ｙ）とした場合、中心射影から等距離射影への変換の数式は、以下の数式（２）および（３）で表すことができる。

上記数式（２）および（３）を用いることで、中心射影による画像を等距離射影による画像に変換することができる。このとき、変換のためのルックアップテーブルを作っておけば、等距離射影による画像を中心射影による画像に再変換する際にも利用することができる。

電子機器１０における天体撮影時の制御部１００での処理動作の一例について、図３を参照しつつ、図１５に示すフローチャートを用いて説明する。

ユーザが電子機器１０を用いて天体撮影を行う場合、ユーザは、タッチパネル１３０を操作することで記憶部１０３内に記憶された天体撮影を行うためのカメラアプリケーションプログラムを起動する。当該プログラムを起動することで電子機器１０は天体撮影モードとなり、制御部１００内のＣＰＵ１０１等で処理が開始される。

ユーザが撮影対象を決め、第２カメラ１９０による撮影を開始する場合、撮影中に電子機器１０が動かないように固定し、シャッターボタンを押すと、押してから所定の時間が経過後に撮影を開始する。これは、シャッターを押すことによる軽微な振動が収束するまでの時間で設定され、数秒から１０秒程度に設定される。なお、インカメラである第１カメラ１８０を用いて撮影してもよいが、第２カメラ１９０による撮影であれば、ユーザが表示領域１２に表示された夜空を見ながら撮影範囲を決めることができると言う利点がある。

所定の時間が経過すると、まず、制御部１００は、長時間露光による星空の静止画を１枚撮影するように第２カメラ１９０を制御する（ステップＳ１）。この撮影における露光時間（第１の露光時間）は、日周運動に起因する星の光跡が発生し、当該光跡に基づいて日周運動の回転中心を求めることができる程度の時間でよく、例えば、１〜２分程度に設定される。

撮影された画像は歪曲収差を補正され、中心射影による撮影画像として第２カメラ１９０に含まれるセンサパッケージから出力され、その画像データ、すなわち各画素に紐付けられた光量データ（電気量のデータ）は制御部１００に送られる。

制御部１００では、撮影画像を等距離射影による画像（第１の画像）に変換する処理（第１の変換処理）を行う（ステップＳ２）。この処理は、数式（２）および（３）を用いた変換処理であり、変換のためのルックアップテーブルを予め準備し、ルックアップテーブルを用いて中心射影による画像の各画素位置の情報を、等距離射影による画像の各画素位置の情報に変換すればよい。なお、図１３、図１４に示したように、数式（２）および（３）のパラメータである焦点距離Ｆおよび写像球面ＳＰの半径ｒは固定されているので、ルックアップテーブルは１つ作っておけばよい。

各画素位置が決まれば、それぞれに光量データ（電気量のデータ）を紐付けることで、変換後の画像データが得られる。

先に説明したように、等距離射影による画像から日周運動の回転中心を求めることができるので、制御部１００は、等距離射影に変換された画像の星の光跡に基づいて日周運動の回転中心を求める（ステップＳ３）。この場合、幾つかの星の光跡をピックアップすればよく、例えば、画像中で光量が最も高い光跡を複数ピックアップして、それら法線の収束する点を日周運動の回転中心とすればよい。

次に、制御部１００は、星空の静止画を１枚撮影するように第２カメラ１９０を制御する（ステップＳ４）。この撮影は、予め定められた露光時間（第２の露光時間）となるシャッタースピードで撮影される。この撮影における露光時間は、日周運動に起因する星の光跡が発生しない程度の時間、例えば１／６０秒〜１秒程度に設定される。撮影された画像は歪曲収差を補正され、中心射影による撮影画像として第２カメラ１９０に含まれるセンサパッケージから出力され、その画像データは制御部１００に送られる。

制御部１００では、撮影画像を等距離射影による画像（第２の画像）に変換する処理（第１の変換処理）を行う（ステップＳ５）。この処理は、ステップＳ２での処理と同じであり、変換のためのルックアップテーブルを用いて中心射影による画像の各画素位置の情報を、等距離射影による画像の各画素位置の情報に変換する。

各画素位置が決まれば、それぞれに光量データ（電気量のデータ）を紐付けることで、変換後の画像データが得られる。

次に、制御部１００は、等距離射影に変換された画像を日周運動と逆方向に回転させる処理（第１の処理）を行って回転済み画像とする（ステップＳ６）。ステップＳ３により日周運動の回転中心は求められているので、ステップＳ６では、それを中心とした回転のアフィン変換により日周運動とは逆方向に画像全体を回転させればよい。なお、画像の回転角は、ステップＳ４での撮影時のシャッタースピードに基づいて設定することができる。例えば、１つの星について当該シャッタースピードで決まる露光時間中に天体が動いた距離と回転中心からの距離に基づいて画像の回転角を算出すれば、各画素について、当該回転角と回転中心からの距離に基づいて、移動した分を打ち消すように逆回転させることができる。

次に、制御部１００は、過去に撮影された等距離射影による画像の有無を確認する（ステップＳ７）。すなわち、過去に、ステップＳ４で撮影され、ステップＳ５〜Ｓ８の処理を経た等距離射影による画像データ（前フレームの画像データ）が、例えば記憶部１０３内、または画像データ保存用のメモリ内に保存されているかを確認する。

そして、前フレームの画像データが保存されている場合（Ｙｅｓの場合）には、ステップＳ６で得られた回転済み画像の画像データと合成する処理（第２の処理）を行い、合成後の画像データを保存する（ステップＳ８）。

一方、ステップＳ７において、ステップＳ４での撮影が始めてであり、ステップＳ５〜Ｓ８の処理を経た前フレームの画像データが存在しないことが確認された場合（Ｎｏの場合）には、ステップＳ６で得られた回転済み画像の画像データを例えば記憶部１０３内、または画像データ保存用のメモリ内に保存する（ステップＳ１１）。

次に、制御部１００は、ステップＳ４における静止画の撮影が、決められた回数終了したか否かを確認する（ステップＳ９）。先に説明したように、画像の合成の回数や１回の撮影の露光時間（シャッタースピード）は、予め設定されているので、制御部１００はその設定情報を確認し、これまでに行った画像の合成回数と付き合わせることで、ステップＳ４における静止画の撮影が、決められた回数終了したか否かを確認することができる。

そして、静止画の撮影が、決められた回数終了している場合（Ｙｅｓの場合）には、ステップＳ１０に移行し、静止画の撮影が、決められた回数終了していない場合（Ｎｏの場合）には、ステップＳ４以下の処理を繰り返す。

ステップＳ１０では、制御部１００は、合成後の画像データを中心射影による撮影データに再変換する処理（第２の変換処理）を行う。この変換では、ステップＳ２およびＳ５で使用したルックアップテーブルを用いて合成後の画像データを逆変換することができる。

この結果、日周運動に起因する星の光跡（日周運動ボケ）が発生せず、かつ、光量不足が補われ、歪曲収差が補正された天体撮影の画像を、赤道儀等の器具を使用せずより簡便に得ることができる。図１６は、天体撮影モードで撮影した夜空の一例を示す図であり、日周運動ボケが発生しておらず、かつ、星の光量も充分である。なお、図１６に示すような天体写真は、４〜５分間に２００枚程度の静止画を撮ることで得られる。

次に、電子機器１０における天体撮影時の制御部１００での処理動作の他の例について、図３を参照しつつ、図１７に示すフローチャートを用いて説明する。

ユーザが撮影対象を決め、シャッターボタンを押してから所定の時間が経過すると、まず、制御部１００は、星空の静止画を１枚撮影するように第２カメラ１９０を制御する（ステップＳ２１）。この撮影は、予め定められた露光時間となるシャッタースピードで撮影される。この撮影における露光時間は、日周運動に起因する星の光跡が発生しない程度の時間、例えば１／６０秒〜１秒程度に設定される。撮影された画像は歪曲収差を補正され、中心射影による撮影画像として第２カメラ１９０に含まれるセンサパッケージから出力され、その画像データは制御部１００に送られる。

制御部１００では、撮影画像を等距離射影による画像に変換する処理（第１の変換処理）を行う（ステップＳ２２）。この処理は、変換のためのルックアップテーブルを用いて中心射影による画像の各画素位置の情報を、等距離射影による画像の各画素位置の情報に変換する。

次に、制御部１００は、過去に撮影された等距離射影による画像の有無を確認する（ステップＳ２３）。すなわち、過去に、ステップＳ２１で撮影され、ステップＳ２２の処理を経た等距離射影による画像データ（前フレームの画像データ）が、例えば記憶部１０３内、または画像データ保存用のメモリ内に保存されているかを確認する。

そして、前フレームの画像データが保存されている場合（Ｙｅｓの場合）には、ステップＳ２２で得られた変換後の等距離射影による画像の画像データと合成する処理を行い、合成後の画像データを保存する（ステップＳ２４）。

一方、ステップＳ２３において、ステップＳ２１での撮影が始めてであり、ステップＳ２２の処理を経た前フレームの画像データが存在しないことが確認された場合（Ｎｏの場合）には、ステップＳ２２で得られた変換後の等距離射影による画像の画像データを例えば記憶部１０３内、または画像データ保存用のメモリ内に保存する（ステップＳ３２）。

次に、制御部１００は、ステップＳ２１における静止画が、決められた枚数、ここではＮ枚撮影されたか否かを確認する（ステップＳ２５）。なお、Ｎは２以上の自然数で、回転中心を算出するのに必要な合成画像を作成するのに充分な数に設定される。なお、静止画像撮影の一枚あたりのシャッター時間が長ければ、Ｎの数は少なくなり、シャッター時間が短ければＮの数は多くなる。

そして、静止画の撮影枚数がＮ枚となっている場合（Ｙｅｓの場合）には、ステップＳ２６に移行し、静止画の撮影枚数が、Ｎ枚に満たない場合（Ｎｏの場合）には、ステップＳ２１以下の処理を繰り返す。

ステップＳ２６では、制御部１００は、ステップＳ２４で合成したＮ枚の静止画像の合成後画像の星の光跡に基づいて日周運動の回転中心を求める。この場合、幾つかの星の光跡をピックアップすればよく、例えば、画像中で光量が最も高い光跡を複数ピックアップして、それら法線の収束する点を日周運動の回転中心とすればよい。

次に、制御部１００では、ステップＳ２２で得られた等距離射影画像を、例えば記憶部１０３内、または画像データ保存用のメモリ内から１枚（１フレーム）分読み出し、当該画像を日周運動と逆方向に移動を打ち消すように回転させる処理を行って回転済み画像とする（ステップＳ２７）。このときに読み出す画像の枚数をＫとする。なお、ＫはステップＳ２１で撮影した静止画の枚数Ｎと同じである。

ステップＳ２６により日周運動の回転中心は求められているので、ステップＳ２７では、それを中心とした回転のアフィン変換により日周運動とは逆方向に画像全体を回転させればよい。なお、画像の回転角は、ステップＳ２１〜Ｓ２４を経て得られたＮ枚の静止画を得るまでの撮影時間、すなわち静止画撮影のための１枚あたりのシャッター時間ｔ×Ｎに基づいて設定することができる。

例えば、１つの星について当該撮影時間中に天体が動いた距離と回転中心からの距離に基づいて画像の回転角を算出し、それを撮影枚数Ｎで割ることで、静止画１枚あたりの回転角が得られるので、それを用いて静止画ごとに回転角を算出し、当該回転角に基づいて、移動した分を打ち消すように逆回転させることができる。

次に、制御部１００は、過去に撮影され、ステップＳ２７を経て回転済み画像に変換された等距離射影による画像の有無を確認する（ステップＳ２８）。すなわち、過去に、ステップＳ２１で撮影され、ステップＳ２２の処理を経た等距離射影による画像データに対して、ステップＳ２７の回転変換処理を行った前フレームの画像データが、例えば記憶部１０３内、または画像データ保存用のメモリ内に保存されているかを確認する。

そして、前フレームの画像データが保存されている場合（Ｙｅｓの場合）には、ステップＳ２７で得られた回転済み画像の画像データと合成する処理を行い、合成後の画像データを保存する（ステップＳ２９）。

一方、ステップＳ２８において、回転済み画像に変換された等距離射影による前フレームの画像データが存在しないことが確認された場合（Ｎｏの場合）には、ステップＳ２７で得られた回転済み画像の画像データを例えば記憶部１０３内、または画像データ保存用のメモリ内に保存する（ステップＳ３３）。

次に、制御部１００は、ステップＳ２７における回転済み画像に変換された等距離射影による画像の枚数Ｋが静止画の撮影枚数Ｎに等しくなったか否かを確認する（ステップＳ３０）。

そして、Ｋ＝Ｎとなっている場合（Ｙｅｓの場合）には、ステップＳ３１に移行し、そうでない場合は（Ｎｏの場合）には、ステップＳ２７以下の処理を繰り返す。

ステップＳ３１では、制御部１００は、ステップＳ２９での合成後の画像データを中心射影による撮影データに再変換する処理（第２の変換処理）を行う。この変換では、ステップＳ２２で使用したルックアップテーブルを用いて合成後の画像データを逆変換することができる。

この結果、図１６に示したように日周運動ボケが発生しておらず、かつ、星の光量も充分である。

以上説明した実施の形態においては、日周運動に起因する星の光跡を打ち消す処理について説明したが、被写体が一定の速度で、一定の方向に移動しているのであれば、本技術を適用することで、移動する被写体の静止画を得ることができる。

被写体の移動とは反対方向に画像を動かすことで、被写体の移動を打ち消すことができ、被写体の光量が足りない場合には、複数の画像を合成することで光量不足を補うことができる。

以上のように、電子機器、画像補正方法および画像補正プログラムは詳細に説明されたが、上記した説明は、全ての局面において例示であって、この開示がそれに限定されるものではない。また、例示されていない多数の変形例が、この開示の範囲から外れることなく想定され得るものと解される。

１０ 電子機器
１００ 制御部
１２０ 表示部
１８０ 第１カメラ
１９０ 第２カメラ

Claims (8)

1. 制御部と、
   前記制御部によって制御される撮像部と、
   前記撮像部で撮影された画像を表示する表示部と、を備えた電子機器であって、
   前記制御部は、
   前記撮像部を介して天体撮影をする場合に、日周運動に起因して発生する天体の回転を打ち消すように、前記撮像部を介して得られた画像を回転させる補正を行う、電子機器。
2. 前記制御部は、
   前記撮像部を介して得られた第１の画像における日周運動に起因して発生する天体の光跡に基づいて日周運動の回転中心を求め、
   前記補正は、
   前記撮像部を介して得られた第２の画像を前記回転中心に対して日周運動とは逆方向に回転させる第１の処理を含む、請求項１記載の電子機器。
3. 前記制御部は、
   前記天体の光跡が撮影される第１の露光時間を設定して前記第１の画像を撮影するように前記撮像部を制御し、
   前記天体の光跡が撮影されない第２の露光時間を設定して前記第２の画像を撮影するように前記撮像部を制御し、
   前記制御部は、
   前記第２の画像を複数回撮影し、画像ごとに前記第１の処理を施し、
   前記第１の処理を施した複数の画像を互いに合成する第２の処理を行う、請求項２記載の電子機器。
4. 前記制御部は、
   前記第１および第２の画像が等距離射影による画像となるように中心射影から等距離射影とする第１の変換処理を行い、
   前記第２の処理によって合成された合成済み画像に対して、等距離射影から中心射影への第２の変換処理を行って中心射影による画像を生成して前記表示部に表示する、請求項３記載の電子機器。
5. 前記制御部は、
   前記撮像部を介して得られた複数の静止画像に基づいて日周運動に起因して発生する天体の光跡に基づいて日周運動の回転中心を求め、
   前記補正は、
   前記撮像部を介して得られた前記複数の静止画像のそれぞれに前記回転中心に対して日周運動とは逆方向に回転させて回転済み画像とする処理を含み、
   前記制御部は、前記回転済み画像を互いに合成して合成済み画像とする、請求項１記載の電子機器。
6. 前記制御部は、
   前記静止画像が等距離射影による画像となるように中心射影から等距離射影とする第１の変換処理を行い、
   前記合成済み画像に対して、等距離射影から中心射影への第２の変換処理を行って中心射影による画像を生成して前記表示部に表示する、請求項５記載の電子機器。
7. 撮像部で撮影された画像の画像補正方法であって、
   前記撮像部を介して天体撮影をする場合に、日周運動に起因して発生する天体の回転を打ち消すように、前記撮像部を介して得られた画像を回転させるステップを備える、画像補正方法。
8. 撮像部で撮影された画像の画像補正プログラムであって、
   前記撮像部を介して天体撮影をする場合に、日周運動に起因して発生する天体の回転を打ち消すように、前記撮像部を介して得られた画像を回転させるステップを備える、画像補正プログラム。

Images