JP2022036858A - システム及びプログラム - Google Patents

Abstract

【課題】 天体写真撮影用のＡＩを構築するための大量のデータセットを容易に作成することができるシステムを提供すること【解決手段】 システムの処理装置は、以下に示す処理を実行する機能を備える。同一領域の星空を撮影した複数の生写真の画像データＹから、光害やノイズを除去し点状の星が存在する星空の天体写真Ｘを形成する。複数の画像データＹを、データ間で星の位置を揃えるように位置補正し、同一領域の画像データＹ１を切り出して入力データを生成する。一方、天体写真から、写真データと同一領域の画像データＸ１を切り出して正解データを生成する。この複数の入力データと正解データのセットを複数セット形成し、ディープラーニング用のデータセットを作成する。切り出す数を増やすことで、大量のデータセットを容易に作成できる。【選択図】 図２８

Description

本発明は、システム及びプログラムに関する。

デジタルカメラの高性能化、スマートフォン等の携帯端末に実装されるカメラ機能の高性能化にともない、例えば、夜間等においてもストロボやフラッシュを使用することなく夜景等を綺麗に撮影することが可能となっている。

一方、このように高性能化された一般のデジタルカメラや携帯端末のカメラ機能等を用い、そのまま星空等の天体写真を撮ることは難しい。すなわち、星空は夜景よりもずっと暗いため、例えば、数分～数１０分、さらには数時間という長時間の露出時間が必要になる場合がある。そのため、例えば、星空を点像に写すには、シャッターを開けている間、デジタルカメラ等を星の動いている方向に合わせてカメラの向きを少しずつスムーズに変えていくといった追尾撮影を行う必要がある。係る追尾撮影を精度良く行うためには、例えば、モーターが内蔵され自動で星を追いかける機器である赤道儀を用いる必要がある。

上述した赤道儀を用いた天体写真撮影システムは、高価かつ大型化する。そして、そのように大きいことから、当該システムは、持ち運びが煩雑となる。また、例えば予め天体を撮る目的で所望の地域に出かける場合には、荷物が重く大きくなったとしても当該赤道儀を含めた天体写真撮影ステムを持ち運ぶことで天体撮影は可能となる。しかし、係る天体写真撮影システムを常時携帯することは難しい。そのため、例えば外出先でたまたま撮影する環境・状況が良いなど天体写真を撮りたい状況になった場合に、デジタルカメラなどの撮影機器はあるものの赤道儀などのシステム全体を用意できずにシャッターチャンスを逃すおそれもある。特に天体写真の撮影は天候に左右されるため、例えば常時携帯することができるコンパクトで軽量な天体写真撮影システムの提供が望まれる。

また、都市圏で天体写真を撮るためには、光害の影響を考慮する必要がある。すなわち、夜間も経済活動が活発で、街中に人工光が溢れている都市圏の場合、夜空が明るくなり、星が見えにくくなってしまう。そのため、例えば２等星以下の星の明るさは、光害による光の明るさ以下となり写真に写らないことがある。係る光害に対する対策としては、例えば、街灯など主な光害の波長だけをカットする「光害カットフィルタ」をデジタルカメラに装着する方法がある。しかし、ユーザが既に所有しているデジタルカメラに装着可能な光害フィルターが存在しない場合、光害カットフィルタを装着可能なデジタルカメラを改めに購入することになる。また、仮に既に所有しているデジタルカメラに装着可能な光害カットフィルタが存在していたとしても、当該光害カットフィルタを購入する必要がある。そして、天体写真の撮影時には、デジタルカメラに光害カットフィルタを装着し、一般撮影時には光害カットフィルタをデジタルカメラから取り外すとともに保管することになる。このように、光害カットフィルタの着脱や保管をする作業が煩雑となる。さらに、光害カットフィルタは、全ての光害の波長をカットするものではない。よって、例えばカットできない波長の光成分が多い地域では、光害の影響を充分に抑制できないおそれがある。

さらに、例えば、デジタルカメラやスマートフォン等を用いて撮影した光害の影響を受けた天体写真に基づき、ＡＩを用いて綺麗な星空の天体写真を作成するシステムを考えた場合、以下に示す課題が生じる。

ディープラーニングを精度よく行うためには、大量のデータを用意し、自立的に処理モデルを構築する必要がある。用意するデータの数は構築するモデルの内容によって異なるが、数千から数万、もしくはそれ以上を必要とする。しかし、星空を写した大量のデータセットを用意することは困難である。さらに光害等の影響のない星空は、星の位置に光の点が存在する点像である。人間が点像をアノテーションすることは非常に難しい。

また、上述したように、星空は点像である。このように天体観察以外にも、例えば、科学・工学・医療の領域では微弱・微小な「点」を検出したいという欲求が多々ある。現状は撮影した画像を人間が目で見て確認する場合が多い。広大な領域（画像）を確認する必要があり、眼精疲労を生じてしまい、それに伴い見落としの可能性も高くなる。さらに、あまりに小さい点や光（シグナル）が弱い点は見逃す危険性が高い。例えば、低倍率の顕微鏡観察において発光・蛍光細胞の検出をしようとすると、これらの点は総じて小さく暗いため、眼精疲労や光過敏性発作などから適切に検出することは困難となる。すなわち、非人間的データを見続けることは、精神的な負担が大きくなる。また、激しい色の点滅は光過敏性発作を引き起こす可能性がある。また、例えばＡＩでこの問題を解決しようとする場合、上述したように検出するためのＡＩを学習させるために数万枚のデータが必要となり、係るデータを準備するのが困難である。

上述した課題はそれぞれ独立したものとして記載しているものであり、本発明は、必ずしも記載した課題の全てを解決できる必要はなく、少なくとも一つの課題が解決できればよい。またこの課題を解決するための構成についても単独で分割出願・補正等により権利取得する意思を有する。

（１）本発明に係るシステムは、同一領域の星空を撮影した複数の写真データと、前記同一領域における星の位置を特定する特定情報（画像 プラネタリウムソフト）とに基づき、天体写真撮影用のＡＩを構築するためのディープラーニング用のデータセットを作成する処理手段を備え、前記処理手段は、前記複数の写真データを、データ間で星の位置を揃えるように位置補正をする機能と、前記位置補正した前記複数の写真データから、前記同一領域の画像を切り出して入力データを生成する機能と、前記特定情報から、前記切り出した画像内に存在する星の位置を特定する正解データを生成する機能を備え、前記位置補正した前記複数の写真データからそれぞれ複数箇所を切り出し、前記入力データと前記正解データのセットを複数設けることで前記データセットを作成するようにした。

（２）前記処理手段は、前記切り出しを異なるサイズで行うとよい。

（３）前記処理手段は、前記切り出す領域を非長方形の四角形とし、切り出した画像を長方形に射影変換するとよい。

（４）前記特定情報は、前記複数の写真データに基づいて作成した点状の星が存在する星空の天体写真であり、前記処理手段は、前記複数の写真データの一部または全部に基づいて光害に基づく光成分の光害パターンを求める機能と、前記複数の写真データに対し、それぞれ前記光害パターンを減算して複数の第一中間画像を生成する機能と、複数の前記第一中間画像間で、同じ星に対応するピークの位置を合わせる処理を行う機能と、位置合わせをして生成した複数の画像をコンポジット合成して前記天体写真を作成する機能を備えるとよい。

（５）前記処理手段は、前記第一中間画像間で、同じ星に対応するピークの位置を合わせる処理を行った際の補正量を記憶し、その記憶した補正量を用いて前記位置補正を行うとよい。

（６）前記特定情報は、星景シミュレーターに記録された星の位置情報及びまたは星景シミュレーターに基づく画像とするとよい。

（７）前記データセットを用いてディープラーニングを行い、前記天体写真撮影用のＡＩを作成する機能を備えるとよい。

（８）（７）に記載のシステムで作成された前記天体写真撮影用のＡＩと、夜空を撮影した元画像を複数の領域に分割し、その分割した領域ごとに切り出す機能と、その切り出した画像データに基づくデータを前記天体写真撮影用のＡＩに与える機能と、前記天体写真撮影用のＡＩから出力されるデータを組み合わせて天体写真を作成する機能を備えるとよい。

（９）同じ領域を撮影した複数の前記元画像に基づいて前記天体写真を作成するとよい。

（１０）（７）に記載のシステムで作成された前記天体写真撮影用のＡＩと、極小点を含む元画像を複数の領域に分割し、その分割した領域ごとに切り出す機能と、その切り出した画像データに基づくデータを前記天体写真撮影用のＡＩに与える機能と、前記天体写真撮影用のＡＩから出力されるデータを組み合わせて前記極小点を検出する機能を備えるとよい。

（１１）前記元画像を縮小する機能を備え、前記元画像と、縮小された縮小画像にそれぞれに対して処理を実行し、前記極小点を検出するとよい。

（１２）本発明のプログラムは、上記のいずれかに記載のシステムの機能をコンピュータに実現させるためのプログラムである。

本発明は、例えば複数の元画像の枚数を多くするのに加え、１枚の元画像から切り出す領域の数を増やすことで天体写真撮影用のＡＩを構築するための大量のデータセットを容易に作成することができる。

図１は、本発明に係るシステムの好適な実施形態を示す図である。 図２は、生写真データの一例を示す図である。 図３は、図２中の矢印で示す各位置における光の強度を示すグラフである。 図４は、図２中の矢印で示す各位置における光害の光成分、星の光成分と、ノイズの光成分のそれぞれの光の強度を示す模式図である。 図５は、星の位置を示すピークの移動を模式的に表した図である。 図６は、処理装置の機能を示すフローチャートである。 図７は、光害パターンの生成機能を説明する図である。 図８は、生写真データの一部を拡大して示す図である。 図９は、生写真データを加算平均した結果を示す図である。 図１０は、図９に示す画像に対しＭｅｄｉａｎフィルターで滑らかにした結果を示す図である。 図１１は、光害減算処理の機能を説明する図である。 図１２は、光害減算処理により生成された第一中間画像の一例を示す図である。 図１３は、平面位置補正用ピーク検出処理を説明する図である。 図１４は、平面位置補正を説明する図である。 図１５は、平面位置補正を説明する図である。 図１６は、平面位置補正を説明する図である。 図１７は、平面位置補正を説明する図である。 図１８は、日周運動と星の相対位置関係を示す図である。 図１９は、日周運動と星の相対位置関係を示す図である。 図２０は、比較明合成をした画像に対し、ピークの検出処理をした結果である。 図２１は、射影変換を説明する図である。 図２２は、射影変換を説明する図である。 図２３は、生成される正解データ（天体写真）の一例を示す図である。 図２４は、処理装置の機能を示すフローチャートである。 図２５は、ＡＩに与える画像の切り出し処理を説明する図（その１）である。 図２６は、ＡＩに与える画像の切り出し処理を説明する図（その２）である。 図２７は、ＡＩに与える画像の切り出し処理を説明する図（その３）である。 図２８は、本システムの機能の概要を示す図である。 図２９は、生写真データの一例を示す図である。 図３０は、図２９に示す生写真データをＡＩが処理して作成した天体写真の一例を示す図である。 図３１は、生写真データからＡＩ処理して天体写真を作成する機能を説明する図である。 図３２は、精度の調整機能を説明する図である。 図３３は、別の実施形態を説明する図（その１）である。 図３４は、別の実施形態を説明する図（その２）である。 図３５は、別の実施形態を説明する図（その３）である。 図３６は、さらに別の実施形態のシステムを示す図である。 図３７は、その実施形態の作用を説明する図である。 図３８は、変形例を説明する図である。 図３９は、変形例を説明する図である。 図４０は、実験結果を説明する図である。 図４１は、実験結果を説明する図である。 図４２は、実験結果を説明する図である。 図４３は、実験結果を説明する図である。 図４４は、実験結果を説明する図である。 図４５は、実験結果を説明する図である。 図４６は、実験結果を説明する図である。

以下、本発明の好適な実施形態について図面に基づき、詳細に説明する。なお、本発明は、これに限定されて解釈されるものではなく、本発明の範囲を逸脱しない限りにおいて、当業者の知識に基づいて、種々の変更、修正、改良を加え得るものである。

図１は、本発明に係るシステムの好適な一実施形態を示している。本実施形態のシステム１０は、例えば１枚の撮影画像から星を抽出するＡＩ（人工知能）を構築するためのディープラーニング用のデータセット（「大量の入力データ」と「正解データ」）を作成する機能と、そのデータセットを用いて学習し、ＡＩ用のＤＮＮ（Ｄｅｅｐ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ）モデルを作成する機能を備える。そして、本システムが作成したＤＮＮモデルのＡＩを用いることで、例えばデジタルカメラ１１或いはスマートフォン１８が撮影した１枚の天体写真（星景写真）から、星空を点像に写した星が点在する綺麗な天体写真（星景写真）を作成することができる。

同図に示すように、本実施形態のシステム１０は、デジタルカメラ１１を用いて撮影した天体写真（星景写真）の生データに基づいて、所定の画像処理等を実行し、星空を点像に写した天体写真（星景写真）を生成する処理装置１３と、その処理装置１３に接続される入力装置１４、出力装置１５並びに記憶装置１６等を備える。

処理装置１３は、パーソナルコンピュータその他の演算処理能力を有するコンピュータ等であり、実装されたアプリケーションプログラムを実行する機能等を備える。入力装置１４は、例えばキーボード、マウス、タッチパネルなどの処理装置１３に対して情報，命令を入力する装置である。出力装置１５は、例えば、モニタ装置であり、例えば取得したデータ（例えば、天体の生写真データ等）や、取得した生写真データに対して処理装置１３が所定の処理をした結果（例えば、星空を点像に写した天体写真等）を表示する装置である。記憶装置１６は、処理装置１３内のハードディスクその他の内部記憶装置でもよいし、処理装置１３に接続される外付けの外部記憶装置でもよい。

本実施形態では、処理装置１３は、スタンドアローンタイプのパーソナルコンピュータを用い、カメラで撮影した画像データを記録し、処理するようにしたが、本発明はこれに限ることはなく、例えば、インターネット等のネットワークに接続されたサーバ等で構成してもよい。

デジタルカメラ１１で撮影した写真データは、例えばデジタルカメラ１１と処理装置１３を通信ケーブルで接続したり、無線通信を用いて接続したりした状態で処理装置１３にデータ転送することで、処理装置１３に取り込む。また、例えば、デジタルカメラ１１に着脱自在に装着されたメモリカード等の記録媒体を用いて処理装置１３に写真データを入力するようにしてもよい。処理装置１３は、このようにして取得した生写真データを、記憶装置１６に記憶する。連写した１００枚以上の生写真データは、例えば同一のホルダに保存するなど、別に撮影した生写真データと区別がつくように記憶するとよい。

［天体写真の撮影］
本実施形態では、ユーザは、デジタルカメラ１１を用いて以下のようにして天体写真（星景写真）を撮影する。撮影地域は、例えば、都市圏等の光害の影響が大きい地域とするとよい。本実施形態では、後述するように光害の影響が大きい地域で撮影した星景写真であっても、星空を点像に写した写真を生成することができる。但し、システム１０は、光害の影響が小さい地域で撮影した生写真データに対する処理を排除するものではない。光害の影響が小さい地域で撮影した生写真データであっても、当該小さい光害の影響やその他の影響をなくし、より綺麗な天体写真を生成することができる。

撮影は、光をできるだけ多く取り込むようにする。具体的には、高感度撮影（例えばＩＳＯ感度は最大）を行い、Ｆ値は最小で、シャッター速度は遅めに設定するとよい。シャッター速度が遅めは、例えば、撮影した天体写真の全体が白っぽくなる程度とするとよい。また、手振れ補正はなしとする。そして、固定撮影により、同一の視野内の天体写真を多数枚取得する。具体的には、デジタルカメラ１１を三脚１２に固定し、連写機能を用いて例えば１００枚以上の天体写真を撮影する。また、色温度も固定して撮影を行う。また本実施形態では、連写により１００枚程度撮影しており、この撮影に要する時間は２から３分程度となる。

また、撮影は、月のない日に行うのが望ましい。さらにカメラの撮影範囲内に大型の光点（月・街頭）がなく、夜空のみで、地上の風景は画角内に入れないように設定する。さらに、撮影時には、飛行機・人工衛星などの高速に移動する光点が画角内にないようにすると良い。

［光の種類］
図２は、都市圏で撮影した天体写真を示す。同図に示すよう、光害による影響から、点在するはずの星が、ほとんど見える状態で撮影できていない。図２に示す写真に写されている光の種類は、例えば、光害と、星と、ノイズなどがある。写真の各位置の光の強度は、それら３つの光の内の一つまたは複数の光の成分が載ったものとなる。

図３は、図２中の矢印で示す各位置における光の強度を示すグラフである。すなわち、写真のＸ軸上のある点におけるＹ軸を横軸にとり、各位置の光の強度（明るさ）を縦軸に採った模式図である。また、図４は、図２中の矢印で示す各位置における光害の光成分、星の光成分と、ノイズの光成分のそれぞれの光の強度を示す模式図である。図３に示す模式図は、図４に示す光害と星とノイズの光成分を合わせたものである。

光害は、地上の光が大気散乱したものであり、図４に示すように、連続的に変化する。この光害は、巨視的量依存のため、２～３分程度の短時間では変化しない。すなわち、連写した１００枚の写真における光害の光のパターンは、ほとんど変化しない。そして、この光害に基づく光成分は、除外対象である。

ノイズは、センサーに発生するノイズである。このノイズは、熱が原因のため、図４に示すように発生位置はランダムである。ランダム変化のため、写真毎にノイズに基づく光成分の発生位置，光のパターンは異なる。そして、このノイズに基づく光成分は、除外対象である。

星が存在する部分には、その星からの光が存在する。図４に示すように、星が存在する位置にピーク状に光の強度が強くなり、その大きさは星により異なる。１等星以上は十分に明るく肉眼でも視認できる。１等星以上の星の光の強さは、ノイズと比べて十分大きい（図４中、破線枠参照）。一方、２等星以下の星は暗く、ノイズと同程度かそれ以下の強度となる（図４中、一点鎖線枠参照）。よって、２等星以下の星は、熱的ノイズと区別が困難である。また、星は日周運動により常に位置が変わるが相対位置関係はほぼ変わらない。２～３分の時間経過によっても、星の位置が異動するため、撮影した１００枚の各写真における同じ星の存在位置が変わる（図５参照）。この星に基づく光成分は、残す対象である。なお、図５は、星の位置を示すピークの移動を模式的に表したものであり、天体における実際の移動は円状に動く。

上述したように、生写真データは、３種類の光の成分を合わせたものであり、図３に示すように、ランダムの振幅で振動しながら全体的にはなだらか変化した波形が現れ、ところどころ（星のある部分）にピークが現れる。図３からも明らかなように、肉眼で確認できる一等星に対応する部分は、明確なピークとして現れるが、その他の星はノイズに隠れた状態となる。

［正解データの作成のための画像処理］
上述したように、３種類の光の成分が存在すること、及び各光の成分の特徴に基づき、処理装置１３は、以下に示す処理アルゴリズムを実行することで、不要な光成分を除去しつつ、２等級以下の星も点像として見える星空の天体写真を生成する。具体的には、処理装置１３は、図６に示すフローチャートを実行する。

すなわち、処理装置１３は、処理対象の１００枚の生写真データにおける光害パターンを求める（Ｓ１０）。図４に模式図を示したように、光害のパターンはなだらかに変化し、処理対象となる全ての生写真データにおいて共通する。そこで、処理装置１３は、１００枚の生写真データから複数枚例えば２０枚程度をランダムにサンプリングし、抽出した生写真データを位置補正なしでコンポジット合成する。例えば、図７に模式図として示すように、抽出した２０枚の生写真データにおける図２中の矢印で示す各位置における光の強度を示すグラフを加算平均すると、上から２番目に示すようなグラフとなる。すなわち、ノイズに伴う光成分は、平均化するとほぼフラットになり、振動したとしてもその振幅は非常に小さくなる。また、星に伴うピークの位置は、時間経過に伴い変化するため、平均化すると影響が少なくなる。画像としてみた場合には、見えにくくなる。一方、光害は、時間経過によって位置変化しない定常パターンのため、結果として、複数の生写真データを平均化すると、主成分として現れる。単純に加算平均処理をしただけだと、ノイズの影響を完全に消すことができず、わずかに振動が残る。さらに例えば星の大きいピークなどの影響が残り、わずかに膨らんだ部分も生じる。そこで、処理装置１３は、滑らかになる処理を行う。この滑らかにする処理は、例えば、Ｍｅｄｉａｎフィルターを用いたり、関数近似を行ったりするとよい。これにより、図７に示すように、上から２番目に示すグラフは、上から３番目に示すようになだらかな直線からなる光成分が生成される。これにより、光害パターンが抽出される。なお、抽出された光害パターンには、正確にはノイズの平均値も含まれるか、その値はわずかであることから、光害パターンと称する。

係る処理における実際の写真の一例を示すと、図８は、生写真データの一部を拡大して示す図である。同図に示すように、まだらな光害と熱的ノイズに加え、点状の星が存在する。この写真データを含む複数（例えば２０枚）の生写真データを加算平均すると、図９に示すようになめらかな光害に線上に星が残った画像となる。そして、係る画像に対し、例えばＭｅｄｉａｎフィルターで星を消すと、図１０に示すようになめらかな光害からなる画像が生成される。

次に処理装置１３は、光害減算処理を実行する（Ｓ１１）。すなわち、処理装置１３は、処理対象の１００枚の生画像データから、光害に基づく光成分を除去する。具体的には、求めた光害パターンを用いて、処理対象の全ての生写真データから光害パターンを減算し、第一中間画像を生成する。処理対象の生写真データが１００枚存在する場合、第一中間画像は１００枚生成される。

例えば図２中の矢印で示す各位置における光強度が、図１１の上側に示すようになっているとすると、光害減算処理は、その図から、同一箇所における光害パターン（図７の上から３番目の図等）を減算する。すなわち、横軸の同じ座標位置の光強度をそれぞれ減算する。これにより、図１１の下側に示すように、ベースラインが横軸と平行なグラフに変換される。

この光害減算処理により生成された第一中間画像の一例は、図１２の左側の図となる。この図は、第一中間画像の一部を拡大して示す図であり、図８に示す生写真データが光害減算処理をした結果である。図１２の右側の図は、第一中間画像に対して明るさ調整を行った結果である。光害による光成分を除去したため、全体的に暗くなるが、星の部分が明るくなる。但し、一枚の画像を見ただけだと、星の明るさが弱く、左側の第一中間画像では、星空に存在する点状の星の存在が見にくいが、明るさ調整を行った左側の図から明らかなように、光害パターンを除去することで、星が点状に存在した星空が再現されていることが確認できる。

次に処理装置１３は、平面位置補正用ピーク検出処理を実行する（Ｓ１２）。ピークは、星の移動に基づく各画像間の位置補正用のマーカーである。例えば第一中間画像内における１等星に対応する位置をピークとする。具体的には、処理装置１３は、処理対象の第一中間画像の各画素のＲＧＢの合計値をそれぞれ求め、第一閾値以上の画素をピーク候補として抽出する。第一閾値は、例えば１等級の星の明るさに対応する値とするとよい。

図１３に示すように、上に示す第一中間画像には、同図の下に示すように四角の枠で囲む位置に第一閾値以上のピーク候補が存在する。そして最終的に検出されるピークは、第一閾値以上の全てを抽出するのではなく、２０～３０程度とするとよい。本実施形態では、２０個のピークを検出するようにした。この２０個のピークは、例えば、ＲＧＢの合計値が大きいものから順に２０個をピックアップしてもよいが、検出するピークは、画像全体に散らばっているようにするとよい。そこで、係る２０個を検出するためには、例えば、第一閾値以上のピーク候補の中から、２０個のピークをランダムに抽出したり、Ｎ個のピークはＲＧＢの合計値が大きいものから順に抽出し、残りは抽出されなかった領域からピックアップしたりする等、各種の手法が採れる。処理装置１３は、このピーク検出処理を全ての第一中間画像に対して行う。

次に処理装置１３は、平面位置補正を行う（Ｓ１３）。時間経過に伴い夜空に見える星の位置は移動するので、同じ領域を撮影した１００枚の写真データ中に存在する同じ星の位置は、全て異なる。そこで、この平面位置補正は、画像間で同じ星が同一位置に来るように位置補正を行う。具体的には、処理装置１３は、１００枚の第一中間画像の一枚（例えば１枚目に撮影した画像）を読み出して基準画像（Ｂａｓｅ）にし、別の１枚の画像を読み出して位置補正対象画像（Ｔａｒｇｅｔ）とする（図１４中、左側参照）。

次いで、処理装置１３は、基準画像Ｂと位置補正対象画像Ｔのそれぞれの画像から、ピークを二つ選ぶ。図１４の右側の図は、選んだ２つのピークを結ぶ線分を便宜上示している。その線分は、基準画像では破線で示し、位置補正対象画像では一点鎖線で示している。選択した２つのピークが同じ星に基づくものの場合、ピーク間の距離すなわち２つの線分の長さが等しいか、近似し、さらにその存在位置も比較的近い位置にある。そこで、各画像において、ピックアップされた２０個中の２つのピークの全ての組み合わせについてピーク間距離を算出し、２つの画像間で距離が類似しているピークの組み合わせを抽出し、以下に示す平面位置補正を行う。なお、ピーク間距離が短すぎる場合には、正確に位置補正できない場合があるため、ピーク間距離が所定の閾値以上のものに対してのみ位置補正を行うようにしてもよい。

平面位置補正は、以下に示す３つの処理を繰り返し実行し、最終的に適正な補正量に基づいて位置補正を行う。図１５に示すように、まず、平行移動補正を行い、片方のピークを合わせる（処理１）。すなわち、位置補正対象画像Ｔを縦方向や横方向に移動し、２つの画像間で片方のピークの位置を重ならせる。このときの平行移動量を記録する。

次いで、回転移動量補正を行い、残りのピークを合わせる（処理２）。すなわち、処理１であわせたピークの位置を回転中心として、位置補正対象画像Ｔを回転させ、２つの画像間で残りのピークの位置を重ならせる。これにより、２つのピークが重なる。このときの回転移動量を記録する。夜空における星は、北極星を中心に回転するため、単純な平行移動ではなく、上述したように平行移動補正と回転移動補正を行う。

このように平行移動補正と回転移動補正を行った後の位置補正対象画像Ｔにおける処理ステップＳ１１で検出した各ピークの位置が、基準画像Ｂの星の座標上に存在するか確認する（処理３）。そして、係る存在する個数、すなわち、両画像でピークの位置が一致した個数を計数し、記録する。

処理装置１３は、全てのピークの組み合わせについて、上記の処理１～３を繰り返し実行し、ピークの位置が一致した個数が最大のものに関連付けられた平行移動量と回転移動量を、平面位置補正移動量に決定する。そして、処理装置１３は、位置補正対象画像Ｔに対し、決定した平面位置補正移動量で補正処理を行い、第二中間画像を生成し、記録する。また、処理装置１３は、基準画像以外の９９枚の全ての第一中間画像に対して個別に平面位置補正を行い、対応する第二中間画像を生成する。

図１１に模式図で示したように、光害減算処理後のグラフは、ベースラインはフラットになるが、ノイズ成分が含まれている。よって、例えば２等星以下の暗い星のピークは、ノイズ成分に隠れてしまい、検出しにくい。そこで、例えば上述した平面位置補正等を行い、ピーク位置をあわせた画像を加算平均すると、ノイズ成分は小さくなるが、星に伴うピークは変わらない。これにより、２等星以下の星であっても、星が存在する座標の明るさが目立つ。

図１１に模式図に従って概念を説明すると、光害減算処理後のグラフにおいて一等星の位置を合わせるように画像全体をシフトさせると、図１６に示すようになる。そして、係るグラフを加算平均処理すると、図１７に示すようになる。すなわち、星のピークは、基準線Ｌより上にくる。これには、補正後の星の位置は固定されて一致しているため平均化するとピークが明確になる。図示の例では、確認できるピーク個数は、図３に示す補正前では５個であったが、補正後の図１７では９個に増え、等級の低い星も検出できる。一方、ノイズによる光成分は基準線Ｌより下に位置する。これは、ノイズの光強度はランダムのため、平均化すると低い値でフラット化するためである。

ところで、図１８に示すように、星は３次元の天球上を移動する。それをカメラで撮影し２次元の写真画像にした場合、３次元→２次元の変換により時間変化により相対位置関係が微妙に変化する。そのため、例えば第二中間画像をそのまま単純にコンポジット合成を行うと、図１９に示すように特定領域Ｒ１では星は正確にフィッティングされるが、別の領域Ｒ２では位置ずれのため流れて合成される。星は連続的に変異することから、正確にフィッティングされない領域Ｒ２では、星は線状に延びた広がりをもった状態となる。

そこで本実施形態では、以下に示す射影変換を行い、３次元から２次元に変換する際に生じるゆがみを除去するようにした。具体的には、まず処理装置１３は、変換補正用ピーク検出処理を行う（Ｓ１４）。この変換補正用ピーク検出処理は、まず、前処理で生成した１００枚の全ての第二中間画像を用いて比較明合成を行い、得られた画像から変換補正に使用する４つのピークを選定する。

この４つのピークの選定は、処理装置１３が、比較明合成した画像に対し、第二閾値を用いたピーク検出処理を行い、検出された多数のピークの中から、下記の条件を満たすピークを検出する。比較明合成をした画像では、日周運動の影響から一つの星が点状ではなく、線状など一定の広がりを持った状態で存在することがある。そして、星は連続的に移動することから、同じ星に基づく光は、比較明合成をした画像においてつながった状態にある。そこで、上記のピークを検出する際に、星は連続的に移動することから、同じ星に基づく光は、比較明合成をした画像においてつながった状態にある。そこで、上記のピークを検出する際に、係る繋がりのある部位は、一つの星に対応するピークとするとよい。
条件１：画像の端にない。日周運動により星が画像外に移動する場合があるため、排除する。
条件２：他のピークから一定以上の距離がある。誤選定防止のためである。
条件３：画像の四隅に最も近いもの。４点で描く四角形の面積がなるべく大きくすると、精度向上するためである。

図２０は、比較明合成をした画像に対し、上記のピークの検出処理をした結果である。図示するように、多数のピーク候補が検出され、最終的に４つの射影変換補正用ピークＰが決定される。また、この比較明合成をした画像の右隅を拡大して示す図から明らかなように、星に対応する部分が連続した広がりを持って明るくなっている。

さらに、処理装置１３は、射影点の範囲、すなわち、決定した４つのピーク毎に星が動きうる範囲を決定する。具体的には、例えばピークの周りの第三閾値以上の領域を抽出する処理を行うと良い。

次に処理装置１３は、射影変換を行う（Ｓ１５）。すなわち処理装置１３は、１００枚の第二中間画像の一枚（例えば１枚目に撮影した画像）を読み出して基準画像（Ｂａｓｅ）にし、別の１枚の画像を読み出して変換補正対象画像（Ｔａｒｇｅｔ）とする。そして、それぞれの画像における４つのピークを選定する（図２１参照）。この選定により、図２２に模式図で示すように、基準画像（Ｂａｓｅ）と変換補正対象画像（Ｔａｒｇｅｔ）では、４つのピークを頂点とする四角形が形成される。

次いで処理装置１３は、選定した４つの点を結ぶ仮想四角形の各辺の長さ、すなわち、隣接するピーク間距離を求め、基準画像（Ｂａｓｅ）のものと変換補正対象画像（Ｔａｒｇｅｔ）のものとで、差が一定値以下であることを確認する。このとき、差が一定値よりも大きいと、ピークを誤選定した可能性があるので、処理装置１３は、射影変換を行わない。そして、差が一定値以下の場合には、処理装置１３は、４つの点を合わせるように画像全体を射影変換する。このようにすることで、１枚の基準画像と、それぞれに射影変換をしてゆがみを直した９９枚の射影変換後の画像が生成され、それら全て（１００枚）を第三中間画像として記録する。この１００枚の第三中間画像における同一の星に対応する光の位置は、３次元から２次元に変換する際のゆがみが解消或いは低減され、一致する。

次に処理装置１３は、最終合成処理を行う（Ｓ１６）。すなわち、処理装置１３は、１００枚の全ての第三中間画像をコンポジット合成する。ここでは、コンポジット合成は、加算平均を行う。そして、一定輝度以下の画素のＲＧＢの各値を０に変換する。一定輝度以下は、例えば、ＲＧＢの各値が設定値未満のものとするとよい。これにより、ノイズを除去する。そして処理装置１３は、それ以外の画素の輝度を強調する。この強調処理は、例えば、強調係数を掛けることで行うとよい。このようにすることで、星以外の領域は暗くなり、星の部分の明るさが強調される。特に射影変換をしてゆがみが低減されるため、画像の全体にわたり、星の光を炙り出することができる。これにより、星の部分が点状に現れ、星空の画像が形成される（図２３等参照）。処理装置１３は、このようにして生成された最終画像を、記憶装置１６に記録し、表示装置に出力するとよい。

このようにして生成された最終画像（画像Ｘ）は、１００枚の写真で撮影した夜空における光害の影響をなくした星空であり、その領域を撮影したときの正解データとして使用可能となる。上述した画像Ｘを作成するための画像処理は、例えば１０分程度で行われる。この画像Ｘは、同じ領域を連写して得た１００枚の生写真データに基づき、光害の影響をなくした星空を点像に写した天体写真（星景写真）である。よって、この機能の部分に着目したシステムは、光害に基づく光成分とノイズが除去されて綺麗な星空の天体写真を生成する天体写真撮影システムともいえる。

［学習用データ（正解データと入力データ）の作成のための画像処理］
上述したように日周運動の影響から、カメラで撮影して得られた１００枚の天体写真（元画像）における同じ星の位置は異なる。１００枚の元画像のうち、平面位置補正を行う際の基準画像に対応する元画像における各星の位置と、画像Ｘにおける各星の位置は一致する。しかし、その他の９９枚の元画像における各星の位置と、画像Ｘにおける各星の位置は異なる。よって、９９枚の元画像と正解データをそのまま教師データとして与えてディープラーニングを行っても正しく学習ができない。

そこで本実施形態では、処理装置１３が、図２４に示すフローチャートを実行する。まず、処理装置１３が、第一中間画像に対して平面位置補正して第二中間画像を生成した際の移動量を用い、元画像を位置補正して画像Ｙを作成する（Ｓ２０）。これにより、画像Ｙにおける各星の位置と、画像Ｘにおける各星の位置は、ほぼ一致する。係る処理を行うため、処理装置１３は、第一中間画像に対して平面位置補正した際の補正値（平行移動量（上下左右）と回転移動量）をそれぞれ画像毎に記憶する。この回転移動量の記憶は、例えば処理装置１３が内部メモリ或いは記憶装置１６に記録して行うとよい。

そして、処理装置１３は、この記憶した補正値に基づき、９９枚の元画像に対し、それぞれの補正値で補正処理し、９９枚の画像Ｙを生成し、内部メモリ或いは記憶装置１６等に記憶する。この位置補正した画像Ｙを生成する補正処理は、上述したように第一中間画像から第二中間画像を作成した際に用いた平面位置補正だけとしてもよいが、より好ましくは第二中間画像から第三中間画像を作成した際に用いて射影変換の補正量を記憶し、平面位置補正した中間補正画像をその記憶した補正量を用いて射影変換し、最終の画像Ｙを作成するとよい。このようにすると、各画像Ｙと画像Ｘにおける同じ星の出現する位置の一致度が高くなるのでよい。

次いで、処理装置１３は、画像Ｙの切り出し範囲を決定する（Ｓ２１）。後述するように、本実施形態では、画像Ｘと画像Ｙの全体を学習データとするのではなく、両画像から同一箇所を切り出したデータを学習データとする。そして、図２５に示すように、切り出し対象のエリアは、画像Ｙの全領域ではなく、枠２０の内側のエリアとする。すなわち、画像Ｙは、元画像に対して位置補正を行っているため、外周囲付近には何も映っていない黒の領域Ｒ３がある。例えば、元画像を左に所定距離だけ平行移動して生成された画像Ｙは、右端の所定距離分の部位には撮影された画像はなく黒の領域となる。図示のように元画像を斜め左下に所定距離だけ平行移動して生成された画像Ｙは、上端と右端にそれぞれ撮影された画像はない黒の領域Ｒ３となる。

この枠２０は、全ての画像Ｙにおいて撮影した画像部分がなくなる領域が切り出し範囲に入り込まないように設定する。具体的な位置は、例えば、十分に余裕を取った固定値としてもよいし、各画像Ｙを作成した際の補正値に基づき、上下、左右のそれぞれに対して適切な値を設定してもよい。

次いで、処理装置１３は、上記の設定した枠２０内のエリア内で、各画像Ｙの同一箇所を切り出す（Ｓ２２）。この切り出す範囲は、小さい領域（例えば３２×３２ピクセル）とするとよい。また、本実施形態では、切り出しサイズや形を歪め、バリエーションを増やすようにした。切り出しサイズの増減は、例えば±１０％の範囲内でランダムに設定する。さらに、完全な長方形又は正方形ではなく多少ゆがんだ四角形を切り出す。そして、画像Ｘから切り出した画像データＸ１に基づいて正解データを作成し、画像Ｙから切り出した画像データＹ１に基づいて入力データを作成し、これらのデータセットを用いてＤＮＮモデルをトレーニングする（図２８参照）。

具体的切り出しは、例えば図２６に示すように、枠２０の中からランダムに四角形からなる切り出し領域２１を設定し、その切り出し領域２１内の画像を切り出す。図に示すように切り出し領域２１の四角形は、正方形にする必要は無く、寸法及び形状をランダムに設定する。このようにランダムにして色々な形の四角形したため、ノイズ的にバリエーションを増やすことができる。

そして、処理装置１３は、例えば、以下に示すように各パラメータ（中心座標、開始ポイント、中心からの距離（線分の長さ）、前の線分からの回転角）を順次ランダムに決定して切り出し領域２１を設定し、その設定した領域内の画像を切り出す。すなわち、まず処理装置１３は、中心座標Ｏと開始ポイントＳを決定する。次いで、処理装置１３は、この２点間の線分からの回転角θ１と、次の線分の長さ（中心座標Ｏからの距離）ｔ１を決定し、以後順に前の線分からの回転角θ２，θ３と、次の線分の長さ（中心座標Ｏからの距離）ｔ２，ｔ３を決定する。これにより、一端が中心座標Ｏに位置する４本の線分が形成され、各線分の他端を結ぶ四角形からなる切り出し領域２１が設定される。これにより、処理装置１３は、１枚の画像から複数の切り出し領域２１の画像を切り出す。ＤＮＮをトレーニングするためには、星が写っている（１～Ｎ個）画像と星が写っていない画像の両方を用意する必要がある。処理装置１３がランダムに切り出すことで、両方の画像を取得できる。

上述したように、切り出す位置もランダムに設定することで、例えば図２７に示すように、切り出し領域２１の向き・姿勢は任意となり、複数の切り出し領域２１が重なることもある。これらの事象の発生は、許容される。切り出し領域２１の存在密度もばらついてよい。

次に処理装置１３は、切り出した図形を、ディープラーニング用に正方形或いは長方形に射影変換する（Ｓ２３）。そして、上記の切り出し処理を所定数繰り返すことで、トレーニングに必要十分なデータ数を得られる。

一般にディープラーニングを行う場合、画像の全体、すなわち、正解デートなる画像Ｘと入力データとなる画像Ｙをそのまま用いてトレーニングするが、本実施形態では、画像の一部を切り出してディープラーニングに与えることを特徴としている。一般的に行われる画像全体を用いて学習する場合には、画像全体を圧縮するため解像度が低下する。これに対し、本形態では高解像度のままの画像で学習できるのでよい。さらに、１００枚の元画像は、連写しているため、色々なノイズののり方をしたバリエーションの比較対象の入力データが得られるのでよい。

画像Ｘから切り出した領域内の画像データＸ１と画像Ｙから切り出した領域の画像データＹ１には、同じ星が存在している可能性が高く、発光している同じ星の部分と、光害やノイズを含んだ星が存在しない部分が混在するが、同じ星の周囲のため、光のピークとその周辺の発光状態が同じようになり、ディープラーニングにより特徴を見つけることができる。さらに、小さい領域を切り出すことで、切り出した画像は、その全体が光害やノイズの影響を受けた発光状態となり、係る発光状態の中に星の光が不連続に存在することから、例えば画像Ｘや１枚の画像Ｙや中における1つの切り出し画像と、別の場所にある切り出した画像は、同じディープランニングモデルとして扱える。従って、一枚の画像中の切り出し箇所を変えることで、１枚の画像から多数の領域を切り出し、多数の正解データと入力データを作成できる。

効果的なディープラーニングを行うためには、学習用のデータを数万セット程度用意する必要がある。例えば画像の全体、すなわち、画像Ｘ（正解データ）と画像Ｙをそのまま用いてトレーニングしようとした場合、数万枚の写真撮影をする必要があり、困難である。また、星空は点像のため、撮影した生写真データに基づき人間がアノテーションすることは非常に難しい。これに対し、本実施形態では、１枚の画像から例えば２００～３００箇所以上の領域を切り出すとで、効果的な学習を行うための必要十分なデータセットを簡単に得ることができる。

次に、処理装置１３は、画像Ｙから切り出し、射影変換した正方形等の画像に対し、正則化処理をする。一般的な方法は、平均を０、偏差を１にした決められた値に規格化するが、本実施形態では、正則化パラメータはＭｅｄｉａｎ＋Ｑｕａｎｔｉｌｅを使用する。中央値を０にし、１／４～３／４の四分位を１に規格化する。これにより、ノイズ又は等級が低い星の極小シグナルがあると思われる強度領域を強調することができる。また、明確にわかる星は＋方向の外れ値、すなわち飽和する。画像Ｙにおいて注目したいのは、ノイズと星に伴うピークの区別であり、本実施形態によれば区別対象の強度領域が強調されるのでよい。

上記のようにして各画像Ｙから切り出した全ての画像に対し、射影変換後に正則化して得たデータを入力データとする。このようにして求めた多数の入力データと正解データを用いて、ＤＮＮをトレーニングし、天体写真撮影用のＡＩモデルを作成する。

上述した特定情報である正解データを作成するための画像Ｘは、複数の写真データに基づいて作成した点状の星が存在する星空の天体写真である。この画像Ｘを形成するための処理手段は、複数の写真データの一部または全部に基づいて光害に基づく光成分の光害パターンを求める機能と、前記複数の写真データに対し、それぞれ前記光害パターンを減算して複数の第一中間画像を生成する機能と、複数の前記第一中間画像間で、同じ星に対応するピークの位置を合わせる処理を行う機能と、位置合わせをして生成した複数の画像をコンポジット合成して前記天体写真を作成する機能を備えるとよい。この場合において、以下に示す（２）から（６）のいずれかのように構成するとよい。

（２）前記処理手段は、前記複数の写真データの一部または全部をコンポジット合成して前記光害パターンを作成する機能を備える生成するように構成するとよい。
（３）前記位置を合わせる処理は、処理対象の前記第一中間画像を、前記ピークの位置が合うように相対的に画像全体を平面内で移動させることで行うようにするとよい。
（４）前記位置を合わせる処理は、処理対象の前記第一中間画像を、前記ピークの位置が合うように相対的に画像全体を平面内で移動させて第二中間画像を生成し、その生成した複数の前記第二中間画像に対し、前記ピークの位置が合うように射影変換を行い第三中間画像を生成することで行うようにするとよい。
（５）前記天体写真を作成する機能は、前記位置合わせをして生成した複数の画像をコンポジット合成した画像に対し、一定輝度以下の画素を０に変換する処理を行うようにするとよい。
（６）前記天体写真を作成する機能は、前記一定輝度以下でない画素に対し、輝度を強調する処理を行うとよい。

（天体写真撮影用のＡＩによる天体写真の作成）
上述したように、ディープラーニングをして得られたＡＩを用いることで、例えば、デジタルカメラやスマートフォン等で夜空を撮影すると、背景が黒で星のピークが描画された光害等の影響が除去された天体写真が生成される。すなわち、例えばこのＡＩのアプリをスマートフォン１８にインストールする。そして、スマートフォン１８を用いて夜空の写真（図２９に示す全体的にかすんだ写真）を１枚撮ると、それに対してＡＩが処理し、図３０に示すように黒色の背景に星が点在する天体写真の画像に変換される。元画像の写真データでは一見するとノイズ、光害などに隠れて見にくい星のピークも、ＡＩにより検出できる。そして、係る処理に要する時間は、例えば０．５秒程度となり、撮影した現場で天体写真を見ることができる。このように、アプリをインストールしたスマートフォンを携帯するだけで良いので、例えば外出先でたまたま撮影する環境・状況が良いなど天体写真を撮りたい状況になった場合に、撮影が可能となる。

係る処理は、例えば、以下のようにする。図３１に示すように、スマートフォン１８の制御部は、撮影した１枚の夜空の写真を入力画像Ｚ１として受け取ると、その画像全体をスライスし、切り出した矩形状の画像データＤ１を正規化して正規化データＤ２を作成し、その正規化データＤ２をＡＩが処理し、変換画像Ｄ３を作成する。そして、制御部は、この作成した変換画像Ｄ３を元の位置に戻して配列し、出力画像Ｚ２を作成する。正規化にはＭｅｄｉａｎ（外れ値（１等星）の影響を受けにくい）を使用するとよい。

また、デジタルカメラに係るＡＩを実行する機能を実装した場合には、デジタルカメラでも撮影した現場で、きれいな天体写真を見ることができる。また、スマートフォン並びにデジタルカメラ等において、係るＡＩが実装されていない場合には、デジタルカメラ等で夜空を撮影し、その撮影した画像データを天体写真撮影用のＡＩを実装したパソコンやサーバ等に送ることで、天体写真を作成するようにするとよい。

（精度の調整）
画像Ｘを形成する際にＲＧＢパラメータの閾値（出力する星の等級）を調節し、学習に使用する補正後の画像Ｘを変えることで、確実に本物の星だけを検出するＡＩと、誤検出を許容しつつできるだけ星を検出するＡＩ等の異なる用途のＡＩを形成するとよい。

例えば、５等星など限界まで暗い星を抽出したデータでトレーニングした場合には、図３２中（１）に示すように暗い星を検出でき、多数の星が存在する天体写真を形成できる。この場合、誤検出も増え、星が存在しない部分にも光のピークが出現する画像となる。一方、例えば３等星程度までを抽出したデータでトレーニングした場合、図３２中（２）に示すように、目で見てわかる程度の星のみを検出した天体写真を形成できる。この場合、暗い星は検出できず、係る星が存在した場所は黒い背景となるが、誤検出の可能性が下がる。

（星の瞬きの対応）
星の瞬きの影響から、ある元画像には星が現れるが、別の元画像には星が現れないことがある。よって、ＡＩに夜空を撮影した１枚の写真データを与えるのではなく、複数枚（例えば３枚）を与え、出力するようにするとよい。

（プラネタリウムソフトのデータを用いた実施形態）
上述した実施形態並びに変形例は、正解データとして１００枚の天体写真を用いて生成した画像Ｘに基づいて正解データを作成し、その１００枚の天体写真の一部を切り取ったデータに基づき入力データを作成するようにしたが、本発明はこれに限ることはなく、例えば、星景シミュレーターのデータに基づいて正解データを作成するとよい。

星景シミュレーターに、例えば地域と年月日に時刻の情報を入力すると、そのときの天体の状況が表示される（図３３参照）。係る表示される画像を正解データ用の画像Ｘ’とし、上記と同様の処理によりトレーニングをする。すなわち、上述した実施形態で用いた画像Ｘ（その一部を図３４に示す）に変えて、星景シミュレーターに基づく画像Ｘ’（その一部を図３５に示す）を用いる。この場合には、画像Ｘ’と画像Ｙの同一領域を切り出す処理を行うため、例えば、１等星などの明るく写真上での存在位置が明らかなピークを複数ピックアップし、星景シミュレーターの画像の対応する星の位置が一致するように縮尺を調整するとよい。

また、星景シミュレーターのデータベースには、各星の位置が記録されている。そこで、画像の代わりに星景シミュレーターなどから理論上の星空を取得し、光点の位置座標と、データベース上の星の位置関係を突合させ、画像Ｙ中の星のある位置を特定し、それに基づいてトレーニングをするとよい。

（極小点をマーキングする多目的機械学習モデルの作成）
本実施形態のシステムは、点を検出する１つのＡＩを用い、取得した画像の中から、点や微弱なシグナル等の極小点を検出するシステムである。この点を検出するＡＩは、例えば、上述した実施形態で求めた天体写真撮影用のＡＩを用いる。

例えば、図３６に示すように、本実施形態のシステム３０は、デジタルカメラ３１で撮影した画像データや、インターネット等を介して取得した画像データに基づいて、所定の画像処理等を実行し、画像データ中に極小点（光点）を検出する処理装置３３と、その処理装置３３に接続される入力装置３４、出力装置３５並びに記憶装置３６等を備える。上述した実施形態と同様に、処理装置３３は、一般のパーソナルコンピュータを利用することができ、入力装置３４，出力装置３５並びに記憶装置３６も、パーソナルコンピュータに接続或いは内蔵される装置，機器等で構成する。

デジタルカメラ３１は、低倍率・高解像度・高感度で画像を撮影するように設定する。低倍率にする効果は、広範囲を撮影できるため、広い領域を一挙に探索できる。また、別の効果は、像が明るくなり、被写界深度が深い画像が得られる。絞った（被写界深度を深くした）場合でも明るさを稼げる。

また、上述したように、本実施形態で用いる天体写真撮影用のＡＩは、画像全体を一括して処理するのではなく、小さい領域に分割し、個々の領域の画像データごとに処理するため、処理装置１３が取得した画像データの解像度のまま処理が可能となる。そこで、デジタルカメラ３１の撮影時のパラメータとして、高解像度にすることで、その解像度を保ったまま検出処理でき、精度良く極小点を検出可能となる。更に高感度にすることで、点や微弱なシグナル等の極小点を確実に拾うことができる。

このデジタルカメラ３１は、例えば、ユーザが保持したり、三脚に固定等したりして通常撮影を行うものや、各種の機材に取り付け、その機材で計測・検出した映像を撮影する。各種の機材は、例えば、顕微鏡（光学式・電子式）、天体望遠鏡、ＭＲＩ、ＣＴ、レントゲンその他の医療検査機器、内視鏡、Ｘ線回折装置等がある。

撮影した画像データは、例えば有線通信や無線通信を用いて処理装置３３に転送する。処理装置３３は、転送されてきた画像データを例えば記憶装置３６に記録する。また、デジタルカメラ３１で撮影した画像データをマイクロＳＤカード等の記録媒体に格納し、その記録媒体を用いて処理装置３３に画像データを与えるようにしてもよいが、本実施形態のように通信を用いて画像を転送することで、リアルタイムで処理できるので好ましい。

処理装置３３は、取得した画像データを天体写真撮影用のＡＩで処理し、処理結果の変換画像を出力装置３５であるモニタに表示したり、記憶装置３６に記録したりする。具体的には、ＡＩによる天体写真の作成処理と同様に、処理装置３３は、取得した画像（図３７中、Ｚ１１）を適宜の寸法で画像全体をスライスし、切り出した矩形状の画像データを、Ｍｅｄｉａｎを使用して正規化して正規化データを作成する。このとき、処理装置３３は、ＡＩに入力する画像についてノイズの強度を制御する機能を備えるとよい。例えば、強いノイズがある状態でＡＩに入力すると、誤検出が多くなるが、見逃しも少なくなる。これに対し、ノイズを抑えた状態で入力に入力すると、誤検出は少なくなるが、見逃しも多くなる。ユーザはどのような検出結果が必要かにより、設定により調整するとよい。

そして、処理装置３３は、その正規化データをＡＩに入力して処理し、変換画像を作成する。そして処理装置１３は、ＡＩから出力される変換画像を切り出した位置に対応する領域に貼り付けて、全体の変換画像（図３７中、Ｚ１２）を形成する。つまり、処理装置１３は、広範囲の画像を機械的にスキャンし、有為な点をみつける。また、ＡＩは、光点である確率（０～１の実数）を出力するようにし、第一閾値以上を表示する。これにより、ＡＩは広視野の画像から、１または複数の条件に合致（例えば、微弱な信号）する部分を検出して知らせる。図３７の変換画像Ｚ１２に示すように、複数の点Ｐ１が、人間が視認可能な状態で出現する。さらに、例えば円形状のマークＭで示す位置の点Ｐ１のように、レベルの小さいものも検出できる。

このように、本システム３０は、１枚の写真から有為な点をピークとし、背景を黒色とした画像を作成することができる。すなわち、上述した実施形態における夜空を撮影した写真から天体写真を作成するためのＡＩは、星の相対位置など関係なく、光点の発生パターンに基づいて微弱な光点（例えば光害などに埋もれている星）を見つけるものであるので汎用性が高い。つまり、星の部分は非連続的で周りと関係なくそこだけ光っている。そのため、たとえレベルが小さくてもその差をＡＩは認識できる。その結果、画像Ｘで撮影したのと異なる天体、異なる星が写った写真でもＡＩは処理して星を見つけ、点像の天体写真を作成できる。

例えば化学分野などにおいて、ノイズやバックグランドに埋もれた微弱なシグナル（光点）を見つけたいという要求がある。例えば、微弱な蓄光部位の検出や、顕微鏡写真における細胞観察等では、画像全体にノイズやバックグランドの光等があり、その中にわずかな発光点等があると、たとえ小さくてもその点の部分はノイズとは異なる特性・特質を有する。そして、その画像の特徴は、星空と同様となる。すなわち、それら天体以外の対象物を撮影した画像データにおけるノイズやバックグランドの光は、天体におけるノイズや光害と同様であり、背景部分と非連続で異なる特徴を有する微弱な点は、星と同じである。よって、上述したように、天体写真用にディープラーニングで生成されたＡＩは、細胞の顕微鏡写真、結晶構造の解析などの天体以外の画像に対しても同様の識別ができ、背景部分との差が小さい微弱な信号（点）であっても検出することかできる。

上述したように、本システム３０を実行すると、ＡＩ処理により光点（極小点）が検出された変換画像Ｚ１２が形成される。そこでユーザは、例えば、変換画像Ｚ１２を見て、光点の位置を確認したり、点像を見て検討したり、解析等したりする。なお、係る光点の検出は、人間が見て行うようにしてもよいが、処理装置３３が行うようにしてもよい。例えば、光点として出力した部分の全てに例えば上記の円などのマークで囲むマーキングを行ってもよいが、検出した光点の個数が多いとマークの数が多くなりかえって見にくくなる。そこで、例えば、光点として検出された中で暗いものをマークするとよい。この処理は、例えば、検出した光点の中で、ＡＩが出した光点である確率が、第二閾値（第一閾値よりも大きい値）以下のものをピックアップし、マーキングするとよい。このようにすると、比較的明るい光点は、人が視認して確実に検出でき、暗くて見づらい光点はマーキングされることで見落としがなくなる。

また、この変換画像Ｚ１２のＡＩで検出した光点のなかから人が観察対象を決定し、その観察対象を追加観察するとよい。追加観察は、例えば、観察対象に対して高倍率観測や、長時間露光等がある。最初から高倍率観察を行うと、一度に観察できる範囲が狭く全てのエリアの観察を行うのに時間を要するが、広範囲の観察エリアをＡＩでサーチして光点を検出し、その検出した部分を高倍率観察することで、効率よく観察が行える。

（撮影条件の変更機能）
デジタルカメラ３１は、シャッタースピードを調整可能とするとよい。シャッタースピードを通常（例えば１秒）よりも遅め（例えば、２秒）に設定して撮影すると、より弱いシグナルを検出することができる。これに対し、シャッタースピードを早め（例えば、０．３秒）にすると、更新速度を速くし、リアルタイム性を優先することができる。

また、上述した実施形態では、１枚の写真に基づいてＡＩが処理して光点等の極小点を検出する変換画像を形成するようにしたが、本発明はこれに限ることはなく、複数の画像に基づいて極小点の検出するための変換画像を形成するとよい。

例えば、対象領域の光点の位置が変位しない場合、例えば連写などして取得した複数の画像に対しそれぞれＡＩ処理して出力される複数の変換画像を加算平均する。これにより、同じ箇所に検出され続けるシグナルを強調できる。

一方、光点が移動する場合には、ＡＩ処理して出力される複数の変換画像Ｚ１２を比較明合成する。このようにすると、例えば図３８に示すように、同一の光点が線状に出現するので検出しやすくなる。

さらに、ＡＩ処理して出力される変換画像から処理前の元画像を減算するとよい。元画像で充分な明るさがある領域は黒抜きされた状態となり、元画像で暗いがＡＩで検出した部分は光点となり、光点がない部分は黒のままとなる。例えば衛星写真のように元画像に極端な明暗の差がある場合に有効である。

（入力する画像データの画像サイズの変更機能）
上述したように、本実施形態では、与えられた画像データを規定サイズで切り出し、順次ＡＩに与えることで、高解像度を保ったまま演算し、精度良く光のピークを検出できる。一方、例えばサーチするラインの光の明るさのレベルが図３９に示すようになっているとすると、１番目のウインドウＷ１で切り出したデータからはピークを検出することができるが、２番目のウインドウＷ２で切り出したデータからはピークが検出できない。すなわち、大き目のピークの場合、切り出すウインドサイズを超えてしまい、ノイズ等と判断されてしまう。係る場合、画像データを縮小し画材サイズを小さくすることで、ウインドウＷ３内にピークが収まり、ＡＩの処理結果でピークを検出することができる。

このように、規定サイズを切り出す関係上大き目のピークを見逃す可能性があるため、画像サイズを小さくしながら順次ＡＩ処理するように構成するとよい。すなわち、まず、取得した元画像の画像データをその解像度のまま切り出してピークの検出処理を行う。次いで、元画像を所定の縮尺で縮小した画像データを作成し、その縮小した画像に対して規定サイズで切り出して順次ＡＩに与え、光点の検出を行うとよい。このように画像を縮小することで解像度は低下するものの、高解像度の元画像も用いるとともに、画像全体をＡＩに与えるサイズに圧縮するものに比べると解像度が高いことから、高精度に光点を検出することができる。縮小は、一段階でもよいし複数段階行ってもよい。

（焦点合わせ）
例えば観察対象物に対して焦点合わせが必要な場合がある。係る場合、焦点合わせは、予め適切なものを用いて設定するとよい。例えば、対象物と類似のもの（微粒子）などで焦点深度を合わせておき、同じ焦点深度で対象物を蛍光・発光観察するとよい。例えば、細胞観察を行う場合、細胞と同じ大きさの微粒子等を用いて焦点を合わせておき、蛍光観察等を行う。また、顕微鏡の場合、焦点を光点が発生すると予想される位置に合わせておくとよい。例えば、明視野で顕微鏡の焦点を合わせてから蛍光や発光観察を行う。また、リアルタイム性を重視した設定でＡＩの処理結果を見ながら焦点深度を合わせてもよい。上述したように、ＡＩは、０．５秒程度で処理が終わるので、その処理結果を見ながらピント調節をすることもできる。

（実験結果）
上述した天体写真撮影用のＡＩを用いて天体以外の画像から光点を検出するシステムの実施形態の効果を実証するため、以下に示す実験を行った。

＊顕微鏡写真からの光点観察（蛍光観察）
植物のクロロフィル蛍光は、紫外線を当てると赤色の光を発する。これは、葉緑体が持っているクロロフィル分子が紫外線を吸収し光合成に利用するが、利用しきれないエネルギーを赤色の光として放出するためである。そこで、ほうれん草の小辺をすりつぶし５０ｍｌの水で希釈した液体を製造し、そこから少量の液体を抽出し顕微鏡で観察した。

図４０の左上の画像（ＲＡＷ）は、顕微鏡を４０倍相当の倍率にした状態の映像をデジタルカメラで撮影した生写真であり、円形の第一マークＭ１、第二マークＭ２，第三マークＭ３で示す部位に、検出すべき光点が存在している。しかし、図から明らかなように、人は、光点を肉眼で確認することができない。

図４０の右上の画像（ＡＩ）は、上記の生写真の画像データを順次切り出してＡＩに与え、ＡＩ処理後の変換画像である。図に示すように、第一マークＭ１と第二マークＭ２の部分は、明確に光点がわかるが、第三マークＭ３の部分はわかりにくい。そこで、連写機能等を利用して、同一領域を複数枚撮影し、複数の画像に対しそれぞれＡＩ処理して出力される複数の変換画像を加算平均し、光点を強調する処理を行った。その結果、図４０の右下の画像（ＡＩ（Ｓｔａｃｋ））に示すように、第三マークＭ３の部分にも光点があることが確認できた。

なお、図４０の左下の画像（通常観察）は、明視野により撮影した画像であり、各マークで示された部分以外にもノイズ等の影響が現れており、この明視野の画像で各マークの部分の光点をピックアップするのはむずかしい。

そして、上記のようにＡＩ処理によって検出された光点のうち、例えば第三マークＭ３の位置を検証対象とすると、この第三マークＭ３の位置を顕微鏡の視野の中央に配置し、その状態で倍率をあげていき、その部分を詳細に観察する。徐々に倍率を上げていくと、例えば、４０倍等の低倍率ではうっすらと見えていたのが、拡大に伴い確かに存在することが確認できる（図４１参照）。

この図から、例えば倍率を６００倍にすれば人でも確認できるが、視野が狭くなるので全てを見るのは大変である。一方、広い視野を一気に確認可能な４０倍では、人による確認では見落としをするおそれがあるが、ＡＩであればその倍率でも点を検知できる。よって、例えば４０倍等の低倍率でＡＩを用いて広い視野を一気に確認して光点を検出し、検出した場所を高倍率にして拡大し、人間が確認するとよい。

＊通常撮影での極小光点検出（発光）
例えば、発光塗料（蓄光粒子）を少量塗布した紙をデジタルカメラで撮影し、その塗布の状態を確認する実験を行った。発光塗料のため、暗室内で当該紙を置き、下記の撮影条件で撮影した。
Ｆ値：６．３
ＩＳＯ：２５６００
露出時間：４秒
撮影範囲：１６０ｍｍ×１００ｍｍ

図４２の左上の画像（ＲＡＷ）は、上記の条件で撮影した生写真の画像データである。四角い枠Ｆ１は、ＡＩが検出した光点が存在する領域である。図４３に拡大して示すように、枠Ｆ１内に着目して確認すれば、右上にはうっすらと見えていて何かありそうなことはわかる。ただし、このように存在を示唆されていない生写真から、この部分を見つけることは困難である。さらに、第四マークＭ４で示す部分は人が見ただけではわからない。

図４２の右上の画像（ＡＩ）は、上記の生写真の画像データを順次切り出してＡＩに与え、ＡＩ処理後の変換画像である。図４３に拡大して示すように、枠Ｆ１内の右上には、光点がしっかりと表示され、第四マークＭ４内の部分にも、光点が表示されているのが確認できる。さらに、図４２，図４３の右下の画像（ＡＩ（Ｓｔａｃｋ＋強調））に示すように、複数枚の画像を用いて加算平均処理して強調すると、その光点の存在がより明確となる。この第四マークＭ４の部分を更に拡大して示すと、図４４のようになる。この画像サイズは、１辺が５ｍｍのため、点の部分はコンマ何ミリメートルというオーダーであり、肉眼で見つけるのは困難であるが、ＡＩはしっかり検出していることが確認できる。

上述した実験で用いた顕微鏡写真や蛍光塗料を撮影した通常観察では、拡大したり、色調整したりすることで、光点を検出する可能性はある。ただし、その処理対象となる光点の存在位置を特定するのが困難であり、ＡＩは係る光点の存在位置の特定を、瞬時に正確に行うことができる。

＊対地観測衛星からの光点抽出
例えば、インターネット等を介して処理装置３３は、対地観測衛星が夜間に撮影した地上の画像データを取得する。この取得した画像データに基づき、都市圏から離れた光点、例えば夜に明かりがついている可能性の高い「ダム」を検出対象にし、ＡＩで検出できるかの検証を行った。図４５の左上の画像（ＲＡＷ）は、取得した画像データであり、都市圏は夜でも明るく光っており、山間部は暗くなっていることが確認できる。この気象観測衛星が撮影した生写真（元画像）で光点が確認できるような十分に明るい領域は、上述したように都市圏等で発光している明かりであり、今回の検出対象の「ダム」のように微小な明るさの場所は、この生写真の画像では確認できない。

図４５の右上の画像（ＡＩ）は、上記の生写真の画像データを順次切り出してＡＩに与え、ＡＩ処理後の変換画像である。そして、このようにした求めたＡＩによる変換画像から、元画像を減算現在処理した結果、図４５の右下の画像が得られる。この減算処理した画像を拡大すると、図４６に示すようになる。この右下の画像中、「黒点」は十分に明るく元画像で光点が確認できるものであり、「白点」は暗いため元画像では確認できないが、ＡＩでは検出できるものである。

このＡＩが見つけた点（白点）のうち、丸で囲んだ地点を地図で調べると、都市圏から離れた地域で、夜間も明かりがついているダム（三国川ダム、南相木ダム、上野ダム）であることが確認できた。

上述した実験結果から明らかなように、天体とは関係の無い微弱なシグナルを含む画像データを天体写真撮影用のＡＩに与えると、当該微弱なシグナルの光点を検出することができる。また、上述した各実施形態では、光点を検出するものに適用した例を説明したが、本発明はこれに限ることはなく、例えば、レーダーのような反射波や、電波等、微弱なシグナルを検知するものに適用できる。

以上、本発明の様々な側面を実施形態並びに変形例を用いて説明してきたが、これらの実施形態や説明は、本発明の範囲を制限する目的でなされたものではなく、本発明の理解に資するために提供されたものであることを付言しておく。本発明の範囲は、明細書に明示的に説明された構成や製法に限定されるものではなく、本明細書に開示される本発明の様々な側面の組み合わせをも、その範囲に含むものである。本発明のうち、特許を受けようとする構成を、添付の特許請求の範囲に特定したが、現在の処は特許請求の範囲に特定されていない構成であっても、本明細書に開示される構成を、将来的に特許請求する可能性があることを、念のために申し述べる。

１０ ：システム
１１ ：デジタルカメラ
１２ ：三脚
１３ ：処理装置
１４ ：入力装置
１５ ：出力装置
１６ ：記憶装置
１８ ：スマートフォン
２０ ：枠
２１ ：切り出し領域
３０ ：システム
３１ ：デジタルカメラ
３３ ：処理装置
３４ ：入力装置
３５ ：出力装置
３６ ：記憶装置

Claims (12)

1. 同一領域の星空を撮影した複数の写真データと、前記同一領域における星の位置を特定する特定情報とに基づき、天体写真撮影用のＡＩを構築するためのディープラーニング用のデータセットを作成する処理手段を備え、
   前記処理手段は、前記複数の写真データを、データ間で星の位置を揃えるように位置補正をする機能と、
   前記位置補正した前記複数の写真データから、前記同一領域の画像を切り出して入力データを生成する機能と、
   前記特定情報から、前記切り出した画像内に存在する星の位置を特定する正解データを生成する機能を備え、
   前記位置補正した前記複数の写真データからそれぞれ複数箇所を切り出し、前記入力データと前記正解データのセットを複数設けることで前記データセットを作成するシステム。
2. 前記処理手段は、前記切り出しを異なるサイズで行う請求項１に記載のシステム。
3. 前記処理手段は、前記切り出す領域を非長方形の四角形とし、切り出した画像を長方形に射影変換する請求項１または２に記載のシステム。
4. 前記特定情報は、前記複数の写真データに基づいて作成した点状の星が存在する星空の天体写真であり、
   前記処理手段は、前記複数の写真データの一部または全部に基づいて光害に基づく光成分の光害パターンを求める機能と、
   前記複数の写真データに対し、それぞれ前記光害パターンを減算して複数の第一中間画像を生成する機能と、
   複数の前記第一中間画像間で、同じ星に対応するピークの位置を合わせる処理を行う機能と、
   位置合わせをして生成した複数の画像をコンポジット合成して前記天体写真を作成する機能を備える請求項１から３のいずれか１項に記載のシステム。
5. 前記処理手段は、前記第一中間画像間で、同じ星に対応するピークの位置を合わせる処理を行った際の補正量を記憶し、その記憶した補正量を用いて前記位置補正を行う請求項４に記載のシステム。
6. 前記特定情報は、星景シミュレーターに記録された星の位置情報及びまたは星景シミュレーターに基づく画像である請求項１から３のいずれか１項に記載のシステム。
7. 前記データセットを用いてディープラーニングを行い、前記天体写真撮影用のＡＩを作成する機能を備えた請求項１から６のいずれか１項に記載のシステム。
8. 請求項７に記載のシステムで作成された前記天体写真撮影用のＡＩと、
   夜空を撮影した元画像を複数の領域に分割し、その分割した領域ごとに切り出す機能と、
   その切り出した画像データに基づくデータを前記天体写真撮影用のＡＩに与える機能と、
   前記天体写真撮影用のＡＩから出力されるデータを組み合わせて天体写真を作成する機能を備えるシステム。
9. 同じ領域を撮影した複数の前記元画像に基づいて前記天体写真を作成する請求項８に記載のシステム。
10. 請求項７に記載のシステムで作成された前記天体写真撮影用のＡＩと、
    極小点を含む元画像を複数の領域に分割し、その分割した領域ごとに切り出す機能と、
    その切り出した画像データに基づくデータを前記天体写真撮影用のＡＩに与える機能と、
    前記天体写真撮影用のＡＩから出力されるデータを組み合わせて前記極小点を検出する機能を備えるシステム。
11. 前記元画像を縮小する機能を備え、
    前記元画像と、縮小された縮小画像にそれぞれに対して処理を実行し、前記極小点を検出する請求項１０に記載のシステム。
12. 請求項１から１１のいずれかに記載のシステムの機能をコンピュータに実現させるためのプログラム。

Images