JP2022043503A

JP2022043503A - 標高データ生成システム、標高データ生成プログラムおよび標高データ生成方法

Info

Publication number: JP2022043503A
Application number: JP2020148803A
Authority: JP
Inventors: 健志西村; Kenji Nishimura
Original assignee: Mitsubishi Space Software Co Ltd
Current assignee: Mitsubishi Space Software Co Ltd
Priority date: 2020-09-04
Filing date: 2020-09-04
Publication date: 2022-03-16

Abstract

【課題】単一の光学センサの単独の撮影によって得られた画像を使って標高データを生成する技術を提供する。【解決手段】標高データ生成システム２００において、飛翔体２０１に搭載された光学センサ２１０は、クロストラック方向にスタガ配置された複数の画素群を有するラインセンサである。解析画像は、複数の画素群に対応する複数のピクセル群がアロングトラック方向に対応する方向に時系列に複数行並べられた二次元画像である。標高データ生成装置１００は、解析画像の部分である着目ブロックごとに、相関部分を特定し、着目ブロックと相関部分とのずれ量を算出し、ずれ量を換算してずれ距離を算出し、ずれ距離に基づいて地表の各箇所の標高を算出する。【選択図】図１

Description

本開示は、光学センサによって得られた画像を使って標高データを生成するための技術に関するものである。

光学センサによって得られた画像を使って標高データを生成するためには、同一地点が映った複数の画像が必要であり、複数の画像には視差が必要である。
視差がある複数の画像は、以下のいずれかの方法によって得られる。
（ａ）異なる方向から撮影する複数の光学センサを飛翔体に搭載し、複数の光学センサによって同一地点を同時に撮影する。
（ｂ）単一の光学センサを飛翔体に搭載し、単一の光学センサによって同一地点を異なる時期に異なる方向から撮影する。

特許文献１は、複数のリニアアレイセンサが飛翔体に搭載され、飛行データと地形データに基づいて各リニアアレイセンサから地表までの距離を算出し、算出された距離に基づいて画像間のシフト量を算出し、シフト後の画像を合成する、という技術を開示している。

特開２０１０－７９３２８号公報

リニアアレイセンサなどの光学センサを複数使用する方法および単一の光学センサによって異なる時期に撮影する方法は、単一の光学センサによる単独の撮影に比べてコストがかかる。

本開示は、単一の光学センサの単独の撮影によって得られた画像を使って標高データを生成できるようにすることを目的とする。

本開示の標高データ生成システムは、飛翔体に搭載された光学センサによって撮影された地表が映った解析画像を用いて標高データを生成する。
前記光学センサは、前記飛翔体のクロストラック方向にスタガ配置された複数の画素群を有するラインセンサである。
前記解析画像は、前記複数の画素群に対応する複数のピクセル群が前記飛翔体のアロングトラック方向に対応する方向に時系列に複数行並べられた二次元画像である。
前記標高データ生成システムは、
前記解析画像の部分である着目ブロックごとに、前記解析画像のうち前記着目ブロックと相関する相関部分を特定し、前記着目ブロックと前記相関部分とのずれ量を前記着目ブロックのずれ量として算出するずれ量算出部と、
着目ブロックごとに、前記ずれ量を換算して得られる距離を前記着目ブロックのずれ距離として算出するずれ距離算出部と、
着目ブロックごとに、前記ずれ距離に基づいて、前記着目ブロックに映った箇所の標高を算出する標高算出部と、を備える。

前記ずれ量算出部は、着目ブロックごとに、前記解析画像から前記着目ブロックに含まれるピクセル群の隣のピクセル群が属する列を隣接ブロックとして選択し、前記着目ブロックと前記隣接ブロックの各部分との相関を調べて前記相関部分を特定する。

前記ずれ量算出部は、着目ブロックごとに、前記隣接ブロックを含む特定の範囲である相関処理範囲を算出し、前記相関処理範囲の中で前記着目ブロックを移動させながら前記着目ブロックと前記隣接ブロックとが互いに重なり合う部分の相関値を算出し、最も相関値が高い部分を前記相関部分として特定する。

前記ずれ量算出部は、前記解析画像における着目ブロックの二次元配置に対応させて各着目ブロックのずれ量を示すずれ量マップを生成する。
前記ずれ距離算出部は、前記解析画像における着目ブロックの二次元配置に対応させて各着目ブロックのずれ距離を示すずれ距離マップを生成する。

前記標高算出部は、着目ブロックごとに、前記ずれ距離と、前記着目ブロックに含まれるピクセルに対応する画素である着目画素の視線ベクトルと前記相関部分に含まれるピクセルに対応する画素である相関画素の視線ベクトルとがなした視差角と、を用いて前記標高を算出する。

前記標高算出部は、前記解析画像における着目ブロックの二次元配置に対応させて各着目ブロックに映った箇所の標高を示す標高データを生成する。

前記光学センサにおいて前記クロストラック方向で隣り合う２つの画素群は、前記光学センサの基盤に対する取り付け角度が互いに異なるため、撮影する方向に相当する視線方向が互いに異なる。

前記標高データ生成システムは、
前記光学センサによって前記地表を撮影して得られる撮影画像を幾何補正して前記解析画像を生成する幾何補正部を備える。

本開示の標高データ生成プログラムは、飛翔体に搭載された光学センサによって撮影された地表が映った解析画像を用いて標高データを生成するためのプログラムである。
前記光学センサは、前記飛翔体のクロストラック方向にスタガ配置された複数の画素群を有するラインセンサである。
前記解析画像は、前記複数の画素群に対応する複数のピクセル群が前記飛翔体のアロングトラック方向に対応する方向に時系列に複数行並べられた二次元画像である。
前記標高データ生成プログラムは、
前記解析画像の部分である着目ブロックごとに、前記解析画像のうち前記着目ブロックと相関する相関部分を特定し、前記着目ブロックと前記相関部分とのずれ量を前記着目ブロックのずれ量として算出するずれ量算出部と、
着目ブロックごとに、前記ずれ量を換算して得られる距離を前記着目ブロックのずれ距離として算出するずれ距離算出部と、
着目ブロックごとに、前記ずれ距離に基づいて、前記着目ブロックに映った箇所の標高を算出する標高算出部として、コンピュータを機能させる。

前記標高データ生成プログラムは、
前記光学センサによって前記地表を撮影して得られる撮影画像を幾何補正して前記解析画像を生成する幾何補正部としてコンピュータを機能させる。

本開示の標高データ生成方法は、飛翔体に搭載された光学センサによって撮影された地表が映った解析画像を用いて標高データを生成する。
前記光学センサは、前記飛翔体のクロストラック方向にスタガ配置された複数の画素群を有するラインセンサである。
前記解析画像は、前記複数の画素群に対応する複数のピクセル群が前記飛翔体のアロングトラック方向に対応する方向に時系列に複数行並べられた二次元画像である。
ずれ量算出部が、前記解析画像の部分である着目ブロックごとに、前記解析画像のうち前記着目ブロックと相関する相関部分を特定し、前記着目ブロックと前記相関部分とのずれ量を前記着目ブロックのずれ量として算出する。
ずれ距離算出部が、着目ブロックごとに、前記ずれ量を換算して得られる距離を前記着目ブロックのずれ距離として算出する。
標高算出部が、着目ブロックごとに、前記ずれ距離に基づいて、前記着目ブロックに映った箇所の標高を算出する。

本開示によれば、単一の光学センサの単独の撮影によって得られた画像を使って標高データを生成することが可能となる。

実施の形態１における標高データ生成システム２００の構成図。実施の形態１における光学センサ２１０の平面図。実施の形態１における光学センサ２１０の側面図。実施の形態１における標高データ生成装置１００の構成図。実施の形態１における標高データ生成方法のフローチャート。実施の形態１における解析画像２２０の概要図。実施の形態１におけるステップＳ１３０のフローチャート。実施の形態１における着目ブロック２２１の選択順序を示す図。実施の形態１における着目ブロック２２１と隣接ブロック２２２の関係図。実施の形態１における隣接ブロック２２２と相関処理範囲２２３の関係図。実施の形態１における着目ブロック２２１の移動を示す図。実施の形態１におけるずれ量Ｄｐを示す図。実施の形態１におけるずれ量マップ２３０の概要図。実施の形態１におけるステップＳ１５０のフローチャート。実施の形態１における光学センサ２１０とパラメータの関係図。実施の形態１における光学センサ２１０とパラメータの関係図。実施の形態１における標高ｈとパラメータの関係図。実施の形態１における光学センサ２１０の別例を示す図。実施の形態１における光学センサ２１０の別例を示す図。

実施の形態および図面において、同じ要素または対応する要素には同じ符号を付している。説明した要素と同じ符号が付された要素の説明は適宜に省略または簡略化する。図中の矢印はデータの流れ又は処理の流れを主に示している。

実施の形態１．
標高データ生成装置１００について、図１から図１９に基づいて説明する。

＊＊＊構成の説明＊＊＊
図１に基づいて、標高データ生成システム２００の構成を説明する。
標高データ生成システム２００は、飛翔体２０１と光学センサ２１０と標高データ生成装置１００とを備える

飛翔体２０１は、例えば、人工衛星である。
飛翔体２０１の進行方向を「アロングトラック方向」という。
アロングトラック方向と鉛直方向とのそれぞれと直交する方向を「クロストラック方向」という。

光学センサ２１０は、標高データ生成システム２００のためのラインセンサであり、飛翔体２０１に搭載される。

標高データ生成装置１００は、光学センサ２１０によって撮影された地表が映った画像（解析画像）を用いて、標高データ２０９を生成する。
標高データ２０９は、地表の各箇所の標高を示すデータである。標高は、地球楕円体面からの高度である。地球楕円体面の高度をゼロメートルとする。
標高データ２０９は、数値標高データまたは簡易数値標高データともいう。また、標高データ２０９は、標高マップ、数値標高マップまたは簡易数値標高マップともいう。

標高データ生成装置１００は、例えば、飛翔体２０１と通信する地上設備に備えられる。但し、標高データ生成装置１００は、飛翔体２０１に備えられてもよい。

図２および図３に基づいて、光学センサ２１０の構成を説明する。
図２は、光学センサ２１０の平面図および部分拡大図である。
ｘ軸の向きは、アロングトラック方向に相当する。
ｙ軸の向きは、クロストラック方向に相当する。
ｚ軸の向きは、鉛直方向に相当する。黒丸が記された丸は、奥から手前への方向を表す。

光学センサ２１０は、基盤２１１と複数の画素群２１２とを備える。
基盤２１１は、撮像素子用の基盤である。
撮像素子は複数の画素を有する。撮像素子の具体例はＣＣＤである。ＣＣＤは、ＣｈａｒｇｅＣｏｕｐｌｅｄＤｅｖｉｃｅの略称である。

基盤２１１には、撮像素子を構成する複数の画素群２１２が配置されている。
複数の画素群２１２は、クロストラック方向にスタガ配置されている。つまり、複数の画素群２１２は、クロストラック方向に相当する方向にジグザグに並べられている。
画素群２１２は、１つ以上の画素２１３である。
画素２１３は、撮像素子の要素である。

隣り合う２つの画素群２１２のずれ量を「スタガ量」と称する。「Δｓ」はスタガ量を意味する。
隣り合う２つの画素２１３の間隔を「画素間隔」と称する。「ｄｐ」は画素間隔を意味する。

図３は、光学センサ２１０の側面図および部分拡大図である。バツ印が記された丸は、手前から奥への方向を表す。
基盤２１１と画素２１３とが成す角度を「取り付け角度」と称する。「δ」は取り付け角度を意味する。
隣り合う２つの画素群２１２は、取り付け角度δが互いに異なる。
図３において、隣り合う２つの画素群２１２は、ｘ軸周りの取り付け角度δが互いに異なっている。但し、隣り合う２つの画素群２１２は、ｙ軸周りの取り付け角度が互いに異なってもよい。
隣り合う２つの画素群２１２は、取り付け角度δが互いに異なるため、撮影する方向に相当する視線方向が互いに異なる。

取り付け角度は、次のような条件を満たすように決定される。
隣り合う２つの画素群２１２において、一方の画素群２１２の撮影範囲が他方の画素群２１２の撮影範囲と隣接する。または、一方の画素群２１２の撮影範囲が他方の画素群２１２の撮影範囲と一部重複する。
これにより、全体が隙間なく映った画像が得られる。

図４に基づいて、標高データ生成装置１００の構成を説明する。
標高データ生成装置１００は、プロセッサ１０１とメモリ１０２と補助記憶装置１０３と通信装置１０４と入出力インタフェース１０５といったハードウェアを備えるコンピュータである。これらのハードウェアは、信号線を介して互いに接続されている。

プロセッサ１０１は、演算処理を行うＩＣであり、他のハードウェアを制御する。例えば、プロセッサ１０１は、ＣＰＵ、ＤＳＰまたはＧＰＵである。
ＩＣは、ＩｎｔｅｇｒａｔｅｄＣｉｒｃｕｉｔの略称である。
ＣＰＵは、ＣｅｎｔｒａｌＰｒｏｃｅｓｓｉｎｇＵｎｉｔの略称である。
ＤＳＰは、ＤｉｇｉｔａｌＳｉｇｎａｌＰｒｏｃｅｓｓｏｒの略称である。
ＧＰＵは、ＧｒａｐｈｉｃｓＰｒｏｃｅｓｓｉｎｇＵｎｉｔの略称である。

メモリ１０２は揮発性または不揮発性の記憶装置である。メモリ１０２は、主記憶装置またはメインメモリとも呼ばれる。例えば、メモリ１０２はＲＡＭである。メモリ１０２に記憶されたデータは必要に応じて補助記憶装置１０３に保存される。
ＲＡＭは、ＲａｎｄｏｍＡｃｃｅｓｓＭｅｍｏｒｙの略称である。

補助記憶装置１０３は不揮発性の記憶装置である。例えば、補助記憶装置１０３は、ＲＯＭ、ＨＤＤまたはフラッシュメモリである。補助記憶装置１０３に記憶されたデータは必要に応じてメモリ１０２にロードされる。
ＲＯＭは、ＲｅａｄＯｎｌｙＭｅｍｏｒｙの略称である。
ＨＤＤは、ＨａｒｄＤｉｓｋＤｒｉｖｅの略称である。

通信装置１０４はレシーバ及びトランスミッタである。例えば、通信装置１０４は通信チップまたはＮＩＣである。
ＮＩＣは、ＮｅｔｗｏｒｋＩｎｔｅｒｆａｃｅＣａｒｄの略称である。

入出力インタフェース１０５は、入力装置および出力装置が接続されるポートである。例えば、入出力インタフェース１０５はＵＳＢ端子であり、入力装置はキーボードおよびマウスであり、出力装置はディスプレイである。入出力は無線で行われてもよい。
ＵＳＢは、ＵｎｉｖｅｒｓａｌＳｅｒｉａｌＢｕｓの略称である。

標高データ生成装置１００は、受付部１１０と幾何補正部１２０とずれ量算出部１３０とずれ距離算出部１４０と標高算出部１５０と出力部１６０といった要素を備える。これらの要素はソフトウェアで実現される。

補助記憶装置１０３には、受付部１１０と幾何補正部１２０とずれ量算出部１３０とずれ距離算出部１４０と標高算出部１５０と出力部１６０としてコンピュータを機能させるための標高データ生成プログラムが記憶されている。標高データ生成プログラムは、メモリ１０２にロードされて、プロセッサ１０１によって実行される。
補助記憶装置１０３には、さらに、ＯＳが記憶されている。ＯＳの少なくとも一部は、メモリ１０２にロードされて、プロセッサ１０１によって実行される。
プロセッサ１０１は、ＯＳを実行しながら、標高データ生成プログラムを実行する。
ＯＳは、ＯｐｅｒａｔｉｎｇＳｙｓｔｅｍの略称である。

標高データ生成プログラムの入出力データは記憶部１９０に記憶される。
メモリ１０２は記憶部１９０として機能する。但し、補助記憶装置１０３、プロセッサ１０１内のレジスタおよびプロセッサ１０１内のキャッシュメモリなどの記憶装置が、メモリ１０２の代わりに、又は、メモリ１０２と共に、記憶部１９０として機能してもよい。

標高データ生成装置１００は、プロセッサ１０１を代替する複数のプロセッサを備えてもよい。

標高データ生成プログラムは、光ディスクまたはフラッシュメモリ等の不揮発性の記録媒体にコンピュータ読み取り可能に記録（格納）することができる。

＊＊＊動作の説明＊＊＊
標高データ生成装置１００の動作の手順は標高データ生成方法に相当する。また、標高データ生成装置１００の動作の手順は標高データ生成プログラムによる処理の手順に相当する。

図５に基づいて、標高データ生成方法を説明する。
ステップＳ１１０において、受付部１１０は、撮影画像を受け付ける。
撮影画像は、光学センサ２１０によって地表を撮影して得られた画像である。

ステップＳ１２０において、幾何補正部１２０は、撮影画像を幾何補正する。
幾何投影先は地球楕円体モデルである。つまり、幾何補正において、地球楕円体モデルが基準面となる。基準面の高度はゼロメートルである。
ステップＳ１２０によって得られる画像、つまり、幾何補正済みの撮影画像を「解析画像」と称する。

撮影画像および解析画像において、画素群２１２によって得られた部分を「ピクセル群」と称する。また、画素２１３によって得られる部分を「ピクセル」と称する。
ピクセルは、画像の要素である。

撮影画像および解析画像は、複数の画素群２１２に対応する複数のピクセル群がアロングトラック方向に対応する方向に時系列に複数行並べられた二次元画像である。

図６は、（Ａ）従来のラインセンサによって撮影された地表が映った幾何補正済み画像と（Ｂ）光学センサ２１０によって撮影された地表が映った解析画像２２０とのそれぞれの概要を示す。それぞれの画像に、クロストラック方向に対応する方向と、アロングトラック方向に対応する方向と、を記している。
従来のラインセンサでは複数の画素群が視差を有してスタガ配置されていない。そのため、（Ａ）幾何補正済み画像では隣り合う２つのピクセル群の列の間に被写体のずれが生じない。
一方、光学センサ２１０では複数の画素群２１２が視差を有してスタガ配置されている。そのため、（Ｂ）解析画像２２０では隣り合う２つのピクセル群の列の間に被写体のずれが生じる。

図５に戻り、ステップＳ１３０から説明を続ける。
ステップＳ１３０において、ずれ量算出部１３０は、解析画像のずれ量マップを以下のように生成する。
まず、ずれ量算出部１３０は、解析画像の部分である着目ブロックごとに、解析画像のうち着目ブロックと相関する部分を特定する。特定される部分を「相関部分」と称する。
次に、ずれ量算出部１３０は、着目ブロックごとに、着目ブロックと相関部分とのずれ量を算出する。算出されるずれ量を着目ブロックのずれ量とする。
そして、ずれ量算出部１３０は、各着目ブロックのずれ量を登録してずれ量マップを生成する。

図７に基づいて、ステップＳ１３０の詳細を説明する。
ステップＳ１３１において、ずれ量算出部１３０は、解析画像から未選択の部分を１つ選択する。選択される部分が着目ブロックとなる。

図８は、着目ブロック２２１が選択される順序の具体例を点線矢印で示している。
ずれ量算出部１３０は、解析画像２２０からピクセル群の列を順番に選択する。また、ずれ量算出部１３０は、選択した列からｒ行のピクセル群を順番に選択する。選択されるｒ行のピクセル群が着目ブロックとなる。
「ｒ」は、１以上Ｌ以下の整数である。
「Ｌ」は、ピクセル群の行数である。

図７に戻り、ステップＳ１３２から説明を続ける。
ステップＳ１３２において、ずれ量算出部１３０は、解析画像から着目ブロックに含まれるピクセル群の隣のピクセル群が属する列を選択する。選択される列を「隣接ブロック」と称する。

図９は、着目ブロック２２１に対する隣接ブロック２２２の具体例を示している。ピクセル群［ｉ］は、ｉ番目の画素群２１２に対応するピクセル群を意味する。
着目ブロック２２１は、ピクセル群［２］の列の部分である。
隣接ブロック２２２は、着目ブロック２２１の左隣の列の全体、つまり、ピクセル群［１］の列の全体である。
但し、着目ブロック２２１がピクセル群［１］の列の部分である場合、ピクセル群［１］の列の全体を隣接ブロック２２２とする。

図７に戻り、ステップＳ１３３から説明を続ける。
ステップＳ１３３において、ずれ量算出部１３０は、着目ブロックと隣接ブロックの各部分との相関を調べる。

ステップＳ１３３の詳細を以下に説明する。
まず、ずれ量算出部１３０は、隣接ブロックを含む特定の範囲を算出する。算出される範囲を「相関処理範囲」と称する。

図１０は、隣接ブロック２２２に対する相関処理範囲２２３の具体例を示している。
「ｎ」は、隣接ブロック２２２の幅、つまり、１つのピクセル群に含まれるピクセルの数である。
相関処理範囲２２３は、隣接ブロック２２２を中央に含み、クロストラック方向に対応する方向に（３ｎ－２）ピクセル分の幅を有し、アロングトラック方向に対応する方向に（Ｌ＋２ｒ－２）ピクセル分の幅を有する。

次に、ずれ量算出部１３０は、相関処理範囲の中で着目ブロックを移動させながら着目ブロックと隣接ブロックとの互いに重なり合う部分の相関値を算出する。

図１１は、相関処理範囲２２３の中で着目ブロック２２１を移動させる様子を示している。
ずれ量算出部１３０は、着目ブロック２２１をクロストラック方向に対応する方向とアロングトラック方向に対応する方向とのそれぞれに１ピクセルずつずらしながら相関値を算出する。

例えば、以下のような指標について相関値が算出される。
（ｉ１）画像の類似性
（ｉ２）画像の特徴点または特徴点の連続性

光学センサ２１０の画素２１３が、偏向フィルタなどを有するＣＣＤの画素である場合、撮影画像および解析画像はカラー画像である。解析画像がカラー画像である場合、つまり、解析画像が波長または偏波の複数のバンドで構成される画像である場合、例えば、以下のような指標について相関値が算出される。
（ｉ３）バンド間画像の類似性
（ｉ４）バンド間画像の連続性

相関値は、例えば、以下のような手法で算出される。
（ｔ１）画像の類似性を相互相関関数を用いて数値化する。
（ｔ２）隣接する画素間の微分値を算出し、画像の連続性を差分評価関数を用いて数値化する。微分値は濃淡の差分を示す。
（ｔ３）画像の特徴点の連続性を連続性評価関数を用いて数値化する。
（ｔ４）画像の類似性または画像の連続性を人工知能を利用して数値化する。

手法（ｔ１）において、相互相関関数は２つの画像の似ている度合いを数値化する。例えば、式（１）が相互相関関数として使用される。

Ａ（ｉ，ｊ）は、着目ブロックの各ピクセルを意味する。「ｉ」はクロストラック方向に相当する方向におけるピクセルの位置を示す。「ｊ」はアロングトラック方向に相当する方向におけるピクセルの位置を示す。
Ｂ（ｉ，ｊ）は、隣接ブロックのうち着目ブロックと重なり合うピクセルを意味する。

手法（ｔ２）において、差分評価関数は２つの差分画像の似ている度合いを数値化する。例えば、式（２）が差分評価関数として使用される。

ｄＡ（ｉ，ｊ）＝Ａ（ｉ，ｊ＋１）－Ａ（ｉ，ｊ）
ｄＢ（ｉ，ｊ）＝Ｂ（ｉ，ｊ＋１）－Ｂ（ｉ，ｊ）

ｄＡ（ｉ，ｊ）は、着目ブロックの各ピクセルと隣のピクセルとの差分を意味する。
ｄＢ（ｉ，ｊ）は、隣接ブロックの各ピクセルと隣のピクセルとの差分のうち着目ブロックと重なり合う各ピクセルを意味する。
｜ｄＡ（ｉ，ｊ）－ｄＢ（ｉ，ｊ）｜は、ｄＡ（ｉ，ｊ）－ｄＢ（ｉ，ｊ）の絶対値を意味する。

手法（ｔ３）において、連続性評価関数は、特徴点間ベクトルまたは輪郭線ベクトルが成す角度を数値化する。特徴点間ベクトルは、画像から抽出される２つの特徴点を結ぶベクトルである。輪郭線ベクトルは、画像から抽出される輪郭線を表すベクトルである。
例えば、式（３）が連続性評価関数として使用される。

「ｋ」は、輪郭線が有する頂点の数、または、特徴点の数である。
θ（ｉ）は、ｉ番目の頂点またはｉ番目の特徴点を基点とするベクトルと隣のベクトルとがなす角度である。

そして、ずれ量算出部１３０は、相関マップを生成する。
相関マップは、隣接ブロックにおけるピクセルの二次元配置に対応させて各ピクセルを基点とする部分の相関値を示す。例えば、相関マップは、二次元配列で表される。

図７に戻り、ステップＳ１３４から説明を続ける。
ステップＳ１３４において、ずれ量算出部１３０は、最も相関値が高い部分を特定する。特定される部分が相関部分である。
具体的には、ずれ量算出部１３０は、相関マップを参照し、最も相関値が高いピクセルを基点とする部分を相関部分として特定する。

ステップＳ１３５において、ずれ量算出部１３０は、着目ブロックと相関部分とのずれ量を算出する。
具体的には、ずれ量算出部１３０は、移動前の着目ブロックの基点ピクセルと相関部分の基点ピクセルとの距離を算出する。算出される距離がずれ量である。基点ピクセルは基点となるピクセルである。

図１２は、着目ブロック２２１と相関部分２２４とのずれ量Ｄｐの具体例を示している。
ずれ量Ｄｐは、着目ブロック２２１の左上のピクセルと相関部分２２４の左上のピクセルとの距離である。ずれ量Ｄｐの単位はピクセルである。

但し、着目ブロックが左端の列の部分である場合、つまり、着目ブロックがピクセル群［１］の列の部分である場合、ずれ量算出部１３０はずれ量をゼロとする。この場合について、ステップＳ１３２からステップＳ１３４は省略してもよい。

図７に戻り、ステップＳ１３６から説明を続ける。
ずれ量算出部１３０は、ずれ量をずれ量マップに登録する。
ずれ量マップは、解析画像における着目ブロックの二次元配置に対応させて各着目ブロックのずれ量を示す。

図１３は、ずれ量マップ２３０の概要図である。
ずれ量マップ２３０は、ずれ量Ｄｐの二次元配列で表される。
Ｄｐ（ｉ，ｊ）は、（ｉ，ｊ）で示される位置の着目ブロックのずれ量Ｄｐを意味する。
「ｉ」は、１以上Ｎ以下の整数である。
「Ｎ」は、解析画像におけるピクセル群の列数である。
「ｊ」は、１以上［Ｌ／ｒ］以下の整数である。
［Ｌ／ｒ］は、ｃｅｉｌｉｎｇ（Ｌ／ｒ）を意味する。
ｃｅｉｌｉｎｇ（Ｌ／ｒ）は、（Ｌ／ｒ）以上の最小の整数である。
「Ｌ」は、解析画像におけるピクセル群の行数である。
「ｒ」は、着目ブロックにおけるピクセル群の行数である。
左端の列の各着目ブロックのずれ量は、ゼロである。

図７に戻り、ステップＳ１３７から説明を続ける。
ステップＳ１３７において、ずれ量算出部１３０は、ステップＳ１３１で着目ブロックとして選択されていない部分（未選択の着目ブロック）があるか判定する。
未選択の着目ブロックがある場合、処理はステップＳ１３１に進む。
未選択の着目ブロックがない場合、処理は終了する。

図５に戻り、ステップＳ１４０から説明を続ける。
ステップＳ１４０において、ずれ距離算出部１４０は、解析画像のずれ距離マップを以下のように生成する。

まず、ずれ距離算出部１４０は、着目ブロックごとに、ずれ量を換算して得られる距離を算出する。
具体的には、ずれ距離算出部１４０は、ずれ量マップに登録された各ずれ量をピクセルスペーシングによって、距離に換算する。つまり、ずれ距離算出部１４０は、１ピクセルあたりの距離［メートル／ピクセル］をずれ量［ピクセル］に掛けて距離［メートル］を算出する。１ピクセル当たりの距離は予め設定される。
算出される距離を着目ブロックの「ずれ距離」と称する。

そして、ずれ距離算出部１４０は、各着目ブロックのずれ距離を登録してずれ距離マップを生成する。
ずれ距離マップは、解析画像における着目ブロックの二次元配置に対応させて各着目ブロックのずれ距離を示す。例えば、ずれ距離マップは二次元配列で表される。

ステップＳ１５０において、標高算出部１５０は、解析画像の標高データを以下のように生成する。
まず、標高算出部１５０は、着目ブロックごとに、ずれ距離に基づいて着目ブロックに映った箇所の標高を算出する。
そして、標高算出部１５０は、各着目ブロックの標高を登録して標高データを生成する。
標高データは、解析画像における着目ブロックの二次元配置に対応させて各着目ブロックに映った箇所の標高を示す。例えば、標高データは二次元配列で表される。

図１４に基づいて、ステップＳ１５０の詳細を説明する。
ステップＳ１５１において、標高算出部１５０は、ずれ距離マップから、未選択のずれ距離を１つ選択する。
図１４において、選択されたずれ距離に対応する着目ブロックを単に「着目ブロック」という。

ステップＳ１５２において、標高算出部１５０は、ずれ距離に対応する視差角を算出する。
視差角は、着目画素の視線ベクトルと相関画素の視線ベクトルとがなした角度である。着目画素は、着目ブロックに含まれる基点ピクセルに対応する画素２１３である。
相関画素は、相関部分に含まれる基点ピクセルに対応する画素２１３である。
基点ピクセルは、例えば、左上のピクセルである。

ｉピクセルに対応する画素［ｉ］の視線ベクトルは、ある時刻τ_ｊにおける画素［ｉ］の撮影方向を示す。ある時刻τ_ｊは、ｉピクセルの行番号、つまり、「ｊ」に基づいて算出される。

視線ベクトルは、式（４）で表される。

Ｔ（ｘ_ｉ，ｙ_ｉ，０）は、ｉ番目の画素２１３の視線ベクトルを意味する。
ｄｓは、取り付け位置を意味する。取り付け位置は、アロングトラック方向に相当する方向において基点から画素２１３までの距離で表される。
ｄｐは、画素間隔を意味する。
ｆは、光学センサ２１０の焦点距離を意味する。
取り付け位置ｄｓと画素間隔ｄｐと焦点距離ｆといったパラメータは、予め設定される。また、各画素２１３の視線ベクトルは、これらのパラメータを用いて算出される。

例えば、１番目の画素２１３の視線ベクトルは式（５－１）で表される。
また、２番目の画素２１３の視線ベクトルは式（５－２）で表される。

図１５および図１６に、光学センサ２１０と各パラメータとの関係を示す。
図１５は、上方から見た光学センサ２１０を示している。画素２１３の中の黒丸は画素２１３の中心を表している。
図１６は、側方から見た光学センサ２１０を示している。

視差角は、式（６）を計算することによって算出される。

Ｔ_ｉ・Ｔ_ｉ＋１は、視線ベクトルＴ_ｉと視線ベクトルＴ_ｉ＋１の内積を意味する。
｜Ｔ_ｉ｜は、視線ベクトルＴ_ｉの大きさを意味する。
｜Ｔ_ｉ｜｜Ｔ_ｉ＋１｜は、視線ベクトルＴ_ｉの大きさと視線ベクトルＴ_ｉ＋１の大きさの乗算を意味する。

図１４に戻り、ステップＳ１５３から説明を続ける。
ステップＳ１５３において、標高算出部１５０は、ずれ距離と視差角とポインティング角とを用いて、標高を算出する。
ポインティング角は、着目画素から地球の地心方向へのベクトルと着目画素の視線ベクトルとがなす角度である。ポインティング角は、時刻τ_ｊに応じた飛翔体の位置ベクトルと着目画素の視線ベクトルから算出する。ポインティング角は、式（７）を計算することによって算出される。

Ｐ（ｉ，ｊ）は、ｉピクセルの行番号ｊに基づいて算出される時刻τ_ｊにおける飛翔体の位置ベクトルを表す。－Ｐ（ｉ，ｊ）・Ｔ_ｉは、飛翔体の位置ベクトルＰ（ｉ，ｊ）に－１をかけたベクトルと視線ベクトルＴ_ｉの内積を意味する。
｜－Ｐ（ｉ，ｊ）｜は、飛翔体の位置ベクトル－Ｐ（ｉ，ｊ）の大きさを意味する。
｜－Ｐ（ｉ，ｊ）｜｜Ｔ_ｉ｜は、飛翔体の位置ベクトル－Ｐ（ｉ，ｊ）の大きさと視線ベクトルＴ_ｉの大きさの乗算を意味する。

標高は、式（８）を計算することによって算出される。

ｈ（ｉ，ｊ）は、（ｉ，ｊ）で示される位置の着目ブロックに映った箇所の標高を意味する。
Ｄｍ（ｉ，ｊ）は、（ｉ，ｊ）で示される位置の着目ブロックのずれ距離Ｄｍを意味する。
φ（ｉ，ｊ）は、ｉピクセルの行番号ｊに基づいて算出される時刻τ_ｊにおけるポインティング角を意味する。

図１７に、ずれ距離Ｄｍと視差角θとポインティング角φと標高ｈの関係を示す。衛星高度Ｈは予め設定される。
視線ベクトルＴ_ｉは、時刻τ_ｊにおける着目画素の視線ベクトルを表している。
視線ベクトルＴ_ｉ＋１は、時刻τ_{ｊ＋Ｄｐａ}における相関画素の視線ベクトルを表している。Ｄｐａは、ずれ量Ｄｐをアロングトラック方向に換算したピクセル数である。

図５に戻り、ステップＳ１６０を説明する。
ステップＳ１６０において、出力部１６０は、標高データ２０９を出力する。
例えば、出力部１６０は、標高データ２０９を記録媒体に記録する。

＊＊＊実施例の説明＊＊＊
光学センサ２１０において、隣り合う２つの画素群２１２の一部がｙ軸の方向でオーバーラップしてもよい。
図１８において、ｉ番目の画素２１３と（ｉ＋１）番目の画素２１３がオーバーラップしている。
この場合、着目ブロックは、ｒ行分のピクセル群のうちオーバーラップする画素２１３に対応する部分であってもよい。これにより、相関処理に要する時間を短縮することができる。

光学センサ２１０において、スタガ配置の列数は３列以上であってもよい。スタガ配置の最大の列数は、画素群２１２の数と同じである。
図１９において、スタガ配置の列数Ｎは、画素群２１２の数Ｎと同じである。

光学センサ２１０において、隣り合う２つの画素群２１２は、接してなくて離れていてもよい。

＊＊＊実施の形態１の効果＊＊＊
実施の形態１により、単一の光学センサ２１０の単独の撮影によって得られた解析画像を使って標高データ２０９を生成することができる。

＊＊＊実施の形態１の補足＊＊＊
標高データ生成装置１００は、２台以上の装置によって実現されてもよい。
標高データ生成装置１００の要素である「部」は、ハードウェア、ソフトウェア、ファームウェアまたはこれらの組み合わせのいずれで実現されてもよい。
標高データ生成装置１００の要素である「部」は、「処理」または「工程」と読み替えてもよい。

実施の形態１は、好ましい形態の例示であり、本開示の技術的範囲を制限することを意図するものではない。実施の形態１は、部分的に実施してもよいし、他の形態と組み合わせて実施してもよい。フローチャート等を用いて説明した手順は、適宜に変更してもよい。

１００標高データ生成装置、１０１プロセッサ、１０２メモリ、１０３補助記憶装置、１０４通信装置、１０５入出力インタフェース、１１０受付部、１２０幾何補正部、１３０ずれ量算出部、１４０ずれ距離算出部、１５０標高算出部、１６０出力部、１９０記憶部、２００標高データ生成システム、２０１飛翔体、２０９標高データ、２１０光学センサ、２１１基盤、２１２画素群、２１３画素、２２０解析画像、２２１着目ブロック、２２２隣接ブロック、２２３相関処理範囲、２２４相関部分、２３０ずれ量マップ。

Claims

飛翔体に搭載された光学センサによって撮影された地表が映った解析画像を用いて標高データを生成する標高データ生成システムであって、
前記光学センサは、前記飛翔体のクロストラック方向にスタガ配置された複数の画素群を有するラインセンサであり、
前記解析画像は、前記複数の画素群に対応する複数のピクセル群が前記飛翔体のアロングトラック方向に対応する方向に時系列に複数行並べられた二次元画像であり、
前記標高データ生成システムは、
前記解析画像の部分である着目ブロックごとに、前記解析画像のうち前記着目ブロックと相関する相関部分を特定し、前記着目ブロックと前記相関部分とのずれ量を前記着目ブロックのずれ量として算出するずれ量算出部と、
着目ブロックごとに、前記ずれ量を換算して得られる距離を前記着目ブロックのずれ距離として算出するずれ距離算出部と、
着目ブロックごとに、前記ずれ距離に基づいて、前記着目ブロックに映った箇所の標高を算出する標高算出部と、
を備える標高データ生成システム。
前記ずれ量算出部は、着目ブロックごとに、前記解析画像から前記着目ブロックに含まれるピクセル群の隣のピクセル群が属する列を隣接ブロックとして選択し、前記着目ブロックと前記隣接ブロックの各部分との相関を調べて前記相関部分を特定する
請求項１に記載の標高データ生成システム。
前記ずれ量算出部は、着目ブロックごとに、前記隣接ブロックを含む特定の範囲である相関処理範囲を算出し、前記相関処理範囲の中で前記着目ブロックを移動させながら前記着目ブロックと前記隣接ブロックとが互いに重なり合う部分の相関値を算出し、最も相関値が高い部分を前記相関部分として特定する
請求項２に記載の標高データ生成システム。
前記ずれ量算出部は、前記解析画像における着目ブロックの二次元配置に対応させて各着目ブロックのずれ量を示すずれ量マップを生成し、
前記ずれ距離算出部は、前記解析画像における着目ブロックの二次元配置に対応させて各着目ブロックのずれ距離を示すずれ距離マップを生成する
請求項１から請求項３のいずれか１項に記載の標高データ生成システム。
前記標高算出部は、着目ブロックごとに、前記ずれ距離と、前記着目ブロックに含まれるピクセルに対応する画素である着目画素の視線ベクトルと前記相関部分に含まれるピクセルに対応する画素である相関画素の視線ベクトルとがなした視差角と、を用いて前記標高を算出する
請求項１から請求項４のいずれか１項に記載の標高データ生成システム。
前記標高算出部は、前記解析画像における着目ブロックの二次元配置に対応させて各着目ブロックに映った箇所の標高を示す標高データを生成する
請求項１から請求項５のいずれか１項に記載の標高データ生成システム。
前記光学センサにおいて前記クロストラック方向で隣り合う２つの画素群は、前記光学センサの基盤に対する取り付け角度が互いに異なるため、撮影する方向に相当する視線方向が互いに異なる
請求項１から請求項６のいずれか１項に記載の標高データ生成システム。
前記光学センサによって前記地表を撮影して得られる撮影画像を幾何補正して前記解析画像を生成する幾何補正部を備える
請求項１から請求項７のいずれか１項に記載の標高データ生成システム。
飛翔体に搭載された光学センサによって撮影された地表が映った解析画像を用いて標高データを生成するための標高データ生成プログラムであって、
前記光学センサは、前記飛翔体のクロストラック方向にスタガ配置された複数の画素群を有するラインセンサであり、
前記解析画像は、前記複数の画素群に対応する複数のピクセル群が前記飛翔体のアロングトラック方向に対応する方向に時系列に複数行並べられた二次元画像であり、
前記解析画像の部分である着目ブロックごとに、前記解析画像のうち前記着目ブロックと相関する相関部分を特定し、前記着目ブロックと前記相関部分とのずれ量を前記着目ブロックのずれ量として算出するずれ量算出部と、
着目ブロックごとに、前記ずれ量を換算して得られる距離を前記着目ブロックのずれ距離として算出するずれ距離算出部と、
着目ブロックごとに、前記ずれ距離に基づいて、前記着目ブロックに映った箇所の標高を算出する標高算出部として、
コンピュータを機能させるための標高データ生成プログラム。
前記ずれ量算出部は、着目ブロックごとに、前記解析画像から前記着目ブロックに含まれるピクセル群の隣のピクセル群が属する列を隣接ブロックとして選択し、前記着目ブロックと前記隣接ブロックの各部分との相関を調べて前記相関部分を特定する
請求項９に記載の標高データ生成プログラム。
前記ずれ量算出部は、着目ブロックごとに、前記隣接ブロックを含む特定の範囲である相関処理範囲を算出し、前記相関処理範囲の中で前記着目ブロックを移動させながら前記着目ブロックと前記隣接ブロックとが互いに重なり合う部分の相関値を算出し、最も相関値が高い部分を前記相関部分として特定する
請求項１０に記載の標高データ生成プログラム。
前記ずれ量算出部は、前記解析画像における着目ブロックの二次元配置に対応させて各着目ブロックのずれ量を示すずれ量マップを生成し、
前記ずれ距離算出部は、前記解析画像における着目ブロックの二次元配置に対応させて各着目ブロックのずれ距離を示すずれ距離マップを生成する
請求項９から請求項１１のいずれか１項に記載の標高データ生成プログラム。
前記標高算出部は、着目ブロックごとに、前記ずれ距離と、前記着目ブロックに含まれるピクセルに対応する画素である着目画素の視線ベクトルと前記相関部分に含まれるピクセルに対応する画素である相関画素の視線ベクトルとがなした視差角と、を用いて前記標高を算出する
請求項９から請求項１２のいずれか１項に記載の標高データ生成プログラム。
前記標高算出部は、前記解析画像における着目ブロックの二次元配置に対応させて各着目ブロックに映った箇所の標高を示す標高データを生成する
請求項９から請求項１３のいずれか１項に記載の標高データ生成プログラム。
前記光学センサにおいて前記クロストラック方向で隣り合う２つの画素群は、前記光学センサの基盤に対する取り付け角度が互いに異なるため、撮影する方向に相当する視線方向が互いに異なる
請求項９から請求項１４のいずれか１項に記載の標高データ生成プログラム。
前記光学センサによって前記地表を撮影して得られる撮影画像を幾何補正して前記解析画像を生成する幾何補正部としてコンピュータを機能させる
請求項９から請求項１５のいずれか１項に記載の標高データ生成プログラム。
飛翔体に搭載された光学センサによって撮影された地表が映った解析画像を用いて標高データを生成する標高データ生成方法であって、
前記光学センサは、前記飛翔体のクロストラック方向にスタガ配置された複数の画素群を有するラインセンサであり、
前記解析画像は、前記複数の画素群に対応する複数のピクセル群が前記飛翔体のアロングトラック方向に対応する方向に時系列に複数行並べられた二次元画像であり、
ずれ量算出部が、前記解析画像の部分である着目ブロックごとに、前記解析画像のうち前記着目ブロックと相関する相関部分を特定し、前記着目ブロックと前記相関部分とのずれ量を前記着目ブロックのずれ量として算出し、
ずれ距離算出部が、着目ブロックごとに、前記ずれ量を換算して得られる距離を前記着目ブロックのずれ距離として算出し、
標高算出部が、着目ブロックごとに、前記ずれ距離に基づいて、前記着目ブロックに映った箇所の標高を算出する
標高データ生成方法。