JP2004110601A

JP2004110601A - 画像の表示方法及び表示装置

Info

Publication number: JP2004110601A
Application number: JP2002274256A
Authority: JP
Inventors: Toshio Matsushita; 松下　寿雄; Norio Tanaka; 田中　紀夫
Original assignee: Hitachi Ltd
Current assignee: Hitachi Ltd
Priority date: 2002-09-20
Filing date: 2002-09-20
Publication date: 2004-04-08
Anticipated expiration: 2022-09-20
Also published as: JP3985643B2

Abstract

【課題】一方向からのみ撮影された画像から、対象物の高さを推定し、対象物のオルソ画像を作成する。本発明における対象物とは、船舶や車両や航空機といった、全体の形状や大きさから高さを推定できるようなものである。
【解決手段】対象物の全体の形状や大きさが大体決まっていることを利用することによって、対象物の長軸方向又は短軸方向の長さを測定して、その長さに対象物の大きさにより推定される定数をかけることにより、その数値を対象物の高さとする。この高さと撮影角度を利用することによって、対象物のオルソ画像を作成する。
【効果】単一の画像から対象物のオルソ画像を作成可能にする。
【選択図】　図１

Description

【０００１】
【発明の属する技術分野】
本発明は、撮影した画像の画像表示方法及び表示装置に関する。
【０００２】
【従来の技術】
特開２０００−３０６１０５号公報で紹介されているように、画像に撮影されている基準点を画像毎に地上での測量を行い、その測量した高さ情報を元に対象物の高さを算出し、一つの画像よりオルソ画像を作成している。オルソ画像とは、画像の全体または一部が斜めに撮影されている部分をどこでも真上から見たように、つまり正射投影に補正した画像である。
【０００３】
【発明が解決しようとする課題】
上記特開２０００−３０６１０５号公報は、画像の補正をする上で基準点の測量が必要であり、時間的において制約が大きくかかることとなる。
【０００４】
尚、特開平１０−３３２３３４号公報は画像から３次元の位置計測を行い高さデータを考慮し高さ補正するもので、画像について補正をするものではなく、画像を補正する上で高さデータを使用することは考慮されていない。
【０００５】
本発明は、時間的制約を少なくしながら対象物のオルソ画像を作成することを目的とする。
【０００６】
【課題を解決するための手段】
上記目的を達成する為、対象物を判別する為のパターンとパターンに対応した高さ又は高さ係数を記憶したテーブルに基づいて対象物の高さを算出して画像を補正し、補正された画面を表示するものである。
【０００７】
【発明の実施の形態】
高所から地表面を撮影した画像では、地表面から垂直に真上から見た部分だけではなく、画像の全体または一部が、斜めに撮影されている場合がある。地表面の形状や建造物や道路の配置などを、正確に分かり易く判別するためには、斜めから撮影されている部分をどこでも真上から見たように、つまり正射投影に補正する必要がある。この正射投影に補正することをオルソ化といい、正射投影に補正した画像のことをオルソ画像という。ただし、本発明におけるオルソ化及びオルソ画像とは、地表面に対して完全に垂直に真上から撮影した画像を意味するのではなく、地表面を上方から平面視したとみなせる程度をいう。
【０００８】
本発明における対象物とは、船舶や車両や航空機といった、全体の形状や大きさから高さを推定できるようなものである。船舶や車両や航空機は、全体の形状や大きさが大体決まっていることを利用することを特徴とする。画像に撮影されている対象物の長軸方向や短軸方向の長さ、もしくは形状により船舶や車両や航空機を判別し、その種類の形状や大きさを元に推定される定数を、長軸方向又は短軸方向の長さにかけることにより得た数値や、もしくは推定される定数そのものを対象物の高さとする。この高さと撮影角度を利用することによって、オルソ画像を作成する。
【０００９】
以下、本発明に関わる実施例を、図面に基づき説明する。
【００１０】
図２は、一つの例として、船舶を人工衛星から撮影した場合の概略図である。船舶１３は、地表面に対し垂直に真上に人工衛星１１が存在している場合、船舶１２は紙面手前から見て右側（右舷側）上空に人工衛星１１が存在している場合、船舶１４は紙面手前から見て左側（左舷側）上空に人工衛星１１が存在している場合である。人工衛星１１が船舶１３を撮影した場合、船舶画像１６のように船舶の壁面がほとんど見られず、オルソ画像のようになる。しかし、撮影の緊急度合や撮影計画などの理由により、衛星軌道が対象地域や対象物の真上にならないときに、撮影を行う場合がある。船舶１２を撮影した場合、船舶画像１５に示すように右舷側の壁面が多く現れるようになり、船舶１４を撮影した場合、船舶画像１７に示すように左舷側の壁面が多く現れるようになる。これらについては、航空機から撮影した場合においても、画像の中心部から離れるにつれ同様の現象が発生する。なお、本発明は、衛星画像や航空写真等、高所から地表面を撮影した画像に対し適応可能である。
【００１１】
斜めに撮影されている画像を船舶画像１６のようにオルソ画像に補正するためには、対象物の高さの数値が必要不可欠である。従来の技術では、同じ対象物を撮影した二つ以上の画像を使用し、対象物の高さを算出していた。又は、撮影された影の長さにより対象物の高さを算出していた。又は、測量による既知の基準点における高さを基に対象物の高さを算出していた。
【００１２】
図３は、本発明によるオルソ画像作成方法の概略図である。本発明では、対象物画像１８のように斜めに撮影された場合、まず対象物画像１９のように、長軸方向Ｌや短軸方向Ｗの長さを画像により測定する。長軸方向の長さにある程度比例して高さが変化する対象物の場合、一枚の画像より対象物の長軸方向を計測し、式１に示すようにその長さに予め設定していた高さ係数をかけることによって、高さ基準となる部分を算出する。短軸方向の長さを利用して高さ係数を設定する場合もあり得る。また、大きさや種類により高さが決定する対象物の場合、式２に示すようにその形状や大きさにより予め設定していた高さ数値を、高さ基準となる部分の求める高さの数値とする。
【００１３】
ｈ＝Ｌ×ａ（長さにある程度比例して高さが変化する対象物の場合）…（式１）
ｈ＝ｂ（大きさや種類により高さが決定する対象物の場合）　　　　…（式２）
ｈ：対象物の求めたい部分の高さ
Ｌ：対象物の長軸方向又は短軸方向の長さ
ａ：高さ係数
ｂ：高さ数値
例えば、船舶を対象物とした場合、表１の通りにそれぞれ高さ係数を設定し、これらを全長方向の長さにかけることで、水面から甲板までの高さと甲板上構造物の高さを算出する。
【００１４】
【表１】

その他、甲板上構造物が二つある場合の船舶パターン等、様々な複数の船舶パターンに対しそれぞれの数値を設定する。
【００１５】
例えば、鉄道車両を対象物とした場合、長さの数値にかかわらず、高さを４ｍと設定する。
【００１６】
例えば、旅客機を対象物とした場合、全長方向が６５ｍから７５ｍ、全幅方向が５５ｍから６５ｍの場合は、胴体部の高さ８ｍ，尾翼最上部の高さ２０ｍ，主翼の高さ０ｍと設定する。その他、様々な大きさや形状の航空機パターンに対し、それぞれの数値を設定する。
【００１７】
また、後述するオルソ化処理方法で、回転処理の際の回転軸の取り方により、設定数値を変更することもあり得る。例えば、船舶の場合は、甲板の高さを回転軸の基準として０ｍとすることや、旅客機の場合は、地表面を回転軸の基準として高さの数値を変更し、計算することもあり得る。
【００１８】
対象物画像２０のように、高さ基準となる部分の高さを算出した後、それらの情報と撮影条件の中の撮影角度を用いて対象物画像２１のようにオルソ画像へと変換する。
【００１９】
図１は、本発明の全体構成図である。本発明の処理法は、対象物画像抽出部２と高さ算出処理部３と、オルソ画像作成部６と、オルソ画像確認部８と、フィードバック部９と、高さ係数・高さ数値テーブル４と、対象物パターンテーブル５とで構成する。
【００２０】
対象物画像抽出部２では、高所から地表面を撮影した画像１と撮影条件７（撮影高度や撮影倍率など）が入力され、対象物を探索して切り出し、同時に対象物の緯経度を算出し、対象物画像を高さ算出処理部３へ出力する。
【００２１】
高さ算出処理部３では、入力された対象物の種類に応じ、対象物パターンテーブル５から対象物パターンが入力され、高さ係数・高さ数値テーブル４から高さ基準部分の高さ係数や高さ数値が入力され、対象物の高さを算出し、オルソ画像作成部６へ出力する。
【００２２】
高さ係数・高さ数値テーブル４では、対象物の種類や形状の大きさにより、各対象物パターンデータの高さ基準位置の高さ係数・高さ数値を蓄積しており、対象物パターンテーブル５では、対象物の様々なパターンデータを蓄積している。対象物パターンデータとは、対象物の高さ基準位置の形状や大きさにより、それぞれの対象物で用意した複数のパターン情報である。例えば、航空機の場合は、主翼が長方形に近いパターンデータと主翼が三角形のパターンデータなどを用意し、それぞれで高さ数値のテーブルを用意する。また、例えば船舶の場合は、甲板上構造物が船尾に近い部分で一つであるパターンデータや、中心部分に二つの構造物があるパターンデータ等を用意し、それぞれで高さ係数のテーブルを用意する。表１は、甲板上構造物が中心付近に一つある場合の高さ係数テーブルである。一つのパターンデータに対し、一組の高さ係数・高さ数値を蓄積している場合や、一つのパターンデータに対し、複数組の高さ係数・高さ数値を蓄積している場合もあり得る。
【００２３】
オルソ画像作成部６では、対象物画像や対象物パターンや高さデータが入力され、及び撮影条件の中の撮影角度が入力され、対象物のオルソ画像を作成し、対象物のオルソ画像をオルソ画像確認部８へ出力する。
【００２４】
オルソ画像確認部８では、作成されたオルソ画像を目視で確認し、もし正常にオルソ化されていないのであれば、対象物パターンテーブル５や高さ係数・高さ数値テーブル４より他の対象物パターンや高さ係数・高さ数値を取得して、又は新たな対象物パターンデータや新たな高さ係数や高さ数値を指定して、オルソ画像作成部へ再度出力する。正常にオルソ化されていれば、オルソ画像と、新規作成や変更していれば対象物パターンや高さ係数・高さ数値をフィードバック部９へ出力する。
【００２５】
フィードバック部９では、対象物パターンや高さ係数・高さ数値が新規作成や変更されている場合に、対象物パターンテーブル５や高さ係数・高さ数値テーブル４へ出力する。また最終的に、オルソ画像を出力する。
【００２６】
次に、対象物画像抽出部２についての処理フローを、図４に基づいて説明する。高所から地表面を撮影した画像１と撮影条件７を入力すると、まず対象物の存在し得る領域を判別する（ステップＳ１）。例えば、画像の輝度値による形状及び大きさ等の情報から、対象物が船舶なら水域，鉄道車両なら線路域，航空機なら飛行場域を判別する。これらの領域の中から、各画素の輝度値による情報より自動で、もしくは目視により対象物が撮影されているかを探索し判別する（ステップＳ２）。対象物が一つも撮影されていないなら、処理終了する（ステップＳ３）。対象物が撮影されていれば、対象物の画像のみを自動で、もしくは目視により手動で抽出する（ステップＳ４）。他に処理する対象物があれば、対象物の数だけ処理を繰り返し、処理する対象物がなければ、処理終了する（ステップＳ５）。
【００２７】
次に、高さ算出処理部３についての処理フローを、図５に基づいて説明する。まず、対象物があれば処理継続し、なければ処理終了する（ステップＳ１０）。そして、対象物の形状や長軸方向や短軸方向の長さなど、対象物を特徴づける特徴量を計測する（ステップＳ１１）。対象物を画面に表示し、目視又は自動により対象物の種類を判別する（ステップＳ１２）。
【００２８】
例えば、対象物が車両であれば、車両天井部の位置を判別し（ステップＳ１３）、高さ係数・高さ数値テーブル４より車両天井部の高さ数値を取得する（ステップＳ１４）。
【００２９】
例えば、対象物が航空機であれば、主翼部，胴体部，尾翼部を輝度の情報や形状により判別し（ステップＳ１５）、対象物パターンテーブル５より航空機パターンを取得し（ステップＳ１６）、高さ係数・高さ数値テーブル４より高さ基準部分の高さ数値を取得する（ステップＳ１７）。
【００３０】
例えば、対象物が船舶であれば、全長方向と船幅方向に伸びている輝度のエッジを基に、又は画面による目視で手動により、甲板部分と艦橋の甲板上構造物の部分とを判別する（ステップＳ１８）。対象物パターンテーブル５より船舶パターンを取得し（ステップＳ１９）、高さ係数・高さ数値テーブル４より高さ基準部分の高さ係数を取得し（ステップＳ２０）、全長方向の長さに高さ係数をかけることにより、高さ基準部分の高さ数値を算出する（ステップＳ２１）。他に処理する対象物があれば、対象物の数だけ処理を繰り返し、処理する対象物がなければ、処理終了する（ステップＳ２２）。
【００３１】
次に、オルソ画像作成部６についての処理フローを、図６に基づいて説明する。まず、対象物があれば処理継続し、なければ処理終了する（ステップＳ３０）。それぞれの高さ基準位置の高さを基に、それらの情報と対象物の種類により、３次元モデルを作成する（ステップＳ３１）。３次元モデルに高さ基準部位の対象物画像を貼り付け（ステップＳ３２）、撮影条件より撮影角度を取得し（ステップＳ３３）、３次元モデルを撮影角度分回転させ（ステップＳ３４）、正射投影の画像を取得する（ステップＳ３５）。他に処理する対象物があれば、対象物の数だけ処理を繰り返し、処理する対象物がなければ、処理終了する（ステップＳ３６）。
【００３２】
次に、オルソ画像確認部８についての処理フローを、図７に基づいて説明する。まず、対象物があれば処理継続し、なければ処理終了する（ステップＳ４０）。そして、オルソ化された画像と対象物画像を画面に表示して（ステップＳ４１）目視で確認し、正常にオルソ化されているか判別する（ステップＳ４２）。正常にオルソ化されていれば、フィードバック部へ出力する。正常にオルソ化されていなければ、すでに作成されているパターンデータを用いて再度オルソ化するか、又は新規にパターンデータを作成するかを選択する。すでに作成されているパターンデータを用いる場合、対象物パターンテーブル５よりパターンデータを選択し（ステップＳ４３）、高さ係数・高さ数値テーブルより高さ係数や高さ数値を取得、又は新規に指定し（ステップＳ４４）、再度オルソ画像を作成するためオルソ画像作成部６に出力する。新規にパターンデータを作成する場合、対象物画像より目視で高さ基準位置を特定し（ステップＳ４５）、新規パターンデータを作成する（ステップＳ４６）。その後、各高さ基準位置の高さ数値や高さ係数を指定し（ステップＳ４７）、再度オルソ画像を作成するため、オルソ画像作成部に出力する。
【００３３】
次に、フィードバック部９についての処理フローを、図８に基づいて説明する。オルソ画像確認部８で、新規にパターンを作成していれば（ステップＳ５０）、対象物パターンテーブル５に新規パターンを保存する（ステップＳ５１）。また、同様に高さ係数・数値を新規に指定していれば（ステップＳ５２）、新規高さ係数・数値を高さ係数・高さ数値テーブルに保存する（ステップＳ５３）。その後、他にオルソ化した対象物があれば、オルソ画像確認部８へ戻り、他にオルソ化した対象物がなければ処理終了する（ステップＳ５４）。このように、オルソ画像を作成した後に、さらに精度の高いパターンデータや数値が分かった場合には、新たにテーブルへ追加することで、オルソ化の精度を向上させることが可能である。
【００３４】
オルソ画像を用いた応用例の一つとして、複数のオルソ画像を比較して、同一もしくは類似するオルソ画像同士を取得する目的のマッチング処理があげられる。図９に、オルソ画像を使用したマッチング処理の構成概念図を示す。高所から地表面を撮影した画像１と、撮影条件７を本発明の全体構成部２２に入力すると、オルソ画像を出力する。オルソ画像は、オルソ画像データベースに記録されるほか、マッチング処理部へ比較元のデータとして出力される場合もある。マッチング処理部では、比較元の対象物のオルソ画像をオルソ画像記録部２３か又はオルソ画像データベース２４から一つ取得し、その比較元画像と類似するオルソ画像をオルソ画像データベースから照合取得し、対象物画像群２６を出力する。
【００３５】
たとえ同一の対象物を撮影した対象物画像だとしても、オルソ化せずに傾いた画像のままであると、異なる対象物であると判別される可能性が高い。そこで、オルソ化せずに傾いた画像であっても、オルソ画像に補正すれば、マッチング処理の精度を向上させることが期待できる。
【００３６】
以上の様に、撮影した画像を入力部へ入力し、処理部において対象物を抽出し、対象物の高さを算出し、対象物の画像を補正し、表示部へ補正した画像を表示することにより、一度の撮影で得られた画像で、地上での測量を行うことなく、また影が撮影されていなくても対象物の高さを推定することができ、これにより、時間的制約を少なくしながら、対象物のオルソ画像を作成することが可能となる。
【００３７】
【発明の効果】
本発明の方法により、対象物の高さを推定することで、撮影した画像から対象物のオルソ画像を作成可能にする。
【図面の簡単な説明】
【図１】全体構成図。
【図２】船舶を人工衛星から撮影した場合の概略図。
【図３】本発明によるオルソ画像作成方法の概略図。
【図４】対象物画像抽出部２についての処理フロー図。
【図５】高さ算出処理部３についての処理フロー図。
【図６】オルソ画像作成部６についての処理フロー図。
【図７】オルソ画像確認部８についての処理フロー図。
【図８】フィードバック部９についての処理フロー図。
【図９】オルソ画像を使用したマッチング処理の構成概念図。
【符号の説明】
１…高所から地表面を撮影した画像、２…対象物画像抽出部、３…高さ算出処理部、４…高さ係数・高さ数値テーブル、５…対象物パターンテーブル、６…オルソ画像作成部、７…撮影条件、８…オルソ画像確認部、９…フィードバック部、１０…オルソ画像、１１…人工衛星、１２，１３，１４…船舶、１５，１６，１７…船舶画像、１８，１９，２０，２１…対象物画像、２２…本発明の全体構成部、２３…オルソ画像記録部、２４…オルソ画像データベース、２５…マッチング処理部、２６…対象物画像群。

Claims

撮影した画像から対象物を抽出し、前記対象物を判別する為のパターンと前記パターンに対応した高さ又は高さを算出する為の高さ係数とを記憶したテーブルに基づいて前記対象物の高さを選択又は算出し、前記選択又は算出された高さに基づき前記対象物の画像を補正し、前記補正された画像を表示することを特徴とする画像の表示方法。
請求項１に記載の画像の表示方法において、前記パターンに対応した高さ又は高さを算出する為の高さ係数を複数有することを特徴とする画像の表示方法。
請求項１に記載の画像の表示方法において、前記補正された画像を表示した後に算出又は選択された第２の前記対象物の高さに基づき前記対象物の画像を補正し、該補正された画像を表示することを特徴とする画像の表示方法。
請求項１に記載の画像の表示方法において、前記撮影した一つの画像の撮影条件に基づいて前記対象物の抽出を行うことを特徴とする画像の表示方法。
請求項３に記載の画像の表示方法において、前記第２の前記対象物の高さを算出又は選択する際に入力されたデータを保存することを特徴とする画像の表示方法。
撮影した画像を入力する入力部と、前記入力された画像から対象物を抽出し、前記対象物を判別する為のパターンと前記パターンに対応した高さ又は高さを算出する為の高さ係数とを記憶したテーブルに基づいて前記対象物の高さを選択又は算出し、前記選択又は算出された高さに基づき前記対象物の画像を補正する機能を有する処理部と、前記補正された画像を表示する表示部とを有する画像の表示装置。
請求項６に記載の画像の表示装置において、前記テーブルは前記パターンに対応した高さ又は高さを算出する為の高さ係数を複数有することを特徴とする画像の表示装置。
請求項６に記載の画像の表示装置において、前記処理部は前記補正された画像を表示した後に算出又は選択された第２の前記対象物の高さに基づき前記対象物の画像を補正する機能を有することを特徴とする画像の表示装置。
請求項６に記載の画像の表示装置において、前記処理部は前記撮影した一つの画像の撮影条件に基づいて前記対象物の抽出を行う機能を有することを特徴とする画像の表示装置。
請求項８に記載の画像の表示装置において、前記第２の前記対象物の高さを算出又は選択する際に入力されたデータを保存する機能を有することを特徴とする画像の表示装置。