JP2017201261A - 形状情報生成システム - Google Patents

Abstract

【課題】低コストかつ迅速、さらには、高精度に、形状情報を生成すること。【解決手段】本発明の形状情報生成システムは、撮影範囲の一部が重複する複数の撮影画像を取得する画像取得部と、取得した複数の撮影画像を用いて、撮影範囲の形状を表すローカル座標系の三次元座標である形状ローカル座標を算出すると共に、当該形状ローカル座標に基づく撮影範囲の形状情報を出力するローカル座標算出部と、撮影範囲に位置する標定点のワールド座標系における三次元座標と、前記形状ローカル座標と、に基づいて、当該形状ローカル座標をワールド座標系の三次元座標に変換すると共に、当該変換後の三次元座標を出力するワールド座標算出部と、を備える。【選択図】図３

Description

本発明は、形状情報生成システムにかかり、特に、画像情報を利用して形状情報を生成する形状情報生成システムに関する。

土砂災害などの自然災害の把握のため、地形情報を利用することが行われている。地形情報は、撮影した写真から対象物の三次元座標を得ることで生成できる。特に近年では、ドローンと呼ばれる無人飛行機及びデジタルカメラが普及していることから、容易かつ安価に、地形写真を取得して地形情報を生成することができ、自然災害の把握に活用することが期待されている。また、様々な形状情報を利用することで、災害の把握だけでなく、様々な状況変化を把握することも期待されている。

ここで、特許文献１に、写真情報から地形情報を生成する方法の一例が開示されている。この文献では、ＳｆＭ（Structure from Motion）技術を用いて、複数の二次元画像から解析用の空間に設定された架空の３次元座標（ローカル座標）を取得している。

特開２０１５−１７９２号公報

しかしながら、上述したＳｆＭ技術を用いて生成した地形情報では、精度が低く、災害把握の精度が低下する、という問題が生じる。一方で、高精度な地形情報を生成できるよう、写真測量に高価な測定用カメラや図化機を用いた場合には、コストが増加すると共に、迅速な災害把握が困難である、という問題が生じる。そして、このような問題は、地形情報を用いて災害を把握する場合のみならず、あらゆる形状情報を用いて状況変化を把握する場合にも生じうる。

このため、本発明の目的は、低コストかつ迅速、さらには、高精度に、状況変化の把握に利用できる形状情報を生成する形状情報生成システムを提供することにある。

本発明の一形態である形状情報生成システムは、
撮影範囲の一部が重複する複数の撮影画像を取得する画像取得部と、
取得した複数の撮影画像を用いて、撮影範囲の形状を表すローカル座標系の三次元座標である形状ローカル座標を算出すると共に、当該形状ローカル座標に基づく撮影範囲の形状情報を出力するローカル座標算出部と、
撮影範囲に位置する標定点のワールド座標系における三次元座標と、前記形状ローカル座標と、に基づいて、当該形状ローカル座標をワールド座標系の三次元座標に変換すると共に、当該変換後の三次元座標を出力するワールド座標算出部と、
を備えた、
という構成をとる。

そして、上記形状情報生成システムでは、
前記ローカル座標算出部は、前記形状ローカル座標を算出した直後に、当該形状ローカル座標に基づく撮影範囲の形状情報を出力する、
という構成をとる。

また、上記形状情報生成システムでは、
前記ワールド座標算出部は、前記標定点のワールド座標系における三次元座標と、前記形状ローカル座標に含まれる前記標定点のローカル座標系における三次元座標と、に基づいて、前記形状ローカル座標をアフィン変換によりワールド座標系の三次元座標に変換する、
という構成をとる。

また、上記形状情報生成システムでは、
さらに、
撮影範囲に設置された前記標定点と、
前記標定点を計測して、当該標定点のワールド座標系における三次元座標を算出する標定点計測部と、を備え、
前記ワールド座標算出部は、前記標定点計測部にて算出された前記標定点のワールド座標系における三次元座標を用いて、前記形状ローカル座標をワールド座標系の三次元座標に変換する、
という構成をとる。

また、上記形状情報生成システムでは、
前記標定点は、ポリスチレン製あるいはビニール製である、
という構成をとる。

また、上記形状情報生成システムでは、
前記標定点は、中央に杭が貫通して、当該杭によって撮影範囲の所定面に固定設置されている、
という構成をとる。

また、本発明の他の形態である形状情報生成方法は、
撮影範囲の一部が重複する複数の撮影画像を取得し、
取得した複数の撮影画像を用いて、撮影範囲の形状を表すローカル座標系の三次元座標による形状ローカル座標を算出すると共に、当該形状ローカル座標に基づく撮影範囲の形状情報を出力し、
撮影範囲に位置する標定点のワールド座標系における三次元座標と、前記形状ローカル座標と、に基づいて、当該形状ローカル座標をワールド座標系の三次元座標に変換すると共に、当該変換後の三次元座標を出力する、
という構成をとる。

そして、上記形状情報生成方法では、
前記形状ローカル座標を算出した直後に、当該形状ローカル座標に基づく撮影範囲の形状情報を出力する、
という構成をとる。

また、本発明の他の形態であるプログラムは、
情報処理装置に、
撮影範囲の一部が重複する複数の撮影画像を取得する画像取得部と、
取得した複数の撮影画像を用いて、撮影範囲の形状を表すローカル座標系の三次元座標である形状ローカル座標を算出すると共に、当該形状ローカル座標に基づく撮影範囲の形状情報を出力するローカル座標算出部と、
撮影範囲に位置する標定点のワールド座標系における三次元座標と、前記形状ローカル座標と、に基づいて、当該形状ローカル座標をワールド座標系の三次元座標に変換すると共に、当該変換後の三次元座標を出力するワールド座標算出部と、
を実現させる、
という構成をとる。

本発明は、以上のように構成されることにより、撮影画像から撮影範囲の形状のローカル座標を算出し、これをワールド座標に変換する。このとき、まずは撮影範囲の形状情報を、ローカル座標を算出した直後に出力するため、撮影範囲の状況変化を迅速に把握することができる。そして、その後、撮影範囲の形状のワールド座標を、例えばアフィン変換によって算出して出力するため、簡易な方法で高精度に撮影範囲の状況変化を把握することができる。また、本発明では、標定点を軽量な材料で構成しているため、設置の手間やコストを低減することができる。

以上より、本発明の形状情報生成システムによると、低コストにて迅速かつ高精度に、状況変化の把握に利用できる形状情報を生成することができる。

本発明で形状情報を生成する場所の一例を示す図である。 図１に開示した標定点の構成の一例を示す図である。 本発明における形状情報生成システムの構成を示す機能ブロック図である。 図３に開示した形状情報生成システムの動作を示すフローチャートである。 図４に開示したステップＳ３で撮影範囲の形状を三次元再構成した一例を示す図である。 図４に開示したステップＳ７からＳ９で撮影範囲の形状をワールド座標系に変換して解析処理を行う際の一例を示す図である。

＜実施形態１＞
本発明の第１の実施形態を、図１乃至図６を参照して説明する。図１は、形状情報を生成する場所の一例を示す図である。図２乃至図３は、形状情報生成システムの構成を説明するための図であり、図４乃至図６は、形状情報生成システムの動作を説明するための図である。

［構成］
本実施形態における形状情報生成システムは、図１に示すように、山の斜面や崖などの形状情報を生成するものである。そして、生成した形状情報を、斜面や崖が崩れるなどの形状変化による自然災害の認識に利用するものである。但し、本発明の形状情報生成システムで生成する形状情報の対象物は、必ずしも山の斜面や崖であることに限定されず、その他の土地や建物、さらにはあらゆる物体を対象としてもよい。

そして、本実施形態における形状情報生成システムでは、形状情報を生成する対象の画像を撮影する。ここで、画像は、例えば図１に示すように、デジタルカメラといった撮影装置２１を装備した無人飛行機２０を撮影対象の上空に飛ばすことで撮影する。そして、撮影した撮影画像は、撮影装置２１から無線通信で後述する情報処理装置３０に送信される。

ここで、無人飛行機２０は、自動で、予め設定されたルートを設定された高度で飛行するものである。そして、無人飛行機２０に搭載された撮影装置２１は、無人飛行機２０の飛行ルートと連動して、予め設定された高度やルート地点で撮影範囲の画像撮影を行い、撮影画像に高度やルート地点を特定する情報を関連付けて、情報処理装置３０に送信する。

このとき、撮影装置２１は、複数の撮影画像を撮影するが、撮影画像間で少なくとも６０％の撮影範囲が重複するよう撮影する。なお、複数の撮影画像は、静止画で撮影されてもよく、撮影された動画から各フレームを抽出したものであってもよい。また、後述する画像処理で用いられる撮影装置２１の位置や角度などの外部パラメータは予め設定されていてもよく、撮影装置２１の焦点距離などの内部パラメータも予め設定されていてもよい。

但し、撮影画像は、上述したように、撮影装置２１が無線通信で情報処理装置３０に送信されることに限定されない。例えば、撮影装置２１に撮影画像を記憶しておき、無人飛行機２０がユーザの元に戻ってきてから、ユーザの操作によって情報処理装置３０に取り込まれてもよい。また、撮影画像は、必ずしも上述したように無人飛行機２０に搭載された撮影装置２１を用いて撮影することに限定されず、あらゆる方法で撮影されてもよい。例えば、画像は、飛行機に搭乗した人によって撮影されたものでもよく、あるいは、地上から撮影されたものであってもよい。

また、撮影範囲には、標定点１０が配置される。このため、標定点１０（ＧＣＰ（Ground Control Point））は、撮影画像内に含まれることとなる。そして、標定点１０は、後述するように測量されることで、ローカル座標系における座標と対応付けられることとなる。

上記標定点１０は、図２（Ａ）に示すように、略正方形状の板状部材にて形成されており、例えば、ポリスチレン製である。そして、標定点１０は、中央に杭１１が貫通しており、当該杭１１によって、撮影範囲の地面（所定面）に固定設置されている。また、標定点１０は、図２（Ｂ）に示すように、シート状のビニール製であってもよい。この場合、標定点１０は、中央に杭１１が貫通すると共に、その四隅にそれぞれピン１２が貫通して、固定設置されてもよい。なお、標定点１０は、必ずしも杭１１やピン１２で地面に固定されることに限定されない。地面がアスファルトなどである場合には、杭１１やピン１２を用いずに、テープで固定してもよい。

上述したように、標定点１０をポリスチレン製やビニール製とすることで、極めて軽量に形成でき、設置時や回収時の持ち運びが容易となる。なお、このように、標定点１０を軽量材で形成した場合であっても、上述したように無人飛行機２０を用いた画像撮影は無風状態で行われるため、風で飛ばされるなどの不都合は生じない。

次に、撮影画像の処理を行う情報処理装置３０の構成について、図３を参照して説明する。情報処理装置３０は、演算装置と記憶装置とを備えた一般的な情報処理装置である。そして、情報処理装置３０は、図３に示すように、演算装置がプログラムを実行することで構築された、撮影画像入力部３１、ＳｆＭ処理部３２、測量処理部３３、変換処理部３４、解析処理部３５、を備えている。また、情報処理装置は、記憶装置に形成された、撮影画像記憶部３６、ローカル座標記憶部３７、測量データ記憶部３８、ワールド座標記憶部３９、を備えている。

上記撮影画像入力部３１（画像取得部）は、無人飛行機２０に搭載された撮影装置２１から無線通信を介して送信された撮影画像を受信し、撮影画像記憶部３６に記憶する。例えば、図５（Ａ）に示すように、複数の撮影画像を取得して記憶する。但し、撮影画像入力部３１は、他の方法により撮影画像の入力を受けてもよい。また、撮影画像記憶部３６は、後述するように、ＳｆＭ処理部３２や測量処理部３３からの要求に応じて、撮影画像を出力する。

上記ＳｆＭ処理部３２（ローカル座標算出部）は、撮影画像記憶部３６から撮影画像を取り出し、撮影範囲の一部が重複する複数の撮影画像を用いて、撮影範囲に位置する各点の三次元座標を算出する。このとき、ＳｆＭ処理部３２は、例えば、ＳｆＭ（Structure from Motion）技術を用いて、複数の撮影画像からローカル座標系における三次元座標（三次元点群データ）からなる三次元再構成画像を生成する。このローカル座標系の三次元座標からなる三次元再構成画像は、撮影範囲の形状情報を表すものであり、例えば、図５（Ｂ）に示すように表される。なお、図５（Ｃ）は、図５（Ｂ）の画像を情報から見た図である。

ここで、ＳｆＭ技術は、基本的に基準点の概念がなく、隣り合う画像をマッチングさせ、バンドル法により、カメラの位置と傾きの外部パラメータと、レンズのひずみなどの内部パラメータを算出し、二次元の撮影画像からローカル座標系の三次元座標を算出して、三次元再構成を行うものである。なお、ＳｆＭ技術は公知であるため、かかる技術の詳細については説明を省略する。

また、ＳｆＭ処理部３２は、上述したように生成した三次元再構成画像を、生成直後にユーザに出力する。例えば、ＳｆＭ処理部３２は、ユーザが操作する情報処理端末に三次元再構成画像を送信することで、ユーザはかかる三次元再構成画像を見て、撮影範囲に形状変化が無いか判断することができる。なお、ＳｆＭ処理部３２は、算出したローカル座標系の三次元座標を、ローカル座標記憶部３７に記憶する。

上記測量処理部３３（標定点計測部）は、撮影範囲に設置された標定点１０を計測して、当該標定点のワールド座標系における三次元座標を算出する。例えば、測量処理部３３は、基準点に設置されたトータルステーションやＧＮＳＳ（Global Navigation Satellite System）を用いた測量結果から、標定点１０のワールド座標系における三次元座標を算出する。あるいは、測量処理部３３は、撮影画像記憶部３６から撮影画像を取り出し、かかる撮影画像を用いた写真測量により、標定点１０のワールド座標系における三次元座標を算出する。このとき、測量処理部３３は、撮影範囲に設置した標定点１０とは異なる撮影画像内の特徴点を標定点とし、かかる標定点（特徴点）のワールド座標系における三次元座標を、空中三角測量（バンドル法）を用いて算出してもよい。なお、測量処理部３３による標定点１０や特徴点のワールド座標系における三次元座標の計測は、いかなる方法で行われてもよい。

上記変換処理部３４（ワールド座標算出部）は、上記ＳｆＭ処理部３２で算出した撮影範囲のローカル座標系における三次元座標を、ワールド座標系に変換する処理を行う。本実施形態では、変換処理部３４は、下記数１式を用いたアフィン変換により、ローカル座標系における三次元座標を、ワールド座標系に変換する処理を行う。

但し、ｘ，ｙ，ｚは変換前の座標値を表し、Ｘ，Ｙ，Ｚは変換後の座標値を表す。
また、ａ〜ｌは、変換パラメータを表す。

具体的に、変換処理部３４は、まず、上記数１式で用いられるアフィン変換時の変換パラメータａ〜ｌを求める。変換パラメータは、相互に対応する、標定点１０（特徴点）の変換前の座標値と変換後の座標値とを用いて算出する。このため、変換処理部３４は、測量データ記憶部３８で記憶している標定点１０（特徴点）の座標値を取得するとともに、かかる標定点１０（特徴点）に対応するローカル座標系上の点の座標値を、ローカル座標記憶部３７から取得する。このとき、相互に対応する標定点１０（特徴点）の対応付けは、例えば、図６（ａ）に示すＳｆＭ処理部３２で算出した三次元点群データと撮影画像とを用いて、相互に対応する特徴量を有する点を調べることで行う。なお、相互に対応する標定点１０（特徴点）の対応付けは、例えば、ユーザが手動で行って入力してもよく、他の方法で行われてもよい。

また、上述した変換パラメータの算出には、相互に対応する標定点１０（特徴点）の座標値が４点以上あればよい。ここで、相互に対応する標定点／特徴点が４点以上の場合には、最小二乗法を適用して、繰り返し逐次計算して変換パラメータを求める。例えば、まずは任意の４点で変換パラメータの初期値を算出し、かかる初期値と５点目以降の座標値を用いて、変換パラメータの補正値を算出し、最終的な変換パラメータを算出する。

変換処理部３４は、上記数１式の変換パラメータａ〜ｌを算出すると、数１式を用いて、ＳｆＭ処理部３２で算出した全てのローカル座標系の三次元座標を、ワールド座標系の三次元座標に変換する。そして、変換処理部３４は、変換したワールド座標系の三次元座標をユーザに出力したり、ワールド座標記憶部３９に記憶する。

上記解析処理部３５は、ワールド座標記憶部３９に記憶されている撮影範囲のワールド座標系の三次元座標を取り出し、かかる座標に対する様々な解析処理を行って、ユーザに出力する。例えば、解析処理部３５は、図６（Ｂ）に示すように、ＧＩＳ（Geographic Information System）を用いてＴＩＮ（Triangulated Irregular Network）を生成して出力したり、図６（Ｃ）に示すように、ＧＩＳを用いて等高線図形を生成して出力する。

［動作］
次に、上述した形状情報生成システムによる形状情報の生成動作を、主に図４のフローチャートを参照して説明する。

まず、ユーザは、図１に示すように、撮影範囲となる場所に、図２に示すような標定点を設置する（ステップＳ１）。その後、ユーザは、図１に示すように、無人飛行機２０を撮影範囲の上空に飛ばし、撮影範囲の画像撮影を行う（ステップＳ２）。そして、撮影画像は、情報処理装置３０に格納される。

その後、情報処理装置３０は、撮影範囲の一部が重複する複数の撮影画像を用いて、撮影範囲に位置する各点の三次元座標を算出する。具体的には、ＳｆＭ処理部３２が、ＳｆＭ技術を用いて、ローカル座標系における三次元座標（三次元点群データ）からなる三次元再構成画像を生成する（ステップＳ３）。そして、情報処理装置３０は、三次元再構成画像の算出直後に、当該三次元再構成画像を緊急災害情報としてユーザに出力する（ステップＳ４）。これにより、ユーザは、後述するように詳細な解析処理を行う前に三次元再構成画像を取得することができ、迅速に撮影範囲に形状変化が無いか、つまり、土砂災害などの災害が発生していないかを、判断することができる。

なお、上述したステップＳ２〜ステップＳ４の処理の間に、情報処理装置３０は、撮影範囲に設置した標定点１０を計測して、当該標定点１０のワールド座標における三次元座標を算出して記憶しておく（ステップＳ６）。そして、情報処理装置３０は、ステップＳ３で算出したローカル座標系の三次元座標を取得し（ステップＳ５）、標定点１０のワールド座標系の三次元座標を用いて、ローカル座標の三次元座標をワールド座標に変換する（ステップＳ７，Ｓ８）。このとき、例えば、上述したアフィン変換を用いて、座標値の変換を行う。

その後、情報処理装置３０は、変換されたワールド座標系の三次元座標を用いて、様々な地形解析処理を行い、ユーザに出力する（ステップＳ９）。これにより、ユーザは、高精度の撮影範囲の地形情報を得ることができる。

以上のように、本発明では、撮影画像から撮影範囲の形状のローカル座標を算出し、これをワールド座標に変換するが、このとき、まずは撮影範囲の形状情報を、ローカル座標を算出した直後に出力している。このため、撮影範囲の状況変化を迅速に把握することができ、例えば、災害発生を迅速に判断することができる。

そして、その後は、撮影範囲の形状のワールド座標を、例えばアフィン変換によって算出して出力するため、簡易な方法で高精度に撮影範囲の状況変化を把握することができる。さらに、本発明では、標定点を軽量な材料で構成しているため、設置の手間やコストを低減することができる。

なお、上述したプログラムは、記憶装置に記憶されていたり、コンピュータが読み取り可能な記録媒体に記録されている。例えば、記録媒体は、フレキシブルディスク、光ディスク、光磁気ディスク、及び、半導体メモリ等の可搬性を有する媒体である。

以上、上記実施形態等を参照して本願発明を説明したが、本願発明は、上述した実施形態に限定されるものではない。本願発明の構成や詳細には、本願発明の範囲内で当業者が理解しうる様々な変更をすることができる。

１０ 標定点
１１ 杭
１２ ピン
２０ 無人飛行機
２１ 撮影装置
３０ 情報処理装置
３１ 撮影画像入力部
３２ ＳｆＭ処理部
３３ 測量処理部
３４ 変換処理部
３５ 解析処理部
３６ 撮影画像記憶部
３７ ローカル座標記憶部
３８ 測量データ記憶部
３９ ワールド座標記憶部

Claims (9)

1. 撮影範囲の一部が重複する複数の撮影画像を取得する画像取得部と、
   取得した複数の撮影画像を用いて、撮影範囲の形状を表すローカル座標系の三次元座標である形状ローカル座標を算出すると共に、当該形状ローカル座標に基づく撮影範囲の形状情報を出力するローカル座標算出部と、
   撮影範囲に位置する標定点のワールド座標系における三次元座標と、前記形状ローカル座標と、に基づいて、当該形状ローカル座標をワールド座標系の三次元座標に変換すると共に、当該変換後の三次元座標を出力するワールド座標算出部と、
   を備えた形状情報生成システム。
2. 請求項１に記載の形状情報生成システムであって、
   前記ローカル座標算出部は、前記形状ローカル座標を算出した直後に、当該形状ローカル座標に基づく撮影範囲の形状情報を出力する、
   形状情報生成システム。
3. 請求項１又は２に記載の形状情報生成システムであって、
   前記ワールド座標算出部は、前記標定点のワールド座標系における三次元座標と、前記形状ローカル座標に含まれる前記標定点のローカル座標系における三次元座標と、に基づいて、前記形状ローカル座標をアフィン変換によりワールド座標系の三次元座標に変換する、
   形状情報生成システム。
4. 請求項１乃至３のいずれかに記載の形状情報生成システムであって、
   さらに、
   撮影範囲に設置された前記標定点と、
   前記標定点を計測して、当該標定点のワールド座標系における三次元座標を算出する標定点計測部と、を備え、
   前記ワールド座標算出部は、前記標定点計測部にて算出された前記標定点のワールド座標系における三次元座標を用いて、前記形状ローカル座標をワールド座標系の三次元座標に変換する、
   形状情報生成システム。
5. 請求項４に記載の形状情報生成システムであって、
   前記標定点は、ポリスチレン製あるいはビニール製である、
   形状情報生成システム。
6. 請求項５に記載の形状情報生成システムであって、
   前記標定点は、中央に杭が貫通して、当該杭によって撮影範囲の所定面に固定設置されている、
   形状情報生成システム。
7. 撮影範囲の一部が重複する複数の撮影画像を取得し、
   取得した複数の撮影画像を用いて、撮影範囲の形状を表すローカル座標系の三次元座標による形状ローカル座標を算出すると共に、当該形状ローカル座標に基づく撮影範囲の形状情報を出力し、
   撮影範囲に位置する標定点のワールド座標系における三次元座標と、前記形状ローカル座標と、に基づいて、当該形状ローカル座標をワールド座標系の三次元座標に変換すると共に、当該変換後の三次元座標を出力する、
   形状情報生成方法。
8. 請求項７に記載の形状情報生成方法であって、
   前記形状ローカル座標を算出した直後に、当該形状ローカル座標に基づく撮影範囲の形状情報を出力する、
   形状情報生成方法。
9. 情報処理装置に、
   撮影範囲の一部が重複する複数の撮影画像を取得する画像取得部と、
   取得した複数の撮影画像を用いて、撮影範囲の形状を表すローカル座標系の三次元座標である形状ローカル座標を算出すると共に、当該形状ローカル座標に基づく撮影範囲の形状情報を出力するローカル座標算出部と、
   撮影範囲に位置する標定点のワールド座標系における三次元座標と、前記形状ローカル座標と、に基づいて、当該形状ローカル座標をワールド座標系の三次元座標に変換すると共に、当該変換後の三次元座標を出力するワールド座標算出部と、
   を実現させるためのプログラム。