JP2020144686A - モデル作成システム、モデル作成方法 - Google Patents

Abstract

【課題】元画像群から構造物を３Ｄモデル化する際に含まれるノイズを自動的に減らし、ユーザの作業負担を低減できるモデル作成システム、モデル作成方法を提供する。【解決手段】対象となる構造物の３Ｄモデルを作成するモデル作成システム１０００は、対象となる構造物の２Ｄ画像である元画像を撮影する構造物撮影部１と、元画像と元画像を構成する画素間における対応画素情報とを用いて対象となる構造物と非対象となる構造物とを検出し、当該検出により得られた非対象となる構造物の画素を除去した点群作成情報を出力する点群作成情報出力部２と、点群作成情報と、対象となる構造物の元画像を含む教師データとから、対象となる構造物に対応する画素を検出してセグメンテーションマップを出力するセグメンテーションマップ生成部５と、元画像とセグメンテーションマップとを用いて変換された点群を３Ｄモデルに変換する３Ｄモデル変換部７と、を備える。【選択図】図１

Description

本発明は、２Ｄ画像群（元画像）から３Ｄモデルへ変換する際に混入してしまうノイズを低減させるため、２Ｄ画像内に写る３Ｄモデルへ変換予定の構造物（対象構造物）を検出する技術に関するものである。

社会的なインフラストラクチャである橋やトンネル、ダムなどの現場では、施工、検査などの建設プロセス全体を３Ｄモデルで管理することが推奨されている。これを受け収集した元画像から保守の対象となる対象構造物の３Ｄモデルを作成し、台帳として管理を行うニーズが増加している。

元画像群からの３Ｄモデルへの変換では、まず複数の元画像間にて対応する画素を探索することなどにより一部画素の３次元座標を計算する。前記３次元座標の計算は３次元空間と対応し、この計算によって得られる点の集まりを点群と呼ぶ。疎である点群から密な３Ｄモデルを作成するためレンダリングやポリゴン化と呼ばれる点群を構成する点間の空間を補完する処理が行われる。以上が３Ｄモデル作成の基本的な流れであるが、元画像から点群へ変換する際に対象物に含まれない点が混入する事が多々あり、これをノイズと呼ぶ。このノイズを除去するためには人手で作成した点群からノイズ除去を行う方法や、自動で除去する手法が提案されている。

上記ノイズ除去に係わる先行技術例として、特許文献１が挙げられる。特許文献１では、「３次元モデル生成装置及び方法」等として、元画像から点群作成後、周囲の点群の平均値と大きく外れた点、また測定範囲外の点を除去の旨、また点群から３Ｄモデルへのポリゴン化後、密度の粗いポリゴンに含まれる箇所を除去する旨等が記載されている。

特開２００６−６５４７２号公報

特許文献１の３Ｄモデル作成システムでは、点群の幾何学的情報のみを用いてノイズ除去を行うため、対象構造物近辺に発生したノイズを取り除くことが出来ない。特に梯子や鉄塔といった大部分が細長い部品によって構成されている対象構造物においては部品周辺、または部品間の空間が対象構造物と誤認識されノイズが発生しやすく、特許文献１の様な幾何学情報に頼る手法ではこれらのノイズを取り除くことが非常に困難である。現状そのようなノイズは人手で取り除かれており、膨大な作業コストがかかるため課題となっている。

本発明の目的は、元画像群から構造物を３Ｄモデル化する際に含まれるノイズを自動的に減らし、ユーザの作業負担を低減する技術を提供することである。

本発明のうち代表的な実施の形態は、対象となる構造物の３Ｄモデルを作成するモデル作成システムであって、前記対象となる構造物の２Ｄ画像である元画像を撮影する構造物撮影部と、前記元画像と前記元画像を構成する画素間における対応画素情報とを用いて前記対象となる構造物と非対象となる構造物とを検出し、当該検出により得られた前記非対象となる構造物の画素を除去した点群作成情報を出力する点群作成情報出力部と、前記点群作成情報と、前記対象となる構造物の元画像を含む教師データとから、前記対象となる構造物に対応する画素を検出してセグメンテーションマップを出力するセグメンテーションマップ生成部と、前記元画像と前記セグメンテーションマップとを用いて変換された点群を前記３Ｄモデルに変換する３Ｄモデル変換部と、を備えることを特徴とするモデル作成システムとして構成される。

本発明のうち代表的な実施の形態によれば、元画像群から構造物を３Ｄモデル化する際に含まれるノイズを自動的に減らし、ユーザの作業負担を低減することが出来る。

実施の形態１における３Ｄモデル作成システムの構成を示す図である。 教師データ作成部の構成および他部との関係を示す図である。 セグメンテーション評価部の構成および他部との関係を示す図である。 点群評価部の構成および他部との関係を示す図である。 実施の形態１について、処理フローを示す図である。 実施の形態２について、処理フローを示す図である。 実施の形態３について、処理フローを示す図である。 可視化画面の表示例を示す図である。 セグメンテーションモデル学習部のデータベースに蓄積されるデータ構成を示す図である。 実施の形態２における３Ｄモデル作成システムの構成を示す図である。 実施の形態３における３Ｄモデル作成システムの構成を示す図である。 点群作成情報部の入出力情報の一例を示す図である。 点群出力部の入出力情報を表した図である。

以下、図面を参照して本発明の実施形態を説明する。以下の記載および図面は、本発明を説明するための例示であって、説明の明確化のため、適宜、省略および簡略化がなされている。本発明は、他の種々の形態でも実施する事が可能である。特に限定しない限り、各構成要素は単数でも複数でも構わない。

図面において示す各構成要素の位置、大きさ、形状、範囲などは、発明の理解を容易にするため、実際の位置、大きさ、形状、範囲などを表していない場合がある。このため、本発明は、必ずしも、図面に開示された位置、大きさ、形状、範囲などに限定されない。

以下の説明では、「テーブル」、「リスト」等の表現にて各種情報を説明することがあるが、各種情報は、これら以外のデータ構造で表現されていてもよい。データ構造に依存しないことを示すために「ＸＸテーブル」、「ＸＸリスト」等を「ＸＸ情報」と呼ぶことがある。識別情報について説明する際に、「識別情報」、「識別子」、「名」、「ＩＤ」、「番号」等の表現を用いるが、これらについてはお互いに置換が可能である。

同一あるいは同様な機能を有する構成要素が複数ある場合には、同一の符号に異なる添字を付して説明する場合がある。ただし、これらの複数の構成要素を区別する必要がない場合には、添字を省略して説明する場合がある。

また、以下の説明では、プログラムを実行して行う処理を説明する場合があるが、プログラムは、プロセッサ（例えばＣＰＵ、ＧＰＵ）によって実行されることで、定められた処理を、適宜に記憶資源（例えばメモリ）および／またはインターフェースデバイス（例えば通信ポート）等を用いながら行うため、処理の主体がプロセッサとされてもよい。同様に、プログラムを実行して行う処理の主体が、プロセッサを有するコンピュータ、コントローラ、装置、システム、計算機、ノードであってもよい。プログラムを実行して行う処理の主体は、演算部であれば良く、特定の処理を行う専用回路（例えばＦＰＧＡやＡＳＩＣ）を含んでいてもよい。

プログラムは、プログラムソースから計算機のような装置にインストールされてもよい。プログラムソースは、例えば、プログラム配布サーバまたは計算機が読み取り可能な記憶メディアであってもよい。プログラムソースがプログラム配布サーバの場合、プログラム配布サーバはプロセッサと配布対象のプログラムを記憶する記憶資源を含み、プログラム配布サーバのプロセッサが配布対象のプログラムを他の計算機に配布してもよい。また、以下の説明において、２以上のプログラムが１つのプログラムとして実現されてもよいし、１つのプログラムが２以上のプログラムとして実現されてもよい。

以下、本実施の形態１を図面に基づいて詳細に説明する。なお、図面において同一の構成要素には原則として同一符号を付し、その繰り返しの説明は省略する。

図１は、３Ｄモデル作成システム１０００の全体像を示すシステム構成図である。３Ｄモデル作成システム１０００は、構造物撮影部１（例えば、ドローン）が撮影して提供する対象構造物が写る元画像から対象構造物に対応する画素を検出するセグメンテーションマップ生成部５と、前記セグメンテーションマップ生成部５が上記画素の検出の判断を下すうえで利用する教師データを蓄積するセグメンテーションモデル学習部４と、点群作成情報出力部２の出力から教師データを作成する教師データ作成部３と、元画像とセグメンテーションマップ生成部５の出力をもとに３Ｄモデルへ変換する点群出力部８と、３Ｄモデル変換部７と、を有している。また、実施の形態１では使用されないが、図１０及び図１１に記載のようにセグメンテーションマップ生成部５や点群出力部８の出力を評価しセグメンテーションモデル学習部４へ渡すフィードバック部６を備えても良い。教師データ作成部３の動作は図２で、セグメンテーション評価部５の動作は図３で、点群評価部２の動作は図４で、それぞれ後述する。３Ｄモデル作成システム１０００で行われる各処理は、例えば、コンピュータにインストールされたプログラムを実行することにより実現することができる。

図１のセグメンテーションマップ生成部５では、構造物撮影部１から得られた元画像に含まれる各画素が対象構造物である確率を推論し、図８に示す部品６２１のような推論確率と画素値が比例する画像（セグメンテーションマップ）を作成する。セグメンテーションマップ生成部５は、後述する点群作成情報と、対象構造物の元画像を含む教師データとから、対象構造物に対応する画素を検出して、セグメンテーションマップと元画像を出力する。セグメンテーションマップを作成する際に判断材料として用いるデータは、セグメンテーションモデル学習部４が蓄積した教師データＤＢ３８である。教師データＤＢ３８については図９を用いて後述する。教師データＤＢ３８の参照方法は、セグメンテーションマップ生成部５の形態に依存する。例えば、セグメンテーションマップ生成部５が人手でパラメータ調整を行う予測モデルである場合は、パラメータ調整をするために教師データＤＢ３８を参照してもよいし、また例えば、セグメンテーションマップ生成部５が機械学習モデルである場合、教師データＤＢ３８をセグメンテーションマップ生成部５のパラメータ学習に用いてもよい。

図２は、教師データ作成部３の構成および他部との関係図である。教師データ作成部３では、点群作成情報出力部２から点群作成情報、構造物撮影部１から元画像を入力として受け取る。ここでの点群作成情報とは、点群作成時に計算される元画像間における対応画素情報であったり、点群変換時に点群作成情報出力部２により対象構造物であると判断された画素の情報（点群セグメンテーションマップ）であり、点群作成情報出力部２から出力される。後述するように、点群作成情報出力部２は、元画像と元画像を構成する画素間における対応画素情報とを用いて対象構造物と非対象構造物とを検出し、当該検出により得られた非対象構造物の画素を除去した点群作成情報を出力する。これらの入力から、教師データ作成部３は、対象構造物、非対象構造物を画素単位で示した教師データを作成する。また、教師データ作成部３の出力である教師データとセグメンテーションマップ生成部５の出力であるセグメンテーションマップはどちらも対象構造物、非対象構造物に対応する画素情報を保持する。本実施例では異なる名称を用いて区別しているが、同一形式のものとしても良い。

本実施例における教師データの作成方法は、
１．過去に３Ｄモデル変換部７が作成した３Ｄモデルと背景の画像サンプル（例えば、構造物撮影部１が今回撮影した最新の画像）を合成し教師データを生成する、シミュレーション部３０、
２．点群作成情報出力部２が元画像を点群へ変換する際に計算する情報を教師データとして利用する、点群変換情報活用部３１、
３．汎用的に対象構造物を検出するモデルを事前に作成しておき、このモデルを用いて元画像に対しセグメンテーションマップ作成を行い、予測結果を教師データとする、汎用モデル活用部３２、
４．一部の元画像に対し手動で対象構造物・非対象構造物の画素を注釈付与し、教師データとする、アノテーション入力部３３、
のうちいずれか、またはいくつかの組み合わせである。実施例１においては、教師データの作成方法として点群変換情報活用部３１を含む事とする。すなわち、教師データ作成部３は、（１）点群作成情報出力部２が対象構造物と判断した点に対応する元画像の位置をもとに教師データを作成する、（２）あらかじめ作成された、汎用的に対象構造物を検出するモデルを用いて元画像に対してセグメンテーションマップを作成し、予測結果を教師データとする、（３）あらかじめ作成された異なる対象構造物の３Ｄモデルと背景の画像サンプルを合成して教師データを生成する、（４）一部の元画像に対して対象構造物または非対象構造物の画素に注釈を付与して教師データとする、のいずれかまたは組み合わせにより前記教師データを作成する。上記教師データ作成方法のうち、シミュレーション部３０、点群変換情報活用部３１の詳細を次に説明する。

シミュレーション部３０では、過去に作成した３Ｄモデル群が存在するという事が前提である。また、対象構造物を含まない背景画像も保持する必要があり、シミュレーション部３０は、これらをそれぞれ作成済み３ＤモデルＤＢ３０１、背景画像ＤＢ３０２に蓄積する。この３Ｄモデル群と背景画像を２Ｄ画像へレンダリングさせる事により、シミュレーション的に元画像と類似する画像を作成することができ、また３Ｄモデルに対応する画素を計算可能であるため教師データを作成することが可能となる。

点群変換情報活用部３１では、点群作成情報出力部２を実行し、点群作成情報出力部２の実行結果として出力された情報を利用する。図１２は、点群作成情報部２の入出力情報の一例である。点群作成情報出力部２は、複数枚の元画像を入力とし、公知の技術を用い一番尤もらしい３次元復元を行う。この際、点群作成情報出力部２は、対象物以外の画素である非対象画素を元画像から除去し、対象物が３次元投影された点の集まりとして表現した点群を点群作成情報として出力し、図１２中の表９０のように保持する。点群作成には複数の元画像（図１２では、元画像ＩＤ００００、０００１、０００２で識別される元画像）が入力として用いられるため、表９０に表されるように点群における各点には複数の元画像の画素が対応する。これに加え、表９０には対象物だと思われる画素のみ含まれるため、この出力を教師データとして用いる事が可能である。点群変換情報活用部３１は以上の方法で教師データを作成する。

図９は、セグメンテーションモデル学習部４がデータベースに蓄積するデータ構成を示す図である。まず、教師データＤＢ３８には構造物撮影部１から提供される情報から構成されており、元画像の画像ＩＤ、元画像に含まれる構造物である建物の建物ＩＤ、画像データとなる元画像、当該元画像の画像サイズ、元画像が撮影されたときのカメラ画角、構造物撮影部１と建物との距離である対象物距離といった画像のメタ情報などのデータが含まれる。それらの情報に加え、教師データ作成部３が作成する、各画素が対象物であるかを示した画像である教師データ、元画像からエッジ強度を計算した画像（例えば、エッジが強いほど大きい値が付された画像）であるエッジ強度マップ、フィードバック部６から提供される、元画像内でどの画素を重点的に学習すべきかが画素値と比例するような画像（例えば、学習すべき画素ほど大きい重み値が付された画像）である学習重みマップなどのデータも蓄積する。このように、セグメンテーションモデル学習部４は、教師データ作成部３が作成した教師データと、元画像からエッジ強度を計算した画像とを用いて、所定の閾値を満たす高いエッジ強度の画素を学習させることで、元画像における対象構造物の検知精度を向上させることができる。

特に、対象構造物と非対象構造物の境界部分のセグメンテーションの精度は、３Ｄモデル作成の精度に大きく影響する。セグメンテーションマップ生成部５は、セグメンテーションマップを作成する際に、エッジ情報から各画素の重要度を推測することができ、境界部分のセグメンテーション精度を向上することができる。

図１３は、点群出力部８の入出力情報を表した図である。点群出力部８は、セグメンテーションマップと対応する元画像を入力として複数受け取り、公知の技術を用い一番尤もらしい３次元復元を行う。２次元画像からから３次元復元を行う、という点では点群作成情報出力部２と類似するが、入力としてセグメンテーションマップ生成部５が作成したセグメンテーションマップを受け取っているため、より正確な３次元復元を行う事が可能となる。

図５は、３Ｄモデル作成システム１０００が行う処理の処理手順を示すフローチャートである。

Ｓ１００では、構造物撮影部１が、対象構造物を撮影し、撮影した当該対象構造物の画像（元画像群）を点群作成情報出力部２へ出力する。

Ｓ１０１では、点群作成情報出力部２が、入力された元画像を、セグメンテーションマップを使用せず点群へ変換し、その際、対象物以外の画素である非対象画素を元画像から除去し、対象構造物だと判断した箇所についての点群作成情報を教師データ作成部３へ出力する。教師データ作成部３は入力された情報をもとに教師データを作成し、教師データＤＢ３８に蓄積する。

Ｓ１０２では、セグメンテーションモデル学習部４が、教師データＤＢ３８に蓄積された教師データをもとに、入力された元画像のセグメンテーションマップを作成するモデルを学習する。ここでの学習とは、セグメンテーションマップ生成部５の形態に依存し、前述したように、例えばセグメンテーションマップ生成部５が人手でパラメータ調整を行う予測モデルである場合は、パラメータ調整をするために教師データＤＢ３８を参照する事である。また、例えばセグメンテーションマップ生成部５が機械学習モデルである場合、教師データＤＢ３８をセグメンテーションマップ生成部５のパラメータ学習に用いてもよい。

Ｓ１０３では、セグメンテーションマップ生成部５が、元画像に対するセグメンテーションマップを生成する。例えば、セグメンテーションマップ生成部５が、教師データＤＢ３８から得られたモデルと対象構造物の元画像とから、セグメンテーションマップを出力する。

Ｓ１０４では、点群出力部８が、作成したセグメンテーションマップと元画像をもとに３Ｄ点群を作成する。

Ｓ１０５では、３Ｄモデル変換部７が、作成した点群をポリゴン化し、３Ｄモデルへ変換する。

このように、本実施例の処理を行うことにより、３Ｄモデルのノイズ除去技術において、元画像群から構造物を３Ｄモデル化する際に含まれるノイズを自動的に減らし、ユーザの作業負担を低減することができる。

以下、本実施の形態２を図面に基づいて詳細に説明する。図１０は、実施の形態２においての３Ｄモデル作成システム２０００の全体像を示すシステム構成図である。本実施例は実施例１に基づき構成され、変更点として本実施例にはフィードバック部６、またセグメンテーション評価部６０が追加される。また、実施例１では教師データ作成部３の教師データ作成方法が点群変換情報活用部３１である前提で説明したが、本実施例では前述した他の教師データ作成方法やその組み合わせを用いても良い。

図３は、セグメンテーション評価部６０の構成および他部との関係図である。セグメンテーション評価部６０では、セグメンテーションマップ生成部５により出力されるセグメンテーションマップと構造物撮影部１から提供される元画像を入力として受け取り、セグメンテーションマップの精度評価を行い、修正結果を出力する。セグメンテーション評価部６０はＧＵＩを制御する形式をとり、ＧＵＩを操作する者（ユーザ）が評価を効率的に行えるようセグメンテーションマップ編集部６００に加え他機能も備える。セグメンテーション評価部６０は、参照中の元画像以外にも、セグメンテーションマップにより定義される、各画素が対象構造物である確率を多階調画像として表示するセグメンテーションマップ多階調表示部６０１を備える。また、セグメンテーション評価部６０は、各画素が対象構造物である確率をユーザが指定する閾値により二値化する機能である二値化部６０２を備える。また、セグメンテーション評価部６０は、元画像のＲＧＢ情報、またはセグメンテーションマップで定義される確率情報をもとに、類似する画素を一括に選択する事を可能とする類似領域選択部６０３を備える。また、セグメンテーション評価部６０は、ユーザの操作により表示画像の一部領域を拡大表示する領域拡大部６０４を備える。

セグメンテーション評価部６０をＧＵＩとして可視化した画面の詳細を、図８を用いて下記に示す。まず、ＧＵＩは、部品６２０で表されるようなカラーの元画像と、部品６２１で表されるような対象物確率と画素値を比例させることにより各画素の「対象物らしさ」を多階調画像の色情報により可視化するセグメンテーションマップ多階調表示部６０１、そして部品６２２で表されるような多階調画像を二値化する二値化部６０２を保持する。画像化の方法はユーザ入力により切り替え可能である。セグメンテーション評価部６０は、対象構造物のＩＤや、元画像のＩＤなど画像のメタ情報や、前記機能群６００−６０４の情報を部品６２２に表示する。また、セグメンテーション評価部６０は、前記二値化部６０２で言及したユーザ定義の閾値の設定を部品６２３により受け付け、当該閾値として定義する。セグメンテーション評価部６０は、セグメンテーションマップを、対象構造物の推定確率値をもとに色付けされた多階調画像として画面に表示する多階調処理と、セグメンテーションマップを、対象構造物の推定確率値をもとに二値化した二値化画像として画面に表示する二値化処理と、二値化処理で設定される閾値を画面に表示する閾値表示処理と、を実行してこれらの情報を表示する。

上述した構成及び機能を用いる事により、ユーザからの操作にしたがってセグメンテーション評価部６０が表示した上記元画像、多階調画像、二値化画像、上記メタ情報、上記閾値を含む評価結果を出力し、フィードバック部６が、出力された評価結果を用いて、セグメンテーションマップに対し過検出、未検出の部分を選択、セグメンテーションマップの修正を行い、教師データ作成部３が、修正結果を新たな教師データとして作成する。この際、修正した画素数に比例する形でセグメンテーションマップ生成の評価値も作成する。また、教師データ作成部３は、修正された箇所を重点的に学習するために、図９において説明した学習重みマップも作成する。作成された新たな教師データ、評価値、学習重みマップは、修正結果出力部６０５およびフィードバック部６からセグメンテーションモデル学習部４へ出力される。

図７は、３Ｄモデル作成システム２０００が行う処理の処理手順を示すフローチャートである。

Ｓ３００では、構造物撮影部１が、対象構造物を撮影し、撮影した当該対象構造物撮影した当該対象構造物の元画像群を作成する。

Ｓ３０１では、教師データ作成部３が、図２を説明した際に挙げた教師データ作成方法の内１つまたは複数を組み合わせる事により教師データを作成し、作成した教師データを教師データＤＢ３８に蓄積する。

Ｓ３０２では、セグメンテーションモデル学習部４が、教師データＤＢ３８に蓄積された教師データをもとにセグメンテーションマップを作成するモデルを学習する。ここでの学習とは、セグメンテーションマップ生成部５の形態に依存し、前述したように、例えば、セグメンテーションマップ生成部５が人手でパラメータ調整を行う予測モデルである場合は、パラメータ調整をするために教師データＤＢ３８を参照する事である。また、例えばセグメンテーションマップ生成部５が機械学習モデルである場合、教師データＤＢ３８はセグメンテーションマップ生成部５のパラメータを学習されることに用いる事である。

Ｓ３０３では、セグメンテーションマップ生成部５は、元画像に対してセグメンテーションマップを生成する。

Ｓ３０４では、セグメンテーション評価部６０は、ユーザから、セグメンテーションマップ生成部５が作成したセグメンテーションマップについての評価を受け、フィードバック部６が、当該評価結果を用いてセグメンテーションマップを修正する。評価方法、修正方法は図３で説明したとおりである。ここでセグメンテーション評価部６０は、修正結果、評価値、学習重みマップを出力する。

Ｓ３０５では、セグメンテーション評価部６０は、出力した評価値が閾値以上であるか否かを判定し、出力した評価値が閾値以上であると判定した場合は（Ｓ３０５；Ｙｅｓ）、Ｓ３０６へ進み、出力した評価値が閾値未満であると判定した場合は（Ｓ３０５；Ｎｏ）、Ｓ３１０へ移行する処理を示す。

セグメンテーション評価部６０の評価値が低い場合（Ｓ３０５；Ｎｏ）、教師データ作成部３が、Ｓ３１０にてセグメンテーション評価部６０の出力をもとに教師データＤＢ３８をアップデートする。具体的には、教師データ作成部３は、フィードバック部６から出力される修正結果、学習重みマップに対応する画像ＩＤが教師データＤＢ３８に既に含まれている場合は新しい情報とともに上書き保存され、もしその画像ＩＤが教師データＤＢ３８に含まれていない場合は新たな教師データとして保存される。

Ｓ３０６では、点群出力部８が、作成したセグメンテーションマップと元画像をもとに、３Ｄ点群を作成する。

Ｓ３０７では、３Ｄモデル変換部７が、作成した点群をポリゴン化し、３Ｄモデルへ変換する。

このように、本実施例による処理を行うことにより、３Ｄモデルのノイズ除去技術において、画素の幾何学的情報だけでなくセグメンテーションマップ作成結果の評価も考慮しつつ、元画像群から構造物を３Ｄモデル化する際に含まれるノイズを自動的に減らすことができる。

以下、本実施の形態３を図面に基づいて詳細に説明する。図１１は、実施の形態３においての３Ｄモデル作成システム３０００の全体像を示すシステム構成図である。本実施例は実施例１に基づき構成され、変更点として本実施例にはフィードバック部６、また点群評価部６１が追加される。また、実施例１では教師データ作成部３の教師データ作成方法が点群変換情報活用部３１である前提で説明したが、本実施例では前述した他の教師データ作成方法やその組み合わせを用いても良い。

図４は、点群評価部６１の構成および他部との関係図である。点群評価部６１では、点群出力部８から出力される点群作成時の情報、また構造物撮影部１から出力される元画像の情報をもとに、対応する点群作成情報の精度評価を行い、評価結果を出力する。前記評価結果を得る評価方法として２つの方法を下に示す。

１つ目の評価方法である全ＧＵＩ評価部６１０では、点群評価をセグメンテーション評価部６０のようにＧＵＩを用いて行う。ＧＵＩの形式はセグメンテーション評価部３において前述した図８と同じであるが、相違点として図８における部品６２０が元画像を表示するのではなく、全ＧＵＩ評価部６１０は、２次元へ投影された点群を表示する。

点群評価部は、３Ｄ点群から２次元へ投影した点群を、対象構造物の推定確率値をもとに色付けされた多階調画像として画面に表示する多階調処理と、点群を、対象構造物の推定確率値をもとに二値化した二値化画像として画面に表示する二値化処理と、二値化処理で設定される閾値を画面に表示する閾値表示処理と、を実行する。そして、全ＧＵＩ評価部６１０は、ユーザの編集作業後、編集結果を、対応する元画像の画素に逆投影し、点群評価出力部６１２およびフィードバック部６から、逆投影した画像が新たな教師データとして教師データ作成部３またはセグメンテーション学習部４へ出力される。

２つ目の評価方法である、対応点評価部６１１では、点群作成情報出力部２が出力する点群作成時の情報を用いる事でセグメンテーションマップの評価を行う。まず前提として、点群作成時には複数の元画像が入力として用いられ、点群内の各点には複数の元画像の画素が対応し、この画素群を対応画素群と定義する。対応画素群は３次元空間内で同座標を取るため、対応画素群のセグメンテーション結果は同じである必要がある。従って、対応点評価部６１１が、対応画素群の内セグメンテーション結果が一致する割合（対応画素群一致度）を計算する事により、元画像内で対応画素群に対応する箇所のセグメンテーション精度を評価する事が可能である。対応点評価部６１１は、この対応画素群一致度が、ユーザがあらかじめ指定した閾値より低いか否かを判定し、ユーザがあらかじめ指定した閾値より低いと判定した場合には、修正必要箇所と判断し、全ＧＵＩ評価部６１０のようにＧＵＩを用いユーザが判断し修正するか、または点群に含まれる点は対象構造物に含まれると自動で判断し修正する。修正結果は、点群評価出力部６１２およびフィードバック部６から、新たな教師データとして出力される。

上記機能の組み合わせにより作成した教師データと元のセグメンテーションマップを比較する事により、セグメンテーションマップ生成の評価を行う。まず、対応点評価部６１１は、修正した画素の数をセグメンテーションマップ生成の評価値と定義し、また修正した画素の場所を記録する事により図９において説明した学習重みマップを作成する。作成された新たな教師データ、評価値、学習重みマップは、点群評価出力部６１２およびフィードバック部６から、教師データ作成部３またはセグメンテーション学習部４へ出力される。

図６は、３Ｄモデル作成システム３０００が行う処理の処理手順を示すフローチャートである。

Ｓ２００では、構造物撮影部１により対象構造物を撮影し、元画像群を作成する。

Ｓ２０１では図２を説明した際に提案した教師データ作成方法の内１つまたは複数を用いる事により、教師データ作成部３において教師データを作成し、作成した教師データを教師データＤＢ３８に蓄積する。

Ｓ２０２では、セグメンテーションモデル学習部４が、教師データＤＢ３８に蓄積された教師データをもとにセグメンテーションマップを作成するモデルを学習する。ここでの学習とは、セグメンテーションマップ生成部５の形態に依存し、前述したように、例えば、セグメンテーションマップ生成部５が人手でパラメータ調整を行う予測モデルである場合は、パラメータ調整をするために教師データＤＢ３８を参照する事である。また、例えばセグメンテーションマップ生成部５が機械学習モデルである場合、教師データＤＢ３８をセグメンテーションマップ生成部５のパラメータ学習に用いてもよい。

Ｓ２０３では、セグメンテーションマップ生成部５が、元画像に対してセグメンテーションマップを生成する。

Ｓ２０４では、点群出力部８が、作成したセグメンテーションマップと元画像をもとに、３Ｄ点群を作成する。

Ｓ２０５では、点群評価部６１が、作成した３Ｄ点群を評価、修正する。評価方法、修正方法は図４で説明したとおりである。ここで点群評価部６１は修正結果、評価値、学習重みマップを出力する。

Ｓ２０６では、点群評価部６１は、出力した評価値が閾値以上であるか否かを判定し、出力した評価値が閾値以上であると判定した場合は（Ｓ２０６；Ｙｅｓ）、Ｓ２０７へ進み、出力した評価値が閾値未満であると判定した場合は（Ｓ２０６；Ｎｏ）、Ｓ２１０へ移行する処理を示す。

点群評価部６１の評価値が低い場合（Ｓ２０６；Ｎｏ）、教師データ作成部３が、Ｓ２１０にて点群評価部６１の出力をもとに教師データＤＢ３８をアップデートする。具体的には、教師データ作成部３は、フィードバック部６から出力される修正結果、学習重みマップに対応する画像ＩＤが教師データＤＢ３８に既に含まれている場合は新しい情報とともに上書き保存され、もしその画像ＩＤが教師データＤＢ３８に含まれていない場合は新たな教師データとして保存される。

Ｓ２０７では、３Ｄモデル変換部７が、作成した点群をポリゴン化し、３Ｄモデルへ変換する。

このように、本実施例による処理を行うことにより、３Ｄモデルのノイズ除去技術において、画素の幾何学的情報だけでなく点群作成結果の評価も考慮しつつ、元画像群から構造物を３Ｄモデル化する際に含まれるノイズを自動的に減らすことができる。

以上、本発明を実施の形態に基づき具体的に説明したが、本発明は前述の実施の形態に限定されず、その要旨を逸脱しない範囲で種々変更可能である。

１…構造物撮影部、３…教師データ作成部、４…セグメンテーションモデル学習部、５…セグメンテーションマップ生成部、６…フィードバック部、７…３Ｄモデル変換部、８…点群出力部、２…点群作成情報出力部、３０…シミュレーション部、３１…点群変換情報活用部、３２…汎用モデル活用部、３３…アノテーション入力部、３８…教師データＤＢ、６０…セグメンテーション評価部、６００…セグメンテーションマップ編集部、６０１…セグメンテーションマップ多階調表示部、６０２…セグメンテーションマップ二値化部、６０３…類似領域選択部、６０４…領域拡大部、６０５…修正結果出力部、６１…点群評価部、６１０…全ＧＵＩ評価部、６１１…対応点評価部、６１２…点群評価出力部

Claims (9)

1. 対象となる構造物の３Ｄモデルを作成するモデル作成システムであって、
   前記対象となる構造物の２Ｄ画像である元画像を撮影する構造物撮影部と、
   前記元画像と前記元画像を構成する画素間における対応画素情報とを用いて前記対象となる構造物と非対象となる構造物とを検出し、当該検出により得られた前記非対象となる構造物の画素を除去した点群作成情報を出力する点群作成情報出力部と、
   前記点群作成情報と、前記対象となる構造物の元画像を含む教師データとから、前記対象となる構造物に対応する画素を検出してセグメンテーションマップを出力するセグメンテーションマップ生成部と、
   前記元画像と前記セグメンテーションマップとを用いて変換された点群を前記３Ｄモデルに変換する３Ｄモデル変換部と、
   を備えることを特徴とするモデル作成システム。
2. 請求項１に記載のモデル作成システムであって、
   前記点群作成情報を用いて、前記対象となる構造物と前記非対象となる構造物とを画素単位で示した前記教師データを作成する教師データ作成部と、
   前記教師データから前記元画像のセグメンテーションマップを作成するモデルを学習するモデル学習部と、を備え、
   前記セグメンテーションマップ生成部は、前記教師データから得られた前記モデルと前記対象となる構造物の元画像とから、前記セグメンテーションマップを出力する、
   ことを特徴とするモデル作成システム。
3. 請求項２に記載の３Ｄモデル作成システムであって、
   前記教師データ作成部は、（１）前記点群作成情報出力部が前記対象となる構造物と判断した点に対応する元画像の位置をもとに前記教師データを作成する、（２）あらかじめ作成された、汎用的に前記対象となる構造物を検出するモデルを用いて元画像に対してセグメンテーションマップを作成し、予測結果を教師データとする、（３）あらかじめ作成された異なる対象構造物の３Ｄモデルと背景の画像サンプルを合成して教師データを生成する、（４）一部の元画像に対して前記対象となる構造物または前記非対象となる構造物の画素に注釈を付与して前記教師データとする、のいずれかまたは組み合わせにより前記教師データを作成する、
   ことを特徴とするモデル作成システム。
4. 請求項１に記載のモデル作成システムであって、
   ユーザから、前記セグメンテーションマップ生成部が出力したセグメンテーションマップについての評価を受けるセグメンテーション評価部と、
   当該評価結果を用いて前記セグメンテーションマップを修正するセグメンテーションマップフィードバック部と、
   を備えることを特徴とするモデル作成システム。
5. 請求項１に記載のモデル作成システムであって、
   前記元画像と前記セグメンテーションマップをもとに前記元画像を３Ｄ点群へ変換する点群出力部と、
   ユーザから、前記点群出力部が出力した３Ｄ点群についての評価を受ける点群評価部と、
   当該評価結果を用いて前記３Ｄ点群を修正する点群フィードバック部と、
   を備えることを特徴とするモデル作成システム。
6. 請求項４に記載のモデル作成システムであって、
   前記セグメンテーション評価部は、前記セグメンテーションマップを、前記対象となる構造物の推定確率値をもとに色付けされた多階調画像として前記表示部に表示する多階調処理と、前記セグメンテーションマップを、前記対象となる構造物の推定確率値をもとに二値化した二値化画像として前記表示部に表示する二値化処理と、前記二値化処理で設定される閾値を前記表示部に表示する閾値表示処理と、を実行する、
   ことを特徴とするモデル作成システム。
7. 請求項５に記載のモデル作成システムであって、
   前記点群評価部は、前記３Ｄ点群から２次元へ投影した点群を、前記対象となる構造物の推定確率値をもとに色付けされた多階調画像として前記表示部に表示する多階調処理と、前記点群を、前記対象となる構造物の推定確率値をもとに二値化した二値化画像として前記表示部に表示する二値化処理と、前記二値化処理で設定される閾値を前記表示部に表示する閾値表示処理と、を実行する、
   ことを特徴とするモデル作成システム。
8. 請求項２に記載のモデル作成システムであって、
   前記セグメンテーションモデル学習部は、前記教師データ作成部が作成した教師データと、前記元画像からエッジ強度を計算した画像とを用いて、所定の閾値を満たす高いエッジ強度の画素を学習させる、
   ことを特徴とするモデル作成システム。
9. 対象となる構造物の３Ｄモデルを作成するモデル作成方法であって、
   構造物撮影部が、前記対象となる構造物の２Ｄ画像である元画像を撮影し、
   点群作成情報出力部が、前記元画像と前記元画像を構成する画素間における対応画素情報とを用いて前記対象となる構造物と非対象となる構造物とを検出し、
   前記点群作成情報出力部が、当該検出により得られた前記非対象となる構造物の画素を除去した点群作成情報を出力し、
   セグメンテーションマップ生成部が、前記点群作成情報と、前記対象となる構造物の元画像を含む教師データとから、前記対象となる構造物に対応する画素を検出してセグメンテーションマップを出力し、
   ３Ｄモデル変換部が、前記元画像と前記セグメンテーションマップとを用いて変換された点群を前記３Ｄモデルに変換する、
   ことを特徴とするモデル作成方法。

Images