JP2020161107A - 画像生成装置、画像生成方法、および画像生成プログラム - Google Patents

画像生成装置、画像生成方法、および画像生成プログラム Download PDF

Info

Publication number
JP2020161107A
JP2020161107A JP2019160386A JP2019160386A JP2020161107A JP 2020161107 A JP2020161107 A JP 2020161107A JP 2019160386 A JP2019160386 A JP 2019160386A JP 2019160386 A JP2019160386 A JP 2019160386A JP 2020161107 A JP2020161107 A JP 2020161107A
Authority
JP
Japan
Prior art keywords
image
unit
dimensional point
data
coordinates
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2019160386A
Other languages
English (en)
Other versions
JP6732082B1 (ja
Inventor
恵 入江
Megumi Irie
恵 入江
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Mitsubishi Electric Corp
Original Assignee
Mitsubishi Electric Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Mitsubishi Electric Corp filed Critical Mitsubishi Electric Corp
Priority to JP2019160386A priority Critical patent/JP6732082B1/ja
Application granted granted Critical
Publication of JP6732082B1 publication Critical patent/JP6732082B1/ja
Publication of JP2020161107A publication Critical patent/JP2020161107A/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Abstract

【課題】構造物の展開画像から必要な画像を適切に得ることができる画像生成装置を得ること。【解決手段】画像生成装置1は、記憶部10と、制御部20とを備える。記憶部10は、構造物の展開画像のデータを記憶する。制御部20は、画像処理対象になる展開画像上の座標範囲を判定し、判定した座標範囲に基づいて、展開画像における座標範囲の画像の回転処理および反転処理の少なくとも一つの画像処理を実行して生成される画像を少なくとも一部に含む出力画像を生成する。【選択図】図3

Description

本発明は、構造物の展開画像のうち一部の領域を切り出すことができる画像生成装置、画像生成方法、および画像生成プログラムに関する。
従来、構造物を撮像して得られる撮像画像から構造物の展開画像を生成する技術が知られている。例えば、特許文献1には、構造物であるトンネル内を複数のカメラを備える車両が走行している状態でこれら複数のカメラの各々で複数回撮像されて得られる画像を繋ぎ合せることで、トンネルの展開画像を得る技術が開示されている。
特開2016−218555号公報
構造物の点検を点検員が行う場合、例えば、構造物の変状がある領域を撮像した撮像画像を変状写真台帳に貼り付ける場合があるが、点検員は構造物の設置場所を訪れる必要がある。特許文献1の技術では、上述したように構造物内を車両が走行することで構造物の展開画像を得ることができる。そのため、かかる展開画像を用いることができれば、点検員が構造物の設置場所を訪れなくても、構造物の変状がある領域を撮像した撮像画像を取得することができる。
しかしながら、特許文献1に記載の展開画像から構造物の変状がある領域を切り出す場合、展開画像から切り出した画像は、同じ領域の画像であっても点検員が実際の構造物を撮像して得られる撮像画像と異なる場合がある。また、構造物内からみた構造物の画像に代えて、構造物外からみた構造物の画像を取得したい場合があり、特許文献1に記載の展開画像から構造物の変状がある領域をそのまま切り出しても、必要な画像が得られない場合がある。
本発明は、上記に鑑みてなされたものであって、構造物の展開画像から必要な画像を適切に得ることができる画像生成装置を得ることを目的とする。
上述した課題を解決し、目的を達成するために、本発明の画像生成装置は、構造物データ記憶部と、表示処理部と、選択位置判定部と、画像処理部とを備える。構造物データ記憶部は、構造物の3次元点群のデータを含む3次元点群データと、構造物の展開画像のデータと、3次元点群の座標と展開画像の座標との対応関係を示すマッピングデータとを記憶する。表示処理部は、構造物データ記憶部に記憶された3次元点群データに基づいて、3次元点群の画像を表示部に表示する。選択位置判定部は、構造物データ記憶部に記憶された展開画像のデータおよびマッピングデータに基づいて、表示部に表示された3次元点群のうち選択された3次元点の座標に対応する展開画像上の座標を判定する。画像処理部は、選択位置判定部によって判定された展開画像上の座標を含む範囲である切り出し範囲の画像を展開画像から切り出す切り出し処理を含む画像処理によって生成される切り出し画像を出力画像として生成する。画像処理部が実行する画像処理は、選択位置判定部によって判定された展開画像上の座標に基づく切り出し範囲の画像の回転処理および反転処理のうち少なくとも一つの処理を含む。
本発明によれば、構造物の展開画像から必要な画像を適切に得ることができる、という効果を奏する。
本発明の実施の形態1にかかる画像生成装置の構成例を示す図 実施の形態1にかかる画像生成装置による画像処理方法を説明するための図 実施の形態1にかかる画像生成装置の具体的構成例を示す図 実施の形態1にかかる3次元点群データテーブルの一例を示す図 実施の形態1にかかるトンネルの3次元点群とトンネル軸ベクトルの一例を示す図 実施の形態1にかかるトンネル軸データテーブルの一例を示す図 実施の形態1にかかる展開画像データテーブルの一例を示す図 実施の形態1にかかる見上げ図と見下げ図との関係を説明するための図 実施の形態1にかかるトンネルの展開画像の一例を示す図 実施の形態1にかかるマッピングデータテーブルの一例を示す図 実施の形態1にかかる切り出し画像データテーブルの一例を示す図 実施の形態1にかかる変状データテーブルの一例を示す図 実施の形態1にかかる表示処理部による3次元点群の画像の表示部への表示処理を説明するための図 実施の形態1にかかる視点位置のトンネルに対する位置を説明するための図 実施の形態1にかかる視点位置判定部による視点位置のトンネルに対する位置関係を判定するための処理を説明するための図 実施の形態1にかかる画像処理部による画像処理を説明するための図 実施の形態1にかかる画像処理部で用いられる閾値と展開画像との関係の一例を示す図 実施の形態1にかかる切り出し画像の一覧を示す画像の一例を示す図 実施の形態1にかかる切り出し画像の画像状態が見上げ図である場合において視点位置決定部によって決定される視点位置を説明するための図 実施の形態1にかかる切り出し画像の画像状態が見下げ図である場合において視点位置決定部によって決定される視点位置を説明するための図 実施の形態1にかかる表示処理部によるトンネルの3次元点群の向きの決定処理を説明するための図 実施の形態1にかかる変状データ編集画面の一例を示す図 実施の形態1にかかる変状データ編集画面の他の例を示す図 実施の形態1にかかる変状台帳生成部によって生成される変状画像台帳の一例を示す図 実施の形態1にかかる変状展開図生成部によって生成される変状展開図の一例を示す図 実施の形態1にかかる画像生成装置の制御部の処理の一例を示すフローチャート 実施の形態1にかかる出力画像生成処理の一例を示すフローチャート 実施の形態1にかかる3次元点群表示処理の一例を示すフローチャート 実施の形態1にかかる変状データ編集処理の一例を示すフローチャート 実施の形態1にかかる変状画像台帳生成処理の一例を示すフローチャート 実施の形態1にかかる変状展開図生成処理の一例を示すフローチャート 実施の形態1にかかる画像生成装置のハードウェア構成の一例を示す図
以下に、本発明の実施の形態にかかる画像生成装置、画像生成方法、および画像生成プログラムを図面に基づいて詳細に説明する。なお、この実施の形態によりこの発明が限定されるものではない。
実施の形態1.
図1は、本発明の実施の形態1にかかる画像生成装置の構成例を示す図である。図1に示すように、実施の形態1にかかる画像生成装置1は、構造物データ記憶部11と、制御部20とを備える。
構造物データ記憶部11は、構造物のデータを記憶する。構造物のデータには、構造物の3次元点群データと、構造物の展開画像データと、3次元点群の座標と展開画像上の座標との対応関係を示すマッピングデータとが含まれる。構造物データ記憶部11にデータが記憶される構造物は、例えば、トンネル、橋梁、または下水道などの構造物である。
3次元点群データには、複数の3次元点のデータが含まれており、各3次元点のデータには、3次元点の3次元における位置を示すデータが含まれる。例えば、3次元点のデータには、XYZ軸座標系における3次元点の座標を示すデータが含まれる。構造物の展開画像データは、構造物の展開画像のデータである。
制御部20は、表示処理部22と、選択位置判定部23と、視点位置判定部24と、画像処理部25とを備える。表示処理部22は、構造物データ記憶部11に記憶された3次元点群データに基づいて、構造物の3次元点群の画像を表示部2に表示する。かかる表示処理部22は、指定された視点位置からみた場合の3次元点群の画像を表示部2に表示する。例えば、表示処理部22は、視点位置を変更された場合、変更後の視点位置からみた場合の3次元点群の画像を表示部2に表示する。
選択位置判定部23は、構造物データ記憶部11に記憶されたマッピングデータに基づいて、表示部2に表示された構造物の3次元点群のうち選択された3次元点の座標に対応する展開画像上の座標を判定する。視点位置判定部24は、指定された視点位置の構造物に対する位置関係として、かかる視点位置が構造物の内部の位置か構造物の外部の位置かを判定する。
画像処理部25は、選択位置判定部23によって判定された展開画像上の座標と、視点位置判定部24によって判定された視点位置の構造物に対する位置関係とに基づいて、展開画像上の座標を含む範囲である切り出し範囲の画像から切り出し画像を生成する。具体的には、画像処理部25は、展開画像上の座標と視点位置の構造物に対する位置関係とに基づいて、切り出し範囲の画像を展開画像から切り出す処理と、切り出し範囲の画像の向きを変更する処理とを行って、切り出し画像を生成する。切り出し範囲の画像の向きを変更する処理には、切り出し範囲の画像の回転処理および反転処理の少なくとも一つの処理が含まれる。画像処理部25は、生成した切り出し画像を出力画像として出力する。これにより、構造物の展開画像から必要な画像を適切に得ることができる。例えば、展開画像から切り出した画像を点検員が実際の構造物を撮像して得られる撮像画像と同じ向きの画像にすることができる。また、構造物内からみた構造物の画像に代えて、構造物外からみた構造物の画像を取得したい場合において、必要な画像を得ることができる。
なお、構造物内からみた構造物の画像および構造物外からみた構造物の画像の一方のみを取得すればよい場合、画像生成装置1は、上記の構成でなくてもよい。例えば、画像生成装置1は、視点位置とは無関係に、展開画像上の座標に基づいて、切り出し範囲の画像を展開画像から切り出す処理と、切り出し範囲の画像の向きを変更する処理とを行って、切り出し画像を生成することができる。この場合、画像生成装置1は、視点位置判定部24を有しない構成であってもよい。
図2は、実施の形態1にかかる画像生成装置による画像処理方法を説明するための図である。なお、以下においては、構造物がトンネルであるものとして説明するが、構造物は、橋梁、下水道、または他の構造物であってもよい。
図2に示すステップS1では、トンネルの3次元点群データが生成される。かかる3次元点群データは、例えば、計測車両に搭載された不図示の3次元点群計測装置によって得られる。かかる3次元点群計測装置は、例えば、計測車両の走行状態において不図示のレーザスキャナ装置によって得られるトンネルの内壁の計測データから3次元点群データを生成する。
図2に示すステップS2では、トンネルの展開画像データが生成される。トンネルの展開画像データは、例えば、複数のカメラを搭載する計測車両がトンネル内を走行している状態で複数のカメラの各々によって複数回撮像された画像を貼り合わせることで得られるトンネルの内壁の展開画像のデータである。
図2に示すステップS3では、3次元点群の座標と展開画像上の座標との対応関係を示すマッピングデータが生成される。マッピングデータは、例えば、3次元点群の3次元座標系を展開画像の2次元座標系に変換する関数を用いた変換処理によって得ることができる。また、マッピングデータは、例えば、特開2012−220471号公報に記載の技術を用いて得ることができる。
図2に示すステップS4では、トンネルの3次元点群の画像が表示部2に表示される。かかるトンネルの3次元点群の画像は、指定された視点位置からみた場合の画像であり、ユーザ操作などによって視点位置を変更することで、異なる視点位置からみた場合の画像を確認することができる。
図2に示すステップS5では、表示部2に表示されたトンネルの3次元点群のうち3次元点が選択される。3次元点の選択は、例えば、不図示のマウスの操作によって行われる。表示処理部22は、表示部2に表示されるカーソルをマウスの操作に応じて移動させる。選択位置判定部23は、マウスへのクリック操作があったときのカーソルが指す位置に最も近い3次元点をユーザ操作によって選択される3次元点として決定する。
図2に示すステップS6では、選択位置判定部23は、3次元点群の座標と展開画像上の座標との対応関係を示すマッピングデータに基づいて、トンネルの3次元点群のうちユーザ操作によって選択された3次元点の座標に対応する展開画像上の座標を判定する。以下、選択された3次元点の座標に対応する展開画像上の座標を「選択位置」と記載する場合がある。
図2に示すステップS7では、視点位置判定部24は、ステップS5において3次元点が選択された場合に指定されていた視点位置のトンネルに対する位置関係を判定する。視点位置判定部24は、視点位置のトンネルに対する位置関係として、かかる視点位置がトンネルの内部の位置かトンネルの外部の位置かを判定する。図2に示す例では、視点位置判定部24によって視点位置がトンネルの外部の位置であると判定される。
図2に示すステップS8では、画像処理部25は、展開画像データ、選択位置、および視点位置のトンネルに対する位置関係に基づいて、展開画像上の選択位置を含む切り出し範囲の画像を展開画像から切り出す処理と、切り出し範囲の画像の回転処理および反転処理の少なくとも一つの処理とによって、切り出し画像を生成する。図2に示す例では、視点位置のトンネルに対する位置関係がトンネルの外部の位置であり、展開画像のうち切り出し範囲の画像を反転した画像が切り出し画像として生成される。これにより、構造物の展開画像から必要な画像を適切に得ることができる。
以下、実施の形態1にかかる画像生成装置1の構成および動作についてさらに具体的に説明する。図3は、実施の形態1にかかる画像生成装置の具体的構成例を示す図である。図3に示すように、実施の形態1にかかる画像生成装置1は、記憶部10と、制御部20と、通信部30とを備える。
記憶部10は、構造物データ記憶部11と、切り出し画像データ記憶部12と、変状データ記憶部13とを備える。構造物データ記憶部11は、3次元点群データテーブル41と、トンネル軸データテーブル42と、展開画像データテーブル43と、マッピングデータテーブル44とを記憶する。切り出し画像データ記憶部12は、切り出し画像データテーブル45を記憶する。変状データ記憶部13は、変状データテーブル46を記憶する。以下においては、構造物がトンネルであるものとして説明する。
図4は、実施の形態1にかかる3次元点群データテーブルの一例を示す図である。図4に示す3次元点群データテーブル41には、「3次元点ID(Identifier)」、「X座標」、「Y座標」、および「Z座標」を含む3次元点のデータが複数含まれる。「3次元点ID」は、トンネルの3次元点群に含まれる3次元点の識別情報である。「X座標」、「Y座標」、および「Z座標」は、XYZ座標系における3次元点の座標である。すなわち、「X座標」は、XYZ座標系における3次元点のX座標であり、「Y座標」は、XYZ座標系における3次元点のY座標であり、「Z座標」は、XYZ座標系における3次元点のZ座標である。
図4に示す3次元点群データテーブル41では、トンネルの3次元点群に含まれる各3次元点の情報が含まれている。例えば、図4に示す例では、3次元点ID「P1」の3次元点の座標は、X座標「x1」、Y座標「y1」、およびZ座標「z1」である。3次元点ID「P2」の3次元点の座標は、X座標「x2」、Y座標「y2」、およびZ座標「z2」である。3次元点ID「Pn」の3次元点の座標は、X座標「xn」、Y座標「yn」、およびZ座標「zn」である。なお、nは3以上の整数である。
図5は、実施の形態1にかかるトンネルの3次元点群とトンネル軸ベクトルの一例を示す図である。図5に示すように、トンネルの3次元点群は、複数の3次元点で構成されており、上述した3次元点ID「P1」の3次元点、3次元点ID「P2」の3次元点、および3次元点ID「Pn」の3次元点などを含む複数の3次元点を含む。また、図5に示すように、トンネル軸ベクトルは、トンネルの延伸方向に沿ったベクトルである。トンネルの延伸方向がX軸と一致する場合、トンネル軸ベクトルの向きは、X軸と一致する。
図6は、実施の形態1にかかるトンネル軸データテーブルの一例を示す図である。図6に示すトンネル軸データテーブル42には、「ベクトルID」、「X座標」、「Y座標」、「Z座標」、および「ベクトルの向き」を含むトンネル軸ベクトルのデータが複数含まれる。「ベクトルID」は、トンネル軸ベクトルの識別情報である。「X座標」、「Y座標」および「Z座標」は、XYZ座標系におけるトンネル軸ベクトルの位置を示す座標である。「ベクトルの向き」は、XYZ座標系におけるトンネル軸ベクトルの向きを示す情報である。
図6に示す例では、ベクトルID「V1」のトンネル軸ベクトルは、X座標「x11」、Y座標「y11」、およびZ座標「z11」の座標を有し、かつベクトルの向きが「v1」である。ベクトルID「V2」のトンネル軸ベクトルは、X座標「x12」、Y座標「y12」、およびZ座標「z12」の座標を有し、かつベクトルの向きが「v2」である。ベクトルID「Vm」のトンネル軸ベクトルは、X座標「x1m」、Y座標「y1m」、およびZ座標「z1m」の座標を有し、かつベクトルの向きが「vm」である。なお、mは3以上の整数である。
図7は、実施の形態1にかかる展開画像データテーブルの一例を示す図である。図7に示す展開画像データテーブル43には、「ドットID」、「X座標」、「Y座標」、「r」、「g」、「b」、および「画像状態」を含むドットのデータが複数含まれる。「ドットID」は、トンネルの展開画像に含まれるドットの識別情報である。
「X座標」および「Y座標」は、2次元座標系であるX座標系におけるドットの座標である。すなわち、「X座標」は、X座標系におけるドットのX座標であり、「Y座標」は、X座標系におけるドットのY座標である。「r」、「g」、および「b」は、ドットの色を示す。「r」は、ドットの赤色成分の値を示し、「g」は、ドットの緑色成分の値を示し、「b」は、ドットの青色成分の値を示す。
図7に示す例では、ドットID「Do1」のドットの座標は、X座標「x1」およびY座標「y1」であり、ドットID「Do1」の「r」、「g」、および「b」は、「r1」、「g1」、および「b1」である。ドットID「Do2」のドットの座標は、X座標「x2」およびY座標「y2」であり、ドットID「Do2」の「r」、「g」、および「b」は、「r2」、「g2」、および「b2」である。ドットID「Dok」のドットの座標は、X座標「xk」およびY座標「yk」であり、ドットID「Dok」の「r」、「g」、および「b」は、「rk」、「gk」、および「bk」である。なお、kは3以上の整数である。
「画像状態」は、トンネルの展開画像が「見上げ図」および「見下げ図」のいずれかであるかを示す情報である。「見上げ図」は、展開図がトンネルの内壁をトンネル内で撮像して得られる複数の画像を繋ぎ合せた展開画像であることを示す。また、「見下げ図」は、見上げ図を反転させた展開画像であり、トンネルの内壁をトンネル外からみた場合の展開画像である。図7に示す例では、トンネルの展開画像が見下げ図であることを示している。
図8は、実施の形態1にかかる見上げ図と見下げ図との関係を説明するための図である。図8に示す例では、説明を分かりやすくするために、トンネルの内壁に生じるひびなどの変状を便宜的に「2」の文字と「5」の文字とで表現している。また、図8に示す例では、トンネルの入口の右端を「a1」とし、トンネルの入口の左端を「b1」とし、トンネルの出口の右端を「a2」とし、トンネルの出口の左端を「b2」としている。
トンネルの内壁の画像をトンネルの左端b1,b2を基準として展開することでトンネルの見上げ図が得られる。かかる見上げ図では、「2」の文字が180度回転した状態である。したがって、図8に示す見上げ図から「2」の文字を含む範囲をそのまま切り出した場合、かかる切り出し画像は、点検員が実際の構造物を撮像して得られる撮像画像と向きが異なる画像になる。
また、トンネルの内壁の画像をトンネルの右端a1,a2を基準として展開することでトンネルの見下げ図が得られる。かかる見下げ図では、「2」の文字が左右反転した状態であり、また、「5」の文字が180度回転し且つ反転した状態である。したがって、図8に示す見下げ図から「2」の文字または「5」の文字を含む範囲をそのまま切り出した場合、かかる切り出し画像は、点検員が実際の構造物を撮像して得られる撮像画像と向きが異なるものになる。
図9は、実施の形態1にかかるトンネルの展開画像の一例を示す図である。図9に示すトンネルの展開画像は、X軸がトンネル軸ベクトルと一致するように生成される。図9に示す展開画像では、トンネルの内壁に生じた変状のみが示されているが、トンネルの展開画像には、トンネルの内壁の色なども含まれる。また、トンネルの内壁に照明機器およびファンなどが取り付けられている場合、トンネルの展開画像には、照明機器およびファンなどを示す画像なども含まれる場合がある。なお、トンネルの内壁に生じる変状には、例えば、ひびまたは剥離などである。
図10は、実施の形態1にかかるマッピングデータテーブルの一例を示す図である。図10に示すマッピングデータテーブル44には、「X座標」、「Y座標」、「Z座標」、「X座標」、および「Y座標」を含むデータが複数含まれる。「X座標」、「Y座標」、および「Z座標」は、上述したXYZ座標系における3次元座標である。すなわち、「X座標」は、XYZ座標系におけるX座標であり、「Y座標」は、XYZ座標系におけるY座標であり、「Z座標」は、XYZ座標系におけるZ座標である。また、「X座標」および「Y座標」は、上述したX座標系における2次元座標である。すなわち、「X座標」は、X座標系におけるX座標であり、「Y座標」は、X座標系におけるY座標である。
図10に示す例では、XYZ座標系における3次元座標「x1,y1,z1」は、X座標系における2次元座標「xα,yα」に対応する。XYZ座標系における3次元座標「x2,y2,z2」は、X座標系における2次元座標「xβ,yβ」に対応する。XYZ座標系における3次元座標「xn,yn,zn」は、X座標系における2次元座標「xζ,yζ」に対応する。
図11は、実施の形態1にかかる切り出し画像データテーブルの一例を示す図である。図11に示す切り出し画像データテーブル45には、「画像ID」、「切り出し画像」、「画像状態」、および「座標範囲」を含む切り出し画像のデータが複数含まれる。「画像ID」は、切り出し画像の識別情報である。「切り出し画像」は、切り出し画像の画像データである。「画像状態」は、切り出し画像が見上げ図の画像であるか見下げ図の画像であるかを示す情報である。「座標範囲」は、展開画像における切り出し画像の座標範囲を示す座標情報であり、X座標範囲と、Y座標範囲が含まれる。
図11に示す例では、画像ID「IM1」の切り出し画像の画像データ、画像状態、および座標範囲は、「aaa.bmp」、「見上げ図」、および「xαmin1,xαmax1,yαmin1,yαmax1」である。座標範囲「xαmin1,xαmax1,yαmin1,yαmax1」は、X座標範囲がxαmin1からxαmax1までの範囲であり、Y座標範囲がyαmin1からyαmax1までの範囲であることを示す。
また、画像ID「IM2」の切り出し画像の画像データ、画像状態、および座標範囲は、「bbb.bmp」、「見上げ図」、および「xαmin2,xαmax2,yαmin2,yαmax2」である。座標範囲「xαmin2,xαmax2,yαmin2,yαmax2」は、X座標範囲がxαmin2からxαmax2までの範囲であり、Y座標範囲がyαmin2からyαmax2までの範囲であることを示す。
図12は、実施の形態1にかかる変状データテーブルの一例を示す図である。図12に示す変状データテーブル46には、「変状ID」および「変状範囲」を含む変状のデータである変状データが複数含まれる。「変状範囲」は、展開画像における変状の座標範囲を示す座標情報であり、X座標範囲と、Y座標範囲が含まれる。
図12に示す例では、変状ID「DF1」の変状範囲は、「xβmin1,xβmax1,yβmin1,yβmax1」である。変状範囲「xβmin1,xβmax1,yβmin1,yβmax1」は、X座標範囲がxβmin1からxβmax1までの範囲であり、Y座標範囲がyβmin1からyβmax1までの範囲であることを示す。変状ID「DF2」の変状範囲は、「xβmin2,xβmax2,yβmin2,yβmax2」である。座標範囲「xβmin2,xβmax2,yβmin2,yβmax2」は、X座標範囲がxβmin2からxβmax2までの範囲であり、Y座標範囲がyβmin2からyβmax2までの範囲であることを示す。
なお、図12に示す変状データテーブル46は、変状の範囲を示す座標情報を含むが、変状データテーブル46の座標情報は、変状の範囲を示す座標情報でなくてもよい。例えば、変状データテーブル46の座標情報は、変状の中心位置を示す座標の情報または変状上の複数の座標の情報であってもよい。また、変状データテーブル46の座標情報は、変状上の複数の座標の情報とかかる複数の座標のうち互いに隣接する座標間を接続する複数のベクトルの情報とを含むベクトル情報であってもよい。
図3に戻って、画像生成装置1の制御部20を説明する。図3に示すように、制御部20は、入力受付部21と、表示処理部22と、選択位置判定部23と、視点位置判定部24と、画像処理部25と、画像出力部26と、視点位置決定部27と、変状データ編集部28と、変状台帳生成部29と、変状展開図生成部40とを備える。
入力受付部21は、入力部3へ入力されるユーザ操作を受け付ける。入力部3は例えばマウスまたはキーボードである。ユーザ操作は、ユーザによる入力部3へ入力される操作であり、例えば、マウスの移動操作、およびマウスへのクリック操作などが含まれる。また、入力部3は、表示部2上に配置されるタッチパネルであってもよい。以下、入力部3へ入力されるユーザ操作を単にユーザ操作と記載する場合がある。
表示処理部22は、記憶部10に記憶されたデータなどに基づいて、ユーザ操作に応じた画像を表示部2に表示する。例えば、表示処理部22は、ユーザ操作によって3次元点群の画像を表示する指示がある場合、記憶部10に記憶されたトンネルの3次元点群データに基づいて、トンネルの3次元点群の画像を表示部2に表示することができる。また、表示処理部22は、入力受付部21へのユーザ操作に基づいて、画像処理部25によって生成された切り出し画像を表示部2に表示することができる。
図13は、実施の形態1にかかる表示処理部による3次元点群の画像の表示部への表示処理を説明するための図である。表示処理部22は、図13に示す視点位置および視線方向に基づいて、かかる視点位置および視線方向からトンネルの3次元点群をみた場合におけるトンネルの3次元点群の画像を生成し、生成した3次元点群の画像を表示部2に表示する。図13に示す視点位置および視線方向は、ユーザ操作によって変更される。表示処理部22は、視点位置および視線方向が変更される毎に、変更された視点位置および視線方向に基づいて、トンネルの3次元点群の画像を生成し、生成した3次元点群の画像を表示部2に表示する。
図3に示す選択位置判定部23は、表示部2に表示されたトンネルの3次元点群に含まれる3次元点がユーザ操作によって選択された場合、選択された3次元点のXYZ座標系における座標に対応する展開画像上の座標を判定する。
例えば、3次元点群データテーブル41が図4に示す状態であり、マッピングデータテーブル44が図10に示す状態であるとする。この場合、3次元点ID「P1」の3次元点におけるXYZ座標系の3次元座標は、「x1,y1,z1」であり、XYZ座標系の3次元座標「x1,y1,z1」に対応する展開画像上の座標は、X座標系の2次元座標「xα,yα」である。選択位置判定部23は、ユーザ操作によって選択された3次元点が図4に示す3次元点ID「P1」の3次元点である場合、展開画像上の座標が「xα,yα」であると判定する。
また、3次元点ID「P2」の3次元点におけるXYZ座標系の3次元座標は、「x2,y2,z2」であり、XYZ座標系の3次元座標「x2,y2,z2」に対応する展開画像上の座標は、X座標系の2次元座標「xβ,yβ」である。選択位置判定部23は、ユーザ操作によって選択された3次元点が図4に示す3次元点ID「P2」の3次元点である場合、展開画像上の座標が「xβ,yβ」であると判定する。
なお、選択位置判定部23は、例えば、マウスへのクリック操作があったときのカーソルが指す位置に3次元点がある場合、かかる3次元点をユーザ操作によって選択された3次元点と判定する。また、選択位置判定部23は、カーソルが指す位置に3次元点がない場合、カーソルが指す位置に最も近い3次元点をユーザ操作によって選択された3次元点として決定する。ユーザ操作によって選択される3次元点は、複数であってもよい。この場合、選択位置判定部23は、ユーザ操作によって指定された範囲にある複数の3次元点をユーザ操作によって選択される3次元点と判定することができる。
視点位置判定部24は、ユーザ操作によって指定された視点位置のトンネルに対する位置関係として、視点位置がトンネルの内部の位置かトンネルの外部の位置かを判定する。図14は、実施の形態1にかかる視点位置のトンネルに対する位置関係を説明するための図である。図14に示すように、選択位置判定部23は、視点位置がトンネルの内壁に囲まれていない位置にある場合、視点位置がトンネルの外部の位置であると判定する。また、選択位置判定部23は、視点位置がトンネルの内壁に囲まれた位置にある場合、視点位置がトンネルの内部の位置であると判定する。
視点位置判定部24は、3次元点群データとベクトル軸データとを用いて、視点位置がトンネルの内部の位置かトンネルの外部の位置かを判定することができる。例えば、視点位置判定部24は、視点位置を含みトンネル軸ベクトルの向きと直交する平面である投影用平面との距離が予め設定された範囲内の3次元点群の複数の3次元点を投影用平面に投影する。視点位置判定部24は、投影用平面に投影された複数の3次元点に基づいて、視点位置がトンネルの内部の位置か外部の位置かを判定する。
図15は、実施の形態1にかかる視点位置判定部による視点位置のトンネルに対する位置関係を判定するための処理を説明するための図である。まず、視点位置判定部24は、トンネル軸ベクトルがY軸方向に一致するように、トンネル軸ベクトルに基づいて3次元点群データに含まれる各3次元点の座標を変換する。なお、視点位置判定部24は、トンネル軸ベクトルがY軸方向に一致している場合、3次元点群データの変換は行わない。
次に、視点位置判定部24は、図15に示すように、視点位置を含み且つトンネル軸ベクトルに対して直交する直交平面G1を設定する。また、視点位置判定部24は、トンネル軸ベクトルの向きに沿った方向において直交平面G1と前後に予め定められた距離離れた平面G2,G3を設定する。視点位置判定部24は、3次元点群に含まれる複数の3次元点のうち平面G2と平面G3とに囲まれた複数の3次元点を抽出する。
視点位置判定部24は、抽出した複数の3次元点を直交平面G1に投影し、直交平面G1に投影した複数の3次元点を直線化する。例えば、視点位置判定部24は、直交平面G1に投影した複数の3次元点を最小二乗法によって直線化する。視点位置判定部24は、直交平面G1において視点位置が、直線化により得られる直線で囲まれているか否かを判定する。視点位置判定部24は、視点位置が直線で囲まれている場合に、視点位置がトンネルの内部の位置であると判定し、視点位置が直線で囲まれていない場合に、視点位置がトンネルの外部の位置であると判定する。
図3に示す画像処理部25は、選択位置判定部23によって判定された展開画像上の座標である選択位置と、視点位置判定部24によって判定された視点位置のトンネルに対する位置関係とに基づいて、切り出し画像を生成し、生成した切り出し画像を出力する。具体的には、画像処理部25は、選択位置と視点位置のトンネルに対する位置関係とに基づいて、選択位置を含む切り出し範囲の画像を展開画像から切り出す処理と、切り出し範囲の画像の回転処理および反転処理の少なくとも一つの処理とを行って、切り出し画像を生成し、生成した切り出し画像を出力画像として出力する。
ここで、回転または反転と選択位置との関係を説明する。図16は、実施の形態1にかかる画像処理部による画像処理を説明するための図である。図17は、実施の形態1にかかる画像処理部で用いられる閾値と展開画像との関係の一例を示す図である。
図16に示すように、画像処理部25は、選択位置が属する範囲、画像の切り出しに用いるトンネルの展開画像の画像状態、および出力画像にする切り出し画像の画像状態に基づいて、トンネルの展開画像から切り出す画像の処理を行う。図16では、選択位置判定部23によって判定された選択位置のY座標を「Ysel」としており、以下、選択位置座標Yselと記載する。また、図17に示すX軸正方向を右方向とし、X軸負方向を左方向とし、Y軸正方向を下方向とし、Y軸負方向を上方向とする。また、後述する回転は、右回りの回転であるとする。
ここで、画像状態が見上げ図であるトンネルの展開画像が用いられ且つ出力画像の画像状態がユーザ操作によって見上げ図に指定されたとする。この場合、画像処理部25は、選択位置座標Yselが第1閾値Yth1以下であれば、選択位置を含む切り出し範囲の画像を180度回転して得られる画像である切り出し画像を出力画像として生成する。また、画像処理部25は、選択位置座標Yselが第1閾値Yth1より大きく且つ第2閾値Yth2以下であれば、選択位置を含む切り出し範囲の画像を90度回転して得られる画像である切り出し画像を出力画像として生成する。また、画像処理部25は、選択位置座標Yselが第2閾値Yth2よりも大きければ、選択位置を含む切り出し範囲の画像である切り出し画像をそのまま出力画像として生成する。展開画像と第1閾値Yth1および第2閾値Yth2との関係は図17に示す状態である。
また、画像状態が見上げ図であるトンネルの展開画像が用いられ且つ出力画像の画像状態がユーザ操作によって見下げ図に指定されたとする。この場合、画像処理部25は、選択位置座標Yselが第1閾値Yth1以下であれば、選択位置を含む切り出し範囲の画像を上下反転して得られる画像である切り出し画像を出力画像として生成する。また、画像処理部25は、選択位置座標Yselが第1閾値Yth1より大きく且つ第2閾値Yth2以下であれば、選択位置を含む切り出し範囲の画像を270度回転し且つ左右反転して得られる画像である切り出し画像を出力画像として生成する。また、画像処理部25は、選択位置座標Yselが第2閾値Yth2よりも大きければ、選択位置を含む切り出し範囲の画像を左右反転して得られる画像である切り出し画像を出力画像として生成する。
また、画像状態が見下げ図であるトンネルの展開画像が用いられ且つ出力画像の画像状態がユーザ操作によって見上げ図に指定されたとする。この場合、画像処理部25は、選択位置座標Yselが第1閾値Yth1以下であれば、選択位置を含む切り出し範囲の画像を上下反転して得られる画像である切り出し画像を出力画像として生成する。また、画像処理部25は、選択位置座標Yselが第1閾値Yth1より大きく且つ第2閾値Yth2以下であれば、選択位置を含む切り出し範囲の画像を90度回転し且つ左右反転して得られる画像である切り出し画像を出力画像として生成する。また、画像処理部25は、選択位置座標Yselが第2閾値Yth2よりも大きければ、選択位置を含む切り出し範囲の画像を左右反転して得られる画像である切り出し画像を出力画像として生成する。
また、画像状態が見下げ図であるトンネルの展開画像が用いられ且つ出力画像の画像状態がユーザ操作によって見下げ図に指定されたとする。この場合、画像処理部25は、選択位置座標Yselが第1閾値Yth1以下であれば、選択位置を含む切り出し範囲の画像を180度回転して得られる画像である切り出し画像を出力画像として生成する。また、画像処理部25は、選択位置座標Yselが第1閾値Yth1より大きく且つ第2閾値Yth2以下であれば、選択位置を含む切り出し範囲の画像を270度回転して得られる画像である切り出し画像を出力画像として生成する。また、画像処理部25は、選択位置座標Yselが第2閾値Yth2よりも大きければ、選択位置を含む切り出し範囲の画像である切り出し画像をそのまま出力画像として生成する。
画像処理部25は、生成した出力画像のデータを記憶部10に記憶することができる。例えば、画像処理部25は、出力画像を切り出し画像として切り出し画像データテーブル45に追加することができる。この場合、画像処理部25は、出力画像のデータ、出力画像の画像状態のデータ、出力画像の座標範囲のデータ、および新たな画像IDを含むデータを切り出し画像のデータとして切り出し画像データテーブル45に追加することができる。
また、画像処理部25は、生成した出力画像のデータを表示処理部22へ出力し、表示処理部22によって出力画像を表示部2に表示させることができる。また、画像処理部25は、生成した出力画像のデータを画像出力部26へ出力し、画像出力部26によって出力画像のデータを通信部30から外部の装置へ送信させることもできる。通信部30は、例えば、LAN(Local Area Network)またはWAN(Wide Area Network)などのネットワークに有線または無線によって接続されており、かかるネットワークを介して外部の装置と通信を行うことができる。
このように、画像処理部25は、選択位置判定部23によって判定された展開画像上の座標である選択位置と、視点位置判定部24によって判定された視点位置のトンネルに対する位置関係とに基づいて、切り出し画像を生成することができる。そのため、例えば、出力画像の画像状態が見上げ図である場合、展開画像から切り出される切り出し画像を、例えば点検員が実際の構造物を撮像して得られる撮像画像と同じ状態にすることができる。したがって、画像生成装置1によって生成される切り出し画像を点検員は直感的に把握することができ、トンネルの点検および状態の把握を効率的に行うことができる。なお、上述した例では、出力画像の画像状態は、ユーザ操作によって指定されるが、出力画像の画像状態は、見上げ図に固定されていてもよく、また、見下げ図に固定されていてもよい。
図3に示す視点位置決定部27は、切り出し画像データ記憶部12に記憶された切り出し画像が選択された場合に、切り出し画像の座標と指定された視点位置のトンネルに対する位置関係とに基づいて、トンネルの3次元点群に対する視点位置を決定する。表示処理部22は、視点位置決定部27によって決定された視点位置からトンネルの3次元点群をみた場合のトンネルの3次元点群の画像を表示部2に表示する。
図18は、実施の形態1にかかる切り出し画像の一覧を示す画像の一例を示す図である。図18に示すように、表示処理部22は、切り出し画像データ記憶部12に記憶された切り出し画像のサムネイルを一覧表示した画像である一覧画像50を表示部2に表示する。図18に示す一覧画像50には、画像IDが「IM1」,「IM2」,「IM3」,「IM4」の4つの切り出し画像のサムネイルが含まれる。なお、表示処理部22は、切り出し画像のサムネイルの一覧に代えて、切り出し画像のファイル名の一覧を一覧画像50として表示部2に表示することもできる。
視点位置決定部27は、一覧画像50が表示部2に表示されている状態で一覧画像50に含まれる複数の切り出し画像のうち、ユーザ操作によって一つの切り出し画像が選択された場合、トンネルの3次元点群に対する視点位置を決定する。
ここで、視点位置決定部27による視点位置の決定処理について具体的に説明する。まず、視点位置決定部27は、ユーザ操作によって選択された切り出し画像の画像データ、画像状態、および座標範囲の各々の情報を切り出し画像データ記憶部12の切り出し画像データテーブル45から取得する。例えば、ユーザ操作によって選択された切り出し画像が画像ID「IM1」の切り出し画像であり、切り出し画像データテーブル45が図11に示す状態であるとする。この場合、視点位置決定部27は、画像データ「aaa.bmp」の情報、画像状態「見上げ図」の情報、および座標範囲「xαmin1,xαmax1,yαmin1,yαmax1」の情報を切り出し画像データテーブル45から取得する。
次に、視点位置決定部27は、切り出し画像データテーブル45から取得した座標範囲に基づいて、ユーザ操作によって選択された切り出し画像の中心位置に対応するXYZ座標系の3次元座標を注視点として算出する。例えば、視点位置決定部27は、ユーザ操作によって選択された切り出し画像の座標範囲が「xαmin1,xαmax1,yαmin1,yαmax1」である場合、切り出し画像の中心位置「Xd_c,Yd_c」を下記式(1),(2)の演算によって求める。かかる中心位置「Xd_c,Yd_c」は、展開画像における切り出し画像の中心位置の座標であり、X座標系の座標である。
d_c=(xαmin1−xαmax1)/2 ・・・(1)
d_c=(yαmin1−yαmax1)/2 ・・・(2)
そして、視点位置決定部27は、マッピングデータテーブル44を用いて、切り出し画像の中心位置「Xd_c,Yd_c」に対応するXYZ座標系の3次元座標「x,y,z」を演算する。中心位置「Xd_c,Yd_c」がX座標系の2次元座標「xβ,yβ」であり、マッピングデータテーブル44が図10に示す状態であるとする。この場合、中心位置「Xd_c,Yd_c」に対応するXYZ座標系の3次元座標「x,y,z」は、3次元座標「x2,y2,z2」である。
視点位置決定部27は、中心位置「Xd_c,Yd_c」に対応するXYZ座標系の3次元座標がマッピングデータテーブル44にない場合、中心位置「Xd_c,Yd_c」に最も距離が近いX座標系の2次元座標をマッピングデータテーブル44から検索する。視点位置決定部27は、検索により得られたX座標系の2次元座標に関連付けられたXYZ座標系の3次元座標をマッピングデータテーブル44から抽出し3次元座標「x,y,z」に決定する。
視点位置決定部27は、切り出し画像データテーブル45から取得した画像状態の情報と、3次元座標「x,y,z」とに基づいて、視点位置を決定する。図19は、実施の形態1にかかる切り出し画像の画像状態が見上げ図である場合において視点位置決定部によって決定される視点位置を説明するための図である。図20は、実施の形態1にかかる切り出し画像の画像状態が見下げ図である場合において視点位置決定部によって決定される視点位置を説明するための図である。
視点位置決定部27は、切り出し画像データテーブル45から取得した画像状態が見上げ図である場合、図19に示すように、XYZ座標系において3次元座標「x,y,z」に最も距離が近いトンネル軸ベクトル上の点を視点位置に決定する。
また、視点位置決定部27は、切り出し画像データテーブル45から取得した画像状態が見下げ図である場合、図20に示すように、XYZ座標系において3次元座標「x,y,z」に最も距離が近いトンネル軸ベクトル上の点を第1の点とする。そして、視点位置決定部27は、図20に示すように、第1の点からトンネルの外方に向かって設定ベクトルvab分だけ離れた第2の点を視点位置に決定する。
表示処理部22は、視点位置決定部27によって決定された視点位置から注視点へ向かう方向にトンネルの3次元点群をみた場合のトンネルの3次元点群の画像を表示部2に表示する。これにより、表示処理部22は、トンネルの3次元点群のうち、ユーザ操作によって選択された切り出し画像に対応するXYZ座標系の領域の画像を、表示部2に表示させることができる。そのため、画像生成装置1のユーザは、ユーザ操作によって選択された切り出し画像の3次元座標における位置を容易に把握することができ、また、切り出し画像に対応する複数の3次元点を確認することができる。
表示処理部22は、トンネルの3次元点群のうち切り出し画像に対応するXYZ座標系の領域の画像を表示部2に表示させる際に、視点位置に対するトンネルの3次元点群の向きを決定する。例えば、表示処理部22は、切り出し画像の中心位置「Xd_c,Yd_c」およびトンネル軸ベクトルに基づいて、視点位置に対するトンネルの3次元点群の向きを決定する。
図21は、実施の形態1にかかる表示処理部によるトンネルの3次元点群の向きの決定処理を説明するための図である。図21では、視点位置決定部27によって演算された中心位置「Xd_c,Yd_c」のうちY座標を「Ycn」としており、以下、中心位置座標Ycnと記載する。また、図17に示すX軸正方向を右方向とし、X軸負方向を左方向とし、Y軸正方向を下方向とし、Y軸負方向を上方向とする。
ここで、ユーザ操作によって一覧画像50から選択された切り出し画像の画像状態が見上げ図であり、展開画像が見下げ図であるとする。この場合、表示処理部22は、図21に示すように、中心位置座標Ycnが第1閾値Yth1以下であれば、トンネル軸ベクトルの向きが右方向に向いた状態のトンネルの3次元点群の画像を表示画像として表示部2に表示する。表示処理部22は、中心位置座標Ycnが第1閾値Yth1より大きく且つ第2閾値Yth2以下であれば、トンネル軸ベクトルの向きが下方向に向いた状態のトンネルの3次元点群の画像を表示画像として表示部2に表示する。表示処理部22は、中心位置座標Ycnが第2閾値Yth2よりも大きければ、トンネル軸ベクトルの向きが左方向に向いた状態のトンネルの3次元点群の画像を表示画像として表示部2に表示する。
また、ユーザ操作によって一覧画像50から選択された切り出し画像の画像状態が見下げ図であり、展開画像が見下げ図であるとする。この場合、表示処理部22は、図21に示すように、中心位置座標Ycnが第1閾値Yth1以下であれば、トンネル軸ベクトルの向きが左方向に向いた状態のトンネルの3次元点群の画像を表示画像として表示部2に表示する。表示処理部22は、中心位置座標Ycnが第1閾値Yth1より大きく且つ第2閾値Yth2以下であれば、トンネル軸ベクトルの向きが上方向に向いた状態のトンネルの3次元点群の画像を表示画像として表示部2に表示する。表示処理部22は、中心位置座標Ycnが第2閾値Yth2よりも大きければ、トンネル軸ベクトルの向きが右方向に向いた状態のトンネルの3次元点群の画像を表示画像として表示部2に表示する。
このように、表示処理部22は、選択された切り出し画像の画像状態と中心位置「Xd_c,Yd_c」とに基づいて、トンネルの3次元点群の向きを変更した画像を表示部2に表示することができる。そのため、ユーザが切り出し画像に対応する3次元点群の位置を直感的に把握することができる。したがって、トンネルの点検および状態の把握を効率的に行うことができる。例えば、切り出し画像の画像状態が見上げ図である場合、切り出し画像を点検員が撮像すると仮定した場合における点検員が見るトンネルの向きを3次元点群の向きにして表示することができる。
また、表示処理部22は、ユーザ操作によって展開画像を表示する指示がある場合、構造物データ記憶部11に記憶されたトンネル軸データテーブル42からユーザ操作によって指定された展開画像を取得し、取得した展開画像を表示部2に表示することができる。画像処理部25は、ユーザ操作によって展開画像の一部の領域と出力画像の画像状態とが選択された場合、上述した切り出し画像の生成処理によって切り出し画像を生成することができる。
例えば、画像処理部25は、ユーザ操作によって選択された領域である選択領域の中心位置のうちY座標と、選択された画像状態とに基づいて、切り出し画像を生成する。具体的には、画像処理部25は、選択領域の画像を展開画像から切り出す処理と選択領域の画像の回転処理および反転処理の少なくとも一つの処理とを行うことで、切り出し画像を生成する。なお、選択領域は、選択位置判定部23によって判定された選択位置を含む予め設定された大きさの領域であってもよい。すなわち、選択領域は、3次元点群のうち選択された3次元点に基づく領域であってもよい。
画像処理部25は、例えば、図16に示す処理条件に基づいて、切り出し画像を生成することができる。この場合、画像処理部25は、ユーザ操作によって選択された領域の中心位置のうちY座標を図16に示す選択位置座標Yselとして扱う。ユーザ操作によって一部の領域が選択された展開画像が見下げ図であり、ユーザ操作によって選択された出力画像の画像状態が見下げ図であり、ユーザ操作によって選択された領域の中心位置のうちY座標が第1閾値Yth1以下であるとする。この場合、画像処理部25は、展開画像のうちユーザ操作によって選択された領域の画像を180度回転することで切り出し画像を生成する。
表示処理部22は、ユーザ操作によって展開画像の一部の領域と出力画像の画像状態とが選択されたことに応じて画像処理部25によって切り出し画像が出力画像として生成された場合、かかる出力画像と共にトンネルの3次元点群の画像を表示することができる。この場合、表示処理部22は、上述した3次元点群の表示処理と同様の処理によって、3次元点群の向きを決定し、決定した向きの3次元点群を画像処理部25によって生成された切り出し画像と共に表示部2に表示することができる。このように、画像生成装置1のユーザは、展開画像の一部の領域と出力画像の画像状態とを選択することによって、適切な向きの切り出し画像と3次元点群の画像とを確認することができる。したがって、トンネルの点検および状態の把握を効率的に行うことができる。
図3に示す変状データ編集部28は、展開画像に含まれる変状の画像データである変状データをユーザ操作に基づいて編集する。図22は、実施の形態1にかかる変状データ編集画面の一例を示す図である。表示処理部22は、ユーザ操作によって変状データの編集が要求された場合、図22に示す変状データ編集画面60を表示部2に表示する。
図22に示すように、変状データ編集画面60は、変状データ表示領域61と、変状ID入力枠62と、位置変更ボタン63a,63b,63c,63dと、広角ボタン64と、望遠ボタン65と、リセットボタン66と、確定ボタン67とを含む。位置変更ボタン63a,63b,63c,63d、広角ボタン64、望遠ボタン65、リセットボタン66、および確定ボタン67は、GUI(Graphical User Interface)のボタンである。
変状データ編集部28は、変状データ編集画面60において、変状ID入力枠62に変状IDが入力された場合、変状ID入力枠62に入力された変状IDに対応する変状範囲の情報を変状データ記憶部13に記憶された変状データテーブル46から取得する。変状データ編集部28は、画像処理部25の処理と同様の処理によって切り出し画像を出力画像として生成する。すなわち、変状データ編集部28は、展開画像の画像状態、出力画像の画像状態、および変状IDに対応する変状範囲に基づいて、変状IDに対応する変状範囲の画像を展開画像から切り出す処理と、変状範囲の画像の回転処理および反転処理の少なくとも一つの処理とを行って、切り出し画像を生成する。表示処理部22は、変状データ編集部28によって生成された出力画像を変状データ表示領域61に表示する。出力画像の画像状態は、予め設定されているが、後述するようにユーザ操作によって変更することもできる。
変状データテーブル46が図12に示す状態であり、変状ID入力枠62に入力された変状IDが「DF1」であるとする。この場合、変状データ編集部28は、変状データテーブル46において変状ID「DF1」に関連付けられた座標範囲「xβmin1,xβmax1,yβmin1,yβmax1」を切り出し画像データテーブル45から取得する。変状データ編集部28は、座標範囲「xβmin1,xβmax1,yβmin1,yβmax1」の画像を展開画像から切り出しかつ回転または反転して得られる画像である切り出し画像を出力画像として生成する。例えば、展開画像の画像状態が見下げ図であり、出力画像の画像状態が見上げ図であり、座標範囲「xβmin1,xβmax1,yβmin1,yβmax1」の中心位置におけるY座標が第1閾値Yth1より小さいとする。この場合、変状データ編集部28は、座標範囲「xβmin1,xβmax1,yβmin1,yβmax1」の画像を展開画像から切り出し且つ上下反転させて得られる画像である切り出し画像を出力画像として生成する。
変状データ編集部28は、変状データテーブル46に変状データが一つも含まれていない場合、構造物データ記憶部11に記憶された展開画像データに基づいて、トンネルの展開画像全体または展開画像の任意の領域を出力画像として生成する。また、変状データ編集部28は、変状ID入力枠62に入力された変状IDが変状データテーブル46にない場合も、構造物データ記憶部11に記憶された展開画像データに基づいて、トンネルの展開画像全体または展開画像の任意の領域を出力画像として生成する。表示処理部22は、変状データ編集部28によって生成された出力画像を表示部2に表示する。
変状データ編集部28は、ユーザ操作によって位置変更ボタン63a,63b,63c,63d、広角ボタン64、および望遠ボタン65のいずれかが操作された場合、操作されたボタンに対応する処理を行う。位置変更ボタン63a,63b,63c,63dは、変状データ表示領域61に表示されている画像の中心位置を右方向、左方向、上方向、および下方向にずらすためのボタンである。広角ボタン64は、変状データ表示領域61に表示されている画像を縮小表示するためのボタンである。望遠ボタン65は、変状データ表示領域61に表示されている画像を拡大表示するためのボタンである。以下、位置変更ボタン63a,63b,63c,63dの各々を区別せずに示す場合、位置変更ボタン63と記載する。
変状データ編集部28は、位置変更ボタン63が操作された場合、変状データ表示領域61に表示されている画像の中心位置を移動させた画像を出力画像として画像処理部25と同様の処理によって展開画像から生成する。表示処理部22は、変状データ編集部28によって生成された出力画像を変状データ表示領域61に表示する。
具体的には、変状データ編集部28は、変状データ表示領域61に表示される画像のX座標系の範囲が位置変更ボタン63への操作によって変更される場合、展開画像から画像を切り出す処理と、回転処理および反転処理の少なくとも一つの処理とを行って、切り出し画像を生成する。ここで、変状データ表示領域61に表示される画像の変更後のX座標系の範囲を切り出し範囲と呼び、かかる切り出し範囲のY座標を中心位置座標Ydcnと呼ぶとする。この場合、変状データ編集部28は、図16に示す選択位置座標Yselを中心位置座標Ydcnに置き換えた処理条件に基づいて、切り出し画像を出力画像として生成することができる。
例えば、展開画像データテーブル43の展開画像の画像状態が図7に示すように見下げ図であり、変状データ表示領域61に表示される画像が図12に示す変状データテーブル46の画像ID「DF1」の画像であるものとする。また、出力画像が見上げ図であるものとする。この場合、変状データ編集部28は、中心位置座標Ydcnが第1閾値Yth1以下であれば、切り出し範囲の画像を上下反転して得られる画像を出力画像として生成する。変状データ編集部28は、中心位置座標Ydcnが第1閾値Yth1より大きく且つ第2閾値Yth2以下であれば、切り出し範囲の画像を90度回転し且つ左右反転して得られる画像を出力画像として生成する。変状データ編集部28は、中心位置座標Ydcnが第2閾値Yth2よりも大きければ、切り出し範囲の画像である切り出し画像を左右反転出力画像として生成する。
変状データ編集部28は、広角ボタン64または望遠ボタン65が操作された場合、位置変更ボタン63の操作の場合と同様の処理によって、変状データ表示領域61に表示される画像の変更後のX座標系の範囲の画像を切り出し画像として生成する。例えば変状データ編集部28は、広角ボタン64への操作である場合には、変状データ表示領域61に表示される画像のX座標系の範囲を画像の中心位置を変えずに拡大する。そして、変状データ編集部28は、拡大したX座標系の範囲の画像に対し位置変更ボタン63と同様の処理を行って切り出し画像を生成する。
また、変状データ編集部28は、望遠ボタン65への操作である場合には、変状データ表示領域61に表示される画像のX座標系の範囲を画像の中心位置を変えずに縮小する。そして、変状データ編集部28は、縮小したX座標系の範囲の画像に対し位置変更ボタン63と同様の処理を行って切り出し画像を生成する。
変状データ編集部28は、広角ボタン64への操作である場合には、切り出し画像を縮小し、望遠ボタン65への操作である場合には、切り出し画像を拡大することで出力画像を生成する。表示処理部22は、変状データ編集部28によって生成された出力画像を変状データ表示領域61に表示する。
このように、変状データ編集部28は、変状データ表示領域61に表示される画像のX座標系の範囲を変更する指示がある場合、展開画像から画像の切り出し処理と、回転処理および反転処理の少なくとも一つの処理とによって、切り出し画像を生成する。そして、変状データ編集部28は、生成した切り出し画像を出力画像としたり、生成した切り出し画像を拡大または縮小して出力画像としたりすることができる。
変状データ編集部28は、変状データ表示領域61に表示される画像のX座標系の範囲を変更した後、リセットボタン66が操作された場合、変状データ表示領域61に表示される画像を初期状態にする。初期状態は、例えば、変状ID入力枠62へ入力された変状IDに対応する変状範囲の画像である。また、初期状態は、上述した展開画像全体または展開画像の任意の領域である場合もある。
変状データ編集部28は、変状ID入力枠62へ入力された変状IDの画像であって変状データ表示領域61に表示される画像のX座標系の範囲を変更した後、確定ボタン67が操作された場合、切り出し画像データ記憶部12を更新する。例えば、変状ID入力枠62へ入力された変状IDが図12の変状データテーブル46に示す「DF1」であるとする。この場合、変状データ編集部28は、変状データテーブル46において、座標範囲「xβmin1,xβmax1,yβmin1,yβmax1」を変状データ表示領域61に表示されている画像のX座標系の範囲に変更する。これにより、変状データテーブル46の更新を行うことができる。
また、変状データ編集部28は、変状データテーブル46に変状IDがない画像のX座標系の範囲を変更した後、確定ボタン67が操作された場合、変状データ表示領域61に表示される画像の座標範囲を新たな変状IDと関連付けて変状データテーブル46に追加する。これにより、変状データテーブル46に新たな変状データを追加することができる。
なお、図22の変状データ編集画面60において、画像状態を入力する画像状態入力枠を設けることもできる。この場合、変状データ編集部28は、画像状態入力枠に入力された画像状態になるように変状データ表示領域61に表示される画像を生成することができる。例えば、画像状態入力枠に入力された画像状態が見下げ図であり、展開画像データテーブル43の展開画像の画像状態が図7に示すように見下げ図であるとする。この場合、変状データ編集部28は、中心位置座標Ydcnが第1閾値Yth1以下であれば、切り出し範囲の画像を180度回転して得られる画像を出力画像として生成する。変状データ編集部28は、中心位置座標Ydcnが第1閾値Yth1より大きく且つ第2閾値Yth2以下であれば、切り出し範囲の画像を270度回転して得られる画像を出力画像として生成する。変状データ編集部28は、中心位置座標Ydcnが第2閾値Yth2よりも大きければ、切り出し範囲の画像である切り出し画像をそのまま出力画像として生成する。
また、表示処理部22は、図22に示す変状データ編集画面60にさらに3次元点群の画像を表示する3次元点群表示領域を含む変状データ編集画面を表示部2に表示することができる。図23は、実施の形態1にかかる変状データ編集画面の他の例を示す図である。図23に示す変状データ編集画面60Aは、変状データ編集画面60に加え、3次元点群の画像を表示する3次元点群表示領域68を含む。
表示処理部22は、図21に示す処理条件で、3次元点群表示領域68に表示するトンネルの3次元点群の向きを決定することができる。具体的には、表示処理部22は、変状データ表示領域61に表示される画像の画像状態、中心位置座標Ydcn、およびトンネル軸ベクトルに基づいて、3次元点群表示領域68に表示するトンネルの3次元点群の向きを決定する。変状データ表示領域61に表示される画像の画像状態は、変状データ表示領域61に表示される画像が見下げ図であるか見上げ図であるかを示す。
例えば、変状データ表示領域61に表示される画像の画像状態が見上げ図であり、展開画像の画像状態が見下げ図であるとする。この場合、表示処理部22は、中心位置座標Ydcenが第1閾値Yth1以下であれば、トンネル軸ベクトルの向きが右方向に向いた状態のトンネルの3次元点群の画像を3次元点群表示領域68に表示する。表示処理部22は、中心位置座標Ydcenが第1閾値Yth1より大きく且つ第2閾値Yth2以下であれば、トンネル軸ベクトルの向きが下方向に向いた状態のトンネルの3次元点群の画像を3次元点群表示領域68に表示する。表示処理部22は、中心位置座標Ydcenが第2閾値Yth2よりも大きければ、トンネル軸ベクトルの向きが左方向に向いた状態のトンネルの3次元点群の画像を3次元点群表示領域68に表示する。
このように、画像生成装置1のユーザは、変状データを編集しながら、適切な向きの切り出し画像と3次元点群の画像とを確認することができる。したがって、変状データの編集を適切且つ効率的に行うことができる。
図3に示す変状台帳生成部29は、ユーザ操作による台帳生成指示があると判定した場合、変状データ記憶部13に記憶された変状データテーブル46に基づいて、トンネルに生じている各変状の画像を貼り付けた変状画像台帳を生成する。トンネルの展開画像は、撮像画像であるため、変状画像台帳は変状写真台帳と呼ぶことができる。変状台帳生成部29は、生成した変状画像台帳の情報を画像出力部26へ出力し、画像出力部26から通信部30およびネットワークを介して外部の装置へ送信することができる。例えば、かかる外部の装置がプリンタである場合、変状台帳生成部29は、画像出力部26および通信部30を介して変状画像台帳を外部の装置で印刷することができる。
図24は、実施の形態1にかかる変状台帳生成部によって生成される変状画像台帳の一例を示す図である。図24に示す変状画像台帳70は、変状データテーブル46に含まれる複数の変状データに基づいて各変状の画像が予め設定された枠内に配置される。各枠には、変状の画像の他、変状IDおよび変状位置などの情報が含まれる。変状位置は、例えば、図12に示す変状データテーブル46に含まれる変状範囲における中心位置に対応するXYZ座標系における3次元座標である。変状台帳生成部29は、変状データテーブル46に含まれる変状範囲の中心位置を演算し、かかる中心位置に対応するXYZ座標系における3次元座標をマッピングデータテーブル44に基づいて取得し、取得した3次元座標を変状画像台帳70に配置することができる。また、変状台帳生成部29は、変状データテーブル46に含まれる変状範囲に対応するXYZ座標系における3次元座標の範囲をマッピングデータテーブル44に基づいて取得し、取得した3次元座標の範囲を変状画像台帳70に配置することもできる。
なお、図24に示す変状画像台帳70には、各種の情報を記入するための空白の枠が設定される。また、変状台帳生成部29は、ユーザ操作に基づいて、変状画像台帳70のフォーマットを変更することもできる。これにより、画像生成装置1のユーザは所望のフォーマットに変状の画像を貼り付けた変状画像台帳70を得ることができる。
変状台帳生成部29は、各変状IDに対応する変状範囲の情報を変状データテーブル46から取得する。変状台帳生成部29は、画像処理部25の処理と同様の処理によって、各変状についての切り出し画像を出力画像として生成する。すなわち、変状台帳生成部29は、展開画像の画像状態、出力画像の画像状態、および変状IDに対応する変状範囲に基づいて、変状IDに対応する変状範囲の画像を展開画像から切り出す処理と、変状範囲の画像の回転処理および反転処理の少なくとも一つの処理とを行って、切り出し画像を変状毎に生成する。これにより、例えば、変状画像台帳70に設定される変状の画像を、点検員が実際の構造物を撮像して得られる撮像画像と同じ状態にすることができる。なお、出力画像の画像状態は、ユーザ操作によって設定することができる。
図3に示す変状展開図生成部40は、変状データ記憶部13に記憶される変状データテーブル46に基づいて、変状展開図を生成する。かかる変状展開図は、トンネルの展開図に変状の画像を配置した図である。
図25は、実施の形態1にかかる変状展開図生成部によって生成される変状展開図の一例を示す図である。図25に示す変状展開図80には、変状IDが「DF1」〜「DF4」である4つの変状の画像がトンネルの展開図に配置されている。
変状展開図生成部40は、変状データテーブル46から各変状の変状範囲を取得し、取得した変状範囲に該当する展開画像の領域をトンネルの展開画像から変状の画像として切り出す。変状展開図生成部40は、切り出した変状の画像をトンネルの展開図に配置し、また、トンネルの展開図に配置した変状の画像に対応する位置に変状IDなどの情報を配置することで、変状展開図80を生成する。変状展開図生成部40は、生成した変状展開図80の情報を画像出力部26へ出力し、画像出力部26から通信部30およびネットワークを介して外部の装置へ送信することができる。例えば、かかる外部の装置がプリンタである場合、変状展開図生成部40は、画像出力部26および通信部30を介して変状展開図80を外部の装置で印刷することができる。
変状展開図生成部40は、図25に示すように、切り出した変状の画像の外周に枠線を追加しており、これにより、変状展開図80において変状の位置を容易に把握することができる。なお、変状展開図生成部40は、枠線に用いる線種を図25に示すような破線としたり、実線にしたりすることができる。また、変状展開図生成部40は、枠線を太線にすることで変状の位置を強調することもできる。
なお、トンネルの展開図の情報は予め記憶部10に記憶されており、変状展開図生成部40は、記憶部10に記憶されるトンネルの展開図の情報に基づいて、変状展開図80を生成することができる。また、変状展開図生成部40は、展開画像のうち各変状の変状範囲の領域以外の領域を除去した画像をトンネルの展開図に配置することもできる。この場合も、変状展開図生成部40は、変状の画像に対応する位置に変状IDの情報を配置する。
つづいて、画像生成装置1の動作を、フローチャートを用いて説明する。図26は、実施の形態1にかかる画像生成装置の制御部の処理の一例を示すフローチャートである。
図26に示すように、画像生成装置1の制御部20は、3次元点群表示操作があるか否かを判定する(ステップS10)。3次元点群表示操作は、構造物の3次元点群の画像を表示部2に表示するためのユーザ操作である。制御部20は、3次元点群表示操作があると判定した場合(ステップS10:Yes)、記憶部10に記憶された3次元点群データに基づいて、構造物の3次元点群の画像を表示部2に表示する(ステップS11)。
制御部20は、表示部2に表示された構造物の3次元点群を構成する複数の3次元点の中からユーザ操作によって3次元点の選択があるか否かを判定する(ステップS12)。制御部20は、3次元点の選択がないと判定した場合(ステップS12:No)、ステップS12の処理を繰り返す。制御部20は、3次元点の選択があると判定した場合(ステップS12:Yes)、出力画像生成処理を行う(ステップS13)。かかるステップS13の処理は、図27に示す処理であり、後で詳述する。制御部20は、ステップS13の出力画像生成処理によって生成された出力画像を表示部2に表示する(ステップS14)。
制御部20は、ステップS14の処理が終了した場合、または3次元点群表示操作がないと判定した場合(ステップS10:No)、一覧表示操作があるか否かを判定する(ステップS15)。一覧表示操作は、上述した一覧画像50を表示部2に表示するためのユーザ操作である。制御部20は、一覧表示操作があると判定した場合(ステップS15:Yes)、3次元点群表示処理を行う(ステップS16)。かかるステップS16の処理は、図28に示す処理であり、後で詳述する。
制御部20は、ステップS16の処理が終了した場合、または一覧表示操作がないと判定した場合(ステップS15:No)、変状データ編集操作があるか否かを判定する(ステップS17)。変状データ編集操作は、変状データを編集するためのユーザ操作である。制御部20は、変状データ編集操作があると判定した場合(ステップS17:Yes)、変状データ編集処理を行う(ステップS18)。かかるステップS18の処理は、図29に示す処理であり、後で詳述する。
制御部20は、ステップS18の処理が終了した場合、または変状データ編集操作がないと判定した場合(ステップS17:No)、変状画像台帳生成操作があるか否かを判定する(ステップS19)。かかる変状画像台帳生成操作は、変状画像台帳70を生成するためのユーザ操作である。制御部20は、変状画像台帳生成操作があると判定した場合(ステップS19:Yes)、変状画像台帳生成処理を行う(ステップS20)。かかるステップS20の処理は、図30に示す処理であり、後で詳述する。
制御部20は、ステップS20の処理が終了した場合、または変状画像台帳生成操作がないと判定した場合(ステップS19:No)、変状展開図生成操作があるか否かを判定する(ステップS21)。かかる変状展開図生成操作は、変状展開図80を生成するためのユーザ操作である。制御部20は、変状展開図生成操作があると判定した場合(ステップS21:Yes)、変状展開図生成処理を行う(ステップS22)。かかるステップS22の処理は、図31に示す処理であり、後で詳述する。制御部20は、ステップS22の処理を終了した場合、または変状展開図生成操作がないと判定した場合(ステップS21:No)、図26に示す処理を終了する。
次に、図26に示すステップS13の出力画像生成処理を説明する。図27は、実施の形態1にかかる出力画像生成処理の一例を示すフローチャートである。
図27に示すように、制御部20は、ユーザ操作によって選択された3次元点に対応する展開画像上の座標を判定し(ステップS30)、視点位置のトンネルに対する位置関係を判定する(ステップS31)。次に、制御部20は、ステップS30の判定結果およびステップS31の判定結果に基づいて、切り出し範囲の処理方法を決定する(ステップS32)。切り出し範囲の処理方法は、切り出し範囲の画像の切り出し処理と、切り出し範囲の画像の回転処理および反転処理のうち少なくとも一つの処理を含む方法である。制御部20は、決定した処理方法に基づいて切り出し範囲の処理を行って切り出し画像を出力画像として生成し(ステップS33)、図27に示す処理を終了する。
次に、図26に示すステップS16の3次元点群表示処理を説明する。図28は、実施の形態1にかかる3次元点群表示処理の一例を示すフローチャートである。
図28に示すように、制御部20は、一覧画像50によって切り出し画像の一覧表示を行う(ステップS40)。制御部20は、ユーザ操作によって切り出し画像が選択されたか否かを判定する(ステップS41)。制御部20は、切り出し画像が選択されない場合(ステップS41:No)、ステップS41の処理を繰り返し行う。制御部20は、切り出し画像が選択された場合(ステップS41:Yes)、注視点を演算し(ステップS42)、視点位置を演算する(ステップS43)。制御部20は、3次元点群の向きを決定し(ステップS44)、決定した向きで3次元点群の画像を生成し、表示部2に表示する(ステップS45)。制御部20は、ステップS45の処理を終了すると、図28に示す処理を終了する。
次に、図26に示すステップS18の変状データ編集処理を説明する。図29は、実施の形態1にかかる変状データ編集処理の一例を示すフローチャートである。
図29に示すように、制御部20は、ユーザ操作により変状IDが入力されたか否かを判定する(ステップS50)。制御部20は、変状IDが入力されていないと判定した場合(ステップS50:No)、ステップS50の処理を繰り返す。制御部20は、変状IDが入力されたと判定した場合(ステップS50:Yes)、かかる変状IDに対応する変状範囲の情報を取得する(ステップS51)。また、制御部20は、視点位置のトンネルに対する位置関係を判定する(ステップS52)。
制御部20は、視点位置のトンネルに対する位置関係に基づいて、切り出し範囲の処理方法を決定する(ステップS53)。そして、制御部20は、決定した処理方法に基づいて切り出し範囲の処理を行って切り出し画像を出力画像として表示部2に表示する(ステップS54)。制御部20は、ステップS54の処理を終了すると、図29に示す処理を終了する。
次に、図26に示すステップS20の変状画像台帳生成処理を説明する。図30は、実施の形態1にかかる変状画像台帳生成処理の一例を示すフローチャートである。
図30に示すように、制御部20は、変状データテーブル46から1つの変状IDを選択し(ステップS60)、選択した変状IDに対応する変状範囲の情報を変状データテーブル46から取得する(ステップS61)。次に、制御部20は、展開画像の画像状態、出力画像の画像状態、および変状IDに対応する変状範囲に基づいて、切り出し範囲の処理方法を決定する(ステップS62)。そして、制御部20は、決定した処理方法に基づいて切り出し範囲の処理を行って切り出し画像を出力画像として生成する(ステップS63)。
制御部20は、変状データテーブル46から全ての変状IDを選択したか否かを判定する(ステップS64)。制御部20は、全ての変状IDを選択していないと判定した場合(ステップS64:No)、処理をステップS60へ移行する。制御部20は、全ての変状IDを選択したと判定した場合(ステップS64:Yes)、生成した各変状IDに対応する出力画像を含む変状画像台帳70を生成する(ステップS65)。制御部20は、生成した変状画像台帳70を出力し(ステップS66)、図30に示す処理を終了する。
次に、図26に示すステップS22の変状展開図生成処理を説明する。図31は、実施の形態1にかかる変状展開図生成処理の一例を示すフローチャートである。
図31に示すように、制御部20は、変状データテーブル46から各変状IDに対応する変状範囲の情報を取得し(ステップS70)、展開画像のうち各変状IDに対応する変状範囲の画像を変状の画像として切り出す(ステップS71)。制御部20は、切り出した各変状IDに対応する変状の画像を構造物の展開図に配置して変状展開図80を生成する(ステップS72)。そして、制御部20は、生成した変状展開図80を出力し(ステップS73)、図31に示す処理を終了する。
図32は、実施の形態1にかかる画像生成装置のハードウェア構成の一例を示す図である。図32に示すように、画像生成装置1は、プロセッサ101と、メモリ102と、入出力回路103と、通信装置104とを備えるコンピュータを含む。
プロセッサ101、メモリ102、入出力回路103、および通信装置104は、例えば、バス105によって互いにデータの送受信が可能である。通信部30は、通信装置104で実現される。記憶部10は、メモリ102によって実現される。プロセッサ101は、メモリ102に記憶されたプログラムを読み出して実行することによって、入力受付部21、表示処理部22、選択位置判定部23、視点位置判定部24、画像処理部25、画像出力部26、視点位置決定部27、変状データ編集部28、変状台帳生成部29、および変状展開図生成部40の機能を実行する。プロセッサ101は、例えば、処理回路の一例であり、CPU(Central Processing Unit)、DSP(Digital Signal Processer)、およびシステムLSI(Large Scale Integration)のうち一つ以上を含む。
メモリ102は、RAM(Random Access Memory)、ROM(Read Only Memory)、フラッシュメモリ、EPROM(Erasable Programmable Read Only Memory)、およびEEPROM(登録商標)(Electrically Erasable Programmable Read Only Memory)のうち一つ以上を含む。また、メモリ102は、コンピュータが読み取り可能なプログラムが記録された記録媒体を含む。かかる記録媒体は、不揮発性または揮発性の半導体メモリ、磁気ディスク、フレキシブルメモリ、光ディスク、コンパクトディスク、およびDVD(Digital Versatile Disc)のうち一つ以上を含む。なお、画像生成装置1は、ASIC(Application Specific Integrated Circuit)およびFPGA(Field Programmable Gate Array)などの集積回路を含んでいてもよい。
以上のように、実施の形態1にかかる画像生成装置1は、構造物データ記憶部11と、表示処理部22と、選択位置判定部23と、画像処理部25とを備える。構造物データ記憶部11は、構造物の3次元点群のデータを含む3次元点群データと、構造物の展開画像のデータと、3次元点群の座標と展開画像の座標との対応関係を示すマッピングデータとを記憶する。表示処理部22は、構造物データ記憶部11に記憶された3次元点群データに基づいて、3次元点群の画像を表示部2に表示する。選択位置判定部23は、構造物データ記憶部11に記憶された展開画像のデータおよびマッピングデータに基づいて、表示部2に表示された3次元点群のうち選択された3次元点の座標に対応する展開画像上の座標を判定する。画像処理部25は、選択位置判定部23によって判定された展開画像上の座標を含む範囲である切り出し範囲の画像を展開画像から切り出す切り出し処理を含む画像処理によって生成される切り出し画像を出力画像として生成する。画像処理部25が実行する画像処理は、選択位置判定部23によって判定された展開画像上の座標に基づく切り出し範囲の画像の回転処理および反転処理のうち少なくとも一つの処理を含む。これにより、構造物の展開画像から必要な画像を適切に得ることができる。
また、画像生成装置1は、視点位置が構造物の内部の位置か構造物の外部の位置かを判定する視点位置判定部24を備える。表示処理部22は、構造物データ記憶部11に記憶された3次元点群データに基づいて、3次元点群を指定された視点位置からみた場合の3次元点群の画像を表示部2に表示する。視点位置判定部24は、指定された視点位置の構造物に対する位置関係として指定された視点位置が構造物の内部の位置か構造物の外部の位置かを判定する。画像処理部25が実行する画像処理は、選択位置判定部23によって判定された展開画像上の座標と視点位置判定部24によって判定された位置関係とに基づく切り出し範囲の画像の回転処理および反転処理のうち少なくとも一つの処理を含む。これにより、構造物内からみた構造物の画像および構造物外からみた構造物の画像のうち指定された視点位置に応じた画像を得ることができる。
また、視点位置判定部24は、指定された視点位置を含み構造物の延伸方向である第1方向に直交する直交平面G1と予め設定された範囲内の3次元点群の複数の3次元点を直交平面G1に投影し、直交平面G1に投影された複数の3次元点に基づいて、指定された視点位置が構造物の内部の位置か構造物の外部の位置かを判定する。これにより、指定された視点位置が構造物の内部の位置か構造物の外部の位置かを3次元点群のデータを用いて判定することができる。
また、画像生成装置1は、切り出し画像データ記憶部12と、視点位置決定部27とを備える。切り出し画像データ記憶部12は、切り出し画像を示すデータを、展開画像における切り出し画像の座標範囲と、視点位置の構造物に対する位置関係とに関連付けて記憶する。視点位置決定部27は、切り出し画像が選択された場合に、かかる切り出し画像の座標範囲と、視点位置の構造物に対する位置関係とに基づいて、3次元点群に対する視点位置を決定する。表示処理部22は、視点位置決定部27によって決定された視点位置から3次元点群をみた場合の3次元点群の画像を表示部2に表示する。これにより、切り出し画像を生成したときの視点位置のデータがない場合であっても、表示部2に表示される3次元点群の向きを適切に決定することができる。
また、視点位置決定部27は、視点位置の構造物に対する位置関係に基づいて、切り出し画像の座標範囲における中心位置と構造物の内部の特定座標とを結ぶ直線上の座標を視点位置に決定する。特定座標は、例えば、トンネル軸ベクトル上の座標である。これにより、切り出し画像を生成したときの視点位置のデータがない場合であっても、視点位置を適切に決定することができる。
また、表示処理部22は、切り出し画像の座標範囲における中心位置と視点位置の構造物に対する位置関係とに基づいて、3次元点群の向きを決定し、決定した向きの3次元点群の画像を表示部2に表示する。これにより、表示部2に表示される3次元点群の向きを適切に決定することができる。
また、画像生成装置1は、変状データ記憶部13と、変状データ編集部28とを備える。変状データ記憶部13は、構造物の展開画像における構造物の変状の座標範囲である変状座標範囲の情報を含む変状データを記憶する。変状データ編集部28は、変状データをユーザ操作に基づいて編集する。変状データ編集部28は、ユーザ操作が変状座標範囲を変更する操作である場合、変更後の変状座標範囲の画像を展開画像から切り出す処理と変更後の変状座標範囲の画像の回転処理および反転処理の少なくとも一つの処理とにより得られる画像である切り出し画像を生成する。表示処理部22は、変状データ編集部28によって生成された切り出し画像を表示部2に表示する。これにより、例えば、点検員が実際の構造物を撮像して得られる撮像画像と同様の向きで変状の画像を表示することができ、変状データの変更を容易に行うことができる。
また、変状データ編集部28は、変状座標範囲が変更された後、変更後の変状座標範囲を確定するためのユーザ操作があった場合、変状データ記憶部13に記憶されている変状データに含まれる座標範囲を変更後の変状座標範囲に変更する。これにより、変状データの変更を容易に行うことができる。
また、画像生成装置1は、変状台帳生成部29を備える。変状台帳生成部29は、変状データに基づいて、変状座標範囲の画像を展開画像から切り出す処理と変状座標範囲の画像の回転処理および反転処理の少なくとも一つの処理とにより得られる画像である切り出し画像を構造物の変状画像として生成し、かかる変状画像を含む台帳情報を生成する変状台帳生成部29を備える。これにより、構造物の展開画像から適切な向きの変状画像を含む台帳情報を得ることができる。
また、画像生成装置1は、変状展開図生成部40を備える。変状展開図生成部40は、変状データに基づいて、展開画像から切り出した変状座標範囲の画像を構造物の展開図に配置することによって、変状展開図80を生成する。これにより、展開画像から得られる変状画像を構造物の展開図に配置した変状展開図80を生成することができる。
以上の実施の形態に示した構成は、本発明の内容の一例を示すものであり、別の公知の技術と組み合わせることも可能であるし、本発明の要旨を逸脱しない範囲で、構成の一部を省略、変更することも可能である。
1 画像生成装置、2 表示部、3 入力部、10 記憶部、11 構造物データ記憶部、12 切り出し画像データ記憶部、13 変状データ記憶部、20 制御部、21 入力受付部、22 表示処理部、23 選択位置判定部、24 視点位置判定部、25 画像処理部、26 画像出力部、27 視点位置決定部、28 変状データ編集部、29 変状台帳生成部、30 通信部、40 変状展開図生成部、41 3次元点群データテーブル、42 トンネル軸データテーブル、43 展開画像データテーブル、44 マッピングデータテーブル、45 切り出し画像データテーブル、46 変状データテーブル、50 一覧画像、60 変状データ編集画面、60A 変状データ編集画面、61 変状データ表示領域、62 変状ID入力枠、63,63a,63b,63c,63d 位置変更ボタン、64 広角ボタン、65 望遠ボタン、66 リセットボタン、67 確定ボタン、68 3次元点群表示領域、70 変状画像台帳、80 変状展開図。
上述した課題を解決し、目的を達成するために、本発明の画像生成装置は、記憶部と、制御部とを備える。記憶部は、構造物の展開画像のデータを記憶する。制御部は、画像処理対象になる展開画像上の座標範囲を判定し、判定した座標範囲に基づいて、展開画像における座標範囲の画像の回転処理および反転処理の少なくとも一つの画像処理を実行して生成される画像を少なくとも一部に含む出力画像を生成する。
上述した課題を解決し、目的を達成するために、本発明の画像生成装置は、記憶部と、制御部とを備える。記憶部は、構造物の展開画像のデータと、展開画像が構造物の内部と外部のいずれから見た画像であるかを示す情報である状態情報とを記憶する。制御部は、画像処理対象になる展開画像上の座標範囲を判定し、判定した座標範囲と記憶部に記憶された状態情報とに基づいて、展開画像における座標範囲の画像の回転処理および反転処理の少なくとも一つの画像処理を実行して生成される画像を少なくとも一部に含む出力画像を生成する。

Claims (12)

  1. 構造物の3次元点群のデータを含む3次元点群データと、前記構造物の展開画像のデータと、前記3次元点群の座標と前記展開画像の座標との対応関係を示すマッピングデータとを記憶する構造物データ記憶部と、
    前記構造物データ記憶部に記憶された前記3次元点群データに基づいて、前記3次元点群の画像を表示部に表示する表示処理部と、
    前記構造物データ記憶部に記憶された前記展開画像のデータおよび前記マッピングデータに基づいて、前記表示部に表示された前記3次元点群のうち選択された3次元点の座標に対応する前記展開画像上の座標を判定する選択位置判定部と、
    前記選択位置判定部によって判定された前記展開画像上の座標を含む範囲である切り出し範囲の画像を前記展開画像から切り出す切り出し処理を含む画像処理によって生成される切り出し画像を出力画像として生成する画像処理部と、を備え、
    前記画像処理部が実行する前記画像処理は、
    前記選択位置判定部によって判定された前記展開画像上の座標に基づく前記切り出し範囲の画像の回転処理および反転処理のうち少なくとも一つの処理を含む
    ことを特徴とする画像生成装置。
  2. 視点位置が前記構造物の内部の位置か前記構造物の外部の位置かを判定する視点位置判定部を備え、
    前記表示処理部は、
    前記構造物データ記憶部に記憶された前記3次元点群データに基づいて、前記3次元点群を指定された視点位置からみた場合の前記3次元点群の画像を前記表示部に表示し、
    前記視点位置判定部は、
    前記指定された視点位置の前記構造物に対する位置関係として前記指定された視点位置が前記構造物の内部の位置か前記構造物の外部の位置かを判定し、
    前記画像処理部が実行する前記画像処理は、
    前記選択位置判定部によって判定された前記展開画像上の座標と前記視点位置判定部によって判定された前記位置関係とに基づく前記切り出し範囲の画像の回転処理および反転処理のうち少なくとも一つの処理を含む
    ことを特徴とする請求項1に記載の画像生成装置。
  3. 前記構造物は、
    第1方向に延伸する構造物であり、
    前記視点位置判定部は、
    前記視点位置を含み前記第1方向に直交する平面と予め設定された範囲内の前記3次元点群の複数の3次元点を前記平面に投影し、前記平面に投影された前記複数の3次元点に基づいて、前記視点位置が前記構造物の内部の位置か前記構造物の外部の位置かを判定する
    ことを特徴とする請求項2に記載の画像生成装置。
  4. 前記切り出し画像を示すデータを、前記展開画像における前記切り出し画像の座標範囲と前記位置関係とに関連付けて記憶する切り出し画像データ記憶部と、
    前記切り出し画像が選択された場合に、前記切り出し画像の座標範囲と前記位置関係とに基づいて、前記3次元点群に対する視点位置を決定する視点位置決定部と、を備え、
    前記表示処理部は、
    前記視点位置決定部によって決定された視点位置から前記3次元点群をみた場合の前記3次元点群の画像を前記表示部に表示する
    ことを特徴とする請求項2または3に記載の画像生成装置。
  5. 前記視点位置決定部は、
    前記位置関係に基づいて、前記切り出し画像の座標範囲における中心位置と前記構造物の内部の特定座標とを結ぶ直線上の座標を視点位置に決定する
    ことを特徴とする請求項4に記載の画像生成装置。
  6. 前記表示処理部は、
    前記切り出し画像の座標範囲における中心位置と前記位置関係とに基づいて、前記3次元点群の向きを決定し、決定した向きの3次元点群の画像を前記表示部に表示する
    ことを特徴とする請求項4または5に記載の画像生成装置。
  7. 前記展開画像における前記構造物の変状の座標範囲である変状座標範囲の情報を含む変状データを記憶する変状データ記憶部と、
    前記変状データをユーザ操作に基づいて編集する変状データ編集部と、を備え、
    前記変状データ編集部は、
    前記ユーザ操作が前記変状座標範囲を変更する操作である場合、変更後の前記変状座標範囲の画像を前記展開画像から切り出す処理と変更後の前記変状座標範囲の画像の回転処理および反転処理の少なくとも一つの処理とにより得られる画像である切り出し画像を生成し、
    前記表示処理部は、
    前記変状データ編集部によって生成された切り出し画像を前記表示部に表示する
    ことを特徴とする請求項2から6のいずれか一つに記載の画像生成装置。
  8. 前記変状データ編集部は、
    前記変状座標範囲が変更された後、変更後の前記変状座標範囲を確定するためのユーザ操作があった場合、前記変状データ記憶部に記憶されている前記変状データに含まれる座標範囲を前記変更後の変状座標範囲に変更する
    ことを特徴とする請求項7に記載の画像生成装置。
  9. 前記変状データに基づいて、前記変状座標範囲の画像を前記展開画像から切り出す処理と前記変状座標範囲の画像の回転処理および反転処理の少なくとも一つの処理とにより得られる画像である切り出し画像を前記構造物の変状画像として生成し、前記変状画像を含む台帳情報を生成する変状台帳生成部を備える
    ことを特徴とする請求項7または8に記載の画像生成装置。
  10. 前記変状データに基づいて、前記展開画像から切り出した前記変状座標範囲の画像を前記構造物の展開図に配置することによって、変状展開図を生成する変状展開図生成部を備える
    ことを特徴とする請求項7から9のいずれか一つに記載の画像生成装置。
  11. コンピュータが実行する画像生成方法であって、
    構造物の3次元点群のデータを含む3次元点群データと、前記構造物の展開画像のデータと、前記3次元点群の座標と前記展開画像の座標との対応関係を示すマッピングデータとを記憶する記憶部に記憶された前記3次元点群データに基づいて、前記3次元点群の画像を表示部に表示する表示処理ステップと、
    前記記憶部に記憶された前記展開画像のデータおよび前記マッピングデータに基づいて、前記表示部に表示された前記3次元点群のうち選択された3次元点の座標に対応する前記展開画像上の座標を判定する選択位置判定ステップと、
    前記選択位置判定ステップによって判定された前記展開画像上の座標を含む範囲である切り出し範囲の画像を前記展開画像から切り出す切り出し処理を含む画像処理によって生成される切り出し画像を出力画像として生成する画像処理ステップと、を含み、
    前記画像処理ステップの前記画像処理は、
    前記選択位置判定ステップによって判定された前記展開画像上の座標に基づく前記切り出し範囲の画像の回転処理および反転処理のうち少なくとも一つの処理を含む
    ことを特徴とする画像生成方法。
  12. 構造物の3次元点群のデータを含む3次元点群データと、前記構造物の展開画像のデータと、前記3次元点群の座標と前記展開画像の座標との対応関係を示すマッピングデータとを記憶する記憶部に記憶された前記3次元点群データに基づいて、前記3次元点群の画像を表示部に表示する表示処理ステップと、
    前記記憶部に記憶された前記展開画像のデータおよび前記マッピングデータに基づいて、前記表示部に表示された前記3次元点群のうち選択された3次元点の座標に対応する前記展開画像上の座標を判定する選択位置判定ステップと、
    前記選択位置判定ステップによって判定された前記展開画像上の座標を含む範囲である切り出し範囲の画像を前記展開画像から切り出す切り出し処理を含む画像処理によって生成される切り出し画像を出力画像として生成する画像処理ステップと、をコンピュータに実行させ、
    前記画像処理ステップの前記画像処理は、
    前記選択位置判定ステップによって判定された前記展開画像上の座標に基づく前記切り出し範囲の画像の回転処理および反転処理のうち少なくとも一つの処理を含む
    ことを特徴とする画像生成プログラム。
JP2019160386A 2019-09-03 2019-09-03 画像生成装置、画像生成方法、および画像生成プログラム Active JP6732082B1 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2019160386A JP6732082B1 (ja) 2019-09-03 2019-09-03 画像生成装置、画像生成方法、および画像生成プログラム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2019160386A JP6732082B1 (ja) 2019-09-03 2019-09-03 画像生成装置、画像生成方法、および画像生成プログラム

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
JP2019535417A Division JP6584735B1 (ja) 2019-03-25 2019-03-25 画像生成装置、画像生成方法、および画像生成プログラム

Publications (2)

Publication Number Publication Date
JP6732082B1 JP6732082B1 (ja) 2020-07-29
JP2020161107A true JP2020161107A (ja) 2020-10-01

Family

ID=71738500

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2019160386A Active JP6732082B1 (ja) 2019-09-03 2019-09-03 画像生成装置、画像生成方法、および画像生成プログラム

Country Status (1)

Country Link
JP (1) JP6732082B1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2022080748A (ja) * 2020-11-18 2022-05-30 三菱電機株式会社 構造物情報提供システム、構造物情報提供方法、および構造物情報提供装置

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002288180A (ja) * 2001-03-23 2002-10-04 West Japan Railway Co トンネルデータベースシステム
JP2012220471A (ja) * 2011-04-14 2012-11-12 Mitsubishi Electric Corp 展開図生成装置、展開図生成方法及び展開図表示方法
JP2016031248A (ja) * 2014-07-25 2016-03-07 西日本高速道路エンジニアリング四国株式会社 トンネル覆工面調査システムおよびトンネル覆工面調査システムに用いる車両
WO2017221706A1 (ja) * 2016-06-24 2017-12-28 富士フイルム株式会社 損傷図編集装置及び損傷図編集方法
JP2018096899A (ja) * 2016-12-15 2018-06-21 西日本高速道路エンジニアリング四国株式会社 トンネル覆工画像作成システム、および、トンネル覆工画像作成方法
JP2019164778A (ja) * 2018-03-14 2019-09-26 株式会社リコー 診断管理サーバ、診断システム、診断管理方法、及びプログラム

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002288180A (ja) * 2001-03-23 2002-10-04 West Japan Railway Co トンネルデータベースシステム
JP2012220471A (ja) * 2011-04-14 2012-11-12 Mitsubishi Electric Corp 展開図生成装置、展開図生成方法及び展開図表示方法
JP2016031248A (ja) * 2014-07-25 2016-03-07 西日本高速道路エンジニアリング四国株式会社 トンネル覆工面調査システムおよびトンネル覆工面調査システムに用いる車両
WO2017221706A1 (ja) * 2016-06-24 2017-12-28 富士フイルム株式会社 損傷図編集装置及び損傷図編集方法
JP2018096899A (ja) * 2016-12-15 2018-06-21 西日本高速道路エンジニアリング四国株式会社 トンネル覆工画像作成システム、および、トンネル覆工画像作成方法
JP2019164778A (ja) * 2018-03-14 2019-09-26 株式会社リコー 診断管理サーバ、診断システム、診断管理方法、及びプログラム

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
笹間 宏、外3名: ""連続走査画像による鉄道設備検査システム"", 電気学会論文誌C, vol. 117, no. 10, JPN6020007286, 20 September 1997 (1997-09-20), JP, pages 1345 - 1354, ISSN: 0004279955 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2022080748A (ja) * 2020-11-18 2022-05-30 三菱電機株式会社 構造物情報提供システム、構造物情報提供方法、および構造物情報提供装置
JP7399065B2 (ja) 2020-11-18 2023-12-15 三菱電機株式会社 構造物情報提供システム、構造物情報提供方法、および構造物情報提供装置

Also Published As

Publication number Publication date
JP6732082B1 (ja) 2020-07-29

Similar Documents

Publication Publication Date Title
JP4262014B2 (ja) 画像撮影装置および画像処理方法
KR102183050B1 (ko) 구면 파노라마 영상에 매핑을 수행하는 방법 및 장치
WO2020194470A1 (ja) 画像生成装置、画像生成方法、および画像生成プログラム
JP6921686B2 (ja) 生成装置、生成方法、及びプログラム
JP2018113683A (ja) 画像処理装置、画像処理方法及びプログラム
JP2019145059A (ja) 情報処理装置、情報処理システム、情報処理方法及びプログラム
JP6544996B2 (ja) 制御装置及び制御方法
JP6110780B2 (ja) 付加情報表示システム
JP6732082B1 (ja) 画像生成装置、画像生成方法、および画像生成プログラム
JPH11112790A (ja) 画像合成装置および方法
JPH10126665A (ja) 画像合成装置
JP4346742B2 (ja) 画像合成方法、画像合成装置及び記憶媒体
JPH11164325A (ja) パノラマ画像生成方法及びそのプログラムを記録した記録媒体
JP7334460B2 (ja) 作業支援装置及び作業支援方法
KR101082545B1 (ko) 영상 변환 기능을 구비한 이동통신 단말기
KR20210043897A (ko) 360도 영상 간 연결 방법
JP4688639B2 (ja) 照合装置、照合方法および照合プログラム
JP4262013B2 (ja) 画像処理方法および画像生成装置
JP3241243B2 (ja) パノラマ画像合成システム及びパノラマ画像合成方法
JP5664859B2 (ja) 画像変換装置、画像生成システム、画像変換方法及び画像生成方法
JPH11331696A (ja) 画像処理方法、装置および記録媒体
JP2005050034A (ja) 画像処理方法および装置
WO2020090420A1 (ja) 情報処理装置、その制御方法、プログラム、及び記憶媒体
JP3216037B2 (ja) パノラマ画像合成システム
WO2021176877A1 (ja) 画像処理装置、画像処理方法、及び画像処理プログラム

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20191028

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20191028

A871 Explanation of circumstances concerning accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A871

Effective date: 20191028

A975 Report on accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A971005

Effective date: 20200220

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20200220

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20200303

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20200428

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20200609

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20200707

R150 Certificate of patent or registration of utility model

Ref document number: 6732082

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250