JP2019053359A - データ処理装置 - Google Patents

Abstract

【課題】構造物の管理者が、構造物を構成する複数の部位の各々に関する経時変化する属性を容易に知ることを可能とする。【解決手段】データ処理システムは、予め、管理対象の構造物を構成する複数の部位の各々に関し、当該部位の三次元形状を表す形状データと、当該部位の属性を表す属性データを、過去の複数の時期の各々に関し記憶している。作業者がデータ処理システムのカメラで構造物を撮像すると、データ処理システムはカメラにより撮像した構造物の画像から特徴点群を抽出する。続いて、データ処理システムは、抽出した特徴点群の配置パターンと類似する配置パターンの特徴点群を含む三次元形状を表す形状データを、記憶している形状データの中から検索する。データ処理システムは、検索した形状データが表す三次元形状の画像と、当該形状データに対応付けて記憶している属性データが表す属性の画像とを、構造物を撮像した画像に重畳して表示する。【選択図】図８

Description

本発明は、構造物の管理者に対し当該構造物を管理するための情報を提供する技術に関する。

構造物の管理者にとって、管理対象の構造物の使用開始日や使用期限等の情報（以下、「管理情報」という）は、点検の要否、部品の交換の要否等の判断を行う上で助けとなる。従って、管理者による構造物の管理作業を容易にするために、管理情報を管理者に対し提供する技術が提案されている。

例えば、特許文献１には、保守管理対象の機器をカメラで撮影した実画像に、当該機器のＣＡＤデータの表示画像と、当該機器に収容されている内容物のＣＡＤデータの表示画像と、当該内容物の保守管理データの表示画像とを重畳して表示する設備保守管理システムが記載されている。特許文献１に記載の設備保守管理システムによれば、管理者が保守管理対象の機器をカメラで撮像すれば、管理者に対し機器に収容されている内容物の保守管理データの内容が表示される。

特開２０１３−１４９０４２号公報

構造物の管理情報に含まれる属性のあるものは、その経時変化が重要な意味を持つ。例えば、強度の経年低下の速度が構造物の部位によって異なる場合、構造物を構成する複数の部位の各々に関し、過去の複数時期の各々における強度（属性の一例）を知ることができれば、管理者は各部位の補修の要否等を正しく判断できる。しかしながら、複数の部位の各々に関し、過去の複数時期の各々における属性が利用可能な場合、それらの情報量が膨大となるため、管理者が必要とする部位に関する属性を探し出すことは容易ではない。

上記の事情に鑑み、本発明は、構造物の管理者が、構造物を構成する複数の部位の各々に関する経時変化する属性を容易に知ることを可能とする技術を提供する。

上記の目的を達成するため、本発明は、撮像装置から構造物の少なくとも一部を撮像した画像を表すデータを取得し、前記構造物を構成する複数の部位の各々に関し、当該部位の三次元形状を表すデータと、過去の複数時期の各々における当該部位の属性を表すデータとを対応付けて記憶する記憶装置から、前記画像に含まれる特徴点群の位置関係との間で所定の関係を満たす位置関係の特徴点群を有する三次元形状を表すデータと、当該データと対応付けて記憶されている属性を表すデータとを取得する取得手段と、前記画像に対し、前記画像に含まれる特徴点群と前記取得手段が取得したデータが表す三次元形状の特徴点群とが一致するように位置決めされた当該三次元形状の画像と、前記取得手段が取得したデータが表す属性の画像とを重畳した重畳画像を表すデータを生成する生成手段と、前記重畳画像を表すデータを表示装置に出力する出力手段とを備えるデータ処理装置を第１の態様として提案する。

上記の第１の態様に係るデータ処理装置によれば、管理者が撮像装置により管理対象の構造物を撮像し、例えば撮像した画像において属性を知りたい構造物の部位を指定すると、当該部位に関する経時変化する属性が、当該部位を示す三次元形状とともに、撮像された画像に重畳されて表示される。その結果、構造物の管理者は、構造物を構成する複数の部位の各々に関する経時変化する属性を容易に知ることができる。

また、上記の第１の態様に係るデータ処理装置において、前記取得手段は、前記複数の部位のうちのいずれかの部位を指定するデータを取得し、前記生成手段は、前記記憶装置が記憶する複数の属性を表すデータのうち前記取得手段が取得したデータが指定する部位に応じたデータが表す複数の時期の属性の画像を重畳した重畳画像を表すデータを生成する、という構成が本発明の第２の態様として採用されてもよい。

上記の第２の態様に係るデータ処理装置によれば、管理者は、構造物を構成する複数の部位のうち特定の部位の属性の経時変化を容易に知ることができる。

また、上記の第１の態様に係るデータ処理装置において、前記取得手段は、前記過去の複数時期のうちのいずれかの時期を表すデータを取得し、前記生成手段は、前記記憶装置が記憶する複数の属性を表すデータのうち前記取得手段が取得したデータが表す時期に応じたデータが表す複数の属性の画像を重畳した重畳画像を表すデータを生成する、という構成が本発明の第３の態様として採用されてもよい。

上記の第３の態様に係るデータ処理装置によれば、管理者は、特定の時期における、構造物を構成する複数の部位の各々の属性を一覧することができる。

また、上記の第２又は第３の態様に係るデータ処理装置において、前記記憶装置は、前記複数の部位の各々に関し過去の複数時期の各々における三次元形状を表すデータを記憶し、前記生成手段は、前記記憶装置が記憶する複数の形状を表すデータのうち前記取得手段が取得したデータが表す時期に応じたデータが表す三次元形状の画像を重畳した重畳画像を表すデータを生成する、という構成が本発明の第４の態様として採用されてもよい。

上記の第４の態様に係るデータ処理装置によれば、管理者は、構造物の形状の経時変化を容易に知ることができる。

また、本発明は、コンピュータに、撮像装置から、構造物を撮像した画像を表すデータを取得する処理と、前記構造物を構成する複数の部位の各々に関し、当該部位の三次元形状を表すデータと、過去の複数時期の各々における当該部位の属性を表すデータとを対応付けて記憶する記憶装置から、前記画像に含まれる特徴点群の位置関係との間で所定の関係を満たす位置関係の特徴点群を有する三次元形状を表すデータと、当該データと対応付けて記憶されている属性を表すデータとを取得する処理と、前記画像に対し、前記画像に含まれる特徴点群と前記記憶装置から取得したデータが表す三次元形状の特徴点群とが一致するように位置決めされた当該三次元形状の画像と、前記記憶手段から取得したデータが表す属性の画像とを重畳した重畳画像を表すデータを生成する処理と、前記重畳画像を表すデータを表示装置に出力する処理とを実行させるためのプログラムを第５の態様として提案する。

上記の第５の態様に係るプログラムによれば、コンピュータによって、上記の第１の態様に係るデータ処理装置が実現される。

また、本発明は、記憶装置と、撮像装置と、データ処理装置と、表示装置とを備え、
前記記憶装置は、構造物を構成する複数の部位の各々に関し、当該部位の三次元形状を表すデータと、過去の複数時期の各々における当該部位の属性を表すデータとを対応付けて記憶し、前記データ処理装置は、前記撮像装置から、前記構造物の少なくとも一部を撮像した画像を表すデータを取得し、前記記憶装置から、前記画像に含まれる特徴点群の位置関係との間で所定の関係を満たす位置関係の特徴点群を有する三次元形状を表すデータと、当該データと対応付けて記憶されている属性を表すデータとを取得する取得手段と、前記画像に対し、前記画像に含まれる特徴点群と前記取得手段が取得したデータが表す三次元形状の特徴点群とが一致するように位置決めされた当該三次元形状の画像と、前記取得手段が取得したデータが表す属性の画像とを重畳した重畳画像を表すデータを生成する生成手段と、前記重畳画像を表すデータを前記表示装置に出力する出力手段とを備えるデータ処理システムを第６の態様として提案する。

上記の第６の態様に係るデータ処理システムによれば、管理者が撮像装置により管理対象の構造物を撮像し、例えば撮像した画像において属性を知りたい構造物の部位を指定すると、当該部位に関する経時変化する属性が、当該部位を示す三次元形状とともに、撮像された画像に重畳されて表示される。その結果、構造物の管理者は、構造物を構成する複数の部位の各々に関する経時変化する属性を容易に知ることができる。

本発明によれば、構造物の管理者は、構造物を構成する複数の部位の各々に関する経時変化する属性を容易に知ることができる。

一実施形態に係るデータ処理システムが使用される状況を例示した図。 管理対象の構造物を構成する複数の部位を示した図。 一実施形態に係るデータ処理システムのハードウェア構成を示した図。 一実施形態に係るデータ処理装置の構成を示した図。 一実施形態に係る管理データベースのデータ構造を例示した図。 一実施形態に係るデータ処理装置が行う処理の流れを示した図。 一実施形態に係る抽出手段により構造物の画像から抽出された特徴点群を示した図。 一実施形態に係るデータ処理システムにより表示される画面を例示した図。 一実施形態に係るデータ処理システムにより表示される画面を例示した図。 一実施形態に係るデータ処理システムにより表示される画面を例示した図。 マーカが付された管理対象の構造物を例示した図。 構造物に付されるマーカの役割を説明するための図。

［実施形態］
以下に本発明の一実施形態に係るデータ処理システム１を説明する。データ処理システム１は、構造物の管理者が管理対象の構造物を撮像し、当該構造物を構成する複数の部位のうち、属性を知りたい部位を選択する操作を行うと、その操作に応じて選択された部位の属性を表示するシステムである。

図１はデータ処理システム１が使用される状況を例示した図である。図１の例では、管理対象の構造物９の属性をデータ処理システム１が表示する状況が示されている。図１に例示の構造物９は桟橋の一部である。

図２は、構造物９を構成する複数の部位を示した図である。構造物９は、鋼管杭９０１〜９０４と、鋼管杭９０１〜９０４の各々の頭部に被せられた状態で固定されたブロック９１１〜９１４と、ブロック９１１〜９１４のうち互いに隣り合う２つの間に配置されたブロック９２１〜９２４と、ブロック９１１〜９１４及びブロック９２１〜９２４の上に配置された上部工９３１で構成される。

本実施形態において、データ処理システム１を実現するために用いられるハードウェアは、タッチディスプレイと、タッチディスプレイの表示面を表面とした場合の背面に配置されたカメラとを備えるタブレット型のコンピュータである。図３はデータ処理システム１のハードウェア構成を示した図である。

データ処理システム１は、コンピュータ１０、ディスプレイ１２、タッチパネル１３、カメラ１４、ＳＳＤ（Solid State Drive）１５を備える。ディスプレイ１２は表示装置であり、タッチパネル１３はユーザのタッチ操作を受け付ける操作装置である。ディスプレイ１２とタッチパネル１３は積層配置され、タッチディスプレイを構成する。カメラ１４は撮像装置であり、ＳＳＤ１５は記憶装置の一例である。データ処理システム１が、ＳＳＤ１５に代えて、ＨＤＤ（Hard Disk Drive）等の他の方式の記憶装置を備えてもよい。

コンピュータ１０は、プログラムや各種データを記憶するメモリ１０１と、メモリ１０１に記憶されているプログラムに従い各種データ処理を行うプロセッサ１０２と、外部の装置との間でデータの入出力を行う入出力インタフェース１０３を備える。ディスプレイ１２、タッチパネル１３、カメラ１４及びＳＳＤ１５は入出力インタフェース１０３に接続されている。

コンピュータ１０は、本実施形態に係るプログラムに従う処理を行うことにより、カメラ１４により撮像された構造物９の画像に、構造物９の三次元形状及びユーザに指定された部位の属性を示す画像を重畳した画像（以下、「重畳画像」という）をディスプレイ１２に表示させるデータ処理装置１１として機能する。図４はデータ処理装置１１の構成を示した図である。すなわち、コンピュータ１０は本実施形態に係るプログラムに従う処理を行うことにより、図４に示す構成を備えるデータ処理装置１１を実現する。

データ処理装置１１は、外部の装置から各種データを取得する取得手段１１１と、取得手段１１１が取得したデータを用いて重畳画像を表すデータ（以下、「重畳画像データ」という）を生成する生成手段１１２と、生成手段１１２が生成した重畳画像データをディスプレイ１２に出力する出力手段１１３を備える。

取得手段１１１は、カメラ１４からカメラ１４が撮像した画像を表すデータ（以下、「画像データ」という）を取得する。また、取得手段１１１は、ＳＳＤ１５から構造物９の管理情報を示すデータ（以下、「管理データ」という）を取得する。ＳＳＤ１５は、管理データを管理するためのデータベースである管理データベースを記憶している。図５は、管理データベースのデータ構造を例示した図である。

管理データベースは複数の構造物の各々に応じたテーブル（以下、「管理テーブル」という）を含んでいる。管理テーブルの各々には、対応する構造物の識別番号、名称及び位置を示すデータが対応付けられている。

また、管理テーブルの各々は、構造物を構成する複数の部位の各々に応じたデータレコードを含んでいる。管理テーブルに含まれるデータレコードは、部位の番号を表すデータを格納するデータフィールド［番号］、部位の名称を表すデータを格納するデータフィールド［名称］、過去の複数の時期を示すデータ（以下、「時期データ」という）を格納するデータフィールド［時期］、部位の時期データが表す複数の時期の各々に応じた三次元形状を表すデータ（以下、「形状データ」という）を格納するデータフィールド［形状］、部位の時期データが表す複数の時期の各々に応じた属性１〜ｎ（ただし、ｎは任意の自然数）を表すデータ（以下、「属性データ」という）を格納するデータフィールド［属性１］〜［属性ｎ］を有する。

データフィールド［形状］に格納される形状データが表す三次元形状は、部位の位置及び姿勢を含む形状を意味する。従って、過去の複数の時期の各々に応じた形状データが表す三次元形状は、部位の変形に加え、部位の位置や姿勢の変化も表す。

データフィールド［属性１］〜［属性ｎ］に格納される属性データが表す属性の種類は、部位の種類に応じて様々に異なる。属性データが表す属性としては、材質、サイズ（直径、長さ等）、強度、点検の結果（腐食の程度等）、補修の内容、撮像した画像、設計図等の図面、部品等の交換の有無等が例として挙げられるが、これらに限られない。

なお、データフィールド［形状］及びデータフィールド［属性１］〜［属性ｎ］は、時期データが表す複数の時期の各々に応じたデータを格納可能であるが、入手可能なデータが格納されていればよく、全ての時期に応じたデータが格納される必要はない。

図４を参照し、データ処理装置１１の構成の説明を続ける。取得手段１１１は、タッチパネル１３からユーザの操作を示すデータ（以下、「操作データ」という）を取得する。取得手段１１１は、タッチパネル１３から取得した操作データが表すユーザの操作を解釈し、複数の時期の中からユーザが選択した時期を表す時期データ、構造物を構成する複数の部位の中からユーザが選択した部位を指定するデータ（以下、「部位指定データ」という）、構造物の複数の属性の中からユーザが指定した属性を指定するデータ（以下、「属性指定データ」という）等を生成する。

生成手段１１２は、画像データが表す画像から特徴点を抽出する抽出手段１１２１と、抽出手段１１２１により抽出された複数の特徴点（以下、「特徴点群」という）と類似の配置パターンの特徴点群を含む三次元形状を表す形状データを管理データベースから検索する検索手段１１２２と、検索手段１１２２が検索した形状データが表す部位の三次元形状の特徴点群と画像データが表す当該部位の特徴点群が一致するように三次元形状を変形する変形手段１１２３と、変形手段１１２３が変形した三次元形状の画像と検索手段１１２２が検索した形状データに対応する属性データが表す属性の画像とを構造物の画像に重畳する重畳手段１１２４を備える。

なお、本願において三次元形状に含まれる特徴点群の配置パターンが構造物の画像に含まれる特徴点群の配置パターンと類似している、とは、三次元形状に含まれる特徴点群の位置関係と構造物の画像に含まれる特徴点群の位置関係が所定の関係を満たすことを意味する。当該所定の関係の例としては、三次元形状をいずれかの視点から見た場合の当該三次元形状に含まれる特徴点群の位置関係と、構造物の画像に含まれる特徴点群の位置関係との類似度が所定の閾値以下である関係が挙げられるが、これに限られない。また、当該類似度との例としては、同一平面上に２つの特徴点群を配置し、それらの特徴点群の各々から互いに距離が近い特徴点を対応付けて特徴点のペアとした場合の各ペアに含まれる２つの特徴点の距離の平均値が挙げられるが、これに限られない。

図６は、データ処理装置１１が行う処理の流れを示した図である。データ処理装置１１は、例えば起動時に、管理テーブルを管理データベース（図５参照）から読み出す（ステップＳ０１）。すなわち、取得手段１１１は管理テーブルをＳＳＤ１５から取得する。

その後、ユーザがデータ処理システム１に対し撮像開始を指示する操作を行うと、データ処理装置１１はカメラ１４から画像データを取得する（ステップＳ０２）。すなわち、カメラ１４により撮像された画像を表す画像データがカメラ１４から取得手段１１１に引き渡される。

データ処理装置１１は、カメラ１４から画像データを取得すると、取得した画像データが表す画像に含まれる特徴点群を抽出する（ステップＳ０３）。この特徴点群の抽出は、抽出手段１１２１により行われる。図７は、構造物９の画像から抽出手段１１２１により抽出された特徴点群を示した図である。図７に示されるように、構造物９の画像に含まれる線の端点や交点等が特徴点として抽出される。

図６を参照し、データ処理装置１１が行う処理の流れの説明を続ける。続いて、データ処理装置１１は、ステップＳ０３において抽出した特徴点群と類似の配置パターンの特徴点群を含む三次元形状を表す形状データを、ステップＳ０１において読み出した管理テーブルから検索する（ステップＳ０４）。この形状データの検索は、検索手段１１２２により行われる。この場合、検索手段１１２２は、構造物９に対応する管理テーブルに含まれる複数の形状データが表す構造物９の三次元形状の特徴点群（線の端点や交点等）の配置パターンと、ステップＳ０３において抽出手段１１２１により抽出された特徴点群の配置パターンが類似すると判定し、構造物９に対応する管理テーブルに含まれる複数の形状データを検索結果として得る。

続いて、データ処理装置１１は、ステップＳ０４において検索した形状データが表す三次元形状を、その特徴点群が、画像データが表す画像から抽出された特徴点群と一致するように変形する（ステップＳ０５）。この三次元形状の変形は、変形手段１１２３により行われる。変形手段１１２３が行う三次元形状の変形は、三次元形状の特徴点群が画像の特徴点群と一致するように、形状データが表す三次元形状の座標軸の傾き及び座標のスケールを変更する処理である。

続いて、データ処理装置１１は、表示対象の部位、時期及び属性を選択する（ステップＳ０６）。データ処理装置１１の起動時のように、ユーザからの部位、時期及び属性の指定がない場合には、初期値として、例えば、番号が最も小さい部位、設計時、全ての属性が選択される。この表示対象の部位、時期及び属性を選択する処理は、重畳手段１１２４により行われる。

続いて、データ処理装置１１は、ステップＳ０６において選択した時期の、ステップＳ０６において選択した部位の三次元形状の画像及びステップＳ０６において選択した属性の画像を、画像データが表す画像に重畳する（ステップＳ０７）。この重畳の処理は、重畳手段１１２４により行われる。重畳手段１１２４は重畳画像を表す重畳画像データを生成する。

続いて、データ処理装置１１は、ステップＳ０７において生成した重畳画像データをディスプレイ１２に出力する（ステップＳ０８）。この重畳画像データの出力は、出力手段１１３により行われる。以上が、データ処理装置１１の処理の流れである。

図８は、ユーザがデータ処理システム１のカメラ１４により構造物９を撮像した場合に、ディスプレイ１２に表示される画面（以下、「管理情報表示画面」という）を例示した図である。管理情報表示画面の領域Ａ０１には、撮像されている構造物の名称が表示される。管理情報表示画面の領域Ａ０２には、構造物を構成する部位の名称がリスト表示され、現在選択されている部位が他と異なる態様（図８の例では太枠）で表示されている。

管理情報表示画面の領域Ａ０３には、過去の複数の時期がリスト表示され、現在選択されている時期が他と異なる態様（図８の例では太枠）で表示されている。管理情報表示画面の領域Ａ０４には、複数の属性がリスト表示され、現在選択されている属性が他と異なる態様（図８の例では太枠）で表示されている。

管理情報表示画面の領域Ａ０５には、画像データが表す画像、すなわち、カメラ１４により撮像された画像が表示されている。領域Ａ０５の画像には、現在選択されている部位の三次元形状の画像Ｇ０１と、現在選択されている時期及び部位の、現在選択されている属性の画像Ｇ０２が重畳されている。

ユーザは、領域Ａ０２に表示されているリストに含まれる部位のいずれかをタッチすることにより、属性を表示する部位を変更することができる。また、ユーザは、領域Ａ０３に表示されているリストに含まれる時期のいずれかをタッチすることにより、表示する属性の時期を変更することができる。また、ユーザは、領域Ａ０４のリストに表示されている属性のいずれかをタッチすることにより、表示する属性を変更することができる。

ユーザにより、領域Ａ０２〜Ａ０４のリストに対する操作が行われ、表示対象の部位、時期、属性のいずれかが変更されると、取得手段１１１はタッチパネル１３から取得した操作データに基づき、ユーザが選択した時期を表す時期データ、ユーザが選択した部位を指定する部位指定データ又はユーザが選択した属性を指定する属性指定データを生成し、生成したそれらのデータが表す時期、部位及び属性を表示対象の時期、部位及び属性として選択する（図６、ステップＳ０６）。その後、データ処理装置１１は図６のステップＳ０７及びＳ０８の処理を行う。その結果、ディスプレイ１２に表示される管理情報表示画面の内容が更新される。

図９は、ユーザが、領域Ａ０２のリストから「第１鋼管杭」を選択し、領域Ａ０３のリストから「全時期」を選択し、領域Ａ０４のリストから「属性４（腐食度）」を選択した場合に、ディスプレイ１２に表示される管理情報表示画面を例示した図である。図９に例示の管理情報表示画面には、ユーザにより選択された第１鋼管杭の腐食度の経時変化が表示される。

図１０は、ユーザが、領域Ａ０２のリストから「全部位」を選択し、領域Ａ０３のリストから「第１回点検時（２０１５年７月１５日）」を選択し、領域Ａ０４のリストから「属性４（腐食度）」を選択した場合に、ディスプレイ１２に表示される管理情報表示画面を例示した図である。図１０に例示の管理情報表示画面には、ユーザにより選択された第１回点検時における構造物９の複数の部位の各々の腐食度が一覧表示される。この管理情報表示画面において、ユーザが画像Ｇ０２のリストからいずれかの部位を選択すると、領域Ａ０５に表示される画像が、ユーザにより選択された部位の三次元形状の画像の重畳された画像で更新される。

なお、図１０に例示の管理情報表示画面において、各部位の三次元形状を表す画像の表示態様（例えば、色）を、指定されている属性（この場合、腐食度）の内容に応じて変化させてもよい。例えば、図１０の管理情報表示画面において、腐食度が低いほど青に近い紫で、また、腐食度が高い程赤に近い紫で各部位の三次元形状が表示されれば、ユーザは腐食度の空間的な分布を直感的に知ることができる。

また、ユーザにより領域Ａ０３のリストにおいて、特定の時期（「全時期」以外）が選択された場合、管理情報表示画面の領域Ａ０５には、ユーザにより指定された時期の形状データが表す三次元形状の画像が重畳された重畳画像が表示される。従って、ユーザは領域Ａ０３のリストにおいて異なる時期を順次選択することで、領域Ａ０２のリストにおいて選択した部位の形状の経時変化（鋼管杭が時間の経過に伴い傾いていく様子や、消波ブロックが時間の経過に伴い移動又は消失していく様子等）を容易に知ることができる。

上述したデータ処理システム１によれば、構造物の管理者は、構造物を構成する複数の部位の各々に関する経時変化する属性を容易に知ることができる。

［変形例］
上述の実施形態は本発明の一具体例であって、本発明の技術的思想の範囲内において様々に変形可能である。以下にそれらの変形の例を示す。

（１）上述したデータ処理システム１が備える記憶装置（ＳＳＤ１５）、撮像装置（カメラ１４）、データ処理装置１１及び表示装置（ディスプレイ１２）は１つの筐体に収容されている。データ処理システム１を構成するこれらの装置は１つの筐体に収容されている必要はなく、通信ケーブルや無線等により相互に接続された個別の装置として構成されてもよい。

例えば、データ処理システム１が通信機能を備えるカメラ内蔵のタブレット型コンピュータとサーバ装置により構成されてもよい。この場合、タブレット型コンピュータは撮像装置と表示装置として機能し、サーバ装置は記憶装置及びデータ処理装置として機能する。タブレット型コンピュータは、ユーザの操作に応じて撮像した構造物の画像を表す画像データをサーバ装置に送信する。サーバ装置は、タブレット型コンピュータから受信した画像データが表す画像に三次元形状及び属性の画像を重畳した重畳画像を表す重畳画像データを生成し、タブレット型コンピュータに送信する。タブレット型コンピュータは、サーバ装置から受信した重畳画像データが表す重畳画像を表示する。

（２）上述したデータ処理装置１１の機能を、複数の装置により分担する構成が採用されてもよい。例えば、データ処理システム１が通信機能を備えるカメラ内蔵のタブレット型コンピュータとサーバ装置により構成され、タブレット型コンピュータがデータ処理システム１の構成のうち管理データベースを記憶する記憶装置（ＳＳＤ１５）と検索手段１１２２以外の全てを備え、サーバ装置が管理データベースを記憶する記憶装置（ＳＳＤ１５）と抽出手段１１２１を備えてもよい。

この場合、タブレット型コンピュータは、構造物の画像から抽出した特徴点群を表すデータをサーバ装置に送信する。サーバ装置は、タブレット型コンピュータから受信したデータが表す特徴点群の配置パターンと類似する形状データを管理データベースから検索し、検索した形状データを含む管理テーブルをタブレット型コンピュータに送信する。タブレット型コンピュータは、サーバ装置から受信した管理テーブルを用いて、重畳画像の生成及び表示を行う。

（３）検索手段１１２２及び変形手段１１２３の処理を容易とするために、管理対象の構造物に予め、構造物の座標軸の方向を表す画像であるマーカを付しておいてもよい。図１１は、マーカＭが付された構造物９を例示した図であり、図１２はマーカＭの役割を説明するための図である。

マーカＭには、６つの特徴点、すなわち、特徴点Ｐ１〜Ｐ６が含まれる。特徴点Ｐ３から特徴点Ｐ４に向かう方向は、構造物のＸ軸方向を示している。特徴点Ｐ３から特徴点Ｐ６に向かう方向は、構造物のＹ軸方向を示している。特徴点Ｐ３から特徴点Ｐ２に向かう方向は、構造物のＺ軸方向を示している。

検索手段１１２２は、画像データが表す画像にマーカＭが含まれる場合、マーカＭの特徴点群に基づき構造物の座標軸の方向を特定することができる。その結果、検索手段１１２２は、画像データが表す画像から抽出された特徴点群の配置パターンと、管理テーブルに含まれる形状データが表す三次元形状に含まれる特徴点群の配置パターンの類似性を容易に特定することができる。

また、変形手段１１２３は、画像データが表す画像にマーカＭが含まれる場合、マーカＭが示す座標軸の方向と、例えば特徴点Ｐ１と特徴点Ｐ２との距離に基づき、三次元形状の変形を容易に行うことができる。

（４）本発明にかかるプログラムは、例えば、光記録媒体、半導体メモリなどのコンピュータ読取り可能な記録媒体に持続的に記憶された状態で提供されてもよいし、インターネット等の通信ネットワークを介して提供されてもよい。本発明にかかるプログラムが記録媒体に記憶された状態で提供される場合、コンピュータが当該プログラムを記録媒体から読み取り用いる。また、本発明にかかるプログラムが通信ネットワークを介して提供される場合、コンピュータが当該プログラムを配信元の装置から受信して用いる。

１…データ処理システム、９…構造物、１０…コンピュータ、１１…データ処理装置、１２…ディスプレイ、１３…タッチパネル、１４…カメラ、１５…ＳＳＤ、１０１…メモリ、１０２…プロセッサ、１０３…入出力インタフェース、１１１…取得手段、１１２…生成手段、１１３…出力手段、９０１〜９０４…鋼管杭、９１１〜９１４…ブロック、９２１〜９２４…ブロック、９３１…上部工、１１２１…抽出手段、１１２２…検索手段、１１２３…変形手段、１１２４…重畳手段。

Claims (6)

1. 撮像装置から構造物の少なくとも一部を撮像した画像を表すデータを取得し、前記構造物を構成する複数の部位の各々に関し、当該部位の三次元形状を表すデータと、過去の複数時期の各々における当該部位の属性を表すデータとを対応付けて記憶する記憶装置から、前記画像に含まれる特徴点群の位置関係との間で所定の関係を満たす位置関係の特徴点群を有する三次元形状を表すデータと、当該データと対応付けて記憶されている属性を表すデータとを取得する取得手段と、
   前記画像に対し、前記画像に含まれる特徴点群と前記取得手段が取得したデータが表す三次元形状の特徴点群とが一致するように位置決めされた当該三次元形状の画像と、前記取得手段が取得したデータが表す属性の画像とを重畳した重畳画像を表すデータを生成する生成手段と、
   前記重畳画像を表すデータを表示装置に出力する出力手段と
   を備えるデータ処理装置。
2. 前記取得手段は、前記複数の部位のうちのいずれかの部位を指定するデータを取得し、
   前記生成手段は、前記記憶装置が記憶する複数の属性を表すデータのうち前記取得手段が取得したデータが指定する部位に応じたデータが表す複数の時期の属性の画像を重畳した重畳画像を表すデータを生成する
   請求項１に記載のデータ処理装置。
3. 前記取得手段は、前記過去の複数時期のうちのいずれかの時期を表すデータを取得し、
   前記生成手段は、前記記憶装置が記憶する複数の属性を表すデータのうち前記取得手段が取得したデータが表す時期に応じたデータが表す複数の属性の画像を重畳した重畳画像を表すデータを生成する
   請求項１に記載のデータ処理装置。
4. 前記記憶装置は、前記複数の部位の各々に関し過去の複数時期の各々における三次元形状を表すデータを記憶し、
   前記生成手段は、前記記憶装置が記憶する複数の形状を表すデータのうち前記取得手段が取得したデータが表す時期に応じたデータが表す三次元形状の画像を重畳した重畳画像を表すデータを生成する
   請求項２又は３に記載のデータ処理装置。
5. コンピュータに、
   撮像装置から、構造物を撮像した画像を表すデータを取得する処理と、
   前記構造物を構成する複数の部位の各々に関し、当該部位の三次元形状を表すデータと、過去の複数時期の各々における当該部位の属性を表すデータとを対応付けて記憶する記憶装置から、前記画像に含まれる特徴点群の位置関係との間で所定の関係を満たす位置関係の特徴点群を有する三次元形状を表すデータと、当該データと対応付けて記憶されている属性を表すデータとを取得する処理と、
   前記画像に対し、前記画像に含まれる特徴点群と前記記憶装置から取得したデータが表す三次元形状の特徴点群とが一致するように位置決めされた当該三次元形状の画像と、前記記憶手段から取得したデータが表す属性の画像とを重畳した重畳画像を表すデータを生成する処理と、
   前記重畳画像を表すデータを表示装置に出力する処理と
   を実行させるためのプログラム。
6. 記憶装置と、撮像装置と、データ処理装置と、表示装置とを備え、
   前記記憶装置は、構造物を構成する複数の部位の各々に関し、当該部位の三次元形状を表すデータと、過去の複数時期の各々における当該部位の属性を表すデータとを対応付けて記憶し、
   前記データ処理装置は、
   前記撮像装置から、前記構造物の少なくとも一部を撮像した画像を表すデータを取得し、前記記憶装置から、前記画像に含まれる特徴点群の位置関係との間で所定の関係を満たす位置関係の特徴点群を有する三次元形状を表すデータと、当該データと対応付けて記憶されている属性を表すデータとを取得する取得手段と、
   前記画像に対し、前記画像に含まれる特徴点群と前記取得手段が取得したデータが表す三次元形状の特徴点群とが一致するように位置決めされた当該三次元形状の画像と、前記取得手段が取得したデータが表す属性の画像とを重畳した重畳画像を表すデータを生成する生成手段と、
   前記重畳画像を表すデータを前記表示装置に出力する出力手段と
   を備える
   データ処理システム。

Images