JP2016170495A - Inspection support device, method for controlling inspection support device, program and inspection support system - Google Patents
Inspection support device, method for controlling inspection support device, program and inspection support system Download PDFInfo
- Publication number
- JP2016170495A JP2016170495A JP2015048235A JP2015048235A JP2016170495A JP 2016170495 A JP2016170495 A JP 2016170495A JP 2015048235 A JP2015048235 A JP 2015048235A JP 2015048235 A JP2015048235 A JP 2015048235A JP 2016170495 A JP2016170495 A JP 2016170495A
- Authority
- JP
- Japan
- Prior art keywords
- inspection
- facility
- location
- projection
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Abstract
Description
本発明は、点検支援装置、点検支援装置の制御方法、プログラム及び点検支援システムに関する。 The present invention relates to an inspection support apparatus, a control method for the inspection support apparatus, a program, and an inspection support system.
建物の設備を点検する場合には、点検者がマニュアルを参照しながら、マニュアルに記載の手順に沿って作業を行うことが一般的である。また、例えば、特許文献1に記載のように、情報を対象物に表示させてユーザに提示する技術(例えば特許文献1)も知られている。
When inspecting a building facility, it is common for an inspector to perform work in accordance with the procedure described in the manual while referring to the manual. Also, for example, as described in
しかしながら、設備を点検するにあたり、マニュアルを参照しながらの作業は効率が悪くなってしまう。こうしたマニュアルを参照しながらの作業では、点検者は、マニュアルに記載の点検箇所と、実際に作業している箇所とを誤ってしまったり、誤った内容の点検を行ってしまったりすることもあり、誤った点検作業が発生しやすくなっていた。また、マニュアル情報を点検者が視認できる位置に投影しても、結局は点検者が点検箇所を特定する必要があり、誤った点検作業の発生を低減させるには十分ではない。 However, when inspecting the equipment, the work while referring to the manual becomes inefficient. When working while referring to these manuals, the inspector may mistake the inspection location described in the manual and the actual working location, or inspect the wrong contents. Incorrect inspection work was likely to occur. Further, even if the manual information is projected to a position where the inspector can visually recognize, it is necessary for the inspector to identify the inspection place in the end, which is not sufficient to reduce the occurrence of erroneous inspection work.
本発明の目的は、点検者による点検作業の効率を向上させることができる点検支援装置、点検支援装置の制御方法、プログラム及び点検支援システムを提供することにある。 An object of the present invention is to provide an inspection support apparatus, a control method for the inspection support apparatus, a program, and an inspection support system that can improve the efficiency of inspection work by an inspector.
(1)本発明の一態様に係る点検支援装置は、点検設備について定められた1以上の点検箇所のそれぞれに対応する位置に、当該点検箇所の点検に関する情報を投影するための投影画像を生成する生成手段と、前記生成した投影画像を前記点検設備に投影させる投影制御手段と、を含む。 (1) An inspection support apparatus according to an aspect of the present invention generates a projection image for projecting information related to inspection of the inspection location at a position corresponding to each of one or more inspection locations determined for the inspection facility. Generating means for projecting, and projection control means for projecting the generated projection image on the inspection facility.
(2)(1)に記載の点検支援装置において、前記点検設備の3次元データを記憶する記憶手段と、前記点検設備を撮影した撮影画像を取得する取得手段と、をさらに含み、前記生成手段は、前記撮影画像と前記3次元データとに基づいて、前記投影画像を生成する。 (2) The inspection support apparatus according to (1), further including a storage unit that stores three-dimensional data of the inspection facility, and an acquisition unit that acquires a captured image obtained by capturing the inspection facility. Generates the projection image based on the photographed image and the three-dimensional data.
(3)(2)に記載の点検支援装置において、前記取得手段により取得された撮影画像から前記点検設備の点検者の領域を特定する特定手段と、前記特定手段により特定された点検者の領域が、前記投影画像により前記点検設備に投影される前記点検箇所の点検に関する情報の表示と重なる場合に、当該点検箇所の点検に関する情報が表示される位置を、当該点検者の領域と重ならない位置に変更する変更手段と、を含み、前記生成手段は、前記変更手段により変更された前記点検箇所の点検に関する情報を表示する位置に基づいて、前記投影画像を生成する。 (3) In the inspection support apparatus according to (2), a specification unit that specifies a region of an inspector of the inspection facility from a photographed image acquired by the acquisition unit, and a region of the inspector specified by the specification unit Is a position that does not overlap with the area of the inspector when the information about the inspection of the inspection point is displayed when the projection image is projected on the inspection facility by the projection image. The generating unit generates the projection image based on a position for displaying information on inspection of the inspection location changed by the changing unit.
(4)(1)〜(3)に記載の点検支援装置において、前記点検箇所の点検に関する情報は、当該点検箇所の位置、当該点検箇所の点検順序、当該点検箇所における点検方法、当該点検箇所の機能のうち少なくとも1つを示す情報である。 (4) In the inspection support apparatus according to (1) to (3), the information related to the inspection at the inspection location includes the location of the inspection location, the inspection order of the inspection location, the inspection method at the inspection location, and the inspection location. This is information indicating at least one of the functions.
(5)(1)〜(4)に記載の点検支援装置において、前記点検箇所の点検に関する情報は、静止画像又は動画像である。 (5) In the inspection support apparatus according to any one of (1) to (4), the information related to inspection of the inspection location is a still image or a moving image.
(6)本発明の一態様に係る点検支援装置の制御方法は、点検設備について定められた1以上の点検箇所のそれぞれに対応する位置に、当該点検箇所の点検に関する情報を投影するための投影画像を生成する生成ステップと、前記生成した投影画像を前記点検設備に投影させる投影制御ステップと、を含む。 (6) A method for controlling an inspection support apparatus according to an aspect of the present invention is a projection for projecting information related to inspection of an inspection location at a position corresponding to each of one or more inspection locations defined for the inspection facility. A generation step of generating an image; and a projection control step of projecting the generated projection image on the inspection facility.
(7)本発明の一態様に係るプログラムは、点検設備について定められた1以上の点検箇所のそれぞれに対応する位置に、当該点検箇所の点検に関する情報を投影するための投影画像を生成する生成手段と、前記生成した投影画像を前記点検設備に投影させる投影制御手段としてコンピュータを機能させるためのプログラムである。 (7) A program according to an aspect of the present invention generates a projection image for projecting information related to inspection of the inspection location at a position corresponding to each of one or more inspection locations defined for the inspection facility. And a program for causing a computer to function as projection control means for projecting the generated projection image on the inspection facility.
(8)本発明の一態様に係る点検支援システムは、点検支援装置と、投影装置と、を含み、前記点検支援装置は、点検設備について定められた点検箇所に、当該点検箇所の点検に関する情報を投影するための投影画像を生成する生成手段と、前記生成した投影画像を前記投影装置に出力する手段と、を含み、前記投影装置は、前記出力された前記投影画像を前記点検設備に投影する投影手段を含む。 (8) An inspection support system according to an aspect of the present invention includes an inspection support device and a projection device, and the inspection support device includes information on inspection of the inspection location at an inspection location determined for the inspection facility. Generating means for generating a projection image for projecting the image, and means for outputting the generated projection image to the projection apparatus, wherein the projection apparatus projects the output projection image onto the inspection facility. Projection means.
(9)(8)に記載の点検支援システムにおいて、前記点検設備を撮影する撮影装置をさらに含み、前記点検支援装置は、前記点検設備の3次元データを記憶する記憶手段と、前記撮影装置から前記撮影画像を取得する取得手段と、をさらに含み、前記生成手段は、前記撮影画像と前記3次元データに基づいて、前記投影画像を生成する。 (9) The inspection support system according to (8), further including an imaging device that images the inspection facility, wherein the inspection support device includes a storage unit that stores three-dimensional data of the inspection facility, and the imaging device. Acquisition means for acquiring the photographed image, and the generation means generates the projection image based on the photographed image and the three-dimensional data.
本発明の一態様によれば、点検設備における点検箇所について点検に関する情報が投影されるため、点検者は点検設備から点検作業の内容を知ることができる。これにより、点検者による点検作業の効率を向上させることができる。 According to one aspect of the present invention, since information related to inspection is projected at inspection points in the inspection facility, the inspector can know the contents of the inspection work from the inspection facility. Thereby, the efficiency of the inspection work by the inspector can be improved.
以下、本発明を実施するための実施の形態(以下、実施形態という)を、図面に基づき説明する。 Hereinafter, an embodiment for carrying out the present invention (hereinafter referred to as an embodiment) will be described with reference to the drawings.
[1.システムの全体構成例]
図1には、本実施形態に係る建物設備システムSの全体構成の一例を示す。図1に示されるように、建物設備システムSは、点検者Uによる点検対象となる点検設備Fと、点検者Uによる点検設備Fの点検作業を支援する点検支援システム1とを含む。
[1. Example of overall system configuration]
In FIG. 1, an example of the whole structure of the building equipment system S which concerns on this embodiment is shown. As shown in FIG. 1, the building facility system S includes an inspection facility F to be inspected by the inspector U and an
また、点検支援システム1は、点検支援装置10と、点検設備Fの形状に応じた画像を投影するプロジェクションマッピング装置30と、を含む。
The
また、プロジェクションマッピング装置30は、点検設備Fに画像を投影するプロジェクタ31(投影装置)と、点検設備Fを撮影するカメラ32(撮影装置)とを含む。
The
点検支援装置10と、プロジェクタ31及びカメラ32とは、有線又は無線の通信により接続されており、相互にデータ通信可能となっている。また、プロジェクタ31は、点検支援装置10の制御に応じて、点検支援装置10により生成される投影画像を点検設備Fに対して投影する。そして、カメラ32は、点検設備Fを撮影した撮影画像を、点検支援装置10に出力する。なお、カメラ32により撮影される撮影画像には、プロジェクタ31により画像が投影される前の状態の点検設備F、プロジェクタ31により投影画像が投影された状態の点検設備F、点検者Uにより点検が行われている状態の点検設備F等の各種画像が含まれることとしてよい。
The inspection support
また、図1に示されるように、点検支援装置10は、ハードウェア構成として、制御部11、記憶部12、通信部13を備える。
Moreover, as FIG. 1 shows, the
制御部11は、例えばCPU(Central Processing Unit)を含み、記憶部12に記憶されたプログラムに基づいて、各種の演算処理を実行するとともに点検支援装置10の各部を制御する。
The
記憶部12は、点検支援装置10のオペレーティングシステム等の制御プログラムやデータを記憶するほか、制御部11のワークメモリとしても用いられる。プログラムは、光ディスク、磁気ディスク、磁気テープ、光磁気ディスク、フラッシュメモリ等の情報記憶媒体に格納された状態で点検支援装置10に供給されてもよいし、インターネット等のデータ通信網を介して点検支援装置10に供給されてもよい。
The
通信部13は、例えばシリアルポート、ネットワークインターフェースカード(NIC)又は無線通信用のアンテナ等の通信用インターフェースを含み、通信用インターフェースを介して、プロジェクタ31及びカメラ32と接続し、プロジェクタ31及びカメラ32と通信可能である。また、通信部13は、例えば点検者Uの携帯端末(図示無し)と通信し、携帯端末から点検者Uの操作を受け付けることとしてもよい。
The
本実施形態に係る点検支援システム1では、点検支援装置10は、点検設備Fにおける点検箇所に、当該点検箇所についての点検情報(例えば点検箇所、点検順序、点検方法等を指示する情報)を表示するための投影画像を生成し、プロジェクタ31により投影画像を点検設備Fに投影する。これにより、点検者Uは、点検設備Fに投影される画像から、点検設備Fにおける点検箇所、点検順序、点検方法を確認することができる。
In the
[2.投影される画像の一例]
以下、図2乃至図4に基づいて、点検支援システム1により行われる処理の一例について説明する。
[2. Example of projected image]
Hereinafter, an example of processing performed by the
図2には、点検設備Fの正面図の一例を示す。例えば、図2に示す例においては、点検設備Fには、設備ユニット500,510,520,530,540が含まれる。また、設備ユニット500には、設備ユニット501,502が含まれ、設備ユニット510には設備ユニット511,512,513が含まれ、設備ユニット520には設備ユニット521が含まれ、設備ユニット530には設備ユニット531,532が含まれ,設備ユニット540には設備ユニット541,542が含まれる。なお、設備ユニットとは、電気部品、ケーブル、入力装置(操作盤)、表示装置、センサ等の各種部品、装置である。また、図2は、点検設備Fに対してプロジェクタ31により点検情報が投影されていない状態に相当する。
In FIG. 2, an example of the front view of the inspection equipment F is shown. For example, in the example illustrated in FIG. 2, the inspection equipment F includes
図3には、プロジェクタ31により点検情報が投影された状態の点検設備Fの正面図の一例を示す。図3に示される例においては、点検設備Fには、3つの点検箇所(第1点検箇所、第2点検箇所、第3点検箇所)があることとする。なお、第1点検箇所は設備ユニット501であり、第2点検箇所は設備ユニット512であり、第3点検箇所は設備ユニット532であることとする。
FIG. 3 shows an example of a front view of the inspection facility F in a state where inspection information is projected by the
そして、第1点検箇所に対しては、第1点検箇所の位置及び点検順序を指示する第1指示画像1001と、第1点検箇所に関する点検方法を表示する第1点検内容表示画像2001が投影される。同様に、第2点検箇所に対しては、第2点検箇所の位置及び点検順序を指示する第2指示画像1002と、第2点検箇所に関する点検方法を表示する第2点検内容表示画像2002が投影され、第3点検箇所に対しては、第3点検箇所の位置及び点検順序を指示する第3指示画像1003と、第3点検箇所に関する点検方法を表示する第3点検内容表示画像2003が投影される。
Then, a
ここで、点検支援装置10は、点検設備Fの3次元モデルデータに基づく点検設備Fの各設備ユニットの位置と、点検設備Fにおける点検情報の表示位置に基づいて、投影画像に各設備ユニットのオブジェクトと、点検情報の表示オブジェクトとをマッピングし、点検設備Fに投影する投影画像を生成することとしてよい。
Here, based on the position of each equipment unit of the inspection equipment F based on the three-dimensional model data of the inspection equipment F and the display position of the inspection information in the inspection equipment F, the
なお、図3に示されるように、点検者Uは、点検設備Fに投影された点検情報に基づいて、点検箇所、点検手順、点検方法を確認しながら、点検作業を進めることができるため、作業効率を向上させることができる。 In addition, as shown in FIG. 3, the inspector U can proceed with the inspection work while confirming the inspection location, inspection procedure, and inspection method based on the inspection information projected on the inspection facility F. Work efficiency can be improved.
しかしながら、点検者Uが点検設備Fを点検している際に、点検情報の投影位置の前に点検者Uが立つことがある。こうした場合には、点検情報が点検者Uの背中に投影されてしまい、点検者Uは点検情報を確認することができないこととなる。特に、点検対象となっている点検箇所の作業中に、上記の問題が生じやすくなる。 However, when the inspector U is inspecting the inspection facility F, the inspector U may stand before the inspection information projection position. In such a case, the inspection information is projected on the back of the inspector U, and the inspector U cannot confirm the inspection information. In particular, the above-mentioned problem is likely to occur during the work at the inspection location that is the inspection target.
そこで、本実施形態に係る点検支援システム1では、点検情報の少なくとも一部が点検者Uに投影されてしまう場合には、その点検情報の投影位置を点検者Uに被らない位置に移動させることとしている。
Therefore, in the
図4には、点検者Uが第2点検箇所の点検を行っている際に点検設備Fに投影される点検情報の一例を示す。図4に示されるように、第2点検箇所についての第2指示画像1002と第2点検内容表示画像2002との投影位置が、点検者Uに被らない位置に変更される。これにより、点検者Uは、自らの立ち位置に依らず、点検設備Fに投影される点検情報から全ての点検箇所及び点検内容を確認することができる。
FIG. 4 shows an example of inspection information projected on the inspection facility F when the inspector U is inspecting the second inspection location. As shown in FIG. 4, the projection position of the
以下、上記処理を実現するために点検支援装置10に備えられる構成について説明する。
Hereinafter, a configuration provided in the
[3.点検支援装置10が備える機能の説明]
図5には、本実施形態に係る点検支援装置10に備えられる機能の一例を示す。図5に示されるように、点検支援装置10は、データ格納部110、撮影画像取得部120、点検者領域特定部130、点検設備指定受付部140、投影画像生成部150、投影制御部160を備える。
[3. Description of functions provided in inspection support device 10]
In FIG. 5, an example of the function with which the
点検支援装置10に備えられる上記の各部の機能は、点検支援装置10に備えられる制御部11が、記憶部12やコンピュータ読み取り可能な情報記憶媒体に格納されたプログラムを読み込み実行することで実現されるものとしてよい。なお、プログラムは光ディスク、磁気ディスク、磁気テープ、光磁気ディスク、フラッシュメモリ等の情報記憶媒体によって点検支援装置10に供給されることとしてもよいし、インターネット等のデータ通信網を介して点検支援装置10に供給されることとしてもよい。以下、点検支援装置10に備えられる各部の機能の詳細について説明する。
The functions of the respective units provided in the
[3.1.データ格納部110]
データ格納部110は、主に点検支援装置10の記憶部12により実現される。データ格納部110には、点検支援装置10の処理に用いられる各種データが記憶される。例えば、データ格納部110は、設備モデルデータ記憶部111と、点検情報記憶部112を含む。
[3.1. Data storage unit 110]
The
[3.1.1.設備モデルデータ記憶部111]
設備モデルデータ記憶部111は、1以上の点検設備Fのそれぞれの3次元モデルデータを記憶する。例えば、設備モデルデータ記憶部111は、点検設備Fを識別する設備IDに関連付けて、当該点検設備Fの3次元モデルデータを記憶することとしてよい。また、3次元モデルデータには、点検設備Fを構成する各設備ユニットの3次元形状を示すデータ、位置情報を示すデータ、テクスチャのデータ等が含まれることとしてよい。例えば、位置情報は、点検設備Fについて定められた座標系(例えば点検設備Fの基準点、点検設備Fが設けられる部屋の基準点を原点とした座標系)に基づく座標情報としてよい。
[3.1.1. Equipment model data storage unit 111]
The equipment model data storage unit 111 stores three-dimensional model data of each of one or more inspection equipments F. For example, the equipment model data storage unit 111 may store the three-dimensional model data of the inspection equipment F in association with the equipment ID that identifies the inspection equipment F. The three-dimensional model data may include data indicating the three-dimensional shape of each equipment unit constituting the inspection equipment F, data indicating position information, texture data, and the like. For example, the position information may be coordinate information based on a coordinate system defined for the inspection facility F (for example, a coordinate system with the origin being the reference point of the inspection facility F or the reference point of the room where the inspection facility F is provided).
[3.1.2.点検情報記憶部112]
点検情報記憶部112は、1以上の点検設備Fのそれぞれについて定められた点検情報を記憶する。例えば、点検情報には、点検設備Fにおける点検箇所を特定するデータ、点検箇所の点検順序を指定するデータ、点検方法を指示するデータ、点検情報を表示する位置を指示するデータ等が含まれることとしてよい。
[3.1.2. Inspection information storage unit 112]
The inspection
図6には、点検情報を記憶した点検情報テーブルの一例を示した。図6に示されるように、点検情報テーブルには、点検設備Fの設備IDに関連付けて、点検箇所を識別する点検箇所ID、点検箇所に対応する設備ユニットのオブジェクトを識別するオブジェクトID、点検箇所の点検設備Fにおける点検順序、点検箇所の点検内容(テキストデータ、画像データ、動画像データのいずれか又はこれらの組み合わせとしてよい)、点検情報の表示位置(3次元モデルの座標系における位置座標としてよい)の情報が関連付けて記憶される。 FIG. 6 shows an example of an inspection information table storing inspection information. As shown in FIG. 6, in the inspection information table, in association with the equipment ID of the inspection equipment F, the inspection place ID for identifying the inspection place, the object ID for identifying the object of the equipment unit corresponding to the inspection place, the inspection place Inspection sequence in inspection facility F, inspection contents at inspection location (any of text data, image data, moving image data, or a combination thereof), inspection information display position (as position coordinates in coordinate system of 3D model) Information) is stored in association with each other.
例えば、図3に示される例に基づき具体的に説明すると、点検情報テーブルには、設備ユニット501のオブジェクトID、点検順序「1」、第1点検内容表示画像2001を表示するためのデータ、第1点検内容表示画像2001の表示位置の情報が関連付けて記憶される。また、同様に点検情報テーブルには、設備ユニット512のオブジェクトID、点検順序「2」、第2点検内容表示画像2002を表示するためのデータ、第2点検内容表示画像2002の表示位置の情報が関連付けて記憶される。さらに、点検情報テーブルには、設備ユニット532のオブジェクトID、点検順序「3」、第3点検内容表示画像2003を表示するためのデータ、第3点検内容表示画像2003の表示位置の情報が関連付けて記憶される。
For example, specifically, based on the example shown in FIG. 3, the inspection information table includes the object ID of the
[3.2.撮影画像取得部120]
撮影画像取得部120は、主に点検支援装置10の制御部11、記憶部12及び通信部により実現される。撮影画像取得部120は、カメラ32により定期的に(例えば所定時間おきに)点検施設を撮影した撮影画像を順次取得することとしてよい。また、撮影画像取得部120は、カメラ32に撮影を指示し、指示に応じて撮影された撮影画像を取得するようにしてもよい。
[3.2. Captured image acquisition unit 120]
The captured
[3.3.点検者領域特定部130]
点検者領域特定部130は、主に点検支援装置10の制御部11及び記憶部12により実現される。点検者領域特定部130は、撮影画像取得部120により取得した撮影画像の中から、点検者Uに対応する領域(点検者領域)を特定する。例えば、点検者領域は、点検者Uの居る領域であってもよいし、点検設備Fに投影される点検者Uの影の領域であってもよい。
[3.3. Inspector area specifying unit 130]
The inspector
[3.4.点検設備指定受付部140]
点検設備指定受付部140は、主に点検支援装置10の制御部11、記憶部12及び通信部13により実現される。点検設備指定受付部140は、点検者Uが点検の対象とする設備の識別情報を受け付ける。例えば、点検設備指定受付部140は、点検者Uの携帯端末から送信される点検設備Fの識別情報(設備ID)を受信することとしてよい。また例えば、点検設備Fに設備IDをエンコードしたコード画像が付されている場合には、点検設備指定受付部140は、カメラ32によりコード画像を撮影した撮影画像を撮影画像取得部120から取得し、取得したコード画像をデコードして設備IDを得ることとしてもよい。
[3.4. Inspection equipment designation reception part 140]
The inspection facility
[3.5.投影画像生成部150]
投影画像生成部150は、主に点検支援装置10の制御部11及び記憶部12により実現される。投影画像生成部150は、点検設備Fに対してプロジェクタ31により投影する投影画像を生成する。例えば、投影画像生成部150は、点検設備Fにマッピング処理用の予め定められた位置関係の4点(例えば、一辺Acmの正方形の四隅)のマークを付しておき、撮影画像から検出されるマークの位置関係の変化に基づいて、点検設備Fに対するプロジェクションマッピング装置30の向き及び距離を特定することとしてよい。
[3.5. Projected Image Generation Unit 150]
The projection
また、投影画像生成部150は、点検設備指定受付部140により受け付けた設備IDに関連付けて設備モデルデータ記憶部111に記憶される点検設備Fの3次元モデルデータと、当該設備IDに関連付けて点検情報記憶部112に記憶される点検情報とに基づいて、点検設備Fに表示されるイメージ(例えば図3,図4等に示される指示画像、点検内容表示画像を含むイメージ)を生成する。なお、上記イメージは、点検設備Fの各オブジェクトの表面にテクスチャ画像をマッピングすることにより生成することとしてよい。また、上記イメージを生成するに当たり、投影画像生成部150は、点検情報(例えば点検箇所に対応する指示画像と点検内容表示画像)を表示させる位置を、点検情報投影位置決定部151により決定する。
Further, the projection
点検情報投影位置決定部151は、設備IDに関連付けて点検情報記憶部112に記憶される点検箇所IDのそれぞれについて、当該点検箇所IDに関連付けられるオブジェクトIDの位置(例えば表面の位置)、点検内容の表示位置が、点検設備Fの表面に生じる点検者Uの影となる領域に含まれる場合には、上記オブジェクトIDに対応する指示画像と、上記点検内容に対応する交換内容表示画像のそれぞれの表示位置を、上記影となる領域外となるように変更する。ここで、指示画像の表示位置を変更する場合には、指示画像には変更前の表示位置を指示する画像(例えば矢印)を追加することとしてよい。
The inspection information projection
また、点検者Uの影となる領域は、点検者領域特定部130により特定された点検者領域と、上記特定した点検設備Fに対するプロジェクションマッピング装置30の向き及び距離とに基づいて算出することとしてよい。なお、点検情報投影位置決定部151は、点検箇所IDに関連付けられるオブジェクトIDの位置(例えば表面の位置)、点検内容の表示位置が、点検設備Fの表面に生じる点検者Uの影となる領域に含まれない場合には、点検箇所IDに関連付けられるオブジェクトIDの位置(例えば表面の位置)、点検内容の表示位置をそのまま用いることとする。
In addition, the area that is the shadow of the inspector U is calculated based on the inspector area specified by the inspector
投影画像生成部150は、点検設備Fに表示されるイメージを、点検設備Fの3次元モデルデータと、点検設備Fに対するプロジェクションマッピング装置30の向き及び距離に基づいて、投影画像に変換し、投影画像を投影制御部160に出力する。
The projection
[3.6.投影制御部160]
投影制御部160は、主に点検支援装置10の制御部11、記憶部12及び通信部13により実現される。投影制御部160は、投影画像生成部150により生成される投影画像をプロジェクタ31に出力し、プロジェクタ31により点検設備Fに投影させる。
[3.6. Projection Control Unit 160]
The
[4.点検支援装置10が実行する処理の例]
次に、図7及び図8に基づいて、本実施形態に係る点検支援装置10が実行する処理の一例について説明する。
[4. Example of processing executed by inspection support apparatus 10]
Next, based on FIG.7 and FIG.8, an example of the process which the
[4.1.点検支援処理]
図7には、点検支援装置10が実行する点検支援処理のフロー図を示した。
[4.1. Inspection support processing]
In FIG. 7, the flowchart of the inspection assistance process which the
図7に示されるように、点検支援装置10は、例えば点検者Uの携帯端末から、点検対象となる点検設備Fを識別する設備IDの指示を受け付ける(S101)。
As shown in FIG. 7, the
次に、点検支援装置10は、S101で受け付けた設備IDに関連付けて設備モデルデータ記憶部111に記憶される点検設備Fの3次元データ(設備モデルデータ)を取得する(S102)。
Next, the
また、点検支援装置10は、カメラ32から取得した点検設備Fを撮影した撮影画像と、上記取得した設備モデルデータとに基づいて、投影する画像と、設備モデルデータに含まれる各オブジェクトとのマッピングの位置合わせを行う(S103)。
Further, the
次に、点検支援装置10は、プロジェクタ31により点検設備Fに投影する投影画像を生成する処理(投影画像生成処理)を実行する(S104)。なお、投影画像生成処理の詳細については後述する。
Next, the
そして、点検支援装置10は、S104で生成した投影画像をプロジェクタ31に出力し、投影画像を点検設備Fに投影させる(S105)。
And the
点検支援装置10は、例えば点検者Uの携帯端末から点検終了の指示を受け付けていない場合には(S106:N)、S104に戻り、点検終了の指示を受け付けた場合には(S106:Y)、処理を終了する。
For example, when the
[4.2.投影画像生成処理]
以下、図8に示した投影画像生成処理のフロー図に基づき、投影画像生成処理の詳細について説明する。
[4.2. Projected image generation processing]
Hereinafter, the details of the projection image generation processing will be described based on the flowchart of the projection image generation processing shown in FIG.
図8に示されるように、点検支援装置10は、カメラ32から点検設備Fを撮影した撮影画像を取得し(S201)、取得した撮影画像から点検者Uの領域を特定する(S202)。なお、上記の点検者Uの領域は、プロジェクタ31により投影される投影画像が点検者Uにより遮られることにより点検設備Fに生じる点検者Uの影となる領域としてよい。また、上記の点検者Uの領域は、点検者領域特定部130により特定されるものである。
As shown in FIG. 8, the
次に、点検支援装置10は、点検施設に投影する点検情報のそれぞれの投影領域を特定する(S203)。例えば、点検支援装置10は、点検施設の設備IDに関連付けて点検情報テーブルに記憶される情報に基づいて、点検情報の投影領域を特定することとしてよい。具体的には、点検支援装置10は、設備IDに関連付けて点検情報テーブルに記憶される点検箇所IDごとに、当該点検箇所IDに関連付けられるオブジェクトIDにより識別される設備ユニットの表面の領域(指示画像表示領域)、及び点検箇所IDに関連付けられる表示位置を基点として、点検箇所IDに関連付けられる点検内容を表示する領域(点検内容表示領域)を上記の投影領域として特定することとしてよい。
Next, the
次に、点検支援装置10は、S203で特定した点検情報のそれぞれの投影領域が、S202で特定した点検者Uの領域に重なる場合には(S204:Y)、点検情報の投影領域を点検者Uの領域に重ならない位置に変更する(S205)。なお、投影領域の少なくとも一部と、点検者Uの少なくとも一部とが重なる場合に、上記の投影領域の変更を実行するようにしてよい。
Next, when each projection area of the inspection information specified in S203 overlaps the area of the inspector U specified in S202 (S204: Y), the
そして、点検支援装置10は、S205の後、又はS203で特定した点検情報のそれぞれの投影領域が、S202で特定した点検者Uの領域に重ならない場合には(S204:Y)、点検情報を対応する投影領域に投影させるための投影画像を生成し(S206)、リターンする。
Then, the
以上説明した実施形態に係る点検支援装置10によれば、点検設備Fの点検箇所に対して、点検箇所を指示する情報、点検順序を指示する情報、点検内容を指示する情報が投影されるため、点検者Uは点検設備Fに投影される情報に基づき、点検設備Fにおける点検作業を確認することができる。これにより、点検者Uが点検箇所を誤ることを防止できる。また、点検者Uが、点検を誤った手順、誤った方法で行ってしまうこと防止できる。すなわち、本実施形態に係る点検支援装置10によれば、点検者Uは点検作業を効率よく進めることができる。
According to the
また、点検支援装置10によれば、点検者Uが点検情報の投影位置に被っている場合には、点検情報を点検者Uに被らない位置に移動させることができるため、点検者Uは点検情報を確認するために移動する必要がない。これにより、点検者Uは、点検作業に集中することができる。
Further, according to the
本発明は上記の実施形態に限定されるものではない。例えば、点検支援装置10は、点検者Uから選択された点検箇所についてのみ点検情報を投影させるようにしてもよい。また例えば、点検支援装置10は、点検が終了した点検箇所については、点検情報の投影を終了してもよい。この場合に、点検箇所についての点検の終了は、点検者Uの指示に基づいて判断してよい。
The present invention is not limited to the above embodiment. For example, the
1 点検支援システム、10 点検支援装置、30 プロジェクションマッピング装置、31 プロジェクタ、32 カメラ、110 データ格納部、111 設備モデルデータ記憶部、112 点検情報記憶部、120 撮影画像取得部、130 点検者領域特定部、140 点検設備指定受付部、150 投影画像生成部、151 点検情報投影位置決定部、160 投影制御部。
DESCRIPTION OF
Claims (9)
前記生成した投影画像を前記点検設備に投影させる投影制御手段と、を含む
ことを特徴とする点検支援装置。 Generating means for generating a projection image for projecting information relating to inspection of the inspection location at a position corresponding to each of the one or more inspection locations defined for the inspection facility;
And a projection control means for projecting the generated projection image onto the inspection facility.
前記点検設備を撮影した撮影画像を取得する取得手段と、をさらに含み、
前記生成手段は、前記撮影画像と前記3次元データとに基づいて、前記投影画像を生成する
請求項1に記載の点検支援装置。 Storage means for storing three-dimensional data of the inspection facility;
An acquisition means for acquiring a photographed image obtained by photographing the inspection facility,
The inspection support apparatus according to claim 1, wherein the generation unit generates the projection image based on the captured image and the three-dimensional data.
前記特定手段により特定された点検者の領域が、前記投影画像により前記点検設備に投影される前記点検箇所の点検に関する情報の表示と重なる場合に、当該点検箇所の点検に関する情報が表示される位置を、当該点検者の領域と重ならない位置に変更する変更手段と、を含み、
前記生成手段は、前記変更手段により変更された前記点検箇所の点検に関する情報を表示する位置に基づいて、前記投影画像を生成する
請求項2に記載の点検支援装置。 A specifying means for specifying a region of the inspector of the inspection equipment from the photographed image acquired by the acquiring means;
The position at which information relating to inspection at the inspection location is displayed when the area of the inspector identified by the identifying means overlaps with the display of information relating to inspection at the inspection location projected onto the inspection facility by the projection image Change means for changing the position to a position that does not overlap with the area of the inspector,
The inspection support apparatus according to claim 2, wherein the generation unit generates the projection image based on a position where information related to inspection of the inspection location changed by the changing unit is displayed.
ことを特徴とする請求項1乃至3のいずれかに記載の点検支援装置。 The information relating to the inspection of the inspection location is information indicating at least one of the position of the inspection location, the inspection order of the inspection location, the inspection method at the inspection location, and the function of the inspection location. Item 4. The inspection support device according to any one of Items 1 to 3.
ことを特徴とする請求項1乃至4のいずれかに記載の点検支援装置。 The inspection support apparatus according to claim 1, wherein the information related to the inspection of the inspection location is a still image or a moving image.
前記生成した投影画像を前記点検設備に投影させる投影制御ステップと、を含む
ことを特徴とする点検支援装置の制御方法。 A generation step for generating a projection image for projecting information relating to inspection of the inspection location at a position corresponding to each of the one or more inspection locations defined for the inspection facility;
A projection control step of projecting the generated projection image on the inspection facility. A control method for an inspection support apparatus, comprising:
前記生成した投影画像を前記点検設備に投影させる投影制御手段
としてコンピュータを機能させるためのプログラム。 Generating means for generating a projection image for projecting information relating to inspection of the inspection location at a position corresponding to each of the one or more inspection locations defined for the inspection facility;
A program for causing a computer to function as projection control means for projecting the generated projection image onto the inspection facility.
前記点検支援装置は、
点検設備について定められた点検箇所に、当該点検箇所の点検に関する情報を投影するための投影画像を生成する生成手段と、
前記生成した投影画像を前記投影装置に出力する手段と、を含み、
前記投影装置は、
前記出力された前記投影画像を前記点検設備に投影する投影手段を含む、
ことを特徴とする点検支援システム。 An inspection support device and a projection device,
The inspection support device includes:
Generating means for generating a projection image for projecting information relating to the inspection of the inspection location on the inspection location determined for the inspection facility;
Means for outputting the generated projection image to the projection device,
The projector is
Projecting means for projecting the output projection image onto the inspection facility;
An inspection support system characterized by that.
前記点検支援装置は、
前記点検設備の3次元データを記憶する記憶手段と、
前記撮影装置から前記撮影画像を取得する取得手段と、をさらに含み、
前記生成手段は、前記撮影画像と前記3次元データに基づいて、前記投影画像を生成する
ことを特徴とする請求項8に記載の点検支援システム。 It further includes a photographing device that photographs the inspection facility,
The inspection support device includes:
Storage means for storing three-dimensional data of the inspection facility;
An acquisition means for acquiring the captured image from the imaging device;
The inspection support system according to claim 8, wherein the generation unit generates the projection image based on the photographed image and the three-dimensional data.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2015048235A JP2016170495A (en) | 2015-03-11 | 2015-03-11 | Inspection support device, method for controlling inspection support device, program and inspection support system |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2015048235A JP2016170495A (en) | 2015-03-11 | 2015-03-11 | Inspection support device, method for controlling inspection support device, program and inspection support system |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2016170495A true JP2016170495A (en) | 2016-09-23 |
Family
ID=56983812
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2015048235A Pending JP2016170495A (en) | 2015-03-11 | 2015-03-11 | Inspection support device, method for controlling inspection support device, program and inspection support system |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2016170495A (en) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2018080998A (en) * | 2016-11-16 | 2018-05-24 | 株式会社エアレックス | Leak inspection support device and leak inspection method using the same |
JP2020042667A (en) * | 2018-09-11 | 2020-03-19 | 株式会社インフォマティクス | Projection system, projection method, and program |
-
2015
- 2015-03-11 JP JP2015048235A patent/JP2016170495A/en active Pending
Cited By (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2018080998A (en) * | 2016-11-16 | 2018-05-24 | 株式会社エアレックス | Leak inspection support device and leak inspection method using the same |
WO2018092441A1 (en) * | 2016-11-16 | 2018-05-24 | 株式会社エアレックス | Leak inspection assistance device and leak inspection method using same |
KR20190083644A (en) * | 2016-11-16 | 2019-07-12 | 가부시키가이샤 에아렉크스 | Leak inspection support device and leakage inspection method using the same |
US10976212B2 (en) | 2016-11-16 | 2021-04-13 | Airex Co., Ltd. | Leak inspection assistance device and leak inspection method using same |
KR102312575B1 (en) * | 2016-11-16 | 2021-10-13 | 가부시키가이샤 에아렉크스 | Leak inspection support device and leak inspection method using the same |
JP2020042667A (en) * | 2018-09-11 | 2020-03-19 | 株式会社インフォマティクス | Projection system, projection method, and program |
JP7207915B2 (en) | 2018-09-11 | 2023-01-18 | 株式会社インフォマティクス | Projection system, projection method and program |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11410293B2 (en) | System and method for using images from a commodity camera for object scanning, reverse engineering, metrology, assembly, and analysis | |
JP6465789B2 (en) | Program, apparatus and method for calculating internal parameters of depth camera | |
US20160327946A1 (en) | Information processing device, information processing method, terminal device, and setting method | |
KR101694969B1 (en) | Method and apparatus for providing camera calibration | |
TW201915943A (en) | Method, apparatus and system for automatically labeling target object within image | |
US10977857B2 (en) | Apparatus and method of three-dimensional reverse modeling of building structure by using photographic images | |
EP3190581B1 (en) | Interior map establishment device and method using cloud point | |
JP2017106959A (en) | Projection device, projection method, and computer program for projection | |
JP2016048455A (en) | Image processor, image processing method, and program | |
CN111161144A (en) | Panorama acquisition method, panorama acquisition device and storage medium | |
US20180101729A1 (en) | Method for 3d mapping of 2d point of interest | |
WO2021236630A1 (en) | Construction visualization system and method | |
JP2017192040A (en) | Projection method and system for three-dimensional projection object | |
WO2019193859A1 (en) | Camera calibration method, camera calibration device, camera calibration system and camera calibration program | |
JP6295296B2 (en) | Complex system and target marker | |
JP2007212187A (en) | Stereo photogrammetry system, stereo photogrammetry method, and stereo photogrammetry program | |
JP2016170495A (en) | Inspection support device, method for controlling inspection support device, program and inspection support system | |
JP4776983B2 (en) | Image composition apparatus and image composition method | |
KR101845423B1 (en) | Apparatus and method for supporting inspection of structure | |
CN109323668A (en) | 3 d shape testing device, robot system and three-dimensional shape measuring method | |
KR20120038762A (en) | Portable 3-dimensional scanner and method of reconstructing 3-dimensional image | |
TW201636940A (en) | Work assistance apparatus | |
US20150029351A1 (en) | Display method, image capturing method and electronic device | |
JP2016139199A (en) | Image processing device, image processing method, and program | |
JP2022126127A (en) | Display method, information processing apparatus, and program |