JP2014013527A - Image forming apparatus, image forming system, and image forming program - Google Patents
Image forming apparatus, image forming system, and image forming program Download PDFInfo
- Publication number
- JP2014013527A JP2014013527A JP2012151103A JP2012151103A JP2014013527A JP 2014013527 A JP2014013527 A JP 2014013527A JP 2012151103 A JP2012151103 A JP 2012151103A JP 2012151103 A JP2012151103 A JP 2012151103A JP 2014013527 A JP2014013527 A JP 2014013527A
- Authority
- JP
- Japan
- Prior art keywords
- image
- dimensional
- image forming
- superimposed
- forming apparatus
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Landscapes
- Image Analysis (AREA)
- Image Processing (AREA)
Abstract
Description
本発明は、施設が設置される現場を撮影した画像に設置施設を表すCG(Computer Graphics)を重畳させた画像を形成する画像形成装置等の技術分野に関する。 The present invention relates to a technical field such as an image forming apparatus that forms an image obtained by superimposing CG (Computer Graphics) representing an installation facility on an image of a site where the facility is installed.
従来、土木・建設分野では、作業者が予め用意された設計図面通りに作業を行うことができるように様々な工夫がなされている。古くから用いられている丁張はその一例である。ところが、丁張を正確に設置するためには高度な技術が要求される。また、作業の途中段階では図面通りに作業が進められているかを大まかにしか把握することができない。 Conventionally, in the field of civil engineering / construction, various ideas have been made so that an operator can work according to a design drawing prepared in advance. An example of this is the traditional Japanese style. However, advanced technology is required to accurately install the tension. Further, it is possible to roughly grasp whether the work is proceeding as shown in the drawing in the middle of the work.
そのため、図1に示すように、2本の柱51、52の上部に上部工53を架設する場合において、図1(A)に示す柱51、52の施工途中段階では柱51と柱52が互いに平行に立設されて施工が正しく行われていると判断され易く、次いで図1(B)に示す柱51、52の完成時にも施工が正しく行われていると判断され易い。そして、図1(C)に示す上部工53を架設する施工段階において柱51、52が垂直に立設されていないことが判明し施工ミスに気付くといった事態が起こりえる。この場合、柱51、52を立設する施工段階に立ち戻って、作業をやり直さなければならない。
Therefore, as shown in FIG. 1, when the
一方で、鉄道に関連する施設に関する施工を行う鉄道建設分野においては、活線近傍箇所ではき電停止後や線路閉鎖後でなければ作業確認をできないなどの問題があり、いつでも作業確認を容易にできる技術が求められている。 On the other hand, in the railway construction field, where construction related to railways is performed, there is a problem that work confirmation can only be done after a stoppage of power transmission or after the track is closed in the vicinity of the live line. Technology that can be done is required.
ところで、近年ではCGを土木・建設分野に用いる技術が数多く提案されている。例えば、特許文献1には、水中バックホーを用いて視界の悪い濁った海中での作業を行う場合に、作業対象物及びバックホーのクラブバケット(土砂を掘削し、揚土する部分)を表すCGを海上の表示装置に表示させる技術が開示されている。この技術では、作業対象物に接触した際の負荷(反力)を検出する接触センサと、接触センサの位置を算出するための変位情報を検出する変位検出センサをバックホーに設け、これらのセンサから入力される情報を基にCGを形成し、表示させている。この技術によれば、作業現場の視界が悪い場合であってもCGに基づいて作業を進めることができるという利点がある。 By the way, in recent years, many techniques for using CG in the field of civil engineering and construction have been proposed. For example, Patent Document 1 discloses a CG representing a work object and a backhoe club bucket (a part for excavating and unloading earth and sand) when working in a cloudy sea with poor visibility using an underwater backhoe. A technique for displaying on a marine display device is disclosed. In this technique, a back sensor is provided with a contact sensor that detects a load (reaction force) when contacting a work object, and a displacement detection sensor that detects displacement information for calculating the position of the contact sensor. CG is formed and displayed based on the input information. According to this technology, there is an advantage that work can be performed based on CG even when the field of view of the work site is poor.
そこで、鉄道建設分野においてもCGを導入することが提案される。具体的には、鉄道関連施設が設置される現場を撮影した撮影画像に、設計図面通りに鉄道関連施設を表すCGを重畳させることが提案される。例えば、図2に示すように、柱51、52が立設される現場を撮影した撮影画像60に、設計図面に従って柱52を表すCG59を重畳させることができれば、早期段階(図1の例では(A)に示す段階)にて施工ミスに気付くことができ、作業のやり直しを最小限にとどめることができる。
Therefore, it is proposed to introduce CG in the railway construction field. Specifically, it is proposed to superimpose a CG representing a railroad-related facility on a photographed image of a site where the railroad-related facility is installed according to a design drawing. For example, as shown in FIG. 2, if a
しかしながら、特許文献1に記載の技術によれば鉄道関連施設等の作業対象物に工作機械が直接接触する必要があり、上記提案のように、鉄道関連施設が設置される現場を離れた位置から撮影した画像にCGを正確な位置に重畳させることができないという問題があっ
た。このように、CGが撮影画像の正確な位置に重畳されなければ、施工ミスに気付きにくく、また、作業確認を正確に行うことができない。
However, according to the technique described in Patent Document 1, the machine tool needs to be in direct contact with a work target such as a railway-related facility, and as proposed above, the site where the railway-related facility is installed is located away from the position. There was a problem that CG could not be superimposed on the exact position on the photographed image. As described above, unless the CG is superimposed on the exact position of the photographed image, it is difficult to notice the construction mistake and the work confirmation cannot be performed accurately.
本発明は、このような問題等に鑑みて為されたもので、鉄道関連施設が設置される現場を撮影した撮影画像における正確な位置に鉄道関連施設を表すCGが重畳された重畳画像を形成することのできる画像形成装置等を提供することを課題とする。 The present invention has been made in view of such problems and the like, and forms a superimposed image in which a CG representing a railway-related facility is superimposed at an accurate position in a captured image obtained by photographing a site where the railway-related facility is installed. It is an object of the present invention to provide an image forming apparatus and the like that can be used.
上記課題を解決するために、請求項1に記載の発明は、鉄道関連施設を表す3次元VR(Virtual Reality)モデルと、当該3次元VRモデルを構成する少なくとも2点以上の構成
ポイントについて前記鉄道関連施設が設置された際に当該構成ポイントが位置すべき点を示す3次元絶対座標を特定可能な位置情報を記憶する記憶手段と、前記鉄道関連施設が設置される現場を撮影した撮影画像を取得する画像取得手段と、前記取得された撮影画像において何れかの前記構成ポイントについて記憶された前記位置情報により特定される3次元絶対座標に対応する点を特定する特定手段と、前記特定された点と当該特定された点に対応する3次元絶対座標に対応する前記構成ポイントが一致するように、前記取得された撮影画像に前記3次元VRモデルを重畳させた重畳画像を形成する形成手段と、を備えることを特徴とする。
In order to solve the above-mentioned problem, the invention according to claim 1 is directed to a three-dimensional VR (Virtual Reality) model representing a railway-related facility and at least two or more constituent points constituting the three-dimensional VR model. Storage means for storing position information capable of specifying a three-dimensional absolute coordinate indicating a point where the constituent point should be located when the related facility is installed, and a captured image obtained by photographing the site where the railway related facility is installed An image acquisition means for acquiring, a specifying means for specifying a point corresponding to a three-dimensional absolute coordinate specified by the position information stored for any of the constituent points in the acquired captured image, and the specified The 3D VR model is superimposed on the acquired captured image so that a point matches the constituent point corresponding to the 3D absolute coordinate corresponding to the identified point. And forming means for forming a superimposed image, characterized in that it comprises a.
鉄道関連施設とは、例えば、駅(駅舎、プラットホーム、駅ビル等)、こ線橋(自由通路含む)、エレベータ、エスカレータといった昇降設備、鉄道線路(軌道の他に架線や信号設備を含む)、トンネルや高架橋といった鉄道構造物、線路に近接する施設・建物などが挙げられる。 Railway-related facilities include, for example, stations (station buildings, platforms, station buildings, etc.), railroad bridges (including free passages), elevators and escalators, railroad tracks (including overhead lines and signal equipment in addition to tracks), Examples include railway structures such as tunnels and viaducts, and facilities and buildings that are close to tracks.
また、3次元絶対座標を特定可能な位置情報は、3次元絶対座標(例えば、(緯度、経度、東京湾中等潮位からの高さ))そのものであってもよいし、例えば、予め定められた3次元絶対座標を基準とする相対座標であってもよい。 Further, the position information that can specify the three-dimensional absolute coordinates may be the three-dimensional absolute coordinates (for example, (latitude, longitude, height from the tidal level in Tokyo Bay)) itself, for example, predetermined information Relative coordinates based on three-dimensional absolute coordinates may be used.
さらに、撮影画像は、動画像又は静止画像の何れの画像であってもよい。同様に、形成される重畳画像は、動画像に3次元VRモデルを重畳させた画像であってもよいし、静止画像に3次元VRモデルを重畳させた画像であってもよい。なお、動画像に3次元VRモデルを重畳させる場合には、監視カメラ等により撮影された動画像を撮影画像として採用することができる。監視カメラは鉄道関連施設が設置される現場近傍に設置されていることが多いので、新たに重畳画像を形成するためのカメラを設けずに済むといったメリットがある。 Furthermore, the captured image may be either a moving image or a still image. Similarly, the formed superimposed image may be an image in which a 3D VR model is superimposed on a moving image, or may be an image in which a 3D VR model is superimposed on a still image. When a 3D VR model is superimposed on a moving image, a moving image captured by a surveillance camera or the like can be used as a captured image. Since surveillance cameras are often installed near the site where railway-related facilities are installed, there is an advantage that it is not necessary to provide a camera for forming a new superimposed image.
請求項2に記載の発明は、請求項1に記載の画像形成装置であって、前記形成手段により形成された重畳画像を表示部に表示させる表示制御手段を、更に備えることを特徴とする。 A second aspect of the present invention is the image forming apparatus according to the first aspect, further comprising display control means for displaying a superimposed image formed by the forming means on a display unit.
請求項3に記載の発明は、請求項1又は2に記載の画像形成装置であって、前記記憶手段は、前記鉄道関連施設の各施工段階に応じた前記3次元VRモデルを記憶し、前記形成手段は、ユーザにより選択された施工段階に応じた前記3次元VRモデルを重畳させた前記重畳画像を形成することを特徴とする。 Invention of Claim 3 is an image forming apparatus of Claim 1 or 2, Comprising: The said memory | storage means memorize | stores the said three-dimensional VR model according to each construction step of the said railway related facility, The forming means forms the superimposed image in which the three-dimensional VR model corresponding to the construction stage selected by the user is superimposed.
請求項4に記載の発明は、請求項1乃至3の何れか一項に記載の画像形成装置であって、前記画像取得手段により取得された撮影画像又は前記形成手段により形成された重畳画像において、ユーザにより指定された2点の3次元絶対座標を特定し、当該2点間の距離を算出する算出手段と、前記算出された2点間の距離を表示部に表示させる距離表示制御手段、を更に備えることを特徴とする。 A fourth aspect of the present invention is the image forming apparatus according to any one of the first to third aspects, wherein the captured image acquired by the image acquiring unit or the superimposed image formed by the forming unit is used. A calculation means for specifying the three-dimensional absolute coordinates of the two points designated by the user and calculating a distance between the two points; and a distance display control means for displaying the calculated distance between the two points on a display unit; Is further provided.
請求項5に記載の発明は、請求項1乃至4の何れか一項に記載の画像形成装置であって、前記重畳画像における実物の前記鉄道関連施設又は施工途中の当該鉄道関連施設の像を認識する認識手段と、前記認識された像と、前記重畳画像に重畳されている前記3次元VRモデルとを比較する比較手段と、前記比較結果を表示部に表示させる比較結果表示制御手段と、を更に備えることを特徴とする。
Invention of
請求項6に記載の発明は、請求項1乃至5の何れか一項に記載の画像形成装置と、前記撮影画像を撮影するカメラとを含む画像形成システムである。 A sixth aspect of the present invention is an image forming system including the image forming apparatus according to any one of the first to fifth aspects and a camera that captures the captured image.
請求項7に記載の発明は、鉄道関連施設を表す3次元VR(Virtual Reality)モデルと
、当該3次元VRモデルを構成する少なくとも2点以上の構成ポイントについて前記鉄道関連施設が設置された際に当該構成ポイントが位置すべき点を示す3次元絶対座標を特定可能な位置情報を記憶する記憶手段を備える画像形成装置に含まれるコンピュータを、前記鉄道関連施設が設置される現場を撮影した撮影画像を取得する画像取得手段、前記取得された撮影画像において何れかの前記構成ポイントについて記憶された前記位置情報により特定される3次元絶対座標に対応する点を特定する特定手段、前記特定された点と当該特定された点に対応する3次元絶対座標に対応する前記構成ポイントが一致するように、前記取得された撮影画像に前記3次元VRモデルを重畳させた重畳画像を形成する形成手段、として機能させることを特徴とする画像形成プログラムである。
According to the seventh aspect of the present invention, when the railway-related facility is installed with respect to a three-dimensional VR (Virtual Reality) model representing the railway-related facility and at least two constituent points constituting the three-dimensional VR model. A captured image obtained by photographing a computer included in an image forming apparatus including a storage unit that stores position information capable of specifying three-dimensional absolute coordinates indicating a point where the constituent point is to be located, at a site where the railway-related facility is installed Image acquisition means for acquiring a point, a specifying means for specifying a point corresponding to a three-dimensional absolute coordinate specified by the position information stored for any of the constituent points in the acquired photographed image, the specified point And the three-dimensional VR mode on the acquired captured image so that the constituent points corresponding to the three-dimensional absolute coordinates corresponding to the specified point coincide with each other. An image forming program for causing to function forming means for forming a superimposed image obtained by superimposing the Le a,.
本発明によれば、3次元絶対座標に基づいて、鉄道関連施設が設置される現場を撮影した撮影画像内の正確な位置に鉄道関連施設を表すCGが重畳された重畳画像を形成することができる。したがって、早期段階で施工ミスに気付くことができ、作業のやり直しも減り、また、作業確認を正確に行うことができる。 According to the present invention, based on the three-dimensional absolute coordinates, it is possible to form a superimposed image in which a CG representing a railway-related facility is superimposed at an accurate position in a captured image obtained by photographing a site where the railway-related facility is installed. it can. Therefore, it is possible to notice a construction error at an early stage, reduce the number of rework, and perform work confirmation accurately.
以下、図面を参照して本発明の実施形態について説明する。なお、以下に説明する実施の形態は、画像形成システムに対して本発明を適用した場合の実施形態である。 Hereinafter, embodiments of the present invention will be described with reference to the drawings. The embodiment described below is an embodiment when the present invention is applied to an image forming system.
[1.画像形成システムの構成及び機能概要]
先ず、本発明の一実施形態に係る画像形成システムSの構成及び概要機能について、図3を用いて説明する。
[1. Overview of image forming system configuration and functions]
First, the configuration and outline functions of the image forming system S according to an embodiment of the present invention will be described with reference to FIG.
図3は、本実施形態に係る画像形成システムSの概要構成の一例を示す図である。図3に示すように、画像形成システムSは、エスカレータ(「鉄道関連施設」の一例)が設置される現場を撮影するカメラ2と、画像形成装置1と、を含んで構成されている。カメラ
2としては、エスカレータが設置される現場を撮影する監視カメラを用いることができる。カメラ2と画像形成装置1は、ネットワークNWを介して接続されている。ネットワークNWは、例えば、インターネット、専用通信回線(例えば、CATV(Community Antenna Television)回線)、移動体通信網(基地局等を含む)、及びゲートウェイ等により構築されている。
FIG. 3 is a diagram illustrating an example of a schematic configuration of the image forming system S according to the present embodiment. As shown in FIG. 3, the image forming system S includes a camera 2 that captures a site where an escalator (an example of a “railway related facility”) is installed, and an image forming apparatus 1. As the camera 2, a surveillance camera for photographing the site where the escalator is installed can be used. The camera 2 and the image forming apparatus 1 are connected via a network NW. The network NW is constructed by, for example, the Internet, a dedicated communication line (for example, CATV (Community Antenna Television) line), a mobile communication network (including a base station), a gateway, and the like.
画像形成装置1は、エスカレータを表す3次元VR(Virtual Reality)モデル(以下、
「VRモデル」という。)を記憶しており、カメラ2により撮影された撮影画像にVRモデルを重畳させた重畳画像を形成する機能を有している。特に、画像形成装置1は、重畳画像を形成する際、設計図面に基づく絶対座標に従い、実際にエスカレータが設置される位置にVRモデルを重畳させる。
The image forming apparatus 1 includes a three-dimensional VR (Virtual Reality) model (hereinafter referred to as an escalator).
It is called “VR model”. ) And has a function of forming a superimposed image in which a VR model is superimposed on a captured image captured by the camera 2. In particular, when forming the superimposed image, the image forming apparatus 1 superimposes the VR model on the position where the escalator is actually installed according to the absolute coordinates based on the design drawing.
[2.画像形成装置1の構成]
図4は、本実施形態に係る画像形成装置1の概要構成例を示すブロック図である。図4に示すように、画像形成装置1は、制御部11、記憶部12、インターフェース部13、表示部14及び操作部15を備えている。
[2. Configuration of Image Forming Apparatus 1]
FIG. 4 is a block diagram illustrating a schematic configuration example of the image forming apparatus 1 according to the present embodiment. As illustrated in FIG. 4, the image forming apparatus 1 includes a
記憶部12は、例えば、HDD(Hard disk drive)等により構成されており、オペレ
ーティングシステムや、アプリケーションプログラム等の各種プログラムを記憶する。特に、本実施形態の記憶部12には、重畳画像を形成するためのアプリケーションプログラム(以下、「画像形成アプリ」という。)が記憶されている。なお、各種プログラムは、例えば、他のサーバ装置等からネットワークを介して取得されるようにしても良いし、CD(Compact Disc)、DVD(Digital Versatile Disc)等の記録媒体に記録されてドライブ装置を介して読み込まれるようにしても良い。
The
また、記憶部12(「記憶手段」の一例)は、エスカレータのVRモデルを記憶する。VRモデルは実際のエスカレータの設計図面に基づいて作成されている。記憶部12は、VRモデルを構成する構成ポイント(点群)について、次の(i)、(ii)の情報を記憶している。
(i)絶対座標(例えば緯度・経度)又は絶対座標に変換可能な位置情報
(ii)絶対的な高さを示す数値(例えば、地球楕円体からの高さ、東京湾中等潮位(TP(Tokyo Peil))からの高さ)又は絶対的な高さを示す数値に変換可能な高さ情報
つまり、記憶部12は、構成ポイント毎に3次元絶対座標、すなわち地球上の一点を特定可能な情報が記憶されている。
The storage unit 12 (an example of “storage unit”) stores the VR model of the escalator. The VR model is created based on the actual escalator design drawing. The
(i) Absolute coordinates (for example, latitude / longitude) or position information that can be converted to absolute coordinates
(ii) A numerical value indicating the absolute height (for example, the height from the Earth ellipsoid, the height from the Tokyo Bay middle tide level (TP (Tokyo Peil))) or a numerical value indicating the absolute height. Height information In other words, the
記憶部12には、エスカレータの部材毎にVRモデルが記憶されている。また、各部材について、施工段階情報、表示種別情報、施工段階開始日・終了日情報、順序情報が関連付けられている。施工段階情報は、その部材が何れの施工段階で用いられる部材であるかを示す情報である。表示種別情報は、その部材のVRモデルを表示するか否かを示す情報であり、ユーザが適宜変更可能な情報である。施工段階開始日・終了日情報は、その部材が用いられる施工段階の開始日・終了日を示す情報である。順序情報は、その部材が用いられる施工段階において施工される順序を示す情報である。これらの情報に基づいて、エスカレータが設置される前の状態の撮影画像(図5(A)参照)に、施工途中のVRモデルを重畳表示させたり(図5(B)参照)、エスカレータの施工完了時のVRモデルを重畳表示させたり(図5(C)参照)することができる。なお、本実施形態では説明の簡略化のために、エスカレータが土台部分31と本体部分32の2つの部材で構成されており、施工段階は土台部分を施工する第1施工段階と、本体部分を施工する第2施工段階(最終施工段階)の2段階からなることとする。
The
さらに、記憶部12は、カメラ2の重心点について次の(a)、(b)のカメラ位置情報を記憶している。
(a)絶対座標(例えば緯度・経度)又は絶対座標に変換可能な位置情報
(b)絶対的な高さを示す数値(例えば、地球楕円体からの高さ、東京湾中等潮位からの
高さ)又は絶対的な高さを示す数値に変換可能な高さ情報
つまり、記憶部12は、カメラ2の重心点について3次元絶対座標、すなわちカメラ2の重心点を特定可能な情報が記憶されている。
また、記憶部12は、カメラ2の姿勢についてカメラ2の水平角度及び垂直角度と、カメラ2のズーム倍率を記憶する。カメラ2の水平角度及び垂直角度と、カメラ2のズーム倍率はカメラ2の撮影範囲(撮影画像に写る範囲)を特定するための情報であることから撮影範囲特定情報と呼ぶ。なお、撮影範囲特定情報は、カメラ2の水平角度、垂直角度又はズーム倍率が変更される都度、修正される。この修正作業は、ユーザが適宜行うこととしてもよいし、画像形成装置1がカメラ2からこれらの情報を取得して、制御部11が修正することとしてもよい。
Further, the
(a) Absolute coordinates (for example, latitude and longitude) or position information that can be converted to absolute coordinates
(b) Numerical information indicating absolute height (for example, height from the Earth ellipsoid, height from the Tokyo Bay middle tide level) or height information that can be converted into numerical values indicating absolute height The
Further, the
インターフェース部13は、ネットワークNWを介して接続されたカメラ2から、カメラ2が撮影した撮影画像を受信するための窓口の役割を果たす。
The
表示部14は、例えば、液晶ディスプレイ等により構成されており、ユーザが画像形成システムS或いは画像形成装置1を操作する際の操作画面や、カメラ2から受信した撮影画像や、撮影画像にVRモデルを重畳させた重畳画像等を表示する。
The
操作部15は、例えば、キーボードやマウス等により構成されており、ユーザの操作を受け付け、操作内容を示す操作信号を制御部11に送信する。
The
制御部11は、CPU(Central Processing Unit)、ROM(Read Only Memory)、
RAM(Random Access Memory)等により構成されている。そして、コンピュータとしての制御部11は、記憶部12に記憶された画像形成アプリを読み出して実行することにより、重畳画像を形成するための処理を行う。このとき、制御部11は、画像取得手段、特定手段、形成手段、表示制御手段、算出手段、距離表示制御手段、認識手段、比較手段、比較結果表示制御手段として機能する。
The
It is composed of a RAM (Random Access Memory) or the like. And the
[3.重畳画像形成処理]
次に、画像形成装置1の制御部11による重畳画像形成処理について図6を用いて説明する。図6は、画像形成装置1の制御部11よる重畳画像形成処理を示すフローチャートである。なお、重畳画像形成処理は、ユーザが重畳画像の形成を開始させるための操作を行ったことを受けて開始する。この際、ユーザは何れの施設の何れの施工段階について重畳画像を表示させるかを選択するものとする。制御部11は、ユーザに選択された施工段階に応じて上述した表示種別情報を切り替える。
[3. Superimposed image formation processing]
Next, a superimposed image forming process performed by the
まず、制御部11は、ユーザにより選択された施設(例えば、エスカレータ)が設置される現場を撮影した撮影画像を取得する(ステップS1)。このとき、制御部11は、当該現場の近傍に設置されたカメラ2から撮影画像を取得することとしてもよいし、予めカメラ2から取得して記憶部12に記録されている撮影画像を取得することとしてもよい。
First, the
次に、制御部11は、ユーザにより選択された施工段階に応じたVRモデルを記憶部12から取得する(ステップS2)。例えば、上述したエスカレータの施工について第1施工段階がユーザにより選択された場合であれば、制御部11はエスカレータの土台部分31を表すVRモデルを取得する。また、第2施工段階がユーザにより選択された場合であれば、制御部11はエスカレータの土台部分31と本体部分32を表すVRモデルを取得する。
Next, the
次に、制御部11は、ステップS2の処理で取得したVRモデルを構成する2点の構成ポ
イントにおける3次元絶対座標を取得する(ステップS3)。このとき、制御部11は、任意の2点の構成ポイントを選択することができる。
Next, the
次に、制御部11は、ステップS3の処理で取得した2点分の3次元絶対座標が示す点を、ステップS1の処理で取得した撮影画像内で特定する(ステップS4)。具体的には、制御部11は、記憶部12に記憶されているカメラ位置情報及び撮影範囲特定情報に基づいて、撮影画像を構成する点(ピクセル)の絶対座標を算出し、ステップS3の処理で取得した2点分の3次元絶対座標が示す点を特定する。
Next, the
次に、制御部11は、3次元絶対座標に基づいて撮影画像にVRモデルを重畳させることにより重畳画像を形成する(ステップS5)。具体的には、制御部11は、ステップS4の処理で特定した撮影画像内の2点と、ステップS3の処理で取得した3次元絶対座標に対応するVRモデルの2点の構成ポイントがそれぞれ一致するようにVRモデルを重畳させる。
Next, the
次に、制御部11は、ステップS5の処理で形成した重畳画像を表示部14に表示させ(ステップS6)、当該フローチャートに示す処理を終了する。
Next, the
以上説明したように、画像形成装置1は、記憶部12(「記憶手段」の一例)が、エスカレータ(「鉄道関連施設」の一例)を表す3次元VR(Virtual Reality)モデルを記憶
するとともに、当該3次元VRモデルを構成する少なくとも2点以上の構成ポイントについて3次元絶対座標(「鉄道関連施設が設置された際に構成ポイントが位置すべき点を示す3次元絶対座標を特定可能な位置情報」の一例)を記憶し、また、制御部11(「画像取得手段」、「特定手段」、「形成手段」の一例)が、ユーザにより選択された施設(例えば、エスカレータ)が設置される現場を撮影した撮影画像を取得し、取得した撮影画像において何れかの構成ポイントについて記憶された3次元絶対座標に対応する点を特定し、特定した点と当該特定した点に対応する3次元絶対座標に対応する構成ポイントが一致するように、撮影画像に3次元VRモデルを重畳させた重畳画像を形成する。また、制御部11(「表示制御手段」の一例)は、形成した重畳画像を表示部14に表示させる。
As described above, in the image forming apparatus 1, the storage unit 12 (an example of “storage unit”) stores a three-dimensional VR (Virtual Reality) model representing an escalator (an example of “railway related facility”), Three-dimensional absolute coordinates ("position information that can specify the three-dimensional absolute coordinates indicating the points where the constituent points should be located when a railway-related facility is installed" for at least two constituent points constituting the three-dimensional VR model ”And the control unit 11 (an example of“ image acquisition means ”,“ specification means ”,“ formation means ”) is a site where the facility (eg, escalator) selected by the user is installed. Is obtained, and a point corresponding to the three-dimensional absolute coordinate stored for any one of the constituent points in the obtained photographed image is identified, and the identified point and the identified point are associated. A superimposed image is formed by superimposing the three-dimensional VR model on the captured image so that the constituent points corresponding to the three-dimensional absolute coordinates coincide. In addition, the control unit 11 (an example of “display control unit”) displays the formed superimposed image on the
したがって、画像形成装置1によれば、エスカレータが設置される現場を撮影した撮影画像にて正確な位置にエスカレータを表す3次元VRモデル(「CG」の一例)を重畳させた重畳画像を形成し、表示部14に表示させることができる。
Therefore, according to the image forming apparatus 1, a superimposed image is formed by superimposing a three-dimensional VR model (an example of “CG”) representing an escalator at an accurate position in a photographed image obtained by photographing a site where the escalator is installed. Can be displayed on the
また、施工途中の段階で、実構造物と3次元VRモデルにズレが生じていないかを重畳画像より直感的に確認することができ、早い段階で施工ミスに気付くことができ、作業効率が向上する。 In addition, it is possible to intuitively confirm from the superimposed image whether the actual structure and the 3D VR model are misaligned in the middle of the construction. improves.
さらに、3次元VRモデルを重畳するため、既設構造物との取り合いが明確になり、現状の現場あわせによる設計変更の減少が期待できる。 Furthermore, since the 3D VR model is superimposed, the relationship with the existing structure becomes clear, and a reduction in design changes due to the adjustment of the current site can be expected.
さらにまた、施工着手前から施工段階毎の現場の状況を視覚的に把握できることから、工事概要説明、施工計画策定に活用することができる。 Furthermore, since the situation at the construction stage can be visually grasped before the start of construction, it can be utilized for explanation of construction outline and construction plan formulation.
さらにまた、カメラ2として遠隔操作可能な監視カメラを用いることにより、施工現場に赴くことなく現場確認を行うことができることから、監督員などの移動コスト等を縮減することができる。 Furthermore, by using a remotely operable monitoring camera as the camera 2, it is possible to confirm the site without going to the construction site, so that it is possible to reduce the travel costs of supervisors and the like.
さらにまた、本実施形態の重畳画像は3次元絶対座標を用いて形成していることから、従来の重畳画像を形成する技術(例えば、現場に設置されたマーカーに基づいてCGを重畳
させるAR技術や、CGを重畳させる際の位置合わせにGPS情報を用いる技術)と比較して、
正確な位置に3次元VRモデルを重畳させることができる。また、AR技術と比較すれば、現場にマーカーを設置せずに済むと行ったメリットがある。
Furthermore, since the superimposed image of the present embodiment is formed using three-dimensional absolute coordinates, a conventional technique for forming a superimposed image (for example, an AR technique for superimposing CG based on markers installed in the field) Compared to the technology that uses GPS information for positioning when superimposing CG)
A 3D VR model can be superimposed at an accurate position. Also, compared to AR technology, there is an advantage that was made when it was not necessary to install a marker at the site.
さらにまた、施工監督員は、わざわざ施工現場に出向かなくとも画像形成装置1により形成された重畳画像を表示部14又は他の端末装置の表示部に表示させることにより、任意の場所で現場の状況確認をすることができる。また、施工監督員の保持する端末装置に重畳画像を表示させるとともに、現場作業員の端末装置に重畳画像を表示させることで、別々の場所にいる両者が重畳画像を参照しながら電話等で作業内容について議論することができる。なお、画像形成装置1により形成した重畳画像を他の端末装置に表示させる場合には、画像形成装置1から他の端末装置にネットワークNWを介して重畳画像データを転送したり、又は、重畳画像データをUSB(Universal Serial Bus)メモリ等の記録媒体に記録して、これを読み込ませたりすることにより表示させることができる。
Furthermore, the construction supervisor can display the superimposed image formed by the image forming apparatus 1 on the
なお、本発明は、上述した実施の形態に限定されるわけではなく、その他種々の変更が可能である。 In addition, this invention is not necessarily limited to embodiment mentioned above, A various other change is possible.
[4.変形例]
[4.1.施工段階の切替]
図6に示すステップS1からステップS6の処理が実行されて表示部14に重複画像が表示されている状態において、ユーザにより別の施工段階が選択された場合には、制御部11が再度、当該選択された施工段階に応じたVRモデルを取得し(ステップS2)、後続のステップS3からステップS6の処理を実行することとしてもよい。この場合、画像形成装置1は、適宜ユーザにより選択された施工段階に応じたVRモデルを重畳した重畳画像を表示させることとなる。これにより、ユーザは任意の施工段階における重畳画像を随時確認することができる。なお、施工段階の指定を施工日から指定できるようにしてもよい。制御部11は、ユーザにより施工日が指定された場合には、記憶部12に記憶された施工段階開始日・終了日情報に基づいてその施工日が何れの施工段階に該当するかを特定し、ステップS2の処理において当該特定した施工段階に応じた部材のVRモデルを取得することとする。
[4. Modified example]
[4.1. Switch of construction stage]
In the state where the processing from step S1 to step S6 shown in FIG. 6 is executed and the overlapping image is displayed on the
[4.2.2点間の距離表示]
また、制御部11(「算出手段」、「距離表示制御手段」の一例)が、撮影画像又は重複画像においてユーザにより2点が指定された場合に、当該指定された2点の3次元絶対座標を特定し、当該2点間の距離を算出し、表示部14に表示させることとしてもよい。従来、一般的に多用されているCGは寸法及び位置情報が正確ではないため、仮想空間内の相対的な位置関係を計測することができなかったが、上記実施形態によれば、3次元絶対座標に基づいて2点間の距離が測定することが可能であるため、より精密な距離の測定ができる。例えば、建築限界定規をVRモデルで作成しておけば、活線状況でも限界支障の判定を行うことができるようになり、現実空間では実施できない検証も可能となる。また、施工途中の構造物の寸法や間隔を重畳画像内の座標系を用いて容易に計測することができ、たとえ列車近接エリアであっても列車運行の有無に関わらず画面上で計測が可能となる。
[4.2.2 Distance display between points]
In addition, when the control unit 11 (an example of “calculation unit” and “distance display control unit”) specifies two points by the user in the captured image or the overlapping image, the specified two-dimensional three-dimensional absolute coordinates. And the distance between the two points may be calculated and displayed on the
[4.3.ズレ検知機能]
さらに、制御部11(「認識手段」、「比較手段」、「比較結果表示制御手段」の一例)は、重畳画像における実物のエスカレータ(「鉄道関連施設」の一例)の像又は施工途中のエスカレータの像を認識し、当該認識した像と、重畳画像に重畳されているVRモデルとを比較し、比較結果を表示部14に表示させることとしてもよい。比較結果としては、「設計図よりθ度ズレが生じています」といったメッセージを表示することとしてもよいし、単にズレを示す数値を表示することとしてもよい。また、制御部11は、認識した像とVRモデルとを比較した結果、ズレが予め定められた閾値より大きい場合にのみ比較結果を表示することとしてもよい。本変形例によれば、実構造物と3次元VRモデルにズレが生
じていないか、或いはズレが生じている場合のズレの度合いを客観的に把握することができる。
[4.3. Misalignment detection function]
Further, the control unit 11 (an example of “recognition unit”, “comparison unit”, “comparison result display control unit”) is an image of an actual escalator (an example of “railway related facility”) or an escalator in the middle of construction in the superimposed image. The recognized image may be compared with the VR model superimposed on the superimposed image, and the comparison result may be displayed on the
[4.4.侵害禁止エリアのVRモデル作成]
さらにまた、作業現場において作業員や構造物が入り込んではいけない侵害禁止エリアについてVRモデルを作成して記憶部12に記憶させておき、制御部11が撮影画像に当該VRモデルを重畳させた重畳画像を形成することとしてもよい。これにより、作業員や構造物が侵害禁止エリアに入り込んだ場合であっても即座にその事実を視覚的に把握することができる。
[4.4. VR model creation for infringement prohibited areas]
Furthermore, a VR model is created for the infringement prohibited area where workers and structures should not enter at the work site and is stored in the
[4.5.3次元絶対座標の最少化]
上記実施形態では、記憶部12がVRモデルを構成する全ての構成ポイントについて3次元絶対座標を記憶しておくこととしたが、少なくとも2点について3次元絶対座標が記憶されていれば、撮影画像の正確な位置にVRモデルを重畳させることができることから、構成ポイントの2点についてのみ3次元絶対座標を記憶しておくこととしてもよい。勿論、3点以上の構成ポイントについて3次元絶対座標を記憶しておくこととしてもよい。
[4.5. Minimization of 3D absolute coordinates]
In the embodiment described above, the
1 画像形成装置
11 制御部
12 記憶部
13 インターフェース部
14 表示部
15 操作部
2 カメラ
NW ネットワーク
DESCRIPTION OF SYMBOLS 1
Claims (7)
成する少なくとも2点以上の構成ポイントについて前記鉄道関連施設が設置された際に当該構成ポイントが位置すべき点を示す3次元絶対座標を特定可能な位置情報を記憶する記憶手段と、
前記鉄道関連施設が設置される現場を撮影した撮影画像を取得する画像取得手段と、
前記取得された撮影画像において何れかの前記構成ポイントについて記憶された前記位置情報により特定される3次元絶対座標に対応する点を特定する特定手段と、
前記特定された点と当該特定された点に対応する3次元絶対座標に対応する前記構成ポイントが一致するように、前記取得された撮影画像に前記3次元VRモデルを重畳させた重畳画像を形成する形成手段と、
を備えることを特徴とする画像形成装置。 A three-dimensional VR (Virtual Reality) model representing a railway-related facility, and a point where the constituent point should be located when at least two constituent points constituting the three-dimensional VR model are installed. Storage means for storing position information capable of specifying the three-dimensional absolute coordinates shown;
Image acquisition means for acquiring a captured image of the site where the railway-related facility is installed;
Specifying means for specifying a point corresponding to the three-dimensional absolute coordinate specified by the position information stored for any of the constituent points in the acquired captured image;
A superimposed image is formed by superimposing the three-dimensional VR model on the acquired captured image so that the identified point and the constituent point corresponding to the three-dimensional absolute coordinate corresponding to the identified point coincide with each other. Forming means to
An image forming apparatus comprising:
前記形成手段により形成された重畳画像を表示部に表示させる表示制御手段を、更に備えることを特徴とする画像形成装置。 The image forming apparatus according to claim 1,
An image forming apparatus, further comprising display control means for displaying a superimposed image formed by the forming means on a display unit.
前記記憶手段は、前記鉄道関連施設の各施工段階に応じた前記3次元VRモデルを記憶し、
前記形成手段は、ユーザにより選択された施工段階に応じた前記3次元VRモデルを重畳させた前記重畳画像を形成することを特徴とする画像形成装置。 The image forming apparatus according to claim 1, wherein
The storage means stores the three-dimensional VR model corresponding to each construction stage of the railway-related facility,
The image forming apparatus, wherein the forming unit forms the superimposed image in which the three-dimensional VR model is superimposed according to a construction stage selected by a user.
前記画像取得手段により取得された撮影画像又は前記形成手段により形成された重畳画像において、ユーザにより指定された2点の3次元絶対座標を特定し、当該2点間の距離を算出する算出手段と、
前記算出された2点間の距離を表示部に表示させる距離表示制御手段、を更に備えることを特徴とする画像形成装置。 The image forming apparatus according to any one of claims 1 to 3,
Calculating means for specifying three-dimensional absolute coordinates of two points designated by a user in a captured image acquired by the image acquiring means or a superimposed image formed by the forming means, and calculating a distance between the two points; ,
An image forming apparatus, further comprising: a distance display control unit that causes the display unit to display the calculated distance between the two points.
前記重畳画像における実物の前記鉄道関連施設又は施工途中の当該鉄道関連施設の像を認識する認識手段と、
前記認識された像と、前記重畳画像に重畳されている前記3次元VRモデルとを比較する比較手段と、
前記比較結果を表示部に表示させる比較結果表示制御手段と、
を更に備えることを特徴とする画像形成装置。 An image forming apparatus according to any one of claims 1 to 4,
Recognizing means for recognizing an image of the railway-related facility or the railway-related facility in the middle of construction in the superimposed image;
Comparison means for comparing the recognized image with the three-dimensional VR model superimposed on the superimposed image;
Comparison result display control means for displaying the comparison result on a display unit;
An image forming apparatus further comprising:
成する少なくとも2点以上の構成ポイントについて前記鉄道関連施設が設置された際に当該構成ポイントが位置すべき点を示す3次元絶対座標を特定可能な位置情報を記憶する記憶手段を備える画像形成装置に含まれるコンピュータを、
前記鉄道関連施設が設置される現場を撮影した撮影画像を取得する画像取得手段、
前記取得された撮影画像において何れかの前記構成ポイントについて記憶された前記位置情報により特定される3次元絶対座標に対応する点を特定する特定手段、
前記特定された点と当該特定された点に対応する3次元絶対座標に対応する前記構成ポ
イントが一致するように、前記取得された撮影画像に前記3次元VRモデルを重畳させた重畳画像を形成する形成手段、
として機能させることを特徴とする画像形成プログラム。 A three-dimensional VR (Virtual Reality) model representing a railway-related facility, and a point where the constituent point should be located when at least two constituent points constituting the three-dimensional VR model are installed. A computer included in an image forming apparatus including a storage unit that stores position information capable of specifying three-dimensional absolute coordinates shown;
Image acquisition means for acquiring a photographed image of the site where the railway-related facility is installed;
Specifying means for specifying a point corresponding to the three-dimensional absolute coordinate specified by the position information stored for any of the constituent points in the acquired photographed image;
A superimposed image is formed by superimposing the three-dimensional VR model on the acquired captured image so that the identified point and the constituent point corresponding to the three-dimensional absolute coordinate corresponding to the identified point coincide with each other. Forming means,
An image forming program that functions as a computer program.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2012151103A JP5963577B2 (en) | 2012-07-05 | 2012-07-05 | Image forming apparatus, image forming system, and image forming program |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2012151103A JP5963577B2 (en) | 2012-07-05 | 2012-07-05 | Image forming apparatus, image forming system, and image forming program |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2014013527A true JP2014013527A (en) | 2014-01-23 |
JP5963577B2 JP5963577B2 (en) | 2016-08-03 |
Family
ID=50109163
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2012151103A Expired - Fee Related JP5963577B2 (en) | 2012-07-05 | 2012-07-05 | Image forming apparatus, image forming system, and image forming program |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP5963577B2 (en) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN106844823A (en) * | 2016-11-23 | 2017-06-13 | 广州广日电梯工业有限公司 | A kind of modeling method of staircase civil engineering |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH1125290A (en) * | 1997-06-30 | 1999-01-29 | Hitachi Ltd | System for grasping size in three-dimensional space |
JP2001249985A (en) * | 1999-12-27 | 2001-09-14 | Ohbayashi Corp | Execution plan supporting system, execution plan supporting method, and recording medium recorded with computer program for realizing execution plan supporting system |
JP2002092044A (en) * | 2000-09-19 | 2002-03-29 | Olympus Optical Co Ltd | Equipment management system and its method and recording medium with equipment management program recorded thereon |
JP2003296379A (en) * | 2002-04-05 | 2003-10-17 | Fuontaajiyu:Kk | Simulation method |
JP2008144379A (en) * | 2006-12-06 | 2008-06-26 | Shin Caterpillar Mitsubishi Ltd | Image processing system of remote controlled working machine |
-
2012
- 2012-07-05 JP JP2012151103A patent/JP5963577B2/en not_active Expired - Fee Related
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH1125290A (en) * | 1997-06-30 | 1999-01-29 | Hitachi Ltd | System for grasping size in three-dimensional space |
JP2001249985A (en) * | 1999-12-27 | 2001-09-14 | Ohbayashi Corp | Execution plan supporting system, execution plan supporting method, and recording medium recorded with computer program for realizing execution plan supporting system |
JP2002092044A (en) * | 2000-09-19 | 2002-03-29 | Olympus Optical Co Ltd | Equipment management system and its method and recording medium with equipment management program recorded thereon |
JP2003296379A (en) * | 2002-04-05 | 2003-10-17 | Fuontaajiyu:Kk | Simulation method |
JP2008144379A (en) * | 2006-12-06 | 2008-06-26 | Shin Caterpillar Mitsubishi Ltd | Image processing system of remote controlled working machine |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN106844823A (en) * | 2016-11-23 | 2017-06-13 | 广州广日电梯工业有限公司 | A kind of modeling method of staircase civil engineering |
CN106844823B (en) * | 2016-11-23 | 2020-08-28 | 广州广日电梯工业有限公司 | Modeling method for staircase civil engineering |
Also Published As
Publication number | Publication date |
---|---|
JP5963577B2 (en) | 2016-08-03 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP7310972B2 (en) | Flight information control method, information processing device and computer program | |
US8588471B2 (en) | Method and device of mapping and localization method using the same | |
CN104988928B (en) | Method for monitoring foundation pit excavation horizontal displacement in real-time manner based on digital images | |
EP2930959B1 (en) | Locating method, drive test terminal and hand-held terminal | |
CN109826248B (en) | Method for applying three-dimensional laser scanner to foundation pit deformation monitoring | |
CN108427346B (en) | Assembled structure hoist and mount control management system | |
CN106940187B (en) | Navigation method and system for mine ground rapid inspection | |
JP6291560B1 (en) | Structure management support system and structure management method | |
JP2019153274A (en) | Position calculation device, position calculation program, position calculation method, and content addition system | |
JP6386263B2 (en) | Image forming apparatus, image forming system, and image forming program | |
CN105698784A (en) | Indoor robot positioning system and method | |
US20120183205A1 (en) | Method for displacement measurement, device for displacement measurement, and program for displacement measurement | |
JP5963577B2 (en) | Image forming apparatus, image forming system, and image forming program | |
JP2013186005A (en) | Site layout production system and laser measuring device | |
CN110178157B (en) | Self-position estimation device, self-position estimation method, program, and image processing device | |
CN113282978A (en) | Method for generating railway station signal plane layout diagram based on BIM model | |
Wang et al. | A construction progress on-site monitoring and presentation system based on the integration of augmented reality and BIM | |
JP5998396B2 (en) | Triaxial sign measurement method, triaxial sign measurement program, and triaxial sign measurement apparatus | |
JP5750733B1 (en) | Railway track structure measurement support device, railway track structure measurement method, railroad track structure measurement support program, recording medium | |
JP7042380B1 (en) | Display device, program and display method | |
Saidi et al. | Development and use of the NIST intelligent and automated construction job site testbed | |
KR102332407B1 (en) | Device and method for construction site recognition based on the bim model | |
JP2021089208A (en) | Excavation support system | |
JP2015081814A (en) | Position measurement system of movable body | |
CN115409871B (en) | Three-dimensional scene virtual-real interaction method and device based on position intelligence |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20150416 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20160127 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20160209 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20160310 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20160621 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20160628 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 5963577 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
LAPS | Cancellation because of no payment of annual fees |