JP2014013527A - Image forming apparatus, image forming system, and image forming program - Google Patents

Image forming apparatus, image forming system, and image forming program Download PDF

Info

Publication number
JP2014013527A
JP2014013527A JP2012151103A JP2012151103A JP2014013527A JP 2014013527 A JP2014013527 A JP 2014013527A JP 2012151103 A JP2012151103 A JP 2012151103A JP 2012151103 A JP2012151103 A JP 2012151103A JP 2014013527 A JP2014013527 A JP 2014013527A
Authority
JP
Japan
Prior art keywords
image
dimensional
image forming
superimposed
forming apparatus
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2012151103A
Other languages
Japanese (ja)
Other versions
JP5963577B2 (en
Inventor
Takashi Tahara
孝 田原
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
East Japan Railway Co
Original Assignee
East Japan Railway Co
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by East Japan Railway Co filed Critical East Japan Railway Co
Priority to JP2012151103A priority Critical patent/JP5963577B2/en
Publication of JP2014013527A publication Critical patent/JP2014013527A/en
Application granted granted Critical
Publication of JP5963577B2 publication Critical patent/JP5963577B2/en
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

PROBLEM TO BE SOLVED: To provide an image forming apparatus, and the like capable of forming a superimposed image in which CG representing railway related facilities are superimposed on a precise position of a photographed image obtained by photographing a site where the railway related facilities are installed.SOLUTION: An image forming apparatus acquires three-dimensional absolute coordinates of two specific points on a three-dimensional VR (virtual reality) model, determines corresponding points corresponding to the specific points in a photographed image acquired by a camera on the basis of installation information and camera parameter information of the camera, and generates an image in which a three-dimensional VR (virtual reality) model image is superimposed such that the corresponding points of the photographed image coincide with the specific points of the three-dimensional VR (virtual reality) model.

Description

本発明は、施設が設置される現場を撮影した画像に設置施設を表すCG(Computer Graphics)を重畳させた画像を形成する画像形成装置等の技術分野に関する。   The present invention relates to a technical field such as an image forming apparatus that forms an image obtained by superimposing CG (Computer Graphics) representing an installation facility on an image of a site where the facility is installed.

従来、土木・建設分野では、作業者が予め用意された設計図面通りに作業を行うことができるように様々な工夫がなされている。古くから用いられている丁張はその一例である。ところが、丁張を正確に設置するためには高度な技術が要求される。また、作業の途中段階では図面通りに作業が進められているかを大まかにしか把握することができない。   Conventionally, in the field of civil engineering / construction, various ideas have been made so that an operator can work according to a design drawing prepared in advance. An example of this is the traditional Japanese style. However, advanced technology is required to accurately install the tension. Further, it is possible to roughly grasp whether the work is proceeding as shown in the drawing in the middle of the work.

そのため、図1に示すように、2本の柱51、52の上部に上部工53を架設する場合において、図1(A)に示す柱51、52の施工途中段階では柱51と柱52が互いに平行に立設されて施工が正しく行われていると判断され易く、次いで図1(B)に示す柱51、52の完成時にも施工が正しく行われていると判断され易い。そして、図1(C)に示す上部工53を架設する施工段階において柱51、52が垂直に立設されていないことが判明し施工ミスに気付くといった事態が起こりえる。この場合、柱51、52を立設する施工段階に立ち戻って、作業をやり直さなければならない。   Therefore, as shown in FIG. 1, when the superstructure 53 is installed on top of the two columns 51, 52, the columns 51 and 52 are in the middle of the construction of the columns 51, 52 shown in FIG. It is easy to determine that the construction is correctly performed by standing in parallel with each other, and it is easy to determine that the construction is correctly performed when the columns 51 and 52 shown in FIG. 1B are completed. And in the construction stage where the superstructure 53 shown in FIG. 1 (C) is installed, it becomes clear that the columns 51 and 52 are not erected vertically, and a situation where a construction error is noticed may occur. In this case, it is necessary to return to the construction stage where the pillars 51 and 52 are erected and to redo the work.

一方で、鉄道に関連する施設に関する施工を行う鉄道建設分野においては、活線近傍箇所ではき電停止後や線路閉鎖後でなければ作業確認をできないなどの問題があり、いつでも作業確認を容易にできる技術が求められている。   On the other hand, in the railway construction field, where construction related to railways is performed, there is a problem that work confirmation can only be done after a stoppage of power transmission or after the track is closed in the vicinity of the live line. Technology that can be done is required.

ところで、近年ではCGを土木・建設分野に用いる技術が数多く提案されている。例えば、特許文献1には、水中バックホーを用いて視界の悪い濁った海中での作業を行う場合に、作業対象物及びバックホーのクラブバケット(土砂を掘削し、揚土する部分)を表すCGを海上の表示装置に表示させる技術が開示されている。この技術では、作業対象物に接触した際の負荷(反力)を検出する接触センサと、接触センサの位置を算出するための変位情報を検出する変位検出センサをバックホーに設け、これらのセンサから入力される情報を基にCGを形成し、表示させている。この技術によれば、作業現場の視界が悪い場合であってもCGに基づいて作業を進めることができるという利点がある。   By the way, in recent years, many techniques for using CG in the field of civil engineering and construction have been proposed. For example, Patent Document 1 discloses a CG representing a work object and a backhoe club bucket (a part for excavating and unloading earth and sand) when working in a cloudy sea with poor visibility using an underwater backhoe. A technique for displaying on a marine display device is disclosed. In this technique, a back sensor is provided with a contact sensor that detects a load (reaction force) when contacting a work object, and a displacement detection sensor that detects displacement information for calculating the position of the contact sensor. CG is formed and displayed based on the input information. According to this technology, there is an advantage that work can be performed based on CG even when the field of view of the work site is poor.

そこで、鉄道建設分野においてもCGを導入することが提案される。具体的には、鉄道関連施設が設置される現場を撮影した撮影画像に、設計図面通りに鉄道関連施設を表すCGを重畳させることが提案される。例えば、図2に示すように、柱51、52が立設される現場を撮影した撮影画像60に、設計図面に従って柱52を表すCG59を重畳させることができれば、早期段階(図1の例では(A)に示す段階)にて施工ミスに気付くことができ、作業のやり直しを最小限にとどめることができる。   Therefore, it is proposed to introduce CG in the railway construction field. Specifically, it is proposed to superimpose a CG representing a railroad-related facility on a photographed image of a site where the railroad-related facility is installed according to a design drawing. For example, as shown in FIG. 2, if a CG 59 representing the pillar 52 can be superimposed on a photographed image 60 taken of the site where the pillars 51 and 52 are erected in accordance with the design drawing, an early stage (in the example of FIG. 1). At the stage shown in (A), a construction error can be noticed, and the rework can be minimized.

特開2003−278159JP 2003-278159 A

しかしながら、特許文献1に記載の技術によれば鉄道関連施設等の作業対象物に工作機械が直接接触する必要があり、上記提案のように、鉄道関連施設が設置される現場を離れた位置から撮影した画像にCGを正確な位置に重畳させることができないという問題があっ
た。このように、CGが撮影画像の正確な位置に重畳されなければ、施工ミスに気付きにくく、また、作業確認を正確に行うことができない。
However, according to the technique described in Patent Document 1, the machine tool needs to be in direct contact with a work target such as a railway-related facility, and as proposed above, the site where the railway-related facility is installed is located away from the position. There was a problem that CG could not be superimposed on the exact position on the photographed image. As described above, unless the CG is superimposed on the exact position of the photographed image, it is difficult to notice the construction mistake and the work confirmation cannot be performed accurately.

本発明は、このような問題等に鑑みて為されたもので、鉄道関連施設が設置される現場を撮影した撮影画像における正確な位置に鉄道関連施設を表すCGが重畳された重畳画像を形成することのできる画像形成装置等を提供することを課題とする。   The present invention has been made in view of such problems and the like, and forms a superimposed image in which a CG representing a railway-related facility is superimposed at an accurate position in a captured image obtained by photographing a site where the railway-related facility is installed. It is an object of the present invention to provide an image forming apparatus and the like that can be used.

上記課題を解決するために、請求項1に記載の発明は、鉄道関連施設を表す3次元VR(Virtual Reality)モデルと、当該3次元VRモデルを構成する少なくとも2点以上の構成
ポイントについて前記鉄道関連施設が設置された際に当該構成ポイントが位置すべき点を示す3次元絶対座標を特定可能な位置情報を記憶する記憶手段と、前記鉄道関連施設が設置される現場を撮影した撮影画像を取得する画像取得手段と、前記取得された撮影画像において何れかの前記構成ポイントについて記憶された前記位置情報により特定される3次元絶対座標に対応する点を特定する特定手段と、前記特定された点と当該特定された点に対応する3次元絶対座標に対応する前記構成ポイントが一致するように、前記取得された撮影画像に前記3次元VRモデルを重畳させた重畳画像を形成する形成手段と、を備えることを特徴とする。
In order to solve the above-mentioned problem, the invention according to claim 1 is directed to a three-dimensional VR (Virtual Reality) model representing a railway-related facility and at least two or more constituent points constituting the three-dimensional VR model. Storage means for storing position information capable of specifying a three-dimensional absolute coordinate indicating a point where the constituent point should be located when the related facility is installed, and a captured image obtained by photographing the site where the railway related facility is installed An image acquisition means for acquiring, a specifying means for specifying a point corresponding to a three-dimensional absolute coordinate specified by the position information stored for any of the constituent points in the acquired captured image, and the specified The 3D VR model is superimposed on the acquired captured image so that a point matches the constituent point corresponding to the 3D absolute coordinate corresponding to the identified point. And forming means for forming a superimposed image, characterized in that it comprises a.

鉄道関連施設とは、例えば、駅(駅舎、プラットホーム、駅ビル等)、こ線橋(自由通路含む)、エレベータ、エスカレータといった昇降設備、鉄道線路(軌道の他に架線や信号設備を含む)、トンネルや高架橋といった鉄道構造物、線路に近接する施設・建物などが挙げられる。   Railway-related facilities include, for example, stations (station buildings, platforms, station buildings, etc.), railroad bridges (including free passages), elevators and escalators, railroad tracks (including overhead lines and signal equipment in addition to tracks), Examples include railway structures such as tunnels and viaducts, and facilities and buildings that are close to tracks.

また、3次元絶対座標を特定可能な位置情報は、3次元絶対座標(例えば、(緯度、経度、東京湾中等潮位からの高さ))そのものであってもよいし、例えば、予め定められた3次元絶対座標を基準とする相対座標であってもよい。   Further, the position information that can specify the three-dimensional absolute coordinates may be the three-dimensional absolute coordinates (for example, (latitude, longitude, height from the tidal level in Tokyo Bay)) itself, for example, predetermined information Relative coordinates based on three-dimensional absolute coordinates may be used.

さらに、撮影画像は、動画像又は静止画像の何れの画像であってもよい。同様に、形成される重畳画像は、動画像に3次元VRモデルを重畳させた画像であってもよいし、静止画像に3次元VRモデルを重畳させた画像であってもよい。なお、動画像に3次元VRモデルを重畳させる場合には、監視カメラ等により撮影された動画像を撮影画像として採用することができる。監視カメラは鉄道関連施設が設置される現場近傍に設置されていることが多いので、新たに重畳画像を形成するためのカメラを設けずに済むといったメリットがある。   Furthermore, the captured image may be either a moving image or a still image. Similarly, the formed superimposed image may be an image in which a 3D VR model is superimposed on a moving image, or may be an image in which a 3D VR model is superimposed on a still image. When a 3D VR model is superimposed on a moving image, a moving image captured by a surveillance camera or the like can be used as a captured image. Since surveillance cameras are often installed near the site where railway-related facilities are installed, there is an advantage that it is not necessary to provide a camera for forming a new superimposed image.

請求項2に記載の発明は、請求項1に記載の画像形成装置であって、前記形成手段により形成された重畳画像を表示部に表示させる表示制御手段を、更に備えることを特徴とする。   A second aspect of the present invention is the image forming apparatus according to the first aspect, further comprising display control means for displaying a superimposed image formed by the forming means on a display unit.

請求項3に記載の発明は、請求項1又は2に記載の画像形成装置であって、前記記憶手段は、前記鉄道関連施設の各施工段階に応じた前記3次元VRモデルを記憶し、前記形成手段は、ユーザにより選択された施工段階に応じた前記3次元VRモデルを重畳させた前記重畳画像を形成することを特徴とする。   Invention of Claim 3 is an image forming apparatus of Claim 1 or 2, Comprising: The said memory | storage means memorize | stores the said three-dimensional VR model according to each construction step of the said railway related facility, The forming means forms the superimposed image in which the three-dimensional VR model corresponding to the construction stage selected by the user is superimposed.

請求項4に記載の発明は、請求項1乃至3の何れか一項に記載の画像形成装置であって、前記画像取得手段により取得された撮影画像又は前記形成手段により形成された重畳画像において、ユーザにより指定された2点の3次元絶対座標を特定し、当該2点間の距離を算出する算出手段と、前記算出された2点間の距離を表示部に表示させる距離表示制御手段、を更に備えることを特徴とする。   A fourth aspect of the present invention is the image forming apparatus according to any one of the first to third aspects, wherein the captured image acquired by the image acquiring unit or the superimposed image formed by the forming unit is used. A calculation means for specifying the three-dimensional absolute coordinates of the two points designated by the user and calculating a distance between the two points; and a distance display control means for displaying the calculated distance between the two points on a display unit; Is further provided.

請求項5に記載の発明は、請求項1乃至4の何れか一項に記載の画像形成装置であって、前記重畳画像における実物の前記鉄道関連施設又は施工途中の当該鉄道関連施設の像を認識する認識手段と、前記認識された像と、前記重畳画像に重畳されている前記3次元VRモデルとを比較する比較手段と、前記比較結果を表示部に表示させる比較結果表示制御手段と、を更に備えることを特徴とする。   Invention of Claim 5 is an image forming apparatus as described in any one of Claim 1 thru | or 4, Comprising: The image of the said railway related facility of the said real thing in the said superimposition image, or the said railway related facility in the middle of construction Recognizing recognition means, comparing means for comparing the recognized image with the three-dimensional VR model superimposed on the superimposed image, comparison result display control means for displaying the comparison result on a display unit, Is further provided.

請求項6に記載の発明は、請求項1乃至5の何れか一項に記載の画像形成装置と、前記撮影画像を撮影するカメラとを含む画像形成システムである。   A sixth aspect of the present invention is an image forming system including the image forming apparatus according to any one of the first to fifth aspects and a camera that captures the captured image.

請求項7に記載の発明は、鉄道関連施設を表す3次元VR(Virtual Reality)モデルと
、当該3次元VRモデルを構成する少なくとも2点以上の構成ポイントについて前記鉄道関連施設が設置された際に当該構成ポイントが位置すべき点を示す3次元絶対座標を特定可能な位置情報を記憶する記憶手段を備える画像形成装置に含まれるコンピュータを、前記鉄道関連施設が設置される現場を撮影した撮影画像を取得する画像取得手段、前記取得された撮影画像において何れかの前記構成ポイントについて記憶された前記位置情報により特定される3次元絶対座標に対応する点を特定する特定手段、前記特定された点と当該特定された点に対応する3次元絶対座標に対応する前記構成ポイントが一致するように、前記取得された撮影画像に前記3次元VRモデルを重畳させた重畳画像を形成する形成手段、として機能させることを特徴とする画像形成プログラムである。
According to the seventh aspect of the present invention, when the railway-related facility is installed with respect to a three-dimensional VR (Virtual Reality) model representing the railway-related facility and at least two constituent points constituting the three-dimensional VR model. A captured image obtained by photographing a computer included in an image forming apparatus including a storage unit that stores position information capable of specifying three-dimensional absolute coordinates indicating a point where the constituent point is to be located, at a site where the railway-related facility is installed Image acquisition means for acquiring a point, a specifying means for specifying a point corresponding to a three-dimensional absolute coordinate specified by the position information stored for any of the constituent points in the acquired photographed image, the specified point And the three-dimensional VR mode on the acquired captured image so that the constituent points corresponding to the three-dimensional absolute coordinates corresponding to the specified point coincide with each other. An image forming program for causing to function forming means for forming a superimposed image obtained by superimposing the Le a,.

本発明によれば、3次元絶対座標に基づいて、鉄道関連施設が設置される現場を撮影した撮影画像内の正確な位置に鉄道関連施設を表すCGが重畳された重畳画像を形成することができる。したがって、早期段階で施工ミスに気付くことができ、作業のやり直しも減り、また、作業確認を正確に行うことができる。   According to the present invention, based on the three-dimensional absolute coordinates, it is possible to form a superimposed image in which a CG representing a railway-related facility is superimposed at an accurate position in a captured image obtained by photographing a site where the railway-related facility is installed. it can. Therefore, it is possible to notice a construction error at an early stage, reduce the number of rework, and perform work confirmation accurately.

従来の施工ミスが発覚する際の様子を示す例図である。It is an example figure which shows the mode when the conventional construction mistake is detected. 撮影画像に設計図面に従って柱52を表すCG59を重畳させた場合の一例を示す図である。It is a figure which shows an example at the time of superimposing CG59 showing the pillar 52 on a picked-up image according to a design drawing. 画像形成システムSの構成の一例を示すブロック図である。1 is a block diagram illustrating an example of a configuration of an image forming system S. FIG. 画像形成装置1の構成を示すブロック図である。1 is a block diagram illustrating a configuration of an image forming apparatus 1. FIG. (A)エスカレータが設置される前の状態の撮影画像の一例を示す図である。(B)撮影画像に施工途中のエスカレータのVRモデルを重畳させた重畳画像の一例を示す図である。(C)撮影画像に施工完了時のエスカレータのVRモデルを重畳させた重畳画像の一例を示す図である。(A) It is a figure which shows an example of the picked-up image of the state before an escalator is installed. (B) It is a figure which shows an example of the superimposition image which superimposed the VR model of the escalator in the middle of construction on the picked-up image. (C) It is a figure which shows an example of the superimposition image which superimposed the VR model of the escalator at the time of construction completion on the picked-up image. 制御部11による重畳画像形成処理の一例を示すフローチャートである。4 is a flowchart illustrating an example of a superimposed image forming process performed by a control unit 11.

以下、図面を参照して本発明の実施形態について説明する。なお、以下に説明する実施の形態は、画像形成システムに対して本発明を適用した場合の実施形態である。   Hereinafter, embodiments of the present invention will be described with reference to the drawings. The embodiment described below is an embodiment when the present invention is applied to an image forming system.

[1.画像形成システムの構成及び機能概要]
先ず、本発明の一実施形態に係る画像形成システムSの構成及び概要機能について、図3を用いて説明する。
[1. Overview of image forming system configuration and functions]
First, the configuration and outline functions of the image forming system S according to an embodiment of the present invention will be described with reference to FIG.

図3は、本実施形態に係る画像形成システムSの概要構成の一例を示す図である。図3に示すように、画像形成システムSは、エスカレータ(「鉄道関連施設」の一例)が設置される現場を撮影するカメラ2と、画像形成装置1と、を含んで構成されている。カメラ
2としては、エスカレータが設置される現場を撮影する監視カメラを用いることができる。カメラ2と画像形成装置1は、ネットワークNWを介して接続されている。ネットワークNWは、例えば、インターネット、専用通信回線(例えば、CATV(Community Antenna Television)回線)、移動体通信網(基地局等を含む)、及びゲートウェイ等により構築されている。
FIG. 3 is a diagram illustrating an example of a schematic configuration of the image forming system S according to the present embodiment. As shown in FIG. 3, the image forming system S includes a camera 2 that captures a site where an escalator (an example of a “railway related facility”) is installed, and an image forming apparatus 1. As the camera 2, a surveillance camera for photographing the site where the escalator is installed can be used. The camera 2 and the image forming apparatus 1 are connected via a network NW. The network NW is constructed by, for example, the Internet, a dedicated communication line (for example, CATV (Community Antenna Television) line), a mobile communication network (including a base station), a gateway, and the like.

画像形成装置1は、エスカレータを表す3次元VR(Virtual Reality)モデル(以下、
「VRモデル」という。)を記憶しており、カメラ2により撮影された撮影画像にVRモデルを重畳させた重畳画像を形成する機能を有している。特に、画像形成装置1は、重畳画像を形成する際、設計図面に基づく絶対座標に従い、実際にエスカレータが設置される位置にVRモデルを重畳させる。
The image forming apparatus 1 includes a three-dimensional VR (Virtual Reality) model (hereinafter referred to as an escalator).
It is called “VR model”. ) And has a function of forming a superimposed image in which a VR model is superimposed on a captured image captured by the camera 2. In particular, when forming the superimposed image, the image forming apparatus 1 superimposes the VR model on the position where the escalator is actually installed according to the absolute coordinates based on the design drawing.

[2.画像形成装置1の構成]
図4は、本実施形態に係る画像形成装置1の概要構成例を示すブロック図である。図4に示すように、画像形成装置1は、制御部11、記憶部12、インターフェース部13、表示部14及び操作部15を備えている。
[2. Configuration of Image Forming Apparatus 1]
FIG. 4 is a block diagram illustrating a schematic configuration example of the image forming apparatus 1 according to the present embodiment. As illustrated in FIG. 4, the image forming apparatus 1 includes a control unit 11, a storage unit 12, an interface unit 13, a display unit 14, and an operation unit 15.

記憶部12は、例えば、HDD(Hard disk drive)等により構成されており、オペレ
ーティングシステムや、アプリケーションプログラム等の各種プログラムを記憶する。特に、本実施形態の記憶部12には、重畳画像を形成するためのアプリケーションプログラム(以下、「画像形成アプリ」という。)が記憶されている。なお、各種プログラムは、例えば、他のサーバ装置等からネットワークを介して取得されるようにしても良いし、CD(Compact Disc)、DVD(Digital Versatile Disc)等の記録媒体に記録されてドライブ装置を介して読み込まれるようにしても良い。
The storage unit 12 includes, for example, a hard disk drive (HDD) and stores various programs such as an operating system and application programs. In particular, an application program for forming a superimposed image (hereinafter referred to as “image forming application”) is stored in the storage unit 12 of the present embodiment. Note that the various programs may be acquired from another server device or the like via a network, or may be recorded on a recording medium such as a CD (Compact Disc) or a DVD (Digital Versatile Disc) to be a drive device. You may make it read via.

また、記憶部12(「記憶手段」の一例)は、エスカレータのVRモデルを記憶する。VRモデルは実際のエスカレータの設計図面に基づいて作成されている。記憶部12は、VRモデルを構成する構成ポイント(点群)について、次の(i)、(ii)の情報を記憶している。
(i)絶対座標(例えば緯度・経度)又は絶対座標に変換可能な位置情報
(ii)絶対的な高さを示す数値(例えば、地球楕円体からの高さ、東京湾中等潮位(TP(Tokyo Peil))からの高さ)又は絶対的な高さを示す数値に変換可能な高さ情報
つまり、記憶部12は、構成ポイント毎に3次元絶対座標、すなわち地球上の一点を特定可能な情報が記憶されている。
The storage unit 12 (an example of “storage unit”) stores the VR model of the escalator. The VR model is created based on the actual escalator design drawing. The storage unit 12 stores the following information (i) and (ii) for the configuration points (point groups) that make up the VR model.
(i) Absolute coordinates (for example, latitude / longitude) or position information that can be converted to absolute coordinates
(ii) A numerical value indicating the absolute height (for example, the height from the Earth ellipsoid, the height from the Tokyo Bay middle tide level (TP (Tokyo Peil))) or a numerical value indicating the absolute height. Height information In other words, the storage unit 12 stores three-dimensional absolute coordinates for each constituent point, that is, information that can identify one point on the earth.

記憶部12には、エスカレータの部材毎にVRモデルが記憶されている。また、各部材について、施工段階情報、表示種別情報、施工段階開始日・終了日情報、順序情報が関連付けられている。施工段階情報は、その部材が何れの施工段階で用いられる部材であるかを示す情報である。表示種別情報は、その部材のVRモデルを表示するか否かを示す情報であり、ユーザが適宜変更可能な情報である。施工段階開始日・終了日情報は、その部材が用いられる施工段階の開始日・終了日を示す情報である。順序情報は、その部材が用いられる施工段階において施工される順序を示す情報である。これらの情報に基づいて、エスカレータが設置される前の状態の撮影画像(図5(A)参照)に、施工途中のVRモデルを重畳表示させたり(図5(B)参照)、エスカレータの施工完了時のVRモデルを重畳表示させたり(図5(C)参照)することができる。なお、本実施形態では説明の簡略化のために、エスカレータが土台部分31と本体部分32の2つの部材で構成されており、施工段階は土台部分を施工する第1施工段階と、本体部分を施工する第2施工段階(最終施工段階)の2段階からなることとする。   The storage unit 12 stores a VR model for each escalator member. Further, construction stage information, display type information, construction stage start / end date information, and order information are associated with each member. The construction stage information is information indicating at which construction stage the member is used. The display type information is information indicating whether or not to display the VR model of the member, and is information that can be appropriately changed by the user. The construction stage start date / end date information is information indicating the start date / end date of the construction stage in which the member is used. The order information is information indicating the order of construction in the construction stage where the member is used. Based on this information, the VR model in the middle of construction can be superimposed on the captured image (see FIG. 5A) before the escalator is installed (see FIG. 5B), or the escalator construction The completed VR model can be displayed in a superimposed manner (see FIG. 5C). In this embodiment, for simplicity of explanation, the escalator is composed of two members, a base portion 31 and a main body portion 32, and the construction stage includes a first construction stage for constructing the base portion, and a main body portion. It shall consist of two stages of the second construction stage (final construction stage) to be constructed.

さらに、記憶部12は、カメラ2の重心点について次の(a)、(b)のカメラ位置情報を記憶している。
(a)絶対座標(例えば緯度・経度)又は絶対座標に変換可能な位置情報
(b)絶対的な高さを示す数値(例えば、地球楕円体からの高さ、東京湾中等潮位からの
高さ)又は絶対的な高さを示す数値に変換可能な高さ情報
つまり、記憶部12は、カメラ2の重心点について3次元絶対座標、すなわちカメラ2の重心点を特定可能な情報が記憶されている。
また、記憶部12は、カメラ2の姿勢についてカメラ2の水平角度及び垂直角度と、カメラ2のズーム倍率を記憶する。カメラ2の水平角度及び垂直角度と、カメラ2のズーム倍率はカメラ2の撮影範囲(撮影画像に写る範囲)を特定するための情報であることから撮影範囲特定情報と呼ぶ。なお、撮影範囲特定情報は、カメラ2の水平角度、垂直角度又はズーム倍率が変更される都度、修正される。この修正作業は、ユーザが適宜行うこととしてもよいし、画像形成装置1がカメラ2からこれらの情報を取得して、制御部11が修正することとしてもよい。
Further, the storage unit 12 stores the following camera position information (a) and (b) for the center of gravity of the camera 2.
(a) Absolute coordinates (for example, latitude and longitude) or position information that can be converted to absolute coordinates
(b) Numerical information indicating absolute height (for example, height from the Earth ellipsoid, height from the Tokyo Bay middle tide level) or height information that can be converted into numerical values indicating absolute height The unit 12 stores three-dimensional absolute coordinates for the center of gravity of the camera 2, that is, information that can specify the center of gravity of the camera 2.
Further, the storage unit 12 stores the horizontal angle and vertical angle of the camera 2 and the zoom magnification of the camera 2 with respect to the posture of the camera 2. Since the horizontal angle and vertical angle of the camera 2 and the zoom magnification of the camera 2 are information for specifying the shooting range of the camera 2 (the range shown in the shot image), they are called shooting range specifying information. The shooting range specifying information is corrected every time the horizontal angle, vertical angle, or zoom magnification of the camera 2 is changed. This correction work may be appropriately performed by the user, or the image forming apparatus 1 may acquire such information from the camera 2 and the control unit 11 may correct the information.

インターフェース部13は、ネットワークNWを介して接続されたカメラ2から、カメラ2が撮影した撮影画像を受信するための窓口の役割を果たす。   The interface unit 13 serves as a window for receiving a captured image captured by the camera 2 from the camera 2 connected via the network NW.

表示部14は、例えば、液晶ディスプレイ等により構成されており、ユーザが画像形成システムS或いは画像形成装置1を操作する際の操作画面や、カメラ2から受信した撮影画像や、撮影画像にVRモデルを重畳させた重畳画像等を表示する。   The display unit 14 is configured by, for example, a liquid crystal display or the like, and a VR model is added to an operation screen when the user operates the image forming system S or the image forming apparatus 1, a captured image received from the camera 2, A superimposed image or the like on which is superimposed is displayed.

操作部15は、例えば、キーボードやマウス等により構成されており、ユーザの操作を受け付け、操作内容を示す操作信号を制御部11に送信する。   The operation unit 15 includes, for example, a keyboard and a mouse, receives a user operation, and transmits an operation signal indicating the operation content to the control unit 11.

制御部11は、CPU(Central Processing Unit)、ROM(Read Only Memory)、
RAM(Random Access Memory)等により構成されている。そして、コンピュータとしての制御部11は、記憶部12に記憶された画像形成アプリを読み出して実行することにより、重畳画像を形成するための処理を行う。このとき、制御部11は、画像取得手段、特定手段、形成手段、表示制御手段、算出手段、距離表示制御手段、認識手段、比較手段、比較結果表示制御手段として機能する。
The control unit 11 includes a CPU (Central Processing Unit), a ROM (Read Only Memory),
It is composed of a RAM (Random Access Memory) or the like. And the control part 11 as a computer performs the process for forming a superimposed image by reading and executing the image formation application memorize | stored in the memory | storage part 12. FIG. At this time, the control unit 11 functions as an image acquisition unit, an identification unit, a forming unit, a display control unit, a calculation unit, a distance display control unit, a recognition unit, a comparison unit, and a comparison result display control unit.

[3.重畳画像形成処理]
次に、画像形成装置1の制御部11による重畳画像形成処理について図6を用いて説明する。図6は、画像形成装置1の制御部11よる重畳画像形成処理を示すフローチャートである。なお、重畳画像形成処理は、ユーザが重畳画像の形成を開始させるための操作を行ったことを受けて開始する。この際、ユーザは何れの施設の何れの施工段階について重畳画像を表示させるかを選択するものとする。制御部11は、ユーザに選択された施工段階に応じて上述した表示種別情報を切り替える。
[3. Superimposed image formation processing]
Next, a superimposed image forming process performed by the control unit 11 of the image forming apparatus 1 will be described with reference to FIG. FIG. 6 is a flowchart illustrating a superimposed image forming process performed by the control unit 11 of the image forming apparatus 1. Note that the superimposed image forming process starts when the user performs an operation for starting the formation of a superimposed image. At this time, it is assumed that the user selects which construction stage of which facility is to display the superimposed image. The control unit 11 switches the display type information described above according to the construction stage selected by the user.

まず、制御部11は、ユーザにより選択された施設(例えば、エスカレータ)が設置される現場を撮影した撮影画像を取得する(ステップS1)。このとき、制御部11は、当該現場の近傍に設置されたカメラ2から撮影画像を取得することとしてもよいし、予めカメラ2から取得して記憶部12に記録されている撮影画像を取得することとしてもよい。   First, the control part 11 acquires the picked-up image which image | photographed the field | site in which the plant | facility (for example, escalator) selected by the user is installed (step S1). At this time, the control unit 11 may acquire a captured image from the camera 2 installed in the vicinity of the site, or acquire a captured image previously acquired from the camera 2 and recorded in the storage unit 12. It is good as well.

次に、制御部11は、ユーザにより選択された施工段階に応じたVRモデルを記憶部12から取得する(ステップS2)。例えば、上述したエスカレータの施工について第1施工段階がユーザにより選択された場合であれば、制御部11はエスカレータの土台部分31を表すVRモデルを取得する。また、第2施工段階がユーザにより選択された場合であれば、制御部11はエスカレータの土台部分31と本体部分32を表すVRモデルを取得する。   Next, the control part 11 acquires the VR model according to the construction stage selected by the user from the memory | storage part 12 (step S2). For example, if the first construction stage is selected by the user for the construction of the escalator described above, the control unit 11 acquires a VR model representing the base portion 31 of the escalator. If the second construction stage is selected by the user, the control unit 11 acquires a VR model representing the base portion 31 and the main body portion 32 of the escalator.

次に、制御部11は、ステップS2の処理で取得したVRモデルを構成する2点の構成ポ
イントにおける3次元絶対座標を取得する(ステップS3)。このとき、制御部11は、任意の2点の構成ポイントを選択することができる。
Next, the control part 11 acquires the three-dimensional absolute coordinate in the two structural points which comprise the VR model acquired by the process of step S2 (step S3). At this time, the control unit 11 can select two arbitrary configuration points.

次に、制御部11は、ステップS3の処理で取得した2点分の3次元絶対座標が示す点を、ステップS1の処理で取得した撮影画像内で特定する(ステップS4)。具体的には、制御部11は、記憶部12に記憶されているカメラ位置情報及び撮影範囲特定情報に基づいて、撮影画像を構成する点(ピクセル)の絶対座標を算出し、ステップS3の処理で取得した2点分の3次元絶対座標が示す点を特定する。   Next, the control part 11 specifies the point which the three-dimensional absolute coordinate for two points acquired by the process of step S3 shows in the picked-up image acquired by the process of step S1 (step S4). Specifically, the control unit 11 calculates the absolute coordinates of the points (pixels) constituting the captured image based on the camera position information and the imaging range specifying information stored in the storage unit 12, and the process of step S3 The points indicated by the three-dimensional absolute coordinates for the two points acquired in step 1 are specified.

次に、制御部11は、3次元絶対座標に基づいて撮影画像にVRモデルを重畳させることにより重畳画像を形成する(ステップS5)。具体的には、制御部11は、ステップS4の処理で特定した撮影画像内の2点と、ステップS3の処理で取得した3次元絶対座標に対応するVRモデルの2点の構成ポイントがそれぞれ一致するようにVRモデルを重畳させる。   Next, the control unit 11 forms a superimposed image by superimposing the VR model on the captured image based on the three-dimensional absolute coordinates (step S5). Specifically, the control unit 11 matches the two constituent points of the VR model corresponding to the three-dimensional absolute coordinates acquired in the process of step S3 and the two points in the captured image specified in the process of step S4. Superimpose the VR model.

次に、制御部11は、ステップS5の処理で形成した重畳画像を表示部14に表示させ(ステップS6)、当該フローチャートに示す処理を終了する。   Next, the control unit 11 displays the superimposed image formed in the process of step S5 on the display unit 14 (step S6), and ends the process shown in the flowchart.

以上説明したように、画像形成装置1は、記憶部12(「記憶手段」の一例)が、エスカレータ(「鉄道関連施設」の一例)を表す3次元VR(Virtual Reality)モデルを記憶
するとともに、当該3次元VRモデルを構成する少なくとも2点以上の構成ポイントについて3次元絶対座標(「鉄道関連施設が設置された際に構成ポイントが位置すべき点を示す3次元絶対座標を特定可能な位置情報」の一例)を記憶し、また、制御部11(「画像取得手段」、「特定手段」、「形成手段」の一例)が、ユーザにより選択された施設(例えば、エスカレータ)が設置される現場を撮影した撮影画像を取得し、取得した撮影画像において何れかの構成ポイントについて記憶された3次元絶対座標に対応する点を特定し、特定した点と当該特定した点に対応する3次元絶対座標に対応する構成ポイントが一致するように、撮影画像に3次元VRモデルを重畳させた重畳画像を形成する。また、制御部11(「表示制御手段」の一例)は、形成した重畳画像を表示部14に表示させる。
As described above, in the image forming apparatus 1, the storage unit 12 (an example of “storage unit”) stores a three-dimensional VR (Virtual Reality) model representing an escalator (an example of “railway related facility”), Three-dimensional absolute coordinates ("position information that can specify the three-dimensional absolute coordinates indicating the points where the constituent points should be located when a railway-related facility is installed" for at least two constituent points constituting the three-dimensional VR model ”And the control unit 11 (an example of“ image acquisition means ”,“ specification means ”,“ formation means ”) is a site where the facility (eg, escalator) selected by the user is installed. Is obtained, and a point corresponding to the three-dimensional absolute coordinate stored for any one of the constituent points in the obtained photographed image is identified, and the identified point and the identified point are associated. A superimposed image is formed by superimposing the three-dimensional VR model on the captured image so that the constituent points corresponding to the three-dimensional absolute coordinates coincide. In addition, the control unit 11 (an example of “display control unit”) displays the formed superimposed image on the display unit 14.

したがって、画像形成装置1によれば、エスカレータが設置される現場を撮影した撮影画像にて正確な位置にエスカレータを表す3次元VRモデル(「CG」の一例)を重畳させた重畳画像を形成し、表示部14に表示させることができる。   Therefore, according to the image forming apparatus 1, a superimposed image is formed by superimposing a three-dimensional VR model (an example of “CG”) representing an escalator at an accurate position in a photographed image obtained by photographing a site where the escalator is installed. Can be displayed on the display unit 14.

また、施工途中の段階で、実構造物と3次元VRモデルにズレが生じていないかを重畳画像より直感的に確認することができ、早い段階で施工ミスに気付くことができ、作業効率が向上する。   In addition, it is possible to intuitively confirm from the superimposed image whether the actual structure and the 3D VR model are misaligned in the middle of the construction. improves.

さらに、3次元VRモデルを重畳するため、既設構造物との取り合いが明確になり、現状の現場あわせによる設計変更の減少が期待できる。   Furthermore, since the 3D VR model is superimposed, the relationship with the existing structure becomes clear, and a reduction in design changes due to the adjustment of the current site can be expected.

さらにまた、施工着手前から施工段階毎の現場の状況を視覚的に把握できることから、工事概要説明、施工計画策定に活用することができる。   Furthermore, since the situation at the construction stage can be visually grasped before the start of construction, it can be utilized for explanation of construction outline and construction plan formulation.

さらにまた、カメラ2として遠隔操作可能な監視カメラを用いることにより、施工現場に赴くことなく現場確認を行うことができることから、監督員などの移動コスト等を縮減することができる。   Furthermore, by using a remotely operable monitoring camera as the camera 2, it is possible to confirm the site without going to the construction site, so that it is possible to reduce the travel costs of supervisors and the like.

さらにまた、本実施形態の重畳画像は3次元絶対座標を用いて形成していることから、従来の重畳画像を形成する技術(例えば、現場に設置されたマーカーに基づいてCGを重畳
させるAR技術や、CGを重畳させる際の位置合わせにGPS情報を用いる技術)と比較して、
正確な位置に3次元VRモデルを重畳させることができる。また、AR技術と比較すれば、現場にマーカーを設置せずに済むと行ったメリットがある。
Furthermore, since the superimposed image of the present embodiment is formed using three-dimensional absolute coordinates, a conventional technique for forming a superimposed image (for example, an AR technique for superimposing CG based on markers installed in the field) Compared to the technology that uses GPS information for positioning when superimposing CG)
A 3D VR model can be superimposed at an accurate position. Also, compared to AR technology, there is an advantage that was made when it was not necessary to install a marker at the site.

さらにまた、施工監督員は、わざわざ施工現場に出向かなくとも画像形成装置1により形成された重畳画像を表示部14又は他の端末装置の表示部に表示させることにより、任意の場所で現場の状況確認をすることができる。また、施工監督員の保持する端末装置に重畳画像を表示させるとともに、現場作業員の端末装置に重畳画像を表示させることで、別々の場所にいる両者が重畳画像を参照しながら電話等で作業内容について議論することができる。なお、画像形成装置1により形成した重畳画像を他の端末装置に表示させる場合には、画像形成装置1から他の端末装置にネットワークNWを介して重畳画像データを転送したり、又は、重畳画像データをUSB(Universal Serial Bus)メモリ等の記録媒体に記録して、これを読み込ませたりすることにより表示させることができる。   Furthermore, the construction supervisor can display the superimposed image formed by the image forming apparatus 1 on the display unit 14 or the display unit of another terminal device without going to the construction site. You can check the situation. In addition, the superimposed image is displayed on the terminal device held by the construction supervisor, and the superimposed image is displayed on the terminal device of the field worker, so that both persons in different places can work by telephone while referring to the superimposed image. Discuss content. When displaying the superimposed image formed by the image forming apparatus 1 on another terminal apparatus, the superimposed image data is transferred from the image forming apparatus 1 to the other terminal apparatus via the network NW, or the superimposed image is displayed. Data can be displayed by recording the data in a recording medium such as a USB (Universal Serial Bus) memory and reading the data.

なお、本発明は、上述した実施の形態に限定されるわけではなく、その他種々の変更が可能である。   In addition, this invention is not necessarily limited to embodiment mentioned above, A various other change is possible.

[4.変形例]
[4.1.施工段階の切替]
図6に示すステップS1からステップS6の処理が実行されて表示部14に重複画像が表示されている状態において、ユーザにより別の施工段階が選択された場合には、制御部11が再度、当該選択された施工段階に応じたVRモデルを取得し(ステップS2)、後続のステップS3からステップS6の処理を実行することとしてもよい。この場合、画像形成装置1は、適宜ユーザにより選択された施工段階に応じたVRモデルを重畳した重畳画像を表示させることとなる。これにより、ユーザは任意の施工段階における重畳画像を随時確認することができる。なお、施工段階の指定を施工日から指定できるようにしてもよい。制御部11は、ユーザにより施工日が指定された場合には、記憶部12に記憶された施工段階開始日・終了日情報に基づいてその施工日が何れの施工段階に該当するかを特定し、ステップS2の処理において当該特定した施工段階に応じた部材のVRモデルを取得することとする。
[4. Modified example]
[4.1. Switch of construction stage]
In the state where the processing from step S1 to step S6 shown in FIG. 6 is executed and the overlapping image is displayed on the display unit 14, when another construction stage is selected by the user, the control unit 11 again It is good also as acquiring the VR model according to the selected construction stage (step S2), and performing the process of subsequent step S3 to step S6. In this case, the image forming apparatus 1 displays a superimposed image in which the VR model corresponding to the construction stage selected by the user is appropriately superimposed. Thereby, the user can confirm the superimposed image in arbitrary construction stages at any time. The construction stage may be designated from the construction date. When the construction date is designated by the user, the control unit 11 specifies which construction stage the construction date corresponds to based on the construction stage start date / end date information stored in the storage unit 12. The VR model of the member corresponding to the specified construction stage is acquired in the process of step S2.

[4.2.2点間の距離表示]
また、制御部11(「算出手段」、「距離表示制御手段」の一例)が、撮影画像又は重複画像においてユーザにより2点が指定された場合に、当該指定された2点の3次元絶対座標を特定し、当該2点間の距離を算出し、表示部14に表示させることとしてもよい。従来、一般的に多用されているCGは寸法及び位置情報が正確ではないため、仮想空間内の相対的な位置関係を計測することができなかったが、上記実施形態によれば、3次元絶対座標に基づいて2点間の距離が測定することが可能であるため、より精密な距離の測定ができる。例えば、建築限界定規をVRモデルで作成しておけば、活線状況でも限界支障の判定を行うことができるようになり、現実空間では実施できない検証も可能となる。また、施工途中の構造物の寸法や間隔を重畳画像内の座標系を用いて容易に計測することができ、たとえ列車近接エリアであっても列車運行の有無に関わらず画面上で計測が可能となる。
[4.2.2 Distance display between points]
In addition, when the control unit 11 (an example of “calculation unit” and “distance display control unit”) specifies two points by the user in the captured image or the overlapping image, the specified two-dimensional three-dimensional absolute coordinates. And the distance between the two points may be calculated and displayed on the display unit 14. Conventionally, since CG and size information that are commonly used in general are not accurate in size and position information, it has not been possible to measure the relative positional relationship in the virtual space. Since the distance between two points can be measured based on the coordinates, a more precise distance can be measured. For example, if a building limit ruler is created with a VR model, it becomes possible to determine a limit hindrance even in a live line situation, and verification that cannot be performed in real space is also possible. In addition, the dimensions and intervals of structures during construction can be easily measured using the coordinate system in the superimposed image, and can be measured on the screen regardless of whether the train is operating, even in the train proximity area. It becomes.

[4.3.ズレ検知機能]
さらに、制御部11(「認識手段」、「比較手段」、「比較結果表示制御手段」の一例)は、重畳画像における実物のエスカレータ(「鉄道関連施設」の一例)の像又は施工途中のエスカレータの像を認識し、当該認識した像と、重畳画像に重畳されているVRモデルとを比較し、比較結果を表示部14に表示させることとしてもよい。比較結果としては、「設計図よりθ度ズレが生じています」といったメッセージを表示することとしてもよいし、単にズレを示す数値を表示することとしてもよい。また、制御部11は、認識した像とVRモデルとを比較した結果、ズレが予め定められた閾値より大きい場合にのみ比較結果を表示することとしてもよい。本変形例によれば、実構造物と3次元VRモデルにズレが生
じていないか、或いはズレが生じている場合のズレの度合いを客観的に把握することができる。
[4.3. Misalignment detection function]
Further, the control unit 11 (an example of “recognition unit”, “comparison unit”, “comparison result display control unit”) is an image of an actual escalator (an example of “railway related facility”) or an escalator in the middle of construction in the superimposed image. The recognized image may be compared with the VR model superimposed on the superimposed image, and the comparison result may be displayed on the display unit 14. As a comparison result, a message such as “deviation of θ degrees from the design drawing” may be displayed, or a numerical value indicating the deviation may be simply displayed. Further, the control unit 11 may display the comparison result only when the deviation is larger than a predetermined threshold as a result of comparing the recognized image with the VR model. According to this modification, it is possible to objectively grasp the degree of deviation when there is no deviation between the actual structure and the three-dimensional VR model or when there is a deviation.

[4.4.侵害禁止エリアのVRモデル作成]
さらにまた、作業現場において作業員や構造物が入り込んではいけない侵害禁止エリアについてVRモデルを作成して記憶部12に記憶させておき、制御部11が撮影画像に当該VRモデルを重畳させた重畳画像を形成することとしてもよい。これにより、作業員や構造物が侵害禁止エリアに入り込んだ場合であっても即座にその事実を視覚的に把握することができる。
[4.4. VR model creation for infringement prohibited areas]
Furthermore, a VR model is created for the infringement prohibited area where workers and structures should not enter at the work site and is stored in the storage unit 12, and the control unit 11 superimposes the VR model on the captured image. It is good also as forming. Thereby, even if a worker or a structure enters the infringement prohibited area, the fact can be immediately grasped visually.

[4.5.3次元絶対座標の最少化]
上記実施形態では、記憶部12がVRモデルを構成する全ての構成ポイントについて3次元絶対座標を記憶しておくこととしたが、少なくとも2点について3次元絶対座標が記憶されていれば、撮影画像の正確な位置にVRモデルを重畳させることができることから、構成ポイントの2点についてのみ3次元絶対座標を記憶しておくこととしてもよい。勿論、3点以上の構成ポイントについて3次元絶対座標を記憶しておくこととしてもよい。
[4.5. Minimization of 3D absolute coordinates]
In the embodiment described above, the storage unit 12 stores the three-dimensional absolute coordinates for all the constituent points constituting the VR model. However, if the three-dimensional absolute coordinates are stored for at least two points, the captured image is stored. Since the VR model can be superimposed on the exact position of, three-dimensional absolute coordinates may be stored only for the two constituent points. Of course, three-dimensional absolute coordinates may be stored for three or more constituent points.

1 画像形成装置
11 制御部
12 記憶部
13 インターフェース部
14 表示部
15 操作部
2 カメラ
NW ネットワーク
DESCRIPTION OF SYMBOLS 1 Image forming apparatus 11 Control part 12 Memory | storage part 13 Interface part 14 Display part 15 Operation part 2 Camera NW network

Claims (7)

鉄道関連施設を表す3次元VR(Virtual Reality)モデルと、当該3次元VRモデルを構
成する少なくとも2点以上の構成ポイントについて前記鉄道関連施設が設置された際に当該構成ポイントが位置すべき点を示す3次元絶対座標を特定可能な位置情報を記憶する記憶手段と、
前記鉄道関連施設が設置される現場を撮影した撮影画像を取得する画像取得手段と、
前記取得された撮影画像において何れかの前記構成ポイントについて記憶された前記位置情報により特定される3次元絶対座標に対応する点を特定する特定手段と、
前記特定された点と当該特定された点に対応する3次元絶対座標に対応する前記構成ポイントが一致するように、前記取得された撮影画像に前記3次元VRモデルを重畳させた重畳画像を形成する形成手段と、
を備えることを特徴とする画像形成装置。
A three-dimensional VR (Virtual Reality) model representing a railway-related facility, and a point where the constituent point should be located when at least two constituent points constituting the three-dimensional VR model are installed. Storage means for storing position information capable of specifying the three-dimensional absolute coordinates shown;
Image acquisition means for acquiring a captured image of the site where the railway-related facility is installed;
Specifying means for specifying a point corresponding to the three-dimensional absolute coordinate specified by the position information stored for any of the constituent points in the acquired captured image;
A superimposed image is formed by superimposing the three-dimensional VR model on the acquired captured image so that the identified point and the constituent point corresponding to the three-dimensional absolute coordinate corresponding to the identified point coincide with each other. Forming means to
An image forming apparatus comprising:
請求項1に記載の画像形成装置であって、
前記形成手段により形成された重畳画像を表示部に表示させる表示制御手段を、更に備えることを特徴とする画像形成装置。
The image forming apparatus according to claim 1,
An image forming apparatus, further comprising display control means for displaying a superimposed image formed by the forming means on a display unit.
請求項1又は2に記載の画像形成装置であって、
前記記憶手段は、前記鉄道関連施設の各施工段階に応じた前記3次元VRモデルを記憶し、
前記形成手段は、ユーザにより選択された施工段階に応じた前記3次元VRモデルを重畳させた前記重畳画像を形成することを特徴とする画像形成装置。
The image forming apparatus according to claim 1, wherein
The storage means stores the three-dimensional VR model corresponding to each construction stage of the railway-related facility,
The image forming apparatus, wherein the forming unit forms the superimposed image in which the three-dimensional VR model is superimposed according to a construction stage selected by a user.
請求項1乃至3の何れか一項に記載の画像形成装置であって、
前記画像取得手段により取得された撮影画像又は前記形成手段により形成された重畳画像において、ユーザにより指定された2点の3次元絶対座標を特定し、当該2点間の距離を算出する算出手段と、
前記算出された2点間の距離を表示部に表示させる距離表示制御手段、を更に備えることを特徴とする画像形成装置。
The image forming apparatus according to any one of claims 1 to 3,
Calculating means for specifying three-dimensional absolute coordinates of two points designated by a user in a captured image acquired by the image acquiring means or a superimposed image formed by the forming means, and calculating a distance between the two points; ,
An image forming apparatus, further comprising: a distance display control unit that causes the display unit to display the calculated distance between the two points.
請求項1乃至4の何れか一項に記載の画像形成装置であって、
前記重畳画像における実物の前記鉄道関連施設又は施工途中の当該鉄道関連施設の像を認識する認識手段と、
前記認識された像と、前記重畳画像に重畳されている前記3次元VRモデルとを比較する比較手段と、
前記比較結果を表示部に表示させる比較結果表示制御手段と、
を更に備えることを特徴とする画像形成装置。
An image forming apparatus according to any one of claims 1 to 4,
Recognizing means for recognizing an image of the railway-related facility or the railway-related facility in the middle of construction in the superimposed image;
Comparison means for comparing the recognized image with the three-dimensional VR model superimposed on the superimposed image;
Comparison result display control means for displaying the comparison result on a display unit;
An image forming apparatus further comprising:
請求項1乃至5の何れか一項に記載の画像形成装置と、前記撮影画像を撮影するカメラとを含む画像形成システム。   An image forming system comprising: the image forming apparatus according to claim 1; and a camera that captures the captured image. 鉄道関連施設を表す3次元VR(Virtual Reality)モデルと、当該3次元VRモデルを構
成する少なくとも2点以上の構成ポイントについて前記鉄道関連施設が設置された際に当該構成ポイントが位置すべき点を示す3次元絶対座標を特定可能な位置情報を記憶する記憶手段を備える画像形成装置に含まれるコンピュータを、
前記鉄道関連施設が設置される現場を撮影した撮影画像を取得する画像取得手段、
前記取得された撮影画像において何れかの前記構成ポイントについて記憶された前記位置情報により特定される3次元絶対座標に対応する点を特定する特定手段、
前記特定された点と当該特定された点に対応する3次元絶対座標に対応する前記構成ポ
イントが一致するように、前記取得された撮影画像に前記3次元VRモデルを重畳させた重畳画像を形成する形成手段、
として機能させることを特徴とする画像形成プログラム。
A three-dimensional VR (Virtual Reality) model representing a railway-related facility, and a point where the constituent point should be located when at least two constituent points constituting the three-dimensional VR model are installed. A computer included in an image forming apparatus including a storage unit that stores position information capable of specifying three-dimensional absolute coordinates shown;
Image acquisition means for acquiring a photographed image of the site where the railway-related facility is installed;
Specifying means for specifying a point corresponding to the three-dimensional absolute coordinate specified by the position information stored for any of the constituent points in the acquired photographed image;
A superimposed image is formed by superimposing the three-dimensional VR model on the acquired captured image so that the identified point and the constituent point corresponding to the three-dimensional absolute coordinate corresponding to the identified point coincide with each other. Forming means,
An image forming program that functions as a computer program.
JP2012151103A 2012-07-05 2012-07-05 Image forming apparatus, image forming system, and image forming program Expired - Fee Related JP5963577B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2012151103A JP5963577B2 (en) 2012-07-05 2012-07-05 Image forming apparatus, image forming system, and image forming program

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2012151103A JP5963577B2 (en) 2012-07-05 2012-07-05 Image forming apparatus, image forming system, and image forming program

Publications (2)

Publication Number Publication Date
JP2014013527A true JP2014013527A (en) 2014-01-23
JP5963577B2 JP5963577B2 (en) 2016-08-03

Family

ID=50109163

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2012151103A Expired - Fee Related JP5963577B2 (en) 2012-07-05 2012-07-05 Image forming apparatus, image forming system, and image forming program

Country Status (1)

Country Link
JP (1) JP5963577B2 (en)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106844823A (en) * 2016-11-23 2017-06-13 广州广日电梯工业有限公司 A kind of modeling method of staircase civil engineering

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH1125290A (en) * 1997-06-30 1999-01-29 Hitachi Ltd System for grasping size in three-dimensional space
JP2001249985A (en) * 1999-12-27 2001-09-14 Ohbayashi Corp Execution plan supporting system, execution plan supporting method, and recording medium recorded with computer program for realizing execution plan supporting system
JP2002092044A (en) * 2000-09-19 2002-03-29 Olympus Optical Co Ltd Equipment management system and its method and recording medium with equipment management program recorded thereon
JP2003296379A (en) * 2002-04-05 2003-10-17 Fuontaajiyu:Kk Simulation method
JP2008144379A (en) * 2006-12-06 2008-06-26 Shin Caterpillar Mitsubishi Ltd Image processing system of remote controlled working machine

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH1125290A (en) * 1997-06-30 1999-01-29 Hitachi Ltd System for grasping size in three-dimensional space
JP2001249985A (en) * 1999-12-27 2001-09-14 Ohbayashi Corp Execution plan supporting system, execution plan supporting method, and recording medium recorded with computer program for realizing execution plan supporting system
JP2002092044A (en) * 2000-09-19 2002-03-29 Olympus Optical Co Ltd Equipment management system and its method and recording medium with equipment management program recorded thereon
JP2003296379A (en) * 2002-04-05 2003-10-17 Fuontaajiyu:Kk Simulation method
JP2008144379A (en) * 2006-12-06 2008-06-26 Shin Caterpillar Mitsubishi Ltd Image processing system of remote controlled working machine

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106844823A (en) * 2016-11-23 2017-06-13 广州广日电梯工业有限公司 A kind of modeling method of staircase civil engineering
CN106844823B (en) * 2016-11-23 2020-08-28 广州广日电梯工业有限公司 Modeling method for staircase civil engineering

Also Published As

Publication number Publication date
JP5963577B2 (en) 2016-08-03

Similar Documents

Publication Publication Date Title
JP7310972B2 (en) Flight information control method, information processing device and computer program
US8588471B2 (en) Method and device of mapping and localization method using the same
CN104988928B (en) Method for monitoring foundation pit excavation horizontal displacement in real-time manner based on digital images
EP2930959B1 (en) Locating method, drive test terminal and hand-held terminal
CN109826248B (en) Method for applying three-dimensional laser scanner to foundation pit deformation monitoring
CN108427346B (en) Assembled structure hoist and mount control management system
CN106940187B (en) Navigation method and system for mine ground rapid inspection
JP6291560B1 (en) Structure management support system and structure management method
JP2019153274A (en) Position calculation device, position calculation program, position calculation method, and content addition system
JP6386263B2 (en) Image forming apparatus, image forming system, and image forming program
CN105698784A (en) Indoor robot positioning system and method
US20120183205A1 (en) Method for displacement measurement, device for displacement measurement, and program for displacement measurement
JP5963577B2 (en) Image forming apparatus, image forming system, and image forming program
JP2013186005A (en) Site layout production system and laser measuring device
CN110178157B (en) Self-position estimation device, self-position estimation method, program, and image processing device
CN113282978A (en) Method for generating railway station signal plane layout diagram based on BIM model
Wang et al. A construction progress on-site monitoring and presentation system based on the integration of augmented reality and BIM
JP5998396B2 (en) Triaxial sign measurement method, triaxial sign measurement program, and triaxial sign measurement apparatus
JP5750733B1 (en) Railway track structure measurement support device, railway track structure measurement method, railroad track structure measurement support program, recording medium
JP7042380B1 (en) Display device, program and display method
Saidi et al. Development and use of the NIST intelligent and automated construction job site testbed
KR102332407B1 (en) Device and method for construction site recognition based on the bim model
JP2021089208A (en) Excavation support system
JP2015081814A (en) Position measurement system of movable body
CN115409871B (en) Three-dimensional scene virtual-real interaction method and device based on position intelligence

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20150416

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20160127

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20160209

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20160310

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20160621

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20160628

R150 Certificate of patent or registration of utility model

Ref document number: 5963577

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees