JP2016170060A - Facility information display system, mobile terminal, server and facility information display method - Google Patents

Facility information display system, mobile terminal, server and facility information display method Download PDF

Info

Publication number
JP2016170060A
JP2016170060A JP2015050219A JP2015050219A JP2016170060A JP 2016170060 A JP2016170060 A JP 2016170060A JP 2015050219 A JP2015050219 A JP 2015050219A JP 2015050219 A JP2015050219 A JP 2015050219A JP 2016170060 A JP2016170060 A JP 2016170060A
Authority
JP
Japan
Prior art keywords
mobile terminal
self
image
server
facility information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2015050219A
Other languages
Japanese (ja)
Other versions
JP6440539B2 (en
Inventor
昌則 田正司
Masanori Tashoji
昌則 田正司
卓嗣 川田
Takatsugu Kawada
卓嗣 川田
川浦　健央
Takehisa Kawaura
健央 川浦
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Mitsubishi Electric Corp
Original Assignee
Mitsubishi Electric Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Mitsubishi Electric Corp filed Critical Mitsubishi Electric Corp
Priority to JP2015050219A priority Critical patent/JP6440539B2/en
Publication of JP2016170060A publication Critical patent/JP2016170060A/en
Application granted granted Critical
Publication of JP6440539B2 publication Critical patent/JP6440539B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Navigation (AREA)
  • Processing Or Creating Images (AREA)

Abstract

PROBLEM TO BE SOLVED: To provide a facility information display system which highly accurately estimates the self-position for displaying facility information in a manner of being overlapped on an image of a real space using augmented reality in a mobile terminal.SOLUTION: In a mobile terminal 100, a self-position estimation part 190 estimates the self-position of the mobile terminal 100 by matching feature points of the current real image and the three-dimensional coordinate data on the basis of the current real image captured by a camera 140 for capturing a circumferential real image and the three-dimensional coordinate data acquired from a server 200, a movement amount estimation part 180 updates the self-position by estimating the movement amount of the mobile terminal 100 on the basis of information on the acceleration, angular velocity and direction acquired from each sensor, and an AR display part 160 displays a three-dimensional image of facility information acquired from the server 200 in a manner of being overlapped on the real image of the facility captured by the camera 140 using the augmented reality technique on the basis of the updated self-position.SELECTED DRAWING: Figure 1

Description

この発明は、モバイル端末での拡張現実による表示を用いて、プラント設備や公共施設における設備・装置の維持管理を行う設備情報表示システム、モバイル端末、サーバおよび設備情報表示方法に関するものである。   The present invention relates to an equipment information display system, a mobile terminal, a server, and an equipment information display method for performing maintenance management of equipment and devices in plant facilities and public facilities using display based on augmented reality on a mobile terminal.

拡張現実ＡＲ（Ａｕｇｍｅｎｔｅｄ Ｒｅａｌｉｔｙ）の技術を用いて、現実空間の動画像上に仮想画像をずれなく重畳表示するためには、自己位置と画角を高精度に推定する必要があるが、ＧＰＳ単独では最大１０メートル程度の誤差があり、必要な自己位置精度を確保できない。
このため、移動体に搭載したカメラの実画像から抽出した特徴部（特徴情報）と、付近で撮影された複数の実画像の中から抽出した特徴部（特徴情報）とをマッチングする手法が開示されている。（たとえば、特許文献１） In order to superimpose and display the virtual image on the moving image in the real space using the augmented reality AR (Augmented Reality) technique, it is necessary to estimate the self-position and the angle of view with high accuracy. However, there is an error of about 10 meters at the maximum, and the required self-position accuracy cannot be ensured.
For this reason, a technique for matching a feature portion (feature information) extracted from a real image of a camera mounted on a moving body and a feature portion (feature information) extracted from a plurality of real images photographed in the vicinity is disclosed. Has been. (For example, Patent Document 1)

特開２０１２−１２７８９６号公報（第６〜１０頁、第１図）JP 2012-127896 A (pages 6 to 10, FIG. 1)

従来の自己位置推定方式は、以上のように構成されているので、近辺で撮影された実画像は特徴点を抽出するために十分な光量のもとで撮影したものでなければならず、特徴点抽出に適さない画像を用いた場合に、特徴点不足や誤った特徴点抽出を行い、自己位置を正しく推定できない問題点があった。   Since the conventional self-position estimation method is configured as described above, the actual image taken in the vicinity must be taken with a sufficient amount of light to extract feature points. When an image that is not suitable for point extraction is used, there is a problem that feature points are insufficient or incorrect feature points are extracted, and the self-position cannot be estimated correctly.

この発明は、上述のような課題を解決するためになされたものであり、モバイル端末での拡張現実を用いて、現実空間の映像に設備情報を重畳表示するための自己位置の推定を高精度に行う設備情報表示システム、モバイル端末、サーバおよび設備情報表示方法を得ることを目的とする。   The present invention has been made to solve the above-described problems, and uses the augmented reality on a mobile terminal to accurately estimate the self-position for superimposing and displaying the facility information on the video in the real space. The object is to obtain an equipment information display system, a mobile terminal, a server, and an equipment information display method.

この発明に係わる設備情報表示システムにおいては、設備情報を記憶した設備情報データベースと、ＭＭＳ（Ｍｏｂｌｅ Ｍａｐｐｉｎｇ Ｓｙｓｔｅｍ）で計測された所定範囲の３次元座標データを記憶した３次元座標データベースとを有するサーバ、およびこのサーバからの情報を用いて、設備の実画像上に設備情報の３次元画像を重畳表示するモバイル端末を備え、モバイル端末は、モバイル端末周辺の実画像を撮影するカメラと、カメラによって撮影された現在の実画像をオルソ補正したものと、サーバから取得した３次元座標データとについて、それぞれ特徴点を抽出し、この抽出した特徴点同士をマッチングすることによりモバイル端末の自己位置を推定する自己位置推定部と、加速度および角速度を含む各種センサ情報に基づき、モバイル端末の移動量を推定する移動量推定部と、推定された移動量により更新された自己位置に基づき、カメラによって撮影された設備の実画像上に、サーバから取得した当該設備情報の３次元画像を重畳表示するＡＲ表示部とを有するものである。   In the facility information display system according to the present invention, a server having a facility information database storing facility information, and a 3D coordinate database storing 3D coordinate data of a predetermined range measured by MMS (Mobile Mapping System), And a mobile terminal that superimposes and displays a three-dimensional image of the equipment information on the real image of the equipment using information from the server, and the mobile terminal takes a picture of the real image around the mobile terminal and the camera. A feature point is extracted for each of the orthorectified current actual image and the three-dimensional coordinate data acquired from the server, and the self-position of the mobile terminal is estimated by matching the extracted feature points. Based on self-position estimation unit and various sensor information including acceleration and angular velocity Based on the movement amount estimation unit for estimating the movement amount of the mobile terminal and the self-position updated by the estimated movement amount, 3 of the facility information acquired from the server on the actual image of the facility photographed by the camera And an AR display unit that superimposes and displays a three-dimensional image.

この発明によれば、設備情報を記憶した設備情報データベースと、ＭＭＳで計測された所定範囲の３次元座標データを記憶した３次元座標データベースとを有するサーバ、およびこのサーバからの情報を用いて、設備の実画像上に設備情報の３次元画像を重畳表示するモバイル端末を備え、モバイル端末は、モバイル端末周辺の実画像を撮影するカメラと、カメラによって撮影された現在の実画像をオルソ補正したものと、サーバから取得した３次元座標データとについて、それぞれ特徴点を抽出し、この抽出した特徴点同士をマッチングすることによりモバイル端末の自己位置を推定する自己位置推定部と、加速度および角速度を含む各種センサ情報に基づき、モバイル端末の移動量を推定する移動量推定部と、推定された移動量により更新された自己位置に基づき、カメラによって撮影された設備の実画像上に、サーバから取得した当該設備情報の３次元画像を重畳表示するＡＲ表示部とを有するので、重畳表示のための自己位置の推定に当たり、ＭＭＳで取得した３次元座標データから特徴点を抽出するため、処理がし易く、かつ抽出精度が上がり、高精度に自己位置を推定することができる。   According to this invention, using a server having a facility information database storing facility information, a 3D coordinate database storing 3D coordinate data of a predetermined range measured by MMS, and information from this server, A mobile terminal that superimposes and displays a three-dimensional image of equipment information on the real image of the equipment is provided. The mobile terminal orthorectifies the current real image captured by the camera and a camera that captures the real image around the mobile terminal. And a three-dimensional coordinate data acquired from the server, respectively, extracting a feature point, and matching the extracted feature points with each other, a self-position estimation unit that estimates the self-position of the mobile terminal, and an acceleration and an angular velocity Based on the various sensor information included, the movement amount estimation unit that estimates the movement amount of the mobile terminal and the estimated movement amount Since it has an AR display unit that superimposes and displays a three-dimensional image of the equipment information acquired from the server on the actual image of the equipment photographed by the camera based on the self position, In the estimation, feature points are extracted from the three-dimensional coordinate data acquired by MMS. Therefore, the processing is easy, the extraction accuracy is improved, and the self-position can be estimated with high accuracy.

この発明の実施の形態１による設備情報表示システムを示すブロック図である。It is a block diagram which shows the installation information display system by Embodiment 1 of this invention. この発明の実施の形態１による設備情報表示システムの初期位置合わせを開始してから自己位置情報の定期更新処理までの流れを示すフローチャートである。It is a flowchart which shows the flow from the start of the initial position alignment of the installation information display system by Embodiment 1 of this invention to the periodic update process of self-position information. この発明の実施の形態１による設備情報表示システムの特徴点マッチングを示すイメージ図である。It is an image figure which shows the feature point matching of the installation information display system by Embodiment 1 of this invention. この発明の実施の形態２による設備情報表示システムを示すブロック図である。It is a block diagram which shows the installation information display system by Embodiment 2 of this invention. この発明の実施の形態２による設備情報表示システムの初期位置合わせを開始してから自己位置情報の定期更新処理までの流れを示すフローチャートである。It is a flowchart which shows the flow from the start of the initial position alignment of the installation information display system by Embodiment 2 of this invention to the periodic update process of self-position information. この発明の実施の形態３による設備情報表示システムを示すブロック図である。It is a block diagram which shows the installation information display system by Embodiment 3 of this invention. この発明の実施の形態３による設備情報表示システムの初期位置合わせを開始してから自己位置情報の定期更新処理までの流れを示すフローチャートである。It is a flowchart which shows the flow from the start of the initial position alignment of the installation information display system by Embodiment 3 of this invention to the periodic update process of self-position information. この発明の実施の形態４による設備情報表示システムを示すブロック図である。It is a block diagram which shows the installation information display system by Embodiment 4 of this invention. この発明の実施の形態４による設備情報表示システムの初期位置合わせを開始してから自己位置情報の定期更新処理までの流れを示すフローチャートである。It is a flowchart which shows the flow from the start of the initial position alignment of the installation information display system by Embodiment 4 of this invention to the periodic update process of self-position information. この発明の実施の形態５による設備情報表示システムを示すブロック図である。It is a block diagram which shows the installation information display system by Embodiment 5 of this invention. この発明の実施の形態５による設備情報表示システムの初期位置合わせを開始してから自己位置情報の定期更新処理までの流れを示すフローチャートである。It is a flowchart which shows the flow from the start of the initial position alignment of the installation information display system by Embodiment 5 of this invention to the periodic update process of self-position information.

実施の形態１．
以下、この発明の実施の形態１を図に基づいて説明する。
図１は、この発明の実施の形態１による設備情報表示システムを示すブロック図である。
図１において、設備情報表示システムは、モバイル端末１００とサーバ２００により構成される。
モバイル端末１００は、次のように構成されている。
ジャイロ（角速度）センサ１１０は、モバイル端末１００の姿勢変化を計測する。加速度センサ１２０は、モバイル端末１００の加速度を計測する。電子コンパス１３０は、モバイル端末１００の方位を計測する。カメラ１４０は、モバイル端末１００の周辺の実画像（動画像）を撮影する。ＧＰＳ１５０は、誤差１０メートル程度の精度のモバイル端末１００の位置情報を取得する。
ＡＲ表示部１６０は、拡張現実の技術を用いて、カメラ１４０により撮影された設備の動画像上に設備情報の３次元画像（コンピュータグラフィックス画像データ）を重畳表示する。自己位置情報１７０は、モバイル端末１００の現在の自己位置・姿勢情報を保持する。移動量推定部１８０は、各種センサからの情報をもとにモバイル端末１００の移動量を推定する。自己位置推定部１９０は、ＧＰＳ１５０の情報、カメラ１４０の静止画像および後述する３次元地図情報を用いて、モバイル端末１００の現在位置を推定する初期位置合わせを行う。 Embodiment 1 FIG.
Embodiment 1 of the present invention will be described below with reference to the drawings.
FIG. 1 is a block diagram showing an equipment information display system according to Embodiment 1 of the present invention.
In FIG. 1, the facility information display system includes a mobile terminal 100 and a server 200.
The mobile terminal 100 is configured as follows.
The gyro (angular velocity) sensor 110 measures the posture change of the mobile terminal 100. The acceleration sensor 120 measures the acceleration of the mobile terminal 100. The electronic compass 130 measures the orientation of the mobile terminal 100. The camera 140 captures a real image (moving image) around the mobile terminal 100. The GPS 150 acquires the position information of the mobile terminal 100 with an accuracy of about 10 meters.
The AR display unit 160 superimposes and displays a three-dimensional image (computer graphics image data) of facility information on a moving image of the facility captured by the camera 140 using augmented reality technology. The self-position information 170 holds current self-position / attitude information of the mobile terminal 100. The movement amount estimation unit 180 estimates the movement amount of the mobile terminal 100 based on information from various sensors. The self-position estimation unit 190 performs initial alignment for estimating the current position of the mobile terminal 100 using information of the GPS 150, a still image of the camera 140, and 3D map information described later.

この初期位置合わせの結果の現在の位置情報、姿勢情報は、自己位置情報１７０に保持され、この現在の位置情報、姿勢情報は、移動量推定部１８０の移動量に基づき、更新されるようになっている。
更新された自己位置情報１７０の現在の位置情報、姿勢情報は、ＡＲ表示部１６０における重畳表示に用いられる。すなわち、重畳表示に当たっては、どの画角で、どの範囲の映像かの情報が必要で、モバイル端末１００側からの見え方も考慮して実行される。 The current position information and posture information as a result of the initial alignment are held in the self-position information 170, and the current position information and posture information are updated based on the movement amount of the movement amount estimation unit 180. It has become.
The current position information and posture information of the updated self-position information 170 are used for superimposed display on the AR display unit 160. In other words, in the superimposed display, information on which angle of view and which range of video is necessary, and the view from the mobile terminal 100 side is also taken into consideration.

サーバ２００は、次のように構成されている。
設備情報ＤＢ（データベース）２１０は、ＡＲ表示対象の設備情報を保持する。
３次元地図情報ＤＢ２２０（３次元座標データベース）は、ＭＭＳ（Ｍｏｂｌｅ Ｍａｐｐｉｎｇ Ｓｙｓｔｅｍ）で計測された、対象設備の周辺を含む所定範囲の（ｘ、ｙ、ｚ）座標値を有する３次元座標データ（３次元点群データ）である３次元地図情報を保持する。
設備情報送信部２３０は、モバイル端末１００からの要求に応じて、設備情報を返す。３次元地図情報送信部２４０は、モバイル端末１００からの要求に応じて、３次元地図情報を返す。 The server 200 is configured as follows.
The equipment information DB (database) 210 holds equipment information for AR display.
The three-dimensional map information DB 220 (three-dimensional coordinate database) is a three-dimensional coordinate data (3) having (x, y, z) coordinate values in a predetermined range including the periphery of the target equipment, measured by MMS (Mobile Mapping System). 3D map information (dimensional point cloud data) is held.
The equipment information transmission unit 230 returns equipment information in response to a request from the mobile terminal 100. The 3D map information transmission unit 240 returns 3D map information in response to a request from the mobile terminal 100.

図３は、この発明の実施の形態１による設備情報表示システムの特徴点マッチングを示すイメージ図である。
図３（ａ）はモバイル端末１００の撮影した実画像（静止画像）を示す図、図３（ｂ）は図３（ａ）をオルソ補正したオルソ画像を示す図、図３（ｃ）はオルソ画像から特徴点を抽出したときのイメージ図、図３（ｄ）は３次元地図情報ＤＢ２２０に記憶された３次元座標データのイメージ図、図３（ｅ）は３次元座標データから特徴点を抽出したときのイメージ図である。 FIG. 3 is an image diagram showing feature point matching of the facility information display system according to Embodiment 1 of the present invention.
3A is a diagram showing an actual image (still image) taken by the mobile terminal 100, FIG. 3B is a diagram showing an ortho image obtained by ortho-correcting FIG. 3A, and FIG. 3C is an ortho image. 3D is an image diagram when feature points are extracted from an image, FIG. 3D is an image diagram of 3D coordinate data stored in the 3D map information DB 220, and FIG. 3E is a diagram when feature points are extracted from 3D coordinate data. FIG.

次に、動作について図２を用いて説明する。
図２は、初期位置合わせを開始してから自己位置情報の定期更新処理までの流れを示している。
モバイル端末１００の自己位置推定部１９０は、ＧＰＳ１５０から現在の概略位置を取得する（ＳＴ１００１、第一のステップ）。
自己位置推定部１９０は、現在の概略位置を中心に半径２０メートルの領域を含む３次元地図情報の要求を、サーバ２００の３次元地図情報送信部２４０に送信する（ＳＴ１００２）。
３次元地図情報送信部２４０は、要求された領域の３次元地図情報を３次元地図情報ＤＢ２２０から抽出してモバイル端末１００に送信する（ＳＴ１００３、第二のステップ）。
この３次元地図情報は、３次元座標データであり、細かいメッシュ、高精度であるから、特徴点の抽出精度が上がり、マッチングの成功率が上がる。 Next, the operation will be described with reference to FIG.
FIG. 2 shows a flow from the start of the initial alignment to the periodic update process of the self-position information.
The self-position estimation unit 190 of the mobile terminal 100 acquires the current approximate position from the GPS 150 (ST1001, first step).
Self-position estimating section 190 transmits a request for 3D map information including an area with a radius of 20 meters centered on the current approximate position to 3D map information transmitting section 240 of server 200 (ST1002).
The 3D map information transmission unit 240 extracts the 3D map information of the requested area from the 3D map information DB 220 and transmits it to the mobile terminal 100 (ST1003, second step).
This three-dimensional map information is three-dimensional coordinate data and has a fine mesh and high accuracy, so that the feature point extraction accuracy is increased and the matching success rate is increased.

モバイル端末１００の自己位置推定部１９０は、カメラ１４０から現在の実画像（静止画像）を取得する（ＳＴ１００４）。
自己位置推定部１９０は、現在の実画像（静止画像）に対してオルソ補正（中心投影の歪んだ形状の画像を、正射投影によりその歪みを補正すること）を行った上で、特徴点を抽出する（ＳＴ１００５）。
自己位置推定部１９０は、ＳＴ１００３で取得した３次元地図情報の特徴点を抽出し、この抽出した特徴点と、ＳＴ１００５で抽出した特徴点のマッチングを行い、モバイル端末１００の自己位置を推定する（ＳＴ１００６、第三のステップ）。
自己位置推定部１９０は、初期位置合わせを終了する（ＳＴ１００７）。 Self-position estimation section 190 of mobile terminal 100 acquires the current real image (still image) from camera 140 (ST1004).
The self-position estimation unit 190 performs orthorectification (correcting the distortion of the image with a distorted shape of the central projection by orthographic projection) on the current real image (still image), and then the feature point Is extracted (ST1005).
Self-position estimation section 190 extracts the feature points of the three-dimensional map information acquired in ST1003, matches the extracted feature points with the feature points extracted in ST1005, and estimates the self-position of mobile terminal 100 ( ST1006, third step).
Self-position estimating section 190 ends the initial alignment (ST1007).

次いで、移動量推定部１８０は、ジャイロセンサ１１０および電子コンパス１３０から５ミリ秒周期でモバイル端末１００の角速度および方位を取得する（ＳＴ１００８）。
移動量推定部１８０は、加速度センサ１２０から５ミリ秒周期で加速度を取得する（ＳＴ１００９）。
移動量推定部１８０は、角速度、方位、加速度の変化量から移動速度を算出し、移動量を推定して、自己位置情報１７０に格納されたモバイル端末１００の現在の位置情報、姿勢情報を更新する（ＳＴ１０１０、第四のステップ）。
以降の動作は、ＳＴ１００８〜ＳＴ１０１０を５ミリ秒周期で繰り返す。
更新された自己位置情報１７０の現在の位置情報、姿勢情報を基にして、ＡＲ表示部１６０は、カメラ１４０により撮影された設備の動画像上に、設備情報の３次元画像を重畳表示する（第五のステップ）。 Next, movement amount estimation section 180 acquires the angular velocity and direction of mobile terminal 100 from gyro sensor 110 and electronic compass 130 at a cycle of 5 milliseconds (ST1008).
Movement amount estimation section 180 acquires acceleration from acceleration sensor 120 at a cycle of 5 milliseconds (ST1009).
The movement amount estimation unit 180 calculates a movement speed from the amount of change in angular velocity, azimuth, and acceleration, estimates the movement amount, and updates the current position information and posture information of the mobile terminal 100 stored in the self-position information 170. (ST1010, fourth step).
In subsequent operations, ST1008 to ST1010 are repeated at a cycle of 5 milliseconds.
Based on the current position information and posture information of the updated self-position information 170, the AR display unit 160 superimposes and displays a three-dimensional image of the facility information on the moving image of the facility captured by the camera 140 ( Fifth step).

実施の形態１によれば、ＭＭＳで取得した３次元座標データから特徴点を抽出するので、処理がし易く、かつ抽出精度が上がり、従来手法のような付近の実画像から特徴点を抽出する方式に比べ、高精度に自己位置を推定できるという効果がある。   According to the first embodiment, since feature points are extracted from the three-dimensional coordinate data acquired by MMS, it is easy to process and the extraction accuracy is improved, and feature points are extracted from a nearby real image as in the conventional method. Compared to the method, there is an effect that the self-position can be estimated with high accuracy.

実施の形態２．
図４は、この発明の実施の形態２による設備情報表示システムを示すブロック図である。
図４において、１００〜１７０、１９０、２００〜２４０は図１におけるものと同一のものである。図４では、モバイル端末１００に、各種センサからの情報に加えて、カメラ１４０の静止画像の差分をもとに、移動量を推定する移動量推定部１８１を設けている。 Embodiment 2. FIG.
FIG. 4 is a block diagram showing an equipment information display system according to Embodiment 2 of the present invention.
In FIG. 4, reference numerals 100 to 170, 190, and 200 to 240 are the same as those in FIG. In FIG. 4, the mobile terminal 100 is provided with a movement amount estimation unit 181 that estimates a movement amount based on a difference between still images of the camera 140 in addition to information from various sensors.

実施の形態２は、実施の形態１に対し、モーションステレオによる移動量の推定を追加したものである。   The second embodiment is obtained by adding an estimation of the movement amount by motion stereo to the first embodiment.

以下、実施の形態２の動作について図５を用いて説明する。
図５は、初期位置合わせを開始してから自己位置情報の定期更新処理までの流れを示している。
図５において、初期位置合わせの流れは、実施の形態１のＳＴ１００１〜ＳＴ１００７と同様である。
また、移動量推定のうち、角速度、加速度、方位の情報をもとに自己位置情報１７０を更新する流れは、実施の形態１のＳＴ１００８〜ＳＴ１０１０と同様である。 Hereinafter, the operation of the second embodiment will be described with reference to FIG.
FIG. 5 shows a flow from the start of the initial alignment to the periodic update process of the self-position information.
In FIG. 5, the flow of initial alignment is the same as ST1001 to ST1007 of the first embodiment.
Further, in the movement amount estimation, the flow of updating the self-position information 170 based on the information on the angular velocity, acceleration, and direction is the same as ST1008 to ST1010 in the first embodiment.

ＳＴ１００７の後、移動量推定部１８１は、５００ミリ秒周期で、カメラ１４０から現在の実画像（静止画像）を取得する（ＳＴ１１００）。
次いで、移動量推定部１８１は、前回取得した実画像（静止画像）と現在の実画像（静止画像）から画像特徴ペアを生成し、５点比較モーション推定で移動量を推定した結果をもとに、自己位置情報１７０の現在の位置情報、姿勢情報を更新する（ＳＴ１１０１）。
以降の動作は、ＳＴ１００８〜ＳＴ１０１０を５ミリ秒周期、ＳＴ１１００〜ＳＴ１１０１を５００ミリ秒周期で繰り返す。 After ST1007, the movement amount estimation unit 181 acquires the current real image (still image) from the camera 140 at a cycle of 500 milliseconds (ST1100).
Next, the movement amount estimation unit 181 generates an image feature pair from the previously acquired real image (still image) and the current real image (still image), and based on the result of estimating the movement amount by the five-point comparative motion estimation. In addition, the current position information and posture information of the self-position information 170 are updated (ST1101).
In subsequent operations, ST1008 to ST1010 are repeated at a cycle of 5 milliseconds, and ST1100 to ST1101 are repeated at a cycle of 500 milliseconds.

実施の形態２によれば、モーションステレオによる移動量の推定を行うことにより、加速度センサ、ジャイロセンサ、電子コンパスの精度への依存度を下げ、一定の精度での移動量推定を可能にするという効果がある。   According to the second embodiment, by estimating the movement amount by motion stereo, the dependency on the accuracy of the acceleration sensor, the gyro sensor, and the electronic compass is reduced, and the movement amount can be estimated with a certain accuracy. effective.

実施の形態３．
図６は、この発明の実施の形態３による設備情報表示システムを示すブロック図である。
図６において、１００〜１７０、１８１、１９０、２００〜２４０は図４におけるものと同一のものである。図６では、モバイル端末１００に、ＡＲ表示位置のずれをモバイル端末使用者が手動で補正できるＡＲ操作部１６１を設け、実画像（静止画像）や３次元座標データに特徴がないときなどで、ずれの大きい場合に対処するようにしている。 Embodiment 3 FIG.
FIG. 6 is a block diagram showing an equipment information display system according to Embodiment 3 of the present invention.
In FIG. 6, reference numerals 100 to 170, 181, 190, and 200 to 240 are the same as those in FIG. In FIG. 6, the mobile terminal 100 is provided with an AR operation unit 161 that allows the mobile terminal user to manually correct the shift of the AR display position, and the actual image (still image) or the three-dimensional coordinate data has no characteristics. It deals with the case where the gap is large.

実施の形態３は、実施の形態２に対し、ＡＲ表示位置のずれをモバイル端末使用者が手動で補正できるＡＲ操作部１６１を設けたものである。   The third embodiment is different from the second embodiment in that an AR operation unit 161 that allows a mobile terminal user to manually correct a shift in the AR display position is provided.

以下、実施の形態３の動作について図７を用いて説明する。
図７は、初期位置合わせを開始してから自己位置情報の定期更新処理までの流れを示している。
図７において、初期位置合わせのうち、周辺の３次元地図情報と現在の実画像（静止画像）の特徴点マッチングで自己位置を推定するまでの流れは、実施の形態１のＳＴ１００１〜ＳＴ１００６と同様である。
また、ＳＴ１００８〜ＳＴ１０１０、ＳＴ１１００〜ＳＴ１１０１は図５における処理と同じ処理である。 Hereinafter, the operation of the third embodiment will be described with reference to FIG.
FIG. 7 shows a flow from the start of the initial alignment to the periodic update process of the self-position information.
In FIG. 7, the flow from the initial alignment until the self-position is estimated by the feature point matching between the surrounding 3D map information and the current real image (still image) is the same as ST1001 to ST1006 of the first embodiment. It is.
ST1008 to ST1010 and ST1100 to ST1101 are the same processes as those in FIG.

モバイル端末１００のＡＲ表示部１６０は、自己位置推定結果をもとに設備の３Ｄ図形（３次元画像）を実画像（動画像）上に重畳表示する（ＳＴ１２００）。
モバイル端末１００のＡＲ操作部１６１は、モバイル端末使用者に設備の３Ｄ図形の表示位置調整を促す。例えば、表示対象の設備にマンホールが含まれる場合、マンホールの３Ｄ図形の表示位置を実画像（動画像）上のマンホールの位置と一致するように位置調整を促す。このとき、３Ｄ図形は、前後・左右・高さ方向の移動に加え、回転も可能なユーザインタフェースを提供する（ＳＴ１２０１）。
ＡＲ操作部１６１は、モバイル端末使用者による表示位置調整の結果をもとに自己位置情報１７０の自己位置・姿勢情報を更新する（ＳＴ１２０２）。
ＡＲ操作部１６１は、初期位置合わせを終了する（ＳＴ１２０３）。
以降の動作は、実施の形態２と同様、ＳＴ１００８〜ＳＴ１０１０を５ミリ秒周期、ＳＴ１１００〜ＳＴ１１０１を５００ミリ秒周期で繰り返す。 The AR display unit 160 of the mobile terminal 100 superimposes and displays the 3D figure (three-dimensional image) of the facility on the real image (moving image) based on the self-position estimation result (ST1200).
The AR operation unit 161 of the mobile terminal 100 prompts the mobile terminal user to adjust the display position of the 3D graphic of the equipment. For example, when a manhole is included in the equipment to be displayed, the position adjustment is prompted so that the display position of the 3D figure of the manhole matches the position of the manhole on the real image (moving image). At this time, the 3D figure provides a user interface that can be rotated in addition to movement in the front-rear, left-right, and height directions (ST1201).
The AR operation unit 161 updates the self-position / posture information of the self-position information 170 based on the display position adjustment result by the mobile terminal user (ST1202).
The AR operation unit 161 ends the initial alignment (ST1203).
In the subsequent operations, ST1008 to ST1010 are repeated at a cycle of 5 milliseconds, and ST1100 to ST1101 are repeated at a cycle of 500 milliseconds, as in the second embodiment.

実施の形態３によれば、モバイル端末の使用者が表示上のずれをもとに補正が可能なため、初期位置を高精度に補正できるという効果がある。   According to the third embodiment, since the user of the mobile terminal can perform correction based on the display deviation, the initial position can be corrected with high accuracy.

実施の形態４．
図８は、この発明の実施の形態４による設備情報表示システムを示すブロック図である。
図８において、１００〜１６０、１６１、１７０、１８１、２００〜２４０は図６におけるものと同一のものである。図８では、モバイル端末１００に、オルソ画像との比較による自己位置推定を可能とする自己位置推定部１９１を設けている。また、サーバ２００に、ＭＭＳであらかじめ計測された実画像（静止画像）をオルソ補正して記憶したオルソ画像ＤＢ２２１と、このオルソ画像ＤＢ２２１に記憶されたオルソ画像をモバイル端末１００からの要求に応じて送信するオルソ画像送信部２４１とを設けている。
ＭＭＳの計測では、レーザ照射による３次元座標データの取得とともに、カメラによる実画像（動画像）の撮影が行われる。 Embodiment 4 FIG.
FIG. 8 is a block diagram showing an equipment information display system according to Embodiment 4 of the present invention.
In FIG. 8, reference numerals 100 to 160, 161, 170, 181, and 200 to 240 are the same as those in FIG. In FIG. 8, the mobile terminal 100 is provided with a self-position estimation unit 191 that enables self-position estimation by comparison with an ortho image. Further, in response to a request from the mobile terminal 100, the ortho image DB 221 stored in the server 200 by ortho-correcting an actual image (still image) measured in advance by MMS and the ortho image stored in the ortho image DB 221 are stored. An ortho image transmitting unit 241 for transmitting is provided.
In the MMS measurement, a real image (moving image) is captured by a camera as well as acquisition of three-dimensional coordinate data by laser irradiation.

実施の形態４は、実施の形態３に対し、モバイル端末１００にオルソ画像との比較による自己位置推定を可能とする自己位置推定部１９１を設け、サーバ２００にオルソ画像ＤＢ２２１とオルソ画像送信部２４１を設けたものである。   The fourth embodiment is different from the third embodiment in that the mobile terminal 100 is provided with a self-position estimation unit 191 that enables self-position estimation by comparison with an ortho image, and the server 200 has an ortho image DB 221 and an ortho image transmission unit 241. Is provided.

以下、実施の形態４の動作について図９を用いて説明する。
図９は、初期位置合わせを開始してから自己位置情報の定期更新処理までの流れを示している。
図９において、初期位置合わせの流れのうち、周辺の３次元地図情報と現在の実画像（静止画像）の特徴点マッチングで自己位置推定するまでの流れは、実施の形態１のＳＴ１００１〜ＳＴ１００６と同様である。
また、ＳＴ１００８〜ＳＴ１０１０、ＳＴ１１００〜ＳＴ１１０１は図５における処理と同じ処理である。 Hereinafter, the operation of the fourth embodiment will be described with reference to FIG.
FIG. 9 shows the flow from the start of the initial alignment to the self-position information periodic update process.
In FIG. 9, among the initial alignment flows, the flow until the self-position is estimated by the feature point matching between the surrounding 3D map information and the current real image (still image) is the same as ST1001 to ST1006 of the first embodiment. It is the same.
ST1008 to ST1010 and ST1100 to ST1101 are the same processes as those in FIG.

ＳＴ１００６の処理に次いで、モバイル端末１００の自己位置推定部１９１は、現在の自己位置を中心に半径２０メートルの領域を含むオルソ画像の要求を、サーバ２００のオルソ画像送信部２４１に対して送信する（ＳＴ１３００）。
オルソ画像送信部２４１は、要求されたオルソ画像をオルソ画像ＤＢ２２１から取り出して、モバイル端末１００に送信する（ＳＴ１３０１）。 Subsequent to the processing of ST1006, self-position estimating section 191 of mobile terminal 100 transmits an ortho-image request including an area having a radius of 20 meters centered on the current self-position to ortho-image transmitting section 241 of server 200. (ST1300).
The ortho image transmission unit 241 extracts the requested ortho image from the ortho image DB 221 and transmits it to the mobile terminal 100 (ST1301).

モバイル端末１００の自己位置推定部１９１は、カメラ１４０から現在の実画像（静止画像）を取得する（ＳＴ１３０２）。
自己位置推定部１９１は、現在の実画像（静止画像）に対してオルソ補正を行い、特徴点を抽出する（ＳＴ１３０３）。
自己位置推定部１９１は、ＳＴ１３０１で取得したオルソ画像の特徴点と、ＳＴ１３０３で抽出した特徴点のマッチングを行い、自己位置を推定する（ＳＴ１３０４）。
以降の動作は、実施の形態３と同様に、ＳＴ１２００〜ＳＴ１２０３を行って初期位置合わせを終了し、ＳＴ１００８〜ＳＴ１０１０を５ミリ秒周期、ＳＴ１１００〜ＳＴ１１０１を５００ミリ秒周期で繰り返す。 Self-position estimation section 191 of mobile terminal 100 acquires the current real image (still image) from camera 140 (ST1302).
Self-position estimating section 191 performs ortho correction on the current real image (still image) and extracts feature points (ST1303).
Self-position estimation section 191 performs matching between the feature points of the ortho image acquired in ST1301 and the feature points extracted in ST1303, and estimates the self-position (ST1304).
In the subsequent operation, as in the third embodiment, ST1200 to ST1203 are performed to complete the initial alignment, and ST1008 to ST1010 are repeated in a cycle of 5 milliseconds, and ST1100 to ST1101 are repeated in a cycle of 500 milliseconds.

実施の形態４によれば、ＭＭＳで取得した３次元点群データに加えてオルソ画像との特徴点マッチングを実施するため、河川敷のような３次元点群データ上では特徴の少ない環境でも、オルソ画像で特徴点として抽出可能な道路上の白線やマンホールなどがあれば特徴点マッチングが可能となり、自己位置推定に失敗するケースを軽減する効果がある。   According to the fourth embodiment, since the feature point matching with the ortho image is performed in addition to the 3D point cloud data acquired by the MMS, even in an environment having few features on the 3D point cloud data such as a river bed, the ortho If there is a white line or a manhole on the road that can be extracted as a feature point in the image, feature point matching is possible, which has the effect of reducing the case where self-position estimation fails.

実施の形態５．
図１０は、この発明の実施の形態５による設備情報表示システムを示すブロック図である。
図１０において、１００〜１６０、１６１、１７０、１８１、２００〜２４０は図６におけるものと同一のものである。図１０では、モバイル端末１００に、現在の概略位置と実画像（静止画像）の特徴点情報を取得する自己位置推定部１９２を設け、サーバ２００に、指定された特徴点と３次元地図情報の特徴点マッチングを行い、モバイル端末１００の位置推定を行う位置推定部２５０を設けている。 Embodiment 5 FIG.
FIG. 10 is a block diagram showing an equipment information display system according to Embodiment 5 of the present invention.
10, reference numerals 100 to 160, 161, 170, 181, and 200 to 240 are the same as those in FIG. In FIG. 10, the mobile terminal 100 is provided with a self-position estimation unit 192 that acquires the current approximate position and feature point information of a real image (still image), and the server 200 stores the specified feature point and 3D map information. A position estimation unit 250 that performs feature point matching and estimates the position of the mobile terminal 100 is provided.

実施の形態５は、実施の形態３に対し、自己位置を推定する機能をサーバ２００に移したものである。   In the fifth embodiment, the function of estimating the self-position is transferred to the server 200 with respect to the third embodiment.

以下、実施の形態５の動作について図１１を用いて説明する。
図１１は、初期位置合わせを開始してから自己位置情報の定期更新処理までの流れを示している。
図１１において、ＳＴ１００８〜ＳＴ１０１０、ＳＴ１１００〜ＳＴ１１０１、ＳＴ１２００〜ＳＴ１２０３は図７における処理と同じ処理である。
図１１で、モバイル端末１００の自己位置推定部１９２は、ＧＰＳ１５０から現在の概略位置を取得する（ＳＴ１４００）。
自己位置推定部１９２は、カメラ１４０から現在の実画像（静止画像）を取得する（ＳＴ１４０１）。
自己位置推定部１９２は、現在の実画像（静止画像）に対してオルソ補正を行い、特徴点を抽出する（ＳＴ１４０２）。
自己位置推定部１９２は、現在の概略位置と特徴点情報をサーバ２００の位置推定部２５０に送信する（ＳＴ１４０３）。 Hereinafter, the operation of the fifth embodiment will be described with reference to FIG.
FIG. 11 shows a flow from the start of the initial alignment to the periodic update process of the self-position information.
11, ST1008 to ST1010, ST1100 to ST1101, and ST1200 to ST1203 are the same processes as those in FIG.
In FIG. 11, self-position estimation section 192 of mobile terminal 100 acquires the current approximate position from GPS 150 (ST1400).
Self-position estimating section 192 acquires the current actual image (still image) from camera 140 (ST1401).
Self-position estimation section 192 performs ortho correction on the current real image (still image), and extracts feature points (ST1402).
Self-position estimating section 192 transmits the current approximate position and feature point information to position estimating section 250 of server 200 (ST1403).

位置推定部２５０は、指定された特徴点と３次元地図情報の特徴点マッチングを行い、位置推定を行う（ＳＴ１４０４）。
位置推定部２５０は、位置推定結果をモバイル端末１００に送信する（ＳＴ１４０５）。
モバイル端末１００の自己位置推定部１９２は、受信した位置推定結果で自己位置情報１７０を更新する（ＳＴ１４０６）。
以降の動作は、実施の形態３と同様、ＳＴ１２００〜ＳＴ１２０３を行って初期位置合わせを終了し、ＳＴ１００８〜ＳＴ１０１０を５ミリ秒周期、ＳＴ１１００〜ＳＴ１１０１を５００ミリ秒周期で繰り返す。 The position estimation unit 250 performs feature estimation by matching the designated feature points with the feature points of the 3D map information (ST1404).
Position estimation section 250 transmits the position estimation result to mobile terminal 100 (ST1405).
Self-position estimation section 192 of mobile terminal 100 updates self-position information 170 with the received position estimation result (ST1406).
In the subsequent operation, ST1200 to ST1203 are performed to finish the initial alignment, and ST1008 to ST1010 are repeated in a cycle of 5 milliseconds, and ST1100 to ST1101 are repeated in a cycle of 500 milliseconds, as in the third embodiment.

実施の形態５によれば、演算負荷の高い特徴点マッチングを演算処理能力の高いサーバで行うため、自己位置推定時間を短縮するという効果がある。   According to the fifth embodiment, since feature point matching with a high calculation load is performed by a server with high calculation processing capability, there is an effect of shortening the self-position estimation time.

なお、本発明は、その発明の範囲内において、各実施の形態を自由に組み合わせたり、各実施の形態を適宜、変形、省略することが可能である。   It should be noted that the present invention can be freely combined with each other within the scope of the invention, and each embodiment can be appropriately modified or omitted.

１００ モバイル端末、１１０ ジャイロセンサ、１２０ 加速度センサ、
１３０ 電子コンパス、１４０ カメラ、１５０ ＧＰＳ、１６０ ＡＲ表示部、
１６１ ＡＲ操作部、１７０ 自己位置情報、１８０ 移動量推定部、
１８１ 移動量推定部、１９０ 自己位置推定部、１９１ 自己位置推定部、
１９２ 自己位置推定部、２００ サーバ、２１０ 設備情報ＤＢ、
２２０ ３次元地図情報ＤＢ、２２１ オルソ画像ＤＢ、２３０ 設備情報送信部、
２４０ ３次元地図情報送信部、２４１ オルソ画像送信部、２５０ 位置推定部 100 mobile terminal, 110 gyro sensor, 120 acceleration sensor,
130 electronic compass, 140 camera, 150 GPS, 160 AR display,
161 AR operation unit, 170 self-location information, 180 movement amount estimation unit,
181 movement amount estimation unit, 190 self-position estimation unit, 191 self-position estimation unit,
192 Self-position estimation unit, 200 server, 210 facility information DB,
220 3D map information DB, 221 ortho image DB, 230 equipment information transmission unit,
240 3D map information transmission unit, 241 ortho image transmission unit, 250 position estimation unit

Claims (8)

設備情報を記憶した設備情報データベースと、
ＭＭＳ（Ｍｏｂｌｅ Ｍａｐｐｉｎｇ Ｓｙｓｔｅｍ）で計測された所定範囲の３次元座標データを記憶した３次元座標データベースとを有するサーバ、
およびこのサーバからの情報を用いて、設備の実画像上に上記設備情報の３次元画像を重畳表示するモバイル端末を備え、
上記モバイル端末は、
上記モバイル端末周辺の実画像を撮影するカメラと、
上記カメラによって撮影された現在の実画像をオルソ補正したものと、上記サーバから取得した上記３次元座標データとについて、それぞれ特徴点を抽出し、この抽出した特徴点同士をマッチングすることにより上記モバイル端末の自己位置を推定する自己位置推定部と、
加速度および角速度を含む各種センサ情報に基づき、上記モバイル端末の移動量を推定する移動量推定部と、
上記推定された移動量により更新された自己位置に基づき、上記カメラによって撮影された上記設備の実画像上に、上記サーバから取得した当該設備情報の３次元画像を重畳表示するＡＲ表示部とを有することを特徴とする設備情報表示システム。 A facility information database storing facility information;
A server having a three-dimensional coordinate database storing three-dimensional coordinate data of a predetermined range measured by MMS (Mobile Mapping System);
And using the information from this server, a mobile terminal that superimposes and displays the three-dimensional image of the facility information on the actual image of the facility,
The above mobile devices
A camera that captures real images around the mobile device,
A feature point is extracted for each of the current image captured by the camera and orthorectified, and the three-dimensional coordinate data acquired from the server, and the extracted feature points are matched to each other, thereby the mobile A self-position estimation unit that estimates the self-position of the terminal;
Based on various sensor information including acceleration and angular velocity, a movement amount estimation unit that estimates the movement amount of the mobile terminal,
An AR display unit that superimposes and displays a three-dimensional image of the facility information acquired from the server on an actual image of the facility captured by the camera based on the self-position updated by the estimated movement amount; A facility information display system comprising: 上記移動量推定部は、上記各種センサ情報に基づく移動量の推定と並行して、上記カメラによって撮影された現在の実画像と、直前に撮影された実画像との差分から、上記モバイル端末の移動量を推定することを特徴とする請求項１記載の設備情報表示システム。   In parallel with the estimation of the movement amount based on the various sensor information, the movement amount estimation unit calculates the difference between the current actual image captured by the camera and the actual image captured immediately before, from the mobile terminal. The facility information display system according to claim 1, wherein the movement amount is estimated. 上記モバイル端末は、上記ＡＲ表示部により表示された設備情報の３次元画像の位置を手動で補正するＡＲ操作部を有することを特徴とする請求項１または請求項２記載の設備情報表示システム。   The facility information display system according to claim 1 or 2, wherein the mobile terminal has an AR operation unit that manually corrects a position of a three-dimensional image of the facility information displayed by the AR display unit. 上記サーバは、所定範囲に亘って事前に撮影された実画像をオルソ補正したオルソ画像を記憶したオルソ画像データベースを有し、
上記自己位置推定部は、上記３次元座標データに基づく自己位置の推定に加えて、上記オルソ画像データベースに記憶されたオルソ画像と、現在の実画像をオルソ補正したものとの特徴点のマッチングを行い、上記モバイル端末の自己位置を推定することを特徴とする請求項１から請求項３のいずれか一項記載の設備情報表示システム。 The server has an ortho image database storing an ortho image obtained by ortho-correcting a real image taken in advance over a predetermined range,
In addition to the self-position estimation based on the three-dimensional coordinate data, the self-position estimation unit performs matching of feature points between an ortho image stored in the ortho image database and an ortho correction of the current actual image. 4. The facility information display system according to claim 1, wherein the facility information display system estimates the self-position of the mobile terminal. 5. 設備情報を記憶した設備情報データベースと、
ＭＭＳで計測された所定範囲の３次元座標データを記憶した３次元座標データベースと、
モバイル端末の位置を推定する位置推定部とを有するサーバ、
およびこのサーバからの情報を用いて、設備の実画像上に当該設備情報の３次元画像を重畳表示するモバイル端末を備え、
上記サーバの位置推定部は、上記モバイル端末のカメラによって撮影された現在の実画像の特徴点を上記モバイル端末から取得するとともに、この取得した現在の実画像の特徴点と上記３次元座標データの特徴点をマッチングすることにより、上記モバイル端末の位置を推定し、
上記モバイル端末は、
上記モバイル端末周辺の実画像を撮影するカメラと、
上記カメラによって撮影された現在の実画像をオルソ補正したのち特徴点を抽出するとともに、上記サーバから上記モバイル端末の自己位置を取得する自己位置推定部と、
加速度および角速度を含む各種センサ情報に基づき、上記モバイル端末の移動量を推定する移動量推定部と、
上記推定された移動量により更新された自己位置に基づき、上記カメラによって撮影された上記設備の実画像上に、上記サーバから取得した当該設備情報の３次元画像を重畳表示するＡＲ表示部とを有することを特徴とする設備情報表示システム。 A facility information database storing facility information;
A three-dimensional coordinate database storing a predetermined range of three-dimensional coordinate data measured by MMS;
A server having a position estimation unit for estimating the position of the mobile terminal;
And using the information from this server, a mobile terminal that superimposes and displays a three-dimensional image of the facility information on the actual image of the facility,
The position estimation unit of the server acquires the feature point of the current real image taken by the camera of the mobile terminal from the mobile terminal, and also acquires the feature point of the acquired current image and the three-dimensional coordinate data. By matching feature points, the position of the mobile device is estimated,
The above mobile devices
A camera that captures real images around the mobile device,
A self-position estimation unit that extracts a feature point after ortho-correcting the current real image captured by the camera and acquires the self-position of the mobile terminal from the server;
Based on various sensor information including acceleration and angular velocity, a movement amount estimation unit that estimates the movement amount of the mobile terminal,
An AR display unit that superimposes and displays a three-dimensional image of the facility information acquired from the server on an actual image of the facility captured by the camera based on the self-position updated by the estimated movement amount; A facility information display system comprising: 周辺の実画像を撮影するカメラ、
ＧＰＳ装置から取得したモバイル端末の概略位置の周辺の３次元座標データをサーバから取得し、この取得した３次元座標データと、上記カメラによって撮影された現在の実画像をオルソ補正したものとについて、それぞれ特徴点を抽出し、この抽出した特徴点同士をマッチングすることにより自己位置を推定する自己位置推定部、
加速度および角速度を含む各種センサ情報に基づき、移動量を推定する移動量推定部、
および上記推定された移動量により更新された自己位置に基づき、上記カメラによって撮影された設備の実画像上に、上記サーバから別途取得した当該設備情報の３次元画像を重畳表示するＡＲ表示部を備えたことを特徴とするモバイル端末。 A camera that captures real images of the surrounding area,
The three-dimensional coordinate data around the approximate position of the mobile terminal acquired from the GPS device is acquired from the server, and the acquired three-dimensional coordinate data and the current real image captured by the camera are orthocorrected. A self-position estimation unit that extracts each feature point and estimates the self-position by matching the extracted feature points;
A movement amount estimation unit that estimates a movement amount based on various sensor information including acceleration and angular velocity,
And an AR display unit that superimposes and displays a three-dimensional image of the facility information separately acquired from the server on the actual image of the facility photographed by the camera based on the self-position updated by the estimated movement amount. A mobile terminal characterized by comprising. ＭＭＳで計測された所定範囲の３次元座標データを記憶した３次元座標データベース、
およびモバイル端末のカメラによって撮影された現在の実画像をオルソ補正したものの特徴点を上記モバイル端末から取得するとともに、この取得した現在の実画像の特徴点と上記３次元座標データの特徴点をマッチングすることにより、上記モバイル端末の位置を推定する位置推定部を備えたことを特徴とするサーバ。 A three-dimensional coordinate database storing a predetermined range of three-dimensional coordinate data measured by MMS;
In addition, the feature point of the orthorectified current actual image taken by the camera of the mobile terminal is acquired from the mobile terminal, and the acquired feature point of the current actual image is matched with the feature point of the three-dimensional coordinate data. A server comprising a position estimation unit that estimates the position of the mobile terminal. モバイル端末のＧＰＳ装置から上記モバイル端末の概略位置を取得する第一のステップ、
上記モバイル端末の概略位置の周辺の３次元座標データをサーバから取得する第二のステップ、
上記モバイル端末の自己位置推定部が、上記モバイル端末のカメラによって撮影された実画像をオルソ補正したものと、第二のステップにより取得された３次元座標データとについて、それぞれ特徴点を抽出し、この抽出した特徴点同士をマッチングすることにより、上記モバイル端末の自己位置を推定する第三のステップ、
上記モバイル端末の移動量推定部が、加速度および角速度を含む各種センサ情報に基づき、上記モバイル端末の移動量を推定し、上記自己位置を更新する第四のステップ、
および上記モバイル端末のＡＲ表示部が、上記更新された自己位置に基づき、上記カメラによって撮影された設備の実画像上に、上記サーバから取得した当該設備情報の３次元画像を重畳表示する第五のステップを含むことを特徴とする設備情報表示方法。 A first step of obtaining the approximate position of the mobile terminal from the GPS device of the mobile terminal;
A second step of acquiring three-dimensional coordinate data around the approximate position of the mobile terminal from a server;
The self-position estimation unit of the mobile terminal extracts feature points for the orthorectified real image captured by the camera of the mobile terminal and the three-dimensional coordinate data acquired in the second step, A third step of estimating the self-position of the mobile terminal by matching the extracted feature points;
A fourth step in which the movement amount estimation unit of the mobile terminal estimates the movement amount of the mobile terminal based on various sensor information including acceleration and angular velocity, and updates the self-position;
And the AR display unit of the mobile terminal displays the three-dimensional image of the facility information acquired from the server in a superimposed manner on the actual image of the facility photographed by the camera based on the updated self-position. The facility information display method characterized by including these steps.
JP2015050219A 2015-03-13 2015-03-13 Equipment information display system, mobile terminal, server, and equipment information display method Active JP6440539B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2015050219A JP6440539B2 (en) 2015-03-13 2015-03-13 Equipment information display system, mobile terminal, server, and equipment information display method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2015050219A JP6440539B2 (en) 2015-03-13 2015-03-13 Equipment information display system, mobile terminal, server, and equipment information display method

Publications (2)

Publication Number Publication Date
JP2016170060A true JP2016170060A (en) 2016-09-23
JP6440539B2 JP6440539B2 (en) 2018-12-19

Family

ID=56983520

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2015050219A Active JP6440539B2 (en) 2015-03-13 2015-03-13 Equipment information display system, mobile terminal, server, and equipment information display method

Country Status (1)

Country Link
JP (1) JP6440539B2 (en)

Cited By (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2018105742A (en) * 2016-12-27 2018-07-05 トヨタ自動車株式会社 Position calculation device
JP2018124925A (en) * 2017-02-03 2018-08-09 Kddi株式会社 Terminal device and program
JP2018124926A (en) * 2017-02-03 2018-08-09 Kddi株式会社 Terminal device, method for controlling terminal device, and computer program
WO2018193880A1 (en) * 2017-04-21 2018-10-25 日立Ｇｅニュークリア・エナジー株式会社 Plant equipment recognition system and plant equipment recognition method
JP2018181292A (en) * 2017-04-21 2018-11-15 日立Ｇｅニュークリア・エナジー株式会社 Plant equipment recognition system and plant equipment recognition method
WO2019065546A1 (en) * 2017-09-29 2019-04-04 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ Three-dimensional data creation method, client device and server
JP2019095876A (en) * 2017-11-20 2019-06-20 三菱電機株式会社 Three-dimensional point group display device, three-dimensional point group display system, method for displaying three-dimensional point group, three-dimensional point group display program, and recording medium
WO2019138834A1 (en) * 2018-01-12 2019-07-18 キヤノン株式会社 Information processing device, information processing method, program, and system
CN110132129A (en) * 2018-02-08 2019-08-16 莱卡地球系统公开股份有限公司 The system based on augmented reality with circumference attributive function
JP2020077363A (en) * 2018-09-26 2020-05-21 アップル インコーポレイテッドＡｐｐｌｅ Ｉｎｃ． Localization for mobile devices
WO2020115945A1 (en) * 2018-12-03 2020-06-11 株式会社Ｎｔｔドコモ Positioning system
JP2020122697A (en) * 2019-01-30 2020-08-13 三菱電機株式会社 Three-dimensional measurement apparatus and three-dimensional measurement program
JPWO2022153910A1 (en) * 2021-01-12 2022-07-21
JP2023514724A (en) * 2020-11-30 2023-04-07 浙江商▲湯▼科技▲開▼▲発▼有限公司 Positioning method and its device, electronic device, storage medium, computer program product, computer program
JP7442278B2 (en) 2018-08-20 2024-03-04 フィッシャー－ローズマウント システムズ，インコーポレイテッド Drift correction for industrial augmented reality applications

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20110153215A1 (en) * 2009-12-18 2011-06-23 Electronics and Telecommunications Research Insti tute Apparatus and method of providing facility information
JP2012127896A (en) * 2010-12-17 2012-07-05 Kumamoto Univ Mobile object position measurement device
JP2013024686A (en) * 2011-07-20 2013-02-04 Kokusai Kogyo Co Ltd Mobile mapping system, method for measuring route object using the same, and position specification program
JP2013141049A (en) * 2010-03-24 2013-07-18 Hitachi Ltd Server and terminal utilizing world coordinate system database
JP2013182523A (en) * 2012-03-02 2013-09-12 Hitachi Plant Technologies Ltd Image processing device, image processing system, and image processing method
JP2014153967A (en) * 2013-02-12 2014-08-25 Mitsubishi Electric Corp Portable terminal device and invisible facility location identification method employing the same
WO2014176054A1 (en) * 2013-04-22 2014-10-30 Alcatel Lucent Localization systems and methods

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20110153215A1 (en) * 2009-12-18 2011-06-23 Electronics and Telecommunications Research Insti tute Apparatus and method of providing facility information
JP2013141049A (en) * 2010-03-24 2013-07-18 Hitachi Ltd Server and terminal utilizing world coordinate system database
JP2012127896A (en) * 2010-12-17 2012-07-05 Kumamoto Univ Mobile object position measurement device
JP2013024686A (en) * 2011-07-20 2013-02-04 Kokusai Kogyo Co Ltd Mobile mapping system, method for measuring route object using the same, and position specification program
JP2013182523A (en) * 2012-03-02 2013-09-12 Hitachi Plant Technologies Ltd Image processing device, image processing system, and image processing method
JP2014153967A (en) * 2013-02-12 2014-08-25 Mitsubishi Electric Corp Portable terminal device and invisible facility location identification method employing the same
WO2014176054A1 (en) * 2013-04-22 2014-10-30 Alcatel Lucent Localization systems and methods

Cited By (33)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11519738B2 (en) 2016-12-27 2022-12-06 Toyota Jidosha Kabushiki Kaisha Position calculating apparatus
DE102017125356B4 (en) 2016-12-27 2024-09-12 Toyota Jidosha Kabushiki Kaisha POSITION CALCULATION DEVICE
JP2018105742A (en) * 2016-12-27 2018-07-05 トヨタ自動車株式会社 Position calculation device
US10731996B2 (en) 2016-12-27 2020-08-04 Toyota Jidosha Kabushiki Kaisha Position calculating apparatus
JP2018124926A (en) * 2017-02-03 2018-08-09 Kddi株式会社 Terminal device, method for controlling terminal device, and computer program
JP2018124925A (en) * 2017-02-03 2018-08-09 Kddi株式会社 Terminal device and program
WO2018193880A1 (en) * 2017-04-21 2018-10-25 日立Ｇｅニュークリア・エナジー株式会社 Plant equipment recognition system and plant equipment recognition method
US11378383B2 (en) 2017-04-21 2022-07-05 Hitachi-Ge Nuclear Energy, Ltd. Plant facility apparatus recognition system and plant facility apparatus recognition method
JP2018181292A (en) * 2017-04-21 2018-11-15 日立Ｇｅニュークリア・エナジー株式会社 Plant equipment recognition system and plant equipment recognition method
CN111148967A (en) * 2017-09-29 2020-05-12 松下电器（美国）知识产权公司 Three-dimensional data creation method, client device, and server
CN111148967B (en) * 2017-09-29 2024-03-08 松下电器（美国）知识产权公司 Three-dimensional data creation method, client device, and server
US11625863B2 (en) 2017-09-29 2023-04-11 Panasonic Intellectual Property Corporation Of America Three-dimensional data creation method, client device, and server
WO2019065546A1 (en) * 2017-09-29 2019-04-04 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ Three-dimensional data creation method, client device and server
JPWO2019065546A1 (en) * 2017-09-29 2020-10-22 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカＰａｎａｓｏｎｉｃ Ｉｎｔｅｌｌｅｃｔｕａｌ Ｐｒｏｐｅｒｔｙ Ｃｏｒｐｏｒａｔｉｏｎ ｏｆ Ａｍｅｒｉｃａ 3D data creation method, client device and server
JP7003594B2 (en) 2017-11-20 2022-01-20 三菱電機株式会社 3D point cloud display device, 3D point cloud display system, 3D point cloud display method, 3D point cloud display program, recording medium
JP2019095876A (en) * 2017-11-20 2019-06-20 三菱電機株式会社 Three-dimensional point group display device, three-dimensional point group display system, method for displaying three-dimensional point group, three-dimensional point group display program, and recording medium
JP2019125345A (en) * 2018-01-12 2019-07-25 キヤノン株式会社 Information processor, information processing method, program, and system
WO2019138834A1 (en) * 2018-01-12 2019-07-18 キヤノン株式会社 Information processing device, information processing method, program, and system
JP7341652B2 (en) 2018-01-12 2023-09-11 キヤノン株式会社 Information processing device, information processing method, program, and system
US10890430B2 (en) 2018-02-08 2021-01-12 Leica Geosystems Ag Augmented reality-based system with perimeter definition functionality
CN110132129A (en) * 2018-02-08 2019-08-16 莱卡地球系统公开股份有限公司 The system based on augmented reality with circumference attributive function
CN110132129B (en) * 2018-02-08 2021-01-26 莱卡地球系统公开股份有限公司 Augmented reality-based inspection system and method
JP7442278B2 (en) 2018-08-20 2024-03-04 フィッシャー－ローズマウント システムズ，インコーポレイテッド Drift correction for industrial augmented reality applications
JP2020077363A (en) * 2018-09-26 2020-05-21 アップル インコーポレイテッドＡｐｐｌｅ Ｉｎｃ． Localization for mobile devices
JP7013420B2 (en) 2018-09-26 2022-01-31 アップル インコーポレイテッド Location of mobile devices
WO2020115945A1 (en) * 2018-12-03 2020-06-11 株式会社Ｎｔｔドコモ Positioning system
JP2020122697A (en) * 2019-01-30 2020-08-13 三菱電機株式会社 Three-dimensional measurement apparatus and three-dimensional measurement program
JP7183058B2 (en) 2019-01-30 2022-12-05 三菱電機株式会社 Three-dimensional measuring device and three-dimensional measuring program
JP2023514724A (en) * 2020-11-30 2023-04-07 浙江商▲湯▼科技▲開▼▲発▼有限公司 Positioning method and its device, electronic device, storage medium, computer program product, computer program
JP7487321B2 (en) 2020-11-30 2024-05-20 浙江商▲湯▼科技▲開▼▲発▼有限公司 Positioning method and device, electronic device, storage medium, computer program product, and computer program
JPWO2022153910A1 (en) * 2021-01-12 2022-07-21
JP7444292B2 (en) 2021-01-12 2024-03-06 日本電気株式会社 Detection system, detection method, and program
WO2022153910A1 (en) * 2021-01-12 2022-07-21 日本電気株式会社 Detection system, detection method, and program

Also Published As

Publication number Publication date
JP6440539B2 (en) 2018-12-19

Similar Documents

Publication Publication Date Title
JP6440539B2 (en) Equipment information display system, mobile terminal, server, and equipment information display method
KR101444685B1 (en) Method and Apparatus for Determining Position and Attitude of Vehicle by Image based Multi-sensor Data
US20200218906A1 (en) Robust lane association by projecting 2-d image into 3-d world using map information
JP6070206B2 (en) Position coordinate conversion system, position coordinate conversion method, in-vehicle device, world coordinate measuring device, and position coordinate conversion program
KR101017606B1 (en) Attitude angle sensor three-dimensional misalignment correction method using single image
KR20200064542A (en) Apparatus for measuring ground control point using unmanned aerial vehicle and method thereof
JP6433200B2 (en) Arithmetic apparatus, arithmetic method, and program
WO2004113836A1 (en) Picked-up image display method
KR100822814B1 (en) Method for overlapping real-time landscape image and gis data
EP3067658A1 (en) 3d-shape measurement device, 3d-shape measurement method, and 3d-shape measurement program
KR101611280B1 (en) Mobile mapping system using stereo camera and method of generating point cloud in mobile mapping system
US20160169662A1 (en) Location-based facility management system using mobile device
KR101183866B1 (en) Apparatus and method for real-time position and attitude determination based on integration of gps, ins and image at
KR102174729B1 (en) Method and system for recognizing lane using landmark
KR101255461B1 (en) Position Measuring Method for street facility
KR101346192B1 (en) Aviation surveying system for correction realtime of aviation image
KR101224830B1 (en) Portable Multi-Sensor System for Acquiring Georeferenced Images and Method thereof
TWI798789B (en) Navigation device, navigation system, navigation method, and media storaged the navigation program
KR101346206B1 (en) Aviation surveying system for processing the aviation image in gps
KR101393273B1 (en) System for advanced road texture image
JP5813181B1 (en) Satellite positioning map display system
Kim et al. An advanced approach for navigation and image sensor integration for land vehicle navigation
CN113566847B (en) Navigation calibration method and device, electronic equipment and computer readable medium
JP2013061204A (en) Method for setting corresponding point of aerial photographic image data, corresponding point setting apparatus, and corresponding point setting program
TWI657230B (en) Navigation and positioning device and method of navigation and positioning

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20171222

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20181010

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20181023

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20181120

R151 Written notification of patent or utility model registration

Ref document number: 6440539

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250