JP2020201667A - Drawing superimposition device and program - Google Patents
Drawing superimposition device and program Download PDFInfo
- Publication number
- JP2020201667A JP2020201667A JP2019107363A JP2019107363A JP2020201667A JP 2020201667 A JP2020201667 A JP 2020201667A JP 2019107363 A JP2019107363 A JP 2019107363A JP 2019107363 A JP2019107363 A JP 2019107363A JP 2020201667 A JP2020201667 A JP 2020201667A
- Authority
- JP
- Japan
- Prior art keywords
- camera
- position calculation
- real space
- image
- main body
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000004364 calculation method Methods 0.000 claims abstract description 53
- 238000005259 measurement Methods 0.000 claims abstract description 24
- 238000013500 data storage Methods 0.000 claims abstract description 17
- 238000012937 correction Methods 0.000 claims description 30
- 238000003384 imaging method Methods 0.000 claims description 27
- 239000003381 stabilizer Substances 0.000 claims description 12
- 238000013461 design Methods 0.000 claims description 7
- 230000006870 function Effects 0.000 claims description 6
- 230000035939 shock Effects 0.000 claims description 4
- 230000003287 optical effect Effects 0.000 abstract description 31
- 238000010276 construction Methods 0.000 abstract description 6
- 238000012545 processing Methods 0.000 description 34
- 238000004891 communication Methods 0.000 description 26
- 238000000034 method Methods 0.000 description 11
- 238000010586 diagram Methods 0.000 description 10
- 238000007689 inspection Methods 0.000 description 8
- 238000011960 computer-aided design Methods 0.000 description 5
- 238000005516 engineering process Methods 0.000 description 4
- 210000003128 head Anatomy 0.000 description 4
- 230000008569 process Effects 0.000 description 4
- 238000001514 detection method Methods 0.000 description 3
- 230000001133 acceleration Effects 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 230000033001 locomotion Effects 0.000 description 2
- 238000010295 mobile communication Methods 0.000 description 2
- 238000009877 rendering Methods 0.000 description 2
- 229910000831 Steel Inorganic materials 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 238000007796 conventional method Methods 0.000 description 1
- 230000006866 deterioration Effects 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 230000001678 irradiating effect Effects 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 230000004807 localization Effects 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 230000008450 motivation Effects 0.000 description 1
- 239000010959 steel Substances 0.000 description 1
Landscapes
- Processing Or Creating Images (AREA)
- Closed-Circuit Television Systems (AREA)
- Image Analysis (AREA)
Abstract
Description
本発明は、撮像した現実空間画像に図面データを重畳して表示する図面重畳システムに関する。 The present invention relates to a drawing superimposition system that superimposes and displays drawing data on an captured real space image.
鋼構造物を含む土木構造物の出来型について、誤り(構造物の構築忘れ、位置間違い等)に気づかずに後工程に流れてしまい、その回復にコスト時間を要している。従来、検査工程で、人力により構造物を巻き尺等の計測道具で計測し、設計図と照らし合わせて、その整合を確かめている。 With regard to the finished form of civil engineering structures including steel structures, mistakes (forgetting to construct the structure, incorrect position, etc.) are not noticed and flow to the subsequent process, and it takes time to recover. Conventionally, in the inspection process, the structure is manually measured with a measuring tool such as a tape measure, and the alignment is confirmed by comparing it with the design drawing.
しかしこの方法には、ヒューマンエラーを誘発する要素が多数含まれていることが、この課題の根本原因である。すなわち、計測位置(対象)を計測者自身が選択する必要があるが、担保しようとする計測結果に対して適切な計測対象となっているかは、計測者自身の能力に委ねられている。また、計測時の基準点の確かさが、精度の決め手になるが、これも計測者自身の能力に委ねられている。また、単純な計測ミス(計測値の読みミス)や単純な計測忘れもありうる。 However, the root cause of this challenge is that this method contains many elements that induce human error. That is, it is necessary for the measurer to select the measurement position (object) by himself / herself, but it is left to the ability of the measurer himself / herself whether or not the measurement target is appropriate for the measurement result to be secured. In addition, the certainty of the reference point at the time of measurement is the decisive factor for accuracy, but this is also left to the ability of the measurer himself. In addition, there may be a simple measurement error (misreading of the measured value) or a simple forgetting to measure.
別の側面として、上記の通り計測者のスキルやモチベーションに依存することが多いのにもかかわらず、人手不足によるマンパワー不足やスキル低下が、これら課題の表面化に拍車をかけている。 As another aspect, although it often depends on the skill and motivation of the measurer as described above, lack of manpower and skill deterioration due to labor shortage have spurred the surface of these issues.
そこで、近年、これらの課題を解決するための方法として、コンピュータ等を利用した誤り検出方法が、いくつか提案されている。 Therefore, in recent years, as a method for solving these problems, some error detection methods using a computer or the like have been proposed.
従来の方法としては、例えば写真測量がある。これは、対象構造物を2次元の光学写真として撮影し、これと3次元CAD(Computer Aided Design)を元にした設計通りならばあるべき見え方を、重畳することで検出する方法である。この方法では、構造物を撮影しているカメラの座標・角度をいかに取得するかが課題となるが、基本的には、現実世界での座標を物理的に計測することで成立しているものが多い。 Conventional methods include, for example, photogrammetry. This is a method of taking a target structure as a two-dimensional optical photograph and superimposing the appearance that should be as designed based on the three-dimensional CAD (Computer Aided Design). In this method, the problem is how to obtain the coordinates and angles of the camera that is shooting the structure, but basically, it is established by physically measuring the coordinates in the real world. There are many.
また、他の方法としては、MR(Mixed Reality)技術を採用した事例が提案されている。特許文献1には、Microsoft(登録商標)社のHOLOLENS(登録商標)を用いたものが記載されている。このHOLOLENS(登録商標)は、半透明のスクリーンが人間頭部の目を覆うように設計された、ゴーグル状のハードウェアである。大きく分けて、光学系、環境認識系、システム系で構成されている。 Further, as another method, a case where MR (Mixed Reality) technology is adopted has been proposed. Patent Document 1 describes one using HoloLens (registered trademark) of Microsoft (registered trademark). This HoloLens® is goggle-like hardware designed with a translucent screen covering the eyes of the human head. It is roughly divided into an optical system, an environment recognition system, and a system system.
光学系は、3DCADを含む立体デジタル情報を、装着者が実際にみている光景に、重ね合わせて表示する。3D情報を表示するために、装着者にはその奥行きを認識させるため、右目用と左目用、それぞれ別のデータを投影させている。 The optical system superimposes and displays stereoscopic digital information including 3D CAD on the scene actually viewed by the wearer. In order to display the 3D information, the wearer is made to recognize the depth, and different data for the right eye and the left eye are projected.
環境認識系は、ステレオレンズによる2次元画像のずれの比較による距離認識、赤外線レーザを照射することによる距離認識、慣性センサ(IMU)による移動量推定などを担っている。 The environment recognition system is responsible for distance recognition by comparing the deviations of two-dimensional images with a stereo lens, distance recognition by irradiating an infrared laser, and estimation of the amount of movement by an inertial sensor (IMU).
しかし、上述の写真測量による誤り検出方法では、特別な機材を必要としないという利点はあるものの、カメラの撮影位置の取得に少なからず手間がかかる。また、レンズの歪みもさることながら、3DCAD上の見え方との調整にも手間がかかる。このことから、これを実施するためには計測者には画像処理を含むスキルが必要になる上、実施のためにはある程度の時間がかかるので、必ずしも課題を十分に解決できるとは言えない。 However, although the above-mentioned error detection method by photogrammetry has an advantage that no special equipment is required, it takes a considerable amount of time and effort to acquire the shooting position of the camera. In addition to the distortion of the lens, it takes time and effort to adjust the appearance on 3D CAD. From this, it cannot be said that the problem can be sufficiently solved because the measurer needs skills including image processing in order to carry out this and it takes a certain amount of time to carry out the work.
一方、上記特許文献1に記載の方法は、計測者には特別なスキルは必要なく、また重畳時には自動調整して表示されるので、時間もかからず、課題を解決しうる技術である。しかし、特許文献1に記載のものは、計測者の頭部に装着して使用されるものであり、計測作業が一人の者に限定されてしまい他の者は計測状況を把握できないという問題がある。 On the other hand, the method described in Patent Document 1 is a technique that does not require a special skill for the measurer and automatically adjusts and displays the display at the time of superimposition, so that the problem can be solved in a short time. However, the one described in Patent Document 1 is used by being attached to the head of the measurer, and there is a problem that the measurement work is limited to one person and the other person cannot grasp the measurement situation. is there.
そこで、計測状況について計測者以外の者が観察することや記録することを目的として、ゴーグルにタブレットなどの外部装置を別途接続することが考えられる。この場合、外部装置は、ゴーグルから、当該ゴーグルに設けられているカメラで撮像された画像データと、前記立体デジタル情報から算出した右目用又は左目用のデータとを取得する。そして、外部装置は、ゴーグルから取得した前記画像データに前記右目用又は左目用のデータを重畳して表示させるとともに、必要に応じて当該重畳画像を所定の記憶手段に記憶する。しかしながら、特許文献1に記載のゴーグルは、撮像用のカメラが計測者の右目と左目との中間位置近傍に配置されている一方、重畳用のデータは右目位置又は左目位置用に算出されている。このため、カメラで撮像した画像データと算出した重畳用データにずれが生じてしまうという問題がある。土木構造物の計測では、計測対象が数十mを超えるような規模の大きな構造物であっても、計測精度はmm単位が必要である。このため、上述のようなずれの発生は非常に大きな問題である。 Therefore, it is conceivable to separately connect an external device such as a tablet to the goggles for the purpose of observing or recording the measurement status by a person other than the measurer. In this case, the external device acquires the image data captured by the camera provided on the goggles and the data for the right eye or the left eye calculated from the stereoscopic digital information from the goggles. Then, the external device superimposes and displays the data for the right eye or the left eye on the image data acquired from the goggles, and stores the superposed image in a predetermined storage means as needed. However, in the goggles described in Patent Document 1, the camera for imaging is arranged near the intermediate position between the right eye and the left eye of the measurer, while the data for superimposition is calculated for the right eye position or the left eye position. .. Therefore, there is a problem that the image data captured by the camera and the calculated superimposition data are out of alignment. In the measurement of civil engineering structures, the measurement accuracy needs to be in millimeters even if the measurement target is a large-scale structure exceeding several tens of meters. Therefore, the occurrence of the above-mentioned deviation is a very big problem.
また、特許文献1に記載のものは、計測者の頭部に装着するものであり、計測者が計測対象を準近接状態で目視する必要がある。しかし、土木構造物は計測者が容易にアクセスできる場所から必ずしも肉眼で確認できるとは限らない。すなわち、足場を設けなければ確認できない高いところや、床面レベルの低い所からしか確認できないことも多く、目視できるようにするためには、段取りが必要になるという問題がある。また、特許文献1に記載のものは、ゴーグルが撮影時に衝撃や振動を受けやすいため撮像画像や計測信号にぶれが生じ、これにより空間認識処理や位置認識処理に支障が生じる場合がある。 Further, the one described in Patent Document 1 is worn on the head of the measurer, and the measurer needs to visually check the measurement target in a quasi-proximity state. However, civil engineering structures are not always visible to the naked eye from a location that is easily accessible to the measurer. That is, in many cases, it can be confirmed only from a high place that cannot be confirmed without providing a scaffolding or a place where the floor surface level is low, and there is a problem that setup is required to make it visible. Further, in the case of the one described in Patent Document 1, since the goggles are susceptible to shocks and vibrations at the time of shooting, the captured image and the measurement signal are blurred, which may hinder the spatial recognition processing and the position recognition processing.
本発明は上記事情に鑑みてなされたものであり、その目的とするところは、図面データの重畳精度が高く、土木構造物の施工誤り検査を容易且つ確実に実施できる利便性の高い図面重畳装置を提供することにある。 The present invention has been made in view of the above circumstances, and an object of the present invention is a highly convenient drawing superimposing device capable of easily and surely performing construction error inspection of civil engineering structures with high superimposition accuracy of drawing data. Is to provide.
上記目的を達成するために、本願発明は、撮像した現実空間画像に図面データを重畳して表示する図面重畳装置であって、図面重畳装置本体と、有線又は無線により前記図面重畳装置本体に接続された撮像装置とを備え、前記撮像装置は、現実空間の二次元画像を撮像する一台の一眼のカメラと、前記カメラの焦点位置及び方向を検出するための位置算出用情報を取得する位置算出用情報取得手段を備え、前記図面重畳装置本体は、構造物の設計図である図面データを記憶する図面データ記憶部と、前記位置算出用情報取得手段により取得された位置算出用情報に基づき前記カメラの焦点位置及び方向を算出する位置算出部と、前記位置算出部により算出されたカメラの現在の焦点位置及び方向を基準として図面データ記憶部に記憶された図面データをレンダリングし、レンダリング画像を前記カメラで撮像された現実空間画像に重畳して表示装置に出力する重畳表示制御部とを備えたことを特徴とする。 In order to achieve the above object, the present invention is a drawing superimposing device for superimposing and displaying drawing data on an captured real space image, and is connected to the drawing superimposing device main body and the drawing superimposing device main body by wire or wirelessly. The imaging device includes a single-lens camera that captures a two-dimensional image in real space, and a position for acquiring position calculation information for detecting the focal position and direction of the camera. The drawing superimposing device main body is provided with calculation information acquisition means, and is based on a drawing data storage unit that stores drawing data which is a design drawing of a structure and position calculation information acquired by the position calculation information acquisition means. The drawing data stored in the drawing data storage unit is rendered based on the position calculation unit that calculates the focal position and direction of the camera and the current focal position and direction of the camera calculated by the position calculation unit, and the rendered image. The data is superposed on the real space image captured by the camera and output to the display device.
本願発明の好適な態様としては、さらに、利用者により保持され且つ前記撮像装置を支持する長尺の支持部材を備えたものが挙げられる。また、本願発明の好適な他の態様としては、さらに、前記撮像装置に印可される衝撃及び振動を吸収するスタビライザーを備えたものが挙げられる。また、本願発明の好適な他の態様としては、さらに、カメラのレンズ歪み情報に基づき現実空間画像又はレンダリング画像を補正する補正部を備えたものが挙げられる。また、本願発明の好適な他の態様としては、前記位置算出用情報取得手段は、前記カメラにより撮像された現実空間画像に対応し且つ現実空間に存在するものとの間の距離情報を画素毎に有する深度データを前記位置算出用情報として生成する深度データ生成部と、撮像装置の慣性情報を前記位置算出用情報として計測する慣性計測部とを備えたもの挙げられる。 A preferred embodiment of the present invention further includes a device provided with a long support member held by the user and supporting the image pickup apparatus. Further, as another preferable aspect of the present invention, there is an example provided with a stabilizer that absorbs shock and vibration applied to the image pickup apparatus. Further, as another preferable aspect of the present invention, there is an example in which a correction unit for correcting a real space image or a rendered image based on the lens distortion information of the camera is provided. Further, as another preferred embodiment of the present invention, the position calculation information acquisition means corresponds to a real space image captured by the camera and obtains distance information for each pixel from an object existing in the real space. Examples thereof include a depth data generation unit that generates the depth data possessed by the image as the position calculation information, and an inertial measurement unit that measures the inertial information of the imaging device as the position calculation information.
本発明によれば、図面重畳装置本体と撮像装置が分離されているので、撮像装置のみを検査対象の準近傍まで容易に移動させることができる。これにより、土木構造物の施工誤り検査を容易且つ確実に実施できる。また、本発明によれば、現実空間の撮像を撮像装置に含まれる一台のカメラで行っているので、重畳表示制御部における図面データの重畳精度が向上する。 According to the present invention, since the drawing superimposing device main body and the image pickup device are separated, only the image pickup device can be easily moved to the near vicinity of the inspection target. As a result, construction error inspection of civil engineering structures can be easily and surely carried out. Further, according to the present invention, since the image of the real space is performed by one camera included in the image pickup apparatus, the superimposition accuracy of the drawing data in the superimposition display control unit is improved.
特に、支持部材を備えた図面重畳装置によれば、撮像装置のみを検査対象の準近傍まで容易に移動させることができる。これにより、土木構造物の施工誤り検査を容易且つ確実に実施できる。また、スタビライザーを備えた図面重畳装置によれば、撮像装置のぶれが少なく且つ位置が安定するので、焦点位置及び方向の算出処理を高精度に実施可能になるとともに、ブレが少なく見やすい現実空間画像及び重畳画像を得ることができる。また、レンズ歪みを補正する補正部を図面重畳装置によれば、図面データをレンダリングして得られたレンダリング画像と現実空間画像とのずれが軽減されるので、図面データの重畳精度が向上する。 In particular, according to the drawing superimposing device provided with the support member, only the imaging device can be easily moved to the quasi-neighborhood of the inspection target. As a result, construction error inspection of civil engineering structures can be easily and surely carried out. Further, according to the drawing superimposing device equipped with a stabilizer, the image pickup device has less blurring and the position is stable, so that the calculation process of the focal position and the direction can be performed with high accuracy, and the real space image with less blurring and easy to see. And a superposed image can be obtained. Further, if the correction unit for correcting the lens distortion is a drawing superimposing device, the deviation between the rendered image obtained by rendering the drawing data and the real space image is reduced, so that the superimposing accuracy of the drawing data is improved.
(第1の実施の形態)
本発明の第1の実施の形態に係る図面重畳装置について図面を参照して説明する。図1は第1の実施の形態に係る図面重畳装置の全体構成図、図2は深度カメラの機能ブロック図、図3は図面重畳装置本体の機能ブロック図である。
(First Embodiment)
The drawing superimposing device according to the first embodiment of the present invention will be described with reference to the drawings. FIG. 1 is an overall configuration diagram of a drawing superimposing device according to the first embodiment, FIG. 2 is a functional block diagram of a depth camera, and FIG. 3 is a functional block diagram of a drawing superimposing device main body.
本実施の形態に係る図面重畳装置1は、図1に示すように、それぞれ別筐体として設けられた、図面重畳装置本体100と、撮像装置である深度カメラ200とを備えている。図面重畳装置本体100と深度カメラ200は所定の通信ケーブル300によりデータの授受が可能に接続されている。また、本実施の形態に係る図面重畳装置1は、利用者により保持され且つ深度カメラ200を支持する長尺の支持部材である支持具400を備えている。 As shown in FIG. 1, the drawing superimposing device 1 according to the present embodiment includes a drawing superimposing device main body 100 and a depth camera 200 as an imaging device, which are provided as separate housings. The drawing superimposing device main body 100 and the depth camera 200 are connected so that data can be exchanged by a predetermined communication cable 300. Further, the drawing superimposing device 1 according to the present embodiment includes a support tool 400 which is a long support member held by the user and supports the depth camera 200.
図面重畳装置本体100は、利用者により携行されるコンピュータにプログラムをインストールすることにより構成される。図面重畳装置本体100は、少なくとも液晶ディスプレイや有機ELディスプレイなどの表示装置を備えている。典型的には、図面重畳装置本体100は、タブレット端末と呼ばれる高機能携帯通信端末により構成される。図面重畳装置本体100の構成については後に詳述する。 The drawing superimposing device main body 100 is configured by installing a program on a computer carried by a user. The drawing superimposing device main body 100 includes at least a display device such as a liquid crystal display or an organic EL display. Typically, the drawing superimposing device main body 100 is composed of a high-performance mobile communication terminal called a tablet terminal. The configuration of the drawing superimposing device main body 100 will be described in detail later.
深度カメラ200は、デプスカメラと呼ばれ深度データを含む画像情報を撮像可能な撮像装置である。深度カメラ200は、図2に示すように、現実空間の二次元画像を撮像する一台の一眼の光学カメラ210と、前記光学カメラ210により撮像された現実空間画像に対応し且つ現実空間に存在するものとの間の距離情報を画素毎に有する深度データを生成する深度データ生成部220と、深度カメラ200の慣性情報を計測する慣性計測部230と、通信インタフェイス部240とを備えている。 The depth camera 200 is an imaging device called a depth camera that can capture image information including depth data. As shown in FIG. 2, the depth camera 200 corresponds to one single-lens optical camera 210 that captures a two-dimensional image of the real space and the real space image captured by the optical camera 210, and exists in the real space. It includes a depth data generation unit 220 that generates depth data that has distance information for each pixel, an inertial measurement unit 230 that measures the inertial information of the depth camera 200, and a communication interface unit 240. ..
光学カメラ210は、CCDイメージセンサやCMOSイメージセンサ等の周知の撮像素子211及び一眼の光学レンズ212を備えており、可視光線領域における現実空間の二次元画像を取得し、現実空間画像として通信インタフェイス部240を介して図面重畳装置本体100に所定のフレームレートで出力する。光学カメラ210は、照明手段として、可視光線領域の光を対象物に照査する可視光線照射部を備えていてもよい。 The optical camera 210 includes a well-known image sensor 211 such as a CCD image sensor and a CMOS image sensor, and a single-lens optical lens 212, acquires a two-dimensional image of the real space in the visible light region, and communicates as a real space image. It is output to the drawing superimposing device main body 100 via the face unit 240 at a predetermined frame rate. The optical camera 210 may include a visible light irradiation unit that illuminates an object with light in the visible light region as an illumination means.
深度データ生成部220は、CCDイメージセンサやCMOSイメージセンサ等の撮像素子221及び光学レンズ222を左右一対備えており、赤外線領域における画像を取得する。深度データ生成部220は、各撮像素子221により取得した画像の視差及び/又は赤外線の到達時間等を利用して画素毎に対象物との距離データ、すなわち深度データを生成し、通信インタフェイス部240を介して所定のフレームレートで図面重畳装置本体100に出力する。深度データ生成部220の撮像方向・画角・レンズ倍率等は光学カメラ210と一致している。また、深度データ生成部220が出力する深度データの解像度(画素数)は、光学カメラ210が出力する現実空間画像の解像度(画素数)と一致している。この深度データは、光学カメラ210の焦点位置(光学レンズ212の焦点位置)及び方向を検出するための位置算出用情報の1つとして用いられる。 The depth data generation unit 220 includes a pair of left and right image pickup elements 221 such as a CCD image sensor and a CMOS image sensor, and an optical lens 222, and acquires an image in an infrared region. The depth data generation unit 220 generates distance data to an object, that is, depth data for each pixel by utilizing the parallax and / or the arrival time of infrared rays of the image acquired by each image sensor 221 and is a communication interface unit. It is output to the drawing superimposing device main body 100 at a predetermined frame rate via 240. The imaging direction, angle of view, lens magnification, etc. of the depth data generation unit 220 are the same as those of the optical camera 210. Further, the resolution (number of pixels) of the depth data output by the depth data generation unit 220 matches the resolution (number of pixels) of the real space image output by the optical camera 210. This depth data is used as one of the position calculation information for detecting the focal position (focus position of the optical lens 212) and the direction of the optical camera 210.
また、深度データ生成部220は、赤外線を対象物に対して照射する赤外線照射部223を備えている。深度データ生成部220は、赤外線照射部223を用いて、対象物に対して所定のパターン(例えばドット模様)を照射することができる。深度データ生成部220は、深度データを生成するに際して、撮像された画像に含まれるパターンの状況を考慮することができる。 Further, the depth data generation unit 220 includes an infrared irradiation unit 223 that irradiates an object with infrared rays. The depth data generation unit 220 can irradiate an object with a predetermined pattern (for example, a dot pattern) by using the infrared irradiation unit 223. The depth data generation unit 220 can consider the situation of the pattern included in the captured image when generating the depth data.
慣性計測部230は、IMU(Inertial Measurement Unit)装置と呼ばれ、深度カメラ200の方向及び運動状況を検出する装置である。慣性計測部230は、上下・左右・前後という3方向の加速度センサと、XYZ軸という3軸の角速度センサを備えており、3次元の角速度と加速度を検出することができる。慣性計測部230は、検出したデータを慣性情報として通信インタフェイス部240を介して図面重畳装置本体100に出力する。この慣性情報は、光学カメラ210の焦点位置(光学レンズ212の焦点位置)及び方向を検出するための位置算出用情報の1つとして用いられる。慣性計測部230は、精度や信頼性の向上のため、圧力計、流量計、GNSS(Global Navigation Satellite System)センサなど別種類のセンサを備えていてもよい。 The inertial measurement unit 230 is called an IMU (Inertial Measurement Unit) device, which detects the direction and motion of the depth camera 200. The inertial measurement unit 230 includes acceleration sensors in three directions of up and down, left and right, and front and back, and three-axis angular velocity sensors called XYZ axes, and can detect three-dimensional angular velocity and acceleration. The inertial measurement unit 230 outputs the detected data as inertial information to the drawing superimposing device main body 100 via the communication interface unit 240. This inertial information is used as one of the position calculation information for detecting the focal position (focus position of the optical lens 212) and the direction of the optical camera 210. The inertial measurement unit 230 may be provided with another type of sensor such as a pressure gauge, a flow meter, and a GNSS (Global Navigation Satellite System) sensor in order to improve accuracy and reliability.
通信インタフェイス部240は、図面重畳装置本体100とのインタフェイス部である。通信インタフェイス部240の通信規格は不問であり、無線通信であっても有線通信であってもよい。 The communication interface unit 240 is an interface unit with the drawing superimposing device main body 100. The communication standard of the communication interface unit 240 does not matter, and it may be wireless communication or wired communication.
図面重畳装置本体100は、図3に示すように、図面データ記憶部110と、位置算出部120と、重畳表示制御部130と、履歴記憶部140と、入力装置150と、表示装置160と、通信インタフェイス部170とを備えている。 As shown in FIG. 3, the drawing superimposition device main body 100 includes a drawing data storage unit 110, a position calculation unit 120, a superimposition display control unit 130, a history storage unit 140, an input device 150, and a display device 160. It includes a communication interface unit 170.
図面データ記憶部110は、検査対象である構造物の設計図である図面データを記憶する。図面データは、図示しない他のCAD装置等で生成され、図面重畳装置本体100にインストールされる。図面データの規格やフォーマットは不問である。本実施の形態では、図面データは、表示装置160に構造物をワイヤーフレームで表示可能なものである。図面データは、構造物の名称、型番、寸法などの付加情報を含むことができる。また図面データは、構造物のテクスチャを付加情報として含むことができる。 The drawing data storage unit 110 stores drawing data which is a design drawing of a structure to be inspected. The drawing data is generated by another CAD device (not shown) or the like, and is installed in the drawing superimposing device main body 100. The standard and format of drawing data do not matter. In the present embodiment, the drawing data can display the structure on the display device 160 with a wire frame. The drawing data can include additional information such as the name, model number and dimensions of the structure. Further, the drawing data can include the texture of the structure as additional information.
位置算出部120は、自己位置推定と地図作成を同時に行うSLAM(Simultaneously Localization and Mapping)技術を用いて、深度カメラ200から取得した現実空間画像、深度データ、慣性情報及び図面データ記憶部110に記憶された図面データに基づき深度カメラ200の現在位置及び方向、より詳しくは深度カメラ200の光学カメラ210の焦点位置及び方向を算出する。位置算出部120の動作について図4のフローチャートを参照して説明する。 The position calculation unit 120 stores the real space image, depth data, inertial information, and drawing data storage unit 110 acquired from the depth camera 200 by using SLAM (Simultaneously Localization and Mapping) technology that simultaneously performs self-position estimation and map creation. The current position and direction of the depth camera 200, more specifically, the focal position and direction of the optical camera 210 of the depth camera 200 are calculated based on the drawing data. The operation of the position calculation unit 120 will be described with reference to the flowchart of FIG.
図4に示すように、位置算出部120は、まず、深度カメラ200から取得した慣性情報に基づき深度カメラ200の現在位置及び方向、より詳しくは深度カメラ200の光学カメラ210の現在の焦点位置及び方向を算出する(ステップS1)。ここで、位置算出部120は、入力装置150を利用して利用者が入力した原点位置及び方向と、慣性情報に基づき算出した原点位置からの相対的位置及び方向に基づき、現在位置及び方向を算出する。 As shown in FIG. 4, the position calculation unit 120 first determines the current position and direction of the depth camera 200 based on the inertial information acquired from the depth camera 200, and more specifically, the current focal position and the current focal position of the optical camera 210 of the depth camera 200. The direction is calculated (step S1). Here, the position calculation unit 120 determines the current position and direction based on the origin position and direction input by the user using the input device 150 and the relative position and direction from the origin position calculated based on the inertial information. calculate.
次に、位置算出部120は、図面データ記憶部110に記憶された図面データに基づき、前記ステップS1で算出した深度カメラ200の光学カメラ210の現在の焦点位置及び方向を基準とした仮想空間画像、すなわち当該現在の焦点位置及び方向から見た図面データに係る構造物についての仮想的な画像を算出する(ステップS2)。 Next, the position calculation unit 120 is a virtual space image based on the current focal position and direction of the optical camera 210 of the depth camera 200 calculated in step S1 based on the drawing data stored in the drawing data storage unit 110. That is, a virtual image of the structure related to the drawing data viewed from the current focal position and direction is calculated (step S2).
次に、位置算出部120は、前記ステップS2で算出した仮想空間画像と、深度カメラ200から取得した現実空間画像及び深度データとに基づき、両者の特徴点位置を比較し、仮想空間と現実空間とのずれ量を算出し、このずれ量に基づき前記ステップS1で算出した現在位置及び方向を補正する(ステップS3)。 Next, the position calculation unit 120 compares the feature point positions of both based on the virtual space image calculated in step S2 and the real space image and depth data acquired from the depth camera 200, and the virtual space and the real space. The amount of deviation from and is calculated, and the current position and direction calculated in step S1 are corrected based on this amount of deviation (step S3).
重畳表示制御部130は、位置算出部120により算出された深度カメラ200の光学カメラ210の現在の焦点位置及び方向を基準として図面データ記憶部110に記憶された図面データをレンダリングし、レンダリング画像を現実空間画像に重畳して表示装置160に出力する。ここで、重畳表示の態様は不問である。重畳表示の対象とする図面データは、現実画像では構造物の背面等にあり現在位置からは視認できない図面データを含んでもよいし、視認できる図面データのみとしてもよいし、両者を適宜切り替え可能としてもよい。また、本実施の形態では、構造物をワイヤーフレームで重畳表示するようにした。また、図面データが付加情報を含んでいる場合、当該付加情報も併せて重畳表示するようにしてもよい。 The superimposition display control unit 130 renders the drawing data stored in the drawing data storage unit 110 with reference to the current focal position and direction of the optical camera 210 of the depth camera 200 calculated by the position calculation unit 120, and renders the rendered image. It is superimposed on the real space image and output to the display device 160. Here, the mode of the superimposed display does not matter. The drawing data to be superimposed and displayed may include drawing data that is on the back surface of the structure in the real image and cannot be seen from the current position, may be only visible drawing data, or both may be switched as appropriate. May be good. Further, in the present embodiment, the structure is superimposed and displayed on the wire frame. Further, when the drawing data includes additional information, the additional information may also be superimposed and displayed.
図5に現実空間撮像の一例、図6に重畳画像の一例を示す。図5及び図6に示すように、現実空間画像900には構造物901,902が含まれている。重畳画像は、図6に示すように、図面データがワイヤーフレームとして現実空間画像900に重畳されている。図6では、ワイヤーフレームの一部が現実の構造物と一致していない例を示している。すなわち、図6では、図5に示す構造部901については図面データに基づくワイヤーフレーム161と一致している。一方、図5に示す構造物902については図面データに基づくワイヤーフレーム162と一致していない。これは、何らかの施工誤りにより、現実の構造物902が設計図面と異なっていることを意味する。 FIG. 5 shows an example of real-space imaging, and FIG. 6 shows an example of a superimposed image. As shown in FIGS. 5 and 6, the real space image 900 includes structures 901 and 902. In the superimposed image, as shown in FIG. 6, the drawing data is superimposed on the real space image 900 as a wire frame. FIG. 6 shows an example in which a part of the wire frame does not match the actual structure. That is, in FIG. 6, the structural portion 901 shown in FIG. 5 coincides with the wire frame 161 based on the drawing data. On the other hand, the structure 902 shown in FIG. 5 does not match the wire frame 162 based on the drawing data. This means that the actual structure 902 is different from the design drawing due to some construction error.
履歴記憶部140は、深度カメラ200から取得した現実空間画像、及び、重畳表示制御部130から出力された重畳画像の少なくとも一方又は双方を履歴情報として記録する。履歴記憶部140は、さらに、深度カメラ200から取得した深度データ、慣性情報を履歴情報として記録することができる。 The history storage unit 140 records at least one or both of the real space image acquired from the depth camera 200 and the superimposed image output from the superimposed display control unit 130 as history information. The history storage unit 140 can further record depth data and inertial information acquired from the depth camera 200 as history information.
入力装置150は利用者から各種情報を入力する周知の装置である。入力装置150としてはタッチパネル、マウス、トラックボール等のポインティングデバイスが挙げられる。表示装置160は、各種情報を表示する周知の表示手段であり、例えばLCDディスプレイや有機ELディスプレイなどにより構成される。通信インタフェイス部170は、深度カメラ200とのインタフェイス部であり、深度カメラ200の通信インタフェイス部240と同一の通信規格である。入力装置150、表示装置160、通信インタフェイス部170は、図面重畳装置本体100をタブレット端末などの高機能携帯通信端末により構成する場合、当該端末に備えられているものを用いることができる。 The input device 150 is a well-known device for inputting various information from the user. Examples of the input device 150 include pointing devices such as a touch panel, a mouse, and a trackball. The display device 160 is a well-known display means for displaying various information, and is composed of, for example, an LCD display or an organic EL display. The communication interface unit 170 is an interface unit with the depth camera 200, and has the same communication standard as the communication interface unit 240 of the depth camera 200. As the input device 150, the display device 160, and the communication interface unit 170, when the drawing superimposing device main body 100 is composed of a high-performance mobile communication terminal such as a tablet terminal, those provided in the terminal can be used.
通信ケーブル300は、図面重畳装置本体100と深度カメラ200との間でデータの送受信を可能にするための通信媒体であり、図面重畳装置本体100の通信インタフェイス部170及び深度カメラ200の通信インタフェイス部240の通信規格に適合する。 The communication cable 300 is a communication medium for enabling data transmission / reception between the drawing superimposing device main body 100 and the depth camera 200, and is a communication interface between the communication interface unit 170 of the drawing superimposing device main body 100 and the depth camera 200. Conforms to the communication standard of the face unit 240.
支持具400は、先端部に深度カメラ200を着脱自在に付設可能に構成された長尺の棒状部材を備えている。本実施の形態では、深度カメラ200はスタビライザー450を介して支持具400に付設されている。スタビライザー450は、支持具400及び支持具400を介して深度カメラ200に印可される衝撃や振動を吸収して深度カメラ200の焦点位置や方向を安定させる機能を有する。スタビライザー450は、機械式であっても電動式であってもよい。スタビライザー450を介することにより、深度カメラ200による現実空間画像、深度データ、慣性情報のぶれや急峻な変化を防止できる。前述したように、図面重畳装置本体100の位置算出部120はSLAM技術を利用した位置算出を行っているが、当該SLAM技術を用いた位置算出では画像に含まれる特徴点を追跡する処理を行っている。このため、急峻なデータ変化があると正確な位置及び方向の算出に失敗する場合が考えられる。したがって、スタビライザー450は正確且つ安定的な計測に有効である。 The support 400 includes a long rod-shaped member configured so that the depth camera 200 can be detachably attached to the tip end portion. In the present embodiment, the depth camera 200 is attached to the support 400 via the stabilizer 450. The stabilizer 450 has a function of absorbing shocks and vibrations applied to the depth camera 200 via the support 400 and the support 400 to stabilize the focal position and direction of the depth camera 200. The stabilizer 450 may be mechanical or electric. Through the stabilizer 450, it is possible to prevent the depth camera 200 from blurring or abrupt changes in the real space image, depth data, and inertial information. As described above, the position calculation unit 120 of the drawing superimposing device main body 100 performs position calculation using SLAM technology, but in position calculation using the SLAM technology, processing for tracking feature points included in the image is performed. ing. Therefore, if there is a steep data change, it may fail to calculate the accurate position and direction. Therefore, the stabilizer 450 is effective for accurate and stable measurement.
また、支持具400は、スタビライザー450を設けることなく、例えば周知の雲台を用いて深度カメラ200を付設するように構成してもよい。さらに、支持具400は、モータ等の駆動手段により深度カメラ200の方向を変えるように構成してもよい。この場合、駆動手段はスタビライザー450の一部であってもよい。 Further, the support 400 may be configured so that the depth camera 200 is attached by using, for example, a well-known pan head, without providing the stabilizer 450. Further, the support 400 may be configured to change the direction of the depth camera 200 by a driving means such as a motor. In this case, the driving means may be a part of the stabilizer 450.
支持具400の他端は、利用者が握りやすいよう把手401が設けられている。支持具400は、その長さを変えられるよう構成することができる。なお、図面重畳装置1を利用する際には、深度カメラ200を支持具400に取り付けていてもよいし、支持具400から深度カメラ200から取り外していてもよい。 The other end of the support 400 is provided with a handle 401 so that the user can easily grip it. The support 400 can be configured so that its length can be changed. When using the drawing superimposing device 1, the depth camera 200 may be attached to the support 400, or may be removed from the depth camera 200 from the support 400.
本実施の形態に係る図面重畳装置1によれば、図面重畳装置本体100と深度カメラ200が分離されているので、深度カメラ200のみを検査対象の準近傍まで容易に移動させることができる。これにより、土木構造物の施工誤り検査を容易且つ確実に実施できる。 According to the drawing superimposing device 1 according to the present embodiment, since the drawing superimposing device main body 100 and the depth camera 200 are separated, only the depth camera 200 can be easily moved to the quasi-neighborhood of the inspection target. As a result, construction error inspection of civil engineering structures can be easily and surely carried out.
また、本実施の形態に係る図面重畳装置1によれば、深度カメラ200の焦点位置及び方向を算出する際に、深度カメラ200から取得した現実空間画像、深度データ、慣性情報だけでなく図面データも用いるので、図面データの重畳精度が向上する。 Further, according to the drawing superimposing device 1 according to the present embodiment, when calculating the focal position and direction of the depth camera 200, not only the real space image, the depth data, and the inertial information acquired from the depth camera 200 but also the drawing data. Is also used, so that the superimposition accuracy of drawing data is improved.
また、本実施の形態に係る図面重畳装置1によれば、現実空間の撮像を撮像装置に含まれる一台の光学カメラ210で行っているので、重畳表示制御部130における図面データの重畳精度が向上する。 Further, according to the drawing superimposition device 1 according to the present embodiment, since the imaging of the real space is performed by one optical camera 210 included in the image pickup device, the superimposition accuracy of the drawing data in the superimposition display control unit 130 is improved. improves.
(第2の実施の形態)
本発明の第2の実施の形態に係る図面重畳装置について図面を参照して説明する。図7は第2の実施の形態に係る図面重畳装置本体の機能ブロック図である。本実施の形態が第1の実施の形態と異なる点は、カメラのレンズ歪みに応じた補正処理を行う点にある。他の点については第1の実施の形態と同様なので、ここでは相違点のみを説明する。
(Second Embodiment)
The drawing superimposing device according to the second embodiment of the present invention will be described with reference to the drawings. FIG. 7 is a functional block diagram of the drawing superimposing device main body according to the second embodiment. The difference between this embodiment and the first embodiment is that correction processing is performed according to the lens distortion of the camera. Since the other points are the same as those in the first embodiment, only the differences will be described here.
一般的に、カメラで撮像して得られた画像データは、カメラレンズ固有の歪みにより歪みが生じる。典型的な例では、矩形の対象物を撮像すると、レンズの歪みにより画像データは対象物の稜線が樽型に歪む。そこで、本実施の形態に係る図面重畳装置本体100aは、図7に示すように、深度カメラ200の光学カメラ210の光学レンズ212の歪みにより生じる現実空間画像の歪みを補正する補正処理部180と、補正処理部180で用いる補正用データを生成する校正処理部190とを備えている。 Generally, the image data obtained by imaging with a camera is distorted due to the distortion peculiar to the camera lens. In a typical example, when a rectangular object is imaged, the ridgeline of the object is distorted into a barrel shape in the image data due to the distortion of the lens. Therefore, as shown in FIG. 7, the drawing superimposing device main body 100a according to the present embodiment includes a correction processing unit 180 that corrects the distortion of the real space image caused by the distortion of the optical lens 212 of the optical camera 210 of the depth camera 200. A calibration processing unit 190 that generates correction data used by the correction processing unit 180 is provided.
校正処理部190は、深度カメラ200の光学カメラ210を用いて、所定の撮像条件で、所定の校正用の撮像対象物が含まれる現実空間を撮像する。そして、校正処理部190は、撮像して得られた現実空間画像と、撮像対象物及び撮像条件に関する既知の各種情報とに基づき現実空間画像の補正用データを生成する。また、校正処理部190は、現実空間画像の補正用データと併せて、深度データの補正用データを生成する。この場合、校正処理部190は、現実空間画像の補正用データの生成処理と並行して、深度データ生成部220により校正用の撮像対象物が含まれる深度データを生成し、当該深度データと、撮像対象物及び撮像条件に関する既知の各種情報とに基づき深度データの補正用データを生成すればよい。校正処理部190により生成された補正用データは所定の記憶部(図示省略)に記憶する。 The calibration processing unit 190 uses the optical camera 210 of the depth camera 200 to image a real space including a predetermined calibration object under predetermined imaging conditions. Then, the calibration processing unit 190 generates correction data for the real space image based on the real space image obtained by imaging and various known information regarding the imaging object and the imaging conditions. Further, the calibration processing unit 190 generates the correction data of the depth data together with the correction data of the real space image. In this case, the calibration processing unit 190 generates depth data including the image pickup target for calibration by the depth data generation unit 220 in parallel with the generation processing of the correction data of the real space image, and the depth data and the depth data are combined with the depth data. The correction data of the depth data may be generated based on various known information regarding the imaging object and the imaging conditions. The correction data generated by the calibration processing unit 190 is stored in a predetermined storage unit (not shown).
校正処理部190による校正作業は、少なくとも深度カメラ200の最初の使用時に実施すればよく、必要に応じて定期的に又は任意時に実施してもよい。 The calibration work by the calibration processing unit 190 may be performed at least at the time of the first use of the depth camera 200, and may be performed periodically or at any time as needed.
補正処理部180は、校正処理部190により生成された前記現実空間画像の補正用データを用いて、深度カメラ200の光学カメラ210で撮像された現実空間画像を補正する。同様に、補正処理部180は、校正処理部190により生成された前記深度データの補正用データを用いて、深度データ生成部220で生成された深度データを補正する。補正された現実空間画像は、位置算出部120及び重畳表示制御部130に送られる。また、補正された深度データは、位置算出部120に送られる。 The correction processing unit 180 corrects the real space image captured by the optical camera 210 of the depth camera 200 by using the correction data of the real space image generated by the calibration processing unit 190. Similarly, the correction processing unit 180 corrects the depth data generated by the depth data generation unit 220 by using the correction data of the depth data generated by the calibration processing unit 190. The corrected real space image is sent to the position calculation unit 120 and the superimposition display control unit 130. Further, the corrected depth data is sent to the position calculation unit 120.
本実施の形態に係る図面重畳装置によれば、深度カメラ200の光学カメラ210で撮像した現実空間画像に対してカメラレンズ固有の歪みに応じた補正を行っているので図面データの重畳精度が向上する。また、本実施の形態に係る図面重畳装置によれば、深度カメラ200の深度データ生成部220で生成された深度データに対してもカメラレンズ固有の歪みに応じた補正を行っているので、深度カメラ200の焦点位置及び方向の検出精度が向上する。これにより、図面データの重畳精度が更に向上する。他の作用効果については第1の実施の形態と同様である。 According to the drawing superimposition device according to the present embodiment, the real space image captured by the optical camera 210 of the depth camera 200 is corrected according to the distortion peculiar to the camera lens, so that the superimposition accuracy of the drawing data is improved. To do. Further, according to the drawing superimposing device according to the present embodiment, the depth data generated by the depth data generation unit 220 of the depth camera 200 is also corrected according to the distortion peculiar to the camera lens. The detection accuracy of the focal position and direction of the camera 200 is improved. As a result, the superimposition accuracy of the drawing data is further improved. Other actions and effects are the same as those in the first embodiment.
なお、本実施の形態では、図面重畳装置本体100aに校正処理部190を実装していたが、他のコンピュータに校正処理部190を実装し、本実施の形態に係る深度カメラ200を当該他のコンピュータに接続して校正処理を行ってもよい。この場合、補正用データは、所定の通信媒体又は記憶媒体を介して図面重畳装置本体100aの所定の記憶部(図示省略)に保存すればよい。 In the present embodiment, the calibration processing unit 190 is mounted on the drawing superimposing device main body 100a, but the calibration processing unit 190 is mounted on another computer, and the depth camera 200 according to the present embodiment is mounted on the other computer. It may be connected to a computer for calibration processing. In this case, the correction data may be stored in a predetermined storage unit (not shown) of the drawing superimposing device main body 100a via a predetermined communication medium or storage medium.
(第3の実施の形態)
本発明の第3の実施の形態に係る図面重畳装置について図面を参照して説明する。図8は第3の実施の形態に係る図面重畳装置本体の機能ブロック図である。本実施の形態が第1の実施の形態と異なる点は、第2の実施の形態と同様に、カメラのレンズ歪みに応じた補正処理を行う点にある。ただし、第2の実施の形態とは補正の対象が異なる。他の点については第1及び第2の実施の形態と同様なので、ここでは相違点のみを説明する。
(Third Embodiment)
The drawing superimposing device according to the third embodiment of the present invention will be described with reference to the drawings. FIG. 8 is a functional block diagram of the drawing superimposing device main body according to the third embodiment. The difference between the present embodiment and the first embodiment is that the correction process is performed according to the lens distortion of the camera, as in the second embodiment. However, the object of correction is different from that of the second embodiment. Since the other points are the same as those of the first and second embodiments, only the differences will be described here.
本実施の形態に係る図面重畳装置本体100bは、図8に示すように、補正処理で用いる補正用データを生成する校正処理部190bを備えている。 As shown in FIG. 8, the drawing superimposing device main body 100b according to the present embodiment includes a calibration processing unit 190b that generates correction data used in the correction processing.
校正処理部190bは、第2の実施の形態と同様に、深度カメラ200の光学カメラ210を用いて、所定の撮像条件で、所定の校正用の撮像対象物が含まれる現実空間を撮像する。そして、校正処理部190bは、撮像して得られた現実空間画像と、撮像対象物及び撮像条件に関する既知の各種情報とに補正用データを生成する。校正処理部190bにより生成された補正用データは所定の記憶部(図示省略)に記憶するとともに、位置算出部120b及び重畳表示制御部130bに送られる。 Similar to the second embodiment, the calibration processing unit 190b uses the optical camera 210 of the depth camera 200 to image a real space including a predetermined calibration object under predetermined imaging conditions. Then, the calibration processing unit 190b generates correction data in the real space image obtained by imaging and various known information regarding the imaging object and the imaging conditions. The correction data generated by the calibration processing unit 190b is stored in a predetermined storage unit (not shown) and sent to the position calculation unit 120b and the superimposition display control unit 130b.
位置算出部120bの主な機能は、第1の実施形態と同様である。ただし、本実施の形態に係る位置算出部120bは、図面データ記憶部110に記憶された図面データに基づき、現在位置及び方向での仮想空間画像、すなわち当該現在位置及び方向から見た図面データに係る構造物についての仮想的な画像を算出した際に、補正用データを用いて、仮想空間画像を現実空間画像の歪みと同じ様に歪ませるよう補正する処理機能を有する点で、第1の実施の形態と異なる。 The main function of the position calculation unit 120b is the same as that of the first embodiment. However, the position calculation unit 120b according to the present embodiment obtains a virtual space image at the current position and direction, that is, drawing data viewed from the current position and direction, based on the drawing data stored in the drawing data storage unit 110. The first is that it has a processing function that corrects the virtual space image so as to distort it in the same manner as the distortion of the real space image by using the correction data when the virtual image of the structure is calculated. Different from the embodiment.
重畳表示制御部130bの主な機能は、第1の実施形態と同様である。ただし、本実施の形態に係る重畳表示制御部130bは、算出された現在の焦点位置及び方向を基準として図面データ記憶部110に記憶された図面データをレンダリングした際に、補正用データを用いて、レンダリング画像を現実空間画像の歪みと同じ様に歪ませるよう補正する処理機能を有する点で、第1の実施の形態と異なる。 The main function of the superimposed display control unit 130b is the same as that of the first embodiment. However, the superimposed display control unit 130b according to the present embodiment uses the correction data when rendering the drawing data stored in the drawing data storage unit 110 with reference to the calculated current focal position and direction. It is different from the first embodiment in that it has a processing function for correcting the rendered image so as to distort it in the same manner as the distortion of the real space image.
本実施の形態に係る図面重畳装置によれば、図面データのレンダリングの際にカメラレンズ固有の歪みに応じた補正を行っているので図面データの重畳精度が向上する。他の作用効果については第1の実施の形態と同様である。 According to the drawing superimposing device according to the present embodiment, since the correction is performed according to the distortion peculiar to the camera lens when the drawing data is rendered, the superimposing accuracy of the drawing data is improved. Other actions and effects are the same as those in the first embodiment.
なお、本実施の形態では、図面重畳装置本体100bに校正処理部190bを実装していたが、他のコンピュータに校正処理部190bを実装し、本実施の形態に係る深度カメラ200を当該他のコンピュータに接続して、校正処理を行ってもよい。この場合、補正用データは、所定の通信媒体又は記憶媒体を介して図面重畳装置本体100bの所定の記憶部(図示省略)に保存すればよい。 In the present embodiment, the calibration processing unit 190b is mounted on the drawing superimposing device main body 100b, but the calibration processing unit 190b is mounted on another computer, and the depth camera 200 according to the present embodiment is mounted on the other computer. It may be connected to a computer to perform calibration processing. In this case, the correction data may be stored in a predetermined storage unit (not shown) of the drawing superimposing device main body 100b via a predetermined communication medium or storage medium.
以上、本発明の第1〜第3の実施の形態に係る図面重畳装置ついて詳述したが、本発明は上記実施の形態に限定されるものではなく、本発明の主旨を逸脱しない範囲において、種々の改良や変更をしてもよい。 Although the drawing superimposing device according to the first to third embodiments of the present invention has been described in detail above, the present invention is not limited to the above-described embodiments and is not deviated from the gist of the present invention. Various improvements and changes may be made.
例えば、上記実施の形態では、図面重畳装置本体100と深度カメラ200とを有線通信により接続していたが無線通信により接続するようにしてもよい。 For example, in the above embodiment, the drawing superimposing device main body 100 and the depth camera 200 are connected by wired communication, but may be connected by wireless communication.
1…図面重畳装置
100,100a,100b…図面重畳装置本体
110…図面データ記憶部
120,120b…位置算出部
130,130b…重畳表示制御部
140…履歴記憶部
150…入力装置
160…表示装置
170…通信インタフェイス部
180…補正処理部
190,190b…校正処理部
200…深度カメラ
210…光学カメラ
211…撮像素子
212…光学レンズ
220…深度データ生成部
221…撮像素子
222…光学レンズ
222…赤外線照射部
230…慣性計測部
240…通信インタフェイス部
300…通信ケーブル
400…支持具
401…把手
450…スタビライザー
1 ... Drawing superimposition device 100, 100a, 100b ... Drawing superimposition device main body 110 ... Drawing data storage unit 120, 120b ... Position calculation unit 130, 130b ... Superimposition display control unit 140 ... History storage unit 150 ... Input device 160 ... Display device 170 ... Communication interface unit 180 ... Correction processing unit 190, 190b ... Calibration processing unit 200 ... Depth camera 210 ... Optical camera 211 ... Imaging element 212 ... Optical lens 220 ... Depth data generator 221 ... Imaging element 222 ... Optical lens 222 ... Infrared Irradiation unit 230 ... Inertivity measurement unit 240 ... Communication interface unit 300 ... Communication cable 400 ... Support 401 ... Handle 450 ... Stabilizer
Claims (7)
図面重畳装置本体と、有線又は無線により前記図面重畳装置本体に接続された撮像装置と、利用者により保持され且つ前記撮像装置を支持する長尺の支持部材とを備え、
前記撮像装置は、現実空間の二次元画像を撮像する一台の一眼のカメラと、前記カメラの焦点位置及び方向を検出するための位置算出用情報を取得する位置算出用情報取得手段を備え、
前記図面重畳装置本体は、
構造物の設計図である図面データを記憶する図面データ記憶部と、
前記位置算出用情報取得手段により取得された位置算出用情報に基づき前記カメラの焦点位置及び方向を算出する位置算出部と、
前記位置算出部により算出されたカメラの現在の焦点位置及び方向を基準として図面データ記憶部に記憶された図面データをレンダリングし、レンダリング画像を前記カメラで撮像された現実空間画像に重畳して表示装置に出力する重畳表示制御部とを備えた
ことを特徴とする図面重畳装置。 It is a drawing superimposing device that superimposes and displays drawing data on the captured real space image.
A drawing superimposing device main body, an image pickup device connected to the drawing superimposing device main body by wire or wirelessly, and a long support member held by a user and supporting the image pickup device are provided.
The imaging device includes a single-lens camera that captures a two-dimensional image of a real space, and a position calculation information acquisition means that acquires position calculation information for detecting the focal position and direction of the camera.
The drawing superimposing device main body is
A drawing data storage unit that stores drawing data that is a design drawing of a structure,
A position calculation unit that calculates the focal position and direction of the camera based on the position calculation information acquired by the position calculation information acquisition means.
The drawing data stored in the drawing data storage unit is rendered with reference to the current focal position and direction of the camera calculated by the position calculation unit, and the rendered image is superimposed and displayed on the real space image captured by the camera. A drawing superimposing device characterized by having a superimposing display control unit that outputs to the device.
ことを特徴とする請求項1記載の図面重畳装置。 The drawing superimposing device according to claim 1, wherein the image pickup device is attached to the support member via a stabilizer.
図面重畳装置本体と、有線又は無線により前記図面重畳装置本体に接続された撮像装置と、前記撮像装置に印可される衝撃及び振動を吸収するスタビライザーとを備え、
前記撮像装置は、現実空間の二次元画像を撮像する一台の一眼のカメラと、前記カメラの焦点位置及び方向を検出するための位置算出用情報を取得する位置算出用情報取得手段を備え、
前記図面重畳装置本体は、
構造物の設計図である図面データを記憶する図面データ記憶部と、
前記位置算出用情報取得手段により取得された位置算出用情報に基づき前記カメラの焦点位置及び方向を算出する位置算出部と、
前記位置算出部により算出されたカメラの現在の焦点位置及び方向を基準として図面データ記憶部に記憶された図面データをレンダリングし、レンダリング画像を前記カメラで撮像された現実空間画像に重畳して表示装置に出力する重畳表示制御部とを備えた
ことを特徴とする図面重畳装置。 It is a drawing superimposing device that superimposes and displays drawing data on the captured real space image.
It is provided with a drawing superimposing device main body, an image pickup device connected to the drawing superimposing device main body by wire or wirelessly, and a stabilizer that absorbs shock and vibration applied to the image pickup device.
The imaging device includes a single-lens camera that captures a two-dimensional image of a real space, and a position calculation information acquisition means that acquires position calculation information for detecting the focal position and direction of the camera.
The drawing superimposing device main body is
A drawing data storage unit that stores drawing data that is a design drawing of a structure,
A position calculation unit that calculates the focal position and direction of the camera based on the position calculation information acquired by the position calculation information acquisition means.
The drawing data stored in the drawing data storage unit is rendered with reference to the current focal position and direction of the camera calculated by the position calculation unit, and the rendered image is superimposed and displayed on the real space image captured by the camera. A drawing superimposing device characterized by having a superimposing display control unit that outputs to the device.
ことを特徴とする請求項1乃至3記載の図面重畳装置。 The drawing superimposing device according to any one of claims 1 to 3, wherein the drawing superimposing device main body includes a correction unit that corrects a real space image or a rendered image based on the lens distortion information of the camera.
図面重畳装置本体と、有線又は無線により前記図面重畳装置本体に接続された撮像装置とを備え、
前記撮像装置は、現実空間の二次元画像を撮像する一台の一眼のカメラと、前記カメラの焦点位置及び方向を検出するための位置算出用情報を取得する位置算出用情報取得手段を備え、
前記図面重畳装置本体は、
構造物の設計図である図面データを記憶する図面データ記憶部と、
前記位置算出用情報取得手段により取得された位置算出用情報に基づき前記カメラの焦点位置及び方向を算出する位置算出部と、
前記位置算出部により算出されたカメラの現在の焦点位置及び方向を基準として図面データ記憶部に記憶された図面データをレンダリングし、レンダリング画像を前記カメラで撮像された現実空間画像に重畳して表示装置に出力する重畳表示制御部と、
カメラのレンズ歪み情報に基づき現実空間画像又はレンダリング画像を補正する補正部とを備えた
ことを特徴とする図面重畳装置。 It is a drawing superimposing device that superimposes and displays drawing data on the captured real space image.
A drawing superimposing device main body and an imaging device connected to the drawing superimposing device main body by wire or wirelessly are provided.
The imaging device includes a single-lens camera that captures a two-dimensional image of a real space, and a position calculation information acquisition means that acquires position calculation information for detecting the focal position and direction of the camera.
The drawing superimposing device main body is
A drawing data storage unit that stores drawing data that is a design drawing of a structure,
A position calculation unit that calculates the focal position and direction of the camera based on the position calculation information acquired by the position calculation information acquisition means.
The drawing data stored in the drawing data storage unit is rendered with reference to the current focal position and direction of the camera calculated by the position calculation unit, and the rendered image is superimposed and displayed on the real space image captured by the camera. The superimposed display control unit that outputs to the device and
A drawing superimposing device including a correction unit that corrects a real space image or a rendered image based on lens distortion information of a camera.
ことを特徴とする請求項1乃至5何れか1項記載の図面重畳装置。 The position calculation information acquisition means generates depth data as the position calculation information, which corresponds to the real space image captured by the camera and has distance information for each pixel from an object existing in the real space. The drawing superimposing device according to any one of claims 1 to 5, further comprising an inertial data generation unit and an inertial measurement unit that measures inertial information of the imaging device as the position calculation information.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2019107363A JP7169940B2 (en) | 2019-06-07 | 2019-06-07 | Drawing superimposing device and program |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2019107363A JP7169940B2 (en) | 2019-06-07 | 2019-06-07 | Drawing superimposing device and program |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2020201667A true JP2020201667A (en) | 2020-12-17 |
JP7169940B2 JP7169940B2 (en) | 2022-11-11 |
Family
ID=73742124
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2019107363A Active JP7169940B2 (en) | 2019-06-07 | 2019-06-07 | Drawing superimposing device and program |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP7169940B2 (en) |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2011192270A (en) * | 2010-02-19 | 2011-09-29 | West Japan Railway Co | Structure administrative drawing preparing device and processing program |
JP2016038867A (en) * | 2014-08-11 | 2016-03-22 | 株式会社大林組 | Arrangement plan support system, arrangement plan support method, and arrangement plan support program |
JP6438995B2 (en) * | 2017-03-24 | 2018-12-19 | 株式会社インフォマティクス | Drawing projection system, drawing projection method and program |
-
2019
- 2019-06-07 JP JP2019107363A patent/JP7169940B2/en active Active
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2011192270A (en) * | 2010-02-19 | 2011-09-29 | West Japan Railway Co | Structure administrative drawing preparing device and processing program |
JP2016038867A (en) * | 2014-08-11 | 2016-03-22 | 株式会社大林組 | Arrangement plan support system, arrangement plan support method, and arrangement plan support program |
JP6438995B2 (en) * | 2017-03-24 | 2018-12-19 | 株式会社インフォマティクス | Drawing projection system, drawing projection method and program |
Also Published As
Publication number | Publication date |
---|---|
JP7169940B2 (en) | 2022-11-11 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11223820B2 (en) | Augmented reality displays with active alignment and corresponding methods | |
US10869024B2 (en) | Augmented reality displays with active alignment and corresponding methods | |
JP4667111B2 (en) | Image processing apparatus and image processing method | |
CN100489833C (en) | Position posture measuring method, position posture measuring device | |
CN108444449B (en) | Method for measuring target space attitude with parallel line characteristics | |
JP4757142B2 (en) | Imaging environment calibration method and information processing apparatus | |
JP6211157B1 (en) | Calibration apparatus and calibration method | |
US20130314688A1 (en) | Indoor surveying apparatus | |
TWI496108B (en) | AR image processing apparatus and method | |
JP6516558B2 (en) | Position information processing method | |
CN106840112B (en) | A kind of space geometry measuring method measured using free space eye gaze point | |
KR101234911B1 (en) | Apparatus for supporting golf putting and method for the same | |
JP6164679B2 (en) | Camera calibration method and camera calibration apparatus | |
JP2011082598A (en) | Wide angle imaging device and measurement system | |
JP4649192B2 (en) | Stereo image creation method and three-dimensional data creation apparatus | |
KR101525411B1 (en) | Image generating method for analysis of user's golf swing, analyzing method for user's golf swing using the same and apparatus for analyzing golf swing | |
CN109493378A (en) | A kind of measuring for verticality method combined based on monocular vision with binocular vision | |
JP7169940B2 (en) | Drawing superimposing device and program | |
JP2010243827A (en) | Apparatus for supporting design of eyeglasses | |
JP2019066196A (en) | Inclination measuring device and inclination measuring method | |
JP2022140903A (en) | Surveying device and surveying method using the same | |
JP2019065467A (en) | Pile position inspection device and pile position inspection method | |
JP5625457B2 (en) | Topographic information display device and display method | |
KR20160149843A (en) | Apparatus for registration of scan data | |
JP2006051550A (en) | Position teaching device and position teaching method to mover |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20211222 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20220912 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20221019 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20221031 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7169940 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |