JP2016057063A - Non-contact detecting method for measurement objects, and apparatus for the same - Google Patents

Non-contact detecting method for measurement objects, and apparatus for the same Download PDF

Info

Publication number
JP2016057063A
JP2016057063A JP2014180744A JP2014180744A JP2016057063A JP 2016057063 A JP2016057063 A JP 2016057063A JP 2014180744 A JP2014180744 A JP 2014180744A JP 2014180744 A JP2014180744 A JP 2014180744A JP 2016057063 A JP2016057063 A JP 2016057063A
Authority
JP
Japan
Prior art keywords
measurement
contact sensor
contact
sensor devices
detection method
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2014180744A
Other languages
Japanese (ja)
Other versions
JP6251142B2 (en
Inventor
文昭 上半
Fumiaki Johan
文昭 上半
慎太郎 箕浦
Shintaro Minoura
慎太郎 箕浦
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Railway Technical Research Institute
Original Assignee
Railway Technical Research Institute
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Railway Technical Research Institute filed Critical Railway Technical Research Institute
Priority to JP2014180744A priority Critical patent/JP6251142B2/en
Publication of JP2016057063A publication Critical patent/JP2016057063A/en
Application granted granted Critical
Publication of JP6251142B2 publication Critical patent/JP6251142B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Abstract

PROBLEM TO BE SOLVED: To provide a non-contact detecting method and an apparatus for implementing the method that can check and diagnose the soundness of measurement objects, such as structures and natural inclined planes, by vibration measurement.SOLUTION: A non-contact detecting method for measurement objects uses two non-contact sensor devices 11 and 21, each comprising a first laser Doppler vibration meter 12 and a first CCD camera 13, and a control device 1 controlling these two non-contact sensor devices 11 and 21 to photograph a full view of a measurement object with the two non-contact sensor devices 11 and 21, prepares three-dimensional point group data of the whole measurement object by a stereo imaging method, and grasps the positions of the two non-contact sensor devices and the point group data in the same coordinate system.SELECTED DRAWING: Figure 1

Description

本発明は、測定対象物の非接触検知方法及びその装置に係り、特に、振動測定による構造物・自然斜面等の健全性の検査・診断に関するものである。   The present invention relates to a non-contact detection method and apparatus for an object to be measured, and more particularly to inspection and diagnosis of soundness of structures, natural slopes, and the like by vibration measurement.

構造物等の位置・形状を測量する手法の従来技術としては、例えば、トータルステーション(一般的な測量機器)による多点測量がある。これは、モーターヘッド上に設置したレーザー距離計で構造物上の任意点を視準して測角と距離データを保存するトータルステーションと呼ばれる装置を利用するものであり、同装置を用いた測量方法には、反射プリズムを使用する手法とノンプリズムによる手法がある。反射プリズムを使用する手法では、事前にプリズムを構造物上の測定点に設置する。トータルステーションには反射光の強さを利用してプリズムの位置を自動で検出して視準できるものがある。また、ノンプリズム(反射ターゲットを利用しない場合)による手法では、あらかじめ人が構造物上の測定点を視準して測定位置をトータルステーションに記憶させて測量を実施する。   As a conventional technique for surveying the position / shape of a structure or the like, for example, there is multi-point surveying using a total station (general surveying instrument). This is a laser distance meter installed on the motor head and uses a device called a total station that collimates arbitrary points on the structure and stores angle measurement and distance data. There are a method using a reflecting prism and a method using a non-prism. In the method using the reflecting prism, the prism is set in advance on the measurement point on the structure. Some total stations can automatically detect and collimate the position of the prism using the intensity of reflected light. In the method using a non-prism (when a reflective target is not used), a person collimates the measurement points on the structure in advance and stores the measurement position in the total station for surveying.

測定結果は、測定箇所間の距離として構造物の図面データ上に記録する。   The measurement result is recorded on the drawing data of the structure as the distance between the measurement points.

また、他の従来技術としては、写真測量技術がある。   Another conventional technique is a photogrammetry technique.

従来、測量作業は距離や角度を計測する測量機器を用いて行われてきたが、近年、レーザー計測技術や写真測量技術を用いて測量対象の3次元形状データを取得する手法が用いられるようになった。   Conventionally, surveying work has been carried out using surveying instruments that measure distances and angles, but in recent years, techniques for acquiring three-dimensional shape data of survey targets using laser measurement technology and photogrammetry technology have been used. became.

写真を用いた3次元形状データの取得では、対象物を視差をもって撮影した2枚以上の画像を用いたステレオ相関法により写真上の点の位置座標を求める。2枚の写真を用いる場合を例にとると、測量分野で用いられる手法は、単眼のカメラで撮影位置をずらして2回にわけて撮影した2枚の写真を用いる手法と、2台のカメラを位置が変わらないよう平行に配置したステレオカメラで同時撮影した2枚の写真を用いる手法がある。   In acquiring three-dimensional shape data using a photograph, the position coordinates of a point on the photograph are obtained by a stereo correlation method using two or more images obtained by photographing the object with parallax. Taking the case of using two photos as an example, the method used in the surveying field is a method using two photos taken by shifting the shooting position with a monocular camera in two steps and two cameras. There is a method of using two photographs taken simultaneously by a stereo camera arranged in parallel so that the positions of the cameras are not changed.

前者は、一般的なカメラでの撮影が可能なことおよび測量対象の大きさなどに応じてカメラの撮影位置を自由に設定して撮影精度を調整することができる利点があり、地形測量など広大な自然物や大型の構造物に適用される場合が多い。   The former has the advantage that it is possible to shoot with a general camera and adjust the shooting accuracy by freely setting the shooting position of the camera according to the size of the survey target, etc. It is often applied to natural objects and large structures.

一方、後者は、2台のカメラの位置関係が既知であるため2枚の写真の相関を求めやすいこと、および測定対象に評尺などを設置することなく対象の大きさを求められることなどのメリットがあり、室内実験での寸法計測などやや小さな対象の測量に用いられる場合が多い。   On the other hand, in the latter, since the positional relationship between the two cameras is known, it is easy to obtain the correlation between the two photos, and the size of the object can be obtained without installing a scale on the object to be measured. There are merits, and it is often used for surveying of small objects such as dimension measurement in laboratory experiments.

さらに、構造物の振動特性を利用してその健全性を調べる振動測定による非接触測定方法も用いられている。   Furthermore, a non-contact measurement method using vibration measurement for examining the soundness of the structure using the vibration characteristics is also used.

この方法では、人為的な加振(車両の走行、起振器加振、衝撃加振等)、および常時微動などを振動源とする構造物振動を、対象構造物に取り付けた振動計で測定し、収録データから得られる振幅、卓越振動数などを指標として、構造物の健全性を評価する。   In this method, artificial vibrations (such as vehicle running, exciter vibration, shock vibration, etc.), and structural vibrations with vibration sources such as constant tremors are measured with a vibrometer attached to the target structure. Then, the soundness of the structure is evaluated using the amplitude obtained from the recorded data, the dominant frequency, etc. as indices.

しかし、同方法の実施にあたっては、高所等へのセンサ装置の取付けおよび撤去作業が必要であり、危険かつ時間を要する作業であった。そこで、本願発明者により、センサ装置の取付け等を必要としない構造物振動の非接触計測方法および装置が開発された(下記特許文献1参照)。   However, the implementation of this method requires installation and removal of the sensor device at a high place or the like, which is a dangerous and time-consuming operation. Accordingly, the inventors of the present application have developed a non-contact measurement method and apparatus for structural vibration that does not require attachment of a sensor device (see Patent Document 1 below).

その方法および装置では、風や地盤振動による非接触センサ装置自身の揺れによる測定精度の低下を抑制する技術が導入されており、平時の極微小な地盤振動である常時微動を加振源とする構造物等の微小な振動をも高精度、高分解能で測定できることが確認され、既に実用製品として活用されている。   In the method and apparatus, a technology that suppresses the decrease in measurement accuracy due to the shaking of the non-contact sensor device itself due to wind and ground vibration is introduced, and the microtremor that is extremely minute ground vibration during normal times is used as the excitation source. It has been confirmed that even minute vibrations of structures and the like can be measured with high accuracy and high resolution, and have already been utilized as practical products.

特許第4001806号公報Japanese Patent No. 4001806

村井俊治、奥田勉、中村秀至、「非測定用カメラを用いた解析的写真測量に関する研究」、東京大学生産技術研究所報告、29(6),p196−209,1981−07Toshiharu Murai, Tsutomu Okuda, Hidetoshi Nakamura, “A Study on Analytical Photogrammetry Using a Non-Measurement Camera”, Report of the Institute of Industrial Science, University of Tokyo, 29 (6), p196-209, 1981-07 芝原正和他、「ステレオ画像法に基づく三次元溶接変形計測法の開発」,溶接学会論文集、第28巻、第1号、pp.108−115,2010Masakazu Shibahara et al., “Development of 3D Welding Deformation Measurement Method Based on Stereo Imaging”, Proceedings of the Japan Welding Society, Vol. 28, No. 1, pp. 108-115, 2010

しかしながら、従来の非接触振動計測作業では、人が図面等の情報に基づいて測定対象中の測定位置を決定し、遠方の測定点にスコープ等を用いてレーザーを照射し、得られたデータを野帳データ等に基づいて測定点とリンクさせて分析・整理しており、測定およびデータ整理に多大な労力を要するという問題があった。   However, in conventional non-contact vibration measurement work, a person determines a measurement position in a measurement object based on information such as a drawing, irradiates a remote measurement point with a laser, etc., and obtains the obtained data. There is a problem that analysis and arrangement are performed by linking to measurement points based on field book data and the like, and much labor is required for measurement and data arrangement.

本発明は、上記状況に鑑みて、非接触振動計測における測定箇所の決定・視準の自動化を行い、測定角度の増大による誤差を自動補正し、測定位置と接触データの自動リンクによりデータ記録方法を改善する、測定対象物の非接触検知方法及びその装置を提供することを目的とする。本願発明による測定対象物の非接触検知方法は、特に、長大な構造物、広大な斜面などの効率的な健全性の検査・診断に有効である。   In view of the above situation, the present invention performs measurement of a measurement location and collimation in non-contact vibration measurement, automatically corrects an error due to an increase in measurement angle, and records data by automatically linking a measurement position and contact data. It is an object of the present invention to provide a non-contact detection method for a measurement object and an apparatus for the same. The non-contact detection method for an object to be measured according to the present invention is particularly effective for efficient inspection and diagnosis of soundness such as a long structure or a large slope.

本発明は、上記目的を達成するために、
〔1〕測定対象物の非接触検知方法において、レーザードップラー振動計とCCDカメラを備える2台の非接触センサ装置と、この2台の非接触センサ装置を制御する制御装置とを用いて、前記2台の非接触センサ装置の前記CCDカメラで測定対象の全景を撮影し、ステレオ画像法により測定対象全体の3次元点群データを作成し、前記測定対象全体の3次元点群データ上の測定したい領域を選定し、この領域中の特徴点を自動抽出して測定点を決定し、前記2台の非接触センサ装置の位置と前記測定点の3次元座標に基づいて、前記2台の非接触センサ装置を制御して前記測定点を同期視準し、前記2台の非接触センサ装置で前記測定点の振動を非接触測定し、測定されたデータの振動解析を行うことを特徴とする。
In order to achieve the above object, the present invention provides
[1] In a non-contact detection method for a measurement object, the two non-contact sensor devices including a laser Doppler vibrometer and a CCD camera, and a control device for controlling the two non-contact sensor devices are used. The CCD camera of the two non-contact sensor devices captures the entire view of the measurement object, creates 3D point cloud data of the entire measurement object by stereo imaging, and measures the 3D point cloud data of the entire measurement object A region to be selected is selected, and feature points in the region are automatically extracted to determine measurement points. Based on the positions of the two non-contact sensor devices and the three-dimensional coordinates of the measurement points, the two non-contact points are determined. Controlling the contact sensor device to collimate the measurement points, non-contact measurement of the vibration of the measurement points by the two non-contact sensor devices, and performing vibration analysis of the measured data .

〔2〕上記〔1〕記載の測定対象物の非接触検知方法において、ステレオ画像法に必要なカメラの角度情報は前記非接触センサ装置の駆動部に設けたエンコーダから取得することを特徴とする。   [2] In the non-contact detection method of the measurement object according to [1], camera angle information necessary for the stereo image method is obtained from an encoder provided in a driving unit of the non-contact sensor device. .

〔3〕上記〔1〕記載の測定対象物の非接触検知方法において、前記CCDカメラの位置情報は前記非接触センサ装置に内蔵したGPSで取得することを特徴とする。
〔4〕上記〔1〕記載の測定対象物の非接触検知方法において、抽出された前記特徴点が測定したい位置を適切に捉えられていない場合には、前記測定点周辺をズームアップして同期撮影し、ステレオ画像法により、前記測定点周辺の3次元点群データを作成し、測定位置を詳細に決定可能にすることを特徴とする。
[3] The non-contact detection method for a measurement object according to [1], wherein the position information of the CCD camera is acquired by a GPS built in the non-contact sensor device.
[4] In the non-contact detection method of the measurement object according to [1] above, when the extracted feature point does not properly capture the position to be measured, the vicinity of the measurement point is zoomed in and synchronized. The three-dimensional point cloud data around the measurement point is created by photographing and stereo image method, and the measurement position can be determined in detail.

〔5〕上記〔1〕記載の測定対象物の非接触検知方法において、前記2台の非接触センサ装置は自己振動補正機能を有し、この2台の非接触センサ装置で測定点の振動を非接触測定することを特徴とする。   [5] In the non-contact detection method for a measurement object according to [1] above, the two non-contact sensor devices have a self-vibration correction function, and the two non-contact sensor devices can vibrate the measurement point. It is characterized by non-contact measurement.

〔6〕上記〔5〕記載の測定対象物の非接触検知方法において、前記2台の非接触センサ装置の測定データを用いて、測定点の水平2方向の振動成分を分離する補正を実施することを特徴とする。   [6] In the non-contact detection method for a measurement object according to [5], correction is performed to separate vibration components in two horizontal directions at a measurement point using measurement data of the two non-contact sensor devices. It is characterized by that.

〔7〕上記〔5〕記載の測定対象物の非接触検知方法において、前記2台の非接触センサ装置の測定データを用いて測定点の振動成分の振幅、卓越振動数、減衰定数の指標を演算することを特徴とする。   [7] In the non-contact detection method for a measurement object as described in [5] above, the measurement data of the two non-contact sensor devices are used to determine the amplitude, dominant frequency, and attenuation constant index of the vibration component at the measurement point. It is characterized by calculating.

〔8〕上記〔7〕記載の測定対象物の非接触検知方法において、得られた振動データ、各指標を測定点の位置データとリンクして記録することを特徴とする。   [8] The non-contact detection method for a measurement object according to [7], wherein the obtained vibration data and each index are recorded linked to the position data of the measurement point.

〔9〕上記〔1〕で抽出した各測定点について、上記〔6〕から上記〔8〕を繰り返し実施することを特徴とする。   [9] The above [6] to [8] are repeated for each measurement point extracted in [1].

〔10〕測定対象物の非接触検知装置において、レーザードップラー振動計とCCDカメラからなる2台の非接触センサ装置と、この2台の非接触センサ装置とを制御する制御装置と、前記2台の非接触センサ装置で測定対象の全景を撮影し、ステレオ画像法により、測定対象全体の3次元点群データを作成し、前記2台の非接触センサ装置の位置と点群データを同一座標系で把握する手段とを具備することを特徴とする。   [10] In a non-contact detection device for a measurement object, two non-contact sensor devices including a laser Doppler vibrometer and a CCD camera, a control device for controlling the two non-contact sensor devices, and the two devices The entire non-contact sensor device is used to photograph the entire view of the measurement object, and three-dimensional point cloud data of the entire measurement object is created by the stereo image method, and the position and point cloud data of the two non-contact sensor devices are the same coordinate system. And means for grasping in (4).

本発明によれば、非接触振動計測における測定箇所の決定・視準の自動化を行い、測定角度の増大による誤差を自動補正し、測定位置と接触データの自動リンクによりデータ記録方法を改善することができる。特に、長大な構造物、広大な斜面などの効率的な健全性の検査・診断に有効である。   According to the present invention, determination of a measurement location and collimation are automated in non-contact vibration measurement, an error due to an increase in measurement angle is automatically corrected, and a data recording method is improved by automatic link between a measurement position and contact data. Can do. In particular, it is effective for efficient inspection and diagnosis of long structures, vast slopes, etc.

本発明の実施例を示す測定対象物の非接触検知装置の概略説明図である。It is a schematic explanatory drawing of the non-contact detection apparatus of the measuring object which shows the Example of this invention. 本発明の実施例を示す測定対象物の非接触検知装置の構成センサ類と電気信号の流れを示した図である。It is the figure which showed the flow of the structure sensors and electric signal of the non-contact detection apparatus of the measuring object which show the Example of this invention. 本発明の実施例を示す測定対象物の非接触検知装置の非接触センサ装置内の光学ブロックを示した図である。It is the figure which showed the optical block in the non-contact sensor apparatus of the non-contact detection apparatus of the measuring object which shows the Example of this invention. 本発明の実施例を示す測定対象物の非接触検知装置の非接触センサ装置の駆動部の説明図である。It is explanatory drawing of the drive part of the non-contact sensor apparatus of the non-contact detection apparatus of the measuring object which shows the Example of this invention. 本発明の実施例を示す測定対象物の非接触検知装置の演算処理・制御の流れを示した図である。It is the figure which showed the flow of the arithmetic processing and control of the non-contact detection apparatus of the measuring object which shows the Example of this invention. 本発明の実施例を示す2台の非接触センサ装置による測定対象物の測定状況の説明図である。It is explanatory drawing of the measurement condition of the measuring object by the two non-contact sensor apparatuses which show the Example of this invention. 本発明の実施例を示す2台の非接触センサ装置のCCD画像からの測定対象全体の3次元点群データの推定の説明図である。It is explanatory drawing of estimation of the three-dimensional point cloud data of the whole measuring object from the CCD image of the two non-contact sensor apparatuses which show the Example of this invention. 参考として示した、ステレオ画像法による測定対象各部の位置座標の計算理論例である。It is a calculation theory example of the position coordinates of each part to be measured by the stereo image method, shown as a reference. 本発明の実施例を示す橋りょうケーブルを対象とした特徴点の抽出方法例を示す図である。It is a figure which shows the example of the extraction method of the feature point which made object the bridge cable which shows the Example of this invention. 本発明の実施例を示す制御装置の制御によるCCDカメラとLDVカメラの自動視準、および測定点周辺のCCDカメラ撮影の説明図である。It is explanatory drawing of the CCD camera of the CCD camera and LDV camera by control of the control apparatus which shows the Example of this invention, and CCD camera imaging | photography around a measurement point. 本発明の実施例を示す対象測定点周辺のクローズアップ撮影による測定点の決定方法の説明図である。It is explanatory drawing of the determination method of the measurement point by close-up imaging | photography around the object measurement point which shows the Example of this invention. 本発明の実施例を示す2台のセンサ装置の計測結果からの測定点速度およびその直交成分の概算方法の説明図である。It is explanatory drawing of the measuring point velocity from the measurement result of the two sensor apparatuses which show the Example of this invention, and the approximate method of the orthogonal component. 本発明の他の実施例としての、特徴点の抽出による測定点の検出を岩盤斜面に適用した状況の説明図である。It is explanatory drawing of the condition which applied the detection of the measurement point by extraction of the feature point to the rock slope as another Example of this invention.

本発明の測定対象物の非接触検知方法は、レーザードップラー振動計とCCDカメラを備える2台の非接触センサ装置と、この2台の非接触センサ装置を制御する制御装置とを用いて、前記2台の非接触センサ装置の前記CCDカメラで測定対象の全景を撮影し、ステレオ画像法により測定対象全体の3次元点群データを作成し、前記測定対象全体の3次元点群データ上の測定したい領域を選定し、この領域中の特徴点を自動抽出して測定点を決定し、前記2台の非接触センサ装置の位置と前記測定点の3次元座標に基づいて、前記2台の非接触センサ装置を制御して前記測定点を同期視準し、前記2台の非接触センサ装置で前記測定点の振動を非接触測定し、測定されたデータの振動解析を行う。   The non-contact detection method for an object to be measured according to the present invention uses two non-contact sensor devices including a laser Doppler vibrometer and a CCD camera, and a control device that controls the two non-contact sensor devices. The CCD camera of the two non-contact sensor devices captures the entire view of the measurement object, creates 3D point cloud data of the entire measurement object by stereo imaging, and measures the 3D point cloud data of the entire measurement object A region to be selected is selected, and feature points in the region are automatically extracted to determine measurement points. Based on the positions of the two non-contact sensor devices and the three-dimensional coordinates of the measurement points, the two non-contact points are determined. The contact sensor device is controlled to collimate the measurement points, the vibrations of the measurement points are non-contact measured by the two non-contact sensor devices, and the vibration analysis of the measured data is performed.

以下、本発明の実施の形態について詳細に説明する。   Hereinafter, embodiments of the present invention will be described in detail.

図1は本発明の実施例を示す測定対象物の非接触検知装置の概略説明図である。なお、本発明の測定対象物としては構造物や自然斜面などが挙げられる。   FIG. 1 is a schematic explanatory view of a non-contact detection apparatus for a measurement object according to an embodiment of the present invention. In addition, a structure, a natural slope, etc. are mentioned as a measuring object of this invention.

この図において、1は制御装置であり、この制御装置は、通信部2、制御演算部3、振動演算部4、ステレオ画像演算部5、同期駆動演算・制御部6、その他演算部7、操作・表示部8、表示部8A、操作入力部8B、記憶部9を備えている。   In this figure, reference numeral 1 denotes a control device, which includes a communication unit 2, a control calculation unit 3, a vibration calculation unit 4, a stereo image calculation unit 5, a synchronous drive calculation / control unit 6, other calculation units 7, and an operation. A display unit 8, a display unit 8A, an operation input unit 8B, and a storage unit 9 are provided.

また、第1の非接触センサ装置11は、第1のレーザードップラー振動計(以下、第1のLDVという)12、第1のCCDカメラ13、第1の水平手動調整器14、第1の水平駆動部15、第1の水平エンコーダ16、第1の鉛直手動調整器17、第1の鉛直駆動部18、第1の鉛直エンコーダ19を備えている。   The first non-contact sensor device 11 includes a first laser Doppler vibrometer (hereinafter referred to as a first LDV) 12, a first CCD camera 13, a first horizontal manual adjuster 14, and a first horizontal. A drive unit 15, a first horizontal encoder 16, a first vertical manual adjuster 17, a first vertical drive unit 18, and a first vertical encoder 19 are provided.

さらに、第2の非接触センサ装置21は、第2のレーザードップラー振動計(以下、第2のLDVという)22、第2のCCDカメラ23、第2の水平手動調整器24、第2の水平駆動部25、第2の水平エンコーダ26、第2の鉛直手動調整器27、第2の鉛直駆動部28、第2の鉛直エンコーダ29を備えている。   Further, the second non-contact sensor device 21 includes a second laser Doppler vibrometer (hereinafter referred to as a second LDV) 22, a second CCD camera 23, a second horizontal manual adjuster 24, a second horizontal A drive unit 25, a second horizontal encoder 26, a second vertical manual adjuster 27, a second vertical drive unit 28, and a second vertical encoder 29 are provided.

このように、第1の非接触センサ装置11及び第2の非接触センサ装置21は、主に水平駆動部15,25、鉛直駆動部18,28で支持されたLDV(レーザードップラー振動計)12,22とCCDカメラ13,23で構成される非接触センサ装置である。   Thus, the first non-contact sensor device 11 and the second non-contact sensor device 21 are mainly LDVs (laser Doppler vibrometers) 12 supported by the horizontal drive units 15 and 25 and the vertical drive units 18 and 28. , 22 and CCD cameras 13, 23.

制御装置1は操作・表示部8からの入力情報と制御演算部3の演算結果に基づいて2台の非接触センサ装置11,21を制御することができる。   The control device 1 can control the two non-contact sensor devices 11 and 21 based on the input information from the operation / display unit 8 and the calculation result of the control calculation unit 3.

図2は本発明の実施例を示す測定対象物の非接触検知装置の構成センサ類と電気信号の流れを示した図である。   FIG. 2 is a diagram showing the flow of the electrical signals and the constituent sensors of the non-contact detection device for the measurement object according to the embodiment of the present invention.

この図において、測定対象物の非接触検知装置31は、制御部32、CCDカメラ33とLDVレンズ34と距離計35と、LDV受光部36と、GPS37と、振動計38とフィルタ39と電源と制御信号を受ける受信部40を備えている。   In this figure, a non-contact detection device 31 for a measurement object includes a control unit 32, a CCD camera 33, an LDV lens 34, a distance meter 35, an LDV light receiving unit 36, a GPS 37, a vibration meter 38, a filter 39, and a power source. A receiving unit 40 for receiving a control signal is provided.

ここでは、本発明の測定対象物の非接触検知装置の構成センサ装置と電気信号の流れを示している。CCDカメラ33とLDVが主たるセンサ部であり、それらのオートフォーカス制御と測定対象との距離計測を目的とした距離計35、自己振動を補正するための振動計38、センサの位置情報を出力するGPS37で構成されている。   Here, the configuration sensor device of the non-contact detection device of the measurement object of the present invention and the flow of electrical signals are shown. The CCD camera 33 and the LDV are the main sensor units, and a distance meter 35 for measuring the distance between the autofocus control and the measurement target, a vibration meter 38 for correcting self-vibration, and sensor position information are output. It consists of GPS37.

図3は本発明の実施例を示す測定対象物の非接触検知装置の非接触センサ装置内の光学ブロックを示した図である。   FIG. 3 is a diagram showing an optical block in the non-contact sensor device of the non-contact detection device for a measurement object according to an embodiment of the present invention.

この図において、41はCCDカメラ、42はLDVレンズ、43は距離計、44はレーザー管、44a,44b,44e,44gはミラー、44c,44d,44fはビームスプリッター、45はLDV受光部である。   In this figure, 41 is a CCD camera, 42 is an LDV lens, 43 is a distance meter, 44 is a laser tube, 44a, 44b, 44e and 44g are mirrors, 44c, 44d and 44f are beam splitters, and 45 is an LDV light receiving unit. .

図4は本発明の実施例を示す測定対象物の非接触検知装置の非接触センサ装置の駆動部の説明図であり、図4(a)は正面図、図4(b)は上面図、図4(c)は側面図である。   4A and 4B are explanatory diagrams of a drive unit of a non-contact sensor device of a non-contact detection device for a measurement object according to an embodiment of the present invention, FIG. 4A is a front view, FIG. 4B is a top view, FIG. 4C is a side view.

これらの図において、51はセンサ部、52は鉛直駆動部(鉛直回転用モーター)(図1の18,28に対応)、53は手動調整器V(図1の17、27に対応)、54は鉛直エンコーダ(図1の19、29に対応)、55は手動調整器H(図1の14、24に対応)、56は水平駆動部(水平回転用モーター)(図1の15、25に対応)、57は水平エンコーダ(図1の16、26に対応)である。   In these drawings, 51 is a sensor unit, 52 is a vertical drive unit (vertical rotation motor) (corresponding to 18 and 28 in FIG. 1), 53 is a manual adjuster V (corresponding to 17 and 27 in FIG. 1), 54 Is a vertical encoder (corresponding to 19 and 29 in FIG. 1), 55 is a manual adjuster H (corresponding to 14 and 24 in FIG. 1), 56 is a horizontal drive (horizontal rotation motor) (in 15 and 25 in FIG. 1) Corresponding) and 57 are horizontal encoders (corresponding to 16 and 26 in FIG. 1).

制御装置からの送信情報とエンコーダの回転角計測により、センサ部を任意方向に視準させられる。視準位置に狂いが生じた際には、手動調整器(微調整つまみ)により狂いを補正することができる。   The sensor unit can be collimated in an arbitrary direction by the transmission information from the control device and the rotation angle measurement of the encoder. When an error occurs in the collimation position, the error can be corrected by a manual adjuster (fine adjustment knob).

図5は本発明の実施例を示す測定対象物の非接触検知装置の演算処理・制御の流れを示した図である。
(1)まず、左の非接触センサ装置61と右の非接触センサ装置62により、測定範囲全体のCCD撮影を行う。
(2)制御装置により、ステレオ画像による測定対象の全体形状の推定を行う。
(3)制御装置により、探索範囲(面または線)の設定を行う。
(4)制御装置により、全体形状による測定点の概略抽出を行う。
(5)左の非接触センサ装置61と右の非接触センサ装置62により、同一点の視準を行う。
(6)左の非接触センサ装置61と右の非接触センサ装置62により、測定点周辺のCCD撮影を行い、ステレオ画像による形状推定を行う。
(7)左の非接触センサ装置61と右の非接触センサ装置62により、特徴点(凸部等)の検出・視準を行う。
(8)左の非接触センサ装置61と右の非接触センサ装置62により、非接触振動測定(自己振動・角度補正)を行う。
(9)制御装置により、振動解析(卓越振動数・最大振幅・減衰定数)を行う。
(10)制御装置により、測定点位置情報とデータのリンク・記録を行う。
FIG. 5 is a diagram showing the flow of arithmetic processing / control of the non-contact detection apparatus for a measurement object according to an embodiment of the present invention.
(1) First, CCD imaging of the entire measurement range is performed by the left non-contact sensor device 61 and the right non-contact sensor device 62.
(2) The overall shape of the measurement object is estimated by the stereo image by the control device.
(3) The search range (plane or line) is set by the control device.
(4) The control device roughly extracts the measurement points based on the overall shape.
(5) The left non-contact sensor device 61 and the right non-contact sensor device 62 collimate the same point.
(6) The left non-contact sensor device 61 and the right non-contact sensor device 62 perform CCD imaging around the measurement point, and perform shape estimation using a stereo image.
(7) The left non-contact sensor device 61 and the right non-contact sensor device 62 detect and collimate feature points (such as convex portions).
(8) Non-contact vibration measurement (self-vibration / angle correction) is performed by the left non-contact sensor device 61 and the right non-contact sensor device 62.
(9) Perform vibration analysis (dominant frequency, maximum amplitude, damping constant) by the control device.
(10) Link and record the measurement point position information and data by the control device.

このように、本発明では、LDVとCCDカメラを備える2台の非接触センサ装置と制御装置からなる測定対象物の非接触検知装置を使用する。   As described above, in the present invention, a non-contact detection device for a measurement object including two non-contact sensor devices each including an LDV and a CCD camera and a control device is used.

2台の非接触センサ装置で測定対象の全景を撮影し〔上記(1)〕、ステレオ画像法により測定対象全体の3次元点群データを作成〔上記(2)〕、2台の非接触センサ装置の位置と点群データは同一座標系で把握するようにする。このとき、ステレオ画像法に必要なカメラの角度情報は非接触センサ装置の駆動部に設けたエンコーダから取得し、カメラ(センサ部)の位置情報は非接触センサ装置に内蔵したGPSで取得するようにする。   Two non-contact sensor devices are used to capture the entire view of the object to be measured (above (1)), and three-dimensional point cloud data of the entire object to be measured is created by stereo imaging (above (2)). The position of the device and the point cloud data are grasped in the same coordinate system. At this time, the camera angle information necessary for the stereo image method is acquired from an encoder provided in the drive unit of the non-contact sensor device, and the position information of the camera (sensor unit) is acquired by the GPS built in the non-contact sensor device. To.

次に、測定対象全体の3次元点群データ上の測定したい領域を選定〔上記(3)〕、領域中の特徴点を自動抽出して測定位置を決定する〔上記(4)〕。   Next, a region to be measured on the three-dimensional point cloud data of the entire measurement object is selected [above (3)], and feature points in the region are automatically extracted to determine a measurement position [above (4)].

次に、制御装置が、非接触センサ装置の位置と測定点の3次元点群座標に基づいて2台の非接触センサ装置を制御し、測定点を同期視準〔上記(5)〕する。このとき、必要であれば、測定点周辺をクローズアップして同期撮影して、そのクローズアップ画像からステレオ画像法によりさらに測定点周辺の3次元点群データを作成し〔上記(6)〕、測定位置を詳細に決定する〔(上記(7)〕。   Next, the control device controls the two non-contact sensor devices based on the position of the non-contact sensor device and the three-dimensional point group coordinates of the measurement points, and collimates the measurement points [(5) above]. At this time, if necessary, the surroundings of the measurement point are taken close-up and synchronously photographed, and three-dimensional point group data around the measurement point is further created from the close-up image by the stereo image method [(6) above], The measurement position is determined in detail [(above (7)].

次に、2台の非接触センサ装置で測定点の振動を非接触測定する〔上記(8))〕。なお、図2の説明でも触れた通り、2台の非接触センサ装置は自己振動補正機能を有する。2台の測定データを用いて、測定点の水平2方向の振動成分を分離する補正を実施し、各成分の振幅、卓越振動数、減衰定数などの指標を演算する〔上記(9)〕。このようにして得られた振動データ、各指標を測定点の位置データとリンクして記録する〔上記(10)〕。   Next, the vibration at the measurement point is non-contact measured by two non-contact sensor devices [(8) above]. As mentioned in the description of FIG. 2, the two non-contact sensor devices have a self-vibration correcting function. Using the measurement data of the two units, correction is performed to separate vibration components in two horizontal directions at the measurement point, and indices such as the amplitude, dominant frequency, and damping constant of each component are calculated [(9) above]. The vibration data and each index thus obtained are recorded and linked with the position data of the measurement points [(10) above].

上記(4)で抽出した各測定点について、上記(5)から上記(10)を繰り返し実施する。   The above (5) to (10) are repeated for each measurement point extracted in the above (4).

以下、上記手順についてより詳細に説明する。   Hereinafter, the above procedure will be described in more detail.

図6は本発明の実施例を示す2台の非接触センサ装置による測定対象物の測定状況の説明図である。   FIG. 6 is an explanatory view of the measurement state of the measurement object by the two non-contact sensor devices showing the embodiment of the present invention.

この図において、71は制御装置、72は第1の非接触センサ装置、73は第2の非接触センサ装置、74は測定対象である橋りょう、75は支柱、76は支柱75を支えるケーブルである。   In this figure, 71 is a control device, 72 is a first non-contact sensor device, 73 is a second non-contact sensor device, 74 is a bridge to be measured, 75 is a column, and 76 is a cable that supports the column 75. .

制御装置71は、第1の非接触センサ装置72および第2の非接触センサ装置73を無線通信により同期制御することができる。   The control device 71 can synchronously control the first non-contact sensor device 72 and the second non-contact sensor device 73 by wireless communication.

図7は本発明の実施例を示す2台の非接触センサ装置のCCD画像からの測定対象全体の3次元点群データの推定の説明図であり、図5の「ステレオ画像による測定対象の全体形状推定」に相当する。なお、図7(a)は左カメラ(非接触センサ装置11のCCD13)画像、図7(b)は右カメラ(非接触センサ装置21のCCD23)画像、図7(c)は測定対象全体の3次元点群データを示す画像である。   FIG. 7 is an explanatory diagram of the estimation of the three-dimensional point cloud data of the entire measurement object from the CCD images of the two non-contact sensor devices showing the embodiment of the present invention. This corresponds to “shape estimation”. 7A is an image of the left camera (CCD 13 of the non-contact sensor device 11), FIG. 7B is an image of the right camera (CCD 23 of the non-contact sensor device 21), and FIG. 7C is an entire measurement object. It is an image which shows three-dimensional point cloud data.

このように、2台の非接触センサ装置のCCD画像から後述するステレオ画像法により測定対象全体の3次元点群データを推定することができる。   As described above, the three-dimensional point cloud data of the entire measurement object can be estimated from the CCD images of the two non-contact sensor devices by the stereo image method described later.

ここで、点群計算に必要な左右カメラ13,23の角度情報は非接触センサ装置駆動部の各エンコーダ16,26,19,29から、左右カメラ13,23間の距離は各センサに内蔵したGPS37から取得する。点群データは非接触センサ装置11,21の位置を基準としてセンサ装置と同一座標上に記録される。   Here, the angle information of the left and right cameras 13 and 23 necessary for the point cloud calculation is included in each sensor from the encoders 16, 26, 19, and 29 of the non-contact sensor device driving unit, and the distance between the left and right cameras 13 and 23 is incorporated in each sensor. Obtained from GPS37. The point cloud data is recorded on the same coordinates as the sensor device with the position of the non-contact sensor device 11 or 21 as a reference.

ここで、ステレオ画像法による測定対象各部の位置座標の計算理論例について、上記非特許文献2を引用して説明する。   Here, a calculation theory example of the position coordinates of each part to be measured by the stereo image method will be described with reference to Non-Patent Document 2.

図8は参考として示した、ステレオ画像法による幾何学的パラメータを模式的に示す図である。   FIG. 8 is a diagram schematically showing geometric parameters obtained by the stereo image method, shown as a reference.

ステレオ画像法とは複数の異なる視点から計測対象物の画像を撮影し、それぞれの撮影画像上への計測対象物体の投影位置の違いから三次元情報を取得するものである。図8はステレオ画像法における幾何学的パラメータを模式的に表したものである。ここでは、両カメラ間の光軸回りのカメラ角は、左右で一致していると仮定し、また、焦点距離の等しい2台のカメラを配置した場合について、その基礎理論について説明する。   In the stereo image method, images of a measurement object are photographed from a plurality of different viewpoints, and three-dimensional information is acquired from the difference in projection position of the measurement object on each photographed image. FIG. 8 schematically shows geometric parameters in the stereo imaging method. Here, it is assumed that the camera angles around the optical axis between the two cameras are the same on the left and right, and the basic theory will be described for the case where two cameras having the same focal length are arranged.

左カメラのY軸回りのカメラ角をθ1 、右カメラのカメラ角をθ2 と定義する。図中のP(XP ,YP ,ZP )は計測対象物上の点、Aを左右カメラの光軸の交点位置、Lを左カメラ主点位置、Rを右カメラ主点位置と定義する。また、PLとXZ平面のなす角をαL 、PLとXY平面のなす角をβL とし、同様にPRとなす角をαR およびβR 、また、PとL,Rを結ぶ平面とXZ平面のなす角をα0 、左右カメラ間距離線分LRをBと定義する。これにより、三次元座標P(XP ,YP ,ZP )は式(2)で表すことができる。ただし、P点の右カメラにおける撮影画像上の座標を(XR ,YR )、また、焦点距離をfと定義すると、αR ,βR は式(3)〜(5)のように表され、α0 は式(6)のように表すことができる。 The camera angle around the Y axis of the left camera is defined as θ 1 , and the camera angle of the right camera is defined as θ 2 . In the figure, P (X P , Y P , Z P ) is defined as a point on the measurement object, A is an intersection position of the optical axes of the left and right cameras, L is a left camera principal point position, and R is a right camera principal point position. To do. In addition, the angle between PL and the XZ plane is α L , the angle between PL and the XY plane is β L, and similarly the angle between PR is α R and β R , and the plane connecting P, L, and R and XZ The angle formed by the plane is defined as α 0 , and the left-right camera distance line segment LR is defined as B. As a result, the three-dimensional coordinates P (X P , Y P , Z P ) can be expressed by Expression (2). However, if the coordinates on the captured image of the right camera at the point P are defined as (X R , Y R ) and the focal length is defined as f, α R and β R are expressed as in equations (3) to (5). Α 0 can be expressed as shown in Equation (6).

以上により、焦点距離fと左右カメラ間距離Bおよびカメラ角θ1 ,θ2 が既知であり、両画像の対応点(XR ,YR )および(XL ,YL )が正確に探索できれば、αR ,βR ,αL ,βL が算出でき、これらの値を式(2)に代入することで、構造物の三次元形状を算出することが可能となる。 As described above, if the focal length f, the distance B between the left and right cameras, and the camera angles θ 1 and θ 2 are known, the corresponding points (X R , Y R ) and (X L , Y L ) of both images can be searched accurately. , Α R , β R , α L , β L can be calculated, and by substituting these values into the equation (2), the three-dimensional shape of the structure can be calculated.

P =BtanβR /(tanβL +tanβR
P =XP tanβL
P =XP tanα0 …〔以上(2)〕
tanαR =yR /√(f2 +xR 2 ) …(3)
tanβR =(fcosθ2 +xR sinθ2 )/(fsinθ2 −xR co sθ2 ) …(4)
sinβR =(fcosθ2 −xL sinθ2 )/√(f2 +xR 2
…(5)
tanα0 =(1/2)〔(tanαL /sinβL )+(tanαR /si nβR )〕 …(6)
なお、上記はステレオ画像法による位置座標計算の一例であり、上記に限らず一般的なステレオ画像法の手法を用いればよい。
X P = Btan β R / (tan β L + tan β R )
Z P = X P tan β L
Y P = X P tanα 0 ... [more than (2)]
tan α R = y R / √ (f 2 + x R 2 ) (3)
tanβ R = (fcosθ 2 + x R sinθ 2) / (fsinθ 2 -x R co sθ 2) ... (4)
sin β R = (f cos θ 2 −x L sin θ 2 ) / √ (f 2 + x R 2 )
... (5)
tan α 0 = (1/2) [(tan α L / sin β L ) + (tan α R / sin β R )] (6)
Note that the above is an example of position coordinate calculation by the stereo image method, and not limited to the above, a general stereo image method may be used.

図9は本発明の実施例を示す橋りょうケーブルを対象とした特徴点の抽出方法例を示す図であり、図9(a)は第1のセンサ装置のCCD画像、図9(b)は第2のセンサ装置のCCD画像、図9(c)は測定対象全体3次元点群を示す図、図9(d)は探索平面による特徴点の抽出と抽出された特徴点の点群を示す図である。   FIG. 9 is a diagram illustrating an example of a feature point extraction method for a bridge cable according to an embodiment of the present invention. FIG. 9A is a CCD image of the first sensor device, and FIG. FIG. 9C is a diagram showing an entire three-dimensional point group to be measured, and FIG. 9D is a diagram showing feature point extraction by the search plane and a point group of the extracted feature points. It is.

制御装置の操作・表示部画面には、図9(a)〜図9(c)に示すような各センサ装置からの撮影画像と上記ステレオ画像法により推定された測定対象全体の3次元点群が表示されている。   On the operation / display unit screen of the control device, a captured image from each sensor device as shown in FIGS. 9A to 9C and a three-dimensional point group of the whole measurement object estimated by the stereo image method described above. Is displayed.

そこで、まず、操作・表示部画面上において測定点を抽出したい箇所を探索ライン83で指定する(図5の「探索範囲(面または線)の設定」に相当)。   Therefore, first, the location where the measurement point is to be extracted is designated on the operation / display unit screen by the search line 83 (corresponding to “setting of search range (plane or line)” in FIG. 5).

次に、制御演算部は、測定対象全体の3次元点群から探索ライン83を通る水平面(探索平面84)上に位置する点群85(特徴点)を測定点として抽出する。   Next, the control calculation unit extracts a point group 85 (feature point) located on a horizontal plane (search plane 84) passing through the search line 83 from the three-dimensional point group of the entire measurement target as a measurement point.

この事例では、探索平面84上にはケーブル86と支柱87の部分のみに点群85(特徴点)が存在するためケーブル86と支柱87を効率的に測定点として抽出することができる。   In this case, since the point group 85 (feature point) exists only in the portion of the cable 86 and the support column 87 on the search plane 84, the cable 86 and the support column 87 can be efficiently extracted as measurement points.

また、画面上の任意の点を測定点として指定することもできる。   In addition, any point on the screen can be designated as a measurement point.

図10は本発明の実施例を示す制御装置の制御によるCCDカメラとLDVの自動視準、および測定点周辺のCCDカメラ撮影の説明図であり、図10(a)は第1の非接触センサ装置画像、第2の非接触センサ装置画像、測定対象全体の3次元点群における対象測定点および撮影範囲を示す図、図10(b)は制御装置の概略ブロック図、図10(c)は制御情報の無線送信による測定点の自動視準を示す図である。   FIG. 10 is an explanatory view of CCD camera and LDV automatic collimation under the control of the control device according to the embodiment of the present invention, and CCD camera photographing around the measurement point. FIG. 10 (a) is a first non-contact sensor. FIG. 10B is a schematic block diagram of the control device, and FIG. 10C is a diagram showing target measurement points and imaging ranges in the three-dimensional point group of the entire measurement target. It is a figure which shows the automatic collimation of the measurement point by radio | wireless transmission of control information.

CCDカメラの画素数に対して測定対象が大きい場合などに、抽出された特徴点が測定したい位置を適切に捉えられていない場合がある。そのような場合は、測定点91近傍のみをズームアップして再撮影し〔図10(a)の四角が撮影範囲を示す〕、測定点91周辺の3次元点群を作成して、最も適切な位置を測定点91として抽出する。   When the measurement target is larger than the number of pixels of the CCD camera, the extracted feature point may not be properly captured at the position to be measured. In such a case, only the vicinity of the measurement point 91 is zoomed up and re-photographed (the square in FIG. 10A indicates the imaging range), and a three-dimensional point group around the measurement point 91 is created, and the most appropriate A correct position is extracted as the measurement point 91.

対象測定点91および撮影範囲を制御装置92の画面上で指定することにより、非接触センサ装置の駆動部が制御され、2台の非接触センサ装置96、97が測定点91を自動視準し、適切なズーム倍率で測定点91周辺を撮影する(図5の「同一点の視準」に相当)。   By specifying the target measurement point 91 and the photographing range on the screen of the control device 92, the drive unit of the non-contact sensor device is controlled, and the two non-contact sensor devices 96 and 97 automatically collimate the measurement point 91. Then, the area around the measurement point 91 is photographed at an appropriate zoom magnification (corresponding to “collimation of the same point” in FIG. 5).

図11は本発明の実施例を示す対象測定点周辺のクローズアップ撮影による測定点の決定方法の説明図であり、図11(a)は測定対象全体の3次元点群から抽出された点群を示す図、図11(b)は測定点周辺の撮影による3次元点群(x−y平面)を示す図、図11(c)は測定点周辺の撮影による3次元点群(x−z平面)を示す図である。   FIG. 11 is an explanatory diagram of a method of determining measurement points by close-up imaging around the target measurement points according to the embodiment of the present invention. FIG. 11A shows a point cloud extracted from the three-dimensional point cloud of the entire measurement target. FIG. 11B is a diagram showing a three-dimensional point group (xy plane) obtained by photographing around the measurement point, and FIG. 11C is a three-dimensional point group obtained by photographing around the measurement point (xz). FIG.

これらの図において、101は測定対象全体の3次元点群から抽出された点群、102は測定点、103はクローズアップ撮影範囲、104は個々の座標点、105は点群座標の平均位置から決定した測定点である。   In these figures, 101 is a point group extracted from a three-dimensional point group of the entire measurement object, 102 is a measurement point, 103 is a close-up photographing range, 104 is an individual coordinate point, and 105 is an average position of the point group coordinates. This is the determined measurement point.

測定点102周辺をクローズアップ撮影し、再度ステレオ画像法による形状推定を行うことによって、測定点102周辺形状をより多数の点群(座標点104)で再現することができる(図5の「測定点周辺のCCD撮影」と「ステレオ画像法による形状推定」に対応)。その点群の平均位置を測定点105にすることによって測定位置の中心を捉えることができる。   By taking a close-up image of the periphery of the measurement point 102 and performing shape estimation again by the stereo image method, the shape around the measurement point 102 can be reproduced with a larger number of point groups (coordinate points 104) (see “Measurement” in FIG. 5). Corresponding to “CCD shooting around point” and “Shape estimation by stereo image method”). By setting the average position of the point group as the measurement point 105, the center of the measurement position can be captured.

また、3次元点群上の任意点を画面上で測定点として指定することもできるものとする。   It is also possible to designate an arbitrary point on the three-dimensional point group as a measurement point on the screen.

図12は本発明の実施例を示す2台のセンサ装置の計測結果からの測定点速度およびその直交成分の概算方法の説明図である。   FIG. 12 is an explanatory diagram of a method for estimating the measurement point velocity and its orthogonal component from the measurement results of the two sensor devices according to the embodiment of the present invention.

この図において、111は測定対象である橋梁(ここでは、上から見た図)、112は第1の非接触センサ装置、113は第2の非接触センサ装置である。なお、橋梁111上の色つき四角は支柱、白丸はケーブルおよび支柱上に抽出された測定点、黒丸は2台の非接触センサ装置112、113が視準、同時測定している測定点をそれぞれ表しており、図12は第1の非接触センサ装置112に最も近い測定点を測定している状態を示す。   In this figure, 111 is a bridge to be measured (here, viewed from above), 112 is a first non-contact sensor device, and 113 is a second non-contact sensor device. The colored squares on the bridge 111 are the columns, the white circles are the measurement points extracted on the cables and the columns, and the black circles are the measurement points that the two non-contact sensor devices 112 and 113 collimate and measure simultaneously. FIG. 12 shows a state where the measurement point closest to the first non-contact sensor device 112 is being measured.

水平方向振動成分が卓越する測定対象については、以下のように水平振動のベクトル(卓越方向と振幅)、および、その直交する2方向成分(図12では橋軸方向と橋軸直交方向)を概算する(LDVは測定対象がセンサ側に近づく場合を正の速度として検出する)(図5の「振動解析(卓越振動数・最大振幅・減衰定数)」に相当)。
X =V1 cos(θS1)+V2 cos(θS2
=(VL1+VS1)cos(θS1)+(VL2+VS2)cos(θS2
Z =V1 sin(θS1)+V2 sin(θS2
=(VL1+VS1)cos(θS1)+(VL2+VS2)cos(θS2
V=√(VX 2 +VZ 2 ) Vの卓越方向=arctan(VZ /VX
なお、上記式において、
V:測定点の速度
1 :Vの第1のセンサ測定方向成分
2 :Vの第2のセンサ測定方向成分
X :測定点の速度のx成分
Z :測定点の速度のz成分
L1:第1のセンサの第1のLDVの検出速度
S1:第1のセンサの振動計の検出速度
θS1:第1のセンサのエンコーダの検出水平角度
L2:第2のセンサの第2のLDVの検出速度
S2:第2のセンサの振動計の検出速度
θS2:第2のセンサのエンコーダの検出水平角度
とする。
For the measurement object where the horizontal vibration component is dominant, the horizontal vibration vector (dominant direction and amplitude) and its two orthogonal components (the bridge axis direction and the bridge axis orthogonal direction in Fig. 12) are approximated as follows. (LDV detects the case where the measurement object approaches the sensor side as a positive speed) (corresponding to “vibration analysis (dominant frequency / maximum amplitude / damping constant)” in FIG. 5).
V X = V 1 cos (θ S1 ) + V 2 cos (θ S2 )
= (V L1 + V S1 ) cos (θ S1 ) + (V L2 + V S2 ) cos (θ S2 )
V Z = V 1 sin (θ S1 ) + V 2 sin (θ S2 )
= (V L1 + V S1 ) cos (θ S1 ) + (V L2 + V S2 ) cos (θ S2 )
V = √ (V X 2 + V Z 2 ) V prevailing direction = arctan (V Z / V X )
In the above formula,
V: velocity of measurement point V 1 : first sensor measurement direction component of V V 2 : second sensor measurement direction component of V V X : x component of velocity of measurement point V Z : z component of velocity of measurement point V L1 : detection speed of the first LDV of the first sensor V S1 : detection speed of the vibrometer of the first sensor θ S1 : detection horizontal angle of the encoder of the first sensor V L2 : first speed of the second sensor Detection speed of LDV of 2 V S2 : Detection speed of vibrometer of second sensor θ S2 : Detection horizontal angle of encoder of second sensor

次に、データの記録方法について説明する。     Next, a data recording method will be described.

上記した方法により決定された測定点は、測定対象の3次元点群、画像データとリンクして保存される(図5の「測定点位置情報とデータのリンク・記録」に相当)。これにより、測定点を3次元点群または画像データ上に表示して確認することができる。   The measurement points determined by the above-described method are stored by being linked to the three-dimensional point group to be measured and the image data (corresponding to “link / record of measurement point position information and data” in FIG. 5). Thereby, a measurement point can be displayed and confirmed on a three-dimensional point group or image data.

上記してきた方法により測定された振動データ、および振動演算部により算出されたそのスペクトル、卓越周波数、最大振幅・平均振幅、減衰定数なども、測定点の座標情報、測定日時とリンクして自動記録される。   The vibration data measured by the method described above and its spectrum, dominant frequency, maximum amplitude / average amplitude, attenuation constant, etc. calculated by the vibration calculation unit are automatically recorded linked to the coordinate information of the measurement point and the measurement date and time. Is done.

記録されたデータは、制御装置上で適宜閲覧することができる。測定対象の3次元点群、画像データ上に示された測定点をクリックすることによってその測定点のデータを呼び出すことができる。また、卓越周波数、振幅、減衰定数などの計算結果は測定点付近に数値等で表示することができる。   The recorded data can be viewed as appropriate on the control device. By clicking a measurement point indicated on the three-dimensional point group or image data to be measured, the data of the measurement point can be called up. Calculation results such as the dominant frequency, amplitude, and attenuation constant can be displayed numerically near the measurement point.

図13は本発明の他の実施例としての、特徴点の抽出による測定点の検出を岩盤斜面に適用した状況の説明図である。   FIG. 13 is an explanatory diagram of a situation in which detection of measurement points by extracting feature points is applied to a rock slope as another embodiment of the present invention.

この図において、201は岩盤斜面の3次元点群、202は指定領域、203は測定点である。   In this figure, 201 is a three-dimensional point group of a rock slope, 202 is a designated area, and 203 is a measurement point.

上記してきた方法により3次元点群201の指定領域202内で、尖度と大きさが閾値を超える形状を有する部分を自動抽出するとともに、3次元点群201の目視により追加指定して、指定領域202内の突起部を測定点203として抽出した事例である。   In the specified area 202 of the three-dimensional point group 201 by the method described above, a part having a shape whose kurtosis and size exceed the threshold is automatically extracted, and additionally specified by visual inspection of the three-dimensional point group 201. This is an example in which protrusions in the region 202 are extracted as measurement points 203.

このように、本発明の測定対象物の非接触検知方法は、構造物に対してだけでなく、自然斜面などに対しても有効である。   Thus, the non-contact detection method of the measurement object of the present invention is effective not only for structures but also for natural slopes.

なお、本発明は上記実施例に限定されるものではなく、本発明の趣旨に基づき種々の変形が可能であり、これらを本発明の範囲から排除するものではない。   In addition, this invention is not limited to the said Example, Based on the meaning of this invention, a various deformation | transformation is possible and these are not excluded from the scope of the present invention.

本発明の測定対象物の非接触検知方法及びその装置は、非接触振動計測における測定箇所の決定・視準の自動化を行い、測定角度の増大による誤差の自動補正と、測定位置と接触データの自動リンクによるデータ記録方法として利用可能である。   The non-contact detection method and apparatus for an object to be measured according to the present invention perform automatic determination of a measurement location and collimation in non-contact vibration measurement, automatic correction of an error due to an increase in measurement angle, and measurement position and contact data. It can be used as a data recording method by automatic linking.

1,71,92 制御装置
2 通信部
3 制御演算部
4 振動演算部
5 ステレオ画像演算部
6 同期駆動演算・制御部
7 その他の演算部
8 操作・表示部
8A 表示部
8B 操作入力部
9 記憶部
11,72,96,112 第1の非接触センサ装置
12 第1のLDV(第1のレーザードップラー振動計)
13 第1のCCDカメラ
14 第1の水平手動調整器
15 第1の水平駆動部
16 第1の水平エンコーダ
17 第1の鉛直手動調整器
18 第1の鉛直駆動部
19 第1の鉛直エンコーダ
21,73,97,113 第2の非接触センサ装置
22 第2のLDV(第2のレーザードップラー振動計)
23 第2のCCDカメラ
24 第2の水平手動調整器
25 第2の水平駆動部
26 第2の水平エンコーダ
27 第2の鉛直手動調整器
28 第2の鉛直駆動部
29 第2の鉛直エンコーダ
31 測定対象物の非接触検知装置
32 制御部
33,41 CCDカメラ
34,42 LDVレンズ
35,43 距離計
36,45 LDV受光部
37 GPS
38 振動計
39 フィルタ
40 受信部
44 レーザー管
44a,44b,44e,44g ミラー
44c,44d,44f ビームスプリッター
51 センサ部
52 鉛直駆動部(鉛直回転用モーター)
53 手動調整器V
54 鉛直エンコーダ
55 手動調整器H
56 水平駆動部(水平回転用モーター)
57 水平エンコーダ
61 左の非接触センサ装置
62 右の非接触センサ装置
74、111 測定対象である橋りょう
75,87 支柱
76,86 ケーブル
81 第1の非接触センサ装置の画像
82 第2の非接触センサ装置の画像
83 探索ライン
84 探索平面
85,101 測定対象全体の3次元点群の探索平面上に位置する点群(抽 出された点群)
91,102 測定点
103 クローズアップ撮影範囲
104 個々の座標点
105 点群座標の平均位置から決定した測定点
201 岩盤斜面の3次元点群
202 指定領域
203 測定点
DESCRIPTION OF SYMBOLS 1,71,92 Control apparatus 2 Communication part 3 Control calculating part 4 Vibration calculating part 5 Stereo image calculating part 6 Synchronous drive calculating / control part 7 Other calculating part 8 Operation / display part 8A Display part 8B Operation input part 9 Storage part 11, 72, 96, 112 First non-contact sensor device 12 First LDV (first laser Doppler vibrometer)
13 first CCD camera 14 first horizontal manual adjuster 15 first horizontal drive unit 16 first horizontal encoder 17 first vertical manual adjuster 18 first vertical drive unit 19 first vertical encoder 21, 73, 97, 113 Second non-contact sensor device 22 Second LDV (second laser Doppler vibrometer)
23 second CCD camera 24 second horizontal manual adjuster 25 second horizontal drive unit 26 second horizontal encoder 27 second vertical manual adjuster 28 second vertical drive unit 29 second vertical encoder 31 measurement Non-contact detection device for target object 32 Control unit 33, 41 CCD camera 34, 42 LDV lens 35, 43 Distance meter 36, 45 LDV light receiving unit 37 GPS
38 Vibrometer 39 Filter 40 Receiver 44 Laser tube 44a, 44b, 44e, 44g Mirror 44c, 44d, 44f Beam splitter 51 Sensor unit 52 Vertical drive unit (Motor for vertical rotation)
53 Manual adjuster V
54 Vertical encoder 55 Manual adjuster H
56 Horizontal drive unit (motor for horizontal rotation)
57 Horizontal encoder 61 Left non-contact sensor device 62 Right non-contact sensor device 74, 111 Bridge to be measured 75, 87 Post 76, 86 Cable 81 Image of first non-contact sensor device 82 Second non-contact sensor Image of the device 83 Search line 84 Search plane 85, 101 Point group (extracted point group) located on the search plane of the three-dimensional point group of the entire measurement object
91,102 Measurement points 103 Close-up imaging range 104 Individual coordinate points 105 Measurement points determined from the average position of point group coordinates 201 Three-dimensional point group of rock slope 202 Designated area 203 Measurement points

Claims (10)

(a)レーザードップラー振動計とCCDカメラを備える2台の非接触センサ装置と、該2台の非接触センサ装置を制御する制御装置とを用いて、
(b)前記2台の非接触センサ装置の前記CCDカメラで測定対象の全景を撮影し、
(c)ステレオ画像法により測定対象全体の3次元点群データを作成し、
(d)前記測定対象全体の3次元点群データ上の測定したい領域を選定し、該領域中の特徴点を自動抽出して測定点を決定し、
(e)前記2台の非接触センサ装置の位置と前記測定点の3次元座標に基づいて、前記2台の非接触センサ装置を制御して前記測定点を同期視準し、
(f)前記2台の非接触センサ装置で前記測定点の振動を非接触測定し、
(g)測定されたデータの振動解析を行うことを特徴とする、測定対象物の非接触検知方法。
(A) using two non-contact sensor devices including a laser Doppler vibrometer and a CCD camera, and a control device for controlling the two non-contact sensor devices,
(B) Photographing the entire view of the measurement object with the CCD cameras of the two non-contact sensor devices;
(C) Create three-dimensional point cloud data of the entire measurement object by stereo imaging,
(D) selecting a region to be measured on the three-dimensional point cloud data of the entire measurement object, automatically extracting feature points in the region, and determining measurement points;
(E) Based on the positions of the two non-contact sensor devices and the three-dimensional coordinates of the measurement points, the two non-contact sensor devices are controlled to synchronize the measurement points,
(F) Non-contact measurement of vibration at the measurement point with the two non-contact sensor devices;
(G) A non-contact detection method for an object to be measured, wherein vibration analysis of measured data is performed.
請求項1記載の測定対象物の非接触検知方法において、ステレオ画像法に必要なカメラの角度情報は前記非接触センサ装置の駆動部に設けたエンコーダから取得することを特徴とする測定対象物の非接触検知方法。   2. The non-contact detection method for a measurement object according to claim 1, wherein the angle information of the camera necessary for the stereo image method is obtained from an encoder provided in a driving unit of the non-contact sensor device. Non-contact detection method. 請求項1記載の測定対象物の非接触検知方法において、前記CCDカメラの位置情報は前記非接触センサ装置に内蔵したGPSで取得することを特徴とする測定対象物の非接触検知方法。   2. The non-contact detection method for a measurement object according to claim 1, wherein the position information of the CCD camera is acquired by a GPS built in the non-contact sensor device. 請求項1記載の測定対象物の非接触検知方法において、抽出された前記特徴点が測定したい位置を適切に捉えられていない場合には、前記測定点周辺をズームアップして同期撮影し、ステレオ画像法により、前記測定点周辺の3次元点群データを作成し、測定位置を詳細に決定可能にすることを特徴とする測定対象物の非接触検知方法。   2. The non-contact detection method for an object to be measured according to claim 1, wherein when the extracted feature point is not properly captured at a position to be measured, the periphery of the measurement point is zoomed up to perform synchronous shooting, and stereo A non-contact detection method for a measurement object, wherein three-dimensional point cloud data around the measurement point is created by an imaging method, and a measurement position can be determined in detail. 請求項1記載の測定対象物の非接触検知方法において、前記2台の非接触センサ装置は自己振動補正機能を有し、該2台の非接触センサ装置で測定点の振動を非接触測定することを特徴とする測定対象物の非接触検知方法。   2. The non-contact detection method for an object to be measured according to claim 1, wherein the two non-contact sensor devices have a self-vibration correction function, and the two non-contact sensor devices perform non-contact measurement of vibration at a measurement point. A non-contact detection method for an object to be measured. 請求項5記載の測定対象物の非接触検知方法において、前記2台の非接触センサ装置の測定データを用いて、測定点の水平2方向の振動成分を分離する補正を実施することを特徴とする測定対象物の非接触検知方法。   6. The non-contact detection method for a measurement object according to claim 5, wherein correction for separating vibration components in two horizontal directions at a measurement point is performed using measurement data of the two non-contact sensor devices. Non-contact detection method for measuring objects. 請求項5記載の測定対象物の非接触検知方法において、前記2台の非接触センサ装置の測定データを用いて測定点の振動成分の振幅、卓越振動数、減衰定数の指標を演算することを特徴とする測定対象物の非接触検知方法。   6. The non-contact detection method for an object to be measured according to claim 5, wherein the measurement data of the two non-contact sensor devices are used to calculate an index of a vibration component at a measurement point, a dominant frequency, and a damping constant. A non-contact detection method for an object to be measured. 請求項7記載の測定対象物の非接触検知方法において、得られた振動データ、各指標を測定点の位置データとリンクして記録することを特徴とする測定対象物の非接触検知方法。   8. The non-contact detection method for a measurement object according to claim 7, wherein the obtained vibration data and each index are recorded and linked with the position data of the measurement point. 請求項1で抽出した各測定点について、請求項4から請求項6を繰り返し実施することを特徴とする測定対象物の非接触検知方法。   A non-contact detection method for an object to be measured, characterized in that the measurement points extracted in claim 1 are repeatedly executed in accordance with claims 4 to 6. (a)レーザードップラー振動計とCCDカメラからなる2台の非接触センサ装置と、
(b)該2台の非接触センサ装置とを制御する制御装置と、
(c)前記2台の非接触センサ装置で測定対象の全景を撮影し、ステレオ画像法により、測定対象全体の3次元点群データを作成し、前記2台の非接触センサ装置の位置と点群データを同一座標系で把握する手段とを具備することを特徴とする測定対象物の非接触検知装置。
(A) two non-contact sensor devices comprising a laser Doppler vibrometer and a CCD camera;
(B) a control device for controlling the two non-contact sensor devices;
(C) The whole non-contact sensor device is used to photograph a whole view of the measuring object, and three-dimensional point cloud data of the entire measuring object is created by a stereo image method, and the positions and points of the two non-contact sensor devices are created. A non-contact detection device for an object to be measured, comprising: means for grasping group data in the same coordinate system.
JP2014180744A 2014-09-05 2014-09-05 Non-contact detection method and apparatus for measurement object Active JP6251142B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2014180744A JP6251142B2 (en) 2014-09-05 2014-09-05 Non-contact detection method and apparatus for measurement object

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2014180744A JP6251142B2 (en) 2014-09-05 2014-09-05 Non-contact detection method and apparatus for measurement object

Publications (2)

Publication Number Publication Date
JP2016057063A true JP2016057063A (en) 2016-04-21
JP6251142B2 JP6251142B2 (en) 2017-12-20

Family

ID=55758133

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2014180744A Active JP6251142B2 (en) 2014-09-05 2014-09-05 Non-contact detection method and apparatus for measurement object

Country Status (1)

Country Link
JP (1) JP6251142B2 (en)

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107271025A (en) * 2017-06-20 2017-10-20 福州大学 A kind of device and method of rotating shaft three-dimensional vibrating synchro measure
CN107300413A (en) * 2017-07-13 2017-10-27 天津大学 Long-range low frequency vibration measurement method based on fringe projection
CN107764389A (en) * 2017-09-08 2018-03-06 天津大学 A kind of method of low speed video camera measurement higher-frequency vibration based on fringe projection method
JP2018128279A (en) * 2017-02-06 2018-08-16 公益財団法人鉄道総合技術研究所 Elastic wave measurement system
JP2018200221A (en) * 2017-05-26 2018-12-20 国立大学法人 東京大学 Water bottom observation system and water bottom observation image processing program
JP2019168387A (en) * 2018-03-26 2019-10-03 株式会社Nttドコモ Building determination system
JP2019167768A (en) * 2018-03-26 2019-10-03 株式会社Nttドコモ Passage determination system
CN110793795A (en) * 2019-11-06 2020-02-14 中国科学院微小卫星创新研究院 Aircraft vibration interference analysis method based on CCD detector
KR20200075965A (en) * 2018-12-18 2020-06-29 한국광기술원 Non-contact type apparatus for measuring vibration using laser
JP2021527217A (en) * 2018-06-15 2021-10-11 ポリテック・ゲー・エム・ベー・ハーPolytec Gmbh Alignment method for the beam alignment unit of the interference measuring device and the measuring device for performing the interference measurement using laser irradiation.

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000162096A (en) * 1998-11-30 2000-06-16 Kurimoto Ltd Measuring method for vibration of civil enginnering and construction structure
JP2004350791A (en) * 2003-05-27 2004-12-16 Aloka Co Ltd Ultrasonic image processor and three-dimensional data processing method
JP2012088114A (en) * 2010-10-18 2012-05-10 Topcon Corp Optical information processing device, optical information processing method, optical information processing system and optical information processing program
JP2012233758A (en) * 2011-04-28 2012-11-29 Railway Technical Research Institute Method for measuring vibration and dimension of structure through noncontact measurement and measurement device for the same

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000162096A (en) * 1998-11-30 2000-06-16 Kurimoto Ltd Measuring method for vibration of civil enginnering and construction structure
JP2004350791A (en) * 2003-05-27 2004-12-16 Aloka Co Ltd Ultrasonic image processor and three-dimensional data processing method
JP2012088114A (en) * 2010-10-18 2012-05-10 Topcon Corp Optical information processing device, optical information processing method, optical information processing system and optical information processing program
JP2012233758A (en) * 2011-04-28 2012-11-29 Railway Technical Research Institute Method for measuring vibration and dimension of structure through noncontact measurement and measurement device for the same

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
村田修、上半文昭、斎藤秀樹: "「離れたところから不安定な岩塊を把握する」", RRR, vol. 67, no. 9, JPN7017003436, 1 September 2010 (2010-09-01), JP, pages 20 - 23, ISSN: 0003673024 *

Cited By (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2018128279A (en) * 2017-02-06 2018-08-16 公益財団法人鉄道総合技術研究所 Elastic wave measurement system
JP2018200221A (en) * 2017-05-26 2018-12-20 国立大学法人 東京大学 Water bottom observation system and water bottom observation image processing program
CN107271025A (en) * 2017-06-20 2017-10-20 福州大学 A kind of device and method of rotating shaft three-dimensional vibrating synchro measure
CN107271025B (en) * 2017-06-20 2023-04-11 福州大学 Device and method for synchronously measuring three-dimensional vibration of rotating shaft
CN107300413A (en) * 2017-07-13 2017-10-27 天津大学 Long-range low frequency vibration measurement method based on fringe projection
CN107764389A (en) * 2017-09-08 2018-03-06 天津大学 A kind of method of low speed video camera measurement higher-frequency vibration based on fringe projection method
JP2019167768A (en) * 2018-03-26 2019-10-03 株式会社Nttドコモ Passage determination system
JP6994996B2 (en) 2018-03-26 2022-01-14 株式会社Nttドコモ Traffic route judgment system
JP2019168387A (en) * 2018-03-26 2019-10-03 株式会社Nttドコモ Building determination system
JP2021527217A (en) * 2018-06-15 2021-10-11 ポリテック・ゲー・エム・ベー・ハーPolytec Gmbh Alignment method for the beam alignment unit of the interference measuring device and the measuring device for performing the interference measurement using laser irradiation.
JP7377221B2 (en) 2018-06-15 2023-11-09 ポリテック・ゲー・エム・ベー・ハー Alignment method for beam orientation unit of interferometric measurement device and measurement device for performing interferometric measurement using laser irradiation
KR20200075965A (en) * 2018-12-18 2020-06-29 한국광기술원 Non-contact type apparatus for measuring vibration using laser
KR102132095B1 (en) * 2018-12-18 2020-07-09 한국광기술원 Non-contact type apparatus for measuring vibration using laser
CN110793795A (en) * 2019-11-06 2020-02-14 中国科学院微小卫星创新研究院 Aircraft vibration interference analysis method based on CCD detector

Also Published As

Publication number Publication date
JP6251142B2 (en) 2017-12-20

Similar Documents

Publication Publication Date Title
JP6251142B2 (en) Non-contact detection method and apparatus for measurement object
RU2743112C2 (en) Apparatus and method for analyzing vibrations using high-speed video data and using such a device for contactless analysis of vibrations
CA2577840C (en) A method for automated 3d imaging
US9091755B2 (en) Three dimensional image capture system for imaging building facades using a digital camera, near-infrared camera, and laser range finder
JP2004163292A (en) Survey system and electronic storage medium
CN108140066B (en) Drawing making device and drawing making method
JP4038726B2 (en) Image matching method
JP6304244B2 (en) 3D shape measuring apparatus, 3D shape measuring method, and 3D shape measuring program
JP2006258486A (en) Device and method for measuring coordinate
Chen et al. Color and depth data fusion using an RGB‐D sensor for inexpensive and contactless dynamic displacement‐field measurement
JPWO2014002725A1 (en) Three-dimensional measurement method, apparatus and system, and image processing apparatus
JPWO2011125937A1 (en) Calibration data selection device, selection method, selection program, and three-dimensional position measurement device
JP2011095112A (en) Three-dimensional position measuring apparatus, mapping system of flying object, and computer program
JP4077385B2 (en) Global coordinate acquisition device using image processing
KR101296601B1 (en) The camera control system and method for producing the panorama of map information
CN111445528B (en) Multi-camera common calibration method in 3D modeling
KR20190143202A (en) Photographing apparatus and method for 3d modeling
JP2008032701A (en) Survey instrument
US20220138971A1 (en) Three-dimensional displacement measuring method and three-dimensional displacement measuring device
RU2559332C1 (en) Method of detecting small unmanned aerial vehicles
JP2006170688A (en) Stereo image formation method and three-dimensional data preparation device
KR101459522B1 (en) Location Correction Method Using Additional Information of Mobile Instrument
US20090003654A1 (en) Single-aperature passive rangefinder and method of determining a range
KR20230128386A (en) Method of computing three-dimensional drive parameter of a three-dimensional numerical drive control device by driving measurement of a tracking laser distance meter
CN105592294A (en) VSP excited cannon group monitoring system

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20161121

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20170621

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20170718

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20170830

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20171121

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20171124

R150 Certificate of patent or registration of utility model

Ref document number: 6251142

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150