JP2018185228A - Mobile flaw detector - Google Patents
Mobile flaw detector Download PDFInfo
- Publication number
- JP2018185228A JP2018185228A JP2017087183A JP2017087183A JP2018185228A JP 2018185228 A JP2018185228 A JP 2018185228A JP 2017087183 A JP2017087183 A JP 2017087183A JP 2017087183 A JP2017087183 A JP 2017087183A JP 2018185228 A JP2018185228 A JP 2018185228A
- Authority
- JP
- Japan
- Prior art keywords
- point group
- pixel point
- dimensional
- group
- defect
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Landscapes
- Radiation Pyrometers (AREA)
- Length Measuring Devices By Optical Means (AREA)
- Investigating Or Analyzing Materials Using Thermal Means (AREA)
- Investigating Materials By The Use Of Optical Means Adapted For Particular Applications (AREA)
Abstract
Description
この発明は、車両で移動しながら道路周辺の構造物等の位置および温度を計測し、構造物に内在する傷や欠陥を検出する移動型探傷装置に関する。 The present invention relates to a mobile flaw detector that measures the position and temperature of a structure or the like around a road while moving by a vehicle and detects scratches or defects inherent in the structure.
従来、建物等の構造物に内在する傷や欠陥を検出する方法として、その構造物の表面温度を計測することが有効であることが知られている。
屋外に設置されたコンクリート製構造物は、日中は直射日光の影響により表面温度が上昇するが、構造物の内部にひび割れや剥離などの欠陥が生じている部分については周囲と比較してその部分は温度が上昇せず、構造物の表面に温度差が生じるという特徴がある。
この特徴を利用して、赤外カメラを用いて表面の温度分布をサーモグラフィ(赤外線サーモグラフィ)として可視化することで、構造物に内在する傷や欠陥を検出する技術が開示されている(例えば、特許文献1参照)。
Conventionally, it is known that measuring the surface temperature of a structure is effective as a method for detecting scratches and defects inherent in the structure such as a building.
The surface temperature of concrete structures installed outdoors rises due to the effects of direct sunlight during the day, but the parts with defects such as cracks and delamination inside the structure are compared with the surroundings. The portion is characterized in that the temperature does not increase and a temperature difference occurs on the surface of the structure.
Using this feature, a technique for detecting flaws and defects inherent in a structure by visualizing the surface temperature distribution as a thermography (infrared thermography) using an infrared camera is disclosed (for example, patents). Reference 1).
赤外線サーモグラフィによれば、コンクリート構造物に発生する浮き・剥離・空洞など、表面形状に現れにくい「内部欠陥」の存在を推定することが可能である。
しかしながら、温度差は構造物表面以外にも生じる可能性がある他、構造物表面の温度差についても欠陥以外の原因も考えられる。そのため、温度を複数回計測したり、他の計測手法、例えば目視や打音法を併用したりするなどして、欠陥の有無を総合的に判断する必要があり、構造物に内在する傷や欠陥を検出する検出作業が煩雑で、時間を要する。
According to infrared thermography, it is possible to estimate the presence of “internal defects” that are difficult to appear on the surface shape, such as floating, peeling, and cavities generated in a concrete structure.
However, there is a possibility that the temperature difference occurs not only on the surface of the structure, but also on the temperature difference on the surface of the structure, there may be causes other than defects. Therefore, it is necessary to comprehensively determine the presence or absence of defects by measuring the temperature multiple times or using other measurement methods such as visual observation or sounding method. The detection operation for detecting defects is complicated and takes time.
このため、コンクリート構造物の中でも道路付近の構造物、例えばトンネル壁面や道路の側壁や、道路自体に内在する傷や欠陥を検出する際は、一旦車両の通行を止め、通行規制を行ったうえで検出作業を実施することになり、一般の通行車両への影響が大きいという課題があった。 For this reason, when detecting structures or structures in the vicinity of roads, such as tunnel walls, road side walls, or scratches or defects inherent in roads, stop traffic and restrict traffic. Therefore, there is a problem that the detection work is carried out and the influence on general traffic vehicles is large.
本発明は係る課題を解決するためになされたものであり、通行規制など一般の通行車両への影響を与えることなく、道路周辺の構造物、たとえばトンネルや橋梁をはじめとする構造物に内在する傷や欠陥を、効率的に精度良く検出できる移動型探傷装置を提供することを目標とする。 The present invention has been made to solve such problems, and is inherent in structures around roads such as tunnels and bridges without affecting traffic such as traffic restrictions. The object is to provide a mobile flaw detector capable of efficiently and accurately detecting flaws and defects.
この発明に係る移動型探傷装置は、移動体に搭載され、周囲の構造物の欠陥を検出する移動型探傷装置であって、測位衛星から測位信号を受信する受信部と、レーザスキャナと、赤外カメラと、計算部とを備え、
前記計算部は、前記受信部で受信した測位信号から算出した前記移動体の位置と、前記レーザスキャナで取得する周囲の構造物までの距離と方位とを用いて生成した前記周囲の構造物の三次元位置情報を含む三次元点群データと、前記三次元点群に対応する前記赤外カメラで取得した前記周囲の構造物の赤外画像データとを用いて前記三次元点群に温度情報を付加した画素点群データを生成し、前記画素点群データの三次元点群と温度情報を用いて、周囲の構造物の欠陥を検出する。
A mobile flaw detection apparatus according to the present invention is a mobile flaw detection apparatus that is mounted on a moving body and detects a defect in a surrounding structure, and includes a receiving unit that receives a positioning signal from a positioning satellite, a laser scanner, It has an outside camera and a calculation unit,
The calculation unit is configured to calculate the position of the surrounding structure generated by using the position of the moving body calculated from the positioning signal received by the reception unit and the distance and direction to the surrounding structure acquired by the laser scanner. Temperature information in the three-dimensional point group using three-dimensional point group data including three-dimensional position information and infrared image data of the surrounding structure acquired by the infrared camera corresponding to the three-dimensional point group The pixel point group data to which is added is generated, and the defect of the surrounding structure is detected using the three-dimensional point group of the pixel point group data and the temperature information.
この発明に係る移動型探傷装置によれば、道路周辺の構造物表面の3次元形状情報と温度情報を統合することで、道路周辺の構造物の診断を従来よりも精度良く効率的に行うことができる。 According to the mobile flaw detection apparatus according to the present invention, the diagnosis of the structure around the road can be performed more accurately and efficiently than before by integrating the three-dimensional shape information and temperature information of the surface of the structure around the road. Can do.
実施の形態1.
図1は実施の形態1に係る移動型探傷装置100の構成を示す概略図である。
移動型探傷装置100は計測架台10と計算機20からなり、計測架台10と計算機20はともに車両200に搭載される。
Embodiment 1 FIG.
FIG. 1 is a schematic diagram showing a configuration of a
The mobile
図2は、実施の形態1に係る計測架台10の構成を示す概略図である。
計測架台10は、レーザスキャナ11、赤外カメラ12、IMU(Inertial Measurement Unit。慣性計測装置)13、数組のGPS受信機14およびGPSアンテナ15から構成される。
FIG. 2 is a schematic diagram illustrating a configuration of the measurement gantry 10 according to the first embodiment.
The measurement platform 10 includes a
図3は、実施の形態1に係る移動型探傷装置100の構成を示すブロック図である。
計算機20は、計測架台10のIMU13やGPS受信機14から入力する情報に基づいて、車両200の自己位置や姿勢を計算するための位置標定部21と、計測架台10のレーザスキャナ11や赤外カメラ12と位置標定部21から入力する情報に基づいて、温度情報付きの構造物三次元モデルを生成する構造物三次元モデル生成部22と、温度情報付きの構造物三次元モデルを保存する記憶装置23と、記憶装置23に保存された構造物三次元モデルから構造物内部の傷や欠陥を検出する構造物傷欠陥検出処理部24から構成される。
FIG. 3 is a block diagram showing the configuration of the mobile
The computer 20 includes a position locating unit 21 for calculating the self-position and posture of the
レーザスキャナ11は、車両200の周囲に存在する構造物までの距離を計測し、そのデータを3次元点群データ生成部21に出力する装置である。レーザスキャナ11は、レーザレーダ、LRF(レーザレンジファインダ)ともいう。
レーザスキャナ11は、レーザの出射面を左右180度に繰り返し振りながら、レーザを短周期で繰り返し出射すると共に地物(例えば、道路面)に反射して戻ってきた各レーザを受信する。そして、レーザスキャナ11は、レーザを出射または受信した「計測時刻」と、レーザを出射した「方位」と、レーザを出射してから受信するまでの時間に基づく「距離」とを「距離方位点」として計測する。
レーザスキャナ11により計測された複数の距離方位点を示すデータが後述する距離方位点群291である。
The
The
Data indicating a plurality of distance azimuth points measured by the
赤外カメラ12は、車両200の周囲に存在する構造物の表面温度を計測し、その温度データ(温度情報)をカメラの画素毎に3次元点群データ生成部22に出力する装置である。
赤外カメラ12は所定のタイミング(時間間隔、走行距離間隔など)で繰り返し撮像を行う。
赤外カメラ12により撮像された複数の「カメラ画像」と各カメラ画像の「撮像時刻」とを含んだデータが後述する赤外画像データ293である。
The
The
Data including a plurality of “camera images” captured by the
IMU13は、慣性信号データを取得し、位置標定部21に出力する装置である。慣性信号データには、慣性加速度情報、および角速度情報が含まれている。慣性信号データは計測時刻に対応付けられている。 The IMU 13 is a device that acquires inertial signal data and outputs the inertia signal data to the position location unit 21. The inertia signal data includes inertia acceleration information and angular velocity information. The inertia signal data is associated with the measurement time.
GPS受信機14は、例えばGPS衛星等の衛星が出力した信号を、GPSアンテナ15で受信し、GPS信号処理結果を位置標定部21に出力する装置である。
GPS受信機14により得られた観測情報、IMU13により計測された3軸の角速度を含んだデータが後述する位置データ292である。
The GPS receiver 14 is a device that receives a signal output from a satellite such as a GPS satellite by the GPS antenna 15 and outputs a GPS signal processing result to the position location unit 21.
The data including the observation information obtained by the GPS receiver 14 and the three-axis angular velocities measured by the
図4は、実施の形態1における構造物三次元モデル生成方法を示すフローチャートである。以下では、実施の形態1における構造物三次元モデル生成方法について、図4に基づいて説明する。
なお、実施の形態1に係る構造物三次元モデルに相当する道路三次元モデル生成方法については特許文献2に詳細が記載されており、ここでは、主要な部分のみを記載する。
FIG. 4 is a flowchart showing the structure three-dimensional model generation method according to the first embodiment. Below, the structure three-dimensional model generation method in Embodiment 1 is demonstrated based on FIG.
The road three-dimensional model generation method corresponding to the structure three-dimensional model according to the first embodiment is described in detail in Patent Document 2, and only main parts are described here.
車両200は、道路(道路面)の距離方位点群291、位置データ292および赤外画像データ293を取得する(S100)。
構造物三次元モデル生成部22は、S100において取得された距離方位点群291と位置データ292に基づいて道路および周辺の構造物の多数点の三次元座標値を示す三次元点群198を生成する(S200)。
構造物三次元モデル生成部22は、S200において生成された三次元点群198とS100において取得された赤外画像データ293とに基づいて構造物三次元モデル194を生成する(S300)。
The
The structure three-dimensional
The structure 3D
図5は、実施の形態1における構造物三次元モデル生成部22の機能構成図である。
実施の形態1における構造物三次元モデル生成部22の機能構成について、図5に基づいて以下に説明する。
FIG. 5 is a functional configuration diagram of the structure three-dimensional
A functional configuration of the structure three-dimensional
構造物三次元モデル生成部22は、赤外画像処理部110(画像範囲抽出部の一例)、画素点群生成部120、三次元モデル生成部140(モデル記憶部の一例)、三次元点群生成部180および処理エリア190を備える。
The structure three-dimensional
車両200により取得された距離方位点群291、位置データ292および赤外画像データ293は処理エリア190に一旦記憶される。
また、車両200の計測条件(レーザスキャナ11や赤外カメラ12の取り付け位置・姿勢など)を示すパラメータデータ299も処理エリア190に一旦記憶される。
The distance direction point group 291, the
In addition,
三次元点群生成部180は、距離方位点群291、位置データ292およびパラメータデータ299に基づいて、道路および道路周辺の構造物の多数点の三次元座標値を示す三次元点群198(座標点群の一例)をCPU(Central Processing Unit)を用いて生成する。
The three-dimensional point
赤外画像処理部110は、赤外画像データ293とパラメータデータ299とに基づいて、道路や道路周辺の構造物が映った範囲であり、且つ画像の解像度が高い範囲を各カメラ画像から処理範囲画像191としてCPUを用いて抽出する。
Based on the
例えば、赤外画像処理部110は、カメラ画像の視点側の所定範囲(視点手前の所定範囲)を処理範囲画像191として抽出する。
For example, the infrared
画素点群生成部120は、処理範囲画像191、三次元点群198およびパラメータデータ299に基づいて、処理範囲画像191の画素に映った道路および道路周辺の構造物の部分(特定地点の一例)の三次元座標値をCPUを用いて画素毎に算出する。
画素点群生成部120は、処理範囲画像191の複数画素それぞれの道路や道路周辺の構造物部分の三次元座標値と、処理範囲画像191の複数画素それぞれの温度情報とを示す画素点群192をCPUを用いて生成する。温度情報は、赤外カメラ12により撮像対象を計測した撮像対象の画素毎の温度の情報である。
The pixel point
The pixel point
三次元モデル生成部140は、画素点群192を含んだデータをCPUを用いて構造物三次元モデル194(地域モデルの一例)として生成する。
The three-dimensional model generation unit 140 generates data including the
処理エリア190は、構造物三次元モデル生成部22で使用されるデータを記憶媒体に記憶する。
距離方位点群291、位置データ292、赤外画像データ293、パラメータデータ299、三次元点群198、処理範囲画像191、画素点群192および構造物三次元モデル194は、処理エリア190に記憶されるデータの一例である。
The processing area 190 stores data used by the structure three-dimensional
Distance azimuth point group 291,
パラメータデータ299には、例えば、以下の情報が含まれる。
(1)画像保存ディレクトリ:計測車両200で取得したカメラ画像が取得時間タグを付けて保存されているディレクトリ名(赤外画像データ293の記憶先)。
(2)赤外カメラ画像のID:カメラ画像を識別する情報。
(3)処理範囲:赤外カメラ画像の中で構造物三次元モデルの生成に使用する画素範囲。
(4)レーザ3次元点群ディレクトリ:道路および道路周辺の構造物の三次元点群198を保存したディレクトリ。
(6)赤外カメラ取得時刻・位置・姿勢:赤外カメラ画像を撮影した時の赤外カメラの位置姿勢を示す情報。
(7)赤外カメラ取付オフセット:車体中心からの赤外カメラ位置および姿勢を示した情報。
(8)レーザ取付オフセット:車体中心からのレーザ位置および姿勢を示した情報。
The
(1) Image storage directory: a directory name (a storage destination of the infrared image data 293) in which camera images acquired by the
(2) Infrared camera image ID: information for identifying a camera image.
(3) Processing range: A pixel range used for generating a three-dimensional model of a structure in an infrared camera image.
(4) Laser three-dimensional point cloud directory: a directory storing the three-dimensional point cloud 198 of roads and structures around the road.
(6) Infrared camera acquisition time / position / posture: Information indicating the position / posture of the infrared camera when an infrared camera image is taken.
(7) Infrared camera mounting offset: Information indicating the position and orientation of the infrared camera from the center of the vehicle body.
(8) Laser mounting offset: Information indicating the laser position and orientation from the center of the vehicle body.
次に、構造物三次元モデル生成部22の三次元点群生成部180による三次元点群198の生成方法について説明する。
Next, a method for generating the three-dimensional point group 198 by the three-dimensional point
三次元点群生成部180は、距離方位点群291、位置データ292およびパラメータデータ299に基づいて、三次元点群198を生成する。
パラメータデータ299は、車体座標系におけるレーザスキャナ11の取付オフセットを含む。レーザスキャナ11の取付オフセットは、レーザスキャナ11が車両200のどの位置にどのような姿勢(傾き)で設置されているかを示す。
三次元点群198は、各距離方位点に対応する三次元座標値を世界座標系で示すデータである。
The three-dimensional point
The
The three-dimensional point group 198 is data indicating a three-dimensional coordinate value corresponding to each distance direction point in the world coordinate system.
以下に、三次元点群198の生成方法について説明する。 Hereinafter, a method of generating the three-dimensional point group 198 will be described.
三次元点群生成部180は、位置データ292に基づいて、各距離方位点を計測時の計測車両200の位置姿勢値を標定する。位置姿勢値は、三次元座標値(x、y、z)と三次元姿勢角(ロール角、ピッチ角、ヨー角)とを示す。
三次元点群生成部180は、レーザスキャナ11の取付オフセットに基づいて距離方位点群291を世界座標系に変換する。
三次元点群生成部180は、位置姿勢値と距離方位点群291とに基づいて、三次元点群198を生成する。三次元点群198の各三次元点は、位置姿勢値を基点として距離方位点で示される方位に距離方位点で示される距離だけ離れた地点の座標値で示される。三次元点の算出には同時刻の位置姿勢値および距離方位点が用いられる。
Based on the
The three-dimensional point
The three-dimensional point
三次元点群198の生成方法の詳細は、例えば特許文献3に開示されている。 Details of the method of generating the three-dimensional point group 198 are disclosed in, for example, Patent Document 3.
次に、三次元点群198に基づいて道路三次元モデル194を生成する道路三次元モデル生成処理(S300)について説明する。 Next, a road three-dimensional model generation process (S300) for generating a road three-dimensional model 194 based on the three-dimensional point group 198 will be described.
図6は、実施の形態1における道路三次元モデル生成処理(S300)のフローチャートである。実施の形態1における道路三次元モデル生成処理(S300)について、図6に基づいて以下に説明する。 FIG. 6 is a flowchart of the road three-dimensional model generation process (S300) in the first embodiment. The road three-dimensional model generation process (S300) in the first embodiment will be described below with reference to FIG.
まず、道路三次元モデル生成処理(S300)の概要について説明する。 First, an outline of the road three-dimensional model generation process (S300) will be described.
画像処理部110はカメラ画像を一つ選択し(S311)、選択画像から所定の処理範囲を処理範囲画像191として抽出する(S312)。
画素点群生成部120は、三次元点群198に基づいて、処理範囲画像191の各画素に対応する三次元座標値および温度情報を示す画素点群192を生成する(S320)。
未選択のカメラ画像が有る場合(S330「YES」)、処理はS311に戻る。
未選択のカメラ画像が無い場合(S330「NO」)、処理はS340に進む。
三次元モデル生成部140は、画素点群192を含んだデータを道路三次元モデル194として生成する(S340)。
The
Based on the three-dimensional point group 198, the pixel point
If there is an unselected camera image (S330 “YES”), the process returns to S311.
If there is no unselected camera image (S330 “NO”), the process proceeds to S340.
The three-dimensional model generation unit 140 generates data including the
次に、道路三次元モデル生成処理(S300)の詳細について説明する。 Next, details of the road three-dimensional model generation process (S300) will be described.
<S311>
画像処理部110は、赤外画像データ293に含まれる多数のカメラ画像から撮像時刻順にカメラ画像を一つ選択する。
以下、S311において選択されたカメラ画像を「選択画像」という。
S311の後、処理はS312に進む。
<S311>
The
Hereinafter, the camera image selected in S311 is referred to as “selected image”.
After S311, the process proceeds to S312.
<S312>
画像処理部110は、選択画像から所定の処理範囲を処理範囲画像191として抽出する。
各カメラ画像には、建物、電柱、壁など道路以外の地物も映り込んでいる。
また、赤外カメラ12(視点)から近い範囲が映った部分の分解能(解像度)は高いが、赤外カメラ12から遠い範囲が映った部分の分解能は低い。
所定の処理範囲は、高分解能で映っている道路部分が選択画像から処理範囲画像191として抽出されるように、赤外カメラ12の仕様(画角や画像分解能など)や赤外カメラ12の取付オフセットなどに基づいて決定される。赤外カメラ12の仕様や取付オフセットはパラメータデータ299に含まれる情報である。また、処理の無駄を省くため、各カメラ画像の撮像範囲を赤外カメラ12の仕様や取付オフセットおよび撮像地点に基づいて特定し、各カメラ画像の重複範囲を除くように処理範囲が定められてもよい。
<S312>
The
Each camera image includes features other than roads such as buildings, utility poles, and walls.
In addition, the resolution (resolution) of a portion where a range close to the infrared camera 12 (viewpoint) is reflected is high, but the resolution of a portion where a range far from the
The predetermined processing range is such that the specifications of the infrared camera 12 (view angle, image resolution, etc.) and the mounting of the
図6に戻り、道路三次元モデル生成処理(S300)の説明を続ける。 Returning to FIG. 6, the description of the road three-dimensional model generation process (S300) will be continued.
<S320>
画素点群生成部120は、三次元点群198に基づいて、処理範囲画像191の各画素に対応する三次元座標値および温度情報を示す画素点群192を生成する。
S320により、カメラ画像レベルの分解能を有する三次元点群(画素点群192)を生成することができる。
<S320>
Based on the three-dimensional point group 198, the pixel point
By S320, a three-dimensional point group (pixel point group 192) having a resolution of the camera image level can be generated.
<S330>
画像処理部110は、未選択のカメラ画像が残っているか判定する。
未選択のカメラ画像が残っている場合(YES)、処理はS311に戻る。
未選択のカメラ画像が残っていない場合(NO)、処理はS340に進む。
<S330>
The
If an unselected camera image remains (YES), the process returns to S311.
If no unselected camera image remains (NO), the process proceeds to S340.
<S340>
三次元モデル生成部140は、画素点群192と画素補間点群193とをまとめたデータを道路三次元モデル194として生成する。
三次元モデル生成部140は、生成した道路三次元モデル194を出力する(表示、印刷、記憶など)。
S340により、道路三次元モデル生成処理(S300)は終了する。
<S340>
The three-dimensional model generation unit 140 generates data that combines the
The three-dimensional model generation unit 140 outputs the generated road three-dimensional model 194 (display, printing, storage, etc.).
By S340, the road three-dimensional model generation process (S300) ends.
構造物三次元モデル194を構成する温度情報付きの各三次元点(画素点群192)をそれぞれの温度情報および三次元座標値に基づいて画面表示することで、車両200が走行した道路および道路周辺の構造物の温度分布を表すことができる。
The roads and roads on which the
構造物三次元点群データ生成部22は、レーザスキャナ11および赤外カメラ12から得られたデータと、位置標定部21から得られた車両の位置および姿勢を基に、温度情報を付与した3次元点群データを生成する。
The structure three-dimensional point cloud
温度情報が付与された3次元点群データは計測時刻とともに記憶装置23に蓄積される。 The three-dimensional point cloud data to which the temperature information is given is stored in the storage device 23 together with the measurement time.
次に、構造物傷欠陥検出処理部24は、記憶装置23に蓄積された画素点群192と構造物三次元モデル194から、計測対象の構造物の欠陥を検出する処理を行う。
Next, the structure flaw defect detection processing unit 24 performs a process of detecting a defect of the structure to be measured from the
以下では、構造物の欠陥を検出する処理方法を、図7、図8を用いて説明する。
図7は、実施の形態1に係る構造物表面の欠陥を検出する検出処理を示すフロー図である。図8は、車道横の壁表面の温度分布の一例を示す図である。
Below, the processing method which detects the defect of a structure is demonstrated using FIG. 7, FIG.
FIG. 7 is a flowchart showing a detection process for detecting defects on the surface of the structure according to the first embodiment. FIG. 8 is a diagram showing an example of the temperature distribution on the wall surface beside the roadway.
<S241>
図7において、まず、構造物傷欠陥検出処理部24は、記憶装置23から予め指定した検査対象物の画素点群192、構造物三次元モデル194を抽出する(図7のS241)。
検査対象物は、モニタに表示された赤外カメラ12の画像を使って、利用者が予め指定することができる。あるいは、三次元座標値を使って、範囲を指定するようにしてもよい。また、検査対象を構造物として指定するのではなく、対象エリア(対象範囲)として指定するようにしてもよい。図8の例では、道路脇に設けられた壁面500を検査対象物としている。壁面500は例えば高速道路の遮音用に設けられたものであり、壁面500の傷や、欠陥を検出する検査である。壁面500はトンネルの内部壁であってもよい。
<S241>
In FIG. 7, first, the structure flaw defect detection processing unit 24 extracts the
The inspection object can be designated in advance by the user using the image of the
<S242>
次に、構造物傷欠陥検出処理部24は、抽出した画素点群192に付与された温度情報をもとに検査対象物の温度分布を作成する。構造物傷欠陥検出処理部24は作成した温度分布に基づき、周囲に比べスポット状に高温になっている画素点群を抽出する(S242)。
スポット状に高温になっているか否かは、周囲の画素点群192の温度情報との差分を取り、差分が所定の閾値以上であるか否かで判断する。閾値は利用者が赤外カメラの画像をみながら、モニタ画面からその都度設定することができる。
<S242>
Next, the structural flaw defect detection processing unit 24 creates a temperature distribution of the inspection object based on the temperature information given to the extracted
Whether the temperature is high in a spot shape is determined by taking a difference from the temperature information of the surrounding
<S243>
構造物傷欠陥検出処理部24は、抽出された高温箇所のまとまり状況から、高温箇所をグルーピング化する(S243)。
図8の例では、白丸で表した画素点群192(白)は画素点群192に付与された温度情報から低温であることを視覚的に表しており、黒丸で表した画素点群192(黒)は画素点群192に付与された温度情報から高温であることを視覚的に表している。
構造物傷欠陥検出処理部24は、複数がまとまっている画素点群192(黒)をグループ化し、グループA150、グループB151、グループC152と定める。
<S243>
The structural flaw defect detection processing unit 24 groups the high temperature locations from the grouped status of the extracted high temperature locations (S243).
In the example of FIG. 8, the pixel point group 192 (white) represented by a white circle visually represents that the temperature is low from the temperature information given to the
The structural flaw defect detection processing unit 24 groups a plurality of pixel point groups 192 (black) into groups A150, B151, and C152.
<S244>、<S245>
次に、構造物傷欠陥検出処理部24はグループ化した画素点群192(黒)の三次元座標値と、その周囲の画素点群192の三次元座標値を取得し(S244)、グループ化した画素点群192(黒)と、その周囲の画素点群192とで、形状に変化があるか否かを判断する(S245)。
例えば図8の例では、画素点群192(黒)がまとまっているグループC152は、壁面500に設けられた突起物160の場所であることが、グループ化した画素点群192(黒)の三次元座標値と、その周囲の画素点群192の三次元座標値から判明する。
一方で、グループA150、グループB151は、高温部分の形状と高温部分の周囲の形状はともに平面であり、形状に変化がないことが、グループ化(グループA、グループB)した画素点群192(黒)の三次元座標値と、その周囲の画素点群192の三次元座標値から判明する。
<S244>, <S245>
Next, the structural flaw defect detection processing unit 24 acquires the three-dimensional coordinate values of the grouped pixel point group 192 (black) and the three-dimensional coordinate values of the surrounding pixel point group 192 (S244), and performs grouping. It is determined whether there is a change in shape between the pixel point group 192 (black) and the surrounding pixel point group 192 (S245).
For example, in the example of FIG. 8, the group C152 in which the pixel point group 192 (black) is gathered is the location of the
On the other hand, in the group A150 and the group B151, the shape of the high temperature portion and the shape of the periphery of the high temperature portion are both flat, and the shape does not change, indicating that the group of pixel points 192 (group A, group B) ( (Black) three-dimensional coordinate values and the three-dimensional coordinate values of the surrounding
<S246>
次に、構造物傷欠陥検出処理部24は、画素点群の三次元座標値に基づき、形状に変化がない画素点群192(黒)のグループを内部欠陥部分候補として抽出する(S246)。
図8の例では、グル―プA150と、グループB151を内部欠陥部分候補として抽出する。
先述のとおり、屋外に設置されたコンクリート製構造物等では、日中は直射日光の影響により表面温度が上昇するが、構造物の内部にひび割れや剥離などの欠陥が生じている部分については周囲と比較してその部分は温度が上昇せず、構造物の表面に温度差が生じるという特徴がある。図8のグル―プA150と、グループB151は、表面形状に変化がないにも関わらず、温度差が生じている。このため構造物の内部にひび割れや剥離などの欠陥が生じている可能性が高いとして、グル―プA150と、グループB151を「内部欠陥部分候補」として抽出している。
<S246>
Next, the structural flaw defect detection processing unit 24 extracts a group of pixel point groups 192 (black) whose shape does not change as internal defect part candidates based on the three-dimensional coordinate values of the pixel point groups (S246).
In the example of FIG. 8, group A150 and group B151 are extracted as internal defect portion candidates.
As mentioned above, in concrete structures installed outdoors, the surface temperature rises due to the influence of direct sunlight during the daytime, but there are cracks and delamination inside the structure. Compared with, the temperature of the portion does not increase and a temperature difference is generated on the surface of the structure. The group A150 in FIG. 8 and the group B151 have a temperature difference despite no change in the surface shape. For this reason, the group A150 and the group B151 are extracted as “internal defect portion candidates” on the assumption that there is a high possibility that defects such as cracks and delamination have occurred inside the structure.
<S247>
構造物傷欠陥検出処理部24は、グル―プA150と、グループB151に含まれる画素点群192を用いた三次元モデル194をモニタ部(図示せず)に表示する(S247)。利用者はモニタ部でグル―プA150と、グループB151を確認可能である。
<S247>
The structural flaw defect detection processing unit 24 displays the three-dimensional model 194 using the group A150 and the
<S248>
次に、構造物傷欠陥検出処理部24は、画素点群の三次元座標値に基づき、形状に変化がある画素点群192(黒)のグループを判断保留部分として抽出する(S248)。
図8の例では、グル―プC152を判断保留部分として抽出する。
構造物表面になんらかの付着物がある場合、内部の欠陥ではなく、その付着物が温度差の原因となっている可能性が高い。図8の例では、突起物160が日射され構造物の表面温度が上昇していることが考えられる。そこで、構造物傷欠陥検出処理部24はグループCは内部欠陥部分候補ではなく、判断保留部分として抽出する。
<S248>
Next, the structural flaw defect detection processing unit 24 extracts a group of pixel point groups 192 (black) whose shape has changed based on the three-dimensional coordinate value of the pixel point group as a determination pending portion (S248).
In the example of FIG. 8, the group C152 is extracted as a determination suspension part.
If there is any deposit on the surface of the structure, there is a high possibility that the deposit causes a temperature difference, not an internal defect. In the example of FIG. 8, it can be considered that the
<S249>
構造物傷欠陥検出処理部24は、グル―プC152に含まれる画素点群192を用いた三次元モデル194を、モニタ部(図示せず)に表示する(S249)。
利用者はモニタ部でグル―プC152を確認可能である。仮に、モニタ部での確認により欠陥でないと判断できれば、利用者はグループCを判断保留部分から削除することが可能である。また、利用者がモニタ部での確認により欠陥の可能性が高いと判断すれば、モニタ等の操作によりグループCを「判断保留部分」から「内部欠陥部分候補」に変更することも可能である。
<S249>
The structural flaw defect detection processing unit 24 displays the three-dimensional model 194 using the
The user can check the group C152 on the monitor unit. If it is possible to determine that the defect is not a defect by confirmation on the monitor unit, the user can delete the group C from the determination pending portion. In addition, if the user determines that the possibility of a defect is high by confirmation on the monitor unit, the group C can be changed from “determination pending part” to “internal defect part candidate” by operation of the monitor or the like. .
このように、構造物傷欠陥検出処理部24は、画素点群の各々に付与される三次元座標値と温度情報に基づいて、内部にひび割れや剥離などの欠陥が生じている部分を、「内部欠陥部分候補」として、抽出することができる。 In this way, the structural flaw defect detection processing unit 24, based on the three-dimensional coordinate value and temperature information given to each of the pixel point groups, a portion in which a defect such as a crack or peeling is generated inside “ It can be extracted as “internal defect part candidate”.
また構造物傷欠陥検出処理部24を含む計算機20は車両200に搭載されている。これにより、従来行っていた通行規制など、一般の通行車両への影響を与えることなく、道路周辺の構造物、たとえば壁面、トンネル、橋梁をはじめとする構造物に内在する傷や欠陥を、効率的に精度良く検出できる移動型探傷装置を提供することを目標とする。
The computer 20 including the structural flaw defect detection processing unit 24 is mounted on the
実施の形態2.
実施の形態2では、検査対象となる構造物に日向部分と日陰部分がある場合に、内部に傷や欠陥を検出する検出方法について説明する。
図9は、実施の形態2に係る車道壁面表面の温度分布の一例を示す図である。実施の形態2では、表面に日向部分400と日陰部分410がある場合に構造物に内在する傷や欠陥を検出する。
実施の形態1では、先述の通り、画素点群の温度情報から周囲に比べスポット状に高温になっている画素点群を抽出していた(図7のS242)。高温になっているか否かの判断は例えば所定の閾値との比較により行うが、検査対象に日向部分と日陰部分がある場合、1つの閾値では高温か否かを正確に判断することが難しい。
そこで実施の形態2では、構造物傷欠陥検出処理部24は、日陰部分と日向部分とで各々閾値を設け、高温になっているか否かの判断は各々で設定した閾値を用いて判断するようにする。
これにより、道路周辺の構造物表面の3次元形状情報と温度情報を統合することで、道路周辺の構造物の欠陥診断をより精度良く効率的に行うことができる。
Embodiment 2. FIG.
In the second embodiment, a description will be given of a detection method for detecting a scratch or a defect when a structure to be inspected has a sunlit portion and a shaded portion.
FIG. 9 is a diagram showing an example of the temperature distribution on the roadway wall surface according to the second embodiment. In the second embodiment, a scratch or a defect inherent in the structure is detected when the
In the first embodiment, as described above, the pixel point group that is higher in the spot shape than the surroundings is extracted from the temperature information of the pixel point group (S242 in FIG. 7). Whether the temperature is high or not is determined by, for example, comparison with a predetermined threshold value. However, when there are a sunlit portion and a shaded portion to be inspected, it is difficult to accurately determine whether the temperature is high with one threshold value.
Therefore, in the second embodiment, the structural flaw defect detection processing unit 24 sets threshold values for the shaded portion and the sunny portion, and determines whether the temperature is high using the threshold values set for each. To.
Thereby, the defect diagnosis of the structure around the road can be performed more accurately and efficiently by integrating the three-dimensional shape information and the temperature information on the surface of the structure around the road.
なお、日陰部分、日向部分が既に分かっている時は、画素点群192に付加されている三次元座標値、温度情報に、更に日向または日陰の情報を付加することで、対象部分が日向であるか、日陰であるかを判断することができる。また、日陰部分、日向部分であるかが不明の場合は、所定のエリア内の温度情報を平均処理し、その温度差によりそのエリアが日向であるか、日陰であるかを判断するようにしてもよい。
In addition, when the shaded part and the sunlit part are already known, by adding further information on the sunshade or the shade to the three-dimensional coordinate value and temperature information added to the
10 計測架台、11 レーザスキャナ、12 赤外カメラ、13 IMU、14 GPS受信機、15 GPSアンテナ、20 計算機、21 位置標定部、22 構造物3次元モデル生成部、23 記憶装置、24 構造物傷欠陥検出処理部、100 移動型探傷装置、110 赤外線画像処理部、120 画素点群生成部、140 三次元モデル生成部、150 グループA、151 グループB、152 グループC、153 グループD、160 突起物、180 三次元点群生成部、190 処理エリア、191 処理範囲画像、192 画素点群、192(黒) 画素点群(高温表示)、192(白) 画素点群(低温表示)、192(灰色) 画素点群(中温表示)、194 構造物三次元モデル、198 三次元点群、200 車両、291 距離方位点群、292 位置データ、293 赤外画像データ、299 パラメータデータ、400 日向部分、410 日陰部分、500 道路周辺の壁面、600 車道、610 車道の白線
DESCRIPTION OF SYMBOLS 10 Measurement stand, 11 Laser scanner, 12 Infrared camera, 13 IMU, 14 GPS receiver, 15 GPS antenna, 20 Computer, 21 Positioning part, 22 Structure three-dimensional model generation part, 23 Storage device, 24 Structure damage Defect detection processing unit, 100 mobile flaw detector, 110 infrared image processing unit, 120 pixel point group generation unit, 140 three-dimensional model generation unit, 150 group A, 151 group B, 152 group C, 153 group D, 160 projection , 180 3D point group generation unit, 190 processing area, 191 processing range image, 192 pixel point group, 192 (black) pixel point group (high temperature display), 192 (white) pixel point group (low temperature display), 192 (gray) ) Pixel point group (medium temperature display), 194 Three-dimensional model of structure, 198 Three-dimensional point group, 200 Vehicle, 291 Releasing
Claims (4)
測位衛星から測位信号を受信する受信部と、
レーザスキャナと、
赤外カメラと、
計算部と、
を備え、
前記計算部は、前記受信部で受信した測位信号から算出した前記移動体の位置と、前記レーザスキャナで取得する周囲の構造物までの距離と方位とを用いて生成した前記周囲の構造物の三次元位置情報を含む三次元点群データと、
前記三次元点群に対応する前記赤外カメラで取得した前記周囲の構造物の赤外画像データと、
を用いて前記三次元点群に温度情報を付加した画素点群データを生成し、
前記画素点群データの三次元座標値と温度情報を用いて、周囲の構造物の欠陥を検出することを特徴とする移動型探傷装置。 A mobile flaw detector that is mounted on a moving body and detects defects in surrounding structures,
A receiver for receiving a positioning signal from a positioning satellite;
A laser scanner,
An infrared camera,
A calculation unit;
With
The calculation unit is configured to calculate the position of the surrounding structure generated by using the position of the moving body calculated from the positioning signal received by the reception unit and the distance and direction to the surrounding structure acquired by the laser scanner. 3D point cloud data including 3D position information;
Infrared image data of the surrounding structure acquired by the infrared camera corresponding to the three-dimensional point group;
To generate pixel point cloud data with temperature information added to the three-dimensional point cloud,
A mobile flaw detector characterized by detecting a defect of a surrounding structure using a three-dimensional coordinate value of the pixel point group data and temperature information.
前記三次元座標値を用いて、前記抽出した画素点群の集合の形状と、前記抽出した画素点群の集合の周囲の画素点群の形状とを比較し、周囲の構造物の欠陥を検出することを特徴とする請求項1記載の移動型探傷装置。 The calculation unit uses the temperature information to extract a set of pixel point groups that are hotter than the surrounding temperature,
Using the three-dimensional coordinate values, the shape of the set of the extracted pixel point group is compared with the shape of the pixel point group around the extracted pixel point group, and a defect in the surrounding structure is detected. The mobile flaw detector according to claim 1, wherein:
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2017087183A JP6708163B2 (en) | 2017-04-26 | 2017-04-26 | Mobile flaw detector |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2017087183A JP6708163B2 (en) | 2017-04-26 | 2017-04-26 | Mobile flaw detector |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2018185228A true JP2018185228A (en) | 2018-11-22 |
JP6708163B2 JP6708163B2 (en) | 2020-06-10 |
Family
ID=64355607
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2017087183A Active JP6708163B2 (en) | 2017-04-26 | 2017-04-26 | Mobile flaw detector |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP6708163B2 (en) |
Cited By (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110146369A (en) * | 2019-05-13 | 2019-08-20 | 合肥工业大学 | A kind of integrated dual-purpose apparatus of infrared nondestructive flaw detection for Modified Bitumen Pavement |
CN110450167A (en) * | 2019-08-27 | 2019-11-15 | 南京涵曦月自动化科技有限公司 | A kind of robot infrared laser positioning motion trail planning method |
KR102233351B1 (en) * | 2021-01-07 | 2021-03-30 | 주식회사 유오케이 | Management system and method for facility management based on 3d lidar |
WO2021095382A1 (en) | 2019-11-15 | 2021-05-20 | パナソニックIpマネジメント株式会社 | Sensing device and information processing device |
WO2021199730A1 (en) * | 2020-03-31 | 2021-10-07 | パイオニア株式会社 | Information processing device, computer program, recording medium, and display data creation method |
WO2021241537A1 (en) * | 2020-05-29 | 2021-12-02 | 富士フイルム株式会社 | Damage diagram creation assistance method and device |
JP2022032540A (en) * | 2020-08-12 | 2022-02-25 | 武志 小畠 | Infrared examination analysis diagnosis apparatus |
JP2022042409A (en) * | 2020-09-02 | 2022-03-14 | 株式会社テナーク | Method for comparing continuous temperature, method for assaying specific temperature region, information processor, continuous temperature comparison system, specific temperature region assay system, and program |
CN114739311A (en) * | 2022-06-15 | 2022-07-12 | 安徽大学 | Multi-sensor-based rapid deformation monitoring equipment and method for shaft |
GB2610881A (en) * | 2021-09-17 | 2023-03-22 | Acad Of Robotics | A method, vehicle and system for measuring a dimension of a road defect |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2006234383A (en) * | 2005-02-22 | 2006-09-07 | Urban Sekkei:Kk | Method of diagnosing deterioration in concrete structure |
JP2013092403A (en) * | 2011-10-24 | 2013-05-16 | Pasuko:Kk | Detection support device for deformed spot associated with liquefaction and detection support program for deformed spot associated with liquefaction |
US20150330911A1 (en) * | 2014-05-13 | 2015-11-19 | Gs Engineering Services, Inc. | Remote scanning and detection apparatus and method |
JP2016070676A (en) * | 2014-09-26 | 2016-05-09 | 株式会社トプコン | Calculation device, calculation method, and program |
-
2017
- 2017-04-26 JP JP2017087183A patent/JP6708163B2/en active Active
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2006234383A (en) * | 2005-02-22 | 2006-09-07 | Urban Sekkei:Kk | Method of diagnosing deterioration in concrete structure |
JP2013092403A (en) * | 2011-10-24 | 2013-05-16 | Pasuko:Kk | Detection support device for deformed spot associated with liquefaction and detection support program for deformed spot associated with liquefaction |
US20150330911A1 (en) * | 2014-05-13 | 2015-11-19 | Gs Engineering Services, Inc. | Remote scanning and detection apparatus and method |
JP2016070676A (en) * | 2014-09-26 | 2016-05-09 | 株式会社トプコン | Calculation device, calculation method, and program |
Non-Patent Citations (1)
Title |
---|
小澤正、吉田光伸: "モービルマッピングシステム(MMS)の進化", 三菱電機技報, vol. 90, no. 2, JPN7020000144, February 2016 (2016-02-01), pages 51 - 54, ISSN: 0004198078 * |
Cited By (15)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110146369A (en) * | 2019-05-13 | 2019-08-20 | 合肥工业大学 | A kind of integrated dual-purpose apparatus of infrared nondestructive flaw detection for Modified Bitumen Pavement |
CN110450167A (en) * | 2019-08-27 | 2019-11-15 | 南京涵曦月自动化科技有限公司 | A kind of robot infrared laser positioning motion trail planning method |
WO2021095382A1 (en) | 2019-11-15 | 2021-05-20 | パナソニックIpマネジメント株式会社 | Sensing device and information processing device |
US20230154099A1 (en) * | 2020-03-31 | 2023-05-18 | Pioneer Corporation | Information processing device, computer program, recording medium, and display data creation method |
WO2021199730A1 (en) * | 2020-03-31 | 2021-10-07 | パイオニア株式会社 | Information processing device, computer program, recording medium, and display data creation method |
JPWO2021199730A1 (en) * | 2020-03-31 | 2021-10-07 | ||
WO2021241537A1 (en) * | 2020-05-29 | 2021-12-02 | 富士フイルム株式会社 | Damage diagram creation assistance method and device |
JPWO2021241537A1 (en) * | 2020-05-29 | 2021-12-02 | ||
JP7353485B2 (en) | 2020-05-29 | 2023-09-29 | 富士フイルム株式会社 | Damage diagram creation support method and device |
JP2022032540A (en) * | 2020-08-12 | 2022-02-25 | 武志 小畠 | Infrared examination analysis diagnosis apparatus |
JP7298921B2 (en) | 2020-08-12 | 2023-06-27 | 株式会社赤外線高精度技術利用機構 | Infrared Investigation Analysis Diagnosis Device |
JP2022042409A (en) * | 2020-09-02 | 2022-03-14 | 株式会社テナーク | Method for comparing continuous temperature, method for assaying specific temperature region, information processor, continuous temperature comparison system, specific temperature region assay system, and program |
KR102233351B1 (en) * | 2021-01-07 | 2021-03-30 | 주식회사 유오케이 | Management system and method for facility management based on 3d lidar |
GB2610881A (en) * | 2021-09-17 | 2023-03-22 | Acad Of Robotics | A method, vehicle and system for measuring a dimension of a road defect |
CN114739311A (en) * | 2022-06-15 | 2022-07-12 | 安徽大学 | Multi-sensor-based rapid deformation monitoring equipment and method for shaft |
Also Published As
Publication number | Publication date |
---|---|
JP6708163B2 (en) | 2020-06-10 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6708163B2 (en) | Mobile flaw detector | |
CN114444158B (en) | Underground roadway deformation early warning method and system based on three-dimensional reconstruction | |
KR100795396B1 (en) | Method for monitoring altered city using airborne laser surveying data and digital orthophoto | |
EP2588882B1 (en) | Method for producing a digital photo wherein at least some of the pixels comprise position information, and such a digital photo | |
JP6950832B2 (en) | Position coordinate estimation device, position coordinate estimation method and program | |
EP3767231B1 (en) | Surveying apparatus | |
JP6178704B2 (en) | Measuring point height assigning system, measuring point height assigning method, and measuring point height assigning program | |
RU2591875C1 (en) | Method of constructing map of exogenous geological processes of area along route of main oil line | |
JP6876445B2 (en) | Data compressors, control methods, programs and storage media | |
JP5347006B2 (en) | Defect location detection support apparatus accompanying liquefaction and deformation location detection support program accompanying liquefaction | |
CN114724110A (en) | Target detection method and device | |
JP2017129508A (en) | Self-location estimation system, self-location estimation method, mobile terminal, server and self-location estimation program | |
JP2011027595A (en) | Map data verification system | |
Potó et al. | Laser scanned point clouds to support autonomous vehicles | |
JP6715205B2 (en) | Work machine surrounding image display device | |
JP4651397B2 (en) | Deposition monitoring method, system and computer program | |
KR20160125803A (en) | Apparatus for defining an area in interest, apparatus for detecting object in an area in interest and method for defining an area in interest | |
JP5230354B2 (en) | POSITIONING DEVICE AND CHANGED BUILDING DETECTION DEVICE | |
JP5297366B2 (en) | Imaging object information generation apparatus and imaging object information generation program | |
JP2021070993A (en) | Infrastructure inspection system and infrastructure inspection method | |
JP7241948B2 (en) | Road surface condition investigation system, road surface condition investigation device, and road surface condition investigation method | |
JP7082227B1 (en) | Road surface property survey system, road surface property survey device, and road surface property survey method | |
Zuev et al. | Mobile system for road inspection and 3D modelling | |
CN117848302B (en) | Real-time terrain intelligent mapping method and system | |
Luo et al. | Automatic road surface profiling with sensors fusion |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20190422 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20200115 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20200128 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20200326 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20200421 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20200504 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 6708163 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |