JP2018025553A - 三次元測定対象物の形状測定方法、及び装置、並びにプログラム - Google Patents

三次元測定対象物の形状測定方法、及び装置、並びにプログラム Download PDF

Info

Publication number
JP2018025553A
JP2018025553A JP2017141901A JP2017141901A JP2018025553A JP 2018025553 A JP2018025553 A JP 2018025553A JP 2017141901 A JP2017141901 A JP 2017141901A JP 2017141901 A JP2017141901 A JP 2017141901A JP 2018025553 A JP2018025553 A JP 2018025553A
Authority
JP
Japan
Prior art keywords
data
dimensional
measurement object
point
point cloud
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2017141901A
Other languages
English (en)
Other versions
JP7208708B2 (ja
JP2018025553A5 (ja
Inventor
茂雄 草木
Shigeo Kusaki
茂雄 草木
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Mr Support Inc
Original Assignee
Mr Support Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Mr Support Inc filed Critical Mr Support Inc
Publication of JP2018025553A publication Critical patent/JP2018025553A/ja
Publication of JP2018025553A5 publication Critical patent/JP2018025553A5/ja
Priority to JP2022131862A priority Critical patent/JP7394935B2/ja
Application granted granted Critical
Publication of JP7208708B2 publication Critical patent/JP7208708B2/ja
Priority to JP2023200482A priority patent/JP2024009279A/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Abstract

【課題】三次元測量対象物の測量から各種報告書作成に至る一連の作業を正確にワンストップで実現し、時間的、人的コストの削減を図る。【解決手段】解析装置30は、三次元走査装置10により照射されるレーザ光により三次元測定対象物からの反射点における各点が3次元座標化された点群データとして取得し、取得した点群データを解析し、三次元測定対象物の形状確認データを生成すると共に、入力装置31によって入力される任意の2点間の縦横断データを作成して設計データに変換し、それぞれ出力装置32に出力する。【選択図】図1

Description

本発明は、例えば、道路の傷やいたみ等、路面のクラック調査、轍調査、縦横断調査等、測量対象物を立体的にとらえることができる、三次元測定対象物の形状測定方法、及び装置、並びにプログラムに関する。
例えば、特許文献1に、現場に持ち込んだトータルステーション等の測量計により、任意位置の三次元座標の計測を行う技術が記載されている。
特許文献1に記載された技術によれば、座標が既知の2つの基準位置にプリズムや反射光等の反射部材を置き、トータルステーションから反射部材に向けて測定用の光を投光し、その反射光の位相差に基づき各基準位置までの距離を測定するとともに、測定用の光の投光方向の水平角度や鉛直角度を測定する。そして、測定した距離、水平角度、鉛直角度、及び既知の基準位置の位置座標等に基づいて幾何学的計算を行うことにより、測定位置の三次元座標を求めることができる。
特開2013−32983号公報
ところで、土木建築業界において、測量データは、ますます正確なデータが求められている。例えば、道路の傷やいたみ等の路面のクラック調査、轍調査、縦横断調査(切削量のボリューム)等、三次元測定対象物を立体的にとらえた正確な測量は、人が実際に現場へ足を運んで目視確認を行い、測量計で測量地点のデータをとり、測量成果報告書を作成する必要がある。また、その作業はそれぞれ専門の会社が行っている。このため、作業に要する時間、人的コストが高く、したがって、実際の測量から各種報告書作成に至る一連の作業を正確にワンストップで実現し、時間的、人的コストの削減を図るためのツールの出現がのぞまれていた。
本発明は上記した課題を解決するためになされたものであり、三次元測量対象物の測量から各種報告書作成に至る一連の作業を正確にワンストップで実現し、時間的、人的コストの削減を図った、三次元測定対象物の形状測定方法、及び装置、並びにプログラムを提供することを目的とする。
上記した課題を解決するために、本発明は、(1)三次元測定対象物の形状測定方法であって、三次元走査装置により照射されるレーザ光により前記三次元測定対象物からの反射点における各点が3次元座標化された点群データとして取得する第1のステップと、前記取得した点群データを解析装置によって解析し、前記三次元測定対象物の形状確認データを生成すると共に、入力装置によって入力される任意の2点間の縦横断データを作成して設計データに変換し、それぞれ出力装置に出力する第2のステップと、を有することを特徴とする。
(1)の構成において、前記第1のステップは、トータルステーションによる観測結果を前記解析装置が利用可能なファイル形式に変換して前記点群データに反映させ、色マッピング処理により生成されるPTSファイルと、基準点SIMAデータとを統合して前記解析装置に入力することを特徴とする。
(1)の構成において、前記第2のステップは、線形を基準とした路線測量により得られる前記線形の主要点の位置座標と、取り込んだ中間座標とに基づき路線計算を行い、前記路線計算の結果に基づき、三角網による縦横断図を作成することを特徴とする。
また、本発明は、三次元測定対象物の形状測定装置であって、照射されるレーザ光により前記三次元測定対象物からの反射点における各点が3次元座標化された点群データとして取得する三次元走査装置と、前記取得した点群データを解析し、前記三次元測定対象物の形状確認データを生成すると共に、指定された任意の2点間の縦横断データを作成して設計データに変換し、出力装置にそれぞれ出力する解析装置と、を備えたことを特徴とする。
また、本発明は、三次元測定対象物の形状測定装置のためのプログラムであって、前記形状測定装置に、三次元走査装置により照射されるレーザ光により前記三次元測定対象物からの反射点における各点が3次元座標化された点群データとして取得する処理と、前記取得した点群データを解析し、前記三次元測定対象物の形状確認データを生成すると共に、指定された任意の2点間の縦横断データを作成して設計データに変換し、出力する処理と、を実行させることを特徴とする。
本発明によれば、三次元測量対象物の測量から各種報告書作成に至る一連の作業を正確にワンストップで実現し、時間的、人的コストの削減を図った、三次元測定対象物の形状測定方法、及び装置、並びにプログラムを提供することができる。
本発明の実施の形態に係る三次元測定対象物の形状測定装置の構成を示すブロック図である。 本発明の実施の形態に係る三次元測定対象物の形状測定装置の処理動作を示すフローチャートである。 本発明の実施の形態に係る三次元測定対象物の形状測定装置の処理動作を示すフローチャートである(図2の続き)。 本発明の実施の形態に係る三次元測定対象物の形状測定装置により生成される座標化され色マッピングされた点群データの一例を示す図である。 本発明の実施の形態に係る三次元測定対象物の形状測定装置により生成される三次元測定対象物の現況平面画像の一例を示す図である。 本発明の実施の形態に係る三次元測定対象物の形状測定装置により生成される現況縦横断図の一例を示す図である。 撮像部が撮像した道路に反射材を散布した場合の画像を示す図である。 三次元走査装置が取得した点群データを図7に示す画像に合成した合成画像を示す図である。 第3実施例に係る三次元測定対象物の形状測定装置の構成を示すブロック図である。 UAVの撮像部が異なる時刻で同領域を撮像した道路を含む複数の画像を示す図である。 図10に示す画像から車両を除外した合成画像を示す図である。 図11に示す合成画像を解析することにより生成され、色彩情報を含む三次元点群データを示す図である。 色彩情報が補正された点群データを示す図である。 第4実施例に係る三次元測定対象物の形状測定装置の構成を示すブロック図である。 電子マーキングが追加された点群データを示す図である。 拡大された電子マーキングの点群データを示す図である。
(第1実施形態の構成)
以下、本発明の実施の形態(以下、本実施形態という)に係る三次元測定対象物の形状測定装置について図面を参照しながら詳細に説明する。なお、実施形態の説明の全体を通して同じ要素には同じ番号又は符号を付している。
図1に示すように、本実施形態に係る三次元測定対象物の形状測定装置100は、例えば、PC(Personal Computer)等により実現され、装置本体である解析装置30と、キーボードやマウス等の入力装置31と、LCD(Liquid Crystal Display)モニタ、プリンタ等の出力装置32とから構成される。なお、解析装置30は、三次元走査装置(3Dスキャナ)10と、トータルステーション(TS)20とは、オフラインで接続される。
三次元走査装置10は、道路等の三次元測定対象物に対してレーザ光を照射し、そのレーザ光の多数の反射点の各点を三次元座標化された点の群(以下、点群データという)として取り込み、解析装置30へ出力する。
トータルステーション20は、位置座標が既知の2つの基準位置(基準点)に反射部材を置き、その反射部材に向けて測定用光を投光し、その反射光の位相差に基づき各基準位置までの距離を測定して水平角度や鉛直角度を求め、解析装置30に対し、測量データの共通フォーマットとして知られているSIMA(Surveying Instruments Manufacturers’ Association)データとして出力する。
解析装置30は、図示省略したプログラムを逐次読み出し実行することにより、三次元走査装置10から取得した点群データ、及び/又はトータルステーション20から取得したSIMAデータを解析して道路の形状確認データを生成すると共に、入力装置31によって入力される任意の2点間の縦・横断図を作成して設計データに変換し、それぞれ出力装置32に出力(表示又は印刷)する機能を有する。
このため、解析装置30は、図1にそのプログラム構造をブロックで展開して示したように、点群データ取得部301と、SIMAデータ取得部302と、SIMA統合部303と、平面画像合成部304と、平面資料作成部305と、線形作成部306と、路線計算部307と、三角網縦横断データ取得部308と、出来形管理部309と、設計データ及び納品データ作成部310と、を含み構成される。
点群データ取得部301は、三次元走査装置10により照射されるレーザ光により三次元測定対象物である道路からの反射点における各点が3次元座標化された点群データとして取得し、SIMA統合部303へ出力する。
SIMAデータ取得部302は、トータルステーション20により出力される基準点を含むSIMAデータ(点番、点名、X,Y,Z)を、解析装置30が読み込み可能なCSV(Comma Separated Values)形式のデータにファイル変換し、XY座標を入れ替えてSIMA統合部303へ出力する。
SIMA統合部303は、SIMAデータ取得部302から出力されるCSVデータを点群データ取得部301から出力される点群データに反映させ、更に、色マッピング処理により生成される点群のPTSファイルのX,Yを入れ替えて読み込み、基準点SIMAデータと統合して平面画像合成部304に出力する。
平面画像合成部304は、SIMA統合部303により出力される統合データに縮尺を固定した現況平面画像を合成し、合成TIFF(Tagged Image File Format)データとして平面資料作成部305へ出力する。
平面資料作成部305は、基準点SIMAデータと平面画像合成部304から出力されるTIFFデータを基に平面資料を作成し、線形作成部306へ出力する。平面資料作成部305は、更に、作成した平面資料をPDF(Portable Document Format)及びAutoCAD(登録商標)の標準ファイル形式であるDWG(Drawing)にファイルに変換し、設計データ及び納品データ作成部301へ出力する。
線形作成部306は、平面資料作成部305から出力される平面資料に基づき、IP(Intersection Point)点を作成し、路線計算部307へそのIP座標(SIMAデータ)を出力すると共に、そのSIMAデータをPDFにファイル変換して設計データ及び納品データ作成部310へそのPDFデータを出力する。
路線計算部307は、SIMA統合部303から出力される統合データに示される線形を基準とする路線測量によって得られる線形の主要点の位置座標と、線形作成部306から出力されるIP座標に基づき、入力装置31から入力される、曲線パラメータ、縦断要素、幅員、任意測点により、路線全体で三次元座標値を求める路線計算を実行し、その結果を三角網縦横断データ取得部308へ出力する。
三角網縦横断データ取得部308は、路線計算部307から出力される三次元座標値に基づき、指定される任意の2点間の縦横断データ(縦横断図)をSIMAデータとして設計データ及び納品データ作成部310へ出力する。
設計データ及び納品データ作成部310は、三角網縦横断データ取得部308から出力される横断SIMAデータに基づき現況縦横断データを出力装置32へ出力する。
出来形管理部309は、作成した基本設計データを用い、現場での出来形を測定し、出来形の良否判定が可能な設計と出来形の差を出力し、更に、基本設計データと、測定した出来形測定データとを読み込み、設計データ及び納品データ作成部310を介して出来形帳票を作成する。
設計データ及び納品データ作成部310は、横断SIMAデータを線形データALG(ER Mapper Algorithm Data)にファイル変換して3Dビューア用の縦横断図を作成して出力装置32へ表示する。設計データ及び納品データ作成部310は、他に、平面資料作成部305から出力されるPDFあるいはDWGフォーマットの平面資料から、所定様式の概況平面図、面積体積計算書を作成し、また、線形作成部306から出力されるPDF形式の路線測量計算書を作成して路線計算部307へ出力し、更に、路線計算部307により出力されるPDFと三次元座標データに基づき、所定様式のクラック、轍調査資料を生成し、それぞれ出力装置32へ出力する。
(第1実施形態の動作)
以下、図2、図3のフローチャート、及び図4〜図6に示す画像を参照しながら、図1に示す本実施形態に係る三次元測定対象物の形状測定装置100の処理動作について説明する。なお、図2は3D事前測量、図3は、3D事前測量により作成される基本設計データに基づき施工された三次元測定対象物が発注者の意図する規格基準に対してどの程度の精度で施工されたか、その施工技術の度合を管理する出来形計測の処理の流れを示す。
ここでは、三次元測定対象物である道路にあらかじめ基準点が設置されており、光波測距儀とトランシットが一体化されたトータルステーション20が、ダイポイント、主要点観測の結果をSIMAデータと互換のあるCADデータとして出力する。そして、このCADデータと基準点SIMAデータとに基づき、主要点を折れ線状に配置し、各点における隣接点間の交角(夾角)と距離を測定して点の位置を求めるトラバース計算を行い(ステップS101)、点番、点名、X,Y,ZからなるSIMAデータを生成する。
一方、三次元走査装置10は、道路に対してレーザ光を照射し、そのレーザ光の多数の反射点の各点を三次元座標化された点群データを生成する。三次元走査装置10は、レーザの照射から受光までの時間により、設置位置から反射点までの距離を算出し、調査範囲の反射点の三次元座標化された位置(X,Y,Z)を算出し、調査範囲の反射点の各位置をまとめた点群データとして出力する。この点群データにより、三次元測定対象物の道路の絵柄を描画することができる。
解析装置30は、三次元走査装置10から取得される点群データ、トータルステーション20から取得されるSIMAデータに基づき以下の処理を実行する。すなわち、点群データ取得部301が、三次元走査装置10によりスキャンされ出力された点群データを取得してSIMA統合部303へ出力し、SIMAデータ取得部302が、トータルステーション20により観測され出力されるSIMAデータを取得し、CSV形式にファイル変換し、X,Y座標を入れ替えたCSVファイルを生成してSIMA統合部303へ出力する(ステップS102)。
SIMA統合部303は、SIMAデータ取得部302から出力されるCSVデータを点群データ取得部301から出力される点群データに反映させ、更に、色マッピングにより点群のPTSファイルを生成する(ステップS103)。図4に、点群データの一例が示されている。
続いて、SIMA統合部303は、生成したPTSファイルのX,Yを入れ替えて読み込み、基準点SIMAデータと統合し、更に、ステップS101のトラバース計算により得られる、人孔、道路幅員、クラック形状等の主要点情報をDXFデータ、SIMAデータに変換したファイルを結合して平面画像合成部304に出力する(ステップS104)。
平面画像合成部304は、フリーフォームNURBS(Non-Uniform Rational Basis Spline(非一様有理Bスプライン)モデリングに特化した商用の製造業向け3次元CADソフトウェアであるライノセラス(登録商標)の画面上で施工範囲を画定してDXFデータを出力し(ステップS105)、SIMA統合部303により出力される統合データに縮尺を固定した現況平面画像を合成し、合成TIFFデータとして平面資料作成部305へ出力する(ステップS106)。図5に、現況平面画像の一例が示されている。
平面資料作成部305は、基準点SIMAデータと平面画像合成部304から出力されるTIFFデータを基に平面資料を作成し、線形作成部306へ出力する(ステップS106)。平面資料作成部305は、更に、作成した平面資料をPDF及びDWGにファイルに変換し、設計データ及び納品データ作成部310へ出力する。
続いて、線形作成部306は、平面資料作成部305から出力される平面資料に基づき、道路中心線の平面線形において、円曲線や緩和曲線を両側から挟む2つの直線部の延長線の交点であるIP点を作成し(ステップS107)、路線計算部307へそのIP座標(SIMAデータ)を出力する。線形作成部306は、更に、SIMAデータをPDFにファイル変換して設計データ及び納品データ作成部310へそのPDFデータを出力する。
路線計算部307は、SIMA統合部303から出力される統合データに示される線形を基準とする路線測量によって得られる線形の主要点の位置座標と、線形作成部306から出力されるIP座標とに基づき、入力装置31を介してユーザによって入力される、曲線パラメータ、縦断要素、幅員、任意測点により、路線全体で三次元座標値を求める路線計算を実行し、その結果を三角網縦横断データ取得部308へ出力する(ステップS108)。路線計算部307は、更に、線形を基準として路面の損傷を調査(路面調査)し、クラックや轍の調査資料作成のために、その結果をPDF、3Dデータに変換して、設計データ及び納品データ作成部310に出力する(ステップS109)。路線計算部307による3Dデータへの変換にあたり、ライノセラス(登録商標)でデータ処理した結果が反映される。
三角網縦横断データ取得部308は、路線計算部307から出力される三次元座標値に基づき任意の2点間における三角網縦横断SIMAデータを作成し(ステップS110)、設計データ及び納品データ作成部310へ出力する。設計データ及び納品データ作成部310は、三角網縦横断データ取得部308から出力される横断SIMAデータに基づき現況縦横断データを出力装置32へ出力する(ステップS111)。ここで出力される現況縦横断データは、図3にその詳細を示す出来形計測でも使用される。図6に、現況縦横断データにより作成される現況縦横断図の一例が示されている。
設計データ及び納品データ作成部310は、更に、横断SIMAデータを線形データALGにファイル変換して3Dビューア用の縦横断図を含む基本設計データ作成して出力装置32に出力する。設計データ及び納品データ作成部310は、他に、平面資料作成部305から出力されるPDFあるいはDWGフォーマットの平面資料から、所定様式の概況平面図、面積体積計算書を作成し、また、線形作成部306から出力されるPDF形式の路線測量計算書を作成して路線計算部307へ出力し、更に、路線計算部307により出力されるPDFと三次元座標データに基づき、所定様式のクラック、轍調査資料を生成し、それぞれ出力装置32へ出力する。
次に、図3を参照しながら、縦横断計画出来形計測(3D事前測量から3D出来形計測)について説明する。出来形管理部309は、設計データ及び納品データ作成部310から出力される基本設計データに基づき、現状横断データ解析、及び縦断線形変化点ごとの縦断曲線諸量を計算する縦横断計画を行い(ステップS201)、入力される基準点SIMAデータに基づき、3次元設計データを作成してXML(Extensible Markup Language)形式のファイルを出力する(ステップS202)。
続いて、出来形管理部309は、そのXMLファイルに基づき、トータルステーション20を用いた出来形計測を行い(ステップS203)、その結果を設計データ及び納品データ作成部310を介してPDF及びXMLのファィル形式で出力装置32へ出力する。
また、出来形管理部309は、基準点SIMAデータ、及び三角網縦横断データ取得部208から出力される線形データ(ALG)、そして、三次元走査装置10、及びトータルステーション20により観測され出力される3Dデータに基づき、図2にフローチャートで示した3D事前測量と同じ工程でデータ解析を行う(ステップS204)。そして、入力されXMLファイルの3次元設計データに基づき出来形縦横断データを出力し、3D事前測量縦横断データとの対比資料を作成すべく、設計データ及び納品データ作成部310を介し、PDF又はDWG形式の3D出来形成果資料を出力装置32へ出力する(ステップS205)。
(第1実施形態の効果)
以上説明のように本実施形態に係る三次元測定対象物の形状測定装置100は、解析装置30が、三次元走査装置10により照射されるレーザ光により、道路等の三次元測定対象からの反射点における各点が3次元座標化された点群データとして取得し、当該取得した点群データを解析し、三次元測定対象物の形状確認データを生成すると共に、入力装置31によって入力される任意の2点間の縦・横断図を作成して設計データに変換し、それぞれ出力装置32に出力する。このことにより、三次元測量対象物の測量から各種報告書作成に至る一連の作業を正確にワンストップで実現し、時間的、人的コストの削減を図ることができる。
具体的に、従来、作業員が、メジャー、あるいはトータルステーション20等の測量計を設置し、時間をかけて測定していた、クラック調査、轍調査、縦横断調査(切削量のボリューム調査)等の現地調査を、三次元走査装置10を使用した形状測定装置100により短時間で実施でき、かつ、トータルステーション20を使用して得られる測量データと併用することにより、詳細な測量データを所得できる。これにより、従来、把握できなかった三次元測定対象物の形状や変化を現地に何度も赴くことなく把握することができるようになる。このことにより、例えば、3日程度要していたこれら調査を、2時間程度まで短縮できることが確認された。また、従来、道路の轍や縦横断調査をそれぞれの専門会社が行っていたが、これをワンストップで行えるようになり、測量作業の時間的、人員的な負担を大幅に削減すことができ、また、効率化が図れることから、大幅なコストダウンが可能になる。
なお、本実施形態に係る三次元測定対象物の形状測定装置100において、三次元測定対象物として道路のみ例示したが、道路に限らず、例えば、森林における樹木等の形態を定量化する用途、あるいは、工事計画、施工、面積、地図作成等、各種用途への適用が可能である。
(三次元測定対象物の形状測定方法)
また、本実施形態に係る三次元測定対象物の形状測定方法は、少なくとも、図1に示す三次元走査装置10と、入力装置31と出力装置32とを有する解析装置30とを用いることにより実現される。そして、その方法は、例えば、図2に示すように、三次元走査装置10により照射されるレーザ光により三次元測定対象からの反射点における各点が3次元座標化された点群データとして取得する第1のステップ(S103)と、取得した点群データを解析装置30によって解析し、三次元測定対象物の形状確認データを生成すると共に、入力装置31によって入力される任意の2点間の縦・横断図を作成して設計データに変換し、それぞれ出力装置32に出力する第2のステップ(S104〜S111)と、を有するものである。
また、本実施形態に係る三次元測定対象物の形状測定方法において、第1のステップは、トータルステーション20による観測結果を解析装置30が利用可能なファイル形式に変換して点群データに反映させ、色マッピング処理により生成されるPTSファイルと、基準点SIMAデータとを統合して解析装置30に入力してもよい(ステップS101〜S104)。また、第2のステップは、線形を基準とした路線測量により得られる線形の主要点の位置座標と、取り込んだ中間座標とに基づき路線計算を行い、路線計算の結果に基づき、三角網による縦横断図を作成してもよい(ステップS105〜S111)。
本実施形態に係る三次元測定対象物の形状測定方法によれば、三次元測量対象物の測量から各種報告書作成に至る一連の作業を正確にワンストップで実現し、時間的、人的コストの削減を図った、三次元測定対象物の形状測定方法を提供することができる。
(プログラム)
また、本実施形態に係るプログラムは、三次元測定対象物の形状測定装置100のためのプログラムである。そしてそのプログラムは、解析装置30に、上記した本実施形態に係る三次元測定対象物の形状測定方法における各ステップと同様の処理を実行させるものであり、重複を回避する意味で各処理の説明を省略する。
本実施形態に係るプログラムによれば、解析装置30が、上記した本実施形態に係るプログラムを読み出し実行することにより、三次元測量対象物の測量から各種報告書作成に至る一連の作業を正確にワンストップで実現し、時間的、人的コストの削減を図った、三次元測定対象物の形状測定装置100を提供することができる。
[第2実施形態]
上記第1実施形態では、三次元走査装置10は、道路等の三次元測定対象物に対してレーザ光を照射し、そのレーザ光の多数の反射点の各点を三次元座標化して点群データを生成していた。
ところで、施工直後の道路や雨天時又は雨が止んだ直後の道路は、雨水等の影響で光沢のある黒色面が形成される。
しかしながら、三次元走査装置10は、そのような光沢のある黒色面の計測には適していない。
つまり、三次元走査装置10で、このような道路に雨水が残っているような場所を計測しようとすると、レーザ光が上手く反射されず、その結果、レーザ光の少数の反射点の各点が少なくなるため、それに基づいて三次元座標化された点群データも少なくなり、十分な点群データが得られないという課題がある。
なお、雨水に限らず、道路に水が散布されたり、元々、適切な反射が得られ難い素材が用いられている場合も同様の課題がある。
そこで、第2実施例では、そのような状況でも、良好に点群データを得ることができる手法について、以下、図7及び図8を参照しながら説明する。
なお、以下では、第1実施形態と同様の点については、説明を省略し、第1実施形態と主に異なる点について説明するものとする。
また、以下の説明では、適切なレーザ光の反射が得られない箇所のことをレーザ光不適面という場合がある。
図7は、撮像部が撮像した道路に反射材50を散布した場合の画像を示す図であり、図8は、三次元走査装置10が取得した点群データを図7に示す画像に合成した合成画像を示す図である。
図7に示すように、雨水等の影響で適切なレーザ光の反射が得られないレーザ光不適面に対して小麦粉等からなる反射材50を散布する。
なお、この反射材50は、小麦粉等に限らず、例えば、ガラスビーズ混入の塗料からなる液状のものであってもよい。
そして、そのように反射材50を散布した後に、三次元走査装置10を用いるようにすると、そのレーザ光が反射材50によって上手く反射されるため、図8に示すように、レーザ光の多数の反射点を得ることができる。
この結果、図8に示すように、その反射点の各点を三次元座標化した点群データも多数得られ、良好な点群データを生成することができる。
なお、このような反射材散布によるレーザ光不適面の点群取得方法をMRP法と呼ぶ場合がある。
[第3実施形態]
上記第1実施形態では、SIMA統合部303は、SIMAデータ取得部302から出力されるCSVデータを点群データ取得部301から出力される点群データに反映させ、更に、色マッピングにより点群のPTSファイルを生成していたが、第3実施形態では、さらに、色彩がより鮮明な点群データを得るために、点群データに色彩情報を補正する方法について、以下、図9〜図13を参照しながら説明する。
なお、第3実施形態の説明においても第1実施形態と同様の点については説明を省略する場合がある。
図9は、第3実施例に係る三次元測定対象物の形状測定装置100の構成を示すブロック図である。
図10は、UAV40の撮像部が異なる時刻で同領域を撮像した道路を含む複数の画像を示す図であり、図10(a)は、第1時刻で同領域を撮像した道路を含む画像を示す図であり、図10(b)は、第1時刻よりも後である第2時刻で同領域を撮像した道路を含む画像を示す図である。
図11は、図10に示す画像から車両を除外した合成画像を示す図である。
図12は、図11に示す合成画像を解析することにより生成され、色彩情報を含む三次元点群データを示す図である。
図13は、色彩情報が補正された点群データを示す図である。
図9に示すように、第3実施例に係る三次元測定対象の形状測定装置100は、解析装置30と、入力装置31と、出力装置32とから構成され、解析装置30には、三次元走査装置10と、トータルステーション20と、さらに、UAV(Unmanned Aerial Vehicle)40が、オフラインで接続される。
なお、点群データの色彩情報の補正には、以下で説明するように解析装置30及びUAV40が用いられる。
UAV40は、解析装置30とオフラインで接続されており、遠隔操作により飛行可能な無人機である。
そして、UAV40は、道路等の三次元測定対象物の画像を撮像するための撮像部(図示しない)を備えている。
このUAV40の撮像部が撮像した画像を図10(a)及び図10(b)に示している。
具体的には、図10(a)及び図10(b)は、三次元走査装置10の有効範囲を含む同領域を、UAV40の撮像部で異なる時刻に撮像した道路等の三次元測定対象物を含む画像である。
なお、上述のように、UAV40はオフラインで解析装置30に接続されており、UAV40が撮像したその複数の画像は、後述するフォトレタッチ部311に出力できるようになっている。
第3実施例の解析装置30は、フォトレタッチ部311と、画像測量解析部312と、色彩情報補正部313と、を含む点を除き、上記第1実施形態の解析装置30と同じ構成を有している。
フォトレタッチ部311は、UAV40から出力される道路等の三次元測定対象物を含む複数の画像を合成することにより、図11に示すような非三次元測定対象の車両を除外した合成画像を生成し、画像測量解析部312へ出力する。
画像測量解析部312は、フォトレタッチ部311から出力される合成画像を解析することにより、図12に示すような色彩情報を含む三次元点群データを生成し、色彩情報補正部313へ出力する。
そして、色彩情報補正部313が、画像測量解析部312から出力される色彩情報を含む三次元点群データを用いて、SIMA係合部303から出力される点群のPTSファイルに三次元点群データの持つ色彩情報を補正し、より鮮明な色彩情報を持つ三次元点群データとして、その点群のPTSファイルを平面画像合成部304及び路線計算部307へ出力する。
具体的には、SIMA係合部303から出力される点群のPTSファイルの色彩情報を含む三次元点群データは、三次元走査装置10によって取得されたデータに基づいたもののため、道路上に描かれている白線等の色彩情報が不鮮明である場合がある一方、UAV40によって取得された画像に基づく色彩情報を含む三次元点群データは、道路上に描かれている白線等の色彩情報が鮮明であるため、色彩情報補正部313では、道路上の白線等の色彩情報を補正する処理が行われる。
このように、第3実施例では、UAV40及び解析装置30を用いて、点群のPTSファイルに色彩情報を補正することにより、色彩がより鮮明な点群データを得ることができ、この補正によって、図13に示すように、例えば、道路に描かれた白線等の細部をよく確認することができる状態にすることができる。
[第4実施形態]
上記第3実施形態では、UAV40を用いることで色彩情報を補正する場合について説明したが、UAV40を用いて三次元点群データを補正する、つまり、三次元走査装置10のレーザ光が届かないような範囲のために、三次元走査装置10によって取得したデータに基づいた三次元点群データで点群が不足している箇所の点群を補足してもよく、第4実施形態では、以下、図14を参照しながら、UAV40を用いて、三次元走査装置10による点群データを補足する方法について説明する。
図14は、第4実施例に係る三次元測定対象物の形状測定装置100の構成を示すブロック図である。
なお、図14を参照しながら、以下、具体的に第4実施形態について説明するが、第4実施形態でも、第1実施形態と同様の点については説明を省略する場合がある。
また、UAV40について、第3実施形態で既に説明している内容についても省略する場合がある。
図14に示すように、第4実施例に係る三次元測定対象の形状測定装置100は、解析装置30と、入力装置31と、出力装置32とから構成され、解析装置30には、三次元走査装置10と、トータルステーション20と、さらに、UAV40が、オフラインで接続される。
なお、三次元走査装置10による点群データへの補足には、以下で説明するようにUAV40及び解析装置30が用いられる。
UAV40は、解析装置30にオフラインで接続され、遠隔操作により飛行可能な無人機であり、また、UAV40が道路等の三次元測定対象物の画像を撮像するための撮像部(図示しない)を備えていることは第3実施形態で説明したとおりである。
そして、第3実施形態で説明したのと同様に、UAV40の撮像部が異なる時刻で三次元走査装置10の有効範囲以外の領域を含む同領域を撮像した道路等の三次元測定対象物を含む複数の画像は、フォトレタッチ部311に出力される。
第4実施例の解析装置30は、フォトレタッチ部311と、画像測量解析部312と、点群データ合成部314と、を含む点を除き、上記第1実施形態の解析装置30と同じ構成を有している。
第3実施形態と同様に、フォトレタッチ部311は、UAV40から出力される道路等の三次元測定対象物を含む複数の画像を合成することにより、非三次元測定対象の車両を除外して三次元走査装置10の有効範囲以外の領域を含む合成画像を生成し、画像測量解析部312へ出力する。
そして、画像測量解析部312が、画像測量解析部312から出力される三次元走査装置10の有効範囲以外の領域を含む合成画像を解析することにより、三次元走査装置10の有効範囲以外の領域を含む三次元点群データを生成し、点群データ合成部314へ出力する。
そうすると、点群データ合成部314は、点群データ取得部301から出力される点群データの点群が不足している箇所を補足するように、画像測量解析部312から出力される三次元点群データの点群を部分的に合成し、部分的な点群の補足が行われた三次元点群データをSIMA統合部303へ出力する。
このように、第4実施例では、三次元走査装置10によって取得されたデータに基づく三次元点群データで点群が不足している箇所の点群をUAV40を用いることで補足するので、より完全な三次元点群データを生成することができる。
[第5実施形態]
上記第1実施形態で説明したトータルステーション20を、三次元走査装置10によって取得されたデータに基づく三次元点群データにおける境界がわかり難い箇所を境界がわかりやすくするのに用いてもよく、第5実施形態では、トータルステーション20を用いて、そのような境界をわかりやすくする方法について説明する。
つまり、点群による現況観測では情報量が膨大であるため、三次元走査装置10によって取得されたデータに基づく三次元点群データでは、部分的に拡大していくと、車道と歩道との境目やマンホールの境界等が見えなくなるが、トータルステーション20を用いて、その境界がわかるように電子マーキングを付けることが可能であり、以下、図15及び図16を参照しながら、点群データへの電子マーキングについて説明する。
なお、第5実施形態においても、第1実施形態と同様の点については説明を省略する場合がある。
図15は、電子マーキングが追加された点群データを示す図であり、図16は、拡大された電子マーキングの点群データを示す図である。
例えば、トータルステーション20は、道路の車道と歩道との境界(車道と歩道を分ける白線の境界)におけるマーキング点の観測結果を電子マーキング用のSIMAデータとして解析装置30のSIMAデータ取得部302へ出力する。
そして、SIMAデータ取得部302は、トータルステーション20により出力される電子マーキング用のSIMAデータを、解析装置30が読み込み可能な電子マーキング用のCSV形式のデータにファイル変換し、XY座標を入れ替えてSIMA統合部303へ出力する。
そうすると、SIMA統合部303は、SIMAデータ取得部302から出力される電子マーキング用のCSVデータを点群データ取得部301から出力される点群データに反映させ、更に、色マッピング処理により電子マーキングが追加された点群のPTSファイルを生成する。
例えば、白線の境界を示すように、電子マーキングMが追加された点群データの一例は、図15に示すものであり、電子マーキングMを結ぶ線上が白線の境界になっている。
そして、その電子マーキングMの周辺を拡大していくと、図15では、なんとなく見えていた白線の状態がぼやけて行き、図16に示すように、白線の状態がわからなくなるが、先に述べたように、電子マーキングMを結ぶ線上に白線の境界が存在するため、図16に示すように、白線の状態がわからなくなっても、電子マーキングMによって境界がどこにあるのかを知ることができる。
このように、第5実施例では、点群データに電子マーキングを追加することにより、拡大によって境界がわからなくなるような場合であっても、図16に示すように、電子マーキングMを目印として、スピーディー且つ正確に道路の車道と歩道との境界を見分けることができる。
さらに、追加された電子マーキングと、点群データに示される道路の車道と歩道との境界と、の距離が所定の閾値を超える場合、点群データにエラーがあることを推測することができる。
以上、実施形態を用いて本発明を説明したが、本発明の技術的範囲は上記実施形態に記載の範囲には限定されないことは言うまでもない。上記実施形態に、多様な変更又は改良を加えることが可能であることが当業者に明らかである。また、その様な変更又は改良を加えた形態も本発明の技術的範囲に含まれ得ることが、特許請求の範囲の記載から明らかである。
10 三次元走査装置
20 トータルステーション
30 解析装置
31 入力装置
32 出力装置
40 UAV
50 反射材
100 形状測定装置
301 点群データ取得部
302 SIMAデータ取得部
303 SIMA統合部
304 平面画像合成部
305 平面資料作成部
306 線形作成部
307 路線計算部
308 三角網縦横断データ取得部
309 出来形管理部
310 設計データ及び納品データ作成部
311 フォトレタッチ部
312 画像測量解析部
313 色彩情報補正部
314 点群データ合成部
M 電子マーキング

Claims (5)

  1. 三次元測定対象物の形状測定方法であって、
    三次元走査装置により照射されるレーザ光により前記三次元測定対象物からの反射点における各点が3次元座標化された点群データとして取得する第1のステップと、
    前記取得した点群データを解析装置によって解析し、前記三次元測定対象物の形状確認データを生成すると共に、入力装置によって入力される任意の2点間の縦横断データを作成して設計データに変換し、それぞれ出力装置に出力する第2のステップと、
    を有することを特徴とする三次元測定対象物の形状測定方法。
  2. 前記第1のステップは、
    トータルステーションによる観測結果を前記解析装置が利用可能なファイル形式に変換して前記点群データに反映させ、色マッピング処理により生成されるPTSファイルと、基準点SIMAデータとを統合して前記解析装置に入力することを特徴とする請求項1に記載の三次元測定対象物の形状測定方法。
  3. 前記第2のステップは、
    線形を基準とした路線測量により得られる前記線形の主要点の位置座標と、取り込んだ中間座標とに基づき路線計算を行い、前記路線計算の結果に基づき、三角網による縦横断図を作成することを特徴とする請求項1に記載の三次元測定対象物の形状測定方法。
  4. 三次元測定対象物の形状測定装置であって、
    照射されるレーザ光により前記三次元測定対象物からの反射点における各点が3次元座標化された点群データとして取得する三次元走査装置と、
    前記取得した点群データを解析し、前記三次元測定対象物の形状確認データを生成すると共に、指定された任意の2点間の縦横断データを作成して設計データに変換し、出力装置にそれぞれ出力する解析装置と、を備えたことを特徴とする形状測定装置。
  5. 三次元測定対象物の形状測定装置のためのプログラムであって、
    前記形状測定装置に、
    三次元走査装置により照射されるレーザ光により前記三次元測定対象物からの反射点における各点が3次元座標化された点群データとして取得する処理と、
    前記取得した点群データを解析し、前記三次元測定対象物の形状確認データを生成すると共に、指定された任意の2点間の縦横断データを作成して設計データに変換し、出力する処理と、を実行させるプログラム。
JP2017141901A 2016-07-27 2017-07-21 三次元測定対象物の形状測定方法、及び装置、並びにプログラム Active JP7208708B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2022131862A JP7394935B2 (ja) 2016-07-27 2022-08-22 三次元測定対象物の形状測定方法、及び装置、並びにプログラム
JP2023200482A JP2024009279A (ja) 2016-07-27 2023-11-28 三次元測定対象物の形状測定方法、及び装置、並びにプログラム

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2016147236 2016-07-27
JP2016147236 2016-07-27

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2022131862A Division JP7394935B2 (ja) 2016-07-27 2022-08-22 三次元測定対象物の形状測定方法、及び装置、並びにプログラム

Publications (3)

Publication Number Publication Date
JP2018025553A true JP2018025553A (ja) 2018-02-15
JP2018025553A5 JP2018025553A5 (ja) 2020-09-03
JP7208708B2 JP7208708B2 (ja) 2023-01-19

Family

ID=61195030

Family Applications (3)

Application Number Title Priority Date Filing Date
JP2017141901A Active JP7208708B2 (ja) 2016-07-27 2017-07-21 三次元測定対象物の形状測定方法、及び装置、並びにプログラム
JP2022131862A Active JP7394935B2 (ja) 2016-07-27 2022-08-22 三次元測定対象物の形状測定方法、及び装置、並びにプログラム
JP2023200482A Pending JP2024009279A (ja) 2016-07-27 2023-11-28 三次元測定対象物の形状測定方法、及び装置、並びにプログラム

Family Applications After (2)

Application Number Title Priority Date Filing Date
JP2022131862A Active JP7394935B2 (ja) 2016-07-27 2022-08-22 三次元測定対象物の形状測定方法、及び装置、並びにプログラム
JP2023200482A Pending JP2024009279A (ja) 2016-07-27 2023-11-28 三次元測定対象物の形状測定方法、及び装置、並びにプログラム

Country Status (1)

Country Link
JP (3) JP7208708B2 (ja)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2020204602A (ja) * 2018-11-20 2020-12-24 株式会社エムアールサポート オルソ画像作成システム、オルソ画像作成方法、それに使用される対空標識及び道路調査方法
WO2020255548A1 (ja) * 2019-06-17 2020-12-24 株式会社エムアールサポート オルソ画像作成システム、オルソ画像作成方法、それに使用される対空標識及び道路調査方法
JP2021082058A (ja) * 2019-11-20 2021-05-27 株式会社豊田中央研究所 走路推定装置、および走路推定プログラム

Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007057498A (ja) * 2005-08-26 2007-03-08 Matsushita Electric Works Ltd レーザ地形観測システム
JP2008045890A (ja) * 2006-08-11 2008-02-28 Public Works Research Institute 地盤変位計測システム及びこれに用いる光反射体設置方法並びに光反射体設置装置
JP2010177743A (ja) * 2009-01-27 2010-08-12 Casio Hitachi Mobile Communications Co Ltd 画像撮影装置及びプログラム
JP2011133341A (ja) * 2009-12-24 2011-07-07 Pasuko:Kk 変位計測装置、変位計測方法、及び変位計測プログラム
JP2011257276A (ja) * 2010-06-09 2011-12-22 Ihi Corp 地形データの取得方法
JP2013190272A (ja) * 2012-03-13 2013-09-26 Kyushu Univ 3次元レーザ測量装置及び3次元レーザ測量方法
US20140146173A1 (en) * 2012-11-26 2014-05-29 Trimble Navigation Limited Integrated Aerial Photogrammetry Surveys
JP2015005143A (ja) * 2013-06-20 2015-01-08 株式会社パスコ データ解析装置、データ解析方法、及びプログラム
JP2015206768A (ja) * 2014-04-23 2015-11-19 株式会社東芝 前景領域抽出装置、前景領域抽出方法及びプログラム
JP2016045330A (ja) * 2014-08-22 2016-04-04 株式会社Ihi 3次元点群データの位置合わせ方法と装置及びその移動体システム
JP2016105081A (ja) * 2014-11-19 2016-06-09 首都高技術株式会社 点群データ利用システム

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2008130219A1 (en) 2007-04-19 2008-10-30 Tele Atlas B.V. Method of and apparatus for producing road information
JP5350729B2 (ja) 2008-09-30 2013-11-27 大成建設株式会社 出来型確認システムおよび出来型確認プログラム、並びに出来型確認方法
US8537338B1 (en) * 2011-08-24 2013-09-17 Hrl Laboratories, Llc Street curb and median detection using LIDAR data
JP6316568B2 (ja) 2013-10-31 2018-04-25 株式会社トプコン 測量システム
CN104123730B (zh) 2014-07-31 2016-09-14 武汉大学 基于道路特征的遥感影像与激光点云配准方法及系统
JP6442193B2 (ja) 2014-08-26 2018-12-19 株式会社トプコン 点群位置データ処理装置、点群位置データ処理システム、点群位置データ処理方法およびプログラム

Patent Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007057498A (ja) * 2005-08-26 2007-03-08 Matsushita Electric Works Ltd レーザ地形観測システム
JP2008045890A (ja) * 2006-08-11 2008-02-28 Public Works Research Institute 地盤変位計測システム及びこれに用いる光反射体設置方法並びに光反射体設置装置
JP2010177743A (ja) * 2009-01-27 2010-08-12 Casio Hitachi Mobile Communications Co Ltd 画像撮影装置及びプログラム
JP2011133341A (ja) * 2009-12-24 2011-07-07 Pasuko:Kk 変位計測装置、変位計測方法、及び変位計測プログラム
JP2011257276A (ja) * 2010-06-09 2011-12-22 Ihi Corp 地形データの取得方法
JP2013190272A (ja) * 2012-03-13 2013-09-26 Kyushu Univ 3次元レーザ測量装置及び3次元レーザ測量方法
US20140146173A1 (en) * 2012-11-26 2014-05-29 Trimble Navigation Limited Integrated Aerial Photogrammetry Surveys
JP2015005143A (ja) * 2013-06-20 2015-01-08 株式会社パスコ データ解析装置、データ解析方法、及びプログラム
JP2015206768A (ja) * 2014-04-23 2015-11-19 株式会社東芝 前景領域抽出装置、前景領域抽出方法及びプログラム
JP2016045330A (ja) * 2014-08-22 2016-04-04 株式会社Ihi 3次元点群データの位置合わせ方法と装置及びその移動体システム
JP2016105081A (ja) * 2014-11-19 2016-06-09 首都高技術株式会社 点群データ利用システム

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2020204602A (ja) * 2018-11-20 2020-12-24 株式会社エムアールサポート オルソ画像作成システム、オルソ画像作成方法、それに使用される対空標識及び道路調査方法
WO2020255548A1 (ja) * 2019-06-17 2020-12-24 株式会社エムアールサポート オルソ画像作成システム、オルソ画像作成方法、それに使用される対空標識及び道路調査方法
JP2021082058A (ja) * 2019-11-20 2021-05-27 株式会社豊田中央研究所 走路推定装置、および走路推定プログラム

Also Published As

Publication number Publication date
JP7208708B2 (ja) 2023-01-19
JP2024009279A (ja) 2024-01-19
JP7394935B2 (ja) 2023-12-08
JP2022159560A (ja) 2022-10-17

Similar Documents

Publication Publication Date Title
JP7394935B2 (ja) 三次元測定対象物の形状測定方法、及び装置、並びにプログラム
Turkan et al. Automated progress tracking using 4D schedule and 3D sensing technologies
Murphy et al. Historic building information modelling (HBIM)
Riveiro et al. Terrestrial laser scanning and limit analysis of masonry arch bridges
CN106524920A (zh) 基于三维激光扫描实测实量在建筑工程中的应用
Randall Construction engineering requirements for integrating laser scanning technology and building information modeling
CN111597666B (zh) 一种将bim应用到变电站建设过程的方法
JP4773973B2 (ja) 単一像から、3d物体の測定、モデリングおよびマッピングのためのシステム、コンピュータプログラムおよび方法
Doneus et al. 3D laser scanners on archaeological excavations
CN105550428A (zh) 一种基于tls技术的桥梁安全评估方法
Wujanz Terrestrial laser scanning for geodetic deformation monitoring
CN101957870A (zh) 三维扫描在艺术建筑物或构筑物中的数据复原技术
KR20140062831A (ko) 정밀한 광역 축척 모형 제작을 위한 3차원 데이터 획득 및 가공 방법
JP2018025553A5 (ja)
CN112699436A (zh) 基于三维激光扫描建模的建筑结构逆向工程分析方法
Warchoł The concept of LIDAR data quality assessment in the context of BIM modeling
Ergun et al. A case study on the historical peninsula of Istanbul based on three-dimensional modeling by using photogrammetry and terrestrial laser scanning
KR101237434B1 (ko) 측량기를 이용한 3차원 건축실물모델링 방법
Turkan et al. Towards automated progress tracking of erection of concrete structures
Turkan et al. Automated progress tracking of erection of concrete structures
Pérez et al. Field Work’s Optimization for the Digital Capture of Large University Campuses, Combining Various Techniques of Massive Point Capture
Abu Hanipah et al. Development of the 3D dome model based on a terrestrial laser scanner
George et al. Documentation of Cultural Heritage Monuments, by Introducing New Surveying Technologies: Implementation in Sarlitza Pallas, in Thermi Mytilene
Bansal et al. 3D scanning for reverse engineering-technological advancements, process overview, accuracy inspection, challenges, and remedies
Rada et al. Automation of monitoring construction works based on laser scanning from unmanned aerial vehicles

Legal Events

Date Code Title Description
AA64 Notification of invalidation of claim of internal priority (with term)

Free format text: JAPANESE INTERMEDIATE CODE: A241764

Effective date: 20170808

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20170814

RD02 Notification of acceptance of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7422

Effective date: 20180322

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20180417

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20200717

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20200717

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20200914

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A821

Effective date: 20200914

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20210531

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20210608

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210805

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20211012

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20211209

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220209

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20220524

RD13 Notification of appointment of power of sub attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7433

Effective date: 20220808

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220822

C60 Trial request (containing other claim documents, opposition documents)

Free format text: JAPANESE INTERMEDIATE CODE: C60

Effective date: 20220822

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A821

Effective date: 20220808

C11 Written invitation by the commissioner to file amendments

Free format text: JAPANESE INTERMEDIATE CODE: C11

Effective date: 20220906

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220927

A911 Transfer to examiner for re-examination before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A911

Effective date: 20221108

C21 Notice of transfer of a case for reconsideration by examiners before appeal proceedings

Free format text: JAPANESE INTERMEDIATE CODE: C21

Effective date: 20221115

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20221220

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20230106

R150 Certificate of patent or registration of utility model

Ref document number: 7208708

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150