JP2019113553A - 三次元レーザー光走査装置 - Google Patents

三次元レーザー光走査装置 Download PDF

Info

Publication number
JP2019113553A
JP2019113553A JP2018237850A JP2018237850A JP2019113553A JP 2019113553 A JP2019113553 A JP 2019113553A JP 2018237850 A JP2018237850 A JP 2018237850A JP 2018237850 A JP2018237850 A JP 2018237850A JP 2019113553 A JP2019113553 A JP 2019113553A
Authority
JP
Japan
Prior art keywords
laser beam
data
dimensional coordinate
reflecting mirror
point cloud
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2018237850A
Other languages
English (en)
Inventor
純一 原田
Junichi Harada
純一 原田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shinano Kenshi Co Ltd
Original Assignee
Shinano Kenshi Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shinano Kenshi Co Ltd filed Critical Shinano Kenshi Co Ltd
Publication of JP2019113553A publication Critical patent/JP2019113553A/ja
Pending legal-status Critical Current

Links

Landscapes

  • Length Measuring Devices By Optical Means (AREA)
  • Mechanical Optical Scanning Systems (AREA)

Abstract

【課題】従来の三次元レーザー光走査装置では点群データを一旦装置内に蓄えた上で外部へ出力するが、高精細な点群データは総量が大きく莫大なメモリーが必要な上、装置外部へ点群データを出力する際に時間がかかる、という問題があった。【解決手段】点群データの各点のデータ全てを絶対値表現とはせず、隣接するデータの相互の関係性に基づいて点群データのデータ総量を低減する。例えば、測定時系列や極座標で隣接する各点のデータを差分値表現としたり、可逆圧縮を施したり、するなどである。【選択図】図2

Description

本発明は、三次元レーザー光走査装置の点群データの扱いに関するものである。
以前より、レーザー光測距を行う装置のレーザー光を三次元空間へ照射し装置の周囲に存在する物体の形状を点群データとして取得する試みがなされてきた。
点群データとは、一般に特定の物体の三次元形状を複数の点の集合として表現した際の各点の三次元座標値データ群のことである。本発明においては、三次元レーザー光走査装置の周囲に存在する物体の形状について表現したものとする。また各点の三次元座標値は、三次元レーザー光走査装置を基準とする座標系における具体的な座標値か、あるいは三次元レーザー光走査装置が測定した粗いデータであって「具体的な座標値を算出するために必要な情報」である。
現在市場で使われている三次元レーザー光走査装置では、取得した点群データを光走査装置内部の記憶装置に一旦保存し、走査終了後に点群データを外部のコンピューターに転送し、この外部のコンピューターで点群データを処理して可視化するなどの利用をする。
データの転送は、メモリーカードなど記憶媒体を介して行う場合や、有線データ通信や無線データ通信などの通信手段によって行う場合がある。
物体形状を精度よく扱うためには相当数の点群データ点数が必要とされる。結果として、点群データのデータ総量が多くなり、それを低減する要求が以前よりあった。
先行技術としては、例えば特開2017−163256に開示されている技術のような方法が知られている。
特開2017−163256
(コスト問題)
前述のような先行技術の場合、光走査装置が全周走査(光走査装置の周囲全体を一定の精度で表現できるだけの点群データを取得すること)してから特徴点検出などの処理を行うため、多くの点群データを記憶する記憶装置や高度なデータ処理を実行するための演算装置などが光走査装置の内部に必要となる。よって高価なCPU(中央処理装置:Central Processing Unit)やメモリーなどを実装することになりコストが上昇する。
(点群データ精度問題)
また、前述のような先行技術の場合、全周走査した結果得られる点群データのうちの特徴の無い部分については実質的に点群データを間引くことになる。精度に影響無く点群データを間引くためには高度なデータ処理が必要となるため、コストと精度とデータ処理速度の間にはトレードオフの関係がある。
結果、前述の先行技術を用いて精度を損なわずに点群データ総量を低減することはコスト問題と同義になり、コストを上昇させなければ精度が低下するかデータ処理に時間がかかるかを選択することになるので、結果として実用品としての価値が低下する。
(データ転送問題)
前述のような先行技術を用いない場合、光走査装置内部に高度な処理を可能とする演算装置などを実装せず、取得した点群データを外部のコンピューターなどで処理する際には、取得した点群データを光走査装置の外部へ出力する手段が必要になる。例えば、メモリーカードなど記憶媒体を介して出力したり、有線データ通信や無線データ通信など通信手段を使用して出力したりすることになる。
ところが、周囲に存在する物体の形状を精度良く計測するためには多くの点群データを取得する必要がある。本出願時点における経済的な記憶媒体への書込速度や通信手段の転送速度を基準にして必要となる点群データ総量と書込(転送)所要時間とのバランスを検討すると、用途による差異はあるものの、いずれにしても利用者にとって短時間と感じられるものでは無く、全周走査完了後から点群データ出力完了まで時間がかかってしまうことになる。
本発明は、上記の課題を解決するために成されたものであり、高度な処理が可能な演算装置などを光走査装置内部に使用しなくても点群データ総量の低減を実現すること、を目的としている。
上述の問題を解決すべく本発明が成された。
本発明の作動装置は、
「レーザー光を発光して受光することによって実現されるレーザー光測距を行うレーザー光測距装置と、レーザー光測距装置が発光して受光するレーザー光の光路を偏向させる反射鏡と、反射鏡の光路を偏向させる方向を変化させる反射鏡駆動装置と、レーザー光測距に基づいて算出される三次元座標値を複数格納する三次元座標値格納装置と、レーザー光測距装置と反射鏡駆動装置と三次元座標値格納装置とを制御する制御装置と、を備え、
制御装置は、反射鏡駆動装置を制御して反射鏡の光路を偏向させる方向を変化させつつレーザー光測距装置を制御して周囲を一定のパターンでレーザー光測距を行うようにし、レーザー光測距の結果と反射鏡の光路を偏向させる方向とに基づいて三次元座標値を算出し、三次元座標値を三次元座標値格納装置に格納し、三次元座標値格納装置内に格納された三次元座標値を外部へ出力する場合には各三次元座標値の相互関係に基づいてデータ量を低減して出力する」
ことを特徴としている。
この特徴により、
本発明の三次元レーザー光走査装置は、点群データの相互関係に基づいてデータ総量を低減することになるので、高度な処理が可能な演算装置を必要とせず、コスト上昇を解消ことができる。
また、軽微な演算処理でデータ総量を低減できる上に全周走査の完了を待たずにデータ出力を開始できるので、全体の処理時間を低減できる。
結果として、本発明を適用した三次元レーザー光走査装置は、コスト上昇させること無く素早く点群データ出力を行うことができる。
本発明により、前述のコスト問題や点群データ精度問題やデータ転送問題を解決することができる。
以下、図面を参照しながら本発明の詳細を説明する。
従来の三次元レーザー光走査装置の点群データ1要素の構造である。 本発明の三次元レーザー光走査装置の点群データ1要素の構造である。
まず、本発明装置の前提である三次元レーザー光走査装置について説明する。
三次元レーザー光走査装置(3Dレーザースキャナーともいう)は、前述の通り、走査装置の周囲に存在する物体の形状を点群データとして取得するものであり、大きく分けて「レーザー光測距装置」と「反射鏡駆動装置」によって構成される。
レーザー光測距装置は、レーザー光を使って直線距離を計測する機能を持つ装置である。
レーザー光が発光され、直線距離を測定する対象物にこのレーザー光が照射され、対象物で反射されたレーザー光を受光し、発光されたレーザー光と受光されたレーザー光とを比較することで直線距離を導出する。直線距離を導出する方法は複数あるが、本発明では特定の方法に限定されず、レーザー光によって直線距離が測定できればどの方式でも良い。
本発明にて「測距」という言葉は「レーザー光を使って直線距離を測定する」ことを意味する。
反射鏡駆動装置は、前述のレーザー光の向きを変える(偏向)機能を持つ装置である。
レーザー光測距装置は直線距離を測定する機能を持つだけであり、反射鏡駆動装置と組み合わせて光走査装置の周囲へ立体的にレーザー光測距装置のレーザー光を照射させることができる。
反射鏡駆動装置は、反射鏡を以ってレーザー光を任意の方向へ照射するようにする装置であるとも言える。また対象物で反射したレーザー光を受光する際にも反射鏡が用いられる。すなわち、反射鏡は往路光(レーザー光測距装置から対象物へ向かうレーザー光)と復路光(対象物で反射してレーザー光測距装置へ戻るレーザー光)の両方が通過する。
より具体的には、例えば、平板反射鏡・平板反射鏡を水平方向および垂直方向の2軸で回転可能な機構・2軸回転を行うモーター・平板反射鏡の向いている方向を検出するセンサー、などで構成される。
仮に、本発明の三次元レーザー光走査装置がある局地座標系の原点に設置されているとし、反射鏡は水平方向および垂直方向にそれぞれ回転可能であり、この反射鏡で反射させることでレーザー光測距装置のレーザー光を局地座標系の原点を中心に全球方向へ照射可能であるとする。
この時、レーザー光測距装置による測距によりレーザー光が照射された周囲の物体のとある点までの直線距離rを得ることができる。また、この時の反射鏡の回転角度を前述のセンサーより得ることができるので、原点を基準としたレーザー光が照射された方向として水平角θと垂直角φを得ることができる。
端的には、このrとθとφが点群データを構成する1つの点の座標値となる。
反射鏡を水平方向と垂直方向に回転をさせながらレーザー光測距装置で測距を連続して行うことによってrθφの組み合わせのデータを次々と得ることができる。
制御装置がθとφの関係性を一定のパターンとなるように反射鏡駆動装置を制御しつつレーザー光測距装置を制御することで周囲の全方向に対しムラ無く点群データを得ることが可能となる。
制御装置により前述のrθφの組み合わせのデータは三次元座標値格納装置へ格納される。
このようにして、点群データは反射鏡の水平方向および垂直方向の回転角度制御を受けながら順次三次元座標格納装置へ格納されていく。
全周走査が完了し、最終的に、得られた点群データは外部のコンピューターなどへ出力される。
データの出力は、メモリーカードなど記憶媒体を介して行う場合や、有線データ通信や無線データ通信などの通信手段によって行う。
ここまでは従来の三次元レーザー光走査装置についての説明である。
点群データを構成する1つの点のデータは、例えば図1に示すような構造のものである。
この例の場合、1つの点につき16Bytesのデータ量を必要とする。
「色RGB」「強度値I」は点の座標に対する付加情報であり、外部のコンピューターで情報を加工する際に視覚情報として利用される。
三次元レーザー光走査装置の種類によっては、レーザー測距の際に反射光強度の情報が得られるものがあり、上述の強度値Iの情報を点群データに含ませることができる。
また、一般的な三次元レーザー光走査装置ではレーザー測距を行った点について直接的に色RGBの情報を得ることができないが、付加装置(例えば広角度カメラなど)によって色RGBの情報を得ることができるため、上述の色RGBの情報を点群データに含ませることもできる。色RGB情報を含む点群データを「カラー点群データ」と呼ぶこともある。
高い精度を求められる三次元レーザー光走査装置では水平角θや垂直角φを示すエンコード値や直線距離rを示す測距値を2Bytesでは表現できない(精度が不足する)ため、コンピューター上で次に大きな変数サイズである4Bytesが必要となり、色RGBや強度値Iにおいても色RGBで各1Byteおよび強度値Iで1Byteの合計4Bytesが必要となる。このような理由があり、1つの点に16Bytesのデータ領域を割り当てていたのである。
市場で多く利用されている三次元レーザー光走査装置では1秒間に100万点の三次元座標値を取得するため、1秒間あたりの点群データ量は16MBytes(128Mbits)となる。
一般的に利用されている無線データ通信である無線LANの実測の転送レートは数十Mbps以下であることから、1秒間に128Mbitsのデータをリアルタイムに転送することは不可能であり、点群データを走査装置内に一旦保存して改めて外部へ出力するのはこれが理由なのである。
そこで、三次元レーザー光走査装置で得られる点群データが、取得される時系列の順序に沿ってある時点の値とその次の値との差異が小さい値になっていることを利用し、各点毎に全ての項目を完全な値(絶対値)で保持するのではなく、隣接する前後の値の差分値を保持することで、一つの点あたりのデータ量を削減する。この時のデータ構造の例を図2に示す。
先頭の1Byteはヘッダーである。このヘッダーでは、その次に続くA〜Dの各可変長領域の長さを示している。ヘッダー領域はそれぞれ2bitsから構成されており、ヘッダーに続くA〜Dの各可変長領域に格納されているデータサイズをByte単位で示している。Aが水平角θのエンコーダ値、Bが垂直角φのエンコーダ値、Cが直線距離rに相当する測距値、Dが点群の色RGBと強度値Iの領域に相当する。
エンコーダ値と測距値は3Bytesで表現可能なことから最大3Bytesを割り当て、色RGBについては24bits表現から16bits表現に変換することでデータ量を1Byte減らしている。
領域ABC(水平角θおよび垂直角φのエンコーダ値と直線距離rの測距値)が1〜2Bytesの場合は、直前の点のデータからの差分値が格納され、3Bytesの場合は差分値ではなく直値が格納される。領域D(色RGBと強度値I)については、サイズが2Bytesの場合は色RGB情報のみ、1Byteの場合は強度値Iのみが格納されていることを示している。通常、点群データをカラーで可視化する場合に強度値Iは利用しないためである。
この構造により、1つの点あたりの最小データサイズは5Bytesとなり、従来の方法のデータ構造と比較して31.25%(=5/16)にまで低減できる。この時の1秒当たりのデータサイズは5MBytes(40Mbps)となる。
上述の様にデータ構造を見直すことで点群データの精度を落とすことなく最大で1/3弱にまでデータ量を圧縮することが可能となるのであるが、実施例1で開示した方法で圧縮したデータに対して別のデータ圧縮アルゴリズムを適用して可逆圧縮を行い、更なるデータ量の低減を図っても良い。
例えば、ZIPファイルに採用されているdeflateの様なハフマン符号を利用したものなどを適用するということである。
実施例1と実施例2の技術を組合せると、日常生活のうえで一般的に見受けられる程度の環境の点群データであれば、従来の方法のデータ量と比較して1/4程度にまでデータ量を圧縮することができる。
実施例1では、時系列で連続する各点データの相互の差異が小さいことを応用してデータ圧縮をする方法を開示した。更にこの考え方を拡張すると、点群データをθとφの二次元空間に配置した際に隣接する各点データの相互の差異も小さくなるということになる。
これに基づき、二次元画像のデータ圧縮技術であるJPEGなどに用いられている離散コサイン変換などを適用すれば、θφ二次元空間での特定の領域内の点データ情報量を圧縮することも可能となる。
この実施例により従来とは異なった用途に適したデータ圧縮が可能となる。全周の点群データのダイジェスト的なデータを先行して送信し詳細なデータを追って送信するといったプログレッシブなデータ転送が圧縮を伴って実現可能となる。
また、三次元レーザー光走査装置では装置の真下部分の点群データは構造上の理由により取得できないため、その部分の点群データを省くことができる。
さらに、例えば土木工事用途では三次元レーザー光走査装置の直上領域のデータは不要なため、これら領域の点群データを削除することで、更にデータ量を削減することができる。
このような「用途によって予め不要であることが分かっている領域」については、本発明の三次元レーザー光走査装置に事前にその旨を指示しておき、制御装置が指示に従って点群データ取得の要否を判断するようにしても良い。
前述のような点群データ量であると、本出願時点での一般的な無線データ通信である無線LANの環境下における実効データ転送速度で対応可能となるため、リアルタイムデータ転送が可能になる。
リアルタイムデータ転送が可能となると、本発明の三次元座標値格納装置が必要とするデータ量も激減する。従来は全周走査をした際に得られる点群データの全データ量を一括して格納することができる莫大な容量が必須であったが、リアルタイムデータ転送が可能になることで三次元座標格納装置は転送バッファーとしてデータ転送が安定して行える程度の容量のみを実装すれば良いことになるので、メモリーの搭載量やそれに伴う回路規模などを大幅に削減でき、コストダウンに大きく貢献する。また回路規模が小さくなることにより消費電力も削減でき、本発明の三次元レーザー光走査装置をバッテリーで長時間動作させることが可能になるなど用途の拡大にも貢献する。
さらには、リアルタイムデータ転送が可能であることにより、点群データの動的取得が可能となる。
従来は三次元レーザー光走査装置を測定対象との相対関係が固定されるように設置してきた。例えば、土木工事用途で地面を計測する場合には、三脚の上に三次元レーザー光走査装置を設置し、全周走査が完了するまでは三次元レーザー光走査装置も三脚も地面も変更を加えることは一切出来なかった。
しかしながらリアルタイムデータ転送が可能になることで、利用可能な場面が大いに拡張される。例えば前述の地面を計測する際には、土木作業を続行しながら計測を並行して行うことができ、現場で出来高管理を実現することができる。
加えて、建設機械や自動車などの移動体に搭載してライダー(LiDAR)として利用することも可能となる。
以上、本発明について好適な実施例を挙げて説明したが、本発明はこれらの実施例に限定されるものではなく、発明の精神を逸脱しない限り多くの改変を施すことが可能であるのは勿論である。
量産可能な三次元レーザー光走査装置を使用して測定精度を損なうこと無くコストダウンや作業効率向上を実現でき、作業自動化システムへの適用が可能などの効果を有している。
符号無し

Claims (1)

  1. レーザー光を発光して受光することによって実現されるレーザー光測距を行うレーザー光測距装置と、
    前記レーザー光測距装置が発光して受光するレーザー光の光路を偏向させる反射鏡と、
    前記反射鏡の前記光路を偏向させる方向を変化させる反射鏡駆動装置と、
    前記レーザー光測距に基づいて算出される三次元座標値を複数格納する三次元座標値格納装置と、
    前記レーザー光測距装置と前記反射鏡駆動装置と前記三次元座標値格納装置とを制御する制御装置と、
    を備え、
    前記制御装置は、
    前記反射鏡駆動装置を制御して前記反射鏡の前記光路を偏向させる方向を変化させつつ前記レーザー光測距装置を制御して周囲を一定のパターンで前記レーザー光測距を行うようにし、
    前記レーザー光測距の結果と前記反射鏡の光路を偏向させる方向とに基づいて三次元座標値を算出し、
    該三次元座標値を前記三次元座標値格納装置に格納し、
    前記三次元座標値格納装置内に格納された三次元座標値を外部へ出力する場合には各三次元座標値の相互関係に基づいてデータ量を低減して出力する、
    ことを特徴とする三次元レーザー光走査装置。


JP2018237850A 2017-12-25 2018-12-20 三次元レーザー光走査装置 Pending JP2019113553A (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2017248549 2017-12-25
JP2017248549 2017-12-25

Publications (1)

Publication Number Publication Date
JP2019113553A true JP2019113553A (ja) 2019-07-11

Family

ID=67222599

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2018237850A Pending JP2019113553A (ja) 2017-12-25 2018-12-20 三次元レーザー光走査装置

Country Status (1)

Country Link
JP (1) JP2019113553A (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022180790A1 (ja) * 2021-02-26 2022-09-01 パイオニア株式会社 情報処理装置、制御方法、プログラム及び記憶媒体
CN115657061A (zh) * 2022-12-13 2023-01-31 成都量芯集成科技有限公司 一种室内墙面三维扫描装置及方法

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0694428A (ja) * 1992-07-29 1994-04-05 Matsushita Electric Ind Co Ltd 3次元形状入力装置
JP2012013660A (ja) * 2010-07-05 2012-01-19 Topcon Corp 点群データ処理装置、点群データ処理システム、点群データ処理方法、および点群データ処理プログラム
JP2013008137A (ja) * 2011-06-23 2013-01-10 Tokyo Univ Of Agriculture & Technology 三次元形状モデリング用データ送信装置、三次元形状モデリング用データ受信装置、三次元形状モデリングシステム、三次元形状モデリング用データ送信プログラム、及び三次元形状モデリング用データ受信プログラム
JP2013115803A (ja) * 2011-12-01 2013-06-10 Mitsubishi Heavy Ind Ltd 遠隔操縦車両システム
JP2015197329A (ja) * 2014-03-31 2015-11-09 三菱重工業株式会社 データ伝送システム、データ伝送装置、データ伝送方法、及びデータ伝送プログラム
JP2015201035A (ja) * 2014-04-08 2015-11-12 セイコーエプソン株式会社 送信装置、表示装置、送信方法およびプログラム

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0694428A (ja) * 1992-07-29 1994-04-05 Matsushita Electric Ind Co Ltd 3次元形状入力装置
JP2012013660A (ja) * 2010-07-05 2012-01-19 Topcon Corp 点群データ処理装置、点群データ処理システム、点群データ処理方法、および点群データ処理プログラム
JP2013008137A (ja) * 2011-06-23 2013-01-10 Tokyo Univ Of Agriculture & Technology 三次元形状モデリング用データ送信装置、三次元形状モデリング用データ受信装置、三次元形状モデリングシステム、三次元形状モデリング用データ送信プログラム、及び三次元形状モデリング用データ受信プログラム
JP2013115803A (ja) * 2011-12-01 2013-06-10 Mitsubishi Heavy Ind Ltd 遠隔操縦車両システム
JP2015197329A (ja) * 2014-03-31 2015-11-09 三菱重工業株式会社 データ伝送システム、データ伝送装置、データ伝送方法、及びデータ伝送プログラム
JP2015201035A (ja) * 2014-04-08 2015-11-12 セイコーエプソン株式会社 送信装置、表示装置、送信方法およびプログラム

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022180790A1 (ja) * 2021-02-26 2022-09-01 パイオニア株式会社 情報処理装置、制御方法、プログラム及び記憶媒体
CN115657061A (zh) * 2022-12-13 2023-01-31 成都量芯集成科技有限公司 一种室内墙面三维扫描装置及方法

Similar Documents

Publication Publication Date Title
JP7485482B2 (ja) コンピュータビジョンシステム
US10796457B2 (en) Image-based compression of LIDAR sensor data with point re-ordering
EP3607744B1 (en) Stereo camera depth determination using hardware accelerator
CN107194962B (zh) 点云与平面图像融合方法及装置
US20170374342A1 (en) Laser-enhanced visual simultaneous localization and mapping (slam) for mobile devices
CN104165600A (zh) 一种无线手持3d激光扫描系统
WO2020243874A1 (zh) 点云数据的位置坐标的编解码方法、系统和存储介质
CN110738730B (zh) 点云匹配方法、装置、计算机设备和存储介质
WO2015024361A1 (zh) 三维重建方法及装置、移动终端
JP7060157B2 (ja) データ圧縮装置、データ圧縮方法、及びプログラム
JP2019113553A (ja) 三次元レーザー光走査装置
US10891779B2 (en) Efficient volumetric reconstruction with depth sensors
JP2015132953A (ja) 画像処理装置およびその方法
CN113160416B (zh) 一种用于煤流检测的散斑成像装置及方法
WO2024087454A1 (zh) 激光点云数据的处理方法、装置、存储介质及设备
JP2018116004A (ja) データ圧縮装置、制御方法、プログラム及び記憶媒体
US11615578B1 (en) Systems and methods for efficient rendering and processing of point clouds using textures
US10181175B2 (en) Low power DMA snoop and skip
EP3961556A1 (en) Object recognition device and object recognition method
CN107111862B (zh) 低功率dma标记
KR102709812B1 (ko) 객체 포즈 인식을 통한 복셀 주소화 기반의 시각적 위치 결정 시스템
KR101664743B1 (ko) 고해상도 영상 생성 장치 및 그 방법
US11206427B2 (en) System architecture and method of processing data therein
US20240221313A1 (en) System and method for providing virtual three-dimensional model
US20220351404A1 (en) Dimensionally aware machine learning system and method

Legal Events

Date Code Title Description
A711 Notification of change in applicant

Free format text: JAPANESE INTERMEDIATE CODE: A711

Effective date: 20191030

RD03 Notification of appointment of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7423

Effective date: 20191125

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20210729

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20220617

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20220628

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20221220