JP2018097777A - 障害物検出装置および障害物検出方法 - Google Patents
障害物検出装置および障害物検出方法 Download PDFInfo
- Publication number
- JP2018097777A JP2018097777A JP2016244194A JP2016244194A JP2018097777A JP 2018097777 A JP2018097777 A JP 2018097777A JP 2016244194 A JP2016244194 A JP 2016244194A JP 2016244194 A JP2016244194 A JP 2016244194A JP 2018097777 A JP2018097777 A JP 2018097777A
- Authority
- JP
- Japan
- Prior art keywords
- unit
- image
- frame image
- obstacle detection
- vehicle
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 217
- 238000003384 imaging method Methods 0.000 claims abstract description 48
- 238000006243 chemical reaction Methods 0.000 claims abstract description 42
- 238000012545 processing Methods 0.000 claims description 89
- 239000013598 vector Substances 0.000 claims description 57
- 230000010354 integration Effects 0.000 claims description 34
- 238000003708 edge detection Methods 0.000 claims description 19
- 230000009466 transformation Effects 0.000 claims description 16
- 238000000605 extraction Methods 0.000 claims description 15
- 238000012937 correction Methods 0.000 description 29
- 238000010586 diagram Methods 0.000 description 27
- 238000000034 method Methods 0.000 description 25
- 238000007781 pre-processing Methods 0.000 description 17
- 230000008569 process Effects 0.000 description 16
- 238000013519 translation Methods 0.000 description 12
- 239000000284 extract Substances 0.000 description 8
- 230000003287 optical effect Effects 0.000 description 8
- 230000015654 memory Effects 0.000 description 5
- 238000011410 subtraction method Methods 0.000 description 5
- 230000004048 modification Effects 0.000 description 4
- 238000012986 modification Methods 0.000 description 4
- 240000004050 Pentaglottis sempervirens Species 0.000 description 3
- 235000004522 Pentaglottis sempervirens Nutrition 0.000 description 3
- 230000008859 change Effects 0.000 description 2
- 239000000470 constituent Substances 0.000 description 2
- 230000007423 decrease Effects 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 230000002708 enhancing effect Effects 0.000 description 2
- 238000001914 filtration Methods 0.000 description 2
- 230000015556 catabolic process Effects 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 238000006731 degradation reaction Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 239000004615 ingredient Substances 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 229910044991 metal oxide Inorganic materials 0.000 description 1
- 150000004706 metal oxides Chemical class 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 230000007480 spreading Effects 0.000 description 1
Images
Landscapes
- Image Processing (AREA)
- Traffic Control Systems (AREA)
- Image Analysis (AREA)
Abstract
Description
図1Aおよび図1Bを用いて、実施形態に係る障害物検出システム1の概要について説明する。図1Aおよび図1Bは、実施形態に係る障害物検出システム1の概要を説明する図である。障害物検出システム1は、車両に搭載され、車両周辺の障害物を検出してユーザ(運転者)に報知する。
次に、図2〜図16を参照して、実施形態に係る障害物検出システム1の詳細について説明する。図2は、実施形態に係る障害物検出システム1の構成を示すブロック図である。なお、図2では、実施形態の特徴を説明するために必要な構成要素を機能ブロックで表しており、一般的な構成要素についての記載を省略している。
撮像装置20は、例えばCCD(Charge Coupled Device)やCMOS(Complementary Metal Oxide Semiconductor)などの撮像素子を備えた車載カメラである。撮像装置20は、一定間隔の時刻ごと(例えば、1/30秒ごと)に繰り返しフレーム画像を撮像する。
図2に示す障害物検出装置10は、撮像装置20が撮像したフレーム画像に基づいて背景差分法を用いて車両Cの後方に存在する障害物を検出する。なお、障害物検出装置10が検出する障害物は立体物であり、移動物および静止物の少なくとも一方が含まれる。
ここで、まず図4A〜図4Cを用いて、車両Cが移動している場合に、背景差分法を用いて障害物を検出する仕組みについて簡単に説明する。図4A〜図4Cは、実施形態に係る障害物検出装置10による障害物の検出を説明する図である。
取得部110は、撮像装置20が撮像したフレーム画像を順次取得する。取得部110は、現時刻で取得した現フレーム画像を基準フレーム画像P1として差分画像生成部150に出力する。また、取得部110は、取得したフレーム画像を第1フレーム画像情報FP1として記憶部190に記憶する。
移動量検出部120は、撮像装置20が撮像したフレーム画像に基づいて車両Cの移動量を検出する。なお、移動量検出部120が検出する移動量には、車両Cの並進量と回転量(回転角度)が含まれる。移動量検出部120は、移動ベクトル算出部121と、移動量算出部122とを備える。
移動ベクトル算出部121は、フレーム画像からオプティカルフローを抽出する。移動ベクトル算出部121は、抽出したオプティカルフローを路面座標に投影したフローベクトルに基づいて車両Cの移動ベクトルを算出する。
移動量算出部122は、移動ベクトル算出部121が算出した移動ベクトルを加算することで、車両Cの移動量を算出する。例えば図5に示すように、移動ベクトル算出部121が時刻t1および時刻t2間の移動ベクトルVaと時刻t2および時刻t3間の移動ベクトルVbとを算出したものとする。この場合、移動量算出部122は、移動ベクトル算出部121が算出した移動ベクトルVa、Vbを加算して、時刻t1および時刻t3間の移動ベクトルVcを算出する。なお、図5は、実施形態に係る移動量算出部122が算出する移動量を説明する図である。
決定部130は、障害物検出部100が検出する障害物の種別(移動物または静止物)を決定する。決定部130は、各時刻で取得した基準フレーム画像P1を用いて移動物および静止物のどちらを検出するかを決定する。決定部130は、車両Cの移動量に基づき、基準フレーム画像P1を撮像した時刻ごとに、移動物を検出するか静止物を検出するかを決定する。
図2に戻る。障害物検出部100は、決定部130の決定にしたがって、各時刻において第1差分画像または第2差分画像を算出し、移動物または静止物を検出する。第1差分画像および第2差分画像は、過去フレーム画像が第1フレーム画像情報FP1であるか第2フレーム画像情報FP2であるかを除き、同じ処理手順で算出される。そのため、以下、説明を簡略化するために、障害物検出部100が第2差分画像に基づいて静止物を検出する場合を例にとって説明する。
変換部140は、取得部110が取得したフレーム画像を平面Fに射影変換して平面画像を生成する(図4A〜図4C参照)。
差分画像生成部150は、図7に示すように変換部140が生成した平面画像P2、P21の差分を算出し第2差分画像P3を生成する。差分画像生成部150は、平面画像P2、P21の画素ごとに輝度情報を比較する。例えば差分画像生成部150は、平面画像P2、P21の画素ごとに輝度値の差分を算出する。
図2に戻る。補正部160は、差分画像生成部150が生成した第2差分画像P3に対して補正処理を施し、補正画像を生成する。これにより、第2差分画像P3に含まれる立体物でない部分(ノイズ成分)の輝度情報を低減することができる。
図8を用いて、補正部160の積分処理部161および減算処理部162が行うフレーム積分に基づいた補正について説明する。図8は、実施形態に係る補正部160の積分処理部161および減算処理部162が行う補正処理の一例を説明する図である。
図9を用いて、補正部160のエッジ検出部163およびエッジ減算処理部164が行うエッジ検出に基づいた補正について説明する。図9は、実施形態に係る補正部160のエッジ検出部163およびエッジ減算処理部164が行う補正の一例を説明する図である。
図2に戻る。前処理部170は、補正部160が生成した第2補正画像PC2に対して強調処理等の前処理を施す。これにより、第2補正画像PC2に含まれる立体物を強調することができる。前処理部170は、強調処理部171、二値化処理部172、フィルタ部173およびエリア分割処理部174を備える。以下、図10を用いて前処理部170が行う前処理の一例について説明する。図10は、実施形態に係る前処理部170が行う前処理の一例を説明する図である。
強調処理部171は、第2補正画像PC2に含まれる所定方向のエッジを強調する強調処理を行う。差分画像に含まれる立体物(黒色以外の画素)は、車両Cから遠ざかる方向に連なる傾向がある。すなわち、差分画像に含まれる立体物は、画像周辺では対角線方向に、画像中央では縦方向に連なる傾向がある。
二値化処理部172は、第1強調画像PC3の各画素の輝度情報と閾値Th2との比較に基づいて各画素が閾値Th2よりも高い値であるか低い値であるかの二値に分類する二値化を行い、二値化画像PC4を生成する。二値化画像PC4は、図10に示すように、白と黒の二階調の画像となる。
フィルタ部173は、二値化画像PC4をフィルタ処理することで、二値化画像PC4に含まれるノイズを除去する。例えば、フィルタ部173は、メディアンフィルタ処理を行うことで、二値化画像PC4の各画素の輝度値を平滑化してノイズを除去し、平滑化画像PC5を生成する。
エリア分割処理部174は、平滑化画像PC5を、各画素よりも大きな領域(エリア)に分割し、各エリアに立体物が含まれるか否かに応じてエリアの階調を二値に分類する。すなわち、エリア分割処理部174は、平滑化画像PC5の解像度を低くする解像度変換処理を行い、エリア画像PC6を生成する。
図2に戻る。検出部180は、前処理部170で前処理を施した第2差分画像から静止物を検出する。検出部180は、連続する第2差分画像で同一の静止物を検出した場合、当該静止物を車両Cの周辺に存在する静止物に決定する。
抽出部181は、第2差分画像に含まれる特徴点を抽出する。具体的には、まず抽出部181は、図11に示すように、二値化処理部172が生成した二値化画像PC4から特徴点候補を抽出する。図11では、抽出した特徴点候補を特徴点画像PC7の四角で表している。
判定部182は、抽出部181が抽出した静止物の特徴点が連続する第2差分画像において同一の特徴点であるか否かを判定する。
障害物決定部183は、判定部182が所定回数以上同一であると判定した静止物の特徴点SP3を車両Cの周辺に存在する静止物の特徴点に決定する。例えば、障害物決定部183は、輝度値が閾値Th6以上である特徴点を静止物の特徴点に決定する。障害物決定部183は、同様に移動物の特徴点を決定する。
図2に戻る。記憶部190は、例えば複数のフレームメモリを有し、各フレームメモリに第1、第2フレーム画像情報FP1、FP2や第1、第2積分画像情報PI1、PI2等を記憶する。記憶部190は、例えば所定時刻でフレームメモリに記憶している情報を障害物検出部100に出力し、その後取得部110の取得結果や障害物検出部100の処理結果に応じてフレームメモリに記憶する各情報を更新する。
表示装置40は、例えば車両Cに搭載されるディスプレイである。表示装置40は、表示制御装置30が生成する表示画像を表示する。例えば車両Cにナビゲーション装置(図示せず)が搭載される場合、表示装置40は当該ナビゲーション装置が備えるディスプレイであってもよい。
表示制御装置30は、表示装置40に表示する表示画像を生成することで、表示装置40を制御する。表示制御装置30は、撮像装置20が撮像したフレーム画像を表示画像として表示装置40に表示させる。
次に、図16を用いて、実施形態に係る障害物検出装置10が実行する検出処理の処理手順について説明する。図16は、実施形態に係る障害物検出装置10が実行する検出処理の処理手順を示すフローチャートである。
以上、本発明の実施形態について説明してきたが、この発明は上記実施形態に限定されるものではなく様々な変形が可能である。以下では、このような変形例について説明する。上記実施形態および以下で説明する形態を含む全ての形態は、適宜に組み合わせ可能である。
上記実施形態に係る障害物検出装置10は、取得部110と、変換部140と、差分画像生成部150と、検出部180とを備える。取得部110は、撮像装置20が車両Cの周辺を撮像したフレーム画像を順次取得する。変換部140は、取得部110が基準時刻に取得した基準フレーム画像および基準時刻より過去に取得した過去フレーム画像を平面Fに射影変換する。差分画像生成部150は、変換部140が射影変換した基準フレーム画像と過去フレーム画像との差分画像を生成する。検出部180は、差分画像生成部150が生成した差分画像に基づいて車両Cの周辺に存在する障害物を検出する。
10 障害物検出装置
110 取得部
122 移動量算出部
130 決定部
140 変換部
150 差分画像生成部
161 積分処理部
162 減算処理部
163 エッジ検出部
164 エッジ減算処理部
171 強調処理部
180 検出部
181 抽出部
182 判定部
183 障害物決定部
20 撮像装置
30 表示制御装置
40 表示装置
Claims (12)
- 撮像装置が車両の周辺を撮像したフレーム画像を順次取得する取得部と、
前記取得部が基準時刻に取得した基準フレーム画像および前記基準時刻より過去に取得した過去フレーム画像を平面に射影変換する変換部と、
前記変換部が射影変換した前記基準フレーム画像と前記過去フレーム画像との差分画像を生成する差分画像生成部と、
前記差分画像生成部が生成した前記差分画像に基づいて前記車両の周辺に存在する障害物を検出する検出部と、
を備えることを特徴とする障害物検出装置。 - 前記変換部は、
前記車両の移動量に基づいて前記基準フレーム画像および前記過去フレーム画像の位置合わせを行うこと
を特徴とする請求項1に記載の障害物検出装置。 - 前記車両の移動量に基づいて前記基準フレーム画像と前記過去フレーム画像との間隔を決定する決定部をさらに備えること
を特徴とする請求項1または2に記載の障害物検出装置。 - 前記フレーム画像に基づいて算出した前記車両の移動ベクトルを加算し、前記車両の前記移動量を算出する移動量算出部をさらに備えること
を特徴とする請求項3に記載の障害物検出装置。 - 前記検出部は、
前記基準フレーム画像と前記過去フレーム画像との前記間隔が第1間隔である第1差分画像に基づいて移動物を検出し、
前記基準フレーム画像と前記過去フレーム画像との前記間隔が前記第1間隔以上の第2間隔である第2差分画像に基づいて静止物を検出すること
を特徴とする請求項3または4に記載の障害物検出装置。 - 前記検出部は、
前記第2差分画像に含まれる静止物を抽出する抽出部と、
前記抽出部が連続する前記第2差分画像から抽出した前記静止物が同一の静止物であるか否かを判定する判定部と、
前記判定部が同一の静止物と判定した前記静止物を前記車両の周辺に存在する前記静止物に決定する障害物決定部と、
を備えることを特徴とする請求項5に記載の障害物検出装置。 - 前記抽出部は、
前記第1差分画像および前記第2差分画像に含まれる特徴点をそれぞれ抽出し、
前記判定部は、
連続する前記第1差分画像に含まれる前記特徴点が第1距離以下である場合、当該特徴点は同一であると判定し、
連続する前記第2差分画像に含まれる前記特徴点が前記第1距離よりも短い第2距離以下である場合、当該特徴点は同一であると判定し、
前記障害物決定部は、
連続する前記第1差分画像に含まれる前記特徴点が同一であると前記判定部が判定した場合に、当該特徴点を前記移動物の特徴点に決定し、
連続する前記第2差分画像に含まれる前記特徴点が同一であると前記判定部が判定した場合に、当該特徴点を前記静止物の特徴点に決定する
ことを特徴とする請求項6に記載の障害物検出装置。 - 前記差分画像を順次加算することでフレーム積分を行う積分処理部と、
前記積分処理部が行った前記フレーム積分の結果を前記差分画像から減算する減算処理部と、をさらに備えること
を特徴とする請求項1〜7のいずれか一項に記載の障害物検出装置。 - 前記基準フレーム画像および前記過去フレーム画像の少なくとも一方からエッジを検出するエッジ検出部と、
前記エッジ検出部が検出した前記エッジを前記差分画像から減算するエッジ減算処理部と、をさらに備えること
を特徴とする請求項1〜8のいずれか一項に記載の障害物検出装置。 - 前記エッジ減算処理部は、
前記差分画像を複数に分割した領域のうち、前記車両に近い領域から前記エッジを減算すること
を特徴とする請求項9に記載の障害物検出装置。 - 前記差分画像に対して所定方向のエッジを強調する強調処理部をさらに備えること
を特徴とする請求項1〜10のいずれか一項に記載の障害物検出装置。 - 撮像装置が車両の周辺を撮像したフレーム画像を順次取得する取得工程と、
前記取得工程で基準時刻に取得した基準フレーム画像および前記基準時刻より過去に取得した過去フレーム画像を平面に射影変換する変換工程と、
前記変換工程で射影変換した前記基準フレーム画像と前記過去フレーム画像との差分画像を生成する生成工程と、
前記生成工程で生成した前記差分画像に基づいて前記車両の周辺に存在する障害物を検出する検出工程と、
を含むことを特徴とする障害物検出方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2016244194A JP6882885B2 (ja) | 2016-12-16 | 2016-12-16 | 障害物検出装置および障害物検出方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2016244194A JP6882885B2 (ja) | 2016-12-16 | 2016-12-16 | 障害物検出装置および障害物検出方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2018097777A true JP2018097777A (ja) | 2018-06-21 |
JP6882885B2 JP6882885B2 (ja) | 2021-06-02 |
Family
ID=62633644
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2016244194A Active JP6882885B2 (ja) | 2016-12-16 | 2016-12-16 | 障害物検出装置および障害物検出方法 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP6882885B2 (ja) |
Cited By (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
DE112020001588T5 (de) | 2019-03-28 | 2021-12-30 | Sony Group Corporation | Informationsverarbeitungseinrichtung, informationsverarbeitungsverfahren und programm |
DE112020001581T5 (de) | 2019-03-28 | 2021-12-30 | Sony Group Corporation | Informationsverarbeitungsvorrichtung, informationsverarbeitungsverfahren und programm |
WO2022191015A1 (ja) * | 2021-03-12 | 2022-09-15 | 株式会社豊田自動織機 | 自律走行車 |
CN116583889A (zh) * | 2020-11-27 | 2023-08-11 | 日产自动车株式会社 | 车辆辅助方法及车辆辅助装置 |
WO2024048080A1 (ja) * | 2022-08-29 | 2024-03-07 | 三菱重工業株式会社 | 情報処理装置、情報処理方法およびプログラム |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2008219063A (ja) * | 2007-02-28 | 2008-09-18 | Sanyo Electric Co Ltd | 車両周辺監視装置及び方法 |
JP2012165295A (ja) * | 2011-02-09 | 2012-08-30 | Honda Motor Co Ltd | 車両用周辺監視装置 |
JP2015162165A (ja) * | 2014-02-28 | 2015-09-07 | 富士通テン株式会社 | 物体検出装置、及び、物体検出システム |
JP2016134764A (ja) * | 2015-01-20 | 2016-07-25 | クラリオン株式会社 | 車両用外界認識装置およびそれを用いた車両挙動制御装置 |
-
2016
- 2016-12-16 JP JP2016244194A patent/JP6882885B2/ja active Active
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2008219063A (ja) * | 2007-02-28 | 2008-09-18 | Sanyo Electric Co Ltd | 車両周辺監視装置及び方法 |
JP2012165295A (ja) * | 2011-02-09 | 2012-08-30 | Honda Motor Co Ltd | 車両用周辺監視装置 |
JP2015162165A (ja) * | 2014-02-28 | 2015-09-07 | 富士通テン株式会社 | 物体検出装置、及び、物体検出システム |
JP2016134764A (ja) * | 2015-01-20 | 2016-07-25 | クラリオン株式会社 | 車両用外界認識装置およびそれを用いた車両挙動制御装置 |
Cited By (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
DE112020001588T5 (de) | 2019-03-28 | 2021-12-30 | Sony Group Corporation | Informationsverarbeitungseinrichtung, informationsverarbeitungsverfahren und programm |
DE112020001581T5 (de) | 2019-03-28 | 2021-12-30 | Sony Group Corporation | Informationsverarbeitungsvorrichtung, informationsverarbeitungsverfahren und programm |
CN116583889A (zh) * | 2020-11-27 | 2023-08-11 | 日产自动车株式会社 | 车辆辅助方法及车辆辅助装置 |
WO2022191015A1 (ja) * | 2021-03-12 | 2022-09-15 | 株式会社豊田自動織機 | 自律走行車 |
WO2024048080A1 (ja) * | 2022-08-29 | 2024-03-07 | 三菱重工業株式会社 | 情報処理装置、情報処理方法およびプログラム |
Also Published As
Publication number | Publication date |
---|---|
JP6882885B2 (ja) | 2021-06-02 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6882885B2 (ja) | 障害物検出装置および障害物検出方法 | |
JP6896044B2 (ja) | 道路の垂直輪郭検出 | |
JP7004314B2 (ja) | 準パラメトリックオプティカルフロー推定 | |
US9990534B2 (en) | Image processing device and image processing method | |
US10127702B2 (en) | Image processing device and image processing method | |
JP5975598B2 (ja) | 画像処理装置、画像処理方法及びプログラム | |
US20100246901A1 (en) | Operation Support System, Vehicle, And Method For Estimating Three-Dimensional Object Area | |
JP4416039B2 (ja) | 縞模様検知システム、縞模様検知方法および縞模様検知用プログラム | |
WO2017138245A1 (ja) | 画像処理装置、物体認識装置、機器制御システム、画像処理方法およびプログラム | |
WO2012145819A1 (en) | Image processing method for detecting objects using relative motion | |
JPWO2012081359A1 (ja) | レーン認識装置 | |
JP2003030626A (ja) | 画像処理装置及びその方法 | |
KR20130030220A (ko) | 고속 장애물 검출 | |
JPWO2018051459A1 (ja) | 物体検出装置および物体検出方法 | |
JP2008262333A (ja) | 路面判別装置および路面判別方法 | |
JP6617150B2 (ja) | 物体検出方法及び物体検出装置 | |
US11417080B2 (en) | Object detection apparatus, object detection method, and computer-readable recording medium | |
JP2020107290A (ja) | 付着物検出装置および付着物検出方法 | |
JPH11195127A (ja) | 白線認識方法および装置 | |
KR101402089B1 (ko) | 장애물 검출 장치 및 방법 | |
Jiang et al. | Low-level image processing for lane detection and tracking | |
JP2021050932A (ja) | 付着物検出装置、および付着物検出方法 | |
JP2009077022A (ja) | 運転支援システム及び車両 | |
JP2018147241A (ja) | 画像処理装置、画像処理方法、及び画像処理プログラム | |
JP2011053732A (ja) | 画像処理装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20190930 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20200827 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20200901 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20201016 |
|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20210119 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20210309 |
|
C60 | Trial request (containing other claim documents, opposition documents) |
Free format text: JAPANESE INTERMEDIATE CODE: C60 Effective date: 20210309 |
|
A911 | Transfer to examiner for re-examination before appeal (zenchi) |
Free format text: JAPANESE INTERMEDIATE CODE: A911 Effective date: 20210317 |
|
C21 | Notice of transfer of a case for reconsideration by examiners before appeal proceedings |
Free format text: JAPANESE INTERMEDIATE CODE: C21 Effective date: 20210323 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20210413 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20210507 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6882885 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |