JP2017182585A - 表示装置 - Google Patents
表示装置 Download PDFInfo
- Publication number
- JP2017182585A JP2017182585A JP2016071098A JP2016071098A JP2017182585A JP 2017182585 A JP2017182585 A JP 2017182585A JP 2016071098 A JP2016071098 A JP 2016071098A JP 2016071098 A JP2016071098 A JP 2016071098A JP 2017182585 A JP2017182585 A JP 2017182585A
- Authority
- JP
- Japan
- Prior art keywords
- vehicle
- image
- virtual viewpoint
- angle
- display device
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Landscapes
- Traffic Control Systems (AREA)
Abstract
Description
このような表示装置を用いると、乗員自らが目視により得られる以上の情報を得ることができ、乗員が運転者として運転する場合の運転支援としても、また、自動運転を行う車両において、乗員が自動運転制御の妥当性を監視するためにも有用である。
また、このような表示装置を用いて、自車両後方側から接近する他車両等を監視することが提案されている。
特許文献2には、車両周囲状況監視装置において、後側方から接近する車両が後続車両の死角に入る場合であっても、運転者が後方の状況を瞬時に理解可能とするために、後側方カメラにより撮像された画像にクロップ、左右反転等の所定の処理を施すことが記載されている。
自動運転を行う車両においては、ユーザは、自動運転中の車両の周囲の状況を監視し、必要に応じて手動運転への切替等を行うことが要求される。
自車両周囲の環境を表示する表示装置は、こうしたユーザの監視負担を軽減するために有用であると考えられる。
しかし、こうした表示装置を用いた場合であっても、自車両前方の監視は、変化点の認識や、それに対する反応が比較的容易であるが、後方からの他車両の接近等を直感的に認識することは、自動運転等によりユーザの意識が運転から遠ざかっている場合には困難となる。
上述した問題に鑑み、本発明の課題は、後方からの他車両接近状況を容易に把握可能な表示装置を提供することである。
請求項1に係る発明は、自車両周囲の環境を認識する環境認識手段と、前記環境認識手段の認識結果に基づいて自車両周囲の環境を表示する画像を生成する画像生成手段と、前記画像を表示する画像表示手段とを備える表示装置であって、前記画像は、自車両の上方かつ後方側に設定された仮想視点から見た状態を示す俯瞰図であって、前記画像生成手段は、前記環境認識手段が自車両後方から接近する他車両を検出した場合に、自車両と前記仮想視点とを結ぶ直線が水平面に対してなす角度である仮想視点見上げ角を増加させることを特徴とする表示装置である。
これによれば、画像内において自車両を俯瞰する角度を変化させることによって、ユーザに対して自車両後方に変化点が生じていることを直感的に認識させ、後方からの他車両接近状況を容易に把握させることができる。
これによれば、画像内において後方から接近する他車両をより早期に表示してユーザに認識させることができる。
これによれば、画像内における俯瞰の角度が徐々に変化することによって、ユーザに対して何らかの変化が生じていることを直感的に認識させることができる。
これによれば、他車両の接近速度が速く自車両に接近するまでの時間的余裕に乏しい場合に、俯瞰する角度の変化を早期に終了させて他車両を確実に表示することができる。
これによれば、他車両が自車両を追い越す際に、ユーザの注意をひきやすい画像の中央部に他車両を表示することによって、ユーザにより高レベルの注意を喚起することができる。
図1は、本発明を適用した表示装置の実施例が設けられる車両の構成を模式的に示すブロック図である。
実施例の表示装置は、例えば、自動運転機能を有する乗用車等の自動車である車両1に設けられ、ユーザ(例えば手動運転時のドライバ)等のユーザ等に対して、自車両周辺のリスクに関する情報等を画像表示するものである。
ユーザは、表示装置が提示する情報に基づいて、自車両前方の車線形状や障害物を監視するとともに、自動運転制御の実行時においては、自動運転制御の妥当性を検証することができる。
また、後述するように、表示装置は、自車両後方から他車両が接近した際に、これをユーザに認識させる機能を有する。
上述した各ユニットは、例えば、CPU等の情報処理手段、RAMやROM等の記憶手段、入出力インターフェイス、及び、これらを接続するバス等を有するユニットとして構成される。これらの各ユニットは、例えばCAN通信システム等の車載LANシステムを介して相互に通信が可能となっている。
エンジンとして、例えば、4ストロークガソリンエンジンが用いられる。
エンジン制御ユニット(ECU)10は、エンジンのスロットルバルブ開度、燃料噴射量及び噴射時期、点火時期等を制御することによって、エンジンの出力トルクを制御することが可能である。
車両1がドライバの運転操作に応じて運転される状態においては、エンジン制御ユニット10は、アクセルペダルの操作量等に基いて設定されるドライバ要求トルクに、エンジンの実際のトルクが近づくようエンジンの出力を制御する。
また、車両1が自動運転を行う場合には、エンジン制御ユニット10は、自動運転制御ユニット50からの指令に応じてエンジンの出力を制御する。
車両1が自動運転を行う場合には、トランスミッション制御ユニット20は、自動運転制御ユニット50からの指令に応じて、前後進等のレンジ切替や変速比の設定を行う。
変速機として、例えば、チェーン式、ベルト式、トロイダル式等のCVTや、複数のプラネタリギヤセットを有するステップAT、DCT、AMT等の各種自動変速機を用いることができる。
変速機は、バリエータ等の変速機構部のほか、例えばトルクコンバータ、乾式クラッチ、湿式クラッチ等の発進デバイスや、前進走行レンジと後退走行レンジとを切替える前後進切替機構等を有して構成されている。
前後進切替アクチュエータ21は、前後進切替機構に油圧を供給する油路を切り替える前後進切替バルブを駆動し、車両の前後進を切替えるものである。
前後進切替アクチュエータ21は、例えば、ソレノイド等の電動アクチュエータである。
レンジ検出センサ22は、変速機において現在選択されているレンジが前進用のものであるか、後退用のものであるかを判別するセンサ(スイッチ)である。
挙動制御ユニット30には、ハイドロリックコントロールユニット(HCU)31、車速センサ32等が接続されている。
車両1が自動運転を行う場合には、HCU31は、自動運転制御ユニット50からの制動指令に応じて、各車輪のホイルシリンダに制動力を発生させる。
車速センサ32は、各車輪のハブ部に設けられ、車輪の回転速度に比例する周波数の車速パルス信号を発生するものである。
車速パルス信号の周波数を検出し、所定の演算処理を施すことによって、車両の走行速度(車速)を算出することが可能である。
EPS制御ユニット40には、モータ41、舵角センサ42等が接続されている。
車両1が自動運転を行う場合には、モータ41は、自動運転制御ユニット50からの操舵指令に応じて、操舵系の舵角が所定の目標舵角に近づくように操舵系にトルクを付与して転舵を行わせる。
舵角センサ42は、車両の操舵系における現在の舵角を検出するものである。
舵角センサ42は、例えば、ステアリングシャフトの角度位置を検出する位置エンコーダを備えている。
また、自動運転モードは、ユーザが手動運転を希望する場合、あるいは、自動運転の続行が困難である場合等に、ユーザからの所定の解除操作に応じて中止され、ドライバによる手動運転を行う手動運転モードへの復帰が可能となっている。
入出力装置51は、自動運転制御ユニット50からユーザへの警報や各種メッセージ等の情報を出力するとともに、ユーザからの各種操作の入力を受け付けるものである。
入出力装置51は、例えば、LCD等の画像表示装置、スピーカ等の音声出力装置、タッチパネル等の操作入力装置等を有して構成されている。
環境認識ユニット60は、ステレオカメラ制御ユニット70、レーザスキャナ制御ユニット80、後側方レーダ制御ユニット90、ナビゲーション装置100、路車間通信装置110、車車間通信装置120等からそれぞれ提供される情報に基づいて、自車両周辺の駐車車両、走行車両、建築物、地形、歩行者、サイクリスト等の障害物や、自車両が走行する道路の車線形状等を認識するものである。
個々のステレオカメラ71は、例えば、レンズ等の撮像用光学系、CMOS等の固体撮像素子、駆動回路、及び、信号処理装置等からなるカメラユニットを、並列に例えば一対配列して構成されている。
ステレオカメラ制御ユニット70は、公知のステレオ画像処理技術を利用した画像処理結果に基づいて、ステレオカメラ71によって撮像された被写体の形状及び自車両に対する相対位置を認識する。
ステレオカメラ制御ユニット70は、例えば、自車両前方の車線両端部の白線を検出し、車線形状を認識することが可能である。
レーザスキャナ制御ユニット80は、レーザスキャナ81を制御するとともに、レーザスキャナ81の出力に基づいて車両周囲の車両や障害物等の各種物体を3D点群データとして認識するものである。
後側方レーダ91は、例えば、自車両の後側方から接近する他車両を検知可能となっている。
後側方レーダ91として、例えば、レーザレーダ、ミリ波レーダ等のレーダが用いられる。
ステレオカメラ71は、車両1の前部、後部、左右側部にそれぞれ設けられている。
レーザスキャナ81は、車両1の周囲に実質的に死角が生じないよう分布して複数設けられている
後側方レーダ91は、例えば、車両1の車体左右側部に配置され、検知範囲を車両後方側かつ車幅方向外側に向けて配置されている。
地図データは、道路、交差点、インターチェンジ等の道路情報を車線レベルで有する。
道路情報は、3次元の車線形状データのほか、各車線(レーン)の右左折可否や、一時停止位置、制限速度等の走行上の制約となる情報も含む。
ナビゲーション装置100は、インストルメントパネルに組み込まれたディスプレイ101を有する。
ディスプレイ101は、ナビゲーション装置100がドライバに対して出力する各種情報が表示される画像表示装置である。
ディスプレイ101は、タッチパネルを有して構成され、ドライバからの各種操作入力が行われる入力部としても機能する。
ディスプレイ210は、例えば、インストルメントパネル等の内装部材に組み込まれたLCDを有する。
図3は、実施例の表示装置の動作を示すフローチャートである。
以下、図3のステップ毎に順を追って説明する。
環境認識ユニット60は、自車両周囲の道路形状、車線形状、他車両等の障害物等に関する情報を取得する環境認識処理を行う。
他車両に関する情報は、例えば、自車両に対する相対位置、及び、相対速度に関する情報等を含む。
その後、ステップS02に進む。
環境認識ユニット60は、自車両の後方に、自車両との相対距離が所定の閾値以下であり、かつ、自車両に対して接近する相対速度を有する他車両が存在するか判別する。
このような他車両が検出された場合は、ステップS04に進み、その他の場合はステップS03に進む。
画像生成ユニット200は、自車両1を上方側かつ後方側に設定された仮想視点Pから見たときの俯瞰図を生成する際の、自車両1から仮想視点Pを見上げた角度である仮想視点見上げ角θを、予め設定された所定値であるθ1に設定する。
図4は、実施例の表示装置における仮想視点見上げ角を示す図である。
仮想視点見上げ角θ(図4におけるθ1、θ2)は、自車両1と仮想視点Pとを結んだ直線が、水平面(平坦路走行時における路面)に対してなす角度である。
ここで、自車両1側の基準となる点は、例えば、車体のいずれかの部位に任意に設けられた基準点を用いることができる。例えば、車両1の重心点や、車体寸法上の中央部等に基準点を設定することができる。
その後、ステップS05に進む。
画像生成ユニット200は、仮想視点見上げ角θを、予め設定された所定値でありかつθ1よりも大きいθ2に設定する。
その後、ステップS05に進む。
画像生成ユニット200は、ステップS03又はS04において設定された見上げ角を有する仮想視点Pから、自車両及び道路、他車両等を見た俯瞰図を、例えばディテールを省略して簡素化、模式化してレンダリングしたコンピュータグラフィックスにより生成する。
画像生成ユニット200は、このような処理が可能なレンダリング手段を有する。
その後、ステップS06に進む。
画像生成ユニット200は、生成された画像データを出力し、ディスプレイ210によって表示画像211として表示させ、ユーザに提示させる。
その後、一連の処理を終了(リターン)させる。
図5は、実施例の表示装置における通常時の画面表示の一例を模式的に示す図である。
図5に示す例においては、自車両1は、右側から順に追越車線LP、第1走行車線L1、第2走行車線L2を有する片側三車線の直線道路において、中央に設けられた第1走行車線L1を走行している。(図6,7において同じ)
図5に示す通常時(後方から接近する他車両が検出されない場合)においては、仮想視点見上げ角θは比較的小さく設定され、その結果、表示画像211は、道路の比較的遠方までを見通せる構図となっているが、反面自車両1の後方の視野は限定されたものとなっている。
図6に示す例においては、仮想視点見上げ角θを大きくするとともに、自車両1が表示画像211内において占める位置を上方とすることによって、自車両1の後方における視野(表示領域)を拡大している。
図6に示す例においては、追越車線LPを走行する他車両V1が、自車両1を追い越す直前の状態を示している。
なお、仮想視点見上げ角θを、θ1からθ2まで増加させる際に、例えば仮想視点Pの自車両1からの距離を遠ざけたり、視野角を広角化することによって、自車両1の後方の視野を拡大させるようにしてもよい。
さらに、仮想視点見上げ角θを増加させる際の単位時間あたり増加率(増加速度)は、検出された他車両の自車両に接近する相対速度の増加に応じて大きくなるように設定される。
すなわち、相対速度が大きく緊急性が高い場合には、仮想視点Pの移動が早期に完了するようになっている。
図7においては、図6に対して、他車両V1が走行する追越車線LPが、表示画像211の左右方向における中央部寄りとなるように、表示内容を全体にオフセットしている。
このような表示は、他車両V1が自車両1に対して追い越しを行うことが予想される場合に、ユーザのより高いレベルの注意を喚起できるため好ましい。
(1)自車両1の後方から接近する他車両V1を検出した際に、表示画像211内において自車両1を俯瞰する角度である仮想視点見上げ角θを増加させることによって、ユーザに対して自車両1の後方に変化点が生じていることを直感的に認識させ、後方からの他車両V1の接近状況を容易に把握させることができる。
(2)仮想視点見上げ角θの増加とともに、自車両1が表示画像211内で占める位置を上方側(前方側)に変化させることによって、表示画像211内において後方から接近する他車両V1をより早期に表示してユーザに認識させることができる。
(3)仮想視点見上げ角θを除変させ、表示画像211内における俯瞰の角度が徐々に変化することによって、ユーザに対して何らかの変化が生じていることを直感的に認識させることができる。
(4)仮想視点見上げ角θを除変させる際の変化速度を他車両V1の相対速度増加に応じて大きくすることによって、他車両V1の接近速度が速く自車両1に接近するまでの時間的余裕に乏しい場合に、俯瞰する角度の変化を早期に終了させて他車両V1を確実に表示することができる。
(5)他車両V1が自車両1を追い越す際に、ユーザの注意をひきやすい表示画像211の中央部に他車両V1を表示することによって、ユーザにより高レベルの注意を喚起することができる。
本発明は、以上説明した実施例に限定されることなく、種々の変形や変更が可能であって、それらも本発明の技術的範囲内である。
(1)表示装置の構成や、車両の構成は、上述した実施例に限定されず適宜変更することが可能である。また、実施例において車両は乗用車であるが、本発明は貨物車等の商用車、トラック、バス、自動二輪車、その他各種特殊車両などにも適用することが可能である。
(2)実施例において、車両はエンジンを走行用動力源とするものであったが、本発明はこれに限らず、電動モータや、エンジンと電動モータとを組み合わせたハイブリッドシステムを走行用動力源として用いることも可能である。
(3)自車両周辺の環境認識を行うセンサの種類や配置は、上述した実施例には限定されず、適宜変更することが可能である。例えば、実施例におけるセンサ類と併用あるいは代用して、ミリ波レーザ、レーザレーダ、単眼カメラ、超音波ソナー等の各種センサを用いることが可能である。
また、車両自体に搭載されているセンサ類などと併用あるいは代用して、路車間通信や車車間通信によって得た情報や、GPS等の測位手段及びナビゲーション装置等が有する地図データを用いて環境認識を行ってもよい。
20 トランスミッション制御ユニット 21 前後進切替アクチュエータ
22 レンジ検出センサ 30 挙動制御ユニット
31 ハイドロリックコントロールユニット(HCU)
32 車速センサ
40 電動パワーステアリング(EPS)制御ユニット
41 モータ 42 舵角センサ
50 自動運転制御ユニット 51 入出力装置
60 環境認識ユニット 70 カメラ制御ユニット
71 ステレオカメラ
80 レーザスキャナ制御ユニット
81 レーザスキャナ 90 後側方レーダ制御ユニット
91 後側方レーダ 100 ナビゲーション装置
101 ディスプレイ
110 路車間通信装置 120 車車間通信装置
200 画像生成ユニット 210 ディスプレイ
211 表示画像
LP 追越車線 L1 第1走行車線
L2 第2走行車線 V1 他車両
P 仮想視点
θ1 通常時見上げ角 θ2 後続車接近時見上げ角
Claims (5)
- 自車両周囲の環境を認識する環境認識手段と、
前記環境認識手段の認識結果に基づいて自車両周囲の環境を表示する画像を生成する画像生成手段と、
前記画像を表示する画像表示手段と
を備える表示装置であって、
前記画像は、自車両の上方かつ後方側に設定された仮想視点から見た状態を示す俯瞰図であって、
前記画像生成手段は、前記環境認識手段が自車両後方から接近する他車両を検出した場合に、自車両と前記仮想視点とを結ぶ直線が水平面に対してなす角度である仮想視点見上げ角を増加させること
を特徴とする表示装置。 - 前記画像生成手段は、前記仮想視点見上げ角を増加させる際に、自車両の前記画像内における位置を前方側へ変位させること
を特徴とする請求項1に記載の表示装置。 - 前記画像生成手段は、前記仮想視点見上げ角を除変させて増加させること
を特徴とする請求項1又は請求項2に記載の表示装置。 - 前記画像生成手段は、前記仮想視点見上げ角の単位時間あたり増加率を、前記他車両の接近速度増加に応じて大きくすること
を特徴とする請求項3に記載の表示装置。 - 前記画像生成手段は、前記他車両が自車両の走行車線と異なる車線を走行する場合に、前記仮想視点見上げ角の増加に応じて前記他車両が走行する車線が画像の中央に近づくよう前記画像の表示位置を車線幅方向に変位させること
を特徴とする請求項1から請求項4までのいずれか1項に記載の表示装置。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2016071098A JP6744744B2 (ja) | 2016-03-31 | 2016-03-31 | 表示装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2016071098A JP6744744B2 (ja) | 2016-03-31 | 2016-03-31 | 表示装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2017182585A true JP2017182585A (ja) | 2017-10-05 |
JP6744744B2 JP6744744B2 (ja) | 2020-08-19 |
Family
ID=60006204
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2016071098A Active JP6744744B2 (ja) | 2016-03-31 | 2016-03-31 | 表示装置 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP6744744B2 (ja) |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20190114915A1 (en) * | 2017-10-13 | 2019-04-18 | Waymo Llc | Lane change notification |
US20220176963A1 (en) * | 2019-03-29 | 2022-06-09 | Advics Co., Ltd. | Vehicle control device |
WO2024111324A1 (ja) * | 2022-11-23 | 2024-05-30 | 株式会社デンソー | 表示制御装置 |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR20100134154A (ko) * | 2009-06-15 | 2010-12-23 | 현대자동차일본기술연구소 | 차량 주위 영상 표시장치 및 방법 |
JP2012253428A (ja) * | 2011-05-31 | 2012-12-20 | Fujitsu Ten Ltd | 情報処理システム、サーバ装置、および、車載装置 |
US20140139676A1 (en) * | 2012-11-19 | 2014-05-22 | Magna Electronics Inc. | Vehicle vision system with enhanced display functions |
JP2015023484A (ja) * | 2013-07-22 | 2015-02-02 | 日産自動車株式会社 | 車両用表示装置 |
JP2017069852A (ja) * | 2015-10-01 | 2017-04-06 | 日産自動車株式会社 | 情報表示装置及び情報表示方法 |
-
2016
- 2016-03-31 JP JP2016071098A patent/JP6744744B2/ja active Active
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR20100134154A (ko) * | 2009-06-15 | 2010-12-23 | 현대자동차일본기술연구소 | 차량 주위 영상 표시장치 및 방법 |
JP2012253428A (ja) * | 2011-05-31 | 2012-12-20 | Fujitsu Ten Ltd | 情報処理システム、サーバ装置、および、車載装置 |
US20140139676A1 (en) * | 2012-11-19 | 2014-05-22 | Magna Electronics Inc. | Vehicle vision system with enhanced display functions |
JP2015023484A (ja) * | 2013-07-22 | 2015-02-02 | 日産自動車株式会社 | 車両用表示装置 |
JP2017069852A (ja) * | 2015-10-01 | 2017-04-06 | 日産自動車株式会社 | 情報表示装置及び情報表示方法 |
Cited By (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20190114915A1 (en) * | 2017-10-13 | 2019-04-18 | Waymo Llc | Lane change notification |
US10580299B2 (en) * | 2017-10-13 | 2020-03-03 | Waymo Llc | Lane change notification |
US11195415B2 (en) | 2017-10-13 | 2021-12-07 | Waymo Llc | Lane change notification |
US11837093B2 (en) | 2017-10-13 | 2023-12-05 | Waymo Llc | Lane change notification |
US20220176963A1 (en) * | 2019-03-29 | 2022-06-09 | Advics Co., Ltd. | Vehicle control device |
WO2024111324A1 (ja) * | 2022-11-23 | 2024-05-30 | 株式会社デンソー | 表示制御装置 |
Also Published As
Publication number | Publication date |
---|---|
JP6744744B2 (ja) | 2020-08-19 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6294905B2 (ja) | 表示装置 | |
JP6383376B2 (ja) | 周辺リスク表示装置 | |
JP6688655B2 (ja) | 車両状態監視装置 | |
CN107264399B (zh) | 车辆周围监视装置 | |
JP6773433B2 (ja) | 周辺リスク表示装置 | |
JP6542708B2 (ja) | 表示装置 | |
JP6305456B2 (ja) | 表示装置 | |
JP6688656B2 (ja) | 周辺リスク表示装置 | |
JP7100421B2 (ja) | 表示装置 | |
EP3608194B1 (en) | Vehicle control device | |
JP6757585B2 (ja) | 表示装置 | |
JP6744744B2 (ja) | 表示装置 | |
JP6757586B2 (ja) | 異常報知装置 | |
JP6889587B2 (ja) | 画像表示装置 | |
JP6667346B2 (ja) | 周辺リスク表示装置 | |
JP2018173717A (ja) | 画像表示装置 | |
JP6959893B2 (ja) | 車両制御システム | |
JP6633957B2 (ja) | 周辺リスク表示装置 | |
JP2017182566A (ja) | 周辺リスク表示装置 | |
JP6667347B2 (ja) | 表示装置 | |
JP7489415B2 (ja) | 運転支援装置、運転支援方法、およびプログラム | |
JP7505203B2 (ja) | 運転支援装置 | |
JP6894744B2 (ja) | 画像表示装置 | |
JP2023164171A (ja) | 運転支援装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20181225 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20191111 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20191129 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20200127 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20200707 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20200731 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6744744 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |