JP2015138441A - 運転支援装置 - Google Patents

運転支援装置 Download PDF

Info

Publication number
JP2015138441A
JP2015138441A JP2014010378A JP2014010378A JP2015138441A JP 2015138441 A JP2015138441 A JP 2015138441A JP 2014010378 A JP2014010378 A JP 2014010378A JP 2014010378 A JP2014010378 A JP 2014010378A JP 2015138441 A JP2015138441 A JP 2015138441A
Authority
JP
Japan
Prior art keywords
moving object
image
host vehicle
warning
driving assistance
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2014010378A
Other languages
English (en)
Other versions
JP6330341B2 (ja
Inventor
利明 中山
Toshiaki Nakayama
利明 中山
晶平 森川
Shohei Morikawa
晶平 森川
大貴 五藤
Hirotaka Goto
大貴 五藤
泰次 永冨
Yasutsugu Nagatomi
泰次 永冨
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Denso Corp
Original Assignee
Denso Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Denso Corp filed Critical Denso Corp
Priority to JP2014010378A priority Critical patent/JP6330341B2/ja
Publication of JP2015138441A publication Critical patent/JP2015138441A/ja
Application granted granted Critical
Publication of JP6330341B2 publication Critical patent/JP6330341B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Abstract

【課題】自車両と移動物体との衝突の危険性の有無を瞬時に判断できるようにする。
【解決手段】運転支援装置は、カメラによる撮影画像についての画像認識により、自車両前方に存在する歩行者等の移動物体を検出すると共に、該移動物体の将来の位置(0.25秒後,0.5秒後,0.75秒後の位置)を予測する(S110)。そして、HUDにより、ウインドシールドにおける各将来の位置に対応する表示位置に、該移動物体を表した警告画像を表示させる。
【選択図】図2

Description

本発明は、自車両周辺に存在する移動物体についての警告を行う運転支援装置に関する。
ドライバは、一般的に動きの小さい移動物体の存在に気づき難く、例えば、自車両の進路に向かって移動し始めた歩行者等の存在を見落としてしまうという場合があった。
これに対し、オプティカルフローと呼ばれる手法により、時系列画像に基づき将来の画像のパターンの変化を予測することが知られている(例えば、特許文献1)。このような手法を適用し、自車両周辺の時系列画像に基づき歩行者等の挙動を予測してドライバに報知することが考えられる。
特開2003−288603号公報
しかしながら、ドライバが歩行者等の挙動を知ったとしても、歩行者等の移動速度や移動方向等を直感的に把握できないと、自車両と歩行者等との衝突の危険性がどの程度であるかを瞬時に判断することは困難である。
本願発明は上記課題に鑑みてなされたものであり、自車両と移動物体との衝突の危険性の有無を瞬時に判断することができる運転支援装置を提供する。
上記課題に鑑みてなされた請求項1に係る運転支援装置(10)は、自車両周辺の移動物体を検出する検出手段(S100)と、検出手段による検出結果に基づき、予め定められた複数の異なる時間が経過した後の各時点における移動物体の将来の位置を予測する予測手段(S110)と、自車両に設けられた表示装置(20)に対し、移動物体についての複数の将来の位置に対応する各表示位置に、該移動物体を表した警告画像(301〜303,311〜313)を表示させる表示手段(S120)と、を備える。
このような構成によれば、移動物体の将来の位置に対応する表示位置に、該移動物体を表した警告画像が表示されるため、ドライバは、該移動物体との衝突の危険性の有無を容易に判断することができる。
また、複数の将来の位置に対応して複数の警告画像が表示されるため、移動物体の移動速度が低くても、移動物体の動きを大きく見せることができ、ドライバは、移動物体の存在に容易に気付くことができる。
また、予め定められた複数の異なる時間が経過した後における移動物体の各将来の位置に対応して、警告画像が表示されるため、ドライバは、これらの警告画像の間隔や警告画像が並ぶ方向から、移動物体の移動速度や移動方向を直感的に把握することができる。
したがって、ドライバは、自車両と移動物体との衝突の危険性の有無を瞬時に判断することができる。
なお、請求項2に記載されているように、警告画像とは、移動物体をカメラにより撮影して得られた画像、又は、移動物体を抽象的に表した画像であっても良い。
このような構成によれば、ドライバは、自車両周辺にどのような移動物体が存在するかを、容易且つ正確に把握することができる。
運転支援装置のブロック図である。 警告処理のフローチャートである。 自車両の進入エリアについての説明図である。 移動物体の警告画像についての説明図である。 移動物体の警告画像についての説明図である。
以下、本発明の実施形態について図面を用いて説明する。なお、本発明の実施の形態は、下記の実施形態に何ら限定されることはなく、本発明の技術的範囲に属する限り種々の形態を採りうる。
[構成の説明]
本実施形態の運転支援装置10は、HUD(ヘッドアップディスプレイ)20により、歩行者,自転車,自動車等の移動物体との衝突を回避するための警告表示を行うよう構成されている。運転支援装置10は、カメラ11,記憶部12,車内LAN通信部13,制御部14,通信部15,操作部16,スピーカ17等を有する(図1参照)。
カメラ11は、CCDカメラや赤外線カメラ等として構成されており、自車両前方を撮影する。
また、記憶部12は、記憶保持動作が不要なフラッシュメモリ等として構成されており、画像認識等に必要な各種情報が記憶されている。
また、車内LAN通信部13は、車内LAN(図示無し)を介して他の装置と通信を行う部位である。
また、制御部14は、CPU,ROM,RAM,I/O及びこれらを接続するバスライン等からなる周知のマイクロコンピュータを中心に構成され、ROMに記憶されたプログラムや、RAMにロードされたプログラム等に従い運転支援装置10を統括制御する。
また、通信部15は、HUD20と通信を行う部位である。
また、操作部16は、キースイッチやタッチスイッチ等として構成され、各種操作を受け付ける部位である。
また、スピーカ17は、各種音声を出力する部位である。なお、該スピーカ17は、強い指向性を有する音声を出力可能なパラメトリックスピーカとして構成されていても良い。
一方、運転支援装置10に接続されたHUD20は、ドライバが運転中に視認するための表示装置(ドライバ専用の表示装置)であり、ウインドシールド(フロントガラス)を通して視認される車両外部の景色(ドライバの前方視野)に重畳して画像を表示する。HUD20により表示される画像は、ウインドシールドよりも更に前方の虚像面で視認される。
なお、ウインドシールドの手前に透明のスクリーン(いわゆるコンバイナ)を配置し、コンバイナ及びウインドシールドを通して視認される車両外部の景色に重畳して画像が表示されるようにしても良い。
[動作の説明]
次に、運転支援装置10の動作について説明する。
運転支援装置10は、自車両前方に存在する歩行者,自転車,自動車等の移動物体を検出すると共に、検出結果に基づき、移動物体の複数の将来の位置を予測する。そして、HUD20により、これらの将来の位置に対応するウインドシールド上の各表示位置に、移動物体を表した警告画像を表示する。
なお、この表示位置とは、例えば、該将来の位置に移動物体が存在する場合に、ドライバがウインドシールドを通して該移動物体を見た際に、該移動物体と重なって視認されるウインドシールドの領域であっても良い。
以下では、上述した警告画像を表示する警告処理について、図2に記載のフローチャートを用いて説明する。なお、本処理は、運転支援装置10にて周期的に実行される。
S100では、運転支援装置10の制御部14は、カメラ11により撮影された自車両前方の画像の画像認識を行う。具体的には、オプティカルフローアルゴリズムにより自車両前方に存在する移動物体を検出すると共に、移動物体の存在位置を特定し、S105に処理を移行する。
S105では、制御部14は、移動物体が検出されたか否かを判定し、肯定判定が得られた場合には(S105:Yes)、S110に処理を移行すると共に、否定判定が得られた場合には(S105:No)、本処理を終了する。
S110では、制御部14は、S100での画像認識の結果と、過去の画像認識の結果(例えば、0.5秒前,1.0秒前における画像認識の結果)に基づき、一般的な人間の反応時間の経過後(一例として0.75秒後)における該移動物体の将来の位置を予測する。さらに、同様にして、一例として0.25秒後,0.5秒後該移動物体の将来の位置を予測し、S115に処理を移行する。
S115では、制御部14は、車内LAN通信部13を介して他のECUから取得した自車両の車速や舵角等に基づき、予め定められた制限時間内(例えば5秒以内)に自車両が移動可能なエリア(進入エリア)を特定する。
図3は、一例として、車速が20km/hで舵角が0°(自車両が直進中)である場合の進入エリア210と、車速が40km/hで舵角が0°である場合の進入エリア220を示している。
進入エリア210,220は、自車両200を起点として前方に広がる、左右対称の略扇型の形状を有しており、車速が高速になるにつれ、その中心角211,221は小さくなる。
また、制御部14は、自車両200と移動物体250が衝突する危険性について判定する。具体的には、移動物体250の各将来の位置に基づき、該移動物体250の進路251及び移動速度を推定し、制限時間内に該移動物体250が進入エリアに進入するか否かを予測する。
そして、移動物体250が進入エリアに進入すると予測された場合(自車両200と移動物体250が衝突する危険性が高い場合)には(S115:Yes)、S120に処理を移行し、そうでない場合には(S115:No)、本処理を終了する。
S120では、制御部14は、通信部15を介してHUD20と通信を行い、HUD20に対し、ウインドシールドに移動物体の警告画像を表示させ、本処理を終了する。
具体的には、制御部14は、S100での画像認識に用いられた撮影画像から移動物体の画像を抽出し、警告画像とする。そして、HUD20に対し、ウインドシールドにおける0.25秒後,0.5秒後,0.75秒後の移動物体の将来の位置に対応する各表示位置に警告画像を表示させる。
また、制御部14は、警告画像の表示と共に、スピーカ17により高周波数の警告音を出力しても良い。このとき、移動物体の移動速度に応じて警告音の長さや周波数等を調整し、警告音により移動速度を把握可能としても良い。また、警告音に指向性を持たせ、ドライバのみに聞こえるように警告音を出力しても良い。
図4は、ウインドシールドを通してドライバに視認される移動物体300(一例として歩行者)と、HUD20によりウインドシールドに表示された、該移動物体300についての警告画像301〜303の具体例を示している。
図5も、これと同様に、ウインドシールドを通してドライバに視認される移動物体310と、HUD20によりウインドシールドに表示された、該移動物体310についての警告画像311〜313の具体例を示している。
図4の警告画像301〜303は、移動物体300の移動速度が比較的速い場合に表示されるものであり、図5の警告画像311〜313は、移動物体310の移動速度が比較的遅い場合に表示されるものとなっている。
それぞれの警告画像301〜303,警告画像311〜313においては、各表示位置に表示される各々の警告画像は異なった表示態様となっている。図4,5では、一例として、各表示位置の警告画像は異なった透明度となっており、現在からの経過時間が長い将来の位置に対応する警告画像程、透明度が高くなっている。
なお、本実施形態では、撮影画像から抽出された移動物体の画像を警告画像として用いているが、これに限らず、例えば、撮影画像から抽出された移動物体の画像の輪郭のみを表した画像や、該輪郭の内側を所定の色で塗りつぶした画像等を警告画像として用いても良い。
また、移動物体を表した画像を予め準備しておき、該画像を警告画像として用いても良い。
このような場合であれば、例えば、歩行者,自転車,自動車等といった、移動物体として検出されることが想定される物体の種別を予め定めておき、各種別の物体を表した警告画像を表示するための警告画像データを、記憶部12に記憶しておくことが考えられる。このような警告画像の具体例としては、例えば、歩行者等を抽象的に表した画像や、これらのシンボルを表した画像や、これらを具体的に表した画像等が考えられる。
そして、画像認識の際、移動物体の種別を判別すると共に、移動物体の種別に対応する警告画像データを特定し、該警告画像データに基づき、各表示位置に警告画像を表示することが考えられる。
また、本実施形態では、各表示位置に表示される警告画像の透明度を変えることで、これらの警告画像の表示態様を異ならせている。しかし、例えば、各表示位置に表示される警告画像の色や、色の濃淡を変えることで、これらの警告画像の表示態様を異ならせても良い。
また、移動物体の移動速度に応じた表示態様で、該移動物体の警告画像を表示しても良い。具体的には、例えば、移動速度が高い場合には、警告画像を赤色とし、そうでない場合には、移動物体の本来の色や赤色以外の色で警告画像を表示することが考えられる。
[効果]
本実施形態の運転支援装置10によれば、移動物体の将来の位置に対応する表示位置に、該移動物体を表した警告画像301〜303,311〜313が表示される。このため、ドライバは、該移動物体との衝突の危険性の有無を容易に判断することができる。
また、複数の将来の位置に対応して複数の警告画像が表示されるため、移動物体の移動速度が低くても、移動物体の動きを大きく見せることができ、ドライバは、移動物体の存在に容易に気付くことができる。
また、0.25秒後,0.5秒後,0.75秒後の移動物体の将来の位置に対応して警告画像が表示されるため、ドライバは、これらの警告画像の間隔や警告画像が並ぶ方向から、移動物体の移動速度や移動方向を直感的に把握することができる。
したがって、ドライバは、自車両と移動物体との衝突の危険性の有無を瞬時に判断することができる。
また、一般的な人間の反応時間は0.75秒程度と考えられている。このため、0.75秒後における歩行者等の移動物体の将来の位置は、比較的高い精度で予測できると考えられ、さらに、0.75秒後における移動物体の将来の位置に対応して警告画像を表示することで、移動物体との衝突をより確実に回避することが可能となる。
また、0.25秒後,0.5秒後,0.75秒後における移動物体の各将来の位置に対応して表示される警告画像は、表示態様が異なっているため、ドライバは、移動物体の各将来の位置を容易に把握することができる。
また、本実施形態では、警告画像として、移動物体を撮影した画像が用いられる。このため、ドライバは、自車両前方にどのような移動物体が存在するかを、容易且つ正確に把握することができる。
また、本実施形態では、自車両が移動可能な進入エリアに進入すると予測される移動物体(換言すれば、自車両と衝突する危険性が高い移動物体)についてのみ、警告画像の表示が行われる。
このため、必要以上に警告画像が表示されてしまうことが無く、ドライバに煩わしさを与えることが無い。
[他の実施形態]
(1)本実施形態の警告処理では、自車両が検出された移動物体と衝突する危険性が高い場合に、該移動物体の警告画像が表示されるが、移動物体との衝突の危険性に関わらず、自車両前方に存在する移動物体についての警告画像の表示を行っても良い。
また、例えば、警告処理のS115において、移動物体が進入エリアに存在する場合には、自車両が該移動物体に衝突する危険性が高いとみなし、該移動物体についての警告画像の表示を行っても良い。
このような場合であっても、同様の効果を得ることができる。
(2)また、本実施形態の運転支援装置10は、HUD20によりウインドシールドに移動物体の警告画像を表示する構成となっている。
しかしながら、これに限らず、同様にして移動物体の複数の将来の位置を予測し、例えば、移動物体と共に自車両前方の景色や自車両周辺の鳥瞰図が表示される液晶ディスプレイ等の表示画面上で、同様にして、各将来の位置に対応する表示位置に移動物体の警告画像を表示しても良い。
このような場合であっても、同様の効果を得ることができる。
(3)また、本実施形態の運転支援装置10は、警告処理において、カメラ11による自車両前方の撮影画像についての画像認識の結果に基づき、移動物体の将来の位置の予測すると共に、進路や移動速度を推定している。
しかしながら、カメラ11に替えて例えばレーダを用い、自車両前方に存在する移動物体を検出すると共に、該移動物体の存在位置を特定しても良い。そして、存在位置の特定結果に基づき移動物体の将来の位置を複数予測し、同様にして、各将来の位置に対応する表示位置に警告画像を表示させても良い。このような場合であっても、同様の効果を得ることができる。
[特許請求の範囲との対応]
上記実施形態の説明で用いた用語と、特許請求の範囲の記載に用いた用語との対応を示す。
警告処理のS100が検出手段の一例に、S110が予測手段の一例に、S115が判定手段の一例に、S120が表示手段の一例に相当する。
10…運転支援装置、11…カメラ、12…記憶部、13…車内LAN通信部、14…制御部、15…通信部、16…操作部、17…スピーカ、20…HUD。

Claims (6)

  1. 自車両周辺の移動物体を検出する検出手段(S100)と、
    前記検出手段による検出結果に基づき、予め定められた複数の異なる時間が経過した後の各時点における前記移動物体の将来の位置を予測する予測手段(S110)と、
    自車両に設けられた表示装置(20)に対し、前記移動物体についての複数の前記将来の位置に対応する各表示位置に、該移動物体を表した警告画像(301〜303,311〜313)を表示させる表示手段(S120)と、
    を備えることを特徴とする運転支援装置(10)。
  2. 請求項1に記載の運転支援装置において、
    前記警告画像とは、前記移動物体をカメラにより撮影して得られた画像、又は、前記移動物体を抽象的に表した画像であること、
    を特徴とする運転支援装置。
  3. 請求項1又は請求項2に記載の運転支援装置において、
    前記移動物体が自車両と衝突する危険性があるか否かを判定する判定手段(S115)をさらに備え、
    前記表示手段は、前記判定手段により自車両と衝突する危険性があると判定された前記移動物体についての前記警告画像を表示させること、
    を特徴とする運転支援装置。
  4. 請求項3に記載の運転支援装置において、
    前記判定手段は、予め定められた時間内に自車両が移動可能な進入エリア(210,220)に前記移動物体が進入すると予測される場合には、該移動物体が自車両と衝突する危険性があると判定すること、
    を特徴とする運転支援装置。
  5. 請求項3に記載の運転支援装置において、
    前記判定手段は、予め定められた時間内に自車両が移動可能な進入エリア(210,220)に前記移動物体が存在する場合には、該移動物体が自車両と衝突する危険性があると判定すること、
    を特徴とする運転支援装置。
  6. 請求項1から請求項5のうちのいずれか1項に記載の運転支援装置において、
    前記表示手段は、それぞれの表示位置に表示される前記警告画像を、異なる態様で表示させること、
    を特徴とする運転支援装置。
JP2014010378A 2014-01-23 2014-01-23 運転支援装置 Active JP6330341B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2014010378A JP6330341B2 (ja) 2014-01-23 2014-01-23 運転支援装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2014010378A JP6330341B2 (ja) 2014-01-23 2014-01-23 運転支援装置

Publications (2)

Publication Number Publication Date
JP2015138441A true JP2015138441A (ja) 2015-07-30
JP6330341B2 JP6330341B2 (ja) 2018-05-30

Family

ID=53769381

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2014010378A Active JP6330341B2 (ja) 2014-01-23 2014-01-23 運転支援装置

Country Status (1)

Country Link
JP (1) JP6330341B2 (ja)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2016024574A (ja) * 2014-07-18 2016-02-08 日産自動車株式会社 車両用表示装置
JP2017149335A (ja) * 2016-02-25 2017-08-31 京セラ株式会社 運転支援情報表示装置
WO2018088224A1 (ja) * 2016-11-09 2018-05-17 ソニー株式会社 情報処理装置、情報処理方法、プログラム、及び、移動体
CN109844763A (zh) * 2016-10-20 2019-06-04 株式会社电装 图像识别装置
CN110816523A (zh) * 2018-08-10 2020-02-21 现代自动车株式会社 车辆及其控制方法
JPWO2019159344A1 (ja) * 2018-02-19 2020-07-30 三菱電機株式会社 運転支援装置および映像表示方法
WO2021075595A1 (ko) * 2019-10-16 2021-04-22 엘지전자 주식회사 무선 통신 시스템에서 취약한 도로 사용자를 위한 메시지를 사용자 단말이 송수신하는 방법

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004268829A (ja) * 2003-03-11 2004-09-30 Denso Corp 車両用歩行者衝突危険判定装置
JP2007276508A (ja) * 2006-04-03 2007-10-25 Fujitsu Ten Ltd 車両の衝突回避制御装置
JP2009231938A (ja) * 2008-03-19 2009-10-08 Mazda Motor Corp 車両用周囲監視装置
JP2012133699A (ja) * 2010-12-24 2012-07-12 Software Factory:Kk 車両用運転支援装置

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004268829A (ja) * 2003-03-11 2004-09-30 Denso Corp 車両用歩行者衝突危険判定装置
JP2007276508A (ja) * 2006-04-03 2007-10-25 Fujitsu Ten Ltd 車両の衝突回避制御装置
JP2009231938A (ja) * 2008-03-19 2009-10-08 Mazda Motor Corp 車両用周囲監視装置
JP2012133699A (ja) * 2010-12-24 2012-07-12 Software Factory:Kk 車両用運転支援装置

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2016024574A (ja) * 2014-07-18 2016-02-08 日産自動車株式会社 車両用表示装置
JP2017149335A (ja) * 2016-02-25 2017-08-31 京セラ株式会社 運転支援情報表示装置
CN109844763A (zh) * 2016-10-20 2019-06-04 株式会社电装 图像识别装置
WO2018088224A1 (ja) * 2016-11-09 2018-05-17 ソニー株式会社 情報処理装置、情報処理方法、プログラム、及び、移動体
CN109891475A (zh) * 2016-11-09 2019-06-14 索尼公司 信息处理设备、信息处理方法、程序和移动体
JPWO2019159344A1 (ja) * 2018-02-19 2020-07-30 三菱電機株式会社 運転支援装置および映像表示方法
JP7050827B2 (ja) 2018-02-19 2022-04-08 三菱電機株式会社 運転支援装置および映像表示方法
CN110816523A (zh) * 2018-08-10 2020-02-21 现代自动车株式会社 车辆及其控制方法
WO2021075595A1 (ko) * 2019-10-16 2021-04-22 엘지전자 주식회사 무선 통신 시스템에서 취약한 도로 사용자를 위한 메시지를 사용자 단말이 송수신하는 방법

Also Published As

Publication number Publication date
JP6330341B2 (ja) 2018-05-30

Similar Documents

Publication Publication Date Title
JP6330341B2 (ja) 運転支援装置
JP6222785B2 (ja) 操舵支援装置
CN110612562B (zh) 车载用监视摄像头装置
US10532695B2 (en) Vehicle monitoring device, vehicle monitoring method and vehicle monitoring program
US10618467B2 (en) Stereo image generating method using mono cameras in vehicle and providing method for omnidirectional image including distance information in vehicle
KR102513745B1 (ko) 운전 지원 장치
JP6375816B2 (ja) 車両用周辺情報表示システム及び表示装置
US10005392B2 (en) Object alarm device and object alarm method
JP2018133072A (ja) 情報処理装置およびプログラム
JP2007034988A (ja) 車両の障害物回避報知装置
JP2010033106A (ja) 運転者支援装置、運転者支援方法および運転者支援処理プログラム
JP2008293122A (ja) 障害物監視装置
US20160350605A1 (en) Driving assistance apparatus and driving assistance method
US20170253186A1 (en) Electronic mirror device
JP2013054702A (ja) 車両接近情報通知装置、車両接近情報通知方法及びプログラム
US11685311B2 (en) System and method for warning a driver of a vehicle of an object in a proximity of the vehicle
JP2017187846A (ja) 車両用装置、車両用プログラム
JP2019188855A (ja) 車両用視認装置
JP2010026619A (ja) 車両運転支援装置
JP2011191859A (ja) 車両の周辺監視装置
US9881233B2 (en) Image recognition apparatus
KR101636301B1 (ko) 차량 충돌 방지 시스템 및 방법
JP6370249B2 (ja) 車載警告装置
EP3462426B1 (en) Driving assistance apparatus and driving assistance method
JP5703192B2 (ja) 車両周辺監視装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20160325

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20170117

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20170118

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20170303

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20170822

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20171006

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20180327

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20180409

R151 Written notification of patent or utility model registration

Ref document number: 6330341

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250