JP2016118859A - 情報表示装置、制御方法、プログラム、及び記憶媒体 - Google Patents

情報表示装置、制御方法、プログラム、及び記憶媒体 Download PDF

Info

Publication number
JP2016118859A
JP2016118859A JP2014257119A JP2014257119A JP2016118859A JP 2016118859 A JP2016118859 A JP 2016118859A JP 2014257119 A JP2014257119 A JP 2014257119A JP 2014257119 A JP2014257119 A JP 2014257119A JP 2016118859 A JP2016118859 A JP 2016118859A
Authority
JP
Japan
Prior art keywords
vehicle
appropriate
display
stopped
inter
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2014257119A
Other languages
English (en)
Other versions
JP2016118859A5 (ja
Inventor
文博 千葉
Fumihiro Chiba
文博 千葉
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Pioneer Corp
Pioneer System Technologies Corp
Original Assignee
Pioneer Electronic Corp
Pioneer System Technologies Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Pioneer Electronic Corp, Pioneer System Technologies Corp filed Critical Pioneer Electronic Corp
Priority to JP2014257119A priority Critical patent/JP2016118859A/ja
Publication of JP2016118859A publication Critical patent/JP2016118859A/ja
Publication of JP2016118859A5 publication Critical patent/JP2016118859A5/ja
Pending legal-status Critical Current

Links

Images

Landscapes

  • Traffic Control Systems (AREA)
  • Control Of Driving Devices And Active Controlling Of Vehicle (AREA)
  • Instrument Panels (AREA)

Abstract

【課題】停止する際の前方車両との適正車間距離を好適に表示することが可能な情報表示装置を提供する。
【解決手段】ヘッドアップディスプレイ2は、自車両Vsの前方風景に見かけ上で重なるように画像をフロントウィンドウ25に表示させる。ここで、ヘッドアップディスプレイ2の制御部43は、自車両Vsの直前で停車している前方車両Vfの位置を、車車間通信により受信した前方車両情報Sfにより認識する。そして、制御部43は、前方車両Vfに対する適正停止車間距離Dtagを算出し、前方車両Vfの位置から適正停止車間距離Dtagだけ離れた適正停車位置を指示する停止指示画像Ispを、前方車両Vfと自車両Vsの間の風景に重なるように表示させる。このとき、制御部43は、前方車両Vfが自車両Vsよりも相対位置が高い坂に存在する場合には、平坦な道路上に存在する場合よりも長い適正停止車間距離Dtagを算出する。
【選択図】図5

Description

本発明は、停車位置を表示する技術に関する。
従来から、適正な車間距離を運転者に認識させる表示技術が知られている。例えば、特許文献1には、運転者から見た先行車両の位置に位置カーソルを表示し、さらに運転者から見た自車両前方の適正車間距離範囲に相当する位置に基準カーソルを表示し、先行車両との車間距離が適正車間距離範囲内に入るとき、これら2つのカーソルが重なるように表示するヘッドアップディスプレイが開示されている。
特開2006−163501号公報
特許文献1では、車両が走行中の場合に安全な車間距離を表示する点を開示しており、停車時の適正車間距離を表示する点については、何ら開示がない。特に、上り坂で停車する際には、前方車両と適切な車間距離を空けて停車することが安全上好ましい場合がある。そこで、本発明は、停止する際の前方車両との適正車間距離を好適に表示することが可能な情報表示装置を提供することを主な目的とする。
請求項に記載の発明は、自車両の前方の風景を撮影した風景画像に重畳して、または前記風景に見かけ上で重なるように画像を表示手段に表示させる情報表示装置であって、前記自車両の直前で停車している停車中車両の位置を検出する検出手段と、前記停車中車両に対する適正車間距離を算出し、前記停車中車両の位置から前記適正車間距離だけ離れた適正停車位置を指示する指示画像を、前記停車中車両と前記自車両の間の風景に重なるように、前記表示手段に表示させる制御手段と、を備え、前記制御手段は、前記停車中車両が前記自車両よりも相対位置が高い坂に存在する場合には、平坦な道路上に存在する場合よりも長い適正車間距離を算出することを特徴とする。
また、請求項に記載の発明は、自車両の前方の風景を撮影した風景画像に重畳して、または前記風景に見かけ上で重なるように画像を表示手段に表示させる情報表示装置が実行する制御方法であって、前記自車両の直前で停車している停車中車両の位置を検出する検出工程と、前記停車中車両に対する適正車間距離を算出し、前記停車中車両の位置から前記適正車間距離だけ離れた適正停車位置を指示する指示画像を、前記停車中車両と前記自車両の間の風景に重なるように、前記表示手段に表示させる制御工程と、を有し、前記制御工程は、前記停車中車両が前記自車両よりも相対位置が高い坂に存在する場合には、平坦な道路上に存在する場合よりも長い適正車間距離を算出することを特徴とする。
また、請求項に記載の発明は、自車両の前方の風景を撮影した風景画像に重畳して、または前記風景に見かけ上で重なるように画像を表示手段に表示させるコンピュータが実行するプログラムであって、前記自車両の直前で停車している停車中車両の位置を検出する検出手段と、前記停車中車両に対する適正車間距離を算出し、前記停車中車両の位置から前記適正車間距離だけ離れた適正停車位置を指示する指示画像を、前記停車中車両と前記自車両の間の風景に重なるように、前記表示手段に表示させる制御手段として前記コンピュータを機能させ、前記制御手段は、前記停車中車両が前記自車両よりも相対位置が高い坂に存在する場合には、平坦な道路上に存在する場合よりも長い適正車間距離を算出することを特徴とする。
実施例に係る表示システムの構成例である。 ヘッドアップディスプレイの概略構成を示す。 ヘッドアップディスプレイの機能ブロック図である。 停止指示画像の表示例を示す。 停止指示画像の表示処理の手順を示すフローチャートである。 変形例に係るヘッドアップディスプレイの機能ブロック図である。 変形例に係るナビゲーション装置の概略構成を示す。 変形例に係るヘッドアップディスプレイの機能ブロック図である。
本発明の1つの好適な実施形態では、自車両の前方の風景を撮影した風景画像に重畳して、または前記風景に見かけ上で重なるように画像を表示手段に表示させる情報表示装置であって、前記自車両の直前で停車している停車中車両の位置を検出する検出手段と、前記停車中車両に対する適正車間距離を算出し、前記停車中車両の位置から前記適正車間距離だけ離れた適正停車位置を指示する指示画像を、前記停車中車両と前記自車両の間の風景に重なるように、前記表示手段に表示させる制御手段と、を備え、前記制御手段は、前記停車中車両が前記自車両よりも相対位置が高い坂に存在する場合には、平坦な道路上に存在する場合よりも長い適正車間距離を算出する。
上記情報表示装置は、自車両の前方の風景を撮影した風景画像に重畳して、または風景に見かけ上で重なるように画像を表示手段に表示させる。ここで、「自車両」とは、表示手段の観察者が乗車している車両を指す。情報表示装置は、検出手段と、制御手段とを備える。検出手段は、自車両の直前で停車している停車中車両の位置を検出する。制御手段は、停車中車両に対する適正車間距離を算出し、停車中車両の位置から適正車間距離だけ離れた適正停車位置を指示する指示画像を、停車中車両と自車両の間の風景に重なるように、表示手段に表示させる。このとき、制御手段は、停車中車両が自車両よりも相対位置が高い坂に存在する場合には、平坦な道路上に存在する場合よりも長い適正車間距離を算出する。このようにすることで、情報表示装置は、前方車両が発進時に一時的に後退する可能性がある坂であっても、確実に安全な停車位置を適正停車位置に定め、運転者に視認させることができる。
上記情報表示装置の一態様では、前記制御手段は、前記停車中車両が前記自車両よりも相対位置が高い坂に存在する場合には、当該坂の勾配に基づき前記適正車間距離を決定する。一般に、坂の勾配が大きいほど、前方車両が発進時に後退する距離が長くなる可能性がある。よって、情報表示装置は、この態様により、確実に安全な停車位置を適正停車位置に定め、運転者に視認させることができる。
上記情報表示装置の他の一態様では、前記制御手段は、前記自車両に対する前記停車中車両の相対位置に基づいて、前記坂の勾配を取得する。この態様により、制御手段は、好適に坂の勾配を取得することができる。
上記情報表示装置の他の一態様では、情報表示装置は、前記自車両の位置情報を取得する位置情報取得手段をさらに備え、前記制御手段は、道路ごとに位置情報及び勾配が対応付けられた地図データを参照することで、前記位置情報取得手段が取得した位置情報から前記坂の勾配を取得する。この態様によっても、制御手段は、好適に坂の勾配を取得することができる。
上記情報表示装置の他の一態様では、前記検出手段は、前記停車中車両から当該停車中車両の位置情報を受信することで、前記停車中車両の位置を検出する。この態様により、情報表示装置は、好適に停車中車両の位置を認識することができる。
上記情報表示装置の他の一態様では、前記制御手段は、前記停車中車両から当該停車中車両の変速機の種類の情報を受信した場合、前記変速機の種類に基づき前記適正車間距離を決定する。この態様により、情報表示装置は、安全であると認められる適正車間距離をより正確に算出することができる。
上記情報表示装置の他の一態様では、前記制御手段は、前記停車中車両から当該停車中車両の運転者の技能の情報を受信した場合、前記運転者の技能に基づき前記適正車間距離を決定する。この態様により、情報表示装置は、停車中車両の運転者の運転技能を勘案して適正車間距離をより正確に算出することができる。
上記情報表示装置の他の一態様では、前記制御手段は、前記自車両の前方を撮影する撮影手段が生成した画像を解析することで、前記停車中車両に初心者マーク又は高齢運転者マークが付されていることを検出した場合、前記停車中車両に初心者マーク又は高齢運転者マークが付されていることを検出しない場合より長い前記適正車間距離を算出する。この態様によっても、情報表示装置は、停車中車両の運転者の運転技能を勘案して適正車間距離をより正確に算出することができる。
本発明の他の好適な実施形態では、自車両の前方の風景を撮影した風景画像に重畳して、または前記風景に見かけ上で重なるように画像を表示手段に表示させる情報表示装置が実行する制御方法であって、前記自車両の直前で停車している停車中車両の位置を検出する検出工程と、前記停車中車両に対する適正車間距離を算出し、前記停車中車両の位置から前記適正車間距離だけ離れた適正停車位置を指示する指示画像を、前記停車中車両と前記自車両の間の風景に重なるように、前記表示手段に表示させる制御工程と、を有し、前記制御工程は、前記停車中車両が前記自車両よりも相対位置が高い坂に存在する場合には、平坦な道路上に存在する場合よりも長い適正車間距離を算出する。情報表示装置は、この制御方法を実行することで、前方車両が発進時に一時的に後退する可能性がある坂であっても、確実に安全な停車位置を適正停車位置に定め、運転者に視認させることができる。
本発明の他の好適な実施形態では、自車両の前方の風景を撮影した風景画像に重畳して、または前記風景に見かけ上で重なるように画像を表示手段に表示させるコンピュータが実行するプログラムであって、前記自車両の直前で停車している停車中車両の位置を検出する検出手段と、前記停車中車両に対する適正車間距離を算出し、前記停車中車両の位置から前記適正車間距離だけ離れた適正停車位置を指示する指示画像を、前記停車中車両と前記自車両の間の風景に重なるように、前記表示手段に表示させる制御手段として前記コンピュータを機能させ、前記制御手段は、前記停車中車両が前記自車両よりも相対位置が高い坂に存在する場合には、平坦な道路上に存在する場合よりも長い適正車間距離を算出する。コンピュータは、このプログラムを実行することで、前方車両が発進時に一時的に後退する可能性がある坂であっても、確実に安全な停車位置を適正停車位置に定め、運転者に視認させることができる。好適には、上記プログラムは、記憶媒体に記憶される。
以下、図面を参照して本発明の好適な実施例について説明する。
[概略構成]
(1)表示システムの構成
図1は、実施例に係る表示システムの構成例である。本実施例に係る表示システムは、自車両Vsに搭載されるヘッドアップディスプレイ(図ではHUDと表記する)2と、車車間通信が可能な前方車両Vfとを有する。
ヘッドアップディスプレイ2は、運転者の運転を補助する情報を虚像として表示させる情報表示装置である。本実施例では、ヘッドアップディスプレイ2は、前方車両Vfが停車中である場合に、自車両Vsが停車する際の前方車両Vfとの適正車間距離(「適正停止車間距離Dtag」とも呼ぶ。)を算出し、適正停止車間距離Dtagに基づき、自車両Vsが停車すべき位置を示した画像(「停止指示画像Isp」とも呼ぶ。)を表示する。停止指示画像Ispは、本発明における「指示画像」の一例である。
前方車両Vfは、他車両(当該車両に搭載された車載機も含む)と車車間通信が可能な車両である。前方車両Vfは、例えば、前方車両Vfから所定距離以内に後方車両が存在する場合に、当該後方車両と通信を確立し、前方車両Vfに関する情報(「前方車両情報Sf」とも呼ぶ。)を送信する。本実施例では、前方車両Vfは、自車両Vsのヘッドアップディスプレイ2と通信を確立し、前方車両情報Sfをヘッドアップディスプレイ2に送信する。
本実施例では、前方車両Vfは、前方車両情報Sfとして、GPSなどにより得られた前方車両Vfの緯度、経度、及び高さを示す位置情報、前方車両Vfの速度情報、及び運転者の技能に関する情報(「運転技能情報」とも呼ぶ。)を送信する。ここで、運転技能情報は、例えば、前方車両Vfの運転者が運転初心者である場合や高齢者である場合にその旨を示した情報であり、例えばユーザ入力により予め前方車両Vfに設定された情報である。なお、前方車両Vfが実行すべき処理は、前方車両Vfに搭載された車載機が実行するものであってもよい。前方車両Vfは、本発明における「停車中車両」の一例である。
なお、ヘッドアップディスプレイ2は、自車両Vsに搭載された図示しないナビゲーション装置又は自車両Vsの制御部(ECU:Electronic Control Unit)と通信を行うことで、自車両Vsに関する情報を適宜取得してもよい。
(2)ヘッドアップディスプレイの構成
図2は、自車両Vs内に搭載されたヘッドアップディスプレイ2の概略構成を示す。図2に示すように、本実施例に係るヘッドアップディスプレイ2は、主に、光源ユニット4と、車室内撮影カメラ6と、凹面鏡8と、を備え、フロントウィンドウ25と、天井部27と、ボンネット28と、ダッシュボード29とを備える自車両Vsに取り付けられる。
光源ユニット4は、ダッシュボード29内に設けられ、現在地を含む地図情報や経路案内情報、走行速度、その他運転を補助する情報を示す表示像を構成する光(単に「表示光」とも呼ぶ。)を、ダッシュボード29内に設けられた凹面鏡8に向けて出射する。この場合、凹面鏡8で反射した表示光は、ダッシュボード29に設けられた開口部89を介してフロントウィンドウ25へ到達し、さらにフロントウィンドウ25で反射することで運転者の目の位置(「アイポイント」とも呼ぶ。)に到達する。このように、光源ユニット4は、表示光を運転者の目の位置へ到達させて、運転者に虚像「Iv」を視認させる。光源ユニット4の構成については、「(3)光源ユニットの構成」のセクションで詳しく説明する。
車室内撮影カメラ6は、車室内を撮影するカメラであり、虚像Ivの観察者である運転者の顔が撮影範囲内となるように設置される。車室内撮影カメラ6は、撮影した画像(「車内撮影画像Ia」とも呼ぶ。)を、光源ユニット4へ送信する。なお、車室内撮影カメラ6の設置位置は、天上部27に限らず、任意の位置であってもよい。また、車室内撮影カメラ6は、ステレオカメラであってもよい。
凹面鏡8は、光源ユニット4から出射された表示光を、ダッシュボード29に設けられた開口部89に向けて反射し、フロントウィンドウ25へ到達させる。この場合、凹面鏡8は、表示光が示す画像を拡大して反射する。
(3)光源ユニットの構成
図3は、ヘッドアップディスプレイ2の機能的な構成を表すブロック図である。図3に示すように、光源ユニット4は、投射部40と、車車間通信部41と、測位部42と、制御部43とを有する。
投射部40は、制御部43の制御に基づき、停止指示画像Ispの表示光を、フロントウィンドウ25に向けて射出する。投射部40は、画像が結像されるスクリーンを備えた投射装置であってもよく、液晶ディスプレイであってもよい。投射部40及びフロントウィンドウ25は、本発明における「表示手段」の一例である。
車車間通信部41は、他車両と車車間通信によるデータ通信を行う。本実施例では、車車間通信部41は、前方車両Vfと通信を確立することで、前方車両情報Sfを受信する。測位部42は、例えば、GPS受信機や加速度センサなどであり、自車両Vsの位置を示す現在位置情報や走行速度を示す速度情報などを生成する。現在位置情報は、緯度及び経度に加え、高さの情報も含まれる。なお、光源ユニット4は、測位部42を有する代わりに、自車両Vsに搭載される図示しないナビゲーション装置から現在位置情報等を取得してもよい。
制御部43は、CPU(Central Processing Unit)、ROM(Read Only Memory)及びRAM(Random Access Memory)などを含んでおり、光源ユニット4全体の制御を行う。本実施例に係る制御部43は、適正車間距離算出部43Aと、表示制御部43Bとを有する。制御部43は、本発明における「検出手段」、「制御手段」、及びプログラムを実行するコンピュータの一例である。
適正車間距離算出部43Aは、前方車両Vfが停車し、かつ、自車両Vsが減速したことを検出した場合に、適正停止車間距離Dtagを算出する。例えば、適正車間距離算出部43Aは、前方車両情報Sfに含まれる前方車両Vfの速度情報に基づき、前方車両Vfの停車の有無を認識する。また、適正車間距離算出部43Aは、例えば、測位部42の出力等に基づき、自車両Vsの減速の有無を検知する。
ここで、適正停止車間距離Dtagの算出方法について説明する。適正車間距離算出部43Aは、車車間通信部41から受信する前方車両情報Sf及び測位部42から受信する現在位置情報等に基づき、適正停止車間距離Dtagを算出する。具体的には、適正車間距離算出部43Aは、適正停止車間距離Dtagを算出するための基準値(「基準距離Ds」とも呼ぶ。)を予め記憶し、基準距離Dsに所定の補正係数を乗じることで、適正停止車間距離Dtagを算出する。基準距離Dsは、例えば、自車両Vsの全長に設定される。
本実施例では、適正車間距離算出部43Aは、補正係数として、前方車両Vfが上り坂を停車中であるか否かに基づく補正係数(「補正係数H1」とも呼ぶ。)と、前方車両Vfの運転者の運転技能に基づく補正係数(「補正係数H2」とも呼ぶ。)とを算出する。この場合、適正車間距離算出部43Aは、適正停止車間距離Dtagを通常よりも長く設定した方が好ましい条件である場合に、当該条件に対応する補正係数H1又は/及び補正係数H2を1より大きい値に設定する。補正係数H1及び補正係数H2の算出方法については、[処理フロー]のセクションで詳しく説明する。適正車間距離算出部43Aは、算出した適正停止車間距離Dtagを表示制御部43Bに送信する。
表示制御部43Bは、前方車両Vfが停車し、かつ、自車両Vsが減速したときに適正車間距離算出部43Aが算出した適正停止車間距離Dtagの情報を適正車間距離算出部43Aから受信し、停止指示画像Ispの表示光を投射部40に射出させる。このとき、表示制御部43Bは、車室内撮影カメラ6から受信した車内撮影画像Iaに基づき、観察者である運転者のアイポイントを検出し、検出したアイポイントに応じて、停止指示画像Ispの表示位置を補正する。また、表示制御部43Bは、測位部42の出力に基づき、適正停止車間距離Dtagに基づく停車位置の前後所定範囲以内に自車両Vsが停止したか否か判定し、当該所定範囲以内に自車両Vsが停止したと判断した場合に、停止指示画像Ispの表示を消去する。
[停止指示線の表示例]
図4は、ヘッドアップディスプレイ2による停止指示画像Ispの表示例を示す。図4の例では、フロントウィンドウ25を介した前方風景中に、停車している前方車両Vfが存在し、ヘッドアップディスプレイ2は、前方風景に重ねて、停止指示画像Ispを表示している。
図4の例では、ヘッドアップディスプレイ2の適正車間距離算出部43Aは、前方車両Vfから受信した前方車両情報Sf等に基づき、前方車両Vfが停車中であり、かつ、自車両Vsが減速中であることを認識し、適正停止車間距離Dtagの算出を行う。そして、ヘッドアップディスプレイ2の表示制御部43Bは、前方車両情報Sfに含まれる前方車両Vfの位置情報が示す位置から適正停止車間距離Dtagだけ後方の位置を、自車両Vsの適正停車位置であると認識する。そして、表示制御部43Bは、自車両Vsのボンネット28の先端と停止指示画像Ispとが重なる場合に、自車両Vsが上述の適正停車位置となるように、停止指示画像Ispを表示する。この場合、表示制御部43Bは、車内撮影画像Iaから検出したアイポイントに応じて停止指示画像Ispの表示位置を補正する。これにより、表示制御部43Bは、運転者の座高等によらず、自車両Vsのボンネット28の先端と停止指示画像Ispとが重なる場合に、自車両Vsが適正停車位置となるように停止指示画像Ispを表示する。
そして、運転者は、停止指示画像Ispが表示された場合、停止指示画像Ispとボンネット28の先端とが重なる位置で自車両Vsを停車させる。そして、表示制御部43Bは、停止指示画像Ispが示す停車位置の前後所定範囲以内に自車両Vsが停止したと判断した場合、停止指示画像Ispを消去する。
このように、ヘッドアップディスプレイ2は、停止指示画像Ispを表示することで、適正停止車間距離Dtagを好適に運転者に認識させ、適正停止車間距離Dtagに対応する位置付近に自車両Vsを停車させることができる。
[処理フロー]
図5は、本実施例においてヘッドアップディスプレイ2の制御部43が実行する停止指示画像Ispの表示処理の手順を示すフローチャートである。制御部43は、図5に示すフローチャートの処理を繰り返し実行する。
まず、制御部43は、前方車両Vfと自車両Vsとの距離が車車間通信可能な距離である場合に、車車間通信部41により前方車両Vfと通信を確立し、前方車両情報Sfを受信する(ステップS101)。次に、制御部43の適正車間距離算出部43Aは、受信した前方車両情報Sfに含まれる前方車両Vfの走行速度の情報に基づき、前方車両Vfが停止しているか否か判定する(ステップS102)。そして、適正車間距離算出部43Aは、前方車両Vfが停止していると判断した場合(ステップS102;Yes)、測位部42の出力等に基づき、自車両Vsが減速中であるか否か判定する(ステップS103)。そして、適正車間距離算出部43Aは、自車両Vsが減速中であると判断した場合(ステップS103;Yes)、停止指示画像Ispを表示するための適正停止車間距離Dtagを算出する必要があると判断し、ステップS104へ処理を進める。一方、前方車両Vfが移動中である場合(ステップS102;No)、又は、自車両Vsが減速中ではない場合(ステップS103;No)、適正車間距離算出部43Aは、停止指示画像Ispを表示するタイミングでなく、適正停止車間距離Dtagを算出する必要がないと判断し、再びステップS102へ処理を戻す。
次に、ステップS104では、適正車間距離算出部43Aは、前方車両Vfと自車両Vsとの車間距離及び自車両Vsに対する前方車両Vfの相対高さを算出する(ステップS104)。この場合、適正車間距離算出部43Aは、受信した前方車両情報Sfに含まれる位置情報と、測位部42が出力する現在位置情報とを参照することで、上述の車間距離及び相対高さを算出する。
そして、適正車間距離算出部43Aは、前方車両Vfの方が自車両Vsよりも相対的に高い位置であるか否か判定する(ステップS105)。これにより、適正車間距離算出部43Aは、前方車両Vfが上り坂に存在するか否か判定する。そして、前方車両Vfの方が自車両Vsよりも相対的に高い位置である場合(ステップS105;Yes)、適正車間距離算出部43Aは、前方車両Vfが上り坂に存在すると判断し、補正係数H1を1より大きい値に設定する(ステップS106)。この場合、適正車間距離算出部43Aは、上述した車間距離と相対高さとに基づき、前方車両Vfが存在する道路の勾配(「勾配θ」とも呼ぶ。)を算出し、勾配θが大きいほど、補正係数H1を大きい値に設定する。即ち、この場合、適正車間距離算出部43Aは、勾配θが大きいほど、前方車両Vfの発車時に前方車両Vfが後方へ下がる距離が長くなる可能性があると判断し、適正停止車間距離Dtagが長くなるように補正係数H1を設定する。
一方、適正車間距離算出部43Aは、前方車両Vfが自車両Vsと同じ高さの位置又は自車両Vsよりも相対的に低い位置である場合(ステップS105;No)、補正係数H1を1に設定する(ステップS107)。即ち、この場合、適正車間距離算出部43Aは、発進時に前方車両Vfが道路形状に起因して後進する恐れはないと判断し、補正係数H1による適正停止車間距離Dtagの補正を行わない。
次に、適正車間距離算出部43Aは、前方車両情報Sfに含まれる運転技能情報を抽出し(ステップS108)、前方車両Vfの運転者の運転技能が注意を要する運転技能であるか否か判定する(ステップS109)。例えば、適正車間距離算出部43Aは、前方車両情報Sfに含まれる運転技能情報により、前方車両Vfの運転者が免許取得から所定年数以内の初心者、又は高齢者であることを認識した場合、注意を要する運転技能であると判断する。そして、適正車間距離算出部43Aは、前方車両Vfの運転者の運転技能が注意を要する運転技能である場合(ステップS109;Yes)、補正係数H2を1より大きい所定値に設定する(ステップS110)。このように、適正車間距離算出部43Aは、補正係数H2を1より大きい値に設定することで、適正停止車間距離Dtagを長くし、自車両Vsの停車位置をより安全な位置に誘導する。
一方、適正車間距離算出部43Aは、前方車両Vfの運転者の運転技能が注意を要する運転技能ではない場合(ステップS109;No)、補正係数H2を1に設定する(ステップS111)。即ち、この場合、適正車間距離算出部43Aは、前方車両Vfの運転者は通常の運転技能を有していることから、特別な警戒を要しないと判断し、補正係数H2による適正停止車間距離Dtagの補正を行わない。
次に、適正車間距離算出部43Aは、設定した補正係数H1、H2に基づき、適正停止車間距離Dtagを算出する(ステップS112)。具体的には、適正車間距離算出部43Aは、予めメモリに記憶した基準距離Dsに対し、補正係数H1及び補正係数H2を乗じた値を、適正停止車間距離Dtagとして算出する。これにより、適正車間距離算出部43Aは、道路の勾配θや前方車両Vfの運転者の運転技能に応じて柔軟に適正停止車間距離Dtagを定めることができる。そして、適正車間距離算出部43Aは、算出した適正停止車間距離Dtagを表示制御部43Bに通知する。
そして、表示制御部43Bは、適正車間距離算出部43Aから通知された適正停止車間距離Dtagに基づき、停止指示画像Ispの表示光を投射部40に出射させることで、停止指示画像Ispを虚像Ivとして表示する(ステップS113)。この場合、例えば、図4の表示例で述べたように、表示制御部43Bは、自車両Vsのボンネット28の先端と停止指示画像Ispとが重なる場合に、自車両Vsが適正停車位置となるように、停止指示画像Ispを表示する。さらに、この場合、表示制御部43Bは、車内撮影画像Iaから検出したアイポイントに応じて停止指示画像Ispの表示位置を補正する。
次に、表示制御部43Bは、停止指示画像Ispの表示停止条件が満たされているか否か判定する(ステップS114)。具体的には、表示制御部43Bは、停止指示画像Ispが示す停車位置を含む所定範囲内に自車両Vsが停止したと判断した場合、表示停止条件が満たされたと判断する。そして、表示制御部43Bは、表示停止条件が満たされたと判断した場合(ステップS114;Yes)、停止指示画像Ispの表示を消去する(ステップS115)。そして、フローチャートの処理を終了する。一方、表示制御部43Bは、表示停止条件が満たされていないと判断した場合(ステップS114;No)、表示停止条件が満たされるか否かを引き続き監視する。
以上説明したように、本実施例に係るヘッドアップディスプレイ2は、自車両Vsの前方風景に見かけ上で重なるように画像をフロントウィンドウ25に表示させる。ここで、ヘッドアップディスプレイ2の制御部43は、自車両Vsの直前で停車している前方車両Vfの位置を、車車間通信により受信した前方車両情報Sfにより認識する。そして、制御部43は、前方車両Vfに対する適正停止車間距離Dtagを算出し、前方車両Vfの位置から適正停止車間距離Dtagだけ離れた適正停車位置を指示する停止指示画像Ispを、前方車両Vfと自車両Vsの間の風景に重なるように表示させる。このとき、制御部43は、前方車両Vfが自車両Vsよりも相対位置が高い坂に存在する場合には、平坦な道路上に存在する場合よりも長い適正停止車間距離Dtagを算出する。このようにすることで、ヘッドアップディスプレイ2は、前方車両Vfが発進時に一時的に後退する可能性がある坂であっても、確実に安全な停車位置を適正停車位置に定め、運転者に視認させることができる。
[変形例]
以下、上述の実施例に好適な変形例について説明する。以下の変形例は、任意に組み合わせて上述の実施例に適用してもよい。
(変形例1)
前方車両Vfは、前方車両情報Sfとして、前方車両Vfの位置情報、速度情報、及び運転技能情報に加えて、前方車両Vfの変速機の種類(マニュアルトランスミッション又はオートマティックトランスミッション)を示す情報(「変速機情報」とも呼ぶ。)をさらに含めてもよい。
この場合、好適には、前方車両情報Sfを受信したヘッドアップディスプレイ2の適正車間距離算出部43Aは、前方車両情報Sfに含まれる変速機情報に応じて、補正係数H1を定めるとよい。例えば、適正車間距離算出部43Aは、図5のステップS106で補正係数H1を1より大きい値に設定する場合、前方車両Vfがマニュアルトランスミッションであるときには、前方車両Vfがオートマティックトランスミッションであるときよりも、所定比率だけ補正係数H1を大きい値に設定する。一般に、マニュアルトランスミッションでは、坂道発進時に一時的に後進しやすい。よって、適正車間距離算出部43Aは、この態様により、適正停止車間距離Dtagを適切に設定することができる。
また、前方車両Vfは、変速機情報に加えて、又はこれに代えて、前方車両Vfの過去の運転傾向に関する情報(「運転傾向情報」とも呼ぶ。)を前方車両情報Sfに含めてもよい。例えば、前方車両Vfは、運転傾向情報として、過去の坂道発進時での後退距離の平均値を算出し、前方車両情報Sfとしてヘッドアップディスプレイ2へ送信する。この場合、前方車両Vfは、加速度センサ等の出力に基づき上り坂を停車中であると判断した場合に、発進時の後進距離を各種センサにより測定して記憶しておく。
この場合、好適には、変速機情報の場合と同様に、前方車両情報Sfを受信したヘッドアップディスプレイ2の適正車間距離算出部43Aは、前方車両情報Sfに含まれる運転傾向情報に応じて、補正係数H1を定めるとよい。例えば、適正車間距離算出部43Aは、図5のステップS106で補正係数H1を1より大きい値に設定する場合、所定のマップ又は式を参照し、過去の坂道発進時での後退距離の平均値が長いほど、補正係数H1を大きい値に設定する。
(変形例2)
ヘッドアップディスプレイ2は、前方車両情報Sfに含まれる位置情報に基づき前方車両Vfの位置を認識する代わりに、自車両Vsの前方を撮影するカメラを備え、当該カメラが撮影した画像に基づき、前方車両Vfの位置を認識してもよい。
図6は、変形例に係るヘッドアップディスプレイ2のブロック構成例を示す。図6の例では、光源ユニット4の適正車間距離算出部43Aは、自車両Vsの前方方向に向けられた前方カメラ5と電気的に接続し、前方カメラが撮影した画像(「前方撮影画像Ib」とも呼ぶ。)を取得する。前方カメラ5は、好適には、ステレオカメラである。そして、適正車間距離算出部43Aは、前方撮影画像Ibから公知の画像認識処理に基づき前方車両Vfを検出し、前方車両Vfとの距離を算出する。この場合、前方カメラ5が単眼カメラである場合には、適正車間距離算出部43Aは、図示しないレーダ等に基づき、前方車両Vfとの距離を測定してもよい。そして、表示制御部43Bは、認識した前方車両Vfの位置に対して適正停止車間距離Dtagだけ手前の位置を、適正停車位置であると認識し、当該適正停車位置に誘導するように停止指示画像Ispを表示する。
(変形例3)
適正車間距離算出部43Aは、前方車両情報Sfに含まれる運転技能情報に基づき補正係数H2を設定する代わりに、前方方向を撮影した画像を解析することで、前方車両Vfの運転技能を認識し、当該認識結果に応じて補正係数H2を設定してもよい。
この例では、ヘッドアップディスプレイ2は、変形例2で説明した図6の構成と同様に前方カメラ6を備える。そして、適正車間距離算出部43Aは、前方カメラ5が生成した前方撮影画像Ibから画像解析により前方車両Vfを検出した場合に、さらに前方車両Vfに初心者(若葉)マーク又は高齢者マークが付されているかさらに解析する。そして、適正車間距離算出部43Aは、これらのマークを検出した場合、補正係数H2を1より大きい値に設定することで、適正停止車間距離Dtagを長く設定する。
この態様によれば、適正車間距離算出部43Aは、車車間通信によらず、好適に前方車両Vfの運転技能を認識して補正係数H2を設定することができる。
(変形例4)
ヘッドアップディスプレイ2の代わりに、自車両Vsから撮影した前方撮影画像に基づき経路案内を行うナビゲーション装置が前方撮影画像に重ねて停止指示画像Ispを表示してもよい。
図7は、本変形例に係るナビゲーション装置9の概略構成を示す。図7の構成では、ナビゲーション装置9は、実施例で説明した光源ユニット4の車車間通信部41、測位部42、及び制御部43(適正車間距離算出部43A、表示制御部43B)とそれぞれ同等の機能を有する車車間通信部91、測位部92、及び制御部93(適正車間距離算出部93A、表示制御部93B)を備える。また、ナビゲーション装置9は、ディスプレイ90を有する。そして、表示制御部93Bは、前方カメラ5から前方撮影画像Ibを受信し、ディスプレイ90に表示させる。
この場合、適正車間距離算出部93Aは、前方車両Vfが停車し、かつ、自車両Vsが減速したことを検出した場合に、適正停止車間距離Dtagを算出する。そして、表示制御部93Bは、例えば変形例2と同様に、前方カメラ5が生成した前方撮影画像Ib内から前方車両Vfを検出し、前方車両Vfから適正停止車間距離Dtagだけ後方位置に自車両Vsを停車させるように、停止指示画像Ispを前方撮影画像Ibに重ねて表示する。
なお、本変形例では、ディスプレイ90は、本発明における「表示手段」の一例である。また、制御部93は、本発明における「検出手段」、「制御手段」、及びプログラムを実行するコンピュータの一例である。
(変形例5)
ヘッドアップディスプレイ2の光源ユニット4が実行する適正停止車間距離Dtagの算出及び停止指示画像Ispの表示制御を、ヘッドアップディスプレイ2と通信を行うナビゲーション装置が実行してもよい。
図8は、本変形例に係るヘッドアップディスプレイ2のブロック構成図を示す。図8の例では、図7に示す変形例4のヘッドアップディスプレイ2と同様に車車間通信部91、測位部92、及び制御部93を有するナビゲーション装置9がヘッドアップディスプレイ2の表示制御を行う。
具体的には、ナビゲーション装置9の適正車間距離算出部93Aは、車車間通信部91が受信した前方車両情報Sf及び測位部92の出力等に基づき適正停止車間距離Dtagを算出する。そして、ナビゲーション装置9の表示制御部93Bは、適正車間距離算出部93Aが算出した適正停止車間距離Dtagに基づき、停止指示画像Ispの表示位置を決定し、停止指示画像Ispの表示位置を指定する制御信号をヘッドアップディスプレイ2へ送信する。そして、ヘッドアップディスプレイ2は、表示制御部93Bから受信した制御信号に基づき、停止指示画像Ispを虚像Ivとして表示する。
なお、本変形例では、ナビゲーション装置9の制御部93は、本発明における「検出手段」、「制御手段」、及びプログラムを実行するコンピュータの一例である。
(変形例6)
適正車間距離算出部43Aは、前方車両Vf及び自車両Vsの相対位置に基づき勾配θを推定した。これに代えて、適正車間距離算出部43Aは、各道路の位置情報及び勾配が登録された地図データを参照することで、勾配θを推定してもよい。
この場合、適正車間距離算出部43Aは、測位部42の出力に基づき、自車両Vsの現在位置及び進行方向を認識し、認識した自車両Vsの現在位置及び進行方向に基づき、地図データを参照することで、自車両Vs及び前方車両Vfが存在する道路の勾配θを認識する。この場合、適正車間距離算出部43Aが参照する地図データは、光源ユニット4内に記憶されているものであってもよく、光源ユニット4と通信を行う自車両Vsに設置されたナビゲーション装置又は自車両Vs外のサーバ装置により記憶されているものであってもよい。これにより、適正車間距離算出部43Aは、より高精度に勾配θを推定し、補正係数H1を適切に定めることができる。
また、他の例では、光源ユニット4は、測位部42として、自車両Vsの前後方向での傾きを検知可能な加速度センサ等を備えている場合には、当該加速度センサ等の出力に基づき、前方車両Vf及び自車両Vsが存在する道路の勾配θを算出してもよい。
(変形例7)
光源ユニット4は、フロントウィンドウ25に表示像を構成する光を出射し、当該光を運転者に向けて反射させることで、虚像Ivを表示させた。しかし、本発明が適用可能な構成は、これに限定されない。これに代えて、光源ユニット4は、光の一部を反射するコンバイナへ表示光を出射することで、コンバイナを介して虚像Ivを表示してもよい。
例えば、この場合、コンバイナは、天井部27に設置され、コンバイナよりも運転者側の天井部27に設置された光源ユニット4から出射される表示像が投影されると共に、表示像を運転者の目の位置へ反射することで当該表示像を虚像Ivとして表示させる。この構成であっても、ヘッドアップディスプレイ2は、運転者に対し、停止指示画像Ispを虚像Ivとして前方風景に重ねて好適に視認させることができる。本変形例では、コンバイナ及び光源ユニット4は、本発明における「表示手段」の一例である。
4 光源ユニット
5 前方カメラ
6 車室内撮影カメラ
9 ナビゲーション装置
25 フロントウィンドウ
28 ボンネット
29 ダッシュボード

Claims (11)

  1. 自車両の前方の風景を撮影した風景画像に重畳して、または前記風景に見かけ上で重なるように画像を表示手段に表示させる情報表示装置であって、
    前記自車両の直前で停車している停車中車両の位置を検出する検出手段と、
    前記停車中車両に対する適正車間距離を算出し、前記停車中車両の位置から前記適正車間距離だけ離れた適正停車位置を指示する指示画像を、前記停車中車両と前記自車両の間の風景に重なるように、前記表示手段に表示させる制御手段と、
    を備え、
    前記制御手段は、前記停車中車両が前記自車両よりも相対位置が高い坂に存在する場合には、平坦な道路上に存在する場合よりも長い適正車間距離を算出することを特徴とする情報表示装置。
  2. 前記制御手段は、前記停車中車両が前記自車両よりも相対位置が高い坂に存在する場合には、当該坂の勾配に基づき前記適正車間距離を決定することを特徴とする請求項1に記載の情報表示装置。
  3. 前記制御手段は、前記自車両に対する前記停車中車両の相対位置に基づいて、前記坂の勾配を取得することを特徴とする請求項2に記載の情報表示装置。
  4. 前記自車両の位置情報を取得する位置情報取得手段をさらに備え、
    前記制御手段は、道路ごとに位置情報及び勾配が対応付けられた地図データを参照することで、前記位置情報取得手段が取得した位置情報から前記坂の勾配を取得することを特徴とする請求項2に記載の情報表示装置。
  5. 前記検出手段は、前記停車中車両から当該停車中車両の位置情報を受信することで、前記停車中車両の位置を検出することを特徴とする請求項1〜4のいずれか一項に記載の情報表示装置。
  6. 前記制御手段は、前記停車中車両から当該停車中車両の変速機の種類の情報を受信した場合、前記変速機の種類に基づき前記適正車間距離を決定することを特徴とする請求項1〜5のいずれか一項に記載の情報表示装置。
  7. 前記制御手段は、前記停車中車両から当該停車中車両の運転者の技能の情報を受信した場合、前記運転者の技能に基づき前記適正車間距離を決定することを特徴とする請求項1〜6のいずれか一項に記載の情報表示装置。
  8. 前記制御手段は、前記自車両の前方を撮影する撮影手段が生成した画像を解析することで、前記停車中車両に初心者マーク又は高齢運転者マークが付されていることを検出した場合、前記停車中車両に初心者マーク又は高齢運転者マークが付されていることを検出しない場合より長い前記適正車間距離を算出することを特徴とする請求項1〜6のいずれか一項に記載の情報表示装置。
  9. 自車両の前方の風景を撮影した風景画像に重畳して、または前記風景に見かけ上で重なるように画像を表示手段に表示させる情報表示装置が実行する制御方法であって、
    前記自車両の直前で停車している停車中車両の位置を検出する検出工程と、
    前記停車中車両に対する適正車間距離を算出し、前記停車中車両の位置から前記適正車間距離だけ離れた適正停車位置を指示する指示画像を、前記停車中車両と前記自車両の間の風景に重なるように、前記表示手段に表示させる制御工程と、
    を有し、
    前記制御工程は、前記停車中車両が前記自車両よりも相対位置が高い坂に存在する場合には、平坦な道路上に存在する場合よりも長い適正車間距離を算出することを特徴とする制御方法。
  10. 自車両の前方の風景を撮影した風景画像に重畳して、または前記風景に見かけ上で重なるように画像を表示手段に表示させるコンピュータが実行するプログラムであって、
    前記自車両の直前で停車している停車中車両の位置を検出する検出手段と、
    前記停車中車両に対する適正車間距離を算出し、前記停車中車両の位置から前記適正車間距離だけ離れた適正停車位置を指示する指示画像を、前記停車中車両と前記自車両の間の風景に重なるように、前記表示手段に表示させる制御手段
    として前記コンピュータを機能させ、
    前記制御手段は、前記停車中車両が前記自車両よりも相対位置が高い坂に存在する場合には、平坦な道路上に存在する場合よりも長い適正車間距離を算出することを特徴とするプログラム。
  11. 請求項10に記載のプログラムを記憶したことを特徴とする記憶媒体。
JP2014257119A 2014-12-19 2014-12-19 情報表示装置、制御方法、プログラム、及び記憶媒体 Pending JP2016118859A (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2014257119A JP2016118859A (ja) 2014-12-19 2014-12-19 情報表示装置、制御方法、プログラム、及び記憶媒体

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2014257119A JP2016118859A (ja) 2014-12-19 2014-12-19 情報表示装置、制御方法、プログラム、及び記憶媒体

Publications (2)

Publication Number Publication Date
JP2016118859A true JP2016118859A (ja) 2016-06-30
JP2016118859A5 JP2016118859A5 (ja) 2017-06-15

Family

ID=56242331

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2014257119A Pending JP2016118859A (ja) 2014-12-19 2014-12-19 情報表示装置、制御方法、プログラム、及び記憶媒体

Country Status (1)

Country Link
JP (1) JP2016118859A (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019181319A1 (ja) * 2018-03-22 2019-09-26 マクセル株式会社 情報表示装置
JP2021160598A (ja) * 2020-03-31 2021-10-11 本田技研工業株式会社 情報提供装置

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH07123534A (ja) * 1993-10-25 1995-05-12 Hitachi Ltd 車間距離制御方法
JPH10322263A (ja) * 1997-05-16 1998-12-04 Honda Motor Co Ltd 車車間通信方法
JP2006098983A (ja) * 2004-09-30 2006-04-13 Nippon Seiki Co Ltd 表示装置
JP2010055587A (ja) * 2008-02-08 2010-03-11 Toyota Motor Corp 運転支援システム、運転支援装置、標識部、車両用安全制御装置、安全制御システム、及び交通安全制御システム
JP2010163058A (ja) * 2009-01-16 2010-07-29 Fujitsu Ten Ltd 車両運転支援装置
US20130169679A1 (en) * 2011-12-30 2013-07-04 Automotive Research & Test Center Vehicle image display system and correction method thereof
JP2013196040A (ja) * 2012-03-15 2013-09-30 Toshiba Corp 車両および通信ユニット
JP2014099078A (ja) * 2012-11-15 2014-05-29 Toyota Motor Corp 運転支援装置及び運転支援方法
JP2014104773A (ja) * 2012-11-22 2014-06-09 Fuji Heavy Ind Ltd 車両の走行制御装置

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH07123534A (ja) * 1993-10-25 1995-05-12 Hitachi Ltd 車間距離制御方法
JPH10322263A (ja) * 1997-05-16 1998-12-04 Honda Motor Co Ltd 車車間通信方法
JP2006098983A (ja) * 2004-09-30 2006-04-13 Nippon Seiki Co Ltd 表示装置
JP2010055587A (ja) * 2008-02-08 2010-03-11 Toyota Motor Corp 運転支援システム、運転支援装置、標識部、車両用安全制御装置、安全制御システム、及び交通安全制御システム
JP2010163058A (ja) * 2009-01-16 2010-07-29 Fujitsu Ten Ltd 車両運転支援装置
US20130169679A1 (en) * 2011-12-30 2013-07-04 Automotive Research & Test Center Vehicle image display system and correction method thereof
JP2013196040A (ja) * 2012-03-15 2013-09-30 Toshiba Corp 車両および通信ユニット
JP2014099078A (ja) * 2012-11-15 2014-05-29 Toyota Motor Corp 運転支援装置及び運転支援方法
JP2014104773A (ja) * 2012-11-22 2014-06-09 Fuji Heavy Ind Ltd 車両の走行制御装置

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019181319A1 (ja) * 2018-03-22 2019-09-26 マクセル株式会社 情報表示装置
US11398208B2 (en) 2018-03-22 2022-07-26 Maxell, Ltd. Information display apparatus
US11763781B2 (en) 2018-03-22 2023-09-19 Maxell, Ltd. Information display apparatus
JP2021160598A (ja) * 2020-03-31 2021-10-11 本田技研工業株式会社 情報提供装置
JP7423388B2 (ja) 2020-03-31 2024-01-29 本田技研工業株式会社 情報提供装置

Similar Documents

Publication Publication Date Title
US9827907B2 (en) Drive assist device
JP5492962B2 (ja) 視線誘導システム
US11270589B2 (en) Surrounding vehicle display method and surrounding vehicle display device
CN104159757B (zh) 联结器对齐辅助
KR101655553B1 (ko) 운전자 보조 장치 및 방법
US20170028995A1 (en) Vehicle control apparatus
US20210016793A1 (en) Control apparatus, display apparatus, movable body, and image display method
US11485380B2 (en) Method and control device for warning a driver of a motor vehicle and motor vehicle with such a control device
JP2018203169A (ja) 運転意識推定装置
JP6218618B2 (ja) 運転支援装置、運転支援方法及び運転支援プログラム
US10632912B2 (en) Alarm device
CN109968977B (zh) 显示系统
JP5898539B2 (ja) 車両走行支援システム
JP7014205B2 (ja) 表示制御装置および表示制御プログラム
KR20180022374A (ko) 운전석과 보조석의 차선표시 hud와 그 방법
WO2019189515A1 (en) Control apparatus, display apparatus, movable body, and image display method
JP2016091192A (ja) 虚像表示装置、制御方法、プログラム、及び記憶媒体
JP2005202787A (ja) 車両用表示装置
WO2016056199A1 (ja) ヘッドアップディスプレイ装置、ヘッドアップディスプレイ表示方法
JP2016118859A (ja) 情報表示装置、制御方法、プログラム、及び記憶媒体
JP6855759B2 (ja) 自動運転車両の制御システム
US20210192974A1 (en) Driving teaching device
JP3864418B2 (ja) 車両用画像表示装置
JP6974024B2 (ja) ハザードマップ作成システム、ハザードマップ作成装置及びハザードマップ作成方法
JPWO2020111036A1 (ja) 表示装置

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20170425

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20171113

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20180828

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20181009

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20181207

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20190402

A711 Notification of change in applicant

Free format text: JAPANESE INTERMEDIATE CODE: A711

Effective date: 20190627

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A821

Effective date: 20190627