JP5954169B2 - 制御装置 - Google Patents

制御装置 Download PDF

Info

Publication number
JP5954169B2
JP5954169B2 JP2012287518A JP2012287518A JP5954169B2 JP 5954169 B2 JP5954169 B2 JP 5954169B2 JP 2012287518 A JP2012287518 A JP 2012287518A JP 2012287518 A JP2012287518 A JP 2012287518A JP 5954169 B2 JP5954169 B2 JP 5954169B2
Authority
JP
Japan
Prior art keywords
display
vehicle
information
driver
area
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2012287518A
Other languages
English (en)
Other versions
JP2014130463A (ja
Inventor
名田 徹
徹 名田
祐次 野々山
祐次 野々山
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Denso Corp
Original Assignee
Denso Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Denso Corp filed Critical Denso Corp
Priority to JP2012287518A priority Critical patent/JP5954169B2/ja
Publication of JP2014130463A publication Critical patent/JP2014130463A/ja
Application granted granted Critical
Publication of JP5954169B2 publication Critical patent/JP5954169B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Traffic Control Systems (AREA)

Description

本発明は、車両乗員向けの表示システムを制御する制御装置に関する。
自動車等の車両に搭載されて、車両乗員向けの情報表示を行う装置としては、例えば、地図等の道路情報を表示する装置、再生曲名等のオーディオ情報を表示する装置、車速等の車両情報を表示する装置、及び、車間距離等の車両周辺情報を表示する装置が知られている。また、これらの表示領域の複数を備えた表示システムが知られている。
この他、上記情報表示を行う装置としては、針を機械的に動かす等して情報をアナログ表示する装置、液晶ディスプレイ又は有機ELディスプレイ(以下、「液晶/有機ELディスプレイ」と表現する。)を備えて情報をディジタル表示する装置、警告灯等のランプを点灯させることにより情報表示を行う装置、ウィンドシールド等に情報表示を行うヘッドアップディスプレイ等が知られている。
また、表示制御を行う装置としては、車室内にある複数の表示領域の内、車両乗員にとって見易い位置にある表示領域に、重要な情報を表示するように表示制御を行う装置(特許文献1参照)が知られている。
特開2002−225592号公報
しかしながら、車両乗員にとって見易い位置に重要な情報を表示する上述の従来装置では、次の点で問題があった。即ち、この装置によれば、特に重要な情報については固定領域に、その情報を表示するが、状況に応じて重要度の変化する情報については、状況に応じて情報を表示する領域を変更する。従来装置では、この変更が、運転者による目的の情報を探す手間を増加させる可能性があった。そして、このことが、車両の安全性に好ましくない影響を与える可能性があった。
本発明は、こうした問題に鑑みなされたものであり、車両の安全を確保しつつ、運転者が所望する情報を適切に提供可能な技術を提供することを目的とする。
本発明は、自車両に搭載された複数の表示領域を有する表示システムを制御する制御装置であって、領域判別手段と、安全性判定手段と、制御手段と、を備える。
領域判別手段は、複数の表示領域の内、自車両の運転者が注目する表示領域としての注目領域を、運転者の動作に基づき判別する。一方、安全性判定手段は、運転者による自車両の運転状態、及び、自車両周辺の状態の少なくとも一方を識別することにより、自車両の走行に関する安全性の高低を判定する。
制御手段は、安全性判定手段によって安全性が高いと判定されている場合には、領域判別手段によって判別された注目領域に表示される情報が強調表示されるように、表示システムを制御する一方、安全性判定手段によって安全性が低いと判定されている場合には、複数の表示領域の内、自車両の安全に寄与(貢献)する情報を表示する特定の表示領域に
表示される情報が強調表示されるように、表示システムを制御する。
この制御装置によれば、安全性が高いときには、強調表示によって、運転者が所望する情報を運転者が簡単に見つけられるように視認性を高めて表示することができる。一方、安全性が低いときには、車両の安全のために運転者に提供すべき情報を、視認性を高めて表示することができる。
即ち、本発明によれば、運転者が所望する情報や車両の安全のために運転者に提供すべき情報に対する強調表示を、状況に応じて適切に切り替えることができる。従って、本発明によれば、車両の安全を確保しつつ、運転者が所望する情報を適切に強調表示することができる。
ところで、領域判別手段は、運転者の動作としての運転者の視線及び手の動きの少なくとも一つに基づき、注目領域を判別する構成にすることができる。この制御装置によれば、運転者の動きから迅速に注目領域を判別することができる。
また、安全性判定手段は、運転者の身体信号に基づき、運転者による自車両の運転状態として、運転者の心理状態を識別する構成にすることができる。運転者の心理状態に応じて強調表示を切り替えれば、車両の安全を確保した表示による情報提供をより一層適切に行うことができる。
この他、安全性判定手段は、自車両の運転状態として、運転者の操作による自車両の車両状態を識別する構成にされてもよいし、自車両周辺の状態として、自車両周辺に位置する車両の交通状態を識別する構成にされてもよい。この識別によっても、車両の安全を確保した表示による情報提供をより一層適切に行うことができる。
制御システム1の概略構成を表すブロック図である。 表示システム30を構成する複数の表示装置31,33,35,37の配置を表す図である。 表示制御装置11が実行する表示制御処理を表すフローチャートである。 表示制御装置11が実行する処理をブロック化して表した図である。 表示制御装置11が実行する領域B2制御処理を表すフローチャートである。 情報表示領域B2が強調表示されている状況を説明した図である。 情報表示領域A2が強調表示されている状況を説明した図である。 情報表示領域A1が強調表示されている状況を説明した図である。 表示制御装置11が実行する領域B1制御処理を表すフローチャートである。 表示制御装置11が実行する領域A1制御処理を表すフローチャートである。 単一の表示装置41に複数の情報表示領域A1,A2,B1,B2を有する表示システム40の概略構成を表す図である。
以下に本発明の実施例について、図面と共に説明する。但し、本発明は、以下に説明する実施例に限定されるものではなく、種々の態様を採ることができる。
図1に示す本実施例の制御システム1は、車両(特に四輪自動車)に搭載されるものであり、表示制御装置11と、操作入力装置13と、音入力装置15と、車室内カメラ17と、身体測定装置群19と、車両状態検出装置群21と、ナビゲーション装置本体23と、周辺観測装置25と、を備える。
表示制御装置11は、車室内の表示システム30を制御するものであり、CPU11Aと、ROM11Bと、RAM11Cとを備えた構成にされる。CPU11Aは、各種プログラムに従う処理を実行するものであり、ROM11Bは、これらプログラムを記憶する不揮発性メモリである。ROM11Bとしては、フラッシュメモリ等の電気的にデータ書換可能な不揮発性メモリ(NVRAM)を採用することも可能である。この他、RAM11Cは、CPU11Aによる処理実行時に作業領域として使用される。
一方、操作入力装置13は、ユーザからの操作を受け付けて、この操作信号を表示制御装置11に入力するものである。操作入力装置13は、例えば、車室内のコンソールに設けられたメカニカルなキー、及び、このキー操作に対応する信号を表示制御装置11に入力する回路から構成される。
この他、操作入力装置13は、リモートコントローラ及びその受信機から構成されてもよいし、タッチパネルにより構成されてもよいし、これら種類の異なる装置の一群から構成されてもよい。タッチパネルは、例えば、表示システム30を構成する複数の表示装置31,33,35,37の内、液晶/有機ELディスプレイを備える表示装置の情報表示領域(表示画面)上に設けることができる。表示システム30の詳細構成については後述する。
また、音入力装置15は、運転者から発せられた音声を収集し、この音声信号をディジタル信号として表示制御装置11に入力するものである。音入力装置15は、例えば、マイクロフォン、及び、マイクロフォンから入力される音声信号をディジタル信号に変換した信号であって、雑音成分を除去した信号を表示制御装置11に入力する回路から構成される。
また、車室内カメラ17は、運転者の頭部及び手を含む少なくとも上半身を撮影可能に設置され、その撮影画像を表す映像信号をディジタル信号として表示制御装置11に入力するものである。
この他、身体測定装置群19は、運転者の身体信号を測定する装置の一群から構成される。具体的に、制御システム1は、身体測定装置群19を構成する装置として、運転者の心理状態によって変化する身体信号としての、血圧、及び、心拍を測定可能な装置を備える。この身体測定装置群19には、他に運転者の脳波や心電、体温、及び、筋肉の緊張度等を測定可能な装置を設けることができる。身体測定装置群19を構成する装置の夫々は、身体信号の測定値を表示制御装置11に入力可能な構成にされる。
また、車両状態検出装置群21は、自車両の車両状態を検出可能な装置の一群から構成される。この車両状態検出装置群21には、例えば、車速(車両の走行速度)、エンジン回転数、水温、バッテリ電圧、燃料残量、方向指示器のオン/オフ、シフトレバー位置、及び、操舵角等を検出可能な装置が含まれる。車両状態検出装置群21を構成する装置の夫々は、これら車両状態の検出値を表示制御装置11に入力可能な構成にされる。
また、ナビゲーション装置本体23は、表示システム30を介して、運転者に道路情報としての地図を表示したり、目的地までの経路を表示及び音声案内したりする機能を備える電子機器である。このナビゲーション装置本体23は、表示装置を有さないが、表示システム30を介した情報表示及び音声案内により、周知のナビゲーション装置と同様の機能を果たす。
即ち、ナビゲーション装置本体23は、表示システム30に表示させる道路情報等を表示制御装置11に入力することにより、表示制御装置11に、表示システム30を制御さ
せて、表示システム30に、この情報を表示させる。
この他、周辺観測装置25は、運転支援のために、自車両周辺の状態を識別し、この状態を表す車両周辺情報を、表示制御装置11に入力する電子機器である。この情報入力によって、運転者には、表示システム30を介して、車両の安全に寄与する車両周辺情報(特に衝突回避に役立つ情報)が提供され、運転支援が実現される。
周辺観測装置25は、例えば、自車両周辺に位置する車両及び人についての自車両との相対位置や相対速度を、レーダ装置251や、自車両周囲を撮影する車外カメラ253を用いて検出すると共に、これらの車両及び人の動きを周知のカルマンフィルタ等を用いて予測し、この検出結果及び予測結果を表す車両周辺情報を表示制御装置11に入力する。
更に言えば、この周辺観測装置25は、車外カメラ253による撮影画像を解析することにより、走行レーンに対する自車両の姿勢を検出し、この検出結果を車両周辺情報として、表示制御装置11に入力する構成にすることができる。
続いて、表示システム30の構成について、図1及び図2を用いて説明する。図1に示す本実施例の表示システム30は、複数の表示装置31,33,35,37を備える。更に、これらの表示装置31,33,35,37の夫々は、自己の情報表示領域A1,A2,B1,B2(図2参照)の周囲に、照明ユニット31A,33A,35A,37A(図1参照)を備えた構成にされる。
照明ユニット31A,33A,35A,37Aは、対応する情報表示領域A1,A2,B1,B2の周囲を明るくするものであり、例えば、LEDにより構成される。
表示装置31,33,35,37は、表示制御装置11に制御されて、自装置の情報表示領域A1,A2,B1,B2が表示する情報を更新する一方、表示制御装置11に制御されて、自装置の照明ユニット31A,33A,35A,37Aをオン(点灯)/オフ(消灯)する。
このオン/オフによって、表示システム30では、照明ユニット31A,33A,35A,37Aの内の一つのみが、対応する情報表示領域A1,A2,B1,B2の周囲を明るくする。この結果として、表示装置31,33,35,37が有する情報表示領域A1,A2,B1,B2の一つのみが、残りの情報表示領域に対して強調表示される。
付言すると、照明ユニット31A,33A,35A,37Aは、白色光を発するものであってもよいし、一層の強調表示を実現するために、カラフルな光を発するものであってもよい。
また、照明ユニット31A,33A,35A,37Aは、光を情報表示領域A1,A2,B1,B2に照射することによって、情報表示領域A1,A2,B1,B2を視認性良く強調表示してもよいが、例えば、光を運転者側に向けて照射することによって、当該情報表示領域A1,A2,B1,B2を強調表示するものであってもよい。この他、情報表示領域A1,A2,B1,B2が光を透過する材料にて構成されるものである場合、照明ユニット31A、33A,35A,37Aは、情報表示領域A1、A2,B1,B2を背面から照らすバックライトとして構成されてもよい。
図2に示す表示システム30の例によれば、表示装置31は、情報表示領域A1に、車速やシフトレバー位置等を表示するメーターパネルとして構成される。この表示装置31の情報表示領域A1には、表示制御装置11の制御により、車両の安全に寄与する情報であって法規により表示が義務付けられた情報を含む自車両の基本的な車両情報が表示され
る。
この表示装置31は、例えば、アナログの計器類を備えて、車速や水温、燃料残量等をアナログ表示したり、メーターパネル裏のランプをオン/オフすることにより、シフトレバー位置の表示や各種警告表示を行ったりするアナログ表示装置として構成される。但し、この表示装置31は、液晶/有機ELディスプレイを備え、計器類をディジタル表示するものであってもよい。
照明ユニット31Aは、この表示装置31が有する情報表示領域A1の周囲に設けられて、表示制御装置11によりオンにされた状態では、情報表示領域A1を運転者に対して強調表示する。
この他、図2に示す例によれば、表示装置33は、運転者の前方視界において、その視界を遮ることのないように配置された透明板に情報表示を行うヘッドアップディスプレイとして構成される。このヘッドアップディスプレイは、別例として、ウィンドシールドを、上記透明板として利用する構成にすることができる。この表示装置33の情報表示領域A2には、表示制御装置11の制御により、車両の安全に寄与する情報であって特に衝突回避に役立つ情報として周辺観測装置25から得られる車両周辺情報が表示される。
例えば、情報表示領域A2には、自車両周辺に位置する車両及び人の自車両に対する相対位置及び想定速度、並びに、これら車両及び人の予想される未来の移動軌跡、並びに、自車両の走行レーンに対する姿勢を表す情報が表示される。この情報表示については、例えば、イラスト画像や文字画像によって、又は、AR(拡張現実)技術によって実現することができる。
照明ユニット33Aは、この表示装置33が有する情報表示領域A2の周囲に設けられて、表示制御装置11によりオンにされた状態では、情報表示領域A2を運転者に対して強調表示する。
また、図2に示す例によれば、表示装置35は、運転者の前方視界から車室内中央側に離れた位置に配置される。この表示装置35が有する液晶/有機ELディスプレイで構成される情報表示領域B1には、表示制御装置11の制御により、車両の安全に直接的は寄与せず、且つ、実質的に変化の少ない簡素な情報である車室内温度(実温度/エアーコンディショナー設定温度)及び時刻の情報が表示される。照明ユニット35Aは、この表示装置35による情報表示領域B1の周囲に設けられて、表示制御装置11によりオンにされた状態では、情報表示領域B1を運転者に対して強調表示する。
また、図2に示す例によれば、表示装置37は、運転者の前方視界から車室内中央側に離れた位置に配置される。この表示装置37が有する液晶/有機ELディスプレイにより構成される情報表示領域B2には、表示制御装置11の制御により、車両の安全に直接的は寄与しないナビゲーション装置本体23から提供される道路情報等が表示される。
照明ユニット37Aは、この表示装置37が有する情報表示領域B2の周囲に設けられて、表示制御装置11によりオンにされた状態では、情報表示領域B2を運転者に対して強調表示する。
続いて、表示制御装置11(詳細にはCPU11A)がROM11Bに記録されたプログラムに従って実行する表示制御処理について、図3を用いて説明する。表示制御装置11は、当該表示制御処理を実行することにより、情報表示領域A1,A2,B1,B2に表示する情報を制御すると共に、照明ユニット31A,33A,35A,37Aのオン/
オフを制御する。表示制御装置11は、例えば、自車両のアクセサリスイッチがオンにされると、この表示制御処理を、アクセサリスイッチがオフにされるまで繰り返し実行する。
表示制御処理を開始すると、表示制御装置11は、運転者により情報表示領域A1,A2,B1,B2のいずれかが注視されているか否かを判断する(S110)。この判断のために、表示制御装置11は、ROM11Bに記録されたプログラムに従って、車室内カメラ17の映像信号から、運転者の視線を追尾する視線検出処理P1(図4参照)を、表示制御処理P0とは別に並列実行する。
表示制御装置11は、この視線検出処理P1の検出結果に基づいて、例えば、情報表示領域A1,A2,B1,B2のいずれかに運転者の視線が基準時間以上合わせられているか否かを判断する。これによって、運転者により情報表示領域A1,A2,B1,B2のいずれかが注視されているか否かを判断する。尚、基準時間については、情報表示領域A1,A2,B1,B2の情報を運転者が所望しているか否かを一定の精度で判別できる程度の短い時間に設定することができる。
情報表示領域A1,A2,B1,B2のいずれかに運転者の視線が基準時間以上合わせられており、運転者により情報表示領域A1,A2,B1,B2のいずれかが注視されていると判断すると(S110でYes)、表示制御装置11は、情報表示領域A1,A2,B1,B2の内の当該注視された一つの情報表示領域A1,A2,B1,B2を運転者による注目領域として特定し(S115)、S150に移行する。
一方、S110で否定判断すると、表示制御装置11は、S120に移行し、情報表示領域A1,A2,B1,B2を指し示すジェスチャーが行われているか否かを判断する(S120)。この判断のために、表示制御装置11は、ROM11Bに記録されたプログラムに従って、車室内カメラ17の映像信号から、運転者のジェスチャーを検出するジェスチャー検出処理P2(図4参照)を表示制御処理P0とは別に並列実行する。検出対象のジェスチャーとしては、指や手により物体を指し示すジェスチャーを例に挙げることができる。
S120において、表示制御装置11は、このジェスチャー検出処理P2の検出結果に基づいて、情報表示領域A1,A2,B1,B2のいずれかを指し示すジェスチャーがなされたか否かを判断する。
そして、当該ジェスチャーがなされたと肯定判断すると(S120)、表示制御装置11は、情報表示領域A1,A2,B1,B2の内の当該ジェスチャーにより指し示された一つの情報表示領域A1,A2,B1,B2を運転者による注目領域として特定し(S125)、S150に移行する。
一方、S120で否定判断すると、表示制御装置11は、S130に移行し、操作入力装置13に対する操作がなされたか否かを判断する。即ち、操作入力装置13を構成するタッチパネルに対するタッチ操作や、リモートコントローラ等に対する操作がなされたか否かを判断する。尚、表示制御装置11は、操作入力装置13からの入力信号に基づき、操作入力装置13に対する操作を検出する入力操作検出処理P3(図4参照)を表示制御処理P0とは別に並列実行する。表示制御装置11は、この入力操作検出処理P3の検出結果に従って、操作入力装置13に対する操作がなされたか否かを判断する。
そして、操作入力装置13に対する操作がなされたと判断すると(S130でYes)、情報表示領域A1,A2,B1,B2の内、その操作に対応する一つの情報表示領域A
1,A2,B1,B2を運転者による注目領域として特定し(S145)、S150に移行する。上記操作に対応する情報表示領域としては、操作に対応して情報更新が行われる領域又はタッチされた情報表示領域を一例に挙げることができる。
また、S130で否定判断すると、表示制御装置11は、S140に移行し、音入力装置15を用いた音声操作がなされたか否かを判断する。尚、表示制御装置11は、表示制御処理P0とは別に、音入力装置15からの入力信号に基づき、車両乗員の音声操作を検出する音声操作検出処理P4(図4参照)を実行する。表示制御装置11は、この音声操作検出処理P4の検出結果に従って、音声操作がなされたか否かを判断する。
そして、音声操作がなされたと判断すると(S140でYes)、表示制御装置11は、情報表示領域A1,A2,B1,B2の内、その音声操作に対応する一つの情報表示領域A1,A2,B1,B2を運転者による注目領域として特定し(S145)、S150に移行する。上記音声操作に対応する情報表示領域A1,A2,B1,B2としては、音声操作に対応して情報更新が行われる領域、又は、音声操作により車両乗員から指定された情報表示領域を一例に挙げることができる。
この他、S140で否定判断すると、表示制御装置11は、S190に移行して、情報表示領域A1,A2,B1,B2を制御し、情報表示領域A1,A2,B1,B2に表示する情報を最新の情報に更新した後、表示制御処理を一旦終了する。
一方、S150に移行すると、表示制御装置11は、上記特定した注目領域の種類に応じて処理を切り替える(S150,S160,S170,S180)。
具体的に、注目領域が情報表示領域B2である場合には(S150でYes)、S155に移行し、図5に示す領域B2制御処理を実行する。一方、注目領域が情報表示領域B1である場合には(S150でNo及びS160でYes)、S165に移行し、図9に示す領域B1制御処理を実行する。この他、注目領域が情報表示領域A2である場合には(S150,S160でNo及びS170でYes)、S175に移行し、領域A2制御処理を実行する。また、注目領域が情報表示領域A1である場合には(S150,S160,S170でNo)、S180に移行し、領域A1制御処理を実行する。
S155にて領域B2制御処理を開始すると、表示制御装置11は、図5に示すように、運転者の運転負荷の高低を判定する(S210)。この判定は、身体測定装置群19から運転者の身体信号の測定値を取得して蓄積する身体信号観測処理P5(図4参照)が蓄積した測定値、及び、車両状態検出装置群21が検出した車両状態の検出値を取得して蓄積する車両状態観測処理P6が蓄積した検出値に基づき、行われる。身体信号観測処理P5及び車両状態観測処理P6は、表示制御装置11が、ROM11Bに記録されたプログラムに従って、表示制御処理P0とは別に並列実行する処理である。
運転負荷の判定方法としては様々な方法が考えられるが、S210では、例えば、次に列挙した条件(1)〜(7)のいずれか一つが満足された場合に、運転負荷が高いと判定し、それ以外の場合には、運転負荷が低いと判定することができる。
(1)現在の運転者の心拍数が基準値以上である。
(2)現在の運転者の血圧が平時の血圧として登録された値から基準以上上昇している。
(3)現在の運転者の脳波又は心電が、運転者が緊張又は興奮している状態にあることを示している。
(4)現在の車速が基準値以上である。
(5)現在の自車両の加速度又は減速度が基準値以上である。
(6)シフトレバーがリアに設定されている。
(7)操舵角が基準値以上である。
上記条件(1)〜(3)は、運転者による車両の運転状態として、運転者の心理状態を識別するための条件である。条件(1)〜(3)が満足される場合には、運転者が緊張/興奮した状態であると識別することができる。
また、条件(4)〜(7)は、運転者の運転操作による車両状態であって、特に運転者に対して通常時よりも運転への注意が求められる運転操作が行われている車両状態を識別するための条件である。例えば、条件(5)によれば、運転者に対して通常時よりも運転への注意が求められる加減速を伴う運転操作が行われている車両状態であると識別することができる。
条件(1)〜(7)のいずれかが満足される状態は、高い運転負荷が運転者に対して作用している状態である可能性が高く、自車両の走行に関する安全性が低い状態である可能性が高い。S210では、このような観点で運転者の運転負荷の高低を判定し、これによって自車両の走行に関する安全性の高低を判定する。
但し、条件(1)〜(7)は、あくまで一例であるので、例えば、条件(4)〜(7)の内、車速に関する条件(4)〜(5)以外の条件(6)(7)を削除した判定態様や、車両状態に関する条件(4)〜(7)を削除した判定態様や、運転者の心理状態に関する条件(1)〜(3)を削除した判定態様等の様々な判定態様が考えられる。
S210での上記判定を終えると、表示制御装置11は、自車両周辺の状態を識別することにより、自車両の衝突危険度の高低を判定する(S220)。具体的に、表示制御装置11は、周辺観測装置25から取得された車両周辺情報に基づき、自車両周辺の状態として、自車両周辺に位置する車両及び人の交通状態を識別し、自車両の衝突危険度の高低を判定する。
上述したように、周辺観測装置25は自車両周辺に位置する車両及び人の未来における位置軌跡を予測し、これを車両周辺情報として出力する。表示制御装置11は、この情報に基づいて上記交通状態を識別し、自車両が自車両周辺に位置する車両及び人と衝突する確率が基準以上あると判断される場合、衝突危険度が高いと判定し、そうでない場合には、衝突危険度が低いと判定する。S220では、このようにして衝突危険度の高低を判定することによって、自車両の走行に関する安全性の高低を判定する。
衝突危険度の判定を終えると、表示制御装置11は、S210における運転負荷の判定結果及びS220における衝突危険度の判定結果に従って、後続処理を切り替える(S230,S240,S270)。
具体的に、表示制御装置11は、運転負荷が低いと判定され、且つ、衝突危険度が低いと判定されている場合(S230でNo及びS240でNo)、S250に移行して、運転者の注目領域である情報表示領域B2が強調表示され、その他の情報表示領域A1,A2,B1が非強調表示されるように、照明ユニット31A,33A,35A,37Aをオン/オフ制御する。即ち、S250によれば、図6において太い破線で囲まれた情報表示領域B2が強調表示される。
S250では、情報表示領域B2に対応する照明ユニット37Aをオンに設定し、情報
表示領域A1,A2,B1に対応する照明ユニット31A,33A,35Aをオフに設定することで、情報表示領域B2を強調表示することができる。その後、当該領域B2制御処理を終了する。
一方、表示制御装置11は、運転負荷が低いと判定され、且つ、衝突危険度が高いと判定されている場合(S230でNo及びS240でYes)、S260に移行して、図7に示すように、注目領域である情報表示領域B2ではなく、車両の安全に寄与する車両周辺情報を表示する情報表示領域A2が強調表示され、他の情報表示領域A1,B1,B2が非強調表示されるように、照明ユニット31A,33A,35A,37Aをオン/オフ制御する。
即ち、S260によれば、図7において太い破線で囲まれた情報表示領域A2が強調表示される。強調表示の方法は、オン/オフのパターンが異なるだけでS250での処理と同様である。その後、当該領域B2制御処理を終了する。
この他、表示制御装置11は、運転負荷が高いと判定され、且つ、衝突危険度が低いと判定されている場合には(S230でYes及びS270でNo)、S280に移行して、注目領域である情報表示領域B2ではなく、安全運転に寄与する情報であって法規により表示が義務付けられた車速等の車両情報を表示する情報表示領域A1が強調表示され、他の情報表示領域A2,B1,B2が非強調表示されるように、照明ユニット31A,33A,35A,37Aをオン/オフ制御する(S280)。
即ち、S280によれば、図8において太い破線で囲まれた情報表示領域A1が強調表示される。その後、表示制御装置11は、当該領域B2制御処理を終了する。尚、運転負荷が高いと判定され、衝突危険度が低いと判定されている場合に、情報表示領域A2を強調表示しないのは、自車両に衝突に関する具体的な危険が迫っているわけではないためである。
一方、表示制御装置11は、運転負荷が高いと判定され、且つ、衝突危険度が高いと判定されている場合(S230でYes及びS270でYes)、S290に移行して、情報表示領域A2が強調表示され、他の情報表示領域A1,B1,B2が非強調表示されるように、照明ユニット31A,33A,35A,37Aをオン/オフ制御する。その後、当該領域B2制御処理を終了する。
そして、S155(図3参照)における領域B2制御処理を終了すると、表示制御装置11は、S190に移行し、情報表示領域A1,A2,B1,B2が表示する情報を最新の情報に更新した後、当該表示制御処理を一旦終了する。
この他、S165にて図9に示す領域B1制御処理を開始すると、表示制御装置11は、領域B2制御処理でのS210,S220での処理と同様に、まず、運転者の運転負荷の高低を判定すると共に(S310)、自車両の衝突危険度を判定する(S320)。その後、これらの判定結果に従って、処理を切り替える(S330,S350)。
具体的に、表示制御装置11は、運転負荷が低いと判定されている場合には(S330でNo)、S340に移行し、運転者の注目領域である情報表示領域B1が強調表示され、その他の情報表示領域A1,A2,B2が非強調表示されるように、照明ユニット31A,33A,35A,37Aをオン/オフ制御する。
尚、領域B1制御処理では、衝突危険度が高いと判定されている状況下でも、運転負荷が低いと判定されている場合には、注目領域である情報表示領域B1を強調表示する。そ
の理由は、情報表示領域B1に表示される情報が簡素な情報であるためである。
この簡素な情報の確認のために、運転者の視線が長い間、車両の前方から外れる可能性は小さく、運転者が所望する情報表示領域B1を強調表示しても、車両の安全に悪い影響を与える可能性は、小さい。領域B1制御処理では、このような理由により、運転負荷が低いと判定されている場合には、一律に、注目領域である情報表示領域B1を強調表示する。
一方、表示制御装置11は、運転負荷が高いと判定され、且つ、衝突危険度が低いと判定されている場合(S330でYes及びS350でNo)、S360に移行して、S280(図5参照)での処理と同様、注目領域である情報表示領域B1ではなく、情報表示領域A1が強調表示され、他の情報表示領域A2,B1,B2が非強調表示されるように、照明ユニット31A,33A,35A,37Aをオン/オフ制御する。
このようにして、表示制御装置11は、運転負荷が高いときには、安全運転に寄与する情報を強調表示する。その後、当該領域B1制御処理を終了する。
この他、表示制御装置11は、運転負荷が高いと判定され、且つ、衝突危険度が高いと判定されている場合(S330でYes及びS350でYes)、S370に移行して、S290での処理と同様、情報表示領域A2が強調表示され、他の情報表示領域A1,B1,B2が非強調表示されるように、照明ユニット31A,33A,35A,37Aをオン/オフ制御する。その後、当該領域B1制御処理を終了する。
そして、S165(図3参照)における領域B1制御処理を終了すると、表示制御装置11は、S190に移行し、情報表示領域A1,A2,B1,B2に表示する情報を最新の情報に更新した後、表示制御処理を一旦終了する。
また、表示制御装置11は、運転者の注目領域が情報表示領域A2である場合(S170でYes)、S175にて領域A2制御処理を実行するが、この領域A2制御処理では、運転者の運転負荷及び衝突危険度に依らず、この注目領域である情報表示領域A2が強調表示され、他の情報表示領域A1,B1,B2が非強調表示されるように、照明ユニット31A,33A,35A,37Aをオン/オフ制御する。その後、S190に移行する。
情報表示領域A2は、衝突回避に大変役立つ車両周辺情報を表示する領域である。このため、本実施例では、注目領域が情報表示領域A2である場合には、運転負荷及び衝突危険度の高低に依らずに、運転者の所望する車両周辺情報を、運転者に対して見易く表示する。
この他、表示制御装置11は、運転者の注目領域が情報表示領域A1である場合、S180にて、図10に示す領域A1制御処理を実行する。領域A1制御処理を開始すると、表示制御装置11は、S220での処理と同様に、自車両の衝突危険度を判定し(S410)、その後、衝突危険度の判定結果に従って、処理を切り替える(S420)。
具体的に、表示制御装置11は、衝突危険度が低いと判定されている場合には(S420でNo)、S430に移行して、注目領域である情報表示領域A1が強調表示され、他の情報表示領域A2,B1,B2が非強調表示されるように、照明ユニット31A,33A,35A,37Aをオン/オフ制御する。その後、当該領域A1制御処理を終了する。
一方、表示制御装置11は、衝突危険度が高いと判定されている場合には(S420でYes)、S440に移行して、情報表示領域A2が強調表示され、他の情報表示領域A
1,B1,B2が非強調表示されるように、照明ユニット31A,33A,35A,37Aをオン/オフ制御する。その後、当該領域A1制御処理を終了し、S190に移行する。
以上に、本実施例の制御システム1の構成について説明したが、本実施例によれば、表示制御装置11が、自車両の表示システム30が有する複数の情報表示領域A1,A2,B1,B2の内、自車両の運転者が注目する情報表示領域(注目領域)を、運転者の視線、ジェスチャー、タッチ/キー操作、及び、音声操作に基づき判別する(S115,S125,S145)。
一方で、表示制御装置11は、運転者の運転負荷の高低を判定し(S210,S310)、自車両の衝突危険度の高低を判定する(S220,S320,S410)。これらの判定により、複数の観点で自車両の走行に関する安全性の高低を判定する。
そして、安全性が高い環境下では、運転者が所望する注目領域が強調表示されるように、表示システム30を制御する(S250,S340,S175,S430)。一方、安全性が低い環境下では、自車両の安全に寄与する情報を表示する特定の情報表示領域A1,A2が強調表示されるように、表示システム30を制御する(S260,S280,S290,S360,S370,S175,S440)。
具体的に、本実施例では、注目領域が簡素な情報を表示する情報表示領域B1である場合には、表示制御装置11が運転負荷の高低の判定のみによって、自車両の走行に関する安全性の高低を判定し、注目領域(情報表示領域B1)を強調表示するか、自車両の安全に寄与する情報を表示する情報表示領域A1,A2を強調表示するかを切り替える。即ち、運転負荷が高い場合には(S330でYes)、情報表示領域A1,A2が強調表示され、運転負荷が低い場合には(S330でNo)、注目領域である情報表示領域B1が強調表示されるように、表示システム30を制御する(S340,S360,S370)。
一方、注目領域が道路情報のような運転者による理解に時間を要する複雑な情報を表示する情報表示領域B2である場合、表示制御装置11は、運転負荷の高低の判定結果及び衝突危険度の高低の判定結果の組合せによって、自車両の走行に関する安全性の高低を判定し、注目領域を強調表示するか、情報表示領域A1,A2を強調表示するかを切り替える。
特に、本実施例では、運転負荷が低いと判定され、且つ、衝突危険度が低いと判定された場合に限って、注目領域が強調表示されるように、表示システム30を制御し(S250)、運転負荷が高いと判定されている場合、又は、衝突危険度が高いと判定されている場合には、情報表示領域A1,A2が強調表示されるように、表示システム30を制御する(S260,S280,S290)。
そして、衝突危険度が高い場合には、情報表示領域A2が強調表示されるような表示システム30に対する制御を行うことにより(S260,S290)、運転者の関心が衝突回避行動に向くようにし、衝突回避に有意義な情報を運転者に提供する。また、衝突危険度については高くないが、運転負荷が高い場合には、情報表示領域A1が強調表示されるような表示システム30に対する制御を行うことにより(S280)、運転者の関心が自車両の安全運転に向くようにし、安全運転に有意義な情報を運転者に提供する。
従って、本実施例によれば、運転者が所望する情報や車両安全のために運転者に提供すべき情報を、状況に応じた強調表示の切り替えにより、適切に視認性良く表示することができ、車両の安全を確保しつつ、運転者に各種情報を適切に提供することができる。
特に本実施例によれば、運転者の身体信号(血圧や心拍等)に基づき、運転者の心理状態(緊張/興奮した状態にあるか否か)を識別して、運転者の運転負荷の高低を判定するので、運転者の操作による車両状態に基づいて運転負荷の高低を判定するだけの場合よりも、より適切に運転負荷の高低を判定することができ、強調表示の切り替えを、運転者の心理的な側面も加味して、適切に行うことができる。
ところで、本実施例では、自車両の走行に関する安全性の高低として、運転者の運転負荷の高低及び自車両の衝突危険度の高低を判定するように、制御システム1を構成したが、表示システム30が情報表示領域A2を有しないシステムである場合、表示制御装置11は、運転者の運転負荷の高低についての判定のみで、注目領域を強調表示するか否かを切り替える構成にすることができる。
この他、衝突危険度についての判定のみで、注目領域を強調表示するか否かを切り替えるように、表示制御装置11は構成されてもよい。例えば、衝突危険度が低い場合には、注目領域を強調表示するが、衝突危険度が高い場合には、情報表示領域A2を強調表示するといった具合である。この場合、情報表示領域A1については、情報表示領域A2と連動して、強調表示することができる。
また、上記実施例によれば、情報表示領域A1,A2,B1,B2のいずれか一つのみを強調表示する例について説明したが、情報表示領域A1については法規により表示が義務付けられた情報を表示する領域であるので、常に強調表示するようにしてもよい。
この他、上記実施例では、表示装置31,33,35,37の夫々が照明ユニット31A,33A,35A,37Aを有し、これらの照明ユニット31A,33A,35A,37Aの内の一つをオンにし、他をオフにするにすることにより、情報表示領域A1、A2,B1,B2のいずれか一つの強調表示を実現するようにしたが、オン/オフではなく、照明ユニット31A,33A,35A,37Aの出力(輝度)を高める/弱めることによって、情報表示領域A1,A2,B1,B2のいずれか一つの強調表示を実現することも可能である。
また、表示制御装置11は、表示装置31,33,35,37の内、液晶/有機ELディスプレイ等からなるディジタル表示可能な表示装置に対して、この表示装置が有する情報表示領域の明度、彩度及び色相の少なくとも一つを調整することにより、情報表示領域の更なる強調表示を行う構成にされてもよい。
この他、以上には、複数の表示装置31,33,35,37を有する表示システム30を制御する制御システム1の例について説明したが、単一の表示装置41が上述した複数の情報表示領域A1,A2,B1,B2を有する表示システム40を制御する制御システム1に、本発明を適用することも可能である。
[変形例]
変形例の制御システム1は、上述した実施例と同様、複数の情報表示領域A1,A2,B1,B2を制御し、状況に応じて、運転者が注目する情報表示領域又は自車両の安全に寄与する情報を表示する情報表示領域を切り替えて強調表示するものである。
但し、変形例の制御システム1が上述の表示システム30に代えて制御する表示システム40は、図11に示すように、単一の表示装置41からなり、複数の情報表示領域A1,A2,B1,B2を、この単一の表示装置41内に備える。変形例の制御システム1は、制御対象の表示システム40が単一の表示装置41を備えること、及び、それに伴って
情報表示領域A1,A2,B1,B2の強調表示の態様が、上述した実施例と若干異なることを除けば、上述した実施例と基本的に同一構成である。従って、以下では、上述した実施例との相違点を選択的に説明する。
表示装置41は、液晶/有機ELディスプレイを備え、制御システム1により制御されて、このディスプレイ上に、上述した実施例と同様の情報を表示する複数の情報表示領域A1,A2,B1,B2を備えた構成にされる。
一方、表示制御装置11は、情報表示領域A1,A2,B1,B2が表示する画像の明度、彩度、及び、色相の少なくとも一つを調整することにより、上述した実施例と同様に、状況に応じて、運転者が注目する情報表示領域又は自車両の安全に寄与する情報を表示する情報表示領域を切り替えて強調表示する。
例えば、表示制御装置11は、S280,S360,S430で情報表示領域A1を他の情報表示領域A2,B1,B2に対して強調表示する場合、情報表示領域A1の明度を上げる一方、情報表示領域A2,B1,B2の明度を下げることにより、強調表示を実現する。この他、表示制御装置11は、情報表示領域A1において、他の情報表示領域A2,B1,B2よりも鮮やかな色を用いて情報表示を行うことにより、情報表示領域A1の強調表示を実現する構成にされてもよい。
また、表示制御装置11は、情報表示領域A1,A2,B1,B2における表示画像の透明度を調整し、強調表示する対象以外の情報表示領域での表示画像を薄く表示することにより、強調表示する対象の情報表示領域を強調表示する構成にすることができる。
変形例の表示制御装置11は、このような手法によって、S280,S360,S430で情報表示領域A1を強調表示し、S175,S260,S290,S370,S440で情報表示領域A2を強調表示し、S340で情報表示領域B1を強調表示し、S250で情報表示領域B2を強調表示する。
以上、変形例の制御システム1について説明したが、変形例に制御システム1においても、上述した実施例と同様の効果を得ることができる。
1…制御システム、11…表示制御装置、11A…CPU、11B…ROM、11C…RAM、13…操作入力装置、15…音入力装置、17…車室内カメラ、19…身体測定装置群、21…車両状態検出装置群、23…ナビゲーション装置本体、25…周辺観測装置、30…表示システム、31…表示装置、31A…照明ユニット、33…表示装置、33A…照明ユニット、35…表示装置、35A…照明ユニット、37…表示装置、37A…照明ユニット、40…表示システム、41…表示装置、A1…情報表示領域、A2…情報表示領域、B1…情報表示領域、B2…情報表示領域、P0…表示制御処理、P1…視線検出処理、P2…ジェスチャー検出処理、P3…入力操作検出処理、P4…音声操作検出処理、P5…身体信号観測処理、P6…車両状態観測処理。

Claims (10)

  1. 自車両に搭載された複数の表示領域(A1,A2,B1,B2)を有する表示システムを制御する制御装置(1)であって、
    前記複数の表示領域の内、前記自車両の運転者が注目する表示領域としての注目領域を、前記運転者の動作に基づき判別する領域判別手段(11,13,15,17,S110〜S145)と、
    記自車両周辺の状態を識別することにより、前記自車両の衝突危険度の高低を判定する安全性判定手段(11,2,S220,S320,S410)と、
    前記安全性判定手段によって前記衝突危険度が低いと判定されている場合には、前記領域判別手段によって判別された前記注目領域に表示される情報が強調表示されるように、前記表示システムを制御する一方、前記安全性判定手段によって前記衝突危険度が高いと判定されている場合には、前記注目領域とは異なる前記複数の表示領域の内の特定の表示領域(A2)に表示される情報が強調表示されるように、前記表示システムを制御する制御手段(11,S175,S250,S260,S290,S340,S370,S430,S440)と、
    を備え、前記特定の表示領域(A2)は、前記自車両の衝突回避に寄与する自車両周辺の情報を表示する表示領域であること
    を特徴とする制御装置。
  2. 前記領域判別手段(11,17,S110〜S125)は、前記運転者の動作としての前記運転者の視線及び手の動きの少なくとも一つに基づき、前記注目領域を判別すること
    を特徴とする請求項1記載の制御装置。
  3. 前記複数の表示領域は、前記自車両の走行速度を含む、法規によって運転者に対する表示が義務付けられた前記自車両の車両情報を表示する表示領域(A1)である車両情報表示領域、及び、前記特定の表示領域(A2)を含む三以上の表示領域であり、
    前記安全性判定手段(11,19,21,25,S210,S220,S310,S320,S410)は、前記自車両の運転状態を識別することにより、前記運転者の運転負荷の高低を更に判定するように構成され、
    前記制御手段(11,S175,S250,S260,S280,S290,S340,S360,S370,S430,S440)は、前記安全性判定手段によって前記衝突危険度及び前記運転負荷が低いと判定されている場合には、前記注目領域に表示される情報が強調表示されるように、前記表示システムを制御し、前記安全性判定手段によって前記衝突危険度が低いと判定され、前記運転負荷が高いと判定されている場合には、前記車両情報表示領域に表示される情報が強調表示されるように、前記表示システムを制御し、前記安全性判定手段によって前記衝突危険度が高いと判定されている場合には、前記特定の表示領域に表示される情報が強調表示されるように、前記表示システムを制御すること
    を特徴とする請求項1又は請求項2記載の制御装置。
  4. 前記安全性判定手段(11,19,S210,S310)は、前記運転者の身体信号に基づき、前記運転者による前記自車両の運転状態として、前記運転者の心理状態を識別すること
    を特徴とする請求項記載の制御装置。
  5. 前記安全性判定手段は、前記身体信号として、前記運転者の血圧及び心拍の少なくとも一つを観測すること
    を特徴とする請求項記載の制御装置。
  6. 前記安全性判定手段(11,21,S210,S310)は、前記運転者による前記自車両の運転状態として、前記運転者の操作による自車両の車両状態を識別すること
    を特徴とする請求項〜請求項のいずれか一項記載の制御装置。
  7. 前記安全性判定手段(11,25,S220,S320,S410)は、前記自車両周辺の状態として、前記自車両周辺に位置する車両の交通状態を識別すること
    を特徴とする請求項1〜請求項のいずれか一項記載の制御装置。
  8. 前記表示システムは、複数の表示装置を備え、
    前記複数の表示領域の夫々は、互いに共通しない前記複数の表示装置のいずれか一つが備える表示領域であること
    を特徴とする請求項1〜請求項7のいずれか一項記載の制御装置。
  9. 前記制御手段は、前記表示システムが有する前記複数の表示領域の明度、彩度及び色相の少なくとも一つを制御することにより、前記強調表示を実現すること
    を特徴とする請求項1〜請求項のいずれか一項記載の制御装置。
  10. 前記表示システムは、前記表示領域の夫々に対応する照明手段(31A,33A,35A,37A)を有し、
    前記制御手段は、前記照明手段を制御することにより、前記強調表示を実現すること
    を特徴とする請求項1〜請求項のいずれか一項記載の制御装置。
JP2012287518A 2012-12-28 2012-12-28 制御装置 Expired - Fee Related JP5954169B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2012287518A JP5954169B2 (ja) 2012-12-28 2012-12-28 制御装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2012287518A JP5954169B2 (ja) 2012-12-28 2012-12-28 制御装置

Publications (2)

Publication Number Publication Date
JP2014130463A JP2014130463A (ja) 2014-07-10
JP5954169B2 true JP5954169B2 (ja) 2016-07-20

Family

ID=51408806

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2012287518A Expired - Fee Related JP5954169B2 (ja) 2012-12-28 2012-12-28 制御装置

Country Status (1)

Country Link
JP (1) JP5954169B2 (ja)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6481273B2 (ja) * 2014-07-11 2019-03-13 株式会社デンソー 車両用表示装置
JP2017123050A (ja) * 2016-01-07 2017-07-13 ソニー株式会社 情報処理装置、情報処理方法、プログラム、及びサーバ
CN110914882B (zh) * 2017-07-05 2022-02-08 三菱电机株式会社 显示系统和显示方法
WO2019016936A1 (ja) * 2017-07-21 2019-01-24 三菱電機株式会社 操作支援装置および操作支援方法
JP2017224346A (ja) * 2017-08-24 2017-12-21 ヤフー株式会社 要通知情報提示装置、要通知情報提示方法及び要通知情報提示プログラム
KR102640693B1 (ko) * 2022-03-18 2024-02-26 가부시키가이샤 덴소 차량의 클러스터 및 hud 통합 제어시스템

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH11120491A (ja) * 1997-10-17 1999-04-30 Matsushita Electric Ind Co Ltd 情報表示装置
JP4747457B2 (ja) * 2001-07-31 2011-08-17 日産自動車株式会社 車両用情報処理装置
JP4401890B2 (ja) * 2004-07-29 2010-01-20 本田技研工業株式会社 車両の認知支援装置
JP4577564B2 (ja) * 2005-02-28 2010-11-10 日本精機株式会社 車両用表示装置
JP4858094B2 (ja) * 2006-11-09 2012-01-18 アイシン・エィ・ダブリュ株式会社 ディスプレイ表示システム

Also Published As

Publication number Publication date
JP2014130463A (ja) 2014-07-10

Similar Documents

Publication Publication Date Title
JP5954169B2 (ja) 制御装置
US8390440B2 (en) Method for displaying a visual warning signal
US10362230B2 (en) In-vehicle display device
US8538628B2 (en) Control device
JP6620527B2 (ja) 情報処理装置及び車載システム
US11021103B2 (en) Method for enriching a field of view of a driver of a transportation vehicle with additional information, device for use in an observer transportation vehicle, device for use in an object, and transportation vehicle
US9201504B2 (en) Vehicular glance lighting apparatus and a method for controlling the same
JP2007106353A (ja) 車両用情報表示装置及び車両用情報表示システム
US8989916B2 (en) Vehicle signal lever proximity sensing for lane change intention detection with following recommendation to driver
US10752166B2 (en) Driving assistance method, and driving assistance device, automatic driving control device, and vehicle
KR20160004704A (ko) 자동차의 제어 시스템 및 제어방법
EP2644430A1 (en) Vehicular glance lighting apparatus and a method for controlling the same
US20160144717A1 (en) Movable display of information in a motor vehicle
US20110261039A1 (en) Vehicle display apparatus
JP2023181338A (ja) 車両用表示制御装置、車両用表示制御方法及びプログラム
JP5927784B2 (ja) 車両用障害物警告装置
JP4858094B2 (ja) ディスプレイ表示システム
JP5810511B2 (ja) 車両用表示装置および車両用表示方法
JP2018120352A (ja) 依存度推定装置
JP5073703B2 (ja) 車両用表示装置
CN110114809B (zh) 用于在具有变化的输出功能的光信号设备处提醒驾驶员起动的方法和装置
JP2006035995A (ja) 車両用表示装置
JP5664336B2 (ja) 表示制御システム、表示制御装置及びプログラム
JP6365202B2 (ja) 車両用表示制御装置
JP2019031176A (ja) 車両用表示装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20150313

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20151027

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20151030

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20151225

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20160517

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20160530

R151 Written notification of patent or utility model registration

Ref document number: 5954169

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151

LAPS Cancellation because of no payment of annual fees