JP2020111082A - 制御装置、制御システム、および、制御方法 - Google Patents

制御装置、制御システム、および、制御方法 Download PDF

Info

Publication number
JP2020111082A
JP2020111082A JP2019001274A JP2019001274A JP2020111082A JP 2020111082 A JP2020111082 A JP 2020111082A JP 2019001274 A JP2019001274 A JP 2019001274A JP 2019001274 A JP2019001274 A JP 2019001274A JP 2020111082 A JP2020111082 A JP 2020111082A
Authority
JP
Japan
Prior art keywords
display
driver
vehicle
area
processing unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2019001274A
Other languages
English (en)
Other versions
JP7223958B2 (ja
Inventor
岡部 吉正
Yoshimasa Okabe
吉正 岡部
吉田 崇
Takashi Yoshida
崇 吉田
将由 道口
Masayoshi Michiguchi
将由 道口
太一 依田
Taichi Yoda
太一 依田
定子 山形
Sadako Yamagata
定子 山形
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Panasonic Intellectual Property Management Co Ltd
Original Assignee
Panasonic Intellectual Property Management Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Panasonic Intellectual Property Management Co Ltd filed Critical Panasonic Intellectual Property Management Co Ltd
Priority to JP2019001274A priority Critical patent/JP7223958B2/ja
Publication of JP2020111082A publication Critical patent/JP2020111082A/ja
Application granted granted Critical
Publication of JP7223958B2 publication Critical patent/JP7223958B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Closed-Circuit Television Systems (AREA)
  • Controls And Circuits For Display Device (AREA)

Abstract

【課題】運転者が表示装置に表示された領域の変化を確認できること。【解決手段】制御装置は、車両に設けられるウインカレバーの操作を検知する検知部と、車両に設けられた撮影装置によって撮影された映像に映像処理を行い、車両に設けられた表示装置に表示させる処理部と、を備える。処理部は、検知部がウインカレバーの左または右への操作を検知した場合、操作の方向に対応する表示装置に表示する視野範囲の領域を、操作の方向の後方の第1の領域から、第1の領域に隣接して側後方に位置する第3の領域を含む第2の領域へ切り替える切替処理を実行し、処理部は、切替処理が実行されていることを車両の運転者に知らせる第1の提示処理を実行する。【選択図】図1

Description

本開示は、制御装置、制御システム、および、制御方法に関する。
近年、CCDカメラ等の撮像装置によって撮像された車両の周辺の画像を液晶ディスプレイ等の表示装置に表示させるシステムにおいて、表示装置に表示させる領域(例えば、視野範囲)を変化させることによって運転者の運転操作を支援することが検討されている(例えば、特許文献1)。
特開2006−131213号公報
しかしながら、運転者が表示装置に表示された領域の変化を確認できないことがある。
本開示の非限定的な実施例は、運転者が表示装置に表示された領域の変化を確認できる制御装置、制御システム、および、制御方法の提供に資する。
本開示の一態様に係る制御装置は、車両に設けられるウインカレバーの操作を検知する検知部と、前記車両に設けられた撮影装置によって撮影された映像に映像処理を行い、前記車両に設けられた表示装置に表示させる処理部と、を備え、前記処理部は、前記検知部が、前記ウインカレバーの左または右への操作を検知した場合、前記操作の方向に対応する表示装置に表示する視野範囲の領域を、前記操作の方向の後方の第1の領域から、前記第1の領域に隣接して側後方に位置する第3の領域を含む第2の領域へ切り替える切替処理を実行し、前記処理部は、前記切替処理が実行されていることを前記車両の運転者に知らせる第1の提示処理を実行する。
本開示の一態様に係る制御システムは、車両に設けられる撮影装置と、前記車両に設けられる表示装置と、前記車両に設けられ、前記車両の運転者のウインカ作動についての操作を受けつけるウインカレバーと、制御装置と、を備え、前記制御装置は、前記ウインカレバーの操作を検知する検知部と、前記撮影装置によって撮影された映像に映像処理を行い、前記表示装置に表示させる処理部と、を備え、前記処理部は、前記検知部が、前記ウインカレバーの左または右への操作を検知した場合、前記操作の方向に対応する表示装置に表示する視野範囲の領域を、前記操作の方向の後方の第1の領域から、前記第1の領域に隣接して側後方に位置する第3の領域を含む第2の領域へ切り替える切替処理を実行し、前記処理部は、前記切替処理が実行されていることを前記車両の運転者に知らせる第1の提示処理を実行する。
本開示の一態様に係る制御方法は、車両に設けられるウインカレバーの操作を検知し、前記車両に設けられた撮影装置によって撮影された映像に映像処理を行い、前記車両に設けられた表示装置に表示させる、制御方法であって、前記ウインカレバーの左または右への操作が検知された場合、前記操作の方向に対応する表示装置に表示する視野範囲の領域を、前記操作の方向の後方の第1の領域から、前記第1の領域に隣接して側後方に位置する第3の領域を含む第2の領域へ切り替える切替処理を実行し、前記切替処理が実行されていることを前記車両の運転者に知らせる第1の提示処理を実行する。
なお、これらの包括的または具体的な態様は、システム、方法、集積回路、コンピュータプログラム、または、記録媒体で実現されてもよく、システム、装置、方法、集積回路、コンピュータプログラムおよび記録媒体の任意な組み合わせで実現されてもよい。
本開示の一態様によれば、運転者が表示装置に表示された領域の変化を確認できる。
本開示の一態様における更なる利点および効果は、明細書および図面から明らかにされる。かかる利点および/または効果は、いくつかの実施形態並びに明細書および図面に記載された特徴によってそれぞれ提供されるが、1つまたはそれ以上の同一の特徴を得るために必ずしも全てが提供される必要はない。
本開示の一実施の形態に係る制御システムの構成例を示すブロック図 本開示の一実施の形態における視野範囲拡大処理の一例を示す図 本開示の一実施の形態における視野範囲拡大処理の一例を示す図 本開示の一実施の形態における視線誘導処理の第1の例を示す図 本開示の一実施の形態における視線誘導処理の第2の例を示す図 本開示の一実施の形態における視線誘導処理の第3の例を示す図 本開示の一実施の形態における視線誘導処理の第4の例を示す図 本開示の一実施の形態における視線誘導処理の第5の例を示す図 本開示の一実施の形態における視線誘導処理の第6の例を示す図 本開示の一実施の形態における視線誘導処理のアニメーションの第1の例を示す図 本開示の一実施の形態における視線誘導処理のアニメーションの第2の例を示す図 本開示の一実施の形態における視線誘導処理のアニメーションの第3の例を示す図 本開示の一実施の形態におけるエフェクトの組み合わせの例を示す図 本開示の一実施の形態におけるウインカレバーの構造の一例を示す図 本開示の一実施の形態におけるウインカレバーの操作と右サイドディスプレイの表示との関係の一例を示す図 車両が合流地点付近を走行中の場合の視野範囲の変更の一例を示す図 道路の合流地点における右サイドカメラが撮影した映像の一例を示す図 本開示の一実施の形態におけるウインカレバーの操作に応じた表示処理の一例を示すフローチャート
以下に添付図面を参照しながら、本開示の好適な実施形態について詳細に説明する。尚、本明細書及び図面において、実質的に同一の機能を有する構成要素については、同一の符号を付することにより重複説明を省略する。
(一実施の形態)
<制御システムの構成例>
図1は、本開示の実施の形態に係る制御システム1の構成例を示すブロック図である。図1に示す制御システム1は、例えば、車両に適用され、車両の運転者の運転支援を行う。
なお、以下の説明における、「前」、「後」、「左」、および、「右」は、車両の進行方向に対する方向を示す。別言すれば、以下の説明における、「前」、「後」、「左」、および、「右」は、車両の運転席に座った運転者から見た方向に相当する。
制御システム1は、コントローラ(制御装置)10と、左サイドカメラ11と、右サイドカメラ12と、ウインカレバー(turn signal lever、または、turn indicator lever等と称されてもよい)14と、左サイドディスプレイ16と、右サイドディスプレイ17と、を含む。なお、図示は省略するが、制御システム1には、車両に搭載される種々の操作部、センサ、および、表示部が含まれてもよい。
左サイドカメラ11は、例えば、左側のサイドミラーの位置に搭載される撮影装置である。左サイドカメラ11の撮影領域は、少なくとも、車両の左後方の領域、および、左側後方の領域を含む。左サイドカメラ11は、撮影した映像をコントローラ10へ出力する。なお、左サイドカメラ11が左サイドミラーを置き換えるミラーレスの構成でもよいし、左サイドミラーと左サイドカメラ11との双方が車両に設けられてもよい。
右サイドカメラ12は、例えば、右側のサイドミラーの位置に搭載される撮影装置である。右サイドカメラ12の撮影領域は、少なくとも、車両の右後方の領域、および、右側後方の領域を含む。右サイドカメラ12は、撮影した映像をコントローラ10へ出力する。なお、右サイドカメラ12が右サイドミラーを置き換えるミラーレスの構成でもよいし、右サイドミラーと右サイドカメラ12との双方が車両に設けられてもよい。
ウインカレバー14は、例えば、車両のステアリングホイールの前方に傾動操作可能に配設される。ウインカレバー14は、運転者から傾動操作を受け付ける。ウインカレバー14の操作に応じて、ウインカランプ(turn signal lamp、または、turn indicator lamp等と称されてもよい)が作動する。なお、以下では、左側および右側のウインカランプの両方を作動させないウインカレバー14のクリック位置は、「中立位置」と記載されることがある。
例えば、ウインカレバー14は、中立位置から右回りに所定角度操作されることによって右クリック位置に移動する。また、ウインカレバー14は、中立位置から左回りに所定角度操作されることによって左クリック位置に移動する。ウインカレバー14が右クリック位置に移動した場合、右側のウインカランプが点滅し、ウインカレバー14が左クリック位置に移動した場合、左側のウインカランプが点滅する。また、右側のウインカランプまたは左側のウインカランプが点滅した場合、すなわち、ウインカが作動した場合、車室内にリレー音が出力されてよい。
ウインカレバー14が軽く傾動された半押し状態では、傾動された方向に対応するウインカランプが点滅する。半押し状態から更に傾動され、右または左クリック位置に移動した場合、ウインカレバー14から手を離しても、傾動された方向に対応するウインカランプは点滅し続ける。また、例えば、運転者が、半押し状態のウインカレバー14から手を離した場合、ウインカレバー14は中立位置に移動し、ウインカランプの点滅が停止する。
ウインカレバー14が右クリック位置または左クリック位置に移動している状態(全押し状態)では、ステアリングホイールが所定の操舵角以上戻った場合、および、運転者がウインカレバー14を中立位置まで戻した場合等、運転者の操作によりウインカレバー14の全押し状態が解除され、ウインカランプの点滅が停止する。
左サイドディスプレイ16は、例えば、車両の車室内において、運転席よりも左前方の位置に設けられる表示装置である。左サイドディスプレイ16の表示画面には、左サイドカメラ11によって撮影され、コントローラ10によって処理が施された映像が表示される。左サイドディスプレイ16は、LED(Light Emitting Diode)161、および、スピーカー162を有してもよい。LED161は、コントローラ10によって制御され、点灯、点滅、または、消灯する発光部に相当する。スピーカー162は、コントローラ10によって制御される。
右サイドディスプレイ17は、例えば、車両の車室内において、運転席よりも右前方の位置に設けられる表示装置である。右サイドディスプレイ17の表示画面には、右サイドカメラ12によって撮影され、コントローラ10によって処理が施された映像が表示される。右サイドディスプレイ17は、LED171、および、スピーカー172を有してもよい。LED171は、コントローラ10によって制御され、点灯、点滅、または、消灯する。スピーカー172は、コントローラ10によって制御される。
なお、以下の説明において、左サイドディスプレイ16と右サイドディスプレイ17は、区別することなく、「ディスプレイ」または「表示装置」と記載されることがある。ディスプレイは、左サイドディスプレイ16と右サイドディスプレイ17の少なくとも一方に相当する。
コントローラ10は、例えば、ECU(Electric Control Unit)等によって構成されてよい。ECUは、入力端子、出力端子、プロセッサ、プログラムメモリおよびメインメモリを含む。
プロセッサは、プログラムメモリに格納されたプログラムを、メインメモリを用いて実行して、入力端子を介して受け取った各種信号を処理するとともに、出力端子を介して各種信号を出力する。
例えば、コントローラ10は、左サイドカメラ11から出力される映像に映像処理を施し、左サイドディスプレイ16に表示させる制御、および、右サイドカメラ12から出力される映像に映像処理を施し、右サイドディスプレイ17に表示させる制御を行う。また、コントローラ10は、ウインカレバー14に対する運転者の操作等の運転者の操作、または、運転者の動作に関する情報を取得し、映像に対する処理を変更する。
コントローラ10は、検知部101と、処理部102とを含む。例えば、コントローラ10は、プロセッサがプログラムを実行することで、検知部101と、処理部102等として機能する。
検知部101は、例えば、運転者の操作、または、運転者の動作に関する情報を検知する。検知部101は、一例として、ウインカレバー14の操作状態を検知する。ウインカレバー14の操作状態は、例えば、ウインカレバー14が移動した位置、ウインカレバー14が傾けられた角度、ウインカレバー14に与えられるトルク等の少なくとも1つを含む。また、ウインカレバー14に感圧センサが設けられる場合、ウインカレバー14の操作状態は、ウインカレバー14が受ける力の向き(例えば、右回りまたは左回りの向き)を含んでもよい。
処理部102は、検知部101の検知結果に基づいて、左サイドカメラ11から出力される映像に処理を施し、左サイドディスプレイ16に表示させる制御、および、右サイドカメラ12から出力される映像に処理を施し、右サイドディスプレイ17に表示させる制御を行う。
例えば、ウインカレバー14が中立位置であることが検知部101によって検知された場合、処理部102は、右サイドディスプレイ17に右サイドカメラ12が撮影した第1の領域の映像を表示させる。
運転者の第1の動作が検知部101によって検知された場合、処理部102は、右サイドディスプレイ17に表示させる映像の領域を第1の領域から第2の領域へ変更する処理を行う。
第1の動作とは、例えば、運転者がウインカレバー14を中立位置から右回りに傾動させ、右クリック位置に移動させる操作である。
また、第1の領域は、車両の右後方の領域であり、第2の領域は、車両の右後方の第1の領域よりも広い領域である。例えば、第2の領域は、第1の領域に隣接して右側後方に位置する第3の領域を含む。第1の領域が車両の右後方の領域であり、第2の領域が車両の右後方の第1の領域よりも広い領域である場合、第1の領域から第2の領域へ変更する処理は、視野範囲を拡大する処理(以下、視野範囲拡大処理)と捉えてよい。なお、視野範囲拡大処理の一例については、後述する。
上述では、コントローラ10が右サイドカメラ12によって撮影された映像を右サイドディスプレイ17に表示させる場合の視野範囲拡大処理を例に挙げて説明した。コントローラ10は、右サイドディスプレイ17と同様に、左サイドカメラ11によって撮影された映像を左サイドディスプレイ16に表示させる場合にも、視野範囲拡大処理を行ってよい。なお、左サイドディスプレイ16に表示させる場合のコントローラ10の視野範囲拡大処理では、ウインカレバー14の操作は、上述した右サイドディスプレイ17の場合と、左右対称である。
また、以下の説明では、左右の対称性を鑑みて、右サイドディスプレイ17の表示に対する処理または左サイドディスプレイ16の表示に対する処理のいずれか一方について説明し、他方については説明を省略する場合がある。
<視野範囲拡大処理の例>
図2Aおよび図2Bは、本実施の形態における視野範囲拡大処理の一例を示す図である。図2Aおよび図2Bには、右サイドディスプレイ17における表示例が示される。
図2Aは、視野範囲拡大処理が実行されていない場合の表示例である。視野範囲拡大処理が実行されていない場合、車両の右後方の領域(第1の領域)が右サイドディスプレイ17に表示される。
図2Bは、視野範囲拡大処理が実行されている場合の表示例である。視野範囲拡大処理が実行されている場合、枠Sの内側に示される車両の右後方の領域(第1の領域)と、枠Sの外側に示される、第1の領域よりも右側後方の第3の領域とが右サイドディスプレイ17に表示される。
なお、図2Bにおける、枠Sは、説明の便宜上、右サイドディスプレイ17に破線で示されるが、実際には表示されなくてよい。
視野範囲拡大処理では、処理部102は、右サイドカメラ12によって撮影された映像から右サイドディスプレイ17に表示する領域を抽出し、抽出した領域の倍率を調整する。例えば、視野範囲拡大処理では、図2Aに示した表示から図2Bに示した表示に遷移する。この場合、例えば、処理部102は、即座に(遅滞なく)表示を遷移させてよい。
なお、以下の説明において、視野範囲拡大処理が実行されていない場合の表示は、通常視野の表示と記載され、視野範囲拡大処理が実行されている場合の表示は、拡大視野の表示と記載されることがある。
視野範囲拡大処理では、視野範囲を拡大するために、映像の表示倍率を下げる。表示倍率を下げることによって、通常視野で表示されている領域は、拡大視野の表示では小さく映る(図2Aおよび図2Bの枠S参照)。例えば、通常視野の表示において比較的近くを走行する車両が、拡大視野の表示では遠くに後退したかの様に映ってしまうため、運転者は、後続車両が遠ざかったとの誤った認識によって、周囲の状況を誤認する可能性がある。
本実施の形態におけるコントローラ10は、運転者が周囲の状況を誤認することを防止するために、視野範囲拡大処理が実行されていることを運転者に知らせる提示処理を行う。例えば、視野範囲拡大処理が実行されていることを運転者に知らせる提示処理は、運転者の視線を誘導する視線誘導処理に相当する。そのため、以下の説明において、「視線誘導処理」という記載は、「提示処理」の一例である、と捉えてよい。
例えば、コントローラ10において、運転者の第2の動作が検知部101によって検知された場合、処理部102は、運転者の視線を右サイドディスプレイ17に誘導する視線誘導処理を行う。第2の動作とは、運転者がウインカレバー14を右(または左)へ操作する際に行われる所定の動作である。所定の動作は、例えば、運転者が中立位置のウインカレバー14の左側(または右側)に触れ、右クリック位置(または左クリック一)への移動を開始する動作である。
なお、運転者の第2の動作が検知部101によって検知されたタイミングから所定時間後(例えば、0.1秒後)に、処理部102は、視野範囲拡大処理を行う、としてもよい。
左および右のそれぞれについて鑑みると、処理部102は、検知部101がウインカレバー14の左または右への操作を検知した場合、操作の方向に対応するディスプレイに表示する視野範囲の領域を、操作の方向(左または右)の後方の領域から、後方の領域に隣接して側後方に位置する領域を含む領域へ切替える視野範囲拡大処理(切替処理と記載されることがある)を実行する。また、処理部102は、視野範囲拡大処理(切替処理)が実行されていることを運転者に知らせる提示処理(例えば、第1の提示処理)を実行する。
次に、視線誘導処理の例について、視線誘導処理が施された表示例に基づいて説明する。
<視線誘導処理の例(静的エフェクト)>
図3Aは、本実施の形態における視線誘導処理の第1の例を示す図である。図3Aに示すように、第1の例において、処理部102は、右サイドディスプレイ17に設けられたLED171を発光(点灯)させる視線誘導処理を行う。
図3Bは、本実施の形態における視線誘導処理の第2の例を示す図である。図3Bに示すように、第2の例において、処理部102は、右サイドディスプレイ17の表示領域の外枠を高い輝度で表示させる視線誘導処理を行う。
図3Cは、本実施の形態における視線誘導処理の第3の例を示す図である。なお、図3Cでは、枠Sの内側の第1の領域と枠Sの外側の第3の領域とが異なる態様であることが、ハッチングを用いて示されている。図3Cに示すように、第3の例において、処理部102は、枠Sの内側の第1の領域と、枠Sの外側の第3の領域とに異なる態様を与える視線誘導処理を行う。例えば、処理部102は、第1の領域の輝度と第3の領域の輝度とに差を設けて表示させる。
輝度の差を設ける方法については、特に限定されない。例えば、第1の領域の輝度を第3の領域の輝度よりも低くしてもよいし、第1の領域の輝度を第3の領域の輝度よりも高くしてもよい。
一例としては、第1の領域の輝度を基準値よりも低く設定し、第3の領域の輝度を基準値に設定してよい。例えば、基準値は、視線誘導処理を行う前の右サイドディスプレイ17の輝度、あるいは、通常視野の表示における輝度であってもよい。この場合、第1の領域の輝度が低いため、第1の領域の視認性を下げることができ、第1の領域に表示される後続車までの距離感の認識を阻害できる。第1の領域の表示の視認性を下げることによって、運転者が、後続車が小さく表示される画像(後続車が遠くに見える画像)から誤った認識を受けることを防止できる。
また、別の一例として、第1の領域の輝度を基準値に設定し、第3の領域の輝度を基準値よりも高く設定してよい。例えば、基準値は、視線誘導処理を行う前の右サイドディスプレイの輝度、あるいは、通常の表示状態の輝度であってもよい。この場合、第3の領域の輝度が通常よりも高いため、運転者の視線の誘導をより効果的に行うことができる。
図3Dは、本実施の形態における視線誘導処理の第4の例を示す図である。図3Dに示すように、第4の例において、処理部102は、第3の領域の外周の辺のうち、第1の領域の外周(枠S)を除く辺の部分を高い輝度で表示させる視線誘導処理を行う。
なお、図3Dでは、第3の領域の外周の辺のうち、第1の領域の外周(枠S)を除く辺の部分を高い輝度で表示させる例を示したが、高い輝度で表示させる枠(または辺)はこれに限定されない。例えば、第3の領域の外周の辺の全てを高い輝度で表示させてもよいし、第3の領域の下側の辺と右側の辺を高い輝度で表示させてもよい。
図3Dの例では、運転者による映像の認識を妨げることなく、運転者の視線の誘導をより効果的に行うことができる。
また、上述した例では、視線誘導処理が、ディスプレイの表示を用いた処理の例を説明したが、例えば、視線誘導処理は、音声を用いた処理であってもよい。
例えば、処理部102は、ウインカレバー14の操作に対応する側のディスプレイのスピーカー(例えば、上述の例では、右サイドディスプレイ17のスピーカー172)から音を出力する視線誘導処理を行ってもよい。この場合、スピーカー172から出力される音は、ウインカを作動した場合の方向指示を示すリレー音であってもよいし、他の警告音、または、音声メッセージであってもよい。
また、視線誘導処理では、上述したディスプレイの表示を用いた処理と、音声を用いた処理との組み合わせであってもよい。
なお、上述の第1の例から第4の例は、運転者の視線を誘導する処理を施した表示であり、運転者に視野範囲拡大処理が実行されていることを示すことができる。別言すれば、上述した視線誘導処理は、運転者に視野範囲拡大処理が実行されていることを示すための処理と捉えてもよい。つまり、本実施の形態における視線誘導処理は、運転者の視線を誘導する処理であり、かつ、運転者に視野範囲拡大処理が実行されていることを示す処理であるとしてよい。
なお、上述の第1の例におけるLED171の点灯は、運転者の視線を誘導し、視野範囲拡大処理が実行されていることを示してよい。
なお、上述の第1の例から第4の例は、表示が動的に変化しない映像のエフェクトを用いた視線誘導処理の例である。以下、表示が動的に変化しない映像のエフェクトは、静的エフェクトと記載されることがある。
静的エフェクトは、ディスプレイの表示領域において、強調の程度が低く、強調の態様に動的な変化が無いものであり、運転者に与える視覚的な刺激は比較的弱い。
なお、静的エフェクトよりも強調の程度が高く、強調の態様に動的な変化を伴うエフェクトを与える視線誘導処理が適用されてもよい。強調の態様に動的な変化を伴うエフェクトは、動的エフェクトと記載されることがある。以下、動的エフェクトを与える視線誘導処理の例を説明する。
<視線誘導処理の例(動的エフェクト)>
例えば、第1の例において、処理部102は、LED171を点滅してもよい。また、処理部102は、LED171の発光色を周期的に変更してもよい。
例えば、第2の例において、処理部102は、右サイドディスプレイ17の表示領域の外枠の輝度を時間経過に応じて変更してもよいし、輝度を変更する範囲の広さおよび/または位置を時間経過に応じて変更してもよい。
また、第3の例において、処理部102は、輝度の差の大きさを時間経過に応じて変更してもよいし、輝度の差を与える領域の広さおよび/または位置を時間経過に応じて変更してもよい。
また、第4の例において、処理部102は、右サイドディスプレイ17の表示領域の外枠の輝度を時間経過に応じて変更してもよいし、輝度を変更する範囲の広さおよび/または位置を時間経過に応じて変更してもよい。
例えば、第4の例に基づく動的な表示の変化の一例を説明する。
図4は、本実施の形態における視線誘導処理の第5の例を示す図である。図4には、右サイドディスプレイ17における、パターンaとパターンbの表示パターンが示される。
パターンaでは、第1の領域の外周(枠S)が高い輝度で表示される。パターンbでは、第3の領域の外周の辺のうち、第1の領域の外周(枠S)を除く辺の部分が高い輝度で表示される。
処理部102は、パターンaの表示とパターンbの表示とを交互に繰り返す視線誘導処理を行ってもよい。この場合、処理部102は、交互に繰り返す周期を、時間経過に応じて変更してもよい。例えば、処理部102は、周期を徐々に長くしてもよいし、徐々に短くしてもよい。
なお、図4では、2つの表示パターンを交互に表示させる動的な変化の一例を説明したが、動的な表示においては、3つ以上の表示パターンが順に周期的に表示されてもよい。
このように、動的な表示を行うことにより、運転者の注意を引きつけ、運転者の視線をより効果的にディスプレイに誘導できる。
なお、処理部102は、動的な表示を行う場合、表示の動きによって視線を誘導できるため、静的な表示(例えば、図3C)よりも輝度の差を小さくしてもよい。輝度の差を小さくする一方で、輝度の差が与えられる領域の位置およびサイズを動的に変化させることによって、運転者への視覚的な刺激を抑えながら、運転者の視線をより効果的にディスプレイに誘導できる。
また、動的な表示の変化は、車両の操作に関する情報と連動してもよい。以下では、ウインカ操作に関する情報と連動して、動的に表示が変化する一例を説明する。
図5は、本実施の形態における視線誘導処理の第6の例を示す図である。図5には、車両のステアリングホイールの前方に設けられるインパネ部に表示されるウインカ作動を示すランプLaと、右サイドディスプレイ17の表示例とが示される。
ウインカ作動を示すランプLaは、運転者によるウインカレバー14の操作に応じて点滅する。例えば、処理部102は、ウインカ作動を示すランプLaの点滅の周期(点灯と消灯を繰り返す周期)と、動的な変化の周期とを同期させる処理を行う。
図5の例では、処理部102は、ウインカ作動を示すランプLaが点灯している場合に、図3Cと同様に、第1の領域の輝度と第3の領域の輝度とに差を設け、ウインカ作動を示すランプLaが消灯している場合に、エフェクトを与えない。
なお、図5の例では、動的な表示の変化が、ウインカ作動を示すランプLaの点滅と連動する例を説明したが、動的な表示の変化は、ウインカ作動を示す音(リレー音)と連動させてもよい。例えば、ウインカ作動を示す音(リレー音)の周期と、動的な表示の周期とを同期させてもよい。
動的な表示の変化が、車両の操作に関する情報と連動することによって、例えば、運転者は、運転者の操作と連動してディスプレイの表示が変化していることを直感的に理解できる。そのため、運転者がディスプレイの表示を、例えば、他の警告であると誤解してしまうことを回避できる。
なお、動的な表示の変化は、図4および図5に示したような2つの表示を交互に繰り返す例に限定されない。以下では、視線誘導処理の例として、連続して動的に変化するアニメーション処理が行われる例を説明する。
図6は、本実施の形態における視線誘導処理のアニメーションの第1の例を示す図である。図6には、右サイドディスプレイ17における、パターンc〜パターンfの4つの表示パターンとパターン間の遷移の一例を示す矢印とが示される。
パターンcは、視野範囲拡大処理が実行されていない場合の表示例である。視野範囲拡大処理が実行されていない場合、車両の右後方の領域(第1の領域)が右サイドディスプレイ17に表示される。
パターンdは、視野範囲拡大処理が実行された場合の第1の表示例である。パターンdでは、枠Sの外側に示される第3の領域の輝度が、枠Sの内側に示される車両の右後方の領域(第1の領域)の輝度よりも高く設定される。この場合、輝度の境界は、枠Sに相当する。なお、図6では第3の領域の輝度が第1の領域の輝度よりも高く設定される事を、第1の領域の部分をハッチングする事で表しているが、例えば、第1の領域の輝度は基準値のままであって、第3の領域の輝度が基準値よりも高く設定される制御でもよい。
パターンdの表示の後、輝度の境界を枠Sから右サイドディスプレイ17の表示領域の外枠に向かって広げるアニメーションを行う。
パターンeは、視野範囲拡大処理が実行された場合の第2の表示例である。パターンeの輝度の境界は、パターンdの輝度の境界よりも、右サイドディスプレイ17の表示領域の外枠に向かって広がっている。
パターンfは、視野範囲拡大処理が実行された場合の第3の表示例である。パターンfの輝度の境界は、パターンeの輝度の境界よりも、右サイドディスプレイ17の表示領域の外枠に向かって広がっている。
パターンfの表示の後、輝度の境界を無くした状態の表示を経て、右サイドディスプレイ17は、パターンdに示す表示に戻り、再び、輝度の境界を枠Sから右サイドディスプレイ17の表示領域の外枠に向かって広げるアニメーションを行う。
なお、図6では、輝度の差を設けることによって、ディスプレイの表示領域内の視認性に差を与える例を説明したが、視認性に差を与える方法は、輝度の差に限定されない。以下では、表示領域内に、視認性に差を与える別の例を説明する。
図7は、本実施の形態における視線誘導処理のアニメーションの第2の例を示す図である。図7には、右サイドディスプレイ17における、パターンg〜パターンjの4つの表示パターンとパターン間の遷移の一例を示す矢印とが示される。
パターンgは、視野範囲拡大処理が実行されていない場合の表示例である。視野範囲拡大処理が実行されていない場合、車両の右後方の領域(第1の領域)が右サイドディスプレイ17に表示される。
パターンgの表示の後、視野範囲拡大処理が実行され、拡大視野を表示する。また、拡大視野の表示に対する視線誘導処理が実行される。
パターンhは、視線誘導処理が実行されている場合の第1の表示例である。パターンhでは、枠Sの外側に示される第3の領域に半透過のL字型の帯(ハッチングの箇所に相当)が重畳されて表示される。半透過のL字型の帯が重畳された領域においては、路面等の表示が透過されて見えている。
パターンhの表示の後、半透過のL字型の帯を右サイドディスプレイ17の表示領域の外枠に向かって狭くするアニメーションを行う。
パターンiは、視線誘導処理が実行されている場合の第2の表示例である。パターンiの半透過のL字型の帯は、パターンhよりも、右サイドディスプレイ17の表示領域の外枠に向かって狭まっている。
パターンjは、視線誘導処理が実行されている場合の第3の表示例である。パターンjの半透過のL字型の帯は、パターンiよりも、右サイドディスプレイ17の表示領域の外枠に向かって狭まっている。
パターンjの表示の後、半透過のL字型の帯を無くした状態の表示を経て、右サイドディスプレイ17は、パターンgに示す表示に戻り、再び、半透過のL字型の帯を枠Sから右サイドディスプレイ17の表示領域の外枠に向かって狭めるアニメーションを行う。
なお、図6および図7では、ディスプレイの表示領域内の視認性に差を与えるアニメーションの例を説明した。この例では、表示領域内の表示を隠すアニメーションでは無いため、運転者は、拡大視野の表示を遅滞なく視認できる。
なお、図6および図7では、ディスプレイの表示領域内の視認性に差を与えるアニメーションの例を説明したが、視認性に差を与えないアニメーションが用いられてもよい。以下では、表示領域内に、視認性の差を与えない例について説明する。
図8は、本実施の形態における視線誘導処理のアニメーションの第3の例を示す図である。図8には、右サイドディスプレイ17における、パターンk〜パターンnの4つの表示パターンとパターン間の遷移の一例を示す矢印とが示される。
パターンkは、視野範囲拡大処理が実行されていない場合の表示例である。視野範囲拡大処理が実行されていない場合、車両の右後方の領域(第1の領域)が右サイドディスプレイ17に表示される。
パターンkの表示の後、視野範囲拡大処理が実行され、拡大視野を表示する。また、拡大視野の表示に対する視線誘導処理が実行される。
パターンlは、視線誘導処理が実行されている場合の第1の表示例である。パターンlでは、車両の右後方の領域(第1の領域)を囲む枠Sに枠線が表示される。枠線は、右サイドディスプレイ17の表示領域を2つに区分する境界線に相当する。枠線は、輝度の高い線であり、所定の幅を有する。この枠線は半透過にして、背景を隠さない様にしてもよく、実線ではなく破線にして、背景を隠す程度を低減してもよい。また、枠線には、輝度の高い線ではなく、輝度の低い線が用いられても良い。
パターンlの表示の後、枠線の位置を右サイドディスプレイ17の表示領域の外枠に向かって広げるアニメーションを行う。
パターンmは、視線誘導処理が実行されている場合の第2の表示例である。パターンmの枠線の位置は、パターンlよりも、右サイドディスプレイ17の表示領域の外枠に向かって広がっている。
パターンnは、視線誘導処理が実行されている場合の第3の表示例である。パターンnの枠線の位置は、パターンmよりも、右サイドディスプレイ17の表示領域の外枠に向かって広がっている。
パターンnの表示の後、枠線が表示領域の外枠に一致した状態の表示を経て、右サイドディスプレイ17は、パターンlに示す表示に戻り、再び、枠線を枠Sから右サイドディスプレイ17の表示領域の外枠に向かって広げるアニメーションを行う。
図8では、ディスプレイの表示領域内の視認性に差を与えることがないアニメーションであり、また、表示領域内の表示を隠すアニメーションでは無いため、運転者は、拡大視野の表示を遅滞なく視認でき、見落としを防ぐことができる。
処理部102は、図6、図7または図8に示したアニメーションを周期的に繰り返す視線誘導処理を行ってもよい。この場合、処理部102は、アニメーションを繰り返す周期を、時間経過に応じて変更してもよい。例えば、処理部102は、周期を徐々に長くしてもよいし、徐々に短くしてもよい。
また、処理部102は、アニメーションを繰り返す周期を、車両の操作に関する情報と連動して実行してもよい。
例えば、処理部102は、ウインカ作動を示すランプの点滅の周期(点灯と消灯を繰り返す周期)とアニメーションを繰り返す周期とを同期させてもよいし、ウインカ作動を示す音(リレー音)の周期とアニメーションを繰り返す周期とを同期させてもよい。
なお、視線誘導処理は、上述した静的エフェクトの例および/または動的エフェクトの例のいずれか2つ以上の組み合わせであってもよい。組み合わせの一例について図9を参照して説明する。
図9は、本実施の形態におけるエフェクトの組み合わせの例を示す図である。図9では、図3Aと同様に、LED171が点滅し、図3Dと同様に、第3の領域の外周の辺のうち、第1の領域の外周(枠S)を除く辺の部分(領域T)を高い輝度で表示している。
例えば、図9に示す表示において、LED171の点滅と、領域Tとを同期または同質化させてもよい。例えば、LED171を点滅させる色と、領域Tの色とを同じ色に設定されてよい。また、例えば、領域Tの輝度の増加および減少と、LED171の輝度の増加および減少とを、同期させてもよい。
図9に示す表示により、LED171によって誘導された運転者の視線の行き先が、領域Tの中であることを運転者に提示できるので、運転者に対して、視野範囲拡大が実行されていることをより効率よく知らせることができる。
なお、領域Tを高い輝度で表示させる代わりに、上述した他の静的エフェクトを適用してもよいし、動的エフェクト(例えば、図6〜図8のいずれか1つ以上)を適用してもよい。
<視線誘導処理の停止、および、変更>
次に、上述した視線誘導処理を停止、および、変更する例について説明する。例えば、処理部102は、視線誘導処理を、所定の条件を満たすまで継続し、当該条件を満たした場合に停止してよい。
例えば、処理部102は、所定時間が経過した場合に、視線誘導処理を停止してもよい。あるいは、処理部102は、運転者による所定の操作が実行された場合に視線誘導処理を停止してもよい。ここで、所定の操作には、例えば、運転者がステアリングホイールを所定角度以上回転させる操作、または、運転者がウインカレバー14を中立位置に戻す操作が含まれる。
このように、処理部102が経過時間または運転者の操作に基づいて視線誘導処理を停止することによって、視線誘導処理の継続時間を短くできる。
また、上述した制御システム1に、運転者の視線の方向を検知する構成が含まれる場合、処理部102は、運転者の視線に応じて、視線誘導処理を継続、または、停止してもよい。
例えば、処理部102は、運転者の視線が右サイドディスプレイ17の設置された方向に向けられたことが検知されるまで、視線誘導処理を継続してもよい。そして、処理部102は、運転者の視線が右サイドディスプレイ17の設置された方向に向けられたことが検知された場合、右サイドディスプレイ17に対する視線誘導処理を停止してもよい。
このように、処理部102が運転者の視線に基づいて視線誘導処理を停止することによって、視線誘導処理の継続時間を短くでき、運転者への視覚的な刺激を抑えることができる。
なお、制御システム1に、運転者の視線の方向を検知する構成が含まれる場合、処理部102は、視線誘導処理が開始される条件を満たしている場合であっても、運転者の視線に応じて視線誘導処理を開始するか否かを判断してよい。
例えば、処理部102は、運転者の視線が右サイドディスプレイ17の設置された方向に向けられたことが検知されている場合、視線誘導処理を開始しなくてよい。
また、処理部102は、運転者の視線が右サイドディスプレイ17の設置された方向に向けられたことが検知されていない場合、視線誘導処理を開始してよい。そして、視線誘導処理が開始された後に、運転者の視線が右サイドディスプレイ17の設置された方向に向けられたことが検知された場合、処理部102は、視線誘導処理を停止してよい。
このように、運転者の視線に基づいて視線誘導処理を開始するか否かが判断されることによって、視線誘導処理を行うべき状況において視線誘導処理を開始でき、視線誘導処理を行わなくてもよい状況において視線誘導処理の開始を避けることができる。そのため、例えば、既に、該当するディスプレイ(上述では、右サイドディスプレイ17)に視線を向けている運転者が煩わしいと感じることを避けられる。
なお、上述では、視線誘導処理を開始してから経過した時間、または、検知した運転者の視線の方向に応じて、視線誘導処理が継続、または、停止される例を説明した。例えば、視線誘導処理を開始してから経過した時間、または、検知した運転者の視線の方向に応じて、視線誘導処理が変更されてもよい。
既に説明したように、静的エフェクトは、ディスプレイの表示領域において、強調の態様に動的な変化が無いものであり、運転者に与える視覚的な刺激は比較的弱い。一方で、動的エフェクトは、ディスプレイの表示領域において、強調の態様に動的な変化を伴うものであり、運転者に与える視覚的な刺激は比較的強い。
例えば、処理部102は、第1の所定時間が経過するまでの間、動的エフェクトを与える視線誘導処理を実行し、第1の所定時間が経過した後、静的エフェクトを与える視線誘導処理に切替えてもよい。また、処理部102は、第1の所定時間より長い第2の所定時間が経過した後で、視線誘導処理を停止してもよい。
また、制御システム1に、運転者の視線の方向を検知する構成が含まれる場合、処理部102は、視線の検知結果に応じて、動的エフェクトを与える処理と、静的エフェクトを与える処理とを変更してもよい。
処理部102は、運転者の視線が右サイドディスプレイ17の設置された方向に向けられたことが検知されていない間、動的エフェクトを与える視線誘導処理を実行し、運転者の視線が右サイドディスプレイ17の設置された方向に向けられたことが検知された場合に、静的エフェクトを与える視線誘導処理に切替えてよい。
なお、制御システム1に、運転者の視線の方向を検知する構成が含まれる場合、例えば、コントローラ10は、運転者の視線の方向を検知したタイミングに応じて視線誘導処理の停止または変更を行ってよい。
例えば、検知部101は、視線誘導処理を開始したタイミングから、運転者の視線が対応するディスプレイの設置された方向に向けられたタイミングまでの反応時間を算出する。また、検知部101は、運転開始から実行された視野範囲拡大処理の回数をカウントし、視野範囲拡大処理と反応時間とを対応づけて記憶する。処理部102は、視野範囲拡大処理の回数と反応時間とに基づいて、視野範囲拡大処理が運転者に認知されたか否かを推定する。
例えば、反応時間が所定値(例えば、0.3秒)以下の場合、運転者が視線誘導処理に促されて視線を移動しているのではないと判断されてよい。そして、所定値以下という条件を満たす反応時間に対応づけられる視野範囲拡大処理が、所定回数(例えば、3回)以上連続した場合、ディスプレイを確認する習慣が運転者に備わっている、と判断されてよい。また、この場合、運転者は、ウインカレバー14の操作に連動して、視野範囲拡大処理が実行されることを認識している、判断されてよい。
このような判断を基に、例えば、処理部102は、所定値以下という条件を満たす反応時間に対応づけられる視野範囲拡大処理が、所定回数以上連続した場合、動的なエフェクトを与える処理を静的なエフェクトを与える処理に変更してもよい。あるいは、この場合、処理部102は、ウインカレバー14の操作に関わらず、視線誘導処理を行わない、としてもよい。あるいは、この場合、処理部102は、LEDを点滅させる代わりに、点灯または消灯してよい。
このように、反応時間に基づいて、運転者がディスプレイを確認することを習慣づけられたかを判断することによって、過剰な視線誘導処理、または、不必要な視線誘導処理を制限できる。この時、コントローラ10は、ディスプレイを確認する習慣が運転者に備わっている、という判断結果を記憶部等に保持してよい。また、判断結果を保持する条件は、車両の運用形態(例えば、車両を使用する運転者が交代するか否か)に応じて変更されても良い。例えば、車両が路線バスであって、運転者の交代がある場合に、判断結果の保持が、停止されてもよい。判断結果の保持を停止するタイミングは、例えば、運転者の交代が認識された時点(例えば、運転者が路線バスのエンジンをオフにした時点)であってよい。また、自家保有の自動車であって、運転者の交代がない場合には、エンジンをオフにした後も、判断結果が保持されてよい。判断結果が保持されている場合、コントローラ10は、毎度、エンジンを起動してから所定の回数視線誘導処理を実行し、その後、視線誘導処理を実行しないような制御であってもよい。運転者がディスプレイを確認することが習慣づけられている場合に、視線誘導処理を実行しない、または、実行する頻度を抑えることによって、運転者に煩わしく思われることを回避する制御が適用されてもよい。
なお、反応時間に対する所定値(上述では、0.3秒)は、人の年齢、性別等に応じて異なるため、運転者に応じて設定されてもよい。または、反応時間に対する所定値は、車種毎に、想定する運転者の特性および/または嗜好を考慮して設定されてもよい。
なお、運転者の視線の方向を検知する構成については特に限定されない。例えば、本実施の形態における左サイドディスプレイ16および右サイドディスプレイ17は、車の利用者(例えば、運転者)に違和感を与えないように、従来のサイドミラーに近い位置に設置される。この場合、左サイドディスプレイ16と右サイドディスプレイ17とは、運転者が前方を確認している時の視線の方向から大きく変わる方向に設けられる。そのため、視線の方向を検知する構成は、例えば、視線の3次元空間における方位角および仰角のうち仰角の特定を省略し、2次元平面における方位角を特定する構成であってもよい。なお、運転者の視線の方向を検知する構成の代わりに、運転者の顔向きを検知する構成であってもよい。
また、処理部102は、運転者によるステアリングホイールの操作状態に基づいて、視線誘導処理を停止してよいし、あるいは、視線誘導処理を変更してよい。
例えば、動的エフェクトを与える視線誘導処理が実行されている状態において、検知部101がステアリングホイールの操舵角が所定値以上となったことを検知した場合、処理部102は、視線誘導処理を停止してよい。あるいは、この場合、処理部102は、動的エフェクトを与える視線誘導処理から静的エフェクトを与える視線誘導処理に変更してよい。例えば、この場合、処理部102は、LEDを点滅させた状態から、静的に点灯する状態に変更してよい。
このステアリングホイールの操舵角が所定値以上となった場合とは、例えば、車両が右左折または車線変更の動作を実行している場合に相当し、この間は、運転者は、主として前方ないし進路変更する方向を注視する事が求められる。視線誘導処理の停止または変更は、この間に、不必要に運転者の視線を誘導しない為の制御である。
また、処理部102は、車両の位置情報および地図情報を含むナビゲーション情報に基づいて、視線誘導処理を停止してよいし、あるいは、視線誘導処理を変更してよい。例えば、検知部101が、ナビゲーション情報に基づいて、車両の車線内における位置を検知し、処理部102は、検知結果に基づいて、視線誘導処理を停止してよいし、あるいは、視線誘導処理を変更してよい。
例えば、動的エフェクトを与える視線誘導処理が実行されている状態において、検知部101が、車両の車線区分線への接近、または、車両の車線区分線との交差を検知した場合、処理部102は、視線誘導処理を停止してよい。あるいは、この場合、処理部102は、動的エフェクトを与える視線誘導処理から静的エフェクトを与える視線誘導処理に変更してよい。例えば、この場合、処理部102は、LEDを点滅させた状態から、静的に点灯する状態に変更してよい。
なお、視野範囲拡大処理は、例えば、運転者の操作等に基づいて一時的にキャンセルされてよい。例えば、ウインカが作動した状態において、拡大視野と通常視野とが、運転者の操作等に基づいて切替えられてよい。このような場合において、はじめに表示された拡大視野の表示に対する視線誘導処理と、拡大視野から通常視野に変更された後に再び表示される拡大視野の表示に対する視線誘導処理とは、異なっていてもよい。
例えば、処理部102は、再び表示される拡大視野の表示に対して、動的なエフェクトを1回(例えば、1周期分)与え、その後、視線誘導処理を停止してもよい。あるいは、処理部102は、静的なエフェクトを与える視線誘導処理を行ってよい。その場合、処理部102は、LEDを点滅させずに、静的に点灯させてよい。または、運転者の操作等に基づく一時的なキャンセルから復帰した後の拡大視野の表示に対して、視線誘導処理を行わない制御にしても良い。
なお、視野範囲拡大処理が、運転者の操作等に基づいて一時的にキャンセルされる処理については後述する。
以上説明した本実施の形態において、コントローラ(制御装置)10は、車両に設けられるウインカレバー14の操作を検知する検知部101と、車両に設けられたカメラ(撮影装置)によって撮影された映像に映像処理を行い、車両に設けられたディスプレイ(表示装置)に表示させる処理部102とを備える。そして、処理部102は、検知部101がウインカレバー14の左または右への操作を検知した場合、操作の方向に対応するディスプレイに表示する視野範囲の領域を、操作の方向(左または右)の後方の領域から、後方の領域に隣接して側後方に位置する領域を含む領域へ切替える視野範囲拡大処理(切替処理)を実行する。また、処理部102は、視野範囲拡大処理(切替処理)が実行されていることを車両の運転者に知らせる提示処理(第1の提示処理)を実行する。
この構成により、ディスプレイ(表示装置)に表示される領域を変化させる視野範囲拡大処理が実行された場合であっても、視野範囲拡大処理が実行されていることを車両の運転者に知らせることによって、運転者に視野範囲拡大が行われている事を判らせることができるため、運転者が、表示装置に表示された領域の変化を確認できる。そのため、例えば、ディスプレイに表示される領域の変化を後続車両が遠ざかったと誤認するような状況を避けることができる。
例えば、ディスプレイ(表示装置)に表示される領域の視野範囲を段階的に変化させることによって、表示が変化していることを示す構成であっても、段階的な変化を運転者が確認していなければ、後続車両が遠ざかったと誤認するような状況が発生する可能性がある。また、領域の視野範囲を段階的に変化させる場合には視野範囲を十分に拡大するまでに時間遅延が生じ、運転者の安全確認に遅延が生じてしまう。
本実施の形態の構成では、運転者に視野範囲拡大が行われていることを知らせるために運転者の視線をディスプレイに誘導することができるので、運転者が、表示装置に表示された領域の変化を確認でき、誤認するような状況を避けることができる。また、領域の視野範囲を段階的に変化させなくても、運転者が表示装置に表示された領域の変化を確認できるため、安全確認に遅延が生じることを避けることができる。
また、この構成では、例えば、ウインカレバー14の操作等の運転者の操作に連動して視線誘導処理を実行するため、運転者が視線誘導処理を他の警告と誤認することを避けることができる。
例えば、視線を誘導する構成として、車両の走行中に衝突リスクのある物体の接近を検知した場合に、物体が接近する方向のサイドミラー等の近傍に設置したLEDを点滅させる構成が挙げられる。この構成では、衝突リスクがあることを優先して伝えるために、否応無しに視線を引きつける異常を感じさせるような光刺激が運転者に与えられる。
例えば、前方の近い位置に先行車が存在する車線を走行中に、運転者が車線変更を行う場合に、運転者は、ウインカレバー14を操作し、車線変更の意思を周囲に示し、前方を確認した後で後方および側後方を確認する。
このような車線変更の状況において、例えば、上述したような異常を感じさせるような光刺激が運転者に与えられる構成を適用すると、運転者が光刺激を煩わしいと感じてしまう場合がある。
一方で、本実施の形態によれば、運転者の操作に連動して視線誘導処理を実行するため、運転者が視線誘導処理を煩わしいと感じること無く直感的に把握でき、運転者が他の警告と誤認することを避けることができる。
例えば、視線を誘導する処理として、拡大視野の表示の外枠をアニメーション表示により連続的に拡大又は縮小するような処理をディスプレイに対して行った場合、その処理過程が完了するまで、拡大視野の全体を確認する事が出来ず、余分な時間を要する恐れがある。
本実施の形態では、視線誘導処理において、拡大視野の表示をディスプレイの表示領域全体に表示させ、拡大視野の中に視認性に差を与える、または、枠を設けるといった、カメラ映像を隠さない表示を行う。この処理では、表示領域内のカメラ映像を隠さないため、運転者は、拡大視野の表示を遅滞なく視認できる。
また、例えば、視認性に差を設けて視線を誘導する処理として、拡大視野の一部を目立たなくなくして通常視野を表示する処理を行う場合、拡大視野と通常視野とを同じ倍率で表示するので、目立たなくなくする処理を止めれば拡大視野の全体を確認する事が出来る。しかしながら、この処理では、通常視野を表示するために拡大視野の一部を制限している時に、ディスプレイの表示領域のサイズに比べて、著しく狭い範囲が使用されるため、小さな画像しか表示できない。そのため、小さな画像に映る通常視野の中の後方車両の像も小さくなってしまい、視認性が劣ってしまう。
また、本実施の形態では、通常視野を表示する場合には倍率を上げて表示するため、通常視野の視認性が劣化することを防止できる。また、視線誘導処理において、表示を隠さない表示を行うため、運転者は、拡大視野の表示を遅滞なく視認できる。
(一実施の形態のバリエーション)
<視野範囲拡大のキャンセル処理>
なお、上述した例では、運転者の第1の動作が検知部101によって検知された場合、処理部102は、右サイドディスプレイ17に表示させる映像の領域を第1の領域から第2の領域へ変更する視野範囲拡大処理の例を説明した。次に、視野範囲拡大処理と、右サイドディスプレイ17に表示させる映像の領域を第2の領域から第1の領域へ変更する処理とが、運転者の操作、または、動作等に応じて切替えられる例について説明する。第2の領域から第1の領域へ変更する処理は、視野範囲の拡大をキャンセルする処理(以下、キャンセル処理)と捉えてよい。
図10は、本実施の形態におけるウインカレバー14の構造の一例を示す図である。図10には、ウインカレバー14が固定される3つの位置と、ウインカレバー14の可動範囲との関係とが示される。
上述したように、ウインカレバー14は、中立位置、右クリック位置、および、左クリック位置のいずれかの位置に止まる。
ウインカレバー14の傾動する角度、および/または、トルクは、センサにより検出され、コントローラ10に出力されてよい。
例えば、ウインカレバー14が右クリック位置よりも右回りに押される場合、ウインカレバー14が有するバネ機構(図示省略)は、ウインカレバー14を右クリック位置に戻すように動作する。ウインカレバー14の角度は、運転者によって加えられる力とバネの反発力によって決定されるので、角度からトルクが検知される。なお、ウインカレバー14が右クリック位置よりも右回りに深く押された状態は、以下では、右回りへ深押しされた状態と記載することがある。
なお、角度を検出する代わりに、ウインカレバー14の位置と、ウインカレバー14の感圧センサによって直接検出されるトルクが、コントローラ10に出力されてもよい。
コントローラ10の検知部101は、ウインカレバー14の操作の情報(例えば、ウインカレバー14の位置、角度およびトルクの少なくとも1つ)に基づいて、運転者の意思を推定する。ここで、運転者の意思とは、例えば、運転者が、車両の周辺のどの領域を確認したいか、という意思であってもよい。
例えば、ウインカレバー14が、中立位置から右クリック位置に変更された場合、検知部101は、運転者が右側後方の拡大視野の領域を確認したい、と推定する。
また、例えば、ウインカレバー14の角度が、右クリック位置から更に右回りの角度に変更され、その状態が所定時間以上継続した場合、検知部101は、運転者が右側後方の拡大視野の領域の表示をキャンセルしたい、と推定する。別言すれば、この場合、検知部101は、運転者が右後方の通常視野の領域を確認したい、と推定する。
ここで、上述の所定時間は、例えば、0.3秒であってよい。0.3秒は、人の反応時間に対応する。例えば、人が右クリック位置でのクリックを感じてからウインカレバー14を押す動作を止めるまでの反応時間が0.3秒程度である。つまり、ウインカレバー14の角度が、右クリック位置から更に右回りの角度に変更され、その状態が0.3秒以上継続した場合とは、人が、右クリック位置でのクリックを感じてからウインカレバー14を押す動作を意図的に行っている場合である、と推定される。
また、例えば、ウインカレバー14が、中立位置から右クリック位置に止まらずに通過し、更に右回りの角度に移動した状態で留まった場合、検知部101は、運転者がウインカランプを点滅させた状態で右後方の通常視野の領域を確認したい、と推定する。
そして、例えば、運転者が右側後方の拡大視野の領域を確認したい場合、ウインカレバー14から手を離すことによって、ウインカレバー14は、右クリック位置に戻り、右サイドディスプレイ17には、右側後方の拡大視野の領域(例えば、図2Bに示した表示)が表示される。
図11は、本実施の形態におけるウインカレバー14の操作と右サイドディスプレイ17の表示との関係の一例を示す図である。
図11において、ウインカレバー14が中立位置の場合、図2Aに示した例と同様の通常視野が右サイドディスプレイ17に表示される。
運転者がウインカレバー14を右に倒し、ウインカレバー14が中立位置から右クリック位置に移動した場合、図2Bに示した例と同様の拡大視野が右サイドディスプレイ17に表示される。この状態で、運転者がウインカレバー14を中立位置に戻した場合、あるいは、運転者の別の操作(例えば、ステアリングホイールの操作)によってウインカレバー14が中立位置に戻った場合、右サイドディスプレイ17の表示は通常視野に戻る。
また、拡大視野が表示された後、運転者がウインカレバー14を右回りに深押しした場合、右回りに深押ししている間、図2Aに示した例と同様の通常視野が右サイドディスプレイ17に表示される。また、右回りに深押しした状態から運転者が手を離すと、ウインカレバーが中立位置へ戻り、右サイドディスプレイ17の表示が、通常視野から拡大視野へ戻る。
また、運転者がウインカレバー14を右に倒し、更に右回りに深押しした場合、右回りに深押ししている間、右サイドディスプレイ17の表示は、拡大視野へ変更されることなく、通常視野を維持する。また、右回りに深押しした状態から運転者が手を離すと、ウインカレバーが中立位置へ戻り、右サイドディスプレイ17の表示が、通常視野から拡大視野へ戻る。
なお、上述では、ウインカレバー14の位置が右クリック位置である場合、右サイドディスプレイ17に拡大視野が表示され、ウインカレバー14の位置が右回りに深押しされた位置にある場合、右サイドディスプレイ17に通常視野が表示される例を説明した。別言すれば、右クリック位置へ移動する操作が視野範囲拡大処理を行うための操作に対応し、右回りへ深押しする操作が視野範囲拡大処理をキャンセルするための操作に対応する。
しかしながら、本開示はこれに限定されない。例えば、ウインカレバー14の位置が右クリック位置である場合、通常視野が表示され、ウインカレバー14の位置が右クリック位置から右回りに深押しされた位置にある場合、拡大視野が表示されてもよい。別言すれば、右回りへ深押しする操作が視野範囲拡大処理を行うための操作に対応し、右クリック位置へ移動させる操作が視野範囲拡大処理をキャンセルするための操作に対応してもよい。
上述したウインカレバー14の操作とディスプレイの表示処理との対応関係が、例えば、ユーザ(運転者)によって選択できてもよい。例えば、運転者は、右回りへの深押しする操作と右クリック位置へ移動する操作という2つの操作のうち、一方の操作を視野範囲拡大処理を行うための操作に選択し、他方の操作を視野範囲拡大処理をキャンセルするための操作に選択してもよい。この選択は、例えば、車室内に設けられるタッチパネルまたはボタン等の操作部を介して行われてよい。
なお、上述では、視野範囲拡大処理をキャンセルするための操作が、右回りへの深押しする操作または右クリック位置へ移動する操作である例を説明した。本開示はこれに限られない。例えば、視野範囲拡大処理をキャンセルする処理は、車両に設けられる各種センサの情報に応じて実行されてよい。
例えば、車室内で運転者の頭の位置および/または動きを検出するセンサが設けられる場合、コントローラ10は、運転者の頭の位置に応じて、視野範囲拡大処理をキャンセルしてよい。例えば、コントローラ10の検知部101が、運転者が頭を振る(または頭の位置を変える)動作を検知した場合、処理部102は、視野範囲拡大処理をキャンセルしてよい。具体的には、運転者が視野範囲拡大処理の実行中(拡大視野が表示されている間)にディスプレイの方向に頭を動かした場合に、コントローラ10は、運転者が視野範囲拡大処理の実行によって小さくなった後方映像部分を確認したいものと推定し、視野範囲拡大処理をキャンセルして後方映像部分を拡大しても良い。
また、ステアリングホイールに感圧センサが設けられる場合、コントローラ10は、ステアリングホイールに対する運転者の操作に応じて、視野範囲拡大処理をキャンセルしてよい。例えば、コントローラ10の検知部101が、ステアリングホイールの所定位置において力が加わっていること検知した場合、処理部102は、視野範囲拡大処理をキャンセルしてよい。これにより、例えば、運転者がステアリングホイールの所定位置を強く握る、または、所定位置を押すことによって、視野範囲拡大処理をキャンセルできる。
また、図10および図11では、ウインカレバー14の操作の情報に応じて視野範囲拡大処理、または、視野範囲拡大処理をキャンセルする処理が行われる例を説明した。本開示はこれに限定されない。例えば、コントローラ10は、ウインカレバー14の操作に応じて表示する視野の方向を変更する処理を行ってもよい。
例えば、コントローラ10は、ウインカレバー14の深押しのトルク等に応じて、視野の方向を変更してよい。例えば、検知部101は、ウインカレバー14の深押しのトルクを検知し、処理部102は、ウインカレバー14の深押しのトルク(または角度)に応じた方向の視野範囲を、通常視野と同じ倍率で表示してよい。
図12は、車両が合流地点付近を走行中の場合の視野範囲の変更の一例を示す図である。図12には、本線車線と、本線車線に合流する車両が走行する車線(以下、合流車線)とが交わる合流地点において、合流車線から本線車線へ合流する車両の俯瞰図が示される。そして、ウインカレバー14の操作状態と、右サイドディスプレイ17に表示される視野範囲との関係が示される。
図12のAでは、運転者がウインカレバー14を操作していない状態、すなわち、ウインカレバー14が中立位置にある状態なので、右サイドディスプレイ17には通常視野が表示される。
図12のAからBにおいて、運転者は、右側の本線車線へ合流することを合図するためにウインカレバー14を右に倒し、右のウインカランプを点滅させる。
図12のBでは、ウインカレバー14が右クリック位置に移動した場合に相当する。この場合、右サイドディスプレイ17には拡大視野が表示される。
図12のBからCにおいて、運転者は、右側の本線車線の状況を確認するために、ウインカレバー14を右に押込む(右回りに深押しする)。検知部101は、ウインカレバー14の深押しのトルク(または角度)を検知する。処理部102は、検知されたトルク(または角度)に応じて、視野の方向を変更する。
図12のCでは、ウインカレバー14が右クリック位置から右回りに深押しされた場合に相当する。この場合、右サイドディスプレイ17には、深押しのトルク(または角度)に応じて変更された、通常視野の範囲(図12のA)よりも外側の方向の視野範囲が、通常視野と同じ倍率で表示される。
処理部102は、深押しのトルクが大きいほど、車両の側面から、より離れた方向の視野範囲をディスプレイに表示させてもよい。
このように、コントローラ10が、ウインカレバー14の深押しのトルク(または角度)に応じて、ディスプレイに表示させる視野の方向を変更することによって、運転者が車両の周辺の状況を効率良く確認できる。
なお、コントローラ10は、ウインカレバー14の深押しのトルク(または角度)の代わりに、他の運転者の操作または動作に応じて、ディスプレイに表示させる視野の方向を変更してもよい。
例えば、車室内で運転者の頭の位置または視線の方向を検出するセンサが設けられる場合、コントローラ10は、運転者の頭の位置または視線の方向に応じて、ディスプレイに表示させる視野の方向を変更してもよい。例えば、コントローラ10の検知部101が、運転者が頭を振る(または、頭の位置を変える、あるいは、視線の方向を変える)角度を検知した場合、処理部102は、頭を振る角度に応じて、ディスプレイに表示させる視野の方向を変更してもよい。例えば、処理部102は、頭を振る角度が大きいほど、車両の側面から、より離れた方向の視野範囲をディスプレイに表示させてもよい。運転者がサイドミラーによって周囲の確認を行う場合、運転者が頭の位置を変える事によってサイドミラーに写る範囲を変えられる。運転者がサイドミラーの代わりにディスプレイによって周囲の確認を行う場合も、コントローラ10が頭の位置の変化に応じて視野範囲を制御する事は、運転者にとって自然な制御であると言える。具体的には、コントローラ10は、運転者が頭の位置を左に移動させたことを検知した場合には右寄りの方向が見たいものと推定して、表示する視野の方向を右寄りに変更すればよい。または、運転者の視線の方向を検出して、ディスプレイ右寄りの範囲を注視していた場合に、右寄りの方向が見たいものと推定して、表示する視野の方向を右寄りに変更する制御を行ってもよい。
また、ステアリングホイールに感圧センサが設けられる場合、コントローラ10は、ステアリングホイールに対する運転者の操作に応じて、ディスプレイに表示させる視野の方向を変更してもよい。例えば、コントローラ10の検知部101が、ステアリングホイールの所定位置において力が加わっていることを検知した場合、処理部102は、所定位置における力の大きさに応じて、ディスプレイに表示させる視野の方向を変更してもよい。例えば、処理部102は、所定位置における力が大きいほど、車両の側面から、より離れた方向の視野範囲をディスプレイに表示させてもよい。これにより、例えば、運転者がステアリングホイールの所定位置を強く握る、または、所定位置を押すことによって、ディスプレイに表示させる視野の方向を変更してもよい。
なお、ウインカレバー14の深押しのトルクに応じて視野の方向を変更する機能(以下、視野方向変更機能と記載することがある)を有効にするか否か(オンにするかオフにするか)は、ユーザ(例えば、運転者)によって設定可能であってよい。あるいは、視野方向変更機能を有効にするか否かは、他の情報に基づいて設定されてもよい。具体的には、ナビゲーション装置によって得られる地図情報と、地図上の自車の位置によって視野方向変更機能を有効にするか否かを変えてもよい。
例えば、図12に示したように、合流地点においては、運転者が周辺の状況を確認する上で、視野方向変更機能が使用されたほうが効果的な場所に相当する。
例えば、コントローラ10の処理部102は、車両の位置情報および地図情報を含むナビゲーション情報に基づいて、視野方向変更機能が使用された方が効果的な場所(例えば、合流地点)に車両が存在するか否かを判断してもよい。そして、処理部102は、視野方向変更機能が使用された方が効果的な場所に車両が存在する場合に、視野方向変更機能をオンに設定してもよい。
また、縦列駐車していた車両が発進し、隣接する車線に合流する場合、または、駐車場に駐車していた車両が発進し、車線に合流する場合、運転者が周辺の状況を確認する上で、視野方向変更機能が使用された方が効果的である。例えば、この場合、車両は停止中から低速で走行(例えば、徐行)しながら、車線に合流するので、車両の速度情報に応じて視野方向変更機能の設定を最適化してもよい。
例えば、コントローラ10の処理部102は、車両の速度情報を参照し、車両が停車中または徐行中である場合に、視野方向変更機能をオンに設定してもよい。例えば、処理部102は、車両の速度が所定値(例えば、時速5km)未満の場合に、視野方向変更機能をオンに設定し、車両の速度が所定値以上の場合に、視野方向変更機能をオフに設定してもよい。
また、処理部102は、車両の速度情報、ナビゲーション情報、および、車両の姿勢を検知する方位センサ(磁気コンパス)の情報に基づいて、視野方向変更機能を有効にするか否かを設定してもよい。
例えば、縦列駐車中の車両が発進し、隣接する車線に合流する場合、または、駐車場に駐車していた車両が発進し、車線に合流する場合、車両の向きが車線の延びる方向に対して所定角度以上の角度を成す状態をとる事がある。その場合、処理部102は、車両が低速で走行し、車線に対する車両の角度が所定角度以上の場合に、視野方向変更機能をオンに設定してもよい。処理部102は、例えば、車両の速度と閾値とを比較することによって、車両が低速か否かを判断する。また、処理部102は、ナビゲーション情報が示す隣接車線の延びる方向と方位センサの検知結果が示す車両の向きとを比較することによって、車線に対する車両の角度が所定角度以上か否かを判断する。
以上の様に、視野方向変更機能のオンまたはオフが、地図情報など他の情報に基づいて設定されることによって、視野方向変更機能を使用すべき状況において視野方向変更機能を有効に活用することができる。
視野方向変更機能は、ディスプレイを覗き込む動作を誘発するため、前方から視線を離す時間が長くなる可能性がある。また、視野方向変更機能は、通常視野の確認を妨げる可能性がある。そのため、例えば、高速走行中などでは、視野方向変更機能が有効でないことが望ましいので、コントローラ10の処理部102は、車両の速度情報を参照し、車両が高速走行中の時に視野方向変更機能をオフに設定してもよい。
上述したように、視野方向変更機能のオンまたはオフが、他の情報に基づいて設定されることによって、視野方向変更機能が不要な状況(例えば、高速走行中)において視野方向変更機能が動作することを防止できる。
なお、視野方向変更機能では、ウインカレバー14の深押しのトルク(または角度)の大きさに応じて、ディスプレイに表示させる視野の方向を変更する例を説明したが、視野の方向が他の情報に基づいて決定されてもよい。
例えば、図12に示したような合流地点において、映像処理の結果に基づいて、視野の方向が決定されてもよい。
例えば、検知部101は、車両の現在位置と車両が走行する周辺の道路状況を示すナビゲーション情報を取得し、車両が合流地点付近を走行中か否かを検知する。
車両が合流地点付近を走行中の場合、処理部102は、ウインカレバー14の操作の情報に応じて、表示を変更する。
例えば、コントローラ10の検知部101は、車線の消失点(または無限遠点)を検出し、検出した消失点の位置に応じて、視野範囲が変更されてもよい。
例えば、検知部101は、左サイドカメラ11および/または右サイドカメラ12が取得した映像に映る1つの車線の境界線の複数の直線(または近似直線)を検出し、検出した直線を後方に延長する。検知部101は、延長した複数の直線が交差する点を当該車線の消失点と決定する。
例えば、車両が本線に合流する合流車線の合流地点付近を走行している場合、本線車線と合流車線とが映像に含まれる。この場合、検知部101は、少なくとも、本線車線の消失点を検出する。
そして、処理部102は、ウインカレバー14が深押しされた場合、深押しされた方向に対応する方向に延びる本線車線の消失点の方向の視野範囲を、通常視野と同じ倍率で表示してよい。
図13は、道路の合流地点における右サイドカメラ12が撮影した映像の一例を示す図である。図13には、合流車線と、合流車線よりも右側に延びる本線車線が含まれる。
検知部101は、右サイドカメラ12が撮影した映像から、合流車線の消失点と本線車線の両方の消失点を検出する。そして、処理部102は、ウインカレバー14が右回りに深押しされた場合、検知部101が検知した本線車線の消失点の方向を通常視野と同じ倍率で表示してよい。
図13を用いて説明したように、合流地点において、ウインカレバー14の操作の情報、および/または、映像から得られる消失点の情報に応じて、視野の方向を変更することにより、合流地点における安全確認を支援できる。
例えば、合流地点での合流では、本線車線を走行する車両との距離感が、安全確認の上で必要とされる。そのため、ウインカレバー14の操作に応じて、拡大視野と本線車線を確認できる方向の視野とを切替えられることによって、効果的な表示を行うことができる。
なお、上述した視野範囲拡大処理、視野範囲拡大処理をキャンセルする処理、および、視野方向変更機能に基づく処理は、ウインカレバー14の操作に限らず、運転者の他の操作、または、運転者の他の動作と連動して実行されてよい。
例えば、車線変更を行う状況において、検知部101が、ウインカレバー14が右クリック位置に移動したことを検知した場合、処理部102は、右サイドディスプレイ17の表示に対して視野範囲拡大処理を実行する。そして、検知部101が、運転者がステアリングホイールを引っ張る動作を行ったことを検知した場合、処理部102は、右サイドディスプレイ17の表示に対する視野範囲拡大処理をキャンセルする。この場合、運転者がステアリングホイールを引っ張る動作は、運転者が車両後方を詳細に確認したいという意図を示す動作に相当してよい。運転者がディスプレイを覗き込もうとして頭をディスプレイに近づける動作をすると、それはステアリングホイールを手元に引き付ける動作となるので、ステアリングホイールに加えられた前後方向の力による制御は、視野範囲の制御手段として自然であり受け入れ易い。
例えば、図12および図13に示したような合流地点において、検知部101が、ウインカレバー14が右クリック位置に移動したことを検知した場合、処理部102は、右サイドディスプレイ17の表示に対して視野範囲拡大処理を実行する。そして、検知部101が、運転者がステアリングホイールを押す動作を行ったことを検知した場合、処理部102は、右サイドディスプレイ17に表示させる視野の方向を変更する。例えば、処理部102は、ステアリングホイールに加えられる力の大きさに応じて、車両後方から離れた方向に変更してよい。あるいは、処理部102は、車両後方から離れた外側の消失点の方向に変更してよい。車両後方から離れた外側の消失点とは、例えば、図13における本線車線の消失点に相当する。また、この場合、運転者がステアリングホイールを押す動作は、運転者が本線車線を確認したいという意図を示す動作に相当してよい。頭を後方に引く動作は、覗き込む動作とは逆に広い視野を得ようとする動作であり、それはステアリングホイールを押す動作となるので、ステアリングホイールに加えられた前後方向の力による制御は、視野範囲の制御手段として自然であり受け入れ易い。
また、例えば、車線変更を行う状況において、検知部101が、ウインカレバー14が右クリック位置に移動したことを検知した場合、処理部102は、右サイドディスプレイ17の表示に対して視野範囲拡大処理を実行する。そして、検知部101が、運転者の顔が右サイドディスプレイ17に近づいたことを検知した場合、処理部102は、右サイドディスプレイ17の表示に対する視野範囲拡大処理をキャンセルする。この場合、運転者が顔を右サイドディスプレイ17に近づける動作は、運転者が車両後方を詳細に確認したいという意図を示す動作に相当してよい。
例えば、図12および図13に示したような合流地点において、検知部101が、ウインカレバー14が右クリック位置に移動したことを検知した場合、処理部102は、右サイドディスプレイ17の表示に対して視野範囲拡大処理を実行する。そして、検知部101が、右側の本線に合流する位置で、運転者が顔の向きを大きく右に振ったことを検知した場合、処理部102は、右サイドディスプレイ17に表示させる視野の方向を本線の消失点の方向に変更する。あるいは、処理部102は、検知部101が検知する運転者の顔の傾きに応じて、表示する視野の方向を変更してよい。
以上、説明したように、拡大視野が表示されている場合に、ウインカが作動している状態のままその視野範囲拡大をキャンセルする処理を実行できることによって、運転者は、運転者が求める視野を適切に把握することができる。
車線変更時に、拡大視野の表示により、側後方を確認できることは効果的である。例えば、片側3車線の道路で中央の車線に右側の車線から車線変更を行う場合、他の車両が左側の車線から中央の車線に車線変更する状況がある。このような状況では、通常視野では左側の車線の他の車両が映らないため、拡大視野の表示が効果的である。
また、車線変更の途中で急接近する車両または道路上の落下物を発見し、急なステアリングホイール操作によって、車線変更を中断せざるを得ない状況がある。このような状況において、拡大視野を表示させるための手動操作(例えば、ウインカレバーを触れている操作)を継続することは好ましくない。
つまり、車線変更中でウインカが作動している間、ウインカレバー14に触れていない状態でも、視野範囲拡大処理が継続していることが望ましい。
また、例えば、道路交通法では、車線変更の開始の3秒前からウインカを作動させることが求められる。ウインカを作動し始めてから3秒の間に、後方から急接近する車両が現れる状況がある。そのような状況においては、ウインカを作動させて3秒程度経過してから、車線変更を開始する前に、後方および後側方を再確認することが望まれる。
また、後続車両の距離感を把握し易い視野範囲は、通常視野であるため、後方を再確認する場合は、視野範囲を通常視野に変更できることが望まれる。
例えば、ウインカが作動している状態のまま視野範囲拡大をキャンセルする処理が実行できない場合、通常視野に変更するために、ウインカ作動を一旦停止しなければならないことがある。しかしながら、道路交通法では、車線変更が終了するまでの間、ウインカを作動させ続けることが求められている。また、ウインカ作動を一旦停止した場合、車線変更を中止したと周囲の車両の運転者に判断されてしまう。そのため、ウインカ作動を一旦停止し、通常視野の表示によって後方を確認した後、ウインカを再び作動させ、3秒経過する前に、車線変更を行うと、法令を違反することになり、車線変更を中止したと見なした周囲の車両との不慮の接触を招く可能性がある。
つまり、ウインカが作動している状態を維持しながら、後方を確認するための通常視野の表示と、後側方を確認するための拡大視野の表示とが切替えられることが望まれる。
上述した構成によれば、ウインカが作動している状態を維持しながら、後方を確認するための通常視野の表示と、後側方を確認するための拡大視野の表示とが切替えることができる。
図14は、本実施の形態におけるウインカレバー14の操作に応じた表示処理の一例を示すフローチャートである。なお、図14に示すフローチャートは、コントローラ10が、右サイドディスプレイ17の表示についての処理を行う例を示している。コントローラ10が左サイドディスプレイ16の表示についての処理を行うフローチャートは、左右の向きが異なる点を除き、図14と同様である。
また、図14に示すフローチャートは、視線誘導処理が、右サイドディスプレイ17のLED171を点灯させる処理である例を示している。
検知部101がウインカレバー14の中立位置を検知する(S101)。
処理部102は、右サイドディスプレイ17に通常視野の領域を表示させ、LED171をオフの状態(消灯状態)に制御する(S102)。
検知部101は、ウインカレバー14が右回りに感圧された状態であるか否かを検知する(S103)。右回りに感圧された状態とは、ウインカレバー14が中立位置と右クリック位置の間に位置する状態が一定時間(例えば、0.1秒)未満の状態であり、半押し状態と称されてよい。あるいは、右回りに感圧された状態とは、ウインカレバー14の左側からの力が検知された状態であってもよい。
ウインカレバー14が右回りに感圧された状態ではない場合(S103にてNO)、S103の処理が実行される。
ウインカレバー14が右回りに感圧された状態である場合(S103にてYES)、処理部102は、右サイドディスプレイ17に通常視野の領域を表示させ、LED171をオンの状態にする(点灯させる)(S104)。S104にて、LED171をオンの状態にする処理は、視線誘導処理の一例に相当する。
検知部101は、ウインカレバー14が右クリック位置に移動したか否かを検知する(S105)。
ウインカレバー14が右クリック位置に移動していない場合(S105にてNO)、検知部101は、右回りに感圧された状態であるか否かを検知する(S106)。
右回りに感圧された状態ではない場合(S106にてNO)、S102の処理が実行される。
右回りに感圧された状態である場合(S106にてYES)、検知部101は、その状態が所定時間(例えば、0.1秒)継続したか否かを検知する(S107)。
右回りに感圧された状態が所定時間継続しなかった場合(S107にてNO)、フローは、S104の処理が実行される。
右回りに感圧された状態が所定時間継続した場合(S107にてYES)、処理部102は、右サイドディスプレイ17に拡大視野を表示させ、LED171をオンの状態にする(点灯させる)(S108)。S108にて、右サイドディスプレイ17に拡大視野を表示させる処理は、視野範囲拡大処理の一例に相当し、LED171をオンの状態にする処理は、視線誘導処理の一例に相当する。そして、S105の処理が実行される。
ウインカレバー14が右クリック位置に移動した場合(S105にてYES)、検知部101は、右サイドディスプレイ17に拡大視野を表示するか否かを判定する(S109)。例えば、検知部101は、右クリック位置に移動してから右回りへ押される状態が所定時間(例えば、0.3秒)未満の場合、右サイドディスプレイ17に拡大視野を表示すると判定する。検知部101は、右クリック位置に移動してから右回りへ押される状態が所定時間(例えば、0.3秒)以上の場合、右サイドディスプレイ17に拡大視野を表示しないと判定する。
右サイドディスプレイ17に拡大視野を表示する場合(S109にてYES)、処理部102は、右サイドディスプレイ17に拡大視野を表示させ、LED171をオンの状態にする(点灯させる)(S110)。
検知部101は、ウインカレバー14が中立位置であるか否かを検知する(S111)。
ウインカレバー14が中立位置である場合(S111にてYES)、S102の処理が実行される。
ウインカレバー14が中立位置ではない場合(S111にてNO)、すなわち、ウインカレバー14が右クリック位置にある場合、検知部101は、右回りに感圧された状態であるか否かを検知する(S112)。
右回りに感圧された状態ではない場合(S112にてNO)、S110の処理が実行される。
右回りに感圧された状態である場合(S112にてYES)、すなわち、右クリック位置から右回りに深押しされた状態である場合、検知部101は、その状態が所定時間(例えば、0.3秒)継続したか否かを検知する(S113)。
右回りに感圧された状態が所定時間継続しなかった場合(S113にてNO)、S110の処理が実行される。
右回りに感圧された状態が所定時間継続した場合(S113にてYES)、処理部102は、右サイドディスプレイ17に通常視野を表示させ、LED171をオフの状態にする(消灯させる)(S114)。S114にて、通常視野を表示させる処理は、S110にて表示した拡大視野をキャンセルする処理の一例に相当する。そして、S111の処理が実行される。
右サイドディスプレイ17に拡大視野を表示しない場合(S109にてNO)、処理部102は、右サイドディスプレイ17に通常視野を表示させ、LED171をオフの状態にする(消灯させる)(S115)。
検知部101は、ウインカレバー14が中立位置であるか否かを検知する(S116)。
ウインカレバー14が中立位置である場合(S116にてYES)、S102の処理が実行される。
ウインカレバー14が中立位置ではない場合(S116にてNO)、すなわち、ウインカレバー14が右クリック位置にある場合、検知部101は、右回りに感圧された状態であるか否かを検知する(S117)。
右回りに感圧された状態である場合(S117にてYES)、すなわち、ウインカレバー14が右クリック位置から右回りに深押しされた状態である場合、S115の処理が実行される。
右回りに感圧された状態ではない場合(S117にてNO)、検知部101は、その状態が所定時間(例えば、0.1秒)継続したか否かを検知する(S118)。
右回りに感圧されていない状態が所定時間継続した場合(S118にてYES)、S110の処理が実行される。
右回りに感圧されていない状態が所定時間継続しなかった場合(S118にてNO)、処理部102は、右サイドディスプレイ17に通常視野を表示させ、LED171をオフの状態にする(消灯させる)(S119)。そして、S116の処理が実行される。
次に、2つの運転操作のシナリオとコントローラ10における各処理の流れの例を説明する。
<運転操作と各処理の流れの第1のシナリオ>
運転者は、先行する車両が遅いため、走行している車線の右側の車線へ車線変更を行う場合、運転者は、ウインカレバー14を右クリック位置まで操作し、右側のウインカを作動させる。
この場合、検知部101は、運転者がウインカレバー14に触れたことを検知し、処理部102は、検知結果に基づいて、右サイドディスプレイ17のLED171を点滅させる視線誘導処理を行う。
運転者は、LED171の点滅に誘導されて、右サイドディスプレイ17に視線を向ける。
処理部102は、右サイドディスプレイ17の表示を拡大視野の表示に変更する視野範囲拡大処理を行う。そして、処理部102は、LED171の点滅状態を点灯状態へ変更する。また、処理部102は、視野範囲拡大を示す処理を行い、拡大視野の表示に動的エフェクトを与える。
運転者は、拡大視野の表示によって右側後方の安全を確認した後、ウインカレバー14を右クリック位置から右回りに深押しする。検知部101は、ウインカレバー14の右回りの深押し状態を検知する。処理部102は、検知結果に基づいて、視野範囲拡大をキャンセルし、右サイドディスプレイ17に通常視野を表示する。右サイドディスプレイ17に通常視野を表示する場合、処理部102は、LED171を消灯し、視野範囲拡大を示すための動的エフェクトを停止する。なお、この状態において、右側のウインカは、作動した状態(ウインカランプが点滅した状態)である。
運転者は、通常視野の表示によって右後方の安全を確認した後、ウインカレバー14から手を離し、右回りの深押し状態を元に戻す。検知部101は、ウインカレバー14の右回りの深押し状態がキャンセルされ、右クリック位置に戻ったことを検知する。処理部102は、検知結果に基づいて、右サイドディスプレイ17の表示を通常視野から拡大視野の表示に変更する視野範囲拡大処理を行う。この場合、処理部102は、LED171を点灯させ、視野範囲拡大を示すための静的エフェクトを与える。なお、この状態において、右側のウインカは、作動した状態である。
運転者は、ステアリングホイールを操作し、右側の車線への車線変更を開始する。その際、右サイドディスプレイ17には、拡大視野が表示された状態であり、拡大視野の表示には、静的エフェクトが与えられている。また、LED171は点灯した状態である。この場合、検知部101は、ステアリングホイールの操舵角および、車幅方向の移動を検知していてもよい。
運転者は、車線変更が完了したと判断した場合、ウインカレバー14を中立位置に戻し、右側のウインカは、停止する。検知部101は、ウインカレバー14が中立位置であることを検知する。処理部102は、検知結果に基づいて、右サイドディスプレイ17の表示を拡大視野から通常視野の表示に変更する。また、処理部102は、検知結果に基づいて、LED171を消灯させる。
<運転操作と各処理の流れの第2のシナリオ>
第2のシナリオは、例えば、運転者が右側後方に車両が存在しないことを確認済であり、素早く車線変更を行いたい場合のシナリオに相当する。
運転者は、運転する車両が先行する車両に追いついてしまうために、走行している車線の右側の車線へ車線変更を行う場合、運転者は、ウインカレバー14を操作し、右側のウインカを作動させる。
運転者は、右側後方に車両が存在しないことを確認済であり、右サイドディスプレイ17に拡大視野を表示させなくてもよい場合、右後方の確認を行うために、ウインカレバー14を右クリック位置よりも右回りに深押しした位置に一気に(即時に)移動する。
検知部101は、運転者がウインカレバー14に触れたことを検知する。処理部102は、検知結果に基づいて、右サイドディスプレイ17のLED171を点灯させる視線誘導処理を行う。運転者は、LED171の点灯に誘導されて、右サイドディスプレイ17に視線を向ける。
検知部101は、運転者がウインカレバー14に触れたことを検知した後、0.1秒以内に、ウインカレバー14の右回りの深押し状態を検知する。処理部102は、検知結果に基づいて、点灯させたLED171を即座に消灯させる。また、処理部102は、ウインカレバー14の右回りの深押し状態という検知結果に基づいて、視野範囲拡大処理がスキップされ、右サイドディスプレイ17に通常視野の表示を行う。なお、この状態において、右側のウインカは、作動した状態である。
運転者は、通常視野の表示によって右後方の安全を確認した後、ウインカレバー14から手を離し、右回りの深押し状態を元に戻す。検知部101は、ウインカレバー14の右回りの深押し状態がキャンセルされ、右クリック位置に戻ったことを検知する。処理部102は、検知結果に基づいて、右サイドディスプレイ17の表示を通常視野から拡大視野の表示に変更する視野範囲拡大処理を行う。この場合、処理部102は、LED171を点灯させ、視野範囲拡大を示すための静的エフェクトを与える。なお、この状態において、右側のウインカは、作動した状態である。この時、運転者は拡大視野の表示で右側の安全を確認して、車線変更の可否を判断できる。
運転者は、ステアリングホイールを操作し、右側の車線への車線変更を開始する。その際、右サイドディスプレイ17には、拡大視野が表示された状態であり、拡大視野の表示には、静的エフェクトが与えられている。また、LED171は点灯した状態である。この場合、検知部101は、ステアリングホイールの操舵角および、車幅方向の移動を検知していてもよい。
運転者は、車線変更が完了したと判断した場合、ウインカレバー14を中立位置に戻し、右側のウインカは、停止する。検知部101は、ウインカレバー14が中立位置であることを検知する。処理部102は、検知結果に基づいて、右サイドディスプレイ17の表示を拡大視野から通常視野の表示に変更する。また、処理部102は、検知結果に基づいて、LED171を消灯させる。
上述したように、第1のシナリオでは、運転者が右側後方を確認するために、右サイドディスプレイ17に拡大視野が表示され、運転者が右側後方を確認した後、通常視野に変更される。第2のシナリオでは、運転者が右側後方の確認を後回しにするため、右サイドディスプレイ17における拡大視野の表示がスキップされている。このように、運転者が、どの領域を確認したいかという運転者の意図に基づいて、ウインカレバー14を操作することによって、コントローラ10は、運転者の意図に応じた表示を行うことができる。
なお、上記実施の形態の無線部における「・・・部」という表記は、「・・・回路(circuitry)」、「・・・デバイス」、「・・・ユニット」、又は、「・・・モジュール」といった他の表記に置換されてもよい。
また、上記実施の形態の説明に用いた各機能ブロックの一例である無線部は、典型的には集積回路であるLSIとして実現される。集積回路は、上記実施の形態の説明に用いた各機能ブロックを制御し、入力と出力を備えてもよい。これらは個別に1チップ化されてもよいし、各機能ブロックの一部又は全てを含むように1チップ化されてもよい。ここでは、LSIとしたが、集積度の違いにより、IC、システムLSI、スーパーLSI、ウルトラLSIと呼称されることもある。
また、集積回路化の手法にはLSIに限らず、専用回路または汎用プロセッサを用いて実現してもよい。LSI製造後に、プログラムすることが可能なFPGA(Field Programmable Gate Array)、又は、LSI内部の回路セルの接続、設定が再構成可能なリコンフィグラブル・プロセッサを利用してもよい。
更には、半導体技術の進歩または派生する別技術によりLSIに置き換わる集積回路化の技術が登場すれば、当然、別技術を用いて機能ブロックの集積化を行ってもよい。バイオ技術の適用等が可能性としてあり得る。
以上、図面を参照しながら各種の実施の形態について説明したが、本開示はかかる例に限定されないことは言うまでもない。当業者であれば、特許請求の範囲に記載された範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、それらについても当然に本開示の技術的範囲に属するものと了解される。また、開示の趣旨を逸脱しない範囲において、上記実施の形態における各構成要素を任意に組み合わせてもよい。
以上、本開示の具体例を詳細に説明したが、これらは例示にすぎず、請求の範囲を限定するものではない。請求の範囲に記載の技術には、以上に例示した具体例を様々に変形、変更したものが含まれる。
本開示は、車両の運転支援に好適である。
1 制御システム
10 制御装置(コントローラ)
11 左サイドカメラ
12 右サイドカメラ
14 ウインカレバー
16 左サイドディスプレイ
17 右サイドディスプレイ
101 検知部
102 処理部
161、171 LED
162、172 スピーカー

Claims (12)

  1. 車両に設けられるウインカレバーの操作を検知する検知部と、
    前記車両に設けられた撮影装置によって撮影された映像に映像処理を行い、前記車両に設けられた表示装置に表示させる処理部と、
    を備え、
    前記処理部は、前記検知部が、前記ウインカレバーの左または右への操作を検知した場合、前記操作の方向に対応する表示装置に表示する視野範囲の領域を、前記操作の方向の後方の第1の領域から、前記第1の領域に隣接して側後方に位置する第3の領域を含む第2の領域へ切り替える切替処理を実行し、
    前記処理部は、前記切替処理が実行されていることを前記車両の運転者に知らせる第1の提示処理を実行する、
    制御装置。
  2. 前記第1の提示処理は、前記表示装置の前記第1の領域の表示の態様と前記第3の領域の表示の態様とを異ならせる処理を含む、
    請求項1に記載の制御装置。
  3. 前記表示の態様を異ならせる処理は、前記表示装置の前記第1の領域の視認性を前記第3の領域の視認性よりも低下させる処理を含む、
    請求項2に記載の制御装置。
  4. 前記第1の提示処理は、前記表示の態様を異ならせる境界を前記表示装置の表示領域の外周に向かって動的に変化させる動的エフェクト処理を含む、
    請求項2または3に記載の制御装置。
  5. 前記第1の提示処理は、前記動的エフェクトを繰り返す周期を、前記ウインカレバーの操作に応じて作動する方向指示表示の周期と同期させる、
    請求項4に記載の制御装置。
  6. 前記第1の提示処理は、前記第3の領域に透過性の帯を重畳表示する処理を含む、
    請求項1に記載の制御装置。
  7. 前記第1の提示処理は、前記透過性の帯を前記表示装置の表示領域の外周に向かって小さくする動的エフェクト処理を含む、
    請求項6に記載の制御装置。
  8. 前記第1の提示処理は、前記第1の領域と前記第3の領域の境界部に線または透過性の帯を重畳表示し、前記線または透過性の帯を前記表示装置の表示領域の外周に向かって移動する動的エフェクト処理を含む、
    請求項1に記載の制御装置。
  9. 前記処理部は、前記切替処理を実行してから所定時間経過した場合、前記第1の提示処理を停止、または、前記第1の提示処理を表示の態様が異なる第2の提示処理へ変更し、
    前記第2の提示処理は、前記第1の提示処理よりも視覚刺激の程度が低い、
    請求項1に記載の制御装置。
  10. 前記検知部は、車室内における運転者の視線を検知し、
    前記処理部は、前記視線が前記操作の方向に対応する表示装置の方向に向けられたことを前記検知部が検知した場合、前記第1の提示処理を停止、または、前記第1の提示処理を表示の態様が異なる第2の提示処理へ変更し、
    前記第2の提示処理は、前記第1の提示処理よりも視覚刺激の程度が低い前記運転者に与える刺激が弱い、
    請求項1に記載の制御装置。
  11. 車両に設けられる撮影装置と、
    前記車両に設けられる表示装置と、
    前記車両に設けられ、前記車両の運転者のウインカ作動についての操作を受けつけるウインカレバーと、
    制御装置と、
    を備え、
    前記制御装置は、
    前記ウインカレバーの操作を検知する検知部と、
    前記撮影装置によって撮影された映像に映像処理を行い、前記表示装置に表示させる処理部と、
    を備え、
    前記処理部は、前記検知部が、前記ウインカレバーの左または右への操作を検知した場合、前記操作の方向に対応する表示装置に表示する視野範囲の領域を、前記操作の方向の後方の第1の領域から、前記第1の領域に隣接して側後方に位置する第3の領域を含む第2の領域へ切り替える切替処理を実行し、
    前記処理部は、前記切替処理が実行されていることを前記車両の運転者に知らせる第1の提示処理を実行する、
    制御システム。
  12. 車両に設けられるウインカレバーの操作を検知し、
    前記車両に設けられた撮影装置によって撮影された映像に映像処理を行い、前記車両に設けられた表示装置に表示させる、
    制御方法であって、
    前記ウインカレバーの左または右への操作が検知された場合、前記操作の方向に対応する表示装置に表示する視野範囲の領域を、前記操作の方向の後方の第1の領域から、前記第1の領域に隣接して側後方に位置する第3の領域を含む第2の領域へ切り替える切替処理を実行し、
    前記切替処理が実行されていることを前記車両の運転者に知らせる第1の提示処理を実行する、
    制御方法。
JP2019001274A 2019-01-08 2019-01-08 制御装置、および、制御方法 Active JP7223958B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2019001274A JP7223958B2 (ja) 2019-01-08 2019-01-08 制御装置、および、制御方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2019001274A JP7223958B2 (ja) 2019-01-08 2019-01-08 制御装置、および、制御方法

Publications (2)

Publication Number Publication Date
JP2020111082A true JP2020111082A (ja) 2020-07-27
JP7223958B2 JP7223958B2 (ja) 2023-02-17

Family

ID=71667844

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2019001274A Active JP7223958B2 (ja) 2019-01-08 2019-01-08 制御装置、および、制御方法

Country Status (1)

Country Link
JP (1) JP7223958B2 (ja)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2014204132A (ja) * 2013-03-31 2014-10-27 株式会社村上開明堂 運転支援装置
JP2017034446A (ja) * 2015-07-31 2017-02-09 市光工業株式会社 車両周辺視認装置
JP2017190109A (ja) * 2016-04-15 2017-10-19 株式会社東海理化電機製作所 車両用視認装置
US20180134217A1 (en) * 2015-05-06 2018-05-17 Magna Mirrors Of America, Inc. Vehicle vision system with blind zone display and alert system
JP2019196140A (ja) * 2018-05-11 2019-11-14 トヨタ自動車株式会社 画像表示装置

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2014204132A (ja) * 2013-03-31 2014-10-27 株式会社村上開明堂 運転支援装置
US20180134217A1 (en) * 2015-05-06 2018-05-17 Magna Mirrors Of America, Inc. Vehicle vision system with blind zone display and alert system
JP2017034446A (ja) * 2015-07-31 2017-02-09 市光工業株式会社 車両周辺視認装置
JP2017190109A (ja) * 2016-04-15 2017-10-19 株式会社東海理化電機製作所 車両用視認装置
JP2019196140A (ja) * 2018-05-11 2019-11-14 トヨタ自動車株式会社 画像表示装置

Also Published As

Publication number Publication date
JP7223958B2 (ja) 2023-02-17

Similar Documents

Publication Publication Date Title
JP6665819B2 (ja) 車載表示装置
JP6413207B2 (ja) 車両用表示装置
US9639990B2 (en) Display control apparatus, computer-implemented method, storage medium, and projection apparatus
JP6493552B2 (ja) 駐車支援情報の表示方法及び駐車支援装置
US20130222212A1 (en) Motor Vehicle Having a Device for Influencing the Viewing Direction of the Driver
JP6584632B2 (ja) 駐車支援装置
JP5277974B2 (ja) 運転支援装置
JP4235237B1 (ja) 車載表示装置及び車載表示用プログラム
JP2012140106A (ja) 後方視界支援システム
CN111163968A (zh) 交通工具中的显示系统
US9977239B2 (en) Vehicle information presentation device
JP2009057010A (ja) 車載表示装置
US20190096359A1 (en) Display control device, display device, in-vehicle display system, and display control method
JP2016055801A (ja) 車載表示装置
JP2017192089A (ja) 画像表示装置
JP2022128471A (ja) 車両用表示制御装置、車両用表示制御方法及び車両用表示制御プログラム
JP2018088118A (ja) 表示制御装置、制御方法、プログラム及び記憶媒体
JP2010208359A (ja) 車両用表示装置
JP2020077219A (ja) 車両情報提供装置
US20230018303A1 (en) Presentation control device and non-transitory computer readable storage medium
JP2018144554A (ja) 車両用ヘッドアップディスプレイ装置
JP6213300B2 (ja) 車両用表示装置
JP6115278B2 (ja) 車両用表示装置
JP2007230491A (ja) 視覚情報呈示装置及び視覚情報呈示方法
JP2006330360A (ja) 車両用情報表示装置

Legal Events

Date Code Title Description
RD02 Notification of acceptance of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7422

Effective date: 20190625

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20191021

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20211111

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20221020

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20221101

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20221221

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20230110

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20230126

R151 Written notification of patent or utility model registration

Ref document number: 7223958

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313113

S531 Written request for registration of change of domicile

Free format text: JAPANESE INTERMEDIATE CODE: R313531

SZ03 Written request for cancellation of trust registration

Free format text: JAPANESE INTERMEDIATE CODE: R313Z03