JP2004210213A

JP2004210213A - Information providing device

Info

Publication number: JP2004210213A
Application number: JP2003001852A
Authority: JP
Inventors: Akio Ori; 明男小里; Takero Hongo; 武朗本郷; Kazutoshi Ebe; 和俊江部; Yuji Uchiyama; 祐司内山; Masayuki Okuwa; 政幸大桑; Hidemichi Koumatsu; 秀倫光松
Original assignee: Toyota Central R&D Labs Inc
Current assignee: Toyota Central R&D Labs Inc
Priority date: 2003-01-08
Filing date: 2003-01-08
Publication date: 2004-07-29

Abstract

<P>PROBLEM TO BE SOLVED: To provide an information providing device which detects obstacles in a vicinity of a mobile body and provides reliable information to a driver without troubles or monitoring omissions. <P>SOLUTION: When a detected obstacles is not recognized at present, but was recognized at least once in the past, the information providing device determines whether or not the information on the obstacle is provided to a driver considering the time of elapse from the change of the state or the last recognition of the obstacle. Therefore, the operational safety of the mobile body is ensured, the information quantity provided to the driver is not excessive, and the information without troubles can be provided. If any obstacle or the like is detected around the mobile body, and the information on all obstacles is provided to the driver, the information will be very troublesome. Therefore, troubles by information provision is reduced while the safety of the information provided to the driver is maintained. <P>COPYRIGHT: (C)2004,JPO&NCIPI

Description

【０００１】
【発明の属する技術分野】
本発明は、移動体の周辺における障害物を検出して運転者に情報を提供する装置であって、煩わしさがなく信頼性の高い情報提供を行う装置に関する。
【０００２】
【従来の技術】
特許文献１には認知していない障害物に関する情報を適切な形で運転者に提供できる走行環境監視警報装置が開示されている。この装置は様々なセンサで検出した障害物の位置情報の時系列データからその動きを予測し、同時に運転者の視線方向を主とする運転者の状態を検出する。そして、障害物の位置、大きさ、予測した動き、および運転者の状態に応じた警報を出力する。例えば、認知している障害物に対しては、警報を出力しないといった処理が可能であり、運転者へ提供する情報量が多くなり過ぎるのを防止できる。
【特許文献１】
特開平１１−１３９２２９（図１）
【０００３】
【発明が解決しようとする課題】
上記した従来の走行環境監視警報装置は、検出された障害物が運転者に認知されていないときにその障害物に関する情報を提供し、運転者が既に認知している障害物に関しては情報提供を行わない。このような処理は、存在位置や移動速度といった障害物の状態が変化しないときには、提供する情報が多くなりすぎるのを防止する有効な手段となる。しかし、一度認知した障害物に関しては、「既に認知している」と判断され、情報提供が抑制されるため、その直後に当該障害物の状態が危険な方向に変化したとしても、やはり情報は提供されない。
【０００４】
一方で、運転者が一度認知した障害物から眼を離した途端に、「認知していない」と判断されて情報が提供されたのでは、運転者にとって非常に煩わしいものとなる。
【０００５】
以上のように、移動体の運行中は周辺環境は時々刻々と変化するため、障害物の存在や運転者の認知状態のみで情報提供の要否を決定すると、「漏れのない情報提供」と「煩わしくない情報提供」とを両立させることは非常に困難である。
【０００６】
本発明は、以上の課題を解決するためになされたものであり、監視漏れがなく、かつ煩わしさのない信頼性の高い情報提供装置を提供することを目的とする。
【０００７】
【課題を解決するための手段】
請求項１に係る発明は、移動体の周辺における障害物の状態を検出する障害物検出手段と、運転者の障害物に対する認知状態を検出する認知状態検出手段と、前記障害物検出手段で検出された障害物の状態と、前記認知状態検出手段で検出された運転者の当該障害物に対する認知状態とを記憶する記憶手段とを有し、逐次検出される障害物の状態及び運転者の認知状態と、前記記憶手段で記憶された過去における障害物の状態及び運転者の認知状態とを比較することによって、運転者への情報提供の要否又は情報提供の手段を決定する比較手段を有することを特徴とする情報提供装置である。
【０００８】
ここで、「移動体」とは自動車、電車、航空機、船舶などの移動手段や輸送手段を広く含むものであり、「障害物」は移動体の運行の直接的な障害になるものの他、周辺の建造物や歩行者、信号機などを含み、更には危険な状態になり得る交差点や横断歩道などをも含む。「障害物の状態」とは、障害物の位置や大きさ、速度、進行方向などを意味する。「認知状態」とは運転者が障害物の状態を認知しているか否かを表し、更にはどの程度の注意力でその障害物の状態を認知しているかをも含ませることが可能である。
【０００９】
請求項２に係る発明は、前記比較手段は、前記障害物検出手段で検出された障害物が現在は運転者に認知されておらず、且つ過去に認知されていたときは、当該障害物の状態が過去の状態から変化している場合に、当該障害物に関する情報を運転者に提供することを決定する請求項１に記載の情報提供装置である。
【００１０】
請求項３に係る発明は、移動体の周辺における障害物の存在を検出する障害物検出手段と、運転者の障害物に対する認知状態を検出する認知状態検出手段と、前記障害物検出手段で検出された障害物について、運転者が認知した時刻を記憶する記憶手段とを有し、逐次検出される障害物について、運転者が最後に認知した時刻と、現在の時刻とを比較し、運転者が所定時間を超えて当該障害物を再認していないと判断されるときに、当該障害物に関する情報を運転者に提供することを決定する比較手段を有することを特徴とする情報提供装置である。
【００１１】
ここで、「最後に認知した」とは、検出された障害物について、過去における運転者の認知状態を参照して、その中で最も後に認知したことを意味する。言い換えれば当該障害物に関する現在の認知の直前の認知である。
【００１２】
【作用】
本願請求項１に記載の発明によると、障害物が検出されたときに、その障害物が過去において既に運転者に認識されているものであっても、その障害物の状態と運転者の認知状態とを過去及び現在で比較して、その障害物に関する情報提供の要否や情報提供手段を決定するため、監視漏れがなく、かつ煩わしさのない情報提供装置を提供することが可能となる。
【００１３】
本願請求項２に記載の発明によると、障害物が検出されたときに、その障害物が過去において既に運転者に認識されているものであっても、その障害物の状態が過去の状態から変化しているときには、その障害物に関する情報を提供するため、より信頼性の高い情報提供装置を提供することができる。
【００１４】
本願請求項３に記載の発明によると、障害物が検出されたときに、その障害物が過去において既に運転者に認識されているものであっても、その後所定時間を越えてその障害物を再認していない場合には、その障害物に関する情報を提供するため、より信頼性の高い情報提供装置を提供することができる。
【００１５】
【発明の実施の形態】
（第１の実施の形態）
図１は本願発明を具現化する第１の実施の形態を示す図である。この情報提供装置は、障害物検出手段１１と、認知状態検出手段１２と、記憶手段１３と、比較手段１４と、出力手段１５とを有する。
【００１６】
障害物検出手段１１は障害物の位置や大きさ、速度、進行方向などのいわゆる状態を検出する手段であり、具体的にはレーダや監視カメラなどが相当する。認知状態検出手段１２は運転者が障害物の状態を認知しているか否か、又はどの程度の注意力でその障害物の状態を認知しているか検出するものであり、具体的には顔の向きや視線方向を検出する監視カメラなどが相当する。実際には障害物検出手段１１で検出された障害物の位置情報を用いて運転者の視線方向がその障害物の存在する方向に向いているか否かでその障害物に対する認知状態が検出される。
【００１７】
障害物検出手段１１で検出された障害物の状態及び認知状態検出手段１２で検出された運転者の認知状態は、記憶手段１３で記憶される。一方、逐次検出される障害物の状態及び運転者の認知状態は比較手段１４で過去におけるその障害物の状態及び運転者の認知状態と比較され、その障害物に関する運転者への情報提供の要否や情報提供の手段が決定される。その際、比較手段１４は、検出された障害物が過去において運転者に認知されていないものを通知するのみでなく、検出された障害物が過去に認知されていたものであっても、その障害物の状態が過去における状態から変化しているときに、運転者にその障害物の情報を提供することが好ましい。
【００１８】
このような情報提供装置の処理のフローを図２に示す。まず、障害物検出手段１１と認知状態検出手段１２とを用いて障害物の状態と運転者の認知状態を検出し（２１）、検出した障害物の状態とその障害物に対する運転者の認知状態を記憶手段１３で記憶する（２２）。記憶された情報はその後に逐次検出される障害物の状態及び認知状態と比較され、その障害物の状態が危険な方向に変化しているときには運転者にその障害物の情報を提供し、状態が変化していないものは情報提供を抑制する（２３）。
【００１９】
具体的には、障害物の移動方向や速度が急に変化して衝突の危険性が高まったようなときや、停止していると認知していた障害物が急に動き出したときなどには、それらの障害物がたとえ過去に一度認知していたものであっても、再度運転者へその情報が提供される。
【００２０】
このような処理によって、危険な障害物に関する情報提供を漏らすことなく、かつ運転者にとって煩わしくない情報提供を実現することができる。
【００２１】
図３は既に説明した第１の実施の形態を自動車に適用し、機能を詳細に記載した図である。この情報提供装置の処理フローを示した図４と併せて以下に説明する。障害物検出手段１１は自車両の速度を検出する部分３１と、障害物の位置や速度を検出する部分３２と、相対位置・速度・進行方向を算出する部分３３とからなる。障害物の位置や速度を検出する部分３２にはレーザレーダやミリ波レーダ、超音波レーダなどを用いることが可能であり、更には可視光カメラや赤外線カメラなどで障害物の位置を検出することも可能である。これらのセンサで検出された障害物の位置や速度と自車両の速度から、その障害物の相対位置・速度・進行方向などを算出する（３３）。一方で、車内に取り付けられた顔監視カメラや視線方向検出カメラで検出された運転者の視線方向と前記障害物の位置とから、運転者の障害物に対する認知状態を検出し（１２）、算出した障害物の状態と併せて記憶される（１３、４１）。
【００２２】
次に、算出された障害物の相対位置・速度・進行方向などから、その障害物の自車両に対する危険状態を判定する（３４、４２）。この危険状態の判定は、下記表１に示す危険状態判定テーブルに基づいて行うことができる。表１に示す「位置」は自車両に対する障害物の相対位置であり、近いほど危険という指標である。また、「速度」は自車両と障害物との相対速度であり、速いほど危険となる。「進行方向」は障害物の進行方向が、自車両が今後進んでいく進路上にあるか否か、又は将来進路上に来る恐れがあるか否かを示す指標であり、進路上にある又は進路上に来る恐れがある場合は衝突の可能性が高い危険な状態といえる。実際には自車両の進行方向の±α度の範囲に障害物の進行方向がある場合に進路上にあると判断するとよい。αは障害物の位置や速度などの要素から決定すると、より精度の高い危険状態判定手段となる。この実施の形態では以上３つの指標から表１に示すように危険状態が判定される（４２）。例えば、近い位置に高速の障害物が存在し、その障害物が自車両の進路上にある場合は、危険状態が「高」となり、逆に遠い位置で移動速度が遅く進路上にない（非進路上）障害物は危険状態が「無」となる。
【００２３】
【表１】

【００２４】
検出された障害物の危険状態が「高」と判定されると、比較手段１４は他の条件と比較することなく直ちに警報を出力する（１５、４７）。この場合、出力手段１５は危機感の高い警告音若しくは音声情報を出力し、運転者の注意を促がす。
【００２５】
検出された障害物の危険状態が「無」と判定されると、運転者がその障害物を認知しているか否かに関わらず、情報を提供する必要なしと判断し、煩わしい情報提供を抑制する（１４、４２）。
【００２６】
検出された障害物の危険状態が「低」と判定されると、現在運転者がその障害物を認知しているか否かを参照し、認知している状態であれば安全であるため、情報提供を抑制して煩わしさを低減する（１４、４３）。
【００２７】
検出された障害物の危険状態が「低」であって、かつ運転者が現在においてその障害物を認知していない場合には、記憶手段１３に記憶されている情報から過去において運転者がその障害物を認知していたか否かを判断する（４４）。このときの判断は表２に示す認知記憶テーブルを用いることができる。表２は各障害物について認知されていれば「１」、認知されていなければ「０」を時系列に沿って記憶したものであり、最下行が現在の認知状態である。表２の例によれば、障害物Ａは過去に一度認知していたもの、障害物Ｂは一度も認知していないもの、障害物Ｍは現在認知しているものと判断できる。表２は運転者の認知状態のみを記載した表であるが、記憶手段１３はこの他にも、同様の時系列に沿って障害物の状態をも記憶している。
【００２８】
【表２】

【００２９】
上記の様に表２から判断して運転者が検出された障害物を一度も認知していない場合は、危険な状態になる可能性があるため、その障害物に関する情報を運転者に提供する（４６）。この際の情報の出力手段１５は危険状態が「高」のときに比べて危機感の低い警告音若しくは音声情報を出力することが好ましい。
【００３０】
過去に運転者がその障害物を認知していた場合、危険状態が「低」の障害物であるにもかかわらず、全ての障害物について情報提供をしていたのでは、運転者にとって非常に煩わしい。そこで、記憶手段１３に記憶されている情報から、その障害物の状態が過去に認知したときの状態から変化したか否かを判断し（４５）、障害物の状態の変化が認められる場合には、運転者はその変化に気付いていないと考えられるため、その障害物について運転者に情報を提供する（４６）。しかし、現在運転者が認知していない障害物であっても、過去に認知したときから状態が変化していないものに関しては、特に危険な状態になるとは考えられないため、情報提供を抑制して提供する情報量を減じ、運転者が提供される情報を煩わしく思わないように制御する（３６）。本実施の形態において「障害物の状態の変化」を判断する際、具体的には当該障害物の進行方向や自車両に対する相対位置、相対速度等が所定割合以上変化したことを検出し、障害物の状態が変化したと判断する。
【００３１】
一例として、遠方を走っている自動車について、運転者は過去に認知しており、現在において認知していない場合であって、特に車間距離が変化するようなことがないときは、その自動車について情報を提供することはない。しかし、その自動車がブレーキをかけて急に車間距離が縮まった場合には、現在運転者が認知していないため非常に危険であり、このような場合には運転者にその情報を提供する。
【００３２】
他の例では、前方の歩道を走行している自転車について、運転者は過去に認知しており、現在において認知していない場合は、自転車が歩道を走行している間は情報提供がされないが、急に横断歩道を渡るために自車両前方を横切るような行動をした場合には、その自転車について情報を提供する。
【００３３】
このような処理をすることによって、安全な運行のための重要な情報を漏らすことなく提供し、かつ運転者が煩わしいと思う不要な情報は提供しない情報提供装置を実現することが可能となる。
【００３４】
（第２の実施の形態）
図５は本願発明を具現化する第２の実施の形態を示す図である。この情報提供装置は、障害物検出手段５１と、認知状態検出手段５２と、記憶手段５３と、比較手段５４と、出力手段５５とを有する。これらの各手段は実施の形態１で説明したものと同様のものであるので説明を省略し、異なる箇所のみを説明する。また、図６は本実施の形態に係る情報提供装置の処理のフローを示した図であり、図５と併せて以下に説明する。
【００３５】
まず、障害物の存在や運転者の認知状態を検出する工程６１は第１の実施の形態と同様である。図５の時計５６は時刻を出力する装置であり、記憶手段５３では、逐次検出される障害物の存在や運転者の認知状態を記憶すると同時に、その検出された時刻をも記憶する（６２）。ここで、記憶手段５３は第１の実施の形態で説明したような障害物の位置や大きさ、速度、進行方向等を全て記憶する必要はなく、少なくとも障害物の存在とその障害物を運転者が認知した時刻とが記憶されていれば足りる。次に、検出された障害物について運転者が最後に認知した時刻と現在の時刻とを比較し（６３）、最後の認知と現在の認知との間に所定時間以上が経過していると認められるときは、その障害物について運転者に情報を提供する（６４）。一方で、所定時間が経過していないときには、情報提供を抑制し、運転者が煩わしく思わないように制御する（６３）。
【００３６】
図７は第２の実施の形態に係る処理の詳細なフローを示している。最後に認知した時刻と現在の時刻とを比較する工程７５以外は図４に記載の第１の実施の形態と同様であるため、説明を省略する。また、危険状態の判定（７２）や、過去に障害物を認知していたかどうかの判断（７４）についても、それぞれ前記した表１や表２と同様の方法で実施することができる。
【００３７】
図７のフローでは、検出された障害物の危険状態が「低」の場合であって、運転者は現在はその障害物を認知していないが、過去において少なくとも一度は認知していた場合に、その障害物に関する情報を運転者へ提供するか否かを工程７５で判断する。すなわち、その障害物について、最後に認知した時刻と現在の時刻とを比較し、所定時間を超過している場合には情報を提供し、所定時間内であれば情報提供を抑制する。
【００３８】
現在運転者が認知していない障害物であっても、過去において少なくとも一度は認知している障害物については、検出される度に情報提供が行われると運転者にとってとても煩わしいものとなる。しかし、最後に認知したときから長時間経過している場合には、障害物の状態が変化していたり、運転者がその障害物を忘れてしまっている可能性が高く、そのような場合には情報の提供が必要である。本第２の実施の形態では、上記のように最後の認知からの経過時間を参照するので、運転者が煩わしいと感じない適切な情報提供が実現できる。
【００３９】
ここで運転者に情報を提供するか否かを判断する要素である「所定時間」は、自車両や障害物の速度や進行方向、運転者の技能などを考慮して任意に決定することが可能である。
【００４０】
以上に説明した２つの実施の形態は、本願発明の技術的範囲を限定するものではない。既に説明した以外にも様々な変形例が考えられる。例えば、検出された障害物に関し、現在と過去において運転者が認知しているかどうかを判断する表２の認知記憶テーブルは、認知している状態「１」と認知していない状態「０」とで表示する必要はない。更に詳しく運転者の認知状態を検出し、どの程度の注意力で認知しているのかを考慮することもできる。すなわち、認知記憶テーブルからは、過去において少なくとも一度は運転者が障害物を認知していたとみなせるか否かが判断できるとよい。
【００４１】
【発明の効果】
本願発明の情報提供装置によると、検出された障害物が現在は認知されていないが、過去において少なくとも一度は認知されていた場合に、その障害物に関する情報を運転者へ提供するか否かを、その障害物の状態の変化や最後に認知したときからの経過時間を考慮して決定する。従って、移動体の運行の安全性を確保すると共に、運転者に提供される情報量が多くなりすぎることがなく、煩わしくない情報提供を実現できる。
【図面の簡単な説明】
【図１】第１の実施の形態を示す図である。
【図２】第１の実施の形態に係る処理のフローを示す図である。
【図３】第１の実施の形態を示す詳細な図である。
【図４】第１の実施の形態に係る処理の詳細なフローを示す図である。
【図５】第２の実施の形態を示す図である。
【図６】第２の実施の形態に係る処理のフローを示す図である。
【図７】第２の実施の形態に係る処理の詳細なフローを示す図である。
【符号の説明】
１１，５１障害物検出手段
１２，５２認知状態検出手段
１３，５３記憶手段
１４，５４比較手段
１５，５５出力手段
３４危険状態判定手段
５６時計[0001]
TECHNICAL FIELD OF THE INVENTION
The present invention relates to a device for detecting obstacles around a moving body and providing information to a driver, and relates to a device for providing information with high reliability without troublesomeness.
[0002]
[Prior art]
Patent Document 1 discloses a traveling environment monitoring and warning device that can provide a driver with information on an obstacle that is not recognized in an appropriate form. This device predicts the movement from time-series data of position information of an obstacle detected by various sensors, and at the same time, detects the state of the driver mainly in the driver's line of sight. Then, an alarm is output in accordance with the position and size of the obstacle, the predicted movement, and the state of the driver. For example, it is possible to perform a process of not outputting an alarm for a recognized obstacle, and to prevent the amount of information provided to the driver from becoming too large.
[Patent Document 1]
JP-A-11-139229 (FIG. 1)
[0003]
[Problems to be solved by the invention]
The above-described conventional driving environment monitoring and warning device provides information on a detected obstacle when the driver does not recognize the obstacle, and provides information on an obstacle already recognized by the driver. Not performed. Such a process is an effective means for preventing the provided information from becoming too large when the state of the obstacle such as the existing position or the moving speed does not change. However, once an obstacle has been recognized, it is determined to be "already recognized" and information provision is suppressed, so even if the state of the obstacle changes to a dangerous direction immediately after that, the information will still be Not provided.
[0004]
On the other hand, if information is provided as soon as the driver removes his / her eyes from an obstacle once recognized, the information is provided to the driver, which is very troublesome for the driver.
[0005]
As described above, the surrounding environment changes every moment during the operation of the moving body, so if it is determined whether or not to provide information only based on the presence of obstacles and the recognition state of the driver, it is said that `` information provision without omission '' It is very difficult to achieve both "not intrusive information provision".
[0006]
SUMMARY OF THE INVENTION The present invention has been made to solve the above problems, and has as its object to provide a highly reliable information providing device that does not omit monitoring and does not bother.
[0007]
[Means for Solving the Problems]
The invention according to claim 1 is an obstacle detecting means for detecting a state of an obstacle around a moving body, a recognition state detecting means for detecting a driver's recognition state of the obstacle, and a detection by the obstacle detecting means. Storage means for storing the detected obstacle state and the driver's recognition state of the obstacle detected by the recognition state detection means, and the sequentially detected obstacle state and driver's recognition Comparing means for determining necessity of providing information to the driver or means for providing information by comparing the state with the state of the obstacle in the past and the recognition state of the driver stored in the storage means. An information providing apparatus characterized in that:
[0008]
Here, the “moving object” broadly includes moving means and transportation means such as automobiles, trains, aircraft, ships, and the like. , Pedestrians, traffic lights, etc., as well as intersections and pedestrian crossings that may be dangerous. The “state of the obstacle” means the position, size, speed, traveling direction, and the like of the obstacle. The “cognitive state” indicates whether or not the driver is aware of the state of the obstacle, and can also include how much attention is used to recognize the state of the obstacle. .
[0009]
The invention according to claim 2 is characterized in that, when the obstacle detected by the obstacle detecting means is not currently recognized by the driver and has been recognized in the past, the comparing means detects the obstacle. The information providing apparatus according to claim 1, wherein when the state has changed from a past state, the information providing apparatus determines to provide information on the obstacle to the driver.
[0010]
The invention according to claim 3 is an obstacle detecting means for detecting the presence of an obstacle in the vicinity of the moving object, a recognition state detecting means for detecting a driver's recognition state of the obstacle, and a detection by the obstacle detecting means. Storage means for storing the time recognized by the driver with respect to the detected obstacle, and comparing the time last recognized by the driver with the current time for sequentially detected obstacles, An information providing device, comprising: a comparing unit that determines to provide information on the obstacle to the driver when it is determined that the obstacle has not been recognized again after a predetermined time. .
[0011]
Here, “recognized last” means that the detected obstacle is recognized last with reference to the driver's recognition state in the past. In other words, the recognition immediately before the current recognition regarding the obstacle.
[0012]
[Action]
According to the first aspect of the present invention, when an obstacle is detected, even if the obstacle is already recognized by the driver in the past, the state of the obstacle and the recognition of the driver are recognized. Since the state and the state are compared in the past and the present and the necessity of providing information on the obstacle and the information providing means are determined, it is possible to provide an information providing apparatus without omission of monitoring and without troublesomeness.
[0013]
According to the invention described in claim 2 of the present application, when an obstacle is detected, even if the obstacle is already recognized by the driver in the past, the state of the obstacle is changed from the past state. When the information is changing, information about the obstacle is provided, so that a more reliable information providing device can be provided.
[0014]
According to the invention described in claim 3 of the present application, when an obstacle is detected, even if the obstacle has already been recognized by the driver in the past, the obstacle is detected over a predetermined time thereafter. If the user does not recognize the obstacle, the information about the obstacle is provided, so that a more reliable information providing device can be provided.
[0015]
BEST MODE FOR CARRYING OUT THE INVENTION
(First Embodiment)
FIG. 1 is a diagram showing a first embodiment embodying the present invention. This information providing device includes an obstacle detection unit 11, a recognition state detection unit 12, a storage unit 13, a comparison unit 14, and an output unit 15.
[0016]
The obstacle detecting means 11 is a means for detecting a so-called state such as a position, a size, a speed, and a traveling direction of an obstacle, and specifically corresponds to a radar, a monitoring camera, or the like. The recognition state detecting means 12 detects whether or not the driver is aware of the state of the obstacle, or detects how much attention the driver has recognized the state of the obstacle. A surveillance camera that detects the direction and the line of sight corresponds to this. Actually, the recognition state of the obstacle is detected by using the position information of the obstacle detected by the obstacle detection means 11 based on whether the driver's line of sight is in the direction in which the obstacle exists. .
[0017]
The state of the obstacle detected by the obstacle detection unit 11 and the recognition state of the driver detected by the recognition state detection unit 12 are stored in the storage unit 13. On the other hand, the state of the obstacle and the recognition state of the driver, which are sequentially detected, are compared with the state of the obstacle and the recognition state of the driver in the past by the comparing means 14, and it is necessary to provide information to the driver regarding the obstacle. No, and means of information provision are determined. At that time, the comparing means 14 not only notifies the driver that the detected obstacle has not been recognized in the past, but also detects the detected obstacle even if the detected obstacle has been recognized in the past. When the state of the obstacle has changed from the state in the past, it is preferable to provide the driver with information on the obstacle.
[0018]
FIG. 2 shows a flow of processing of such an information providing apparatus. First, the obstacle state and the driver's recognition state are detected using the obstacle detection means 11 and the recognition state detection means 12 (21), and the detected obstacle state and the driver's recognition state for the obstacle are detected. Is stored in the storage means 13 (22). The stored information is compared with the subsequently detected obstacle state and cognitive state, and when the state of the obstacle is changing in a dangerous direction, the information of the obstacle is provided to the driver. If the information has not changed, information provision is suppressed (23).
[0019]
Specifically, when the moving direction or speed of the obstacle suddenly changes and the danger of collision increases, or when an obstacle that is recognized as being stopped suddenly starts moving, etc. Even if those obstacles are recognized once in the past, the information is provided to the driver again.
[0020]
By such a process, it is possible to realize information provision that does not bother the driver without losing information provision about a dangerous obstacle.
[0021]
FIG. 3 is a diagram in which the first embodiment described above is applied to an automobile and functions are described in detail. This will be described below in conjunction with FIG. 4 showing the processing flow of this information providing apparatus. The obstacle detecting means 11 comprises a part 31 for detecting the speed of the host vehicle, a part 32 for detecting the position and speed of the obstacle, and a part 33 for calculating the relative position, speed and traveling direction. A laser radar, a millimeter-wave radar, an ultrasonic radar, or the like can be used for the portion 32 for detecting the position and speed of the obstacle, and the position of the obstacle can be detected by a visible light camera or an infrared camera. Is also possible. From the position and speed of the obstacle detected by these sensors and the speed of the host vehicle, the relative position, speed, traveling direction, and the like of the obstacle are calculated (33). On the other hand, based on the driver's gaze direction detected by a face monitoring camera or a gaze direction detection camera installed in the vehicle and the position of the obstacle, the driver's recognition state of the obstacle is detected (12) and calculated. It is stored together with the state of the obstacle that has been made (13, 41).
[0022]
Next, based on the calculated relative position, speed, and traveling direction of the obstacle, a danger state of the obstacle with respect to the own vehicle is determined (34, 42). The determination of the dangerous state can be performed based on the dangerous state determination table shown in Table 1 below. "Position" shown in Table 1 is a relative position of the obstacle with respect to the own vehicle, and is an index that the closer the obstacle is, the more dangerous. The “speed” is a relative speed between the own vehicle and the obstacle, and the higher the speed, the more dangerous. The `` traveling direction '' is an indicator that indicates whether the traveling direction of the obstacle is on the course where the host vehicle will travel in the future, or whether there is a risk of coming on the course in the future, or If there is a risk of coming on the course, it can be said that there is a high risk of collision and a dangerous state. Actually, it may be determined that the vehicle is on the course when the traveling direction of the obstacle is within a range of ± α degrees of the traveling direction of the own vehicle. If α is determined from factors such as the position and speed of the obstacle, it becomes a more accurate dangerous state determination unit. In this embodiment, a danger state is determined from the above three indices as shown in Table 1 (42). For example, when a high-speed obstacle exists at a near position and the obstacle is on the path of the own vehicle, the danger state becomes “high”, and conversely, the moving speed is slow at a distant position and the vehicle is not on the path (non On the path) the obstacle will be "No" in danger.
[0023]
[Table 1]

[0024]
If the detected dangerous state of the obstacle is determined to be "high", the comparing means 14 immediately outputs an alarm without comparing with other conditions (15, 47). In this case, the output unit 15 outputs a warning sound or voice information with a high sense of crisis to urge the driver's attention.
[0025]
If the danger state of the detected obstacle is determined to be “absent”, it is determined that there is no need to provide information, regardless of whether the driver is aware of the obstacle, and the cumbersome information provision is suppressed. (14, 42).
[0026]
If the danger state of the detected obstacle is determined to be “low”, the driver refers to whether or not the driver is currently aware of the obstacle, and if the driver is aware of the obstacle, it is safe. The provision is suppressed to reduce the inconvenience (14, 43).
[0027]
If the detected danger state of the obstacle is “low” and the driver does not recognize the obstacle at present, the information stored in the storage unit 13 indicates that the driver It is determined whether an obstacle has been recognized (44). For the determination at this time, the recognition memory table shown in Table 2 can be used. In Table 2, "1" is stored in chronological order if the obstacle is recognized, and "0" is stored if not, and the bottom line is the current recognition state. According to the example of Table 2, it can be determined that the obstacle A has been recognized once in the past, the obstacle B has never been recognized, and the obstacle M has been recognized now. Table 2 is a table in which only the recognition state of the driver is described, but the storage unit 13 also stores the state of the obstacle along a similar time series.
[0028]
[Table 2]

[0029]
If the driver has never recognized the detected obstacle as determined from Table 2 as described above, the driver may be provided with information on the obstacle because the driver may be in a dangerous state. (46). In this case, it is preferable that the information output means 15 outputs a warning sound or voice information with a lower sense of crisis than when the danger state is “high”.
[0030]
If the driver was aware of the obstacle in the past and provided information on all obstacles even though the danger state was a "low" obstacle, it would be very difficult for the driver troublesome. Therefore, it is determined from the information stored in the storage means 13 whether or not the state of the obstacle has changed from the state recognized in the past (45). Provides information to the driver about the obstacle, since the driver may not be aware of the change (46). However, even for obstacles that are not recognized by the driver at present, those that have not changed state since they were recognized in the past are not considered to be particularly dangerous. The amount of information to be provided is reduced to control the driver so that the provided information is not bothered (36). When determining “change in the state of an obstacle” in the present embodiment, specifically, it is detected that the traveling direction of the obstacle, the relative position to the own vehicle, the relative speed, and the like have changed by a predetermined ratio or more, and the obstacle is detected. It is determined that the state of the object has changed.
[0031]
As an example, if a driver is aware of a car that is traveling far away in the past, but is not aware of it at present, especially when the inter-vehicle distance does not change, information about the car is Will not provide. However, if the vehicle is braked and the distance between the vehicles is suddenly reduced, it is very dangerous because the driver is not aware of the current distance. In such a case, the driver is provided with the information.
[0032]
In another example, the driver is aware of a bicycle running on the sidewalk ahead, and if not, no information is provided while the bicycle is running on the sidewalk. If the user suddenly crosses the pedestrian crossing in such a way as to cross the front of the vehicle, information about the bicycle is provided.
[0033]
By performing such processing, it is possible to realize an information providing apparatus that provides important information for safe operation without leaking and that does not provide unnecessary information that the driver thinks to be troublesome.
[0034]
(Second embodiment)
FIG. 5 is a diagram showing a second embodiment embodying the present invention. The information providing device includes an obstacle detection unit 51, a recognition state detection unit 52, a storage unit 53, a comparison unit 54, and an output unit 55. Since these units are the same as those described in the first embodiment, description thereof will be omitted, and only different points will be described. FIG. 6 is a diagram showing a processing flow of the information providing apparatus according to the present embodiment, which will be described below in conjunction with FIG.
[0035]
First, the step 61 of detecting the presence of an obstacle and the driver's cognitive state is the same as in the first embodiment. The clock 56 in FIG. 5 is a device for outputting the time. The storage unit 53 stores the presence of an obstacle that is sequentially detected and the recognition state of the driver, and also stores the detected time (62). . Here, the storage unit 53 does not need to store all the position, size, speed, traveling direction, and the like of the obstacle as described in the first embodiment, and at least the existence of the obstacle and the operation of the obstacle It is sufficient that the time recognized by the person is stored. Next, the time when the driver last recognized the detected obstacle is compared with the current time (63), and it is determined that a predetermined time or more has elapsed between the last recognition and the current recognition. If so, information is provided to the driver about the obstacle (64). On the other hand, when the predetermined time has not elapsed, information provision is suppressed, and control is performed so that the driver does not feel bothered (63).
[0036]
FIG. 7 shows a detailed flow of a process according to the second embodiment. Except for the step 75 of comparing the last recognized time with the current time, the process is the same as the first embodiment shown in FIG. Also, the determination of a dangerous state (72) and the determination of whether or not an obstacle has been recognized in the past (74) can be performed in the same manner as in Tables 1 and 2, respectively.
[0037]
In the flow of FIG. 7, when the danger state of the detected obstacle is “low”, the driver does not recognize the obstacle at present, but recognizes the obstacle at least once in the past. In step 75, it is determined whether or not information on the obstacle is provided to the driver. That is, for the obstacle, the last recognized time is compared with the current time, and information is provided if the time exceeds a predetermined time, and information provision is suppressed if the time is within the predetermined time.
[0038]
Even if an obstacle is not recognized by the driver at present, it is very troublesome for the driver if information is provided each time an obstacle is recognized at least once in the past. However, if a long time has passed since the last recognition, it is highly likely that the state of the obstacle has changed or that the driver has forgotten the obstacle. Need to provide information. In the second embodiment, since the elapsed time from the last recognition is referred to as described above, it is possible to provide appropriate information that the driver does not feel troublesome.
[0039]
Here, the "predetermined time" which is an element for determining whether or not to provide information to the driver can be arbitrarily determined in consideration of the speed and traveling direction of the own vehicle and obstacles, the skill of the driver, and the like. It is possible.
[0040]
The two embodiments described above do not limit the technical scope of the present invention. Various modifications other than those already described are conceivable. For example, regarding the detected obstacle, the recognition memory table of Table 2 that determines whether the driver has recognized the present and the past in the past and presents the recognized state “1” and the unrecognized state “0”. It is not necessary to display with. It is also possible to detect the driver's cognitive state in more detail, and to consider how much attention the driver is recognizing. That is, it may be possible to determine from the recognition memory table whether or not the driver can be considered to have recognized the obstacle at least once in the past.
[0041]
【The invention's effect】
According to the information providing apparatus of the present invention, if the detected obstacle is not currently recognized, but has been recognized at least once in the past, it is determined whether to provide the driver with information on the obstacle. The determination is made in consideration of the change in the state of the obstacle and the elapsed time since the last recognition. Therefore, while ensuring the safety of the operation of the moving body, the information amount provided to the driver does not become too large, and it is possible to realize information provision that is not bothersome.
[Brief description of the drawings]
FIG. 1 is a diagram showing a first embodiment.
FIG. 2 is a diagram illustrating a flow of a process according to the first embodiment.
FIG. 3 is a detailed diagram showing the first embodiment.
FIG. 4 is a diagram showing a detailed flow of a process according to the first embodiment.
FIG. 5 is a diagram showing a second embodiment.
FIG. 6 is a diagram showing a flow of processing according to a second embodiment.
FIG. 7 is a diagram showing a detailed flow of processing according to the second embodiment.
[Explanation of symbols]
11, 51 Obstacle detecting means 12, 52 Cognitive state detecting means 13, 53 Storage means 14, 54 Comparing

means

15, 55 Output means 34 Danger state determining means 56 Clock

Claims

Obstacle detection means for detecting a state of an obstacle around the moving body;
A cognitive state detecting means for detecting a cognitive state of the driver with respect to the obstacle;
The state of the obstacle detected by the obstacle detection means, and storage means for storing the recognition state of the driver for the obstacle detected by the recognition state detection means,
By comparing the sequentially detected obstacle state and driver's recognition state with the past obstacle state and driver's recognition state stored in the storage means, it is necessary to provide information to the driver. An information providing apparatus, comprising: a comparison unit that determines whether or not information is provided.

The comparing means, when the obstacle detected by the obstacle detection means is not currently recognized by the driver, and was recognized in the past, the state of the obstacle changes from the past state The information providing apparatus according to claim 1, wherein when it is determined that the information about the obstacle is provided to the driver.

Obstacle detection means for detecting the presence of an obstacle around the moving object;
A cognitive state detecting means for detecting a cognitive state of the driver with respect to the obstacle;
For the obstacle detected by the obstacle detection means, storage means for storing the time recognized by the driver,
For the sequentially detected obstacles, the time last recognized by the driver is compared with the current time, and when it is determined that the driver has not recognized the obstacle for more than a predetermined time, the An information providing apparatus, comprising: a comparison unit that determines to provide information on an obstacle to a driver.