JP2015018438A

JP2015018438A - 走行支援装置

Info

Publication number: JP2015018438A
Application number: JP2013145592A
Authority: JP
Inventors: 泰次永冨; Yasutsugu Nagatomi; 鎌田　忠; Tadashi Kamata; 忠鎌田; 輝 ▲高▼橋; Teru Takahashi; 玉津　幸政; Yukimasa Tamatsu; 玉津　　幸政; 隆介堀田; Ryusuke Hotta; 晶平森川; Shohei Morikawa
Original assignee: Denso Corp
Current assignee: Denso Corp
Priority date: 2013-07-11
Filing date: 2013-07-11
Publication date: 2015-01-29
Anticipated expiration: 2033-07-11
Also published as: DE102014213485A1; JP6205923B2; US9514547B2; US20150015596A1

Abstract

【課題】車両が認識していない対象物にドライバの注意を向ける走行支援装置を提供する。【解決手段】走行支援装置は、車両の自動運転中か（Ｓ４００：Ｙｅｓ）、手動運転中に自動運転ボタンが押されると（Ｓ４０２：Ｙｅｓ）、カメラ等から周囲情報として画像データを取得し（Ｓ４０６）、予め設定した対象物を画像データ中で認識すると（Ｓ４０８：Ｙｅｓ）、認識した対象物の画像データに対して、ぼかしと、減色と、エッジ強度の低下との少なくともいずれか一つの処理を実行することにより、認識した対象物の画像データの視認性を低下させる（Ｓ４１０）。対象物を認識しない部分の画像データに対しては視認性の低下処理を実行しない。走行支援装置は、視認性を低下させた画像データと視認性を低下させていない画像データとを合わせて画像表示装置に表示する（Ｓ４１２）。【選択図】図２

Description

本発明は、車両の周囲の状況に基づいて車両の走行を支援する走行支援装置に関する。

車両の周囲の状況をカメラ等の撮像装置で撮影し、撮影した画像データ等の情報に基づいて車両の周囲の状況を車両自体が認識する技術が知られている（例えば、特許文献１参照。）。

特許文献１においては、車両が、予め設定された歩行者等の対象物を画像データから認識すると、対象物を明度の高い矩形状の枠で囲むことによりディスプレイに強調して表示する。これにより、肉眼では対象物を視認しにくい夜間等の状況でも、ドライバはディスプレイ上で対象物の存在を明確に認識することができる。

特開２０１２−１７１３８７号公報

しかしながら、対象物の一部が他の物体に隠れている場合などのために、実際には対象物が存在するにも関わらず車両が画像データから対象物を認識できないことがある。この場合、認識されない対象物は強調表示用の枠で囲まれず、撮影された画像データのままディスプレイに表示される。一方、画像データから認識された対象物は枠で囲んでディスプレイに強調表示される。

このような表示方式では、車両が認識することにより枠で囲まれて強調表示される対象物にドライバの注意が引きつけられるので、実際には存在するにも関わらず車両が認識しないために枠で囲まれずにそのまま表示される対象物を、ドライバがディスプレイから認識することが困難になるという問題がある。車両およびドライバの両方が対象物を認識していない場合、このような対象物に対して適切な処置を行えないおそれがある。

車両が認識している対象物を枠で囲まずに表示すれば、車両が認識しているか否かに関わらず対象物は同じ条件でディスプレイに表示されることになる。しかし、同じ条件で対象物がディスプレイに表示されると、車両が実際に対象物を認識しているか否かが分からない。その結果、ドライバは、認識している対象物に基づいて車両が適切な走行支援を行うか不安になる。

本発明は、上記課題を解決するためになされたものであり、車両が認識していない対象物にドライバの注意を向ける走行支援装置を提供することを目的とする。

本発明の走行支援装置は、車両周囲の状況に基づいて車両の走行を支援する走行支援装置であって、情報取得手段と認識手段と表示手段と視認性低下手段とを備えている。
情報取得手段は、車両周囲の状況を表わす周囲情報を取得し、認識手段は情報取得手段が取得する周囲情報に基づいて車両周囲の物体を認識する。

表示手段は、周囲情報に基づいて車両の周囲の状況を表示装置に表示し、視認性低下手段は、認識手段が認識する車両周囲の物体のうち予め設定された所定の対象物を表示手段が表示装置に表示するときの視認性を低下させる。

この構成によれば、車両が認識している対象物を表示装置に表示するときの視認性を低下させるので、視認性が低下されて表示されている対象物を車両が認識していることをドライバは知ることができる。さらに、視認性が低下されて対象物が表示されるので、表示された対象物にドライバの注意が特に引きつけられることなく、車両に認識されていない物体にドライバが注意を向けることができる。

また、視認性が低下されて表示される対象物を車両が認識していることをドライバは分かるので、視認性が低下されて表示される対象物に対して車両が適切な走行支援をするとドライバは判断できる。

認識手段の認識結果に基づいて車両を自動的に運転する自動運転手段を走行支援装置が備える場合、ドライバは、車両が存在を認識しており視認性が低下されて表示されている対象物に対する運転操作を車両に任せ、それ以外の物体に注意を向けることができる。これにより、ドライバの運転操作に対する負荷を低減できる。

本実施形態による走行支援システムを示すブロック図。走行支援処理を示すフローチャート。歩行者を示す模式図。（Ａ）は本実施形態の表示状態を示す説明図、（Ｂ）は比較例の表示状態を示す説明図。

以下、本発明の実施形態を図に基づいて説明する。図１の走行支援システム２は、画像撮影装置１０と走査装置１２と画像表示装置２０と入力装置２２と走行支援装置３０とを備えており、車両に搭載されている。

画像撮影装置１０は、例えば、公知のＣＣＤイメージセンサ、あるいはＣＭＯＳイメージセンサ等のイメージセンサに加え、増幅部およびＡ／Ｄ変換部を内蔵したカメラである。これら増幅部およびＡ／Ｄ変換部は、イメージセンサによって画像が撮影された際に、その画像の各画素の明るさを示すアナログ信号を所定のゲインで増幅し、かつ増幅したアナログ値をデジタル値に変換する。画像撮影装置１０は、このデジタル値に変換した画像データを走行支援装置３０に出力する。

走査装置１２は、例えば、レーザまたはミリ波を車両前方へ照射して水平方向の所定角度範囲の検出領域を走査し、その反射波を受信するレーダである。そして、受信した反射波に基づいて、車両の前方に存在する物体に関する検出情報、具体的には、車両からの距離、車両との相対速度、車両に対する横位置、形状等を走査情報として走行支援装置３０に出力する。

画像表示装置２０は、フロントパネル等に設置されたディスプレイまたはＨＵＤ（Head Up Display）である。入力装置２２は、ドライバが操作するスイッチ類である。
走行支援装置３０は、対象処理部４０と自動／手動運転切替部５０と緊急停止部５２と車両制御部６０とを備えている。対象処理部４０は、画像解析部４２と走査解析部４４と画像処理部４６とを備えている。

画像解析部４２は、画像撮影装置１０が出力する画像データに基づいて、車両周囲の物体を認識する。画像解析部４２は、画像データを解析するための辞書ＤＢを有しており、画像データと辞書ＤＢとを比較することにより、車両周囲の物体として、歩行者、車両、信号等を認識する。

走査解析部４４は、走査装置１２が出力する走査情報に基づいて、車両の周囲の物体を認識する。
画像処理部４６は、画像解析部４２および走査解析部４４の解析結果に基づいて、画像解析部４２および走査解析部４４が存在すると認識した物体のうち、予め設定された所定の対象物を画像表示装置２０に表示するときの視認性を低下させる画像処理を実行する。画像処理部４６は、視認性を低下させた部分の画像データと、視認性を低下させていない部分の画像データとを合わせて画像表示装置２０に表示させる。画像表示装置２０に表示するときの視認性の低下処理については後述する。

自動／手動運転切替部５０は、ドライバが入力装置２２において自動運転ボタンまたは手動運転ボタンを押したことを検出することにより、車両を自動運転するか手動運転するかを車両制御部６０に指示する。緊急停止部５２は、ドライバが入力装置２２において緊急停止ボタンを押したことを検出することにより、車両の緊急停止を車両制御部６０に指示する。

自動運転については、自動運転ボタンが押されると手動運転ボタンが押されるまで自動運転を継続する方式でもよいし、手動運転ボタンが押されない状態で所定時間が経過すると自動的に自動運転から手動運転に切り替わる方式でもよい。

車両制御部６０は、自動／手動運転切替部５０から手動運転を指示されると、ドライバの運転操作に基づいて、燃料噴射、操舵輪の操舵量、ブレーキの制動力等を制御する。
また、車両制御部６０は、自動／手動運転切替部５０から自動運転を指示されると、対象処理部４０による対象物に対する認識結果に基づいて、燃料噴射、操舵輪の操舵量、ブレーキの制動力等を自動制御する。尚、自動運転中であっても、ドライバがステアリング、アクセルペダル、ブレーキペダル等を操作するか、手動運転ボタンが押されると、手動運転に切り替えられる。

（走行支援処理）
次に、走行支援装置３０が実行する車両の走行支援処理について、図２に基づいて説明する。図２の走行支援処理は常時実行される。図２のフローチャートにおいて、「Ｓ」はステップを表わしている。

図２のＳ４００において走行支援装置３０は、入力装置２２の自動運転ボタンが押されているか否かに基づき自動運転中であるか否かを判定する。自動運転中であれば（Ｓ４００：Ｙｅｓ）、走行支援装置３０はＳ４０６に処理を移行する。

自動運転中ではなく手動運転中であれば（Ｓ４００：Ｎｏ）、走行支援装置３０は、自動運転ボタンが押されているか否かを判定する（Ｓ４０２）。自動運転ボタンが押されていない場合（Ｓ４０２：Ｎｏ）、走行支援装置３０は本処理を終了する。

手動運転中に自動運転ボタンが押されると（Ｓ４０２：Ｙｅｓ）、走行支援装置３０は
手動運転から自動運転に切り替え（Ｓ４０４）、４０６に処理を移行する。
Ｓ４０６において走行支援装置３０は、画像撮影装置１０が撮影する画像データと、走査装置１２が走査する走査情報とを、車両周囲の状況を表わす周囲情報として取得し、予め設定された対象物を画像データおよび走査情報中で認識したか否かを判定する（Ｓ４０８）。予め設定された対象物とは、歩行者等である。

例えば、図３に示すように、車両１００の前方に歩行者１１０、１１２、１１４がいる場合、走行支援装置３０は、画像撮影装置１０が撮影した画像データを取得し、画像データと辞書ＤＢとを比較して、画像データ中に歩行者が存在するか否かを判定する。走行支援装置３０は、走査装置１２から取得する走査情報に基づいても、歩行者が存在するか否かを判定する。

その結果、走行支援装置３０は、歩行者１１０、１１２を歩行者として認識する。これに対し、歩行者１１４は、大きなゴルフバック等の荷物を持っているため、画像データおよび走査情報に基づいて歩行者と認識できない。

歩行者等の対象物を認識しない場合（Ｓ４０８：Ｎｏ）、走行支援装置３０はＳ４１２に処理を移行する。
歩行者等の対象物を認識すると（Ｓ４０８：Ｙｅｓ）、走行支援装置３０は、認識した対象物を画像表示装置２０に表示する画像データに対し、以下に示す（１）〜（３）のいずれか、あるいはその組合せによる画像処理を施し、画像表示装置２０に表示するときの視認性を低下させる（Ｓ４１０）。
（１）画像をぼかす
平滑化フィルタ、ガウシアンフィルタ、メディアンフィルタを使用して画像を平滑化する。
（２）減色
カラー画像データの場合、グレースケールか、２値化、対象物の白抜きにより色情報を低減する。
（３）エッジ強度の低下
ローパスフィルタを使用するか、あるいはフーリエ変換により対象物のエッジの周波数を周囲の周波数に近づけることにより、エッジの強度を低下させる。

Ｓ４１２において走行支援装置３０は、認識した対象物の画像データに対してはＳ４１０の画像処理により視認性を低下させ、対象物を認識しない部分の画像データに対してはＳ４１０の画像処理を施さず、画像表示装置２０に画像を表示する。

その結果、図４の（Ａ）に示すように、歩行者として認識された歩行者１１０、１１２の画像データに対しては視認性を低下させる処理が施されるので、該当箇所の画像２００、２０２が目立たないように表示される。

これに対し、ゴルフバック等の大きな荷物を持っているために歩行者と認識されなかった歩行者１１４、１１６の画像２０４、２０６は、視認性が低下されずに表示される。
このような画像処理が施されることにより、図４の（Ａ）の画像２００、２０２が目立っていないので、ドライバは、目立たない表示をされている対象物である歩行者を走行支援装置３０が認識していると判断できる。

さらに、画像２００、２０２が目立たないので、図４の（Ｂ）のように、対象物として認識された画像２１０、２１２を明度の高い枠２２０で囲んで表示する場合に比べ、図４の（Ａ）において、対象物として認識されなかった歩行者１１４、１１６の画像２０４、２０６に注意を向けることができる。

画像表示装置２０に画像を表示すると（Ｓ４１２）、走行支援装置３０は自動運転中に入力装置２２において手動運転ボタンが押されているか否かを判定する（Ｓ４１４）。手動運転ボタンが押されている場合（Ｓ４１４：Ｙｅｓ）、走行支援装置３０は手動運転に切り替える（Ｓ４１６）。

以上説明した本実施形態では、対象物である歩行者として認識された歩行者１１０、１１２の画像データに対しては視認性を低下させる処理を実行して表示し、歩行者として認識されなかった歩行者１１４、１１６の画像データに対しては視認性を低下させずにそのまま表示する。

これにより、ドライバは、走行支援装置３０が認識している歩行者１１０、１１２の画像よりも、走行支援装置３０が認識していない歩行者１１４の画像に注意を向けることができる。

また、認識された歩行者１１０、１１２の画像データに対しては視認性が低下されて表示されるので、ドライバは、走行支援装置３０が歩行者１１０、１１２を認識していることが分かる。したがって、自動運転中において、ドライバは、走行支援装置３０が認識している歩行者１１０、１１２に対する対応を車両に任せることができる。

また、自動運転中において、ドライバは、走行支援装置３０が対象物として認識できなかった歩行者１１４、１１６の画像２０４、２０６に注意を向けながら、歩行者１１４、１１６に接近した場合などに適切な運転操作を行うことができる。

［他の実施形態］
上記実施形態では、対象物として認識する物体として歩行者を例に説明したが、歩行者以外に、車両、自転車等を対象物としてもよい。また、道路を走行中の自動運転に限らず、駐車時の自動運転に本発明の走行支援処理を適用してもよい。

駐車時の自動運転においても、対象物として認識された物体の画像データに対しては視認性を低下させる処理を実行して表示し、対象物として認識されなかった物体の画像データに対しては視認性を低下させずにそのまま表示する。これにより、ドライバは、走行支援装置３０が認識している対象物の画像よりも、走行支援装置３０が認識していない対象物の画像に注意を向けることができる。

上記実施形態では、カメラ等から取得する物体の画像データ情報と、レーダ等から取得する物体の距離、位置、速度、および形状等の走査情報との両方に基づいて対象物を認識したが、いずれか一方の情報だけを採用してもよい。

このように、本発明は、上記実施形態に限定されるものではなく、その要旨を逸脱しない範囲で種々の実施形態に適用可能である。

２：走行支援システム、１０：画像撮影装置、１２：対象走査装置、２０：画像表示装置、３０：走行支援装置、４０：対象処理部、６０：車両制御部

Claims

車両周囲の状況に基づいて車両の走行を支援する走行支援装置（３０）であって、
車両周囲の状況を表わす周囲情報を取得する情報取得手段（４２、４４、Ｓ４０６）と、
前記情報取得手段が取得する前記周囲情報に基づいて車両周囲の物体を認識する認識手段と、
前記周囲情報に基づいて車両周囲の状況を表示装置に表示する表示手段（４６、Ｓ４１２）と、
前記認識手段が認識する車両周囲の前記物体のうち予め設定された所定の対象物を前記表示手段が前記表示装置に表示するときの視認性を低下させる視認性低下手段（４６、Ｓ４１０）と、
を備えることを特徴とする走行支援装置。
前記視認性低下手段は前記対象物の表示をぼかすことを特徴とする請求項１に記載の走行支援装置。
前記視認性低下手段は前記対象物の色情報を減色させることを特徴とする請求項１または２に記載の走行支援装置。
前記視認性低下手段は前記対象物のエッジ強度を低下させることを特徴とする請求項１から３のいずれか一項に記載の走行支援装置。
前記認識手段による認識結果に基づいて車両を自動的に運転する自動運転手段（６０、Ｓ４０４）を備えることを特徴とする請求項１から４のいずれか一項に記載の走行支援装置。