JP2019055756A - 車両用認知支援装置 - Google Patents

Abstract

【課題】この発明は、カメラを含む画像認識センサを用いて認識された注意喚起の対象物体に対して光の照射を行う車両用認知支援装置であって、光の照射によって画像中の認識対象物の見え方が変化することを抑制できるようにすることを目的とする。【解決手段】露光期間と非露光期間とを交互に繰り返しながら自車両の周辺を撮像するカメラを含む画像認識センサ１２と、自車両の周辺に光を照射可能な照射装置１４と、画像認識センサ１２を用いて自車両の周辺に存在する物体を認識する物体認識部１８と、物体認識部１８により認識された物体が注意喚起の対象物体である場合に、対象物体に対して照射装置１４を用いて光の間欠照射を実行する光照射制御部２０とを備える。この間欠照射は、光の照射期間と非照射期間とが交互に繰り返され、かつ、非照射期間が露光期間の少なくとも一部を含むように実行される。【選択図】図４

Description

この発明は、車両用認知支援装置に関する。

特許文献１には、対歩行者報知装置が開示されている。この対歩行者報知装置によれば、カメラを用いて自車両周辺に歩行者が存在するか否かが判定される。そのうえで、車両が認知した歩行者に対して、車両が歩行者を認識したことを報知するために、歩行者に対してマーキング光が照射される。

特開２０１４−０４６８３８号公報

特許文献１に記載の技術のようにカメラを利用する画像認識センサを用いて歩行者認識を行うシステムは、マーキング光が歩行者に対して特別な配慮なしに連続的に照射されると、マーキング光が画像中の歩行者の見え方を変化させてしまう。このことは、歩行者認識の妨げとなる。また、このような光照射による課題が生じる画像中の認識対象物は、認知支援装置による歩行者などの注意喚起の対象物体に限られず、例えば、道路上の白線を含む。白線の例について説明すると、照射される光の形状および位置によっては、照射された光を白線として誤認識してしまう可能性がある。

本発明は、上述のような課題に鑑みてなされたものであり、カメラを含む画像認識センサを用いて認識された注意喚起の対象物体に対して光の照射を行う車両用認知支援装置であって、光の照射によって画像中の認識対象物の見え方が変化することを抑制できるようにした車両用認知支援装置を提供することを目的とする。

本発明に係る車両用認知支援装置は、画像認識センサと、照射装置と、物体認識部と、光照射制御部と、を備える。
前記画像認識センサは、露光期間と非露光期間とを交互に繰り返しながら自車両の周辺を撮像するカメラを含む。
前記照射装置は、前記自車両の周辺に光を照射可能に構成されている。
前記物体認識部は、前記画像認識センサを用いて前記自車両の周辺に存在する物体を認識する。
前記光照射制御部は、前記物体認識部により認識された物体が注意喚起の対象物体である場合に、前記対象物体に対して前記照射装置を用いて光の間欠照射を実行する。
前記間欠照射は、光の照射期間と非照射期間とが交互に繰り返され、かつ、前記非照射期間が前記露光期間の少なくとも一部を含むように実行される。

前記間欠照射は、前記非照射期間が前記露光期間と一致し、かつ、前記照射期間が前記非露光期間と一致するように実行されてもよい。

本発明によれば、注意喚起の対象物体に対して光を照射する場合には、間欠照射が実行される。この間欠照射は、光の照射期間と非照射期間とが交互に繰り返され、かつ、非照射期間がカメラの露光期間の少なくとも一部を含むように実行される。これにより、カメラの露光／非露光について特別な配慮なしに光が連続的に照射される例と比べ、露光期間中の照射が時間的に短くなる。このため、本発明によれば、カメラにより撮像される画像への照射光の映り込みを抑制できるので、光の照射によって画像中の認識対象物の見え方が変化することを抑制できる。

本発明の実施の形態に係る車両用認知支援装置の構成の一例を示すブロック図である。 本発明の実施の形態に係る光照射制御との対比のために参照する光照射制御の例（光照射制御Ａ）を説明するためのタイムチャートである。 マーキング光の照射に起因する白線の誤認識の一例を説明するための図である。 本発明の実施の形態に係る光照射制御を説明するためのタイムチャートである。 本発明の実施の形態に係る光照射制御に関する処理のルーチンを示すフローチャートである。 本発明の実施の形態に係る光照射制御の効果を説明するための図である。 本発明の実施の形態に係る光照射制御における間欠照射の変形例１〜３を説明するための図である。

以下、図面を参照して本発明の実施の形態について説明する。以下に示す実施の形態において各要素の個数、数量、量、範囲等の数に言及した場合、特に明示した場合や原理的に明らかにその数に特定される場合を除いて、その言及した数に、この発明が限定されるものではない。また、以下に示す実施の形態において説明する構造やステップ等は、特に明示した場合や明らかに原理的にそれに特定される場合を除いて、この発明に必ずしも必須のものではない。

１．車両用認知支援装置の構成
本発明の実施の形態に係る車両用認知支援装置は、それが適用される自車両（運転者）と「注意喚起の対象物体」との相互認知を支援する装置である。この注意喚起の対象物体の例としては、人（例えば、歩行者、自転車）および動物が含まれる。以下、本実施形態では、この対象物体として、歩行者を例に挙げて説明を行う。

図１は、本発明の実施の形態に係る車両用認知支援装置の構成の一例を示すブロック図である。図１に示すように、車両用認知支援装置（以下、単に「認知支援装置」と略する）１０は、画像認識センサ１２、照射装置１４および電子制御ユニット（ＥＣＵ）１６を備えている。

１−１．画像認識センサ
画像認識センサ１２は、自車両周辺を撮像するカメラを含んでいる。カメラは、一例として、車両から撮像対象までの距離を計測可能なステレオカメラである。カメラは、自車両周辺を撮像する際に、後述の図２、４に示すように露光期間と非露光期間とを交互に繰り返す。

１−２．照射装置
照射装置１４は、自車両の周辺（より具体的には、前方）に光を照射するために、車両の所定部位（例えば、ヘッドランプユニットの内部、またはフロントバンパ）に取り付けられている。より詳細には、照射装置１４は、光の照射のために一例としてマーカランプを使用する。照射装置１４により照射される光の形状は特に限定されず、例えば、レーザ光のような指向性の高い光を用いることができる。或いは、歩行者を誘導するための光（例えば、歩行者が横断可能であることを示す形状の光（横断歩道形状の光など））、または歩行停止を促す形状の光が用いられてもよい。なお、照射装置１４は、注意喚起の対象物体に対して効果的に光を照射するために、対象物体の位置に応じて光の照射方向を調整するためのアクチュエータを備えていてもよい。

１−３．ＥＣＵ
ＥＣＵ１６は、プロセッサ、メモリおよび入出力インターフェースを備えている。ＥＣＵ１６は、本実施形態の相互認知支援制御に関連する機能ブロックとして、物体認識部１８と光照射制御部２０とを備えている。これらの機能ブロックは、認知支援装置１０内にハードウェアとして存在するものではなく、メモリに記憶されたプログラムがプロセッサによって実行されたときにソフトウェア的に実現される。

物体認識部１８は、画像認識センサ１２を用いて自車両の周辺に存在する物体を認識する機能を実現する。具体的には、物体認識部１８は、入出力インターフェースを介して画像認識センサ１２から自車両周辺の画像を受け取る。そして、物体認識部１８は、受け取った画像に対して所定の画像認識処理を施すことにより上記物体の認識を行う。この画像認識処理の典型例はパターン認識である。

光照射制御部２０は、物体認識部１８により認識された物体が注意喚起対象となる歩行者である場合に、その歩行者に対して照射装置１４を用いて光を照射する。より詳細には、この場合の光の照射は、図４を参照して後述される「間欠照射」である。また、歩行者に対する照射の例としては、歩行者自体もしくは歩行者の周辺の道路に向けて任意の形状のマーキング光（例えば、上記の線状の光）を照射する例が挙げられる。なお、物体認識部１８により認識された歩行者が注意喚起対象（すなわち、注意喚起すべき）歩行者であるか否かの判断は、任意の公知の手法を利用して行えばよい。

２．実施の形態に係る相互認知支援制御（光照射制御）
本実施形態において行われる車両（運転者）と歩行者間の相互認知支援制御は、歩行者に対して光を照射する「光照射制御」である。このような光照射制御によれば、車両の接近および車両が歩行者を認知していることを歩行者に知らせることができるとともに、歩行者の存在を運転者に知らせることができる。

２−１．照射される光が画像認識センサに与える影響
図２は、本発明の実施の形態に係る光照射制御との対比のために参照する光照射制御の例（以下、便宜上、「光照射制御Ａ」と称する）を説明するためのタイムチャートである。

上述のように、画像認識センサ１２のカメラは、自車両周辺を撮像する際に露光期間と非露光期間とを交互に繰り返す。図２中の時点ｔ１は光照射制御Ａによる光の照射の開始時期であり、時点ｔ２はその終了時期である。時点ｔ１から時点ｔ２までの期間は、光の照射実行期間Ｔであり、歩行者および運転者への注意喚起のために要求される時間として決定されたものである。図２に示すように、光照射制御Ａによる照射は、照射実行期間Ｔ中に連続的に実行される（以下、「連続照射」と称する）。

図２に示す光照射制御Ａ（比較例）を用いてマーキング光が歩行者に対して連続的に照射されると、露光期間中に照射が行われるため、マーキング光が画像中の歩行者の見え方を変化させてしまうことがある。このことは、歩行者認識の妨げとなる。より詳細には、画像認識による歩行者認識のために一般的に利用されるパターン認識では、教師データ（本実施形態では歩行者の正解画像）を学習させておき、その教師データと近いパターンを持つ領域を歩行者の画像として識別（認識）することが行われる。しかしながら、歩行者に対してマーキング光を照射してしまうと、上記のようにマーキング光が画像中の歩行者の見え方を変化させてしまう。このため、パターン認識が阻害され、その結果として、歩行者を見落としてしまう可能性がある。

また、物体認識部１８が画像認識センサ１２のカメラにより撮像される画像中から認識する認識対象物としては、認知支援装置１０による歩行者などの注意喚起の対象物体だけでなく、例えば、道路上の白線も含まれる。白線を例に挙げると、マーキング光の形状および照射位置によっては、以下の図３に示すようにマーキング光を白線として誤認識してしまう可能性がある。

図３は、マーキング光の照射に起因する白線の誤認識の一例を説明するための図であり、カメラにより撮像された画像を示している。図３に示す例では、線状の光が図面右側の白線の近くにおいて白線の近くに照射されている。この例では、物体認識部１８は、マーキング光を白線として誤って認識した結果として、図３に示すように、画像認識によって特定された白線の一部が実際の白線から乖離してしまっている。

２−２．実施の形態に係る光照射制御の概要
図４は、本発明の実施の形態に係る光照射制御を説明するためのタイムチャートである。この光照射制御による照射は、光の照射実行期間Ｔ中に、照射期間と非照射期間とが交互に繰り返されるように間欠的に実行される（以下、「間欠照射」と称する）。そして、図４に示すように、間欠照射は、非照射期間が露光期間と一致し、かつ、照射期間が非露光期間と一致するように実行される。

より詳細には、図４に示す例では、間欠照射の周期は、画像認識センサ１２のカメラの露光周期と等しく、数十ミリ秒程度の微小な値である。このような微小な周期で光が照射されると、人の目には、光が連続的に照射しているように見える。このため、このような間欠照射が利用されても、歩行者および運転者からのマーキング光の見え方が妨げられることはないといえる。ただし、間欠照射を利用する場合には、次のような輝度に対する配慮がなされることが望ましい。

すなわち、図４に示す間欠照射の例では、照射実行期間Ｔ中の各照射期間の合計値は、図２に示す連続照射の例における全体の照射期間（＝照射実行期間Ｔ）の半分の値となる。このため、連続照射の実行時と同等の電流値で間欠照射が行われると、マーキング光の輝度が２分の１に低下してしまう。このため、間欠照射時の輝度は、マーキング光として要求される明るさを確保するために、例えば電流値の調整によって、連続照射時の値と比べて高くなるように（図４の例では２倍となるように）適切に調整されることが望ましい。

２−３．実施の形態に係る光照射制御に関するＥＣＵの処理の一例
図５は、本発明の実施の形態に係る光照射制御に関する処理のルーチンを示すフローチャートである。ＥＣＵ１６は、車両の運転中に（より詳細には、相互認知支援が必要とされるときに）、本ルーチンを繰り返し実行する。

図５に示すルーチンのステップＳ１００の処理は、物体認識部１８により実行される。ステップＳ１００では、画像認識センサ１２から受け取った画像に対して画像認識処理を施すことにより、自車両周辺の物体の認識が行われる。認識された物体の情報は、物体認識部１８から光照射制御部２０に送信される。

ステップＳ１０２およびＳ１０４の処理は、光照射制御部２０により実行される。ステップＳ１０２では、物体認識部１８により認識された物体が注意喚起対象の歩行者であるか否かが、公知の手法を利用して判定される。

ステップＳ１０２の判定が不成立となる場合には、ステップＳ１００の処理が繰り返し実行される。一方、ステップＳ１０２の判定が成立する場合には、ステップＳ１０４の処理が選択される。ステップＳ１０４では、ステップＳ１０２の処理によって特定された注意喚起対象の歩行者に対して、間欠照射を利用する光照射制御（図４参照）が実行される。

２−４．実施の形態に係る光照射制御の効果
図６は、本発明の実施の形態に係る光照射制御の効果を説明するための図である。対比のための連続照射（光照射制御Ａ）の例では、各露光期間の全体がマーキング光の照射期間と重なる（図２参照）。このため、図６に示すように、実際の見え方を示す図だけでなく、カメラにより撮像された画像に対しても、マーキング光が同様に映り込んでいることが分かる。

一方、本実施形態の光照射制御によれば、カメラの各露光期間中には照射が行われないように間欠照射が実行される。このため、図６に示すように、連続照射の例と同様に歩行者に向けてマーキング光を照射しつつ、カメラにより撮像された画像中にはマーキング光が移り込まないようにすることができる。このため、マーキング光の照射によって画像中の歩行者の見え方が変化することを抑制できる。その結果、マーキング光の照射に起因する歩行者の検出ミスが抑制され、また、画像中の他の認識対象物（例えば、白線）の誤認識も抑制される。

３．間欠照射の変形例
上述した実施の形態においては、間欠照射は、非照射期間が露光期間と一致し、かつ、照射期間が非露光期間と一致するように実行される（図４参照）。しかしながら、本発明に係る「間欠照射」は、光の非照射期間がカメラの露光期間の少なくとも一部を含むように実行されるようになっていれば、上記の例以外の態様で実行されてもよい。具体的には、間欠照射は、例えば、以下の図７中の変形例１〜３に示される態様で実行されてもよい。

図７は、本発明の実施の形態に係る光照射制御における間欠照射の変形例１〜３を説明するための図である。図７中の変形例１に係る間欠照射は、非照射期間が露光期間の全体だけでなく非露光期間の一部を含むように実行される。この変形例１（次の変形例２も同様）のように、本発明に係る間欠照射では、必ずしも、非照射期間が露光期間と一致し、かつ、照射期間が非露光期間と一致していなくてもよい。

図７中の変形例２は、非照射期間が露光期間の全体ではなく当該露光期間の一部に相当する例である。この変形例２によれば、照射期間の一部が露光期間と重なることになる。しかしながら、このような変形例２であっても、露光期間が全体的に照射期間と重なる例（光照射制御Ａ）と比べて、露光期間中の照射が時間的に短くなる。このため、光照射制御Ａの例と比べて、カメラにより撮像される画像への照射光の映り込みを抑制することができる。

また、図７中の変形例３は、照射実行期間Ｔ中に繰り返される照射期間と非照射期間の一部において、照射期間と非露光期間との同期がなされていない例である。本発明に係る間欠照射は、照射期間と非照射期間とが規則的に繰り返される図４に示す例および変形例１、２と異なり、照射期間と非照射期間とが例えば変形例３のように不規則に繰り返されるように実行されてもよい。

１０ 車両用認知支援装置
１２ 画像認識センサ
１４ 照射装置
１６ 電子制御ユニット（ＥＣＵ）
１８ 物体認識部
２０ 光照射制御部

Claims (2)

1. 露光期間と非露光期間とを交互に繰り返しながら自車両の周辺を撮像するカメラを含む画像認識センサと、
   前記自車両の周辺に光を照射可能な照射装置と、
   前記画像認識センサを用いて前記自車両の周辺に存在する物体を認識する物体認識部と、
   前記物体認識部により認識された物体が注意喚起の対象物体である場合に、前記対象物体に対して前記照射装置を用いて光の間欠照射を実行する光照射制御部と、
   を備え、
   前記間欠照射は、光の照射期間と非照射期間とが交互に繰り返され、かつ、前記非照射期間が前記露光期間の少なくとも一部を含むように実行される
   ことを特徴とする車両用認知支援装置。
2. 前記間欠照射は、前記非照射期間が前記露光期間と一致し、かつ、前記照射期間が前記非露光期間と一致するように実行される
   ことを特徴とする請求項１に記載の車両用認知支援装置。

Images