JP2023102059A

JP2023102059A - 路面標示検出装置及びこれを備える報知システム、並びに路面標示検出方法

Info

Publication number: JP2023102059A
Application number: JP2022002396A
Authority: JP
Inventors: 大和依藤; Yamato Yorifuji
Original assignee: Toyota Motor Corp
Current assignee: Toyota Motor Corp
Priority date: 2022-01-11
Filing date: 2022-01-11
Publication date: 2023-07-24
Anticipated expiration: 2042-01-11
Also published as: CN116434163A; US20230222813A1; US12125295B2

Abstract

【課題】車両（自車両）が停止線等の路面標示に近づいたときに先行車両が存在する場合であっても、路面標示を確実に検出できるようにする。【解決手段】路面標示検出装置は、車両の少なくとも前方を撮像する第１カメラと、車両の少なくとも前方を撮像し、且つ第１カメラにより撮像される路面領域と比べて車両により近い路面領域を撮像可能な第２カメラと、を備える車両に適用されている。路面標示検出装置は、第１カメラによって車両の前方の一時停止標識が検出された場合に、検出された一時停止標識に対応する路面標示を第２カメラによって検出する処理を実行するプロセッサを備える。【選択図】図３

Description

本開示は、車両に適用される路面標示検出装置及びこれを備える報知システム、並びに路面標示検出方法に関する。

特許文献１は、車外認識装置を開示している。この車外認識装置は、カメラにより撮像された画像に基づき、車両前方の停止線及び一時停止標識までの距離をそれぞれ算出する。そして、距離の検出結果の信頼性を向上させるために、車外認識装置は、算出された距離の一方を基準として他方の適否を判定する。

特開２００７－２５７３０５号公報

一時停止標識に対応する停止線をカメラを用いて検出する際、特許文献１に記載の技術は、次のような課題を有する。すなわち、自車両の前方に先行車両が存在する場合、停止線が上記カメラの画角内に収まるタイミングにおいて、停止線が当該先行車両によって遮蔽され、停止線を当該カメラによって検出できない状況が生じ得る。そして、その後に自車両が停止線にさらに接近した際に、停止線が先行車両によって遮蔽されなくなっていたとしても、停止線が上記カメラの画角外となってしまうことが起こり得る。その結果、上記カメラによって停止線を検出できなくなる可能性がある。

本開示は、上述のような課題に鑑みてなされたものであり、その目的は、車両（自車両）が停止線等の路面標示に近づいたときに先行車両が存在する場合であっても、路面標示を確実に検出できるようにすることにある。

本開示に係る路面標示検出装置は、車両の少なくとも前方を撮像する第１カメラと、車両の少なくとも前方を撮像し、且つ第１カメラにより撮像される路面領域と比べて車両により近い路面領域を撮像可能な第２カメラと、を備える車両に適用されている。路面標示検出装置は、第１カメラによって車両の前方の一時停止標識が検出された場合に、検出された一時停止標識に対応する路面標示を第２カメラによって検出する処理を実行するプロセッサを備える。

本開示の一態様に係る報知システムは、上述の路面標示検出装置と、報知装置と、プロセッサと、を備える。報知装置は、車両の運転者に対する注意喚起のための報知を行う。当該プロセッサは、検出された路面標示と車両との距離が距離閾値以下、且つ車両の車速が速度閾値以上である場合、車両の一時停止に関する注意喚起のための報知を行うように報知装置を制御する。

本開示の他の態様に係る報知システムは、上述の路面標示検出装置と、報知装置と、内向きカメラと、プロセッサと、を備える。報知装置は、車両の運転者に対する注意喚起のための報知を行う。内向きカメラは、車両の室内に搭載され、運転者を撮像する。当該プロセッサは、路面標示が検出された後、内向きカメラの画像に基づいて運転者の前方不注意を検出した場合に、車両の一時停止に関する注意喚起のための報知を行うように報知装置を制御する。

本開示に係る路面標示検出方法は、車両の少なくとも前方を撮像する第１カメラと、車両の少なくとも前方を撮像し、且つ第１カメラにより撮像される路面領域と比べて車両により近い路面領域を撮像可能な第２カメラと、を備える車両に適用される。路面標示検出方法は、第１カメラによって車両の前方の一時停止標識が検出された場合に、検出された一時停止標識に対応する路面標示を第２カメラによって検出することを含む。

第２カメラは、第１カメラにより撮像される路面領域と比べて車両により近い路面領域を撮像可能である。本開示によれば、車両（自車両）が停止線等の路面標示に近づいたときに先行車両が存在する場合であっても、その後に自車両が路面標示にさらに接近した際に、第２カメラを利用して路面標示を確実に検出することができる。

実施の形態に係る車両の構成の一例を概略的に示す図である。車両が差し掛かる交差点の一例を表した図である。実施の形態に係る予防安全支援に関する処理を示すフローチャートである。実施の形態の変形例に係る車両の構成の一例を概略的に示す図である。実施の形態の変形例に係る予防安全支援に関する処理を示すフローチャートである。

以下、添付図面を参照して、本開示の実施の形態について説明する。ただし、以下に示す実施の形態において各要素の個数、数量、量、範囲等の数に言及した場合、特に明示した場合や原理的に明らかにその数に特定される場合を除いて、その言及した数に、本開示に係る技術思想が限定されるものではない。

１．車両の構成例
図１は、実施の形態に係る車両１の構成の一例を概略的に示す図である。車両１は、電子制御ユニット（ＥＣＵ）１０と、第１カメラ２０と、第２カメラ２２と、報知装置３０と、を備えている。

ＥＣＵ１０は、車両１を制御するコンピュータである。ＥＣＵ１０は、１又は複数のプロセッサ（以下、単にプロセッサと呼ぶ）１２と１又は複数の記憶装置（以下、単に記憶装置と呼ぶ）１４を含んでいる。プロセッサ１２は、各種処理を実行する。例えば、プロセッサ１２は、ＣＰＵ（Central Processing Unit）を含んでいる。記憶装置１４は、プロセッサ１２による処理に必要な各種情報を格納する。記憶装置１４としては、揮発性メモリ、不揮発性メモリ、ＨＤＤ（Hard Disk Drive）、ＳＳＤ（Solid State Drive）、等が例示される。プロセッサ１２が各種プログラムを実行することにより、プロセッサ１２による各種処理が実現される。各種プログラムは記憶装置１４に格納されている。なお、ＥＣＵ１０は複数であってもよい。

また、車両１は、車速Ｖ（車両１の速度）を検出する車速センサ１６を備える。

第１カメラ２０及び第２カメラ２２は、車両１の前方を撮像する。なお、本開示に係る「第１カメラ」及び「第２カメラ」のそれぞれは、少なくとも前方を撮像するものであればよく、車両１の前方とともに他の方向（例えば、側方）をも撮像可能に構成されたものであってもよい。

第１カメラ２０は、一例として、道路標識（例えば、図２に示す一時停止標識４）、車両１の前方の車両（先行車両及び対向車両等）、及び歩行者等の各種物標を認識するために車両１に搭載されている。第１カメラ２０は、例えば、車両１の室内（例えば、インナーミラーの裏側）に設置され、フロントガラス越しに車両１の前方を撮像する。なお、本開示に係る「第１カメラ」は、例えば、車両１のルーフに搭載されていてもよい。

第２カメラ２２は、一例として、駐車時及び発進時等の低速走行時における運転者の車両１の周囲確認を補助することを基本的な目的として車両１の前後左右にそれぞれ配置された複数のカメラの１つである。第２カメラ２２は、例えば、広角の魚眼カメラであり、フロントバンパーに設置されている。なお、本開示に係る「第２カメラ」は、例えば、上記目的で車両１の左右（例えば、後方確認用のドアミラーの下部）に配置された２つのカメラの少なくとも一方であってもよい。

第２カメラ２２は、第１カメラ２０と比べて鉛直方向の下方に配置されている。また、第２カメラ２２は、第１カメラ２０と比べてより下方を撮像可能な画角を有する。このため、図１に示すように、第２カメラ２２により撮像される路面領域Ｒ２は、第１カメラ２０により撮像される路面領域Ｒ１と比べて車両１により近い路面領域Ｒ２Ａを含んでいる。

報知装置３０は、車両１の運転者に対して注意喚起のための報知を行う。報知装置３０は、例えば、視覚を通じて注意を喚起するための表示器である。表示器は、例えば、車両１のインストルメントパネルに搭載されたディスプレイ、又は、車両１のフロントガラスに情報を表示するヘッドアップディスプレイ（ＨＵＤ）である。また、報知装置３０は、表示器に代え、或いはそれとともに、聴覚を通じて注意を喚起するためのブザー及びスピーカの一方又は双方を含んでもよい。

報知装置３０は、ＥＣＵ１０（プロセッサ１２）によって制御される。なお、プロセッサ１２は、本開示に係る「路面標示検出装置」が備えるプロセッサの一例にも相当する。このような例に代え、路面標示検出装置が備えるプロセッサは、報知装置を制御するプロセッサと異なるものであってもよい。また、図１に示す例では、プロセッサ１２及び報知装置３０が本開示に係る「報知システム」の一例に相当する。

２．予防安全支援
図２は、車両１が差し掛かる交差点２の一例を表した図である。交差点２の付近の走行路３の脇には、一時停止標識４が設置されている。また、走行路３には、一時停止標識４に対応する路面標示５として、停止線６と「止まれ」の標示７とが描かれている。

車両１の予防安全支援の１つとして、プロセッサ１２は、交差点２での一時停止に関する注意喚起を運転者に対して行うための報知を必要に応じて実行する。具体的には、この注意喚起のために、プロセッサ１２は、まず、第１カメラ２０を用いた画像認識により、一時停止標識４を検出する処理を実行する。次いで、プロセッサ１２は、第１カメラ２０を用いた画像認識により、路面標示５の検出を試みる。

しかしながら、第１カメラ２０は、一時停止標識４等の道路標識、車両１の前方の車両、及び歩行者等の上述の各種物標の認識に適した画角を有し、且つ、当該認識に適した位置に搭載されている。このため、路面標示５が第１カメラ２０の路面領域Ｒ１（図１参照）内にある時に路面標示５が先行車両によって遮蔽されていると、その後に車両１が路面標示５にさらに接近した際に、路面標示５が第１カメラ２０の画角外となってしまうことが起こり得る。

そこで、本実施形態では、プロセッサ１２は、第１カメラ２０によって車両１の前方の一時停止標識４が検出された場合に、検出された一時停止標識４に対応する路面標示５を第２カメラ２２によって検出する処理を実行するように構成されている。

図３は、実施の形態に係る予防安全支援に関する処理を示すフローチャートである。このフローチャートの処理は、車両１の走行中に繰り返し実行される。

図３では、ＥＣＵ１０（プロセッサ１２）は、ステップＳ１００において、第１カメラ２０を用いた画像認識によって一時停止標識４が検出されたか否かを判定する。その結果、一時停止標識４が検出されていない場合には、処理はリターンに進む。

一方、ステップＳ１００において一時停止標識４が検出された場合には、処理はステップＳ１０２に進む。ステップＳ１０２において、プロセッサ１２は、第１カメラ２０を用いた画像認識によって路面標示５が検出されたか否かを判定する。より詳細には、ステップＳ１０２の処理による検出対象の路面標示５は、例えば、停止線６及び「止まれ」の標示７の双方である。当該検出対象の路面標示５は、停止線６及び「止まれ」の標示７の何れか一方のみであってもよい。このことは、次のステップＳ１０４における第２カメラ２２による検出対象の路面標示５についても同様である。

ステップＳ１０２の判定結果がＹｅｓの場合（つまり、第１カメラ２０によって路面標示５が検出された場合）には、処理はステップＳ１０６に進む。一方、当該判定結果がＮｏの場合（つまり、第１カメラ２０によって路面標示５が検出されない場合）には、処理はステップＳ１０４に進む。

ステップＳ１０４において、プロセッサ１２は、第２カメラ２２を用いた画像認識によって路面標示５が検出されたか否かを判定する。その結果、ステップＳ１０４の判定結果がＮｏの場合（つまり、第１カメラ２０及び第２カメラ２２の何れによっても路面標示５が検出されない場合）には、処理はリターンに進む。一方、ステップＳ１０４の判定結果がＹｅｓの場合（つまり、第２カメラ２２によって路面標示５が検出された場合）には、処理はステップＳ１０６に進む。

ステップＳ１０６において、プロセッサ１２は、第１カメラ２０又は第２カメラ２２によって検出された路面標示５と車両１との距離Ｄが所定の距離閾値ＴＨｄ以下であるか否かを判定する。路面標示５が第１カメラ２０によって検出された場合、距離Ｄは、例えば、第１カメラ２０の地上高と、第１カメラ２０に対する路面標示５の俯角とにより幾何学的に算出することができる。このことは、路面標示５が第２カメラ２２によって検出された場合についても同様である。

距離閾値ＴＨｄ及び後述の速度閾値ＴＨｖは、距離Ｄ及び車速Ｖに基づいて運転者の停止意思の有無を判断できるように事前に決定される値である。距離閾値ＴＨｄは、例えば５ｍである。速度閾値ＴＨｖは、例えば１５ｋｐｈである。

ステップＳ１０６の判定結果がＮｏの場合（距離Ｄ＞距離閾値ＴＨｄ）には、処理はリターンに進む。すなわち、報知装置３０による報知は実行されない。これにより、過度な報知によって運転者に煩わしさを感じさせることを抑制できる。一方、当該判定結果がＹｅｓの場合（距離Ｄ≦距離閾値ＴＨｄ）には、処理はステップＳ１０８に進む。

ステップＳ１０８において、プロセッサ１２は、車速Ｖが所定の速度閾値ＴＨｖ以上であるか否かを判定する。この判定結果がＮｏの場合には、距離Ｄが距離閾値ＴＨｄ以下になるまで車両１が路面標示５に接近している状況下において車速Ｖが速度閾値ＴＨｖ以下に低下しているため、運転者は停止意思を有していると判断される。このため、処理はリターンに進む。すなわち、報知装置３０による報知は実行されない。これにより、過度な報知によって運転者に煩わしさを感じさせることを抑制できる。

一方、ステップＳ１０８の判定結果がＹｅｓの場合（車速Ｖ≧速度閾値ＴＨｖ）には、処理はステップＳ１１０に進む。処理がステップＳ１１０に進むのは、距離Ｄが距離閾値ＴＨｄ以下であるにもかかわらず、車速Ｖが速度閾値ＴＨｖ以上の場合である。このような場合には、運転者は停止意思を有していないと判断される。このため、ステップＳ１１０において、プロセッサ１２は、一時停止に関する注意喚起のための報知を運転者に対して行うように報知装置３０を制御する。これにより、適切なシーンにおいて報知を行うことができる。

なお、ステップＳ１０６及びＳ１０８でそれぞれ用いられる距離閾値ＴＨｄ及び速度閾値ＴＨｖは、例えば、運転者によるＨＭＩ（Human Machine Interface）機器（例えば、タッチパネル）の操作に基づいて変更されてもよい。具体的には、例えば、運転者によるＨＭＩ機器の操作によって報知装置３０による報知の感度を任意のレベル数（例えば、低、中、及び高）で変更するために、距離閾値ＴＨｄ及び速度閾値ＴＨｖが変更されてもよい。

３．効果
以上説明したように、本実施形態によれば、路面標示５の検出のために、第１カメラ２０だけでなく第２カメラ２２も必要に応じて用いられる。第２カメラ２２は、第１カメラ２０により撮像される路面領域Ｒ１と比べて車両１により近い路面領域Ｒ２Ａを撮像可能である（図１参照）。このため、車両１（自車両）が停止線６等の路面標示５に近づいたときに先行車両が存在するために第１カメラ２０によって路面標示５を検出できない場合であっても、第２カメラ２２によって路面標示５を検出できる。付け加えると、車両１が路面標示５の付近にまで近づいていても、第２カメラ２２の画角内に路面標示５を収めることが可能となる。このように、本実施形態に係る「路面標示検出装置」によれば、停止線６等の路面標示５を確実に検出できるようになる。

また、本実施形態によれば、上述のように第１カメラ２０とともに第２カメラ２２をも利用して路面標示５の検出機会を増やせるため、運転者の停止意思を判断する機会を増やすことができる。このため、報知装置３０を用いた注意喚起をより効果的に行えるようになる。

４．報知装置による報知に関する変形例
報知装置３０による報知は、次のように実行されてもよい。

図４は、実施の形態の変形例に係る車両８の構成の一例を概略的に示す図である。車両８は、内向きカメラ２４を追加的に備える点を除き、図１に示す車両１と同様に構成されている。内向きカメラ２４は、車両８の室内に搭載され、運転者を撮像する。

図５は、実施の形態の変形例に係る予防安全支援に関する処理を示すフローチャートである。このフローチャートの処理は、ステップＳ１０６及びＳ１０８の処理に代えて次のステップＳ２００の処理が実行される点を除き、図３に示すフローチャートの処理と同じである。

図５では、ステップＳ１０２又はステップＳ１０４の判定結果がＹｅｓの場合、処理はステップＳ２００に進む。ステップＳ２００において、プロセッサ１２は、内向きカメラ２４の画像に基づいて、視線、目の開き具合、顔の向き、及び姿勢等の運転者情報を取得する。そして、プロセッサ１２は、当該運転者情報に基づいて、よそ見等の運転者の前方不注意の有無を判断する。

ステップＳ２００の判定結果がＮｏの場合（つまり、運転者の前方不注意が検出されない場合）には、処理はリターンに進む。すなわち、報知装置３０による報知は実行されない。これにより、過度な報知によって運転者に煩わしさを感じさせることを抑制できる。

一方、ステップＳ２００の判定結果がＹｅｓの場合（つまり、運転者の前方不注意が検出された場合）には、処理はステップＳ１１０に進み、報知装置３０による報知が実行される。これにより、適切なシーンにおいて報知を行うことができる。

１、８車両
２交差点
３走行路
４一時停止標識
５路面標示
６停止線
７「止まれ」の標示
８車両
１０電子制御ユニット（ＥＣＵ）
１２プロセッサ
１４記憶装置
１６車速センサ
２０第１カメラ
２２第２カメラ
２４内向きカメラ
３０報知装置

Claims

車両の少なくとも前方を撮像する第１カメラと、
前記車両の少なくとも前方を撮像し、且つ前記第１カメラにより撮像される路面領域と比べて前記車両により近い路面領域を撮像可能な第２カメラと、
を備える前記車両に適用される路面標示検出装置であって、
前記第１カメラによって前記車両の前方の一時停止標識が検出された場合に、検出された前記一時停止標識に対応する路面標示を前記第２カメラによって検出する処理を実行するプロセッサを備える
路面標示検出装置。
請求項１に記載の路面標示検出装置と、
前記車両の運転者に対する注意喚起のための報知を行う報知装置と、
検出された前記路面標示と前記車両との距離が距離閾値以下、且つ前記車両の車速が速度閾値以上である場合、前記車両の一時停止に関する注意喚起のための報知を行うように前記報知装置を制御するプロセッサと、
を備える
報知システム。
請求項１に記載の路面標示検出装置と、
前記車両の運転者に対する注意喚起のための報知を行う報知装置と、
前記車両の室内に搭載され、前記運転者を撮像する内向きカメラと、
前記路面標示が検出された後、前記内向きカメラの画像に基づいて前記運転者の前方不注意を検出した場合に、前記車両の一時停止に関する注意喚起のための報知を行うように前記報知装置を制御するプロセッサと、
を備える
報知システム。
車両の少なくとも前方を撮像する第１カメラと、前記車両の少なくとも前方を撮像し、且つ前記第１カメラにより撮像される路面領域と比べて前記車両により近い路面領域を撮像可能な第２カメラと、を備える前記車両に適用される路面標示検出方法であって、
前記第１カメラによって前記車両の前方の一時停止標識が検出された場合に、検出された前記一時停止標識に対応する路面標示を前記第２カメラによって検出することを含む
路面標示検出方法。