JP2020106913A

JP2020106913A - 車両監視装置

Info

Publication number: JP2020106913A
Application number: JP2018242546A
Authority: JP
Inventors: 健二上田; Kenji Ueda
Original assignee: Toyota Motor Corp
Current assignee: Toyota Motor Corp
Priority date: 2018-12-26
Filing date: 2018-12-26
Publication date: 2020-07-09

Abstract

【課題】車両のドライバに車両危険度を通知することが可能な車両監視装置を提供すること。【解決手段】本発明は、車両の周辺の画像を取得する画像取得部１１と、車両の周辺の音を取得する音取得部１２と、画像と予め保存された危険車両画像とを照合して画像危険度を算出し、音と予め保存された危険車両音とを照合して音危険度を算出し、画像危険度と音危険度とに基づいて車両危険度を算出する危険度算出部１３と、車両のドライバに車両危険度を通知する通知処理部１４と、を備える、ことを特徴とする車両監視装置１０である。【選択図】図１

Description

本発明は、車両監視装置に関するものであり、特に、車両のドライバに車両危険度を通知することが可能な車両監視装置に関する。

自車両の周辺に存在する他車両の挙動を取得することで、自車両の周辺に危険な運転をしている他車両がいるかを判断する技術が知られている。このような判断技術においては、他車両の挙動のみで危険か否かを判断するため、危険と判断されるべき他車両が、一時的に危険な運転をしていない場合には危険と判断されず、潜在的に危険を有する場合であってもそれを把握することが困難であった。

特許文献１には、自車両の周辺を走行する他車両の挙動に関する情報を、他車両からの通信によって取得する他車両情報取得手段と、他車両が走行する道路に関する道路環境情報を取得する道路情報取得手段と、例えば、他車両の走行速度とその地点の制限速度を比較して、制限速度を大幅に超過している場合に、他車両が危険走行をおこなっていると判断する危険車両判断手段と、危険車両判断手段によって他車両が危険走行をおこなっていると判断された場合、判断結果を通知する通知手段と、を備えた周辺車両情報通知装置が開示されている。特許文献１に開示されている発明は、車両の挙動、車両の走行速度、車両の危険走行により危険か否かを判断するため、危険と判断されるべき車両が一時的に危険な運転をしていない場合には危険と判断されず、潜在的に危険を有する場合であってもそれを把握することが困難であった。

特開２０１５−０５３０８４号公報

上記したように、車両が一時的に危険な運転をしていない場合には危険と判断されず、潜在的に危険を有する場合であってもそれを把握することが難しいという課題があった。

本開示は、車両のドライバに車両危険度を通知することが可能な車両監視装置を提供することを目的とする。

本開示は、
車両の周辺の画像を取得する画像取得部と、
前記車両の周辺の音を取得する音取得部と、
前記画像と予め保存された危険車両画像とを照合して画像危険度を算出し、前記音と予め保存された危険車両音とを照合して音危険度を算出し、前記画像危険度と前記音危険度とに基づいて車両危険度を算出する危険度算出部と、
前記車両のドライバに前記車両危険度を通知する通知処理部と、
を備える車両監視装置である。
このような車両監視装置によれば、車両が一時的に危険な運転をしていない場合でも、画像と音のいずれかにより車両危険度を算出でき、車両のドライバに車両危険度を通知することができる。

本発明によれば、車両のドライバに車両危険度を通知することが可能な車両監視装置を提供することができる。

実施形態に係る車両監視装置を例示するブロック図である。実施形態に係る車両監視装置を例示するブロック図である。実施形態に係る車両監視装置の前処理を例示するフローチャートである。静的な学習データを取得する様子を例示する図である。動的な学習データを取得する様子を例示する図である。走行中の車両から音声情報を取得する様子を例示する図である。車検の審査基準を例示する図である。実施形態に係る車両監視装置の後処理を例示するフローチャートである。センサに車両が写った様子を例示する図である。カスタマイズ条件を例示する図である。カスタマイズ条件と画像判定条件と音判定条件とを例示する図である。

以下、図面を参照して本発明の実施形態について説明する。各図面において、同一又は対応する要素には同一の符号が付されており、説明の明確化のため、必要に応じて重複説明を省略する。

［実施の形態］
先ず、実施形態に係る車両監視装置の構成の概要を説明する。
図１は、実施形態に係る車両監視装置を例示するブロック図である。

図１に示すように、車両監視装置１０は、画像取得部１１と、音取得部１２と、危険度算出部１３と、通知処理部１４と、を備える。

画像取得部１１は、車両の周辺の画像を取得する。音取得部１２は、車両の周辺の音を取得する

危険度算出部１３は、画像取得部１１が取得した画像と予め保存された危険車両画像とを照合して画像危険度を算出する。また、危険度算出部１３は、音取得部１２が取得した音と予め保存された危険車両音とを照合して音危険度を算出する。その後、危険度算出部１３は、画像危険度と音危険度とに基づいて車両危険度を算出する。

通知処理部１４は、車両のドライバに、危険度算出部１３が算出した車両危険度を通知する。

次に、実施形態に係る車両監視装置の構成の詳細を説明する。
図２は、実施形態に係る車両監視装置を例示するブロック図である。
図２は、車両監視装置１０の特に危険度算出部１３を示す。

図２に示すように、車両監視装置１０の危険度算出部１３は、判定基準モデル構築部１３１と、ユーザカスタマイズ部１３２と、自車両周辺情報取得部１３３と、判定処理部１３４と、を有する。

図２に示す画像データは、図１に示す画像取得部１１が取得した画像に相当する。図２に示す音声データは、図１に示す音取得部１２が取得した音に相当する。ユーザカスタマイズ部１３２のユーザ入力情報は、ユーザにより入力される情報であり、例えば、図１に示す危険車両画像や危険車両音である。

判定基準モデル構築部１３１は、道路に設置された装置、又は、車両の画像取得部１１及び音取得部１２が取得した画像データと音声データとを教師データとして蓄積する。また、判定基準モデル構築部１３１は、道路交通法や車検の審査基準をインプットとして入力し、所定の方法で判定基準モデルを構築する。判定基準モデル構築部１３１は、インプットとして最新の道路交通法や車検の審査基準をその都度入力し、所定の方法で判定基準モデルを構築するというサイクルを繰り返し行うことで、最新の判定基準モデルを構築することができる。

尚、判定基準モデル構築部は、画像データや音声データを教師データとし、道路交通法や車検の審査基準をインプットしてモデルを構築するので、学習部と称することもある。

ユーザカスタマイズ部１３２は、利用者であるユーザが独自に通知して欲しい警戒対象車両の情報を、音や画像の観点で事前に登録する。また、ユーザカスタマイズ部１３２は、登録した情報と、判定基準モデル構築部１３１が構築した判定基準モデルと、の組み合わせに基づいた警戒対象判定条件のカスタマイズを事前に行う。

自車両周辺情報取得部１３３は、道路に設置された装置、又は、車両の画像取得部１１及び音取得部１２により画像データと音声データとを取得する。また、自車両周辺情報取得部１３３は、接近中の他車両と該他車両に関する情報を収集し、物体認識アルゴリズムにより自車両に接近中の他車両を認識する。

判定処理部１３４は、事前に設定した通知条件に従い、通知対象を判定する。

通知処理部１４は、スマートフォンや自車両に搭載された車載器に通知処理を行い、判定結果を音声又は表示により通知する。

これにより、ユーザ（通知受信対象者）の乗車する車両に対して、最新の道路交通法、車検の審査基準による明らかな危険車両の情報を通知することができる。また、ユーザの乗車する車両に対して、ユーザ独自の価値観（観点）で設定した警戒対象車両の情報を通知することができる。

次に、実施形態に係る車両監視装置の動作処理を説明する。
車両監視装置１０の動作処理には、大きく分けて前処理と後処理がある。
尚、動作処理の説明では、画像取得部１１として、センサを一例に挙げて説明する。

前処理は、例えばカメラやセンサ等の画像取得部１１及びマイク等の音取得部１２から画像データ及び音声データを取得し、車両における正常な形状や挙動等を学習データとして蓄積する処理である。

後処理は、取得した画像データについて物体認識アルゴリズムを適用して車両の形状を認識し、該車両の形状と、マイク等の音取得部１２で取得したマフラー音と、複数のカメラで取得した車両の挙動等とに基づいて所定の条件に合致した車両を特定する。また、後処理は、該特定された車両が所定の距離以下まで自車両に接近した場合、自車両のユーザに通知を行う処理である。

実施形態に係る車両監視装置の前処理を説明する。
図３は、実施形態に係る車両監視装置の前処理を例示するフローチャートである。
図４は、静的な学習データを取得する様子を例示する図である。
図５は、動的な学習データを取得する様子を例示する図である。
図６は、走行中の車両から音声情報を取得する様子を例示する図である。
図７は、車検の審査基準を例示する図である。

図３に示すように、車両監視装置１０は、カメラやセンサ等の画像取得部１１から車両の画像データを取得し（ステップＳ１０１）、マイク等の音取得部１２から音声データを取得する（ステップＳ１０２）。

車両監視装置１０は、取得した画像データに基づいて、車両の車種・型式に伴う形状等の静的な情報（図４参照）と、車両の挙動や制限速度等の動的な情報（図５参照）と、を学習データとして蓄積する。画像データを画像情報と称し、音声データを音声情報と称することもある。

車両監視装置１０は、マイクから音声データと、センサから取得したセンサデータとを合わせて、走行中の車両の正常（故障やマフラーの改造等が無い）な音を学習することを目的として蓄積する。車両監視装置１０は、蓄積したデータを判定基準情報の１つとして入力する（ステップＳ１０３）。

車両監視装置１０は、正常状態の判断材料として、その時代に合った車検の審査基準（図７参照）や法律に関する情報を、判定基準モデルの入力情報として入力して学習モデル（判定基準モデル）を構築する（ステップＳ１０４）。車検の審査基準は、例えば、図７に示すように、車両の制動灯（ブレーキランプ）の色は、「赤」であり、車両の方向指示器（ウィンカー）の色は、「橙」である。

車両監視装置１０は、学習モデルの構築では、車両の見た目、動き、音等に関する正常状態の判定基準となる学習モデルを構築する。

次に、実施形態に係る車両監視装置の後処理を説明する。
図８は、実施形態に係る車両監視装置の後処理を例示するフローチャートである。
図９は、センサに車両が写った様子を例示する図である。
図１０は、カスタマイズ条件を例示する図である。
図１１は、カスタマイズ条件と画像判定条件と音判定条件とを例示する図である。

図８及び図９に示すように、車両監視装置１０は、センサに物体（車両）が写った場合（ステップＳ２０１）、道路に設置されたセンサ、又は、車載カメラにより取得した画像データに対して物体認識アルゴリズムを適用する。車両監視装置１０は、物体認識アルゴリズムを適用することにより、センサに写った物体が車両であると認識し、該車両の車種・型式の判断を行う（ステップＳ２０２）。

車両監視装置１０は、警戒通知を取得するユーザ自身の独自の価値観でレベル毎に設定したカスタマイズ条件（図１０参照）に、該車両が該当しているか否かを判定する（ステップＳ２０３）。例えば、車両監視装置１０は、車両に若葉マークが有る場合や、車両が教習中の車両である場合等の場合、レベルを「小」と認識する。

車両監視装置１０は、カスタマイズ条件に該当した場合（ステップＳ２０３：Ｙｅｓ）、該当するカスタマイズ条件の内容とそのレベルを記憶し、該当するカスタマイズ条件のフラグを立てる（ステップＳ２０４）。例えば、車両監視装置１０は、車両が左ハンドルであり紅葉マークが有る場合、その内容とレベルが「中」ということを記憶し、そのフラグを立てる。

車両監視装置１０は、カスタマイズ条件に該当しない場合（ステップＳ２０３：Ｎｏ）、ステップＳ１０３及びステップＳ１０４に示す蓄積された学習データに基づいて画像データの判定、すなわち、画像判定を行う（ステップＳ２０５）。車両監視装置１０は、例えば、車両が正常な形状や色と異なる場合、車両が蛇行運転している場合、又は、車両が制限速度を超過している場合は、判定により、該車両は異常と判定する。

また、車両監視装置１０は、LIDAR（Light Detection and Ranging）の反射強度を使用した車両のホディ材質を異常判定に使用してもよい。例えば、車両の窓のスモーク透過度が７５％（パーセント）以下の場合、該車両を異常と判定してもよい。また、LIDARの反射強度を使用して、車両のボディの一部がダンボールによって補強されていると認識した場合、該車両を異常と判定してもよい。

また、車両監視装置１０は、物体認識アルゴリズムを適用することにより、箱乗りを検出した場合、該車両を異常と判定してもよい。

車両監視装置１０は、画像判定により車両が異常と判定された場合（ステップＳ２０５：異常）、該当する画像判定の条件の内容とそのレベルを記憶し、該当する画像判定の条件のフラグを立てる（ステップＳ２０６）。

車両監視装置１０は、画像判定により車両が正常と判定された場合（ステップＳ２０５：正常）、音判定を行う（ステップＳ２０７）。音判定は、蓄積された学習データに基づいて、騒音となる音、長い警笛音、又は、改造や故障したマフラー音等の正常な走行音と、車両が発する音とが異なる場合、該車両を異常と判定する。

車両監視装置１０は、音判定により車両が異常と判定された場合（ステップＳ２０７：異常）、該当する音判定の条件の内容とそのレベルを記憶し、該当する音判定の条件のフラグを立てる（ステップＳ２０８）。

車両監視装置１０は、音判定により車両が正常と判定された場合（ステップＳ２０７：正常）、事前に登録したカスタマイズ条件とフラグ状態の組み合わせにより、車両が警戒通知の対象か否かを判定する（ステップＳ２０９）。

車両監視装置１０は、車両が警戒通知の対象である場合（ステップＳ２０９：対象）、要注意車両と判定された車両の接近情報を、自車両のドライバ（ユーザ）に通知する（ステップＳ２１０）。

具体的に、図１１に示す「１件該当による通知」では、車両監視装置１０は、カスタマイズ条件のレベルが「高」に該当する場合（ボディカラーが「黒」であり車種が「ハイエース」）、該車両の接近を自車両のユーザに通知する。

また、図１１に示す「組み合わせによる通知」では、車両監視装置１０は、カスタマイズ条件のレベルが「中」に該当する場合（左ハンドル＋紅葉マーク）であり、且つ、画像判定のレベルが「中」に該当する場合（制限速度違反）、該車両の接近を自車両のユーザに通知する。

尚、図１１に示すように、車両の窓の透過度が低い等の違法改造の場合、該車両が危険車両である可能性が高いため、画像判定条件のレベルを設定し、レベルを「小」とする。また、車両で箱乗りをしている場合、該車両が危険車両である可能性が高いため、画像判定条件のレベルを設定し、レベルを「高」とする。また、車両のマフラー音が異常の場合、違法改造の可能性が高く、該車両が危険車両である可能性が高いため、音判定条件のレベルを設定し、レベルを「小」とする。

また、車両のボディが変形している場合、事故によりボディが変形している可能性があり、該車両は当事故リスクが高く危険車両である可能性が高い。よって、このような場合も、カイスタマイズ条件のレベルを設定してもよい。

車両監視装置１０は、車両が警戒通知の対象外である場合（ステップＳ２０９：対象外）、自車両のドライバに警戒を通知しない。

実施の形態に係る車両監視装置１０は、危険車両画像と照合して算出した画像危険度と、危険車両音と照合して算出した音危険度とに基づいて車両危険度を算出し、算出した車両危険度をドライバに通知する。これにより、車両が一時的に危険な運転をしていない場合でも、画像と音のいずれかにより車両危険度を算出でき、車両のドライバに車両危険度を通知することができる。

その結果、車両のドライバに車両危険度を通知することが可能な車両監視装置を提供することができる。

また、車両監視装置１０は、危険運転、違法改造車両、事故経験車両、さらにユーザ独自の価値観で判断された警戒すべき車両等の接近情報をドライバに通知するので、事故を低減し、安全運転の向上につなげることができる。

尚、本開示は上記実施形態に限られたものではなく、趣旨を逸脱しない範囲で適宜変更することが可能である。

１０…車両監視装置
１１…画像取得部
１２…音取得部
１３…危険度算出部
１３１…判定基準モデル構築部
１３２…ユーザカスタマイズ部
１３３…自車両周辺情報取得部
１３４…判定処理部
１４…通知処理部

Claims

車両の周辺の画像を取得する画像取得部と、
前記車両の周辺の音を取得する音取得部と、
前記画像と予め保存された危険車両画像とを照合して画像危険度を算出し、前記音と予め保存された危険車両音とを照合して音危険度を算出し、前記画像危険度と前記音危険度とに基づいて車両危険度を算出する危険度算出部と、
前記車両のドライバに前記車両危険度を通知する通知処理部と、
を備える車両監視装置。