JP2020197815A - 警告システム、及び、警告方法 - Google Patents

Abstract

【課題】適切にイベント記録を行うこと。【解決手段】車両の周囲の状況を記録した記録データを取得する記録データ取得部４２と、記録データ取得部４２が取得した記録データのうち、学習に使用する学習用データを解析して、学習用データに含まれる所定成分の折れ線グラフの時間変化を示す折れ線グラフ情報を作成する解析部２３と、解析部２３が作成した折れ線グラフ情報から所定成分の遷移を人工知能によって学習して、イベントが発生するおそれがあるか否かを判定するための学習済みモデルを生成する学習部２４と、学習部２４が学習した学習済みモデルを使用して、記録データのうち、判定に使用する判定用データに基づいて、イベントが発生するおそれがあるか否かを判定する判定部２５と、判定部２５がイベントが発生するおそれがあると判定した場合、警報を出力する警報制御部５２とを備える。【選択図】図１

Description

本発明は、警告システム、及び、警告方法に関する。

ユーザによって運転される車両の事故確率を予測する技術が知られている（例えば、特許文献１参照）。

国際公開第２０１７／０３８１６６号

特許文献１に記載の技術は、事故確率を予測するために使用する要因が多種にわたるので、事故確率の予測の処理が複雑になる。

本発明は、上記に鑑みてなされたものであって、イベントが発生するおそれがあるか否かを判定して、警告を適切に行うことを目的とする。

上述した課題を解決し、目的を達成するために、本発明に係る警告システムは、車両の周囲の状況を記録した記録データを取得する記録データ取得部と、前記記録データ取得部が取得した前記記録データのうち、学習に使用する学習用データを解析して、前記学習用データに含まれる所定成分の遷移を解析する解析部と、前記解析部が解析した前記所定成分の遷移を人工知能によって学習して、イベントが発生するおそれがあるか否かを判定するための学習済みモデルを生成する学習部と、前記学習部が学習した前記学習済みモデルを使用して、前記記録データ取得部が取得した前記記録データのうち、判定に使用する判定用データに基づいて、イベントが発生するおそれがあるか否かを判定する判定部と、前記判定部がイベントが発生するおそれがあると判定した場合、警報を出力する警報制御部とを備えることを特徴とする。

本発明に係る警告方法は、車両の周囲の状況を記録した記録データを取得する記録データ取得ステップと、前記記録データ取得ステップによって取得された前記記録データのうち、学習に使用する学習用データを解析して、前記学習用データに含まれる所定成分の遷移を解析する解析ステップと、前記解析ステップによって解析した所定成分の遷移を人工知能によって学習して、イベントが発生するおそれがあるか否かを判定するための学習済みモデルを生成する学習ステップと、前記学習ステップによって学習された前記学習済みモデルを使用して、前記記録データ取得ステップによって取得された前記記録データのうち、判定に使用する判定用データに基づいて、イベントが発生するおそれがあるか否かを判定する判定ステップと、前記判定ステップによってイベントが発生するおそれがあると判定された場合、警報を出力する警報制御ステップとを含む。

本発明によれば、イベントが発生するおそれがあるか否かを判定して、警告を適切に行うことができるという効果を奏する。

図１は、第一実施形態に係る警告システムの構成例の一例を示す概略図である。 図２は、トンネルに入る前とトンネル内とで撮影された映像データの一例を説明する図である。 図３は、図２に示す映像データの明るさレベルの折れ線グラフ情報の一例を説明する図である。 図４は、トンネル内とトンネルを出た後とで撮影された映像データの一例を説明する図である。 図５は、図４に示す映像データの明るさレベルの折れ線グラフ情報の一例を説明する図である。 図６は、第一実施形態に係る警告装置の構成例を示す概略図である。 図７は、第一実施形態に係るサーバ装置における学習処理の流れを示すフローチャートである。 図８は、第一実施形態に係るサーバ装置における判定処理の流れを示すフローチャートである。 図９は、第一実施形態に係る警告装置における警告処理の流れを示すフローチャートである。 図１０は、第二実施形態に係る警告システムの構成例の一例を示す概略図である。 図１１は、映像データを複数の画面に分割した一例を説明する図である。 図１２は、映像データを複数の画面に分割した他の例を説明する図である。 図１３は、映像データを複数の画面に分割した他の例を説明する図である。 図１４は、市街地で撮影された映像データの一例を説明する図である。 図１５は、図１４に示す映像データに含まれる他車両の車体色の色成分の折れ線グラフ情報の一例を説明する図である。 図１６は、図１４に示す映像データに含まれる路面の黒色の色成分の折れ線グラフ情報の一例を説明する図である。 図１７は、第二実施形態に係るサーバ装置における学習処理の流れを示すフローチャートである。 図１８は、第二実施形態に係るサーバ装置における判定処理の流れを示すフローチャートである。

以下に添付図面を参照して、本発明に係る警告システム、及び、警告方法の実施形態を詳細に説明する。なお、以下の実施形態により本発明が限定されるものではない。

［第一実施形態］
図１は、第一実施形態に係る警告システムの構成例の一例を示す概略図である。警告システム１は、人工知能（ＡＩ：Ａｒｔｉｆｉｃｉａｌ Ｉｎｔｅｌｌｉｇｅｎｃｅ）の機械学習によって生成した学習モデルを使用して、周囲の状況を記録した記録データに含まれる所定成分の折れ線グラフの時間変化が大きいような場合をイベント発生の兆候となる傾向として、イベントが発生するおそれがあると判定して警告を行う。機械学習の一例としては、記録データを教師データとして使用する教師あり学習、または、記録データを教師データとして使用しない教師なし学習のディープラーニングによって学習させて、学習済みモデルとして多層ニューラルネットワーク（以下、「ＤＮＮ」という。）を生成する。ディープラーニングは、ＤＮＮを使用した判定の精度が向上するように、ＤＮＮの重みの更新を繰り返し実行して、ＤＮＮを使用した判定結果が良好になるようにＤＮＮの重みを導出する機械学習の一手法である。機械学習の手法は限定されない。

記録データは、少なくともイベント発生時点より前の時間を含む。記録データは、映像データと音声データとの少なくともどちらかを含む。本実施形態では、記録データは、車両の周囲を撮影した映像データを含む。また、記録データのうち、学習に使用するデータを学習用データ、判定に使用するデータを判定用データという。

学習用データは、ＤＮＮを生成するために使用する学習用のデータである。学習用データは、少なくともイベント発生時点より前の時間を含む。学習用データは、複数の警告装置３０からイベント発生時の学習用データを取得してもよい。または、学習用データは、保険会社などの外部の装置からイベント発生時の学習用データを取得してもよい。学習用データは、イベント発生時に限定されず、イベントが発生していない時（以下、「通常時」という。）の学習用データを取得してもよい。なお、学習用データの取得方法は、これらに限定されない。

判定用データは、イベント発生のおそれがあるか否かを判定するために、警告装置３０からリアルタイムで取得するデータである。判定用データは、少なくともイベント発生時点より前の時間を含む。

サーバ装置１０は、イベント発生時の映像データと音声データとの少なくともどちらかを含む学習用データを用いて、イベント発生時の学習用データに含まれる所定成分の折れ線グラフの時間変化の大きさに応じて、イベントが発生するおそれがあるか否かを判定する学習済みモデルとしてＤＮＮを生成する。また、サーバ装置１０は、イベント発生時点より前の時間の映像データと音声データとの少なくともどちらかを含む、リアルタイムで取得した判定用データから、ＤＮＮを使用してイベントが発生するおそれがあるか否かを判定する。サーバ装置１０は、通信部１１と、記憶部１２と、制御部２０とを含む。

通信部１１は、通信ユニットである。通信部１１は、警告装置３０との通信を可能にする。本実施形態では、通信部１１は、警告システム１が正常に動作している場合、常時、警告装置３０と通信可能である。

記憶部１２は、サーバ装置１０におけるデータの記録などに用いられる。記憶部１２は、例えば、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）、フラッシュメモリ（Ｆｌａｓｈ Ｍｅｍｏｒｙ）などの半導体メモリ素子で構成したメモリカード、または、ＨＤＤ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）などの記憶装置である。または、通信部１１を介して無線接続される外部記憶部であってもよい。記憶部１２は、警告システム１においてＤＮＮの生成に使用する学習用データを記憶する。記憶部１２は、解析部２３によって、学習用データに基づいて解析されて作成された折れ線グラフ情報を記憶する。記憶部１２は、制御部２０の学習部２４によって生成されたＤＮＮを記憶する。記憶部１２は、警告装置３０から取得した判定用データを記憶する。

制御部２０は、例えば、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）などで構成された演算処理装置（制御装置）である。制御部２０は、記憶されているプログラムをメモリにロードして、プログラムに含まれる命令を実行する。制御部２０には図示しない内部メモリが含まれ、内部メモリは制御部２０におけるデータの一時記録などに用いられる。制御部２０は、通信制御部２１と、データ取得部２２と、解析部２３と、学習部２４と、判定部２５と、判定結果送信制御部２６と、記憶制御部２７とを有する。

通信制御部２１は、通信部１１を介して、複数の警告装置３０との通信を制御する。通信制御部２１は、通信部１１を介して、外部の装置との通信を制御してもよい。

データ取得部２２は、通信制御部２１を介して、複数の警告装置３０または外部の装置例えばクラウドサーバから学習用データや過去のイベント発生時の学習用データを取得する。データ取得部２２は、取得した学習用データを記憶制御部２７に出力する。データ取得部２２は、通信制御部２１を介して、警告装置３０から判定用データを取得する。

解析部２３は、学習用データを解析して、学習用データに含まれている所定成分の遷移を、例えば、折れ線グラフ情報に変換して作成する。折れ線グラフ情報は、学習用データの所定成分の時間変化を示す。解析部２３は、学習用データである、映像データと音声データとの少なくともどちらかについて、所定成分の折れ線グラフ情報を作成する。

解析部２３は、通常時とイベント発生時との少なくともどちらかの学習用データについて、所定成分の折れ線グラフ情報を作成する。解析部２３は、作成した学習用データの折れ線グラフ情報を記憶部１２に記憶する。

解析部２３が学習用データに含まれる映像データの折れ線グラフ情報を作成する場合について詳しく説明する。解析部２３は、映像データに画像処理を行って解析して、例えば、映像データの輝度の時間変化を示す折れ線グラフ情報を生成する。より詳しくは、まず、解析部２３は、映像データの各フレームにおいて、言い換えると、映像データの各時間において、映像データの輝度を算出する。そして、解析部２３は、輝度の時間変化を示す折れ線グラフ情報を生成する。

または、解析部２３は、映像データに画像処理を行って解析して、例えば、色成分ごとの時間変化を示す折れ線グラフ情報を生成してもよい。より詳しくは、まず、解析部２３は、映像データの各フレームにおいて、言い換えると、映像データの各時間において、映像データに含まれる各色成分が映像データに占める面積比率を算出する。そして、解析部２３は、各色成分の面積比率の時間変化を示す折れ線グラフ情報を生成する。

解析部２３は、過去のイベント発生時の学習用データに基づいて、所定成分の折れ線グラフ情報を作成してもよい。

まず、図２、図３を用いて、トンネルに入る前とトンネル内とで、映像データから生成される折れ線グラフ情報について説明する。図２は、トンネルに入る前とトンネル内とで撮影された映像データの一例を説明する図である。図３は、図２に示す映像データの明るさレベルの折れ線グラフ情報の一例を説明する図である。ここでは、明るさレベルは、輝度をレベル分けして表すものである。図２（ａ）は、車両がトンネルの手前を走行しているときに撮影された映像データであり、図２（ｂ）は、車両がトンネル内を走行しているときに撮影された映像データである。解析部２３は、映像データの各時間において、映像データの輝度を示す折れ線グラフを示す折れ線グラフ情報を生成する。得られた折れ線グラフ情報が、図３である。図３においては、比較のために、イベント発生時と通常時のそれぞれの折れ線グラフ情報を重ねて表示している。イベント発生時と通常時はともに、トンネルに入る前に比べてトンネル内では、輝度が低下している。イベント発生時は、通常時に比べて、トンネルに入る際に輝度が急激に低下している。イベント発生時は、輝度が急激に低下した後、イベントが発生している。

つづいて、図４、図５を用いて、トンネル内とトンネルを出た後とで、映像データから生成される折れ線グラフ情報について説明する。図４は、トンネル内とトンネルを出た後とで撮影された映像データの一例を説明する図である。図５は、図４に示す映像データの明るさレベルの折れ線グラフ情報の一例を説明する図である。図４（ａ）は、車両がトンネル内を走行しているときに撮影された映像データであり、図４（ｂ）は、車両がトンネルを出て走行しているときに撮影された映像データである。解析部２３は、上述したように、映像データの各時間において、映像データの輝度を示す折れ線グラフを示す折れ線グラフ情報を生成する。得られた折れ線グラフ情報が、図５である。図５においては、比較のために、イベント発生時と通常時のそれぞれの折れ線グラフ情報を重ねて表示している。イベント発生時と通常時はともに、トンネル内に比べてトンネルを出た後では、輝度が増加している。イベント発生時は、通常時に比べて、トンネルを出る際に輝度が急激に増加している。イベント発生時は、輝度が急激に増加した後、イベントが発生している。

このような解析部２３の解析によれば、トンネルの出入口において、通常時とイベント発生時とでは、輝度の時間変化を示す傾きが大きく異なることがわかる。イベント発生時は、通常時より、明らかに大きい傾きとなっていることがわかる。輝度の変化が大きくなった後に、イベントが発生するおそれがある。

解析部２３が学習用データに含まれる音声データの折れ線グラフ情報を作成する場合について詳しく説明する。解析部２３は、音声データに信号処理を行って解析して、周波数成分ごとの音の大きさの遷移を折れ線グラフ情報に変換して生成する。より詳しくは、まず、解析部２３は、音声データの各時間において、音声データに含まれる各周波数成分の音の大きさを算出する。そして、解析部２３は、各周波数成分の音の大きさの時間変化を示す折れ線グラフ情報を生成する。折れ線グラフは、音声データに含まれるすべての周波数成分について作成してもよいし、音声データに含まれる周波数のうち、道路のノイズなどを除いたイベント発生時に発生する特有の周波数成分について作成してもよい。

このような解析部２３の解析によれば、例えば、イベント発生時にのみ、イベント発生時に発生する特有の周波数成分が明らかに大きく表れることがわかる。特有の周波数成分の変化が大きくなった後に、イベントが発生するおそれがある。

また、解析部２３は、判定用データについても、同様に所定成分の折れ線グラフ情報を作成する。

学習部２４は、解析部２３が作成した折れ線グラフ情報から所定成分の遷移を読み取り、それを人工知能によって学習して、イベントが発生するおそれがあるか否かを判定するための学習済みモデルとしてのＤＮＮを生成する。例えば、学習部２４は、教師データである折れ線グラフ情報を用いて、イベントが発生するおそれがあるか否かを判定する学習済みモデルとしてＤＮＮの重みを学習する。ＤＮＮの構成と重みとをＤＮＮモデルと呼ぶ。学習部２４における学習は、公知のディープラーニングにおける学習と同様の方法で実行すればよい。

学習部２４は、イベント発生時点より前の時間の学習用データから、イベント発生の兆候となる傾向を学習して、イベントが発生するおそれがあるか否かを判定するＤＮＮを生成する。

より詳しくは、学習部２４は、イベント発生時点より前の時間の学習用データの折れ線グラフ情報から、イベント発生につながる変化具合、傾向を学習して、イベントが発生するおそれがあるか否かを判定するＤＮＮを生成する。例えば、生成されたＤＮＮは、トンネルに入った直後のように、言い換えると、明るい所から暗い所へ入った直後のように、折れ線グラフ情報の輝度が急激に低下した場合、イベントが発生するおそれがあると判定する。例えば、生成されたＤＮＮは、トンネルの外に出た直後のように、言い換えると、暗い所から明るい所へ出た直後のように、折れ線グラフ情報の輝度が急激に増加した場合、イベントが発生するおそれがあると判定する。

上記のようにして、学習部２４は、人工知能によって学習して、折れ線グラフ情報から、イベント発生時点より前に折れ線グラフの時間変化を示す傾きが大きい所定成分のデータを取得する。さらに、学習部２４は、人工知能によって学習して、折れ線グラフの時間変化を示す傾きが大きい所定成分のデータの中から、折れ線グラフの時間的変化が急激である時点を取得する。学習部２４は、折れ線グラフの時間的変化が急激である時点が取得された場合、イベントが発生するおそれがあるとして学習可能である。このようにして、学習部２４は、人工知能によって学習して、折れ線グラフ情報から、折れ線グラフの変化のパターン、折れ線グラフの変化の傾向、折れ線グラフの変化の速度などに基づいて、イベントが発生するおそれがあるか否かを判定するためのＤＮＮを生成する。

例えば、学習部２４は、「イベントが発生した」場合の学習用データの折れ線グラフ情報をＤＮＮに入力してディープラーニングを実行する。そして、「イベントが発生する」と正しい判定結果が出力されるか、「イベントが発生しない」と誤った判定結果が出力されるかに基づいて、学習中の重みを更新する。また、学習部２４は、「イベントが発生していない」場合の学習用データをＤＮＮに入力してディープラーニングを実行する。そして、「イベントが発生しない」と正しい判定結果が出力されるか、「イベントが発生する」と誤った判定結果が出力されるかに基づいて、学習中の重みを更新する。このような処理を繰り返し行うことによって、学習の結果として学習済みの重みを求める。学習部２４は、ＤＮＮの重みを含むＤＮＮモデルを記憶部１２へ出力する。

学習部２４は、映像データの折れ線グラフ情報と音声データの折れ線グラフ情報との少なくともどちらかに基づいて人工知能によって学習して、イベントが発生するおそれがあるか否かを判定するためのＤＮＮを生成すればよい。学習部２４は、映像データの折れ線グラフ情報と音声データの折れ線グラフ情報とのうち、少なくとも映像データの折れ線グラフ情報に基づいてＤＮＮを生成することが好ましい。

学習部２４は、データ取得部２２からデータを取得するごとに、所定の期間ごとに、または、所望のタイミングで、ＤＮＮモデルを更新して記憶部１２へ記憶する。

学習部２４は、過去のイベント発生時の学習用データに基づいて、イベント発生時点より前の学習用データに含まれる各成分の変化の傾向を人工知能によって学習してもよい。

さらに、学習部２４は、警告装置３０から警報の停止操作を示す操作情報を取得した場合、当該操作情報から人工知能によって学習して、ＤＮＮを更新する。これにより、学習部２４がイベントが発生するおそれがあると判定して、警告装置３０が警告を出力した際に、乗員が警報は不要であった、または、イベントは発生しなかったと判定したことを示す情報を、学習に取り込むことができる。このようにすることで、イベントが発生するおそれがあるか否かの判定精度を向上することが可能になる。

さらにまた、学習部２４は、警告装置３０から後述する警報付与操作情報を取得した場合、当該警報付与操作情報から人工知能によって学習して、ＤＮＮを更新する。これにより、学習部２４がイベントが発生するおそれがないと判定して、警告装置３０が警告を出力しなかった場合、乗員が、ヒヤッとしたり、警報が出力された方が好ましいと判断したりしたことを示す情報を、学習に取り込むことができる。このようにすることで、イベントが発生するおそれがあるか否かの判定精度を向上することが可能になる。

判定部２５は、イベント発生時点より前の時間の判定用データから、ＤＮＮを使用してイベントが発生するおそれがあるか否かを判定する。

判定部２５は、警告装置３０から判定用データを取得した場合、ＤＮＮを使用してイベントが発生するおそれがあるか否かを判定する。より詳しくは、判定部２５は、記憶部１２から学習されたＤＮＮモデルを読み出してＤＮＮを再現し、判定用データから、イベントが発生するおそれがあるか否かを判定する。判定部２５における判定は、公知のディープラーニングにおける判定と同様の方法で実行すればよい。判定部２５は、判定用データとＤＮＮモデルとに基づいて、イベントが発生した際のイベント発生時点より前の折れ線グラフの変化の傾向、折れ線グラフの変化の速度等が似ている場合、イベントが発生するおそれがあると判定する。

判定結果送信制御部２６は、通信制御部２１を介して、判定部２５による判定結果を、判定用データを送信した警告装置３０へ送信させる。

記憶制御部２７は、データ取得部２２が取得した学習用データ及び判定用データを、記憶部１２に記憶させる。記憶制御部２７は、解析部２３が生成した折れ線グラフ情報を、記憶部１２に警告システム１で使用する教師データとして記憶させる。記憶制御部２７は、解析部２３が折れ線グラフ情報を生成すると、記憶部１２に記憶させた教師データを更新する。記憶制御部２７は、学習部２４が生成したＤＮＮを、記憶部１２に記憶させる。記憶制御部２７は、学習部２４がＤＮＮモデルを学習するごとに、記憶部１２に記憶させたＤＮＮモデルを更新する。

図６を用いて、警告装置３０について説明する。図６は、第一実施形態に係る警告装置の構成例を示す概略図である。警告装置３０は、例えば、車両に配置されている。本実施形態では、警告装置３０は、いわゆる車両用のドライブレコーダである。警告装置３０は、通信部３１と、カメラ３２と、マイクロフォン３３と、記憶部３５と、スピーカ３６と、操作部３７と、制御部４０とを含む。

警告装置３０は、判定用データからイベントが発生するおそれがあると判定される場合、車両の乗員に警報を出力する。より詳しくは、警告装置３０は、車両の周囲を記録した判定用データをサーバ装置１０へ送信して、サーバ装置１０にイベントが発生するおそれがあるか否かを判定させる。警告装置３０は、サーバ装置１０によってイベントが発生するおそれがあると判定された場合、警報を出力する。

通信部３１は、通信ユニットである。通信部３１は、サーバ装置１０との通信を可能にする。本実施形態では、通信部３１は、警告システム１が正常に動作している場合、常時、サーバ装置１０と通信可能である。

カメラ３２は、車両の周囲の映像データを撮影するカメラである。カメラ３２は、１台であってもよいし、複数台であってもよい。カメラ３２は、車両のエンジンがＯＮされている間は、常時撮影する。カメラ３２は、撮影した映像データを制御部４０の映像データ取得部４３へ出力する。映像データは、例えば毎秒３０フレームの画像から構成される動画像である。

マイクロフォン３３は、車両の周囲の音声データを取得するマイクロフォンである。マイクロフォン３３は、１台であってもよいし、複数台であってもよい。マイクロフォン３３は、取得した音声データを制御部４０の音声データ取得部４４へ出力する。

記憶部３５は、警告装置３０におけるデータの記録などに用いられる。記憶部３５は、例えば、ＲＡＭ、フラッシュメモリなどの半導体メモリ素子、または、半導体メモリ素子で構成したメモリカードなどの記憶部である。または、通信部３１を介して無線接続される外部記憶部であってもよい。記憶部３５は、制御部４０の映像記憶制御部４６から出力された制御信号に基づいて、イベント発生時の記録データである映像データを記憶する。

スピーカ３６は、一例としては、警告装置３０に固有の音声出力装置、または、ナビゲーションシステムを含む他のシステムと共用した音声出力装置などである。スピーカ３６は、警告装置３０の警報制御部５２から出力された音声信号に基づいて、警報の音声を出力する。

操作部３７は、警告装置３０に対する各種操作を受付可能である。例えば、操作部３７は、電源の入り切り操作、撮影した映像データの保存操作、消去操作、警報の停止操作などを受け付ける。操作部３７は、操作情報を制御部４０の操作制御部５３に出力する。

制御部４０は、例えば、ＣＰＵなどで構成された演算処理装置（制御装置）である。制御部４０は、記憶されているプログラムをメモリにロードして、プログラムに含まれる命令を実行する。制御部４０には図示しない内部メモリが含まれ、内部メモリは制御部４０におけるデータの一時記録などに用いられる。制御部４０は、通信制御部４１と、映像データ取得部４３と音声データ取得部４４とを含む記録データ取得部４２と、映像データ処理部４５と、映像記憶制御部４６と、判定用データ送信制御部４７と、判定結果取得部５１と、警報制御部５２と、操作制御部５３と、操作データ送信制御部５４とを有する。

通信制御部４１は、通信部３１を介して、サーバ装置１０との通信を制御する。本実施形態では、通信制御部４１は、映像データ取得部４３が取得した映像データと、音声データ取得部４４が取得した音声データとをサーバ装置１０へ送信するよう制御する。

記録データ取得部４２は、車両の周囲の状況を記録した記録データを取得する。記録データ取得部４２は、映像データ取得部４３と音声データ取得部４４とを含む。

映像データ取得部４３は、車両の周囲を撮影した映像データを取得する。より詳しくは、映像データ取得部４３は、車両に配置されたカメラ３２が出力した、車両の周囲の映像データを取得して、図示しないバッファメモリに一時的に記憶し、映像データ処理部４５に出力する。

音声データ取得部４４は、車両の周囲の音声を録音した音声データを取得する。より詳しくは、音声データ取得部４４は、車両に配置されたマイクロフォン３３が出力した、車両の周囲の音声データを取得する。

映像データ処理部４５とは、撮影した映像データを、例えばＨ．２６４やＭＰＥＧ−４（Ｍｏｖｉｎｇ Ｐｉｃｔｕｒｅ Ｅｘｐｅｒｔｓ Ｇｒｏｕｐ）などの任意の方式のコーデックで符号化された、例えばＭＰ４形式などの任意のファイル形式に変換する。ファイルとして生成される映像データの期間は、一例として６０秒であるが、これには限定されない。また、映像データは、カメラ３２が撮影した映像に加えて音声が含まれたデータであってもよい。

映像データ処理部４５は、バッファメモリに記憶された映像データから、例えば、６０秒のような所定期間の映像ごとにループ記録映像データを生成する。

映像データ処理部４５は、映像データに同期した音声データを音声データ取得部４４から取得し、ループ記録映像データを生成してもよい。

映像記憶制御部４６は、映像データ処理部４５によってファイル化された映像データを、記憶部３５に記憶させる制御を行う。

映像記憶制御部４６は、生成したループ記録映像データを記憶部３５に記憶させる。映像記憶制御部４６は、記憶部３５の容量が一杯になった場合、最も古いループ記録映像データに上書きして新しいループ記録映像データを記憶する。

さらに、映像記憶制御部４６は、イベントの発生を検出した場合、イベントの検出に対応する映像データを保存する。イベントの検出に対応する映像データとは、映像データ処理部４５が生成した映像データにおける所定の期間の映像データである。映像記憶制御部４６は、イベントの検出に対応する映像データを、上書きが禁止されたイベント記録データとして記憶部３５に保存する。

映像記憶制御部４６が記憶部３５に保存するイベント記録データは、例えば、イベントが検出された時点の前後１０秒程度の所定の期間の映像データをバッファメモリからコピーし、イベント記録データとして保存する。

判定用データ送信制御部４７は、映像データ取得部４３が取得した映像データと、音声データ取得部４４が取得した音声データとを判定用データとしてサーバ装置１０へ送信するよう制御する。

判定結果取得部５１は、送信された判定用データに対する判定結果をサーバ装置１０から取得する。

警報制御部５２は、サーバ装置１０の判定部２５がイベントが発生するおそれがあると判定した場合、警報を出力する。より詳しくは、警報制御部５２は、判定結果取得部５１が取得した判定結果がイベントが発生するおそれがあることを示す場合、スピーカ３６から警報を出力させる音声信号を出力する。

操作制御部５３は、操作部３７が受け付けた操作の操作情報を取得する。例えば、操作制御部５３は、電源の入り切り操作、撮影した映像データの保存操作、消去操作、警報の停止操作などの操作情報を取得する。

操作データ送信制御部５４は、操作制御部５３が取得した警報の停止操作を示す操作情報をサーバ装置１０へ送信する。サーバ装置１０においては、警報の停止操作を示す操作情報に基づいて学習してＤＮＮモデルを更新する。

次に、図７ないし図９を用いて、警告システム１の警告方法及び作用について説明する。図７は、第一実施形態に係るサーバ装置における学習処理の流れを示すフローチャートである。図８は、第一実施形態に係るサーバ装置における判定処理の流れを示すフローチャートである。図９は、第一実施形態に係る警告装置における警告処理の流れを示すフローチャートである。

図７を用いて、サーバ装置１０における学習処理について説明する。サーバ装置１０において、制御部２０は、データ取得部２２によって、複数の警告装置３０または外部の装置から学習用データを取得する（ステップＳ１０１）。制御部２０は、記憶制御部２７によって、取得した学習用データを記憶部１２に記憶させる。制御部２０は、ステップＳ１０２へ進む。

制御部２０は、解析部２３によって、記憶部１２に記憶された学習用データを解析して、折れ線グラフ情報すなわち学習用データに含まれている所定成分の遷移を生成する（ステップＳ１０２）。制御部２０は、ステップＳ１０３へ進む。

制御部２０は、記憶制御部２７によって、生成した折れ線グラフ情報を教師データとして記憶部１２に保存する（ステップＳ１０３）。制御部２０は、ステップＳ１０４へ進む。

制御部２０は、学習部２４によって、記憶部１２に記憶された、教師データである折れ線グラフ情報を用いて、イベントが発生するおそれがあるか否かを判定する学習済みモデルとしてＤＮＮの重みを人工知能によって学習する（ステップＳ１０４）。制御部２０は、ステップＳ１０５へ進む。

制御部２０は、記憶制御部２７によって、生成したＤＮＮを記憶部１２に保存する（ステップＳ１０５）。制御部２０は、処理を終了する。

このようにして、警告システム１の警告装置３０における警告処理が実行される前に、サーバ装置１０において、あらかじめＤＮＮが生成される。サーバ装置１０は、データ取得部２２からデータを取得するごとに、所定の期間ごとに、または、所望のタイミングで、ＤＮＮモデルを更新する。

図８を用いて、サーバ装置１０における判定処理について説明する。サーバ装置１０において、制御部２０は、データ取得部２２によって、警告装置３０からリアルタイムで判定用データを取得する（ステップＳ１１１）。制御部２０は、ステップＳ１１２へ進む。

制御部２０は、解析部２３によって、取得した判定用データを解析して、折れ線グラフ情報を生成する（ステップＳ１１２）。制御部２０は、ステップＳ１１３へ進む。

制御部２０は、判定部２５によって、ＤＮＮを使用して、判定用データから生成した折れ線グラフ情報に基づいて、イベントが発生するおそれがあるか否かを判定する（ステップＳ１１３）。制御部２０は、ステップＳ１１４へ進む。

制御部２０は、通信制御部２１によって、判定用データを送信した警告装置３０へ判定結果を送信する（ステップＳ１１４）。制御部２０は、処理を終了する。

図９を用いて、警告装置３０における警告処理について説明する。警告装置３０において、制御部４０は、判定用データ送信制御部４７によって、通信制御部２１を介して、判定用データをサーバ装置１０へ送信する（ステップＳ２１１）。制御部４０は、ステップＳ２１２へ進む。

制御部４０は、判定結果取得部５１によって、サーバ装置１０から判定結果を取得したか否かを判定する（ステップＳ２１２）。制御部４０は、判定結果を取得したと判定する場合（ステップＳ２１２でＹｅｓ）、ステップＳ２１３へ進む。制御部４０は、判定結果を取得したと判定しない場合（ステップＳ２１２でＮｏ）、ステップＳ２１２の処理を再度実行する。

判定結果を取得したと判定する場合（ステップＳ２１２でＹｅｓ）、制御部４０は、判定結果がイベントが発生するおそれがあることを示すか否かを判定する（ステップＳ２１３）。制御部４０は、判定結果がイベントが発生するおそれがあることを示す場合（ステップＳ２１３でＹｅｓ）、ステップＳ２１４へ進む。制御部４０は、判定結果がイベントが発生するおそれがあることを示さない場合（ステップＳ２１３でＮｏ）、ステップＳ２１５へ進む。

判定結果がイベントが発生するおそれがあることを示す場合（ステップＳ２１３でＹｅｓ）、制御部４０は、警報制御部５２によって、スピーカ３６から警報を出力するように音声信号を出力する（ステップＳ２１４）。制御部４０は、ステップＳ２１５へ進む。

制御部４０は、処理を終了するか否かを判定する（ステップＳ２１５）。より詳しくは、制御部４０は、操作制御部５３によって、終了操作情報が出力された場合や、車両の動作が終了するなど、任意の条件で、処理を終了すると判定して（ステップＳ２１５でＹｅｓ）、処理を終了する。制御部４０は、操作制御部５３によって、終了操作情報が出力されていないと、処理を終了しないと判定して（ステップＳ２１５でＮｏ）、ステップＳ２１１の処理を再度実行する。

ステップＳ２１４において警報が出力された場合、乗員は、警報が不要であった、または、イベントが発生しなかったときなどには、操作部３７を介して警報の停止操作を行う。操作制御部５３によって、警報の停止操作を示す操作情報が取得されて、学習用データに関連付けて保存される。操作データ送信制御部５４によって、操作情報と関連付けられた学習用データとが、サーバ装置１０へ送信される。サーバ装置１０では、取得した操作情報に基づいて学習してＤＮＮモデルが更新される。

また、警報が出力されなかった場合、乗員が、ヒヤッとしたり、警報が出力された方が好ましいと判断したりしたときなどには、操作部３７を介して所定の警報付与操作を行う。操作制御部５３によって、警報付与操作情報が取得されて、学習用データに関連付けて保存される。操作データ送信制御部５４によって、操作情報と関連付けられた学習用データとが、サーバ装置１０へ送信される。サーバ装置１０では、取得した操作情報に基づいて学習してＤＮＮモデルを更新する。

このようにして、サーバ装置１０では、イベント発生時点より前の時間を含む学習用データを解析して、所定成分の時間変化を示す折れ線グラフ情報を生成する。そして、サーバ装置１０では、折れ線グラフ情報を用いて人工知能による機械学習によって、イベントが発生するおそれがあるか否かを判定する学習済みモデルとしてＤＮＮを生成する。

上述したように、本実施形態では、イベント発生時点より前の時間を含む学習用データから、イベントが発生するおそれがあるか否かを判定する学習済みモデルとしてＤＮＮを生成することができる。本実施形態によれば、イベント発生時点ではなく、イベント発生時点より前の時間の判定用データに基づいて、学習済みのＤＮＮを使用してイベントが発生するおそれがあるか否かをリアルタイムで判定することができる。

本実施形態では、データ取得部２２からデータを取得するごとに、所定の期間ごとに、または、所望のタイミングで、ＤＮＮモデルを更新することができる。本実施形態によれば、イベントが発生するおそれがあるか否かの判定の精度を向上することができる。

本実施形態では、警報が出力された場合、乗員は、警報が不要であった、または、イベントが発生しなかったときなどには、警報の停止操作を行う。また、本実施形態では、警報が出力されなかった場合、乗員が、ヒヤッとしたり、警報が出力された方が好ましいと判断したりしたときなどには、警報付与操作を行う。本実施形態では、警報の停止操作および警報付与操作の操作情報から、ＤＮＮモデルを更新させることができる。本実施形態によれば、より判定精度の高いＤＮＮモデルを生成することができる。このようにして、本実施形態は、判定精度が向上することにより、警報が過剰に出力されたり過小になったりすることを抑制して、適切に警報を出力することができる。本実施形態によれば、警報に対する乗員の信頼度を向上することができる。

本実施形態は、イベントが発生するおそれがある場合に警報を出力することによって、イベントの発生を抑制することができる。本実施形態によれば、交通安全に寄与することができる。

本実施形態は、ベント発生時点より前の時間の映像データと音声データとの少なくともどちらかを含む判定用データだけに基づいて、イベントが発生するおそれがあるか否かを高精度に判定することができる。

本実施形態は、学習処理及び判定処理をサーバ装置１０が実行するので、警告装置３０の処理の負荷を軽減することができる。

［第二実施形態］
図１０ないし図１８を参照しながら、本実施形態に係る警告システム１Ａについて説明する。図１０は、第二実施形態に係る警告システムの構成例の一例を示す概略図である。図１１は、映像データを複数の画面に分割した一例を説明する図である。図１２は、映像データを複数の画面に分割した他の例を説明する図である。図１３は、映像データを複数の画面に分割した他の例を説明する図である。図１４は、市街地で撮影された映像データの一例を説明する図である。図１５は、図１４に示す映像データに含まれる他車両の車体色の色成分の折れ線グラフ情報の一例を説明する図である。図１６は、図１４に示す映像データに含まれる路面の黒色の色成分の折れ線グラフ情報の一例を説明する図である。図１７は、第二実施形態に係るサーバ装置における学習処理の流れを示すフローチャートである。図１８は、第二実施形態に係るサーバ装置における判定処理の流れを示すフローチャートである。

本実施形態は、サーバ装置１０Ａの構成が第一実施形態と異なる。より詳しくは、サーバ装置１０Ａの制御部２０Ａが、周囲状況判定部２８Ａを備える点と、解析部２３Ａ、学習部２４Ａおよび判定部２５Ａにおける処理とが第一実施形態と異なる。以下の説明においては、サーバ装置１０と同様の構成要素には、同一の符号または対応する符号を付し、その詳細な説明は省略する。

周囲状況判定部２８Ａは、学習用データまたは判定用データに基づいて、車両の周囲の状況を判定する。本実施形態では、周囲状況判定部２８Ａは、学習用データまたは判定用データの映像データから、車両の現在位置、時間帯、天候、路面状態を判定する。例えば、周囲状況判定部２８Ａは、映像データに画像処理を行って、車両の現在位置が郊外であるか市街地であるかを判定する。例えば、周囲状況判定部２８Ａは、映像データに画像処理を行って、時間帯が昼間であるか夜間であるかを判定する。例えば、周囲状況判定部２８Ａは、映像データに画像処理を行って、天候が晴天であるか曇天であるか雨天であるかを判定する。例えば、周囲状況判定部２８Ａは、映像データに画像処理を行って、路面状態が良好であるか、濡れているか、凍結しているかを判定する。

周囲状況判定部２８Ａは、映像データを複数の画面に分割して画像処理を行ってもよい。例えば図１１に示すように、周囲状況判定部２８Ａは、映像データを、上空が表示される上部画面Ａ１１と、車両の周囲の景色が表示される右側部画面Ａ１２と左側部画面Ａ１３と、路面が表示される下部画面Ａ１４とに分割する。例えば、周囲状況判定部２８Ａは、右側部画面Ａ１２と左側部画面Ａ１３とに画像処理を行って、車両の現在位置を判定する。例えば、周囲状況判定部２８Ａは、上部画面Ａ１１に画像処理を行って、時間帯および天候を判定する。例えば、周囲状況判定部２８Ａは、下部画面Ａ１４に画像処理を行って、路面状態を判定する。

解析部２３Ａは、学習用データまたは判定用データの映像データを複数の画面に分割して、映像データのうち分割された画面に含まれる所定成分の折れ線グラフ情報を作成する。本実施形態では、解析部２３Ａは、周囲状況判定部２８Ａの判定結果に基づいて、映像データを画面分割して、分割した画面ごとに解析を行う。本実施形態では、解析部２３Ａは、判定結果が車両の現在位置が市街地であると判定した場合、郊外であると判定した場合に比べて、画面を細かく分割する。市街地の場合、郊外に比べて、映像データに含まれる情報が多くなるためである。

本実施形態では、解析部２３Ａは、周囲状況判定部２８Ａの判定結果が車両の現在位置が郊外であると判定した場合、図１２に示すように、映像データを４つの画面に分割する。解析部２３Ａは、映像データを右上部画面Ａ２１と右下部画面Ａ２２と左下部画面Ａ２３と左上部画面Ａ２４とに分割する。

本実施形態では、解析部２３Ａは、周囲状況判定部２８Ａの判定結果が車両の現在位置が市街地であると判定した場合、図１３に示すように、映像データを９つの画面に分割する。解析部２３Ａは、映像データを右上部画面Ａ３１と右中部画面Ａ３２と右下部画面Ａ３３と上部画面Ａ３４と中部画面Ａ３５と下部画面Ａ３６と左上部画面Ａ３７と左中部画面Ａ３８と左下部画面Ａ３９とに分割する。

図１４ないし図１６を用いて、市街地を走行中に映像データから生成される折れ線グラフ情報について説明する。図１４（ａ）は、市街地を走行中に、車両が路上駐車された他車両Ｖの後方を走行しているときに撮影された映像データであり、図１４（ｂ）は、車両が路上駐車された他車両Ｖのすぐ後ろを走行しているときに撮影された映像データである。なお、路上駐車している他車両Ｖの周囲の路面には、水溜りＷがある。水溜りＷは、周囲の路面より黒色に表示される。解析部２３Ａは、周囲状況が市街地であるので、映像データを９つの画面に分割して解析する。解析部２３Ａは、映像データの各時間において、映像データの左中部画面Ａ３８と左下部画面Ａ３９とから、他車両Ｖの車体色を示す青色の色成分の遷移を折れ線グラフ情報に変換して生成する。得られた折れ線グラフ情報が、図１５である。図１５は、図１４に示す映像データの左中部画面Ａ３８と左下部画面Ａ３９から生成した、車体色成分の折れ線グラフ情報である。車両が他車両Ｖに近接するほど、車体色成分が急激に増加している。車体色成分の傾きをα１で示している。

また、解析部２３Ａは、映像データの各時間において、映像データの右下部画面Ａ３３と下部画面Ａ３６とから、濡れた路面状態を示す黒色の色成分の遷移を折れ線グラフ情報に変換して生成する。得られた折れ線グラフ情報が、図１６である。図１６は、図１４に示す映像データの右下部画面Ａ３３と下部画面Ａ３６とから生成した、黒色の色成分の折れ線グラフ情報である。他車両Ｖが路上駐車している近傍の路面は黒色が多く、濡れている状態であることがわかる。

学習部２４Ａは、学習用データの映像データのうち分割された画面に含まれる所定成分の遷移を折れ線グラフ情報から人工知能によって学習して、学習済みモデルを生成する。

また、学習部２４Ａは、解析部２３Ａが作成した折れ線グラフ情報を人工知能によって学習して、周囲状況ごとにイベントが発生するおそれがあるか否かを判定するための学習済みモデルとしてのＤＮＮを生成してもよい。本実施形態では、学習部２４Ａは、車両の現在地が市街地である場合のＤＮＮと、郊外である場合のＤＮＮとを生成する。

さらに、学習部２４Ａは、複数の所定成分の折れ線グラフ情報を人工知能によって学習して、イベントが発生するおそれがあるか否かを判定するための学習済みモデルとしてのＤＮＮを生成してもよい。本実施形態では、学習部２４Ａは、他車両Ｖの車体の色成分の折れ線グラフ情報と、濡れた路面状態を示す黒色の色成分の折れ線グラフ情報とを人工知能によって学習して、学習済みモデルとしてのＤＮＮが生成されている。例えば、学習部２４Ａは、学習によって、映像データの分割された所定の画面において、車両の進行方向を塞ぐ障害物の色成分が急激に増加し、かつ、映像データの分割された所定の画面において、車両が進路変更する先の路面の状態が濡れていることを示す場合、イベントが発生するおそれがあると判定するＤＮＮを生成する。

判定部２５Ａは、判定用データの映像データを複数の画面に分割して、判定用データの映像データのうち分割された画面に基づいて、イベントが発生するおそれがあるか否かを判定する。判定部２５Ａは、警告装置３０から判定用データを取得した場合、周囲状況判定部２８Ａの判定結果に応じて、記憶部１２から学習されたＤＮＮモデルを読み出してＤＮＮを再現し、判定用データから、イベントが発生するおそれがあるか否かを判定する。本実施形態では、判定用データを取得し、周囲状況が市街地を示す場合、市街地に応じたＤＮＮモデルを読み出して判定する。

図１７を用いて、サーバ装置１０Ａにおける学習処理について説明する。ステップＳ１２１、ステップＳ１２４の処理は、図７に示すフローチャートのステップＳ１０１、ステップＳ１０３と同様の処理を行う。

制御部２０Ａは、周囲状況判定部２８Ａによって、学習用データに基づいて、車両の周囲の状況を判定する（ステップＳ１２２）。制御部２０Ａは、ステップＳ１２３へ進む。

制御部２０Ａは、解析部２３Ａによって、周囲状況に応じて学習用データを解析して、折れ線グラフ情報を生成して、記憶部１２へ記憶する（ステップＳ１２３）。制御部２０Ａは、ステップＳ１２４へ進む。

制御部２０Ａは、学習部２４Ａによって、記憶部１２に記憶された、教師データである折れ線グラフ情報を用いて、周囲状況に応じて、イベントが発生するおそれがあるか否かを判定する学習済みモデルとしてＤＮＮの重みを人工知能によって学習する（ステップＳ１２５）。制御部２０Ａは、ステップＳ１２６へ進む。

制御部２０Ａは、記憶制御部２７Ａによって、周囲状況ごとに、生成したＤＮＮを記憶部１２に保存する（ステップＳ１２６）。制御部２０Ａは、処理を終了する。

図１８を用いて、サーバ装置１０Ａにおける判定処理について説明する。ステップＳ１３１、ステップＳ１３５の処理は、図８に示すフローチャートのステップＳ１１１、ステップＳ１１４と同様の処理を行う。

制御部２０Ａは、周囲状況判定部２８Ａによって、判定用データに基づいて、車両の周囲の状況を判定する（ステップＳ１３２）。制御部２０Ａは、ステップＳ１３３へ進む。

制御部２０Ａは、解析部２３Ａによって、周囲状況判定部２８Ａの判定結果に基づいて、映像データを画面分割して、分割した画面ごとに解析を行う（ステップＳ１３３）。制御部２０Ａは、ステップＳ１３４へ進む。

制御部２０Ａは、判定部２５Ａによって、周囲状況判定部２８Ａの判定結果に基づいて、ＤＮＮを使用して、判定用データから生成した折れ線グラフ情報に基づいて、イベントが発生するおそれがあるか否かを判定する（ステップＳ１３４）。制御部２０Ａは、ステップＳ１３５へ進む。

このようにして、サーバ装置１０Ａでは、学習用データの映像データを複数の画面に分割して、学習用データの映像データのうち分割された画面に含まれる所定成分の遷移を折れ線グラフ情報に変換して作成する。サーバ装置１０Ａは、学習用データの映像データのうち分割された画面に含まれる所定成分の折れ線グラフ情報を人工知能によって学習して、学習済みモデルとしてＤＮＮモデルを生成する。サーバ装置１０Ａは、判定用データの映像データを複数の画面に分割して、判定用データの映像データの分割された画面に基づいて、ＤＮＮモデルを使用してイベントが発生するおそれがあるか否かを判定する。

上述したように、本実施形態は、学習用データの映像データのうち分割された画面に含まれる所定成分の折れ線グラフ情報を人工知能によって学習して、学習済みモデルとしてＤＮＮモデルを生成することができる。また、本実施形態は、車両の周囲の状況に応じた学習済みモデルを生成することができる。本実施形態によれば、判定用データの映像データを複数の画面に分割して、判定用データの映像データの分割された画面に基づいて、イベントが発生するおそれがあるか否かを判定することができる。

さて、これまで本発明に係る警告システム１について説明したが、上述した実施形態以外にも種々の異なる形態にて実施されてよいものである。

本実施形態では、所定成分の遷移を折れ線グラフ情報に変換して作成する例を示したが、これに限定されるものではなく、所定成分の遷移を曲線グラフ情報あるいは遷移を示す他の情報に変換して作成してもよい。

図示した警告システム１の各構成要素は、機能概念的なものであり、必ずしも物理的に図示の如く構成されていなくてもよい。すなわち、各装置の具体的形態は、図示のものに限られず、各装置の処理負担や使用状況等に応じて、その全部または一部を任意の単位で機能的または物理的に分散または統合してもよい。

警告システム１の構成は、例えば、ソフトウェアとして、メモリにロードされたプログラム等によって実現される。上記実施形態では、これらのハードウェアまたはソフトウェアの連携によって実現される機能ブロックとして説明した。すなわち、これらの機能ブロックについては、ハードウェアのみ、ソフトウェアのみ、または、それらの組み合わせによって種々の形で実現できる。

上記した構成要素には、当業者が容易に想定できるもの、実質的に同一のものを含む。さらに、上記した構成は適宜組み合わせが可能である。また、本発明の要旨を逸脱しない範囲において構成の種々の省略、置換または変更が可能である。

１ 警告システム
１０ サーバ装置
２０ 制御部
２２ データ取得部
２３ 解析部
２４ 学習部
２５ 判定部
２６ 判定結果送信制御部
３０ 警告装置
３２ カメラ
３３ マイクロフォン
３５ 記憶部
３６ スピーカ
３７ 操作部
４０ 制御部
４２ 記録データ取得部
４３ 映像データ取得部
４４ 音声データ取得部
４５ 映像データ処理部
４６ 映像記憶制御部
４７ 判定用データ送信制御部
５１ 判定結果取得部
５２ 警報制御部

Claims (6)

1. 車両の周囲の状況を記録した記録データを取得する記録データ取得部と、
   前記記録データ取得部が取得した前記記録データのうち、学習に使用する学習用データを解析して、前記学習用データに含まれる所定成分の遷移を解析する解析部と、
   前記解析部が解析した前記所定成分の遷移を人工知能によって学習して、イベントが発生するおそれがあるか否かを判定するための学習済みモデルを生成する学習部と、
   前記学習部が学習した前記学習済みモデルを使用して、前記記録データ取得部が取得した前記記録データのうち、判定に使用する判定用データに基づいて、イベントが発生するおそれがあるか否かを判定する判定部と、
   前記判定部がイベントが発生するおそれがあると判定した場合、警報を出力する警報制御部と、
   を備えることを特徴とする警告システム。
2. 前記学習部は、過去のイベント発生時の前記学習用データに基づいて、イベント発生時点より前の前記学習用データに含まれる各成分の変化の傾向を人工知能によって学習する、
   請求項１に記載の警告システム。
3. 前記記録データは、前記車両の周囲を撮影した映像データを含み、
   前記解析部は、前記学習用データの前記映像データに画像解析処理を行って、前記映像データの輝度の遷移の情報を作成する、
   請求項１または２に記載の警告システム。
4. 前記解析部は、前記学習用データの前記映像データを複数の画面に分割して、前記映像データのうち分割された画面に含まれる所定成分の遷移の情報を作成し、
   前記学習部は、前記学習用データの前記映像データのうち分割された画面に含まれる所定成分の遷移の情報を人工知能によって学習して、学習済みモデルを生成し、
   前記判定部は、前記判定用データの前記映像データを複数の画面に分割して、前記映像データのうち分割された画面に基づいて、イベントが発生するおそれがあるか否かを判定する、
   請求項３に記載の警告システム。
5. 前記学習用データに基づいて、前記車両の周囲の状況を判定する周囲状況判定部、
   を備え、
   前記学習部は、前記周囲状況判定部が判定した前記車両の周囲の状況に応じた前記学習済みモデルを生成する、
   請求項１から４のいずれか一項に記載の警告システム。
6. 車両の周囲の状況を記録した記録データを取得する記録データ取得ステップと、
   前記記録データ取得ステップによって取得された前記記録データのうち、学習に使用する学習用データを解析して、前記学習用データに含まれる所定成分の遷移を解析する解析ステップと、
   前記解析ステップによって解析した所定成分の遷移を人工知能によって学習して、イベントが発生するおそれがあるか否かを判定するための学習済みモデルを生成する学習ステップと、
   前記学習ステップによって学習された前記学習済みモデルを使用して、前記記録データ取得ステップによって取得された前記記録データのうち、判定に使用する判定用データに基づいて、イベントが発生するおそれがあるか否かを判定する判定ステップと、
   前記判定ステップによってイベントが発生するおそれがあると判定された場合、警報を出力する警報制御ステップと、
   を含む警告方法。

Images