JP2019091134A - 自立移動体運転環境判定システム - Google Patents

Abstract

【課題】自立移動体から収集された映像データならびに付加情報により、運転状態の正常・異常ならびに周囲の環境を分析判定し、リアルタイムで自動的に状況通知するシステムを開発すること【解決手段】自立移動体に装備された映像データならびに各種センサ情報収集装置をクライアント側としサーバ側に高火力なＧＰＵを装備した機械学習装置ならびにデータ蓄積装置を配備したクライアント・サーバ型システムにおいて、クライアント側で収集された映像データならびに各種センサデータをサーバ側にオフラインまたはオンラインで蓄積手段。ならびに、サーバ側に蓄積された大量データの機械学習により違和感を判定する論理を生成し、当該論理をクライアント側にダウンロードすることにより、少ない計算資源でのリアルタイムの運転状態ならびに周囲の正常・異常等を判定し、通知することを実現する。【選択図】図１

Description

本発明は自立移動体の運転環境を記録し、収集した大量データを学習・分析することで運転環境の判定論理を生成し、当該論理により違和感の通知を行うことのできるシステムである。

近年、ドローン技術や自動運転技術の分野では運転制御のみならず、画像認識技術の向上により運転状況や周囲の環境を含む運転環境の正常・異常を判定する技術が進歩しつつある。

本発明では運転状態のみならず、運転者の状態、道路の状況、建造物の状況、周囲の環境等の状況を得られる映像データやセンサデータを自動認識することで判定する技術と、それらにより蓄積されたデータを利活用することが今後の自動運転技術開発ならびにセキュリティ管理、犯罪防止、自然災害予防等に有効なデータの蓄積が可能となる。

特願２０１２−６０８０６運転行為分析警告システム及び方法

本発明の目的は、自立移動する物体の運転環境を学習・分析し、与えられた判定基準により自立移動体側で警告を発出する仕組みを提供することにある。

上記の目的を達成するため、本発明ではサーバ・クライアント方式により、必要な映像データ、センサデータ等をクライアント側で記録し、当該データをオフラインまたはオンラインでサーバに蓄積する手段を設ける。

サーバ側に蓄積された運転環境を判定するための大量データをもとに機械学習を行い判定基準となる論理（決定木）を生成する。

この決定木をクライアント側にダウンロードすることでクライアント側の限られた計算資源で運転環境を分析判定することを実現する。

また、クライアント側で判定された結果のみの出力データをオンラインでアップロードすることで通信量を削減でき、さらに追加の機械学習データの収集を可能とする。

通常、画像認識処理および機械学習処理には高火力なＧＰＵを必要とするため、限られた計算資源のクライアント側装置（エッジ装置）では深層学習等の大規模演算を必要とする処理機構を実装するには限界があった。

本発明では大規模演算を必要とする処理はサーバ側の高火力ＧＰＵで処理を行い、その結果として得られる論理（決定木）をクライアント側装置に判定システムの論理として実装するため、従来出来なかった機械学習処理を限られた計算資源で実現することができる。

これによりクライアント側装置で判定された通常環境とは異なる状態（違和感）のみをサーバ側に送ることができ、少ない通信量で必要な情報のみをサーバ側装置の再学習対象として取り込むことができる。

従来技術では膨大な通信量および早い速度の通信網ならびに大規模なデータによる計算資源を必要としていたが、本発明により、クライアント側装置にてリアルタイムに違和感を検出することができるため、最適な通信量と最低限の計算資源で実現できることが従来技術との大きな差異である。

図１は本発明の一実施例の自立移動体に装備する運転環境判定システムのブロック図である。

本発明の目的、特徴、効果を十分に理解できるように、以下、具体的な実施例と図面を組合せ、本発明について詳細に説明する。

図１に本発明の一実施例である自立移動体運転環境判定システムのブロック図を示す。

図１において、自立移動体に装備されたクライアント装置（Ａ）のカメラ部１１で撮影された動画ならびにセンサ部１４で収集されたセンサ情報をそれぞれ映像処理部１２およびセンサ情報処理部１５を介して記録装置１３に蓄積される。

本発明では、集めたデータで機械学習を実行する学習フェーズと機械学習の結果を実行する運用フェーズがあり、本説明では２つのフェーズに分けて説明する。

まず学習フェーズにおいては記録装置１３に蓄積された各種データをオフライン（ａ）（ＳＤカード等のメモリ）または通信処理部１７、２１を介してオンラインでサーバ側に転送し記憶装置２３に蓄積する。

記憶装置２３に蓄積された大量のデータを機械学習の教師データとして学習させることで判定対象の事象に対して十分な学習を行わせることができる。

また、サーバ装置（Ｂ）では高火力なＧＰＵを活用できることで、学習速度の短時間化が図れる。サーバ装置（Ｂ）の機械学習機能部２２では集められた大規模データをもとに学習させ、結果として判定論理のための異常検出論理２４（決定木）を生成させる。

この異常検出論理２４（決定木）を通信制御部１７及び２１を介してクライアント装置（Ｂ）の判定機能部１６にダウンロードする（ｂ）。

運用フェーズでは、クライアント装置（Ａ）の判定機能部１６にダウンロードされた異常検出論理２４を使って、カメラ部１１、センサ部１４から得られた情報に対して判定機能部１６で判定を行い、必要に応じて警告装置１８から警告を発出する。

本発明ではこの一連の流れを特徴として自立移動体に関する運転環境判定システムを提供する。

自動車向けドライブレコーダ、ドローン向け運転状況監視システム等、自立的に移動する物体に取り付けられた装置（カメラ、センサ等）の情報から違和感を判定し通知することのできるシステムとして、自動運転技術向上等のストレスフリーな交通環境の整備ならびに、安心・安全な社会の実現に向けた利活用が可能な基盤データの収集を実現できる。

（Ａ）クライアント装置
（Ｂ）サーバ装置
１１ クライアント装置側 カメラ部
１２ クライアント装置側 映像処理部
１３ クライアント装置側 記録装置
１４ クライアント装置側 センサ部
１５ クライアント装置側 センサ情報処理部
１６ クライアント装置側 判定機能部
１７ クライアント装置側 通信処理部
１８ クライアント装置側 警告装置
２１ サーバ装置側 通信処理部
２２ サーバ装置側 機械学習機能部
２３ サーバ装置側 記憶装置
２４ サーバ装置側 異常検出論理

Claims (9)

1. 自立的に移動する物体において、当該物体の周囲および内部等の複数の映像および、自立移動体の運転環境を取得する各種センサデータを記録できるクライアント装置と、当該データをオフラインまたは通信手段によりサーバに転送し保存するシステムならびに、保存されたデータを分析し、サーバ側で運転環境の正常/異常の違い（違和感）を判定する論理を生成し、当該論理をクライアント側にダウンロードすることで、クライアント側単体の限られた計算資源でリアルタイムに運転環境の違和感を判定することを特徴するシステム。
2. 前記、請求項１において自立移動体から各種センサにより収集できる、加速度データ、速度データ、方向性データ、高度データ等の少なくとも１つ以上のデータを含むことを特徴とする請求項１に記載の運転環境判定システム
3. 前記、映像と前記センサ情報を組み合わせて時系列に記録したデータにより運転環境を判定すること、もしくは判定論理を生成することを特徴とする請求項１に記載の運転環境判定システム
4. 前記、運転環境判定システムにおいて、クライアント側の映像データに加え、位置情報ならびに位置情報の時系列差分から得られる加速度情報、自立移動する物体の各種センサ情報等を関連付けて記録することにより複雑な運転環境の判定論理を簡潔に自動生成するシステム。
5. 前記、運転環境判定システムにおいて、請求項１の論理を生成する仕組みとして機械学習のアプローチを特徴とするシステム。
6. 請求項１で生成した論理によりクライアント側で得られた判定結果のみをサーバ側に送信することで少ない通信量で効果的なデータ収集ができるシステム。
7. 前記、運転環境判定システムにおいて、サーバ側に通信アップロードされたデータを追加分析することで運転環境判定論理を適宜更新学習でき、当該判定論理をリアルタイムにクライアント側にダウンロードすることを特徴とする自己学習・増殖できるシステム。
8. 保存されたデータから通常の運転環境と違和感のある運転環境を切り分けて判定する論理として決定木を用いる請求項１および請求項６に記載の運転環境判定システム。
9. 請求項１における各種センサデータに近距離通信機能を有する独立した情報機器から得られるデータを含み、クライアント装置側に近距離通信受信機能を有する運転環境判定システム。