JP2019091134A - 自立移動体運転環境判定システム - Google Patents
自立移動体運転環境判定システム Download PDFInfo
- Publication number
- JP2019091134A JP2019091134A JP2017217997A JP2017217997A JP2019091134A JP 2019091134 A JP2019091134 A JP 2019091134A JP 2017217997 A JP2017217997 A JP 2017217997A JP 2017217997 A JP2017217997 A JP 2017217997A JP 2019091134 A JP2019091134 A JP 2019091134A
- Authority
- JP
- Japan
- Prior art keywords
- data
- driving environment
- logic
- client
- server
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Landscapes
- Traffic Control Systems (AREA)
Abstract
【課題】自立移動体から収集された映像データならびに付加情報により、運転状態の正常・異常ならびに周囲の環境を分析判定し、リアルタイムで自動的に状況通知するシステムを開発すること【解決手段】自立移動体に装備された映像データならびに各種センサ情報収集装置をクライアント側としサーバ側に高火力なGPUを装備した機械学習装置ならびにデータ蓄積装置を配備したクライアント・サーバ型システムにおいて、クライアント側で収集された映像データならびに各種センサデータをサーバ側にオフラインまたはオンラインで蓄積手段。ならびに、サーバ側に蓄積された大量データの機械学習により違和感を判定する論理を生成し、当該論理をクライアント側にダウンロードすることにより、少ない計算資源でのリアルタイムの運転状態ならびに周囲の正常・異常等を判定し、通知することを実現する。【選択図】図1
Description
本発明は自立移動体の運転環境を記録し、収集した大量データを学習・分析することで運転環境の判定論理を生成し、当該論理により違和感の通知を行うことのできるシステムである。
近年、ドローン技術や自動運転技術の分野では運転制御のみならず、画像認識技術の向上により運転状況や周囲の環境を含む運転環境の正常・異常を判定する技術が進歩しつつある。
本発明では運転状態のみならず、運転者の状態、道路の状況、建造物の状況、周囲の環境等の状況を得られる映像データやセンサデータを自動認識することで判定する技術と、それらにより蓄積されたデータを利活用することが今後の自動運転技術開発ならびにセキュリティ管理、犯罪防止、自然災害予防等に有効なデータの蓄積が可能となる。
本発明の目的は、自立移動する物体の運転環境を学習・分析し、与えられた判定基準により自立移動体側で警告を発出する仕組みを提供することにある。
上記の目的を達成するため、本発明ではサーバ・クライアント方式により、必要な映像データ、センサデータ等をクライアント側で記録し、当該データをオフラインまたはオンラインでサーバに蓄積する手段を設ける。
サーバ側に蓄積された運転環境を判定するための大量データをもとに機械学習を行い判定基準となる論理(決定木)を生成する。
この決定木をクライアント側にダウンロードすることでクライアント側の限られた計算資源で運転環境を分析判定することを実現する。
また、クライアント側で判定された結果のみの出力データをオンラインでアップロードすることで通信量を削減でき、さらに追加の機械学習データの収集を可能とする。
通常、画像認識処理および機械学習処理には高火力なGPUを必要とするため、限られた計算資源のクライアント側装置(エッジ装置)では深層学習等の大規模演算を必要とする処理機構を実装するには限界があった。
本発明では大規模演算を必要とする処理はサーバ側の高火力GPUで処理を行い、その結果として得られる論理(決定木)をクライアント側装置に判定システムの論理として実装するため、従来出来なかった機械学習処理を限られた計算資源で実現することができる。
これによりクライアント側装置で判定された通常環境とは異なる状態(違和感)のみをサーバ側に送ることができ、少ない通信量で必要な情報のみをサーバ側装置の再学習対象として取り込むことができる。
従来技術では膨大な通信量および早い速度の通信網ならびに大規模なデータによる計算資源を必要としていたが、本発明により、クライアント側装置にてリアルタイムに違和感を検出することができるため、最適な通信量と最低限の計算資源で実現できることが従来技術との大きな差異である。
本発明の目的、特徴、効果を十分に理解できるように、以下、具体的な実施例と図面を組合せ、本発明について詳細に説明する。
図1に本発明の一実施例である自立移動体運転環境判定システムのブロック図を示す。
図1において、自立移動体に装備されたクライアント装置(A)のカメラ部11で撮影された動画ならびにセンサ部14で収集されたセンサ情報をそれぞれ映像処理部12およびセンサ情報処理部15を介して記録装置13に蓄積される。
本発明では、集めたデータで機械学習を実行する学習フェーズと機械学習の結果を実行する運用フェーズがあり、本説明では2つのフェーズに分けて説明する。
まず学習フェーズにおいては記録装置13に蓄積された各種データをオフライン(a)(SDカード等のメモリ)または通信処理部17、21を介してオンラインでサーバ側に転送し記憶装置23に蓄積する。
記憶装置23に蓄積された大量のデータを機械学習の教師データとして学習させることで判定対象の事象に対して十分な学習を行わせることができる。
また、サーバ装置(B)では高火力なGPUを活用できることで、学習速度の短時間化が図れる。サーバ装置(B)の機械学習機能部22では集められた大規模データをもとに学習させ、結果として判定論理のための異常検出論理24(決定木)を生成させる。
この異常検出論理24(決定木)を通信制御部17及び21を介してクライアント装置(B)の判定機能部16にダウンロードする(b)。
運用フェーズでは、クライアント装置(A)の判定機能部16にダウンロードされた異常検出論理24を使って、カメラ部11、センサ部14から得られた情報に対して判定機能部16で判定を行い、必要に応じて警告装置18から警告を発出する。
本発明ではこの一連の流れを特徴として自立移動体に関する運転環境判定システムを提供する。
自動車向けドライブレコーダ、ドローン向け運転状況監視システム等、自立的に移動する物体に取り付けられた装置(カメラ、センサ等)の情報から違和感を判定し通知することのできるシステムとして、自動運転技術向上等のストレスフリーな交通環境の整備ならびに、安心・安全な社会の実現に向けた利活用が可能な基盤データの収集を実現できる。
(A)クライアント装置
(B)サーバ装置
11 クライアント装置側 カメラ部
12 クライアント装置側 映像処理部
13 クライアント装置側 記録装置
14 クライアント装置側 センサ部
15 クライアント装置側 センサ情報処理部
16 クライアント装置側 判定機能部
17 クライアント装置側 通信処理部
18 クライアント装置側 警告装置
21 サーバ装置側 通信処理部
22 サーバ装置側 機械学習機能部
23 サーバ装置側 記憶装置
24 サーバ装置側 異常検出論理
(B)サーバ装置
11 クライアント装置側 カメラ部
12 クライアント装置側 映像処理部
13 クライアント装置側 記録装置
14 クライアント装置側 センサ部
15 クライアント装置側 センサ情報処理部
16 クライアント装置側 判定機能部
17 クライアント装置側 通信処理部
18 クライアント装置側 警告装置
21 サーバ装置側 通信処理部
22 サーバ装置側 機械学習機能部
23 サーバ装置側 記憶装置
24 サーバ装置側 異常検出論理
Claims (9)
- 自立的に移動する物体において、当該物体の周囲および内部等の複数の映像および、自立移動体の運転環境を取得する各種センサデータを記録できるクライアント装置と、当該データをオフラインまたは通信手段によりサーバに転送し保存するシステムならびに、保存されたデータを分析し、サーバ側で運転環境の正常/異常の違い(違和感)を判定する論理を生成し、当該論理をクライアント側にダウンロードすることで、クライアント側単体の限られた計算資源でリアルタイムに運転環境の違和感を判定することを特徴するシステム。
- 前記、請求項1において自立移動体から各種センサにより収集できる、加速度データ、速度データ、方向性データ、高度データ等の少なくとも1つ以上のデータを含むことを特徴とする請求項1に記載の運転環境判定システム
- 前記、映像と前記センサ情報を組み合わせて時系列に記録したデータにより運転環境を判定すること、もしくは判定論理を生成することを特徴とする請求項1に記載の運転環境判定システム
- 前記、運転環境判定システムにおいて、クライアント側の映像データに加え、位置情報ならびに位置情報の時系列差分から得られる加速度情報、自立移動する物体の各種センサ情報等を関連付けて記録することにより複雑な運転環境の判定論理を簡潔に自動生成するシステム。
- 前記、運転環境判定システムにおいて、請求項1の論理を生成する仕組みとして機械学習のアプローチを特徴とするシステム。
- 請求項1で生成した論理によりクライアント側で得られた判定結果のみをサーバ側に送信することで少ない通信量で効果的なデータ収集ができるシステム。
- 前記、運転環境判定システムにおいて、サーバ側に通信アップロードされたデータを追加分析することで運転環境判定論理を適宜更新学習でき、当該判定論理をリアルタイムにクライアント側にダウンロードすることを特徴とする自己学習・増殖できるシステム。
- 保存されたデータから通常の運転環境と違和感のある運転環境を切り分けて判定する論理として決定木を用いる請求項1および請求項6に記載の運転環境判定システム。
- 請求項1における各種センサデータに近距離通信機能を有する独立した情報機器から得られるデータを含み、クライアント装置側に近距離通信受信機能を有する運転環境判定システム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2017217997A JP2019091134A (ja) | 2017-11-13 | 2017-11-13 | 自立移動体運転環境判定システム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2017217997A JP2019091134A (ja) | 2017-11-13 | 2017-11-13 | 自立移動体運転環境判定システム |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2019091134A true JP2019091134A (ja) | 2019-06-13 |
Family
ID=66836414
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2017217997A Pending JP2019091134A (ja) | 2017-11-13 | 2017-11-13 | 自立移動体運転環境判定システム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2019091134A (ja) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20230093267A1 (en) * | 2020-02-03 | 2023-03-23 | Anagog Ltd. | Distributed Content Serving |
-
2017
- 2017-11-13 JP JP2017217997A patent/JP2019091134A/ja active Pending
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20230093267A1 (en) * | 2020-02-03 | 2023-03-23 | Anagog Ltd. | Distributed Content Serving |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN109571468B (zh) | 安防巡检机器人及安防巡检方法 | |
CN110046640B (zh) | 用于关联来自多个车辆的观察的分布式表示学习 | |
US10187611B2 (en) | Video surveillance system with aerial camera device | |
CN109131340A (zh) | 基于驾驶员行为的主动车辆性能调整 | |
CA2714603A1 (en) | Video sensor and alarm system and method with object and event classification | |
EP3564861B1 (en) | Vision-based sample-efficient reinforcement learning framework for autonomous driving | |
CN111301422B (zh) | 在用于车辆的自主驾驶的不同驾驶模式之间进行选择的系统和方法 | |
US12094252B2 (en) | Occlusion-aware prediction of human behavior | |
US10715941B2 (en) | Mobile and autonomous audio sensing and analytics system and method | |
CN113748389B (zh) | 用于监控工业过程步骤的方法和设备 | |
FR3076377B1 (fr) | Prediction de deplacement et de topologie pour un reseau de cameras. | |
JP2019091134A (ja) | 自立移動体運転環境判定システム | |
CN117953459A (zh) | 感知融合结果获取方法、可读存储介质及智能设备 | |
US20210103738A1 (en) | Autonomous system terminus assistance techniques | |
KR101788663B1 (ko) | 초음파 센서와 영상 센서의 데이터 통합처리 시스템 | |
KR102138006B1 (ko) | 보안 로봇 제어 방법 및 그 방법을 지원하는 장치 | |
KR102658563B1 (ko) | 영상 감시장치, 영상 분석 서버장치 및 그 학습 방법들 | |
CN107391450A (zh) | 一种基于gpb算法的运维多模态决策系统原型 | |
CN207070220U (zh) | 人工智能安防相机系统 | |
CN107332708A (zh) | 一种基于多核处理器的运维多模态决策感知系统 | |
KR102633147B1 (ko) | 에지-클라우드 플랫폼 시스템 | |
Rahimunnisa | Implementation of Distributed AI in an Autonomous Driving Application | |
Mattoccia et al. | Guest Editorial: Special Issue on Embedded Computer Vision | |
EP4354231A1 (en) | Systems and methods for implementing machine learning in a local apl edge device with power constraints | |
CN116888648A (zh) | 轻量的交通工具中的危急场景提取系统 |