JP2019530912A - 状況に基づく異常の監視のための方法およびシステム - Google Patents

状況に基づく異常の監視のための方法およびシステム Download PDF

Info

Publication number
JP2019530912A
JP2019530912A JP2018564916A JP2018564916A JP2019530912A JP 2019530912 A JP2019530912 A JP 2019530912A JP 2018564916 A JP2018564916 A JP 2018564916A JP 2018564916 A JP2018564916 A JP 2018564916A JP 2019530912 A JP2019530912 A JP 2019530912A
Authority
JP
Japan
Prior art keywords
computing device
sensor
output
processor
abnormal event
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2018564916A
Other languages
English (en)
Other versions
JP6895998B2 (ja
JP2019530912A5 (ja
Inventor
セイド・アリ・アハマドザデ
サウミトラ・モハン・ダス
ラジャルシ・グプタ
ゴヴィンダラジャン・クリシュナマーティ
Original Assignee
クアルコム，インコーポレイテッド
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by クアルコム，インコーポレイテッド filed Critical クアルコム，インコーポレイテッド
Publication of JP2019530912A publication Critical patent/JP2019530912A/ja
Publication of JP2019530912A5 publication Critical patent/JP2019530912A5/ja
Application granted granted Critical
Publication of JP6895998B2 publication Critical patent/JP6895998B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W4/00—Services specially adapted for wireless communication networks; Facilities therefor
    • H04W4/02—Services making use of location information
    • H04W4/023—Services making use of location information using mutual or relative location information between multiple location based services [LBS] targets or of distance thresholds
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W4/00—Services specially adapted for wireless communication networks; Facilities therefor
    • H04W4/30—Services specially adapted for particular environments, situations or purposes
    • H04W4/38—Services specially adapted for particular environments, situations or purposes for collecting sensor information
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/09—Arrangements for giving variable traffic instructions
    • G08G1/0962—Arrangements for giving variable traffic instructions having an indicator mounted inside the vehicle, e.g. giving voice messages
    • G08G1/0968—Systems involving transmission of navigation instructions to the vehicle
    • G08G1/096877—Systems involving transmission of navigation instructions to the vehicle where the input to the navigation device is provided by a suitable I/O arrangement
    • G08G1/096883—Systems involving transmission of navigation instructions to the vehicle where the input to the navigation device is provided by a suitable I/O arrangement where input information is obtained using a mobile device, e.g. a mobile phone, a PDA
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/12—Protocols specially adapted for proprietary or special-purpose networking environments, e.g. medical networks, sensor networks, networks in vehicles or remote metering networks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M1/00—Substation equipment, e.g. for use by subscribers
    • H04M1/72—Mobile telephones; Cordless telephones, i.e. devices for establishing wireless links to base stations without route selection
    • H04M1/724—User interfaces specially adapted for cordless or mobile telephones
    • H04M1/72448—User interfaces specially adapted for cordless or mobile telephones with means for adapting the functionality of the device according to specific conditions
    • H04M1/72454—User interfaces specially adapted for cordless or mobile telephones with means for adapting the functionality of the device according to specific conditions according to context-related or environment-related conditions
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M1/00—Substation equipment, e.g. for use by subscribers
    • H04M1/72—Mobile telephones; Cordless telephones, i.e. devices for establishing wireless links to base stations without route selection
    • H04M1/724—User interfaces specially adapted for cordless or mobile telephones
    • H04M1/72448—User interfaces specially adapted for cordless or mobile telephones with means for adapting the functionality of the device according to specific conditions
    • H04M1/72457—User interfaces specially adapted for cordless or mobile telephones with means for adapting the functionality of the device according to specific conditions according to geographic location
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W4/00—Services specially adapted for wireless communication networks; Facilities therefor
    • H04W4/06—Selective distribution of broadcast services, e.g. multimedia broadcast multicast service [MBMS]; Services to user groups; One-way selective calling services
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W4/00—Services specially adapted for wireless communication networks; Facilities therefor
    • H04W4/30—Services specially adapted for particular environments, situations or purposes
    • H04W4/40—Services specially adapted for particular environments, situations or purposes for vehicles, e.g. vehicle-to-pedestrians [V2P]
    • H04W4/48—Services specially adapted for particular environments, situations or purposes for vehicles, e.g. vehicle-to-pedestrians [V2P] for in-vehicle communication
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W4/00—Services specially adapted for wireless communication networks; Facilities therefor
    • H04W4/70—Services for machine-to-machine communication [M2M] or machine type communication [MTC]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W4/00—Services specially adapted for wireless communication networks; Facilities therefor
    • H04W4/80—Services using short range communication, e.g. near-field communication [NFC], radio-frequency identification [RFID] or low energy communication
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W4/00—Services specially adapted for wireless communication networks; Facilities therefor
    • H04W4/30—Services specially adapted for particular environments, situations or purposes
    • H04W4/40—Services specially adapted for particular environments, situations or purposes for vehicles, e.g. vehicle-to-pedestrians [V2P]
    • H04W4/44—Services specially adapted for particular environments, situations or purposes for vehicles, e.g. vehicle-to-pedestrians [V2P] for communication between vehicles and infrastructures, e.g. vehicle-to-cloud [V2C] or vehicle-to-home [V2H]

Landscapes

  • Engineering & Computer Science (AREA)
  • Signal Processing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Multimedia (AREA)
  • Remote Sensing (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Medical Informatics (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Environmental & Geological Engineering (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Traffic Control Systems (AREA)
  • Control Of Driving Devices And Active Controlling Of Vehicle (AREA)
  • Debugging And Monitoring (AREA)
  • Testing And Monitoring For Control Systems (AREA)

Abstract

様々な実施形態は、状況に基づくセンサ出力の相関を使用した異常監視のための方法と、その方法を実施するように構成されるコンピューティングデバイスとを含む。コンピューティングデバイスは、第1のセンサの出力を取得してもよく、第1のセンサの取得された出力に基づいて、異常が発生する可能性が高いと判定してもよい。コンピューティングデバイスは、異常が発生する可能性が高いことを示すメッセージを送信してもよく、受信側コンピューティングデバイスに受信側コンピューティングデバイスのセンサの出力のログ取得を開始させる。コンピューティングデバイスは、異常が発生したかどうかを判定してもよい。異常が発生した場合、コンピューティングデバイスは、センサ出力要求を送信してもよい。近くのコンピューティングデバイスは、このセンサ出力要求を受信してもよく、収集されたセンサデータを第1のコンピューティングデバイスに送信してもよい。第1のコンピューティングデバイスは、様々な受信側デバイスによって収集されたセンサ出力を受信してもよく、第1のセンサ出力を受信されたセンサ出力と相関付けてもよい。

Description

本発明は、状況に基づく異常の監視のための方法およびシステムに関する。
自動車はますます、インターネットおよび/または他のピアデバイスに接続されるコンピュータを活用するようになっている。自動車は、複合的な車載コンピューティングデバイス/センサ、ならびに遠隔のコンピューティングサービス(すなわち、「クラウド」サービス)を利用する場合がある。やがて、このような装備をもつ自動車は、最適な経路選択および車のための他の決定を行うために、位置情報、時刻、乗員情報、交通情報、道路品質情報などの状況情報をクラウドに報告する可能性がある。そのような自動車の使用者は、クラウドから自分の車に持ち込まれるリアルタイムの状況の影響を受けるデータに、より依存するようになるであろう。加えて、自動車のセンサ、ならびに自動車の乗員が携帯するスマートデバイス(たとえば、電話、タブレット、ウェアラブル)のセンサからの、より多くの情報源がクラウドベースのサービスにとって利用可能になるであろう。そのようなクラウドソーシングされた情報は、自動車の故障、自動車の事故、および違法なスマートデバイスの使用を特定して調査するのに有用でる場合がある。
様々な実施形態および実装形態は、コンピューティングデバイスによるセンサの状況に基づく監視の方法を含む。様々な実施形態は、第1のコンピューティングデバイスが、第1のセンサの出力を取得するステップと、第1のセンサの取得された出力に少なくとも部分的に基づいて、異常事象が発生する可能性が高いかどうかを判定するステップとを含んでもよい。様々な実施形態は、異常事象が発生する可能性が高いとの判定に応答して、受信側コンピューティングデバイスのセンサの出力を受信側コンピューティングデバイスにログ取得させるように構成されるメッセージを送信するステップをさらに含んでもよい。
いくつかの実施形態は、第1のコンピューティングデバイスが、異常事象が発生したかどうかを判定するステップと、異常事象が発生したとの判定に応答してセンサ出力要求を送信するステップと、第1のコンピューティングデバイスによって受信側コンピューティングデバイスからセンサ出力データを受信するステップとをさらに含んでもよい。いくつかの実施形態は、第1のコンピューティングデバイスが、第1のセンサの出力と、受信側コンピューティングデバイスから受信されたセンサ出力データとを相関付けるステップと、相関付けられたセンサ出力に基づいてインシデント報告を生成するステップとをさらに含んでもよい。いくつかの実施形態は、第1のコンピューティングデバイスが、生成されたインシデント報告を第1のコンピューティングデバイスからリモートサーバに送信するステップをさらに含んでもよい。いくつかの実施形態は、第1のコンピューティングデバイスが、生成されたインシデント報告を第1のコンピューティングデバイスのメモリに記憶するステップをさらに含んでもよい。いくつかの実施形態は、第1のコンピューティングデバイスが、生成されたインシデント報告を受信側コンピューティングデバイスに送信するステップをさらに含んでもよい。いくつかの実施形態は、第1のコンピューティングデバイスが、発生する可能性が高いと判定された異常事象に関連する情報を提供する可能性が高い1つまたは複数のタイプのセンサ出力を判定するステップをさらに含んでもよく、送信されるメッセージが、受信側コンピューティングデバイスによってログ取得されるべき1つまたは複数のタイプのセンサ出力を示す。
いくつかの実施形態では、送信されるメッセージは、近くのコンピューティングデバイスによる受信のためにブロードキャストされてもよい。いくつかの実施形態では、送信されるメッセージは、異常事象に関連するセンサデータを記録する可能性が高いものとして第1のコンピューティングデバイスによって判定されたコンピューティングデバイスに送信されてもよい。いくつかの実施形態では、第1のセンサの取得された出力に基づいて異常事象が発生する可能性が高いと判定するステップは、第1のセンサの出力を第1のコンピューティングデバイスによりトレーニングされた挙動モデルと比較するステップを含んでもよい。
様々な実施形態は、センサと、トランシーバと、メモリと、下で要約される方法の動作を実行するためのプロセッサ実行可能命令を用いて構成されるプロセッサとを含むコンピューティングデバイスを含む。いくつかの実施形態では、第1のコンピューティングデバイスは自動車内にあってもよい。様々な実施形態は、下で要約される方法の機能を実行するための手段を含むコンピューティングデバイスを含む。様々な実施形態は、コンピューティングデバイスのプロセッサに下で要約される方法の動作を実行させるように構成されるプロセッサ実行可能命令が記憶された、非一時的プロセッサ可読媒体を含む。
本明細書に組み込まれ、本明細書の一部を構成する添付の図面は、本発明の実施形態を示し、上記の一般的な説明および以下の発明を実施するための形態とともに、本発明の特徴を説明するのに役立つ。
様々な実施形態を実装するのに適した、例示的な車両ベースシステムのネットワーク構成要素を示す通信システムブロック図である。 様々な実施形態を実装するのに適した、車両制御システムの論理構成要素を示す構成要素ブロック図である。 ある実施形態による、状況に基づく異常検出のための方法を示すプロセスフロー図である。 ある実施形態による、異常を監視するのに使用されるセンサを追跡するための例示的なデータ構造を示す図である。 別の実施形態による、状況に基づくセンサのログ取得を使用して異常事象を検出し監視する方法を示すプロセスフロー図である。 様々な実施形態を実装するのに適した、サーバデバイスの構成要素ブロック図である。 いくつかの実施形態を実装するのに適した、通信デバイスの構成要素ブロック図である。
様々な実施形態が、添付の図面を参照して詳細に説明される。可能な場合はいつでも、同一のまたは同様の部分を指すために、図面全体を通して同一の参照番号が使用される。具体的な例および実装形態への言及は説明のためであり、本発明の範囲または特許請求の範囲を限定するものではない。
「通信デバイス」および「コンピューティングデバイス」という用語は、携帯電話、スマートフォン、パーソナルまたはモバイルマルチメディアプレーヤ、携帯情報端末(PDA)、ラップトップコンピュータ、タブレットコンピュータ、スマートブック、パームトップコンピュータ、ワイヤレス電子メールレシーバ、マルチメディアインターネット対応携帯電話、ワイヤレスゲームコントローラ、スマート家電、自動車、無人航空機(UAV)、スマート照明、スマート交通モニタ、スマート衣服、眼鏡および装身具などのスマートウェアラブルデバイス、ならびに、ワイヤレス通信経路を確立し、ワイヤレス通信経路を介してデータを送信/受信するためのプログラマブルプロセッサ、1つまたは複数のセンサ、および回路を含む同様の電子デバイスのいずれか1つまたはすべてを指すために本明細書において互換的に使用される。これらの様々な態様は、モバイル通信デバイス(たとえば、スマートカー、スマート家電、スマートウェアラブル、スマートフォン)などの通信デバイスにおいて有用である場合があるので、そのようなデバイスは様々な実施形態の説明において言及される。
モバイル通信デバイス(たとえば、スマートフォン、スマートカー、スマート衣服など)などの通信デバイスは、有線インターフェース技術(たとえば、Universe Serial Bus(USB)接続など)および/または無線インターフェース技術(無線アクセス技術としても知られる)(たとえば、第3世代(3G)、第4世代(4G)、Long Term Evolution(LTE)、Edge、Bluetooth(登録商標)、近距離無線通信、Wi-Fi、衛星など)などの様々なインターフェース技術を使用する場合がある。通信デバイスは、これらのインターフェース技術のうちの2つ以上を同じ時間に(たとえば、同時に)介して、インターネットなどのネットワークへの接続を確立してもよい。たとえば、モバイル通信デバイスは、インターネット接続されるWi-Fiアクセスポイントへのワイヤレスローカルエリアネットワーク(WLAN)ネットワーク接続(たとえば、Wi-Fiネットワーク接続)を確立できるのと同じ時間に、セルラータワーまたは基地局を介してインターネットへのLTEネットワーク接続を確立してもよい。同じ時間に2つの異なるネットワーク接続を通信デバイスが確立できることは、ネットワークアクセスパス内のネットワークアドレス変換器の数を決定することにより、有線およびワイヤレス通信デバイスがネットワークプロービングを行うための解決法を可能にする場合がある。
過去数年にわたって、日常の電子デバイスは、1つまたは複数の通信様式と、周辺環境を知覚して監視するための様々なセンサとを含めて、ますます「スマート」になってきている。スマートフォンは、マイクロフォンおよびカメラに加えて、加速度計、ジャイロスコープ、および気圧計を含む。スマートフィットネスウェアラブルデバイスは、心拍計、体温計、および他の生体センサを含む場合がある。そのようなセンサの出力は、ユーザの潜在的な健康問題を検出するために、スマートフィットネスウェアラブルデバイスまたはスマートフィットネスウェアラブルデバイスとワイヤレスに通信しているコンピューティングデバイスによって分析される場合がある。しかしながら、センサ出力を分析するときにそのようなスマートデバイスが利用可能なセンサ情報は、デバイス自体によって取得される情報だけに制限される場合がある。
一般の公衆の使用が可能な最も複雑なコンピューティングデバイスの1つは、現代の自動車である。自動車は、自動車の機能、特徴、および動作の多くを制御するための、プロセッサ、センサ、およびシステムオンチップ(SOC)を含む強力かつ複雑な電子機械システムへと変化してきた。今では、製造業者は、自動車の動作を自動化し、適応させ、または改良する、先進運転支援システム(ADAS)を自動車に装備している。たとえば、ADASは、潜在的な路上の危険を自動的に検出するために自動車のセンサ(たとえば、加速度計、レーダー、ライダー(lidar)、地理空間測位など)から収集された情報を使用し、検出された危険を避けるために自動車の動作のすべてまたは一部分(たとえば、ブレーキ、ステアリングなど)の制御を担うように構成される場合がある。ADASと一般的に関連付けられる特徴および機能には、アダプティブクルーズコントロール、自動車線検出、車線逸脱警告、自動ステアリング、自動ブレーキ、および自動事故回避がある。
現代の自動車は車両制御システムを装備する場合があり、車両制御システムは、自動車の動作のすべてまたは一部分を監視して自動化するために、自動車の様々な構成要素、システム、およびセンサ(集合的に「センサ」)からの情報を収集して使用するように構成されてもよい。車両制御システムはまた、自動車の動作をインテリジェントに監視または制御するのに適した情報を受信するために、近くのコンピューティングデバイス(たとえば、乗員のウェアラブルスマートデバイス、スマートフォン、スマート交通監視構造体、および歩行者のスマート衣服)と、またはクラウドネットワークの中のサーバコンピューティングデバイスと通信するように構成されてもよい。たとえば、車両制御システムは、運転手が職場とは違う方向に移動していると判定するために、全地球測位システム(GPS)システム、内部クロック、およびステアリングセンサからの情報を受信および使用して、検知された情報に基づいて矛盾を運転手に警告してもよい。車両制御システムはまた、システムの中の他の自動車の動作を制御する際の分析および使用のために、情報(車両情報、センサ情報など)を収集して他のコンピューティングデバイスまたはサーバコンピューティングデバイスに送信してもよい。
概して、様々な実施形態は、状況に基づくセンサ出力の相関を使用した異常監視のための方法と、その方法を実施するように構成されるコンピューティングデバイスとを含む。本方法は、第1のコンピューティングデバイス(たとえば、自動車、スマートウォッチ、スマート交通信号機、スマート家電など)において、第1のセンサ(すなわち、第1のコンピューティングデバイスに組み込まれている、または第1のコンピューティングデバイスと通信しているセンサ)の出力を取得するステップを含んでもよい。コンピューティングデバイスは、第1のセンサの取得された出力に基づいて、異常が発生する可能性が高いと判定してもよい。異常が発生する可能性が高いとの判定に応答して、コンピューティングデバイスは、受信側コンピューティングデバイスが受信側コンピューティングデバイスのセンサの出力をログ取得すべきである(たとえば、センサ出力要求に応答することに備えてログ取得を開始する、または進行中のログ取得の結果を記憶する)ことを示すブロードキャストメッセージを送信するために、トランシーバを使用してもよい。様々な実施形態において、コンピューティングデバイスは、異常が発生したかどうか(たとえば、車の事故が発生したかどうか、またはマイクロ波が過熱したかどうか)を判定してもよい。異常が発生したとの判定に応答して、コンピューティングデバイスは、センサ出力要求を送信するためにトランシーバを使用してもよい。近くのデバイスは、このセンサ出力要求を受信してもよく、収集されたセンサデータを第1のコンピューティングデバイスに送信してもよい。第1のコンピューティングデバイスは、様々な受信側デバイスによって収集されたセンサ出力を受信してもよく、いくつかの実施形態では、第1のセンサ出力を受信されたセンサ出力と相関付けてもよい。相関付けされたデータは、インシデント報告を産生するために第1のコンピューティングデバイスによって使用されてもよい。
様々な実施形態は、スマートカー、スマートフォン、ウェアラブルフィットネスモニタ、またはスマート家電などの第1のコンピューティングデバイスを含んでもよい。第1のコンピューティングデバイスは、他のコンピューティングデバイスによるセンサのログ取得を開始するために第1のコンピューティングデバイスに近接した他のコンピューティングデバイスにメッセージを送信するハブとして機能してもよい。明確な説明を与えるために、様々な実施形態は、第1のコンピューティングデバイスとしてスマート自動車を参照して論じられる場合がある。しかしながら、様々な実装形態および実施形態は、自動車内のスマートフォンなどのあらゆるコンピューティングデバイスに適用されてもよい。
様々な実施形態において、第1のコンピューティングデバイスは、1つまたは複数のセンサから出力を受信または取得するように構成されてもよく、自動車の挙動のパターンに対して取得されたセンサ出力を分析してもよい。たとえば、1つまたは複数のセンサの出力を分析することによって、第1のコンピューティングデバイスは、衝突などの特定の事象または異常が発生する可能性が高いと判定してもよい。それに応答して、第1のコンピューティングデバイスは、異常の性質を近くのコンピューティングデバイスに知らせる、かつ/または特定のセンサの出力をログ取得する(たとえば、今後のセンサ出力要求に応答することに備えてログ取得を開始する、または進行中のログ取得の結果を記憶する)ように近くのコンピューティングデバイスに要求する、一般的なブロードキャストメッセージを生成して近くのコンピューティングデバイスに送信してもよい。それに応答して、近くのコンピューティングデバイスは、異常事象の潜在的な発生に備えて、予見的にセンサ出力のログ取得を開始してもよい。代わりに、センサ出力要求に応答して、受信側コンピューティングデバイスは、第1のコンピューティングデバイスへの後の送信のために、すでに行われているログ取得の結果を準備してもよい。予想される事象が発生する場合、第1のコンピューティングデバイスは、ログ取得された(すなわち、メモリに記憶されている)あらゆるセンサ出力データを送信するように近くのコンピューティングデバイスに要求する第2のブロードキャストメッセージを送信してもよい。したがって、様々な実施形態は、異常事象に関連するデータの収集を事象の実際の発生の前に可能にする場合があり、事象を分析するのに使用するための様々なソースから異常事象についての関連データが利用可能になる。
自律的な自動車および準自律的な自動車の開発は、様々なコンピューティングデバイスの間での自律的な通信につながる場合がある。自動車は、ユーザとの対話なしで、様々なセンサをアクティブ化し、センサ出力を記録し、自動車の挙動を分析してもよい。自動車は、自動車の挙動についての外部情報を取得するために、様々なコンピューティングデバイスとさらに通信してもよい。したがって、近くのコンピューティングデバイスによって自動車に与えられる情報は、案内情報、環境情報、乗員もしくは近くの人/動物の情報、交通情報、またはこれらの組合せを含んでもよい。
サーバコンピューティングデバイスは、事象の後に他のコンピューティングデバイスから受信されたセンサ出力データを評価して相関付けてもよく、異常事象に関する関連データを含み要約するインシデント報告を生成してもよい。そのようなインシデント報告は、インシデントの性質および範囲に関して、法執行機関、保険査定人、および自動車製造業者に証拠を提供する際に有用である場合がある。たとえば、運転手が現在たどっている経路と異なる代替的なナビゲーション経路に従うように自動車に指示または勧告する前に、第1のコンピューティングデバイス(すなわち、自動車)は、乗員のコンピューティングデバイスからの情報を要求してもよい。要求された情報は、経路情報と相関付けられてもよく、異常な運転パターンが発生していた間に乗員が医学的な緊急事態にあったことを乗員のデバイスからのセンサ出力が示していたことを示す報告を生成するために使用されてもよい。
いくつかの実施形態では、第1のコンピューティングデバイスは、第1のコンピューティングデバイスが動作している状況を判定するために、第1のコンピューティングデバイスの1つまたは複数のセンサの出力を、トレーニングされた、プリインストールされた、またはダウンロードされた異常事象モデルと比較するように構成されてもよい。この比較の結果は、特定の異常事象が発生する可能性が高いか高くないかを示す状況情報であってもよい。
第1のコンピューティングデバイスは、ある特定の異常事象またはあるカテゴリの異常事象が発生する可能性が高いとの判定に応答して、ポーリングのためのセンサをインテリジェントに選択するように構成されてもよい。いくつかの実施形態では、第1のコンピューティングデバイスは、第1のコンピューティングデバイスに対して利用可能なセンサを特に考慮して、特定の予想される事象を分析する際に有用なデータを提供する場合があるセンサのタイプを選択してもよい。第1のコンピューティングデバイスは次いで、そのようなセンサからのデータの記録を開始するために、他の(たとえば、近くの)コンピューティングデバイスに対して選択されたタイプのセンサを特定してもよい。このようにして、様々な実施形態は、判定された異常事象の内容または状況、および第1のコンピューティングデバイスの1つまたは複数のセンサ(たとえば、GPSまたは自動車のステアリングセンサ)のセンサ出力に基づいて、他のコンピューティングデバイスのセンサからのデータの事象前のログ取得を可能にする。
いくつかの実施形態では、第1のコンピューティングデバイスは、様々な異常事象の記録(またはログ)と、そのようなデバイスに最も関連のあるセンサ出力のタイプまたはカテゴリとを保持してもよい。たとえば、第1のコンピューティングデバイスは、衝突の前および後の歩行者の医学的状態、衝突の位置、および衝突の場所における交通状態についての報告を自動車が生成できるように、生体センサ、カメラ、交通情報、および位置情報と歩行者が関与する自動車事故を関連付ける記録を記憶してもよい。この情報の一部は、歩行者のスマートウェアラブルコンピューティングデバイスから取得されてもよいが、カメラのフィードバックなどの他の情報は、交通カメラ、他の自動車などから取得されてもよい。したがって、第1のコンピューティングデバイスは、出力のログ取得が要求されるセンサのタイプについての具体的な知識を有する場合がある。これは、特定のタイプの異常事象に関連する具体的な情報の標的を絞ったログ取得を可能にする場合があるので、すべての網羅的な記録手順と比べて大幅な電力およびリソースの節約になる場合がある。
第1のコンピューティングデバイスは、予想される(すなわち、可能性の高い)異常事象の発生を監視する際に使用するのに適したセンサ情報を受信するために、近くのコンピューティングデバイスの選択されたセンサからポーリングする(すなわち、センサ出力を要求する)ように構成されてもよい。第1のコンピューティングデバイスは、ユニキャスト、マルチキャスト、ブロードキャスト、データキャスティング、ピア送信、ビジーウェイトポーリング、ハブポーリング、サイクルポーリング、定期的なポーリング、または当技術分野で知られている、もしくは今後企図される任意のポーリング技法もしくはブロードキャスト技法を介して、選択されたセンサにポーリングしてもよい。
いくつかの実施形態では、第1のコンピューティングデバイスは、近くのコンピューティングデバイスにブロードキャストメッセージをブロードキャストまたは送信することによって選択されたセンサにポーリングしてもよい。ブロードキャストメッセージは、受信側コンピューティングデバイスに、1つまたは複数のセンサが非アクティブである場合に1つまたは複数のセンサをアクティブ化させ、センサ出力情報を収集させ、記憶させ、またはそうでなければログ取得させるのに適した情報を含んでもよい。
潜在的な異常事象が実際に発生する場合、第1のコンピューティングデバイスは、記録されたセンサ出力データの送信を要求する第2のメッセージを近くのコンピューティングデバイスへ送信し、送信し、またはブロードキャストしてもよい。それに応答して、受信側コンピューティングデバイスは、収集されたセンサ出力情報を第1のコンピューティングデバイスに送信してもよい。「ブロードキャスト」という語は、本明細書において、メッセージ/データ(ファイル、情報パケットなど)が多数の受信デバイスによって同時に受信され得るようなメッセージまたはデータの送信を意味するために使用され、マルチキャストを含む。
第1のコンピューティングデバイスは、受信されたセンサ出力データを第1のコンピューティングデバイスのセンサからのセンサ出力と相関付け、比較してもよい。たとえば、第1のコンピューティングデバイスは、異常事象の発生を分析するために機械学習技法を使用し、異常事象がいつ発生しそうであるか、ならびに事象の性質および範囲を予測するために使用され得る前兆状態または事象についての判定を行ってもよい。第1のコンピューティングデバイスは、相関付けおよび比較の結果を記憶してもよく、インシデント報告の形で結果をリモートサーバまたは他のコンピューティングデバイスに送信してもよい。インシデント報告および収集されたデータは、今後の異常事象の検出の改善を可能にするために、異常事象モデルをトレーニングするために使用されてもよい。
様々な実装形態および実施形態は、近くのデバイス(車両センサ、自動車の中のスマートフォン、他の自動車など)からの状況データおよびクラウドソーシングされたデータに基づいて、報告側の自動車によって報告されるデータの中の異常を検出してもよい。様々な実装形態および実施形態は、第1のコンピューティングデバイスが第1のコンピューティングデバイスの複数のセンサから状況情報を収集することを含んでもよい。第1のコンピューティングデバイスは、潜在的な異常事象を認識するために、状況についてのデータを分析してもよい。第1のコンピューティングデバイスは、潜在的な異常事象を検出したことに応答して、近くのコンピューティングデバイスのセンサによるログ取得を開始してもよい。第1のコンピューティングデバイスは、複数のコンピューティングデバイスによるセンサのログ取得から収集されたセンサ出力を合成し、異常を検出するために合成されたセンサ出力データを分析してもよい。第1のコンピューティングデバイスは、センサ出力データ(たとえば、リアルタイムの、記録された)および/またはセンサ報告を要求するメッセージを特定されたデバイスに送信してもよい。様々な実装形態および実施形態はまた、異常事象の検出があると、合成されたセンサ出力データをリモートサーバまたは第1のレスポンダーシステムに送信してもよい。
様々な実施形態は、図1Aに示される例示的な車両ベースのシステム100などの様々な通信システム内で実装されてもよい。例示的な携帯電話ネットワーク104は、ネットワーク運用センター108に結合される複数のセル基地局106を含む。ネットワーク運用センター108は、モバイルデバイス102(たとえば、携帯電話、ラップトップ、タブレットなど)と、道路センサ116と、自動車118と、他のネットワーク宛先との間での音声呼およびデータを陸上の電話回線(たとえば、図示されていない一般電話システム(POTS)ネットワーク)およびインターネット110などを介して接続するように動作する。電話ネットワーク104はまた、インターネット110への接続を提供する、ネットワーク運用センター108に結合されるかまたはネットワーク運用センター108内にある、1つまたは複数のサーバ114を含んでもよい。
自動車118は、自動車の様々なセンサからのセンサ情報を監視して収集するのに適したハードウェアおよび/またはソフトウェア構成要素を含んでもよい。監視される場合がある自動車センサの例には、自動車の速度計、ホイール速度センサ、トルクメーター、タービン速度センサ、可変リラクタンスセンサ、ソナーシステム、レーダーシステム、空燃比メーター、燃料内水分センサ、酸素センサ、クランクシャフトポジションセンサ、カーブフィーラー(curb feeler)、温度センサ、ホール効果センサ、マニホールド絶対圧力センサ、流体センサ(たとえば、エンジン冷却液センサ、トランスミッション液センサなど)、タイヤ圧監視センサ、マスエアフローセンサ、速度センサ、スロットルポジションセンサ、ブラインドスポットモニタリングセンサ、駐車センサ、スピーカー、カメラ、マイクロフォン、加速度計、コンパス、GPSレシーバ、および自動車の中と周囲の物理的または環境的な状態を監視するための他のセンサがある。
自動車118は、ネットワークサーバ120と通信するための通信回路を含むことがあり、ネットワークサーバ120は、クラウドサービスプロバイダネットワーク122のネットワークインフラストラクチャ内でサーバとして実装され、インターネット110および電話ネットワーク104に接続されてもよい。自動車118はまた、GPSもしくは別のナビゲーションシステムなどの1つまたは複数の衛星もしくは宇宙ベースのシステム124と、または既知の位置のアクセス点への/からの信号のラウンドトリップタイム(RTT)を使用するシステムなどの地上ベースの測位システムと通信するための通信回路を含んでもよい。
ネットワークサーバ120と、道路センサ116と、自動車118との間の通信は、電話ネットワーク104、インターネット110、クラウドサービスプロバイダネットワーク122、プライベートネットワーク(図示されず)、またはそれらの任意の組合せを通じて達成されてもよい。自動車118と電話ネットワーク104との間の通信は、セルラー電話通信技術およびWiFiなどの双方向の広域ワイヤレス通信リンク112を介して達成されてもよい。
いくつかの異なるセルラー通信およびモバイル通信のサービスおよび規格が利用可能であり、または将来考えられ、それらのすべてが様々な実施形態の通信に使用されてもよい。そのようなサービスおよび規格は、たとえば第3世代パートナーシッププロジェクト(3GPP)、long term evolution(LTE)システム、第3世代ワイヤレスモバイル通信技術(3G)、第4世代ワイヤレスモバイル通信技術(4G)、global system for mobile communications(GSM(登録商標))、universal mobile telecommunications system(UMTS)、3GSM、general packet radio service (GPRS)、符号分割多元接続(CDMA)システム(たとえば、cdmaOne、CDMA1020(商標))、enhanced data rates for GSM(登録商標) evolution(EDGE)、advanced mobile phone system(AMPS)、デジタルAMPS(IS-136/TDMA)、evolution-data optimized(EV-DO)、digital enhanced cordless telecommunications(DECT)、Worldwide Interoperability for Microwave Access(WiMAX)、ワイヤレスローカルエリアネットワーク(WLAN)、Wi-Fi Protected Access I & II(WPA、WPA2)、およびintegrated digital enhanced network(iden)を含む。これらの技術の各々は、たとえば音声、データ、シグナリング、および/またはコンテンツメッセージの送信および受信を伴う。
ネットワークサーバ120は、自動車118からデータおよびインシデント報告を受信してもよく、異常事象モデルを更新するためにこの情報を使用し、最近の異常事象について当局に知らせ、または後で要求される場合がある証拠としてインシデント報告を保持してもよい。各自動車118は、車両制御システムによって制御される先進運転支援システム(ADAS)を含む場合がある。車両制御システムは、ADASシステムが自動車の普通の動作(たとえば、ブレーキ、ステアリングなど)を変更したことを示す、したがって潜在的な異常事象が発生している可能性があることを示すセンサ出力を受信する場合がある。車両制御システムは、検出された潜在的な異常に関するセンサ情報を収集するために様々なセンサ(たとえば、加速度計、レーダー、ライダー、GPSレシーバ、路面センサなど)をアクティブ化するように構成されてもよい。加えて、車両制御システムは、定期的に、オンデマンドで、継続的に、繰り返し、トリガに応答して、事象の発生を検出したことに応答してなど、周囲の自動車およびコンピューティングデバイスからセンサ情報を収集するように構成されてもよい。
道路センサ116は、センサ出力要求を受信すると、ある状態または事象(たとえば、自動車の速度の急激な変化など)を検出したことに応答して、定期的になど、センサ情報を収集して自動車118に送信するように構成されてもよい。自動車118は、道路センサ116から受信された情報をネットワークサーバ120に報告し、かつ/または、より良い、もしくはより多くの情報に基づく判断を行うために、受信された情報を使用してもよい。ネットワークサーバ120はまた、他の道路センサ116または自動車118から受信されたインシデント報告などの、他のセンサから受信された情報を裏付けるために、道路センサ116(たとえば、センサ情報)から受信された情報を使用してもよい。
図1Bは、様々な実施形態による、車両制御システム130と、サーバコンピューティングデバイス(たとえば、ネットワークサーバ120)と対話するのに適した様々なセンサとを含む例示的な自動車118の構成要素ブロック図である。自動車システムは、環境システム132(たとえば、空調システム)、ナビゲーションシステム134、「インフォテインメント」システム136として実装される場合がある音声および通信能力、エンジン制御システム138、トランスミッション制御システム142、および様々なセンサ144などの様々な自動車システムおよびサブシステムに結合される車両制御システム130を含んでもよい。エンジン制御システム138は、1つまたは複数のペダルセンサ140に結合されてもよい。車両制御システム130は、インフォテインメントシステム136を使用して、サーバコンピューティングデバイスおよびウェアラブルコンピューティングデバイス160などの1つまたは複数の近くのコンピューティングデバイスと通信してもよい。インフォテインメントシステム136は、様々なワイヤレスネットワークを介してデータを送信および受信し、ならびにワイヤレスブロードキャストを受信するために、アンテナ154に結合されてもよい。車両制御システム130およびインフォテインメントシステム136は、自動車内で音声を生成するためにスピーカー152に結合されてもよい。ナビゲーションシステム134は、自動車の状態/制御とナビゲーションの情報(たとえば、地図)とを表示するために、ディスプレイ150に結合されてもよい。各自動車システムおよびセンサ130〜144は、有線通信リンク(たとえば、コントローラエリアネットワーク(CAN)プロトコル準拠バス、Universal Serial Bus (USB)接続、Firewire接続など)、および/またはワイヤレス通信リンク(たとえば、Wi-Fi(登録商標)リンク、Bluetooth(登録商標)リンク、ZigBee(登録商標)リンク、ANT+(登録商標)リンクなど)を含む場合がある、1つまたは複数の通信リンクを介して、1つまたは複数の他のシステムと通信してもよい。
車両制御システム130に結合される様々なセンサ144は、自動車の速度計、ホイール速度センサ、トルクメーター、タービン速度センサ、可変リラクタンスセンサ、ソナーシステム、レーダーシステム、空燃比メーター、燃料内水分センサ、酸素センサ、クランクシャフトポジションセンサ、カーブフィーラー、温度センサ、ホール効果センサ、マニホールド絶対圧力センサ、様々な流体センサ(たとえば、エンジン冷却液センサ、トランスミッション流体センサなど)、タイヤ圧監視センサ、マスエアフローセンサ、速度センサ、ブラインドスポットモニタリングセンサ、パーキングセンサ、カメラ、マイクロフォン、加速度計、コンパス、GPSレシーバ、および自動車の中と周囲の物理的または環境的な状態を監視するための他の同様のセンサのうちのいずれかを含んでもよい。
上述のシステムは例として提示されたにすぎず、自動車は、明快にするために図示されていない1つまたは複数の追加のシステムを含んでもよい。追加のシステムは、計装機器、エアバッグ、クルーズコントロール、他のエンジンシステム、横滑り防止装置、駐車システム、タイヤ圧監視、アンチロックブレーキ、アクティブサスペンション、バッテリーレベルおよび/または管理、ならびに様々な他のシステムを含む車両システムの追加の機能に関連するシステムを含んでもよい。
図2は、様々な実装形態および実施形態による、異常監視を実行するための状況に基づくアドホックなセンサのアクティブ化の方法200を示す。図1A〜図2を参照すると、方法200は、コンピューティングデバイス(たとえば、図1A〜図1Bを参照して説明された自動車118)のハードウェアおよびソフトウェア(たとえば、インフォテインメントシステム136および車両制御システム130)を用いて実施されてもよい。たとえば、方法200は、第1のコンピューティングデバイス(たとえば、自動車118)、1つまたは複数の受信側コンピューティングデバイス202、204、およびオプションでリモートサーバ120によって行われてもよい。
自動車118(または他のコンピューティングデバイス)の普通の動作の間、車両内のコンピューティングデバイスは、継続的に、トリガ事象が起きると、要求があると、または定期的に、様々なセンサ(たとえば、センサ144およびウェアラブルコンピューティングデバイス160などの乗員のコンピューティングデバイスのセンサ)を監視してもよい。コンピューティングデバイスは、自動車の動作および/または乗員の状態に関する情報を取得して分析してもよい。収集されたセンサ情報の分析が、普通ではない、または異常な事象が発生する可能性が高いことを示す場合がある。たとえば、ステアリングセンサは、運転手が蛇行パターンで車を操舵していることを示す出力情報を産生する場合がある。自動車118のコンピューティングデバイスは、センサ出力を分析し、移動の方向が普通ではないと判定してもよい。
潜在的な異常事象が発生する可能性が高いというコンピューティングデバイスによる判定は、収集された自動車センサ(たとえば、センサ144)または乗員のデバイスのセンサの出力を1つまたは複数の異常分類モデルと比較することに基づいてもよい。異常分類モデルは、コンピューティングデバイスのメモリにあらかじめロードされていてもよく、自動車118の動作の間にトレーニングされてもよく、必要に応じてコンピューティングデバイスのメモリにダウンロードもしくはそうでなければインストールされてもよく、またはこれらの任意の組合せであってもよい。いくつかの実装形態では、異常分類モデルは要素のベクトルとして表されてもよく、各要素はセンサ出力の特徴を表す。上の例では、普通ではないステアリングの分類モデルは、車が所与の期間に移動した移動の1つまたは複数の方向における距離を示す要素を含んでもよい。さらなる例では、異常分類モデルは、所与の期間におけるステアリングホイールの回転の角度を表す要素を含んでもよい。したがって、自動車118のコンピューティングデバイスは、ステアリングホイールセンサの出力を取得し、その出力を普通ではないステアリングの異常分類モデルと比較し、短い期間にある方向への鋭い急激な転回が発生したと判定する場合があり、事故、衝突、または同様のインシデントが発生しそうな確率が高いと結論付ける場合がある。
様々な実装形態において、自動車118のコンピューティングデバイスは、自動車118の通常の動作に従って、異常分類モデルをトレーニングしてもよい。経時的なモデルのトレーニングは、異常事象の誤検出の数を減らす場合がある。たとえば、ラリーカーの運転手はレースの間ずっと鋭い転回を行う場合があり、朝の通勤中の運転手が行う可能性があるようにブレーキをかけるのではなく転回に向かって加速する場合がある。自動車118のコンピューティングデバイスは、鋭い転回が検出された後に事故が発生していないことを観測する場合があり、関連する分類モデルを修正する場合がある。結果として、関連する普通ではないステアリングの異常分類モデルに対して比較されるステアリングホイールのセンサ出力の比較は、事故が発生する可能性が高いことを示す結果をもはや生み出さない場合がある。
様々な実装形態において、自動車118は、アンテナに結合されるトランシーバ(たとえば、インフォテインメントシステム136のトランシーバ)を介して、修正された分類モデルまたは新しく開発/トレーニングされた分類モデルをリモートサーバ120などのクラウドストレージに送信してもよい。クラウドストレージに記憶されるトレーニングされたモデルは、他の自動車によるダウンロードが可能であってもよく、オプションで自動的にインストールされてもよい。このようにして、異常分類モデルは、より精細な異常分類モデルの利益を得るために各々の個々の運転手があらゆる運転体験をすることを必要とすることなく、継続的にトレーニングされ改善される場合がある。
動作210において、自動車118は、タイヤ横滑りセンサなどの第1のセンサの出力を適切な異常分類モデルと比較してもよく、潜在的な異常が発生する可能性が高い(すなわち、センサの出力が非標準的なまたは普通ではない動作/挙動を示す)と判定してもよい。普通ではないセンサ出力の例は、自動車または周囲環境の中から来る大きな音もしくは高い音、車両の振動、過剰なブレーキの適用、鋭い転回、または自動車118と通信している乗員のウェアラブルコンピューティングデバイス(たとえば、ウェアラブルコンピューティングデバイス160)により示される心拍数の上昇を含んでもよい。
自動車118のコンピューティングデバイスは、1つまたは複数の異常分類モデルとのセンサ出力の比較に基づいて、異常事象の性質を判定してもよい。比較の結果は、単一の異常事象が発生している可能性があると判定することに限定されない。コンピューティングデバイスは、複数のタイプの異常が発生している可能性があると判定してもよい。たとえば、ブレーキの急激な適用は、複数の異常分類モデルと比較されたときに、道路に障害物がある可能性があること、車が滑りやすい道路でスリップした可能性があること、運転手が健康上の緊急事態にある可能性があることなどを示すブレーキセンサ出力を産生してもよい。コンピューティングデバイスは、どの異常事象が当てはまるかを判定してもよい。
1つまたは複数の異常事象が発生しているとの判定に応答して、コンピューティングデバイスは、その出力がその特定のタイプの潜在的な異常事象に関連があるセンサを選択してもよい。コンピューティングデバイスは、潜在的な異常事象に関連があるものとして判定されたあらゆる車載センサによるログ取得を開始してもよい(ログ取得がまだ行われていない場合)。コンピューティングデバイスは、インフォテインメントシステム136のトランシーバなどによってあらゆる近くのコンピューティングデバイス(たとえば、乗員のスマートフォン、歩行者のスマートフォン、スマート交通信号、道路センサ、他の自動車)にブロードキャストメッセージを送信してもよい。図3を参照してより詳細に論じられるように、ブロードキャストメッセージは、出力ログ取得が要求されるセンサの性質を示す場合があり、オプションで予想される異常事象の性質を含む場合がある。ブロードキャストメッセージは、受信側コンピューティングデバイス202、204を受信することによって受信されてもよい。
様々な実装形態において、受信側コンピューティングデバイス1 202は、ブロードキャストメッセージを受信し、デバイスが要求されたセンサを保有するかどうか、およびそれらのセンサが利用可能であるかどうかを判定してもよい。動作220において、受信側コンピューティングデバイスは、ブロードキャストメッセージ要求において言及されるあらゆる利用可能なセンサによる出力をログ取得してもよい。したがって、受信側コンピューティングデバイスは、要求されたセンサデータのログ取得を開始してもよく、または関連するセンサ出力がすでにログ取得されている場合、要求側コンピューティングデバイスへの後の送信に備えてセンサデータを記憶してもよい。たとえば、マイクロフォン、カメラ、およびGPS情報がログ取得されるべきであることをブロードキャストメッセージが示す場合、受信側コンピューティングデバイス1 202は、内蔵マイクロフォンをアクティブ化して記録を開始し、すでにアクティブなGPS位置センサによるログ取得を開始し、デバイスにカメラがないのでカメラ出力に対する要求を無視してもよい。同様に、別の受信側コンピューティングデバイス2 204は、ブロードキャストメッセージ要求を受信する場合があるが、要求された出力を産生するために必要なセンサを有しないこと、またはセンサがより重要な活動にそうでなければ関与していることのいずれかを判定する場合がある。したがって、受信側コンピューティングデバイス2 204は、ブロードキャスト要求メッセージを無視してもよく、センサ出力をログ取得しなくてもよい。
動作212において、自動車118のコンピューティングデバイスは、異常事象が実際に発生した(たとえば、ブレーキをかけた自動車が実際に氷の上を滑り道路から外れた)と判定してもよい。事象の実際の発生は、事象の予測が発生したのとほとんど同じ方式で判定されてもよい。コンピューティングデバイスは、実際のイベントの発生の性質および範囲を評価するために、分類モデル、センサ出力、または機械学習技法を使用してもよい。コンピューティングデバイスは次いで、センサ出力要求を近くのコンピューティングデバイスに送信してもよい。このセンサ出力要求は、特定の通信接続情報を含んでもよく、ブロードキャストメッセージの要求に適合したあらゆる近くの受信側コンピューティングデバイスからのセンサ出力ログを要求してもよい。
ブロードキャストメッセージのように、センサ出力メッセージは、あらゆる近くの受信側コンピューティングデバイスによって受信されてもよい。受信側コンピューティングデバイス2 204は、アクティブなセンサのログ取得に参加しなかったので、このメッセージを無視してもよい。逆に、受信側コンピューティングデバイス1 202は、自動車118のインフォテインメントシステム136とペアリングすることを試みることによってセンサ出力要求に応答してもよい。ペアリングされると、受信側コンピューティングデバイス1 202は、ログ取得されたセンサ出力を自動車のコンピューティングデバイス(たとえば、マイクロフォンおよびGPS位置情報)を送信してもよい。デバイスがすでにペアリングされている場合、または第1のコンピューティングデバイスと受信側コンピューティングデバイス1 202の両方が同じWLANを介して接続されているときなどの直接のペアリングが必要ではない場合、受信側コンピューティングデバイス1 202は、ペアリングをスキップしてもよく、自動車のコンピューティングデバイスへの共有されるネットワーク接続を介してログ取得されたセンサ出力を送信してもよい。
いくつかの実装形態では、自動車118のコンピューティングデバイスは、異常事象の実際の発生に基づいて、最初に要求されたセンサ出力の中に必要ではないものがあること、または異なるセンサ出力がインシデント分析に有用であることを判定してもよい。これは、たとえば自動車118のコンピューティングデバイスが最初に、複数の異常事象が発生する可能性があると判定したが、1つの異常事象しか実際には発生していない場合に行われてもよい。したがって、最初のブロードキャストメッセージは、複数の潜在的な異常事象に関連するセンサ出力のログ取得を要求した可能性があるが、コンピューティングデバイスによって送信されるその後のセンサ出力要求は、最初に要求されたセンサ出力の部分集合だけを含む場合がある。実際に発生した異常事象の性質および範囲が予測された事象と異なるときなどの追加のセンサ出力が要求される場合、受信側コンピューティングデバイス1 202は、可能であればそのような出力を送信し、または追加の要求を無視してもよい。
動作214において、自動車118のコンピューティングデバイスは、多様なコンピューティングデバイス(たとえば、受信側コンピューティングデバイス1 202)からセンサ出力を受信してもよい。コンピューティングデバイスは、これらのセンサ出力を自身のログ取得されたセンサ出力と相関付けてもよく、インシデント報告を生成してもよい。インシデント報告はオプションで、センサ出力のタイプによってデータをグループ化してもよく、位置、時間、観測場所、または他の基準によって相関付けてもよい。このようにして、自動車のコンピューティングデバイスは、インシデントがどのように知覚され複数のデバイスによって複数の視点から記録されたかの報告を構築してもよい。そのようなインシデント報告は、近接したコンピューティングデバイスのすべてのセンサ出力の網羅的な分析を必要とすることなく、インシデントに関わる事実の高度に詳細な概要をもたらす場合がある。したがって、方法200は、事象の発生を監視してログ取得するために、特定の異常事象の発生の予測において、リソース効率の高い動的なセンサのログ取得を可能にしてもよい。
図3は、様々な実装形態および実施形態による、異常事象とセンサの関連付けを保持するためのデータ構造300を示す。図1A〜図3を参照すると、データ構造300は、コンピューティングデバイス(たとえば、図1A〜図1Bを参照して説明された自動車118の中のコンピューティングデバイス)のハードウェアおよびソフトウェア(たとえば、車両制御システム130)を用いて実装されてもよい。たとえば、データ構造300は、自動車118の車両制御システム130または他の第1のコンピューティングデバイスに結合される揮発性メモリまたは非揮発性メモリに保持されてもよい。
様々な実装形態において、第1のコンピューティングデバイス(たとえば、自動車118のコンピューティングデバイス)は、関連するセンサ情報への異なるタイプまたはカテゴリの異常事象の関連付けを含むデータ構造を保持してもよい。データ構造300において、データベースまたは他の組織的なデータ構造は、事象記述302、事象識別子304、および関連するセンサ出力306のエントリを含んでもよい。第1のコンピューティングデバイスは、そこからの出力が異常事象を監視することに関連するセンサを選択するために、1つまたは複数の潜在的な異常事象が発生する可能性が高いと判定した後、データ構造300を利用してもよい。第1のコンピューティングデバイスは、近くのコンピューティングデバイスに送信されるブロードキャストメッセージにこれらのセンサの一覧を含めてもよい。たとえば、医学的な緊急事態と自動車の衝突の両方が発生する可能性が高いと第1のコンピューティングデバイスが判定する場合、第1のコンピューティングデバイス(たとえば、自動車118)は、GPS情報、衝撃センサ、カメラ、生体センサの一覧を含むブロードキャストメッセージを生成する際に、データ構造300のエントリを利用してもよい。
様々な実装形態において、第1のコンピューティングデバイスは、センサ出力要求を生成する前に、データ構造300に再びアクセスしてもよい。第1のコンピューティングデバイスは、データ構造300に基づいて、実際に発生した異常事象に関連がある可能性が高いセンサ出力を判定してもよい。第1のコンピューティングデバイスは、これらのセンサを発生と関連付けられるブロードキャストメッセージにおいて提供されるセンサの一覧と比較してもよい。関連するセンサの一覧が異なる場合、第1のコンピューティングデバイスは、そこからの出力が、実際に発生した異常事象に関連がある可能性が高いセンサをセンサ出力要求に含めてもよい。
様々な実装形態において、第1のコンピューティングデバイスは、ブロードキャストメッセージまたはセンサ出力メッセージに事象記述子および/または事象識別子を含めてもよい。これは、より詳細なまたは追加のセンサデータの収集を可能にする追加の情報を受信側コンピューティングデバイスに提供してもよい。
様々な実装形態において、第1のコンピューティングデバイスは、異常分類モデルがトレーニングされるにつれて、またはセンサがデバイスに追加されるか、もしくはデバイスから除去されるにつれて、関連するセンサ情報の変化を反映するようにデータ構造300を更新してもよい。
図4は、様々な実装形態および実施形態による、異常監視を予見的に実行するための状況に基づくアドホックなセンサのアクティブ化の方法400を示す。図1A〜図4を参照すると、方法400は、コンピューティングデバイス(たとえば、図1A〜図1Bを参照して説明された自動車118)のハードウェアおよびソフトウェア(たとえば、インフォテインメントシステム136および車両制御システム130)を用いて実施されてもよい。たとえば、方法200は、第1のコンピューティングデバイス(たとえば、自動車118のコンピューティングデバイス)、1つまたは複数の受信側コンピューティングデバイス202、204、およびオプションでリモートサーバ120によって行われてもよい。
ブロック402において、第1のコンピューティングデバイスは第1のセンサの出力を取得してもよい。第1のセンサの出力は、デバイス動作の普通の過程の間に収集されてもよく、または事象に応答して要求されてもよい。第1のセンサは、第1のコンピューティングデバイスへと組み込まれてもよく、または第1のコンピューティングデバイスと通信しているコンピューティングデバイス(たとえば、ウェアラブルコンピューティングデバイス160)と関連付けられてもよい。
判定ブロック404において、第1のコンピューティングデバイスは、第1のセンサの出力に基づいて、異常事象が発生する可能性が高いかどうかを判定してもよい。図2を参照して論じられるように、第1のコンピューティングデバイスは、出力が普通のデバイス動作および/またはユーザ挙動と矛盾がないかどうかを判定するために、第1のセンサの出力を1つまたは複数の異常分類モデルと比較してもよい。第1のコンピューティングデバイスは、事象が発生する可能性が高くないこと、単一の事象が発生する可能性が高いこと、または複数の事象が発生する可能性が高いことを判定してもよい。
異常事象が発生する可能性が高くないとの判定に応答して(すなわち、ブロック404="No")、第1のコンピューティングデバイスは、ブロック402において、第1のセンサ(ならびに他のセンサ)の出力を監視し続けてもよい。
異常事象が発生する可能性が高いとの判定に応答して(すなわち、ブロック404="Yes")、第1のコンピューティングデバイスは、ブロック406においてブロードキャストメッセージを近くのコンピューティングデバイス(たとえば、受信側コンピューティングデバイス202、204)に送信してもよい。ブロードキャストメッセージは、どのような特定の受信デバイスにも向けられない、一般的なブロードキャストまたはプッシュメッセージであってもよい。メッセージは、ブロック404において検出される異常事象のタイプに基づいて、第1のコンピューティングデバイスが収集することを望む、センサ出力のタイプに関する情報を含んでもよい。第1のコンピューティングデバイスはまた、固有の追加のセンサをアクティブ化し、かつ/またはすでにアクティブである追加のセンサのログ取得を開始してもよい。いくつかの実施形態では、ブロードキャスト要求は、潜在的な異常事象に関連するセンサ出力データを記録する可能性が高い、測定する可能性が高い、利用可能なそのようなデータを有する可能性が高い、またはそのようなデータを提供できる可能性が高いものと第1のコンピューティングデバイスによって判定される近くのコンピューティングデバイスに送信されてもよい。
判定ブロック408において、第1のコンピューティングデバイスは、異常事象が実際に発生したかどうかを判定してもよい。これは、加速度計、マイクロフォン、エアバッグイニシエータなどの予期される事象に特徴的なデータを産生するものと判定される選択されたセンサを監視することによって達成されてもよい。
異常事象が発生しなかったとの判定に応答して(すなわち、ブロック408="No")、第1のコンピューティングデバイスは、ブロック402において、第1のセンサ(ならびに他のセンサ)の出力を監視し続けてもよい。
異常事象が発生したとの判定に応答して、異常事象が予測される異常事象のいずれかと一致するかどうかとは無関係に(すなわち、ブロック408="Yes")、第1のコンピューティングデバイスは、ブロック410においてセンサ出力要求を近くのコンピューティングデバイス(たとえば、受信側コンピューティングデバイス202、204)に送信してもよい。センサ出力要求メッセージは、収集されたセンサ出力情報を受信側デバイスが第1のコンピューティングデバイスに送信できるようにするために、第1のコンピューティングデバイスと関連付けられる通信情報を提供してもよい。様々な実施形態では、センサ出力要求は、潜在的な異常事象に関連するセンサ出力データを記録する、測定する、利用可能なそのようなデータを有する、またはそのようなデータを提供することが可能であるものとして第1のコンピューティングデバイスによって判定される近くのコンピューティングデバイスに送信されてもよい。
ブロック412において、第1のコンピューティングデバイスは、近くのコンピューティングデバイスからセンサ出力を受信し、ブロック414において、受信されたセンサ出力データを第1のコンピューティングデバイスの固有の収集されたセンサ出力と相関付け、比較し、裏付け、そうでなければ分析してもよい。
ブロック416において、第1のコンピューティングデバイスは、第1のコンピューティングデバイスの固有のセンサのセンサ出力との受信されたセンサ出力の相関付けの結果を要約する、分類する、またはそうでなければ一覧にするインシデント報告を生成してもよい。いくつかの実装形態では、インシデント報告は、第1のコンピューティングデバイスのメモリに記憶され、近くのコンピューティングデバイス(たとえば、受信側コンピューティングデバイス202、204)に送信され、かつ/またはリモートサーバ(たとえば、リモートサーバ120)に送信されてもよい。
第1のコンピューティングデバイスは、ブロック402において、第1のセンサ(ならびに他のセンサ)の出力を監視し続けてもよい。
様々な実施形態は、図5に示されたサーバ500などの様々な市販のサーバデバイスのいずれにも実装されてもよい。そのようなサーバ500は、通常、揮発性メモリ502、およびディスクドライブ503などの大容量不揮発性メモリに結合されるプロセッサ501を含む。サーバ500はまた、プロセッサ501に結合されるフロッピーディスクドライブ、コンパクトディスク(CD)、またはデジタル多用途ディスク(DVD)ディスクドライブ504を含んでもよい。サーバ500はまた、他のブロードキャストシステムコンピュータおよびサーバに結合されるローカルエリアネットワークなどのネットワーク505とのデータ接続を確立するための、プロセッサ501に結合されるネットワークアクセスポート506を含んでもよい。
プロセッサ501は、以下で説明される様々な実施形態の機能を含む様々な機能を実行するようにソフトウェア命令(アプリケーション)によって構成され得る任意のプログラマブルマイクロプロセッサ、マイクロコンピュータあるいは1つまたは複数の多重プロセッサチップであってもよい。いくつかのモバイルデバイスでは、ワイヤレス通信機能に専用の1つのプロセッサ、および他のアプリケーションを実行するのに専用の1つのプロセッサなどの複数のプロセッサ501が設けられてもよい。通常、ソフトウェアアプリケーションは、アクセスされ、プロセッサ501にロードされる前に内部メモリ502に記憶されてもよい。プロセッサ501は、アプリケーションソフトウェア命令を記憶するのに十分な内部メモリを含んでもよい。
様々な実施形態は、様々なコンピューティングデバイスのいずれかに実装されてもよく、その一例(たとえば、通信デバイス600)が図6に示される。図1〜図6を参照すると、通信デバイス600は、モバイルデバイス102と同様であってもよく、説明されたように方法200および/または方法400を実施してもよい。
通信デバイス600は、タッチスクリーンコントローラ604および内部メモリ606に結合されるプロセッサ602を含んでもよい。プロセッサ602は、一般的なまたは特定の処理タスクに指定された1つまたは複数のマルチコア集積回路であってもよい。内部メモリ606は、揮発性または不揮発性メモリであってもよく、また、セキュアおよび/もしくは暗号化メモリ、または非セキュアおよび/もしくは非暗号化メモリ、あるいはこれらの任意の組合せであってもよい。タッチスクリーンコントローラ604およびプロセッサ602はまた、抵抗感知タッチスクリーン、静電容量感知タッチスクリーン、赤外線感知タッチスクリーンなどのタッチスクリーンパネル612に結合されてもよい。さらに、通信デバイス600のディスプレイは、タッチスクリーン機能を有する必要はない。
通信デバイス600は、プロセッサ602と1つまたは複数のアンテナ610とに結合され、セルラー通信を送受信するように構成される1つまたは複数のセルラーネットワークトランシーバ608を有してもよい。セルラーネットワークトランシーバ608およびアンテナ610は、様々な実施形態の方法を実施するために、本明細書で言及された回路とともに使用されてもよい。通信デバイス600は、セルラーネットワークトランシーバ608および/またはプロセッサ602に結合され、上で説明されたように構成される1つまたは複数の加入者識別モジュール(SIM)カード(たとえば、SIM613)を含んでもよい。通信デバイス600は、セルラーネットワークを介する通信を可能にし、プロセッサ602に結合されるセルラーネットワークワイヤレスモデムチップ617を含んでもよい。
通信デバイス600は、プロセッサ602および1つまたは複数のアンテナ611に結合され、WLAN通信を送受信するように構成される1つまたは複数のWLANトランシーバ616(たとえば、1つまたは複数のWi-Fiトランシーバ)を有してもよい。トランシーバ616およびアンテナ611は、様々な実施形態の方法を実施するために、本明細書で言及された回路網とともに使用されてもよい。通信デバイス600は、WLANを介する通信を可能にし、プロセッサ602に結合されるWLANワイヤレスモデムチップ618を含んでもよい。
通信デバイス600は、プロセッサ602と1つまたは複数のアンテナ629とに結合され、Bluetooth(登録商標)通信を送受信するように構成される1つまたは複数のBluetooth(登録商標)トランシーバ621を有してもよい。Bluetooth(登録商標)トランシーバ621およびアンテナ629は、様々な実施形態の方法を実施するために、本明細書で言及された回路とともに使用されてもよい。通信デバイス600は、Bluetooth(登録商標)を介する通信を可能にし、プロセッサ602に結合されるBluetooth(登録商標)ワイヤレスモデムチップ623を含んでもよい。
通信デバイス600は、プロセッサ602と1つまたは複数のアンテナ625とに結合され、衛星通信を送受信するように構成される1つまたは複数の衛星トランシーバ624を有してもよい。衛星トランシーバ624およびアンテナ625は、様々な実施形態の方法を実施するために、本明細書で言及された回路とともに使用されてもよい。通信デバイス600は、衛星ネットワークを介する通信を可能にし、プロセッサ602に結合される衛星ワイヤレスモデムチップ626を含んでもよい。
通信デバイス600はまた、オーディオ出力を提供するためのスピーカー614を含んでもよい。通信デバイス600はまた、本明細書で論じられる構成要素のすべてまたは一部を収容するための、プラスチック、金属、または材料の組合せから構成されるハウジング620を含んでもよい。通信デバイス600は、使い捨てまたは再充電可能な電池などのプロセッサ602に結合される電源622を含んでもよい。再充電可能な電池はまた、通信デバイス600の外部のソースから充電電流を受信するために周辺デバイス接続ポートに結合されてもよい。USBポートなどの周辺デバイスの接続ポートは、プロセッサ602に接続されてもよく、有線インターフェース技術を介して有線ネットワーク接続を確立するように構成されてもよく、様々な実施形態の方法を実施するために本明細書で言及された回路とともに使用されてもよい。通信デバイス600はまた、ユーザ入力を受け取るための物理的ボタン628を含んでもよい。通信デバイス600はまた、通信デバイス600をオンまたはオフにするための電源ボタン627を含んでもよい。
いくつかの異なるブロードキャスト規格が利用可能であり、または今後企図され、それらのいずれかまたはすべてが様々な実施形態において使用されてもよい。そのようなサービスおよび規格には、たとえばOpen Mobile AllianceのMobile Broadcast Services Enabler Suite(OMA BCAST)、MediaFLO(登録商標)、Digital Video Broadcast IP Datacasting(DVB-IPDC)、Digital Video Broadcasting-Handheld(DVB-H)、Digital Video Broadcasting-Satellite services to Handhelds(DVB-SH)、Digital Video Broadcasting-Handheld 2(DVB-H2)、Advanced Television Systems Committee-Mobile/Handheld(ATSC-M/H)、およびChina Multimedia Mobile Broadcasting(CMMB)が含まれる。これらのブロードキャストフォーマットの各々は、たとえばブロードキャスト通信チャネルを伴う。
図示および説明された様々な実施形態は、特許請求の範囲の様々な特徴を示すための例として提供されるにすぎない。しかしながら、任意の所与の実施形態に関して図示および説明された特徴は、必ずしも関連する実施形態に限定されるとは限らず、図示および説明されている他の実施形態とともに使用されてよく、またはそれらと組み合わせられてもよい。さらに、特許請求の範囲は、いかなる例示的な一実施形態によっても限定されないものとする。
上記の方法の説明およびプロセスフロー図は、単に説明のための例として提供したものであり、様々な実施形態のステップを提示された順序で実行しなければならないことを要求または暗示するものではない。当業者が了解するように、上記の実施形態におけるステップの順番は、任意の順番で実行可能である。「その後」、「次いで」、「次に」などの語は、ステップの順序を限定するものではなく、これらの語は単に、方法の説明を通じて読者を案内するために使用される。さらに、たとえば冠詞"a"、"an"、または"the"を使用する、請求項の要素に対する単数形でのいかなる参照も、要素を単数形に限定すると解釈されるべきではない。
本明細書で開示された実施形態に関して説明された様々な例示的な論理ブロック、回路、およびアルゴリズムステップは、電子ハードウェア、コンピュータソフトウェア、またはその両方の組合せとして実装されてもよい。ハードウェアとソフトウェアとのこの互換性について明確に例示するために、様々な例示的な構成要素、ブロック、モジュール、回路、およびステップが、上では全般にそれらの機能に関して説明された。そのような機能がハードウェアとして実装されるか、ソフトウェアとして実装されるかは、具体的な用途およびシステム全体に課される設計の制約によって決まる。当業者は、説明された機能を具体的な適用例ごとに様々な方法で実装してもよいが、そのような実装形態の決定は、本発明の範囲からの逸脱を引き起こすものと解釈されるべきではない。
本明細書で開示される実施形態に関連して説明された様々な例示的な論理、論理ブロック、モジュール、および回路を実施するのに使用されるハードウェアは、汎用プロセッサ、デジタル信号プロセッサ(DSP)、特定用途向け集積回路(ASIC)、フィールドプログラマブルゲートアレイ(FPGA)もしくは他のプログラム可能論理デバイス、ディスクリートゲート論理もしくはトランジスタ論理、ディスクリートハードウェア構成要素、または本明細書で説明された機能を実行するように設計されたそれらの任意の組合せを用いて実施または実行されてもよい。汎用プロセッサはマルチプロセッサであってもよいが、代替として、プロセッサは、任意の従来のプロセッサ、コントローラ、マイクロコントローラ、またはステートマシンであってもよい。プロセッサは、コンピューティングデバイスの組合せ、たとえばDSPとマルチプロセッサの組合せ、複数のマルチプロセッサ、DSPコアと連携する1つまたは複数のマルチプロセッサ、または任意の他のそのような構成として実装されてもよい。代替的に、いくつかのステップまたは方法は、所与の機能に特有の回路によって実行されてもよい。
1つまたは複数の実施形態では、説明された機能は、ハードウェア、ソフトウェア、ファームウェア、またはそれらの任意の組合せで実装されてもよい。ソフトウェアにおいて実装される場合、機能は、非一時的コンピュータ可読記憶媒体または非一時的プロセッサ可読記憶媒体上の1つまたは複数のプロセッサ実行可能命令またはコードとして記憶されてもよい。本明細書で開示される方法またはアルゴリズムのステップは、非一時的コンピュータ可読またはプロセッサ可読記憶媒体上に存在する場合があるプロセッサ実行可能ソフトウェアモジュールにおいて具現化されてもよい。非一時的コンピュータ可読記憶媒体またはプロセッサ可読記憶媒体は、コンピュータまたはプロセッサによってアクセスされる場合がある任意の記憶媒体であってもよい。限定ではなく例として、そのような非一時的コンピュータ可読またはプロセッサ可読媒体は、RAM、ROM、EEPROM、FLASHメモリ、CD-ROMもしくは他の光ディスクストレージ、磁気ディスクストレージもしくは他の磁気記憶デバイス、または命令もしくはデータ構造の形態で所望のプログラムコードを記憶するために使用される場合があり、かつコンピュータによってアクセスされる場合がある任意の他の媒体を含んでもよい。本明細書で使用されるディスク(disk)およびディスク(disc)は、コンパクトディスク(disc)(CD)、レーザーディスク(登録商標)(disc)、光ディスク(disc)、デジタル多用途ディスク(disc)(DVD)、フロッピーディスク(disk)、およびBlu-ray(登録商標)ディスク(disc)を含み、ディスク(disk)は通常、データを磁気的に再生し、ディスク(disc)は、レーザーを用いてデータを光学的に再生する。上記の組合せも、非一時的コンピュータ可読媒体およびプロセッサ可読媒体の範囲に含まれる。追加として、本方法またはアルゴリズムの動作は、コンピュータプログラム製品に組み込まれる場合がある非一時的プロセッサ可読媒体および/または非一時的コンピュータ可読媒体上の、コードおよび/または命令の1つまたは任意の組合せもしくはセットとして存在してもよい。
開示される実施形態の前述の説明は、いかなる当業者も本発明を作成または使用することができるように提供される。これらの実施形態への様々な修正は当業者に容易に明らかになり、本明細書で定義される一般原理は他の実施形態に適用されてもよい。したがって、本発明は、本明細書に示された実施形態に限定されるものではなく、以下の特許請求の範囲、ならびに本明細書で開示された原理および新規の特徴と一致する最も広い範囲を与えられるべきである。
100 システム
102 モバイルデバイス
104 携帯電話ネットワーク
106 セル基地局
108 ネットワーク運用センター
110 インターネット
112 広域ワイヤレス通信リンク
114 サーバ
116 道路センサ
118 自動車
120 ネットワークサーバ
122 クラウドサービスプロバイダネットワーク
130 車両制御システム
132 環境システム
134 ナビゲーションシステム
136 インフォテインメントシステム
138 エンジン制御システム
140 ペダルセンサ
142 トランスミッション制御システム
144 センサ
150 ディスプレイ
152 スピーカー
154 アンテナ
160 ウェアラブルコンピューティングデバイス
200 方法
202 受信側コンピューティングデバイス1
204 受信側コンピューティングデバイス2
300 データ構造
302 イベント記述
304 イベント識別子
306 関連するセンサ
400 方法
500 サーバ
501 プロセッサ
502 揮発性メモリ
503 ディスクドライブ
504 ディスクドライブ
505 ネットワーク
506 ネットワークアクセスポート
600 通信デバイス
602 プロセッサ
604 タッチスクリーンコントローラ
606 内部メモリ
608 セルラーネットワークトランシーバ
610 アンテナ
611 アンテナ
612 タッチスクリーンパネル
613 SIM
614 スピーカー
616 WLANトランシーバ
617 セルラーネットワークワイヤレスモデムチップ
618 WLANワイヤレスモデムチップ
620 ハウジング
621 Bluetooth(登録商標)トランシーバ
622 電源
623 ワイヤレスモデムチップ
624 衛星トランシーバ
625 アンテナ
626 衛星ワイヤレスモデムチップ
627 電源ボタン
628 物理的ボタン
629 アンテナ

Claims (30)

  1. センサの状況に基づく監視の方法であって、
    第1のコンピューティングデバイスによって、第1のセンサの出力を取得するステップと、
    前記第1のコンピューティングデバイスによって、前記第1のセンサの前記取得された出力に少なくとも部分的に基づいて、異常事象が発生する可能性が高いかどうかを判定するステップと、
    前記異常事象が発生する可能性が高いとの判定に応答して、受信側コンピューティングデバイスのセンサの出力を前記受信側コンピューティングデバイスにログ取得させるように構成されるメッセージを送信するステップと
    を備える、方法。
  2. 前記第1のコンピューティングデバイスによって、前記異常事象が発生したかどうかを判定するステップと、
    前記異常事象が発生したとの判定に応答してセンサ出力要求を送信するステップと、
    前記第1のコンピューティングデバイスによって、前記受信側コンピューティングデバイスからセンサ出力データを受信するステップと
    をさらに備える、請求項1に記載の方法。
  3. 前記第1のコンピューティングデバイスによって、前記第1のセンサの前記出力と、前記受信側コンピューティングデバイスから受信されたセンサ出力データとを相関付けるステップと、
    前記第1のコンピューティングデバイスによって、相関付けられたセンサ出力に少なくとも部分的に基づいてインシデント報告を生成するステップと
    をさらに備える、請求項2に記載の方法。
  4. 前記生成されたインシデント報告を前記第1のコンピューティングデバイスからリモートサーバに送信するステップをさらに備える、請求項3に記載の方法。
  5. 前記生成されたインシデント報告を前記第1のコンピューティングデバイス上のメモリに記憶するステップをさらに備える、請求項3に記載の方法。
  6. 前記生成されたインシデント報告を前記受信側コンピューティングデバイスに送信するステップをさらに備える、請求項3に記載の方法。
  7. 発生する可能性が高いと判定された前記異常事象に関連する情報を提供する可能性が高い1つまたは複数のタイプのセンサ出力を判定するステップをさらに備え、前記送信されるメッセージが、前記受信側コンピューティングデバイスによってログ取得されるべき1つまたは複数のタイプのセンサ出力を示す、請求項1に記載の方法。
  8. 前記送信されたメッセージが、近くのコンピューティングデバイスによる受信のためにブロードキャストされる、請求項1に記載の方法。
  9. 前記送信されたメッセージが、前記異常事象に関連するセンサデータを記録する可能性が高い、測定する可能性が高い、利用可能な前記センサデータを有する可能性が高い、または前記センサデータを提供できる可能性が高いと前記第1のコンピューティングデバイスによって判定されるコンピューティングデバイスに送信される、請求項1に記載の方法。
  10. 前記第1のコンピューティングデバイスが自動車内にある、請求項1に記載の方法。
  11. 前記第1のコンピューティングデバイスによって、前記第1のセンサの前記取得された出力に少なくとも部分的に基づいて、前記異常事象が発生する可能性が高いと判定するステップが、
    前記第1のコンピューティングデバイスによって、前記第1のセンサの前記出力を挙動モデルと比較するステップを備える、請求項1に記載の方法。
  12. センサと、
    トランシーバと、
    メモリと、
    前記センサ、前記トランシーバ、および前記メモリに結合され、かつ動作を実行するためのプロセッサ実行可能命令で構成されるプロセッサであって、
    前記センサから出力を取得することと、
    前記センサの前記取得された出力に少なくとも部分的に基づいて、異常事象が発生する可能性が高いかどうかを判定することと、
    前記異常事象が発生する可能性が高いとの判定に応答して、受信側コンピューティングデバイスのセンサの出力を前記受信側コンピューティングデバイスにログ取得させるように構成されるメッセージを、前記トランシーバを介して送信することと
    を備える動作を実行するためのプロセッサ実行可能命令で構成される、プロセッサと
    を備える、コンピューティングデバイス。
  13. 前記プロセッサが、
    前記異常事象が発生したかどうかを判定することと、
    前記異常事象が発生したとの判定に応答してセンサ出力要求を送信することと、
    前記受信側コンピューティングデバイスからセンサ出力データを受信することと
    をさらに備える動作を実行するように、プロセッサ実行可能命令を用いて構成される、請求項12に記載のコンピューティングデバイス。
  14. 前記プロセッサが、
    前記センサの前記出力と、前記受信側コンピューティングデバイスから受信されたセンサ出力データとを相関付けることと、
    相関付けられたセンサ出力に少なくとも部分的に基づいてインシデント報告を生成することと
    をさらに備える動作を実行するように、プロセッサ実行可能命令を用いて構成される、請求項13に記載のコンピューティングデバイス。
  15. 前記プロセッサが、前記生成されたインシデント報告をリモートサーバに送信することをさらに備える動作を実行するように、プロセッサ実行可能命令を用いて構成される、請求項14に記載のコンピューティングデバイス。
  16. 前記プロセッサが、前記生成されたインシデント報告を前記メモリに記憶することをさらに備える動作を実行するように、プロセッサ実行可能命令を用いて構成される、請求項14に記載のコンピューティングデバイス。
  17. 前記プロセッサが、前記生成されたインシデント報告を前記受信側コンピューティングデバイスに送信することをさらに備える動作を実行するように、プロセッサ実行可能命令を用いて構成される、請求項14に記載のコンピューティングデバイス。
  18. 前記プロセッサが、発生する可能性が高いと判定された前記異常事象に関連する情報を提供する可能性が高い1つまたは複数のタイプのセンサ出力を判定することをさらに備える動作を実行するように、プロセッサ実行可能命令を用いて構成され、前記送信されるメッセージが、前記受信側コンピューティングデバイスによってログ取得されるべき1つまたは複数のタイプのセンサ出力を示す、請求項12に記載のコンピューティングデバイス。
  19. 前記プロセッサが、前記送信されたメッセージが近くのコンピューティングデバイスによる受信のためにブロードキャストされるように動作を実行するように、プロセッサ実行可能命令を用いて構成される、請求項12に記載のコンピューティングデバイス。
  20. 前記送信されたメッセージが、前記異常事象に関連するセンサデータを記録する可能性が高い、測定する可能性が高い、利用可能な前記センサデータを有する可能性が高い、または前記センサデータを提供できる可能性が高いと前記コンピューティングデバイスによって判定される他のコンピューティングデバイスに送信されるように動作を実行するように、前記プロセッサがプロセッサ実行可能命令を用いて構成される、請求項12に記載のコンピューティングデバイス。
  21. 前記コンピューティングデバイスが自動車内にある、請求項12に記載のコンピューティングデバイス。
  22. 前記センサの前記取得された出力に少なくとも部分的に基づいて前記異常事象が発生する可能性が高いと判定することが、前記センサの前記出力を挙動モデルと比較することを備えるように動作を実行するように、前記プロセッサがプロセッサ実行可能命令を用いて構成される、請求項12に記載のコンピューティングデバイス。
  23. センサから出力を取得するための手段と、
    前記センサの前記取得された出力に少なくとも部分的に基づいて、異常事象が発生する可能性が高いかどうかを判定するための手段と、
    前記異常事象が発生する可能性が高いとの判定に応答して、受信側コンピューティングデバイスのセンサの出力を前記受信側コンピューティングデバイスにログ取得させるように構成されるメッセージを送信するための手段と
    を備える、コンピューティングデバイス。
  24. 前記異常事象が発生したかどうかを判定するための手段と、
    前記異常事象が発生したとの判定に応答してセンサ出力要求を送信するための手段と、
    前記受信側コンピューティングデバイスからセンサ出力データを受信するための手段と
    をさらに備える、請求項23に記載のコンピューティングデバイス。
  25. 前記センサの前記出力と、前記受信側コンピューティングデバイスから受信されたセンサ出力データとを相関付けるための手段と、
    相関付けられたセンサ出力に少なくとも部分的に基づいてインシデント報告を生成するための手段と
    をさらに備える、請求項24に記載のコンピューティングデバイス。
  26. 前記生成されたインシデント報告をリモートサーバに送信するための手段をさらに備える、請求項25に記載のコンピューティングデバイス。
  27. 前記生成されたインシデント報告を記憶するための手段をさらに備える、請求項25に記載のコンピューティングデバイス。
  28. 前記生成されたインシデント報告を前記受信側コンピューティングデバイスに送信するための手段をさらに備える、請求項25に記載のコンピューティングデバイス。
  29. 発生する可能性が高いと判定された前記異常事象に関連する情報を提供する可能性が高い1つまたは複数のタイプのセンサ出力を判定するための手段をさらに備え、前記送信されるメッセージが、前記受信側コンピューティングデバイスによってログ取得されるべき1つまたは複数のタイプのセンサ出力を示す、請求項23に記載のコンピューティングデバイス。
  30. コンピューティングデバイスのプロセッサに、
    センサから出力を取得することと、
    前記センサの前記取得された出力に少なくとも部分的に基づいて、異常事象が発生する可能性が高いかどうかを判定することと、
    前記異常事象が発生する可能性が高いとの判定に応答して、受信側コンピューティングデバイスのセンサの出力を前記受信側コンピューティングデバイスにログ取得させるように構成されるメッセージを送信することと
    を備える動作を実行させるように構成されるプロセッサ実行可能命令を記憶した、非一時的プロセッサ可読記憶媒体。
JP2018564916A 2016-06-17 2017-05-25 状況に基づく異常の監視のための方法およびシステム Active JP6895998B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US15/185,178 2016-06-17
US15/185,178 US9961496B2 (en) 2016-06-17 2016-06-17 Methods and systems for context based anomaly monitoring
PCT/US2017/034496 WO2017218159A1 (en) 2016-06-17 2017-05-25 Methods and systems for context based anomaly monitoring

Publications (3)

Publication Number Publication Date
JP2019530912A true JP2019530912A (ja) 2019-10-24
JP2019530912A5 JP2019530912A5 (ja) 2020-06-25
JP6895998B2 JP6895998B2 (ja) 2021-06-30

Family

ID=59067889

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2018564916A Active JP6895998B2 (ja) 2016-06-17 2017-05-25 状況に基づく異常の監視のための方法およびシステム

Country Status (9)

Country Link
US (1) US9961496B2 (ja)
EP (1) EP3473026B1 (ja)
JP (1) JP6895998B2 (ja)
KR (1) KR102495816B1 (ja)
CN (1) CN109196887B (ja)
BR (1) BR112018075365A2 (ja)
CA (1) CA3023697A1 (ja)
ES (1) ES2829050T3 (ja)
WO (1) WO2017218159A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20230033146A (ko) * 2021-08-30 2023-03-08 한양대학교 에리카산학협력단 자율주행 차량의 위법 차량 신고 시스템

Families Citing this family (55)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11482058B2 (en) 2008-09-09 2022-10-25 United Parcel Service Of America, Inc. Systems and methods for utilizing telematics data to improve fleet management operations
CN102203810A (zh) 2008-09-09 2011-09-28 美国联合包裹服务公司 利用远程信息数据改善车队管理运作的系统和方法
US9953468B2 (en) 2011-03-31 2018-04-24 United Parcel Service Of America, Inc. Segmenting operational data
US9208626B2 (en) 2011-03-31 2015-12-08 United Parcel Service Of America, Inc. Systems and methods for segmenting operational data
US9805521B1 (en) 2013-12-03 2017-10-31 United Parcel Service Of America, Inc. Systems and methods for assessing turns made by a vehicle
US20160334221A1 (en) * 2015-05-11 2016-11-17 United Parcel Service Of America, Inc. Determining street segment headings
US20180081972A1 (en) * 2016-09-19 2018-03-22 Sap Se Filtering and processing data related to internet of things
JP2018078434A (ja) * 2016-11-09 2018-05-17 富士通株式会社 送信装置、情報処理システムおよび送信方法
US10293818B2 (en) * 2017-03-07 2019-05-21 Uber Technologies, Inc. Teleassistance data prioritization for self-driving vehicles
US10162357B2 (en) * 2017-03-15 2018-12-25 Toyota Research Institute, Inc. Distributed computing among vehicles
CN110637334B (zh) * 2017-03-31 2022-02-01 本田技研工业株式会社 行动辅助系统、行动辅助装置、行动辅助方法以及存储介质
CN111095955B (zh) * 2017-07-27 2023-09-08 上游安全有限公司 用于联网车辆网络安全的系统和方法
US10292034B2 (en) * 2017-08-18 2019-05-14 Motorola Solutions, Inc. Method and device for dispatching data carrier devices
US10042879B1 (en) 2017-11-13 2018-08-07 Lendingclub Corporation Techniques for dynamically enriching and propagating a correlation context
US11354301B2 (en) 2017-11-13 2022-06-07 LendingClub Bank, National Association Multi-system operation audit log
JP7118757B2 (ja) * 2018-01-22 2022-08-16 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ サーバ、プログラム、及び、方法
CN109727331A (zh) * 2018-12-17 2019-05-07 深圳市道通智能航空技术有限公司 飞行日志的读取方法及其无人机组件
US11212303B1 (en) * 2018-12-28 2021-12-28 Snap Inc. Detecting anomalous resources and events in social data
DE102019205900A1 (de) 2019-04-25 2020-10-29 Robert Bosch Gmbh Situationsabhängige Steuerung von Fahrzeugsensoren und/oder Komponenten
US12056922B2 (en) 2019-04-26 2024-08-06 Samsara Inc. Event notification system
US11080568B2 (en) 2019-04-26 2021-08-03 Samsara Inc. Object-model based event detection system
US10999374B2 (en) 2019-04-26 2021-05-04 Samsara Inc. Event detection system
US11494921B2 (en) 2019-04-26 2022-11-08 Samsara Networks Inc. Machine-learned model based event detection
US11787413B2 (en) 2019-04-26 2023-10-17 Samsara Inc. Baseline event detection system
US11097688B2 (en) 2019-09-20 2021-08-24 GM Cruise Holdings, LLC Journey verification for ridesharing via audible signals
US11267401B2 (en) 2019-09-27 2022-03-08 GM Cruise Holdings, LLC Safe passenger disembarking for autonomous vehicles via audible signals
US10953852B1 (en) 2019-09-27 2021-03-23 GM Cruise Holdings, LLC. Pick-up authentication via audible signals
US11675042B1 (en) 2020-03-18 2023-06-13 Samsara Inc. Systems and methods of remote object tracking
US11122488B1 (en) 2020-03-18 2021-09-14 Samsara Inc. Systems and methods for providing a dynamic coverage handovers
US11479142B1 (en) 2020-05-01 2022-10-25 Samsara Inc. Estimated state of charge determination
US11190373B1 (en) 2020-05-01 2021-11-30 Samsara Inc. Vehicle gateway device and interactive graphical user interfaces associated therewith
CN111882728B (zh) * 2020-06-30 2022-06-21 同方威视技术股份有限公司 闸机系统以及闸机系统的控制方法
US11046205B1 (en) 2020-07-21 2021-06-29 Samsara Inc. Electric vehicle charge determination
US11490458B2 (en) * 2020-08-04 2022-11-01 Abl Ip Holding Llc Wireless hub emulator
US11341786B1 (en) 2020-11-13 2022-05-24 Samsara Inc. Dynamic delivery of vehicle event data
US11352013B1 (en) 2020-11-13 2022-06-07 Samsara Inc. Refining event triggers using machine learning model feedback
US11643102B1 (en) 2020-11-23 2023-05-09 Samsara Inc. Dash cam with artificial intelligence safety event detection
US11365980B1 (en) 2020-12-18 2022-06-21 Samsara Inc. Vehicle gateway device and interactive map graphical user interfaces associated therewith
US11132853B1 (en) 2021-01-28 2021-09-28 Samsara Inc. Vehicle gateway device and interactive cohort graphical user interfaces associated therewith
US11126910B1 (en) 2021-03-10 2021-09-21 Samsara Inc. Models for stop sign database creation
CN113119981B (zh) * 2021-04-09 2022-06-17 东风汽车集团股份有限公司 车辆主动安全控制方法、系统及存储介质
US11838884B1 (en) 2021-05-03 2023-12-05 Samsara Inc. Low power mode for cloud-connected on-vehicle gateway device
US11356605B1 (en) 2021-05-10 2022-06-07 Samsara Inc. Dual-stream video management
CN113282433B (zh) * 2021-06-10 2023-04-28 天翼云科技有限公司 集群异常检测方法、装置和相关设备
US11961402B2 (en) * 2021-06-23 2024-04-16 International Business Machines Corporation Anomaly detection for vehicle in motion using external views by established network and cascading techniques
US11716639B2 (en) 2021-08-10 2023-08-01 Abl Ip Holding Llc Self-healing of repeater formation in a network
US11356909B1 (en) 2021-09-10 2022-06-07 Samsara Inc. Systems and methods for handovers between cellular networks on an asset gateway device
US11863712B1 (en) 2021-10-06 2024-01-02 Samsara Inc. Daisy chaining dash cams
US11386325B1 (en) 2021-11-12 2022-07-12 Samsara Inc. Ensemble neural network state machine for detecting distractions
US11352014B1 (en) 2021-11-12 2022-06-07 Samsara Inc. Tuning layers of a modular neural network
US11683579B1 (en) 2022-04-04 2023-06-20 Samsara Inc. Multistream camera architecture
US11741760B1 (en) 2022-04-15 2023-08-29 Samsara Inc. Managing a plurality of physical assets for real time visualizations
US11522857B1 (en) 2022-04-18 2022-12-06 Samsara Inc. Video gateway for camera discovery and authentication
US11861955B1 (en) 2022-06-28 2024-01-02 Samsara Inc. Unified platform for asset monitoring
KR20240118216A (ko) 2023-01-26 2024-08-05 주식회사 센텍 웨어러블 디바이스와 스마트 기술을 이용한 안전사고 예방시스템

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006231942A (ja) * 2005-02-22 2006-09-07 Sanyo Electric Co Ltd 画像記録装置及び画像記録システム
JP2011131728A (ja) * 2009-12-24 2011-07-07 Equos Research Co Ltd 記録システム
JP2012198796A (ja) * 2011-03-22 2012-10-18 Nec Corp ログ収集システム、装置、方法及びプログラム
US20120304007A1 (en) * 2011-05-23 2012-11-29 Hanks Carl J Methods and systems for use in identifying abnormal behavior in a control system
US20140074315A1 (en) * 2012-09-07 2014-03-13 General Motors Llc Vehicle-incident detection method and system

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
FR2799284B1 (fr) * 1999-10-01 2001-12-21 Peugeot Citroen Automobiles Sa Systeme de diagnostic du fonctionnement d'organes fonctionnels d'un vehicule automobile
CN100358310C (zh) * 2006-02-14 2007-12-26 北京邮电大学 支持环境自适应应用重构的无线传感器网络系统及方法
US7899611B2 (en) 2006-03-03 2011-03-01 Inrix, Inc. Detecting anomalous road traffic conditions
CN101441798A (zh) * 2008-03-05 2009-05-27 中科院嘉兴中心微系统所分中心 基于无线传感器网络的安全监控与应急指控系统
US8677480B2 (en) * 2008-09-03 2014-03-18 Cisco Technology, Inc. Anomaly information distribution with threshold
WO2010117762A2 (en) * 2009-03-30 2010-10-14 Lord Corporation Land vehicles and systems with controllable suspension systems
US8863256B1 (en) 2011-01-14 2014-10-14 Cisco Technology, Inc. System and method for enabling secure transactions using flexible identity management in a vehicular environment
US20120182935A1 (en) * 2011-01-14 2012-07-19 Cisco Technology, Inc. System and method for packet distribution in a vehicular network environment
TWI627084B (zh) 2011-09-19 2018-06-21 塔塔顧問服務有限公司 用於感測器驅動車輛遙測應用與服務之開發及部署的運算平台
US9218527B2 (en) 2011-09-29 2015-12-22 Hewlett-Packard Development Company, L.P. Anomaly detection in streaming data
CN103167019B (zh) * 2013-02-01 2015-10-28 中国科学技术大学 一种车载自组网中的混合式信任系统及方法
US9466196B2 (en) 2014-04-08 2016-10-11 Cubic Corporation Anomalous phenomena detector
US9533698B2 (en) * 2014-09-24 2017-01-03 Bartlett & West, Inc. Railway monitoring system
CN104917651B (zh) * 2015-06-09 2018-04-17 北京齐尔布莱特科技有限公司 监测网络异常的方法及装置

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006231942A (ja) * 2005-02-22 2006-09-07 Sanyo Electric Co Ltd 画像記録装置及び画像記録システム
JP2011131728A (ja) * 2009-12-24 2011-07-07 Equos Research Co Ltd 記録システム
JP2012198796A (ja) * 2011-03-22 2012-10-18 Nec Corp ログ収集システム、装置、方法及びプログラム
US20120304007A1 (en) * 2011-05-23 2012-11-29 Hanks Carl J Methods and systems for use in identifying abnormal behavior in a control system
US20140074315A1 (en) * 2012-09-07 2014-03-13 General Motors Llc Vehicle-incident detection method and system

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20230033146A (ko) * 2021-08-30 2023-03-08 한양대학교 에리카산학협력단 자율주행 차량의 위법 차량 신고 시스템
KR102658908B1 (ko) 2021-08-30 2024-04-19 한양대학교 에리카산학협력단 자율주행 차량의 위법 차량 신고 시스템

Also Published As

Publication number Publication date
JP6895998B2 (ja) 2021-06-30
WO2017218159A1 (en) 2017-12-21
KR20190018633A (ko) 2019-02-25
EP3473026B1 (en) 2020-07-29
BR112018075365A2 (pt) 2019-03-19
ES2829050T3 (es) 2021-05-28
US9961496B2 (en) 2018-05-01
EP3473026A1 (en) 2019-04-24
KR102495816B1 (ko) 2023-02-02
CA3023697A1 (en) 2017-12-21
CN109196887B (zh) 2021-09-17
CN109196887A (zh) 2019-01-11
US20170366935A1 (en) 2017-12-21

Similar Documents

Publication Publication Date Title
JP6895998B2 (ja) 状況に基づく異常の監視のための方法およびシステム
US20200294403A1 (en) Method and system for providing artificial intelligence analytic (aia) services for performance prediction
US20210021687A1 (en) Method and system for providing predictions via artificial intelligence (ai) models using a distributed system
EP3430782B1 (en) Determining the veracity of vehicle information
US11230242B2 (en) Vehicle emergency broadcast
US9679480B2 (en) Vehicle driver responsibility factor assessment and broadcast
US9759574B2 (en) Vehicle emergency broadcast and relay
US20170213459A1 (en) System and method of identifying a vehicle and determining the location and the velocity of the vehicle by sound
US20190378355A1 (en) Remote vehicle electronics configuration
US20150178578A1 (en) Vehicle behavior analysis
US20170101054A1 (en) Inter-vehicle communication for roadside assistance
TW201735669A (zh) 用於使用從多個感測器收集之資訊來保護車輛免受惡意軟體及攻擊之方法及系統
EP3496969A1 (en) Method and system for providing information via collected and stored metadata using inferred attentional model
Reininger et al. A first look at vehicle data collection via smartphone sensors
CN104134371A (zh) 一种车辆碰撞预警的方法和装置
US11377114B2 (en) Configuration of in-vehicle entertainment based on driver attention
RU2769941C1 (ru) Антенная система для телематического блока транспортного средства
US11623655B1 (en) Systems and methods for restricting the use of a vehicle operator's electronic device
US20230137962A1 (en) Systems and methods for restricting the use of a vehicle operator's terminal
EP4175362A1 (en) Systems and methods for restricting the use of a vehicle operator's terminal

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20181218

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20200508

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20200508

TRDD Decision of grant or rejection written
A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20210428

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20210510

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20210608

R150 Certificate of patent or registration of utility model

Ref document number: 6895998

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250