JP2022549507A - アフターマーケット車両コパイロットデバイス - Google Patents

Abstract

本明細書に開示されるのは、車両に通常は利用可能でないであろう様々な機能性を可能にするために車両内の「アフターマーケット」として設置され得るコパイロットデバイスを含むシステムである。いくつかの実施形態では、コパイロットデバイスは、コパイロットデバイスが設置された車両に関係する情報を収集するいくつかのカメラ及びセンサを含む。コパイロットデバイスはまた、車両自体へ通信可能に結合され、そしてデータを車両から直接受信する。コパイロットデバイスは、時刻に基づき同期されるいくつかのデータタイプを含むデータファイルを生成することができる。

Description

優先権の主張
本出願は参照のためその両方の全内容を本明細書に援用する２０１９年９月２７日申請の米国仮特許出願第６２／９０７，５３３号及び２０２０年９月２２日申請の米国特許出願第１７／０２８，７５１号の便宜及び優先権を主張する。

背景
ダッシュカム（Dashcam）システムは通常、他の機能性を殆ど又は全く有しない映像を記録する。ダッシュカムシステムは通常、設置するのが課題である。設置されると、ダッシュカムシステムは通常、可搬性を欠く。ダッシュカムにより収集される情報は通常、娯楽目的のために使用され得る又は民事又は犯罪捜査における証拠として使用され得る映像フッテージ（時に音声を含む）に限定される。

自立走行車両のためのカメラシステムは通常、既存車両内のアフターマーケット設置には利用可能ではない。自立走行車両カメラシステムは、ダッシュカムシステムを越えて車両の所有者にとって有用である情報を殆ど又は全く提供しない。

概要
車両内に設置されたコパイロット（copilot）デバイスの使用を介し、車両に関連する様々な機能の自動化を可能にするための技術が本明細書では提供される。方法、システム、及び１つ又は複数のプロセッサにより実行可能なプログラム、コード又は指令を格納する非一時的コンピュータ可読ストレージ媒体などを含む様々な実施形態が本明細書において説明される。

一実施形態では、コパイロットデバイスにより行われる方法が開示される。本方法は、コパイロットデバイスに含まれるカメラにより取得された映像データを受信すること、車両とコパイロットデバイスとの間の接続を介し車両データを受信すること、コパイロットデバイスと通信状態にある１つ又は複数のセンサからセンサデータを受信すること、映像データ、車両データの少なくとも一部、及びセンサデータの少なくとも一部を含む修正済み映像ファイルを生成すること、並びに修正済み映像ファイルをコパイロットデバイスから離れたコパイロット管理コンピュータへ送信することを含む。

一実施形態は、１つ又は複数のカメラ；車両とコパイロットコンピューティングデバイスとの間の接続；１つ又は複数のセンサ；プロセッサ；及びプロセッサにより実行されるとコパイロットコンピューティングデバイスに少なくとも以下のこと：コパイロットデバイスに含まれる１つ又は複数のカメラにより取得された映像データを受信すること、車両とコパイロットコンピューティングデバイスとの間の接続を介し車両データを受信すること、コパイロットデバイスと通信状態にある１つ又は複数のセンサからセンサデータを受信すること、映像データ、車両データの少なくとも一部、及びセンサデータの少なくとも一部を含む修正済み映像ファイルを生成すること、並びに修正済み映像ファイルをコパイロットデバイスから離れたコパイロット管理コンピュータへ送信することをさせる指令を含むメモリを含む、コパイロットコンピューティングデバイスに向けられる。

本開示の一実施形態は、コパイロットデバイス及びコパイロット管理コンピュータを含むシステムに向けられる。指令を含むメモリを有するコパイロットデバイスであって、指令は、コパイロットデバイスに、車両との接続を介し受信された少なくとも映像データ、センサデータ及び車両データを含む異種の車両関連データを取得させ、異種の車両関連データを単一データファイ内へ合成させ、そして単一データファイルをコパイロット管理コンピュータへ提供させる、コパイロットデバイス。コパイロットデバイスと通信可能に結合されたコパイロット管理コンピュータであって、コパイロットデバイスから受信された単一データファイルを処理するように構成されたコパイロット管理コンピュータ。本システムはさらに、クライアントデバイスとコパイロットデバイスとの間の相互作用を可能にするモバイルアプリケーションが設置されたクライアントデバイスを含む。

前述は、他の特徴及び実施形態と共に以下の明細書、特許請求の範囲及び添付図面を参照することにより、より明らかになる。

図面の簡単な説明
詳細説明は添付図面を参照して説明され、ここでは参照符号の最左桁は参照符号が最初に出現した図を識別する。様々な図内の同じ参照符号の使用は同様又は同一項目を示す。

少なくともいくつかの実施形態によるアフターマーケット車両コパイロットデバイスを含む例示的アーキテクチャを示す。 様々な実施形態によるコパイロットデバイスを含むように実装され得る例示的システムアーキテクチャの様々な部品を示すブロック図を描写する。 少なくともいくつかの実施形態によるコパイロットデバイス内に含まれ得るいくつかの例示的ハードウェア部品のブロック図を描写する。 例示的コパイロットデバイスの等角上面図を描写する。 例示的コパイロットデバイスの等角側面図を描写する。 例示的コパイロットデバイスの等角底面図を描写する。 例示的コパイロットデバイスの等角斜視図を描写する。 例示的コパイロットデバイスの等角投影分解図を描写する。 いくつかの実施形態に従って実装され得る着脱可能基部を有する例示的コパイロットデバイスの複数の図を描写する。 いくつかの実施形態による例示的コパイロットデバイスを介しデータを処理するための例示的プロセスを示す流れ図を描写する。 いくつかの実施形態による修正済み映像ファイルを生成し提供するための例示的プロセスを描写する。 いくつかの実施形態による車両機能性を自動化するための例示的プロセスを描写する。 少なくともいくつかの実施形態によるコパイロットデバイスとクライアントデバイスとの間の相互作用を可能にするためにクライアントデバイス上にインスタンス化され得る例示的グラフィックユーザインターフェースを描写する。 少なくともいくつかの実施形態による車両のコパイロットデバイスから運転者へ車両状態情報を搬送するためにクライアントデバイス上にインスタンス化され得る例示的グラフィックユーザインターフェースを描写する。 少なくともいくつかの実施形態による車両のコパイロットデバイスから運転者へマイレージ情報を搬送するためにクライアントデバイス上にインスタンス化され得る例示的グラフィックユーザインターフェースを描写する。 少なくともいくつかの実施形態による車両のコパイロットデバイスから運転者へセキュリティ事象情報を搬送するためにクライアントデバイス上にインスタンス化され得る例示的グラフィックユーザインターフェースを描写する。 少なくともいくつかの実施形態による修正済み映像ファイルを生成しサーバへ送信するための例示的プロセスを描写する流れ図を描写する。

詳細な説明
以下の説明では、説明の目的で特定の詳細が特定の実施形態を完全に理解できるように示されている。しかし、様々な実施形態はこれらの特定詳細無しに実行され得るということが明らかになる。図面及び説明は限定的であるように意図されていない。用語「例示的」は、「一例、インスタンス、又は例示として役立つ」ことを意味するように本明細書では使用される。「例示的」として本明細書に於いて説明される任意の実施形態又は設計は必ずしも他の実施形態又は設計を越えて好ましい又は有利であると見做されるべきではない。

本開示は、車両にとって通常は利用可能でないであろう様々な機能性を可能にするために車両内の「アフターマーケット」として設置され得るコパイロットデバイスを含むシステムに向けられる。より具体的には、コパイロットデバイスは、コパイロットデバイスが設置される車両に関係する情報を収集するいくつかのカメラ及びセンサを含む。コパイロットデバイスはオンボード診断（ＯＢＤ：onboard diagnostic）接続を介し車両のコントローラローカルエリアネットワーク（ＣＡＮ：Controller Area Network）バスと通信可能に結合される。

いくつかの実施形態では、コパイロットデバイスは、センサにより収集された様々なセンサデータ、映像データ（車両の内部及び外部の）、及びＯＢＤ接続を介し受信された車両データを含む様々な異種のデータタイプを受信する。次に、コパイロットデバイスは、センサデータ及び車両データを映像データへ付加することにより、異種のデータタイプの少なくとも一部をデータファイ内へ合成する。このデータファイルでは、異種のデータタイプ同士は、それぞれのデータの各データが受信される時刻に基づき同期される。次に、データファイルは、データファイルを処理するように構成されたバックエンドサーバへ提供される。

いくつかの実施形態では、バックエンドサーバ（例えばコパイロット管理コンピュータ）は、機械学習モデルをトレーニングするためにデータファイル（及び他のコパイロットデバイスから受信された他のデータファイル）を使用する。このやり方で生成されたトレーニング済みモデルがコパイロットデバイスへ提供され得る。このようなトレーニング済みモデルは、コパイロットデバイス上に実装されると、いくつかの条件がセンサ及び／又は映像データを介し検出される場合に取られるべき適切な行為を判断するために使用され得る。次に、これらの行為はユーザ関与とは無関係に取られ得、いくつかの車両機能が自動化されるようにする。

いくつかの実施形態では、本システムはユーザの代わりにビジネス事象の開始及び終了を自動的に検出する。次に、本システムは精確且つ効率的やり方でそれらのビジネス事象に基づきマイレージログを生成することができる。

図１は、少なくともいくつかの実施形態によるアフターマーケット車両コパイロットデバイスを含む例示的アーキテクチャを示す。図１の車両コパイロットデバイスは少なくとも１つのコパイロットデバイス１０６及びオンボード診断（ＯＢＤ）接続１０７を含む。コパイロットデバイス１０６は、車両の表面又は部品（フロントガラスの内面又はダッシュボード又はモータサイクルガスタンクの上面などの）へ結合すること（例えばクランプすること、接着すること、吸引マウントすること、又は他の手段）により、１９９５年後に製造された任意の既存車両内の設置を容易にする。例えば、マウント筐体の上面上の接着ストリップは、コパイロットデバイス１０６を車両のフロントガラスへ取り付けることを容易にし得る。コパイロットデバイス１０６は、ビジネス関連マイレージを追跡する及び／又は車両機能を活性化することなどの運転者の日々のタスクを支援又は増強することを容易にする１つ又は複数のソフトウェアモジュールを有するメモリを含むハードウェアで構成される。

コパイロットデバイス１０６は、１つ又は複数のＯＢＤ接続１０７、１つ又は複数のクライアントデバイス１０２－１０５、アプリケーションサーバ１１６、及び／又はコパイロット管理コンピュータ１１８と通信する。いくつかの実施形態では、コパイロットデバイス１０７は、BLUETOOTH（登録商標）又はWI-FI（登録商標）などの標準規格下で動作する通信手段を含み得る短距離無線ネットワーク１０８を介しクライアントデバイス１０２－１０５及び／又はＯＢＤ接続１０７の１つと通信する。いくつかの実施形態では、コパイロットデバイス１０６は有線を介しクライアントデバイス１０２－１０５及び／又はＯＢＤ接続１０７の１つと通信可能に結合される。いくつかの実施形態では、コパイロットデバイス１０６は、長距離無線通信手段（例えば、ＬＴＥ（４Ｇ移動通信標準規格）などの標準規格下で動作するもの）を含む広域ネットワーク１１０を介しアプリケーションサーバ１１６及び／又はコパイロット管理コンピュータ１１８などのエンティティと通信する。

コパイロットデバイス１０６はＯＢＤ接続１０７へ通信可能に結合する。ＯＢＤ接続１０７は自動車技術協会（ＳＡＥ：Society of Automotive Engineers）Ｊ１９６２などのＯＢＤ－ＩＩ標準規格に準拠するオンボード診断バスとインターフェースするように構成される。例えば、ＯＢＤ接続１０７は、車両内の車両診断のためのＯＢＤ－ＩＩコネクタポートへ結合する。いくつかの実施形態では、ＯＢＤ接続１０７はＯＢＤ又はＯＢＤ－ＩＩコネクタポートに関連する様々な可能なピンレイアウトの表を格納し得る。最も好適には、ＯＢＤ接続１０７は、格納済みピンレイアウトの１つが、格納済みレイアウトに関連するピンの大多数又はすべてのピンの成功裏の使用に基づき車両に対応すると見做されるまで、格納済みピンレイアウトを反復的に採用し、その後、車両に関連付けられた成功裏に格納されたレイアウトの指示子を格納する。いくつかのバージョンでは、ユーザがピンレイアウトを選択してもよいし、又はＯＢＤ接続１０７がユーザからの車両年、製造、又はモデルの入力に基づきピンレイアウトを選択してもよい（ユーザ入力は、コパイロットデバイス１０６へ通信可能に結合する又はＯＢＤ接続１０７へ直接結合するクライアントデバイス１０２－１０５のうちの１つのデバイス上で実行するアプリケーションへ提供され得る）。ＯＢＤ接続１０７は、ＯＢＤ又はＯＢＤ－ＩＩバスを介し車両内に設置されたコンピュータからデータを取得し、当該データ（生の又は修正済み）をコパイロットデバイス１０６へ送信する。いくつかの実施形態では、コパイロットデバイス１０６は、車両に関連する１つ又は複数のフラグ、コード又は状態をリセット又はそうでなければ修正する又は車両の様々な機能性を実施するために、指令（生の又は修正された）を車両コンピュータへ送信するために指令をＯＢＤ接続１０７へ提供する。

コパイロットデバイス１０６は、コパイロットデバイス１０６のハードウェア（例えばプロセッサ）により実行可能であるコンピュータ実行可能指令（例えばコード）を含む。コパイロットデバイス１０６は、電力が供給される限り内部（後向き）及び外部（前向き）映像をループで記録する。ファイルカウント制限及び映像期間設定（例えば、デフォルト設定では３００ファイル及び３分間長映像）に基づき、最も古い映像はファイルカウント制限が満足されるとローカルメモリ内のより新しい映像により置換される。加えて、映像は、捕捉されるとアプリケーションサーバコンピュータ１１６又はコパイロット管理コンピュータ１１８へアップロードされ得る。クライアントデバイス１０２－１０５の１つが、コパイロットデバイス１０６の通信可能インターフェース（有線又は無線）を介しコパイロットデバイス１０６と接続するために使用される場合、様々な機能性が、クライアントデバイス１０２－１０５のうちの１つのデバイスのグラフィックユーザインターフェース（ＧＵＩ）を介し可能にされ得る。例えば、ユーザは、コパイロットデバイス１０６内の記録済みフッテージのサムネイル（ダウンロードのために利用可能）を閲覧し得る。ユーザは、フッテージを閲覧するためにスクロールし得、そしてクライアントデバイス１０２－１０５のうちの１つのデバイスの内部ストレージへダウンロードするためのフッテージを選択し得る。クライアントデバイス１０２－１０５のうちの１つへダウンロードされると、ユーザは、ダウンロードされたフッテージを閲覧する又は視るために又はダウンロードされたフッテージをユーザ（クライアントデバイス１０２－１０５のうちの１つ）又はコパイロットデバイス１０６に関連するクラウドアカウントへアップロードするために異なるタブを選択し得る。クラウドへアップロードされると、ユーザは電子メール又はソーシャルネットワークを介しフッテージを共有し得る。別の例では、ユーザは、クライアントデバイス１０２－１０５のうちの１つのデバイス上で実行するソフトウェアを介しカメラの暗視をターンオン又はオフし得る。

コパイロット管理コンピュータ１１８は、本明細書において説明されるシステムのバックエンド支援を提供する。例えば、コパイロット管理コンピュータ１１８は、クライアントデバイス１０２－１０５及びコパイロットデバイス１０６の論理を支援するために全データベース及びユーザ認証サービスを提供し得る。コパイロット管理コンピュータ１１８は、非同期処理キューと同時に多くのユーザからのユーザ映像アップロードを取り扱う高度スケーラブル且つ頑強サーバレスデータアップロードシステムを提供する。コパイロット管理コンピュータ１１８は、データベースとユーザ認証サービスとの同期により容易にされるプッシュ通知をクライアントデバイス１０２－１０５の１つへ提供し得る。プッシュ通知は、システム全体における非同期処理及び状態変更の開始及び終了に関しクライアントデバイス１０２－１０５の１つを介しユーザに通知する。

いくつかの実施形態では、コパイロット管理コンピュータ１１８はクラウド仮想マシン（例えばＵｂｕｎｔｕサーバを実行する仮想マシン）である。コパイロット管理コンピュータ１１８は、コパイロット管理コンピュータ１１８に関連するドメインの要求を仮想マシンのＩＰアドレスへルーティングするドメインネームシステム（ＤＮＳ：Domain Name System）構成を容易にし得る。いくつかのバージョンでは、バックエンド論理がサーバ（例えば手動で、git hook、又はci/cdにより）へ配備され、サービスがリフレッシュされる。コパイロット管理コンピュータ１１８は、支援データベースへのデータベース接続を維持し得る。コパイロット管理コンピュータ１１８はアプリケーションプログラムインターフェース（ＡＰＩ）要求及び応答をサービスするためにデータを読み出す／書き込む。いくつかの実施形態では、ＡＰＩコールは同期される（ユーザ映像アップロードを除き）。映像アップロードは仮想マシン上で実行する非同期ワーカー・キュー（worker queue）により取り扱われ得る。

いくつかの実施形態では、アプリケーションサーバコンピュータ１１６は、コパイロットデバイス及び／又はコパイロット管理コンピュータ１１８により生成されるデータの消費者である。アプリケーションサーバコンピュータ１１６は、ユーザへ機能性を提供するためにコパイロットデバイス１０６が設置される車両に関する情報を消費し得る。例えば、アプリケーションサーバコンピュータ１１８は、コパイロットデバイス１０６からマイレージ情報を取得し得、そして税務書類を生成するためにこのマイレージ情報を使用し得る。いくつかの実施形態では、アプリケーションサーバコンピュータ１１６は、コパイロット管理コンピュータ１１８と無関係の第三者事業者により操作され得る。

様々な相互作用が、システム１００の説明された部品間で発生し得る。システム１００では、コパイロットデバイス１０６はＯＢＤ接続１０７から車両データを取得する。いくつかの実施形態では、車両データは所定間隔で（例えば２秒毎に）取得され得る。コパイロットデバイス１０６は取得されたデータをローカルメモリ内に格納する。コパイロットデバイス１０６はまた、後向き（内部）カメラ及び前向き（外部）カメラの両方から映像データを取得する。コパイロットデバイス１０６はまた、コパイロットデバイスの１つ又は複数のセンサからデータを取得する。例えば、コパイロットデバイスは、車両内又は車両外のいずれかの温度、場所（例えば全地球測位システム（ＧＰＳ：Global Positioning System）又は全地球航法衛星システム（ＧＮＳＳ：：Global Navigation Satellite System）を介した）、加速度データ、リアルタイムデータ、又は任意の他の好適な情報を取得し得る。コパイロットデバイス１０６はクライアントデバイス１０２－１０５の１つから情報を追加的に受信し得る。次に、コパイロットデバイスはデータを単一データストリームへ合成し得る。例えば、コパイロットデバイスは、センサ及び／又は車両から取得される情報をメタデータとして映像へ付加し得る。これは、解析される際にアライメントされる必要がないように情報をより容易な検索及び解析のために同期させる。

次に、コパイロットデバイス１０６はデータをコパイロット管理コンピュータ１１８及び／又はアプリケーションサーバコンピュータ１１６へ送信する。次に、様々なアプリケーションがこのデータを消費し得る。例示として、車両の運転者が配車サービス（例えばＵｂｅｒ、Ｌｙｆｔなど）により採用される例を考察する。この実例では、運転者は、自らの車両を一日の様々な時間に仕事及び個人的運転の両方のために使用し得る。ユーザのクライアントデバイス１０３－１０５は、乗車サービス情報をユーザへ提供するように動作するモバイルアプリケーションを含み得る。コパイロットデバイス１０６は、モバイルアプリケーションとの相互作用を介しクライアントデバイス１０３－１０５の１つから乗車サービスの指標を受信し得る。これは、他のデータの中でも車両から取得されるオドメータデータと合成され得る。合成された情報がコパイロット管理コンピュータ１１８へ提供されると、コパイロット管理コンピュータ１１８は、映像中に含まれるオドメータデータだけでなく映像のどの部分がビジネス目的に関係するかの指標も識別し得る（例えばクライアントデバイス１０３－１０５から受信されたデータに基づき）。このようにして、コパイロット管理コンピュータ１１８は、個人的目的とビジネス目的とのためのマイレージを自動的に追跡し、線引きし得、そして要求に応じて（例えば税目的のための）ステートメントを提供し得る。ＧＰＳ位置データはマイレージを追跡するためにも使用される可能性があるがこのような位置データはしばしば不正確であり得るということに注意すべきである。例えば、ＧＰＳアプリケーションにおいて報告する定期的位置のために、距離は通常、２つの検出された位置間の直線として測定される。これはしばしば、ＧＰＳアプリケーションがコーナを考慮しようとしないので車両がターンを何回か行う際に不正確性に至り得る。その結果、前述の方法でオドメータデータを使用すると、マイレージを追跡する際にＧＰＳ位置データを使用するよりも高い精度が得られる可能性がある。

いくつかの実施形態では、提供されるデータは機械学習モデル（例えば深層学習／認識ネットワークを使用する機械学習アルゴリズム）をトレーニングするために使用され得る。例えば、機械学習モデルは、車両データからのユーザ入力（例えば、フロントガラスワイパーをオンする、ライトをオンする、等々のための）を１つ又は複数の映像条件へ対応させるようにトレーニングされ得る。このようにして、様々な条件に適切な車両データを複製することができるトレーニング済み機械学習モデルが生成され得る。次に、このトレーニング済み機械学習モデルはコパイロットデバイス１０６へ提供され得る。コパイロットデバイス１０６は次に、現在の映像配信を介し様々な条件を検知すると、ユーザ入力をＯＢＤ接続１０７を介し複製することができる。これは、コパイロットデバイス１０６が車両のいくつかの機能を「学習」及び自動化することを可能にする。例示として、コパイロットデバイス１０６は、どのレベルのフロントガラスワイパー活動が、前向きカメラから捕捉された映像内で検出された雨に基づき活性化されるべきかを、トレーニング済み機械学習モデルを使用することにより判断し得る。第２の実例では、コパイロットデバイス１０６は、どの閾値光レベルで車両ヘッドライトが活性化されるべきかを、トレーニング済み機械学習モデルを使用することにより判断し得る。

図２は、本開示のいくつかの実施形態によるコパイロットデバイスを含むように実装され得る例示的システムアーキテクチャの様々な部品を示すブロック図を描写する。システムアーキテクチャ２００に含まれるのは、コパイロットデバイス１０６、コパイロット管理コンピュータ１１８及びクライアントデバイス２０２である。コパイロットデバイス１０６及びコパイロット管理コンピュータ１１８は、図１に関し説明されたそれぞれのコパイロットデバイス１０６及びコパイロット管理コンピュータ１１８の一例であり得る。クライアントデバイス２０２は図１に関して説明したクライアントデバイス１０２－１０５の１つのデバイスの例であり得る。

コパイロットデバイス１０６はプロセッサ２０４及びコンピュータ可読メモリ２０６を含み得る。プロセッサ２０４はマイクロコントローラなどの中央処理ユニット及び／又は専用コントローラであり得る。コパイロットデバイス１０６はさらに、１つ又は複数のカメラ２０８、１つ又は複数のセンサ２１０、ＯＢＤ接続２１２、及び通信インターフェース２１４を含む。

１つ又は複数のカメラ２０８は前向き（外部）カメラだけでなく後向き（内部）カメラも含み得る。後向きカメラは、車両の外側及び背後の領域だけでなく車両内の運転者及び乗客の映像及び／又は画像を捕捉し得る（例えば車両のリヤウインドウを介し）。前向きカメラは車両の前の領域の映像及び／又は画像を捕捉し得る。いくつかの実施形態では、カメラ群の１つ又は複数のカメラにより取得された映像はニューラルネットワークプロセッサを介し処理され得る。

センサ２１０は、コパイロットデバイス１０６が位置する環境に関する情報を取得することができる任意のセンサを含み得る。非限定的例として、センサ２１０は、コンパス、加速度計、生体測定センサ、リアルタイムクロック、温度センサ、ジャイロスコープ、磁力計、及び／又は全地球測位システム（ＧＰＳ）センサを含み得る。

ＯＢＤ接続２１２は、マイクロコントローラ（例えばモジュール上のBluetooth low energy Systemを有するＰＩＣ１８Ｆ２４８０マイクロコントローラ）と結合された無線ＯＢＤ又はＯＢＤ－ＩＩ又は有線コネクタを含む。ＯＢＤ接続２１２は、ＣＡＮ送受信器（例えばＳＮ６５ＨＶＤ２３３－ＨＴ）を含むＰＣＢにより標準ＯＢＤ－ＩＩ ＰＩＤプロトコル及びＣＡＮメッセージの直接読み取り／書き込みの両方を容易にする。いくつかのバージョンでは、マイクロコントローラはデータストリーム及び無線通信を管理する。ＯＢＤ接続２１２は、ユーザが複数のＯＢＤ接続されたモジュールを同時に使用することを可能にするために車両内に差し込む雄コネクタの反対端に標準的雌ＯＢＤコネクタを含み得る。ＯＢＤ接続は車両のコントローラエリアネットワーク（ＣＡＮ）バスと結合し得る。

通信インターフェース２１４は、コパイロットデバイス１０６が長距離及び短距離通信を行うことを可能にする無線及び／又は有線通信送受信器部品を含み得る。したがって、通信インターフェース２１２は無線通信事業者ネットワーク、ローカルエリアネットワーク、ピア・ツー・ピアネットワークなどを介しデータを送受信するために使用され得る。いくつかの実施形態では、通信インターフェース２１２は、コパイロットデバイス１０６がネットワークとのテレコミュニケーション及びデータ通信を行うことを可能にするセルラモデムだけでなくコパイロットデバイスが短距離無線通信リンクを介し他のデバイスへ接続することを可能にする短距離送受信器も含み得る。コパイロットデバイス１０６はさらに、コパイロットデバイス１０６がアプリケーションを実行しそしてテレコミュニケーション及びデータ通信の機能を提供することを可能にする信号変換器、アンテナ、ハードウェア復号器及び符号器、グラフィックプロセッサ、ユニバーサル集積回路カード（ＵＩＣＣ：universal integrated circuit card）、ｅＵＩＣＣなどを含み得る。

メモリ２０６はコンピュータストレージ媒体などのコンピュータ可読媒体を使用することにより実装され得る。コンピュータ可読媒体は少なくとも２つのタイプのコンピュータ可読媒体（すなわちコンピュータストレージ媒体及び通信媒体）を含む。コンピュータストレージ媒体は、コンピュータ可読指令、データ構造、プログラムモジュール、又は他のデータなどの情報の格納のための任意の方法又は技術で実装される揮発性、不揮発性、着脱可能、及び着脱不能媒体を含む。コンピュータストレージデバイス媒体は、限定しないが、ＲＡＭ、ＤＲＡＭ、ＲＯＭ、ＥＥＰＲＯＭ、フラッシュメモリ又は他のメモリ技術、ＣＤ－ＲＯＭ、ディジタル多用途ディスク（ＤＶＤ）又は他の光ストレージデバイス、磁気カセット、磁気テープ、磁気ディスクストレージデバイス若しくは他の磁気ストレージデバイス、又はコンピューティングデバイスによるアクセスのための情報を格納するために使用され得る任意の他の非伝送型媒体を含む。対照的に、通信媒体は、コンピュータ可読指令、データ構造、プログラムモジュール、又は搬送波などの変調されたデータ信号内の他のデータ、又は他の伝送メカニズムを具現化し得る。

コパイロットデバイス１０６の１つ又は複数のプロセッサ２０４及びメモリ２０６は１つ又は複数のソフトウェアモジュールから機能性を実装し得る。このようなソフトウェアモジュールは、特定タスクを行う又は特定データタイプを実装するためにプロセッサ２０４により実行されるルーチン、プログラム指令、オブジェクト、及び／又はデータ構造を含み得る。１つ又は複数のソフトウェアモジュールは、個人又はビジネスのいずれかに関係する旅行を自動的に追跡及びカテゴリ化するマイル節約器モジュール２１４、潜在的セキュリティ脅威に関連する情報を捕捉しログ記録するセキュリティモジュール２１６、１つ又は複数の潜在的車両課題を判断する機械的モジュール２１８、及び車両の機能の少なくとも一部を自動化するコパイロットモジュールを含み得る。

マイル節約器モジュール２１４は旅行を追跡しそしてこれを個人又はビジネスのいずれかに関係するとして類別化するように構成され得る。いくつかの実施形態では、マイル節約器モジュール２１４はビジネス又は個人追跡事象の指標を受信する。例えば、コパイロットデバイス１０６はクライアントデバイス２０２と通信状態にあり得る。この例では、ユーザは配車サービス（例えばＵｂｅｒ、Ｌｙｆｔなど）に勤めている可能性があり、クライアントデバイス２０２は、この配車サービスのためのモバイルアプリケーションと相互作用するためにユーザにより独立に使用され得る。この例では、乗車要求が受理されたということを判断すると、配車サービスに関連するモバイルアプリケーション（又はウィジェット又はエクステンション）は、クライアントデバイス２０２にビジネス事象が開始したということをコパイロットデバイス１０６へ指示させ得る。次に、コパイロットデバイス１０６は、ビジネス事象の開始を指示し得る（例えばデータファイルへ付加されるタイムスタンプ又はマーカを介し）。同様に、コパイロットデバイスはまた、ビジネス事象の終了の指標を受信し得る。加えて、マイル節約器モジュール２１４は、ＯＢＤ接続１０７を介し一定間隔で車両からオドメータデータを取得する。オドメータ情報はビジネス事象の開始時及び終了時の両方において判断され得る。次に、ビジネス事象の開始時と終了時とにおけるオドメータ情報間の差はビジネス事象に関連するマイルの量であると判断される。次に、ビジネス事象間のオドメータ情報の差は個人的旅行に関連するマイルの量であると判断される。このようにして、マイル節約器モジュール２１４はビジネスマイレージ及び個人的マイレージの両方を精確なやり方で且つユーザ関与無しに追跡する。いくつかの実施形態では、マイル節約器モジュール２１４は、ビジネス及び／又は個人的旅行詳細のログをクライアントデバイス２０２又は別のデバイスへ提供し得る。

セキュリティモジュール２１６は潜在的セキュリティ脅威に関連する情報を捕捉しログ記録するように構成され得る。いくつかの実施形態では、セキュリティモジュール２１６は、１つ又は複数の事象を検知するとカメラ２０８から映像を捕捉し得る。このような事象は、車両との衝突又は衝撃、車両ドアの開放、動き検出器の活性化、又は任意の他の好適な事象（例えばＯＢＤ接続１０７を介する）を含み得る。事象を検出すると、セキュリティモジュール２１６はカメラ２０８から映像又は画像を捕捉してこれをコパイロット管理コンピュータ１１８へ送信し得る。映像又は画像はタイムスタンプと関連付けられ得る。

機械的モジュール２１８は１つ又は複数の潜在的車両問題を判断するように構成され得る。いくつかの実施形態では、機械的モジュール２１８は車両の状態情報を含む車両情報をＯＢＤ接続１０７を介し受信する。いくつかの実施形態では、ＯＢＤ接続１０７を介し受信された信号は、ここから信号が受信された車両の判断されたタイプに基づき解釈され得る。例えば、コパイロットデバイスは、コパイロットデバイス１０６が設置される車両のタイプの指標を格納し得る。車両から信号を受信すると、機械的モジュール２１８は、受信された信号の一部を車両タイプに基づき状態マッピング内の特定状態へマッピングし得る。機械的モジュール２１８は状態情報をクライアントデバイス２０２へ送信し得る。

コパイロットモジュール２２０は車両の機能の少なくとも一部を自動化するように構成され得る。いくつかの実施形態では、コパイロットモジュール２２０は、カメラ２０８からの映像及び／又は画像、センサ２１０から収集されたデータ、及びＯＢＤ接続１０７から収集された車両データ、又は他の好適なデータを含む様々なデータを取得し得る。収集されたデータは次に、データが収集された時刻に基づきアライメントされる単一データファイル内へ合成される。一連のこれらのデータファイルが生成され得る。コパイロットモジュール２２０は、さらに処理するためにこれらのデータファイルをコパイロット管理コンピュータ１１８へ提供し得る。いくつかの実施形態では、コパイロットモジュール２２０は、提供されたデータに関してトレーニングされた機械学習モデルを受信し得る。これらの実施形態の少なくともいくつかでは、トレーニングされた機械学習モデルは、格納され、そして様々な車両機能を自動化するために使用され得る。例えば、機械学習モデルは、対応センサデータだけでなく様々なユーザ行為（ＯＢＤ接続１０７上で収集された車両データを介し検出された）に関してトレーニングされ得る。例示として、本システムは、ユーザが特定光レベル閾値において車両ヘッドライトを活性化したということを検出し得る。この例では、対応センサデータを受信すると、コパイロットデバイスは、ユーザが通常は取るであろう行為を自動的に取り得る。これは、コパイロットデバイス１０６により通常は検出される信号をＯＢＤ接続へ複製することに関与し得る。

クライアントデバイス２０２は、本明細書において説明されるようにコパイロットデバイス１０６又はコパイロット管理コンピュータ１１８の少なくとも１つと相互作用することができる任意の個人的デバイスであり得る。クライアントデバイス２０２は、通信インターフェース２１６だけでなくプロセッサ及びコンピュータ可読メモリも含み得る。クライアントデバイス２０２のコンピュータ可読メモリは、クライアントデバイス２０２とコパイロットデバイス１０６及び／又はコパイロット管理コンピュータ１１８との間の相互作用を可能にするモバイルアプリケーション２１８を含み得る。クライアントデバイス２０２上のモバイルアプリケーション２１８の実行は、クライアントデバイス２０２に、モバイルアプリケーション２１８に関連するグラフィックユーザインターフェース（ＧＵＩ）をインスタンス化させ得る。

モバイルアプリケーション２２４は、クライアントデバイス２０２のユーザがコパイロットデバイス１０６と相互作用することを可能にし得る。例えば、通信セッションがそれぞれの通信インターフェース２２２、２１６を介しコパイロットデバイス１０６とクライアントデバイス２０２との間で確立され得る。いくつかの実施形態では、モバイルアプリケーション２２４は、コパイロット管理コンピュータ１１８上に実装される１つ又は複数のモジュールを介し提供される機能性へのアクセスをユーザに提供し得る。

コパイロット管理コンピュータ１１８は、コパイロットデバイス１０６とクライアントデバイス２０２上に設置されるモバイルアプリケーション２２４とのバックエンド支援を提供するコンピュータ又は一群のコンピュータであり得る。コパイロット管理コンピュータ１１８は、コパイロットデバイス１０６からデータを受信し、そしてこのデータの少なくとも一部をバックエンドデータストレージ２２６内に格納する。受信されたデータは映像データ、車両情報、センサデータを含み得る。バックエンドデータストレージ２２６内に格納されたデータは、コパイロット管理コンピュータ１１８により又は第三者事業者により消費され得る。いくつかの実施形態では、コパイロットデバイス１０６からコパイロット管理コンピュータ１１８において受信されたデータの少なくとも一部は、少なくともいくつかの機能性を自動化するためにコパイロットデバイス１０６上に実装され得る機械学習モデルをトレーニングするために使用される。

モジュール２１４－２２０のそれぞれはコパイロットデバイス１０６上に実装されて描写されるが、それらのモジュールに関し説明された機能性の少なくとも一部又はモジュール自体はその代りにコパイロット管理コンピュータ１１８上に実装され得るということに留意されたい。

図３は、少なくともいくつかの実施形態によるコパイロットデバイス内に含まれ得るいくつかの例示的ハードウェア部品のブロック図を描写する。描写されるように、ハードウェア部品はシステム・オン・チップ（ＳＯＣ：system on chip）３０２を含み得る。好適なＳＯＣ３０２のいくつかの非限定的例は、ＢＣＭ２８３７Ｂ０システム・オン・チップに基づくRaspberry Pi ３Ａ＋ボードを含み得る。ハードウェア部品はＳＯＣ３０２へ通信可能に結合されるいくつかの部品を含み得る。

ＳＯＣ３０２は、クライアントデバイス又はコパイロットの管理コンピュータと通信することを容易にするために無線インターフェース３０４と通信可能に結合される。無線インターフェース３０４は、短距離通信（例えば商標WI-FI（登録商標）又はBLUETOOTH（登録商標）下の無線標準規格に適合するもの）を実装するためのモジュール及び長距離通信（例えば４Ｇ無線標準規格に適合するもの）を実装するためのモジュールを含み得る。

ＳＯＣ３０２は、情報を車両運転者へ提供するためだけでなく運転者音声入力を受信するために音声インターフェース３０６と通信可能に結合される。音声インターフェース３０６は、ステレオマイクロホンなどの音声入力部品だけでなく増幅器（アンプ）及びスピーカなどの音声出力部品も含み得る。

ＳＯＣ３０２はいくつかのカメラデバイスを含むカメラインターフェース３０８と通信可能に結合される。特に、カメラインターフェース３０８は、車両の内側の映像又は画像を捕捉する少なくとも内部カメラ（図３内のＩｎｔ Ｃａｍ）及び車両の前部の外の映像又は画像を捕捉する外部カメラ（図３内のＥｘｔ Ｃａｍ）を含む。いくつかの実施形態では、カメラインターフェースは複数の外部カメラを含み得る。例えば、カメラインターフェース３０８は偏心ステレオカメラを含み得る。この例では、カメラインターフェース３０８は、外部カメラのものとは異なる角度から映像又は画像を捕捉することができる左右のステレオカメラを含み得る。いくつかの実施形態では、ステレオカメラを介し捕捉された映像又は画像は、ニューラルネットプロセッサ（例えばMydriad X）を使用することにより処理され得る。ニューラルネットプロセッサは、人間の脳に関しモデル化されたコンピューティングプロセッサユニット（ＣＰＵ：computing processor unit）である。このような実施形態は、処理された映像及び画像に対し人工知能機能（例えば物体認識）を行うために必要とされる資源を著しく低減する。いくつかの実施形態では、カメラインターフェース３０８の複数のカメラは様々な手段を使用することによりＳＯＣ３０２へ結合され得る。例えば、１つ又は複数の内部カメラはＵＳＢを介しＳｏＣへ結合され得る一方で、１つ又は複数の外部カメラはＭＩＩＰＩ ＣＳＩを介しＳｏＣへ結合され得る。

ＳＯＣ３０２は追加メモリ３１０と通信可能に結合される。メモリ３１０は揮発性及び不揮発性メモリを含むために任意の好適なコンピュータ可読媒体を含み得る。非限定的例として、追加メモリ３１０はフラッシュメモリ又はダイナミックランダムアクセスメモリ（ＤＲＡＭ）を含み得る。いくつかの実施形態では、追加メモリはセキュアディジタル（ＳＤ：secure digital）カードなどの着脱可能メモリストレージを含み得る。

ＳＯＣ３０２はいくつかのセンサ３１２と通信可能に結合される。例えば、いくつかのセンサ３１２は、温度センサ、リアルタイムクロック（ＲＴＣ）、慣性測定ユニット（ＩＭＵ）又は任意の他の好適なセンサを含み得る。ＩＭＵは、加速度計、ジャイロスコープ、そして時に磁力計の組み合わせを使用することにより体の特定力、角速度、及び時に体の配向を測定し報告する任意の電子デバイスであり得る。

ＳＯＣ３０２は、電力をコパイロットデバイス１０６へ供給する電力モジュール３１４と通信可能に結合される。電力モジュール３１４はコパイロットデバイス１０６へ供給される電力を管理する電力管理集積回路（ＰＭＩＣ：power management integrated circuit）を含み得る。いくつかの実施形態では、電力は、図１に関し説明されたＯＢＤ接続１０７などのＯＢＤ接続からコパイロットデバイス１０６へ供給され得る。ＰＭＩＣは電力ＵＳＢコードを介しＯＢＤ接続へ接続し得る。いくつかの実施形態では、電力モジュール３１４は電池又は他のバックアップ電源を含み得る。いくつかのケースでは、電池は、ＯＢＤ接続から充電され得、そしてコパイロットデバイス１０６がＯＢＤ接続から切断されると電力をコパイロットデバイス１０６へ供給し得る。

ＳＯＣ３０２は、状態指示子を出力する光出力モジュール３１６と通信可能に結合される。光出力モジュール３１６は発光ダイオード（ＬＥＤ）駆動器を含み得る。いくつかの実施形態では、光出力モジュール３１６はいくつかの異なる種類のＬＥＤを含み得る。例えば、光出力モジュール３１６は、ＩＲ光により乗客を照明することができる赤外線（ＩＲ）ＬＥＤを含み得る。別の例では、光出力モジュール３１６は、状態指標をユーザへ提供する赤／緑／青（ＲＧＢ）光ＬＥＤを含み得る。いくつかの実施形態では、ＬＥＤ部品はＳＯＣ３０２のピン（例えばＧＰＩＯピン）により制御される。

ＳＯＣ３０２は全地球航法衛星システム（ＧＮＳＳ）モジュール３１８と通信可能に結合される。ＧＮＳＳモジュールは位置データをＳＯＣ３０２へ提供する。

１つの非限定的例では、コパイロットデバイス１０６のＳＯＣ３０２は、Raspberry Pi用に構築されたRaspbianと呼ばれるDebianベースLinux distro（例えば、埋め込み型Linuxボード）を実行する。他のバージョンでは、DistroはＹｏｃｔｏプロジェクトを使用することにより構成され得る。いくつかのバージョンでは、ロードされたスクリプト（例えばpythonスクリプト）はカメラ、サムネイル、ガーベッジコレクタ又はサーバスクリプトのうちの１つ又は複数を含み得る。いくつかのバージョンでは、スクリプトは、様々なことを容易にするsystemdサービスとして実行又は管理される。これらのスクリプトが実行する様々なＡＰＴ及びｐｉｐパッケージに加えて、コード配備プロセス（code deployment process）は様々なLinux daemonソフトウェア及びツールを構成することを含む。hostapd構成は、コパイロットデバイス１０６がそれ自身の無線ネットワーク（クライアントデバイスが接続し得る）を同報通信することを容易にする。いくつかのバージョンでは、bluez.service又はrfcomm規則が、ＯＢＤ接続とコパイロットデバイス１０６との間の接続を構成するように設定される。

図４は、いくつかの実施形態に従って実装され得る例示的コパイロットデバイスのいくつかの異なる図を描写する。具体的には、図４Ａは例示的コパイロットデバイスの等角上面図を描写する。図４Ｂは例示的コパイロットデバイスの等角側面図を描写する。図４Ｃは例示的コパイロットデバイスの等角底面図を描写する。図４Ｄは例示的コパイロットデバイスの等角斜視図を描写する。図４に描写される例示的コパイロットデバイス１０６は図１に関し説明されたコパイロットデバイス１０６の一例である。

例示的コパイロットデバイス１０６は主筐体４０２を含む。主筐体４０２は既存車両（例えば、特約販売店から購入されそして走り去られた中古車両又は車両）へ結合する。主筐体４０２は内部カメラアセンブリ４０４及び外部カメラアセンブリ４０６へ結合される。内部カメラアセンブリ４０４は少なくとも１つのカメラを含む。外部カメラアセンブリ４０６は１つ又は複数の追加カメラ（例えば２、３又は４以上のカメラ）及び暗視を容易にする１つ又は複数の赤外線発光ダイオード（ＬＥＤ）を含む。

図５は例示的コパイロットデバイスの等角投影分解図を描写する。具体的には、図５は主筐体４０２、内部カメラアセンブリ４０４及び外部カメラアセンブリ４０６のそれぞれの分解図を描写する。図５に描写するように、主筐体４０２、内部カメラアセンブリ４０４及び外部カメラアセンブリ４０６のそれぞれは蝶番５０２を介し接続され得る。

主筐体４０２及びカメラアセンブリ４０４、４０６は、主筐体４０２が車両へ結合された後に主筐体に対してカメラアセンブリ４０４、４０６の角度を調整することを容易にするために蝶番動作可能に互いに結合される。いくつかのバージョンでは、カメラアセンブリ４０４、４０６は、カメラアセンブリ４０４、４０６をそれぞれの主筐体４０２がその中に取り付けられた複数の異なる車両内に取り付けることを容易にするために、主筐体４０２へ分離可能且つ蝶番動作可能に結合される。例えば、蝶番５０２は、主筐体４０２の第１の部品及びカメラアセンブリ４０４又は４０６の第２の部品のうちの１つ又は複数により画定され得、第１及び第２の部品は分離可能に互いに結合される（例えばスナップ、磁石、ピンなどにより）。第１及び第２の部品は、ユーザがいかなるワイヤ又はワイヤ端子も接続又は切断する必要無くカメラアセンブリ４０４又は４０６と主筐体４０４、４０６との間でデータ及び電力を転送することを容易にする対応電気的コンタクトを有する。いくつかの実施形態ではコパイロットデバイス１０６は外部ワイヤを欠き得るということに留意されたい。

いくつかの実施形態では、主筐体４０２、内部カメラアセンブリ４０４、外部カメラアセンブリ４０６のそれぞれは、内部カメラアセンブリ４０４が外部カメラアセンブリ４０６とは独立に回転又はそうでなければ調整され得るようなやり方で蝶番５０２を介し接続され得る。蝶番５０２の回転摩擦は、蝶番内の摩擦力を増加又は低減する蝶番の部品（例えば、蝶番の中心を軸方向に貫通しそして６－３２ Nylockナットにより適所に保持される６－３２穴付きボルト（ＳＨＣＳ：socket head cap screw））の操作を介し調整可能にされ得る。いくつかのバージョンでは、外部カメラアセンブリ４０６内の１つ又は複数の外向きカメラの配向に関係する回転摩擦は、座面としての嵌合鋼及びシリコーンワッシャを介し増加及び調節される。いくつかの実施形態では、鋼ワッシャが蝶番の主筐体側へ接着され、そしてシリコーンワッシャは蝶番の外部カメラアセンブリ側へ接着される。内部カメラアセンブリ４０４内の１つ又は複数の内向きカメラの配向に関係する回転摩擦は、ナイロンワッシャと取り付け用プラスチック（fitted plastic：例えば、マルチジェットフュージョンナイロン（MultiJet Fusion Nylon）又はポリエチレンテレフタレートグリコール（ＰＥＴＧ：Polyethylene Terephthalate Glycol）を使用することにより３Ｄ印刷されたプラスチック）とを嵌合することを介し低減及び調節される。ナイロンワッシャは内部カメラアセンブリ４０４筐体の外側へ圧入される。いくつかのバージョンでは、蝶番５０２はピン蝶番である。

主筐体４０２又はコパイロットデバイス１０６のカメラアセンブリ４０４、４０６のうちの１つ又は複数は論理実行回路構成（例えば図３に関し説明されたハードウェア部品）を含む。主筐体４０２又はカメラアセンブリ４０４、４０６のうちの１つ又は複数は電源（例えば、外部電源から電池を充電する電池充電器、又は車両内の電源へ結合する電力変換器）を含む。いくつかの実施形態では、ＯＢＤ接続はまた、コパイロットデバイスの電力がオンボード診断バスを介し車両から引き出される電源として働き得る。いくつかの実施形態では、ＲＧＢ ＬＥＤが、デバイス状態又は他の情報（例えば映像データの評価に基づくレーンドリフト通知、盗難防止、又は強盗通知）をユーザへ伝達することを容易にするために主筐体内に配置され得る。いくつかの実施形態では、コパイロットデバイス１０６は、運転者散漫を低減することを容易にするためのいかなるディスプレイ又はユーザインターフェース制御装置（例えば触覚的ボタン又は他の制御装置）も欠く。

主筐体蓋が主筐体本体へ結合される（例えば、２つのＭ２．５×１０ｍｍ ＳＨＣＳ及びクリップを使用することにより結合される）。主筐体の蓋は、コパイロットデバイス１０６を車両へ結合することを容易にする１つ又は複数のマウント（例えば、コパイロットデバイス１０６を車両のフロントガラスへ取り付けるフォームテープなどのレーザカット3M Very High Bond（ＶＨＢ）接着剤）を含み得る。接着剤の量は、車両への取り付け及びそれからの取り外しをより容易にするために、そしてフロントガラスへ取り付けられる際の気泡を低減してフロントガラスを通してロゴを可視状態のままにするために最小化される。

内部カメラアセンブリ４０４は、前進する際に車両内の活動そしてまた車両の進行方向の反対側の車両外（例えば、車両のリヤウインドウの外）の活動の映像を記録することを容易にする１つ又は複数の後向き内部カメラを収容する。後向きカメラは広角カメラであり得る。いくつかのバージョンでは内部カメラ、熱パッド及びヒートシンクは、カメラアセンブリ４０４の内側に取り付けられ、そしてａｘｉａｌ ６－３２ ＳＨＣＳなどの蝶番５０２の部品により固定される。ワッシャが内部カメラアセンブリ４０４の筐体の側面に取り付けられる。

外部カメラアセンブリ４０６は、前進する際に車両の進行方向の車両外の活動の映像を記録することを容易にする１つ又は複数の前向き外部カメラを収容する。いくつかの実施形態では、外部カメラアセンブリ４０６の外部カメラ筐体はカメラ筐体の前面を画定する正面壁（例えばアクリル壁）を含む。正面壁は前向き外部カメラに対し半透明又は透明である。正面壁は、正面壁とカメラ筐体の本体とを結合することを容易にするようにカメラ筐体の本体と相互作用する機械加工済みリップをその周縁の周りに有し得る。カメラ筐体の内部は光干渉を制限するためにペイントで塗られる又はそうでなければ暗色（例えば黒色）により着色され得る。各カメラのマウントはカメラ筐体の内側（正面壁の内面など）へ結合（例えば、接着）される。いくつかのバージョンでは、カメラ筐体の１つ又は複数の後面は、すべての乗客の顔全体にわたる赤外線光の拡散を最大化するためにそれぞれの角度で配向される各赤外線ＬＥＤの穴（例えば、８５０ｎｍ赤外線ＬＥＤに適合する４つの穴）を画定する。カメラ筐体により画定される穴は、外部カメラアセンブリ４０６から主筐体４０２へワイヤを渡すのを容易にするためにカメラ筐体近くの頂部上に配置され得る。

いくつかの実施形態では、カメラ筐体又は主筐体の１つ又は複数は、１つ又は複数の筐体をヒートシンクとして働かせることを容易にする材料を含む。例えば、１つ又は複数の筐体は、１つ又は複数の筐体が受動的ヒートシンクとして働くことを容易にするために陽極酸化アルミニウムで形成され得る。

図６は、いくつかの実施形態に従って実装され得る着脱可能基部を有する例示的コパイロットデバイスの複数の図を描写する。いくつかの実施形態では、コパイロットデバイスは、車両に取り付ける基部部品６０４だけでなくハードウェア部品の少なくとも一部も含む主筐体６０２で構成され得る。

少なくともいくつかの実施形態では、主筐体６０２は基部部品６０４へ着脱可能に接続され得る。例えば、主筐体６０２及び基部部品６０４は、対応雌データポートコネクタ６１０及びラッチ凹部６１２へ接続する雄データポートコネクタ６０６及び固定用ラッチ６０８を介し接続可能かもしれない。これは、基部部品６０４が車両内に半恒久的に取り付けられ得、且つ主筐体が車両から取り除かれ得るように主筐体６０２が基部部品６０４へ着脱可能に接続されることを可能にする。これは、コパイロットデバイスのユーザが、その窃盗を防止するために車両から主筐体を取り除くことと、設置された基部部品６０４をそれぞれが含む複数の車両と共に単一主筐体６０２を使用することとを可能にするので有利である。

図６に描写するように、主筐体６０２は上記図３に関し説明された、いくつかのハードウェア部品を含み得る。例えば、主筐体６０２の前向き側（例えば車両の前部に面する側）は、車両の前部の外側から映像又は画像を捕捉するように構成された、いくつかの外部カメラ６１４（ａ－ｃ）を含み得る。外部カメラ６１４（ａ－ｃ）は上記図３に関し説明された外部カメラ及びステレオカメラ（Ｌ及びＲ）に対応し得る。「複数の前向きカメラ６１４（ａ－ｃ）の使用はコパイロットデバイスが、そうでなければ単一カメラの使用を介し利用可能でない可能性がある様々な深度感知技術を使用することを可能にする」ということに注意すべきである。

別の例では、主筐体６０２の後向き側（例えば車両の内部に面する側）は、車両内の１又は複数の人（例えば、運転者及び／又は乗客）を含むために車両の内部の映像又は画像を捕捉するように構成された内部カメラ６１６を含み得る。内部カメラ６１６は上記図３に関し説明された内部カメラに対応し得る。いくつかの実施形態では、主筐体６０２の後向き側はまた、赤外線光を車両の内部へ発射するように構成されたＩＲ ＬＥＤエミッタ６１８（ａ－ｂ）を含み得る。これらの実施形態では、内部カメラ６１６は、自然光が殆ど無いシナリオにおいて（例えば夜に）このような像が捕捉されることを可能にするこの赤外線光を使用することにより映像又は画像を捕捉することができるかもしれない。

いくつかの実施形態では、主筐体６０２は、追加の電子デバイス、モジュール及び／又はセンサがコパイロットデバイスへ接続されることを可能にするポート６２０（ａ－ｂ）又は他の接続手段を含み得る。これらのポート６２０（ａ－ｂ）を介し受信されるデータは、コパイロットデバイスに含まれるセンサから受信されるデータと同様なやり方で処理され得る。コパイロットデバイスはまた、コパイロットデバイスが電源オン又はオフにされるようにする電源ボタン６２２を含み得る。

図７は、いくつかの実施形態による例示的コパイロットデバイスを介しデータを処理するための例示的プロセスを示す流れ図を描写する。プロセス７００は、その各操作がハードウェア、コンピュータ指令又はそれらの組み合わせで実施され得る一連の操作を表す論理流れ図として示される。コンピュータ指令の文脈では、操作は、１つ又は複数のコンピュータ可読ストレージ媒体上に格納されたコンピュータ実行可能指令であって１つ又は複数のプロセッサにより実行されると同操作を行うコンピュータ実行可能指令を表し得る。一般的に、コンピュータ実行可能指令は、特定機能を行う又は特定データタイプを実装するルーチン、プログラム、オブジェクト、構成要素、データ構造などを含む。操作が説明される順番は、制限として解釈されるように意図されていなく、そして説明された操作のうちの任意数の操作は、省略され得る、又は本明細書に説明される当該プロセス及び任意の他のプロセスを実施するために任意の順番で及び／又は並列に合成され得る。

プロセス７００のいくつか又はすべて（又は本明細書において説明される任意の他のプロセス、又は変形形態及び／又はそれらの組み合わせ）は、実行可能指令により構成される１つ又は複数のコンピュータシステムの制御下で行われ得、そしてコード（例えば実行可能指令、１つ又は複数のコンピュータプログラム又は１つ又は複数のアプリケーション）として実装され得る。少なくとも１つの実施形態によると、図７のプロセス７００は、図１に示すコパイロットシステムの１つ又は複数の要素により行われ得る。例えば、プロセス７００は図１に関して説明したコパイロットデバイス１０６により行われ得る。コードは、例えば１つ又は複数のプロセッサにより実行可能な複数の指令を含むコンピュータプログラムの形式で、コンピュータ可読ストレージ媒体上に格納され得る。コンピュータ可読ストレージ媒体は非一時的なものでよい。

ブロック７０２において、プロセス７００は、データがコパイロットデバイスにより受信されることを含む。いくつかの実施形態では、データは、コパイロットデバイスが設置される（例えばＯＢＤ接続を介し）車両、コパイロットデバイス内に含まれるセンサ、及びコパイロットデバイス内に含まれるカメラから受信される情報を含み得る。いくつかの実施形態では、データは常時受信され得る。例えば、コパイロットデバイスは、デバイスが電源へ接続されている限り（コパイロットデバイスが設置された車両のエンジンが切られた場合ですら）カメラの１つ又は複数から映像データを受信し続け得る。データは、特定事象を識別するために受信されると処理され得る。いくつかの実施形態では、これは、特定タイプの事象を検出するために、データから識別された１つ又は複数の条件と当該特定タイプの事象を示す条件とを比較することに関与する。

判定ブロック７０４において、プロセス７００は、受信されたデータから識別された１つ又は複数の条件がこのようなセキュリティ事象を示す条件に整合するかどうかを判断することによりセキュリティ事象を検出することを含む。例えば、コパイロットデバイスは、潜在的セキュリティ事象を示す１つ又は複数の条件の指標を格納し得る。このような事象は非限定的例として、キーが存在しないときの車両の１つ又は複数のドアの開放（ＯＢＤ接続を介し受信されたドア開放指示器信号を介し検出される）、車両に動力が供給されていないときの車両の移動（衝突又は衝撃を指示し得る）、ガラスの破壊の音と高度に類似している受信された音声信号、動き検出器の活性化、又は車両の潜在的セキュリティ漏洩の任意の他の好適な指標を含み得る。コパイロットデバイスは車両が現在オフあってもセキュリティ事象を検出し得るということに注意すべきである。

ブロック７０６では、潜在的セキュリティ事象を検知すると（判定ブロック７０４からの「はい」）、プロセス７００は潜在的セキュリティ事象を記録することを含む。これは、内部カメラ及び／又は外部カメラから映像を捕捉することと、現在の時刻及び他の情報（例えばセキュリティ問題タイプ）を含むように映像を修正することとに関与し得る。次に、セキュリティ事象の記録（例えば修正済み映像）は、コパイロットデバイス内に格納され、クライアントデバイスへ送信される、及び／又はコパイロット管理コンピュータへ送信される。セキュリティ事象の記録は直ちに又は後の時点に別の電子デバイスへ送信され得る。例えば、セキュリティ事象の記録は、ダウンロードされるまでコパイロットデバイス上に格納され得る、又は別の電子デバイスへリアルタイムで送信され得る（例えば、セキュリティ事象が発生しているので）。潜在的セキュリティ事象が検出されなければ、このプロセスはセキュリティ事象を記録することなくブロック７０８へ続き得る（判定ブロック７０４からの「いいえ」）。

判定ブロック７０８では、プロセス７００は、受信されたデータから識別された１つ又は複数の条件がこのようなビジネス事象を示す条件に整合するかどうかを判断することによりビジネス事象を検出することを含む。例えば、コパイロットデバイスは、ビジネス事象を示す１つ又は複数の条件の指標を格納し得る。このような事象は非限定的例として、クライアントデバイス上で実行されるモバイルアプリケーションから受信されたビジネス事象の指標、ユーザによるコパイロットデバイスへの手動指示入力（例えばコパイロットデバイス上のボタンの押下）、車両がビジネス事象へ共通にリンクされたルートを現在採用している（例えば、タクシー運転者が空港の方向へ現在運転している）という判断、又は運転者がビジネス事象に関与しているという任意の他の好適な指標を含み得る。いくつかの実施形態では、ビジネス事象はビジネス事象開始及びビジネス事象終了の両方を含み得る。ビジネス事象を検出することはビジネス事象の開始及び終了の両方（それぞれは異なる条件に関連付けられ得る）を検出することに関与し得る。

ブロック７１０では、ビジネス事象を検知すると（判定ブロック７０８からの「はい」）、プロセス７００はビジネス事象を記録することを含む。これはビジネス事象開始に関連する時点に現在のオドメータ読み出し値を取得及び記録することとビジネス事象終了に関連する時点に現在のオドメータ読み出し値を記録することとに関与し得る。ビジネス事象はさらに、タイムスタンプ、位置（例えばＧＰＳを介した）、映像又は他のデータの指標を含み得る。次に、記録されたビジネス事象は、コパイロットデバイス内に格納され、クライアントデバイスへ送信される、及び／又はコパイロット管理コンピュータへ送信される。いくつかの実施形態では、ビジネス事象の記録は要求されると又はリアルタイムでのいずれかで別の電子デバイスへ送信される。ビジネス事象が検出されなければ、プロセスはビジネス事象を記録することなくブロック７１２へ続き得る（判定ブロック７０８からの「いいえ」）。

判定ブロック７１２において、プロセス７００は、受信されたデータから識別された１つ又は複数の条件がこのような状態更新事象を示す条件に整合するかどうかを判断することにより状態更新事象を検出することを含む。このシナリオでは、コパイロットデバイスは受信されたデータに基づき運転者又は車両の状態を判断し得る。各状態は特定条件に関連付けられ得る。無数のタイプの状態が車両及び／又はユーザに関連付けられ得る。

例えば、コパイロットデバイスは、車両が位置する現在の一続きの道路に関連付けられた速度制限の指標を受信し得る。この例では、コパイロットデバイスはまた、車両が走行している現在の速度の指標を受信し得る（例えばＯＢＤ接続を介し）。この情報に基づき、コパイロットデバイスは、車両の現在の速度が現在の一続きの道路の速度制限より高いということをコパイロットデバイスが判断すれば車両の速度状態を識別し得る。代替的に、コパイロットデバイスは、車両の現在の速度は現在の一続きの道路の速度制限より十分に低いということを判断すると車両の渋滞状態を識別し得る。いくつかのケースでは、渋滞状態判断は、車両の現在の速度が速度制限より十分に低いという判断と、取得された映像データ内の１つ又は複数の車両の識別とを必要とし得る。

第２の例では、コパイロットデバイスは、車両に関連付けられた１つ又は複数の問題の指標を受信し得る。例えば、コパイロットデバイスは、ＯＢＤ接続を介しコパイロットデバイスへ送信されるエラーコードを受信し得る。この例では、コパイロットデバイスはコパイロットデバイスが設置された車両の特定タイプ又はブランドに関係して格納されたマッピングに基づきエラーコードを問題状態へ翻訳し得る。

ブロック７１４では、状態更新を検知すると（判定ブロック７１２からの「はい」）、プロセス７００は、検出された状態をクライアントデバイスへ提供することを含む。例えば、コパイロットデバイスはこの状態を運転者のモバイルデバイスへ送信し得る。次に、この状態はモバイルデバイス上で実行されるＧＵＩを介しユーザへ提示され得る。状態更新事象が検出されなければ、本プロセスは状態更新事象を記録することなくブロック７１６へ続き得る（判定ブロック７１２からの「いいえ」）。

ブロック７１６では、プロセス７００は、修正済み映像ファイルを生成することを含む。これは、受信されたデータを、コパイロットデバイスに含まれる１つ又は複数のカメラにより捕捉された映像ファイルへ付加することに関与し得る。いくつかのケースでは、これは受信されたデータの少なくとも一部をメタデータとして映像のフッターへ付加することを含む。受信されたデータは、データが受信された時刻を示すタイムスタンプに関連付けられ得る。このようにして、様々なタイプのデータはタイムスタンプを介しアライメントされ得る。

ブロック７１８では、プロセス７００は、修正済み映像ファイルをサーバへ搬送することを含む。いくつかの実施形態では、サーバは図１に関して説明したコパイロット管理サーバであり得る。修正済み映像ファイルは様々な異なるアプリケーションにより消費され得る。いくつかの実施形態では、サーバは、修正済み映像ファイルを、機械学習モデルのトレーニングの際に使用される機械学習モジュールへ提供し得る。

図８は、いくつかの実施形態による修正済み映像ファイルを生成及び提供するための例示的プロセスを描写する。図示のプロセス８００では、情報８０２は、コパイロットデバイス１０６へ通信可能に結合された、いくつかの異なる源からコパイロットデバイス１０６により受信され得る。情報８０２は多様な情報タイプを含み得る。

いくつかの実施形態では、情報８０２は１つ又は複数のセンサ８０４から受信されるセンサデータを含み得る。例えば、情報８０２は、温度センサ（例えば温度計）、リアルタイムクロック、加速度計、ジャイロスコープ、磁力計、又は任意の他の好適なタイプのセンサから取得されるデータを含み得る。この情報は、ＯＢＤ接続８０８上で受信され得る車両データ８０６を含む。車両情報８０６はオドメータ情報、速度計情報、エラーコード情報、又は任意の他の好適な車両データを含み得る。

いくつかの実施形態では、情報８０２はＧＮＳＳ又はＧＰＳデバイス８１２から取得される位置情報８１０を含み得る。位置情報８１０は定期的に（例えば５分毎に）取得され得る。

いくつかの実施形態では、情報８０２は映像データを含み得る。映像データは、車両の前部の外へ向けられた外部カメラ８１６により捕捉される外部映像８１４を含み得る。映像データはまた、車両の内側方向に向けられた内部カメラ８２０により捕捉される内部の映像８１８を含み得る。

多様な源から情報８０２を受信すると、コパイロットデバイス１０６は、受信された情報８０２を、データのそれぞれが受信された時刻に基づきアライメントされる単一データファイル内へコンパイルし得る。いくつかの実施形態では、１つ又は複数のデータが映像ファイルへ付加され得る。例えば、データはメタデータとして映像のフッターへ追加され得る。各データは、データが映像内の時刻を使用することにより同期されるように映像内の特定時刻に関連付けられ得る。これは、データファイルの消費者はその処理中にデータをアライメントする必要が無いという意味でデータが遥かに効率的なやり方で処理されることを許容する。

次に、生成されたデータファイルはコパイロット管理コンピュータ１１８へ搬送される。いくつかの実施形態では、データファイルは、コパイロットデバイス１０６に含まれる長距離通信手段を介しネットワーク８２２上でコパイロット管理コンピュータ１１８へ直接提供される。いくつかの実施形態では、データファイルは、クライアントデバイス８２４をプロキシーとして使用することにより、コパイロットデバイス１０６に含まれる短距離通信手段を介しコパイロット管理コンピュータ１１８へ提供される。この実施形態では、データファイルはクライアントデバイス８２４へ送信され、次にクライアントデバイス８２４はこのデータファイルをネットワーク８２２を介しコパイロット管理コンピュータ１１８へ転送する。

次に、コパイロット管理コンピュータ１１８は１つ又は複数の機能を行うためにデータファイルを処理することができる。いくつかの実施形態では、コパイロット管理コンピュータ１１８は、いくつかの車両機能を自動化するためにデータファイル（他のコパイロットデバイスにより提供されるデータファイルと共に）を使用する。このプロセスは図９に関して以下にさらに詳細に説明される。いくつかの実施形態では、１つ又は複数のサービスが、受信されたデータファイルに基づき提供され得る。データファイルに基づき提供され得るサービスのいくつかの非限定的例が以下に提供される。

第１の例では、コパイロット管理コンピュータ１１８はいくつかのコパイロットデバイスから受信されたデータファイルからトラヒックパターンを判断し得る。この例では、コパイロット管理コンピュータは、車両の速度は、コパイロットデバイスが現在走行している道路の公示速度制限より著しく低いということを（例えばコパイロットデバイスの位置及び公示速度制限のマッピングに基づき）示すコパイロットデバイスから最近のデータファイルを受信し得る。この例では、コパイロット管理コンピュータ１１８は、コパイロットデバイス周囲の車両の有無又は数を判断するために物体認識をデータファイル内の映像に対し行い得る。判断された数台の車両の有無とコパイロットデバイスが走行する速度とに基づき、コパイロット管理コンピュータ１１８は渋滞状態とコパイロットデバイスの現在位置とを関連付け得る。コパイロット管理コンピュータ１１８は、いくつかのコパイロットデバイスに関連付けられた運転者が渋滞位置を回避することを可能にするために、渋滞位置の指標をいくつかのコパイロットデバイスへ提供し得る。いくつかの実施形態では、渋滞位置の指標は、当該渋滞位置の方向へ走行していると判断されたコパイロットデバイスへ提供され得る。

別の例では、コパイロット管理コンピュータ１１８は様々な車両に適切ないくつかの駐車スペース位置を識別し得る。この例では、コパイロット管理コンピュータ１１８は、利用可能駐車スペースを識別するためにデータファイル内の受信された映像を処理し得る。このような駐車スペースは深度感知技術（車両間の空間のサイズを判断するための）だけでなく物体認識（車両を識別するための）を使用することにより識別され得る。深度感知技術は深度センサから取得されるデータを使用し得るということが想定される。しかし、このような深度が計算されなければならない距離を所与として、従来の構造化された光深度感知は効果的でないかもしれない。その代りに、コパイロットデバイスは、様々な駐車車両間の深度（距離）を判断するために様々な角度から捕捉された映像（例えば図６のステレオカメラ６１４（ａ－ｃ）から捕捉された映像）を比較し得る。これを行うために、コパイロット管理コンピュータ１１８は、映像内の特定時刻におけるコパイロットデバイスと第１の駐車車両の後部の第１の点との間の距離だけでなくコパイロットデバイスと第２の駐車車両の前部の第２の点との間の距離も判断する。次に、２つの駐車車両間の距離は、コパイロットデバイスに対する２つの点のそれぞれの点の２つの計算された距離と角度（ビデオ画像内の２つの点の位置に基づき判断され得る）とを使用することにより判断され得る。このようにして、コパイロット管理コンピュータ１１８は、コパイロットデバイスが道路に沿って走行するにつれ駐車車両間の空間のサイズ及び位置に基づき潜在的駐車スペースを識別し得る。次に、コパイロット管理コンピュータ１１８は、障害物（例えば、自動車道、消火栓、駐車禁止区域など）と併設される任意の潜在的駐車スペースを障害位置の格納されたマッピングだけでなく閾値サイズ未満である潜在的駐車スペースにも基づき削除することにより、妥当な駐車スペースを識別する。妥当な駐車スペースが識別されると、コパイロット管理コンピュータ１１８は、駐車スペースデータを少なくとも１つのコパイロットデバイス（データファイルが受信されたコパイロットデバイスとは異なり得る）へ送信し得る。いくつかの実施形態では、コパイロット管理コンピュータ１１８は、駐車スペースデータを、駐車スペースに収まり得る車両内に設置されたコパイロットデバイスだけへ提供する。例えば、大型車両内に設置されたコパイロットデバイスは、小型車両内に設置されたコパイロットデバイスより小さなリストの駐車スペースを提供され得る。

図９はいくつかの実施形態による車両機能性を自動化するための例示的プロセスを描写する。プロセス９００はコパイロットシステムのいくつかの部品間の相互作用に関与し得る。例えば、プロセス９００は、コパイロットデバイス１０６とコパイロット管理コンピュータ１１８と車両９０２との間の相互作用に関与し得る。コパイロットコンピュータ１０６とコパイロット管理コンピュータ１１８との間の相互作用はネットワーク接続を介し容易にされ得、コパイロットデバイス１０６と車両との間の相互作用はＯＢＤ接続９０４を介し容易にされ得る。コパイロットデバイス１０６は、通信可能に結合されたセンサ及びカメラ９０６を使用することにより車両９０２に関する情報を収集し得る。

例示的プロセス９００では、データは、９５０においてコパイロットデバイス１０６からコパイロット管理コンピュータ１１８へ送信される。このようなデータを生成するための例示的プロセスは図８に関して上に提供された。いくつかの実施形態では、データは、いくつかの異なるユーザ及び／又は車両９０２に関連付けられたいくつかの異なるコパイロットデバイス１０６から受信され得る。コパイロット管理コンピュータ１１８により受信されるデータは機械学習アルゴリズム９０８をトレーニングするために使用され得る。例えば、データの第１の部分は入力として機械学習アルゴリズムへ提供され得、データの第２の部分は入力として機械学習アルゴリズムへ提供され得る。例示として、機械学習アルゴリズムがニューラルネットワークであれば、データからの様々な映像特徴（例えば識別された物体、光レベルなど）及びセンサデータは入力層としてニューラルネットワークへ提供され得、ユーザ行為（例えば、ライトをオンにする、フロントガラスワイパーの速度を設定する等々）を示すデータは出力層として提供され得る。このようにして、機械学習アルゴリズム９０８は、トレーニング済みモデル９１０を生成するために、様々な入力に対する適切なユーザ応答に基づいて９５２においてトレーニングされ得る。トレーニング済みモデル９１０がコパイロット管理コンピュータ１１８により生成されると、コパイロット管理コンピュータ１１８は、９５４においてこのトレーニング済みモデル９１０をコパイロットデバイス１０６へ提供し、コパイロットデバイス１０６はトレーニング済みモデル９１０をメモリ内に格納する。

コパイロットデバイス１０６がトレーニング済みモデル９１０を受信すると、コパイロットデバイス１０６は、このトレーニング済みモデル９１０を使用することにより車両９０２の機能性を自動化し得る。例えば、コパイロットデバイスは、車両９０２の操作に関連する１つ又は複数のセンサ及びカメラ９０６からデータを９５６において受信し得る。このデータを受信すると、データはトレーニング済みモデル９１０へ提供され得、次にトレーニング済みモデル９１０は、受信されたデータに基づき車両９０２へ提供される指令を生成するように構成される。いくつかの実施形態では、生成された指令は、コパイロットデバイス１０６が設置されると判断された特定タイプの車両９０２に固有であり得る。

トレーニング済みモデル９１０を使用することにより生成された指令は、車両にいくつかの行為を取らせるために車両へ提供される。具体的には、生成された指令は９５８においてＯＢＤ接続９０４へ提供される。次に、ＯＢＤ接続９０４は９６０において、これらの指令を、いくつかの行為を車両に取らせるために車両へ送信されるべきいくつかの信号に翻訳する。例えば、９５８において提供された指令は車両のヘッドライトをオンにする指令を含み得る。この例では、ＯＢＤ接続９０４は、車両ライトを制御する制御バス上の適切なピンを判断し得、そして９６０において当該ピンを介し信号を車両へ提供し得る。

上述の技術を使用することにより、コパイロットデバイス１０６はいくつかの車両機能の活性化を自動化するようにされ得る。上記図８及び図９の説明に基づき当業者により認識されるだろうように、コパイロットデバイス１０６は、車両の環境に関する情報だけでなくユーザが取った行為に関する情報（例えばＯＢＤ接続から収集された車両情報）も（例えばセンサとカメラの９０６を介し）収集し、データが時刻に基づき同期される単一データファイルを生成する。これは、機械学習モデルが、機械学習アルゴリズムを使用することにより環境データ内で検出された様々な条件に対応するユーザにより取られる行為を識別することを可能にする。このようなデータに関しトレーニングされたモデル９１０は、いくつかの条件が環境内に存在する場合に適切であるユーザ行為を認識するようにさせられ得る。このトレーニング済みモデル９１０が提供されるとコパイロットデバイス１０６は、それらの環境因子を検知するとユーザ行為により通常は生成されるであろう信号を自動的に模擬し得る。例えば、環境光レベルが或る光レベル閾値を下回るとユーザが一般的にヘッドライトをオンにすれば、トレーニング済みモデルは、ヘッドライトをオンにする際の当該光レベル閾値及びユーザの当該行為を識別し得る。この例では、当該トレーニング済みモデルを提供されたコパイロットデバイスは、現在の環境光レベルが光レベル閾値を下回ったということを検知すると、指令をＯＢＤ接続へ提供し、次に、ＯＢＤ接続は、ユーザが車両ヘッドライトを活性化すると通常は生成されるであろう信号を生成し、車両ヘッドライトを自動的に起動させる（例えば、ユーザ相互作用無しに）。

図１０は、少なくともいくつかの実施形態によるコパイロットデバイスとクライアントデバイスとの間の相互作用を可能にするためにクライアントデバイスに対しインスタンス化され得る例示的グラフィックユーザインターフェースを描写する。具体的には、図１０は、モバイルアプリケーションのためのユーザインターフェースがインスタンス化されるクライアントデバイス１００２を描写する。

いくつかの実施形態では、ユーザは、モバイルアプリケーションに関連付けられたアカウントに（例えばログイン及びパスワードを介し）アクセスし得る。アカウントは、ユーザにとって一意的であり得、そして一意的識別子１００４に関連付けられ得る。いくつかの実施形態では、アカウントは、１つ又は複数の特定コパイロットデバイスに関連付けられ得る（例えば、ペアにされ得る）。モバイルアプリケーションへ提供されたデータは、関連コパイロットデバイスからクライアントデバイス１００２へ直接提供され得る、又は、コパイロットデバイスからバックエンドサーバ（例えばコパイロット管理コンピュータ１１８）へ提供され、そして次に、アカウント情報に基づきバックエンドサーバによりクライアントデバイス１００２へルーティングされ得る。

いくつかの実施形態では、モバイルアプリケーションは、クライアントデバイス１００２に短距離無線接続を介しコパイロットデバイスからデータを受信させ得る。グラフィックユーザインターフェースは、受信されたデータ１００６の一部をクライアントデバイス１００２のユーザへ提示し得る。いくつかの実施形態では、データ１００６はクライアントデバイス１００２のユーザに利用可能な機能性のメニューを含み得る。

図１１は、少なくともいくつかの実施形態によるコパイロットデバイスから車両の運転者へ車両状態情報を搬送するためにクライアントデバイスに対しインスタンス化され得る例示的グラフィックユーザインターフェースを描写する。いくつかの実施形態では、クライアントデバイス上に設置されるモバイルアプリケーションは、受信された車両状態情報を提示する機械的支援モジュールを含み得る。機械的支援モジュールがクライアントデバイス上で実行する場合、ＯＢＤ接続から取得されたデータは、自動的に、又はコパイロットデバイスにデータを取得させるユーザインターフェース制御を選択するユーザに応答してのいずれかで、コパイロットデバイス１０６からクライアントデバイスへ転送される。いくつかのバージョンでは、ＨＴＴＰ要求が、データを取得しこれをコパイロットデバイス１０６へ送信するためにコパイロットデバイス１０６にＯＢＤ接続への要求を開始させるためにコパイロットデバイス１０６へ送信され得、次にコパイロットデバイス１０６はこのデータをクライアントデバイスへ提供する。

いくつかの実施形態では、機械的支援モジュールは、取得されたデータに基づくメトリック（車両部品健全性を示すメトリックなど：例えば、期限切れオイル交換、あまりに高い油温、など）を提供し、そしてユーザが適切な整備又は修理を車両へ提供する際に支援することを容易にするためにメトリックに基づき選択された指令、助言又は指導書を提供する。例えば、１つ又は複数のメトリックが１つ又は複数の閾値と比較され得、そして１つ又は複数のメトリックが１つ又は複数の閾値を満足すれば若しくは越えれば又は満足しなければ若しくは越えなければ、車両部品は仕様内である又は仕様外であると判断され得る。車両部品が仕様外である（又は、所定数の最近のメトリックに基づき、仕様外に向かう傾向がある）ということを判断することに応答して、クライアントデバイスは、ユーザへ、警報を提供し、そしてどのように問題に対処するかに関する指令を提供し得る。例えば、クライアントデバイスはバックエンドサーバにより提供される映像をロードし得る。

いくつかの実施形態では、機械的支援モジュールはエラーコード（例えば故障診断コード（ＤＴＣ：Diagnostic Trouble Code））及び／又はエラーコードから判断される車両問題１１０６を提供する。例えば、コパイロットデバイスは、ＯＢＤ接続を介し１つ又は複数のエラーコードを取得し得、そして車両タイプの様々な問題へのエラーコードのマッピングに基づき特定問題とエラーコードとを関連付け得る。

図１２は、少なくともいくつかの実施形態によるコパイロットデバイスから車両の運転者へマイレージ情報を搬送するためにクライアントデバイス上にインスタンス化され得る例示的グラフィックユーザインターフェースを描写する。いくつかの実施形態では、クライアントデバイス１２０２上に設置されるモバイルアプリケーションは、受信されたマイレージ情報を提示するマイル節約器モジュールを含み得る。

いくつかの実施形態では、コパイロットデバイスは、所定間隔で（例えば２秒毎に）ＯＢＤ接続からオドメータデータを取得し、取得されたデータをデータベース（例えばＳＱＬｉｔｅデータベース）内に格納する。マイル節約器モジュールを実行し、マイレージ要求（例えばＨＴＴＰ要求）をコパイロットデバイスへ提供するクライアントデバイスに応答して、コパイロットデバイスはマイレージログ（例えば日付け、時間、位置、オドメータ読み取り開始／停止）をマイレージログデータオブジェクト（例えばＪＳＯＮファイル）へ分解し、これをクライアントデバイスへ提供する。各要求は規定期間１２０４に関係し得る。例えば、ユーザは特定日、月又は年のマイレージログを要求し得る。

マイレージログデータオブジェクトを取得することに応答して、クライアントデバイスは、マイレージログデータに関連付けられたメトリックを生成し提供する。マイレージログデータ内のデータの少なくとも一部は個々のマイレージログ事象として提示され得る。いくつかの実施形態では、クライアントデバイスは、現在、過去、将来運転セッションが個人又はビジネス利用に関係するかをユーザが示すことを容易にし、そして、当該選択に基づき、ユーザが車両利用に基づき税還付又は償却を好都合に取得することを容易にするために国税庁（ＩＲＳ：Internal Revenue Services）要件に適合するマイレージログ（例えばログを含む生成されたＰＤＦファイル）を生成する。

クライアントデバイス１２０２はさらに、マイレージログを別の電子デバイスへ提供することができるかもしれない。例えば、クライアントデバイス１２０２のユーザは選択された通信手段（例えばテキストメッセージ、電子メールなど）を介しマイレージログを転送し得る。

図１３は、少なくともいくつかの実施形態によるコパイロットデバイスから車両の運転者へセキュリティ事象情報を搬送するためにクライアントデバイス上にインスタンス化され得る例示的グラフィックユーザインターフェースを描写する。いくつかの実施形態では、クライアントデバイス１３０２上に設置されるモバイルアプリケーションは受信されたセキュリティ事象情報を提示するセキュリティモジュールを含み得る。

他のどこかで指摘したように、コパイロットデバイスは、セキュリティ事象を検知すると或るデータを生成するセキュリティモジュールを含み得る。セキュリティ事象は、キーが存在しないときの車両の１つ又は複数のドアの開放（ＯＢＤ接続を介し受信されたドア開放指示器信号を介し検出される）、車両に動力が供給されていない場合（衝突又は衝撃を指示し得る）の車両の移動（加速計又は他の好適なセンサにより検出される）、ガラスの破壊の音と高度に類似している受信された音声信号、動き検出器の活性化、又は車両の潜在的セキュリティ漏洩の任意の他の好適な指標を含み得る。事象を検出すると、セキュリティモジュール２１６はカメラ２０８から映像又は画像を捕捉してこれをコパイロット管理コンピュータ１１８へ送信し得る。映像又は画像は、タイムスタンプに関連付けられ得、そして潜在的セキュリティ事象に関連する他の好適なデータを含むように修正され得る。例えば、キーが存在しない間に車両ドアが開放されたということを検知すると、コパイロットデバイスは、映像を捕捉し始め得、そして所定期間の間映像を捕捉し続け得る。この例では、セキュリティ事象（例えば、「ドア開放」）のタイプの指標は、映像ファイルを生成するためにタイムスタンプ、位置、及び／又は任意の他の好適なデータと共にメタデータとして映像へ付加され得る。生成された映像ファイルはクライアントデバイス１３０２へ提供され得る。いくつかの実施形態では、生成された映像ファイルは無線通信手段を介しクライアントデバイス１３０２へ直接提供される。いくつかの実施形態では、生成された映像ファイルは、バックエンドサーバ（例えばコパイロット管理コンピュータ１１８）へ提供され、そして、次に、ネットワーク接続を介しクライアントデバイスへルーティングされる。

クライアントデバイス１３０は、セキュリティ事象に関連する情報（例えば映像ファイルから生成されるサムネイル画像）をタイムライン１３０４へ付加し得る。タイムライン１３０４は、日付け／時間に対するセキュリティ事象１３０６の追跡を容易にし得る。いくつかの実施形態では、タイムライン１３０４上に提示されるセキュリティ事象１３０６の特定セキュリティ事象の選択は、クライアントデバイス１３０２に、選択されたセキュリティ事象に関係する追加詳細を提示させ得る。例えば、ユーザは、映像を視る能力、マップ上のセキュリティ事象の位置を視る能力、又はそうでなければセキュリティ事象に関係する情報と相互作用する能力を提供され得る。

図１４は、少なくともいくつかの実施形態による修正済み映像ファイルを生成しこれをサーバへ送信するための例示的プロセスを描写する流れ図を描写する。プロセス１４００はコパイロットデバイス（例えば図１に関し説明されたコパイロットデバイス１０６）により行われ得る。

１４０２において、プロセス１４００は、コパイロットデバイスにおいて映像データを受信すること含む。映像データは、内部（例えば、後向き）カメラを使用することにより捕捉された車両内部及び１人以上の乗客の映像を含む。いくつかのケースでは、車両内部の映像は暗視モードで（例えば赤外線光を捕捉することができるカメラを使用することにより）捕捉され得る。映像データはまた、１つ又は複数の外部（例えば、前向き）カメラを使用することにより捕捉された車両の前の車両外部の映像を含む。いくつかの実施形態では、１つ又は複数の外部カメラは様々な角度からシーンを捕捉することができる複数のステレオカメラを含み得る。

１４０４において、プロセス１４００は、車両とコパイロットデバイスとの間の接続を介し車両データを受信することを含む。いくつかのケースでは、車両とコパイロットデバイスとの間の接続はオンボード診断（ＯＢＤ：on-board diagnostic）接続である。他のどこかで指摘したように、コパイロットデバイスはＯＢＤ接続を介し様々なタイプの車両データを収集し得る。例えば、車両データはオドメータ情報、速度計情報、燃料計情報又はエラーコード情報を含み得る。

１４０６において、プロセス１４００は、コパイロットデバイスと通信状態にある１つ又は複数のセンサからセンサデータを受信することを含む。他のどこかで指摘したように、コパイロットデバイスは、様々なタイプのセンサデータを収集するいくつかの異なるセンサタイプを含み得る。例えば、センサデータは温度データ、加速度データ、時間データ、位置データ、光レベルデータ又は湿度レベルデータを含み得る。

１４０８において、プロセス１４００は、映像データ、車両データの少なくとも一部、及びセンサデータの少なくとも一部を含む修正済み映像ファイルを生成することを含む。これは、車両データの一部及びセンサデータの一部を映像データへ付加することに関与し得る。具体的には、車両データの一部及びセンサデータの一部はメタデータとして映像データのフッターへ付加され得る。修正済み映像ファイル内では、車両データの一部、センサデータの一部及び映像データは、データが修正済み映像ファイル内に受信された時刻に基づき同期される。

１４１０において、プロセス１４００は、修正済み映像ファイルをサーバへ送信することを含む。具体的には、修正済み映像ファイルはコパイロットデバイスから離れたコパイロット管理コンピュータへ送信される。

いくつかの実施形態では、プロセス１４００はさらに、ビジネス事象の開始及びビジネス事象の終了の指標を受信することと、ビジネス事象に関連付けられたマイレージを判断することとを含み得る。これらの実施形態では、ビジネス事象に関連付けられたマイレージを判断することは、ビジネス事象の開始時に第１のマイレージを判断すること、ビジネス事象の終了時に第２のマイレージを判断すること、及び第２のマイレージから第１のマイレージを減じることに関与し得る。第１のマイレージ及び第２のマイレージのそれぞれは、ビジネス事象のそれぞれの開始及び終了のそれぞれに対応する時点における車両データ内のオドメータ情報から判断される。

本開示の実施形態は、従来システムを上回るいくつかの利点を提供する。例えば、開示されたコパイロットデバイスは、複数の異種のタイプのデータが時刻に基づき同期されるようなやり方で合成された単一データファイルを生成する。これは、下流システム（例えばコパイロット管理コンピュータ）が異種のデータを整合又はアライメントさせる必要無く異種のデータ間の相関を引き出しそして処理の効率を著しく増加することを可能にする。

加えて、開示されたシステムの実施形態は、他の方法ではアフターマーケット解決策を介して自動化することができない方法で、様々な機能を自動化することを可能にする。例えば、本システムは、非常に精確なやり方で税目的のためのビジネス事象を自動的に検出及び記録する手段を提供する。これは、ユーザが最小努力でもって極めて精確なマイレージ記録を取得する一方でそれらのマイレージ記録内のエラーを無くす又は低減することを可能にする。いくつかの実施形態では、本システムは、通常はそれらの機能を自動化することができないであろう車両内の様々な車両機能の自動化を可能にする。例えば、本システムは、コパイロットデバイスにより収集された映像及び／又はセンサデータに基づきフロントガラスワイパー又はヘッドライトの自動的起動を可能にする。

結論
本明細書で使用されるように、以下の用語は、文脈が別途明確に規定しない限り本明細書において明示的に関連付けられる意味を採用する。用語「又は」は、接続された用語の１つ又は複数が採用され得るということを示す包含的接続詞である。例えば、句「１つ又は複数のＡ、Ｂ、又はＣ」は、以下のもののそれぞれを個別的に開示するために採用される：ｉ）１つ又は複数のＡ、ｉｉ）１つ又は複数のＢ、ｉｉｉ）１つ又は複数のＣ、ｉｖ）１つ又は複数のＡ及び１つ又は複数のＢ、ｖ）１つ又は複数のＡ及び１つ又は複数のＣ、ｖｉ）１つ又は複数のＢ及び１つ又は複数のＣ、及びｖｉｉ）１つ又は複数のＡ、１つ又は複数のＢ、及び１つ又は複数のＣ。本明細書で使用される用語「に基づき」は、排他的ではなく、そして説明されない追加要因に基づくことを許容する。冠詞及び不定冠詞「a」、「an」及び「the」は複数の参照子を含む。複数の参照子はまた、単数を開示するように意図されている。

用語「前部」、「前方に」、「後部」、及び「後方に」は、車両内に設置される場合に車両又はコパイロットデバイス１０６の長手軸に対して定義される。車両の長手軸は車両の最後尾部から車両の横方向中央に沿って車両の最前部端へ延伸する。用語「前部」及び「前方向」は、コパイロットデバイス１０６が設置される（図１の右側へ）場合の車両のヘッドライトにより近い又はその方向の端部を示す。用語「後部」及び「後方向」は、ストレージパネルシステムが設置される（図６の左側へ）場合の後部ドアにより近い又はその方向の端部を示す。用語「高さ」、「垂直方向」、「上側」、「下部」「の上」「の下」「頂部」「下部」、「最上部」、及び「最下部」は、車両内に設置され場合の車両又はコパイロットデバイス１０６の垂直軸に対して定義される。垂直軸は、長手軸に対して直交しており、そして車両が水平地面上に在る場合に車両又はコパイロットデバイス１０６上の地球の重力の方向に対し平行であるとして定義される。用語「横方向」は、車両内に設置された場合の車両又はコパイロットデバイス１０６の横軸に対して定義される。横軸は縦及び垂直軸に対し直交する。

用語「アフターマーケット」又は「既存車両」は、車両の製造者及び特約販売店が車両をもはや管理しないように、完全に組み立てられそしてビジネスの一般的過程で特約販売店から販売された車両を指す。

特に、車両は様々な形状及びサイズのものである。したがって、いくつかの特徴又は特性（車両、ダッシュボード、ガソリンタンク、ハンドルバー、フロントガラスなどの１つ又は複数の特徴又は特性など）は、実施形態に関係するがそれに含まれない１つ又は複数の要素に対して定義されると当業者により最もよく理解される。また、したがって、実施形態の特徴又は特性が、実施形態において未だ関係しなく且つそれに含まれない１つ又は複数の要素に対して本明細書で定義される場合、このような定義は本主題が許容する程度に精確である。実施形態のそれらの特徴又は特性は実施形態に含まれない所与の車両部品に関して実施形態の原理に従って容易に取得される可能性があるということを当業者が本開示から理解するということにも注意すべきである。

多くの実施形態が示され説明されたが、上に指摘したように、多くの変更が、説明された特徴又は特性の精神及び範囲から逸脱することなくなされ得る。例えば、或る特徴又は特性を有する部品の各開示はまた、実施形態の原理が別途明確に規定しない限り当該特徴又は特性を欠く部品を開示するように意図されている。したがって、実施形態の範囲は説明される特定特徴又は特性により制限されない。

Claims (20)

1. コパイロットデバイスに含まれるカメラにより取得された映像データを前記コパイロットデバイスにより受信することと、
   車両と前記コパイロットデバイスとの間の接続を介し車両データを前記コパイロットデバイスにより受信することと、
   前記コパイロットデバイスと通信状態にある１つ又は複数のセンサからセンサデータを前記コパイロットデバイスにより受信することと、
   前記映像データ、前記車両データの少なくとも一部及び前記センサデータの少なくとも一部を含む修正済み映像ファイルを前記コパイロットデバイスにより生成することと、
   前記修正済み映像ファイルを前記コパイロットデバイスから離れたコパイロット管理コンピュータへ前記コパイロットデバイスにより送信することと
   を含む方法。
2. 前記車両と前記コパイロットデバイスとの間の前記接続はオンボード診断（ＯＢＤ）接続を含む、請求項１に記載の方法。
3. ビジネス事象の開始及び前記ビジネス事象の終了の指標を前記コパイロットデバイスにより受信することとと、
   前記ビジネス事象に関連付けられたマイレージを決定することと
   をさらに含む請求項１に記載の方法。
4. 前記ビジネス事象に関連付けられたマイレージを決定することは、
   前記ビジネス事象の開始時の第１のマイレージ及び前記ビジネス事象の終了時の第２のマイレージを決定することと、
   前記第２のマイレージから前記第１のマイレージを減じることと
   を含む、請求項３に記載の方法。
5. 前記第１のマイレージは、前記ビジネス事象の前記開始の時点の前記車両と前記コパイロットデバイスとの間の前記接続から受信されたオドメータ情報から決定される、請求項４に記載の方法。
6. 前記修正済み映像ファイルを生成することは前記車両データの一部及び前記センサデータの一部を前記映像データへ付加することを含む、請求項１に記載の方法。
7. 前記車両データの前記一部及び前記センサデータの前記一部は前記映像データのフッターへ付加される、請求項６に記載の方法。
8. 前記車両データの前記一部、前記センサデータの前記一部及び前記映像データは、前記データが前記修正済み映像ファイル内に受信された時刻に基づき同期される、請求項６に記載の方法。
9. １つ又は複数のカメラと、
   車両とコパイロットコンピューティングデバイスとの間の接続と、
   １つ又は複数のセンサと、
   プロセッサと、
   指令を含むメモリとを含むコパイロットコンピューティングデバイスであって、前記指令は、前記プロセッサにより実行されると前記コパイロットコンピューティングデバイスに少なくとも
   前記コパイロットデバイスに含まれる前記１つ又は複数のカメラにより取得された映像データを受信することと、
   車両と前記コパイロットコンピューティングデバイスとの間の接続を介し車両データを受信することと、
   前記コパイロットデバイスと通信状態にある前記１つ又は複数のセンサからセンサデータを受信することと、
   前記映像データ、前記車両データの少なくとも一部及び前記センサデータの少なくとも一部を含む修正済み映像ファイルを生成することと、
   前記修正済み映像ファイルを前記コパイロットデバイスから離れたコパイロット管理コンピュータへ送信することと
   を実行させる、コパイロットコンピューティングデバイス。
10. 前記センサデータは温度データ、加速度データ、時間データ、位置データ、光レベルデータ又は配向データを含む、請求項９に記載のコパイロットコンピューティングデバイス。
11. 前記映像データは内部映像データ及び外部映像データを含む、請求項９に記載のコパイロットコンピューティングデバイス。
12. 前記内部映像データは前記車両の内部の１人以上の乗客の捕捉された映像を含む、請求項１１に記載のコパイロットコンピューティングデバイス。
13. 前記１人以上の乗客の捕捉された前記映像は、赤外線光を使用することにより捕捉された映像を含む、請求項１２に記載のコパイロットコンピューティングデバイス。
14. 前記外部映像データは複数のステレオカメラからの前記車両の外部の捕捉された複数の映像を含む、請求項１１に記載のコパイロットコンピューティングデバイス。
15. 前記車両データは、前記車両のコントローラエリアネットワークバスから受信されたオドメータ情報、速度計情報、燃料計情報、エラーコード情報又は他の情報のうちの少なくとも１つを含む、請求項９に記載のコパイロットコンピューティングデバイス。
16. メモリを含むコパイロットデバイスであって、前記メモリは、前記コパイロットデバイスに
    車両との接続を介し受信された少なくとも映像データ、センサデータ及び車両データを含む異種の車両関連データを取得させ、
    前記異種の車両関連データを単一データファイル内へ合成させ、
    前記単一データファイルをコパイロット管理コンピュータへ提供させる指令を含む、コパイロットデバイスと、
    前記コパイロットデバイスと通信可能に結合されたコパイロット管理コンピュータであって前記コパイロットデバイスから受信された前記単一データファイルを処理するように構成されたコパイロット管理コンピュータとを含むシステム。
17. モバイルアプリケーションが設置されたクライアントデバイスをさらに含み、前記モバイルアプリケーションは、前記クライアントデバイスと前記コパイロットデバイスとの間の相互作用を可能にする、請求項１６に記載のシステム。
18. 前記コパイロット管理コンピュータは、トレーニング済みモデルを生成するために前記受信されたデータファイルを使用することにより機械学習アルゴリズムをトレーニングし、前記コパイロット管理コンピュータはさらに、前記トレーニング済みモデルを前記コパイロットデバイスへ提供するように構成される、請求項１６に記載のシステム。
19. 前記トレーニング済みモデルは、前記コパイロットデバイスに、一組の条件を検知すると１つ又は複数の車両機能を自動化させる、請求項１８に記載のシステム。
20. 前記一組の条件は、前記コパイロットデバイスにより収集された映像データ又はセンサデータ内に検出される、請求項１９に記載のシステム。

Images