JP2021508386A - 車両内の争いを検出するためのシステムおよび方法 - Google Patents

Abstract

本開示の実施形態は、車両内の争いを検出するためのシステムを提供する。このシステムは、車両内の複数の画像を捕捉するように構成された少なくとも１つのカメラを含む。このシステムはさらに、少なくとも１つのカメラと通信するコントローラを含む。コントローラは、複数の画像から人間オブジェクトを検出し、それぞれの人間オブジェクトの深度情報を推定し、深度情報に基づいて争いを検出するように構成される。
【選択図】図５

Description

本開示は争い検出システムおよび方法に関し、より具体的には、配車サービス車両（ride-hailing service vehicle）におけるたとえば運転手および乗客などの２人の車両乗員の間の争いを自動的に検出するためのシステムおよび方法に関する。

オンライン配車プラットフォーム（online hailing platform）（例えば、ＤｉＤｉ（登録商標）オンライン）は、乗客からのライドシェアサービス要求（rideshare service request）を受信し、次いでそのサービス要求を少なくとも１人の輸送サービス提供者（例えば、タクシー運転手または自家用車の所有者など）にルーチングすることができる。運転手によって輸送サービス要求に返答がなされた後、運転手は乗客を乗せ、要求された目的地まで乗客を乗せて運転する。

運転手と乗客とは知り合いではないため、移動中に２人の間で争いが起こるかもしれない。たとえば、その移動に対して運転手が取る経路、またはサービスに対して課される料金に関して、運転手と乗客とが合意しないことがある。ときには運転手または乗客が他方に対して、たとえば暴行、殴打、またはセクシュアルハラスメントなどの犯罪を行うことを試みるかもしれない。したがって車両内の争いは、運転手および／または乗客の安全に脅威を与える。

既存の車両内争い検出方法は、運転手または乗客がたとえば自身の電話のボタンを押すなどして、争いをオンライン配車プラットフォームまたは警察署に通知することによる彼等の報告に依拠するものである。たとえばＤｉＤｉ（登録商標）配車は、乗員（例えば、運転手または乗客）がそれぞれの端末を１回押すことによって警察を呼ぶことを可能にする「１ボタン警察呼び出し（one-button police call）」の機構を提供する。このサービスプラットフォームまたは警察署は、争いに関与する当事者に警告することによって介入し得る。

しかし、これらの検出方法はユーザの手動入力によって引き起こされるため、信頼性が高くない。たとえば、争いに関与する当事者は手遅れになるまで報告を延ばす傾向がある。加えて、車両が信号の弱い場所にあるときは、人がこうした報告を行うことができないかもしれない。

本開示の実施形態は、車両の内側の少なくとも１つのカメラによって捕捉された画像を用いて運転手と乗客間の争いを自動的に検出することによって、上記の問題に対処する。

本開示の実施形態は、車両内の争いを検出するためのシステムを提供する。このシステムは、車両内の複数の画像を捕捉するように構成された少なくとも１つのカメラを含む。このシステムはさらに、少なくとも１つのカメラと通信するコントローラを含む。コントローラは、複数の画像から人間オブジェクトを検出し、それぞれの人間オブジェクトの深度情報を推定し、深度情報に基づいて争いを検出するように構成される。

加えて本開示の実施形態は、車両内の争いを検出するための方法を提供する。この方法は、少なくとも１つのカメラによって車両内の複数の画像を捕捉するステップを含む。この方法はさらに、プロセッサによって複数の画像から人間オブジェクトを検出するステップを含む。加えてこの方法は、プロセッサによってそれぞれの人間オブジェクトの深度情報を推定するステップと、プロセッサによって深度情報に基づいて争いを検出するステップとを含む。

本開示の実施形態はさらに、命令のセットを保存する非一時的なコンピュータ読取り可能媒体を提供する。電子デバイスの少なくとも１つのプロセッサによって実行されるとき、この命令のセットは、電子デバイスに車両内の争いを検出するための方法を行わせる。この方法は、少なくとも１つのカメラによって捕捉された車両内の複数の画像を受信するステップを含む。この方法はさらに、複数の画像から人間オブジェクトを検出するステップを含む。加えてこの方法は、それぞれの人間オブジェクトの深度情報を推定するステップと、深度情報に基づいて争いを検出するステップとを含む。

前述の一般的な説明および以下の詳細な説明はどちらも単なる例示的かつ説明的なものであり、請求される本発明を制限するものではないことが理解されるべきである。

本開示の実施形態による争い検出システムを備えた車両の例示的内部を示す概略図である。 本開示の実施形態による例示的コントローラを示すブロック図である。 本開示の実施形態による、図２に示されたコントローラ内の例示的プロセッサのデータフロー図である。 本開示の実施形態による、運転手と乗客との争いを検出するための例示的方法を示す図である。 本開示の実施形態による、車両内の争いを検出するための例示的方法を示す流れ図である。

ここで例示的実施形態を詳細に参照し、その実施形態の例が添付の図面に示されている。可能な限り、図面全体にわたって同じ部分または類似の部分を示すために同じ参照番号を使用する。

図１は、本開示の実施形態による争い検出システムを備えた例示的車両１００の概略図を示す。いくつかの実施形態に一貫して、車両１００はその車両を占有する運転者によって操作されるか、遠隔制御されるか、かつ／または自律的であるように構成されてもよい。車両１００は電気車両、燃料電池車両、ハイブリッド車両、または従来の内燃機関車両であってもよいと考えられる。車両１００は、たとえばスポーツ車、クーペ、セダン、ピックアップトラック、ステーションワゴン、スポーツ多目的車（ＳＵＶ：ｓｐｏｒｔｓ ｕｔｉｌｉｔｙ ｖｅｈｉｃｌｅ）、ミニバン、またはコンバージョンバンなどの任意のボディスタイルであってもよいボディを有してもよい。

図１に示されるとおり、車両１００のボディに囲まれた内部は、車両の内側に人々を収容するための１列またはそれ以上のシートを含んでもよい。たとえば、前列のシートは運転手１０２と、乗客（図示せず）とを収容してもよい。後列のシート１０６は、たとえば乗客１０４などの１人またはそれ以上の乗客を収容してもよい。車両１００は、より多くの乗客を収容するために３列以上のシートを含んでもよい。いくつかの実施形態においては、シートの間にアームレストまたはカップホルダーが設置されてもよい。たとえば、カップホルダーは水筒１０８を収容してもよい。

図１に示されるとおり、車両１００には、特に少なくとも１つのカメラ１１０と、コントローラ１２０とを含む争い検出システムが備えられてもよい。カメラ１１０は、車両１００の内側に搭載されるか、そうでなければ設置されてもよい。いくつかの実施形態において、カメラ１１０はダッシュボード、フロントガラスの上、天井、隅の部分などに設置されてもよい。いくつかの実施形態において、カメラ１１０はたとえば携帯電話、タブレット、または車両１００のダッシュボードに搭載された全地球測位システム（ＧＰＳ：ｇｌｏｂａｌ ｐｏｓｉｔｉｏｎｉｎｇ ｓｙｓｔｅｍ）ナビゲーションデバイスなどのモバイルデバイスと一体化されてもよい。いくつかの実施形態において、カメラ１１０は、車両１００が営業走行を行っているときに車両１００の内側の画像を捕捉するように構成されてもよい。本開示に一貫して、カメラ１１０は、車両１００の内部の写真またはビデオを撮影するように構成されたデジタルカメラまたはデジタルビデオカメラであってもよい。画像は車両１００の内側の、たとえば運転手１０２、乗客１０４、空のシート１０６、および水筒１０８などのさまざまなオブジェクトを捕捉してもよい。

いくつかの実施形態においては、複数のカメラ１１０は、車両１００の内側の異なる場所に設置されて、異なる視野角から内部の写真を撮ってもよい。車両１００が目的地に向かって移動する際に、カメラ１１０は継続的に画像を捕捉してもよい。特定の時点で捕捉された各画像は、画像フレームとして知られている。たとえば、カメラ１１０は複数の時点で捕捉された複数の画像フレームからなるビデオを記録してもよい。

いくつかの実施形態において、カメラ１１０は、画像中に捕捉されたオブジェクトの深度情報を提供するために、異なるカメラ設定によって構成された複数のカメラを含んでもよい。たとえば、各カメラは異なる焦点距離または視野角を有してもよい。集合的に、複数のカメラは関連する画像空間に焦点を合わせてもよく、レンズの不完全さによって導入されるアーティファクトを軽減するだろう。たとえば、カメラ１１０は２０ｃｍ、３０ｍ、５０ｃｍ、および１００ｃｍなどの焦点距離を有するカメラを含んでもよい。したがって、特定のカメラは予め設定された深度範囲をカバーしてもよく、それぞれの深度範囲内のオブジェクトがそのカメラに焦点を合わせられてもよい。結果として、車両１００内の画像空間全体に焦点が合わせられてもよい。

図１に戻ると、いくつかの実施形態において、カメラ１１０はコントローラ１２０と通信してもよい。いくつかの実施形態において、コントローラ１２０はたとえば電子制御ユニットなどの、車両１００に搭載されたコントローラであってもよい。いくつかの実施形態において、コントローラ１２０はローカルの物理的サーバ、クラウドサーバ（図１に示されるものなど）、仮想サーバ、分散サーバ、または任意のその他の好適なコンピュータデバイスの一部であってもよい。コントローラ１２０は、たとえばワイヤレスローカルエリアネットワーク（ＷＬＡＮ：Ｗｉｒｅｌｅｓｓ Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）、広域ネットワーク（ＷＡＮ：Ｗｉｄｅ Ａｒｅａ Ｎｅｔｗｏｒｋ）、たとえば無線電波などのワイヤレスネットワーク、セルラーネットワーク、衛星通信ネットワーク、および／またはローカルもしくは短距離ワイヤレスネットワーク（例、Ｂｌｕｅｔｏｏｔｈ（登録商標））などのネットワークを介してカメラ１２０、および／または車両１００のその他の構成要素と通信してもよい。

本開示に一貫して、コントローラ１２０はカメラ１１０が捕捉する画像を処理して、その画像に基づいて車両内の争いを検出する役割を担ってもよい。いくつかの実施形態において、コントローラ１２０はさまざまな画像処理法を用いて、たとえば運転手１０２および１人またはそれ以上の乗客１０４などの人間オブジェクトを識別してもよい。たとえば、コントローラ１２０は人間オブジェクトを識別するために、画像セグメント化およびオブジェクト分類法を行ってもよい。いくつかの実施形態において、コントローラ１２０は識別した人間オブジェクトの深度情報を推定してもよい。たとえば、深度情報は人間オブジェクトが入っている深度範囲を特徴付ける。深度情報は、たとえば畳み込みニューラルネットワーク（ＣＮＮ：ｃｏｎｖｏｌｕｔｉｏｎａｌ ｎｅｕｒａｌ ｎｅｔｗｏｒｋ）モデルなどの学習モデルに基づく機械学習法を用いて推定されてもよい。

たとえば運転手と乗客、あるいは２人の乗客などの車両乗員は、通常は何の接触もないはずである。もし乗員に対応する人間オブジェクト（例えば、運転手オブジェクトおよび乗客オブジェクト）が重なり合うか、または互いに十分に近づけば、たとえば運転手および乗客などの２人の車両乗員の間に争いが起こった可能性がある。したがって、深度情報を用いて定められた運転手オブジェクトおよび乗客オブジェクトの相対位置に基づいて、運転手と乗客間の争いが検出され得る。たとえば、コントローラ１２０は争いの確率を算出して、その確率が予め定められた閾値よりも高いときに争いが起こったと判断してもよい。いくつかの実施形態において、争いが検出されるとき、コントローラ１２０は争いに介入して争いを解決するために、彼等のためにサービスプラットフォームまたは警察署に自動的に通知してもよい。

たとえば、図２は本開示の実施形態による例示的コントローラ１２０のブロック図を示す。本開示に一貫して、コントローラ１２０は１つまたはそれ以上のカメラ１１０から画像データ２０３を受信してもよい。いくつかの実施形態において、画像データ２０３は２次元（２Ｄ：ｔｗｏ−ｄｉｍｅｎｓｉｏｎａｌ）画像または３次元（３Ｄ：ｔｈｒｅｅ−ｄｉｍｅｎｓｉｏｎａｌ）画像を含んでもよい。いくつかの実施形態において、車両１００の内側の異なる場所に複数のカメラ１１０が設置されているとき、画像データ２０３は異なる視野角から捕捉された画像データを含んでもよい。

コントローラ１２０は、画像データ２０３から人間オブジェクトを識別し、画像データ２０３を用いて人間オブジェクトの深度を推定し、深度情報を用いて車両１００内の運転手と乗客間の争いを検出してもよい。いくつかの実施形態において、図２に示されるとおり、コントローラ１２０は通信インタフェース２０２と、プロセッサ２０４と、メモリ２０６と、ストレージ２０８とを含む。いくつかの実施形態において、コントローラ１２０はたとえば集積回路（ＩＣ：ｉｎｔｅｇｒａｔｅｄ ｃｉｒｃｕｉｔ）チップ（特定用途向け集積回路（ＡＳＩＣ：ａｐｐｌｉｃａｔｉｏｎ−ｓｐｅｃｉｆｉｃ ｉｎｔｅｇｒａｔｅｄ ｃｉｒｃｕｉｔ）またはフィールドプログラマブルゲートアレイ（ＦＰＧＡ：ｆｉｅｌｄ−ｐｒｏｇｒａｍｍａｂｌｅ ｇａｔｅ ａｒｒａｙ）として実現される）などの単一デバイス中に、または専用の機能を有する別個のデバイス中に異なるモジュールを含む。いくつかの実施形態において、コントローラ１２０の１つまたはそれ以上の構成要素はクラウドに置かれてもよいし、代替的に単一の場所（たとえば車両１００またはモバイルデバイスの内側）または分散された場所にあってもよい。コントローラ１２０の構成要素は集積デバイス内にあってもよいし、異なる場所に分散されるがネットワーク（図示せず）を通じて互いに通信していてもよい。

通信インタフェース２０２は、通信ケーブル、ワイヤレスローカルエリアネットワーク（ＷＬＡＮ）、広域ネットワーク（ＷＡＮ）、たとえば無線電波などのワイヤレスネットワーク、セルラーネットワーク、および／またはローカルもしくは短距離ワイヤレスネットワーク（例、Ｂｌｕｅｔｏｏｔｈ（登録商標））、またはその他の通信方法を介して、たとえばカメラ１１０などの構成要素にデータを送信したり、そこからデータを受信したりしてもよい。いくつかの実施形態において、通信インタフェース２０２は統合サービスデジタルネットワーク（ＩＳＤＮ：ｉｎｔｅｇｒａｔｅｄ ｓｅｒｖｉｃｅｓ ｄｉｇｉｔａｌ ｎｅｔｗｏｒｋ）カード、ケーブルモデム、衛星モデム、またはデータ通信接続を提供するためのモデムであり得る。別の例として、通信インタフェース２０２は、互換性ＬＡＮへのデータ通信接続を提供するためのローカルエリアネットワーク（ＬＡＮ）カードであり得る。加えて、通信インタフェース２０２によってワイヤレスリンクが実現され得る。こうした実現において、通信インタフェース２０２はネットワークを介して、さまざまなタイプの情報を表すデジタルデータストリームを搬送する電気、電磁または光学信号を送信および受信できる。

いくつかの実施形態に一貫して、通信インタフェース２０２は、カメラ１１０が捕捉した画像データ２０３を受信してもよい。通信インタフェース２０２はさらに、受信したデータを記憶のためにストレージ２０８に提供するか、または処理のためにプロセッサ２０４に提供してもよい。

プロセッサ２０４は、任意の適切なタイプの汎用または特定目的のマイクロプロセッサ、デジタル信号プロセッサ、またはマイクロコントローラを含んでもよい。プロセッサ２０４は、カメラ１１０が捕捉した画像データに基づいて車両内の争いの検出を行う専用の別個のプロセッサモジュールとして構成されてもよい。代替的に、プロセッサ２０４は他の機能を行うための共有プロセッサモジュールとして構成されてもよい。

図２に示されるとおり、プロセッサ２０４はたとえばオブジェクト検出ユニット２１０、深度推定ユニット２１２、および争い検出ユニット２１４などの複数のモジュールを含む。いくつかの実施形態において、プロセッサ２０４は付加的に争い確認ユニット２１６を含んでもよい。これらのモジュール（および任意の対応するサブモジュールまたはサブユニット）は、プログラムの少なくとも一部を実行することによってプロセッサ２０４によって実現される他の構成要素またはソフトウェアユニットとともに用いるために設計された、プロセッサ２０４のハードウェアユニット（例えば、集積回路の一部分）であり得る。プログラムはコンピュータ読取り可能媒体に保存されていてもよく、プロセッサ２０４によって実行されるときに１つまたはそれ以上の機能を行ってもよい。図２はユニット２１０〜２１６のすべてを１つのプロセッサ２０４内に示しているが、これらのユニットは互いの近くに置かれるか、または離れて置かれる複数のプロセッサに分散されてもよいと考えられる。

図３は、本開示の実施形態による、図２に示されたコントローラ１２０内のプロセッサ２０４のデータフロー図３００を示す。図３に示されるとおり、オブジェクト検出ユニット２１０は通信インタフェース２０２から画像データ２０３を受信してもよく、かつ画像データ２０３から車両１００の内側の人間オブジェクトを識別するように構成されてもよい。人間オブジェクトを識別するために、画像セグメント化およびオブジェクト検出方法が適用されてもよい。いくつかの実施形態において、人間オブジェクトはそれらの輪郭情報を定めることによって識別されてもよい。

いくつかの実施形態において、オブジェクト検出ユニット２１０は、画像からオブジェクトを識別するために、画像データ２０３に対して最初にセグメント化を適用してもよい。画像セグメント化によって識別されるオブジェクトは、車両１００の内側のさまざまなオブジェクト、たとえば人間オブジェクト、空のシート、バッグ、シートベルト、カップホルダーに入ったビンまたはカップ、および車両１００に設置されるか、または持ち込まれ得るその他のオブジェクトなどを含んでもよい。次いで、オブジェクト検出ユニット２１０はオブジェクト検出モデル３０２を用いて、識別したオブジェクトの中から人間オブジェクトを検出してもよい。いくつかの実施形態において、オブジェクト検出モデル３０２は、訓練画像およびそれらの画像の中の対応する人間オブジェクトを用いて訓練された、たとえばＣＮＮモデルなどの機械学習モデルであってもよい。

いくつかの代替的実施形態において、オブジェクト検出ユニット２１０は、最初にオブジェクト検出モデル３０２を用いてオブジェクト検出を行ってもよい。たとえば、オブジェクト検出ユニット２１０は、画像データ２０３から人間オブジェクトを含むバウンディング区域（bounding area）を定めてもよい。バウンディング区域はたとえば矩形、正方形、円形、楕円形、ダイヤモンド形などの任意の好適な形状であってもよい。次いで画像セグメント化が適用されて、各バウンディング区域をセグメント化することで人間オブジェクトを識別する。

識別した人間オブジェクト、たとえばそれらの輪郭情報は、深度推定ユニット２１２に転送される。深度推定ユニット２１２は、人間オブジェクトの深度情報を推定するように構成される。深度情報は、たとえばカメラ１１０と人間オブジェクトとの間の距離などを含んでもよい。人間オブジェクトは３Ｄであり、それ自体の深度を有するため、深度情報は人間オブジェクトの深度範囲を含んでもよい。いくつかの実施形態において、深度推定ユニット２１２は、深度情報を推定するために深度推定モデル３０４を適用してもよい。深度推定モデル３０４は、訓練オブジェクトおよびそれらの対応する深度属性を用いて訓練された、たとえばＣＮＮなどの機械学習モデルであってもよい。いくつかの実施形態において、深度推定ユニット２１２は代替的または付加的に、実絞りカメラ（real aperture cameras）からの複数の焦点合わせした画像を用いて深度情報を推定してもよい（「デプス−フロム−フォーカス（ｄｅｐｔｈ−ｆｒｏｍ−ｆｏｃｕｓ）」法として公知である）。オブジェクト検出ユニット２１０によって定められたオブジェクト輪郭およびそれらの深度情報を用いて、深度推定ユニット２１２は各人間オブジェクトに対するオブジェクト領域を得てもよい。オブジェクト領域は３Ｄ領域であってもよい。たとえば図４に示されるとおり、運転手Ａおよび乗客Ｂに対応する運転手オブジェクト領域および乗客オブジェクト領域が定められてもよい。

深度推定ユニット２１２によって定められたオブジェクト領域は、争い検出ユニット２１４に転送されてもよい。争い検出ユニット２１４は、運転手と乗客との間の争いを検出するように構成されてもよい。たとえば、図４は運転手Ａと乗客Ｂとの間の争いを検出するための例示的方法を示している。図４に示されるとおり、運転手オブジェクト領域４１０と乗客オブジェクト領域４２０とは、通常の状態では重なり合わない。運転手Ａと乗客Ｂとの間に争いが起こったとき、２つのオブジェクトは互いに向かって傾くかもしれず、よってオブジェクト領域４１０および４２０が重なり合うか、接触するか、または互いに十分に近づくことがある。

いくつかの実施形態において、争い検出ユニット２１４は、オブジェクト領域４１０および４２０の相対位置に基づいて、争いが起こった可能性があるかどうかを判断してもよい。いくつかの実施形態において、オブジェクト領域４１０および４２０の間の距離が算出されてもよく、その距離に基づいて争いの確率が算出されてもよい。たとえば、争い検出ユニット２１４はオブジェクト領域４１０および４２０の中心点を定めて、それらの中心点の間の距離ｄ_１を算出してもよい。距離ｄ_１はｄ_１＝│ｘ_ｄｃ−ｘ_ｐｃ│と定められてもよく、ここでｘ_ｄｃは運転手オブジェクト領域４１０の中心点であり、ｘ_ｐｃは乗客オブジェクト領域４２０の中心点である。したがって、争いの確率Ｐ_ｃは、距離ｄ_１の関数として定められてもよい。いくつかの実施形態において、争いの確率Ｐ_ｃは距離ｄ_１に反比例してもよい。言い換えると、その距離が短いほど争いの確率が高くなる。たとえば、争い検出ユニット２１４は等式（１）に従ってＰ_ｃを定めてもよい。

ここでｘ_ｄｃは運転手オブジェクト領域４１０の中心点であり、ｘ_ｐｃは乗客オブジェクト領域４２０の中心点であり、Ｐ_ｃは争いの確率である。

別の例として、争い検出ユニット２１４はオブジェクト領域４１０および４２０の互いに最も近い点を定めて、それらの最も近い点の間の距離ｄ_２を算出してもよい。距離ｄ_２はｄ_２＝│ｘ_ｄｎ−ｘ_ｐｎ│と定められてもよく、ここでｘ_ｄｎおよびｘ_ｐｎは、オブジェクト領域４１０および４２０の互いに最も近い点である。オブジェクト領域４１０および４２０が重なり合う（すなわち運転手Ａと乗客Ｂとが接触する）とき、距離ｄ_２は０となる。次いで争い検出ユニット２１４は争いの確率Ｐ_ｎを算出してもよく、これは距離ｄ_２の関数として定められてもよい。いくつかの実施形態において、争いの確率Ｐ_ｎも距離ｄ_２に反比例してもよい。たとえば、争い検出ユニット２１４は等式（２）に従ってＰ_ｎを定めてもよい。

ここでｘ_ｄｎおよびｘ_ｐｎは領域４１０および４２０の互いに最も近い点であり、Ｐ_ｎは争いの確率である。

さらに別の例として、争い検出ユニット２１４は、争いの確率の決定において深度情報と距離とを集約してもよい。運転手オブジェクト領域４１０に関連する深度情報Ｍａｐ（ｄ，ｉ）と、乗客オブジェクト領域４２０に関連する深度情報Ｍａｐ（ｐ，ｊ）とが類似しているとき、すなわちＭａｐ（ｄ，ｉ）− Ｍａｐ（ｐ，ｊ）≦δであり、かつオブジェクト領域４１０および４２０の間の距離が短いとき、争いの確率は高い。そうでなければ、Ｍａｐ（ｄ，ｉ）とＭａｐ（ｐ，ｊ）とがかなり異なっており、かつオブジェクト領域４１０および４２０の間の距離が短いとき、争いの確率は低いと判定される。上述のとおり、争い検出ユニット２１４によって考慮される「距離」とは、オブジェクト領域４１０および４２０の中心点の間の距離であってもよいし、最も近い点の間の距離であってもよい。たとえば、それぞれ等式（３）および（４）による距離に基づいて、争いの確率が定められ得る。

定められた争いの確率に基づいて、争い検出ユニット２１４は、運転手Ａと乗客Ｂとの間で争いが起こったのか、またはこれから起こり得るのかを判断してもよい。たとえば争い検出ユニット２１４は、争いの確率を予め設定された閾値、たとえば０．８、０．９、０．９５などと比較する。もしその確率が閾値を超えていれば、争い検出ユニット２１４は争いを検出してもよい。

いくつかの実施形態において、争い検出ユニット２１４は、深度推定ユニット２１２によって得られた深度情報に基づいて争いを検出するために、学習モデルに基づく方法を用いてもよい。学習モデルは争いの確率を定めてもよいし、２値の検出結果、すなわち「争い」または「争いなし」を直接返してもよい。学習モデルは、既知の争い（または争いなし）の状況に関連する画像データを用いて訓練されてもよい。図４は運転手と乗客との間の争いの検出を示しているが、２人の乗客の間の争いも同様に検出され得ると考えられる。

図３に戻ると、いくつかの実施形態において、争い検出ユニット２１４の検出結果は、争い確認ユニット２１６によって確認されてもよい。特定の時点または短い期間に取得された画像データに基づいて争いが検出されるとき、その検出結果は信頼性が高くないことがある。たとえば、乗客１０４はときおり、会話をしやすくするため、またはたとえば目的地の住所を有する紙片、移動の情報を示す携帯電話などの情報もしくは品物を渡すために、運転手１０２に身を寄せることがある。したがって、争い確認ユニット２１６は争いを確認して、誤った警報の可能性を減らすように構成されてもよい。いくつかの実施形態において、争い確認ユニット２１６は、カメラ１１０にたとえば１０、２０、または３０秒間などの比較的長い期間にわたってより多くの画像を取得させるための制御信号を生成してもよい。代替的に、カメラ１１０が複数の画像フレームを含むビデオを捕捉するとき、争い確認ユニット２１６はたとえば１０、２０、または３０秒間などの時間範囲における画像フレームをサンプリングしてもよい。争い確認ユニット２１６は、各画像フレームに対してユニット２１０〜２１４によって行われる検出プロセスを繰り返してもよい。サンプリングされた画像フレームにまたがって持続的に争いが検出されるとき、争い確認ユニット２１６は争いを確定して検出結果３０６を返してもよい。争いの検出が散発的であって、他の画像フレームの分析では争いが存在しないことが示されるとき、争い確認ユニット２１６はその争いの発見を無視して検出結果３０６を返さなくてもよい。

再び図２を参照して、争いが検出されるとき、プロセッサ２０４は警報を引き起こすための制御信号を生成して、その制御信号を通信インタフェース２０２を介して警報受信機１３０に送ってもよい。いくつかの実施形態において、警報受信機１３０はサービスプラットフォームの争い解決モジュールであってもよいし、警察署のサーバ／コントローラであってもよい。いくつかの実施形態において、制御信号は、警報受信機１３０への電話呼び出しを引き起こしてもよい。いくつかのその他の実施形態において、制御信号はたとえば車両登録情報、運転手情報、乗客情報、車両の場所、および争いを示し得る画像などを含むデータの警報受信機１３０への送信を引き起こしてもよい。さらにいくつかの他の実施形態において、制御信号は、たとえば警報受信機１３０のディスプレイスクリーン上のポップアウトウィンドウ、ブザー音、振動、または音響警報などの警告通知を警報受信機１３０に生成させてもよい。

メモリ２０６およびストレージ２０８は、プロセッサ２０４が動作するために必要であり得る任意のタイプの情報を保存するために提供される任意の適切なタイプの大容量ストレージを含んでもよい。メモリ２０６およびストレージ２０８は、揮発性または不揮発性の磁気、半導体、テープ、光学、取り外し可能、取り外し不可能、またはその他のタイプのストレージデバイスもしくは有形の（すなわち非一時的な）コンピュータ読取り可能媒体であってもよく、それはＲＯＭ、フラッシュメモリ、ダイナミックＲＡＭ、およびスタティックＲＡＭを含むが、それらに限定されない。メモリ２０６および／またはストレージ２０８は、本明細書に開示される画像データ処理および争いの検出を行うためにプロセッサ２０４によって実行され得る１つまたはそれ以上のコンピュータプログラムを保存するように構成されてもよい。たとえばメモリ２０６および／またはストレージ２０８は、画像データから人間オブジェクトを識別し、人間オブジェクトの深度情報を推定し、深度情報に基づいて争いを検出するためにプロセッサ２０４によって実行され得るプログラム（単数または複数）を保存するように構成されてもよい。

メモリ２０６および／またはストレージ２０８はさらに、プロセッサ２０４によって用いられる情報およびデータを保存するように構成されてもよい。たとえばメモリ２０６および／またはストレージ２０８は、カメラ１１０によって捕捉されたさまざまなタイプのデータ（例えば、画像データ２０３）、およびカメラ設定に関するデータを保存するように構成されてもよい。加えてメモリ２０６および／またはストレージ２０８は、たとえば深度推定ユニット２１２による推定深度情報などの中間データを保存してもよい。メモリ２０６および／またはストレージ２０８はさらに、たとえばオブジェクト検出モデル３０２および深度推定モデル３０４などの、プロセッサ２０４によって用いられるさまざまな学習モデルを保存してもよい。さまざまなタイプのデータは永続的に保存されてもよいし、定期的に除去されてもよいし、各フレームのデータが処理された直後に無視されてもよい。

図５は、本開示の実施形態による、車両内の争いを検出するための例示的方法５００の流れ図を示す。いくつかの実施形態において、方法５００は、特にプロセッサ２０４を含むコントローラ１２０によって実施されてもよい。しかし、方法５００はその例示的実施形態に限定されない。方法５００は、以下に記載されるステップＳ５０２〜Ｓ５１４を含んでもよい。これらのステップのいくつかは、本明細書に提供される開示を行うために任意であり得ることが認識されるべきである。さらに、これらのステップのいくつかは同時に行われてもよいし、図５に示されるのとは異なる順序で行われてもよい。

ステップＳ５０２において、車両１００が営業走行を行うとき、カメラ１１０は車両１００内の少なくとも１つのオブジェクトの画像データ２０３を捕捉する。いくつかの実施形態においては、複数のカメラ１１０が車両１１０の内側のさまざまな場所に設置されて、異なる角度から同時に画像データを捕捉してもよい。たとえばカメラ１１０は、車両１００のダッシュボードに設置されるか、または車両１００のダッシュボードに搭載されたＧＰＳナビゲーションデバイスもしくは携帯電話に埋め込まれた、後ろ向きのカメラであってもよい。いくつかの実施形態において、オブジェクトは運転手（例えば、運転手１０２）、１人またはそれ以上の乗客（例えば、乗客１０４）、空のシート（例えば、空のシート１０６）、シートベルト、および車両１００の内側に設置されるか、または車両１００に持ち込まれた任意のその他の物品（例えば、水筒１０８）を含んでもよい。

カメラ１１０は継続的に、または特定の時点において画像データ２０３を捕捉するように構成されてもよい。たとえば、カメラ１１０は複数の画像フレームを含むビデオを捕捉するように構成されたビデオカメラであってもよい。いくつかの実施形態において、画像データ２０３は２Ｄ画像および／または３Ｄ画像を含んでもよい。カメラ１１０によって捕捉された画像データ２０３は、たとえばネットワークなどを介してコントローラ１２０に送信されてもよい。

ステップＳ５０４において、コントローラ１２０は画像データ２０３内の画像から運転手オブジェクトおよび乗客オブジェクトを識別する。いくつかの実施形態において、これらの人間オブジェクトはそれらの輪郭情報を定めることによって識別されてもよい。いくつかの実施形態において、オブジェクト検出ユニット２１０は、画像からオブジェクトを識別するために最初に画像データ２０３に画像セグメント化を適用し、次いで識別されたオブジェクトの中から人間オブジェクトを検出するためにオブジェクト検出モデル３０２を用いてもよい。いくつかの代替的実施形態において、オブジェクト検出ユニット２１０は最初にオブジェクト検出モデル３０２を用いて人間オブジェクトを含むバウンディング区域を定め、次いで各バウンディング区域をセグメント化して人間オブジェクトを識別することによってオブジェクト検出を行ってもよい。

ステップＳ５０６において、コントローラ１２０は運転手オブジェクトおよび乗客オブジェクトの深度情報を定める。いくつかの実施形態において、コントローラ１２０は、深度情報を推定するために深度推定モデル３０４を適用してもよい。ステップＳ５０４で定められたオブジェクト輪郭と、深度情報とを用いて、コントローラ１２０は各人間オブジェクトに対するオブジェクト領域を得てもよい。たとえば図４に示されるとおり、運転手Ａおよび乗客Ｂに対応する運転手オブジェクト領域４１０および乗客オブジェクト領域４２０が定められてもよい。

ステップＳ５０８において、コントローラ１２０は運転手オブジェクトおよび乗客オブジェクトの間の距離を定める。いくつかの実施形態において、コントローラ１２０はオブジェクト領域の中心点を定めて、それらの中心点の間の距離ｄ_１を算出してもよい。たとえば図４に示されるとおり、距離ｄ_１はｄ_１＝│ｘ_ｄｃ−ｘ_ｐｃ│と定められてもよく、ここでｘ_ｄｃは運転手オブジェクト領域４１０の中心点であり、ｘ_ｐｃは乗客オブジェクト領域４２０の中心点である。距離ｄ_１はｄ_１＝│ｘ_ｄｃ−ｘ_ｐｃ│と定められてもよく、ここでｘ_ｄｃは運転手オブジェクト領域４１０の中心点であり、ｘ_ｐｃは乗客オブジェクト領域４２０の中心点である。代替的に、コントローラ１２０はオブジェクト領域４１０および４２０の互いに最も近い点を定めて、それらの最も近い点の間の距離ｄ_２を算出してもよい。たとえば、距離ｄ_２はｄ_２＝│ｘ_ｄｎ−ｘ_ｐｎ│と定められてもよく、ここでｘ_ｄｎおよびｘ_ｐｎは領域４１０および４２０の互いに最も近い点である。

ステップＳ５１０において、コントローラ１２０は距離に基づいて争いの確率を定める。たとえば、争いの確率Ｐ_ｃは等式（１）に従って距離ｄ_１の関数として定められてもよい。別の例として、争いの確率Ｐ_ｎは等式（２）に従って距離ｄ_２の関数として定められてもよい。いくつかの実施形態において、争いの確率Ｐ_ｃおよびＰ_ｎは、それぞれ距離ｄ_１およびｄ_２に反比例してもよい。

いくつかの他の実施形態において、コントローラ１２０は、争いの確率の決定において深度情報と距離とを集約してもよい。運転手オブジェクト領域４１０に関連する深度情報Ｍａｐ（ｄ，ｉ）と、乗客オブジェクト領域４２０に関連する深度情報Ｍａｐ（ｐ，ｊ）とが類似しているとき、すなわちＭａｐ（ｄ，ｉ）− Ｍａｐ（ｐ，ｊ）≦δであるとき、等式（３）または（４）に従って争いの確率を定めることができる。いくつかの実施形態において、コントローラ１２０は、深度情報に基づいて争いを検出するために、学習モデルに基づく方法を用いてもよい。

ステップＳ５１２において、コントローラ１２０は争いの確率と、予め設定された閾値とを比較してもよい。たとえば、閾値はたとえば０．８、０．９、または０．９５などの著しく高い閾値として設定されてもよい。確率がもし閾値を超えていれば（Ｓ５１２：ｙｅｓ）、方法５００は警報を発するためにステップＳ５１４に進む。そうでなければ（Ｓ５１２：ｎｏ）、方法５００はステップＳ５０２に戻って、車両１００の内側の画像の捕捉を続け、次いでステップＳ５０４〜Ｓ５１２を繰り返して争いが起こったか、またはこれから起こり得るかどうかを定める。いくつかの実施形態において、ステップＳ５１２で検出された争いがカメラ１１０によって捕捉された複数の画像フレームにまたがって持続的に検出されるとき、その検出結果が確定されてもよい。争いの検出が散発的であって、他の画像フレームの分析では争いが存在しないことが示されるとき、コントローラはその争いの発見を無視してもよい。

ステップＳ５１４において、コントローラ１２０は警報を引き起こすための制御信号を生成して、その制御信号を警報受信機１３０に送り、この警報受信機１３０はサービスプラットフォームまたは警察署である。いくつかの実施形態において、制御信号は、警報受信機１３０への電話呼び出しまたはデータ送信を引き起こしてもよい。たとえば、データ送信はたとえば車両登録情報、運転手情報、乗客情報、車両の場所、および争いを示し得る画像などを含んでもよい。いくつかの実施形態において、制御信号は、たとえば警報受信機１３０のディスプレイスクリーン上のポップアウトウィンドウ、ブザー音、振動、または音響警報などの警告通知を警報受信機１３０に生成させてもよい。

本開示の別の態様は、実行されるときに１つまたはそれ以上のプロセッサに上記で考察されるとおりの方法を行わせる命令を保存する、非一時的なコンピュータ読取り可能媒体に向けられる。コンピュータ読取り可能媒体は、揮発性または不揮発性の磁気、半導体、テープ、光学、取り外し可能、取り外し不可能、またはその他のタイプのコンピュータ読取り可能媒体またはコンピュータ読取り可能ストレージデバイスを含んでもよい。たとえばコンピュータ読取り可能媒体は、開示されるとおりのコンピュータ命令が保存されたストレージデバイスまたはメモリモジュールであってもよい。いくつかの実施形態において、コンピュータ読取り可能媒体は、コンピュータ命令が保存されたディスクまたはフラッシュドライブであってもよい。

開示されたシステムおよび関連する方法には、さまざまな修正および変更が行われ得ることが当業者に明らかになるだろう。明細書の検討ならびに開示されたシステムおよび関連する方法の実施から、当業者には他の実施形態が明らかになるだろう。

明細書および実施例は単なる例示的なものであるとみなされ、真の範囲は以下の請求項およびそれらの均等物によって示されることが意図される。

Claims (20)

1. 車両内の争いを検出するためのシステムであって、
   少なくとも１つのカメラを含み、前記カメラは前記車両内の複数の画像を捕捉するように構成され、前記システムはさらに
   前記少なくとも１つのカメラと通信するコントローラを含み、前記コントローラは
   前記複数の画像から人間オブジェクトを検出し、
   それぞれの前記人間オブジェクトの深度情報を推定し、
   前記深度情報に基づいて前記争いを検出するように構成される、システム。
2. 検出された前記人間オブジェクトは運転手オブジェクトおよび乗客オブジェクトを含み、前記争いは前記運転手オブジェクトおよび前記乗客オブジェクトの間の距離に基づいて検出される、請求項１に記載のシステム。
3. 前記人間オブジェクトを検出するために、前記コントローラは
   学習モデルに基づいて前記複数の画像から前記人間オブジェクトを含むバウンディング区域を定め、
   前記バウンディング区域をセグメント化して前記人間オブジェクトを検出するように構成される、請求項１に記載のシステム。
4. 前記人間オブジェクトを検出するために、前記コントローラは
   前記複数の画像をセグメント化してオブジェクトを識別し、
   学習モデルに基づいて前記オブジェクトの中から人間オブジェクトを検出するように構成される、請求項１に記載のシステム。
5. それぞれの前記人間オブジェクトの前記深度情報は、学習モデルを用いて推定される、請求項１に記載のシステム。
6. 前記コントローラはさらに、
   前記運転手オブジェクトおよび前記乗客オブジェクトの前記深度情報に基づいて、前記運転手オブジェクトおよび前記乗客オブジェクトの間の前記距離を定め、
   前記距離に基づいて前記争いの確率を定めるように構成される、請求項２に記載のシステム。
7. 前記争いの前記確率は前記距離に反比例する、請求項６に記載のシステム。
8. 前記距離は、前記運転手オブジェクトおよび前記乗客オブジェクトの中心点の間の距離である、請求項６に記載のシステム。
9. 前記距離は、前記運転手オブジェクトおよび前記乗客オブジェクトの２つの最も近い点の間の距離である、請求項６に記載のシステム。
10. 車両内の争いを検出するための方法であって、
    少なくとも１つのカメラによって前記車両内の複数の画像を捕捉するステップと、
    プロセッサによって前記複数の画像から人間オブジェクトを検出するステップと、
    前記プロセッサによってそれぞれの前記人間オブジェクトの深度情報を推定するステップと、
    前記プロセッサによって前記深度情報に基づいて前記争いを検出するステップとを含む、方法。
11. 検出された前記人間オブジェクトは運転手オブジェクトおよび乗客オブジェクトを含み、前記争いは前記運転手オブジェクトおよび前記乗客オブジェクトの間の距離に基づいて検出される、請求項１０に記載の方法。
12. 前記人間オブジェクトを検出するステップはさらに、
    学習モデルに基づいて前記複数の画像から前記人間オブジェクトを含むバウンディング区域を定めるステップと、
    前記バウンディング区域をセグメント化して前記人間オブジェクトを検出するステップとを含む、請求項１０に記載の方法。
13. 前記人間オブジェクトを検出するステップはさらに、
    前記複数の画像をセグメント化してオブジェクトを識別するステップと、
    学習モデルに基づいて前記オブジェクトの中から人間オブジェクトを検出するステップとを含む、請求項１０に記載の方法。
14. それぞれの前記人間オブジェクトの前記深度情報は、学習モデルを用いて推定される、請求項１０に記載の方法。
15. 前記運転手オブジェクトおよび前記乗客オブジェクトの前記深度情報に基づいて、前記運転手オブジェクトおよび前記乗客オブジェクトの間の前記距離を定めるステップと、
    前記距離に基づいて前記争いの確率を定めるステップとをさらに含む、請求項１１に記載の方法。
16. 前記争いの前記確率は前記距離に反比例する、請求項１５に記載の方法。
17. 前記距離は、前記運転手オブジェクトおよび前記乗客オブジェクトの中心点の間の距離である、請求項１５に記載の方法。
18. 前記距離は、前記運転手オブジェクトおよび前記乗客オブジェクトの２つの最も近い点の間の距離である、請求項１５に記載の方法。
19. 電子デバイスの少なくとも１つのプロセッサによって実行されるときに、前記電子デバイスに車両内の争いを検出するための方法を行わせる命令のセットを保存する非一時的なコンピュータ読取り可能媒体であって、前記方法は、
    少なくとも１つのカメラによって捕捉された前記車両内の複数の画像を受信するステップと、
    前記複数の画像から人間オブジェクトを検出するステップと、
    それぞれの前記人間オブジェクトの深度情報を推定するステップと、
    前記深度情報に基づいて前記争いを検出するステップとを含む、非一時的なコンピュータ読取り可能媒体。
20. 前記識別された人間オブジェクトは運転手オブジェクトおよび乗客オブジェクトを含み、前記方法はさらに、
    前記運転手オブジェクトおよび前記乗客オブジェクトの前記深度情報に基づいて、前記運転手オブジェクトおよび前記乗客オブジェクトの間の距離を定めるステップと、
    前記距離に基づいて乗客−運転手間の争いを検出するステップとを含む、請求項１９に記載の非一時的なコンピュータ読取り可能媒体。
    
    

Images