JP2021517313A - 車両乗員の危険動作の認識方法及び装置、電子機器、並びに記憶媒体 - Google Patents

Abstract

本開示の実施例は車両乗員の危険動作の認識方法及び装置、電子機器、並びに記憶媒体を開示し、前記方法は、車載撮像装置により、車両乗員の少なくとも一つのビデオストリームを得ることであって、前記ビデオストリーム毎にそれぞれ少なくとも一つの車両乗員が含まれることと、前記ビデオストリームに基づいて前記車両乗員に対して動作認識を行うことと、前記動作認識の結果が予め設定された危険動作に属することに応答し、リマインディング情報を知らせ及び／又は車両を制御するよう操作を実行することと、を含む。

Description

本願は２０１９年２月２８日に中国特許局に提出された、出願番号がＣＮ２０１９１０１５２５２５．Ｘであり、発明の名称が「車両乗員の危険動作の認識方法及び装置、電子機器、並びに記憶媒体」である中国特許出願の優先権を主張し、その開示の全てが参照によって本願に組み込まれる。

本開示はコンピュータビジョン技術に関し、特に車両乗員の危険動作の認識方法及び装置、電子機器、並びに記憶媒体に関する。

車両乗員に関する人工知能が日進月歩に発展することに伴い、様々なＡＩ技術は次々と実現され、現在、市場で運転者に対する監視の需要はますます切実になってきている。運転者監視の主な機能モジュールは、たいてい、車両乗員の顔認識、疲労検出などのモジュールに分けられることができる。運転者の状態を監視することで、危険の兆しを早めに発見し、発生し得る危険を予防及び処理し、それによって運転の安全性を向上させることができる。

本開示の実施例は車両乗員の危険動作の認識技術を提供する。

本開示の実施例の一態様によれば、
撮像装置により、車両乗員の少なくとも一つのビデオストリームを得ることであって、前記ビデオストリーム毎にそれぞれ少なくとも一つの車両乗員が含まれることと、
前記ビデオストリームに基づいて前記車両乗員に対して動作認識を行うことと、
前記動作認識の結果が予め設定された危険動作に属することに応答し、リマインディング情報を知らせ及び／又は車両を制御するよう操作を実行することであって、前記予め設定された危険動作が、注意力散漫になる動作、不調状態、違反行為という前記車両乗員の動作のうちの少なくとも一つを含むことと、を含む車両乗員の危険動作の認識方法が提供される。

本開示の実施例の別の態様によれば、
撮像装置により、車両乗員の少なくとも一つのビデオストリームを得るためのビデオ収集ユニットであって、前記ビデオストリーム毎にそれぞれ少なくとも一つの車両乗員が含まれるビデオ収集ユニットと、
前記ビデオストリームに基づいて前記車両乗員に対して動作認識を行うための動作認識ユニットと、
前記動作認識の結果が予め設定された危険動作に属することに応答し、リマインディング情報を知らせ及び／又は車両を制御するよう操作を実行するための危険処理ユニットであって、前記予め設定された危険動作が、注意力散漫になる動作、不調状態、違反行為という前記車両乗員の動作のうちの少なくとも一つを含む危険処理ユニットと、を含む車両乗員の危険動作の認識装置が提供される。

本開示の実施例のさらに別の態様によれば、上記いずれかの実施例に記載の車両乗員の危険動作の認識装置を含むプロセッサを含む電子機器が提供される。

本開示の実施例のさらに別の一態様によれば、実行可能命令を記憶するためのメモリと、
前記メモリと通信して、前記実行可能命令を実行することによって、上記いずれかの実施例に記載の車両乗員の危険動作の認識方法の操作を実行するためのプロセッサと、を含む電子機器が提供される。

本開示の実施例のさらに別の一態様によれば、コンピュータ可読命令を記憶するためのコンピュータ可読記憶媒体であって、前記命令は実行される時に上記いずれかの実施例に記載の車両乗員の危険動作の認識方法の操作を実行するコンピュータ可読記憶媒体が提供される。

本開示の実施例のさらに別の一態様によれば、コンピュータ可読コードを含むコンピュータプログラム製品であって、前記コンピュータ可読コードが機器において実行される時、前記機器内のプロセッサは上記いずれかの実施例に記載の車両乗員の危険動作の認識方法を実現するための命令を実行するコンピュータプログラム製品が提供される。

本開示の上記実施例に提供される車両乗員の危険動作の認識方法及び装置、電子機器、並びに記憶媒体に基づき、撮像装置により、車両乗員の少なくとも一つのビデオストリームを得、ビデオストリーム毎にそれぞれ少なくとも一つの車両乗員が含まれ、ビデオストリームに基づいて車両乗員に対して動作認識を行い、動作認識の結果が予め設定された危険動作に属することに応答し、リマインディング情報を知らせ及び／又は車両を制御するよう操作を実行し、予め設定された危険動作が、注意力散漫になる動作、不調状態、違反行為という車両乗員の動作のうちの少なくとも一つを含み、動作認識によって車両乗員が予め設定された危険動作をしたかどうかを判定し、予め設定された危険動作に応じて、対応するリマインディング情報を知らせ及び／又は車両を制御するよう操作を実行し、車両の安全状況をできるだけ早期に発見し、それによって危険状況が発生する確率を低下させる。

以下、図面及び実施例により、本開示の技術的解決手段をさらに詳しく説明する。

明細書の一部となる図面は、本開示の実施例を説明し、その説明と共に本開示の原理を解釈することに用いられる。

図面を参照し、以下の詳細な説明により本開示をより明瞭に理解することができる。
本開示の実施例が提供する車両乗員の危険動作の認識方法のフローチャートである。 本開示の実施例が提供する車両乗員の危険動作の認識方法の代替例における一部のフローチャートである。 本開示の実施例が提供する車両乗員の危険動作の認識方法の別の代替例における一部のフローチャートである。 本開示の実施例に係る車両乗員の危険動作の認識方法において抽出される対象領域の模式図である。 本開示の実施例が提供する車両乗員の危険動作の認識装置の構成模式図である。 本開示の実施例に係る端末機器又はサーバの実現に適する電子機器の構成模式図である。

ここで、図面を参照しながら本開示の様々な例示的な実施例を詳細に説明する。なお、特に断らない限り、これらの実施例で記述した部材及びステップの相対的配置、数式及び値は本開示の範囲を限定するものではないことに注意すべきである。

同時に、説明の便宜上、図面に示した各部分の寸法は実際の比例関係に従って描いたものではないことを理解すべきである。

以下の少なくとも一つの例示的な実施例に対する説明は実際に説明的なものに過ぎず、本開示及びその適用又は使用へのなんらの制限にもならない。

関連分野の当業者に既知の技術、方法及び機器については、詳細に説明しない場合があるが、場合によって、前記技術、方法及び機器は明細書の一部と見なすべきである。

なお、類似する符号及び英文字は以下の図面において類似項目を表し、従って、ある一項が一つの図面において定義されれば、以降の図面においてそれをさらに説明する必要がないことに注意すべきである。

本開示の実施例はコンピュータシステム／サーバに適用可能であり、それは他の様々な共通又は専用計算システム環境又は構成と共に動作可能である。コンピュータシステム／サーバとの併用に適する公知の計算システム、環境及び／又は構成の例は、パーソナルコンピュータシステム、サーバコンピュータシステム、シンクライアント、ファットクライアント、手持ち又はラップトップデバイス、マイクロプロセッサに基づくシステム、セットトップボックス、プログラマブル消費者用電子機器、ネットワークパソコン、小型コンピュータシステム、大型コンピュータシステム及び前記の任意のシステムを含む分散型クラウドコンピューティング技術環境などを含むが、これらに限定されない。

コンピュータシステム／サーバはコンピュータシステムにより実行されるコンピュータシステム実行可能命令（例えば、プログラムモジュール）の一般的な言語環境において記述できる。通常、プログラムモジュールはルーチン、プログラム、目的プログラム、コンポーネント、ロジック、データ構造などを含んでよく、それらは特定のタスクを実行するか又は特定の抽象データ型を実現する。コンピュータシステム／サーバは分散型クラウドコンピューティング環境において実施でき、分散型クラウドコンピューティング環境において、タスクは通信ネットワークにわたってリンクされた遠隔処理機器により実行される。分散型クラウドコンピューティング環境において、プログラムモジュールは記憶機器を含むローカル又は遠隔計算システムの記憶媒体に存在してよい。

危険動作認識は車内安全監視分野において高い応用の将来性を有する。まず、危険動作認識システムは、運転者が危険動作をした時にリマインディングを知らせ、それにより発生し得る事故を警告及び回避することができる。また、該システムは何らかの違反行為又は車内の乗客を不調にさせる行為を監視し、リマインディング、阻止することができる。同時に、危険動作の監視そのものは運転者の何らかの習慣及び嗜みを得ることができ、システムによる使用者プロフィールの作成及びビッグデータの分析に寄与するとともに、危険動作認識によって、運転者の感情状態、疲労状態、行動習慣を監視することができる。

図１は本開示の実施例が提供する車両乗員の危険動作の認識方法のフローチャートである。該方法は任意の電子機器、例えば端末機器、サーバ、携帯機器、車載機器などによって実行できる。図１に示すように、該実施例の方法は以下を含む。

ステップ１１０において、撮像装置（例えば、カメラなど）により車両乗員の少なくとも一つのビデオストリームを得る。

ここで、各ビデオストリームは少なくとも一つの車両乗員を含む。本開示の実施例は撮像装置（例えば、車両の内部に設置されて車両のシート位置を撮像する一つ以上のカメラ）によって、車両乗員の画像を収集し、ビデオストリームを得ることができる。任意選択的に、一つの撮像装置に基づいて全車両内の複数の車両乗員（例えば、全ての車両乗員）のビデオストリームを収集してもよく、又は車内に一つ以上のリアシート領域に向けて画像を収集する一つの撮像装置を設置してもよく、又は各シートの前方にそれぞれ一つの撮像装置を設置し、少なくとも一つの車両乗員（例えば、各車両乗員）に対してそれぞれビデオストリームを収集してもよく、収集したビデオストリームを処理することでそれぞれの車両乗員に対して動作を認識することができる。

実際の応用では、車外の撮像装置（例えば、路上に設置されるカメラ）に基づいて車両乗員のビデオストリームを収集する場合もある。

任意選択的に、撮像装置は、可視光カメラ、赤外カメラ、近赤外カメラの少なくとも一つを含むが、これらに限定されない。そのうち、可視光カメラは可視光画像の収集に用いることができ、赤外カメラは赤外画像の収集に用いることができ、近赤外カメラは近赤外画像の収集に用いることができる。

一代替例では、該ステップ１１０はプロセッサによってメモリに記憶された対応する命令を呼び出して実行してもよいし、プロセッサにより実行されるビデオ収集ユニット４１によって実行してもよい。

ステップ１２０において、ビデオストリームに基づいて車両乗員に対して動作認識を行う。

車両運転中に、一つ以上の車両乗員が危険動作をすると、車両に危険をもたらす可能性があり、特に運転者が何らかの危険動作をしたら、全車両に危険をもたらし、車両及び車両乗員に危険をもたらす可能性があり、そのため、車両の安全を確保するために車両乗員の動作を認識する必要がある。幾つかの動作がビデオストリームにおける単一フレームの画像フレームだけで特定することができ、それに対して幾つかの動作が連続した複数フレームでしか認識することができない。従って、本開示の実施例はビデオストリームによって動作を認識し、それによって誤り判定を低減し、動作認識の正確率を高める。

任意選択的に、動作の種別は危険動作及び正常動作に分けることができ、危険動作に対して、発生し得る危険を排除するよう処理する必要であり、ここで、危険動作は注意力散漫になる動作、不調状態、違反行為などの少なくとも一つを含むが、これらに限定されない。危険動作は一般的な非運転者及び運転者に対する要求が同じであってもなくてもよく、例えば、運転者に対する要求をより厳しくしてもよく、同時に、運転者の独立性及び安全性を保護する必要があり、例えば、予め設定された危険動作を運転者危険動作及び非運転者危険動作に分けてもよく、本開示の実施例は動作種別を認識する具体的な方法を限定しない。

一代替例では、該ステップ１２０はプロセッサによってメモリに記憶された対応する命令を呼び出して実行してもよいし、プロセッサにより実行される動作認識ユニット４２によって実行してもよい。

ステップ１３０において、動作認識の結果が予め設定された危険動作に属することに応答し、リマインディング情報を知らせ及び／又は車両を制御するよう操作を実行する。

本開示の実施例における危険動作は、車両乗員自体又は他人に安全リスクをもたらす行為であってもよい。任意選択的に、本開示の実施例における予め設定された危険動作は、車両乗員の注意力散漫になる動作、不調状態、違反行為などの少なくとも一つを含むが、これらに限定されない。任意選択的に、注意力散漫になる動作は主に運転者を対象とし、運転者は車両運転中に、注意力を集中しなければならず、注意力散漫になる動作（例えば、食べ物食い、タバコ吸いなどの動作）をすると、運転者の注意力が分散され、車両に危険が発生しやすい。不調状態は全ての車両乗員を対象としてもよく、車両乗員に不調状態が現れる場合、人体の安全を考慮し、いくつかの比較的危険な状況、例えば運転者が頻繁にあくびをする状況、又は乗客が汗を拭く状況などは、早めに処理する必要がある。違反行為は安全運転の規定に適合しない行為であってよく、また運転者又は他の車両乗員に危険をもたらす可能性のある行為などでもあり得る。予め設定された危険動作がもたらす不利な影響を解消するために、本開示の実施例はリマインディング情報を知らせ又は対応する操作を実行することで車両を制御して危険の発生確率を低下させ、車両乗員の安全性及び／又は乗り心地を改善する。

任意選択的に、リマインディング情報の表現形式は、声音によるリマインディング情報、振動によるリマインディング情報、光線によるリマインディング情報、匂いによるリマインディング情報などの少なくとも一つを含んでもよいが、これらに限定されない。例えば、車両乗員がタバコを吸う場合、声音によるリマインディング情報を知らせ、車内では禁煙であることに注意を促し、それによって喫煙が他の車両乗員にもたらす危険を低減するようにしてもよい。さらに例えば、車両乗員が汗を拭く場合、車内の温度が高くなりすぎることがわかり、スマート制御によって、車内の空調の温度を低下させ、それによって車両乗員が不調になるという問題を解決するようにしてもよい。

危険動作認識は運転者監視において重要な意味及び高い応用価値を有する。現在、運転者の車運転には、いろいろな危険動作がよくあり、これらの動作は運転者の注意力散漫をよく引き起こし、一定の安全リスクがある。

一代替例では、該ステップ１３０はプロセッサによってメモリに記憶された対応する命令を呼び出して実行してもよいし、プロセッサにより実行される危険処理ユニット４３によって実行してもよい。

本開示の上記実施例が提供する車両乗員の危険動作の認識方法に基づき、撮像装置により、車両乗員の少なくとも一つのビデオストリームを得、ビデオストリーム毎にそれぞれ少なくとも一つの車両乗員が含まれ、ビデオストリームに基づいて車両乗員に対して動作認識を行い、動作認識の結果が予め設定された危険動作に属することに応答し、リマインディング情報を知らせ及び／又は車両を制御するよう操作を実行し、予め設定された危険動作が、注意力散漫になる動作、不調状態、違反行為という車両乗員の動作のうちの少なくとも一つを含み、動作認識によって車両乗員が予め設定された危険動作をしたかどうかを判定し、予め設定された危険動作に応じて、対応するリマインディング情報を知らせ及び／又は車両を制御するよう操作を実行し、車両の安全状況をできるだけ早期に発見し、それによって危険状況が発生する確率を低下させる。

任意選択的に、車両乗員は運転者及び／又は非運転者を含むことができ、車両乗員は通常、少なくとも一つを含み（例えば、運転者のみを含む）、各車両乗員の動作をそれぞれ認識するために、画像又はビデオストリームを取得した後、任意選択的に、位置（例えば、シート位置）によって画像又はビデオストリームを車両乗員に応じてそれぞれ分割し、それによって各車両乗員に対応する画像又はビデオストリームを解析する。車両走行中に、運転者及び非運転者の危険動作に対する評価が異なる可能性があるため、予め設定された危険動作であるかどうかを認識するとき、任意選択的に、まず該車両乗員が運転者であるか、それとも非運転者であるかを判断してもよい。

図２は本開示の実施例が提供する車両乗員の危険動作の認識方法の一代替例における一部のフローチャートである。図２に示すように、ステップ１２０は以下を含む。

ステップ２０２において、ビデオストリームの少なくとも１フレームのビデオ画像において、車両乗員に含まれる少なくとも一つの対象領域を検出する。

可能な一実施形態では、動作認識を実現するために、対象領域は、顔局所領域、動作相関物体及び肢体領域などの少なくとも一つを含んでもよいが、これらに限定されない。例えば、顔局所領域を対象領域とする場合、顔の動作は通常顔における五官に関連する。例えば、タバコを吸い又は食べ物を食う動作は口部に関連し、電話をかける動作は耳部に関連する。該例において対象領域は、口部、耳部、鼻部、眼部、眉部の一つ又はそれらの任意の組み合わせを含むが、これらに限定されない。任意選択的に、必要に応じて顔における対象部位を決定してもよい。対象部位は一个以上の部位を含む。顔検出技術により顔における対象部位を検出できる。

ステップ２０４において、検出によって得られた対象領域に基づいてビデオストリームの少なくとも１フレームのビデオ画像から対象領域に対応する対象画像を切り取る。

可能な一実施形態では、対象領域は対象部位を中心とした一定の領域であってもよく、例えば、顔に基づく動作は顔の少なくとも一つの部位を中心としてもよい。ビデオストリームにおける顔以外の領域には動作に関連する物体が含まれてもよい。例えば、タバコを吸う動作は口部を中心とし、タバコは検出画像における顔以外の領域に現れてもよい。

可能な一実施形態では、対象領域の検出結果に基づき、対象領域の少なくとも１フレームのビデオ画像における位置を特定でき、対象領域の少なくとも１フレームのビデオ画像における位置に基づいて、対象画像の切り取り寸法及び／又は切り取り位置を決定できる。本開示の実施例は、切り取られる対象画像が動作認識の要求により適合するように、設定された条件に基づいて、ビデオ画像において対象領域に対応する対象画像を切り取ることができる。例えば、対象領域と顔における設定位置との間の距離に応じて、切り取るべき対象画像の大きさを決定してもよい。例えば、人物Ａの口部とＡの顔中心点との間の距離により、人物Ａの口部の対象画像を決定し、同様に人物Ｂの口部とＢの顔中心点との間の距離により、人物Ｂの口部の対象画像を決定する。口部と顔中心との間の距離は顔自体の特徴に関係しているため、切り取られた対象画像は顔自体の特徴により適合するようになる。対象領域のビデオ画像における位置に基づいて切り取って対象画像を得るために、ノイズが低減されるとともに、動作に関連する物体が存在するより完全な画像領域を包含できる。

ステップ２０６において、対象画像に基づいて車両乗員に対して動作認識を行う。

可能な一実施形態では、対象画像の特徴を抽出し、抽出された特徴に基づいて車両乗員が予め設定された危険動作をしたかどうかを判定することができる。

可能な一実施形態では、予め設定された危険動作は車両乗員の注意力散漫になる動作、不調状態、違反行為などの少なくとも一つを含むが、これらに限定されない。車両乗員が予め設定された危険動作をした場合、安全リスクが発生し得る。動作認識の結果により、車両乗員の安全解析などを行うことができる。例えば、ビデオストリームにおいて運転者がタバコを吸う動作が現れる場合、口部の対象画像における特徴を抽出し、特徴に基づいてビデオストリームにおいてタバコの特徴が存在するかどうかを判断することで、運転者がタバコを吸っているかどうかを判定でき、運転者がタバコを吸う動作をしているとすれば、安全リスクが存在すると見なす。

本実施例では、ビデオストリームにおいて対象領域を認識し、対象領域の検出結果に基づいてビデオ画像において対象領域に対応する対象画像を切り取り、対象画像に基づいて車両乗員が予め設定された危険動作をしたかどうかを認識する。対象領域の検出結果に基づいて切り取られた対象画像は、異なるビデオ画像における、面積が異なる人体に適用することができる。本開示の実施例の適用範囲は広い。本開示の実施例は対象画像を動作認識の基礎とし、危険動作に対応する特徴をより正確に抽出することに寄与し、無関係の領域による検出干渉を軽減し、動作認識の正確性を向上させることができ、例えば、運転者がタバコを吸う動作を認識する時、タバコを吸う動作は口部領域に大きく関連し、口部及びその周囲を口部領域として運転者の動作を認識することで、運転者がタバコを吸ったかどうかを判定し、タバコを吸う動作の認識の正確性を向上させることができる。

図３ａは本開示の実施例が提供する車両乗員の危険動作の認識方法の別の代替例における一部のフローチャートである。図３ａに示すように、上記実施例が提供する方法において、ステップ２０２は以下を含む。

ステップ３０２において、ビデオストリームの少なくとも１フレームのビデオ画像に含まれる車両乗員の特徴を抽出する。

本開示の実施例は主に車両乗員が車両の内部で行ったいくつかの危険動作を認識し、これらの危険動作は通常肢体、顔に関連する動作であり、これらの動作は人体のキーポイントの検出又は人体の姿勢の推定によって認識することができない。本開示の実施例はビデオ画像に対して畳み込み操作すること似よって特徴を抽出し、抽出された特徴に基づいてビデオ画像における動作を認識する。例えば、上記危険動作の特徴は、肢体及び／又は顔局所領域、動作相関物体であり、そのため、撮像装置によって車両乗員をリアルタイムに撮像し、顔が含まれているビデオ画像を取得する必要がある。さらにビデオ画像に対して畳み込み操作する、動作特徴を抽出する。

ステップ３０４において、特徴に基づいて少なくとも１フレームのビデオ画像から対象領域を抽出する。

任意選択的に、本実施例における対象領域は動作を含み得る対象領域である。

まず上記危険動作の特徴を定義し、そしてニューラルネットワークが、さらに定義された特徴及び抽出されたビデオ画像の特徴に基づき、ビデオ画像において危険動作が存在するかどうかを判断する。本実施例におけるニューラルネットワークはいずれも訓練されたものであり、つまり、ニューラルネットワークによってビデオ画像における予め設定された動作の特徴を抽出できる。

上記抽出された特徴は、肢体領域、顔局所領域及び動作相関物体を含む場合、ニューラルネットワークは、肢体、顔局所領域及び動作相関物体を同時に含む特徴領域を分割し、対象領域を得る。ここで、対象領域は、顔局所領域、動作相関物体、肢体領域などの少なくとも一つを含んでもよいが、これらに限定されない。任意選択的に、顔局所領域は、口部領域、耳部領域、眼部領域などの少なくとも一つを含むが、これらに限定されない。任意選択的に、動作相関物体は、容器、タバコ、携帯電話、食物、工具、飲料瓶、眼鏡、マスクなどの少なくとも一つを含むが、これらに限定されない。任意選択的に、肢体領域は、手部領域、足部領域などの少なくとも一つを含むが、これらに限定されない。例えば、上記危険動作は、水／飲料を飲むこと、タバコを吸うこと、電話をかけること、眼鏡をかけること、マスクをかけること、化粧すること、工具を使用すること、食べ物を食うこと、両足をハンドルの上に乗せることなどを含むが、これらに限定されない。例示的に、水を飲む動作の特徴は、手部領域、顔局所領域、カップを含むことができ、タバコを吸う動作の特徴は、手部領域、顔局所領域、タバコを含むことができ、電話をかける動作の特徴は、手部領域、顔局所領域、携帯電話を含むことができ、眼鏡をかける動作の特徴は、手部領域、顔局所領域、眼鏡を含むことができ、マスクをかける動作の特徴は、手部領域、顔局所領域、マスクを含むことができ、両足をハンドルの上に乗せる動作の特徴は、足部領域、ハンドルを含むことができる。

本開示の実施例が認識する動作は顔又は肢体に関連する細やかな動作を含んでもよく、このような細やかな動作は、少なくとも顔の局部領域及び動作相関物体という二つの特徴など、例えば顔の局所領域及び動作相関物体という二つの特徴、又は、顔の局所領域、動作相関物体及び肢体という三つの特徴のうちの二つなどを含み、従って、細やかな動作とは類似性が高い複数の動作をいい、例えば、タバコ吸い及びあくびはどちらも主に口部領域に基づいて認識し、どちらも口の開閉動作を含み、両方は、タバコ（動作相関物体）を含むかどうかという点のみで相違し、そのため、本開示の実施例は対象領域を抽出することで動作を認識し、細やかな動作の認識を実現する。例えば、電話をかける動作について、対象領域内には、顔の局所領域、携帯電話（即ち動作相関物体）及び手（即ち肢体領域）が含まれる。さらに例えば、タバコを吸う動作について、対象動作ボックス内には、口部領域、タバコ（即ち動作相関物体）も含まれ得る。

図３ｂは本開示の実施例に係る車両乗員の危険動作の認識方法において抽出される対象領域の模式図である。本開示の実施例における車両乗員の危険動作の認識方法により、ビデオストリームにおけるビデオ画像の対象領域を抽出し、それによって動作を認識する対象領域を得ることができ、本開示の実施例において車両乗員の動作はタバコを吸う動作であるため、得られた対象領域は口部領域（顔局所領域）及びタバコ（動作相関物体）に基づくものであり、本開示の実施例により得られた対象領域に基づいて図３ｂ内の車両乗員がタバコを吸っていると確認でき、本開示の実施例では対象領域を得ることで、対象領域に基づいて動作を認識し、全画像において車両乗員動作（例えば、タバコを吸う動作）に無関係の領域によるノイズ干渉を除去し、車両乗員の動作認識の正確性、例えば、本実施例におけるタバコを吸う動作の認識の正確性を向上させる。

任意選択的に、対象画像に基づいて車両乗員に対して動作認識を行う前に、また対象画像を前処理することもできる。例えば、正規化、均等化などの方法によって対象画像を前処理してもよい。前処理後の対象画像によって得られた認識結果はより正確になる。

任意選択的に、危険動作は、注意力散漫になる動作、不調状態、違反行為などの少なくとも一つを含んでもよいが、これらに限定されない。注意力散漫になる動作とは、運転者が車両運転中に行った、運転に無関係かつ運転の集中度に影響を及ぼす動作を指し、例えば、注意力散漫になる動作は、電話かけ、水飲み、サングラス着脱、マスク着脱、食べ物食いなどの少なくとも一つを含むが、これらに限定されない。不調状態とは、車両走行中に車内環境の影響又は車両乗員自身の関係で発生する車両乗員の体の不調をいい、例えば、不調状態は、汗拭き、目こすり、あくびなどの少なくとも一つを含むが、これらに限定されない。違反行為とは規定に適合しない車両乗員の行為をいい、例えば、違反行為は、タバコを吸うこと、車外へ手を差し出すこと、ハンドルに伏せること、両足をハンドルの上に乗せること、ハンドルから両手を離すこと、器械を手に持つこと、運転者に邪魔することなどの少なくとも一つを含むが、これらに限定されない。危険動作は様々あるため、車両乗員の動作種別が危険動作に属する場合、まず該動作種別がどの危険動作に属するかを判定する必要があり、異なる危険動作は異なる処理方法（例えば、リマインディング情報を知らせ又は車両を制御するよう操作を実行する）に対応するようにしてもよい。

一つ以上の代替実施例において、ステップ１３０は、
動作認識の結果が予め設定された危険動作に属することに応答することと、
予め設定された危険動作の危険レベルを特定することと、
危険レベルに応じて対応するリマインディング情報を知らせ、及び／又は危険レベルに対応する操作を実行し操作に従って前記車両を制御することと、を含む。

任意選択的に、本開示の実施例は動作認識の結果に基づいて車両乗員の動作が予め設定された危険動作に属すると判定した場合、予め設定された危険動作の危険レベルを判断し、任意選択的に、予め設定されたルール及び／又は対応関係に応じて予め設定された危険動作の危険レベルを特定し、続いて危険レベルに応じてどのように操作するかを決定する。例えば、車両乗員の危険動作レベルに応じて異なる程度の操作を実行する。例えば、運転者の疲労、体の不調による危険動作である場合、運転者が早めに調整及び休憩するように、早めに注意を喚起する必要がある。車内の環境によって運転者が不調になる場合、車内の換気システム又は空調システムを制御することで一定程度の調整を行うことができる。任意選択的に、危険レベルは低レベル、中レベル及び高レベルを含むように設定され、この場合、危険レベルに応じて対応するリマインディング情報を知らせ、及び／又は危険レベルに対応する操作を実行し操作に従って車両を制御するステップは、
危険レベルが低レベルであることに応答し、リマインディング情報を知らせることと、
危険レベルが中レベルであることに応答し、危険レベルに対応する操作を実行し操作に従って車両を制御することと、
危険レベルが高レベルであることに応答し、リマインディング情報を知らせるとともに、危険レベルに対応する操作を実行し操作に従って車両を制御することと、を含む。

本開示の実施例では、危険レベルを３つのレベルとして設定し、任意選択的に、本開示の実施例は、例えば、危険レベルが第一レベル、第二レベル、第三レベル、第四レベルを含み、各レベルが異なる危険程度に対応するように、危険レベルをより細かくし、より多くのレベルを含むように設定してもよい。異なる危険レベルに応じてリマインディング情報を知らせ及び／又は危険レベルに対応する操作を実行し操作に従って車両を制御する。異なる危険レベルに応じて異なる操作を実行することで、リマインディング情報の発信及び操作の制御をより柔軟にし、異なる使用上の要求を満たすことができる。

任意選択的に、予め設定された危険動作の危険レベルを特定するステップは、
予め設定された危険動作がビデオストリームにおいて現れる頻度及び／又は時間長を取得し、頻度及び／又は時間長に基づいて予め設定された危険動作の危険レベルを特定することを含む。

本開示の実施例では、動作認識によって得られた危険動作をさらに抽象的に解析することで、また動作の持続具合、又は危険状況が現れる事前確率に基づき、乗員が実際に危険動作を意図しているかどうかを出力し、任意選択的に、本開示の実施例は予め設定された危険動作がビデオストリームにおいて現れる頻度及び／又は時間長に基づいて動作継続程度を測定する。例えば、運転者が単に目をこすっただけである場合、それを単なる迅速調整であると見なし、警報を出さなくてもよい。しかし、運転者が目を長時間こすり、同時にあくびなどの動作が伴う場合、運転者が疲れていると見なし、注意を促す必要がある。さらに例えば、タバコを吸う動作について、警報の程度はハンドルに伏せる動作、電話をかける動作などより低くなるようにしてもよい。

可能な一実施形態では、動作は動作継続時間長を含み、警告条件は、動作継続時間長が時間長閾値を超えたことを認識することを含む。

可能な一実施形態では、動作は動作継続時間長を含んでもよく、動作継続時間長が時間長閾値を超えた場合、動作の実行により動作実行者の多くの注意力が分散され、危険動作と見なし、警告情報を発する必要がある。例えば、運転者がタバコを吸う動作の時間長が３秒を超えた場合、タバコを吸う動作が運転者の運転動作に影響する危険動作であると見なし、運転者に警告情報を発する必要がある。

本実施例では、予め設定された危険動作継続時間長及び時間長閾値に基づき、リマインディング情報の発信条件及び／又は車両の制御条件を調整し、それによってリマインディング情報の発信及び操作の制御をより柔軟にし、異なる使用上の要求をより満たすことができる。

可能な一実施形態では、動作認識の結果は動作継続時間長を含み、予め設定された危険動作に属する条件は、動作継続時間長が時間長閾値を超えたことを認識することを含む。いくつかの動作は短時間内に車両乗員及び車両に安全リスクをもたらすことがなく、該動作の継続時間が設定時間長閾値に達した場合のみ、該動作が予め設定された危険動作であると認められ、例えば、運転者の閉眼動作について、閉眼時間長が短い（例えば、０．５秒）場合、正常な瞬きであると認められ、閉眼時間長が時間長閾値（必要に応じて設定可能、例えば、３秒）を超えた場合、予め設定された危険動作であると認められ、対応するリマインディング情報を知らせる。

可能な一実施形態では、動作認識の結果は動作回数を含み、予め設定された危険動作に属する条件は、動作回数が回数閾値を超えたことを認識することを含む。動作回数が回数閾値を超えた場合、動作実行者の動作が頻繁で、多くの注意力が分散されると認められ、危険動作と認められ、警告情報を発する必要がある。例えば、運転者がタバコを吸う動作の回数が５回を超えた場合、タバコを吸う動作が運転者の運転動作に影響する危険動作であると認められ、運転者にリマインディング情報を発信する必要がある。

可能な一実施形態では、動作認識の結果は動作継続時間長及び動作回数を含み、予め設定された危険動作に属する条件は、動作継続時間長が時間長閾値を超えかつ動作回数が回数閾値を超えたことを認識することを含む。

可能な一実施形態では、動作の継続時間長が時間長閾値を超え、かつ動作回数が回数閾値を超えた場合、動作実行者の動作が頻繁でかつ動作継続時間長が長く、多くの注意力が分散されると認められ、危険動作と認められ、リマインディング情報を知らせ及び／又は車両を制御する必要がある。それによって車両の制御をより柔軟にし、異なる使用上の要求を満たす。

車両乗員によって対応する危険動作は異なり、例えば、運転席の運転者は、注意力散漫してはならず、注意力散漫になる動作は危険動作に属するが、他の位置の車両乗員は、注意力散漫になる動作は危険動作に属さない。従って、本開示の実施例は、より正確な警告及びスマート制御を実現するために、動作種別及び車両乗員の種別を考慮し、リマインディングを行い、又はスマート操作を実行し、それによって頻繁な警告が使用者体験に影響を及ぼすことなく、走行の安全性を向上させる。任意選択的に、該ステップは、車両乗員が運転者であることに応答し、予め設定された危険動作に応じて、対応する第一リマインディング情報を知らせ及び／又は車両を対応する第一の予め設定された操作を実行するように制御すること、及び／又は、
車両乗員が非運転者であることに応答し、予め設定された危険動作に応じて対応する第二リマインディング情報を知らせ及び／又は対応する第二予め設定された操作を実行することを含む。

運転者が全車両の安全を担うため、車両の走行安全及び乗員の自由度を向上させるには、車両乗員を運転者及び非運転者の二種類に分け、運転者及び非運転者に対してそれぞれ異なる危険動作を設定し、それによって柔軟な警告及び操作を実現することができる。任意選択的に、運転者注意力散漫になる動作は、電話かけ、水飲み、サングラス着脱、マスク着脱、食べ物食いなどの少なくとも一つを含んでもよいが、これらに限定されない。運転者の不調状態は、汗拭き、目こすり、あくびなどの少なくとも一つを含んでもよいが、これらに限定されない。運転者違反行為は、タバコを吸うこと、車外へ手を差し出すこと、ハンドルに伏せること、両足をハンドルの上に乗せること、ハンドルから両手を離すことなどの少なくとも一つを含んでもよいが、これらに限定されない。

任意選択的に、非運転者の不調状態は、汗拭きなどの少なくとも一つを含んでもよいが、これらに限定されない。非運転者の違反行為は、タバコを吸うこと、車外へ手を差し出すこと、器械を手に持つこと、運転者に邪魔することなどの少なくとも一つを含んでもよいが、これらに限定されない。

本開示の実施例は運転者及び非運転者に対して、それぞれ異なるリマインディング情報及び予め設定された操作も設定し、それによって車両の柔軟な安全制御を実現し、例えば、運転者がハンドルから両手を離す動作が現れた場合、強度の高いリマインディング情報（例えば、第一リマインディング情報に対応する）を発するとともに、自動運転（例えば、第一の予め設定された操作に対応する）を実行し、それによって車両走行の安全性を向上させることができる。非運転者は、例えば、非運転者が汗を拭く動作が現れた場合、強度の低いリマインディング情報（例えば、第二リマインディング情報に対応する）を発し、及び／又は車内の空調温度を調整する操作（例えば、第二予め設定された操作に対応する）を実行する。

当業者であれば、上記方法の実施例を実現する全て又は一部のステップはプログラムによって関連ハードウェアに命令を出すことにより完了できることを理解でき、前記プログラムは、ＲＯＭ、ＲＡＭ、磁気ディスク又は光ディスクなどのプログラムコードを記憶可能である様々な媒体を含むコンピュータ読み取り可能記憶媒体に記憶可能であり、該プログラムは実行される時に、上記方法の実施例を含むステップを実行する。

図４は本開示の実施例が提供する車両乗員の危険動作の認識装置の構成模式図である。該実施例の装置は本開示の上記各方法の実施例を実現するために用いることができる。図４に示すように、該実施例の装置は、
撮像装置により、車両乗員の少なくとも一つのビデオストリームを得るためのビデオ収集ユニット４１であって、前記ビデオストリーム毎にそれぞれ少なくとも一つの車両乗員が含まれるビデオ収集ユニット４１と、
ビデオストリームに基づいて車両乗員に対して動作認識を行うための動作認識ユニット４２と、
動作認識の結果が、車両乗員の注意力散漫になる動作、不調状態、違反行為などの少なくとも一つを含む予め設定された危険動作に属することに応答し、リマインディング情報を知らせ及び／又は車両を制御するよう操作を実行するための危険処理ユニット４３と、を含む。

本開示の上記実施例が提供する車両乗員の危険動作の認識装置に基づき、動作認識によって車両乗員が予め設定された危険動作をしたかどうかを判定し、予め設定された危険動作に応じて対応するリマインディングを行い及び／又は車両を制御するよう操作し、車両の安全状況をできるだけ早期に発見し、それによって危険状況が発生する確率を低下させる。

一つ以上の代替実施例では、動作認識ユニット４２は、ビデオストリームの少なくとも１フレームのビデオ画像において、車両乗員に含まれる少なくとも一つの対象領域を検出し、検出によって得られた対象領域に基づいてビデオストリームの少なくとも１フレームのビデオ画像から対象領域に対応する対象画像を切り取り、対象画像に基づいて車両乗員に対して動作認識を行うために用いられる。

本実施例では、ビデオストリームにおいて対象領域を認識し、対象領域の検出結果に基づいてビデオ画像において対象領域に対応する対象画像を切り取り、対象画像に基づいて車両乗員が予め設定された危険動作をしたかどうかを認識する。対象領域の検出結果に基づいて切り取られた対象画像は、異なるビデオ画像における異なる面積の人体に適用することができる。本開示の実施例の適用範囲は広い。

任意選択的に、動作認識ユニット４２は、ビデオストリームの少なくとも１フレームのビデオ画像において、車両乗員に含まれる少なくとも一つの対象領域を検出した場合に、ビデオストリームの少なくとも１フレームのビデオ画像に含まれる車両乗員の特徴を抽出し、特徴に基づいて前記少なくとも１フレームのビデオ画像から、顔局所領域、動作相関物体、肢体領域などの少なくとも一つを含むがこれらに限定されない対象領域を抽出するために用いられる。

任意選択的に、顔局所領域は、口部領域、耳部領域、眼部領域などの少なくとも一つを含むが、これらに限定されない。

任意選択的に、動作相関物体は、容器、タバコ、携帯電話、食物、工具、飲料瓶、眼鏡、マスクなどの少なくとも一つを含むが、これらに限定されない。

一つ以上の代替実施例では、注意力散漫になる動作は、電話かけ、水飲み、サングラス着脱、マスク着脱、食べ物食いなどの少なくとも一つを含むが、これらに限定されず、及び／又は、
不調状態は、汗拭き、目こすり、あくびなどの少なくとも一つを含むが、これらに限定されず、及び／又は、
違反行為は、タバコを吸うこと、車外へ手を差し出すこと、ハンドルに伏せること、両足をハンドルの上に乗せること、ハンドルから両手を離すこと、器械を手に持つこと、運転者に邪魔することなどの少なくとも一つを含むが、これらに限定されない。

一つ以上の代替実施例では、危険処理ユニット４３は、
動作認識の結果が予め設定された危険動作に属することに応答し、予め設定された危険動作の危険レベルを特定するためのレベル特定モジュールと、
危険レベルに応じて対応するリマインディング情報を知らせ、及び／又は危険レベルに対応する操作を実行し操作に従って車両を制御するための操作処理モジュールと、を含む。

任意選択的に、本開示の実施例は動作認識の結果に基づいて車両乗員の動作が予め設定された危険動作に属すると判定した場合、予め設定された危険動作の危険レベルを判断し、任意選択的に、予め設定されたルール及び／又は対応関係に応じて予め設定された危険動作の危険レベルを特定し、続いて危険レベルに応じてどのように操作するかを決定する。例えば、車両乗員の危険動作レベルに応じて異なる程度の操作を実行する。例えば、運転者の疲労、体の不調による危険動作である場合、運転者が早めに調整及び休憩するように、早めに注意を喚起する必要がある。車内の環境によって運転者が不調になる場合、車内の換気システム又は空調システムを制御することで一定程度の調整を行うことができる。

任意選択的に、危険レベルは低レベル、中レベル及び高レベルを含み、
操作処理モジュールは、危険レベルが低レベルであることに応答し、リマインディング情報を知らせ、危険レベルが中レベルであることに応答し、危険レベルに対応する操作を実行し操作に従って車両を制御し、危険レベルが高レベルであることに応答し、リマインディング情報を知らせるとともに、危険レベルに対応する操作を実行し操作に従って車両を制御するために用いられる。

任意選択的に、レベル特定モジュールは、予め設定された危険動作がビデオストリームにおいて現れる頻度及び／又は時間長を取得し、頻度及び／又は時間長に基づいて予め設定された危険動作の危険レベルを特定するために用いられる。

一つ以上の代替実施例では、動作認識の結果は動作継続時間長を含み、予め設定された危険動作に属する条件は、動作継続時間長が時間長閾値を超えたことを認識することを含む。

本開示の実施例では、動作認識によって得られた危険動作をさらに抽象的に解析することで、また動作の継続程度、又は危険状況が現れる事前確率に基づき、乗員が実際に危険動作を意図しているかどうかを出力し、任意選択的に、本開示の実施例は予め設定された危険動作がビデオストリームにおいて現れる頻度及び／又は時間長に基づいて動作継続程度を測定する。

任意選択的に、動作認識の結果は動作継続時間長を含み、予め設定された危険動作に属する条件は、動作継続時間長が時間長閾値を超えたことを認識することを含む。

任意選択的に、動作認識の結果は動作回数を含み、予め設定された危険動作に属する条件は、動作回数が回数閾値を超えたことを認識することを含む。

任意選択的に、動作認識の結果は動作継続時間長及び動作回数を含み、予め設定された危険動作に属する条件は、動作継続時間長が時間長閾値を超えかつ動作回数が回数閾値を超えたことを認識することを含む。

任意選択的に、車両乗員は車両の運転者及び／又は非運転者を含む。

任意選択的に、危険処理ユニット４３は、車両乗員が運転者であることに応答し、予め設定された危険動作に応じて、対応する第一リマインディング情報を知らせ及び／又は車両を対応する第一の予め設定された操作を実行するように制御し、及び／又は、車両乗員が非運転者であることに応答し、予め設定された危険動作に応じて対応する第二リマインディング情報を知らせ及び／又は対応する第二予め設定された操作を実行するために用いられる。

本開示の実施例が提供する車両乗員の危険動作の認識装置はいずれの実施例の作動プロセス、設定方式及び対応する技術的効果も、本開示の上記対応する方法の実施例の具体的な説明を参照すればよく、紙幅に限りがあるため、ここではその説明を省略する。

本開示の実施例のさらに別の一態様によれば、上記いずれかの実施例が提供する車両乗員の危険動作の認識装置を含むプロセッサを含む電子機器が提供される。

本開示の実施例のさらに別の一態様によれば、実行可能命令を記憶するためのメモリと、
メモリと通信して実行可能命令を実行することにより上記いずれかの実施例が提供する車両乗員の危険動作の認識方法の操作を実行するためのプロセッサと、を含む電子機器が提供される。

本開示の実施例のさらに別の一態様によれば、コンピュータ可読命令を記憶するためのコンピュータ可読記憶媒体であって、命令は実行される時に上記いずれかの実施例が提供する車両乗員の危険動作の認識方法の操作を実行するコンピュータ可読記憶媒体が提供される。

本開示の実施例のさらに別の一態様によれば、コンピュータ可読コードを含むコンピュータプログラム製品であって、コンピュータ可読コードが機器において実行される時、機器内のプロセッサは上記いずれかの実施例が提供する車両乗員の危険動作の認識方法を実現するための命令を実行するコンピュータプログラム製品が提供される。

本開示の実施例は携帯端末、パーソナルコンピュータ（ＰＣ）、タブレット型コンピュータ、サーバなどであってよい電子機器をさらに提供する。以下に図５を参照すると、本開示の実施例の端末機器又はサーバの実現に適する電子機器５００の構成模式図が示される。図５に示すように、電子機器５００は一つ以上のプロセッサ、通信部などを含み、前記一つ以上のプロセッサは例えば、一つ以上の中央処理装置（ＣＰＵ）５０１、及び／又は一つ以上の画像処理装置（加速ユニット）５１３などであり、プロセッサは読み取り専用メモリ（ＲＯＭ）５０２に記憶されている実行可能命令又は記憶部分５０８からランダムアクセスメモリ（ＲＡＭ）５０３にロードされた実行可能命令に従って様々な適当の動作及び処理を実行できる。通信部５１２はネットワークカードを含むことができるが、これに限定されず、前記ネットワークカードはＩＢ（Ｉｎｆｉｎｉｂａｎｄ）ネットワークカードを含むことができるが、これに限定されない。

プロセッサは読み取り専用メモリ５０２及び／又はランダムアクセスメモリ５０３と通信して実行可能命令を実行し、バス５０４を介して通信部５１２と接続し、通信部５１２によって他の目標機器と通信し、それにより本開示の実施例が提供するいずれかの方法の対応する操作、例えば、撮像装置により、車両乗員の少なくとも一つのビデオストリームを得ることであって、前記ビデオストリーム毎にそれぞれ少なくとも一つの車両乗員が含まれることと、ビデオストリームに基づいて車両乗員に対して動作認識を行うことと、動作認識の結果が予め設定された危険動作に属することに応答し、リマインディング情報を知らせ及び／又は車両を制御するよう操作を実行することであって、前記予め設定された危険動作が、注意力散漫になる動作、不調状態、違反行為という前記車両乗員の動作のうちの少なくとも一つを含むことと、を完了することができる。

また、ＲＡＭ５０３には、装置の動作に必要な種々のプログラム及びデータを記憶することができる。ＣＰＵ５０１、ＲＯＭ５０２及びＲＡＭ５０３はバス５０４を介して互いに接続される。ＲＡＭ５０３が存在する場合、ＲＯＭ５０２は任意選択的なモジュールとなる。ＲＡＭ５０３は実行可能命令を記憶するか、又は動作時にＲＯＭ５０２中写入実行可能命令へ実行可能命令を書き込み、実行可能命令によって中央処理装置５０１は上記通信方法の対応する動作を実行する。入力／出力（Ｉ／Ｏ）インタフェース５０５もバス５０４に接続される。通信部５１２は統合設置してもよいし、また複数のサブモジュール（例えば複数のＩＢネットワークカード）を有するように設置してもよく、かつバスリンクに存在する。

キーボード、マウスなどを含む入力部分５０６、陰極線管（ＣＲＴ）、液晶ディスプレイ（ＬＣＤ）など及びスピーカーなどを含む出力部分５０７、ハードディスクなどを含む記憶部分５０８、及びＬＡＮカード、モデムのネットワークインタフェースカードなどを含む通信部分５０９などはＩ／Ｏインタフェース５０５に接続される。通信部分５０９はインターネットのようなネットワークを介して通信処理を行う。ドライバ５１０も必要に応じてＩ／Ｏインタフェース５０５に接続される。取り外し可能な媒体５１１、例えば磁気ディスク、光ディスク、磁気光ディスク、半導体メモリなどは、必要に応じてドライバ５１０に取り付けられ、それによってそこから読み出されたコンピュータプログラムが必要に応じて記憶部分５０８にインストールされる。

なお、図５に示すアーキテクチャは任意選択的な一実施形態に過ぎず、具体的な実践では、実際の必要に応じて上記図５の部品数及びタイプを選択、減少、増加又は交換することができ、異なる機能部品の設置上でも、分離設置又は統合設置などの実施形態を採用でき、例えば加速ユニット５１３とＣＰＵ５０１は分離設置するか又は加速ユニット５１３をＣＰＵ５０１に統合するようにしてもよく、通信部は分離設置するか、またＣＰＵ５０１又は加速ユニット５１３に統合設置することなども可能であることを説明する必要がある。これらの置換可能な実施形態はいずれも本開示の保護範囲に属する。

特に、本開示の実施例によれば、フローチャートを参照しながら上述したプロセスはコンピュータソフトウェアプログラムとして実現できる。例えば、本開示の実施例はコンピュータプログラム製品を含み、それは機械可読媒体に有形に具現化された、フローチャートに示す方法を実行するためのプログラムコードを含むコンピュータプログラムを含み、プログラムコードは本開示の実施例が提供する方法のステップを対応して実行する対応の命令、例えば、撮像装置により、車両乗員の少なくとも一つのビデオストリームを得ることであって、前記ビデオストリーム毎にそれぞれ少なくとも一つの車両乗員が含まれることと、ビデオストリームに基づいて車両乗員に対して動作認識を行うことと、動作認識の結果が予め設定された危険動作に属することに応答し、リマインディング情報を知らせ及び／又は車両を制御するよう操作を実行することであって、前記予め設定された危険動作が、注意力散漫になる動作、不調状態、違反行為という前記車両乗員の動作のうちの少なくとも一つを含むことと、を含んでもよい。このような実施例では、該コンピュータプログラムは通信部分５０９によってネットワークからダウンロード及びインストールされ、及び／又は取り外し可能な媒体５１１からインストールされ得る。該コンピュータプログラムは中央処理装置（ＣＰＵ）５０１により実行される時、本開示の方法で限定された上記機能の操作を実行する。

本明細書における様々な実施例は漸進的に説明され、各実施例は他の実施例との相違点に集中して説明したが、各実施例間の同一又は類似の部分については相互に参照すればよい。システム実施例については、それは基本的に方法実施例に対応するので、説明は比較的簡単であり、関連部分は方法実施例の説明の一部を参照すればよい。

本開示の方法及び装置は、様々な形態で実現され得る。例えば、ソフトウェア、ハードウェア、ファームウェア又はソフトウェア、ハードウェア、ファームウェアの任意の組み合わせによって本開示の方法及び装置を実現することができる。前記方法のステップのための上記順序は説明することのみを目的とし、本開示の方法のステップは、特に断らない限り、以上で具体的に説明した順序に限定されない。また、いくつかの実施例では、本開示は記録媒体に記憶されたプログラムとしてもよく、これらのプログラムは本開示の方法を実現するための機械可読命令を含む。従って、本開示は本開示の方法を実行するためのプログラムが記憶された記録媒体も含む。

本開示の説明は、例示及び説明のために提示されたものであり、網羅的なものでありもしくは開示された形式に本開示を限定するというわけでない。当業者にとっては多くの修正及び変形を加えることができるのは明らかであろう。実施例は本開示の原理及び実際の適用をより明瞭に説明するため、かつ当業者が本開示を理解して特定用途に適した様々な修正を加えた様々な実施例を設計可能にするように選択され説明されたものである。

Claims (32)

1. 撮像装置により、車両乗員の少なくとも一つのビデオストリームを得ることであって、前記ビデオストリーム毎にそれぞれ少なくとも一つの車両乗員が含まれることと、
   前記ビデオストリームに基づいて前記車両乗員に対して動作認識を行うことと、
   前記動作認識の結果が予め設定された危険動作に属することに応答し、リマインディング情報を知らせ及び／又は車両を制御するよう操作を実行することであって、前記予め設定された危険動作が、注意力散漫になる動作、不調状態、違反行為という前記車両乗員の動作のうちの少なくとも一つを含むことと、を含むことを特徴とする車両乗員の危険動作の認識方法。
2. 前記ビデオストリームに基づいて前記車両乗員に対して動作認識を行う前記ステップは、
   前記ビデオストリームの少なくとも１フレームのビデオ画像において、前記車両乗員に含まれる少なくとも一つの対象領域を検出することと、
   前記検出によって得られた対象領域に基づいて、前記ビデオストリームの少なくとも１フレームのビデオ画像から前記対象領域に対応する対象画像を切り取ることと、
   前記対象画像に基づいて前記車両乗員に対して動作認識を行うことと、を含むことを特徴とする請求項１に記載の方法。
3. 前記ビデオストリームの少なくとも１フレームのビデオ画像において、前記車両乗員に含まれる少なくとも一つの対象領域を検出する前記ステップは、
   前記ビデオストリームの少なくとも１フレームのビデオ画像に含まれる車両乗員の特徴を抽出することと、
   前記特徴に基づいて前記少なくとも１フレームのビデオ画像から、顔局所領域、動作相関物体、肢体領域の少なくとも一つを含む対象領域を抽出することと、を含むことを特徴とする請求項２に記載の方法。
4. 前記顔局所領域は、口部領域、耳部領域、眼部領域の少なくとも一つを含むことを特徴とする請求項３に記載の方法。
5. 前記動作相関物体は、容器、タバコ、携帯電話、食物、工具、飲料瓶、眼鏡、マスクの少なくとも一つを含むことを特徴とする請求項３又は４に記載の方法。
6. 前記注意力散漫になる動作は、電話かけ、水飲み、サングラス着脱、マスク着脱、食べ物食いの少なくとも一つを含み、及び／又は、
   前記不調状態は、汗拭き、目こすり、あくびの少なくとも一つを含み、及び／又は、
   前記違反行為は、タバコを吸うこと、車外へ手を差し出すこと、ハンドルに伏せること、両足をハンドルの上に乗せること、ハンドルから両手を離すこと、器械を手に持つこと、運転者に邪魔することの少なくとも一つを含むことを特徴とする請求項１から５のいずれか一項に記載の方法。
7. 前記動作認識の結果が予め設定された危険動作に属することに応答し、リマインディング情報を知らせ及び／又は車両を制御するよう操作を実行する前記ステップは、
   前記動作認識の結果が予め設定された危険動作に属することに応答することと、
   前記予め設定された危険動作の危険レベルを特定することと、
   前記危険レベルに応じて対応するリマインディング情報を知らせ、及び／又は前記危険レベルに対応する操作を実行して前記操作に従って前記車両を制御することと、を含むことを特徴とする請求項１から６のいずれか一項に記載の方法。
8. 前記危険レベルは低レベル、中レベル及び高レベルを含み、
   前記危険レベルに応じて対応するリマインディング情報を知らせ、及び／又は前記危険レベルに対応する操作を実行して前記操作に従って前記車両を制御する前記ステップは、
   前記危険レベルが低レベルであることに応答し、リマインディング情報を知らせることと、
   前記危険レベルが中レベルであることに応答し、前記危険レベルに対応する操作を実行し前記操作に従って前記車両を制御することと、
   前記危険レベルが高レベルであることに応答し、リマインディング情報を知らせるとともに、前記危険レベルに対応する操作を実行し前記操作に従って前記車両を制御することと、を含むことを特徴とする請求項７に記載の方法。
9. 前記予め設定された危険動作の危険レベルを特定する前記ステップは、
   前記予め設定された危険動作が前記ビデオストリームにおいて現れる頻度及び／又は時間長を取得し、前記頻度及び／又は時間長に基づいて前記予め設定された危険動作の危険レベルを特定することを含むことを特徴とする請求項７又は８に記載の方法。
10. 前記動作認識の結果は動作継続時間長を含み、前記予め設定された危険動作に属する条件は、動作継続時間長が時間長閾値を超えたことを認識することを含むことを特徴とする請求項１から９のいずれか一項に記載の方法。
11. 前記動作認識の結果は動作回数を含み、前記予め設定された危険動作に属する条件は、動作回数が回数閾値を超えたことを認識することを含むことを特徴とする請求項１から９のいずれか一項に記載の方法。
12. 前記動作認識の結果は動作継続時間長及び動作回数を含み、前記予め設定された危険動作に属する条件は、動作継続時間長が時間長閾値を超えかつ動作回数が回数閾値を超えたことを認識することを含むことを特徴とする請求項１から９のいずれか一項に記載の方法。
13. 前記車両乗員は前記車両の運転者及び／又は非運転者を含むことを特徴とする請求項１から１２のいずれか一項に記載の方法。
14. 前記動作認識の結果が予め設定された危険動作に属することに応答し、リマインディング情報を知らせ及び／又は車両を制御するよう操作を実行する前記ステップは、
    前記車両乗員が運転者であることに応答し、前記予め設定された危険動作に応じて、対応する第一リマインディング情報を知らせ及び／又は前記車両を対応する第一の予め設定された操作を実行するように制御すること、及び／又は、
    前記車両乗員が非運転者であることに応答し、前記予め設定された危険動作に応じて、対応する第二リマインディング情報を知らせ及び／又は対応する第二の予め設定された操作を実行することを含むことを特徴とする請求項１３に記載の方法。
15. 撮像装置により、車両乗員の少なくとも一つのビデオストリームを得るためのビデオ収集ユニットであって、前記ビデオストリーム毎にそれぞれ少なくとも一つの車両乗員が含まれるビデオ収集ユニットと、
    前記ビデオストリームに基づいて前記車両乗員に対して動作認識を行うための動作認識ユニットと、
    前記動作認識の結果が予め設定された危険動作に属することに応答し、リマインディング情報を知らせ及び／又は車両を制御するよう操作を実行するための危険処理ユニットであって、前記予め設定された危険動作が、注意力散漫になる動作、不調状態、違反行為という前記車両乗員の動作のうちの少なくとも一つを含む危険処理ユニットと、を含むことを特徴とする車両乗員の危険動作の認識装置。
16. 前記動作認識ユニットは、前記ビデオストリームの少なくとも１フレームのビデオ画像において、前記車両乗員に含まれる少なくとも一つの対象領域を検出し、前記検出によって得られた対象領域に基づいて、前記ビデオストリームの少なくとも１フレームのビデオ画像から前記対象領域に対応する対象画像を切り取り、前記対象画像に基づいて前記車両乗員に対して動作認識を行うために用いられることを特徴とする請求項１５に記載の装置。
17. 前記動作認識ユニットは、前記ビデオストリームの少なくとも１フレームのビデオ画像において、前記車両乗員に含まれる少なくとも一つの対象領域を検出した場合に、前記ビデオストリームの少なくとも１フレームのビデオ画像に含まれる車両乗員の特徴を抽出し、前記特徴に基づいて前記少なくとも１フレームのビデオ画像から、顔局所領域、動作相関物体、肢体領域の少なくとも一つを含む対象領域を抽出するために用いられることを特徴とする請求項１６に記載の装置。
18. 前記顔局所領域は、口部領域、耳部領域、眼部領域の少なくとも一つを含むことを特徴とする請求項１７に記載の装置。
19. 前記動作相関物体は、容器、タバコ、携帯電話、食物、工具、飲料瓶、眼鏡、マスクの少なくとも一つを含むことを特徴とする請求項１７又は１８に記載の装置。
20. 前記注意力散漫になる動作は、電話かけ、水飲み、サングラス着脱、マスク着脱、食べ物食いの少なくとも一つを含み、及び／又は、
    前記不調状態は、汗拭き、目こすり、あくびの少なくとも一つを含み、及び／又は、
    前記違反行為は、タバコを吸うこと、車外へ手を差し出すこと、ハンドルに伏せること、両足をハンドルの上に乗せること、ハンドルから両手を離すこと、器械を手に持つこと、運転者に邪魔することの少なくとも一つを含むことを特徴とする請求項１５から１９のいずれか一項に記載の装置。
21. 前記危険処理ユニットは、
    前記動作認識の結果が予め設定された危険動作に属することに応答する、前記予め設定された危険動作の危険レベルを特定するためのレベル特定モジュールと、
    前記危険レベルに応じて対応するリマインディング情報を知らせ、及び／又は前記危険レベルに対応する操作を実行して前記操作に従って前記車両を制御するための操作処理モジュールと、を含むことを特徴とする請求項１５から２０のいずれか一項に記載の装置。
22. 前記危険レベルは低レベル、中レベル及び高レベルを含み、
    前記操作処理モジュールは、前記危険レベルが低レベルであることに応答し、リマインディング情報を知らせ、前記危険レベルが中レベルであることに応答し、前記危険レベルに対応する操作を実行し前記操作に従って前記車両を制御し、前記危険レベルが高レベルであることに応答し、リマインディング情報を知らせるとともに、前記危険レベルに対応する操作を実行し前記操作に従って前記車両を制御するために用いられることを特徴とする請求項２１に記載の装置。
23. 前記レベル特定モジュールは、前記予め設定された危険動作が前記ビデオストリームにおいて現れる頻度及び／又は時間長を取得し、前記頻度及び／又は時間長に基づいて前記予め設定された危険動作の危険レベルを特定するために用いられることを特徴とする請求項２１又は２２に記載の装置。
24. 前記動作認識の結果は動作継続時間長を含み、前記予め設定された危険動作に属する条件は、動作継続時間長が時間長閾値を超えたことを認識することを含むことを特徴とする請求項１５から２３のいずれか一項に記載の装置。
25. 前記動作認識の結果は動作回数を含み、前記予め設定された危険動作に属する条件は、動作回数が回数閾値を超えたことを認識することを含むことを特徴とする請求項１５から２４のいずれか一項に記載の装置。
26. 前記動作認識の結果は動作継続時間長及び動作回数を含み、前記予め設定された危険動作に属する条件は、動作継続時間長が時間長閾値を超えかつ動作回数が回数閾値を超えたことを認識することを含むことを特徴とする請求項１５から２４のいずれか一項に記載の装置。
27. 前記車両乗員は前記車両の運転者及び／又は非運転者を含むことを特徴とする請求項１５から２６のいずれか一項に記載の装置。
28. 前記危険処理ユニットは、前記車両乗員が運転者であることに応答し、前記予め設定された危険動作に応じて、対応する第一リマインディング情報を知らせ及び／又は前記車両を対応する第一の予め設定された操作を実行するように制御し、及び／又は、前記車両乗員が非運転者であることに応答し、前記予め設定された危険動作に応じて、対応する第二リマインディング情報を知らせ及び／又は対応する第二の予め設定された操作を実行するために用いられることを特徴とする請求項２７に記載の装置。
29. 請求項１５から２８のいずれか一項に記載の車両乗員の危険動作の認識装置を含むプロセッサを含むことを特徴とする電子機器。
30. 実行可能命令を記憶するためのメモリと、
    前記メモリと通信して、前記実行可能命令を実行することによって、請求項１から１４のいずれか一項に記載の車両乗員の危険動作の認識方法の操作を実行するためのプロセッサと、を含むことを特徴とする電子機器。
31. コンピュータ可読命令を記憶するためのコンピュータ可読記憶媒体であって、前記命令は実行される時に請求項１から１４のいずれか一項に記載の車両乗員の危険動作の認識方法の操作を実行することを特徴とするコンピュータ可読記憶媒体。
32. コンピュータ可読コードを含むコンピュータプログラム製品であって、前記コンピュータ可読コードが機器において実行される時、前記機器内のプロセッサは請求項１から１４のいずれか一項に記載の車両乗員の危険動作の認識方法を実現するための命令を実行することを特徴とするコンピュータプログラム製品。

Images