JP2022537923A - 車両のドアロック解除方法及び装置、システム、車両、電子機器並びに記憶媒体 - Google Patents

Abstract

本開示は、車両のドアロック解除方法及び装置、システム、車両、電子機器並びに記憶媒体に関する。前記方法は、車両に搭載されるブルートゥースモジュールによって所定識別子のブルートゥースデバイスを検索すること（Ｓ１１）と、前記所定識別子のブルートゥースデバイスを検索できたことに応じて、前記ブルートゥースモジュールと前記所定識別子のブルートゥースデバイスとのブルートゥースペアリング・接続を確立すること（Ｓ１２）と、前記ブルートゥースペアリング・接続の成功に応じて、目標対象物の第１画像を取得するように前記車両に搭載される画像取得モジュールをウェイクアップして制御すること（Ｓ１３）と、前記第１画像に基づいて顔認識を行うこと（Ｓ１４）と、顔認識の成功に応じて、前記車両の少なくとも１つのドアにドアロック解除コマンド及び／又はドア開放コマンドを送信すること（Ｓ１５）と、を含む。本開示の実施例は、低消費電力での稼働、速やかな解錠、及びユーザ体験の向上というニーズを満たすことができる。【選択図】図１

Description

「関連出願の相互参照」
本願は、２０１９年７月１日に中国国家知識産権局に提出された、出願番号が２０１９１０５８６８４５．６で、発明の名称が「車両のドアロック解除方法及び装置、システム、車両、電子機器並びに記憶媒体」である中国特許出願の優先権を主張し、その全ての内容は援用することによって本願に組み込まれる。

本開示は、車両技術に関し、特に、車両のドアロック解除方法及び装置、システム、車両、電子機器並びに記憶媒体に関する。

顔認証による車両の解錠は、スマートカーに関する新しい技術である。いままで、顔をタイムリーに検出できるためには、カメラのオン状態を維持する必要があり、車両に近づいている人が車両所有者であるかをタイムリーに判断できるためには、カメラにより取得された画像をリアルタイムで処理する必要がある。これにより、速やかに車両所有者を識別して解錠することができる。しかしながら、この方法は、稼働の消費電力が高いため、長期間の高消費電力の稼働による電力不足で車両が起動できず、車両の正常使用及びユーザ体験に影響を及ぼす可能性がある。

本開示は、車両のドアロック解除の技術的手段を提供する。

本開示の第１の方面によれば、
車両に搭載されるブルートゥースモジュールによって所定識別子のブルートゥースデバイスを検索することと、
前記所定識別子のブルートゥースデバイスを検索できたことに応じて、前記ブルートゥースモジュールと前記所定識別子のブルートゥースデバイスとのブルートゥースペアリング・接続を確立することと、
前記ブルートゥースペアリング・接続の成功に応じて、目標対象物の第１画像を取得するように前記車両に搭載される画像取得モジュールをウェイクアップして制御することと、
前記第１画像に基づいて顔認識を行うことと、
顔認識の成功に応じて、前記車両の少なくとも１つのドアにドアロック解除コマンド及び／又はドア開放コマンドを送信することと、を含む車両のドアロック解除方法が提供される。

本開示の第２の方面によれば、
車両に搭載されるブルートゥースモジュールによって所定識別子のブルートゥースデバイスを検索することと、
前記所定識別子のブルートゥースデバイスを検索できたことに応じて、目標対象物の第１画像を取得するように前記車両に搭載される画像取得モジュールをウェイクアップして制御することと、
前記第１画像に基づいて顔認識を行うことと、
顔認識の成功に応じて、前記車両の少なくとも１つのドアにドアロック解除コマンド及び／又はドア開放コマンドを送信することと、を含む車両のドアロック解除方法が提供される。

本開示の第３の方面によれば、
車両に搭載されるブルートゥースモジュールによって所定識別子のブルートゥースデバイスを検索するための検索モジュールと、
前記所定識別子のブルートゥースデバイスを検索できたことに応じて、前記ブルートゥースモジュールと前記所定識別子のブルートゥースデバイスとのブルートゥースペアリング・接続を確立し、前記ブルートゥースペアリング・接続の成功に応じて、目標対象物の第１画像を取得するように前記車両に搭載される画像取得モジュールをウェイクアップして制御するか、又は、前記所定識別子のブルートゥースデバイスを検索できたことに応じて、目標対象物の第１画像を取得するように前記車両に搭載される画像取得モジュールをウェイクアップして制御するためのウェイクアップモジュールと、
前記第１画像に基づいて顔認識を行うための顔認識モジュールと、
顔認識の成功に応じて、前記車両の少なくとも１つのドアにドアロック解除コマンド及び／又はドア開放コマンドを送信するためのロック解除モジュールと、を備える車両のドアロック解除装置が提供される。

本開示の第４の方面によれば、メモリと、顔認識モジュールと、画像取得モジュールと、ブルートゥースモジュールとを備え、前記顔認識モジュールは、前記メモリ、前記画像取得モジュール及び前記ブルートゥースモジュールにそれぞれ接続され、前記ブルートゥースモジュールは、所定識別子のブルートゥースデバイスとのブルートゥースペアリング・接続に成功する場合、又は前記所定識別子のブルートゥースデバイスを検索できた場合、前記顔認識モジュールをウェイクアップするマイクロプロセッサと、前記マイクロプロセッサに接続されるブルートゥースセンサと、を備え、前記顔認識モジュールには、ドアドメインコントローラに接続するための通信インタフェースがさらに設けられ、顔認識に成功すると、前記通信インタフェースを介して前記ドアドメインコントローラにドアロック解除のための制御情報を送信する車載顔認証ロック解除システムが提供される。

本開示の第５の方面によれば、前記車載顔認証ロック解除システムを含み、前記車載顔認証ロック解除システムは前記車両のドアドメインコントローラに接続される車両が提供される。

本開示の第６の方面によれば、
プロセッサと、
プロセッサにより実行可能なコマンドを記憶するメモリと、を含み、
前記プロセッサは、上記第１の方面による方法を実行するように構成される電子機器が提供される。

本開示の第７の方面によれば、
プロセッサと、
プロセッサにより実行可能なコマンドを記憶するメモリと、を含み、
前記プロセッサは、上記第２の方面による方法を実行するように構成される電子機器が提供される。

本開示の第８の方面によれば、コンピュータプログラムコマンドが記憶されているコンピュータ読み取り可能な記憶媒体であって、前記コンピュータプログラムコマンドはプロセッサにより実行されると、上記第１の方面による方法を実現させるコンピュータ読み取り可能な記憶媒体が提供される。

本開示の第９の方面によれば、コンピュータプログラムコマンドが記憶されているコンピュータ読み取り可能な記憶媒体であって、前記コンピュータプログラムコマンドはプロセッサにより実行されると、上記第２の方面による方法を実現させるコンピュータ読み取り可能な記憶媒体が提供される。

本開示の第１０の方面によれば、コンピュータ読み取り可能なコードを含むコンピュータプログラムであって、前記コンピュータ読み取り可能なコードは電子機器で動作すると、前記電子機器のプロセッサに上記方法を実現するためのコマンドを実行させるコンピュータプログラムが提供される。

本開示の実施例では、所定識別子のブルートゥースデバイスを検索できたことに応じて、ブルートゥースモジュールと所定識別子のブルートゥースデバイスとのブルートゥースペアリング・接続を確立し、ブルートゥースペアリング・接続の成功に応じて、顔認識モジュールをウェイクアップして、目標対象物の第１画像を取得するように画像取得モジュールを制御することで、ブルートゥースペアリング・接続に成功してから顔認識モジュールをウェイクアップするという方法によって、顔認識モジュールの誤ウェイクアップの確率を効果的に下げることができ、ユーザ体験を向上し、顔認識モジュールの消費電力を効果的に低減することができる。なお、ブルートゥースのペアリング・接続方法は、超音波や赤外線などの短距離センサ技術に比べて、セキュリティ性が高く、長い距離の通信に対応するという利点がある。実践によれば、所定識別子のブルートゥースデバイスを所持しているユーザがこの距離（ブルートゥースペアリング・接続に成功したときのユーザと車両との距離）を通行して車両に到着する時間と、車両が顔認識モジュールをスリープ状態から稼働状態に切り替えるようにウェイクアップする時間とが、略一致することを示している。これにより、ユーザがドアに到着した後、顔認識モジュールのウェイクアップを待つのではなく、ユーザがドアに到着すると、ウェイクアップされた顔認識モジュールによって顔認識による解錠を直ちに行うことができ、顔認識の効率を向上し、ユーザ体験を改善することができる。また、ユーザがブルートゥースのペアリング・接続を感じることはないため、ユーザ体験をさらに向上することができる。したがって、本開示の実施例では、ブルートゥースペアリング・接続に成功してから顔認識モジュールをウェイクアップするという方法によって、顔認識モジュールの省電力、ユーザ体験、およびセキュリティ性などの各面のバランスがよく取れる解決策を提供している。

なお、上述した概略的な説明及び次の詳細な説明は、例示的及び解釈的なものに過ぎず、本開示を限定するものではない。

以下、図面を参照しながら例示的な実施例を詳細に説明することによって、本開示の他の特徴及び方面は明瞭になる。

ここで、本明細書の一部として組み込まれる図面は、本開示の実施例に適し、明細書と共に本開示の技術的解決手段の説明に用いられる。

本開示の実施例に係る車両のドアロック解除方法のフローチャートを示す。 車両のＢピラーの模式図を示す。 本開示の実施例に係る車両のドアロック解除方法における車両のドアロック解除装置の取付高さと識別可能な身長範囲の模式図を示す。 本開示の実施例に係る車両のドアロック解除方法における画像センサ及び深度センサの模式図を示す。 本開示の実施例に係る車両のドアロック解除方法における画像センサ及び深度センサの別の模式図を示す。 本開示の実施例に係る生体検出方法の一例の模式図を示す。 本開示の実施例に係る生体検出方法における、第１画像及び第２深度マップに基づいて第１画像における目標対象物の生体検出結果を決定する一例の模式図を示す。 本開示の実施例に係る車両のドアロック解除方法における深度推定ニューラルネットワークの模式図を示す。 本開示の実施例に係る車両のドアロック解除方法における関連度検出ニューラルネットワークの模式図を示す。 本開示の実施例に係る車両のドアロック解除方法における深度マップ更新の例示的な模式図を示す。 本開示の実施例に係る車両のドアロック解除方法における周辺画素の模式図を示す。 本開示の実施例に係る車両のドアロック解除方法における周辺画素の別の模式図を示す。 本開示の実施例に係る車両のドアロック解除方法の別のフローチャートを示す。 本開示の実施例に係る車両のドアロック解除装置のブロック図を示す。 本開示の実施例に係る車載顔認証ロック解除システムのブロック図を示す。 本開示の実施例に係る車載顔認証ロック解除システムの模式図を示す。 本開示の実施例に係る車両の模式図を示す。 例示的な一実施例に示す電子機器８００のブロック図である。

以下に、図面を参照しながら本開示の様々な例示的な実施例、特徴および方面を詳細に説明する。図面における同じ符号は同じまたは類似する機能の要素を示す。図面において実施例の様々な方面を示したが、特に断らない限り、比例に従って図面を描く必要がない。

ここでの用語「例示的」とは、「例、実施例として用いられることまたは説明的なもの」を意味する。ここで「例示的」に説明されるいかなる実施例は他の実施例より好ましいまたは優れるものであると理解すべきではない。

本明細書における用語「及び／又は」は、単に関連対象との関連関係を記述するものであり、３つの関係が存在可能であることを示し、例えば、Ａ及び／又はＢは、Ａのみが存在し、ＡとＢの両方が存在し、Ｂのみが存在するという３つの場合を示してもよい。また、本明細書における用語「少なくとも１つ」は複数のうちのいずれか１つ、又は複数のうちの少なくとも２つの任意の組み合わせを示し、例えば、Ａ、Ｂ、Ｃのうちの少なくとも１つを含むことは、Ａ、Ｂ及びＣからなる集合から選択されたいずれか１つ又は複数の要素を含むことを示してもよい。

また、本開示をより効果的に説明するために、以下の具体的な実施形態において様々な具体的な詳細を示す。当業者であれば、本開示は何らかの具体的な詳細がなくても同様に実施できると理解すべきである。いくつかの実施例では、本開示の趣旨を強調するために、当業者が熟知している方法、手段、要素および回路について詳細な説明を行わない。

図１は本開示の実施例に係る車両のドアロック解除方法のフローチャートを示す。この車両のドアロック解除方法は、車両のドアロック解除装置により実行されてもよい。例えば、この車両のドアロック解除方法は、車載装置又は他の処理装置により実行できる。例えば、この車両のドアロック解除装置は、車両のＢピラー、少なくとも１つのドア、および少なくとも１つのバックミラーの少なくとも一方に取り付けられてもよい。図２は車両のＢピラーの模式図を示す。例えば、車両のドアロック解除装置は、Ｂピラーの地上からの１３０ｃｍ～１６０ｃｍに取り付けられ、その水平認識距離が３０ｃｍ～１００ｃｍであるようにしてもよいが、ここでこれを限定しない。図３は本開示の実施例に係る車両のドアロック解除方法における車両のドアロック解除装置の取付高さと認識可能な身長範囲の模式図を示す。図３に示す例では、車両のドアロック解除装置の取付高さが１６０ｃｍであり、認識可能な身長範囲が１４０ｃｍ～１９０ｃｍである。

可能な一実現形態では、この車両のドアロック解除方法は、プロセッサによりメモリに記憶されているコンピュータ読み取り可能なコマンドを呼び出すことによって実現されるようにしてもよい。

図１に示すように、この車両のドアロック解除方法は、ステップＳ１１～ステップＳ１５を含む。

ステップＳ１１において、車両に搭載されるブルートゥースモジュールによって所定識別子のブルートゥースデバイスを検索する。

可能な一実現形態では、車両に搭載されるブルートゥースモジュールによって所定識別子のブルートゥースデバイスを検索することは、車両がイグニッションオフ状態、又はイグニッションオフでかつドア施錠の状態にある場合、車両に搭載されるブルートゥースモジュールによって所定識別子のブルートゥースデバイスを検索することを含む。この実現形態では、車両のイグニッションオフの前に、ブルートゥースモジュールによって所定識別子のブルートゥースデバイスを検索する必要はなく、又は、車両のイグニッションオフの前に、及び車両がイグニッションオフ状態にあるがドアが施錠状態ではないときに、ブルートゥースモジュールによって所定識別子のブルートゥースデバイスを検索する必要はないので、消費電力をさらに低減することができる。

可能な一実現形態では、ブルートゥースモジュールは、低消費電力ブルートゥース（ＢＬＥ、Ｂｌｕｅｔｏｏｔｈ Ｌｏｗ Ｅｎｅｒｇｙ）モジュールであってもよい。この実現形態では、車両がイグニッションオフ状態、又はイグニッションオフでかつドア施錠の状態にある場合、ブルートゥースモジュールは、放送モードとなることで、一定時間（例えば、１００ミリ秒）毎に放送パケットを周囲に放送してもよい。周囲のブルートゥースデバイスが、走査動作を実行しているとき、ブルートゥースモジュールによって放送された放送パケットを受信すると、このブルートゥースモジュールに走査リクエストを送信する。このブルートゥースモジュールは、走査リクエストに応答して、この走査リクエストを送信したブルートゥースデバイスに走査応答パケットを返すことができる。この実現形態では、所定識別子のブルートゥースデバイスから送信してくる走査リクエストを受信すると、この所定識別子のブルートゥースデバイスを検索できたと決定することができる。

別の可能な一実現形態では、車両がイグニッションオフ状態、又はイグニッションオフでかつドア施錠の状態にある場合、ブルートゥースモジュールは、走査状態となり、所定識別子のブルートゥースデバイスを走査すると、所定識別子のブルートゥースデバイスを検索できたと決定することができるようにしてもよい。

可能な一実現形態では、ブルートゥースモジュールと顔認識モジュールは、顔認識システムに集積されてもよい。

別の可能な一実現形態では、ブルートゥースモジュールは、顔認識システムと別体であってもよい。つまり、ブルートゥースモジュールは、顔認識システムの外部に設けられてもよい。

本開示の実施例では、ブルートゥースモジュールの最大検索距離が限定されないが、一例では、最大検索距離が３０ｍ程度であってもよい。

本開示の実施例では、ブルートゥースデバイスの識別子は、ブルートゥースデバイスの一意な識別子であってもよい。例えば、ブルートゥースデバイスの識別子は、ブルートゥースデバイスのＩＤ、名称又はアドレス等であってもよい。

本開示の実施例では、所定識別子は、予めブルートゥースのセキュアな接続技術により車両のブルートゥースモジュールとペアリングすることに成功したデバイスの識別子であってもよい。

本開示の実施例では、所定識別子のブルートゥースデバイスの数は１つ又は複数であってもよい。例えば、ブルートゥースデバイスの識別子がブルートゥースデバイスのＩＤである場合、予め解錠権限を持つブルートゥースＩＤを１つ又は複数設定してもよい。例えば、所定識別子のブルートゥースデバイスの数が１つである場合、この所定識別子のブルートゥースデバイスは車両所有者のブルートゥースデバイスであってもよく、所定識別子のブルートゥースデバイスの数が複数である場合、この複数の所定識別子のブルートゥースデバイスは、車両所有者のブルートゥースデバイス、及び車両所有者の家族、友人、予め登録された連絡者のブルートゥースデバイスを含んでもよい。ここで、予め登録された連絡者は、予め登録された配達員や不動産管理会社のスタッフ等であってもよい。

本開示の実施例では、ブルートゥースデバイスは、ブルートゥース機能を有する任意のモバイルデバイスであってもよい。例えば、ブルートゥースデバイスは、携帯電話、ウェアラブルデバイス、又は電子キーなどであってもよい。ここで、ウェアラブルデバイスは、スマートブレスレット又はスマートグラスなどであってもよい。

ステップＳ１２において、所定識別子のブルートゥースデバイスを検索できたことに応じて、ブルートゥースモジュールと所定識別子のブルートゥースデバイスとのブルートゥースペアリング・接続を確立する。

可能な一実現形態では、所定識別子のブルートゥースデバイスの数が複数である場合、所定識別子のブルートゥースデバイスのいずれか１つを検索できたことに応じて、ブルートゥースモジュールと当該所定識別子のブルートゥースデバイスとのブルートゥースペアリング・接続を確立する。

可能な一実現形態では、所定識別子のブルートゥースデバイスを検索できたことに応じて、ブルートゥースモジュールは、当該所定識別子のブルートゥースデバイスのアイデンティティ認証を行い、アイデンティティ認証を通過した後、ブルートゥースモジュールと所定識別子のブルートゥースデバイスとのブルートゥースペアリング・接続を確立することにより、ブルートゥースペアリング・接続のセキュリティ性を向上することができる。

ステップＳ１３において、ブルートゥースペアリング・接続の成功に応じて、目標対象物の第１画像を取得するように車両に搭載される画像取得モジュールをウェイクアップして制御する。

可能な一実現形態では、目標対象物の第１画像を取得するように車両に搭載される画像取得モジュールをウェイクアップして制御することは、車両に搭載される顔認識モジュールをウェイクアップすることと、ウェイクアップされた顔認識モジュールによって、目標対象物の第１画像を取得するように画像取得モジュールを制御することと、を含む。

本開示の実施例では、所定識別子のブルートゥースデバイスを検索できた場合、所定識別子のブルートゥースデバイスを所持しているユーザ（例えば車両所有者）がブルートゥースモジュールの検索範囲内に入った可能性は高いことが示されている。このとき、所定識別子のブルートゥースデバイスを検索できたことに応じて、ブルートゥースモジュールと所定識別子のブルートゥースデバイスとのブルートゥースペアリング・接続を確立し、ブルートゥースペアリング・接続の成功に応じて、顔認識モジュールをウェイクアップして、目標対象物の第１画像を取得するように画像取得モジュールを制御することで、ブルートゥースペアリング・接続に成功してから顔認識モジュールをウェイクアップするという方法によって、顔認識モジュールの誤ウェイクアップの確率を効果的に下げることができ、ユーザ体験を向上し、顔認識モジュールの消費電力を効果的に低減することができる。なお、ブルートゥースのペアリング・接続方法は、超音波や赤外線などの短距離センサ技術に比べて、セキュリティ性が高く、長い距離の通信に対応するという利点がある。実践によれば、所定識別子のブルートゥースデバイスを所持しているユーザがこの距離（ブルートゥースペアリング・接続に成功したときのユーザと車両との距離）を通行して車両に到着する時間と、車両が顔認識モジュールをスリープ状態から稼働状態に切り替えるようにウェイクアップする時間とが、略一致することを示している。これにより、ユーザがドアに到着した後、顔認識モジュールのウェイクアップを待つのではなく、ユーザがドアに到着すると、ウェイクアップされた顔認識モジュールによって顔認識による解錠を直ちに行うことができるので、顔認識の効率を向上し、ユーザ体験を改善することができる。また、ブルートゥースのペアリング・接続をユーザに感じさせることなく、ユーザ体験をさらに向上することができる。したがって、本開示の実施例では、ブルートゥースペアリング・接続に成功してから顔認識モジュールをウェイクアップするという方法によって、顔認識モジュールの省電力、ユーザ体験、およびセキュリティ性などの各面のバランスがよく取れる解決策を提供する。

可能な一実現形態では、この方法は、車両に搭載される顔認識モジュールをウェイクアップした後、予め設定された時間内に顔画像を取得できなかった場合、顔認識モジュールがスリープ状態になるように制御することをさらに含む。この実現形態は、顔認識モジュールをウェイクアップしてから予め設定された時間内に顔画像を取得できなかったとき、顔認識モジュールがスリープ状態になるように制御することにより、消費電力を低減することができる。

可能な一実現形態では、この方法は、車両に搭載される顔認識モジュールをウェイクアップした後、予め設定された時間内に顔認識に成功しなかった場合、顔認識モジュールがスリープ状態になるように制御することをさらに含む。この実現形態は、顔認識モジュールをウェイクアップしてから予め設定された時間内に顔認識に成功しなかったとき、顔認識モジュールがスリープ状態になるように制御することにより、消費電力を低減することができる。

ステップＳ１４において、第１画像に基づいて顔認識を行う。

可能な一実現形態では、顔認識は、生体検出及び顔認証を含み、第１画像に基づいて顔認識を行うことは、画像取得モジュールの画像センサによって第１画像を取得し、第１画像及び予め登録された顔特徴に基づいて顔認証を行うことと、画像取得モジュールの深度センサによって第１画像に対応する第１深度マップを取得し、第１画像及び第１深度マップに基づいて生体検出を行うことと、を含む。

本開示の実施例では、第１画像には目標対象物を含む。ここで、目標対象物は、顔又は人体の少なくとも一部であってもよいが、本開示の実施例はこれを限定しない。

ここで、第１画像は、静的画像又はビデオフレームの画像であってもよい。例えば、ビデオシーケンスから選択された画像を第１画像とし、また、様々な方法でビデオシーケンスから画像を選択することができる。一具体例では、第１画像は、ビデオシーケンスから選択された所定の品質条件を満たす画像である。ここで、この所定の品質条件には、目標対象物を含むか否か、目標対象物が画像の中心領域に位置するか否か、目標対象物が完全に画像に含まれるか否か、目標対象物が画像に占める割合、目標対象物の状態（例えば顔角度）、画像の鮮明度、画像の露出度等の１つ又は任意の組合せを含んでもよいが、本開示の実施例はこれを限定しない。

一例では、生体検出を行ってから顔認証を行うようにしてもよい。例えば、目標対象物が生体であることを示す目標対象物の生体検出結果である場合、顔認証フローがトリガされる。一方、目標対象物が非生体であることを示す目標対象物の生体検出結果である場合、顔認証フローがトリガされない。

別の一例では、顔認証を行ってから生体検出を行うようにしてもよい。例えば、顔認証に成功する場合、生体検出フローがトリガされ、顔認証に失敗する場合、生体検出フローがトリガされない。

別の一例では、生体検出と顔認証を同時に行うようにしてもよい。

この実現形態では、生体検出は、目標対象物が生体であるか否かを検証するためのものであり、例えば、目標対象物が人体であるか否かを検証することができる。顔認証は、取得された画像における顔特徴を抽出し、取得された画像における顔特徴を予め登録された顔特徴と照合して、同じ人の顔特徴であるか否かを判断するためのものであり、例えば、取得された画像における顔特徴が車両所有者の顔特徴であるか否かを判断することができる。

本開示の実施例では、深度センサとは、深度情報を取得するためのセンサを指す。本開示の実施例は、深度センサの動作原理及び動作波長域を限定しない。

本開示の実施例では、画像取得モジュールの画像センサと深度センサとは、別体であってもよく、一体であってもよい。例えば、画像センサがＲＧＢ（Ｒｅｄ、赤；Ｇｒｅｅｎ、緑；Ｂｌｕｅ、青）センサ又は赤外線センサを用いるとともに、深度センサが両眼赤外線センサ又はＴＯＦ（Ｔｉｍｅ ｏｆ Ｆｌｉｇｈｔ、飛行時間）センサを用いるように別体にしてもよく、画像取得モジュールがＲＧＢＤ（Ｒｅｄ、赤；Ｇｒｅｅｎ、緑；Ｂｌｕｅ、青；Ｄｅｅｐ、深度）センサを用いて画像センサと深度センサとの機能を実現するように一体にしてもよい。

一例として、画像センサは、ＲＧＢセンサである。画像センサがＲＧＢセンサである場合、画像センサにより取得された画像はＲＧＢ画像である。

別の一例として、画像センサは赤外線センサである。画像センサが赤外線センサである場合、画像センサにより取得された画像は赤外線画像である。赤外線画像は、スポットのあるものであってもよく、スポットのないものであってもよい。

他の例では、画像センサは他の種別のセンサであってもよいが、本開示の実施例はこれを限定しない。

選択可能的に、車両のドアロック解除装置は、様々な方法で第１画像を取得することができる。例えば、いくつかの実施例では、車両のドアロック解除装置にカメラが設けられており、車両のドアロック解除装置は、カメラによって静的画像又はビデオストリームを取得して第１画像を得る。本開示の実施例はこれを限定しない。

一例として、深度センサは三次元センサである。例えば、深度センサは、２つの赤外線カメラを含む両眼赤外線センサ、飛行時間ＴＯＦセンサ又は構造化光センサである。構造化光センサは、コード化構造化光センサ又はスペックル構造化光センサであってもよい。深度センサによって目標対象物の深度マップを取得することにより、高精度の深度マップを取得することができる。本開示の実施例は、目標対象物を含む深度マップを用いて生体検出を行うことにより、目標対象物の深度情報を十分に見出すことができ、生体検出の正確性を高めることができる。本開示の実施例では、例えば、目標対象物が顔である場合、顔を含む深度マップを用いて生体検出を行うことにより、顔データの深度情報を十分に見出すことができ、生体顔検出の正確性を高めることができる。

一例では、ＴＯＦセンサは赤外線波長域に基づくＴＯＦモジュールを用いる。この例では、赤外線波長域に基づくＴＯＦモジュールを用いることにより、外部の光線による深度マップの撮影への影響を低減することができる。

本開示の実施例では、第１深度マップと第１画像は対応するものである。例えば、第１深度マップ及び第１画像は、それぞれ深度センサ及び画像センサにより同一シーンに対して取得されたものであり、又は、深度センサ及び画像センサにより同一時刻で同一目標領域に対して取得されたものであるが、本開示の実施例はこれを限定しない。

図４ａは本開示の実施例に係る車両のドアロック解除方法における画像センサ及び深度センサの模式図を示す。図４ａに示す例では、画像センサはＲＧＢセンサであり、画像センサのカメラはＲＧＢカメラであり、深度センサは両眼赤外線センサであり、画像センサのＲＧＢカメラの両側に設けられる２つの赤外線（ＩＲ）カメラを含む。２つの赤外線カメラは、両眼視差の原理に基づいて深度情報を取得する。
一例では、画像取得モジュールは、両眼赤外線センサの赤外線カメラと画像センサのカメラとの間に設けられ、画像センサ用の補光ライト及び深度センサ用の補光ライトの少なくとも１つを含む少なくとも１つの補光ライトをさらに含む。例えば、画像センサがＲＧＢセンサである場合、画像センサ用の補光ライトはホワイトライトであり、画像センサが赤外線センサである場合、画像センサ用の補光ライトは赤外線ライトであり、深度センサが両眼赤外線センサである場合、深度センサ用の補光ライトは赤外線ライトであるようにしてもよい。図４ａに示す例では、両眼赤外線センサの赤外線カメラと画像センサのカメラとの間に赤外線ライトが設けられている。例えば、赤外線ライトは、９４０ｎｍの赤外線を用いるようにしてもよい。

一例では、補光ライトはノーマルオープンモードにしてもよい。この例では、画像取得モジュールのカメラが動作状態にある場合、補光ライトはオン状態にある。

別の一例では、光線が足りない場合に補光ライトをオンにしてもよい。例えば、環境光センサによって環境光強度を取得し、環境光強度が光強度閾値より低い場合に光線が足りないと判定し、補光ライトをオンにするようにしてもよい。

図４ｂは本開示の実施例に係る車両のドアロック解除方法における画像センサ及び深度センサの別の模式図を示す。図４ｂに示す例では、画像センサはＲＧＢセンサであり、画像センサのカメラはＲＧＢカメラであり、深度センサはＴＯＦセンサである。

一例では、画像取得モジュールは、深度センサのカメラと画像センサのカメラとの間に設けられるレーザーをさらに含む。例えば、レーザーがＴＯＦセンサのカメラとＲＧＢセンサのカメラとの間に設けられる。例えば、レーザーはＶＣＳＥＬ（Ｖｅｒｔｉｃａｌ Ｃａｖｉｔｙ Ｓｕｒｆａｃｅ Ｅｍｉｔｔｉｎｇ Ｌａｓｅｒ、垂直共振器面発光レーザー）であり、ＴＯＦセンサはＶＣＳＥＬから発したレーザー光によって深度マップを取得するようにしてもよい。

本開示の実施例では、深度センサは深度マップを取得するためのものであり、画像センサは二次元画像を取得するためのものである。ＲＧＢセンサ及び赤外線センサを例として画像センサを説明し、両眼赤外線センサ、ＴＯＦセンサ及び構造化光センサを例として深度センサを説明したが、当業者であれば、本開示の実施例ではこれを限定しないと理解できる。当業者であれば、実際の適用ニーズに応じて画像センサ及び深度センサの種類を選択することができ、二次元画像及び深度マップの取得をそれぞれ実現できるものであればよい。

ステップＳ１５において、顔認識の成功に応じて、車両の少なくとも１つのドアにドアロック解除コマンド及び／又はドア開放コマンドを送信する。

本開示の実施例におけるドアは、出入りのためのドア（例えば、左フロントドア、右フロントドア、左リアドア、右リアドア）を含んでもよく、車両のトランクドア等を含んでもよい。それに応じて、前記少なくとも１つのドアロックは、左フロントドアロック、右フロントドアロック、左リアドアロック、右リアドアロック及びトランクドアロック等の少なくとも１つを含んでもよい。

可能な一実現形態では、顔認識の成功に応じて、車両の少なくとも１つのドアにドアロック解除コマンド及び／又はドア開放コマンドを送信することは、顔認識の成功に応じて、前記車両の少なくとも１つのドアの状態情報を取得することと、前記ドアの状態情報がロックの未解除である場合、前記ドアにドアロック解除コマンドおよびドア開放コマンドを送信することと、前記ドアの状態情報がロック解除済みでかつドア未開放である場合、前記ドアにドア開放コマンドを送信することと、を含む。

可能な一実現形態では、顔認識の成功に応じて、車両の少なくとも１つのドアにドアロック解除コマンド及び／又はドア開放コマンドを送信することは、顔認識の成功に応じて、目標対象物に解錠権限が付与されるドアを決定することと、目標対象物に解錠権限が付与されるドアに応じて、車両の少なくとも１つのドアにドアロック解除コマンド及び／又はドア開放コマンドを送信することと、を含む。例えば、目標対象物に解錠権限が付与されるドアは、すべてのドアであってもよいし、トランクドアであってもよい。

例えば、車両所有者や車両所有者の家族、友人が解錠権限を持つドアはすべてのドアであり、配達員や不動産管理会社のスタッフが解錠権限を持つドアはトランクドアであるようにしてもよい。ここで、車両所有者は、他人に解錠権限を持つドアの情報を設定してもよい。また、例えば、配車サービスのシーンでは、乗客が解錠権限を持つドアは、運転席以外のドア及びトランクドアであるようにしてもよい。目標対象物に解錠権限が付与されるドアがトランクドアである場合、トランクドアロックにドアロック解除コマンドを送信することができる。

一例では、目標対象物に解錠権限が付与されるドアがトランクドアしか含まない場合、トランクドアロックに、ドアロック解除コマンドを送信してから所定の時間後に、ドア閉コマンドを送信することができる。例えば、所定時間は３分間としてもよい。例えば、配達員が解錠権限を持つドアがトランクドアしか含まない場合、トランクドアロックに、ドアロック解除コマンドを送信してからの３分間後に、ドア閉コマンドを送信することにより、トランクに荷物を入れるという配達員のニーズに応えられるだけでなく、車両のセキュリティ性を高めることができる。

可能な一実現形態では、目標対象物に解錠権限が付与されるドアを決定するほか、前記目標対象物に解錠権限が付与される時間、前記目標対象物の対応する解錠権限の回数等を決定してもよい。

例えば、目標対象物に解錠権限が付与される時間は、すべての期間としてもよく、所定の期間としてもよい。例えば、車両所有者や車両所有者の家族が解錠権限を持つ時間は、すべての期間であるようにしてもよい。車両所有者は、他人に解錠権限を持つ時間を設定してもよい。例えば、車両所有者は、車両を友人に貸すシーンでは、友人が解錠権限を持つ時間を２日間に設定してもよい。また、例えば、車両所有者は、配達員から連絡された後、配達員が解錠権限を持つ時間を２０１９年９月２９日１３：００～１４：００に設定してもよい。また、例えば、レンタカーのシーンでは、お客様が車両を３日間借りる場合、レンタカースタッフは、このお客様が解錠権限を持つ時間を３日間に設定してもよい。また、例えば、配車サービスのシーンでは、乗客が解錠権限を持つ時間を旅行注文書に記載されるサービス期間にしてもよい。

例えば、目標対象物の対応する解錠権限の回数は、無限回数又は有限回数にしてもよい。例えば、車両所有者や車両所有者の家族、友人の対応する解錠権限の回数は、無限回数にしてもよい。また、例えば、配達員の対応する解錠権限の回数は有限回数、例えば１回にしてもよい。

一例では、車両のドアロック解除装置のＳｏＣは、ドアドメインコントローラにドアロック解除コマンドを送信して、ドアを解錠するように制御することができる。

可能な一実現形態では、第１画像及び第１深度マップに基づいて生体検出を行うことは、第１画像に基づいて、第１深度マップを更新して第２深度マップを得ることと、第１画像及び第２深度マップに基づいて目標対象物の生体検出結果を決定することと、を含む。

具体的には、第１画像に基づいて、第１深度マップにおける１つ又は複数の画素の深度値を更新して第２深度マップを得る。

いくつかの実施例では、第１画像に基づいて、第１深度マップにおける深度失効画素の深度値を更新して第２深度マップを得る。

ここで、深度マップにおける深度失効画素とは、深度マップに含まれ、無効な深度値を有する画素、すなわち正確でない深度値又は現実に明らか合わない深度値を有する画素を指してもよい。深度失効画素の数は１つ又は複数であってもよい。深度マップにおける少なくとも１つの深度失効画素の深度値を更新することにより、深度失効画素の深度値がより正確になり、生体検出の正確率の向上に寄与する。

いくつかの実施例では、第１深度マップは欠損値のある深度マップであり、第１画像に基づいて第１深度マップを修復することによって第２深度マップを得る。ここで、選択可能的に、第１深度マップの修復には、欠損画素の深度値の決定又は補完を含むが、本開示の実施例はこれに限定されない。

本開示の実施例では、様々な方法で第１深度マップを更新又は修復することができる。いくつかの実施例では、第１画像を直接用いて生体検出を行い、例えば、第１画像を直接用いて第１深度マップを更新する。別のいくつかの実施例では、第１画像を前処理し、前処理後の第１画像に基づいて生体検出を行う。例えば、第１画像から目標対象物の画像を取得し、目標対象物の画像に基づいて第１深度マップを更新する。

様々な方法で第１画像から目標対象物の画像を切り出すことができる。一例として、第１画像に対して目標検出を行って目標対象物の位置情報、例えば目標対象物の境界ボックス（ｂｏｕｎｄｉｎｇ ｂｏｘ）の位置情報を得、目標対象物の位置情報に基づいて第１画像から目標対象物の画像を切り出す。例えば、第１画像から目標対象物の境界ボックスの所在する領域の画像を目標対象物の画像として切り出す。また、例えば、目標対象物の境界ボックスを一定の倍数で拡大し、第１画像から拡大された境界ボックスの所在する領域の画像を目標対象物の画像として切り出す。別の一例として、第１画像における目標対象物のキーポイントの情報を取得し、目標対象物のキーポイントの情報に基づいて第１画像から目標対象物の画像を取得する。

選択可能的に、第１画像に対して目標検出を行って目標対象物の所在する領域の位置情報を得、目標対象物の所在する領域の画像に対してキーポイント検出を行って第１画像における目標対象物のキーポイントの情報を得る。

選択可能的に、目標対象物のキーポイントの情報は、目標対象物の複数のキーポイントの位置情報を含んでもよい。目標対象物が顔である場合、目標対象物のキーポイントは、目のキーポイント、眉のキーポイント、鼻のキーポイント、口のキーポイント及び顔輪郭のキーポイント等の１つ又は複数を含んでもよい。ここで、目のキーポイントは、目輪郭のキーポイント、目尻のキーポイント及び瞳のキーポイント等の１つ又は複数を含んでもよい。

一例では、目標対象物のキーポイントの情報に基づいて目標対象物の輪郭を決定し、目標対象物の輪郭に基づいて第１画像から目標対象物の画像を切り出す。目標検出によって得られた目標対象物の位置情報に比べると、キーポイントの情報によって得られた目標対象物の位置がより正確であり、後続の生体検出の正確率の向上に寄与する。

選択可能的に、第１画像における目標対象物のキーポイントに基づいて第１画像における目標対象物の輪郭を決定し、第１画像における目標対象物の輪郭の所在する領域の画像、又は目標対象物の輪郭の所在する領域が一定の倍数で拡大された領域の画像を、目標対象物の画像として決定するようにしてもよい。例えば、第１画像において目標対象物のキーポイントに基づいて決定された楕円形領域を目標対象物の画像として決定するか、または第１画像において目標対象物のキーポイントに基づいて決定された楕円形領域の最小外接矩形領域を目標対象物の画像として決定するようにしてもよいが、本開示の実施例はこれを限定しない。

このように、第１画像から目標対象物の画像を取得し、目標対象物の画像に基づいて生体検出を行うことにより、第１画像における背景情報による生体検出への干渉を低減することができる。

本開示の実施例では、取得された元の深度マップに対して更新処理を行うようにしてもよい。あるいは、いくつかの実施例では、第１深度マップから目標対象物の深度マップを取得し、第１画像に基づいて目標対象物の深度マップを更新して第２深度マップを得る。

一例として、第１画像における目標対象物の位置情報を取得し、目標対象物の位置情報に基づいて第１深度マップから目標対象物の深度マップを取得する。選択可能的に、第１深度マップ及び第１画像に対してレジストレーション又は位置合わせ処理を予め行ってもよい。本開示の実施例はこれを限定しない。

このように、第１深度マップから目標対象物の深度マップを取得し、第１画像に基づいて目標対象物の深度マップを更新して第２深度マップを得ることにより、第１深度マップにおける背景情報による生体検出への干渉を低減することができる。

いくつかの実施例では、第１画像及び第１画像に対応する第１深度マップが取得された後、画像センサのパラメータ及び深度センサのパラメータに基づいて、第１画像と第１深度マップの位置合わせをする。

一例として、第１深度マップに対して変換処理を行うことにより、変換処理後の第１深度マップと第１画像の位置合わせをしてもよい。例えば、深度センサのパラメータ及び画像センサのパラメータに基づいて第１変換行列を決定し、第１変換行列に基づいて第１深度マップに対して変換処理を行うようにしてもよい。それに応じて、第１画像の少なくとも一部に基づいて、変換処理後の第１深度マップの少なくとも一部を更新して第２深度マップを得るようにしてもよい。例えば、第１画像に基づいて、変換処理後の第１深度マップを更新して第２深度マップを得る。また、例えば、第１画像から切り出された目標対象物の画像に基づいて、第１深度マップから切り出された目標対象物の深度マップを更新して第２深度マップを得る、などのようにする。

別の一例として、第１画像に対して変換処理を行うことにより、変換処理後の第１画像と第１深度マップの位置合わせをするようにしてもよい。例えば、深度センサのパラメータ及び画像センサのパラメータに基づいて第２変換行列を決定し、第２変換行列に基づいて、第１画像に対して変換処理を行うようにしてもよい。それに応じて、変換処理後の第１画像の少なくとも一部に基づいて、第１深度マップの少なくとも一部を更新して第２深度マップを得るようにしてもよい。

選択可能的に、深度センサのパラメータは、深度センサの内部パラメータ及び／又は外部パラメータを含んでもよく、画像センサのパラメータは、画像センサの内部パラメータ及び／又は外部パラメータを含んでもよい。第１深度マップと第１画像の位置合わせをすることにより、第１深度マップと第１画像の対応部分の、第１深度マップと第１画像における位置が同じようにすることができる。

上述した例では、第１画像は元の画像（例えば、ＲＧＢ又は赤外線画像）であるが、別のいくつかの実施例では、第１画像は元の画像から切り出された目標対象物の画像であってもよい。類似的に、第１深度マップは元の深度マップから切り出された目標対象物の深度マップであってもよい。本開示の実施例はこれらを限定しない。

図５は本開示の実施例に係る生体検出方法の一例の模式図を示す。図５に示される例では、第１画像がＲＧＢ画像であり、かつ目標対象物が顔であり、ＲＧＢ画像と第１深度マップに対して位置合わせ・補正処理を行い、処理後の画像を顔キーポイントモデルに入力して処理し、ＲＧＢ顔画像（目標対象物の画像）及び深度顔画像（目標対象物の深度マップ）を得、ＲＧＢ顔画像に基づいて深度顔画像を更新又は修復する。これにより、後続のデータ処理量を低減し、生体検出効率及び正確率を高めることができる。

本開示の実施例では、目標対象物の生体検出結果は、目標対象物が生体であることを示すか、又は目標対象物が非生体であることを示すようにしてもよい。

いくつかの実施例では、第１画像及び第２深度マップを生体検出ニューラルネットワークに入力して処理し、第１画像における目標対象物の生体検出結果を得る。又は、他の生体検出アルゴリズムによって第１画像及び第２深度マップを処理して、生体検出結果を得る。

いくつかの実施例では、第１画像に対して特徴抽出処理を行って第１特徴情報を得、第２深度マップに対して特徴抽出処理を行って第２特徴情報を得、第１特徴情報及び第２特徴情報に基づいて第１画像における目標対象物の生体検出結果を決定する。

ここで、選択可能的に、特徴抽出処理は、ニューラルネットワーク又は他の機械学習アルゴリズムによって実現することができ、抽出された特徴情報の種別は、選択可能的にサンプルを用いた学習によって得ることができるが、本開示の実施例はこれらを限定しない。

いくつかの特定のシーン（例えば、室外の光が強いシーン）では、取得される深度マップ（例えば、深度センサにより取得される深度マップ）は一部の面積が失効となる場合がある。また、正常な光の照射でも、メガネによる反射、黒い髪又は黒いメガネフレーム等の要因によって深度マップの部分的失効をランダムに引き起こすことになる。いくつかの特別な紙も、類似的に、印刷された顔写真の深度マップに広面積の失効又は部分的失効を引き起こす。また、深度センサのアクティブ光源が遮蔽される場合、深度マップの一部が失効になるが、非生体の画像センサでの結像が正常である。このように、深度マップの一部又は全部が失効となる場合に、深度マップに基づく生体と非生体の識別に誤差が発生する。したがって、本開示の実施例では、第１深度マップを修復又は更新し、修復又は更新後の深度マップを用いて生体検出を行うことにより、生体検出の正確率の向上に寄与する。

図６は本開示の実施例に係る生体検出方法で第１画像及び第２深度マップに基づいて第１画像における目標対象物の生体検出結果を決定する一例の模式図を示す。

この例では、第１画像及び第２深度マップを生体検出ネットワークに入力して生体検出処理を行って、生体検出結果を得る。

図６に示すように、この生体検出ネットワークは、第１画像に対して特徴抽出処理を行って第１特徴情報を得るための第１サブネットワークと、第２深度マップに対して特徴抽出処理を行って第２特徴情報を得るための第２サブネットワークとの２つのブランチを含む。

選択可能的な一例では、第１サブネットワークは、畳み込み層、ダウンサンプリング層及び全結合層を含んでもよい。

例えば、第１サブネットワークは、１層の畳み込み層、１層のダウンサンプリング層及び１層の全結合層を含んでもよい。ここで、この１層の畳み込み層は、１つ又は複数の畳み込み層を含んでもよく、この１層のダウンサンプリング層は、１つ又は複数のダウンサンプリング層を含んでもよく、この１層の全結合層は、１つ又は複数の全結合層を含んでもよい。

また、例えば、第１サブネットワークは、多層の畳み込み層、多層のダウンサンプリング層及び１層の全結合層を含んでもよい。ここで、各層の畳み込み層は、１つ又は複数の畳み込み層を含んでもよく、各層のダウンサンプリング層は、１つ又は複数のダウンサンプリング層を含んでもよく、この１層の全結合層は、１つ又は複数の全結合層を含んでもよい。ここで、第ｉ層の畳み込み層の後に第ｉ層のダウンサンプリング層がカスケード接続され、第ｉ層のダウンサンプリング層の後に第ｉ＋１層の畳み込み層がカスケード接続され、第ｎ層のダウンサンプリング層の後に全結合層がカスケード接続される。ここで、ｉ及びｎはいずれも正の整数であり、１≦ｉ≦ｎであり、ｎは深度推定ニューラルネットワークにおける畳み込み層及びダウンサンプリング層の層数である。

又は、第１サブネットワークは、畳み込み層、ダウンサンプリング層、正規化層及び全結合層を含んでもよい。

例えば、第１サブネットワークは、１層の畳み込み層、１つの正規化層、１層のダウンサンプリング層及び１層の全結合層を含んでもよい。ここで、この１層の畳み込み層は、１つ又は複数の畳み込み層を含んでもよく、この１層のダウンサンプリング層は、１つ又は複数のダウンサンプリング層を含んでもよく、この１層の全結合層は、１つ又は複数の全結合層を含んでもよい。

また、例えば、第１サブネットワークは、多層の畳み込み層、複数の正規化層、多層のダウンサンプリング層及び１層の全結合層を含んでもよい。ここで、各層の畳み込み層は、１つ又は複数の畳み込み層を含んでもよく、各層のダウンサンプリング層は、１つ又は複数のダウンサンプリング層を含んでもよく、この１層の全結合層は、１つ又は複数の全結合層を含んでもよい。ここで、第ｉ層の畳み込み層の後に第ｉの正規化層がカスケード接続され、第ｉの正規化層の後に第ｉ層のダウンサンプリング層がカスケード接続され、第ｉ層のダウンサンプリング層の後に第ｉ＋１層の畳み込み層がカスケード接続され、第ｎ層のダウンサンプリング層の後に全結合層がカスケード接続される。ここで、ｉ及びｎはいずれも正の整数であり、１≦ｉ≦ｎであり、ｎは第１サブネットワークにおける畳み込み層、ダウンサンプリング層の層数及び正規化層の個数を示す。

一例として、第１画像に対して畳み込み処理を行って第１畳み込み結果を得、第１畳み込み結果に対してダウンサンプリング処理を行って第１ダウンサンプリング結果を得、第１ダウンサンプリング結果に基づいて第１特徴情報を得る。

例えば、１層の畳み込み層及び１層のダウンサンプリング層によって第１画像に対して畳み込み処理及びダウンサンプリング処理を行うようにしてもよい。この１層の畳み込み層は、１つ又は複数の畳み込み層を含んでもよく、この１層のダウンサンプリング層は、１つ又は複数のダウンサンプリング層を含んでもよい。

また、例えば、多層の畳み込み層及び多層のダウンサンプリング層によって第１画像に対して畳み込み処理及びダウンサンプリング処理を行うようにしてもよい。ここで、各層の畳み込み層は、１つ又は複数の畳み込み層を含んでもよく、各層のダウンサンプリング層は、１つ又は複数のダウンサンプリング層を含んでもよい。

例えば、第１畳み込み結果に対してダウンサンプリング処理を行って第１ダウンサンプリング結果を得ることは、第１畳み込み結果に対して正規化処理を行って第１正規化結果を得ることと、第１正規化結果に対してダウンサンプリング処理を行って第１ダウンサンプリング結果を得ることと、を含むようにしてもよい。

例えば、第１ダウンサンプリング結果を全結合層に入力し、全結合層によって第１ダウンサンプリング結果に対して融合処理を行って、第１特徴情報を得るようにしてもよい。

選択可能的に、第２サブネットワークは、第１サブネットワークと同じネットワーク構造を有するが、異なるパラメータを有する。又は、第２サブネットワークは、第１サブネットワークと異なるネットワーク構造を有する。本開示の実施例はこれを限定しない。

図６に示すように、生体検出ネットワークは、第１サブネットワークによって得られた第１特徴情報及び第２サブネットワークによって得られた第２特徴情報を処理して、第１画像における目標対象物の生体検出結果を得るための第３サブネットワークをさらに含む。選択可能的に、第３サブネットワークは、全結合層及び出力層を含んでもよい。例えば、出力層はｓｏｆｔｍａｘ関数を採用し、出力層の出力が１の場合、目標対象物が生体であることを示し、出力層の出力が０の場合、目標対象物が非生体であることを示すが、本開示の実施例は第３サブネットワークの具体的な実現について限定しない。

一例として、第１特徴情報及び第２特徴情報に対して融合処理を行って第３特徴情報を得、第３特徴情報に基づいて第１画像における目標対象物の生体検出結果を決定する。

例えば、全結合層によって第１特徴情報及び第２特徴情報に対して融合処理を行って第３特徴情報を得る。

いくつかの実施例では、第３特徴情報に基づいて第１画像における目標対象物が生体である確率を得、目標対象物が生体である確率に基づいて目標対象物の生体検出結果を決定する。

例えば、目標対象物が生体である確率が第２閾値より大きい場合、目標対象物の生体検出結果として、目標対象物が生体であると決定される。また、例えば、目標対象物が生体である確率が第２閾値以下の場合、目標対象物の生体検出結果として、非生体であると決定される。

別のいくつかの実施例では、第３特徴情報に基づいて目標対象物が非生体である確率を得、目標対象物が非生体である確率に基づいて目標対象物の生体検出結果を決定する。例えば、目標対象物が非生体である確率が第３閾値より大きい場合、目標対象物の生体検出結果として、目標対象物が非生体であると決定される。また、例えば、目標対象物が非生体である確率が第３閾値以下の場合、目標対象物の生体検出結果として、生体であると決定される。

一例では、第３特徴情報をＳｏｆｔｍａｘ層に入力して、Ｓｏｆｔｍａｘ層によって目標対象物が生体又は非生体である確率を得るようにしてもよい。例えば、Ｓｏｆｔｍａｘ層の出力には、目標対象物が生体である確率を示すニューロンと、目標対象物が非生体である確率を示すニューロンとの２つのものを含むが、本開示の実施例はこれを限定しない。

本開示の実施例では、第１画像及び第１画像に対応する第１深度マップを取得し、第１画像に基づいて第１深度マップを更新して第２深度マップを得、第１画像及び第２深度マップに基づいて第１画像における目標対象物の生体検出結果を決定することにより、深度マップを改善し、生体検出の正確性を高めることができる。

可能な一実施形態では、第１画像に基づいて、第１深度マップを更新して第２深度マップを得ることは、第１画像に基づいて、第１画像における複数の画素の深度推定値及びこの複数の画素同士の関連度を示す関連情報を決定することと、この複数の画素の深度推定値及び関連情報に基づいて、第１深度マップを更新して第２深度マップを得ることと、を含む。

具体的には、第１画像に基づいて第１画像における複数の画素の深度推定値を決定し、複数の画素の深度推定値に基づいて第１深度マップを修復して改善する。

具体的には、第１画像を処理して第１画像における複数の画素の深度推定値を得る。例えば、第１画像を深度推定ニューラルネットワークに入力して処理し、複数の画素の深度推定結果を得、例えば、第１画像に対応する推定深度マップを得るが、本開示の実施例はこれを限定しない。

いくつかの実施例では、第１画像及び第１深度マップに基づいて、第１画像における複数の画素の深度推定値を決定する。

一例として、第１画像及び第１深度マップを深度推定ニューラルネットワークに入力して処理し、第１画像における複数の画素の深度推定値を得る。又は、他の方法によって第１画像及び第１深度マップを処理して、複数の画素の深度推定値を得るが、本開示の実施例はこれを限定しない。

図７は本開示の実施例に係る車両のドアロック解除方法における深度推定ニューラルネットワークの模式図を示す。図７に示すように、第１画像及び第１深度マップを深度推定ニューラルネットワークに入力して処理し、初期深度推定マップを得るようにしてもよい。初期深度推定マップに基づいて、第１画像における複数の画素の深度推定値を決定することができる。例えば、初期深度推定マップの画素値は第１画像における対応画素の深度推定値である。

深度推定ニューラルネットワークは、様々なネットワーク構造によって実現できる。一例では、深度推定ニューラルネットワークは、コード化部分及びデコード部分を含む。ここで、選択可能的に、コード化部分は、畳み込み層及びダウンサンプリング層を含み、デコード部分は、逆畳み込み層及び／又はアップサンプリング層を含むようにしてもよい。なお、コード化部分及び／又はデコード部分は、正規化層をさらに含んでもよい。本開示の実施例は、コード化部分及びデコード部分の具体的な実現について限定しない。コード化部分において、ネットワーク層数の増加に伴って、特徴マップの解像度が次第に低くなり、特徴マップの数量が次第に多くなり、これにより豊富なセマンティック特徴及び画像の空間特徴を得ることができる。デコード部分において、特徴マップの解像度が次第に増大し、デコード部分から最終的に出力される特徴マップの解像度が第１深度マップの解像度と同じになる。

いくつかの実施例では、第１画像及び第１深度マップに対して融合処理を行って融合結果を得、融合結果に基づいて第１画像における複数の画素の深度推定値を決定する。

一例では、第１画像及び第１深度マップを結合（ｃｏｎｃａｔ）して、融合結果を得るようにしてもよい。

一例では、融合結果に対して畳み込み処理を行って第２畳み込み結果を得、第２畳み込み結果に基づいてダウンサンプリング処理を行って第１コード化結果を得、第１コード化結果に基づいて第１画像における複数の画素の深度推定値を決定する。

例えば、畳み込み層によって融合結果に対して畳み込み処理を行って第２畳み込み結果を得るようにしてもよい。

例えば、第２畳み込み結果に対して正規化処理を行って第２正規化結果を得、第２正規化結果に対してダウンサンプリング処理を行って第１コード化結果を得る。ここで、正規化層によって第２畳み込み結果に対して正規化処理を行って第２正規化結果を得、ダウンサンプリング層によって第２正規化結果に対してダウンサンプリング処理を行って第１コード化結果を得るようにしてもよい。又は、ダウンサンプリング層によって第２畳み込み結果に対してダウンサンプリング処理を行って第１コード化結果を得るようにしてもよい。

例えば、第１コード化結果に対して逆畳み込み処理を行って第１逆畳み込み結果を得、第１逆畳み込み結果に対して正規化処理を行って深度推定値を得る。ここで、逆畳み込み層によって第１コード化結果に対して逆畳み込み処理を行って第１逆畳み込み結果を得、正規化層によって第１逆畳み込み結果に対して正規化処理を行って深度推定値を得るようにしてもよい。又は、逆畳み込み層によって第１コード化結果に対して逆畳み込み処理を行って深度推定値を得るようにしてもよい。

例えば、第１コード化結果に対してアップサンプリング処理を行って第１アップサンプリング結果を得、第１アップサンプリング結果に対して正規化処理を行って深度推定値を得る。ここで、アップサンプリング層によって第１コード化結果に対してアップサンプリング処理を行って第１アップサンプリング結果を得、正規化層によって第１アップサンプリング結果に対して正規化処理を行って深度推定値を得るようにしてもよい。又は、アップサンプリング層によって第１コード化結果に対してアップサンプリング処理を行って深度推定値を得るようにしてもよい。

また、第１画像を処理して第１画像における複数の画素の関連情報を得る。ここで、第１画像における複数の画素の関連情報は、第１画像の複数の画素のそれぞれとその周辺画素との関連度を含むようにしてもよい。ここで、画素の周辺画素は、画素に隣接する少なくとも１つの隣接画素を含んでもよく、又は、この画素との間隔が一定の数値を超えない複数の画素を含んでもよい。例えば、図１０に示すように、画素５の周辺画素は、それに隣接する画素１、画素２、画素３、画素４、画素６、画素７、画素８及び画素９を含み、これに応じて、第１画像における複数の画素の関連情報は、画素１、画素２、画素３、画素４、画素６、画素７、画素８及び画素９と、画素５との関連度を含む。一例として、第１画素と第２画素との関連度は、第１画素と第２画素の相関性によって測定可能である。本開示の実施例は、関連技術を用いて画素同士の相関性を決定することができ、ここで詳細な説明を省略する。

本開示の実施例では、様々な方法によって複数の画素の関連情報を決定することができる。いくつかの実施例では、第１画像を関連度検出ニューラルネットワークに入力して処理し、第１画像における複数の画素の関連情報を得るようにしてもよい。例えば、第１画像に対応する関連特徴マップを得る。又は、他のアルゴリズムによって複数の画素の関連情報を得るようしてもよい。本開示の実施例はこれを限定しない。

図８は本開示の実施例に係る車両のドアロック解除方法における関連度検出ニューラルネットワークの模式図を示す。図８に示すように、第１画像を関連度検出ニューラルネットワークに入力して処理し、複数枚の関連特徴マップを得る。複数枚の関連特徴マップに基づいて、第１画像における複数の画素の関連情報を決定することができる。例えば、ある画素の周辺画素とは、この画素との距離が０の画素を指し、即ち、この画素の周辺画素とはこの画素に隣接する画素を指す。この場合、関連度検出ニューラルネットワークは８枚の関連特徴マップを出力することができる。例えば、第１の関連特徴マップにおいて、画素Ｐ_ｉ，ｊの画素値＝第１画像の画素Ｐ_{ｉ－１，ｊ－１}と画素Ｐ_ｉ，ｊとの関連度であり、ただし、Ｐ_ｉ，ｊは第ｉ行第ｊ列の画素を示し、第２の関連特徴マップにおいて、画素Ｐ_ｉ，ｊの画素値＝第１画像の画素Ｐ_{ｉ－１，ｊ}と画素Ｐ_ｉ，ｊとの関連度であり、第３の関連特徴マップにおいて、画素Ｐ_ｉ，ｊの画素値＝第１画像の画素Ｐ_{ｉ－１，ｊ＋１}と画素Ｐ_ｉ，ｊとの関連度であり、第４の関連特徴マップにおいて、画素Ｐ_ｉ，ｊの画素値＝第１画像の画素Ｐ_{ｉ、ｊ－１}と画素Ｐ_ｉ，ｊとの関連度であり、第５の関連特徴マップにおいて、画素Ｐ_ｉ，ｊの画素値＝第１画像の画素Ｐ_{ｉ，ｊ＋１}と画素Ｐ_ｉ，ｊとの関連度であり、第６の関連特徴マップにおいて、画素Ｐ_ｉ，ｊの画素値＝第１画像の画素Ｐ_{ｉ＋１，ｊ－１}と画素Ｐ_ｉ，ｊとの関連度であり、第７の関連特徴マップにおいて、画素Ｐ_ｉ，ｊの画素値＝第１画像の画素Ｐ_{ｉ＋１，ｊ}と画素Ｐ_ｉ，ｊとの関連度であり、第８の関連特徴マップにおいて、画素Ｐ_ｉ，ｊの画素値＝第１画像の画素Ｐ_{ｉ＋１，ｊ＋１}と画素Ｐ_ｉ，ｊとの関連度である。

関連度検出ニューラルネットワークは、様々なネットワーク構造によって実現できる。一例として、関連度検出ニューラルネットワークは、コード化部分及びデコード部分を含むようにしてもよい。ここで、コード化部分は、畳み込み層及びダウンサンプリング層を含み、デコード部分は、逆畳み込み層及び／又はアップサンプリング層を含むようにしてもよい。コード化部分は正規化層をさらに含んでもよく、デコード部分は正規化層を含んでもよい。コード化部分において、特徴マップの解像度が次第に低くなり、特徴マップの数量が次第に多くなり、これにより、豊富なセマンティック特徴及び画像の空間特徴が得られ、デコード部分において、特徴マップの解像度が次第に増大し、デコード部分から最終的に出力される特徴マップの解像度が第１画像の解像度と同じになる。本開示の実施例では、関連情報は画像であってもよく、他のデータ形式、例えば行列等であってもよい。

一例として、第１画像を関連度検出ニューラルネットワークに入力して処理し、第１画像における複数の画素の関連情報を得ることは、第１画像に対して畳み込み処理を行って、第３畳み込み結果を得ることと、第３畳み込み結果に基づいてダウンサンプリング処理を行って、第２コード化結果を得ることと、第２コード化結果に基づいて、第１画像における複数の画素の関連情報を得ることと、を含むようにしてもよい。

一例では、畳み込み層によって第１画像に対して畳み込み処理を行って、第３畳み込み結果を得るようにしてもよい。

一例では、第３畳み込み結果に基づいてダウンサンプリング処理を行って、第２コード化結果を得ることは、第３畳み込み結果に対して正規化処理を行って、第３正規化結果を得ることと、第３正規化結果に対してダウンサンプリング処理を行って、第２コード化結果を得ることと、を含むようにしてもよい。この例では、正規化層によって第３畳み込み結果に対して正規化処理を行って第３正規化結果を得、ダウンサンプリング層によって第３正規化結果に対してダウンサンプリング処理を行って第２コード化結果を得るようにしてもよい。又は、ダウンサンプリング層によって第３畳み込み結果に対してダウンサンプリング処理を行って第２コード化結果を得るようにしてもよい。

一例では、第２コード化結果に基づいて、関連情報を決定することは、第２コード化結果に対して逆畳み込み処理を行って第２逆畳み込み結果を得ることと、第２逆畳み込み結果に対して正規化処理を行って関連情報を得ることと、を含むようにしてもよい。この例では、逆畳み込み層によって第２コード化結果に対して逆畳み込み処理を行って第２逆畳み込み結果を得、正規化層によって第２逆畳み込み結果に対して正規化処理を行って関連情報を得るようにしてもよい。又は、逆畳み込み層によって第２コード化結果に対して逆畳み込み処理を行って関連情報を得るようにしてもよい。

一例では、第２コード化結果に基づいて関連情報を決定することは、第２コード化結果に対してアップサンプリング処理を行って第２アップサンプリング結果を得ることと、第２アップサンプリング結果に対して正規化処理を行って関連情報を得ることと、を含むようにしてもよい。この例では、アップサンプリング層によって第２コード化結果に対してアップサンプリング処理を行って第２アップサンプリング結果を得、正規化層によって第２アップサンプリング結果に対して正規化処理を行って関連情報を得るようにしてもよい。又は、アップサンプリング層によって第２コード化結果に対してアップサンプリング処理を行って関連情報を得るようにしてもよい。

現在のＴＯＦ、構造化光等の３Ｄセンサは、室外にある場合、太陽光に影響されやすいため、深度マップに広面積のホール・欠損が発生して、３Ｄ生体検出アルゴリズムの性能に影響を及ぼしてしまう。本開示の実施例では、深度マップの自己改善に基づく３Ｄ生体検出アルゴリズムは、３Ｄセンサで検出された深度マップを改善し修復することにより、３Ｄ生体検出アルゴリズムの性能が高められる。

いくつかの実施例では、複数の画素の深度推定値及び関連情報が得られた後、複数の画素の深度推定値及び関連情報に基づいて、第１深度マップを更新処理して、第２深度マップを得る。図９は本開示の実施例に係る車両のドアロック解除方法における深度マップ更新の例示的な模式図を示す。図９に示す例では、第１深度マップは欠損値のある深度マップであり、得られた複数の画素の深度推定値及び関連情報は、それぞれ初期深度推定マップ及び関連特徴マップである。この場合、欠損値のある深度マップ、初期深度推定マップ及び関連特徴マップを深度マップ更新モジュール（例えば、深度更新ニューラルネットワーク）に入力して処理し、最終的な深度マップ、即ち第２深度マップを得る。

いくつかの実施例では、この複数の画素の深度推定値から深度失効画素の深度推定値及び深度失効画素の複数の周辺画素の深度推定値を取得し、この複数の画素の関連情報から深度失効画素と深度失効画素の複数の周辺画素との関連度を取得し、深度失効画素の深度推定値、深度失効画素の複数の周辺画素の深度推定値、及び深度失効画素と深度失効画素の周辺画素との関連度に基づいて、深度失効画素の更新後の深度値を決定する。

本開示の実施例では、様々な方法によって深度マップにおける深度失効画素を決定することができる。一例として、第１深度マップにおける深度値が０の画素を深度失効画素とするか、または第１深度マップにおける深度値を有しない画素を深度失効画素とする。

この例では、欠損値のある第１深度マップにおける、値のある（即ち、深度値が０でない）部分について、その深度値が正確で信頼可能なものとみなし、この部分が更新せずに元の深度値をそのままにするが、第１深度マップにおける深度値が０となる画素について、深度値を更新する。

別の一例として、深度センサは、深度失効画素の深度値について、１つ又は複数の所定の数値又は所定の範囲を設定してもよい。この例では、第１深度マップにおける、深度値が所定の数値に等しいか又は所定の範囲にある画素を深度失効画素として決定するようにしてもよい。

本開示の実施例では、他の統計方法によって第１深度マップにおける深度失効画素を決定してもよいが、これを限定しない。

この実現形態では、第１画像における深度失効画素と同じ位置の画素の深度値を深度失効画素の深度推定値として決定してもよく、類似的に、第１画像における深度失効画素の周辺画素と同じ位置の画素の深度値を深度失効画素の周辺画素の深度推定値として決定してもよい。

一例として、深度失効画素の周辺画素と深度失効画素との間の距離は第１閾値以下である。

図１０は本開示の実施例に係る車両のドアロック解除方法における周辺画素の模式図を示す。例えば、第１閾値が０の場合に、隣接画素のみを周辺画素とする。例えば、画素５の隣接画素が、画素１、画素２、画素３、画素４、画素６、画素７、画素８及び画素９を含む場合、画素１、画素２、画素３、画素４、画素６、画素７、画素８及び画素９のみを画素５の周辺画素とする。

図１１は本開示の実施例に係る車両のドアロック解除方法における周辺画素の別の模式図を示す。例えば、第１閾値が１の場合に、隣接画素のほかに、隣接画素の隣の画素も周辺画素とする。即ち、画素１、画素２、画素３、画素４、画素６、画素７、画素８及び画素９のほかに、画素１０～画素２５も画素５の周辺画素とする。

一例として、深度失効画素の周辺画素の深度推定値、及び深度失効画素と深度失効画素の複数の周辺画素との関連度に基づいて、深度失効画素の深度関連値を決定し、深度失効画素の深度推定値及び深度関連値に基づいて、深度失効画素の更新後の深度値を決定する。

別の一例として、深度失効画素の周辺画素の深度推定値、及び深度失効画素とこの周辺画素との関連度に基づいて、深度失効画素に対するこの周辺画素の有効深度値を決定し、深度失効画素に対するその各周辺画素の有効深度値及び深度失効画素の深度推定値に基づいて、深度失効画素の更新後の深度値を決定する。例えば、深度失効画素の１つの周辺画素の深度推定値とこの周辺画素に対応する関連度との積を、深度失効画素に対するこの周辺画素の有効深度値として決定してもよい。ここで、この周辺画素に対応する関連度とは、この周辺画素と深度失効画素との関連度を指す。例えば、深度失効画素に対するその各周辺画素の有効深度値の和と第１所定係数との積を決定して第１積を得、深度失効画素の深度推定値と第２所定係数との積を決定して第２積を得、第１積と第２積との和を深度失効画素の更新後の深度値として決定するようにしてもよい。いくつかの実施例では、第１所定係数と第２所定係数の和は１とする。

一例では、深度失効画素と各周辺画素との関連度を各周辺画素の重みとして、深度失効画素の複数の周辺画素の深度推定値の加重合計を計算して、深度失効画素の深度関連値を得る。例えば、画素５を深度失効画素とする場合、深度失効画素５の深度関連値が

となり、深度失効画素５の更新後の深度値Ｆ_５′は式１によって決定することができる。

式１
ただし、

であり、ｗ_ｉは画素ｉと画素５との関連度を示し、Ｆ_ｉは画素ｉの深度推定値を示す。

別の一例では、深度失効画素の複数の周辺画素のそれぞれと深度失効画素との関連度および各周辺画素の深度推定値の積を決定し、積の最大値を深度失効画素の深度関連値とする。

一例では、深度失効画素の深度推定値と深度関連値の和を深度失効画素の更新後の深度値とする。

別の一例では、深度失効画素の深度推定値と第３所定係数との積を決定して第３積を得、深度関連値と第４所定係数との積を決定して第４積を得、第３積と第４積との和を深度失効画素の更新後の深度値とする。いくつかの実施例では、第３所定係数と第４所定係数との和は１とする。

いくつかの実施例では、第２深度マップにおける非深度失効画素の深度値は、第１深度マップにおけるこの非深度失効画素の深度値と等しい。

別のいくつかの実施例では、より正確な第２深度マップを得るために、非深度失効画素の深度値を更新するようにしてもよい。これにより、生体検出の正確性をさらに高めることができる。

本開示の実施例では、車両に搭載されるブルートゥースモジュールによって所定識別子のブルートゥースデバイスを検索し、所定識別子のブルートゥースデバイスを検索できたことに応じて、ブルートゥースモジュールと所定識別子のブルートゥースデバイスとのブルートゥースペアリング・接続を確立し、ブルートゥースペアリング・接続の成功に応じて、目標対象物の第１画像を取得するように車両に搭載される画像取得モジュールをウェイクアップして制御し、第１画像に基づいて顔認識を行い、顔認識の成功に応じて、車両の少なくとも１つのドアにドアロック解除コマンド及び／又はドア開放コマンドを送信することで、所定識別子のブルートゥースデバイスとのブルートゥースペアリング・接続が確立されていないとき、顔認識モジュールは、低消費電力の稼働を維持するためにスリープ状態とすることができ、顔認識による解錠方法の消費電力を低減できるとともに、所定識別子のブルートゥースデバイスを所持しているユーザがドアに到着する前に、顔認識モジュールを稼働可能な状態にすることができ、所定識別子のブルートゥースデバイスを所持しているユーザがドアに到着すると、画像取得モジュールにより第１画像を取得した後、ウェイクアップされた顔認識モジュールにより顔画像の処理を速やかに行うことができ、顔認識の効率を高め、ユーザ体験を改善することができる。したがって、本開示の実施例は、低消費電力での稼働と速やかな解錠の両方を満たすことができる。本開示の実施例を採用すれば、車両所有者が車両に近づいている時に、意図的に動作（例えば、ボタンのタッチやジェスチャ）することなく、生体検出と顔認証フローを自動的にトリガすることができ、車両所有者の生体検出と顔認証が成功すると、ドアが自動的に解錠する。

可能な一実現形態では、この方法は、第１画像に基づいて顔認識を行った後、顔認識の失敗に応じて、車両に搭載されるパスワードロック解除モジュールをアクティブ化して、パスワードによるロック解除フローを起動することをさらに含む。

この実現形態では、パスワードによるロック解除は、顔認識によるロック解除の代替手段である。顔認識の失敗の原因は、目標対象物が非生体であることを示す生体検出結果であること、顔認識が失敗したこと、画像取得が失敗した（例えば、カメラが故障した）こと、および認識回数が所定の回数を超えたこと等の少なくとも１つを含んでもよい。目標対象物の顔認識が失敗すると、パスワードによるロック解除フローを起動する。例えば、ユーザから入力されたパスワードをＢピラーのタッチスクリーンによって取得するようにしてもよい。一例では、パスワードの入力をＭ回、例えば５回連続して間違えると、パスワードによるロック解除は失効になるようにしてもよい。

可能な一実現形態では、この方法は、画像取得モジュールにより取得された車両所有者の顔画像に基づいて車両所有者の登録を行うことと、車両所有者の端末装置により取得された車両所有者の顔画像に基づいて遠隔登録を行い、車両所有者の顔画像を含む登録情報を車両に送信することとの１つ又は２つをさらに含む。

一例では、画像取得モジュールにより取得された車両所有者の顔画像に基づいて車両所有者の登録を行うことは、タッチスクリーンの登録ボタンがクリックされたことを検出すると、ユーザにパスワードの入力をリクエストし、パスワードの検証が成功すると、画像取得モジュールのＲＧＢカメラをオンにしてユーザの顔画像を取得し、取得された顔画像に基づいて登録を行い、後続の顔認証時に顔の照合を行うようにこの顔画像における顔特徴を予め登録された顔特徴として抽出することを含む。

一例では、車両所有者の端末装置により取得された車両所有者の顔画像に基づいて遠隔登録を行い、車両所有者の顔画像を含む登録情報を車両に送信する。この例では、車両所有者は、携帯電話のＡｐｐ（Ａｐｐｌｉｃａｔｉｏｎ、アプリ）を介してＴＳＰ（Ｔｅｌｅｍａｔｉｃｓ Ｓｅｒｖｉｃｅ Ｐｒｏｖｉｄｅｒ、自動車テレマティクス・サービス・プロバイダー）クラウドに、車両所有者の顔画像を含みうる登録リクエストを送信し、ＴＳＰクラウドは、登録リクエストをドアロック解除装置の車載用Ｔ－Ｂｏｘ（Ｔｅｌｅｍａｔｉｃｓ Ｂｏｘ、テレマティクス・ボックス）に送信し、車載用Ｔ－Ｂｏｘは、登録リクエストに応じて顔認識機能をアクティブ化し、登録リクエストに含まれる顔画像における顔特徴を予め登録された顔特徴として、後続の顔認識時に顔の照合に使用するようにしてもよい。

図１２は本開示の実施例に係る車両のドアロック解除方法の別のフローチャートを示す。この車両のドアロック解除方法は、車両のドアロック解除装置により実行されてもよい。可能な一実現形態では、この車両のドアロック解除方法は、プロセッサがメモリに記憶されているコンピュータ可読コマンドを呼び出すことによって実現するようにしてもよい。説明を簡潔化するために、上述と類似する部分について重複の説明を省略する。図１２に示されるように、この車両のドアロック解除方法はステップＳ２１～ステップＳ２４を含む。

ステップＳ２１において、車両に搭載されるブルートゥースモジュールによって所定識別子のブルートゥースデバイスを検索する。

可能な一実現形態では、車両に搭載されるブルートゥースモジュールによって所定識別子のブルートゥースデバイスを検索することは、前記車両がイグニッションオフ状態、又はイグニッションオフでかつドア施錠の状態にある場合、前記車両に搭載されるブルートゥースモジュールによって所定識別子のブルートゥースデバイスを検索することを含む。

ステップＳ２２において、前記所定識別子のブルートゥースデバイスを検索できたことに応じて、目標対象物の第１画像を取得するように前記車両に搭載される画像取得モジュールをウェイクアップして制御する。

可能な一実現形態では、前記所定識別子のブルートゥースデバイスの数は１つである。

別の可能な一実現形態では、前記所定識別子のブルートゥースデバイスの数は複数であり、前記所定識別子のブルートゥースデバイスを検索できたことに応じて、目標対象物の第１画像を取得するように前記車両に搭載される画像取得モジュールをウェイクアップして制御することは、所定識別子のブルートゥースデバイスのいずれか１つを検索できたことに応じて、目標対象物の第１画像を取得するように前記車両に搭載される画像取得モジュールをウェイクアップして制御することを含む。

可能な一実現形態では、目標対象物の第１画像を取得するように前記車両に搭載される画像取得モジュールをウェイクアップして制御することは、前記車両に搭載される顔認識モジュールをウェイクアップすることと、ウェイクアップされた前記顔認識モジュールによって、目標対象物の第１画像を取得するように前記画像取得モジュールを制御することとを含む。

本開示の実施例では、ブルートゥースを採用することで、超音波や赤外線などの短距離センサ技術に比べて、長い距離の通信に対応することができる。実践によれば、所定識別子のブルートゥースデバイスを所持しているユーザがこの距離（車両のブルートゥースモジュールがユーザの所定識別子のブルートゥースデバイスを検索したときのユーザと車両との距離）を通行して車両に到着する時間と、車両が顔認識モジュールをスリープ状態から稼働状態に切り替えるようにウェイクアップする時間とは、略一致することを示している。これにより、ユーザがドアに到着した後、顔認識モジュールのウェイクアップを待つのではなく、ユーザがドアに到着すると、ウェイクアップされた顔認識モジュールによって顔認識による解錠を直ちに行うことができ、顔認識の効率を向上し、ユーザ体験を改善することができる。また、ユーザがブルートゥースによる検索を感じることはないため、ユーザ体験をさらに向上することができる。したがって、本開示の実施例では、所定識別子のブルートゥースデバイスを検索できたことに応じて顔認識モジュールをウェイクアップするという方法によって、顔認識モジュールの省電力、ユーザ体験、およびセキュリティ性などの各面のバランスがよく取れる解決策を提供している。

可能な一実現形態では、前記方法は、前記車両に搭載される顔認識モジュールをウェイクアップした後、予め設定された時間内に顔画像を取得できなかった場合、前記顔認識モジュールがスリープ状態になるように制御することをさらに含む。

可能な一実現形態では、前記方法は、前記車両に搭載される顔認識モジュールをウェイクアップした後、予め設定された時間内に顔認識に成功しなかった場合、前記顔認識モジュールがスリープ状態になるように制御することをさらに含む。

ステップＳ２３において、前記第１画像に基づいて顔認識を行う。

ステップＳ２４において、顔認識の成功に応じて、前記車両の少なくとも１つのドアにドアロック解除コマンド及び／又はドア開放コマンドを送信する。

可能な一実現形態では、顔認識の成功に応じて、前記車両の少なくとも１つのドアにドアロック解除コマンド及び／又はドア開放コマンドを送信することは、顔認識の成功に応じて、前記目標対象物に解錠権限が付与されるドアを決定することと、前記目標対象物に解錠権限が付与されるドアに応じて、前記車両の少なくとも１つのドアにドアロック解除コマンド及び／又はドア開放コマンドを送信することと、を含む。

可能な一実現形態では、前記顔認識は、生体検出及び顔認証を含み、前記第１画像に基づいて顔認識を行うことは、前記画像取得モジュールの画像センサによって前記第１画像を取得し、前記第１画像及び予め登録された顔特徴に基づいて顔認証を行うことと、前記画像取得モジュールの深度センサによって前記第１画像に対応する第１深度マップを取得し、前記第１画像及び前記第１深度マップに基づいて生体検出を行うことと、を含む。

可能な一実現形態では、前記第１画像及び前記第１深度マップに基づいて生体検出を行うことは、前記第１画像に基づいて、前記第１深度マップを更新して第２深度マップを得ることと、前記第１画像及び前記第２深度マップに基づいて前記目標対象物の生体検出結果を決定することと、を含む。

可能な一実現形態では、前記画像センサは、ＲＧＢ画像センサ又は赤外線センサを含み、前記深度センサは、両眼赤外線センサ又は飛行時間ＴＯＦセンサを含む。

可能な一実現形態では、前記ＴＯＦセンサは赤外線波長域に基づくＴＯＦモジュールを用いる。

可能な一実現形態では、前記第１画像に基づいて、前記第１深度マップを更新して第２深度マップを得ることは、前記第１画像に基づいて、前記第１深度マップにおける深度失効画素の深度値を更新して前記第２深度マップを得ることを含む。

可能な一実現形態では、前記第１画像に基づいて、前記第１深度マップを更新して第２深度マップを得ることは、前記第１画像に基づいて、前記第１画像における複数の画素の深度推定値及び前記複数の画素同士の関連度を示す関連情報を決定することと、前記複数の画素の深度推定値及び関連情報に基づいて、前記第１深度マップを更新して第２深度マップを得ることと、を含む。

可能な一実現形態では、前記複数の画素の深度推定値及び関連情報に基づいて、前記第１深度マップを更新して第２深度マップを得ることは、前記第１深度マップにおける深度失効画素を決定することと、前記複数の画素の深度推定値のうち、前記深度失効画素の深度推定値及び前記深度失効画素の複数の周辺画素の深度推定値を取得することと、前記複数の画素の関連情報から、前記深度失効画素と前記深度失効画素の複数の周辺画素との関連度を取得することと、前記深度失効画素の深度推定値、前記深度失効画素の複数の周辺画素の深度推定値、及び前記深度失効画素と前記深度失効画素の周辺画素との関連度に基づいて、前記深度失効画素の更新後の深度値を決定することと、を含む。

可能な一実現形態では、前記深度失効画素の深度推定値、前記深度失効画素の複数の周辺画素の深度推定値、及び前記深度失効画素と前記深度失効画素の複数の周辺画素との関連度に基づいて、前記深度失効画素の更新後の深度値を決定することは、前記深度失効画素の周辺画素の深度推定値、及び前記深度失効画素と前記深度失効画素の複数の周辺画素との関連度に基づいて、前記深度失効画素の深度関連値を決定することと、前記深度失効画素の深度推定値及び前記深度関連値に基づいて、前記深度失効画素の更新後の深度値を決定することと、を含む。

可能な一実現形態では、前記深度失効画素の周辺画素の深度推定値、及び前記深度失効画素と前記深度失効画素の複数の周辺画素との関連度に基づいて、前記深度失効画素の深度関連値を決定することは、前記深度失効画素と各周辺画素との関連度を前記各周辺画素の重みとして、前記深度失効画素の複数の周辺画素の深度推定値の加重合計を計算して、前記深度失効画素の深度関連値を得ることを含む。

可能な一実現形態では、前記第１画像に基づいて、前記第１画像における複数の画素の深度推定値を決定することは、前記第１画像及び前記第１深度マップに基づいて、前記第１画像における複数の画素の深度推定値を決定することを含む。

可能な一実現形態では、前記第１画像及び前記第１深度マップに基づいて、前記第１画像における複数の画素の深度推定値を決定することは、前記第１画像及び前記第１深度マップを深度推定ニューラルネットワークに入力して処理し、前記第１画像における複数の画素の深度推定値を得ることを含む。

可能な一実現形態では、前記第１画像及び前記第１深度マップに基づいて、前記第１画像における複数の画素の深度推定値を決定することは、前記第１画像及び前記第１深度マップに対して融合処理を行って、融合結果を得ることと、前記融合結果に基づいて、前記第１画像における複数の画素の深度推定値を決定することと、を含む。

可能な一実現形態では、前記第１画像に基づいて、前記第１画像における複数の画素の関連情報を決定することは、前記第１画像を関連度検出ニューラルネットワークに入力して処理し、前記第１画像における複数の画素の関連情報を得ることを含む。

可能な一実現形態では、前記第１画像に基づいて前記第１深度マップを更新することは、前記第１画像から前記目標対象物の画像を取得することと、前記目標対象物の画像に基づいて、前記第１深度マップを更新することと、を含む。

可能な一実現形態では、前記第１画像から前記目標対象物の画像を取得することは、前記第１画像における前記目標対象物のキーポイントの情報を取得することと、前記目標対象物のキーポイントの情報に基づいて、前記第１画像から前記目標対象物の画像を取得することと、を含む。

可能な一実現形態では、前記第１画像における前記目標対象物のキーポイントの情報を取得することは、前記第１画像に対して目標検出を行って、前記目標対象物の所在領域を得ることと、前記目標対象物の所在領域の画像に対してキーポイント検出を行って、前記第１画像における前記目標対象物のキーポイントの情報を得ることと、を含む。

可能な一実現形態では、前記第１画像に基づいて、前記第１深度マップを更新して第２深度マップを得ることは、前記第１深度マップから前記目標対象物の深度マップを取得することと、前記第１画像に基づいて、前記目標対象物の深度マップを更新して前記第２深度マップを得ることと、を含む。

可能な一実現形態では、前記第１画像及び前記第２深度マップに基づいて、前記目標対象物の生体検出結果を決定することは、前記第１画像及び前記第２深度マップを生体検出ニューラルネットワークに入力して処理し、前記目標対象物の生体検出結果を得ることを含む。

可能な一実現形態では、前記第１画像及び前記第２深度マップに基づいて、前記目標対象物の生体検出結果を決定することは、前記第１画像に対して特徴抽出処理を行って、第１特徴情報を得ることと、前記第２深度マップに対して特徴抽出処理を行って、第２特徴情報を得ることと、前記第１特徴情報及び前記第２特徴情報に基づいて、前記目標対象物の生体検出結果を決定することと、を含む。

可能な一実現形態では、前記第１特徴情報及び前記第２特徴情報に基づいて、前記目標対象物の生体検出結果を決定することは、前記第１特徴情報及び前記第２特徴情報に対して融合処理を行って、第３特徴情報を得ることと、前記第３特徴情報に基づいて、前記目標対象物の生体検出結果を決定することと、を含む。

可能な一実現形態では、前記第３特徴情報に基づいて、前記目標対象物の生体検出結果を決定することは、前記第３特徴情報に基づいて、前記目標対象物が生体である確率を得ることと、前記目標対象物が生体である確率に基づいて、前記目標対象物の生体検出結果を決定することと、を含む。

可能な一実現形態では、前記方法は、前記第１画像に基づいて顔認識を行った後、顔認識の失敗に応じて、パスワードによるロック解除のフローを起動するように前記車両に搭載されるパスワードロック解除モジュールをアクティブ化することをさらに含む。

可能な一実現形態では、前記方法は、前記画像取得モジュールにより取得された車両所有者の顔画像に基づいて車両所有者の登録を行うことと、前記車両所有者の端末装置により取得された前記車両所有者の顔画像に基づいて遠隔登録を行い、前記車両所有者の顔画像を含む登録情報を前記車両に送信することとの１つ又は２つをさらに含む。

本開示で言及される上記各方法の実施例は、原理と論理に違反しない限り、相互に組み合わせて実施例を形成することができると理解すべきであり、紙数に限りがあるので、本開示ではその説明を省略する。

当業者であれば、具体的な実施形態の上記方法において記載された各ステップの順序は、実施手順を厳密に当該順序に限定するものではない。各ステップの具体的な実行順序は、各ステップの機能と可能な内在的論理に応じて決定されることが理解される。

なお、本開示は、車両のドアロック解除装置、電子機器、コンピュータ読み取り可能な記憶媒体、プログラムをさらに提供し、これらのいずれも本開示で提供される車両のドアロック解除方法のいずれか１つを実現するために利用可能であり、対応する技術的手段及び説明については、方法の対応する記載を参照すればよく、ここで省略する。

図１３は、本開示の実施例に係る車両のドアロック解除装置のブロック図を示す。図１３に示されるように、前記車両のドアロック解除装置は、車両に搭載されるブルートゥースモジュールによって所定識別子のブルートゥースデバイスを検索するための検索モジュール３１と、前記所定識別子のブルートゥースデバイスを検索できたことに応じて、前記ブルートゥースモジュールと前記所定識別子のブルートゥースデバイスとのブルートゥースペアリング・接続を確立し、前記ブルートゥースペアリング・接続の成功に応じて、目標対象物の第１画像を取得するように前記車両に搭載される画像取得モジュールをウェイクアップして制御するか、又は、前記所定識別子のブルートゥースデバイスを検索できたことに応じて、目標対象物の第１画像を取得するように前記車両に搭載される画像取得モジュールをウェイクアップして制御するためのウェイクアップモジュール３２と、前記第１画像に基づいて顔認識を行うための顔認識モジュール３３と、顔認識の成功に応じて、前記車両の少なくとも１つのドアにドアロック解除コマンド及び／又はドア開放コマンドを送信するためのロック解除モジュール３４と、を備える。

本開示の実施例では、所定識別子のブルートゥースデバイスを検索できたことに応じて、ブルートゥースモジュールと所定識別子のブルートゥースデバイスとのブルートゥースペアリング・接続を確立し、ブルートゥースペアリング・接続の成功に応じて、顔認識モジュールをウェイクアップして、目標対象物の第１画像を取得するように画像取得モジュールを制御することで、ブルートゥースペアリング・接続に成功してから顔認識モジュールをウェイクアップするという方法によって、顔認識モジュールの誤ウェイクアップの確率を効果的に下げることができ、ユーザ体験を向上し、顔認識モジュールの消費電力を効果的に低減することができる。

可能な一実現形態では、前記検索モジュール３１は、前記車両がイグニッションオフ状態、又はイグニッションオフでかつドア施錠の状態にある場合、前記車両に搭載されるブルートゥースモジュールによって所定識別子のブルートゥースデバイスを検索する。この実現形態では、車両のイグニッションオフ前にブルートゥースモジュールによって所定識別子のブルートゥースデバイスを検索する必要はなく、又は、車両のイグニッションオフ前に、及び車両がイグニッションオフ状態にあるがドアが施錠状態ではないときに、ブルートゥースモジュールによって所定識別子のブルートゥースデバイスを検索する必要はないので、消費電力をさらに低減することができる。

可能な一実現形態では、前記所定識別子のブルートゥースデバイスの数は１つである。

可能な一実現形態では、前記所定識別子のブルートゥースデバイスの数は複数である。

前記ウェイクアップモジュール３２は、所定識別子のブルートゥースデバイスのいずれか１つを検索できたことに応じて、前記ブルートゥースモジュールと当該所定識別子のブルートゥースデバイスとのブルートゥースペアリング・接続を確立するか、又は、目標対象物の第１画像を取得するように前記車両に搭載される画像取得モジュールをウェイクアップして制御することに用いられる。

可能な一実現形態では、前記ウェイクアップモジュール３２は、前記車両に搭載される顔認識モジュールをウェイクアップするためのウェイクアップサブモジュールと、ウェイクアップされた前記顔認識モジュールによって、目標対象物の第１画像を取得するように前記画像取得モジュールを制御するための制御サブモジュールとを有する。

本開示の実施例では、所定識別子のブルートゥースデバイスを検索できた場合、所定識別子のブルートゥースデバイスを所持しているユーザ（例えば車両所有者）がブルートゥースモジュールの検索範囲内に入った可能性は高いことが示されている。このとき、所定識別子のブルートゥースデバイスを検索できたことに応じて、ブルートゥースモジュールと所定識別子のブルートゥースデバイスとのブルートゥースペアリング・接続を確立し、ブルートゥースペアリング・接続の成功に応じて、顔認識モジュールをウェイクアップして、目標対象物の第１画像を取得するように画像取得モジュールを制御することで、ブルートゥースペアリング・接続に成功してから顔認識モジュールをウェイクアップするという方法によって、顔認識モジュールの誤ウェイクアップの確率を効果的に下げることができ、ユーザ体験を向上し、顔認識モジュールの消費電力を効果的に低減することができる。なお、ブルートゥースのペアリング・接続方法は、超音波や赤外線などの短距離センサ技術に比べて、セキュリティ性が高く、長い距離の通信に対応するという利点がある。実践によれば、所定識別子のブルートゥースデバイスを所持しているユーザがこの距離（ブルートゥースペアリング・接続に成功したときのユーザと車両との距離）を通行して車両に到着する時間と、車両が顔認識モジュールをスリープ状態から稼働状態に切り替えるようにウェイクアップする時間とは、略一致することを示している。これにより、ユーザがドアに到着した後、顔認識モジュールのウェイクアップを待つのではなく、ユーザがドアに到着すると、ウェイクアップされた顔認識モジュールによって顔認識による解錠を直ちに行うことができ、顔認識の効率を向上し、ユーザ体験を改善することができる。また、ユーザがブルートゥースのペアリング・接続を感じることはないため、ユーザ体験をさらに向上することができる。したがって、本開示の実施例では、ブルートゥースペアリング・接続に成功してから顔認識モジュールをウェイクアップするという方法によって、顔認識モジュールの省電力、ユーザ体験、およびセキュリティ性などの各面のバランスがよく取れる解決策を提供している。

可能な一実現形態では、前記装置は、予め設定された時間内に顔画像を取得できなかった場合、前記顔認識モジュールがスリープ状態になるように制御するための第１制御モジュールをさらに備える。この実現形態は、顔認識モジュールをウェイクアップしてから予め設定された時間内に顔画像を取得できなかったとき、顔認識モジュールがスリープ状態になるように制御することにより、消費電力を低減することができる。

可能な一実現形態では、前記装置は、予め設定された時間内に顔認識に成功しなかった場合、前記顔認識モジュールがスリープ状態になるように制御するための第２制御モジュールをさらに備える。この実現形態は、顔認識モジュールをウェイクアップしてから予め設定された時間内に顔認識に成功しなかったとき、顔認識モジュールがスリープ状態になるように制御することにより、消費電力を低減することができる。

可能な一実現形態では、前記ロック解除モジュール３４は、顔認識の成功に応じて、前記目標対象物に解錠権限が付与されるドアを決定することと、前記目標対象物に解錠権限が付与されるドアに応じて、前記車両の少なくとも１つのドアにドアロック解除コマンド及び／又はドア開放コマンドを送信することに用いられる。

可能な一実現形態では、前記顔認識は、生体検出及び顔認証を含み、前記顔認識モジュール３３は、前記画像取得モジュールの画像センサによって前記第１画像を取得し、前記第１画像及び予め登録された顔特徴に基づいて顔認証を行うための顔認証モジュールと、前記画像取得モジュールの深度センサによって前記第１画像に対応する第１深度マップを取得し、前記第１画像及び前記第１深度マップに基づいて生体検出を行うための生体検出モジュールとを有する。

この実現形態では、生体検出は、目標対象物が生体であるか否かを検証するためのものであり、例えば、目標対象物が人体であるか否かを検証することができる。顔認証は、取得された画像における顔特徴を抽出し、取得された画像における顔特徴を予め登録された顔特徴と照合して、同じ人の顔特徴であるか否かを判断するためのものであり、例えば、取得された画像における顔特徴が車両所有者の顔特徴であるか否かを判断することができる。

可能な一実現形態では、前記生体検出モジュールは、前記第１画像に基づいて、前記第１深度マップを更新して第２深度マップを得るための更新サブモジュールと、前記第１画像及び前記第２深度マップに基づいて、前記目標対象物の生体検出結果を決定するための決定サブモジュールと、を有する。

可能な一実現形態では、前記画像センサは、ＲＧＢ画像センサ又は赤外線センサを含み、前記深度センサは、両眼赤外線センサ又は飛行時間ＴＯＦセンサを含む。目標対象物を含む深度マップによって生体検出を行うことにより、目標対象物の深度情報を十分に見出すことができ、生体検出の正確性を高めることができる。本開示の実施例では、例えば、目標対象物が顔である場合、顔を含む深度マップを用いて生体検出を行うことにより、顔データの深度情報を十分に見出すことができ、生体顔検出の正確性を高めることができる。

可能な一実現形態では、前記ＴＯＦセンサは、赤外線波長域に基づくＴＯＦモジュールを用いる。赤外線波長域に基づくＴＯＦモジュールを用いることにより、外部の光線による深度マップの撮影への影響を低減することができる。

可能な一実現形態では、前記更新サブモジュールは、前記第１画像に基づいて、前記第１深度マップにおける深度失効画素の深度値を更新して前記第２深度マップを得ることに用いられる。

ここで、深度マップにおける深度失効画素とは、深度マップに含まれ、無効な深度値を有する画素、すなわち正確でない深度値又は現実に明らか合わない深度値を有する画素を指してもよい。深度失効画素の数は１つ又は複数であってもよい。深度マップにおける少なくとも１つの深度失効画素の深度値を更新することにより、深度失効画素の深度値がより正確になり、生体検出の正確率の向上に寄与する。

可能な一実現形態では、前記更新サブモジュールは、前記第１画像に基づいて、前記第１画像における複数の画素の深度推定値及び前記複数の画素同士の関連度を示す関連情報を決定し、前記複数の画素の深度推定値及び関連情報に基づいて、前記第１深度マップを更新して第２深度マップを得ることに用いられる。

可能な一実現形態では、前記更新サブモジュールは、前記第１深度マップにおける深度失効画素を決定することと、前記複数の画素の深度推定値のうち、前記深度失効画素の深度推定値及び前記深度失効画素の複数の周辺画素の深度推定値を取得することと、前記複数の画素の関連情報から、前記深度失効画素と前記深度失効画素の複数の周辺画素との関連度を取得することと、前記深度失効画素の深度推定値、前記深度失効画素の複数の周辺画素の深度推定値、及び前記深度失効画素と前記深度失効画素の周辺画素との関連度に基づいて、前記深度失効画素の更新後の深度値を決定することに用いられる。

可能な一実現形態では、前記更新サブモジュールは、前記深度失効画素の周辺画素の深度推定値、及び前記深度失効画素と前記深度失効画素の複数の周辺画素との関連度に基づいて、前記深度失効画素の深度関連値を決定することと、前記深度失効画素の深度推定値及び前記深度関連値に基づいて、前記深度失効画素の更新後の深度値を決定することに用いられる。

可能な一実現形態では、前記更新サブモジュールは、前記深度失効画素と各周辺画素との関連度を前記各周辺画素の重みとして、前記深度失効画素の複数の周辺画素の深度推定値の加重合計を計算して、前記深度失効画素の深度関連値を得ることに用いられる。

可能な一実現形態では、前記更新サブモジュールは、前記第１画像及び前記第１深度マップに基づいて、前記第１画像における複数の画素の深度推定値を決定することに用いられる。

可能な一実現形態では、前記更新サブモジュールは、前記第１画像及び前記第１深度マップを深度推定ニューラルネットワークに入力して処理し、前記第１画像における複数の画素の深度推定値を得ることに用いられる。

可能な一実現形態では、前記更新サブモジュールは、前記第１画像及び前記第１深度マップに対して融合処理を行って、融合結果を得ることと、前記融合結果に基づいて、前記第１画像における複数の画素の深度推定値を決定することに用いられる。

可能な一実現形態では、前記更新サブモジュールは、前記第１画像を関連度検出ニューラルネットワークに入力して処理し、前記第１画像における複数の画素の関連情報を得ることに用いられる。

可能な一実現形態では、前記更新サブモジュールは、前記第１画像から前記目標対象物の画像を取得することと、前記目標対象物の画像に基づいて、前記第１深度マップを更新することに用いられる。

可能な一実現形態では、前記更新サブモジュールは、前記第１画像における前記目標対象物のキーポイントの情報を取得することと、前記目標対象物のキーポイントの情報に基づいて、前記第１画像から前記目標対象物の画像を取得することに用いられる。

一例では、目標対象物のキーポイントの情報に基づいて目標対象物の輪郭を決定し、目標対象物の輪郭に基づいて第１画像から目標対象物の画像を切り出す。目標検出によって得られた目標対象物の位置情報に比べると、キーポイントの情報によって得られた目標対象物の位置がより正確であるので、後続の生体検出の正確率の向上に寄与する。

このように、第１画像から目標対象物の画像を取得し、目標対象物の画像に基づいて生体検出を行うことにより、第１画像における背景情報による生体検出への干渉を低減することができる。

可能な一実現形態では、前記更新サブモジュールは、前記第１画像に対して目標検出を行って、前記目標対象物の所在領域を得ることと、前記目標対象物の所在領域の画像に対してキーポイント検出を行って、前記第１画像における前記目標対象物のキーポイントの情報を得ることに用いられる。

可能な一実現形態では、前記更新サブモジュールは、前記第１深度マップから前記目標対象物の深度マップを取得することと、前記第１画像に基づいて、前記目標対象物の深度マップを更新して前記第２深度マップを得ることに用いられる。

このように、第１深度マップから目標対象物の深度マップを取得し、第１画像に基づいて目標対象物の深度マップを更新して第２深度マップを得ることにより、第１深度マップにおける背景情報による生体検出への干渉を低減することができる。

いくつかの特定のシーン（例えば、室外の光が強いシーン）では、取得される深度マップ（例えば、深度センサにより取得される深度マップ）は、一部の面積が失効となる場合がある。なお、正常な光の照射でも、メガネによる反射、黒い髪又は黒いメガネフレーム等の要因によって深度マップの部分的失効をランダムに引き起こすことになる。いくつかの特別な紙も、類似的に、印刷された顔写真の深度マップに広面積の失効又は部分的失効を引き起こす。また、深度センサのアクティブ光源が遮蔽される場合、深度マップの一部が失効になるが、非生体の画像センサでの結像が正常となることがあり得る。このように、深度マップの一部又は全部が失効となる場合に、深度マップに基づく生体と非生体の識別に誤差が発生する。したがって、本開示の実施例では、第１深度マップを修復又は更新し、修復又は更新後の深度マップを用いて生体検出を行うことにより、生体検出の正確率の向上に寄与する。

可能な一実現形態では、前記決定サブモジュールは、前記第１画像及び前記第２深度マップを生体検出ニューラルネットワークに入力して処理し、前記目標対象物の生体検出結果を得ることに用いられる。

可能な一実現形態では、前記決定サブモジュールは、前記第１画像に対して特徴抽出処理を行って、第１特徴情報を得ることと、前記第２深度マップに対して特徴抽出処理を行って、第２特徴情報を得ることと、前記第１特徴情報及び前記第２特徴情報に基づいて、前記目標対象物の生体検出結果を決定することに用いられる。

ここで、選択可能的に、特徴抽出処理は、ニューラルネットワーク又は他の機械学習アルゴリズムによって実現することができ、抽出された特徴情報の種別は、選択可能的にサンプルを用いた学習によって得ることができるが、本開示の実施例はこれらを限定しない。

可能な一実現形態では、前記決定サブモジュールは、前記第１特徴情報及び前記第２特徴情報に対して融合処理を行って、第３特徴情報を得ることと、前記第３特徴情報に基づいて、前記目標対象物の生体検出結果を決定することに用いられる。

可能な一実現形態では、前記決定サブモジュールは、前記第３特徴情報に基づいて、前記目標対象物が生体である確率を得ることと、前記目標対象物が生体である確率に基づいて、前記目標対象物の生体検出結果を決定することに用いられる。

可能な一実現形態では、前記装置は、顔認識の失敗に応じて、パスワードによるロック解除フローを起動するように前記車両に搭載されるパスワードロック解除モジュールをアクティブ化するためのアクティブ化起動モジュールをさらに備える。

この実現形態では、パスワードによるロック解除は、顔認識によるロック解除の代替手段である。顔認識の失敗の原因は、目標対象物が非生体であることを示す生体検出結果であること、顔認識が失敗したこと、画像取得が失敗した（例えば、カメラが故障した）こと、および認識回数が所定の回数を超えたこと等の少なくとも１つを含んでもよい。目標対象物の顔認識が失敗すると、パスワードによるロック解除のフローを起動する。例えば、Ｂピラーのタッチスクリーンによってユーザから入力されるパスワードを取得するようにしてもよい。

可能な一実現形態では、前記装置は、前記画像取得モジュールにより取得された車両所有者の顔画像に基づいて車両所有者の登録を行うことと、前記車両所有者の端末装置により取得された前記車両所有者の顔画像に基づいて遠隔登録を行い、前記車両所有者の顔画像を含む登録情報を前記車両に送信することとの１つ又は２つに用いられる登録モジュールをさらに備える。

この実現形態によれば、後続の顔認証時に、この予め登録された顔特徴に基づいて顔照合を行うことができる。

いくつかの実施例では、本開示の実施例で提供された装置に備える機能又はモジュールは、上記の方法実施例に記載の方法を実行するために用いることができ、その具体的な実施については上記の方法実施例の記載を参照すればよく、説明を簡潔化するために、ここでは重複の説明を省略する。

図１４は本開示の実施例に係る車載顔認証ロック解除システムのブロック図を示す。図１４に示すように、この車載顔認証ロック解除システムは、メモリ４１と、顔認識モジュール４２と、画像取得モジュール４３と、ブルートゥースモジュール４４とを備え、前記顔認識モジュール４２は、前記メモリ４１、前記画像取得モジュール４３及び前記ブルートゥースモジュール４４にそれぞれ接続され、前記ブルートゥースモジュール４４は、所定識別子のブルートゥースデバイスとのブルートゥースペアリング・接続に成功する場合、又は前記所定識別子のブルートゥースデバイスを検索できた場合、前記顔認識モジュール４２をウェイクアップするマイクロプロセッサ４４１と、前記マイクロプロセッサ４４１に接続されるブルートゥースセンサ４４２とを有し、前記顔認識モジュール４２には、ドアドメインコントローラに接続される通信インタフェースがさらに設けられ、顔認識に成功すると、前記通信インタフェースを介して前記ドアドメインコントローラにドアロック解除のための制御情報を送信する。

一例では、メモリ４１は、フラッシュメモリ（Ｆｌａｓｈ）及びＤＤＲ３（Ｄｏｕｂｌｅ Ｄａｔｅ Ｒａｔｅ ３、第３世代のダブルデータレート）メモリの少なくとも１つを含んでもよい。

一例では、顔認識モジュール４２は、ＳｏＣ（Ｓｙｓｔｅｍ ｏｎ Ｃｈｉｐ、システムオンチップ）を用いて実現されてもよい。

一例では、顔認識モジュール４２は、ＣＡＮ（Ｃｏｎｔｒｏｌｌｅｒ Ａｒｅａ Ｎｅｔｗｏｒｋ、コントローラエリアネットワーク）バスを介してドアドメインコントローラに接続される。

一例では、前記画像取得モジュール４３は画像センサ及び深度センサを含む。

一例では、深度センサは、両眼赤外線センサ及び飛行時間ＴＯＦセンサの少なくとも１つを有する。

可能な一実現形態では、深度センサは、２つの赤外線カメラが画像センサのカメラの両側に設けられる両眼赤外線センサを含む。例えば、図４ａに示す例では、画像センサはＲＧＢセンサであり、画像センサのカメラはＲＧＢカメラであり、深度センサは、両眼赤外線センサであり、２つのＩＲ（赤外線）カメラを有し、両眼赤外線センサの２つの赤外線カメラが画像センサのＲＧＢカメラの両側に設けられる。

一例では、画像取得モジュール４３は、両眼赤外線センサの赤外線カメラと画像センサのカメラとの間に設けられるものであって、画像センサ用の補光ライト及び深度センサ用の補光ライトの少なくとも一方を含む少なくとも１つの補光ライトをさらに含む。例えば、画像センサがＲＧＢセンサである場合、画像センサ用の補光ライトはホワイトライトであり、画像センサが赤外線センサである場合、画像センサ用の補光ライトは赤外線ライトであり、深度センサが両眼赤外線センサである場合、深度センサ用の補光ライトは赤外線ライトであるようにしてもよい。図４ａに示す例では、両眼赤外線センサの赤外線カメラと画像センサのカメラとの間に赤外線ライトが設けられる。例えば、赤外線ライトは、９４０ｎｍの赤外線を用いるようにしてもよい。

一例では、補光ライトはノーマルオープンモードにしてもよい。この例では、画像取得モジュールのカメラが動作状態にある場合、補光ライトはオン状態にある。

別の一例では、光線が足りない場合に補光ライトをオンにしてもよい。例えば、環境光センサによって環境光強度を取得し、環境光強度が光強度閾値より低い場合に光線が足りないと判定し、補光ライトをオンにするようにしてもよい。

可能な一実施形態では、画像取得モジュール４３は、前記深度センサのカメラと前記画像センサのカメラとの間に設けられるレーザーをさらに含む。例えば、図４ｂに示す例では、画像センサがＲＧＢセンサであり、画像センサのカメラがＲＧＢカメラであり、深度センサがＴＯＦセンサであり、レーザーがＴＯＦセンサのカメラとＲＧＢセンサのカメラとの間に設けられている。例えば、レーザーはＶＣＳＥＬであり、ＴＯＦセンサはＶＣＳＥＬから発したレーザー光によって深度マップを取得するようにしてもよい。

一例では、深度センサは、ＬＶＤＳ（Ｌｏｗ－Ｖｏｌｔａｇｅ Ｄｉｆｆｅｒｅｎｔｉａｌ Ｓｉｇｎａｌｉｎｇ、低電圧差動信号）インタフェースを介して顔認識モジュール４２に接続される。

可能な一実現形態では、前記車載顔認証ロック解除システムは、前記顔認識モジュール４２に接続され、ドアロックの解除を行うためのパスワードロック解除モジュール４５をさらに備える。

可能な一実現形態では、前記パスワードロック解除モジュール４５は、タッチスクリーン及びキーボードの１つ又は２つを有する。

一例では、タッチスクリーンは、ＦＰＤ－Ｌｉｎｋ（Ｆｌａｔ Ｐａｎｅｌ Ｄｉｓｐｌａｙ Ｌｉｎｋ、フラットパネルディスプレイリンク）を介して顔認識モジュール４２に接続される。

可能な一実現形態では、前記車載顔認証ロック解除システムは、前記マイクロプロセッサ４４１及び前記顔認識モジュール４２にそれぞれ接続される電池モジュール４６をさらに備える。

可能な一実現形態では、メモリ４１、顔認識モジュール４２、ブルートゥースモジュール４４及び電池モジュール４６は、ＥＣＵ（Ｅｌｅｃｔｒｏｎｉｃ Ｃｏｎｔｒｏｌ Ｕｎｉｔ、電子制御ユニット）に搭載されてもよい。

図１５は本開示の実施例に係る車載顔認証ロック解除システムの模式図を示す。図１５に示す例では、顔認識モジュールは、ＳｏＣ１０１を用いて実現され、メモリは、フラッシュメモリ（Ｆｌａｓｈ）１０２及びＤＤＲ３メモリ１０３を有し、ブルートゥースモジュールは、ブルートゥースセンサ１０４及びマイクロプロセッサ（ＭＣＵ、Ｍｉｃｒｏｃｏｎｔｒｏｌｌｅｒ Ｕｎｉｔ）１０５を有し、ＳｏＣ１０１、フラッシュメモリ１０２、ＤＤＲ３メモリ１０３、ブルートゥースセンサ１０４、マイクロプロセッサ１０５及び電池モジュール１０６は、ＥＣＵ１００に搭載されており、画像取得モジュールは、ＬＶＤＳインタフェースを介してＳｏＣ１０１に接続される深度センサ２００を有し、パスワードロック解除モジュールは、ＦＰＤ－Ｌｉｎｋを介してＳｏＣ１０１に接続されるタッチスクリーン３００を有し、ＳｏＣ１０１はＣＡＮバスを介してドアドメインコントローラ４００に接続される。図１６は本開示の実施例に係る車両の模式図を示す。図１６に示されるように、車両は、車両のドアドメインコントローラ５２に接続される車載顔認証ロック解除システム５１を備える。

可能な一実現形態では、前記画像取得モジュールは前記車両の車室外部に設けられる。

可能な一実現形態では、前記画像取得モジュールは、前記車両のＢピラー、少なくとも１つのドア、少なくとも１つのバックミラーの少なくとも一方に設けられる。

可能な一実現形態では、前記顔認識モジュールは、前記車両内に搭載され、ＣＡＮバスを介して前記ドアドメインコントローラに接続される。

本開示の実施例は、コンピュータ読み取り可能なコードを含むコンピュータプログラムであって、前記コンピュータ読み取り可能なコードは、電子機器で動作すると、前記電子機器のプロセッサに上記方法を実現するためのコマンドを実行させるコンピュータプログラムをさらに提供する。

本開示の実施例は、コンピュータプログラムコマンドが記憶されているコンピュータ読み取り可能な記憶媒体であって、前記コンピュータプログラムコマンドは、プロセッサにより実行されると、上記方法を実現させるコンピュータ読み取り可能な記憶媒体をさらに提供する。コンピュータ読み取り可能な記憶媒体は、不揮発性コンピュータ読み取り可能な記憶媒体であってもよく、又は揮発性コンピュータ読み取り可能な記憶媒体であってもよい。

本開示の実施例は、プロセッサと、プロセッサにより実行可能なコマンドを記憶するためのメモリと、を含み、前記プロセッサは上記方法を実行するように構成される電子機器をさらに提供する。

電子機器は、端末、サーバ又は他の形態の装置として提供されてもよい。
図１７は、例示的な一実施例の電子機器８００のブロック図を示す。例えば、電子機器８００は携帯電話、コンピュータ、デジタル放送端末、メッセージ送受信機器、ゲームコンソール、タブレット型機器、医療機器、フィットネス機器、パーソナル・デジタル・アシスタント等の端末であってもよい。

図１７を参照すると、電子機器８００は、処理コンポーネント８０２、メモリ８０４、電源コンポーネント８０６、マルチメディアコンポーネント８０８、オーディオコンポーネント８１０、入力／出力（Ｉ／Ｏ）のインタフェース８１２、センサコンポーネント８１４、および通信コンポーネント８１６のうちの一つ以上を含んでもよい。

処理コンポーネント８０２は通常、電子機器８００の全体的な動作、例えば表示、電話の呼び出し、データ通信、カメラ動作および記録動作に関連する動作を制御する。処理コンポーネント８０２は、上記方法の全てまたは一部のステップを実行するために、命令を実行する一つ以上のプロセッサ８２０を含んでもよい。また、処理コンポーネント８０２は、他のコンポーネントとのインタラクションのための一つ以上のモジュールを含んでもよい。例えば、処理コンポーネント８０２は、マルチメディアコンポーネント８０８とのインタラクションのために、マルチメディアモジュールを含んでもよい。

メモリ８０４は電子機器８００での動作をサポートするための様々なタイプのデータを記憶するように構成される。これらのデータは、例として、電子機器８００において操作するあらゆるアプリケーションプログラムまたは方法の命令、連絡先データ、電話帳データ、メッセージ、ピクチャー、ビデオなどを含む。メモリ８０４は、例えば静的ランダムアクセスメモリ（ＳＲＡＭ）、電気的消去可能プログラマブル読み取り専用メモリ（ＥＥＰＲＯＭ）、消去可能なプログラマブル読み取り専用メモリ（ＥＰＲＯＭ）、プログラマブル読み取り専用メモリ（ＰＲＯＭ）、読み取り専用メモリ（ＲＯＭ）、磁気メモリ、フラッシュメモリ、磁気ディスクまたは光ディスクなどの様々なタイプの揮発性または不揮発性記憶装置またはそれらの組み合わせによって実現できる。

電源コンポーネント８０６は電子機器８００の各コンポーネントに電力を供給する。電源コンポーネント８０６は電源管理システム、一つ以上の電源、および電子機器８００のための電力生成、管理および配分に関連する他のコンポーネントを含んでもよい。

マルチメディアコンポーネント８０８は前記電子機器８００とユーザとの間で出力インタフェースを提供するスクリーンを含む。いくつかの実施例では、スクリーンは液晶ディスプレイ（ＬＣＤ）およびタッチパネル（ＴＰ）を含んでもよい。スクリーンがタッチパネルを含む場合、ユーザからの入力信号を受信するタッチスクリーンとして実現してもよい。タッチパネルは、タッチ、スライドおよびタッチパネルでのジェスチャーを検知するように、一つ以上のタッチセンサを含む。前記タッチセンサはタッチまたはスライド動きの境界を検知するのみならず、前記タッチまたはスライド操作に関連する持続時間および圧力を検出するようにしてもよい。いくつかの実施例では、マルチメディアコンポーネント８０８は前面カメラおよび／または背面カメラを含む。電子機器８００が動作モード、例えば撮影モードまたは撮像モードになる場合、前面カメラおよび／または背面カメラは外部のマルチメディアデータを受信するようにしてもよい。各前面カメラおよび背面カメラは、固定された光学レンズ系、または焦点距離および光学ズーム能力を有するものであってもよい。

オーディオコンポーネント８１０はオーディオ信号を出力および／または入力するように構成される。例えば、オーディオコンポーネント８１０は、一つのマイク（ＭＩＣ）を含み、マイク（ＭＩＣ）は、電子機器８００が動作モード、例えば呼び出しモード、記録モードおよび音声認識モードになる場合、外部のオーディオ信号を受信するように構成される。受信されたオーディオ信号はさらにメモリ８０４に記憶されるか、または通信コンポーネント８１６を介して送信されてもよい。いくつかの実施例では、オーディオコンポーネント８１０はさらに、オーディオ信号を出力するためのスピーカーを含む。

Ｉ／Ｏインタフェース８１２は処理コンポーネント８０２と周辺インタフェースモジュールとの間でインタフェースを提供し、上記周辺インタフェースモジュールはキーボード、クリックホイール、ボタンなどであってもよい。これらのボタンはホームボタン、音量ボタン、スタートボタンおよびロックボタンを含んでもよいが、これらに限定されない。

センサコンポーネント８１４は電子機器８００の各方面の状態評価のために一つ以上のセンサを含む。例えば、センサコンポーネント８１４は電子機器８００のオン／オフ状態、例えば電子機器８００の表示装置およびキーパッドのようなコンポーネントの相対的位置決めを検出でき、センサコンポーネント８１４はさらに、電子機器８００または電子機器８００のあるコンポーネントの位置の変化、ユーザと電子機器８００との接触の有無、電子機器８００の方位または加減速および電子機器８００の温度変化を検出できる。センサコンポーネント８１４は、いかなる物理的接触もない場合に近傍の物体の存在を検出するように構成される近接センサを含んでもよい。センサコンポーネント８１４はさらに、ＣＭＯＳまたはＣＣＤイメージセンサのような、イメージングアプリケーションにおいて使用するための光センサを含んでもよい。いくつかの実施例では、該センサコンポーネント８１４はさらに、加速度センサ、ジャイロセンサ、磁気センサ、圧力センサまたは温度センサを含んでもよい。

通信コンポーネント８１６は電子機器８００と他の機器との有線または無線通信を実現するように構成される。電子機器８００は通信規格に基づく無線ネットワーク、例えばＷｉＦｉ、２Ｇまたは３Ｇ、またはそれらの組み合わせにアクセスできる。一例示的実施例では、通信コンポーネント８１６は放送チャネルを介して外部の放送管理システムからの放送信号または放送関連情報を受信する。一例示的実施例では、前記通信コンポーネント８１６はさらに、近距離通信を促進させるために、近距離無線通信（ＮＦＣ）モジュールを含む。例えば、ＮＦＣモジュールは、無線周波数識別（ＲＦＩＤ）技術、赤外線データ協会（ＩｒＤＡ）技術、超広帯域（ＵＷＢ）技術、ブルートゥース（ＢＴ）技術および他の技術によって実現できる。

例示的な実施例では、電子機器８００は一つ以上の特定用途向け集積回路（ＡＳＩＣ）、デジタル信号プロセッサ（ＤＳＰ）、デジタルシグナルプロセッサ（ＤＳＰＤ）、プログラマブルロジックデバイス（ＰＬＤ）、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）、コントローラ、マイクロコントローラ、マイクロプロセッサまたは他の電子要素によって実現され、上記方法を実行するために用いられることができる。

例示的な実施例では、さらに、不揮発性コンピュータ読み取り可能記憶媒体、例えばコンピュータプログラム命令を含むメモリ８０４が提供され、上記コンピュータプログラム命令は、電子機器８００のプロセッサ８２０によって実行されと、上記方法を実行させることができる。

本開示はシステム、方法および／またはコンピュータプログラム製品であってもよい。コンピュータプログラム製品は、プロセッサに本開示の各方面を実現させるためのコンピュータ可読プログラム命令が有しているコンピュータ可読記憶媒体を含んでもよい。

コンピュータ可読記憶媒体は、命令実行機器に使用される命令を保存および記憶可能な有形装置であってもよい。コンピュータ可読記憶媒体は例えば、電気記憶装置、磁気記憶装置、光記憶装置、電磁記憶装置、半導体記憶装置、または上記の任意の適当な組み合わせであってもよいが、これらに限定されない。コンピュータ可読記憶媒体のさらに具体的な例（非網羅的リスト）としては、携帯型コンピュータディスク、ハードディスク、ランダムアクセスメモリ（ＲＡＭ）、読み取り専用メモリ（ＲＯＭ）、消去可能プログラマブル読み取り専用メモリ（ＥＰＲＯＭまたはフラッシュメモリ）、静的ランダムアクセスメモリ（ＳＲＡＭ）、携帯型コンパクトディスク読み取り専用メモリ（ＣＤ－ＲＯＭ）、デジタル多用途ディスク（ＤＶＤ）、メモリスティック、フロッピーディスク、例えば命令が記憶されているせん孔カードまたはスロット内突起構造のような機械的符号化装置、および上記の任意の適当な組み合わせを含む。ここで使用されるコンピュータ可読記憶媒体は、瞬時信号自体、例えば無線電波または他の自由に伝播される電磁波、導波路または他の伝送媒体を経由して伝播される電磁波（例えば、光ファイバーケーブルを通過するパルス光）、または電線を経由して伝送される電気信号と解釈されるものではない。

ここで記述したコンピュータ可読プログラム命令は、コンピュータ可読記憶媒体から各計算／処理機器にダウンロードされてもよいし、またはネットワーク、例えばインターネット、ローカルエリアネットワーク、広域ネットワークおよび／または無線ネットワークを介して外部のコンピュータまたは外部記憶装置にダウンロードされてもよい。ネットワークは銅伝送ケーブル、光ファイバー伝送、無線伝送、ルーター、ファイアウォール、交換機、ゲートウェイコンピュータおよび／またはエッジサーバを含んでもよい。各計算／処理機器内のネットワークアダプタカードまたはネットワークインタフェースはネットワークからコンピュータ可読プログラム命令を受信し、該コンピュータ可読プログラム命令を転送し、各計算／処理機器内のコンピュータ可読記憶媒体に記憶させる。

本開示の動作を実行するためのコンピュータプログラム命令はアセンブリ命令、命令セットアーキテクチャ（ＩＳＡ）命令、機械語命令、機械依存命令、マイクロコード、ファームウェア命令、状態設定データ、またはＳｍａｌｌｔａｌｋ、Ｃ＋＋などのオブジェクト指向プログラミング言語、および「Ｃ」言語または類似するプログラミング言語などの一般的な手続き型プログラミング言語を含める一つ以上のプログラミング言語の任意の組み合わせで書かれたソースコードまたは目標コードであってもよい。コンピュータ可読プログラム命令は、完全にユーザのコンピュータにおいて実行されてもよく、部分的にユーザのコンピュータにおいて実行されてもよく、スタンドアロンソフトウェアパッケージとして実行されてもよく、部分的にユーザのコンピュータにおいてかつ部分的にリモートコンピュータにおいて実行されてもよく、または完全にリモートコンピュータもしくはサーバにおいて実行されてもよい。リモートコンピュータに関与する場合、リモートコンピュータは、ローカルエリアネットワーク（ＬＡＮ）または広域ネットワーク（ＷＡＮ）を含む任意の種類のネットワークを経由してユーザのコンピュータに接続されてもよく、または、（例えばインターネットサービスプロバイダを利用してインターネットを経由して）外部コンピュータに接続されてもよい。いくつかの実施例では、コンピュータ可読プログラム命令の状態情報を利用して、例えばプログラマブル論理回路、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）またはプログラマブル論理アレイ（ＰＬＡ）などの電子回路をパーソナライズし、該電子回路によりコンピュータ可読プログラム命令を実行することにより、本開示の各方面を実現するようにしてもよい。

ここで本開示の実施例に係る方法、装置（システム）およびコンピュータプログラム製品のフローチャートおよび／またはブロック図を参照しながら本開示の各態様を説明したが、フローチャートおよび／またはブロック図の各ブロックおよびフローチャートおよび／またはブロック図の各ブロックの組み合わせは、いずれもコンピュータ可読プログラム命令によって実現できることを理解すべきである。

これらのコンピュータ可読プログラム命令は、汎用コンピュータ、専用コンピュータまたは他のプログラマブルデータ処理装置のプロセッサへ提供され、これらの命令がコンピュータまたは他のプログラマブルデータ処理装置のプロセッサによって実行されると、フローチャートおよび／またはブロック図の一つ以上のブロックにおいて指定された機能／動作を実現ように、装置を製造してもよい。これらのコンピュータ可読プログラム命令は、コンピュータ可読記憶媒体に記憶され、コンピュータ、プログラマブルデータ処理装置および／または他の機器を特定の方式で動作させるようにしてもよい。これにより、命令が記憶されているコンピュータ可読記憶媒体は、フローチャートおよび／またはブロック図の一つ以上のブロックにおいて指定された機能／動作の各方面を実現する命令を有する製品を含む。

コンピュータ可読プログラム命令は、コンピュータ、他のプログラマブルデータ処理装置、または他の機器にロードされ、コンピュータ、他のプログラマブルデータ処理装置または他の機器に一連の動作ステップを実行させることにより、コンピュータにより実施なプロセスを生成するようにしてもよい。このようにして、コンピュータ、他のプログラマブルデータ処理装置、または他の機器において実行される命令により、フローチャートおよび／またはブロック図の一つ以上のブロックにおいて指定された機能／動作を実現する。

図面のうちフローチャートおよびブロック図は、本開示の複数の実施例に係るシステム、方法およびコンピュータプログラム製品の実現可能なシステムアーキテクチャ、機能および動作を示す。この点では、フローチャートまたはブロック図における各ブロックは一つのモジュール、プログラムセグメントまたは命令の一部分を代表することができ、前記モジュール、プログラムセグメントまたは命令の一部分は指定された論理機能を実現するための一つ以上の実行可能命令を含む。いくつかの代替としての実現形態では、ブロックに表記される機能は、図面に付した順序と異なって実現してもよい。例えば、連続的な二つのブロックは実質的に並列に実行してもよく、また、係る機能によって、逆な順序で実行してもよい。なお、ブロック図および／またはフローチャートにおける各ブロック、およびブロック図および／またはフローチャートにおけるブロックの組み合わせは、指定される機能または動作を実行するハードウェアに基づく専用システムによって実現してもよいし、または専用ハードウェアとコンピュータ命令との組み合わせによって実現してもよいことにも注意すべきである。

以上、本開示の各実施例を記述したが、上記説明は例示的なものに過ぎず、網羅的なものではなく、かつ披露された各実施例に限定されるものでもない。当業者にとって、説明された各実施例の範囲および精神から逸脱することなく、様々な修正および変更が自明である。本明細書に選ばれた用語は、各実施例の原理、実際の適用または既存技術に対する改善を好適に解釈するか、または他の当業者に本文に披露された各実施例を理解させるためのものである。

Claims (108)

1. 車両に搭載されるブルートゥースモジュールによって所定識別子のブルートゥースデバイスを検索することと、
   前記所定識別子のブルートゥースデバイスを検索できたことに応じて、前記ブルートゥースモジュールと前記所定識別子のブルートゥースデバイスとのブルートゥースペアリング・接続を確立することと、
   前記ブルートゥースペアリング・接続の成功に応じて、目標対象物の第１画像を取得するように前記車両に搭載される画像取得モジュールをウェイクアップして制御することと、
   前記第１画像に基づいて顔認識を行うことと、
   顔認識の成功に応じて、前記車両の少なくとも１つのドアにドアロック解除コマンド及び／又はドア開放コマンドを送信することと、を含むことを特徴とする車両のドアロック解除方法。
2. 車両に搭載されるブルートゥースモジュールによって所定識別子のブルートゥースデバイスを検索することは、
   前記車両がイグニッションオフ状態、又はイグニッションオフでかつドア施錠の状態にある場合、前記車両に搭載されるブルートゥースモジュールによって所定識別子のブルートゥースデバイスを検索することを含むことを特徴とする請求項１に記載の車両のドアロック解除方法。
3. 前記所定識別子のブルートゥースデバイスの数は１つであることを特徴とする請求項１又は２に記載の車両のドアロック解除方法。
4. 前記所定識別子のブルートゥースデバイスの数は複数であり、
   前記所定識別子のブルートゥースデバイスを検索できたことに応じて、前記ブルートゥースモジュールと前記所定識別子のブルートゥースデバイスとのブルートゥースペアリング・接続を確立することは、
   所定識別子のブルートゥースデバイスのいずれか１つを検索できたことに応じて、前記ブルートゥースモジュールと当該所定識別子のブルートゥースデバイスとのブルートゥースペアリング・接続を確立することを含むことを特徴とする請求項１又は２に記載の車両のドアロック解除方法。
5. 目標対象物の第１画像を取得するように前記車両に搭載される画像取得モジュールをウェイクアップして制御することは、
   前記車両に搭載される顔認識モジュールをウェイクアップすることと、
   ウェイクアップされた前記顔認識モジュールによって、目標対象物の第１画像を取得するように前記画像取得モジュールを制御することを含むことを特徴とする請求項１～４のいずれか１項に記載の車両のドアロック解除方法。
6. 前記車両に搭載される顔認識モジュールをウェイクアップした後、
   予め設定された時間内に顔画像を取得できなかった場合、前記顔認識モジュールがスリープ状態になるように制御することをさらに含むことを特徴とする請求項５に記載の車両のドアロック解除方法。
7. 前記車両に搭載される顔認識モジュールをウェイクアップした後、
   予め設定された時間内に顔認識に成功しなかった場合、前記顔認識モジュールがスリープ状態になるように制御することをさらに含むことを特徴とする請求項５に記載の車両のドアロック解除方法。
8. 顔認識の成功に応じて、前記車両の少なくとも１つのドアにドアロック解除コマンド及び／又はドア開放コマンドを送信することは、
   顔認識の成功に応じて、前記目標対象物に解錠権限が付与されるドアを決定することと、
   前記目標対象物に解錠権限が付与されるドアに応じて、前記車両の少なくとも１つのドアにドアロック解除コマンド及び／又はドア開放コマンドを送信することと、を含むことを特徴とする請求項１～７のいずれか１項に記載の車両のドアロック解除方法。
9. 前記顔認識は、生体検出及び顔認証を含み、
   前記第１画像に基づいて顔認識を行うことは、
   前記画像取得モジュールの画像センサによって前記第１画像を取得し、前記第１画像及び予め登録された顔特徴に基づいて顔認証を行うことと、
   前記画像取得モジュールの深度センサによって前記第１画像に対応する第１深度マップを取得し、前記第１画像及び前記第１深度マップに基づいて生体検出を行うことと、を含むことを特徴とする請求項１～８のいずれか１項に記載の車両のドアロック解除方法。
10. 前記第１画像及び前記第１深度マップに基づいて生体検出を行うことは、
    前記第１画像に基づいて、前記第１深度マップを更新して第２深度マップを得ることと、
    前記第１画像及び前記第２深度マップに基づいて、前記目標対象物の生体検出結果を決定することと、を含むことを特徴とする請求項９に記載の車両のドアロック解除方法。
11. 前記画像センサは、ＲＧＢ画像センサ又は赤外線センサを含み、
    前記深度センサは、両眼赤外線センサ又は飛行時間ＴＯＦセンサを含むことを特徴とする請求項９又は１０に記載の車両のドアロック解除方法。
12. 前記ＴＯＦセンサは、赤外線波長域に基づくＴＯＦモジュールを用いることを特徴とする請求項１１に記載の車両のドアロック解除方法。
13. 前記第１画像に基づいて、前記第１深度マップを更新して第２深度マップを得ることは、
    前記第１画像に基づいて、前記第１深度マップにおける深度失効画素の深度値を更新して前記第２深度マップを得ることを含むことを特徴とする請求項１０～１２のいずれか１項に記載の車両のドアロック解除方法。
14. 前記第１画像に基づいて、前記第１深度マップを更新して第２深度マップを得ることは、
    前記第１画像に基づいて、前記第１画像における複数の画素の深度推定値及び前記複数の画素同士の関連度を示す関連情報を決定することと、
    前記複数の画素の深度推定値及び関連情報に基づいて、前記第１深度マップを更新して第２深度マップを得ることと、を含むことを特徴とする請求項１０～１３のいずれか１項に記載の車両のドアロック解除方法。
15. 前記複数の画素の深度推定値及び関連情報に基づいて、前記第１深度マップを更新して第２深度マップを得ることは、
    前記第１深度マップにおける深度失効画素を決定することと、
    前記複数の画素の深度推定値のうち、前記深度失効画素の深度推定値及び前記深度失効画素の複数の周辺画素の深度推定値を取得することと、
    前記複数の画素の関連情報から、前記深度失効画素と前記深度失効画素の複数の周辺画素との関連度を取得することと、
    前記深度失効画素の深度推定値、前記深度失効画素の複数の周辺画素の深度推定値、及び前記深度失効画素と前記深度失効画素の周辺画素との関連度に基づいて、前記深度失効画素の更新後の深度値を決定することと、を含むことを特徴とする請求項１４に記載の車両のドアロック解除方法。
16. 前記深度失効画素の深度推定値、前記深度失効画素の複数の周辺画素の深度推定値、及び前記深度失効画素と前記深度失効画素の複数の周辺画素との関連度に基づいて、前記深度失効画素の更新後の深度値を決定することは、
    前記深度失効画素の周辺画素の深度推定値、及び前記深度失効画素と前記深度失効画素の複数の周辺画素との関連度に基づいて、前記深度失効画素の深度関連値を決定することと、
    前記深度失効画素の深度推定値及び前記深度関連値に基づいて、前記深度失効画素の更新後の深度値を決定することと、を含むことを特徴とする請求項１５に記載の車両のドアロック解除方法。
17. 前記深度失効画素の周辺画素の深度推定値、及び前記深度失効画素と前記深度失効画素の複数の周辺画素との関連度に基づいて、前記深度失効画素の深度関連値を決定することは、
    前記深度失効画素と各周辺画素との関連度を前記各周辺画素の重みとして、前記深度失効画素の複数の周辺画素の深度推定値の加重合計を計算して、前記深度失効画素の深度関連値を得ることを含むことを特徴とする請求項１６に記載の車両のドアロック解除方法。
18. 前記第１画像に基づいて、前記第１画像における複数の画素の深度推定値を決定することは、
    前記第１画像及び前記第１深度マップに基づいて、前記第１画像における複数の画素の深度推定値を決定することを含むことを特徴とする請求項１４～１７のいずれか１項に記載の車両のドアロック解除方法。
19. 前記第１画像及び前記第１深度マップに基づいて、前記第１画像における複数の画素の深度推定値を決定することは、
    前記第１画像及び前記第１深度マップを深度推定ニューラルネットワークに入力して処理し、前記第１画像における複数の画素の深度推定値を得ることを含むことを特徴とする請求項１８に記載の車両のドアロック解除方法。
20. 前記第１画像及び前記第１深度マップに基づいて、前記第１画像における複数の画素の深度推定値を決定することは、
    前記第１画像及び前記第１深度マップに対して融合処理を行って、融合結果を得ることと、
    前記融合結果に基づいて、前記第１画像における複数の画素の深度推定値を決定することと、を含むことを特徴とする請求項１８又は１９に記載の車両のドアロック解除方法。
21. 前記第１画像に基づいて、前記第１画像における複数の画素の関連情報を決定することは、
    前記第１画像を関連度検出ニューラルネットワークに入力して処理し、前記第１画像における複数の画素の関連情報を得ることを含むことを特徴とする請求項１４～２０のいずれか１項に記載の車両のドアロック解除方法。
22. 前記第１画像に基づいて前記第１深度マップを更新することは、
    前記第１画像から前記目標対象物の画像を取得することと、
    前記目標対象物の画像に基づいて、前記第１深度マップを更新することと、を含むことを特徴とする請求項１０～２１のいずれか１項に記載の車両のドアロック解除方法。
23. 前記第１画像から前記目標対象物の画像を取得することは、
    前記第１画像における前記目標対象物のキーポイントの情報を取得することと、
    前記目標対象物のキーポイントの情報に基づいて、前記第１画像から前記目標対象物の画像を取得することと、を含むことを特徴とする請求項２２に記載の車両のドアロック解除方法。
24. 前記第１画像における前記目標対象物のキーポイントの情報を取得することは、
    前記第１画像に対して目標検出を行って、前記目標対象物の所在領域を得ることと、
    前記目標対象物の所在領域の画像に対してキーポイント検出を行って、前記第１画像における前記目標対象物のキーポイントの情報を得ることと、を含むことを特徴とする請求項２３に記載の車両のドアロック解除方法。
25. 前記第１画像に基づいて、前記第１深度マップを更新して第２深度マップを得ることは、
    前記第１深度マップから前記目標対象物の深度マップを取得することと、
    前記第１画像に基づいて、前記目標対象物の深度マップを更新して前記第２深度マップを得ることと、を含むことを特徴とする請求項１０～２４のいずれか１項に記載の車両のドアロック解除方法。
26. 前記第１画像及び前記第２深度マップに基づいて、前記目標対象物の生体検出結果を決定することは、
    前記第１画像及び前記第２深度マップを生体検出ニューラルネットワークに入力して処理し、前記目標対象物の生体検出結果を得ることを含むことを特徴とする請求項１０～２５のいずれか１項に記載の車両のドアロック解除方法。
27. 前記第１画像及び前記第２深度マップに基づいて、前記目標対象物の生体検出結果を決定することは、
    前記第１画像に対して特徴抽出処理を行って、第１特徴情報を得ることと、
    前記第２深度マップに対して特徴抽出処理を行って、第２特徴情報を得ることと、
    前記第１特徴情報及び前記第２特徴情報に基づいて、前記目標対象物の生体検出結果を決定することと、を含むことを特徴とする請求項１０～２６のいずれか１項に記載の車両のドアロック解除方法。
28. 前記第１特徴情報及び前記第２特徴情報に基づいて、前記目標対象物の生体検出結果を決定することは、
    前記第１特徴情報及び前記第２特徴情報に対して融合処理を行って、第３特徴情報を得ることと、
    前記第３特徴情報に基づいて、前記目標対象物の生体検出結果を決定することと、を含むことを特徴とする請求項２７に記載の車両のドアロック解除方法。
29. 前記第３特徴情報に基づいて、前記目標対象物の生体検出結果を決定することは、
    前記第３特徴情報に基づいて、前記目標対象物が生体である確率を得ることと、
    前記目標対象物が生体である確率に基づいて、前記目標対象物の生体検出結果を決定することと、を含むことを特徴とする請求項２８に記載の車両のドアロック解除方法。
30. 前記第１画像に基づいて顔認識を行った後、
    顔認識の失敗に応じて、パスワードによるロック解除のフローを起動するように前記車両に搭載されるパスワードロック解除モジュールをアクティブ化することをさらに含むことを特徴とする請求項１～２９のいずれか１項に記載の車両のドアロック解除方法。
31. 前記画像取得モジュールにより取得された車両所有者の顔画像に基づいて、車両所有者の登録を行うことと、
    前記車両所有者の端末装置により取得された前記車両所有者の顔画像に基づいて遠隔登録を行い、前記車両所有者の顔画像を含む登録情報を前記車両に送信することと、
    の１つ又は２つをさらに含むことを特徴とする請求項１～３０のいずれか１項に記載の車両のドアロック解除方法。
32. 車両に搭載されるブルートゥースモジュールによって所定識別子のブルートゥースデバイスを検索することと、
    前記所定識別子のブルートゥースデバイスを検索できたことに応じて、目標対象物の第１画像を取得するように前記車両に搭載される画像取得モジュールをウェイクアップして制御することと、
    前記第１画像に基づいて顔認識を行うことと、
    顔認識の成功に応じて、前記車両の少なくとも１つのドアにドアロック解除コマンド及び／又はドア開放コマンドを送信することと、を含むことを特徴とする車両のドアロック解除方法。
33. 車両に搭載されるブルートゥースモジュールによって所定識別子のブルートゥースデバイスを検索することは、
    前記車両がイグニッションオフ状態、又はイグニッションオフでかつドア施錠の状態にある場合、前記車両に搭載されるブルートゥースモジュールによって所定識別子のブルートゥースデバイスを検索することを含むことを特徴とする請求項３２に記載の車両のドアロック解除方法。
34. 前記所定識別子のブルートゥースデバイスの数は１つであることを特徴とする請求項３１又は３２に記載の車両のドアロック解除方法。
35. 前記所定識別子のブルートゥースデバイスの数は複数であり、
    前記所定識別子のブルートゥースデバイスを検索できたことに応じて、目標対象物の第１画像を取得するように前記車両に搭載される画像取得モジュールをウェイクアップして制御することは、
    所定識別子のブルートゥースデバイスのいずれか１つを検索できたことに応じて、目標対象物の第１画像を取得するように前記車両に搭載される画像取得モジュールをウェイクアップして制御することを含むことを特徴とする請求項３１又は３２に記載の車両のドアロック解除方法。
36. 目標対象物の第１画像を取得するように前記車両に搭載される画像取得モジュールをウェイクアップして制御することは、
    前記車両に搭載される顔認識モジュールをウェイクアップすることと、
    ウェイクアップされた前記顔認識モジュールによって、目標対象物の第１画像を取得するように前記画像取得モジュールを制御することと、を含むことを特徴とする請求項３２～３５のいずれか１項に記載の車両のドアロック解除方法。
37. 前記車両に搭載される顔認識モジュールをウェイクアップした後、
    予め設定された時間内に顔画像を取得できなかった場合、前記顔認識モジュールがスリープ状態になるように制御することをさらに含むことを特徴とする請求項３６に記載の車両のドアロック解除方法。
38. 前記車両に搭載される顔認識モジュールをウェイクアップした後、
    予め設定された時間内に顔認識に成功しなかった場合、前記顔認識モジュールがスリープ状態になるように制御することをさらに含むことを特徴とする請求項３６に記載の車両のドアロック解除方法。
39. 顔認識の成功に応じて、前記車両の少なくとも１つのドアにドアロック解除コマンド及び／又はドア開放コマンドを送信することは、
    顔認識の成功に応じて、前記目標対象物に解錠権限が付与されるドアを決定することと、
    前記目標対象物に解錠権限が付与されるドアに応じて、前記車両の少なくとも１つのドアにドアロック解除コマンド及び／又はドア開放コマンドを送信することと、を含むことを特徴とする請求項３２～３８のいずれか１項に記載の車両のドアロック解除方法。
40. 前記顔認識は、生体検出及び顔認証を含み、
    前記第１画像に基づいて顔認識を行うことは、
    前記画像取得モジュールの画像センサによって前記第１画像を取得し、前記第１画像及び予め登録された顔特徴に基づいて顔認証を行うことと、
    前記画像取得モジュールの深度センサによって前記第１画像に対応する第１深度マップを取得し、前記第１画像及び前記第１深度マップに基づいて生体検出を行うことと、を含むことを特徴とする請求項３２～３９のいずれか１項に記載の車両のドアロック解除方法。
41. 前記第１画像及び前記第１深度マップに基づいて生体検出を行うことは、
    前記第１画像に基づいて、前記第１深度マップを更新して第２深度マップを得ることと、
    前記第１画像及び前記第２深度マップに基づいて、前記目標対象物の生体検出結果を決定することと、を含むことを特徴とする請求項４０に記載の車両のドアロック解除方法。
42. 前記画像センサは、ＲＧＢ画像センサ又は赤外線センサを含み、
    前記深度センサは、両眼赤外線センサ又は飛行時間ＴＯＦセンサを含むことを特徴とする請求項４０又は４１に記載の車両のドアロック解除方法。
43. 前記ＴＯＦセンサは、赤外線波長域に基づくＴＯＦモジュールを用いることを特徴とする請求項４２に記載の車両のドアロック解除方法。
44. 前記第１画像に基づいて、前記第１深度マップを更新して第２深度マップを得ることは、
    前記第１画像に基づいて、前記第１深度マップにおける深度失効画素の深度値を更新して前記第２深度マップを得ることを含むことを特徴とする請求項４１～４３のいずれか１項に記載の車両のドアロック解除方法。
45. 前記第１画像に基づいて、前記第１深度マップを更新して第２深度マップを得ることは、
    前記第１画像に基づいて、前記第１画像における複数の画素の深度推定値及び前記複数の画素同士の関連度を示す関連情報を決定することと、
    前記複数の画素の深度推定値及び関連情報に基づいて、前記第１深度マップを更新して第２深度マップを得ることと、を含むことを特徴とする請求項４１～４４のいずれか１項に記載の車両のドアロック解除方法。
46. 前記複数の画素の深度推定値及び関連情報に基づいて、前記第１深度マップを更新して第２深度マップを得ることは、
    前記第１深度マップにおける深度失効画素を決定することと、
    前記複数の画素の深度推定値のうち、前記深度失効画素の深度推定値及び前記深度失効画素の複数の周辺画素の深度推定値を取得することと、
    前記複数の画素の関連情報から、前記深度失効画素と前記深度失効画素の複数の周辺画素との関連度を取得することと、
    前記深度失効画素の深度推定値、前記深度失効画素の複数の周辺画素の深度推定値、及び前記深度失効画素と前記深度失効画素の周辺画素との関連度に基づいて、前記深度失効画素の更新後の深度値を決定することと、を含むことを特徴とする請求項４５に記載の車両のドアロック解除方法。
47. 前記深度失効画素の深度推定値、前記深度失効画素の複数の周辺画素の深度推定値、及び前記深度失効画素と前記深度失効画素の複数の周辺画素との関連度に基づいて、前記深度失効画素の更新後の深度値を決定することは、
    前記深度失効画素の周辺画素の深度推定値、及び前記深度失効画素と前記深度失効画素の複数の周辺画素との関連度に基づいて、前記深度失効画素の深度関連値を決定することと、
    前記深度失効画素の深度推定値及び前記深度関連値に基づいて、前記深度失効画素の更新後の深度値を決定することと、を含むことを特徴とする請求項４６に記載の車両のドアロック解除方法。
48. 前記深度失効画素の周辺画素の深度推定値、及び前記深度失効画素と前記深度失効画素の複数の周辺画素との関連度に基づいて、前記深度失効画素の深度関連値を決定することは、
    前記深度失効画素と各周辺画素との関連度を前記各周辺画素の重みとして、前記深度失効画素の複数の周辺画素の深度推定値の加重合計を計算して、前記深度失効画素の深度関連値を得ることを含むことを特徴とする請求項４７に記載の車両のドアロック解除方法。
49. 前記第１画像に基づいて、前記第１画像における複数の画素の深度推定値を決定することは、
    前記第１画像及び前記第１深度マップに基づいて、前記第１画像における複数の画素の深度推定値を決定することを含むことを特徴とする請求項４５～４８のいずれか１項に記載の車両のドアロック解除方法。
50. 前記第１画像及び前記第１深度マップに基づいて、前記第１画像における複数の画素の深度推定値を決定することは、
    前記第１画像及び前記第１深度マップを深度推定ニューラルネットワークに入力して処理し、前記第１画像における複数の画素の深度推定値を得ることを含むことを特徴とする請求項４９に記載の車両のドアロック解除方法。
51. 前記第１画像及び前記第１深度マップに基づいて、前記第１画像における複数の画素の深度推定値を決定することは、
    前記第１画像及び前記第１深度マップに対して融合処理を行って、融合結果を得ることと、
    前記融合結果に基づいて、前記第１画像における複数の画素の深度推定値を決定することと、を含むことを特徴とする請求項４９又は５０に記載の車両のドアロック解除方法。
52. 前記第１画像に基づいて、前記第１画像における複数の画素の関連情報を決定することは、
    前記第１画像を関連度検出ニューラルネットワークに入力して処理し、前記第１画像における複数の画素の関連情報を得ることを含むことを特徴とする請求項４５～５１のいずれか１項に記載の車両のドアロック解除方法。
53. 前記第１画像に基づいて前記第１深度マップを更新することは、
    前記第１画像から前記目標対象物の画像を取得することと、
    前記目標対象物の画像に基づいて、前記第１深度マップを更新することと、を含むことを特徴とする請求項４１～５２のいずれか１項に記載の車両のドアロック解除方法。
54. 前記第１画像から前記目標対象物の画像を取得することは、
    前記第１画像における前記目標対象物のキーポイントの情報を取得することと、
    前記目標対象物のキーポイントの情報に基づいて、前記第１画像から前記目標対象物の画像を取得することと、を含むことを特徴とする請求項５３に記載の車両のドアロック解除方法。
55. 前記第１画像における前記目標対象物のキーポイントの情報を取得することは、
    前記第１画像に対して目標検出を行って、前記目標対象物の所在領域を得ることと、
    前記目標対象物の所在領域の画像に対してキーポイント検出を行って、前記第１画像における前記目標対象物のキーポイントの情報を得ることと、を含むことを特徴とする請求項５４に記載の車両のドアロック解除方法。
56. 前記第１画像に基づいて、前記第１深度マップを更新して第２深度マップを得ることは、
    前記第１深度マップから前記目標対象物の深度マップを取得することと、
    前記第１画像に基づいて、前記目標対象物の深度マップを更新して前記第２深度マップを得ることと、を含むことを特徴とする請求項４１～５５のいずれか１項に記載の車両のドアロック解除方法。
57. 前記第１画像及び前記第２深度マップに基づいて、前記目標対象物の生体検出結果を決定することは、
    前記第１画像及び前記第２深度マップを生体検出ニューラルネットワークに入力して処理し、前記目標対象物の生体検出結果を得ることを含むことを特徴とする請求項４１～５６のいずれか１項に記載の車両のドアロック解除方法。
58. 前記第１画像及び前記第２深度マップに基づいて、前記目標対象物の生体検出結果を決定することは、
    前記第１画像に対して特徴抽出処理を行って、第１特徴情報を得ることと、
    前記第２深度マップに対して特徴抽出処理を行って、第２特徴情報を得ることと、
    前記第１特徴情報及び前記第２特徴情報に基づいて、前記目標対象物の生体検出結果を決定することと、を含むことを特徴とする請求項４１～５７のいずれか１項に記載の車両のドアロック解除方法。
59. 前記第１特徴情報及び前記第２特徴情報に基づいて、前記目標対象物の生体検出結果を決定することは、
    前記第１特徴情報及び前記第２特徴情報に対して融合処理を行って、第３特徴情報を得ることと、
    前記第３特徴情報に基づいて、前記目標対象物の生体検出結果を決定することと、を含むことを特徴とする請求項５８に記載の車両のドアロック解除方法。
60. 前記第３特徴情報に基づいて、前記目標対象物の生体検出結果を決定することは、
    前記第３特徴情報に基づいて、前記目標対象物が生体である確率を得ることと、
    前記目標対象物が生体である確率に基づいて、前記目標対象物の生体検出結果を決定することと、を含むことを特徴とする請求項５９に記載の車両のドアロック解除方法。
61. 前記第１画像に基づいて顔認識を行った後、
    顔認識の失敗に応じて、パスワードによるロック解除のフローを起動するように前記車両に搭載されるパスワードロック解除モジュールをアクティブ化することをさらに含むことを特徴とする請求項３２～６０のいずれか１項に記載の車両のドアロック解除方法。
62. 前記画像取得モジュールにより取得された車両所有者の顔画像に基づいて車両所有者の登録を行うことと、
    前記車両所有者の端末装置により取得された前記車両所有者の顔画像に基づいて遠隔登録を行い、前記車両所有者の顔画像を含む登録情報を前記車両に送信することと、
    の１つ又は２つをさらに含むことを特徴とする請求項３２～６１のいずれか１項に記載の車両のドアロック解除方法。
63. 車両に搭載されるブルートゥースモジュールによって所定識別子のブルートゥースデバイスを検索するための検索モジュールと、
    前記所定識別子のブルートゥースデバイスを検索できたことに応じて、前記ブルートゥースモジュールと前記所定識別子のブルートゥースデバイスとのブルートゥースペアリング・接続を確立し、前記ブルートゥースペアリング・接続の成功に応じて、目標対象物の第１画像を取得するように前記車両に搭載される画像取得モジュールをウェイクアップして制御するか、又は、前記所定識別子のブルートゥースデバイスを検索できたことに応じて、目標対象物の第１画像を取得するように前記車両に搭載される画像取得モジュールをウェイクアップして制御するためのウェイクアップモジュールと、
    前記第１画像に基づいて顔認識を行うための顔認識モジュールと、
    顔認識の成功に応じて、前記車両の少なくとも１つのドアにドアロック解除コマンド及び／又はドア開放コマンドを送信するためのロック解除モジュールと、を備えることを特徴とする車両のドアロック解除装置。
64. 前記検索モジュールは、
    前記車両がイグニッションオフ状態、又はイグニッションオフでかつドア施錠の状態にある場合、前記車両に搭載されるブルートゥースモジュールによって所定識別子のブルートゥースデバイスを検索することに用いられることを特徴とする請求項６３に記載の車両のドアロック解除装置。
65. 前記所定識別子のブルートゥースデバイスの数は１つであることを特徴とする請求項６３又は６４に記載の車両のドアロック解除装置。
66. 前記所定識別子のブルートゥースデバイスの数は複数であり、
    前記ウェイクアップモジュールは、
    所定識別子のブルートゥースデバイスのいずれか１つを検索できたことに応じて、前記ブルートゥースモジュールと当該所定識別子のブルートゥースデバイスとのブルートゥースペアリング・接続を確立するか、又は、目標対象物の第１画像を取得するように前記車両に搭載される画像取得モジュールをウェイクアップして制御することに用いられることを特徴とする請求項６３又は６４に記載の車両のドアロック解除装置。
67. 前記ウェイクアップモジュールは、
    前記車両に搭載される顔認識モジュールをウェイクアップするためのウェイクアップサブモジュールと、
    ウェイクアップされた前記顔認識モジュールによって、目標対象物の第１画像を取得するように前記画像取得モジュールを制御するための制御サブモジュールと、を有することを特徴とする請求項６３～６６のいずれか１項に記載の車両のドアロック解除装置。
68. 予め設定された時間内に顔画像を取得できなかった場合、前記顔認識モジュールがスリープ状態になるように制御するための第１制御モジュールをさらに備えることを特徴とする請求項６７に記載の車両のドアロック解除装置。
69. 予め設定された時間内に顔認識に成功しなかった場合、前記顔認識モジュールがスリープ状態になるように制御するための第２制御モジュールをさらに備えることを特徴とする請求項６７に記載の車両のドアロック解除装置。
70. 前記ロック解除モジュールは、
    顔認識の成功に応じて、前記目標対象物に解錠権限が付与されるドアを決定することと、
    前記目標対象物に解錠権限が付与されるドアに応じて、前記車両の少なくとも１つのドアにドアロック解除コマンド及び／又はドア開放コマンドを送信することに用いられることを特徴とする請求項６３～６９のいずれか１項に記載の車両のドアロック解除装置。
71. 前記顔認識は、生体検出及び顔認証を含み、
    前記顔認識モジュールは、
    前記画像取得モジュールの画像センサによって前記第１画像を取得し、前記第１画像及び予め登録された顔特徴に基づいて顔認証を行うための顔認証モジュールと、
    前記画像取得モジュールの深度センサによって前記第１画像に対応する第１深度マップを取得し、前記第１画像及び前記第１深度マップに基づいて生体検出を行うための生体検出モジュールと、を有することを特徴とする請求項６３～７０のいずれか１項に記載の車両のドアロック解除装置。
72. 前記生体検出モジュールは、
    前記第１画像に基づいて、前記第１深度マップを更新して第２深度マップを得るための更新サブモジュールと、
    前記第１画像及び前記第２深度マップに基づいて、前記目標対象物の生体検出結果を決定するための決定サブモジュールと、を有することを特徴とする請求項７１に記載の車両のドアロック解除装置。
73. 前記画像センサは、ＲＧＢ画像センサ又は赤外線センサを含み、
    前記深度センサは、両眼赤外線センサ又は飛行時間ＴＯＦセンサを含むことを特徴とする請求項７１又は７２に記載の車両のドアロック解除装置。
74. 前記ＴＯＦセンサは、赤外線波長域に基づくＴＯＦモジュールを用いることを特徴とする請求項７３に記載の車両のドアロック解除装置。
75. 前記更新サブモジュールは、
    前記第１画像に基づいて、前記第１深度マップにおける深度失効画素の深度値を更新して前記第２深度マップを得ることに用いられることを特徴とする請求項７２～７４のいずれか１項に記載の車両のドアロック解除装置。
76. 前記更新サブモジュールは、
    前記第１画像に基づいて、前記第１画像における複数の画素の深度推定値、及び前記複数の画素同士の関連度を示す関連情報を決定することと、
    前記複数の画素の深度推定値及び関連情報に基づいて、前記第１深度マップを更新して第２深度マップを得ることに用いられることを特徴とする請求項７２～７５のいずれか１項に記載の車両のドアロック解除装置。
77. 前記更新サブモジュールは、
    前記第１深度マップにおける深度失効画素を決定することと、
    前記複数の画素の深度推定値のうち、前記深度失効画素の深度推定値及び前記深度失効画素の複数の周辺画素の深度推定値を取得することと、
    前記複数の画素の関連情報から、前記深度失効画素と前記深度失効画素の複数の周辺画素との関連度を取得することと、
    前記深度失効画素の深度推定値、前記深度失効画素の複数の周辺画素の深度推定値、及び前記深度失効画素と前記深度失効画素の周辺画素との関連度に基づいて、前記深度失効画素の更新後の深度値を決定することに用いられることを特徴とする請求項７６に記載の車両のドアロック解除装置。
78. 前記更新サブモジュールは、
    前記深度失効画素の周辺画素の深度推定値、及び前記深度失効画素と前記深度失効画素の複数の周辺画素との関連度に基づいて、前記深度失効画素の深度関連値を決定することと、
    前記深度失効画素の深度推定値及び前記深度関連値に基づいて、前記深度失効画素の更新後の深度値を決定することに用いられることを特徴とする請求項７７に記載の車両のドアロック解除装置。
79. 前記更新サブモジュールは、
    前記深度失効画素と各周辺画素との関連度を前記各周辺画素の重みとして、前記深度失効画素の複数の周辺画素の深度推定値の加重合計を計算して、前記深度失効画素の深度関連値を得ることに用いられることを特徴とする請求項７８に記載の車両のドアロック解除装置。
80. 前記更新サブモジュールは、
    前記第１画像及び前記第１深度マップに基づいて、前記第１画像における複数の画素の深度推定値を決定することに用いられることを特徴とする請求項７６～７９のいずれか１項に記載の車両のドアロック解除装置。
81. 前記更新サブモジュールは、
    前記第１画像及び前記第１深度マップを深度推定ニューラルネットワークに入力して処理し、前記第１画像における複数の画素の深度推定値を得ることに用いられることを特徴とする請求項８０に記載の車両のドアロック解除装置。
82. 前記更新サブモジュールは、
    前記第１画像及び前記第１深度マップに対して融合処理を行って、融合結果を得ることと、
    前記融合結果に基づいて、前記第１画像における複数の画素の深度推定値を決定することに用いられることを特徴とする請求項８０又は８１に記載の車両のドアロック解除装置。
83. 前記更新サブモジュールは、
    前記第１画像を関連度検出ニューラルネットワークに入力して処理し、前記第１画像における複数の画素の関連情報を得ることに用いられることを特徴とする請求項７６～８２のいずれか１項に記載の車両のドアロック解除装置。
84. 前記更新サブモジュールは、
    前記第１画像から前記目標対象物の画像を取得することと、
    前記目標対象物の画像に基づいて、前記第１深度マップを更新することに用いられることを特徴とする請求項７２～８３のいずれか１項に記載の車両のドアロック解除装置。
85. 前記更新サブモジュールは、
    前記第１画像における前記目標対象物のキーポイントの情報を取得することと、
    前記目標対象物のキーポイントの情報に基づいて、前記第１画像から前記目標対象物の画像を取得することに用いられることを特徴とする請求項８４に記載の車両のドアロック解除装置。
86. 前記更新サブモジュールは、
    前記第１画像に対して目標検出を行って、前記目標対象物の所在領域を得ることと、
    前記目標対象物の所在領域の画像に対してキーポイント検出を行って、前記第１画像における前記目標対象物のキーポイントの情報を得ることに用いられることを特徴とする請求項８５に記載の車両のドアロック解除装置。
87. 前記更新サブモジュールは、
    前記第１深度マップから前記目標対象物の深度マップを取得することと、
    前記第１画像に基づいて、前記目標対象物の深度マップを更新して前記第２深度マップを得ることに用いられることを特徴とする請求項７２～８６のいずれか１項に記載の車両のドアロック解除装置。
88. 前記決定サブモジュールは、
    前記第１画像及び前記第２深度マップを生体検出ニューラルネットワークに入力して処理し、前記目標対象物の生体検出結果を得ることに用いられることを特徴とする請求項７２～８７のいずれか１項に記載の車両のドアロック解除装置。
89. 前記決定サブモジュールは、
    前記第１画像に対して特徴抽出処理を行って、第１特徴情報を得ることと、
    前記第２深度マップに対して特徴抽出処理を行って、第２特徴情報を得ることと、
    前記第１特徴情報及び前記第２特徴情報に基づいて、前記目標対象物の生体検出結果を決定することに用いられることを特徴とする請求項７２～８８のいずれか１項に記載の車両のドアロック解除装置。
90. 前記決定サブモジュールは、
    前記第１特徴情報及び前記第２特徴情報に対して融合処理を行って、第３特徴情報を得ることと、
    前記第３特徴情報に基づいて、前記目標対象物の生体検出結果を決定することに用いられることを特徴とする請求項８９に記載の車両のドアロック解除装置。
91. 前記決定サブモジュールは、
    前記第３特徴情報に基づいて、前記目標対象物が生体である確率を得ることと、
    前記目標対象物が生体である確率に基づいて、前記目標対象物の生体検出結果を決定することに用いられることを特徴とする請求項９０に記載の車両のドアロック解除装置。
92. 顔認識の失敗に応じて、パスワードによるロック解除のフローを起動するように前記車両に搭載されるパスワードロック解除モジュールをアクティブ化するためのアクティブ化起動モジュールをさらに備えることを特徴とする請求項６３～９１のいずれか１項に記載の車両のドアロック解除装置。
93. 前記画像取得モジュールにより取得された車両所有者の顔画像に基づいて車両所有者の登録を行うことと、
    前記車両所有者の端末装置により取得された前記車両所有者の顔画像に基づいて遠隔登録を行い、前記車両所有者の顔画像を含む登録情報を前記車両に送信することと、
    の１つ又は２つに用いられる登録モジュールをさらに備えることを特徴とする請求項６３～９２のいずれか１項に記載の車両のドアロック解除装置。
94. メモリと、顔認識モジュールと、画像取得モジュールと、ブルートゥースモジュールとを備え、前記顔認識モジュールは、前記メモリ、前記画像取得モジュール及び前記ブルートゥースモジュールにそれぞれ接続され、前記ブルートゥースモジュールは、所定識別子のブルートゥースデバイスとのブルートゥースペアリング・接続に成功する場合、又は前記所定識別子のブルートゥースデバイスを検索できた場合、前記顔認識モジュールをウェイクアップするマイクロプロセッサと、前記マイクロプロセッサに接続されるブルートゥースセンサとを備え、前記顔認識モジュールには、ドアドメインコントローラに接続するための通信インタフェースがさらに設けられ、顔認識に成功すると、前記通信インタフェースを介して前記ドアドメインコントローラにドアロック解除のための制御情報を送信することを特徴とする車載顔認証ロック解除システム。
95. 前記画像取得モジュールは、画像センサ及び深度センサを含むことを特徴とする請求項９４に記載の車載顔認証ロック解除システム。
96. 前記深度センサは、２つの赤外線カメラが前記画像センサのカメラの両側に設置される両眼赤外線センサを含むことを特徴とする請求項９５に記載の車載顔認証ロック解除システム。
97. 前記画像取得モジュールは、前記両眼赤外線センサの赤外線カメラと前記画像センサのカメラとの間に設置される補光ライトであって、前記画像センサ用の補光ライトと前記深度センサ用の補光ライトの少なくとも一方を含む少なくとも１つの補光ライトをさらに含むことを特徴とする請求項９６に記載の車載顔認証ロック解除システム。
98. 前記画像取得モジュールは、前記深度センサのカメラと前記画像センサのカメラとの間に設置されるレーザーをさらに含む請求項９５に記載の車載顔認証ロック解除システム。
99. 前記顔認識モジュールに接続され、ドアロックの解除を行うためのパスワードロック解除モジュールをさらに備えることを特徴とする請求項９４～９８のいずれか１項に記載の車載顔認証ロック解除システム。
100. 前記パスワードロック解除モジュールは、タッチスクリーン及びキーボードの１つ又は２つを含むことを特徴とする請求項９９に記載の車載顔認証ロック解除システム。
101. 前記マイクロプロセッサ及び前記顔認識モジュールにそれぞれ接続される電池モジュールをさらに備えることを特徴とする請求項９４～１００のいずれか１項に記載の車載顔認証ロック解除システム。
102. 請求項９４～１０１のいずれか１項に記載の車載顔認証ロック解除システムを含み、前記車載顔認証ロック解除システムは前記車両のドアドメインコントローラに接続されることを特徴とする車両。
103. 前記画像取得モジュールは前記車両の車室外部に搭載されることを特徴とする請求項１０２に記載の車両。
104. 前記画像取得モジュールは、前記車両のＢピラー、少なくとも１つのドア、および少なくとも１つのバックミラーの少なくとも一方に搭載されることを特徴とする請求項１０３に記載の車両。
105. 前記顔認識モジュールは、前記車両内に搭載され、ＣＡＮバスを介して前記ドアドメインコントローラに接続されることを特徴とする請求項１０２～１０４のいずれか１項に記載の車両。
106. プロセッサと、
     プロセッサにより実行可能なコマンドを記憶するメモリと、を含み、
     前記プロセッサは、請求項１～６２のいずれか１項に記載の方法を実行するように構成されることを特徴とする電子機器。
107. コンピュータプログラムコマンドが記憶されているコンピュータ読み取り可能な記憶媒体であって、前記コンピュータプログラムコマンドはプロセッサにより実行されると、請求項１～６２のいずれか１項に記載の方法を実現させることを特徴とするコンピュータ読み取り可能な記憶媒体。
108. コンピュータ読み取り可能なコードを含むコンピュータプログラムであって、前記コンピュータ読み取り可能なコードは電子機器で動作すると、前記電子機器のプロセッサに請求項１～６２のいずれか１項に記載の方法を実現するためのコマンドを実行させることを特徴とするコンピュータプログラム。

Images