JP2020077412A

JP2020077412A - ウオッチの装着者を顔認証するための方法

Info

Publication number: JP2020077412A
Application number: JP2019195912A
Authority: JP
Inventors: エドアルド・フランツィ; Franzi Edoardo; アラン−セルジュ・ポレ; Porret Alain-Serge
Original assignee: Tissot SA
Current assignee: Tissot SA
Priority date: 2018-11-09
Filing date: 2019-10-29
Publication date: 2020-05-21
Also published as: KR102387492B1; US11977615B2; EP3651057B1; EP3651057A1; US20200151307A1; CN111177677A; KR20210103998A; KR20200054883A

Abstract

【課題】ウオッチの装着者を顔認証するために、実装するのが容易で、協力で堅牢な装着者の認証をすることができる方法を提供する。【解決手段】ウオッチの装着者が行う動き、ジェスチャを検出する１１で認証処理を開始し１０、光センサの前で移動する顔の画像シーケンスを取り込み１３、顔の表面幾何形状データを獲得して１７、取り込んだ画像シーケンスおよび獲得した幾何形状データから、装着者の顔の３次元モデルを生成する１８。３次元モデルに基づき検出された、ウオッチの装着者の顔に特有な複数の特徴に関係のある識別データに基づき生成された識別インデックスを決定し１９、識別インデックスが基準識別インデックスよりも大きい場合、装着者を識別する２１。【選択図】図１

Description

本発明は、ウオッチの装着者を顔認証するための方法に関する。

本発明はまた、この方法を実装するウオッチだけではなく、コンピュータプログラムにも関する。

ウオッチは、装着者が使用することができる１組の機能を備える。そのような機能は、時間および日付を調節することに加えて、装着者に特有の、個人化サービスにアクセスするのに有用な機密データまたは私的データを使用することに関係がある可能性がある。このデータは、たとえば、会社のプライベートネットワークにウオッチを安全に接続すること、銀行サーバなどの安全なサーバとの認証、署名付きおよび／または暗号化された電子メールを送信および受信するための安全なメッセージングサービスを行うことができるようにする鍵、証明書、認証コード、パスワード、および個人コードである。したがってその結果として、ウオッチのそのような機能にアクセスして安全に使用することができることは重要であることが理解される。

これを行うために、ＰＩＮタイプの秘密コードを入力することにより、ウオッチのこれらの機能にアクセスして安全に使用するように設計された認証方法が従来技術で公知である。

しかしながら、そのような認証方法は、ウオッチの装着者が秘密コードを入力するのを第三者が比較的容易に観察することができるので、完全に満足がいくというわけではない。さらに、この機構は、装着者が秘密コードを記憶する必要があり、これは、反感を覚えさせることになる可能性がある。

したがって、詳細には従来技術の欠点を有しない代替解決手段を見いだす必要があることが理解される。

したがって、本発明の１つの目的は、ウオッチの装着者を顔認証するための方法を提案することであり、さらにまた、実装するのが容易な、強力で堅牢な装着者の認証を提案する。

このために、本発明は、
−装着者が行う少なくとも１つのトリガとなる動き／ジェスチャを検出するサブステップを備える認証処理を開始するステップと、
−光センサの前で一方の方向から別の方向へ枢動する装着者の顔に関係のある少なくとも１つの画像シーケンスを取り込むステップと、
−前記少なくとも１つのシーケンスの各画像に関連する顔の表面幾何形状データを獲得するステップと、
−前記少なくとも１つの取り込んだ画像シーケンスから、および前記獲得した幾何形状データから、装着者の顔の３次元モデルを生成するステップと、
−３次元モデルに基づき検出された、ウオッチの装着者の顔に特有な複数の特徴に関係のある識別データに基づき生成された識別インデックスを決定するステップと、
−識別インデックスが基準識別インデックスよりも大きい場合、装着者を識別するステップと
を備える、装着者を顔認証するための方法に関する。

別の実施形態では、
−開始するステップは、光センサに対向して配置された装着者の顔が生物に属することを判断するサブステップを備え、
−取り込むステップは、この顔が光センサの前で一方の方向から別の方向に枢動するとき、装着者の顔を形成するすべての部分に関する複数の画像を取り込むサブステップを備え、
−獲得するサブステップは、２つの異なる露光、すなわち、１つは可視光への露光、１つは赤外光への露光をそれぞれ用いて、顔の同一部分ごとに少なくとも２つの画像を取り込む段階を備え、
−獲得するサブステップは、
・ウオッチを安定した位置に、または実質的に安定した位置に維持すること、
・前記少なくとも１つの画像シーケンスの各画像の中に装着者の顔が含まれるように、装着者の顔を光センサに対して最適な位置に維持すること
を目的とする、ウオッチの装着者を視覚的および／または音響的に誘導する段階を備え、
−獲得するステップは、取り込むステップに対して同時に、または実質的に同時に行われ、
−決定するステップは、３次元モデルから得られる識別データを、この識別データ間の対応を決定するために、基準３次元モデルに関係のある事前に記録した識別データと比較する処理を行うサブステップを備え、
−前記少なくとも１つのトリガとなる動き／ジェスチャは、ウオッチの光センサに対向して装着者の顔を位置決めする間、このウオッチを備える装着者の身体の一部分により行われる。

本発明はまた、詳細には処理ユニット、光センサ、少なくとも１つの光源、ならびに挙動および／または生理学的センサを備える、本方法を実装する詳細にはスマートなウオッチであって、前記処理ユニットは、光センサ、前記少なくとも１つの光源、ならびに挙動および／または生理学的センサに接続されるウオッチに関する。

本発明はまた、ウオッチの処理ユニットがコンピュータプログラムを実行したとき、この方法のステップを実行するためのプログラムコード命令を備える前記コンピュータプログラムに関する。

他の独自性および利点は、添付図面を参照して、情報を提供する目的で、まったく限定しない、以下に示す記述から明らかになるであろう。

本発明の一実施形態による、ウオッチの装着者を顔認証するための方法に関係がある流れ図を示す。本発明の実施形態による、本方法を実装するウオッチを示す。

図１は、ウオッチ１の装着者を顔認証するための方法を示す。この方法は、ウオッチ１の装着者の認証を、詳細には光センサ３を使用して行われる、装着者の顔の３次元モデリング／表現に基づき、確実に行うことを目的とする。

そのような方法は、ウオッチ１により、詳細にはスマートウオッチにより実装される。図２に示すそのようなウオッチ１は、網羅的ではなく、限定しない手法で、
−処理ユニット２と、
−光センサ３と、
−第１のアナログ表示構成要素、ならびに第２のデジタルおよび／または英数字の表示構成要素を具備するハイブリッド表示文字板４と、
−発光ダイオードまたはレーザダイオードのタイプからなる第１の光源５と、
−赤外線タイプの第２の光源６と、
−写真のフラッシュのように使用するように設計された第３の光源７と、
−スピーカなどの音響インタフェースと、
−通信モジュールと、
−機械式または電気式ムーブメントと、
−挙動および／または生理学的センサ８と
を備える。

ウオッチ１のこの処理ユニット２は、物理的資源およびソフトウェア資源を、詳細には記憶要素と協働する少なくとも１つのプロセッサを備える。これらの記憶要素は、装着者の顔に関係のある基準３次元モデルと、基準３次元モデルに含まれる、装着者の顔に特有な特徴に関係のある情報データと、基準識別インデックスとを備える。そのような処理ユニット２は、とりわけ、光センサ３に、表示文字板４に、第１の光源５、第２の光源６、および第３の光源７に、音響インタフェースに、通信モジュールに、ムーブメントに、ならびに環境、挙動および／または生理学的センサ８に連結／接続される。

このウオッチ１では、マトリックス画像センサと呼ばれる光センサ３は、たとえば、ＣＣＤ技術（電荷転送技術）を用いる、またはＣＭＯＳと呼ばれる技術を用いるセンサを備えることができる。そのようなセンサは、感光性像点（または画素）からなるマトリックスを備える。この場合、点からなるこのマトリックスはまた、「画素マトリックス」と呼ばれ、光に対して卓越した感度を有するＮ×Ｍ個の単位画素を備える。一代替形態では、そのようなセンサ３は、従来のフォトサイト（ｐｈｏｔｏｓｉｔｅ）の代わりに、光に対して高感度な有機フィルムを備えることができる。そのような光センサ３はまた、アナログ−デジタル変換器を備える。この光センサ３は、自動焦点機能、同じく自動の「ズーム」機能だけではなく、赤外画像を取り込む機能も実装することができることが留意される。さらに、この光センサ３は、装着者の顔などの風景を３次元で、リアルタイムで測定するために、飛行時間（ＴｉｍｅｏｆＦｌｉｇｈｔ、ＴＯＦ）の原理で動作することができ、この場合、光センサ３は、不必要な周辺光を除去するために、赤外線の帯域フィルタを備えることができる。

さらに、挙動センサ８は、たとえばウオッチ１の装着者が行う動きまたはジェスチャなどの、ウオッチ１の装着者の、すべてのタイプの挙動特性を測定することができる。これを行うために、これらの挙動センサ８は、加速度計および／またはジャイロスコープに関連する複数の軸による角速度および線加速度を検出することができる、ＭＥＭＳ技術を使用して製作された多軸センサなどの、加速度計、ジャイロスコープ、または縮小型多軸ジャイロメータのタイプからなる１つまたは複数の慣性センサを備えることができる。生理学的センサ８に関しては、生理学的センサ８は、たとえば、脈動、血液の酸素飽和度、皮膚のインピーダンス、血圧、呼吸数、呼吸性不整脈、皮膚温度、発汗量、身体の赤外放射、または血流などの、生物である装着者の機能に関係のあるパラメータを測定することができる。ウオッチ１はまた、具体的には、たとえば温度、大気圧などの環境パラメータを測定するために適合された環境センサを備えることが留意される。

そのような方法は、装着者が行う少なくとも１つのトリガとなる動き／ジェスチャを検出するサブステップ１１を備える認証処理を開始するステップ１０を備える。ウオッチ１の光センサ３に対向して装着者の顔を位置決めする間、このウオッチ１を備える装着者の身体の一部分により、この前記少なくとも１つのトリガとなる動き／ジェスチャを行う。そのようなステップ１０は、以下に説明するこのステップ１０の検出するサブステップ１１および判断するサブステップ１２を実装することにより満たされる一定条件の下で認証処理を開始することを目的とする。

検出するサブステップ１１は、ウオッチ１の装着者を、開始されようとしている認証処理の責任を装着者が実際に負うことを確かめることにより、事前に識別することができるようにする。これを行うために、装着者は、認証されることを望むとき、次いで、たとえばウオッチ１を具備する装着者の腕および／または装着者の手首の、少なくとも１つの事前に規定された動き／ジェスチャを実行する。次いで、この前記少なくとも１つの動き／ジェスチャは、処理ユニット２が行うさまざまな処理動作を、装着者が実行したこの前記少なくとも１つの動き／ジェスチャを挙動センサ８が取り込んだことにより得られる少なくとも１つの測定データに対して行った後に、処理ユニット２により識別される。これらの動作は、詳細には前記少なくとも１つの測定データと１つまたは複数の基準しきい値を比較することを伴う。

上述したように、このステップ１０はまた、光センサ３に対向して位置決めされた装着者の顔が生物に属することを判断するサブステップ１２を備える。そのようなサブステップ１２は、センサに対向して位置決めされた顔が、事実上、認証されたいと望む、ウオッチの装着者の顔であり、かつたとえば写真、ビデオ、または彫像に含まれる可能性がある、ウオッチの装着者の顔の複製ではないことを検証することを目的とする。そのようなサブステップ１２の間、処理ユニット２は、前記少なくとも１つの測定データと１つまたは複数の基準しきい値を比較することを目的として、光センサ３に対向して位置決めされた顔に対して行われた少なくとも１つの生理学的測定データに対して、さまざまな処理動作を行う。この測定は、この顔から得られる赤外放射線の放出、写真のフラッシュの役割を果たす第３の光源６に露光した後の、この顔の少なくとも片方の目の瞳孔サイズの変動、まぶたのまばたきの検出などに基づき確立することができる。

そのような判断するサブステップ１２を、検出するサブステップ１１対して同時に、または実質的に同時に実装することができることが留意される。

開始するステップ１０を行うと、次いで、方法は、光センサ３の前で一方の方向から別の方向へ枢動する装着者の顔に関係のある少なくとも１つの画像シーケンスを取り込むステップ１３を行うことを伴う。より正確には、このステップ１３は、この顔が光センサ３の前で一方の方向から別の方向に枢動するとき、装着者の顔を形成するすべての部分に関する複数の画像を獲得するサブステップ１４を備える。この場合、光センサ３の前での、装着者の顔の枢動は、顔を形成するすべての部分を取り込むような方法で行われることが理解される。このサブステップ１４は、２つの異なる露光、すなわち、１つは可視光への露光、１つは赤外光への露光をそれぞれ用いて、顔の同一部分ごとに少なくとも２つの画像を取り込む段階１５を備える。

これらの条件では、このサブステップ１４は、装着者の顔の少なくとも２つの画像シーケンスを、すなわち、可視光が表面を露光する、この顔の第１の画像シーケンス、および赤外光が表面を露光する、顔の第２の画像シーケンスを得ることができるようにする。

可視光に露光された顔を備える画像を使用することにより、これらの画像内の顔の皮膚の色または肌合いに関係のある、顔に特有な特徴を検出するが容易になるようになることが留意される。赤外光に露光された顔を備える画像を使用することは、可視光で取り込んだ顔の画像を使用するよりも照明条件に依存しないので、有利である。

そのようなサブステップ１４はまた、
−ウオッチ１を安定した位置に、または実質的に安定した位置に維持すること、および／または
−前記少なくとも１つの画像シーケンスの各画像の中に装着者の顔が含まれるように、光センサ３に対して装着者の顔を最適な位置に維持すること
を目的とする、ウオッチ１の装着者を視覚的および／または音響的に誘導する段階１６を備える。

このサブステップ１４の間、処理ユニット２は、取り込んだ各画像シーケンスの各画像の中に装着者の顔を維持することに寄与するために、光センサ３の焦点合わせおよび「ズーム」の機能を制御することができることが留意される。

方法は、次いで、前記少なくとも１つのシーケンスの各画像に関連する顔の表面幾何形状データを、装着者の顔に関係のある少なくとも１つの画像シーケンスを取り込むステップを実装する間に獲得するステップ１７を備える。このステップ１７の間、装着者の顔が光センサ３の前で一方の方向から別の方向へ枢動するとき、第１のシーケンスおよび第２のシーケンスに含まれる、獲得した画像ごとに、この幾何形状データを生成する。したがって、より正確には、装着者の顔が枢動する間、取り込まれた顔の部分の各々の３次元形状をスキャンするような方法で、第１のシーケンスおよび第２のシーケンスの各画像内に存在する、取り込まれた顔の各部分の上に、レーザタイプの構造化された光のビームを投射する。

そのような獲得するステップ１７は、取り込むステップ１３に対して同時に、または実質的に同時に行われる。このとき、第１のシーケンスおよび第２のシーケンスの画像は、画像の各々に関連する、対応する幾何形状データと共に、処理ユニット２の記憶要素内にアーカイブされる。

次いで、方法は、前記少なくとも１つの取り込んだ画像シーケンスから、および前記獲得した幾何形状データから、装着者の顔の３次元モデルを生成するステップ１８を備える。このステップ１８の間、処理ユニット２は、前記少なくとも１つの画像シーケンスおよび幾何形状データに基づき、装着者の顔の３次元モデルを構築するアルゴリズムを実装する。そのようなアルゴリズムは、ピーク、谷、または顔の上に存在する頭髪もしくは衣服もしくはアクセサリなどの望ましくない部分の存在などの、第１のシーケンスおよび第２のシーケンスの画像が含有する可能性がある不完全さを補正するために、第１のシーケンスおよび第２のシーケンスの画像を事前に処置する段階を備えることができる。したがって、この顔は、ピークを除去する、谷を埋める、および顔の有用な部分をセグメント化することにより、不完全さを補正することを伴うことができる。これを行うために、入力で各画像に２次元メディアンフィルタを適用して、雑音を除去することができる。この雑音は、画素の近傍と整合性のない画素の形をとる可能性がある。次いで、この段階は、虹彩、眉、または極めて単純に、口が開いているときなど、顔の暗い領域によりレーザまたは構造化光が吸収されることに起因する谷を埋めるために、２次元補間を適用することを伴うことができる。これらのシーケンスおよび対応する幾何形状データごとに得た画像に基づき、詳細には３次元メッシング（ｍｅｓｈｉｎｇ）の処理を実装することにより、３次元モデルを生成する。

方法は、次いで、生成した３次元モデルに基づき検出された、ウオッチ１の装着者の顔に特有な複数の特徴に関係のある識別データに基づき生成された識別インデックスを決定するステップ１９を備える。顔に特有な点とも呼ばれる、顔に特有なこれらの特徴は、顔の構造を３次元で分析することができるようにする。換言すれば、これらの特有な特徴は、高さ、幅、深さにディスパッチされた１組の特有な特徴として顔を解釈することができるようにする。そのような特有な特徴は、
−顔の幾何形状に対して、
−顔の表面の部分の幾何形状に対して、
−顔の部分の相対位置に対して、
−皮膚の、または顔のこの皮膚の領域の肌合いに対して、
−皮膚の、または顔のこの皮膚の領域の色調／色に対して、
限定しない、網羅的ではない形をとることができる。

たとえば、これらの特有な特徴は、しわ、下顎、そばかす、傷跡、唇、唇の隅、鼻、鼻の先端、耳、耳の先端、両目の間の距離、鼻の隆起部の間の距離、顎の広がりなどとすることができる。

好ましくは、識別インデックスを決定するために考慮する、顔のそのような特有な特徴は、顔を表現する間に安定したままでいる、装着者の顔の領域／ゾーンの中に含まれる。

このステップ１９の間、処理するサブステップ２０を実装し、サブステップ２０の間、３次元モデルから得られる識別データを、この識別データの間の対応を決定するために、ユニット２の記憶要素内の、事前に処理された識別データと比較する。したがって、この比較結果に従って、処理ユニット２が識別インデックスを生成する。この処理するサブステップ２０は、自身を実装するために、限定された構成可能な数の識別データを使用することを伴う。そのような数は、そのような認証方法を行う迅速性に関係のある、この方法に与えることが望ましい堅牢性に従ってパラメータ化することができる。

次いで、方法は、識別インデックスが基準識別インデックスよりも大きい場合、装着者を識別するステップ２１を備える。この基準インデックスは、生成するステップ１８の間に構築された、装着者の顔の３次元モデルの識別データと、処理ユニット２の記憶要素に事前に記憶された、装着者の顔の基準３次元モデルに関係のある識別データとの間の対応を検証することができるようにする。換言すれば、決定した識別インデックスが、基準識別インデックスよりも大きいとき、生成した３次元モデルは、装着者の顔の基準３次元モデルに対してかなりの数の類似点を有する。逆に、決定した識別インデックスが、基準識別インデックス以下であるとき、生成した３次元モデルと基準３次元モデルの間の類似点の数は、不十分であり、その結果として、装着者は識別されない。この場合、装着者に視覚的および／または音響的なメッセージをブロードキャストすることができ、装着者が識別されなかったことを装着者に通知する。

本発明はまた、ウオッチ１の処理ユニット２がコンピュータプログラムを実行したとき、この方法のステップ１０〜ステップ２１を実行するためのプログラムコード命令を備える前記コンピュータプログラムに関する。

１ウオッチ
２処理ユニット
３光センサ
４ハイブリッド表示文字板
５第１の光源
６第２の光源
７第３の光源
８挙動および／または生理学的センサ

Claims

ウオッチ（１）の装着者を顔認証するための方法であって、
−前記装着者が行う少なくとも１つのトリガとなる動き／ジェスチャを検出するサブステップ（１１）を備える前記認証処理を開始するステップ（１０）と、
−光センサ（３）の前で一方の方向から別の方向へ枢動する前記装着者の顔に関係のある少なくとも１つの画像シーケンスを取り込むステップ（１３）と、
−前記少なくとも１つのシーケンスの各画像に関連する前記顔の表面幾何形状データを獲得するステップ（１７）と、
−前記少なくとも１つの取り込んだ画像シーケンスから、および前記獲得した幾何形状データから、前記装着者の前記顔の３次元モデルを生成するステップ（１８）と、
−前記３次元モデルに基づき検出された、前記ウオッチ（１）の前記装着者の前記顔に特有な複数の特徴に関係のある識別データに基づき生成された識別インデックスを決定するステップ（１９）と、
−前記識別インデックスが基準識別インデックスよりも大きい場合、前記装着者を識別するステップ（２１）と
を備える方法。
前記開始するステップ（１０）は、前記光センサ（３）に対向して位置決めされた前記装着者の前記顔が生物に属するかどうかを判断するサブステップ（１２）を備えることを特徴とする、請求項１に記載の方法。
前記取り込むステップ（１３）は、前記装着者の前記顔が前記光センサ（３）の前で一方の方向から別の方向に枢動するとき、前記装着者の前記顔を形成するすべての部分に関する複数の画像を獲得するサブステップ（１４）を備えることを特徴とする、請求項１または請求項２に記載の方法。
前記獲得するサブステップ（１４）は、２つの異なる露光、すなわち、１つは可視光への露光、１つは赤外光への露光をそれぞれ用いて、前記顔の同一部分ごとに少なくとも２つの画像を取り込む段階（１５）を備えることを特徴とする、請求項３に記載の方法。
前記獲得するサブステップ（１４）は、
−前記ウオッチ（１）を安定した位置に、または実質的に安定した位置に維持すること、および／または
−前記少なくとも１つの画像シーケンスの各画像の中に前記装着者の前記顔が含まれるように、前記装着者の前記顔を前記光センサ（３）に対して最適な位置に維持すること
を目的とする、前記ウオッチ（１）の前記装着者を視覚的および／または音響的に誘導する段階（１６）を備えることを特徴とする、請求項３または請求項４に記載の方法。
前記獲得するステップ（１７）を前記取り込むステップ（１３）に対して同時に、または実質的に同時に行うことを特徴とする、請求項１から請求項５のいずれか一項に記載の方法。
前記決定するステップ（１９）は、処理するサブステップ（２０）を備え、前記処理するサブステップ（２０）の間、前記３次元モデルから得られる前記識別データを、前記識別データ間の対応を決定するために、基準３次元モデルに関係のある事前に記録された識別データと比較することを特徴とする、請求項１から請求項６のいずれか一項に記載の方法。
前記ウオッチ（１）の前記光センサ（３）に対向して前記装着者の前記顔を位置決めする間、前記ウオッチ（１）を備える前記装着者の身体の一部分により前記少なくとも１つのトリガとなる動き／ジェスチャを行うことを特徴とする、請求項１から請求項７のいずれか一項に記載の方法。
ウオッチ（１）、詳細にはスマートウオッチであって、処理ユニット（２）と、光センサ（３）と、少なくとも１つの光源（５、６、７）と、挙動および／または生理学的センサ（８）とを備え、前記処理ユニット（２）は、前記光センサ（３）に、前記少なくとも１つの光源（５、６、７）に、ならびに前記挙動および／または生理学的センサ（８）に接続される、請求項１から請求項８のいずれか一項に記載の方法を実装するウオッチ（１）、詳細にはスマートウオッチ。
コンピュータプログラムであって、ウオッチ（１）の処理ユニット（２）が前記コンピュータプログラムを実行するときに請求項１から請求項８のいずれか一項に記載の方法のステップ（１０〜２１）を実行するためのプログラムコード命令を備えるコンピュータプログラム。