JP2019036290A - 顔類似度評価方法および電子デバイス - Google Patents

Abstract

【課題】顔類似度評価方法および電子デバイスを提供する。【解決手段】この方法は、第１の画像を取得するステップと、前記第１の画像および少なくとも１つの第２の画像にそれぞれ対応する複数の特徴要素を取得するステップと、前記第１の画像および前記少なくとも１つの第２の画像にそれぞれ対応する前記特徴要素に基づいて、前記少なくとも１つの第２の画像に対応する全体類似度スコアを取得するステップ、および、前記少なくとも１つの第２の画像に対応する前記全体類似度スコアに基づいて評価結果を生成するステップと、前記評価結果に基づいて通知メッセージを出力するステップと、を含む。【選択図】図９

Description

本発明は、顔認識技術に関し、より詳細には、顔認識に基づく顔類似度評価方法および電子デバイスに関する。

現在の顔認識技術では、顔画像における複数の特徴点を識別することができるため、ユーザは、当該顔認識技術に基づいて自身の顔情報を知ることができる。しかしながら、現在の技術および市場の関連する製品においては、ユーザは、自身の容姿と他人または有名人の容姿との類似度を知ることはできない。従って、ユーザの容姿と他人または有名人の容姿との類似度を判定して、より実用的かつ興味深い製品を開発することは、当該分野に関連する技術者にとっての開発対象となっている。

本発明は、顔類似度評価方法および電子デバイスに関し、該評価方法および電子デバイスによれば、２つの顔画像の類似度を、２つの顔の各エリアの特徴要素を取得することによって認識することができるため、ユーザは、自身の容姿と他人または有名人の容姿との類似度を知ることができる。

本発明の一実施形態は、第１の画像を取得するステップと、第１の画像および少なくとも１つの第２の画像にそれぞれ対応する複数の特徴要素を取得するステップと、第１の画像および少なくとも１つの第２の画像にそれぞれ対応する特徴要素に基づいて、少なくとも１つの第２の画像に対応する全体類似度スコアを取得するステップ、および、少なくとも１つの第２の画像に対応する全体類似度スコアに基づいて評価結果を生成するステップと、前評価結果に基づいて通知メッセージを出力するステップと、を含む、顔類似度評価方法を提供する。

本発明の一実施形態は、記憶装置とプロセッサとを備える、電子デバイスを提供する。プロセッサは、記憶装置に接続し、該記憶装置に格納された複数のモジュールにアクセスして該モジュールを実行する。モジュールは、画像取得モジュール、特徴要素取得モジュール、比較モジュールおよび取得モジュールを含む。画像取得モジュールは、第１の画像を取得する。特徴要素取得モジュールは、第１の画像および少なくとも１つの第２の画像にそれぞれ対応する複数の特徴要素を取得する。比較モジュールは、第１の画像および少なくとも１つの第２の画像にそれぞれ対応する特徴要素に基づいて、少なくとも１つの第２の画像に対応する全体類似度スコアを取得し、少なくとも１つの第２の画像に対応する全体類似度スコアに基づいて評価結果を生成する。出力モジュールは、評価結果に基づいて通知メッセージを出力する。

本発明の効果

上記構成によれば、本発明では、２つの画像のそれぞれに対応する特徴要素に従って各特徴要素間の差異を取得し、当該各特徴要素間の差異に従って顔の各エリアに対応するエリア類似度スコアを取得して、顔画像に対応する全体類似度スコアを取得する。このようにして、ユーザは、自身の容姿と他人または有名人の容姿との類似度を知ることができる。

本発明における上述の特徴および利点並びに他の特徴および利点をより理解し易くするため、以下に、いくつかの実施形態を図面を用いて詳細に説明する。

添付の図面によれば、本発明をさらによく理解することができる。これらの図面は、本発明の一部に組み込まれてその一部を構成する。これらの図面には、本発明の実施形態が図示されており、明細書中の記載とともに本発明の原理を説明している。

本発明の一実施形態に従う電子デバイスの概略図である。 図２Ａは、本発明の一実施形態に従う顔類似度評価方法を示す概略図である。図２Ｂは、本発明の一実施形態に従う顔類似度評価方法を示す概略図である。 本発明の一実施形態に従う顔画像内のエリアを示す概略図である。 図４Ａは、本発明の一実施形態に従う眉エリアの特徴要素を示す概略図である。図４Ｂは、本発明の一実施形態に従う眉エリアの特徴要素を示す概略図である。 図５Ａは、本発明の一実施形態に従う目エリアの特徴要素を示す概略図である。図５Ｂは、本発明の一実施形態に従う目エリアの特徴要素を示す概略図である。 本発明の一実施形態に従う鼻エリアの特徴要素を示す概略図である。 本発明の一実施形態に従う唇エリアの特徴要素を示す概略図である。 本発明の一実施形態に従う顔エリアの特徴要素を示す概略図である。 本発明の他の実施形態に従う顔類似度評価方法を示す概略図である。

図１は、本発明の一実施形態に従う電子デバイスの概略図である。

図１を参照すると、本実施形態の電子デバイス１０は、プロセッサ１１０および記憶装置１２０を少なくとも含み、プロセッサ１１０が記憶装置１２０に接続している。さらに、本実施形態の電子デバイス１０は、撮像装置１３０をさらに含み、プロセッサ１１０が撮像装置１３０に接続している。本実施形態の電子デバイス１０は、化粧台のミラー上に配置することができ、ユーザがミラーを見ている間にユーザの顔画像を取り込んで分析し、ミラーの後ろに配置されたディスプレイ（不図示）を用いてフィードバック情報（例えば、顔類似度の評価結果）を提供することができる。なお、他の実施形態において、電子デバイス１０は、例えば、スマートフォン、タブレット型パソコン、デスクトップパソコンまたはポータブルミラーと組み合わされたポータブルミラーボックス等の電子製品とすることができる。

プロセッサ１１０は、中央処理装置（ＣＰＵ）、マイクロプロセッサ、デジタル信号プロセッサ、プログラマブル制御装置、特定用途向け集積回路（ＡＳＩＣ）、プログラマブル論理装置（ＰＬＤ）またはデータ演算機能を有する他のデバイスとすることができる。

記憶装置１２０は、任意の形式の固定または可動式のランダムアクセスメモリ（ＲＡＭ）、リードオンリーメモリ（ＲＯＭ）、フラッシュメモリもしくは他の類似デバイス、または、上記デバイスの組合せとすることができる。本実施形態において、記憶装置１２０は、画像取得モジュール１２１、特徴要素取得モジュール１２２、比較モジュール１２３および出力モジュール１２４を記録するために用いられる。他の実施形態において、記憶装置１２０は、データベースを格納するために用いることもでき、電子デバイス１０は、該データベースから、格納された画像および該画像に対応する特徴要素を取得することができる。これらのモジュールは、例えば、記憶装置１２０に格納されたコンピュータプログラムである。当該コンピュータプログラムは、プロセッサ１１０にロードすることができ、プロセッサ１１０は、それに応じて、本発明の顔類似度評価方法の機能を実行することができる。

撮像装置１３０は、電荷結合素子（ＣＣＤ）、相補型金属酸化膜半導体（ＣＭＯＳ）デバイスまたは他のタイプのフォトセンシング素子を備えたカメラとすることができ、ユーザの現在の顔画像を取り込むために用いることができる。顔類似度評価方法の具体的なステップについて、一実施形態を参照して以下に説明する。

図２Ａおよび図２Ｂは、本発明の一実施形態に従う顔類似度評価方法を示す概略図である。図１、図２Ａおよび図２Ｂを参照すると、本発明の顔類似度評価方法は、図１に示す電子デバイスにおいて実施することができる。顔類似度評価方法の具体的なステップについては、図１の電子デバイス１０の様々なコンポーネントを参照して以下に説明する。なお、説明を簡潔にする目的で、以下の実施形態において、第１の画像はあるユーザの顔画像を表し、第２の画像は第１の画像とは異なる顔画像を表している。

図２Ａを参照すると、ステップ２０１（Ｓ２０１）において、プロセッサ１１０は、画像取得モジュール１２１を実行して第１の画像を取得する。本実施形態では、ユーザが電子デバイス１０を使用する際、プロセッサ１１０が画像取得モジュール１２１を実行して撮像装置１３０を制御し、ユーザの顔画像を取り込んで第１の画像を生成する。しかしながら、他の実施形態において、画像取得モジュール１２１は、記憶装置１２０に格納されたデータベースまたは他の電子デバイスから、評価するユーザの顔画像を取得して、第１の画像を提供することもできる。

つぎに、ステップ２０３（Ｓ２０３）において、プロセッサ１１０は、特徴要素取得モジュール１２２を実行して、第１の画像に対して分析オペレーションを実行し、第１の画像に対応する第１の特徴要素を取得する。本実施形態において、特徴要素取得モジュール１２２により実行される分析オペレーションは、第１の画像の複数の特徴点に基づいて該第１の画像に対応する第１の特徴要素を計算する、サブステップを含む。しかしながら、他の実施形態において、特徴要素取得モジュール１２２は、記憶装置１３０に格納されたデータベースまたは他の電子デバイスから、予め格納された、第１の画像に対応する第１の特徴要素を直接得ることもできる。

さらに、ステップ２０５（Ｓ２０５）において、プロセッサ１１０は、特徴要素取得モジュール１２２を実行して、複数の第２の画像のそれぞれに対応する第２の特徴要素を取得する。本実施形態において、特徴要素取得モジュール１２２は、第２の画像のそれぞれに対応する第２の特徴要素を、記憶装置１３０に格納されたデータベースから取得することができる。第２の画像のそれぞれに対応する第２の特徴要素は、図２Ｂに示すステップに従って、データベースに予め記録しておくことができる。図２Ｂを参照すると、ステップ２２１（Ｓ２２１）において、プロセッサ１１０は、画像取得モジュール１２１を実行して第２の画像を取得する。つぎに、ステップ２２３（Ｓ２２３）において、プロセッサ１１０は、特徴要素取得モジュール１２２を実行して、第２の画像に対して分析オペレーションを実行し、第２の画像に対応する第２の特徴要素を取得する。つぎに、ステップ２２５（Ｓ２２５）において、プロセッサ１１０は、第２の画像に対応する第２の特徴要素をデータベースに記録する。データベースは、記憶装置１３０に格納することができる。このように、電子デバイス１０は、後に顔類似度評価を行うユーザのために、複数の第２の画像および第２の画像のそれぞれに対応する第２の特徴要素を予め格納しておくことができる。

本実施形態において、顔画像（例えば、第１の画像および第２の画像）は、複数のエリアを含むことができる。具体的には、プロセッサ１１０は、Ｄｌｉｂデータベース（Ｄｌｉｂの顔ランドマーク）を用いて顔検出システムを実行することができ、これによれば顔画像内の１９４の特徴点を検出および分析することができる。他の実施形態では、１１９のみの特徴点を分析することや、顔の特徴点を検出するための他のアルゴリズムを用いることによって、第１の画像内の特徴点を取得することができる。このように、顔画像の複数のエリアは、取得された特徴点に基づいて特定することができる。また、プロセッサ１１０は、座標系をさらに定義することができ、各特徴点に座標、例えば、（ｘ，ｙ）を割り当てることができる。以下の実施形態において、水平線はｘ軸に平行な直線であり、垂直線はｙ軸に平行な直線である。また、特徴要素取得モジュール１２２は、顔画像に対して分析オペレーションを実行して、各エリアの特徴点に従って各エリアの特徴要素を取得することができる。代替的に、特徴要素取得モジュール１２２は、特定の顔画像内の各エリアに対応する特徴要素を、データベースから直接取得することもできる。以下に、実施形態を例示して各エリアの特徴要素について説明する。

図３は、本発明の一実施形態に従う顔画像内のエリアを示す概略図である。説明を簡潔にする目的で、以下の実施形態では、特徴要素取得モジュール１２２が第１の画像において分析オペレーションを実行し該第１の画像の特徴要素を取得する、という状況を一例に挙げて説明する。しかしながら、本発明はそれに限定されず、特徴要素取得モジュール１２２は、他の特徴要素を取得するために、第２の画像のそれぞれにおいて分析オペレーションを実行することもできる。

図３を参照すると、第１の画像３００の複数のエリアは、眉エリア４００、目エリア５００、鼻エリア６００および唇エリア７００を含むことができる。一実施形態において、第１の画像３００は、顔全体に対応する顔エリア８００をさらに含むことができる。しかしながら、本発明は、上述のエリアに限定されず、他の実施形態では、アプリケーションの要件に従って他のエリアを定義することができる。さらに、本実施形態では、片方の眉を眉エリア４００とし、片方の目を目エリア５００としているが、実際の実施においては、両方の眉を眉エリア４００とし、両方の目を目エリア５００としてもよい。特徴要素取得モジュール１２２は、第１の画像３００に対して分析オペレーションを実行し、各エリアに属する複数の特徴点に従って、各エリアにおける１つまたは複数の特徴要素を取得することができる。

図４Ａおよび図４Ｂは、本発明の一実施形態に従う眉エリアの特徴要素を示す概略図である。以下の実施形態において、各エンドポイントは、顔検出システムによって検出された特徴点、または、各部分の特徴点に従い特徴要素取得モジュール１２２によって追加定義された特徴点をいう。

図４Ａを参照すると、特徴要素取得モジュール１２２は、第１の画像３００における、顔の幅Ｆｗおよび顔の高さＦｈを取得する。具体的には、特徴要素取得モジュール１２２は、目の下端に引いた水平線における頬の両側縁間の距離を、顔の幅Ｆｗとする。さらに、特徴要素取得モジュール１２２は、眉尻を表すエンドポイント４２０を通る水平線Ｌ１と、口角を表すエンドポイント３１０ａを通る水平線Ｌ２と、の間の垂直距離を、顔の高さＦｈとする。しかしながら、一般の顔画像は、２つの眉尻および２つの口角を含んでいるため、他の実施形態では、眉尻を表すエンドポイントは、２つの眉尻のいずれのエンドポイントとすることができ、同様に、口角を表すエンドポイントは、２つの口角のいずれのエンドポイントとすることができる。

一実施形態において、顔の高さＦｈの計算に用いられる水平線Ｌ１は、２つの眉尻の２つのエンドポイントの平均高さに位置させることができ、水平線Ｌ２は、例えば、２つの口角のエンドポイント３１０ａおよびエンドポイント３１０ｂの平均高さに位置させることができ、水平線Ｌ１と水平線Ｌ２との間の垂直距離を、顔の高さＦｈとする。

図４Ｂを参照すると、特徴要素取得モジュール１２２は、眉幅ＥＢｗおよび眉高さＥＢｈを取得する。具体的には、特徴要素取得モジュール１２２は、眉頭を表すエンドポイント４１０を通る垂直線Ｌ４１と、眉尻を表すエンドポイント４２０を通る垂直線Ｌ４２と、の間の距離を、眉幅ＥＢｗとする。特徴要素取得モジュール１２２は、さらに、エンドポイント４３０とエンドポイント４４０との間の垂直距離を、眉高さＥＢｈとする。一実施形態において、エンドポイント４３０およびエンドポイント４４０をともに通る直線は、垂直線Ｌ４１および垂直線Ｌ４２と平行な垂直線とすることができる。さらに、エンドポイント４３０と垂直線Ｌ４１との間の水平距離は、エンドポイント４３０と垂直線Ｌ４２との間の水平距離と同一にすることができる。

また、特徴要素取得モジュール１２２は、さらに眉角度を取得することができる。眉角度は、基準線Ｌ４３と水平線Ｌ４４との間の挟角θ１とすることができる。基準線Ｌ４３は、エンドポイント４１０およびエンドポイント４２０をともに通る直線とし、水平線Ｌ４４は、エンドポイント４１０を通る水平線とする。本実施形態において、眉角度は片方の眉の特徴点に従って得られるが、眉角度は片方の眉の特徴点に従って得ることもできる。例えば、特徴要素取得モジュール１２２は、上述の方法に従って第１の画像３００における両方の眉のそれぞれの眉角度を取得して、得られたそれぞれの眉角度の平均を、第１の画像３００における眉角度とすることができる。

つぎに、特徴要素取得モジュール１２２は、顔の幅Ｆｗ、顔の高さＦｈ、眉幅ＥＢｗ、眉高さＥＢｈおよび眉角度（例えば、挟角θ１）に従って、眉エリア４００に対応する複数の特徴要素を取得することができる。例えば、特徴要素取得モジュール１２２は、眉幅ＥＢｗと眉高さＥＢｈとの比、眉角度の正接値、眉幅ＥＢｗと顔の幅Ｆｗの半幅との比、眉高さＥＢｈと顔の高さＦｈとの比等の複数の値を計算することができ、該計算結果は、眉エリア４００に対応する特徴要素として役立てられる。

図５Ａおよび図５Ｂは、本発明の一実施形態に従う目エリアの特徴要素を示す概略図である。

図５Ａを参照すると、特徴要素取得モジュール１２２は、第１の画像３００における両目間の距離Ｅｄ、目の幅Ｅｗおよび目の高さＥｈを取得する。具体的には、特徴要素取得モジュール１２２は、一方の目の目頭を表すエンドポイント５１０ａと、他方の目の目頭を表すエンドポイント５１０ｂと、の間の距離を、両目間の距離Ｅｄとする。特徴要素取得モジュール１２２は、目の目頭を表す５１０ａと、目の目尻を示すエンドポイント５２０を通る垂直線Ｌ５１と、の間の水平距離を、目の幅Ｅｗとする。特徴エリア取得モジュール１２２は、エンドポイント５３０を通る水平線Ｌ５２と、エンドポイント５４０を通る水平線Ｌ５３と、の間の垂直距離を、目の高さＥｈとする。一実施形態において、エンドポイント５３０は、目の上端の最高点とすることができ、エンドポイント５４０は、目の下端の最低点とすることができる。しかしながら、一般的な顔画像は２つの目を含むので、他の実施形態において、特徴要素取得モジュール１２２は、２つの目のうち任意の１つにおける特徴点に従って、第１の画像３００における目の幅Ｅｗおよび目の高さＥｈを取得することができる。

同様に、一実施形態において、目の高さＥｈの計算に用いられる水平線Ｌ５２は、２つの目における上端の最高点の平均高さに位置していてもよく、また、水平線Ｌ５３は、２つの目における下端の最低点の平均高さに位置していてもよい。水平線Ｌ５２と水平線Ｌ５３との間の垂直距離を、目の高さＥｈとする。

つぎに、特徴要素取得モジュール１２２は、顔の幅Ｆｗ、顔の高さＦｈ、目の幅Ｅｗ、目の高さＥｈおよび両目間の距離Ｅｄに従って、目エリア５００に対応する複数の特徴要素を取得する。例えば、特徴要素取得モジュール１２２は、目の幅Ｅｗと目の高さＥｈとの比、目の幅Ｅｗと顔の幅Ｆｗの半幅との比、目の高さＥｈと顔の高さＦｈとの比、両目間の距離Ｅｄと顔の幅Ｆｗとの比等の複数の値を計算することができ、該計算結果は、目エリア５００に対応する特徴要素として役立てられる。

図６は、本発明の一実施形態に従う鼻エリアの特徴要素を示す概略図である。

図６を参照すると、特徴要素取得モジュール１２２は、第１の画像３００における鼻の幅Ｎｗおよび鼻の高さＮｈを取得することができる。具体的には、特徴要素取得モジュール１２２は、エンドポイント６１０ａとエンドポイント６１０ｂとの間の距離を、鼻の幅Ｎｗとしてとる。エンドポイント６１０ａは、鼻の最右側端に位置する点であり、エンドポイント６１０ｂは、鼻の最左側端に位置する点である。さらに、特徴要素取得モジュール１２２は、鼻梁を表すエンドポイント６２０と、鼻の下部に位置する鼻腔を表すエンドポイントと、の間の距離を、鼻の高さＮｈとする。一実施形態において、特徴要素取得モジュール１２２は、図５Ａに示す目の目頭を表す２つのエンドポイント５１０ａおよび５１０ｂの中間を、上述のエンドポイント６２０とすることができる。

さらに、特徴要素取得モジュール１２２は、鼻角度を取得することができる。鼻角度とは、基準線Ｌ６１と水平線Ｌ６２との間の挟角θ２をいう。基準線Ｌ６１とは、エンドポイント６３０およびエンドポイント６１０ａをともに通る直線をいい、水平線Ｌ６２とは、エンドポイント６３０を通る水平線をいう。しかしながら、一実施形態において、特徴要素取得モジュール１２２は、水平線Ｌ６２と、エンドポイント６３０およびエンドポイント６１０ｂをともに通る直線と、の間の挟角θ２´を取得して、挟角θ２および挟角θ２´の平均を、鼻角度とすることもできる。

つぎに、特徴要素取得モジュール１２２は、顔の幅Ｆｗ、顔の高さＦｈ、鼻の幅Ｎｗ、鼻の高さＮｈおよび鼻角度（例えば、挟角θ２）に従って、鼻エリア６００の対応する複数の特徴要素を取得することができる。例えば、特徴要素取得モジュール１２２は、鼻の幅Ｎｗと鼻の高さＮｈとの比、鼻の高さＮｈと顔の高さＦｈとの比、鼻の幅Ｎｗと顔の幅Ｆｗとの比、鼻角度の正接値等の複数の値を計算することができ、該計算結果は、鼻エリア６００に対応する特徴要素として役立てられる。

図７は、本発明の一実施形態に従う唇エリアの特徴要素を示す概略図である。

図７を参照すると、特徴要素取得モジュール１２２は、第１の画像３００における唇の幅Ｌｗおよび唇の高さＬｈを取得することができる。具体的には、特徴要素取得モジュール１２２は、一方の口角を表すエンドポイント３１０ａと他方の口角を表すエンドポイント３１０ｂとの間の距離を、唇の幅Ｌｗとする。さらに、特徴要素取得モジュール１２２は、上唇の高さＴＬｈおよび下唇の高さＢＬｈを取得し、上唇の高さＴＬｈと下唇の高さＢＬｈの合計を、唇の高さＬｈとする。上唇の高さＴＬｈは、上唇の中央の高さとすることができる。一実施形態において、特徴要素取得モジュール１２２は、エンドポイント３１０ａおよびエンドポイント３１０ｂに従って唇の中央位置を通る垂直線を特定することができ、唇の中央位置を通る該垂直線上に、エンドポイント７１０、エンドポイント７２０およびエンドポイント７３０を特定することができる。特徴要素取得モジュール１２２は、エンドポイント７１０とエンドポイント７２０との間の距離を、上唇の高さＴＬｈとし、エンドポイント７２０とエンドポイント７３０との間の距離を、下唇の高さＢＬｈとする。エンドポイント７１０は、唇の中央位置を通る垂直線上の、上唇の上端に位置するエンドポイントとすることができ、エンドポイント７２０は、唇の中央位置を通る垂直線上の、上唇と下唇との境界に位置するエンドポイントとすることができ、エンドポイント７３０は、唇の中央位置を通る垂直線の、下唇の下端に位置するエンドポイントとすることができる。

さらに、特徴要素取得モジュール１２２は、唇角度を取得することができる。唇角度とは、基準線Ｌ７１と水平線Ｌ７２との間の挟角θ３をいう。基準線Ｌ７１は、エンドポイント７１０および唇のリップピークを表すエンドポイント７４０ａをともに通る直線をいい、水平線Ｌ７２は、エンドポイント７１０を通る水平線をいう。しかしながら、一実施形態において、特徴要素取得モジュール１２２は、水平線Ｌ７２と、エンドポイント７１０および唇のリップピークを表すエンドポイント７４０ｂをともに通る直線Ｌ７３と、の間の挟角θ３´を取得して、挟角θ３と挟角θ３´の平均を、唇角度とすることもできる。

つぎに、特徴要素取得モジュール１２２は、顔の幅Ｆｗ、唇の幅Ｌｗ、唇の高さＬｈ、上唇の高さＴＬｈ、下唇の高さＢＬｈおよび唇角度（例えば、挟角θ３）に従って、唇エリア７００に対応する複数の特徴要素を取得する。例えば、特徴要素取得モジュール１２２は、唇の幅Ｆｗと唇の高さＬｈとの比、唇の幅Ｌｗと顔の幅Ｆｗとの比、上唇の高さＴＬｈと下唇の高さＢＬｈとの比、唇角度の正接値等の複数の値を計算することができ、該計算結果は、唇エリア７００に対応する特徴要素として役立てられる。

図８は、本発明の一実施形態に従う顔エリアの特徴要素を示す概略図である。

図８を参照すると、特徴要素取得モジュール１２２は、第１の画像３００における額の幅ＦＨｗおよび額の高さＦＨｈを取得することができる。具体的には、特徴要素取得モジュール１２２は、眉の稜線を表すエンドポイント８３０ａを通る水平線Ｌ８１と、髪の生え際を通る水平線Ｌ８２と、の間の距離を、額の高さＦＨｈとする。一実施形態において、水平線Ｌ８１は、眉の稜線を表すエンドポイント８３０ｂを通る直線とすることもできる。さらに、特徴要素取得モジュール１２２は、水平線L８１と平行であり、かつ水平線L８２との間の垂直距離が額の高さＦＨｈの１／３である、他の水平線Ｌ８３を特定することができる。特徴要素取得モジュール１２２は、額の両側の髪の生え際間における水平線Ｌ８３の長さを、額の幅ＦＨｗとすることができる。

また、特徴要素取得モジュール１２２は、顎の幅Ｊｗおよび顎の高さＪｈをさらに取得することができる。具体的には、特徴要素取得モジュール１２２は、エンドポイント８１０ａとエンドポイント８１０ｂとの間の距離を、顎の幅Ｊｗとする。エンドポイント８１０ａおよびエンドポイント８１０ｂは、下唇の下側端を通る水平線Ｌ８４と、頬の両側との交点上にあるエンドポイントをいう。特徴要素取得モジュール１２２は、水平線Ｌ８４と顎の下側端との間の垂直距離を、顎の高さＪｈとする。

また、特徴要素取得モジュール１２２は、顎角度をさらに取得することができる。具体的には、特徴要素取得モジュール１２２は、水平線Ｌ８４と、エンドポイント８１０ａおよびエンドポイント８２０ａをともに通る基準線Ｌ８５と、の間の挟角θ４を顎角度とする。しかしながら、一実施形態において、特徴要素取得モジュール１２２は、水平線Ｌ８４と、エンドポイント８１０ｂおよびエンドポイント８２０ｂの両方を通る基準線Ｌ８６と、の間の挟角θ４´を取得し、角度θ４および角度θ４´の平均を顎角度とすることもできる。

つぎに、特徴要素取得モジュール１２２は、顔の幅Ｆｗ、顔の高さＦｈ、額の幅ＦＨｗ、額の高さＦＨｈ、顎の幅Ｊｗ、顎の高さＪｈおよび顎角度（例えば、挟角θ４）に従って、顔エリア８００に対応する複数の特徴要素を取得する。例えば、特徴要素取得モジュール１２２は、顔の高さＦｈ、額の高さＦＨｈおよび顎の高さＪｈの合計値を算出し、顔輪郭の高さを取得する。さらに、特徴要素取得モジュール１２２は、顔の幅Ｆｗと顔輪郭の高さとの比、額の幅ＦHｗと顔の幅Ｆｗとの比、額の高さＦＨｈと顔の高さＦｈとの比、顎の幅Ｊｗと顔の幅Ｆｗとの比、顎の高さJｈと顔の高さＦｈとの比、顎角度の正接値等の複数の値を計算することができ、該計算結果は、顔エリア８００に対応する特徴要素として役立てられる。

さらに、第２の画像における特徴要素もまた、図３から図８の実施形態において述べた方法によって取得することができるが、具体的な説明は繰り返しになるので省略する。すなわち、第１の画像における（第１の特徴要素とも称される）特徴要素、および、第２の画像における（第２の特徴要素とも称される）特徴要素は、同様の定義に基づいて取得することができる。

再び図２Ａを参照して、ステップ２０５を実行した後、ステップ２０７（Ｓ２０７）において、プロセッサ１１０は比較モジュール１２３を実行し、第１の特徴要素および第２の特徴要素に従って、第１の画像および第２の画像のそれぞれに比較オペレーションを実行し、第２の画像のそれぞれに対応するエリア類似度スコアおよび全体類似度スコアを取得し、評価結果を生成する。上記のステップでは、比較モジュール１２３は、第１の画像における第１の特徴要素を、第２の画像のそれぞれにおける大２の特徴要素と比較し、比較結果に応じて、第２の画像のそれぞれに対応するエリア類似度スコアおよび全体類似度スコアとを生成する。

具体的には、比較モジュール１２３は、第１の画像および第２の画像における特徴要素の各セットの特徴差パラメータＳｉｍ（ｆ，ｉ）を、下記式（１）に従って取得する。特徴要素の各セットは、同一の定義に基づいて取得された１つの第１の特徴要素および１つの第２の特徴要素を含む。

上記式（１）において、ｕｓｅｒ（ｆ）は、第１の画像における１つの第１の特徴要素をいい、ｃｅｌｅｂ_ｉ（ｆ）は、第２の画像のそれぞれにおける１つの第２の特徴要素をいう。すなわち、比較モジュール１２３は、特徴要素の各セットに対応する特徴差パラメータを計算することができる。

つぎに、比較モジュール１２３は、第２の画像のそれぞれにおける各エリアに対応した、エリア類似度スコアＡｒｅａＳｉｍ（ｉ）を取得する。

上記式（２）において、ｗ_ｆは、特徴差パラメータのそれぞれに対応する重量値を表す。具体的には、顔画像の各エリアに属する特徴差パラメータｓｉｍ（ｆ，ｉ）のそれぞれは、対応する重量値を有することができ、各エリアの特徴差パラメータｓｉｍ（ｆ，ｉ）のすべての重量値の合計（例えば、式（２）におけるΣ_{ｆ∈ＡｒｅａＦａｃｔｏｒ}ｗ_ｆ）は、所定値を遵守している。各重量値および対応する重量値の合計の所定値は、実際のアプリケーションに従って調整することができる。式（２）に従えば、比較モジュール１２３は、各エリアにおける各特徴差パラメータｓｉｍ（ｆ，ｉ）と対応する重量値ｗ_ｆとの積を取得し、当該積の合計Σ_{ｆ∈ＡｒｅａＦａｃｔｏｒ}ｗ_ｆ×Ｓｉｍ（ｆ，ｉ）を取得し、当該積の合計Σ_{ｆ∈ＡｒｅａＦａｃｔｏｒ}ｗ_ｆ×Ｓｉｍ（ｆ，ｉ）と重量合計Σ_{ｆ∈ＡｒｅａＦａｃｔｏｒ}ｗ_ｆとの比率を計算して、エリア類似度スコアＡｒｅａＳｉｍ（ｉ）を取得する。エリア類似度スコアは、２つの画像における、あるエリアの類似度合いを表すことができる。

つぎに、比較モジュール１２３は、下記式（３）に従って、第２の画像のそれぞれに対応する全体類似度スコアＳｉｍｉｌａｒｉｔｙ（Ｃｅｌｅｂ_ｉ）を取得する。

式（３）によれば、比較モジュール１２３は、すべてのエリアに対応するエリア類似度スコアの合計ΣＡｒｅａＳｉｍ（ｉ）を取得し、エリア類似度スコアの合計ΣＡｒｅａＳｉｍ（ｉ）をすべてのエリアの数Ｎ（Ａｒｅａ）で除することにより、第２の画像のそれぞれに対応する全体類似度スコアｓｉｍｉｌａｒｉｔｙ（Ｃｅｌｅｂ_ｉ）を取得する。換言すれば、比較モジュール１２３は、第２の画像のそれぞれに対応するすべてのエリア類似度スコアの平均値を取得することができ、該平均値は、第２の画像のそれぞれに対応する全体類似度スコアとして機能する。全体類似度スコアは、２つの画像の顔全体の類似度合いを表すことができる。

第２の画像のそれぞれに対応するエリア類似度スコアおよび全体類似度スコアを上記式（１）、（２）および（３）により取得した後、比較モジュール１２３は、第２の画像のそれぞれに対応する全体類似度スコアに従って、第１の画像に最も類似する第２の画像を評価結果として決定する。本実施形態では、１つの第１の画像における各エリアが、１つの最もスコアが高いエリア類似度スコアに対応し、１つの第１の画像が、１つの最もスコアが高い全体類似度スコアに対応することができる。

目エリア５００を例にして、下記の表１では、第１の画像が現在のユーザの画像を表し、第２の画像が有名人の一画像を表していると想定する。「目 Ｗ／Ｈ」、「目−顔 Ｗ」、「目−顔 Ｈ」および「両目間距離」は、目の幅Ｅｗと目の高さＥｈとの比、目の幅Ｅｗと顔の幅Ｆｗの半幅との比、目の高さＥｈと顔の高さＦｈとの比、および、両目間の距離Ｅｄと顔幅Ｆｗとの比を含む、目エリア５００に対応する４つの特徴要素のそれぞれを表している。

下記の表１に示すように、比較モジュール１２３により上記式（１）に従って計算された、第１の画像および第２の画像（ａ）間の目エリアに対応する４つの特徴要素の特徴差パラメータＳｉｍ（ｆ，ｉ）はそれぞれ、０．７、０．９３、０．８９および０．９６である。つぎに、比較モジュール１２３により上記式（２）に従って取得された、第２の画像（ａ）の目エリアに対応する類似度スコアは、８５％である。

同様に、比較モジュール１２３は、さらに第１の画像を他の第２の画像と比較して、当該他の第２の画像に対応するエリア類似度スコアを取得する。例えば、比較モジュール１２３は、別の第２の画像（ｂ）の目エリアに関して９３％のエリア類似度スコアを取得し、また、他の第２の画像（ｃ）の目エリアに関して８９％のエリア類似度スコアを取得する。従って、目エリアに関し、比較モジュール１２３は、第２の画像（ｂ）が、最高値のエリア類似度スコアに対応すると決定し、第１の画像における目エリアが当該第２の画像（ｂ）の目エリアと最も類似していることを示す評価結果を生成する。一実施形態において、評価結果は、最高値のエリア類似度スコアに対応する第２の画像（ｂ）の情報を含むことができる。

目エリアのほかに、比較モジュール１２３は、上述の方法に従って他のエリアに対応する最高値のエリア類似度スコアをそれぞれ決定し、対応する評価結果を生成することができる。さらに、比較モジュール１２３は、式（３）に従って、第２の画像のそれぞれに対応する全体類似度スコアを計算し、最高値の全体類似度スコアを決定して、第１の画像が該最高値の全体類似度スコアを有する第２の画像に最も類似していることを表す評価結果を生成することができる。一実施形態において、評価結果は、最高値の全体類似度スコアに対応する第２の画像の情報を含むことができる。

図２Ａを参照すると、評価結果を生成するべくステップ２０７を実行した後に、ステップ２０９（Ｓ２０９）において、プロセッサ１１０は、出力モジュール１２４を実行して評価結果に従い通知メッセージを出力する。例えば、評価結果は、最高値の全体類似度スコアに対応する第２の画像の情報を含むため、出力モジュール１２４は、該評価結果に従い、最高値の類似度スコアに対応する第２の画像の関連メッセージを出力することができる。しかしながら、他の実施形態において、評価結果はさらに、最高値のエリア類似度スコアに対応する第２の画像の情報を含むことができる。従って、出力モジュール１２４は、該評価結果に従い、最高値のエリア類似度スコアに対応する第２の画像の関連メッセージを、顔の各領域に言及して出力することができる。例えば、第２の画像は、有名人の顔画像であり、通知メッセージは、最高値の全体類似度スコアに対応する有名人の、該最高値の全体類似度スコア、画像および名前を含むことができる。さらに、通知メッセージは、最高値のエリア類似度スコアのそれぞれに対応する有名人の、各エリアに対応する該最高値の領域類似度スコア、画像および名前を含むことができる。

図９は、本発明の他の実施形態に従う、顔類似度評価方法の概略図である。

図９を参照すると、まず、ステップ９０１（Ｓ９０１）において、プロセッサ１１０は、画像取得モジュール１２１を実行して、第１の画像を取得する。つぎに、ステップ９０３（Ｓ９０３）において、プロセッサ１１０は、特徴要素取得モジュール１２２を実行して、第１の画像および少なくとも１つの第２の画像のそれぞれに対応する複数の特徴要素を取得する。つぎに、ステップ９０５（Ｓ９０５）において、プロセッサ１１０は、比較モジュール１２３を実行して、第１の画像および少なくとも１つの第２の画像のそれぞれに対応する特徴要素に基づいて、少なくとも１つの第２の画像に対応する全体類似度スコアを取得し、少なくとも１つの第２の画像に対応する全体類似度スコアに基づいて評価結果を生成する。最後に、ステップ９０７（Ｓ９０７）において、プロセッサ１１０は、出力モジュール１２４を実行して、評価結果に基づいて通知メッセージを出力する。図９に示す種々のステップの具体例については上述の実施形態に記載したので、ここでは記載を繰り返さない。

要するに、本発明では、各顔画像における特徴点に基づいて、各顔画像に対応する特徴要素を取得し、２つの画像のそれぞれに対応する特徴要素に従って、各特徴要素間における差異を取得し、各特徴要素間における差異に従って、顔の各エリアに対応するエリア類似度スコアを取得することにより、顔画像に対応する全体類似度スコアを取得する。このようにして、ユーザは、自身の容姿と他人または有名人の容姿との類似度を知ることができる。

本発明の趣旨および精神から逸脱しない範囲で本発明の構成に種々の変更を行うことが可能であることは、当業者にとって言うまでもない。上記に鑑み、本発明は、添付の特許請求の範囲およびその等価物の範囲に含まれる限り、本発明の改変および変更を包含することが意図される。

本発明は、顔認識技術、特には、顔認識および電子デバイスに基づく顔類似度評価方法に関する。

１０：電子デバイス
１１０：プロセッサ
１２０：記憶装置
１２１：画像取得モジュール
１２２：特徴要素取得モジュール
１２３：比較モジュール
１２４：出力モジュール
１３０：撮像装置
３１０ａ，３１０ｂ，４１０，４２０，４３０，４４０，５１０ａ，５１０ｂ，５２０，５３０，５４０，６１０ａ，６１０ｂ，６２０，６３０，７１０，７２０，７３０，７４０ａ，７４０ｂ，８１０ａ，８１０ｂ，８２０ａ，８２０ｂ，８３０ａ，８３０ｂ：エンドポイント
４００：眉エリア
５００：目エリア
６００：鼻エリア
７００：唇エリア
８００：顔エリア
ＢＬｈ：下唇の高さ
Ｅｂｈ：眉の高さ
Ｅｂｗ：眉の幅
Ｅｄ：両目間距離
Ｅｈ：目の高さ
Ｅｗ：目の幅
Ｆｈ：顔の高さ
ＦＨｈ：額の高さ
ＦＨｗ：額の幅
Ｆｗ：顔の幅
Ｊｈ：顎の高さ
Ｊｗ：顎の幅
Ｌ１，Ｌ２，Ｌ４４，Ｌ５２，Ｌ５３，Ｌ６２，Ｌ７２，Ｌ８１，Ｌ８２，Ｌ８３，Ｌ８４：水平線
Ｌ４１，Ｌ４２，Ｌ５１：垂直線
Ｌ４３，Ｌ６１，Ｌ６３，Ｌ７１，Ｌ８５，Ｌ８６：基準線
Ｌ７３：直線
Ｌｈ：唇の高さ
Ｌｗ：唇の幅
Ｎｈ：鼻の高さ
Ｎｗ：鼻の幅
Ｓ２０１，Ｓ２０３，Ｓ２０５，Ｓ２０７，Ｓ２２１，Ｓ２２３，Ｓ２２５，Ｓ９０１，Ｓ９０３，Ｓ９０５，Ｓ９０７：ステップ
ＴＬｈ：上唇の高さ
θ１，θ２，θ２´，θ３，θ３´，θ４，θ４´：角度（挟角）

Claims (18)

1. 顔類似度評価方法であって、
   第１の画像を取得するステップと、
   前記第１の画像および少なくとも１つの第２の画像にそれぞれ対応する複数の特徴要素を取得するステップと、
   前記第１の画像および前記少なくとも１つの第２の画像にそれぞれ対応する前記特徴要素に基づいて、前記少なくとも１つの第２の画像に対応する全体類似度スコアを取得するステップ、および、前記少なくとも１つの第２の画像に対応する前記全体類似度スコアに基づいて評価結果を生成するステップと、
   前記評価結果に基づいて通知メッセージを出力するステップと、を含む、顔類似度評価方法。
2. 前記少なくとも１つの第２の画像に対応する前記全体類似度スコアに基づいて前記評価結果を生成する前記ステップが、
   前記評価結果を生成するために、前記少なくとも１つの第２の画像に対応する前記全体類似度スコアから最高値の全体類似度スコアを決定するサブステップを含む、請求項１に記載の顔類似度評価方法。
3. 前記第１の画像および前記少なくとも１つの第２の画像がそれぞれ少なくとも１つのエリアを有し、
   前記第１の画像および前記少なくとも１つの第２の画像のそれぞれに対応する前記特徴要素に基づいて、前記少なくとも１つの第２の画像に対応する前記全体類似度スコアを取得する前記ステップが、
   前記第１の画像および前記少なくとも１つの第２の画像のそれぞれに対応する前記特徴要素に基づいて、前記少なくとも１つの第２の画像に対応する少なくとも１つのエリア類似度スコアを取得するサブステップを含み、前記サブステップにおいて、前記少なくとも１つのエリア類似度スコアは、前記少なくとも１つのエリアに対応し、さらに、
   前記少なくとも１つの第２の画像に対応する前記少なくとも１つのエリア類似度スコアに基づいて、前記少なくとも１つの第２の画像に対応する前記全体類似度スコアを取得するサブステップを含む、請求項１に記載の顔類似度評価方法。
4. 前記少なくとも１つの第２の画像に対応する前記少なくとも１つのエリア類似度スコアに基づいて、前記少なくとも１つの第２の画像に対応する前記全体類似度スコアを取得する前記サブステップが、
   前記少なくとも１つの第２の画像に対応する前記全体類似度スコアを取得するために、前記少なくとも１つの第２の画像に対応する前記少なくとも１つのエリア類似度スコアの平均値を計算するサブステップを含む、請求項３に記載の顔類似度評価方法。
5. 前記少なくとも１つの第２の画像に対応する前記少なくとも１つのエリア類似度スコアに従って、前記通知メッセージを出力するステップをさらに含む、請求項３に記載の顔類似度評価方法。
6. 前記少なくとも１つの第２の画像に対応する前記全体類似度スコアに基づいて前記評価結果を生成する前記ステップが、
   前記評価結果を生成するために、前記少なくとも１つの第２の画像に対応する前記少なくとも１つのエリア類似度スコアから、少なくとも１つの最高値のエリア類似度スコアを決定するサブステップを含み、該サブステップにおいて、前記少なくとも１つの最高値のエリア類似度スコアは、前記少なくとも１つのエリアに対応している、請求項５に記載の顔類似度評価方法。
7. 前記特徴要素が、前記少なくとも１つのエリアに属する少なくとも１つの特徴要素を含み、
   前記第１の画像および前記少なくとも１つの第２の画像にそれぞれ対応する前記特徴要素に基づいて、前記少なくとも１つの第２の画像に対応する前記少なくとも１つのエリア類似度スコアを取得する前記サブステップが、
   前記第１の画像および前記少なくとも１つの第２の画像にそれぞれ対応する、前記少なくとも１つのエリアに属する前記少なくとも１つの特徴要素に基づいて、前記少なくとも１つの第２の画像に対応する少なくとも１つの特徴差パラメータを計算するサブステップと、
   前記少なくとも１つの特徴差パラメータおよび少なくとも１つの重量値に従って、前記少なくとも１つの第２の画像に対応する前記少なくとも１つのエリア類似度スコアを計算するサブステップと、を含む、請求項３に記載の顔類似度評価方法。
8. 前記少なくとも１つのエリアが、眉エリア、目エリア、鼻エリア、唇エリアおよび顔エリアを含む、請求項３に記載の顔類似度評価方法。
9. 前記第１の画像および前記少なくとも１つの第２の画像にそれぞれ対応する前記特徴要素を取得する前記ステップが、
   前記第１の画像に対応する複数の第１の特徴要素を取得するために、前記第１の画像に分析オペレーションを実行するサブステップと、
   前記少なくとも１つの第２の画像における前記分析オペレーションを介してデータベースから取得された、前記少なくとも１つの第２の画像に対応する複数の第２の特徴要素を取得するサブステップと、を含む、請求項１に記載の顔類似度評価方法。
10. 複数のモジュールを格納する、記憶装置と、
    前記記憶装置に接続し、前記記憶装置に格納された前記モジュールにアクセスして該モジュールを実行する、プロセッサと、を備え、前記モジュールは、
    第１の画像を取得する、画像取得モジュールと、
    前記第１の画像および少なくとも１つの第２の画像にそれぞれ対応する複数の特徴要素を取得する、特徴要素取得モジュールと、
    前記第１の画像および前記少なくとも１つの第２の画像にそれぞれ対応する前記特徴要素に基づいて、前記少なくとも１つの第２の画像に対応する全体類似度スコアを取得し、前記少なくとも１つの第２の画像に対応する前記全体類似度スコアに基づいて評価結果を生成する、比較モジュールと、
    前記評価結果に基づいて通知メッセージを出力する、出力モジュールと、を含む、電子デバイス。
11. 前記比較モジュールが前記少なくとも１つの第２の画像に対応する前記全体類似度スコアに基づいて前記評価結果を生成する、前記オペレーションが、
    前記評価結果を生成するために、前記少なくとも１つの第２の画像に対応する前記全体類似度スコアから最高値の全体類似度スコアを決定するサブオペレーションを含む、請求項１０に記載の電子デバイス。
12. 前記第１の画像および前記少なくとも１つの第２の画像がそれぞれ少なくとも１つのエリアを有し、前記比較モジュールが、前記第１の画像および前記少なくとも１つの第２の画像にそれぞれ対応する前記特徴要素に基づいて、前記少なくとも１つの第２の画像に対応する前記全体類似度スコアを取得する、前記オペレーションが、
    前記第１の画像および前記少なくとも１つの第２の画像にそれぞれ対応する前記特徴要素に基づいて、前記少なくとも１つの第２の画像に対応する少なくとも１つのエリア類似度スコアを取得するサブオペレーションを含み、該サブオペレーションにおいて、前記少なくとも１つのエリア類似度スコアは前記少なくとも１つのエリアに対応し、
    さらに、前記少なくとも１つの第２の画像に対応する前記少なくとも１つのエリア類似度スコアに基づいて、前記少なくとも１つの第２の画像に対応する前記全体類似度スコアを取得するサブオペレーションを含む、請求項１０に記載の電子デバイス。
13. 前記比較モジュールが、前記少なくとも１つの第２の画像に対応する前記少なくとも１つのエリア類似度スコアに基づいて、前記少なくとも１つの第２の画像に対応する前記全体類似度スコアを取得する、前記サブオペレーションが、
    前記少なくとも１つの第２の画像に対応する前記全体類似度スコアを取得するために、前記少なくとも１つの第２の画像に対応する前記少なくとも１つのエリア類似度スコアの平均値を計算するサブオペレーションを含む、請求項１２に記載の電子デバイス。
14. 前記出力モジュールが、前記少なくとも１つの第２の画像に対応する前記少なくとも１つのエリア類似度スコアに従って前記通知メッセージを出力する、請求項１２に記載の電子デバイス。
15. 前記比較モジュールが、前記少なくとも１つの第２の画像に対応する前記全体類似度スコアに基づいて前記評価結果を生成する、前記オペレーションが、
    前記評価結果を生成するために、前記少なくとも１つの第２の画像に対応する前記少なくとも１つのエリア類似度スコアから、少なくとも１つの最高値のエリア類似度スコアを決定する、サブオペレーションを含み、該オペレーションにおいて、前記少なくとも１つの最高値のエリア類似度スコアは、前記少なくとも１つのエリアに対応する、請求項１４に記載の電子デバイス。
16. 前記特徴要素が、前記少なくとも１つのエリアに属する少なくとも１つの特徴要素を含み、前記比較モジュールが、前記第１の画像および前記少なくとも１つの第２の画像にそれぞれ対応する前記特徴要素に基づいて、前記少なくとも１つの第２の画像に対応する少なくとも１つのエリア類似度スコアを取得する、前記サブオペレーションが、
    前記第１の画像および前記少なくとも１つの第２の画像にそれぞれ対応する前記少なくとも１つのエリアに属する前記少なくとも１つの特徴要素に基づいて、前記少なくとも１つの第２の画像に対応する少なくとも１つの特徴差パラメータを計算するサブオペレーションと、前記少なくとも１つの特徴差パラメータおよび少なくとも１つの重量値に従って、前記少なくとも１つの第２の画像に対応する前記少なくとも１つのエリア類似度スコアを計算するサブオペレーションと、を含む、請求項１２に記載の電子デバイス。
17. 前記少なくとも１つのエリアが、眉エリア、目エリア、鼻エリア、唇エリアおよび顔エリアを含む、請求項１２に記載の電子デバイス。
18. 前記特徴要素取得モジュールが、前記第１の画像および前記少なくとも１つの第２の画像にそれぞれ対応する前記複数の特徴要素を取得する、前記オペレーションが、
    前記第１の画像に対応する複数の第１の特徴要素を取得するために、前記第１の画像に分析オペレーションを実行するサブオペレーションと、
    前記少なくとも１つの第２の画像における前記分析オペレーションを介してデータベースから取得された、前記少なくとも１つの第２の画像に対応する複数の第２の特徴要素を取得するサブオペレーションと、を含む、請求項１０に記載の電子デバイス。