JP2019500687A - 顔認証方法、装置及びコンピュータ記憶媒体 - Google Patents

Abstract

本願の実施例は、顔認証方法、装置及びコンピュータ記憶媒体を開示し、前記方法は、認証すべき網状模様付き顔画像及び初期の顔画像を取得することと、予め設定された網状模様除去モデルを用いて、網状模様付き顔画像に網状模様除去操作を行って、網状模様除去顔画像を取得することと、予め設定された網状模様除去顔認証モデルにより、網状模様除去顔画像の特徴を抽出して、網状模様除去顔特徴を取得し、予め設定された網状模様除去顔認証モデルにより、初期の顔画像の特徴を抽出して、初期の顔特徴を取得することと、網状模様除去顔特徴及び初期の顔特徴に基づいて、網状模様除去顔画像及び初期の顔画像を認証することと、を含む。

Description

関連出願の相互参照
本願は、２０１６年０４月２１日付けで出願された出願番号が２０１６１０２５０９０１．５である中国特許出願を基礎にして提出したものであり、当該中国特許出願の優先権を主張し、当該中国特許出願の内容は全て参考として本願に援用される。

本願は、通信の技術分野に属し、特に顔認証方法、装置及びコンピュータ記憶媒体に関する。

インターネット技術の急速な発展に伴って、顔認証によりユーザアカウントのセキュリティを確保することが非常に重要になっている。顔認証は、顔認識の一分野であり、顔認証アルゴリズムを用いて、二つの顔写真を自動的に認証して、同一人物であるか否かを判別することができる。このような方式は、インターネット金融などの複数のシーンでのユーザの顔による身分チェックに用いられる。

現在、国民のプライバシーの安全性を保護するために、写真を外部に配信する場合に網状模様ウォーターマークを加えることにより、身分証明書顔写真、社会保障カード顔写真、通行証顔写真などの証明写真のような網状模様付き写真を取得する。網状模様付き写真に対して顔認証を行う場合、専門家がノイズ除去アルゴリズムを用いて網状模様付き写真の網状模様を除去し、次に網状模様除去後の写真を修復することで初めて、最後に該網状模様付き写真を認証できるようになっている。

従来技術に対する研究及び実践過程において、従来の網状模様を除去する画像処理方式が手動で操作する必要があり、操作者には高い専門知識が要求されるので、顔認証の効率が低く、顔認証の精度が低いという問題がある。

本願の実施例は、顔認証の効率及び精度を向上させるために、顔認証方法、装置及びコンピュータ記憶媒体を提供することが望まれていた。

上記技術的問題を解決するために、本願の実施例は、以下のような技術手段を提供する。

本願の実施例は、
認証すべき網状模様付き顔画像及び初期の顔画像を取得することと、
予め設定された網状模様除去モデルを用いて、前記網状模様付き顔画像に網状模様除去操作を行って、網状模様除去顔画像を取得することと、
予め設定された網状模様除去顔認証モデルにより、前記網状模様除去顔画像の特徴を抽出して、網状模様除去顔特徴を取得し、前記予め設定された網状模様除去顔認証モデルにより、前記初期の顔画像の特徴を抽出して、初期の顔特徴を取得することと、
前記網状模様除去顔特徴及び前記初期の顔特徴に基づいて、対応する網状模様除去顔画像及び初期の顔画像に対して顔認証を行うことと、を含む顔認証方法を提供する。

本願の実施例は、さらに、
認証すべき網状模様付き顔画像及び初期の顔画像を取得するように構成される取得ユニットと、
予め設定された網状模様除去モデルを用いて、前記取得ユニットにより取得された網状模様付き顔画像に網状模様除去操作を行って、網状模様除去顔画像を取得するように構成される第１の網状模様除去ユニットと、
予め設定された網状模様除去顔認証モデルにより、前記網状模様除去顔画像の特徴を抽出して、網状模様除去顔特徴を取得し、前記予め設定された網状模様除去顔認証モデルにより、前記初期の顔画像の特徴を抽出するして、初期の顔特徴を取得するように構成される特徴抽出ユニットと、
前記網状模様除去顔特徴及び前記初期の顔特徴に基づいて、対応する網状模様除去顔画像及び初期の顔画像に対して顔認証を行うように構成される認証ユニットと、を含む顔認証装置を提供する。

本願の実施例は、さらに、プロセッサと、前記プロセッサが実行可能な命令のデータが記憶されているメモリとを含み、前記命令が実行されると、前記プロセッサが、
認証すべき網状模様付き顔画像及び初期の顔画像を取得し、
予め設定された網状模様除去モデルを用いて、前記網状模様付き顔画像に網状模様除去操作を行って、網状模様除去顔画像を取得し、
予め設定された網状模様除去顔認証モデルにより、前記網状模様除去顔画像の特徴を抽出して、網状模様除去顔特徴を取得し、前記予め設定された網状模様除去顔認証モデルにより、前記初期の顔画像の特徴を抽出して、初期の顔特徴を取得し、
前記網状模様除去顔特徴及び前記初期の顔特徴に基づいて、対応する網状模様除去顔画像及び初期の顔画像に対して顔認証を行うように構成される顔認証装置を提供する。

本願の実施例は、さらに、本願の実施例に記載の顔認証方法を実行するためのコンピュータ実行可能命令が記憶されているコンピュータ記憶媒体を提供する。

以下、図面に合わせて、本願を実施するための形態について詳しく説明することにより、本願の技術手段と他の有益な効果が明らかになる。
本願の実施例に係る顔認証方法のシーン概略図である。 本願の第１実施例に係る顔認証方法の概略フローチャートである。 本願の第１実施例に係る顔認証方法における網状模様付き顔画像の概略図である。 本願の第２実施例に係る顔認証方法の概略フローチャートである。 本願の第２実施例に係る顔認証方法の詳細なフローチャートである。 本願の第２実施例に係る顔認証方法の詳細なフローチャートである。 本願の第２実施例に係る顔認証方法の詳細なフローチャートである。 本願の第２実施例に係る顔認証方法の詳細なフローチャートである。 本願の第３実施例に係る顔認証装置の概略構成図である。 本願の第３実施例に係る顔認証装置の別の概略構成図である。 本願の第４実施例に係るサーバの概略構成図である。

図に示すように、同様の構成要素には同一の構成要素符号を付し、本願の原理は、適切なコンピューティング環境に実施することを例として説明する。以下の説明は、例示した本願の具体的な実施例に基づくもので、ここで詳述していない本願の他の具体的な実施例を限定するものではない。

以下の説明において、特に断らない限り、一つ又は複数のコンピュータによって実行されるステップ及び符号を参照して、本願の具体的な実施例を説明する。よって、これらのステップ及び操作については、コンピュータによって実行されると複数回言及され、本明細書においてコンピュータによって実行されることには、コンピュータの処理ユニットによる、構造化された形でデータを表す電気信号の操作を含む。この操作は、該データを変換するか、又は該コンピュータのメモリシステム内の位置にデータを維持し、該コンピュータの動作を最構成するか又は当業者に周知の方式で変更する。該データが維持されるデータ構造は、該データフォーマットによって定義される特定のプロパティを持つ該メモリの物理的位置である。しかし、本願の原理は、上記文字で説明しているが、制限的なものではなく、当業者によって理解されるように、下述した各種のステップ及び操作はハードウェアに実装することも可能である。

本願の実施例において用いられた「モジュール」という用語は、該コンピューティングシステムで実行されるソフトウェアオブジェクトとみなされる。本願の実施例に記載される様々な構成要素、モジュール、エンジン及びサービスは、該コンピューティングシステムでの実施オブジェクトとみなされる。本願の実施例に記載される装置及び方法は、ソフトウェアの形態で実施してもよく、当然のことながら、ハードウェアで実施してもよく、いずれも本願の実施例の特許請求の範囲内に含まれる。

本願の実施例は、顔認証方法及び装置を提供する。

本願の実施例に係る顔認証方法のシーン概略図を示す図１ａのように、該シーンはサーバ１１を含み、前記サーバ１１は、主に認証すべき網状模様付き顔画像及び初期の顔画像を取得して、まず、予め設定された網状模様除去モデルを用いて、前記網状模様付き顔画像に網状模様除去操作を行って、網状模様除去顔画像を取得し、次に、予め設定された網状模様除去顔認証モデルにより、前記網状模様除去顔画像の特徴を抽出して、網状模様除去顔特徴を取得し、前記予め設定された網状模様除去顔認証モデルにより、前記初期の顔画像の特徴を抽出して、初期の顔特徴を取得し、最後に、前記網状模様除去顔特徴及び前記初期の顔特徴に基づいて、対応する網状模様除去顔画像及び初期の顔画像に対して顔認証を行うなどのための、本願の実施例に記載の顔認証装置を含む。

また、該シーンは、さらに、主に予め設定された網状模様除去モデル及び予め設定された網状模様除去顔認証モデルを記憶すると共に、それぞれ網状模様除去操作及び特徴抽出などを行うために、顔認証装置を含むサーバ１１による呼び出しに提供するメモリ１３を含む。当然のことながら、該シーンは、さらに、身分証明書顔写真及び自分撮り顔写真のようなユーザにより入力された顔認証すべき網状模様付き顔画像及び初期の顔画像を受信すると共に、顔認証装置を含むサーバ１１に送信して顔認証を行うユーザ端末１２を含む。

以下、それぞれ詳しく説明する。

（実施例１）
本実施例において、顔認証装置の観点から説明し、前記顔認証装置は、具体的には、サーバなどのネットワーク装置に集積されてもよい。

本願の第１実施例に係る顔認証方法の概略フローチャートを示す図１ｂのように、前記顔認証方法は、顔認証装置に適用されている。前記方法は、
認証すべき網状模様付き顔画像及び初期の顔画像を取得するステップＳ１０１と、
予め設定された網状模様除去モデルを用いて、前記網状模様付き顔画像に網状模様除去操作を行って、網状模様除去顔画像を取得するステップＳ１０２と、を含む。

前記ステップＳ１０１とステップＳ１０２は、具体的には、
一実施形態として、顔認証装置は、まず、認証すべき網状模様付き顔画像及び初期の顔画像を取得し、次に、該網状模様付き顔画像と初期の顔画像中の顔とが同一人物であるか否かを判別することで、顔認証を完了する。

本願の実施例において、網状模様付き顔画像の簡略化した概略図である図１ｃに示すように、網状模様付き顔画像とは、身分証明書顔写真、社会保障カード顔写真、通行証顔写真などの証明写真のような網状模様ウォーターマークを加えた顔写真を指し、初期の顔画像とは、ユーザ自分が撮影した顔写真のような網状模様ウォーターマークなしの顔写真を指す。

理解されるように、本願の実施例において、認証すべき網状模様付き顔画像及び初期の顔画像を取得する前に、予め設定された網状模様除去モデルを生成する必要があり、具体的には、
第１タイプの顔画像を収集し、前記第１タイプの顔画像に基づいて第１の顔データセットを構築するステップ１と、
予め設定された網状模様ウォーターマークに基づいて、前記第１の顔データセットを合成して、第１の網状模様付き顔データセットを取得するステップ２と、
前記第１の顔データセット及び前記第１の網状模様付き顔データセットを用いて、網状模様除去畳み込みニューラルネットワークトレーニングを行って、網状模様除去モデルを生成するステップ３と、
前記網状模様除去モデルを予め設定された網状模様除去モデルとして決定するステップ４と、を含む。

一実施形態として、顔認証装置は、複数の顔写真を収集し、収集された複数の顔写真を第１タイプの顔画像として決定し、第１タイプの顔画像に基づいて第１の顔データセットを構築し、前記第１の顔データセットを予め設定されたメモリに記録して呼び出しに備える。

さらに、顔認証装置は、予め設定された網状模様ウォーターマークを用いて、第１の顔データセット内の第１タイプの顔画像を合成し、すなわち、第１タイプの顔画像に網状模様ウォーターマークを加えることにより、第１の網状模様付き顔データセットを取得する。次に、顔認証装置は、該第１の顔データセット及び第１の網状模様付き顔データセットを用いて、網状模様除去畳み込みニューラルネットワークトレーニングを行うことにより、網状模様除去モデルを生成する。

網状模様除去畳み込みニューラルネットワーク（ＣＮＮ、ＣｏｎｖｏｌｕｔｉｏｎａｌＮｅｕｒａｌＮｅｔｗｏｒｋ）は、畳み込み層（ｃｏｎｖｏｌｕｔｉｏｎ）、バッチ正規化層（ｂａｔｃｈ＿ｎｏｒｍａｌｉｚａｔｉｏｎ）、逆畳み込み層（ｄｅｃｏｎｖｏｌｕｔｉｏｎ）などを含む。本願の実施例において、網状模様除去畳み込みニューラルネットワークトレーニングの最適化目標は、網状模様除去後の顔写真と対応する初期の顔写真との画素値の差分の絶対値和を最も小さくすることである。

理解されるように、具体的な畳み込み層、バッチ正規化層、逆畳み込み層の定義及び網状模様除去畳み込みニューラルネットワークのトレーニング方式は、従来のディープニューラルネットワークのトレーニングフレームを参照して実現することができ、ここでは特に説明しない。

尚、本願の実施例に用いられた「第１」、「第２」、「第３」などの用語は、ただ明細書中の各タイプの写真を区別するためのもので、各タイプの写真の間の論理的な関係又は順序関係などを表すものではない。

ステップＳ１０３で、予め設定された網状模様除去顔認証モデルにより、前記網状模様除去顔画像の特徴を抽出して、網状模様除去顔特徴を取得し、前記予め設定された網状模様除去顔認証モデルにより、前記初期の顔画像の特徴を抽出して、初期の顔特徴を取得する。

一実施形態として、顔認証装置は、網状模様除去顔認証モデルを予め生成し、メモリに記憶することができ、認証すべき網状模様付き顔画像に網状模様除去操作を行って、網状模様除去顔画像を取得した後、予め設定された網状模様除去顔認証モデルを呼び出して、それぞれ網状模様除去顔画像と初期の顔画像の特徴を抽出して、網状模様除去顔特徴及び初期の顔特徴を取得する。

本願の実施例において、特徴抽出は、コンピュータビジョン及び画像処理における概念である。それは、コンピュータを用いて画像情報を抽出し、画像の各点が一つの画像特徴に属するか否かを決定することを意味する。特徴抽出の結果としては、顔認証装置で特徴抽出の結果に基づいて比較し判別するために、画像上の点が、往々にして孤立した点、連続的な曲線又は連続的な領域に属する異なるサブセットに分けられている。

理解されるように、本願の実施例において、顔認証装置は、認証すべき網状模様付き顔画像及び初期の顔画像を取得する前に、第１の顔認証モデルを生成することで、該第１の顔認証モデルに基づいて、予め設定された網状模様除去顔認証モデルを生成する必要があり、第１の顔認証モデルを生成することは、具体的には、

第２タイプの顔画像を収集し、前記第２タイプの顔画像に基づいて第２の顔データセットを構築するステップａと、
前記第２の顔データセットに対応する第３タイプの顔画像を取得し、前記第３タイプの顔画像に基づいて第３の顔データセットを構築するステップｂと、
前記第２の顔データセット及び前記第３の顔データセットを用いて、顔認証畳み込みニューラルネットワークトレーニングを行って、第１の顔認証モデルを生成するステップｃと、を含む。

例えば、顔認証装置は、複数の顔写真を収集し、収集された複数の顔写真を第２タイプの顔画像として決定し、第２タイプの顔画像に基づいて第２の顔データセットを構築し、該第２の顔データセットを予め設定されたメモリに記録して呼び出しに備える。

尚、本願の実施例において、前記第１タイプの顔画像と前記第２タイプの顔画像は、いずれも身分証明書顔写真であることが可能であるが、前記第１タイプの顔画像と前記第２タイプの顔画像とは全て異なり、例えば、身分証明書顔写真Ａが第１タイプの顔画像に属すれば、身分証明書顔写真Ａが第２タイプの顔画像に属さない。すなわち、第１の顔データセット内の顔画像と第２の顔データセット内の顔画像とは重複しない。

さらに、ステップｂで、第２の顔データセットに対応する第３タイプの顔画像を取得することは、身分証明書顔写真（すなわち、第２の顔データセット内の第２タイプの顔画像）に対応する自分撮り顔写真（すなわち、第３タイプの顔画像）を取得し、前記自分撮り顔写真に基づいて自分撮り顔写真のデータセットを構築する。

その後、顔認証装置は、第２の顔データセット及び第３の顔データセットを用いて、顔認証畳み込みニューラルネットワークトレーニングを行うことにより、第１の顔認証モデルを生成し、該第１の顔認証モデルに基づいて、予め設定された網状模様除去顔認証モデルを生成し、網状模様除去顔認証モデルを生成することは、具体的には、
予め設定された網状模様ウォーターマークに基づいて、前記第２の顔データセットを合成して、第２の網状模様付き顔データセットを取得するステップｄと、
前記網状模様除去モデルを用いて、前記第２の網状模様付き顔データセット内の各画像に網状模様除去操作を行って、網状模様除去顔データセットを生成するステップｅと、
前記網状模様除去顔データセット及び前記第３の顔データセットに基づいて、前記第１の顔認証モデルに対してネットワーク微調整を行って、第２の顔認証モデルを生成するステップｆと、
前記第２の顔認証モデルを予め設定された網状模様除去顔認証モデルとして決定するステップｇと、を含む。

一実施形態として、顔認証装置は、予め設定された網状模様ウォーターマークに基づいて、ステップａで取得された第２の顔データセット内の第２タイプの顔画像に網状模様ウォーターマークを加えることにより、第２の網状模様付き顔データセットを取得し、次に、ステップ３で取得された網状模様除去モデルを用いて、該第２の網状模様付き顔データセット内の各画像に網状模様除去操作を行い、最後に、網状模様除去顔データセット及び第３の顔データセットに基づいて、ステップｃで取得された第１の顔認証モデルに対してネットワーク微調整を行うことにより、第２の顔認証モデル、すなわち、予め設定された網状模様除去顔認証モデルを生成する。

該実施例において、第１の顔認証モデルは、「第２タイプの顔−第３タイプの顔」の認証モデル、例えば「身分証明書顔−自分撮り顔」の認証モデルと理解し、第２の顔認証モデルは、「網状模様除去顔−第３タイプの顔」の認証モデル、例えば「網状模様除去身分証明書顔−自分撮り顔」の認証モデルと理解することができる。

理解されるように、顔認証畳み込みニューラルネットワークは、具体的には、従来のディープニューラルネットワークの顔認証アルゴリズムを参照して実現し、ネットワークのトレーニング方式は、従来のディープニューラルネットワークのトレーニングフレームを参照して実現することができ、ここでは特に説明しない。顔認証畳み込みニューラルネットワークモデルをトレーニングする場合、ループ繰り返しの方式を用いてネットワークモデルをトレーニングし、初回のトレーニングの場合、選択されたパラメータがランダムに初期化され、すなわち、ネットワークモデルの初期パラメータは、ランダムに設定されてもよく、ネットワーク微調整の方式は、ネットワーク構成が変わらない状況下で、今回トレーニングしたネットワークモデルのパラメータを次回のモデルトレーニングの初期値とし、今回トレーニングしたネットワークモデルのパラメータを次回のネットワークモデルトレーニングのパラメータとすることに基づいて、最終的な顔認証畳み込みニューラルネットワークを取得するまでトレーニングを継続することを含む。

ステップＳ１０４で、前記網状模様除去顔特徴及び前記初期の顔特徴に基づいて、対応する網状模様除去顔画像及び初期の顔画像に対して顔認証を行う。

一実施形態として、顔認証装置が前記網状模様除去顔特徴及び前記初期の顔特徴に基づいて、対応する網状模様除去顔画像及び初期の顔画像に対して顔認証を行う方式は、具体的には、
前記網状模様除去顔特徴と前記初期の顔特徴との間の類似度を計算して、類似値を取得するステップＳ１０４１と、
前記類似値に基づいて、対応する網状模様除去顔画像と初期の顔画像とが同一人物に属するか否かを判断するステップＳ１０４２と、
同一人物に属すると判断すれば、顔認証成功と決定するステップＳ１０４３と、
同一人物に属していないと判断すれば、顔認証失敗と決定するステップＳ１０４４と、を含む。

例えば、網状模様除去顔認証装置は、前記網状模様除去顔特徴及び前記初期の顔特徴に対して特徴距離計算を行うことで、前記網状模様除去顔特徴と前記初期の顔特徴との間の類似度を取得する。

さらに、前記類似値に基づいて、対応する網状模様除去顔画像と初期の顔画像とが同一人物に属するか否かを判断すること（すなわちステップＳ１０４２）は、具体的には、
前記類似値が予め設定された閾値を越えていれば、対応する網状模様除去顔画像と初期の顔画像とが同一人物に属すると決定することと、
前記類似値が予め設定された閾値を越えていなければ、対応する網状模様除去顔画像と初期の顔画像とが同一人物に属していないと決定することと、を含む。

いくつかの実施形態において、前記網状模様除去顔特徴と前記初期の顔特徴との間の類似度を計算すること（すなわちステップＳ１０４１）は、ユークリッド距離アルゴリズム、コサイン距離アルゴリズム、統合ベイズ（ｊｏｉｎｔ＿ｂａｙｅｓｉａｎ）アルゴリズム、及び距離計量学習アルゴリズムのうちのいずれかを用いて、前記網状模様除去顔特徴と前記初期の顔特徴との間の類似度を計算することを含む。

類似値が予め設定された閾値を越えていれば、対応する網状模様除去顔画像と初期の顔画像とが同一人物に属すると決定し、すなわち、顔認証装置は顔認証成功と決定し、類似値が予め設定された閾値を越えていなければ、対応する網状模様除去顔画像と初期の顔画像とが同一人物に属していないと決定し、すなわち、顔認証装置は顔認証失敗と決定する。

上記から分かるように、本願の実施例に係る顔認証方法は、まず、予め設定された網状模様除去モデルを用いて、認証すべき網状模様付き顔画像に網状模様除去操作を自動的に行って、網状模様除去顔画像を取得し、次に、予め設定された網状模様除去顔認証モデルにより、それぞれ網状模様除去顔画像と初期の顔画像の特徴を抽出して、網状模様除去顔特徴及び初期の顔特徴を取得し、最後に、網状模様除去顔特徴及び初期の顔特徴に基づいて、対応する網状模様除去顔画像及び初期の顔画像に対して顔認証を行い、すなわち、本願の実施例は、予めトレーニングされた網状模様除去モデル及び網状模様除去顔認証モデルに基づいて、認証すべき網状模様付き顔画像及び初期の顔画像に対して自動処理分析を行い、専門家の手動操作を必要とせず、網状模様付き顔画像と初期の顔画像とが同一人物であるか否かを自動的に判別でき、顔認証の効率及び精度を向上させる。

（実施例２）
第１実施例に記載の方法に基づいて、以下、例を挙げて詳しく説明する。

本実施例において、網状模様付き身分証明書顔写真及びユーザの自分撮り顔写真を例にして、網状模様付き身分証明書顔写真及び自分撮り顔写真の認証過程について詳しく説明する。

図２ａは、本願の第２実施例に係る顔認証方法の概略フローチャートである。前記方法の流れは、主に、網状模様除去モデルを生成するステップＳ２１と、身分証明書顔−自分撮り顔の認証モデルを生成するステップＳ２２と、網状模様除去身分証明書顔−自分撮り顔の認証モデルを生成するステップＳ２３と、網状模様除去身分証明書顔画像−自分撮り顔画像を認証するステップＳ２４と、を含む。具体的には：
網状模様除去モデルを生成するステップＳ２１は、
本願に係る網状模様除去モデルを生成する概略フローチャートである図２ｂに示すように、以下ステップＳ２１１〜ステップＳ２１４を含む：
ステップＳ２１１、身分証明書顔写真データセット１を構築する。

例えば、顔認証装置は、身分証明書顔画像を収集し、該身分証明書顔画像に基づいて身分証明書顔写真データセット１を構築する。

ステップＳ２１２、網状模様付き身分証明書顔写真を生成する。

ステップＳ２１３、網状模様付き身分証明書顔写真データセット１を構築する。

一実施形態として、顔認証装置は、複数の網状模様ウォーターマークをランダムに選択して、身分証明書顔写真データセット１内の各顔写真に網状模様ウォーターマークを合成することにより、網状模様付き身分証明書顔写真データセット１を構築するための、複数の対応する網状模様付き身分証明書顔写真を取得する。

網状模様ウォーターマークの合成過程は、具体的には、複数の網状模様ウォーターマークを予め作成し、網状模様部分の画素値で身分証明書顔画像の画素値を直接的に置き換えるか、又はウォーターマークの画素値と身分証明書顔画像の画素値とを一定の割合でビニングする方式で網状模様付き身分証明書顔写真の合成を完了したりすることであり、ここでは特に限定しない。

ステップＳ２１４、網状模様除去畳み込みニューラルネットワークトレーニングを行って、網状模様除去モデルを生成する。

例えば、顔認証装置は、身分証明書顔写真データセット１及び対応する網状模様付き身分証明書顔写真データセット１を用いて、網状模様除去ＣＮＮネットワークトレーニングを行って、網状模様除去モデルを取得する。網状模様除去ＣＮＮネットワークは、畳み込み層、バッチ正規化層、逆畳み込み層などを含み、トレーニングの最適化目標は、網状模様除去後の身分証明書顔写真と対応する初期の身分証明書顔写真との画素値の差分の絶対値和を最も小さくすることである。

理解されるように、具体的な畳み込み層、バッチ正規化層、逆畳み込み層の定義及び網状模様除去畳み込みニューラルネットワークのトレーニング方式は、従来のディープニューラルネットワークのトレーニングフレームを参照して実現され、ここでは特に説明しない。

身分証明書顔−自分撮り顔の認証モデルを生成するステップＳ２２は、
本願に係る身分証明書顔−自分撮り顔の認証モデルを生成する概略フローチャートである図２ｃに示すように、以下ステップＳ２２１〜ステップＳ２２３を含む：
ステップＳ２２１、身分証明書顔写真データセット２を構築する。

一実施形態として、顔認証装置は、身分証明書顔画像を収集し、収集された身分証明書顔画像に基づいて身分証明書顔写真データセット２を構築する。

尚、本願の実施例において、前記身分証明書顔写真データセット１内の写真と前記身分証明書顔写真データセット２内の写真とは全て異なり、例えば、身分証明書顔写真Ａが身分証明書顔写真データセット１に属すれば、身分証明書顔写真Ａは身分証明書顔写真データセット２に属していない。すなわち、身分証明書顔写真データセット１内の顔画像と身分証明書顔写真データセット２内の顔画像とは重複しない。

ステップＳ２２２、自分撮り顔写真データセット１を構築する。

一実施形態として、顔認証装置は、身分証明書顔写真データセット２内の身分証明書顔写真に対応する人の自分撮り顔写真を収集し、自分撮り顔写真に基づいて自分撮り顔写真データセット１を構築する。

ステップＳ２２３、顔認証畳み込みニューラルネットワークトレーニングを行って、身分証明書顔−自分撮り顔の認証モデルを生成する。

一実施形態として、顔認証装置は、身分証明書顔写真データセット２及び自分撮り顔写真データセット１を用いて、ＣＮＮネットワークトレーニングを行って、「身分証明書顔−自分撮り顔」の認証モデルを取得する。

網状模様除去身分証明書顔−自分撮り顔の認証モデルを生成するステップＳ２３は、
本願の実施例に係る網状模様除去身分証明書顔−自分撮り顔の認証モデルを生成する概略フローチャートである図２ｄに示すように、以下ステップＳ２３１〜ステップＳ２３３を含む：
ステップＳ２３１、網状模様付き身分証明書顔写真データセット２を構築する。

例えば、顔認証装置は、身分証明書顔写真データセット２を用いて、網状模様付き身分証明書顔写真を生成し、網状模様付き身分証明書顔写真データセット２を構築する。網状模様付き身分証明書顔写真データセット２内の網状模様付き身分証明書顔写真の生成過程は、ステップＳ２１２及びステップＳ２１３と同様である。

ステップＳ２３２、網状模様付き身分証明書顔写真データセット２に網状模様除去操作を行って、網状模様除去身分証明書顔写真データセットを生成する。

一実施形態として、顔認証装置は、ステップＳ２１４で取得された網状模様除去モデルを用いて、網状模様付き身分証明書顔写真データセット２内の各画像に網状模様除去操作を行って、網状模様除去身分証明書顔写真データセットを生成する。

ステップＳ２３３、身分証明書顔−自分撮り顔の認証モデルに対してネットワーク微調整を行って、網状模様除去身分証明書顔−自分撮り顔の認証モデルを生成する。

一実施形態として、顔認証装置は、網状模様除去身分証明書顔写真データセット及び自分撮り顔写真データセット１を用いて、ステップＳ２２３で取得された「身分証明書顔−自分撮り顔」の認証モデルに対してネットワーク微調整を行って、「網状模様除去身分証明書顔−自分撮り顔」の認証モデルを取得する。

理解されるように、顔認証ＣＮＮネットワークは、具体的には、従来のディープニューラルネットワークの顔認証アルゴリズムを参照して実現し、ネットワークのトレーニング方式及びネットワーク微調整の方式は、従来のディープニューラルネットワークのトレーニングフレームを参照して実現することができ、ここでは特に説明しない。

網状模様除去身分証明書顔画像−自分撮り顔画像を認証するステップＳ２４は、
本願の実施例に係る網状模様付き身分証明書顔画像及び自分撮り顔画像を認証する概略フローチャートである図２ｅに示すように、以下ステップＳ２４１〜ステップＳ２４５を含む：
ステップＳ２４１、網状模様付き身分証明書顔写真に網状模様除去操作を行って、網状模様除去身分証明書顔写真を生成する。

一実施形態として、顔認証装置は、ステップＳ２１４で取得された網状模様除去モデルを用いて、入力された網状模様付き身分証明書顔写真に網状模様除去操作を行って、網状模様除去身分証明書顔写真を取得する。

ステップＳ２４２、網状模様除去身分証明書顔写真の特徴を抽出して、網状模様除去身分証明書顔特徴を取得する。

ステップＳ２４３、自分撮り顔写真の特徴を抽出して、自分撮り顔特徴を取得する。

さらに、顔認証装置は、ステップＳ２３３で取得された「網状模様除去身分証明書顔−自分撮り顔」の認証モデルを用いて、網状模様除去身分証明書顔写真の特徴を抽出して、網状模様除去身分証明書顔特徴を取得し、
ステップＳ２３３で取得された「網状模様除去身分証明書顔−自分撮り顔」の認証モデルを用いて、自分撮り顔写真の特徴を抽出することにより、自分撮り顔特徴を取得する。

ステップＳ２４４、網状模様除去身分証明書顔特徴及び自分撮り顔特徴に対して特徴距離計算を行う。

一実施形態として、顔認証装置は、網状模様除去身分証明書顔特徴と自分撮り顔特徴との間の類似度を計算する。類似度の計算は、ユークリッド距離、コサイン（ｃｏｓ）距離、又はより高度な統合ベイズアルゴリズム又は距離計量学習アルゴリズムなどを用いることができる。

ステップＳ２４５、計算結果に基づいて、顔認証結果を取得する。

一実施形態として、顔認証装置は、類似度計算結果と予め設定された閾値とを比較して、最終的な認証結果を取得して、網状模様付き身分証明書顔写真と自分撮り顔写真とが同一人物に属するか否かを判断する。

具体的には、類似度が予め設定された閾値を越えていれば、対応する網状模様付き身分証明書顔写真と自分撮り顔写真とが同一人物に属すると決定し、すなわち、顔認証装置は顔認証成功と決定し、類似度が予め設定された閾値を越えていなければ、対応する網状模様付き身分証明書顔写真と自分撮り顔写真とが同一人物に属していないと決定し、すなわち、顔認証装置は顔認証失敗と決定する。

尚、本実施例において、網状模様除去モデルの生成は、代わりに、従来の画像分割に画像補正に加える方式で実現でき、身分証明書顔−自分撮り顔の認証モデルの生成は、直接的に従来の高次元特徴方法で実現でき、網状模様除去身分証明書顔−自分撮り顔の認証モデルの生成は、従来の転移学習方法で実現でき、ここでは特に説明しない。

すなわち、本願の実施例は、網状模様付き身分証明書顔写真を予め処理し、予め処理した後の網状模様付き身分証明書顔写真と自分撮り顔写真を用いて顔認証モデルをトレーニングするという方法で、高精度の「網状模様付き身分証明書顔写真−自分撮り顔写真」の認証アルゴリズムを取得する。また、容易に想到できるように本実施例において、身分証明書顔写真は、パスポート顔写真、社会保障カード顔写真などのタイプの写真であってもよく、ここで例として挙げたものは、本願の実施例を限定するものではない。

上記から分かるように、本願の実施例に係る顔認証方法は、まず、予め設定された網状模様除去モデルを用いて、認証すべき網状模様付き顔画像に網状模様除去操作を自動的に行って、網状模様除去顔画像を取得し、次に、予め設定された網状模様除去顔認証モデルにより、それぞれ網状模様除去顔画像と初期の顔画像の特徴を抽出して、網状模様除去顔特徴及び初期の顔特徴を取得し、最後に、網状模様除去顔特徴及び初期の顔特徴に基づいて、対応する網状模様除去顔画像及び初期の顔画像に対して顔認証を行い、すなわち、本願の実施例は、予めトレーニングされた網状模様除去モデル及び網状模様除去顔認証モデルに基づいて、認証すべき網状模様付き顔画像及び初期の顔画像に対して自動処理分析を行い、専門家の手動操作を必要とせず、網状模様付き顔画像と初期の顔画像とが同一人物であるか否かを自動的に判別でき、顔認証の効率及び精度を向上させる。

（実施例３）
本願の実施例に係る顔認証方法の実施をより容易に実施するために、本願の実施例は、さらに、上記顔認証方法に基づく装置を提供する。名詞の意味は、上記顔認証方法と同様であり、具体的な実施詳細は、方法の実施例の説明を参照することができる。

図３ａは、本願の実施例に係る、取得ユニット３０１、第１の網状模様除去ユニット３０２、特徴抽出ユニット３０３、及び認証ユニット３０４を含む顔認証装置の概略構成図である。

前記取得ユニット３０１は、認証すべき網状模様付き顔画像及び初期の顔画像を取得するように構成され、前記第１の網状模様除去ユニット３０２は、予め設定された網状模様除去モデルを用いて、前記取得ユニット３０１により取得された網状模様付き顔画像に網状模様除去操作を行って、網状模様除去顔画像を取得するように構成される。

一実施形態として、前記取得ユニット３０１は、まず、認証すべき網状模様付き顔画像及び初期の顔画像を取得し、次に、該網状模様付き顔画像と初期の顔画像中の顔とが同一人物であるか否かを判別することで、顔認証を完了する。

本願の実施例において、網状模様付き顔画像とは、身分証明書顔写真、社会保障カード顔写真、通行証顔写真などの証明写真のような網状模様ウォーターマークを加えた顔写真を指し、初期の顔画像とは、ユーザ自分が撮影した顔写真のような網状模様ウォーターマークなしの顔写真を指す。

前記特徴抽出ユニット３０３は、予め設定された網状模様除去顔認証モデルにより、前記網状模様除去顔画像の特徴を抽出して、網状模様除去顔特徴を取得し、前記予め設定された網状模様除去顔認証モデルにより、前記初期の顔画像の特徴を抽出して、初期の顔特徴を取得するように構成され、前記認証ユニット３０４は、前記網状模様除去顔特徴及び前記初期の顔特徴に基づいて、対応する網状模様除去顔画像及び初期の顔画像に対して顔認証を行うように構成される。

理解されるように、本願の実施例において、認証すべき網状模様付き顔画像及び初期の顔画像を取得する前に、予め設定された網状模様除去モデルを生成する必要があり、顔認証装置の別の概略構成図である図３ｂに示すように、前記顔認証装置は、さらに、
第１の構築ユニット３０５１、第１の合成ユニット３０５２、第１のトレーニングユニット３０５３及び第１の決定ユニット３０５４を含み、予め設定された網状模様除去モデルを生成するように構成され、具体的には、
前記第１の構築ユニット３０５１は、第１タイプの顔画像を収集し、前記第１タイプの顔画像に基づいて第１の顔データセットを構築するように構成され、前記第１の合成ユニット３０５２は、予め設定された網状模様ウォーターマークに基づいて、前記第１の顔データセットを合成して、第１の網状模様付き顔データセットを取得するように構成され、
前記第１のトレーニングユニット３０５３は、前記第１の顔データセット及び前記第１の網状模様付き顔データセットを用いて、網状模様除去畳み込みニューラルネットワークトレーニングを行って、網状模様除去モデルを生成するように構成され、前記第１の決定ユニット３０５４は、前記網状模様除去モデルを予め設定された網状模様除去モデルとして決定するように構成される。

一実施形態として、前記第１の構築ユニット３０５１は、複数の顔写真を収集し、収集された複数の顔写真を第１タイプの顔画像として決定し、第１タイプの顔画像に基づいて第１の顔データセットを構築し、前記第１の顔データセットを予め設定されたメモリに記録して呼び出しに備える。

さらに、前記第１の合成ユニット３０５２は、予め設定された網状模様ウォーターマークを用いて、第１の顔データセット内の第１タイプの顔画像を合成し、すなわち、第１タイプの顔画像に網状模様ウォーターマークを加えることにより、第１の網状模様付き顔データセットを取得する。次に、前記第１のトレーニングユニット３０５３は、該第１の顔データセット及び第１の網状模様付き顔データセットを用いて、網状模様除去畳み込みニューラルネットワークトレーニングを行って、網状模様除去モデルを生成する。

網状模様除去畳み込みニューラルネットワークは、畳み込み層、バッチ正規化層、逆畳み込み層などを含む。本願の実施例において、網状模様除去畳み込みニューラルネットワークトレーニングの最適化目標は、網状模様除去後の顔写真と対応する初期の顔写真との画素値の差分の絶対値和を最も小さくすることである。

理解されるように、具体的な畳み込み層、バッチ正規化層、逆畳み込み層の定義及び網状模様除去畳み込みニューラルネットワークのトレーニング方式は、従来のディープニューラルネットワークのトレーニングフレームを参照して実現することができ、ここでは特に説明しない。

尚、本願の実施例に用いられた「第１」、「第２」、「第３」などの用語は、ただ明細書中の各タイプの写真を区別するためのもので、各タイプの写真の間の論理的な関係又は順序関係などを表すものではない。

一実施形態として、顔認証装置は、網状模様除去顔認証モデルを予め生成し、メモリに記憶することができ、認証すべき網状模様付き顔画像に網状模様除去操作を行って、網状模様除去顔画像を取得した後、予め設定された網状模様除去顔認証モデルを呼び出して、それぞれ網状模様除去顔画像と初期の顔画像の特徴を抽出して、網状模様除去顔特徴及び初期の顔特徴を取得する。

本願の実施例において、特徴抽出は、コンピュータビジョン及び画像処理における概念である。それは、コンピュータを用いて画像情報を抽出し、画像の各点が一つの画像特徴に属するか否かを決定することを意味する。特徴抽出の結果としては、顔認証装置で特徴抽出の結果に基づいて比較し判別するために、画像上の点が、往々にして孤立した点、連続的な曲線又は連続的な領域に属する異なるサブセットに分けられている。

理解されるように、本願の実施例において、顔認証装置は、認証すべき網状模様付き顔画像及び初期の顔画像を取得する前に、第１の顔認証モデルを生成することで、該第１の顔認証モデルに基づいて、予め設定された網状模様除去顔認証モデルを生成する必要があるが、図３ｂに示すように、前記顔認証装置は、さらに、第２の構築ユニット３０６１、第３の構築ユニット３０６２及び第２のトレーニングユニット３０６３を含み、第１の顔認証モデルを生成するように構成され、具体的には、
前記第２の構築ユニット３０６１は、第２タイプの顔画像を収集し、前記第２タイプの顔画像に基づいて第２の顔データセットを構築するように構成され、
前記第３の構築ユニット３０６２は、前記第２の顔データセットに対応する第３タイプの顔画像を取得し、前記第３タイプの顔画像に基づいて第３の顔データセットを構築するように構成され、前記第２のトレーニングユニット３０６３は、前記第２の顔データセット及び前記第３の顔データセットを用いて、顔認証畳み込みニューラルネットワークトレーニングを行って、第１の顔認証モデルを生成するように構成される。

一実施形態として、前記第２の構築ユニット３０６１は、複数の顔写真を収集し、収集された複数の顔写真を第２タイプの顔画像として決定し、第２タイプの顔画像に基づいて第２の顔データセットを構築し、該第２の顔データセットを予め設定されたメモリに記録して呼び出しに備える。

尚、本願の実施例において、前記第１タイプの顔画像と前記第２タイプの顔画像は、いずれも身分証明書顔写真であることが可能であるが、前記第１タイプの顔画像と前記第２タイプの顔画像とは全て異なり、例えば、身分証明書顔写真Ａが第１タイプの顔画像に属すれば、身分証明書顔写真Ａが第２タイプの顔画像に属さない。すなわち、第１の顔データセット内の顔画像と第２の顔データセット内の顔画像とは重複しない。

さらに、前記第３の構築ユニット３０６２が第２の顔データセットに対応する第３タイプの顔画像を取得することは、身分証明書顔写真（すなわち、第２の顔データセット内の第２タイプの顔画像）に対応する自分撮り顔写真（すなわち、第３タイプの顔画像）を取得し、前記自分撮り顔写真に基づいて自分撮り顔写真のデータセットを構築する。

その後、前記第３の構築ユニット３０６２は、第２の顔データセット及び第３の顔データセットを用いて、顔認証畳み込みニューラルネットワークトレーニングを行うことにより、第１の顔認証モデルを生成し、該第１の顔認証モデルに基づいて、予め設定された網状模様除去顔認証モデルを生成し、図３ｂに示すように、前記顔認証装置は、さらに、第２の合成ユニット３０７１、第２の網状模様除去ユニット３０７２、微調整ユニット３０７３及び第２の決定ユニット３０７４を含み、予め設定された網状模様除去顔認証モデルを生成するように構成され、具体的には、
前記第２の合成ユニット３０７１は、予め設定された網状模様ウォーターマークに基づいて、前記第２の顔データセットを合成して、第２の網状模様付き顔データセットを取得するように構成され、前記第２の網状模様除去ユニット３０７２は、前記網状模様除去モデルを用いて、前記第２の網状模様付き顔データセット内の各画像に網状模様除去操作を行って、網状模様除去顔データセットを生成するように構成され、
前記微調整ユニット３０７３は、前記網状模様除去顔データセット及び前記第３の顔データセットに基づいて、前記第１の顔認証モデルに対してネットワーク微調整を行って、第２の顔認証モデルを生成するように構成され、前記第２の決定ユニット３０７４は、前記第２の顔認証モデルを予め設定された網状模様除去顔認証モデルとして決定するように構成される。

一実施形態として、前記第２の合成ユニット３０７１は、予め設定された網状模様ウォーターマークに基づいて、取得された第２の顔データセット内の第２タイプの顔画像に網状模様ウォーターマークを加えることにより、第２の網状模様付き顔データセットを取得し、次に、前記第２の網状模様除去ユニット３０７２は、取得された網状模様除去モデルを用いて、該第２の網状模様付き顔データセット内の各画像に網状模様除去操作を行い、最後に、前記微調整ユニット３０７３は、網状模様除去顔データセット及び第３の顔データセットに基づいて、取得された第１の顔認証モデルに対してネットワーク微調整を行うことにより、第２の顔認証モデルを生成し、前記第２の決定ユニット３０７４は、前記第２の顔認証モデルを予め設定された網状模様除去顔認証モデルとして決定する。

該実施例において、第１の顔認証モデルは、「第２タイプの顔−第３タイプの顔」の認証モデル、例えば「身分証明書顔−自分撮り顔」の認証モデルと理解でき、第２の顔認証モデルは、「網状模様除去顔−第３タイプの顔」の認証モデル、例えば「網状模様除去身分証明書顔−自分撮り顔」の認証モデルと理解できる。

理解されるように、顔認証畳み込みニューラルネットワークは、具体的に従来のディープニューラルネットワークの顔認証アルゴリズムを参照して実現し、ネットワークのトレーニング方式及びネットワーク微調整の方式は、従来のディープニューラルネットワークのトレーニングフレームを参照して実現することができ、ここでは特に説明しない。

具体的には、前記認証ユニット３０４は、
前記網状模様除去顔特徴と前記初期の顔特徴との間の類似度を計算して、類似値を取得するように構成される計算サブユニット３０４１と、前記類似値に基づいて、対応する網状模様除去顔画像と初期の顔画像とが同一人物に属するか否かを判断するように構成される判断サブユニット３０４２と、
同一人物に属すると判断すれば、顔認証成功と決定するように構成される第１の決定サブユニット３０４３と、同一人物に属していないと判断すれば、顔認証失敗と決定するように構成された第２の決定サブユニット３０４４と、を含む。

一実施形態として、前記網状模様除去顔特徴と前記初期の顔特徴との間の類似度を取得するために、前記計算サブユニット３０４１は、前記網状模様除去顔特徴及び前記初期の顔特徴に対して特徴距離計算を行う。

前記判断サブユニット３０４２は、前記類似値が予め設定された閾値を越えていれば、対応する網状模様除去顔画像と初期の顔画像とが同一人物に属すると決定し、前記類似値が予め設定された閾値を越えていなければ、対応する網状模様除去顔画像と初期の顔画像とが同一人物に属していないと決定するように構成される。

いくつかの実施形態において、前記計算サブユニット３０４１は、ユークリッド距離アルゴリズム、コサイン距離アルゴリズム、統合ベイズアルゴリズム、及び距離計量学習アルゴリズムのうちのいずれかを用いて、前記網状模様除去顔特徴と前記初期の顔特徴との間の類似度を計算するように構成される。

類似値が予め設定された閾値を越えていれば、対応する網状模様除去顔画像と初期の顔画像とが同一人物に属すると決定し、すなわち、顔認証装置は顔認証成功と決定し、類似値が予め設定された閾値を越えていなければ、対応する網状模様除去顔画像と初期の顔画像とが同一人物に属していないと決定し、すなわち、顔認証装置は顔認証失敗と決定する。

具体的に実施する場合、以上の各ユニットは、独立したエンティティとして実現されてもよいし、任意に組み合わせて、同一又はいくつかのエンティティとして実現されてもよく、以上の各ユニットの具体的な実施は、上述した方法の実施例を参照することができ、ここでは詳細な説明を省略する。

該顔認証装置は、具体的には、サーバなどのネットワーク装置に集積されてもよい。

上記から分かるように、本願の実施例に係る顔認証装置は、まず、予め設定された網状模様除去モデルを用いて、認証すべき網状模様付き顔画像に網状模様除去操作を自動的に行って、網状模様除去顔画像を取得し、次に、予め設定された網状模様除去顔認証モデルにより、それぞれ網状模様除去顔画像と初期の顔画像の特徴を抽出して、網状模様除去顔特徴及び初期の顔特徴を取得し、最後に、網状模様除去顔特徴及び初期の顔特徴に基づいて、対応する網状模様除去顔画像及び初期の顔画像に対して顔認証を行い、すなわち、本願の実施例は、予めトレーニングされた網状模様除去モデル及び網状模様除去顔認証モデルに基づいて、認証すべき網状模様付き顔画像及び初期の顔画像に対して自動処理分析を行い、専門家の手動操作を必要とせず、網状模様付き顔画像と初期の顔画像とが同一人物であるか否かを自動的に判別でき、顔認証の効率及び精度を向上させる。

本願の実施例において、前記顔認証装置における取得ユニット３０１、第１の網状模様除去ユニット３０２、特徴抽出ユニット３０３、認証ユニット３０４、第１の構築ユニット３０５１、第１の合成ユニット３０５２、第１のトレーニングユニット３０５３、第１の決定ユニット３０５４、第２の構築ユニット３０６１、第３の構築ユニット３０６２、第２のトレーニングユニット３０６３、第２の合成ユニット３０７１、第２の網状模様除去ユニット３０７２、微調整ユニット３０７３及び第２の決定ユニット３０７４は、実際の応用において、いずれも中央処理装置（ＣＰＵ、Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）、デジタルシグナルプロセッサ（ＤＳＰ、Ｄｉｇｉｔａｌ Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｏｒ）、マイクロコントロールユニット（ＭＣＵ、Ｍｉｃｒｏｃｏｎｔｒｏｌｌｅｒ Ｕｎｉｔ）又はフィールドプログラマブルゲートアレイ（ＦＰＧＡ、Ｆｉｅｌｄ−Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）により実現することができる。

（実施例４）
本願の実施例は、さらに、実際の応用において、本願の実施例に係るサーバの概略構成図を示す図４に示すように、プロセッサ４０１と、前記プロセッサ４０１が実行可能な命令のデータが記憶されているメモリ４０２とを含み、前記命令が実行されると、前記プロセッサ４０１が、
認証すべき網状模様付き顔画像及び初期の顔画像を取得し、
予め設定された網状模様除去モデルを用いて、前記網状模様付き顔画像に網状模様除去操作を行って、網状模様除去顔画像を取得し、
予め設定された網状模様除去顔認証モデルにより、前記網状模様除去顔画像の特徴を抽出して、網状模様除去顔特徴を取得し、前記予め設定された網状模様除去顔認証モデルにより、前記初期の顔画像の特徴を抽出して、初期の顔特徴を取得し、
前記網状模様除去顔特徴及び前記初期の顔特徴に基づいて、対応する網状模様除去顔画像及び初期の顔画像に対して顔認証を行うように構成されるサーバにより実現される、顔認証装置を提供する。

具体的には：
前記サーバは、処理コアとなる一つ又は複数のプロセッサ４０１、コンピュータ可読記憶媒体である一つ又は複数のメモリ４０２、高周波（ＲＦ、Ｒａｄｉｏ Ｆｒｅｑｕｅｎｃｙ）回路４０３、電源４０４、入力ユニット４０５及び表示ユニット４０６などの部品を含む。当業者に理解されるように、図４に示すサーバ構成は、サーバを限定するものではなく、図示のものより多い若しくは少ない部品を含むか、又は一部の部品を組み合わせるか、又は異なった部品配置にすることができる。

プロセッサ４０１は、該サーバのコントロールセンタであり、様々なインタフェース及び回路を用いてサーバ全体の各部分に接続され、サーバ４０２内に記憶されたソフトウェアプログラム及び／又はモジュールを動作又は実行し、サーバ４０２内に記憶されたデータを呼び出すことにより、サーバの様々な機能を実行し、データを処理して、サーバ全体を監視する。一実施形態として、プロセッサ４０１は、一つ又は複数の処理コアを含み、例えば、プロセッサ４０１に、主にオペレーティングシステム、ユーザインタフェース及びアプリケーションプログラムなどを処理するアプリケーションプロセッサと、主に無線通信を処理するモデムプロセッサとが集積されることができる。上記モデムプロセッサはプロセッサ４０１に集積しなくてもよいことは理解されよう。

メモリ４０２は、ソフトウェアプログラム及びモジュールを記憶するように構成されることができ、プロセッサ４０１は、サーバ４０２内に記憶されたソフトウェアプログラム及びモジュールを実行することにより、様々な機能アプリケーション及びデータ処理を実行する。メモリ４０２は、主に、オペレーティングシステム、少なくとも一つの機能に必要なアプリケーションプログラム（例えば、音声再生機能、画像再生機能など）などを記憶できるプログラム記憶領域と、サーバの使用に応じて作成したデータなどを記憶できるデータ記憶領域とを含むことができる。また、メモリ４０２は、高速ランダムアクセスメモリを含んでもよいし、不揮発性メモリを含んでもよく、例えば、少なくとも一つのディスクストレージ、フラッシュメモリ、又は他の揮発性固体メモリである。それに応じて、メモリ４０２は、さらに、プロセッサ４０１からメモリ４０２へのアクセスを提供するメモリコントローラを含んでもよい。

ＲＦ回路４０３は、情報送受信の過程において、信号を送受信し、特に基地局からのダウンリンク情報を受信した後、一つの又は複数のプロセッサ４０１に送って処理し、また、アップリンクに関するデータを基地局に送信するように構成される。通常、ＲＦ回路４０３は、アンテナ、少なくとも一つアンプ、チューナー、一つ又は複数の発振器、加入者識別モジュール（ＳＩＭ）カード、送受信機、カプラ、低ノイズアンプ（ＬＮＡ、Ｌｏｗ Ｎｏｉｓｅ Ａｍｐｌｉｆｉｅｒ）、デュプレクサなどを含むが、これらに限定されない。また、ＲＦ回路４０３は、さらに、無線通信を介してネットワーク及び他の装置と通信することができる。前記無線通信は、モバイル通信用グローバルシステム（ＧＳＭ（登録商標）、Ｇｌｏｂａｌ Ｓｙｓｔｅｍ ｏｆ Ｍｏｂｉｌｅ ｃｏｍｍｕｎｉｃａｔｉｏｎ）、汎用パケット無線サービス（ＧＰＲＳ、Ｇｅｎｅｒａｌ Ｐａｃｋｅｔ Ｒａｄｉｏ Ｓｅｒｖｉｃｅ）、符号分割多元接続（ＣＤＭＡ、Ｃｏｄｅ Ｄｉｖｉｓｉｏｎ Ｍｕｌｔｉｐｌｅ Ａｃｃｅｓｓ）、広帯域符号分割多元接続（ＷＣＤＭＡ（登録商標）、Ｗｉｄｅｂａｎｄ Ｃｏｄｅ Ｄｉｖｉｓｉｏｎ Ｍｕｌｔｉｐｌｅ Ａｃｃｅｓｓ）、ロングタームエボリューション（ＬＴＥ、Ｌｏｎｇ Ｔｅｒｍ Ｅｖｏｌｕｔｉｏｎ）、電子メール、ショートメッセージサービス（ＳＭＳ、Ｓｈｏｒｔ Ｍｅｓｓａｇｉｎｇ Ｓｅｒｖｉｃｅ）などを含むが、これらに限定されないいずれかの通信規格又はプロトコルを使用することができる。

サーバは、さらに、各部品に給電する電源４０４（例えば電池）を含み、一実施形態として、電源は、電源管理システムを介してプロセッサ４０１に論理的に接続されることにより、電源管理システムを介して充電、放電、及び電力消費の管理などの機能を実現する。電源４０４は、さらに、一つの又は複数の直流又は交流電源、再充電システム、電源故障検出回路、電源用コンバータ又はインバータ、電源状態インジケータなどの任意の構成要素を含んでもよい。

サーバは、さらに、入力された数字又は文字情報を受信し、ユーザ設定及び機能制御に関するキーボード、マウス、操作レバー、光学又はトラックボールの信号入力を生成するように構成される入力ユニット４０５を含んでもよい。

サーバは、さらに、ユーザから入力された情報又はユーザに提供する情報、及びグラフィカル、テキスト、アイコン、ビデオ及びそれらの任意の組み合わせで構成されたサーバのグラフィカルユーザインタフェースを表示するように構成される表示ユニット４０６を含んでもよい。表示ユニット４０６は、表示パネルを含み、一実施形態として、液晶ディスプレイ（ＬＣＤ、ＬｉｑｕｉｄＣｒｙｓｔａｌＤｉｓｐｌａｙ）、有機発光ダイオード（ＯＬＥＤ、ＯｒｇａｎｉｃＬｉｇｈｔ−ＥｍｉｔｔｉｎｇＤｉｏｄｅ）などの形態で表示パネルを構成することができる。

具体的には、本実施例において、サーバ中のプロセッサ４０１は、
認証すべき網状模様付き顔画像及び初期の顔画像を取得し、予め設定された網状模様除去モデルを用いて、前記網状模様付き顔画像に網状模様除去操作を行って、網状模様除去顔画像を取得し、予め設定された網状模様除去顔認証モデルにより、前記網状模様除去顔画像の特徴を抽出して、網状模様除去顔特徴を取得し、前記予め設定された網状模様除去顔認証モデルにより、前記初期の顔画像の特徴を抽出して、初期の顔特徴を取得し、前記網状模様除去顔特徴及び前記初期の顔特徴に基づいて、対応する網状模様除去顔画像及び初期の顔画像に対して顔認証を行う、
という命令に応じて、一つ又は複数のアプリケーションプログラムのプロセスに対応する実行可能なファイルをメモリ４０２にロードすると共に、メモリ４０２に記憶されたアプリケーションプログラムをプロセッサ４０１により実行することにより、様々な機能を実現することができる。

一実施形態として、前記プロセッサ４０１は、さらに、第１タイプの顔画像を収集し、前記第１タイプの顔画像に基づいて第１の顔データセットを構築し、予め設定された網状模様ウォーターマークに基づいて、前記第１の顔データセットを合成して、第１の網状模様付き顔データセットを取得し、前記第１の顔データセット及び前記第１の網状模様付き顔データセットを用いて、網状模様除去畳み込みニューラルネットワークトレーニングを行って、網状模様除去モデルを生成し、前記網状模様除去モデルを予め設定された網状模様除去モデルとして決定するように構成されてもよい。

一実施形態として、前記プロセッサ４０１は、さらに、第２タイプの顔画像を収集し、前記第２タイプの顔画像に基づいて第２の顔データセットを構築し、前記第２の顔データセットに対応する第３タイプの顔画像を取得し、前記第３タイプの顔画像に基づいて第３の顔データセットを構築し、前記第２の顔データセット及び前記第３の顔データセットを用いて、顔認証畳み込みニューラルネットワークトレーニングを行って、第１の顔認証モデルを生成するように構成されてもよい。

一実施形態として、前記プロセッサ４０１は、さらに、予め設定された網状模様ウォーターマークに基づいて、前記第２の顔データセットを合成して、第２の網状模様付き顔データセットを取得し、前記網状模様除去モデルを用いて、前記第２の網状模様付き顔データセット内の各画像に網状模様除去操作を行って、網状模様除去顔データセットを生成し、前記網状模様除去顔データセット及び前記第３の顔データセットに基づいて、前記第１の顔認証モデルに対してネットワーク微調整を行って、第２の顔認証モデルを生成し、前記第２の顔認証モデルを予め設定された網状模様除去顔認証モデルとして決定するように構成されてもよい。

一実施形態として、前記プロセッサ４０１は、さらに、前記網状模様除去顔特徴と前記初期の顔特徴との間の類似度を計算して、類似値を取得し、前記類似値に基づいて、対応する網状模様除去顔画像と初期の顔画像とが同一人物に属するか否かを判断し、同一人物に属すると判断すれば、顔認証成功と決定し、同一人物に属していないと判断すれば、顔認証失敗と決定するように構成されてもよい。

一実施形態として、前記プロセッサ４０１は、さらに、前記類似値が予め設定された閾値を越えていれば、対応する網状模様除去顔画像と初期の顔画像とが同一人物に属すると決定し、前記類似値が予め設定された閾値を越えていなければ、対応する網状模様除去顔画像と初期の顔画像とが同一人物に属していないと決定するように構成されてもよい。

一実施形態として、前記プロセッサ４０１は、さらに、ユークリッド距離アルゴリズム、コサイン距離アルゴリズム、統合ベイズアルゴリズム、及び距離計量学習アルゴリズムのうちのいずれかを用いて、前記網状模様除去顔特徴と前記初期の顔特徴との間の類似度を計算するように構成されてもよい。

上記から分かるように、本願の実施例に係るサーバにおいて、まず、予め設定された網状模様除去モデルを用いて、認証すべき網状模様付き顔画像に網状模様除去操作を自動的に行って、網状模様除去顔画像を取得し、次に、予め設定された網状模様除去顔認証モデルにより、それぞれ網状模様除去顔画像と初期の顔画像の特徴を抽出して、網状模様除去顔特徴及び初期の顔特徴を取得し、最後に、網状模様除去顔特徴及び初期の顔特徴に基づいて、対応する網状模様除去顔画像及び初期の顔画像に対して顔認証を行い、すなわち、本願の実施例は、予めトレーニングされた網状模様除去モデル及び網状模様除去顔認証モデルに基づいて、認証すべき網状模様付き顔画像及び初期の顔画像に対して自動処理分析を行い、専門家の手動操作を必要とせず、網状模様付き顔画像と初期の顔画像とが同一人物であるか否かを自動的に判別でき、顔認証の効率及び精度を向上させる。

上記実施例において、各実施例に対する説明にはそれぞれ重点があり、ある実施例で詳しく説明していない部分は、上述した顔認証方法の詳細な説明を参照することができ、ここでは詳細な説明を省略する。

本願の実施例に係る顔認証装置は、例えば、コンピュータ、タブレットコンピュータ、タッチ機能を有する携帯電話などであり、上記実施例に記載の顔認証方法とは同じ考え方に基づいたものであり、前記顔認証装置に、前記顔認証方法の実施例に係るいずれかの方法を実行でき、その具体的な過程については前記顔認証方法の実施例を参照でき、ここでは詳細な説明を省略する。

本願によって提供されたいくつかの実施例において、開示されている方法及び装置は、他の方式で実現されてもよいことは理解されよう。以上説明した装置実施例は例示的なもので、例えば、前記モジュールの区画はロジック的な機能の区画であり、実際に実現する場合、他の区画方式にし、例えば、複数のモジュール又は部品を結合するか、他のシステムに集積するか、一部の特徴を無視するか、実行しないこともできる。そして、表示又は検討した各構成要素の間の通信接続は、インタフェース、装置又はモジュールを介した間接結合又は通信接続であってよく、電気的、機械的又は他の形態であってよい。

上記分離部品として説明したモジュールは、物理的に分離しても物理的に分離しなくてもよく、モジュールとして表す部品は、物理的モジュールであっても物理的モジュールではなくてもよく、一箇所に位置しても、複数のネットワークモジュールに分布してもよく、実際の需要に応じて、そのうちの一部又は全部のモジュールを選択して本実施例の技術手段の目的を実現することができる。

そして、本願の各実施例中の各機能モジュールは、一つの処理モジュールに集積しても、それぞれ一つのモジュールとして独立しても、二つ又はそれ以上のモジュールが一つのモジュールに集積してもよく、上記集積されたモジュールは、ハードウェアの形態で実現されても、ハードウェアにソフトウェア機能モジュールを加えた形態で実現されてもよい。

当業者に理解されるように、上記方法実施例を実現する全部又は一部のステップはプログラムにより関連ハードウェアを命令することで完了でき、前述のプログラムは、コンピュータ可読記憶媒体に記憶でき、該プログラムが実行されているとき、上記方法の実施例を含むステップを実行し、前述の記憶媒体は、リムーバブルストレージ、リードオンリーメモリ（ＲＯＭ、Ｒｅａｄ−ＯｎｌｙＭｅｍｏｒｙ）、磁気ディスク又はＣＤなどのプログラムコードを記憶できる様々な媒体を含む。

或いは、ソフトウェア機能モジュールの形態で実現され、独立した製品として販売又は使用される場合、本願の実施例に係る上記集積モジュールは、コンピュータ可読記憶媒体に記憶されてもよい。このような理解に基づいて、本願の技術手段は、本質的には、又はその従来技術に対する寄与を言えば、記憶媒体に記憶されて、コンピュータデバイス（例えば、パーソナルコンピュータ、サーバ又はネットワークデバイスなど）に本願の各実施形態に記載された方法の全て又は一部を実行させるいくつかの命令を含むるソフトウェア製品の形態で具現化される。前述の記憶媒体には、リムーバブルストレージ、ＲＯＭ、磁気ディスク又はＣＤなどのプログラムコードを記憶できる様々な媒体が含まれる。

本願の実施例に記載されるメモリ切替方法、装置は、ただ上記実施例を例とするが、これらに限定されず、当業者に理解されるように、前述の各実施形態において記載される技術手段に修正を行うか、又はその技術的特徴の全て又は一部に同等置換を行うことができ、これらの修正や置換に対応する技術手段の本質は、本願の実施例に係る技術手段の範囲から逸脱しない。

以上は、本願の好ましい実施例に過ぎず、本願の保護範囲を限定するものではない。

本願実施例の技術手段は、予めトレーニングされた網状模様除去モデル及び網状模様除去顔認証モデルに基づいて、認証すべき網状模様付き顔画像及び初期の顔画像に対して自動処理分析を行い、専門家の手動操作を必要とせず、網状模様付き顔画像と初期の顔画像とが同一人物であるか否かを自動的に判別でき、顔認証の効率及び精度を向上させる。

１１ サーバ
１２ ユーザ端末
１３ メモリ
３０１ 取得ユニット
３０２ 第１の網状模様除去ユニット
３０３ 特徴抽出ユニット
３０４ 認証ユニット
４０１ プロセッサ
４０２ メモリ
４０３ 高周波回路
４０４ 電源
４０５ 入力ユニット
４０６ 表示ユニット
３０４１ 計算サブユニット
３０４２ 判断サブユニット
３０４３ 第１の決定サブユニット
３０４４ 第２の決定サブユニット
３０５１ 第１の構築ユニット
３０５２ 第１の合成ユニット
３０５３ 第１のトレーニングユニット
３０５４ 第１の決定ユニット
３０６１ 第２の構築ユニット
３０６２ 第３の構築ユニット
３０６３ 第２のトレーニングユニット
３０７１ 第２の合成ユニット
３０７２ 第２の網状模様除去ユニット
３０７３ 微調整ユニット
３０７４ 第２の決定ユニット

関連出願の相互参照
本願は、２０１６年０４月２１日付けで出願された出願番号が２０１６１０２５０９０１．５である中国特許出願を基礎にして提出したものであり、当該中国特許出願の優先権を主張し、当該中国特許出願の内容は全て参考として本願に援用される。

本願は、通信の技術分野に属し、特に顔認証方法、装置及びコンピュータ記憶媒体に関する。

インターネット技術の急速な発展に伴って、顔認証によりユーザアカウントのセキュリティを確保することが非常に重要になっている。顔認証は、顔認識の一分野であり、顔認証アルゴリズムを用いて、二つの顔写真を自動的に認証して、同一人物であるか否かを判別することができる。このような方式は、インターネット金融などの複数のシーンでのユーザの顔による身分チェックに用いられる。

現在、国民のプライバシーの安全性を保護するために、写真を外部に配信する場合に網状模様ウォーターマークを加えることにより、身分証明書顔写真、社会保障カード顔写真、通行証顔写真などの証明写真のような網状模様付き写真を取得する。網状模様付き写真に対して顔認証を行う場合、専門家がノイズ除去アルゴリズムを用いて網状模様付き写真の網状模様を除去し、次に網状模様除去後の写真を修復することで初めて、最後に網状模様除去後の写真を認証できるようになっている。

従来技術に対する研究及び実践過程において、従来の網状模様を除去する画像処理方式が手動で操作する必要があり、操作者には高い専門知識が要求されるので、顔認証の効率が低く、顔認証の精度が低いという問題がある。

本願の実施例は、顔認証の効率及び精度を向上させるために、顔認証方法、装置及びコンピュータ記憶媒体を提供することが望まれていた。

上記技術的問題を解決するために、本願の実施例は、以下のような技術手段を提供する。

本願の実施例は、
認証すべき網状模様付き顔画像及び初期の顔画像を取得することと、
予め設定された網状模様除去モデルを用いて、前記網状模様付き顔画像に網状模様除去操作を行って、網状模様除去顔画像を取得することと、
予め設定された網状模様除去顔認証モデルにより、前記網状模様除去顔画像の特徴を抽出して、網状模様除去顔特徴を取得し、前記予め設定された網状模様除去顔認証モデルにより、前記初期の顔画像の特徴を抽出して、初期の顔特徴を取得することと、
前記網状模様除去顔特徴及び前記初期の顔特徴に基づいて、前記網状模様除去顔画像及び初期の顔画像に対して顔認証を行うことと、を含む顔認証方法を提供する。

本願の実施例は、さらに、
認証すべき網状模様付き顔画像及び初期の顔画像を取得するように構成される取得ユニットと、
予め設定された網状模様除去モデルを用いて、前記取得ユニットにより取得された網状模様付き顔画像に網状模様除去操作を行って、網状模様除去顔画像を取得するように構成される第１の網状模様除去ユニットと、
予め設定された網状模様除去顔認証モデルにより、前記網状模様除去顔画像の特徴を抽出して、網状模様除去顔特徴を取得し、前記予め設定された網状模様除去顔認証モデルにより、前記初期の顔画像の特徴を抽出するして、初期の顔特徴を取得するように構成される特徴抽出ユニットと、
前記網状模様除去顔特徴及び前記初期の顔特徴に基づいて、前記網状模様除去顔画像及び初期の顔画像に対して顔認証を行うように構成される認証ユニットと、を含む顔認証装置を提供する。

本願の実施例は、さらに、プロセッサと、前記プロセッサが実行可能な命令のデータが記憶されているメモリとを含み、前記命令が実行されると、前記プロセッサが、
認証すべき網状模様付き顔画像及び初期の顔画像を取得し、
予め設定された網状模様除去モデルを用いて、前記網状模様付き顔画像に網状模様除去操作を行って、網状模様除去顔画像を取得し、
予め設定された網状模様除去顔認証モデルにより、前記網状模様除去顔画像の特徴を抽出して、網状模様除去顔特徴を取得し、前記予め設定された網状模様除去顔認証モデルにより、前記初期の顔画像の特徴を抽出して、初期の顔特徴を取得し、
前記網状模様除去顔特徴及び前記初期の顔特徴に基づいて、前記網状模様除去顔画像及び初期の顔画像に対して顔認証を行うように構成される顔認証装置を提供する。

本願の実施例は、さらに、本願の実施例に記載の顔認証方法を実行するためのコンピュータ実行可能命令が記憶されているコンピュータ記憶媒体を提供する。

以下、図面に合わせて、本願を実施するための形態について詳しく説明することにより、本願の技術手段と他の有益な効果が明らかになる。
本願の実施例に係る顔認証方法のシーン概略図である。 本願の第１実施例に係る顔認証方法の概略フローチャートである。 本願の第１実施例に係る顔認証方法における網状模様付き顔画像の概略図である。 本願の第２実施例に係る顔認証方法の概略フローチャートである。 本願の第２実施例に係る顔認証方法の詳細なフローチャートである。 本願の第２実施例に係る顔認証方法の詳細なフローチャートである。 本願の第２実施例に係る顔認証方法の詳細なフローチャートである。 本願の第２実施例に係る顔認証方法の詳細なフローチャートである。 本願の第３実施例に係る顔認証装置の概略構成図である。 本願の第３実施例に係る顔認証装置の別の概略構成図である。 本願の第４実施例に係るサーバの概略構成図である。

図に示すように、同様の構成要素には同一の構成要素符号を付し、本願の原理は、適切なコンピューティング環境に実施することを例として説明する。以下の説明は、例示した本願の具体的な実施例に基づくもので、ここで詳述していない本願の他の具体的な実施例を限定するものではない。

以下の説明において、特に断らない限り、一つ又は複数のコンピュータによって実行されるステップ及び符号を参照して、本願の具体的な実施例を説明する。よって、これらのステップ及び操作については、コンピュータによって実行されると複数回言及され、本明細書においてコンピュータによって実行されることには、コンピュータの処理ユニットによる、構造化された形でデータを表す電気信号の操作を含む。この操作は、該データを変換するか、又は該コンピュータのメモリシステム内の位置にデータを維持し、該コンピュータの動作を最構成するか又は当業者に周知の方式で変更する。該データが維持されるデータ構造は、該データフォーマットによって定義される特定のプロパティを持つ該メモリの物理的位置である。しかし、本願の原理は、上記文字で説明しているが、制限的なものではなく、当業者によって理解されるように、下述した各種のステップ及び操作はハードウェアに実装することも可能である。

本願の実施例において用いられた「モジュール」という用語は、該コンピューティングシステムで実行されるソフトウェアオブジェクトとみなされる。本願の実施例に記載される様々な構成要素、モジュール、エンジン及びサービスは、該コンピューティングシステムでの実施オブジェクトとみなされる。本願の実施例に記載される装置及び方法は、ソフトウェアの形態で実施してもよく、当然のことながら、ハードウェアで実施してもよく、いずれも本願の実施例の特許請求の範囲内に含まれる。

本願の実施例は、顔認証方法及び装置を提供する。

本願の実施例に係る顔認証方法のシーン概略図を示す図１ａのように、該シーンはサーバ１１を含み、前記サーバ１１は、主に認証すべき網状模様付き顔画像及び初期の顔画像を取得して、まず、予め設定された網状模様除去モデルを用いて、前記網状模様付き顔画像に網状模様除去操作を行って、網状模様除去顔画像を取得し、次に、予め設定された網状模様除去顔認証モデルにより、前記網状模様除去顔画像の特徴を抽出して、網状模様除去顔特徴を取得し、前記予め設定された網状模様除去顔認証モデルにより、前記初期の顔画像の特徴を抽出して、初期の顔特徴を取得し、最後に、前記網状模様除去顔特徴及び前記初期の顔特徴に基づいて、前記網状模様除去顔画像及び初期の顔画像に対して顔認証を行うなどのための、本願の実施例に記載の顔認証装置を含む。

また、該シーンは、さらに、主に予め設定された網状模様除去モデル及び予め設定された網状模様除去顔認証モデルを記憶すると共に、それぞれ網状模様除去操作及び特徴抽出などを行うために、顔認証装置を含むサーバ１１による呼び出しに提供するメモリ１３を含む。当然のことながら、該シーンは、さらに、身分証明書顔写真及び自分撮り顔写真のようなユーザにより入力された顔認証すべき網状模様付き顔画像及び初期の顔画像を受信すると共に、顔認証装置を含むサーバ１１に送信して顔認証を行うユーザ端末１２を含む。

以下、それぞれ詳しく説明する。

（実施例１）
本実施例において、顔認証装置の観点から説明し、前記顔認証装置は、具体的には、サーバなどのネットワーク装置に集積されてもよい。

本願の第１実施例に係る顔認証方法の概略フローチャートを示す図１ｂのように、前記顔認証方法は、顔認証装置に適用されている。前記方法は、
認証すべき網状模様付き顔画像及び初期の顔画像を取得するステップＳ１０１と、
予め設定された網状模様除去モデルを用いて、前記網状模様付き顔画像に網状模様除去操作を行って、網状模様除去顔画像を取得するステップＳ１０２と、を含む。

前記ステップＳ１０１とステップＳ１０２は、具体的には、
一実施形態として、顔認証装置は、まず、認証すべき網状模様付き顔画像及び初期の顔画像を取得し、次に、該網状模様付き顔画像と初期の顔画像中の顔とが同一人物であるか否かを判別することで、顔認証を完了する。

本願の実施例において、網状模様付き顔画像の簡略化した概略図である図１ｃに示すように、網状模様付き顔画像とは、身分証明書顔写真、社会保障カード顔写真、通行証顔写真などの証明写真のような網状模様ウォーターマークを加えた顔写真を指し、初期の顔画像とは、ユーザ自分が撮影した顔写真のような網状模様ウォーターマークなしの顔写真を指す。

理解されるように、本願の実施例において、認証すべき網状模様付き顔画像及び初期の顔画像を取得する前に、予め設定された網状模様除去モデルを生成する必要があり、具体的には、
第１タイプの顔画像を収集し、前記第１タイプの顔画像に基づいて第１の顔データセットを構築するステップ１と、
予め設定された網状模様ウォーターマークに基づいて、前記第１の顔データセットを合成して、第１の網状模様付き顔データセットを取得するステップ２と、
前記第１の顔データセット及び前記第１の網状模様付き顔データセットを用いて、網状模様除去畳み込みニューラルネットワークトレーニングを行って、網状模様除去モデルを生成するステップ３と、
前記網状模様除去モデルを予め設定された網状模様除去モデルとして決定するステップ４と、を含む。

一実施形態として、顔認証装置は、複数の顔写真を収集し、収集された複数の顔写真を第１タイプの顔画像として決定し、第１タイプの顔画像に基づいて第１の顔データセットを構築し、前記第１の顔データセットを予め設定されたメモリに記録して呼び出しに備える。

さらに、顔認証装置は、予め設定された網状模様ウォーターマークを用いて、第１の顔データセット内の第１タイプの顔画像を合成し、すなわち、第１タイプの顔画像に網状模様ウォーターマークを加えることにより、第１の網状模様付き顔データセットを取得する。次に、顔認証装置は、該第１の顔データセット及び第１の網状模様付き顔データセットを用いて、網状模様除去畳み込みニューラルネットワークトレーニングを行うことにより、網状模様除去モデルを生成する。

網状模様除去畳み込みニューラルネットワーク（ＣＮＮ、ＣｏｎｖｏｌｕｔｉｏｎａｌＮｅｕｒａｌＮｅｔｗｏｒｋ）は、畳み込み層（ｃｏｎｖｏｌｕｔｉｏｎ）、バッチ正規化層（ｂａｔｃｈ＿ｎｏｒｍａｌｉｚａｔｉｏｎ）、逆畳み込み層（ｄｅｃｏｎｖｏｌｕｔｉｏｎ）などを含む。本願の実施例において、網状模様除去畳み込みニューラルネットワークトレーニングの最適化目標は、網状模様除去後の顔写真と対応する初期の顔写真との画素値の差分の絶対値和を最も小さくすることである。

理解されるように、具体的な畳み込み層、バッチ正規化層、逆畳み込み層の定義及び網状模様除去畳み込みニューラルネットワークのトレーニング方式は、従来のディープニューラルネットワークのトレーニングフレームを参照して実現することができ、ここでは特に説明しない。

尚、本願の実施例に用いられた「第１」、「第２」、「第３」などの用語は、ただ明細書中の各タイプの写真を区別するためのもので、各タイプの写真の間の論理的な関係又は順序関係などを表すものではない。

ステップＳ１０３で、予め設定された網状模様除去顔認証モデルにより、前記網状模様除去顔画像の特徴を抽出して、網状模様除去顔特徴を取得し、前記予め設定された網状模様除去顔認証モデルにより、前記初期の顔画像の特徴を抽出して、初期の顔特徴を取得する。

一実施形態として、顔認証装置は、網状模様除去顔認証モデルを予め生成し、メモリに記憶することができ、認証すべき網状模様付き顔画像に網状模様除去操作を行って、網状模様除去顔画像を取得した後、予め設定された網状模様除去顔認証モデルを呼び出して、それぞれ網状模様除去顔画像と初期の顔画像の特徴を抽出して、網状模様除去顔特徴及び初期の顔特徴を取得する。

本願の実施例において、特徴抽出は、コンピュータビジョン及び画像処理における概念である。それは、コンピュータを用いて画像情報を抽出し、画像の各点が一つの画像特徴に属するか否かを決定することを意味する。特徴抽出の結果としては、顔認証装置で特徴抽出の結果に基づいて比較し判別するために、画像上の点が、往々にして孤立した点、連続的な曲線又は連続的な領域に属する異なるサブセットに分けられている。

理解されるように、本願の実施例において、顔認証装置は、認証すべき網状模様付き顔画像及び初期の顔画像を取得する前に、第１の顔認証モデルを生成することで、該第１の顔認証モデルに基づいて、予め設定された網状模様除去顔認証モデルを生成する必要があり、第１の顔認証モデルを生成することは、具体的には、

第２タイプの顔画像を収集し、前記第２タイプの顔画像に基づいて第２の顔データセットを構築するステップａと、
前記第２の顔データセットに対応する第３タイプの顔画像を取得し、前記第３タイプの顔画像に基づいて第３の顔データセットを構築するステップｂと、
前記第２の顔データセット及び前記第３の顔データセットを用いて、顔認証畳み込みニューラルネットワークトレーニングを行って、第１の顔認証モデルを生成するステップｃと、を含む。

例えば、顔認証装置は、複数の顔写真を収集し、収集された複数の顔写真を第２タイプの顔画像として決定し、第２タイプの顔画像に基づいて第２の顔データセットを構築し、該第２の顔データセットを予め設定されたメモリに記録して呼び出しに備える。

尚、本願の実施例において、前記第１タイプの顔画像と前記第２タイプの顔画像は、いずれも身分証明書顔写真であることが可能であるが、前記第１タイプの顔画像と前記第２タイプの顔画像とは全て異なり、例えば、身分証明書顔写真Ａが第１タイプの顔画像に属すれば、身分証明書顔写真Ａが第２タイプの顔画像に属さない。すなわち、第１の顔データセット内の顔画像と第２の顔データセット内の顔画像とは重複しない。

さらに、ステップｂで、第２の顔データセットに対応する第３タイプの顔画像を取得することは、身分証明書顔写真（すなわち、第２の顔データセット内の第２タイプの顔画像）に対応する自分撮り顔写真（すなわち、第３タイプの顔画像）を取得し、前記自分撮り顔写真に基づいて自分撮り顔写真のデータセットを構築する。

その後、顔認証装置は、第２の顔データセット及び第３の顔データセットを用いて、顔認証畳み込みニューラルネットワークトレーニングを行うことにより、第１の顔認証モデルを生成し、該第１の顔認証モデルに基づいて、予め設定された網状模様除去顔認証モデルを生成し、網状模様除去顔認証モデルを生成することは、具体的には、
予め設定された網状模様ウォーターマークに基づいて、前記第２の顔データセットを合成して、第２の網状模様付き顔データセットを取得するステップｄと、
前記網状模様除去モデルを用いて、前記第２の網状模様付き顔データセット内の各画像に網状模様除去操作を行って、網状模様除去顔データセットを生成するステップｅと、
前記網状模様除去顔データセット及び前記第３の顔データセットに基づいて、前記第１の顔認証モデルに対してネットワーク微調整を行って、第２の顔認証モデルを生成するステップｆと、
前記第２の顔認証モデルを予め設定された網状模様除去顔認証モデルとして決定するステップｇと、を含む。

一実施形態として、顔認証装置は、予め設定された網状模様ウォーターマークに基づいて、ステップａで取得された第２の顔データセット内の第２タイプの顔画像に網状模様ウォーターマークを加えることにより、第２の網状模様付き顔データセットを取得し、次に、ステップ３で取得された網状模様除去モデルを用いて、該第２の網状模様付き顔データセット内の各画像に網状模様除去操作を行い、最後に、網状模様除去顔データセット及び第３の顔データセットに基づいて、ステップｃで取得された第１の顔認証モデルに対してネットワーク微調整を行うことにより、第２の顔認証モデル、すなわち、予め設定された網状模様除去顔認証モデルを生成する。

該実施例において、第１の顔認証モデルは、「第２タイプの顔−第３タイプの顔」の認証モデル、例えば「身分証明書顔−自分撮り顔」の認証モデルと理解し、第２の顔認証モデルは、「網状模様除去顔−第３タイプの顔」の認証モデル、例えば「網状模様除去身分証明書顔−自分撮り顔」の認証モデルと理解することができる。

理解されるように、顔認証畳み込みニューラルネットワークは、具体的には、従来のディープニューラルネットワークの顔認証アルゴリズムを参照して実現し、ネットワークのトレーニング方式は、従来のディープニューラルネットワークのトレーニングフレームを参照して実現することができ、ここでは特に説明しない。顔認証畳み込みニューラルネットワークモデルをトレーニングする場合、ループ繰り返しの方式を用いてネットワークモデルをトレーニングし、初回のトレーニングの場合、選択されたパラメータがランダムに初期化され、すなわち、ネットワークモデルの初期パラメータは、ランダムに設定されてもよく、ネットワーク微調整の方式は、ネットワーク構成が変わらない状況下で、今回トレーニングしたネットワークモデルのパラメータを次回のモデルトレーニングの初期値とし、今回トレーニングしたネットワークモデルのパラメータを次回のネットワークモデルトレーニングのパラメータとすることに基づいて、最終的な顔認証畳み込みニューラルネットワークを取得するまでトレーニングを継続することを含む。

ステップＳ１０４で、前記網状模様除去顔特徴及び前記初期の顔特徴に基づいて、前記網状模様除去顔画像及び初期の顔画像に対して顔認証を行う。

一実施形態として、顔認証装置が前記網状模様除去顔特徴及び前記初期の顔特徴に基づいて、前記網状模様除去顔画像及び初期の顔画像に対して顔認証を行う方式は、具体的には、
前記網状模様除去顔特徴と前記初期の顔特徴との間の類似度を計算して、類似値を取得するステップＳ１０４１と、
前記類似値に基づいて、前記網状模様除去顔画像と初期の顔画像とが同一人物に属するか否かを判断するステップＳ１０４２と、
同一人物に属すると判断すれば、顔認証成功と決定するステップＳ１０４３と、
同一人物に属していないと判断すれば、顔認証失敗と決定するステップＳ１０４４と、を含む。

例えば、網状模様除去顔認証装置は、前記網状模様除去顔特徴及び前記初期の顔特徴に対して特徴距離計算を行うことで、前記網状模様除去顔特徴と前記初期の顔特徴との間の類似度を取得する。

さらに、前記類似値に基づいて、前記網状模様除去顔画像と初期の顔画像とが同一人物に属するか否かを判断すること（すなわちステップＳ１０４２）は、具体的には、
前記類似値が予め設定された閾値を越えていれば、前記網状模様除去顔画像と初期の顔画像とが同一人物に属すると決定することと、
前記類似値が予め設定された閾値を越えていなければ、前記網状模様除去顔画像と初期の顔画像とが同一人物に属していないと決定することと、を含む。

いくつかの実施形態において、前記網状模様除去顔特徴と前記初期の顔特徴との間の類似度を計算すること（すなわちステップＳ１０４１）は、ユークリッド距離アルゴリズム、コサイン距離アルゴリズム、統合ベイズ（ｊｏｉｎｔ＿ｂａｙｅｓｉａｎ）アルゴリズム、及び距離計量学習アルゴリズムのうちのいずれかを用いて、前記網状模様除去顔特徴と前記初期の顔特徴との間の類似度を計算することを含む。

類似値が予め設定された閾値を越えていれば、前記網状模様除去顔画像と初期の顔画像とが同一人物に属すると決定し、すなわち、顔認証装置は顔認証成功と決定し、類似値が予め設定された閾値を越えていなければ、前記網状模様除去顔画像と初期の顔画像とが同一人物に属していないと決定し、すなわち、顔認証装置は顔認証失敗と決定する。

上記から分かるように、本願の実施例に係る顔認証方法は、まず、予め設定された網状模様除去モデルを用いて、認証すべき網状模様付き顔画像に網状模様除去操作を自動的に行って、網状模様除去顔画像を取得し、次に、予め設定された網状模様除去顔認証モデルにより、それぞれ網状模様除去顔画像と初期の顔画像の特徴を抽出して、網状模様除去顔特徴及び初期の顔特徴を取得し、最後に、網状模様除去顔特徴及び初期の顔特徴に基づいて、前記網状模様除去顔画像及び初期の顔画像に対して顔認証を行い、すなわち、本願の実施例は、予めトレーニングされた網状模様除去モデル及び網状模様除去顔認証モデルに基づいて、認証すべき網状模様付き顔画像及び初期の顔画像に対して自動処理分析を行い、専門家の手動操作を必要とせず、網状模様付き顔画像と初期の顔画像とが同一人物であるか否かを自動的に判別でき、顔認証の効率及び精度を向上させる。

（実施例２）
第１実施例に記載の方法に基づいて、以下、例を挙げて詳しく説明する。

本実施例において、網状模様付き身分証明書顔写真及びユーザの自分撮り顔写真を例にして、網状模様付き身分証明書顔写真及び自分撮り顔写真の認証過程について詳しく説明する。

図２ａは、本願の第２実施例に係る顔認証方法の概略フローチャートである。前記方法の流れは、主に、網状模様除去モデルを生成するステップＳ２１と、身分証明書顔−自分撮り顔の認証モデルを生成するステップＳ２２と、網状模様除去身分証明書顔−自分撮り顔の認証モデルを生成するステップＳ２３と、網状模様除去身分証明書顔画像−自分撮り顔画像を認証するステップＳ２４と、を含む。具体的には：
網状模様除去モデルを生成するステップＳ２１は、
本願に係る網状模様除去モデルを生成する概略フローチャートである図２ｂに示すように、以下ステップＳ２１１〜ステップＳ２１４を含む：
ステップＳ２１１、身分証明書顔写真データセット１を構築する。

例えば、顔認証装置は、身分証明書顔画像を収集し、該身分証明書顔画像に基づいて身分証明書顔写真データセット１を構築する。

ステップＳ２１２、網状模様付き身分証明書顔写真を生成する。

ステップＳ２１３、網状模様付き身分証明書顔写真データセット１を構築する。

一実施形態として、顔認証装置は、複数の網状模様ウォーターマークをランダムに選択して、身分証明書顔写真データセット１内の各顔写真に網状模様ウォーターマークを合成することにより、網状模様付き身分証明書顔写真データセット１を構築するための、複数の対応する網状模様付き身分証明書顔写真を取得する。

網状模様ウォーターマークの合成過程は、具体的には、複数の網状模様ウォーターマークを予め作成し、網状模様部分の画素値で身分証明書顔画像の画素値を直接的に置き換えるか、又はウォーターマークの画素値と身分証明書顔画像の画素値とを一定の割合でビニングする方式で網状模様付き身分証明書顔写真の合成を完了したりすることであり、ここでは特に限定しない。

ステップＳ２１４、網状模様除去畳み込みニューラルネットワークトレーニングを行って、網状模様除去モデルを生成する。

例えば、顔認証装置は、身分証明書顔写真データセット１及び対応する網状模様付き身分証明書顔写真データセット１を用いて、網状模様除去ＣＮＮネットワークトレーニングを行って、網状模様除去モデルを取得する。網状模様除去ＣＮＮネットワークは、畳み込み層、バッチ正規化層、逆畳み込み層などを含み、トレーニングの最適化目標は、網状模様除去後の身分証明書顔写真と対応する初期の身分証明書顔写真との画素値の差分の絶対値和を最も小さくすることである。

理解されるように、具体的な畳み込み層、バッチ正規化層、逆畳み込み層の定義及び網状模様除去畳み込みニューラルネットワークのトレーニング方式は、従来のディープニューラルネットワークのトレーニングフレームを参照して実現され、ここでは特に説明しない。

身分証明書顔−自分撮り顔の認証モデルを生成するステップＳ２２は、
本願に係る身分証明書顔−自分撮り顔の認証モデルを生成する概略フローチャートである図２ｃに示すように、以下ステップＳ２２１〜ステップＳ２２３を含む：
ステップＳ２２１、身分証明書顔写真データセット２を構築する。

一実施形態として、顔認証装置は、身分証明書顔画像を収集し、収集された身分証明書顔画像に基づいて身分証明書顔写真データセット２を構築する。

尚、本願の実施例において、前記身分証明書顔写真データセット１内の写真と前記身分証明書顔写真データセット２内の写真とは全て異なり、例えば、身分証明書顔写真Ａが身分証明書顔写真データセット１に属すれば、身分証明書顔写真Ａは身分証明書顔写真データセット２に属していない。すなわち、身分証明書顔写真データセット１内の顔画像と身分証明書顔写真データセット２内の顔画像とは重複しない。

ステップＳ２２２、自分撮り顔写真データセット１を構築する。

一実施形態として、顔認証装置は、身分証明書顔写真データセット２内の身分証明書顔写真に対応する人の自分撮り顔写真を収集し、自分撮り顔写真に基づいて自分撮り顔写真データセット１を構築する。

ステップＳ２２３、顔認証畳み込みニューラルネットワークトレーニングを行って、身分証明書顔−自分撮り顔の認証モデルを生成する。

一実施形態として、顔認証装置は、身分証明書顔写真データセット２及び自分撮り顔写真データセット１を用いて、ＣＮＮネットワークトレーニングを行って、「身分証明書顔−自分撮り顔」の認証モデルを取得する。

網状模様除去身分証明書顔−自分撮り顔の認証モデルを生成するステップＳ２３は、
本願の実施例に係る網状模様除去身分証明書顔−自分撮り顔の認証モデルを生成する概略フローチャートである図２ｄに示すように、以下ステップＳ２３１〜ステップＳ２３３を含む：
ステップＳ２３１、網状模様付き身分証明書顔写真データセット２を構築する。

例えば、顔認証装置は、身分証明書顔写真データセット２を用いて、網状模様付き身分証明書顔写真を生成し、網状模様付き身分証明書顔写真データセット２を構築する。網状模様付き身分証明書顔写真データセット２内の網状模様付き身分証明書顔写真の生成過程は、ステップＳ２１２及びステップＳ２１３と同様である。

ステップＳ２３２、網状模様付き身分証明書顔写真データセット２に網状模様除去操作を行って、網状模様除去身分証明書顔写真データセットを生成する。

一実施形態として、顔認証装置は、ステップＳ２１４で取得された網状模様除去モデルを用いて、網状模様付き身分証明書顔写真データセット２内の各画像に網状模様除去操作を行って、網状模様除去身分証明書顔写真データセットを生成する。

ステップＳ２３３、身分証明書顔−自分撮り顔の認証モデルに対してネットワーク微調整を行って、網状模様除去身分証明書顔−自分撮り顔の認証モデルを生成する。

一実施形態として、顔認証装置は、網状模様除去身分証明書顔写真データセット及び自分撮り顔写真データセット１を用いて、ステップＳ２２３で取得された「身分証明書顔−自分撮り顔」の認証モデルに対してネットワーク微調整を行って、「網状模様除去身分証明書顔−自分撮り顔」の認証モデルを取得する。

理解されるように、顔認証ＣＮＮネットワークは、具体的には、従来のディープニューラルネットワークの顔認証アルゴリズムを参照して実現し、ネットワークのトレーニング方式及びネットワーク微調整の方式は、従来のディープニューラルネットワークのトレーニングフレームを参照して実現することができ、ここでは特に説明しない。

網状模様除去身分証明書顔画像−自分撮り顔画像を認証するステップＳ２４は、
本願の実施例に係る網状模様付き身分証明書顔画像及び自分撮り顔画像を認証する概略フローチャートである図２ｅに示すように、以下ステップＳ２４１〜ステップＳ２４５を含む：
ステップＳ２４１、網状模様付き身分証明書顔写真に網状模様除去操作を行って、網状模様除去身分証明書顔写真を生成する。

一実施形態として、顔認証装置は、ステップＳ２１４で取得された網状模様除去モデルを用いて、入力された網状模様付き身分証明書顔写真に網状模様除去操作を行って、網状模様除去身分証明書顔写真を取得する。

ステップＳ２４２、網状模様除去身分証明書顔写真の特徴を抽出して、網状模様除去身分証明書顔特徴を取得する。

ステップＳ２４３、自分撮り顔写真の特徴を抽出して、自分撮り顔特徴を取得する。

さらに、顔認証装置は、ステップＳ２３３で取得された「網状模様除去身分証明書顔−自分撮り顔」の認証モデルを用いて、網状模様除去身分証明書顔写真の特徴を抽出して、網状模様除去身分証明書顔特徴を取得し、
ステップＳ２３３で取得された「網状模様除去身分証明書顔−自分撮り顔」の認証モデルを用いて、自分撮り顔写真の特徴を抽出することにより、自分撮り顔特徴を取得する。

ステップＳ２４４、網状模様除去身分証明書顔特徴及び自分撮り顔特徴に対して特徴距離計算を行う。

一実施形態として、顔認証装置は、網状模様除去身分証明書顔特徴と自分撮り顔特徴との間の類似度を計算する。類似度の計算は、ユークリッド距離、コサイン（ｃｏｓ）距離、又はより高度な統合ベイズアルゴリズム又は距離計量学習アルゴリズムなどを用いることができる。

ステップＳ２４５、計算結果に基づいて、顔認証結果を取得する。

一実施形態として、顔認証装置は、類似度計算結果と予め設定された閾値とを比較して、最終的な認証結果を取得して、網状模様付き身分証明書顔写真と自分撮り顔写真とが同一人物に属するか否かを判断する。

具体的には、類似度が予め設定された閾値を越えていれば、前記網状模様付き身分証明書顔写真と自分撮り顔写真とが同一人物に属すると決定し、すなわち、顔認証装置は顔認証成功と決定し、類似度が予め設定された閾値を越えていなければ、前記網状模様付き身分証明書顔写真と自分撮り顔写真とが同一人物に属していないと決定し、すなわち、顔認証装置は顔認証失敗と決定する。

尚、本実施例において、網状模様除去モデルの生成は、代わりに、従来の画像分割に画像補正に加える方式で実現でき、身分証明書顔−自分撮り顔の認証モデルの生成は、直接的に従来の高次元特徴方法で実現でき、網状模様除去身分証明書顔−自分撮り顔の認証モデルの生成は、従来の転移学習方法で実現でき、ここでは特に説明しない。

すなわち、本願の実施例は、網状模様付き身分証明書顔写真を予め処理し、予め処理した後の網状模様付き身分証明書顔写真と自分撮り顔写真を用いて顔認証モデルをトレーニングするという方法で、高精度の「網状模様付き身分証明書顔写真−自分撮り顔写真」の認証アルゴリズムを取得する。また、容易に想到できるように本実施例において、身分証明書顔写真は、パスポート顔写真、社会保障カード顔写真などのタイプの写真であってもよく、ここで例として挙げたものは、本願の実施例を限定するものではない。

上記から分かるように、本願の実施例に係る顔認証方法は、まず、予め設定された網状模様除去モデルを用いて、認証すべき網状模様付き顔画像に網状模様除去操作を自動的に行って、網状模様除去顔画像を取得し、次に、予め設定された網状模様除去顔認証モデルにより、それぞれ網状模様除去顔画像と初期の顔画像の特徴を抽出して、網状模様除去顔特徴及び初期の顔特徴を取得し、最後に、網状模様除去顔特徴及び初期の顔特徴に基づいて、前記網状模様除去顔画像及び初期の顔画像に対して顔認証を行い、すなわち、本願の実施例は、予めトレーニングされた網状模様除去モデル及び網状模様除去顔認証モデルに基づいて、認証すべき網状模様付き顔画像及び初期の顔画像に対して自動処理分析を行い、専門家の手動操作を必要とせず、網状模様付き顔画像と初期の顔画像とが同一人物であるか否かを自動的に判別でき、顔認証の効率及び精度を向上させる。

（実施例３）
本願の実施例に係る顔認証方法の実施をより容易に実施するために、本願の実施例は、さらに、上記顔認証方法に基づく装置を提供する。名詞の意味は、上記顔認証方法と同様であり、具体的な実施詳細は、方法の実施例の説明を参照することができる。

図３ａは、本願の実施例に係る、取得ユニット３０１、第１の網状模様除去ユニット３０２、特徴抽出ユニット３０３、及び認証ユニット３０４を含む顔認証装置の概略構成図である。

前記取得ユニット３０１は、認証すべき網状模様付き顔画像及び初期の顔画像を取得するように構成され、前記第１の網状模様除去ユニット３０２は、予め設定された網状模様除去モデルを用いて、前記取得ユニット３０１により取得された網状模様付き顔画像に網状模様除去操作を行って、網状模様除去顔画像を取得するように構成される。

一実施形態として、前記取得ユニット３０１は、まず、認証すべき網状模様付き顔画像及び初期の顔画像を取得し、次に、該網状模様付き顔画像と初期の顔画像中の顔とが同一人物であるか否かを判別することで、顔認証を完了する。

本願の実施例において、網状模様付き顔画像とは、身分証明書顔写真、社会保障カード顔写真、通行証顔写真などの証明写真のような網状模様ウォーターマークを加えた顔写真を指し、初期の顔画像とは、ユーザ自分が撮影した顔写真のような網状模様ウォーターマークなしの顔写真を指す。

前記特徴抽出ユニット３０３は、予め設定された網状模様除去顔認証モデルにより、前記網状模様除去顔画像の特徴を抽出して、網状模様除去顔特徴を取得し、前記予め設定された網状模様除去顔認証モデルにより、前記初期の顔画像の特徴を抽出して、初期の顔特徴を取得するように構成され、前記認証ユニット３０４は、前記網状模様除去顔特徴及び前記初期の顔特徴に基づいて、前記網状模様除去顔画像及び初期の顔画像に対して顔認証を行うように構成される。

理解されるように、本願の実施例において、認証すべき網状模様付き顔画像及び初期の顔画像を取得する前に、予め設定された網状模様除去モデルを生成する必要があり、顔認証装置の別の概略構成図である図３ｂに示すように、前記顔認証装置は、さらに、
第１の構築ユニット３０５１、第１の合成ユニット３０５２、第１のトレーニングユニット３０５３及び第１の決定ユニット３０５４を含み、予め設定された網状模様除去モデルを生成するように構成され、具体的には、
前記第１の構築ユニット３０５１は、第１タイプの顔画像を収集し、前記第１タイプの顔画像に基づいて第１の顔データセットを構築するように構成され、前記第１の合成ユニット３０５２は、予め設定された網状模様ウォーターマークに基づいて、前記第１の顔データセットを合成して、第１の網状模様付き顔データセットを取得するように構成され、
前記第１のトレーニングユニット３０５３は、前記第１の顔データセット及び前記第１の網状模様付き顔データセットを用いて、網状模様除去畳み込みニューラルネットワークトレーニングを行って、網状模様除去モデルを生成するように構成され、前記第１の決定ユニット３０５４は、前記網状模様除去モデルを予め設定された網状模様除去モデルとして決定するように構成される。

一実施形態として、前記第１の構築ユニット３０５１は、複数の顔写真を収集し、収集された複数の顔写真を第１タイプの顔画像として決定し、第１タイプの顔画像に基づいて第１の顔データセットを構築し、前記第１の顔データセットを予め設定されたメモリに記録して呼び出しに備える。

さらに、前記第１の合成ユニット３０５２は、予め設定された網状模様ウォーターマークを用いて、第１の顔データセット内の第１タイプの顔画像を合成し、すなわち、第１タイプの顔画像に網状模様ウォーターマークを加えることにより、第１の網状模様付き顔データセットを取得する。次に、前記第１のトレーニングユニット３０５３は、該第１の顔データセット及び第１の網状模様付き顔データセットを用いて、網状模様除去畳み込みニューラルネットワークトレーニングを行って、網状模様除去モデルを生成する。

網状模様除去畳み込みニューラルネットワークは、畳み込み層、バッチ正規化層、逆畳み込み層などを含む。本願の実施例において、網状模様除去畳み込みニューラルネットワークトレーニングの最適化目標は、網状模様除去後の顔写真と対応する初期の顔写真との画素値の差分の絶対値和を最も小さくすることである。

理解されるように、具体的な畳み込み層、バッチ正規化層、逆畳み込み層の定義及び網状模様除去畳み込みニューラルネットワークのトレーニング方式は、従来のディープニューラルネットワークのトレーニングフレームを参照して実現することができ、ここでは特に説明しない。

尚、本願の実施例に用いられた「第１」、「第２」、「第３」などの用語は、ただ明細書中の各タイプの写真を区別するためのもので、各タイプの写真の間の論理的な関係又は順序関係などを表すものではない。

一実施形態として、顔認証装置は、網状模様除去顔認証モデルを予め生成し、メモリに記憶することができ、認証すべき網状模様付き顔画像に網状模様除去操作を行って、網状模様除去顔画像を取得した後、予め設定された網状模様除去顔認証モデルを呼び出して、それぞれ網状模様除去顔画像と初期の顔画像の特徴を抽出して、網状模様除去顔特徴及び初期の顔特徴を取得する。

本願の実施例において、特徴抽出は、コンピュータビジョン及び画像処理における概念である。それは、コンピュータを用いて画像情報を抽出し、画像の各点が一つの画像特徴に属するか否かを決定することを意味する。特徴抽出の結果としては、顔認証装置で特徴抽出の結果に基づいて比較し判別するために、画像上の点が、往々にして孤立した点、連続的な曲線又は連続的な領域に属する異なるサブセットに分けられている。

理解されるように、本願の実施例において、顔認証装置は、認証すべき網状模様付き顔画像及び初期の顔画像を取得する前に、第１の顔認証モデルを生成することで、該第１の顔認証モデルに基づいて、予め設定された網状模様除去顔認証モデルを生成する必要があるが、図３ｂに示すように、前記顔認証装置は、さらに、第２の構築ユニット３０６１、第３の構築ユニット３０６２及び第２のトレーニングユニット３０６３を含み、第１の顔認証モデルを生成するように構成され、具体的には、
前記第２の構築ユニット３０６１は、第２タイプの顔画像を収集し、前記第２タイプの顔画像に基づいて第２の顔データセットを構築するように構成され、
前記第３の構築ユニット３０６２は、前記第２の顔データセットに対応する第３タイプの顔画像を取得し、前記第３タイプの顔画像に基づいて第３の顔データセットを構築するように構成され、前記第２のトレーニングユニット３０６３は、前記第２の顔データセット及び前記第３の顔データセットを用いて、顔認証畳み込みニューラルネットワークトレーニングを行って、第１の顔認証モデルを生成するように構成される。

一実施形態として、前記第２の構築ユニット３０６１は、複数の顔写真を収集し、収集された複数の顔写真を第２タイプの顔画像として決定し、第２タイプの顔画像に基づいて第２の顔データセットを構築し、該第２の顔データセットを予め設定されたメモリに記録して呼び出しに備える。

尚、本願の実施例において、前記第１タイプの顔画像と前記第２タイプの顔画像は、いずれも身分証明書顔写真であることが可能であるが、前記第１タイプの顔画像と前記第２タイプの顔画像とは全て異なり、例えば、身分証明書顔写真Ａが第１タイプの顔画像に属すれば、身分証明書顔写真Ａが第２タイプの顔画像に属さない。すなわち、第１の顔データセット内の顔画像と第２の顔データセット内の顔画像とは重複しない。

さらに、前記第３の構築ユニット３０６２が第２の顔データセットに対応する第３タイプの顔画像を取得することは、身分証明書顔写真（すなわち、第２の顔データセット内の第２タイプの顔画像）に対応する自分撮り顔写真（すなわち、第３タイプの顔画像）を取得し、前記自分撮り顔写真に基づいて自分撮り顔写真のデータセットを構築する。

その後、前記第３の構築ユニット３０６２は、第２の顔データセット及び第３の顔データセットを用いて、顔認証畳み込みニューラルネットワークトレーニングを行うことにより、第１の顔認証モデルを生成し、該第１の顔認証モデルに基づいて、予め設定された網状模様除去顔認証モデルを生成し、図３ｂに示すように、前記顔認証装置は、さらに、第２の合成ユニット３０７１、第２の網状模様除去ユニット３０７２、微調整ユニット３０７３及び第２の決定ユニット３０７４を含み、予め設定された網状模様除去顔認証モデルを生成するように構成され、具体的には、
前記第２の合成ユニット３０７１は、予め設定された網状模様ウォーターマークに基づいて、前記第２の顔データセットを合成して、第２の網状模様付き顔データセットを取得するように構成され、前記第２の網状模様除去ユニット３０７２は、前記網状模様除去モデルを用いて、前記第２の網状模様付き顔データセット内の各画像に網状模様除去操作を行って、網状模様除去顔データセットを生成するように構成され、
前記微調整ユニット３０７３は、前記網状模様除去顔データセット及び前記第３の顔データセットに基づいて、前記第１の顔認証モデルに対してネットワーク微調整を行って、第２の顔認証モデルを生成するように構成され、前記第２の決定ユニット３０７４は、前記第２の顔認証モデルを予め設定された網状模様除去顔認証モデルとして決定するように構成される。

一実施形態として、前記第２の合成ユニット３０７１は、予め設定された網状模様ウォーターマークに基づいて、取得された第２の顔データセット内の第２タイプの顔画像に網状模様ウォーターマークを加えることにより、第２の網状模様付き顔データセットを取得し、次に、前記第２の網状模様除去ユニット３０７２は、取得された網状模様除去モデルを用いて、該第２の網状模様付き顔データセット内の各画像に網状模様除去操作を行い、最後に、前記微調整ユニット３０７３は、網状模様除去顔データセット及び第３の顔データセットに基づいて、取得された第１の顔認証モデルに対してネットワーク微調整を行うことにより、第２の顔認証モデルを生成し、前記第２の決定ユニット３０７４は、前記第２の顔認証モデルを予め設定された網状模様除去顔認証モデルとして決定する。

該実施例において、第１の顔認証モデルは、「第２タイプの顔−第３タイプの顔」の認証モデル、例えば「身分証明書顔−自分撮り顔」の認証モデルと理解でき、第２の顔認証モデルは、「網状模様除去顔−第３タイプの顔」の認証モデル、例えば「網状模様除去身分証明書顔−自分撮り顔」の認証モデルと理解できる。

理解されるように、顔認証畳み込みニューラルネットワークは、具体的に従来のディープニューラルネットワークの顔認証アルゴリズムを参照して実現し、ネットワークのトレーニング方式及びネットワーク微調整の方式は、従来のディープニューラルネットワークのトレーニングフレームを参照して実現することができ、ここでは特に説明しない。

具体的には、前記認証ユニット３０４は、
前記網状模様除去顔特徴と前記初期の顔特徴との間の類似度を計算して、類似値を取得するように構成される計算サブユニット３０４１と、前記類似値に基づいて、前記網状模様除去顔画像と初期の顔画像とが同一人物に属するか否かを判断するように構成される判断サブユニット３０４２と、
同一人物に属すると判断すれば、顔認証成功と決定するように構成される第１の決定サブユニット３０４３と、同一人物に属していないと判断すれば、顔認証失敗と決定するように構成された第２の決定サブユニット３０４４と、を含む。

一実施形態として、前記網状模様除去顔特徴と前記初期の顔特徴との間の類似度を取得するために、前記計算サブユニット３０４１は、前記網状模様除去顔特徴及び前記初期の顔特徴に対して特徴距離計算を行う。

前記判断サブユニット３０４２は、前記類似値が予め設定された閾値を越えていれば、前記網状模様除去顔画像と初期の顔画像とが同一人物に属すると決定し、前記類似値が予め設定された閾値を越えていなければ、前記網状模様除去顔画像と初期の顔画像とが同一人物に属していないと決定するように構成される。

いくつかの実施形態において、前記計算サブユニット３０４１は、ユークリッド距離アルゴリズム、コサイン距離アルゴリズム、統合ベイズアルゴリズム、及び距離計量学習アルゴリズムのうちのいずれかを用いて、前記網状模様除去顔特徴と前記初期の顔特徴との間の類似度を計算するように構成される。

類似値が予め設定された閾値を越えていれば、前記網状模様除去顔画像と初期の顔画像とが同一人物に属すると決定し、すなわち、顔認証装置は顔認証成功と決定し、類似値が予め設定された閾値を越えていなければ、前記網状模様除去顔画像と初期の顔画像とが同一人物に属していないと決定し、すなわち、顔認証装置は顔認証失敗と決定する。

具体的に実施する場合、以上の各ユニットは、独立したエンティティとして実現されてもよいし、任意に組み合わせて、同一又はいくつかのエンティティとして実現されてもよく、以上の各ユニットの具体的な実施は、上述した方法の実施例を参照することができ、ここでは詳細な説明を省略する。

該顔認証装置は、具体的には、サーバなどのネットワーク装置に集積されてもよい。

上記から分かるように、本願の実施例に係る顔認証装置は、まず、予め設定された網状模様除去モデルを用いて、認証すべき網状模様付き顔画像に網状模様除去操作を自動的に行って、網状模様除去顔画像を取得し、次に、予め設定された網状模様除去顔認証モデルにより、それぞれ網状模様除去顔画像と初期の顔画像の特徴を抽出して、網状模様除去顔特徴及び初期の顔特徴を取得し、最後に、網状模様除去顔特徴及び初期の顔特徴に基づいて、前記網状模様除去顔画像及び初期の顔画像に対して顔認証を行い、すなわち、本願の実施例は、予めトレーニングされた網状模様除去モデル及び網状模様除去顔認証モデルに基づいて、認証すべき網状模様付き顔画像及び初期の顔画像に対して自動処理分析を行い、専門家の手動操作を必要とせず、網状模様付き顔画像と初期の顔画像とが同一人物であるか否かを自動的に判別でき、顔認証の効率及び精度を向上させる。

本願の実施例において、前記顔認証装置における取得ユニット３０１、第１の網状模様除去ユニット３０２、特徴抽出ユニット３０３、認証ユニット３０４、第１の構築ユニット３０５１、第１の合成ユニット３０５２、第１のトレーニングユニット３０５３、第１の決定ユニット３０５４、第２の構築ユニット３０６１、第３の構築ユニット３０６２、第２のトレーニングユニット３０６３、第２の合成ユニット３０７１、第２の網状模様除去ユニット３０７２、微調整ユニット３０７３及び第２の決定ユニット３０７４は、実際の応用において、いずれも中央処理装置（ＣＰＵ、Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）、デジタルシグナルプロセッサ（ＤＳＰ、Ｄｉｇｉｔａｌ Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｏｒ）、マイクロコントロールユニット（ＭＣＵ、Ｍｉｃｒｏｃｏｎｔｒｏｌｌｅｒ Ｕｎｉｔ）又はフィールドプログラマブルゲートアレイ（ＦＰＧＡ、Ｆｉｅｌｄ−Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）により実現することができる。

（実施例４）
本願の実施例は、さらに、実際の応用において、本願の実施例に係るサーバの概略構成図を示す図４に示すように、プロセッサ４０１と、前記プロセッサ４０１が実行可能な命令のデータが記憶されているメモリ４０２とを含み、前記命令が実行されると、前記プロセッサ４０１が、
認証すべき網状模様付き顔画像及び初期の顔画像を取得し、
予め設定された網状模様除去モデルを用いて、前記網状模様付き顔画像に網状模様除去操作を行って、網状模様除去顔画像を取得し、
予め設定された網状模様除去顔認証モデルにより、前記網状模様除去顔画像の特徴を抽出して、網状模様除去顔特徴を取得し、前記予め設定された網状模様除去顔認証モデルにより、前記初期の顔画像の特徴を抽出して、初期の顔特徴を取得し、
前記網状模様除去顔特徴及び前記初期の顔特徴に基づいて、前記網状模様除去顔画像及び初期の顔画像に対して顔認証を行うように構成されるサーバにより実現される、顔認証装置を提供する。

具体的には：
前記サーバは、処理コアとなる一つ又は複数のプロセッサ４０１、コンピュータ可読記憶媒体である一つ又は複数のメモリ４０２、高周波（ＲＦ、Ｒａｄｉｏ Ｆｒｅｑｕｅｎｃｙ）回路４０３、電源４０４、入力ユニット４０５及び表示ユニット４０６などの部品を含む。当業者に理解されるように、図４に示すサーバ構成は、サーバを限定するものではなく、図示のものより多い若しくは少ない部品を含むか、又は一部の部品を組み合わせるか、又は異なった部品配置にすることができる。

プロセッサ４０１は、該サーバのコントロールセンタであり、様々なインタフェース及び回路を用いてサーバ全体の各部分に接続され、サーバ４０２内に記憶されたソフトウェアプログラム及び／又はモジュールを動作又は実行し、サーバ４０２内に記憶されたデータを呼び出すことにより、サーバの様々な機能を実行し、データを処理して、サーバ全体を監視する。一実施形態として、プロセッサ４０１は、一つ又は複数の処理コアを含み、例えば、プロセッサ４０１に、主にオペレーティングシステム、ユーザインタフェース及びアプリケーションプログラムなどを処理するアプリケーションプロセッサと、主に無線通信を処理するモデムプロセッサとが集積されることができる。上記モデムプロセッサはプロセッサ４０１に集積しなくてもよいことは理解されよう。

メモリ４０２は、ソフトウェアプログラム及びモジュールを記憶するように構成されることができ、プロセッサ４０１は、サーバ４０２内に記憶されたソフトウェアプログラム及びモジュールを実行することにより、様々な機能アプリケーション及びデータ処理を実行する。メモリ４０２は、主に、オペレーティングシステム、少なくとも一つの機能に必要なアプリケーションプログラム（例えば、音声再生機能、画像再生機能など）などを記憶できるプログラム記憶領域と、サーバの使用に応じて作成したデータなどを記憶できるデータ記憶領域とを含むことができる。また、メモリ４０２は、高速ランダムアクセスメモリを含んでもよいし、不揮発性メモリを含んでもよく、例えば、少なくとも一つのディスクストレージ、フラッシュメモリ、又は他の揮発性固体メモリである。それに応じて、メモリ４０２は、さらに、プロセッサ４０１からメモリ４０２へのアクセスを提供するメモリコントローラを含んでもよい。

ＲＦ回路４０３は、情報送受信の過程において、信号を送受信し、特に基地局からのダウンリンク情報を受信した後、一つの又は複数のプロセッサ４０１に送って処理し、また、アップリンクに関するデータを基地局に送信するように構成される。通常、ＲＦ回路４０３は、アンテナ、少なくとも一つアンプ、チューナー、一つ又は複数の発振器、加入者識別モジュール（ＳＩＭ）カード、送受信機、カプラ、低ノイズアンプ（ＬＮＡ、Ｌｏｗ Ｎｏｉｓｅ Ａｍｐｌｉｆｉｅｒ）、デュプレクサなどを含むが、これらに限定されない。また、ＲＦ回路４０３は、さらに、無線通信を介してネットワーク及び他の装置と通信することができる。前記無線通信は、モバイル通信用グローバルシステム（ＧＳＭ（登録商標）、Ｇｌｏｂａｌ Ｓｙｓｔｅｍ ｏｆ Ｍｏｂｉｌｅ ｃｏｍｍｕｎｉｃａｔｉｏｎ）、汎用パケット無線サービス（ＧＰＲＳ、Ｇｅｎｅｒａｌ Ｐａｃｋｅｔ Ｒａｄｉｏ Ｓｅｒｖｉｃｅ）、符号分割多元接続（ＣＤＭＡ、Ｃｏｄｅ Ｄｉｖｉｓｉｏｎ Ｍｕｌｔｉｐｌｅ Ａｃｃｅｓｓ）、広帯域符号分割多元接続（ＷＣＤＭＡ（登録商標）、Ｗｉｄｅｂａｎｄ Ｃｏｄｅ Ｄｉｖｉｓｉｏｎ Ｍｕｌｔｉｐｌｅ Ａｃｃｅｓｓ）、ロングタームエボリューション（ＬＴＥ、Ｌｏｎｇ Ｔｅｒｍ Ｅｖｏｌｕｔｉｏｎ）、電子メール、ショートメッセージサービス（ＳＭＳ、Ｓｈｏｒｔ Ｍｅｓｓａｇｉｎｇ Ｓｅｒｖｉｃｅ）などを含むが、これらに限定されないいずれかの通信規格又はプロトコルを使用することができる。

サーバは、さらに、各部品に給電する電源４０４（例えば電池）を含み、一実施形態として、電源は、電源管理システムを介してプロセッサ４０１に論理的に接続されることにより、電源管理システムを介して充電、放電、及び電力消費の管理などの機能を実現する。電源４０４は、さらに、一つの又は複数の直流又は交流電源、再充電システム、電源故障検出回路、電源用コンバータ又はインバータ、電源状態インジケータなどの任意の構成要素を含んでもよい。

サーバは、さらに、入力された数字又は文字情報を受信し、ユーザ設定及び機能制御に関するキーボード、マウス、操作レバー、光学又はトラックボールの信号入力を生成するように構成される入力ユニット４０５を含んでもよい。

サーバは、さらに、ユーザから入力された情報又はユーザに提供する情報、及びグラフィカル、テキスト、アイコン、ビデオ及びそれらの任意の組み合わせで構成されたサーバのグラフィカルユーザインタフェースを表示するように構成される表示ユニット４０６を含んでもよい。表示ユニット４０６は、表示パネルを含み、一実施形態として、液晶ディスプレイ（ＬＣＤ、ＬｉｑｕｉｄＣｒｙｓｔａｌＤｉｓｐｌａｙ）、有機発光ダイオード（ＯＬＥＤ、ＯｒｇａｎｉｃＬｉｇｈｔ−ＥｍｉｔｔｉｎｇＤｉｏｄｅ）などの形態で表示パネルを構成することができる。

具体的には、本実施例において、サーバ中のプロセッサ４０１は、
認証すべき網状模様付き顔画像及び初期の顔画像を取得し、予め設定された網状模様除去モデルを用いて、前記網状模様付き顔画像に網状模様除去操作を行って、網状模様除去顔画像を取得し、予め設定された網状模様除去顔認証モデルにより、前記網状模様除去顔画像の特徴を抽出して、網状模様除去顔特徴を取得し、前記予め設定された網状模様除去顔認証モデルにより、前記初期の顔画像の特徴を抽出して、初期の顔特徴を取得し、前記網状模様除去顔特徴及び前記初期の顔特徴に基づいて、前記網状模様除去顔画像及び初期の顔画像に対して顔認証を行う、
という命令に応じて、一つ又は複数のアプリケーションプログラムのプロセスに対応する実行可能なファイルをメモリ４０２にロードすると共に、メモリ４０２に記憶されたアプリケーションプログラムをプロセッサ４０１により実行することにより、様々な機能を実現することができる。

一実施形態として、前記プロセッサ４０１は、さらに、第１タイプの顔画像を収集し、前記第１タイプの顔画像に基づいて第１の顔データセットを構築し、予め設定された網状模様ウォーターマークに基づいて、前記第１の顔データセットを合成して、第１の網状模様付き顔データセットを取得し、前記第１の顔データセット及び前記第１の網状模様付き顔データセットを用いて、網状模様除去畳み込みニューラルネットワークトレーニングを行って、網状模様除去モデルを生成し、前記網状模様除去モデルを予め設定された網状模様除去モデルとして決定するように構成されてもよい。

一実施形態として、前記プロセッサ４０１は、さらに、第２タイプの顔画像を収集し、前記第２タイプの顔画像に基づいて第２の顔データセットを構築し、前記第２の顔データセットに対応する第３タイプの顔画像を取得し、前記第３タイプの顔画像に基づいて第３の顔データセットを構築し、前記第２の顔データセット及び前記第３の顔データセットを用いて、顔認証畳み込みニューラルネットワークトレーニングを行って、第１の顔認証モデルを生成するように構成されてもよい。

一実施形態として、前記プロセッサ４０１は、さらに、予め設定された網状模様ウォーターマークに基づいて、前記第２の顔データセットを合成して、第２の網状模様付き顔データセットを取得し、前記網状模様除去モデルを用いて、前記第２の網状模様付き顔データセット内の各画像に網状模様除去操作を行って、網状模様除去顔データセットを生成し、前記網状模様除去顔データセット及び前記第３の顔データセットに基づいて、前記第１の顔認証モデルに対してネットワーク微調整を行って、第２の顔認証モデルを生成し、前記第２の顔認証モデルを予め設定された網状模様除去顔認証モデルとして決定するように構成されてもよい。

一実施形態として、前記プロセッサ４０１は、さらに、前記網状模様除去顔特徴と前記初期の顔特徴との間の類似度を計算して、類似値を取得し、前記類似値に基づいて、前記網状模様除去顔画像と初期の顔画像とが同一人物に属するか否かを判断し、同一人物に属すると判断すれば、顔認証成功と決定し、同一人物に属していないと判断すれば、顔認証失敗と決定するように構成されてもよい。

一実施形態として、前記プロセッサ４０１は、さらに、前記類似値が予め設定された閾値を越えていれば、前記網状模様除去顔画像と初期の顔画像とが同一人物に属すると決定し、前記類似値が予め設定された閾値を越えていなければ、前記網状模様除去顔画像と初期の顔画像とが同一人物に属していないと決定するように構成されてもよい。

一実施形態として、前記プロセッサ４０１は、さらに、ユークリッド距離アルゴリズム、コサイン距離アルゴリズム、統合ベイズアルゴリズム、及び距離計量学習アルゴリズムのうちのいずれかを用いて、前記網状模様除去顔特徴と前記初期の顔特徴との間の類似度を計算するように構成されてもよい。

上記から分かるように、本願の実施例に係るサーバにおいて、まず、予め設定された網状模様除去モデルを用いて、認証すべき網状模様付き顔画像に網状模様除去操作を自動的に行って、網状模様除去顔画像を取得し、次に、予め設定された網状模様除去顔認証モデルにより、それぞれ網状模様除去顔画像と初期の顔画像の特徴を抽出して、網状模様除去顔特徴及び初期の顔特徴を取得し、最後に、網状模様除去顔特徴及び初期の顔特徴に基づいて、前記網状模様除去顔画像及び初期の顔画像に対して顔認証を行い、すなわち、本願の実施例は、予めトレーニングされた網状模様除去モデル及び網状模様除去顔認証モデルに基づいて、認証すべき網状模様付き顔画像及び初期の顔画像に対して自動処理分析を行い、専門家の手動操作を必要とせず、網状模様付き顔画像と初期の顔画像とが同一人物であるか否かを自動的に判別でき、顔認証の効率及び精度を向上させる。

上記実施例において、各実施例に対する説明にはそれぞれ重点があり、ある実施例で詳しく説明していない部分は、上述した顔認証方法の詳細な説明を参照することができ、ここでは詳細な説明を省略する。

本願の実施例に係る顔認証装置は、例えば、コンピュータ、タブレットコンピュータ、タッチ機能を有する携帯電話などであり、上記実施例に記載の顔認証方法とは同じ考え方に基づいたものであり、前記顔認証装置に、前記顔認証方法の実施例に係るいずれかの方法を実行でき、その具体的な過程については前記顔認証方法の実施例を参照でき、ここでは詳細な説明を省略する。

本願によって提供されたいくつかの実施例において、開示されている方法及び装置は、他の方式で実現されてもよいことは理解されよう。以上説明した装置実施例は例示的なもので、例えば、前記モジュールの区画はロジック的な機能の区画であり、実際に実現する場合、他の区画方式にし、例えば、複数のモジュール又は部品を結合するか、他のシステムに集積するか、一部の特徴を無視するか、実行しないこともできる。そして、表示又は検討した各構成要素の間の通信接続は、インタフェース、装置又はモジュールを介した間接結合又は通信接続であってよく、電気的、機械的又は他の形態であってよい。

上記分離部品として説明したモジュールは、物理的に分離しても物理的に分離しなくてもよく、モジュールとして表す部品は、物理的モジュールであっても物理的モジュールではなくてもよく、一箇所に位置しても、複数のネットワークモジュールに分布してもよく、実際の需要に応じて、そのうちの一部又は全部のモジュールを選択して本実施例の技術手段の目的を実現することができる。

そして、本願の各実施例中の各機能モジュールは、一つの処理モジュールに集積しても、それぞれ一つのモジュールとして独立しても、二つ又はそれ以上のモジュールが一つのモジュールに集積してもよく、上記集積されたモジュールは、ハードウェアの形態で実現されても、ハードウェアにソフトウェア機能モジュールを加えた形態で実現されてもよい。

当業者に理解されるように、上記方法実施例を実現する全部又は一部のステップはプログラムにより関連ハードウェアを命令することで完了でき、前述のプログラムは、コンピュータ可読記憶媒体に記憶でき、該プログラムが実行されているとき、上記方法の実施例を含むステップを実行し、前述の記憶媒体は、リムーバブルストレージ、リードオンリーメモリ（ＲＯＭ、Ｒｅａｄ−ＯｎｌｙＭｅｍｏｒｙ）、磁気ディスク又はＣＤなどのプログラムコードを記憶できる様々な媒体を含む。

或いは、ソフトウェア機能モジュールの形態で実現され、独立した製品として販売又は使用される場合、本願の実施例に係る上記集積モジュールは、コンピュータ可読記憶媒体に記憶されてもよい。このような理解に基づいて、本願の技術手段は、本質的には、又はその従来技術に対する寄与を言えば、記憶媒体に記憶されて、コンピュータデバイス（例えば、パーソナルコンピュータ、サーバ又はネットワークデバイスなど）に本願の各実施形態に記載された方法の全て又は一部を実行させるいくつかの命令を含むるソフトウェア製品の形態で具現化される。前述の記憶媒体には、リムーバブルストレージ、ＲＯＭ、磁気ディスク又はＣＤなどのプログラムコードを記憶できる様々な媒体が含まれる。

本願の実施例に記載される顔認証方法、装置は、ただ上記実施例を例とするが、これらに限定されず、当業者に理解されるように、前述の各実施形態において記載される技術手段に修正を行うか、又はその技術的特徴の全て又は一部に同等置換を行うことができ、これらの修正や置換に対応する技術手段の本質は、本願の実施例に係る技術手段の範囲から逸脱しない。

以上は、本願の好ましい実施例に過ぎず、本願の保護範囲を限定するものではない。

本願実施例の技術手段は、予めトレーニングされた網状模様除去モデル及び網状模様除去顔認証モデルに基づいて、認証すべき網状模様付き顔画像及び初期の顔画像に対して自動処理分析を行い、専門家の手動操作を必要とせず、網状模様付き顔画像と初期の顔画像とが同一人物であるか否かを自動的に判別でき、顔認証の効率及び精度を向上させる。

１１ サーバ
１２ ユーザ端末
１３ メモリ
３０１ 取得ユニット
３０２ 第１の網状模様除去ユニット
３０３ 特徴抽出ユニット
３０４ 認証ユニット
４０１ プロセッサ
４０２ メモリ
４０３ 高周波回路
４０４ 電源
４０５ 入力ユニット
４０６ 表示ユニット
３０４１ 計算サブユニット
３０４２ 判断サブユニット
３０４３ 第１の決定サブユニット
３０４４ 第２の決定サブユニット
３０５１ 第１の構築ユニット
３０５２ 第１の合成ユニット
３０５３ 第１のトレーニングユニット
３０５４ 第１の決定ユニット
３０６１ 第２の構築ユニット
３０６２ 第３の構築ユニット
３０６３ 第２のトレーニングユニット
３０７１ 第２の合成ユニット
３０７２ 第２の網状模様除去ユニット
３０７３ 微調整ユニット
３０７４ 第２の決定ユニット

Claims (20)

1. 認証すべき網状模様付き顔画像及び初期の顔画像を取得することと、
   予め設定された網状模様除去モデルを用いて、前記網状模様付き顔画像に網状模様除去操作を行って、網状模様除去顔画像を取得することと、
   予め設定された網状模様除去顔認証モデルにより、前記網状模様除去顔画像の特徴を抽出して、網状模様除去顔特徴を取得し、前記予め設定された網状模様除去顔認証モデルにより、前記初期の顔画像の特徴を抽出して、初期の顔特徴を取得することと、
   前記網状模様除去顔特徴及び前記初期の顔特徴に基づいて、対応する網状模様除去顔画像及び初期の顔画像に対して顔認証を行うことと、を含む顔認証方法。
2. さらに、第１タイプの顔画像を収集し、前記第１タイプの顔画像に基づいて第１の顔データセットを構築することと、
   予め設定された網状模様ウォーターマークに基づいて、前記第１の顔データセットを合成して、第１の網状模様付き顔データセットを取得することと、
   前記第１の顔データセット及び前記第１の網状模様付き顔データセットを用いて、網状模様除去畳み込みニューラルネットワークトレーニングを行って、網状模様除去モデルを生成することと、
   前記網状模様除去モデルを予め設定された網状模様除去モデルとして決定することと、を含む請求項１に記載の顔認証方法。
3. さらに、第２タイプの顔画像を収集し、前記第２タイプの顔画像に基づいて第２の顔データセットを構築することと、
   前記第２の顔データセットに対応する第３タイプの顔画像を取得し、前記第３タイプの顔画像に基づいて第３の顔データセットを構築することと、
   前記第２の顔データセット及び前記第３の顔データセットを用いて、顔認証畳み込みニューラルネットワークトレーニングを行って、第１の顔認証モデルを生成することと、を含む請求項１に記載の顔認証方法。
4. 前記方法は、さらに、予め設定された網状模様ウォーターマークに基づいて、前記第２の顔データセットを合成して、第２の網状模様付き顔データセットを取得することと、
   前記網状模様除去モデルを用いて、前記第２の網状模様付き顔データセット内の各画像に網状模様除去操作を行って、網状模様除去顔データセットを生成することと、
   前記網状模様除去顔データセット及び前記第３の顔データセットに基づいて、前記第１の顔認証モデルに対してネットワーク微調整を行って、第２の顔認証モデルを生成することと、
   前記第２の顔認証モデルを予め設定された網状模様除去顔認証モデルとして決定することと、を含む請求項３に記載の顔認証方法。
5. 前記網状模様除去顔特徴及び前記初期の顔特徴に基づいて、対応する網状模様除去顔画像及び初期の顔画像に対して顔認証を行うことは、
   前記網状模様除去顔特徴と前記初期の顔特徴との間の類似度を計算して、類似値を取得することと、
   前記類似値に基づいて、対応する網状模様除去顔画像と初期の顔画像とが同一人物に属するか否かを判断することと、
   同一人物に属すると判断すれば、顔認証成功と決定することと、
   同一人物に属していないと判断すれば、顔認証失敗と決定することと、を含む請求項１に記載の顔認証方法。
6. 前記類似値に基づいて、対応する網状模様除去顔画像と初期の顔画像とが同一人物に属するか否かを判断することは、
   前記類似値が予め設定された閾値を越えていれば、対応する網状模様除去顔画像と初期の顔画像とが同一人物に属すると決定することと、
   前記類似値が予め設定された閾値を越えていなければ、対応する網状模様除去顔画像と初期の顔画像とが同一人物に属していないと決定することと、を含む請求項５に記載の顔認証方法。
7. 前記網状模様除去顔特徴と前記初期の顔特徴との間の類似度を計算することは、
   ユークリッド距離アルゴリズム、コサイン距離アルゴリズム、統合ベイズアルゴリズム、及び距離計量学習アルゴリズムのうちのいずれかを用いて、前記網状模様除去顔特徴と前記初期の顔特徴との間の類似度を計算することを含む請求項５に記載の顔認証方法。
8. 認証すべき網状模様付き顔画像及び初期の顔画像を取得するように構成される取得ユニットと、
   予め設定された網状模様除去モデルを用いて、前記取得ユニットにより取得された網状模様付き顔画像に網状模様除去操作を行って、網状模様除去顔画像を取得するように構成される第１の網状模様除去ユニットと、
   予め設定された網状模様除去顔認証モデルにより、前記網状模様除去顔画像の特徴を抽出して、網状模様除去顔特徴を取得し、前記予め設定された網状模様除去顔認証モデルにより、前記初期の顔画像の特徴を抽出して、初期の顔特徴を取得するように構成される特徴抽出ユニットと、
   前記網状模様除去顔特徴及び前記初期の顔特徴に基づいて、対応する網状模様除去顔画像及び初期の顔画像に対して顔認証を行うように構成される認証ユニットと、を含む顔認証装置。
9. 前記装置は、さらに、
   第１タイプの顔画像を収集し、前記第１タイプの顔画像に基づいて第１の顔データセットを構築するように構成される第１の構築ユニットと、
   予め設定された網状模様ウォーターマークに基づいて、前記第１の顔データセットを合成して、第１の網状模様付き顔データセットを取得するように構成される第１の合成ユニットと、
   前記第１の顔データセット及び前記第１の網状模様付き顔データセットを用いて、網状模様除去畳み込みニューラルネットワークトレーニングを行って、網状模様除去モデルを生成するように構成される第１トレーニングユニットと、
   前記網状模様除去モデルを予め設定された網状模様除去モデルとして決定するように構成される第１の決定ユニットと、を含む請求項８に記載の顔認証装置。
10. 前記装置は、さらに、
    第２タイプの顔画像を収集し、前記第２タイプの顔画像に基づいて第２の顔データセットを構築するように構成される第２の構築ユニットと、
    前記第２の顔データセットに対応する第３タイプの顔画像を取得し、前記第３タイプの顔画像に基づいて第３の顔データセットを構築するように構成される第３の構築ユニットと、
    前記第２の顔データセット及び前記第３の顔データセットを用いて、顔認証畳み込みニューラルネットワークトレーニングを行って、第１の顔認証モデルを生成するように構成される第２のトレーニングユニットと、を含む請求項８に記載の顔認証装置。
11. 前記装置は、さらに、
    予め設定された網状模様ウォーターマークに基づいて、前記第２の顔データセットを合成して、第２の網状模様付き顔データセットを取得するように構成される第２の合成ユニットと、
    前記網状模様除去モデルを用いて、前記第２の網状模様付き顔データセット内の各画像に網状模様除去操作を行って、網状模様除去顔データセットを生成するように構成される第２の網状模様除去ユニットと、
    前記網状模様除去顔データセット及び前記第３の顔データセットに基づいて、前記第１の顔認証モデルに対してネットワーク微調整を行って、第２の顔認証モデルを生成するように構成される微調整ユニットと、
    前記第２の顔認証モデルを予め設定された網状模様除去顔認証モデルとして決定するように構成される第２の決定ユニットと、を含む請求項１０に記載の顔認証装置。
12. 前記認証ユニットは、
    前記網状模様除去顔特徴と前記初期の顔特徴との間の類似度を計算して、類似値を取得するように構成される計算サブユニットと、
    前記類似値に基づいて、対応する網状模様除去顔画像と初期の顔画像とが同一人物に属するか否かを判断するように構成される判断サブユニットと、
    同一人物に属すると判断すれば、顔認証成功と決定するように構成される第１の決定サブユニットと、
    同一人物に属していないと判断すれば、顔認証失敗と決定するように構成された第２の決定サブユニットと、を含む請求項８に記載の顔認証装置。
13. 前記判断サブユニットは、
    前記類似値が予め設定された閾値を越えていれば、対応する網状模様除去顔画像と初期の顔画像とが同一人物に属すると決定し、前記類似値が予め設定された閾値を越えていなければ、対応する網状模様除去顔画像と初期の顔画像とが同一人物に属していないと決定するように構成される請求項１２に記載の顔認証装置。
14. 前記計算サブユニットは、
    ユークリッド距離アルゴリズム、コサイン距離アルゴリズム、統合ベイズアルゴリズム、及び距離計量学習アルゴリズムのうちのいずれかを用いて、前記網状模様除去顔特徴と前記初期の顔特徴との間の類似度を計算するように構成される請求項１２に記載の顔認証装置。
15. プロセッサと、前記プロセッサが実行可能な命令のデータが記憶されているメモリとを含み、前記命令が実行されると、前記プロセッサは、
    認証すべき網状模様付き顔画像及び初期の顔画像を取得し、
    予め設定された網状模様除去モデルを用いて、前記網状模様付き顔画像に網状模様除去操作を行って、網状模様除去顔画像を取得し、
    予め設定された網状模様除去顔認証モデルにより、前記網状模様除去顔画像の特徴を抽出して、網状模様除去顔特徴を取得し、前記予め設定された網状模様除去顔認証モデルにより、前記初期の顔画像の特徴を抽出して、初期の顔特徴を取得し、
    前記網状模様除去顔特徴及び前記初期の顔特徴に基づいて、対応する網状模様除去顔画像及び初期の顔画像に対して顔認証を行うように構成される顔認証装置。
16. 前記プロセッサは、さらに、第１タイプの顔画像を収集し、前記第１タイプの顔画像に基づいて第１の顔データセットを構築し、予め設定された網状模様ウォーターマークに基づいて、前記第１の顔データセットを合成して、第１の網状模様付き顔データセットを取得し、前記第１の顔データセット及び前記第１の網状模様付き顔データセットを用いて、網状模様除去畳み込みニューラルネットワークトレーニングを行って、網状模様除去モデルを生成し、前記網状模様除去モデルを予め設定された網状模様除去モデルとして決定するように構成される請求項１５に記載の顔認証装置。
17. 前記プロセッサは、さらに、第２タイプの顔画像を収集し、前記第２タイプの顔画像に基づいて第２の顔データセットを構築し、前記第２の顔データセットに対応する第３タイプの顔画像を取得し、前記第３タイプの顔画像に基づいて第３の顔データセットを構築し、前記第２の顔データセット及び前記第３の顔データセットを用いて、顔認証畳み込みニューラルネットワークトレーニングを行って、第１の顔認証モデルを生成するように構成される請求項１５に記載の顔認証装置。
18. 前記プロセッサは、さらに、予め設定された網状模様ウォーターマークに基づいて、前記第２の顔データセットを合成して、第２の網状模様付き顔データセットを取得し、前記網状模様除去モデルを用いて、前記第２の網状模様付き顔データセット内の各画像に網状模様除去操作を行って、網状模様除去顔データセットを生成し、前記網状模様除去顔データセット及び前記第３の顔データセットに基づいて、前記第１の顔認証モデルに対してネットワーク微調整を行って、第２の顔認証モデルを生成し、前記第２の顔認証モデルを予め設定された網状模様除去顔認証モデルとして決定するように構成される請求項１７に記載の顔認証装置。
19. 前記プロセッサは、さらに、前記網状模様除去顔特徴と前記初期の顔特徴との間の類似度を計算して、類似値を取得し、前記類似値に基づいて、対応する網状模様除去顔画像と初期の顔画像とが同一人物に属するか否かを判断し、同一人物に属すると判断すれば、顔認証成功と決定し、同一人物に属していないと判断すれば、顔認証失敗と決定するように構成される請求項１５に記載の顔認証装置。
20. 請求項１〜７のいずれかの一項に記載の顔認証方法を実行するためのコンピュータ実行可能命令が記憶されているコンピュータ記憶媒体。