JP2021096831A - 判定装置、判定装置を含む携帯端末、および判定装置用のプログラム - Google Patents

Abstract

【課題】一度の撮像により不正利用を防止し、人を判定することができる、判定装置、判定装置を含む携帯端末、および判定装置用のプログラムを提供することにある。【解決手段】判定装置１００は、人の顔を判定する判定装置１００であって、人の顔の撮像を１回のみ行う撮像装置２００と、撮像装置２００が撮像を行う場合に色の欠けた発光を行う発光装置３００と、撮像装置２００からの撮像データを分析する分析装置４００と、撮像装置２００、発光装置３００、および分析装置４００を制御する制御部５００とを含み、制御部５００は、分析装置４００により撮像データ２００を色に区分し、当該区分されたデータの差分に応じて、人の顔を判定するものである。【選択図】図１

Description

本発明は、人の顔を判定する判定装置、判定装置を含む携帯端末、および判定装置用のプログラムに関する。

従来から、人の顔を判定する判定装置について研究および開発が行われている。例えば、特許文献１（特開２００７−１４８９６８号公報）には、利用者に煩雑な操作を強いることなく、利用目的に応じて異なる強度のセキュリティレベルを設定できる顔認証技術について開示されている。

特許文献１（特開２００７−１４８９６８号公報）に記載の顔認証装置は、 登録者の顔画像から特徴量を取得して記憶する記憶手段と、入力された画像から顔の特徴量を取得して、記憶手段に記憶された登録者と一致するかの認証を行う認証手段と、使用目的毎にセキュリティ強度を利用者に設定させるセキュリティ設定手段と、セキュリティ強度に基づいて、登録者の顔画像が所定の撮影条件を満たさない場合には、記憶手段への記憶を制限し、セキュリティ強度に基づいて、記憶手段及び認証手段が行う認証処理の内容を変更する制御手段と、を有するものである。

また、特許文献２（特開２００４−２６０２４０号公報）には、ユーザ毎のセキュリティに関する意識レベルに合わせたセキュリティモードが設定できる携帯電話機について開示されている。

特許文献２（特開２００４−２６０２４０号公報）に記載の携帯電話機は、携帯電話機であって、携帯電話機のセキュリティ機能を実行する複数のセキュリティ実行手段と、複数のセキュリティ実行手段の中から１つのセキュリティ実行手段を選択する選択手段とを有するものである。

また、特許文献３（特開２００４−８００８０号公報）には、使用形態に応じたセキュリティレベルの設定を行うことができる個人認証機能付き携帯電話機について開示されている。

特許文献３（特開２００４−８００８０号公報）に記載の個人認証機能付き携帯電話機は、複数の個人認証方法から少なくとも１つの個人認証方法を選択し、当該選択された個人認証方法を記憶する認証方法選択記憶部と、認証方法選択記憶部に記憶された個人認証方法に用いられる入力情報を記憶する情報記憶部と、情報記憶部に記憶された入力情報から特徴情報を認証情報として抽出する特徴抽出部と、予め使用者の特徴情報を記録する特徴記録部と、特徴記録部に予め記録された特徴情報と、特徴抽出部により抽出された認証情報とを比較することにより使用者の個人認証を行う特徴認証部と、を備えたものである。

また、特許文献４（特開２００２−１１２３４０号公報）には、 使用目的に応じて本人が自由に認証手段を変えることができ、したがって使用目的毎に本人の満足するセキュリティレベルを設定することが可能な、移動機の本人認証システム及びその方法について開示されている。

特許文献４（特開２００２−１１２３４０号公報）に記載の移動機の本人認証システムは、親局と交信することにより、移動機の本人認証を行う認証システムであって、移動機の使用者が本人であることの認証を行う複数の本人認証手段と、この本人認証手段と移動機の使用目的との対応関係を本人により設定される認証設定手段と、本人認証手段による判断のための認証情報を移動機から入力される認証情報入力手段と、この手段により入力された認証情報と予め記憶されている認証情報を比較し本人であるか否かの確認を行う本人確認手段とを備え、認証設定手段により設定された対応関係に基づき使用者の使用目的に応じて本人認証の手段を変えるものである。

また、特許文献５（特開２０００−２１５３０８号公報）には、個人認証の性能と快適性のバランス、また環境変動に対する強さなどを状況に応じて調整可能とし、もって利便性を向上させることについて開示されている。

特許文献５（特開２０００−２１５３０８号公報）に記載の生体情報認証装置は、被認証者の生体情報を取得し、その入力情報から被認証者の特徴を抽出して生体特徴情報と成す生体情報受理手段と、該生体特徴情報と予めカテゴリ別に用意されている登録情報とを照合し、該被認証者の属するカテゴリを決定する識別手段とを備えた生体情報認証装置において、生体情報受理手段および識別手段のうち少なくとも一方が複数用意されており、それらを組み合わせることによって構成される認証論理を用いて生体情報認証を行う際、複数の認証論理モードの中から一つを選択することにより生体情報受理手段および識別手段を制御可能なモード管理手段を有するものである。

特開２００７−１４８９６８号公報 特開２００４−２６０２４０号公報 特開２００４−８００８０号公報 特開２００２−１１２３４０号公報 特開２０００−２１５３０８号公報

特許文献１記載の技術においては、利用目的に応じて異なる強度のセキュリティレベルを設定できる技術について開示されているが、撮像回数を何度も実施する必要があるという問題が生じる。
また、特許文献２および３、４に記載の技術においては、認証方法を切り替えたり、認証方法を選択して認証するため、利便性が低いという問題が生じる。
さらに、特許文献５に記載の技術においては、不正使用を防止し難いという問題が生じる。

本発明の主な目的は、一度の撮像により不正利用を防止し、人を判定することができる、判定装置、判定装置を含む携帯端末、および判定装置用のプログラムを提供することにある。
本発明の他の目的は、処理スピードを高めるとともに、一度の撮像により不正利用を防止し、人を確実に判定することができる、判定装置、判定装置を含む携帯端末、および判定装置用のプログラムを提供することにある。

（１）
一局面に従う判定装置は、人の顔を判定する判定装置であって、人の顔の撮像を１回のみ行う撮像装置と、撮像装置が撮像を行う場合に特定の色を欠いた光の発光を行う発光装置と、撮像装置からの撮像データを分析する分析装置と、撮像装置、発光装置、および分析装置を制御する制御装置とを含み、制御装置は、分析装置により撮像データを各色の成分に分解し、発光装置が発光する色の成分データと発光装置が発光しない色の成分データとの差分に応じて、撮像データが現実在の人物の顔の撮像データであるかどうかを判定するものである。

この場合、人の顔を確実に判定することができる。特に、複数回の撮像を実施する必要が無いので、短時間でかつ大量の人の判定を実施することができる。
また、ここで、人の顔を確実に判定することができるとは、現実在する人物の顔か、写真で撮像されて印刷された人の顔か、を判定することができることを意味する。
また、特定の色を欠いた光は、特定の色のスペクトル、周波数を欠いた光であり、白色光を意味するものではない。
例えば、特定の色を欠いた光とは、ＲＧＢのうち、ＧおよびＢ、Ｇのみ、Ｂのみが、Ｒに対して支配的な色であればよい。したがって、赤（Ｒ）が全く含まれていない状態も含まれるとともに、赤（Ｒ）が少々含まれている状態も含まれる。

（２）
第２の発明にかかる判定装置は、一局面に従う判定装置において、制御装置は、人の顔のうちの特定の部分で撮像データが現実在の人物の顔の撮像データであるかどうかを判定してもよい。

この場合、顔のうちの一部分、すなわち、特定の部分である特徴部分のみを用いて、現実在の人の顔を判定することができる。

（３）
第３の発明にかかる判定装置は、第２の発明にかかる判定装置において、特定の部分は、目、鼻、頬の少なくともいずれかであってもよい。

この場合、顔の全体ではなく、特徴部分である、鼻、口、目、頬、輪郭等で、人の顔を判定することができる。

（４）
第４の発明にかかる判定装置は、一局面から第４の発明にかかる判定装置において、制御装置は、発光装置から特定の色を欠いた光の発光を複数回、または互いに異なる色を欠いた光の複数の発光を指示してもよい。

この場合、ユーザは、発光装置から種々の発光を受けることで、いずれの色の欠けた発光に応じて判定を実施しているのか認識することができないため、セキュリティを高め、不正利用を防止することができる。
例えば、ＲＧＢカラーコードにおいて、色＃００ＦＦ００、＃００８０００、＃００００ＦＦ、＃ＦＦＦＦ００、＃０００８０、＃００ＦＦＦＦ、＃８０００８０の順で発光させて、＃００００ＦＦの瞬間に撮像したデータのみを用いることで、ユーザは、どの発光タイミングで判定されているのかが、不明となるため、セキュリティを高めることができる。なお、上記ＲＧＢカラーコードは、左からＲＧＢの順に光の強さをそれぞれ２桁の１６進数で記載したものである。

（５）
第５の発明にかかる判定装置は、一局面から第５の発明にかかる判定装置において、特定の色を欠いた光の発光は、ＲＧＢのうち一色を欠いた光、ＸＹＺ表色系のうち一色を欠いた光、マンセル表色系のうち一色を欠いた光、のいずれか１つからなってもよい。

この場合、特定の色を欠いた光の発光は、ＲＧＢのうち一色を欠いた光、ＸＹＺ表色系のうち一色を欠いた光、マンセル表色系のうち一色を欠いた光、のいずれか１つからなるので、ユーザは、詳細の判定を認識することができないため、セキュリティを高め、不正利用を防止することができる。

（６）
第６の発明にかかる判定装置は、一局面から第６の発明にかかる判定装置において、判定装置は、各色の成分に分解されたデータのうち、発光装置が発光する色の成分データから発光装置が発光しない色の成分データを減算したデータから、目の部分の輝度が周囲の部分の輝度よりも大きい場合に、撮像データを現実在の人物の顔の撮像データと判定してもよい。

この場合、確実に現実在の人物の顔の撮像データを判定することができる。

（７）
第７の発明にかかる判定装置は、一局面から第７の発明にかかる判定装置において、判定装置は、以下のステップ、
１）各色の成分に分解されたデータのうち、発光装置が発光する色の成分データから発光装置が発光しない色の成分データを減算するステップ、
２）減算したデータのピーク値を求めるステップ、
３）ピーク値を境界として、減算したデータを前半データと後半データとに分割するステップ、
４）後半データを境界が最後に来るように順序を反転するステップ、
５）前半データと順序を反転された後半データとのピアソンの積率相関係数を計算するステップ、
６）ピアソンの積率相関係数が０．５以上であれば撮像データを現実在の人物の顔の撮像データと判定するステップ、によって撮像データが現実在の人物の顔の撮像データかどうかを判定してもよい。

この場合、容易にかつ短時間で現実在の人物の顔の撮像データか否かを判定することができる。なお、前半と後半とは、同じデータ量であることが前提である。ピーク値が中心値でない場合には、ピーク値から所定のデータ量の相関係数を算出する。

（８）
第８の発明にかかる判定装置は、一局面に従う判定装置において、発光装置が発光する色の成分データと発光装置が発光しない色の成分データとの差分を、人の顔の部分と背景部分とについて計算し、人の顔の部分の差分の大きさと背景部分の差分の大きさとを比較して、撮像データが現実在の人物の顔の撮像データであるか否かを判定してもよい。

現実在の人物の顔の撮像データの場合、発光装置が発光する色の成分は（発光装置に近い）顔の部分では顔からの反射のために輝度が大きく、（顔の外側の）背景部分では輝度が小さい。これに対して、発光装置が発光しない色の成分は顔の部分と背景部分との差異が少ない。したがって、発光装置が発光する色の成分データと発光装置が発光しない色の成分データとの差分は、顔の部分が背景部分より大きい。
一方、現実在の人の顔ではない、写真などの撮像データの場合は、発光装置の光が背景部分でも反射するため、発光装置が発光する色の成分も、発光装置が発光しない色の成分も、顔の部分と背景部分との差が少ない。したがって、発光装置が発光する色の成分データと発光装置が発光しない色の成分データとの差分の大きさは、顔の部分と背景部分とで差が小さい。
以上により、発光装置が発光する色の成分データと発光装置が発光しない色の成分データとの差分の、人の顔の部分の差分の大きさと背景部分の差分の大きさとを比較し、差分の大きさの比、または差が所定の値以上であれば、撮像データが現実在の人物の顔の撮像データであると判定することができる。

（９）
他の局面に従う発明の判定装置は、人の顔を判定する判定装置であって、人の顔の撮像を行う撮像装置と、撮像装置が撮像を行う場合に特定の色の光を発光する発光装置と、畳み込みニューラルネットワークを備え、撮像装置からの撮像データを分析する分析装置と、撮像装置、発光装置、および分析装置を制御する制御装置とを含み、畳み込みニューラルネットワークは、発光装置が発光している状態での、現実在の人物の顔の撮像データと同一人物の顔の写真の撮像データとを用いて、入力データが現実在の人物の顔の撮像データか否かを判定できるように学習しており、判定装置は、発光装置が発光している状態で、人の顔を撮像し、顔周辺を抽出した撮像データを畳み込みニューラルネットワークに入力して、撮像した人の顔が現実在の人の顔か否かを判定する。

発光装置が発光している状態での、特定の色の、現実在の人物の顔の撮像データと同一人物の顔の写真の撮像データとの間には、目の部分の輝度の違い、鼻の部分の輝度の違い、顔の部分と背景部分の輝度の違い等があり、発光していない色の撮像データの輝度の違いと比較することで、撮像した人の顔が現実在の人の顔か否かを判定することができる。
畳み込みニューラルネットワークでは、現実在の人物の顔の撮像データと同一人物の顔の写真の撮像データとを用いて学習させることで、上記目の部分、鼻の部分、背景部分等の違いを含め、総合的に現実在の人の顔か否かを判定することができる。
ただし、判定の精度を向上させるためには、畳み込みニューラルネットワークの幅（ニューロン数）、層数、学習するサンプル数などを適切に選ぶ必要がある。例えば、幅は３×３のフィルタを６４チャンネル、層数は１０層以上５０層以下、サンプル数は１０００以上が望ましい。
また、ＶＧＧ、ＲｅｓＮｅｔ、またはｄｅｎｓｅＮｅｔなどの公開されている学習済みモデルを、撮像した人の顔が現実在の人の顔か否かを判定するために、転移学習して使用しても良い。

（１０）
第１０の発明にかかる判定装置は、他の局面に従う判定装置において、発光装置が発光している状態での撮像データを用いて学習した第１の畳み込みニューラルネットワークと発光装置が発光していない状態での撮像データを用いて学習した第２の畳み込みニューラルネットワークとを備え、
判定装置は、発光装置が発光している状態での撮像データを第１の畳み込みニューラルネットワークに入力し、発光装置が発光していない状態での撮像データを第２の畳み込みニューラルネットワークに入力し、第１の畳み込みニューラルネットワークの判定結果と、第２の畳み込みニューラルネットワークの判定結果とに基づいて、撮像した人の顔が現実在の人の顔か否かを判定してもよい。

この場合、発光装置が発光していない状態の撮像データでの判定結果と組み合わせることで、以下のような２つの効果があり、より精度の高い判定が可能となる。
第１に、実際の人間を撮像した場合、発光している状態の撮像データでは目および顔の凹凸による反射があるのに対して、発光していない状態の撮像データでは目および顔の凹凸による反射がない。
一方、発光装置が発光している状態で撮像した写真を撮像した場合は、発光している状態の撮像データでは、目および顔の凹凸だけでなく、写真全体も発光装置の光を反射しているのに対して、発光していない状態の撮像データでは目および顔の凹凸による反射のみが見られる。以上の差異から、発光装置が発光している状態で、撮像した写真を撮像した場合にも撮像した人の顔が現実在の人の顔か否かを確実に判定できる。
また、撮像した写真を撮像した場合は、上記目および顔の凹凸による反射以外にも、写真を撮像したことに由来する不自然さが存在する。発光している状態での撮像データを用いて学習した第１の畳み込みニューラルネットワークにおいても当然、この不自然さを差異として認識、判定するが、さらに、発光していない状態での撮像データを用いて学習した第２の畳み込みニューラルネットワークを用いることで、撮像した人の顔が現実在の人の顔か否かをより確実に判定できる。

（１１）
第１１の発明にかかる判定装置は、第１０の発明にかかる判定装置において、分析装置は、さらに、発光装置が発光している状態での、現実在の人物の顔の撮像データと同一人物の顔のディスプレイ表示の撮像データとを用いて学習した第３の畳み込みニューラルネットワークと、発光装置が発光していない状態での、現実在の人物の顔の撮像データと同一人物の顔のディスプレイ表示の撮像データとを用いて学習した第４の畳み込みニューラルネットワークとを備え、判定装置は、発光装置が発光している状態での撮像データを第１および第３の畳み込みニューラルネットワークに入力し、発光装置が発光していない状態での撮像データを第２および第４の畳み込みニューラルネットワークに入力し、第１から第４までの畳み込みニューラルネットワークの判定結果に基づいて、撮像した人の顔が現実在の人の顔か否かを判定してもよい。

最近では、印刷した顔の写真ではなく、液晶ディスプレイまたはモバイルディスプレイなどに表示された顔の撮像データ（ディスプレイアタックデータともいう）と現実在の人物の顔の撮像データとを区別することも必要になっている。この場合には、畳み込みニューラルネットワークを現実在の人物の顔の撮像データと同一人物の顔のディスプレイ表示の撮像データとを用いて学習させた方が、判別の精度を向上させることができる。そして、印刷した顔の写真の撮像データを用いて学習させた第１および第２の畳み込みニューラルネットワークの判定結果と、ディスプレイ表示の撮像データ用いて学習させた第３および第４の畳み込みニューラルネットワークの判定結果とをもとに、総合的に現実在の人の顔か否かを判定することで、入力データにディスプレイアタックデータが含まれている場合でも、より精度の高い判定を行うことができる。

（１２）
第１２の発明にかかる判定装置は、一局面から第１１の発明にかかる判定装置において、報知装置をさらに含み、制御装置は、判定を実施する前に撮像装置により人の顔を撮像させ、判定を行うことができる人の顔のサイズとなるよう、報知装置から人に立ち位置を報知させてもよい。

この場合、報知装置により人の立ち位置を調整させることができる。また、撮像装置が顔を認識し、撮像された顔の大きさが所定の大きさとなるように自動的に拡大縮小してもよい。
また、報知装置が表示装置を備え、表示装置に撮像画像と枠とを表示し、顔の大きさおよび位置が枠と合致したら、自動的に撮像が行われるようにしてもよい。

（１３）
第１３の発明にかかる判定装置は、一局面から第１２の発明にかかる判定装置において、制御装置は、判定を実施する前に撮像装置により人の顔を撮像させ、当該撮像された撮像データから最適な特定の色を欠いた光を選定させて発光装置から発光させてもよい。

この場合、発光装置から発光される特定の色を欠いた光を最適にすることができる。例えば、特定の色のコンタクトレンズをしている場合に、当該特定の色のコンタクトレンズのカラーを発色させないように発光させることができる。その結果、適切に判定を行うことができる。

（１４）
他の局面にかかる携帯端末は、一局面から第１３の発明にかかる判定装置を含むものである。

この場合、携帯端末は判定装置を含むので、人の判定を容易にかつ確実に実施することができる。その結果、携帯端末の不正利用を防止することができる。

（１５）
さらに他の局面にかかる判定装置用のプログラムは、人の顔を判定する判定装置用のプログラムであって、人の顔の撮像を１回行う撮像処理と、撮像処理が撮像を行う場合に特定の色を欠いた光を発光する発光処理と、撮像処理からの撮像データを分析する分析処理と、撮像処理、発光処理、および分析処理を制御する制御処理とを含み、制御処理は、分析処理により撮像データを各色の成分に分解し、発光処理が発光する色の成分データと発光処理が発光しない色の成分データとの差分に応じて、前記撮像データが現実在の人物の顔の撮像データであるかどうかを判定処理するものである。

この場合、人の顔を確実に判定することができる。特に、複数回の撮像を実施する必要が無いので、短時間でかつ大量の人の判定を実施することができる。
また、ここで、人の顔を確実に判定することができるとは、現実在する人物の顔か、写真で撮像されて印刷された人の顔か、を判定することができることを意味する。
また、特定の色を欠いた光は、特定の色のスペクトル、周波数を欠いた光であり、白色光を意味するものではない。

第１の実施の形態にかかる判定装置を含む携帯端末の構成の一例を示す模式的構造図である。 判定装置の構成の一例を示す模式図である。 制御部の制御フローの一例を示すフローチャートである。 制御部の制御フローの一例を示すフローチャートである。 撮像装置および発光装置により撮像された顔のデータの一例を示す模式図である。 図５のデータを分析装置内で分析したデータの一例を示す模式図である。 図５のデータを分析装置内で分析したデータの一例を示す模式図である。 図５のデータを分析装置内で分析したデータの一例を示す模式図である。 分析装置内で分析されたデータの差分の一例を示す模式図である。 分析装置内で分析されたデータの差分の一例を示す模式図である。 顔写真をプリントアウト（印刷）した紙をステップＳ１およびステップＳ２の処理で撮像したデータから、ステップＳ３からステップＳ５までの処理を実施したものである。 ステップＳ１１において顔の特徴部を抽出する一例を示す図である。 現実在の人物の顔にＲＧＢコード＃００ＦＦＦＦのフラッシュ光を照射し撮影した場合の、顔の特徴部のＲのみのデータ、Ｇのみのデータ、Ｂのみのデータの一例を示す図である。 ステップＳ１２の処理の結果の一例を示す図である。 ピアソンの積率相関係数を算出した場合の一例を示す図である。 フラッシュ光を用いて撮像した顔写真をプリントアウト（印刷）した紙を再度、ステップＳ１およびステップＳ２の処理で撮像したデータの一例を示す図である。 フラッシュ光を用いて撮像した顔写真をプリントアウト（印刷）した紙を再度、ステップＳ１およびステップＳ２の処理で撮像したデータの一例を示す図である。 フラッシュ光を用いて撮像した顔写真をプリントアウト（印刷）した紙を再度、ステップＳ１およびステップＳ２の処理で撮像したデータの一例を示す図である。 制御部の制御フローの他の例を示すフローチャートである。 制御部の制御フローのさらに他の例を示すフローチャートである。 図２に示した判定装置の他の例を示す模式図である。 図２１に示した判定装置１００を用いて、撮像装置２００による顔を撮像する場合における人の顔の立ち位置指示の一例を示すフローチャートである。 顔の立ち位置指示における報知装置の表示の一例を示す模式図である。 図３に示したステップＳ１の処理の前に、現実在の人の顔を予め撮像させ、発光装置から発光させる特定の色の欠けた光の選定を行う一例を示すフローチャートである。

［実施の形態］
以下、図面を参照しつつ、本発明の実施の形態について説明する。以下の説明では、同一の部品には同一の符号を付してある。それらの名称および機能も同じである。したがって、それらについての詳細な説明は繰り返さない。

（判定装置１００を含む携帯端末９００の全体構成）
図１は、本実施の形態にかかる判定装置１００を含む携帯端末９００の全体構成の一例を示す模式的構造図であり、図２は、判定装置１００の構成の一例を示す模式図である。

図１に示すように、携帯端末９００は、判定装置１００、表示画面９２０、操作部９３０を含む。
また、図２の判定装置１００は、撮像装置２００、発光装置３００、分析装置４００、制御部５００を含む。

次に、発光装置３００から照射される光（以下、フラッシュ光と呼ぶ。）は、ＲＧＢカラーコード＃００ＦＦＦＦである。
すなわち、色の三原色であるＲ，Ｇ，Ｂのうち、少なくともＲの光を除去したフラッシュ光である。特にＲの光を除去する理由については、後述する。
なお、本実施の形態においては、フラッシュ光をＲＧＢカラーコード＃００ＦＦＦＦを用いることとしているが、これに限定されず、フラッシュ光を＃ＦＦＦＦ００、＃００００ＦＦ、＃００ＦＦ００のいずれか１つ、または複数を組み合わせて用いても良い。
また、特定の色を欠いた光とは、ＲＧＢのうち、ＧおよびＢ、Ｇのみ、Ｂのみが、Ｒに対して支配的な色であればよい。したがって、赤（Ｒ）が全く含まれていない状態も含まれるとともに、赤（Ｒ）が少々含まれている状態も含まれる。

図３および図４は、制御部５００の制御フローの一例を示すフローチャートである。
また、図５は、撮像装置２００および発光装置３００により撮像された顔のデータの一例を示す模式図である。
次に、図６、７、８は、図５のデータを分析装置４００内で分析したデータの一例を示す模式図であり、図９、１０は、分析装置４００内で分析されたデータの差分の一例を示す模式図である。

まず、図３に示すように制御部５００は、撮像装置２００および発光装置３００に撮像を指示する（ステップＳ１）。
なお、本実施の形態の当該ステップＳ１の段階において、制御部５００は、撮像装置２００により撮像されたデータが、現実在人物の顔か、顔写真をプリントアウト（印刷）した紙を撮像した顔か、は不明の状態であるが、ここでは、現実在人物の顔であると仮定して説明を行う。
また、制御部５００は、撮像時に発光装置３００に所定のフラッシュ光で撮像するように指示する（ステップＳ２）。
なお、ユーザインタフェイスにおいて、顔が所定の位置にある場合にシャッターを自動的に押すシステムを用いても良い。また、顔が所定の位置にない場合には、撮像装置２００に近づくように報知させてもよい。
ここで、本実施の形態にかかる所定のフラッシュ光とは、上記で説明した色のカラーコード＃００ＦＦＦＦの光である。
なお、撮像前に現実在人物の顔を認識させて、その顔の色、目の色等に応じて所定のフラッシュ光を変更してもよい。

（第１の分析）
制御部５００は、ステップＳ２で撮像したデータを分析装置４００に渡し、第１の分析を指示する（ステップＳ３）。
ここで、図５に示すように、制御部５００の指示に基づいて、発光装置３００が、フラッシュ光を色のカラーコード＃００ＦＦＦＦを用いて撮像したデータは、Ｒの色がほぼ無いデータとなる。なお、周囲の明かり、例えば、蛍光灯等の光が入る場合があるので、フラッシュ光にＲ（赤色）がない場合でも、Ｒ（赤色）が少し含まれる。

次に、制御部５００は、分析装置４００により、撮像装置２００から受け取った図５に示す顔のデータを、Ｒのみのデータ、Ｇのみのデータ、Ｂのみのデータに、それぞれ分割させる（ステップＳ４）。
図６は、Ｒのみのデータの一例であり、図７は、Ｇのみのデータの一例であり、図８は、Ｂのみのデータの一例を示す。

次いで、制御部５００は、分析装置４００に、差分演算を実施させる（ステップＳ５）。ここで、分析装置４００は、図９に示すように図８のＢのみのデータから図６のＲのみのデータを減算し、図１０に示すように図９のＧのみのデータから図６のＲのみのデータを減算する。

ここで、図１１は、顔写真をプリントアウト（印刷）した紙をステップＳ１およびステップＳ２の処理で撮像したデータから、ステップＳ３からステップＳ５までの処理を実施したものである。このデータは、いわゆるフォトアタックのデータと呼ばれる。

ここで、制御部５００は、分析装置４００からのデータに基づいて、目の反射を確認し、判定を行う（ステップＳ６）。
例えば、現実在の人物の顔、すなわち、今そこに確実に人が実在してステップＳ２の処理を実施した場合には、ＧのみおよびＢのみのデータは目の部分の輝度が高いが、Ｒのみのデータは目の部分の輝度が高くないため、Ｂ−Ｒ、およびＧ−Ｒのデータは、図９および図１０に示すように、フラッシュ光の目の部分だけが輝度が高くなる。
一方、図１１に示すように、顔写真をプリントアウト（印刷）した紙の場合、目の輝度の高い部分がなくなる。

すなわち、現実在の人物の顔の場合は目の部分からの反射が特に大きくなるが、顔写真をプリントアウト（印刷）した紙の場合は、ステップＳ２の処理で、目の部分とその他の部分の光の反射に差がないため、目の輝度の高い部分がなくなる。

以上のことから、制御部５００は、撮像装置２００により撮像された顔データが、容易に現実在の人物であるか、顔写真をプリントアウト（印刷）した紙であるかを判定することができる。

（第２の分析）
次に、第２判定について説明を行う。第１判定においては、顔写真をプリントアウト（印刷）した紙を除外することとしたが、顔写真をプリントアウト（印刷）した紙のうちでも、そもそも当初の顔写真において同一のフラッシュ光を用いた場合、発明者は、目の輝度の高い部分が残存する可能性を見出だした。
そのため、第２判定を実施する。

最初に、図４に示すように、制御部５００は、ステップＳ６で使用したデータを分析装置４００に対して、第２の分析を指示する（ステップＳ１０）。
制御部５００は、データから、顔の特徴部を抽出する（ステップＳ１１）。例えば、本実施の形態においては、鼻部分を抽出する。なお、鼻の部分のほかにも、頬を特徴部とする場合、フラッシュ光が両頬に均等に当たることは可能性として少ないため、両頬において、不均一であることを特徴として用いても良い。
なお、上記の実施の形態においては、人の顔部分について抽出することとしているが、これに限定されず、顔の輪郭を抽出し、その外側、いわゆる背景部分を抽出し、以下のステップＳ１２からステップＳ１５の処理を行ってもよい。

図１２は、ステップＳ１１において顔の特徴部を抽出する一例を示す図であり、図１３は、現実在の人物の顔にＲＧＢコード＃００ＦＦＦＦのフラッシュ光を照射し撮影した場合の、顔の特徴部のＲのみのデータ、Ｇのみのデータ、Ｂのみのデータの一例を示す図であり、図１４は、ステップＳ１２の処理の結果の一例を示す図である。

図１２に示すように、制御部５００は、鼻の頂点部分Ｐ、左端部分Ｌ、右端部分Ｒを抽出する。発明者は、鼻の頂点部分Ｐにおいて、鏡面反射を起こす領域があることを見出した。
図１３に示すように、すなわち、本実施の形態におけるＧのみのデータおよびＢのみのデータは、鼻の頂点部分Ｐ、左端部分Ｌ、右端部分Ｒにおいて山形の輝度分布をもつこととなり、一方、Ｒのみのデータは、フラッシュ光に含まれておらず、幅広い入射角の背景光が反射して生成されるため、山形の輝度分布を持たないことととなる。

次に、制御部５００は、分析装置４００に、Ｒのみのデータ，Ｇのみのデータ，Ｂのみのデータにおける、各輝度分布の最小値を減算させ、ＧのみのデータからＲのみのデータを減算、または、ＢのみのデータからＲのみのデータを減算させる（ステップＳ１２）。
ここで、ステップＳ１２の処理は、データの平均値を０に調整するための処理であり、同様の手法で、各データの平均値を０に調整する方法を用いても良い。

図１４に示すように、ステップＳ１２の処理の結果のＧのみのデータからＲのみのデータを減算した場合、ピーク値が表れることがわかる。

次に、図４に示すように、制御部５００は、分析装置４００に、ピーク値を検出させ、ピーク値より前半と、ピーク値より後半とに分割させる（ステップＳ１３）。
最後に、制御部５００は、分析装置４００に、前半データと、後半データを折り返した２系列のデータのピアソンの積率相関係数を計算させる（ステップＳ１４）。

ここで、本実施の形態においては、ピーク値に基づいて、前半と後半とを分割したが、これに限定されず、データ量に基づいて任意の位置で前半と後半とを決定しても良い。例えば、データ量の５０％ずつとしてもよい。

図１５は、図１４のグラフのＧ−Ｒの平均値を計算して各Ｇ−Ｒのデータから平均値を引き算したうえで、中心点またはピーク値を境に前半と後半とに分割したグラフである。Ｇ−Ｒ後半のグラフは、図１４のグラフの中心点またはピーク値より右側の部分を中心位置から反対方向に折り返している。図１５の場合、Ｇ−Ｒ前半とＧ−Ｒ後半との間に正の相関があり、ピアソンの積率相関係数を算出すると０．８２となる。

また、図１６、１７、１８は、フラッシュ光を用いて撮像した顔写真をプリントアウト（印刷）した紙を再度、ステップＳ１およびステップＳ２の処理で撮像したデータの一例を示す図である。
図１６は、フラッシュ光を用いて撮像した顔写真をプリントアウト（印刷）した紙を再度撮像したデータの顔の特徴部のＲのみのデータ、Ｇのみのデータ、Ｂのみのデータの一例を示す図であり、図１７は、フラッシュ光を用いて撮像した顔写真をプリントアウト（印刷）した紙を再度撮像したデータの顔の特徴部のステップＳ１２の処理の結果の一例を示す図である。また、図１８は、図１７のグラフのＧ−Ｒの平均値を計算して各Ｇ−Ｒのデータから平均値を引き算したうえで、中心点を境に前半と後半とに分割したグラフである。Ｇ−Ｒ後半のグラフは、図１７のグラフの中心より右側の部分を中心位置から反対方向に折り返している。図１８の場合、Ｇ−Ｒ前半とＧ−Ｒ後半との間の相関が少なく、ピアソンの積率相関係数を算出すると０．０８となる。

図４に示すように、制御部５００は、分析装置４００に判定を実施させる（ステップＳ１５）。
ここで、制御部５００は、ピアソンの積率相関係数が、０．５以上である場合には、現実在の人物の顔データであると判定する。例えば、図１５の場合のピアソンの積率相関係数は、０．８２である。
一方、制御部５００は、ピアソン積率相関係数が、０．５未満である場合には、フラッシュ光を用いて撮像した顔写真をプリントアウト（印刷）した紙を再度撮像したデータであると判定する。例えば、図１８の場合のピアソン積率相関係数は、０．０８である。
したがって、前半のデータと、後半のデータを折り返したデータとのピアソンの積率相関係数を計算し、相関係数が０．５以上であれば、撮像されたデータは現実在の人物の顔のデータであり、相関係数が０．５より小さければ顔写真をプリントアウト（印刷）した紙を再度撮像したデータであると判別する。

［他の判定方法の実施の形態］
次に、現実在の人の顔の撮像データか否かを判定する他の実施の形態について説明する。
図１９は他の判定方法の実施の形態の模式的フローチャートである。

まず制御部５００は、撮像装置２００および発光装置３００に撮像を指示する（ステップＳ２０）。
また、制御部５００は、撮像時に発光装置３００に所定のフラッシュ光で撮像するように指示する（ステップＳ２１）。
制御部５００は、データから、顔の輪郭の内側領域と外側領域とを抽出する（ステップＳ２２）。
次に、図４のＳ１２と同様、発光装置３００が発光する色の成分データと発光装置３００が発光しない色の成分データとの減算値、例えばＧ−ＲまたはＢ−Ｒを求める（ステップＳ２３）。
なお、減算をする前には、発光装置３００が発光する色の成分データの最小値と発光装置３００が発光しない色の成分データの最小値（または平均値と平均値）が一致するように補正することが望ましい。
次に、輪郭の内側、すなわち顔の部分と、その外側、すなわち背景部分とについて、上記減算値を比較する（ステップＳ２４）。なお、顔の部分と背景部分との比較においては、例えば、それぞれの部分の輝度の平均値同士を比較してもよい。
最後に、顔の部分と背景部分との比較結果、例えばその比、またはその差を所定のしきい値と比較し、その比またはその差が所定のしきい値より大きければ、撮像データは現実在の人物の顔の撮像データであると判定する（ステップＳ２５）。

現実在の人物の顔の撮像データの場合、発光装置３００が発光する色の成分は（発光装置３００に近い）顔の部分では顔からの反射のために輝度が大きく、（顔の外側の）背景部分では輝度が小さい。これに対して、発光装置３００が発光しない色の成分は顔の部分と背景部分との差異が少ない。したがって、発光装置３００が発光する色の成分データと発光装置３００が発光しない色の成分データとの差分は、顔の部分が背景部分より大きい。
一方、現実在の人の顔ではない、写真などの撮像データの場合は、発光装置３００の光が背景部分でも反射するため、発光装置３００が発光する色の成分も、発光装置３００が発光しない色の成分も、顔の部分と背景部分との差が少ない。したがって、発光装置３００が発光する色の成分データと発光装置３００が発光しない色の成分データとの差分の大きさは、顔の部分と背景部分との間で差が小さい。
以上により、発光装置３００が発光する色の成分データと発光装置３００が発光しない色の成分データとの差分の、人の顔の部分の大きさと背景部分の大きさとを比較することによって、撮像データが現実在の人物の顔の撮像データであるかどうかを判定することができる。

［さらに他の判定方法の実施の形態］
さらに他の判定方法の実施の形態では、機械学習を用いて撮像データが現実在の人物の顔の撮像データであるかどうかを判定する。具体的には、まず、畳み込みニューラルネットワークに、現実在の人物の顔の撮像データと同一人物の顔の写真の撮像データ（フォトアタックデータともいう）とを複数入力して学習させる（以降、学習させたネットワークを写真学習ネットワークという）。
その後、写真学習ネットワークに撮像装置２００で撮像した顔の撮像データを入力し、入力したデータが現実在の人物の顔の撮像データか、または顔の写真の撮像データかを判定させる。

図２０はさらに他の判定方法の実施の形態の模式的フローチャートである。
まず、発光装置３００がシアンの光を発光したときの人物の顔（以降シアンデータという）と、発光装置３００が全く発光しないときの人物の顔（以降ブラックデータという）とを撮像する（ステップＳ３０、Ｓ３０’）。
次に、顔の輪郭、および目、唇などの特徴部分を用いて顔の輪郭を抽出する（ステップＳ３２、Ｓ３２’）。
さらに、顔周辺のシアンデータおよびブラックデータをそれぞれ例えば２２４×２２４となるようにリサイズする。リサイズしたデータの各画素値を０から１の間に正規化してもよい（ステップＳ３３、Ｓ３３’）。なお、顔の輪郭の抽出、顔の周辺データのリサイズ、正規化等の前処理については、学習用のデータについても同様な処理を行う必要がある。
シアンデータを入力データとして用いて学習させた畳み込みニューラルネットワーク（以降シアン写真学習ネットワークという）に撮像装置２００で撮像した顔のシアンデータを入力して判定させ、ブラックデータを用いて学習させた畳み込みニューラルネットワーク（以降ブラック写真学習ネットワークという）に撮像装置２００で撮像した顔のブラックデータを入力して判定させる（ステップＳ３４、Ｓ３４’）。

シアンデータの判定結果とブラックデータの判定結果とに基づいて撮像データが現実在の人物であるか否かを判定する。シアンデータの判定結果とブラックデータの判定結果がともに現実在の人物であるときに、撮像データは現実在の人物であると判定してもよい。あるいは、シアンデータの判定結果とブラックデータの判定結果のうちのどちらかが現実在の人物であるときに、撮像データは現実在の人物であると判定してもよい。また、それぞれの判定結果が０か１かではなく、中間値で出力される場合は、それらの判定結果を加算した値で判定してもよい（ステップＳ３５）。

なお、本実施の形態ではシアンデータの判定結果とブラックデータの判定結果とに基づいて撮像データが現実在の人物であるか否かを判定しているが、シアンデータの判定結果だけに基づいて撮像データが現実在の人物であるか否かを判定してもよい。また、発光装置３００の発光色をシアンではなく、マゼンタ、イエロー、レッド、ブルー、またはグリーンとしてもよい。

ブラックデータの判定結果を用いることの目的は以下のとおりである。
第１に、実際の人間を撮像した場合、シアンデータでは目および顔の凹凸による反射があるのに対して、ブラックデータでは目および顔の凹凸による反射がない。一方、発光装置が発光している状態で撮像した写真を撮像した場合は、シアンデータでは、目および顔の凹凸だけでなく、写真全体も発光装置３００の光を反射しているのに対して、ブラックデータでは目および顔の凹凸による反射のみが見られる。以上の差異から、発光装置が発光している状態で撮像した写真を撮像した場合にも撮像した人の顔が現実在の人の顔か否かを確実に判定できる。
また、撮像した写真を撮像した場合は、上記目および顔の凹凸による反射以外にも、写真を撮像したことに由来する不自然さが存在する。シアンデータを用いて学習した第１の畳み込みニューラルネットワークにおいても当然、この不自然さを差異として認識、判定するが、さらに、ブラックデータを用いて学習した第２の畳み込みニューラルネットワークを用いることで、撮像した人の顔が現実在の人の顔か否かをより確実に判定できる。

また、最近では、印刷した顔の写真ではなく、液晶ディスプレイなどに表示された顔の撮像データ（ディスプレイアタックデータともいう）と現実在の人物の顔の撮像データとを区別することも必要になっている。この場合も同様に、まず、第３の畳み込みニューラルネットワークに、現実在の人物の顔のシアンデータと同一人物のディスプレイに表示された顔のシアンデータとを複数入力して学習させる（シアンディスプレイ学習ネットワーク）。次に、第４の畳み込みニューラルネットワークに、現実在の人物の顔のブラックデータと同一人物のディスプレイに表示された顔のブラックデータとを複数入力して学習させる（ブラックディスプレイ学習ネットワーク）。そして、その後、シアンディスプレイ学習ネットワークに撮像装置２００で撮像した顔のシアンデータを入力し、ブラックディスプレイ学習ネットワークに撮像装置２００で撮像した顔のブラックデータを入力し、入力したデータが現実在の人物の顔の撮像データか否かを判定させることができる。

判定装置１００への入力としては現実在の人物の顔の撮像データと印刷した顔の写真の撮像データとに加えて、液晶ディスプレイなどに表示された顔の撮像データが混入されている可能性がある。これらの入力の中から、確実に現実在の人物の顔の撮像データを判定するために、以下の手順で判定を行う。
まず、撮像装置２００で撮像したシアンデータとブラックデータとをそれぞれ、シアン写真学習ネットワークおよびブラック写真学習ネットワークに入力する。次に、撮像装置２００で撮像したシアンデータとブラックデータとをそれぞれ、シアンディスプレイ学習ネットワークおよびブラックディスプレイ学習ネットワークに入力する。
さらに、上記４つの学習ネットワークの出力を、それぞれ、現実在の人物の顔と判定したとき１、現実在の人物の顔でないと判定したとき０とし、４つの学習ネットワークの出力の合計が所定の値以上である場合に、現実在の人物の顔と判定する。また、それぞれの判定結果が０か１かではなく、中間値で出力される場合は、それらの判定結果を加算した値で判定してもよい。

（畳み込みニューラルネットワークの構成）
畳み込みニューラルネットワークの幅（ニューロン数）と層数については、いろいろな構成が可能である。例えば、撮像データを２２４×２２４にリサイズし、ＲＧＢに分割する場合は、入力信号の数は２２４×２２４×３となる。出力信号は現実在の人物の顔と判定する場合に１となり現実在の人物の顔でない判定する場合に０となる信号と、その逆の信号との計２本である。その間の隠れ層の幅と層数については必要な判定精度と許容できる回路規模とに基づいて選択することができる。
最近、ＲｅｓＮｅｔ（Ｄｅｅｐ Ｒｅｓｉｄｕａｌ Ｎｅｔｗｏｒｋ）という新しい形式の畳み込みニューラルネットワークが学習モデルとして公開されており、この実施の形態においても、例えば１８層のＲｅｓＮｅｔ（ＲｅｓＮｅｔ−１８）を、撮像した人の顔が現実在の人の顔か否かを判定するために転移学習して使用してもよい。また、その他、ＶＧＧおよびｄｅｎｓｅＮｅｔなどの公開されている学習済みモデルを、撮像した人の顔が現実在の人の顔か否かを判定するために、転移学習して使用しても良い。

なお、本実施の形態においては、制御部５００が全ての判断を実施することとしているが、これに限定されず、分析装置４００内に、別の制御部を有し、分析装置４００が判定を実施しても良い。

［報知装置６００の実施の形態］
図２１は、図２に示した判定装置１００の他の例を示す模式図である。
図２１に示す判定装置１００には、図２の判定装置１００にさらに、報知装置６００が設けられている。ここで、報知装置６００は、音声発生装置を有してもよく、表示装置を有してもよく、それらの両者を含めたものであってもよく、その他任意の報知装置６００を含んでもよい。

図２２は、図２１に示した判定装置１００を用いて、撮像装置２００により人の顔を撮影する場合における人の顔の立ち位置指示の一例を示すフローチャートである。

図２２に示すように、制御部５００は、撮像装置２００に撮像の指示を与える（ステップＳ４１）。撮像装置２００は、現実在の人の顔を予め撮像する。この場合、撮像装置２００は、現実在の人の顔を連続して撮影してもよく、動画で撮影してもよく、間欠的に複数回撮像しても良い。

次に図２２に示すように、制御部５００は顔が所定の枠内に入っているかどうかを判定する（ステップＳ４２）。顔が所定の枠内にはいっていない場合は、報知装置６００から被撮像者へ対して、立ち位置を変更するよう報知させる（ステップＳ４３）。
次に、図２２に示すように、制御部５００は、撮像装置２００から撮像された顔の大きさが最適値であるかを判定する（ステップＳ４４）。なお、本実施の形態においては、顔の大きさが最適値であるかを判定しているのみで、現実在かフォトアタックかの判定は行わない。
すなわち、制御部５００は、判定結果が、顔の大きさが最適値よりも小さい場合（ステップＳ４４のＮｏ １）、報知装置６００から被撮像者へ対して、撮像装置２００に近づくように報知させる（ステップＳ４５）。
図２３に報知装置６００の表示装置への表示の一例を示す。図２３において、６１０は表示装置の画面、６２０は望ましい顔の大きさを示す枠、６３０は報知装置６００からの報知の一例である。

このステップＳ４５においては、報知装置６００を用いて、撮像された顔が最適値のサイズになるように、報知装置６００の音声発生装置から「顔を撮像装置２００に近づけてください。」、または報知装置６００の表示装置に「表示部に表示された枠のサイズに顔が収まるように近づいてください。」等といずれか、または両方実施させてもよい。

一方、制御部５００は、判定結果が、顔の大きさが最適値よりも大きい場合（ステップＳ４４のＮｏ ２）、報知装置６００から被撮像者へ対して、撮像装置２００から遠ざかるように報知させる（ステップＳ４６）。

このステップＳ４６においては、報知装置６００を用いて、撮像された顔が最適値のサイズになるように、報知装置６００の音声発生装置から「顔を撮像装置２００から遠ざけてください。」、または報知装置６００の表示装置に「表示部に表示された輪のサイズに顔が収まるように遠ざかってください。」等といずれか、または両方実施させてもよい。

最後に、制御部５００は、判定結果が、顔の大きさが最適値である場合（ステップＳ４４のＹｅｓ）、制御部５００は、図３に示したステップＳ１の処理へ移行してもよい（ステップＳ４７）。
また、表示装置の画面６１０に撮像画像と枠６２０とを表示し、顔の大きさおよび位置が枠６２０と合致したら、自動的に撮像が行われるようにしてもよい。

［発光装置の特定の色の欠けた光の選定の実施の形態］
図２４は、図３に示したステップＳ１の処理の前に、現実在の人の顔を予め撮像させ、発光装置３００から発光させる特定の色の欠けた光の選定を行う一例を示すフローチャートである。
すなわち、図２４は、撮像装置２００による１回の撮像の前に、発光装置３００から発光させる特定の色の欠けた光の選定を行う処理を示す。

まず、図２４に示すように、制御部５００は、撮像装置２００により対象となる現実在の撮像を指示する（ステップＳ５１）。制御部５００の指示に従い、撮像装置２００は、現実在の顔を撮像する。
この場合、撮像装置２００は、現実在の人の顔を連続して撮影してもよく、動画で撮影してもよく、間欠的に複数回撮像しても良い。

次に、撮像装置２００は、撮像データを制御部５００へ送る。制御部５００は、撮像データを受け取る（ステップＳ５２）。
制御部５００は、撮像データから人物の瞳部を抽出する（ステップＳ５３）。制御部５００は、撮像データから人物の瞳部の色を選定する（ステップＳ５４）。

次に、制御部５００は、瞳部の色に応じて発光させる特定の色の欠けた光の選定を行う（ステップＳ５５）。
その後、制御部５００は、図３のステップＳ２の処理を実施する。

ここで、瞳部の色に応じて発光させる特定の色の欠けた光の選定を行う意味合いは、カラーコンタクトを装着しているユーザがいることを考慮して、特定の色の欠けた光の選定を行うものである。例えば、具体的に、＃００００ＦＦのカラーコンタクトをしているユーザには、特定の色の欠けた光として、＃ＦＦＦＦ００の光、＃ＦＦ８８００の光、＃８８ＦＦ００の光を用いて現実在の人物か否かを判定することが容易となるからである。
なお、カラーコンタクトに限定されず、人種または性別、生まれ故郷に応じて瞳部の色が異なるので、図２４の処理を実施することが好ましい。

以上のように、本発明にかかる携帯端末９００および判定装置１００に含まれる分析装置４００および制御部５００を用いることで、現実在する人の顔を確実に判定することができる。特に、複数回の撮像を実施する必要が無いので、短時間でかつ大量の人の判定を実施することができる。
さらに、第１の判定で現実の人の顔でないデータを除外することができるので、処理スピードを高めることができる。

なお、フラッシュ光を、いろいろな光を用いて照射し、被撮像者にどのデータを携帯端末９００および判定装置１００が用いているのかを不明にさせることで、さらにセキュリティを高めることができる。

本実施の形態においては判定装置１００が「判定装置」に相当し、撮像装置２００が「撮像装置」に相当し、フラッシュ光が「色の欠けた発光」に相当し、発光装置３００が「発光装置」に相当し、分析装置４００が「分析装置」に相当し、制御部５００が「制御装置」に相当し、報知装置６００が「報知装置」に相当し、Ｂ−Ｒデータ、Ｇ−Ｒデータが、「データの差分」に相当し、携帯端末９００が「携帯端末」に相当する。

本発明の好ましい一実施の形態は上記の通りであるが、本発明はそれだけに制限されない。本発明の精神と範囲から逸脱することのない様々な実施の形態が他になされることは理解されよう。さらに、本実施の形態において、本発明の構成による作用および効果を述べているが、これら作用および効果は、一例であり、本発明を限定するものではない。

１００ 判定装置
２００ 撮像装置
３００ 発光装置
４００ 分析装置
５００ 制御部
６００ 報知装置
９００ 携帯端末

Claims (15)

1. 人の顔を判定する判定装置であって、
   前記人の顔の撮像を１回行う撮像装置と、
   前記撮像装置が撮像を行う場合に特定の色を欠いた光を発光する発光装置と、
   前記撮像装置からの撮像データを分析する分析装置と、
   前記撮像装置、前記発光装置、および前記分析装置を制御する制御装置とを含み、
   前記制御装置は、前記分析装置により撮像データを各色の成分に分解し、前記発光装置が発光する色の成分データと前記発光装置が発光しない色の成分データとの差分に応じて、前記撮像データが現実在の人物の顔の撮像データであるかどうかを判定する、判定装置。
2. 前記制御装置は、前記人の顔のうちの特定の部分で前記撮像データが現実在の人物の顔の撮像データであるかどうかを判定する、請求項１記載の判定装置。
3. 前記特定の部分は、目、鼻、頬の少なくともいずれかである請求項２記載の判定装置。
4. 前記制御装置は、前記発光装置から前記特定の色を欠いた光の発光を複数回、または複数の、互いに異なる色を欠いた光の発光を指示する、請求項１から３のいずれか１項に記載の判定装置。
5. 前記特定の色を欠いた光は、ＲＧＢのうち一色を欠いた光、ＸＹＺ表色系のうち一色を欠いた光、マンセル表色系のうち一色を欠いた光、のいずれか１つからなる、請求項１から４のいずれか１項に記載の判定装置。
6. 前記判定装置は、前記各色の成分に分解されたデータのうち、前記発光装置が発光する色の成分データから前記発光装置が発光しない色の成分データを減算したデータから、目の部分の輝度が周囲の部分の輝度よりも大きい場合に、前記撮像データを現実在の人物の顔の撮像データと判定する、請求項１から５のいずれか１項に記載の判定装置。
7. 前記判定装置は、以下のステップ、
   １）前記各色の成分に分解されたデータのうち、前記発光装置が発光する色の成分データから前記発光装置が発光しない色の成分データを減算するステップ、
   ２）前記減算したデータのピーク値を求めるステップ、
   ３）前記ピーク値を境界として、前記減算したデータを前半データと後半データとに分割するステップ、
   ４）前記後半データを境界が最後に来るように順序を反転するステップ、
   ５）前記前半データと順序を反転された前記後半データとのピアソンの積率相関係数を計算するステップ、
   ６）前記ピアソンの積率相関係数が０．５以上であれば撮像データを現実在の人物の顔の撮像データと判定するステップ、によって前記撮像データが現実在の人物の顔の撮像データかどうかを判定する、請求項１から６のいずれか１項に記載の判定装置。
8. 前記判定装置は、前記発光装置が発光する色の成分データと前記発光装置が発光しない色の成分データとの差分を、前記人の顔の部分と背景部分とについて計算し、前記人の顔の部分の差分の大きさと前記背景部分の差分の大きさとを比較して、前記撮像データが現実在の人物の顔の撮像データであるかどうかを判定する、請求項１記載の判定装置。
9. 人の顔を判定する判定装置であって、
   前記人の顔の撮像を行う撮像装置と、
   前記撮像装置が撮像を行う場合に特定の色の光を発光する発光装置と、
   畳み込みニューラルネットワークを備え、前記撮像装置からの撮像データを分析する分析装置と、
   前記撮像装置、前記発光装置、および前記分析装置を制御する制御装置とを含み、
   前記畳み込みニューラルネットワークは、前記発光装置が発光している状態での、現実在の人物の顔の撮像データと同一人物の顔の写真の撮像データとを用いて、入力データが現実在の人物の顔の撮像データか否かを判定できるように学習しており、
   前記判定装置は、前記発光装置が発光している状態で前記人の顔を撮像し、顔周辺を抽出した撮像データを前記畳み込みニューラルネットワークに入力して、撮像した前記人の顔が現実在の人の顔か否かを判定する、判定装置。
10. 前記分析装置は、前記発光装置が発光している状態での撮像データを用いて学習した第１の畳み込みニューラルネットワークと前記発光装置が発光していない状態での撮像データを用いて学習した第２の畳み込みニューラルネットワークとを備え、
    前記判定装置は、前記発光装置が発光している状態での撮像データを前記第１の畳み込みニューラルネットワークに入力し、前記発光装置が発光していない状態での撮像データを前記第２の畳み込みニューラルネットワークに入力し、
    前記第１の畳み込みニューラルネットワークの判定結果と、前記第２の畳み込みニューラルネットワークの判定結果とに基づいて、撮像した前記人の顔が現実在の人の顔か否かを判定する、請求項９に記載の判定装置。
11. 前記分析装置は、さらに、前記発光装置が発光している状態での、現実在の人物の顔の撮像データと同一人物の顔のディスプレイ表示の撮像データとを用いて学習した第３の畳み込みニューラルネットワークと、前記発光装置が発光していない状態での、現実在の人物の顔の撮像データと同一人物の顔のディスプレイ表示の撮像データとを用いて学習した第４の畳み込みニューラルネットワークとを備え、
    前記判定装置は、前記発光装置が発光している状態での撮像データを前記第１および第３の畳み込みニューラルネットワークに入力し、前記発光装置が発光していない状態での撮像データを前記第２および第４の畳み込みニューラルネットワークに入力し、
    前記第１から第４の畳み込みニューラルネットワークの判定結果に基づいて、撮像した前記人の顔が現実在の人の顔か否かを判定する、請求項１０に記載の判定装置。
12. 報知装置をさらに含み、
    前記制御装置は、前記判定を実施する前に前記撮像装置により人の顔を撮像させ、前記判定を行うことができる前記人の顔のサイズとなるよう、前記報知装置から前記人に立ち位置を報知させる、請求項１から１１のいずれか１項に記載の判定装置。
13. 前記制御装置は、前記判定を実施する前に前記撮像装置により人の顔を撮像させ、当該撮像された撮像データから最適な前記特定の色を欠いた光を選定させて前記発光装置から発光させる、請求項１から１２のいずれか１項に記載の判定装置。
14. 請求項１から請求項１３に記載の判定装置を含む携帯端末。
15. 人の顔を判定する判定装置用のプログラムであって、
    前記人の顔の撮像を１回行う撮像処理と、
    前記撮像処理が撮像を行う場合に特定の色を欠いた光を発光する発光処理と、
    前記撮像処理からの撮像データを分析する分析処理と、
    前記撮像処理、前記発光処理、および前記分析処理を制御する制御処理とを含み、
    前記制御処理は、前記分析処理により撮像データを各色の成分に分解し、発光処理が発光する色の成分データと発光処理が発光しない色の成分データとの差分に応じて、前記撮像データが現実在の人物の顔の撮像データであるかどうかを判定処理する、判定装置用のプログラム。
    
    

Images