JP3650323B2 - Optical face image recognition method and apparatus - Google Patents

Description

【０００７】
（ここで、Ｎはデータベース画像数、Ｐ_ijはｉ番目の入力画像に対するｊ番目のデータベース画像との相関信号強度、Ｐ_imaxはｉ番目の入力画像に対する最大の相関信号強度）、この比較値Ｃｉとしきい値との比較を行い、比較値Ｃｉがしきい値より小さい場合は、登録者の顔であり、比較値Ｃｉがしきい値より大きい場合は、登録者の顔ではないと評価することを特徴とする。
【０００８】
〔２〕光学的信号処理部とデジタルコンピュータ部を用いる光学的顔画像認識装置であって、補正用画像およびデータベース画像を出力する光学的メモリシステムと、発光ダイオードと、この発光ダイオードからの照射光を受ける電気書込み型液晶空間変調器と、この電気書込み型液晶空間変調器からの出力光を拡散する拡散板と、この拡散板によって拡散された光をコリメートするコリメートレンズと、このコリメートレンズからの平行光線を受ける回折型のバイナリ光学素子アレイと、このバイナリ光学素子アレイからの光を受 けるとともに、前記光学メモリシステムからの出力光を受けるハーフミラーとを有する光学的デュプリケートシステムとを具備し、入力画像を前記電気書込み型液晶空間変調器に表示し、前記光学的デュプリケートシステムにより前記入力画像をチャンネル数分複製し、前記光学的メモリシステムからの補正用画像およびデータベース画像を読み出し、各チャンネルにおいて、入力画像と補正用画像およびデータベース画像との相関信号強度を取得し、その相関信号に基づいて登録者・未登録者の識別のための評価値を求めることを特徴とする。
【０００９】
〔３〕上記〔２〕記載の光学的顔画像認識装置において、前記デジタルコンピュータは、光演算に適した３点指定による大きさの正規化、エッジ抽出・２値化処理の前処理と前記光演算で得られた相関信号からの登録者・未登録者の識別のための評価値を求める後処理を有し、再現性のある最適条件を提供することを特徴とする。
【００１０】
【発明の実施の形態】
以下、本発明の実施の形態について詳細に説明する。
【００１１】
図１は本発明の実施例を示す光学システムの構成図であり、入力画像の複製に光学的なデュプリケート、データベース画像に光メモリを用いたシステムである。図２は本発明の実施例を示す光学的顔画像認識の全体フローチャート、図３はその光並列相関器（ＰＪＴＣ：Ｐａｒａｌｌｅｌ Ｊｏｉｎｔ Ｔｒａｎｓｆｏｒｍ Ｃｏｒｒｅｌａｔｏｒ）による演算を行うための前処理の工程図である。ＪＴＣは、大きさに対する依存性が高いため、その正規化が必要となっている。
【００１２】
図１において、Ａは光学的メモリシステム、Ｂは光学的デュプリケートシステム、１はＨｅ−Ｎｅレーザ、２は偏光板、３は対物レンズ、４はピンホール、５は第１のコリメートレンズ、６は第１のハーフミラー、７は第２のハーフミラー、８は第１のミラー、９はフォトリフラクティブ結晶、１０は第２のミラー、１１は第２のコリメートレンズ、１２は発光ダイオード（ＬＥＤ）、１３は電気書き込み型液晶空間光変調器（ＥＳＬＭ）、１４は拡散板、１５は第３のコリメートレンズ、１６はバイナリアレイ光学素子（ＢＺＰＡ）、１７は第３のハーフミラー、１８は光書き込み型液晶空間光変調器（ＯＳＬＭ）、１９は第４のハーフミラー、２０はバイナリアレイ光学素子（ＢＺＰＡ）、２１は光書き込み型液晶空間光変調器（ＯＳＬＭ）、２２は第５のハーフミラー、２３はバイナリアレイ光学素子（ＢＺＰＡ）、２４はＣＣＤカメラである。
【００１３】
図１に示すように、光源は定盤上システムにおいては、Ｈｅ−Ｎｅレーザ１、デュプリケートにはＬＥＤ１２とし、小型化システムにおいては、表１に示すような仕様とした。
【００１４】
【表１】

【００１５】
次に、定盤上システムにおけるシステム過程の説明を行う。
【００１６】
１入力顔画像に対しては、データベースから５つの異なる顔画像を同時に読み出し、５チャンネル同時の並列演算を行っている。光が相関器を一度、通過するのを１ループとすると、１００人のデータベースでは２０ループでよいことになり、演算時間が短縮されている。このフーリエ変換アレイ素子としては、小型・軽量・高効率及び設計の自由度のある回折型のＢＺＰＡ１６，２０，２３を用い、開口は顔画像の情報を失わない大きさである５ｍｍ、焦点距離は相関信号の受光器のＣＣＤカメラ２４のピクセルサイズを考慮した３００ｍｍとした。また、画像表示ＥＳＬＭ１３からの高次回折光の影響がない設計の５並列とした。
【００１７】
以下、図２を参照しながら、光学的顔画像認識のフローを説明する。
【００１８】
（１）まず、デジタルカメラやスキャナなどの画像入力デバイスからのデータ（オリジナルイメージ）の入力を行う（ステップＳ１）。
【００１９】
（２）入力画像をディスプレイに表示する（ステップＳ２）。
【００２０】
（３）次に、３点指定による顔画像の大きさの正規化と切り出し処理を行う（ステップＳ３）。
【００２１】
具体的には、図３（ａ）に示すように、（１）目頭、鼻下点の３点をクリックし、（２）その３点からなる三角形の面積Ｔの計算を行う。次に、図３（ｂ）に示すように、（３）予め実験により確認した正規化の値Ｔ_normになるような倍率（Ｔ_norm／Ｔ）で拡大縮小を行う。次に、図３（ｃ），（ｄ）に示すように、（４）鼻下点を基準として１２８×１２８ピクセルに切り出す。
【００２２】
（４）次に、入力顔画像の前処理を行う（ステップＳ４）。
【００２３】
具体的には、図３（ｅ）に示すように、（１）ソベル（Ｓｏｂｅｌ）フィルタによるエッジ抽出を行う。次に、図３（ｆ）に示すように、（２）横方向（ｘ方向）を１／２に縮小し、（３）全体の２０％が白くなるような２値化処理を行う。
【００２４】
（５）次に、各チャンネル補正及び相関演算の準備を行う（ステップＳ５）。
【００２５】
具体的には、（１）入力画像を電気書き込み型液晶空間光変調器に表示する。次に、（２）光学的デュプリケートにより入力画像をチャンネル数分複製する。次に、（３）光メモリからの補正用画像を読み出し、（４）各チャンネル補正用相関信号強度Ｉｋを取得する。
【００２６】
（６）次に、相関信号の取得及び補正処理を行う（ステップＳ６）。
【００２７】
具体的には、（１）光メモリから画像を読み出す。次に、（２）データベース画像と入力画像の相関信号を取得する。次に、（３）補正処理を行う。これは各チャンネルごとにＩｋで規格化を施すというものである。この補正により相関信号強度のばらつきが４０％程度までなら演算が可能となった。
【００２８】
（７）次に、後処理を行う（ステップＳ７）。
【００２９】
具体的には比較値の計算を行う。ここで、比較値Ｃ_i は、
【００３０】
【数３】

【００３１】
ここで、Ｎはデータベース、Ｐ_ijはｉ番目の入力画像に対するｊ番目のデータベース画像との相関信号強度、Ｐ_imaxはｉ番目の入力画像に対する最大の相関信号強度である。
【００３２】
（８）次に、識別を行う（ステップＳ８）。
【００３３】
具体的には、しきい値との比較を行う。Ｃ_i がしきい値より小さい場合は、登録された顔である。また、Ｃ_i がしきい値より大きい場合は、登録された顔ではない。
【００３４】
以下、各処理について順次説明する。
【００３５】
Ａ．前処理
上記したように、前処理として、目頭、鼻下点の３点を指定し、その３点からなる三角形の面積が一定になるように取得した顔画像の縮小・拡大を行い、鼻下点を基準として認識に用いる画像サイズ１２８×１２８ピクセルに切り出す。
【００３６】
その後、光演算において、透過光量の均一化と、ＳＮ比向上のためにソベルフィルタによるエッジ抽出と全体の２０％を白くする２値化処理を行っている。
【００３７】
以上の前処理により、認識に対するロバスト性を向上させた。
【００３８】
Ｂ．相関演算
本発明の相関演算は、画像認識に適しているといわれているＪＴＣの原理を基に、フーリエ変換用レンズにバイナリ光学素子を適用することで並列演算を可能とした。
【００３９】
データベースからの読み出し、入力画像表示をデジタルコンピュータを用いて制御した場合でも、光演算による処理を行うので、１入力に対し、１００人のデータベースの演算が１３ｓと、高速で処理が可能である。
【００４０】
また、本発明のデュプリケート表示および、光メモリを用いることで、電子・光変換にビデオレートに依存しない超高速な演算を可能とし、処理速度を１ｓ以下に向上させることができる。
【００４１】
Ｃ．フーリエ変換用バイナリ素子の設計手法
ＪＴＣによる演算を空間並列に行うために、フーリエ変換用レンズにＢｉｎａｒｙ Ｚｏｎｅ Ｐｌａｔｅ Ａｒｒａｙ（ＢＺＰＡ）を適用している。ＢＺＰＡは小型・軽量で設計の自由度が高く、本発明のシステムに適している。このＢＺＰＡの配置設計には、画像表示用の液晶空間光変調器のピクセル構造や光書き込み型液晶空間光変調器の解像度などのデバイス特徴を考慮する必要があり、ＢＺＰＡの設計手法に依る。この設計手法で、ＪＴＣ演算用のＢＺＰＡの自動設計が可能になる。
【００４２】
以下、ＢＺＰＡの設計手法について説明する。
【００４３】
図４は本発明の実施例を示すＢＺＰＡの設計フローチャートである。
【００４４】
（１）まず、認識対象画像サイズの決定を行う（ステップＳ１１）。
【００４５】
すなわち、（ａ）並列度向上のためには画像サイズを最小にする必要がある。また、（ｂ）認識に影響を及ぼさないサイズであることも必要なため、両方を考慮して、認識に影響を及ぼさない最小サイズにする。
【００４６】
（２）次に、開口サイズの決定を行う（ステップＳ１２）。
【００４７】
具体的には、画像を表示するＥＳＬＭのピクセルピッチＰ_e ｍｍを考慮する。
【００４８】
Ｄ＝ｘ×Ｐ_e ×ｓｑｒｔ（２）
＝Ｐ_e ｘ×ｓｑｒｔ（２）ｍｍ
（３）次に、焦点距離の決定を行う（ステップＳ１３）。
【００４９】
干渉縞の空間周波数ｋと焦点距離ｆの間には
ｋ＝ｄ／ｆλ
という関係式が成り立つ。また、干渉縞を書き込むＰＡＬ−ＳＬＭの解像度は、２０％以上の回折効率を得るためには１８ｌｐ／ｍｍ以下となるため、焦点距離ｆは以下の式より求められる。
【００５０】
ｆ≧〔Ｄ／２（ｍｍ）〕／〔１８（ｌｐ／ｍｍ）×λ（ｍｍ）〕
（４）さらに、高次複製像の考慮をする（ステップＳ１４）。
【００５１】
すなわち、ＥＳＬＭのピクセル構造の回折による高次複製像を避けたアレイ化の設計が必要であり、高次回折像は、
λｆ／Ｐ_e
の距離で生じるので、この距離に重ならないように配置を行う。
【００５２】
この設計手法により、表１のデバイス仕様に基づき、設計を行うと、定盤システムでは５チャンネル、小型システム（ＣＯＰａＣ）では４チャンネルの配置となる。
【００５３】
Ｄ．各チャンネル補正
並列演算を行うに当たり問題となるのが、各チャンネルの光強度が均一であるか否かである。これはシステムの小型化を考えた場合、折り返しのミラーの数が多くなり、さらに光源の半導体レーザなどの時空間の光強度分布の変化により各チャンネルで得られる光相関信号強度に１０〜３０％程度の不均一性が生じてしまう。そこで、これを是正するための補正処理が必要となってくる。補正処理の方法としては、まず、毎回の演算ごとに補正用画像を表示し、その相関光強度を補正信号として得る。そして、相関演算で得られた光信号強度を各チャンネルで規格化し、補正された信号Ｐ_ijとする。この補正処理により、相関信号強度のばらつきが４０％程度までなら演算が可能となった。
【００５４】
Ｅ．後処理
得られた相関信号を再度コンピュータに取り込み、後処理として比較値（Ｃｏｍｐａｒｉｓｏｎ Ｖａｌｕｅ）を求め、この値により識別を行う。
【００５５】
入力画像のコード番号をｉ、データベース画像のコード番号をｊとし、入力画像ｃｏｄｅ＃ｉに対するデータベース画像ｄａｔａ＃ｊとの相関強度の測定値をＰ_ijとすると、データベース画像の数がＮならば、この相関強度値はｊ＝１からＮまでＮ個得られる。登録者が入力されれば、自己相関値Ｐ_ijは全データベース画像との相関演算信号の光強度より高い値をとり、一方、未登録者が入力された時には、本人がそこに存在しないので、どのＰ_ijも低い値を取る。ここでＰ_i1〜Ｐ_iNの最大値Ｐ_imaxでＰ_ijを１を最大値として規格化すると、登録者の場合にはその最大値（＝１）を除いた他の平均値は低く、未登録者は高くなる。これを入力画像ｃｏｄｅ＃１に対する比較値として表したのが、Ｃｏｍｐａｒｉｓｏｎ Ｖａｌｕｅであり、その算出手法を示す。
【００５６】
〔具体的実施例〕
本発明によって、パスワードなどのＩＤレスで顔画像を入力し、大規模データベースからの個人検索および未登録者の排除が高速処理で可能であり、コンピュータなどへのログインや入退室の際のセキュリティチェックも可能である。
【００５７】
コンピュータへのＩＤレス顔パスログインや個人検索などの検討では、実際に実験を行って確認をしている。
【００５８】
また、実現する際に相関演算後の出力面から相関信号のみを効率よく取得するために、不要な成分である０次光をカットするためのマスクを出力面に使用することが必要である。
【００５９】
図５は本発明の実施例を示す０次カットマスク効果を示す図である。
【００６０】
これまで、相関演算を行った結果は、図５（ａ）に示すように、相関信号として必要のない０次光もＣＣＤカメラ内に入ってしまっていた。また、そのために、０次光の強い強度により１次光も強度を引っ張られ影響が及ぼされていた。そこで、本発明の実施例（ＣＯＰａＣにおいて）では、相関信号がＣＣＤカメラに納まるように縮小光学系を組み、４チャンネルの相関信号が取得できる縮小率にした。そのため、図５（ｂ）に示すように相関信号のみの取得が可能となった。
【００６１】
また、相関信号取得のための検出器として、フォトディテクタアレイを用いることにより、より高速な相関処理が可能となり、その可能性も実験的に確かめている。
【００６２】
本発明によれば、顔画像認識に光並列相関器（ＰＪＴＣ）の演算手法を用いて並列処理を可能にしているので、従来の１チャネルの認識技術に比べ、光学的な手法の優位性を充分に活用することができる。
【００６３】
また、本発明の手法は、入力画像としての顔の取得からその正規化、相関演算、後処理まで、ＰＪＴＣを中心として認識に必要な処理をすべて含んでおり、この手法により顔画像認識が可能になる。
【００６４】
また、本発明にかかる顔画像認識システムは、アナログ光演算のデータベース画像としてホログラフィック多重メモリを用いる。さらに、入力画像に対し、光学的デュプリケートを用いることで電子・光子変換に時間（ビデオレートの３０ｍｓ）に依存しない超高速な演算を可能とする。
【００６５】
なお、本発明は上記実施例に限定されるものではなく、本発明の趣旨に基づいて種々の変形が可能であり、これらを本発明の範囲から排除するものではない。
【００６６】
【発明の効果】
以上、詳細に説明したように、本発明によれば、以下のような効果を奏することができる。
【００６７】
（Ａ）顔画像認識に光並列相関器（ＰＪＴＣ）の演算手法を用いて並列処理を可能にしているので、従来の１チャンネルの認識技術に比べ、光学的な手法の優位性を充分に活用することができる。
【００６８】
また、本発明の顔画像認識方法は、入力画像としての顔の取得からその正規化、相関演算、後処理まで、ＰＪＴＣを中心として認識に必要な処理をすべて含んでおり、この手法により、顔画像認識を可能にすることができる。
【００６９】
（Ｂ）顔画像認識装置は、アナログ光演算のデータベース画像としてホログラフィック多重メモリを用い、入力画像に対し光学的デュプリケートを用いることにより、電子・光子変換に時間（ビデオレートの３０ｍｓ）に依存しない超高速な演算を行うことができる。
【図面の簡単な説明】
【図１】 本発明の実施例を示す光学的デュプリケートシステムと光学的メモリシステムを含む光学システムの構成図である。
【図２】 本発明の実施例を示す光学的顔画像認識の全体フローチャートである。
【図３】 本発明の実施例を示す光並列相関器（ＰＪＴＣ）による演算を行うための前処理の工程図である。
【図４】 本発明の実施例を示すＢＺＰＡの設計フローチャートである。
【図５】 本発明の実施例を示す０次光カットマスク効果を示す図である。
【符号の説明】
Ａ 光学的メモリシステム
Ｂ 光学的デュプリケートシステム
１ Ｈｅ−Ｎｅレーザ
２ 偏光板
３ 対物レンズ
４ ピンホール
５ 第１のコリメートレンズ
６ 第１のハーフミラー
７ 第２のハーフミラー
８ 第１のミラー
９ フォトリフラクティブ結晶
１０ 第２のミラー
１１ 第２のコリメートレンズ
１２ 発光ダイオード（ＬＥＤ）
１３ 電気書き込み型液晶空間光変調器（ＥＳＬＭ）
１４ 拡散板
１５ 第３のコリメートレンズ
１６，２０，２３ バイナリアレイ光学素子（ＢＺＰＡ）
１７ 第３のハーフミラー
１８，２１ 光書き込み型液晶空間光変調器（ＯＳＬＭ）
１９ 第４のハーフミラー
２２ 第５のハーフミラー
２４ ＣＣＤカメラ[0001]
BACKGROUND OF THE INVENTION
The present invention relates to an optical face image recognition method and apparatus.
[0002]
[Prior art]
A method of facial image recognition using a digital computer has already been announced. However, in the case of a digital computer, collation with a huge database is difficult from the viewpoint of calculation ability, and collation by calling data such as a password is almost all. On the other hand, when an optical calculation technique is adopted, it is easy to collate a huge database. It is advantageous to perform the correlation calculation optically from such a surface, but no face image recognition technique by optical database search has been established so far.
[0003]
[Problems to be solved by the invention]
As described above, the conventional face recognition method using a digital computer has a problem in efficiency. On the other hand, if face image recognition is performed by optical database search, it is possible to execute super-fast calculation. Although effective, it was not technically satisfactory.
[0004]
In view of the above situation, an object of the present invention is to provide an optical face image recognition method and apparatus capable of executing an ultra-high speed operation.
[0005]
[Means for Solving the Problems]
In order to achieve the above object, the present invention provides
[1] An optical face image recognition method using an optical signal processing unit and a digital computer unit, in which an optical memory system for outputting a correction image and a database image is arranged, and an electric light receiving irradiation light from a light emitting diode is received. Write type liquid crystal spatial modulator, diffuser plate that diffuses the output light from this electric write type liquid crystal spatial modulator, collimator lens that collimates the light diffused by this diffuser plate, and parallel rays from this collimator lens a diffraction type binary optical element array for receiving, with receiving light from the binary optical element array, and an optical duplicate system having a half mirror for receiving the output light from the optical memory system is arranged, the input image displays electrical writing type liquid crystal spatial light modulator, optically with binary optical element array The input image by Interview applicator collection system replicated several channels minutes, reads the correction image and database images from said optical memory system, obtains the correlation signal strength between each channel correction correlation signal strength and database images, The comparison value Ci is obtained by the following formula,
[0006]
[Expression 2]

[0007]
(Where N is the number of database images, P _ij is the correlation signal strength of the i-th input image with the j-th database image, P _imax is the maximum correlation signal strength of the i-th input image), and this comparison value Ci If the comparison value Ci is smaller than the threshold value, the face is the registrant's face, and if the comparison value Ci is larger than the threshold value, the face is evaluated not to be the registrant's face. It is characterized by.
[0008]
[2] A optical face image recognition apparatus using the optical signal processing unit and a digital computer unit, an optical memory system that outputs the correction image and database images, a light emitting diode, radiation from this light-emitting diode electrical writing type liquid crystal spatial modulator to receive light, a diffusion plate for diffusing the output light from the electric writing type liquid crystal spatial light modulator, and a collimator lens for collimating the light diffused by the diffusion plate, this collimating lens a diffraction type binary optical element array which receives the collimated light beam from, with Keru receive light from this binary optical element array, and an optical duplicate system having a half mirror for receiving the output light from the optical memory system comprising, displays an input image on the electro-write type liquid crystal spatial light modulator, said optical Deyupurike The input image is duplicated several channels minutes by preparative system reads out the correction image and database images from said optical memory system, in each channel, and acquires a correlation signal intensity between the input image and the correction image and database images The evaluation value for identifying the registrant / unregistered person is obtained based on the correlation signal.
[0009]
[3] In the optical face image recognition apparatus according to [2], the digital computer may perform pre-processing of size normalization, edge extraction / binarization processing by three-point designation suitable for light calculation, and the light. It has a post-process for obtaining an evaluation value for identifying a registered person / unregistered person from a correlation signal obtained by calculation, and provides reproducible optimum conditions.
[0010]
DETAILED DESCRIPTION OF THE INVENTION
Hereinafter, embodiments of the present invention will be described in detail.
[0011]
FIG. 1 is a block diagram of an optical system showing an embodiment of the present invention, which uses an optical duplicate for copying an input image and an optical memory for a database image. FIG. 2 is an overall flowchart of optical face image recognition showing an embodiment of the present invention, and FIG. 3 is a process diagram of preprocessing for performing calculation by the optical parallel correlator (PJTC: Parallel Joint Transform Correlator). Since JTC is highly dependent on size, it needs to be normalized.
[0012]
In FIG. 1, A is an optical memory system, B is an optical duplicate system, 1 is a He-Ne laser, 2 is a polarizing plate, 3 is an objective lens, 4 is a pinhole, 5 is a first collimating lens, and 6 is 1st half mirror, 7 is 2nd half mirror, 8 is 1st mirror, 9 is a photorefractive crystal, 10 is a 2nd mirror, 11 is a 2nd collimating lens, 12 is a light emitting diode (LED), 13 is an electric writing type liquid crystal spatial light modulator (ESLM), 14 is a diffusion plate, 15 is a third collimating lens, 16 is a binary array optical element (BZPA), 17 is a third half mirror, and 18 is an optical writing type. A liquid crystal spatial light modulator (OSLM), 19 is a fourth half mirror, 20 is a binary array optical element (BZPA), and 21 is an optical writing type liquid crystal spatial light modulator (OSL). ), The fifth half mirror 22, 23 is a binary array optical element (BZPA), 24 is a CCD camera.
[0013]
As shown in FIG. 1, the light source is a He-Ne laser 1 in a system on a surface plate, an LED 12 in a duplicate, and a specification as shown in Table 1 in a miniaturized system.
[0014]
[Table 1]

[0015]
Next, a system process in the surface plate system will be described.
[0016]
For one input face image, five different face images are simultaneously read from the database and parallel computations are performed simultaneously for five channels. If one loop passes light once through the correlator, 20 loops are required for a database of 100 people, and the calculation time is shortened. As this Fourier transform array element, diffractive BZPA16, 20, 23 with small size, light weight, high efficiency and freedom of design is used, the aperture is a size that does not lose the information of the face image, and the focal length is 5 mm. It was set to 300 mm in consideration of the pixel size of the CCD camera 24 of the light receiver of the correlation signal. In addition, the design is such that there are five parallel designs with no influence of high-order diffracted light from the image display ESLM 13.
[0017]
Hereinafter, the flow of optical face image recognition will be described with reference to FIG.
[0018]
(1) First, data (original image) is input from an image input device such as a digital camera or a scanner (step S1).
[0019]
(2) An input image is displayed on the display (step S2).
[0020]
(3) Next, normalization of the size of the face image by specifying three points and clipping processing are performed (step S3).
[0021]
Specifically, as shown in FIG. 3A, (1) three points of the head and lower nose are clicked, and (2) the area T of the triangle composed of the three points is calculated. Next, as shown in FIG. 3B, (3) enlargement / reduction is performed at a magnification (T _norm / T) that results in a normalization value T _norm confirmed in advance by experiments. Next, as shown in FIGS. 3C and 3D, (4) 128 × 128 pixels are cut out based on the lower nose point.
[0022]
(4) Next, preprocessing of the input face image is performed (step S4).
[0023]
Specifically, as shown in FIG. 3 (e), (1) edge extraction by a Sobel filter is performed. Next, as shown in FIG. 3F, (2) the horizontal direction (x direction) is reduced to ½, and (3) binarization processing is performed so that 20% of the entire image becomes white.
[0024]
(5) Next, preparation for each channel correction and correlation calculation is performed (step S5).
[0025]
Specifically, (1) an input image is displayed on an electric writing type liquid crystal spatial light modulator. Next, (2) the input image is duplicated by the number of channels by optical duplication. Next, (3) a correction image is read from the optical memory, and (4) each channel correction correlation signal intensity Ik is acquired.
[0026]
(6) Next, correlation signal acquisition and correction processing is performed (step S6).
[0027]
Specifically, (1) an image is read from the optical memory. Next, (2) a correlation signal between the database image and the input image is acquired. Next, (3) correction processing is performed. This is to standardize each channel with Ik. As a result of this correction, calculation is possible if the correlation signal intensity variation is up to about 40%.
[0028]
(7) Next, post-processing is performed (step S7).
[0029]
Specifically, the comparison value is calculated. Here, the comparison value C _i is
[0030]
[Equation 3]

[0031]
Here, N is the database, P _ij is the correlation signal strength of the i-th input image with the j-th database image, and P _imax is the maximum correlation signal strength for the i-th input image.
[0032]
(8) Next, identification is performed (step S8).
[0033]
Specifically, a comparison with a threshold value is performed. If C _i is smaller than the threshold value, the face is registered. If C _i is greater than the threshold value, the face is not registered.
[0034]
Hereinafter, each process will be described sequentially.
[0035]
A. Pre-processing As described above, as the pre-processing, the three points of the eyes and the lower nose are designated, and the acquired face image is reduced and enlarged so that the area of the triangle composed of the three points is constant, and the lower nose The image size used for recognition is cut out to 128 × 128 pixels using the point as a reference.
[0036]
Thereafter, in the light calculation, in order to make the transmitted light amount uniform and improve the SN ratio, edge extraction by a Sobel filter and binarization processing for whitening 20% of the whole are performed.
[0037]
With the above preprocessing, robustness to recognition is improved.
[0038]
B. Correlation calculation The correlation calculation of the present invention enables parallel calculation by applying a binary optical element to a Fourier transform lens based on the principle of JTC which is said to be suitable for image recognition.
[0039]
Even when the reading from the database and the display of the input image are controlled using a digital computer, the processing by the optical calculation is performed. Therefore, the calculation of the database for 100 people can be performed at a high speed of 13 s for one input.
[0040]
Further, by using the duplicate display and the optical memory of the present invention, it is possible to perform an ultra-high speed operation independent of the video rate for electronic / optical conversion, and the processing speed can be improved to 1 s or less.
[0041]
C. Design Method for Binary Elements for Fourier Transform In order to perform JTC operations in parallel in parallel, a binary zone plate array (BZPA) is applied to the Fourier transform lens. BZPA is small and lightweight and has a high degree of design freedom, and is suitable for the system of the present invention. This BZPA layout design needs to take into account device characteristics such as the pixel structure of the liquid crystal spatial light modulator for image display and the resolution of the light writing type liquid crystal spatial light modulator, and depends on the BZPA design method. This design method enables automatic design of BZPA for JTC calculation.
[0042]
The BZPA design method will be described below.
[0043]
FIG. 4 is a BZPA design flowchart showing an embodiment of the present invention.
[0044]
(1) First, the recognition target image size is determined (step S11).
[0045]
That is, (a) In order to improve the degree of parallelism, it is necessary to minimize the image size. In addition, (b) it is also necessary to have a size that does not affect the recognition. Therefore, in consideration of both, the minimum size that does not affect the recognition is used.
[0046]
(2) Next, the opening size is determined (step S12).
[0047]
Specifically, the pixel pitch P _e mm of the ESLM that displays the image is considered.
[0048]
D = x * _Pe * sqrt (2)
= P _e x × sqrt (2) mm
(3) Next, the focal length is determined (step S13).
[0049]
Between the spatial frequency k of the interference fringes and the focal length f, k = d / fλ
The following relational expression holds. Further, since the resolution of the PAL-SLM for writing interference fringes is 18 lp / mm or less in order to obtain a diffraction efficiency of 20% or more, the focal length f can be obtained from the following equation.
[0050]
f ≧ [D / 2 (mm)] / [18 (lp / mm) × λ (mm)]
(4) Further, higher-order duplicate images are considered (step S14).
[0051]
In other words, it is necessary to design an array that avoids higher-order duplicated images due to diffraction of the pixel structure of ESLM.
λf / P _e
Therefore, the arrangement is made so as not to overlap this distance.
[0052]
When designing based on the device specifications shown in Table 1 by this design method, the arrangement is 5 channels in the surface plate system and 4 channels in the small system (COPaC).
[0053]
D. Correction of each channel A problem in performing parallel calculation is whether or not the light intensity of each channel is uniform. When considering miniaturization of the system, the number of folding mirrors increases, and further, the optical correlation signal intensity obtained in each channel is 10-30% due to the change in the temporal and spatial light intensity distribution of the semiconductor laser or the like of the light source. A degree of non-uniformity will occur. Therefore, correction processing is necessary to correct this. As a correction processing method, first, a correction image is displayed for each calculation, and the correlated light intensity is obtained as a correction signal. Then, the optical signal intensity obtained by the correlation calculation is normalized for each channel to obtain a corrected signal P _ij . By this correction processing, calculation is possible if the variation in correlation signal intensity is up to about 40%.
[0054]
E. Post-processing The obtained correlation signal is taken into the computer again, a comparison value (Comparison Value) is obtained as post-processing, and identification is performed based on this value.
[0055]
If the code number of the input image is i, the code number of the database image is j, and the measured value of the correlation strength between the input image code # i and the database image data # j is P _ij , if the number of database images is N, N correlation intensity values are obtained from j = 1 to N. If the registrant is input, the autocorrelation value P _ij takes a value higher than the light intensity of the correlation calculation signal with all the database images. On the other hand, when the unregistered person is input, the person does not exist there. Every P _ij takes a low value. Here, when P _ij is normalized with the maximum value P _imax of P _{i1 to} P _iN as 1 being the maximum value, in the case of a registrant, other average values except for the maximum value (= 1) are low and are not registered. One will be higher. This is expressed as a comparison value as a comparison value for the input image code # 1, and its calculation method is shown.
[0056]
[Specific Examples]
According to the present invention, a face image can be input without ID such as a password, personal search from a large-scale database and exclusion of unregistered persons can be performed at high speed, and security check when logging into a computer or entering or leaving a room Is also possible.
[0057]
In examinations such as IDless face pass login to the computer and personal search, experiments are actually conducted and confirmed.
[0058]
Further, in order to efficiently acquire only the correlation signal from the output surface after the correlation calculation when realizing, it is necessary to use a mask for cutting the zero-order light, which is an unnecessary component, on the output surface.
[0059]
FIG. 5 is a diagram showing the 0th-order cut mask effect showing the embodiment of the present invention.
[0060]
Until now, as a result of the correlation calculation, as shown in FIG. 5A, zero-order light which is not necessary as a correlation signal has also entered the CCD camera. For this reason, the intensity of the primary light is also pulled by the strong intensity of the zero-order light, and the influence is exerted. Therefore, in the embodiment of the present invention (in COPaC), the reduction optical system is assembled so that the correlation signal is stored in the CCD camera, and the reduction ratio is such that a 4-channel correlation signal can be acquired. Therefore, as shown in FIG. 5B, only the correlation signal can be acquired.
[0061]
In addition, by using a photodetector array as a detector for acquiring a correlation signal, higher-speed correlation processing becomes possible, and the possibility has been experimentally confirmed.
[0062]
According to the present invention, since parallel processing is possible using the calculation method of the optical parallel correlator (PJTC) for face image recognition, the superiority of the optical method compared with the conventional one-channel recognition technology. It can be fully utilized.
[0063]
In addition, the method of the present invention includes all processes necessary for recognition centering on PJTC, from the acquisition of a face as an input image to its normalization, correlation calculation, and post-processing, and this method enables face image recognition. become.
[0064]
The face image recognition system according to the present invention uses a holographic multiplex memory as a database image for analog light calculation. Further, by using an optical duplicate for the input image, it is possible to perform an ultra-high-speed operation that does not depend on time (video rate of 30 ms) for electronic-photon conversion.
[0065]
In addition, this invention is not limited to the said Example, A various deformation | transformation is possible based on the meaning of this invention, and these are not excluded from the scope of the present invention.
[0066]
【The invention's effect】
As described above in detail, according to the present invention, the following effects can be obtained.
[0067]
(A) Since parallel processing is possible using the optical parallel correlator (PJTC) calculation method for facial image recognition, the superiority of the optical method is fully utilized compared to the conventional one-channel recognition technology. can do.
[0068]
The face image recognition method of the present invention includes all processes necessary for recognition centering on PJTC from acquisition of a face as an input image to normalization, correlation calculation, and post-processing. Image recognition can be enabled.
[0069]
(B) The face image recognition device uses a holographic multiplex memory as a database image for analog light calculation and uses an optical duplicate for the input image, so that it does not depend on time (video rate 30 ms) for electronic-photon conversion. Super-high-speed computation can be performed.
[Brief description of the drawings]
FIG. 1 is a configuration diagram of an optical system including an optical duplicating system and an optical memory system according to an embodiment of the present invention.
FIG. 2 is an overall flowchart of optical face image recognition showing an embodiment of the present invention.
FIG. 3 is a process diagram of preprocessing for performing calculation by an optical parallel correlator (PJTC) according to an embodiment of the present invention.
FIG. 4 is a BZPA design flowchart showing an embodiment of the present invention.
FIG. 5 is a diagram illustrating a zero-order light cut mask effect according to an embodiment of the present invention.
[Explanation of symbols]
A optical memory system B optical duplicating system 1 He-Ne laser 2 polarizing plate 3 objective lens 4 pinhole 5 first collimating lens 6 first half mirror 7 second half mirror 8 first mirror 9 photorefractive Crystal 10 Second mirror 11 Second collimating lens 12 Light emitting diode (LED)
13 Electric writing type liquid crystal spatial light modulator (ESLM)
14 Diffuser 15 Third collimator lens 16, 20, 23 Binary array optical element (BZPA)
17 Third half mirror 18, 21 Optical writing type liquid crystal spatial light modulator (OSLM)
19 4th half mirror 22 5th half mirror 24 CCD camera

Claims (3)

An optical face image recognition method using an optical signal processing unit and a digital computer unit,
(A) An optical memory system for outputting a correction image and a database image is arranged,
(B) An electric writing type liquid crystal spatial modulator that receives light emitted from a light emitting diode, a diffusion plate that diffuses output light from the electric writing type liquid crystal spatial modulator, and collimated light diffused by the diffusion plate An optical system comprising: a collimating lens; a diffractive binary optical element array that receives parallel rays from the collimating lens; and a half mirror that receives light from the binary optical element array and receives output light from the optical memory system. And place a duplicate system
(C) displaying the input image into the electro-writing-type liquid crystal spatial light modulator, to replicate several channels minutes the input image by an optical duplicate system with a binary optical element array, correction image from the optical memory system and Read the database image, obtain the correlation signal intensity for each channel correction and the correlation signal intensity with the database image, obtain the comparison value Ci by the following formula,

(Where N is the number of database images, P _ij is the correlation signal strength of the i-th input image with the j-th database image, P _imax is the maximum correlation signal strength of the i-th input image), and the comparison value Ci If the comparison value Ci is smaller than the threshold value, the face is the registrant's face, and if the comparison value Ci is larger than the threshold value, the face is evaluated not to be the registrant's face. An optical face image recognition method characterized by the above. An optical face image recognition apparatus using an optical signal processing unit and a digital computer unit,
(A) the correction image and optical memory system for outputting a database image,
( B ) a light emitting diode, an electrically writable liquid crystal spatial modulator that receives light emitted from the light emitting diode, a diffusion plate that diffuses output light from the electric writable liquid crystal spatial modulator, and diffused by the diffuser plate A collimating lens that collimates the reflected light , a diffractive binary optical element array that receives parallel rays from the collimating lens, and a half that receives the light from the binary optical element array and the output light from the optical memory system. And an optical duplicating system having a mirror ,
(C) displaying an input image on the electric writing type liquid crystal spatial modulator, replicating the input image by the number of channels by the optical duplicating system, and reading a correction image and a database image from the optical memory system; In each channel, the correlation signal strength between the input image, the correction image, and the database image is acquired, and an evaluation value for identifying a registered person / unregistered person is obtained based on the correlation signal. Face image recognition device.   3. The optical face image recognition apparatus according to claim 2, wherein the digital computer is obtained by size normalization by three-point designation suitable for light calculation, pre-processing of edge extraction / binarization processing, and the light calculation. An optical face image recognition apparatus comprising post-processing for obtaining an evaluation value for identifying a registered person / unregistered person from a correlation signal and providing an optimum condition having reproducibility.

Images