JP2007104176A - 画像合成装置および画像照合装置、画像合成方法ならびに画像合成プログラム - Google Patents

Abstract

【課題】見た目にも付加情報の埋め込みの影響が及ばす、実際に認証処理を行った場合にも、埋め込まれた付加情報の影響を抑制し、正しく認証結果を得ることのできる登録画像群を作成することのできる画像合成装置を提供する。
【解決手段】被認証者を顔認証するための登録顔画像を合成する画像合成装置１０であって、被認証者の少なくとも顔を含む顔画像が入力される画像入力部１１と、被認証者の個人情報が入力される個人情報入力部１４と、個人情報入力部１４から入力された個人情報を符号化する符号化部１５と、被認証者が認証される際に、符号化部１５によって符号化された個人情報が顔画像の認証結果に影響を与えないように、符号化された個人情報と顔画像とを合成する画像合成部１３とを備えた。
【選択図】図１

Description

本発明は、主に被写体の顔画像を用いて、被写体の個人認証を行う画像照合装置に関し、さらに詳しくは、あらかじめ登録された者の登録画像群を作成する画像合成装置、および、その登録画像群を用いた画像照合装置、画像合成方法ならびに画像合成プログラムに関する。

近年、入退出管理装置や個人情報等の重要な情報が記憶された情報装置等、高いセキュリティ性が求められる装置におけるアクセス時の本人認証の方法として、人体の指紋、虹彩、眼底血管、顔の特徴、手や腕の血管パターン等、その被認証者固有の情報、いわゆるバイオメトリクス情報を用いた様々な認証方法が実用化されてきている。

その中でも、使い勝手の良さや信頼性の高さ等から、顔の特徴点等を用いてあらかじめ登録された顔画像（以下、登録画像と記し、複数の登録画像のことを登録画像群とも記す）と、顔画像と比較するために入力される顔画像（以下、比較画像と記す）とを比較照合して、互いにその特徴が一致すると判定した場合に、比較画像に対応する者が、あらかじめ登録された者であると認証する技術、いわゆる顔認証技術が広く実用化されてきている。

このような顔認証技術において、近年、その利便性を高めるために、画像情報およびその画像から抽出された特徴量情報と併せて、その画像情報に対応するあらかじめ登録された者の氏名、住所またはＩＤ番号等の個人情報を記憶媒体に記憶する技術が提案されてきている（例えば、特許文献１を参照。）。

一般的に、顔認証技術においては、指紋、虹彩および静脈等の他の認証技術とは異なり、登録画像群を画像情報として記憶しておくことにより、目視によって、本人かそうでないかの判断をも行うことができる。したがって、顔画像から抽出された特徴量情報を記憶しておくよりも、登録画像群の画像情報を記憶しておくことが、実用的には望ましい。

その一方で、あらかじめ登録された者の個人情報については、プライバシー保護の観点からも、容易に他者に知られないような状態で記憶媒体に記憶することが必要となってきている。

他方、画像処理技術においては、画像情報に対して、何らかの付加情報を目視できない状態で埋め込む技術、いわゆる電子透かし技術が提案されてきている（例えば、特許文献２を参照。）。
特開２００５−１４９２７５号公報 特開２０００−５９７４３号公報

しかしながら、前述のような電子透かし技術を用いて登録画像群の画像情報に対応する個人情報を埋め込んだ場合には、見た目には付加情報の埋め込みの影響が及んでいなくても、実際に認証処理を行った場合には、埋め込まれた付加情報の影響で、必ずしも正しい認証結果が得られない可能性があるという課題があった。

本発明は、このような課題に鑑みてなされたものであり、見た目にも付加情報の埋め込みの影響が及ばす、実際に認証処理を行った場合にも、埋め込まれた付加情報の影響を抑制し、正しく認証結果を得ることのできる登録画像群を作成することのできる画像合成装置および画像照合装置、画像合成方法ならびに画像合成プログラムを提供することを目的とする。

本発明の画像合成装置は、被認証者を顔認証するための顔画像と被認証者についての情報とを合成する画像合成装置であって、被認証者の少なくとも顔を含む顔画像が入力される画像入力部と、被認証者の個人情報が入力される個人情報入力部と、個人情報入力部から入力された個人情報を符号化する符号化部と、被認証者が認証される際に、符号化部によって符号化された個人情報が顔画像の認証結果に影響を与えないように、符号化された個人情報と顔画像とを合成する画像合成部とを備えたことを特徴としている。

このような構成によれば、画像合成部が、被認証者が認証される際に、符号化された個人情報が顔画像の認証結果に影響を与えないようにして、符号化された個人情報と顔画像とを合成するので、見た目にも付加情報の埋め込みの影響が及ばす、実際に認証処理を行った場合にも、埋め込まれた付加情報の影響を抑制し、正しく認証結果を得ることのできる登録画像群を作成することのできる画像合成装置を提供することができる。

また、画像合成部に対して、被認証者の認証方法を入力するための認証方法入力部を備え、画像合成部は、認証方法入力部から入力された被認証者についての認証方法に応じた方法で、符号化された個人情報と顔画像とを合成する構成であってもよい。

このような構成によれば、さらに、複数の認証方法に対して本発明の効果を奏することの可能な画像合成装置を提供することができる。

さらに、画像合成部は、被認証者がＥｉｇｅｎｆａｃｅ法によって認証される場合に、顔画像の周辺部分の領域に符号化された個人情報を埋め込む処理を行うことによって合成する構成であってもよい。

このような構成によれば、さらに、Ｅｉｇｅｎｆａｃｅ法では認証に供される可能性の少ない周辺部に個人情報を埋め込むので、Ｅｉｇｅｎｆａｃｅ法において、付加情報の影響を抑制し、正しく認証結果を得ることのできる可能性の高い構成を実現できる。

さらに、画像合成部は、被認証者がＤＣＴ処理によって抽出される特徴量を用いて認証される場合に、顔画像の高周波数成分の情報に符号化された個人情報を重畳する処理を行う構成であってもよい。

このような構成によれば、さらに、ＤＣＴ処理を行った場合のＤＣＴ係数を特徴量として用いた認証を行う場合に、ＤＣＴ処理における影響の少ない高周波成分の情報に、符号化された個人情報を埋め込むので、ＤＣＴ処理を行った場合のＤＣＴ係数を特徴量として用いた認証を行う場合に、付加情報の影響を抑制し、正しく認証結果を得ることのできる可能性の高い構成を実現できる。

また、画像入力部から入力された顔画像から、目位置を特定する処理を行うとともに、顔画像の大きさを正規化する処理を行う前処理部を備えた構成であってもよい。

このような構成によれば、さらに、顔画像から目位置を特定するとともに、顔画像の大きさを正規化するので、顔認証処理を行う場合に、正確な認証処理が行える可能性の高い構成を実現できる。

また、画像合成部で合成された画像情報を出力する出力部を備えた構成であってもよい。

このような構成によれば、さらに、画像合成部で合成された画像情報を用いて、他の端末で認証処理等を行うことのできる構成を実現できる。

また、画像合成部で合成された画像情報を記憶する記憶部を備えた構成であってもよい。

このような構成によれば、さらに、登録画像群を作成した装置内に、画像情報を記憶しておくことのできる、セキュリティ性の高い構成を実現できる。

次に、本発明の画像照合装置は、本発明の画像合成装置の記憶部と、記憶部に記憶された画像情報を読み出す画像読出部と、被写体の比較画像が入力される比較画像入力部と、比較画像から特徴量を抽出する第１の特徴量抽出部と、画像読出部で読み出された画像情報から特徴量を抽出する第２の特徴量抽出部と、第１の特徴量抽出部で抽出された特徴量と、第２の特徴量抽出部で抽出された特徴量とを比較照合する照合部と、照合部における比較照合結果にもとづいて、被写体が、あらかじめ登録された者であるか否かを判定する認証部と、画像読出部によって読み出された画像情報に対応する個人情報を読み出す個人情報読出部と、認証部で判定された結果、および、個人情報読出部によって読み出された個人情報とを出力する結果出力部とを備えたことを特徴としている。

このような構成によれば、見た目にも付加情報の埋め込みの影響が及ばす、実際に認証処理を行った場合にも、埋め込まれた付加情報の影響を抑制し、正しく認証結果を得ることのできる登録画像群を用いて認証処理を行うので、より正確な認証処理を行うことのできる画像照合装置を実現できる。

次に、本発明の画像照合装置は、本発明の画像合成装置の記憶部と、被写体の比較画像が入力される比較画像入力部と、被写体に対応する個人情報が入力される個人情報入力部と、記憶部に記憶された画像情報から、個人情報入力部から入力される個人情報に対応する画像情報を読み出す画像読出部と、比較画像入力部から入力された比較画像から特徴量を抽出する第１の特徴量抽出部と、画像読出部で読み出された画像情報から特徴量を抽出する第２の特徴量抽出部と、第１の特徴量抽出部で抽出された特徴量と、第２の特徴量抽出部で抽出された特徴量とを比較照合する照合部と、照合部における比較照合結果にもとづいて、被写体が、あらかじめ登録された者であるか否かを判定する認証部と、認証部で判定された結果を出力する結果出力部とを備えたことを特徴としている。

このような構成によれば、見た目にも付加情報の埋め込みの影響が及ばす、実際に認証処理を行った場合にも、埋め込まれた付加情報の影響を抑制し、正しく認証結果を得ることのできる登録画像群を用いて認証処理を行うので、より正確な認証処理を行うことができるとともに、個人情報入力部から入力される個人情報に対応した画像情報を記憶部から読み出すことができるので、より迅速に照合処理を行うことのできる構成を実現できる。

また、比較画像入力部から入力された比較画像から、目位置を特定する処理を行うとともに、比較画像の大きさを正規化する処理を行う前処理部を備えた構成であってもよい。

このような構成によれば、さらに、比較画像から目位置を特定するとともに、比較画像の大きさを正規化するので、顔認証処理を行う場合に、正確な認証処理が行える可能性の高い構成を実現できる。

次に、本発明の画像合成方法は、被認証者を顔認証するための顔画像と被認証者についての情報とを合成する画像合成方法であって、被認証者の少なくとも顔を含む顔画像が入力される第１のステップと、被認証者の個人情報が入力される第２のステップと、第２のステップで入力された個人情報を符号化する第３のステップと、被認証者が認証される際に、第３のステップにおいて符号化された個人情報が顔画像の認証結果に影響を与えないように、第３のステップにおいて符号化された個人情報と顔画像とを合成する第４のステップとを備えたことを特徴としている。

このような方法によれば、被認証者が認証される際に、符号化された個人情報が顔画像の認証結果に影響を与えないようにして、符号化された個人情報と顔画像とを合成するので、見た目にも付加情報の埋め込みの影響が及ばす、実際に認証処理を行った場合にも、埋め込まれた付加情報の影響を抑制し、正しく認証結果を得ることのできる登録画像群を作成することのできる画像合成方法を提供することができる。

次に、本発明の画像合成プログラムは、被認証者を顔認証するための顔画像と被認証者についての情報とを合成する画像合成プログラムであって、コンピュータに、被認証者の少なくとも顔を含む顔画像が入力される第１のステップと、被認証者の個人情報が入力される第２のステップと、第２のステップで入力された個人情報を符号化する第３のステップと、被認証者が認証される際に、第３のステップにおいて符号化された個人情報が顔画像の認証結果に影響を与えないように、第３のステップにおいて符号化された個人情報と顔画像とを合成する第４のステップとを実行させることを特徴としている。

このようなプログラムによれば、被認証者が認証される際に、符号化された個人情報が顔画像の認証結果に影響を与えないようにして、符号化された個人情報と顔画像とを合成するので、見た目にも付加情報の埋め込みの影響が及ばす、実際に認証処理を行った場合にも、埋め込まれた付加情報の影響を抑制し、正しく認証結果を得ることのできる登録画像群を作成することのできる画像合成プログラムを提供することができる。

以上述べたように、本発明によれば、見た目にも付加情報の埋め込みの影響が及ばす、実際に認証処理を行った場合にも、埋め込まれた付加情報の影響を抑制し、正しく認証結果を得ることのできる登録画像群を作成することのできる画像合成装置および画像照合装置、画像合成方法ならびに画像合成プログラムを提供することができる。

以下、本発明の実施の形態について図面を用いて詳細に説明する。

（第１の実施の形態）
まず、本発明の第１の実施の形態における画像合成装置１０の構成について説明する。図１は、本発明の第１の実施の形態における画像合成装置１０の構成を示すブロック図である。

本発明の第１の実施の形態における画像合成装置１０は、画像入力部１１から入力される登録されるべき被認証者の画像情報、ならびに、個人情報入力部１４から入力される被認証者の名前、住所、メールアドレス、パスポート番号および電話番号等の個人情報を画像合成部１３に合成して、その結果を登録画像として、出力部１６から出力または記憶部１７に記憶する装置である。

図１に示したように、本発明の第１の実施の形態における画像合成装置１０は、登録されるべき被認証者の少なくとも顔を含む画像（以下、顔画像とも記す）が入力される画像入力部１１、画像入力部１１から入力された顔画像に対して、後述するような前処理を行う前処理部１２、登録されるべき被認証者の個人情報が入力される個人情報入力部１４、個人情報入力部１４から入力された個人情報に対して、所定の符号化処理を行う符号化部１５、被認証者が後にどのような認証方法で認証されるかが入力される認証方法入力部１８、認証方法入力部１８から入力された認証方法によって、異なる方法で、符号化部１５で符号化された個人情報を、前処理部１２で前処理された顔画像に埋め込む合成処理を行って登録画像を作成する画像合成部１３、画像合成部１３で合成処理された登録画像を出力する出力部１６、および、画像合成部１３で合成処理された登録画像を記憶する記憶部１７を備えている。

ここで、本発明の第１の実施の形態における画像合成装置１０の各構成要件に関して、さらに詳細に説明する。

まず、本発明の第１の実施の形態における画像合成装置１０の画像入力部１１は、被認証者の画像を撮影するＣＣＤ等の撮像素子を有する撮影装置であってもよいし、あらかじめ撮影された被認証者の写真を読み込むことのできるスキャナ装置であってもよいし、他の端末や記録媒体から電子的に被認証者の顔画像を読み込むことのできる読み取り装置であってもよい。なりすまし等の不正な行為を抑制するためには、撮影装置によって被認証者の顔画像を撮影することが望ましい。

次に、本発明の第１の実施の形態における画像合成装置１０の前処理部１２は、画像入力部１１から入力された顔画像に対して、その顔領域４３（図２）を検出する処理、その両目の位置を算出する処理、および、算出された両目の位置を基準として、目位置、両目の間隔および画像の大きさを規定した正規化画像を作成する処理を行う。図２は、本発明の第１の実施の形態における画像合成装置１０の前処理部１２の機能について説明するための図である。

図２に示したように、本発明の第１の実施の形態における画像合成装置１０の前処理部１２は、画像入力部１１から入力された少なくとも顔を含む顔画像４１から、顔領域４３を検出し、その目位置４４を検出して、その目位置４４を用いて画像の傾きを補正するとともに、目位置４４と両目の間隔とが所定の値になるように規定して、所定の大きさの矩形領域を切り出し、正規化画像４２として画像合成部１３に出力する。なお、本発明の実施の形態においては、正規化画像４２は、縦および横それぞれの画素数が２００画素である、約四万画素の画像であるとする。画像から顔領域４３を検出する方法としては、例えば、Ｖｉｏｌａ， Ｐ．； Ｊｏｎｅｓ， Ｍ．；Ｃｏｍｐｕｔｅｒ Ｖｉｓｉｏｎ ａｎｄ Ｐａｔｔｅｒｎ Ｒｅｃｏｇｎｉｔｉｏｎ， ２００１． ＣＶＰＲ ２００１． Ｐｒｏｃｅｅｄｉｎｇｓ ｏｆ ｔｈｅ ２００１ ＩＥＥＥ Ｃｏｍｐｕｔｅｒ Ｓｏｃｉｅｔｙ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ， Ｖｏｌｕｍｅ：１， ８−１４ Ｄｅｃ．２００１ Ｐａｇｅｓ：Ｉ−５１１〜５１８ ｖｏｌ．１に示された方法を用いることができる。

本発明の第１の実施の形態における画像合成装置１０の個人情報入力部１４は、被認証者の名前、住所、電話番号またはメールアドレス等の個人情報が入力される。個人情報入力部１４としては、キーボードやマウス等の公知の入力手段を用いることができる。

本発明の第１の実施の形態における画像合成装置１０の符号化部１５は、個人情報入力部１４から入力された個人情報を、顔画像に埋め込みやすい形に符号化する処理を行う。具体的には、例えば符号化部１５は個人情報をデジタルデータに変換する。これにより、顔画像の輝度データに個人情報を重畳させて埋め込む処理を行いやすくすることができる。

本発明の第１の実施の形態における画像合成装置１０の認証方法入力部１８は、顔画像を用いた認証処理が、どのような方法によって行われるかを示す情報が入力される。例えば、本発明の実施の形態においては、同じ顔認証方法であっても、Ｅｉｇｅｎｆａｃｅ法を用いる場合と、特徴量として顔画像に対してＤＣＴ処理を行った係数を用いる場合とを例として説明する。なお、認証方法入力部１８としては、キーボードやマウス等の公知の入力手段を用いることができるし、前述の個人情報入力部１４の入力手段と共用してもよいことはいうまでもない。

本発明の第１の実施の形態における画像合成装置１０の画像合成部１３は、認証方法入力部１８から入力された情報にもとづいて、符号化部１５で符号化された個人情報を前処理部１２で前処理された顔画像に埋め込む処理を行う。ここで、本発明の第１の実施の形態における画像合成装置１０の画像合成部１３の処理について詳細に説明する。

本発明の第１の実施の形態の画像合成装置１０においては、認証方法入力部１８から、被認証者の認証を、Ｅｉｇｅｎｆａｃｅ法で行う旨の入力がされたとして説明を行う。図３は、本発明の第１の実施の形態における画像合成装置１０の画像合成部１３の処理について説明するための図である。なお、Ｅｉｇｅｎｆａｃｅ法とは、顔画像を、顔の特徴的な点（例えば、目の位置）を用いて正規化した正規化画像から、顔領域の濃淡値列をベクトルとして取り出し、多くの学習データで計算した特徴量空間に前述のベクトルを射影し、射影されたベクトルを特徴量として用いる方法である。なお、照合処理は、比較画像の特徴ベクトルと登録画像の特徴ベクトルとの類似度を計算することにより行われる。このような方法については、例えば、Ｔｕｒｋ， Ｍ．Ａ．； Ｐｅｎｔｌａｎｄ， Ａ．Ｐ．；Ｃｏｍｐｕｔｅｒ Ｖｉｓｉｏｎ ａｎｄ Ｐａｔｔｅｒｎ Ｒｅｃｏｇｎｉｔｉｏｎ， １９９１． Ｐｒｏｃｅｅｄｉｎｇｓ ＣＶＰＲ ’９１．， ＩＥＥＥ Ｃｏｍｐｕｔｅｒ Ｓｏｃｉｅｔｙ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ， ３−６ Ｊｕｎｅ １９９１ Ｐａｇｅｓ：５８６−５９１に記載されている。

図３に示したように、本発明の第１の実施の形態における画像合成装置１０の画像合成部１３は、まず、図３（ａ）に示すような、正規化画像４２の四隅の、顔画像が含まれる可能性が極めて低い領域（以下、この領域のことを周辺領域と記す）４６の部分を特定する。本発明の実施の形態においては、２００×２００画素の正規化画像４２の四隅の、それぞれが２０×２０画素の領域を周辺領域４６として特定する。次に、画像合成部１３は、図３（ｂ）に示したように、正規化画像４２の四隅の周辺領域４６の画像それぞれの高周波成分を除去する。一方で、画像合成部１３は、図３（ｃ）に示したような、符号化部１５で符号化された個人情報５１を、図３（ｄ）に示したような、正規化画像と同じ大きさの画像（以下、この画像のことを付加情報画像と記す）４９の周辺領域５２の画像の高周波成分に埋め込む。ここで、正規化画像４２の周辺領域４６の大きさと付加情報画像４９の周辺領域５２の大きさとは等しいものとする。

さらに、本発明の第１の実施の形態における画像合成装置１０の画像合成部１３は、図３（ｅ）に示したように、正規化画像４２の周辺領域４６から高周波成分を除去された高周波除去画像４８と、周辺領域５２の高周波領域に符号化された個人情報５１を重畳された、付加情報画像４９とを足し合わせて、登録画像５０を作成する。このような処理を行うことにより、登録画像５０の、認証処理に用いられる顔が可視情報として撮影された中央部分には、変調された個人情報５１が埋め込まれておらず、認証処理に用いられる可能性の極めて低い四隅の周辺領域に、変調された個人情報を非可視情報として埋め込むことができるので、認証処理に悪影響を与える可能性を低くしながら、個人情報を埋め込むことが可能となる。なお、画像の個人情報５１を周辺領域５２に埋め込む方法としては、四つの周辺領域５２それぞれに対して、離散コサイン変換（ＤＣＴ）処理を行い、その高周波成分に、変調された個人情報５１を埋め込む方法を用いることができる。

なお、上述の例においては、正規化画像４２、付加情報画像４９および登録画像５０それぞれが同じ大きさであるとして説明を行ったが、本発明の画像合成装置はこの構成に限定されない。例えば、正規化画像４２よりも外側の領域に符号化された個人情報５１を埋め込んで、正規化画像４２よりも大きな登録画像を作成することも可能である。この場合には、さらに認証に影響を与える可能性を低くすることのできる構成を実現できる。

次に、本発明の第１の実施の形態における画像合成装置１０の出力部１６は、画像合成部１３で合成された登録画像５０を他の端末に対して出力したり、ユーザに対して表示を行ったりする。なお、出力部１６を構成するに当たっては、あらゆる公知の出力装置または表示装置を用いることができる。

また、本発明の第１の実施の形態における画像合成装置１０の記憶部１７は、画像合成部１３で合成された登録画像５０を記憶する。なお、本発明は記憶部１７の記憶媒体について限定されるものではなく、ハードディスクドライブ装置や、ＣＤ、ＤＶＤ等のあらゆる公知の記憶媒体を用いた記憶装置を用いることができる。

なお、本発明の第１の実施の形態における画像合成装置１０の各構成要件のうち、前処理部１２、画像合成部１３および符号化部１５は、それぞれハードウェアを用いて構成することもできるし、後述するような処理をコンピュータに実行させるような記述を行うことにより、ソフトウェアを用いてその機能を実現することも可能である。

ここで、本発明の第１の実施の形態における画像合成装置１０の動作について詳細に説明する。図４は、本発明の第１の実施の形態における画像合成装置１０の動作ステップを示すフローチャートである。

図４に示したように、まず、本発明の第１の実施の形態における画像合成装置１０は、画像入力部１１から被認証者の顔画像４１が入力される（Ｓ１）。その一方で、個人情報入力部１４から被認証者の個人情報が入力される（Ｓ１０）。なお、ステップＳ１とステップＳ１０とはいずれが先に行われてもよいし、同時に行われてもよい。

ステップＳ１で顔画像４１が入力されると、前処理部１２は、顔画像４１に対して、顔領域４３を検出し（Ｓ２）、目位置４４の検出を行い（Ｓ３）、検出された目位置４４を基準として画像を正規化し、所定の大きさの画像を切り出して、正規化画像４２を作成する（Ｓ４）。前処理部１２で作成された正規化画像４２は、画像合成部１３に送られる。

次に、画像合成部１３では、前処理部１２から送られた正規化画像４２に対して、周辺領域４６の特定および周辺領域４６の高周波成分を除去することにより、高周波除去画像４８を作成する（Ｓ５）。

一方、ステップＳ１０で個人情報入力部１４から入力された個人情報は、符号化部１５に送られて、符号化部１５では、符号化された個人情報５１を作成する（Ｓ１１）。符号化部１５で作成された符号化された個人情報５１は、画像合成部１３に送られる。

画像合成部１３では、符号化部１５で作成された符号化された個人情報５１を、四隅の周辺領域５２の高周波成分に重畳させて付加情報画像４９が作成される（Ｓ１２）。

次に、画像合成部１３は、高周波除去画像４８および付加情報画像４９を合成することにより、登録画像５０を作成する（Ｓ２０）。

画像合成部１３で合成された登録画像５０は、出力部１６から出力されるとともに（Ｓ２１）、記憶部１７に記憶される（Ｓ２２）。

以上述べたように、本発明の第１の実施の形態における画像合成装置１０によれば、Ｅｉｇｅｎｆａｃｅ法における認証方法で用いられる可能性が極めて少ない、画像の周辺領域の高周波成分に符号化された個人情報を重畳するので、見た目にも個人情報が重畳されていることが分かりにくいとともに、認証処理にも悪影響を与える可能性の低い画像合成装置を提供することができる。

なお、本発明の第１の実施の形態における画像合成装置１０においては、被認証者がいずれの方法で認証処理を行うかが認証方法入力部１８から入力される例を用いて説明を行ったが、本発明の画像合成装置はこの構成に限定されるものではない。例えば、認証方法入力部１８を有せず、あらかじめ被認証者がいかなる方法で認証処理を行うかが定められている、または記憶されている構成であってもよいことはいうまでもない。

また、本発明の第１の実施の形態における画像合成装置１０においては、画像合成部１３で合成された登録画像５０が、出力部１６から出力されるとともに、記憶部１７に記憶される構成を示したが、本発明の画像合成装置はこの構成に限定されるものではない。例えば、出力部１６および記憶部１７のいずれか一方を有する構成であってもよいことはいうまでもない。

（第２の実施の形態）
次に、本発明の第２の実施の形態における画像合成装置１１０について説明する。本発明の第２の実施の形態における画像合成装置１１０の構成は、図１に示した本発明の第１の実施の形態における画像合成装置１０の構成と共通しており、画像合成部１１３での処理内容が異なる。

本発明の第１の実施の形態における画像合成装置１０においては、被認証者が登録画像群を用いてＥｉｇｅｎｆａｃｅ法で認証処理を行う場合を例として説明を行ったが、本発明の第２の実施の形態における画像合成装置１１０においては、被認証者が登録画像群を用いて、ＤＣＴ係数を特徴量として認証処理を行う場合を例として説明する。なお、ＤＣＴ係数を用いた顔認識としては、例えば、Ｐｏｄｉｌｃｈｕｋ， Ｃ．； Ｘｉａｏｙｕ Ｚｈａｎｇ； Ａｃｏｕｓｔｉｃｓ， Ｓｐｅｅｃｈ， ａｎｄ Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｉｎｇ， １９９６． ＩＣＡＳＳＰ−９６． Ｃｏｎｆｅｒｅｎｃｅ Ｐｒｏｃｅｅｄｉｎｇｓ．， １９９６ ＩＥＥＥ Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ， Ｖｏｌｕｍｅ：４， ７−１０ Ｍａｙ １９９６ Ｐａｇｅｓ：２１４４−２１４７ ｖｏｌ．４に示された方法を用いることができる。ＤＣＴ係数を特徴量とする方法では、低周波成分は輝度情報（ＤＣ成分）、または、緩やかな光の陰影によるものであるとみなし、顔の特徴を表現するものではないとして、特徴量には用いないことが多い。また、高周波成分はノイズに埋もれやすい成分であるとして、こちらも特徴量には用いられないことが多い。よって、ＤＣＴ処理された情報のうち、低周波成分と高周波成分を除いた情報を特徴量として照合処理を行うことが多い。なお、この際、Ｅｉｇｅｎｆａｃｅ法の時と同様に低周波成分と高周波成分を除いた後に特徴空間に射影したものを特徴量ベクトルとして照合に用いることも可能である。

ここで、本発明の第２の実施の形態における画像合成装置１１０の画像合成部１１３の機能について、詳細に説明する。図５は、本発明の第２の実施の形態における画像合成装置１１０の画像合成部１１３の機能について説明するための図である。

本発明の第２の実施の形態における画像合成装置１１０の画像合成部１１３は、まず、前処理部１２から送られた正規化画像４２に対して、図５（ａ）に示したように、その中央領域６３を特定する。ここで、中央領域６３とは、正規化画像４２における中央部分の領域のことをいう。

次に、画像合成部１１３は、特定した中央領域６３の画像から高周波成分を除去して高周波除去画像６８を作成する。

一方で、画像合成部１１３は、符号化部１５から送られた符号化された個人情報５１を、正規化画像４２と同じ大きさの付加情報画像６９の中央付近の顔領域７３の高周波領域に埋め込む。本発明の第２の実施の形態における画像合成装置１１０においては、特徴量として用いられないＤＣＴ係数のうち、低周波成分に情報の埋め込みを行った場合には、画像自体に影響を与えてしまう可能性もあるので、ＤＣＴ係数のうちの高周波成分に、符号化された個人情報５１を埋め込む例を示した。

さらに、画像合成部１１３は、高周波除去画像６８および付加情報画像６９を合成することによって、登録画像１５０を作成する。

図６は、本発明の第２の実施の形態における画像合成装置１１０の動作ステップを示すフローチャートである。なお、図６に示したフローチャートにおいて、図４に示したフローチャートと同様のステップについては同一の符号を付して、その説明を省略する。

図６に示したように、本発明の第２の実施の形態における画像合成装置１１０の動作ステップが第１の実施の形態における画像合成装置１０の動作ステップと異なるところは、ステップＳ５の代わりにステップＳ１０５が行われ、ステップＳ１２の代わりにステップＳ１１２が行われるところである。

ステップＳ１０５においては、画像合成部１１３が、前処理部１２から送られた正規化画像４２に対して、中央部分の中央領域６３を特定し、特定した中央領域６３の画像から高周波成分を除去して高周波除去画像６８を作成する。

ステップＳ１１２においては、画像合成部１１３は、符号化部１５から送られた符号化された個人情報５１を、正規化画像４２と同じ大きさの付加情報画像６９の中央付近の顔領域７３の高周波領域に埋め込む。

続くステップＳ２０において、画像合成部１１３は、高周波除去画像６８および付加情報画像６９を合成して、登録画像１５０を合成する。

上述したように、本発明の第２の実施の形態における画像合成装置１１０を用いれば、ＤＣＴ係数を特徴量として用いる場合に、特徴量として用いられる可能性の極めて低い高周波領域に、符号化された個人情報を埋め込むので、目視で個人情報を確認できないとともに、認証処理で埋め込まれた個人情報の悪影響を受ける可能性の極めて少ない構成を実現することができる。

（第３の実施の形態）
次に、本発明の第３の実施の形態における画像照合装置２０について説明する。図７は、本発明の第３の実施の形態における画像照合装置２０の構成を示すブロック図である。画像照合装置２０は、その記憶部１７に、本発明の第１の実施の形態における画像合成装置１０または本発明の第２の実施の形態における画像合成装置１１０のいずれかによって合成された、個人情報が埋め込まれた登録画像５０，１５０の登録画像群が記憶されており、記憶部１７に記憶された登録画像群と比較画像入力部２２から入力される被写体の比較画像とを比較照合する比較照合装置である。

図７に示すように、本発明の第３の実施の形態における画像照合装置２０は、第１の実施の形態における画像合成装置１０または第２の実施の形態における画像合成装置１１０のいずれかで作成された登録画像５０，１５０が複数登録された記憶部１７、記憶部１７に記憶された登録画像５０，１５０を読み出す画像読出部２１、画像読出部２１で読み出された登録画像５０，１５０から所定の特徴量を抽出する特徴量抽出部２９、被写体の比較画像が入力される比較画像入力部２２、比較画像入力部２２から入力された比較画像に対して、その目位置の検出、検出された目位置を用いた正規化等の処理を行う前処理部２３、前処理部２３で前処理された画像から特徴量を抽出する特徴量抽出部２４、特徴量抽出部２９および特徴量抽出部２４でそれぞれ抽出された特徴量を比較照合する照合部２５、照合部２５における比較照合の結果にもとづいて、被認証者があらかじめ登録された者であるか否かを判定する認証部２６、画像読出部２１で読み出された登録画像５０，１５０から個人情報を読み出す個人情報読出部２７、ならびに、認証部２６での認証結果および個人情報読出部２７で読み出された個人情報を出力する結果出力部２８を備えている。

ここで、本発明の第３の実施の形態における画像照合装置２０の各構成要素についてさらに詳細に説明する。

本発明の第３の実施の形態における画像照合装置２０の照合部２５および認証部２６は、記憶部１７に記憶された個人情報の埋め込まれた登録画像５０，１５０の種類に対応して、Ｅｉｇｅｎｆａｃｅ法またはＤＣＴ係数を特徴量として用いた認証方法のいずれかを行う。また、特徴量抽出部２９，２４も登録画像５０，１５０の種類に対応した特徴量の抽出を行う。

本発明の第３の実施の形態における画像照合装置２０の前処理部２３は、本発明の第１の実施の形態で説明した画像合成装置１０の前処理部１２と同様の機能を有する。

本発明の第３の実施の形態における画像照合装置２０の個人情報読出部２７は、画像読出部２１によって読み出された登録画像５０，１５０から、埋め込まれた個人情報を読み出す。図８は、本発明の第３の実施の形態における画像照合装置２０の個人情報読出部２７の機能について説明するための図である。図８に示したように、例えば、図８（ａ）に示したような、本発明の第１の実施の形態において説明した画像合成装置１０によって作成された登録画像５０が読み出された場合には、その四隅の周辺領域１８０の部分をＤＣＴ処理して、復調データ１６０を得る。さらに、復調データ１６０の高周波領域から、埋め込まれた個人情報１６１を読み出すことによって、登録画像５０から個人情報１６１を読み出すことができる。

一方、登録画像１５０が本発明の第２の実施の形態における画像合成装置１１０によって合成されている場合には、本発明の第３の実施の形態における画像照合装置２０の個人情報読出部２７は、図９に示したような処理を行う。図９は、本発明の第３の実施の形態における画像照合装置２０の個人情報読出部２７の別の機能について説明するための図である。

図９に示したように、本発明の第３の実施の形態における画像照合装置２０の個人情報読出部２７は、図９（ａ）に示したような登録画像１５０が入力された場合には、その中央領域１７０をＤＣＴ処理して、復調データ１７１を作成し、復調データ１７１の高周波領域に埋め込まれた個人情報１７２を読み出すことによって、登録画像１５０から個人情報１７２を読み出すことができる。

図７に戻って、本発明の第３の実施の形態における画像照合装置２０の結果出力部２８は、認証部２６で認証処理された結果および個人情報読出部２７で読み出された個人情報１６１，１７２を表示する。これにより、装置の管理者は、認証結果および対応するあらかじめ登録された者の情報を知ることができる。結果出力部２８としては、液晶ディスプレイ装置等の様々な公知の表示装置を用いることが可能である。

このような構成とすることにより、本発明の第３の実施の形態における画像照合装置２０を用いれば、比較対照となる比較画像を入力することにより、記憶部１７に対応する登録画像５０，１５０が記憶されていれば、認証ＯＫである旨の表示とあわせて、比較画像に対応する者の個人情報１６１，１７２が結果出力部２８に表示されるので、利便性の高いシステムを提供することができる。

なお、本発明の第３の実施の形態においては、画像照合装置２０が、一枚の比較画像に対して、記憶部１７に記憶された複数の登録画像５０，１５０と比較照合が行われる例、いわゆる一対Ｎ認証を行う場合を用いて説明を行った。しかしながら、本発明の画像照合装置は、この構成に限定されない。図１０は、本発明の第３の実施の形態における画像照合装置１２０の別の構成を示す図である。図１０に示した画像照合装置１２０は、一枚の比較画像に対して、対応する登録画像５０，１５０を用いて認証を行う、いわゆる一対一認証を行うことのできる画像照合装置１２０である。

図１０に示したように、本発明の第３の実施の形態における画像照合装置１２０の構成が前述した画像照合装置２０の構成と異なるところは、個人情報が個人情報入力部３２を通して外部から入力されて、画像読出部３１が個人情報入力部３２を通して入力された個人情報を用いて、その個人情報に対応する登録画像５０，１５０を記憶部１７から読み出すところである。

他の構成要件については、図７に示した画像照合装置２０と共通するので、共通する構成要件には同一の符号を付して、再度の説明を省略する。

図１０に示した構成の画像照合装置１２０によれば、外部から個人情報が入力され、その個人情報に対応した登録画像５０，１５０が読み出されて、認証処理が行われるので、処理の迅速化を図ることができる。

なお、本発明の第３の実施の形態における画像照合装置２０，１２０においては、画像読出部２１，３１、特徴量抽出部２４，２９、前処理部２３、照合部２５、認証部２６および個人情報読出部２７それぞれの機能ブロックは、ハードウェアで構成されていてもよいし、上述したような処理を行うようなプログラムを記述してコンピュータに実行させることにより、ソフトウェアによっても実現することが可能である。

なお、本発明の実施の形態においては、認証方法として、Ｅｉｇｅｎｆａｃｅ法およびＤＣＴ係数を特徴量として用いた場合を例として説明を行ったが、本発明は、これらの認証方法に限定されず、他のあらゆる公知の顔認証方法に対して適用可能であることはいうまでもない。

以上述べたように、本発明によれば、見た目にも付加情報の埋め込みの影響が及ばす、実際に認証処理を行った場合にも、埋め込まれた付加情報の影響を抑制し、正しく認証結果を得ることのできる登録画像群を作成することのできるという優れた効果を有するので、主に被写体の顔画像を用いて、被写体の個人認証を行う画像照合装置、特に、あらかじめ登録された者の登録画像群を合成する画像合成装置、および、その登録画像群を用いた画像照合装置、画像合成方法ならびに画像合成プログラム等として有用である。

本発明の第１の実施の形態における画像合成装置の構成を示すブロック図 本発明の第１の実施の形態における画像合成装置の前処理部の機能について説明するための図 本発明の第１の実施の形態における画像合成装置の画像合成部の処理について説明するための図 本発明の第１の実施の形態における画像合成装置の動作ステップを示すフローチャート 本発明の第２の実施の形態における画像合成装置の画像合成部の機能について説明するための図 本発明の第２の実施の形態における画像合成装置の動作ステップを示すフローチャート 本発明の第３の実施の形態における画像照合装置の構成を示すブロック図 本発明の第３の実施の形態における画像照合装置の個人情報読出部の機能について説明するための図 本発明の第３の実施の形態における画像照合装置の個人情報読出部の別の機能について説明するための図 本発明の第３の実施の形態における画像照合装置の別の構成を示す図

符号の説明

１０，１１０ 画像合成装置
１１ 画像入力部
１２，２３ 前処理部
１３，１１３ 画像合成部
１４，３２ 個人情報入力部
１５ 符号化部
１６ 出力部
１７ 記憶部
１８ 認証方法入力部
２０，１２０ 画像照合装置
２１，３１ 画像読出部
２２ 比較画像入力部
２４，２９ 特徴量抽出部
２５ 照合部
２６ 認証部
２７ 個人情報読出部
２８ 結果出力部
４１ 顔画像
４２ 正規化画像
４３，７３ 顔領域
４４ 目位置
４６，５２，１８０ 周辺領域
４８，６８ 高周波除去画像
４９，６９ 付加情報画像
５０，１５０ 登録画像
５１，１６１，１７２ （符号化された）個人情報
６３，１７０ 中央領域
１６０，１７１ 復調データ

Claims (12)

1. 被認証者を顔認証するための顔画像と前記被認証者についての情報とを合成する画像合成装置であって、
   前記被認証者の少なくとも顔を含む顔画像が入力される画像入力部と、
   前記被認証者の個人情報が入力される個人情報入力部と、
   前記個人情報入力部から入力された前記個人情報を符号化する符号化部と、
   前記被認証者が認証される際に、前記符号化された個人情報と前記顔画像とを合成する画像合成部とを備えたことを特徴とする画像合成装置。
2. 前記画像合成部に対して、前記被認証者の認証方法を入力するための認証方法入力部を備え、
   前記画像合成部は、前記認証方法入力部から入力された前記被認証者についての認証方法に応じた方法で、前記符号化された個人情報と前記顔画像とを合成することを特徴とする請求項１に記載の画像合成装置。
3. 前記画像合成部は、前記被認証者がＥｉｇｅｎｆａｃｅ法によって認証される場合に、前記顔画像の周辺部分の領域に前記符号化された個人情報を埋め込む処理を行うことによって合成することを特徴とする請求項１または請求項２に記載の画像合成装置。
4. 前記画像合成部は、前記被認証者がＤＣＴ処理によって抽出される特徴量を用いて認証される場合に、前記顔画像の高周波数成分の情報に前記符号化された個人情報を重畳する処理を行うことを特徴とする請求項１または請求項２に記載の画像合成装置。
5. 前記画像入力部から入力された前記顔画像から、目位置を特定する処理を行うとともに、前記顔画像の大きさを正規化する処理を行う前処理部を備えたことを特徴とする請求項１から請求項４までのいずれか１項に記載の画像合成装置。
6. 前記画像合成部で合成された画像情報を出力する出力部を備えたことを特徴とする請求項１から請求項５までのいずれか１項に記載の画像合成装置。
7. 前記画像合成部で合成された画像情報を記憶する記憶部を備えたことを特徴とする請求項１から請求項６までのいずれか１項に記載の画像合成装置。
8. 請求項７に記載の画像合成装置の前記記憶部と、
   前記記憶部に記憶された前記画像情報を読み出す画像読出部と、
   被写体の比較画像が入力される比較画像入力部と、
   前記比較画像から特徴量を抽出する第１の特徴量抽出部と、
   前記画像読出部で読み出された前記画像情報から特徴量を抽出する第２の特徴量抽出部と、
   前記第１の特徴量抽出部で抽出された特徴量と、前記第２の特徴量抽出部で抽出された特徴量とを比較照合する照合部と、
   前記照合部における比較照合結果にもとづいて、前記被写体が、あらかじめ登録された者であるか否かを判定する認証部と、
   前記画像読出部によって読み出された前記画像情報に対応する個人情報を読み出す個人情報読出部と、
   前記認証部で判定された結果、および、前記個人情報読出部によって読み出された前記個人情報とを出力する結果出力部とを備えたことを特徴とする画像照合装置。
9. 請求項７に記載の画像合成装置の前記記憶部と、
   被写体の比較画像が入力される比較画像入力部と、
   前記被写体に対応する個人情報が入力される個人情報入力部と、
   前記記憶部に記憶された画像情報から、前記個人情報入力部から入力される前記個人情報に対応する画像情報を読み出す画像読出部と、
   前記比較画像入力部から入力された前記比較画像から特徴量を抽出する第１の特徴量抽出部と、
   前記画像読出部で読み出された前記画像情報から特徴量を抽出する第２の特徴量抽出部と、
   前記第１の特徴量抽出部で抽出された特徴量と、前記第２の特徴量抽出部で抽出された特徴量とを比較照合する照合部と、
   前記照合部における比較照合結果にもとづいて、前記被写体が、あらかじめ登録された者であるか否かを判定する認証部と、
   前記認証部で判定された結果を出力する結果出力部とを備えたことを特徴とする画像照合装置。
10. 前記比較画像入力部から入力された前記比較画像から、目位置を特定する処理を行うとともに、前記比較画像の大きさを正規化する処理を行う前処理部を備えたことを特徴とする請求項８または請求項９に記載の画像照合装置。
11. 被認証者を顔認証するための顔画像と前記被認証者についての情報とを合成する画像合成方法であって、
    前記被認証者の少なくとも顔を含む顔画像が入力される第１のステップと、
    前記被認証者の個人情報が入力される第２のステップと、
    前記第２のステップで入力された前記個人情報を符号化する第３のステップと、
    前記被認証者が認証される際に、前記第３のステップにおいて符号化された個人情報が前記顔画像の認証結果に影響を与えないように、前記第３のステップにおいて符号化された個人情報と前記顔画像とを合成する第４のステップとを備えたことを特徴とする画像合成方法。
12. 被認証者を顔認証するための顔画像と前記被認証者についての情報とを合成する画像合成プログラムであって、
    コンピュータに、
    前記被認証者の少なくとも顔を含む顔画像が入力される第１のステップと、
    前記被認証者の個人情報が入力される第２のステップと、
    前記第２のステップで入力された前記個人情報を符号化する第３のステップと、
    前記被認証者が認証される際に、前記第３のステップにおいて符号化された個人情報が前記顔画像の認証結果に影響を与えないように、前記第３のステップにおいて符号化された個人情報と前記顔画像とを合成する第４のステップとを実行させることを特徴とする画像合成プログラム。

Images