JP2017174228A - 画像処理装置、画像処理方法および画像処理プログラム - Google Patents

画像処理装置、画像処理方法および画像処理プログラム Download PDF

Info

Publication number
JP2017174228A
JP2017174228A JP2016060784A JP2016060784A JP2017174228A JP 2017174228 A JP2017174228 A JP 2017174228A JP 2016060784 A JP2016060784 A JP 2016060784A JP 2016060784 A JP2016060784 A JP 2016060784A JP 2017174228 A JP2017174228 A JP 2017174228A
Authority
JP
Japan
Prior art keywords
finger
reference point
base
image
ring
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2016060784A
Other languages
English (en)
Other versions
JP6658188B2 (ja
Inventor
智明 松濤
Tomoaki Matsunami
智明 松濤
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujitsu Ltd
Original Assignee
Fujitsu Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujitsu Ltd filed Critical Fujitsu Ltd
Priority to JP2016060784A priority Critical patent/JP6658188B2/ja
Priority to EP17160530.6A priority patent/EP3223193B1/en
Priority to US15/457,256 priority patent/US10438078B2/en
Publication of JP2017174228A publication Critical patent/JP2017174228A/ja
Application granted granted Critical
Publication of JP6658188B2 publication Critical patent/JP6658188B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/12Fingerprints or palmprints
    • G06V40/1347Preprocessing; Feature extraction
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/20Image preprocessing
    • G06V10/32Normalisation of the pattern dimensions
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/107Static hand or arm
    • G06V40/11Hand-related biometrics; Hand pose recognition
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/50Maintenance of biometric data or enrolment thereof
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/12Fingerprints or palmprints
    • G06V40/13Sensors therefor
    • G06V40/1312Sensors therefor direct reading, e.g. contactless acquisition

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Collating Specific Patterns (AREA)
  • Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)

Abstract

【課題】画像の一部の部位の位置情報を用いて位置ずれを補正することができる画像処理装置、画像処理方法および画像処理プログラムを提供する。【解決手段】画像処理装置は、手のひら画像を取得する生体センサ105と、手のひら画像から、第1指の付け根と、第1指に隣接する第2指の付け根を検出する付け根検出部11と、第1指の第2指側の付け根と、第2指の第1指側の付け根との間に位置する第1基準点を算出する第1基準点算出部12と、第1指の第2指と反対側の付け根と第1基準点とがなす直線と、第2指の第1指と反対側の付け根と第1基準点とがなす角度を2等分する線上の第2基準点を算出する第2基準点算出部13と、第1基準点および第2基準点の座標が所定座標に変換されるように手のひら画像をアフィン変換する変換部14と、を備える。【選択図】図2

Description

本件は、画像処理装置、画像処理方法および画像処理プログラムに関する。
生体認証では、利用者の入力の仕方や環境によって、入力生体情報と登録生体情報との間に位置ずれが生じることがある。このような位置ずれは、本人拒否の要因となる。手のひら静脈認証では、位置ずれの影響を低減するために、手の姿勢を矯正するガイドを用いることがある。しかしながら、ガイドに対して手が大きい利用者については、手のひら部分が欠けた画像が取得されやすく、本人拒否の確率が高くなる。また、携帯電子機器では、ガイドの導入は困難である。そこで、位置ずれの影響を低減する手のひら認証の技術が開示されている(例えば、特許文献1,2参照)。
特開2010−26658号公報 特開2015−28724号公報
しかしながら、特許文献1,2の技術では、手のひら画像において手首や手のひらの一部が欠けていると位置ずれ補正が困難となる。
1つの側面では、本発明は、高精度で位置ずれを補正することができる画像処理装置、画像処理方法および画像処理プログラムを提供することを目的とする。
1つの態様では、画像処理装置は、手のひら画像を取得する生体センサと、前記手のひら画像から、第1指の付け根と、前記第1指に隣接する第2指の付け根を検出する検出部と、前記第1指の前記第2指側の付け根と、前記第2指の前記第1指側の付け根との間に位置する第1基準点を算出する第1算出部と、前記第1指の前記第2指と反対側の付け根と前記第1基準点とがなす直線と、前記第2指の前記第1指と反対側の付け根と前記第1基準点とがなす角度を2等分する線上の第2基準点を算出する第2算出部と、前記第1基準点および前記第2基準点の座標が所定座標に変換されるように前記手のひら画像をアフィン変換する変換部と、を備える。
1つの態様では、画像処理装置は、手のひら画像を取得する生体センサと、前記手のひら画像から、中指の付け根と、薬指の付け根と、人差し指の親指側の付け根と、小指の薬指と反対側の付け根とを検出する検出部と、前記中指の前記薬指側の付け根と、前記薬指の前記中指側の付け根との間に位置する第1基準点を算出する第1算出部と、前記人差し指の親指側の付け根と前記第1基準点とがなす直線と、前記小指の薬指と反対側の付け根と前記第1基準点とがなす角度を2等分する線上の第2基準点を算出する第2算出部と、前記第1基準点および前記第2基準点の座標が所定座標に変換されるように前記手のひら画像をアフィン変換する変換部と、を備える。
高精度で位置ずれを補正することができる。
(a)は実施例1に係る生体認証装置のハードウェア構成を説明するためのブロック図であり、(b)は生体センサの模式図である。 生体認証プログラムの実行によって実現される各機能のブロック図である。 登録処理の詳細を表すフローチャートを例示する図である。 第1基準点の算出を例示する図である。 第2基準点の算出を例示する図である。 正規化画像を例示する図である。 認証処理の詳細を表すフローチャートを例示する図である。 第1基準点の算出を例示する図である。 第2基準点の算出を例示する図である。 正規化画像を例示する図である。 基準点の算出を例示する図である。
以下、図面を参照しつつ、実施例について説明する。
図1(a)は、実施例1に係る生体認証装置100のハードウェア構成を説明するためのブロック図である。図1(b)は、後述する生体センサ105の模式図である。図1(a)を参照して、生体認証装置100は、CPU101、RAM102、記憶装置103、表示装置104、生体センサ105、通信部106、属性情報取得部107などを備える。これらの各機器は、バスなどによって接続されている。
CPU(Central Processing Unit)101は、中央演算処理装置である。CPU101は、1以上のコアを含む。RAM(Random Access Memory)102は、CPU101が実行するプログラム、CPU101が処理するデータなどを一時的に記憶する揮発性メモリである。
記憶装置103は、不揮発性記憶装置である。記憶装置103として、例えば、ROM(Read Only Memory)、フラッシュメモリなどのソリッド・ステート・ドライブ(SSD)、ハードディスクドライブに駆動されるハードディスクなどを用いることができる。本実施例に係る生体認証プログラムは、記憶装置103に記憶されている。表示装置104は、液晶ディスプレイ、エレクトロルミネッセンスパネル等であり、後述する各処理の結果などを表示する。
生体センサ105は、利用者の生体情報を取得するセンサであり、本実施例においては、利用者の手のひらの画像を非接触で取得する。図1(b)で例示するように、生体センサ105は、一例として、CMOS(Complementary Metal Oxide Semiconductor)カメラなどである。生体センサ105は、例えば、可視光の情報に基づいて、手のひらの輪郭線、掌紋、掌形などを取得することができる。また、生体センサ105は、近赤外線を利用することによって、静脈パターンなどの血管パターンを取得することもできる。なお、手のひら画像は、指先までを含んだ手のひらの全体を含むことが好ましいが、指の途中までの範囲だけを含んでいてもよい。
通信部106は、例えば、LAN(Local Area Network)などへの接続インタフェースである。属性情報取得部107は、キーボード、マウスなどの入力機器であり、例えば、利用者を識別するためのID、利用者名、パスワードなどを入力するための装置である。
記憶装置103に記憶されている生体認証プログラムは、実行可能にRAM102に展開される。CPU101は、RAM102に展開された生体認証プログラムを実行する。それにより、生体認証装置100による各処理が実行される。生体認証プログラムが実行されることによって、登録処理、認証処理などが実行される。
登録処理は、各利用者に関連づけて、生体センサ105が取得した手のひら画像から得られた生体特徴をデータベースに登録する処理である。本実施例においては、手のひら画像から抽出された掌紋、血管パターン、掌形などが生体特徴としてデータベースに登録される。認証処理は、生体センサ105が取得した照合生体特徴とデータベースに登録された登録生体特徴とを照合する処理である。本実施例においては、一例として、認証処理時に取得された静脈パターンとデータベースに登録された静脈パターンとの類似度がしきい値以上であれば当該利用者が登録された利用者と同一人物であると判定される。登録処理および認証処理の詳細については後述する。
図2は、生体認証プログラムの実行によって実現される各機能のブロック図である。生体認証プログラムの実行によって、正規化画像生成部10、生体特徴抽出部20、登録部30、認証部40、データベース50などが実現される。正規化画像生成部10は、画像処理装置としての機能を備える。したがって、生体認証プログラムのうち、正規化画像生成部を実現するプログラムが画像処理プログラムとしての機能を有する。正規化画像生成部10は、付け根検出部11、第1基準点算出部12、第2基準点算出部13、および変換部14を含む。なお、図1および図2の例では、スタンドアローンの端末で構成されているが、それに限られない。例えば、本実施例は、クライアントサーバのシステムにも適用可能である。本実施例では、説明の簡略化のために、スタンドアローンの端末における例について説明する。
(登録処理)
図3は、登録処理の詳細を表すフローチャートを例示する図である。以下、図2および図3を参照しつつ、登録処理について説明する。まず、属性情報取得部107は、利用者の属性情報を取得する(ステップS1)。次に、生体センサ105は、生体センサ105に対して手をかざす利用者の手のひら画像を取得する(ステップS2)。
次に、付け根検出部11は、ステップS2で取得した手のひら画像から隣接する2本の指の付け根の位置を検出する(ステップS3)。例えば、付け根検出部11は、図4で例示するように、中指の付け根M,Mと薬指の付け根R,Rを検出する。中指の付け根Mは、薬指側の付け根である。中指の付け根Mは、人差指側の付け根である。薬指の付け根Rは、中指側の付け根である。薬指の付け根Rは、小指側の付け根である。これらの付け根は、公知の方法であるラプラシアンフィルタなどのエッジ検出法やSUSAN(Smallest Univalue Segment Assimilating Nucleus)などのコーナー検出法を用いて検出することができる。
次に、第1基準点算出部12は、ステップS3で検出した指の付け根の位置から、手のひらの第1基準点Aを算出する(ステップS4)。例えば、第1基準点算出部12は、図4で例示するように、第1基準点Aとして、手首から最も遠い手のひら上の上端点を算出する。例えば、第1基準点算出部12は、付け根Mと付け根Rとの中点を第1基準点Aとして算出する。または、第1基準点算出部12は、直線Mと直線Rとの交点を上端点Aとして算出してもよい。その他、第1基準点算出部12は、付け根Mと付け根Rとの間に位置する点を第1基準点として算出してもよい。
次に、第2基準点算出部13は、ステップS3で検出した指の付け根2点と、ステップS4で算出した第1基準点Aとから、第2基準点Oを算出する(ステップS5)。例えば、図5で例示するように、第2基準点算出部13は、∠MARの二等分線上にあり、線分AO:線分Mの長さ比が所定の値となるような手のひら中心位置を示す点を第2基準点Oとして算出する。このとき、線分AO:線分Mの長さ比の決定方法は、例えば3:1などの簡単な整数比を与えてもよい。または、予め取得された複数の手のひら画像を用意し、それらの画像においてM,M,A,Oを人為的に与え、各画像における線分AO:線分Mの長さ比の平均や中央値などの統計情報を用いてもよい。また、本実施例では線分AO:線分Mとしたが、RやMなど任意の2個の付け根の間隔を用いてもよい。
次に、変換部14は、ステップS2で取得した手のひら画像に対してアフィン変換を施すことで、正規化画像を生成する(ステップS6)。例えば、変換部14は、第1基準点Aを画像上端中央に移動させ、第2基準点O(x,y)を画像中央に移動させるために、下記式(1)に従って、変換前の手のひら画像I(x,y)を画像I´(x´,y´)に変換する。ただし、手のひら画像の水平方向のサイズをwとし、垂直方向のサイズをhとする。線分OAの長さをdとする。線分OAの画像垂直方向に対する傾きをθとする。
Figure 2017174228
ただし、Sx=Sy=h/2d、Tx=Sx(x−h/2)、Ty=Sy(y−w/2)とする。また、手のひら中心点が画像の外に位置する場合では、例えば画像の外の画素値をゼロとした拡張画像を作成することで、同様の処理を行うことができる。図6は、第1基準点Aが画像上端中央に移動し、第2基準点O(x,y)が画像中央に移動した正規化画像を例示する図である。
次に、生体特徴抽出部20は、正規化画像から生体特徴を抽出する(ステップS7)。本実施例においては、生体特徴として静脈パターンを取得する。静脈パターンには、静脈の端点や分岐点の座標や方向、2個の分岐点の連結情報などが含まれる。次に、登録部30は、ステップS1で取得した属性情報と、ステップS7で抽出した生体特徴とを関連付けてデータベース50に登録する(ステップS8)。ステップS8で登録される生体特徴を登録生体特徴と称する。以上の処理により、登録処理が完了する。
(認証処理)
次に、認証処理について説明する。図7は、認証処理の詳細を表すフローチャートを例示する図である。図7で例示するように、ステップS11〜ステップS17は、図3のステップS1〜ステップS7と同様である。ステップS17で得られた生体特徴を、照合用生体特徴と称する。ステップS17の実行後、認証部40は、ステップS11で取得された属性情報と一致する登録生体特徴をデータベース50から読み出し、当該登録生体特徴と照合用生体特徴とを照合する(ステップS18)。具体的には、認証部40は、登録生体特徴と照合用生体特徴との類似度が閾値以上であるか否かを判定し、その結果を出力する。
本実施例によれば、隣接する2本の指の付け根のうち、第1指の第2指側の付け根と、第2指の第1指側の付け根との間に位置する点が第1基準点に設定されている。また、第1指の第2指と反対側の付け根と第1基準点とがなす直線と、第2指の第1指と反対側の付け根と第1基準点とがなす直線の角度を2等分する線上の点が第2基準点に設定されている。これらの第1基準点および第2基準点は、利用者の手ごとに固有の位置を示す。したがって、これらの基準点を基準にして手のひら画像をアフィン変換により正規化すれば、同一の利用者の手であれば安定して同一または互いに類似する正規化画像を生成することができる。また、手のひらの一部(例えば下部)が手のひら画像に含まれていない場合でも、当該正規化画像を生成することができる。以上のことから、手のひら画像の一部の部位の位置情報を用いて位置ずれを補正することができる。さらに、利用者が手のひらをかざし直す場合が低減することによる使い勝手の向上と、安定した本人認証の実現が可能となる。
なお、実施例1においては、中指と薬指の付け根を用いたが、人差指と中指や、親指と人差し指のような、他の隣接する2本の指の付け根を用いてもよい。
本実施例においては、付け根検出部11が、第1指の付け根と、第1指に隣接する第2指の付け根を検出する検出部の一例として機能する。第1基準点算出部12が、第1指の第2指側の付け根と、第2指の第1指側の付け根との間に位置する第1基準点を算出する第1算出部の一例として機能する。第2基準点算出部13が、第1指の第2指と反対側の付け根と第1基準点とがなす直線と、第2指の第1指と反対側の付け根と第1基準点とがなす角度を2等分する線上の第2基準点を算出する第2算出部の一例として機能する。変換部14が、第1基準点および第2基準点の座標が所定座標に変換されるように手のひら画像をアフィン変換する変換部の一例として機能する。
実施例2では、手のひら画像に含まれる人差し指の付け根、中指の付け根、薬指の付け根、および小指の付け根を用いて正規化画像を生成する例について説明する。以下の付け根検出部11、第1基準点算出部12、第2基準点算出部13、および変換部14の処理は、図3のステップS1〜S6および図7のステップS11〜S16において行われる処理である。
付け根検出部11は、生体センサ105が取得した手のひら画像に対して、図8で例示するように、中指の付け根M,M、薬指の付け根R、R、人差し指の中指側の付け根I、小指の薬指側の付け根Sを検出する。
次に、付け根検出部11は、人差し指の中指側のエッジ方向を示す人差し指ベクトルと小指の薬指側のエッジ方向を示す小指ベクトルとを算出する。次に、付け根検出部11は、人差し指ベクトルの向きを持ち付け根Iを通る直線を直線L、小指ベクトルの向きを持ち付け根Sを通る直線を直線Lとして算出する。さらに、付け根検出部11は、付け根Iを通る直線Lの垂線と人差し指の外側のエッジとの交点を付け根I、付け根Sを通る直線Lの垂線と小指の外側のエッジとの交点を付け根Sとして算出する。なお、人差し指ベクトルや小指ベクトルの方向は、ラプラシアンフィルタなどのエッジ検出法によって求めることができる。
次に、第1基準点算出部12は、第1基準点Aを算出する。例えば、第1基準点算出部12は、図8で例示するように、第1基準点Aとして、手首から最も遠い手のひら上の上端点を算出する。例えば、第1基準点算出部12は、付け根Mと付け根Rとの中点を第1基準点Aとして算出する。または、第1基準点算出部12は、直線Mと直線Rとの交点を第1基準点Aとして算出してもよい。または、第1基準点算出部12は、直線Mと直線Rとの交点を第1基準点Aとして算出してもよい。その他、第1基準点算出部12は、付け根Mと付け根Rとの間に位置する点を第1基準点として算出してもよい。
次に、第2基準点算出部13は、指の付け根2点と、第1基準点Aとから、第2基準点Wを算出する。例えば、図9で例示するように、第2基準点算出部13は、∠IASの二等分線上にあり、線分AW:線分Iの長さ比が所定の値となるような手のひら下端の位置を示す点を第2基準点Wとして求める。第2基準点Wを算出する時の比については実施例1と同様に決定することができる。
次に、変換部14は、手のひら画像に対してアフィン変換を施すことで、正規化生体画像を作成する。例えば、変換部14は、第1基準点Aを画像上端中央に移動させ、第2基準点W(x,y)を画像下端中央に移動させるために、下記式(2)に従って、変換前の手のひら画像I(x,y)を画像I´(x´,y´)に変換する。ただし、手のひら画像の水平方向のサイズをwとし、垂直方向のサイズをhとする。線分OWの長さをdとする。線分AWの画像垂直方向に対する傾きをθとする。
Figure 2017174228
ただし、Sx=Sy=h/d、Tx=Sx(x−h)、Ty=Sy(y−w)とする。また、手のひら中心点が画像の外に位置する場合では、例えば画像の外の画素値をゼロとした拡張画像を作成することで、同様の処理を行うことができる。図10は、第1基準点Aが画像上端中央に移動し、第2基準点W(x,y)が画像下端中央に移動した正規化画像を例示する図である。
本実施例によれば、中指の薬指側の付け根と、薬指の中指側の付け根との間に位置する点が第1基準点に設定されている。また、人差し指の親指側の付け根と第1基準点とがなす直線と、小指の薬指と反対側の付け根と第1基準点とがなす角度を2等分する線上の点が第2基準点に設定されている。これらの第1基準点および第2基準点は、利用者の手ごとに固有の位置を示す。したがって、これらの基準点を基準にして手のひら画像をアフィン変換により正規化すれば、同一の利用者の手であれば安定して同一または互いに類似する正規化画像を生成することができる。また、手のひらの一部(例えば下部)が手のひら画像に含まれていない場合でも、当該正規化画像を生成することができる。以上のことから、手のひら画像の一部の部位の位置情報を用いて位置ずれを補正することができる。さらに、利用者が手のひらをかざし直す場合が低減することによる使い勝手の向上と、安定した本人認証の実現が可能となる。
本実施例においては、付け根検出部11が、中指の付け根と、薬指の付け根と、人差し指の親指側の付け根と、小指の薬指と反対側の付け根とを検出する検出部の一例として機能する。第1基準点算出部12が、中指の薬指側の付け根と、薬指の中指側の付け根との間に位置する第1基準点を算出する第1算出部の一例として機能する。第2基準点算出部13が、人差し指の親指側の付け根と第1基準点とがなす直線と、小指の薬指と反対側の付け根と第1基準点とがなす角度を2等分する線上の第2基準点を算出する第2算出部の一例として機能する。変換部14が、第1基準点および第2基準点の座標が所定座標に変換されるように手のひら画像をアフィン変換する変換部の一例として機能する。
実施例3では、手のひら画像に含まれる人差し指の付け根、中指の付け根、薬指の付け根、および小指の付け根を用いて正規化画像を生成する例について説明する。付け根検出部11は、図8で例示するように、実施例2と同様の手順により中指の付け根M,M、薬指の付け根R,R、人差し指の付け根I,I2、および小指の付け根S,Sを検出する。また、第1基準点算出部12は、図8で例示するように、実施例2と同様の手順により第1基準点Aを算出する。
次に、第2基準点算出部13は、実施例1と同様の手順により、指の付け根2点と第1基準点Aとから、基準点Oを算出する。例えば、図11で例示するように、第2基準点算出部13は、∠MARの二等分線上にあり、線分AO:線分Mの長さ比が所定の値となるような手のひら中心位置を示す点を基準点Oとして求める。また、第2基準点算出部13は、∠IASの二等分線上にあり、線分AW:線分Iの比が所定の値となるような手のひら下端の位置を示す点を基準点Wとして求める。第1基準点A、基準点Oおよび基準点Wを算出する時の比については実施例1と同様に決定することができる。
次に、変換部14は、手のひら画像に対してアフィン変換を施すことで、正規化生体画像を作成する。例えば、変換部14は、第1基準点Aを画像上端中央に移動させ、基準点Oを画像中央に移動させ、基準点Wを画像下端中央に移動させる。
まず、変換部14は、図11で例示するように、∠AOWの二等分線を直線tとし、直線tと、第1基準点A側に延びる半直線OAと、第2基準点W側に延びる半直線OWとによって、手のひら画像を4個の領域に分割する。それぞれの領域を、領域I〜領域IVとする。続いて、変換部14は、各領域でアフィン変換を施しそれらの結果を合成する。
手のひら画像の水平方向のサイズをwとし、垂直方向のサイズをhとする。基準点Oの位置を(x,y)とする。線分OAの長さをdとする。線分OAの画像垂直方向に対する傾きをθとする。直線tの水平方向に対する傾きをθとする。線分OWの画像垂直方向に対する傾きをθとする。変換部14は、領域Iの変換前の画像をI1(x,y)、変換後の画像をI1´(x´,y´)とすると、下記式(3)に従って計算し、線分OAの方向を画像に対して垂直に、直線tの方向を画像に対して水平にする。
Figure 2017174228
ただし、Sx=Sy=h/2d、Tx=Sx(x−h/2)、Ty=Sy(y−w/2)、φ=θ−θとする。変換部14は、同様に領域II〜領域IVにおいてもアフィン変換を施す。ただし、領域IIIと領域IVに関しては、線分OAの長さdAと画像垂直方向に対する傾きθの代わりに、線分OWの長さdWと画像垂直方向に対する傾きθを用いて算出する。各領域の結果を合成することで、1枚の正規化生体画像を作成する。また、手のひら中心点や手のひら下端点が画像の外に位置する場合では、例えば画像の外の画素値をゼロとした拡張画像を作成することで、同様の処理を行うことができる。
第1基準点A、基準点Oおよび基準点Wは、利用者の手ごとに固有の位置を示す。したがって、これらの基準点を基準にして手のひら画像をアフィン変換により正規化すれば、同一の利用者の手であれば安定して同一または互いに類似する正規化画像を生成することができる。また、手のひらの一部(例えば下部)が手のひら画像に含まれていない場合でも、当該正規化画像を生成することができる。以上のことから、手のひら画像に含まれる部位の位置情報を用いて位置ずれを補正することができる。さらに、利用者が手のひらをかざし直す場合が低減することによる使い勝手の向上と、安定した本人認証の実現が可能となる。さらに、∠AOWの二等分線と半直線OAと半直線OWとによって手のひら画像が4個の領域に分割されている。この場合、例えば人差し指の閉じ具合が他の指と比べて大きく異なり、手のひら画像において場所によって位置ずれの度合いが異なる場合でも、手のひら画像を位置ずれが大きい領域と位置ずれが小さい領域に分割することができる。それにより、各領域で位置ずれ補正処理を行うことができるため、更に安定した正規化生体画像を作成可能になる。
本実施例においては、付け根検出部11が、中指の付け根と、薬指の付け根と、人差し指の親指側の付け根と、小指の薬指と反対側の付け根とを検出する検出部の一例として機能する。第1基準点算出部12が、中指の薬指側の付け根と、薬指の中指側の付け根との間に位置する第1基準点を算出する第1算出部の一例として機能する。第2基準点算出部13が、人差し指の親指側の付け根と第1基準点とがなす直線と、小指の薬指と反対側の付け根と第1基準点とがなす角度を2等分する線上の第2基準点を算出する第2算出部の一例として機能する。基準点Oを算出する際に用いる第1基準点Aが第1参照点に対応し、当該基準点Oが第2参照点に対応する。変換部14が、第1基準点、第2基準点および第2参照点の座標が所定座標に変換されるように手のひら画像をアフィン変換する変換部の一例として機能する。
以上、本発明の実施例について詳述したが、本発明は係る特定の実施例に限定されるものではなく、特許請求の範囲に記載された本発明の要旨の範囲内において、種々の変形・変更が可能である。
10 正規化画像生成部
11 付け根検出部
12 第1基準点算出部
13 第2基準点算出部
14 変換部
20 生体特徴抽出部
30 登録部
40 認証部
50 データベース
100 生体認証装置

Claims (9)

  1. 手のひら画像を取得する生体センサと、
    前記手のひら画像から、第1指の付け根と、前記第1指に隣接する第2指の付け根を検出する検出部と、
    前記第1指の前記第2指側の付け根と、前記第2指の前記第1指側の付け根との間に位置する第1基準点を算出する第1算出部と、
    前記第1指の前記第2指と反対側の付け根と前記第1基準点とがなす直線と、前記第2指の前記第1指と反対側の付け根と前記第1基準点とがなす角度を2等分する線上の第2基準点を算出する第2算出部と、
    前記第1基準点および前記第2基準点の座標が所定座標に変換されるように前記手のひら画像をアフィン変換する変換部と、を備えることを特徴とする画像処理装置。
  2. 前記第1算出部は、前記第1指の前記第2指側の付け根と前記第2指の前記第1指側の付け根との中点、または、前記第1指の両側の付け根を通る直線と前記第2指の両側の付け根を通る直線との交点を、前記第1基準点として算出することを特徴とする請求項1記載の画像処理装置。
  3. 手のひら画像を取得する生体センサと、
    前記手のひら画像から、中指の付け根と、薬指の付け根と、人差し指の親指側の付け根と、小指の薬指と反対側の付け根とを検出する検出部と、
    前記中指の前記薬指側の付け根と、前記薬指の前記中指側の付け根との間に位置する第1基準点を算出する第1算出部と、
    前記人差し指の親指側の付け根と前記第1基準点とがなす直線と、前記小指の薬指と反対側の付け根と前記第1基準点とがなす角度を2等分する線上の第2基準点を算出する第2算出部と、
    前記第1基準点および前記第2基準点の座標が所定座標に変換されるように前記手のひら画像をアフィン変換する変換部と、を備えることを特徴とする画像処理装置。
  4. 前記第1算出部は、前記中指の前記薬指側の付け根と前記薬指の前記中指側の付け根との中点、または、前記中指の両側の付け根を通る直線と前記薬指の両側の付け根を通る直線との交点、または、前記人差指の前記中指側の付け根と前記中指の前記薬指側の付け根とを通る直線と前記小指の前記薬指側の付け根と前記薬指の前記中指側の付け根とを通る直線との交点を、前記第1基準点として算出することを特徴とする請求項3記載の画像処理装置。
  5. 前記検出部は、前記手のひら画像から、第1指の付け根と、前記第1指に隣接する第2指の付け根を検出し、
    前記第2算出部は、前記第1指の前記第2指側の付け根と前記第2指の前記第1指側の付け根との間に位置する第1参照点と前記第1指の前記第2指と反対側の付け根とがなす直線と、前記第2指の前記第1指と反対側の付け根と前記第1参照点とがなす角度を2等分する線上の第2参照点を算出し、
    前記変換部は、前記第1基準点、前記第2基準点および前記第2参照点の座標が所定座標に変換されるように前記手のひら画像をアフィン変換することを特徴とする請求項3または4記載の画像処理装置。
  6. 生体センサが取得した手のひら画像から、第1指の付け根と、前記第1指に隣接する第2指の付け根を検出部が検出し、
    前記第1指の前記第2指側の付け根と、前記第2指の前記第1指側の付け根との間に位置する第1基準点を第1算出部が算出し、
    前記第1指の前記第2指と反対側の付け根と前記第1基準点とがなす直線と、前記第2指の前記第1指と反対側の付け根と前記第1基準点とがなす角度を2等分する線上の第2基準点を第2算出部が算出し、
    前記第1基準点および前記第2基準点の座標が所定座標に変換されるように前記手のひら画像を変換部がアフィン変換する、ことを特徴とする画像処理方法。
  7. 生体センサが取得した手のひら画像から、中指の付け根と、薬指の付け根と、人差し指の親指側の付け根と、小指の薬指と反対側の付け根とを検出部が検出し、
    前記中指の前記薬指側の付け根と、前記薬指の前記中指側の付け根との間に位置する第1基準点を第1算出部が算出し、
    前記人差し指の親指側の付け根と前記第1基準点とがなす直線と、前記小指の薬指と反対側の付け根と前記第1基準点とがなす角度を2等分する線上の第2基準点を第2算出部が算出し、
    前記第1基準点および前記第2基準点の座標が所定座標に変換されるように前記手のひら画像を変換部がアフィン変換する、ことを特徴とする画像処理方法。
  8. コンピュータに、
    生体センサが取得した手のひら画像から、第1指の付け根と、前記第1指に隣接する第2指の付け根を検出する処理と、
    前記第1指の前記第2指側の付け根と、前記第2指の前記第1指側の付け根との間に位置する第1基準点を算出する処理と、
    前記第1指の前記第2指と反対側の付け根と前記第1基準点とがなす直線と、前記第2指の前記第1指と反対側の付け根と前記第1基準点とがなす角度を2等分する線上の第2基準点を算出する処理と、
    前記第1基準点および前記第2基準点の座標が所定座標に変換されるように前記手のひら画像をアフィン変換する処理と、を実行させることを特徴とする画像処理プログラム。
  9. コンピュータに、
    生体センサが取得した手のひら画像から、中指の付け根と、薬指の付け根と、人差し指の親指側の付け根と、小指の薬指と反対側の付け根とを検出する処理と、
    前記中指の前記薬指側の付け根と、前記薬指の前記中指側の付け根との間に位置する第1基準点を算出する処理と、
    前記人差し指の親指側の付け根と前記第1基準点とがなす直線と、前記小指の薬指と反対側の付け根と前記第1基準点とがなす角度を2等分する線上の第2基準点を算出する処理と、
    前記第1基準点および前記第2基準点の座標が所定座標に変換されるように前記手のひら画像をアフィン変換する処理と、を実行させることを特徴とする画像処理プログラム。
JP2016060784A 2016-03-24 2016-03-24 画像処理装置、画像処理方法および画像処理プログラム Active JP6658188B2 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2016060784A JP6658188B2 (ja) 2016-03-24 2016-03-24 画像処理装置、画像処理方法および画像処理プログラム
EP17160530.6A EP3223193B1 (en) 2016-03-24 2017-03-13 Image processing device, image processing method and image processing program
US15/457,256 US10438078B2 (en) 2016-03-24 2017-03-13 Image processing device, image processing method and computer-readable non-transitory medium

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2016060784A JP6658188B2 (ja) 2016-03-24 2016-03-24 画像処理装置、画像処理方法および画像処理プログラム

Publications (2)

Publication Number Publication Date
JP2017174228A true JP2017174228A (ja) 2017-09-28
JP6658188B2 JP6658188B2 (ja) 2020-03-04

Family

ID=58461053

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2016060784A Active JP6658188B2 (ja) 2016-03-24 2016-03-24 画像処理装置、画像処理方法および画像処理プログラム

Country Status (3)

Country Link
US (1) US10438078B2 (ja)
EP (1) EP3223193B1 (ja)
JP (1) JP6658188B2 (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2024029757A1 (ko) * 2022-08-01 2024-02-08 삼성전자주식회사 센서를 통해 사용자 제스처를 인식하는 디스플레이 장치 및 그 제어 방법
JP7518748B2 (ja) 2020-12-11 2024-07-18 Kddi株式会社 画像処理装置、画像処理方法及びコンピュータプログラム

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110349096B (zh) * 2019-06-14 2024-08-02 平安科技(深圳)有限公司 手掌图像的校正方法、装置、设备及存储介质
CN111160290B (zh) * 2019-12-31 2023-09-01 广州微盾科技股份有限公司 一种提取手掌静脉有效区域的方法
WO2021173839A1 (en) * 2020-02-26 2021-09-02 Magic Leap, Inc. Hand gesture input for wearable system
CN117173734A (zh) * 2022-05-27 2023-12-05 腾讯科技(深圳)有限公司 手掌轮廓提取、控制指令生成方法、装置和计算机设备

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003006644A (ja) * 2001-06-18 2003-01-10 Nec Corp 掌紋照合システム
JP2010509672A (ja) * 2006-11-03 2010-03-25 スノウフレイク テクノロジーズ コーポレーション 生体認識情報の抽出と対照のための方法及び装置
JP2012234440A (ja) * 2011-05-06 2012-11-29 Fujitsu Ltd 生体認証装置、生体情報処理装置、生体認証システム、生体認証サーバ、生体認証クライアント及び生体認証装置制御方法
JP2013200673A (ja) * 2012-03-23 2013-10-03 Fujitsu Ltd 生体情報処理装置、生体情報処理方法、および生体情報処理プログラム
US20150186707A1 (en) * 2013-12-31 2015-07-02 Hyundai Motor Company Apparatus and method for recognizing user's gesture for carrying out operation of vehicle
US20160373438A1 (en) * 2015-06-17 2016-12-22 Electronics And Telecommunications Research Institute User authentication apparatus

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5393072B2 (ja) 2008-07-16 2014-01-22 Kddi株式会社 掌位置検出装置、掌紋認証装置、携帯電話端末、プログラム、および掌位置検出方法
JP6532642B2 (ja) 2013-07-30 2019-06-19 富士通株式会社 生体情報認証装置および生体情報処理方法
CN105393281B (zh) 2013-08-02 2018-02-13 三菱电机株式会社 手势判定装置和方法、手势操作装置

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003006644A (ja) * 2001-06-18 2003-01-10 Nec Corp 掌紋照合システム
JP2010509672A (ja) * 2006-11-03 2010-03-25 スノウフレイク テクノロジーズ コーポレーション 生体認識情報の抽出と対照のための方法及び装置
JP2012234440A (ja) * 2011-05-06 2012-11-29 Fujitsu Ltd 生体認証装置、生体情報処理装置、生体認証システム、生体認証サーバ、生体認証クライアント及び生体認証装置制御方法
JP2013200673A (ja) * 2012-03-23 2013-10-03 Fujitsu Ltd 生体情報処理装置、生体情報処理方法、および生体情報処理プログラム
US20150186707A1 (en) * 2013-12-31 2015-07-02 Hyundai Motor Company Apparatus and method for recognizing user's gesture for carrying out operation of vehicle
US20160373438A1 (en) * 2015-06-17 2016-12-22 Electronics And Telecommunications Research Institute User authentication apparatus

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7518748B2 (ja) 2020-12-11 2024-07-18 Kddi株式会社 画像処理装置、画像処理方法及びコンピュータプログラム
WO2024029757A1 (ko) * 2022-08-01 2024-02-08 삼성전자주식회사 센서를 통해 사용자 제스처를 인식하는 디스플레이 장치 및 그 제어 방법

Also Published As

Publication number Publication date
US10438078B2 (en) 2019-10-08
US20170277963A1 (en) 2017-09-28
EP3223193B1 (en) 2018-12-26
EP3223193A1 (en) 2017-09-27
JP6658188B2 (ja) 2020-03-04

Similar Documents

Publication Publication Date Title
JP6658188B2 (ja) 画像処理装置、画像処理方法および画像処理プログラム
US11120254B2 (en) Methods and apparatuses for determining hand three-dimensional data
Guo et al. Contact-free hand geometry-based identification system
JP6557943B2 (ja) 画像照合装置、画像センサ、処理システム、画像照合方法
JP5930023B2 (ja) 生体認証装置、生体認証方法及び生体認証用コンピュータプログラム
US11017210B2 (en) Image processing apparatus and method
JP6167733B2 (ja) 生体特徴ベクトル抽出装置、生体特徴ベクトル抽出方法、および生体特徴ベクトル抽出プログラム
JP6815707B2 (ja) 顔姿勢検出方法、装置及び記憶媒体
WO2018072483A1 (zh) 图像分割方法、图像分割系统和存储介质及包括其的设备
JP6065025B2 (ja) 生体認証装置、生体認証システム、及び生体認証方法
US9076026B2 (en) Biometric information processing apparatus and biometric information processing method
JP6900664B2 (ja) 画像処理装置、画像処理方法および画像処理プログラム
JP6648639B2 (ja) 生体情報処理装置、生体情報処理方法および生体情報処理プログラム
US10719943B2 (en) Program and image processing device
JP6617570B2 (ja) 生体認証装置、生体認証方法、および生体認証プログラム
EP3214575B1 (en) Biological image processing device, biological image processing method, and biological image processing program
JP6349817B2 (ja) 位置合わせ装置、位置合わせ方法及び位置合わせ用コンピュータプログラム
JP5457203B2 (ja) 指紋特徴量抽出装置、指紋入力装置、指紋認証装置、及び指紋特徴量抽出方法
JP2017162301A (ja) 生体認証装置、生体認証方法および生体認証プログラム
JP2015094968A (ja) 生体情報抽出装置、生体情報抽出方法、および生体情報抽出プログラム
US20220237942A1 (en) Information processing apparatus, information processing method, and storage medium
JP2016118868A (ja) 情報処理装置、情報処理プログラム、情報処理システム、および情報処理方法

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20181210

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20191010

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20191023

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20191218

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20200107

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20200120

R150 Certificate of patent or registration of utility model

Ref document number: 6658188

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150