JP2017136136A - 生体情報処理装置、生体情報処理方法、生体情報処理プログラム、および距離検知装置 - Google Patents

生体情報処理装置、生体情報処理方法、生体情報処理プログラム、および距離検知装置 Download PDF

Info

Publication number
JP2017136136A
JP2017136136A JP2016017531A JP2016017531A JP2017136136A JP 2017136136 A JP2017136136 A JP 2017136136A JP 2016017531 A JP2016017531 A JP 2016017531A JP 2016017531 A JP2016017531 A JP 2016017531A JP 2017136136 A JP2017136136 A JP 2017136136A
Authority
JP
Japan
Prior art keywords
image
biological information
measured
measurement object
touch panel
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2016017531A
Other languages
English (en)
Other versions
JP6583025B2 (ja
Inventor
智司 前田
Tomoji Maeda
智司 前田
幸弘 安孫子
Yukihiro Abiko
幸弘 安孫子
壮一 ▲浜▼
壮一 ▲浜▼
Soichi Hama
聡史 仙波
Satoshi Senba
聡史 仙波
元 名田
Hajime Nada
元 名田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujitsu Ltd
Original Assignee
Fujitsu Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujitsu Ltd filed Critical Fujitsu Ltd
Priority to JP2016017531A priority Critical patent/JP6583025B2/ja
Priority to US15/411,762 priority patent/US10068119B2/en
Priority to EP17152797.1A priority patent/EP3200126B1/en
Publication of JP2017136136A publication Critical patent/JP2017136136A/ja
Priority to US16/057,358 priority patent/US20180349670A1/en
Application granted granted Critical
Publication of JP6583025B2 publication Critical patent/JP6583025B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/30Authentication, i.e. establishing the identity or authorisation of security principals
    • G06F21/31User authentication
    • G06F21/32User authentication using biometric data, e.g. fingerprints, iris scans or voiceprints
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/12Fingerprints or palmprints
    • G06V40/1347Preprocessing; Feature extraction
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/12Fingerprints or palmprints
    • G06V40/1365Matching; Classification
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20Movements or behaviour, e.g. gesture recognition
    • G06V40/28Recognition of hand or arm movements, e.g. recognition of deaf sign language
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/50Maintenance of biometric data or enrolment thereof
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/60Static or dynamic means for assisting the user to position a body part for biometric acquisition
    • G06V40/67Static or dynamic means for assisting the user to position a body part for biometric acquisition by interactive indications to the user
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/107Static hand or arm
    • G06V40/117Biometrics derived from hands

Abstract

【課題】 部品コストを抑制することができる生体情報処理装置、生体情報処理方法、生体情報処理プログラム、および距離検知装置を提供する。
【解決手段】 生体情報処理装置は、タッチパネルに対する被測定体の接触箇所を検知する検知部と、前記被測定体を撮像する撮像装置と、前記撮像装置によって得られる前記被測定体の画像から生体特徴を抽出する抽出部と、前記検知部によって検知される前記接触箇所が移動した場合に、前記タッチパネル上での前記被測定体の移動量と、前記被測定体の画像における前記生体特徴の移動量とに基づいて、前記被測定体の画像から得られる生体情報を補正する補正部と、を備える。
【選択図】 図1

Description

本件は、生体情報処理装置、生体情報処理方法、生体情報処理プログラム、および距離検知装置に関する。
生体認証においては、照合精度を高めるためには、生体情報の登録時と照合時とで、撮像装置と生体との距離を同じにすることが好ましい。生体の位置を矯正するガイドを設けることが考えられるが、携帯性が損なわれる。そこで、視差画像を取得することで、生体の位置を検出する技術が開発されている(例えば、特許文献1参照)。
特開2010−61639号公報
しかしながら、特許文献1の技術では、部品コストがかかる。
1つの側面では、本件は、高い照合精度を低コストで実現する生体情報処理装置、生体情報処理方法、生体情報処理プログラム、および距離検知装置を提供することを目的とする。
1つの態様では、生体情報処理装置は、タッチパネルに対する被測定体の接触箇所を検知する検知部と、前記被測定体を撮像する撮像装置と、前記撮像装置によって得られる前記被測定体の画像から生体特徴を抽出する抽出部と、前記検知部によって検知される前記接触箇所が移動した場合に、前記タッチパネル上での前記被測定体の移動量と、前記被測定体の画像における前記生体特徴の移動量とに基づいて、前記被測定体の画像から得られる生体情報を補正する補正部と、を備える。
部品コストを抑制することができる。
(a)は実施例1に係る生体情報処理装置の全体構成を例示するブロック図であり、(b)は生体情報処理装置の上面図であり、(c)は処理部のハードウェア構成を例示する図である。 処理部の各機能を表すブロック図である。 登録処理を表すフローチャートを例示する図である。 (a)〜(e)は登録処理について説明するための図である。 認証処理を表すフローチャートを例示する図である。 (a)〜(g)は認証処理について説明するための図である。 (a)および(b)は変形例1について説明するための図である。 (a)〜(d)は変形例2について説明するための図である。 (a)〜(d)は変形例3について説明するための図である。 (a)および(b)は変形例5について説明するための図である。 実施例2に係る生体情報処理装置の全体構成を例示する図である。 (a)〜(d)は実施例2について説明するための図である。
以下、図面を参照しつつ、実施例について説明する。
図1(a)は、実施例1に係る生体情報処理装置100の全体構成を例示するブロック図である。図1(b)は、生体情報処理装置100の上面図である。図1(a)で例示するように、生体情報処理装置100は、表示装置10、タッチセンサ20、撮像装置30、処理部40などを備える。
処理部40は、表示装置10、タッチセンサ20、撮像装置30などの動作を制御する。また、処理部40は、タッチセンサ20の検出結果および撮像装置30の撮像結果を受け取る。それにより、処理部40は、登録処理および認証処理を行う。表示装置10は、図1(b)で例示するように、液晶ディスプレイ、エレクトロルミネッセンスパネル等の画面11を備える表示装置であり、処理部40の処理結果などを表示する。画面11は、表示装置10の所定の面において、表示装置10の枠よりも小さい領域を有する。
タッチセンサ20は、画面11上に設けられている。それにより、画面11およびタッチセンサ20は、タッチパネルとして機能する。タッチセンサ20は、ユーザが画面11に対して手の指などの被測定体を接触させようとする領域を検知することができる。以下、タッチセンサ20に対して被測定体が接触する領域を接触領域と称することがある。
撮像装置30は、ユーザの手のひらなどの被測定体の画像を取得するイメージセンサであり、例えば、表示装置10の枠と画面11との間に設けられている。本実施例においては、撮像装置30は、一例として、非接触で被測定体の画像を取得するイメージセンサであり、CMOS(Complementary Metal Oxide Semiconductor)カメラなどである。例えば、撮像装置30は、手のひらの表面の画像を取得するが、近赤外線を利用することによって、静脈パターン等の皮下の生体の画像も取得することができる。
図1(c)は、処理部40のハードウェア構成を例示する図である。図1(c)で例示するように、処理部40は、CPU101、RAM102、記憶装置103、インタフェース104などを備える。これらの各機器は、バスなどによって接続されている。
CPU(Central Processing Unit)101は、中央演算処理装置である。CPU101は、1以上のコアを含む。RAM(Random Access Memory)102は、CPU101が実行するプログラム、CPU101が処理するデータなどを一時的に記憶する揮発性メモリである。
記憶装置103は、不揮発性記憶装置である。記憶装置103として、例えば、ROM(Read Only Memory)、フラッシュメモリなどのソリッド・ステート・ドライブ(SSD)、ハードディスクドライブに駆動されるハードディスクなどを用いることができる。本実施例に係る生体情報処理プログラムは、記憶装置103に記憶されている。インタフェース104は、処理部40と他の機器とのインタフェースである。
記憶装置103に記憶されている生体情報処理プログラムは、RAM102に展開される。CPU101は、RAM102に展開された生体情報処理プログラムを実行する。それにより、図2で例示する処理部40の各部が実現される。図2は、処理部40の各機能を表すブロック図である。図2で例示するように、処理部40は、接触判定部41、移動方向検出部42、移動量検出部43、画像取得部44、局所特徴抽出部45、特徴移動量検出部46、距離検出部47、距離情報記憶部48などとして機能する。さらに、処理部40は、生体情報検出部49、補正部50、照合部51、生体情報記憶部52、出力部53などとして機能する。
(登録処理)
以下、図3および図4(a)〜図4(e)を参照しつつ、登録処理について説明する。図3は、登録処理を表すフローチャートを例示する図である。登録処理は、ユーザの生体情報を生体テンプレートして生体情報記憶部52に予め記憶させる処理である。表示装置10がユーザに対する指示を表示することによって、ユーザは、画面11に対して指を接触させたまま手を移動させる。例えば、図4(a)で例示するように、ユーザは、画面11に対して中指を接触させる。次に、ユーザは、図4(b)で例示するように、画面11に対して中指を接触させたまま、表示装置10が指示する方向に指示する距離だけ手を画面11と平行に移動させる。
図3で例示するように、ユーザが指を接触させると、タッチセンサ20の検出結果に応じて接触判定部41が被測定体の接触を検出する。この被測定体の接触の検出をトリガーとして、移動方向検出部42は、タッチセンサ20の検出結果に応じて、接触領域の移動方向を検出する。移動量検出部43は、タッチセンサ20の検出結果に応じて接触領域の移動量の検出を行う(ステップS1)。例えばタッチセンサ20の出力がミリメートル(mm)で出力される場合は、接触領域の移動量(mm)が検出される。
画像取得部44は、接触判定部41による被測定体の接触検出と同期して、撮像装置30によって被測定体の画像取得を行う(ステップS2)。次に、局所特徴抽出部45は、画像取得部44が取得した画像から局所特徴の抽出を行う(ステップS3)。局所特徴とは、画像取得部44が取得した画像のうち局所的な生体特徴のことである。例えば、図4(c)で例示するように、局所特徴Fとして、手のひら掌紋の一部である特定のシワを用いる。例えば、局所特徴抽出部45は、相互相関法などに基づいたパターンマッチング、SIFT(Scale-invariant Feature Transform)、GLOH(Gradient Location and Orientation Histogram)、SURF(Speeded Up Robust Features)等を用いて局所特徴Fを抽出する。
次に、特徴移動量検出部46は、接触領域の移動開始からの局所特徴Fの移動量を、撮像装置30の画素の移動量(pix)として検出する(ステップS4)。特徴移動量検出部46は、図4(d)で例示するように、連続する局所特徴Fを特徴線として関連づけ、被測定体の移動中および移動後の最も信頼できる対となる特徴線の移動量(pix)を検出する。
次に、距離検出部47は、単位画素あたりの移動量(mm/pix)を距離パラメータとして検出する(ステップS5)。例えば、単位画素あたりの移動量は、移動量検出部43が検出する移動量(mm)と特徴移動量検出部46が検出する移動量(pix)との比を求めればよい。次に、距離検出部47は、当該比から、被測定体と撮像装置30との距離情報を検出する(ステップS6)。例えば、当該比に所定の係数を掛け合わせればよい。本実施例においては、距離パラメータと距離情報とは同じであるものとする。
次に、生体情報検出部49は、画像取得部44が取得した画像において、局所特徴よりも大きな範囲で生体情報を検出する(ステップS7)。例えば、生体情報として、手のひらの形状、しわ等を用いることができる。
次に、接触判定部41は、接触領域の移動が終了したか否かを判定する(ステップS8)。例えば、接触判定部41は、被測定体の接触が検知されなくなった場合に、接触領域の移動が終了したと判定する。ステップS8で「Yes」と判定された場合、画像取得部44による画像取得が終了する(ステップS9)。また、移動方向検出部42、移動量検出部43、局所特徴抽出部45、特徴移動量検出部46、距離検出部47、および生体情報検出部49の検出が終了する。距離検出部47によって検出された被測定体と撮像装置30との距離情報は、ユーザのIDと関連付けて距離情報記憶部48に記憶される。生体情報検出部49によって検出された生体情報は、ユーザのIDと関連付けて生体情報記憶部52に記憶される(ステップS10)。なお、ステップS8で「No」と判定された場合、ステップS1から再度実行される。
移動量検出部43の検出が終了すると、被測定体の移動開始から移動終了までの移動量d1r(mm)が得られる。特徴移動量検出部46の検出が終了すると、図4(d)で例示するように、被測定体の移動開始から移動終了までの撮像装置30の画素の移動量x1r(pix)が得られる。距離検出部47の検出が終了すると、図4(e)で例示するように、このd1r(mm)とx1r(pix)との比が、登録時の被測定体と撮像装置30との距離情報z1r(mm/pix)として検出される。なお、撮像装置30とタッチセンサ20とは互いに位置が固定されているため、被測定体と撮像装置30との距離情報を検出することは、タッチセンサ20と被測定体との距離情報を検出することにもなる。以上の処理により、登録処理が完了する。
(認証処理)
続いて、図5および図6(a)〜図6(g)を参照しつつ、認証処理について説明する。図5は、認証処理を表すフローチャートを例示する図である。認証処理は、撮像装置30によって取得された画像から検出されたユーザの生体情報と、生体情報記憶部52に予め記憶させた生体情報との照合が成功するか失敗するかを判定する処理である。例えば、両者の生体情報の類似度が閾値以上となる場合に、照合成功となる。
表示装置10がユーザに対する指示を表示することによって、ユーザは、画面11に対して指を接触させたまま手を移動させる。例えば、図6(a)で例示するように、ユーザは、画面11に対して中指を接触させる。次に、ユーザは、図6(b)で例示するように、画面11に対して中指を接触させたまま、表示装置10が指示する距離だけ手を画面11と平行に移動させる。一例として、表示装置10が指示する距離は、登録処理時の距離と同一である。
図5で例示するように、ユーザが指を接触させると、タッチセンサ20の検出結果に応じて接触判定部41が被測定体の接触を検知する。この被測定体の接触の検出をトリガーとして、接触判定部41は、タッチセンサ20の検出結果に応じて被測定体の接触を検出する。次に、ユーザが指を移動させると、移動方向検出部42は、タッチセンサ20の検出結果に応じて接触領域の移動方向を検出する。移動量検出部43は、タッチセンサ20の検出結果に応じて、接触領域の移動量(mm)を検出する(ステップS11)。以後の、ステップS12〜ステップS19は、図3のステップS2〜ステップS9と同様である。
図6(c)は、登録処理時に抽出された局所特徴である。図6(d)は、ステップS13で抽出された局所特徴である。登録処理時よりも認証処理時において被測定体が撮像装置30から離れていれば、光学的な特性に起因して、局所特徴は登録処理時よりも小さくなる。ステップS14では、接触領域の移動開始から移動停止までの局所特徴の移動量として、撮像装置30の画素の移動量x1c(pix)が検出される。図6(e)は、登録処理時の局所特徴の移動量x1r(pix)を例示する図である。図6(f)は、ステップS14で検出された移動量x1c(pix)を例示する図である。登録処理時よりも照合処理において被測定体が撮像装置30から離れていれば、光学的な特性に起因して、照合処理時の移動量x1c(pix)は登録処理時の移動量x1r(pix)よりも小さくなる。ステップS16では、このd1c(mm)とx1c(pix)との比が、照合時の被測定体と撮像装置30との距離情報z1c(mm/pix)として検出される。登録処理時よりも照合処理時において被測定体が撮像装置30から離れていれば、照合処理時の距離情報z1c(mm/pix)は、登録処理時の距離情報z1r(mm/pix)と比較して小さくなる。
ステップS19の実行後、補正部50は、距離情報記憶部48から登録時の距離情報z1r(mm/pix)を受け取る。次に、補正部50は、認証処理時の距離情報が登録処理時の距離情報に近づくように、ステップS17で検出された生体情報を拡大または縮小する(ステップS20)。すなわち、補正部50は、認証処理で得られた生体情報の倍率を登録処理で得られた生体情報の倍率に近づける。
次に、照合部51は、生体情報記憶部52に記憶されている生体情報と、ステップS20で補正された生体情報とを照合する(ステップS21)。例えば、照合部51は、生体情報記憶部52に記憶されている生体情報と、ステップS20で補正された生体情報との類似度が閾値以上であるかを判定する。次に、出力部53は、照合部51の照合結果を表示装置10に表示させる(ステップS22)。表示装置10は、上記類似度が閾値以上であれば、照合成功に係る情報を表示する。表示装置10は、上記類似度が閾値未満であれば、照合失敗に係る情報を表示する。
本実施例によれば、被測定体のタッチセンサ20に対する接触領域が移動した場合に、タッチセンサ20上での被測定体の移動量と、被測定体の画像における局所特徴の移動量とが取得される。両移動量を取得することで、撮像装置30と被測定体との距離を取得することができる。また、撮像装置30と被測定体との距離を取得することで、認証処理時に検出された生体情報を補正することができる。複数の撮像装置を用いなくてもよいため、コストを抑制することができる。なお、スマートフォンなどの、タッチパネルおよび撮像装置を備える機器を用いれば、新たな機器を設けなくてもよい。それにより、コストを抑制することができる。また、距離センサなどの光学的な機器を用いると、実装精度の影響を受けるため、正確な距離検知および正確な補正が困難となる。これに対して、タッチパネルを用いることで、距離検知光学系が省略される。すなわち、光学的な機器の実装精度の影響を抑制することができる。その結果、距離検知および補正の精度が向上する。
なお、本実施例においては、被測定体の画像から検出された生体情報を補正しているが、それに限られない。例えば、被測定体の画像を補正し、補正された画像から生体情報を検出してもよい。いずれの場合においても、被測定体の画像から得られる生体情報が補正されることになる。
また、生体情報記憶部52に記憶された生体情報を補正してもよい。例えば、登録処理時の距離が照合処理時の距離に近づくように、生体情報記憶部52に記憶された生体情報を拡大または縮小してもよい。すなわち、登録処理で得られた生体情報の倍率を照合処理で得られた生体情報の倍率に近づけてもよい。
(変形例1)
登録処理時と認証処理時との、絶対的(定量的)な距離の違いを検出してもよい。図7(a)は、寸法が明確な定規等を撮像装置30との撮影距離を変えて撮影した画像の例である。図7(a)の各画像は定規の部分画像である。撮影距離に応じて撮影される範囲が変わる。撮影距離とは、撮像装置30と被測定体との距離である。距離検出部47は、この画像より、各撮影距離に対する単位画素あたりの撮影範囲f(mm/pix)を求める。例えば、長辺方向の画素が640(pix)の撮像装置30を用い、撮像装置30のセンサ面の長辺方向に定規を合わせ、距離10(mm)で撮影した場合、定規の10.2(mm)の範囲を撮影できる。この場合、単位画素あたりの撮影範囲f(mm/pix)は、0.0159375となる。同様に距離50(mm)まで撮影し、画像より単位画素あたりの撮影範囲f(mm/pix)を求める。
図7(b)は、単位画素あたりの撮影範囲f(mm/pix)と撮影(被測定体)距離z(mm)の関係をまとめたものであり、これらの関係を距離情報記憶部48に距離情報として記憶させる。ここで、被測定体の移動をタッチセンサ20で検出しており、タッチセンサ20の出力がミリメートル(mm)であれば、各撮影距離における定規に置き換えることが可能となる。したがって、タッチセンサ20で得られた接触領域の移動量および撮像装置30が取得した画像から抽出した局所特徴の移動量と、距離情報記憶部48に記憶されている単位画素あたりの撮影範囲f(mm/pix)と撮影(被測定体)距離z(mm)との関係と、を関連づけることによって、絶対的(定量的)な距離を検出することが可能となる。例えば、図3のステップS6で、ステップS5で得られた距離情報から絶対的(定量的)な距離を検出することができる。また、図5のステップS16で、ステップS15で得られた距離情報から絶対的(定量的)な距離を検出することができる。
以上のように,タッチセンサ20で得られた接触領域の移動量および撮像装置30の画像から抽出した局所特徴の移動量、さらに距離情報記憶部48に格納される距離情報から絶対的(定量的)な距離を検出することが可能となる。
(変形例2)
局所特徴抽出部45は、少なくとも2つの局所特徴を抽出してもよい。少なくとも2つの局所特徴を抽出することで、距離検出部47は、撮像装置30と被測定体との距離に加えて、被測定体の傾きを検出することができる。少なくとも2つの局所特徴として、掌紋の少なくとも2本のシワを特徴線として用いることができる。被測定体の移動後にそれぞれの局所特徴の移動量を検出することにより、被測定体の各位置における撮像装置30との距離、すなわち傾きを検出することが可能となる。
図8(a)は、接触領域を移動させた場合の図である。図8(b)は、移動開始時に取得された2つの局所特徴F1,F2である。図8(c)は、移動中に取得された局所特徴F1,F2である。図8(d)は、移動終了時に取得された局所特徴F1,F2である。なお、局所特徴が手のひら掌紋の一部である特定のシワ部の場合は、連続する局所特徴を特徴線とする。
本変形例においては、補正部50は、局所特徴F1,F2のそれぞれについて、認証処理時の距離が登録処理時の距離に近づくように、被測定体の画像から検出される生体情報を拡大または縮小する。局所特徴F1および局所特徴F2以外の領域については、補間することができる。それにより、認証処理で得られた生体情報の倍率を登録処理で得られた生体情報の倍率に近づけることができる。本変形例については、複数箇所の局所特徴を用いて、被測定体の補正精度が向上する。
(変形例3)
変形例3では、変形例2と同様に、局所特徴抽出部45は、少なくとも2つの局所特徴を抽出する。本変形例においては、表示装置10は、ユーザに対して、画面11上での2方向以上の移動を指示する。例えば、表示装置10は、図9(a)で例示するように、回転移動を指示する。それにより、移動方向検出部42は接触領域の移動方向を検出し、移動量検出部43は接触領域の移動量を検出する。被測定体の移動後にそれぞれの局所特徴の移動量を検出することにより、被測定体の各位置における撮像装置30との距離、すなわち傾きを検出することが可能となる。図9(b)は、移動開始時に取得された3つの局所特徴F1,F2,F3である。図9(c)は、移動中に取得された局所特徴F1,F2,F3である。図9(d)は、移動終了時に取得された局所特徴F1,F2,F3である。なお、局所特徴が手のひら掌紋の一部である特定のシワ部の場合は、連続する局所特徴を特徴線とする。
局所特徴F1,F2,F3として、信頼できる連続性のある局所特徴を用いる。一例として、縦、横、斜めなどのシワを特徴線とする。複数の局所特徴を用いることで、生体の細分化された位置における各距離が検出できる。それにより、より精度の高い生体の距離および傾きが検出できるとともに、生体の凹凸情報の検出もあわせて可能となる。移動は、円以外に例えば一筆書き可能なアルファベット、数字、その他独自のパターンを用いてもよい。
(変形例4)
変形例4においては、撮像装置30として、カラーイメージセンサを用いる。カラーイメージセンサを用いることで、カラー情報を取得することができる。それにより、画像取得の高精度化が可能となる。その結果、手のひらや掌紋を検出しやすくなる。また、処理速度を向上させることができる。
(変形例5)
上記各例においては、図10(a)で例示するように、被測定体をタッチセンサ20に接触させたまま移動させた例について説明したが、それに限られない。例えば、図10(b)で例示するように、タッチセンサ20のいずれかの箇所に被測定体を接触させた時点を移動開始時点とし、被測定体をタッチセンサ20の他の箇所に接触しなおした時点を移動終了時点としてもよい。この場合、移動開始時点から移動終了時点までの間において被測定体はタッチセンサ20に接触していないが、タッチセンサ20上の移動量を検出することができる。また、移動開始時点において検出された局所特徴と、移動終了時点において検出された局所特徴との距離を取得することで、局所特徴の移動量を検出することができる。
図11(a)は、実施例2に係る生体情報処理装置100aの全体構成を例示する図である。図11(a)で例示するように、生体情報処理装置100aが生体情報処理装置100と異なる点は、近赤外光源60をさらに備える点である。また、撮像装置30として、近赤外イメージセンサを用いる。近赤外光は、生体表面の深い箇所まで光が浸透する。それにより、近赤外イメージセンサと共に用いることで、生体内部の例えば静脈情報を撮影することが可能となる。例えば、図11(b)で例示するように、表示装置10の枠線と画面11との間において、撮像装置30の近傍に近赤外光源60を配置してもよい。
本実施例においては、静脈情報を基として局所特徴を検出し、距離情報を検出することができる。図12(a)は、接触領域を移動させた場合の図である。図12(b)は、移動開始時に取得された静脈の局所特徴Fである。図12(c)は、移動中に取得された静脈の局所特徴Fである。図12(d)は、移動終了時に取得された静脈の局所特徴Fである。これにより、生体内部の情報による距離情報の取得、あるいは傾き情報の取得が可能となる。
上記各例において、タッチセンサ20が、タッチパネルに対する被測定体の接触箇所を検知する検知部の一例として機能する。撮像装置30が、被測定体を撮像する撮像装置の一例として機能する。局所特徴抽出部45が、撮像装置によって得られる被測定体の画像から生体特徴を抽出する抽出部の一例として機能する。補正部50が、検知部によって検知される接触箇所が移動した場合に、タッチパネル上での被測定体の移動量と、被測定体の画像における生体特徴の移動量とに基づいて、被測定体の画像から得られる生体情報を補正する補正部の一例として機能する。
距離検出部47が、被測定体のタッチパネルに対する接触箇所が移動した場合に、タッチパネル上での被測定体の移動量と、被測定体の画像における生体特徴の移動量とに基づいて、被測定体と撮像装置との距離情報を取得する取得部の一例として機能する。距離情報記憶部48が、タッチパネルに対して被測定体を所定距離移動させた場合の、撮像装置によって得られた画像内の生体特徴の移動量と、取得部によって取得された被測定体と撮像装置との距離情報と、の関係を予め記憶した記憶部の一例として機能する。生体情報記憶部52が、予め生体情報を記憶した生体情報記憶部の一例として機能する。照合部51が、補正部によって補正された生体情報と、生体情報記憶部に記憶された生体情報とを照合する照合部の一例として機能する。
以上、本発明の実施例について詳述したが、本発明は係る特定の実施例に限定されるものではなく、特許請求の範囲に記載された本発明の要旨の範囲内において、種々の変形・変更が可能である。
10 表示装置
20 タッチセンサ
30 撮像装置
40 処理部
41 接触判定部
42 移動方向検出部
43 移動量検出部
44 画像取得部
45 局所特徴抽出部
46 特徴移動量検出部
47 距離検出部
48 距離情報記憶部
49 生体情報検出部
50 補正部
51 照合部
52 生体情報記憶部
53 出力部
100 生体情報処理装置

Claims (11)

  1. タッチパネルに対する被測定体の接触箇所を検知する検知部と、
    前記被測定体を撮像する撮像装置と、
    前記撮像装置によって得られる前記被測定体の画像から生体特徴を抽出する抽出部と、
    前記検知部によって検知される前記接触箇所が移動した場合に、前記タッチパネル上での前記被測定体の移動量と、前記被測定体の画像における前記生体特徴の移動量とに基づいて、前記被測定体の画像から得られる生体情報を補正する補正部と、を備えることを特徴とする生体情報処理装置。
  2. 前記被測定体の前記タッチパネルに対する接触箇所が移動した場合に、前記タッチパネル上での前記被測定体の移動量と、前記被測定体の画像における前記生体特徴の移動量とに基づいて、前記被測定体と前記撮像装置との距離情報を取得する取得部を備え、
    前記補正部は、前記取得部が取得した距離情報を用いて、前記被測定体の画像から得られる情報を補正することを特徴とする請求項1記載の生体情報処理装置。
  3. 前記抽出部は、前記被測定体の画像から2箇所以上の生体特徴を抽出し、
    前記取得部は、前記2箇所以上の生体特徴の移動量に基づいて、前記被測定体と前記撮像装置との2つ以上の距離情報を取得し、
    前記補正部は、前記取得部が取得した2つ以上の距離情報を用いて、前記被測定体の画像から得られる生体情報を補正することを特徴とする請求項2記載の生体情報処理装置。
  4. 前記タッチパネルに対して被測定体を所定距離移動させた場合の、前記撮像装置によって得られた画像内の生体特徴の移動量と、前記取得部によって取得された前記被測定体と前記撮像装置との距離情報と、の関係を予め記憶した記憶部を備え、
    前記補正部は、前記取得部が取得した距離情報と、前記記憶部によって記憶された前記関係とに基づいて、前記被測定体の画像から得られる生体情報を補正することを特徴とする請求項2または3記載の生体情報処理装置。
  5. 予め生体情報を記憶した生体情報記憶部と、
    前記補正部によって補正された生体情報と、前記生体情報記憶部に記憶された生体情報とを照合する照合部と、を備えることを特徴とする請求項1〜4のいずれか一項に記載の生体情報処理装置。
  6. 前記生体情報記憶部が予め記憶した生体情報は、予め被測定体の前記タッチパネルに対する接触箇所が移動した場合における、前記被測定体の画像から得られる生体情報であって、前記タッチパネル上での前記被測定体の移動量と前記被測定体の画像における前記生体特徴の移動量との比と関連付けられており、
    前記補正部は、前記比と、前記タッチパネル上での前記被測定体の移動量と前記被測定体の画像における前記生体特徴の移動量との比に基づいて、前記被測定体の画像から得られる生体情報を補正することを特徴とする請求項5記載の生体情報処理装置。
  7. 前記被測定体に対して近赤外光を照射する光源を備え、
    前記抽出部は、皮下の生体特徴を抽出することを特徴とする請求項1〜6のいずれか一項に記載の生体情報処理装置。
  8. 前記被測定体は、手であり、
    前記タッチパネルに対して接触される部位は、指であり、
    前記撮像装置によって得られる前記被測定体の部位は、手のひらを含むことを特徴とする請求項1〜7のいずれか一項に記載の生体情報処理装置。
  9. タッチパネルに対する被測定体の接触箇所を検知部が検知し、
    前記被測定体を撮像装置が撮像し、
    前記撮像装置によって得られる前記被測定体の画像から生体特徴を抽出部が抽出し、
    前記検知部によって検知される前記接触箇所が移動した場合に、前記タッチパネル上での前記被測定体の移動量と、前記被測定体の画像における前記生体特徴の移動量とに基づいて、前記被測定体の画像から得られる生体情報を補正部が補正する、ことを特徴とする生体情報処理方法。
  10. コンピュータに、
    タッチパネルに対する被測定体の接触箇所を検知する処理と、
    前記被測定体を撮像する処理と、
    撮像によって得られる前記被測定体の画像から生体特徴を抽出する処理と、
    検知された前記接触箇所が移動した場合に、前記タッチパネル上での前記被測定体の移動量と、前記被測定体の画像における前記生体特徴の移動量とに基づいて、前記被測定体の画像から得られる生体情報を補正する処理と、を実行させることを特徴とする生体情報処理プログラム。
  11. タッチパネルに対する被測定体の接触箇所を検知する検知部と、
    前記被測定体を撮像する撮像装置と、
    前記撮像装置によって得られる前記被測定体の画像から生体特徴を抽出する抽出部と、
    前記被測定体の前記タッチパネルに対する接触箇所が移動した場合に、前記タッチパネル上での前記被測定体の移動量と、前記被測定体の画像における前記生体特徴の移動量とに基づいて、前記撮像装置と前記被測定体との距離を取得する取得部と、を備えることを特徴とする距離検知装置。
JP2016017531A 2016-02-01 2016-02-01 生体情報処理装置、生体情報処理方法、生体情報処理プログラム、および距離検知装置 Active JP6583025B2 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
JP2016017531A JP6583025B2 (ja) 2016-02-01 2016-02-01 生体情報処理装置、生体情報処理方法、生体情報処理プログラム、および距離検知装置
US15/411,762 US10068119B2 (en) 2016-02-01 2017-01-20 Biometric information process device, biometric information process method, computer-readable non-transitory medium and distance detection device
EP17152797.1A EP3200126B1 (en) 2016-02-01 2017-01-24 Biometric information process device, biometric information process method and biometric information process program
US16/057,358 US20180349670A1 (en) 2016-02-01 2018-08-07 Biometric information process device, biometric information process method, computer-readable non-transitory medium and distance detection device

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2016017531A JP6583025B2 (ja) 2016-02-01 2016-02-01 生体情報処理装置、生体情報処理方法、生体情報処理プログラム、および距離検知装置

Publications (2)

Publication Number Publication Date
JP2017136136A true JP2017136136A (ja) 2017-08-10
JP6583025B2 JP6583025B2 (ja) 2019-10-02

Family

ID=57909460

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2016017531A Active JP6583025B2 (ja) 2016-02-01 2016-02-01 生体情報処理装置、生体情報処理方法、生体情報処理プログラム、および距離検知装置

Country Status (3)

Country Link
US (2) US10068119B2 (ja)
EP (1) EP3200126B1 (ja)
JP (1) JP6583025B2 (ja)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2019101745A (ja) * 2017-12-01 2019-06-24 富士通株式会社 生体画像処理装置、生体画像処理方法、及び生体画像処理プログラム
EP3518144A1 (en) 2018-01-30 2019-07-31 Fujitsu Limited Biometric authentication apparatus and biometric authentication method
EP3550459A1 (en) 2018-04-02 2019-10-09 Fujitsu Limited Apparatus, method, and program for biometric image processing

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10713458B2 (en) 2016-05-23 2020-07-14 InSyte Systems Integrated light emitting display and sensors for detecting biologic characteristics
US10931859B2 (en) 2016-05-23 2021-02-23 InSyte Systems Light emitter and sensors for detecting biologic characteristics

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US68119A (en) * 1867-08-27 Improved apparatus foe supplying gases to furnaces
JP4169185B2 (ja) * 2002-02-25 2008-10-22 富士通株式会社 画像連結方法、プログラム及び装置
EP1612717B1 (en) 2004-06-28 2009-09-02 Fujitsu Limited Biometric authentication system and registration method
JP2007236610A (ja) 2006-03-08 2007-09-20 Sony Ericsson Mobilecommunications Japan Inc 静脈認証装置及び静脈認証方法
JP5293950B2 (ja) * 2008-03-04 2013-09-18 株式会社リコー 個人認証装置及び電子機器
JP4748257B2 (ja) 2008-08-04 2011-08-17 ソニー株式会社 生体認証装置
JP2010240215A (ja) 2009-04-07 2010-10-28 Sony Corp 静脈深度判定装置、静脈深度判定方法およびプログラム
JP5451540B2 (ja) * 2009-10-16 2014-03-26 日立オムロンターミナルソリューションズ株式会社 生体認証装置および生体認証方法
JP5297997B2 (ja) * 2009-12-21 2013-09-25 株式会社日立メディアエレクトロニクス 個人認証装置及び移動通信端末
JP5584578B2 (ja) * 2010-10-08 2014-09-03 富士通株式会社 生体情報登録・認証装置及びその登録・認証方法
US8938787B2 (en) * 2010-11-29 2015-01-20 Biocatch Ltd. System, device, and method of detecting identity of a user of a mobile electronic device
CN105144228B (zh) 2013-04-26 2018-07-06 富士通株式会社 图像处理方法以及信息终端
JP6111921B2 (ja) 2013-07-25 2017-04-12 富士通株式会社 撮像装置および撮像方法
CN105320866A (zh) * 2014-07-25 2016-02-10 南京瀚宇彩欣科技有限责任公司 无挡触控的手持式电子装置及其解锁方法

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2019101745A (ja) * 2017-12-01 2019-06-24 富士通株式会社 生体画像処理装置、生体画像処理方法、及び生体画像処理プログラム
JP7092984B2 (ja) 2017-12-01 2022-06-29 富士通株式会社 生体画像処理装置、生体画像処理方法、及び生体画像処理プログラム
EP3518144A1 (en) 2018-01-30 2019-07-31 Fujitsu Limited Biometric authentication apparatus and biometric authentication method
US10896250B2 (en) 2018-01-30 2021-01-19 Fujitsu Limited Biometric authentication apparatus and biometric authentication method
EP3550459A1 (en) 2018-04-02 2019-10-09 Fujitsu Limited Apparatus, method, and program for biometric image processing
US11227139B2 (en) 2018-04-02 2022-01-18 Fujitsu Limited Apparatus, method, and program for biometric image processing

Also Published As

Publication number Publication date
EP3200126A3 (en) 2017-08-30
EP3200126A2 (en) 2017-08-02
US20180349670A1 (en) 2018-12-06
US10068119B2 (en) 2018-09-04
US20170220841A1 (en) 2017-08-03
EP3200126B1 (en) 2023-08-02
JP6583025B2 (ja) 2019-10-02

Similar Documents

Publication Publication Date Title
JP6583025B2 (ja) 生体情報処理装置、生体情報処理方法、生体情報処理プログラム、および距離検知装置
KR101857287B1 (ko) 제스처 기반 바이오메트릭 시스템의 방법 및 장치
KR100775409B1 (ko) 생체 정보 입력 장치, 생체 인증 장치, 생체 정보 처리방법, 생체 정보 처리 프로그램을 기록한 컴퓨터 판독가능한 기록 매체
JP6369078B2 (ja) 画像補正装置、画像補正方法及び画像補正用コンピュータプログラム
KR20170099838A (ko) 지문 인식의 실시간 검증을 위한 도구인 모빌리티가 부여된 생체인증 장치
KR101603469B1 (ko) 생체 인증 장치, 생체 인증 방법 및 생체 인증용 컴퓨터 프로그램
JP6467852B2 (ja) 生体情報補正装置、生体情報補正方法及び生体情報補正用コンピュータプログラム
JP6111921B2 (ja) 撮像装置および撮像方法
JP2011191838A (ja) 指静脈認証装置
WO2013161077A1 (ja) 生体認証装置、生体認証プログラム及び生体認証方法
JP6988523B2 (ja) 生体認証装置、生体認証プログラム、及び生体認証方法
JP5254897B2 (ja) 手画像認識装置
JP6617570B2 (ja) 生体認証装置、生体認証方法、および生体認証プログラム
JP6825397B2 (ja) 生体認証装置、生体認証方法及び生体認証プログラム
JP2018026012A (ja) 手のひら検知装置、掌紋認証装置、手のひら検知方法、及びプログラム
EP3364339B1 (en) Device, method, and non-transitory computer-readable storage medium for biometric authentication
CN111199533A (zh) 图像处理装置
JP2006330872A (ja) 指紋照合装置、方法およびプログラム
JP4188342B2 (ja) 指紋照合装置、方法およびプログラム
JP6364828B2 (ja) 生体認証装置および携帯型電子装置
US20200285724A1 (en) Biometric authentication device, biometric authentication system, and computer program product
KR101660596B1 (ko) 안면 형상 기울기 보정 방법 및 보정 시스템
US20160188856A1 (en) Authentication device, authentication method, and non-transitory computer readable medium
US10643317B2 (en) Biometric image processing device, biometric image processing method and computer-readable non-transitory medium
JP7092984B2 (ja) 生体画像処理装置、生体画像処理方法、及び生体画像処理プログラム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20181011

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20190617

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20190806

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20190819

R150 Certificate of patent or registration of utility model

Ref document number: 6583025

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150