CN101052989B - 图像处理装置以及掩模作成方法 - Google Patents

图像处理装置以及掩模作成方法 Download PDF

Info

Publication number
CN101052989B
CN101052989B CN2006800011724A CN200680001172A CN101052989B CN 101052989 B CN101052989 B CN 101052989B CN 2006800011724 A CN2006800011724 A CN 2006800011724A CN 200680001172 A CN200680001172 A CN 200680001172A CN 101052989 B CN101052989 B CN 101052989B
Authority
CN
China
Prior art keywords
mentioned
pixel
line
edge
row
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CN2006800011724A
Other languages
English (en)
Other versions
CN101052989A (zh
Inventor
阿部博
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Co Mo Fillia
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Publication of CN101052989A publication Critical patent/CN101052989A/zh
Application granted granted Critical
Publication of CN101052989B publication Critical patent/CN101052989B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/12Edge-based segmentation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00General purpose image data processing
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00Geometric image transformations in the plane of the image
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/20Image preprocessing
    • G06V10/26Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/40Extraction of image or video features
    • G06V10/46Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/12Fingerprints or palmprints
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/14Vascular patterns
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10048Infrared image
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30004Biomedical image processing
    • G06T2207/30101Blood vessel; Artery; Vein; Vascular
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30196Human being; Person

Landscapes

  • Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Human Computer Interaction (AREA)
  • Vascular Medicine (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)
  • Image Input (AREA)

Abstract

提供一种能够以简单的处理来作成掩模处理的图像处理装置和掩模作成方法以及在这种图像处理装置中执行的程序。提取图像的边缘,从提取了边缘的图像中提取对应于被摄体轮廓的像素的列,根据其近似线获取用于掩模处理的边界线。

Description

图像处理装置以及掩模作成方法
技术领域
本发明涉及一种作成当从图像中切出规定的被摄体像时所使用的掩模的图像处理装置及其掩模作成方法以及程序。
本发明涉及一种作成例如当从为了进行生物体认证而拍摄的图像中切出生物体的像时所使用的掩模的图像处理装置。
背景技术
随着利用了网络的信息通信的发展,需要安全性更高的个人认证系统。
生物测定学认证(生物体认证)具有如下优越的特征:由于根据从人物的身体特征例如指纹、声波纹、视网膜、手指的静脉图案等得到的信息来判断该人物是否是登记者本人,因此可大幅度降低他人冒充本人的情况。
特开2004-329825号公报公开了如下装置,该装置照射近红外光来拍摄手指血管的图案,将它与预先登记的血管图案进行对照来认证个人。
在利用血管图案来认证个人的情况下,通常通过利用适当的图像滤波器来处理摄像图像而突出血管的外形,使得容易识别其特征。此时,由于认证中不需要的部分例如装置、背景等也同样地被突出,因此那样的话有可能将不需要的部分误认为血管。
因此通常进行从摄像图像中只切出认证所需的被摄体的掩模处理。
在特开2005-56282号公报中所记载的装置中,作成表示包含在摄像图像中的各像素值的像素数量的直方图,根据该直方图获取将被摄体与背景部分进行区分的阈值,并使用该阈值对摄像图像进行2值化,由此作成掩模。
发明内容
发明要解决的问题
通常在使用阈值来对图像进行2值化的方法中,适当切出被摄体的阈值根据照射被摄体的光线强度、背景亮度、被摄体的光透射率等条件而发生变化。因此,如在特开2005-56282号公报中所记载的装置那样,需要根据摄像图像来设定阈值,处理变得复杂。
基于以上情况,希望提供一种通过简单的处理可作成掩模的图像处理装置和掩模作成方法以及在这种图像处理装置中执行的程序。
用于解决问题的方案
本发明的第1实施方式涉及作成从图像中切出规定被摄体的像的掩模的图像处理装置,该图像处理装置具有:边缘提取部,其提取上述图像的边缘;像素提取部,其从在上述边缘提取部中提取出的边缘中提取第1像素的列和第2像素的列,其中,上述第1像素的列包含在与通过上述被摄体的像的内部地设定在上述图像的平面上的第1基准直线相接的第1区域中,位于在上述图像的平面上设定的平行的多个第2基准直线上,且在上述多个第2基准直线的各个上最接近上述第1基准直线;上述第2像素的列包含在上述第1区域的相反侧的与上述第1基准直线相接的第2区域中,位于上述多个第2基准直线上,且在上述多个第2基准直线的各个上最接近上述第1基准直线;第1中间点提取部,其提取中间点的列,该中间点的列在上述多个第2基准直线的各个上位于上述第1像素与上述第2像素之间,且离该第1像素的距离与离该第2像素的距离具有规定的比;划分部,其将在上述第1中间点提取部中提取出的中间点的列划分为相邻的中间点彼此在规定距离内的至少一个区间;近似线获取部,其根据形成由上述划分部划分的最长区间的中间点,获取在上述第1中间点提取部中提取出的中间点的列的近似线;第2中间点提取部,其提取在上述第1中间点提取部中提取出的中间点之中与在上述近似线获取部中获取的近似线之间的误差在规定范围内的中间点的列;以及第1边界线获取部,其根据与在上述第2中间点提取部中提取出的中间点的列位于相同的第2基准直线上的第1像素的列的近似线,获取上述掩模的第1边界线,根据位于该第2基准直线上的第2像素的列的近似线,获取上述掩模的第2边界线。
本发明的第2实施方式涉及作成从图像中切出规定被摄体的像的掩模的图像处理装置,该图像处理装置具有:边缘提取部,其提取上述图像的边缘;第1像素提取部,其从在上述边缘提取部中提取出的边缘中提取如下像素的列,所述像素的列包含在与通过上述被摄体的像的内部地设定在上述图像的平面上的第1基准直线相接的两个区域中的一方,位于在上述图像的平面上设定的平行的多个第2基准直线上,且在上述多个第2基准直线的各个上最接近上述第1基准直线;划分部,其将在上述第1像素提取部中提取出的像素的列划分为相邻的像素彼此在规定距离内的至少一个区间;近似线获取部,其根据形成由上述划分部划分的最长区间的像素,获取在上述第1像素提取部中提取出的像素的列的近似线;第2像素提取部,其提取在上述第1像素提取部中提取出的像素之中与在上述近似线获取部中获取的近似线之间的误差在规定范围内的像素的列;以及第1边界线获取部,其根据在上述第2像素提取部中提取出的像素的列的近似线,获取上述掩模的第1边界线。
在上述第2实施方式的图像处理装置中,最好还可以具有第2边界线获取部,该第2边界线获取部使由平行的两个边夹着的带状区域相对于上述第2基准直线平行地移动,在其移动的各位置上对包含在该区域中的由上述边缘提取部提取的边缘的像素数量进行计数,在该计数值最大的位置上根据包含在该区域中的与上述边平行的线,获取上述掩模的第2边界线。
另外,最好也可以将上述获取的第2边界线设定为上述第1基准直线。
本发明的第3实施方式涉及作成从图像中切出规定被摄体的像的掩模的掩模作成方法,该掩模作成方法具有:第1工序,提取上述图像的边缘;第2工序,从在上述第1工序中提取出的边缘中提取第1像素的列和第2像素的列,其中,所述第1像素的列包含在与通过上述被摄体的像的内部地设定在上述图像的平面上的第1基准直线相接的第1区域中,位于在上述图像的平面上设定的平行的多个第2基准直线上,且在上述多个第2基准直线的各个上最接近上述第1基准直线;所述第2像素的列包含在上述第1区域的相反侧的与上述第1基准直线相接的第2区域中,位于上述多个第2基准直线上,且在上述多个第2基准直线的各个上最接近上述第1基准直线;第3工序,提取中间点的列,该中间点的列在上述多个第2基准直线的各个上位于上述第1像素与上述第2像素之间,且离该第1像素的距离与离该第2像素的距离具有规定的比;第4工序,将在上述第3工序中提取出的中问点的列划分为相邻的中间点彼此在规定距离内的一个或者多个区间;第5工序,根据形成由上述第4工序划分的最长区间的中间点,获取在上述第3工序中提取出的中间点的列的近似线;第6工序,提取在上述第3工序中提取出的中间点之中与在上述第5工序中获取的近似线之间的误差在规定范围内的中间点的列;以及第7工序,根据与在上述第6工序中提取出的中间点的列位于相同的第2基准直线上的第1像素的列的近似线,获取上述掩模的第1边界线,根据位于该第2基准直线上的第2像素的列的近似线,获取上述掩模的第2边界线。
本发明的第4实施方式是作成从图像中切出规定被摄体的像的掩模的掩模作成方法,具有:第1工序,提取上述图像的边缘;第2工序,从在上述第1工序中提取出的边缘中提取第1像素的列,其中所述第1像素的列包含在与通过上述被摄体的像的内部地设定在上述图像的平面上的第1基准直线相接的两个区域中的一方,位于在上述图像的平面上设定的平行的多个第2基准直线上,且在上述多个第2基准直线的各个上最接近上述第1基准直线;第3工序,将在上述第2工序中提取出的第1像素的列划分为相邻的第1像素彼此在规定距离内的至少一个区间;第4工序,根据形成由上述第3工序划分的最长区间的第1像素,获取在上述第2工序中提取出的第1像素的列的近似线;第5工序,提取在上述第2工序中提取出的第1像素之中与在上述第4工序中获取的近似线之间的误差在规定范围内的第1像素的列;以及第6工序,根据在上述第5工序中提取出的第1像素的列的近似线,获取上述掩模的第1边界线。
在与上述第4实施方式有关的掩模作成方法中,最好还可以具有第7工序,在该第7工序中,使由平行的两个边夹着的带状区域相对于上述第2基准直线平行地移动,在其移动的各位置上对包含在该区域中的由上述第1工序提取出的边缘的像素数量进行计数,在该计数值成为最大的位置上根据包含在该区域中的与上述边平行的线,获取上述掩模的第2边界线。
另外,最好也可以将上述获取的第2边界线设定为上述第1基准直线。
本发明的第5实施方式涉及用于作成从图像中切出规定被摄体的像的掩模的、具有计算机的图像处理装置的程序。本发明的程序使上述图像处理装置执行如下的步骤:第1步骤,提取上述图像的边缘;第2步骤,从在上述第1步骤中提取出的边缘中提取第1像素的列和第2像素的列,其中,所述第1像素的列包含在与通过上述被摄体的像的内部地设定在上述图像的平面上的第1基准直线相接的第1区域中,位于在上述图像的平面上设定的平行的多个第2基准直线上,且在上述多个第2基准直线的各个上最接近上述第1基准直线;所述第2像素的列包含在上述第1区域的相反侧的与上述第1基准直线相接的第2区域中,位于上述多个第2基准直线上,且在上述多个第2基准直线的各个上最接近上述第1基准直线;第3步骤,提取中间点的列,所述中间点的列在上述多个第2基准直线的各个上位于上述第1像素与上述第2像素之间,且离该第1像素的距离与离该第2像素的距离具有规定的比;第4步骤,将在上述第3步骤中提取出的中间点的列划分为相邻的中间点彼此在规定距离内的至少一个区间;第5步骤,根据形成由上述第4步骤划分的最长区间的中间点,获取在上述第3步骤中提取出的中间点的列的近似线;第6步骤,提取在上述第3步骤中提取出的中间点之中与在上述第5步骤中获取的近似线之间的误差在规定范围内的中间点的列;以及第7步骤,根据与在上述第6步骤中提取出的中间点的列位于相同的第2基准直线上的第1像素的列的近似线,获取上述掩模的第1边界线,根据位于该第2基准直线上的第2像素的列的近似线,获取上述掩模的第2边界线。
本发明的第6实施方式涉及用于作成从图像中切出规定被摄体的像的掩模的、具有计算机的图像处理装置的程序。本发明的程序使上述图像处理装置执行如下的步骤:第1步骤,提取上述图像的边缘;第2步骤,从在上述第1步骤中提取出的边缘中提取第1像素的列,其中所述第1像素的列包含在与通过上述被摄体的像的内部地设定在上述图像的平面上的第1基准直线相接的两个区域中的一方,位于在上述图像的平面上设定的平行的多个第2基准直线上,且在上述多个第2基准直线的各个上最接近上述第1基准直线;第3步骤,将在上述第2步骤中提取出的第1像素的列划分为相邻的第1像素彼此在规定距离内的至少-个区间;第4步骤,根据形成由上述第3步骤划分的最长区间的第1像素,获取在上述第2步骤中提取出的第1像素的列的近似线;第5步骤,提取在上述第2步骤中提取出的第1像素之中与在上述第4步骤中获取的近似线之间的误差在规定的范围内的第1像素的列;以及第6步骤,根据在上述第5步骤中提取出的第1像素的列的近似线,获取上述掩模的第1边界线。
在与上述第6实施方式有关的程序中,最好还可以使上述图像处理装置执行第7步骤,在该第7步骤中,使由平行的两个边夹着的带状的区域相对于上述第2基准直线平行地移动,在其移动的各位置上对包含在该区域中的由上述第1步骤提取出的边缘的像素数量进行计数,在该计数值成为最大的位置上根据包含在该区域中的与上述边平行的线,获取上述掩模的第2边界线。
另外,最好也可以将上述获取的第2边界线设定为上述第1基准直线。
发明的效果
根据本发明,可提供能够以简单的处理来作成掩模的图像处理装置和掩模作成方法以及程序。
附图说明
图1是表示与本发明的实施方式有关的图像处理装置的结构的一例的图。
图2的(A)、(B)是表示通过滤波等的处理提取出包含在摄像图像中的血管的像的中间图像的一例的图。
图3的(A)、(B)是表示在掩模作成部中作成的掩模和使用它进行了掩模处理的中间图像的一例的图。
图4的(A)~(C)是表示对摄像图像实施了边缘强调处理的结果的第1例的图。
图5的(A)~(C)是表示对摄像图像实施了边缘强调处理的结果的第2例的图。
图6的(A)、(B)是表示从图4的(A)~(C)、图5的(A)~(C)所示的摄像图像中切出被摄体的掩模的示例的图。
图7的(A)~(C)是表示利用图6的(B)所示的掩模从图5的(B)所示的边缘强调处理后的图像中切出被摄体的内部的示例的图。
图8的(A)~(D)是表示在摄像图像中包含规定的被摄体的情况和不包含规定的被摄体的情况的一例的图。
图9是将图8的(C)所示的包含被摄体的摄像图像中的像素值的分布与图8的(D)所示的不包含被摄体的摄像图像中的像素值的分布进行比较的图。
图1O的(A)~(D)是在边缘强调处理后的图像中比较将阈值以下的像素值设为0的情况与不设为0的情况的图。
图11是在图10所示的图像中比较将规定的阈值以下的像素值设为0的情况下的评价值与不设置阈值的情况下的评价值的图。
图12是表示与第1实施方式有关的掩模作成部的结构的一例的图。
图13是表示与第1实施方式有关的图像处理装置中的掩模的作成动作的-例的流程图。
图14的(A)、(B)是表示由边缘提取部边缘提取的图像的一例的图。
图15是表示对图14的(A)、(B)所示的边缘提取后的图像进行的中间点的提取处理的一例的图。
图16是表示图15所示的中间点的列通过划分部被划分为连续区间的例的图。
图17的(A)、(B)是表示对中间点进行插值的近似线的一例的第1图。
图18的(A)、(B)是表示对中间点进行插值的近似线的一例的第2图。
图19是表示将x坐标设为变量的手指宽度的近似函数的一例的图。
图20的(A)、(B)是表示在边界线获取部中所获取的掩模的边界线的一例的图。
图21白勺(A)~(C)是用于说明获取左右边界线的处理的图。
图22是表示与第2实施方式有关的图像处理装置中的掩模生成部的结构的一例的图。
图23是表示与第2实施方式有关的图像处理装置中的掩模作成动作的一例的流程图。
图24的(A)、(B)是表示包含了摄像装置与被摄体的接触面的摄像图像及其边缘提取后的图像的一例的图。
图25的(A)、(B)是表示每个边缘像素的y坐标的分布例的图。
图26的(A)、(B)是图解了进行边缘像素计数的区域的示例的图。
图27的(A)、(B)是表示使图26的(A)、(B)所示的区域相对于y轴平行移动的同时对包含在该区域内的边缘像素进行计数的结果的一例的图。
图27的(A)、(B)是表示在与第2实施方式有关的图像处理装置中获取掩模的下侧边界线的示例的图。
附图标记说明
10:控制部;20:光源;30:光学系统;40:摄像部;50:操作部;60:存储部;101:图像获取部;102:掩模作成部;103:区域确定部;104:边缘强调部;105:评价值获取部;106:判断部;107:登记部;108:对照部;109:显示处理部;201、211:边缘提取部;202、213、216:像素提取部;203:中间点提取部;204、214:划分部;205、215:近似线获取部;206:中间点提取部;207、208、212、217、218:边界线获取部;209、219:掩模生成部。
具体实施方式
第1实施方式
图1是表示与本发明的实施方式有关的图像处理装置1的结构的一例的图。
图像处理装置1具有控制部10、光源20、光学系统30、摄像部40、操作部50、存储部60。
光源20产生照射被摄体FG、例如在图1的示例中照射人的手指的光线。该光线是例如具有600nm~1300nm左右波长的近红外线,具有对人体组织的透射性比较高、且特别地被血中的血红蛋白吸收的性质。光源20例如由发光二极管、卤素灯等构成。
光学系统30将透射被摄体FG的光导入到摄像部40的受光面。在投影到摄像部40的受光面上的被摄体FG的像中,血管越粗的部分越暗。
摄像部40拍摄投影到受光面上的被摄体FG的像,并转换为图像数据而输出到控制部10。摄像部40例如由CCD(charge coupleddevice:电荷耦合器件)、CMOS(complementary metal oxidesemiconductor:互补金属氧化物半导体)传感器等的摄像元件构成。
控制部10进行图像处理装置的整体动作的控制、各种信号处理。例如,根据从操作部50输入的用户的指示来控制光源20中的光线的产生、摄像部40中的图像的拍摄等。另外,进行如下处理:从在摄像部40中拍摄到的图像中切出被摄体的掩模处理、将根据摄像图像作成的血管图案的信息(模板)登记到存储部60的处理、将摄像图像与模板进行对照的处理等与生物体认证有关的各种图像处理。
控制部10例如由计算机构成,根据保存在存储部60中的程序PRG来执行上述控制、信号处理。
操作部50是用于输入用户指示的接口,例如由键、按钮、拨号盘(dial)、触摸面板、鼠标等输入设备构成。
在由计算机实现控制部10的情况下,存储部6O存储由该计算机执行的程序PRG、模板DAT。另外,存储控制部10的处理中所利用的常数数据、在处理过程中需要临时保持的变量数据等。
存储部60例如由RAM(random access memory:随机存取存储器)、ROM(readonlymemory:只读存储器)、非易失性存储器、硬盘等存储装置构成。
说明控制部10的各结构要素。
控制部10作为与图像处理有关的功能结构要素,具有图像获取部101、掩模作成部102、区域确定部103、边缘强调部104、评价值获取部105、判断部106、登记部107、对照部108。
区域确定部103是本发明的区域确定部以及区域确定单元的一个实施方式。
边缘强调部104是本发明的边缘强调部以及边缘强调单元的一个实施方式。
评价值获取部105是本发明的评价值获取部以及评价值获取单元的一个实施方式。
判断部106是本发明的判断部以及判断单元的一个实施方式。
图像获取部
图像获取部101依次获取在摄像部40中拍摄到的图像。即,当根据从操作部50输入的指示来开始模板的登记处理、对照处理时,图像获取部101通过控制光源20、摄像部40的动作,向被摄体FG照射近红外线,并拍摄该投影图像,取入摄像图像数据。
掩模作成部
掩模作成部102作成用于从在图像获取部101中取入的摄像图像中切出被摄体FG的掩模。
图2的(A)、(B)是表示通过滤波等处理提取出包含在摄像图像中的血管的像的中间图像的一例的图。图2的(A)表示原始的摄像图像,图2的(B)表示其中间图像。
当参照图2的(B)时,在手指部分血管的像确实被较粗地提取,但是在除此之外的部分(手指的轮廓、背景等)中也与血管同样地提取了像。虽然还考虑利用之后的处理来除去这种不需要的像的方法,但是在这种情况下,当根据背景而提取的像发生变化或者血管像与除此之外的像的特征几乎相等时,难以只除去不需要的像。而且,如果留下不需要的像而直接进行处理,则由于必须始终对整个图像进行处理,因此计算量变多。
图3的(A)、(B)是表示在掩模作成部102中作成的掩模和使用它进行了掩模处理的中间图像的一例的图。图3的(A)表示所作成的掩模,图3的(B)表示进行了掩模处理的中间图像。
如图3的(A)、(B)所示,通过实施掩模处理,可除去手指的轮廓、背景等不是血管的部分的信息。另外,由于通过掩模处理切出的区域是已知的,因此对进行了掩模处理的中间图像实施滤波等处理时,只要处理整个图像之中必要的部分即可。因此,与处理整个图像的情况相比,可减少计算量。
关于掩模作成部102的更详细的结构,将参照图12进行说明。
边缘强调部
边缘强调部104强调在图像获取部101中取入的摄像图像的边缘。
在图像的边缘强调中,例如使用高斯滤波器(ガウシアソフイルタ)、拉普拉斯滤波器等图像滤波器。即,利用高斯滤波器除去包含在图像中的噪声成分之后,利用拉普拉斯滤波器来强调像素值的变化。由此,除去包含在图像中的点状的噪声成分,强调线状的边缘成分。
图4的(A)、(B)、(C)是表示对被摄体FG的摄像图像实施了上述高斯滤波器和拉普拉斯滤波器的边缘强调处理的结果的第1例的图。
图4的(A)表示边缘强调处理前的图像,图4的(B)表示边缘强调处理后的图像。图4的(C)是表示对图4的(B)所示的图像的像素值进行三维图解的图。
从图4的(A)、(B)、(C)的示例可知,当对在摄像部40中拍摄到的图像实施边缘强调处理时,手指的血管(尤其是静脉)部分的像素值与其它部分相比突出。
图4的(A)所示的边缘强调处理前的图像和图4的(B)、(C)所示的边缘强调处理后的图像都具有没有正负符号的8比特的像素值。
在利用高斯滤波器和拉普拉斯滤波器对具有8比特的像素值的图像进行了处理的情况下,该处理后的像素值有可能成为超过8比特的值。但是,在图4的(B)、(C)的示例中,由于将处理后的像素值限制为8比特,因此图4的(A)所示的原始图像的血管与图4的(B)所示的边缘强调处理后的图像的血管在其视觉强度上不太一致。即,不论是又细又淡的血管还是又粗又浓的血管,在边缘强调处理后的图像中都成为大致相同的强度。
与此相对,图5的(A)、(B)、(C)是表示实施了由高斯滤波器和拉普拉斯滤波器进行的同样的边缘强调处理的结果的第2例的图,与图4的(A)、(B)、(C)所示的第1例的区别是取消了边缘强调处理后的像素值的比特限制。
图5的(A)表示边缘处理前的图像,图5的(B)、(C)表示边缘处理后的图像。
将图4的(A)、(B)、(C)与图5的(A)、(B)、(C)进行比较可知,在取消了像素值的比特限制的情况下,原始图像中的浓淡区别被灵敏地表现在边缘强调处理后的图像中,浓的血管的像素值变大,淡的血管的像素值变小。
为了在判断部106中正确地判断利用由掩模作成部102作成的掩模是否切出了生物体认证处理中所期望的血管的像,最好在评价值获取部105中获取正确地反映了血管浓淡的评价值Ev。
因此,边缘强调部104取消例如如图4的(A)、(B)、(C)的图像所示的比特限制,将边缘强调处理后的像素值的比特长设定为适当的长度。由此,将如图5的(A)、(B)、(C)所示的灵敏地表示血管浓淡区别的图像提供给评价值获取部105。
但是,当取消边缘强调处理后的像素值的比特限制时,如上所述得到正确地反映了血管浓淡的图像,另一方面,如图5的(B)、(C)所示,导致还强调不需要作为模板的手指的轮廓部分的边缘。尤其在被摄体FG的背景较亮的情况下,导致轮廓表现得强于血管。当过于强调轮廓时,假设作成沿着轮廓正确地切取被摄体FG的掩模,也由于轮廓的影响涉及到轮廓内侧的部分,因此导致评价值Ev的可靠性降低。
因此,在下面叙述的区域确定部103中,作成切出比手指的轮廓确实地靠内侧的区域的掩模,使得在排除了轮廓部分的影响的状态下获取评价值Ev。
区域确定部
区域确定部103确定比在掩模作成部102中作成的掩模更靠内侧的区域,作成从边缘强调处理后的图像中切出该确定的区域的评价值获取用的掩模。
图6的(A)、(B)是表示从图4的(A)、(B)、(C)、图5的(A)、(B)、(C)所示的摄像图像中确定被摄体FG的内侧区域的示例的图。
图6的(A)表示在掩模作成部102中作成的掩模的一例。图6的(A)的黑色部分表示利用掩模除去的区域,白色部分表示利用掩模切取的区域。
图6的(B)表示在区域确定部103中确定的被摄体FG的内侧区域的一例。图6的(B)的白色部分表示在区域确定部103中所确定的被摄体FG的内侧区域。另外,灰色部分比图6的(A)所示的掩模的边界线靠内侧,表示从在区域确定部103中所确定的区域中排除的部分。
在图6的(A)、(B)的示例中,掩模作成部102所作成的掩模的边界线由上下左右4个边构成。这样,在掩模的边界线由多个边构成的情况下,区域确定部103例如使这些边向边界线的内侧分别移动规定的距离。然后,将由移动后的各边包围的区域确定为被摄体FG的内侧区域。在图6的(B)的示例中,使上侧的边向图像的下方向移动距离dLR、使下侧的边向图像的上方向移动距离dLR,并且使左侧的边向图像的右方向移动距离dUD、使右侧的边向图像的左方向移动距离dUD。然后,将由移动后的4个边包围的区域确定为被摄体FG的内侧区域。
这样,由区域确定部103确定的区域确实与被摄体FG的轮廓分离。因此,如图5的(B)、(C)所示,即使在轮廓的像素值异常高的情况下,该影响也几乎不会涉及到区域内部。因而,如果通过掩模处理从边缘强调处理后的图像只切出由区域确定部103所确定的区域,则可得到排除了轮廓影响的纯粹的血管的像。
在如上所述通过掩模处理切出了比被摄体FG的轮廓靠内侧的部分的情况下,从求出评价值Ev时的对象排除处于轮廓附近的血管的像。即,导致失去血管信息的一部分。然而,存在于轮廓附近的血管的像根据手指的放置方法而容易变化,例如稍微转动手指就会在摄像图像中消失。这种血管的像是不适合于进行最初的生物体认证处理(模板登记处理、对照处理等)的像,因此根据通过掩模处理排除这种血管的像的结果求出评价值Ev也不会产生问题。
评价值获取部
评价值获取部105根据在边缘强调部104中强调了边缘的图像中所包含的像素的值,获取成为从摄像部40输入的信号处理对象的图像中所包含的与边缘强度以及/或者边缘的量有关的评价值Ev。例如,算出包含在边缘强调处理后的图像中的全部像素的值的合计,将其作为评价值Ev而获取。
但是,与本实施方式有关的评价值获取部105在边缘强调处理后的图像中所包含的全部像素之中根据由区域确定部103确定的被摄体FG的内部区域中所包含的像素值,获取评价值Ev,在决定评价值Ev时不利用该区域之外的像素值。即,基于通过由区域确定部103作成的掩模来切出的、包含了纯粹的血管像的区域的像素值,获取评价值Ev。
图7的(A)、(B)、(C)是表示利用图6的(B)所示的掩模从图5的(B)所示的边缘强调处理后的图像中切出被摄体FG的内侧区域的示例的图。
图7的(A)表示边缘强调处理前的图像。另外图7的(B)、(C)表示通过掩模处理从边缘强调处理后的图像中切出被摄体FG的内侧区域的图像。
如图7的(B)、(C)的图像所示,当从边缘强调处理后的图像中只切出由区域确定部103确定的区域时,被摄体FG的轮廓的影响被排除,只浮现存在于被摄体FG内部的血管的像。在该血管的像中,像素值根据原始图像中的血管的粗细、浓度而较大地发生变化。
评价值获取部105将这样适当地反映了血管的浓淡状态的图像中的像素值的合计作为评价值Ev而算出。该评价值Ev成为表示适合于模板登记处理、对照处理的被摄体FG的特征的值。
图8的(A)、(B)、(C)、(D)是表示由摄像部40所拍摄的图像中包含被摄体FG的情况和不包含被摄体FG的情况的一例的图。
图8的(A)表示包含被摄体FG的摄像图像,图8的(C)表示对图8的(A)所示的图像实施了边缘强调处理和掩模处理后的图像。
图8的(B)表示不包含被摄体FG的摄像图像,图8的(D)表示对图8的(B)所示的图像实施了边缘强调处理和掩模处理后的图像。
由于在图8的(A)的图像中清楚地映出手指内部的血管,因此在对它实施了边缘强调处理和掩模处理的图8的(C)的图像中,在血管部分局部地集中了较强的边缘。另一方面,在图8的(B)所示的图像中完全没有映出血管的像,缺乏浓淡,因此在对它实施了边缘强调处理和掩模处理的图8的(D)的图像中,弱的边缘分散到整体上,不显现与血管的像对应的明确的边缘。
当比较两者的像素值的合计时,图8的(C)的图像为“2434244”,图8的(D)的图像为“1177685”。这样,在包含被摄体FG的情况和不包含被摄体FG的情况下,在像素值的合计上有较大的差异。因而,由评价值获取部105获取的评价值Ev(即,实施了边缘强调处理和掩模处理的图像的像素值的合计)可根据该值的不同来表示有无被摄体FG。
当比较图8的(C)与图8的(D)时,不包含被摄体FG的图像与包含被摄体FG的图像相比包含有许多像素值较小的像素(即,弱的边缘),像素值大的像素(即,强的边缘)变少。因此,评价值获取部105也可以不是单纯地合计全部的像素值,而是只合计比某个阈值大的像素值,并将它作为评价值Ev而获取。即,也可以根据由边缘强调部104强调了边缘的图像中所包含的全部像素(其中由区域确定部103所确定的区域内)之中边缘强度超过规定阈值的像素值的合计,来获取评价值Ev。由此,能够进一步突出包含被摄体FG的情况与不包含被摄体FG的情况下的评价值Ev的不同。
图9是将图8的(C)所示的图像(包含被摄体FG的情况)中的像素值的分布与图8的(D)所示的图像(不包含被摄体FG的情况)中的像素值的分布进行比较的图。横轴表示像素值,纵轴表示像素数量。
在摄像图像中不包含被摄体FG的情况下,在实施了边缘强调处理和掩模处理后的图像中,大部分像素分布在比固定的像素值(图9的示例中是“500”)小的范围内。另一方面,在摄像图像中包含有被摄体FG的情况下,像素分布在从小的像素值到大的像素值的宽范围内。
图10的(A)~(D)是在边缘强调处理后的图像中比较了将阈值以下的像素值设为0的情况与不设为0的情况的图。
图10的(A)、(B)是与图8的(C)、(D)相同的图像,表示将阈值以下的像素值不设为0的情况的图像。
图10的(C)、(D)分别表示将包含在图10的(A)、(B)的图像中的阈值“255”以下的像素值全部设为0的情况的图像。
比较图10的(A)与图10的(C)可知,在摄像图像中包含被摄体FG的情况下,即使将阈值以下的像素值设为0,也维持边缘的主要特征、即血管的像。与此相对,比较图10的(B)与图10的(D)可知,在摄像图像中不包含被摄体FG的情况下,当将阈值以下的像素值设为0时,大部分的边缘会消失,边缘的特征较大地发生变化。
图11是将在图10的(A)~(D)所示的图像中阈值为“255”以下的像素值设为0的情况下的评价值(像素值的合计、)与不设置阈值的情况下的评价值进行比较的图。
在不设置阈值的情况下,包含被摄体FG的图像(图10的(A))的评价值Ev为“2434244”,不包含被摄体的图像(图10的(B))的评价值Ev为“1177685”。与此相对,在将阈值“255”以下的像素值设为0的情况下,包含被摄体FG的图像(图10的(C))的评价值Ev为“2145659”,不包含被摄体FG的图像(图10的(D))的评价值Ev为“117921”。从该图11可知,通过在边缘强调处理后的图像中排除规定的阈值以下的像素值而算出评价值Ev,从而能够更加明确与被摄体FG的有无相应的评价值Ev的差异。
判断部
判断部106根据在评价值获取部105中获取的评价值Ev,判断由掩模作成部102作成的掩模是否适当地切出了被摄体FG的像。例如,将规定的阈值与评价值Ev进行比较,根据该比较结果来判断是否切出了血管的像。
登记部
在判断部106中判断为由掩模作成部102作成的掩模适当地切出了被摄体FG的像的情况下,登记部107使用该掩模对摄像图像实施掩模处理,从进行了掩模处理的图像中提取血管图案的信息,将它作为模板DAT而保存到存储部60中。
另外,在判断部106中判断为掩模没有切出血管的像的情况下,登记部107停止上述模板登记处理。
对照部
在判断部106中判断为由掩模作成部102作成的掩模适当地切出了被摄体FG的像的情况下,对照部108使用该掩模对摄像图像实施掩模处理,从进行了掩模处理的图像中提取血管图案的信息,将该提取的信息与保存在存储部60中的模板DAT进行对照。
另外,在判断部106中判断为掩模没有切出血管的像的情况下,对照部108停止上述对照处理。
说明掩模作成部102的更详细的结构。
图12是表示掩模作成部102的结构的-例的图。掩模作成部102具有边缘提取部201、像素提取部202、中间点提取部203、划分部204、近似线获取部205、中间点提取部206、边界线获取部207、208以及掩模生成部209。
边缘提取部201是本发明的边缘提取部以及边缘提取单元的一个实施方式。
像素提取部202是本发明的像素提取部以及像素提取单元的一个实施方式。
中间点提取部203是本发明的第1中间点提取部以及第1中间点提取单元的一个实施方式。
划分部204是本发明的划分部以及划分单元的-个实施方式。
近似线获取部205是本发明的近似线获取部以及近似线获取单元的一个实施方式。
中间点提取部206是本发明的第2中间点提取部以及第2中间点提取单元的一个实施方式。
边界线获取部207是本发明的第1边界线获取部以及第1边界线获取单元的一个实施方式。
边界线获取部208是本发明的第3边界线获取部以及第3边界线获取单元的一个实施方式。
边缘提取部
边缘提取部201提取出在图像获取部101中获取的摄像图像Sp的边缘。在边缘的提取中可使用各种方法,但是在此作为一例说明利用“索贝尔(sobel)算子”来提取边缘像素的示例。“索贝尔算子”是具有耐噪声性的通用的边缘提取用的算子,对边缘提取对象的图像I应用下式所示的两个滤波器fH、fG
式1
f H = - 1 0 1 - 2 0 2 - 1 0 1 · · · ( 1 )
f G = - 1 - 2 - 1 0 0 0 1 2 1 · · · ( 2 )
当将利用滤波器fH、fG计算的像素值分别设为“gH”、“gV″时,边缘评价值g如下。
式2
g = g H 2 + g V 2 · · · ( 3 )
在某个像素的边缘评价值g大于规定的阈值gthr的情况下,将该像素判断为构成边缘的像素(以下称为边缘像素),在小于阈值gthr的情况下判断为不是边缘像素。
像素提取部
像素提取部202从在边缘提取部201中提取了边缘的图像中,分别提取预想形成被摄体FG的上侧轮廓的边缘像素的列(第1像素的列1以及预想形成被摄体FG的下侧轮廓的边缘像素的列(第2像素的列)。
在以下的叙述中,设通过正交坐标来表示图像的平面上的各像素的位置。并且,例如,如在图2中排列在图像的横向上的数值所示那样,将在图像的上侧边缘上向横向延伸的坐标轴设为x轴,将在图像的左侧边缘上向纵向延伸的坐标轴设为y轴。
在这样定义了坐标轴的情况下,在图像平面上设定成为像素提取时的基准的2种基准直线(第1基准直线、第2基准直线)。
将第1基准直线设定成在通常的条件下进行了摄像的情况下通过被摄体FG的像的内部。例如,设定成通过图像的v坐标的中心附近与x轴平行的直线。
存在多个第2基准直线,将它们分别设定为与y轴平行的直线。最好以固定的间距排列多个第2基准直线。
当设定了如上所述的基准直线时,像素提取部202在比第1基准直线靠上的区域(第1区域、)中包含的边缘像素之中,将位于上述的第2基准直线上的边缘像素、在相同的第2基准直线上存在多个边缘像素的情况下是其中最接近第1基准直线的边缘像素,作为第1像素而提取。另外,在比第1基准直线靠下的区域(第2区域)中包含的边缘像素中,将位于第2基准直线上的边缘像素、在相同的第2基准直线上存在多个边缘像素的情况下是其中最接近第1基准直线的边缘像素,作为第2像素而提取。
例如,像素提取部202从第1基准直线与第2基准直线的交点起依次向上方向以及下方向搜索边缘像素,将在上方向上首次发现的边缘像素作为第1像素而提取,将在下方向上首次发现的边缘像素作为第2像素而提取。
如上所述,像素提取部202在每个第2基准直线上所提取的第1像素和第2像素分别形成排列在x轴方向上的像素的列。第1像素的列对应于被摄体FG的上侧的轮廓线,第2像素的列对应于下侧的轮廓线。
中间点提取部
中间点提取部203提取在上述多个第2基准直线的各个上位于第1像素与第2像素之间的中间点的列。中间点提取部203提取的中间点,离位于同一第2基准直线上的第1像素的距离与离第2像素的距离具有规定的比。在以下的示例中,设该中间点与位于同一第2基准直线上的第1像素及第2像素距离相等。
在像素提取部202在多个第2基准直线的-部分上无法提取出第1像素和第2像素中的一方或者双方的情况下,中间点提取部203根据在与该一部分第2基准直线相邻的其它第2基准直线上所提取的中间点,对该-部分第2基准直线的中间点进行插值。例如,在某个第2基准直线上无法提取出中间点的情况下,如果具有在其相邻的第2基准直线上提取出的中间点,则在与其相同的y坐标的位置上对中间点进行插值。
划分部
划分部204将在中间点提取部203中提取的中间点的列划分成相邻的中间点彼此在规定的距离内的一个或者多个区间。即,划分部204划分提取出的中间点的列,使得由连续连接的中间点形成一个区间。
近似线获取部
近似线获取部205根据属于在划分部204中划分的最长区间的中间点,获取在中间点提取部203中提取出的中间点的列的近似线。例如利用最小自乘法等,求出适合于形成最长区间的中间点的列的一次近似函数(或者二次以上的近似函数)。
中间点提取部
中间点提取部206在中间点提取部203中提取的中间点之中,提取与在近似线获取部205中所获取的近似线的误差在规定范围内的中间点的列。
边界线获取部
边界线获取部207根据在中间点提取部206中提取出的中间点以及在像素提取部202中提取出的第1像素和第2像素,获取掩模上下的边界线。即,根据与在中间点提取部2O6中提取的中间点的列位于相同的第2基准直线上的第1像素的列的近似线,获取掩模的上侧边界线(第1边界线),根据位于该第2基准直线上的第2像素的列的近似线,获取掩模的下侧的边界线(第2边界线)。
例如,将使第1像素的列的近似线向第1基准直线移动了规定距离的线作为掩模的上侧边界线而获取,将使第2像素的列的近似线向第1基准直线移动了规定距离的线作为掩模的下侧边界线而获取。
另外,边界线获取部207也可以根据在中间点提取部206中提取出的中间点以及隔着该提取出的中间点而位于同一第2基准直线上的第1像素和第2像素的间隔(手指的宽度),获取掩模的上侧边界线和下侧边界线。
例如,也可以算出在中间点提取部206中提取的中间点的列的近似线以及将x坐标值作为变量而近似上述第1像素和第2像素的间隔的函数,根据这些来获取上下边界线。
边界线获取部
边界线获取部208获取边界线,该边界线用于利用掩模来排除被摄体FG的上下轮廓线互相接近的部分、即指尖部分。
边界线获取部208为了判断被摄体FG的上下轮廓线互相接近的部分而设定判断区域。该判断区域被与y轴平行的左右两个边以及与x轴平行的上下两个边包围,决定上下两个边的位置使得由边界线获取部207获取的上侧边界线的一部分和下侧边界线的一部分都包含在其中(参照图21)。
边界线获取部208使上述判断区域沿着x轴从图像的规定位置(例如中央附近)向右侧依次移动,在其移动的各位置上对包含在判断区域中的边缘像素的数量进行计数。然后,在该计数值达到规定阈值的位置上将通过判断区域的与y轴平行的线作为掩模的右侧边界线而获取。
边界线获取部208也可以用与掩模的右侧边界线同样的方法来获取掩模的左侧边界线。即,进行判断区域的左移动的同时将判断区域内的边缘像素的计数值与阈值进行比较,搜索计数值达到阈值的位置。
掩模生成部
掩模生成部209根据在边界线获取部207中获取的上下边界线以及在边界线获取部208中获取的左右边界线,生成掩模图像Smsk。例如,生成将边界线的外侧区域的像素值设定为“0”、将边界线的内侧区域的像素值设定为“1”的掩模图像。通过进行该掩模图像smsk与处理对象的图像之间的AND运算,切出包含在处理对象图像中的被摄体FG的内部区域,其它区域的像素值成为“0”。
参照图13的流程图说明与具有上述结构的本实施方式有关的图像处理装置中的掩模的作成动作。
步骤ST101:
在边缘提取部201中提取摄像图像Sp的边缘。
图14的(A)、(B)是表示由边缘提取部201进行边缘提取后的图像的一例的图。图14的(A)是边缘提取前的摄像图像,对它实施了利用“索贝尔算子”的边缘提取处理的图像被图解在图14的(B)中。在边缘提取后的图像中,粗略地提取出手指的轮廓。
步骤ST102:
当提取了摄像图像Sp的边缘时,接着在像素提取部202中提取出比第1基准直线靠上的区域中包含的第1像素的列以及比该第1基准直线靠下的区域中包含的第2像素的列。从多个第2基准直线的各个中逐个地提取第1像素和第2像素。第1像素是在第2基准直线上的比第1基准直线靠上的区域中最接近第1基准直线的边缘像素,第2像素是在第2基准直线上的比第1基准直线靠下的区域中最接近第1基准直线的像素。
将从第1基准直线的中心向右方向按顺序排列的n条第2基准直线表示为r0,r1,r2,…,rn-1;将从相同的第1基准直线的中心向左方向按顺序排列的m条第2基准直线表示为10,11,12,…,1m-1。将位于右边第(i+1)个第2基准直线ri上的第1像素的坐标表示为(xri,yd ri);将位于相同的第2基准直线ri上的第2像素的坐标表示为(xri,yu ri)。将位于左边第(j+1)个第2基准直线1j上的第1像素的坐标表示为(x1j,yd 1j);将位于相同的第2基准直线1j上的第2像素的坐标表示为(x1j,yu 1j)。
例如,从图像的横宽的中心附近起向左方向和右方向分别按顺序进行像素提取部202的第1像素和第2像素的提取。
在向右方向进行提取的情况下,首先选择第2基准直线r0。从第1基准直线和第2基准直线r0的交点起向上下方向依次搜索边缘像素,将在上侧最初发现的边缘像素作为第1像素(xr0,yd r0)而提取,将在下侧最初发现的像素作为第2像素(xr0,yu r0)而提取。
当第2基准直线r0上的像素的提取结束时,接着选择其右邻的第2基准直线r1,从它与第1基准直线的交点起向上下方向依次搜索边缘像素。将在上侧最初发现的边缘像素作为第1像素(xr1,yd r1。)而提取,将在下侧最初发现的像素作为第2像素(xr1,yu r1)而提取。
以下,当直到右端的第2基准直线rn-1为止进行相同的处理时,接着按第2基准直线10,11,…,1m-1的顺序从中心向左方向进行处理。
步骤ST103:
当在像素提取部202中提取出第1像素和第2像素时,在中间点提取部203中提取第1像素和第2像素的中间点。
根据第1像素(xr0,yd r0)和第2像素(xr0,yu r0),位于第2基准直线r0上的中间点Cr0被表示为如下式那样。
式3
坐标 C r 0 ( x r 0 , y r 0 u + y r 0 d 2 ) · · · ( 4 )
例如,与步骤ST102中的第1像素和第2像素的提取并列地进行步骤ST103中的中间点的提取。
在边界线获取部207中,与该中间点的提取并行地算出在后面的步骤ST107中所使用的第1像素和第2像素的距离(以下称为手指宽度)。
根据第1像素(xr0,yd r0)和第2像素(xr0,yu r0),第2基准直线r0上的手指宽度Wr0被表示为如下式那样。
式4
wr0=yu r0-yd r0    …(5)
第1像素和第2像素并不限于在全部的第2基准直线上始终成对地被提取。例如当被摄体FG的轮廓变得不鲜明时,在第2基准直线的一部分上有可能不存在成对的第1像素和第2像素中的一方或者双方。在这种情况下,在中间点提取部203中,根据在与该一部分第2基准直线相邻的其它第2基准直线上提取出的中间点,对该一部分第2基准直线的中问点进行插值。
图15是表示对图14的(B)所示的边缘提取后的图像进行的中间点的提取处理的一例的图。
在图15中,圆点表示从两个像素(第1像素、第2像素)的坐标求出的中间点,三角点表示通过插值求出的中间点。
在图15的示例中,虽然在第2基准直线ri+1上提取出第1像素(xri+1,yd ri+1),但是没有提取出第2像素(xri+1,yu ri+1)。另一方面,在其相邻的第2基准直线ri上,第1像素(xri,yd ri)和第2像素(xri,yu ri)都被提取出。在这种情况下,在中间点提取部203中将第2基准直线ri+1的中间点Cri+1插值到具有与第2基准直线ri的中间点Cri相同的y坐标的点上。
式5
C ri + 1 ( x ri + 1 , y ri u + y ri d 2 ) · · · ( 6 )
在这种情况下,根据提取出的第1像素(xri+1,yd ri+1)和被插值的中间点Cri+1,第2基准直线ri+1上的手指宽度Wri的插值如下式所示。
式6
w ri + 1 = 2 × ( y ri + 1 u - y ri u + y ri d 2 ) = 2 y ri + 1 u - ( y ri u + y ri d ) · · · ( 7 )
通过以上处理,求出在右方向上搜索到的n个中间点Cr0,…,Crn-1和n个手指宽度Wr0,…,Wrn-1以及在左方向上搜索到的m个中间点C10,…,C1m-1和m个手指宽度w10,…,W1m-1
当将这些按x坐标值的上升顺序排列表示时,如下式所示。
式7
Ci=C1m-1,C1m-2,…,C10,Cr0,Cr1,…,Crn-2,Crn-1    …(8)
wi=w1m-1,w1m-2,…,w10,wr0,wr1,…,wrn-2,wrn-1    …(9)
步骤ST104:
当提取出中间点的列(C1m+1,…C10,Cr0,…,Crn-1)时,接着在划分部204中为了识别相对于手指的中心线明显偏离的中间点,将中间点的列划分成连续区间。即,将在中间点提取部203中提取出的中间点的列划分成相邻的中间点彼此在规定的距离内的一个或者多个区间。
当假定第2基准直线以相等的间隔dx排列时,可通过用下式表示的y坐标的偏移dyk来评价相邻的两个中间点Ck与Ck+1的距离。
式8
dyk=|(Ck+1)y-(Ck)y|    …(10)
在上式中,“(Ck)y”表示中间点Ck的y坐标。在y坐标的偏移dyk大于规定的阈值dythr的情况下,在中间点Ck与Ck+1之间连续区间分开。
图16是表示通过划分部204将图15所示的中间点的列划分为连续区间的示例的图。在图16的示例中,划分成3个连续区间(从左起依次是A1、A2、A3)。
步骤ST105:
当中间点的列(C1m+1,…,C10,…,Crn-1)被划分为连续区间时,接着在近似线获取部205中根据在被划分的连续区间(也可能存在只有1个的情况)中属于最长的区间的中间点,获取中间点的列(C1m-1,…,C10,Cr0,…,Crn-1)的近似线。例如,将最长的连续区间设为“P”,根据构成该区间的从第p个中间点Cp到第q个中间点Cq(Cp,Cp+1,…,Cq-1,Cq),例如计算一次函数(直线)的近似线。
图17是表示由近似线获取部205获取的近似线的一例的图。图17的(A)表示划分为3个连续区间A1、A2、A3的中间点的列,图17的(B)表示根据其中最长区间A1而获取的近似线。
步骤ST106:
当在近似线获取部205中获取基于中间点最长的连续区间的近似线时,接着在中间点提取部206中,从在中间点提取部203中提取出的全部的中间点(C1m-1,…,C10,Cr0,…,Crn-1)中,提取与在近似线获取部205中获取的近似线之间的误差在规定的范围内的中问点的列。
在图17的(A)、(B)的示例中,虽然比较完全地提取了表示手指的形状的边缘,但是在手指中央部提取了其它边缘,因此产生了手指形状的错误识别。
当产生这种错误识别时,手指的宽度与其它部分相比显著不同、或者手指的中心线从实体较大地偏离。因此,在中间点提取部206中,算出估计为比较正确地表示手指的中心线的近似线获取部205的近似直线与在中间点提取部203中提取的各中间点之间的误差。然后,将该误差大于规定的阈值dLthr的中间点,视为不构成手指中心线的中间点,从在接着的步骤ST107中所使用的中间点的候选中排除。
在图17的(B)的示例中,中央部的连续区间A2相对于基于由近似线获取部205所获取的连续区间A1的近似线显著地偏离。因此,在该例中通过中间点提取部206排除中央部的连续区间A2,提取出其它连续区间A1和A3。
步骤ST107:
当提取出与基于最长连续区间的近似线之间的误差在规定范围内的中间点的列时,接着在边界线获取部207中,根据与在中间点提取部206中提取出的中间点的列位于相同的第2基准直线上的第1像素的列的近似线,获取掩模的上侧边界线(第1边界线),根据位于该第2基准直线上的第2像素的列的近似线,获取掩模的下侧边界线(第2边界线)。
在此,将由中间点提取部206所提取的Z个中间点的列重新表示为
C0,C1,…,Cz-1
将与它对应的z个手指宽度重新表示为
Z0,C1,…,Cz-1
在边界线获取部207中,根据该Z个中间点来求出手指中心的近似线(例如一次函数),并且根据Z个手指宽度来求出将x坐标作为变量的手指宽度的近似函数(例如一次函数)。
图18的(A)表示只根据最长连续区间的中间点而获取的近似线,图18的(B)表示根据在中间点提取部206中所提取的中间点而获取的近似线。
比较两者可知,通过根据由中间点提取部206所提取的中间点而获取近似线,与只根据最长连续区间的中间点而获取近似线的情况相比,能够使中间点与近似线之间的误差整体地变小。
图19是表示根据与由中间点提取部206所提取的Z个中间点对应的Z手指宽度而获取的、手指宽度的近似函数(一次函数)的示例的图。
如上所述,当求出中间点的列的近似直线和手指宽度的近似函数时,在边界线获取部207中根据它们的近似而获取掩模的上下边界线。
当x坐标的值是“i”(i=0,…,319)时,如果将通过上述的近似计算得到的中间点的y坐标设为“CFi”、将手指宽度的y坐标设为“wFi”、将手指的上侧轮廓的y坐标设为“EDi”、将手指的下侧轮廓的y坐标设为“EUi”,则下式的关系成立。
式9
E Di = C Fi - w Fi 2 · · · · ( 11 )
E Ui = C Fi + w Fi 2 · · · ( 12 )
图20的(A)是画出了根据式(11)、(12)求出的手指的上侧轮廓的近似线(y坐标在“100”附近)和下侧轮廓的近似线(y坐标在“200”附近)的图。
虽然图20的(A)的近似线与手指的轮廓非常地一致,但是当将它直接使用于掩模的边界线时,血管的像有可能受到出现在轮廓处的较强的边缘的影响。因此,对式(11)、(12)进行修正,使得手指的上侧轮廓的近似线向下方向移动规定的偏移Ofs、手指的下侧轮廓的近似线向上方向移动偏移Ofs。
式10
E Di = C Fi - w Fi 2 + Ofs · · · ( 13 )
E Ui = C Fi + w Fi 2 - Ofs · · · ( 14 )
在边界线获取部207中,例如将基于该式(13)、(14)的近似线作为掩模的上下边界线而获取。利用该边界线可以切出手指的上下轮廓内侧的部分的图像。
步骤ST108:
当通过上述处理获取了掩模的上下边界线时,接着在边界线获取部208中,获取用于排除指尖外部的左右边界线。
图21的(A)、(B)、(C)是用于说明在边界线获取部208中获取左右边界线的处理的图。图21的(A)表示包含指尖的摄像图像。图21的(B)表示对该摄像图像实施了边缘提取处理的图像,图21的(C)是扩大了图21的(B)的要部的图。
在边界线获取部208中,为了判断手指的上下轮廓线互相接近的部分,设定如图21的(B)、(C)所示的判断区域。该判断区域被与y轴平行的左右两个边和与x轴平行的上下两个边包围。
判断区域的中心例如设定为在边界线获取部207中近似的中问点。判断区域的左右的边从中间点(i,CFi)在x轴方向上分别离开规定的距离dx。另外,判断区域的上下边从中问点(i,CFi)离开了在边界线获取部207中近似的手指宽度wFi的一半上加上规定距离dy的长度、即“dy+(wFi)/2”。
这样,如图21的(B)、(C)所示,被设定的判断区域包含由边界线获取部207获取的上侧边界线的一部分和下侧边界线的一部分。
判断区域的中心(i,CFi)沿着x轴从图像的规定位置(例如中央附近)向右侧依次移动,在其各位置上,对如上所述设定的判断区域中包含的边缘像素的数量进行计数。在该计数值达到规定阈值的位置上,将通过判断区域的与y轴平行的线(例如通过判断区域的中心(i,CFi)的线)作为掩模的右侧边界线而获取。
掩模的左侧边界线也可以通过与右侧边界线相同的处理而获取。
如以上说明,根据本实施方式,首先提取拍摄到的图像的边缘。然后,将如下边缘像素作为第1像素而提取,该边缘像素包含在设定成通过被摄体FG的像内部的第1基准直线的上侧区域中,位于平行的多个第2基准直线(1m-1,…,10,r0,…rn-1)上、且位于在该第2基准直线的各个上最接近第1基准直线的位置上。另外,与它并行地,将如下边缘像素作为第2像素而提取,该边缘像素包含在第1基准直线的下侧区域中,位于第2基准直线(1m-1,…,10,r0,…rn-1)上、且位于在该第2基准直线的各个上最接近第1基准直线的位置上。
当这样提取出第1像素和第2像素时,接着提取如下中间点的列(c1m-1,…,C10,Cr0,…,Crn-1),该中间点在第2基准直线(1m-1,…,10,r0,…rn-1)的各个上位于第1像素与第2像素之间、且离该第1像素的距离与离该第2像素的距离具有规定的比。
该中间点的列(C1m-1,…,C10,Cr0,…,Crn-1)被划分为相邻的中间点彼此在规定的距离内的一个或者多个区间。然后,根据形成被划分的最长区间的中间点,获取中间点的列(C1m-1,…,C10,Cr0,…,Crn-1)的近似线。
接着,从原始的中问点的列(c1m-1,…,C10,Cr0,…,Crn-1)提取与上述近似线之间的误差在规定范围内的z个中间点的列(C0,…,Cz-1)。
然后,根据与该z个中间点的列(C0,…,Cz-1)位于相同的第2基准直线上的第1像素的列的近似线,获取掩模的上侧边界线,根据位于该第2基准直线上的第2像素的列的近似线,获取掩模的下侧边界线。
这样,由于从进行边缘提取后的图像中提取与被摄体的轮廓对应的像素的列,并根据该近似线获取掩模的边界线,因此与对每个摄像图像调节阈值的同时对图像进行2值化的方式相比,能够以简单的处理来作成掩模。
根据上述的实施方式,使被与第1基准直线平行的两个边以及与第2基准直线平行的两个边包围、并在其内部包含了第1边界线的一部分以及第2边界线的一部分的区域,从摄像图像上的规定位置向相对于第1基准直线平行的一个方向依次移动,在其移动的各位置上对包含在该区域中的边缘像素的数量进行计数。然后,在该计数值达到规定阈值的位置上将通过该区域的与第2基准直线平行的线作为掩模边界线而获取。
由此,即使被摄体的轮廓中存在不是直线的复杂形状的部分(例如指尖),由于不进行近似计算而获取切出该轮廓的内侧的边界线,因此也可以实现处理的简化和高速化。
根据上述的实施方式,摄像图像的边缘被强调,在该边缘强调后的图像中,根据比由掩模所切出的被摄体更靠内侧的区域中包含的像素的值,获取与包含在该区域中的边缘强度以及/或者数量有关的评价值。然后,根据获取的评价值,判断掩模是否适当地切出了被摄体的像。
因而,在例如正在进行模板登记处理、认证处理时手指从装置离开了的情况等,可准确地判别处理对象的被摄体像没有包含在摄像图像中。由此,能够停止在掩模处理之后继续进行的各种处理f模板登记处理、对照处理等)的无用的执行,因此可降低耗电。
第2实施方式
说明本发明的第2实施方式。
在与本发明的第2实施方式有关的图像处理装置中,根据边缘像素的分布来估计被摄体的边界线的位置。
图22是表示与本实施方式有关的图像处理装置中的掩模作成部102A的结构的-例的图。掩模作成部102A具有边缘提取部211、边界线获取部212、像素提取部213、划分部214、近似线获取部215、像素提取部216、边界线获取部217、218以及掩模生成部219。
边缘提取部211是本发明的边缘提取部以及边缘提取单元的一个实施方式。
边界线获取部212是本发明的第2边界线获取部以及第2边界线获取单元的一个实施方式。
像素提取部213是本发明的第1像素提取部以及第1像素提取部单元的一个实施方式。
划分部214是本发明的划分部以及划分部单元的一个实施方式。
近似线获取部215是本发明的近似线获取部以及近似线获取单元的一个实施方式。
像素提取部216是本发明的第2像素提取部以及第2像素提取单元的一个实施方式。
边界线获取部217是本发明的第1边界线获取部以及第1边界线获取单元的一个实施方式。
边界线获取部218是本发明的第3边界线获取部以及第3边界线获取单元的一个实施方式。
与本实施方式有关的图像处理装置将图1所示的图像处理装置1中的掩模作成部102替换为图22所示的掩模作成部102A,其它的结构与图1所示的图像处理装置相同。
以下叙述图22所示的掩模作成部102A的各结构要素。
边缘提取部
边缘提取部211是与前面叙述的边缘提取部201相同的结构要素,例如使用“索贝尔算子”来提取摄像图像Sp的边缘。
边界线获取部
边界线获取部212使由平行的两个边夹着的带状区域相对于图像的y轴平行地移动,在其移动的各位置上对包含在该区域中的边缘像素进行计数。然后,在该计数值成为最大的位置上根据包含在该区域中的与上述边平行的线,获取掩模的上侧边界线。
像素提取部
像素提取部213从在边缘提取部211中提取出边缘的图像中,提取预想形成了被摄体FG的下侧轮廓的边缘像素的列。即,像素提取部213提取如下边缘像素,该边缘像素包含在比在边界线获取部212中获取的掩模的上侧边界线靠下的区域中,位于规定的多个第2基准直线上、且位于在第2基准直线的各个上最接近第1基准直线的位置上。
例如,像素提取部213从掩模的上侧边界线与第2基准直线的交点向下方向依次搜索边缘像素,提取最初发现的边缘像素。
如上所述,像素提取部213在每个第2基准直线上提取的边缘像素分别形成了排列在x轴方向上的边缘像素的列,对应于被摄体FG的下侧轮廓线。
划分部
划分部214将在像素提取部213中提取出的边缘像素的列,划分为相邻的边缘像素彼此在规定的距离内的一个或者多个区间。即,划分部214划分提取出的边缘像素的列,使得由连续连接的边缘像素形成一个统一的区间。
近似线获取部
近似线获取部215根据属于在划分部214中划分的最长区间的边缘像素,获取由像素提取部213提取的边缘像素的列的近似线。例如,利用最小自乘法等求出形成最长区问的边缘像素的列所适合的的一次近似函数(或者二次以上的近似函数)。
像素提取部
像素提取部216从在像素提取部213中提取的边缘像素中提取与在近似线获取部215中获取的近似线之间的误差在规定的范围内的边缘像素的列。
边界线获取部
边界线获取部217根据在像素提取部216中提取的边缘像素的列的近似线,获取掩模的下侧边界线。
例如,将使在像素提取部216中提取出的边缘像素的列的近似线向掩模的上侧边界线移动了规定距离的线,作为掩模的下侧边界线而获取。
边界线获取部
边界线获取部218通过与前面说明的边界线获取部208相同的动作,获取用于利用掩模来排除被摄体FG的上下轮廓线互相接近的部分即指尖部分的边界线。
掩模生成部
掩模生成部219通过与前面说明的掩模生成部209相同的动作,生成具有由边界线获取部212、217、218获取的边界线的掩模图像Smsk。
参照图23的流程图说明与具有上述结构的本实施方式有关的图像处理装置中的掩模的作成动作。
步骤ST201:
在边缘提取部201中提取摄像图像Sp的边缘。
步骤ST202
当提取摄像图像Sp的边缘时,接着在边界线获取部212中获取被摄体FG的上侧边界线。
图24的(A)、(B)是表示摄像图像及其边缘提取后的图像的一例的图。
在图24的(A)、(B)中,由虚线围成的区域是摄像装置与手指的接触面,在图的示例中,在比该接触面靠上的区域(y坐标小的区域、)中不存在手指。
在图24的(A)、(B)中图解的示例中,摄像装置与手指的接触面是平坦的,不受手指形状的影响。另外,接触面与摄像图像的x轴方向大致水平,即使在进行了边缘提取的图像中,接触面的边缘像素也排列在与x轴水平的方向上。因此,在边界线获取部212中,进行将对应于该接触面的边界线作为与x轴水平的直线而获取的处理。
在构成接触面的边缘的像素排列在与x轴大致水平的方向上的情况下,当对每个y坐标的边缘像素的数量进行计数时,在接触面的位置上边缘像素的数量急剧变大。因而,可根据每个y坐标的边缘像素的数量成为最大的位置,检测出接触面的边界线。
但是,当手指的下侧轮廓(y坐标大的区域)显著变平时,有可能不是在接触面而是在下侧的轮廓上计数值成为最大。这样,在上下轮廓的位置上像素数量的分布具有峰值,在只用计数值无法估计哪个峰值是由接触面产生的情况下,需要预先掌握摄像装置与手指的接触面在上下哪一侧。
在图24的(A)、(B)的示例中,图像上侧的轮廓是装置与手指的接触面。
图25的(A)、(B)是表示边缘像素在每个y坐标上的分布例的图。
图25的(A)是边缘提取后的图像,图25的(B)是表示在每个y坐标上对包含在该图像中的边缘像素的数量进行了计数的分布图。边缘像素数量成为最大的y坐标的直线与由接触面形成的边缘的轮廓线很好地一致。
然而,当观察图25的(B)的分布图时,像素数量的变化非常急剧。虽然在该例中能够很好地检测出接触面,但是在接触面微妙地倾斜的情况等,最大值的峰值不会完全表现在分布图中,有可能错误地提取出接触面的边缘。因此,如图25所示,在与本实施方式有关的边界线获取部212中,不是在每个y坐标上求出像素数量,而是对在具有某种程度的宽度的区域内、即包含了所关注的y坐标的前后坐标的区域(与x轴平行的带状区域)中包含的边缘像素进行计数。
图26的(A)、(B)是将进行边缘像素的计数的区域的示例进行图解的图。
在图26的(A)中由虚线围成的区域表示进行边缘像素的计数的区域。另外,图26的(B)是将在图26的(A)中由圆包围的区域进行了放大的图。
在图26的(A)、(B)的示例中,将在所关注的y坐标(y=100)的前后具有宽度dy(dy=5)的区域作为进行边缘像素的计数的区域而设定。也就是说,对包含在100-dy≤y≤100+dy的区域内的边缘像素的数量进行计数。通过这样使计数范围具有宽度,从而即使进行边缘提取的图像中产生一些紊乱,也能够稳定地求出接触面的位置。
图27的(B)是表示使图26所示的区域相对于y轴平行移动的同时对包含在该区域内的边缘像素进行计数的结果的一例的图。
从图27的(B)也可知,通过对在y轴方向上具有宽度的区域内的像素数量进行计数,从而使像素数量的急剧变化缓和,且清楚地表现最大峰值的位置(y=92)。
但是,通过在y轴方向上具有宽度dy(dy=5)而在y轴方向上产生相应量的宽度,因此掩模的边界线被设定在从最大峰值的位置偏移dofs(dofs=10)的下侧(图27的(A))。由此,将掩模的上侧边界线设定成比被摄体FG的边界靠内侧。
步骤ST203:
如上所述当获取掩模的上侧边界线时,接着在像素提取部213中,提取预想形成了被摄体FG的下侧轮廓的边缘像素的列。即,提取如下的边缘像素,该边缘像素被包含在比掩模的上侧边界线靠下的区域中,位于规定的多个第2基准直线上、且在第2基准直线的各个上位于最接近第1基准直线的位置上。
例如,从掩模的上侧边界线与第2基准直线的交点向下方向依次搜索边缘像素,提取最初发现的边缘像素(图28的(A))。
在每个第2基准直线上逐个提取这种边缘像素。如果在某个第2基准直线上没有边缘像素的情况下,也可以将与在和其相邻的第2基准直线上提取的边缘像素具有相同的y坐标的边缘像素,插值到没有边缘像素的第2基准直线上。
步骤ST204:
当在步骤ST203中提取边缘像素的列时,接着在划分部214中为了识别相对于手指的轮廓线明显偏离的边缘像素,求出边缘像素的列的连续区间。即,将在像素提取部213中提取的边缘像素的列划分为相邻的边缘像素彼此在规定的距离内的一个或者多个区间。
步骤ST205:
当边缘像素的列被划分为连续区间时,接着在近似线获取部215中根据属于在被划分的连续区间(只有一个的情况下也有可能)中最长区间的边缘像素,获取边缘像素的列的近似线。
步骤ST206:
当在近似线获取部215中获取了基于边缘像素的最长连续区间的近似线时,接着在像素提取部216中从在像素提取部213中提取出的整个边缘像素之中提取与在近似线获取部205中获取的近似线之间的误差在规定的范围内的边缘像素的列。
步骤ST207:
当提取出与基于最长连续区间的近似线之间的误差在规定范围内的边缘像素的列时,接着在边界线获取部217中,根据在像素提取部216中提取的边缘像素的列的近似线,获取掩模的下侧边界线。
即,将使在像素提取部216中提取的边缘像素的列的近似线(例如一次函数的直线)向上方向移动规定的偏移量的线作为掩模的下侧边界线而获取(图28的(B))。
步骤ST208:
当通过上述处理获取了掩模的上下边界线时,接着在边界线获取部208中获取用于排除指尖外部的左右边界线。该方法例如与前面说明的步骤ST108相同。
如以上的说明,根据本实施方式,通过基于边缘像素的分布来获取掩模的边界线,从而与需要计算近似线的情况相比能够简化处理,因此能够更高速地作成掩模。
另一方面,如本实施方式那样,考虑在装置与被摄体FG的接触面固定的情况下与该位置对应的掩模的边界线也被固定的方法。然而,在该方法中,根据装置结构的不同、加在装置上的振动或者冲击等,存在所拍摄的接触面有偏差的可能性,无法稳定地作成合适的掩模。因而,如本实施方式那样,如果根据边缘像素的分布来获取掩模的边界线,则能够不将处理过于复杂化而稳定地作成合适的掩模。
以上说明了本发明的几个实施方式,但是本发明不只限于上述的方式,而包含各种变形方式。
例如,在第1实施方式中举例示出了根据中间点的近似线和手指宽度(第1像素与第2像素之间的距离)的近似函数来求出掩模的边界线的方法,但是本发明不限于此。例如,也可以对于与在中间点提取部206中提取的中间点的列对应的第1像素的列和第2像素的列,分别单独地算出近似直线。
例如,虽然在第1实施方式中求出了中间点的连续区间,但是本发明不限于此。例如,如果利用与图22所示的划分部214、近似线获取部215、像素提取部216以及边界线获取部217相同的模块来分别处理由像素提取部202提取的第1像素的列和第2像素的列,则能够分别获取掩模的上侧边界线和下侧边界线。
在上述的实施方式中,作为实施边缘强调处理和掩模处理后的图像中的像素值的合计而算出了评价值Ev,但是本发明不限于此。
例如评价值获取部105也可以根据在边缘强调部104中强调了边缘的图像中所包含的全部像素之中边缘的强度超过规定的阈值的像素的数量,获取评价值Ev。从图9的分布图也可知,包含被摄体FG的图像与不包含被摄体FG的图像相比包含许多较强的边缘。因此,在实施边缘强调处理和掩模处理后的图像中,即使将具有大于某阈值的像素值的像素(即,边缘的强度超过规定的阈值的像素)的数量作为评价值Ev而获取,也能够高精度地判断有无被摄体FG。
另外,评价值获取部105也可以根据在边缘强调部104中强调了边缘的图像中所包含的全部像素之中边缘的强度最高的像素的值,获取评价值Ev。当举出具体例时,图10的(C)所示的图像中像素值的最大值为“2257”,图10的(D)所示的图像中像素值的最大值为“428”。如果在由区域确定部l03所确定的区域中充分排除了被摄体FG的轮廓影响,则如上述的例那样根据有无被摄体FG而在像素值的最大值中产生较大的差异。因而,即使单纯地根据像素值的最大值(即,边缘的强度最高的像素的值)而获取评价值Ev,也能够高精度地判断有无被摄体FG。
控制部10既可以如上述实施方式那样通过计算机而由软件来实现,也可以将其至少一部分通过构成为进行上述处理内容的信号处理电路等的硬件来实现。
在上述的实施方式中,举出了在利用于生物体认证处理(模板登记处理、对照处理等)的掩模的作成中应用本发明的示例,但是本发明不限于此。即,在以简单的处理高速地作成为了从图像切出各种被摄体而使用的掩模的用途中,能够广泛地应用本发明。

Claims (14)

1.一种图像处理装置,作成从图像中切出规定的被摄体的像的掩模,该图像处理装置具有:
边缘提取部,其提取上述图像的边缘;
像素提取部,其从在上述边缘提取部中提取出的边缘中提取第1像素的列和第2像素的列,其中,上述第1像素的列包含在与通过上述被摄体的像的内部地设定在上述图像的平面上的第1基准直线相接的第1区域中,位于在上述图像的平面上设定的平行的多个第2基准直线上,且在上述多个第2基准直线的各个上最接近上述第1基准直线;上述第2像素的列包含在上述第1区域的相反侧的与上述第1基准直线相接的第2区域中,位于上述多个第2基准直线上,且在上述多个第2基准直线的各个上最接近上述第1基准直线;
第1中间点提取部,其提取中间点的列,该中间点的列在上述多个第2基准直线的各个上位于上述第1像素与上述第2像素之间,且离该第1像素的距离与离该第2像素的距离具有规定的比;
划分部,其将在上述第1中间点提取部中提取出的中间点的列划分为相邻的中间点彼此在规定距离内的至少一个区间;
近似线获取部,其根据形成由上述划分部划分的最长区间的中间点,获取在上述第1中间点提取部中提取出的中间点的列的近似线;
第2中间点提取部,其提取在上述第1中间点提取部中提取出的中间点之中与在上述近似线获取部中获取的近似线之间的误差在规定的范围内的中间点的列;以及
第1边界线获取部,其根据与在上述第2中间点提取部中提取出的中间点的列位于相同的第2基准直线上的第1像素的列的近似线,获取上述掩模的第1边界线,根据位于该第2基准直线上的第2像素的列的近似线,获取上述掩模的第2边界线。
2.根据权利要求1所述的图像处理装置,其特征在于,
上述第1边界线获取部获取使上述第1像素的列的近似线向上述第1基准直线移动了规定距离的线作为上述第1边界线,获取使上述第2像素的列的近似线向上述第1基准直线移动了规定距离的线作为上述第2边界线。
3.根据权利要求1所述的图像处理装置,其特征在于,
具有第3边界线获取部,该第3边界线获取部使由与上述第1基准直线平行的两个边以及与上述第2基准直线平行的两个边所包围的、在其内部包含了上述第1边界线的一部分以及上述第2边界线的一部分的区域,从上述图像上的规定位置向平行于上述第1基准直线的一个方向依次移动,在其移动的各位置上,对包含在该区域中的由上述边缘提取部提取的边缘的像素数量进行计数,在该计数值达到规定的阈值的位置上将通过该区域的与上述第2基准直线平行的线作为上述掩模的第3边界线而获取。
4.根据权利要求1所述的图像处理装置,其特征在于,
上述第1中间点提取部在上述多个第2基准直线的一部分中上述像素提取部无法提取出上述第1像素和上述第2像素中的至少一方的情况下,根据在与该一部分第2基准直线相邻的其它第2基准直线上提取出的中间点,对该一部分第2基准直线的中间点进行插值。
5.根据权利要求1所述的图像处理装置,其特征在于,
上述第1边界线获取部根据在上述第2中间点提取部中提取的中间点以及隔着该提取出的中间点而位于同一第2基准直线上的第1像素和第2像素之间的间隔,获取上述第1边界线和上述第2边界线。
6.根据权利要求1所述的图像处理装置,其特征在于,具有:
边缘强调部,其强调由上述边缘提取部提取的上述图像的边缘;
区域确定部,其确定比利用上述掩模切出的被摄体靠内侧的区域;
评价值获取部,其根据在上述边缘强调部中强调了边缘的上述图像中的在上述区域确定部中确定的区域中所包含的像素的值,获取包含在该区域中的与边缘的强度以及/或者边缘的量有关的评价值;以及
判断部,其根据在上述评价值获取部中获取的评价值,判断上述掩模是否切出了上述被摄体的像。
7.一种图像处理装置,作成从图像中切出规定被摄体的像的掩模,具有:
边缘提取部,其提取上述图像的边缘;
第1像素提取部,其从在上述边缘提取部中提取出的边缘中提取如下像素的列,所述像素的列包含在与通过上述被摄体的像的内部地设定在上述图像的平面上的第1基准直线相接的两个区域中的一方,位于在上述图像的平面上设定的平行的多个第2基准直线上,且在上述多个第2基准直线的各个上最接近上述第1基准直线;
划分部,其将在上述第1像素提取部中提取出的像素的列划分为相邻的像素彼此在规定距离内的一个或者多个区间;
近似线获取部,其根据形成由上述划分部划分的最长区间的像素,获取在上述第1像素提取部中提取出的像素的列的近似线;
第2像素提取部,其提取在上述第1像素提取部中提取出的像素之中与在上述近似线获取部中获取的近似线之间的误差在规定范围内的像素的列;以及
第1边界线获取部,其根据在上述第2像素提取部中提取出的像素的列的近似线,获取上述掩模的第1边界线。
8.根据权利要求7所述的图像处理装置,其特征在于,
具有第2边界线获取部,该第2边界线获取部使由平行的两个边夹着的带状区域相对于上述第2基准直线平行地移动,在其移动的各位置上对包含在该区域中的由上述边缘提取部提取的边缘的像素数量进行计数,在该计数值最大的位置上根据包含在该区域中的与上述边平行的线,获取上述掩模的第2边界线,
将上述获取的第2边界线设定为上述第1基准直线。
9.根据权利要求8所述的图像处理装置,其特征在于,
上述第1边界线获取部获取使在上述第2像素提取部中提取的像素的列的近似线向上述第2边界线移动了规定距离的线作为上述第1边界线,
上述第2边界线获取部在上述边缘的像素数量的计数值成为最大的位置上,获取使包含在上述区域中的与上述边平行的线向第1边界线移动了规定距离的线作为上述第2边界线。
10.根据权利要求8所述的图像处理装置,其特征在于,
具有第3边界线获取部,该第3边界线获取部使由与上述第1基准直线平行的两个边和与上述第2基准直线平行的两个边包围的、在其内部包含了上述第1边界线的一部分和上述第2边界线的一部分的区域,从上述图像上的规定位置向平行于上述第1基准直线的一个方向依次移动,在其移动的各位置上,对包含在该区域中的由上述边缘提取部提取的边缘的像素数量进行计数,将在该计数值达到规定阈值的位置上通过该区域的与上述第2基准直线平行的线作为上述掩模的第3边界线而获取。
11.根据权利要求8所述的图像处理装置,其特征在于,具有:
边缘强调部,其强调由上述边缘提取部提取的边缘;
区域确定部,其确定比利用上述掩模切出的被摄体更靠内侧的区域;
评价值获取部,其根据在上述边缘强调部中强调了边缘的上述图像中的在上述区域确定部中确定的区域中包含的像素的值,获取包含在该区域中的与边缘的强度以及/或者边缘的量有关的评价值;以及
判断部,其根据在上述评价值获取部中获取的评价值,判断上述掩模是否切出了上述被摄体的像。
12.一种掩模作成方法,作成从图像中切出规定被摄体的像的掩模,具有:
第1工序,提取上述图像的边缘;
第2工序,从在上述第1工序中提取出的边缘中提取第1像素的列和第2像素的列,其中,所述第1像素的列包含在与使得通过上述被摄体的像的内部地设定在上述输入图像的平面上的第1基准直线相接的第1区域中,位于在上述图像的平面上设定的平行的多个第2基准直线上,且在上述多个第2基准直线的各个上最接近上述第1基准直线;所述第2像素的列包含在上述第1区域的相反侧的与上述第1基准直线相接的第2区域中,位于上述多个第2基准直线上,且在上述多个第2基准直线的各个上最接近上述第1基准直线;
第3工序,提取中间点的列,该中间点的列在上述多个第2基准直线的各个上位于上述第1像素与上述第2像素之间,且离该第1像素的距离与离该第2像素的距离具有规定的比;
第4工序,将在上述第3工序中提取出的中间点的列划分为相邻的中间点彼此在规定距离内的至少一个区间;
第5工序,根据形成由上述第4工序划分的最长区间的中间点,获取在上述第3工序中提取出的中间点的列的近似线;
第6工序,提取在上述第3工序中提取出的中间点之中与在上述第5工序中获取的近似线之间的误差在规定范围内的中间点的列;以及
第7工序,根据与在上述第6工序中提取出的中间点的列位于相同的第2基准直线上的第1像素的列的近似线,获取上述掩模的第1边界线,根据位于该第2基准直线上的第2像素的列的近似线,获取上述掩模的第2边界线。
13.一种掩模作成方法,作成从图像中切出规定被摄体的像的掩模,具有:
第1工序,提取上述图像的边缘;
第2工序,从在上述第1工序中提取出的边缘中提取第1像素的列,其中所述第1像素的列包含在与通过上述被摄体的像的内部地设定在上述图像的平面上的第1基准直线相接的两个区域中的一方,位于设定在上述图像的平面上的平行的多个第2基准直线上,且在上述多个第2基准直线的各个上最接近上述第1基准直线;
第3工序,将在上述第2工序中提取出的第1像素的列划分为相邻的第1像素彼此在规定距离内的至少一个区间;
第4工序,根据形成由上述第3工序划分的最长区间的第1像素,获取在上述第2工序中提取出的第1像素的列的近似线;
第5工序,提取在上述第2工序中提取出的第1像素之中与在上述第4工序中获取的近似线之间的误差在规定范围内的第1像素的列;以及
第6工序,根据在上述第5工序中提取出的第1像素的列的近似线,获取上述掩模的第1边界线。
14.根据权利要求13所述的掩模作成方法,其特征在于,
还具有第7工序,在该第7工序中,使由平行的两个边夹着的带状的区域相对于上述第2基准直线平行地移动,在其移动的各位置上对包含在该区域中的由上述第1工序提取出的边缘的像素数量进行计数,在该计数值成为最大的位置上根据包含在该区域中的与上述边平行的线,获取上述掩模的第2边界线,
将上述获取的第2边界线设定为上述第1基准直线。
CN2006800011724A 2005-09-06 2006-08-31 图像处理装置以及掩模作成方法 Expired - Fee Related CN101052989B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2005257857A JP4305431B2 (ja) 2005-09-06 2005-09-06 画像処理装置、マスク作成方法及びプログラム
JP257857/2005 2005-09-06
PCT/JP2006/317205 WO2007029591A1 (ja) 2005-09-06 2006-08-31 画像処理装置、マスク作成方法及びプログラム

Publications (2)

Publication Number Publication Date
CN101052989A CN101052989A (zh) 2007-10-10
CN101052989B true CN101052989B (zh) 2010-09-29

Family

ID=37835710

Family Applications (1)

Application Number Title Priority Date Filing Date
CN2006800011724A Expired - Fee Related CN101052989B (zh) 2005-09-06 2006-08-31 图像处理装置以及掩模作成方法

Country Status (6)

Country Link
US (1) US8311332B2 (zh)
EP (1) EP1923831A4 (zh)
JP (1) JP4305431B2 (zh)
KR (1) KR101266422B1 (zh)
CN (1) CN101052989B (zh)
WO (1) WO2007029591A1 (zh)

Families Citing this family (26)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008123206A (ja) * 2006-11-10 2008-05-29 Sony Corp 登録装置、照合装置、登録方法、照合方法及びプログラム
JP5396004B2 (ja) * 2007-01-31 2014-01-22 オリンパス株式会社 蛍光観察装置および蛍光観察装置の作動方法
JP2008287436A (ja) * 2007-05-16 2008-11-27 Sony Corp 静脈パターン管理システム、静脈パターン登録装置、静脈パターン認証装置、静脈パターン登録方法、静脈パターン認証方法、プログラムおよび静脈データ構造
JP2008287432A (ja) 2007-05-16 2008-11-27 Sony Corp 静脈パターン管理システム、静脈パターン登録装置、静脈パターン認証装置、静脈パターン登録方法、静脈パターン認証方法、プログラムおよび静脈データ構造
JP2008287428A (ja) * 2007-05-16 2008-11-27 Sony Corp 静脈パターン管理システム、静脈パターン登録装置、静脈パターン認証装置、静脈パターン登録方法、静脈パターン認証方法、プログラムおよび静脈データ構造
JP2008287433A (ja) * 2007-05-16 2008-11-27 Sony Corp 静脈パターン管理システム、静脈パターン登録装置、静脈パターン認証装置、静脈パターン登録方法、静脈パターン認証方法、プログラムおよび静脈データ構造
JP5244654B2 (ja) * 2009-03-04 2013-07-24 日立オムロンターミナルソリューションズ株式会社 指認証装置
JP5312166B2 (ja) * 2009-04-13 2013-10-09 キヤノン株式会社 画像処理装置及び制御方法及びプログラム
JP5380231B2 (ja) * 2009-09-30 2014-01-08 富士フイルム株式会社 医用画像表示装置および方法ならびにプログラム
JP5507962B2 (ja) * 2009-11-05 2014-05-28 キヤノン株式会社 情報処理装置及びその制御方法、プログラム
JP5570866B2 (ja) * 2010-04-30 2014-08-13 オリンパス株式会社 画像処理装置、画像処理装置の作動方法、および画像処理プログラム
JP5620194B2 (ja) * 2010-08-24 2014-11-05 オリンパス株式会社 画像処理装置、画像処理方法、および画像処理プログラム
JP5871571B2 (ja) 2011-11-11 2016-03-01 株式会社Pfu 画像処理装置、矩形検出方法及びコンピュータプログラム
JP5822664B2 (ja) 2011-11-11 2015-11-24 株式会社Pfu 画像処理装置、直線検出方法及びコンピュータプログラム
JP5854774B2 (ja) * 2011-11-11 2016-02-09 株式会社Pfu 画像処理装置、直線検出方法及びコンピュータプログラム
US9384711B2 (en) 2012-02-15 2016-07-05 Microsoft Technology Licensing, Llc Speculative render ahead and caching in multiple passes
US9286122B2 (en) 2012-05-31 2016-03-15 Microsoft Technology Licensing, Llc Display techniques using virtual surface allocation
US9177533B2 (en) 2012-05-31 2015-11-03 Microsoft Technology Licensing, Llc Virtual surface compaction
US9235925B2 (en) * 2012-05-31 2016-01-12 Microsoft Technology Licensing, Llc Virtual surface rendering
US9230517B2 (en) 2012-05-31 2016-01-05 Microsoft Technology Licensing, Llc Virtual surface gutters
US8843759B2 (en) * 2012-08-28 2014-09-23 At&T Intellectual Property I, L.P. Methods, systems, and computer program products for media-based authentication
US9307007B2 (en) 2013-06-14 2016-04-05 Microsoft Technology Licensing, Llc Content pre-render and pre-fetch techniques
US9558392B2 (en) * 2015-02-12 2017-01-31 Korecen Co., Ltd. Finger vein authentication system
CN107407930A (zh) * 2015-04-01 2017-11-28 三菱电机株式会社 作业指示系统
CN105718214B (zh) * 2015-10-21 2019-02-26 深圳芯启航科技有限公司 指纹掩膜图像的存取方法及装置
CA3180302C (en) * 2020-05-26 2023-11-28 Ronald Blum Exhaled air purification unit and system for indoor multi-person venues or environments

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1328309A (zh) * 2000-03-24 2001-12-26 松下电器产业株式会社 基于生物测量的身份鉴定装置、身份鉴定系统、身份鉴定卡及身份鉴定方法

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CA2077970C (en) * 1991-11-19 1999-02-23 Daniel P. Huttenlocher Optical word recognition by examination of word shape
US5321770A (en) * 1991-11-19 1994-06-14 Xerox Corporation Method for determining boundaries of words in text
US5369714A (en) * 1991-11-19 1994-11-29 Xerox Corporation Method and apparatus for determining the frequency of phrases in a document without document image decoding
JPH06282652A (ja) 1993-03-29 1994-10-07 Olympus Optical Co Ltd 画像の輪郭抽出装置
JP3431593B2 (ja) * 2000-10-31 2003-07-28 株式会社東芝 コンテンツ生成装置、電子透かし検出装置、コンテンツ生成方法、電子透かし検出方法及び記録媒体
JP4389489B2 (ja) 2003-05-06 2009-12-24 ソニー株式会社 画像処理方法、および画像処理装置
JP2005056282A (ja) 2003-08-06 2005-03-03 Sony Corp 画像処理方法、画像処理装置、およびプログラム
JP4251067B2 (ja) 2003-12-01 2009-04-08 株式会社日立製作所 個人認証装置及び個人認証用の血管パターン抽出装置
JP4992212B2 (ja) * 2005-09-06 2012-08-08 ソニー株式会社 画像処理装置、画像判定方法及びプログラム

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1328309A (zh) * 2000-03-24 2001-12-26 松下电器产业株式会社 基于生物测量的身份鉴定装置、身份鉴定系统、身份鉴定卡及身份鉴定方法

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
JP特开2004-178606A 2004.06.24
JP特开2004-329825A 2004.11.25
JP特开2005-56282A 2005.03.03
JP特开平6-282652A 1994.10.07

Also Published As

Publication number Publication date
WO2007029591A1 (ja) 2007-03-15
US20090129635A1 (en) 2009-05-21
JP4305431B2 (ja) 2009-07-29
JP2007072676A (ja) 2007-03-22
KR20080052507A (ko) 2008-06-11
KR101266422B1 (ko) 2013-05-22
CN101052989A (zh) 2007-10-10
US8311332B2 (en) 2012-11-13
EP1923831A4 (en) 2013-10-02
EP1923831A1 (en) 2008-05-21

Similar Documents

Publication Publication Date Title
CN101052989B (zh) 图像处理装置以及掩模作成方法
US8666121B2 (en) Vein authentication device which verifies a target that is compared to the extracted piece of vein information of a finger
Han et al. Palm vein recognition using adaptive Gabor filter
EP2312494B1 (en) Personal identification device and method
JP5292821B2 (ja) 静脈画像取得装置および静脈画像取得方法
US8803963B2 (en) Vein pattern recognition based biometric system and methods thereof
US7995803B2 (en) Personal identification device and method
JP6089872B2 (ja) 画像補正装置、画像補正方法及び生体認証装置
Kauba et al. Focussing the beam-a new laser illumination based data set providing insights to finger-vein recognition
US10019563B2 (en) Information processing apparatus and information processing method
CN101681497A (zh) 静脉图形管理系统、静脉图形注册设备、静脉图形认证设备、静脉图形注册方法、静脉图形认证方法、程序和静脉数据配置
JP4466529B2 (ja) 生体特徴入力装置
US11837029B2 (en) Biometric authentication device and biometric authentication method
EP2148302A1 (en) Vein pattern management system, vein pattern registration device, vein pattern authentication device, vein pattern registration method, vein pattern authentication method, program, and vein data structure
CN100592337C (zh) 图像处理装置和图像判断方法
JP2011100317A (ja) 指の屈伸運動時の静脈パターンを利用した個人認証方法及び個人認証システム
CN111950446A (zh) 指纹识别方法、装置和终端设备
US10963672B2 (en) Method for detecting the presence of a body part carrying an imprint on a imprint sensor
Kulkarni et al. Efficient approach determination for fake biometric Detection
KR102014410B1 (ko) 가짜지문에 대한 보안성이 향상된 휴대용 보안인증기
KR101021838B1 (ko) 사용자 인증 촬상 장치 및 방법
CN112861756A (zh) 一种指静脉识别方法及系统
Gupta et al. Fingerprint Verification System

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
ASS Succession or assignment of patent right

Owner name: MOFEILIYA CO., LTD.

Free format text: FORMER OWNER: SONY CORPORATION

Effective date: 20131202

C41 Transfer of patent application or patent right or utility model
TR01 Transfer of patent right

Effective date of registration: 20131202

Address after: Tokyo, Japan

Patentee after: Co Mo fillia

Address before: Tokyo, Japan

Patentee before: Sony Corp.

CF01 Termination of patent right due to non-payment of annual fee
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20100929