CN101127085B - 图像处理方法和图像处理设备 - Google Patents
图像处理方法和图像处理设备 Download PDFInfo
- Publication number
- CN101127085B CN101127085B CN2007101300662A CN200710130066A CN101127085B CN 101127085 B CN101127085 B CN 101127085B CN 2007101300662 A CN2007101300662 A CN 2007101300662A CN 200710130066 A CN200710130066 A CN 200710130066A CN 101127085 B CN101127085 B CN 101127085B
- Authority
- CN
- China
- Prior art keywords
- point
- unique
- points
- blood vessel
- unique point
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/40—Analysis of texture
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/34—Smoothing or thinning of the pattern; Morphological operations; Skeletonisation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T1/00—General purpose image data processing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/14—Vascular patterns
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Multimedia (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Image Analysis (AREA)
- Collating Specific Patterns (AREA)
- Image Processing (AREA)
- Investigating Or Analysing Materials By Optical Means (AREA)
- Apparatus For Radiation Diagnosis (AREA)
- Ultra Sonic Daignosis Equipment (AREA)
Abstract
本发明涉及一种图像处理方法和图像处理设备。为了适当地减少数据量,例如,将血管线中从分支点或端点到下一分支点或端点的特征点设置为一组。对于每一组,在满足连续的三个特征点的矢量的外积的绝对值小于外积阈值的条件和上述三个特征点的余弦小于余弦阈值的条件中的一个条件的三个特征点中,去除满足上述条件中的另一个条件并且为最小的三个特征点中的中间的特征点。
Description
技术领域
本发明涉及一种图像处理方法、图像处理设备及其程序,本发明可应用于例如进行生物认证的情况。
背景技术
迄今为止,存在用血管作为生物认证的对象。通常,认证设备将通过成像所获得的血管的图像登记在存储器中,作为用于识别此时成像的活体的信息;或者通过与上面登记的血管的图像进行比较,来判断成像的人是否是所述登记的人。
顺便提及,近年来,希望减少将数据登记在存储器等中时的数据量。作为对此的一种对策,提出了以下技术:仅登记上述图像中的血管的特征点(位置),而不登记血管的图像(例如,日本专利公开号1998-295674)。例如,作为用于从血管提取特征点的具体技术,存在被称为Harris角点(Harris Corner)的技术。
发明内容
然而,在上述技术中,还提取血管中缓和曲线(gentlecurve)部分的点作为角点。因此,经常提取不是特征构成要素的点,并且通常在数据减少量方面也是不足的。尤其是,当用于对血管进行成像的照相机的图像质量变得较高时,明显存在该问题。
另一方面,在该图像中的血管中,如果去除太多点,则可能失去作为识别信息的意义。因此,需要能够适当地提取作为血管的特征构成要素的点、而不失去作为识别信息的意义的技 术。
鉴于上述情况,希望提供一种可以适当减少信息量的图像处理方法、图像处理设备及其程序。
根据本发明的实施例,提供一种图像处理方法、图像处理设备及其程序,它们在输入的图像数据的图像所包含的对象轮廓中,去除作为该轮廓的构成要素的特征的特征点,并且在被检测为轮廓的特征点的分支点、端点和曲线点中,将从分支点或端点到下一分支点或端点的特征点分配为一组。通过如上将从分支点或端点到下一分支点或端点的特征点分配为一组,可以以没有分支的线段为单位进行轮廓的处理。然后,对于每一所述组,在满足连续的三个特征点的矢量的积小于预定阈值的条件和所述三个特征点的余弦小于预定余弦阈值的条件这两个条件中的一个条件的三个特征点中,去除满足上述两个条件中的另一个条件且为最小的三个特征点中的中间的特征点。
因为仅仅考虑由连续的三个特征点所形成的平行四边形的面积的大小,因而可以准确选择连接这三个特征点的线段的线性高的特征点中的中间的特征点作为去除对象。因而,可以去除特征点,使得去除后的轮廓变得简单(平滑),并且使得去除前的轮廓和去除后的轮廓的形状近似。
除此之外,由于将组中的特征点中大多数具有线性的部分处的特征点设置为唯一去除对象,因而,与采用同时观察上述两个条件并且每当满足上述条件时去除相应的特征点的处理的情况相比,可以从整体的观点而不是局部地选择作为去除对象的特征点。因此,可以更准确地去除特征点。
而且,对于每一组,将满足连接连续两个特征点的线段小于预定的线段阈值的条件的两个特征点,替换成以由上述两个特征点和与这两个特征点中的一个特征点连接的特征点形成的第一面积、与由上述两个特征点和与这两个特征点中的另一个特征点连接的特征点形成的第二面积的比率内分该线段的内分点,或者替换成连接上述两个特征点中的一个特征点和与该特征点连接的特征点的延长线、与连接上述两个特征点中的另一个特征点和与该特征点连接的特征点的延长线的交点。通过考虑与这两个特征点连接的特征点的位置生成新的特征点,而不仅仅简单注意形成短线段的两个特征点,可以去除特征点,使得去除后的对象的轮廓变得简单(平滑),并且使得去除前的轮廓和去除后的轮廓的形状近似。
根据本发明的实施例,可以实现以下图像处理方法、图像处理设备及其程序:其中,可以通过去除特征点适当地减少信息量,使得对象的轮廓变得简单(平滑),并且使得去除前的轮廓和去除后的轮廓的形状近似。
通过以下结合附图的详细说明,本发明的本质、原理和应用将变得更明显,其中,在附图中,以相同的附图标记表示相同的部分。
附图说明
在附图中:
图1是示出根据该实施例的认证设备的总体结构的框图;
图2是示出第一特征点提取处理的功能结构的框图;
图3A~3C是示出端点、分支点和孤立点附近的黑像素的出现模式(appearance pattern)的示意图;
图4A~4C是用于说明端点、分支点和孤立点的检测的示意图;
图5是用于说明基于端点和分支点的曲线点检测的示意图;
图6是用于说明黑像素的追踪粗略线(tracking rough line)的示意图;
图7A和7B是示出直线上的点和曲线点附近的黑像素的出 现模式的示意图;
图8是用于说明曲线点的检测的示意图;
图9A~9C是示出追踪时的像素的搜索顺序模式的示意图;
图10是用于说明黑像素的搜索的示意图;
图11是用于说明曲线点去除的处理单位的示意图;
图12是用于说明分支点附近的曲线点的去除的示意图;
图13是用于说明去除前和去除后的曲线点的示意图;
图14A和14B是用于说明去除曲线点对血管线的影响的示意图;
图15是示出第二阶段的曲线点的去除处理过程的流程图;
图16是用于说明基于外积和余弦去除曲线点的示意图;
图17A和17B是用于说明曲线点的置换的示意图;
图18是示出第三阶段的曲线点的去除处理过程的流程图;
图19是用于说明Z形血管线中的曲线点的去除的示意图;
图20是用于说明U形血管线中的曲线点的去除的示意图;
图21是示出第四阶段的曲线点的去除处理过程的流程图;
图22是用于说明基于外积去除曲线点的示意图;
图23是用于说明端点的去除的示意图;
图24是用于说明部分血管线的连接(三个分支)的示意图;
图25是用于说明部分血管线的连接(四个分支)的示意图;
图26是示出原始血管线的像素和复原的血管线的像素之间的关系的示意图;
图27是用于说明搜索最接近于原始血管线的第一次变化位置的示意图;
图28是示出第一次变化的结果的示意图;
图29是用于说明搜索最接近于原始血管线的第二次变化位置的示意图;
图30是示出第二次变化的结果的示意图;
图31A~31C是示出特征点提取处理(1)之前和之后的血管图像的示意图;
图32是示出第二特征点提取处理的功能结构的框图;
图33是用于说明对于原始血管线像素判断线段的通过率的示意图;
图34A~34D是示出去除处理过程的流程图;
图35是示出去除前和去除后的曲线点的示意图;
图36A~36C是示出特征点提取处理(2)之前和之后的血管图像的示意图;
图37是用于说明以所关注的像素为中心的三维上的搜索区域的示意图;
图38A~38C是用于说明三维血管线中的端点、分支点和孤立点的检测的示意图;
图39是用于说明三维血管线的追踪的示意图;以及
图40A和40B是用于说明搜索区域中的划分模式的切换的示意图。
具体实施方式
将参考附图说明本发明的优选实施例:
(1)根据该实施例的认证设备的总体结构
图1示出根据该实施例的认证设备1的总体结构。认证设备1由分别通过总线16连接到控制部10的操作部11、血管成像部12、闪存13、用于向外部设备发送数据或从外部设备接收数据的接口(以下称之为外部接口)14、以及通知部15形成。
控制部10是包括用于控制整个认证设备1的中央处理单元(CPU)、存储各种程序和所设置的信息的只读存储器(ROM) 和用作上述CPU的工作存储器的随机存取存储器(RAM)的微型计算机。
根据用户的操作,将用于登记待登记用户(以下称之为登记者)的血管的模式(以下称之为血管登记模式)下的执行命令COM1或用于判断所述登记者的有无的模式(以下称之为认证模式)下的执行命令COM2,从操作部11提供给控制部10。
控制部10基于上述的执行命令COM1、COM2确定要执行的模式。基于与该判断结果相对应的程序,控制部10适当地控制血管成像部12、闪存13、外部接口14和通知部15,以执行血管登记模式或认证模式。
(1-1)血管登记模式
在控制部10将血管登记模式确定为要执行的模式的情况下,控制部10将操作模式切换成血管登记模式,并控制血管成像部12。
在这种情况下,血管成像部12中的驱动控制部12a对一个或多个用于向认证设备1中的预定位置发射近红外光的近红外光光源LS和成像照相机CM中的例如为电荷耦合装置(chargecoupled device,CCD)的摄像装置ID进行驱动控制。
当将手指放置在预定位置时,从近红外光光源LS发出的近红外光由于反射和散射而通过手指的内部,并且作为投射手指血管的光(以下称之为血管投射光)通过光学系统OP发射到摄像装置ID。摄像装置ID对血管投射光进行光/电转换,并将上述光/电转换的结果作为图像信号S1发送给驱动控制部12a。
实际上,关于这一点,一些向手指发射的近红外光在上述手指的表面上反射,然后被发射到摄像装置ID。因此,从摄像装置ID输出的图像信号S1的图像变成以下状态:除手指内部的血管外,还包括手指的轮廓和指纹。
驱动控制部12a基于该图像的像素值,调整光学系统OP中的光学透镜的透镜位置从而聚焦于手指内部的血管,并且还调整对摄像装置ID的曝光时间,使得进入摄像装置ID的入射光的量为合适的量。在上述调整后,驱动控制部12a将从摄像装置ID输出的图像信号S2提供给控制部10。
控制部10对图像信号S2顺序地进行边缘处理、平滑处理、二值化处理和细线化处理,以提取上述图像信号S2的图像中所包含的血管。然后,在血管中,控制部10执行用于提取作为上述血管的构成要素的特征的点(以下称之为特征点)的处理(以下称之为特征点提取处理)。将这样获得的示出多个特征点的信息(以下称之为位置信息)和示出这些特征点的连接关系的信息(以下称之为相位信息)存储在闪存13中,作为登记数据D1。
这样,控制部10可以执行血管登记模式。
(1-2)认证模式
另一方面,在控制部10将认证模式确定为要执行的模式的情况下,控制部10切换到认证模式,并且类似于上述血管登记模式的情况,控制血管成像部12。
在这种情况下,血管成像部12对近红外光光源LS和摄像装置ID进行驱动控制,还基于从上述摄像装置ID输出的图像信号S10调整光学系统OP中的光学透镜的透镜位置和摄像装置ID的曝光时间。在上述调整后,血管成像部12将从摄像装置ID输出的图像信号S20提供给控制部10。
控制部10对图像信号S20进行与上述血管登记模式类似的边缘处理、平滑处理、二值化处理和细线化处理,以提取图像信号S20的图像中所包含的血管。
此外,控制部10读取登记在闪存13中的登记数据D1,并基于上述登记数据D1中的位置信息和相位信息来复原血管。
然后,控制部10将这些复原的血管与从图像信号S20中提取的血管进行比较,并根据上述比较的程度,判断此时将他/她的手指放在上面的用户是否是已登记者(正规用户)。
这里,当判断该用户为已登记者时,控制部10生成执行命令COM3,以使连接到外部接口14的操作处理设备(未示出)进行预定的操作,并通过外部接口14将执行命令COM3传送到该操作处理设备。
作为连接到外部接口14的该操作处理设备的实施例,例如,在采用锁定状态的门的情况下,控制部10将使门进行开锁操作的执行命令COM3传送给该门。此外,作为操作处理设备的另一实施例,在采用处于在多个操作模式中限制了部分操作模式的状态下的计算机的情况下,控制部10将使计算机释放所限制的操作模式的执行命令COM3传送给该计算机。
注意,给出了两个例子作为实施例,但本发明不仅仅局限于此,而且可以适当地选择其它实施例。而且,在该实施例中,涉及了操作处理设备连接到外部接口14的情况。然而,可以将该操作处理设备中的软件和硬件的结构嵌入在认证设备1中。
相反,当判断该用户不是已登记者时,控制部10在通知部15中的显示部15a上显示该事件,还通过通知部15中的音频输出部15b进行音频输出。从而通过视觉和听觉通知该用户被判断为不是已登记者。
这样,控制部10可以执行认证模式。
(2)第一特征点提取处理的具体处理内容
接着,作为在登记模式中控制部10所执行的特征点提取处理,在该实施例中给出两个具体的处理内容。首先说明第一特征点提取处理的具体处理内容。
如图2所示,在功能上,可以将第一特征点提取处理分别分 成特征点检测部21、曲线点去除部22、端点去除部2 3和特征点校正部24。以下将详细说明这些特征点检测部21、曲线点去除部22、端点去除部23和特征点校正部24中的每一个。
(2-1)特征点的检测
将对从摄像装置ID输出的图像信号S2(图1)的边缘处理、平滑处理、二值化处理和细线化处理的处理结果作为图像数据提供给特征点检测部21。通过二值化处理将该图像数据的图像中所包含的血管设置成黑像素或相反的白像素,并且通过细线化处理将它们的宽度(厚度)设置成“1”。
血管宽度为“1”表示血管宽度为一个像素,也就是说,作为将该图像数据中的线宽设置成一个像素的结果,将与血管的血液流动方向正交的方向上的参数(像素的数量)固定为最小单位,并且通过“线”来表现血管。
以下通过分开的阶段说明对该一个像素宽度的血管(以下称之为血管线)上的特征点的检测处理。然而,在该实施例中,通过假定血管的像素为黑像素进行说明。
(2-1-1)第一阶段
作为第一阶段,特征点检测部21从形成血管线的像素(黑像素)中检测称为血管线中的特征的本质的分支点和端点。
具体地,在形成输入的图像(图像数据)的每一像素中,特征点检测部21按照预定的顺序将背景像素(白像素)以外的像素(黑像素)设置为目标像素,并检查在上述目标像素附近的像素(上、下、左、右方向上的四个像素和对角线方向上的四个像素,总共八个像素)中存在的黑像素的数量。
这里,图3A~3C示出在血管线中的端点、分支点和孤立点和它们附近的像素中存在的黑像素的出现模式。同样从图3A~3C中显而易见,在以一个像素宽度表现血管的情况下,血管 (即,血管线)中的端点、分支点和孤立点与它们附近的黑像素的“数量”之间的关系变得有意义,并且作为分支模式,一般为三个分支或四个分支。
例如,如图4A~4C所示,在目标像素的附近存在一个黑像素的情况下(图4A),特征点检测部21将该目标像素检测为血管线的端点。在目标像素的附近存在三个黑像素的情况下(图4B),或者在目标像素的附近存在四个黑像素的情况下(未示出),特征点检测部21将该目标像素检测为分支点。在目标像素的附近不存在黑像素的情况下(图4C),特征点检测部21将该目标像素检测为孤立点。
然后,在由此所检测到的端点、分支点和孤立点中,特征点检测部21去除不是血管线的构成要素的孤立点。
这样,在第一阶段中,特征点检测部21根据在被设置为目标像素的黑像素附近存在的黑像素的数量,检测血管线中的端点和分支点。
(2-1-2)第二阶段
接下来,作为第二阶段,特征点检测部21基于在第一阶段所检测到的端点和分支点,从形成血管线的像素(黑像素)中检测曲线点。
例如,在图5所示的情况下,特征点检测部21将分支点DP1设置为起点,将被设置为起点的上述分支点DP1之后出现的其它特征点(端点EP1、端点EP2、分支点DP2)设置为终点,并追踪从起点开始到终点为止的血管线(以下称之为部分血管线)。类似地,特征点检测部21通过将分支点DP2设置为起点,并将被设置为起点的上述分支点DP2之后出现的其它特征点(端点EP3、端点EP4)设置为终点,来追踪部分血管线。
在该图5所示的例子中,将分支点DP1、DP2设置为起点, 然而,可以将端点设置为起点。关于这一点,同样根据图5显而易见,端点一般仅可以是起点和终点中的任何一个。然而,分支点一般可以重复为起点和终点中的一方或者双方。
这里,图6示出具体的追踪方案。在该图6中,特征点检测部21通过设置在当前的目标像素(以网状阴影表示的像素)附近存在的黑像素中的以前被设置为目标像素的黑像素(以水平阴影表示的像素)以外的黑像素,从在当前目标像素附近存在的黑像素的起点开始到终点为止,顺序追踪连续黑像素。
由于该连续黑像素(部分血管线)是从分支点或端点到下一分支点或端点的血管线,因而不存在分支。因此,目标像素一般为直线上的点或曲线点。关于这一点,图7A和7B示出直线上的点和曲线点附近的黑像素的出现模式。
例如,如图8所示,在起点和终点(以斜格状阴影表示的像素)之间的追踪处理中,如果从被设置为下一目标像素的黑像素开始失去了当前目标像素之前的黑像素的线性,则特征点检测部21将上述当前目标像素检测为曲线点(以格状阴影表示的像素)。
如果很快到达终点,则特征点检测部21将该部分血管线中从起点经由曲线点到终点的特征点分配为一组。
这样,在第二阶段,特征点检测部21追踪从分支点或端点到下一分支点或端点的每一部分血管线的血管线,并将上述追踪的方向改变的位置检测为曲线点。同样,特征点检测部21将部分血管线中从起点经由曲线点到终点的这些特征点分配为一组。
在该实施例的情况下,如图7A和7B所示,考虑到直线上的点和曲线点附近的出现模式十分重要。在特征点检测部21中,根据当前目标像素和作为当前目标像素的前一目标像素的像素 (以下称之为紧挨在之前的目标像素)之间的位置关系,设置目标像素附近的像素的追踪顺序模式。
具体地,如图9A~9C所示,在紧挨在之前的目标像素(以水平阴影表示的像素)位于当前目标像素(以网状阴影表示的像素)的水平方向、垂直方向和对角线方向的情况下,分别设置追踪顺序模式。同样从图7A和7B显而易见,在紧挨在之前的目标像素位于当前目标像素的水平方向或垂直方向的情况下(图9A、9B),在一个像素宽度的血管线中,出现下一黑像素的位置为朝向紧挨在之前的目标像素的像素Po1和与像素Po1相邻的像素Po2、Po3。因此,在这种情况下的追踪顺序模式中,将上述像素Po1设置为第一,将与像素Po1相邻的像素Po2、Po3设置为第二和第三。
另一方面,同样从图7A和7B显而易见,在紧挨在之前的目标像素位于当前目标像素的对角线方向的情况下(图9C),在一个像素宽度的血管线中,除朝向紧挨在之前的目标像素的像素Po1和与像素Po1相邻的像素Po2、Po3外,下一出现的位置为与像素Po2、Po3相邻的像素Po4、Po 5。因此,在这种情况下的追踪顺序模式中,将上述像素Po1设置为第一,将与像素Po1相邻的像素Po2、Po3设置为第二和第三,将与像素Po2、Po3相邻的像素Po4、Po5设置为第四和第五。
在这些追踪顺序模式中,例如,如图10所示,在紧挨在之前的目标像素位于当前目标像素的对角线方向的情况下,特征点检测部21选择相应的追踪顺序模式,并按照该追踪顺序模式的顺序从当前目标像素附近的部分开始追踪黑像素。
这样,特征点检测部21根据当前目标像素和紧挨在之前的目标像素之间的位置关系,按顺序追踪当前目标像素附近的一部分像素。从而,与对上述当前目标像素附近的所有像素一律 进行追踪的情况相比,可以以较高的速度检测到曲线点。
(2-2)曲线点的去除
曲线点去除部22通过将被特征点检测部21分配成一组的、部分血管线中从起点经由曲线点到终点的特征点(以下称之为部分血管形成序列)设置为处理单位,根据需要去除曲线点。
在使用图5中的血管线作为例子的情况下,如图11所示,部分血管线形成序列由如下部分形成:部分血管线BSL1中的起点(分支点)GPf1和终点(端点)GPE1、上述起点和终点之间的曲线点(未示出)、部分血管线BSL2中的起点(分支点)GPf2 和终点(端点)GPE2、上述起点和终点之间的曲线点(未示出)、部分血管线BSL3中的起点(分支点)GPf3和终点(端点)GPE3、上述起点和终点之间的曲线点(未示出)、部分血管线BSL4中的起点(分支点)GPf4和终点(端点)GPE4、上述起点和终点之间的曲线点(未示出)、以及部分血管线BSL5中的起点(分支点)GPf5和终点(端点)GPE5以及上述起点和终点之间的曲线点(未示出)。根据需要去除这些部分血管形成序列中的曲线点。关于这一点,尽管作为位置(坐标)信息,该图11中的分支点GPf1、GPf2和GPf3、GPf4和GPf5是相同的,但是它们属于不同组。因此,为了方便分开示出它们。
因为这些部分血管形成序列中的曲线点的去除处理的内容是相同的,因而通过限制成将某一部分血管形成序列作为处理对象的情况,就每一阶段说明上述内容。
(2-2-1)第一阶段
首先,作为第一阶段,在部分血管形成序列中的起点和终点中的任何一个或两者为分支点的情况下,如果在该分支点的附近存在曲线点,则曲线点去除部22去除该曲线点。
具体地,例如,如图12所示,在形成部分血管线BSLX的部 分血管形成序列的起点为分支点DPX的情况下,曲线点去除部22去除在分支点DPX周围的像素(上、下、左、右方向上的四个像素和对角线方向上的四个像素,总共八个像素)中存在的曲线点BPX。
因此,曲线点去除部22选择倾向于多次频繁出现的、但作为特征构成要素存在的意义不大的曲线点作为去除对象。结果,例如,如图13所示,曲线点去除部22可以去除曲线点,使得去除后的部分血管线变得简单(平滑),以及去除后的部分血管线的形状近似于去除前的部分血管线。
关于这一点,在图12的例子中,将分支点DPX附近设置为分支点DPX的附近。然而,作为代替,可以将分支点DPX附近设置为距离分支点DPX预定距离的区域。同样,在这种情况下,可以获得与图12的例子的情况类似的结果。
这样,在第一阶段中,曲线点去除部22旨在通过去除在分支点的“附近”存在的曲线点,来降低数据量。
注意,与在第二阶段后执行去除处理而不在第一阶段执行去除处理的情况相比,曲线点去除部22可以在上述第二阶段后更准确地去除曲线点。这通过本申请人的实验结果是显而易见的。作为其中一个原因,考虑到在分支点的附近存在曲线点,隐藏了本来应该为特征构成要素的其它曲线点。
(2-2-2)第二阶段
接下来,作为第二阶段,在部分血管形成序列的情况下,由连续的三个特征点形成的线段接近直线,曲线点去除部22去除上述三个特征点的中间的特征点。作为用于判断是否接近如上的直线的条件,采用由连续的三个特征点形成的余弦和由这些特征点形成的平行四边形的面积。关于这一点,尽管该连续的三个特征点的两端有时是分支点或端点,但是中间的特征点 始终是曲线点。
这里,如果仅以连续的三个特征点所形成的余弦为条件,例如,如图14A和14B所示,当由中间的特征点GPC和两端的特征点GPE-1、GPE-2所形成的平行四边形的面积(以阴影表示的面积)小时(图14A),即使去除中间的特征点GPC,去除后的血管线的状态不会由于去除而与去除前的血管线有很大的不同。
然而,当由中间的特征点GPC和两端的特征点GPE-1、GPE-2 所形成的平行四边形的面积大时(图14B),如果去除中间的特征点GPC,则去除后的血管线的状态由于去除而与去除前的血管线有很大的不同。
这样,不仅仅以由连续的三个特征点所形成的余弦的大小为条件,而且还添加由上述三个特征点所形成的平行四边形的面积的大小作为条件,才可以准确地选择曲线点作为去除对象,这样可以使得去除后的部分血管线平滑,以及使得去除前的部分血管线和去除后的部分血管线的形状近似。
具体地,从部分血管形成序列中的起点开始,以图15的流程图中所示的过程来执行该第二阶段中的曲线点的去除处理。也就是说,曲线点去除部22选择连续的三个特征点作为当前目标对象(步骤SP1)。
然后,例如,如图16所示,在被设置为当前目标对象的三个特征点(以下称之为作为当前目标的连续三个点)GPi-1、GPi、GPi+1(i=2、3...,m(m为整数))中,曲线点去除部22获得一端的特征点GPi-1和中间的特征点GPi之间的矢量B1与中间的特征点GPi和另一端的特征点GPi+1之间的矢量B2的外积的绝对值(步骤SP2),并判断该绝对值是否小于预定阈值(以下称之为外积阈值)(步骤SP3)。
这里,如果该绝对值大于或等于外积阈值,则这意味着由 作为当前目标的连续三个点GPi-1、GPi、GPi+1所形成的平行四边形的面积大。在这种情况下,曲线点去除部22从部分血管形成序列的起点侧向终点侧将当前目标对象移位一个点(步骤SP4),并判断是否能够选择将被设置为下一当前目标对象的连续的三个特征点(步骤SP5)。
相反,如果该绝对值小于外积阈值,也就是说,如果由作为当前目标的连续三个点GPi-1、GPi、GPi+1所形成的平行四边形的面积小,则曲线点去除部22获得上述作为目标的连续三个点GPi-1、GPi、GPi+1的余弦θi(步骤SP6),并将余弦θi和中间的特征点GPi相互对应地临时存储(步骤SP7)。然后,曲线点去除部22从部分血管形成序列的起点侧向终点侧将当前目标对象移位一个点(步骤SP4),并判断是否能够选择将被设置为下一当前目标对象的连续的三个特征点(步骤SP5)。
这样,对于部分血管形成序列,通过从部分血管形成序列的起点向终点移位一个点,曲线点去除部22顺序地选择连续的三个特征点作为目标对象。如果此时所选择的作为当前目标的连续三个点GPi-1、GPi、GPi+1中的矢量B1和B2的外积的绝对值小于外积阈值,则曲线点去除部22将作为当前目标的连续三个点GPi-1、GPi、GPi+1(图16)的余弦θi和中间的特征点GPi(图16)相互对应地临时存储(步骤SP1~SP7)。
然后,如果不可能选择下一连续三个点,则曲线点去除部22判断在直到此时临时存储的余弦中的最小余弦是否小于预定阈值(以下称之为余弦阈值)(步骤SP8)。
这里,如果最小余弦小于余弦阈值,则其意味着由连续的三个特征点所形成的线的线性高。在这种情况下,曲线点去除部22去除与最小余弦相对应的三个特征点中的中间的特征点(步骤SP9)。然后,曲线点去除部22从部分血管形成序列中的 起点开始再次重复上述处理,直到部分血管形成序列中不存在能够形成小于余弦阈值的余弦的三个特征点为止。
相反,如果最小余弦大于或等于余弦阈值,也就是说,如果在部分血管形成序列中不存在能够形成小于余弦阈值的余弦的三个特征点,则曲线点去除部22完成第二阶段的去除处理。
曲线点去除部22通过上述过程在第二阶段执行曲线点的去除处理。
关于这一点,在图16的去除处理中,作为该过程,在部分血管形成序列的连续的三个特征点中,预先选择矢量B1和B2(图16)的外积的绝对值小于外积阈值的一组连续的三个特征点,如果上述所选择的三个特征点的余弦θi(图16)中的最小余弦θi小于余弦阈值,则去除与最小余弦θi对应的三个特征点中的中间的特征点。然而,作为代替,预先选择上述三个特征点的余弦小于余弦阈值的一组连续的三个特征点,如果上述所选择的三个特征点的外积的绝对值中的最小绝对值小于外积阈值,则可以去除与最小绝对值对应的三个特征点中的中间的特征点。
这意味着,可以将作为当前目标的连续三个点GPi-1、GPi、GPi+1的矢量B1和B2(图16)的外积的绝对值小于外积阈值的条件或者上述作为当前目标的连续三个点GPi-1、GPi、GPi+1的余弦θi(图16)小于余弦阈值的条件,设置为用于选择作为去除候选对象的三个特征点的条件,还可以将其设置为用于从选择作为候选的三个特征点中确定将被设置为去除对象的三个特征点的条件。
无论如何,由于是以由连续的三个特征点所形成的余弦和由上述三个特征点所形成的平行四边形的面积为条件,同样如参考图14A和14B所述,曲线点去除部22在部分血管形成序列的 连续的三个特征点中,准确地选择具有最高线性的三个特征点GPE-1-GPC-GPE-2的中间的特征点GPC作为去除对象。
结果,曲线点去除部22可以去除曲线点,使得去除后的部分血管线变得简单(平滑),并且去除后的部分血管线的形状近似于去除前的部分血管线。
这样,在第二阶段,曲线点去除部22目的是在满足以下条件之一的三个特征点中,通过去除满足以下条件中的另一个条件并且为最小的三个特征点中的中间的特征点,来降低数据量,该条件为:部分血管形成序列中的连续的三个特征点的矢量的外积的绝对值小于外积阈值的条件和上述三个特征点的余弦小于余弦阈值的条件。
注意,曲线点去除部22重复执行用于去除作为唯一的去除对象的、在整个部分血管形成序列中具有最高线性的部分中的曲线点的处理。因此,与采用同时注意部分血管形成序列中连续的三个特征点的矢量的外积的绝对值小于外积阈值的条件和由上述三个特征点所形成的内角小于规定值的条件的处理的情况相比,可以从整体的观点而不是局部地选择部分血管形成序列中的作为去除对象的曲线点,并且每当满足上述条件时立即去除相应的曲线点。因此,可以进一步准确地去除曲线点。
(2-2-3)第三阶段
接着,作为第三阶段,在部分血管形成序列的情况下,连接连续两个特征点的线段短于规定值,例如,如图17A和17B所示,根据血管线GPY-1-GPX-1-GPX-2-GPY-2的形状,其中血管线GPY-1-GPX-1-GPx-2-GPY-2连接包括与形成上述短线段的特征点GPX-1、GPX-2连接的特征点GPY-1、GPY-2在内的四个特征点,曲线点去除部22将形成该短线段的特征点GPX-1、GPX-2替换成新的特征点GPN-1、GPN-2。关于这一点,尽管连续四个特征点的 两端有时是分支点或端点,但是作为替换对象的两个特征点GPX-1、GPX-2一般为曲线点。
这里,如图17A和17B给出的例子,连接连续的四个特征点的血管线GPY-1-GPX-1-GPX-2-GPY-2的形状差不多为“Z”形或“U”形。在具有“Z”形的情况下,曲线点去除部22将以面积A1与面积A2的比内分的点设置为新的特征点GPN-1,并使得连接上述三个特征点的血管线GPY-1-GPN-1-GPY-2的形状为“I”形,其中,面积A1为由形成短线段的特征点GPX-1、GPX-2和与该线段的一端连接的特征点GPY-1所形成的平行四边形的面积,面积A2是由上述特征点GPX-1、GPX-2和与该线段的另一端连接的特征点GPY-2 所形成的平行四边形的面积。
另一方面,在具有“U”形的情况下,曲线点去除部22将连接形成短线段的特征点GPX-l、GPX-2和与该线段连接的相应的特征点GPY-1、GPY-2的线段GPY-1-GPX-1、GPY-2-GPX-2的延长线的交点设置为新的特征点GPN-2,并使得连接上述三个特征点的血管线GPY-1-GPN-2-GPY-2的形状为“V”形。
同样从图17A和17B显而易见,不仅针对形成短线段的两个特征点GPX-1、GPX-2,而且通过考虑与上述两个特征点GPX-1、GPX-2连接的特征点GPY-1、GPY-2的位置,并生成新的特征点GPN-1、GPN-2,可以准确地选择曲线点作为去除对象,这样可以简化(平滑)去除后的部分血管线,并且使得去除前的部分血管线和去除后的部分血管线的形状近似。
从部分血管形成序列中的第二特征点开始,按照图18的流程图中所示的过程来执行该第三阶段的曲线点的去除处理。也就是说,曲线点去除部22选择连续的两个特征点作为当前目标对象(步骤SP11)。
然后,如果作为当前目标对象的两个特征点的另一端没有 到达部分血管形成序列的终点(步骤SP12),则曲线点去除部22判断此时所选择的两个特征点之间的线段是否小于预定阈值(以下称之为第一线段阈值)(步骤SP13)。如果该线段大于或等于第一线段阈值,则曲线点去除部22将当前目标对象从部分血管形成序列的起点侧向终点侧移位一个点(步骤SP14)。
这样,通过从部分血管形成序列的起点向终点移位一个点,曲线点去除部22顺序地选择连续的两个特征点,直到选择到满足线段小于第一线段阈值的条件的两个特征点为止(步骤SP11~SP14)。
相反,如果这两个特征点之间的线段小于第一线段阈值,例如,如图19所示,曲线点去除部22获得作为当前目标对象的特征点GPj(j=2、3、...n(n为整数))和GPj+1之间的矢量B10与特征点GPj和连接到特征点GPj的一端侧的特征点GPj-1之间的矢量B11的外积。而且,曲线点去除部22获得作为当前目标对象的两个特征点GPj和GPj+1之间的矢量B10与特征点GPj+1和连接到特征点GPj+1的另一端侧的特征点GPj+2之间的矢量B12的外积(步骤SP15)。然后,曲线点去除部22判断矢量B10和B11的外积以及矢量B11和B12的外积的正负符号是否一致(步骤SP16)。
这里,如果正负符号不一致,如图19的该例子所示,其意味着连接作为当前目标对象的两个特征点GPj、GPj+1及其前后所连接的特征点GPj-1、GPj+2的线段GPj-1-GPj-GPj+1-GPj+2的形状为“Z”形。
在这种情况下,曲线点去除部22将矢量B10和B11的外积的绝对值(即,由特征点GPj-1、GPj、GPj+1所形成的平行四边形的面积Ta)设置为“PD1”,还将矢量B10和B12的外积的绝对值(即,由特征点GPj、GPj+1、GPj+2所形成的平行四边形的面积 Tb)设置为“PD2”,并根据下面的等式(步骤SP17)获得内分为面积Ta∶Tb的内分点GPD(步骤SP17):
然后,曲线点去除部22生成内分点GPD,还去除作为当前目标对象的两个特征点GPj、GPj+1(步骤SP18),然后将当前目标对象从部分血管形成序列的起点侧向终点侧移位一个点(步骤SP14),并重复上述处理。
相反,如果正负符号一致,例如,如图20所示,其意味着连接作为当前目标对象的两个特征点GPj、GPj+1及其前后所连接的特征点GPj-1、GPj+2的线段GPj-1-GPj-GPj+1-GPj+2的形状为“U”形。
在这种情况下,曲线点去除部22将矢量B10和B12的外积设置为“PD3”,将矢量B11和B12的外积设置为“PD4”,并根据下面的等式获得矢量B11和B12的延长线上的交点GPIN(步骤SP19):
然后,曲线点去除部22生成交点GPIN,还去除作为当前目标对象的两个特征点GPj、GPj+1(步骤SP18),然后将当前目标对象从部分血管形成序列的起点侧向终点侧移位一个点(步骤SP14),并重复上述处理。
曲线点去除部22通过上述过程在第三阶段执行曲线点的去除处理。
同样如在图17A和17B中所示,曲线点去除部22考虑到与连续的两个特征点GPX-1、GPX-2前后连接的特征点GPY-1、GPY-2的 位置。因此,可以将应该被设置为去除对象的两个特征点GPX-1、GPX-2准确地替换成新的特征点GPN-1、GPN-2。
结果,曲线点去除部22可以去除曲线点,使得去除后的部分血管线变得简单(平滑),并且去除后的部分血管线的形状近似于去除前的部分血管线。
这样,在第三阶段,曲线点去除部22旨在通过将满足连接部分血管形成序列中的连续的两个特征点的线段GPX-1-GPX-2小于第一线段阈值的条件的两个特征点GPX-1、GPX-2,替换成以由这两个特征点和与这两个特征点中的一个特征点连接的特征点所形成的面积Ta、与由上述两个特征点和与这两个特征点中的另一个特征点连接的特征点所形成的面积Tb的比内分该线段的内分点GPD;或者替换成连接这两个特征点中的一个特征点和与该特征点连接的特征点的延长线、与连接上述两个特征点中的另一个特征点和与该特征点连接的特征点的延长线的交点GPIN,来减少数据量。
注意,曲线点去除部22根据连续两个特征点和与这两个特征点中的一个特征点连接的特征点的外积、和上述两个特征点和与这两个特征点中的另一个特征点连接的特征点的外积的正负符号的不同,来切换将被替换的点(GPD或GPIN)。也就是说,通过考虑与连续的两个特征点GPX-1、GPX-2前后连接的特征点GPY-1、GPY-2的连接状态,可以准确地替换特征点。
(2-2-4)第四阶段
最后,作为第四阶段,对于部分血管形成序列,如果由连续的三个特征点所形成的平行四边形的面积小于规定值,则曲线点去除部22去除中间的特征点。关于这一点,连续的三个特征点的两端有时是分支点或端点,然而,中间的特征点一般为曲线点。
这里,在第二阶段,还通过考虑由连续的三个特征点所形成的平行四边形的余弦的大小,来考虑线性,而在第四阶段,不考虑线性,并且如果该平行四边形的面积小于规定值,则去除该曲线点。
这是因为,在第二和第三阶段的去除处理中,通过在不探究部分血管形成序列的细节的情况下广泛地捕捉,来去除曲线点,因此,当完成上述去除处理时,几乎将由部分血管形成序列中的连续的三个特征点所形成的平行四边形的面积小于规定值的部分限制到不十分远离并且高度集中的曲线点,使得即使将该部分中的曲线点设置为去除对象,去除后的血管线的状态也不会与去除前的血管线有很大的不同。
具体地,从部分血管形成序列中的起点开始,按照图21的流程图中所示的过程来执行第四阶段的曲线点的去除处理。也就是说,曲线点去除部22选择连续的三个特征点作为当前目标对象(步骤SP21)。
然后,例如,如图22所示,在作为当前目标的连续三个点(被设置为当前目标对象的三个特征点)GPk-1、GPk、GPk+1(k=2,3,...,s(s为整数))中,曲线点去除部22获得一端的特征点GPk-1和中间的特征点GPk之间的矢量B21与中间的特征点GPk和另一端的特征点GPk+1之间的矢量B22的外积的绝对值(步骤SP22),并将该外积的绝对值和作为当前目标的连续三个点GPk-1、GPk、GPk+1(位置信息)相互对应地临时存储(步骤SP23)。
然后,曲线点去除部22将当前目标对象从部分血管形成序列的起点侧向终点侧移位一个点(步骤SP24),并判断是否能够选择应该被设置为下一当前目标对象的连续的三个特征点(步骤SP25)。
这样,对于部分血管形成序列,曲线点去除部22通过将连续的三个特征点从部分血管形成序列的起点向终点移位一个点,顺序地选择目标对象,并将此时所选择的作为当前目标的连续三个点GPk-1、GPk、GPk+1所形成的平行四边形的面积(图22)(矢量B21和B22的外积的绝对值)和此时所选择的作为当前目标的连续三个点GPk-1、GPk、GPk+1(图16)相互对应地临时存储(步骤SP21~SP25)。
然后,如果无法选择下一连续的三个特征点,则在直到此时临时存储的外积的绝对值中,曲线点去除部22判断最小的外积的绝对值是否小于预定阈值(以下称之为第二外积阈值)(步骤SP26)。
这里,如果该绝对值小于第二外积阈值,则曲线点去除部22去除与最小的外积绝对值相对应的三个特征点GPk-1、GPk、GPk+1(图22)中的中间的特征点GPk(步骤SP27)。然后,曲线点去除部22从部分血管形成序列的起点开始再次重复上述处理,直到在部分血管形成序列中不存在能够形成小于余弦阈值的余弦的三个特征点为止。
相反,如果该绝对值大于或等于第二外积阈值,也就是说,如果在部分血管形成序列中不存在能够形成小于第二外积阈值的面积的三个特征点,则曲线点去除部22完成第四阶段的去除处理。
曲线点去除部22通过上述过程在第四阶段执行曲线点的去除处理。
因此,在部分血管形成序列中,曲线点去除部22将曲线点不十分远离且分布高度集中的部分设置为去除对象。结果,曲线点去除部22可以选择曲线点作为去除对象,使得去除后的部分血管线变得简单(平滑),并且去除后的部分血管线的形状近 似于去除前的部分血管线。
这样,在第四阶段,在由部分血管形成序列中的连续的三个特征点所形成的平行四边形的面积中,曲线点去除部22旨在通过去除面积最小并且面积小于规定值的三个特征点中的中间的特征点,来减少数据量。
注意,与第二阶段类似,曲线点去除部22重复执行用于去除作为唯一去除对象的、整个部分血管形成序列中的形成最小面积的部分中的曲线点的处理。因此,可以从整体的观点而不是局部地选择在部分血管形成序列中作为去除对象的曲线点。因此,与采用“每当满足由部分血管形成序列中的连续的三个特征点所形成的平行四边形的面积小于规定值的条件时,才去除这三个特征点中的中间的特征点”的处理的情况相比,可以更准确地去除曲线点。
(2-3)端点的去除
端点去除部23根据需要去除每一部分血管线中的部分血管形成序列的起点或终点。以下通过分开的阶段说明部分血管形成序列的起点或终点的去除处理。
(2-3-1)第一阶段
作为第一阶段,例如,如图23所示,在部分血管形成序列中的起点和终点中的任何一个或两者均为端点的情况下,如果端点DPx和与上述端点DPx连接的曲线点Px之间的距离短于预定的阈值,则端点去除部23去除端点DPx。
因此,端点去除部23将作为特征构成要素存在的意义不大的端点设置为去除对象。结果,端点去除部23可以去除端点,使得去除后的部分血管线变得简单(平滑),并且使得去除后的血管线的形状近似于去除前的血管线。
这样,在第一阶段,端点去除部23旨在通过去除端点中与 端点连接的曲线点距离短的端点,来减少数据量。关于这一点,在该实施例中,将去除对象定义为端点,然而,去除对象可以是与端点连接的曲线点。因此,可以获得与使用端点作为去除对象的情况相同的效果。
(2-3-2)第二阶段
接下来,作为第二阶段,如果存在从血管线的多个分支点中的一个分支点延伸的三个或四个部分血管线的夹角接近180度的一对部分血管线,则端点去除部23将这一对部分血管线中的部分血管形成序列指定为一个部分血管形成序列,并且去除作为原始的部分血管形成序列的端点的起点和终点中的一个。关于这一点,同样如参考图3A~3C所述,在一个像素宽度的血管(血管线)中,从分支点延伸的部分血管线一般为三个或四个。
具体地,例如,如图24所示,在三个部分血管线PBLA、PBLB、PBLC是从分支点GP(GPA1、GPB1、GPC1)延伸的情况下,端点去除部23在这些部分血管线PBLA、PBLB、PBLC中,获得一对部分血管线的夹角θA-B、θA-C、θB-C的余弦(cos(θA-B)、cos(θA-C)、cos(θB-C))。
这里,当最小余弦cos(θA-B)小于第二余弦阈值时,其意味着部分血管线的夹角接近180度。此时,在与最小余弦cos(θA-B)相对应的一对部分血管线的部分血管形成序列GPA1、GPA2、...、GPA-end和GPB1、GPB2、...、GPB-end的两端中,端点去除部23将不重叠的点GPA-end、GPB-end设置为起点或端点,并将起点和端点之间的特征点重新分配为一组。
结果,连接这一对部分血管线PBLA、PBLB。因此,例如,如图24所示,如果与连接前的这一对部分血管线的部分血管形成序列相比,上述所连接的部分血管线PBLAB的部分血管形成 序列GPAB-first、...、GPAB10、GPAB11、GPAB12、...、GPAB-end的数量减少了一个点,这样将作为上述这一对部分血管线中的部分血管线的各自的起点的两个分支点GPA1、GPB1替换成一个中间点GPAB11。注意, 由于部分血管线PBLAB是一对部分血管线PBLA、PBLB简单连接而成的,因而血管线的形状在连接前后没有变化。
相反,当最小余弦cos(θA-B)大于或等于第二余弦阈值时,端点去除部23不重新分配组。如果存在仍未作为处理对象的分支点,则端点去除部23将处理对象移位到下一分支点,如果不存在仍未作为处理对象的分支点,则端点去除部23完成该处理。
另一方面,例如,如图25所示,在四个部分血管形成序列PBLA、PBLB、PBLC、PBLD是从分支点GP(GPA1、GPB1、GPC1、GPD1)延伸的情况下,在这些部分血管形成序列PBLA、PBLB、PBLC、PBLD中,端点去除部23获取一对部分血管线的夹角θA-B、θA-C、θA-D、θB-C、θB-D、θC-D的余弦(cos(θA-B)、cos(θA-C)、cos(θA-D)、cos(θB-C)、cos(θB-D)、cos(θc-D))。
这里,当最小余弦cos(θB-D)小于第二余弦阈值时,其意味着部分血管线的夹角接近180度。此时,在与最小余弦cos(θB-D)相对应的一对部分血管线的部分血管形成序列GPB1、GPB2、...、GPB-end和GPD1、GPD2、...、GPD-end的两端中,端点去除部23将不重叠的点GPB-end、GPD-end设置为起点或端点,并将起点和端点之间的特征点重新分配为一组。
结果,连接这一对部分血管线PBLB、PBLD。因此,例如,如图25所示,如果与连接前的这一对部分血管线的部分血管形成序列相比,上述所连接的部分血管线PBLBD的部分血管形成序列 GPBD-first、...、GPBD10、GPBD11、GPBD12、...、GPBD-end的数量减少了一个点,这样将作为上述一对部分血管线的部分血管 线的各自的起点的两个分支点GPB1、GPD1替换成一个中间点GPBD11。注意,由于部分血管线PBLBD是一对部分血管线PBLB、PBLD简单连接而成的,因而血管线的形状在连接前后没有变化。
在这种四个分支的情况下,即使连接一对部分血管线PBLB、PBLD,也保留仍未连接的部分血管线PBLA、PBLC。然而,当保留的部分血管线PBLA、PBLC的夹角θA-C的余弦(cos(θA-C))小于第二余弦阈值时,例如,如图25所示,端点去除部23将这些部分血管线PBLA、PBLC的各自的部分血管形成序列替换成一个类似于部分血管线PBLB、PBLD的部分血管形成序列的部分血管形成序列GPAC-first、...、GPAC10、GPAC11、GPAC12、...、GPAC-end,并且去除作为原始的部分血管形成序列的端点的起点GPA1和GPC1中的一个。
相反,当最小余弦cos(θA-B)大于或等于第二余弦阈值时,端点去除部23不重新分配组。如果存在仍未作为处理对象的分支点,则端点去除部23将处理对象移位到下一分支点,如果不存在仍未作为处理对象的分支点,则端点去除部23完成该处理。
关于这一点,尽管在图24和25中一部分重叠的点的位置(坐标)信息是相同的,但是它们的组是不同的。因此,为了方便分开示出它们。
这样,在第二阶段,在血管线上的分支点中,端点去除部23将满足从上述分支点延伸的部分血管线的夹角的余弦小于第二余弦阈值的条件的一对部分血管线中的部分血管形成序列替换成一个部分血管形成序列,并且去除作为原始的部分血管形成序列的端点的起点和终点中的一个。从而,可以减少数据量。
(2-4)特征点的校正
特征点校正部24适当改变作为上述各种去除处理结果所保 留的特征点的位置,使得连接上述特征点的线段最接近于原始的血管线(以下称之为原始血管线)。
连接所保留的特征点的该直线成为可以在认证中复原的血管线。这里,在上述各种去除处理中,去除特征点以使得去除后的部分血管线变得简单(平滑),并且使得去除后的部分血管线的形状近似于去除前的部分血管线。因此,连接保留的特征点的直线(以下称之为复原对象血管线)与原始血管线中的特征形状模式没有大的不同。
然而,例如,如图26所示,存在复原对象血管线的像素(图中由圆形所示)和原始血管线的像素(图中由正方形所示)的位置稍微不同的情况。当在缩小或放大地图等简单使用中时,该差异不会明显地引起问题,然而,当在生物认证等的使用中时,可能引起问题。
然后,在该实施例中,为了确保复原对象血管线与原始血管线的近似,采用特征点的校正处理。
具体地,例如,如图27所示,在保留的特征点中,将形成连接相互连接的特征点的线段中最长的线段的两个特征点PX1、PX2设置为当前的改变对象,并选择特征点PX1及围绕特征点PX1的点Pad1(上、下、左、右方向上的四个像素和对角线方向上的四个像素,总共八个像素)总共九个位置和另一特征点PX2及围绕特征点PX2的点Pad2总共九个位置中的一个作为改变候选位置(position proposed for change)。
然后,特征点校正部24通过使用例如Bresenham算法根据改变候选位置,在相互连接改变候选位置的线段SEG的81种模式中,搜索与通过原始血管线中的像素的数量最多的线段相对应的位置。
作为搜索结果,如果检测到了与通过原始血管线中的像素 的数量最多的线段相对应的位置,则特征点校正部24将作为当前的改变对象的两个特征点PX1、PX2移动到上述位置。结果,如图28所示,同样通过与示出改变前的图26相比显而易见,连接改变后的特征点PX11、PX12的线段比连接改变前的特征点PX1、PX2的线段更接近于相应的原始血管线的像素。
然后,如图29所示,特征点校正部24将与改变后的特征点PX11、PX12连接的特征点PX21、PX22设置为当前的改变对象,并选择特征点PX21、PX22和分别围绕它们的点Pad11、Pad12的总共九个位置作为改变候选位置。
然后,特征点校正部24根据改变候选位置,分别在连接改变后的特征点PX11、PX12和改变候选位置的线段SEG11、SEG12的9种模式中,搜索与通过原始血管线中的像素的数量最多的线段相对应的位置。
作为搜索结果,如果检测到了与通过原始血管线中的像素的数量最多的线段相对应的位置,则特征点校正部24将作为当前的改变对象的特征点PX21、PX22分别移动到上述位置。结果,如图30所示,同样通过与示出改变前的图26相比显而易见,连接改变后的特征点PX31、PX32的线段比连接改变前的特征点PX21、PX22的线段更接近于相应的原始血管线的像素。关于这一点,在图30的例子中,改变后的特征点PX31变为(移动到)与改变前的特征点PX21的位置相同的位置。
而且,在改变后的特征点PX31、PX32不是端点的情况下,特征点校正部24顺序地选择下一连接的特征点作为当前的改变对象,直到血管线的终点为止,并且在作为当前的改变对象的特征点的位置和它的附近,将作为当前的改变对象的特征点移动到以下位置:该位置对应于与作为上述当前的改变对象之前的当前的改变对象的特征点连接的线段中的、通过原始血管线 中的像素的数量最多的线段。
关于这一点,在图27~30的例子中,将作为当前的改变对象的特征点和围绕该特征点的点设置为改变候选位置。然而,作为代替,可以将作为当前的改变对象的特征点和距离该特征点的预定距离区域设置为改变候选位置。也就是说,可以将作为当前的改变对象的特征点和该特征点附近的点设置为改变候选位置。同样,在这种情况下,可以获得与图27~30的例子的情况相同的效果。
这样,特征点校正部24在特征点和该特征点附近的位置中,从形成最长线段的一对特征点到血管线的终点,顺序地选择血管线上的特征点作为当前的改变对象,并将选择作为上述当前的改变对象的特征点移动到与通过原始血管线中的像素的数量最多的线段相对应的位置。从而,复原对象血管线可以进一步接近原始血管线。
控制部10如上执行特征点提取处理,并将作为处理结果所获得的每一部分血管形成序列(部分血管线中从起点经由曲线点到终点的特征点)存储在闪存13(图1)中作为登记数据D1(图1)。
这里,图31A~31C示出该特征点提取处理的评价结果。这些图31A~31C示出特征点提取处理前的血管线(这些图中的白色部分)和基于通过上述特征点提取处理所提取的特征点复原的血管线(这些图中的白色部分)的三个样本。同样从图31A~31C显而易见,可以看到通过特征点提取处理适当地提取了特征点。而且,特征点提取处理前的血管线中的特征点的数据约为1kBit,而特征点提取处理后的血管线中的特征点的数据约为256Bit。
同样从该实验结果显而易见,控制部10可以通过上述特征 点提取处理适当减少信息量。
注意,在认证中,控制部10针对登记数据D1的每个部分血管形成序列(部分血管线中从起点经由曲线点到终点的特征点),从部分血管形成序列中的起点开始,顺序地经由相邻的曲线点到终点为止,顺序地连接线段,并复原血管线。
(2-5)结论
作为如上所述的第一特征点提取处理,在被检测为轮廓的特征点的分支点、端点和曲线点中,控制部10通过从全局捕捉的去除状态逐渐切换到局部捕捉的去除状态,以使得去除后的部分血管线变得简单(平滑),并且使得去除前的部分血管线和去除后的部分血管线的形状近似来去除从分支点或端点到下一分支点或端点的、被分配为一组的每一组特征点(部分血管形成序列)的曲线点(从第二阶段到第四阶段的去除处理)。
由此,控制部10可以适当地减少数据量,而不失去作为识别信息的意义。
而且,作为去除处理的预处理(第一阶段的去除处理),控制部10去除在分支点附近存在的曲线点。从而,可以防止在第二阶段后的去除处理中难以选择应该成为特征构成要素的其它曲线点的状况,并且可以进一步适当地提取作为血管的特征构成要素的点。
而且,在端点中,控制部10去除与端点连接的曲线点的距离短的端点。同时,在血管线上的分支点中,如果存在从分支点延伸的三个或四个部分血管线的夹角接近180度的一对部分血管线,则控制部10将这一对部分血管线中的部分血管形成序列设置为一个部分血管形成序列,并且去除作为原始部分血管形成序列的端点的起点和终点中的一个。
从而,控制部10可以去除特征点,而不改变去除前后血管 线的形状。因此,可以适当地减少数据量,而不失去作为识别信息的意义。
而且,作为上述特征点提取处理后的处理,控制部10校正特征点的位置,使得连接上述特征点提取处理后所保留的特征点的线段通过原始血管线的大多数像素。因此,控制部10可以使得作为识别信息的意义更为有效。
另一方面,作为用于检测轮廓中的特征点的技术,控制部10将所输入的成像图像设置为二值图像,并将上述二值图像中的血管的轮廓宽度设置为一个像素。然后,控制部10从轮廓宽度为一个像素的血管线检测端点和分支点,并且还对于从分支点或端点到下一分支点或端点的每一部分血管线,也就是说,以无分支线段为单位,检测曲线点。
从而,控制部10可以在检测点时去除多余的构成要素。因此,可以准确检测特征点,而不使用复杂的计算方法。结果,可以适当地减少数据量,而不失去作为识别信息的意义。
(3)根据第二实施例的特征点提取处理的具体处理内容
接下来,说明第二特征点提取处理中的具体处理内容。在功能上,如图3 2所示,该第二特征点提取处理由特征点检测部21、曲线点去除部122和端点去除部123构成,在图32中,将相同的附图标记赋予图2中的相应部分。
第二特征点提取处理与第一特征点提取处理的不同之处在于:采用曲线点去除部122,而不是采用曲线点去除部22(图2),其中,曲线点去除部122基于连接两个特征点的线段和从其中一个特征点到另一个特征点的原始血管线之间的关系,去除曲线点,而曲线点去除部22基于作为去除对象的特征点和与该特征点连接的特征点之间的关系,去除曲线点。
而且,在连接两个特征点的线段和这两个特征点之间的原 始血管线之间的关系的点上,因为曲线点去除部122对应于第一特征点提取处理中的特征点校正部24的一部分。因此,第二特征点提取处理省略了特征点校正部24。
而且,第二特征点提取处理与第一特征点提取处理的不同之处在于:采用仅用于执行上述第二阶段的端点去除处理的端点去除部123,而不是采用执行第一阶段和第二阶段的端点去除处理的端点去除部23(图2)。
以下将详细说明上述曲线点去除部122和端点去除部123。
(3-1)曲线点的去除
曲线点去除部122通过将由特征点检测部21分配为一组的、部分血管线中从起点经由曲线点到终点的特征点(即,部分血管形成序列)设置为处理单位,根据需要来去除曲线点。
因为这些部分血管形成序列的去除处理的内容相同,因而参考图33作为例子,通过限制为使用某一部分血管形成序列作为处理对象的情况来说明上述内容。在该图33中,正方形示出形成原始血管线的像素(以下称之为原始血管像素),并且将虚线添加到上述原始血管像素中的端点和曲线点。
在部分血管线中从起点经由曲线点到终点的特征点中,直到连接基准点GPbs和去除候选点GPcd的线段SG(SG1~SG3)相对于从被选择作为基准的特征点GPbs(以下称之为基准点)到去除候选点GPcd(GPcd1~GPcd3)的原始血管像素的通过率(passing rate)变得小于预定阈值(以下称之为通过率阈值)为止,曲线点去除部122通过向终点侧顺序地移位上述去除候选点GPcd,顺序地获得通过率。
参考图33,线段SG1通过从基准点GPbs到相应的去除候选点GPcd1的所有原始血管像素(两个像素)。线段SG2通过从基准点GPbs到相应的去除候选点GPcd2的原始血管像素(七个像素)中 的四个像素。而线段SG3通过从基准点GPbs到相应的去除候选点GPcd3的原始血管像素(九个像素)中的两个像素。关于这一点,实际上,线段相对于原始血管像素的通过率表示在形成连接上述基准点GPbs和去除候选点GPcd的线段的像素中,与原始血管像素重叠的像素的数量相对于从基准点GPbs到去除候选点GPcd 的原始血管像素的像素的数量的比率。
如果线段SG3相对于原始血管像素的通过率小于通过率阈值,则曲线点去除部122去除此时作为去除候选点GPcd3选择的特征点之前的、作为去除候选点GPcd2选择的特征点和基准点GPbs之间的特征点GPcd1。从而,可以去除特征点GPcd1,并且使得从保留的特征点GPcd2到基准点GPbs的线段SG2近似于原始血管线。
这里,如果将上述通过率阈值设置为小的值,则可能导致:尽管连接基准点和去除候选点的线段不近似于从上述基准点到去除候选点的原始血管像素,但是减少了特征点GPcd。相反,如果将通过率阈值设置为大的值,则可能导致难以去除特征点GPcd。
然后,在该实施例中,曲线点去除部122根据线段长度切换阈值。具体地,如果假定基准点为GPJ(J=1、2、...、M(M为整数)),并且从基准点开始的第α个去除候选点为GPj+α,在获得连接基准点GPJ和去除候选点GPj+α的线段GPJ-GPj+α相对于原始血管像素的通过率的情况下,当紧挨在之前获得通过率的线段(以下称之为紧挨在之前的线段)GPJ+(α-1)-GPj+α大于或等于预定阈值(以下称之为线段阈值)时,设置第一通过率阈值。相反,当线段长度小于线段阈值时,设置大于第一通过率阈值的第二通过率阈值。
从而,可以准确选择曲线点,这样可以使得去除后的部分 血管线平滑,并且使得去除前的部分血管线和去除后的部分血管线的形状近似。
具体地,从部分血管形成序列中的起点开始,按照图34A~34D的流程图中所示的过程,来执行曲线点的去除处理。也就是说,曲线点去除部122选择部分血管形成序列的起点作为基准点,还根据上述基准点选择第一特征点作为去除候选点(步骤SP31)。
然后,曲线点去除部122判断是否处于以下情况:在开始曲线点的去除处理后第一次获得通过率;或者判断在当前时刻作为选择对象的、连接基准点GPJ和去除候选点GPj+α的线段GPJ-GPj+α的紧挨在之前的线段GPJ+(α-1)-GPj+α是否小于线段阈值(步骤SP32)。
如果处于在开始曲线点的去除处理后第一次获得通过率的情况下,或者处于紧挨在之前的线段GPJ+(α-1)-GPj+α小于线段阈值的情况下,则曲线点去除部122将第一通过率阈值设置为通过率阈值(步骤SP33)。然后,曲线点去除部122获得在当前时刻作为选择对象的、连接基准点GPJ和去除候选点GPj+α的线段GPJ-GPj+α相对于原始血管像素的通过率(步骤SP34),并且判断该通过率是否大于或等于第一通过率阈值(步骤SP35)。
相反,如果在开始曲线点的去除处理后获得通过率的次数是两次或更多次,并且如果紧挨在之前的线段GPJ+(α-1)-GPj+α大于或等于线段阈值,则曲线点去除部122将第二通过率阈值设置为通过率阈值(步骤SP36)。然后,曲线点去除部122获得在当前时刻作为选择对象的、连接基准点GPJ和去除候选点GPj+α的线段GPJ-GPj+α相对于原始血管像素的通过率(步骤SP34),并判断该通过率是否大于或等于第二通过率阈值(步骤SP35)。
这里,如果通过率大于或等于通过率阈值,则其表示:连 接在当前时刻作为选择对象的基准点GPJ和去除候选点GPj+α的线段GPJ-GPj+α与从上述基准点GPJ到去除候选点GPj+α的原始血管线近似或相同。
在这种情况下,曲线点去除部122判断在当前时刻作为选择对象的去除候选点GPj+α是否为部分血管形成序列的终点(步骤SP37)。当不是终点时,曲线点去除部122选择作为上述去除候选点GPj+α所选择的特征点的终点侧的特征点,作为新的去除候选点GPj+α(步骤SP38),然后曲线点去除部122返回上述处理(步骤SP32)。
相反,如果通过率小于通过率阈值,则其表示:连接在当前时刻作为选择对象的基准点GPJ和去除候选点GPj+α的线段GPJ-GPj+α与从上述基准点GPJ到去除候选点GPj+α的原始血管线有很大的不同。
在这种情况下,曲线点去除部122去除作为当前时刻点之前的去除候选点GPj+α选择的特征点和作为当前时刻的基准点GPj 选择的特征点之间的一个或更多特征点的全部(步骤SP39)。
然后,曲线点去除部122判断在当前时刻作为选择对象的去除候选点GPj+α是否是部分血管形成序列的终点(步骤SP40)。如果不是终点,则曲线点去除部122选择在当前时刻作为选择对象的去除候选点GPj+α作为基准点GPj,还选择基准点GPj的终点侧的特征点作为新的去除候选点GPj+α(步骤SP41)。然后,曲线点去除部122返回到上述处理(步骤SP32)。
相反,如果将在当前时刻作为选择对象的去除候选点GPj+α 判断为部分血管形成序列的终点(步骤SP37(Y)或步骤SP40(Y)),则曲线点去除部122去除在当前时刻作为去除候选点GPj+α选择的特征点和在当前时刻作为基准点GPJ选择的特征点之间的一个或多个特征点的全部(步骤SP42)。然后,曲线点 去除部122完成曲线点的去除处理。
曲线点去除部122通过上述过程执行曲线点的去除处理。注意,图35示出去除处理前和去除处理后的状态。图3 5示出以下情况:将去除处理中的线段阈值设置为5mm,将第一通过率阈值设置为0.5(50%),将第二通过率阈值设置为0.7(70%)。在图35中,正方形示出原始血管像素,圆形示出形成线段的像素,将虚线添加到原始血管像素中的端点和曲线点。
同样从该图35显而易见,可以发现:可以准确地保留曲线点,这样可以使得去除后的部分血管线平滑,并且使得去除前的部分血管线和去除后的部分血管线的形状近似。
(3-2)端点的去除
该处理与端点去除部23(图2)中的第二阶段的端点去除处理相同。当存在从血管线上的多个分支点中的一个分支点延伸的三个或四个部分血管线的夹角接近180度的一对部分血管线时,端点去除部123将这一对部分血管线中的部分血管形成序列指定为一个部分血管形成序列,并去除作为原始部分血管形成序列的端点的起点和终点中的一个。
具体地,如上参考图24和25所述,在血管线上的分支点中,将满足从上述分支点延伸的部分血管线的夹角的余弦小于第二余弦阈值的条件的一对部分血管线中的部分血管形成序列设置为一个部分血管形成序列,并且去除作为原始部分血管形成序列的端点的起点和终点中的一个。
控制部10如上执行第二特征点提取处理,并将作为处理结果所获得的每一部分血管形成序列(部分血管线中从起点经由曲线点到终点的特征点)存储在闪存13(图1)中,作为登记数据D1(图1)。
这里,图36A~36C示出该第二特征点提取处理的评价结 果。图36A~36C示出第二特征点提取处理前的血管线(这些图中的白色部分)和基于通过第一特征点提取处理或第二特征点提取处理所提取的特征点而复原的血管线(这些图中的白色部分)的三个样本。
同样从图36A~36C显而易见,可以看到通过特征点提取处理可以适当地提取特征点。而且,特征点提取处理前的血管线中的特征点的数据约为1kBit,而第一特征点提取处理和第二特征点提取处理后的血管线中的特征点的数据约为256Bit。
而且,对于192个样本,第二特征点提取处理的时间比第一特征点提取处理的时间短1.48倍。这是因为,作为用于判断是否是作为去除对象的所希望的曲线点的处理,第一特征点提取处理在进一步广泛地捕捉部分血管形成序列后,经由多个阶段去除曲线点从而获得细节,然后适当地校正保留的特征点的位置以近似于原始的血管线,而第二特征点提取处理去除形成近似于原始的血管线的线段的特征点以外的特征点。第二特征点提取处理不是通过多个阶段去除特征点,并且去除状态包括与第一特征点提取处理中的校正相对应的处理。
注意,与第一特征点提取处理相比,第二特征点提取处理在去除前后的血管线的形状上有些改变。然而,这并没有失去作为识别信息的意义,并且在适当地减少数据量这一点上不存在问题。
同样从该实验结果显而易见,控制部10可以通过上述第二特征点提取处理,以比第一特征点提取处理更高的速度适当减少信息量。
(3-3)结论
作为如上所述的第二特征点提取处理,对于被检测为轮廓的特征点的分支点、端点和曲线点中被分配为一组的从分支点 或端点开始到下一分支点或端点为止的每一特征点(部分血管形成序列),控制部10通过将上述去除候选点GPj+α向终点侧顺序地移位,顺序获得连接基准点GPJ和去除候选点GPj+α的线段GPJ-GPj+α相对于原始血管像素的通过率,直到通过率变得小于通过率阈值为止。
然后,当通过率小于通过率阈值时,曲线点去除部122去除作为在当前时刻之前的去除候选点GPj+α选择的特征点和在当前时刻作为基准点GPJ选择的特征点(起点)之间的一个或多个特征点的全部。而且,曲线点去除部122选择在当前时刻作为选择对象的去除候选点GPj+α作为基准点GPj,并且将终点侧的特征点向基准点GPj顺序地移位,作为去除候选点GPj+α,直到通过率变得小于通过率阈值为止。
也就是说,对于每个部分血管形成序列,当连接至少包括多于三个特征点的轮廓的一部分的两端时,曲线点去除部122去除轮廓的一部分的两端之间的满足以下条件的特征点,所述条件即与连接上述两端的直线的轮廓的一部分重叠的部分相对于该轮廓的一部分的比率大于或等于预定阈值并且该比率是最接近上述阈值的比率。
从而,在控制部10中,与第一特征点提取处理相比,处理内容更简单(由于不是通过多个阶段去除曲线点,并且去除状态包括与第一特征点提取处理中的校正相对应的处理)。因此,可以以更高的速度进行该处理,并且可以减少数据量,而不失去作为识别信息的意义。
而且,控制部10根据紧挨在之前的线段GPJ+(α-1)-GPj+α的线段长度,将上述通过率阈值切换成第一通过率阈值或大于第一通过率阈值的第二通过率阈值。
因此,控制部10可以准确地仅保留曲线点,这可以使得去 除后的部分血管线平滑,并且使得去除前的部分血管线和去除后的部分血管线的形状近似。因此,可以进一步减少了数据量,而不失去作为识别信息的意义。
(4)其它实施例
在上述实施例中,涉及了以下情况:应用血管作为在输入图像数据的图像中所包含的对象。然而,本发明不仅仅局限于此,而且还可以应用于指纹、口纹和神经等生物识别对象,或者可以应用于地图和照片等画面图案。这意味着可以将控制部10的上述处理广泛地应用到用于其它图像处理中的预处理、中间处理和后处理等各种图像处理,而不仅仅局限于生物认证中的图像处理。
而且,在上述实施例中,涉及了以下情况:在将输入的多值图像设置成二值图像后,执行曲线点去除处理等,并且将上述二值图像中所包含的对象(血管)的轮廓的轮廓宽度设置为一个像素。然而,本发明不仅仅局限于此,而且还可以对包括具有一个像素以外的轮廓宽度的对象轮廓的二值图像或多值图像执行曲线点去除处理等。同样,在这种情况下,可以获得与上述实施例相同的效果。
注意,可以根据应用该图像处理的实施例的形式和对象的类型等,适当地选择是采用上述第一特征点提取处理还是第二特征点提取处理。而且,可以根据应用该图像处理的实施例的形式和对象的类型等,适当选择第一特征点提取处理中的曲线点去除处理、端点去除处理和特征点校正处理、或第二特征点提取处理中的曲线点去除处理和端点去除处理。
而且,在上述实施例中,作为特征点检测处理,涉及了应用具有如对特征点检测部21所述的内容的处理的情况。然而,本发明不仅仅局限于此,而作为替代,可以应用被称为Harris 角点的特征点检测处理和已知的特征点检测处理。同样,在这种情况下,对于上述实施例的一部分可以获得相同的效果。
而且,在上述实施例中,涉及了以下情况:通过第一特征点提取处理或第二特征点提取处理,提取通过二维(xy坐标系)表示的血管线(以下称之为二维血管线)的特征点。然而,本发明不仅仅局限于此,而且还可以通过第一特征点提取处理或第二特征点提取处理,提取体素(voxel)等通过三维(xyz坐标系)表示的血管线(以下称之为三维血管线)。
然而,因为三维血管线是立体图像,因而必须改变用以检测上述三维血管线中的端点、分支点和曲线点的搜索区域的设置。
也就是说,在检测端点和分支点的情况(图4A~4C)和检测上述血管线中的曲线点的情况(图6和图9A~9C)下,将二维血管线的搜索区域设置为以目标像素为中心的xy方向上附近(以下称之为二维附近)的8个像素。另一方面,如图3 7所示,将三维血管线的搜索区域SAR设置为以目标像素ATP为中心的xyz方向上附近(以下称之为三维附近)的26个像素。
关于这一点,在检测三维血管线中的特征点的情况下,与用于检测二维血管线中的特征点的特征点检测部21类似,在第一阶段,例如,如图38A~38C所示,当在以目标像素ATP为中心的搜索区域SAR中存在一个像素时(图38A),将目标像素ATP检测为端点。另一方面,当在搜索区域SAR中存在三个像素(图38B)或存在四个像素(未示出)时,将目标像素ATP检测为分支点。当在搜索区域SAR中不存在像素时(图38C),将目标像素ATP检测为孤立点。
而且,在第二阶段,通过将在第一阶段所检测到的端点和分支点设置为起点或终点,检测从上述起点到端点的血管线(部 分血管线)中的曲线点。具体地,例如,如图39所示,在当前目标像素(以网状阴影表示的像素)的三维附近(搜索区域SAR)中存在的血管像素中,将除以前被设置为目标像素的血管像素(以水平阴影表示的像素)以外的血管像素(以格状阴影表示的像素)设置为下一目标像素。并且从起点开始顺序地追踪连续的目标像素,直到上述当前目标像素的三维附近(搜索区域SAR)中存在的血管像素成为终点为止。在该追踪处理中,在当前目标像素之前的目标像素与被设置为下一目标像素的目标像素失去了线性时,将上述当前目标像素检测为曲线点。
这样,通过将搜索区域SAR设置为以目标像素ATP为中心的xyz方向上的附近(以下称之为三维附近)的26个像素,可以通过第一特征点提取处理或第二特征点提取处理提取三维血管线。
注意,在检测二维血管线中的曲线点的情况下,考虑到直线上的点和曲线点附近的出现模式十分重要,并且根据当前目标像素和紧挨在之前的目标像素之间的位置关系,设置目标像素附近的像素的追踪顺序模式。
同样,在检测三维血管线中的曲线点的情况下,直线上的点和曲线点附近的出现模式十分重要。因此,根据当前目标像素和紧挨在之前的目标像素之间的位置关系设置追踪顺序模式。然而,由于血管线是立体图像,因而,在当前目标像素和紧挨在之前的目标像素之间的位置关系中,除xy方向(图9A~9C)以外,还添加z方向,并且追踪顺序模式的数量增大。因此,必须注意。
因为该数量很大,因而省略对具体追踪顺序模式的说明。然而,在当前目标像素与紧挨在之前的目标像素的位置矢量中的z成分不是“0”的情况下,也就是说,在紧挨在之前的目标像 素和当前目标像素之间在z方向上存在位置改变的情况下,如图40A所示,作为搜索区域SAR,将在与z轴正交的方向上被等分成三份的区域SAR1、SAR2、SAR3设置为一组。
相反,在紧挨在之前的目标像素和当前目标像素之间在z方向上没有位置改变的情况下,如图40B所示,作为搜索区域SAR,通过将在与z轴平行的方向上等分成三份的区域SAR4、SAR5、SAR6设置为一组,设置追踪顺序模式。
因为这些追踪顺序模式的数据量变得相对较大,因而,代替对上述追踪顺序模式的存储,在紧挨在之前的目标像素和当前目标像素之间在z方向上存在位置改变的情况下,在将搜索区域SAR在与z轴正交的方向上等分成三份的区域中,将除包括紧挨在之前的目标像素和当前目标像素的区域以外的区域SAR1 或SAR3设置为第一搜索区域。在没有位置改变的情况下,在将搜索区域SAR平行于z轴等分成三份的区域中,可以通过将包括当前目标像素的区域SAR5设置为第一搜索区域,来进行搜索。
这样,通过根据紧挨在之前的目标像素和当前目标像素之间在z方向上是否存在位置改变来切换用于划分搜索区域SAR的模式,并在通过上述切换的模式所划分的每一区域SAR1、SAR2、SAR3或SAR4、SAR5、SAR6中根据紧挨在之前的目标像素和当前目标像素之间的位置关系来确定将首先搜索的区域,与一律追踪上述当前目标像素的三维附近的所有像素的情况相比,可以以更高的速度检测曲线点,同时减少追踪顺序模式的数据量。
本发明可应用于图像处理的领域,更具体地,可应用于提取用于形成图像中的线的点的情况。
尽管结合本发明的优选实施例进行了说明,但是对于本领域的技术人员来说显然可以有各种改变、修改、组合、子组合 和替换,因此,希望在所附权利要求书中覆盖所有这类改变和修改,使其落在本发明的范围内。
本发明包含与2007年2月26日和2006年7月28日提交日本专利局的日本专利申请JP 2007-046089和JP 2006-207033有关的主题,其全部内容通过引用包含于此。
Claims (15)
1.一种图像处理方法,用于在输入的图像数据的图像所包含的对象的轮廓中去除作为所述轮廓的构成要素的特征的特征点,所述图像处理方法包括:
第一步骤,用于将被检测为所述轮廓的所述特征点的分支点、端点和曲线点中从分支点或端点到下一分支点或端点的特征点分配为一组;以及
第二步骤,用于对于每一所述组,在满足连续的三个特征点的矢量的积小于预定阈值的条件和所述三个特征点的余弦小于预定余弦阈值的条件这两个条件中的一个条件的三个特征点中,去除满足上述两个条件中的另一个条件并且为最小的三个特征点中的中间的特征点。
2.根据权利要求1所述的图像处理方法,其特征在于,
所述第二步骤包括预处理步骤,所述预处理步骤用于在去除所述三个特征点中的中间的特征点前,去除在所述分支点附近存在的特征点。
3.根据权利要求1所述的图像处理方法,其特征在于,
在所述第二步骤,在满足连续的三个特征点的矢量的外积的绝对值小于预定外积阈值的条件和所述三个特征点的余弦小于预定余弦阈值的条件这两个条件中的一个条件的三个特征点中,去除满足上述两个条件中的另一个条件并且为最小的三个特征点中的中间的特征点。
4.根据权利要求1所述的图像处理方法,其特征在于,包括:
替换步骤,用于对于每一所述组,将满足连接连续两个特征点的线段小于预定线段阈值的条件的两个特征点,替换成以由所述两个特征点和与所述两个特征点中的一个特征点连接的特征点形成的第一面积、与由所述两个特征点和与所述两个特征点中的另一个特征点连接的特征点形成的第二面积的比内分该线段的内分点,或者替换成连接所述两个特征点中的一个特征点和与该特征点连接的特征点的延长线、与连接所述两个特征点中的另一个特征点和与该特征点连接的特征点的延长线的交点。
5.根据权利要求4所述的图像处理方法,其特征在于,
在所述替换步骤,如果所述两个特征点和与所述两个特征点中的一个特征点连接的特征点的外积、与所述两个特征点和与所述两个特征点中的另一个特征点连接的特征点的外积的正负符号不同,则将所述两个特征点替换成所述内分点;如果所述正负符号相同,则将所述两个特征点替换成所述交点。
6.根据权利要求1所述的图像处理方法,其特征在于,在第二步骤之后还包括:
去除步骤,用于对于每一所述组,去除在连续的三个特征点的矢量的外积的绝对值中、最小的外积的绝对值小于预定的第二外积阈值的三个特征点中的中间的特征点。
7.根据权利要求1所述的图像处理方法,其特征在于,在第二步骤之后还包括:
去除步骤,在所述端点中,如果到与端点连接的特征点的距离小于预定距离阈值,则去除所述端点或与所述端点连接的所述特征点。
8.根据权利要求1所述的图像处理方法,其特征在于,包括:
分配步骤,用于在去除所述特征点后,在从所述分支点到下一分支点或端点的轮廓线段中,将与满足一对轮廓线段的夹角的余弦小于预定的第二余弦阈值的条件的所述一对轮廓线段相对应的所述组分配成一组。
9.根据权利要求1所述的图像处理方法,其特征在于,包括:
顺序选择步骤,用于在去除所述特征点后,在所述轮廓的所述特征点中,从形成最长轮廓线段的两个特征点开始到所述轮廓的末端为止,顺序选择保留的特征点作为位置改变对象;以及
改变步骤,用于在作为所述位置改变对象选择的特征点和所述特征点附近的位置中,在连接到之前作为所述位置改变对象改变的特征点的直线上,将所述特征点改变到与通过形成所述轮廓的像素最多的直线相对应的位置。
10.一种图像处理方法,用于在输入的图像数据的图像所包含的对象中检测作为所述对象的轮廓的构成要素的特征的特征点,并在所述对象的轮廓中去除作为所述轮廓的构成要素的特征的特征点,所述图像处理方法包括:
第一步骤,用于将所述图像设置为二值图像,并且将所述二值图像中的所述对象的轮廓宽度设置成一个像素;
第二步骤,用于从所述轮廓宽度被设置为一个像素的轮廓中检测端点和分支点;
第三步骤,用于对于每一轮廓线段,从所述轮廓中的分支点或端点到下一分支点或端点,检测所述轮廓中的曲线点;
第四步骤,用于将被检测为所述轮廓的所述特征点的分支点、端点和曲线点中从分支点或端点到下一分支点或端点的特征点分配为一组;以及
第五步骤,用于对于每一所述组,在满足连续的三个特征点的矢量的积小于预定阈值的条件和所述三个特征点的余弦小于预定余弦阈值的条件这两个条件中的一个条件的三个特征点中,去除满足上述两个条件中的另一个条件并且为最小的三个特征点中的中间的特征点。
11.根据权利要求10所述的图像处理方法,其特征在于,
在所述第二步骤,
选择形成所述轮廓线段的每一轮廓像素作为目标对象;以及
根据围绕作为所述目标对象选择的轮廓像素的轮廓像素的数量,检测在作为所述目标对象的轮廓像素中是否存在所述端点或所述分支点。
12.根据权利要求10所述的图像处理方法,其特征在于,
在所述第三步骤,
对于每一所述轮廓线段,顺序追踪围绕目标对象的轮廓像素中的、除作为紧挨在之前的所述目标对象的轮廓像素之外的每一轮廓像素,作为下一目标对象;以及
当作为紧挨在之前的所述目标对象的轮廓像素和正作为所述目标对象的轮廓像素之间的线性从作为所述下一目标对象的轮廓像素开始失去时,将此时正作为所述目标对象的轮廓像素检测为曲线点。
13.根据权利要求12所述的图像处理方法,其特征在于,
在所述第三步骤,当在追踪作为所述下一目标对象的轮廓像素时,将围绕所述目标对象的轮廓像素的一部分设置为搜索对象,并且根据作为紧挨在之前的所述目标对象的轮廓像素和作为所述目标对象的轮廓像素的位置,切换所述轮廓像素的所述一部分的搜索顺序。
14.一种图像处理设备,用于在输入的图像数据的图像所包含的对象的轮廓中去除作为所述轮廓的构成要素的特征点,所述图像处理设备包括:
第一部件,用于将被检测为所述轮廓的所述特征点的分支点、端点和曲线点中从分支点或端点到下一分支点或端点的特征点分配为一组;以及
第二部件,用于对于每一所述组,在满足连续的三个特征点的矢量的积小于预定阈值的条件和所述三个特征点的余弦小于预定余弦阈值的条件这两个条件中的一个条件的三个特征点中,去除满足上述两个条件中的另一个条件并且为最小的三个特征点中的中间的特征点。
15.一种图像处理方法,用于在输入的图像数据的图像所包含的对象的轮廓中去除作为所述轮廓的构成要素的特征的特征点,所述图像处理方法包括:
第一步骤,用于将被检测为所述轮廓的所述特征点的分支点、端点和曲线点中从分支点或端点到下一分支点或端点的特征点分配为一组;以及
第二步骤,用于对于每一所述组,通过从被选择作为基准的特征点向作为终点的特征点侧顺序地移位作为去除候选点的曲线点,顺序地获得连接作为基准的特征点和作为去除候选点的曲线点的线段相对于从作为基准的特征点到作为去除候选点的曲线点的轮廓线的通过率,当该通过率小于通过率阈值时,去除此时作为去除候选点选择的曲线点之前的、作为去除候选点选择的曲线点和作为基准的特征点之间的曲线点。
Applications Claiming Priority (6)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2006207033 | 2006-07-28 | ||
JP2006-207033 | 2006-07-28 | ||
JP2006207033 | 2006-07-28 | ||
JP2007046089A JP2008052701A (ja) | 2006-07-28 | 2007-02-26 | 画像処理方法、画像処理装置及びプログラム |
JP2007046089 | 2007-02-26 | ||
JP2007-046089 | 2007-02-26 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN101127085A CN101127085A (zh) | 2008-02-20 |
CN101127085B true CN101127085B (zh) | 2012-11-14 |
Family
ID=38627001
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN2007101300662A Expired - Fee Related CN101127085B (zh) | 2006-07-28 | 2007-07-30 | 图像处理方法和图像处理设备 |
Country Status (5)
Country | Link |
---|---|
US (1) | US8103060B2 (zh) |
EP (1) | EP1883038A3 (zh) |
JP (1) | JP2008052701A (zh) |
KR (1) | KR20080011094A (zh) |
CN (1) | CN101127085B (zh) |
Families Citing this family (19)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP5050642B2 (ja) * | 2007-05-15 | 2012-10-17 | ソニー株式会社 | 登録装置、照合装置、プログラム及びデータ構造 |
JP4933404B2 (ja) * | 2007-11-07 | 2012-05-16 | キヤノン株式会社 | 画像処理装置、画像処理方法、画像処理プログラム、並びに、プログラム記録媒体 |
CN100538726C (zh) * | 2008-01-31 | 2009-09-09 | 浙江工业大学 | 基于图像矢量化技术的服装样片自动录入装置 |
WO2011056347A1 (en) | 2009-11-05 | 2011-05-12 | Exxonmobil Upstream Research Company | Method for creating a hierarchically layered earth model |
JP5504928B2 (ja) * | 2010-01-29 | 2014-05-28 | ソニー株式会社 | 生体認証装置、生体認証方法およびプログラム |
JP5447647B2 (ja) * | 2010-03-08 | 2014-03-19 | 富士通株式会社 | 生体認証装置、生体認証プログラム及び方法 |
US9147123B2 (en) * | 2012-05-31 | 2015-09-29 | Qualcomm Incorporated | System and method to perform feature detection and to determine a feature score |
KR102122793B1 (ko) * | 2013-08-22 | 2020-06-15 | 삼성전자주식회사 | 전자 디바이스 및 전자 디바이스에서 이미지 처리 방법 |
CN103426177A (zh) * | 2013-08-30 | 2013-12-04 | 中国科学院国家天文台 | 一种基于测月雷达的月球次表层层位检测方法 |
US9053365B2 (en) * | 2013-09-16 | 2015-06-09 | EyeVerify, Inc. | Template update for biometric authentication |
CN104794425B (zh) * | 2014-12-19 | 2018-05-18 | 长安大学 | 一种基于行驶轨迹的车辆统计方法 |
CN104679011B (zh) * | 2015-01-30 | 2017-07-11 | 南京航空航天大学 | 基于稳定分支特征点的图像匹配导航方法 |
EP3985557B1 (en) * | 2016-09-23 | 2023-11-08 | Curemetrix, Inc. | Mapping of breast arterial calcifications |
WO2018068195A1 (zh) * | 2016-10-11 | 2018-04-19 | 深圳先进技术研究院 | 一种基于图像梯度矢量流场的血管脊点提取方法及装置 |
CN107346543B (zh) * | 2017-06-20 | 2020-02-07 | 青岛海信医疗设备股份有限公司 | 血管中心线的处理方法及装置、终端及存储介质 |
CN109389050B (zh) * | 2018-09-19 | 2021-11-09 | 陕西科技大学 | 一种流程图连接关系识别方法 |
CN109615584B (zh) * | 2018-12-17 | 2022-12-06 | 辽宁工程技术大学 | 一种基于单应性约束的sar图像序列map超分辨率重建方法 |
CN111088597B (zh) * | 2019-12-23 | 2021-08-13 | 安徽尧舜智能袜业有限公司 | 基于轮廓线分析的纱线状态检测方法 |
CN111583209B (zh) * | 2020-04-29 | 2021-11-02 | 上海杏脉信息科技有限公司 | 一种脑灌注图像特征点选取方法、介质及电子设备 |
Family Cites Families (21)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2512800B2 (ja) * | 1989-03-20 | 1996-07-03 | 富士通株式会社 | 線図形入力装置の直線近似方式 |
JPH04205676A (ja) * | 1990-11-30 | 1992-07-27 | Mitsubishi Heavy Ind Ltd | 点列データの折れ線近似の方法 |
JP2817885B2 (ja) * | 1991-11-28 | 1998-10-30 | 日本電信電話株式会社 | ベクトル化方法 |
JPH08161493A (ja) * | 1994-12-08 | 1996-06-21 | Mazda Motor Corp | 線形状検出方法およびその装置 |
US6072895A (en) * | 1996-12-13 | 2000-06-06 | International Business Machines Corporation | System and method using minutiae pruning for fingerprint image processing |
KR100259475B1 (ko) | 1997-04-14 | 2000-06-15 | 최환수 | 정맥분포패턴을 이용한 개인식별방법 |
JPH1195974A (ja) * | 1997-09-18 | 1999-04-09 | Toshiba Software Eng Corp | 小縮尺図形作成表示装置 |
US20020031245A1 (en) * | 1999-05-14 | 2002-03-14 | Roman Rozenberg | Biometric authentification method |
JP2000322568A (ja) * | 1999-05-14 | 2000-11-24 | Meidensha Corp | 画像の輪郭ベクトル化方法 |
JP4612760B2 (ja) * | 2000-04-25 | 2011-01-12 | キヤノン株式会社 | 画像処理装置およびその方法 |
JP2002251636A (ja) * | 2001-02-23 | 2002-09-06 | Taito Corp | 輪郭図形モデルからスケルトンモデルを得る方法 |
JP2004078411A (ja) * | 2002-08-13 | 2004-03-11 | Pentax Corp | スケッチ画自動作成方法およびその装置 |
JP4434705B2 (ja) * | 2003-11-27 | 2010-03-17 | オリンパス株式会社 | 画像解析方法 |
JP4423557B2 (ja) * | 2004-11-19 | 2010-03-03 | ソニー株式会社 | 認証装置、認証方法及びプログラム並びに認証情報登録装置 |
JP4547624B2 (ja) * | 2005-04-27 | 2010-09-22 | ソニー株式会社 | 擬似乱数生成装置、擬似乱数生成方法及びプログラム |
JP4937607B2 (ja) * | 2006-03-14 | 2012-05-23 | 富士通株式会社 | 生体認証方法及び生体認証装置 |
JP2008102780A (ja) * | 2006-10-19 | 2008-05-01 | Sony Corp | パターン識別方法、登録装置、照合装置及びプログラム |
JP5050643B2 (ja) * | 2007-05-15 | 2012-10-17 | ソニー株式会社 | 登録装置、照合装置、プログラム及びデータ構造 |
JP5050644B2 (ja) * | 2007-05-15 | 2012-10-17 | ソニー株式会社 | 登録装置、照合装置、プログラム及びデータ構造 |
JP5050642B2 (ja) * | 2007-05-15 | 2012-10-17 | ソニー株式会社 | 登録装置、照合装置、プログラム及びデータ構造 |
EP2146317A4 (en) * | 2008-05-14 | 2012-10-31 | Sony Corp | RECORDING DEVICE, TEST DEVICE, PROGRAM AND DATA STRUCTURE |
-
2007
- 2007-02-26 JP JP2007046089A patent/JP2008052701A/ja active Pending
- 2007-07-23 EP EP20070252899 patent/EP1883038A3/en not_active Withdrawn
- 2007-07-25 US US11/782,777 patent/US8103060B2/en not_active Expired - Fee Related
- 2007-07-26 KR KR20070075234A patent/KR20080011094A/ko not_active Application Discontinuation
- 2007-07-30 CN CN2007101300662A patent/CN101127085B/zh not_active Expired - Fee Related
Non-Patent Citations (3)
Title |
---|
JP特开2002-251636A 2002.09.06 |
JP特开2005-157902A 2005.06.16 |
JP特开平6-215122A 1994.08.05 |
Also Published As
Publication number | Publication date |
---|---|
US8103060B2 (en) | 2012-01-24 |
EP1883038A3 (en) | 2012-03-28 |
KR20080011094A (ko) | 2008-01-31 |
CN101127085A (zh) | 2008-02-20 |
EP1883038A2 (en) | 2008-01-30 |
US20080037834A1 (en) | 2008-02-14 |
JP2008052701A (ja) | 2008-03-06 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN101127085B (zh) | 图像处理方法和图像处理设备 | |
CN110443210B (zh) | 一种行人跟踪方法、装置以及终端 | |
US8699786B2 (en) | 3D model generating apparatus, method and CRM by line pattern imaging | |
CN104063711B (zh) | 一种基于K‑means方法的走廊消失点快速检测算法 | |
CN103415860A (zh) | 确定第一和第二图像间的对应关系的方法以及确定摄像机姿态的方法 | |
Selver et al. | Camera based driver support system for rail extraction using 2-D Gabor wavelet decompositions and morphological analysis | |
CN111489394A (zh) | 物体姿态估计模型训练方法、系统、装置及介质 | |
CN115731266A (zh) | 跨相机多目标跟踪方法、装置、设备及可读存储介质 | |
Yousri et al. | A deep learning-based benchmarking framework for lane segmentation in the complex and dynamic road scenes | |
CN101529470A (zh) | 图案识别方法、登记设备、验证设备以及程序 | |
Wang et al. | Road detection based on illuminant invariance and quadratic estimation | |
Yang et al. | Robust line detection using two-orthogonal direction image scanning | |
US20200050827A1 (en) | Method for processing images of fingerprints | |
Lee et al. | Inferring segmented surface description from stereo data | |
CN110490118A (zh) | 图像处理方法及装置 | |
CN102713974A (zh) | 学习装置、识别装置、学习识别系统和学习识别装置 | |
JP3793977B2 (ja) | 画像照合装置 | |
Mlyahilu et al. | A fast fourier transform with brute force algorithm for detection and localization of white points on 3d film pattern images | |
Agrawal et al. | Off-road lane detection using superpixel clustering and ransac curve fitting | |
Min et al. | Inferring segmented dense motion layers using 5D tensor voting | |
CN114820752A (zh) | 深度估计方法和系统 | |
CN114821748A (zh) | 人脸识别方法、装置、电子设备及计算机存储介质 | |
CN113850167A (zh) | 一种基于边缘计算与机器深度学习的商品识别方法及系统 | |
de Macedo Rodrigues et al. | Fingerprint verification using characteristic vectors based on planar graphics | |
Jung et al. | Extracting 3D free-form surface boundaries of man-made objects from multiple calibrated images: a robust, accurate and high resolving power edgel matching and chaining approach |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
C14 | Grant of patent or utility model | ||
GR01 | Patent grant | ||
ASS | Succession or assignment of patent right |
Owner name: MOFEILIYA CO., LTD. Free format text: FORMER OWNER: SONY CORPORATION Effective date: 20131114 |
|
C41 | Transfer of patent application or patent right or utility model | ||
TR01 | Transfer of patent right |
Effective date of registration: 20131114 Address after: Tokyo, Japan Patentee after: Co Mo fillia Address before: Tokyo, Japan Patentee before: Sony Corp. |
|
CF01 | Termination of patent right due to non-payment of annual fee | ||
CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20121114 |