CN103339929B - 识别图像中的异常的方法 - Google Patents

识别图像中的异常的方法 Download PDF

Info

Publication number
CN103339929B
CN103339929B CN201180066278.3A CN201180066278A CN103339929B CN 103339929 B CN103339929 B CN 103339929B CN 201180066278 A CN201180066278 A CN 201180066278A CN 103339929 B CN103339929 B CN 103339929B
Authority
CN
China
Prior art keywords
candidate
exception
image
abnormal
imaging device
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CN201180066278.3A
Other languages
English (en)
Other versions
CN103339929A (zh
Inventor
大卫·克利夫顿
克雷格·罗伯逊
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Optos PLC
Original Assignee
Optos PLC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Optos PLC filed Critical Optos PLC
Publication of CN103339929A publication Critical patent/CN103339929A/zh
Application granted granted Critical
Publication of CN103339929B publication Critical patent/CN103339929B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • G06T7/0004Industrial image inspection
    • G06T7/001Industrial image inspection using an image reference approach
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/30Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
    • G06T7/337Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods involving reference images or patches
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/40Picture signal circuits
    • H04N1/409Edge or detail enhancement; Noise or error suppression
    • H04N1/4097Removing errors due external factors, e.g. dust, scratches
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80Camera processing pipelines; Components thereof
    • H04N23/81Camera processing pipelines; Components thereof for suppressing or minimising disturbance in the image signal generation
    • H04N23/811Camera processing pipelines; Components thereof for suppressing or minimising disturbance in the image signal generation by dust removal, e.g. from surfaces of the image sensor or processing of the image signal output by the electronic image sensor
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30004Biomedical image processing
    • G06T2207/30041Eye; Retina; Ophthalmic
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30168Image quality inspection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30242Counting objects in image

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Quality & Reliability (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)
  • Eye Examination Apparatus (AREA)
  • Facsimile Image Signal Circuits (AREA)

Abstract

一种识别使用成像设备(70)产生的图像中的异常的方法。该方法包括接收第一多个候选异常(10)和接收第二多个候选异常(12),候选异常在使用成像设备产生的后续图像中被识别。在第一和第二多个候选异常之间执行星座匹配(14、16、18、19)以识别它们之间的相关性,该相关性由星座匹配值表示。利用第一和第二多个候选图像之间的不同的相对x‑y位移来确定多个星座匹配值。如果在特定的x‑y位移处发现良好的相关性,那么候选异常在第一和第二图像之间是共同的,这指示包括异常的第一和第二图像。

Description

识别图像中的异常的方法
技术领域
本发明涉及一种用于识别成像设备所产生的图像中的异常的方法和装置。
背景
使用成像设备产生的图像可以包含不代表预期由成像设备捕获的图像的异常。也就是说,由于各种原因,图像可以包括在现实世界图像中不存在的特征。
异常的原因可包括例如:在成像设备中的污染物,例如沉积在透镜、反射镜或其他设备上的灰尘;在成像设备中使用的透镜、反射镜或其他设备中的凹凸不平;和/或与在图像生成中所使用的算法相关的图像处理误差。异常可能重新出现在使用成像设备产生的连续图像中。
为了避免疑问,注意,如本文使用的术语“异常”包含出现在图像中的异常,这些异常通过成像设备或系统被赋予到图像上。特别是,异常可以指由于沉积在成像装置内(例如反射镜或透镜上)的灰尘而引起的异常。
本文件的剩余部分涉及由污染物引起的异常。然而,技术人员将意识到本发明的范围有意地预期涵盖如上所述的其他异常。
诸如灰尘的污染物在视网膜成像扫描仪的领域中是个特别的问题。本文件的剩余部分主要涉及视网膜成像扫描仪。然而,技术人员将理解,其他成像设备例如相机、光学扫描仪、扫描激光检眼镜等也可能遭受相同的所识别的问题,并且本发明的方法也可以用于识别这些设备所产生的图像中的异常。
视网膜图像中的出现的污染物可以以类似于诸如微动脉瘤的病状显示,视网膜成像扫描仪可试图识别该病状。因此,希望维持视网膜成像扫描仪的光学表面没有灰尘和其他污染物,以便避免某些图像特征的分类中的任何含糊性,并保持由扫描仪产生的图像的一般质量感知。
用于保持光学表面没有污染物的当前已知的方法包括定期维护,由此,视网膜成像设备由受过训练的工程师每隔一定时间清洗。在一些情况下,清洗过程被进行地太早且光学表面可能不需要清洗。在其他情况下,清洗过程被进行地太晚且光学表面可能在次最佳状态下操作了一段时间。
用于检测灰尘的另一种已知的方法公开于美国专利申请2005/0068446中,该专利采用了使用数码相机产生的多个图像来产生灰尘图。将灰尘图与从之前的图像产生的之前的灰尘图的历史进行比较。用于识别灰尘区域的方法基于搜寻常见梯度变化的区域。这种方法可能对噪声敏感。此外,它在图像之间的空间运动发生的情况下并不适用,即,当单独灰尘候选物的空间位置在图像之间不同时,不能使用该方法。
发明内容
根据本发明,在第一个方面提供了一种识别使用成像设备产生的图像中的异常的方法,该方法包括:从第一和第二多个候选异常中识别多个异常,其中所识别的多个异常包括第一多个候选异常中的至少两个,所述第一多个候选异常中的至少两个的相对空间排列与第二多个候选异常中的至少两个的相对空间排列相同,其中在使用成像设备产生的第一图像中识别第一多个候选异常,并且其中在使用成像设备产生的第二图像中识别第二多个候选异常。
在本发明的示例性实施方式中,通过使用第一和第二多个候选异常之间的共同的相对空间排列,本发明能够识别连续图像所共有的图像中的异常的存在,但这些异常在图像之间空间地移动。本发明的示例性实施方式将异常识别为在第一多个候选异常和第二多个候选异常中具有共同的相对空间排列的那些候选异常。以这种方式,本发明的示例性实施方式在不使用绝对位置候选异常的情况下识别异常。
因此,为避免疑问,如本文使用的术语“相对空间排列”包含在第一和第二多个候选异常之一中的两个或更多个异常的相对坐标。即,相对空间排列可以定义多个候选异常中的一个候选异常对于一个或多个其它候选异常的相对位置。
在实施方式中,可将第一多个候选异常中的至少两个候选异常的相对空间排列与第二多个候选异常中的至少两个候选异常的相对空间排列进行比较。如果在第一和第二多个候选异常中的候选异常的相对空间排列实质上相同,则所述至少两个候选异常可以被认为是实际的异常。
本发明的示例性实施方式允许成像设备的用户确定成像设备的操作是否正在受到设备的光学表面上的污染物所引起的异常的危害。这些示例性实施方式允许用户在需要时召集工程师来清洗光学表面。这使设备的维护和清洗更加有效。
任选地,成像设备可以是视网膜成像扫描仪或扫描激光检眼镜。
任选地,候选异常的相对空间排列包括从在第一或第二多个候选异常中的每个候选异常的中心到在同一多个候选异常中的所有其他候选异常的中心的距离。
在本发明的示例性实施方式中,从每个候选异常的中心测量候选异常之间的距离以创建公共参考点。即,在本发明的示例性实施方式中,采用从每个候选异常的中心的距离,公共参考点被使用。此外,从多个候选异常中的每个候选异常到剩余的候选异常测量的距离意味着,在一些实施方式中,候选异常的排列被确定而不参考其绝对位置。
任选地,识别多个异常包括:运行第一多个候选异常和第二多个候选异常之间的星座匹配。
在示例性实施方式中,星座匹配允许在第一多个候选异常中的每个候选异常的相对位置与在第二多个候选异常中的每个候选异常的相对位置进行比较。
任选地,运行星座匹配包括使第一多个候选异常与第二多个候选异常相关联并确定表示第一和第二多个候选异常的空间排列之间的相关水平的星座匹配值。
在示例性实施方式中,星座匹配值允许量化第一多个候选异常的位置与第二多个候选异常的位置匹配得多好。在本发明的一些实施方式中,在来自第一和第二多个候选异常的候选异常之间存在一个以上的紧密匹配的场合,这可以指示污染物存在于视网膜图像扫描仪的光学表面上。
任选地,确定星座匹配值包括测量从第一多个候选异常中的每个候选异常的中心到第二多个候选异常中的每个候选异常的中心的多个距离,并且对该多个距离取平均。
任选地,运行星座匹配包括确定候选计数,该候选计数表示在第二多个候选异常中的、在第一多个候选异常中的每个候选异常的预定半径内的候选异常的数量。
在本发明的示例性实施方式中,确定候选计数可以用于确定在图像中所包含的异常的数量。在一些实施方式中,这可允许成像设备的用户确定在成像设备中的污染物的水平。
任选地,方法还可以包括确定多个星座匹配值和多个候选计数,每个星座匹配值和候选计数在相对于第二多个候选异常在x和/或y方向上移动第一多个候选异常之后被确定。
在本发明的示例性实施方式中,通过在相对于第二多个候选异常移动第一多个候选异常之后确定星座匹配值,这两组候选异常之间的相关水平可以在以x和y坐标表示的整个搜索区域中被确定。这可应对由例如遍及这两个图像中的污染所引起的异常中的任何空间移位。
任选地,方法还可以包括根据所述多个候选计数中的大于预定阈值的一个来识别在第一和第二图像中的多个异常。
如果候选计数之一的相关水平高于某个阈值,则这可表示在第一多个候选异常中的若干候选异常的位置与第二多个候选异常中的相应的候选的相关性。候选计数的水平可以指示例如由视网膜成像扫描仪的光学表面上的污染物引起的在图像中的异常的数量。
任选地,根据多个候选计数的相对值确定阈值。
在本发明的示例性实施方式中,通过根据多个候选计数的相对值确定阈值,于是提高了方法的噪声性能。在高噪声环境中,一个或多个候选计数的绝对值可以高于固定的阈值,但这可能不指示星座匹配。然而,如果阈值相对于所有的多个候选计数被设置,那么特定的候选计数必须对照其他候选计数突出,以识别异常的存在。
任选地,方法还可以包括识别使用成像设备产生的第一图像中的第一多个候选异常,以及识别使用成像设备产生的第二图像中的第二多个候选异常。
申请人认识到,第一和第二多个候选异常的识别可以在与来自那些候选异常的异常的识别相同的地方进行。然而,为避免疑问,注意,申请人也明白候选异常的识别可在其他国家或地区中的其他地方进行,并被传递到远程位置,用于识别来自候选异常的异常。对在其他地方识别的候选异常实施本发明的方法有意地在本发明的范围内。
任选地,识别第一和第二多个候选图像可以包括对第一图像和第二图像中的每一个运行匹配过滤器。
任选地,运行匹配过滤器可以包括使异常的表示与第一和/或第二图像的区域相关联,并确定表示它们之间的相关水平的相关值。
在示例性实施方式中,通过使用异常的表示,图像的一部分可以与该表示进行比较,并且相关值将给出图像的区域和该表示之间的相关水平。高的相关水平可以指示在图像中存在异常。
任选地,确定相关值可以包括确定异常的表示的至少一个区域的强度水平和第一和/或第二图像的相应的重叠区域的强度水平之间的差异。强度水平可以是例如光水平。
在某些示例性实施方式中,表示可被分成区域例如像素,并且表示的每个像素的光水平可以与图像的每个对应像素的光水平进行比较。相关值可以是每个差异的平均值。
任选地,方法还可以包括根据大于预定阈值的相关值识别第一和/或第二多个候选异常的候选异常。
任选地,方法还可以包括通过确定多个相关值来确定多个候选异常,每个相关值在相对于图像在x和/或y方向上移动异常的表示之后被确定。
在某些示例性实施方式中,可以确定全部或部分图像的候选异常。通过在x和/或y方向上移动表示,表示可滑过图像。在表示到达图像中的与该表示具有高相关性的区域的场合,于是高相关值将由过滤器输出,从而识别候选异常。这个过程可被称为二维卷积。
任选地,方法还可以包括使用成像设备产生第一和第二图像。
申请人认识到,使用成像机器产生第一和第二多个第一和第二图像可以在与识别异常相同的地方和/或与识别候选异常相同的地方进行。然而,为避免疑问,注意申请人还理解,第一和第二图像的生成可以在其他国家或地区中的其他地方进行,并且图像被传递到远程位置以用在本发明的方法中。在其他地方产生的图像上实施本发明的方法有意地在本发明的范围内。
根据本发明,在第二方面,提供了一种计算机程序产品,其配置为存储可执行来实施如上所述的方法的计算机程序代码。
根据本发明,在第三方面,提供了一种装置,其包括配置为执行如上所述的方法的处理器。
在本发明的示例性实施方式中,成像设备可包括如上所述的装置。成像设备可以是扫描激光检眼镜。
附图说明
现在将参照附图描述本发明的示例性实施方式,其中
图1示出了本发明的示例性实施方式的流程图;
图2示出了根据本发明的示例性实施方式的具有所识别的多个候选异常的第一和第二图像;
图3示出了根据本发明的示例性实施方式的重叠的图2的第一和第二图像;
图4示出了根据本发明的示例性实施方式的在x和y方向上重叠和移动的图2的第一和第二图像;
图5示出了带有根据本发明的示例性实施方式识别的并使用振铃突出的候选异常的示例性视网膜图像;
图6示出了根据本发明的示例性实施方式的带有识别多个候选异常的单个孤立尖峰的二维搜索表面;
图7示出了根据本发明的示例性实施方式的没有识别多个异常的孤立尖峰的二维搜索表面;
图8示出了本发明的示例性实施方式的流程图;以及
图9示出了根据本发明的示例性实施方式的装置。
具体实施方式
通常,本发明的实施方式涉及一种用来产生灰尘度量的算法。特别是,本发明的实施方式描述了星座匹配阶段,其实现了灰尘或其它污染物所污染的图像和干净的图像之间的耐噪声的辨别。
如本文使用的术语“星座匹配”包含使两组特征的空间排列相关的任何算法。也就是说,星座匹配寻找两个星座(例如,第一和第二多个候选异常)之间的相似性以识别这两者之间的匹配水平。星座匹配可以给出两个星座之间的总匹配的一般化水平。可选地或者另外,星座匹配可以识别具有与另一个星座中的相应特征共同的空间排列的特征的星座中的特定特征。
图像中的异常的识别通过识别可由两个图像之间的污染物颗粒引起的多个候选异常来实现。若干候选异常可能是噪声或其他图像伪影。
然后,从候选异常产生“星座匹配”。这可用于产生距离测度的二维搜索表面,距离测度表示对于x-y相对图像移位的范围在第一多个异常中的每个候选异常的质量中心到第二多个候选异常的每个的质量中心。这在下文中被更详细地解释。
参照图1,示出了本公开的特定的示例性实施方式的方法。
在本公开的示例性实施方式中,接收第一和第二多个候选异常(10、12)。如上所述,多个候选异常可在其他地方被识别,并被传送到本发明可被实施的本地站点。例如,候选异常可在远程区域、国家或地区中被识别,并被上传到本地服务器。本发明可以在微处理器上被执行,该微处理器能够取回和/或接收来自本地服务器的多个候选异常。
在步骤14,第一多个候选异常重叠在第二多个候选异常的顶部上。象征地使用术语“重叠”来给读者在本发明中所涉及的过程的印象。然而,在本文所公开的示例性实施方式中,可以在微处理器中通过一系列值来表示第一和第二多个候选异常,在这种情况下,“重叠”第一和第二多个候选异常以计算方式被执行。
测量(16)从第一多个候选异常中的每个候选异常到第二多个候选异常中的每个候选异常的距离。确定(18)这些距离的平均值。
距离的平均值可以是星座匹配的星座匹配值。
在第一和第二多个候选异常之间的相关性越接近,距离的平均值就越低。例如,在第一多个候选异常中的每一个都与第二多个候选异常中的一个重叠的理想情况下,于是所有的距离将为零,并且距离的平均值也将在其最低值处。
在步骤19,确定候选计数。候选计数确定了在第二多个候选异常中(即,在第二图像中)的候选异常的数量,这些候选异常在第一多个候选异常中(即,在第一图像中)的每个候选异常的指定半径内。
在数字图像中,候选计数可以使用由若干像素识别的半径。例如,候选计数可以确定在第一多个候选异常中的每个的3x3像素的正方形中的第二多个候选异常的数量。3×3像素的矩阵可以以第一多个候选异常的中心为中心。
通过确定在第一多个候选异常中的每一个的预定半径内的第二多个候选异常的数量,本文所公开的方法能够确定由污染物例如灰尘引起的异常的数量。
在步骤20,第一多个候选异常在x和/或y方向上移动,并且该方法返回到步骤16。这对覆盖期望的搜索区域所需的x和y移位的数量重复。
本文所公开的方法可以确定星座匹配值和/或将候选计数确定为星座匹配的一部分。在一个示例性实施方式中,该方法可以确定这两个值。
例如,可以使用候选计数来给出由灰尘引起的异常的数量的指示。多个候选计数中的每一个可以被绘制在如下所述的二维搜索表面上。表面中的孤立尖峰可以指示在第一图像中存在由污染物例如灰尘引起的若干异常。如果尖峰是10的值或比搜索表面中所识别的每个其他尖峰大得多,那么该尖峰可被认为是孤立的。
然而,孤立尖峰不一定包括单个候选计数值,因为对于第一图像相对于第二图像的若干x和/或y移位,候选计数水平可以是相同的或类似的。
因此,可以确定星座匹配值以识别星座匹配,其中第一多个候选异常中的候选异常与第二多个候选图像的候选异常最接近。在x和/或y移位值处确定了具有最低星座匹配值的星座匹配,其中第一多个候选异常与第二多个候选异常最佳地重叠。因此,相同的x和/或y移位的相应的候选计数表示在第一图像中的由污染物例如灰尘引起的异常的数量。
参照图2,示出了两个图像,对于每一个图像,识别了四个候选异常。图2a示出了第一图像22,其中识别了第一多个候选异常。图2b示出了第二图像26,其中识别了第二多个候选异常。可以看出,第一多个候选异常24中的四个候选异常与第二多个候选异常中的四个候选异常具有相同的空间排列。这些是本文所公开的方法将识别为异常的候选异常。
在第一图像22中的四个候选异常24和第二图像26中的四个候选异常28由视网膜成像扫描仪的光学表面上的污染物引起。然而,它们在随后的图像之间在x和y方向上移动。第一和第二多个候选异常之间的候选异常的x-y相对移位可由成像设备中固有的机械不精确引起。可选地,x-y相对移位可由电气定时误差引起。
参照图3,第一和第二图像22、26显示为重叠在一个图像30上。这两个图像的候选异常都显示在重叠的图像30上。第一和第二图像22、26中的每一个的四个候选异常24、28都显示为在x和y方向上移动。
当实施上文所述的星座匹配过程时,星座匹配值将相对高。
参照图4,第一和第二图像22、26移动,作为星座匹配过程的一部分。可以看出,四个候选异常24、28现在被重叠。这样的排列将在第一和第二多个候选异常之间产生高相关性。因此,星座匹配值(表示候选异常之间的距离的平均值)将是相对低的。
为清楚起见,上文描述的具有所识别的候选异常的第一和第二图像22、26的实例被极大地简化。图5示出了候选异常被包围的示例性的视网膜图像。
如上面讨论的,星座匹配过程覆盖所需的搜索区域。例如,如果图像是数字图像,那么搜索区域可以限定10×10像素的区域。在其它实施方式中,可以限定搜索区域的其他尺寸和形状。
使用上面的实例,执行星座匹配,首先图像的原点被重叠,然后第一多个候选异常每次移动一个像素,以覆盖搜索区域的一百个像素。注意,“原点”是抽象的公共点,因为它表示图像的左下角。在数字图像中,原点可以是在图像的左下角的像素。
对于每个星座匹配可以产生单个星座匹配值,其表示第一和第二多个候选异常之间的相关性,第一多个候选异常每次移动一个像素。此外,对于每个星座匹配可以产生多个候选计数。
以这种方式确定的多个星座匹配值和/或多个候选计数可以被表示在二维搜索表面中。图6示出了在第一和第二多个候选异常之间的相关性被识别出的示例性搜索表面。图7示出了在第一和第二多个候选异常之间没有相关性被识别出的示例性搜索表面。图6和图7示出了如上文阐述的确定的图像的候选计数。
参照图6,尖峰32是作为用于确定在第一和第二多个候选异常中是否存在共同的候选异常的基础的特性。这又指示视网膜成像扫描仪的光学表面的灰尘污染。
在单个孤立尖峰的情况下,根据尖峰的高度来分配污染值或灰尘度量。高度值将给出图像中的由灰尘或其他污染物引起的异常的数量的近似指标。从剩余的搜索表面的均匀性的分析提供在使用搜索表面中的尖峰识别异常时的置信度。通过找到与尖峰位置对应的x-y图像移位坐标,产生公共计数的单独颗粒可以被映射到图像以产生灰尘图,该灰尘图具有良好的噪声性能,并且不需要在图像中的异常的绝对位置。
参照图7的示例性搜索表面,在搜索空间中可能找不到单个孤立尖峰。在这种情况下,算法将不识别图像中的任何异常。该算法也可返回异常和污染物颗粒的零计数,指示图像(并且因此设备的光学表面)可被认为是干净的,没有污染物。
参照图8,示出了本文所公开的方法的示例性实施方式的流程图,所述方法包括与图像中的候选异常的识别有关的步骤。
与两个连续捕获的图像(其可以是不同的视网膜)相对应的图像数据,被加载(40)到包括微处理器的装置中,该微处理器配置成运行本文所述的方法。
与每个图像有关的图像数据被分成四个子图像,例如等维的象限。然后,单独地处理象限以产生四个污染度量。四个污染度量相加以产生一个污染度量。如下所述以给定的子图像的取回(42)开始,单独地处理四个象限。
作为预处理,可使用再启动变换(relighting transform)对图像片段进行标准化(44),以使图像之间的颗粒形式的任何变化最小。
然后,应用(46)掩模,该掩模将在子图像的周界周围的图像像素归零。这种掩蔽确保由于成像设备中的反射镜或透镜的边缘造成的子图像的图像特征不由算法处理,所述边缘有时表现为小的异常特征的折线。这提高了处理时间,并且也确保由于两个图像之间的任何反射镜边缘特征的紧密对齐造成的颗粒匹配不会被误认为是常见的异常。
然后,掩蔽的图像与平均(平滑)内核48和异常共振匹配过滤器内核50并行地被卷积。
该平滑内核48产生低频图像。在低频图像的给定区域中的每个像素值是在等于给定窗口尺寸的子图像内的给定位置处的所有像素的平均值。也就是说,对于子图像中的给定位置处的给定窗口尺寸,产生所有像素的平均值;将平均值给予在与给定位置相应的低频图像中的每个像素。
该匹配过滤器50是具有统一的平均值的由零包围的有限值的块,其通过试错法被调整(即,改变内核中的有限值和零之间的相对关系)以与异常的“一般”外观谐振。也就是说,匹配过滤器是异常的表示。当匹配过滤器与子图像相关时,表示图像的区域和异常的表示之间的相关性的相关值产生。当匹配过滤器越过子图像时,多个相关值可以被确定。当图像的区域与匹配过滤器相关时,即,当子图像的部分可能是异常时,可以看见相关值中的尖峰。这些尖峰对应于候选异常。
当匹配过滤器输出与低频图像一起被卷积时,在匹配过滤器输出中的尖峰相对于低频图像的均匀区域被加强。
计算匹配过滤器输出和低频图像之间的差异52以产生图像,其中,候选异常特征被强调并且背景(即,非候选异常特征)被衰减。然后,应用图像阈值以产生二进制图像54,其中,颗粒特征与其背景中完全隔离。也就是说,二进制图像指示候选异常被识别出的“1”和没有候选异常被识别出的“0”。
通过在单灰度级阶梯中向下对截止阈值编索引以及在每次迭代时对超过该阈值的异常点的数量计数来重复地执行此阈值化。当超过该阈值的颗粒的数量超过预设值时,找到阈值的最终值。预设值可以是例如1500个候选异常。以这种方式,不同对比度范围和变化的强度的两个图像可以被阈值化以产生大约相同数量的候选异常。
然后,应用三个单独的对象过滤器。第一过滤器56移除围绕子图像周界的对象,子图像边界对应于围绕掩模边缘的区域。这对避免假阳性候选异常被分配给像素群是必要的,该假阳性候选异常由掩模边界的阶梯状线结构中的碎片产生。
然后,应用大的对象过滤器58以移除超过某一上阈值的对象。该阈值可以是例如区域中的160个像素。超过阈值的对象可能是在嘈杂图像中的脉管系统分裂的结果。当这样的特征在图像对中是共同的时,它们中的一些可以排成行(甚至来自不同的视网膜)并造成假阳性候选异常。
第三对象过滤器60移除在设定阈值以下的所有明显的候选异常。该阈值例如可以是区域中的3个像素。由于噪声,这需要移除特征,这在特别嘈杂的一组图像中否则将引起候选异常的假阳性识别的集群。
然后,对在步骤56、58和60后剩余的所有对象进行参数化(62),以参照对象尺寸产生对象索引的矢量(以像素为单位的区域)和每个对象的中心坐标(被计算为每个对象的质量中心)。对象的矢量表示给定子图像的所识别的多个候选异常。
对每个完整图像的每个子图像执行步骤40至62,即,或两个图像被分成四个象限,步骤40至60被执行8次。
然后,产生如上所述的星座匹配64。星座匹配是从来自两个连续图像的参数化对象(即,候选异常)组确定的。连续图像可以是不同的视网膜的,因为相同视网膜的图像对可以沿视网膜内的公共血管的边界产生不精确的匹配。
星座匹配可以被表示为距离测度的二维表面,该距离测度表示对于x-y相对图像移位的范围每个对象的中心到所有其他对象的中心。x-y图像移位的范围例如可以距离抽象原点+/-10个像素。可选地,搜索表面可以包括每个x-y相对图像移位的候选计数。
在本文所公开的方法的实施方式中,计算机程序产品配置成存储计算机程序代码以执行本文所述的方法。计算机程序产品可以包括例如计算机硬盘驱动器、软盘、CD、DVD、闪存或其他数据介质。计算机程序产品可以可选地或此外包括可编程逻辑、ASIC和/或固件。
在本文所公开的方法的其它实施方式中,诸如计算机或计算设备的装置可以包括配置成实施本文所述的方法的微处理器。装置也可以位于成像设备中。
参照图9,示出了配置成实施本文所公开的方法的装置70。在这个示例性的实施方式中,装置70包括光学硬件72、微处理器或类似的计算设备74和存储器76。光学硬件72通过电链路连接到微处理器74。微处理器又通过两个电链路连接到存储器76。装置70可以是扫描激光检眼镜。
在一些实施方式中,光学硬件可包括配置成实施视网膜的激光成像的透镜和反射镜。光学硬件可以将激光传输到眼睛78中并接收回反射信号。反射信号包括可用于构造眼睛78内的视网膜的图像的原始图像数据。
光学硬件可以配置成将原始图像数据传输到微处理器74,其中图像数据被处理以产生视网膜的图像。微处理器可以配置成向存储视网膜图像的存储器76传输视网膜图像。对不同的主题重复该过程一整天,以构建存储在存储器76中的若干视网膜图像。
在一些示例性实施方式中,可以将至少两个后续的视网膜图像从存储器76传输到微处理器74以实施如本文所公开的方法。然后,微处理器可以识别视网膜图像中的异常,这些异常可以由光学硬件中或上的污染物例如灰尘引起。
可通过星座匹配输出的上述尖峰的水平可以用作污染物或灰尘度量。因此,尖峰的水平可以与成像设备的光学表面上的污染物的量对应。因此,成像设备的用户可以使用污染物度量的水平以决定何时召集工程师来清洗成像设备的光学表面或进行其他维护。在本文所公开的方法的其它实施方式中,可在远程位置自动监控来自星座匹配的输出的水平。例如,成像设备的制造商可以监控所有现场单元,并根据哪个单元需要清洗或在哪个时间需要维护来组织维护团队。
在本文所公开的方法的示例性实施方式中,为了增加污染物度量的置信度,本文所公开的方法可在一天中获取的所有后续图像上被实施。以这种方式,该方法提供规定监控成像单元,而无需获取特别用于这一目的的图像。
技术人员将识别另外的实施方式,而不偏离如所主张的本发明的范围。

Claims (25)

1.一种处理使用成像设备产生的图像以检测通过所述成像设备赋予到所述图像的异常的方法,所述方法包括:
识别使用所述成像设备产生的第一图像中的第一多个候选异常,
识别使用所述成像设备产生的第二图像中的第二多个候选异常,以及
运行所述第一多个候选异常和所述第二多个候选异常之间的星座匹配以从所述第一多个候选异常和所述第二多个候选异常中识别多个异常,所述星座匹配允许在所述第一多个候选异常中的每个候选异常的相对位置与在所述第二多个候选异常中的每个候选异常的相对位置进行比较,使得所识别的多个异常包括所述第一多个候选异常中的至少两个,所述第一多个候选异常中的所述至少两个的相对空间排列与所述第二多个候选异常中的至少两个的相对空间排列相同,
其中运行所述星座匹配还包括使所述第一多个候选异常与所述第二多个候选异常相关联,并且确定多个星座匹配值,所述多个星座匹配值分别表示所述第一多个候选异常和所述第二多个候选异常的空间排列之间的相关水平,每个星座匹配值在相对于所述第二多个候选异常在x和/或y方向上移动所述第一多个候选异常之后被确定。
2.根据权利要求1所述的方法,其中,确定星座匹配值包括测量从所述第一多个候选异常中的每个候选异常的中心到所述第二多个候选异常中的每个候选异常的中心的多个距离,并对所述多个距离取平均。
3.根据权利要求1所述的方法,其中,运行所述星座匹配还包括确定候选计数,所述候选计数表示所述第二多个候选异常中的、在所述第一多个候选异常中的每个候选异常的预定半径内的候选异常的数量。
4.根据权利要求3所述的方法,还包括确定多个候选计数,每个候选计数在相对于所述第二多个候选异常在x和/或y方向上移动所述第一多个候选异常之后被确定。
5.根据权利要求4所述的方法,还包括根据孤立尖峰是否存在于由所述多个候选计数以及x和y方向上的所述移动所限定的二维搜索表面中来识别在所述第一图像和所述第二图像中的多个异常。
6.根据权利要求1所述的方法,其中,识别所述第一多个候选异常和第二多个候选异常包括对所述第一图像和所述第二图像的每一个运行匹配过滤器。
7.根据权利要求6所述的方法,其中,运行匹配过滤器包括使异常的表示与所述第一图像和/或所述第二图像的区域相关联,并确定表示它们之间的相关水平的相关值。
8.根据权利要求7所述的方法,其中,确定所述相关值包括确定异常的所述表示的至少一个区域的光水平和所述第一图像和/或所述第二图像的相应的重叠区域的光水平之间的差异。
9.根据权利要求8所述的方法,还包括根据大于预定阈值的相关值识别所述第一多个候选异常和/或所述第二多个候选异常的候选异常。
10.根据权利要求9所述的方法,还包括通过确定多个相关值来确定多个候选异常,每个相关值在相对于所述图像在x和/或y方向上移动异常的所述表示之后被确定。
11.根据权利要求1所述的方法,还包括使用所述成像设备产生所述第一图像和所述第二图像。
12.根据权利要求1所述的方法,其中所述第一图像和所述第二图像是视网膜图像。
13.一种包括配置成实施根据权利要求1至12中的任一项所述的方法的处理器的装置。
14.一种包括根据权利要求13所述的装置的成像设备。
15.一种处理使用成像设备产生的图像以检测通过所述成像设备赋予到所述图像的异常的方法,所述方法包括:
识别使用所述成像设备产生的第一图像中的第一多个候选异常,
识别使用所述成像设备产生的第二图像中的第二多个候选异常,以及
运行所述第一多个候选异常和所述第二多个候选异常之间的星座匹配以从所述第一多个候选异常和所述第二多个候选异常中识别多个异常,所述星座匹配允许在所述第一多个候选异常中的每个候选异常的相对位置与在所述第二多个候选异常中的每个候选异常的相对位置进行比较,使得所识别的多个异常包括所述第一多个候选异常中的至少两个,所述第一多个候选异常中的所述至少两个的相对空间排列与所述第二多个候选异常中的至少两个的相对空间排列相同,
其中运行所述星座匹配包括确定多个候选计数,每个候选计数表示所述第二多个候选异常中的、在所述第一多个候选异常中的每个候选异常的预定半径内的候选异常的数量,其中每个候选计数在相对于所述第二多个候选异常在x和/或y方向上移动所述第一多个候选异常之后被确定。
16.根据权利要求15所述的方法,其中运行所述星座匹配还包括使所述第一多个候选异常与所述第二多个候选异常相关联,并且确定表示所述第一多个候选异常和所述第二多个候选异常的空间排列之间的相关水平的星座匹配值。
17.根据权利要求15所述的方法,其中,识别所述第一多个候选异常和第二多个候选异常包括对所述第一图像和所述第二图像的每一个运行匹配过滤器。
18.根据权利要求17所述的方法,其中,运行匹配过滤器包括使异常的表示与所述第一图像和/或所述第二图像的区域相关联,并确定表示它们之间的相关水平的相关值。
19.根据权利要求18所述的方法,其中,确定所述相关值包括确定异常的所述表示的至少一个区域的光水平和所述第一图像和/或所述第二图像的相应的重叠区域的光水平之间的差异。
20.根据权利要求19所述的方法,还包括根据大于预定阈值的相关值识别所述第一多个候选异常和/或所述第二多个候选异常的候选异常。
21.根据权利要求20所述的方法,还包括通过确定多个相关值来确定多个候选异常,每个相关值在相对于所述图像在x和/或y方向上移动异常的所述表示之后被确定。
22.根据权利要求15所述的方法,还包括使用所述成像设备产生所述第一图像和所述第二图像。
23.根据权利要求15所述的方法,其中所述第一图像和所述第二图像是视网膜图像。
24.一种包括配置成实施根据权利要求15至23中的任一项所述的方法的处理器的装置。
25.一种包括根据权利要求24所述的装置的成像设备。
CN201180066278.3A 2010-12-03 2011-10-24 识别图像中的异常的方法 Expired - Fee Related CN103339929B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
GBGB1020530.0A GB201020530D0 (en) 2010-12-03 2010-12-03 Method of identifying anomalies in images
GB1020530.0 2010-12-03
PCT/GB2011/052061 WO2012072995A1 (en) 2010-12-03 2011-10-24 Method of identifying anomalies in images

Publications (2)

Publication Number Publication Date
CN103339929A CN103339929A (zh) 2013-10-02
CN103339929B true CN103339929B (zh) 2017-05-24

Family

ID=43531434

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201180066278.3A Expired - Fee Related CN103339929B (zh) 2010-12-03 2011-10-24 识别图像中的异常的方法

Country Status (6)

Country Link
US (1) US9141869B2 (zh)
EP (1) EP2647194A1 (zh)
JP (2) JP2013546084A (zh)
CN (1) CN103339929B (zh)
GB (1) GB201020530D0 (zh)
WO (1) WO2012072995A1 (zh)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6055224B2 (ja) * 2012-07-27 2016-12-27 クラリオン株式会社 レンズ洗浄装置
CN111148460B (zh) * 2017-08-14 2022-05-03 奥普托斯股份有限公司 视网膜位置跟踪
CN110954758A (zh) * 2018-09-26 2020-04-03 珠海格力电器股份有限公司 电器的故障确定方法及装置
CN112419261B (zh) * 2020-11-19 2022-11-15 江汉大学 具有异常点去除功能的视觉采集方法及装置

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101324713A (zh) * 2007-05-30 2008-12-17 日本麦可罗尼克斯股份有限公司 液晶面板检查方法以及装置
CN101622861A (zh) * 2007-07-24 2010-01-06 佳能株式会社 摄像设备及其控制方法和程序
CN101656841A (zh) * 2004-09-13 2010-02-24 佳能株式会社 图像感测设备及其控制方法

Family Cites Families (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5218648A (en) 1990-12-17 1993-06-08 Hughes Aircraft Company Constellation matching system and method
US5436979A (en) 1992-08-21 1995-07-25 Eastman Kodak Company Process for detecting and mapping dirt on the surface of a photographic element
US6122397A (en) * 1997-07-03 2000-09-19 Tri Path Imaging, Inc. Method and apparatus for maskless semiconductor and liquid crystal display inspection
JPH1145919A (ja) * 1997-07-24 1999-02-16 Hitachi Ltd 半導体基板の製造方法
US6035072A (en) * 1997-12-08 2000-03-07 Read; Robert Lee Mapping defects or dirt dynamically affecting an image acquisition device
US6233364B1 (en) 1998-09-18 2001-05-15 Dainippon Screen Engineering Of America Incorporated Method and system for detecting and tagging dust and scratches in a digital image
JP4179079B2 (ja) * 2002-08-30 2008-11-12 株式会社ニコン 電子カメラ及びその制御プログラム
US7355690B2 (en) 2003-07-21 2008-04-08 Applied Materials, Israel, Ltd. Double inspection of reticle or wafer
JP4419479B2 (ja) * 2003-08-29 2010-02-24 株式会社ニコン 画像処理装置および画像処理プログラム
US7369712B2 (en) 2003-09-30 2008-05-06 Fotonation Vision Limited Automated statistical self-calibrating detection and removal of blemishes in digital images based on multiple occurrences of dust in images
IES20040604A2 (en) * 2003-09-30 2005-06-15 Fotonation Vision Ltd Statistical self-calibrating detection and removal of blemishes in digital images based on multiple occurrences of dust in images
US7394534B1 (en) 2003-11-19 2008-07-01 Kla-Tencor Corporation Process excursion detection
JP4464731B2 (ja) * 2004-04-08 2010-05-19 オリンパス株式会社 画像処理プログラム、画像処理方法、画像処理装置
US20060242706A1 (en) * 2005-03-11 2006-10-26 Ross Robert B Methods and systems for evaluating and generating anomaly detectors
US8337405B2 (en) * 2007-06-08 2012-12-25 Raytheon Company System and method for automatic detection of anomalies in images
US8270733B2 (en) * 2009-08-31 2012-09-18 Behavioral Recognition Systems, Inc. Identifying anomalous object types during classification

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101656841A (zh) * 2004-09-13 2010-02-24 佳能株式会社 图像感测设备及其控制方法
CN101324713A (zh) * 2007-05-30 2008-12-17 日本麦可罗尼克斯股份有限公司 液晶面板检查方法以及装置
CN101622861A (zh) * 2007-07-24 2010-01-06 佳能株式会社 摄像设备及其控制方法和程序

Also Published As

Publication number Publication date
JP2013546084A (ja) 2013-12-26
EP2647194A1 (en) 2013-10-09
JP2016185337A (ja) 2016-10-27
US20130301927A1 (en) 2013-11-14
GB201020530D0 (en) 2011-01-19
WO2012072995A1 (en) 2012-06-07
JP6139002B2 (ja) 2017-05-31
US9141869B2 (en) 2015-09-22
CN103339929A (zh) 2013-10-02

Similar Documents

Publication Publication Date Title
CN110378945B (zh) 深度图处理方法、装置和电子设备
Haindl et al. Unsupervised detection of non-iris occlusions
US8498449B2 (en) Eye detecting device, eye detecting method, and program
JP5894711B2 (ja) 眼および視線追跡のためのタイル画像ベースの頭位置の走査
Gangwar et al. IrisSeg: A fast and robust iris segmentation framework for non-ideal iris images
JP5152231B2 (ja) 画像処理方法および画像処理装置
AU2013273657B2 (en) Ophthalmic reference image selection
CN110852160A (zh) 以图像为基准的生物识别系统及计算机实施方法
US20140205156A1 (en) Iris Data Extraction
CN103339929B (zh) 识别图像中的异常的方法
EP1524622A1 (en) Method and image processing device for analyzing an object contour image, method and image processing device for detecting an object, industrial vision apparatus, smart camera, image display, security system, and computer program product
JP4533836B2 (ja) 変動領域検出装置及びその方法
CN1523533A (zh) 人的检测方法和设备
JP5385182B2 (ja) 物体検出装置
KR20040089122A (ko) 사용자 상호작용없이 적목현상 부분들을 제거하기 위한이미지 처리
JP4772819B2 (ja) 画像検索装置および画像検索方法
JP6197340B2 (ja) 画像処理装置、画像処理方法、およびプログラム
JP6630341B2 (ja) シンボルの光学的検出方法
JP2005165387A (ja) 画面のスジ欠陥検出方法及び装置並びに表示装置
TWI494824B (zh) 光學觸控系統及方法
JP6006675B2 (ja) マーカ検出装置、マーカ検出方法、及びプログラム
KR102039103B1 (ko) 이미지 처리를 위한 방법들 및 장치, 그리고 이미지 처리 장치를 갖는 레이저 스캐닝 검안경
JP6140599B2 (ja) 炎検出装置
JP5708305B2 (ja) 画像認識装置、画像認識方法及び画像認識用コンピュータプログラム
JP5128454B2 (ja) 瞼検出装置、瞼検出方法及びプログラム

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20170524

Termination date: 20171024