CN103908224A - 图像处理装置和图像处理方法 - Google Patents

图像处理装置和图像处理方法 Download PDF

Info

Publication number
CN103908224A
CN103908224A CN201310741405.6A CN201310741405A CN103908224A CN 103908224 A CN103908224 A CN 103908224A CN 201310741405 A CN201310741405 A CN 201310741405A CN 103908224 A CN103908224 A CN 103908224A
Authority
CN
China
Prior art keywords
image
eye fundus
unit
fundus image
eye
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201310741405.6A
Other languages
English (en)
Other versions
CN103908224B (zh
Inventor
米泽惠子
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Publication of CN103908224A publication Critical patent/CN103908224A/zh
Application granted granted Critical
Publication of CN103908224B publication Critical patent/CN103908224B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B3/00Apparatus for testing the eyes; Instruments for examining the eyes
    • A61B3/10Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions
    • A61B3/14Arrangements specially adapted for eye photography
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B3/00Apparatus for testing the eyes; Instruments for examining the eyes
    • A61B3/0016Operational features thereof
    • A61B3/0025Operational features thereof characterised by electronic signal processing, e.g. eye models
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B3/00Apparatus for testing the eyes; Instruments for examining the eyes
    • A61B3/0016Operational features thereof
    • A61B3/0041Operational features thereof characterised by display arrangements
    • A61B3/0058Operational features thereof characterised by display arrangements for multiple images
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B3/00Apparatus for testing the eyes; Instruments for examining the eyes
    • A61B3/10Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions
    • A61B3/12Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions for looking at the eye fundus, e.g. ophthalmoscopes
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/22Matching criteria, e.g. proximity measures
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00Geometric image transformation in the plane of the image
    • G06T3/40Scaling the whole image or part thereof
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/50Image enhancement or restoration by the use of more than one image, e.g. averaging, subtraction
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • G06T7/0012Biomedical image inspection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18Eye characteristics, e.g. of the iris
    • G06V40/19Sensors therefor
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/62Control of parameters via user interfaces
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/63Control of cameras or camera modules by using electronic viewfinders
    • H04N23/633Control of cameras or camera modules by using electronic viewfinders for displaying additional information relating to control or operation of the camera
    • H04N23/635Region indicators; Field of view indicators
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/667Camera operation mode switching, e.g. between still and video, sport and normal or high- and low-resolution modes
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/222Studio circuitry; Studio devices; Studio equipment
    • H04N5/262Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/265Mixing
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20172Image enhancement details
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30004Biomedical image processing
    • G06T2207/30041Eye; Retina; Ophthalmic

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Signal Processing (AREA)
  • Medical Informatics (AREA)
  • Ophthalmology & Optometry (AREA)
  • Multimedia (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • Biophysics (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Data Mining & Analysis (AREA)
  • Human Computer Interaction (AREA)
  • Quality & Reliability (AREA)
  • Radiology & Medical Imaging (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Eye Examination Apparatus (AREA)

Abstract

本发明提供图像处理装置和图像处理方法,所述图像处理装置包括:对齐单元,被配置为使用第三眼底图像对齐第一眼底图像和第二眼底图像,所述第一眼底图像是被检眼的经过像差校正的图像,所述第二眼底图像是具有比所述第一眼底图像大的视角和低的分辨率的图像,所述第三眼底图像是具有比所述第二眼底图像小的视角和高的分辨率的图像;距离获取单元,被配置为获取从所述被检眼的黄斑到由所述对齐单元对齐的所述第一眼底图像中的特定位置的距离;以及评价单元,被配置为根据所述距离和关于包含在所述第一眼底图像中的感光细胞的信息,对所述被检眼的状态进行评价。

Description

图像处理装置和图像处理方法
技术领域
这里公开的实施例涉及一种图像处理装置和图像处理方法。
背景技术
为了对生活方式疾病或者作为失明的原因排名高的疾病进行早期诊断,广泛使用对人眼的眼底的检查。作为使用共焦激光扫描显微镜原理的眼科仪器的扫描激光检眼镜(SLO),是使用激光作为测量光对眼底进行光栅扫描、以根据激光的返回光的强度快速获得高分辨率二维图像的设备。近年来,开发了包括自适应光学(AO)系统的自适应光学SLO(AO-SLO),该AO系统被配置为使用波前传感器实时测量被检眼的像差,并且使用波前校正设备对在被检眼中出现的测量光的像差或者测量光的返回光的像差进行校正。AO-SLO方便获取高横向分辨率二维图像(下文中有时称为“AO-SLO图像”)。另外,从获得的二维视网膜图像中提取视网膜中的感光细胞,并且对感光细胞的密度或者分布进行分析,以尝试进行疾病诊断或者对药物反应的评价。
利用感光细胞的医学知识,可以以高精度进行用于检测感光细胞的图像处理。例如,已知随着距黄斑的距离增大,感光细胞的密度减小。为了利用该知识,用户需要知道从黄斑到正在分析的区域的距离。
由于AO-SLO图像的视角比SLO图像小,通过对要评价密度的区域进行摄像而获得的AO-SLO图像通常不包括黄斑。因此,难以知道从黄斑到该区域的确切距离。因此,难以实现对感光细胞的准确评价。
发明内容
提供一种图像处理装置,其包括:对齐单元,被配置为使用第三眼底图像对齐第一眼底图像和第二眼底图像,所述第一眼底图像是被检眼的经过像差校正的图像,所述第二眼底图像是具有比所述第一眼底图像大的视角和低的分辨率的图像,所述第三眼底图像是具有比所述第二眼底图像小的视角和高的分辨率的图像;距离获取单元,被配置为获取从所述被检眼的黄斑到由所述对齐单元对齐的所述第一眼底图像中的特定位置的距离;以及评价单元,被配置为根据所述距离和关于包含在所述第一眼底图像中的感光细胞的信息,对所述被检眼的状态进行评价。
提供一种图像处理方法,其包括:对齐步骤,通过对齐单元,使用第三眼底图像对齐第一眼底图像和第二眼底图像,所述第一眼底图像是被检眼的经过像差校正的图像,所述第二眼底图像是具有比所述第一眼底图像大的视角和低的分辨率的图像,所述第三眼底图像是具有比所述第二眼底图像小的视角和高的分辨率的图像;距离获取步骤,通过距离获取单元,获取从所述被检眼的黄斑到通过所述对齐单元对齐的所述第一眼底图像中的特定位置的距离;以及评价步骤,通过评价单元,根据所述距离和关于包含在所述第一眼底图像中的感光细胞的信息,对所述被检眼的状态进行评价。
从以下参考附图对示例性实施例的描述,本发明的其它特征将变得明显。
附图说明
图1是示出根据第一示例性实施例的图像处理装置的功能配置的示例的图。
图2是示出根据第一示例性实施例的图像处理装置的处理过程的示例的流程图。
图3是示出用来对放置固视灯的位置进行操作的固视灯图的示例的图。
图4是示出拍摄的WF-SLO图像和AO-SLO图像组的示例的图。
图5是示出图2所示的对齐处理的示例的流程图。
图6是示出位置对齐的WF-SLO图像和AO-SLO图像组的叠加图像的示例的图。
图7是示出图2所示的感光细胞分析处理的示例的流程图。
图8A和8B是示出区域的选择的示例的图。
图9A和9B是示出正常眼分布和检测结果之间的关系的示例的图。
图10A和10B是示出从正常眼分布的偏移的示例的图。
图11示出了以放置在叠加图像上的方式,显示指示从正常眼分布的偏移的例子的图像的示例。
图12是示出根据第二示例性实施例的图像处理装置的处理过程的示例的流程图。
图13是示出在叠加图像上显现的病变的示例的图。
图14是示出以放置在叠加图像上的方式,显示指示从正常眼分布的偏移的图像的示例的图。
具体实施方式
下面,参考附图,详细描述一些示例性实施例。
示例性实施例
第一示例性实施例
在第一示例性实施例中,AO-SLO装置通过对要评价感光细胞的密度的区域和包括黄斑区域的范围进行摄像、并且获取从黄斑到要评价密度的区域的距离,来获取拍摄视网膜图像。该AO-SLO装置还使用反映距黄斑的距离的算法来检测感光细胞,并且作为距黄斑的距离的函数来获取感光细胞的密度。下面,对上述处理进行描述。
具体地,通过改变固视,以不同的分辨率,针对黄斑的位置并且针对在距黄斑0.5mm和1.0mm的距离处的位置来拍摄图像。距黄斑的距离是说明性的,而不局限于上述值。
经过像差校正的SLO图像是通过对小范围进行摄像而获得的高分辨率图像。因此,针对每个被检眼对多个位置进行摄像。作为对单个位置的摄像的结果,获取按照摄像的持续时间和帧速率指定的多个图像。下文中,有时将通过对单个位置进行摄像而获得的图像组称为“AO-SLO图像”。由于可以通过改变摄像范围来拍摄AO-SLO图像,因此可以获取具有不同分辨率的AO-SLO图像。此外,有时将针对每个被检眼拍摄的具有不同分辨率的多个位置的AO-SLO图像,称为该被检眼的“AO-SLO图像组”。
通过被检眼的AO-SLO图像之间的对齐,建立其间的位置关系。然后,在出现黄斑的AO-SLO图像中检测黄斑,并且在考虑眼轴长度的同时确定从黄斑到每个AO-SLO图像的区域的距离。使用具有足够的分辨率的AO-SLO图像来检测感光细胞,并且获取诸如感光细胞的密度的指标。相应地,可以作为距黄斑的距离的函数来获取感光细胞的密度。
例如,在以下出版物中描述了考虑眼轴长度的一种方法:Bennett AG,Rudnicka AR,Edgar DF,Improvements on Littmann's method of determining thesize of retinal features by fundus photography,Graefes Arch ClinExpOphthalmol,Jun1994,232(6):361-7。具体地,可以进行如下计算:L=qθ,q=0.01306(x-1.82),其中,L表示从黄斑到眼底上的给定位置的距离,θ表示扫描器的摆动角度,并且x表示眼轴长度。考虑眼轴长度的方法不局限于上述方法,可以使用任意其它方法。例如,可以使用在以下出版物中描述的方法:Li KY,Tiruveedhula P,Roorda A,Intersubject Variability of Foveal Cone PhotoreceptorDensity in Relation to Eye Length Invest Ophthalmol Vis Sci.,Dec2010,51(12):6858-67。
以这种方式,使用计算的距黄斑的距离,使得能够更准确地检测感光细胞。另外,可以与距黄斑的距离相关联地获取已知随着距黄斑的距离改变的感光细胞的密度。
图像处理装置的配置
图1示出了根据本示例性实施例的图像处理装置10的功能配置的示例。
在图1中,图像获取单元100获取由AO-SLO装置获取的AO-SLO图像。通过控制单元120将获取的AO-SLO图像存储在存储单元130中。图像获取单元100可以仅通过接收从AO-SLO装置发送的AO-SLO图像,或者通过自己取得设置在图像处理装置10外部的存储器等中所保存的AO-SLO图像,来获取AO-SLO图像。也就是说,这里使用的术语“获取”或“获得”,至少包括仅接收以及主动进入AO-SLO装置取回信息。
输入信息获取单元110获取用户输入。图像处理单元140包括位置对齐单元141、距离计算单元142、感光细胞分析单元143和比较单元144。
图像处理单元140进行所获取的AO-SLO图像之间的对齐,以确定AO-SLO图像的相对位置,并且根据用来检测黄斑的AO-SLO图像和要分析的AO-SLO图像之间的位置关系,获取从黄斑到正在分析的区域的距离。图像处理单元140在反映获取的距黄斑的距离的同时,进行感光细胞分析,并且计算诸如密度的指标。
此外,图像处理单元140将计算的指标与保存在存储单元130中的正常眼数据进行比较,并且生成清楚地表示比较结果的图形或图像。
输出单元150将计算的指标或比较结果输出到诸如监视器的显示单元,并且还将存储在存储单元130中的处理结果输出到数据库。
图像处理装置的处理过程
接下来,参考图2所示的流程图,描述根据本示例性实施例的图像处理装置10的处理过程的示例。
步骤S210
在步骤S210中,图像获取单元100从连接到图像处理装置10的AO-SLO装置获取例如被检眼的视网膜的多个AO-SLO图像。
现在,给出为了进行感光细胞分析而执行的被检眼的摄像方法的示例。在本示例性实施例中使用的AO-SLO装置改变包含在AO-SLO装置中的固视灯的位置,从而可以在凝视不同位置的同时对被检眼进行摄像,以获得视网膜中的不同位置的拍摄图像。图3示出了用来对放置固视灯的位置进行操作的固视灯图的示例。例如,在显示单元上显示固视灯图。检查者或者用户能够在参考显示的固视灯图的同时,使用诸如鼠标的指示设备(或者指示器),将固视灯点亮的位置改变为希望的位置。
在操作的示例中,首先,在选择了图3所示的固视灯图的中心时,放置固视灯。下文中,有时将中心位置称为“基准位置”。可以在凝视放置在基准位置的固视灯时对被检眼进行摄像,以获得黄斑周围的区域的拍摄图像。
在这种状态下,使用AO-SLO装置拍摄宽视场SLO(WF-SLO)图像和具有不同分辨率的多个AO-SLO图像。图像获取单元100获取拍摄的WF-SLO图像。
作为示例,WF-SLO图像可以具有8mm×6mm的图像大小和533×400像素的大小。对视网膜的宽范围进行摄像,以获取整个视网膜的图像。WF-SLO图像和具有小视角的AO-SLO图像之间的对应关系使得用户能够识别每个AO-SLO图像对应于视网膜中的哪个位置。
在共同使用400×400像素的大小时,以摄像区域大小为1.7mm×1.7mm、0.82mm×0.82mm和0.34mm×0.34mm的三个水平的分辨率拍摄AO-SLO图像。使用AO-SLO装置拍摄这些图像,并且由图像获取单元100获取拍摄图像。有时将摄像区域大小为1.7mm×1.7mm的AO-SLO图像称为“L图像”,将摄像区域大小为0.82mm×0.82mm的AO-SLO图像称为“M图像”,并且将摄像区域大小为0.34mm×0.34mm的AO-SLO图像称为“S图像”。上述摄像区域大小和像素的大小是说明性的,而不局限于上述值。换句话说,可以使用其它值。M图像或S图像对应于第一眼底图像的示例。WF-SLO图像或L图像对应于第二眼底图像的示例,并且L图像或M图像对应于第三眼底图像的示例。
虽然AO-SLO图像的摄像持续时间和帧速率可以改变,但是作为示例,这里可以使用每秒32帧的帧速率和2秒的摄像时间,并且AO-SLO图像可以由64个图像形成。
然后,将固视位置移位到上侧(superior)0.5mm位置,并且指示被检者凝视处于移位位置的固视灯。在这种状态下,拍摄M图像和S图像。类似地,将固视位置按照鼻侧(nasal)0.5mm位置、下侧(inferior)0.5mm位置和颞侧(temporal)0.5mm位置的顺序,移位到鼻侧0.5mm位置、下侧0.5mm位置和颞侧0.5mm位置,拍摄M图像和S图像。使固视位置移位的顺序不局限于上述示例,可以按照任意其它顺序移位固视位置。这同样适用于下面的描述。
将固视位置进一步移位到上侧1.0mm位置,并且指示被检者凝视处于移位位置的固视灯。在这种状态下,拍摄M图像和S图像。类似地,将固视位置按照鼻侧1.0mm位置、下侧1.0mm位置和颞侧1.0mm位置的顺序,移位到鼻侧1.0mm位置、下侧1.0mm位置和颞侧1.0mm位置,拍摄M图像和S图像。
图4示意性地示出了以上述方式针对每个被检眼拍摄的WF-SLO图像和AO-SLO图像组。在图4中,仅基于固视位置的信息,以叠加在WF-SLO图像上的方式显示拍摄的L、M和S图像。
如图4所示,可以发现,在0.5mm和1.0mm位置处拍摄的S图像之间不重叠,而在0.5mm和1.0mm位置处拍摄的M图像重叠。S图像更适合于更好地分解感光细胞。然而,作为示例,仅使用S图像对直到1.0mm区域的感光细胞进行使得S图像彼此重叠的摄像,包含以至少0.3mm的间隔进行的摄像,这可能导致被检者的负担增大。由于该原因,将要进行分析的位置设置为0.5mm和1.0mm位置,在该位置拍摄S图像。另外,在0.5mm和1.0mm的固视位置拍摄M图像,使得M图像至少部分重叠。M图像之间的重叠使得用户能够准确地识别M图像的相互位置,由此使得用户能够准确地识别S图像的位置。
如果在S图像中出现诸如大血管的特征对象,则可以直接将S图像与WF-SLO图像相关联,而不用拍摄M图像和/或L图像,或者在使用M图像或L图像的情况下将S图像与WF-SLO图像相关联。然而,因为WF-SLO图像具有比AO-SLO图像低的分辨率,因此通常难以将S图像与WF-SLO图像准确地相关联。拍摄诸如M图像或L图像的具有比S图像低的分辨率的经过像差校正的SLO图像的组合,使得能够在被检者的负担较小的情况下进行准确的对齐。
通过控制单元120将获取的被检眼的AO-SLO图像组保存在存储单元130中。
步骤S220
在步骤S220中,输入信息获取单元110从保存在存储单元130中的构成AO-SLO图像的帧中,选择基准帧。
如参考步骤S210所描述的,作为示例,AO-SLO图像由通过对同一位置进行2秒的摄像而获得的64个帧构成。由于在固视期间被检眼的小的移动,这64个帧的摄像位置可能发生移位,也可能在各个帧中出现失真。用户从这64个帧中选择失真小并且摄像状况良好的帧,以获得基准帧。
虽然作为示例,用户选择基准帧,但是可以使用软件来选择基准帧。例如,可以计算明度的平均值或方差,并且选择具有大的平均值或方差的帧。可选地,可以选择在频率分析中清楚地观察到指示存在感光细胞的环状结构的帧。
通过控制单元120,将以上述方式针对各个AO-SLO图像选择的基准帧保存在存储单元130中。
注意,如果在步骤S210中在每个固视位置拍摄了单个AO-SLO图像,则不执行步骤S220的处理。
步骤S230
在作为对齐步骤的示例的步骤S230中,位置对齐单元141在保存在存储单元130中的由AO SLO装置获取的多个AO-SLO图像之间进行相互对齐。使用针对各个AO-SLO图像选择的基准帧进行对齐。
由于以高精度将具有相似分辨率的图像对齐,因此例如,可以首先对齐WF-SLO图像和L图像,然后对齐L图像和M图像,之后对齐M图像和S图像。存在各种对齐方法。这里,作为示例,使用仅相位相关(POC)方法。参考图5所示的流程图,描述在同一固视位置拍摄的M图像和S图像之间的对齐的细节。
这里,在具有不同分辨率的图像之间进行对齐。将具有低分辨率和大视角的图像称为“大图像”,而将具有高分辨率和小视角的图像称为“小图像”。具体地,在M图像和S图像之间进行对齐的情况下,M图像是大图像,而S图像是小图像。在L图像和M图像之间进行对齐的情况下,L图像是大图像,而M图像是小图像。
步骤S510
在步骤S510中,位置对齐单元141从在步骤S210中获取的多个AO-SLO图像中,设定要进行对齐的一对两个AO-SLO图像。存在各种设定方法。例如,首先,成对选择基准位置处的WF-SLO图像和L图像。然后,选择基准位置处的L图像和M图像。此外,选择四个0.5mm固视位置(沿上侧、鼻侧、下侧和颞侧方向)处的L图像和M图像。
之后,选择上侧0.5mm和1.0mm位置处的M图像。类似地,选择鼻侧、下侧和颞侧0.5mm和1.0mm位置处的M图像。最后,选择同一固视位置处的M图像和S图像。
通过控制单元120将以上述方式设定的AO-SLO图像对保存在存储单元130中。上述过程是示例,可以按照任意其它顺序来选择图像。
步骤S520
在步骤S520中,位置对齐单元141通过控制单元120从存储单元130获取在步骤S510中选择的图像对。下面,对获取的两个图像具有不同的分辨率的示例,例如,在同一固视位置处,大图像是M图像,小图像是S图像的示例,给出详细描述。
M图像具有大约820μm的图像大小,而S图像具有大约340μm的图像大小,M图像和S图像中的每一个具有400×400像素的大小。在这些条件下,在大约166个像素的区域中,M图像在其中心与S图像重叠。在POC方法中,计算各个图像的快速傅立叶变换(FFT),由此切出M图像的中心的128×128像素的区域,进行高速运算。要切出的区域的大小不局限于上述值,而可以是使大图像和小图像重叠的大小。在成对选择L图像和M图像的情况下,例如,将基于固视位置对齐的M图像的中心,设定为要从L图像中切出的区域的中心。
步骤S530
在步骤S530中,位置对齐单元141对在步骤S520中获取的图像对中的小图像中的、与在步骤S520中切出的大图像的区域相对应的区域,进行分辨率转换。具体地,使用从S图像的中心开始由820×128/400给出的262.4μm的区域,生成128×128像素的图像。也就是说,位置对齐单元141对应于分辨率转换单元的示例,分辨率转换单元被配置为在对齐单元进行对齐的情况下,将高分辨率图像的分辨率转换为与低分辨率图像的分辨率一致的分辨率。可以按照相反的顺序执行,或者可以同时执行步骤S520的处理和步骤S530的处理。
步骤S540
在步骤S540中,位置对齐单元141例如使用POC方法,针对在步骤S520中切出的大图像的部分(切出大图像),并且针对在步骤S530中转换了分辨率的小图像(低分辨率小图像),计算移位量。具体地,通过FFT,对切出的大图像和低分辨率小图像进行频率转换。如果用F(u,v)和G(u,v)表示经过频率转换的图像,则位置对齐单元141使用下面的方程计算仅相位相关系数C(u,v)。
C ( u , v ) = F ( u , v ) G ( u , v ) * | F ( u , v ) G ( u , v ) * |
也就是说,作为对齐单元的示例的位置对齐单元141使用经过分辨率转换的图像进行对齐。
确定C(u,v)的逆FFT,并且检测峰值。相应地,可以计算移位量。
通过控制单元120,将计算的移位量保存在存储单元130中。
步骤S550
在步骤S550中,位置对齐单元141判断是否计算了在步骤S510中设定的所有图像对的移位量。如果存在任何图像对尚未计算移位量,则处理返回到步骤S520,计算该图像对的移位量。如果针对所有图像对完成了处理,则处理进行到步骤S560。
步骤S560
在步骤S560中,位置对齐单元141根据在步骤S540中计算的对应移位量,在步骤S510中设定的每个图像对中的图像之间进行相互对齐。
具体地,使用在基准位置拍摄的WF-SLO图像和L图像之间的移位量(或者偏移量)、L图像和M图像之间的移位量以及M图像和S图像之间的移位量,来确定L、M和S图像相对于WF-SLO图像的移位量。此外,使用0.5mm固视位置处的L图像和M图像之间的移位量以及0.5mm固视位置处的M图像和S图像之间的移位量,来确定0.5mm固视位置处的M和S图像相对于WF-SLO图像的移位量。
以与上述类似的方式确定所有AO-SLO图像的相互位置,并且生成例如以具有大摄像区域的图像在对应位置位于具有小摄像区域的图像下方的方式将图像彼此叠加的叠加图像。也就是说,位置对齐单元141根据计算的移位量对齐图像。图6示出了图4所示的AO-SLO图像组相互对齐的叠加图像的示例。使用输出单元150,在诸如监视器的显示单元上显示图6所示的叠加图像。具体地,输出单元150使得以第一图像和第二图像彼此叠加的方式,在显示单元上显示由对齐单元对齐的第一图像和第二图像。在图4中,由于仅基于固视位置放置AO-SLO图像组,因此血管等的位置有偏差。在图6中,相反,使用具有不同分辨率的图像逐步进行对齐,从而将AO-SLO图像放置在正确的位置。也就是说,位置对齐单元141通过M图像和L图像,将WF-SLO图像和S图像对齐。位置对齐单元141对应于对齐单元的示例,对齐单元被配置为使用第三眼底图像,将第一眼底图像和第二眼底图像对齐,第一眼底图像是被检眼的经过像差校正的图像,第二眼底图像具有比第一眼底图像大的视角和低的分辨率,并且第三眼底图像具有比第二眼底图像小的视角和高的分辨率。更具体地,作为对齐单元的示例的位置对齐单元141使用通过对被检眼的眼底上的不同位置进行摄像而获得的多个第三眼底图像,对齐通过对眼底上的不同位置进行摄像而获得的多个第一眼底图像和多个第二眼底图像。在另一方面,作为对齐单元的示例的位置对齐单元141根据第二眼底图像和第三眼底图像之间的对齐结果以及第三眼底图像和第一眼底图像之间的对齐结果,对齐第一眼底图像和第二眼底图像。
虽然描述了使用软件生成叠加图像的方法的示例,但是可以手动对齐位置。在具体方法中,在基于固视位置放置AO-SLO图像的图4所示的图像中,通过在参考诸如血管的特征对象的同时点击并拖动鼠标,使AO-SLO图像的位置移位。可以仅手动进行对齐,或者可以以上述方式使用软件进行对齐,然后手动修正对齐的图像。在这种情况下,例如,可以首先对在同一固视位置拍摄的由M图像和S图像构成的一对图像进行对齐,然后使用WF-SLO图像和L图像,对对齐的图像对进行对齐。
通过控制单元120,将获取的AO-SLO图像组的叠加图像保存在存储单元130中。在通过输出单元150在监视器等上显示叠加图像之后,处理返回到步骤S230。
步骤S240
在步骤S240中,输入信息获取单元110从在步骤S220中生成的叠加图像中,获取黄斑的位置。输入信息获取单元110通过控制单元120,将检测到的黄斑的位置保存在存储单元130中。输入信息获取单元110对应于被配置为检测黄斑的检测单元的示例。
存在多种可能的方法来检测黄斑。在一种可能的检测方法中,用户通过肉眼来检查拍摄的位于固视中心的S图像中的黄斑。这种检查方法基于朝向黄斑的区域明度趋于降低的知识,因此可以通过软件来实现这种检查方法。在具体方法中,例如,确定各个像素的明度值和图像中的最高明度值之间的差,并且确定差的重心作为黄斑。
在另一种可能的方法中,由于在被检者凝视固视位置时进行摄像,因此使用位于固视中心的S图像的中心,作为黄斑。也就是说,作为检测单元的示例的输入信息获取单元110在由对齐单元对齐的多个第一眼底图像中的包括黄斑的第一眼底图像中,检测黄斑。
这里,使用AO-SLO图像和WF-SLO图像。如果可以获取诸如通过对同一被检眼进行摄像而获得的光学相干断层扫描(OCT)图像的其它形式的图像,则可以将AO-SLO图像和WF-SLO图像与这些图像进行比较,以使得用户能够选择认为是黄斑的位置。
由于S图像具有比任何其它图像更高的分辨率,因此可以准确地检测黄斑。也可以使用M图像、L图像或者WF-SLO图像来检测黄斑。
步骤S250
在作为距离获取步骤的示例的步骤S250中,距离计算单元142根据在步骤S230中计算的各个AO-SLO图像相对于WF-SLO图像的移位量,以及在步骤S240中获取的黄斑的位置,计算从黄斑到各个AO-SLO图像的区域的距离。也就是说,距离计算单元142对应于距离获取单元的示例,距离获取单元被配置为获取从被检眼的黄斑到由对齐单元对齐的第一眼底图像中的特定位置的距离。更具体地,作为距离获取单元的示例的距离计算单元142获取从由检测单元检测到的黄斑到由对齐单元对齐的多个第一眼底图像中的不包括黄斑的第一眼底图像中的特定位置的距离。
例如,可以通过确定AO-SLO图像的中心的坐标,其中,用Y轴方向表示以黄斑为原点的叠加图像的上侧,并且用X轴方向表示右侧,来确定从黄斑到每个AO-SLO图像的区域的距离。将获取的每个AO-SLO图像的坐标称为“黄斑坐标”。用Di–M表示上述距离,其中,矢量Di表示在步骤S230中确定的每个AO-SLO图像i的移位量,并且从WF-SLO图像中心开始的矢量M表示在步骤S240中获取的黄斑的位置。如果用(Xi,Yi)表示AO-SLO图像i的中心的坐标,则可以由下式确定从黄斑到AO-SLO图像i的中心的距离Ri
R i = X i 2 + Y i 2 .
通过控制单元120,将确定的各个AO-SLO图像的黄斑坐标和距黄斑的距离保存在存储单元130中。
步骤S260
在步骤S260中,感光细胞分析单元143对在步骤S210中获取的AO-SLO图像中的S图像,进行感光细胞分析。
图7是示出感光细胞分析处理的细节的流程图。
步骤S710
在步骤S710中,感光细胞分析单元143基于在步骤S220中获取的AO-SLO图像的基准帧,进行感光细胞分析的预处理。存在多种方法来进行预处理。这里,在此给出基于频率分析的噪声降低。具体地,对基准帧进行频率转换,并且在应用了除去高频分量的滤波器之后,进行逆变换。
由于已知感光细胞大小最小(感光细胞的密度最高)是围绕黄斑区域大约2μm,因此限定去除作为噪声的高频分量的截止值(截止频率)使得可以去除具有比2μm短的周期的振动。由于还已知感光细胞的密度随着距黄斑的距离的增大而降低,因此根据在步骤S250中获取的距离来改变截止频率。例如,在黄斑区域的中心,将感光细胞大小限定为2μm,在从黄斑的中心到1.0mm位置的范围内,距黄斑的距离每增大0.5mm,感光细胞大小增大1μm,并且在比相对于黄斑的1.0mm位置远的位置处,感光细胞大小为4μm(固定),根据距黄斑的距离来确定截止频率。也就是说,作为检测单元的示例的感光细胞分析单元143根据由距离获取单元获取的距离来改变用来检测感光细胞的参数。
另一种噪声降低方法是使用作为AO-SLO图像获取的多个帧,将AO-SLO图像彼此叠加。具体地,在通过仿射变换等对每个AO-SLO图像的64个帧进行配准处理之后,对与基准帧相对应的区域进行求平均处理。这种技术的精度取决于配准处理的精度。在上述配准处理之后,进行基于上述频率转换对高频分量的去除。
可以将获取的图像称为“预处理图像”。
步骤S720
在步骤S720中,感光细胞分析单元143从在步骤S710中获取的预处理图像中,检测感光细胞。感光细胞分析单元143对应于被配置为从第一眼底图像中检测感光细胞的检测单元的示例。
具体地,可使用检测预处理图像的明度的局部最大值的方法。在这种情况下,如果作为局部最大值检测到的点之间的距离小于作为公知技术已知的感光细胞大小,则确定检测受噪声影响,并且可以将检测到的点合成,以提高检测的鲁棒性。与步骤S710类似,可以基于在步骤S250中确定的从黄斑到要分析的AO-SLO图像的区域的距离,来计算这里使用的感光细胞大小,以实现更准确的检测。
在以上述方式获取的检测到的点中,将具有大于或等于指定阈值的值的点视为感光细胞。可以作为图像中的最低明度值(将所有检测到的点都视为感光细胞)、图像中的平均明度值或任意其它合适的值,来实现阈值。
虽然这里给出了感光细胞检测的示例,但是检测方法不局限于上述方法,可使用各种方法。例如,一种可能的方法是选择具有大于或等于阈值的明度值的像素,来确定连接所选择的像素的区域的重心。另一种可能的方法是计算子区域的特征,并且使用模式识别技术来检测感光细胞。具体地,例如针对11×11像素的子区域,计算Gabor特征。使用从以被视为感光细胞的检测到的点为中心的多个子区域和不包括被视为感光细胞的检测到的点的多个子区域获得的Gabor特征矢量,来进行基于支持矢量机器的学习。针对新的目标子区域计算Gabor特征,并且使用上述学习的结果来判断该子区域的中心是否是感光细胞。
除了上述基于软件的检测之外,用户还可以对检测到的点中的一些进行手动修正。在这种情况下,输入信息获取单元110获取在步骤S720中获得的检测到的点中的、用户修正后的检测到的点的位置。
步骤S730
在步骤S730中,感光细胞分析单元143对在步骤S720中获得的检测到的点进行Voronoi分析。
具体地,对在步骤S720中获得的所有检测到的点进行以下处理:由靠近的检测到的点的垂直平分线,将图像划分为区域,以计算各自包括每个检测到的点的Voronoi区域。
步骤S740
在步骤S740中,感光细胞分析单元143根据步骤S720和S730中的分析的结果,选择要计算指标的区域。
图8A示出了图6所示的上侧0.5mm位置处的区域的选择的示例,并且图8B示出了图6所示的颞侧0.5mm位置处的区域的选择的示例。区域可以是矩形、多边形、椭圆形的,或者具有任意其它希望的形状,并且由感光细胞分析单元143根据用户对鼠标的点击或者任意其它合适的操作,来设定区域。也就是说,感光细胞分析单元143对应于被配置为在第一眼底图像中设定区域的设定单元的示例。代替根据用户操作设定区域,感光细胞分析单元143可以自动设定区域。在自动设定区域之后,可以根据用户操作改变区域。
如果在区域中包括血管等,则血管下面的部分具有低明度,导致感光细胞的检测的精度低。相应地,以避免包括血管的方式来选择区域。也就是说,作为设定单元的示例的感光细胞分析单元143以不包括包含在第一眼底图像中的血管区域的方式,来设定区域。
此外,由于感光细胞的密度取决于他们距黄斑的距离,因此选择横向(或者水平朝向)区域作为上侧区域,并且选择竖直(或者垂直朝向)区域作为颞侧区域。也以类似的方式选择下侧和鼻侧区域,也就是说,选择横向区域作为下侧区域,并且选择竖直区域作为鼻侧区域。相应地,可以使从黄斑到包含在同一区域中的感光细胞的距离的方差减小。也就是说,感光细胞分析单元143设定区域,使得与连接S图像和黄斑的直线垂直的方向上的宽度,大于与该直线平行的方向上的宽度。也就是说,作为设定单元的示例的感光细胞分析单元143根据第一眼底图像和黄斑之间的位置关系,改变设定区域的方法。更具体地,作为设定单元的示例的感光细胞分析单元143设定区域,使得与连接第一眼底图像和黄斑的直线垂直的方向上的宽度,大于与该直线平行的方向上的宽度。
可以通过如上所述从预处理图像中选择具有特定大小的区域,或者通过针对每个检测到的点设定选择的区域,来设定区域。例如,可以设定以每个检测到的点为中心的大小为20μm的圆,并且将圆中的各部分视为与各个检测到的点相对应的区域。还可以以像素为单位以特定间隔,而在不使用检测到的点的情况下,来设定区域。在这种情况下,例如,也可以针对在垂直和水平方向上以10个像素的间隔选择的像素中的每一个,设定大小为20μm的圆,并且使用包含在圆中的区域作为选择的区域。
此外,计算从黄斑到选择的区域的距离。在步骤S250中计算AO-SLO图像的区域距黄斑的位置。使用在步骤S250中计算的AO-SLO图像的区域的位置和AO-SLO图像中的选择的区域的位置,来计算从黄斑到每个选择的区域的中心的距离。也就是说,作为距离获取单元的示例的距离计算单元142获取从黄斑的位置到区域中的特定位置(例如区域的中心)的距离。
步骤S750
在步骤S750中,感光细胞分析单元143根据在步骤S720和S730中获取的结果,针对在步骤S740中选择的区域中的每一个,计算指标。
指标的示例包括在步骤S720中确定的检测到的点的数量(感光细胞的数量)、通过将检测到的点的数量除以区域的面积而获得的密度(感光细胞的密度)、每个选择的区域中的每个检测到的点的平均面积、在步骤S730中确定的到最近的检测到的点的距离以及六边形Voronoi区域与其它区域的比率。除了上述指标之外,还可以显示区域的横向宽度、纵向宽度和面积。另外,还可以显示到最近的检测到的点的理想距离、到最近的检测到的点的实际距离与到最近的检测到的点的距离的比率等。还可以显示距黄斑的距离。
通过控制单元120,将感光细胞分析的结果和获取的指标保存在存储单元130中。然后,处理返回到步骤S260。
步骤S270
在作为评价步骤的示例的步骤S270中,比较单元144将作为步骤S260中的感光细胞分析的结果获取的指标,与保存在存储单元130中的作为基准信息的示例的正常眼数据进行比较。
图9A示出了正常眼中的作为关于感光细胞的信息的示例的感光细胞密度和距黄斑的距离之间的关系的示例。所示出的曲线图中的阴影范围表示正常眼的方差范围。图9B示出了在步骤S260中获取的图8B所示的选择区域的感光细胞密度的指标的图的示例。如图9B所示,将与距黄斑的距离相对应的正常眼数据与检测到的感光细胞密度进行比较。可以看到,选择的区域中的6个区域包含在正常范围内,而一个区域偏离正常范围。也就是说,比较单元144对应于评价单元的示例,评价单元被配置为根据从黄斑到第一眼底图像中的特定位置的距离以及关于包含在第一眼底图像中的感光细胞的信息,对被检眼的状态进行评价。更具体地,作为评价单元的示例的比较单元144根据到区域中的特定位置的距离和关于该区域中的感光细胞的信息,对被检眼的状态进行评价。此外,如上所述,作为评价单元的示例的比较单元144将关于感光细胞的信息与基于距离的基准信息进行比较。
如果区域偏离正常范围,则输出单元150使得以图10A所示的方式,在诸如监视器的显示单元上显示图8B所示的区域中偏离正常范围的区域,以清楚地标示哪个区域偏离了正常范围。也就是说,输出单元150对应于显示控制单元的示例,显示控制单元被配置为以基于比较结果的显示形式在显示单元上显示第一眼底图像。例如,在显示单元上并排显示图9B所示的曲线图和图10A所示的区域,这使得用户能够容易地识别偏离正常范围的值和选择区域中的对应的选择区域。
可以将图9B所示的曲线图和图8B所示的区域彼此链接。可以在显示单元上并排显示图8B和9B所示的图,并且例如,可以点击图9B所示的曲线图上的点,由此实现图8B所示的区域中的对应区域的边缘增强。相应地,可以更清楚地识别对应关系。
此外,在步骤S740中的区域的选择中,可以以检测到的点为单位,或者以特定间隔的像素为单位,来设定选择的区域。例如,在垂直和水平方向上以10个像素的间隔选择区域的情况下,可以将每个区域与正常眼分布进行比较。图10B示出了对图8B所示的区域进行上述处理的示例。在图10B中,以使用深色显示偏离正常分布平均值的区域的方式,根据从正常分布平均值的偏离,以颜色灰度级显示区域。区域偏离正常范围越多,可以以越浅的颜色显示,或者可以以越深的颜色显示。也就是说,作为显示控制单元的示例的输出单元150根据关于感光细胞的信息和与距离相对应的基准信息之间的差,来改变第一眼底图像的明度。
输出单元150还可以测量图9A所示的正常分布的范围外的区域的面积,并且呈现测量结果。也就是说,作为显示控制单元的示例的输出单元150呈现第一眼底图像中的关于感光细胞的信息和与距离相对应的基准信息之间的差大于或等于特定值的区域的面积。
图11示出了以放置在图6所示的叠加图像上的方式,显示以图10B所示的方式针对各个AO-SLO图像生成的图像的示例。指示疾病发展程度的指标,例如可以是距黄斑的距离的函数和异常区域的面积与整个面积的比率。可以以放置在图6所示的叠加图像上的方式,显示以图10A所示的方式生成的图像。
步骤S280
在步骤S280中,输入信息获取单元110判断用户是否对在步骤S270中呈现的分析结果和其间的比较结果进行修正。在这种情况下,用户可以对步骤S230中的每个AO-SLO图像的对齐和步骤S240中的黄斑的检测进行修正。
具体地,如果判断为步骤S230中的AO-SLO图像的对齐不正确,则用户可以改变该AO-SLO图像的位置。用户还可以改变在步骤S240中确定的黄斑的位置。
如果用户不进行修正,则处理进行到步骤S290。如果进行了修正,则处理返回到步骤S250,再次基于修正后的黄斑的位置和修正后的每个AO-SLO图像的位置,计算距离。然后,进行后续处理。
步骤S290
在步骤S290中,控制单元120将存储在存储单元130中处理结果、例如计算的指标和比较结果保存在数据库中。
使用上述配置,可以在考虑与不包含在同一AO-SLO图像中的黄斑的位置关系的同时,对AO-SLO装置获取的多个AO-SLO图像进行分析,并且计算指标。
第二示例性实施例
在第一示例性实施例中,作为示例,使用根据具有不同分辨率的多个AO-SLO图像创建的叠加图像,来获取从黄斑到要分析的AO-SLO图像的区域的距离,并且进行反映所获取的距离的分析和评价。
在第二示例性实施例中,使用在叠加图像上可检测到的病变等的信息,来进行分析和评价。
在感光细胞的遗传性疾病中,如在本领域中已知的,根据疾病的发展,观察到特定环状结构。在分辨率高并且视角低的图像上,难以辨别这种环状结构。在分辨率低、但是视角高的图像上可以辨别这种环状结构。下面,对从高视角图像中提取上述结构,并且相应地改变对高分辨率图像进行的处理的方法给出描述。
根据本示例性实施例的图像处理装置10的功能配置与图1所示的图像处理装置10的功能配置类似,因此省略其描述。
参考图12所示的流程图,描述根据本示例性实施例的图像处理装置10的处理过程。步骤S210、S220、S230和S290的处理与在第一示例性实施例中描述的处理基本相同,因此省略其描述。
步骤S1240
在步骤S1240中,输入信息获取单元110在步骤S220中生成的叠加图像中,获取用户检测到的黄斑的位置和病变的位置。然后,通过控制单元120,将检测到的黄斑和病变的位置保存在存储单元130中。
检测黄斑的方法与上面在第一示例性实施例中描述的方法基本相同。在检测环状结构的方法中,用户通过肉眼从叠加图像中检测环状结构。图13示出了出现环状结构的叠加图像的示例。在图13中,由于在小区域中出现了环状结构,因此以放大的视图示出了叠加图像内的由包括环状结构的4个L图像创建的区域。用户使用鼠标,沿着所示出的环状结构的轮廓点击叠加图像,由此获取轮廓。
仍然存在通过从诸如眼底自体荧光(FAF)图像的图像中提取环状结构,并且在参考血管等的位置的同时将环状结构放置在叠加图像中对应的位置处,来获取环状结构的方法。
步骤S1250
在步骤S1250中,距离计算单元142根据在步骤S230中计算的AO-SLO图像距WF-SLO图像的移位量,并且根据在步骤S1240中获取的黄斑的位置,计算每个AO-SLO图像的区域相对于作为原点的黄斑的坐标。距离计算单元142还计算在步骤S1240中获取的病变的位置相对于作为原点的黄斑的坐标。
确定每个AO-SLO图像的区域的坐标的方法与在第一示例性实施例中描述的方法基本相同。可以通过将在步骤S1240中通过鼠标点击等而获取的坐标值,转换为叠加图像上的长度,并且使用黄斑的位置作为原点,来获取病变的位置的坐标。
通过控制单元120,将确定的AO-SLO图像和病变距黄斑的位置保存在存储单元130中。
步骤S1260
在步骤S1260中,感光细胞分析单元143对在步骤S210中获取的经过像差校正的SLO图像中的S图像,进行感光细胞分析。
根据上面在第一示例性实施例中描述的方法,进行感光细胞分析的步骤。下面的描述关注根据在步骤S1240中获取的病变信息来改变处理的处理。
通常,疾病的发展在环状结构内部和外部不同,因此以不同的方式描绘感光细胞。虽然接近正常的区域位于环内部还是外部取决于疾病,但是感光细胞通常在疾病发展的区域中变性,并且可以在该区域中描绘感光细胞之外的结构,或者在该区域中描绘宽低明度区域。由于该原因,如果应用在第一示例性实施例中给出的局部最大值检测算法,则可能拾取大量噪声,这导致算法的鲁棒性降低。
为了避免上述情形,如果要进行感光细胞分析的区域位于环状结构的疾病发展侧,则在步骤S710的预处理中进行附加平均值滤波处理。虽然这里使用平均值滤波,但是使用的滤波的类型不局限于平均值滤波,可以使用使噪声减小的任意类型的滤波,例如高斯滤波。
另外,在环内部或外部,改变步骤S720的检测使用的阈值参数。具体地,例如,在环内部,与在第一示例性实施例中相同,使用图像的最低明度值,而在环外部使用图像的平均明度值。改变阈值参数,以如上所述,在环内部或外部未清楚地描绘感光细胞的情况下,提高检测的鲁棒性。
此外,作为示例,步骤S720的检测基于模式识别。在这种情况下,优选针对每种疾病在环内部和外部使用学习的结果。
步骤S1270
在步骤S1270中,比较单元144将作为步骤S1260中的感光细胞分析的结果获取的指标,与保存在存储单元130中的正常眼数据进行比较。
图14示出了通过与第一示例性实施例中的步骤S270类似的处理,与对图13所示的各个S图像进行的图11所示的处理类似的处理的结果。在图14中,在叠加图像中出现的病变,和通过将感光细胞分析的结果与正常眼分布进行比较而创建的图像之间,存在不一致。具体地,虽然位于图14中的右侧的S图像在环状结构内部,但是它们明显偏离正常分布,而即使位于左侧的S图像在环状结构附近,但是它们形成更正常的分布。在这种情况下,叠加图像中的各个S图像的位置可能未被正确地定位,或者可能未正确地获取环状结构。可选地,作为环状结构实际出现在叠加图像中的内容,可能不能正确地反映实际病变。在步骤S1280中可以克服由对齐或环状结构的获取造成的前者的不便。然而,在后者的情况下,需要通过与其它药征图像的比较来进行分析,显示图14所示的图像,以帮助用户解释疾病的状态。
步骤S1280
在步骤S1280中,输入信息获取单元110判断用户是否对在步骤S1270中呈现的分析的结果和其间的比较的结果进行修正。在这种情况下,用户可以对步骤S230中的对每个AO-SLO图像的对齐和步骤S1240中的对黄斑和病变的检测进行修正。
如果判断为用户进行修正,则用户重新设定AO-SLO图像的位置以及黄斑和病变的位置。然后,处理返回到步骤S1250,基于修正后的黄斑和病变的位置以及修正后的AO-SLO图像的位置,重新计算距离。然后,进行后续处理。如果用户不进行修正,则处理进行到步骤S290。
其它实施例
本发明的实施例还可以通过如下的方法来实现,即,通过网络或者各种存储介质将执行上述实施例的功能的软件(程序)提供给系统或装置,该系统或装置的计算机或是中央处理单元(CPU)、微处理单元(MPU)读出并执行程序的方法。
虽然参考示例性实施例对本发明进行了说明,但是应当理解,本发明不限于所公开的示例性实施例。所附权利要求的范围符合最宽的解释,以使其涵盖所有这种变形、等同结构及功能。

Claims (17)

1.一种图像处理装置,其包括:
对齐单元,被配置为使用第三眼底图像对齐第一眼底图像和第二眼底图像,所述第一眼底图像是被检眼的经过像差校正的图像,所述第二眼底图像是具有比所述第一眼底图像大的视角和低的分辨率的图像,所述第三眼底图像是具有比所述第二眼底图像小的视角和高的分辨率的图像;
距离获取单元,被配置为获取从所述被检眼的黄斑到由所述对齐单元对齐后的所述第一眼底图像中的特定位置的距离;以及
评价单元,被配置为根据所述距离和关于包含在所述第一眼底图像中的感光细胞的信息,对所述被检眼的状态进行评价。
2.根据权利要求1所述的图像处理装置,其中,所述对齐单元根据所述第二眼底图像和所述第三眼底图像之间的对齐的结果,以及所述第三眼底图像和所述第一眼底图像之间的对齐的结果,对齐所述第一眼底图像和所述第二眼底图像。
3.根据权利要求1或2所述的图像处理装置,还包括:
设定单元,被配置为在所述第一眼底图像中设定区域,其中,
所述距离获取单元获取从所述黄斑的位置到所述区域中的特定位置的距离,以及
所述评价单元根据到所述区域中的所述特定位置的距离和关于所述区域中的感光细胞的信息,对所述被检眼的状态进行评价。
4.根据权利要求3所述的图像处理装置,其中,所述设定单元根据所述第一眼底图像和所述黄斑之间的位置关系,改变设定所述区域的方法。
5.根据权利要求4所述的图像处理装置,其中,所述设定单元设定所述区域,使得与连接所述第一眼底图像和所述黄斑的直线垂直的方向上的宽度大于与所述直线平行的方向上的宽度。
6.根据权利要求3所述的图像处理装置,其中,所述设定单元设定所述区域,使得所述区域不包括包含在所述第一眼底图像中的血管区域。
7.根据权利要求3所述的图像处理装置,其中,所述特定位置是所述区域的中心。
8.根据权利要求1~7中任一项所述的图像处理装置,其中,所述关于感光细胞的信息是感光细胞的密度。
9.根据权利要求1所述的图像处理装置,还包括:
检测单元,被配置为在所述第一眼底图像中检测感光细胞,其中,
所述检测单元根据所述距离获取单元获取的距离,改变用于检测感光细胞的参数。
10.根据权利要求1所述的图像处理装置,其中,所述评价单元将所述关于感光细胞的信息与对应于所述距离的基准信息进行比较。
11.根据权利要求10所述的图像处理装置,还包括:
显示控制单元,被配置为以基于所述比较的结果的显示形式在显示单元上显示所述第一眼底图像。
12.根据权利要求11所述的图像处理装置,其中,所述显示控制单元根据所述关于感光细胞的信息与对应于所述距离的所述基准信息之间的差,改变所述第一眼底图像的明度。
13.根据权利要求12所述的图像处理装置,其中,所述显示控制单元呈现所述第一眼底图像中的、所述关于感光细胞的信息与对应于所述距离的所述基准信息之间的差大于或等于特定值的区域的面积。
14.根据权利要求11所述的图像处理装置,其中,所述显示控制单元使得以所述第一眼底图像和所述第二眼底图像彼此叠加的方式,在所述显示单元上显示由所述对齐单元对齐后的所述第一眼底图像和所述第二眼底图像。
15.根据权利要求1所述的图像处理装置,还包括:
分辨率转换单元,被配置为在所述对齐单元进行对齐的情况下,将高分辨率图像的分辨率转换为与低分辨率图像的分辨率一致的分辨率,其中,
所述对齐单元使用转换了分辨率的图像进行对齐。
16.根据权利要求1所述的图像处理装置,还包括:
检测单元,被配置为检测所述黄斑,其中,
所述对齐单元使用多个第三眼底图像,对齐多个第一眼底图像和多个第二眼底图像,通过对所述被检眼的眼底上的不同位置进行摄像,来获得所述多个第一眼底图像和所述多个第二眼底图像,所述多个第三眼底图像是在所述眼底上的所述不同位置拍摄的图像,
所述检测单元在由所述对齐单元对齐后的所述多个第一眼底图像中的包括所述黄斑的第一眼底图像中,检测所述黄斑,以及
所述距离获取单元获取从所述检测单元检测到的黄斑到由所述对齐单元对齐后的所述多个第一眼底图像中的不包括黄斑的第一眼底图像中的特定位置的距离。
17.一种图像处理方法,其包括:
对齐步骤,通过对齐单元,使用第三眼底图像对齐第一眼底图像和第二眼底图像,所述第一眼底图像是被检眼的经过像差校正的图像,所述第二眼底图像是具有比所述第一眼底图像大的视角和低的分辨率的图像,所述第三眼底图像是具有比所述第二眼底图像小的视角和高的分辨率的图像;
距离获取步骤,通过距离获取单元,获取从所述被检眼的黄斑到通过所述对齐单元对齐后的所述第一眼底图像中的特定位置的距离;以及
评价步骤,通过评价单元,根据所述距离和关于包含在所述第一眼底图像中的感光细胞的信息,对所述被检眼的状态进行评价。
CN201310741405.6A 2012-12-28 2013-12-27 图像处理装置和图像处理方法 Expired - Fee Related CN103908224B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2012-287252 2012-12-28
JP2012287252 2012-12-28

Related Child Applications (1)

Application Number Title Priority Date Filing Date
CN201610100166.XA Division CN105748033A (zh) 2012-12-28 2013-12-27 图像处理装置和图像处理方法

Publications (2)

Publication Number Publication Date
CN103908224A true CN103908224A (zh) 2014-07-09
CN103908224B CN103908224B (zh) 2016-03-09

Family

ID=50000749

Family Applications (2)

Application Number Title Priority Date Filing Date
CN201310741405.6A Expired - Fee Related CN103908224B (zh) 2012-12-28 2013-12-27 图像处理装置和图像处理方法
CN201610100166.XA Pending CN105748033A (zh) 2012-12-28 2013-12-27 图像处理装置和图像处理方法

Family Applications After (1)

Application Number Title Priority Date Filing Date
CN201610100166.XA Pending CN105748033A (zh) 2012-12-28 2013-12-27 图像处理装置和图像处理方法

Country Status (3)

Country Link
US (2) US9161686B2 (zh)
EP (2) EP3000382A1 (zh)
CN (2) CN103908224B (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110584593A (zh) * 2019-09-09 2019-12-20 中国科学院苏州生物医学工程技术研究所 共光束扫描的视网膜成像系统
CN110831487A (zh) * 2017-07-14 2020-02-21 富士胶片株式会社 医疗图像处理装置、内窥镜系统、诊断支持装置及医疗服务支持装置
CN111047874A (zh) * 2019-12-19 2020-04-21 中科寒武纪科技股份有限公司 智能交通违章管理方法及相关产品

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9386920B2 (en) * 2013-09-30 2016-07-12 Nidek Co., Ltd. Ophthalmologic image processing apparatus
JP6410498B2 (ja) * 2014-07-08 2018-10-24 キヤノン株式会社 眼科装置及びその制御方法
JP2016150090A (ja) 2015-02-17 2016-08-22 キヤノン株式会社 撮像装置及びその制御方法
US9576351B1 (en) * 2015-11-19 2017-02-21 Adobe Systems Incorporated Style transfer for headshot portraits
JP2017104343A (ja) * 2015-12-10 2017-06-15 キヤノン株式会社 画像処理装置、画像処理方法及びプログラム
GB2555675B (en) * 2016-08-05 2019-05-08 Secr Defence Method and apparatus for generating an enhanced digital image of a physical object or environment
DE102017121085B3 (de) * 2017-09-12 2019-01-31 Carl Zeiss Meditec Ag Augenchirurgie-Visualisierungssystem
CN112330610B (zh) * 2020-10-21 2024-03-29 郑州诚优成电子科技有限公司 一种基于微血管位置角膜内皮细胞计数采集精确定位方法

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1505491A (zh) * 2001-04-27 2004-06-16 ��ϣ����ķ���ɷ����޹�˾ 虹膜图案识别和对准
CN1650148A (zh) * 2002-05-30 2005-08-03 维思克斯公司 跟踪扭转的眼睛的方向和位置
CN1684627A (zh) * 2002-09-25 2005-10-19 博士伦公司 产生波前的定制眼表面
US20070115481A1 (en) * 2005-11-18 2007-05-24 Duke University Method and system of coregistrating optical coherence tomography (OCT) with other clinical tests
WO2012025983A1 (ja) * 2010-08-24 2012-03-01 興和株式会社 視野検査システム
EP2457497A1 (en) * 2010-11-26 2012-05-30 SensoMotoric Instruments GmbH Method and apparatus for multi-level eye registration
JP2012120890A (ja) * 2012-03-26 2012-06-28 Canon Inc 眼科撮影装置

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6198532B1 (en) * 1991-02-22 2001-03-06 Applied Spectral Imaging Ltd. Spectral bio-imaging of the eye
US5868134A (en) * 1993-09-21 1999-02-09 Kabushiki Kaisha Topcon Retinal disease analyzer
US7655002B2 (en) * 1996-03-21 2010-02-02 Second Sight Laser Technologies, Inc. Lenticular refractive surgery of presbyopia, other refractive errors, and cataract retardation
US6276798B1 (en) * 1998-09-29 2001-08-21 Applied Spectral Imaging, Ltd. Spectral bio-imaging of the eye
US7301644B2 (en) * 2004-12-02 2007-11-27 University Of Miami Enhanced optical coherence tomography for anatomical mapping
WO2007087314A2 (en) * 2006-01-23 2007-08-02 Zeavision Llc Macular pigment diagnostic system
DE102007047460A1 (de) * 2007-09-28 2009-04-09 Carl Zeiss Meditec Ag Vorrichtung und Verfahren zur Untersuchung des Augenhintergrundes, inbesondere der Photorezeptoren
US8868155B2 (en) * 2008-12-19 2014-10-21 University Of Miami System and method for early detection of diabetic retinopathy using optical coherence tomography
US20120150029A1 (en) * 2008-12-19 2012-06-14 University Of Miami System and Method for Detection and Monitoring of Ocular Diseases and Disorders using Optical Coherence Tomography
US8348427B2 (en) * 2009-09-22 2013-01-08 Bioptigen, Inc. Systems for extended depth fourier domain optical coherence tomography (FDOCT) and related methods
WO2011091253A2 (en) * 2010-01-21 2011-07-28 Physical Sciences, Inc. Multi-functional adaptive optics retinal imaging
WO2012026597A1 (ja) * 2010-08-27 2012-03-01 ソニー株式会社 画像処理装置および方法

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1505491A (zh) * 2001-04-27 2004-06-16 ��ϣ����ķ���ɷ����޹�˾ 虹膜图案识别和对准
CN1650148A (zh) * 2002-05-30 2005-08-03 维思克斯公司 跟踪扭转的眼睛的方向和位置
CN1684627A (zh) * 2002-09-25 2005-10-19 博士伦公司 产生波前的定制眼表面
US20070115481A1 (en) * 2005-11-18 2007-05-24 Duke University Method and system of coregistrating optical coherence tomography (OCT) with other clinical tests
WO2012025983A1 (ja) * 2010-08-24 2012-03-01 興和株式会社 視野検査システム
EP2457497A1 (en) * 2010-11-26 2012-05-30 SensoMotoric Instruments GmbH Method and apparatus for multi-level eye registration
JP2012120890A (ja) * 2012-03-26 2012-06-28 Canon Inc 眼科撮影装置

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110831487A (zh) * 2017-07-14 2020-02-21 富士胶片株式会社 医疗图像处理装置、内窥镜系统、诊断支持装置及医疗服务支持装置
CN110584593A (zh) * 2019-09-09 2019-12-20 中国科学院苏州生物医学工程技术研究所 共光束扫描的视网膜成像系统
CN110584593B (zh) * 2019-09-09 2021-06-22 中国科学院苏州生物医学工程技术研究所 共光束扫描的视网膜成像系统
CN111047874A (zh) * 2019-12-19 2020-04-21 中科寒武纪科技股份有限公司 智能交通违章管理方法及相关产品
CN111047874B (zh) * 2019-12-19 2020-12-29 安徽寒武纪信息科技有限公司 智能交通违章管理方法及相关产品

Also Published As

Publication number Publication date
US9161686B2 (en) 2015-10-20
US20140185889A1 (en) 2014-07-03
EP2749204A1 (en) 2014-07-02
CN105748033A (zh) 2016-07-13
EP3000382A1 (en) 2016-03-30
CN103908224B (zh) 2016-03-09
US20160012575A1 (en) 2016-01-14
EP2749204B1 (en) 2016-03-16
US9619874B2 (en) 2017-04-11

Similar Documents

Publication Publication Date Title
CN103908224B (zh) 图像处理装置和图像处理方法
US9408535B2 (en) Photorefraction ocular screening device and methods
CN102670164B (zh) 图像处理装置、摄像系统和图像处理方法
CN103251379B (zh) 图像处理设备、图像处理方法和图像处理系统
JP6547160B2 (ja) 脈波検出装置、及び脈波検出プログラム
US9514532B2 (en) Image processing apparatus ophthalmologic imaging system and image processing method
EP2772185B1 (en) Image processing apparatus and image processing method
Lupascu et al. Automated detection of optic disc location in retinal images
EP2772184B1 (en) Image processing apparatus and image processing method
JP6207225B2 (ja) 画像処理装置及び画像処理方法
US8870377B2 (en) Image processing apparatus, image processing apparatus control method, ophthalmologic apparatus, ophthalmologic apparatus control method, ophthalmologic system, and storage medium
EP2772186B1 (en) Image processing apparatus and image processing method
CN105310645A (zh) 图像处理装置及图像处理方法
JP6128841B2 (ja) 画像処理装置
US20190209006A1 (en) Segmentation-based corneal mapping
CN105395163A (zh) 眼科设备和眼科设备的控制方法
JP2017119226A (ja) 画像処理装置、画像処理方法および画像処理プログラム
US10264960B2 (en) Information processing apparatus, operation method thereof, and computer program
JP2018202237A (ja) 画像処理装置およびその制御方法
JP6506518B2 (ja) 眼科装置及びその制御方法
JP2021040805A (ja) 眼科装置及びコンピュータプログラム

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20160309

Termination date: 20191227