CN104135910A - 图像形成设备和图像形成方法 - Google Patents
图像形成设备和图像形成方法 Download PDFInfo
- Publication number
- CN104135910A CN104135910A CN201380010145.3A CN201380010145A CN104135910A CN 104135910 A CN104135910 A CN 104135910A CN 201380010145 A CN201380010145 A CN 201380010145A CN 104135910 A CN104135910 A CN 104135910A
- Authority
- CN
- China
- Prior art keywords
- frame
- moving image
- image
- image forming
- abnormal
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 123
- 230000002159 abnormal effect Effects 0.000 claims description 162
- 230000015572 biosynthetic process Effects 0.000 claims description 39
- 238000006073 displacement reaction Methods 0.000 claims description 21
- 230000008859 change Effects 0.000 claims description 13
- 239000000284 extract Substances 0.000 claims description 12
- 238000012545 processing Methods 0.000 description 53
- 238000005755 formation reaction Methods 0.000 description 37
- 230000008569 process Effects 0.000 description 31
- 230000004075 alteration Effects 0.000 description 16
- 238000012937 correction Methods 0.000 description 14
- 230000003287 optical effect Effects 0.000 description 12
- 238000010586 diagram Methods 0.000 description 11
- 230000003044 adaptive effect Effects 0.000 description 10
- 210000004204 blood vessel Anatomy 0.000 description 7
- 238000005516 engineering process Methods 0.000 description 7
- 230000006870 function Effects 0.000 description 7
- 239000007787 solid Substances 0.000 description 7
- 210000004027 cell Anatomy 0.000 description 6
- 210000003128 head Anatomy 0.000 description 6
- 230000004044 response Effects 0.000 description 6
- 238000000605 extraction Methods 0.000 description 5
- 210000000873 fovea centralis Anatomy 0.000 description 5
- 238000005259 measurement Methods 0.000 description 5
- 231100000915 pathological change Toxicity 0.000 description 5
- 230000036285 pathological change Effects 0.000 description 5
- 230000005856 abnormality Effects 0.000 description 4
- 210000000744 eyelid Anatomy 0.000 description 4
- 238000003384 imaging method Methods 0.000 description 4
- 238000003745 diagnosis Methods 0.000 description 3
- 230000010349 pulsation Effects 0.000 description 3
- 210000001525 retina Anatomy 0.000 description 3
- 230000009466 transformation Effects 0.000 description 3
- 230000000007 visual effect Effects 0.000 description 3
- 210000000601 blood cell Anatomy 0.000 description 2
- 230000003292 diminished effect Effects 0.000 description 2
- 201000010099 disease Diseases 0.000 description 2
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 2
- 238000009432 framing Methods 0.000 description 2
- 238000007689 inspection Methods 0.000 description 2
- 230000001105 regulatory effect Effects 0.000 description 2
- WBMKMLWMIQUJDP-STHHAXOLSA-N (4R,4aS,7aR,12bS)-4a,9-dihydroxy-3-prop-2-ynyl-2,4,5,6,7a,13-hexahydro-1H-4,12-methanobenzofuro[3,2-e]isoquinolin-7-one hydrochloride Chemical compound Cl.Oc1ccc2C[C@H]3N(CC#C)CC[C@@]45[C@@H](Oc1c24)C(=O)CC[C@@]35O WBMKMLWMIQUJDP-STHHAXOLSA-N 0.000 description 1
- PXFBZOLANLWPMH-UHFFFAOYSA-N 16-Epiaffinine Natural products C1C(C2=CC=CC=C2N2)=C2C(=O)CC2C(=CC)CN(C)C1C2CO PXFBZOLANLWPMH-UHFFFAOYSA-N 0.000 description 1
- 241000222065 Lycoperdon Species 0.000 description 1
- 241000768494 Polymorphum Species 0.000 description 1
- 230000003321 amplification Effects 0.000 description 1
- 210000004369 blood Anatomy 0.000 description 1
- 239000008280 blood Substances 0.000 description 1
- 230000017531 blood circulation Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 239000003795 chemical substances by application Substances 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 238000003780 insertion Methods 0.000 description 1
- 230000037431 insertion Effects 0.000 description 1
- 238000009434 installation Methods 0.000 description 1
- 230000003902 lesion Effects 0.000 description 1
- 238000003199 nucleic acid amplification method Methods 0.000 description 1
- 239000013307 optical fiber Substances 0.000 description 1
- 230000008447 perception Effects 0.000 description 1
- 238000002360 preparation method Methods 0.000 description 1
- 238000003672 processing method Methods 0.000 description 1
- 230000011514 reflex Effects 0.000 description 1
- 210000001210 retinal vessel Anatomy 0.000 description 1
- 230000036962 time dependent Effects 0.000 description 1
- 238000011426 transformation method Methods 0.000 description 1
- 238000013519 translation Methods 0.000 description 1
Classifications
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B3/00—Apparatus for testing the eyes; Instruments for examining the eyes
- A61B3/0016—Operational features thereof
- A61B3/0025—Operational features thereof characterised by electronic signal processing, e.g. eye models
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B3/00—Apparatus for testing the eyes; Instruments for examining the eyes
- A61B3/10—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions
- A61B3/12—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions for looking at the eye fundus, e.g. ophthalmoscopes
- A61B3/1225—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions for looking at the eye fundus, e.g. ophthalmoscopes using coherent radiation
- A61B3/1233—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions for looking at the eye fundus, e.g. ophthalmoscopes using coherent radiation for measuring blood flow, e.g. at the retina
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/02—Detecting, measuring or recording pulse, heart rate, blood pressure or blood flow; Combined pulse/heart-rate/blood pressure determination; Evaluating a cardiovascular condition not otherwise provided for, e.g. using combinations of techniques provided for in this group with electrocardiography or electroauscultation; Heart catheters for measuring blood pressure
- A61B5/024—Detecting, measuring or recording pulse rate or heart rate
- A61B5/02416—Detecting, measuring or recording pulse rate or heart rate using photoplethysmograph signals, e.g. generated by infrared radiation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4038—Image mosaicing, e.g. composing plane images from plane sub-images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0012—Biomedical image inspection
- G06T7/0014—Biomedical image inspection using an image reference approach
- G06T7/0016—Biomedical image inspection using an image reference approach involving temporal comparison
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B3/00—Apparatus for testing the eyes; Instruments for examining the eyes
- A61B3/10—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions
- A61B3/1015—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions for wavefront analysis
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10016—Video; Image sequence
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30041—Eye; Retina; Ophthalmic
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30101—Blood vessel; Artery; Vein; Vascular
Landscapes
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- Medical Informatics (AREA)
- Public Health (AREA)
- Biomedical Technology (AREA)
- Veterinary Medicine (AREA)
- Heart & Thoracic Surgery (AREA)
- Biophysics (AREA)
- Molecular Biology (AREA)
- Surgery (AREA)
- Animal Behavior & Ethology (AREA)
- Ophthalmology & Optometry (AREA)
- Cardiology (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Hematology (AREA)
- Signal Processing (AREA)
- Physiology (AREA)
- Pathology (AREA)
- Radiology & Medical Imaging (AREA)
- Quality & Reliability (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Eye Examination Apparatus (AREA)
- Image Processing (AREA)
Abstract
图像形成设备基于眼部的运动图像的多个帧中的各帧的图像特征来判断异常帧，并且基于所判断出的异常帧来改变运动图像形成方法。例如，该图像形成设备通过提取帧序列来形成新的运动图像，其中该帧序列包括从运动图像中所提取的不包含已被判断为异常帧的帧的这些帧。
Description
技术领域
本发明涉及图像形成设备和图像形成方法，并且更特别地，涉及眼科诊疗所使用的图像形成设备和图像形成方法。
背景技术
为了对生活方式相关的疾病和导致失明的主要原因的其它疾病进行早期诊疗的目的，广泛进行眼部的检查。用作基于共焦激光显微镜的原理的眼科设备的扫描激光检眼镜(SLO)利用用作测量光的激光束对眼底进行光栅扫描，并且基于返回光束的光强度来快速获得高分辨率的平面图像。以下将用于拍摄平面图像的这种设备称为SLO设备。以下将平面图像称为SLO图像。
近年来，已可以通过增大SLO设备中测量光的光束大小来获得横向分辨率有所提高的视网膜的SLO图像。然而，随着测量光的光束大小增大，在获得视网膜的SLO图像时，由于被检眼的像差而导致SLO图像的分辨率和信噪比(SN比)下降。为了解决该问题，已经开发了包括自适应光学的自适应光学SLO设备，其中该自适应光学用于使波前传感器实时测量被检眼的像差，并且使波前校正装置对被检眼中发生的测量光及其返回光束的像差进行校正。这种自适应光学SLO设备可以获得高横向分辨率的平面图像。
如图5A所示，可以获得这种高横向分辨率的SLO图像作为包括多个帧的运动图像。例如，为了非侵入性地观察血流动态，在从各帧提取视网膜血管(图5B)之后，测量毛细血管中的血球移动速度等。此外，为了根据SLO图像评价与视觉功能的关系，检测光感受细胞，然后测量这些光感受细胞的密度分布和排列。
在观察/测量SLO运动图像中的血球动态、血管形状的变化以及光感受细胞的形式或亮度的变化的情况下，可能发生异常帧，其中在该异常帧中，由于摄像设备所引起的图像特征的差异或眼睛/眼睑运动的影响，因此难以感知/测量对象组织、细胞或病变。例如，由于如图5C所示的固视差异而导致在所有帧中能够进行观察/测量处理的区域可能变小(图5D)，或者由于眨眼而可能发生(图5E的附图标记591所示的)低亮度帧。可选地，由于诸如像差校正不良等的设备的特性而导致运动图像可能包括SN比低的帧。特别地，由于患眼的SLO图像趋于包括受到眨眼或固视差异的影响的帧、或者由于像差校正SLO的视野小且其受到固视微动的影响大，因此可能无法仅通过进行帧间对准来充分获得随时间变化的观察/测量所需的区域和帧数。
为了防止在SLO运动图像中发生如上所述的异常帧，提供在设备中包括用于防止摄像操作中发生异常帧的追踪功能的方法。然而，需要附加设置用于拍摄宽视野的SLO图像的结构，并且在固视微动大的情况下，实际上难以进行完整的追踪操作。
需要如下技术：在SLO运动图像中发生异常帧的情况下(图5C或图5E)，对该异常帧进行判断，然后进行删除或校正，由此自动形成可以观察或测量对象组织、细胞或病变的SLO运动图像(图5A)。
作为使眼部的运动图像的各帧的位置正确相关联以能够观察/测量对象物的方法，日本特开2004-159767(以下称为文献1)描述了用于重放针对各帧经过了对准的运动图像、从而容易观看流经眼底的动脉的荧光剂的流动的技术。日本特开2010-110656(以下称为文献2)描述了基于OCT断层图像(静止图像)之间的相似度来检测眨眼或固视差异的方法。
然而，文献1仅考虑由于眼底的运动而导致眼底图像模糊的情况。因此，文献1仅描述帧间对准，而没有描述判断并排除异常帧(特别地，受到足够大到使得无法观察测量范围的运动的影响的帧)的方法。此外，文献2没有描述在高分辨率的平面图像中检测眨眼或固视差异的技术、或者获得不包含受到眨眼或固视差异的影响的帧的运动图像的技术(摄像/帧选择技术)。
发明内容
本发明的实施例是考虑到上述问题而作出的，并且能够基于眼底的运动图像来生成适合眼科诊疗的运动图像。
根据本发明的一个方面，提供一种图像形成设备，包括：判断部件，用于基于眼部的运动图像的多个帧中的各帧的图像特征来判断所述多个帧中的异常帧；以及生成部件，用于通过提取帧序列来生成新的运动图像，其中该帧序列包括以不包括所述判断部件所判断出的异常帧的方式所提取的帧。
根据本发明的另一方面，提供一种与眼部的运动图像有关的图像形成设备，包括：判断单元，用于基于所获得的运动图像的相对于基准区域的位移量来判断所述运动图像的异常帧；以及改变部件，用于基于所述判断部件所判断出的异常帧来改变运动图像形成方法。
根据本发明的另一方面，提供一种用于图像形成设备的图像形成方法，包括以下步骤：判断步骤，用于基于眼部的运动图像的多个帧中的各帧的图像特征来判断所述多个帧中的异常帧；以及通过提取帧序列来生成新的运动图像，其中该帧序列包括以不包括所述判断步骤中所判断出的异常帧的方式所提取的帧。
根据本发明的另一方面，提供一种用于与眼部的运动图像有关的图像形成设备的图像形成方法，包括以下步骤：判断步骤，用于基于所获得的运动图像的相对于基准区域的位移量来判断所述运动图像的异常帧；以及基于所述判断步骤中所判断出的异常帧来改变运动图像形成方法。
通过以下参考附图对典型实施例的说明，本发明的其它特征将变得明显。
附图说明
图1是示出根据第一实施例的图像形成设备的功能结构的示例的框图；
图2是示出根据第一实施例、第二实施例或第四实施例的摄像系统的结构的示例的框图；
图3是示出用作根据实施例的图像形成设备的计算机的硬件结构的示例的框图；
图4是示出根据第一实施例的图像形成设备所执行的处理的流程图；
图5A～5E是用于说明与一般的SLO图像形成处理相关联的问题的图；
图6是示出根据第一实施例的步骤S420中的处理的流程图；
图7A和7B是示出根据第一实施例的步骤S430中的处理的流程图；
图8是示出根据第二实施例的图像形成设备的功能结构的示例的框图；
图9是示出根据第二实施例的图像形成设备所执行的处理的流程图；
图10是示出根据第二实施例的步骤S920中的处理的流程图；
图11是示出根据第三实施例的图像处理设备的功能结构的示例的框图；
图12是示出根据第三实施例的摄像系统的结构的示例的框图；
图13是示出根据第三实施例的步骤S930中的处理的流程图；
图14是用于说明根据第三实施例的步骤S1340中所执行的处理的图；
图15是示出根据第四实施例的图像形成设备的功能结构的示例的框图；
图16是示出根据第四实施例的图像形成设备所执行的处理的流程图；以及
图17是示出根据第四实施例的步骤S1620中的处理的流程图。
具体实施方式
以下将参考附图来详细说明根据本发明的图像形成设备和方法的优选实施例。注意，本发明不限于以下实施例。
第一实施例
在包括数量比观察/测量所需的数量大的多个帧的单个SLO运动图像中，根据实施例的图像形成设备基于该SLO运动图像中所包括的图像特征来预先判断相对于基准帧存在位移量的异常帧。注意，SLO运动图像是通过利用SLO设备进行摄像操作所获得的运动图像。从不包含所判断出的异常帧的最长的连续帧序列中提取(与要形成的帧的数量相等的)预定数量的帧，由此形成观察/测量所用的SLO运动图像。
更具体地，拍摄到包括数量比观察/测量所需的帧(要形成的帧)的数量Tf大的多个帧的SLO运动图像D。然后，基于SLO运动图像D的图像特征来判断异常帧Ej(j＝1,...,n1)。注意，异常帧Ej是如下帧，其中在这些帧中，发现了由于诸如像差校正位置的差异等的摄像条件的差异以及诸如脉动和眨眼等的眼睛/眼睑运动的影响所引起的图像特性的变化。提取出SLO运动图像D中的、各自包括不包含异常帧Ej的多个连续帧的帧序列(以下称为子运动图像Sk(k＝1,...,n2))中的最长帧序列(子运动图像S1)，以形成新的SLO运动图像。
如上所述，可以自动形成如下的SLO运动图像，其中该SLO运动图像包括观察/测量所需的区域(大小)和帧数(长度)，并且不受由于诸如像差校正位置的差异等的摄像条件的差异以及诸如脉动或眨眼等的眼睛/眼睑运动的影响所引起的图像特性的变化的影响。
图2是示出包括根据第一实施例的图像形成设备10的摄像系统的结构的示例的框图。如图2所示，图像形成设备10经由光纤、USB或IEEE1394等构成的局域网(LAN30)与SLO设备20和数据服务器40相连接。注意，该设备10可以经由诸如因特网等的外部网络与这些设备相连接。一个设备可以实现图像形成设备10、SLO设备20和数据服务器40中的一些设备。例如，一个信息处理设备可以包括图像形成设备10和数据服务器40。
SLO设备20用作扫描激光检眼镜，并且拍摄眼底区域的平面图像(SLO运动图像)。SLO设备20将SLO运动图像D和与拍摄该SLO运动图像D所使用的固视目标位置F有关的信息发送至图像形成设备10和数据服务器40。注意，SLO设备20用作自适应光学扫描激光检眼镜(AO-SLO)，其中该AO-SLO包括自适应光学并且进行像差校正。SLO设备20包括SLD、夏克-哈特曼(Shack-Hartmann)波前传感器、自适应光学、第一分束器和第二分束器、X-Y扫描镜、调焦透镜、光圈、光学传感器、图像形成单元和输出单元。用作光源的SLD(超发光二极管)所发出的光被眼底反射。该反射光的一部分经由第二分束器入射在夏克-哈特曼波前传感器上，并且其余光经由第一分束器入射在光学传感器上。夏克-哈特曼波前传感器是用于测量眼睛的像差的装置，并且CCD连接至透镜阵列。在入射光穿过透镜阵列的情况下，在CCD中出现亮点组，由此基于所投影的亮点的位置偏移来测量波像差。基于夏克-哈特曼波前传感器所测量到的波像差，自适应光学驱动像差校正装置(可变形镜或空间光相位调制器)以校正该像差。经过了像差校正的光经由调焦透镜和光圈入射到光学传感器。可以通过使X-Y扫描镜移动来控制眼底上的扫描位置，由此获得针对时间(帧频×帧数)和操作员预先指定的摄像对象区域的数据。将该数据发送至图像形成单元，其中该图像形成单元通过对由于扫描速度的变化所引起的图像失真进行校正或对亮度值进行校正来形成图像数据(运动图像或静止图像)。输出单元输出图像形成单元所形成的图像数据。为了聚焦于眼底上的特定深度位置，可以进行使用自适应光学的像差校正装置的调整、以及通过在光学系统内配置焦点调整透镜(未示出)并移动该透镜所进行的调整中的至少一个调整。注意，代替SLO设备20，可以使用诸如包括自适应光学或像差校正装置的眼底照相机等的眼科设备。
数据服务器40保持诸如被检眼的SLO运动图像D和固视目标位置F等的摄像条件数据、以及眼部的图像特征。也就是说，数据服务器40存储从SLO设备20输出的SLO运动图像D和固视目标位置F、以及从图像形成设备10输出的眼部的图像特征。此外，响应于来自图像形成设备10的请求，数据服务器40将SLO运动图像D、眼部的图像特征和这些图像特征的正常值数据发送至图像形成设备10。
将参考图3来说明图像形成设备10的硬件结构。参考图3，附图标记301表示中央处理单元(CPU)；附图标记302表示存储器(RAM)；附图标记303表示控制存储器(ROM)；并且附图标记304表示外部存储装置。此外，附图标记305表示监视器；附图标记306表示键盘；附图标记307表示指示装置(例如，鼠标)；并且附图标记308表示用于连接至LAN30的接口。外部存储装置304存储用于实现根据实施例的图像处理功能的控制程序、以及执行这些控制程序要使用的数据。这些控制程序和数据在CPU301的控制下根据需要经由总线309被载入RAM302，并且由CPU301来执行，由此用作以下要说明的各单元。
以下将参考图1来说明根据第一实施例的图像形成设备10的功能结构。图1是示出图像形成设备10的功能结构的示例的框图。图像形成设备10包括图像获得单元110、存储单元120、图像形成单元130和指示获得单元140。图像形成单元130包括异常帧判断单元131和图像形成方法改变单元132。异常帧判断单元131包括图像特征获得单元1311、基准区域设置单元1312和位移量获得单元1313。图像形成方法改变单元132包括图像选择单元1321和异常帧替换方法指示单元1322。以下将与图4的流程图所示的图像形成设备10的具体执行过程相关联地说明图像形成设备10的各块的功能。
<步骤S410>图像获得单元110请求SLO设备20以获得SLO运动图像D和固视目标位置F。在本实施例中，SLO设备20通过将固定目标位置设置在黄斑区域的旁中央凹来获得SLO运动图像D。注意，在本实施例中，Tn表示要形成的SLO运动图像Df的帧数，并且SLO运动图像D的帧数n0远大于Tn。也就是说，即使SLO运动图像D已受到短时间内的固视微动和几次眨眼的影响，非异常帧(正常帧)的数量也应等于或大于Tn。注意，尽管将摄像位置设置在黄斑区域的旁中央凹，但本发明不限于此。可以将摄像位置设置在任意位置处。
响应于来自图像获得单元110的获得请求，SLO设备20获得SLO运动图像D和固视目标位置F并且发送这两者。图像获得单元110经由LAN30从SLO设备20接收SLO运动图像D和固视目标位置F。图像获得单元110将所接收到的SLO运动图像D和固视目标位置F存储在存储单元120中。
<步骤S420>异常帧判断单元131从图像获得单元110所获得的SLO运动图像D的各帧Di(i＝1,...,n0)获得图像特征，并且使用所获得的图像特征来进行异常帧判断。将除异常帧以外的帧中的帧编号最小的帧设置为基准帧。之后，基于从各帧所获得的图像特征组的帧间位移量来进行异常帧判断。将参考图6所示的流程图来详细说明上述具体的异常帧判断处理。
<步骤S430>图像形成方法改变单元132从异常帧判断单元131获得异常帧编号列表。如果不存在异常帧，则图像形成单元130从SLO运动图像D的开头起选择Tn个帧，并且向所选择的图像添加图像头(属性信息)以形成观察/测量所用的SLO运动图像Df。另一方面，如果包括了异常帧，则图像形成方法改变单元132改变图像形成方法，并且图像形成单元130根据改变后的图像形成方法来形成观察/测量所用的SLO运动图像Df。也就是说，图像形成单元130使图像形成方法改变单元132改变图像形成方法，以通过从SLO运动图像D中提取不包含步骤S420中异常帧判断单元131所判断出的异常帧的连续帧序列来生成新的运动图像。注意，将参考图7A和7B所示的流程图来详细说明步骤S430的处理的具体过程。
<步骤S440>指示获得单元140从外部获得表示是否将固视目标位置F和步骤S430中所形成的观察/测量所用的SLO运动图像D存储在数据服务器40中的指示。操作员经由例如键盘306或指示装置307输入该指示。如果指示了存储操作，则处理进入步骤S450；否则，处理进入步骤S460。
<步骤S450>图像形成单元130将检查日期/时间、用于识别被检眼的信息、SLO运动图像Df和图像组的固视目标位置F以彼此相关联的方式发送至数据服务器40。
<步骤S460>指示获得单元140从外部获得表示是否终止图像形成设备10所进行的SLO运动图像Df的形成处理的指示。操作员经由键盘306或指示装置307输入该指示。如果该单元140获得用以终止该处理的指示，则分析处理结束。另一方面，如果该单元140获得用以继续该处理的指示，则处理返回至步骤S410以执行针对下一被检眼的处理(或再执行针对同一被检眼的处理)。
现在将参考图6来详细说明步骤S420中所执行的异常帧判断处理。
<步骤S610>图像特征获得单元1311从SLO运动图像D获得图像特征。在本实施例中，该单元1311获得SLO运动图像D的各帧Di中的平均亮度值Ai、信噪比(SN比)和血管区域Vi作为图像特征。可以使用任意的已知血管提取方法作为血管区域获得方法，并且在本实施例中，获得亮度值等于或小于阈值T1的区域。此外，还获得通过使血管区域Vi细线化所获得的点序列Bim(m＝1,2,...,n3)的交叉部Cin(n＝1,...,n4≥3)。注意，要获得的特征量不限于上述特征量，并且获得后续的异常帧判断处理所需的图像特征。
<步骤S620>异常帧判断单元131使用步骤S610中所获得的图像特征，以基于单个帧的图像特征以及与邻接帧的图像特征的比较来判断异常帧。例如，异常帧判断单元131从SLO运动图像D的各帧Di中检测如下的帧作为异常帧Ej：由于眨眼而导致亮度极低的帧、由于固视微动而导致发生图像失真的帧、或者由于像差校正不良而导致SN比低的帧。在本实施例中，如果帧Di的平均亮度值Ai等于或小于T2，则认为由于眨眼等而发生了亮度误差，由此将该帧判断为异常帧。如果帧Di的血管交叉部Cin之间的距离的平方和的值在邻接帧之间的差等于或大于阈值T3，则认为由于固视微动而发生了图像失真，由此将帧Di判断为异常帧。此外，如果帧Di的SN比等于或小于阈值T4，则认为发生了像差校正不良，由此将帧Di判断为异常帧。
注意，步骤S610和S620中的异常帧判断方法不限于上述判断方法，并且代替上述判断方法或除上述判断方法以外，可以使用任意的异常判断方法。例如，计算通过针对各帧进行微分处理所获得的微分图像的亮度统计量(平均值、众数或最大值)。如果亮度统计量等于或小于阈值T5，则可以认为由于被摄体的运动而导致该帧变模糊，由此将该帧判断为异常帧。
<步骤S630>基准区域设置单元1312设置用于判断运动图像D中的固视差异帧(异常帧)的基准区域。在本实施例中，该单元132将除步骤S620中已被判断为异常帧的帧以外的帧中的帧编号最小的帧设置为基准帧，并将该基准帧的整体或一部分设置为基准区域。
注意，基准区域设置方法不限于上述设置方法，并且可以使用任意的设置方法。例如，单元1312可以从指示获得单元140获得用户所指定的基准帧编号，并将该基准帧整体设置为基准区域。可选地，单元1312可以将用户所指定的区域(用户在该用户指定的帧内所指定的区域)设置为基准区域。可选地，图像特征获得单元1311可以使用任意的已知图像处理方法来检测特定部位(中央凹)或病变，然后单元1312可以将在帧编号最小的非异常帧中所检测到的该部位或病变区域设置为基准区域。
<步骤S640>位移量获得单元1313计算步骤S630中所设置的基准帧中的图像特征(血管交叉部Cin)和非基准帧中的图像特征之间的位移量，然后将位移量大于容许值的帧判断为异常帧。在本实施例中，作为给定帧相对于基准帧的位移量，定义具有平移(x,y)、转动θ和放大率(sx,sy)作为分量的位移量矢量(x、y、θ、sx、sy)。如果x>Tx、y>Ty、θ>Tθ、sx>Tsx和sy>Tsy中的至少一个成立，则将给定帧判断为异常帧(Tx、Ty、Tθ、Tsx和Tsy分别是预定阈值)。
注意，位移量的定义不限于此，并且可以使用任意值，只要该值表示位移的程度(标量的量或矢量的量)即可。可以将要观察/测量的基准区域包括在各帧中的比率(例如，(基准区域整体的面积)/(各帧Di中所包括的基准区域的面积))定义为位移量。
将参考图7A来详细说明步骤S430中所执行的处理。
<步骤S710>图像形成方法改变单元132从异常帧判断单元131获得SLO运动图像D中所包括的异常帧编号列表。如果异常帧列表为空(不存在异常帧)，则处理进入步骤S730。如果存在一个或多个异常帧，则处理进入步骤S720。
<步骤S720>图像形成方法改变单元132计算SLO运动图像D中的不包含异常帧的子运动图像Sk的帧计数Nsk，然后计算Nsk的最大值Nsl。如果最大值Nsl≥Tn，则图像形成方法改变单元132选择子运动图像Sk中的最长子运动Sl，由此重新定义新的SLO运动图像D。另一方面，如果最大值Nsl<Tn，则图像形成方法改变单元132指示图像形成单元130以通过使用前后的子运动图像对与子运动图像Sl邻接的异常帧序列进行插值处理来替换异常帧。将利用该指示所定义的最长子运动图像设置为新的SLO运动图像D，并且该处理进入步骤S730。注意，后面将参考图7B所示的流程图来说明步骤S720中图像形成方法改变单元132所执行的处理的详情。
<步骤S730>图像形成单元130从步骤S720中所定义的SLO运动图像D的开头起选择Tn个帧，并且添加图像头(属性信息)以形成观察/测量所用的SLO运动图像Df。如果在步骤S720中指示了通过进行图像插值来替换异常帧，则图像形成单元130使用所指示的图像插值方法来替换异常帧以形成SLO运动图像Df。
将参考图7B来详细说明步骤S720中所执行的处理。
<步骤S721>图像形成方法改变单元132从异常帧判断单元131获得异常帧编号列表，并且计算如下帧序列(子运动图像Sk)的长度Nsk的最大值Nsl，其中该帧序列包括在SLO运动图像D中、并且包括不包含异常帧的连续帧。
<步骤S722>如果Nsl≥Tn，则处理进入步骤S723；否则，处理进入步骤S724。
<步骤S723>单元132从SLO运动图像D中选择最长的帧序列(子运动图像sl)，并将该帧序列重新定义为新的SLO运动图像D。
<步骤S724>如果最长的连续帧序列没有包括预定数量(Tn)的帧，则图像形成单元132使用已被判断为异常帧的帧的前后的非异常帧来生成插值帧。图像形成单元130使用所生成的插值帧作为非异常帧来生成包括预定数量的帧的连续帧序列。例如，图像形成单元130通过使用与SLO运动图像D的最长子运动图像Sl邻接的异常帧序列的前后的子运动图像而执行图像插值处理来替换该异常帧序列，并且重新计算Nsl。尽管在本实施例中使用线性插值方法作为图像插值方法，但插值方法不限于此，并且可以使用任意的已知图像插值方法。通过重复该插值处理(步骤S724)、直到Nsl≥Tn成立为止，将所获得的最长子运动图像Sl'重新定义为新的SLO运动图像D。
注意，在本实施例中，在子运动图像Sk的帧计数Nsk的最大值Nsl小于Tn的情况下执行图像插值处理。然而，本发明不限于此。例如，如果Nsl<Tn，则可以终止形成SLO运动图像Df的处理，并且可以将用以再次进行摄像操作的消息显示在显示单元(未示出)上。
如果对要插值的帧数设置容许值、并且在步骤S724中需要对超过该容许值的帧数进行插值，则可以在显示单元(未示出)上显示警告，由此终止形成SLO运动图像Df的处理。
尽管在本实施例中、要形成的SLO运动图像Df的帧计数是恒定值(Tn)，但本发明不限于此。在步骤S723或S730中，例如，可以原样将最长的子运动图像Sl重新定义为新的SLO运动图像D，并且可以添加图像头以形成观察/测量所用的SLO运动图像Df。如果可以获得各自包括帧数等于或大于恒定值(Tn)的多个帧序列，则可以选择这多个帧序列中的如下帧序列，其中该帧序列的帧之间的位移量的统计量最小。
如上所述，根据第一实施例，图像形成设备10基于图像特征来判断SLO运动图像D的异常帧，并且基于不包含所判断出的异常帧的最长的连续帧序列来形成SLO运动图像Df。利用该结构，可以自动形成如下的SLO运动图像Df，其中该SLO运动图像Df包括观察/测量所需的区域(空间大小)和帧数(时间长度)，并且不受由于诸如像差校正位置的差异等的摄像条件的差异和诸如脉动或眨眼等的眼睛/眼睑运动所引起的图像特性的变化的影响。
第二实施例
在第二实施例中，对准单元134基于单个帧的图像特征来判断异常帧，并且对异常帧已被排除的运动图像进行帧间对准。在该对准之后，基于帧之间的图像特征的差异来判断异常帧。根据第二实施例的结构，可以更加正确地计算相对于基准帧的位移量并判断异常帧，由此使得能够自动形成包括所需区域和所需帧数的观察/测量所用的SLO运动图像Df。
图8示出根据第二实施例的图像形成设备10的功能结构的示例。第二实施例的结构与第一实施例(图1)的结构的不同之处在于：图像形成单元130包括对准单元134，并且对准单元134包括异常帧判断单元131。以下将参考图9所示的流程图来说明根据第二实施例的图像形成处理。注意，图9中的除步骤S920以外的步骤的操作与第一实施例(图4)的操作相同(即，步骤S910和S930～S960的操作与步骤S410和S430～S460的操作相同)。因此，在第二实施例中，将说明步骤S920的处理。
<步骤S920>对准单元134从存储单元120读取SLO运动图像D，并对该SLO运动图像D进行帧间对准。注意，帧间对准表示使得邻接帧的图像位于相同位置处的调整，并且利用众所周知的技术来实现。现在将参考图10所示的流程图来说明步骤S920中所进行的对准处理。
<步骤S1010>异常帧判断单元131对SLO运动图像D的各帧进行使用单个帧的异常帧判断(使用单个帧的图像特征的异常帧判断)。在本实施例中，图像特征获得单元1311计算各帧的平均亮度值Ai和SN比SNi。异常帧判断单元131在Ai等于或小于阈值T2的情况下判断为发生了亮度误差，并且在SN比SNi等于或小于阈值T4的情况下判断为该帧的图像质量低，由此将该帧判断为异常帧。注意，使用单个帧的图像特征的异常帧判断方法不限于此，并且可以使用任意的异常判断方法。
<步骤S1020>对准单元134将基准帧设置为对准基准。在本实施例中，将除步骤S1010中已被判断为异常帧的帧以外的帧中的帧编号最小的帧设置为基准帧。注意，基准帧设置方法不限于此，并且可以使用任意的设置方法。例如，该单元134可以从指示获得单元140获得用户所指定的基准帧编号，并且将与所指定的基准帧编号相对应的帧设置为基准帧。
<步骤S1030>对准单元134使各帧的位置彼此大致相关联(粗略对准)。尽管可以使用任意的对准方法，但在本实施例中，使用相关系数作为图像间相似度评价函数并且使用仿射变换作为坐标变换方法来进行粗略对准。注意，要经过步骤S1030的粗略对准和步骤S1040的精细对准的帧是步骤S1010中未被判断为异常帧的帧。
<步骤S1040>对准单元134基于步骤S1030中所获得的帧之间的粗略位置对应关系的数据来进行精细对准。在本实施例中，该单元134针对步骤S1030中经过了粗略对准的运动图像，使用FFD(自由变形)方法作为非刚性对准方法来进行帧之间的精细对准。注意，精细对准方法不限于此，并且可以使用任意的对准方法。
<步骤S1050>异常帧判断方法131对步骤S1040中经过了精细对准的运动图像的各帧进行基于帧之间的图像特征的差的异常帧判断。在本实施例中，基准区域设置单元1312设置基准帧，并且位移量获得单元1313计算基准帧和(除基准帧以外的)各帧之间的差分，由此获得差分图像的直方图。如果该直方图的平均值等于或大于阈值T6、并且该直方图的方差等于或大于阈值T7，则异常帧判断单元131判断为由于固视微动而临时拍摄到眼底上的不同位置，由此将该帧判断为异常帧。
注意，使用帧之间的图像特征的差异的异常帧判断方法不限于此，并且可以使用任意的判断方法。例如，对于经过了精细对准的运动图像的各帧，与第一实施例相同，进行血管的提取和血管交叉部Cin的检测。在各帧中获得血管交叉部Cin之间的距离的平方和。如果邻接帧之间的距离的平方和的值之差等于或大于阈值T3，则认为发生了图像失真，由此将该帧判断为异常帧。
在本实施例中，使用基于像素值的图像间相似度来获得SLO运动图像D的帧整体与基准帧最相似的对准参数的组合。然而，本发明不限于此。例如，可以在SLO运动图像D的各帧中检测到要观察的图像特征(诸如病变或中央凹等的部位、以及诸如血管的分支等的特征点)，并且SLO运动图像的帧可以经过对准，以使得图像特征的位置可以最精确地彼此一致。此外，可以使用帧间对准中所获得的图像特征来进行异常帧判断，并且可以在帧间对准中使用针对异常帧判断所获得的图像特征。这样，共通地使用图像特征来进行异常帧判断和帧间对准可以提高处理效率。
如上所述，根据第二实施例，图像形成设备10在排除异常帧之后进行帧间对准。这样防止了对无需经过对准的帧(异常帧)执行对准。在帧间对准中，可以排除固视微动或眨眼等的影响。此外，由于在对准之后进行使用基准帧的异常帧判断，因此可以更加正确地计算相对于基准帧的位移量，并且判断异常帧。这样使得能够自动形成包括所需数量的帧和适合观察/测量的区域的SLD运动图像Df。
第三实施例
图11是示出根据第三实施例的图像形成设备10的功能结构的示例的框图。第三实施例的图像形成设备10与第二实施例的图像形成设备10(图8)的不同之处在于：设置了脉冲数据获得单元150，图像形成方法改变单元132不包括异常帧替换方法指示单元1322，并且附加包括亮度校正单元136和连接单元138。更具体地，图像获得单元110重复拍摄同一摄像位置处的SLO运动图像(SLO运动图像Dn(n＝1,2,...,n5))，并且同时，脉冲数据获得单元150获得如脉波那样的生物信号数据(脉冲数据)作为脉冲数据Pn。亮度校正单元136从各SLO运动图像Dn中提取最长的帧序列(子运动图像Snl)，并且调整各子运动图像Snl之间的亮度。此外，连接单元138参考脉冲数据Pn来连接经过了亮度调整的子运动图像Snl，由此形成包括观察/测量所需的区域和帧数的SLO运动图像Df。利用该结构，可以自动形成包括所需区域(空间大小)并且能够进行较长时间的观察/测量的SLO运动图像Df。
图12示出根据本实施例的摄像系统的结构的示例。第三实施例中的摄像系统与第二实施例(图2)的不同之处在于脉冲数据获得设备50连接至LAN30。脉冲数据获得设备50用于获得自主改变的生物信号数据(脉冲数据)，并且包括例如脉搏计或心电图仪。在本实施例中，使用脉搏计。响应于操作员(未示出)所进行的操作，脉冲数据获得设备50获得脉冲数据Pn和SLO运动图像Dn，并将所获得的脉冲数据Pn发送至图像形成设备10和数据服务器40。
根据第三实施例的图像形成处理的过程如图9所示。除步骤S910、S920和S930以外的步骤的操作与第二实施例中的操作相同。以下将说明步骤S910、S920和S930中的处理。
<步骤S910>图像获得单元110请求SLO设备20获得通过在同一检查内进行几次摄像操作所获得的SLO运动图像Dn、以及固视目标位置F。在本实施例中，将固视目标位置设置在黄斑区域的旁中央凹以获得SLO运动图像Dn。注意，在本实施例中，Tn表示最终要形成的SLO运动图像Df的帧数。摄像位置和摄像位置设置方法不限于此，并且可以将摄像位置设置在任意位置处。
响应于从图像获得单元110输出的获得请求，SLO设备20获得SLO运动图像Dn和固视目标位置F，并且发送这两者。图像获得单元110经由LAN30从SLO设备20接收到SLO运动图像Dn和固视目标位置F。图像获得单元10将所接收到的SLO运动图像Dn和固视目标位置F存储在存储单元120中。
<步骤S920>对准单元134从存储单元120读取SLO运动图像Dn，并对这些SLO运动图像Dn进行帧间对准。在本实施例中，基准帧设置方法不同于第二实施例中的基准帧设置方法，并且使用最初拍摄到的SLO运动图像D1中的基准帧作为其它的SLO运动图像D2～Dn中的对准所用的基准帧。
注意，基准帧设置方法不限于此，并且可以使用任意的设置方法。例如，可以使用以下的设置方法。
处理P1：利用与第二实施例相同的方法对各SLO运动图像Dn进行帧间对准，并且进行异常帧判断。
处理P2：在处理P1之后，将包括最小数量的异常帧的SLO运动图像Dn中的基准帧设置为其它的SLO运动图像中的基准帧。
处理P3：对于其它的SLO运动图像，使用处理P2中所设置的基准帧来再次进行对准处理。
<步骤S930>图像形成方法改变单元132从异常帧判断单元131获得各SLO运动图像Dn的异常帧编号列表。如果在各SLO运动图像Dn中不存在异常帧，则基于从脉冲数据获得单元150所获得的脉冲数据Pn，图像形成单元130从预先指定的脉冲数据的相位起按脉冲数据的周期选择最大帧数，由此生成子运动图像Snl。然后，该单元130基于摄像时刻按时间顺序连接子运动图像Snl。如果所连接的运动图像的帧数等于或大于Tn，则单元130从所连接的运动图像的开头起提取Tn个帧，并且添加图像头(属性信息)，由此形成观察/测量所用的SLO运动图像Df。如果所连接的运动图像的帧数小于Tn，则该单元130显示用以再次进行摄像操作或继续摄像操作的警告。另一方面，如果SLO运动图像Dn包括异常帧，则图像形成方法改变单元132改变图像形成方法以不包括异常帧，并且形成观察/测量所用的SLO运动图像Df。
将参考图13和图14所示的流程图来详细说明步骤S930中所执行的图像形成处理。
<步骤S1310>图像形成方法改变单元132从异常帧判断单元131接收异常帧编号列表。如果存在一个或多个异常帧，则处理进入步骤S1320。另一方面，如果不存在异常帧，则处理进入步骤S1330。
<步骤S1320>图像选择单元1321从包括异常帧的SLO运动图像Dn选择子运动图像Dnl。参考图14，白色部分表示通过重复进行摄像操作所获得的SLO运动图像D1～D4的正常帧，并且灰色(阴影)部分表示异常帧。在图14的最上部中，示出摄像操作时所获得的脉冲数据。由于在拍摄各SLO运动图像Dn的操作开始时开始获得脉冲数据，因此与各SLO运动图像的初始帧相对应的脉冲数据的相位彼此不同。图像选择单元1321从各SLO运动图像Dn中选择不包含异常帧的最长帧序列作为子运动图像Dnl。在图14中，选择子运动图像D1l、D2l、D3l和D4l。
<步骤S1330>亮度校正单元136调整子运动图像Dnl之间的亮度。在本实施例中，该单元136获得各子运动图像Dnl的直方图，并且对除亮度特性最接近通过拍摄模型眼所获得的亮度平均值Ga和亮度方差值Ja的子运动图像Dnl以外的子运动图像的亮度值进行线性变换，以使得这些亮度值与子运动图像Dnl的亮度平均Gn和亮度方差Jn一致。
注意，亮度调整方法不限于此，并且可以使用任意的亮度调整方法。例如，各子运动图像的亮度值可以经过线性变换，以使其亮度平均值和亮度方差值与通过拍摄模型眼所获得的亮度平均值Ga和亮度方差值Ja一致。
可选地，
·可以使用已知的血管提取方法来从各SLO运动图像Dn中提取血管区域Vn，并且
·可以生成限于血管区域Vn的直方图Kvn，然后可以调整亮度值，以使得基于直方图Kvn所计算出的亮度统计量(平均值和方差)与便于进行血管区域Vn的识别的特定值(Gv和Jv)一致。
<步骤S1340>基于连同最长的子运动图像Dnl所获得的脉冲数据Pn，连接单元138提取子运动图像Snl并连接这些子运动图像。在本实施例中，将脉波信号值的峰间隔设置为一个周期，并且基于摄像时刻按时间顺序连接从子运动图像Dnl中以周期为单位所提取的最长的子运动图像Snl(以下称为子运动图像Cn)。也就是说，按C1+C2+C3+C4的顺序连接从子运动图像D1～D4所提取的子运动图像C1～C4，由此形成新的SLD运动图像D。注意，尽管在本实施例中使用脉冲数据的峰位置，但可以使用脉冲数据的任意相位来连接运动图像。
如果通过连接子运动图像所获得的新的SLO运动图像D的帧数等于或大于Tn，则从所连接的SLO运动图像D的开头起提取Tn个帧，并且向这些帧添加图像头(属性信息)以形成观察/测量所用的SLO运动图像Df。另一方面，如果通过连接子运动图像所获得的新的SLO运动图像D的帧数小于Tn，则显示用以再次进行摄像操作的警告。
注意，提取子运动图像Cn的方法不限于此，并且可以使用任意方法。例如，原样使用子运动图像D1l作为子运动图像C1，并且通过将脉冲数据的相位与子运动图像C1的最后帧相对应的帧设置为子运动图像C2的开始帧，来针对子运动图像D2l提取子运动图像C2。也就是说，根据子运动图像Cn-1的最后帧中所包括的脉冲数据的相位来设置子运动图像Cn的开始帧，并且根据子运动图像Dnl的最后帧中所包括的脉冲数据的相位来设置子运动图像Cn的最后帧，由此进行提取处理。尽管在图14中SLO运动图像D1～D4是单独的运动图像，但如上所述，可以针对一个SLO运动图像提取帧序列并进行连接，由此获得所需长度的运动图像。
如上所述，根据第三实施例，图像形成设备10从通过重复进行摄像操作所获得的各SLO运动图像Dn中提取包括不包含异常帧的最长帧序列的子运动图像Dnl。亮度校正单元136调整子运动图像Dnl之间的亮度。连接单元138基于脉冲数据的相位来从经过了上述亮度调整操作的子运动图像Dnl中提取部分图像Cn，以进行连接操作。然后，连接单元138连接所提取的部分图像Cn以形成包括观察/测量所需的区域和帧数的SLO运动图像Df。利用该结构，可以自动形成包括所需区域(空间大小)并且能够进行较长时间的观察/测量的SLO运动图像Df。
第四实施例
在第四实施例中，在利用SLO设备20获得SLO图像时进行异常帧判断。指示SLO设备20继续摄像操作，直到不包含异常帧的连续帧序列Sl包括预定数量Tn的帧为止，由此形成包括观察/测量所需的帧数Tn的SLO运动图像Df。利用该结构，可以高速自动形成不包括异常帧或经过了图像插值的帧、而包括观察/测量所需的区域(空间大小)和帧数(时间)的SLO运动图像Df。
图15是示出根据第四实施例的图像形成设备10的功能框图。第四实施例中的图像形成设备10与第二实施例中的图像形成设备10(图8)的不同之处在于：代替异常帧替换方法指示单元1322，图像形成方法改变单元132包括摄像指示单元1323。根据第四实施例的图像形成处理的过程如图16所示。步骤S1670的处理与第二实施例的处理(图9的步骤S960)相同。以下将说明第四实施例中的各处理。
<步骤S1610>图像获得单元110请求SLO设备20获得SLO运动图像D和固视目标位置F。响应于来自图像获得单元110的请求，SLO设备20拍摄SLO运动图像D的帧Di。
更具体地，响应于来自图像获得单元110的获得请求，SLO设备20获得固视目标位置F和SLO运动图像D的帧Di，并且发送这两者。注意，可以仅在获得第一帧D1时获得并发送固视目标位置F。图像获得单元110经由LAN30从SLO设备20接收帧Di和固视目标位置F。图像获得单元110将所接收到的Di和固视目标位置F存储在存储单元120中。此外，图像形成单元130向连续的非异常帧序列的帧计数Nsk的值加上1。注意，在开始图16的处理之前，已将帧计数Nsk初始化为0。
<步骤S1620>对准单元134对步骤S1610中所接收到的SLO运动图像D的一帧进行对准和异常帧判断。注意，后面将参考图17所示的流程图来说明步骤S1620中的处理。
<步骤S1630>图像形成方法改变单元132从异常帧判断单元131接收表示步骤S1610中所接收到的帧是否是异常帧的判断结果。如果步骤S1610中所接收到的SLO运动图像的帧是异常帧，则处理进入步骤S1640；否则，处理进入步骤S1650。
<步骤S1640>如果在步骤S1630中判断为帧是异常帧，则图像形成方法改变单元132在连续的非异常帧序列(子运动图像)的帧计数Nsk中设置0，并且使处理进入步骤S1650。如果没有判断为帧Di是异常帧，则处理直接进入步骤S1650。
<步骤S1650>图像形成方法改变单元132参考非异常帧序列的帧计数Nsk。如果Nsk≥Tn，则摄像指示单元1323经由图像获得单元110指示SLO设备20以终止摄像操作，并且使处理进入步骤S1660。另一方面，如果非异常帧序列的帧计数Nsk小于Tn，则摄像指示单元1323经由图像获得单元110指示SLO设备20以继续摄像操作或再次进行摄像操作。
<步骤S1660>图像形成单元130向所获得的非异常帧序列添加头部，并形成观察/测量所用的SLO运动图像Df。将所形成的SLO运动图像Df存储在数据服务器40中。
<步骤S1670>步骤S1670的处理与步骤S460(图4)或S960(图9)的处理相同。
将参考图17所示的流程图来详细说明步骤S1620中所执行的对准处理。
<步骤S1710>异常帧判断单元131使用所获得的SLO运动图像D的一个帧Di来进行异常判断。具体的异常判断方法与第二实施例中的异常判断方法(图10的步骤S1010)相同。如果所获得的SLO运动图像D的帧Di是异常帧，则不设置基准帧编号。
<步骤S1720>基准区域设置单元1312参考基准帧编号。如果设置了基准帧编号，则处理进入步骤S1740；否则，处理进入步骤S1730。
<步骤S1730>如果所获得的SLO运动图像D的帧Di不是异常帧，则将帧Di设置为基准帧，由此终止对准处理。另一方面，如果帧Di是异常帧，则对准处理结束，而无需执行任何处理。
<步骤S1740>对准单元134进行基准帧和SLO运动图像D的帧Di(非异常帧)之间的对准。作为具体的对准方法，仅需使用第二实施例的步骤S1030和S1040中所述的对准方法来对一个帧执行对准处理。注意，对准方法不限于此。例如，可以省略精细对准处理以提高对准处理的速度。
<步骤S1750>对步骤S1740中经过了对准的帧Di进行异常帧判断。作为具体的异常帧判断方法，仅需对一个帧执行第二实施例的步骤S1050中所述的异常帧判断处理。
如上所述，根据第四实施例，图像处理设备10针对各帧进行利用SLO设备20获得帧Di并进行异常帧判断的操作。如果非异常帧序列的帧数小于预定帧数Tn，则图像形成设备10指示SLO设备20继续摄像操作，由此拍摄下一帧。在非异常帧序列的帧数达到观察/测量所需的预定帧数Tn的情况下，图像形成设备10形成SLO运动图像Df。利用该结构，可以以高速自动形成不包括异常帧或经过了图像插值的帧、而包括观察/测量所需的区域(空间大小)和帧数(时间)的SLO运动图像Df。
如上所述，根据上述各实施例，可以自动形成不包括不适合组织/细胞/病变的观察/测量的异常帧、而包括观察/测量所需的区域和帧数的SLO运动图像。
其它实施例
尽管在上述实施例中生成了包括不包含异常帧的连续帧的帧序列，但可以基于设置信息来根据需要改变帧频，以满足医生、病例或要诊断的部位所需的帧频。例如，图像形成单元130可以通过根据设置信息对一些帧进行间隔剔除来减小帧频。图像形成单元130还可以通过根据设置插入帧来增大帧频。
在上述实施例中生成了不包含异常帧的帧序列。如果由于如图5C所示的固视差异而导致能够进行观察/测量处理的区域对于所有帧均变小(图5D)，则可以生成包括区域已变小的帧的运动图像。对于上述实施例中所获得的、第一帧序列和第二帧序列之间的异常帧组，图像形成单元130判断异常帧的原因是否是可测量区域由于固视差异等而已变小。如果原因是区域已变小，则图像形成单元130将区域已变小的第三帧序列插入第一帧序列和第二帧序列之间。然后，该单元130将第一帧序列～第三帧序列连接以形成运动图像。图像形成设备10将所生成的运动图像显示在监视器305上。上述处理使得能够在确保运动图像的时间连续性的同时，向用户呈现观察/测量所需的区域。
尽管已经详细说明了这些实施例，但本发明还可采用例如系统、设备、方法、程序或存储介质的形式的实施例。更具体地，本发明可以应用于由多个装置构成的系统、或者包括一个装置的设备。
还可以通过读出并执行记录在存储器装置上的程序以进行上述实施例的功能的系统或设备的计算机(或者CPU或MPU等装置)和通过下面的方法来实现本发明的各方面，其中，系统或设备的计算机通过例如读出并执行记录在存储器装置上的程序以进行上述实施例的功能来进行上述方法的各步骤。由于该原因，例如经由网络或者通过用作存储器装置的各种类型的记录介质(例如，计算机可读介质)将该程序提供给计算机。
尽管已经参考典型实施例说明了本发明，但是应该理解，本发明不限于所公开的典型实施例。所附权利要求书的范围符合最宽的解释，以包含所有这类修改、等同结构和功能。
本申请要求2012年2月20日提交的日本专利申请2012-034538的优先权，在此通过引用包含其全部内容。
Claims (16)
1.一种图像形成设备，包括：
判断部件，用于基于眼部的运动图像的多个帧中的各帧的图像特征来判断所述多个帧中的异常帧；以及
生成部件，用于通过提取帧序列来生成新的运动图像，其中该帧序列包括以不包括所述判断部件所判断出的异常帧的方式所提取的帧。
2.根据权利要求1所述的图像形成设备，其中，
所述图像特征包括亮度、失真量和信噪比中的至少一个。
3.根据权利要求1或2所述的图像形成设备，其中，
所述判断部件基于相对于针对所述多个帧中的一个帧所设置的基准区域的位移量，来判断异常帧。
4.根据权利要求3所述的图像形成设备，其中，
所述基准区域是整个所述一个帧、或者是由所述一个帧的图像处理或用户所指定的部分。
5.根据权利要求1至4中任一项所述的图像形成设备，其中，还包括：
对准部件，用于对所述多个帧进行帧间对准，
其中，所述判断部件基于通过所述帧间对准所获得的图像特征或者从经过了对准的帧所获得的图像特征，来判断异常帧。
6.根据权利要求5所述的图像形成设备，其中，
所述判断部件在所述帧间对准之前执行基于单个帧的图像特征的异常判断，并且在所述帧间对准之后执行基于帧之间的图像特征的差的异常判断。
7.根据权利要求1至6中任一项所述的图像形成设备，其中，
所述生成部件从所述多个帧中提取不包含异常帧的最长的连续帧序列。
8.根据权利要求7所述的图像形成设备，其中，
在所述最长的连续帧序列没有包括预定数量的帧的情况下，所述生成部件使用已被判断为异常帧的帧的前后的非异常帧来生成插值帧，并且使用所述插值帧作为非异常帧来生成包括所述预定数量的帧的连续帧序列。
9.根据权利要求1至6中任一项所述的图像形成设备，其中，
在获得各自包括数量超过预定数量的帧的多个帧序列的情况下，所述生成部件使用如下帧序列来生成新的运动图像，其中该帧序列的帧之间的位移量的统计量最小。
10.根据权利要求1至6中任一项所述的图像形成设备，其中，
所述运动图像与基于拍摄所述运动图像时所获得的生物信号的脉冲数据相关联，以及
所述生成部件通过在所述脉冲数据的相位彼此一致的位置处将各自包括不包含异常帧的连续帧的帧序列相连接，来形成所述新的运动图像。
11.根据权利要求1至6中任一项所述的图像形成设备，其中，还包括：
指示部件，用于在所述生成部件所提取的帧序列的帧数小于预定数量的情况下，再次进行摄像操作或继续摄像操作。
12.一种与眼部的运动图像有关的图像形成设备，包括：
判断单元，用于基于所获得的运动图像的相对于基准区域的位移量来判断所述运动图像的异常帧；以及
改变部件，用于基于所述判断部件所判断出的异常帧来改变运动图像形成方法。
13.一种用于图像形成设备的图像形成方法，包括以下步骤：
判断步骤，用于基于眼部的运动图像的多个帧中的各帧的图像特征来判断所述多个帧中的异常帧；以及
通过提取帧序列来生成新的运动图像，其中该帧序列包括以不包括所述判断步骤中所判断出的异常帧的方式所提取的帧。
14.一种用于与眼部的运动图像有关的图像形成设备的图像形成方法，包括以下步骤：
判断步骤，用于基于所获得的运动图像的相对于基准区域的位移量来判断所述运动图像的异常帧；以及
基于所述判断步骤中所判断出的异常帧来改变运动图像形成方法。
15.一种程序，用于使计算机用作根据权利要求1至12中任一项所述的图像形成设备的各部件。
16.一种存储有程序的计算机可读存储介质，所述程序用于使计算机用作根据权利要求1至12中任一项所述的图像形成设备的各部件。
Applications Claiming Priority (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2012-034538 | 2012-02-20 | ||
| JP2012034538A JP5947561B2 (ja) | 2012-02-20 | 2012-02-20 | 画像形成装置及び画像形成方法 |
| PCT/JP2013/054066 WO2013125547A1 (en) | 2012-02-20 | 2013-02-13 | Image forming apparatus and image forming method |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN104135910A true CN104135910A (zh) | 2014-11-05 |
| CN104135910B CN104135910B (zh) | 2017-05-24 |
Family
ID=49005731
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201380010145.3A Expired - Fee Related CN104135910B (zh) | 2012-02-20 | 2013-02-13 | 图像形成设备和图像形成方法 |
Country Status (4)
| Country | Link |
|---|---|
| US (1) | US10791920B2 (zh) |
| JP (1) | JP5947561B2 (zh) |
| CN (1) | CN104135910B (zh) |
| WO (1) | WO2013125547A1 (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110309915A (zh) * | 2019-07-05 | 2019-10-08 | 中国人民解放军国防科技大学 | 基于直方图的神经元定位异常图层处理方法、系统及介质 |
Families Citing this family (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US10492681B2 (en) | 2013-12-03 | 2019-12-03 | Canon Kabushiki Kaisha | System and method of blink detection for an adaptive optics system |
| JP6463047B2 (ja) | 2014-09-05 | 2019-01-30 | キヤノン株式会社 | 眼科装置及び眼科装置の作動方法 |
| JP6463048B2 (ja) | 2014-09-05 | 2019-01-30 | キヤノン株式会社 | 画像処理装置及び画像処理装置の作動方法 |
| JP6470604B2 (ja) | 2015-03-25 | 2019-02-13 | キヤノン株式会社 | 画像処理装置及び画像処理方法及びプログラム |
| EP3216387B1 (en) | 2016-03-10 | 2018-10-10 | Canon Kabushiki Kaisha | Method and system for motion artefacts removal in optical coherence tomograpy |
| US9867538B2 (en) | 2016-03-21 | 2018-01-16 | Canon Kabushiki Kaisha | Method for robust eye tracking and ophthalmologic apparatus therefor |
| JP6747227B2 (ja) * | 2016-09-30 | 2020-08-26 | 株式会社ニデック | 眼底画像観察プログラム |
| JP6825292B2 (ja) * | 2016-09-30 | 2021-02-03 | 株式会社ニデック | 眼底画像観察プログラム |
| US10973406B2 (en) | 2018-03-06 | 2021-04-13 | Canon Kabushiki Kaisha | Image processing apparatus, image processing method, and non-transitory computer readable medium |
| KR102521408B1 (ko) * | 2018-08-27 | 2023-04-14 | 삼성전자주식회사 | 인포그래픽을 제공하기 위한 전자 장치 및 그에 관한 방법 |
| EP3858227A1 (en) * | 2020-01-29 | 2021-08-04 | AM2M Spolka z Organiczona Odpowiedzialnoscia Spolka Komandytowa | A method and apparatus for determination of a trajectory and imaging device |
| JP2022068892A (ja) * | 2020-10-23 | 2022-05-11 | 株式会社トプコン | 眼科観察装置、眼科画像処理装置、眼科画像処理方法、プログラム、及び記録媒体 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101043841A (zh) * | 2004-10-29 | 2007-09-26 | 奥林巴斯株式会社 | 图像处理方法及胶囊型内窥镜装置 |
| CN101483783A (zh) * | 2008-01-07 | 2009-07-15 | 日本电气株式会社 | 再现装置、再现系统、再现方法和及其记录介质 |
| JP2009183325A (ja) * | 2008-02-02 | 2009-08-20 | Calsonic Kansei Corp | 瞳孔位置検出装置 |
| CN102289805A (zh) * | 2011-06-10 | 2011-12-21 | 北京云加速信息技术有限公司 | 一种基于视频的地铁人群密度检测方法 |
Family Cites Families (24)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US7038736B2 (en) * | 2000-09-21 | 2006-05-02 | Canon Kabushiki Kaisha | Moving image processing apparatus and method, and computer readable memory |
| JP4133238B2 (ja) | 2002-11-11 | 2008-08-13 | 株式会社トプコン | 眼底画像処理方法 |
| JPWO2005086478A1 (ja) * | 2004-03-04 | 2008-01-24 | セイコーエプソン株式会社 | 動画像データ処理 |
| JP2005270364A (ja) * | 2004-03-25 | 2005-10-06 | Canon Inc | 眼科撮影装置 |
| US7805009B2 (en) * | 2005-04-06 | 2010-09-28 | Carl Zeiss Meditec, Inc. | Method and apparatus for measuring motion of a subject using a series of partial images from an imaging system |
| CN101309647B (zh) * | 2006-01-10 | 2013-03-20 | 株式会社东芝 | 超声波诊断装置和超声波图像生成方法 |
| JP4869757B2 (ja) * | 2006-03-24 | 2012-02-08 | 株式会社トプコン | 眼底観察装置 |
| JP4826485B2 (ja) * | 2007-01-25 | 2011-11-30 | ソニー株式会社 | 画像保存装置、画像保存方法 |
| JP2011520503A (ja) * | 2008-05-14 | 2011-07-21 | エージェンシー フォー サイエンス，テクノロジー アンド リサーチ | 自動陥凹乳頭比測定システム |
| CA2749622A1 (en) * | 2009-01-15 | 2010-07-22 | Physical Sciences, Inc. | Adaptive optics line scanning ophthalmoscope |
| JP2011010275A (ja) | 2009-05-26 | 2011-01-13 | Sanyo Electric Co Ltd | 画像再生装置及び撮像装置 |
| JP4909378B2 (ja) | 2009-06-02 | 2012-04-04 | キヤノン株式会社 | 画像処理装置及びその制御方法、コンピュータプログラム |
| JP5390942B2 (ja) | 2009-06-03 | 2014-01-15 | 富士フイルム株式会社 | 超音波診断装置及び信号処理プログラム |
| JP5582772B2 (ja) | 2009-12-08 | 2014-09-03 | キヤノン株式会社 | 画像処理装置及び画像処理方法 |
| JP5208145B2 (ja) | 2010-02-15 | 2013-06-12 | キヤノン株式会社 | 断層像撮影装置、断層像撮影方法法、プログラム、及びプログラム記憶媒体 |
| JP5297415B2 (ja) * | 2010-04-30 | 2013-09-25 | キヤノン株式会社 | 眼科装置及び眼科方法 |
| JP4644304B1 (ja) * | 2010-05-11 | 2011-03-02 | 東海電子株式会社 | 飲酒状態検査装置 |
| JP5702991B2 (ja) | 2010-11-19 | 2015-04-15 | キヤノン株式会社 | 画像処理装置及び画像処理方法 |
| JP5904711B2 (ja) | 2011-02-01 | 2016-04-20 | キヤノン株式会社 | 画像処理装置、画像処理方法およびプログラム |
| JP6025311B2 (ja) | 2011-08-01 | 2016-11-16 | キヤノン株式会社 | 眼科診断支援装置および方法 |
| JP5955163B2 (ja) | 2011-09-06 | 2016-07-20 | キヤノン株式会社 | 画像処理装置および画像処理方法 |
| JP6200168B2 (ja) | 2013-02-28 | 2017-09-20 | キヤノン株式会社 | 画像処理装置及び画像処理方法 |
| JP6092659B2 (ja) | 2013-02-28 | 2017-03-08 | キヤノン株式会社 | 画像処理装置及び画像処理方法 |
| JP6198410B2 (ja) | 2013-02-28 | 2017-09-20 | キヤノン株式会社 | 画像処理装置及び画像処理方法 |
-
2012
- 2012-02-20 JP JP2012034538A patent/JP5947561B2/ja not_active Expired - Fee Related
-
2013
- 2013-02-13 WO PCT/JP2013/054066 patent/WO2013125547A1/en active Application Filing
- 2013-02-13 US US14/366,357 patent/US10791920B2/en active Active
- 2013-02-13 CN CN201380010145.3A patent/CN104135910B/zh not_active Expired - Fee Related
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101043841A (zh) * | 2004-10-29 | 2007-09-26 | 奥林巴斯株式会社 | 图像处理方法及胶囊型内窥镜装置 |
| CN101483783A (zh) * | 2008-01-07 | 2009-07-15 | 日本电气株式会社 | 再现装置、再现系统、再现方法和及其记录介质 |
| JP2009183325A (ja) * | 2008-02-02 | 2009-08-20 | Calsonic Kansei Corp | 瞳孔位置検出装置 |
| CN102289805A (zh) * | 2011-06-10 | 2011-12-21 | 北京云加速信息技术有限公司 | 一种基于视频的地铁人群密度检测方法 |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110309915A (zh) * | 2019-07-05 | 2019-10-08 | 中国人民解放军国防科技大学 | 基于直方图的神经元定位异常图层处理方法、系统及介质 |
| CN110309915B (zh) * | 2019-07-05 | 2021-12-10 | 中国人民解放军国防科技大学 | 基于直方图的神经元定位异常图层处理方法、系统及介质 |
Also Published As
| Publication number | Publication date |
|---|---|
| US10791920B2 (en) | 2020-10-06 |
| JP5947561B2 (ja) | 2016-07-06 |
| CN104135910B (zh) | 2017-05-24 |
| US20140333749A1 (en) | 2014-11-13 |
| JP2013169309A (ja) | 2013-09-02 |
| WO2013125547A1 (en) | 2013-08-29 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN104135910A (zh) | 图像形成设备和图像形成方法 | |
| CN104125798B (zh) | 图像显示设备、图像显示方法和摄像系统 | |
| JP5979904B2 (ja) | 画像処理装置、眼科撮影システム、及び画像処理方法 | |
| JP6101048B2 (ja) | 画像処理装置及び画像処理方法 | |
| CN103908225B (zh) | 眼科设备和对准方法 | |
| EP2947623B1 (en) | Image generating device and image generating method | |
| US9351650B2 (en) | Image processing apparatus and image processing method | |
| US20130215388A1 (en) | Image processing apparatus, diagnostic support system, and image processing method | |
| EP2992814A1 (en) | Ophthalmologic apparatus and ophthalmologic apparatus control method | |
| JP2020089768A (ja) | 画像処理装置及び画像処理方法 | |
| US9974434B2 (en) | Ophthalmic imaging apparatus and image generation method therefor | |
| JP2015046019A (ja) | 画像処理装置、撮像装置、撮像システム、画像処理方法、プログラム、および、記憶媒体 | |
| JP2024003037A (ja) | 電子機器、電子機器の制御方法、プログラムおよび記憶媒体 | |
| US9971137B2 (en) | Image generation apparatus and image generation method | |
| US10674902B2 (en) | Information processing apparatus, operation method thereof, and computer program | |
| JP2016086842A (ja) | 画像処理装置及び画像処理方法 | |
| JP2019000728A (ja) | 眼底画像処理装置及び眼底画像処理方法、撮影システム | |
| JP6420859B2 (ja) | 画像表示装置及び画像表示方法、撮影システム | |
| JP2013252319A (ja) | 眼底カメラおよび眼底画像の撮影方法 | |
| JP7297566B2 (ja) | 画像処理装置、撮像装置、画像処理方法およびプログラム | |
| US20160317015A1 (en) | Information processing apparatus, operation method thereof, and computer program | |
| JP2017006491A (ja) | 眼科装置、制御方法及びプログラム |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| C10 | Entry into substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| CF01 | Termination of patent right due to non-payment of annual fee | ||
| CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20170524 |