CN107730545B - 一种动态消除鬼像的光学成像方法和系统 - Google Patents

一种动态消除鬼像的光学成像方法和系统 Download PDF

Info

Publication number
CN107730545B
CN107730545B CN201711090516.XA CN201711090516A CN107730545B CN 107730545 B CN107730545 B CN 107730545B CN 201711090516 A CN201711090516 A CN 201711090516A CN 107730545 B CN107730545 B CN 107730545B
Authority
CN
China
Prior art keywords
image
ghost
images
displacement
movement
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201711090516.XA
Other languages
English (en)
Other versions
CN107730545A (zh
Inventor
彭先兆
黄炳杰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Svision Image Henan Technology Co ltd
Original Assignee
Svision Image Henan Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Svision Image Henan Technology Co ltd filed Critical Svision Image Henan Technology Co ltd
Priority to CN201711090516.XA priority Critical patent/CN107730545B/zh
Publication of CN107730545A publication Critical patent/CN107730545A/zh
Application granted granted Critical
Publication of CN107730545B publication Critical patent/CN107730545B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B3/00—Apparatus for testing the eyes; Instruments for examining the eyes
    • A61B3/10—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B3/00—Apparatus for testing the eyes; Instruments for examining the eyes
    • A61B3/10—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions
    • A61B3/1025—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions for confocal scanning
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B3/00—Apparatus for testing the eyes; Instruments for examining the eyes
    • A61B3/10—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions
    • A61B3/12—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions for looking at the eye fundus, e.g. ophthalmoscopes
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B3/00—Apparatus for testing the eyes; Instruments for examining the eyes
    • A61B3/10—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions
    • A61B3/14—Arrangements specially adapted for eye photography
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Medical Informatics (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • Ophthalmology & Optometry (AREA)
  • General Health & Medical Sciences (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Geometry (AREA)
  • Eye Examination Apparatus (AREA)

Abstract

本发明公开了一种动态消除鬼像的光学成像方法和系统，包括：成像模块；图像识别分割模块，通过阈值方法确定眼睛图像中的鬼像区域；图像对比模块，利用两幅眼睛图像，通过特征匹配，计算出两幅图像的移动量；图像处理模块，根据移动量，提取两幅图像中由于鬼像掩盖的二维眼睛图像信息，消除鬼像。本发明可以消除用传统减背景方法难以消除的明亮鬼像；在很大的屈光范围内避免了鬼像的影响，实现高质量成像；降低了对形成鬼像的光学镜片的镀膜要求。

Description

一种动态消除鬼像的光学成像方法和系统
技术领域
本发明涉及用于二维成像的光学方法和系统，提出一种消除鬼像的方法，尤其涉及具有用于眼科诊疗检查功能的光学成像系统。
背景技术
目前，有多种用于眼科诊疗检查的光学成像系统，例如：眼底照相机(funduscamera)、共聚焦扫描激光眼底镜(Confocal Scanning Laser Ophthalmoscope,cSLO)、线扫描激光眼底镜(Line Scan Ophthalmoscope,LSO)。以上这些光学成像系统，均是将一个光源发射出来的照明光经过一个或多个光学透镜或元件照射到被检测物体上，这些光在被检测物体表面反射，又经过一个或多个光学透镜或元件，返回到探测器上被收集记录。随着用于眼科诊疗检查的光学成像系统和技术的发展，为了得到更广的光学成像视野以及更好的光学成像分辨率，光学成像系统中所使用的光学透镜或元件数量越来越多。系统中的光源发射出的光在光学透镜或元件的表面总会有一定的反射。当光学透镜或元件的表面和探测器互为光学共轭镜像时，这些透镜或元件表面的反射光会被探测器所收集，和眼睛的反射光叠加在一起，形成鬼像，干扰用于眼科诊疗检查的二维光学图像结果。
在眼底相机中，被检测眼底表面位置和探测器在光学成像系统中互为光学共轭镜像。探测器收集到对应被检测物体表面各处的二维反射或散射光强度分布，从而得到被检测物体的二维表面结构图像。眼底相机对杂散光十分敏感，尤其是来自角膜的杂散光。为消除角膜的杂散光，除了所有镜片镀增透膜以外，眼底相机的照明光通常设计成在人眼瞳孔上形成一个环形，探测光路的光瞳则通过环形照明光的中心部分并且避免与环形照明光重合。这样的设计可以很好的抑制角膜反射。但是照明光线，通过镜面上的剩余反射，仍然可以形成明亮的鬼像。所以，眼底相机的系统中，需要在成像光路中增加位于光轴上的黑点板来遮挡来自镜面中心的反射。(参考文献：Edward DeHoog,James Schwiegerling，Funduscamera systems:a comparative analysis，Applied Optics，Vol.48,No.2，221(2009)；Edward DeHoog,James Schwiegerling，Optimal parameters for retinal illuminationand imaging in fundus cameras，Applied Optics，Vol.47,No.36，6769(2008)
与眼底相机不同，线扫描激光眼底镜采用一个一维线阵探测器，另一个维度上则使用一个振镜进行扫描。(参考文献：US Patent US8085408“Spectral Domain OpticalCoherence Topography System”2011)通常沿一维线阵探测器方向上，来自离焦面的杂散光收集效率大大低于来自焦面的光线，因而系统受杂散光影响较小，图像较眼底相机对比度高。但离焦的杂散光在一维线阵探测器方向上仍然可以通过，在这一维度，其杂散光的问题与眼底相机类似。
共聚焦扫描激光眼底镜则是采用点扫描的方式。光学系统中在探测器前有一个针孔。被检测眼底表面位置和针孔在光学成像系统中互为光学共轭镜像。通过扫描一对二维振镜，完成对被检测眼底的二维成像。由于采用了共聚焦的设计，焦面以外的光线大部分被针孔阻挡，因此可以很好地抑制杂散光，图像比线扫描激光眼底镜有更高的对比度。角膜反射通常不是影响系统的主要因素。在这类系统中，主要的来源是镜面中心的反射，特别是所用的光源强度很大或系统探测灵敏度极高的情况下。很多共聚焦扫描激光眼底镜系统在中心视场的位置会有一个亮斑。例如，文献：Francesco LaRocca,Al-Hafeez Dhalla,MichaelP.Kelly,Sina Farsiu,and Joseph A.Izatta,“Optimization of confocal scanninglaser ophthalmoscope design”Journal of Biomedical Optics,Vol.18(7),076015,(2013)；与Robert H.Webb,George W.Hughes,and Francois C.Delori,Confocalscanning laser ophthalmoscope,Applied Optics,Vol.26,No.8,1492(1987)
为进一步减小或消除共聚焦扫描激光眼底镜系统在中心视场的亮斑，一种办法是在光学设计中，尽量避免光学透镜或元件的表面和探测器形成光学共扼镜像。但随着光学系统复杂程度的提高，光学设计的难度也极大的提高。例如，专利申请(申请号201711018788.9)“一种共聚焦扫描激光眼底镜”，通过逐一优化光路中透镜曲率的方法，得到尽可能低的中心反射。在实施例中，大部分的使用情况下，中心鬼像不是一个严重的问题，残留的中心鬼像可以通过简单的减背景的方式去除。但是，对于近视的患者，扫描镜与中间相面向目镜位置移动，对于高度近视患者，当中间相面十分靠近目镜时，目镜表面中心的反射仍然可以在图像中造成一个明亮的反射斑(中心鬼像)。这个中心亮斑常常超出探测器的测量范围，图像无法通过通常减背景的方式来去除中心亮斑。
发明内容
发明目的：为了解决现有技术存在的问题，减少鬼像对眼科诊疗检查或基于二维探测器成像的影响，本发明提供一种动态消除鬼像的光学成像方法。
本发明的另一目的是提供一种动态消除鬼像的光学成像系统。
技术方案：一种动态消除鬼像的光学成像方法，包括以下步骤：
(1)对同一待测目标进行成像采集，获取至少两幅图像数据，在获取不同的图像数据的过程中，目标与成像采集模块之间存在相对运动，不同图像之间存在位移和/或旋转的变化；
(2)取其中一幅图像为第一图像，确定第一图像中的鬼像区域的绝对位置与大小；
(3)再选取另外一幅图像作为第二图像，通过对第一图像与第二图像进行特征匹配，计算出第二图像相对于第一图像的移动量，所述移动量包括位移量和旋转角度；
(4)将第一图像按照所述移动量进行变换得到移动后图像，在移动后图像中选择位于鬼像区域的绝对位置处的部分，该部分的大小即鬼像区域的大小，将该部分拼接到第二图像中的鬼像区域处，得到消除鬼像后的图像。
优选的，步骤(2)还包括根据鬼像区域的大小设定移动阈值，第一图像与第二图像的选择满足位移量大于移动阈值的条件。
优选的，所述移动阈值不小于鬼像区域的最小外接圆的直径。
优选的，选择第一图像、第二图像的具体方法为：
(a)建立先进先出FIFO队列，所述队列中缓存N幅图像，将第零幅图像到第N-1幅图像分别记为M0，M1，M2，……，MN-1；
(b)当一幅新的图像MN被接收到时，通过特征匹配，计算图像MN相对于前一幅图像MN-1的相对移动位移量：
把坐标系固定于目标之上，通过特征匹配，设图像MN相对于MN-1的旋转角度为
Figure BDA0001461076130000033
位移量为(ΔxN,ΔyN),则图像MN-1中的鬼像坐标(xN-1,yN-1)在图像MN的坐标系中变为：
Figure BDA0001461076130000031
图像MN相对于MN-1的位移量ΔrN为：
Figure BDA0001461076130000032
(c)比较位移量ΔrN与移动阈值，若位移量ΔrN大于或等于移动阈值，则选择图像MN作为第二图像，选择图像MN-1作为第一图像；若位移量ΔrN小于移动阈值，则将图像MN与图像MN-2进行特征匹配，重复步骤(b)、(c)，直到找到位移量ΔrN大于或等于移动阈值的图像，或耗尽队列中所有图像；若耗尽队列中所有图像而未找到位移量ΔrN,k大于或等于移动阈值的图像，则图像MN不做修正。
(d)依先进先出原则，更新缓存队列。
这种方法计算简单，只要计算机有足够的运算能力，尽管每一幅显示的图像由多于一张图像合成，但是图像帧率并不受到影响。但因为当前图像需要与队列中的图像依次进行特征匹配，运算量较大。极端情况下，对于每一副新采集图像，需进行N次图像配准计算，效率不是很高。所以提出另一种优选第一图像、第二图像的方法：
(a)建立先进先出FIFO队列，所述队列中缓存N幅图像，将第零幅图像到第N-1幅图像分别记为M0，M1，M2，……，MN-1；
(b)对于第零幅图像，计算鬼像在图像M0的坐标系中的坐标，或获取提前标定好的鬼像位置，记为(x0,y0)；
(c)对于队列中第一幅图像M1到第N-1幅图像MN-1，通过特征匹配，计算图像Mk与前一副图像Mk-1的旋转角度与位移量，并进一步计算出鬼像在图像Mk坐标系中的坐标：
Figure BDA0001461076130000041
其中，k＝1,2,3,......N-1；
建立对应关系:
图像M0：
Figure BDA0001461076130000042
图像M1：
Figure BDA0001461076130000043
图像M2：
Figure BDA0001461076130000044
……
图像MN-1：
Figure BDA0001461076130000045
Figure BDA0001461076130000046
分别为图像Mk相对于图像Mk-1的旋转角度、横坐标移动量、纵坐标移动量及鬼像在Mk坐标系中的横坐标值和纵坐标值；
(d)当一幅新的图像MN被接收到时，图像MN的各个参数
Figure BDA0001461076130000047
亦根据(c)中的方法算出；
(e)从(c)中所述对应关系中查找xN-1,yN-1，计算图像MN相对于MN-1的位移量ΔrN，N-1为：
Figure BDA0001461076130000048
(f)MN作为第二图像，比较位移量ΔrN，N-1与移动阈值，若位移量ΔrN，N-1大于或等于移动阈值，则选择图像MN-1作为第一图像；若位移量ΔrN，N-1小于移动阈值，则从所述对应关系中查找xN-2、yN-2，继续计算图像MN相对于MN-2的位移量ΔrN，N-2，重复步骤(e)、(f)，直到找到位移量ΔrN,k大于或等于移动阈值的图像，将Mk作为第一图像，或耗尽队列中所有图像；若耗尽队列中所有图像而未找到位移量ΔrN,k大于或等于移动阈值的图像，则图像MN不做修正。
(g)依先进先出原则，更新缓存队列。
该方法可以提高计算效率。当一幅新的图像，记为第N幅，被接受时，不必针对缓存队列中的每一幅图像重新做耗时的图像配准计算。当所述队列建立时，通过特征匹配，所有图像相对于前一幅图像的移动位移量被计算出。当一幅新的图像被接受时，只计算新的图像与缓存队列中的最后一幅图像的相对移动位移量。
优选的，步骤(2)中，确定鬼像区域的绝对位置与大小采用阈值判断方法在第一图像中获取；或提前在背景图像中标定，背景图像在对待测目标采集图像之前获取。
优选的，阈值判断方法中的阈值由用户定义或由算法根据图像特征自动进行计算。
一种动态消除鬼像的光学成像系统，包括成像模块、图像对比模块、图像缓存模块、图像处理模块；
所述成像模块用于采集获取目标图像数据；
所述图像对比模块用于对两幅图像进行特征匹配，计算两幅图像的移动量；
所述图像缓存模块用于将连续获取的图像缓存于物理或软件内存中；
所述图像处理模块用于根据移动量提取两幅图像中由于鬼像掩盖的二维眼睛图像信息；并通过拼接，消除鬼像，得到完整图像。
优选的，还包括图像识别分割模块，所述图像识别分割模块用于确定目标图像中的鬼像区域的绝对位置和大小。图像分割识别模块的作用就是采用阈值判断方法在图像中获取鬼像区域的绝对位置和大小，若鬼像区域的绝对位置和大小是从背景图像里提前标定好的，则不需要图像识别分割模块。
优选的，所述成像模块包括眼前照相机、眼底照相机、共聚焦扫描激光眼底镜cSLO系统，线扫描激光眼底镜LSO系统中的一种或多种。
有益效果：本发明提供的一种动态消除鬼像的光学成像方法和系统，相比较现有技术，可以消除用传统减背景方法难以消除的明亮鬼像；在很大的屈光范围内避免了鬼像的影响，实现高质量成像；降低了对形成鬼像的光学镜片的镀膜要求；尽管每一幅图像根据至少两幅图像计算出，但由于采用图像缓存技术或者模块，只要计算硬件有足够的运算速度，图像帧率不会降低。
附图说明
图1为本发明实施例动态消除鬼像的光学成像系统的主要模块的方框图；
图2为本发明实施例中所使用的cSLO成像系统的结构图；
图3(a)为cSLO成像系统获得的视网膜图像；
图3(b)为将图3(a)图像中的鬼像区域内的像素强度值置零后的图像；
图4(a)为cSLO成像系统获得的两幅有相对移动的视网膜图像中的第一图像；
图4(b)为cSLO成像系统获得的两幅有相对移动的视网膜图像中的第二图像；
图5为两幅有相对移动的视网膜图像经过图像处理消除鬼像的过程示意图。
具体实施方式
下面结合附图和具体实施例对本发明作进一步说明。
如图1所示，动态消除鬼像的光学成像系统，包括成像模块、图像识别分割模块、图像对比模块、图像缓存模块、图像处理模块；
所述成像模块用于采集获取目标图像数据；
所述图像识别分割模块用于确定目标图像中的鬼像区域；由于本实施例采用阈值判断方法在图像中获取鬼像区域的绝对位置和大小，所以系统中包含了图像识别分割模块；若鬼像区域的绝对位置和大小是提前在背景图像中标定得到的，则无需图像识别分割模块。
所述图像对比模块用于对两幅图像进行特征匹配，计算两幅图像的移动量；
所述图像缓存模块用于将连续获取的图像缓存于物理或软件内存中；
所述图像处理模块用于根据移动量提取两幅图像中由于鬼像掩盖的二维眼睛图像信息；并通过拼接，消除鬼像，得到完整图像。
成像模块102是用于获取眼睛101中视网膜二维图像的光学成像系统，它包括但不限于眼底照相机、cSLO、LSO系统。
本实施例的成像模块采用cSLO系统，如图2所示，从cSLO光源201发射出的准直光束在分束器202分割，分割出的反射光继续入射到扫描器203上；经过扫描器203的反射，依次通过光学透镜204和205，入射到眼睛101里，最终聚焦到眼睛视网膜上。一些从视网膜上散射和反射的光依照之前入射光束的反向光路返回至分束器202处。从视网膜上散射和反射的光经过分束器202分割，汇聚于针孔206上，通过针孔206后入射到探测器207上。探测器207产生的信号传输给图像采集、处理单元208。扫描器203提供一个同步信号给图像采集、处理单元208。当扫描镜203做一个有规律的二维扫描时，图像采集、处理单元208根据探测器207和扫描器203所给的信号和时序，实时地给出视网膜在扫描器203一个扫描周期内的一幅二维图像。
所述的cSLO光源201，包括但不限于超辐射发光二极管、激光等。
所述的分束器202，包括但不限于分光棱镜、分光镜片等。
所述的扫描器203，能够实现二维扫描，一般是指扫描振镜。
所述的光学透镜204和205使扫描器203与眼睛瞳孔互为光学共轭。
所述的针孔206,位置与眼底的成像点共轭,以保证共聚焦条件。针孔206可以是一个机械装置，也可以是多模光纤的中芯端面。当针孔206是多模光纤的中芯端面的情况下，多模光纤另一端与探测器相连。
所述的探测器207，包括但不限于光电二极管、雪崩光电二极管、光电倍增管等。
所述的图像采集、处理单元208，一般是指包含数据采集卡的电脑。
图3是成像模块102获得的视网膜图像。cSLO成像系统视野301中心位置出现中心鬼像302。图像分割模块103用于分割出视网膜图像中的鬼像区域。通常鬼像区域位置固定，所以对于给定系统，仅需计算一次。可以在视网膜图像中利用阈值与分割算法直接给出。也可以在背景图像中计算，更容易获取。亦可人工标定。
将鬼像区域内的像素强度值置为零值(或负值)，得到一个含有零值(或负值)鬼像304的视网膜图像303。
成像模块102在短时间内不停的获取眼睛视网膜图像，并被缓存于图像缓存模块106。由于被测者眼睛微动，获取的视网膜图片会出现移动。所述的视网膜图片移动包括平移与旋转。
图4是2幅由cSLO系统获得的由于眼睛微动形成的不同视网膜图像401和402，并且经过了图像分割模块103的处理。图像对比模块104用于确定这2幅图像401和402之间的移动量。这可以通过特征匹配实现，例如基于图像中独特的特征(如眼前节虹膜特征、眼底视网膜血管连接交叉、视神经盘、黄斑特征等)来进行移动量的计算。图4给出了视网膜图像中2组不同血管分叉特征403和404。根据更多这样的图像特征，图像对比模块104通过使用图像配准算法(如基于图像灰度统计特性配准算法、基于图像特征配准算法和基于图像理解的配准算法)找到图像401和402之间的移动量,表示为转动角度
Figure BDA0001461076130000071
平移量(Δx,Δy)。
当计算出来的移动量大于或等于预先设定的移动阈值ρ(ρ＝γ×鬼像区域外接圆直径，γ是一个大于1的实数)，两幅图像都进入图像处理模块105进行消除鬼像处理。当计算出来的移动量小于预先设定的移动阈值ρ，在图像缓存模块中按照时间顺序前序选取参考图像，重新计算移动量，直至移动量大于移动阈值ρ。
图像处理模块105将2幅视网膜图像经过处理，消除鬼像。图5显示了图像处理模块105工作的流程图。具体步骤如下：
1、对第一幅图像401进行旋转平移变换，得到图像501，
2、第二幅图像402中由于鬼像空缺的视网膜图像信息503，可以通过图像501中由图像分割模块103所得到的鬼像区域内的视网膜图像信息拼接补全，得到消除鬼像的视网膜图像504。
需要指出的是，本发明和系统不仅仅适用于眼科诊疗检查成像系统，同样适用于传统的基于二维探测器的成像系统。同时，考虑到，对于cSLO的系统，任意一对震镜的角度组合可以看作一个准像素；对于像LSO的系统，任意一个像素与另一维的震镜的角度组合可以看作一个准像素。该方法和系统适用于任何一个符合以下条件的成像系统：
1、目标与图像采集系统有相对运动；
2、二维探测器上或一维探测器有坏的像素，或者部分像素或准像素受杂散光严重影响而难以正常工作；
3、坏的像素，或受杂散光严重影响的像素或准像素在图像中的位置固定，不受目标与图像采集系统相对运动的影响；
4、运动目标占据图像的全部或远大于坏的像素或受杂散光影响的区域。
并且，尽管本实施例的待测目标是以眼睛后部的视网膜为例，但也同样适用于眼睛的其他区域，包括眼睛前区。

Claims (4)

1.一种动态消除鬼像的光学成像方法，其特征在于，包括以下步骤：
(1)对同一待测目标进行成像采集，获取至少两幅图像数据，在获取不同的图像数据的过程中，目标与成像采集模块之间存在相对运动，不同图像之间存在位移和/或旋转的变化；
(2)取其中一幅图像为第一图像，确定第一图像中的鬼像区域的绝对位置与大小；根据鬼像区域的大小设定移动阈值，第一图像与第二图像的选择满足位移量大于移动阈值的条件；移动阈值不小于鬼像区域的最小外接圆的直径；
(3)再选取另外一幅图像作为第二图像，通过对第一图像与第二图像进行特征匹配，计算出第二图像相对于第一图像的移动量，所述移动量包括位移量和旋转角度；
(4)将第一图像按照所述移动量进行变换得到移动后图像，在移动后图像中选择位于鬼像区域的绝对位置处的部分，该部分的大小即鬼像区域的大小，将该部分拼接到第二图像中的鬼像区域处，得到消除鬼像后的图像；
其中，选择第一图像、第二图像的具体方法为：
(a)建立先进先出FIFO队列，所述队列中缓存N幅图像，将第零幅图像到第N-1幅图像分别记为M0，M1，M2，......，MN-1；
(b)当一幅新的图像MN被接收到时，通过特征匹配，计算图像MN相对于前一幅图像MN-1的相对移动位移量：
把坐标系固定于目标之上，通过特征匹配，设图像MN相对于MN-1的旋转角度为
Figure FDA0002303559740000011
位移量为(ΔxN，ΔyN)，则图像MN-1中的鬼像坐标(xN-1，yN-1)在图像MN的坐标系中变为：
Figure FDA0002303559740000012
图像MN相对于MN-1的位移量ΔrN为：
Figure FDA0002303559740000013
(c)比较位移量ΔrN与移动阈值，若位移量ΔrN大于或等于移动阈值，则选择图像MN作为第二图像，选择图像MN-1作为第一图像；若位移量ΔrN小于移动阈值，则将图像MN与图像MN-2进行特征匹配，重复步骤(b)、(c)，直到找到位移量ΔrN大于或等于移动阈值的图像，或耗尽队列中所有图像；
(d)依先进先出原则，更新缓存队列。
2.一种动态消除鬼像的光学成像方法，其特征在于，包括以下步骤：
(1)对同一待测目标进行成像采集，获取至少两幅图像数据，在获取不同的图像数据的过程中，目标与成像采集模块之间存在相对运动，不同图像之间存在位移和/或旋转的变化；
(2)取其中一幅图像为第一图像，确定第一图像中的鬼像区域的绝对位置与大小；根据鬼像区域的大小设定移动阈值，第一图像与第二图像的选择满足位移量大于移动阈值的条件；移动阈值不小于鬼像区域的最小外接圆的直径；
(3)再选取另外一幅图像作为第二图像，通过对第一图像与第二图像进行特征匹配，计算出第二图像相对于第一图像的移动量，所述移动量包括位移量和旋转角度；
(4)将第一图像按照所述移动量进行变换得到移动后图像，在移动后图像中选择位于鬼像区域的绝对位置处的部分，该部分的大小即鬼像区域的大小，将该部分拼接到第二图像中的鬼像区域处，得到消除鬼像后的图像；
其中，选择第一图像、第二图像的具体方法为：
(a)建立先进先出FIFO队列，所述队列可中缓存N幅图像，将第零幅图像到第N-1幅图像分别记为M0，M1，M2，......，MN-1；
(b)对于第零幅图像，计算鬼像在图像M0的坐标系中的坐标，或获取提前标定好的鬼像位置，记为(x0，y0)；
(c)对于队列中第一幅图像M1到第N-1幅图像MN-1，通过特征匹配，计算图像Mk与前一副图像Mk-1的旋转角度与位移量，并进一步计算出鬼像在图像Mk坐标系中的坐标：
Figure FDA0002303559740000021
其中，k＝1，2，3，......N-1；
建立对应关系：
图像M0：
Figure FDA0002303559740000022
Δx0＝0，Δy0＝0，x0，y0；
图像M1：
Figure FDA0002303559740000031
Δx1，Δy1，x1，y1；
图像M2：
Figure FDA0002303559740000032
Δx2，Δy2，x2，y2；
……
图像MN-1：
Figure FDA0002303559740000033
ΔxN-1，ΔyN-1，xN-1，yN-1；
Figure FDA0002303559740000034
Δxk，Δyk，xk，yk分别为图像Mk相对于图像Mk-1的旋转角度、横坐标移动量、纵坐标移动量及鬼像在Mk坐标系中的横坐标值和纵坐标值；
(d)当一幅新的图像MN被接收到时，图像MN的各个参数
Figure FDA0002303559740000035
ΔxN，ΔyN，xN，yN亦根据(c)中的方法算出；
(e)从(c)中所述对应关系中查找xN-1，yN-1，计算图像MN相对于MN-1的位移量ΔrN，N-1为：
Figure FDA0002303559740000036
(f)MN作为第二图像，比较位移量ΔrN，N-1与移动阈值，若位移量ΔrN，N-1大于或等于移动阈值，则选择图像MN-1作为第一图像；若位移量ΔrN，N-1小于移动阈值，则从所述对应关系中查找xN-2、yN-2，继续计算图像MN相对于MN-2的位移量ΔrN，N-2，重复步骤(e)、(f)，直到找到位移量ΔrN，k大于或等于移动阈值的图像，将Mk作为第一图像，或耗尽队列中所有图像；若耗尽队列中所有图像而未找到位移量ΔrN，k大于或等于移动阈值的图像，则图像MN不做修正；
(g)依先进先出原则，更新缓存队列。
3.根据权利要求1或2所述的动态消除鬼像的光学成像方法，其特征在于，步骤(2)中，确定鬼像区域的绝对位置与大小采用阈值判断方法在第一图像中获取，或提前在背景图像中标定，背景图像在对待测目标采集图像之前获取。
4.根据权利要求3所述的动态消除鬼像的光学成像方法，其特征在于，阈值判断方法中的阈值由用户定义或由算法根据图像特征自动进行计算。
CN201711090516.XA 2017-11-08 2017-11-08 一种动态消除鬼像的光学成像方法和系统 Active CN107730545B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201711090516.XA CN107730545B (zh) 2017-11-08 2017-11-08 一种动态消除鬼像的光学成像方法和系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201711090516.XA CN107730545B (zh) 2017-11-08 2017-11-08 一种动态消除鬼像的光学成像方法和系统

Publications (2)

Publication Number Publication Date
CN107730545A CN107730545A (zh) 2018-02-23
CN107730545B true CN107730545B (zh) 2020-07-03

Family

ID=61223021

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201711090516.XA Active CN107730545B (zh) 2017-11-08 2017-11-08 一种动态消除鬼像的光学成像方法和系统

Country Status (1)

Country Link
CN (1) CN107730545B (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112067254B (zh) * 2020-08-13 2021-12-28 广东弘景光电科技股份有限公司 一种光学系统鬼像测量方法及系统
CN112819854B (zh) * 2021-02-02 2023-06-13 歌尔光学科技有限公司 鬼影检测方法、鬼影检测装置和可读存储介质
CN115330788B (zh) * 2022-10-13 2023-02-28 歌尔股份有限公司 图像检测方法、装置、终端设备及介质

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5615278A (en) * 1989-08-24 1997-03-25 Canon Kabushiki Kaisha Method and apparatus for image processing by correcting the position of each part of an eye fundus image produced by an optical imaging system
CN103871061A (zh) * 2014-03-17 2014-06-18 电子科技大学 一种基于双目视觉的眼底图像处理方法
CN104958061A (zh) * 2015-07-28 2015-10-07 北京信息科技大学 双目立体视觉三维成像的眼底oct成像方法及其系统
CN106910208A (zh) * 2017-03-07 2017-06-30 中国海洋大学 一种存在运动目标的场景图像拼接方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6735474B2 (ja) * 2016-02-29 2020-08-05 パナソニックＩｐマネジメント株式会社 撮像装置

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5615278A (en) * 1989-08-24 1997-03-25 Canon Kabushiki Kaisha Method and apparatus for image processing by correcting the position of each part of an eye fundus image produced by an optical imaging system
CN103871061A (zh) * 2014-03-17 2014-06-18 电子科技大学 一种基于双目视觉的眼底图像处理方法
CN104958061A (zh) * 2015-07-28 2015-10-07 北京信息科技大学 双目立体视觉三维成像的眼底oct成像方法及其系统
CN106910208A (zh) * 2017-03-07 2017-06-30 中国海洋大学 一种存在运动目标的场景图像拼接方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
刑事犯罪现场痕迹图像拼接的研究与实现;山巍等;《警察技术》;20050110;第2.3-2.4节 *
抖动视频的电子稳像技术研究与实现;吴国楠;《中国优秀硕士学位论文全文数据库 信息科技辑》;20150315(第3期);第5.8节 *

Also Published As

Publication number Publication date
CN107730545A (zh) 2018-02-23

Similar Documents

Publication Publication Date Title
US8998411B2 (en) Light field camera for fundus photography
JP4660047B2 (ja) 目の波収差の迅速自動測定
US5493109A (en) Optical coherence tomography assisted ophthalmologic surgical microscope
JP5801577B2 (ja) 光断層撮像装置及び光断層撮像装置の制御方法
US9339186B2 (en) Method and apparatus for enhanced eye measurements
JP6966737B2 (ja) 白内障手術用の取り外し可能な小型の顕微鏡搭載型ケラトメータ
JP2005525893A (ja) 負像面曲率を利用した光可干渉断層撮影スキャナ
WO2004006751A2 (en) Method and device for quantitative image correction for optical coherence tomography
US20220100268A1 (en) Eye tracking device and a method thereof
CN107730545B (zh) 一种动态消除鬼像的光学成像方法和系统
WO2021153087A1 (ja) 眼科装置、その制御方法、及び記録媒体
JP6639262B2 (ja) 眼底撮像装置及びその制御方法、並びに、プログラム
US6607273B2 (en) Stereo view reflection corneal topography
US20220414845A1 (en) Ophthalmic apparatus, method of controlling the same, and recording medium
US10674902B2 (en) Information processing apparatus, operation method thereof, and computer program
JP7410481B2 (ja) 画像処理方法、走査型イメージング方法、画像処理装置、その制御方法、走査型イメージング装置、その制御方法、プログラム、及び記録媒体
JP2018139717A (ja) 眼科撮影装置及び眼科画像処理装置
US10264960B2 (en) Information processing apparatus, operation method thereof, and computer program
JP2019042589A (ja) 画像処理装置、画像処理方法およびプログラム
JP2020535864A (ja) 前区における光学収差を測定するための位相感応光コヒーレンストモグラフィ
US20230115056A1 (en) Ophthalmic apparatus, method of controlling the same, and recording medium
CN113040700B (zh) 一种眼动追踪系统及其追踪方法
JP2019058441A (ja) 眼科装置、及びその制御方法
US20240081639A1 (en) Measuring refractive error of the human eye using optical coherence tomography
WO2022024104A1 (en) Eye tracking systems and methods

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant