CN109414161A - 扩展景深口内成像装置 - Google Patents

扩展景深口内成像装置 Download PDF

Info

Publication number
CN109414161A
CN109414161A CN201680086785.6A CN201680086785A CN109414161A CN 109414161 A CN109414161 A CN 109414161A CN 201680086785 A CN201680086785 A CN 201680086785A CN 109414161 A CN109414161 A CN 109414161A
Authority
CN
China
Prior art keywords
image
imaging
phase modulator
light
sensor array
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201680086785.6A
Other languages
English (en)
Inventor
Y.关
V.C.黄
J.R.米尔奇
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Rui Ke Dental Technology Co Ltd
Original Assignee
Rui Ke Dental Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Rui Ke Dental Technology Co Ltd filed Critical Rui Ke Dental Technology Co Ltd
Publication of CN109414161A publication Critical patent/CN109414161A/zh
Pending legal-status Critical Current

Links

Classifications

    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/24Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor for the mouth, i.e. stomatoscopes, e.g. with tongue depressors; Instruments for opening or keeping open the mouth
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002Operational features of endoscopes
    • A61B1/00004Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00009Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002Operational features of endoscopes
    • A61B1/00004Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00009Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
    • A61B1/000095Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope for image enhancement
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00163Optical arrangements
    • A61B1/00172Optical arrangements with means for scanning
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00163Optical arrangements
    • A61B1/00195Optical arrangements with eyepieces
    • A61B1/00197Optical arrangements with eyepieces characterised by multiple eyepieces
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01BMEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00Measuring arrangements characterised by the use of optical techniques
    • G01B11/24Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
    • G01B11/25Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures by projecting a pattern, e.g. one or more lines, moiré fringes on the object
    • G01B11/2513Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures by projecting a pattern, e.g. one or more lines, moiré fringes on the object with several lines being projected in more than one direction, e.g. grids, patterns
    • GPHYSICS
    • G02OPTICS
    • G02FOPTICAL DEVICES OR ARRANGEMENTS FOR THE CONTROL OF LIGHT BY MODIFICATION OF THE OPTICAL PROPERTIES OF THE MEDIA OF THE ELEMENTS INVOLVED THEREIN; NON-LINEAR OPTICS; FREQUENCY-CHANGING OF LIGHT; OPTICAL LOGIC ELEMENTS; OPTICAL ANALOGUE/DIGITAL CONVERTERS
    • G02F1/00Devices or arrangements for the control of the intensity, colour, phase, polarisation or direction of light arriving from an independent light source, e.g. switching, gating or modulating; Non-linear optics
    • G02F1/01Devices or arrangements for the control of the intensity, colour, phase, polarisation or direction of light arriving from an independent light source, e.g. switching, gating or modulating; Non-linear optics for the control of the intensity, phase, polarisation or colour 
    • G02F1/0102Constructional details, not otherwise provided for in this subclass
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/73Deblurring; Sharpening
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/56Cameras or camera modules comprising electronic image sensors; Control thereof provided with illuminating means
    • GPHYSICS
    • G02OPTICS
    • G02FOPTICAL DEVICES OR ARRANGEMENTS FOR THE CONTROL OF LIGHT BY MODIFICATION OF THE OPTICAL PROPERTIES OF THE MEDIA OF THE ELEMENTS INVOLVED THEREIN; NON-LINEAR OPTICS; FREQUENCY-CHANGING OF LIGHT; OPTICAL LOGIC ELEMENTS; OPTICAL ANALOGUE/DIGITAL CONVERTERS
    • G02F2203/00Function characteristic
    • G02F2203/50Phase-only modulation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/20Image enhancement or restoration using local operators
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50Constructional details
    • H04N23/555Constructional details for picking-up images in sites, inaccessible due to their dimensions or hazardous conditions, e.g. endoscopes or borescopes

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Surgery (AREA)
  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Optics & Photonics (AREA)
  • Medical Informatics (AREA)
  • General Health & Medical Sciences (AREA)
  • Biophysics (AREA)
  • Pathology (AREA)
  • Radiology & Medical Imaging (AREA)
  • Veterinary Medicine (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Public Health (AREA)
  • Molecular Biology (AREA)
  • Animal Behavior & Ethology (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • General Physics & Mathematics (AREA)
  • Dentistry (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Signal Processing (AREA)
  • Nonlinear Science (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Endoscopes (AREA)
  • Instruments For Viewing The Inside Of Hollow Bodies (AREA)
  • Dental Tools And Instruments Or Auxiliary Dental Instruments (AREA)

Abstract

一种用于口内成像的装置具有将光引导到对象的照明源。该成像装置根据来自对象的反射光在图像传感器阵列处形成图像,该成像装置具有沿光轴的光学光阑。相位调制器被设置在光学光阑处或附近。图像处理器调节来自图像传感器阵列的数据并且提供对象的经处理图像数据。

Description

扩展景深口内成像装置
技术领域
本公开一般涉及牙科诊断成像领域,并且更特别地涉及用于口内扫描的装置和方法。本公开一般涉及用于口内成像的方法和装置,并且更特别地涉及具有散焦校正以提供扩展景深的口内成像装置。
背景技术
口腔内窥镜(intraoral camera)越来越多地被用作诊断工具,以支持用于准确表征牙齿的形状和状况以及支撑结构和组织的一系列应用。为了为诊断使用提供具有足够分辨率和准确度的图像内容,口腔内窥镜必须满足对图像质量的苛刻要求。
便携式手持式口腔内窥镜的设计必须解决与整体可用性以及与口内环境的约束相关的许多固有挑战。窥镜(camera)必须被制定尺寸和形状以易于使用,并且配置成允许进入嘴的不同区域。对于任何类型的反射比成像,必须在紧密的间距和尺寸约束内提供足够的照明。这包括用于窥镜的照明,该窥镜实行利用图案化照明的轮廓成像或者利用全视场成像的2-D图像采集,或其两者。
一种可能损害口腔内窥镜的图像质量的图像像差是散焦。即使具有上文指出的照明约束,空间和包装约束迫使窥镜光学器件具有减小的尺寸。用于增加景深(DOF)并且由此减少聚焦像差的常规方法不能在不减少特征性光不足(light-starved)系统中的照明的情况下而应用。
因此,可以看到的是,需要增加口腔内窥镜的DOF而不损害可用于成像的照明水平的改进的解决方案。
发明内容
本公开的目的是推进诊断成像领域并且解决对改善成像性能的需要。本公开的目的是解决对口内表面的准确表征的需要。本申请中的示例性方法和/或装置实施例可以放宽对将口内成像装置定位在成像牙齿或其他对象的焦距处的要求。
这些对象仅作为说明性示例给出,并且这些对象可以是本发明的示例性的一个或多个实施例。本领域技术人员可以想到或者变得显而易见地实现其他合期望的目标和优点。本发明由所附权利要求限定。
根据本公开的一个方面,提供了一种用于口内成像的装置,其可以包括:a)照明源,其将光引导到对象;b)成像装置,其根据来自对象的反射光在图像传感器阵列处形成图像,该成像装置具有沿光轴的光学光阑(optical stop);c)被设置在光学光阑处或附近的相位调制器;d)图像处理器,其调节来自图像传感器阵列的数据并且提供对象的经处理图像数据。
附图说明
如在附图中图示的,本发明的上述以及其他目的、特征和优点将根据以下对本发明的实施例的更具体的描述而变得显而易见。
绘图的元素不一定相对于彼此是按比例的。为了强调基本的结构关系或操作原则,可能需要一些夸大。为了简化描述,没有在绘图中示出对于实现所描述的实施例将需要的一些常规部件,该常规部件例如诸如被用于提供功率、被用于包装以及被用于安装和保护系统光学器件的支持部件。
图1是示出了口腔内窥镜的示意图。
图2是示出了使用图案化光来表征表面轮廓的示意图。
图3示出了使用具有多条光线的图案的表面成像。
图4示出了用作相位调制器的透明相位板。
图5示出了具有光阑的成像透镜系统的示意图。
图6A、6B和6C示出了用于图5的成像系统但没有相位调制的点扩散函数(PSF)。
图7A、7B和7C示出了使用根据本公开的实施例的相位掩模调制器的图5的成像系统的PSF。
图8是示出了用于被配置成提供扩展景深(DOF)的成像装置的照明和成像光路的示意图。
图9A示出了使用如在本文中所描述的成像路径中的相位调制在距成像装置的焦平面一定距离处所采集的图像的示例。
图9B示出了在应用如在本文中所描述的数字恢复之后,使用成像路径中的相位调制的图9A的同一图像。
图10示出了用于形成数字滤波器的序列。
具体实施方式
以下是对示例性方法和/或装置实施例的描述,对附图做出参考,在附图中相同附图标记在若干个附图中的每一个中标识相同结构元件。
在本公开的上下文中使用下述术语时,术语“第一”、“第二”等不一定表示任何序数、顺序或优先级关系,而是仅被用来更清楚地将一个步骤、元件或元件的集合与另一个区分开来,除非另行指定的。
如在本文中所使用的,术语“可激励的(energizable)”涉及在接收到功率时并且可选地在接收到使能信号时实行所指示的功能的设备或部件集。
在本公开的上下文中,术语“光学器件”一般被用来指代被用于对光束进行成形和定向的透镜和其他折射的、衍射的以及反射的部件或光圈。这种类型的个体部件称为光学器件。
在本公开的上下文中,术语“观看者”、“操作者”和“用户”被认为是等同的,并且指代查看执业医师、技术人员或可以操作窥镜或扫描仪并且还可以查看和操纵显示监视器上的图像(诸如牙科图像)的其他人员。从由观看者(诸如通过点击窥镜或扫描仪上的按钮或者通过使用计算机鼠标或者通过触摸屏或键盘输入)输入的显式命令将来获得“操作者指令”或“观看者指令”。
在本公开的上下文中,短语“在信号通信中”指示两个或更多个设备和/或部件能够经由在某种类型的信号路径上行进的信号来彼此通信。信号通信可以是有线的或无线的。信号可以是通信、功率、数据或能量信号。信号路径可以包括第一设备和/或部件与第二设备和/或部件之间的物理连接、电连接、磁性连接、电磁连接、光学连接、有线连接和/或无线连接。信号路径还可以包括在第一设备和/或部件与第二设备和/或部件之间的附加设备和/或部件。
在本公开的上下文中,术语“窥镜”涉及能够根据反射的可见光或NIR(近红外)光(诸如从牙齿表面和支撑结构反射的结构化光)采集反射比、2-D数字图像的设备;此外,窥镜可以以单图像模式或连续采集或视频模式进行操作。在本公开的上下文中,术语“窥镜”和“扫描仪”可以被互换地用来描述同一设备,因为该设备可以获得不同图像类型。
术语“受验体(subject)”指代正被成像的患者的牙齿或其他部分,并且在光学术语中,可以被认为等同于对应成像系统的“对象”。术语“透镜”可以被用来标识单元件的透镜或透镜组,诸如例如双透镜或者其中透镜被相邻地定位的其他布置。
用于光学部件的放置的短语“在……处或在……附近”描述了在光学制造实践中可接受的公差内,在沿着其中部件实行其意图功能的光学路径的位置处的部件放置。如随后更详细描述的,将相位调制器放置在光学光阑附近意味着将相位调制器定位在足够靠近光阑的位置处以提供适合的相位调制来产生用于成像的扩展景深。对于手持式光学成像装置,至少在光阑的几毫米内的位置足以定位光学相位调制器。
在本公开的上下文中,反射比图像是通过利用光场照射受验体并且获得来自受验体的反射光而获得的受验体的2D图像。反射比图像可以是单色或多色的,并且可以使用诸如用于表面轮廓表征的全场照明或图案化光。可以使用具有不同颜色(即,不同波段)的照明场的单色传感器来获得多色反射比图像。
图1是示出了成像装置70的示意图,该成像装置70可以作为用于多色反射比图像数据捕获的静止图像或视频窥镜24以及用于使用结构化光图案46来表征表面轮廓的投影和成像功能的扫描仪28以进行操作。根据本公开的实施例,手持式成像装置70可以使用用于图像采集的窥镜24,以用于轮廓扫描和图像捕获功能两者。
如在图1中示出的,控制逻辑处理器80或其他类型的计算机可以是窥镜24的部分,该控制逻辑处理器80控制生成结构化光并且将光引导向表面位置的照明阵列10的操作,并且控制成像传感器阵列30的操作。来自表面20(例如来自牙齿22)的图像数据从成像传感器阵列30获得并且作为图像数据而存储在存储器72中。成像传感器阵列30是感测装置40的部分,该感测装置40包括透镜组件34和用于采集图像内容的相关联的元件。与采集图像的窥镜24部件进行信号通信的控制逻辑处理器80处理所接收到的图像数据并且将映射存储在存储器72中。然后可选地,将来自存储器72的结果图像渲染并且显示在显示器74上,该显示器74可以是被用于在本文中所描述的处理的某个部分的另一计算机75的部分。存储器72还可以包括显示缓冲器。还可以作为扫描器28电路的部分提供诸如运动传感器之类的一个或多个传感器42。例如,图像传感器阵列30可以是电荷耦合器件(CCD)或互补金属氧化物半导体(CMOS)阵列。
在结构化光成像中,从给定的角度将线条或其他形状的图案从照明阵列10朝向对象的表面投影。然后,作为轮廓图像,从另一角度来查看来自被照明的表面位置的投影图案,利用三角测量以便于基于轮廓线的外观对表面信息进行分析。相移(其中投影图案在空间上递增地移位以在新的方位处获得附加的测量结果)通常作为结构化光成像的部分而被应用,该相移被使用以便于完成表面的轮廓映射并且增加轮廓图像中的整体分辨率。
图2的示意图利用单个光线L的示例示出了图案化光如何被用于通过使用手持式窥镜或其他便携式成像设备的扫描仪来获得表面轮廓信息。在照明阵列10将光的图案引导到表面20上时获得映射,并且在成像传感器阵列30上形成线L'的对应图像。根据通过表面20的调制,成像传感器阵列30上的每一个像素32映射到照明阵列10上的对应像素12。如在图2中表示的,像素位置上的移位产生关于表面20的轮廓的有用信息。可以领会的是,可以使用用于光图案生成的各种各样的照明源和序列并且使用一种或多种不同类型的传感器阵列30,以许多方式来实现在图2中示出的基本图案。照明阵列10可以利用被用于光调制的许多类型的阵列中的任何类型的阵列(诸如液晶阵列或数字微镜阵列),诸如使用来自美国德克萨斯州达拉斯的德州仪器的数字光处理器或DLP设备提供的。这种类型的空间光调制器被用在照明路径中,以如针对映射序列而需要的那样改变光图案。
通过对示出了多次复制了图2中示出的布置的结构化光图案的图像进行投影和捕获,窥镜上的轮廓线的图像同时定位成像对象的许多表面点。这加速了收集很多采样点的过程,同时光平面(并且通常还有接收窥镜)被横向移动,以便于利用光平面来“绘制”对象的一些或全部外表面。
出于许多原因,可以一起投影和分析同步连续的多个结构化光图案,包括为附加的重建点增加线的密度以及检测和/或校正不兼容的线序列。在共同转让的美国专利申请公开号US2013/0120532和US2013/0120533中描述了多种结构化光图案的使用,两者都题为“3D INTRAORAL MEASUREMENTS USING OPTICAL MULTILINE METHOD(使用光学多线方法的3D口内测量)”,并且以其整体并入本文中。
图3示出了使用具有多条光线的图案的表面成像。线图案和其他技术的增量移位有助于补偿可能由沿表面的突然转变所导致的不准确和混淆,由此可能难以肯定地标识与每一个投影线相对应的区段。在图3中,例如,可能难以通过表面的部分来确定线段16是来自与线段18相同的照明线还是来自与相邻线段19相同的照明线。如果线特征模糊或是散焦的,则可能更难以标识和跟踪线段。
薄透镜方程为焦距f提供物距(O)和像距(I)的理想化近似:
(1)
应用在(1)中示出的关系,可以领会的是,当物距O改变时,像距I移位。由这样的图像移位所引起的散焦波前像差对应于:
(2)
给定在(2)中示出的关系,可以领会的是,用于降低散焦像差W的一个解决方案是诸如通过使用更小光圈来增加F/#值。然而,使用较小光圈进一步降低了光不足系统中的照明,并且还可能降低窥镜分辨率。
本申请的某些示例性方法和/或装置实施例描述了用于使用相位操纵或波前编码来降低光路中的散焦像差的解决方案。波前编码在成像系统的光圈或光阑处插入相位掩模调制器、相位板调制器或简单地相位调制器,以便于调制波前形式,从而有效地校正了图像在一定焦距范围内的失焦。
图4的示意图示出了具有下述透射比的一种类型的透明相位板:
(3a)
该示例性相位板使平面波位置在r处弯曲下述角度:
θ r = sin -1 (-r/f) (3b)
具有这种特点,相位板50可以表现得像具有焦距f的球面透镜。例如,相位板50可以具有不同光学指数或厚度的区域的布置。
作为相位板50的相位调制器的一个示例性直接调制功能可以被表达如下:
P(x,y) = α(x 3 + y 3 ) (4)
使用光学设计领域的技术人员熟悉的技术,通过优化来确定系数α。相位调制器可以具有各种形状,诸如在形状上是矩形或圆形的。相位调制器可以在一个或多个维度(诸如正交的x方向和y方向)上具有不同相位函数。相位调制器可以具有对称或非对称相位函数。根据本申请的某些示例性方法和/或装置实施例可以提供相位调制器以生成模糊图像或PSF(点扩散函数),该PSF在沿着口内成像装置光轴的多个焦距和不同场位置处非常相似。在示例性实施例中,数字滤波器可以被用来恢复在不同(例如,增加的)焦距处的这样的模糊图像。
参照图5,具有孔径光阑62的成像透镜系统60可以包括两个透镜或透镜组:前述的物镜L1和沿光轴OA在光阑之后的第二透镜L2。图5的成像透镜系统可以具有常规的4-f(四焦距)成像系统的整体布置。然而,当使用本公开的方法时,几何焦距并不严格地约束图像质量。可以添加相位调制器50(此处,诸如相位板或相位掩模之类的透明物(transparency))以在光阑62处或附近调制波前形式。这有效地使得成像系统能够在一定(例如,更大)焦距范围内获得改善的聚焦或清晰图像。
在实践中,用于完美聚焦的透射比函数f(r)可能非常复杂并且难以制造;甚至可能找不到理想的透射比函数解决方案。然而,相位板或相位调制器50(图4)不需要在任何位置提供完美聚焦。而是,相位调制器50可以被定位在光阑62处或附近(图5),以便于获得在沿光轴OA的多个距离处非常相似的意义明确的均匀PSF(点扩散函数)。然后,由于PSF是意义明确的,并且非常相似的PSF特性在一定距离范围上适用,在一个示例性实施例中,相同的数字恢复滤波可以被用于校正失焦。
根据本申请的一些示例性实施例,相位掩模或其他相位调制器50可以是具有非对称自由形式(free-form)的矩形相位板、具有对称自由形式的圆形相位板等。具有所添加的相位调制器50的成像系统被设计或优化成提供以不同物距和场方位的PSF,其中不同PSF优选地表现出高度相似性并且一般具有较小尺寸。可以根据该设计或优化来定义其他类型的相位调制器或相位掩模的自由形式表面的系数。在优化中考虑各种像差;可以使用数字滤波器恢复清晰的图像。
应该注意的是,光阑不需要在两个透镜或透镜组之间,如为图5的示例性配置中的光阑62示出的。在一些成像光学系统中,光阑可以处于沿光轴OA的某个其他位置处。
由此对以下内容做出参考:
Edward R. Dowski,Gregory E. Johnson,“Wavefront Coding: A modern method ofachieving high performance and/or low cost imaging systems(波前编码:一种实现高性能和/或低成本成像系统的现代方法)”,CDM Optics,Inc.,Boulder,Colorado,第1-9页。
Manjunath Somayaji,Vikrant R.Bhakta和Marc P. Christensen,“Experimental evidence of the theoretical spatial frequency response of cubicphase mask wavefront coding imaging systems(立方相位掩模波前编码成像系统的理论空间频率响应的实验证据)”,Optics Express,卷20,2号,2012年1月16日,第1878-1895页。
Hsin-Yueh Sung,Sidney S.Yang,Horng Chang,“Design of Mobile Phone Lenswith Extended Depth of Field Based on Point-spread Function Focus Invariance(基于点扩散函数焦点不变性的具有扩展景深的手机镜头的设计)”Proc. of SPIE,卷7061,第706107-1,706107-11页。
Tingyu Zhao, Thomas Mauger和Guoqiang Li,“Optimization of wavefront-coded infinity-corrected microscope systems with extended depth of field(具有扩展景深的波前编码的无限远校正显微系统的优化)”,Biomedical Optics Express,2013年7月31日,第1464-1471页。
Sara Bradburn,Wade Thomas Cathey和Edward R.Dowski,Jr。“Realizations ofFocus Invariance in Optical/Digital Systems with Wavefront Coding(通过波前编码实现光学/数字系统的焦点不变性)”,博尔德科罗拉多大学,电气与计算机工程系,光电计算系统中心,成像系统实验室,第1-22页。
Edward R.Dowski,Jr.和Wade Thomas Cathey,“Extended Depth of FieldThrough Wave-front Coding(通过波前编码的扩展景深)”Applied Optics,卷34,11号,1995年4月10日,第1859-1866页。
作为示例,图6A、6B和6C示出了用于在光阑62处没有相位调制的图5的成像系统的PSF。图6A示出了用于成像透镜系统的焦平面处的点源的PSF。图6B示出了从焦点前进+12mm的点源对象的PSF,其清楚地示出了离焦(out-of-focus)状况。图6C示出了点源对象在距焦点-12 mm处的PSF,其产生甚至更明显的失焦。根据图6A-6C的示例PSF,清楚的是,在没有相位调制器50的情况下,仅当对象被定位在对象焦平面处或附近时,成像系统才很可能提供可接受的图像。
图7A、7B和7C示出了用于使用相位调制器50的图5的成像系统的PSF。图7A-7C中的焦距对应于图6A-6C中的距离,即,其中点源对象分别处于距焦点0、+12 mm和-12 mm处。值得注意的是,在该范围内示出的PSF分布不是用于如在图6A中的聚焦的理想PSF。然而,当焦距在可观的距离上变化时,PSF能量分布(其可以称为PSF特性)几乎相同。这意味着相同数字滤波可以被用于图像校正;即,无论对象是+12 mm离焦、聚焦、还是-12 mm离焦,可以应用相同的数字滤波来对图像去模糊。在一个示例性实施例中,不同数字滤波可以被应用于不同散焦距离。
图8的示意性视图示出了用于图1的成像装置70的示例性照明和成像光路,其被配置成提供扩展景深(DOF)。照明源66通过照明路径将光引导到牙齿22。相位调制器50被设置在成像路径中的光阑62处,在透镜(或透镜组)L1与L2之间。传感器阵列30根据所接收到的光形成图像数据。图像处理器68与传感器阵列30进行信号通信。图像处理器68被编程有指令以调节来自图像传感器阵列的数据,以校正在所接收到图像中的模糊并且提供可以被渲染在与处理器68进行信号通信的显示器52上的经调节图像数据。由处理器68进行的数字处理可以实时发生,即,一采集到图像数据就发生数字处理,从而允许执业医师或其他操作者在获得经处理的成像结果时就查看它们,而没有用于图像处理的可察觉延迟,只要处理器68的速度足够即可。照明源66可包括固态发光器,例如诸如发光二极管。
图9A示出了使用如先前描述的相位调制器50在距成像装置的焦平面一定距离处采集的图像的示例。图9A的稍微模糊的图像可以在理想物平面的每一个侧面上的任何数量的距离处采集;在每一种情况下,在扩展的DOF上,所采集的图像将看起来与所示出的大体相同,从而需要一定量的去模糊。图9B示出了如针对图9A所描述的那样但是在应用根据示例性实施例的数字滤波器之后而生成的相同图像。在数字图像处理之后,该图像具有显著改善的对比度、分辨率和/或动态范围。显著地在一个示例性实施例中,相同数字滤波算法可以被应用于在一定焦距范围内捕获的图像。
在没有相位调制的3D口腔内窥镜的成像系统中,PSF在不同物距处改变(图6A、6B和6C)。在具有所添加的相位调制的成像系统中,PSF是类似的并且在不同物距处保持紧凑的尺寸(图7A、7B和7C)。可以由数字处理滤波器恢复清晰的图像。
作为相位调制器的立方相位板
一种非对称自由形式的相位板是立方相位掩模(CPM)。CPM提供直接的设计和廉价的制造,并且是鲁棒的。CPM的调制函数可以被表达为在上文的等式(4)中给出的。
在图1的3D口腔内窥镜24的成像系统中,如在图6A-6C的示例中示出的,PSF在不同的物距处变化。通过添加相位调制,如在图7A-7C的示例中示出的,申请人已经修改了成像系统性能以允许在一定物距范围内,相似的PSF具有能够使用数字滤波而被恢复的清晰成像,如参照图9A和9B所描述的。
模糊的图像恢复
许多方法可以被用来为使用本公开的扩展DOF而获得的图像提供模糊校正,也被称为去模糊。以下给出了针对模糊图像恢复的理论背景和基础的总结。
对于具有非相干源的成像系统,观察图像Ui(xi,yi)由标准图像形成方程给出:
Ui (xi, yi) = ʃʃ h ( xi, yi; xo, yo) Uo (xo, yo) dxodyo + n(xo, yo) ; (5)
其中,Uo(xo,yo)是对象亮度分布,h(xi,yi; xo,yo)是成像系统的点扩散函数(PSF),n (xo,yo)是噪声项。
到频域的傅里叶变换产生以下结果:
Ui (u, v) = H(u, v) Uo (u, v) + n (u, v); (6)。
此处,噪声项n(u,v)主要来自高频,主导性地是噪声内容,具有一些信号内容。对于一些应用,清晰图像主要来自低频信号,诸如用于使用图1的3D口腔内窥镜进行轮廓成像的多线图案。移除噪声项n(u,v)的一种方法是应用高频截止滤波器。高频滤波器的应用产生:
(7)
空间域中的对象字段可以被计算为:
Uo (xo, yo) = FFT -1 [Ui (u, v)/ H(u, v)]; |u, v︱< (u,v)cutoff (8)
作为该数字滤波处理的结果,校正了模糊并且恢复了清晰的图像。
非锐化掩模或其他类型的去模糊滤波器可以交替地被用于图像恢复。
实现方式顺序
可以使用以下顺序来形成口内成像装置的实现方式:
(i)以具有孔径光阑的标准成像透镜系统开始。
(ii)将自由形式的相位调制器(诸如立方相位板)添加到孔径光阑。自由形式相位板可以被表达为多项式,诸如立方相位α(x 3 + y 3 )
(iii)(利用用户定义的操作数)定义在不同物距和场方位处的PSF的相关操作数,以通过优化得到在这些距离和场处的PSF的高度相似性。
(iv)定义PSF尺寸的最小化操作数,以通过优化得到在不同物距和场方位处的紧凑的PSF尺寸。参考PSF是在场(0,0)处的PSF,并且至多是标准成像透镜系统的焦距。
(v)在优化后设计成像透镜系统,其具有在其光阑处的相位板;确定相位板的适当多项式系数。
(vi)根据根据优化的结果PSF和参考PSF,设计数字滤波器以恢复模糊图像。图10的步骤形成可以被集成到图像处理逻辑中的适合的数字滤波器。
图10的步骤示出了用于应用图像处理领域的技术人员已知的技术来形成适合的数字滤波器的序列。测量步骤S100测量期望焦距和场处的PSF。然后可以对PSF进行取平均或以其他方式进行组合。然后,反向步骤(inversion step)S110将经平均的PSF进行反向(invert),并且实行对频域的傅里叶变换。然后,乘法步骤S120通过高频截止滤波器使PSF函数成为多倍(multiple)。第二反向步骤S130实行返回空间域的逆傅里叶变换,这形成清晰图像。然后,滤波器形成步骤S140根据该处理的结果形成单个数字滤波器。
数字滤波不仅可以校正由于散焦引起的图像模糊,而且还可以校正或补救诸如例如球面像差和彗差之类的其他像差。
与本发明的实施例一致,计算机程序利用存储指令,该存储指令在从电子存储器访问的图像数据上实行。如可以由图像处理领域的技术人员领会的是,用于操作本公开的实施例中的成像系统的计算机程序可以被适合的通用计算机系统利用,该计算机系统诸如个人计算机或工作站。然而,例如,许多其他类型的计算机系统(包括联网处理器的布置)可以被用来执行本发明的计算机程序。用于实行本发明的方法的计算机程序可以存储在计算机可读存储介质中。该介质可包括例如:磁存储介质,诸如磁盘,该磁盘诸如硬盘驱动器或可移动设备或磁带;光存储介质,诸如光盘、光带或机器可读光学编码;固态电子存储设备,诸如随机存取存储器(RAM)或只读存储器(ROM);或者被采用以存储计算机程序的任何其他物理设备或介质。用于实行本公开的方法的计算机程序还可以存储在计算机可读存储介质上,该计算机可读存储介质通过互联网或其他网络或通信介质连接到图像处理器。本领域技术人员将进一步容易地意识到,这样的计算机程序产品的等同方式也可以以硬件来构造。
应当注意的是,在本公开的上下文中等同于“计算机可访问存储器”的术语“存储器”可以指代被用于存储图像数据和对图像数据进行操作并且对例如包括数据库的计算机系统是可访问的任何类型的临时性或更持久的数据存储工作空间。存储器可以是例如使用诸如磁性或光学存储之类的长期存储介质的非易失性的。交替地,存储器可以使用电子电路而具有更易失性的性质,诸如随机存取存储器(RAM),其被微处理器或其他控制逻辑处理器设备用作临时缓冲器或工作空间。例如,显示数据通常存储在临时存储缓冲器中,该临时存储缓冲器与显示设备直接相关联,并且按需要周期性地刷新以便于提供所显示的数据。该临时存储缓冲器也被认为是一种类型的存储器,如该术语被用在本公开中那样。存储器还被用作数据工作空间,以用于执行计算和其他处理并且存储其中间和最终结果。计算机可访问的存储器可以是易失性的、非易失性的、或者是易失性和非易失性类型的混合组合。
将理解的是,本公开的计算机程序产品可以利用公知的各种图像处理算法和过程。将进一步理解的是,本公开的计算机程序产品实施例可以体现对实现方式有用但没有在本文中具体示出或描述的算法和过程。这样的算法和过程可以包括处于图像处理领域的普通技术手段内的常规实用程序。没有在本文中具体示出或描述这样的算法和系统的附加方面,以及用于产生和以其他方式处理图像或与本公开的计算机程序产品协作的硬件和/或软件,并且其可以选自本领域已知的这样的算法、系统、硬件、部件和元件。
根据本申请的某些示例性方法和/或装置实施例可以增加口内成像装置的焦深。此外,荧光成像可以与本申请的示例性实施例一起使用。根据本申请的示例性实施例可包括在本文描述的各种特征(单独地或以组合形式)。
虽然已经关于一个或多个实现方式说明了本发明,但是在不脱离所附权利要求的精神和范围的情况下,可以对图示的示例做出更改和/或修改。此外,尽管可能仅关于若干个实现方式/实施例中的仅一个已经公开了本发明的特定特征,但是这样的特征可以如可能需要的和对于任何给定的或特定的功能有利的那样而与其他实现方式/实施例的一个或多个其他特征组合。术语“……中的至少一个”被用将来意指可被选择的所列项目中的一个或多个。术语“大约”指示所列值可以被稍微更改,只要该更改不导致过程或结构与说明的实施例不一致。最后,“示例性的”指示该描述被用作示例,而没有暗示它是理想的。考虑到在本文中公开的本发明的说明书和实践,本发明的其他实施例将对本领域技术人员是显而易见的。意图的是,说明书和示例仅被认为是示例性的,其中本发明的真实范围和精神由至少所附权利要求指示。

Claims (15)

1.一种用于口内成像的装置,其包括:
a)照明源,其将光引导到对象;
b)成像装置,其根据来自所述对象的反射光在图像传感器阵列处形成图像,所述成像装置具有沿光轴的光学光阑;
c)被设置在所述光学光阑处或附近的相位调制器;以及
d)图像处理器,其调节来自所述图像传感器阵列的数据并且提供所述对象的经处理图像数据。
2.根据权利要求1所述的装置,其中,所述图像处理器提供所述图像数据的去模糊。
3.根据权利要求1所述的装置,其中,所述光学光阑位于将所述反射光引导通过所述光学光阑的物镜与将光从所述光学光阑引导到所述图像传感器阵列的第二透镜之间。
4.根据权利要求1所述的装置,进一步包括:用于渲染所述经处理图像数据的显示器。
5.根据权利要求1所述的装置,其中,所述相位调制器是立方相位调制器。
6.根据权利要求1所述的装置,其中,从沿所述光轴的视图看,所述相位调制器在形状上是矩形或圆形的。
7.根据权利要求1所述的装置,其中,所述相位调制器在正交的x方向和y方向上具有不同相位函数。
8.根据权利要求1所述的装置,其中,所述照明源包括固态发光器。
9.根据权利要求1所述的装置,其中,所述图像传感器阵列是彩色或单色设备。
10.根据权利要求1所述的装置,其中,所述照明源生成用于所述对象的表面轮廓成像的图案化照明。
11.一种用于口内成像的装置,其包括:
a)照明源,其将光引导到对象;
b)成像装置,其由根据来自所述对象的反射光在图像传感器阵列处形成图像,所述成像装置在将所述反射光引导通过光学光阑的物镜与将光从所述光阑引导到所述图像传感器阵列的第二透镜之间具有沿着光轴的光学光阑;
c)设置在所述光学光阑处或附近的相位调制器;
d)图像处理器,其被编程有指令以根据所述相位调制器的相位函数特性来针对去模糊调节来自所述图像传感器阵列的数据;并且提供所述对象的经处理图像数据;以及
e)显示器,其与所述图像处理器进行信号通信,以用于渲染所述经处理图像数据。
12.根据权利要求11所述的装置,其中,所述相位调制器是用以增加所述口内成像装置的焦深的立方相位板。
13.一种口内成像方法,其包括:
a)将光从照明源引导到对象;
b)将来自所述对象的反射光沿光轴引导通过物镜,所述物镜将所述光引导通过光学光阑;
c)将相位调制器沿着光轴设置在所述光学光阑处或附近;
d)根据来自所述对象的成像反射光在图像传感器阵列处形成图像数据;
e)针对去模糊调节所述图像数据;以及
f)在显示器上渲染经调节图像数据。
14.根据权利要求13所述的方法,其中,所述光学光阑被定位在所述物镜与第二透镜之间,并且其中所述相位调制器使所述成像系统在一定物距范围内具有相似的点扩散函数。
15.根据权利要求13所述的方法,其中,针对去模糊调节所述数据包括:基于点扩散函数对所述数据进行数字滤波。
CN201680086785.6A 2016-06-15 2016-06-15 扩展景深口内成像装置 Pending CN109414161A (zh)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/US2016/037483 WO2017217976A1 (en) 2016-06-15 2016-06-15 Extended depth of field intraoral imaging apparatus

Publications (1)

Publication Number Publication Date
CN109414161A true CN109414161A (zh) 2019-03-01

Family

ID=56363922

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201680086785.6A Pending CN109414161A (zh) 2016-06-15 2016-06-15 扩展景深口内成像装置

Country Status (6)

Country Link
US (2) US20190261843A1 (zh)
EP (1) EP3471593A1 (zh)
JP (1) JP2019520897A (zh)
KR (1) KR20190017796A (zh)
CN (1) CN109414161A (zh)
WO (1) WO2017217976A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117562488A (zh) * 2023-11-14 2024-02-20 卓外(上海)医疗电子科技有限公司 基于波前编码技术的荧光内窥镜摄像系统及成像方法

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI676781B (zh) * 2018-08-17 2019-11-11 鑑微科技股份有限公司 三維掃描系統
WO2020160666A1 (en) * 2019-02-06 2020-08-13 Institut National De La Recherche Scientifique A method and a system for 3d imaging

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20030122926A1 (en) * 2001-12-28 2003-07-03 Olympus Optical Co., Ltd. Electronic endoscope system
CN1972626A (zh) * 2004-05-16 2007-05-30 杜尔牙科器械两合公司 医用相机
CN101366270A (zh) * 2005-11-29 2009-02-11 京瓷株式会社 成像设备和成像方法
CN101822526A (zh) * 2009-01-28 2010-09-08 松下电器产业株式会社 口腔内测定装置和口腔内测定系统
DE102009017801A1 (de) * 2009-04-20 2010-10-21 DüRR DENTAL AG Dentale oder medizinische Kamera

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000005127A (ja) * 1998-01-23 2000-01-11 Olympus Optical Co Ltd 内視鏡システム
JP2000166870A (ja) * 1998-12-11 2000-06-20 Matsushita Electric Ind Co Ltd 撮像装置
US6844963B2 (en) * 2000-03-23 2005-01-18 Olympus Optical Co., Ltd. Double-resonance-absorption microscope
JP3958603B2 (ja) * 2002-02-21 2007-08-15 オリンパス株式会社 電子内視鏡システム及び電子内視鏡システム用の信号処理装置
US8570530B2 (en) * 2009-06-03 2013-10-29 Carestream Health, Inc. Apparatus for dental surface shape and shade imaging
US9295532B2 (en) 2011-11-10 2016-03-29 Carestream Health, Inc. 3D intraoral measurements using optical multiline method
US9349182B2 (en) 2011-11-10 2016-05-24 Carestream Health, Inc. 3D intraoral measurements using optical multiline method
US11126040B2 (en) * 2012-09-30 2021-09-21 Optica Amuka (A.A.) Ltd. Electrically-tunable lenses and lens systems
US9860520B2 (en) * 2013-07-23 2018-01-02 Sirona Dental Systems Gmbh Method, system, apparatus, and computer program for 3D acquisition and caries detection

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20030122926A1 (en) * 2001-12-28 2003-07-03 Olympus Optical Co., Ltd. Electronic endoscope system
CN1972626A (zh) * 2004-05-16 2007-05-30 杜尔牙科器械两合公司 医用相机
CN101366270A (zh) * 2005-11-29 2009-02-11 京瓷株式会社 成像设备和成像方法
CN101822526A (zh) * 2009-01-28 2010-09-08 松下电器产业株式会社 口腔内测定装置和口腔内测定系统
DE102009017801A1 (de) * 2009-04-20 2010-10-21 DüRR DENTAL AG Dentale oder medizinische Kamera

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117562488A (zh) * 2023-11-14 2024-02-20 卓外(上海)医疗电子科技有限公司 基于波前编码技术的荧光内窥镜摄像系统及成像方法

Also Published As

Publication number Publication date
KR20190017796A (ko) 2019-02-20
US11497392B2 (en) 2022-11-15
US20210267447A1 (en) 2021-09-02
US20190261843A1 (en) 2019-08-29
EP3471593A1 (en) 2019-04-24
JP2019520897A (ja) 2019-07-25
WO2017217976A1 (en) 2017-12-21

Similar Documents

Publication Publication Date Title
US11497392B2 (en) Extended depth of field intraoral imaging apparatus
CN110262026B (zh) 孔径扫描傅立叶重叠关联成像
US11468557B2 (en) Free orientation fourier camera
JP3791777B2 (ja) 電子内視鏡
US10247933B2 (en) Image capturing device and method for image capturing
US11928794B2 (en) Image processing device, image processing program, image processing method, and imaging device
JP7280188B2 (ja) 医療用拡大高解像度撮像方法及び撮像システム
WO2010016625A1 (ja) 画像撮影装置およびその距離演算方法と合焦画像取得方法
JP2004328506A (ja) 撮像装置および画像復元方法
JP6484706B2 (ja) 画像を記録するための装置および方法
JP5677366B2 (ja) 撮像装置
Lee et al. Automatic distortion correction of endoscopic images captured with wide-angle zoom lens
JP6234623B2 (ja) 画像処理方法およびそれを用いた撮像装置、画像処理装置、画像処理プログラム
Kagawa et al. A three‐dimensional multifunctional compound‐eye endoscopic system with extended depth of field
Delbracio et al. Non-parametric sub-pixel local point spread function estimation
CN109900249B (zh) 距离测量装置和距离测量方法
US20120050517A1 (en) Imaging systems and associated methods thereof
Tang et al. Utilizing optical aberrations for extended-depth-of-field panoramas
JP2018195985A (ja) 画像処理装置、撮像装置、画像処理方法、プログラム、および、記憶媒体
JP2010087859A (ja) 画像処理パラメータ算出装置、画像処理パラメータ算出方法、製造方法、撮像装置、撮像方法、およびプログラム
JP2012253602A (ja) 結像光学系及び撮像装置
Hasinoff Variable-aperture photography
Zhao et al. Removal of parasitic image due to metal specularity based on digital micromirror device camera
Daneshpanah et al. Application issues in the use of depth from (de) focus analysis methods
JP7005162B2 (ja) 画像処理方法、画像処理装置、撮像装置、プログラム、および、記憶媒体

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20190301

WD01 Invention patent application deemed withdrawn after publication