CN110638527A - 基于光学相干层析增强现实的手术显微成像系统 - Google Patents

基于光学相干层析增强现实的手术显微成像系统 Download PDF

Info

Publication number
CN110638527A
CN110638527A CN201910583463.8A CN201910583463A CN110638527A CN 110638527 A CN110638527 A CN 110638527A CN 201910583463 A CN201910583463 A CN 201910583463A CN 110638527 A CN110638527 A CN 110638527A
Authority
CN
China
Prior art keywords
dimensional
oct
unit
image
light
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201910583463.8A
Other languages
English (en)
Other versions
CN110638527B (zh
Inventor
史国华
樊金宇
何益
邢利娜
高峰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Suzhou Institute of Biomedical Engineering and Technology of CAS
Original Assignee
Suzhou Institute of Biomedical Engineering and Technology of CAS
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Suzhou Institute of Biomedical Engineering and Technology of CAS filed Critical Suzhou Institute of Biomedical Engineering and Technology of CAS
Priority to CN201910583463.8A priority Critical patent/CN110638527B/zh
Priority to EP19935877.1A priority patent/EP3984486A4/en
Priority to PCT/CN2019/113695 priority patent/WO2021000466A1/zh
Priority to JP2021578120A priority patent/JP7350103B2/ja
Publication of CN110638527A publication Critical patent/CN110638527A/zh
Application granted granted Critical
Publication of CN110638527B publication Critical patent/CN110638527B/zh
Priority to US17/646,722 priority patent/US20220117696A1/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B3/00—Apparatus for testing the eyes; Instruments for examining the eyes
    • A61B3/10—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions
    • A61B3/102—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions for optical coherence tomography [OCT]
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/20—Surgical microscopes characterised by non-optical aspects
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/30—Devices for illuminating a surgical field, the devices having an interrelation with other surgical devices or with a surgical procedure
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B90/37—Surgical systems with images on a monitor during operation
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B9/00—Measuring instruments characterised by the use of optical techniques
    • G01B9/02—Interferometers
    • G01B9/02001—Interferometers characterised by controlling or generating intrinsic radiation properties
    • G01B9/02002—Interferometers characterised by controlling or generating intrinsic radiation properties using two or more frequencies
    • G01B9/02004—Interferometers characterised by controlling or generating intrinsic radiation properties using two or more frequencies using frequency scans
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B9/00—Measuring instruments characterised by the use of optical techniques
    • G01B9/02—Interferometers
    • G01B9/02015—Interferometers characterised by the beam path configuration
    • G01B9/02029—Combination with non-interferometric systems, i.e. for measuring the object
    • G01B9/0203—With imaging systems
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B9/00—Measuring instruments characterised by the use of optical techniques
    • G01B9/02—Interferometers
    • G01B9/0209—Low-coherence interferometers
    • G01B9/02091—Tomographic interferometers, e.g. based on optical coherence
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00—Microscopes
    • G02B21/0004—Microscopes specially adapted for specific applications
    • G02B21/0012—Surgical microscopes
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00—Microscopes
    • G02B21/36—Microscopes arranged for photographic purposes or projection purposes or digital imaging or video purposes including associated control and data processing arrangements
    • G02B21/365—Control or image processing arrangements for digital or video microscopes
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00—Microscopes
    • G02B21/36—Microscopes arranged for photographic purposes or projection purposes or digital imaging or video purposes including associated control and data processing arrangements
    • G02B21/365—Control or image processing arrangements for digital or video microscopes
    • G02B21/367—Control or image processing arrangements for digital or video microscopes providing an output produced by processing a plurality of individual source images, e.g. image tiling, montage, composite images, depth sectioning, image comparison
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/10—Beam splitting or combining systems
    • G02B27/14—Beam splitting or combining systems operating by reflection only
    • G02B27/141—Beam splitting or combining systems operating by reflection only using dichroic mirrors
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/251—Fusion techniques of input or preprocessed data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/003—Reconstruction from projections, e.g. tomography
    • G06T11/008—Specific post-processing after tomographic reconstruction, e.g. voxelisation, metal artifact correction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/239—Image signal generators using stereoscopic image cameras using two 2D image sensors having a relative position equal to or related to the interocular distance
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/302—Image reproducers for viewing without the aid of special glasses, i.e. using autostereoscopic displays
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/56—Cameras or camera modules comprising electronic image sensors; Control thereof provided with illuminating means
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/74—Circuitry for compensating brightness variation in the scene by influencing the scene brightness using illuminating means
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A61B2034/2046—Tracking techniques
    • A61B2034/2055—Optical tracking systems
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B2090/364—Correlation of different images or relation of image positions in respect to the body
    • A61B2090/365—Correlation of different images or relation of image positions in respect to the body augmented reality, i.e. correlating a live optical image with another image
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B2090/364—Correlation of different images or relation of image positions in respect to the body
    • A61B2090/367—Correlation of different images or relation of image positions in respect to the body creating a 3D dataset from 2D images using position information
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B90/37—Surgical systems with images on a monitor during operation
    • A61B2090/371—Surgical systems with images on a monitor during operation with simultaneous use of two cameras
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B90/37—Surgical systems with images on a monitor during operation
    • A61B2090/373—Surgical systems with images on a monitor during operation using light, e.g. by using optical scanners
    • A61B2090/3735—Optical coherence tomography [OCT]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10056—Microscopic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10072—Tomographic images
    • G06T2207/10101—Optical tomography; Optical coherence tomography [OCT]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2210/00—Indexing scheme for image generation or computer graphics
    • G06T2210/41—Medical

Landscapes

  • Health & Medical Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Surgery (AREA)
  • General Physics & Mathematics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • General Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • Animal Behavior & Ethology (AREA)
  • Molecular Biology (AREA)
  • Medical Informatics (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Biomedical Technology (AREA)
  • Theoretical Computer Science (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Pathology (AREA)
  • Optics & Photonics (AREA)
  • Radiology & Medical Imaging (AREA)
  • Signal Processing (AREA)
  • Analytical Chemistry (AREA)
  • Chemical & Material Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Gynecology & Obstetrics (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Graphics (AREA)
  • Software Systems (AREA)
  • Computer Hardware Design (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Evolutionary Biology (AREA)
  • Ophthalmology & Optometry (AREA)
  • Biophysics (AREA)
  • Artificial Intelligence (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Robotics (AREA)
  • Microscoopes, Condenser (AREA)

Abstract

本发明公开了一种基于光学相干层析增强现实的手术显微成像系统与方法，该系统包括：手术显微单元，用于采集手术区域的二维显微图像；光学相干层析单元，用于采集手术区域的OCT三维图像；引导光源，其可由手术显微单元相机捕获，用于投射与光学相干层析单元的OCT扫描光源同步的引导光点至手术区域；处理控制单元，用于获取手术区域的二维显微图像、OCT三维图像，以及手术区域的二维显微图像与OCT三维图像融合后的图像；显示单元，用于输出显示处理控制单元的结果。本发明能将二维显微图像和OCT三维图像进行精确配准、融合，实现了手术区域的显微图像实时增强，能为手术进行提供更加直观的导航信息，实现直观式手术引导。

Description

基于光学相干层析增强现实的手术显微成像系统
技术领域
本发明涉及显微外科手术成像与图形处理技术领域，特别涉及一种基于光学相干层析增强现实的手术显微成像系统。
背景技术
现代外科手术已经要求在定位手术靶点部位的同时，尽可能地降低对病人的生理创作，实现微创化手术。图像引导的介入手术可以精确地定位手术靶点，可以的手术前进行术前规划、手术过程中的实时监控导航、术后手术区域的手术效果的评估等特点，具有精度高、创伤小等优点，是现代外科手术的一个重要方向。
目前，以光学显微镜为基础的显微外科手术，例如眼科手术、神经外科手术等，其成像范围局限于表面二维成像，严重限制了它的应用。光学相干层析技术，是一种高分辨率、高灵敏度的非接触式三维成像方法，可以对组织内部断层、手术器械进行成像，特别适用于精细手术的导航，使得显微镜集成的OCT手术导航系统(microscope integrated OCT,MIOCT)得到了发展，同时高速扫频光学相干层析成像(SS-OCT)技术的发展，使三维OCT实时成像在术中应用成为可能。专利WO 2016/172495 Al提供了一种MIOCT成像显示方法，将OCT信息与显微镜信息同时在一个目镜进行展示。但是该方法只是将OCT图像在显微图像旁进行显示，不涉及两者的融合成像，在术中依然需要医生对上述两种图像进行主观匹配。为了解决上述问题，需要对手术成像方法与设备进行改进，获取更加直观的术中导航信息。
增强现实是一种透过摄影机视频的位置及角度精算并加上图像分析技术，使显示设备上的虚拟世界能够与现实世界场景进行融合的技术。在外科手术中，增强现实技术可以将CT等3D影像融合在现实场景上，实现直观式手术引导。增强现实技术的关键在于虚实配准，即建立虚拟图像与现实场景的坐标转换关系，其难点在于寻找同一点在虚、实坐标系下的位置，即基准点设置与跟踪：利用人为放置的物体作为基准点进行配准，可以得到准确性较好的匹配结果，但是该方法可能具有创伤性；利用体表特征设定基准点可以避免额外创伤，但是在特征不明显时识别效果不佳，限制了该方法的应用。因此为了将三维OCT图像作为虚拟图像融合到显微镜图像中，需要引入新的配准、融合方法以及成像系统。
发明内容
本发明所要解决的技术问题在于针对上述现有技术中的不足，提供一种基于光学相干层析增强现实的手术显微成像系统与方法。
为解决上述技术问题，本发明采用的技术方案是：一种基于光学相干层析增强现实的手术显微成像系统，包括：
手术显微单元，用于采集手术区域的二维显微图像；
光学相干层析单元，用于采集手术区域的OCT三维图像；
处理控制单元，用于获取手术区域的二维显微图像、OCT三维图像，以及手术区域的二维显微图像与OCT三维图像融合后的图像；
显示单元，用于输出显示所述处理控制单元的结果，为手术进行导航；
该系统还包括引导光源，其可由手术显微单元捕获，用于投射与所述光学相干层析单元的OCT扫描光源同步的引导光点至手术区域。
优选的是，所述系统还包括手术照明单元及沿所述手术显微单元的成像光路依次设置的物镜、分光单元和光学变倍单元；
所述手术照明单元用于为手术区域提供照明光，手术区域反射的照明光依次经过所述物镜、分光单元、光学变倍单元后进入所述手术显微单元，实现手术区域的二维显微成像；
所述引导光源和所述光学相干层析单元的OCT扫描光源发出的光线依次经过所述分光单元和物镜后到达手术区域，手术区域反射的OCT扫描光沿原路返回至所述光学相干层析单元，实现OCT三维成像；手术区域反射的引导光经过所述分光单元后，其中一部分沿进入到所述光学相干层析单元，另一部分进入到所述手术显微单元。
优选的是，所述手术显微单元包括成像镜头和相机，所述成像镜头包括左、右成像镜头，所述相机包括左、右相机；其中，所述左成像镜头和左相机对应构成左显微成像模块，所述右成像镜头和右相机对应构成右显微成像模块。
优选的是，所述分光单元为二向色镜，其对所述光学相干层析单元的光进行全反射，对所述引导光源的光进行半透半反射，对所述手术照明单元的光进行全透射。
优选的是，所述光学相干层析单元包括OCT扫描光源、第一耦合器、波分复用器、第一准直器、二维扫描振镜、第二准直镜、反射镜、第三准直器、第二耦合器和平衡探测器；
所述OCT扫描光源发出的OCT扫描光束经所述第一耦合器分成两路，一路为样品光，另一路为参考光；
所述引导光源发出的引导光与所述样品光经过所述波分复用器汇合，然后一同经过所述第一准直器后入射到二维扫描振镜进行偏转，然后经所述二向色镜反射后由所述物镜聚焦于手术区域；
手术区域反射的样品光和一部分引导光被所述二向色镜反射后沿原路返回，经所述第一耦合器后到达所述第二耦合器的一端；手术区域反射的另一部分引导光经过物镜后透射所述二向色镜，再经过所述光学变倍单元后，分别经过所述左成像镜头和右成像镜头后分别进入所述左相机和右相机；
经过所述第一耦合器后出射的参考光依次经过所述第二准直镜、反射镜、第三准直器后到达所述第二耦合器的一端，与到达该处的手术区域反射的样品光和另一部分引导光一同进入所述第二耦合器，进行干涉后再由所述平衡探测器接受，最后输出到所述处理控制单元，实现OCT三维成像；
所述手术照明单元发出的照明光束照射到手术区域后，手术区域反射的照明光与一部分引导光透射所述二向色镜后，再经过所述光学变倍单元后进入所述左显微成像模块和右显微成像模块，最后输出到所述处理控制单元，实现手术区域的二维显微成像；
所述处理控制单元将手术区域的二维显微图像和OCT三维图像进行配准与融合，并通过所述显示单元显示输出，为手术进行导航。
优选的是，所述显示单元为具有立体视觉效果的偏振光显示屏，用于分别输出左显微成像模块中二维显微图像与OCT三维图像融合后的图像，以及右显微成像模块中二维显微图像与OCT三维图像融合后的图像。
一种基于光学相干层析增强现实的手术显微成像方法，该方法采用如上所述的系统进行成像，其包括以下步骤：
步骤1：调节手术照明单元与引导光源的输出强度以及焦点位置，使手术显微单元的相机可清晰观察到手术区域以及引导光点，采集手术区域的显微图像；
步骤2：以相机采集到的显微图像二维平面为x、y轴，建立显微镜二维直角坐标系Ox0y0，按引导光点在图像中的位置得到引导光点在显微镜坐标系下的坐标，并以此为基准点；在OCT三维扫描区域内，改变二维扫描振镜的偏转角度，获取一系列不同的基准点的坐标，记为{A1,A2…An}；
步骤3：将若干连续的相邻位置OCT切片数据作为一个体数据，以OCT深度扫描方向作为z轴，二维扫描振镜扫描的方向作为x、y轴，建立三维直角坐标系Ox0y0z0，称为OCT坐标系；对成像区域进行一次OCT三维扫描，由于步骤2中引导光投射位置对应的振镜偏转角度已知，因此步骤2中的引导光点位置对应OCT标系中的x1、y1坐标值已知，此时再根据OCT层析结构找到引导光点所在边界，即可获取步骤2中的引导光点在OCT坐标系中的z1坐标值，最终得到显微镜二维直角坐标系Ox0y0中的基准点{A1,A2…An}对应在OCT坐标系的坐标{B1,B2…Bn}；
步骤4：将{A1,A2…An}与{B1,B2…Bn}进行拟合，得到OCT坐标系至显微镜二维直角坐标系的转换关系，即为其坐标变换所对应的单应性矩阵，通过对相机标定得到其内部参数，再通过矩阵运算得到相机外部参数；
步骤5：调节手术照明单元强度，并同时对手术区域开始OCT三维扫描；
步骤6：按照步骤4得到的显微镜外参数设置OCT三维重建部分虚拟相机参数，得到配准后的OCT三维重建图像，最后与手术区域的显微图像进行叠加，完成虚实图像融合显示；
步骤7：随着OCT扫描不断更新输入的体数据，重复步骤6，将所有二维结构图重建为手术区域的三维层析模型，并通过显示单元显示，实现对手术区域的显微图像实时增强。
优选的是，对应于左、右相机，需要分别建立各自的显微镜坐标系，再分别与OCT图像进行配准与融合。
优选的是，在设定基准点位置时，二维扫描振镜的偏转角度为OCT三维扫描时的值，而非扫描范围内的任意值。
优选的是，步骤2)中所需的基准点数为n，n≥6。
本发明的有益效果是：本发明能将二维显微图像和OCT三维图像进行精确配准、融合，实现了手术区域的显微图像实时增强，能为手术进行提供更加直观的导航信息，实现直观式手术引导。
附图说明
图1为本发明的一种实施例中的成像系统配置的示意方框图；
图2为本发明的一种实施例中的的成像系统的结构的详细视图；
图3为本发明的一种实施例中的图像融合流程图；
图4为本发明的一种实施例中的坐标系建立、基准点设置与查找的示意图；
图5为本发明的一种实施例中示出的手指显微图与OCT图融合过程与结果；
图6本发明的一种实施例中示出的各个坐标系在空间的关系示意图。
附图标记说明：
1—手术区域；2—物镜；3—光学相干层析单元；4—引导光源；5—分光单元；6—光学变倍单元；7—手术显微单元；8—处理控制单元；9—显示单元；10—手术照明单元；301—扫频激光器；302—第一耦合器；303—波分复用器；304—第一准直器；305—二维扫描振镜；306—第二准直镜；307—反射镜；308—第三准直器；309—第二耦合器；310—平衡探测器；501—二向色镜；701—左成像镜头；702—右成像镜头；703—左相机；704—右相机。
具体实施方式
下面结合实施例对本发明做进一步的详细说明，以令本领域技术人员参照说明书文字能够据以实施。
应当理解，本文所使用的诸如“具有”、“包含”以及“包括”术语并不排除一个或多个其它元件或其组合的存在或添加。
如图1-2所示，本实施例的一种基于光学相干层析增强现实的手术显微成像系统，包括：
手术显微单元7，用于采集手术区域1的二维显微图像；
光学相干层析单元3，用于采集手术区域1的OCT三维图像；
引导光源4，其可由手术显微单元7的相机捕获，用于投射与光学相干层析单元3的OCT扫描光源同步的引导光点至手术区域1；引导光源4发出的光与OCT光同轴；
处理控制单元8，用于获取手术区域1的二维显微图像、OCT三维图像，以及手术区域1的二维显微图像与OCT三维图像融合后的图像；
显示单元9，用于输出显示处理控制单元8的结果，为手术进行导航。
其中，系统还包括手术照明单元10及沿手术显微单元7的成像光路依次设置的物镜2、分光单元5和光学变倍单元6；
手术照明单元10用于为手术区域1提供照明光，手术区域1反射的照明光依次经过物镜2、分光单元5、光学变倍单元6后进入手术显微单元7，实现手术区域1的二维显微成像；
引导光源4和光学相干层析单元3的OCT扫描光源发出的光线依次经过分光单元5和物镜2后到达手术区域1，手术区域1反射的OCT扫描光沿原路返回至光学相干层析单元3，实现OCT三维成像；手术区域1反射的引导光经过分光单元5后，其中一部分沿进入到光学相干层析单元3，另一部分进入到手术显微单元7。
其中，手术显微单元7用于经由物镜2对手术区域1进行二维成像，光学相干层析单元3用于经由物镜2对手术区域1进行二维扫描并由光学相干层析的纵向层析能力实现手术区域1的三维层析成像。手术显微单元7、光学相干层析单元3配置为经由物镜2的轴上区域进行同轴成像。引导光源4用于投射与OCT扫描同轴的引导点光源至手术区域1，最终可由手术显微单元7相机捕获。分光单元5用于实现显微单元、光学相干层析单元3与引导光源4输出的光进行分光及配合，实现不同波长光的耦合及分离。光学变倍单元6用于对手术显微单元7的光学放大，实现不同的成像分辨率。处理控制单元8为协调各组件工作，并获取导航信息，导航信息包括手术区域1的二维显微图像(高分辨的手术区域1表面显微结果)，OCT三维图像(包含手术器械与组织内部结构的光学相干层析三维成像结果)，以及上述两者融合的成像结果。输出单元为立体偏振光显示器，可输出左、右双路导航信息以对手术过程中的手术器械、手术区域1组织进行三维实时监控。手术显微照明单元经由物镜2对手术区域1进行均匀照明。
其中，手术显微单元7为双目手术显微单元7，其包括成像镜头和相机，成像镜头包括左、右成像镜头701、702，相机包括左、右相机703、704；其中，左成像镜头701和左相机703对应构成左显微成像模块，右成像镜头702和右相机704对应构成右显微成像模块。其用于经由物镜2对手术区域1进行二维成像，由两个相机对手术区域1进行二维成像。
本实施例中，手术显微单元7配置为对被进行手术的区域进行大视场的二维成像，可以使手术区域1通过相机转换为数字图像，并由显示单元9展示。例如，手术照明单元10的光经物镜2的旁轴后均匀照明到手术区域1，手术区域1对照明光束反射后经物镜2的主轴、分光单元5、光学变倍单元6进入显微手术显微单元7，手术操作者的可以直接在显示单元9观察到手术区域1图像融合后的双目立体视觉图像。
本实施例中，光学相干层析单元3配置为对进行手术区域1二维扫描，通过光学相干层析技术的纵向层析能力得到手术区域1的三维图像。例如，光学相干层析单元3的成像光束经物镜2透射到达手术区域1，手术区域1对成像光束进行反射后经物镜2、分光单元5、后返回光学相干层析单元3。光学相干层析单元3可以将探测到的干涉信号转化为电信号，在处理单元进行三维重建，在分别与显微镜双路视角进行配准后，获取左右眼的视图，使其与手术显微单元7获取的双目图像融合。处理后在显示单元9中进行双路输出，手术操作者可以在显示单元9同步观察到手术区域1具有立体感知效果的显微图与OCT三维层析图像，以定位手术器械与组织内部结构在三维空间中的位置。
在进一步优选的实施例中，分光单元5为二向色镜501，其对光学相干层析单元3的光进行全反射，对引导光源4的光进行半透半反射，对手术照明单元10的光进行全透射；
光学相干层析单元3包括OCT扫描光源(本实施例中具体为扫频激光器301)、第一耦合器302、波分复用器303、第一准直器304、二维扫描振镜305、第二准直镜306、反射镜307、第三准直器308、第二耦合器309和平衡探测器310；
OCT扫描光源发出的OCT扫描光束经第一耦合器302分成两路，一路为样品光，另一路为参考光；
引导光源4发出的引导光与样品光经过波分复用器303汇合，然后一同经过第一准直器304后入射到二维扫描振镜305进行偏转，然后经二向色镜501反射后由物镜2聚焦于手术区域1；
手术区域1反射的样品光和一部分引导光被二向色镜501反射后沿原路返回，经第一耦合器302后到达第二耦合器309的一端；手术区域1反射的另一部分引导光经过物镜2后透射二向色镜501，再经过光学变倍单元6后，分别经过左成像镜头701和右成像镜头702后分别进入左相机703和右相机704；
经过第一耦合器302后出射的参考光依次经过第二准直镜306、反射镜307、第三准直器308后到达第二耦合器309的一端，与到达该处的手术区域1反射的样品光和另一部分引导光一同进入第二耦合器309，进行干涉后再由平衡探测器310接受，最后输出到处理控制单元8，实现OCT三维成像；
手术照明单元10发出的照明光束照射到手术区域1后，手术区域1反射的照明光与一部分引导光透射二向色镜501后，再经过光学变倍单元6后进入左显微成像模块和右显微成像模块，最后输出到处理控制单元8，实现手术区域1的二维显微成像；
处理控制单元8将手术区域1的二维显微图像和OCT三维图像进行配准与融合，并通过显示单元9显示输出，为手术进行导航。
其中，显示单元9为具有立体视觉效果的偏振光显示屏，用于分别输出左、右两视路各自的融合图像(左显微成像模块中二维显微图像与OCT三维图像融合后的图像，以及右显微成像模块中二维显微图像与OCT三维图像融合后的图像)。
引导光源4和照明光单元可以由处理单元进行控制，控制光强，使得相机可以按需求获取效果最佳的手术区域1的图像，或能同时分辨手术区域1以及引导光点的图像。
本发明还公开一种基于光学相干层析增强现实的手术显微成像方法，该方法采用上述实施例的基于光学相干层析增强现实的手术显微成像系统进行成像。
其中，对显微镜图像以及OCT三维图像进行采集、融合，具体的操作方法如下：
OCT信号处理包括：从平衡探测器310采集到的干涉信号，经解调制——包括减平均、加窗、逆向快速傅里叶变换、取模值后，获得干涉信号在深度域的强度信息。然后根据手术需要可提取手术区域1组织的内部结构信息，其中结构图映射包括：对数映射、亮度，对比度映射、8位灰度图映射。在结构图基础上，滤除影响内部结构显示的无效信息，如不透明表层等，保留OCT图像中有效手术信息，如组织下手术器械、目标组织等，获取的新图像用于之后三维重建的输入。
OCT原始数据经上述处理后，与左相机703、右相机704采集到的图像分别进行融合。其中待融合的OCT图则需事先配准，且在每次手术显导航系统成像相关参数，如OCT扫描方向，显微成像倍率等改变时，都需重新配准。
参照图3，本实施例的基于光学相干层析增强现实的手术显微成像方法，包括以下步骤：
步骤1：调节手术照明单元10与引导光源4的输出强度以及焦点位置，使手术显微单元7的相机可清晰观察到手术区域1以及引导光点，采集手术区域1的显微图像；
步骤2：以相机采集到的显微图像二维平面为x、y轴，建立显微镜二维直角坐标系Ox0y0，按引导光点在图像中的位置得到引导光点在显微镜坐标系下的坐标，并以此为基准点；在OCT三维扫描区域内，改变二维扫描振镜305的偏转角度，获取一系列不同的基准点的坐标，记为{A1,A2…An}；如图4左所示(图中只显示了A1,A2,A3)；
步骤3：将若干连续的相邻位置OCT切片数据作为一个体数据，以OCT深度扫描方向作为z轴，二维扫描振镜305扫描的方向作为x、y轴，建立三维直角坐标系Ox0y0z0，称为OCT坐标系；对成像区域进行一次OCT三维扫描，由于步骤2中引导光投射位置对应的振镜偏转角度已知，因此步骤2中的引导光点位置对应OCT标系中的x1、y1坐标值已知，此时再根据OCT层析结构找到引导光点所在边界，即可获取步骤2中的引导光点在OCT坐标系中的z1坐标值，最终得到显微镜二维直角坐标系Ox0y0中的基准点{A1,A2…An}对应在OCT坐标系的坐标{B1,B2…Bn}；如图4右侧所示(图中只显示了B1,B2,B3)；
步骤4：将{A1,A2…An}与{B1,B2…Bn}进行拟合，得到OCT坐标系至显微镜二维直角坐标系的转换关系，为其坐标变换所对应的单应性矩阵，通过对相机标定得到其内部参数，再通过矩阵运算得到相机外部参数；
步骤5：将手术照明单元10强度至常规手术显微成像亮度，并同时对手术区域1开始OCT三维扫描；
步骤6：按照步骤4得到的显微镜外参数设置OCT三维重建部分虚拟相机参数，得到配准后的OCT三维重建图像，最后与手术区域1的显微图像进行叠加，完成虚实图像融合显示；
步骤7：随着OCT扫描不断更新输入的体数据，重复步骤6，将所有二维结构图重建为手术区域1的三维层析模型，并通过显示单元9显示，实现对手术区域1的显微图像实时增强。
其中，在进行上述步骤时，对应于左、右相机703、704，需要分别建立各自的显微镜坐标系，再分别与OCT图像进行配准与融合，获取具有双目立体视觉效果的图像融合结果。
其中，在设定基准点位置时，二维扫描振镜305的偏转角度为OCT三维扫描时的值，而非扫描范围内的任意值。
其中，当系统成像相关参数(如OCT扫描方向，显微成像倍率等)改变时，上述的步骤都需重新进行。
其中，参与三维重建的OCT二维图应只包含有效信息，如组织下手术器械，目标组织等，且不会被上方无效信息遮挡，如不透明组织表层等；该图像从OCT二维结构图中提取。
其中，步骤2)中所需基准点数为n，且n≥6。
图5展示了单个相机采集到的手指显微图像与OCT图像的融合流程图，在采集显微图过程中引导光打开，振镜为静止状态。图上部分从左至右展示了OCT坐标系下的三维OCT图像，显微镜坐标系下相机采集的图像，Ai为引导光点的显微镜坐标，Bi为引导光点的OCT坐标。图下部分展示了显微图与配准好的三维OCT图叠加过程，并展示了融合后的结果。
上述步骤4即为增强现实中的虚实配准过程，在一种实施例中，其采用的具体原理与方法如下：
如图4所示，Ox1y1z1为OCT坐标系，并以此为世界坐标系，即客观世界的绝对坐标系；三维直角坐标系Oxcyczc为相机坐标系，原点位于摄像机光心，zc与光轴重合；Ox0y0为显微镜坐标系。可参照图6，Ox1y1z1至Ox0y0的成像变换可以描述为：
OCT坐标系至相机坐标系的转换关系为Xc：
Figure BDA0002113748820000111
其中：R为记录了旋转变换的旋转矩阵，t为三维平移向量。Tw包含了相机相对世界坐标系的位置与方向，因此被称为相机外参数。
相机坐标系至显微镜坐标系转换关系Z0：
Figure BDA0002113748820000121
dx，dy：显微镜图像像素点在x、y轴上的物理距离,f：显微平面到相机焦平面距离，a，b：相机主点在显微镜坐标系下的坐标，αx、αy为像元高宽比，且αx＝f/dx，αy＝f/dy。K只与相机内部结构有关，因此为相机内参数。由式(1)与式(2)可得OCT坐标系至显微镜坐标系的转换关系：
Figure BDA0002113748820000122
对于步骤四中每一对点Ai和Bi，有：
Ai＝PBi，P＝KTw＝K[R|t] (4)
P为3*4矩阵，通过至少6对Ai和Bi可求解P。P可写成：
P＝KTw＝K[R|t]＝[KR|Kt]＝[M|Kt] (5)
旋转矩阵R为正交矩阵，因此有：
MMT＝KRRTKT＝KKT (6)
其中上标T为矩阵转置；又K为上三角矩阵，因此可求出K，R。而t可由下式求得：
t＝K-1(P14P24P34)T (7)
其中P的下标为矩阵行和列。至此，相机外参数Tw与内参数K已全部求出，即得出OCT坐标系至显微镜二维直角坐标系的转换关系。
上述三维重建操作流程为：将若干连续的相邻位置OCT切片数据作为一个体数据输入到三维重建部分，基于体绘制算法，将所有二维结构图重建为手术区域1的三维层析模型。双路图像融合结果最终由立体偏振光显示器进行输出。
尽管本发明的实施方案已公开如上，但其并不仅仅限于说明书和实施方式中所列运用，它完全可以被适用于各种适合本发明的领域，对于熟悉本领域的人员而言，可容易地实现另外的修改，因此在不背离权利要求及等同范围所限定的一般概念下，本发明并不限于特定的细节。

Claims (10)

1.一种基于光学相干层析增强现实的手术显微成像系统，包括：
手术显微单元，用于采集手术区域的二维显微图像；
光学相干层析单元，用于采集手术区域的OCT三维图像；
处理控制单元，用于获取手术区域的二维显微图像、OCT三维图像，以及手术区域的二维显微图像与OCT三维图像融合后的图像；
显示单元，用于输出显示所述处理控制单元的结果，为手术进行导航；
其特征在于，所述系统还包括引导光源，其可由手术显微单元捕获，用于投射与所述光学相干层析单元的OCT扫描光源同步的引导光点至手术区域。
2.根据权利要求1所述的基于光学相干层析增强现实的手术显微成像系统，其特征在于，所述系统还包括手术照明单元及沿所述手术显微单元的成像光路依次设置的物镜、分光单元和光学变倍单元；
所述手术照明单元用于为手术区域提供照明光，手术区域反射的照明光依次经过所述物镜、分光单元、光学变倍单元后进入所述手术显微单元，实现手术区域的二维显微成像；
所述引导光源和所述光学相干层析单元的OCT扫描光源发出的光线依次经过所述分光单元和物镜后到达手术区域，手术区域反射的OCT扫描光沿原路返回至所述光学相干层析单元，实现OCT三维成像；手术区域反射的引导光经过所述分光单元后，其中一部分沿进入到所述光学相干层析单元，另一部分进入到所述手术显微单元。
3.根据权利要求2所述的基于光学相干层析增强现实的手术显微成像系统，其特征在于，所述手术显微单元包括成像镜头和相机，所述成像镜头包括左、右成像镜头，所述相机包括左、右相机；其中，所述左成像镜头和左相机对应构成左显微成像模块，所述右成像镜头和右相机对应构成右显微成像模块。
4.根据权利要求3所述的基于光学相干层析增强现实的手术显微成像系统，其特征在于，所述分光单元为二向色镜，其对所述光学相干层析单元的光进行全反射，对所述引导光源的光进行半透半反射，对所述手术照明单元的光进行全透射。
5.根据权利要求1所述的基于光学相干层析增强现实的手术显微成像系统，其特征在于，所述光学相干层析单元包括OCT扫描光源、第一耦合器、波分复用器、第一准直器、二维扫描振镜、第二准直镜、反射镜、第三准直器、第二耦合器和平衡探测器；
所述OCT扫描光源发出的OCT扫描光束经所述第一耦合器分成两路，一路为样品光，另一路为参考光；
所述引导光源发出的引导光与所述样品光经过所述波分复用器汇合，然后一同经过所述第一准直器后入射到二维扫描振镜进行偏转，然后经所述二向色镜反射后由所述物镜聚焦于手术区域；
手术区域反射的样品光和一部分引导光被所述二向色镜反射后沿原路返回，经所述第一耦合器后到达所述第二耦合器的一端；手术区域反射的另一部分引导光经过物镜后透射所述二向色镜，再经过所述光学变倍单元后，分别经过所述左成像镜头和右成像镜头后分别进入所述左相机和右相机；
经过所述第一耦合器后出射的参考光依次经过所述第二准直镜、反射镜、第三准直器后到达所述第二耦合器的一端，与到达该处的手术区域反射的样品光和另一部分引导光一同进入所述第二耦合器，进行干涉后再由所述平衡探测器接受，最后输出到所述处理控制单元，实现OCT三维成像；
所述手术照明单元发出的照明光束照射到手术区域后，手术区域反射的照明光与一部分引导光透射所述二向色镜后，再经过所述光学变倍单元后进入所述左显微成像模块和右显微成像模块，最后输出到所述处理控制单元，实现手术区域的二维显微成像；
所述处理控制单元将手术区域的二维显微图像和OCT三维图像进行配准与融合，并通过所述显示单元显示输出，为手术进行导航。
6.根据权利要求5所述的基于光学相干层析增强现实的手术显微成像系统，其特征在于，所述显示单元为具有立体视觉效果的偏振光显示屏，用于分别输出左显微成像模块中二维显微图像与OCT三维图像融合后的图像，以及右显微成像模块中二维显微图像与OCT三维图像融合后的图像。
7.一种基于光学相干层析增强现实的手术显微成像方法，其特征在于，该方法采用如权利要求2-6中任意一项所述的系统进行成像，其包括以下步骤：
步骤1：调节手术照明单元与引导光源的输出强度以及焦点位置，使手术显微单元的相机可清晰观察到手术区域以及引导光点，采集手术区域的显微图像；
步骤2：以相机采集到的显微图像二维平面为x、y轴，显微图像左上角为原点，建立显微镜二维直角坐标系Ox0y0，按引导光点在图像中的位置得到引导光点在显微镜坐标系下的坐标，并以此为基准点；在OCT三维扫描区域内，改变二维扫描振镜的偏转角度，获取一系列不同的基准点的坐标，记为{A1,A2…An}；
步骤3：将若干连续的相邻位置OCT切片数据作为一个体数据，以OCT深度扫描方向作为z轴，二维扫描振镜扫描的方向作为x、y轴，建立三维直角坐标系Ox0y0z0，称为OCT坐标系；对成像区域进行一次OCT三维扫描，由于步骤2中引导光投射位置对应的振镜偏转角度已知，因此步骤2中的引导光点位置对应OCT标系中的x1、y1坐标值已知，此时再根据OCT层析结构找到引导光点所在边界，即可获取步骤2中的引导光点在OCT坐标系中的z1坐标值，最终得到显微镜二维直角坐标系Ox0y0中的基准点{A1,A2…An}对应在OCT坐标系的坐标{B1,B2…Bn}；
步骤4：将{A1,A2…An}与{B1,B2…Bn}进行拟合，得到OCT坐标系至显微镜二维直角坐标系的转换关系，即为其坐标变换所对应的单应性矩阵，通过对相机标定得到其内部参数，再通过矩阵运算得到相机外部参数；
步骤5：调节手术照明单元强度，并同时对手术区域开始OCT三维扫描；
步骤6：按照步骤4得到的显微镜外参数设置OCT三维重建部分虚拟相机参数，得到配准后的OCT三维重建图像，最后与手术区域的显微图像进行叠加，完成虚实图像融合显示；
步骤7：随着OCT扫描不断更新输入的体数据，重复步骤6，将所有二维结构图重建为手术区域的三维层析模型，并通过显示单元显示，实现对手术区域的显微图像实时增强。
8.根据权利要求7所述的基于光学相干层析增强现实的手术显微成像方法，其特征在于，对应于左、右相机，需要分别建立各自的显微镜坐标系，再分别与OCT图像进行配准与融合。
9.根据权利要求7所述的基于光学相干层析增强现实的手术显微成像方法，其特征在于，在设定基准点位置时，二维扫描振镜的偏转角度为OCT三维扫描时的值，而非扫描范围内的任意值。
10.根据权利要求7所述的基于光学相干层析增强现实的手术显微成像方法，其特征在于，步骤2)中所需的基准点数为n，n≥6。
CN201910583463.8A 2019-07-01 2019-07-01 基于光学相干层析增强现实的手术显微成像系统 Active CN110638527B (zh)

Priority Applications (5)

Application Number Priority Date Filing Date Title
CN201910583463.8A CN110638527B (zh) 2019-07-01 2019-07-01 基于光学相干层析增强现实的手术显微成像系统
EP19935877.1A EP3984486A4 (en) 2019-07-01 2019-10-28 IMAGING SYSTEM AND METHODS FOR SURGICAL MICROSCOPE BASED ON AUGMENTED REALITY WITH OPTICAL COHERENCE TOMOGRAPHY
PCT/CN2019/113695 WO2021000466A1 (zh) 2019-07-01 2019-10-28 基于光学相干层析增强现实的手术显微成像系统与方法
JP2021578120A JP7350103B2 (ja) 2019-07-01 2019-10-28 光コヒーレンス断層拡張現実に基づく手術顕微鏡撮像システム及び方法
US17/646,722 US20220117696A1 (en) 2019-07-01 2022-01-01 Optical coherence tomography augmented reality-based surgical microscope imaging system and method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910583463.8A CN110638527B (zh) 2019-07-01 2019-07-01 基于光学相干层析增强现实的手术显微成像系统

Publications (2)

Publication Number Publication Date
CN110638527A true CN110638527A (zh) 2020-01-03
CN110638527B CN110638527B (zh) 2021-06-01

Family

ID=69009392

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910583463.8A Active CN110638527B (zh) 2019-07-01 2019-07-01 基于光学相干层析增强现实的手术显微成像系统

Country Status (5)

Country Link
US (1) US20220117696A1 (zh)
EP (1) EP3984486A4 (zh)
JP (1) JP7350103B2 (zh)
CN (1) CN110638527B (zh)
WO (1) WO2021000466A1 (zh)

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111887992A (zh) * 2020-07-15 2020-11-06 中国科学院苏州生物医学工程技术研究所 基于光学相干层析成像的智能手术机器人系统
CN111956192A (zh) * 2020-09-21 2020-11-20 佛山光微科技有限公司 一种oct断层成像探头、oct成像系统及成像方法
CN112043383A (zh) * 2020-09-30 2020-12-08 复旦大学附属眼耳鼻喉科医院 一种眼科手术导航系统及电子设备
CN112237416A (zh) * 2020-09-10 2021-01-19 北京信息科技大学 一种基于视网膜表面血管特征的眼底多模态成像系统标定方法
CN112333428A (zh) * 2020-10-26 2021-02-05 浙大网新科技股份有限公司 基于ai实现的普通摄像头大视野监控处理方法与系统
CN113100941A (zh) * 2021-04-12 2021-07-13 中国科学院苏州生物医学工程技术研究所 基于ss-oct手术导航系统的图像配准方法及系统
CN113349928A (zh) * 2021-05-20 2021-09-07 清华大学 用于柔性器械的增强现实手术导航装置及方法
CN114376507A (zh) * 2021-10-19 2022-04-22 宁波明星科技发展有限公司 一种眼底相机的调焦方法
CN115429531A (zh) * 2022-09-02 2022-12-06 重庆贝奥新视野医疗设备有限公司 一种多功能眼前节手术导航显微镜系统及实现方法
CN115554020A (zh) * 2022-09-02 2023-01-03 重庆贝奥新视野医疗设备有限公司 一种眼科手术三维导航系统及实现方法
CN116309899A (zh) * 2022-12-05 2023-06-23 深圳英美达医疗技术有限公司 三维成像方法、系统、电子设备和可读存储介质

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112986286B (zh) * 2021-02-19 2022-09-30 天津大学 X射线双视野显微成像探测系统及其成像方法
US20220366551A1 (en) * 2021-05-11 2022-11-17 Duke University 2d & 3d color fusion imaging
JP2023105612A (ja) * 2022-01-19 2023-07-31 株式会社Ｓｃｒｅｅｎホールディングス 画像表示方法、画像表示装置、プログラムおよび記録媒体
DE102022120203A1 (de) * 2022-08-10 2024-02-15 Carl Zeiss Meditec Ag System zum Erfassen und Visualisieren von OCT-Signalen
DE102022120201A1 (de) * 2022-08-10 2024-02-15 Carl Zeiss Meditec Ag System und Verfahren zur multimodalen Bilderfassung und -visualisierung

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103810709A (zh) * 2014-02-25 2014-05-21 南京理工大学 基于血管的眼底图像与sd-oct投影图像配准方法
CN103892919A (zh) * 2014-03-27 2014-07-02 中国科学院光电技术研究所 基于光学相干层析引导的显微外科手术系统及导航方法
US20160213253A1 (en) * 2015-01-27 2016-07-28 Case Western Reserve University Analysis of optical tomography (oct) images
WO2017075687A1 (en) * 2015-11-03 2017-05-11 Synaptive Medical (Barbados) Inc. Dual zoom and dual field-of-view microscope
CN108697319A (zh) * 2016-03-31 2018-10-23 诺华股份有限公司 用于眼科手术的可视化系统

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1231496B1 (en) * 1994-08-18 2004-12-29 Carl Zeiss AG Optical coherence tomography assisted surgical apparatus
JPH1156772A (ja) * 1997-08-22 1999-03-02 Olympus Optical Co Ltd 光断層画像装置
JP2006026015A (ja) * 2004-07-14 2006-02-02 Fuji Photo Film Co Ltd 光断層画像取得システム
JP5601612B2 (ja) * 2009-06-02 2014-10-08 株式会社ニデック 眼科撮影装置
US9532708B2 (en) * 2010-09-17 2017-01-03 Alcon Lensx, Inc. Electronically controlled fixation light for ophthalmic imaging systems
WO2012100030A2 (en) * 2011-01-19 2012-07-26 Duke University Imaging and visualization systems, instruments, and methods using optical coherence tomography
WO2016172495A1 (en) 2015-04-23 2016-10-27 Duke University Systems and methods of optical coherence tomography stereoscopic imaging for improved microsurgery visualization
US9560959B1 (en) * 2015-09-18 2017-02-07 Novartis Ag Control of scanning images during vitreoretinal surgery
US10064549B2 (en) * 2015-11-16 2018-09-04 Novartis Ag Binocular en face optical coherence tomography imaging
US9675244B1 (en) * 2015-12-02 2017-06-13 Novartis Ag Location indicator for optical coherence tomography in ophthalmic visualization
JP6922358B2 (ja) * 2017-04-06 2021-08-18 株式会社ニデック 生体観察システムおよび生体観察制御プログラム
AU2018384025B2 (en) * 2017-12-12 2024-06-13 Alcon Inc. Combined near infrared imaging and visible imaging in a compact microscope stack
CN108577802B (zh) * 2018-05-18 2021-02-26 深圳市斯尔顿科技有限公司 结合oct成像的眼科手术显微镜系统

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103810709A (zh) * 2014-02-25 2014-05-21 南京理工大学 基于血管的眼底图像与sd-oct投影图像配准方法
CN103892919A (zh) * 2014-03-27 2014-07-02 中国科学院光电技术研究所 基于光学相干层析引导的显微外科手术系统及导航方法
US20160213253A1 (en) * 2015-01-27 2016-07-28 Case Western Reserve University Analysis of optical tomography (oct) images
WO2017075687A1 (en) * 2015-11-03 2017-05-11 Synaptive Medical (Barbados) Inc. Dual zoom and dual field-of-view microscope
CN108697319A (zh) * 2016-03-31 2018-10-23 诺华股份有限公司 用于眼科手术的可视化系统

Cited By (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111887992A (zh) * 2020-07-15 2020-11-06 中国科学院苏州生物医学工程技术研究所 基于光学相干层析成像的智能手术机器人系统
CN112237416A (zh) * 2020-09-10 2021-01-19 北京信息科技大学 一种基于视网膜表面血管特征的眼底多模态成像系统标定方法
CN111956192A (zh) * 2020-09-21 2020-11-20 佛山光微科技有限公司 一种oct断层成像探头、oct成像系统及成像方法
CN112043383A (zh) * 2020-09-30 2020-12-08 复旦大学附属眼耳鼻喉科医院 一种眼科手术导航系统及电子设备
CN112333428A (zh) * 2020-10-26 2021-02-05 浙大网新科技股份有限公司 基于ai实现的普通摄像头大视野监控处理方法与系统
CN113100941B (zh) * 2021-04-12 2022-03-08 中国科学院苏州生物医学工程技术研究所 基于ss-oct手术导航系统的图像配准方法及系统
CN113100941A (zh) * 2021-04-12 2021-07-13 中国科学院苏州生物医学工程技术研究所 基于ss-oct手术导航系统的图像配准方法及系统
CN113349928A (zh) * 2021-05-20 2021-09-07 清华大学 用于柔性器械的增强现实手术导航装置及方法
CN114376507A (zh) * 2021-10-19 2022-04-22 宁波明星科技发展有限公司 一种眼底相机的调焦方法
CN115429531A (zh) * 2022-09-02 2022-12-06 重庆贝奥新视野医疗设备有限公司 一种多功能眼前节手术导航显微镜系统及实现方法
CN115554020A (zh) * 2022-09-02 2023-01-03 重庆贝奥新视野医疗设备有限公司 一种眼科手术三维导航系统及实现方法
CN115429531B (zh) * 2022-09-02 2023-05-12 重庆贝奥新视野医疗设备有限公司 一种多功能眼前节手术导航显微镜系统及实现方法
CN116309899A (zh) * 2022-12-05 2023-06-23 深圳英美达医疗技术有限公司 三维成像方法、系统、电子设备和可读存储介质

Also Published As

Publication number Publication date
CN110638527B (zh) 2021-06-01
JP7350103B2 (ja) 2023-09-25
US20220117696A1 (en) 2022-04-21
WO2021000466A1 (zh) 2021-01-07
EP3984486A1 (en) 2022-04-20
EP3984486A4 (en) 2022-08-24
JP2022539784A (ja) 2022-09-13

Similar Documents

Publication Publication Date Title
CN110638527B (zh) 基于光学相干层析增强现实的手术显微成像系统
JP7073450B2 (ja) 対象領域の観察画像の生成
US6304372B1 (en) Microscope including a fade-in element and related method of using a microscope
JPH05215971A (ja) 計算器に支援された定位形けんび外科用の手術けんび鏡ならびにその操作法
CN109031642B (zh) 一种通用的体视显微裸眼可视化的显示方法和系统装置
JP7404534B2 (ja) 一体化された視覚化カメラ及び光学コヒーレンストモグラフィを用いた外科的応用
CN211934007U (zh) 具有至少一个光束路径切换装置的手术显微镜
Hu et al. Head-mounted augmented reality platform for markerless orthopaedic navigation
US11822089B2 (en) Head wearable virtual image module for superimposing virtual image on real-time image
EP2950130A1 (de) Mikroskop-system mit tiefenvorschau
CN110720986A (zh) 一种多模态显微外科手术导航系统
WO2017169014A1 (ja) 医療用立体観察装置、医療用立体観察方法、及びプログラム
JPH11337845A (ja) 内視鏡装置
JP2002315721A (ja) 癌組織摘出手術用の立体視システム
Schoob et al. Color-encoded distance for interactive focus positioning in laser microsurgery
US20230032791A1 (en) Measuring method and a measuring device
Chios et al. The potential use of an autostereoscopic 3D display in microsurgery
KR102204426B1 (ko) 영상 획득 시스템 및 이를 이용한 영상 획득 방법
JP5054579B2 (ja) 画像処理方法および画像処理装置
US20230026585A1 (en) Method and system for determining a pose of at least one object in an operating theatre
US20240054717A1 (en) System for Acquiring and Visualizing OCT Signals
TW202418223A (zh) 在即時影像上疊加虛擬影像的頭戴式虛擬影像模組
JP2004016357A (ja) 手術用観察システム
Keller et al. Switched pattern laser projection for real-time depth extraction and visualization through endoscopes

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant