CN116919591A - 一种光学成像装置及成像方法 - Google Patents

一种光学成像装置及成像方法 Download PDF

Info

Publication number
CN116919591A
CN116919591A CN202310899534.1A CN202310899534A CN116919591A CN 116919591 A CN116919591 A CN 116919591A CN 202310899534 A CN202310899534 A CN 202310899534A CN 116919591 A CN116919591 A CN 116919591A
Authority
CN
China
Prior art keywords
image
imaging
treatment head
camera
optical
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202310899534.1A
Other languages
English (en)
Inventor
牛传猛
戴建荣
周付根
李露
汪世溶
柴象飞
李彦飞
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Huiying Medical Technology Beijing Co ltd
Shaanxi Huaming Putai Medical Equipment Co ltd
Beihang University
Cancer Hospital and Institute of CAMS and PUMC
Original Assignee
Huiying Medical Technology Beijing Co ltd
Shaanxi Huaming Putai Medical Equipment Co ltd
Beihang University
Cancer Hospital and Institute of CAMS and PUMC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Huiying Medical Technology Beijing Co ltd, Shaanxi Huaming Putai Medical Equipment Co ltd, Beihang University, Cancer Hospital and Institute of CAMS and PUMC filed Critical Huiying Medical Technology Beijing Co ltd
Priority to CN202310899534.1A priority Critical patent/CN116919591A/zh
Publication of CN116919591A publication Critical patent/CN116919591A/zh
Pending legal-status Critical Current

Links

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/10—Computer-aided planning, simulation or modelling of surgical operations
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/0033—Features or image-related aspects of imaging apparatus classified in A61B5/00, e.g. for MRI, optical tomography or impedance tomography apparatus; arrangements of imaging apparatus in a room
    • A61B5/0036—Features or image-related aspects of imaging apparatus classified in A61B5/00, e.g. for MRI, optical tomography or impedance tomography apparatus; arrangements of imaging apparatus in a room including treatment, e.g., using an implantable medical device, ablating, ventilating
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/0059—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/0059—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence
    • A61B5/0071—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence by measuring fluorescence emission
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61N—ELECTROTHERAPY; MAGNETOTHERAPY; RADIATION THERAPY; ULTRASOUND THERAPY
    • A61N5/00—Radiation therapy
    • A61N5/10—X-ray therapy; Gamma-ray therapy; Particle-irradiation therapy
    • A61N5/103—Treatment planning systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00—General purpose image data processing
    • G06T1/0007—Image acquisition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/003—Navigation within 3D models or images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/20—Editing of 3D images, e.g. changing shapes or colours, aligning objects or positioning parts
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes
    • G06T7/68—Analysis of geometric attributes of symmetry
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • G06T7/85—Stereo camera calibration
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/10—Computer-aided planning, simulation or modelling of surgical operations
    • A61B2034/101—Computer-aided simulation of surgical operations
    • A61B2034/105—Modelling of the patient, e.g. for ligaments or bones
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/10—Computer-aided planning, simulation or modelling of surgical operations
    • A61B2034/107—Visualisation of planned trajectories or target regions
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A61B2034/2046—Tracking techniques
    • A61B2034/2055—Optical tracking systems
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A61B2034/2046—Tracking techniques
    • A61B2034/2065—Tracking using image or pattern recognition
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A61B2034/2068—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis using pointers, e.g. pointers having reference marks for determining coordinates of body points
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10064—Fluorescence image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2210/00—Indexing scheme for image generation or computer graphics
    • G06T2210/41—Medical

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Biomedical Technology (AREA)
  • Surgery (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Animal Behavior & Ethology (AREA)
  • General Health & Medical Sciences (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Medical Informatics (AREA)
  • Molecular Biology (AREA)
  • Pathology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Biophysics (AREA)
  • Software Systems (AREA)
  • Computer Graphics (AREA)
  • Robotics (AREA)
  • Radiology & Medical Imaging (AREA)
  • Computer Hardware Design (AREA)
  • General Engineering & Computer Science (AREA)
  • Geometry (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Architecture (AREA)
  • Image Processing (AREA)

Abstract

本发明涉及一种光学成像装置和方法。根据一具体实施例，该光学成像装置可包括：治疗头，内部形成有配件腔体；至少两个成像单元，设置于所述配件腔体内，用于采集目标体图像；图像数据分析单元，与所述至少两个成像单元相连，用于分析所述目标体图像；其中，所述至少两个成像单元的光学镜头朝向所述治疗头的中心轴线，且所述光学镜头的中心轴线汇聚于所述治疗头的中心轴线。该光学成像装置和方法可应用于放疗设备，通过精准定位被照射的区域，并建立被照射区域相对放疗设备的空间位置关系，从而可实现精准的剂量投送。

Description

一种光学成像装置及成像方法
技术领域
本发明总体上涉及医疗设备领域，特别地，涉及一种医疗设备用的光学成像装置及成像方法。
背景技术
荧光成像技术是通过激发光照射已注射荧光染色剂的被成像区域，使其发出荧光，然后利用荧光相机捕获荧光信号获得被成像区域的荧光图像。该技术已成功应用于肿瘤外科手术，辅助外科大夫精准定位和形态获取从而有助于切除肿瘤区域。而有些手术无法完全切除肿瘤区域，可配合术中放疗对可见肿瘤、瘤床或易复发转移部位所在的区域给予单次大剂量照射，进一步杀死肿瘤细胞。
虽然术中放疗设备已被投入临床使用，但由于缺少合适的图像引导设备，无法准确定义靶区和照射范围，需要医生依靠经验确定照射范围和剂量参数，可能导致靶区剂量不足或重要器官剂量超标，无法实现高精度放疗，这严重限制了术中放疗技术的发展和应用。
已有技术提出通过近红外荧光术中的导航系统来解决术中导航成像的问题，或者通过距离测量来克服采集近红外图像时不能实时对焦以及由此导致的近红外图像不清晰等缺陷。但以上方案仅适用于术中放疗的视觉引导，其无法建立被成像区和放疗设备的空间位置关系，因此不能实现精准的剂量投送。
发明内容
本发明专利的目的在于提供一种可应用于放疗设备的光学成像装置和成像控制方法以克服现有技术中存在的上述缺陷中至少之一，通过光学成像装置获取治疗区的图像信息，提高了术中放疗的精准度。
根据本发明一个方面，提供了一种光学成像装置，其包括：治疗头，内部形成有配件腔体；至少两个成像单元，设置于所述配件腔体内，用于采集目标体图像；以及图像数据分析单元，与所述至少两个成像单元相连，用于分析所述目标体图像；其中，所述至少两个成像单元的光学镜头朝向所述治疗头的中心轴线，且所述光学镜头的中心轴线汇聚于所述治疗头的中心轴线。
在一些实施方式中，所述光学成像装置还包括：动力单元，与所述治疗头相连以驱动所述治疗头移动，使得所述光学镜头的中心轴线汇聚处在目标体成像区域内移动对焦。
在一些实施方式中，所述光学成像装置还包括：具有通光孔的基座，设置于所述光学镜头的中心轴线汇聚的方向上，且位于所述配件腔体内部；以及至少一个发光单元，设置于所述基座上。
在一些实施方式中，所述至少两个成像单元围绕所述治疗头的中心轴线均匀分布。
在一些实施方式中，所述成像单元为可见光成像单元和/或荧光成像单元；相应地，所述发光单元为可见光发光单元和/或荧光发光单元。
在一些实施方式中，所述至少一个发光单元围绕所述治疗头的中心轴线均匀设置。
根据本发明的另一个方面，提供了一种光学成像系统，其包括前面描述的光学成像装置；以及与所述光学成像装置相连的工作站。
根据本发明的另一个方面，提供了一种光学成像方法，例如其可应用于前面描述的光学成像装置，光学成像方法可包括如下步骤：通过动力单元移动治疗头，使得至少两个成像单元的光学镜头的中心轴线汇聚处在目标体成像区域内移动对焦；通过所述至少两个成像单元，采集所述目标体成像区域内的目标体图像；以及将所述目标体图像信息传送给图像数据分析单元，确定所述目标体与所述治疗头的位置关系。
在一些实施方式中，成像方法还可包括：对所述目标体图像进行以下至少一项预处理操作，包括图像分割、去噪或增强。
在一些实施方式中，成像方法还可包括：对所述目标体图像进行代价计算和代价聚合，然后进行视差计算与优化；以及对所述目标体图像进行表面重建。
在一些实施方式中，成像方法还可包括：计算所述目标体成像区域的深度信息；以及根据所述深度信息，叠加可见光或荧光纹理。
在一些实施方式中，所述目标体图像通过以下方法进行代价聚合：根据图像中两个像素点之间的颜色与距离相似度，采取基于自适应权重的聚合方法进行聚合操作。
在一些实施方式中，所述目标体图像被通过以下方法进行表面重建：根据像素距离和空间距离，对三维点云进行滤波平滑；以及通过叠加荧光或可见光图像作为纹理，恢复荧光标记的或可见光的三维模型。
本发明的另一方面还提供了一种计算机可读存储介质，其上存储有程序指令，所述程序指令被处理器执行时使得所述处理器执行上述成像方法中的各步骤。
本发明提供了一种光学成像装置及成像方法，成像装置可获取治疗区的图像信息，可用于术中导航，辅助医生准确定位肿瘤，从而提高手术精度和术中放疗的精准度。在一些实施方式中，通过图像分析和三维重建等可获得被照射区域相对于放疗设备的空间位置等信息，从而可用于术中放疗模拟定位和计划设计等，实现更加精准的术中放疗。
以上为了概述本申请的目的而描述了本发明的某些方面、优点和新颖特征。应当理解，根据本发明的任何特定实施例，不一定要实现所有这些优点。因此，可以以实现或优化本文所教导的一个优点或一组优点的方式来实现或实施本发明，而不必实现本文所教导或教示的其他优点。
附图说明
下面参考附图讨论至少一个示例的各个方面，附图不旨在按比例绘制。包括附图是为了提供对各个方面和示例的说明和进一步理解，并且附图被并入并构成本说明书的一部分，但并不旨在作为本申请的限制的定义。在附图中，在各图中示出的每个相同或几乎相同的部件由相同的数字表示。为清楚起见，并非在每个附图中标记每个部件。在图中：
图1为根据本发明一实施例的光学成像装置的整体结构示意图；
图2为根据本发明一实施例的光学成像装置的部分结构示意图；
图3为根据本发明一实施例的利用光学成像装置进行成像方法的流程示意图；
图4为根据本发明一实施例的基于立体视觉进行三维重建的流程示意图。
具体实施方式
为了使本发明实现的技术手段、创作特征、达成目的与功效易于明白了解，以下将结合附图对本发明实施例中的技术方案进行清楚、完整地描述。显然，所描述的实施例仅是本发明一部分实施例，本发明并不局限于这些示范性实施例的精确形式。
图1示出了根据本发明一实施例的光学成像装置的结构示意图，其可应用于术中放疗对于靶区的成像，即该光学成像装置可构成放疗装置或系统的一部分。如图1所示，本发明实施例的光学成像装置可包括：治疗头100、成像单元200和图像数据分析单元300。其中，治疗头100和成像单元200可一体安装，图像数据分析单元300可通过电缆、光纤等连接线缆302与成像单元200相连，用于接收成像单元200采集的图像等数据并进行图像分析以获得位置关系等数据信息。
其中，治疗头100可包括用于实现放射治疗的治疗组件，例如，治疗头100可包括产生放疗射线束的束流模块，射线束可为电子束和/或X射线，射束能量可调节从而满足不同的放射要求，在一具体示例中，射线束为6-12MeV的电子束。
在一实施例中，为了使得治疗头100和成像单元200一体安装，治疗头100可包括容纳其束流模块的壳体，在壳体内部形成有配件腔体以用于容纳多种成像配件，成像单元200安装设置在该配件腔体内，从而其与治疗头100可相对固定。在放射治疗过程中，成像单元200可用于对施照部位进行目标体的图像采集并确定靶区，治疗头100射出的射线可精准地照射在该靶区上，从而实现了图像引导的放射治疗，提高了放疗精度。
如图1所示，容纳有治疗头100和成像单元200的壳体包括成柱体的上部和呈倒棱台的下部，两者可以是单个元件，也可以是分立的结构通过常规的连接方法(诸如螺钉连接、粘合剂连接或其他合适的连接方法)而构造成一体。可以理解，虽然示意性地以棱柱体为例对壳体的结构进行了描述，但壳体也可以采用其他形状构造，本申请并不做具体限制。
壳体的周侧以及底部可设置竖直支撑板102以及水平支撑板104以用于支撑固定内部的成像、电源等配件，为了进一步提高结构稳固性，壳体的上部和下部之间还可设置有水平支撑板106，水平支撑板106的两侧可分别用于支撑成像单元200，其中间部位可镂空以用于射线束穿过。
继续参照图1，成像单元200可设置在壳体的上部腔体内，其包括有至少两个成像单元210、220以用于采集目标体图像，该多个成像单元210、220可围绕治疗头100的中心轴线均匀分布。在一具体实施方式中，如图1所示，两个成像单元210和220相对于治疗头100的中心线或中心平面对称安装在治疗头内部腔体的两侧以进行双目立体成像，从而更好地获取治疗区域的肿瘤图像信息并可通过图像分析得到被照射区域相对于放疗设备的空间位置等信息，这将在下面进行具体描述。可以理解，虽然以两个成像单元210和220为例进行了说明，但可以设置更多成对的成像单元来进行可见光成像或荧光成像，以用于采集治疗区的目标体图像信息。
每个成像单元具有相同的结构组成，以成像单元210为例，其可包括相机212、相机电控设备214、相机座216等部件，其中，相机212通过相机座216安装在水平支撑板216上。相机212可倾斜设置使得其光学镜头朝向治疗头100的中心轴线，从而可用于采集肿瘤靶区的目标体图像。为此，相机座216上侧有用于安装相机212的斜面，例如与水平支撑板106所在的水平面呈锐角。为了提高相机的稳固性，相机212和相机座216在侧部抵靠有L形板条108，板条108的竖直部分安装在壳体的竖直支撑板102上，而其底部部分支撑在水平支撑板106之上。
相机电控设备214可被设置在电控箱中，电控箱安装在竖直支撑板102上，其内部可包括相机电源、相机控制器等相机配件，其中，相机电源可通过线缆给相机212和相机控制器供电，相机控制器可控制相机212的图像采集操作，并可将采集的图像传送至图像数据分析单元300。
在一实施例中，相机212可采用双光谱相机，既可进行可见光成像，也可进行荧光成像。双光谱相机212可以具有第一成像模式和第二成像模式。在第一成像模式下，相机210可接收可见光信号，采集被成像区域的可见光RGB图像；在第二成像模式下，相机可接收荧光信号，采集被成像区域的红外荧光图像。例如，可通过控制照射光源，并调整相机距被成像区域的高度，分别以所述第一成像模式和所述第二成像模式进行拍摄操作，相机212朝向成像区域多次采集可获取到同一视角下采集的成像区域的可见光和/或荧光图像。
成像单元220可包括相机222、相机电控设备224、相机座226等部件，与相机212类似，相机222可倾斜设置使得其光学镜头朝向治疗头100的中心轴线，从而可用于采集肿瘤靶区的目标体图像。相机座226的结构和安装方式与相机座216也相似，此处不再赘述。
相机电控设备224也被设置在电控箱中，其内部可包括相机电源、相机控制器等相机配件，通过为相机212和相机222分别设置电控设备并对称布置在壳体中有助于提高成像装置的稳定性。在一实施方式中，为了保证结构紧凑性，电控箱还可容纳光源配件等其他辅助设备，这将在后面描述。可以理解，这些辅助设备也可安装在电控设备224外部或壳体的其他部位。
如图1所示，两个相机212和222的光学镜头均朝向治疗头100的中心轴线，例如两个相机的光学镜头的光轴线汇聚于治疗头100的中心轴线，即与治疗头100的中心轴线相交于一点，这便于对目标肿瘤、瘤床等区域进行双目视觉成像。
为了进行可见光成像和荧光成像，在成像单元200的下方可设置有光源模块400，光源模块400可安装在壳体配件腔体内的水平支撑板104上，其相对于成像单元210、220更靠近治疗头100的中心轴线进行安装以避免对相机的成像操作造成遮挡。
在一实施例中，光源模块400可包括光源基座402和至少一个发光单元404，其中，光源基座402设置于相机212、222的光学镜头的中心轴线汇聚的方向上以用于辅助成像。光源基座402的中心可具有通孔以用于射线束穿过，同时，其周边还设置有通光孔以便于发光单元404提供的光照射到目标体区域。两个或更多个发光单元404设置于光源基座402上，例如其可围绕治疗头100的中心轴线均匀设置以形成均匀光场来辅助靶区成像。
在一实施例中，相机212、222可配置为可见光成像，相应地，发光单元404可包括可见光光源，其可采用发光二极管等。例如，发光二极管光源可包括四对共八个LED灯珠，其沿圆周分布在光源座402上，可在成像单元下方形成均匀光场，且光场中心位于成像单元的中心轴线上。
在一实施例中，相机212、222至少之一还配置为可进行荧光成像，相应地，发光单元404可包括荧光激发光源，其可采用激光发生器等。例如，激光器可发出特定波长的激光。在成像装置启动工作后，目标区域组织中的造影剂受到激光的激发，可向外发射近红外荧光。此荧光信号被相机212、222(例如，红外相机)捕捉到，从而可采集到荧光图像。
在一实施例中，相机212、222可配置为双光谱相机，其可进行可见光成像和荧光成像，相应地，发光单元404可包括可见光光源(例如，LED灯珠)和荧光光源(例如，激光发生器)，例如可见光光源和荧光光源可沿圆周布置在光源座402上，并且，可见光光源和荧光光源各自分别按照前面描述均匀分布。替代地，可见光光源可采用多个发光二极管，其沿圆周分布在光源座402上来形成均匀光场，而荧光光源可采用一个激光器，其配置有匀光模块以对激发光进行匀光处理使得投射于目标区域的光强分布均匀。
在此实施方式中，可见光光源和荧光光源可单独进行控制，例如，在进行可见光成像时，可控制开启可见光光源并关闭荧光光源，而在进行荧光成像时，可开启荧光光源并关闭可见光光源。通过交替开启可见光光源和荧光光源，并调整相机距被成像区域的高度，相机212、222可采集获取目标体区域的可见光图像(RGB图像)和荧光图像(例如，肿瘤的分布图像)。
图像数据分析单元300通过线缆302可接收相机212、222采集的可见光图像或荧光图像，并可对该图像进行处理分析以获得肿瘤位置、深度等信息。在一示例中，图像数据分析单元300可以是图像处理器或具有图像处理功能的控制器，其可以具有硬件结构，或者采用硬件和软件相结合的方式来实施，处理器可以运行在Windows、UNIX等操作系统。
在一实施例中，图像数据分析单元300可以包括在具有人机交互功能的控制终端或工作站中，控制终端或工作站与前面描述的光学成像装置共同组成一套可应用于术中放疗的成像系统。该工作站除了包括图像数据分析单元300之外，还可包括显示器304(例如LED显示屏)等部件，例如，图像数据分析单元300在处理得到肿瘤的分布图像后，可以通过控制模块将该图像传输至显示器304进行显示。工作站还可对成像单元200的采集、光源模块400的开启/关闭、光源功率调节等功能进行控制。此外，工作站还可包括计划设计等模块，其例如可基于图像数据分析单元300处理获得的信息等确定出合适的放射剂量，利于医生提高术中放疗的精准性。
虽然未示出，本实施例的光学成像装置还可包括动力单元，其可与治疗头100相连以驱动治疗头100进行移动，从而带动成像单元200进行移动并使得相机212、222的光学镜头的中心轴线汇聚处在目标体成像区域内移动对焦。该动力单元例如可包括多个机械臂，其例如为电动、气动或液压驱动机械臂，该多个机械臂的一端可连接(例如，绞接)到治疗头100的壳体的上部或下部，另一端可连接到升降装置，升降装置的升降运动通过机械臂可带动治疗头100进行上下移动。另外，多个机械臂也可通过程序控制(例如，由控制终端进行控制)进行致动操作下实现治疗头100的摆动等其它运动。关于动力单元，可参照本发明人的专利申请CN 202021004311.2(“移动式放疗机器人”)，在此通过引用将该专利文献整个内容并入本申请中。
图2为根据本发明一实施例的光学成像装置的部分结构示意图，其更具体地示出了图1的壳体内部的结构，为了描述方便，相同的部件采用相同的附图标记。
参照图2，治疗头100的壳体上部由竖直支撑板102封闭形成配件腔体，腔体内容纳有多个成像单元210、220。成像单元210包括相机212、相机电控设备214和相机座216，其中，相机212包括相机机体2121和连接到相机机体2121的配套相机镜头2122，相机机体2121可固定安装在相机座216的上部斜面上，相机镜头2122可容纳在相机座216的内部，相机镜头2122的光轴线与治疗头100的中心轴线汇聚相交于P，支撑相机座216的水平支撑板在与相机的光轴相交的区域可镂空从而不影响相机的可见光或荧光成像。
相机电控设备214可设置在安装在治疗头的竖直支撑板上的电控箱中，其内部可包括相机控制器2141和相机电源2142等配件，其中，相机电源2142可通过线缆给相机212和相机控制器2141供电，相机控制器2141可与成像装置的控制终端或工作站通过线缆通信连接，相机212和相机控制器2141也可通过线缆通信连接。在一实施例中，相机控制器2141可控制相机镜头2122内的电机运动从而使得相机镜头2122能够调焦并采集清晰的目标体图像。
成像单元220包括相机222、相机电控设备224和相机座226。以治疗头100的中心轴线为对称线，相机222通过相机座226与相机212左右对称地安装在治疗头内部腔体的另一侧水平支撑板上。相机座226的上部安装斜面的倾斜角度与相机座216相等，使得两个相机的光轴线与治疗头100中心轴线汇聚相交于P点。
相机222包括相机机体2221和连接到相机机体2221的相机镜头2222，相机机体2221可固定安装在相机座226的上部安装斜面上，相机镜头2222可容纳在相机座226的内部，支撑相机座226的水平支撑板在与相机的光轴相交的区域可镂空从而不影响相机222的可见光或荧光成像。
相机电控设备224可安装在治疗头的竖直支撑板上，例如，电控箱内部可包括相机控制器2241和相机电源2242等配件，其中，相机电源2242可通过线缆给相机222和相机控制器2241供电，相机控制器2241可与成像装置的控制终端或工作站通过线缆通信连接，相机222和相机控制器2241也可通过线缆通信连接。在一实施例中，相机控制器2241可控制相机镜头2222内的电机运动从而使得相机镜头2222能够调焦并采集清晰的目标体图像。优选地，相机镜头2221、2222具有相同的标定参数，使得相机控制器2141、2241能够从控制终端接收相同的控制参数并对两个相机镜头2122、2222进行相同程度的调焦。
为了辅助成像单元进行可见光或荧光成像，治疗头100的壳体内还可设置有光源模块，其可包括光源座402、光源404(例如可见光光源、荧光光源)、光源控制器406、光源电源408等部件。其中，一个或多个可见光光源和荧光光源通过光源座402安装在壳体下部的支撑板上。在一实施例中，可见光光源、荧光光源沿圆周分布在光源座402上，从而可在成像单元下方形成均匀光场，成像单元轴线穿过所述光场中心从而有助于进行清晰成像。
为保证结构紧凑性同时防止对成像造成遮挡，如图2所示，光源电源404、光源控制器406可安装在壳体上部，例如其可与相机控制元件等安装在同一电控箱内。光源电源404通过线缆给可见光光源、荧光光源和光源控制器406进行供电，光源控制器406和成像装置的控制终端或工作站通过线缆通信连接，同时光源控制器406和可见光光源、荧光光源通过线缆通信连接以控制光源的开启和关闭。例如，对于双光谱相机，光源控制器406可交替开启可见光光源和荧光光源，并通过动力单元调整相机距被成像区域的高度和/或对准角度，多次采集可见光或荧光图像。
根据本发明公开的实施例的成像装置，通过治疗头、成像单元等的特定结构设置，其可辅助医生实现高精度的放射治疗，例如，射束可准确地照射在预先通过图像识别的靶区，能避免对危及器官造成伤害，提高放疗效果。
图3为根据本发明一实施例的利用光学成像装置进行成像方法的流程示意图，例如其可应用于前面结合图1-2所描述的光学成像装置。如图3所示，光学成像方法可包括如下步骤：510，移动治疗头，使得至少两个成像单元的光学镜头的中心轴线汇聚处在目标体成像区域内移动对焦；步骤520，通过所述至少两个成像单元，采集所述目标体成像区域内的目标体图像；以及步骤530，将所述目标体图像信息传送给图像数据分析单元，确定所述目标体与所述治疗头的位置关系。基于该位置关系，工作站可计算出合适的剂量参数，实现更加精准的剂量投送。
步骤510中，例如可通过与治疗头连接的动力单元移动治疗头，从而使得安装在治疗头壳体内的光学成像单元以一定角度和高度对准被成像区域。之后，工作站可发出控制信号，通过相机控制器和光源控制器分别开启相机和光源。
如前描述，光源系统可包括可见光光源和荧光光源，两者可单独进行控制。例如，在该步骤中可先开启可见光光源便于相机光学镜头能够调焦使得对准被成像区域对焦。在对焦完成后的采集图像的步骤520中，控制器可控制两个光源的开启和关闭，例如，在可见光成像完成后，可关闭可见光光源并开启荧光光源，从而可进行荧光成像。
步骤520中，成像单元(相机)可基于光源类型而采集相应的目标体(例如，肿瘤)图像。例如，对于双光谱相机，其在可见光光源开启时可接收可见光信号，形成被成像区域的可见光图像，而在荧光光源开启时可接收荧光信号，形成被成像区域的荧光图像。
在一实施例中，工作站可控制光源控制器交替开启可见光光源和荧光光源，并调整相机距离被成像区域的高度和/或相机对准被成像区域的角度，从而多次采集可见光或荧光图像信息，这有助于获取清晰的目标体图像。
步骤530中，相机采集的目标体图像信息通过数据线缆可传送至工作站，工作站获取到该信息后可形成图像并显示在屏幕上，例如，工作站中的图像数据分析单元可将荧光图像和可见光图像融合后传送到显示器进行显示，医生根据图像显示出的肿瘤分布情况可进行相应操作。
在一实施例中，如图1-2所示，成像装置可包括两个相机从而形成双目视觉，此时，工作站中的图像数据分析单元还可进行图像分析以确定出目标体与治疗头的位置关系，这能够实现更加精准的剂量投送。以下以示例性的方式对基于图像分析进行三维重建的方法进行介绍。
图4为根据本发明一实施例的基于立体视觉进行三维重建的流程示意图，其可例如通过工作站的图像数据分析单元来实现。如图4所示，三维重建方法可包括如下步骤：
步骤S610：对目标体图像进行以下预处理操作，包括图像分割、去噪或增强中的至少一项。其中，该目标体图像例如包括相机212采集的第一图像和相机222采集的第二图像。
在一实施例中，图像数据分析单元可以先对采集的原始图像进行校正，例如根据相机的标定参数对第一图像和第二图像进行校正，去除原始图像的畸变，从而保证匹配准确性和可靠性。
此外，由于对目标体进行成像操作时相机存在倾角，因此校正后的左图(第二图像)左侧和右图(第一图像)右侧可能存在黑边，为了提高运行效率，需要裁剪黑边。在一实施例中，还可以对两个相机采集的可见光图像中有效病灶区域进行图像分割、图像去噪(例如，采用双边滤波去噪等算法)和对比度增强(例如，采用直方图均衡化算法)，以改善输入图像的质量。
步骤S620：基于所述目标体图像获得双目视差图。
本实施例并不限定视差图的具体获取方式。在一实施例中，可将第一图像和第二图像通过代价计算、代价聚合、视差计算及优化等处理得到双目视差图，例如，代价计算可采用AD-Census算法。其中，AD代价为左右视图的对应像素点间RGB三通道内的平均颜色差异，其可按下式进行计算：
式中，CAD(p,d)表示左图的像素点p与对应右图视差为d像素点之间的AD(绝对差)代价值，I表示图像的RGB三通道颜色分量信息。
Census代价计算主要包括二进制变换码生成与汉明(Hamming)距离计算两个步骤。在一实施例中，为了减小噪声或光斑点的干扰，计算Census代价时(二进制变换码)，可首先计算像素点p与其邻域像素点q两点之间颜色的曼哈顿距离dmc(p,q)，然后统计支持窗内所有邻域像素点与中心像素点之间的曼哈顿距离的均值和标准差，其中，曼哈顿距离通过下式进行计算：
式中，Ic(p)、Ic(q)分别表示中心点p与其邻域像素点q的RGB三通道颜色分量信息。
之后，可按照Census变换规则来计算Census值，将窗口中心像素值与其邻域内像素点比较，将比较结果表示为二进制码流，具体见下式(3)：
式中，q属于p的邻域Np，dmc(q)表示q点到p点的曼哈顿距离，dmean(p)表示邻域内曼哈顿距离的均值，dstd(p)表示邻域内曼哈顿距离的标准差，δ(a,b)为一个二值化函数，为按位连接符，即census(p)为由0、1构成的二进制序列码。
对右图中与像素点p视差值为d的待匹配像素p-(d,0)进行变换，可获得其Census值(二进制变换码)。左图中的点p和右图中视差为d的对应点p-(d,0)之间的Census代价Ccensus(p,d)可通过计算两点Census值之间的汉明距离获取。
通过AD代价计算得到CAD(p,d)和通过Census代价计算得到Ccensus(p,d)，AD-Census代价是对二者的代价值进行融合。在一实施方式中，可采用设定截断阈值的方法来计算合并代价值，计算公式如下：
C(p,d)＝λmin{Ta,C'AD(p,d)}+(1-λ)min{Th,C′census(p,d)} (4)
其中，为归一化后的匹配代价，Np为Census值比特串的长度，λ为融合参数，Ta、Th为设定阈值。
在代价计算之后，可进行代价聚合以提高匹配精度。本实施例并不对代价聚合的计算方式作具体限制。在一具体实施方式中，可根据图像中两个像素点之间的颜色与距离相似度，采取基于自适应权重的聚合方法进行聚合操作，这可使视差图更加平滑以提高整体精度。
具体而言，可先判断矩形支持窗内的像素是否满足下式(5)(例如，两行确定的条件之一)，若满足，则认为两像素点足够相似，为其分配最大的权重值1。
其中，Dc(p,q)表示p、q两点间的颜色差异，Dd(p,q)表示p、q两点间的像素坐标距离，其可使用欧氏距离等来计算，颜色阈值c2<c1，距离阈值d2>d1，保证在距离较远时采用更加严格的颜色阈值。为了提高计算效率，可使用稀疏支持窗来完成计算。
若不满足式(5)，则根据两点间的颜色与距离相似度，按下式(6)权重分配规则来计算分配权重w∈(0,1)：
其中，λc、λd为融合参数。
代价聚合后的匹配代价可由支持窗内的像素点共同决定，计算公式如下：
其中，ql属于pl的邻域Npl，qr属于pr的邻域Npr。
通过上述式(1)至(7)匹配代价计算和代价聚合过程得到总的匹配代价后，对于每个像素点，利用赢者通吃WTA(Winner-Take-All)算法策略选择最小匹配代价对应视差值作为该像素点的视差，计算出每个像素点的视差即构成视差图。分别以左右图像为参考图重复上述步骤可分别计算出左右两幅视差图。
在一实施例中，还可对视差计算结果进行优化处理，例如亚像素插值计算、左右一致性检测、误匹配点处理等中的一种或多种优化方法而得到最终的双目视差图，从而去除视差图中的噪声，提高视差图整体精度。例如，视差优化可包括如下步骤：
(1)左右一致性检测，即离群点检测：通过左视差图，找到每个像素在右视差图的对应视差值，这两个视差值之间的差值若小于一预定阈值T则被保留，反之则被剔除。通过左右一致性被检测出来的错误像素点可分为两类：遮挡像素点和误匹配像素点，前者是指在左视差图像素点在右图中没有对应的像素点，后者则指左视差图像素点在右图中有对应像素点，但是其视差值超出阈值。
(2)迭代局部投票：对被剔除后无可靠视差值的点p，用十字交叉域内可靠的视差值来进行填充。例如，可统计视差范围内的直方图Hp，得票最多的视差值记为d*，可靠像素数量记为Sp，若d*和Sp满足下式(8)，则把d*赋给p。即只有存在足够多的可靠像素和足够比例的得票数时，才会执行赋值。
式中，ts,tH为两个预设阈值。在一实施例中，可重复执行局部投票，这样可以获得足够多的有效视差。
(3)离群点插值：对于离群点p，可沿着不同的方向寻找最近的可靠像素。在实施例中，可根据离群点的类型为其赋值，若p是遮挡点，则选择视差值最低的像素进行插值；若p是误匹配点，则选择颜色最相似的像素进行插值。
(4)非连续区调整：对于视差图中的非连续区域(即梯度较大的边缘区域)，可微调边缘上的像素值，例如选择使其匹配代价更小的视差值来进行调整。
(5)亚像素增强：利用二次曲线内插的方法获得亚像素精度的视差，其可采用式(9)的计算方法来优化视差。最后，可应用中值滤波器对其进行滤波处理，以获得更加平滑和稳定的结果。
式中，d为视差值，C2(p,d)表示由式(7)计算得到的匹配代价。
步骤S630：对所述目标体图像进行表面重建。
在一实施例中，在得到双目视差图的基础上，可根据深度值和视差的关系Zp＝(b*f)/d，其中，Zp表示深度值，b表示两个相机镜头之间的间距，f表示相机焦距，d为视差，来计算目标体成像区域的深度信息，从而将视差图转换为深度图。在此基础上，可以根据得到的深度图计算三维点云，对其叠加可见光或荧光纹理从而得到三维重建结构。此外，基于该计算获得的深度信息以及相机相对于治疗头的相对位置，便可以计算出目标体与治疗头的空间位置关系。该位置关系可用于术中放疗模拟定位和计划设计等，例如确定合适的计量参数，从而实现了更加精准的术中放疗。
在一实施例中，还可对得到的三维点云进行滤波平滑处理以改善三维重建结构质量。可根据像素距离和空间距离，对三维点云进行滤波平滑，具体而言，可根据像素点p与其邻域点q的像素平面距离||p-q||和三维空间距离||Cp-Cq||为其邻域点分配权值，来进行滤波平滑，新的三维坐标Dp可通过如下式计算：
式中，Cp、Cq分别表示p、q两点的三维坐标，q属于p的邻域Np，分别为预设的像素距离权重和空间距离权重，σs和σd是预设的参数。
为了降低运算量，还可对点云进行下采样处理，最后，使用滤波、降采样后的点云数据进行表面重建得到目标肿瘤区域的病灶结构，在一实施例中，可采取三角面片表示病灶表面。
如前面结合图1-2的描述，对于双光谱相机采集的可见光图像和荧光图像，其是在同一视角下采集的，即可见光图像和荧光图像拍摄间隔中的相机位移和组织形变可以忽略不计。由此，可以直接通过叠加荧光或可见光图像作为纹理来恢复荧光标记的或可见光的三维模型。例如，为了恢复荧光标记的三维模型，只需要在原始三维点云的基础上叠加荧光纹理信息即可。
本申请实施例还提供了一种计算机可读存储介质，上述计算机可读存储介质内存储有计算机程序指令，上述计算机程序指令被处理器执行时实现上面描述的成像方法。
上面已经参照特定实施例描述了本发明的原理。本领域技术人员将理解的是，上述实施例的目的仅是为了描述目的，本发明并不局限于上述实施例，而是在不脱离本发明的思想和范围的情况下可以进行细节和形式上的许多修改和变化，例如公开的实施例的某些变型、修改、改变、添加和子组合。本发明的范围由所附权利要求及其等价物定义。

Claims (14)

1.一种光学成像装置，其特征在于，包括：
治疗头，内部形成有配件腔体；
至少两个成像单元，设置于所述配件腔体内，用于采集目标体图像；
图像数据分析单元，与所述至少两个成像单元相连，用于分析所述目标体图像；其中，
所述至少两个成像单元的光学镜头朝向所述治疗头的中心轴线，且所述光学镜头的中心轴线汇聚于所述治疗头的中心轴线。
2.根据权利要求1所述的光学成像装置，其特征在于，还包括：
动力单元，与所述治疗头相连以驱动所述治疗头移动，使得所述光学镜头的中心轴线汇聚处在目标体成像区域内移动对焦。
3.根据权利要求1或2所述的光学成像装置，其特征在于，还包括：
具有通光孔的基座，设置于所述光学镜头的中心轴线汇聚的方向上，且位于所述配件腔体内部；
至少一个发光单元，设置于所述基座上。
4.根据权利要求3所述的光学成像装置，其特征在于，所述至少两个成像单元围绕所述治疗头的中心轴线均匀分布。
5.根据权利要求4所述的光学成像装置，其特征在于，所述成像单元为可见光成像单元和/或荧光成像单元；所述发光单元为可见光发光单元和/或荧光发光单元。
6.根据权利要求3所述的光学成像装置，其特征在于，所述至少一个发光单元围绕所述治疗头的中心轴线均匀设置。
7.一种光学成像系统，其特征在于，包括：
权利要求1～6中的任意一项所述的光学成像装置；以及
与所述光学成像装置相连的工作站。
8.一种光学成像方法，其特征在于，包括：
通过动力单元移动治疗头，使得至少两个成像单元的光学镜头的中心轴线汇聚处在目标体成像区域内移动对焦；
通过所述至少两个成像单元，采集所述目标体成像区域内的目标体图像；以及
将所述目标体图像信息传送给图像数据分析单元，确定所述目标体与所述治疗头的位置关系。
9.根据权利要求8所述的光学成像方法，还包括：
对所述目标体图像进行以下至少一项预处理操作，包括图像分割、去噪及增强。
10.根据权利要求8所述的光学成像方法，还包括：
对所述目标体图像进行代价计算和代价聚合，然后进行视差计算与优化；
对所述目标体图像进行表面重建。
11.根据权利要求10所述的光学成像方法，还包括：
计算所述目标体成像区域的深度信息；
根据所述深度信息，叠加可见光或荧光纹理。
12.根据权利要求11所述的光学成像方法，其中，所述目标体图像通过以下方法进行代价聚合：
根据图像中两个像素点之间的颜色与距离相似度，采取基于自适应权重的聚合方法进行聚合操作。
13.根据权利要求11所述的光学成像方法，其中，所述目标体图像被通过以下方法进行表面重建：
根据像素距离和空间距离，对三维点云进行滤波平滑；
通过叠加荧光或可见光图像作为纹理，恢复荧光标记的或可见光的三维模型。
14.一种计算机可读存储介质，其上存储程序指令，所述程序指令使得处理器执行如权利要求8～13中任一项所述的方法。
CN202310899534.1A 2023-07-21 2023-07-21 一种光学成像装置及成像方法 Pending CN116919591A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310899534.1A CN116919591A (zh) 2023-07-21 2023-07-21 一种光学成像装置及成像方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310899534.1A CN116919591A (zh) 2023-07-21 2023-07-21 一种光学成像装置及成像方法

Publications (1)

Publication Number Publication Date
CN116919591A true CN116919591A (zh) 2023-10-24

Family

ID=88393793

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310899534.1A Pending CN116919591A (zh) 2023-07-21 2023-07-21 一种光学成像装置及成像方法

Country Status (1)

Country Link
CN (1) CN116919591A (zh)

Similar Documents

Publication Publication Date Title
US11612762B2 (en) 3D stereoscopic camera monitoring system and method of calibrating a camera monitoring system for monitoring a patient in a bore of a medical system for radiation treatment
CN106802138B (zh) 一种三维扫描系统及其扫描方法
EP3200876B1 (en) Method of calibrating a patient monitoring system for use with a radiotherapy treatment apparatus
US20230168081A1 (en) System and method for 3d image scanning
US7348974B2 (en) Image processing system for use with a patient positioning device
US20050047544A1 (en) Apparatus and method for registering 2D radiographic images with images reconstructed from 3D scan data
CN116883471B (zh) 面向胸腹部经皮穿刺的线结构光无接触点云配准方法
JP2022024688A (ja) デプスマップ生成装置及びそのプログラム、並びに、デプスマップ生成システム
CN104374374A (zh) 基于主动全景视觉的3d环境复制系统及3d全景显示绘制方法
CN221357126U (zh) 一种光学成像装置和成像系统
CN108460824B (zh) 立体多媒体信息的确定方法、装置及系统
CN116919591A (zh) 一种光学成像装置及成像方法
CN112546460A (zh) 一种体表追踪系统
CN113570710B (zh) 一种具有c型臂抖动校正的三维成像系统及方法
Detchev et al. Image matching and surface registration for 3D reconstruction of a scoliotic torso
Aoki et al. Proposal on 3-D endoscope by using grid-based active stereo
JP2014236340A (ja) 画像処理装置、方法、及びプログラム、並びに、立体画像表示装置
WO2019198394A1 (ja) 医用画像処理装置、医用画像処理方法、およびプログラム
CN113902791B (zh) 一种基于液态镜头深度聚焦的三维重建方法及装置
CN216774910U (zh) 基于双相机扫描的全景三维成像装置
RU2780966C2 (ru) Выбор параметра получения изображений для системы формирования изображений
Jing et al. Research on Fog Ranging Based on Binocular Vision
Chang et al. Self-supervised monocular depth and ego-motion estimation for CT-bronchoscopy fusion
CN118674862A (zh) 三维点云获取方法、电子设备、存储介质及程序产品
Chyou A 3D Computer Vision System in Radiotherapy Patient Setup

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination