CN117297772B - 一种用于足部拇外翻手术规划的方法及相关产品 - Google Patents

一种用于足部拇外翻手术规划的方法及相关产品 Download PDF

Info

Publication number
CN117297772B
CN117297772B CN202311621896.0A CN202311621896A CN117297772B CN 117297772 B CN117297772 B CN 117297772B CN 202311621896 A CN202311621896 A CN 202311621896A CN 117297772 B CN117297772 B CN 117297772B
Authority
CN
China
Prior art keywords
metatarsal
hallux valgus
foot
planning
distal
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202311621896.0A
Other languages
English (en)
Other versions
CN117297772A (zh
Inventor
李亚星
张晖
刘熹
黄进
程石
窦昭
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Saibopai Wuxi Technology Co ltd
West China Hospital of Sichuan University
Original Assignee
Saibopai Wuxi Technology Co ltd
West China Hospital of Sichuan University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Saibopai Wuxi Technology Co ltd, West China Hospital of Sichuan University filed Critical Saibopai Wuxi Technology Co ltd
Priority to CN202311621896.0A priority Critical patent/CN117297772B/zh
Publication of CN117297772A publication Critical patent/CN117297772A/zh
Application granted granted Critical
Publication of CN117297772B publication Critical patent/CN117297772B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/10Computer-aided planning, simulation or modelling of surgical operations
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/10Computer-aided planning, simulation or modelling of surgical operations
    • A61B2034/101Computer-aided simulation of surgical operations
    • A61B2034/105Modelling of the patient, e.g. for ligaments or bones
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/10Computer-aided planning, simulation or modelling of surgical operations
    • A61B2034/108Computer aided selection or customisation of medical implants or cutting guides
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A61B2034/2046Tracking techniques
    • A61B2034/2065Tracking using image or pattern recognition

Landscapes

  • Health & Medical Sciences (AREA)
  • Surgery (AREA)
  • Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Robotics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Medical Informatics (AREA)
  • Molecular Biology (AREA)
  • Animal Behavior & Ethology (AREA)
  • General Health & Medical Sciences (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • Surgical Instruments (AREA)

Abstract

本申请公开了一种用于足部拇外翻手术规划的方法及相关产品,涉及微创拇外翻技术领域。所述方法包括:获取来自于云端服务器传输的被检者的足部CT影像;基于所述足部CT影像进行拇外翻患侧识别,以获得所述被检者的拇外翻患侧;计算所述拇外翻患侧处与执行拇外翻畸形矫正操作有关的手术规划参数;以及根据所述手术规划参数对足部拇外翻畸形矫正进行手术规划,并将手术规划结果上传至所述云端服务器。利用本申请的方案,可以自动、高效地实现拇外翻手术规划,并确保手术规划的正确性和精准性。

Description

一种用于足部拇外翻手术规划的方法及相关产品
技术领域
本申请一般涉及微创拇外翻技术领域。更具体地,本申请涉及一种用于足部拇外翻手术规划的方法、本地服务器、系统、设备和计算器可读存储介质。
背景技术
拇外翻是指第一跖趾关节畸形,即拇趾相对第一跖骨向外侧偏斜致使二者之间夹角(拇外翻角)超过15°,一般表现为第一跖骨头内侧拇囊或疼痛。拇外翻是临床常见的前足畸形,手术治疗是目前国内外主流的治疗方式,但拇外翻的手术治疗方式有上百种之多,而对于最佳的手术技术选择目前仍然存在争议。近年来,随着人们对于生活质量要求的提高,拇外翻微创手术因其创伤小、术后疼痛少、可早期负重行走和美观等优势被越来越多的患者所接受,同时也再次引起了临床医生的重视。目前,拇外翻微创手术技术现已发展至第三代,其核心是通过微创截骨、复位、内固定来获得良好的手术效果。
然而,第三代微创拇外翻的关键步骤(例如截骨、复位、内固定)都完全依赖医生凭借自身经验,依赖手工完成术前的手术规划,这不仅很难保证手术规划的正确性和精准性,确保各关键步骤的结果能够达到临床标准,而且使得手术规划学习的难度大,造成手术规划的时效低、成本高。由此,使得目前的手术规划方案无法延展到实际手术操作中来,无法确保术中具体执行能够严格按照手术规划的精度实施。此外,目标传统医疗用软件系统,一般采用纯云端互联网系统或单机版PC系统。其中,前者纯云端互联网系统在储存与计算上会产生极大的成本,而后者单机版系统虽然数据传输、储存与计算的成本可控,但在和医院联动使用上,存在数据传输困难,流程管理困难而导致系统运转时效低下的问题。
有鉴于此,亟需提供一种用于足部拇外翻手术规划的方案,以便自动、高效地实现拇外翻手术规划,并确保手术规划的正确性和精准性。
发明内容
为了至少解决如上所提到的一个或多个技术问题,本申请在多个方面中提出了用于足部拇外翻手术规划的方案。
在第一方面中,本申请提供一种用于足部拇外翻手术规划的方法,所述方法经由本地服务器执行,其中所述方法包括:获取来自于云端服务器传输的被检者的足部CT影像;基于所述足部CT影像进行拇外翻患侧识别,以获得所述被检者的拇外翻患侧;计算所述拇外翻患侧处与执行拇外翻畸形矫正操作有关的手术规划参数;以及根据所述手术规划参数对足部拇外翻畸形矫正进行手术规划,并将手术规划结果上传至所述云端服务器。
在一个实施例中,其中基于所述足部CT影像进行拇外翻患侧识别,以获得所述被检者的拇外翻患侧包括:基于所述足部CT影像对所述被检者足部进行三维重建,获得所述被检者足部的三维重建表面体;以及基于所述三维重建表面体进行拇外翻患侧识别,以获得所述被检者的拇外翻患侧。
在另一个实施例中,其中所述足部CT影像包括三维点云数据,并且基于所述足部CT影像对所述被检者足部进行三维重建,获得所述被检者足部的三维重建表面体包括:将所述足部CT影像中的所述三维点云数据转化成三维布尔矩阵;从所述三维布尔矩阵中提取所述三维点云数据的表面点集;以及基于所述表面点集对所述被检者足部进行三维重建,获得所述被检者足部的三维重建表面体。
在另一个实施例中,其中基于所述三维重建表面体进行拇外翻患侧识别,以获得所述被检者的拇外翻患侧包括:基于所述三维重建表面体识别拇外翻患侧的最小三维矩形边界框;以及沿所述最小三维矩形边界框对所述三维重建表面体进行切割,以获得所述被检者的拇外翻患侧。
在另一个实施例中,其中在计算所述拇外翻患侧处与执行拇外翻畸形矫正操作有关的手术规划参数之前,还包括:将所述拇外翻患侧从CT坐标系转换至拇外翻坐标系;以及在所述拇外翻坐标系中提取所述拇外翻患侧中的骨骼关键点。
在另一个实施例中,其中所述拇外翻患侧中的骨骼关键点包括第一跖骨远端关节面边界点,第一跖骨骨干远端截面边界点,第一跖骨骨干近端截面边界点,第二跖骨骨干远端截面边界点,第二跖骨骨干近端截面边界点。
在另一个实施例中,其中所述手术规划参数至少包括截骨位置和截骨矢量方向,并且通过以下操作计算所述拇外翻患侧处与执行拇外翻畸形矫正操作有关的所述截骨位置和所述截骨矢量方向:基于所述拇外翻患侧中的所述骨骼关键点计算第一跖骨骨干远端边界圆弧的圆心、第二跖骨轴线、第一跖骨骨干远端的上表面点和下表面点;以及基于所述第一跖骨骨干远端边界圆弧的圆心、所述第二跖骨轴线、所述第一跖骨骨干远端的上表面点和下表面点计算所述拇外翻患侧处与执行拇外翻畸形矫正操作有关的所述截骨位置和所述截骨矢量方向。
在另一个实施例中,其中所述手术规划参数还包括复位参数和内固定参数,并且通过以下操作计算所述拇外翻患侧处与执行拇外翻畸形矫正操作有关的所述复位参数和所述内固定参数:获取所述拇外翻患侧处的多个目标畸形角度;基于所述多个目标畸形角度与相应标准范围的差异计算与执行拇外翻畸形矫正操作有关的复位平移距离和复位旋转角度;根据所述复位平移距离和所述复位旋转角度更新所述第一跖骨骨干远端边界点;以及基于更新后的第一跖骨骨干远端边界点和所述第一跖骨骨干近端边界点确定与执行拇外翻畸形矫正操作有关的内固定路径和内固定置入位置。
在另一个实施例中,其中所述手术规划参数还包括第一跖骨远端复位针和第一跖骨近端复位针的置入位置与置入矢量方向,并且计算所述拇外翻患侧处与执行拇外翻畸形矫正操作有关的手术规划参数还包括:分别基于所述第一跖骨骨干远端边界点和所述第一跖骨骨干近端边界点计算所述拇外翻患侧处与执行拇外翻畸形矫正操作有关的所述第一跖骨远端复位针和所述第一跖骨近端复位针的置入位置与置入矢量方向。
在另一个实施例中,其中计算所述拇外翻患侧处与执行拇外翻畸形矫正操作有关的手术规划参数还包括:计算所述拇外翻患侧中的目标组织处与执行拇外翻畸形矫正操作有关的固定导向孔和对齐线槽的位置和矢量方向。
在另一个实施例中,其中所述目标组织处与执行拇外翻畸形矫正操作有关的固定导向孔和对齐线槽包括第一楔骨固定导向孔、第一跖骨侧位对齐线槽、第一直跖趾关节对齐线槽、第一跖骨远端复位导针对齐线槽、第一跖骨远端截骨对齐线槽、第一跖骨正位外侧边缘对齐线槽、第一跖骨正位中线对齐线槽和第一跖骨正位内测对齐线槽。
在第二方面中,本申请提供一种用于足部拇外翻手术规划的本地服务器,包括:影像获取模块,其用于获取来自于云端服务器传输的被检者的足部CT影像;患侧识别模块,其用于基于所述足部CT影像进行拇外翻患侧识别,以获得所述被检者的拇外翻患侧;计算规划模块,其用于:计算所述拇外翻患侧处与执行拇外翻畸形矫正操作有关的手术规划参数;以及根据所述手术规划参数对足部拇外翻畸形矫正进行手术规划,并将手术规划结果上传至所述云端服务器。
在第三方面中,本申请提供一种用于足部拇外翻手术规划的系统,包括:前述第二方面中所述的本地服务器;以及云端服务器,其用于向所述本地服务器传输被检者的足部CT影像和接收所述本地服务器上传的手术规划结果。
在一个实施例中,所述系统还包括:网页端,其用于接收医生上传的所述被检者的足部CT影像,并且向所述云端服务器传输所述被检者的足部CT影像以及接收所述云端服务器传输的所述手术规划结果。
在另一个实施例中,所述系统还包括:本地端,其用于接收手术规划工程师对所述本地服务器中的所述计算规划模块设置的目标操作和对所述计算规划模块调整的目标参数,并且向所述本地服务器传输所述目标操作和所述目标参数。
在第四方面中,本申请提供一种用于足部拇外翻手术规划的设备,包括:处理器;以及存储器,其中存储有用于足部拇外翻手术规划的程序指令,当所述程序指令由所述处理器执行时,使得所述设备实现前述第一方面中的多个实施例。
在第五方面中,本申请提供一种计算机可读存储介质,其上存储有用于足部拇外翻手术规划的计算机可读指令,该计算机可读指令被一个或多个处理器执行时,实现前述第一方面中的多个实施例。
通过如上所提供的用于足部拇外翻手术规划的方案,本申请实施例通过由本地服务器获取来自于云端服务器传输的被检者的足部CT影像,接着基于足部CT影像进行拇外翻患侧识别获得被检者的拇外翻患侧,并计算执行拇外翻畸形矫正操作有关的手术规划参数(例如截骨位置和截骨矢量方向,复位参数,内固定参数等),以形成手术规划,进而将手术规划结果上传至云端服务器。基于此,本申请实施例至少通过本地服务器和云端服务器协同工作,实现高效、自动的手术规划操作,提高手术规划的正确性和精准性,降低了人工成本。进一步地,本申请实施例还包括网页端和本地端,以分别接收医生和手术规划工程师输入的相关数据,实现医生一键云端上传影像或者相关病历数据,手术规划工程师一键设置目标规划操作和目标参数,经由本地服务器计算获得规划结果,并通过云端返回,极大地降低了医生进行手术规划的学习难度。另外,本申请实施例通过多端数据互联互通,可以确保后续术中具体执行能够严格按照手术规划的精度实施。
附图说明
通过参考附图阅读下文的详细描述,本申请示例性实施方式的上述以及其他目的、特征和优点将变得易于理解。在附图中,以示例性而非限制性的方式示出了本申请的若干实施方式,并且相同或对应的标号表示相同或对应的部分,其中:
图1是示出足部拇外翻的示例性示意图,其中图1的(a)图中示出了拇外翻角和第一、二跖骨间角,图1的(b)图中示出了第一跖骨远端关节面角;
图2是示出根据本申请实施例的用于足部拇外翻手术规划的方法的示例性流程框图;
图3是示出根据本申请实施例的三维重建表面体以及识别的拇外翻患侧的最小三维矩形边界框的示例性示意图,其中图3的(a)图所示为三维重建表面体,图3的(b)图所示为最小三维矩形边界框;
图4是示出根据本申请实施例的拇外翻患侧的CT坐标系和拇外翻坐标系的示例性示意图,其中图4的(a)图中的左图所示为拇外翻患侧的CT坐标系,图4的(a)图中的右图所示为转换后的拇外翻患侧的拇外翻坐标系,图4的(b)图所示为拇外翻患侧的拇外翻坐标系的定义;
图5是示出根据本申请实施例的拇外翻患侧的截骨位置和截骨矢量方向的示例性示意图;
图6是示出根据本申请实施例的拇外翻患侧的平移与旋转的示例性示意图;
图7是示出根据本申请实施例的拇外翻患侧的内固定路径与置入位置的示例性示意图;
图8是示出根据本申请实施例的第一跖骨远端复位针与第一跖骨近端复位针的置入位置与置入矢量方向的示例性示意图;
图9是示出根据本申请实施例的相应固定孔和对齐线槽对应的位置和矢量方向的示例性示意图;
图10是示出根据本申请实施例的用于足部拇外翻手术规划的本地服务器的示例性结构框图;
图11是示出根据本申请实施例的用于足部拇外翻手术规划的系统的示例性示意图;
图12是示出适用于3D打印定制式截骨导板系统的数据结构的示例性示意图;
图13是示出适用于手术机器人系统的数据结构的示例性示意图;
图14是示出根据本申请实施例的用于足部拇外翻手术规划的设备的示例性结构框图。
具体实施方式
下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例是本申请一部分实施例,而不是全部的实施例。基于本申请中的实施例,本领域技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本申请保护的范围。
应当理解,本申请的说明书和权利要求书中使用的术语“包括”和“包含”指示所描述特征、整体、步骤、操作、元素和/或组件的存在,但并不排除一个或多个其它特征、整体、步骤、操作、元素、组件和/或其集合的存在或添加。
还应当理解,在此本申请说明书中所使用的术语仅仅是出于描述特定实施例的目的,而并不意在限定本申请。如在本申请说明书和权利要求书中所使用的那样,除非上下文清楚地指明其它情况,否则单数形式的“一”、“一个”及“该”意在包括复数形式。还应当进一步理解,在本申请说明书和权利要求书中使用的术语“和/或”是指相关联列出的项中的一个或多个的任何组合以及所有可能组合,并且包括这些组合。
如在本说明书和权利要求书中所使用的那样,术语“如果”可以依据上下文被解释为“当... 时”或“一旦”或“响应于确定”或“响应于检测到”。类似地,短语“如果确定”或“如果检测到[所描述条件或事件]”可以依据上下文被解释为意指“一旦确定”或“响应于确定”或“一旦检测到[所描述条件或事件]”或“响应于检测到[所描述条件或事件]”。
下面结合附图来详细描述本申请的具体实施方式。
图1是示出足部拇外翻的示例性示意图。如图1中示出为被检者足部拇外翻的CT影像,在实际应用场景中,可以根据三个目标角度来判定被检者是否存在拇外翻畸形。例如图1的(a)图和(b)图所示,前述三个目标角度分别为被检者的拇趾101的轴线l1与第一跖骨102的轴线l2之间的夹角(也即拇外翻角)α1,第一跖骨102的轴线l2和第二跖骨103的轴线l3之间的夹角(也即第一、二跖骨间角)α2和第一跖骨102的远端关节面e与第一跖骨102的轴线l2之间的夹角(也即第一跖骨远端关节面角)α3。需要理解的是,本申请实施例中第一、二跖骨的远端均是指与拇指连接的一端,不与拇指连接的一端则为第一、二跖骨的近端。例如图1的(b)图中椭圆处为第二跖骨的远端,矩形框处为第二跖骨的近端。
对于上述三个目标角度,当拇外翻角α1大于15°,第一、二跖骨间角α2大于9°或者第一跖骨远端关节面角α3不为90°时,判定被检者足部存在拇外翻畸形。进一步地,根据拇外翻角和第一、二跖骨间角,还可以确定拇外翻的畸形程度。例如,按照拇外翻角的分级,轻度:15°<拇外翻角<30°,中度:30°<拇外翻角<40°,重度:拇外翻角>40°;按照第一、二跖骨间角分级,轻度:第一、二跖骨间角<10°,中度:10°<第一、二跖骨间角<15°,重度:第一、二跖骨间角>15°。在实际应用场景中,对足部拇外翻的畸形矫正,也即对前述三个目标角度的矫正。
如背景技术描述可知,对足部拇外翻的畸形矫正,手术治疗是目前国内外主流的治疗方式。目前,拇外翻微创手术技术现已发展至第三代,其核心是通过微创截骨、复位、内固定来获得良好的手术效果。然而,第三代微创拇外翻手术技术存在以下缺陷:
(1)术前手术规划的精度难以保证。微创拇外翻手术对截骨、复位、锁定的精度要求极高。其中,截骨位置需要保持在距离第一跖骨远端关节囊一定距离内,且截骨方向必须在空间中垂直于第二跖骨的轴线。空间复位要求第一跖骨远端截断部分平移精度在1mm以内,旋转精度在1°以内,且要求沿指定平面完成旋转。内固定要求在微创(即第一跖骨不可见)的条件下,经皮完成in-out-in固定,内固定入针位置要尽可能的平行于第一跖骨的轴线(即确保锁定方向尽可能垂直于截骨面),并且内固定矢量方向要进入第一跖骨近端、穿出第一跖骨近端,经过皮质再次进入第一跖骨远端(即截断部分)。前述精度要求,如果仅凭借医生自身的经验,在脑内完成手术规划,会造成整体量化误差不可控,从而无法保证手术精度。另外,如果医生使用工业级三维建模软件(例如Mimics,UGS等),也是通过手工划线、建模,并通过目测的方式查看角度、矢量方向等是否准确,也会使得精准度受人为因素影像,造成误差不可控。
(2)术前手术规划的时效低、成本高。由于使用工业级三维建模软件进行术前手术规划中,所有三维模型处理均通过手工完成,并通过人工目测反复验证调整,使得平均每台手术的规划时间需要2-4小时,导致手术规划时效很低,无法满足大量手术规划的实际临床需求,且人工成本极高。
(3)医生学习手术规划难度大。现有的术前手术规划方法,无论是纯粹凭借医生个人经验进行手术规划,亦或是使用工业级三维建模软件进行手工手术规划,对于普通医生来讲,学习难度都非常大。
(4)术前手术规划结果难以在实际手术操作中执行。由于手术术中操作依然以纯人工手术为主,由此即使采用了术前手术规划技术,也无法延展到实际手术操作中,从而无法确保术中具体执行能够严格按照手术规划的精度实施。
(5)医疗用软件系统时效低、成本高。目标传统医疗用软件系统,一般采用纯云端互联网系统或单机版PC系统。其中,前者纯云端互联网系统在储存与计算上会产生极大的成本,而后者单机版系统虽然数据传输、储存与计算的成本可控,但在和医院联动使用上,存在数据传输困难,流程管理困难而导致系统运转时效低下的问题。
基于此,本申请实施例提出一种用于足部拇外翻手术规划的方案,能够实现高效、自动的手术规划操作(包括例如截骨、复位等),以提高手术规划的正确性和精准性,确保手术规划结果符合临床共识以及确保术中治疗的安全性和可靠性。
图2是示出根据本申请实施例的用于足部拇外翻手术规划的方法200的示例性流程框图。在一个实施例中,该方法200可以经由本地服务器执行。如图2中所示,在步骤S201处,获取来自于云端服务器传输的被检者的足部CT影像。在一个实施场景中,来自于云端服务器传输的被检者的足部CT影像可以由医生通过例如网页端将足部CT影像上传至云端服务器,进而由云端服务器传输至本地服务器。在获得被检者的足部CT影像后,在步骤S202处,基于足部CT影像进行拇外翻患侧识别,以获得被检者的拇外翻患侧。在一个实施例中,首先可以基于足部CT影像对被检者足部进行三维重建,获得被检者足部的三维重建表面体,进而基于三维重建表面体进行拇外翻患侧识别,以获得被检者的拇外翻患侧。其中,前述足部CT影像包括三维点云数据。
在一个实施场景中,可以通过将足部CT影像中的三维点云数据转化成三维布尔矩阵,从三维布尔矩阵中提取三维点云数据的表面点集,以基于表面点集对被检者足部进行三维重建,获得被检者足部的三维重建表面体。在一些实施例中,首先可以确定足部CT影像中的三维点云数据中目标区域的预设灰度值,接着根据预设灰度值设置变换函数,以基于变换函数将足部CT影像中的三维点云数据转化成三维布尔矩阵。需要理解的是,对于目标区域的骨骼组织和皮肤组织的预设灰度值会有所不同。作为示例,对于第一跖骨区域的骨骼组织,其对应的预设灰度值可以设为100-150;对于第一跖骨区域的皮肤组织,其对应的预设灰度值可以设为-100至0。在一些实施例中,可以通过将高于预设灰度值的点设为1,而低于预设灰度值的点设为0来构建变换函数,以基于变换函数将足部CT影像中的三维点云数据转化成三维布尔矩阵。
接着,可以基于等高线算法设置表面点集过滤器,通过使用表面点集过滤器对三维布尔矩阵进行过滤,以提取三维点云数据的表面点集。在一些实施例中,除前述等高线算法以外,还可以通过例如阿尔法型方法设置前述表面点集过滤器,以从前述三维布尔矩阵中提取三维点云数据的表面点集。基于提取的三维点云数据的表面点集,可以通过例如三角剖分函数将表面点集进行网格化来对被检者足部进行三维重建,以获得被检者足部的三维重建表面体。
在一些实施例中,还可以对前述三维重建表面体执行缩放操作和/或平滑操作。例如,通过足部CT影像中的间距信息对前述三维重建表面体进行缩放,并且对缩放后的三维重建表面体进行例如表面平滑操作,以获得两个三维重建表面体。其中,前述表面平滑操作可以例如是采用线性或高阶多项式或临近域移动均方根或局部最优曲面回归等平滑操作。在实现场景中,前述的两个三维重建表面体,其中一个为骨骼组织三维重建表面体(例如图3中的(a)图所示),可以用于本申请实施例的手术规划的后续计算,另外一个为包括皮肤与骨骼组织的三维重建表面体/>,可以用于后续经皮手术导板的建模。
具体地,在一个实现场景中,可以通过如下公式来获得被检者足部的三维重建表面体:
(1)
其中,表示足部CT影像中的三维点云数据,/>表示将足部CT影像中的三维点云数据转化成三维布尔矩阵的变换函数,/>(/>)表示表面点集过滤器,例如采用等高线法或阿尔法型等方法提取三维点数据中的表面点集,/>表示空间缩放矩阵,/>表示三角剖分函数。基于前述公式(1),可以获得三维重建表面体,其中包括表面点集信息和三角剖分三角面信息。
根据上述获得的三维重建表面体,可以进行拇外翻患侧识别,以获得被检者的拇外翻患侧。在一个实施场景中,可以通过基于三维重建表面体识别拇外翻患侧的最小三维矩形边界框,沿最小三维矩形边界框对三维重建表面体进行切割,以获得被检者的拇外翻患侧。可以理解,在针对微创拇外翻手术中,被检者的拇外翻患侧即为左脚或右脚。在一些实施例中,在确定被检者的患侧为左脚或右脚后,基于前述步骤所得的皮肤与骨骼组织的三维重建表面体,通过采用例如人工选取方法或自适应最小边界提取方法,以识别患侧的最小三维矩形边界框/>。接着,通过沿最小三维矩形边界框/>对三维重建表面体进行切割,以获得被检者的拇外翻患侧。也即,被检者的拇外翻患侧为保留最小三维矩形边界框内的三维重建表面体(例如图3中的(b)图所示)。类似地,骨骼组织的三维重建表面体/>也可以按照皮肤与骨骼组织的三维重建表面体/>的最小三维矩形边界框进行切割,并保留切割后的三维重建表面体。
在一个实现场景中,可以通过如下式子实现前述自适应最小边界提取方法:
(2)
其中,表示最小三维矩形边界框,/>表示三维重建表面体,表示沿x,y,z正方向、负方向,/>表示由种子点/>至/>上的边界框上的边界面,/>表示空集。也即,从种子点/>出发,寻找沿x,y,z正方向(+)、负方向(-)的极小距离,使得到达最小三维矩形边界框/>上的边界框上的边界面与三维重建表面体/>的交集为空集。
接着,在步骤S203处,计算拇外翻患侧处与执行拇外翻畸形矫正操作有关的手术规划参数。在一个实施例中,前述手术规划参数可以包括例如截骨参数(截骨位置和截骨矢量方向),复位参数(复位平移距离和复位旋转角度)和内固定参数(内固定路径和内固定置入位置)。例外,前述手术规划参数还可以包括例如第一跖骨远端复位针和第一跖骨近端复位针的置入位置与置入矢量方向以及目标组织处固定导向孔和对齐线槽的位置和矢量方向。可以理解,前述原始的拇外翻患侧处于CT坐标,其仅记录了每个点的位置,而无法识别每个点所属的具体部位。然而,在计算手术规划参数时,往往需要基于骨骼关键点进行计算,这就需要识别每个点所属的具体部位。由此,在计算拇外翻患侧处与执行拇外翻畸形矫正操作有关的手术规划参数之前,本申请实施例还涉及将拇外翻患侧从CT坐标系转换至拇外翻坐标系,并且在拇外翻坐标系中提取拇外翻患侧中的骨骼关键点。经过坐标系转换后,可以清楚地展示每个点所属的具体部位,以便后续准确地提取骨骼关键点。
在一个实施场景中,对于将拇外翻患侧从CT坐标系转换至拇外翻坐标系而言,首先可以在拇外翻患侧上定义多个检测点,包括例如第一籽骨最低点,第五籽骨最低点和根骨最低点。接着,基于拇外翻患侧上的多个检测点设置拇外翻坐标系。具体地,可以将前述多个检测点中的第一籽骨最低点,第五籽骨最低点和根骨最低点形成的三角形几何中心作为原点,并将根骨最低点至第一籽骨最低点与第五籽骨最低点之间连线的垂线的单位向量作为x1轴的正方向,将第五籽骨最低点至第一籽骨最低点连线方向的单位向量作为y1轴的正方向,将第一籽骨最低点,第五籽骨最低点和根骨最低点所在平面的法向量作为z1轴的正方向,以形成拇外翻坐标系。
基于上述定义的拇外翻坐标系,可以通过构建将拇外翻患侧从CT坐标系转换至拇外翻坐标系的转换关系。具体而言,首先假设世界坐标系(即CT坐标系)为OXYZ,局部坐标系(即拇外翻坐标系)为OXYZi,并且设置世界坐标系中某一点的坐标向量在某一局部坐标系中的坐标位置为/>,则获得转换关系:/>,其中/>表示多坐标系逆运算坐标系换算矩阵。其中,/>,/>表示多坐标系正运算坐标系换算矩阵,/>表示局部坐标系中由原点出发的各坐标系的单位向量在世界坐标系中的四维齐次坐标向量。根据前述转换关系,可以实现将拇外翻患侧从CT坐标系转换至拇外翻坐标系。在将拇外翻患侧从CT坐标系转换至拇外翻坐标系后,可以在拇外翻坐标系中提取拇外翻患侧中的骨骼关键点。
在另一个实施场景中,可以通过例如人工标注或AI影像识别算法等来提取骨骼关键点。在一些实施例中,前述骨骼关键点可以包括基于拇外翻患侧的第一跖骨远端关节面边界点,第一跖骨骨干远端截面边界点,第一跖骨骨干近端截面边界点,第二跖骨骨干远端截面边界点,第二跖骨骨干近端截面边界点。
进一步地,计算拇外翻患侧处与执行拇外翻畸形矫正操作有关的手术规划参数。在一个实施例中,可以通过基于拇外翻患侧中的骨骼关键点计算第一跖骨骨干远端边界圆弧的圆心、第二跖骨轴线、第一跖骨骨干远端的上表面点和下表面点,进而基于第一跖骨骨干远端边界圆弧的圆心、第二跖骨轴线、计算拇外翻患侧处与执行拇外翻畸形矫正操作有关的截骨位置和所述截骨矢量方向。如前所述,截骨位置需要保持在距离第一跖骨远端关节囊一定距离内,且截骨方向必须在空间中垂直于第二跖骨的轴线。基于此,本申请实施例通过根据第一跖骨远端关节面边界点计算第一跖骨骨干远端边界圆弧的圆心,根据第二跖骨骨干远端截面边界点和第二跖骨骨干近端截面边界点分别计算第二跖骨骨干远端边界圆弧的圆心和第二跖骨骨干近端边界圆弧的圆心,进而基于第一跖骨骨干远端边界圆弧的圆心、第二跖骨骨干远端边界圆弧的圆心和第二跖骨骨干近端边界圆弧的圆心计算第一跖骨骨干远端的上表面点和下表面点。
更为具体地,通过连接第二跖骨骨干远端边界圆弧的圆心和第二跖骨骨干近端边界圆弧的圆心,以获得第二跖骨轴线,沿第一跖骨骨干远端边界圆弧的圆心向第二跖骨轴线作垂线,获得截骨矢量方向,以沿第一跖骨骨干远端边界圆弧的圆心向截骨矢量方向计算第一跖骨骨干远端的上表面点和下表面点。基于此,通过将第一跖骨骨干远端的上表面点和下表面点之间进行连线获得的截骨位置即符合前述要求。
在一些实施例中,基于第一跖骨骨干远端截面边界点,可以采用例如圆形拟合方法求解得到第一跖骨骨干远端边界圆弧的圆心。基于第二跖骨骨干远端截面边界点和第二跖骨骨干近端截面边界点,也可以通过例如圆形拟合方法分别求解得到第二跖骨骨干远端边界圆弧的圆心和近端边界圆弧的圆心。接着,连接第二跖骨远端、近端边界圆弧的圆心,也即第二跖骨轴线。将前述获得的第一跖骨骨干远端边界圆弧的圆心向第二跖骨轴线作垂线,并通过空间垂足定位方法求得垂线矢量方向,该垂线矢量方向即为截骨矢量方向
在一个实施例中,前述第一跖骨骨干远端的上表面点和下表面点分别表示为,其中/>表示第一跖骨骨干远端的上表面点,/>表示第一跖骨骨干远端的下表面点,/>表示第一跖骨骨干远端边界圆弧的圆心,/>表示足部CT影像的三维重建表面体,/>和/>分别表示截骨矢量方向的正、负方向。也即,以第一跖骨骨干远端边界圆弧的圆心,通过方向向量边界提取算法,自圆心出发,分别沿z轴正、负方向,找到第一跖骨骨干远端的上表面点/>和下表面点/>。最终,将第一跖骨骨干远端的上、下表面点之间的连线/>作为截骨位置(例如图5所示)。
根据前文可知,上述手术规划参数还包括复位参数和内规定参数,前述复位参数可以包括复位平移距离、复位旋转角度,前述内固定参数和内固定路径、内固定置入位置。在一个实施例中,首先可以获取拇外翻患侧处的多个目标畸形角度(例如上述图1中所示出的拇外翻角、第一二跖骨间夹角、第一跖骨远端关节面角等),基于多个目标畸形角度与相应标准范围的差异计算与执行拇外翻畸形矫正操作有关的复位平移距离和复位旋转角度。通过根据复位平移距离和复位旋转角度更新第一跖骨骨干远端边界点,进而基于更新后的第一跖骨骨干远端边界点和第一跖骨骨干近端边界点确定与执行拇外翻畸形矫正操作有关的内固定路径和内固定置入位置。
可以理解,为了同时矫正拇外翻畸形的多个畸形角度,需要通过对第一跖骨远端截断部分进行空间平移与旋转操作,以同时矫正上述畸形角度至标准范围内,实现纠正拇外翻畸形。具体而言,首先以截骨的矢量方向在截骨面上向z1轴的负方向旋转10°,作为平移矢量方向,其中/>表示三维空间沿z1轴的负方向的旋转矩阵;以第一跖骨的轴线与截骨的矢量方向所组成的唯一平面作为旋转平面/>。进一步地,基于多个目标畸形角度与相应标准范围的差异,通过例如线性优化自适应算法进行自适应迭代,找到复位平移距离/>与复位旋转角度/>的一组可执行解,使得畸形矫正线性优化模型的限定条件均达到正常健康标准阈值以内。
基于上述获得的平移距离与复位旋转角度/>,采用可执行解中的复位平移距离/>与复位旋转角度/>对截断的第一跖骨的远端部分进行三维空间平移和旋转复位,使得拇外翻角α1/>达到健康标准阈值以内,即小于15°;第一、二跖骨间角/>达到健康标准阈值以内,即在8°到10°之间;第一跖骨远端关节面角达到健康标准阈值以内,即在89°-91°之间。
在另一个实现场景中,基于上述确定的复位平移距离与复位旋转角度/>对,更新第一跖骨骨干远端的边界点,进而获得更新后的第一跖骨骨干远端边界圆弧的圆心/>的坐标位置。参考前文内容,基于第一跖骨骨干近端截面边界点,通过例如圆形拟合方法求解得到第一跖骨骨干近端边界圆弧的圆心/>。接着,以第一跖骨骨干近端边界圆弧的圆心/>与更新后的第一跖骨骨干远端边界圆弧的圆心/>之间连线的矢量方向作为内固定的路径方向/>,以第一跖骨骨干近端边界圆弧的圆心/>连线作内固定置入位置。
在一个实施例中,为了实现后续定制式手术导板和手术导向器的联合使用,尤其针对定制式导板的第一跖骨远端复位导向孔与第一跖骨近端复位导向孔的定位,需要在手术规划时确定第一跖骨远端复位针与第一跖骨近端复位针的置入位置与置入矢量方向。由此,本申请实施例还涉及分别基于第一跖骨骨干远端边界点和第一跖骨骨干近端边界点计算拇外翻患侧处与执行拇外翻畸形矫正操作有关的第一跖骨远端复位针和第一跖骨近端复位针的置入位置与置入矢量方向。其中,第一跖骨远端复位针与第一跖骨近端复位针的置入矢量方向与截骨的矢量方向相同。第一跖骨远端复位针置入位置为从第一跖骨骨干远端边界圆弧的圆心/>沿着第一跖骨的轴线向远端延伸至第一位置(例如0.5-2cm)处,第一跖骨近端复位针置入位置为从第一跖骨骨干远端边界圆弧的圆心/>沿着第一跖骨的轴线向近端延伸至第二位置(例如1.5-3cm)处。
此外,本申请实施例还涉及计算拇外翻患侧中的目标组织处与执行拇外翻畸形矫正操作有关的固定导向孔和对齐线槽的位置和矢量方向。在一些实施例中,前述目标组织处与执行拇外翻畸形矫正操作有关的固定导向孔和对齐线槽包括第一楔骨固定导向孔、第一跖骨侧位对齐线槽、第一直跖趾关节对齐线槽、第一跖骨远端复位导针对齐线槽、第一跖骨远端截骨对齐线槽、第一跖骨正位外侧边缘对齐线槽、第一跖骨正位中线对齐线槽、第一跖骨正位内测对齐线槽。前述各固定导向孔和对齐线槽具有各自的位置和矢量方向,稍后结合图9详细描述。由此,可以实现后续定制式手术导板和手术导向器的联合使用,尤其针对定制式导板的扣合配准和固定,从而需要在手术规划中完成对相应固定孔和对齐线槽位置和矢量方向的计算。
根据上述获得的手术规划参数,在步骤S204处,根据手术规划参数对足部拇外翻畸形矫正进行手术规划,并将手术规划结果上传至云端服务器。例如,规划在拇外翻患侧的截骨位置和截骨矢量方向处进行截骨,按照复位平移距离和复位旋转角度进行平移和旋转,根据第一跖骨远端复位针与第一跖骨近端复位针的置入位置与置入矢量方向定位定制式导板的第一跖骨远端复位导向孔b1与第一跖骨近端复位导向孔b3以及在相应固定孔和对齐线槽位置处对定制式导板的扣合配准和固定等。前述形成的手术规划结果还可以上传至云端服务器,以便于医护人员确认。
结合上述描述可知,本申请实施例通过由本地服务器获取来自于云端服务器传输的被检者的足部CT影像,接着基于足部CT影像进行拇外翻患侧识别获得被检者的拇外翻患侧,并计算执行拇外翻畸形矫正操作有关的截骨参数、复位参数和内固定参数等,以形成手术规划,并且将手术规划结果上传至云端服务器。基于此,本申请实施例至少通过本地服务器和云端服务器协同工作,实现高效、自动的手术规划操作,提高手术规划的正确性和精准性,降低了人工成本。
图3是示出根据本申请实施例的三维重建表面体以及识别的拇外翻患侧的最小三维矩形边界框的示例性示意图。如图3中的(a)图所示为三维重建表面体。在一个实现场景中,可以通过将足部CT影像中的三维点云数据转化成三维布尔矩阵,从三维布尔矩阵中提取三维点云数据的表面点集,以基于表面点集对被检者足部进行三维重建,获得该三维重建表面体。具体地,可以基于上述公式(1)获得该三维重建表面体。接着,基于该三维重建表面体,可以采用例如人工选取方法或自适应最小边界提取方法,以识别患侧的最小三维矩形边界框,例如图3中的(b)图所示。其中,自适应最小边界提取方法可以基于上述公式(2)实现。进一步地,通过沿最小三维矩形边界框/>对三维重建表面体进行切割,以获得被检者的拇外翻患侧(例如左脚)。
图4是示出根据本申请实施例的拇外翻患侧的CT坐标系和拇外翻坐标系的示例性示意图。如图4的(a)图中的左图所示为拇外翻患侧的CT坐标系,图4的(a)图中的右图所示为转换后的拇外翻患侧的拇外翻坐标系。根据前文可知,拇外翻患侧的CT坐标系也即世界坐标系,拇外翻患侧的拇外翻坐标系可以基于第一籽骨最低点,第五籽骨最低点和根骨最低点进行定义。例如4中的(b)图所示,以第一籽骨最低点a,第五籽骨最低点b和根骨最低点c形成的三角形几何中心作为原点O1,将根骨最低点c至第一籽骨最低点a与第五籽骨最低点b之间连线ab的垂线的单位向量作为x1轴的正方向,将第五籽骨最低点b至第一籽骨最低点a连线方向的单位向量作为y1轴的正方向,将第一籽骨最低点a,第五籽骨最低点b和根骨最低点c所在平面的法向量作为z1轴的正方向,以形成拇外翻坐标系O1x1y1z1。在一个实施场景中,通过世界坐标系中某一点的坐标向量在某一局部坐标系中的坐标位置为/>构建的转换关系/>,可以将拇外翻患侧从CT坐标系转换至拇外翻坐标系。
图5是示出根据本申请实施例的拇外翻患侧的截骨位置和截骨矢量方向的示例性示意图。如图5中所示的截面W处即为截骨位置。如前所述,通过采用例如圆形拟合方法求解得到第一跖骨骨干远端边界圆弧的圆心和第二跖骨骨干远端边界圆弧的圆心和近端边界圆弧的圆心。接着,通过连接第二跖骨远端、近端边界圆弧的圆心获得第二跖骨的轴线l2,并沿第一跖骨骨干远端边界圆弧的圆心向第二跖骨轴线做垂线L,获得截骨矢量方向/>。进一步地,通过例如方向向量边界提取算法,获得第一跖骨骨干远端的上表面点和下表面点/>,最终第一跖骨骨干远端的上、下表面点之间的连线/>即为该截骨位置(截面W处)。基于本申请实施例获得的截骨位置,符合距离第一跖骨远端关节囊一定距离内,且截骨方向必须在空间中垂直于第二跖骨的轴线。
图6是示出根据本申请实施例的拇外翻患侧的平移与旋转的示例性示意图。如图6中的矩形框内示出基于上述截骨位置对第一跖骨骨干远端截骨后的截断部分,后续在实际畸形复位过程中,通过根据上述获得的复位平移距离和复位旋转角度对第一跖骨骨干远端截骨后的截断部分进行平移和/或旋转,可以使得拇外翻角达到健康标准阈值以内,即小于15°;第一、二跖骨间角/>达到健康标准阈值以内,即在8°到10°之间;第一跖骨远端关节面角/>达到健康标准阈值以内,即在89°-91°之间,以实现拇外翻畸形复位。
图7是示出根据本申请实施例的拇外翻患侧的内固定路径与置入位置的示例性示意图。如图7中所示的实线方向为拇外翻患侧的内固定路径方向,图中所示的点P处即为内固定置入位置。在一个实施场景中,首先基于前述的复位平移距离与复位旋转角度对更新第一跖骨骨干远端的边界点,获得更新后的第一跖骨骨干远端边界圆弧的圆心/>的坐标位置。接着,以第一跖骨骨干近端边界圆弧的圆心/>与更新后的第一跖骨骨干远端边界圆弧的圆心/>之间连线的矢量方向作为内固定的路径方向/>,以第一跖骨骨干近端边界圆弧的圆心/>连线作内固定置入位置。在实际应用场景中,基于前述内固定路径方向和内固定置入位置,经皮完成in-out-in固定,即内固定矢量方向要进入第一跖骨近端、穿出第一跖骨近端,经过皮质再次进入第一跖骨远端(即截断部分)。
图8是示出根据本申请实施例的第一跖骨远端复位针与第一跖骨近端复位针的置入位置与置入矢量方向的示例性示意图。如图8中的圆圈内所示为第一跖骨远端复位导向孔b1与第一跖骨近端复位导向孔b3。在实际应用场景中,将第一跖骨远端复位针置入复位导向孔b1的置入矢量方向以及第一跖骨近端复位针置入复位导向孔b3的置入矢量方向均与截骨的矢量方向(例如上述图5中所示截面W的方向)相同。第一跖骨远端复位针置入位置为第一跖骨远端复位针从第一跖骨骨干远端边界圆弧的圆心沿着第一跖骨的轴线向远端置入复位导向孔b1并延伸至例如0.5-2cm处;第一跖骨近端复位针置入位置为第一跖骨近端复位针从第一跖骨骨干远端边界圆弧的圆心/>沿着第一跖骨的轴线向近端置入复位导向孔b3并延伸至例如1.5-3cm处。
图9是示出根据本申请实施例的相应固定孔和对齐线槽对应的位置和矢量方向的示例性示意图。如图9中所示,第一楔骨固定导向孔b4的位置为第一楔骨表面任意一点,其矢量方向为z1轴正方向;第一跖骨侧位对齐线槽d1的位置为第一跖骨轴线,其矢量方向为平行于x1轴方向;第一直跖趾关节对齐线槽d2的位置为第一跖骨远端关节面截面边界点在x1y1平面上的投影,其矢量方向为平行于y1轴方向;第一跖骨远端复位导针对齐线槽d3的位置为第一跖骨远端复位针置入位置,其矢量方向为平行于截骨矢量方向;第一跖骨远端截骨对齐线槽d4的位置为第一跖骨骨干远端边界圆弧圆心/>,其矢量方向为平行于截骨矢量方向/>;第一跖骨正位外侧边缘对齐线槽d5的位置为第一跖骨外侧边缘线,其矢量方向为平行于第一跖骨轴线;第一跖骨正位中线对齐线槽d6的位置为第一跖骨轴线,其矢量方向为平行于第一跖骨轴线;第一跖骨正位内测对齐线槽d7的位置为第一跖骨内侧边缘线,其矢量方向为平行于第一跖骨轴线。
在一个实施例中,本申请实施例还提供一种用于足部拇外翻手术规划的本地服务器,包括影像获取模块、患侧识别模块和计算规划模块,下面将结合图9详细描述本申请实施例的本地服务器。
图10是示出根据本申请实施例的用于足部拇外翻手术规划的本地服务器1000的示例性结构框图。如图10中所示,该本地服务器1000可以包括影像获取模块1001、患侧识别模块1002和计算规划模块1003。在一个实施例中,前述影像获取模块1001可以用于获取来自于云端服务器传输的被检者的足部CT影像。如前所述,来自于云端服务器传输的被检者的足部CT影像可以由医生通过例如网页端上传至云端服务器,进而由云端服务器传输至本地服务器,由影像获取模块1001获取。
在一个实施例中,前述患侧识别模块1002可以用于基于足部CT影像进行拇外翻患侧识别,以获得被检者的拇外翻患侧。具体地,首先可以基于上述公式(1)获得被检者足部的三维重建表面体,接着基于上述公式(2)的自适应最小边界提取方法识别患侧的最小三维矩形边界框,通过沿最小三维矩形边界框/>对三维重建表面体进行切割,以获得被检者的拇外翻患侧。关于基于足部CT影像进行拇外翻患侧识别,以获得被检者的拇外翻患侧的更多细节,可以参考上述图1中的描述,本申请在此不再赘述。
在一个实施例中,前述计算规划模块1003可以用于计算拇外翻患侧处与执行拇外翻畸形矫正操作有关的手术规划参数,接着根据手术规划参数对足部拇外翻畸形矫正进行手术规划,并将手术规划结果上传至云端服务器。其中,在计算拇外翻患侧处与执行拇外翻畸形矫正操作有关的手术规划参数之前,计算规划模块1003还可以用于将拇外翻患侧从CT坐标系转换至拇外翻坐标系,并且在拇外翻坐标系中提取拇外翻患侧中的骨骼关键点。进一步地,通过前述骨骼关键点计算截骨位置和截骨矢量方向,复位平移距离、复位旋转角度和内固定路径、内固定置入位置,第一跖骨远端复位针和第一跖骨近端复位针的置入位置与置入矢量方向以及目标组织处固定导向孔和对齐线槽的位置和矢量方向等。关于前述计算截骨参数、复位参数以及内固定参数等更多细节,可以参考上述图1中的描述,本申请在此不再赘述。
在一些实施例中,本申请实施例的本地服务器1000还可以包括存储模块,其用于存储上述足部CT影像,截骨位置,各种复位参数等。
在一个实施例中,本申请实施例还提供一种用于足部拇外翻手术规划的系统,该系统可以包括本申请实施例的本地服务器以及云端服务器,其中,该云端服务器可以用于向本地服务器传输被检者的足部CT影像和接收本地服务器上传的手术规划结果。在一个实现场景中,本申请实施例的系统还可以包括网页端,该网页端可以用于接收医生上传的被检者的足部CT影像,并且向云端服务器传输被检者的足部CT影像以及接收云端服务器传输的手术规划结果。可以理解,前述网页端也即医生端。在该网页端中还可以包括例如数据上传模块和结果评审模块,医生端通过该模块完成病例相关数据的上传,通过结果评审模块完成对手术规划结果的确认。
在另一个实现场景中,本申请实施例的系统还可以包括本地端,该本地端可以用于接收手术规划工程师对本地服务器中的计算规划模块设置的目标操作和对计算规划模块调整的目标参数,并且向本地服务器传输目标操作和目标参数。在一些实施例中,该本地端还可以包括PC端手术规划应用软件和Web端手术规划应用软件,以便于手术规划工程师通过前述软件设置目标操作和调整目标参数。作为示例,手术规划工程师可以通过本地端设置三维重建操作,调整三维重建操作中的表面点集过滤器的参数。
图11是示出根据本申请实施例的用于足部拇外翻手术规划的系统1100的示例性示意图。如图11中所示,该系统1100可以包括本地服务器1000、云端服务器1101、网页端1102和本地端1103。其中,本地服务器1000可以包括影像获取模块1001、患侧识别模块1002、计算规划模块1003和存储模块1104。云端服务器1101可以包括云端交换模块1105,网页端1102可以包括数据上传模块1106和结果评审模块1107,本地端1103可以包括PC端手术规划应用软件1108和Web端手术规划应用软件1109。在进行手术规划时,医生可以经由数据上传模块1106向云端服务器1101上传被检者的足部CT影像或者相关病历信息,由云端服务器1101通过云端交换模块1105将被检者的足部CT影像或者相关病历信息传输至本地服务器1000。接着,经由影像获取模块1001接收被检者的足部CT影像或者相关病历信息,基于前述被检者的足部CT影像,由患侧识别模块1002识别出被检者的拇外翻患侧,进而由计算规划模块1003计算拇外翻患侧处与执行拇外翻畸形矫正操作有关的手术规划参数。
图中进一步示出,在本地端1103,手术规划工程师可以经由PC端手术规划应用软件1108和Web端手术规划应用软件1109设置计算规划模块1003中的目标操作和调整计算规划模块1003中的目标参数。进一步地,手术规划结果中的相关数据可以通过存储模块1104进行存储,并最终由本地服务器1000上传至云端服务器1101,医生可以在网页端1102获取到云端服务器1101中的手术规划结果,并且经由结果评审模块1107完成对手术规划结果的确认。
结合上述描述可知,本申请实施例基于医学影像处理算法、拓扑与代数几何相关算法、机器视觉算法等,结合微创拇外翻具体的手术流程与手术难点,通过医工结合技术为微创拇外翻构建一整套全链条算法包,实现术前手术规划全部步骤的智能化与自动化,确保全部计算的精度可控且达到临床标标准要求,同时还能显著地提高手术规划的效率,并极大地降低人工成本。
进一步地,本申请实施例的用于足部拇外翻手术规划的系统,通过采用云端+本地分布式系统架构,可协同工作的终端设计,兼容可扩充的计算集群。例如,由网页端数据上传模块、网页端结果审核模块、云端数据交换模块、本地服务器计算规划模块、本地服务器储存模块、本地PC端应用软件模块、本地Web端应用软件模块构成手术规划系统。在该系统中,实现医生一键云端上传影像与病例关键数据,通过本地PC端软件自动完成术前手术规划,通过将复杂计算与数据储存任务分配至本地服务器上完成,并通过云端返回手术规划结果供医生确认。基于此,使得医生无需学习工业级软件或任何专业工程基础技能,仅需要通过简单的培训,即可使用本申请实施例的系统,完成远程、高效的术前手术规划,极大的降低了医生进行术前手术规划的学习难度,同时在最小化系统成本的基础上,进一步提升了手术规划多方协作的整体效率。
此外,本申请实施例的系统还考虑了多医生、多工程师协同操作需求,考虑了整个手术规划过程涉及需求反馈再确认的多个环节以及考虑了系统多端设计支持多终端实时显示与数据共享。另外,由于术前手术规划强调时效性,希望医生能实时进行关键数据的审核,由此本申请实施例的系统还设置了结果审查模块,以尽快的完成关键数据的转换和初步的反馈,并且支持多个医生同一时刻进行多进程任务,进而系统的结构设计也支持对计算模块的弹性扩充。
进一步地,本申请实施例的系统还可以支持多系统数据互联互通,例如将术前手术规划系统与3D打印定制式截骨导板系统、手术机器人系统数据互联互通,以支持手术规划结果以内部数据格式文件,直接输出导入至3D打印定制式截骨导板系统或手术机器人系统,以便严格按照手术规划的手术方式完成截骨导板的3D建模与生产或机器人的术中实施。例如图12-图13分别示出系统导出的内部数据格式文件,其中图12是示出适用于3D打印定制式截骨导板系统的数据结构的示例性示意图,图13是示出适用于手术机器人系统的数据结构的示例性示意图。此外,还可以将复位参数和内固定参数等直接导出,由医生直接按照导出参数,使用复位与内固定导向器,以严格按照手术规划完成复位与内固定的术中操作。基于前述内容可知,通过多系统数据互联互通,可确保手术规划结果可以严格落实到实际术中操作中执行。
图14是示出根据本申请实施例的用于足部拇外翻手术规划的设备1400的示例性结构框图。如图14中所示,本申请的设备1400可以包括处理器1401和存储器1402,其中处理器1401和存储器1402之间通过总线进行通信。存储器1402存储有用于足部拇外翻手术规划的程序指令,当所述程序指令由所述处理器1401执行时,使得实现根据前文结合附图描述的方法步骤:获取来自于云端服务器传输的被检者的足部CT影像;基于所述足部CT影像进行拇外翻患侧识别,以获得所述被检者的拇外翻患侧;计算所述拇外翻患侧处与执行拇外翻畸形矫正操作有关的手术规划参数;以及根据所述手术规划参数对足部拇外翻畸形矫正进行手术规划,并将手术规划结果上传至所述云端服务器。
根据上述结合附图的描述,本领域技术人员也可以理解本申请的实施例还可以通过软件程序来实现。由此本申请还提供了一种计算机可读存储介质。该计算机可读存储介质其上存储有用于足部拇外翻手术规划的计算机可读指令,该计算机可读指令被一个或多个处理器执行时,实现本申请结合附图2所描述的用于足部拇外翻手术规划的方法。
通过以上的实施方式的描述,本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现,当然也可以通过硬件。基于这样的理解,上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来,该计算机软件产品可以存储在计算机可读存储介质中,如ROM/RAM、磁碟、光盘等,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行各个实施例或者实施例的某些部分所述的方法。
应当注意,尽管在附图中以特定顺序描述了本申请方法的操作,但是这并非要求或者暗示必须按照该特定顺序来执行这些操作,或是必须执行全部所示的操作才能实现期望的结果。相反,流程图中描绘的步骤可以改变执行顺序。附加地或备选地,可以省略某些步骤,将多个步骤合并为一个步骤执行,和/或将一个步骤分解为多个步骤执行。
应当理解,当本申请的权利要求、当说明书及附图中使用到术语“第一”、“第二”、“第三”和“第四”等时,其仅用于区别不同对象,而不是用于描述特定顺序。本申请的说明书和权利要求书中使用的术语“包括”和“包含”指示所描述特征、整体、步骤、操作、元素和/或组件的存在,但并不排除一个或多个其它特征、整体、步骤、操作、元素、组件和/或其集合的存在或添加。
还应当理解,在此本申请说明书中所使用的术语仅仅是出于描述特定实施例的目的,而并不意在限定本申请。如在本申请说明书和权利要求书中所使用的那样,除非上下文清楚地指明其它情况,否则单数形式的“一”、“一个”及“该”意在包括复数形式。还应当进一步理解,在本申请说明书和权利要求书中使用的术语“和/或”是指相关联列出的项中的一个或多个的任何组合以及所有可能组合,并且包括这些组合。
虽然本申请的实施方式如上,但所述内容只是为便于理解本申请而采用的实施例,并非用以限定本申请的范围和应用场景。任何本申请所述技术领域内的技术人员,在不脱离本申请所揭露的精神和范围的前提下,可以在实施的形式上及细节上作任何的修改与变化,但本申请的专利保护范围,仍须以所附的权利要求书所界定的范围为准。

Claims (15)

1.一种用于足部拇外翻手术规划的方法,其特征在于,所述方法经由本地服务器执行,其中所述方法包括:
获取来自于云端服务器传输的被检者的足部CT影像;
基于所述足部CT影像进行拇外翻患侧识别,以获得所述被检者的拇外翻患侧;
计算所述拇外翻患侧处与执行拇外翻畸形矫正操作有关的手术规划参数;以及
根据所述手术规划参数对足部拇外翻畸形矫正进行手术规划,并将手术规划结果上传至所述云端服务器,
其中所述手术规划参数至少包括截骨位置和截骨矢量方向,并且通过以下操作计算所述拇外翻患侧处与执行拇外翻畸形矫正操作有关的所述截骨位置和所述截骨矢量方向:
基于所述拇外翻患侧中的第一跖骨骨干远端关节面边界点、第二跖骨骨干远端截面边界点和第二跖骨骨干近端截面边界点分别计算第一跖骨骨干远端边界圆弧的圆心、第二跖骨骨干远端边界圆弧的圆心和第二跖骨骨干近端边界圆弧的圆心;
连接所述第二跖骨骨干远端边界圆弧的圆心和所述第二跖骨骨干近端边界圆弧的圆心获得第二跖骨轴线,并沿所述第一跖骨骨干远端边界圆弧的圆心向所述第二跖骨轴线作垂线,获得所述截骨矢量方向;以及
沿所述第一跖骨骨干远端边界圆弧的圆心向所述截骨矢量方向计算第一跖骨骨干远端的上表面点和下表面点,并将所述第一跖骨骨干远端的上表面点和下表面点之间的连线作为所述截骨位置,其中所述第一跖骨骨干远端的上表面点和下表面点分别表示为,其中/>表示第一跖骨骨干远端的上表面点,/>表示第一跖骨骨干远端的下表面点,/>表示第一跖骨骨干远端边界圆弧的圆心,/>表示足部CT影像的三维重建表面体,/>和/>分别表示截骨矢量方向的正、负方向。
2. 根据权利要求1所述的方法,其特征在于,其中基于所述足部CT影像进行拇外翻患侧识别,以获得所述被检者的拇外翻患侧包括:
基于所述足部CT影像对所述被检者足部进行三维重建,获得所述被检者足部的三维重建表面体;以及
基于所述三维重建表面体进行拇外翻患侧识别,以获得所述被检者的拇外翻患侧。
3.根据权利要求2所述的方法,其特征在于,其中所述足部CT影像包括三维点云数据,并且基于所述足部CT影像对所述被检者足部进行三维重建,获得所述被检者足部的三维重建表面体包括:
将所述足部CT影像中的所述三维点云数据转化成三维布尔矩阵;
从所述三维布尔矩阵中提取所述三维点云数据的表面点集;以及
基于所述表面点集对所述被检者足部进行三维重建,获得所述被检者足部的三维重建表面体。
4. 根据权利要求3所述的方法,其特征在于,其中基于所述三维重建表面体进行拇外翻患侧识别,以获得所述被检者的拇外翻患侧包括:
基于所述三维重建表面体识别拇外翻患侧的最小三维矩形边界框;以及
沿所述最小三维矩形边界框对所述三维重建表面体进行切割,以获得所述被检者的拇外翻患侧。
5. 根据权利要求1-4任意一项所述的方法,其特征在于,其中在计算所述拇外翻患侧处与执行拇外翻畸形矫正操作有关的手术规划参数之前,还包括:
将所述拇外翻患侧从CT坐标系转换至拇外翻坐标系;以及
在所述拇外翻坐标系中提取所述拇外翻患侧中的所述第一跖骨骨干远端关节面边界点、所述第二跖骨骨干远端截面边界点和所述第二跖骨骨干近端截面边界点。
6.根据权利要求1所述的方法,其特征在于,其中所述手术规划参数还包括复位参数和内固定参数,并且通过以下操作计算所述拇外翻患侧处与执行拇外翻畸形矫正操作有关的所述复位参数和所述内固定参数:
获取所述拇外翻患侧处的多个目标畸形角度;
基于所述多个目标畸形角度与相应标准范围的差异计算与执行拇外翻畸形矫正操作有关的复位平移距离和复位旋转角度;
根据所述复位平移距离和所述复位旋转角度更新所述第一跖骨骨干远端边界点;以及
基于更新后的第一跖骨骨干远端边界点和所述第一跖骨骨干近端边界点确定与执行拇外翻畸形矫正操作有关的内固定路径和内固定置入位置。
7.根据权利要求6所述的方法,其特征在于,其中所述手术规划参数还包括第一跖骨远端复位针和第一跖骨近端复位针的置入位置与置入矢量方向,并且计算所述拇外翻患侧处与执行拇外翻畸形矫正操作有关的手术规划参数还包括:
分别基于所述第一跖骨骨干远端边界点和所述第一跖骨骨干近端边界点计算所述拇外翻患侧处与执行拇外翻畸形矫正操作有关的所述第一跖骨远端复位针和所述第一跖骨近端复位针的置入位置与置入矢量方向。
8.根据权利要求6所述的方法,其特征在于,其中计算所述拇外翻患侧处与执行拇外翻畸形矫正操作有关的手术规划参数还包括:
计算所述拇外翻患侧中的目标组织处与执行拇外翻畸形矫正操作有关的固定导向孔和对齐线槽的位置和矢量方向。
9.根据权利要求8所述的方法,其特征在于,其中所述目标组织处与执行拇外翻畸形矫正操作有关的固定导向孔和对齐线槽包括第一楔骨固定导向孔、第一跖骨侧位对齐线槽、第一跖趾关节对齐线槽、第一跖骨远端复位导针对齐线槽、第一跖骨远端截骨对齐线槽、第一跖骨正位外侧边缘对齐线槽、第一跖骨正位中线对齐线槽和第一跖骨正位内测对齐线槽。
10.一种用于足部拇外翻手术规划的本地服务器,其特征在于,包括:
影像获取模块,其用于获取来自于云端服务器传输的被检者的足部CT影像;
患侧识别模块,其用于基于所述足部CT影像进行拇外翻患侧识别,以获得所述被检者的拇外翻患侧;
计算规划模块,其用于:
计算所述拇外翻患侧处与执行拇外翻畸形矫正操作有关的手术规划参数;以及
根据所述手术规划参数对足部拇外翻畸形矫正进行手术规划,并将手术规划结果上传至所述云端服务器,
其中所述手术规划参数至少包括截骨位置和截骨矢量方向,并且所述计算规划模块进一步用于通过以下操作计算所述拇外翻患侧处与执行拇外翻畸形矫正操作有关的所述截骨位置和所述截骨矢量方向:
基于所述拇外翻患侧中的第一跖骨骨干远端关节面边界点、第二跖骨骨干远端截面边界点和第二跖骨骨干近端截面边界点分别计算第一跖骨骨干远端边界圆弧的圆心、第二跖骨骨干远端边界圆弧的圆心和第二跖骨骨干近端边界圆弧的圆心;
连接所述第二跖骨骨干远端边界圆弧的圆心和所述第二跖骨骨干近端边界圆弧的圆心获得第二跖骨轴线,并沿所述第一跖骨骨干远端边界圆弧的圆心向所述第二跖骨轴线作垂线,获得所述截骨矢量方向;
沿所述第一跖骨骨干远端边界圆弧的圆心向所述截骨矢量方向计算第一跖骨骨干远端的上表面点和下表面点,并将所述第一跖骨骨干远端的上表面点和下表面点之间的连线作为所述截骨位置,其中所述第一跖骨骨干远端的上表面点和下表面点分别表示为,其中/>表示第一跖骨骨干远端的上表面点,/>表示第一跖骨骨干远端的下表面点,/>表示第一跖骨骨干远端边界圆弧的圆心,/>表示足部CT影像的三维重建表面体,/>和/>分别表示截骨矢量方向的正、负方向。
11. 一种用于足部拇外翻手术规划的系统,其特征在于,包括:
根据权利要求10所述的本地服务器;以及
云端服务器,其用于向所述本地服务器传输被检者的足部CT影像和接收所述本地服务器上传的手术规划结果。
12.根据权利要求11所述的系统,其特征在于,还包括:
网页端,其用于接收医生上传的所述被检者的足部CT影像,并且向所述云端服务器传输所述被检者的足部CT影像以及接收所述云端服务器传输的所述手术规划结果。
13.根据权利要求11所述的系统,其特征在于,还包括:
本地端,其用于接收手术规划工程师对所述本地服务器中的所述计算规划模块设置的目标操作和对所述计算规划模块调整的目标参数,并且向所述本地服务器传输所述目标操作和所述目标参数。
14. 一种用于足部拇外翻手术规划的设备,其特征在于,包括:
处理器;以及
存储器,其中存储有用于足部拇外翻手术规划的程序指令,当所述程序指令由所述处理器执行时,使得所述设备实现根据权利要求1-9任意一项所述的方法。
15.一种计算机可读存储介质,其特征在于,其上存储有用于足部拇外翻手术规划的计算机可读指令,该计算机可读指令被一个或多个处理器执行时,实现如权利要求1-9任意一项所述的方法。
CN202311621896.0A 2023-11-30 2023-11-30 一种用于足部拇外翻手术规划的方法及相关产品 Active CN117297772B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202311621896.0A CN117297772B (zh) 2023-11-30 2023-11-30 一种用于足部拇外翻手术规划的方法及相关产品

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202311621896.0A CN117297772B (zh) 2023-11-30 2023-11-30 一种用于足部拇外翻手术规划的方法及相关产品

Publications (2)

Publication Number Publication Date
CN117297772A CN117297772A (zh) 2023-12-29
CN117297772B true CN117297772B (zh) 2024-02-13

Family

ID=89287048

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202311621896.0A Active CN117297772B (zh) 2023-11-30 2023-11-30 一种用于足部拇外翻手术规划的方法及相关产品

Country Status (1)

Country Link
CN (1) CN117297772B (zh)

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5529075A (en) * 1994-09-12 1996-06-25 Clark; David Fixation device and method for repair of pronounced hallux valgus
WO2005041785A1 (en) * 2003-10-25 2005-05-12 James Hamilton Murray-Brown Surgical jig
RU2366375C1 (ru) * 2008-04-29 2009-09-10 Александр Петрович Букреев Способ хирургической коррекции вальгусного отклонения i пальца стопы
WO2021178132A1 (en) * 2020-03-02 2021-09-10 Wright Medical Technology, Inc. Targeting guides
WO2022068340A1 (zh) * 2020-09-29 2022-04-07 苏州微创畅行机器人有限公司 可读存储介质、骨建模配准系统及骨科手术系统
CN219306838U (zh) * 2023-02-23 2023-07-07 佛山市中医院 跖骨截骨后推移瞄准装置
CN116919590A (zh) * 2023-07-18 2023-10-24 赛博派(无锡)科技有限责任公司 用于拇外翻微创手术的手术机器人控制方法、设备及介质
CN116919604A (zh) * 2023-07-18 2023-10-24 赛博派(无锡)科技有限责任公司 一种用于骨科手术机器人的制动系统
KR102604463B1 (ko) * 2023-05-12 2023-11-22 씨앤에스메디칼(주) 무지외반증 수술 장치

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20220211387A1 (en) * 2019-09-13 2022-07-07 Inmotus Medical Llc Patient-specific surgical methods and instrumentation

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5529075A (en) * 1994-09-12 1996-06-25 Clark; David Fixation device and method for repair of pronounced hallux valgus
WO2005041785A1 (en) * 2003-10-25 2005-05-12 James Hamilton Murray-Brown Surgical jig
RU2366375C1 (ru) * 2008-04-29 2009-09-10 Александр Петрович Букреев Способ хирургической коррекции вальгусного отклонения i пальца стопы
WO2021178132A1 (en) * 2020-03-02 2021-09-10 Wright Medical Technology, Inc. Targeting guides
WO2022068340A1 (zh) * 2020-09-29 2022-04-07 苏州微创畅行机器人有限公司 可读存储介质、骨建模配准系统及骨科手术系统
CN219306838U (zh) * 2023-02-23 2023-07-07 佛山市中医院 跖骨截骨后推移瞄准装置
KR102604463B1 (ko) * 2023-05-12 2023-11-22 씨앤에스메디칼(주) 무지외반증 수술 장치
CN116919590A (zh) * 2023-07-18 2023-10-24 赛博派(无锡)科技有限责任公司 用于拇外翻微创手术的手术机器人控制方法、设备及介质
CN116919604A (zh) * 2023-07-18 2023-10-24 赛博派(无锡)科技有限责任公司 一种用于骨科手术机器人的制动系统

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
Approach for measuring the angle of hallux valgus;Zhou, J (Zhou, Jin) 等;《INDIAN JOURNAL OF ORTHOPAEDICS》;第278-282页 *

Also Published As

Publication number Publication date
CN117297772A (zh) 2023-12-29

Similar Documents

Publication Publication Date Title
US20220175453A1 (en) Total knee arthroplasty robot auxiliary system, control method and electronic device
WO2021078064A1 (zh) 超声扫查轨迹规划方法、装置、存储介质及计算机设备
Chapuis et al. A new system for computer-aided preoperative planning and intraoperative navigation during corrective jaw surgery
CN113143466A (zh) 一种基于一体化手术机器人的术中规划调整方法及系统
WO2018236936A1 (en) SURGICAL HIP NAVIGATION USING FLUOROSCOPY AND MONITORING SENSORS
US20210007806A1 (en) A method for obtaining 3-d deformity correction for bones
KR20210084556A (ko) 치과 임플란트 네비게이션 수술의 교정, 추적 방법 및 장치
CN101862220A (zh) 基于结构光图像的椎弓根内固定导航手术系统和方法
CN103099679B (zh) 一种个性化腰椎内固定辅助装置及其制备方法
WO2023236367A1 (zh) 用于胫骨截骨智能导航系统的规划方法和装置
CN105877807A (zh) 一种能够准确定位胫骨高位截骨的导航装置及其制备方法
Paley et al. Six-axis deformity analysis and correction
US11986251B2 (en) Patient-specific osteotomy instrumentation
CN106991720B (zh) 一种基于有限元分析运算的个性化髋臼重建钢板预弯方法
WO2022089051A1 (zh) 颅骨矫正方案生成系统、构建方法、获取方法及装置
CN117297772B (zh) 一种用于足部拇外翻手术规划的方法及相关产品
CN103366397A (zh) 基于c形臂2d投影图像的脊柱3d模型构建方法
CN111658142A (zh) 一种基于mr的病灶全息导航方法及系统
CN110223396B (zh) 一种基于形态学的脊柱模拟矫正方法及装置
KR102226467B1 (ko) 턱교정 수술을 위한 시뮬레이션 장치 및 방법
CN2857869Y (zh) 基于局部解剖结构特征的术中实时导航装置
CN113507890B (zh) 基于ct图像的肘关节屈伸三维运动分析方法及装置
US20060239577A1 (en) Process of using computer modeling, reconstructive modeling and simulation modeling for image guided reconstructive surgery
US11406471B1 (en) Hand-held stereovision system for image updating in surgery
CN111968236A (zh) 一种基于K-D tree方法的对位对线骨折复位系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant