CN109993792A - 投影方法、装置及系统和可读存储介质 - Google Patents

Abstract

本申请提供一种投影方法、装置及系统和可读存储介质。应用于投影系统，投影系统包括拍摄装置、标识装置和投影装置，投影方法包括：获取针对患处的三维局部图像，三维局部图像包括虚拟路径；当基于三维局部图像投影得到的仿真二维图像与基于患处得到的二维投影图像匹配时，获取三维局部图像的三维姿态信息，以作为患处基于透视坐标系的透视位置信息，透视坐标系基于拍摄装置形成；获取基于标识装置的标识坐标系和透视坐标系之间的第一转换关系、标识坐标系和基于投影装置的投影坐标系之间的第二转换关系；根据患处的透视位置信息、第一转换关系和第二转换关系，得到患处在投影坐标系下的投影坐标信息，以使得投影装置根据投影坐标信息进行投影。

Description

投影方法、装置及系统和可读存储介质

技术领域

本申请涉及医疗技术领域，尤其涉及一种投影方法、装置及系统和可读存储介质。

背景技术

当前，在通过钢针对患肢进行固定时，钢针通常需要插入患肢内部，而对于患者而言，钢针的插入过程不可见，从而极易导致患者由于无法及时了解当前状态而焦虑、担忧，甚至产生不可抗的肢体运动，加大对患肢进行固定的难度，同时也不利于患者健康。

发明内容

本申请提供一种投影方法、装置及系统和可读存储介质，以解决相关技术中的不足。

根据本申请实施例的第一方面，提供一种投影方法，应用于投影系统，所述投影系统包括拍摄装置、标识装置和投影装置，所述投影方法包括：

获取针对患处的三维局部图像，所述三维局部图像包括虚拟路径；

当基于所述三维局部图像投影得到的仿真二维图像与基于患处得到的二维投影图像匹配时，获取所述三维局部图像的三维姿态信息，以作为所述患处基于透视坐标系的透视位置信息，所述透视坐标系基于所述拍摄装置形成；

获取基于所述标识装置的标识坐标系和所述透视坐标系之间的第一转换关系、所述标识坐标系和基于所述投影装置的投影坐标系之间的第二转换关系；

根据所述患处的透视位置信息、所述第一转换关系和所述第二转换关系，得到所述患处在所述投影坐标系下的投影坐标信息，以使得所述投影装置根据所述投影坐标信息进行投影。

可选的，所述基于所述三维局部图像投影得到的仿真二维图像与基于患处得到的二维投影图像匹配，包括：

对所述患处进行透视投影得到所述二维投影图像；

对所述三维局部图像进行投影得到所述仿真二维图像；

获取所述仿真二维图像和所述二维投影图像的重合度，在所述重合度不小于预设阈值时，确定为所述仿真二维图像与所述二维投影图像匹配。

可选的，所述获取所述仿真二维图像和所述二维投影图像的重合度，包括：

提取所述仿真二维图像中的第一投影区域和所述二维投影图像中的第二投影区域；

根据所述第一投影区域和所述第二投影区域之间的边缘轮廓匹配程度计算所述重合度。

可选的，所述获取所述仿真二维图像和所述二维投影图像的重合度，包括：

将所述仿真二维图像和所述二维投影图像均按照预设比例沿预设方向进行分割；

将所述仿真二维图像的每一分割区域与所述二维投影图像对应的分割区域进行匹配得到所述重合度。

可选的，所述标识装置包括层叠间隔设置的校准板和第一标识板，所述校准板包括第一定位球，所述第一标识板包括第二定位球；

所述获取基于所述标识装置的标识坐标系和所述透视坐标系之间的第一转换关系，包括：

基于多个所述第一定位球在图像坐标系下的图像位置信息、和在所述标识坐标系下的标识位置信息，确定第三转换关系，所述第三转换关系能够用于确定校准后的所述二维投影图像，所述图像坐标系与基于所述拍摄装置获取的投影图像相关；

基于多个所述第二定位球在所述图像坐标系下的图像位置信息、在所述标识坐标系下的标识位置信息和所述第三转换关系，确定所述拍摄装置的焦点位置信息，以确定所述第一转换关系，所述焦点位置信息与所述透视坐标系相关。

可选的，所述标识装置包括第三定位球，获取所述标识坐标系和基于所述投影装置的投影坐标系之间的第二转换关系，包括：

通过所述投影装置获取所述第三定位球在所述投影坐标系下的投影位置信息；

根据所述第三定位球的投影位置信息和在所述标识坐标系下的所述标识位置信息，确定所述投影坐标系与所述标识坐标系之间的第二转换关系。

可选的，还包括：

当基于所述三维局部图像投影得到的仿真二维图像与基于患处得到的二维投影图像匹配时，根据所述虚拟路径上多个位置点的图像位置信息调整指引结构，使得所述指引结构的指引方向依次指向患处对应于所述多个位置点的靶点。

可选的，所述根据所述虚拟路径上多个位置点的图像位置信息调整指引结构，包括：

根据所述虚拟路径在所述二维仿真图像上的图像位置信息，获取所述二维投影图像上与所述虚拟路径匹配的投影路径的图像位置信息；

根据所述投影路径上多个位置点的图像位置信息调整所述指引结构。

可选的，所述投影系统包括定位装置，所述定位装置包括多个位于第一平面上的第一预设标记点、和多个位于第二平面上的第二预设标记点，在投影方向上，所述第一平面和所述第二平面之间具有间隔；

所述根据所述虚拟路径上多个位置点的图像位置信息调整指引结构，包括：

获取第一平面上每一第一预设标记点和第二平面上每一所述第二预设标记点在定位坐标系中的定位位置信息；

获取第一平面上每一第一预设标记点和第二平面上每一所述第二预设标记点在图像坐标系中的图像位置信息，所述图像坐标系基于所述定位装置的投影图像形成；

根据所述第一预设标记点的定位位置信息和图像位置信息、所述第二预设标记点的定位位置信息和图像位置信息、虚拟路径上任一位置点的图像位置信息，调整所述指引结构。

可选的，所述指引结构包括光束发射部件，所述指引结构的指引方向依次指向患处对应于所述多个位置点的靶点包括：

所述光束部件发射的光束指向靶点。

或者，所述指引结构包括器械导向通道，

所述指引结构的指引方向依次指向患处对应于所述多个位置点的靶点包括：

所述器械导向通道的中轴线指向所述靶点。

根据本申请实施例的第二方面，提供一种投影装置，应用于投影系统，所述投影系统包括拍摄装置、标识装置和投影装置，所述投影装置包括：

第一获取模块，获取针对患处的三维局部图像，所述三维局部图像包括虚拟路径；

第二获取模块，当基于所述三维局部图像投影得到的仿真二维图像与基于患处得到的二维投影图像匹配时，获取所述三维局部图像的三维姿态信息，以作为所述患处基于透视坐标系的透视位置信息，所述透视坐标系基于所述拍摄装置形成；

第三获取模块，获取基于所述标识装置的标识坐标系和所述透视坐标系之间的第一转换关系、所述标识坐标系和基于所述投影装置的投影坐标系之间的第二转换关系；

投影模块，根据所述患处的透视位置信息、所述第一转换关系和所述第二转换关系，得到所述患处在所述投影坐标系下的投影坐标信息，以使得所述投影装置根据所述投影坐标信息进行投影。

根据本申请实施例的第三方面，提供一种计算机可读存储介质，其上存储有计算机指令，该指令被处理器执行时如上述任一项实施例所述方法的步骤。

根据本申请实施例的第四方面，提供一种投影系统，包括拍摄装置、标识装置和投影装置；

显示器，所述显示器用于示出图像；

处理器，所述处理器于所述拍摄装置和所述光束发射装置分别通信连接；

用于存储处理器可执行指令的存储器；

其中，所述处理器被配置为用于实现如上述任一项实施例所述方法的步骤。

本申请的实施例提供的技术方案可以包括以下有益效果：

由上述实施例可知，本申请通过在仿真二维图像与二维图像匹配时获取三维局部图像的三维姿态参数，从而得到患处在基于拍摄装置时的透视位置信息，进一步通过坐标转换关系将透视位置信息转换至投影坐标系下进行投影，使得医护人员可以根据需求将患处投影的任一合适位置，有利于随时观察手术进程，实现无创实时投影，尤其在虚拟路径的投影可以为医护人员的进针提供辅助，有利于提高手术的精准度。

应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本申请。

附图说明

此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本申请的实施例，并与说明书一起用于解释本申请的原理。

图1是根据一示例性实施例示出的一种投影方法的流程图。

图2是根据一示例性实施例示出的一种投影系统的结构框图。

图3是根据一示例性实施例示出的一种投影系统的结构示意图。

图4是根据一示例性实施例示出的另一种投影方法流程图。

图5是根据一示例性实施例示出的还一种投影方法流程图。

图6是根据一示例性实施例示出的又一种投影方法流程图。

图7是根据一示例性示出的一种算法模型图。

图8是根据一示例性实施例示出的一种投影方法的局部流程图。

图9A是根据一示例性实施例示出的另一种投影方法的局部流程图。

图9B是根据一示例性实施例示出的一种仿真二维图像。

图9C是根据一示例性实施例示出的一种二维投影图像。

图10是根据一示例性实施例提供的一种设备的示意结构图。

图11是根据一示例性实施例示出的一种投影装置的框图。

具体实施方式

这里将详细地对示例性实施例进行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本申请相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本申请的一些方面相一致的装置和方法的例子。

在本申请使用的术语是仅仅出于描述特定实施例的目的，而非旨在限制本申请。在本申请和所附权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式，除非上下文清楚地表示其他含义。还应当理解，本文中使用的术语“和/或”是指并包含一个或多个相关联的列出项目的任何或所有可能组合。

应当理解，尽管在本申请可能采用术语第一、第二、第三等来描述各种信息，但这些信息不应限于这些术语。这些术语仅用来将同一类型的信息彼此区分开。例如，在不脱离本申请范围的情况下，第一信息也可以被称为第二信息，类似地，第二信息也可以被称为第一信息。取决于语境，如在此所使用的词语“如果”可以被解释成为“在……时”或“当……时”或“响应于确定”。

图1是根据一示例性实施例示出的一种投影方法的流程图，图2是根据一示例性实施例示出的一种投影系统的结构框图、图3是根据一示例性实施例示出的一种投影系统的结构示意图。如图1-图3所示，该投影系统可以包括拍摄装置1、标识装置2和投影装置3。该投影方法可以包括：

在步骤101中，获取针对患处的三维局部图像，所述三维局部图像包括虚拟路径。

在本实施例中，患处可以包括患肢、胸部、腰部、脊椎或者头部等部位，本申请并不对此进行限制。可以通过CT扫描或者MR影像得到扫描信息，该扫描信息可以被输入到计算机使之进行重建，得到三维局部图像。进一步地，根据CT或者MR的扫描信息同样可以重建在三维局部图像内重建由多个靶点组合联合而成的虚拟路径。

在步骤102中，当基于所述三维局部图像投影得到的仿真二维图像与基于患处得到的二维投影图像匹配时，获取所述三维局部图像的三维姿态信息，以作为所述患处基于透视坐标系的透视位置信息，所述透视坐标系基于所述拍摄装置形成。

在本实施例中，可以通过C臂机或者其他X射线设备透视患处，从而得到二维投影图像。举例而言，可以基于三维局部图像通过DRR算法得到仿真二维图像并规划虚拟路径。或者，在其他实施例中，也可以是通过Siddon算法、Shear-Warp算法等方式重建三维图像，本申请并不对此进行限制。

进一步地，获取所述仿真二维图像和所述二维投影图像的重合度，在所述重合度不小于预设阈值时，确定为所述仿真二维图像与所述二维投影图像匹配。当二维投影图像与仿真二维图像匹配时，该三维局部图像的三维姿态参数即可作为患处基于拍摄装置的透视坐标系的透视位置信息；虚拟路径的三维姿态参数即可作为患处内手术路径基于透视坐标系的透视位置信息；虚拟路径在仿真二维图像中的位置信息即可作为手术路径在二维投影图像中投影路径的位置信息。

进一步地，当二维投影图像与仿真二维图像之间的重合度小于预设阈值时，可以认为此时二维投影图像与仿真二维图像之间的差异较大，可以通过调节三维局部图像的空间姿态或者针对三维局部图像的投影参数，得到调整后的仿真二维图像，并将调整后的仿真二维图像与二维投影图像进行匹配。当然，在其他一些实施例中，也可以是同时调节三维局部图像的空间姿态以及针对三维局部图像的投影参数，本申请并不对此进行限制。

具体而言，在一实施例中，可以根据仿真二维图像与二维投影图像之间的重合度，反馈仿真二维图像与二维投影图像之间的差异，从而根据该重合度再调整三维局部图像的空间姿态或者调整针对三维局部图像的投影参数。当然，在其他实施例中，也可以时按照一定规律间隔依次调整三维局部图像的空间姿态或者投影参数，本申请并不进行限制。

调整三维局部图像的空间姿态可以是调整三维局部图像针对至少一个坐标轴的旋转角度，或者，可以是调整三维局部图像针对至少一个坐标轴的位移。当然，在其他实施例中，也可以是对任一坐标轴的旋转角度和位移均进行调节。调整针对三维局部图像的投影参数可以是调整虚拟光源的位置，虚拟光源的焦距和成像分辨率中的一个参数或者多个参数。其中，成像分辨率用于表征像素与几何尺寸之间的关系，其与三维局部图像的投影成像平面的尺寸以及二维投影图像的图像尺寸相关。

在上述各个实施例中，对于仿真二维图像与二维投影图像之间的重合度可以通过下述方式实施：

在一实施例中，可以是通过用户个人针对二维投影图像和仿真二维图像进行匹配，得到重合度。

在另一实施例中，可以提取仿真二维图像中的第一投影区域和二维投影图像中的第二投影区域，根据第一投影区域和第二投影区域之间的边缘轮廓匹配程度，得到重合度。

在又一实施例中，可以将仿真二维图像和二维投影图像均按照预设比例沿预设方向进行分割，将仿真二维图像的每一分割区域和二维投影图像对应的分割区域进行匹配，从而得到重合度。

在步骤103中，获取基于所述标识装置的标识坐标系和所述透视坐标系之间的第一转换关系、所述标识坐标系和基于所述投影装置的投影坐标系之间的第二转换关系。

在本实施例中，通过标识坐标系作为中介，从而可以将患处的透视坐标系信息通过第一转换关系转换至标识坐标系下、然后通过第二转换关系转换至投影坐标系下，从而可以获得患处在投影坐标系下的投影位置信息，以根据该投影位置信息进行投影。

具体而言，述标识装置包括层叠间隔设置的校准板和第一标识板，所述校准板包括第一定位球，所述第一标识板包括第二定位球。可以基于多个所述第一定位球在图像坐标系下的图像位置信息、和在所述标识坐标系下的标识位置信息，确定第三转换关系，所述第三转换关系能够用于确定校准后的所述二维投影图像，所述图像坐标系与基于所述拍摄装置获取的投影图像相关；基于多个所述第二定位球在所述图像坐标系下的图像位置信息、在所述标识坐标系下的标识位置信息和所述第三转换关系，确定所述拍摄装置的焦点位置信息，以确定所述第一转换关系，所述焦点位置信息与所述透视坐标系相关。

所述标识装置包括第三定位球，可以通过所述投影装置获取所述第三定位球在所述投影坐标系下的投影位置信息；根据所述第三定位球的投影位置信息和在所述标识坐标系下的所述标识位置信息，确定所述投影坐标系与所述标识坐标系之间的第二转换关系。

在步骤104中，根据所述患处的透视位置信息、所述第一转换关系和所述第二转换关系，得到所述患处在所述投影坐标系下的投影坐标信息，以使得所述投影装置根据所述投影坐标信息进行投影。

在上述各个实施例中，还可以在基于所述三维局部图像投影得到的仿真二维图像与基于患处得到的二维投影图像匹配时，根据所述虚拟路径上多个位置点的图像位置信息调整指引结构，使得所述指引结构的指引方向依次指向患处对应于所述多个位置点的靶点。

在一实施例中，所述投影系统包括定位装置，所述定位装置包括多个位于第一平面上的第一预设标记点、和多个位于第二平面上的第二预设标记点，在投影方向上，所述第一平面和所述第二平面之间具有间隔；可以获取第一平面上每一第一预设标记点和第二平面上每一所述第二预设标记点在定位坐标系中的定位位置信息；获取第一平面上每一第一预设标记点和第二平面上每一所述第二预设标记点在图像坐标系中的图像位置信息，所述图像坐标系基于所述定位装置的投影图像形成；根据所述第一预设标记点的定位位置信息和图像位置信息、所述第二预设标记点的定位位置信息和图像位置信息、虚拟路径上任一位置点的图像位置信息，调整所述指引结构。基于此，可以得到体表上与手术路径对应的规划路线，该规划路线可以辅助医护人员植入手术器械，辅助术中路径规划，有利于提高手术的精准性，降低病患痛苦。

在另一实施例中，可以通过虚拟路径在二维仿真图像上的图像位置信息，获取二维投影图像与虚拟路径匹配的投影路径的图像位置信息，进一步可以根据投影路径上多个位置点的图像位置信息调整指引结构。该投影路径上多个位置点在二维仿真图像的虚拟路径上存在对应的位置点。具体可以参考根据虚拟路径上位置点进行调整时的调整方法，在此不再一一赘述。

在本实施例中，所述指引结构包括光束发射部件，所述指引结构的指引方向依次指向患处对应于所述多个位置点的靶点包括：所述光束部件发射的光束指向靶点。从而后续可用过该指向靶点的光束定位出导向通道的位置，以用于进针。

或者，所述指引结构包括器械导向通道，所述指引结构的指引方向依次指向患处对应于所述多个位置点的靶点包括：所述器械导向通道的中轴线指向所述靶点。从而后续手术器械可以直接通过该器械导向通道进行进针，简化手术步骤。

由上述实施例可知，本申请通过在仿真二维图像与二维图像匹配时获取三维局部图像的三维姿态参数，从而得到患处在基于拍摄装置时的透视位置信息，进一步通过坐标转换关系将透视位置信息转换至投影坐标系下进行投影，使得医护人员可以根据需求将患处投影的任一合适位置，有利于随时观察手术进程，实现无创实时投影，尤其在虚拟路径的投影可以为医护人员的进针提供辅助，有利于提高手术的精准度。

针对上述技术方案，下述将基于具体实施例进行详细说明。如图4所示，该投影方法的局部流程可以包括下述步骤：

在步骤401中，获取第一定位球O在标识坐标系XOY中的标识位置信息O₁_2d。

在本实施例中，标识装置2可以包括校准板，该校准板用于获取畸变图像与未畸变图像之间的变换关系。例如，该校准板可以包括多个第一定位球，从而当基于标识装置2建立标识坐标系时，可以获得该多个第一定位球的标识位置信息O₁_2d，由于第一定位球为多个，所以标识位置信息可以O₁_2d可以包括：O1(X1，Y1)、O2(X2，Y2)……On(Xn，Yn)。

在步骤402中，获取第一定位球O在图像坐标系MON中的图像位置信息O₂_2d。

在本实施例中，假定以二维投影图像中的任意一点为圆心建立一图像坐标系。那么，可以得到每一第一定位球在图像坐标系中的图像位置信息O₂_2d，该图像位置信息O₂_2d可以包括O1(M1，N1)、O2(M2，N2)……On(Mn，Nn)。

在步骤403中，根据第一定位球的标识位置信息O₁_2d和图像位置信息O₂_2d，计算标识坐标系和图像坐标系之间的第三转换关系T3。

在本实施例中，可以通过数学方法建立标识位置信息和图像位置信息之间的函数关系，根据函数关系求解该第三转换关系T3。

例如，可以建立下述函数关系：

M＝a₀+a₁X+a₂Y+a₃X²+a₄XY+a₅Y²+a₆X³+a₇X²Y+a₈XY²+a₉Y³+…

N＝b₀+b₁X+b₂Y+b₃X²+b₄XY+b₅Y²+b₆X³+b₇X²Y+b₈XY²+b₉Y³+…

其中，(M，N)为图像位置信息、(X，Y)为二维标识位置信息，a₀…a₉，b₀…b₉用于表示第三转换关系T3。换言之，该第三转换关系T3表征了畸变图像与未畸变图像之间的换算关系。所以，当通过C臂机拍摄获得针对患处的处于畸变状态的二维投影图像后，可以通过第三转换关系T3进行校准，从而得到校准后的二维投影图像。

在步骤404中，获取第二定位球在图像坐标系MON中校准后的图像位置信息P₁_2d。

在本实施例中，可以通过第三转换关系T3基于原始投影图像进行校准，从而得到校准后的图像位置信息P₁_2d。标识装置2还可以包括与校准板层叠设置的标识板，该标识板包括多个第二定位球。基于标识装置2在拍摄装置1下的投影图像，进一步可以基于图像坐标系MON，得到各个第二定位球221的图像位置信息，该第二定位球221的图像位置信息P₁_2d可以包括P1(M1，N1)、P2(M2，N2)……Pn(Mn，Nn)。

在步骤405中，根据第三换关系T3和第二定位球的图像位置信息P₁_2d，计算第二定位球在第一定位球所处平面投影的三维坐标P₂_3d。

在本实施例中，第一定位球所处的平面即为校准板的位置。通过第三换关系T3可以得到第二定位球在校准板上投影坐标P₃_2d，该P₃_2d可以包括P1(X1，Y1)、P2(X2，Y2)……Pn(Xn，Yn)，而本实施例中可以假定标识坐标系位于校准板上，所以第二定位球在校准板上投影点的坐标为零，从而得到第二定位球投影的三维坐标P₂_3d：P1(X1，Y1，0)、P2(X2，Y2，0)……Pn(Xn，Yn，0)。

在步骤406中，获取第二定位球P在标识坐标系XOY中的标识位置信息P₃_3d。

在本实施例中，根据校准板和标识板之间的相对位置关系固定，可以得到第一标识板上每一第二定位球在标识坐标系中的标识位置信息，该标识位置信息P₃_3d可以表示包括Pj1(X1，Y1，Z1)、Pj2(X2，Y3，Z3)……Pj3(X1，Y1，Z1)。

在步骤407中，根据P₂_3d和P₃_3d得到焦点位置信息J_3d。

在本实施例中，第一标识板上每一第二定位球均可以在校准板上形成一投影点。换言之，第二定位球在校准板的投影均存在一物理空间上的第二定位球与之对应，举例而言，假定一个第二定位球在标识坐标系中的标识位置信息为Pj1(X1，Y1，Z1)，该第二定位球在校准板上投影的位置信息为P1(X1，Y1，0)，那么过P1(X1，Y1，0)和Pj1(X1，Y1，Z1)两点的直线必然经过光源。所以，通过该多个第二定位球可以得到多条经过光源的直线，因而可以计算得到光源的位置信息亦即焦点位置信息J_3d，该焦点位置信息J_3d的Z轴坐标即光源与投影成像平面之间的距离。基于焦点位置信息J_3d，可以得到透视坐标系下的任一点的透视坐标信息与图像坐标信息之间的投影变换矩阵A。

具体而言，可以假定第二定位球P在透视坐标系下的透视位置信息为P₄_3d，那么P₄_3d＝F1(A，T3，P₁_2d)，P₃_3d＝F2(P₄_3d，T1)，由此可知，P₃_3d＝F3(A，T3，P₁_2d，T1)；其中，A，T3，P₁_2d均为已知，从而可以计算得到T1。

如图5所示，该投影方法的局部流程可以包括下述步骤：

在步骤501中，获取第三定位球Q在标识坐标系中的标识位置信息Q₁_3d。

在本实施例中，该多个第三定位球Q可以被固定安装至标识装置中，从而该多个第三定位球Q在标识坐标系中的标识位置信息Q₁_3d为已知。

在步骤502中，获取第三定位球Q在图投影坐标系中的投影位置信息Q₂_3d。

在本实施例中，投影装置可以包括多目相机，通过该多目相机可以获取到第三定位球在投影坐标系中的投影位置信息Q₂_3d。

在步骤503中，根据Q₁_3d和Q₂_3d计算第二转换关系T2。

在本实施例中，Q₁_3d和Q₂_3d均为已知，从而可以求得第二转换关系T2。

如图6所示，该投影方法的局部流程可以包括下述步骤：

在步骤601中，对所述患处进行投影，并根据第三转换关系T3得到校准后的所述二维投影图像。

在步骤602中，获取三维局部图像和位于三维局部图像内的虚拟路径。

在本实施例中，可以基于C臂机扫描信息或者其他设备仪器的扫描信息进行三维重建，从而得到基于患处的三维局部图像和虚拟路径。

在步骤603中，对所述三维局部图像进行投影得到所述仿真二维图像。

在本实施例中，可以基于三维局部图像通过DRR算法得到仿真二维图像。或者，在其他实施例中，也可以是通过Siddon算法、Shear-Warp算法等方式获得仿真二维图像，本申请并不对此进行限制。

在步骤604中，获取所述仿真二维图像和所述二维投影图像的重合度，在所述重合度不小于预设阈值时，确定为所述仿真二维图像与所述二维投影图像匹配。

在本实施例中，步骤602-步骤604的具体实施方式可见图8、图9A、图9B、图9C所示实施例。

在步骤605中，获取虚拟路径在图像坐标系中多个位置点B的图像位置信息B₁_2d。

在本实施例中，由于此时仿真二维图像与校准后的二维投影图像匹配，所以此时虚拟路径中每一位置点在图像坐标系中的图像位置信息、可以作为患处内手术路径上对应点在校准后二维投影图像中的图像位置信息。

在步骤606中，获取多个第一预设标记点R、多个第二预设标记点S在图像坐标系MON中校准后的图像位置信息R1_2d、S1_2d、在定位坐标系中的定位位置信息R2_2d、S2_2d。

在本实施例中，该投影系统可以包括定位装置，该定位装置上可以包括多个位于第一平面上的第一预设标记点R和多个位于第一平面上的第二预设标记点S以及指向结构，在投影方向上，所述第一平面和所述第二平面之间具有间隔。

基于此，可以得到每一定位标记点在基于定位装置所形成的定位坐标系中的定位位置信息，在此可以将多个第一预设标记点R的定位位置信息表示为R₂_2d、多个第二预设标记点S的定位位置信息表示为S₂_2d。

进一步地，可以通过C臂机拍摄定位装置时，并基于第三转换关系T3得到第一预设标记点R的图像位置信息R₁_2d、第二预设标记点S的图像位置信息S₁_2d。其中，该第一预设标记点R和第二预设标记点S处于不同平面，以便于后续通过第一预设标记点R和第二预设标记点S在不同平面上的位置信息构建从拍摄装置上光源出发并指向靶点的直线。

在步骤607中，根据R1_2d、R2_2d、B1_2d、S1_2d、S2_2d调整光束发射装置，使得光束发射装置的发射的光线指向靶点。

在本实施例中，可以首先根据拍摄装置的投影成像平面尺寸和像素尺寸，确定拍摄装置的成像分辨率。例如，若投影成像平面尺寸为100mm×100mm，像素尺寸为1000像素×1000像素，那么在X片的长度方向和宽度方向上成像分辨率均为0.1mm/像素；再例如若投影成像平面尺寸为200mm×200mm，像素尺寸为1000像素×2000像素，那么在X片的长度方向上成像分辨率均为0.2mm/像素、X片的宽度方向上成像分辨率均为0.1mm/像素。

进一步地，如图7所示，假定第一预设标记点R包括标记点R1和R2，第二预设标记点S包括标记点S1、S2，点B为靶点，假定在与拍摄装置的中心射线T相垂直的平面上建立坐标系MON；那么，在MOT平面内的M轴方向上，可以得到R1、R2的校准后的图像位置信息T1、T2，此时可以根据定位坐标系中标记点R1和R2之间的物理间距|R1R2|与图像坐标系中标记点R1和R2之间像素点的数量，确定出在投影图像的分辨率，进一步根据投影图像的分辨率，标记点R1的投影点T1与靶点的投影点T3之间的像素点数量，可知定位坐标系中标记点R1与靶点B之间的间距|R1B|_M，相类似的，可以得到|R1B|_N、|S1B|_M、|S1B|_N。

所以，当标记点R1沿M轴运动|R1B|_M、沿N轴运动的|R1B|_N距离后，该R1点与靶点在图像坐标系中的位置重合；当标记点S1沿M轴运动|S1B|_M、沿N轴运动的|S1B|_N距离后，该S1点与靶点在图像坐标系中的位置重合。换言之，此时R1、S1和B位于同一条投影光束上。所以，可以根据光束发射装置在定位坐标系中的定位位置信息，以及该光束发射装置与R1、S1点之间的位置关系，调整光束发射装置，是的光束发射装置发射的光线经过R1、S1点，从而该光束固然会指向靶点B。

当针对虚拟路径上的多个位置点分别执行步骤209、和步骤210时，可以得到该光束经过体表的点所构成的规划路径，从而通过该规划路径可以辅助医护人员执行手术，提高精准度。

在步骤608中，获取三维局部图像的三维姿态信息，作为患处在透视坐标系下的透视位置信息。

在步骤609中，根据第一转换关系，获取患处在标识坐标系下的标识位置信息。

在本实施例中，第一转换关系表征了为标识坐标系与透视坐标系之间的坐标转换矩阵，从而可以将患处的透视位置信息转换至标识坐标系中，获得标识位置信息。

在步骤610中，根据第二转换关系，获取患处在投影坐标系下的投影位置信息，以根据该投影位置信息进行投影。

在本实施例中，第二转换关系表征了为标识坐标系与投影坐标系之间的坐标转换矩阵，从而可以将患处的标识位置信息转换至投影坐标系中，获得投影位置信息。

图8是一种投影方法的部分流程图。如图8所示，可以包括以下步骤：

在步骤801中，根据扫描信息重建三维局部图像。

在步骤802中，获取位于三维局部图像内的虚拟路径。

在本实施例中，可以通过CT扫描或者MR影像得到扫描信息，该扫描信息可以被输入到计算机使之进行重建，得到三维局部图像。进一步地，可以根据三维局部图像所示出的当前患处的状态，针对患处加建立虚拟路径。

在步骤803中，调整该三维局部图像的空间姿态和投影参数。

在本实施例中，可以基于示出的三维局部图像进行旋转或者平移，以调节三维局部图像的空间姿态。该空间姿态可以包括三维局部图像与每一坐标轴之间所成的角度信息、在每一坐标轴上的位置信息等。投影参数可以包括调整虚拟光源的焦距，即虚拟光源与虚拟投影成像平面之间的间隔距离，该投影参数还可以包括虚拟光源相对于每一坐标轴的位置信息和成像分辨率，该成像分辨率与三维局部图像的投影成像平面的尺寸以及仿真二维图像的图像尺寸相关，该仿真二维图像的图像尺寸可以与二维投影图像的图像尺寸相同。比如，假定投影成像平面的尺寸为200mm×200mm，仿真二维图像的突图像尺寸为1000像素×1000像素，那么该成像分辨率为0.2mm/像素。再比如，当投影成像平面的尺寸为200mm×300mm、仿真二维图像的突图像尺寸为1000像素×1000像素，那么在一个方向上成像分辨率为0.2mm/像素、在另一方向上成像分辨率为0.3mm/像素。

在步骤804中，针对三维局部图像进行投影，得到仿真二维图像。

在本实施例中，可以基于三维局部图像通过DRR算法得到仿真二维图像。或者，在其他实施例中，也可以是通过Siddon算法、Shear-Warp算法等方式获得仿真二维图像，本申请并不对此进行限制。

在步骤805中，基于该仿真二维图像提取第一投影区域。

在步骤806中，拍摄患处得到二维投影图像。

在步骤807中，基于二维投影图像提取第二投影区域。

在本实施例中，基于投影平面尺寸以及虚拟光源所覆盖的区域，该仿真二维图像中除了存在三维局部图像所对应的区域外，固然还会存在其他区域。相类似的，在二维投影图像中除了病灶所对应的区域外，固然还可以存在其他区域。所以，本申请通过图像处理，提取仿真二维图像中的第一投影区域、和二维投影图像中的第二投影区域。其中，该图像处理可以是基于灰度值提取仿真二维图像中病患区域、和二维投影图像中的病患区域。

在步骤808中，将第一投影区域和第二投影区域的边缘轮廓进行匹配得到重合度。

在本实施例中，可以将第一投影区域和第二投影区域的边缘轮廓进行匹配，以得到二维投影图像与仿真二维图像之间的重合度。举例而言，可以基于第一投影区域上的标记点，以及该标记点在第二投影区域上的对应位置，调整第一投影区域和第二投影区域的相对位置，使得该标记点与该标记点在第二投影区域上的对应位置基本重合，然后进行边缘轮廓匹配。其中，该标记点可以是患处上特殊区域，例如神经标识点、骨骼标识点等，本申请并不对此进行限制。

在步骤809中，判断重合度是否大于预设阈值。

在本实施例中，当二维投影图像与仿真二维图像之间大于等于预设阈值时，执行步骤810，当二维投影图像与仿真二维图像之间小于预设阈值时，执行步骤803。其中，可以根据重合度确定针对三维局部图像空间姿态和针对投影参数的调整量以及调整方向，以提升匹配效率。

在步骤810中，确定为仿真二维图像与二维投影图像匹配。

图9A为基于本申请技术方案的另一具体实施例。如图9A所示，投影路径确定方法可以包括以下步骤：

在步骤901中，根据扫描信息重建三维局部图像。

在步骤902中，获取位于三维局部图像内的虚拟路径。

在步骤903中，调整该三维局部图像的空间姿态和投影参数。

在步骤904中，基于投影参数针对三维局部图像进行投影，得到仿真二维图像。

在本实施例中，步骤901-904可以参考图8所示实施例中的步骤801-804，在此不再一一赘述。

在步骤905中，按照预设比例沿预设方向分割仿真二维图像。

在步骤906中，拍摄患处得到二维投影图像。

在步骤907中，按照预设比例沿预设方向分割二维投影图像。

在本实施例中，如图9B、图9C所示，可以沿箭头A所示方向和箭头B所示方向成行成列的、对图9B的仿真二维图像和图9C的二维投影图像进行分割，分别得到N个尺寸为D×D的分割区域。

在步骤908中，将仿真二维图像的每一分割图像与二维投影图像上对应区域的分割图像进行匹配。

在步骤909中，根据匹配结果，计算仿真二维图像和二维投影图像之间的重合度。

在本实施例中，仍以图9B、图9C所示，图9B中每一分割区域在图9C中均存在对应的区域，例如，图9B中的位于第二行第三列的分割区域D1、与图9C中位于第二行第三列的分割区域d1对应，进一步可以将该分割区域D1与d1进行匹配得到匹配值。相类似的，可以将图9B中的其他分割区域与图9C中的对应分割区域进行匹配，最后得到重合度。例如，每一分割区域可以对应一个权重系数，每一分割区域的匹配度与权重系数之积与其他分割区域的匹配度与权重系数之积的和为重合度。

在步骤910中，判断重合度是否大于预设阈值。

在本实施例中，当二维投影图像与仿真二维图像之间大于等于预设阈值时，执行步骤911，当二维投影图像与仿真二维图像之间小于预设阈值时，执行步骤903。

在步骤911中，确定仿真二维图像与二维投影图像之间匹配。

与前述的投影方法的实施例相对应，本申请还提供了投影装置的实施例。

图10是一示例性实施例提供的一种设备的示意结构图。请参考图10，在硬件层面，该设备包括处理器1002、内部总线1004、网络接口1006、内存1008以及非易失性存储器1010，当然还可能包括其他业务所需要的硬件。处理器1002从非易失性存储器1010中读取对应的计算机程序到内存1008中然后运行，在逻辑层面上形成投影装置1000。当然，除了软件实现方式之外，本说明书一个或多个实施例并不排除其他实现方式，比如逻辑器件抑或软硬件结合的方式等等，也就是说以下处理流程的执行主体并不限定于各个逻辑单元，也可以是硬件或逻辑器件。

请参考图11，在软件实施方式中，该投影装置1000应用于投影系统，所述投影系统包括拍摄装置、标识装置和投影装置，投影装置1000可以包括第一获取模块1101、第二获取模块1102、第三获取模块1103和投影模块1104；其中：

第一获取模块1101，获取针对患处的三维局部图像，所述三维局部图像包括虚拟路径；

第二获取模块1102，当基于所述三维局部图像投影得到的仿真二维图像与基于患处得到的二维投影图像匹配时，获取所述三维局部图像的三维姿态信息，以作为所述患处基于透视坐标系的透视位置信息，所述透视坐标系基于所述拍摄装置形成；

第三获取模块1103，获取基于所述标识装置的标识坐标系和所述透视坐标系之间的第一转换关系、所述标识坐标系和基于所述投影装置的投影坐标系之间的第二转换关系；

投影模块1104，根据所述患处的透视位置信息、所述第一转换关系和所述第二转换关系，得到所述患处在所述投影坐标系下的投影坐标信息，以使得所述投影装置根据所述投影坐标信息进行投影。

可选的，第二获取模块1102包括第一投影单元、第二投影单元和第一获取单元，其中：

第一投影单元，对所述患处进行透视投影得到所述二维投影图像；

第二投影单元，对所述三维局部图像进行投影得到所述仿真二维图像；

第一获取单元，获取所述仿真二维图像和所述二维投影图像的重合度，在所述重合度不小于预设阈值时，确定为所述仿真二维图像与所述二维投影图像匹配。

可选的，所述第一获取单元包括提取子单元和第一匹配子单元，其中：

提取子单元，提取所述仿真二维图像中的第一投影区域和所述二维投影图像中的第二投影区域；

第一匹配子单元，根据所述第一投影区域和所述第二投影区域之间的边缘轮廓匹配程度计算所述重合度。

可选的，所述第一获取单元包括分割子单元和第二匹配子单元，其中：

分割子单元，将所述仿真二维图像和所述二维投影图像均按照预设比例沿预设方向进行分割；

第二匹配子单元，将所述仿真二维图像的每一分割区域与所述二维投影图像对应的分割区域进行匹配得到所述重合度。

可选的，所述标识装置包括层叠间隔设置的校准板和第一标识板，所述校准板包括第一定位球，所述第一标识板包括第二定位球；

第三获取模块1103，包括第一确定单元和第二确定单元，其中：

第一确定单元，基于多个所述第一定位球在图像坐标系下的图像位置信息、和在所述标识坐标系下的标识位置信息，确定第三转换关系，所述第三转换关系能够用于确定校准后的所述二维投影图像，所述图像坐标系与基于所述拍摄装置获取的投影图像相关；

第二确定单元，基于多个所述第二定位球在所述图像坐标系下的图像位置信息、在所述标识坐标系下的标识位置信息和所述第三转换关系，确定所述拍摄装置的焦点位置信息，以确定所述第一转换关系，所述焦点位置信息与所述透视坐标系相关。

第三获取模块1103，包括第二获取单元和第三确定单元，其中：

第二获取单元，通过所述投影装置获取所述第三定位球在所述投影坐标系下的投影位置信息；

第三确定单元，根据所述第三定位球的投影位置信息和在所述标识坐标系下的所述标识位置信息，确定所述投影坐标系与所述标识坐标系之间的第二转换关系。

可选的，投影装置1000还包括：

调整模块，当基于所述三维局部图像投影得到的仿真二维图像与基于患处得到的二维投影图像匹配时，根据所述虚拟路径上多个位置点的图像位置信息调整指引结构，使得所述指引结构的指引方向依次指向患处对应于所述多个位置点的靶点。

可选的，调整模块包括第五获取单元和第二调整单元，其中：

第五获取单元，根据所述虚拟路径在所述二维仿真图像上的图像位置信息，获取所述二维投影图像上与所述虚拟路径匹配的投影路径的图像位置信息；

第二调整单元，根据所述投影路径上多个位置点的图像位置信息调整所述指引结构。

可选的，所述投影系统包括定位装置，所述定位装置包括多个位于第一平面上的第一预设标记点、和多个位于第二平面上的第二预设标记点，在投影方向上，所述第一平面和所述第二平面之间具有间隔；

调整模块包括第三获取单元、第四获取单元和第一调整单元，其中：

第三获取单元，获取第一平面上每一第一预设标记点和第二平面上每一所述第二预设标记点在定位坐标系中的定位位置信息；

第四获取单元，获取第一平面上每一第一预设标记点和第二平面上每一所述第二预设标记点在图像坐标系中的图像位置信息，所述图像坐标系基于所述定位装置的投影图像形成；

第一调整单元，根据所述第一预设标记点的定位位置信息和图像位置信息、所述第二预设标记点的定位位置信息和图像位置信息、虚拟路径上任一位置点的图像位置信息，调整所述指引结构。

可选的，所述指引结构包括光束发射部件，调整模块包括一指向单元：

第一指向单元，所述光束部件发射的光束指向靶点。

或者，所述指引结构包括器械导向通道，

调整模块包括第二指向单元：

第二指向单元，所述器械导向通道的中轴线指向所述靶点。

关于上述实施例中的装置，其中各个模块执行操作的具体方式已经在有关该方法的实施例中进行了详细描述，此处将不做详细阐述说明。

对于装置实施例而言，由于其基本对应于方法实施例，所以相关之处参见方法实施例的部分说明即可。以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本申请方案的目的。本领域普通技术人员在不付出创造性劳动的情况下，即可以理解并实施。

在示例性实施例中，还提供了一种包括指令的非临时性计算机可读存储介质，例如包括指令的存储器1010，上述指令可由电子设备的处理器1002执行以完成上述方法。例如，所述非临时性计算机可读存储介质可以是ROM、随机存取存储器(RAM)、CD-ROM、磁带、软盘和光数据存储设备等。

本领域技术人员在考虑说明书及实践这里公开的公开后，将容易想到本申请的其它实施方案。本申请旨在涵盖本申请的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本申请的一般性原理并包括本申请未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本申请的真正范围和精神由下面的权利要求指出。

应当理解的是，本申请并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。本申请的范围仅由所附的权利要求来限制。

Claims (13)

1.一种投影方法，其特征在于，应用于投影系统，所述投影系统包括拍摄装置、标识装置和投影装置，所述投影方法包括：

获取针对患处的三维局部图像，所述三维局部图像包括虚拟路径；

当基于所述三维局部图像投影得到的仿真二维图像与基于患处得到的二维投影图像匹配时，获取所述三维局部图像的三维姿态信息，以作为所述患处基于透视坐标系的透视位置信息，所述透视坐标系基于所述拍摄装置形成；

获取基于所述标识装置的标识坐标系和所述透视坐标系之间的第一转换关系、所述标识坐标系和基于所述投影装置的投影坐标系之间的第二转换关系；

根据所述患处的透视位置信息、所述第一转换关系和所述第二转换关系，得到所述患处在所述投影坐标系下的投影坐标信息，以使得所述投影装置根据所述投影坐标信息进行投影。

2.根据权利要求1所述的投影方法，其特征在于，所述基于所述三维局部图像投影得到的仿真二维图像与基于患处得到的二维投影图像匹配，包括：

对所述患处进行透视投影得到所述二维投影图像；

对所述三维局部图像进行投影得到所述仿真二维图像；

获取所述仿真二维图像和所述二维投影图像的重合度，在所述重合度不小于预设阈值时，确定为所述仿真二维图像与所述二维投影图像匹配。

3.根据权利要求2所述的投影方法，其特征在于，所述获取所述仿真二维图像和所述二维投影图像的重合度，包括：

提取所述仿真二维图像中的第一投影区域和所述二维投影图像中的第二投影区域；

根据所述第一投影区域和所述第二投影区域之间的边缘轮廓匹配程度计算所述重合度。

4.根据权利要求2所述的投影方法，其特征在于，所述获取所述仿真二维图像和所述二维投影图像的重合度，包括：

将所述仿真二维图像和所述二维投影图像均按照预设比例沿预设方向进行分割；

将所述仿真二维图像的每一分割区域与所述二维投影图像对应的分割区域进行匹配得到所述重合度。

5.根据权利要求1所述的投影方法，其特征在于，所述标识装置包括层叠间隔设置的校准板和第一标识板，所述校准板包括第一定位球，所述第一标识板包括第二定位球；

所述获取基于所述标识装置的标识坐标系和所述透视坐标系之间的第一转换关系，包括：

基于多个所述第一定位球在图像坐标系下的图像位置信息、和在所述标识坐标系下的标识位置信息，确定第三转换关系，所述第三转换关系能够用于确定校准后的所述二维投影图像，所述图像坐标系与基于所述拍摄装置获取的投影图像相关；

基于多个所述第二定位球在所述图像坐标系下的图像位置信息、在所述标识坐标系下的标识位置信息和所述第三转换关系，确定所述拍摄装置的焦点位置信息，以确定所述第一转换关系，所述焦点位置信息与所述透视坐标系相关。

6.根据权利要求1所述的投影方法，其特征在于，所述标识装置包括第三定位球，获取所述标识坐标系和基于所述投影装置的投影坐标系之间的第二转换关系，包括：

通过所述投影装置获取所述第三定位球在所述投影坐标系下的投影位置信息；

根据所述第三定位球的投影位置信息和在所述标识坐标系下的所述标识位置信息，确定所述投影坐标系与所述标识坐标系之间的第二转换关系。

7.根据权利要求1所述的投影方法，其特征在于，还包括：

当基于所述三维局部图像投影得到的仿真二维图像与基于患处得到的二维投影图像匹配时，根据所述虚拟路径上多个位置点的图像位置信息调整指引结构，使得所述指引结构的指引方向依次指向患处对应于所述多个位置点的靶点。

8.根据权利要求7所述的辅助方法，其特征在于，所述根据所述虚拟路径上多个位置点的图像位置信息调整指引结构，包括：

根据所述虚拟路径在所述二维仿真图像上的图像位置信息，获取所述二维投影图像上与所述虚拟路径匹配的投影路径的图像位置信息；

根据所述投影路径上多个位置点的图像位置信息调整所述指引结构。

9.根据权利要求7所述的投影方法，其特征在于，所述投影系统包括定位装置，所述定位装置包括多个位于第一平面上的第一预设标记点、和多个位于第二平面上的第二预设标记点，在投影方向上，所述第一平面和所述第二平面之间具有间隔；

所述根据所述虚拟路径上多个位置点的图像位置信息调整指引结构，包括：

获取第一平面上每一第一预设标记点和第二平面上每一所述第二预设标记点在定位坐标系中的定位位置信息；

获取第一平面上每一第一预设标记点和第二平面上每一所述第二预设标记点在图像坐标系中的图像位置信息，所述图像坐标系基于所述定位装置的投影图像形成；

根据所述第一预设标记点的定位位置信息和图像位置信息、所述第二预设标记点的定位位置信息和图像位置信息、虚拟路径上任一位置点的图像位置信息，调整所述指引结构。

10.根据权利要求7所述的确定方法，其特征在于，所述指引结构包括光束发射部件，所述指引结构的指引方向依次指向患处对应于所述多个位置点的靶点包括：

所述光束部件发射的光束指向靶点；

或者，所述指引结构包括器械导向通道，

所述指引结构的指引方向依次指向患处对应于所述多个位置点的靶点包括：

所述器械导向通道的中轴线指向所述靶点。

11.一种投影装置，其特征在于，应用于投影系统，所述投影系统包括拍摄装置、标识装置和投影装置，所述投影装置包括：

第一获取模块，获取针对患处的三维局部图像，所述三维局部图像包括虚拟路径；

第二获取模块，当基于所述三维局部图像投影得到的仿真二维图像与基于患处得到的二维投影图像匹配时，获取所述三维局部图像的三维姿态信息，以作为所述患处基于透视坐标系的透视位置信息，所述透视坐标系基于所述拍摄装置形成；

第三获取模块，获取基于所述标识装置的标识坐标系和所述透视坐标系之间的第一转换关系、所述标识坐标系和基于所述投影装置的投影坐标系之间的第二转换关系；

投影模块，根据所述患处的透视位置信息、所述第一转换关系和所述第二转换关系，得到所述患处在所述投影坐标系下的投影坐标信息，以使得所述投影装置根据所述投影坐标信息进行投影。

12.一种计算机可读存储介质，其特征在于，其上存储有计算机指令，该指令被处理器执行时实现如权利要求1-10中任一项所述方法的步骤。

13.一种投影系统，其特征在于，包括拍摄装置、标识装置和投影装置；

显示器，所述显示器用于示出图像；

处理器，所述处理器于所述拍摄装置和所述光束发射装置分别通信连接；

用于存储处理器可执行指令的存储器；

其中，所述处理器被配置为用于实现如权利要求1-10中任一项所述方法的步骤。