CN112037886B - 放疗计划制定装置、方法及存储介质 - Google Patents

放疗计划制定装置、方法及存储介质 Download PDF

Info

Publication number
CN112037886B
CN112037886B CN202011213379.6A CN202011213379A CN112037886B CN 112037886 B CN112037886 B CN 112037886B CN 202011213379 A CN202011213379 A CN 202011213379A CN 112037886 B CN112037886 B CN 112037886B
Authority
CN
China
Prior art keywords
image
radiotherapy
map
mask
patient
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202011213379.6A
Other languages
English (en)
Other versions
CN112037886A (zh
Inventor
王季勇
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ping An Technology Shenzhen Co Ltd
Original Assignee
Ping An Technology Shenzhen Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ping An Technology Shenzhen Co Ltd filed Critical Ping An Technology Shenzhen Co Ltd
Priority to CN202011213379.6A priority Critical patent/CN112037886B/zh
Publication of CN112037886A publication Critical patent/CN112037886A/zh
Application granted granted Critical
Publication of CN112037886B publication Critical patent/CN112037886B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H20/00—ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance
    • G16H20/40—ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance relating to mechanical, radiation or invasive therapies, e.g. surgery, laser therapy, dialysis or acupuncture
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10072—Tomographic images
    • G06T2207/10081—Computed x-ray tomography [CT]

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Surgery (AREA)
  • Urology & Nephrology (AREA)
  • Epidemiology (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Primary Health Care (AREA)
  • Public Health (AREA)
  • Radiation-Therapy Devices (AREA)

Abstract

本申请涉及医疗科技技术领域，具体公开了一种放疗计划制定装置、方法及存储介质。该装置包括：获取单元，用于获取待放疗患者的CT图像；处理单元，用于根据所述CT图像以及预设的CT图像模板，确定配准矩阵；处理单元，还用于根据所述配准矩阵对第一掩膜图进行配准，得到第三掩膜图，以及根据所述配准矩阵对所述第二掩膜图进行配准，得到第四掩膜图，所述第一掩膜图用于指示所述待放疗患者的计划靶区，所述第二掩膜图用于指示所述待放疗患者的危及器官的区域；处理单元，还用于根据所述第三掩膜图和所述第四掩膜图，确定与所述待放疗患者对应的目标历史放疗计划；处理单元，还用于根据所述目标历史放疗计划为所述待放疗患者制定放疗计划。

Description

放疗计划制定装置、方法及存储介质
技术领域
本申请涉及图像识别技术领域，具体涉及一种放疗计划制定装置、方法及存储介质。
背景技术
放疗物理师在制定一个放疗计划的过程中，会将新到的一例病例送入数据库中进行搜索，搜索匹配的历史放疗计划，然后，将匹配的历史疗计划的相关参数，比如，放疗剂量和放疗类型，输入到放疗计划系统（Treatment Planning System，TPS），TPS会根据这些参数优化当前放疗病例，为这个新到的病例制定一个放疗计划。
但是，放疗直线加速器设备各不相同，两台不同厂商之间的直线加速器，则其系统硬件参数不同，即使同样的病人，得到的放疗计划也不相同。所以不同的病人，在不同的直线加速器设备上得到的放疗计划无法相互借鉴。另外，即使肿瘤位置以及肿瘤面积相同，但是由于病人的体型不同，也无法相互借鉴放疗计划。这样在搜索历史放疗病例的过程中，可能会遗漏相似的历史放疗计划，导致对历史放疗计划资源的利用率低，当前制定出的放疗计划精度比较低。
发明内容
本申请实施例提供了一种放疗计划制定装置、方法及存储介质。通过图像配准，可提高对历史放疗计划资源的利用率。
第一方面，本申请实施例提供一种放疗计划制定装置，包括：
获取单元，用于获取待放疗患者的CT图像；
处理单元，用于根据所述CT图像以及预设的CT图像模板，确定配准矩阵；
处理单元，还用于根据所述配准矩阵对第一掩膜图进行配准，得到第三掩膜图，以及根据所述配准矩阵对所述第二掩膜图进行配准，得到第四掩膜图，所述第一掩膜图用于指示所述待放疗患者的计划靶区，所述第二掩膜图用于指示所述待放疗患者的危及器官的区域；
处理单元，还用于根据所述第三掩膜图和所述第四掩膜图，确定与所述待放疗患者对应的目标历史放疗计划；
处理单元，还用于根据所述目标历史放疗计划为所述待放疗患者制定放疗计划。
第二方面，本申请实施例提供一种放疗计划制定方法，应用于放疗计划制定装置，包括：
获取待放疗患者的CT图像；
根据所述CT图像以及预设的CT图像模板，确定配准矩阵；
根据所述配准矩阵对第一掩膜图进行配准，得到第三掩膜图，以及根据所述配准矩阵对所述第二掩膜图进行配准，得到第四掩膜图，所述第一掩膜图用于指示所述待放疗患者的计划靶区，所述第二掩膜图用于指示所述待放疗患者的危及器官的区域；
根据所述第三掩膜图和所述第四掩膜图，确定与所述待放疗患者对应的目标历史放疗计划；
根据所述目标历史放疗计划为所述待放疗患者制定放疗计划。
第三方面，本申请实施例提供一种放疗计划制定装置，包括处理器、存储器、通信接口以及一个或多个程序，其中，所述一个或多个程序被存储在所述存储器中，并且被配置由所述处理器执行，所述程序包括用于执行如第一方面所述的方法中的步骤的指令。
第四方面，本申请实施例提供一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序使得计算机执行如第一方面所述的方法。
第五方面，本申请实施例提供一种计算机程序产品，所述计算机程序产品包括存储了计算机程序的非瞬时性计算机可读存储介质，所述计算机可操作来使计算机执行如第一方面所述的方法。
实施本申请实施例，具有如下有益效果：
可以看出，在本申请实施例中，将第一掩膜图和第二掩膜提前进行配准，由于对掩膜图进行配准，使各个放疗计划在相互借鉴时不会受直线加速器以及用户体型之间差异的影响，可以提高对历史放疗计划的利用率，不会遗漏相似的历史放疗计划，提高对历史放疗计划资源的利用率，进而提高了放疗计划的制定精度。
附图说明
为了更清楚地说明本申请实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本申请实施例提供的一种放疗计划制定方法的流程示意图；
图2为本申请实施例提供的一种放疗计划制定装置的系统架构示意图；
图3为本申请实施例提供的一种神经网络的架构示意图；
图4为本申请实施例提供的一种神经网络训练方法的流程示意图；
图5为本申请实施例提供的一种放疗计划制定装置的结构示意图；
图6为本申请实施例提供的一种放疗计划制定装置的功能单元组成框图。
具体实施方式
下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
本申请的说明书和权利要求书及所述附图中的术语“第一”、“第二”、“第三”和“第四”等是用于区别不同对象，而不是用于描述特定顺序。此外，术语“包括”和“具有”以及它们任何变形，意图在于覆盖不排他的包含。例如包含了一系列步骤或单元的过程、方法、系统、产品或设备没有限定于已列出的步骤或单元，而是可选地还包括没有列出的步骤或单元，或可选地还包括对于这些过程、方法、产品或设备固有的其它步骤或单元。
在本文中提及“实施例”意味着，结合实施例描述的特定特征、结果或特性可以包含在本申请的至少一个实施例中。在说明书中的各个位置出现该短语并不一定均是指相同的实施例，也不是与其它实施例互斥的独立的或备选的实施例。本领域技术人员显式地和隐式地理解的是，本文所描述的实施例可以与其它实施例相结合。
参阅图1，图1为本申请提供了一种放疗计划制定方法，该方法应用于放疗计划制定装置。该方法包括以下步骤：
101：放疗计划制定装置获取待放疗患者的CT图像。
其中，该CT图像是通过CT设备对该待放疗患者进行拍摄得到。放疗计划制定装置可以通过通信链路自动从该CT设备或影像归档和通信系统（Picture Archiving andCommunication Systems，PACS）中获取该CT图像或者由用户手动输入。本申请不对获取CT图像的方式进行限定。
102：放疗计划制定装置根据所述CT图像以及预设的CT图像模板，确定配准矩阵。
配准矩阵用于将CT图像的空间位置配准到该CT图像模板的空间位置。
示例性的，可根据该CT图像，得到与该CT图像对应的第一空间位置，比如，获取该CT图像的第一灰度值矩阵，将该灰度值矩阵中的每一行作为一个向量，并确定该向量对应的空间点，根据每一行对应的空间点，得到该CT图像对应的第一空间位置；获取该CT图像模板的第二灰度值矩阵，同样，将该第二灰度值矩阵中的每一行作为一个向量，并确定该向量对应的空间点，根据每一行对应的空间点，得到该CT图像模板对应的第二空间位置。最后，根据该第一空间位置和该第二空间位置，得到该配准矩阵，则该配准矩阵可以将该第一空间位置变换为第二空间位置。因此，该配准矩阵可以通过公式（1）表示：
Figure 148663DEST_PATH_IMAGE001
其中，B为配准矩阵，A为第一灰度值矩阵，A-1为第一灰度值矩阵的逆矩阵，C为第二灰度值矩阵。
其中，该预设的CT图像模板为通过CT扫描仪对仿真人体或者对某一患者的身体进行扫描得到的，本申请不限定CT图像模板的制作方式。
103：放疗计划制定装置根据所述配准矩阵对第一掩膜图进行配准，得到第三掩膜图，以及根据所述配准矩阵对所述第二掩膜图进行配准，得到第四掩膜图，所述第一掩膜图用于指示所述待放疗患者的计划靶区，所述第二掩膜图用于指示所述待放疗患者的危及器官的区域。
示例性的，在对第一掩膜图进行配准之前，可对该CT图像进行实例分割，得到该CT图像中的计划靶区以及危及器官的区域；并根据该CT图像中的计划靶区，对所述CT图像进行编码，得到第一掩膜图，比如，可对该CT图像进行one-hot编码，得到该第一掩膜图，则该第一掩膜图中的1用于表示像素点为计划靶区中的像素点，0用于表示像素点为背景的像素点。同样，根据该CT图像中的危及器官的区域，对该CT图像进行编码，得到第二掩膜图。
具体的，可对该CT图像进行特征提取，得到第一特征图，并对该第一特征图进行上采样处理，得到第二特征图；根据该第二特征图进行实例分割，得到第一概率分割图以及第二概率分割图，其中，该第一概率分割图用于指示该CT图像中每个像素点属于计划靶区的概率，第二概率分割图用于指示CT图像中每个像素点属于危及器官的区域的概率；然后，根据该第一概率分割图以及该第二概率分割图，对该CT图像进行实例分割，得到CT图像中的计划靶区以及危及器官的区域。示例性的，根据该第一概率分割图以及该第二概率图确定该CT图像中每个像素点的类别，比如，可获取该CT图像中的第一个像素点属于计划靶区的概率、危及器官的概率、属于背景的概率，将概率最大所对应的类别作为该第一个像素点对应的类别。然后，将属于计划靶区的像素点分割出来，得到该计划靶区，以及将属于危及器官的区域分割出来，得到该危及器官的区域。
当然，在本申请中也可以通过人工标注，比如，医生可以将CT图像中的计划靶区以及危及器官的区域标注出来，然后，对标注后的CT图像进行one-hot编码，得到该第一掩膜图和该第二掩膜图。
其中，上述对CT图像进行实例分割可以通过全卷积网络(FullyConvolutionalNetwork，FCN）实现，后面详细叙述通过FCN对该CT图像进行实例分割的实现方式，在此不做过多的描述。
示例性的，使用该配准矩阵对该第一掩膜图进行配准，得到得到第三掩膜图；以及使用该配准矩阵对该第二掩膜图进行配准，得到第四掩膜图。也就是说，使用该配准矩阵分别对第一掩膜图和第二掩膜图进行空间位置的变换，即将该第一掩膜图和第二掩膜图均变换到该预设的CT图像模板对应的空间位置，得到该第三掩膜图和第四掩膜图。
104：放疗计划制定装置根据所述第三掩膜图和所述第四掩膜图，确定与所述待放疗患者对应的目标历史放疗计划。
示例性的，将第三掩膜图和第四掩膜图作为输入数据，预测得到虚拟剂量图，即将该第三掩膜图和第四掩膜图进行叠加，得到目标掩膜图，然后，根据该目标掩膜图预测该待放疗患者的虚拟剂量图，比如，可使用该目标掩膜图进行分类，得到分类向量，将分类向量中的最大值进行映射，将映射出的结果作为该虚拟剂量图；并对该虚拟剂量图进行特征提取，得到目标特征向量；将该目标特征向量与放疗计划库中的每个历史放疗计划对应的第一特征向量进行匹配，得到与该待放疗患者对应的目标历史放疗计划，比如，计算该目标特征向量与每个历史放疗计划的第一特征向量之前的相似度，将相似度最大对应的历史放疗计划作为该目标历史放疗计划，其中，每个历史放疗计划对应的第一特征向量也是通过配准之后得到的。
示例性的，在每个历史放疗患者制定放疗计划的过程中，也会根据每个历史放疗患者的历史放疗计划对应的CT图像以及该预设的CT图像模板，确定每个历史放疗计划对应的配准矩阵，并使用该配准矩阵应用于每个历史放疗患者的剂量分布图，对每个历史放疗患者（每个历史放疗计划）的剂量分布图进行配准，得到与每个历史放疗计划对应的第一特征向量。
105：放疗计划制定装置根据所述目标历史放疗计划为所述待放疗患者制定放疗计划。
示例性的，该放疗计划库中还存储有每个历史放疗计划对应的优化约束条件以及放疗参数，其中，优化约束条件包括射野形状，射野个数，射野角度，等等，放疗参数包括优化目标，等等；因此，在确定出与该待放疗患者对应的目标历史放疗计划后，还可获取目标历史放疗计划对应的优化约束条件以及放疗参数；然后，将该目标历史放疗计划对应的优化约束条件以及放疗参数分别作为该待放疗患者的优化约束条件以及放疗参数，根据该待放疗患者的优化约束条件以及放疗参数为该待放疗患者制定放疗计划。
可以看出，在本申请实施例中，将第一掩膜图和第二掩膜提前进行配准，在得到虚拟剂量图的过程中就不需要使用CT图像了，简化了放疗计划的制定过程；此外，由于对掩膜图进行配准，以及对每个历史放疗计划的剂量图也进行了配准，使各个放疗计划在相互借鉴时不会受直线加速器以及用户体型之间差异的影响，可以提高对历史放疗计划的利用率，不会遗漏相似的历史放疗计划，提高对历史放疗计划资源的利用率，进而提高了放疗计划的制定精度。
在本申请的一个实施方式中，在根据所述CT图像进行实例分割，得到所述CT图像中的计划靶区以及危及器官的区域之前，该方法还包括：
对CT图像中的每个像素点进行高频方向分解，分别得到每个像素点在水平方向上的第一分量、在竖直方向上的第二分量以及在对角方向上的第三分量，其中，对每个像素点进行高频方向分解实质上为求取每个像素点的海森（Hessian）矩阵，即分别求取每个像素点在水平方向上的二阶偏微分、竖直方向上的二阶偏微分、对角方向上的混合偏微分，将水平方向上的二阶偏微分作为每个像素点的第一分量、竖直方向上的二阶偏微分作为第二分量以及对角方向上的混合偏微分作为第三分量，其中，对像素点求二阶偏微分的过程为现有技术，不再叙述；将CT图像中的所有像素点在水平方向上的第一分量对应组成第一分量图像、在竖直方向上的第二分量对应组成第二分量图像以及在对角方向上的第三分量对应组成第三分量图像；将第一分量图像、第二分量图像以及所述第三分量图像进行逐像素叠加，得到增强后的CT图像。因此，在对CT图像进行增强后，可使用增强后的CT图像进行实例分割，得到该增强后的CT图像中的计划靶区以及危及器官的区域，也就得到了该CT图像中的计划靶区以及危及器官的区域。
在本实施方式中，在对CT图像进行分割之前，先对CT图像进行图像增强，从而增强了每个像素点的特征，进而提高了对CT图像分割的准确率。
下面结合放疗计划推荐装置的架构图说明本申请中为待放疗患者制定放疗计划的实现方式。其中，该放疗推荐装置可以为TPS系统。
如图2所示，放疗物理师接收待放疗患者的放疗需求，然后，基于该需求，通过TPS系统获取待放疗患者的CT图像，TPS系统根据该CT图像和预设的CT图像模板，得到配准矩阵；并使用该配准矩阵对计划靶区（planning target volume，PTV）对应的第一掩膜图进行配准，得到第三掩膜图，以及使用该配准矩阵对危及器官（Organ at risk，OAR）对应的第二掩膜图进行配准，得到第四掩膜图；最后，将该第三掩膜图和第四掩膜图进行叠加，得到目标掩膜图，并根据该目标掩膜图预测虚拟剂量图（virtual dose image，VDI）；然后，对该虚拟剂量图进行特征提取，得到目标特征向量（feature vector）；使用该目标特征向量与放疗计划库中的每个历史放疗计划对应的第一特征向量进行匹配，得到与每个第一特征向量之间的匹配值，最后，将匹配值最大的第一特征向量对应的历史放疗计划作为该目标历史放疗计划。
在本申请的一个实施方式中，上述为待化疗患者制定化疗计划可通过神经网络实现。该神经网络是完成训练的神经网络，下面结合网络的结构举例说明为该待化疗患者制定化疗计划的过程。
如图3所示，该神经网络包括图像分割网络和特征提取网络，其中，该图像分割网络可以为FCN，该特征提取网络可以为卷积神经网络，该分割网络和特征提取网络均包括多个卷积层和多个池化层。
示例性的，根据待化疗患者的CT图像以及预设的CT图像模板确定配准矩阵；将待化疗患者该CT图像输入到图像分割网络，通过该图像分割网络中的多个卷积层和池化层进行特征提取，得到第一特征图，然后，在对该第一特征图进行上采样处理，得到第二特征图；最后，将该第二特征图输入到1*1的卷积层进行实例分割以及softmax归一化，得到第一概率分割图和第二概率分割图，并根据该第一概率分割图和第二概率分割图对该CT图像进行分割，得到第一掩膜图和第二掩膜图；
进一步的，使用该配准矩阵对该第一掩膜图和第二掩膜图进行配准，得到第三掩膜图和第四掩膜图，并将该第三掩膜图和第四掩膜图进行叠加，得到目标掩膜图，使用目标掩膜图预测，得到虚拟剂量图；
进一步的，将该虚拟剂量图输入到该特征提取网络，并通过该特征提取网络的多个卷积层、多个池化层以及全连接层的处理，得到该目标特征向量；
最后，将该目标特征向量与每个历史放疗计划的第一特征向量进行匹配，得到目标历史放疗计划，使用该目标历史放疗计划为待化疗患者制定放疗计划。
在本申请的一个实施方式中，本申请的放疗计划制定方法，还可以应用到智慧医疗领域。比如，放疗物理师可以将待放疗患者的CT图像输入到该放疗计划制定装置，然后，可获得相似的目标历史放疗计划，进而可以减少放疗物理师的调试次数，进而释放医师资源，推动医疗科技的发展。
参阅图4，图4为本申请实施例提供的一种神经网络训练方法的流程示意图。该方法包括以下步骤：
401：获取CT图像样本。
其中，该CT图像样本对应的有训练标签，该训练标签包括第一真实概率分割图、第二真实概率分割图以及第一特征向量，其中，第一真实概率分割图用于指示该CT图像样本中每个像素点属于计划靶区的真实概率，第二真实概率分割图用于指示该CT图像样本中每个像素点属于危及器官的区域的真实概率，其中，该第一特征向量是对该CT图像样本对应的真实剂量图进行配准后，得到的特征向量。
402：根据所述CT图像样本以及预设的CT图像模板，确定第一配准矩阵。
其中，确定该第一配准矩阵与上述确定CT图像对应的配准矩阵的方式类似，不再叙述。
403：将所述CT图像样本输入到所述神经网络，得到第三概率分割图和第四概率分割图。
其中，该第三概率分割图用于指示该CT图像样本中的每个像素点属于计划靶区的计划概率，第四概率分割图用于指示该CT图像样本中的每个像素点属于危及器官的区域的预测概率。
404：根据所述第三概率分割图和所述第四概率分割图，得到第五掩膜图和第六掩膜图。
同样，根据该第三概率分割图和第四概率分割图，对CT图像样本进行分割，得到计划靶区以及危及器官的区域，然后，进行one-hot编码，得到该第五掩膜图和第六掩膜图。
405：根据所述第一配准矩阵、所述第五掩膜图和第六掩膜图，得到确定所述CT图像样本对应的第一虚拟剂量图。
示例性的，根据该第一配准矩阵分别对第五掩膜图和第六掩膜图进行配准，并将配准后的掩膜图进行叠加，最后，使用叠加后的掩膜图预测该第一虚拟剂量图。
406：根据所述第三概率分割图、所述第四概率分割图以及所述第一虚拟剂量图，调整所述神经网络的网络参数。
示例性的，根据该第一真实概率分割图以及该第三概率分割图，得到第一损失，比如，可以逐像素计算交叉熵损失，得到该第一损失。其中，该第一损失可以通过公式（2）表示：
Figure 659279DEST_PATH_IMAGE002
其中，L1为第一损失，M为该CT图像样本中像素点的数量，P(y)为CT图像样本中第y 个像素点属于计划靶区的真实概率，
Figure 173436DEST_PATH_IMAGE003
为CT图像样本中第y个像素点属于计划靶区的预 测概率。
示例性的，根据该第二真实概率分割图以及该第四概率分割图，得到第二损失，比如，可以逐像素计算交叉熵损失，得到该第二损失。其中，该第二损失可以通过公式（3）表示：
Figure 162121DEST_PATH_IMAGE004
其中，L2为第一损失，M为该CT图像样本中像素点的数量，K(y)为CT图像样本中第y 个像素点属于危及器官的区域的真实概率，
Figure 710914DEST_PATH_IMAGE005
为CT图像样本中第y个像素点属于危及 器官的区域的预测概率。
示例性的，可对该第一虚拟剂量图进行特征提取，得到第二目标特征向量，然后，根据该第二目标特征向量以及该第一目标特征向量，得到第三损失，比如，可以计算该第一目标特征向量和第二目标特征向量之间的欧式距离，将该欧式距离作为该第三损失。因此，该第三损失可以通过公式（4）表示：
Figure 2218DEST_PATH_IMAGE006
其中，
Figure 128306DEST_PATH_IMAGE007
为第三损失，
Figure 61627DEST_PATH_IMAGE008
为第一目标特征向量，
Figure 464926DEST_PATH_IMAGE009
为第二目标特征向量。
最后，将该第一损失、第二损失以及第三损失进行加权处理，得到目标损失，根据该目标损失以及梯度下降法调整该神经网络的网络参数，直至该神经网络收敛，得到完成训练的神经网络。其中，目标损失可通过公式（5）表示：
Figure 192711DEST_PATH_IMAGE010
其中，Lm为目标损失，
Figure 41981DEST_PATH_IMAGE011
为预设的权重系数，且
Figure 513413DEST_PATH_IMAGE012
。
参阅图5，图5为本申请实施例提供的一种放疗计划制定装置的结构示意图。如图5所示，放疗计划制定装置500包括处理器、存储器、通信接口以及一个或多个程序，其中，上述一个或多个程序被存储在上述存储器中，并且被配置由上述处理器执行，上述程序包括用于执行以下步骤的指令：
获取待放疗患者的CT图像；
根据所述CT图像以及预设的CT图像模板，确定配准矩阵；
根据所述配准矩阵对第一掩膜图进行配准，得到第三掩膜图，以及根据所述配准矩阵对所述第二掩膜图进行配准，得到第四掩膜图，所述第一掩膜图用于指示所述待放疗患者的计划靶区，所述第二掩膜图用于指示所述待放疗患者的危及器官的区域；
根据所述第三掩膜图和所述第四掩膜图，确定与所述待放疗患者对应的目标历史放疗计划；
根据所述目标历史放疗计划为所述待放疗患者制定放疗计划。
在一些可能的实施方式中，在根据所述第三掩膜图和所述第四掩膜图，确定与所述待放疗患者对应的目标放疗计划方面，上述程序具体用于执行以下步骤的指令：
对所述第三掩膜图和所述第四掩膜图进行叠加，得到目标掩膜图；
根据所述目标掩膜图，预测所述待放疗患者的虚拟剂量图；
对所述虚拟剂量图进行特征提取，得到目标特征向量；
将所述目标特征向量与放疗计划库中的每个历史放疗计划对应的第一特征向量进行匹配，得到与所述待放疗患者对应的目标历史放疗计划。
在一些可能的实施方式中，在根据所述CT图像以及预设的CT图像模板，确定配准矩阵方面，上述程序具体用于执行以下步骤的指令：
根据所述CT图像，得到与所述CT图像对应的第一空间位置；
根据所述预设的CT图像模板，得到与所述预设的CT图像模板对应的第二空间位置；
根据所述第一空间位置和所述第二空间位置，得到所述配准矩阵，所述配准矩阵用于将所述第一空间位置变换为所述第二空间位置。
在一些可能的实施方式中，在所述根据所述配准矩阵分别对第一掩膜图和第二掩膜图进行配准之前，上述程序还用于执行以下步骤的指令：
根据所述CT图像进行实例分割，得到所述CT图像中的计划靶区以及危及器官的区域；
根据所述CT图像中的计划靶区，对所述CT图像进行编码，得到第一掩膜图，以及根据所述CT图像中的危及器官的区域，对所述CT图像进行编码，得到第二掩膜图。
在一些可能的实施方式中，在根据所述CT图像进行实例分割，得到所述CT图像中的计划靶区以及危及器官的区域方面，上述程序具体用于执行以下步骤的指令：
对所述CT图像进行特征提取，得到第一特征图；
对所述第一特征图进行上采样处理，得到第二特征图；
根据所述第二特征图进行实例分割，得到第一概率分割图以及第二概率分割图，其中，所述第一概率分割图用于指示所述CT图像中每个像素点属于所述计划靶区的概率，所述第二概率分割图用于指示所述CT图像中每个像素点属于所述危及器官的区域的概率；
根据所述第一概率分割图以及所述第二概率分割图，对所述CT图像进行实例分割，得到所述CT图像中的计划靶区以及危及器官的区域。
在一些可能的实施方式中，在获取待放疗患者的CT图像之前，上述程序还用于执行以下步骤的指令：
根据每个历史放疗计划对应的历史CT图像以及所述预设的CT图像模板，确定所述每个历史放疗计划对应的配准矩阵；
根据所述每个历史放疗计划对应的配准矩阵对所述每个历史放疗计划对应的剂量分布图进行配准，得到所述每个历史放疗计划对应的第一特征向量。
在一些可能的实施方式中，在根据所述CT图像进行实例分割，得到所述CT图像中的计划靶区以及危及器官的区域之前，上述程序还用于执行以下步骤的指令：
对所述CT图像中的每个像素点进行高频方向分解，分别得到所述每个像素点在水平方向上的第一分量、在竖直方向上的第二分量以及在对角方向上的第三分量；
将所述CT图像中的所有像素点在水平方向上的第一分量对应组成第一分量图像、在竖直方向上的第二分量对应组成第二分量图像以及在对角方向上的第三分量对应组成第三分量图像；
将所述第一分量图像、所述第二分量图像以及所述第三分量图像进行逐像素叠加，得到增强后的CT图像；
在根据所述CT图像进行实例分割，得到所述CT图像中的计划靶区以及危及器官的区域方面，上述程序具体用于执行以下步骤的指令：
根据所述增强后的CT图像进行实例分割，得到所述CT图像中的计划靶区以及危及器官的区域。
参阅图6，图6本申请实施例提供的一种放疗计划制定装置的功能单元组成框图。放疗计划制定装置600包括：获取单元601和处理单元602，其中：
获取单元601，用于获取待放疗患者的CT图像；
处理单元602，用于根据所述CT图像以及预设的CT图像模板，确定配准矩阵；
处理单元602，还用于根据所述配准矩阵对第一掩膜图进行配准，得到第三掩膜图，以及根据所述配准矩阵对所述第二掩膜图进行配准，得到第四掩膜图，所述第一掩膜图用于指示所述待放疗患者的计划靶区，所述第二掩膜图用于指示所述待放疗患者的危及器官的区域；
处理单元602，还用于根据所述第三掩膜图和所述第四掩膜图，确定与所述待放疗患者对应的目标历史放疗计划；
处理单元602，还用于根据所述目标历史放疗计划为所述待放疗患者制定放疗计划。
在一些可能的实施方式中，在根据所述第三掩膜图和所述第四掩膜图，确定与所述待放疗患者对应的目标放疗计划方面，处理单元602，具体用于：
对所述第三掩膜图和所述第四掩膜图进行叠加，得到目标掩膜图；
根据所述目标掩膜图，预测所述待放疗患者的虚拟剂量图；
对所述虚拟剂量图进行特征提取，得到目标特征向量；
将所述目标特征向量与放疗计划库中的每个历史放疗计划对应的第一特征向量进行匹配，得到与所述待放疗患者对应的目标历史放疗计划。
在一些可能的实施方式中，在根据所述CT图像以及预设的CT图像模板，确定配准矩阵方面，处理单元602，具体用于：
根据所述CT图像，得到与所述CT图像对应的第一空间位置；
根据所述预设的CT图像模板，得到与所述预设的CT图像模板对应的第二空间位置；
根据所述第一空间位置和所述第二空间位置，得到所述配准矩阵，所述配准矩阵用于将所述第一空间位置变换为所述第二空间位置。
在一些可能的实施方式中，在所述根据所述配准矩阵分别对第一掩膜图和第二掩膜图进行配准之前，处理单元602，还用于：
根据所述CT图像进行实例分割，得到所述CT图像中的计划靶区以及危及器官的区域；
根据所述CT图像中的计划靶区，对所述CT图像进行编码，得到第一掩膜图，以及根据所述CT图像中的危及器官的区域，对所述CT图像进行编码，得到第二掩膜图。
在一些可能的实施方式中，在根据所述CT图像进行实例分割，得到所述CT图像中的计划靶区以及危及器官的区域方面，处理单元602，具体用于：
对所述CT图像进行特征提取，得到第一特征图；
对所述第一特征图进行上采样处理，得到第二特征图；
根据所述第二特征图进行实例分割，得到第一概率分割图以及第二概率分割图，其中，所述第一概率分割图用于指示所述CT图像中每个像素点属于所述计划靶区的概率，所述第二概率分割图用于指示所述CT图像中每个像素点属于所述危及器官的区域的概率；
根据所述第一概率分割图以及所述第二概率分割图，对所述CT图像进行实例分割，得到所述CT图像中的计划靶区以及危及器官的区域。
在一些可能的实施方式中，在获取待放疗患者的CT图像之前，处理单元602，还用于：
根据每个历史放疗计划对应的历史CT图像以及所述预设的CT图像模板，确定所述每个历史放疗计划对应的配准矩阵；
根据所述每个历史放疗计划对应的配准矩阵对所述每个历史放疗计划对应的剂量分布图进行配准，得到所述每个历史放疗计划对应的第一特征向量。
在一些可能的实施方式中，在根据所述CT图像进行实例分割，得到所述CT图像中的计划靶区以及危及器官的区域之前，处理单元602，还用于：
对所述CT图像中的每个像素点进行高频方向分解，分别得到所述每个像素点在水平方向上的第一分量、在竖直方向上的第二分量以及在对角方向上的第三分量；
将所述CT图像中的所有像素点在水平方向上的第一分量对应组成第一分量图像、在竖直方向上的第二分量对应组成第二分量图像以及在对角方向上的第三分量对应组成第三分量图像；
将所述第一分量图像、所述第二分量图像以及所述第三分量图像进行逐像素叠加，得到增强后的CT图像；
在根据所述CT图像进行实例分割，得到所述CT图像中的计划靶区以及危及器官的区域方面，处理单元602，具体用于：
根据所述增强后的CT图像进行实例分割，得到所述CT图像中的计划靶区以及危及器官的区域。
应理解，本申请中的放疗计划制定装置可以包括放疗计划制定装置（如Android手机、iOS手机、Windows Phone手机等）、平板电脑、掌上电脑、笔记本电脑、移动互联网设备MID（Mobile Internet Devices，简称：MID）或穿戴式设备等。上述放疗计划制定装置仅是举例，而非穷举，包含但不限于上述放疗计划制定装置。在实际应用中，上述放疗计划制定装置还可以包括：智能车载终端、计算机设备等等。
本申请实施例还提供一种计算机存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行以实现如上述方法实施例中记载的任何一种放疗计划制定方法的部分或全部步骤。
本申请实施例还提供一种计算机程序产品，所述计算机程序产品包括存储了计算机程序的非瞬时性计算机可读存储介质，所述计算机程序可操作来使计算机执行如上述方法实施例中记载的任何一种放疗计划制定方法的部分或全部步骤。
需要说明的是，对于前述的各方法实施例，为了简单描述，故将其都表述为一系列的动作组合，但是本领域技术人员应该知悉，本申请并不受所描述的动作顺序的限制，因为依据本申请，某些步骤可以采用其他顺序或者同时进行。其次，本领域技术人员也应该知悉，说明书中所描述的实施例均属于可选实施例，所涉及的动作和模块并不一定是本申请所必须的。
在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述的部分，可以参见其他实施例的相关描述。
在本申请所提供的几个实施例中，应该理解到，所揭露的装置，可通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外，在本申请各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件程序模块的形式实现。
所述集成的单元如果以软件程序模块的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储器中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储器中，包括若干指令用以使得一台计算机设备（可为个人计算机、服务器或者网络设备等）执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储器包括：U盘、只读存储器（ROM，Read-Only Memory）、随机存取存储器（RAM，Random Access Memory）、移动硬盘、磁碟或者光盘等各种可以存储程序代码的介质。
本领域普通技术人员可以理解上述实施例的各种方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成，该程序可以存储于一计算机可读存储器中，存储器可以包括：闪存盘、只读存储器（英文：Read-Only Memory ，简称：ROM）、随机存取器（英文：Random Access Memory，简称：RAM）、磁盘或光盘等。
以上对本申请实施例进行了详细介绍，本文中应用了具体个例对本申请的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本申请的方法及其核心思想；同时，对于本领域的一般技术人员，依据本申请的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本申请的限制。

Claims (8)

1.一种放疗计划制定装置，其特征在于，包括：
获取单元，用于获取待放疗患者的CT图像；
处理单元，用于根据所述CT图像以及预设的CT图像模板，确定配准矩阵；
处理单元，用于对所述CT图像进行特征提取，得到第一特征图；对所述第一特征图进行上采样处理，得到第二特征图；根据所述第二特征图进行实例分割，得到第一概率分割图以及第二概率分割图，其中，所述第一概率分割图用于指示所述CT图像中每个像素点属于计划靶区的概率，所述第二概率分割图用于指示所述CT图像中每个像素点属于危及器官的区域的概率；根据所述第一概率分割图以及所述第二概率分割图，对所述CT图像进行实例分割，得到所述CT图像中的计划靶区以及危及器官的区域；根据所述CT图像中的计划靶区，对所述CT图像进行编码，得到第一掩膜图，以及根据所述CT图像中的危及器官的区域，对所述CT图像进行编码，得到第二掩膜图；
处理单元，还用于根据所述配准矩阵对所述第一掩膜图进行配准，得到第三掩膜图，以及根据所述配准矩阵对所述第二掩膜图进行配准，得到第四掩膜图，所述第一掩膜图用于指示所述待放疗患者的计划靶区，所述第二掩膜图用于指示所述待放疗患者的危及器官的区域；
处理单元，还用于根据所述第三掩膜图和所述第四掩膜图，确定与所述待放疗患者对应的目标历史放疗计划；
处理单元，还用于根据所述目标历史放疗计划为所述待放疗患者制定放疗计划。
2.根据权利要求1所述的装置，其特征在于，在根据所述第三掩膜图和所述第四掩膜图，确定与所述待放疗患者对应的目标放疗计划方面，所述处理单元，具体用于：
对所述第三掩膜图和所述第四掩膜图进行叠加，得到目标掩膜图；
根据所述目标掩膜图，预测所述待放疗患者的虚拟剂量图；
对所述虚拟剂量图进行特征提取，得到目标特征向量；
将所述目标特征向量与放疗计划库中的每个历史放疗计划对应的第一特征向量进行匹配，得到与所述待放疗患者对应的目标历史放疗计划。
3.根据权利要求1或2所述的装置，其特征在于，在根据所述CT图像以及预设的CT图像模板，确定配准矩阵方面，所述处理单元，具体用于：
根据所述CT图像，得到与所述CT图像对应的第一空间位置；
根据所述预设的CT图像模板，得到与所述预设的CT图像模板对应的第二空间位置；
根据所述第一空间位置和所述第二空间位置，得到所述配准矩阵，所述配准矩阵用于将所述第一空间位置变换为所述第二空间位置。
4.根据权利要求3所述的装置，其特征在于，在获取待放疗患者的CT图像之前，所述处理单元，还用于：
根据每个历史放疗计划对应的历史CT图像以及所述预设的CT图像模板，确定所述每个历史放疗计划对应的配准矩阵；
根据所述每个历史放疗计划对应的配准矩阵对所述每个历史放疗计划对应的剂量分布图进行配准，得到所述每个历史放疗计划对应的第一特征向量。
5.根据权利要求4所述的装置，其特征在于，在根据所述CT图像进行实例分割，得到所述CT图像中的计划靶区以及危及器官的区域之前，所述处理单元，还用于：
对所述CT图像中的每个像素点进行高频方向分解，分别得到所述每个像素点在水平方向上的第一分量、在竖直方向上的第二分量以及在对角方向上的第三分量；
将所述CT图像中的所有像素点在水平方向上的第一分量对应组成第一分量图像、在竖直方向上的第二分量对应组成第二分量图像以及在对角方向上的第三分量对应组成第三分量图像；
将所述第一分量图像、所述第二分量图像以及所述第三分量图像进行逐像素叠加，得到增强后的CT图像；
所述根据所述CT图像进行实例分割，得到所述CT图像中的计划靶区以及危及器官的区域，包括：
根据所述增强后的CT图像进行实例分割，得到所述CT图像中的计划靶区以及危及器官的区域。
6.一种放疗计划制定方法，其特征在于，包括：
获取待放疗患者的CT图像；
根据所述CT图像以及预设的CT图像模板，确定配准矩阵；
对所述CT图像进行特征提取，得到第一特征图；对所述第一特征图进行上采样处理，得到第二特征图；根据所述第二特征图进行实例分割，得到第一概率分割图以及第二概率分割图，其中，所述第一概率分割图用于指示所述CT图像中每个像素点属于计划靶区的概率，所述第二概率分割图用于指示所述CT图像中每个像素点属于危及器官的区域的概率；根据所述第一概率分割图以及所述第二概率分割图，对所述CT图像进行实例分割，得到所述CT图像中的计划靶区以及危及器官的区域；根据所述CT图像中的计划靶区，对所述CT图像进行编码，得到第一掩膜图，以及根据所述CT图像中的危及器官的区域，对所述CT图像进行编码，得到第二掩膜图；
根据所述配准矩阵对所述第一掩膜图进行配准，得到第三掩膜图，以及根据所述配准矩阵对所述第二掩膜图进行配准，得到第四掩膜图，所述第一掩膜图用于指示所述待放疗患者的计划靶区，所述第二掩膜图用于指示所述待放疗患者的危及器官的区域；
根据所述第三掩膜图和所述第四掩膜图，确定与所述待放疗患者对应的目标历史放疗计划；
根据所述目标历史放疗计划为所述待放疗患者制定放疗计划。
7.一种放疗计划制定装置，其特征在于，包括处理器、存储器、通信接口以及一个或多个程序，其中，所述一个或多个程序被存储在所述存储器中，并且被配置由所述处理器执行，所述程序包括用于执行权利要求6方法中的步骤的指令。
8.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行以实现如权利要求6所述的方法。
CN202011213379.6A 2020-11-04 2020-11-04 放疗计划制定装置、方法及存储介质 Active CN112037886B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011213379.6A CN112037886B (zh) 2020-11-04 2020-11-04 放疗计划制定装置、方法及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011213379.6A CN112037886B (zh) 2020-11-04 2020-11-04 放疗计划制定装置、方法及存储介质

Publications (2)

Publication Number Publication Date
CN112037886A CN112037886A (zh) 2020-12-04
CN112037886B true CN112037886B (zh) 2021-02-05

Family

ID=73573617

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011213379.6A Active CN112037886B (zh) 2020-11-04 2020-11-04 放疗计划制定装置、方法及存储介质

Country Status (1)

Country Link
CN (1) CN112037886B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113240681B (zh) * 2021-05-20 2022-07-08 推想医疗科技股份有限公司 图像处理的方法及装置

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9757588B2 (en) * 2006-05-11 2017-09-12 Koninklijke Philips N.V. Deformable registration of images for image guided radiation therapy
CN106920234B (zh) * 2017-02-27 2021-08-27 北京连心医疗科技有限公司 一种复合式自动放疗计划的方法
CN109513121B (zh) * 2018-12-28 2021-01-01 安徽大学 一种剂量引导自适应放射治疗计划重优化系统和方法
CN109816011B (zh) * 2019-01-21 2021-09-07 厦门美图之家科技有限公司 视频关键帧提取方法
CN109771850B (zh) * 2019-02-02 2021-12-07 张家港赛提菲克医疗器械有限公司 一种自适应放疗计划修正装置
CN109872804B (zh) * 2019-02-02 2022-04-29 张家港赛提菲克医疗器械有限公司 一种自动放疗计划系统及其使用方法
CN110141801B (zh) * 2019-05-17 2021-04-27 天津大学 面向近距离粒子内放疗手术智能剂量规划方法

Also Published As

Publication number Publication date
CN112037886A (zh) 2020-12-04

Similar Documents

Publication Publication Date Title
Yang et al. DIRART–A software suite for deformable image registration and adaptive radiotherapy research
JP2021035502A (ja) 畳み込みニューラルネットワークを用いた画像セグメンテーションのためのシステムおよび方法
Xu et al. Less is more: Simultaneous view classification and landmark detection for abdominal ultrasound images
US10853409B2 (en) Systems and methods for image search
CN107220933A (zh) 一种参考线确定方法和系统
CN107133946A (zh) 医学图像处理方法、装置及设备
CN110751187B (zh) 异常区域图像生成网络的训练方法和相关产品
US11430123B2 (en) Sampling latent variables to generate multiple segmentations of an image
Nemoto et al. Effects of sample size and data augmentation on U-Net-based automatic segmentation of various organs
CN107767947A (zh) 放疗计划评估方法及装置
CN112037886B (zh) 放疗计划制定装置、方法及存储介质
CN115731232A (zh) 血管图像处理方法、装置、可读存储介质及电子设备
CN113888566B (zh) 目标轮廓曲线确定方法、装置、电子设备以及存储介质
CN114332563A (zh) 图像处理模型训练方法及相关装置、设备和存储介质
Bai et al. A proof-of-concept study of artificial intelligence–assisted contour editing
CN116350958A (zh) 放疗计划参数的设定方法、装置、设备、介质和程序产品
CN113724185A (zh) 用于图像分类的模型处理方法、装置及存储介质
CN111209946B (zh) 三维图像处理方法、图像处理模型训练方法及介质
CN117275670A (zh) 一种剂量分布的预测方法、系统、装置和存储介质
CN115760813A (zh) 螺钉通道生成方法、装置、设备、介质和程序产品
CN115311430A (zh) 人体重建模型的训练方法、系统及计算机设备
CN114820861A (zh) 基于CycleGAN的MR合成CT方法、设备和计算机可读存储介质
CN114121213A (zh) 麻醉用药信息复核方法、装置、电子设备及存储介质
CN114241198A (zh) 获取局部影像组学特征的方法、装置、设备以及存储介质
CN115731240A (zh) 一种分割方法、装置、电子设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant