CN112700421B - 冠脉图像分类方法及装置 - Google Patents

冠脉图像分类方法及装置 Download PDF

Info

Publication number
CN112700421B
CN112700421B CN202110004503.6A CN202110004503A CN112700421B CN 112700421 B CN112700421 B CN 112700421B CN 202110004503 A CN202110004503 A CN 202110004503A CN 112700421 B CN112700421 B CN 112700421B
Authority
CN
China
Prior art keywords
branch
vector
point
determining
node
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110004503.6A
Other languages
English (en)
Other versions
CN112700421A (zh
Inventor
万兰若
郝智
张欢
王瑜
李新阳
王少康
陈宽
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Infervision Medical Technology Co Ltd
Original Assignee
Infervision Medical Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Infervision Medical Technology Co Ltd filed Critical Infervision Medical Technology Co Ltd
Priority to CN202110004503.6A priority Critical patent/CN112700421B/zh
Publication of CN112700421A publication Critical patent/CN112700421A/zh
Application granted granted Critical
Publication of CN112700421B publication Critical patent/CN112700421B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10072—Tomographic images
    • G06T2207/10081—Computed x-ray tomography [CT]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30101—Blood vessel; Artery; Vein; Vascular

Abstract

本申请提供了一种冠脉图像分类方法及装置，该方法包括：确定冠脉图像中由左主干的末端节点开始的回旋支所在的第一子树；确定由第一子树上的第一分叉节点开始的第一分支上的第一点，以及第二分支上的第二点；确定第一点与预设点构成的第一向量，以及第二点与预设点构成的第二向量；确定第一向量与预设向量之间的第一夹角，以及第二向量与预设向量之间的第二夹角；基于第一夹角和第二夹角确定回旋支。此外，本申请提供的冠脉图像分类方法还可以实现对右冠主支的识别。本申请的技术方案能够提高冠脉图像分类结果的准确度，且具有较高的鲁棒性。

Description

冠脉图像分类方法及装置
技术领域
本申请涉及图像处理技术领域，具体涉及一种冠脉图像分类方法及装置。
背景技术
心血管疾病多见于中、老年人群，不过近年来，心血管疾病的发病有年轻化的趋势，严重危害人们的身体将康。因此，准确识别心血管的各个分支，确定病变的位置，对于心血管疾病的诊断和治疗至关重要。
由于心血管具有较多的分支，目前针对心血管各个分支的识别方法或分类方法存在准确度低、鲁棒性差的问题。
发明内容
有鉴于此，本申请实施例提供了一种冠脉图像分类方法及装置，能够提高冠脉图像分类结果的准确度，且具有较高的鲁棒性。
第一方面，本申请的实施例提供了一种冠脉图像分类方法，包括：确定冠脉图像中由左主干的末端节点开始的回旋支所在的第一子树；确定由第一子树上的第一分叉节点开始的第一分支上的第一点，以及第二分支上的第二点；确定第一点与预设点构成的第一向量，以及第二点与预设点构成的第二向量；确定第一向量与预设向量之间的第一夹角，以及第二向量与预设向量之间的第二夹角；基于第一夹角和第二夹角确定回旋支。
在本申请某些实施例中，确定由第一子树上的第一分叉节点开始的第一分支上的第一点，以及第二分支上的第二点，包括：确定第一分支上距离第一分叉节点为第一预设步长的点为第一点，并确定第二分支上距离第一分叉节点为第一预设步长的点为第二点。
在本申请某些实施例中，预设向量包括由冠脉图像中右冠脉根节点和前降支的重心构成的向量。
在本申请某些实施例中，该冠脉图像分类方法还包括：确定第一子树上的子节点朝向左主干的末端节点的第一方向与子节点指向子节点的分支的第二方向之间的第三夹角；在第三夹角等于或大于第一阈值时，确定子节点为第一分叉节点。
在本申请某些实施例中，确定冠脉图像中由左主干的末端节点开始的回旋支所在的第一子树，包括：确定分别由左主干的末端节点开始的两个子树上的第三点和第四点；基于左主干的末端节点和第三点确定第一初始向量，并基于左主干的末端节点和第四点确定第二初始向量；确定第一初始向量和第二初始向量中在Y轴正方向分量大的向量对应的子树为第一子树。
在本申请某些实施例中，该冠脉图像分类方法还包括：依次对左主干的根节点的子节点做如下判断：确定由左主干的根节点的子节点开始的子树的数量和长度；将存在两个子树的长度大于或等于第二阈值的子节点确定为左主干的末端节点。
在本申请某些实施例中，该冠脉图像分类方法还包括：提取冠脉图像中冠脉的中线以确定第一中线树和第二中线树；基于第一中线树和第二中线树，确定左冠脉和右冠脉。
在本申请某些实施例中，该冠脉图像分类方法还包括：依次对冠脉图像中右冠脉的根节点的叶子节点做如下判断：确定由右冠脉的根节点与叶子节点构成的向量在X轴上的分量与在Y轴正方向上的分量的比值；排除比值小于或等于第三阈值的叶子节点；基于右冠脉的剩下的叶子节点确定右冠主支，其中，Y轴正方向指的是胸骨指向椎骨的方向，X轴指的是两肩的方向。
在本申请某些实施例中，该冠脉图像分类方法还包括：依次对冠脉图像中右冠脉的多个血管段做如下判断：确定右冠脉的多个血管段中沿Y轴负方向延伸的血管段；确定沿Y轴负方向延伸的血管段的根节点与右冠脉的根节点的距离；排除距离小于或等于第四阈值的血管段所在的子树；基于右冠脉的剩下的部分确定右冠主支，其中，Y轴负方向指的是椎骨指向胸骨的方向。
第二方面，本申请的实施例提供了一种冠脉图像分类方法，包括：依次对冠脉图像中右冠脉的根节点的叶子节点做如下判断：确定由右冠脉的根节点与叶子节点构成的向量在X轴上的分量与在Y轴正方向上的分量的比值；排除比值小于或等于第三阈值的叶子节点；基于右冠脉的剩下的叶子节点确定右冠主支，其中，Y轴正方向指的是胸骨指向椎骨的方向，X轴指的是两肩的方向。
第三方面，本申请的实施例提供了一种冠脉图像分类方法，包括：依次对冠脉图像中右冠脉的多个血管段做如下判断：确定右冠脉的多个血管段中沿Y轴负方向延伸的血管段；确定沿Y轴负方向延伸的血管段的根节点与右冠脉的根节点的距离；排除距离小于或等于第四阈值的血管段所在的子树；基于右冠脉的剩下的部分确定右冠主支，其中，Y轴负方向指的是椎骨指向胸骨的方向。
第四方面，本申请的实施例提供了一种冠脉图像分类装置，包括：第一确定模块，用于确定冠脉图像中由左主干的末端节点开始的回旋支所在的第一子树；第二确定模块，用于确定由第一子树上的第一分叉节点开始的第一分支上的第一点，以及第二分支上的第二点；第三确定模块，用于确定第一点与预设点构成的第一向量，以及第二点与预设点构成的第二向量；第四确定模块，用于确定第一向量与预设向量之间的第一夹角，以及第二向量与预设向量之间的第二夹角；第五确定模块，用于基于第一夹角和第二夹角确定回旋支。
第五方面，本申请的实施例提供了一种计算机可读存储介质，存储介质存储有计算机程序，计算机程序用于执行上述第一方面所述的冠脉图像分类方法。
第六方面，本申请的实施例提供了一种电子设备，包括：处理器；用于存储处理器可执行指令的存储器，其中，处理器用于执行上述第一方面所述的冠脉图像分类方法。
本申请实施例提供了一种冠脉图像分类方法及装置，通过从可能是回旋支所在的至少两个分支中分别选取第一点和第二点与预设点构成第一向量和第二向量，确定这两个向量与预设向量之间的夹角，并基于夹角的大小确定回旋支所在的分支，从而可以提高回旋支识别结果的准确度，进而提高冠脉图像分类结果的准确度，尤其对于左优势型人群，该冠脉图像分类方法具有较高的鲁棒性。
附图说明
图1所示为本申请实施例提供的一种实施环境的示意图。
图2所示为本申请一示例性实施例提供的冠脉图像分类方法的流程示意图。
图3所示为本申请一示例性实施例提供的左冠脉的结构示意图。
图4所示为本申请一示例性实施例提供的右冠脉的结构示意图。
图5所示为本申请一示例性实施例提供的回旋支所在子树的结构示意图。
图6所示为本申请另一示例性实施例提供的冠脉图像分类方法的流程示意图。
图7所示为本申请一示例性实施例提供的冠脉图像分类装置的结构示意图。
图8所示为本申请一示例性实施例提供的用于执行冠脉图像分类方法的电子设备的框图。
具体实施方式
下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
申请概述
冠状动脉造影(Coronary Arteriography,CAG)是冠脉疾病诊断的金标准，可以明确病变的位置、程度与范围，具有检测结果准确度高的优点，但是CAG是一种有创检查。冠状动脉CT血管造影(Coronary Computed TomographyAnglography,CCTA)作为一种心脏断层扫描技术，目前已经成为诊断冠状动脉疾病的主要无创影像学工具，而且在冠脉疾病诊断上，其可以和金标准冠脉造影相媲美。因此通常情况下，可优先采用CCTA来诊断患者的病变位置。
CCTA图像的拍摄流程主要包括检查前准备、扫描前工作、扫描过程以及图像后处理。在扫描前，患者一般会吃一些硝酸甘油等扩张冠脉的药物，并注射造影剂，从而让冠脉成像更清晰，提升冠脉节段性病变的诊断的准确性。这里，造影剂是为了增强影像观察效果而注入或者服用到人体组织或器官的化学制品。这些制品的密度高于或低于我们感兴趣组织周边的背景，从而能更方便地观察感兴趣区域。例如，造影剂可以让冠脉在CCTA中的HU值更高，从而可以让CCTA图像中冠脉细支更多，并与静脉相区分。
在获得CCTA图像后，基于CCTA图像准确识别各个冠脉分支或细支，可以提高诊断结果的准确度，便于医生为后续治疗做出准确的决策。
而现有的识别各个冠脉分支或细支的方法存在准确度低、鲁棒性差的问题。
示例性系统
图1所示为本申请实施例提供的一种实施环境的示意图。该实施环境包括计算机设备110以及图像获取设备120。
图像获取设备120用于对人体的冠脉进行扫描，以获得冠脉图像。例如图像获取设备120可以是CT扫描仪。
计算机设备110可以从图像获取设备120处获取原始冠脉图像。计算机设备110可以分割出原始冠脉图像中的冠脉区域以得到冠脉图像，并识别出冠脉图像中的各个分支。在一实施例中，各个分支的识别结果可以这样体现：在冠脉图像中相应分支处标记该分支的名称，或在冠脉图像对应的图像数据中记录相应分支的名称，当计算机设备110接收用户点击冠脉图像中相应分支的指令时，在冠脉图像中该分支处显示该分支的名称。这里，分支的名称可以是分支对应的中文名称、英文名称或英文名称缩写。各个分支的识别结果还可以采用其他方式来体现，本申请实施例对此不做限制。
计算机设备110可以是通用型计算机或者由专用的集成电路组成的计算机装置等，本申请实施例对此不做限定。例如，计算机设备110可以是平板电脑等移动终端设备，或者也可以是个人计算机(Personal Computer，PC)，比如膝上型便携计算机和台式计算机等等。本领域技术人员可以知晓，上述计算机设备110的数量可以一个或多个，其类型可以相同或者不同。本申请实施例对计算机设备110的数量和设备类型不加以限定。
在一些实施例中，计算机设备110可以是服务器，即图像获取设备120直接与服务器通信连接。
在另一些实施例中，计算机设备110可以分别与图像获取设备120以及服务器通信连接，并将从图像获取设备120获取的原始冠脉图像发送至服务器，以便服务器基于该原始冠脉图像执行冠脉图像分类方法。
示例性方法
图2所示为本申请一示例性实施例提供的冠脉图像分类方法的流程示意图。图2的方法可由电子设备，例如，由图1的计算机设备或服务器来执行。如图2所示，该冠脉图像分类方法包括如下内容。
210：确定冠脉图像中由左主干的末端节点开始的回旋支所在的第一子树。
具体地，冠脉图像可以是基于CCTA技术获得的医学图像，或基于其他技术获得的医学图像。
冠脉包括左冠脉和右冠脉，如图3和图4所示。通常情况下，左冠脉主要包括左主干(LeftMain Coronary Artery,LMCA)、前降支(Left Anterior Descending,LAD)、回旋支(Left Circumflex,LCX)，右冠主要包括右冠主支(Right Coronary Artery,RCA)。不同人的冠脉的具体分支是不同的，有的人冠脉分支较多，有的人冠脉分支较少。而且，对于同一冠脉分支，不同的人具有不同的冠脉分支尺寸，如长度、管径等。
冠脉可以看成树状结构。一般情况下，左主干的末端节点可以分出多个子树，例如回旋支所在的子树(第一子树)起源于左主干的末端节点。
在一实施例中，冠脉图像为原始冠脉图像，可以通过人工标注出原始冠脉图像中的第一子树，或者冠脉图像可以为利用图像分割模型对原始冠脉图像进行分割而获得的图像，该图像分割模型可以分割出原始冠脉图像中的第一子树。这里说明下，本申请实施例中的图像分割模型可以是传统的机器学习模型，也可以是深度学习模型。
220：确定由第一子树上的第一分叉节点开始的第一分支上的第一点，以及第二分支上的第二点。
具体地，第一子树的根节点为左主干的末端节点，第一子树可以包括一个或多个起源于该根节点的分叉节点。根节点指向分叉节点的延伸方向可以称为子树的延伸方向。在第一子树的延伸方向上，由第一分叉节点开始的分支包括至少两个分支。至少两个分支中有一个分支是回旋支所在的分支。
如图5所示，白色虚线框出的部分为第一子树，多个白色实线框出的部分为第一子树的多个子节点，包括分叉节点和叶子节点。这里，叶子节点是指第一子树的末端节点，即没有分支的节点；分叉节点是指具有分支的节点。
第一分叉节点可以是第一子树中第一分支和第二分支的分叉节点。第一分叉节点可以是通过人工标注确定的，也可以是通过图像分割模型确定的。
第一点可以是自第一分叉节点沿着第一分支走第一预设步长确定的点，第二点是自第一分叉节点沿着第二分支走第二预设步长确定的点。第一和第二预设步长的具体长度可以根据实际情况进行确定，第一预设步长可以等于第二预设步长，这样可以在相同的条件(预设步长)下根据第一分支和第二分支的走向变化识别第一分支和第二分支的具体类型，可以提高识别结果的准确度。
230：确定第一点与预设点构成的第一向量，以及第二点与预设点构成的第二向量。
预设点可以是冠脉上的点，也可以是冠脉图像中其他位置的点。
例如，预设点为右冠根节点(右冠脉起始点)，右冠根节点指向第一点可构成第一向量，右冠根节点指向第二点可构成第二向量。或者，右冠根节点指向第一点构成的向量经过归一化处理后得到的向量为第一向量，右冠根节点指向第二点的向量经过归一化处理后得到的向量为第二向量。
在其他实施例中，预设点可以是左冠根节点、左主干的末端节点或其他位置的点。第一向量可以是第一点指向预设点构成的向量，第二向量可以是第二点指向预设点构成的向量。
240：确定第一向量与预设向量之间的第一夹角，以及第二向量与预设向量之间的第二夹角。
预设向量可以看成是基准，通过比较第一向量与预设向量之间的第一夹角和第二向量与预设向量之间的第二夹角的大小，可以对第一分支和第二分支做出一定的判断。因此，预设向量可以根据实际需要进行选择。
例如，可以从冠脉图像中选取右冠根节点和前降支的重心，右冠根节点指向前降支的重心所构成的向量为预设向量。或者，右冠根节点指向前降支的重心所构成的向量经过归一化处理后得到的向量为预设向量。这样，通过对预设向量、第一向量和第二向量进行归一化处理后再确定第一夹角和第二夹角，可以减小运算量，提高运算效率。
在其他实施例中，预设向量可以是前降支的重心指向右冠根节点所构成的向量。
在其他实施例中，预设向量可以是基于左冠根节点与前降支的重心所构成的向量，左主干的末端节点与前降支的重心所构成的向量，前降支上任意两点构成的向量，或冠脉图像中其他位置的点构成的向量。当然，该预设向量可以是电子设备直接给出的向量，例如该向量可以指向Z轴正方向，且指向Y轴负方向。
250：基于第一夹角和第二夹角确定回旋支。
通过比较第一向量与预设向量之间的第一夹角和第二向量与预设向量之间的第二夹角的大小，可以从第一点所在的第一分支与第二点所在的第二分支中确定回旋支。
例如，右冠根节点指向第一点构成第一向量，右冠根节点指向第二点构成第二向量，右冠根节点指向前降支的重心构成预设向量。第一夹角和第二夹角中角度大的点(第一点或第二点)所在的分支确定为回旋支所在的分支，角度小的点所在的分支确定为钝缘支(Obtuse Marginal,OM)所在的分支(或者其他血管所在的分支)。这里，假设回旋支所在的分支为上述的第一分支，回旋支具体指的是自左主干的末端节点开始经过第一分叉节点至第一分支的末端节点的这条血管。
或者，可以预设阈值，将第一夹角和第二夹角中大于阈值的夹角对应的分支确定为回旋支所在的分支。
在现有的冠脉识别方法中，主要是基于血管管径大小或血管长度来识别回旋支。具体地，现有的冠脉识别方法将血管管径较大或血管长度较长的分支识别为回旋支。但是，在一些情况下，尤其是对于左优势型的人来说，钝缘支的长度可能长于回旋支的长度，或者钝缘支的管径大小可能大于回旋支的管径大小，因此基于血管管径大小或血管长度来识别回旋支时，很容易出现把钝缘支错识别为回旋支的情况。本申请实施例通过构建第一夹角和第二夹角，并基于两个夹角的大小确定回旋支所在的分支，可以提高回旋支识别结果的准确度，避免将钝缘支错识别为回旋支的情况。
在其他实施例中，预设点的选取以及预设向量的选取只要保证预设向量与第一向量和第二向量构成的两个夹角可以便于区分回旋支和钝缘支即可。基于不同的预设向量，可以将第一夹角和第二夹角中角度大的点所在的分支确定为回旋支所在的分支，或将第一夹角和第二夹角中角度小的点所在的分支确定为回旋支所在的分支，这主要视预设向量、第一向量以及第二向量的取向决定的。因此，预设向量、第一向量以及第二向量可以根据实际需要进行选取，本申请实施例对此不作限制。
在一实施例中，冠脉图像可以是三维图像，可以在该三维图像中构建三维坐标系。例如，从右手到左手方向为X轴正方向，胸骨到椎骨方向为Y轴正方向，头到脚方向为Z轴正方向。
预设向量可以是右冠根节点与前降支的重心在XY平面内的投影点所构成的向量，具体可以是右冠根节点的投影点指向前降支的重心的投影点所构成的向量。第一向量是右冠根节点与第一点在XY平面内的投影点所构成的向量，具体可以是右冠根节点的投影点指向第一点的投影点所构成的向量。第二向量是右冠根节点与第二点在XY平面内的投影点所构成的向量，具体可以是右冠根节点的投影点指向第二点的投影点所构成的向量。XY平面内的第一向量与预设向量之间的夹角为第一夹角，XY平面内的第二向量与预设向量之间的夹角为第二夹角。第一夹角和第二夹角中角度大的点(第一点或第二点)所在的分支确定为回旋支所在的分支，角度小的点所在的分支确定为钝缘支所在的分支。本实施例通过在XY平面内构建预设向量、第一和第二向量，可以充分考虑第一分支和第二分支在XY平面内的走向变化，因为回旋支一般沿Y正方向延伸，所以本实施例可以提高回旋支识别结果的准确度。此外，基于二维向量确定第一夹角和第二夹角，可以简化夹角的计算过程，缩短回旋支的识别时间，进而缩短整个冠脉的识别时间。
本申请实施例提供的冠脉图像分类方法可以通过深度学习模型执行。
本申请实施例提供了一种冠脉图像分类方法，通过从可能是回旋支所在的至少两个分支中分别选取第一点和第二点与预设点构成第一向量和第二向量，确定这两个向量与预设向量之间的夹角，并基于夹角的大小确定回旋支所在的分支，从而可以提高回旋支识别结果的准确度，进而提高冠脉图像分类结果的准确度，尤其对于左优势型人群，该冠脉图像分类方法具有较高的鲁棒性。
在一些情况下，由第一分叉节点分出的分支可能不止两个，可能是三个分支或更多个分支。参照上述方法，可以在每个分支上确定一个点，并基于该点与预设点构成向量，基于该向量与预设向量构成相应的夹角，比较多个夹角的大小以确定回旋支所在的分支，实现回旋支的识别过程。
根据本申请一实施例，确定由第一子树上的第一分叉节点开始的第一分支上的第一点，以及第二分支上的第二点，包括：确定第一分支上距离第一分叉节点为第一预设步长的点为第一点，并确定第二分支上距离第一分叉节点为第一预设步长的点为第二点。
具体地，第一预设步长可以通过像素点或体素点表征，例如，第一预设步长为10个像素点或体素点。本实施例基于相同的预设步长确定第一分支上的第一点以及第二分支上的第二点，可以保证在相同的条件(预设步长)下根据第一分支和第二分支的走向变化识别回旋支，可以提高识别结果的准确度。
在另一实施例中，可以确定第一分支的长度方向上的中心点为第一点，并确定第二分支的长度方向上的中心点为第二点。本实施例基于第一分支和第二分支长度方向上的中心点确定第一点和第二点，可以简化第一点和第二点的确定过程，进而提高整个识别过程的效率。
在另一实施例中，可以确定第一分支的重心为第一点，并确定第二分支的重心为第二点。因为各个分支上不同位置的粗细可能不同，通过将第一分支的重心确定为第一点，将第二分支的重心确定为第二点，可以充分考虑第一分支和第二分支整体的走向，从而提高识别结果的准确度。
根据本申请一实施例，预设向量包括由冠脉图像中右冠脉根节点和前降支的重心构成的向量。
因为右冠脉相对于左冠脉具有比较固定的分布位置，所以基于右冠脉根节点和前降支的重心构成预设向量，可以提高本申请实施例的冠脉图像分类方法的鲁棒性和识别结果的准确度。
可选地，预设向量包括由冠脉图像中右冠脉根节点和前降支的几何中心点构成的向量。或者，预设向量包括由左主干的末端节点和前降支的几何中心点(或重心)构成的向量。
在另一实施例中，预设向量可以指向Z轴正方向，且指向Y轴负方向。右冠根节点指向第一点可构成第一向量，右冠根节点指向第二点可构成第二向量。第一向量与预设向量之间的夹角为第一夹角，第二向量与预设向量之间的夹角为第二夹角。第一夹角和第二夹角中角度大的点(第一点或第二点)所在的分支确定为回旋支所在的分支。本实施例中，预设向量可以基于指向Z轴正方向且指向Y轴负方向的条件设置，而不用在冠脉上选取两个点来构成预设向量，可以简化运算过程。
在另一实施例中，预设向量可以是前降支的重心指向右冠根节点所构成的向量。右冠根节点指向第一点可构成第一向量，右冠根节点指向第二点可构成第二向量。第一向量与预设向量之间的夹角为第一夹角，第二向量与预设向量之间的夹角为第二夹角。第一夹角和第二夹角中角度小的点(第一点或第二点)所在的分支确定为回旋支所在的分支。本申请实施例通过构建第一夹角和第二夹角，并基于两个夹角的大小确定回旋支所在的分支，可以提高回旋支识别结果的准确度，避免将钝缘支错识别为回旋支的情况。
根据本申请一实施例，该冠脉图像分类方法还包括：确定第一子树上的子节点朝向左主干的末端节点的第一方向与子节点指向子节点的分支的第二方向之间的第三夹角；在第三夹角等于或大于第一阈值时，确定子节点为第一分叉节点。
具体地，在第一子树的延伸方向上，第一子树的根节点与第一子树的各个叶子节点(子树的末端节点)之间，可能存在多个子节点(也可称为分叉节点)，这些子节点中的每个子节点上会有至少两个分支。为了从这些子节点中找到第一分叉节点，可以对多个子节点进行过滤。
这里，第一子树上的子节点朝向左主干的末端节点的第一方向，指的是，该子节点在第一子树上朝着左主干的末端节点的延伸方向。假设第一子树的延伸方向为下，即第一子树的子节点朝向根节点的方向为上，第一方向可以是当前子节点指向上一个子节点的方向，或者，是当前子节点指向上一个血管段的中点(或重心)的方向，这里，上一个血管段是上一个子节点与当前子节点之间的血管段。当然，第一方向也可以是当前子节点指向上一个血管段中其他点的方向，只要第一方向可以大致表征该血管段的走向即可。
子节点指向子节点的分支的第二方向，指的是，当前子节点指向该子节点下的某一分支的方向。具体地，第二方向可以是当前子节点指向该子节点下的某一分支上的任一点(例如中点或重心)的方向，或者，第二方向可以是当前子节点指向该子节点下的某一分支的末端节点的方向。
第一方向和第二方向可以是用向量表示的，在第一方向和第二方向之间的第三夹角过大时，说明当前子节点的上一个血管段(可以称为父线段)和下一个血管段的走势变化较小。在第一方向和第二方向之间的第三夹角过小时，说明上一个血管段和下一个血管段的走势变化较大。
在当前子节点包括多个分支时，可参照上述方法，对每个分支确定一个第二方向，对每个第二方向确定其与第一方向之间的第三夹角。当存在至少一个第三夹角等于或大于第一阈值时，确定当前子节点为第一分叉节点。
考虑到回旋支的走向一般是比较平滑的，走向比较自然，不会有很大的拐弯，因此可以将第三夹角等于或大于第一阈值时的子节点确定为第一分叉节点，这样可以排除一些走势变化较大的分支，为后续识别回旋支做准备，提高识别结果的准确度。
第一阈值的大小可以根据实际情况进行设置，本申请实施例对此不做限制。
在一实施例中，针对第一子树的根节点与第一子树的各个叶子节点之间的多个子节点，可以按照一定的顺序(例如自上而下的顺序)对各个子节点进行判断，若当前子节点的下一个血管段与上一个血管段的走势变化较大，可以排除当前子节点的当前分支，保留当前子节点的与上一个血管段的走势变化不大的分支。然后在剩下的分支中识别回旋支。如果剩下的分支对应的子节点是多个，可以自上而下对各个子节点进行判断。例如，将剩下的各个子节点依次作为第一分叉节点执行上述步骤220至250，直至识别完整的回旋支。
本申请实施例提供的冠脉图像分类方法，通过提前排除走势变化较大的分支，可以为后续准确识别回旋支排除干扰，提高识别结果的准确度。
根据本申请一实施例，确定冠脉图像中由左主干的末端节点开始的回旋支所在的第一子树，包括：确定分别由左主干的末端节点开始的两个子树上的第三点和第四点；基于左主干的末端节点和第三点确定第一初始向量，并基于左主干的末端节点和第四点确定第二初始向量；确定第一初始向量和第二初始向量中在Y轴正方向分量大的向量对应的子树为第一子树。
由左主干的末端节点开始的子树一般包括两个，一个是回旋支所在的子树，另一个是前降支所在的子树。从一个子树上选取第三点，从另一个子树上选取第四点。第一初始向量可以是左主干的末端节点指向第三点构成的向量，第二初始向量可以是左主干的末端节点指向第四点构成的向量。一般情况下，回旋支是沿Y轴正方向延伸，即向背后延伸；前降支是沿Y轴负方向延伸，即向胸前延伸。因此，可以将第一初始向量和第二初始向量中在Y轴正方向分量大的向量对应的子树确认为第一子树，即回旋支所在的子树，将第一初始向量和第二初始向量中在Y轴负方向分量大的向量对应的子树确认为第二子树，即前降支所在的子树。这里，确认出回旋支所在的子树后，相当于确认出回旋支的初始方向，后续可以基于上述步骤220至250确定完整的回旋支。此外，在确认出前降支所在的子树后，相当于确认出前降支的初始方向，后续可以进一步确定该子树上的所有叶子节点到左主干的末端节点的距离，从中选取距离最大的叶子节点作为前降支的叶子节点。将左主干的末端节点至前降支的叶子节点之间的这段血管标记为前降支。
这里，第三点可以是从左主干的末端节点出发沿对应的子树走预设步长(例如50个像素点或体素点)确定的点，类似地，第四点可以是从左主干的末端节点出发沿对应的子树走预设步长(例如50个像素点或体素点)确定的点。预设步长可以根据实际需要进行设置，以保证第一初始向量和第二初始向量可以反映对应子树的延伸方向，便于区分第一子树和第二子树即可。
在一实施例中，第三点和第四点可以是基于不同的预设步长确定的，左主干的末端节点指向第三点构成的向量进过归一化处理后获得的向量为第一初始向量，左主干的末端节点指向第四点构成的向量进过归一化处理后获得的向量为第二初始向量。这样基于不同的预设步长确定第三点和第四点，可以提高确定第一初始向量和第二初始向量的灵活性。此外，通过归一化处理可以保证识别结果的准确度。
在一实施例中，当子树在预设步长内出现多个分支时，可在每个分支上自左主干的末端节点开始走预设步长确定一个点，可获得多个点。可以基于左主干的末端节点与每个点确定一个向量，可获得多个向量。对多个向量求和后进行归一化处理可以获得第一初始向量，第二初始向量的获取过程与第一初始向量类似。本实施例提供的冠脉图像分类方法可以适应分支较多的冠脉，具有较强的适应性。
可选地，第三点和第四点可以是相应子树的重心，基于子树的重心与左主干的末端节点构建的初始向量，可以充分体现相应子树的走势，便于从两个子树中准确地识别回旋支所在的子树(第一子树)。
本申请实施例提供的冠脉图像分类方法，通过构建第一初始向量和第二初始向量，确定第一初始向量和第二初始向量中在Y轴正方向分量大的向量对应的子树为第一子树，可以贴合冠脉中回旋支以及前降支的实际分布情况，因而可以提高回旋支和前降支识别结果的准确度。
在一些情况下，由左主干的末端节点开始的子树除了包括上面的回旋支所在的子树以及前降支所在的子树外，还可能包括位于回旋支和前降支之间的中间支(可以看成一子树)，如图3所示。当存在三个子树时，可以对三个子树分别构建初始向量，确定三个初始向量中在Y轴正方向分量最大的向量对应的子树为回旋支所在的子树，确定三个初始向量中在Y轴负方向分量最大的向量对应的子树为前降支所在的子树。当存在更多个子树时，回旋支和前降支所在子树的确定过程与上述过程类似，为避免重复，此处不再赘述。
根据本申请一实施例，该冠脉图像分类方法还包括：依次对左主干的根节点的子节点做如下判断：确定由左主干的根节点的子节点开始的子树的数量和长度；将存在两个子树的长度大于或等于第二阈值的子节点确定为左主干的末端节点。
具体地，在左主干的根节点和末端节点之间可能包括零个、一个或多个子节点(可认为是左主干上的毛刺)，这里左主干的末端节点也认为是左主干的根节点的子节点。
为了确定左主干的末端节点，识别整个左主干的位置，可以自左主干的根节点开始，沿着左主干的延伸方向，依次对各个子节点进行判断。例如，可以基于深度优先搜索法遍历各个子节点。
具体地，对于当前子节点，确定由该当前子节点开始的子树的数量和长度。由当前子节点开始的子树一般有两个或更多个。这里子树的长度指的是由该当前子节点至子树的最远叶子节点的长度。当存在有两个子树的长度大于或等于第二阈值时，则该当前子节点可被确定为左主干的末端节点。这里长度大于或等于第二阈值的两个子树，一个是回旋支所在的子树，一个是前降支所在的子树。
如果存在一个子树的长度大于或等于第二阈值，其他子树的长度小于第二阈值，则该当前子节点被认为是毛刺，不是左主干的末端节点。此时可以对当前子节点的下一个子节点进行判断，直至确定出左主干的末端节点。
参见图3，白色虚线框出的部分为左主干，白色矩形框框出的部分为左主干末端节点，该末端节点是左主干、回旋支和钝缘支的交界点。
第二阈值可以根据实际需要进行设置，本申请实施例对此不作限制。例如，第二阈值可以是一般前降支或回旋支长度的60％，或其他合适的值。
本申请实施例提供的冠脉图像分类方法，通过确定左主干的根节点的子节点对应的子树的数量和长度，可以排除左主干中间的毛刺。因为在毛刺对应的子节点的子树中，虽然存在一颗子树(包括回旋支和前降支的这颗子树)的长度满足要求(大于或等于第二阈值)，但是其他的子树的长度一般较小难以满足要求，因此毛刺对应的子节点可以被排除掉，从而可以准确识别左主干的末端节点，即准确识别整个左主干。
在本申请某些实施例中，该冠脉图像分类方法还包括：提取冠脉图像中冠脉的中线以确定第一中线树和第二中线树；基于第一中线树和第二中线树，确定左冠脉和右冠脉。
具体地，本申请实施例提供的冠脉图像分类方法可以基于分割后的冠脉图像进行各个血管段的识别。或者，可以对分割后的冠脉图像进行处理，然后基于处理后的冠脉图像进行各个血管段的识别。
例如，在识别各个血管段之前，可以先提取冠脉图像中冠脉的中线。在三维坐标系中，可以获取冠脉的中线中各个节点的坐标以及任意两个节点之间的线段长度。
在提取冠脉图像中冠脉的中线后，可以获得两个中线树。
在一实施例中，可以获取两个中线树的质心(或重心)的坐标，通过比较两个质心的X坐标，将X坐标小的质心对应的中线树确定为右冠脉对应的中线树，另一个中线树确定为左冠脉对应的中线树。通过基于两个中线树的质心的X坐标的大小识别左右冠脉，可以贴合左右冠脉的实际分布情况，适应多种复杂的冠脉分布情况，提高左右冠脉识别结果的准确度。
可选地，可以分别自两个中线树的根节点起沿着两个中线树中最长的血管走预设步长，以得到第五点和第六点。将第五点和第六点中X坐标小的点对应的中线树确定为右冠脉对应的中线树，另一个中线树确定为左冠脉对应的中线树。或者，可以分别自两个中线树的根节点起沿着两个中线树走预设步长，如果遇到多个分支，则继续沿着各个分支走完预设步长，这样对于一个中线树来说，可以获得多个点，可进一步获取多个点的X坐标的平均值。将X坐标的平均值小的中线树确定为右冠脉对应的中线树，另一个中线树确定为左冠脉对应的中线树。
当然，直接基于分割后的冠脉图像识别左冠脉和右冠脉的过程可以与上述基于冠脉的中线识别左冠脉和右冠脉的过程类似，为避免重复，此处不再赘述。
本申请实施例提供的冠脉图像分类方法，通过提取冠脉的中线，并基于冠脉的中线执行上述各个实施例中的冠脉图像分类方法，以识别冠脉的各个分支，可以显著提高运算效率，缩短运算时间。
在本申请某些实施例中，该冠脉图像分类方法还包括：依次对冠脉图像中右冠脉的根节点的叶子节点做如下判断：确定由右冠脉的根节点与叶子节点构成的向量在X轴上的分量与在Y轴正方向上的分量的比值；排除比值小于或等于第三阈值的叶子节点；基于右冠脉的剩下的叶子节点确定右冠主支。
一般情况下，右冠脉中沿Z轴正方向延伸最长的血管为右冠主支，但是在一些情况下，右冠脉中存在一些其他的血管(例如窦房结支，或锐缘支)在Z轴正方向的延伸也较长，这些血管会干扰右冠主支的识别。
本实施例通过依次确定右冠脉的根节点与右冠脉的各个叶子节点构成的向量在X轴上的分量(该分量可以是向量在X轴上的投影长度，为正数)与在Y轴正方向上的分量(该分量可以是向量在Y轴方向上的投影长度，为正数)的比值，排除比值小于或等于第三阈值的叶子节点。被排除的叶子节点与右冠脉的根节点之间的血管，在Y轴上的投影是沿Y轴正方向，且该血管在X轴上的投影不是很大，可以将该血管识别为窦房结支或称窦房结动脉(Sinus Node Artery,SNA)。将该窦房结支对应的叶子节点从右冠脉的所有叶子节点中排除，基于剩下的叶子节点确定右冠主支。例如，可以从剩下的叶子节点中确认Z坐标值最大的叶子节点，将该叶子节点与右冠脉的根节点之间的这段血管标记为右冠主支。
这里，第三阈值可以根据实际需要进行设置，本申请实施例对此不作限制。
本申请实施例提供的冠脉图像分类方法，通过提前排除窦房结支，可以提高右冠主支识别结果的准确度。
在本申请某些实施例中，该冠脉图像分类方法还包括：依次对冠脉图像中右冠脉的多个血管段做如下判断：确定右冠脉的多个血管段中沿Y轴负方向延伸的血管段；确定沿Y轴负方向延伸的血管段的根节点与右冠脉的根节点的距离；排除距离小于或等于第四阈值的血管段所在的子树；基于右冠脉的剩下的部分确定右冠主支。
在一些情况下，右冠脉中会存在一个或多个锐缘支(Acute Marginal Branch,AMB)，锐缘支的存在会干扰右冠主支的识别。
锐缘支一般是向胸前延伸，右冠主支一般是向背后延伸。通过对右冠脉中各个血管段的走向进行判断，可以排除提前排除锐缘支，避免锐缘支对后续右冠主支的识别产生干扰。
具体地，右冠脉中相邻两个节点之间的血管看成一个血管段。自右冠脉根节点出发，可以依次对右冠脉中各个血管段的走向进行判断。若某一血管段是沿着Y轴负方向延伸，则确定该血管段的根节点(该血管段的开始节点)与右冠脉的根节点之间的距离，若距离小于或等于第四阈值，则该血管段所在的子树可被认为是锐缘支。这里，血管段所在的子树可以是指，由该血管段开始的子树。
在一实施例中，可以对右冠脉中各个血管段进行遍历，若遇到沿Y轴负方向延伸的血管段，则将该血管段存入可能的锐缘支列表中。对该列表中的血管段进行整理和合并，得到新列表。这里整理和合并指的是，若多个血管段是相互连接的且可以构成一子树，可以直接用子树的形式表示该多个血管段。然后对新列表中每个子树的根节点与右冠脉的根节点之间的距离进行判断。若距离小于或等于第四阈值，则相应的子树可被认为是锐缘支。这样通过先识别沿Y轴负方向延伸的血管段，并对这些血管段进行整理和合并，得到子树列表，进而基于第四阈值从子树列表中识别锐缘支，从而可以简化锐缘支的识别过程，并为后续识别右冠主支提供方便。
在一实施例中，可以预设阈值区间，若沿Y轴负方向延伸的血管段的根节点与右冠脉的根节点的距离在该阈值区间内，则该血管段所在的子树可被认为是锐缘支。这里，阈值区间的具体范围可以根据实际需要进行设置，本申请实施例对此不作限制。通过预设阈值区间，可以避免将不是锐缘支的血管错识别为锐缘支，从而可以提高锐缘支识别结果的准确度，进而提高后续识别其他血管的准确度。
在识别锐缘支后，可以将该锐缘支对应的子树从右冠脉中排除，基于右冠脉中剩下的部分确定右冠主支。例如，可以从剩下的叶子节点中确认Z坐标值最大的叶子节点，将该叶子节点与右冠脉的根节点之间的这段血管标记为右冠主支。
本实施例中，如果先提取冠脉图像中冠脉的中线，那依次对右冠脉中各个血管段的走向进行判断，具体可以是指，依次对右冠脉所在的中线树中各个中线段的走向进行判断。
这里，第四阈值可以根据实际需要进行设置，本申请实施例对此不作限制。
本申请实施例提供的冠脉图像分类方法，通过提前排除锐缘支，可以提高右冠主支识别结果的准确度。
在其他实施例中，在识别右冠主支的过程中，可以先排除窦房结支再排除锐缘支，然后基于右冠脉中剩下的部分识别右冠主支，或者，可以先排除锐缘支再排除窦房结支，然后基于右冠脉中剩下的部分识别右冠主支，或者，排除窦房结支与排除锐缘支的步骤同时执行，然后基于右冠脉中剩下的部分识别右冠主支。
本申请各个实施例提供的冠脉图像分类方法，可以是通过深度学习模型来执行，该深度学习模型可以是利用样本图像对模型进行训练得到的。本申请各个实施例提供的冠脉图像分类方法，对冠脉较细的情况具有较强的鲁棒性。
图6所示为本申请另一示例性实施例提供的冠脉图像分类方法的流程示意图。图6是图2实施例的例子，相同之处不再赘述，此处着重描述不同之处。如图6所示，该方法包括如下内容。
610：提取冠脉图像中冠脉的中线以确定第一中线树和第二中线树。
620：基于第一中线树和第二中线树，确定左冠脉和右冠脉。
基于冠脉的中线执行冠脉图像分类方法，识别冠脉中的各个分支，可以显著提高运算效率，缩短运算时间。
左冠脉和右冠脉的识别过程可以参考上述图2实施例中的描述，为避免重复，此处不再赘述。
识别左冠脉和右冠脉后，可以确定左冠脉的根节点和右冠脉的根节点的位置。
630：依次对左主干的根节点的子节点做如下判断：确定由左主干的根节点的子节点开始的子树的数量和长度，并将存在两个子树的长度大于或等于第二阈值的子节点确定为左主干的末端节点。
左主干的根节点即左冠脉的根节点。左主干的识别过程主要在于左主干的末端节点的准确识别，左主干末端节点的具体识别过程可以参考上述图2实施例中的描述，为避免重复，此处不再赘述。
640：确定冠脉图像中由左主干的末端节点开始的回旋支所在的第一子树，以及由左主干的末端节点开始的前降支所在的第二子树。
可以基于左主干末端节点开始的多个子树构建多个初始向量，每个初始向量可以代表相应子树的走向，可以将多个初始向量中在Y轴正方向分量最大的向量对应的子树识别为回旋支所在的子树，将在Y轴负方向分量最大的向量对应的子树识别为前降支所在的子树。
各个初始向量的构建过程可以参考上述图2实施例中的描述，为避免重复，此处不再赘述。
650：确定第一子树上的子节点朝向左主干的末端节点的第一方向与子节点指向子节点的分支的第二方向之间的第三夹角，在第三夹角等于或大于第一阈值时，确定子节点为第一分叉节点。
通过构建第三夹角，并基于第一阈值对第三夹角进行判断，可以提前排除走势变化较大的分支，可以为后续准确识别回旋支排除干扰，提高识别结果的准确度。第三夹角的具体构建过程可以参考上述图2实施例中的描述，为避免重复，此处不再赘述。
660：确定由第一子树上的第一分叉节点开始的第一分支上的第一点，以及第二分支上的第二点，确定第一点与预设点构成的第一向量，第二点与预设点构成的第二向量，确定第一向量与预设向量之间的第一夹角，第二向量与预设向量之间的第二夹角，并基于第一夹角和第二夹角确定回旋支。
通过构建第一夹角和第二夹角，并基于两个夹角的大小确定回旋支所在的分支，可以提高回旋支识别结果的准确度，避免将钝缘支错识别为回旋支的情况。第一夹角和第二夹角的具体构建过程可以参考上述图2实施例中的描述，为避免重复，此处不再赘述。
670：依次对冠脉图像中右冠脉的根节点的叶子节点做如下判断：确定由右冠脉的根节点与叶子节点构成的向量在X轴上的分量与在Y轴正方向上的分量的比值，排除比值小于或等于第三阈值的叶子节点对应的血管段。
比值小于或等于第三阈值的叶子节点对应的血管段，可以是指，该叶子节点与右冠脉的根节点之间的连续血管段。被排除的叶子节点与右冠脉的根节点之间的连续血管段，在Y轴上的投影是沿Y轴正方向，且该连续血管段在X轴上的投影不是很大，可以将该连续血管段识别为窦房结支。通过提前排除窦房结支，可以提高右冠主支识别结果的准确度。
680：依次对右冠脉中剩下的血管段做如下判断：确定右冠脉中沿Y轴负方向延伸的血管段，确定沿Y轴负方向延伸的血管段的根节点与右冠脉的根节点的距离，排除距离小于或等于第四阈值的血管段所在的子树。
距离小于或等于第四阈值的血管段所在的子树可被认为是锐缘支。血管段所在的子树可以是指，由该血管段开始的子树。通过提前排除锐缘支，可以提高右冠主支识别结果的准确度。
690：基于右冠脉中剩下的部分确定右冠主支。
可以从剩下的叶子节点中确认Z坐标值最大的叶子节点，将该叶子节点与右冠脉的根节点之间的这段血管标记为右冠主支。排除窦房结支和锐缘支以识别右冠主支的具体过程，可以参考上述图2实施例中的描述，为避免重复，此处不再赘述。
本实施例中，步骤670-690可以在步骤630之前执行、步骤630之后执行，或与步骤630同时执行。
本申请实施例还提供一种冠脉图像分类方法，包括：依次对冠脉图像中右冠脉的根节点的叶子节点做如下判断：确定由右冠脉的根节点与叶子节点构成的向量在X轴上的分量与在Y轴正方向上的分量的比值；排除比值小于或等于第三阈值的叶子节点；基于右冠脉的剩下的叶子节点确定右冠主支，其中，Y轴正方向指的是胸骨指向椎骨的方向，X轴指的是两肩的方向。具体可参见图6中670和690。
一般情况下，右冠脉中沿Z轴正方向延伸最长的血管为右冠主支，但是在一些情况下，右冠脉中存在一些其他的血管(例如窦房结支，或锐缘支)在Z轴正方向的延伸也较长，这些血管会干扰右冠主支的识别。
本实施例通过依次确定右冠脉的根节点与右冠脉的各个叶子节点构成的向量在X轴上的分量(该分量可以是向量在X轴上的投影长度，为正数)与在Y轴正方向上的分量(该分量可以是向量在Y轴方向上的投影长度，为正数)的比值，排除比值小于或等于第三阈值的叶子节点。被排除的叶子节点与右冠脉的根节点之间的血管，在Y轴上的投影是沿Y轴正方向，且该血管在X轴上的投影不是很大，可以将该血管识别为窦房结支或称窦房结动脉(Sinus Node Artery,SNA)。将该窦房结支对应的叶子节点从右冠脉的所有叶子节点中排除，基于剩下的叶子节点确定右冠主支。例如，可以从剩下的叶子节点中确认Z坐标值最大的叶子节点，将该叶子节点与右冠脉的根节点之间的这段血管标记为右冠主支。
这里，第三阈值可以根据实际需要进行设置，本申请实施例对此不作限制。
本申请实施例提供的冠脉图像分类方法，通过提前排除窦房结支，可以提高右冠主支识别结果的准确度。
本申请实施例还提供一种冠脉图像分类方法，包括：依次对冠脉图像中右冠脉的多个血管段做如下判断：确定右冠脉的多个血管段中沿Y轴负方向延伸的血管段；确定沿Y轴负方向延伸的血管段的根节点与右冠脉的根节点的距离；排除距离小于或等于第四阈值的血管段所在的子树；基于右冠脉的剩下的部分确定右冠主支，其中，Y轴负方向指的是椎骨指向胸骨的方向。具体可参见图6中680和690。
在一些情况下，右冠脉中会存在一个或多个锐缘支(Acute Marginal Branch,AMB)，锐缘支的存在会干扰右冠主支的识别。
锐缘支一般是向胸前延伸，右冠主支一般是向背后延伸。通过对右冠脉中各个血管段的走向进行判断，可以排除提前排除锐缘支，避免锐缘支对后续右冠主支的识别产生干扰。
具体地，右冠脉中相邻两个节点之间的血管看成一个血管段。自右冠脉根节点出发，可以依次对右冠脉中各个血管段的走向进行判断。若某一血管段是沿着Y轴负方向延伸，则确定该血管段的根节点(该血管段的开始节点)与右冠脉的根节点之间的距离，若距离小于或等于第四阈值，则该血管段所在的子树可被认为是锐缘支。这里，血管段所在的子树可以是指，由该血管段开始的子树。
在一实施例中，可以对右冠脉中各个血管段进行遍历，若遇到沿Y轴负方向延伸的血管段，则将该血管段存入可能的锐缘支列表中。对该列表中的血管段进行整理和合并，得到新列表。这里整理和合并指的是，若多个血管段是相互连接的且可以构成一子树，可以直接用子树的形式表示该多个血管段。然后对新列表中每个子树的根节点与右冠脉的根节点之间的距离进行判断。若距离小于或等于第四阈值，则相应的子树可被认为是锐缘支。这样通过先识别沿Y轴负方向延伸的血管段，并对这些血管段进行整理和合并，得到子树列表，进而基于第四阈值从子树列表中识别锐缘支，从而可以简化锐缘支的识别过程，并为后续识别右冠主支提供方便。
在一实施例中，可以预设阈值区间，若沿Y轴负方向延伸的血管段的根节点与右冠脉的根节点的距离在该阈值区间内，则该血管段所在的子树可被认为是锐缘支。这里，阈值区间的具体范围可以根据实际需要进行设置，本申请实施例对此不作限制。通过预设阈值区间，可以避免将不是锐缘支的血管错识别为锐缘支，从而可以提高锐缘支识别结果的准确度，进而提高后续识别其他血管的准确度。
在识别锐缘支后，可以将该锐缘支对应的子树从右冠脉中排除，基于右冠脉中剩下的部分确定右冠主支。例如，可以从剩下的叶子节点中确认Z坐标值最大的叶子节点，将该叶子节点与右冠脉的根节点之间的这段血管标记为右冠主支。
本实施例中，如果先提取冠脉图像中冠脉的中线，那依次对右冠脉中各个血管段的走向进行判断，具体可以是指，依次对右冠脉所在的中线树中各个中线段的走向进行判断。
这里，第四阈值可以根据实际需要进行设置，本申请实施例对此不作限制。
本申请实施例提供的冠脉图像分类方法，通过提前排除锐缘支，可以提高右冠主支识别结果的准确度。
在其他实施例中，在识别右冠主支的过程中，可以先排除窦房结支再排除锐缘支，然后基于右冠脉中剩下的部分识别右冠主支，或者，可以先排除锐缘支再排除窦房结支，然后基于右冠脉中剩下的部分识别右冠主支，或者，排除窦房结支与排除锐缘支的步骤同时执行，然后基于右冠脉中剩下的部分识别右冠主支。
示例性装置
图7所示为本申请一示例性实施例提供的冠脉图像分类装置700的结构示意图。如图7所示，装置700包括：第一确定模块710，第二确定模块720，第三确定模块730，第四确定模块740以及第五确定模块750。
第一确定模块710用于确定冠脉图像中由左主干的末端节点开始的回旋支所在的第一子树。第二确定模块720用于确定由第一子树上的第一分叉节点开始的第一分支上的第一点，以及第二分支上的第二点。第三确定模块730用于确定第一点与预设点构成的第一向量，以及第二点与预设点构成的第二向量。第四确定模块740用于确定第一向量与预设向量之间的第一夹角，以及第二向量与预设向量之间的第二夹角。第五确定模块750用于基于第一夹角和第二夹角确定回旋支。
本申请实施例提供了一种冠脉图像分类装置，通过从可能是回旋支所在的至少两个分支中分别选取第一点和第二点与预设点构成第一向量和第二向量，确定这两个向量与预设向量之间的夹角，并基于夹角的大小确定回旋支所在的分支，从而可以提高回旋支识别结果的准确度，进而提高冠脉图像分类结果的准确度，尤其对于左优势型人群，该冠脉图像分类方法具有较高的鲁棒性。
根据本申请一实施例，第二确定模块720用于：确定第一分支上距离第一分叉节点为第一预设步长的点为第一点，并确定第二分支上距离第一分叉节点为第一预设步长的点为第二点。
根据本申请一实施例，预设向量包括由冠脉图像中右冠脉根节点和前降支的重心构成的向量。
根据本申请一实施例，装置700还包括第六确定模块760，用于：确定第一子树上的子节点朝向左主干的末端节点的第一方向与子节点指向子节点的分支的第二方向之间的第三夹角；在第三夹角等于或大于第一阈值时，确定子节点为第一分叉节点。
根据本申请一实施例，第一确定模块710用于：确定分别由左主干的末端节点开始的两个子树上的第三点和第四点；基于左主干的末端节点和第三点确定第一初始向量，并基于左主干的末端节点和第四点确定第二初始向量；确定第一初始向量和第二初始向量中在Y轴正方向分量大的向量对应的子树为第一子树。
根据本申请一实施例，装置700还包括第七确定模块770，用于依次对左主干的根节点的子节点做如下判断：确定由左主干的根节点的子节点开始的子树的数量和长度；将存在两个子树的长度大于或等于第二阈值的子节点确定为左主干的末端节点。
根据本申请一实施例，装置700还包括第八确定模块780，用于：提取冠脉图像中冠脉的中线以确定第一中线树和第二中线树；基于第一中线树和第二中线树，确定左冠脉和右冠脉。
根据本申请一实施例，装置700还包括第九确定模块790，用于依次对冠脉图像中右冠脉的根节点的叶子节点做如下判断：确定由右冠脉的根节点与叶子节点构成的向量在X轴上的分量与在Y轴正方向上的分量的比值；排除比值小于或等于第三阈值的叶子节点；基于右冠脉的剩下的叶子节点确定右冠主支，其中，Y轴正方向指的是胸骨指向椎骨的方向，X轴指的是两肩的方向。
根据本申请一实施例，装置700还包括第十确定模块791，用于依次对冠脉图像中右冠脉的多个血管段做如下判断：确定右冠脉的多个血管段中沿Y轴负方向延伸的血管段；确定沿Y轴负方向延伸的血管段的根节点与右冠脉的根节点的距离；排除距离小于或等于第四阈值的血管段所在的子树；基于右冠脉的剩下的部分确定右冠主支，其中，Y轴负方向指的是椎骨指向胸骨的方向。
应当理解，上述实施例中的第一确定模块710，第二确定模块720，第三确定模块730，第四确定模块740，第五确定模块750，第六确定模块760，第七确定模块770，第八确定模块780，第九确定模块790以及第十确定模块791的操作和功能可以参考上述图2或图6实施例中提供的冠脉图像分类方法中的描述，为了避免重复，在此不再赘述。
本申请实施例还提供一种冠脉图像分类装置，包括确定模块，用于依次对冠脉图像中右冠脉的根节点的叶子节点做如下判断：确定由右冠脉的根节点与叶子节点构成的向量在X轴上的分量与在Y轴正方向上的分量的比值；排除比值小于或等于第三阈值的叶子节点；基于右冠脉的剩下的叶子节点确定右冠主支，其中，Y轴正方向指的是胸骨指向椎骨的方向，X轴指的是两肩的方向。具体可参见图7中第九确定模块790。
本申请实施例提供的冠脉图像分类装置，通过提前排除窦房结支，可以提高右冠主支识别结果的准确度。
本申请实施例还提供一种冠脉图像分类装置，包括确定模块，用于依次对冠脉图像中右冠脉的多个血管段做如下判断：确定右冠脉的多个血管段中沿Y轴负方向延伸的血管段；确定沿Y轴负方向延伸的血管段的根节点与右冠脉的根节点的距离；排除距离小于或等于第四阈值的血管段所在的子树；基于右冠脉的剩下的部分确定右冠主支，其中，Y轴负方向指的是椎骨指向胸骨的方向。具体可参见图7中第十确定模块791。
本申请实施例提供的冠脉图像分类装置，通过提前排除锐缘支，可以提高右冠主支识别结果的准确度。
图8所示为本申请一示例性实施例提供的用于执行冠脉图像分类方法的电子设备800的框图。
参照图8，电子设备800包括处理组件810，其进一步包括一个或多个处理器，以及由存储器820所代表的存储器资源，用于存储可由处理组件810执行的指令，例如应用程序。存储器820中存储的应用程序可以包括一个或一个以上的每一个对应于一组指令的模块。此外，处理组件810被配置为执行指令，以执行上述冠脉图像分类方法。
电子设备800还可以包括一个电源组件被配置为执行电子设备800的电源管理，一个有线或无线网络接口被配置为将电子设备800连接到网络，和一个输入输出(I/O)接口。可以基于存储在存储器820的操作系统操作电子设备800，例如Windows ServerTM，Mac OSXTM，UnixTM，LinuxTM，FreeBSDTM或类似。
一种非临时性计算机可读存储介质，当存储介质中的指令由上述电子设备800的处理器执行时，使得上述电子设备800能够执行一种冠脉图像分类方法，包括：确定冠脉图像中由左主干的末端节点开始的回旋支所在的第一子树；确定由第一子树上的第一分叉节点开始的第一分支上的第一点，以及第二分支上的第二点；确定第一点与预设点构成的第一向量，第二点与预设点构成的第二向量；确定第一向量与预设向量之间的第一夹角，第二向量与预设向量之间的第二夹角；基于第一夹角和第二夹角确定回旋支。
上述所有可选技术方案，可采用任意结合形成本申请的可选实施例，在此不再一一赘述。
本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本申请的范围。
所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统、装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
在本申请所提供的几个实施例中，应该理解到，所揭露的系统、装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外，在本申请各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。
所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序校验码的介质。
需要说明的是，在本申请的描述中，术语“第一”、“第二”、“第三”等仅用于描述目的，而不能理解为指示或暗示相对重要性。此外，在本申请的描述中，除非另有说明，“多个”的含义是两个或两个以上。
以上所述仅为本申请的较佳实施例而已，并不用以限制本申请，凡在本申请的精神和原则之内，所作的任何修改、等同替换等，均应包含在本申请的保护范围之内。

Claims (12)

1.一种冠脉图像分类方法，其特征在于，包括：
确定冠脉图像中由左主干的末端节点开始的回旋支所在的第一子树；
确定由所述第一子树上的第一分叉节点开始的第一分支上的第一点，以及第二分支上的第二点；
确定所述第一点与预设点构成的第一向量，以及所述第二点与所述预设点构成的第二向量，其中，所述预设点是在所述冠脉图像中选取的；
确定所述第一向量与预设向量之间的第一夹角，以及所述第二向量与所述预设向量之间的第二夹角，其中，所述预设向量是预先设置的，作为获取所述第一夹角和所述第二夹角的基准，所述预设点的选取和所述预设向量的选取用于保证所述预设向量与所述第一向量和所述第二向量分别构成的所述第一夹角和所述第二夹角便于区分所述回旋支和钝缘支；
基于所述第一夹角和所述第二夹角确定所述回旋支，其中，
所述确定由所述第一子树上的第一分叉节点开始的第一分支上的第一点，以及第二分支上的第二点，包括：
确定所述第一分支上距离所述第一分叉节点为第一预设步长的点为所述第一点，并确定所述第二分支上距离所述第一分叉节点为第二预设步长的点为所述第二点。
2.根据权利要求1所述的冠脉图像分类方法，其特征在于，所述第一预设步长等于所述第二预设步长。
3.根据权利要求1所述的冠脉图像分类方法，其特征在于，所述预设向量包括由所述冠脉图像中右冠脉根节点和前降支的重心构成的向量。
4.根据权利要求1所述的冠脉图像分类方法，其特征在于，还包括：
确定所述第一子树上的子节点朝向所述左主干的末端节点的第一方向与所述子节点指向所述子节点的分支的第二方向之间的第三夹角；
在所述第三夹角等于或大于第一阈值时，确定所述子节点为所述第一分叉节点。
5.根据权利要求1所述的冠脉图像分类方法，其特征在于，所述确定冠脉图像中由左主干的末端节点开始的回旋支所在的第一子树，包括：
确定分别由所述左主干的末端节点开始的两个子树上的第三点和第四点；
基于所述左主干的末端节点和所述第三点确定第一初始向量，并基于所述左主干的末端节点和所述第四点确定第二初始向量；
确定所述第一初始向量和所述第二初始向量中在Y轴正方向分量大的向量对应的子树为所述第一子树，其中，所述Y轴正方向指的是胸骨指向椎骨的方向。
6.根据权利要求1所述的冠脉图像分类方法，其特征在于，还包括：
依次对所述左主干的根节点的子节点做如下判断：
确定由所述左主干的根节点的子节点开始的子树的数量和长度；
将存在两个子树的长度大于或等于第二阈值的子节点确定为所述左主干的末端节点。
7.根据权利要求1所述的冠脉图像分类方法，其特征在于，还包括：
提取所述冠脉图像中冠脉的中线以确定第一中线树和第二中线树；
基于所述第一中线树和所述第二中线树，确定左冠脉和右冠脉。
8.根据权利要求1所述的冠脉图像分类方法，其特征在于，还包括：
依次对所述冠脉图像中右冠脉的根节点的叶子节点做如下判断：
确定由所述右冠脉的根节点与所述叶子节点构成的向量在X轴上的分量与在Y轴正方向上的分量的比值；
排除比值小于或等于第三阈值的叶子节点；
基于所述右冠脉的剩下的叶子节点确定右冠主支，其中，所述Y轴正方向指的是胸骨指向椎骨的方向，所述X轴指的是两肩的方向。
9.根据权利要求1所述的冠脉图像分类方法，其特征在于，还包括：
依次对所述冠脉图像中右冠脉的多个血管段做如下判断：
确定所述右冠脉的多个血管段中沿Y轴负方向延伸的血管段；
确定所述沿Y轴负方向延伸的血管段的根节点与所述右冠脉的根节点的距离；
排除距离小于或等于第四阈值的血管段所在的子树；
基于所述右冠脉的剩下的部分确定右冠主支，其中，所述Y轴负方向指的是椎骨指向胸骨的方向。
10.一种冠脉图像分类装置，其特征在于，包括：
第一确定模块，用于确定冠脉图像中由左主干的末端节点开始的回旋支所在的第一子树；
第二确定模块，用于确定由所述第一子树上的第一分叉节点开始的第一分支上的第一点，以及第二分支上的第二点；
第三确定模块，用于确定所述第一点与预设点构成的第一向量，以及所述第二点与所述预设点构成的第二向量，其中，所述预设点是在所述冠脉图像中选取的；
第四确定模块，用于确定所述第一向量与预设向量之间的第一夹角，以及所述第二向量与所述预设向量之间的第二夹角，其中，所述预设向量是预先设置的，作为获取所述第一夹角和所述第二夹角的基准，所述预设点的选取和所述预设向量的选取用于保证所述预设向量与所述第一向量和所述第二向量分别构成的所述第一夹角和所述第二夹角便于区分所述回旋支和钝缘支；
第五确定模块，用于基于所述第一夹角和所述第二夹角确定所述回旋支，其中，
所述第二确定模块，用于确定所述第一分支上距离所述第一分叉节点为第一预设步长的点为所述第一点，并确定所述第二分支上距离所述第一分叉节点为第二预设步长的点为所述第二点。
11.一种计算机可读存储介质，所述存储介质存储有计算机程序，所述计算机程序用于执行上述权利要求1至9中任一项所述的冠脉图像分类方法。
12.一种电子设备，包括：
处理器；
用于存储所述处理器可执行指令的存储器，
其中，所述处理器用于执行上述权利要求1至9中任一项所述的冠脉图像分类方法。
CN202110004503.6A 2021-01-04 2021-01-04 冠脉图像分类方法及装置 Active CN112700421B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110004503.6A CN112700421B (zh) 2021-01-04 2021-01-04 冠脉图像分类方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110004503.6A CN112700421B (zh) 2021-01-04 2021-01-04 冠脉图像分类方法及装置

Publications (2)

Publication Number Publication Date
CN112700421A CN112700421A (zh) 2021-04-23
CN112700421B true CN112700421B (zh) 2022-03-25

Family

ID=75514561

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110004503.6A Active CN112700421B (zh) 2021-01-04 2021-01-04 冠脉图像分类方法及装置

Country Status (1)

Country Link
CN (1) CN112700421B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114648514B (zh) * 2022-03-30 2022-11-29 中国人民解放军总医院第二医学中心 一种脑动脉定位提取方法、装置、电子设备及存储介质

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108932714A (zh) * 2018-07-23 2018-12-04 苏州润心医疗器械有限公司 冠脉ct图像的斑块分类方法
CN111292314A (zh) * 2020-03-03 2020-06-16 上海联影智能医疗科技有限公司 冠脉分段方法、装置、图像处理系统和存储介质

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7941462B2 (en) * 2008-09-24 2011-05-10 Toshiba Medical Visualization Systems Europe, Limited Method and apparatus for classification of coronary artery image data
CN109712163B (zh) * 2018-12-05 2021-05-18 上海联影医疗科技股份有限公司 冠脉提取方法、装置、图像处理工作站和可读存储介质
FR3096497B1 (fr) * 2019-05-23 2021-04-30 Paul Jean Francois Procédé, dispositif et support lisible par ordinateur pour classifier automatiquement une lésion coronarienne selon la classification CAD-RADS par un réseau de neurones profond
CN111145173B (zh) * 2019-12-31 2024-04-26 上海联影医疗科技股份有限公司 一种冠脉造影图像的斑块识别方法、装置、设备及介质
CN111627023B (zh) * 2020-04-27 2021-02-09 数坤（北京）网络科技有限公司 一种冠脉投影图像生成的方法、装置及计算机可读介质
CN111932497B (zh) * 2020-06-30 2021-02-09 数坤（北京）网络科技有限公司 一种冠状动脉识别方法及装置

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108932714A (zh) * 2018-07-23 2018-12-04 苏州润心医疗器械有限公司 冠脉ct图像的斑块分类方法
CN111292314A (zh) * 2020-03-03 2020-06-16 上海联影智能医疗科技有限公司 冠脉分段方法、装置、图像处理系统和存储介质

Also Published As

Publication number Publication date
CN112700421A (zh) 2021-04-23

Similar Documents

Publication Publication Date Title
US10614573B2 (en) Method for automatically recognizing liver tumor types in ultrasound images
CN107622492B (zh) 肺裂分割方法及系统
US8855388B2 (en) Microcalcification detection classification in radiographic images
JP5128154B2 (ja) レポート作成支援装置、レポート作成支援方法およびそのプログラム
US20050240094A1 (en) System and method for visualization of pulmonary emboli from high-resolution computed tomography images
US7711160B2 (en) Automatic optimal view determination for cardiac acquisitions
JP2001137230A (ja) コンピュータ支援診断システム
CN101116103A (zh) 从三维医学图像中自动提取肺动脉树的方法
Azhari et al. Tumor detection in medical imaging: a survey
CN112861961B (zh) 肺血管分类方法及装置、存储介质及电子设备
CN108846838B (zh) 一种三维mri半自动病灶图像分割方法及系统
US11751823B2 (en) Image processing apparatus, image processing method, and program
CN111178420B (zh) 一种二维造影图像上冠脉段标注方法及系统
US20240005545A1 (en) Measuring method and measuring apparatus of blood vessel diameter of fundus image
CN111815663A (zh) 一种基于Hessian矩阵和灰度法的肝血管分割系统
CN112700421B (zh) 冠脉图像分类方法及装置
JP5669977B1 (ja) 心筋輪郭抽出技術
Zheng et al. Efficient detection of native and bypass coronary ostia in cardiac CT volumes: Anatomical vs. pathological structures
EP3381010A1 (en) Process for processing medical images of a face for recognition of facial dysmorphisms
CN114159083B (zh) 一种基于深度树模型的冠状动脉自动解剖标注方法及系统
Tschirren et al. Airway segmentation framework for clinical environments
CN113362327B (zh) 一种胸腔图像中的区域分割方法、装置、终端及存储介质
CN115761228A (zh) 一种冠状动脉钙化斑块分割方法、装置、设备及存储介质
JP2009273644A (ja) 医用画像撮影装置、医用画像処理装置および医用画像処理プログラム
Chi et al. A composite of features for learning-based coronary artery segmentation on cardiac CT angiography

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant