CN107492097B - 一种识别mri图像感兴趣区域的方法及装置 - Google Patents

一种识别mri图像感兴趣区域的方法及装置 Download PDF

Info

Publication number
CN107492097B
CN107492097B CN201710667240.0A CN201710667240A CN107492097B CN 107492097 B CN107492097 B CN 107492097B CN 201710667240 A CN201710667240 A CN 201710667240A CN 107492097 B CN107492097 B CN 107492097B
Authority
CN
China
Prior art keywords
region
interest
mri image
neural network
convolutional neural
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201710667240.0A
Other languages
English (en)
Other versions
CN107492097A (zh
Inventor
周振
张番栋
庞亮
张树
孔明
王洪振
何哲琪
李一鸣
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Shenrui Bolian Technology Co Ltd
Shenzhen Deepwise Bolian Technology Co Ltd
Original Assignee
Beijing Shenrui Bolian Technology Co Ltd
Shenzhen Deepwise Bolian Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Shenrui Bolian Technology Co Ltd, Shenzhen Deepwise Bolian Technology Co Ltd filed Critical Beijing Shenrui Bolian Technology Co Ltd
Priority to CN201710667240.0A priority Critical patent/CN107492097B/zh
Publication of CN107492097A publication Critical patent/CN107492097A/zh
Application granted granted Critical
Publication of CN107492097B publication Critical patent/CN107492097B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • G06T7/0012Biomedical image inspection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/187Segmentation; Edge detection involving region growing; involving region merging; involving connected component labelling
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10072Tomographic images
    • G06T2207/10088Magnetic resonance imaging [MRI]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20081Training; Learning
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20092Interactive image processing based on input by user
    • G06T2207/20104Interactive definition of region of interest [ROI]

Abstract

本发明实施例公开了一种识别MRI图像感兴趣区域的方法及装置,该方法包括:通过已标注感兴趣区域的MRI图像,对3D卷积神经网络进行训练,得到识别感兴趣区域准确率较高的3D卷积神经网络,然后通过训练得到的3D卷积神经网络对待识别的多模态MRI图像进行感兴趣区域的分割,得到感兴趣区域,并计算该感兴趣区域的体积、扩张方向和最大径。其中,待识别的多模态MRI图像是对齐的不同序列的MRI图像的集合。通过本实施例的方法,不仅可以自动、高效的得到表示病灶的感兴趣区域,而且识别的准确率更高,除此之外,还可以自动的计算出病灶的体积大小、扩张方向和最大径,进而帮助医生对病情进行更准确的判断结果。

Description

一种识别MRI图像感兴趣区域的方法及装置
技术领域
本发明涉及医学图像处理的领域,尤其涉及一种识别MRI图像感兴趣区域的方法及装置。
背景技术
随着数字医疗技术的发展,医学图像在医学诊断过程中的作用越来越明显,逐渐成为医生观察人体病变的主要工具。在对病情进行诊断时,一般是医生根据经验人为的从医学图像中查找表示病灶的感兴趣区域。
MRI(英文全称:Magnetic Resonance Imaging,中文全称:核磁共振成像)图像是常用的医学图像之一,MRI成像是断层成像的一种,它利用磁共振现象从人体中获得电磁信号,并重建出人体信息,从而得到MRI图像。它可以直接作出横断面、矢状面、冠状面和各种斜面的体层图像,不会产生CT检测中的伪影;不需注射造影剂;无电离辐射,对机体没有不良影响。MRI对检测脑内血肿、脑外血肿、脑肿瘤、颅内动脉瘤、动静脉血管畸形、脑缺血、椎管内肿瘤、脊髓空洞症和脊髓积水等颅脑常见疾病非常有效。
但是,MRI图像与其它的医学图像不同,是一种多序列的图像,每个序列通过不同的方法成像,表示不同的图像特征,例如:T1序列突出组织T1驰豫差别,是观察解剖结构较好的序列;T2序列突出组织T2驰豫差别,是观察病变较好的时序;T1FLAIR序列常用于对CSF抑制。医生在通过MRI图像诊断病情时,需要根据多个时序的图像去诊断,不仅增加了医生的工作量,而且对医生的专业性也有很高的要求,很容易出现漏检的情况。
发明内容
有鉴于此,本发明实施例提供了一种识别MRI图像感兴趣区域的方法及装置,不仅可以自动、高效的得到表示病灶的感兴趣区域,而且识别的准确率更高,除此之外,还可以自动的计算出病灶的体积大小、扩张方向和最大径,进而帮助医生对病情进行更准确的判断结果。
本发明提供的一种识别MRI图像感兴趣区域的方法,该方法包括:
获取多个不同序列的MRI图像;
依据预设的方法将所述多个不同序列的MRI图像对齐,得到待识别的多模态MRI图像;
通过已训练的3D卷积神经网络,识别待识别的多模态MRI图像中属于感兴趣区域的体素点;所述3D卷积神经网络是使用反向传播算法以及交叉熵损失对所述3D卷积神经网络中预设的参数进行调整,直到训练次数达到预设的阈值;其中,所述交叉熵损失是通过3D卷积神经网络对已标注感兴趣区域的MRI图像进行识别,得到预测的感兴趣区域,并将预测的感兴趣区域和已标注的感兴趣区域进行比对得到的;
将所述属于感兴趣区域的体素点中相关联的体素点连通,得到至少一个连通的感兴趣区域。
可选的,所述依据预设的方法将所述多个不同序列的MRI图像对齐,得到待识别的多模态MRI图像,包括:
在所述多个不同序列的MRI图像中的每个序列的目标中选取一个参照点;
计算所述每个序列的MRI图像中各个体素与自身的参照点的相对坐标;
依据得到的相对坐标,计算每个序列的中心点;
将每一个序列中心点对齐,得到待识别的多模态MRI图像。
可选的,所述通过已训练的3D卷积神经网络,识别待识别的多模态MRI图像中属于感兴趣区域的体素点,包括:
将所述待识别的多模态MRI图像输入到所述已训练的3D卷积神经网络中;
利用所述已训练的3D卷积神经网络对待识别的多模态MRI图像中的所有体素点进行分类,识别出所述待识别的多模态MRI图像中属于感兴趣区域的体素点。
可选的,还包括:
根据所述属于感兴趣区域的体素点的个数,计算所述感兴趣区域的体积;
计算所述待识别的多模态MRI图像中每一层的感兴趣区域的面积,并获取面积最大的感兴趣区域;
从所述面积最大的感兴趣区域中确定多个关键点;
计算所述多个关键点中任意两个关键点之间的距离,并选取出距离最远的两个关键点;
将所述距离最远的两个关键点之间的距离作为最大径,将所述距离最远的两个关键点之间的方向作为最大扩张方向。
可选的,所述3D卷积神经网络的训练过程包括:
将当前训练次数确定为1;
判断所述当前训练次数是否大于预设的阈值;
若所述当前训练次数不大于预设的阈值,获取当前训练已标注感兴趣区域的MRI图像;所述已标注感兴趣区域的MRI图像是根据预设的方法将不同序列的MRI图像经过对齐以及标注感兴趣区域后得到的;
利用3D卷积神经网络,依据所述3D卷积神经网络中预设的参数,对所述标注了感兴趣区域的MRI图像进行层级化函数处理,得到预测的感兴趣区域;
将所述预测的感兴趣区域和已标注的感兴趣区域进行比对,得到交叉熵损失;
根据所述交叉熵损失和反向传播算法,调整所述预设的参数;
将所述当前训练次数加1,并返回执行判断所述当前训练次数是否大于预设的阈值;
若所述当前训练次数大于预设的阈值,得到训练好的3D卷积神经网络。
可选的,所述获取已标注感兴趣区域的MRI图像,包括:
获取多个不同序列的MRI图像;
依据预设的参照点将所述多个不同的MRI图像对齐,得到多模态MRI图像;
从所述多模态MRI图像中标注出敏感区域,得到已标注敏感区域的MRI图像;
从所述已标注敏感区域的MRI图像中标注出感兴趣区域,得到已标注感兴趣区域的MRI图像。
本发明实施例还提供了一种识别MRI图像感兴趣区域的装置,包括:
图像获取单元,用于获取多个不同序列的MRI图像;
预处理单元,用于依据预设的方法将所述多个不同序列的MRI图像对齐,得到待识别的多模态MRI图像;
识别单元,用于通过已训练的3D卷积神经网络,识别待识别的多模态MRI图像中属于感兴趣区域的体素点;所述3D卷积神经网络是使用反向传播算法以及交叉熵损失对所述3D卷积神经网络中预设的参数进行调整,直到训练次数达到预设的阈值;其中,所述交叉熵损失是通过3D卷积神经网络对已标注感兴趣区域的MRI图像进行识别,得到预测的感兴趣区域,并将预测的感兴趣区域和已标注的感兴趣区域进行比对得到的;
连通单元,用于将所述属于感兴趣区域的体素点中相关联的体素点连通,得到至少一个连通的感兴趣区域。
可选的,所述预处理单元,包括:
参照点选取子单元,用于在所述多个不同序列的MRI图像中的每个序列的目标中选取一个参照点;
相对坐标计算子单元,用于计算所述每个序列的MRI图像中各个体素与自身的参照点的相对坐标;
中心点计算子单元,用于依据得到的相对坐标,计算每个序列的中心点;
对齐子单元,用于将每一个序列中心点对齐,得到待识别的多模态MRI图像。
可选的,还包括:
体积计算单元,用于根据所述属于感兴趣区域的体素点的个数,计算所述感兴趣区域的体积;
最大面积获取单元,用于计算所述待识别的多模态MRI图像中每一层的感兴趣区域的面积,并获取面积最大的感兴趣区域;
关键点确定单元,用于从所述面积最大的感兴趣区域中确定多个关键点;
关键点选取单元,用于计算所述多个关键点中任意两个关键点之间的距离,并选取出距离最远的两个关键点;
结果输出单元,用于将所述距离最远的两个关键点之间的距离作为最大径,将所述距离最远的两个关键点之间的方向作为最大扩张方向。
可选的,还包括:
3D卷积神经网络训练单元,具体用于:
将当前训练次数确定为1;
判断所述当前训练次数是否大于预设的阈值;
若所述当前训练次数不大于预设的阈值,获取当前训练已标注感兴趣区域的MRI图像;所述已标注感兴趣区域的MRI图像是根据预设的方法将不同序列的MRI图像经过对齐以及标注感兴趣区域后得到的;
利用3D卷积神经网络,依据所述3D卷积神经网络中预设的参数,对所述标注了感兴趣区域的MRI图像进行层级化函数处理,得到预测的感兴趣区域;
将所述预测的感兴趣区域和已标注的感兴趣区域进行比对,得到交叉熵损失;
根据所述交叉熵损失和反向传播算法,调整所述预设的参数;
将所述当前训练次数加1,并返回执行判断所述当前训练次数是否大于预设的阈值;
若所述当前训练次数大于预设的阈值,得到训练好的3D卷积神经网络。
本实施例中,通过已标注感兴趣区域的MRI图像,对3D卷积神经网络进行训练,得到识别感兴趣区域准确率较高的3D卷积神经网络,然后通过训练得到的3D卷积神经网络对待识别的多模态MRI图像进行识别,识别出感兴趣,并计算该感兴趣区域的体积、扩张方向和最大径。其中,待识别的多模态MRI图像是通过将不同序列的MRI图像对齐后得到的。通过本实施例的方法,不仅可以自动、高效的得到表示病灶的感兴趣区域,而且识别的准确率更高,除此之外,还可以自动的计算出病灶的体积大小、扩张方向和最大径,进而帮助医生对病情进行更准确的判断结果。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据提供的附图获得其他的附图。
图1示出了本发明实施例提供的一种识别MRI图像感兴趣区域的方法的流程示意图;
图2示出了本发明实施例提供的一种3D卷积神经网络的训练方法的流程示意图;
图3示出了本发明实施例提供的一种识别MRI图像感兴趣区域的装置的结构示意图。
具体实施方式
本申请实施例提出的识别感兴趣区域的方法应用于MRI图像,目的在于实现自动的从MRI图像中检测出感兴趣区域。
本申请实施例中提到的感兴趣区域,是扫描得到的人体某个部位的病变区域,例如:若扫描得到的是人体脑部的MRI图像,感兴趣区域可能是脑部肿块;或者若扫描得到的是肾的MRI图像,感兴趣区域可能是肾结石区域。
本申请实施例所述的识别感兴趣区域的方法可以是由识别感兴趣区域的装置执行,所述装置可以集成在现有的MRI设备上,也可以独立设置。对于独立设置的情况,可以从现有的MRI扫描设备上获取MRI图像。
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
参考图1,示出了本发明实施例提供的一种识别MRI图像感兴趣区域的方法的流程示意图,在本实施例中,所述方法包括:
S101:获取多个不同序列的MRI图像;
本实施例中,MRI图像可以包括多种序列的图像,例如可以包括:T1序列图像、T2序列图像、T2FLAIR序列图像、T1C序列图像、T1W序列图像、T2W序列图像等,其中S101中获取的多个不同序列的图像可以是,根据用户需求选择的多个序列的MRI图像。
S102:依据预设的参照点将多个不同序列的MRI图像对齐,得到待识别的多模态MRI图像;
本实施例中,虽然每一个序列显示不同的特点,但是不同MRI图像上的目标是一样的,目标即扫描的人体部位或者人体器官,因此,可以在每一序列目标上找一个参照点,并依据该参照点将多个不同的序列进行对齐,具体的,S102包括:
在每一个序列的MRI图像中的目标上选取一个参照点;
计算每一个序列的MRI图像中各个体素点与自身参照点的相对坐标;
依据得到的相对坐标,计算每一个序列的MRI图像的中心点;
将每一个序列的MRI图像的中心点对齐。
需要说明的是,MRI图像中的目标是扫描的人体部位或者人体器官,例如,若MRI图像为脑部MRI图像,大扫描的大脑即为MRI图像中的目标;若扫描是肝,则扫描的感为MRI图像中的目标。
还需要说明的是,选取的参照点是目标上同一个位置上的点,例如:若MRI图像为脑部图像,选取的参照点可以是,脑部的刚体部位的相同位置上,刚体部位可以是头盖骨等比较坚硬的部位,在脑部的刚体位置上选取参照点可以是随机选取的,也可以是通过预设的算法选取的,但是每个序列选取出的参照点都是目标同一位置的点。
S103:将得到的待识别的MRI图像输入到已训练的3D卷积神经网络中;
本实施例中,可以直接将得到的多模态MRI图像输入到已训练的3D卷积神经网络中,即可以直接将对齐后的多个序列的MRI图像输入到已训练的3D卷积中。该种方式可以保留不同序列的MRI图像中每个不同序列所代表的独有信息。
或者还可以将对齐后的多个序列的MRI图像在某一个维度上连接起来(例如:在切片这一维度连接),输入到已训练的3D卷积神经网络中。
除此之外,还可以是将对齐后的不同序列的MRI图像的体素点的灰度值进行加权平均后,输入到已训练的3D卷积神经网络中。
待识别的多模态MRI图像本实施例将对齐后的不同序列的MRI图像输入神经网络的方法,可以采用以上提到的任何一种方法,但是并不限于以上提到的方法。
本实施例中,将对齐后的多个序列的MRI图像输入到3D卷积神经网络后,可以对不同序列的MRI图像进行融合,融合后的图像可以为一个四维的MRI图像,融合后的四维MRI图像中,除了包括空间上的三个维度外,还包括一个表示序列数量的维度,从而可以得知是多少数量的MRI图像进行的融合。
S104:通过已训练的3D卷积神经网络,识别待识别的多模态MRI图像中属于感兴趣区域的体素点;
本实施例中,卷积神经网络是人工神经网络的一种,已成为当前图像识别领域的研究热点,它的权值共享网络结构使之更类似于生物神经网络,降低了网络模型的复杂度,减少了权值的数量。3D卷积神经网络是在卷积神经网络的基础上,对卷积神经网络进行改进得到的,主要的改进是将二维的卷积神经网络扩展为三维的卷积神经网络,使得卷积神经网络可以对三维图像进行类似于对二维图像的处理。3D卷积神经网络的原理基本上类似为上述卷积神经网络,但是相对于上述卷积神经网络,3D卷积神经网络对图像识别的效率和准确率都有所提高。
在本申请的实施例中,已训练的3D卷积神经网络是通过大量的样本数据对3D卷积神经网络训练后得到的,训练的过程中不断的调整3D卷积神经网络的参数。在图像处理领域,相同的算法或模型,针对不同的图像的效果差异很大,而且,在机器学习的过程中,参数调整是一个非常困难的过程,本申请将这个模型应用在三维MRI图像上,创新性的利用反向传播算法和交叉熵损失对3D卷积神经网络的参数不断进行调整,直到训练次数达到预设的阈值,得到足够小的交叉熵损失,这样最终得到识别三维MRI图像感兴趣区域准确率较高的3D卷积神经网络。其中交叉熵损失是将预测的感兴趣区域和已标注的感兴趣区域进行对比得到的,预测的感兴趣区域是3D卷积神经网络对已标注感兴趣区域的三维MRI图像进行识别得到的。
在本实施例中,S102具体可以包括:
将待识别的多模态MRI图像输入到已训练的3D卷积神经网络中;
利用已训练的3D卷积神经网络对待识别的多模态MRI图像的体素点进行分类,识别出属于感兴趣区域的体素点。
本实施例中,已训练的3D卷积神经网络对输入的待识别的多模态MRI图像进行处理,得到待识别的多模态MRI图像中每个体素点属于感兴趣区域或者背景区域的概率值,将不同概率值的体素点进行分类,并选取其中属于感兴趣区域概率最大的类别作为该体素点的识别结果,从而确定出属于感兴趣区域的体素点待识别的多模态MRI图像。
其中,需要说明的是,识别出的感兴趣区域的体素点是经过了二值化处理的,具体的为:将属于感兴趣区域的灰阶值范围的体素点标记为1,将不属于感兴趣区域的灰阶值范围的体素点标记为0。
本实施例中,通过对3D卷积神经网络的输出中,比较每个体素点为背景区域或者是感兴趣区域的概率的大小,判断该体素点的是否为感兴趣区域,感兴趣区域的体素点标记为1,背景区域的体素点标记为0,从而得到该待识别的三维MRI图像中属于感兴趣区域的体素点。
S105:将识别出的感兴趣区域中相关联的体素点连通,得到至少一个感兴趣区域;
本实施例中,S104中识别出的每个体素点是分散的,但是有一些体素点是相关联的,即,有一些体素点可以连成连通的区域,因此,可以将这些体素点相连通,得到至少一个连通后的感兴趣区域。
S106:计算每个感兴趣区域的体积、扩张方向和最大径。
本实施例中,由于每个体素点具有固定的体积,感兴趣区域的体积可以直接表示为体素点的个数;或者根据每个体素点的体积和感兴趣区域体素点的个数计算感兴趣区域的体积,具体的可以是将感兴趣区域中每个体素点的体积相加,得到感兴趣区域的体积。
其中,对于计算感兴趣区域的最大扩张方向和最大径,具体可以包括:
计算待识别的多模态MRI图像中每一层的感兴趣区域的面积,并获取面积最大的感兴趣区域;
从选取出的面积最大的感兴趣区域中确定多个关键点;
计算任意两个关键点之间的距离,并选出距离最远的两个关键点;其中,距离最远的两个关键点之间的距离为最大径,距离最远的两个关键点的直线方向为最大扩张方向;
需要说明的是,最大径可以理解为扩张的最大直径。
本实施例中,确定出的感兴趣区域的多个关键点,可以是面积最大的感兴趣区域轮廓线上的所有像素点;也可以是根据不规则轮廓线段逼近方法得到的感兴趣区域轮廓线上的若干个关键点。
举例说明:识别出感兴趣区域的MRI图像包括多层重建图像,每一层的MRI图像中都识别出了感兴趣区域,找到这些层中面积最大的感兴趣区域,将面积最大的感兴趣区域的MRI图像表示为A图像;根据不规则轮廓逼近方法,从A图像的感兴趣区域的轮廓线上确定出多个关键点,并从多个关键点中找到距离最远的两个关键点,假设距离最远的两个关键点分别为关键点B和关键点C,其中BC之间的距离为最大径,直线BC的方向表示最大扩张方向。
本实施例中,医生通过MRI图像,在对病情进行诊断时,还需要了解病灶区域的大小,在病灶有变化趋势的情况下,还需要确诊出病灶扩张的方向和扩张的最大径,这些工作若是由医生来完成的话,无疑增加了医生的工作量,医生也无法快速的诊断出确切的病情,因此通过S104的步骤,自动的计算出感兴趣区域的体积、扩张方向和最大径,不仅减小了医生的诊断工作的工作量,而且有利于医生的诊断。
本实施例中,需要说明的是,执行了S101~S106的步骤后,可以根据用户的需求,输出相应的结果。例如,若用户想要查看识别出的MRI图像中的感兴趣区域的显示结果,则输出S105步骤中得到的结果;若用户想要查看感兴趣区域的体积、扩张的方向和最大径,则输出S106步骤得到的结果;若是用户既想查看感兴趣区域的显示结果,又想明确知道感兴趣区域的大小,则既要输出S105步骤得到的结果也输出S106步骤得到的结果。
本实施例中,通过已标注感兴趣区域的MRI图像,对3D卷积神经网络进行训练,得到识别感兴趣区域准确率较高的3D卷积神经网络,然后通过训练得到的3D卷积神经网络对待识别的多模态MRI图像进行识别,得到识别出感兴趣区域的MRI图像,并计算该感兴趣区域的体积、扩张方向和最大径。其中,待识别的多模态MRI图像是通过将不同序列的MRI图像对齐和融合后得到的。通过本实施例的方法,不仅可以自动、高效的得到表示病灶的感兴趣区域,而且识别的准确率更高,除此之外,还可以自动的计算出病灶的体积大小、扩张方向和最大径,进而帮助医生对病情进行更准确的判断结果。
本实施例中,对于3D卷积神经网络的训练方法,具体的参考图2,在本实施例中,该方法包括:
S201:将当前训练次数确定为1;
本实施例中,在开始训练时,第一次对3D卷积神经网络进行训练时的训练次数为1,每训练一次,即每执行一次S203~S206的步骤,训练次数加1,即执行S207的步骤。
S202:判断当前训练次数是否大于预设的阈值;
S203:若当前训练次数大于预设的阈值,获取当前训练标注了感兴趣区域的MRI图像:
本实施例中,在S201之前还包括:
获取多个不同序列的MRI图像;
依据预设的参照点将多个不同序列的MRI图像对齐,得到多模态MRI图像;采用多种组织方式生成待识别的多模态MRI图像,以便后续作为3D神经网络的输入。
对于依据预设的参数将多个不同序列的MRI图像对齐的步骤,与上文中S102的步骤相同,在这里就不再赘述。
除此之外,对于多模态的MRI图像,还需要标注出感兴趣区域,其中对多模态MRI图像进行标注,可以包括以下三种方式:
方式一:由医生直接在多模态MRI图像中进行标注,得到已标注感兴趣区域的MRI图像;
方式二:对多模态MRI图像先经过预设的处理,识别出多模态MRI图像的敏感区域,再在敏感区域中标注感兴趣区域。
方式三:先通过相关的方法,从多模态MRI图像中提取出敏感区域,得到仅包括敏感区域的MRI图像,再从敏感区域中标注出感兴趣区域。
其中,敏感区域可以是通过一些图像分割的方法,识别出的可能包裹有病灶区域的MRI图像,由于该敏感区域的范围要比实际病灶的区域大,或者由于某些原因这些识别出的敏感区域中不包含病灶区域,因此需要医生再根据经验在这些敏感区域中标注出标识病灶区域的感兴趣区域。由于先得到了可能存在病灶的敏感区域,不仅为医生或者相关技术人员减轻了标记感兴趣区域的工作量而且提高了标注的准确率。
需要说明的是,标注了感兴趣区域的MRI图像是一个二值化图像,其中,感兴趣区域为1,背景区域为0。
由于对3D卷积神经网络进行训练需要大量的样本数据,已标记感兴趣区域的MRI图像就是样本数据,为了提高训练的效率,在执行S101之前,可以是已经得到了大量的已标记感兴趣区域的MRI图像。
S204:利用3D卷积神经网络依据3D卷积神经网络中预设的参数,对标注了感兴趣区域的MRI图像进行层级化函数处理,得到预测的感兴趣区域;
本实施例中,3D卷积神经网络包括多层运算,分别为:卷积层、批归一化层、非线性层、下采样层、反卷积层等,其中,对标注了感兴趣区域的MRI图像进行层级化函数处理,就是将标注了感兴趣区域的多模态MRI图像经过以上提到的这些层的运算,预测出该标记了感兴趣区域的MRI图像中的感兴趣区域。其中在3D卷积神经网络中,预测出的感兴趣区域是以三维向量的形式存储的。
S205:将预测的感兴趣区域与标注的感兴趣区域进行比对,得到交叉熵损失。
本实施例中,由于通过S202预测出的感兴趣区域是以三维向量的形式存在的,计算交叉熵损失需要经过以下的步骤:
其中,将预测的感兴趣区域的三维向量拉伸成一维向量;
将已标注的感兴趣区域转换为三维向量数据拉伸为一维向量;
计算上述两个一维向量的交叉熵损失。
S206:根据交叉熵损失和反向传播算法对3D卷积神经网络进行调整;
S207:将所述当前训练次数加1,并返回执行S202;
S208:若所述当前训练次数大于预设的阈值,得到训练好的3D卷积神经网络。
本实施例中,通过3D卷积神经网络经过足够的次数预测MRI图像中的感兴趣区域,并经过足够次数的参数调整,逐渐降低交叉熵损失的值,直到训练次数达到预设的阈值,表明交叉熵损失已经足够小,而且不再有下降的趋势,当交叉熵损失小于预设的阈值时,说明3D卷积神经网络已经具备足够的精度,可以比较准确的从MRI图像中识别出感兴趣区域。
本实施例中,通过反复将识别出的感兴趣区域与医生标注的感兴趣区域进行比对,得到交叉熵损失,并通过交叉熵损失和反向传播算法反复的调整3D卷积,逐渐降低交叉熵损失,直到交叉熵损失达到一个预设的阈值,因此,通过该种训练方式,可以得到识别精度较高的3D卷积神经网络。
参考图3,示出了本发明实施例提供的一种识别MRI图像感兴趣区域的装置的结构示意图,在本实施例中,该装置包括:
图像获取单元301,用于获取多个不同序列的MRI图像;
预处理单元302,用于依据预设的方法将所述多个不同序列的MRI图像对齐,得到待识别的多模态MRI图像;
识别单元303,用于通过已训练的3D卷积神经网络,识别待识别的多模态MRI图像中属于感兴趣区域的体素点;所述3D卷积神经网络是通过最小化交叉熵损失对所述3D卷积神经网络中预设的参数进行调整,直到交叉熵损失小于预设的阈值;其中,所述交叉熵损失是通过3D卷积神经网络对已标注感兴趣区域的MRI图像进行识别,得到预测的感兴趣区域,并将预测的感兴趣区域和已标注的感兴趣区域进行比对得到的;
连通单元304,用于将所述属于感兴趣区域的体素点中相关联的体素点连通,得到至少一个连通的感兴趣区域。
可选的,所述预处理单元,包括:
参照点选取子单元,用于在所述多个不同序列的MRI图像中的每个序列的目标中选取一个参照点;
相对坐标计算子单元,用于计算所述每个序列的MRI图像中各个体素与自身的参照点的相对坐标;
中心点计算子单元,用于依据得到的相对坐标,计算每个序列的中心点;
对齐子单元,用于将每一个序列中心点对齐,得到待识别的多模态MRI图像;
可选的,所述识别单元,包括:
输入子单元,用于将所述待识别的多模态MRI图像输入到所述已训练的3D卷积神经网络中;
识别子单元,用于利用所述已训练的3D卷积神经网络对待识别的多模态MRI图像中的所有体素点进行分类,识别出所述待识别的多模态MRI图像中属于感兴趣区域的体素点。
可选的,还包括:
体积计算单元,用于根据所述属于感兴趣区域的体素点的个数,计算所述感兴趣区域的体积;
最大面积获取单元,用于计算所述待识别的多模态MRI图像中每一层的感兴趣区域的面积,并获取面积最大的感兴趣区域;
关键点确定单元,用于从所述面积最大的感兴趣区域中确定多个关键点;
关键点选取单元,用于计算所述多个关键点中任意两个关键点之间的距离,并选取出距离最远的两个关键点;
结果输出单元,用于将所述距离最远的两个关键点之间的距离作为最大径,将所述距离最远的两个关键点之间的方向作为最大扩张方向。
可选的,还包括:
3D卷积神经网络训练单元,具体用于:
将当前训练次数确定为1;
判断所述当前训练次数是否大于预设的阈值;
若所述当前训练次数不大于预设的阈值,获取当前训练已标注感兴趣区域的MRI图像;所述已标注感兴趣区域的MRI图像是根据预设的方法将不同序列的MRI图像经过对齐以及标注感兴趣区域后得到的;
利用3D卷积神经网络,依据所述3D卷积神经网络中预设的参数,对所述标注了感兴趣区域的MRI图像进行层级化函数处理,得到预测的感兴趣区域;
将所述预测的感兴趣区域和已标注的感兴趣区域进行比对,得到交叉熵损失;
根据所述交叉熵损失和反向传播算法,调整所述预设的参数;
将所述当前训练次数加1,并返回执行判断所述当前训练次数是否大于预设的阈值;
若所述当前训练次数大于预设的阈值,得到训练好的3D卷积神经网络。
可选的,所述3D卷积神经网络训练单元,还用于:
获取多个不同序列的MRI图像;
依据预设的参照点将所述多个不同的MRI图像对齐,得到多模态MRI图像;
从所述多模态MRI图像中标注出敏感区域,得到已标注敏感区域的MRI图像;
从所述已标注敏感区域的MRI图像中标注出感兴趣区域,得到已标注感兴趣区域的MRI图像。
通过本实施例的装置,不仅可以自动、高效的得到表示病灶的感兴趣区域,而且识别的准确率更高,除此之外,还可以自动的计算出病灶的体积大小、扩张方向和最大径,进而帮助医生对病情进行更准确的判断结果。
需要说明的是,本说明书中的各个实施例均采用递进的方式描述,每个实施例重点说明的都是与其他实施例的不同之处,各个实施例之间相同相似的部分互相参见即可。
对所公开的实施例的上述说明,使本领域专业技术人员能够实现或使用本发明。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的,本文中所定义的一般原理可以在不脱离本发明的精神或范围的情况下,在其它实施例中实现。因此,本发明将不会被限制于本文所示的这些实施例,而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。

Claims (10)

1.一种识别MRI图像感兴趣区域的方法,其特征在于,包括:
获取多个不同序列的MRI图像;
依据预设的方法将所述多个不同序列的MRI图像对齐,得到待识别的多模态MRI图像;
通过已训练的3D卷积神经网络,识别待识别的多模态MRI图像中属于感兴趣区域的体素点;所述3D卷积神经网络是使用反向传播算法以及交叉熵损失对所述3D卷积神经网络中预设的参数进行调整,直到训练次数达到预设的阈值;其中,所述交叉熵损失是通过3D卷积神经网络对已标注感兴趣区域的MRI图像进行识别,得到预测的感兴趣区域,并将预测的感兴趣区域和已标注的感兴趣区域进行比对得到的;
将所述属于感兴趣区域的体素点中相关联的体素点连通,得到至少一个连通的感兴趣区域。
2.根据权利要求1所述的方法,其特征在于,所述依据预设的方法将所述多个不同序列的MRI图像对齐,得到待识别的多模态MRI图像,包括:
在所述多个不同序列的MRI图像中的每个序列的目标中选取一个参照点;
计算所述每个序列的MRI图像中各个体素与自身的参照点的相对坐标;
依据得到的相对坐标,计算每个序列的中心点;
将每一个序列中心点对齐,得到待识别的多模态MRI图像。
3.根据权利要求1所述的方法,其特征在于,所述通过已训练的3D卷积神经网络,识别待识别的多模态MRI图像中属于感兴趣区域的体素点,包括:
将所述待识别的多模态MRI图像输入到所述已训练的3D卷积神经网络中;
利用所述已训练的3D卷积神经网络对待识别的多模态MRI图像中的所有体素点进行分类,识别出所述待识别的多模态MRI图像中属于感兴趣区域的体素点。
4.根据权利要求1所述的方法,其特征在于,还包括:
根据所述属于感兴趣区域的体素点的个数,计算所述感兴趣区域的体积;
计算所述待识别的多模态MRI图像中每一层的感兴趣区域的面积,并获取面积最大的感兴趣区域;
从所述面积最大的感兴趣区域中确定多个关键点;
计算所述多个关键点中任意两个关键点之间的距离,并选取出距离最远的两个关键点;
将所述距离最远的两个关键点之间的距离作为最大径,将所述距离最远的两个关键点之间的方向作为最大扩张方向。
5.根据权利要求1所述的方法,其特征在于,
所述3D卷积神经网络的训练过程包括:
将当前训练次数确定为1;
判断所述当前训练次数是否大于预设的阈值;
若所述当前训练次数不大于预设的阈值,获取已标注感兴趣区域的MRI图像;所述已标注感兴趣区域的MRI图像是根据预设的方法将不同序列的MRI图像经过对齐以及标注感兴趣区域后得到的;
利用3D卷积神经网络,依据所述3D卷积神经网络中预设的参数,对所述标注了感兴趣区域的MRI图像进行层级化函数处理,得到预测的感兴趣区域;
将所述预测的感兴趣区域和已标注的感兴趣区域进行比对,得到交叉熵损失;
根据所述交叉熵损失和反向传播算法,调整所述预设的参数;
将所述当前训练次数加1,并返回执行判断所述当前训练次数是否大于预设的阈值;
若所述当前训练次数大于预设的阈值,得到训练好的3D卷积神经网络。
6.根据权利要求5所述的方法,其特征在于,所述获取已标注感兴趣区域的MRI图像,包括:
获取多个不同序列的MRI图像;
依据预设的参照点将所述多个不同序列的MRI图像对齐,得到多模态MRI图像;
从所述多模态MRI图像中标注出敏感区域,得到已标注敏感区域的MRI图像;
从所述已标注敏感区域的MRI图像中标注出感兴趣区域,得到已标注感兴趣区域的MRI图像。
7.一种识别MRI图像感兴趣区域的装置,其特征在于,包括:
图像获取单元,用于获取多个不同序列的MRI图像;
预处理单元,用于依据预设的方法将所述多个不同序列的MRI图像对齐,得到待识别的多模态MRI图像;
识别单元,用于通过已训练的3D卷积神经网络,识别待识别的多模态MRI图像中属于感兴趣区域的体素点;所述3D卷积神经网络是使用反向传播算法以及交叉熵损失对所述3D卷积神经网络中预设的参数进行调整,直到训练次数达到预设的阈值;其中,所述交叉熵损失是通过3D卷积神经网络对已标注感兴趣区域的MRI图像进行识别,得到预测的感兴趣区域,并将预测的感兴趣区域和已标注的感兴趣区域进行比对得到的;
连通单元,用于将所述属于感兴趣区域的体素点中相关联的体素点连通,得到至少一个连通的感兴趣区域。
8.根据权利要求7所述的装置,其特征在于,所述预处理单元,包括:
参照点选取子单元,用于在所述多个不同序列的MRI图像中的每个序列的目标中选取一个参照点;
相对坐标计算子单元,用于计算所述每个序列的MRI图像中各个体素与自身的参照点的相对坐标;
中心点计算子单元,用于依据得到的相对坐标,计算每个序列的中心点;
对齐子单元,用于将每一个序列中心点对齐,得到待识别的多模态MRI图像。
9.根据权利要求8所述的装置,其特征在于,还包括:
体积计算单元,用于根据所述属于感兴趣区域的体素点的个数,计算所述感兴趣区域的体积;
最大面积获取单元,用于计算所述待识别的多模态MRI图像中每一层的感兴趣区域的面积,并获取面积最大的感兴趣区域;
关键点确定单元,用于从所述面积最大的感兴趣区域中确定多个关键点;
关键点选取单元,用于计算所述多个关键点中任意两个关键点之间的距离,并选取出距离最远的两个关键点;
结果输出单元,用于将所述距离最远的两个关键点之间的距离作为最大径,将所述距离最远的两个关键点之间的方向作为最大扩张方向。
10.根据权利要求7所述的装置,其特征在于,还包括:
3D卷积神经网络训练单元,具体用于:
将当前训练次数确定为1;
判断所述当前训练次数是否大于预设的阈值;
若所述当前训练次数不大于预设的阈值,获取已标注感兴趣区域的MRI图像;所述已标注感兴趣区域的MRI图像是根据预设的方法将不同序列的MRI图像经过对齐以及标注感兴趣区域后得到的;
利用3D卷积神经网络,依据所述3D卷积神经网络中预设的参数,对所述标注了感兴趣区域的MRI图像进行层级化函数处理,得到预测的感兴趣区域;
将所述预测的感兴趣区域和已标注的感兴趣区域进行比对,得到交叉熵损失;
根据所述交叉熵损失和反向传播算法,调整所述预设的参数;
将所述当前训练次数加1,并返回执行判断所述当前训练次数是否大于预设的阈值;
若所述当前训练次数大于预设的阈值,得到训练好的3D卷积神经网络。
CN201710667240.0A 2017-08-07 2017-08-07 一种识别mri图像感兴趣区域的方法及装置 Active CN107492097B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201710667240.0A CN107492097B (zh) 2017-08-07 2017-08-07 一种识别mri图像感兴趣区域的方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710667240.0A CN107492097B (zh) 2017-08-07 2017-08-07 一种识别mri图像感兴趣区域的方法及装置

Publications (2)

Publication Number Publication Date
CN107492097A CN107492097A (zh) 2017-12-19
CN107492097B true CN107492097B (zh) 2020-06-02

Family

ID=60643476

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710667240.0A Active CN107492097B (zh) 2017-08-07 2017-08-07 一种识别mri图像感兴趣区域的方法及装置

Country Status (1)

Country Link
CN (1) CN107492097B (zh)

Families Citing this family (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108537773B (zh) * 2018-02-11 2022-06-17 中国科学院苏州生物医学工程技术研究所 针对胰腺癌与胰腺炎性疾病进行智能辅助鉴别的方法
CN108846829B (zh) * 2018-05-23 2021-03-23 平安科技(深圳)有限公司 病变部位识别装置、计算机装置及可读存储介质
CN108765399B (zh) * 2018-05-23 2022-01-28 平安科技(深圳)有限公司 病变部位识别装置、计算机装置及可读存储介质
CN109035255B (zh) * 2018-06-27 2021-07-02 东南大学 一种基于卷积神经网络的ct图像中带夹层主动脉分割方法
CN109658377B (zh) * 2018-10-31 2023-10-10 泰格麦迪(北京)医疗科技有限公司 一种基于多维度信息融合的乳腺mri病变区域检测方法
CN109840592B (zh) * 2018-12-24 2019-10-18 梦多科技有限公司 一种机器学习中快速标记训练数据的方法
CN109685796B (zh) * 2018-12-26 2021-05-18 上海联影智能医疗科技有限公司 医学图像处理方法、装置、设备和存储介质
CN109932699A (zh) * 2019-03-15 2019-06-25 西安电子科技大学 一种雷达辐射源识别方法、装置、计算机设备和存储介质
CN110070527A (zh) * 2019-04-18 2019-07-30 成都雷熵科技有限公司 一种基于区域全连接神经网络病灶检测方法
CN110400316A (zh) * 2019-04-19 2019-11-01 杭州健培科技有限公司 一种基于深度学习的骨科影像测量方法及装置
CN110827242B (zh) * 2019-10-23 2022-06-14 华中科技大学 一种基于卷积神经网络的颅内动脉瘤检测方法及系统
CN111568195A (zh) * 2020-02-29 2020-08-25 佛山市云米电器科技有限公司 冲泡饮物识别方法、设备及计算机可读存储介质
CN111047591A (zh) * 2020-03-13 2020-04-21 北京深睿博联科技有限责任公司 基于深度学习的病灶体积测量方法、系统、终端及存储介质
CN111260648B (zh) * 2020-05-06 2020-08-21 杭州迪英加科技有限公司 胃粘膜esd切除标本图像的病变区域测量方法、装置
CN112053342A (zh) * 2020-09-02 2020-12-08 陈燕铭 基于人工智能的脑垂体磁共振图像的提取识别方法和装置
CN113506294B (zh) * 2021-09-08 2022-02-08 远云(深圳)互联网科技有限公司 一种医疗图像评估方法、系统、计算机设备及存储介质
CN114332547B (zh) * 2022-03-17 2022-07-08 浙江太美医疗科技股份有限公司 医学目标分类方法和装置、电子设备和存储介质

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106097355A (zh) * 2016-06-14 2016-11-09 山东大学 基于卷积神经网络的胃肠道肿瘤显微高光谱图像处理方法
CN106408576A (zh) * 2016-09-08 2017-02-15 飞依诺科技(苏州)有限公司 基于三维超声图像的感兴趣区域的自动分割方法及系统
CN106780460A (zh) * 2016-12-13 2017-05-31 杭州健培科技有限公司 一种用于胸部ct影像的肺结节自动检测系统
CN106940816A (zh) * 2017-03-22 2017-07-11 杭州健培科技有限公司 基于3d全连接卷积神经网络的ct图像肺结节检测系统

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9965719B2 (en) * 2015-11-04 2018-05-08 Nec Corporation Subcategory-aware convolutional neural networks for object detection

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106097355A (zh) * 2016-06-14 2016-11-09 山东大学 基于卷积神经网络的胃肠道肿瘤显微高光谱图像处理方法
CN106408576A (zh) * 2016-09-08 2017-02-15 飞依诺科技(苏州)有限公司 基于三维超声图像的感兴趣区域的自动分割方法及系统
CN106780460A (zh) * 2016-12-13 2017-05-31 杭州健培科技有限公司 一种用于胸部ct影像的肺结节自动检测系统
CN106940816A (zh) * 2017-03-22 2017-07-11 杭州健培科技有限公司 基于3d全连接卷积神经网络的ct图像肺结节检测系统

Also Published As

Publication number Publication date
CN107492097A (zh) 2017-12-19

Similar Documents

Publication Publication Date Title
CN107492097B (zh) 一种识别mri图像感兴趣区域的方法及装置
CN107292884B (zh) 一种识别mri图像中水肿和血肿的方法及装置
CN107480677B (zh) 一种识别三维ct图像中感兴趣区域的方法及装置
JP5893623B2 (ja) データ・セットにおける異常検出方法およびシステム
EP4014201A1 (en) Three dimensional object segmentation of medical images localized with object detection
CN109035261B (zh) 医疗影像处理方法及装置、电子设备及存储介质
US9361686B2 (en) Method and apparatus for the assessment of medical images
Giannini et al. A fully automatic algorithm for segmentation of the breasts in DCE-MR images
US9607392B2 (en) System and method of automatically detecting tissue abnormalities
Joshi et al. Vessel bend-based cup segmentation in retinal images
WO2005057498A1 (en) Method and apparatus for identifying pathology in brain images
CN107292889B (zh) 一种肿瘤分割的方法、系统和可读介质
KR20230059799A (ko) 병변 검출을 위해 공동 훈련을 이용하는 연결형 머신 러닝 모델
JPWO2007026598A1 (ja) 医用画像処理装置
JP2020010805A (ja) 特定装置、プログラム、特定方法、情報処理装置及び特定器
US11568538B2 (en) Medical image-based tumor detection and diagnostic device
JP2016195764A (ja) 医用画像処理装置およびプログラム
CN110910335B (zh) 一种图像处理方法、图像处理设备及计算机可读存储介质
CN110244249B (zh) 磁共振扫描方法、装置、医学扫描设备和存储介质
EP1691687A1 (en) Automatic identification of the anterior and posterior commissure landmarks
CN111598864B (zh) 一种基于多模态影像贡献度融合的肝细胞癌分化评估方法
Delmoral et al. Segmentation of pathological liver tissue with dilated fully convolutional networks: A preliminary study
Chang et al. Prostate cancer detection in dynamic MRIs
WO2008024359A2 (en) Method for detection and visional enhancement of blood vessels and pulmonary emboli
Fallahi et al. Uterine fibroid segmentation on multiplan MRI using FCM, MPFCM and morphological operations

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
TA01 Transfer of patent application right

Effective date of registration: 20190730

Address after: 100080 Haidian Street, Haidian District, Beijing

Applicant after: BEIJING SHENRUI BOLIAN TECHNOLOGY Co.,Ltd.

Applicant after: SHENZHEN DEEPWISE BOLIAN TECHNOLOGY Co.,Ltd.

Address before: 100080 Tianchuang Science and Technology Building 1106, No. 8 Caihefang Road, Haidian District, Beijing

Applicant before: BEIJING SHENRUI BOLIAN TECHNOLOGY Co.,Ltd.

TA01 Transfer of patent application right
GR01 Patent grant
GR01 Patent grant
TA01 Transfer of patent application right

Effective date of registration: 20200513

Address after: Room 705, building 8, No. 1818-2, Wenyi West Road, Yuhang District, Hangzhou City, Zhejiang Province

Applicant after: SHENZHEN DEEPWISE BOLIAN TECHNOLOGY Co.,Ltd.

Applicant after: BEIJING SHENRUI BOLIAN TECHNOLOGY Co.,Ltd.

Address before: 100080 Haidian Street, Haidian District, Beijing

Applicant before: BEIJING SHENRUI BOLIAN TECHNOLOGY Co.,Ltd.

Applicant before: SHENZHEN DEEPWISE BOLIAN TECHNOLOGY Co.,Ltd.

TA01 Transfer of patent application right
PE01 Entry into force of the registration of the contract for pledge of patent right

Denomination of invention: A Method and Device for Identifying Regions of Interest in MRI Images

Effective date of registration: 20231007

Granted publication date: 20200602

Pledgee: Guotou Taikang Trust Co.,Ltd.

Pledgor: SHENZHEN DEEPWISE BOLIAN TECHNOLOGY Co.,Ltd.

Registration number: Y2023980059614

PE01 Entry into force of the registration of the contract for pledge of patent right