CN112669293A - 图像检测方法和检测模型的训练方法及相关装置、设备 - Google Patents

图像检测方法和检测模型的训练方法及相关装置、设备 Download PDF

Info

Publication number
CN112669293A
CN112669293A CN202011627271.1A CN202011627271A CN112669293A CN 112669293 A CN112669293 A CN 112669293A CN 202011627271 A CN202011627271 A CN 202011627271A CN 112669293 A CN112669293 A CN 112669293A
Authority
CN
China
Prior art keywords
detection
medical image
sample
distribution information
blood vessel
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
CN202011627271.1A
Other languages
English (en)
Inventor
叶宇翔
陈翼男
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai Sensetime Intelligent Technology Co Ltd
Original Assignee
Shanghai Sensetime Intelligent Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shanghai Sensetime Intelligent Technology Co Ltd filed Critical Shanghai Sensetime Intelligent Technology Co Ltd
Priority to CN202011627271.1A priority Critical patent/CN112669293A/zh
Publication of CN112669293A publication Critical patent/CN112669293A/zh
Withdrawn legal-status Critical Current

Links

Images

Landscapes

  • Apparatus For Radiation Diagnosis (AREA)

Abstract

本申请公开了一种图像检测方法和检测模型的训练方法、及相关装置、设备,其中,图像检测方法包括:获取目标对象的待测医学图像;对待测医学图像进行第一检测,得到第一检测结果;其中,第一检测结果包括与目标对象关联的血管的第一检测区域;获取第一检测区域中血管的分布信息;利用分布信息对待测医学图像进行第二检测,得到第二检测结果,其中第二检测结果包括血管的第二检测区域。上述方案,能够提高医学图像检测的准确性。

Description

图像检测方法和检测模型的训练方法及相关装置、设备
技术领域
本申请涉及图像处理技术领域,特别是涉及一种图像检测方法和检测模型的训练方法及相关装置、设备。
背景技术
CT(Computed Tomography,计算机断层扫描)和MRI(Magnetic ResonanceImaging,核磁共振扫描)等医学图像在临床具有重要意义。例如,通过对医学图像中诸如肝脏、肾脏等对象相关的血管进行检测,能够辅助、指导手术方案。有鉴于此,如何提高图像检测的准确性成为极具研究价值的课题。
发明内容
本申请提供一种图像检测方法和检测模型的训练方法、及相关装置、设备。
本申请第一方面提供了一种图像检测方法,包括:获取目标对象的待测医学图像;对待测医学图像进行第一检测,得到第一检测结果;其中,第一检测结果包括与目标对象关联的血管的第一检测区域;获取第一检测区域中血管的分布信息;基于分布信息对待测医学图像进行第二检测,得到第二检测结果,其中第二检测结果包括血管的第二检测区域。
因此,通过获取目标对象的待测医学图像,并对待测医学图像进行第一检测,得到第一检测结果,且第一检测结果包括与目标对象关联的血管的第一检测区域,从而获取第一检测区域中血管的分布信息,进而基于分布信息对待测医学图像进行第二检测,得到第二检测结果,且第二检测结果包括血管的第二检测区域,故此,能够通过两个检测阶段实现对待测医学图像的检测,并利用一阶段检测得到的第一检测区域,提取出血管的分布信息,并将该分布信息作为二阶段检测的先验信息,以利用该分布信息对待测医学图像进一步进行检测,能够有利于提高图像检测的准确性。
其中,对待测医学图像进行第一检测,得到第一检测结果,包括:对降采样后的待测医学图像进行第一检测,得到第一检测结果。
因此,在一阶段的第一检测过程中,对降采样后的待测医学图像进行第一检测,得到第一检测结果,能够实现“粗粒度”检测,有利于提高第一检测的速度,同时能够有利于得到完整的血管分布信息,作为二阶段第二检测的先验信息。
其中,基于分布信息对待测医学图像进行第二检测,得到血管的第二检测区域,包括:基于分布信息对待测医学图像包含的至少一个子图像进行第二检测,得到至少一个子图像中血管的子检测区域;对至少一个子图像中血管的子检测区域进行重建,得到待测医学图像中血管的第二检测区域。
因此,在二阶段的第二检测过程中,基于分布信息对待测医学图像包含的至少一个子图像进行第二检测,得到至少一个子图像中血管的子检测区域,从而对至少一个子图像中血管的子检测区域进行重建,得到待测医学图像中血管的第二检测区域,故能够实现“细粒度”检测,能够有利于提高第二检测的精度。
其中,在利用分布信息对待测医学图像进行第二检测,得到血管的第二检测区域之后,方法还包括:接收到用户对分布信息的反馈,并利用反馈对分布信息进行更新;基于更新后的分布信息对待测医学图像进行第二检测,以更新得到血管的第二检测区域。
因此,在第二检测之后,通过接受用户对分别信息的反馈,并利用反馈对分布信息进行更新,从而基于更新后的分布信息对待测医学图像进行第二检测,以更新得到血管的第二检测区域,能够支持交互检测,从而有利于优化、修正血管的分布信息,即第二检测的先验信息,从而能够进一步提高图像检测的准确性。
其中,在血管的第二检测区域由待测医学图像的至少一个子图像中血管的子检测区域重建得到的情况下,基于更新后的分布信息对待测医学图像进行第二检测,以更新得到血管的第二检测区域,包括:基于反馈,确定用户需要修正的目标子图像;基于更新后的分布信息对目标子图像进行第二检测,以更新得到目标子图像中血管的子检测区域;基于目标子图像中血管的子检测区域,对待测医学图像中血管的第二检测区域进行更新。
因此,在血管的第二检测区域由待测医学图像的至少一个子图像中血管的子检测区域重建得到的情况下,通过基于反馈,确定用户需要修正的目标子图像,从而基于更新后的分布信息对目标子图像进行第二检测,以更新得到目标子图像中血管的子检测区域,进而基于目标子图像中血管的子检测区域,对待测医学图像中血管的第二检测区域进行更新,能够仅针对确定用户需要修正的目标子图像再次进行第二检测,以更新待测医学图像中血管的第二检测区域,有利于提高第二检测区域的更新速度。
其中,获取第一检测区域中血管的分布信息,包括:对第一检测区域进行骨架提取,得到血管的骨架线。
因此,通过对第一检测区域进行骨架提取,得到血管的骨架线,能够提高分布信息的准确性,从而能够有利于提高第二检测的准确性。
其中,对待测医学图像进行第一检测,得到第一检测结果,包括:对待测医学图像进行编码,得到若干不同分辨率的第一特征图;提取第一特征图的全局信息;对第一特征图进行解码,得到若干不同分辨率的第二特征图;其中,第二特征图中融合有与第二特征图具有相同分辨率的第一特征图的全局信息;对不同分辨率的第二特征图进行融合,得到第一检测结果。
因此,通过对待测医学图像进行编码,得到若干不同分辨率的第一特征图,并提取不同分辨率的第一特征图的全局信息,且对第一特征图进行解码,得到若干不同分辨率的第二特征图,且第二特征图中融合有与第二特征图具有相同分辨率的第一特征图的全局信息,从而能够通过全局信息建立血管之间长距离位置依赖关系,而对不同分辨率的第二特征图进行融合,能够融合高层维度语义特征和低层维度纹理特征,故此,通过建立血管之间长距离位置依赖关系,以及融合高层维度和低层维度特征,能够有利于提高血管检测准确性。
其中,对待测医学图像进行编码,得到对应不同分辨率的第一特征图,包括:利用第一检测模型的编码子网络对待测医学图像进行编码,得到对应不同分辨率的第一特征图;提取不同分辨率的第一特征图的全局信息,包括:利用第一检测模型的全局上下文子网络提取不同分辨率的第一特征图的全局信息;对第一特征图进行解码,得到对应不同分辨率的第二特征图,包括:利用第一检测模型的解码子网络对第一特征图进行解码,得到对应不同分辨率的第二特征图;对不同分辨率的第二特征图进行融合,得到第一检测结果,包括:利用第一检测模型的融合子网络对不同分辨率的第二特征图进行融合,得到第一检测结果。
因此,通过利用第一检测模型的编码子网络进行编码,通过利用第一检测模型的全局上下文子网络提取全局信息,通过利用第一检测模型的解码子网络进行解码,通过利用第一检测模型的融合子网络进行融合,能够有利于提高第一检测的效率。
其中,基于分布信息对待测医学图像进行第二检测,得到血管的第二检测区域,包括:利用第二检测模型,基于分布信息对待测医学图像进行第二检测,得到血管的第二检测区域;其中,第二检测模型和第一检测模型具有相同的网络结构。
因此,通过利用第二检测模型,基于分布信息对待测医学图像进行第二检测,得到血管的第二检测区域,且第二检测模型和第一检测模型具有相同的网络结构,能够有利于提高第二检测的效率,并进一步提高第二检测时血管检测准确性。
其中,目标对象包括至少一个分区,第一检测结果还包括至少一个分区的第一检测区域;和/或,目标对象为肝脏,与目标对象关联的血管包括以下至少一者:下腔静脉、肝静脉、肝门脉。
因此,目标对象包括至少一个分区,且第一检测结果还包括至少一个分区的第一检测区域,从而能够将待测医学图像中的血管检测任务和对象检测任务结合,进而能够有利于使两个任务相辅相成,提高各自检测的准确性;通过将目标对象设置为肝脏,且与目标对象关联的血管设置为包括以下至少一者:下腔静脉、肝静脉、肝门脉,能够有利于应用于肝脏检测以及肝脏关联的血管检测。
本申请第二方面提供了一种检测模型的训练方法,包括:获取目标对象的样本医学图像;其中,样本医学图像标注有与目标对象关联的血管的实际区域;利用第一检测模型对样本医学图像进行第一检测,得到第一样本检测结果;其中,第一样本检测结果包括血管的第一样本检测区域;获取第一样本检测区域中血管的检测分布信息;利用第二检测模型,利用检测分布信息对样本医学图像进行第二检测,得到血管的第二样本检测区域;基于实际区域和第一样本检测区域的差异,调整第一检测模型的网络参数;以及基于实际区域和第二样本检测区域的差异,调整第二检测模型的网络参数。
因此,通过获取目标对象的样本医学图像,且样本医学图像标注有与目标对象关联的血管的实际区域,从而利用第一检测模型对样本医学图像进行第一检测,得到第一样本检测结果,且第一样本检测结果包括血管的第一样本检测区域,并获取第一样本检测区域中血管的检测分布信息,从而利用第二检测模型,基于检测分布信息对样本医学图像进行第二检测,得到血管的第二样本检测区域,进而基于实际区域和第一样本检测区域的差异,调整第一检测模型的网络参数,并基于实际区域和第二样本检测区域的差异,调整第二检测模型的网络参数,故此,能够通过两个检测阶段实现对样本医学图像的检测,并利用一阶段检测得到的第一样本检测区域,提取出血管的检测分布信息,并将该检测分布信息作为二阶段检测的先验信息,以利用该检测分布信息对样本医学图像进一步进行检测,从而训练两阶段检测各自的检测模型,从而能够有利于提高图像检测的准确性。
其中,检测模型的训练方法还包括:获取实际区域中血管的实际分布信息;基于实际区域和第一样本检测区域的差异,调整第一检测模型的网络参数,包括:基于实际分布信息,对实际区域和第一样本检测区域在各个位置处的差异进行加权处理,得到第一检测模型的第一损失值;以及,基于实际分布信息和检测分布信息的差异,得到第一检测模型的第二损失值;基于第一损失值和第二损失值,调整第一检测模型的网络参数。
因此,通过获取实际区域中血管的实际分布信息,并基于实际分布信息,对实际区域和第一样本检测区域在各个位置处的差异进行加权处理,得到第一检测模型的第一损失值,并基于实际分布信息和检测分布信息的差异,得到第一检测模型的第二损失值,从而基于第一损失值和第二损失值,调整第一检测模型的网络参数,进而能够从血管的实际分布信息和检测分布信息之间差异的维度,以及利用实际分布信息加权后的实际区域和第一样本检测区域之间差异的维度,共同调整第一检测模型的网络参数,从而能够有利于提高第一检测模型的准确性。
其中,获取实际区域中血管的实际分布信息,包括:对实际区域进行骨架提取,得到血管的实际骨架线;基于实际分布信息,对实际区域和第一样本检测区域在各个位置处的差异进行加权处理,得到第一检测模型的第一损失值,包括:基于与各个位置对应的预设权值,分别对实际区域和第一样本检测区域在各个位置处的差异进行加权处理,得到第一检测模型的第一损失值;其中,各个位置至实际骨架线的距离与预设权值为负相关关系。
因此,通过对实际区域进行骨架提取,得到血管的实际骨架线,从而基于与各个位置对应的预设权值,分别对实际区域和第一样本检测区域在各个位置处的差异进行加权处理,得到第一检测模型的第一损失值,且各个位置至实际骨架线的距离与预设权值为负相关关系,能够有利于抑制远离实际骨架线的像素点,提高第一检测的准确性。
其中,在利用第一检测模型对样本医学图像进行第一检测,得到第一样本检测结果之前,方法还包括:对样本医学图像进行数据增广处理;其中,数据增广处理包括以下至少一种:按照预设旋转角度,对样本医学图像进行旋转;基于预设窗位和预设窗宽,对样本医学图像进行处理;将样本医学图像的像素值进行反转;调整样本医学图像的亮度;在样本医学图像中加入噪声;以及按照预设裁剪比例,对样本医学图像进行裁剪。
因此,通过对样本医学图像进行数据增广处理,能够有利于提高样本医学图像的多样性,降低检测模型出现过拟合的概率,提高检测模型的准确性。
本申请第三方面提供了一种图像检测装置,包括:图像获取模块、第一检测模块、分布获取模块和第二检测模块,图像获取模块配置为获取目标对象的待测医学图像;第一检测模块配置为对待测医学图像进行第一检测,得到第一检测结果;其中,第一检测结果包括与目标对象关联的血管的第一检测区域;分布获取模块配置为获取第一检测区域中血管的分布信息;第二检测模块配置为基于分布信息对待测医学图像进行第二检测,得到第二检测结果,其中第二检测结果包括血管的第二检测区域。
本申请第四方面提供了一种检测模型的训练装置,包括:样本获取模块、第一检测模块、分布获取模块、第二检测模块、第一调整模块和第二调整模块,样本获取模块配置为获取目标对象的样本医学图像;其中,样本医学图像标注有与目标对象关联的血管的实际区域;第一检测模块配置为利用第一检测模型对样本医学图像进行第一检测,得到第一样本检测结果;其中,第一样本检测结果包括血管的第一样本检测区域;分布获取模块配置为获取第一样本检测区域中血管的检测分布信息;第二检测模块配置为利用第二检测模型,基于检测分布信息对样本医学图像进行第二检测,得到血管的第二样本检测区域;第一调整模块配置为基于实际区域和第一样本检测区域的差异,调整第一检测模型的网络参数;第二调整模块配置为基于实际区域和第二样本检测区域的差异,调整第二检测模型的网络参数。
本申请第五方面提供了一种电子设备,包括相互耦接的存储器和处理器,处理器配置为执行存储器中存储的程序指令,以实现上述第一方面中的图像检测方法,或实现上述第二方面中的检测模型的训练方法。
本申请第四方面提供了一种计算机可读存储介质,其上存储有程序指令,程序指令被处理器执行时实现上述第一方面中的图像检测方法,或实现上述第二方面中的检测模型的训练方法。
上述方案,通过获取目标对象的待测医学图像,并对待测医学图像进行第一检测,得到第一检测结果,且第一检测结果包括与目标对象关联的血管的第一检测区域,从而获取第一检测区域中血管的分布信息,进而基于分布信息对待测医学图像进行第二检测,得到第二检测结果,且第二检测结果包括血管的第二检测区域,故此,能够通过两个检测阶段实现对待测医学图像的检测,并利用一阶段检测得到的第一检测区域,提取出血管的分布信息,并将该分布信息作为二阶段检测的先验信息,以利用该分布信息对待测医学图像进一步进行检测,能够有利于提高图像检测的准确性。
附图说明
图1是本申请图像检测方法一实施例的流程示意图;
图2是第二检测一实施例的状态示意图;
图3是用户修正一实施例的示意图;
图4是图1中步骤S12一实施例的流程示意图;
图5是第一检测模型一实施例的框架示意图;
图6是本申请检测模型的训练方法一实施例的流程示意图;
图7是投影到轴状位的肝静脉、肝门脉及相应的骨架线高斯场一实施例的示意图;
图8是本申请图像检测装置一实施例的框架示意图;
图9是本申请检测模型的训练装置一实施例的框架示意图;
图10是本申请电子设备一实施例的框架示意图;
图11是本申请计算机可读存储介质一实施例的框架示意图。
具体实施方式
下面结合说明书附图,对本申请实施例的方案进行详细说明。
以下描述中,为了说明而不是为了限定,提出了诸如特定系统结构、接口、技术之类的具体细节,以便透彻理解本申请。
本文中术语“系统”和“网络”在本文中常被可互换使用。本文中术语“和/或”,仅仅是一种描述关联对象的关联关系,表示可以存在三种关系,例如,A和/或B,可以表示:单独存在A,同时存在A和B,单独存在B这三种情况。另外,本文中字符“/”,一般表示前后关联对象是一种“或”的关系。此外,本文中的“多”表示两个或者多于两个。
请参阅图1,图1是本申请图像检测方法一实施例的流程示意图。具体而言,可以包括如下步骤:
步骤S11:获取目标对象的待测医学图像。
在一个实施场景中,待测医学图像可以是MR图像、CT图像等等,在此不做限定。
在一个实施场景中,待测医学图像具体可以是三维图像。在其他实施场景中,待测医学图像也可以根据实际应用需要设置为二维图像,在此不做限定。
在一个实施场景中,目标对象具体可以是肝脏。在其他实施场景中,目标对象也可以根据实际应用需要,包括但不限于以下任一者:肾脏、脾脏、肺、心脏、脑,在此不做限定。
在一个具体的实施场景中,待测医学图像可以为肝脏的三维图像,例如,肝脏的CT图像、肝脏的MR图像等等,在此不做限定。或者,待测医学图像也可以具体为肾脏的三维图像、心脏的三维图像等等,具体可以根据实际应用需要进行设置,在此不再一一举例。
步骤S12:对待测医学图像进行第一检测,得到第一检测结果,其中,第一检测结果包括与目标对象关联的血管的第一检测区域。
在一个实施场景中,与目标对象关联的血管具体可以包括流向目标对象的血管、目标对象中分布的血管等等。以目标对象是肝脏为例,与目标对象关联的血管可以包括以下至少一者:下腔静脉、肝静脉、肝门脉。在其他实施场景中,当目标对象为肾脏时,与目标对象关联的血管可以包括以下至少一者:上段动脉、上前段动脉、下前段动脉、下段动脉、后段动脉、肾内静脉,当目标对象为其他对象时,与目标对象关联的血管可以根据实际情况进行设置,在此不再一一举例。
在一个实施场景中,为了提高第一检测的效率,可以预先训练一第一检测模型,从而利用第一检测模型对待测医学图像进行第一检测,得到第一检测结果。第一检测模型具体可以是全卷积网络(Fully Convolutional Network,FCN)、U-Net等等,具体可以根据实际应用需要进行设置,在此不做限定。此外,第一检测模型的训练过程具体可以参阅关于检测模型的训练方法实施例中的步骤,在此暂不赘述。
在一个实施场景中,为了提高第一检测的速度,可以对降采样后的待测医学图像进行第一检测,得到第一检测结果。例如,可以将分辨率为1280*1280*1280的待测医学图像降采样至128*128*128,并对降采样之后分辨率为128*128*128的待测医学图像进行第一检测,得到第一检测结果,由于降采样后待测医学图像的分辨率得到了降低,且依然保留了完整的血管分布信息,故对降采样后的待测医学图像进行第一检测,能够在不影响检测准确性的基础上,提高第一检测的速度。其他情况可以以此类推,在此不再一一举例。
在一个实施场景中,目标对象可以至少包括一个分区。以目标对象是肝脏为例,肝脏可以包括八分分区,例如,肝尾状叶为分区1,肝左后上叶为分区2,左前下叶的外侧段为分区3,左前下叶的内侧段为分区4,右前上叶的腹侧部为分区5,右后下叶的下部为分区6、右后下叶的上部为分区7,右前上叶的背侧部为分区8,当目标对象为其他对象时,目标对象的分区可以根据实际情况进行设置,在此不再一一举例。在此基础上,对待测医学图像进行第一检测,所得到第一检测结果中还可以进一步包括至少一个分区的第一检测区域。以目标对象是肝脏为例,第一检测结果还可以包括肝脏八个分区的第一检测区域。上述设置,能够将待测医学图像中的血管检测任务和对象检测任务结合,进而能够有利于使两个任务相辅相成,提高各自检测的准确性。
在一个实施场景中,第一检测结果还可以进一步包括检测得到的第一检测区域所述的血管类型。以目标对象是肝脏为例,血管类型具体可以包括:下腔静脉、肝静脉、肝门脉等等。
步骤S13:获取第一检测区域中血管的分布信息。
本公开实施例中,血管的分布信息具体可以包括血管的走向信息,例如,主血管下分出的一级血管的数量以及各自的走向,一级血管下分出的二级血管的数量以及各自的走向,二级血管下分出的三级血管以及各自的走向。
在一个实施场景中,为了提高分布信息的准确性,从而提高后续第二检测的准确性,可以对第一检测区域进行骨架提取,得到血管的骨架线。具体地,可以提取第一检测区域的各血管的中心线,并将各血管的中心线的组合,作为对应血管的骨架线。以肝静脉为例,可以将肝静脉的第一检测区域的中心线的组合,作为肝静脉的骨架线;或者,以肝门脉为例,可以将肝门脉的第一检测区域的中心线的组合,作为肝门脉的骨架线。其他场景可以以此类推,在此不再一一举例。
步骤S14:基于分布信息对待测医学图像进行第二检测,得到第二检测结果,其中第二检测结果包括血管的第二检测区域。
在一个实施场景中,为了提高第二检测的效率,还可以预先训练一第二检测模型,从而可以利用第二检测模型,基于分布信息对待测医学图像进行第二检测,得到第二检测结果,且第二检测结果包括血管的第二检测区域。第二检测模型具体可以包括但不限于:FCN、U-Net等等,在此不做限定。第二检测模型的具体训练过程可以参阅检测模型的训练方法实施例中的步骤,在此不再赘述。
在一个具体的实施场景中,当第一检测采用第一检测模型实现,且第二检测采用第二检测模型实现时,第一检测模型和第二检测模型可以具有相同的网络结构,例如,两者都是FCN,或者,两者都是U-Net等等,在此不做限定。上述设置,可以简化模型复杂度。
在一个实施场景中,为了提高第二检测的精度,可以基于分布信息对待测医学图像包含的至少一个子图像进行第二检测,得到至少一个子图像中血管的子检测区域,并对至少一个子图像中血管的子检测区域进行重建,得到待测医学图像中血管的第二检测区域。上述方式,能够利用分布信息作为第二检测的先验信息,并通过分别对子图像进行第二检测,故能够实现“细粒度”检测,能够有利于提高第二检测的精度。具体地,待测医学图像可以是分辨率为1280*1280*1280的三维图像,则子图像可以是分辨率为64*64*64的三维图像,或者,也可以是32*32*32的三维图像,其他情况可以以此类推,在此不做限定需要说明的是,子图像的分辨率越小,重建精度越高。
在一个具体的实施场景中,为了提高第二检测效率和精度,可以利用第二检测模型,基于分布信息对待测医学图像包含的至少一个子图像进行第二检测,得到至少一个子图像中血管的子检测区域。具体地,可以将分布信息和子图像输入第二检测模型进行检测,得到子检测区域。请结合参阅图2,图2是第二检测一实施例的状态示意图。如图2所示,以目标对象是肝脏为例,通过对包含与肝脏关联的血管的第一检测区域进行骨架提取,能够得到肝静脉的骨架线和肝门脉的骨架线,从而可以将待测医学图像的子图像以及对应的肝门脉骨架线的子区域、肝静脉骨架线的子区域输入到第二检测模型进行第二检测,得到子检测区域,最后将待测医学图像中至少一个子图像的子检测区域进行重建,即可得到第二检测区域。当目标对象是其他对象时,可以以此类推,在此不再一一举例。
上述方式,通过一阶段的第一检测,得到血管的第一检测区域,并获取第一检测区域中血管的分布信息,作为先验信息,以指导二阶段的第二检测,得到血管的第二检测区域,能够有利于降低多种期像(如,门脉期、肝胆期、平扫期等)中由于血管成像质量参差不齐而带来的干扰,提高图像检测的鲁棒性。
此外,在一个实施场景中,还可以接收用户对分布信息的反馈,并利用反馈对分布信息进行更新,从而可以利用更新后的分布信息对待测医学图像进行第二检测,以更新得到血管的第二检测区域。上述设置,能够支持交互检测,从而有利于优化、修正血管的分布信息,即第二检测的先验信息,从而能够进一步提高图像检测的准确性。
在一个具体的实施场景中,在得到包含第二检测区域的待测医学图像之后,可以将待测医学图像予以显示,以便用户查看,用户查看过程中,可以对待测医学图像进行标记,例如,可以标记出遗漏检测的血管,对应地,可以利用标记出的遗漏检测的血管,在原分布信息中相应地添加遗漏检测的血管的分布信息(如血管的骨架线);或者,也可以标记出多检测的血管,对应地,可以利用标记出多检测的血管,在原分布信息中相应地删除多检测的血管的分布信息(如血管的骨架线);或者,还可以修改错误检测的血管,对应地,可以利用标记出修改错误检测的血管,在原分布信息中相应地修改错误的血管分布信息(如血管的骨架线)等等,在此不做限定。此外,为了便于用户操作,可以接受用户在待测医学图像上的划线指令,从而解析划线指令所包含的划线信息(例如,划线的走向、划线的长度等等),并将划线信息作为用户对血管分布信息的反馈。
在另一个具体的实施场景中,请结合参阅图2和图3,图3是用户修正一实施例的示意图,如图2所示,可以基于反馈(如图3中箭头所指的划线),确定用户需要修正的目标子图像,具体地,可以将用户在包含第二检测区域的待测医学图像中输入反馈的子图像(图2中包含第二检测区域的待测医学图像中虚线矩形区域),作为目标子图像。从而可以利用更新后的分布信息对目标子图像进行第二检测,以更新得到目标子图像中血管的子检测区域(如图3中斜线填充的区域),从而利用目标子图像中血管的子检测区域,对待测医学图像中血管的第二检测区域进行更新(如图2中更新后的待测医学图像)。此外,为了提高第二检测的准确性,针对不同的血管,还可以采用不同的形式予以修正,以目标对象是肝脏为例,可以采用红色标注(如红色划线)表示与肝静脉相关的反馈,可以采用绿色标注(如绿色划线)表示与肝门脉相关的反馈,具体可以根据实际应用需要进行设置,在此不做限定。
上述方案,通过获取目标对象的待测医学图像,并对待测医学图像进行第一检测,得到第一检测结果,且第一检测结果包括与目标对象关联的血管的第一检测区域,从而获取第一检测区域中血管的分布信息,进而基于分布信息对待测医学图像进行第二检测,得到血管的第二检测区域,故此,能够通过两个检测阶段实现对待测医学图像的检测,并利用一阶段检测得到的第一检测区域,提取出血管的分布信息,并将该分布信息作为二阶段检测的先验信息,以利用该分布信息对待测医学图像进一步进行检测,能够有利于提高图像检测的准确性。
请参阅图4,图4是图1中步骤S12一实施例的流程示意图。具体可以包括如下步骤:
步骤S21:对待测医学图像进行编码,得到若干不同分辨率的第一特征图。
在一个实施场景中,具体可以对待测医学图像进行特征提取,得到若干不同分辨率的第一特征图。需要说明的是,高分辨率的第一特征图通常包含浅层纹理信息,而低分辨率的第一特征图通常包含高维语义信息。仍以肝脏血管检测场景为例,高分辨率的第一特征图通常包含诸如血管细节形态、走向等低维信息,而低分辨率的第一特征图通常包含诸如肝脏、血管整体拓扑结构关系等全局性的高维信息。其他场景可以以此类推,在此不再一一举例。
在一个实施场景中,为了提高第一检测的效率,可以预先训练一第一检测模型,且第一检测模型包含编码子网络,从而可以利用第一检测模型的编码子网络对待测医学图像进行编码,得到对应不同分辨率的第一特征图。
在一个具体的实施场景中,请结合参阅图5,图5是第一检测模型一实施例的框架示意图。如图5所示,第一检测模型可以包括一编码子网络,待测医学图像经编码子网络编码之后,可以得到不同分辨率的第一特征图(即图5中以不同灰度表示的特征图)。具体地,编码子网络可以包括稠密块(dense block)、残差块(residual block)中的任一者,具体可以根据实际应用需要进行设置,在此不做限定。
步骤S22:提取第一特征图的全局信息。
在一个实施场景中,为了提高第一检测的效率,可以预先训练一第一检测模型,且第一检测模型包含全局上下文子网络,从而可以利用第一检测模型的全局上下文子网络分别提取上述若干不同分辨率的第一特征图的全局信息。仍以肝脏血管检测场景为例,全局信息可以包括:肝脏血管在全局视野下的拓扑结构关系。其他场景可以以此类推,在此不再一一举例。
在一个具体的实施场景中,如图5所示,全局上下文子网络具体可以包括至少一个GC block(global context block,全局上下文块),分别配置为对不同分辨率的第一特征图进行全局信息的提取。GC block具体采用“三步骤”框架,即首先进行全局上下文建模,其次进行通道维度的依赖关系转换,最后进行特征融合,具体在此不再赘述。
步骤S23:对第一特征图进行解码,得到若干不同分辨率的第二特征图。
本公开实施例中,第二特征图中融合有与第二特征图具有相同分辨率的第一特征图的全局信息。由于编码处理只能针对局部特征提取,而因感受野受限,难以捕获长距离依赖关系,故可以在解码阶段,对当前解码得到的第二特征图加入与其分辨率相同的第一特征图的全局信息,从而可以在第二特征图中融入除图像信息之外的全局信息(如前述血管在全局视野下的拓扑结构关系),以在空间上构建长距离依赖关系。
在一个实施场景中,为了提高第一检测的效率,可以预先训练一第一检测模型,且第一检测模型包含解码子网络,从而可以利用第一检测模型的解码子网络对第一特征图进行解码,得到若干不同分辨率的第二特征图。
在一个具体的实施场景中,解码子网络具体可以包括至少一个上采样处理层,从而第一特征图经过至少一次上采样处理,从而分辨率不断提高,并在上采样之后融入与提高后的分辨率相同的第一特征图的全局信息,得到第二特征图,如此循环,可以得到若干不同分辨率且融入全局信息的第二特征图(即图5中以不同灰度表示的特征图)。
步骤S24:对若干不同分辨率的第二特征图进行融合,得到第一检测结果。
在一个实施场景中,为了提高第一检测的效率,可以预先训练一第一检测模型,且第一检测模型包含融合子网络,从而可以利用第一检测模型的融合子网络对若干不同分辨率的第二特征图进行融合,得到第一检测结果。上述设置,可以捕获到不同尺度下的特征信息,从而可以融合高维度语义特征和低维度纹理特征,进而能够有利于提高图像检测的准确性。
在一个具体的实施场景中,可以将若干不同分辨率的第二特征图输入上述融合子网络,经融合子网络处理可以得到第一检测结果。以融合子网络是特征金字塔网络(Feature Pyramid Network,FPN)为例,为了便于描述,图5解码子网络所解码得到的第二特征图按照分辨率由小到大的顺序可以分别记为C1、C2、C3和C4,则可以先利用1*1卷积分别将特征图C1、特征图C2、特征图C3进行卷积处理,并将1*1卷积处理后的特征图上采样到与特征图C4具有相同的分辨率,得到特征图M1、M2、M3,然后再将上述特征图M1、M2、M3与特征图C4进行融合。
在另一个具体的实施场景中,请结合参阅图5,以目标对象是肝脏为例,第一检测结果具体可以包括血管检测维度对应的血管的第一检测区域,以及肝脏检测维度对应的肝脏的第一检测区域。其他情况可以以此类推,例如,对于目标对象是肾脏而言,第一检测结果具体可以包括血管检测维度对应的血管的第一检测区域,以及肾脏检测维度对应的肾脏的第一检测区域,在此不再一一举例。
区别于前述实施例,通过对待测医学图像进行编码,得到若干不同分辨率的第一特征图,并提取第一特征图的全局信息,且对第一特征图进行解码,得到若干不同分辨率的第二特征图,且第二特征图中融合有与第二特征图具有相同分辨率的第一特征图的全局信息,从而能够通过全局信息建立血管之间长距离位置依赖关系,而对不同分辨率的第二特征图进行融合,能够融合高层维度语义特征和低层维度纹理特征,故此,通过建立血管之间长距离位置依赖关系,以及融合高层维度和低层维度特征,能够有利于提高血管检测准确性。
请参阅图6,图6是本申请检测模型的训练方法一实施例的流程示意图。具体而言,可以包括如下步骤:
步骤S61:获取目标对象的样本医学图像;其中,样本医学图像标注有与目标对象关联的血管的实际区域。
在一个实施场景中,样本医学图像可以是MR图像、CT图像等等,在此不做限定。
在一个实施场景中,样本医学图像具体可以是三维图像。在其他实施场景中,样本医学图像也可以根据实际应用需要设置为二维图像,在此不做限定。
在一个实施场景中,目标对象具体可以是肝脏。在其他实施场景中,目标对象也可以根据实际应用需要,包括但不限于以下任一者:肾脏、脾脏、肺、心脏、脑,在此不做限定。
在一个具体的实施场景中,样本医学图像可以为肝脏的三维图像,例如,肝脏的CT图像、肝脏的MR图像等等,在此不做限定。或者,样本医学图像也可以具体为肾脏的三维图像、心脏的三维图像等等,具体可以根据实际应用需要进行设置,在此不再一一举例。
在一个实施场景中,目标对象可以包括至少一个分区,具体可以参阅前述公开实施例中的相关描述,在此不再赘述。在此基础上,样本医学图像中还可以标注有目标对象至少一个分区的实际区域,在此不做限定。
在一个实施场景中,为了提高样本多样性,降低检测模型发生过拟合的概率,还可以对样本医学图像进行数据增广数据。具体地,数据增广处理可以包括以下至少一种:按照预设旋转角度(如-15度至15度等),对样本医学图像进行旋转;基于预设窗位(如125)和预设窗宽(如350),对样本医学图像进行处理,具体可以根据实际应用需要进行设置,例如,对于目标对象是肝脏而言,可以设置窗位为75至150,可以设置窗宽为250至500;将样本医学图像的像素值进行反转,具体地,以样本医学图像是CT图像为例,可以将亨氏单位(Hounsfield unit,Hu)值反转,从而使血管呈现低Hu值,而目标对象(如肝脏)呈现高Hu值;调整样本医学图像的亮度;在样本医学图像中加入噪声(如高斯噪声);按照预设裁剪比例,对样本医学图像进行裁剪,以样本医学图像是三维图像为例,可以沿X、Y、Z方向随机图像,最大裁剪大小各自方向总长的10%。此外,以上任一种数据增广方式均可以以一定的选取概率在样本医学图像中进行选取,并对选取的样本医学图像,利用对应的数据增广方式进行处理。例如,可以以10%的选取概率选取一定数量的样本医学图像,并对选取的样本医学图像按照预设旋转角度进行旋转;或者,可以以15%的选取概率选取一定数量的样本医学图像,并对选取的样本医学图像的像素值进行反转,以此类推,具体可以根据实际应用需要进行设置,在此不再一一举例。上述方式,可以极大地丰富样本医学图像的多样性,能够有效降低检测模型出现过拟合的概率。
步骤S62:利用第一检测模型对样本医学图像进行第一检测,得到第一样本检测结果;其中,第一样本检测结果包括血管的第一样本检测区域。
具体地,利用第一检测模型对样本医学图像检测第一检测的过程,可以参阅前述公开实施例中的关于利用第一检测模型对待测医学图像进行第一检测的相关描述,在此不再赘述。
在一个实施场景中,第一样本检测结果还可以包括目标对象至少一个分区的第一样本检测区域。
步骤S63:获取第一样本检测区域中血管的检测分布信息。
具体地,获取第一样本检测区域中血管的检测分别信息的过程,可以参阅前述公开实施例中关于获取第一检测区域中血管的分布信息的相关描述,在此不再赘述。
步骤S64:利用第二检测模型,基于检测分布信息对样本医学图像进行第二检测,得到血管的第二样本检测区域。
具体地,基于第二检测模型,利用检测分布信息对样本医学图像进行第二检测的过程,可以参阅前述公开实施例中关于基于第二检测模型,利用分布信息对待测医学图像进行第二检测的相关描述,在此不再赘述。
步骤S65:基于实际区域和第一样本检测区域的差异,调整第一检测模型的网络参数。
在一个实施场景中,可以计算实际区域的第一样本检测区域的损失值,并基于计算得到的损失值,调整第一检测模型的网络参数。具体地,可以利用交叉熵损失函数(crossentropy loss)、dice loss等计算损失值,在此不做限定。
在一个实施场景中,可以获取实际区域中血管的实际分布信息,具体可以参阅前述公开实施例中关于获取第一检测区域中血管的分布信息的相关描述,在此不再赘述。在得到实际分布信息之后,可以利用实际分布信息,对实际区域和第一样本检测区域在各个位置处的差异进行加权处理,得到第一检测模型的第一损失值,并利用实际分布信息和检测分布信息的差异,得到第一检测模型的第二损失值,从而利用第一损失值和第二损失值,调整第一检测模型的网络参数。上述方式,能够从血管的实际分布信息和检测分布信息之间差异的维度,以及利用实际分布信息加权后的实际区域和第一样本检测区域之间差异的维度,共同调整第一检测模型的网络参数,从而能够有利于提高第一检测模型的准确性。
在一个具体的实施场景中,具体可以对实际区域进行骨架提取,得到血管的实际骨架线,并对第一样本检测区域进行骨架提取,得到血管的检测骨架线,从而利用实际骨架线和检测骨架线之间的差异,得到第二损失值。具体地,为了提高鲁棒性,可以利用smoothL1损失函数对实际骨架线和检测骨架线进行处理,得到第二损失值。
在另一个具体的实施场景中,为了抑制远离骨架线的像素点,在计算第一损失值时,具体可以利用与各个位置对应的预设权值,分别对实际区域和第一样本检测区域在各个位置处的差异进行加权处理,得到第一检测模型的第一损失值,且各个位置至实际骨架线的距离与预设权值为负相关关系,即距离实际骨架线越远,对应的预设权值越小,反之,距离实际骨架线越近,对应的预设权值越大。上述方式,能够有利于抑制远离实际骨架线的像素点,提高第一检测的准确性。具体地,还可以生成实际骨架线高斯场作为预设权值,作配置为计算第一损失值的损失函数(如cross entropy、dice loss),从而得到第一损失值。以目标对象是肝脏为例,请结合参阅图7,图7是投影到轴状位的肝静脉、肝门脉及相应的骨架线高斯场一实施例的示意图,如图7所示,通过生成骨架线高斯场作为预设权值,能够为靠近骨架线的位置赋予较高的预设权值,而远离骨架线的位置赋予较低的预设权值。骨架线高斯场的具体计算方式,在此不再赘述。上述方式,能够在第一检测阶段,提高骨架线的准确性。此外,在标注的实际区域存在误差的情况下,或者,在一级血管与二级血管、三级血管在粗细等多层面上存在较大的差异的情况下,由于一阶段第一检测,更加关注靠近骨架线的区域,故能够降低样本自身标注误差对第一检测模型的训练带来的影响,且能够平衡粗细血管在损失中的比例,提高第一检测模型的准确性。
在又一个具体的实施场景中,样本医学图像中还可以标注有目标对象的至少一个分区的实际区域,第一样本检测结果还可以包括目标对象的至少一个分区的第一样本检测区域,从而可以基于至少一个分区的实际区域和对应分区的第一样本检测区域的差异,得到第一检测模型的第三损失值,并基于第一损失值、第二损失值和第三损失值,调整第一检测模型的网络参数。具体地,可以利用cross entropy loss、dice loss计算第三损失值,在此不做限定。
步骤S66:基于实际区域和第二样本检测区域的差异,调整第二检测模型的网络参数。
在一个实施场景中,可以利用实际区域和第二样本检测区域的差异,得到第二检测模型的第四损失值,从而可以利用第四损失值,调整第二检测模型的网络参数。具体地,可以利用cross entropy loss、dice loss计算第四损失值,在此不做限定。
此外,具体可以采用随机梯度下降(Stochastic Gradient Descent,SGD)、批量梯度下降(Batch Gradient Descent,BGD)、小批量梯度下降(Mini-Batch GradientDescent,MBGD)等方式,利用损失值对第一检测模型、第二检测模型的参数进行调整,其中,批量梯度下降是指在每一次迭代时,使用所有样本来进行参数更新;随机梯度下降是指在每一次迭代时,使用一个样本来进行参数更新;小批量梯度下降是指在每一次迭代时,使用一批样本来进行参数更新,在此不再赘述。
在一个实施场景中,还可以设置一训练结束条件,当满足训练结束条件时,可以结束对第一检测模型、第二检测模型的训练。具体地,训练结束条件可以包括:损失值小于一预设损失阈值,且损失值不再减小;当前训练次数达到预设次数阈值(例如,500次、1000次等),在此不做限定。
上述方案,通过获取目标对象的样本医学图像,且样本医学图像标注有与目标对象关联的血管的实际区域,从而利用第一检测模型对样本医学图像进行第一检测,得到第一样本检测结果,且第一样本检测结果包括血管的第一样本检测区域,并获取第一样本检测区域中血管的检测分布信息,从而利用第二检测模型,基于检测分布信息对样本医学图像进行第二检测,得到血管的第二样本检测区域,进而基于实际区域和第一样本检测区域的差异,调整第一检测模型的网络参数,并基于实际区域和第二样本检测区域的差异,调整第二检测模型的网络参数,故此,能够通过两个检测阶段实现对样本医学图像的检测,并利用一阶段检测得到的第一样本检测区域,提取出血管的检测分布信息,并将该检测分布信息作为二阶段检测的先验信息,以利用该检测分布信息对样本医学图像进一步进行检测,从而训练两阶段检测各自的检测模型,从而能够有利于提高图像检测的准确性。
请参阅图8,图8是本申请图像检测装置80一实施例的框架示意图。图像检测装置80包括:图像获取模块81、第一检测模块82、分布获取模块83和第二检测模块84,图像获取模块81配置为获取目标对象的待测医学图像;第一检测模块82配置为对待测医学图像进行第一检测,得到第一检测结果;其中,第一检测结果包括与目标对象关联的血管的第一检测区域;分布获取模块83配置为获取第一检测区域中血管的分布信息;第二检测模块84配置为基于分布信息对待测医学图像进行第二检测,得到第二检测结果,其中第二检测结果包括血管的第二检测区域。
上述方案,通过获取目标对象的待测医学图像,并对待测医学图像进行第一检测,得到第一检测结果,且第一检测结果包括与目标对象关联的血管的第一检测区域,从而获取第一检测区域中血管的分布信息,进而基于分布信息对待测医学图像进行第二检测,得到第二检测结果,且第二检测结果包含血管的第二检测区域,故此,能够通过两个检测阶段实现对待测医学图像的检测,并利用一阶段检测得到的第一检测区域,提取出血管的分布信息,并将该分布信息作为二阶段检测的先验信息,以利用该分布信息对待测医学图像进一步进行检测,能够有利于提高图像检测的准确性。
在一些公开实施例中,第一检测模块82具体配置为对降采样后的待测医学图像进行第一检测,得到第一检测结果。
区别于前述实施例,在一阶段的第一检测过程中,对降采样后的待测医学图像进行第一检测,得到第一检测结果,能够实现“粗粒度”检测,有利于提高第一检测的速度,同时能够有利于得到完整的血管分布信息,作为二阶段第二检测的先验信息。
在一些公开实施例中,第二检测模块84包括检测子模块,配置为基于分布信息对待测医学图像包含的至少一个子图像进行第二检测,得到至少一个子图像中血管的子检测区域,第二检测模块84包括重建子模块,配置为对至少一个子图像中血管的子检测区域进行重建,得到待测医学图像中血管的第二检测区域。
区别于前述实施例,在二阶段的第二检测过程中,利用分布信息对待测医学图像包含的至少一个子图像进行第二检测,得到至少一个子图像中血管的子检测区域,从而对至少一个子图像中血管的子检测区域进行重建,得到待测医学图像中血管的第二检测区域,故能够实现“细粒度”检测,能够有利于提高第二检测的精度。因此,上述方式能够同时提高图像检测的速度和精度。
在一些公开实施例中,图像检测装置80还包括修正更新模块,配置为接收到用户对分布信息的反馈,并基于反馈对分布信息进行更新,图像检测装置80还包括区域更新模块,配置为基于更新后的分布信息对待测医学图像进行第二检测,以更新得到血管的第二检测区域。
区别于前述实施例,基于反馈对分布信息进行更新,从而基于更新后的分布信息对待测医学图像进行第二检测,以更新得到血管的第二检测区域,能够支持交互检测,从而有利于优化、修正血管的分布信息,即第二检测的先验信息,从而能够进一步提高图像检测的准确性。
在一些公开实施例中,在血管的第二检测区域由待测医学图像的至少一个子图像中血管的子检测区域重建得到的情况下,区域更新模块包括目标确定子模块,配置为基于反馈,确定用户需要修正的目标子图像,区域更新模块包括检测更新子模块,配置为基于更新后的分布信息对目标子图像进行第二检测,以更新得到目标子图像中血管的子检测区域,区域更新模块包括区域更新子模块,配置为基于目标子图像中血管的子检测区域,对待测医学图像中血管的第二检测区域进行更新。
区别于前述实施例,在血管的第二检测区域由待测医学图像的至少一个子图像中血管的子检测区域重建得到的情况下,通过基于反馈,确定用户需要修正的目标子图像,从而基于更新后的分布信息对目标子图像进行第二检测,以更新得到目标子图像中血管的子检测区域,进而基于目标子图像中血管的子检测区域,对待测医学图像中血管的第二检测区域进行更新,能够仅针对确定用户需要修正的目标子图像再次进行第二检测,以更新待测医学图像中血管的第二检测区域,有利于提高第二检测区域的更新速度。
在一些公开实施例中,分布获取模块83具体配置为对第一检测区域进行骨架提取,得到血管的骨架线。
区别于前述实施例,通过对第一检测区域进行骨架提取,得到血管的骨架线,能够提高分布信息的准确性,从而能够有利于提高第二检测的准确性。
在一些公开实施例中,第一检测模块82包括编码子模块,配置为对待测医学图像进行编码,得到若干不同分辨率的第一特征图,第一检测模块82包括全局提取子模块,配置为提取第一特征图的全局信息,第一检测模块82包括解码子模块,配置为对第一特征图进行解码,得若干应不同分辨率的第二特征图;其中,第二特征图中融合有与第二特征图相同分辨率的第一特征图的全局信息,第一检测模块82包括融合子模块,配置为对不同分辨率的第二特征图进行融合,得到第一检测结果。
区别于前述实施例,通过对待测医学图像进行编码,得到若干不同分辨率的第一特征图,并提取第一特征图的全局信息,且对第一特征图进行解码,得到若干不同分辨率的第二特征图,且第二特征图中融合有与第二特征图具有相同分辨率的第一特征图的全局信息,从而能够通过全局信息建立血管之间长距离位置依赖关系,而对不同分辨率的第二特征图进行融合,能够融合高层维度语义特征和低层维度纹理特征,故此,通过建立血管之间长距离位置依赖关系,以及融合高层维度和低层维度特征,能够有利于提高血管检测准确性。
在一些公开实施例中,编码子模块具体配置为利用第一检测模型的编码子网络对待测医学图像进行编码,得到对应不同分辨率的第一特征图,全局提取子模块具体配置为利用第一检测模型的全局上下文子网络提取不同分辨率的第一特征图的全局信息,解码子模块具体配置为利用第一检测模型的解码子网络对第一特征图进行解码,得到对应不同分辨率的第二特征图,融合子模块具体配置为利用第一检测模型的融合子网络对不同分辨率的第二特征图进行融合,得到第一检测结果。
区别于前述实施例,通过利用第一检测模型的编码子网络进行编码,通过利用第一检测模型的全局上下文子网络提取全局信息,通过利用第一检测模型的解码子网络进行解码,通过利用第一检测模型的融合子网络进行融合,能够有利于提高第一检测的效率。
在一些公开实施例中,第二检测模块84具体配置为利用第二检测模型,基于分布信息对待测医学图像进行第二检测,得到血管的第二检测区域;其中,第二检测模型和第一检测模型具有相同的网络结构。
区别于前述实施例,通过利用第二检测模型,基于分布信息对待测医学图像进行第二检测,得到血管的第二检测区域,且第二检测模型和第一检测模型具有相同的网络结构,能够有利于提高第二检测的效率,并进一步提高第二检测时血管检测准确性。
在一些公开实施例中,目标对象包括至少一个分区,第一检测结果还包括至少一个分区的第一检测区域;和/或,目标对象为肝脏,与目标对象关联的血管包括以下至少一者:下腔静脉、肝静脉、肝门脉。
区别于前述实施例,目标对象包括至少一个分区,且第一检测结果还包括至少一个分区的第一检测区域,从而能够将待测医学图像中的血管检测任务和对象检测任务结合,进而能够有利于使两个任务相辅相成,提高各自检测的准确性;通过将目标对象设置为肝脏,且与目标对象关联的血管设置为包括以下至少一者:下腔静脉、肝静脉、肝门脉,能够有利于应配置为肝脏检测以及肝脏关联的血管检测。
请参阅图9,图9是本申请检测模型的训练装置90一实施例的框架示意图。检测模型的训练装置90包括:样本获取模块91、第一检测模块92、分布获取模块93、第二检测模块94、第一调整模块95和第二调整模块96,样本获取模块91配置为获取目标对象的样本医学图像;其中,样本医学图像标注有与目标对象关联的血管的实际区域;第一检测模块92配置为利用第一检测模型对样本医学图像进行第一检测,得到第一样本检测结果;其中,第一样本检测结果包括血管的第一样本检测区域;分布获取模块93配置为获取第一样本检测区域中血管的检测分布信息;第二检测模块94配置为利用第二检测模型,基于检测分布信息对样本医学图像进行第二检测,得到血管的第二样本检测区域;第一调整模块95配置为基于实际区域和第一样本检测区域的差异,调整第一检测模型的网络参数;第二调整模块96配置为基于实际区域和第二样本检测区域的差异,调整第二检测模型的网络参数。
上述方案,通过获取目标对象的样本医学图像,且样本医学图像标注有与目标对象关联的血管的实际区域,从而利用第一检测模型对样本医学图像进行第一检测,得到第一样本检测结果,且第一样本检测结果包括血管的第一样本检测区域,并获取第一样本检测区域中血管的检测分布信息,从而利用第二检测模型,基于检测分布信息对样本医学图像进行第二检测,得到血管的第二样本检测区域,进而基于实际区域和第一样本检测区域的差异,调整第一检测模型的网络参数,并基于实际区域和第二样本检测区域的差异,调整第二检测模型的网络参数,故此,能够通过两个检测阶段实现对样本医学图像的检测,并利用一阶段检测得到的第一样本检测区域,提取出血管的检测分布信息,并将该检测分布信息作为二阶段检测的先验信息,以利用该检测分布信息对样本医学图像进一步进行检测,从而训练两阶段检测各自的检测模型,从而能够有利于提高图像检测的准确性。
在一些公开实施例中,分布获取模块93还配置为获取实际区域中血管的实际分布信息,第一调整模块95包括第一损失计算子模块,配置为基于实际分布信息,对实际区域和第一样本检测区域在各个位置处的差异进行加权处理,得到第一检测模型的第一损失值,第一调整模块95包括第二损失计算子模块,配置为基于实际分布信息和检测分布信息的差异,得到第一检测模型的第二损失值,第一调整模块95包括参数调整子模块,配置为基于第一损失值和第二损失值,调整第一检测模型的网络参数。
区别于前述实施例,通过获取实际区域中血管的实际分布信息,并利用实际分布信息,对实际区域和第一样本检测区域在各个位置处的差异进行加权处理,得到第一检测模型的第一损失值,并基于实际分布信息和检测分布信息的差异,得到第一检测模型的第二损失值,从而基于第一损失值和第二损失值,调整第一检测模型的网络参数,进而能够从血管的实际分布信息和检测分布信息之间差异的维度,以及基于实际分布信息加权后的实际区域和第一样本检测区域之间差异的维度,共同调整第一检测模型的网络参数,从而能够有利于提高第一检测模型的准确性。
在一些公开实施例中,分布获取模块93具体配置为对实际区域进行骨架提取,得到血管的实际骨架线,第一损失计算子模块具体配置为基于与各个位置对应的预设权值,分别对实际区域和第一样本检测区域在各个位置处的差异进行加权处理,得到第一检测模型的第一损失值;其中,各个位置至实际骨架线的距离与预设权值为负相关关系。
区别于前述实施例,通过对实际区域进行骨架提取,得到血管的实际骨架线,从而基于与各个位置对应的预设权值,分别对实际区域和第一样本检测区域在各个位置处的差异进行加权处理,得到第一检测模型的第一损失值,且各个位置至实际骨架线的距离与预设权值为负相关关系,能够有利于抑制远离实际骨架线的像素点,提高第一检测的准确性。
在一些公开实施例中,检测模型的训练装置90还包括数据增广模块,配置为对样本医学图像进行数据增广处理;其中,数据增广处理包括以下至少一种:按照预设旋转角度,对样本医学图像进行旋转;基于预设窗位和预设窗宽,对样本医学图像进行处理;将样本医学图像的像素值进行反转;调整样本医学图像的亮度;在样本医学图像中加入噪声;按照预设裁剪比例,对样本医学图像进行裁剪。
区别于前述实施例,通过对样本医学图像进行数据增广处理,能够有利于提高样本医学图像的多样性,降低检测模型出现过拟合的概率,提高检测模型的准确性。
请参阅图10,图10是本申请电子设备100一实施例的框架示意图。电子设备100包括相互耦接的存储器101和处理器102,处理器102配置为执行存储器101中存储的程序指令,以实现上述任一图像检测方法实施例的步骤,或实现上述任一检测模型的训练方法实施例中的步骤。在一个具体的实施场景中,电子设备100可以包括但不限于:微型计算机、服务器,此外,电子设备100还可以包括笔记本电脑、平板电脑等移动设备,在此不做限定。
具体而言,处理器102用于控制其自身以及存储器101以实现上述任一图像检测方法实施例的步骤,或实现上述任一检测模型的训练方法实施例中的步骤。处理器102还可以称为CPU(Central Processing Unit,中央处理单元)。处理器102可能是一种集成电路芯片,具有信号的处理能力。处理器102还可以是通用处理器、数字信号处理器(DigitalSignal Processor,DSP)、专用集成电路(Application Specific Integrated Circuit,ASIC)、现场可编程门阵列(Field-Programmable Gate Array,FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。另外,处理器102可以由集成电路芯片共同实现。
上述方案,能够提高图像检测的准确性。
请参阅图11,图11为本申请计算机可读存储介质110一实施例的框架示意图。计算机可读存储介质110存储有能够被处理器运行的程序指令111,程序指令111用于实现上述任一图像检测方法实施例的步骤,或实现上述任一检测模型的训练方法实施例中的步骤。
上述方案,能够提高图像检测的准确性。
在一些实施例中,本公开实施例提供的装置具有的功能或包含的模块可以用于执行上文方法实施例描述的方法,其具体实现可以参照上文方法实施例的描述,为了简洁,这里不再赘述。
上文对各个实施例的描述倾向于强调各个实施例之间的不同之处,其相同或相似之处可以互相参考,为了简洁,本文不再赘述。
在本申请所提供的几个实施例中,应该理解到,所揭露的方法和装置,可以通过其它的方式实现。例如,以上所描述的装置实施方式仅仅是示意性的,例如,模块或单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,例如单元或组件可以结合或者可以集成到另一个系统,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口,装置或单元的间接耦合或通信连接,可以是电性、机械或其它的形式。
作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施方式方案的目的。
另外,在本申请各个实施例中的各功能单元可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现,也可以采用软件功能单元的形式实现。
集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储介质中。基于这样的理解,本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)或处理器(processor)执行本申请各个实施方式方法的全部或部分步骤。而前述的存储介质包括:U盘、移动硬盘、只读存储器(ROM,Read-Only Memory)、随机存取存储器(RAM,Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。

Claims (18)

1.一种图像检测方法,其特征在于,包括:
获取目标对象的待测医学图像;
对所述待测医学图像进行第一检测,得到第一检测结果;其中,所述第一检测结果包括与所述目标对象关联的血管的第一检测区域;
获取所述第一检测区域中所述血管的分布信息;以及
基于所述分布信息对所述待测医学图像进行第二检测,得到第二检测结果,其中所述第二检测结果包括所述血管的第二检测区域。
2.根据权利要求1所述的方法,其特征在于,所述对所述待测医学图像进行第一检测,得到第一检测结果,包括:
对降采样后的所述待测医学图像进行所述第一检测,得到所述第一检测结果。
3.根据权利要求2所述的方法,其特征在于,所述基于所述分布信息对所述待测医学图像进行第二检测,得到第二检测结果,包括:
基于所述分布信息对所述待测医学图像包含的至少一个子图像进行所述第二检测,得到所述至少一个子图像中所述血管的子检测区域;以及
对所述至少一个子图像中所述血管的子检测区域进行重建,得到所述第二检测结果。
4.根据权利要求1至3任一项所述的方法,其特征在于,所述基于所述分布信息对所述待测医学图像进行第二检测,得到第二检测结果,包括:
接收用户对所述分布信息的反馈,并基于所述反馈对所述分布信息进行更新;以及
基于更新后的所述分布信息对所述待测医学图像进行所述第二检测,得到所述第二检测结果。
5.根据权利要求4所述的方法,其特征在于,在所述血管的第二检测区域由所述至少一个子图像中所述血管的子检测区域重建得到的情况下,所述基于更新后的所述分布信息对所述待测医学图像进行所述第二检测,得到所述第二检测结果,包括:
基于所述反馈,确定所述用户需要更新的目标子图像;
基于更新后的所述分布信息对所述目标子图像进行第二检测,以得到所述目标子图像中所述血管的更新的子检测区域;以及
基于所述更新的子检测区域,对所述待测医学图像中所述血管的第二检测区域进行更新,得到所述第二检测结果。
6.根据权利要求1至5任一项所述的方法,所述获取所述第一检测区域中所述血管的分布信息,包括:
对所述第一检测区域进行骨架提取,得到所述血管的骨架线。
7.根据权利要求1至6任一项所述的方法,其特征在于,所述对所述待测医学图像进行第一检测,得到第一检测结果,包括:
对所述待测医学图像进行编码,得到若干不同分辨率的第一特征图;
提取所述第一特征图的全局信息;
对所述第一特征图进行解码,得到所述若干不同分辨率的第二特征图;其中,所述第二特征图中融合有与所述第二特征图具有相同所述分辨率的所述第一特征图的全局信息;以及
对不同分辨率的所述第二特征图进行融合,得到所述第一检测结果。
8.根据权利要求7所述的方法,其特征在于,所述对所述待测医学图像进行编码,得到若干不同分辨率的第一特征图,包括:
利用第一检测模型的编码子网络对所述待测医学图像进行编码,得到对应不同分辨率的第一特征图;
所述提取所述第一特征图的全局信息,包括:
利用所述第一检测模型的全局上下文子网络提取不同分辨率的第一特征图的全局信息;
所述对所述第一特征图进行解码,得到所述若干不同分辨率的第二特征图,包括:
利用所述第一检测模型的解码子网络对所述第一特征图进行解码,得到对应不同分辨率的第二特征图;以及
所述对不同分辨率的所述第二特征图进行融合,得到所述第一检测结果,包括:
利用所述第一检测模型的融合子网络对不同分辨率的第二特征图进行融合,得到所述第一检测结果。
9.根据权利要求8所述的方法,其特征在于,所述基于所述分布信息对所述待测医学图像进行第二检测,得到第二检测结果,包括:
利用第二检测模型,基于所述分布信息对所述待测医学图像进行所述第二检测,得到所述血管的第二检测区域;
其中,所述第二检测模型和所述第一检测模型具有相同的网络结构。
10.根据权利要求1至9任一项所述的方法,其特征在于,所述目标对象包括至少一个分区,所述第一检测结果还包括所述至少一个分区的第一检测区域;
和/或,所述目标对象为肝脏,与所述目标对象关联的血管包括以下至少一者:下腔静脉、肝静脉、肝门脉。
11.一种检测模型的训练方法,其特征在于,包括:
获取目标对象的样本医学图像;其中,所述样本医学图像标注有与所述目标对象关联的血管的实际区域;
利用第一检测模型对所述样本医学图像进行第一检测,得到第一样本检测结果;其中,所述第一样本检测结果包括所述血管的第一样本检测区域;
获取所述第一样本检测区域中所述血管的检测分布信息;
利用第二检测模型,基于所述检测分布信息对所述样本医学图像进行第二检测,得到所述血管的第二样本检测区域;
基于所述实际区域和所述第一样本检测区域的差异,调整所述第一检测模型的网络参数;以及
基于所述实际区域和所述第二样本检测区域的差异,调整所述第二检测模型的网络参数。
12.根据权利要求11所述的方法,其特征在于,所述方法还包括:
获取所述实际区域中所述血管的实际分布信息;
所述基于所述实际区域和所述第一样本检测区域的差异,调整所述第一检测模型的网络参数,包括:
基于所述实际分布信息,对所述实际区域和所述第一样本检测区域在各个位置处的差异进行加权处理,得到所述第一检测模型的第一损失值;
基于所述实际分布信息和所述检测分布信息的差异,得到所述第一检测模型的第二损失值;以及
基于所述第一损失值和所述第二损失值,调整所述第一检测模型的网络参数。
13.根据权利要求12所述的方法,其特征在于,所述获取所述实际区域中所述血管的实际分布信息,包括:
对所述实际区域进行骨架提取,得到所述血管的实际骨架线;
所述基于所述实际分布信息,对所述实际区域和所述第一样本检测区域在各个位置处的差异进行加权处理,得到所述第一检测模型的第一损失值,包括:
基于与所述各个位置对应的预设权值,分别对所述实际区域和所述第一样本检测区域在所述各个位置处的差异进行加权处理,得到所述第一检测模型的第一损失值;
其中,所述各个位置至所述实际骨架线的距离与所述预设权值为负相关关系。
14.根据权利要求11至13任一项所述的方法,其特征在于,在所述利用第一检测模型对所述样本医学图像进行第一检测,得到第一样本检测结果之前,所述方法还包括:
对所述样本医学图像进行数据增广处理;其中,所述数据增广处理包括以下至少一种:
按照预设旋转角度,对所述样本医学图像进行旋转;
基于预设窗位和预设窗宽,对所述样本医学图像进行处理;
将所述样本医学图像的像素值进行反转;
调整所述样本医学图像的亮度;
在所述样本医学图像中加入噪声;以及
按照预设裁剪比例,对所述样本医学图像进行裁剪。
15.一种图像检测装置,其特征在于,包括:
图像获取模块,配置为获取目标对象的待测医学图像;
第一检测模块,配置为对所述待测医学图像进行第一检测,得到第一检测结果;其中,所述第一检测结果包括与所述目标对象关联的血管的第一检测区域;
分布信息获取模块,配置为获取所述第一检测区域中所述血管的分布信息;以及
第二检测模块,配置为基于所述分布信息对所述待测医学图像进行第二检测,得到所述血管的第二检测区域。
16.一种检测模型的训练装置,其特征在于,包括:
样本获取模块,配置为获取目标对象的样本医学图像;其中,所述样本医学图像标注有与所述目标对象关联的血管的实际区域;
第一检测模块,配置为利用第一检测模型对所述样本医学图像进行第一检测,得到第一样本检测结果;其中,所述第一样本检测结果包括所述血管的第一样本检测区域;
分布信息获取模块,配置为获取所述第一样本检测区域中所述血管的检测分布信息;
第二检测模块,配置为利用第二检测模型,基于所述检测分布信息对所述样本医学图像进行第二检测,得到所述血管的第二样本检测区域;
第一调整模块,配置为基于所述实际区域和所述第一样本检测区域的差异,调整所述第一检测模型的网络参数;以及
第二调整模块,配置为利用所述实际区域和所述第二样本检测区域的差异,调整所述第二检测模型的网络参数。
17.一种电子设备,其特征在于,包括相互耦接的存储器和处理器,所述处理器配置为执行所述存储器中存储的程序指令,以实现权利要求1至10任一项所述的图像检测方法,或实现权利要求11至14任一项所述的检测模型的训练方法。
18.一种计算机可读存储介质,其上存储有程序指令,其特征在于,所述程序指令被处理器执行时实现权利要求1至10任一项所述的图像检测方法,或实现权利要求11至14任一项所述的检测模型的训练方法。
CN202011627271.1A 2020-12-31 2020-12-31 图像检测方法和检测模型的训练方法及相关装置、设备 Withdrawn CN112669293A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011627271.1A CN112669293A (zh) 2020-12-31 2020-12-31 图像检测方法和检测模型的训练方法及相关装置、设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011627271.1A CN112669293A (zh) 2020-12-31 2020-12-31 图像检测方法和检测模型的训练方法及相关装置、设备

Publications (1)

Publication Number Publication Date
CN112669293A true CN112669293A (zh) 2021-04-16

Family

ID=75412603

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011627271.1A Withdrawn CN112669293A (zh) 2020-12-31 2020-12-31 图像检测方法和检测模型的训练方法及相关装置、设备

Country Status (1)

Country Link
CN (1) CN112669293A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113436709A (zh) * 2021-07-23 2021-09-24 上海商汤智能科技有限公司 图像显示方法以及相关装置、设备
CN114842306A (zh) * 2022-07-01 2022-08-02 深圳市海清视讯科技有限公司 应用于视网膜病灶图像类型识别的模型训练方法、设备

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109788920A (zh) * 2016-10-25 2019-05-21 索尼公司 信息处理设备、信息处理方法以及程序
US20190159743A1 (en) * 2017-11-30 2019-05-30 Shenzhen Keya Medical Technology Corporation Methods and devices for performing three-dimensional blood vessel reconstruction using angiographic images
CN110009599A (zh) * 2019-02-01 2019-07-12 腾讯科技(深圳)有限公司 肝占位检测方法、装置、设备及存储介质
CN111091127A (zh) * 2019-12-16 2020-05-01 腾讯科技(深圳)有限公司 一种图像检测方法、网络模型训练方法以及相关装置
CN111508019A (zh) * 2020-03-11 2020-08-07 上海商汤智能科技有限公司 目标检测方法及其模型的训练方法及相关装置、设备
CN111539947A (zh) * 2020-04-30 2020-08-14 上海商汤智能科技有限公司 图像检测方法及相关模型的训练方法和相关装置、设备
JPWO2019087674A1 (ja) * 2017-10-31 2020-11-12 富士フイルム株式会社 ずれ検出装置、方法およびプログラム
US20200364863A1 (en) * 2018-05-14 2020-11-19 Tencent Technology (Shenzhen) Company Limited Object recognition method and device, and storage medium
CN111968070A (zh) * 2020-04-22 2020-11-20 深圳睿心智能医疗科技有限公司 一种基于三维建模的血管检测方法及装置

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109788920A (zh) * 2016-10-25 2019-05-21 索尼公司 信息处理设备、信息处理方法以及程序
JPWO2019087674A1 (ja) * 2017-10-31 2020-11-12 富士フイルム株式会社 ずれ検出装置、方法およびプログラム
US20190159743A1 (en) * 2017-11-30 2019-05-30 Shenzhen Keya Medical Technology Corporation Methods and devices for performing three-dimensional blood vessel reconstruction using angiographic images
US20200364863A1 (en) * 2018-05-14 2020-11-19 Tencent Technology (Shenzhen) Company Limited Object recognition method and device, and storage medium
CN110009599A (zh) * 2019-02-01 2019-07-12 腾讯科技(深圳)有限公司 肝占位检测方法、装置、设备及存储介质
CN111091127A (zh) * 2019-12-16 2020-05-01 腾讯科技(深圳)有限公司 一种图像检测方法、网络模型训练方法以及相关装置
CN111508019A (zh) * 2020-03-11 2020-08-07 上海商汤智能科技有限公司 目标检测方法及其模型的训练方法及相关装置、设备
CN111968070A (zh) * 2020-04-22 2020-11-20 深圳睿心智能医疗科技有限公司 一种基于三维建模的血管检测方法及装置
CN111539947A (zh) * 2020-04-30 2020-08-14 上海商汤智能科技有限公司 图像检测方法及相关模型的训练方法和相关装置、设备

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
王娜;傅迎华;蒋念平;: "基于监督的全卷积神经网络视网膜血管分割", 软件导刊, no. 08, pages 45 - 48 *
赵喜林;: "模糊增强和极坐标下强度剖面的肝脏血管分割算法", 浙江工贸职业技术学院学报, no. 02, pages 48 - 51 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113436709A (zh) * 2021-07-23 2021-09-24 上海商汤智能科技有限公司 图像显示方法以及相关装置、设备
CN114842306A (zh) * 2022-07-01 2022-08-02 深圳市海清视讯科技有限公司 应用于视网膜病灶图像类型识别的模型训练方法、设备

Similar Documents

Publication Publication Date Title
Bashir et al. A comprehensive review of deep learning-based single image super-resolution
Liu et al. Perception consistency ultrasound image super-resolution via self-supervised CycleGAN
CN111127482B (zh) 基于深度学习的ct影像肺气管的分割方法及系统
Trinh et al. Novel example-based method for super-resolution and denoising of medical images
CN106506981B (zh) 生成高动态范围图像的设备和方法
Chun et al. MRI super‐resolution reconstruction for MRI‐guided adaptive radiotherapy using cascaded deep learning: In the presence of limited training data and unknown translation model
CN111476745B (zh) 一种进行运动模糊超分辨的多分支网络及方法
CN113012172A (zh) 一种基于AS-UNet的医学图像分割方法及系统
CN111291825A (zh) 病灶分类模型训练方法、装置、计算机设备和存储介质
CN112669293A (zh) 图像检测方法和检测模型的训练方法及相关装置、设备
CN114742799B (zh) 基于自监督异构网络的工业场景未知类型缺陷分割方法
CN105488759B (zh) 一种基于局部回归模型的图像超分辨率重建方法
CN113362331A (zh) 图像分割方法、装置、电子设备及计算机存储介质
CN113160380B (zh) 三维磁共振影像超分辨重建方法、电子设备和存储介质
Guan et al. Srdgan: learning the noise prior for super resolution with dual generative adversarial networks
CN115937794B (zh) 小目标对象检测方法、装置、电子设备及存储介质
CN112102259A (zh) 一种基于边界引导深度学习的图像分割算法
CN110930409A (zh) 一种基于深度学习的盐体语义分割方法及语义分割模型
CN110211193A (zh) 三维ct层间图像插值修复与超分辨处理方法及装置
Fang et al. Arbitrary scale super resolution network for satellite imagery
CN116778016A (zh) 一种mri图像重建方法、系统及介质
CN113033510B (zh) 图像变化检测模型的训练和检测方法、设备及存储介质
CN114841870A (zh) 图像处理方法、相关装置和系统
Singh et al. Choice of low resolution sample sets for efficient super-resolution signal reconstruction
CN112508776A (zh) 动作迁移方法、装置和电子设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WW01 Invention patent application withdrawn after publication
WW01 Invention patent application withdrawn after publication

Application publication date: 20210416