CN112489043A - 心脏疾病检测装置、模型训练方法及存储介质 - Google Patents

心脏疾病检测装置、模型训练方法及存储介质 Download PDF

Info

Publication number
CN112489043A
CN112489043A CN202011519245.7A CN202011519245A CN112489043A CN 112489043 A CN112489043 A CN 112489043A CN 202011519245 A CN202011519245 A CN 202011519245A CN 112489043 A CN112489043 A CN 112489043A
Authority
CN
China
Prior art keywords
video
sample
echocardiographic
videos
echocardiography
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202011519245.7A
Other languages
English (en)
Inventor
邵人杰
赵明昌
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Wuxi Chison Medical Technologies Co Ltd
Original Assignee
Wuxi Chison Medical Technologies Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Wuxi Chison Medical Technologies Co Ltd filed Critical Wuxi Chison Medical Technologies Co Ltd
Priority to CN202011519245.7A priority Critical patent/CN112489043A/zh
Publication of CN112489043A publication Critical patent/CN112489043A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • G06T7/0012Biomedical image inspection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/21Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/25Fusion techniques
    • G06F18/253Fusion techniques of extracted features
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • G06N3/045Combinations of networks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/40Scenes; Scene-specific elements in video content
    • G06V20/41Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/40Scenes; Scene-specific elements in video content
    • G06V20/46Extracting features or characteristics from the video content, e.g. video fingerprints, representative shots or key frames
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10016Video; Image sequence
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10132Ultrasound image
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30004Biomedical image processing
    • G06T2207/30048Heart; Cardiac
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00Indexing scheme relating to image or video recognition or understanding
    • G06V2201/03Recognition of patterns in medical or anatomical images
    • G06V2201/031Recognition of patterns in medical or anatomical images of internal organs

Abstract

本发明涉及超声图像处理技术领域,具体公开了一种模型训练方法,其中,包括:获取样本超声信息,样本超声信息包括至少两个样本超声心动视频,每个样本超声心动视频所对应的病患的临床信息以及每个样本超声心动视频所对应的真实标签;将样本超声心动视频分为多个连续帧短视频;提取每个样本超声心动视频中的所有连续帧短视频的视频特征;融合每个样本超声心动视频中的所有连续帧短视频的视频特征;通过图神经网络算法对每个样本超声心动视频的视频特征进行聚合优化;训练用于获取超声心动视频的心脏疾病检测结果的分类器模型。本发明还公开了一种心脏疾病检测装置及存储介质。本发明提供的模型训练方法能够提高心脏疾病检测结果的准确度。

Description

心脏疾病检测装置、模型训练方法及存储介质
技术领域
本发明涉及超声图像处理技术领域,尤其涉及一种心脏疾病检测装置、模型训练方法及计算机可读存储介质。
背景技术
在超声诊断过程中,通常需要通过对超声视频的处理来得到检测结果,因此超声视频的处理最为关键。
现有技术中,通常采用传统的机器学习方法,比如支持向量机、逻辑回归、随机森林等,小部分是使用的2D版本的卷积神经网络来进行超声视频的疾病检测,例如进行心脏疾病的检测。而2D版本的卷积神经网络在进行超声视频的检测,一般都是抽取视频中的几张图片进行预处理(比如说使用神经网络来进行分割出心室心房面积)或不进行预处理,然后将图片输入到2D的卷积神经网络中进行图片分类,一张图片对应一个标签(有病或没病)来进行训练;测试的时候是通过抽取视频的图片输入到训练过后的2D卷积神经网络得到该视频所有抽取图片的标签,最终综合所有抽取图片的预测标签作为该视频的预测标签。
采用传统机器学习的方法和2D卷积神经网络类似,都是抽取视频中的图片进行一定的处理,采用传统机器学习分类需要手工提取图片的特征然后输入到传统机器学习分类器来进行分类,而采用2D卷积神经网络分类直接通过训练自动学习提取图片特征然后输入到多层感知器即神经网络中去分类,2D卷积神经网络提取特征是个全自动的过程不需要手工提取;2D卷积神经网络检测方法和传统机器学习方法基本上就是分类器上的不同,图片特征提取方式不同。
另外,现在虽然有使用3D卷积神经网络进行标签的训练,但是目前使用的3D卷积神经网络均是截取视频中的一个连续帧短视频对应整个视频的真实标签进行训练,该方式的局限性体现在,若整个视频的真实标签为患病,那么随机抽取的作为神经网络输入的一个连续帧短视频可能没有出现可以判断患病的特征,而患病的特征出现在与该连续帧短视频不重叠的其他连续帧短视频。这样的一个从没有体现患病的连续帧短视频到患病标签的映射是不够准确的,忽视了其他连续帧短视频在判断整个视频标签的联合作用,这里的映射指3D卷积神经网络。
发明内容
本发明提供了一种心脏疾病检测装置、模型训练方法及计算机可读存储介质,解决相关技术中存在的检测结果不准确的问题。
作为本发明的第一个方面,提供一种模型训练方法,其中,所述方法包括:
获取样本超声信息,所述样本超声信息包括至少两个样本超声心动视频,每个样本超声心动视频所对应的病患的临床信息以及每个样本超声心动视频所对应的真实标签,所述样本超声心动视频的真实标签包括患病标签和无病标签;
对于每个样本超声心动视频,将所述样本超声心动视频分为涵盖整个样本超声心动视频的多个连续帧短视频,多个连续帧短视频连续但不重叠;
提取每个样本超声心动视频中的所有连续帧短视频的视频特征;
融合每个样本超声心动视频中的所有连续帧短视频的视频特征,得到超声心动视频的视频特征;
通过图神经网络算法对每个样本超声心动视频的视频特征进行聚合优化,得到所述样本超声心动视频的优化视频特征;
根据各个样本超声心动视频的优化视频特征和相应的临床信息拼接得到的新特征以及对应样本超声心动视频的真实标签,训练用于获取超声心动视频的心脏疾病检测结果的分类器模型。
进一步地,所述通过图神经网络算法对每个样本超声心动视频的视频特征进行聚合优化,得到所述样本超声心动视频的优化视频特征,包括:
根据所有样本超声心动视频的视频特征创建图神经网络算法;
通过所述图神经网络算法优化所述样本所有超声心动视频的视频特征,得到样本超声心动视频的优化视频特征。
进一步地,所述根据各个样本超声心动视频的视频特征创建图神经网络算法,包括:
确定任意两个样本超声心动视频的视频特征是否满足预设条件;
根据图创建所述图神经网络算法,其中所述的图包括:图的顶点为所有样本超声心动视频的视频特征,将满足所述预设条件的样本超声心动视频的两个视频特征相连接作为图的边。
进一步地,所述确定任意两个样本超声心动视频的视频特征是否满足预设条件,包括:
检测任意两个样本超声心动视频的视频特征之间的欧式距离是否小于预设阈值。
进一步地,所述确定任意两个样本超声心动视频的视频特征是否满足预设条件,包括:
检测任意两个视频特征所对应的样本超声心动视频在经过用于提取连续帧短视频的视频特征的模型后得到的标签是否相同。
进一步地,所述图神经网络算法包括GCN算法、GraphSAGE算法和GAT算法中的任意一种。
进一步地,所述根据各个样本超声心动视频的优化视频特征和相应的临床信息拼接得到的新特征以及对应样本超声心动视频的真实标签,训练用于获取超声心动视频的心脏疾病检测结果的分类器模型,包括:
将各个所述样本超声心动视频的优化视频特征拼接对应的临床信息得到的新特征输入多层感知器,得到根据每个样本超声心动视频预测得到的所述心脏疾病的预测标签;
根据各个预测标签以及对应的真实标签调整所述多层感知器的参数,并得到训练后的所述分类器模型。
进一步地,所述提取每个样本超声心动视频中的涵盖整个视频连续但不重叠的多个连续帧短视频的视频特征,包括:
使用训练数据中的样本超声心动视频的连续帧短视频对应超声心动视频的真实标签训练3D卷积神经网络作为视频特征提取模型;
对所述视频特征提取模型进行动态卷积、均衡采样以及添加长时间特征库模块优化处理;
根据优化处理并训练后的视频特征提取模型提取各个样本超声心动视频中的所有连续帧短视频的视频特征。
作为本发明的第一个方面,提供一种心脏疾病检测装置,其中,包括:存储器和处理器,所述存储器与所述处理器通信连接,所述存储器内存储有计算机指令,所述处理器用于加载并执行所述计算机指令以实现如下步骤:
获取超声心动视频和所述超声心动视频所对应的临床信息;
将所述超声心动视频分为涵盖整个超声心动视频的多个连续帧短视频,多个连续帧短视频连续但不重叠;
提取所述超声心动视频中的所有连续帧短视频的视频特征;
融合所述超声心动视频中的所有连续帧短视频的视频特征,得到超声心动视频的视频特征;
通过图神经网络算法对所述超声心动视频的视频特征进行聚合优化,得到超声心动视频的优化视频特征;
将所述超声心动视频的优化视频特征拼接临床信息输入到训练后的分类器模型,得到心脏疾病的检测结果;所述训练后的分类器模型为根据样本超声信息训练得到的模型,所述样本超声信息包括多个样本超声心动视频、每个样本超声心动视频所对应的病患的临床信息以及每个样本超声心动视频所对应的真实标签,所述样本超声心动视频的真实标签包括患病标签和无病标签。
作为本发明的第一个方面,提供一种计算机可读存储介质,其特征在于,包括至少一条程序指令,所述至少一条程序指令被处理器加载并执行,以实现如下步骤:
获取超声心动视频和所述超声心动视频所对应的临床信息;
将所述超声心动视频分为涵盖整个超声心动视频的多个连续帧短视频,多个连续帧短视频连续但不重叠;
提取所述超声心动视频中的所有连续帧短视频的视频特征;
融合所述超声心动视频中的所有连续帧短视频的视频特征,得到超声心动视频的视频特征;
通过图神经网络算法对所述超声心动视频的视频特征进行聚合优化,得到超声心动视频的优化视频特征;
将所述超声心动视频的优化视频特征拼接临床信息输入到训练后的分类器模型,得到心脏疾病的检测结果;所述训练后的分类器模型为根据样本超声信息训练得到的模型,所述样本超声信息包括多个样本超声心动视频、每个样本超声心动视频所对应的病患的临床信息以及每个样本超声心动视频所对应的真实标签,所述样本超声心动视频的真实标签包括患病标签和无病标签。
本发明提供的模型训练方法,通过获取样本超声信息,其中样本超声信息包括了至少两个样本超声心动视频,每个样本超声心动视频所对应的病患的临床信息以及每个样本超声心动视频对应的真实标签,并对样本超声信息进行处理后进行训练得到心脏疾病检测结果的分类器模型。这种模型训练方法获得的心脏疾病检测结果的分类器模型由于采用了前述样本超声信息进行训练,在应用到心脏疾病检测中时可以提高心脏疾病检测结果的准确度。
本发明提供的心脏疾病检测装置,通过对超声心动视频的所有连续帧短视频均提取视频特征,并将提取后的连续帧短视频的视频特征进行融合,得到超声心动视频的视频特征,通过图神经网络对超声心动视频的视频特征进行聚合优化,得到优化视频特征,根据超声心动视频的优化视频特征拼接临床信息输入到通过前文所述的模型训练方法获取到的分类型模型中进行检测,得到心脏疾病的检测结果,这种心脏疾病检测装置由于采用了前文的模型训练方法获取到的分类型模型,能够使得检测到的心脏疾病的检测结果具有准确可靠的优势,从而使得心脏疾病检测更加可靠。
附图说明
附图是用来提供对本发明的进一步理解,并且构成说明书的一部分,与下面的具体实施方式一起用于解释本发明,但并不构成对本发明的限制。
图1为本发明提供的模型训练方法的方法流程图。
图2为本发明提供的连续帧短视频的视频特征提取示意图。
图3为本发明提供的图神经网络特征优化示意图。
图4为本发明提供的经过图神经网络算法优化后的超声心动视频的视频特征与临床信息特征输入多层感知器进行训练的示意图。
图5为本发明提供的心脏疾病检测装置实现心脏疾病检测流程图。
图6为本发明提供的心脏疾病检测装置的结构框图。
具体实施方式
需要说明的是,在不冲突的情况下,本发明中的实施例及实施例中的特征可以相互结合。下面将参考附图并结合实施例来详细说明本发明。
为了使本领域技术人员更好地理解本发明方案,下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分的实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都应当属于本发明保护的范围。
需要说明的是,本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象,而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换,以便这里描述的本发明的实施例。此外,术语“包括”和“具有”以及他们的任何变形,意图在于覆盖不排他的包括,例如,包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元,而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
请参考图1,其示出了本申请一个实施例提供的模型训练方法的方法流程图,如图1所示,所述方法包括:
S110、获取样本超声信息,所述样本超声信息包括至少两个样本超声心动视频,每个样本超声心动视频所对应的病患的临床信息以及每个样本超声心动视频所对应的真实标签,所述样本超声心动视频的真实标签包括患病标签和无病标签;
为了获取准确的心脏疾病检测装置,在一些实施方式中可以获取多个超声心动视频,每个超声心动视频最终均对应一个真实标签和一组临床信息,这样通过对多个超声心动视频和其对应的真实标签以及临床信息输入训练模型可以获得准确的心脏疾病检测装置。并且,实际实现时,为了提高训练得到的分类器模型的精度,样本超声心动视频的个数可以为成千上百个,比如,有1000个样本超声心动视频。
临床信息包括年龄,性别,身高,体重,不良习惯史,血压,疾病史,血常规中的至少一种指标。
S120、对于每个样本超声心动视频,将所述样本超声心动视频分为涵盖整个样本超声心动视频的多个连续帧短视频,多个连续帧短视频连续但不重叠;
另外,每个样本超声心动视频均可以划分为多个涵盖整个视频连续但不重叠的连续帧短视频,例如,若一个样本超声心动视频包括128帧,则可以划分为多个连续帧短视频,如0~31帧,32~63帧,64~95帧,96~127帧。当然还可以为其他划分方式,此处不做限定。
S130、提取每个样本超声心动视频中的多个连续帧短视频的视频特征;
为了能够获得更加可靠的分类器模型,此处需要提取每个样本超声心动视频中的所有连续帧短视频的视频特征。例如,若获取了50个样本超声心动视频,每个样本超声心动视频均包括4个连续帧短视频,则此处针对每个样本超声心动视频中的每个连续帧短视频的视频特征均进行提取,也就是说,50个样本超声心动视频,提取每个样本超声心动视频的4个连续帧短视频的视频特征。
在一些实施方式中,可以采用imagenet预训练的i3d模型的最后一个池化层提取1024维特征,也可以采用imagenet预训练的i3d模型的softmax分类层前一层提取400维特征,也可以采用超声心动视频的连续帧短视频训练后的i3d模型的最后一个池化层提取1024维特征,还可以采用超声心动视频的连续帧短视频训练后的i3d模型的softmax分类层前一层提取2维特征。
应当理解的是特征提取的方式有多种,此处仅列举了上述几种,可以采用上述几种中的任意一种,也可以采用其他特征提取的方式,此处不做限定。
在本发明实施例中,均以采用超声心动视频的连续帧短视频训练后的i3d模型的最后一个池化层提取1024维特征为例进行说明,这样提取到的每个连续帧短视频均包括1024维特征。
如图2所示,为视频特征提取的示意图。
为了使得提取视频特征更加高效方便,所述提取每个样本超声心动视频中的所有连续帧短视频的视频特征,包括:
使用训练数据中的样本超声心动视频的连续帧短视频对应超声心动视频的真实标签训练3D卷积神经网络作为视频特征提取模型;
对所述视频特征提取模型进行动态卷积、均衡采样以及添加长时间特征库模块优化处理;
根据优化处理并训练后的视频特征提取模型提取各个样本超声心动视频中的多个连续帧短视频的视频特征。
应当理解的是,还可以对视频特征提取模型做一些细节上的修改,例如修改损失函数等,使其提取更加准确高效。通过该视频特征提取模型可以实现对每个连续帧短视频的视频特征的提取。
S140、融合每个样本超声心动视频中的所有连续帧短视频的视频特征,得到超声心动视频的视频特征;
由于每个样本超声心动视频均包括多个连续帧短视频,这些连续帧短视频的视频特征被分别提取后,需要进行一定融合成为一个固定尺寸的视频特征。融合方式可以包括roi pooling或average或lstm。
例如,前文可知,每个连续帧短视频包括1024维特征,融合样本超声心动视频所包括的所有连续帧短视频时进行相加然后再平均,最终得到一个1024维特征。如某样本超声心动视频包括4个连续帧短视频,则4个1024维特征相加再平均后,得到一个1024维特征,最后融合得到的这个1024维特征即为该样本超声心动视频的视频特征。
S150、通过图神经网络算法对每个样本超声心动视频的视频特征进行聚合优化,得到所述样本超声心动视频的优化视频特征;
具体地,为了获得样本超声心动视频的优化视频特征,可以通过以下方式实现:
根据各个样本超声心动视频的视频特征创建图神经网络算法;
通过所述图神经网络算法优化所述样本所有超声心动视频的视频特征,得到样本超声心动视频的优化视频特征。
在一些实施方式中,所述根据各个样本超声心动视频的视频特征创建图神经网络算法,包括:
确定任意两个样本超声心动视频的视频特征是否满足预设条件;
根据图创建所述图神经网络算法,其中所述的图包括:图的顶点为所有样本超声心动视频的视频特征,将满足所述预设条件的样本超声心动视频的两个视频特征相连接作为图的边。
在创建所述图神经网络时,可以简单理解为,将每个样本超声心动视频的视频特征作为图的顶点;顶点与顶点之间根据连接准则进行连接。
应当理解的是,如图3所示,在创建图神经网络时,每个超声心动视频的视频特征均作为图的顶点,顶点与顶点之间的连接准则可以采用欧式距离或者是经过超声心动视频训练集训练的i3d模型的输出的标签是否相同来进行判断。
在一些实施方式中,所述确定任意两个样本超声心动视频的视频特征是否满足预设条件,包括:
检测任意两个样本超声心动视频的视频特征之间的欧式距离是否小于预设阈值。
若两个样本超声心动视频的视频特征之间的欧式距离小于预设阈值,则判定两个样本超声心动视频的视频特征相似,该两个样本超声心动视频的视频特征分别所对应的两个顶点连接。
需要说明的是,该预设阈值可以根据需要进行设定,此处不做限定。
在一些实施方式中,所述确定任意两个样本超声心动视频的视频特征是否满足预设条件,包括:
检测任意两个视频特征所对应的样本超声心动视频在经过用于提取连续帧短视频视频特征的模型后得到的标签是否相同。
若两个样本超声心动视频的视频特征最终获得的心脏疾病的标签相同,则该两个所述超声心动视频的视频特征分别所对应的两个顶点连接。
需要说明的是,所述图神经网络算法包括GCN算法、GraphSAGE算法和GAT算法中的任意一种。
应当理解的是,对于任意一种图神经网络算法,其输入均为:开始时时间点0的顶点空间
Figure BDA0002848432100000071
代表顶点空间V0内的第i个视频特征(比如1024维),j代表时间点0;输出均为:结束时时间点T的顶点空间
Figure BDA0002848432100000072
从时间点0开始到时间点T不断重复一次以下操作,即对于所有该时间点的顶点特征
Figure BDA0002848432100000073
进行顶点特征更新。
而对于更新公式,不同的图优化算法有区别,下面分别说明。
(1)当采用GCN算法时,GCN算法的更新公式如下:
Figure BDA0002848432100000074
其中,Wt表示时间点t时间点的可训练权重,在时间点t对于所有顶点的更新使用的该权重均相同,Ni表示与图4中第i个视频特征相连的顶点,在优化过程中图中的顶点与顶点之间的连接保持不变,cij表示与顶点
Figure BDA0002848432100000075
相连顶点的个数乘以与顶点
Figure BDA0002848432100000076
相连顶点的个数相乘后数字的根号,sigmoid表示sigmoid函数。
上述GCN更新公式就是使用与某个顶点相连的顶点来更新该顶点,GraphSAGE,GAT的总体思想也是这样。
(2)当采用GraphSAGE算法时,GraphSAGE算法的更新公式为:
Figure BDA0002848432100000077
Figure BDA0002848432100000078
AGGREGATE表示聚合与图中第i个顶点特征相连顶点的特征的函数,可为池化,LSTM或求平均,CONCAT表示串联后面两个特征。
(3)当采用GAT算法时,GAT算法的更新公式为:
Figure BDA0002848432100000079
Figure BDA0002848432100000081
其中,αij计算的是顶点特征
Figure BDA0002848432100000082
与顶点特征
Figure BDA0002848432100000083
的相关系数,LeakReLU表示LeakReLU激活含函数,||表示串联,
Figure BDA0002848432100000084
表示可训练权重,左上角T表示转置。
需要说明的是,通过上述图神经网络的优化,可以使得内容相似或相关超声心动视频的视频特征之间更加靠近,从而提高预测标签的可靠性。
S160、根据各个样本超声心动视频的优化视频特征和相应的临床信息拼接得到的新特征以及对应样本超声心动视频的真实标签,训练用于获取超声心动视频的心脏疾病检测结果的分类器模型。
在一些实施方式中,本步骤包括:将各个所述样本超声心动视频的优化视频特征拼接对应的临床信息得到的新特征输入多层感知器,得到根据每个样本超声心动视频预测得到的所述心脏疾病的预测标签;
根据各个预测标签以及对应的真实标签调整所述多层感知器的参数,并得到训练后的所述分类器模型。
图4所示为将一个所述超声心动视频的优化视频特征1024维特征输入和相应的26维临床信息特征拼接得到1050维的新特征输入到训练后的多层感知器中,得到一个预测标签。
应当理解的是,若将多个样本超声心动视频的优化视频特征和相应的临床信息拼接得到的新特征均输入到多层感知器进行训练,则得到多个预测标签。例如,将50个超声心动视频的优化视频特征和对应临床信息拼接后均输入到多层感知器进行训练,则相应得到50个预测标签。
如图4所示,在所述超声心动视频的优化视频特征输入到多层感知器时加入该超声心动视频所对应病人的临床信息,此处具体可以包括年龄,性别,身高,体重,不良习惯史,血压,疾病史,血常规各种指标,若病人的临床信息指标较多,数据缺失也很多,使用前进行数据清洗保留数据缺失少于30%的指标。同时还单独将疾病指标作为输入训练另一个多层感知器疾病分类模型来确定某个指标的显著性从而减少在训练视频特征加临床信息疾病分类模型时的临床指标数目。另一方面由于临床指标不太容易全部完整的取得,取得的代价较大,所以需要尽量减少显著性低的指标,那采集临床数据时候的工作量和流程都能大大优化。
如图4所示,以前文所述的所述超声心动视频的优化视频特征为1024维特征为例,若加入的临床信息特征为26维特征,则将1024维特征与26维特征分别做归一化处理后,进行串联,得到一个1050维的拼接特征,将该拼接特征输入和对应视频的真实标签至多层感知器进行训练。
对于多个超声心动视频均做上述同样的处理,得到训练后的分类器模型。
综上所述,本发明提供的模型训练方法,通过获取样本超声信息,其中样本超声信息包括了至少两个样本超声心动视频,每个样本超声心动视频所对应的病患的临床信息以及每个样本超声心动视频对应的真实标签,并对样本超声信息进行处理后进行训练得到心脏疾病检测结果的分类器模型。这种模型训练方法获得的心脏疾病检测结果的分类器模型由于采用了前述样本超声信息进行训练,在应用到心脏疾病检测中时可以提高心脏疾病检测结果的准确度。
在训练得到分类器模型之后,即可通过该训练后的分类器模型对超声心动视频的心脏疾病进行预测,本申请还提供了一种心脏疾病检测装置,图5是根据本发明实施例提供的心脏疾病检测装置实现心脏疾病检测流程图,心脏疾病检测装置包括:存储器和处理器,所述存储器与所述处理器通信连接,所述存储器内存储有计算机指令,所述处理器用于加载并执行所述计算机指令以实现如下步骤:如图5所示,包括:
S510,获取超声心动视频和所述超声心动视频所对应的临床信息;
S520,将所述超声心动视频分为涵盖整个超声心动视频的多个连续帧短视频,多个连续帧短视频连续但不重叠;
S530,提取所述超声心动视频中的所有连续帧短视频的视频特征;
S540,融合所述超声心动视频中的所有连续帧短视频的视频特征,得到超声心动视频的视频特征;
S510至S540与上述实施例中的S110-S240的实现类似,在此不再赘述。
S550,通过图神经网络算法对所述超声心动视频的视频特征进行聚合优化,得到超声心动视频的优化视频特征;
将超声心动视频的视频特征输入至图神经网络中,即可得到优化后的优化视频特征。
S560,将所述超声心动视频的优化视频特征拼接临床信息输入到训练后的分类器模型,得到心脏疾病的检测结果;所述训练后的分类器模型为根据样本超声信息训练得到的模型,所述样本超声信息包括多个样本超声心动视频、每个样本超声心动视频所对应的病患的临床信息以及每个样本超声心动视频所对应的真实标签,所述样本超声心动视频的真实标签包括患病标签和无病标签。
本发明提供的心脏疾病检测装置,通过对超声心动视频的多个连续帧短视频均提取视频特征,并将提取后的连续帧短视频的视频特征进行融合,得到超声心动视频的视频特征,通过图神经网络对超声心动视频的视频特征进行聚合优化,得到优化视频特征,根据超声心动视频的优化视频特征拼接临床信息输入到通过前文所述的模型训练方法获取到的分类型模型中进行检测,得到心脏疾病的检测结果,这种心脏疾病检测装置由于采用了前文的模型训练方法获取到的分类型模型,能够使得检测到的心脏疾病的检测结果具有准确可靠的优势,从而使得心脏疾病检测更加可靠。
在本发明实施例中,所述心脏疾病检测装置可以包括至少一个处理器61,例如CPU(Central Processing Unit,中央处理器),至少一个通信接口63,存储器64,至少一个通信总线62。其中,通信总线62用于实现这些组件之间的连接通信。其中,通信接口63可以包括显示屏(Display)、键盘(Keyboard),可选通信接口63还可以包括标准的有线接口、无线接口。存储器64可以是高速RAM存储器(Random Access Memory,易挥发性随机存取存储器),也可以是非不稳定的存储器(non-volatile memory),例如至少一个磁盘存储器。存储器64可选的还可以是至少一个位于远离前述处理器61的存储装置。其中,存储器64中存储应用程序,且处理器61调用存储器64中存储的程序代码,以用于执行图5所示步骤。
其中,通信总线62可以是外设部件互连标准(peripheral componentinterconnect,简称PCI)总线或扩展工业标准结构(extended industry standardarchitecture,简称EISA)总线等。通信总线62可以分为地址总线、数据总线、控制总线等。为便于表示,图6中仅用一条粗线表示,但并不表示仅有一根总线或一种类型的总线。
其中,存储器64可以包括易失性存储器(英文:volatile memory),例如随机存取存储器(英文:random-access memory,缩写:RAM);存储器也可以包括非易失性存储器(英文:non-volatile memory),例如快闪存储器(英文:flash memory),硬盘(英文:hard diskdrive,缩写:HDD)或固态硬盘(英文:solid-state drive,缩写:SSD);存储器64还可以包括上述种类的存储器的组合。
其中,处理器61可以是中央处理器(英文:central processing unit,缩写:CPU),网络处理器(英文:network processor,缩写:NP)或者CPU和NP的组合。
其中,处理器61还可以进一步包括硬件芯片。上述硬件芯片可以是专用集成电路(英文:application-specific integrated circuit,缩写:ASIC),可编程逻辑器件(英文:programmable logic device,缩写:PLD)或其组合。上述PLD可以是复杂可编程逻辑器件(英文:complex programmable logic device,缩写:CPLD),现场可编程逻辑门阵列(英文:field-programmable gate array,缩写:FPGA),通用阵列逻辑(英文:generic arraylogic,缩写:GAL)或其任意组合。
可选地,存储器64还用于存储程序指令。处理器61可以调用程序指令,实现如本发明图5实施例中所示的步骤。
本发明实施例还提供了一种非暂态计算机可读存储介质,所述计算机可读存储介质存储有计算机可执行指令,该计算机可执行指令可执行图5所示步骤。其中,所述存储介质可为磁碟、光盘、只读存储记忆体(Read-Only Memory,ROM)、随机存储记忆体(RandomAccess Memory,RAM)、快闪存储器(Flash Memory)、硬盘(Hard Disk Drive,缩写:HDD)或固态硬盘(Solid-State Drive,SSD)等;所述存储介质还可以包括上述种类的存储器的组合。
可以理解的是,以上实施方式仅仅是为了说明本发明的原理而采用的示例性实施方式,然而本发明并不局限于此。对于本领域内的普通技术人员而言,在不脱离本发明的精神和实质的情况下,可以做出各种变型和改进,这些变型和改进也视为本发明的保护范围。

Claims (10)

1.一种模型训练方法,其特征在于,所述方法包括:
获取样本超声信息,所述样本超声信息包括至少两个样本超声心动视频,每个样本超声心动视频所对应的病患的临床信息以及每个样本超声心动视频所对应的真实标签,所述样本超声心动视频的真实标签包括患病标签和无病标签;
对于每个样本超声心动视频,将所述样本超声心动视频分为涵盖整个样本超声心动视频的多个连续帧短视频,多个连续帧短视频连续但不重叠;
提取每个样本超声心动视频中的所有连续帧短视频的视频特征;
融合每个样本超声心动视频中的所有连续帧短视频的视频特征,得到超声心动视频的视频特征;
通过图神经网络算法对每个样本超声心动视频的视频特征进行聚合优化,得到所述样本超声心动视频的优化视频特征;
根据各个样本超声心动视频的优化视频特征和相应的临床信息拼接得到的新特征以及对应样本超声心动视频的真实标签,训练用于获取超声心动视频的心脏疾病检测结果的分类器模型。
2.根据权利要求1所述的方法,其特征在于,所述通过图神经网络算法对每个样本超声心动视频的视频特征进行聚合优化,得到所述样本超声心动视频的优化视频特征,包括:
根据各个样本超声心动视频的视频特征创建图神经网络算法;
通过所述图神经网络算法优化所述所有样本超声心动视频的视频特征,得到样本超声心动视频的优化视频特征。
3.根据权利要求2所述的方法,其特征在于,所述根据各个样本超声心动视频的视频特征创建图神经网络算法,包括:
确定任意两个样本超声心动视频的视频特征是否满足预设条件;
根据图创建所述图神经网络算法,其中所述的图包括:图的顶点为所有样本超声心动视频的视频特征,将满足所述预设条件的样本超声心动视频的两个视频特征相连接作为图的边。
4.根据权利要求3所述的方法,其特征在于,所述确定任意两个样本超声心动视频的视频特征是否满足预设条件,包括:
检测任意两个样本超声心动视频的视频特征之间的欧式距离是否小于预设阈值。
5.根据权利要求3所述的方法,其特征在于,所述确定任意两个样本超声心动视频的视频特征是否满足预设条件,包括:
检测任意两个视频特征所对应的样本超声心动视频在经过用于提取连续帧短视频的视频特征的模型后得到的标签是否相同。
6.根据权利要求3所述的方法,其特征在于,所述图神经网络算法包括GCN算法、GraphSAGE算法和GAT算法中的任意一种。
7.根据权利要求1所述的方法,其特征在于,所述根据各个样本超声心动视频的优化视频特征和相应的临床信息拼接得到的新特征以及对应样本超声心动视频的真实标签,训练用于获取超声心动视频的心脏疾病检测结果的分类器模型,包括:
将各个所述样本超声心动视频的优化视频特征拼接对应的临床信息得到的新特征输入多层感知器,得到根据每个样本超声心动视频预测得到的所述心脏疾病的预测标签;
根据各个预测标签以及对应的真实标签调整所述多层感知器的参数,并得到训练后的所述分类器模型。
8.根据权利要求1所述的方法,其特征在于,所述提取每个样本超声心动视频中的涵盖整个视频连续但不重叠的多个连续帧短视频的视频特征,包括:
使用训练数据中的样本超声心动视频的连续帧短视频对应超声心动视频的真实标签训练3D卷积神经网络作为视频特征提取模型;
对所述视频特征提取模型进行动态卷积、均衡采样以及添加长时间特征库模块优化处理;
根据优化处理并训练后的视频特征提取模型提取各个样本超声心动视频中的所有连续帧短视频的视频特征。
9.一种心脏疾病检测装置,其特征在于,包括:存储器和处理器,所述存储器与所述处理器通信连接,所述存储器内存储有计算机指令,所述处理器用于加载并执行所述计算机指令以实现如下步骤:
获取超声心动视频和所述超声心动视频所对应的临床信息;
将所述超声心动视频分为涵盖整个超声心动视频的多个连续帧短视频,多个连续帧短视频连续但不重叠;
提取所述超声心动视频中的所有连续帧短视频的视频特征;
融合所述超声心动视频中的所有连续帧短视频的视频特征,得到超声心动视频的视频特征;
通过图神经网络算法对所述超声心动视频的视频特征进行聚合优化,得到超声心动视频的优化视频特征;
将所述超声心动视频的优化视频特征拼接临床信息输入到训练后的分类器模型,得到心脏疾病的检测结果;所述训练后的分类器模型为根据样本超声信息训练得到的模型,所述样本超声信息包括多个样本超声心动视频、每个样本超声心动视频所对应的病患的临床信息以及每个样本超声心动视频所对应的真实标签,所述样本超声心动视频的真实标签包括患病标签和无病标签。
10.一种计算机可读存储介质,其特征在于,包括至少一条程序指令,所述至少一条程序指令被处理器加载并执行,以实现如下步骤:
获取超声心动视频和所述超声心动视频所对应的临床信息;
将所述超声心动视频分为涵盖整个超声心动视频的多个连续帧短视频,多个连续帧短视频连续但不重叠;
提取所述超声心动视频中的所有连续帧短视频的视频特征;
融合所述超声心动视频中的所有连续帧短视频的视频特征,得到超声心动视频的视频特征;
通过图神经网络算法对所述超声心动视频的视频特征进行聚合优化,得到超声心动视频的优化视频特征;
将所述超声心动视频的优化视频特征拼接临床信息输入到训练后的分类器模型,得到心脏疾病的检测结果;所述训练后的分类器模型为根据样本超声信息训练得到的模型,所述样本超声信息包括多个样本超声心动视频、每个样本超声心动视频所对应的病患的临床信息以及每个样本超声心动视频所对应的真实标签,所述样本超声心动视频的真实标签包括患病标签和无病标签。
CN202011519245.7A 2020-12-21 2020-12-21 心脏疾病检测装置、模型训练方法及存储介质 Pending CN112489043A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011519245.7A CN112489043A (zh) 2020-12-21 2020-12-21 心脏疾病检测装置、模型训练方法及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011519245.7A CN112489043A (zh) 2020-12-21 2020-12-21 心脏疾病检测装置、模型训练方法及存储介质

Publications (1)

Publication Number Publication Date
CN112489043A true CN112489043A (zh) 2021-03-12

Family

ID=74915169

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011519245.7A Pending CN112489043A (zh) 2020-12-21 2020-12-21 心脏疾病检测装置、模型训练方法及存储介质

Country Status (1)

Country Link
CN (1) CN112489043A (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113180737A (zh) * 2021-05-06 2021-07-30 中国人民解放军总医院 基于人工智能的卵圆孔闭合检测方法、系统、设备及介质
CN113744287A (zh) * 2021-10-13 2021-12-03 推想医疗科技股份有限公司 一种图像处理方法、装置、电子设备及存储介质
CN115761381A (zh) * 2022-12-14 2023-03-07 安徽鲲隆康鑫医疗科技有限公司 超声心动图的分类方法、分类装置

Citations (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20070276226A1 (en) * 2006-05-03 2007-11-29 Roy Tal Enhanced ultrasound image display
WO2017206023A1 (zh) * 2016-05-30 2017-12-07 深圳迈瑞生物医疗电子股份有限公司 一种心脏容积识别分析系统和方法
CN107609513A (zh) * 2017-09-12 2018-01-19 北京小米移动软件有限公司 视频类型确定方法及装置
CN109146872A (zh) * 2018-09-03 2019-01-04 北京邮电大学 基于深度学习和光流法的心脏冠状动脉影像分割识别方法
CN110009640A (zh) * 2018-11-20 2019-07-12 腾讯科技(深圳)有限公司 处理心脏视频的方法、设备和可读介质
CN110502988A (zh) * 2019-07-15 2019-11-26 武汉大学 视频中的组群定位与异常行为检测方法
CN110570409A (zh) * 2019-09-05 2019-12-13 李胜利 基于混合卷积网络获取胎儿四腔心切面心动周期视频方法
CN110742653A (zh) * 2019-10-31 2020-02-04 无锡祥生医疗科技股份有限公司 心动周期的确定方法及超声设备
CN111008957A (zh) * 2019-11-19 2020-04-14 北京推想科技有限公司 医疗信息处理方法和装置
US20200234144A1 (en) * 2019-01-18 2020-07-23 Uber Technologies, Inc. Generating training datasets for training neural networks
CN111444878A (zh) * 2020-04-09 2020-07-24 Oppo广东移动通信有限公司 一种视频分类方法、装置及计算机可读存储介质
CN111493935A (zh) * 2020-04-29 2020-08-07 中国人民解放军总医院 基于人工智能的超声心动图自动预测识别方法及系统
CN111783672A (zh) * 2020-07-01 2020-10-16 哈尔滨工业大学 一种提高桥梁动位移精度的图像特征辨识方法
CN111832351A (zh) * 2019-04-18 2020-10-27 杭州海康威视数字技术股份有限公司 一种事件检测方法、装置和计算机设备
CN111898730A (zh) * 2020-06-17 2020-11-06 西安交通大学 一种利用图卷积神经网络结构加速的结构优化设计方法

Patent Citations (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20070276226A1 (en) * 2006-05-03 2007-11-29 Roy Tal Enhanced ultrasound image display
WO2017206023A1 (zh) * 2016-05-30 2017-12-07 深圳迈瑞生物医疗电子股份有限公司 一种心脏容积识别分析系统和方法
CN107609513A (zh) * 2017-09-12 2018-01-19 北京小米移动软件有限公司 视频类型确定方法及装置
CN109146872A (zh) * 2018-09-03 2019-01-04 北京邮电大学 基于深度学习和光流法的心脏冠状动脉影像分割识别方法
CN110009640A (zh) * 2018-11-20 2019-07-12 腾讯科技(深圳)有限公司 处理心脏视频的方法、设备和可读介质
US20200234144A1 (en) * 2019-01-18 2020-07-23 Uber Technologies, Inc. Generating training datasets for training neural networks
CN111832351A (zh) * 2019-04-18 2020-10-27 杭州海康威视数字技术股份有限公司 一种事件检测方法、装置和计算机设备
CN110502988A (zh) * 2019-07-15 2019-11-26 武汉大学 视频中的组群定位与异常行为检测方法
CN110570409A (zh) * 2019-09-05 2019-12-13 李胜利 基于混合卷积网络获取胎儿四腔心切面心动周期视频方法
CN110742653A (zh) * 2019-10-31 2020-02-04 无锡祥生医疗科技股份有限公司 心动周期的确定方法及超声设备
CN111008957A (zh) * 2019-11-19 2020-04-14 北京推想科技有限公司 医疗信息处理方法和装置
CN111444878A (zh) * 2020-04-09 2020-07-24 Oppo广东移动通信有限公司 一种视频分类方法、装置及计算机可读存储介质
CN111493935A (zh) * 2020-04-29 2020-08-07 中国人民解放军总医院 基于人工智能的超声心动图自动预测识别方法及系统
CN111898730A (zh) * 2020-06-17 2020-11-06 西安交通大学 一种利用图卷积神经网络结构加速的结构优化设计方法
CN111783672A (zh) * 2020-07-01 2020-10-16 哈尔滨工业大学 一种提高桥梁动位移精度的图像特征辨识方法

Non-Patent Citations (6)

* Cited by examiner, † Cited by third party
Title
HENDRIK BURWINKEL等: "Adaptive Image-Feature Learning for Disease Classification Using Inductive Graph Networks", 《INTERNATIONAL CONFERENCE ON MEDICAL IMAGE COMPUTING AND COMPUTER-ASSISTED INTERVENTION MICCAI 2019》, 31 December 2019 (2019-12-31), pages 640 *
Y.HUANG 等: "Semi-Supervised Multimodality Learning With Graph Convolutional Neural Networks For Disease Diagnosis", 《2020 IEEE INTERNATIONAL CONFERENCE ON IMAGE PROCESSING (ICIP)30 SEPTEMBER》, 30 September 2020 (2020-09-30), pages 2451 - 2455 *
YIFU LI 等: "Classifying relations in clinical narratives using segment graph convolutional and recurrent neural networks (Seg-GCRNs)", 《 JOURNAL OF THE AMERICAN MEDICAL INFORMATICS ASSOCIATION》, vol. 26, no. 3, 31 March 2019 (2019-03-31), pages 262 *
YIMIN HOU 等: "Deep Feature Mining via Attention-based BiLSTM-GCN for Human Motor Imagery Recognition", 《ARXIV:2005.00777,V1》, 2 May 2020 (2020-05-02), pages 1 - 5 *
王浩 等: "基于遗传算法和BP神经网络的孤立性肺结节分类算法", 《计算机科学》, vol. 43, no. 1, 31 December 2016 (2016-12-31), pages 37 - 39 *
罗会兰 等: "动作切分和流形度量学习的视频动作识别", 《国图象图形学报》, vol. 22, no. 8, 31 December 2017 (2017-12-31), pages 1106 - 1119 *

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113180737A (zh) * 2021-05-06 2021-07-30 中国人民解放军总医院 基于人工智能的卵圆孔闭合检测方法、系统、设备及介质
CN113180737B (zh) * 2021-05-06 2022-02-08 中国人民解放军总医院 基于人工智能的卵圆孔闭合检测方法、系统、设备及介质
CN113744287A (zh) * 2021-10-13 2021-12-03 推想医疗科技股份有限公司 一种图像处理方法、装置、电子设备及存储介质
CN113744287B (zh) * 2021-10-13 2022-08-23 推想医疗科技股份有限公司 一种图像处理方法、装置、电子设备及存储介质
CN115761381A (zh) * 2022-12-14 2023-03-07 安徽鲲隆康鑫医疗科技有限公司 超声心动图的分类方法、分类装置
CN115761381B (zh) * 2022-12-14 2023-11-07 安徽鲲隆康鑫医疗科技有限公司 超声心动图的分类方法、分类装置

Similar Documents

Publication Publication Date Title
CN110428475B (zh) 一种医学图像的分类方法、模型训练方法和服务器
US11443428B2 (en) Systems and methods for probablistic segmentation in anatomical image processing
CN107492099B (zh) 医学图像分析方法、医学图像分析系统以及存储介质
US10896508B2 (en) System for segmentation of anatomical structures in cardiac CTA using fully convolutional neural networks
CN112489043A (zh) 心脏疾病检测装置、模型训练方法及存储介质
EP3757937A1 (en) Image recognition method, storage medium and computer device
WO2020038240A1 (zh) 图像处理方法、装置、计算机可读存储介质及计算机设备
CN110009640B (zh) 处理心脏视频的方法、设备和可读介质
JP6842481B2 (ja) 深層学習を用いた網膜層の3d定量解析
US20180165305A1 (en) Systems and methods for image search
CN109492547B (zh) 一种结节识别方法、装置和存储介质
CN111986202B (zh) 青光眼辅助诊断装置、方法及存储介质
CN111667459A (zh) 一种基于3d可变卷积和时序特征融合的医学征象检测方法、系统、终端及存储介质
CN114693971A (zh) 分类预测模型生成方法及分类预测方法、系统、平台
CN114863185A (zh) 一种轻量化超声心动图标准切面识别方法、装置和介质
CN115222713A (zh) 一种冠状动脉钙化积分的计算方法、装置及存储介质
CN117058676B (zh) 一种基于眼底检查影像的血管分割方法、装置和系统
CN113705595A (zh) 异常细胞转移程度的预测方法、装置和存储介质
CN112750110A (zh) 基于神经网络对肺部病灶区进行评估的评估系统和相关产品
CN116092667A (zh) 基于多模态影像的疾病检测方法、系统、装置及存储介质
CN112884706B (zh) 一种基于神经网络模型的图像评估系统和相关产品
Su et al. Res-DUnet: A small-region attentioned model for cardiac MRI-based right ventricular segmentation
CN114557670A (zh) 生理年龄预测方法、装置、设备及介质
CN112862786A (zh) Cta影像数据处理方法、装置及存储介质
CN112862785A (zh) Cta影像数据识别方法、装置及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination