CN115132328B - 信息可视化方法、装置、设备及存储介质 - Google Patents

信息可视化方法、装置、设备及存储介质 Download PDF

Info

Publication number
CN115132328B
CN115132328B CN202211059360.XA CN202211059360A CN115132328B CN 115132328 B CN115132328 B CN 115132328B CN 202211059360 A CN202211059360 A CN 202211059360A CN 115132328 B CN115132328 B CN 115132328B
Authority
CN
China
Prior art keywords
lesion
information
focus
target object
target
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202211059360.XA
Other languages
English (en)
Other versions
CN115132328A (zh
Inventor
魏岩
杨保光
许晓倩
孙大鹏
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Anhui Yinglian Yunxiang Medical Technology Co ltd
Original Assignee
Anhui Yinglian Yunxiang Medical Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Anhui Yinglian Yunxiang Medical Technology Co ltd filed Critical Anhui Yinglian Yunxiang Medical Technology Co ltd
Priority to CN202211059360.XA priority Critical patent/CN115132328B/zh
Publication of CN115132328A publication Critical patent/CN115132328A/zh
Application granted granted Critical
Publication of CN115132328B publication Critical patent/CN115132328B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/40—ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/20—Editing of 3D images, e.g. changing shapes or colours, aligning objects or positioning parts
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/64—Three-dimensional objects
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H15/00—ICT specially adapted for medical reports, e.g. generation or transmission thereof
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10072—Tomographic images
    • G06T2207/10081—Computed x-ray tomography [CT]

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Software Systems (AREA)
  • Evolutionary Computation (AREA)
  • Epidemiology (AREA)
  • Public Health (AREA)
  • Primary Health Care (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • Radiology & Medical Imaging (AREA)
  • Quality & Reliability (AREA)
  • Architecture (AREA)
  • Computer Graphics (AREA)
  • Computer Hardware Design (AREA)
  • General Engineering & Computer Science (AREA)
  • Apparatus For Radiation Diagnosis (AREA)

Abstract

本申请实施例公开了一种信息可视化方法、装置、设备及存储介质，对目标对象的薄层影像序列进行病灶识别，以确定目标对象的第一病灶信息；基于薄层影像序列关联的检查报告对第一病灶信息进行修正，得到修正后的第一病灶信息；基于薄层影像序列进行目标对象重建，获得目标对象的三维图像；基于修正后的第一病灶信息对目标对象的三维图像进行处理，以在目标对象的三维图像中标识出病灶区域，病灶区域的显示效果与修正后的第一病灶信息相匹配。本申请实现了病灶信息的准确可视化。

Description

信息可视化方法、装置、设备及存储介质
技术领域
本申请涉及图像处理技术领域，更具体地说，涉及一种信息可视化方法、装置、设备及存储介质。
背景技术
在医学领域，数字胶片逐渐替代传统胶片，主要用于在线查看影像资料、影像报告等。非医护人员虽然也可以查看数字胶片，但由于缺乏专业的医学影像知识，无法从数字胶片中获取病灶信息。
因此，如何将数字胶片中的病灶信息进行直观的显示成为亟待解决的技术问题。
发明内容
有鉴于此，本申请提供了一种信息可视化方法、装置、设备及存储介质，以将胶片中的病灶信息进行直观的显示。
为了实现上述目的，现提出的方案如下：
一种信息可视化方法，所述方法包括：
对目标对象的薄层影像序列进行病灶识别，以确定所述目标对象的第一病灶信息；
基于所述薄层影像序列关联的检查报告对所述第一病灶信息进行修正，得到修正后的第一病灶信息；
基于所述薄层影像序列进行目标对象重建，获得所述目标对象的三维图像；
基于所述修正后的第一病灶信息对所述目标对象的三维图像进行处理，以在所述目标对象的三维图像中标识出病灶区域，所述病灶区域的显示效果与所述修正后的第一病灶信息相匹配。
上述方法，优选的，所述第一病灶信息包括：病灶位置、病灶边界和病灶类型。
上述方法，优选的，所述对目标对象的薄层影像序列进行病灶识别，包括：
对所述薄层影像序列进行目标对象区域检测和病灶区域检测，以确定所述目标对象中的病灶位置；
从所述薄层影像序列中裁剪出各个病灶位置处的区域影像序列；
对每一个所述区域影像序列进行病灶类型识别，得到所述目标对象中的各个病灶的类型；
对每一个所述区域影像序列进行病灶分割，得到所述目标对象中各个病灶的边界。
上述方法，优选的，基于所述薄层影像序列关联的检查报告对所述第一病灶信息进行修正，包括：
对所述检查报告进行解析，以确定所述目标对象的第二病灶信息；
以所述第二病灶信息为目标，对所述第一病灶信息进行修正，使得修正后的第一病灶信息趋近于所述第二病灶信息。
上述方法，优选的，所述对所述检查报告进行解析，包括：
获得所述检查报告属于目标知识图谱中的每一个节点的概率；所述目标知识图谱基于样本报告集构建，所述样本报告集中的样本报告为针对目标对象的关联有薄层影像序列的检查报告；
确定目标节点；所述检查报告属于所述目标节点的概率大于所述检查报告属于非目标节点的概率；
基于所述目标节点确定所述目标对象的第二病灶信息。
上述方法，优选的，所述基于所述目标节点确定所述目标对象的第二病灶信息，包括：
根据所述目标节点中属于叶子节点的节点获得所述目标节点的置信度；
若所述置信度大于或等于置信度阈值，在所述目标节点中提取所述目标对象的第二病灶信息。
上述方法，优选的，还包括：
若所述置信度小于所述置信度阈值，根据预设的提取规则从所述检查报告中提取所述目标对象的第二病灶信息。
上述方法，优选的，所述以所述第二病灶信息为目标，对所述第一病灶信息进行修正，包括：
对于每一个病灶类型，若所述第二病灶信息中不包含该病灶类型，将所述第一病灶信息中，与该病灶类型关联的病灶信息删除；
对于该病灶类型的每一个病灶位置，若该病灶位置与所述第二病灶信息中的任意一个该病灶类型关联的病灶位置均不一致，删除所述第一病灶信息中该病灶位置关联的该病灶类型的病灶信息；
对于每个病灶位置处的病灶边界，若基于该病灶边界确定的病灶大小与所述第二病灶信息中该病灶位置处的病灶大小不一致，对所述病灶边界进行调整，以使得基于调整后的病灶边界确定的病灶大小与所述第二病灶信息中该病灶位置处的病灶大小一致。
一种信息可视化装置，所述装置包括：
识别模块，用于对目标对象的薄层影像序列进行病灶识别，以确定所述目标对象的第一病灶信息；
修正模块，用于基于所述薄层影像序列关联的检查报告对所述第一病灶信息进行修正，得到修正后的第一病灶信息；
重建模块，用于基于所述薄层影像序列进行目标对象重建，获得所述目标对象的三维图像；
处理模块，用于基于所述修正后的第一病灶信息对所述目标对象的三维图像进行处理，以在所述目标对象的三维图像中标识出病灶区域，所述病灶区域的显示效果与所述修正后的第一病灶信息相匹配。
一种信息可视化设备，包括存储器和处理器；
所述存储器，用于存储程序；
所述处理器，用于执行所述程序，实现如上任一项所述的信息可视化方法的各个步骤。
一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时，实现如上任一项所述的信息可视化方法的各个步骤。
从上述的技术方案可以看出，本申请实施例提供的信息可视化方法、装置、设备及存储介质，对目标对象的薄层影像序列进行病灶识别，以确定目标对象的第一病灶信息；基于薄层影像序列关联的检查报告对第一病灶信息进行修正，得到修正后的第一病灶信息；基于薄层影像序列进行目标对象重建，获得目标对象的三维图像；基于修正后的第一病灶信息对目标对象的三维图像进行处理，以在目标对象的三维图像中标识出病灶区域，病灶区域的显示效果与修正后的第一病灶信息相匹配。本申请从目标对象的薄层影像序列中识别到第一病灶信息后，利用薄层影像序列关联的检查报告对第一病灶信息进行修正，在基于目标对象的薄层影像序列重建三维图像后，利用修正后的第一病灶信息对三维图像进行处理，从而在三维图像中标识出病灶区域，由于薄层影像序列关联的检查报告是经过人为确认后正确的结果，因此，修正后的第一病灶信息更加正确，因而利用修正后的第一病灶信息对三维图像进行处理，能够在三维图像中准确地标识出病灶区域的信息，实现病灶信息的准确可视化。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的实施例，对于本领域技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。
图1为本申请实施例公开的信息可视化方法的一种实现流程图；
图2为本申请实施例公开的检查报告的一种示例图；
图3为本申请实施例公开的在肺部三维图像中表示出病灶区域的效果示例图；
图4为本申请实施例公开的对目标对象的薄层影像序列进行病灶识别的一种实现流程图；
图5为本申请实施例公开的基于薄层影像序列关联的检查报告对第一病灶信息进行修正的一种实现流程图；
图6为本申请实施例公开的对检查报告进行解析的一种实现流程图；
图7为本申请实施例公开的目标知识图谱的局部示例图；
图8为本申请实施例公开的信息可视化装置的一种结构示意图；
图9为本申请实施例公开的信息可视化设备的硬件结构框图。
具体实施方式
下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
为了将数字胶片中的病灶信息进行直观的显示，使得非医护人员能够直观的看到数字胶片中体现的病灶信息，提出本申请实施例。
如图1所示，为本申请实施例提供的信息可视化方法的一种实现流程图，可以包括：
步骤S101：对目标对象的薄层影像序列进行病灶识别，以确定目标对象的第一病灶信息。
目标对象可以是就诊对象（人或动物）的被检测部位，比如，肺部、脑部、肝部等。
薄层影像序列可以是CT薄层影像序列，或者，可以是核磁薄层影像序列等。
以CT检查为例，CT是一种功能齐全的病情探测仪器，它是电子计算机X射线断层扫描技术简称。CT是断层螺旋扫描，因为就诊对象是三维立体的，因此，在对就诊对象进行CT扫描时，是从上到下，间隔一定距离（毫米级）横向扫描一张影像，因此，每个CT薄层影像序列会包含上百张影像，每张影像为目标对象的一个薄层的图像。
作为示例，薄层层厚要小于或等于厚度阈值，可选的，厚度阈值可以为1.25mm。
作为示例，第一病灶信息可以包括但不限于：病灶位置、病灶边界和病灶类型等。其中，
作为示例，病灶位置可以通过目标对象在薄层影像序列中的坐标，以及病灶在薄层影像序列中的坐标表征。进一步的，通过目标对象在薄层影像序列中的坐标，以及病灶在薄层影像序列中的坐标可以确定病灶与目标对象的相对位置关系，从而可以确定病灶在目标对象中的位置（即医学位置）。同理，病灶边界可以通过目标对象在薄层影像序列中的坐标，以及病灶边界处的各个像素在薄层影像序列中的坐标表征。进一步的，通过目标对象在薄层影像序列中的坐标，以及病灶边界中的各个像素在薄层影像序列中的坐标可以确定病灶边界与目标对象的相对位置关系，从而可以确定目标对象中的病灶边界。
以目标对象为肺部为例，病灶类型可以包括但不限于以下几种：肺结节、肺气肿、肺陈旧性病灶、肺炎、支气管扩张、肺结核等。
步骤S102：基于薄层影像序列关联的检查报告对第一病灶信息进行修正，得到修正后的第一病灶信息。
通常，医护人员在对就诊对象进行CT检查或核磁检查后，会以文字形式给出检查报告，该检查报告中指出了目标对象的医学特征信息。如图2所示，为本申请实施例提供的检查报告的一种示例图。
步骤S103：基于薄层影像序列进行目标对象重建，获得目标对象的三维图像。
可选的，可以对薄层影像序列中的每个薄层影像分别进行目标对象分割，然后利用分割结果对目标对象进行重建，得到目标对象的三维图像。
可选的，以目标对象为肺部为例，可以采用深度学习以及传统方法识别出肺部区域、肺部血管和支气管等部分，然后采用不同的颜色展示不同的区域，得到肺部的三维图像。
需要说明的是，步骤S103可以在步骤S102之后执行，也可以在步骤S102之前执行，本申请不做具体限定。
步骤S104：基于修正后的第一病灶信息对目标对象的三维图像进行处理，以在目标对象的三维图像中标识出病灶区域，病灶区域的显示效果与修正后的第一病灶信息相匹配。
作为示例，可以在目标对象的三维图像中确定修正后的第一病灶信息中的病灶位置，然后在确定的病灶位置处确定与修正后的第一病灶信息中的病灶边界相匹配的区域，然后根据修正后的第一病灶信息中的病灶类型对该区域赋予病灶类型对应的显示属性（比如，颜色或透明度或亮度或灰度等）。如图3所示，为本申请实施例提供的在肺部三维图像中表示出病灶区域的效果示例图。该示例中，以不同的灰度表征肺部的病灶区域和非病灶区域。
其中，不同的病灶类型对应不同的显示属性。比如，不同的病灶类型对应不同的颜色，或者，不同的病灶类型对应不同的透明度，或者，不同的病灶类型对应不同的亮度，或者，不同的病灶类型对应不同的灰度等。
本申请实施例提供的信息可视化方法，从目标对象的薄层影像序列中识别到第一病灶信息后，利用薄层影像序列关联的检查报告对第一病灶信息进行修正，在基于目标对象的薄层影像序列重建三维图像后，利用修正后的第一病灶信息对三维图像进行处理，从而在三维图像中标识出病灶区域，由于薄层影像序列关联的检查报告是经过人为确认后正确的结果，因此，修正后的第一病灶信息更加正确，因而利用修正后的第一病灶信息对三维图像进行处理，能够在三维图像中准确地标识出病灶区域的信息，实现病灶信息的准确可视化。
在一可选的实施例中，上述对目标对象的薄层影像序列进行病灶识别的一种实现流程图如图4所示，可以包括：
步骤S401：对薄层影像序列进行目标对象区域检测和病灶区域检测，以确定目标对象中的病灶位置。
可选的，可以先对薄层影像序列进行目标对象区域检测，确定目标对象在薄层影像序列中的位置（在进行目标对象检测时，通常是通过矩形框来标注检测到的目标对象，因此，可以通过标注目标对象的外接矩形框的顶点坐标表示目标对象在薄层影像序列中的位置），然后基于目标对象在薄层影像序列中的坐标，从薄层影像序列中裁剪出目标对象区域影像，然后对目标对象区域影像进行病灶区域检测，从而确定出目标对象区域影像中的病灶位置（可以通过病灶的外接矩形框的顶点坐标表示）。
作为示例，可以采用目标检测常用算法Cascade RCNN结合FPN（feature pyramidnetworks，特征金字塔网络）技术，对裁剪出的目标对象区域影像进行病灶区域检测。
步骤S402：从薄层影像序列中裁剪出各个病灶位置处的区域影像序列。
目标对象中可能会存在多个病灶，即步骤S401中确定出了多个病灶位置，因此，可能会从薄层影像序列中裁剪出多个区域影像序列。每个区域影像序列从一个病灶位置处裁剪得到。
步骤S403：对每一个区域影像序列进行病灶类型识别，得到目标对象中的各个病灶的类型。
作为示例，可以采用预先训练好的卷积神经网络对每一个区域影像序列进行病灶类型识别，得到目标对象中的各个病灶的类型。可选的，卷积神经网络具体可以为3D-CNN网络，该3D-CNN网络包含多层卷积层、激活函数层和softmax层，对于每一个区域影像序列，3D-CNN网络输出的是该区域影像序列属于预设的多个病灶类型的概率，将对应最大概率的病灶类型确定为该区域影像序列中的病灶的类型。
步骤S404：对每一个区域影像序列进行病灶分割，得到目标对象中各个病灶的边界。
作为示例，对于每一个区域影像序列，可以采用vnet分割网络对该区域影像序列中的每一帧区域影像进行处理，以确定每一帧区域影像中每个像素点属于病灶的概率，然后根据概率阈值（为便于叙述和区分，记为第一概率阈值）将每一帧区域影像二值化（比如，将大于第一概率阈值的概率对应像素点赋值为1，其它的像素点赋值为0，也就是说，大于第一概率阈值的概率对应像素点属于病灶，其它像素点不属于病灶），从而确定每一帧区域影像中病灶的边界。
步骤S403和步骤S404的执行顺序不做具体限定，可以先执行步骤S403，再执行步骤S404，或者，可以先执行步骤S404，再执行步骤S403，或者，步骤S403和步骤S404同时执行，本申请不做具体限定。
在一可选的实施例中，上述基于薄层影像序列关联的检查报告对第一病灶信息进行修正的一种实现流程图如图5所示，可以包括：
步骤S501：对检查报告进行解析，以确定目标对象的第二病灶信息。
对检查报告进行解析，是指对检查报告中的文本进行解析，以从检查报告中提取目标对象的第二病灶信息。
步骤S502：以第二病灶信息为目标，对第一病灶信息进行修正，使得修正后的第一病灶信息趋近于第二病灶信息。
由于检查报告是经医护人员确认后正确的结果，因此，可以基于第二病灶信息对第一病灶信息进行修正，使得修正后的第一病灶信息表达的语义信息与第二病灶信息表达的语义信息一致。
在一可选的实施例中，上述对检查报告进行解析的一种实现流程图如图6所示，可以包括：
步骤S601：获得检查报告属于目标知识图谱中的每一个节点的概率；目标知识图谱基于样本报告集构建，样本报告集中的样本报告为针对目标对象的关联有薄层影像序列的检查报告。
以目标对象为肺部，薄层影像序列为CT薄层影像序列为例，样本报告集中的样本报告为：对患者进行肺部CT扫描得到CT薄层影像序列后，医护人员撰写的检查报告。样本报告集中包括若干名患者的关联有肺部CT薄层影像序列的检查报告，每个患者可以有至少一次进行肺部CT扫描得到的检查报告。对应每个患者，每一次肺部CT扫描均会得到一份检查报告。目标知识图谱的构建过程可以使用已有的构建知识图谱的过程，不是本申请的关注重点，这里不再详述。
目标知识图谱中的节点可以是肺部诊断结果相关的实体（比如，左肺、左肺上叶等）、概念（比如，肺纹理、钙化影等）或属性（比如，尺寸、密度等）等。如图7所示，为本申请实施例提供的目标知识图谱的局部示例图。该示例图只是用于示例性说明，并不构成对本申请方案的限定。
可选的，可以通过预先训练好的分类模型，对检查报告进行处理，得到检查报告属于目标知识图谱中的每一个节点的概率。
对分类模型进行训练的样本是关联有目标对象的薄层影像序列的检查报告，检查报告的标签为目标知识图谱中的部分节点。对分类模型进行训练的过程可以包括：将样本输入分类模型，得到分类模型输出的检查报告属于目标知识图谱中的每一个节点的概率，根据概率确定目标节点（对应每一个目标节点，样本属于该目标节点的概率大于检查报告属于任一非目标节点的概率），以确定的目标节点趋近于样本标签为目标对分类模型的参数进行更新，直至满足训练结束条件。
步骤S602：确定目标节点，其中，检查报告属于目标节点的概率大于检查报告属于非目标节点的概率。
作为示例，目标节点可以是对应概率大于概率阈值（为便于叙述和区分，记为第二概率阈值）的节点。
如图7所示，图7中打对勾“√”的节点为基于图2所示检查报告确定的目标节点。
步骤S603：基于目标节点确定目标对象的第二病灶信息。
可选的，可以根据目标节点中属于叶子节点的节点获得目标节点的置信度。
以图7为例，目标节点“肺实质”、“钙化影”、“位置”、“肺野”均存在子目标节点（比如，肺野的子目标节点为“左肺”和“右肺”），而“左肺”和“右肺”这两个目标节点均不存在子目标节点，因此，“左肺”和“右肺”为目标节点中属于叶子节点的节点。
图7中，目标节点中属于叶子节点的节点为“左肺”和“右肺”。作为示例，可以将“左肺”对应的概率和“右肺”对应的概率求均值，得到目标节点的置信度。
若置信度大于或等于置信度阈值，在确定的目标节点中提取目标对象的第二病灶信息。
以图2为例，可以提取的第二病灶信息可以为：左肺、右肺见钙化影。
进一步的，如果置信度小于置信度阈值，可以不在知识图谱中提取病灶信息，而是根据预设的提取规则从检查报告给中提取目标对象的第二病灶信息。
作为示例，可以通过医生报告常用模板，自动从检查报告中提取描述病灶的语句。例如，“左肺上叶可见直径约为5mm的结节影”，通过规则（左肺上叶是描述位置常用语句，结节影是描述具体病灶的语句等，通过人为经验制定）可以分析出病灶的位置、大小和类型：左上肺、5mm、肺结节。
在一可选的实施例中，上述以第二病灶信息为目标，对第一病灶信息进行修正的一种实现方式可以为：
对于每一个病灶类型，
若第二病灶信息中不包含该病灶类型，将第一病灶信息中，与该病灶类型关联的病灶信息删除。
比如，假设第一病灶信息为左肺上叶大片状肺炎、右肺下叶5mm（即肺炎的长径和短径都是5mm，可以通过肺炎的边界确定）肺结节，而第二病灶信息仅包含右肺下叶5mm肺结节，由于检查报告是经过医生确认后完全正确的结果，因此，第一病灶信息中，左肺上叶的肺炎是假阳性病灶，需删除。
对于该病灶类型的每一个病灶位置，若该病灶位置与第二病灶信息中的任意一个该病灶类型关联的病灶位置均不一致，删除第一病灶信息中该病灶位置关联的该病灶类型的病灶信息。
可选的，可以根据目标对象区域影像中病灶的坐标，以及坐标与目标对象的医学位置（比如，肺部的医学位置可以包括但不限于：左肺上叶，左肺下叶，右肺上叶，右肺中叶，右肺下叶等）的对应关系，确定目标对象中病灶的医学位置，对于每一个医学位置，判断该医学位置与第二病灶信息中的任意一个该病灶类型关联的病灶位置（医学位置）是否一致。
比如，假设第一病灶信息中包括左肺上叶斑点状肺炎，右肺上叶大片肺炎和右肺中叶斑点肺炎，而第二病灶信息仅包含右肺上叶大片肺炎和右肺中叶斑点肺炎，不包括左肺上叶的肺炎，因此，第一病灶信息中的与左肺上叶关联的病灶信息需要删除，即删除第一病灶信息中的左肺上叶斑点状肺炎。
对于每个病灶位置处的病灶边界，若基于该病灶边界确定的病灶大小与第二病灶信息中该病灶位置处的病灶大小不一致，对病灶边界进行调整，以使得基于调整后的病灶边界确定的病灶大小与第二病灶信息中该病灶位置处的病灶大小一致。
作为示例，可以通过调整第一概率阈值的大小来对病灶边界进行调整，从而提升病灶的边界分割精度。若希望调小病灶的大小，可以增大第一概率阈值，如果希望调大病灶的大小，可以减小第一概率阈值。
基于调整后的病灶边界确定的病灶大小与第二病灶信息中该病灶位置处的病灶大小一致可以为：基于调整后的病灶边界确定的病灶的长径与第二病灶信息中该病灶位置处的病灶的长径的长度差在第一预设范围内，基于调整后的病灶边界确定的病灶的短径与第二病灶信息中该病灶位置处的病灶的短径的长度差在第二预设范围内。第一预设范围可以相同，也可以不同。
与方法实施例相对应，本申请实施例还提供一种信息可视化装置，本申请实施例提供的信息可视化装置的一种结构示意图如图8所示，可以包括：
识别模块801，修正模块802，重建模块803和处理模块804；其中，
识别模块801用于对目标对象的薄层影像序列进行病灶识别，以确定所述目标对象的第一病灶信息；
修正模块802用于基于所述薄层影像序列关联的检查报告对所述第一病灶信息进行修正，得到修正后的第一病灶信息；
重建模块803用于基于所述薄层影像序列进行目标对象重建，获得所述目标对象的三维图像；
处理模块804用于基于所述修正后的第一病灶信息对所述目标对象的三维图像进行处理，以在所述目标对象的三维图像中标识出病灶区域，所述病灶区域的显示效果与所述修正后的第一病灶信息相匹配。
本申请实施例提供的信息可视化装置，从目标对象的薄层影像序列中识别到第一病灶信息后，利用薄层影像序列关联的检查报告对第一病灶信息进行修正，在基于目标对象的薄层影像序列重建三维图像后，利用修正后的第一病灶信息对三维图像进行处理，从而在三维图像中标识出病灶区域，由于薄层影像序列关联的检查报告是经过人为确认后正确的结果，因此，修正后的第一病灶信息更加正确，因而利用修正后的第一病灶信息对三维图像进行处理，能够在三维图像中准确地标识出病灶区域的信息，实现病灶信息的准确可视化。
在一可选的实施例中，所述第一病灶信息包括：病灶位置、病灶边界和病灶类型。
在一可选的实施例中，所述识别模块801用于：
对所述薄层影像序列进行目标对象区域检测和病灶区域检测，以确定所述目标对象中的病灶位置；
从所述薄层影像序列中裁剪出各个病灶位置处的区域影像序列；
对每一个所述区域影像序列进行病灶类型识别，得到所述目标对象中的各个病灶的类型；
对每一个所述区域影像序列进行病灶分割，得到所述目标对象中各个病灶的边界。
在一可选的实施例中，所述修正模块802用于：
对所述检查报告进行解析，以确定所述目标对象的第二病灶信息；
以所述第二病灶信息为目标，对所述第一病灶信息进行修正，使得修正后的第一病灶信息趋近于所述第二病灶信息。
在一可选的实施例中，所述修正模块802对所述检查报告进行解析时，用于：
获得所述检查报告属于目标知识图谱中的每一个节点的概率；所述目标知识图谱基于样本报告集构建，所述样本报告集中的样本报告为针对目标对象的关联有薄层影像序列的检查报告；
确定目标节点；所述检查报告属于所述目标节点的概率大于所述检查报告属于非目标节点的概率；
基于所述目标节点确定所述目标对象的第二病灶信息。
在一可选的实施例中，所述修正模块802基于所述目标节点确定所述目标对象的第二病灶信息时，用于：
根据所述目标节点中属于叶子节点的节点获得所述目标节点的置信度；
若所述置信度大于或等于置信度阈值，在所述目标节点中提取所述目标对象的第二病灶信息。
在一可选的实施例中，所述修正模块802还用于：
若所述置信度小于所述置信度阈值，根据预设的提取规则从所述检查报告中提取所述目标对象的第二病灶信息。
在一可选的实施例中，所述修正模块802以所述第二病灶信息为目标，对所述第一病灶信息进行修正时，用于：
对于每一个病灶类型，若所述第二病灶信息中不包含该病灶类型，将所述第一病灶信息中，与该病灶类型关联的病灶信息删除；
对于该病灶类型的每一个病灶位置，若该病灶位置与所述第二病灶信息中的任意一个该病灶类型关联的病灶位置均不一致，删除所述第一病灶信息中该病灶位置关联的该病灶类型的病灶信息；
对于每个病灶位置处的病灶边界，若基于该病灶边界确定的病灶大小与所述第二病灶信息中该病灶位置处的病灶大小不一致，对所述病灶边界进行调整，以使得基于调整后的病灶边界确定的病灶大小与所述第二病灶信息中该病灶位置处的病灶大小一致。
本申请实施例提供的信息可视化装置可应用于信息可视化设备，如PC终端、云平台、服务器及服务器集群等。可选的，图9示出了信息可视化设备的硬件结构框图，参照图9，信息可视化设备的硬件结构可以包括：至少一个处理器1，至少一个通信接口2，至少一个存储器3和至少一个通信总线4；
在本申请实施例中，处理器1、通信接口2、存储器3、通信总线4的数量为至少一个，且处理器1、通信接口2、存储器3通过通信总线4完成相互间的通信；
处理器1可能是一个中央处理器CPU，或者是特定集成电路ASIC（ApplicationSpecific Integrated Circuit），或者是被配置成实施本发明实施例的一个或多个集成电路等；
存储器3可能包含高速RAM存储器，也可能还包括非易失性存储器（non-volatilememory）等，例如至少一个磁盘存储器；
其中，存储器存储有程序，处理器可调用存储器存储的程序，所述程序用于：
对目标对象的薄层影像序列进行病灶识别，以确定所述目标对象的第一病灶信息；
基于所述薄层影像序列关联的检查报告对所述第一病灶信息进行修正，得到修正后的第一病灶信息；
基于所述薄层影像序列进行目标对象重建，获得所述目标对象的三维图像；
基于所述修正后的第一病灶信息对所述目标对象的三维图像进行处理，以在所述目标对象的三维图像中标识出病灶区域，所述病灶区域的显示效果与所述修正后的第一病灶信息相匹配。
可选的，所述程序的细化功能和扩展功能可参照上文描述。
本申请实施例还提供一种计算机可读存储介质，该存储介质可存储有适于处理器执行的程序，所述程序用于：
对目标对象的薄层影像序列进行病灶识别，以确定所述目标对象的第一病灶信息；
基于所述薄层影像序列关联的检查报告对所述第一病灶信息进行修正，得到修正后的第一病灶信息；
基于所述薄层影像序列进行目标对象重建，获得所述目标对象的三维图像；
基于所述修正后的第一病灶信息对所述目标对象的三维图像进行处理，以在所述目标对象的三维图像中标识出病灶区域，所述病灶区域的显示效果与所述修正后的第一病灶信息相匹配。
可选的，所述程序的细化功能和扩展功能可参照上文描述。
本领域技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。本领域技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本申请的范围。
在本申请所提供的几个实施例中，应该理解到，所揭露的系统、装置和方法，可以通过其它的方式实现。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外，在本申请各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。
所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备（可以是个人计算机，服务器，或者网络设备等）执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器（ROM，Read-Only Memory）、随机存取存储器（RAM，Random Access Memory）、磁碟或者光盘等各种可以存储程序代码的介质。
最后，还需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。
对所公开的实施例的上述说明，使本领域技术人员能够实现或使用本申请。对这些实施例的多种修改对本领域的技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本申请的精神或范围的情况下，在其它实施例中实现。因此，本申请将不会被限制于本文所示的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。

Claims (9)

1.一种信息可视化方法，其特征在于，所述方法包括：
对目标对象的薄层影像序列进行病灶识别，以确定所述目标对象的第一病灶信息；
基于所述薄层影像序列关联的检查报告中的文本对所述第一病灶信息进行修正，得到修正后的第一病灶信息；
基于所述薄层影像序列进行目标对象重建，获得所述目标对象的三维图像；
基于所述修正后的第一病灶信息对所述目标对象的三维图像进行处理，以在所述目标对象的三维图像中标识出病灶区域，所述病灶区域的显示效果与所述修正后的第一病灶信息相匹配；
基于所述薄层影像序列关联的检查报告对所述第一病灶信息进行修正，包括：
对所述检查报告进行解析，以确定所述目标对象的第二病灶信息；
以所述第二病灶信息为目标，对所述第一病灶信息进行修正，使得修正后的第一病灶信息趋近于所述第二病灶信息；
所述对所述检查报告进行解析，包括：
获得所述检查报告属于目标知识图谱中的每一个节点的概率；所述目标知识图谱基于样本报告集构建，所述样本报告集中的样本报告为针对目标对象的关联有薄层影像序列的检查报告；
确定目标节点；所述检查报告属于所述目标节点的概率大于所述检查报告属于非目标节点的概率；
基于所述目标节点确定所述目标对象的第二病灶信息。
2.根据权利要求1所述的方法，其特征在于，所述第一病灶信息包括：病灶位置、病灶边界和病灶类型。
3.根据权利要求2所述的方法，其特征在于，所述对目标对象的薄层影像序列进行病灶识别，包括：
对所述薄层影像序列进行目标对象区域检测和病灶区域检测，以确定所述目标对象中的病灶位置；
从所述薄层影像序列中裁剪出各个病灶位置处的区域影像序列；
对每一个所述区域影像序列进行病灶类型识别，得到所述目标对象中的各个病灶的类型；
对每一个所述区域影像序列进行病灶分割，得到所述目标对象中各个病灶的边界。
4.根据权利要求1所述的方法，其特征在于，所述基于所述目标节点确定所述目标对象的第二病灶信息，包括：
根据所述目标节点中属于叶子节点的节点获得所述目标节点的置信度；
若所述置信度大于或等于置信度阈值，在所述目标节点中提取所述目标对象的第二病灶信息。
5.根据权利要求4所述的方法，其特征在于，还包括：
若所述置信度小于所述置信度阈值，根据预设的提取规则从所述检查报告中提取所述目标对象的第二病灶信息。
6.根据权利要求1所述的方法，其特征在于，所述以所述第二病灶信息为目标，对所述第一病灶信息进行修正，包括：
对于每一个病灶类型，若所述第二病灶信息中不包含该病灶类型，将所述第一病灶信息中，与该病灶类型关联的病灶信息删除；
对于该病灶类型的每一个病灶位置，若该病灶位置与所述第二病灶信息中的任意一个该病灶类型关联的病灶位置均不一致，删除所述第一病灶信息中该病灶位置关联的该病灶类型的病灶信息；
对于每个病灶位置处的病灶边界，若基于该病灶边界确定的病灶大小与所述第二病灶信息中该病灶位置处的病灶大小不一致，对所述病灶边界进行调整，以使得基于调整后的病灶边界确定的病灶大小与所述第二病灶信息中该病灶位置处的病灶大小一致。
7.一种信息可视化装置，其特征在于，所述装置包括：
识别模块，用于对目标对象的薄层影像序列进行病灶识别，以确定所述目标对象的第一病灶信息；
修正模块，用于基于所述薄层影像序列关联的检查报告中的文本对所述第一病灶信息进行修正，得到修正后的第一病灶信息；
重建模块，用于基于所述薄层影像序列进行目标对象重建，获得所述目标对象的三维图像；
处理模块，用于基于所述修正后的第一病灶信息对所述目标对象的三维图像进行处理，以在所述目标对象的三维图像中标识出病灶区域，所述病灶区域的显示效果与所述修正后的第一病灶信息相匹配；
所述修正模块基于所述薄层影像序列关联的检查报告对所述第一病灶信息进行修正，包括：
对所述检查报告进行解析，以确定所述目标对象的第二病灶信息；
以所述第二病灶信息为目标，对所述第一病灶信息进行修正，使得修正后的第一病灶信息趋近于所述第二病灶信息；
所述对所述检查报告进行解析，包括：
获得所述检查报告属于目标知识图谱中的每一个节点的概率；所述目标知识图谱基于样本报告集构建，所述样本报告集中的样本报告为针对目标对象的关联有薄层影像序列的检查报告；
确定目标节点；所述检查报告属于所述目标节点的概率大于所述检查报告属于非目标节点的概率；
基于所述目标节点确定所述目标对象的第二病灶信息。
8.一种信息可视化设备，其特征在于，包括存储器和处理器；
所述存储器，用于存储程序；
所述处理器，用于执行所述程序，实现如权利要求1-6中任一项所述的信息可视化方法的各个步骤。
9.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时，实现如权利要求1-6中任一项所述的信息可视化方法的各个步骤。
CN202211059360.XA 2022-08-31 2022-08-31 信息可视化方法、装置、设备及存储介质 Active CN115132328B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202211059360.XA CN115132328B (zh) 2022-08-31 2022-08-31 信息可视化方法、装置、设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211059360.XA CN115132328B (zh) 2022-08-31 2022-08-31 信息可视化方法、装置、设备及存储介质

Publications (2)

Publication Number Publication Date
CN115132328A CN115132328A (zh) 2022-09-30
CN115132328B true CN115132328B (zh) 2022-11-25

Family

ID=83387740

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211059360.XA Active CN115132328B (zh) 2022-08-31 2022-08-31 信息可视化方法、装置、设备及存储介质

Country Status (1)

Country Link
CN (1) CN115132328B (zh)

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108573490A (zh) * 2018-04-25 2018-09-25 王成彦 一种针对肿瘤影像数据的智能读片系统
CN109993733A (zh) * 2019-03-27 2019-07-09 上海宽带技术及应用工程研究中心 肺部病灶的检测方法、系统、存储介质、终端及显示系统
CN111142753A (zh) * 2019-12-27 2020-05-12 杭州依图医疗技术有限公司 交互方法、信息处理方法及存储介质
CN111214255A (zh) * 2020-01-12 2020-06-02 刘涛 一种医学超声图像计算机辅助诊断方法
CN111242921A (zh) * 2020-01-12 2020-06-05 刘涛 一种医学超声图像辅助诊断系统自动更新的方法及系统
CN111476776A (zh) * 2020-04-07 2020-07-31 上海联影智能医疗科技有限公司 胸部病灶位置确定方法、系统、可读存储介质和设备
CN113270163A (zh) * 2020-09-28 2021-08-17 周敬洋 基于人工智能的li-rads诊断报告生成系统及方法
CN113870968A (zh) * 2021-09-13 2021-12-31 上海联影医疗科技股份有限公司 医疗影像报告的生成方法、装置、计算机设备和存储介质
WO2022001358A1 (zh) * 2020-06-30 2022-01-06 上海微创电生理医疗科技股份有限公司 图像处理方法、装置、计算机设备、存储介质及标测系统

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108573490A (zh) * 2018-04-25 2018-09-25 王成彦 一种针对肿瘤影像数据的智能读片系统
CN109993733A (zh) * 2019-03-27 2019-07-09 上海宽带技术及应用工程研究中心 肺部病灶的检测方法、系统、存储介质、终端及显示系统
CN111142753A (zh) * 2019-12-27 2020-05-12 杭州依图医疗技术有限公司 交互方法、信息处理方法及存储介质
CN111214255A (zh) * 2020-01-12 2020-06-02 刘涛 一种医学超声图像计算机辅助诊断方法
CN111242921A (zh) * 2020-01-12 2020-06-05 刘涛 一种医学超声图像辅助诊断系统自动更新的方法及系统
CN111476776A (zh) * 2020-04-07 2020-07-31 上海联影智能医疗科技有限公司 胸部病灶位置确定方法、系统、可读存储介质和设备
WO2022001358A1 (zh) * 2020-06-30 2022-01-06 上海微创电生理医疗科技股份有限公司 图像处理方法、装置、计算机设备、存储介质及标测系统
CN113270163A (zh) * 2020-09-28 2021-08-17 周敬洋 基于人工智能的li-rads诊断报告生成系统及方法
CN113870968A (zh) * 2021-09-13 2021-12-31 上海联影医疗科技股份有限公司 医疗影像报告的生成方法、装置、计算机设备和存储介质

Also Published As

Publication number Publication date
CN115132328A (zh) 2022-09-30

Similar Documents

Publication Publication Date Title
Yun et al. Improvement of fully automated airway segmentation on volumetric computed tomographic images using a 2.5 dimensional convolutional neural net
US11468564B2 (en) Systems and methods for automatic detection and quantification of pathology using dynamic feature classification
CN111933251B (zh) 一种医学影像标注方法及系统
CN111325739B (zh) 肺部病灶检测的方法及装置，和图像检测模型的训练方法
CN111080584B (zh) 医学图像的质控方法、计算机设备和可读存储介质
US11645753B2 (en) Deep learning-based multi-site, multi-primitive segmentation for nephropathology using renal biopsy whole slide images
JPWO2019167883A1 (ja) 機械学習装置および方法
Prasad et al. Automatic segmentation of lung parenchyma in the presence of diseases based on curvature of ribs
CN112052896B (zh) 图像处理方法及装置，分类模型的训练方法及装置
JP6719421B2 (ja) 学習データ生成支援装置および学習データ生成支援方法並びに学習データ生成支援プログラム
CN113989407B (zh) Ct影像中肢体部位识别模型训练方法及系统
CN114092450A (zh) 一种基于胃镜检查视频的实时图像分割方法、系统、装置
CN113256670A (zh) 图像处理方法及装置、网络模型的训练方法及装置
CN111524109A (zh) 头部医学影像的评分方法和装置、电子设备及存储介质
CN114332132A (zh) 图像分割方法、装置和计算机设备
CN111612749B (zh) 基于肺部影像的病灶检测方法和装置
Baheerathan et al. Registration of serial sections of mouse liver cell nuclei
CN115132328B (zh) 信息可视化方法、装置、设备及存储介质
CN115330696A (zh) 一种支架的检测方法、装置、设备及存储介质
US20220172367A1 (en) Visualization of sub-pleural regions
CN113409306A (zh) 一种检测装置、训练方法、训练装置、设备和介质
CN113838557A (zh) 一种医学影像三维重建模拟方法及系统
CN116664580B (zh) 一种ct图像的多图层级联成像方法及装置
CN115147378B (zh) 一种ct图像分析提取方法
CN113096091B (zh) 图像处理方法及装置、电子设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant