CN116363056B - 胸部ct骨折检测优化的方法、装置及设备 - Google Patents

胸部ct骨折检测优化的方法、装置及设备 Download PDF

Info

Publication number
CN116363056B
CN116363056B CN202310062419.9A CN202310062419A CN116363056B CN 116363056 B CN116363056 B CN 116363056B CN 202310062419 A CN202310062419 A CN 202310062419A CN 116363056 B CN116363056 B CN 116363056B
Authority
CN
China
Prior art keywords
target
vector
candidate frame
detection
feature vector
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202310062419.9A
Other languages
English (en)
Other versions
CN116363056A (zh
Inventor
张佳琦
丁佳
吕晨翀
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhejiang Yizhun Intelligent Technology Co ltd
Original Assignee
Beijing Yizhun Medical AI Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Yizhun Medical AI Co Ltd filed Critical Beijing Yizhun Medical AI Co Ltd
Priority to CN202310062419.9A priority Critical patent/CN116363056B/zh
Publication of CN116363056A publication Critical patent/CN116363056A/zh
Application granted granted Critical
Publication of CN116363056B publication Critical patent/CN116363056B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10072—Tomographic images
    • G06T2207/10081—Computed x-ray tomography [CT]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30008—Bone
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Medical Informatics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Quality & Reliability (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • Software Systems (AREA)
  • Image Analysis (AREA)

Abstract

本说明书实施例公开了一种胸部CT骨折检测优化的方法、装置及设备，所述方法包括：将待检图像输入预设的检测模型，得到肋骨骨折的检出结果，根据所述检出结果，从所述待检图像中获取所述目标候选框所在局部的目标图像块，并得到所述目标图像块的目标特征向量和补充特征向量，将所述目标特征向量与所述补充特征向量拼接后，输入预设的决策树模型，得到所述目标候选框的目标预测置信度，以确定是否保留所述目标候选框。本说明书实施例的技术方案，可以在不增加假阳检出的情况下，检出隐匿性骨折，提高检出准确率。

Description

胸部CT骨折检测优化的方法、装置及设备
技术领域
本说明书涉及医学影像检测领域，尤其涉及一种胸部CT骨折检测优化的方法、装置及设备。
背景技术
在医学实践中，常利用胸部电子计算机断层扫描(Computed Tomography，CT)图像辅助诊断肋骨骨折，为治疗伤病和外伤鉴定提供依据。
肋骨骨折一般由外伤导致，有些肋骨因所受到外力差异而出现较为隐匿的骨折。在利用深度学习的神经网络模型检测肋骨骨折时，由于这类隐匿性的骨折的预测分值普遍较低，需要降低检测模型的阈值才能检出，然而降低模型的阈值会引入不必要的假阳性检出，导致检出准确率下降。
因此，提高隐匿性骨折的检出率和准确率是亟需解决的问题。
发明内容
本说明书实施例提供一种胸部CT骨折检测优化的方法、装置及设备，用于解决检出隐匿性骨折的问题，以达到在不增加假阳检出的情况下，检出隐匿性骨折，提高检出准确率的技术效果。
为解决上述技术问题，本说明书实施例是这样实现的：
本说明书实施例提供一种胸部CT骨折检测优化的方法，所述方法包括：
将待检图像输入预设的检测模型，得到肋骨骨折的检出结果，所述检出结果中包括目标候选框以及与所述目标候选框相邻近的多个邻近候选框；
根据所述检出结果，从所述待检图像中获取所述目标候选框所在局部的目标图像块，将所述目标图像块输入预设的特征提取网络，得到所述目标图像块的目标特征向量；
根据所述检出结果，确定所述目标候选框与所述邻近候选框之间的关联信息，根据所述关联信息得到补充特征向量；
将所述目标特征向量与所述补充特征向量拼接后，输入预设的决策树模型，得到所述目标候选框的目标预测置信度；
根据所述目标预测置信度确定是否保留所述目标候选框。
可选地，所述关联信息包括第一向量和第二向量，其中，
所述第一向量为，按所述目标候选框与K个所述邻近候选框的距离由近及远的顺序，分别计算所述目标候选框与K个所述邻近候选框的肋骨编号之差而得到的K维特征向量；
所述第二向量为，按所述目标候选框与K个所述邻近候选框的距离由近及远的顺序，分别计算所述目标候选框与K个所述邻近候选框的三维坐标差得到K个三维向量，并将所述K个三维向量拼接而得到的3*K维特征向量；
其中，若所述邻近候选框的数目不足K个，则在所述第一向量和所述第二向量中的对应位置补零。
可选地，所述检出结果还包括多个所述邻近候选框分别对应的多个预测置信度，所述关联信息还包括第三向量，所述第三向量为由K个所述邻近候选框的预测置信度构成的K维特征向量，其中，若所述邻近候选框的数目不足K个，则在所述第三向量中的对应位置补零。
可选地，所述根据所述关联信息得到补充特征向量，包括：
将所述第一向量、所述第二向量和所述第三向量中的任一向量作为补充特征向量，或，将所述第一向量、所述第二向量和所述第三向量中的至少两个向量拼接后作为补充特征向量。
可选地，所述决策树模型为梯度提升决策树模型，所述梯度提升决策树模型包括多个决策树，并输出所述多个决策树预测结果的累加值。
可选地，所述检测模型包括特征图提取部分和预测部分，所述特征图提取部分为特征金字塔网络结构，所述预测部分的阈值设置允许输出低置信度的病灶候选框。
可选地，所述检测模型的预测部分包括分类网络，所述分类网络在训练阶段采用了难例挖掘机制，且损失函数为焦点损失函数。
可选地，所述将所述目标图像块输入预设的特征提取网络，得到所述目标图像块的目标特征向量，包括：
将所述目标图像块输入三维卷积神经网络，提取最后一层的全联接层的输出特征，得到所述目标图像块的目标特征向量。
本说明书实施例还提供一种胸部CT骨折检测优化的装置，所述装置包括：
检测模块，被配置为将待检图像输入预设的检测模型，得到肋骨骨折的检出结果，所述检出结果中包括目标候选框以及与所述目标候选框相邻近的多个邻近候选框；
目标特征模块，被配置为根据所述检出结果，从所述待检图像中获取所述目标候选框所在局部的目标图像块，将所述目标图像块输入预设的特征提取网络，得到所述目标图像块的目标特征向量；
补充特征模块，被配置为根据所述检出结果，确定所述目标候选框与所述邻近候选框之间的关联信息，根据所述关联信息得到补充特征向量；
预测模块，被配置为将所述特征向量与所述补充特征向量拼接后，输入决策树模型，得到所述目标候选框的目标预测置信度；
优化模块，被配置为根据所述目标预测置信度确定是否保留所述目标候选框。
本说明书实施例还提供一种胸部CT骨折检测优化的设备，所述设备包括：
至少一个处理器；以及，与所述至少一个处理器通信连接的存储器；
其中，所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，使所述至少一个处理器能够执行如前所述的胸部CT骨折检测优化的方法。
本说明书实施例采用的上述至少一个技术方案能够达到以下有益效果：针对初筛的每个候选框重新预测置信度，由于在预测时不仅利用目标候选框自身的特征向量，还利用了肋骨骨折空间的分布特性而得到的补充特征向量，因而可以提高对目标候选框的预测准确度，进而解决隐匿性骨折的检出率和准确率的问题。经过实际验证，在平均每个病例为一个假阳性检出的水平下，应用本说明书的实施例的技术方案较经典方案，对隐匿性骨折的检出率提高3～5个百分点。
附图说明
为了更清楚地说明本说明书实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本说明书中记载的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1为发生骨折的肋骨图像；
图2为多个肋骨不同程度骨折的图像；
图3为本说明书实施例的胸部CT骨折检测优化的方法流程图；
图4为本说明书实施例中具有特征金字塔网络结构的检测模型示意图；
图5为本公开实施例中从目标图像块提取目标特征向量的示意图；
图6为本公开实施例采用梯度提升决策树进行预测的示意图；
图7为本公开实施例胸部CT骨折检测优化的装置框图。
具体实施方式
为了使本技术领域的人员更好地理解本说明书中的技术方案，下面将结合本说明书实施例中的附图，对本说明书实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本说明书实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都应当属于本申请保护的范围。
肋骨骨折一般由外伤导致，出现骨折的肋骨在空间分布上存在一定的关联性，即，骨折病灶一般都在受伤时肋骨的主要受力点附近分布。实践中，大多数放射科医师在诊断肋骨骨折时，通常会先找到较明显的骨折病灶，并基于这些病灶搜寻邻近肋骨的相同受力点，查看是否存在隐匿性的骨折。
图1给出了从胸部CT影像中截取出来的肋骨骨折的图像，该骨折表现较为明显，容易发现。
图2给出了骨折程度不同的肋骨图像，可以看到，第一根和最后一根的骨折较为隐匿。在医学实践中，放射科医师在诊断时，容易发现中间肋骨的病灶，然后会在该病灶肋骨位置邻近的肋骨中寻找骨折的痕迹，从而确保诊断的准确率。
根据以上的肋骨骨折的空间分布特点，结合实际的阅片习惯，本说明书的实施例提供了一种针对胸部CT图像的肋骨骨折检测的优化方法，可以解决检出隐匿性骨折的问题，达到在不增加假阳检出的情况下，检出隐匿性骨折，提高检出准确率的技术效果。经过实际验证，在平均每个病例为一个假阳性检出的水平下，应用本说明书的实施例的技术方案较经典方案，对隐匿性骨折的检出率提高3～5个百分点。
为解决隐匿性骨折的检出问题，本说明书的实施例中的技术方案的总体思路如下：
允许检测模型的输出低分值的候选框，召回难度较高的病灶候选框，得到初筛的检出结果，然后利用预测模型对初筛的检出结果中的每个候选框进行优化预测。截取目标候选框所在的局部的图像块，经过特征提取网络得到目标候选框的目标特征向量，再利用该目标候选框与邻近候选框的关联信息得到补充特征向量，将目标特征向量和补充特征向量拼接后通过决策树模型进行综合分类，得到该目标候选框的新的预测置信度，依据新的预测置信度来确定是否保留该目标候选框，当该目标候选框的预测置信度高于预设值时保留，如果低于预设值，则判定是假阳检出而予以剔除，由此实现对初筛检出结果的优化，降低假阳检出率，提高病灶检出准确率。
为了更好的理解上述技术方案，下面将结合说明书附图以及具体的实施方式对本公开实施例的技术方案进行详细的说明。
图3示意性示出了根据本公开实施例的胸部CT骨折检测优化的方法流程图。
如图3所示，该方法包括操作S110～S150。
在操作S110，将待检图像输入预设的检测模型，得到肋骨骨折的检出结果，所述检出结果中包括目标候选框以及与所述目标候选框相邻近的多个邻近候选框。
根据本公开实施例的方法，预设的检测模型是预先建模并训练完成的检测模型，该检测模型对待检的胸部CT图像进行肋骨骨折的初筛检测，将待检图像中的隐匿性骨折的可疑病灶的候选框进行输出，这些可疑病灶的候选框普遍分值较低，其中有真阳和假阳的候选框，若将该检测模型的输出阈值设置为较低值时，检测模型可以将这些低分值的候选框输出。具体而言，检测模型包括特征图提取部分和预测部分，特征图提取部分可以是特征金字塔网络FPN，预测部分的阈值设置允许输出低置信度的病灶候选框。例如，若该检测模型正常检测输出时的阈值设为0.5，在需要召回包含隐匿性骨折的更多的病灶候选框时，阈值设为0.2，具体数值可以根据实际需要设定。
由于不同病例的肋骨受伤程度不同，导致肋骨错位程度不同，不同病例的性别、年龄、地域差异也会造成肋骨大小、粗细不同，因此不同病例的肋骨骨折表现出来的形态差异较大，利用神经网络模型检测肋骨骨折时面临检测对象的多尺度问题。在本说明书的实施例中，采用特征金字塔网络将整合了多尺度信息的肋骨骨折病灶的特征图提取出来。
特征金字塔网络的基本原理是：利用神经网络内在的多尺度信息，将低分辨率、高语义信息的高层特征和高分辨率、低语义信息的低层特征自上而下进行融合,使得所有尺度下的特征都有丰富的语义信息。特征金字塔网络中，低层的网络更关注细节信息，高层的网络更关注语义信息，语义信息有助于准确检出目标对象，细节信息则可以在一定程度上提升检测的精度。此外，采用特征金字塔网络时，还可以针对肋骨骨折病灶的尺寸和分布等特点，适应性调整输出的候选框的分布，例如，控制高层的网络输出更多的候选框以提高检出率，控制低层的网络输出更多的候选框以提高准确率。
本说明书的实施例中采用的具有特征金字塔网络结构的检测模型如图4所示，图4中，特征金字塔网络有4层图像特征输出层，每一层的特征输出都连接一个预测分支，这些预测分支构成检测模型的预测部分。每个预测分支包括了回归网络和分类网络，预测分支输出病灶候选框，以及候选框的预测置信度。在应用具有上述网络结构的检测模型时，将待检图像输入预设的检测模型，得到肋骨骨折的检出结果，具体包括：将待检图像输入到检测模型中的特征金字塔网络，得到每层输出的图像特征，将输出的图像特征输入到连接每层的预测分支中，得到待检图像中包含有肋骨骨折的病灶候选框，在一些实施例中，该检测模型输出候选框的预测置信度，即检出结果中还包括候选框的预测置信度。
现简要说明对该检测模型的训练。在训练阶段，检测模型的回归网络的损失函数为smooth L1损失函数，而分类网络的损失函数为焦点损失函数Focal Loss。本实施例中的检测模型在模型训练阶段采用了难例挖掘机制，分类网络采用焦点损失函数Focal Loss，通过减少易分类样本的权重，使得模型在训练时更专注于难分类的样本，有效改善在目标检测任务中正负样本极度不均衡，且目标检测的损失极容易被大量的简单负样本所左右的问题。
焦点损失函数为：L(py)＝-αy(1-py)γlog py
其中，py为模型预测样本为正的概率值，其值介于0-1之间；αy用于调节正负样本之间的比例权重，其值位于0-1之间，在本说明书实施例的训练过程中设为0.5；γ参数用于调节正样本的权重，在本说明书实施例的训练过程中设为2。
由此训练得到检测模型更关注困难样本，例如不完全骨折、非移位骨折等图像表现不太明显的病灶，提高了对这类病灶的检测准确度。
利用该检测模型对待检图像进行检测时，还可以输出各候选框的预测置信度，也就是说，检出结果中还包括多个邻近候选框分别对应的多个预测置信度。这些置信度也可以构成补充特征向量为重新预测目标候选框的置信度发挥作用。
在本说明书实施例中，检测模型可以采用特征金字塔网络FPN，也可以采用其他的检测网络框架，如Faster-RCNN、RetinaNet或者FCOS等，只要检测时将网络阈值设为较低的分值，例如阈值设为0.1或0.2，允许有假阳性检出，确保难度较高的病灶都能够召回即可。
在操作S120，根据所述检出结果，从所述待检图像中获取所述目标候选框所在局部的目标图像块，将所述目标图像块输入预设的特征提取网络，得到所述目标图像块的目标特征向量。
在得到检测模型输出的检出结果后，选定其中一个候选框作为目标候选框，从待检图像中截取出该目标候选框所在局部的目标图像块，目标图像块的尺寸可以根据实际的检测设备的硬件条件、肋骨尺寸的特点以及检测要求等进行设置，一个示例为：若待检的CT图像的每层图像的数据维度为512*512，厚度为CT图像的层数，检测模型使用200*200*200的滑窗进行检测，而候选框内是单独的一根肋骨的图像，因此目标图像块的维度是48*48*48。
截取到目标图像块以后，可以利用神经网络模型对目标图像块进行特征提取。特征提取网络可以是三维卷积神经网络3D CNN，也可以是其他网络，如ResNet、DenseNet等。以特征提取网络为3D CNN为例，将目标图像块输入三维卷积神经网络3D CNN，提取最后一层的全联接层的输出特征，得到目标图像块的特征向量。目标特征向量的维度可以是64维或128维。
上述的特征提取网络在训练阶段，可以利用样本中的所有候选框的图像块对网络进行一次分类训练，得到优化的网络参数。
图5给出了将目标图像块输入特征提取网络得到目标特征向量的一个示意，目标图像块中有目标肋骨的图像，经过卷积神经网络层层传递特征图，在最后一层的全连接层提取到目标特征向量。
在操作S130，根据所述检出结果，确定所述目标候选框与所述邻近候选框之间的关联信息，根据所述关联信息得到补充特征向量。
大多数情况下，肋骨骨折由外伤导致，相邻近的肋骨都可能是受力点，出现骨折的肋骨在空间分布上存在一定的关联性，因此本发明的实施例将利用这些关联性提高预测的准确率。
在本说明书实施例的方法中，利用目标候选框与邻近候选框之间的关联信息，来反映出现骨折的肋骨在空间分布上存在的关联性。关联信息可以利用三个向量来表征，这三个向量可以单独或组合而构成补充特征向量，为重新确定目标候选框的预测置信度起到重要作用。
具体而言，目标候选框与邻近候选框之间的关联信息包括第一向量和第二向量，其中，第一向量为，按目标候选框与K个邻近候选框的距离由近及远的顺序，分别计算目标候选框与K个邻近候选框的肋骨编号之差而得到的K维特征向量；第二向量为，按目标候选框与K个邻近候选框的距离由近及远的顺序，分别计算目标候选框与K个邻近候选框的三维坐标差得到K个三维向量，并将K个三维向量拼接而得到的3*K维特征向量；其中，若邻近候选框的数目不足K个，则在第一向量和第二向量中的对应位置补零。
大多数人群具有12对根肋骨，可以按照从上到下的顺序对肋骨进行编号，如第1对肋骨编号为1……第5对肋骨编号为5，以此类推。因此，每个候选框内有一根肋骨图像，对应着一个肋骨编号。在确定第一向量时，可以针对目标候选框内肋骨，确定其最近的K个同侧(左或者右)肋骨骨折候选框，按照距离目标候选框由近及远的顺序，分别计算目标候选框与邻近候选框的肋骨编号差，得到K维特征。若目标候选框同侧的邻近候选框数目不足K个，则在第一向量中的余下部分补零。K值可以根据实际情况设定，例如，当K设为8，而实际邻近候选框只有6个时，第一向量可以是[1，-1，2，-2，3，-3，0，0]这样的形式。
确定第二向量时，仍然是针对目标候选框，确定其最近的K个邻近候选框，按照距离目标候选框由近及远的顺序，分别计算目标候选框与邻近候选框的相对位置，即目标候选框三维坐标与邻近候选框的三维坐标之差，得到的是K个三维向量，随后将K个三维向量进行拼接，得到3*K维特征的第二向量。同样地，若目标候选框同侧的邻近候选框数目不足K个，则在第二向量中的余下部分补零。
进一步地，检出结果中还可以包括多个所述邻近候选框分别对应的多个预测置信度，则关联信息还可以包括第三向量，第三向量为由K个邻近候选框的预测置信度的K维特征向量，若邻近候选框的数目不足K个，则在第三向量中的对应位置补零。
根据上述关联信息可以得到补充特征向量，具体可以是：将第一向量、第二向量和第三向量中的任一向量作为补充特征向量；或者，将第一向量、第二向量和第三向量中的至少两个向量拼接后作为补充特征向量，例如将三个向量拼接得到的补充特征向量的形式为[第一向量，第二向量，第三向量]。
利用上述的目标候选框与邻近候选框之间的关联信息，可以提高对目标候选框预测置信度的准确率。
在操作S140，将所述目标特征向量与所述补充特征向量拼接后，输入预设的决策树模型，得到所述目标候选框的目标预测置信度。
目标特征向量与特征向量拼接后得到的特征向量中，有部分数值是离散的，例如第一向量代表的肋骨编号差值。针对这钟的特征向量，采用决策树类的算法为较佳的选择。
决策树类的算法有多种，本实施例的方法采用的是梯度提升决策树GBDT模型。该模型是一个集成算法的决策树模型，包括了多个决策树模型，并输出多个决策树预测结果的累加值。如图6所示，采用GBDT模型对拼接后的特征向量x进行预测，得到新的目标预测置信度y。
在操作S150，根据所述目标预测置信度确定是否保留所述目标候选框。
根据本实施例的方法，在得到新的目标预测置信度后，可以与预设值进行比较，在目标预测置信度大于预设值的情况下，可判定该目标候选框为阳性检出，予以保留；若目标预测置信度小于预设值，则判定该目标候选框为假阳性检出，可予以剔除。优化阶段的预设值要高于初筛阶段的检测阈值，例如该预设值设为0.7或0.8，而初筛阶段的检测模型的阈值设为0.1或0.2，这样可以在初筛阶段召回识别难度高病灶候选框，在优化阶段可以利用邻近候选框的关联信息重新预测目标候选框的置信度，提高预测准确率。
应用本公开的实施例的方法，对检出结果中所有候选框进行遍历验证，逐个判定这些候选框中是否存假阳检出，剔除假阳检出，从而提高骨折检测的准确率。
根据本公开实施例的技术方案，可以至少部分地解决检出隐匿性骨折的问题，达到在不增加假阳检出的情况下，检出隐匿性骨折，提高检出准确率的技术效果。经过实际验证，在平均每个病例为一个假阳性检出的水平下，应用本说明书的实施例的技术方案较经典方案，对隐匿性骨折的检出率可提高3～5个百分点。
基于同一发明构思，本公开还提供了一种胸部CT骨折检测优化的装置，下面参照图7对本公开实施例的装置200进行说明。
图7示意性示出了根据本公开实施例的胸部CT骨折检测优化的装置200的框图。其中，该装置200可以通过软件、硬件或者两者的结合实现成为电子设备的部分或者全部。
如图7所示，该装置200包括检测模块210、目标特征向量模块220、补充特征向量模块230、预测模块240，以及优化模块250。该装置200可以执行上文描述的各种方法。
检测模块210，被配置为将待检图像输入预设的检测模型，得到肋骨骨折的检出结果，所述检出结果中包括目标候选框以及与所述目标候选框相邻近的多个邻近候选框。
目标特征模块220，被配置为根据所述检出结果，从所述待检图像中获取所述目标候选框所在局部的目标图像块，将所述目标图像块输入预设的特征提取网络，得到所述目标图像块的目标特征向量。
补充特征模块230，被配置为根据所述检出结果，确定所述目标候选框与所述邻近候选框之间的关联信息，根据所述关联信息得到补充特征向量；
预测模块240，被配置为将所述特征向量与所述补充特征向量拼接后，输入决策树模型，得到所述目标候选框的目标预测置信度。
优化模块250，被配置为根据所述目标预测置信度确定是否保留所述目标候选框。
根据本公开实施例的技术方案，针对初筛的每个候选框重新预测置信度，在预测时不仅利用目标候选框自身的特征向量，还利用了肋骨骨折空间的分布特性，根据其邻近候选框的关联信息得到补充特征向量，因而可以对目标候选框的预测准确度。应用本说明书的实施例的技术方案，可以解决检出隐匿性骨折的问题，达到在不增加假阳检出的情况下，检出隐匿性骨折，提高检出准确率的技术效果。
本公开还提供了一种胸部CT骨折检测优化的设备，包括：
至少一个处理器；
以及，
与所述至少一个处理器通信连接的存储器；
其中，
所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，使所述至少一个处理器能够执行上述任一实施例所述的胸部CT骨折检测优化的方法。
本公开还提供一种计算机可读存储介质，所述计算机可读存储介质存储有计算机可执行指令，所述计算机可执行指令被处理器执行时实现上述任一实施例所述的胸部CT骨折检测优化的方法。
上述对本说明书特定实施例进行了描述。其它实施例在所附权利要求书的范围内。在一些情况下，在权利要求书中记载的动作或步骤可以按照不同于实施例中的顺序来执行并且仍然可以实现期望的结果。另外，在附图中描绘的过程不一定要求示出的特定顺序或者连续顺序才能实现期望的结果。在某些实施方式中，多任务处理和并行处理也是可以的或者可能是有利的。
本说明书中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于装置、电子设备、非易失性计算机存储介质实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。
本说明书实施例提供的装置、电子设备、非易失性计算机存储介质与方法是对应的，因此，装置、电子设备、非易失性计算机存储介质也具有与对应方法类似的有益技术效果，由于上面已经对方法的有益技术效果进行了详细说明，因此，这里不再赘述对应装置、电子设备、非易失性计算机存储介质的有益技术效果。
在20世纪90年代，对于一个技术的改进可以很明显地区分是硬件上的改进(例如，对二极管、晶体管、开关等电路结构的改进)还是软件上的改进(对于方法流程的改进)。然而，随着技术的发展，当今的很多方法流程的改进已经可以视为硬件电路结构的直接改进。设计人员几乎都通过将改进的方法流程编程到硬件电路中来得到相应的硬件电路结构。因此，不能说一个方法流程的改进就不能用硬件实体模块来实现。例如，可编程逻辑器件(Programmable Logic Device,PLD)(例如现场可编程门阵列(Field Programmable GateArray，FPGA))就是这样一种集成电路，其逻辑功能由用户对器件编程来确定。由设计人员自行编程来把一个数字系统“集成”在一片PLD上，而不需要请芯片制造厂商来设计和制作专用的集成电路芯片。而且，如今，取代手工地制作集成电路芯片，这种编程也多半改用“逻辑编译器(logic compiler)”软件来实现，它与程序开发撰写时所用的软件编译器相类似，而要编译之前的原始代码也得用特定的编程语言来撰写，此称之为硬件描述语言(Hardware Description Language，HDL)，而HDL也并非仅有一种，而是有许多种，如ABEL(Advanced Boolean Expression Language)、AHDL(Altera Hardware DescriptionLanguage)、Confluence、CUPL(Cornell University Programming Language)、HDCal、JHDL(Java Hardware Description Language)、Lava、Lola、MyHDL、PALASM、RHDL(RubyHardware Description Language)等，目前最普遍使用的是VHDL(Very-High-SpeedIntegrated Circuit Hardware Description Language)与Verilog。本领域技术人员也应该清楚，只需要将方法流程用上述几种硬件描述语言稍作逻辑编程并编程到集成电路中，就可以很容易得到实现该逻辑方法流程的硬件电路。
控制器可以按任何适当的方式实现，例如，控制器可以采取例如微处理器或处理器以及存储可由该(微)处理器执行的计算机可读程序代码(例如软件或固件)的计算机可读介质、逻辑门、开关、专用集成电路(Application Specific Integrated Circuit，ASIC)、可编程逻辑控制器和嵌入微控制器的形式，控制器的例子包括但不限于以下微控制器：ARC 625D、Atmel AT91SAM、Microchip PIC18F26K20以及Silicone Labs C8051F320，存储器控制器还可以被实现为存储器的控制逻辑的一部分。本领域技术人员也知道，除了以纯计算机可读程序代码方式实现控制器以外，完全可以通过将方法步骤进行逻辑编程来使得控制器以逻辑门、开关、专用集成电路、可编程逻辑控制器和嵌入微控制器等的形式来实现相同功能。因此这种控制器可以被认为是一种硬件部件，而对其内包括的用于实现各种功能的装置也可以视为硬件部件内的结构。或者甚至，可以将用于实现各种功能的装置视为既可以是实现方法的软件模块又可以是硬件部件内的结构。
上述实施例阐明的系统、装置、模块或单元，具体可以由计算机芯片或实体实现，或者由具有某种功能的产品来实现。一种典型的实现设备为计算机。具体的，计算机例如可以为个人计算机、膝上型计算机、蜂窝电话、相机电话、智能电话、个人数字助理、媒体播放器、导航设备、电子邮件设备、游戏控制台、平板计算机、可穿戴设备或者这些设备中的任何设备的组合。
为了描述的方便，描述以上装置时以功能分为各种单元分别描述。当然，在实施本说明书一个或多个实施例时可以把各单元的功能在同一个或多个软件和/或硬件中实现。
本领域内的技术人员应明白，本说明书实施例可提供为方法、系统、或计算机程序产品。因此，本说明书实施例可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本说明书实施例可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本说明书是参照根据本说明书实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据优化设备的处理器以产生一个机器，使得通过计算机或其他可编程数据优化设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据优化设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据优化设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
在一个典型的配置中，计算设备包括一个或多个处理器(CPU)、输入/输出接口、网络接口和内存。
内存可能包括计算机可读介质中的非永久性存储器，随机存取存储器(RAM)和/或非易失性内存等形式，如只读存储器(ROM)或闪存(flash RAM)。内存是计算机可读介质的示例。
计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括，但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带，磁带磁磁盘存储或其他磁性存储设备或任何其他非传输介质，可用于存储可以被计算设备访问的信息。按照本文中的界定，计算机可读介质不包括暂存电脑可读媒体(transitory media)，如调制的数据信号和载波。
还需要说明的是，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、商品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、商品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、商品或者设备中还存在另外的相同要素。
本说明书可以在由计算机执行的计算机可执行指令的一般上下文中描述，例如程序模块。一般地，程序模块包括执行特定任务或实现特定抽象数据类型的例程、程序、对象、组件、数据结构等等。也可以在分布式计算环境中实践说明书，在这些分布式计算环境中，由通过通信网络而被连接的远程处理设备来执行任务。在分布式计算环境中，程序模块可以位于包括存储设备在内的本地和远程计算机存储介质中。
本说明书中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于系统实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。
以上所述仅为本说明书实施例而已，并不用于限制本申请。对于本领域技术人员来说，本申请可以有各种更改和变化。凡在本申请的精神和原理之内所作的任何修改、等同替换、改进等，均应包含在本申请的权利要求范围之内。

Claims (9)

1.一种胸部CT骨折检测优化的方法，其特征在于，所述方法包括：
将待检图像输入预设的检测模型，得到肋骨骨折的检出结果，所述检出结果中包括目标候选框以及与所述目标候选框相邻近的多个邻近候选框；
根据所述检出结果，从所述待检图像中获取所述目标候选框所在局部的目标图像块，将所述目标图像块输入预设的特征提取网络，得到所述目标图像块的目标特征向量；
根据所述检出结果，确定所述目标候选框与所述邻近候选框之间的关联信息，根据所述关联信息得到补充特征向量；所述关联信息包括第一向量和第二向量，其中，所述第一向量为，按所述目标候选框与K个所述邻近候选框的距离由近及远的顺序，分别计算所述目标候选框与K个所述邻近候选框的肋骨编号之差而得到的K维特征向量；所述第二向量为，按所述目标候选框与K个所述邻近候选框的距离由近及远的顺序，分别计算所述目标候选框与K个所述邻近候选框的三维坐标差得到K个三维向量，并将所述K个三维向量拼接而得到的3*K维特征向量；其中，若所述邻近候选框的数目不足K个，则在所述第一向量和所述第二向量中的对应位置补零；
将所述目标特征向量与所述补充特征向量拼接后，输入预设的决策树模型，得到所述目标候选框的目标预测置信度；
根据所述目标预测置信度确定是否保留所述目标候选框。
2.根据权利要求1所述的方法，其特征在于，所述检出结果还包括多个所述邻近候选框分别对应的多个预测置信度，所述关联信息还包括第三向量，所述第三向量为由K个所述邻近候选框的预测置信度构成的K维特征向量，其中，若所述邻近候选框的数目不足K个，则在所述第三向量中的对应位置补零。
3.根据权利要求2所述的方法，其特征在于，所述根据所述关联信息得到补充特征向量，包括：
将所述第一向量、所述第二向量和所述第三向量中的至少两个向量拼接后作为补充特征向量。
4.根据权利要求1所述的方法，其特征在于，所述决策树模型为梯度提升决策树模型，所述梯度提升决策树模型包括多个决策树，并输出所述多个决策树预测结果的累加值。
5.根据权利要求1所述的方法，其特征在于，所述检测模型包括特征图提取部分和预测部分，所述特征图提取部分为特征金字塔网络结构，所述预测部分的阈值设置允许输出低置信度的病灶候选框。
6.根据权利要求5所述的方法，其特征在于，所述检测模型的预测部分包括分类网络，所述分类网络在训练阶段采用了难例挖掘机制，且损失函数为焦点损失函数。
7.根据权利要求1所述的方法，其特征在于，所述将所述目标图像块输入预设的特征提取网络，得到所述目标图像块的目标特征向量，包括：
将所述目标图像块输入三维卷积神经网络，提取最后一层的全联接层的输出特征，得到所述目标图像块的目标特征向量。
8.一种胸部CT骨折检测优化的装置，其特征在于，所述装置包括：
检测模块，被配置为将待检图像输入预设的检测模型，得到肋骨骨折的检出结果，所述检出结果中包括目标候选框以及与所述目标候选框相邻近的多个邻近候选框；
目标特征模块，被配置为根据所述检出结果，从所述待检图像中获取所述目标候选框所在局部的目标图像块，将所述目标图像块输入预设的特征提取网络，得到所述目标图像块的目标特征向量；
补充特征模块，被配置为根据所述检出结果，确定所述目标候选框与所述邻近候选框之间的关联信息，根据所述关联信息得到补充特征向量；所述关联信息包括第一向量和第二向量，其中，所述第一向量为，按所述目标候选框与K个所述邻近候选框的距离由近及远的顺序，分别计算所述目标候选框与K个所述邻近候选框的肋骨编号之差而得到的K维特征向量；所述第二向量为，按所述目标候选框与K个所述邻近候选框的距离由近及远的顺序，分别计算所述目标候选框与K个所述邻近候选框的三维坐标差得到K个三维向量，并将所述K个三维向量拼接而得到的3*K维特征向量；其中，若所述邻近候选框的数目不足K个，则在所述第一向量和所述第二向量中的对应位置补零；
预测模块，被配置为将所述特征向量与所述补充特征向量拼接后，输入决策树模型，得到所述目标候选框的目标预测置信度；
优化模块，被配置为根据所述目标预测置信度确定是否保留所述目标候选框。
9.一种胸部CT骨折检测优化的设备，包括：
至少一个处理器；以及，
与所述至少一个处理器通信连接的存储器；
其中，
所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，使所述至少一个处理器能够执行权利要求1至7中任一项所述的胸部CT骨折检测优化的方法。
CN202310062419.9A 2023-01-16 2023-01-16 胸部ct骨折检测优化的方法、装置及设备 Active CN116363056B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310062419.9A CN116363056B (zh) 2023-01-16 2023-01-16 胸部ct骨折检测优化的方法、装置及设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310062419.9A CN116363056B (zh) 2023-01-16 2023-01-16 胸部ct骨折检测优化的方法、装置及设备

Publications (2)

Publication Number Publication Date
CN116363056A CN116363056A (zh) 2023-06-30
CN116363056B true CN116363056B (zh) 2023-09-05

Family

ID=86910227

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310062419.9A Active CN116363056B (zh) 2023-01-16 2023-01-16 胸部ct骨折检测优化的方法、装置及设备

Country Status (1)

Country Link
CN (1) CN116363056B (zh)

Citations (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005246032A (ja) * 2004-02-04 2005-09-15 Fuji Photo Film Co Ltd 異常陰影検出方法および装置並びにプログラム
JP2015080554A (ja) * 2013-10-22 2015-04-27 コニカミノルタ株式会社 医用画像処理装置及びプログラム
CN108520519A (zh) * 2018-04-11 2018-09-11 上海联影医疗科技有限公司 一种图像处理方法、装置及计算机可读存储介质
CN110570389A (zh) * 2018-09-18 2019-12-13 阿里巴巴集团控股有限公司 车辆损伤识别方法及装置
CN110992376A (zh) * 2019-11-28 2020-04-10 北京推想科技有限公司 基于ct图像的肋骨分割方法、装置、介质及电子设备
CN112348057A (zh) * 2020-10-20 2021-02-09 歌尔股份有限公司 一种基于yolo网络的目标识别方法与装置
CN112381762A (zh) * 2020-10-19 2021-02-19 深圳视见医疗科技有限公司 一种基于深度学习算法的ct肋骨骨折辅助诊断系统
CN112785591A (zh) * 2021-03-05 2021-05-11 杭州健培科技有限公司 一种ct影像中肋骨骨折的检测与分割方法及装置
CN113971658A (zh) * 2021-09-09 2022-01-25 北京医准智能科技有限公司 一种图像处理方法及设备
CN114494160A (zh) * 2022-01-10 2022-05-13 复旦大学 一种基于完全融合集成网络候选框的骨折检测方法
CN114757873A (zh) * 2022-03-01 2022-07-15 深圳视见医疗科技有限公司 肋骨骨折检测方法、装置、终端设备及可读存储介质
CN115345938A (zh) * 2022-10-18 2022-11-15 汉斯夫(杭州)医学科技有限公司 基于全局到局部的头影标记点定位方法、设备及介质
CN115456990A (zh) * 2022-09-13 2022-12-09 北京医准智能科技有限公司 一种基于ct图像的肋骨计数方法、装置、设备及存储介质

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11823381B2 (en) * 2020-12-27 2023-11-21 Ping An Technology (Shenzhen) Co., Ltd. Knowledge distillation with adaptive asymmetric label sharpening for semi-supervised fracture detection in chest x-rays

Patent Citations (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005246032A (ja) * 2004-02-04 2005-09-15 Fuji Photo Film Co Ltd 異常陰影検出方法および装置並びにプログラム
JP2015080554A (ja) * 2013-10-22 2015-04-27 コニカミノルタ株式会社 医用画像処理装置及びプログラム
CN108520519A (zh) * 2018-04-11 2018-09-11 上海联影医疗科技有限公司 一种图像处理方法、装置及计算机可读存储介质
CN110570389A (zh) * 2018-09-18 2019-12-13 阿里巴巴集团控股有限公司 车辆损伤识别方法及装置
CN110992376A (zh) * 2019-11-28 2020-04-10 北京推想科技有限公司 基于ct图像的肋骨分割方法、装置、介质及电子设备
CN112381762A (zh) * 2020-10-19 2021-02-19 深圳视见医疗科技有限公司 一种基于深度学习算法的ct肋骨骨折辅助诊断系统
CN112348057A (zh) * 2020-10-20 2021-02-09 歌尔股份有限公司 一种基于yolo网络的目标识别方法与装置
CN112785591A (zh) * 2021-03-05 2021-05-11 杭州健培科技有限公司 一种ct影像中肋骨骨折的检测与分割方法及装置
CN113971658A (zh) * 2021-09-09 2022-01-25 北京医准智能科技有限公司 一种图像处理方法及设备
CN114494160A (zh) * 2022-01-10 2022-05-13 复旦大学 一种基于完全融合集成网络候选框的骨折检测方法
CN114757873A (zh) * 2022-03-01 2022-07-15 深圳视见医疗科技有限公司 肋骨骨折检测方法、装置、终端设备及可读存储介质
CN115456990A (zh) * 2022-09-13 2022-12-09 北京医准智能科技有限公司 一种基于ct图像的肋骨计数方法、装置、设备及存储介质
CN115345938A (zh) * 2022-10-18 2022-11-15 汉斯夫(杭州)医学科技有限公司 基于全局到局部的头影标记点定位方法、设备及介质

Also Published As

Publication number Publication date
CN116363056A (zh) 2023-06-30

Similar Documents

Publication Publication Date Title
EP3989119A1 (en) Detection model training method and apparatus, computer device, and storage medium
CN113095124B (zh) 一种人脸活体检测方法、装置以及电子设备
CN116343314B (zh) 一种表情识别方法、装置、存储介质及电子设备
CN115618964B (zh) 一种模型训练的方法、装置、存储介质及电子设备
CN112164102A (zh) 一种图像处理方法及装置
CN109816650A (zh) 一种基于二维dsa图像的目标区域识别方法及其系统
CN117037215A (zh) 人体姿态估计模型训练方法、估计方法、装置及电子设备
CN116363056B (zh) 胸部ct骨折检测优化的方法、装置及设备
CN111639684B (zh) 一种数据处理模型的训练方法及装置
CN117036829A (zh) 一种基于原型学习实现标签增强的叶片细粒度识别方法和系统
CN116503357A (zh) 图像处理方法及装置
CN117113174A (zh) 一种模型训练的方法、装置、存储介质及电子设备
CN116630480A (zh) 一种交互式文本驱动图像编辑的方法、装置和电子设备
CN116030309A (zh) 一种对抗样本生成方法、装置、存储介质及电子设备
CN114511911A (zh) 一种人脸识别方法、装置以及设备
CN114972241A (zh) 基于残差神经网络胎儿超声切面量化质控考核方法及装置
CN116167984B (zh) 用于抑制运动伪影的骨折假阳检出的方法、装置及设备
CN110610185B (zh) 图像的显著目标的检测方法、装置及设备
CN116246774B (zh) 一种基于信息融合的分类方法、装置及设备
CN111523539A (zh) 一种文字检测方法及装置
CN113887326B (zh) 一种人脸图像处理方法及装置
CN116152246B (zh) 一种图像识别方法、装置、设备及存储介质
CN116108163B (zh) 一种文本的匹配方法、装置、设备及存储介质
CN113642603B (zh) 一种数据匹配方法、装置、存储介质及电子设备
CN117132806A (zh) 一种模型训练的方法、装置、存储介质及电子设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CP03 Change of name, title or address
CP03 Change of name, title or address

Address after: Room 3011, 2nd Floor, Building A, No. 1092 Jiangnan Road, Nanmingshan Street, Liandu District, Lishui City, Zhejiang Province, 323000

Patentee after: Zhejiang Yizhun Intelligent Technology Co.,Ltd.

Address before: No. 301, 3rd Floor, Zhizhen Building, No. 7 Zhichun Road, Haidian District, Beijing, 100000

Patentee before: Beijing Yizhun Intelligent Technology Co.,Ltd.