CN115439686A - 一种基于扫描影像的关注对象检测方法及系统 - Google Patents

一种基于扫描影像的关注对象检测方法及系统 Download PDF

Info

Publication number
CN115439686A
CN115439686A CN202211045732.3A CN202211045732A CN115439686A CN 115439686 A CN115439686 A CN 115439686A CN 202211045732 A CN202211045732 A CN 202211045732A CN 115439686 A CN115439686 A CN 115439686A
Authority
CN
China
Prior art keywords
image data
detection model
value
interest
intermediate image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202211045732.3A
Other languages
English (en)
Other versions
CN115439686B (zh
Inventor
唐海啸
杨洪磊
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Yixuan Zhejiang Medical Technology Co ltd
Original Assignee
Yixuan Zhejiang Medical Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Yixuan Zhejiang Medical Technology Co ltd filed Critical Yixuan Zhejiang Medical Technology Co ltd
Priority to CN202211045732.3A priority Critical patent/CN115439686B/zh
Publication of CN115439686A publication Critical patent/CN115439686A/zh
Application granted granted Critical
Publication of CN115439686B publication Critical patent/CN115439686B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/136—Segmentation; Edge detection involving thresholding
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/90—Determination of colour characteristics
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10072—Tomographic images
    • G06T2207/10081—Computed x-ray tomography [CT]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/07—Target detection
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Artificial Intelligence (AREA)
  • Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)

Abstract

本发明提供一种基于扫描影像的关注对象检测方法及系统，包括：获取包含关注对象的原始扫描影像数据；建立初始检测模型；基于初始检测模型从原始扫描影像数据中确定有标注或无标注影像数据；对无标注影像数据和有标注影像数据进行处理，获得第一中间影像数据和第二中间影像数据；基于第一中间影像数据和第二中间影像数据，建立训练数据集；利用训练数据集对初始检测模型进行调优，获得理想检测模型；根据理想检测模型从原始扫描影像数据中检测关注对象的类型和位置。通过对扫描影像数据进行获取和处理建立训练集，对初始检测模型进行调优获得理想检测模型进而实现关注对象的类型和位置检测，使其类型和位置更容易被分辨，减轻技术人员工作负担。

Description

一种基于扫描影像的关注对象检测方法及系统
技术领域
本发明涉及影像处理技术领域，尤其涉及一种基于扫描影像的关注对象检测方法及系统。
背景技术
CT(Computed Tomography)，即电子计算机断层扫描，根据人体不同组织对X线的吸收与透过率的不同，利用精确准直的X线束、γ射线、超声波等，与灵敏度极高的探测器一同围绕被测对象的某一部位作一个接一个的断面扫描，然后将测量所获取的数据输入电子计算机，电子计算机对数据进行处理后，就可获得被检查部位的断面或立体的图像。近年来，随着社会上对放射性检测需求的日益增多，影像学专业人员每天要阅读的影像图片数量也急剧增长，现有图像处理技术可以将扫描后的数据处理为可视化的灰度图以供专业人员查阅，但是由于人眼分辨灰度阶数能力有限，即使专业人员消耗大量精力，想要在包含众多相似灰阶的灰度图中准确找到目标观察对象，仍然具有非常高的难度。
发明内容
本发明解决的问题是如何对扫描影像数据进行图像优化处理以降低关注对象的辨别难度。
为解决上述问题，本发明提供一种基于扫描影像的关注对象检测方法，包括：
获取包含关注对象的原始扫描影像数据；
基于所述关注对象建立初始检测模型；
基于所述初始检测模型从所述原始扫描影像数据中确定出有标注影像数据和无标注影像数据；
对所述无标注影像数据进行第一影像特征处理获得第一中间影像数据，对所述有标注影像数据进行第二影像特征处理获得第二中间影像数据；
基于所述第一中间影像数据和所述第二中间影像数据，建立训练数据集；
利用所述训练数据集对所述初始检测模型进行调优，获得理想检测模型；
根据所述理想检测模型从所述原始扫描影像数据中检测所述关注对象的类型和位置。
可选地，所述对所述无标注影像数据进行第一影像特征处理获得第一中间影像数据，具体包括：
根据所述原始影像数据中的各种组织的HU值分布，将所述无标注影像数据中的所述各种组织的HU值映射为灰度值；
根据预设的阈值选取算法对所述灰度值的阈值进行选取；
根据所述阈值对所述无标注影像数据进行二值化处理，获得第一中间影像数据。
可选地，在所述根据所述原始影像数据中的各种组织的HU值分布，将所述无标注影像数据中的所述各种组织的HU值映射为灰度值之前，还包括：
通过定义区间来显示所述HU值的数值，包括基于所述HU值及所述关注对象调整待输出图像的窗位Window Center与窗宽Window Width。
可选地，所述通过定义区间来显示所述HU值的数值，包括基于所述HU值及所述关注对象调整待输出图像的窗位Window Center与窗宽Window Width，具体包括：
获取所述关注对象的数据信息，包括所述关注对象的HU值；
根据所述关注对象的HU值，确定所述待输出图像的所述窗位Window Center与所述窗宽Window Width范围。
可选地，在所述对所述无标注影像数据进行第一影像特征处理获得第一中间影像数据之后，还包括：
根据所述灰度值及所述HU值计算所述待输出图像中第一关注对象面积和第二关注对象面积的比例；
判断所述比例是否满足第一告警条件；
若满足，则对所述待输出图像进行告警信息标注。
可选地，所述对所述有标注影像数据进行第二影像特征处理获得第二中间影像数据，具体包括：
对所述有标注影像数据进行图像归一化处理和统一单通道处理，获得第二中间影像数据。
可选地，所述基于所述第一中间影像数据和所述第二中间影像数据，建立训练数据集，具体包括：
获取所述第一中间影像数据的第一标签和所述第二中间影像数据的第二标签，所述第一标签和所述第二标签包括所述关注对象的类型的分类标签；
基于所述第一中间影像数据、所述第一标签、所述第二中间影像数据和所述第二标签，建立所述训练数据集。
可选地，所述利用所述训练数据集对所述初始检测模型进行调优，获得理想检测模型，具体包括：
所述调优包括第一调优和第二调优；
所述第一调优包括：利用所述训练数据集，训练预热Warmup，调整所述初始检测模型的学习率CosineAnnealing LR；
选择sigmoid函数对所述初始检测模型的输出进行修补；
根据Anchor锚框初始值宽高，计算Autoanchor锚框真实回归宽高与初始宽高的偏移量；
计算及优化所述初始模型总的损失函数，将所述关注对象的所述类型的检测结果调整为二元交叉熵损失；
所述第二调优包括：根据所述第二中间影像数据，训练所述第一调优后的所述初始检测模型，获得所述理想检测模型。
可选地，所述根据所述理想检测模型从所述原始扫描影像数据中检测所述关注对象的类型和位置，具体包括：
加载所述理想检测模型，进行实时影像检测；
根据所述理想检测模型实时检测所述关注对象的所述类型；
根据所述理想检测模型实时锚出所述关注对象的位置。
相对于现有技术，本发明所述的基于扫描影像的关注对象检测方法，通过获取扫描影像数据，基于关注对象建立初始检测模型，确定出无标注影像数据和有标注影像数据，对扫描影像数据进行图像处理后建立训练集，并根据训练数据集对初始检测模型进行调优，获得理想检测模型。使用理想检测模型对扫描影像数据进行关注对象的类型和位置检测，使得关注对象及其类型和位置更容易被分辨，减轻技术人员的工作负担，提高评片效率和准确性，避免人为疏忽导致的评片误判。
本发明还提供一种基于扫描影像的关注对象检测系统，包括：
获取模块，其用于获取包含关注对象的原始扫描影像数据；
建模模块：其用于基于所述关注对象建立初始检测模型；
确定模块，其用于基于所述初始检测模型从所述原始扫描影像数据中确定出有标注影像数据和无标注影像数据；
处理模块，其用于对所述无标注影像数据进行第一影像特征处理获得第一中间影像数据，对所述有标注影像数据进行第二影像特征处理获得第二中间影像数据；
数据集模块，其用于基于所述第一中间影像数据和所述第二中间影像数据，建立训练数据集；
训练模块，其用于利用所述训练数据集对所述初始检测模型进行调优，获得理想检测模型；
检测模块，其用于根据所述理想检测模型从所述原始扫描影像数据中检测所述关注对象的类型和位置。
本发明所述的基于扫描影像的关注对象检测系统与所述的基于扫描影像的关注对象检测方法相对于现有技术的优势相同，在此不再赘述。
附图说明
图1为本发明实施例的基于扫描影像的关注对象检测方法的流程图；
图2为本发明实施例的基于扫描影像的关注对象检测方法步骤S400细化后的流程图；
图3为本发明实施例的基于扫描影像的关注对象检测方法步骤S400细化后的另一流程图；
图4为本发明实施例的基于扫描影像的关注对象检测方法步骤S600细化后的流程图；
图5为本发明实施例的基于扫描影像的关注对象检测方法步骤S700细化后的流程图。
具体实施方式
为使本发明的上述目的、特征和优点能够更为明显易懂，下面结合附图对本发明的具体实施例做详细的说明。虽然附图中显示了本发明的某些实施例，然而应当理解的是，本发明可以通过各种形式来实现，而且不应该被解释为限于这里阐述的实施例，相反提供这些实施例是为了更加透彻和完整地理解本发明。应当理解的是，本发明的附图及实施例仅用于示例性作用，并非用于限制本发明的保护范围。
应当理解，本发明的方法实施方式中记载的各个步骤可以按照不同的顺序执行，和/或并行执行。此外，方法实施方式可以包括附加的步骤和/或省略执行示出的步骤。本发明的范围在此方面不受限制。
本文使用的术语“包括”及其变形是开放性包括，即“包括但不限于”。术语“基于”是“至少部分地基于”。术语“一个实施例”表示“至少一个实施例”；术语“另一实施例”表示“至少一个另外的实施例”；术语“一些实施例”表示“至少一些实施例”；术语“可选地”表示“可选的实施例”。其他术语的相关定义将在下文描述中给出。需要注意，本发明中提及的“第一”、“第二”等概念仅用于对不同的装置、模块或单元进行区分，并非用于限定这些装置、模块或单元所执行的功能的顺序或者相互依存关系。
需要注意，本发明中提及的“一个”、“多个”的修饰是示意性而非限制性的，本领域技术人员应当理解，除非在上下文另有明确指出，否则应该理解为“一个或多个”。
本发明一实施例提供一种基于扫描影像的关注对象检测方法，如图1所示，该方法包括：
S100：获取包含关注对象的原始扫描影像数据。
在一实施例中，本发明所指扫描影像数据表示：通过包括CT或PET-CT等扫描设备获取到的扫描影像数据。其中，CT或PET-CT等扫描设备的原始数据采用医学数字成像和通信(DICOM，Digital Imaging and Communications in Medicine)格式。
可选地，原始数据中包含各组织与X射线吸收系数相关的CT值信息和数据相关的头文件信息。在本实施例中，CT值为亨氏单位(HU，Hounsfi led Unit)值，即HU值，反映了组织对X射线吸收程度，以水的吸收程度作为参考，衰减系数大于水的为正值，小于水的为负值。
具体地，获取扫描影像数据的方式，可以为通过HL7 V2.X，3.X协议对扫描影像数据进行实时获取，也可以从已有的图像平台或系统中获取。
在本实施例中，通过获取包含关注对象的原始扫描影像数据，避免不包含关注对象影像数据的干扰，为后续初始检测模型建立和模型训练提供了数据基础。
S200：基于所述关注对象建立初始检测模型。
在一实施例中，可以通过人工神经网络构建基于关注对象建立初始检测模型，例如，明确建模对象为关注对象，明确建模目的为对关注对象的类型和位置进行检测，进而选择影响因素，选择适宜的表达方法以及合适的推理方式建立初始检测模型。
本实施例基于关注对象建立初始检测模型，便于后续通过训练数据集对初始检测模型进行准确性提升，为理想模型提供基础。
S300：基于所述初始检测模型从所述原始扫描影像数据中确定出有标注影像数据和无标注影像数据。
在一实施例中，本发明所指无标注影像数据表示包含原始数据的扫描影像数据；
本发明所指有标注影像数据表示包含标注信息的扫描影像数据，标注信息可以包括关注对象类型信息、关注对象位置信息等。
具体地，根据所述初始检测模型从所述原始扫描影像数据中确定出有标注影像数据和无标注影像数据，可以通过判断扫描影像数据是否被标记过数据来确定。例如，利用初始检测模型判断扫描影像数据是否存在尺寸、形态等参数标注信息，确定出被标记过尺寸、形态等参数的扫描影像数据作为有标注影像数据，确定出没有被标记过尺寸、形态等参数的扫描影像数据作为无标注影像数据。
通过确定出无标注的扫描影像数据和有标注的扫描影像数据为后续的图像特征处理和建立训练数据集提供基础数据，通过获取不同类型的扫描影像数据可以增加后续建立训练数据集的丰富度和立体度。
S400：对所述无标注影像数据进行第一影像特征处理获得第一中间影像数据，对所述有标注影像数据进行第二影像特征处理获得第二中间影像数据。
在一实施例中，本发明所指的影像特征处理，是指对图像进行一系列标准的处理变换，使之变换为满足后续训练数据集建立所需形式的过程。
可选地，对扫描影像数据进行影像特征处理，可以包括图像分割处理，本发明所指图像分割处理是指，将扫描影像数据分成若干个特定的、具有独特性质的区域并提出感兴趣目标的技术和过程。图像分割的处理过程也是一个标记过程，即把属于同一区域赋予相同的标记元素。实现图像分割处理的方法主要包括：基于阈值的分割处理方法、基于区域的分割处理方法、基于边缘的分割处理方法以及基于特定理论的分割处理方法。
在本实施例中，通过对无标注影像数据和有标注影像数据进行影像特征处理，提高数据质量，以满足后续建立模型训练集的基本条件，便于后续模型对扫描影像数据的调取使用。
S500：基于所述第一中间影像数据和所述第二中间影像数据，建立训练数据集。
在一实施例中，本发明所指训练数据集是指用于模型构建的数据集合，是人工智能模型构建过程中最关键的影响因素之一。
在本实施例中通过使用图像处理后的无标注影像数据和有标注影像数据，即第一中间影像数据和所述第二中间影像数据来建立训练数据集，提升训练数据集的丰富度，便于完善模型，提升后续构建模型的检测覆盖程度。
S600：利用所述训练数据集对所述初始检测模型进行调优，获得理想检测模型。
在一实施例中，初始驾检测模型可以调取训练数据集内经过图像特征处理的扫描影像数据对初始模型进行调优，再经过不断迭代调取数据集内的扫描影像数据对初始检测模型进行持续调优，获得理想检测模型。
可选地，可选择第一中间影像数据作为第一训练数据集，用于训练初始检测模型；可选择第二中间影像数据作为第二训练数据集，用于优化训练后的初始检测模型。
在本实施例中，通过训练数据集对初始检测模型进行调优，优化初始检测模型，提高初始检测模型输出结果的准确率，实现理想时检测模型的构建。
S700：根据所述理想检测模型从所述原始扫描影像数据中检测所述关注对象的类型和位置。
在一实施例中，关注对象可以是根据使用场景需求预设的扫描影像观测目标，例如，关注对象可以是根据医生观测需要，预设的人体组织，相应地，关注对象类型可以是正常人体组织或异常人体组织，关注对象的位置可以是异常人体组织的位置；关注对象也可以是根据海关人员观测需要，预设的出入境包裹内的危险品，相应地，关注对象类型可以是危险品的类型，如毒品、可燃物或管制武器，关注对象的位置可以是危险品在包裹内的位置。
可选地，关注对象类型检测可以通过标记关注对象类型实现，关注对象位置检测可以通过定位关注对象中心位置的坐标点或框选关注对象轮廓来实现。
本实施例使用理想检测模型对扫描影像数据进行关注对象类型检测和关注对象位置检测，使得扫描影像数据的关注对象及其类型和位置更容易分辨，便于技术人员开展评片作业。
本发明所述的基于扫描影像的关注对象检测方法，通过获取扫描影像数据，基于关注对象建立初始检测模型，确定扫描影像数据中的无标注影像数据和有标注影像数据，对扫描影像数据进行图像处理后建立训练集，并根据训练数据集对初始检测模型进行调优，获得理想检测模型。使用理想检测模型对扫描影像数据进行关注对象类型检测和关注对象位置检测，使得关注对象及其类型和位置更容易被分辨，减轻技术人员的工作负担，提高评片效率和准确性，避免人为疏忽导致的评片误判。
可选地，如图2所示，所述对所述无标注影像数据进行第一影像特征处理获得第一中间影像数据，具体包括：
S410：根据所述原始影像数据中的各种组织的HU值分布，将所述无标注影像数据中的所述各种组织的HU值映射为灰度值；
S420：根据预设的阈值选取算法对所述灰度值的阈值进行选取；
S430：根据所述阈值对所述无标注影像数据进行二值化处理，获得第一中间影像数据。
在一实施例中，本发明所指灰度值表示指将灰度对象转换为RGB时，每个对象的颜色值。把白色与黑色之间按对数关系分成若干级，称为“灰度等级”，使用黑白或灰度扫描仪测量生成的图像通常以灰度显示。
在另一实施例中，本发明所指预设的阈值选取算法包括：双峰法、P参数法、大律法、最大熵阈值法和迭代法。例如，根据迭代法对所述灰度值的阈值进行选取：
设立阈值T的初始值，如将初始阈值设为图像的平均灰度值；
分割步骤，用T分割像素值，产生两组像素值G1和G2，其中，G1由小于等于T的像素值组成，G2由大于T的像素值组成；
计算G1中的平均像素值T1和G2中的平均像素值T2；
判断|T-(T1+T2)/2|<ΔT是否成立，
其中，T表示阈值，T1表示小于等于T的像素值的平均值，T2表示大于T的像素值的平均值，ΔT表示预设阈值偏差；
若|T-(T1+T2)/2|<ΔT成立，输出T＝(T1+T2)/2；
若|T-(T1+T2)/2|<ΔT不成立，则调整初始值T，重新返回分割步骤。
本发明所指二值化表示将图像上的点的灰度值定义为0或255，也就是将整个图像呈现出明显的黑白效果。即将256个亮度等级的灰度图像通过预设的阈值选取而获得仍然可以反映图像整体和局部特征的二值化图像。
具体地，根据被扫描对象中的各种组织的HU值分布，将无标注影像数据中的所述各种组织的HU值映射为灰度值，通过预设的灰度值阈值对图像进行二值化处理。例如，预设的灰度值阈值为125，则将灰度值大于或等于125的像素点灰度值赋值为255，将灰度值小于125的像素点赋值为0。
在本实施例中，通过将扫描影像数据映射为灰度值，再通过选取合适的阈值对灰度值进行二值化处理，实现扫描影像分割，得到处理后的第一影像数据，使得后续处理过程不再涉及像素的多级值，简化数据处理，减小数据压缩量。
可选地，在所述根据所述原始影像数据中的各种组织的HU值分布，将所述无标注影像数据中的所述各种组织的HU值映射为灰度值之前，还包括：
通过定义区间来显示所述HU值的数值，包括基于所述HU值及所述关注对象调整待输出图像的窗位Window Center与窗宽Window Width。
具体地，由于不同组织的HU值范围不同，可以根据实际需要观察的目标，如关注对象，通过定义窗位Window Center与窗宽Window Width的范围区间来调整显示的HU值的数值，即显示需要观测的组织。
在本实施例中，通过定义窗位Window Center与窗宽Window Width的区间来显示需要观察的目标，排除非关注目标的干扰，减少数据处理数量，降低数据处理难度。
可选地，所述通过定义区间来显示所述HU值的数值，包括基于所述HU值及所述关注对象调整待输出图像的窗位Window Center与窗宽Window Width，具体包括：
获取所述关注对象的数据信息，包括所述关注对象的HU值；
根据所述关注对象的HU值，确定所述待输出图像的所述窗位Window Center与所述窗宽Window Width范围。
在一实施例中，通过获取关注对象的数据信息，如关注对象的HU值，并根据关注对象的HU值的范围，确定待输出图像的窗位Window Center与窗宽Window Width范围。例如，若被扫描对象为人体，关注对象可以为人体肺部组织，包括肺、软组织、脂肪以及内部的水和空气等，获取肺、软组织、脂肪以及内部的水和空气的HU值，得到需要显示关注对象所需HU值的范围为：-1350—150，即HU最大值为150，HU最小值为-1350，窗位Window Center、窗宽Window Width与HU最大值、HU最小值的关系可以表示为：
Max＝level+window/2，
Min＝level-window/2，
其中，Max表示HU最大值，Min表示HU最小值，level表示窗位Window Center，window表示窗宽Window Width。
根据上式计算出待输出图像的窗位(Window Level/Center)和窗宽(WindowWidth)的范围是：Window1500,Level-600。
在本实施例中，根据关注对象及其HU值，通过定义窗位(Window Level/Center)和窗宽(Window Width)区间来显示HU值的数值，剔除待输出图像中的干扰信息，同时简化数据处理，提升处理效率。
可选地，如图3所示，在所述对所述无标注影像数据进行第一影像特征处理获得第一中间影像数据之后，还包括：
S440：根据所述灰度值及所述HU值计算所述待输出图像中第一关注对象面积和第二关注对象面积的比例；
S450：判断所述比例是否满足第一告警条件；
S460：若满足，则对所述待输出图像进行告警信息标注。
在一实施例中，若被扫描对象为人体，则第一关注对象可以为肺部内血管，第二关注对象可以为肺部，假设肺部血管的HU值为A，对应的灰度值为A1，肺部的HU值为B，对应的灰度值为B1，则根据HU值和灰度值即可区分肺部血管与肺部区域，可以根据肺部血管和肺部区域的灰度值对应体素的数量来计算肺部血管与肺部的相对面积，进而得到二者的面积比例。再通过判断得到的比例是否符合第一告警条件来决定是否对待输出图像进行告警信息标注。
可选地，第一关注对象也可以是已知尺寸的标记参照物，与被扫描对象一同扫描后，根据计算第一关注对象和第二关注对象的比例可以得到被扫描对象内第二关注对象的实际尺寸信息。
可选地，第一告警条件可以是预设的比例阈值，也可以是预设的与历史数据的相似度阈值。
本实施例通过灰度值和HU值区分不同关注对象区域，进而评估不同关注对象之间的尺寸关系，使用预设告警条件标记告警信息，便于后续技术人员综合图像标注信息进行评片。
可选地，所述对所述有标注影像数据进行第二影像特征处理获得第二中间影像数据，具体包括：
对所述有标注影像数据进行图像归一化处理和统一单通道处理，获得第二中间影像数据。
在一实施例中，本发明所指图像归一化处理表示对图像灰度值进行统一数据处理，一般来说图像的灰度值范围在0-255之间，对于计算机来说数值过大，一般将灰度值统一除以255，得到0-1之间的数值来进行计算。本发明所指统一单通道处理表示将三通道彩色图像统一提取为单通道的灰度图，便于后续模型识别。
本实施例通过对有标注扫描影像数据进行图像归一化处理和统一单通道处理，获得第二中间影像数据，减少需要计算的数据量，便于后续模型训练过程中调取使用。
可选地，所述基于所述第一中间影像数据和所述第二中间影像数据，建立训练数据集，具体包括：
获取所述第一中间影像数据的第一标签和所述第二中间影像数据的第二标签，所述第一标签和所述第二标签包括所述关注对象的类型的分类标签；
基于所述第一中间影像数据、所述第一标签、所述第二中间影像数据和所述第二标签，建立所述训练数据集。
在一实施例中，获取第一中间影像数据和第二中间影像数据的标签，将影像数据及其标签聚合成标签文件，对标签文件进行清洗后建立对应的数据训练集，标签可以包括关注对象类型的分类标签，也可以包括关注对象权重标签。
本实施例通过第一中间影像数据及其标签和第二中间影像数据及其标签建立训练数据集，为后续模型提供训练样本，便于提高后续模型输出的准确率。
可选地，如图4所示，所述利用所述训练数据集对所述初始检测模型进行调优，获得理想检测模型，具体包括：
所述调优包括第一调优和第二调优；
S610：所述第一调优包括：利用所述训练数据集，训练预热Warmup，调整所述初始检测模型的学习率CosineAnnealing LR；
S620：选择sigmoid函数对所述初始检测模型的输出进行修补；
S630：根据Anchor锚框初始值宽高，计算Autoanchor锚框真实回归宽高与初始宽高的偏移量；
S640：计算及优化所述初始模型总的损失函数，将所述关注对象的所述类型的检测结果调整为二元交叉熵损失；
S650：所述第二调优包括：根据所述第二中间影像数据，训练所述第一调优后的所述初始检测模型，获得所述理想检测模型。
在本实施例中，根据训练数据集训练预热Warmup，调整初始检测模型的学习率CosineAnnealingLR，学习率CosineAnnealingLR函数可以表示为：
Figure BDA0003822317340000131
其中，ηt表示调整后的学习率，
Figure BDA0003822317340000132
表示学习率的最小值，
Figure BDA0003822317340000133
表示学习率的最大值，Tcur表示已记录的epooch数，Ti表示学习率从初始值降到最小值的epooch数。
具体地，选择sigmoid函数对所述初始检测模型的输出进行修补，当某个神经网络单元的激活函数是Sigmoid函数时，这个单元的输出保证总是介于0和1之间，同时由于Sigmoid是一个非线性函数，这个单元的输出将是一个非线性函数的加权和的输入，基于Sigmoid函数的特性，使用sigmoid函数对输出结果进行预测，进而修正初始模型的输出。
具体地，目标检测算法通常会在输入图像中采集大量的区域，然后判断这些区域中是否包含感兴趣的目标，并调整区域边缘从而更准确预测目标的真实边界框(ground-truth bounding box)。不同的模型所使用的区域采样方法可能不同，本实施例通过Anchor锚框确定区域采样，以每个像素为中心生成多个大小和宽高比(aspect ratio)不同的边界框，通过计算Autoanchor锚框真实回归宽高与初始宽高的偏移量，提升BPR的最大召回率，进而提高模型定位准确性。
具体地，计算及优化初始检测模型总的损失函数，可以包括分类损失classification loss,定位预测边界框与GT之间的误差定位损失localization loss以及定位预测框置信度损失confidence loss，同时将关注对象类型的检测结果调整为二元交叉熵损失，避免使用softmax函数而降低了计算复杂度，提升预测分类的精度和速度。
具体地，根据第二中间影像数据，训练第一调优后的初始检测模型，即完成第二调优过程，最终获得理想检测模型。
在本实施例中通过训练数据集对初始检测模型进行第一调优，优化模型输出关注对象类型预测结果和关注对象定位结果的准确性，在经过第二中间影像数据对初始检测模型进行第二调优，进一步完善模型，最终得到可以检测关注对象类型和关注对象定位的理想检测模型。
可选地，如图5所示，所述根据所述理想检测模型从所述原始扫描影像数据中检测所述关注对象的类型和位置，具体包括：
S710：加载所述理想检测模型，进行实时影像检测；
S720：根据所述理想检测模型实时检测所述关注对象的所述类型；
S730：根据所述理想检测模型实时锚出所述关注对象的位置。
在一实施例中，将理想检测模型加载到扫描装置上，对扫描影像数据进行实时检测，根据检测模型检测出关注对象类型，例如，若被扫描对象为人体肺部，检测模型通过将待检图像进行识别，标记根据使用需求预设的关注对象的类型，标记方式可以为通过对待检测图像定义类型标签、等级标签等方式，除此之外，检测模型可以通过定位关注对象的中心位置或轮廓为止对关注对象进行框选定位。
可选地，还可以将理想检测模型加载到扫描数据存储平台上或计算机上，对历史扫描影像数据进行关注对象的类型和位置检测。
可选地，在理想检测模型对待检测图像进行检测，输出关注对象类型和位置后，检测模型还可以调取训练数据库中与关注对象类型、位置等信息相似度最高的训练数据，训练数据包含技术人员对该训练数据做出相关出处置的历史信息，供使用者参考。
在本实施例中，通过训练完成的类型检测模型对待检测图像进行检测，标记关注对象的类型，对关注对象进行定位，使得关注对象及其类型和位置更容易被分辨，减轻技术人员的工作负担，提高评片效率和准确性，避免人为疏忽导致的评片误判。
本发明还提供一种基于扫描影像的关注对象检测系统，包括：
获取模块，其用于获取包含关注对象的原始扫描影像数据；
建模模块：其用于基于所述关注对象建立初始检测模型；
确定模块，其用于基于所述初始检测模型从所述原始扫描影像数据中确定出有标注影像数据和无标注影像数据；
处理模块，其用于对所述无标注影像数据进行第一影像特征处理获得第一中间影像数据，对所述有标注影像数据进行第二影像特征处理获得第二中间影像数据；
数据集模块，其用于基于所述第一中间影像数据和所述第二中间影像数据，建立训练数据集；
训练模块，其用于利用所述训练数据集对所述初始检测模型进行调优，获得理想检测模型；
检测模块，其用于根据所述理想检测模型从所述原始扫描影像数据中检测所述关注对象的类型和位置。
在一实施例中，基于扫描影像的关注对象检测系统可以包括获取模块、建模模块、确定模块、处理模块、数据集模块、训练模块和检测模块，获取模块用于获取扫描影像数据，建模模块用于根据关注对象建立初始检测模型，确定模块通过初始检测模型确定无标注影像数据和有标注影像数据，利用处理模块对其进行影响特征处理，通过数据集模块建立训练数据集，进而训练模块对初始检测模型进行调优最终得到理想检测模块，实现关注对象类型检测和关注对象定位。
本发明所述的基于扫描影像的关注对象检测系统与所述的扫描影像的关注对象检测方法相对于现有技术的优势相同，在此不再赘述。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的程序可存储于一计算机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。其中，所述的存储介质可为磁碟、光盘、只读存储记忆体(Read-Only Memory，ROM)或随机存储记忆体(Random AccessMemory，RAM)等。在本申请中，所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本发明实施例方案的目的。另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以是两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
虽然本公开披露如上，但本公开的保护范围并非仅限于此。本领域技术人员在不脱离本公开的精神和范围的前提下，可进行各种变更与修改，这些变更与修改均将落入本发明的保护范围。

Claims (10)

1.一种基于扫描影像的关注对象检测方法，其特征在于，包括如下步骤：
获取包含关注对象的原始扫描影像数据；
基于所述关注对象建立初始检测模型；
基于所述初始检测模型从所述原始扫描影像数据中确定出有标注影像数据和无标注影像数据；
对所述无标注影像数据进行第一影像特征处理获得第一中间影像数据，对所述有标注影像数据进行第二影像特征处理获得第二中间影像数据；
基于所述第一中间影像数据和所述第二中间影像数据，建立训练数据集；
利用所述训练数据集对所述初始检测模型进行调优，获得理想检测模型；
根据所述理想检测模型从所述原始扫描影像数据中检测所述关注对象的类型和位置。
2.根据权利要求1所述的基于扫描影像的关注对象检测方法，其特征在于，所述对所述无标注影像数据进行第一影像特征处理获得第一中间影像数据，具体包括：
根据所述原始影像数据中的各种组织的HU值分布，将所述无标注影像数据中的所述各种组织的HU值映射为灰度值；
根据预设的阈值选取算法对所述灰度值的阈值进行选取；
根据所述阈值对所述无标注影像数据进行二值化处理，获得第一中间影像数据。
3.根据权利要求2所述的基于扫描影像的关注对象检测方法，其特征在于，在所述根据所述原始影像数据中的各种组织的HU值分布，将所述无标注影像数据中的所述各种组织的HU值映射为灰度值之前，还包括：
通过定义区间来显示所述HU值的数值，包括基于所述HU值及所述关注对象调整待输出图像的窗位Window Center与窗宽Window Width。
4.根据权利要求3所述的基于扫描影像的关注对象检测方法，其特征在于，所述通过定义区间来显示所述HU值的数值，包括基于所述HU值及所述关注对象调整待输出图像的窗位Window Center与窗宽Window Width，具体包括：
获取所述关注对象的数据信息，包括所述关注对象的HU值；
根据所述关注对象的HU值，确定所述待输出图像的所述窗位Window Center与所述窗宽Window Width范围。
5.根据权利要求4所述的基于扫描影像的关注对象检测方法，其特征在于，在所述对所述无标注影像数据进行第一影像特征处理获得第一中间影像数据之后，还包括：
根据所述灰度值及所述HU值计算所述待输出图像中第一关注对象面积和第二关注对象面积的比例；
判断所述比例是否满足第一告警条件；
若满足，则对所述待输出图像进行告警信息标注。
6.根据权利要求1所述的基于扫描影像的关注对象检测方法，其特征在于，所述对所述有标注影像数据进行第二影像特征处理获得第二中间影像数据，具体包括：
对所述有标注影像数据进行图像归一化处理和统一单通道处理，获得第二中间影像数据。
7.根据权利要求1所述的基于扫描影像的关注对象检测方法，其特征在于，所述基于所述第一中间影像数据和所述第二中间影像数据，建立训练数据集，具体包括：
获取所述第一中间影像数据的第一标签和所述第二中间影像数据的第二标签，所述第一标签和所述第二标签包括所述关注对象的类型的分类标签；
基于所述第一中间影像数据、所述第一标签、所述第二中间影像数据和所述第二标签，建立所述训练数据集。
8.根据权利要求1所述的基于扫描影像的关注对象检测方法，其特征在于，所述利用所述训练数据集对所述初始检测模型进行调优，获得理想检测模型，具体包括：
所述调优包括第一调优和第二调优；
所述第一调优包括：利用所述训练数据集，训练预热Warmup，调整所述初始检测模型的学习率CosineAnnealing LR；
选择sigmoid函数对所述初始检测模型的输出进行修补；
根据Anchor锚框初始值宽高，计算Autoanchor锚框真实回归宽高与初始宽高的偏移量；
计算及优化所述初始模型总的损失函数，将所述关注对象的所述类型的检测结果调整为二元交叉熵损失；
所述第二调优包括：根据所述第二中间影像数据，训练所述第一调优后的所述初始检测模型，获得所述理想检测模型。
9.根据权利要求1所述的基于扫描影像的关注对象检测方法，其特征在于，所述根据所述理想检测模型从所述原始扫描影像数据中检测所述关注对象的类型和位置，具体包括：
加载所述理想检测模型，进行实时影像检测；
根据所述理想检测模型实时检测所述关注对象的所述类型；
根据所述理想检测模型实时锚出所述关注对象的位置。
10.一种基于扫描影像的关注对象检测系统，其特征在于，包括：
获取模块，其用于获取包含关注对象的原始扫描影像数据；
建模模块：其用于基于所述关注对象建立初始检测模型；
确定模块，其用于基于所述初始检测模型从所述原始扫描影像数据中确定出有标注影像数据和无标注影像数据；
处理模块，其用于对所述无标注影像数据进行第一影像特征处理获得第一中间影像数据，对所述有标注影像数据进行第二影像特征处理获得第二中间影像数据；
数据集模块，其用于基于所述第一中间影像数据和所述第二中间影像数据，建立训练数据集；
训练模块，其用于利用所述训练数据集对所述初始检测模型进行调优，获得理想检测模型；
检测模块，其用于根据所述理想检测模型从所述原始扫描影像数据中检测所述关注对象的类型和位置。
CN202211045732.3A 2022-08-30 2022-08-30 一种基于扫描影像的关注对象检测方法及系统 Active CN115439686B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202211045732.3A CN115439686B (zh) 2022-08-30 2022-08-30 一种基于扫描影像的关注对象检测方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211045732.3A CN115439686B (zh) 2022-08-30 2022-08-30 一种基于扫描影像的关注对象检测方法及系统

Publications (2)

Publication Number Publication Date
CN115439686A true CN115439686A (zh) 2022-12-06
CN115439686B CN115439686B (zh) 2024-01-09

Family

ID=84245043

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211045732.3A Active CN115439686B (zh) 2022-08-30 2022-08-30 一种基于扫描影像的关注对象检测方法及系统

Country Status (1)

Country Link
CN (1) CN115439686B (zh)

Citations (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109003672A (zh) * 2018-07-16 2018-12-14 北京睿客邦科技有限公司 一种基于深度学习的早期肺癌检测分类一体化设备及系统
CN109063557A (zh) * 2018-06-27 2018-12-21 北京红云智胜科技有限公司 快速构建心脏冠脉血管识别数据集的方法
CN110517257A (zh) * 2019-08-30 2019-11-29 北京推想科技有限公司 危及器官标注信息处理方法及相关装置
US20200034977A1 (en) * 2017-11-16 2020-01-30 Sony Corporation Information processing apparatus, information processing method, and program
US20200126207A1 (en) * 2017-05-11 2020-04-23 The Research Foundation For The State University Of New York System and Method Associated with Predicting Segmentation Quality of Objects in Analysis of Copious Image Data
CN112163634A (zh) * 2020-10-14 2021-01-01 平安科技（深圳）有限公司 实例分割模型样本筛选方法、装置、计算机设备及介质
CN112184684A (zh) * 2020-10-09 2021-01-05 桂林电子科技大学 一种改进的YOLO-v3算法及其在肺结节检测中的应用
CN112258461A (zh) * 2020-10-13 2021-01-22 江南大学 一种基于卷积神经网络的肺结节检测方法
US20210049397A1 (en) * 2018-10-16 2021-02-18 Tencent Technology (Shenzhen) Company Limited Semantic segmentation method and apparatus for three-dimensional image, terminal, and storage medium
CN112614133A (zh) * 2021-03-05 2021-04-06 北京小白世纪网络科技有限公司 一种无锚点框的三维肺结节检测模型训练方法及装置
CN113688665A (zh) * 2021-07-08 2021-11-23 华中科技大学 一种基于半监督迭代学习的遥感影像目标检测方法及系统
CN113744183A (zh) * 2021-07-27 2021-12-03 山东师范大学 肺结节检测方法及系统
CN113902730A (zh) * 2021-10-28 2022-01-07 上海商汤智能科技有限公司 图像处理和神经网络训练方法及装置
CN114155365A (zh) * 2022-02-07 2022-03-08 北京航空航天大学杭州创新研究院 模型训练方法、图像处理方法及相关装置
CN114565572A (zh) * 2022-02-22 2022-05-31 南京航空航天大学 一种基于图像序列分析的脑出血ct图像分类方法
CN114757944A (zh) * 2022-06-13 2022-07-15 深圳科亚医疗科技有限公司 一种血管图像的分析方法、装置及存储介质

Patent Citations (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20200126207A1 (en) * 2017-05-11 2020-04-23 The Research Foundation For The State University Of New York System and Method Associated with Predicting Segmentation Quality of Objects in Analysis of Copious Image Data
US20200034977A1 (en) * 2017-11-16 2020-01-30 Sony Corporation Information processing apparatus, information processing method, and program
CN109063557A (zh) * 2018-06-27 2018-12-21 北京红云智胜科技有限公司 快速构建心脏冠脉血管识别数据集的方法
CN109003672A (zh) * 2018-07-16 2018-12-14 北京睿客邦科技有限公司 一种基于深度学习的早期肺癌检测分类一体化设备及系统
US20210049397A1 (en) * 2018-10-16 2021-02-18 Tencent Technology (Shenzhen) Company Limited Semantic segmentation method and apparatus for three-dimensional image, terminal, and storage medium
CN110517257A (zh) * 2019-08-30 2019-11-29 北京推想科技有限公司 危及器官标注信息处理方法及相关装置
CN112184684A (zh) * 2020-10-09 2021-01-05 桂林电子科技大学 一种改进的YOLO-v3算法及其在肺结节检测中的应用
CN112258461A (zh) * 2020-10-13 2021-01-22 江南大学 一种基于卷积神经网络的肺结节检测方法
CN112163634A (zh) * 2020-10-14 2021-01-01 平安科技（深圳）有限公司 实例分割模型样本筛选方法、装置、计算机设备及介质
CN112614133A (zh) * 2021-03-05 2021-04-06 北京小白世纪网络科技有限公司 一种无锚点框的三维肺结节检测模型训练方法及装置
CN113688665A (zh) * 2021-07-08 2021-11-23 华中科技大学 一种基于半监督迭代学习的遥感影像目标检测方法及系统
CN113744183A (zh) * 2021-07-27 2021-12-03 山东师范大学 肺结节检测方法及系统
CN113902730A (zh) * 2021-10-28 2022-01-07 上海商汤智能科技有限公司 图像处理和神经网络训练方法及装置
CN114155365A (zh) * 2022-02-07 2022-03-08 北京航空航天大学杭州创新研究院 模型训练方法、图像处理方法及相关装置
CN114565572A (zh) * 2022-02-22 2022-05-31 南京航空航天大学 一种基于图像序列分析的脑出血ct图像分类方法
CN114757944A (zh) * 2022-06-13 2022-07-15 深圳科亚医疗科技有限公司 一种血管图像的分析方法、装置及存储介质

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
李彦: "基于半监督回归标签变换的腰椎自动形态学测量", no. 12, pages 060 - 76 *
王赛: "有限标注下的病理图像细胞检测研究", 《中国优秀硕士学位论文全文数据库 医药卫生科技辑》, no. 2, pages 072 - 35 *

Also Published As

Publication number Publication date
CN115439686B (zh) 2024-01-09

Similar Documents

Publication Publication Date Title
US11922626B2 (en) Systems and methods for automatic detection and quantification of pathology using dynamic feature classification
US11842556B2 (en) Image analysis method, apparatus, program, and learned deep learning algorithm
US10504624B2 (en) System and method for segmentation and automated measurement of chronic wound images
US10769500B2 (en) Localization-aware active learning for object detection
CN111325739B (zh) 肺部病灶检测的方法及装置，和图像检测模型的训练方法
US11630995B2 (en) Characterization of amount of training for an input to a machine-learned network
CN111862044B (zh) 超声图像处理方法、装置、计算机设备和存储介质
CN108564085B (zh) 一种自动读取指针式仪表读数的方法
KR102045223B1 (ko) 골 연령 분석 방법, 장치 및 컴퓨터 프로그램
CN105378793A (zh) 用于在对象可能受医学状况影响时进行鉴别的系统、方法和计算机可读介质
CN116434266B (zh) 一种医疗检验单的数据信息自动提取分析方法
WO2020066257A1 (ja) 分類装置、分類方法、プログラム、ならびに、情報記録媒体
KR102600401B1 (ko) 분류 및 분할을 이용한 의료 영상 분석 방법, 장치 및 컴퓨터 프로그램
CN115880266B (zh) 一种基于深度学习的肠道息肉检测系统和方法
CN116993736B (zh) 一种骨质疏松区域智能识别系统
CN115661282A (zh) 伪影识别方法、装置及计算机可读存储介质
CN116596901A (zh) 一种基于大数据的超声波数据监测系统及方法
CN113240699B (zh) 图像处理方法及装置，模型的训练方法及装置，电子设备
CN117274278B (zh) 基于模拟感受野的视网膜图像病灶部位分割方法及系统
CN111985439B (zh) 人脸检测方法、装置、设备和存储介质
CN115439686B (zh) 一种基于扫描影像的关注对象检测方法及系统
CN113222985B (zh) 一种图像处理方法、装置、计算机设备和介质
CN111325732B (zh) 面部残留物检测方法及相关设备
CN112001896B (zh) 一种甲状腺边界不规则度检测装置
CN118212235B (zh) 一种胶囊内窥镜图像筛选方法及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant