CN114820952B - 肺部超声可视化三维重建方法和系统 - Google Patents

肺部超声可视化三维重建方法和系统 Download PDF

Info

Publication number
CN114820952B
CN114820952B CN202210739839.1A CN202210739839A CN114820952B CN 114820952 B CN114820952 B CN 114820952B CN 202210739839 A CN202210739839 A CN 202210739839A CN 114820952 B CN114820952 B CN 114820952B
Authority
CN
China
Prior art keywords
image
area
lung
region
ultrasonic
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202210739839.1A
Other languages
English (en)
Other versions
CN114820952A (zh
Inventor
尹万红
杨韵沁
邹同娟
晁彦公
曾学英
康焰
王信果
秦瑶
张朝明
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Chengdu Zhongchuang Wulian Technology Co ltd
West China Hospital of Sichuan University
Original Assignee
Chengdu Zhongchuang Wulian Technology Co ltd
West China Hospital of Sichuan University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Chengdu Zhongchuang Wulian Technology Co ltd, West China Hospital of Sichuan University filed Critical Chengdu Zhongchuang Wulian Technology Co ltd
Priority to CN202210739839.1A priority Critical patent/CN114820952B/zh
Publication of CN114820952A publication Critical patent/CN114820952A/zh
Application granted granted Critical
Publication of CN114820952B publication Critical patent/CN114820952B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/20—Editing of 3D images, e.g. changing shapes or colours, aligning objects or positioning parts
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10072—Tomographic images
    • G06T2207/10081—Computed x-ray tomography [CT]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10132—Ultrasound image
    • G06T2207/10136—3D ultrasound image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20112—Image segmentation details
    • G06T2207/20132—Image cropping
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30061—Lung
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2219/00—Indexing scheme for manipulating 3D models or images for computer graphics
    • G06T2219/20—Indexing scheme for editing of 3D models
    • G06T2219/2016—Rotation, translation, scaling

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Computer Graphics (AREA)
  • Medical Informatics (AREA)
  • Quality & Reliability (AREA)
  • Geometry (AREA)
  • General Engineering & Computer Science (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Architecture (AREA)
  • Computer Hardware Design (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • Evolutionary Computation (AREA)
  • Multimedia (AREA)
  • Ultra Sonic Daignosis Equipment (AREA)

Abstract

本发明公开了一种肺部超声可视化三维重建方法和系统，涉及医学图像处理技术领域。本发明通过实时收集完整的肺部超声图像，并对收集到的肺部超声图像进行图像处理和数据标注，并使用图像分割模型对处理后的肺超图像进行检测与追踪，创建肺部的医学三维可视化图像，提取出与A类线、B类线、C类征象、P类征象相关参数，根据各参数对肺部病变进行评级，以更好地对被测者肺部情况进行实时检测，实时、直观地反应肺部各分段ABCP类分布情况，并可进行异常预警。本发明的三维重建方法和系统处理高效，采用多级数据模型对超声图像进行判断，数据经过初筛，中级标注以及精细勾画三个层级的人工智能高效判别。

Description

肺部超声可视化三维重建方法和系统
技术领域
本发明涉及医学图像处理技术领域，尤其是涉及基于超声图像进行三维重建的技术领域，更具体地说涉及一种肺部超声可视化三维重建方法和系统。
背景技术
超声成像是用于对人体中的器官和软组织进行成像的医院成像技术。超声成像使用实时非侵入性高频声波来生产一系列二维（2D）图像。
多年来，超声不用于评估肺，因为在正常情况下唯一可检测的结构是胸膜，该胸膜表现为与呼吸同步移动的超回波水平线。后来，发现当肺中的空气含量减少时（诸如在患有肺水肿、急性呼吸窘迫综合征（ARDS）、肺炎和肺纤维化的患者中），可产生反射超声波束所需的声学不匹配。具体地，例如超声扫描器件扫描到血管外肺水的存在引起在超声图像中可见的慧尾混响伪影（称为B线）、超声肺彗星或肺火箭。这些B线（所述B线显示为从胸膜延伸到超声图像的底部的明亮垂直线）的数量和B线的宽度可用于评估肺水肿的严重性，并且也可有助于评估患有ARDS、肺炎和肺纤维化的患者。
肺功能本质上是区域性的。例如，存在一个肺的一个切面中的状况可不存在与同一个肺的其他切面或另一个肺中。此外，肺超声图像的分析通常在覆盖了至少一个呼吸周期的超声扫描上进行。目前，医师可查看并分析来自肺的多个区域的多个图像，以基于在图像中识别出A类线、B类线、C征象、P征象等征象对肺的每个区域的状况进行评分。对于大量图像的查看、分析和手动评分是劳动密集型过程，其由于不同医师的经验而造成主观识别不精确的情况。
目前在重症医学相关临床实践中，观察到一些特异性的肺超图像表现，如胸膜线增厚或破裂，B线融合，存在肺实变等特征与肺部病变状况密切相关，因此可基于这些特征来评估肺部疾病危险程度。但是，目前基于肺超图像的临床超声诊断存在主观性强，无法给出定量结果等问题。
发明内容
为了克服上述现有技术中存在的缺陷和不足，本发明提供了一种肺部超声可视化三维重建方法和系统，本发明的目的在于解决上述现有技术中肺超图像超声诊断主观性强，无法给出定量结果的问题。本发明提供的肺部超声可视化三维重建方法及系统，通过收集完整的肺部超声影像（对超声影像进行分帧处理得到单帧超声图像，每秒30帧），并对收集到的肺部超声图像进行图像处理和数据标注，并使用图像分割模型对处理后的肺超图像进行检测与追踪，创建肺部的医学三维可视化图像，提取出与A类线、B类线、C类征象、P类征象相关参数，根据各参数对肺部病变进行评级，以更好地对被测者肺部情况进行实时检测，实时、直观地反应肺部各分段ABCP类分布情况，在系统中进行异常预警。
为了解决上述现有技术中存在的问题，本发明是通过下述技术方案实现的。
本发明第一方面提供了一种肺部超声可视化三维重建方法，该方法包括以下步骤：
S1、超声图像采集设备固定步骤，采用12个超声探头实时采集肺部12个区域的超声图像，得到肺部完整的超声图像；调整12个超声探头的位置，使得12个超声探头在其所在区域内在某一设定时间段内连续采集得到的超声图像均为合格图像；
S2、数据采集步骤，12个超声探头位置固定后，通过超声图像采集设备实时获取被测者完整的肺部超声图像；所述完整的肺部超声图像包括肺部12个不同区域的超声图像；
S3、数据预处理步骤，将S2步骤采集到的完整的肺部超声图像分别进行数据增强处理；
S4、图像分类和图像分割处理步骤，将经过数据预处理的完整的肺部超声图像分别进行图像分类和图像分割；将图像分类结果和图像分割结果汇总在一起，将合格图像的图像分割结果输出；
所述图像分类是指采用图像分类模型对S3步骤预处理后的超声图像进行分类，根据标准度分为合格图像和不合格图像；
所述图像分割是指，采用图像分割模型，对S3步骤预处理后的超声图像进行图像分割，在图像中标注出A类线、B类线、C类征象和P类征象特征；具体的，采用不同颜色对不同的特征进行标注；
S5、对S4步骤输出的合格图像的图像分割结果进行指标计算，其中，针对A类线计算胸膜滑动速率；根据B类线计算B线数量；根据C类征象计算对应突变区域面积；根据P类征象计算对应胸腔积液面积；
S6、利用VTK（Visualization Toolkit，可视化工具包）构建该被测者的肺部医学三维模型，根据S5步骤计算得到的各指标值，计算肺部各区域反映的气水比；在肺部医学三维模型中对应区域分别用不同形式展现肺部情况；最终将12个不同区域重建出的肺部医学三维模型整合到一起，完成肺部医学三维模型的重建；
S7、根据S6步骤计算的气水比，对被测者肺部病变进行等级划分，同时将等级划分结果显示在肺部医学三维模型上。
进一步的，S1步骤中，超声图像采集设备固定步骤包括探头位置初设子步骤、数据采集子步骤、数据预处理子步骤、图像质控子步骤和探头位置调整步骤；
S101、探头位置初设子步骤，具体是指，设置12个超声探头，将12个超声探头暂时固定在被测者身体的12个区域上，用以实时采集被测者完整的肺部超声图像，所述完整的肺部超声图像包括肺部12个不同区域的超声图像；
S102、数据采集子步骤，12个超声探头实时采集肺部12个不同区域的超声图像；
S103、数据预处理子步骤，将S102步骤采集到的完整的肺部超声图像分别进行图像降噪和图像裁切处理；
S104、图像质控子步骤，将S103步骤预处理后的图像输入到图像分类模型中，图像分类模型依据标准度将超声图像分为合格图像和不合格图像；判断某一区域在设定时间段内连续采集的超声图像是否全部为合格图像，若全部为合格图像，则表示该区域的超声探头位置正确，将该区域对应的超声探头进行固定；若存在不合格图像，则调整该区域对应的超声探头位置并重复S102-S104步骤，直至该区域在设定时间段内连续采集的超声图像均为合格图像；最终12个区域对应的超声探头在设定时间段内采集到的图像均合格，表示12个区域对应的超声探头位置均正确。
S1步骤中，肺部12个不同区域的划分方法为：以乳头水平为界，将双侧胸壁划分为上、下两区；以胸骨、腋前线、腋后线、脊柱为界，将每侧胸壁划分为前、侧、后三区；划分得到的12个不同区域分别为R1区：右侧-前胸壁上区；R2区：右侧-前胸壁下区；R3区：右侧-侧胸壁上区；R4区：右侧-侧胸壁下区；R5区：右侧-背部上区；R6区：右侧-背部下区；L1区：左侧-前胸壁上区；L2区：左侧-前胸壁下区；L3区：左侧-侧胸壁上区；L4区：左侧-侧胸壁下区；L5区：左侧-背部上区；L6区：左侧-背部下区。
所述标准度是指，可以在肺部超声图像中观察到胸膜线、A线、B线、C类征象和P类征象中任意的一种或多种。
其中，胸膜线位于2根肋骨之后5mm的位置，厚2mm，可随呼吸运动而上下活动；A线为水平伪像，平行于胸膜线的多个短线状强回声，是声波在胸膜线处发生的混响效应，其间距相等；B线垂直于胸膜线并指向肺实质的三角形伪像，呈现出放射性的高回声超声影像，不随距离衰减，其纵深可长达17cm，并可与胸膜同步滑动；C类征象为肺部实变区域，包括实变区域浅边界规则、实变区域深部边缘规则和碎片征象，实变区域浅边界规则是指内有动、静态支气管气象或支气管液像；实变区域深部边缘规则为肺叶实变；碎片征象是指实变的肺脏和充气肺泡交界的地带出现短线样、碎片样的强回声光斑；P类征象为脏层与壁层胸膜之间的无回声暗区，提示胸腔积液；少量积液被规则边界包围，形成比较锐利的四边形低回声形状，其边界由胸膜线、上肋骨、下肋骨的声影和脏胸膜-肺界面所形成的肺线界定。
所述胸膜滑动速率是根据超声图像中A类线显现出的A线滑动的距离和时间计算得到的；所述B线数量是对超声图像中B类线显现出来的B线的条数进行计数得到的；所述C类征象对应的实变区域面积，是根据超声图像上的比例尺信息（即超声图像上的距离对应实际距离的对应关系），得到超声图像上每个像素对应的实际面积，将像素的实际面积乘以图像分割模型输出的C类征象的像素个数，计算得到C类征象对应的实变区域面积；所述P类征象对应的胸腔积液面积，是根据超声图像上的比例尺信息（即超声图像上的距离对应实际距离的对应关系），得到超声图像上每个像素对应的实际面积，将像素的实际面积乘以图像分割模型输出的P类征象的像素个数，计算得到P类征象对应的胸腔积液面积。
S6步骤中，利用VTK（Visualization Toolkit，可视化工具包）构建该被测者的肺部医学三维模型，具体是指：
S601、将QT界面与VTK整合，读取数据源，调用VTK Source读取，标注A类线、B类线、C类征象特征和P类征象特征的一套肺部完整的超声图像数据；保存在VTK的总类或者子类中；再调取VTK filter将接收的一套完整的超声图像数据进行预处理；
S602、图像实体化，通过Mapper映射器接收从VTK filter处理后的超声图像数据，将其映射为图形库中的基本图元，然后将映射的图像进行实体转化，数据由图像数据转换为图形几何数据，形成三维体数据场；
S603、三维重建，将三维体数据场调用体绘制或面绘制算法进行处理，获得三维模型；
S604、渲染显示，调用VTK中Render绘制和Render window绘制窗口，将三维模型在计算机平台界面中显示，同时增设可控长方体，对三维模型进行切割，获得断面信息。
S6步骤中，根据S5步骤计算得到的各指标值，计算肺部各区域反映的气水比，具体是指，根据各区域的各指标值与各区域肺部CT图反映的气水比的对应关系计算肺部各区域反映的气水比。
所述各区域的各指标值与各区域肺部CT图反映的气水比的对应关系是通过下述过程获得的：
对同一病例的CT图和12个区域肺部超声图像分别进行区域匹配，分别对12个区域的超声图像的指标以及12个不同区域对应CT图区域的指标进行计算；
若为A类线特征，则计算出胸膜滑动速率；
若为B类线特征，则计算出B线条数；
若为C类征象，则计算出实变区域面积；
若为P类征象，则计算出胸腔积液面积；
根据CT图计算该区域的气水比；所述气水比是指，根据CT图中该区域表层的每个体素的CT值来判断该体素是气体还是液体，再分别统计气体体素的总和和液体体素的总和，计算得到气水面积的比例，即为该区域的气水比；
将各区域胸膜滑动速率和B线条数与该区域CT图反映的气水比进行对应，从而得到其对应关系。
更进一步的，各区域的各指标值与各区域肺部CT图反映的气水比的对应关系是通过深度学习网络预先训练得到的。
具体的，对同一病例的CT图和12个区域超声图像进行区域匹配；分别对该区域超声图像显示的征象指标值进行计算，以及该区域对应CT图反映的气水比进行计算；
若该区域超声图像显示为A类线特征，则计算出胸膜滑动速率；通过大量病例的该区域的超声图像和该区域CT图反映的气水比计算，得出CT图计算的气水比与A类线特征对应的胸膜滑动速率之间的对应关系；
若该区域超声图像显示为B类线特征，则计算出B线条数，通过大量病例的该区域的超声图像和该区域CT图区域匹配及指标计算，得出该区域CT图计算的气水比与B类线特征对应的B线条数的对应关系。
S7步骤中，根据气水比划分为5个等级；气水比值为0.99，气水比等级为一；气水比值为0.95，气水比等级为二；气水比值为0.1，气水比等级为三；气水比值为0，气水比等级为四；气水比值为1，气水比等级为五。
还包括S8步骤，通过外部设备接口连接外部设备，同时根据气水比等级向对应外部设备下发指令。
所述图像分类模型的训练过程具体如下：
F1、数据收集，对肺部12个区域的超声影像扫描方式为垂直于肋骨左右滑动覆盖式采集数据，再对采集到的影像分帧处理成单帧超声图像；
F2、图像筛选，人工根据标准度从收集到的肺部超声图像中筛选出合格图像和不合格图像；
F3、图像处理，将F2步骤人工筛选的数据进行数据增强处理；
F4、模型训练：
F401、将数据增强处理后的数据按照8:2的比例分为训练集和测试集，以100的batchsize将训练集打乱顺序随机采样，采样的同时进行图像归一化和标准化处理：将所有数除以255，将数据归一化到[0,1]；将数据按比例缩放，使其落入到一个小的区间内，标准化后的数据可正可负，但是一般绝对值不会太大，一般是z-score标准化方法：减去期望后除以标准差；
F402、模型选用LeNet-5模型；
F403、运用随机梯度下降算法来对网络进行训练；
F404、损失函数：在二分的情况下，模型最后需要预测的结果只是两种情况，对于 每个类别我们的预测得到的概率为
Figure 427908DEST_PATH_IMAGE001
和
Figure 892388DEST_PATH_IMAGE002
，此时表达式为（log的底数是e）：
Figure 92425DEST_PATH_IMAGE003
，其中，
Figure 616947DEST_PATH_IMAGE004
代表总损失；
Figure 918747DEST_PATH_IMAGE005
代表类别i的损失；
Figure 452496DEST_PATH_IMAGE006
表示类别i的标记，正类标记为1，负类标记为0；
Figure 507040DEST_PATH_IMAGE007
表示类别i预测为 正类概率，N为总类别数。
F405、使用测试集来评估分类模型的性能，即将预测出的结果与真实类别标记进行比较，计算指标包括准确率、精确率以及召回率，指标越高则模型训练效果越好。
所述图像分割模型的训练过程具体如下：
1、数据收集：肺部12个不同区域的划分方法为：以乳头水平为界，将双侧胸壁划分为上、下两区；以胸骨、腋前线、腋后线、脊柱为界，将每侧胸壁划分为前、侧、后三区；对于肺部12个分区的超声影像扫描方式为垂直于肋骨左右滑动覆盖式采集数据，再对采集到的超声影像分帧（1秒30帧）为单帧超声图像。
2、图像筛选：人工根据标准度从收集到的肺部超声图像中筛选出合格图像，标准度是指：可以在肺部超声图像中观察到胸膜线、A线、B线、C类征象和P类征象中任意的一种或多种。
3、数据标注：采用人工标注的方式，对筛选后的合格超声图像依据人工标注方法进行标注。
4、图像处理：将标注后的超声图像进行数据增强处理。
5、训练：
（1）将增强后的超声图像数据按8:2的比例分为训练集和测试集，以100的batchsize将训练集打乱顺序随机采样，采样的同时进行图像归一化和标准化处理：将所有数除以255，将数据归一化到[0,1]；将数据按比例缩放，使其落入到一个小的区间内，标准化后的数据可正可负，但是一般绝对值不会太大，一般是z-score标准化方法：减去期望后除以标准差。
（2）模型：选用模型为经典的U-Net模型。
（3）模型训练：运用带冲量的随机梯度下降算法(SGD)来对网络进行训练，冲量设定0.99。
（4）损失函数：
损失函数为交叉熵损失函数，对模型最终输出的特征图进行逐像素soft-max，并 且结合交叉熵；交叉熵损失函数为：
Figure 405726DEST_PATH_IMAGE008
；其中，
Figure 178510DEST_PATH_IMAGE009
代表损失， M表示类别数，
Figure 797841DEST_PATH_IMAGE010
是一个向量，元素只有0和1两种取值，如果该类别c和样本的类别相同就取 1，否则取0，
Figure 706891DEST_PATH_IMAGE011
表示预测样本属于类别c的概率，
Figure 838795DEST_PATH_IMAGE012
为类别c的权重参数。
Figure 584029DEST_PATH_IMAGE012
的计算公式为：
Figure 459581DEST_PATH_IMAGE013
，
Figure 223137DEST_PATH_IMAGE014
表示人工标注的图像中类别为c的像素个 数，N表示所有图像的像素个数。
（5）评价指标：对于同一图像，将系统标注的图像与人工标注的图像进行对比，得到Dice系数，Dice系数越高则说明模型训练效果越好。
Dice系数：
Figure 525943DEST_PATH_IMAGE015
，其中，|X∩Y|是元素X和元素Y之间的交集，|X|和|Y| 分表表示元素X和元素Y的元素的个数，元素X代表人工标注的图像像素，元素Y代表系统标 注的图像像素（即经图像分割模型输出的图像分割结果的图像像素）。
本发明第二方面提供了一种肺部超声可视化三维重建系统，该系统包括：
超声图像采集模块，用于与超声图像采集设备建立数据连接，获取超声图像采集设备采集被测者的一套完整的肺部超声图像；所述完整的肺部超声图像包括肺部12个不同区域的超声图像；
数据预处理模块，将采集到的完整的肺部超声图像分别进行图像降噪和图像裁切处理；
图像分类模块，采用图像分类模型对数据预处理模块预处理后的超声图像进行分类，根据标准度分为合格图像和不合格图像；
图像分割模块，采用图像分割模型，对数据预处理模块预处理后的超声图像进行图像分割，在图像中标注出A类线、B类线、C类征象和P类征象特征；具体的，采用不同颜色对不同的特征进行标注；
指标计算模块，结合图像分类模块和图像分割模块的输出结果，对合格图像的图像分割结果进行指标计算，其中针对A类线计算胸膜滑动速率；根据B类线计算B线数量；根据C类征象计算对应突变区域面积；根据P类征象计算对应胸腔积液面积；
肺部医学三维模型重建模块，利用VTK构建该被测者的肺部医学三维模型，在肺部医学三维模型中对应区域分别用不同形式展现肺部情况；最终将12个不同区域重建出的肺部医学三维模型整合到一起，完成肺部医学三维模型的重建；
等级划分模块，根据指标计算模块计算得到的各指标值，计算肺部各区域反映的气水比；并根据气水比，对被测者肺部病变进行等级划分，同时将等级划分结果显示在肺部医学三维模型上。
所述肺部超声可视化三维重建系统还包括外部设备接口，通过外部设备接口连接外部设备，同时根据气液比等级向对应外部设备下发指令。
与现有技术相比，本发明所带来的有益的技术效果表现在：
1、本发明肺部超声可视化三维重建系统可对被测者的肺部情况进行实施检测，实时、直观地反应肺部各分段ABCP类分布情况，可根据评分等级进行异常预警。本发明的肺部超声可视化三维重建方法处理高效，采用多级数据模型对超声图像进行判断，数据经过初筛（一秒钟200次以上），中级标注（一秒钟30次以上）以及精细勾画（一秒钟3次以上）三个层级的人工智能高效判别。
2、本发明的肺部超声可视化三维重建系统支持标准DICOM3.0标准协议，可以与各种医疗影像器械连接互通数据，同时可以在系统中预设简单的操作指令，根据气液比等级与外部设备进行互联互通，向外部设备下发指令，起到及时处置的效果。可以与医院多种硬件设备连接，并联动使用。
附图说明
为了更清楚地说明本发明实施例的技术方案，下面将对实施例描述所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明肺部超声可视化三维重建方法的流程图；
图2为肺部检测区域划分分布图一；
图3为肺部检测区域划分分布图二；
图4为原始肺部超声图像；
图5为图像裁切后的肺部超声图像；
图6为A类线不清晰肺部超声图像；
图7为B类线不标准肺部超声图像；
图8为B类线标准且清晰的肺部超声图像；
图9为标注后的A线超声图像；
图10为标注后的B线超声图像；
图11为标注后的C类征象超声图像；
图12为标注后的P类征象超声图像；
图13为图像分割的网络结构图；
图14为肺部三维可视化图像；
图15为气水比等级为一级的肺部超声图像；
图16为气水比等级为二级的肺部超声图像；
图17为气水比等级为三级的肺部超声图像；
图18为气水比等级为四级的肺部超声图像；
图19为气水比等级为五级的肺部超声图像；
图20为图19的局部放大图。
具体实施方式
下面将结合本发明说明书附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例，都属于本发明保护的范围。
实施例1
作为本发明一较佳实施例，如图1所示，本实施例公开了一种肺部超声可视化三维重建方法，该方法包括以下步骤：
S1、超声图像采集设备固定步骤，采用12个超声探头实时采集肺部12个区域的超声图像，得到肺部完整的超声图像；调整12个超声探头的位置，使得12个超声探头在其所在区域内在某一设定时间段内连续采集得到的超声图像均为合格图像；
S2、数据采集步骤，12个超声探头位置固定后，通过超声图像采集设备实时获取被测者完整的肺部超声图像；所述完整的肺部超声图像包括肺部12个不同区域的超声图像；
S3、数据预处理步骤，将S2步骤采集到的完整的肺部超声图像分别进行数据增强处理；
S4、图像分类和图像分割处理步骤，将经过数据预处理的完整的肺部超声图像分别进行图像分类和图像分割；将图像分类结果和图像分割结果汇总在一起，将合格图像的图像分割结果输出；
所述图像分类是指采用图像分类模型对S3步骤预处理后的超声图像进行分类，根据标准度分为合格图像和不合格图像；
所述图像分割是指，采用图像分割模型，对S3步骤预处理后的超声图像进行图像分割，在图像中标注出A类线、B类线、C类征象和P类征象特征；具体的，采用不同颜色对不同的特征进行标注；
S5、对S4步骤输出的合格图像的图像分割结果进行指标计算，其中针对A类线计算胸膜滑动速率；根据B类线计算B线数量；根据C类征象计算对应突变区域面积；根据P类征象计算对应胸腔积液面积；
S6、利用VTK（Visualization Toolkit，可视化工具包）构建该被测者的肺部医学三维模型，根据S5步骤计算得到的各指标值，计算肺部各区域反映的气水比；在肺部医学三维模型中对应区域分别用不同形式展现肺部情况；最终将12个不同区域重建出的肺部医学三维模型整合到一起，完成肺部医学三维模型的重建；
S7、根据S6步骤计算的气水比，对被测者肺部病变进行等级划分，同时将等级划分结果显示在肺部医学三维模型上。
实施例2
作为本发明又一较佳实施例，本实施例是对上述实施例1中S1步骤中超声图像采集设备的12个超声探头的位置调整的一种实施方式，S1步骤中，超声图像采集设备固定步骤包括探头位置初设子步骤、数据采集子步骤、数据预处理子步骤、图像质控子步骤和探头位置调整步骤；
S101、探头位置初设子步骤，具体是指，设置12个超声探头，将12个超声探头暂时固定在被测者身体的12个区域上，用以实时采集被测者完整的肺部超声图像，所述完整的肺部超声图像包括肺部12个不同区域的超声图像；
S102、数据采集子步骤，12个超声探头实时采集肺部12个不同区域的超声图像；
S103、数据预处理子步骤，将S102步骤采集到的完整的肺部超声图像分别进行图像降噪、图像裁切处理；
S104、图像质控子步骤，将S103步骤预处理后的图像输入到图像分类模型中，图像分类模型依据标准度将超声图像分为合格图像和不合格图像；判断某一区域在设定时间段内连续采集的超声图像是否全部为合格图像，若全部为合格图像，则表示该区域的超声探头位置正确，将该区域对应的超声探头进行固定；若存在不合格图像，则调整该区域对应的超声探头位置并重复S102-S104步骤，直至该区域在设定时间段内连续采集的超声图像均为合格图像；最终12个区域对应的超声探头在设定时间段内采集到的图像均合格，表示12个区域对应的超声探头位置均正确。S104步骤中所述的设定时间段可设置为2min或1min。
实施例3
作为本实施例又一较佳实施例，本实施例作为上述实施例中12个不同区域的划分的实施方式，如图2和图3所示，肺部12个不同区域的划分方法为：以乳头水平为界，将双侧胸壁划分为上、下两区；以胸骨、腋前线、腋后线、脊柱为界，将每侧胸壁划分为前、侧、后三区；划分得到的12个不同区域名称、部位及超声扫描方式如下表1所示。
表1为12个不同区域的名称、部位及超声扫描方式表
Figure 211002DEST_PATH_IMAGE016
。
实施例4
作为本发明又一较佳实施例，本实施例是上述实施例2中图像降噪的一种实施方式，具体的，图像降噪是图像预处理中一项被广泛应用的技术，作用是提高图像的信噪比，突出图像的期望特征，有效抑制噪声的同时，保留对后期分析诊断有用的图像细节。对超声图像进行去噪处理，是医学超声图像处理的重要一环，对一般图像处理理论也有重要意义，具体的图像降噪方式是根据所处理的图像中的噪声类型进行对应处理。
通常图像噪声类型包括：散斑噪声、加性高斯噪声、脉冲噪声（椒盐噪声）。
散斑噪声是超声医学影像特有的，一般可看作是一种乘性噪声。对于散斑噪声，采用中值-各项异性扩散算法，利用多方向中值提升边缘保持能力，利用归一化局部方差和梯度来改进扩散系数增强扩散模型的局部自适应能力，达到抑制噪声，保持边缘的效果。
椒盐噪声是由于环境中的干扰（如电磁干扰），传感器（ADC）内部时序错误等，图像中出现离散分布的纯白色或者黑色像素点。对于椒盐噪声，使用中值滤波算法进行抑制，用一个窗口（如3*3）在原图中滑动，并把窗口中的像素值排序，取中间值为窗口中心像素的新的灰度值，就可以去掉原图中的椒盐噪声。
加性高斯噪声是指它的概率密度函数服从高斯分布（即正态分布）的一类噪声。如果一个噪声，它的幅度分布服从高斯分布，而它的功率谱密度又是均匀分布的，则称它为高斯白噪声，通常是因为不良照明和高温引起的传感器噪声。对于高斯噪声，使用高斯滤波器，达到抑制噪声，平滑图像的效果。
实施例5
作为本发明又一较佳实施例，本实施例是上述实施例2中图像裁切的一种实施方式，具体的，所述图像裁切是指裁切出完整的扇形肺部图像。在计算机视觉任务中，如图像分类，图像数据收集必不可少。采集的图片往往存在很多噪声或无用信息会影响模型训练。因此，需要对图片进行裁剪处理，以防止图片边缘无用信息对模型造成影响，提高AI模型学习的效率。如附图4所示，是一张未裁切的肺部图像，图像大小为1582×2464，左上角坐标为（0,0）。在用cv2.imread()函数默认读取三通道RGB图像后，会返回一个三维数组。同时，可用im[h,w]（h表示图像的高度，w表示图像的宽度）的形式来截取图片中的某个部分。比如我们需要裁切出完整的扇形区域图像，其图像位置相对左上角坐标原点为，从上到下：100-1500，从左往右为450-2200。这样就可以通过坐标的相对位置来裁剪或截取目标图像了。如附图5所示，为裁切后的完整扇形肺部图像。
实施例6
作为本发明又一较佳实施例，本实施例是上述实施例中S3步骤的数据增强的一种实施方式，所述数据增强可以很好地提升模型的性能，其主要表现在于：
1、提升模型鲁棒性，降低模型对图像的敏感度。当训练数据都属于比较理想的状态，碰到一些特殊情况，如遮挡，亮度，模糊等情况容易识别错误，对训练数据加上噪声，掩码等方法可提升模型鲁棒性。
2、增加训练数据，提高模型泛化能力。
3、避免样本不均衡。在医疗疾病识别方面，容易出现正负样本极度不平衡的情况，通过对少样本进行一些数据增强方法，降低样本不均衡比例。
比较常用的数据增强方法有几何变换方法和像素变换方法。几何变换方法主要有：翻转，缩放，平移，抖动，旋转，裁剪等。比较常用的像素变换方法有：加高斯噪声，进行高斯模糊，调整HSV对比度，调节亮度等。
在本实施例中，所述数据增强包括旋转和缩放、高斯加噪、高斯模糊、亮度和对比度处理以及低分辨率仿真。
所述旋转和缩放是指，遍历所有原始超声图像，同时随机进行旋转和缩放处理，设定为从U(-15,15)随机得到角度，从U（0.7,1.4）随机得到缩放率，旋转中心为图像中心点。
所述高斯加噪是指，遍历所有原始超声图像，随机加上高斯噪声，将零中心加性高斯噪声添加到样本中的每个独立像素上；噪声的方差从U(0,0.1)中随机得到。高斯噪声是指概率密度函数服从高斯分布（即正态分布）的一类噪声。
高斯模糊是一种线性平滑滤波，适用于消除高斯噪声，广泛应用于图像处理的减噪过程。高斯模糊是对整幅图像进行加权平均的过程，每一个像素点的值，都由其本身和邻域内的其他像素值经过加权平均后得到。本项目高斯模糊的具体实现方式是使用大小为3*3离散化窗口滑窗卷积（高斯核），扫描图像中的每一个像素，用滑窗邻域内像素的加权平均灰度值去替代滑窗中心像素点的值。遍历所有原始超声图像并应用高斯模糊，高斯核σ的宽度从U(0.5,1.5)中独立采样。
所述亮度和对比度处理是指，遍历所有原始超声图像同时进行亮度处理和对比度处理，亮度处理的像素值的增减值从U(-30,30)中独立采样，对比度处理像素值的缩放率从U(0.7,1.3)中独立采样，这些像素值最终被裁剪到[0,255]。
所述低分辨率仿真是指，遍历所有原始超声图像进行低分辨率仿真，使用最近邻插值法对图像进行缩小操作，令变换后像素的灰度值等于距它最近的输入像素的灰度值，然后再使用三次样条插值法对图像进行放大至原始大小的操作。三次样条插值（CubicSpline Interpolation）简称Spline插值，是通过一系列形值点的一条光滑曲线，数学上通过求解三弯矩方程组得出曲线函数组的过程。
实施例7
作为本实施例的又一较佳实施例，本实施例为上述实施例中S4步骤中图像分类的一种实施方式，其中，标准度是指：可以在肺部超声图像中观察到胸膜线、A线、B线、C类征象和P类征象中任意的一种或多种。其中，胸膜线位于2根肋骨之后5mm的位置，厚2mm，可随呼吸运动而上下活动；A线为水平伪像，平行于胸膜线的多个短线状强回声，是声波在胸膜线处发生的混响效应，其间距相等；B线垂直于胸膜线并指向肺实质的三角形伪像，呈现出放射性的高回声超声影像，不随距离衰减，其纵深可长达17cm，并可与胸膜同步滑动；C类征象为肺部实变区域，包括实变区域浅边界规则、实变区域深部边缘规则和碎片征象，实变区域浅边界规则是指内有动、静态支气管气象或支气管液像；实变区域深部边缘规则为肺叶实变；碎片征象是指实变的肺脏和充气肺泡交界的地带出现短线样、碎片样的强回声光斑；P类征象为脏层与壁层胸膜之间的无回声暗区，提示胸腔积液；少量积液被规则边界包围，形成比较锐利的四边形低回声形状，其边界由胸膜线、上肋骨、下肋骨的声影和脏胸膜-肺界面所形成的肺线界定。
更进一步的，其中，A线：胸膜在超声图像上的显影；呈高回声，随距离衰减。平行于胸膜线。A线间相等间距。提示胸膜线以下为气体，受检区胸膜线下含气良好。如附图9所示，为标注后的A线超声图像。
B线具有彗星尾的伪像。B线起源于胸模线。呈现出放射性的高回声超声影。能够清除A线，而且不会衰减。能够直接达到屏幕边缘，并且随着呼吸运动而滑动，随胸膜滑动而运动。B线间隔大约7mm称B7线，指示间质性肺水肿或病变。B线间距≤3mm的多条B线称B3线，提示肺泡性肺水肿或病变。如附图10所示，为标注后的B线超图像。
C类征象：肺部实变区域；胸膜滑动减弱或消失。突变区域表浅边界规则。无正弦波征。内可有动、静态支气管气象或支气管液像。实变区深部边缘不规则，远场可见彗星尾样表现者，见于碎片征；深部边缘规则者见于肺叶实变。实变的肺脏（未充气的肺）和充气肺泡交界的地带出现短线样、碎片样的强回声光斑，称为碎片征。如附图11所示，为标注后的C类征象肺超图像。
P类征象：胸腔积液；液体积聚在壁层和脏层胸膜之间，形成无回声或低回声暗区，其形状可能随着呼吸动作发生改变。大量胸腔积液时，常可见到类似舌状的膨胀不全的肺叶漂浮其中。四边形征：少量积液被规则边界包围，形成比较锐利的四边形低回声形状，其边界由胸膜线、上、下肋骨的声影和脏胸膜-肺界面所形成的肺线。正弦波征：少量胸腔积液的动态征象；M模式下，呼吸过程中脏层与壁层胸膜间距在吸气相下降、呼气相增加的循环变化现象。如附图12所示，为标注后的P类征象肺超图像。
如附图6所示，为A类线不清晰的肺部超声图像，此类图像将被筛选出，标记为不合格图像。如附图7所示，为B类线不标准肺部超声图像，此类图像也将被筛选出，标记为不合格图像。如附图8所示，为B类线标准清晰的肺部超声图像，此类图像被筛选出后，标记为合格图像并对其进行数据标注。
实施例8
作为本发明的又一较佳实施例，本实施例是对上述实施例中图像分类模型的一种实施方式，所述图像分类模型的训练过程具体如下：
F1、数据收集，对肺部12个区域的超声影像扫描方式为垂直于肋骨左右滑动覆盖式采集数据，再对采集到的超声影像分帧处理成单帧超声图像；
F2、图像筛选，人工根据标准度从收集到的肺部超声图像中筛选出合格图像和不合格图像；
F3、图像处理，将F2步骤人工筛选的数据进行数据增强处理；
F4、模型训练：
F401、将数据增强处理后的数据按照8:2的比例分为训练集和测试集，以100的batchsize将训练集打乱顺序随机采样，采样的同时进行图像归一化和标准化处理：将所有数除以255，将数据归一化到[0,1]；将数据按比例缩放，使其落入到一个小的区间内，标准化后的数据可正可负，但是一般绝对值不会太大，一般是z-score标准化方法：减去期望后除以标准差；
F402、模型选用LeNet-5模型，如图13所示；
F403、运用随机梯度下降算法来对网络进行训练；
F404、损失函数：在二分的情况下，模型最后需要预测的结果只是两种情况，对于 每个类别我们的预测得到的概率为
Figure 372468DEST_PATH_IMAGE001
和
Figure 256111DEST_PATH_IMAGE002
，此时表达式为（log的底数是e）：
Figure 729818DEST_PATH_IMAGE003
，其中，
Figure 964490DEST_PATH_IMAGE004
代表总损失；
Figure 932577DEST_PATH_IMAGE005
代表类别i的损失；
Figure 670726DEST_PATH_IMAGE006
表示类别i的标记，正类为1，负类为0；
Figure 315334DEST_PATH_IMAGE007
表示类别i预测为正类概率， N为总类别数；
F405、使用测试集来评估分类模型的性能，即将预测出的结果与真实类别标记进行比较，计算指标包括准确率、精确率以及召回率，指标越高则模型训练效果越好。
实施例9
作为本发明又一较佳实施例，本实施例是对上述实施例中图像分割模型的一种实施方式，所述图像分割模型的训练过程具体如下。
1、数据收集：肺部12个不同区域的划分方法为：以乳头水平为界，将双侧胸壁划分为上、下两区；以胸骨、腋前线、腋后线、脊柱为界，将每侧胸壁划分为前、侧后三区；对于肺部12个分区的超声影像扫描方式为垂直于肋骨左右滑动覆盖式采集数据，再对采集到的超声影像分帧处理（1秒30帧）为单帧超声图像。
2、图像筛选：人工根据标准度从收集到的肺部超声图像中筛选出合格图像，标准度是指：可以在肺部超声图像中观察到胸膜线、A线、B线、C类征象和P类征象中任意的一种或多种。
3、数据标注：采用人工标注的方式，对筛选后的图像依据标注方法对合格图像进行标注。
4、图像处理：将标注后的图像进行数据增强处理。
5、训练
（1）将增强后的数据按8:2的比例分为训练集和测试集，以100的batchsize将训练集打乱顺序随机采样，采样的同时进行图像归一化和标准化处理：将所有数除以255，将数据归一化到[0,1]；将数据按比例缩放，使其落入到一个小的区间内，标准化后的数据可正可负，但是一般绝对值不会太大，一般是z-score标准化方法：减去期望后除以标准差。
（2）模型：选用模型为经典的U-Net模型。
（3）模型训练：运用带冲量的随机梯度下降算法(SGD)来对网络进行训练，冲量设定0.99。
（4）损失函数：
损失函数为交叉熵损失函数，对模型最终输出的特征图进行逐像素softmax，并且结合交叉熵：
其中，交叉熵损失函数：
Figure 974985DEST_PATH_IMAGE008
，其中，
Figure 730452DEST_PATH_IMAGE017
代表损失，M表 示类别数，
Figure 339419DEST_PATH_IMAGE010
是一个向量，元素只有0和1两种取值，如果该类别和样本的类别相同就取1，否 则取0，
Figure 154928DEST_PATH_IMAGE011
表示预测样本属于类别c的概率，
Figure 98613DEST_PATH_IMAGE012
为类别c的权重参数。
Figure 657770DEST_PATH_IMAGE012
的计算公式为：
Figure 121244DEST_PATH_IMAGE013
，
Figure 310917DEST_PATH_IMAGE014
表示人工标注的图像中类别为c的像素个 数，N表示所有图像的像素个数。
（5）评价指标：对于同一图像，将系统标注的图像与人工标注的图像进行对比，得到Dice系数，Dice系数越高则说明模型训练效果越好。
Dice系数：
Figure 476319DEST_PATH_IMAGE015
，其中，|X∩Y|是元素X和元素Y之间的交集，|X|和|Y| 分表表示元素X和元素Y的元素的个数，元素X代表人工标注的图像像素，元素Y代表系统标 注的图像像素（即经图像分割模型输出的图像分割结果的图像像素）。
实施例10
作为本发明又一较佳实施例，本实施例是对上述实施例中胸膜滑动速率、B线数量、C类征象对应的实变区域面积以及P类征象对应的胸腔积液面积的计算的一种实施方式，所述胸膜滑动速率是根据超声图像中A类线显现出的A线滑动的距离和时间计算得到的；所述B线数量是对超声图像中B类线显现出来的B线的条数进行计数得到的；所述C类征象对应的实变区域面积，是根据超声图像上的比例尺信息得到超声图像上每个像素对应的实际面积，将像素的实际面积乘以图像分割模型输出的C类征象的像素个数，计算得到C类征象对应的实变区域面积；所述P类征象对应的胸腔积液面积，是根据超声图像上的比例尺信息得到超声图像上每个像素对应的实际面积，将像素的实际面积乘以图像分割模型输出的P类征象的像素个数，计算得到P类征象对应的胸腔积液面积。
实施例11
作为本发明又一较佳实施例，本实施例是对上述实施例中肺部医学三维模型重建的一种实施方式，利用VTK构建该被测者的肺部医学三维模型，具体是指：
S601、将QT界面与VTK整合，读取数据源，调用VTK Source读取，标注A类线、B类线、C类征象特征和P类征象特征的一套肺部完整的超声图像数据；保存在VTK的总类或者子类中；再调取VTK filter将接收的一套完整的超声图像数据进行预处理；
S602、图像实体化，通过Mapper映射器接收从VTK filter处理后的超声图像数据，将其映射为图形库中的基本图元，然后将映射的图像进行实体转化，数据由图像数据转换为图形几何数据，形成三维体数据场；
S603、三维重建，将三维体数据场调用体绘制或面绘制算法进行处理，获得三维模型；
S604、渲染显示，调用VTK中Render绘制和Render window绘制窗口，将三维模型在计算机平台界面中显示，同时增设可控长方体，对三维模型进行切割，获得断面信息。
实施例12
作为本发明又一较佳实施例，本实施例是对上述实施例中，S6步骤中，根据S5步骤计算得到的各指标值，计算肺部各区域反映的气水比的一种实施方式，根据各区域的各指标值与各区域肺部CT图反映的气水比的对应关系计算肺部各区域反映的气水比。
所述各区域的各指标值与各区域肺部CT图反映的气水比的对应关系是通过下述过程获得的：对同一病例的CT图和12个区域肺部超声图像分别进行区域匹配，分别对12个区域的超声图像的指标以及12个不同区域对应CT图区域的指标进行计算；
若为A类线特征，则计算出胸膜滑动速率；
若为B类线特征，则计算出B线条数；
若为C类征象，则计算出实变区域面积；
若为P类征象，则计算出胸腔积液面积；
根据CT图计算该区域的气水比；所述气水比是指，根据CT图中该区域表层的每个体素的CT值来判断该体素是气体还是液体（若CT值大于设定阈值时为水，当CT值小于设定阈值时为气），再分别统计气体体素的总和和液体体素的总和，计算得到气水面积的比例，即为该区域的气水比；将各区域胸膜滑动速率和B线条数与该区域CT图反映的气水比进行对应，从而得到其对应关系。
实施例13
作为本发明又一较佳实施例，本实施例是对上述实施例中，S6步骤中，根据S5步骤计算得到的各指标值，计算肺部各区域反映的气水比的一种实施方式，各区域的各指标值与各区域肺部CT图反映的气水比的对应关系是通过深度学习网络预先训练得到的。
具体的，对同一病例的CT图和12个区域超声图像进行区域匹配；分别对该区域超声图像显示的征象指标值进行计算，以及该区域对应CT图反映的气水比进行计算；
若该区域超声图像显示为A类线特征，则计算出胸膜滑动速率；通过大量病例的该区域的超声图像和该区域CT图反映的气水比计算，得出CT图计算的气水比与A类线特征对应的胸膜滑动速率之间的对应关系；若该区域超声图像显示为B类线特征，则计算出B线条数，通过大量病例的该区域的超声图像和该区域CT图区域匹配及指标计算，得出该区域CT图计算的气水比与B类线特征对应的B线条数的对应关系。
实施例14
作为本发明又一较佳实施例，本实施例是对肺部医学三维模型的重建过程的一种实施方式，12个不同区域的重建过程如下所示。
1、右侧-前胸壁上区（R1区）
（1）对同一病例的CT图和右侧-前胸壁上区超声图像进行区域匹配。
在CT图像中包含右侧腋前线与肺门、胸骨旁线之间的区域，乳头水平上方的所有图像与超声图像的R1区进行区域匹配。
（2）分别对超声图像R1区的指标以及R1区对应CT图区域的指标进行计算：
超声图像中，若为A类线，则计算出胸膜滑动速率。若为B类线，则计算出B线条数。若为C类征象，则计算出实变区域面积。若为P类征象，则计算出胸腔积液面积；
CT图：根据CT图计算该区域的气水比，所述气水比是指，根据CT图中该区域表层的每个体素的CT值来判断该体素是气体还是液体（若CT值大于设定阈值时为水，当CT值小于设定阈值时为气），再分别统计气体体素的总和和液体体素的总和，计算得到气水面积的比例，即为该区域的气水比。
（3）经过对大量病例的超声图像R1区和R1区对应CT图区域匹配以及指标计算，得出CT图计算的气水比与A类线中胸膜滑动速率之间的关系。
（4）经过对大量病例的超声图像R1区和R1区对应CT图区域匹配以及指标计算，得出CT图计算出的气水比与B类线中B线条数的关系。
（5）系统对大量病例超声图像R1区的C类征象实变区域面积进行计算。
（6）系统对大量病例超声图像R1区的P类征象胸腔积液区域面积进行计算。
（7）根据R1区的超声图像计算出A类线和B类线对应的指标，经过上面大量病例的学习后，系统可以根据R1区超声图像计算的指标，和（3）、（4）得到的关系，直接得到R1区对应的气水比。
（8）通过R1区的超声图像反映的ABCP情况，在肺部模型上的R1区分别用不同形式展现肺部情况：
A类线：根据同一病例的一套完整R1区超声图像求得的气水比，在R1区标注气水比；
B类线：根据同一病例的一套完整R1区超声图像求得的气水比，在R1区标注气水比；
C类征象：根据同一病例的一套完整R1区超声图像求得的突变区域面积，叠加后得到突变区域体积，超声重建R1区突变区域的模型；
P类征象：根据同一病例的一套完整R1区超声图像求得的胸腔积液面积，叠加后得到胸腔积液区域体积，超声重建R1区胸腔积液区域的模型。
2、右侧-前胸壁下区（R2区）
（1）对同一病例的CT图和右侧-前胸壁下区超声图像进行区域匹配。
在CT图像中包含右侧腋前线与肺门、胸骨旁线之间的区域，乳头水平下方的所有图像与超声图像的R2区进行区域匹配。
（2）分别对超声图像R2区的指标以及R2区对应CT图区域的指标进行计算：
超声图像：若为A类线，则计算出胸膜滑动速率。若为B类线，则计算出B线条数。若为C类征象，则计算出实变区域面积。若为P类征象，则计算出胸腔积液面积。CT图：根据CT图计算该区域的气水比，所述气水比是指，根据CT图中该区域表层的每个体素的CT值来判断该体素是气体还是液体（若CT值大于设定阈值时为水，当CT值小于设定阈值时为气），再分别统计气体体素的总和和液体体素的总和，计算得到气水面积的比例，即为该区域的气水比。
（3）经过对大量病例的超声图像R2区和R2区对应CT图区域匹配以及指标计算，得出CT图计算的气水比与A类线中胸膜滑动速率之间的关系。
（4）经过对大量病例的超声图像R2区和R2区对应CT图区域匹配以及指标计算，得出CT图计算出的气水比与B类线中B线条数的关系。
（5）系统对大量病例超声图像R2区的C类征象实变区域面积进行计算。
（6）系统对大量病例超声图像R2区的P类征象胸腔积液区域面积进行计算。
（7）根据R2区的超声图像计算出A类线和B类线对应的指标，经过上面大量病例的学习后，系统可以根据R2区超声图像计算的指标，和（3）、（4）得到的关系，直接得到R2区对应的气水比。
（8）通过R2区的超声图像反映的ABCP情况，在肺部模型上的R2区分别用不同形式展现肺部情况：
A类线：根据同一病例的一套完整R2区超声图像求得的气水比，在R2区标注气水比；
B类线：根据同一病例的一套完整R2区超声图像求得的气水比，在R2区标注气水比；
C类征象：根据同一病例的一套完整R2区超声图像求得的突变区域面积，叠加后得到突变区域体积，超声重建R2区突变区域的模型；
P类征象：根据同一病例的一套完整R2区超声图像求得的胸腔积液面积，叠加后得到胸腔积液区域体积，超声重建R2区胸腔积液区域的模型。
3、右侧-侧胸壁上区（R3区）
（1）对同一病例的CT图和右侧-侧胸壁上区超声图像进行区域匹配：
在CT图像中包含右侧腋前线、腋后线与肺门之间的区域，乳头水平上方的所有图像与超声图像的R3区进行区域匹配。
（2）分别对超声图像R3区的指标以及R3区对应CT图区域的指标进行计算：超声图像：若为A类线，则计算出胸膜滑动速率。若为B类线，则计算出B线条数。若为C类征象，则计算出实变区域面积。若为P类征象，则计算出胸腔积液面积。CT图：根据CT图计算该区域的气水比，所述气水比是指，根据CT图中该区域表层的每个体素的CT值来判断该体素是气体还是液体（若CT值大于设定阈值时为水，当CT值小于设定阈值时为气），再分别统计气体体素的总和和液体体素的总和，计算得到气水面积的比例，即为该区域的气水比。
（3）经过对大量病例的超声图像R3区和R3区对应CT图区域匹配以及指标计算，得出CT图计算的气水比与A类线中胸膜滑动速率之间的关系。
（4）经过对大量病例的超声图像R3区和R3区对应CT图区域匹配以及指标计算，得出CT图计算出的气水比与B类线中B线条数的关系。
（5）系统对大量病例超声图像R3区的C类征象实变区域面积进行计算。
（6）系统对大量病例超声图像R3区的P类征象胸腔积液区域面积进行计算。
（7）根据R3区的超声图像计算出A类线和B类线对应的指标，经过上面大量病例的学习后，系统可以根据R3区超声图像计算的指标，和（3）、（4）得到的关系，直接得到R3区对应的气水比。
（8）通过R3区的超声图像反映的ABCP情况，在肺部模型上的R3区分别用不同形式展现肺部情况：
A类线：根据同一病例的一套完整R3区超声图像求得的气水比，在R3区标注气水比；
B类线：根据同一病例的一套完整R3区超声图像求得的气水比，在R3区标注气水比；
C类征象：根据同一病例的一套完整R3区超声图像求得的突变区域面积，叠加后得到突变区域体积，超声重建R3区突变区域的模型；
P类征象：根据同一病例的一套完整R3区超声图像求得的胸腔积液面积，叠加后得到胸腔积液区域体积，超声重建R3区胸腔积液区域的模型。
4、右侧-侧胸壁下区（R4区）
（1）对同一病例的CT图和右侧-侧胸壁下区超声图像进行区域匹配：在CT图像中包含右侧腋前线、腋后线与肺门之间的区域，乳头水平下方的所有图像与超声图像的R4区进行区域匹配。
（2）分别对超声图像R4区的指标以及R4区对应CT图区域的指标进行计算：
超声图像中，若为A类线，则计算出胸膜滑动速率。若为B类线，则计算出B线条数。若为C类征象，则计算出实变区域面积。若为P类征象，则计算出胸腔积液面积。CT图：根据CT图计算该区域的气水比，所述气水比是指，根据CT图中该区域表层的每个体素的CT值来判断该体素是气体还是液体（若CT值大于设定阈值时为水，当CT值小于设定阈值时为气），再分别统计气体体素的总和和液体体素的总和，计算得到气水面积的比例，即为该区域的气水比。
（3）经过对大量病例的超声图像R4区和R4区对应CT图区域匹配以及指标计算，得出CT图计算的气水比与A类线中胸膜滑动速率之间的关系。
（4）经过对大量病例的超声图像R4区和R4区对应CT图区域匹配以及指标计算，得出CT图计算出的气水比与B类线中B线条数的关系。
（5）系统对大量病例超声图像R4区的C类征象实变区域面积进行计算。
（6）系统对大量病例超声图像R4区的P类征象胸腔积液区域面积进行计算。
（7）根据R4区的超声图像计算出A类线和B类线对应的指标，经过上面大量病例的学习后，系统可以根据R4区超声图像计算的指标，和（3）、（4）得到的关系，直接得到R4区对应的气水比。
（8）通过R4区的超声图像反映的ABCP情况，在肺部模型上的R4区分别用不同形式展现肺部情况：
A类线：根据同一病例的一套完整R4区超声图像求得的气水比，在R4区标注气水比；
B类线：根据同一病例的一套完整R4区超声图像求得的气水比，在R4区标注气水比；
C类征象：根据同一病例的一套完整R4区超声图像求得的突变区域面积，叠加后得到突变区域体积，超声重建R4区突变区域的模型；
P类征象：根据同一病例的一套完整R4区超声图像求得的胸腔积液面积，叠加后得到胸腔积液区域体积，超声重建R4区胸腔积液区域的模型。
5、右侧-背部上区（R5区）
（1）对同一病例的CT图和右侧-背部上区超声图像进行区域匹配，在CT图像中包含右侧腋后线、肺门与脊柱旁线之间的区域，乳头水平上方的所有图像与超声图像的R5区进行区域匹配。
（2）分别对超声图像R5区的指标以及R5区对应CT图区域的指标进行计算：超声图像中，若为A类线，则计算出胸膜滑动速率。若为B类线，则计算出B线条数。若为C类征象，则计算出实变区域面积。若为P类征象，则计算出胸腔积液面积。CT图：根据CT图计算该区域的气水比，所述气水比是指，根据CT图中该区域表层的每个体素的CT值来判断该体素是气体还是液体（若CT值大于设定阈值时为水，当CT值小于设定阈值时为气），再分别统计气体体素的总和和液体体素的总和，计算得到气水面积的比例，即为该区域的气水比。
（3）经过对大量病例的超声图像R5区和R5区对应CT图区域匹配以及指标计算，得出CT图计算的气水比与A类线中胸膜滑动速率之间的关系。
（4）经过对大量病例的超声图像R5区和R5区对应CT图区域匹配以及指标计算，得出CT图计算出的气水比与B类线中B线条数的关系。
（5）系统对大量病例超声图像R5区的C类征象实变区域面积进行计算。
（6）系统对大量病例超声图像R5区的P类征象胸腔积液区域面积进行计算。
（7）根据R5区的超声图像计算出A类线和B类线对应的指标，经过上面大量病例的学习后，系统可以根据R5区超声图像计算的指标，和（3）、（4）得到的关系，直接得到R5区对应的气水比。
（8）通过R5区的超声图像反映的ABCP情况，在肺部模型上的R5区分别用不同形式展现肺部情况：
A类线：根据同一病例的一套完整R5区超声图像求得的气水比，在R5区标注气水比；
B类线：根据同一病例的一套完整R5区超声图像求得的气水比，在R5区标注气水比；
C类征象：根据同一病例的一套完整R5区超声图像求得的突变区域面积，叠加后得到突变区域体积，超声重建R5区突变区域的模型；
P类征象：根据同一病例的一套完整R5区超声图像求得的胸腔积液面积，叠加后得到胸腔积液区域体积，超声重建R5区胸腔积液区域的模型。
6、右侧-背部下区（R6区）
（1）对同一病例的CT图和右侧-背部下区超声图像进行区域匹配；在CT图像中包含右侧腋后线、肺门与脊柱旁线之间的区域，乳头水平下方的所有图像与超声图像的R6区进行区域匹配。
（2）分别对超声图像R6区的指标以及R6区对应CT图区域的指标进行计算：超声图像中，若为A类线，则计算出胸膜滑动速率。若为B类线，则计算出B线条数。若为C类征象，则计算出实变区域面积。若为P类征象，则计算出胸腔积液面积。CT图：根据CT图计算该区域的气水比，所述气水比是指，根据CT图中该区域表层的每个体素的CT值来判断该体素是气体还是液体（若CT值大于设定阈值时为水，当CT值小于设定阈值时为气），再分别统计气体体素的总和和液体体素的总和，计算得到气水面积的比例，即为该区域的气水比。
（3）经过对大量病例的超声图像R6区和R6区对应CT图区域匹配以及指标计算，得出CT图计算的气水比与A类线中胸膜滑动速率之间的关系。
（4）经过对大量病例的超声图像R6区和R6区对应CT图区域匹配以及指标计算，得出CT图计算出的气水比与B类线中B线条数的关系。
（5）系统对大量病例超声图像R6区的C类征象实变区域面积进行计算。
（6）系统对大量病例超声图像R6区的P类征象胸腔积液区域面积进行计算。
（7）根据R6区的超声图像计算出A类线和B类线对应的指标，经过上面大量病例的学习后，系统可以根据R6区超声图像计算的指标，和（3）、（4）得到的关系，直接得到R6区对应的气水比。
（8）通过R6区的超声图像反映的ABCP情况，在肺部模型上的R6区分别用不同形式展现肺部情况：
A类线：根据同一病例的一套完整R6区超声图像求得的气水比，在R6区标注气水比；
B类线：根据同一病例的一套完整R6区超声图像求得的气水比，在R6区标注气水比；
C类征象：根据同一病例的一套完整R6区超声图像求得的突变区域面积，叠加后得到突变区域体积，超声重建R6区突变区域的模型；
P类征象：根据同一病例的一套完整R6区超声图像求得的胸腔积液面积，叠加后得到胸腔积液区域体积，超声重建R6区胸腔积液区域的模型；
7、左侧-前胸壁上区（L1区）
（1）对同一病例的CT图和左侧-前胸壁上区超声图像进行区域匹配；在CT图像中包含左侧腋前线与肺门、胸骨旁线之间的区域，乳头水平上方的所有图像与超声图像的L1区进行区域匹配。
（2）分别对超声图像L1区的指标以及L1区对应CT图区域的指标进行计算：超声图像，若为A类线，则计算出胸膜滑动速率。若为B类线，则计算出B线条数。若为C类征象，则计算出实变区域面积。若为P类征象，则计算出胸腔积液面积。CT图：根据CT图计算该区域的气水比，所述气水比是指，根据CT图中该区域表层的每个体素的CT值来判断该体素是气体还是液体（若CT值大于设定阈值时为水，当CT值小于设定阈值时为气），再分别统计气体体素的总和和液体体素的总和，计算得到气水面积的比例，即为该区域的气水比。
（3）经过对大量病例的超声图像L1区和L1区对应CT图区域匹配以及指标计算，得出CT图计算的气水比与A类线中胸膜滑动速率之间的关系。
（4）经过对大量病例的超声图像L1区和L1区对应CT图区域匹配以及指标计算，得出CT图计算出的气水比与B类线中B线条数的关系。
（5）系统对大量病例超声图像L1区的C类征象实变区域面积进行计算。
（6）系统对大量病例超声图像L1区的P类征象胸腔积液区域面积进行计算。
（7）根据L1区的超声图像计算出A类线和B类线对应的指标，经过上面大量病例的学习后，系统可以根据L1区超声图像计算的指标，和（3）、（4）得到的关系，直接得到L1区对应的气水比。
（8）通过L1区的超声图像反映的ABCP情况，在肺部模型上的L1区分别用不同形式展现肺部情况：A类线：根据同一病例的一套完整L1区超声图像求得的气水比，在L1区标注气水比；
B类线：根据同一病例的一套完整L1区超声图像求得的气水比，在L1区标注气水比；
C类征象：根据同一病例的一套完整L1区超声图像求得的突变区域面积，叠加后得到突变区域体积，超声重建L1区突变区域的模型；
P类征象：根据同一病例的一套完整L1区超声图像求得的胸腔积液面积，叠加后得到胸腔积液区域体积，超声重建L1区胸腔积液区域的模型。
8、左侧-前胸壁下区（L2区）
（1）对同一病例的CT图和左侧-前胸壁下区超声图像进行区域匹配；在CT图像中包含左侧腋前线与肺门、胸骨旁线之间的区域，乳头水平下方的所有图像与超声图像的L2区进行区域匹配。
（2）分别对超声图像L2区的指标以及L2区对应CT图区域的指标进行计算：超声图像，若为A类线，则计算出胸膜滑动速率。若为B类线，则计算出B线条数。若为C类征象，则计算出实变区域面积。若为P类征象，则计算出胸腔积液面积。CT图：根据CT图计算该区域的气水比，所述气水比是指，根据CT图中该区域表层的每个体素的CT值来判断该体素是气体还是液体（若CT值大于设定阈值时为水，当CT值小于设定阈值时为气），再分别统计气体体素的总和和液体体素的总和，计算得到气水面积的比例，即为该区域的气水比。
（3）经过对大量病例的超声图像L2区和L2区对应CT图区域匹配以及指标计算，得出CT图计算的气水比与A类线中胸膜滑动速率之间的关系。
（4）经过对大量病例的超声图像L2区和L2区对应CT图区域匹配以及指标计算，得出CT图计算出的气水比与B类线中B线条数的关系。
（5）系统对大量病例超声图像L2区的C类征象实变区域面积进行计算。
（6）系统对大量病例超声图像L2区的P类征象胸腔积液区域面积进行计算。
（7）根据L2区的超声图像计算出A类线和B类线对应的指标，经过上面大量病例的学习后，系统可以根据L2区超声图像计算的指标，和（3）、（4）得到的关系，直接得到L2区对应的气水比。
（8）通过L2区的超声图像反映的ABCP情况，在肺部模型上的L2区分别用不同形式展现肺部情况：A类线：根据同一病例的一套完整L2区超声图像求得的气水比，在L2区标注气水比；B类线：根据同一病例的一套完整L2区超声图像求得的气水比，在L2区标注气水比；C类征象：根据同一病例的一套完整L2区超声图像求得的突变区域面积，叠加后得到突变区域体积，超声重建L2区突变区域的模型；P类征象：根据同一病例的一套完整L2区超声图像求得的胸腔积液面积，叠加后得到胸腔积液区域体积，超声重建L2区胸腔积液区域的模型。
9、左侧-侧胸壁上区（L3区）
（1）对同一病例的CT图和左侧-侧胸壁上区超声图像进行区域匹配；在CT图像中包含左侧腋前线、腋后线与肺门之间的区域，乳头水平上方的所有图像与超声图像的L3区进行区域匹配。
（2）分别对超声图像L3区的指标以及L3区对应CT图区域的指标进行计算：超声图像，若为A类线，则计算出胸膜滑动速率。若为B类线，则计算出B线条数。若为C类征象，则计算出实变区域面积。若为P类征象，则计算出胸腔积液面积。CT图：根据CT图计算该区域的气水比，所述气水比是指，根据CT图中该区域表层的每个体素的CT值来判断该体素是气体还是液体（若CT值大于设定阈值时为水，当CT值小于设定阈值时为气），再分别统计气体体素的总和和液体体素的总和，计算得到气水面积的比例，即为该区域的气水比。
（3）经过对大量病例的超声图像L3区和L3区对应CT图区域匹配以及指标计算，得出CT图计算的气水比与A类线中胸膜滑动速率之间的关系。
（4）经过对大量病例的超声图像L3区和L3区对应CT图区域匹配以及指标计算，得出CT图计算出的气水比与B类线中B线条数的关系。
（5）系统对大量病例超声图像L3区的C类征象实变区域面积进行计算。
（6）系统对大量病例超声图像L3区的P类征象胸腔积液区域面积进行计算。
（7）根据L3区的超声图像计算出A类线和B类线对应的指标，经过上面大量病例的学习后，系统可以根据L3区超声图像计算的指标，和（3）、（4）得到的关系，直接得到L3区对应的气水比。
（8）通过L3区的超声图像反映的ABCP情况，在肺部模型上的L3区分别用不同形式展现肺部情况：A类线：根据同一病例的一套完整L3区超声图像求得的气水比，在L3区标注气水比；B类线：根据同一病例的一套完整L3区超声图像求得的气水比，在L3区标注气水比；C类征象：根据同一病例的一套完整L3区超声图像求得的突变区域面积，叠加后得到突变区域体积，超声重建L3区突变区域的模型；P类征象：根据同一病例的一套完整L3区超声图像求得的胸腔积液面积，叠加后得到胸腔积液区域体积，超声重建L3区胸腔积液区域的模型。
10、左侧-侧胸壁下区（L4区）
（1）对同一病例的CT图和左侧-侧胸壁下区超声图像进行区域匹配；在CT图像中包含左侧腋前线、腋后线与肺门之间的区域，乳头水平下方的所有图像与超声图像的L4区进行区域匹配。
（2）分别对超声图像L4区的指标以及L4区对应CT图区域的指标进行计算：超声图像，若为A类线，则计算出胸膜滑动速率。若为B类线，则计算出B线条数。若为C类征象，则计算出实变区域面积。若为P类征象，则计算出胸腔积液面积。CT图：根据CT图计算该区域的气水比，所述气水比是指，根据CT图中该区域表层的每个体素的CT值来判断该体素是气体还是液体（若CT值大于设定阈值时为水，当CT值小于设定阈值时为气），再分别统计气体体素的总和和液体体素的总和，计算得到气水面积的比例，即为该区域的气水比。
（3）经过对大量病例的超声图像L4区和L4区对应CT图区域匹配以及指标计算，得出CT图计算的气水比与A类线中胸膜滑动速率之间的关系。
（4）经过对大量病例的超声图像L4区和L4区对应CT图区域匹配以及指标计算，得出CT图计算出的气水比与B类线中B线条数的关系。
（5）系统对大量病例超声图像L4区的C类征象实变区域面积进行计算。
（6）系统对大量病例超声图像L4区的P类征象胸腔积液区域面积进行计算。
（7）根据L4区的超声图像计算出A类线和B类线对应的指标，经过上面大量病例的学习后，系统可以根据L4区超声图像计算的指标，和（3）、（4）得到的关系，直接得到L4区对应的气水比。
（8）通过L4区的超声图像反映的ABCP情况，在肺部模型上的L4区分别用不同形式展现肺部情况：A类线：根据同一病例的一套完整L4区超声图像求得的气水比，在L4区标注气水比；B类线：根据同一病例的一套完整L4区超声图像求得的气水比，在L4区标注气水比；C类征象：根据同一病例的一套完整L4区超声图像求得的突变区域面积，叠加后得到突变区域体积，超声重建L4区突变区域的模型；P类征象：根据同一病例的一套完整L4区超声图像求得的胸腔积液面积，叠加后得到胸腔积液区域体积，超声重建L4区胸腔积液区域的模型。
11、左侧-背部上区（L5区）
（1）对同一病例的CT图和左侧-背部上区超声图像进行区域匹配；在CT图像中包含左侧腋后线、肺门与脊柱旁线之间的区域，乳头水平上方的所有图像与超声图像的L5区进行区域匹配。
（2）分别对超声图像L5区的指标以及L5区对应CT图区域的指标进行计算：超声图像，若为A类线，则计算出胸膜滑动速率。若为B类线，则计算出B线条数。若为C类征象，则计算出实变区域面积。若为P类征象，则计算出胸腔积液面积。CT图：根据CT图计算该区域的气水比，所述气水比是指，根据CT图中该区域表层的每个体素的CT值来判断该体素是气体还是液体（若CT值大于设定阈值时为水，当CT值小于设定阈值时为气），再分别统计气体体素的总和和液体体素的总和，计算得到气水面积的比例，即为该区域的气水比。
（3）经过对大量病例的超声图像L5区和L5区对应CT图区域匹配以及指标计算，得出CT图计算的气水比与A类线中胸膜滑动速率之间的关系。
（4）经过对大量病例的超声图像L5区和L5区对应CT图区域匹配以及指标计算，得出CT图计算出的气水比与B类线中B线条数的关系。
（5）系统对大量病例超声图像L5区的C类征象实变区域面积进行计算。
（6）系统对大量病例超声图像L5区的P类征象胸腔积液区域面积进行计算。
（7）根据L5区的超声图像计算出A类线和B类线对应的指标，经过上面大量病例的学习后，系统可以根据L5区超声图像计算的指标，和（3）、（4）得到的关系，直接得到L5区对应的气水比。
（8）通过L5区的超声图像反映的ABCP情况，在肺部模型上的L5区分别用不同形式展现肺部情况：A类线：根据同一病例的一套完整L5区超声图像求得的气水比，在L5区标注气水比；B类线：根据同一病例的一套完整L5区超声图像求得的气水比，在L5区标注气水比；C类征象：根据同一病例的一套完整L5区超声图像求得的突变区域面积，叠加后得到突变区域体积，超声重建L5区突变区域的模型；P类征象：根据同一病例的一套完整L5区超声图像求得的胸腔积液面积，叠加后得到胸腔积液区域体积，超声重建L5区胸腔积液区域的模型。
12、左侧-背部下区（L6区）
（1）对同一病例的CT图和左侧-背部下区超声图像进行区域匹配：在CT图像中包含左侧腋后线、肺门与脊柱旁线之间的区域，乳头水平下方的所有图像与超声图像的L6区进行区域匹配，如上图所示。
（2）分别对超声图像L6区的指标以及L6区对应CT图区域的指标进行计算：超声图像，若为A类线，则计算出胸膜滑动速率。若为B类线，则计算出B线条数。若为C类征象，则计算出实变区域面积。若为P类征象，则计算出胸腔积液面积。CT图：根据CT图计算该区域的气水比，所述气水比是指，根据CT图中该区域表层的每个体素的CT值来判断该体素是气体还是液体（若CT值大于设定阈值时为水，当CT值小于设定阈值时为气），再分别统计气体体素的总和和液体体素的总和，计算得到气水面积的比例，即为该区域的气水比。
（3）经过对大量病例的超声图像L6区和L6区对应CT图区域匹配以及指标计算，得出CT图计算的气水比与A类线中胸膜滑动速率之间的关系。
（4）经过对大量病例的超声图像L6区和L6区对应CT图区域匹配以及指标计算，得出CT图计算出的气水比与B类线中B线条数的关系。
（5）系统对大量病例超声图像L6区的C类征象实变区域面积进行计算。
（6）系统对大量病例超声图像L6区的P类征象胸腔积液区域面积进行计算。
（7）根据L6区的超声图像计算出A类线和B类线对应的指标，经过上面大量病例的学习后，系统可以根据L6区超声图像计算的指标，和（3）、（4）得到的关系，直接得到L6区对应的气水比。
（8）通过L6区的超声图像反映的ABCP情况，在肺部模型上的L6区分别用不同形式展现肺部情况：A类线：根据同一病例的一套完整L6区超声图像求得的气水比，在L6区标注气水比；B类线：根据同一病例的一套完整L6区超声图像求得的气水比，在L6区标注气水比；C类征象：根据同一病例的一套完整L6区超声图像求得的突变区域面积，叠加后得到突变区域体积，超声重建L6区突变区域的模型；P类征象：根据同一病例的一套完整L6区超声图像求得的胸腔积液面积，叠加后得到胸腔积液区域体积，超声重建L6区胸腔积液区域的模型。
最后将上述肺部12个区分别重建出的肺部模型整合到一起，完成肺部模型的三维重建。重建后的肺部三维可视化图像如附图14所示。实时、直观反应肺部各分段ABCP类分布情况，在模型中进行异常预警。
实施例15
作为本发明又一较佳实施例，本实施例是对上述实施例中S7步骤的一种实施方式，根据气水比划分为5个等级；如图15所示，气水比值为0.99，气水比等级为一；如图16所示，气水比值为0.95，气水比等级为二；如图17所示，气水比值为0.1，气水比等级为三；如图18所示，气水比值为0，气水比等级为四；如图19和图20所示，气水比值为1，气水比等级为五。
实施例16
作为本发明又一较佳实施例，本实施例是对实施例1中肺部超声可视化三维重建方法的一种实施方式的补充，还包括S8步骤，通过外部设备接口连接外部设备，同时根据气水比等级向对应外部设备下发指令。具体的，与呼吸机相连，当目标肺区重建模型发生以下改变（一条或多条）时（表2），系统发出相应指令，给出相应呼吸机模式及参数调整建议并显示在病历系统上。
与输液泵相连，当目标肺区重建模型发生以下改变（一条或多条）时（表2），系统发出相应指令，提醒医生液体输入速度是否应当调整并显示在病历系统上。
与护士站显示系统相连，当目标肺区重建模型发生以下改变（一条或多条）时（表2），提醒医生目前于肺部相关的治疗措施是否需要调整。
表2为肺部超声可视化三维重建方法反馈条件及生成的治疗调整建议表
Figure 573588DEST_PATH_IMAGE018
。
实施例17
作为本发明又一较佳实施例，本实施例公开了一种肺部超声可视化三维重建系统，该系统包括：
超声图像采集模块，用于与超声图像采集设备建立数据连接，获取超声图像采集设备采集被测者的一套完整的肺部超声图像；所述完整的肺部超声图像包括肺部12个不同区域的超声图像；
数据预处理模块，将采集到的完整的肺部超声图像分别进行图像降噪、图像裁切处理；
图像分类模块，采用图像分类模型对数据预处理模块预处理后的超声图像进行分类，根据标准度分为合格图像和不合格图像；
图像分割模块，采用图像分割模型，对数据预处理模块预处理后的超声图像进行图像分割，在图像中标注出A类线、B类线、C类征象和P类征象特征；具体的，采用不同颜色对不同的特征进行标注；
指标计算模块，结合图像分类模块和图像分割模块的输出结果，对合格图像的图像分割结果进行指标计算，其中针对A类线计算胸膜滑动速率；根据B类线计算B线数量；根据C类征象计算对应突变区域面积；根据P类征象计算对应胸腔积液面积；
肺部医学三维模型重建模块，利用VTK构建该被测者的肺部医学三维模型，在肺部医学三维模型中对应区域分别用不同形式展现肺部情况；最终将12个不同区域重建出的肺部医学三维模型整合到一起，完成肺部医学三维模型的重建；
等级划分模块，根据指标计算模块计算得到的各指标值，计算肺部各区域反映的气水比；并根据气水比，对被测者肺部病变进行等级划分，同时将等级划分结果显示在肺部医学三维模型上。
更进一步的，所述肺部超声可视化三维重建系统还包括外部设备接口，通过外部设备接口连接外部设备，同时根据气液比等级向对应外部设备下发指令。

Claims (14)

1.肺部超声可视化三维重建方法，其特征在于，该方法包括以下步骤：
S1、超声图像采集设备固定步骤，采用12个超声探头实时采集肺部12个区域的超声图像，得到肺部完整的超声图像；调整12个超声探头的位置，使得12个超声探头在其所在区域内在某一设定时间段内连续采集得到的超声图像均为合格图像；
S2、数据采集步骤，12个超声探头位置固定后，通过超声图像采集设备实时获取被测者完整的肺部超声图像；所述完整的肺部超声图像包括肺部12个不同区域的超声图像；
S3、数据预处理步骤，将S2步骤采集到的完整的肺部超声图像分别进行数据增强处理；
S4、图像分类和图像分割处理步骤，将经过数据预处理的完整的肺部超声图像分别进行图像分类和图像分割；将图像分类结果和图像分割结果汇总在一起，将合格图像的图像分割结果输出；
所述图像分类是指采用图像分类模型对S3步骤预处理后的超声图像进行分类，根据标准度分为合格图像和不合格图像；
所述图像分割是指，采用图像分割模型，对S3步骤预处理后的超声图像进行图像分割，在图像中标注出A类线、B类线、C类征象和P类征象特征；具体的，采用不同颜色对不同的特征进行标注；
S5、对S4步骤输出的合格图像的图像分割结果进行指标计算，其中针对A类线计算胸膜滑动速率；根据B类线计算B线数量；根据C类征象计算对应突变区域面积；根据P类征象计算对应胸腔积液面积；
S6、利用VTK构建该被测者的肺部医学三维模型，根据S5步骤计算得到的各指标值，计算肺部各区域反映的气水比；在肺部医学三维模型中对应区域分别用不同形式展现肺部情况；最终将12个不同区域重建出的肺部医学三维模型整合到一起，完成肺部医学三维模型的重建；
S7、根据S6步骤计算的气水比，对被测者肺部病变进行等级划分，同时将等级划分结果显示在肺部医学三维模型上；
S6步骤中，根据S5步骤计算得到的各指标值，计算肺部各区域反映的气水比，具体是指，根据各区域的各指标值与各区域肺部CT图反映的气水比的对应关系计算肺部各区域反映的气水比；
各区域的各指标值与各区域肺部CT图反映的气水比的对应关系是通过深度学习网络预先训练得到的；具体的，
对同一病例的CT图和12个区域超声图像进行区域匹配；分别对该区域超声图像显示的指标值进行计算，以及该区域对应CT图反映的气水比进行计算；
若该区域超声图像显示为A类线特征，则计算出胸膜滑动速率；通过大量病例的该区域的超声图像和该区域CT图反映的气水比计算，得出CT图计算的气水比与A类线特征对应的胸膜滑动速率之间的对应关系；
若该区域超声图像显示为B类线特征，则计算出B线条数，通过大量病例的该区域的超声图像和该区域CT图区域匹配及指标计算，得出该区域CT图计算的气水比与B类线特征对应的B线条数的对应关系。
2.如权利要求1所述的肺部超声可视化三维重建方法，其特征在于：S1步骤中，超声图像采集设备固定步骤包括探头位置初设子步骤、数据采集子步骤、数据预处理子步骤、图像质控子步骤和探头位置调整步骤；
S101、探头位置初设子步骤，具体是指，设置12个超声探头，将12个超声探头暂时固定在被测者身体的12个区域上，用以实时采集被测者完整的肺部超声图像，所述完整的肺部超声图像包括肺部12个不同区域的超声图像；
S102、数据采集子步骤，12个超声探头实时采集肺部12个不同区域的超声图像；
S103、数据预处理子步骤，将S102步骤采集到的完整的肺部超声图像分别进行图像降噪、图像裁切处理；
S104、图像质控子步骤，将S103步骤预处理后的图像输入到图像分类模型中，图像分类模型依据标准度将超声图像分为合格图像和不合格图像；判断某一区域在设定时间段内连续采集的超声图像是否全部为合格图像，若全部为合格图像，则表示该区域的超声探头位置正确，将该区域对应的超声探头进行固定；若存在不合格图像，则调整该区域对应的超声探头位置并重复S102-S104步骤，直至该区域在设定时间段内连续采集的超声图像均为合格图像；最终12个区域对应的超声探头在设定时间段内采集到的图像均合格，表示12个区域对应的超声探头位置均正确。
3.如权利要求1或2所述的肺部超声可视化三维重建方法，其特征在于：S6步骤中，利用VTK构建该被测者的肺部医学三维模型，具体是指：
S601、将QT界面与VTK整合，读取数据源，调用VTK Source读取，标注A类线、B类线、C类征象特征和P类征象特征的一套肺部完整的超声图像数据；保存在VTK的总类或者子类中；再调取VTK filter将接收的一套完整的超声图像数据进行预处理；
S602、图像实体化，通过Mapper映射器接收从VTK filter处理后的超声图像数据，将其映射为图形库中的基本图元，然后将映射的图像进行实体转化，数据由图像数据转换为图形几何数据，形成三维体数据场；
S603、三维重建，将三维体数据场调用体绘制或面绘制算法进行处理，获得三维模型；
S604、渲染显示，调用VTK中Render绘制和Render window绘制窗口，将三维模型在计算机平台界面中显示，同时增设可控长方体，对三维模型进行切割，获得断面信息。
4.如权利要求1所述的肺部超声可视化三维重建方法，其特征在于：所述各区域的各指标值与各区域肺部CT图反映的气水比的对应关系是通过下述过程获得的：
对同一病例的CT图和12个区域肺部超声图像分别进行区域匹配，分别对12个区域的超声图像的指标以及12个不同区域对应CT图区域的指标进行计算；
若为A类线特征，则计算出胸膜滑动速率；
若为B类线特征，则计算出B线条数；
若为C类征象，则计算出实变区域面积；
若为P类征象，则计算出胸腔积液面积；
根据CT图计算该区域的气水比，所述气水比是指，根据CT图中该区域表层的每个体素的CT值来判断该体素是气体还是液体，再分别统计气体体素的总和和液体体素的总和，计算得到气水面积的比例，即为该区域的气水比；
将各区域胸膜滑动速率和B线条数与该区域CT图反映的气水比进行对应，从而得到其对应关系。
5.如权利要求1或2所述的肺部超声可视化三维重建方法，其特征在于：S7步骤中，根据气水比划分为5个等级；气水比值为0.99，气水比等级为一；气水比值为0.95，气水比等级为二；气水比值为0.1，气水比等级为三；气水比值为0，气水比等级为四；气水比值为1，气水比等级为五。
6.如权利要求1或2所述的肺部超声可视化三维重建方法，其特征在于：还包括S8步骤，通过外部设备接口连接外部设备，同时根据气水比等级向对应外部设备下发指令。
7.如权利要求1所述的肺部超声可视化三维重建方法，其特征在于：所述胸膜滑动速率是根据超声图像中A类线显现出的A线滑动的距离和时间计算得到的。
8.如权利要求1所述的肺部超声可视化三维重建方法，其特征在于：所述B线数量是对超声图像中B类线显现出来的B线的条数进行计数得到的。
9.如权利要求1所述的肺部超声可视化三维重建方法，其特征在于：所述C类征象对应的实变区域面积，是根据超声图像上的比例尺信息得到超声图像上每个像素对应的实际面积，将像素的实际面积乘以图像分割模型输出的C类征象的像素个数，计算得到C类征象对应的实变区域面积。
10.如权利要求1所述的肺部超声可视化三维重建方法，其特征在于：所述P类征象对应的胸腔积液面积，是根据超声图像上的比例尺信息得到超声图像上每个像素对应的实际面积，将像素的实际面积乘以图像分割模型输出的P类征象的像素个数，计算得到P类征象对应的胸腔积液面积。
11.如权利要求1所述的肺部超声可视化三维重建方法，其特征在于：所述标准度是指，可以在肺部超声图像中观察到胸膜线、A线、B线、C类征象和P类征象中任意的一种或多种。
12.如权利要求1所述的肺部超声可视化三维重建方法，其特征在于：S1步骤中，肺部12个不同区域的划分方法为：以乳头水平为界，将双侧胸壁划分为上、下两区；以胸骨、腋前线、腋后线、脊柱为界，将每侧胸壁划分为前、侧、后三区；划分得到的12个不同区域分别为R1区：右侧-前胸壁上区；R2区：右侧-前胸壁下区；R3区：右侧-侧胸壁上区；R4区：右侧-侧胸壁下区；R5区：右侧-背部上区；R6区：右侧-背部下区；L1区：左侧-前胸壁上区；L2区：左侧-前胸壁下区；L3区：左侧-侧胸壁上区；L4区：左侧-侧胸壁下区；L5区：左侧-背部上区；L6区：左侧-背部下区。
13.肺部超声可视化三维重建系统，其特征在于，该系统包括：
超声图像采集模块，用于与超声图像采集设备建立数据连接，获取超声图像采集设备采集被测者的一套完整的肺部超声图像；所述完整的肺部超声图像包括肺部12个不同区域的超声图像；
数据预处理模块，将采集到的完整的肺部超声图像分别进行图像降噪和图像裁切处理；
图像分类模块，采用图像分类模型对数据预处理模块预处理后的超声图像进行分类，根据标准度分为合格图像和不合格图像；
图像分割模块，采用图像分割模型，对数据预处理模块预处理后的超声图像进行图像分割，在图像中标注出A类线、B类线、C类征象和P类征象特征；具体的，采用不同颜色对不同的特征进行标注；
指标计算模块，结合图像分类模块和图像分割模块的输出结果，对合格图像的图像分割结果进行指标计算，其中针对A类线计算胸膜滑动速率；根据B类线计算B线数量；根据C类征象计算对应突变区域面积；根据P类征象计算对应胸腔积液面积；
肺部医学三维模型重建模块，利用VTK构建该被测者的肺部医学三维模型，在肺部医学三维模型中对应区域分别用不同形式展现肺部情况；最终将12个不同区域重建出的肺部医学三维图像整合到一起，完成肺部医学三维模型的重建；
等级划分模块，根据指标计算模块计算得到的各指标值，计算肺部各区域反映的气水比；并根据气水比，对被测者肺部病变进行等级划分，同时将等级划分结果显示在肺部医学三维模型上；
所述计算肺部各区域反映的气水比，具体是指，根据各区域的各指标值与各区域肺部CT图反映的气水比的对应关系计算肺部各区域反映的气水比；
各区域的各指标值与各区域肺部CT图反映的气水比的对应关系是通过深度学习网络预先训练得到的；具体的，
对同一病例的CT图和12个区域超声影像进行区域匹配；分别对该区域超声影像显示的指标值进行计算，以及该区域对应CT图反映的气水比进行计算；
若该区域超声影像显示为A类线特征，则计算出胸膜滑动速率；通过大量病例的该区域的超声图像和该区域CT图反映的气水比计算，得出CT图计算的气水比与A类线特征对应的胸膜滑动速率之间的对应关系；
若该区域超声影像显示为B类线特征，则计算出B线条数，通过大量病例的该区域的超声图像和该区域CT图区域匹配及指标计算，得出该区域CT图计算的气水比与B类线特征对应的B线条数的对应关系。
14.如权利要求13所述的肺部超声可视化三维重建系统，其特征在于：还包括外部设备接口，通过外部设备接口连接外部设备，同时根据气液比等级向对应外部设备下发指令。
CN202210739839.1A 2022-06-28 2022-06-28 肺部超声可视化三维重建方法和系统 Active CN114820952B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210739839.1A CN114820952B (zh) 2022-06-28 2022-06-28 肺部超声可视化三维重建方法和系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210739839.1A CN114820952B (zh) 2022-06-28 2022-06-28 肺部超声可视化三维重建方法和系统

Publications (2)

Publication Number Publication Date
CN114820952A CN114820952A (zh) 2022-07-29
CN114820952B true CN114820952B (zh) 2022-09-16

Family

ID=82522680

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210739839.1A Active CN114820952B (zh) 2022-06-28 2022-06-28 肺部超声可视化三维重建方法和系统

Country Status (1)

Country Link
CN (1) CN114820952B (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115375854B (zh) * 2022-10-25 2022-12-20 天津市肿瘤医院（天津医科大学肿瘤医院） 融合液晶器件的超声影像设备图像处理方法及相关装置
CN117079080B (zh) * 2023-10-11 2024-01-30 青岛美迪康数字工程有限公司 冠脉cta智能分割模型的训练优化方法、装置和设备
CN117808975B (zh) * 2024-02-27 2024-05-03 天津市肿瘤医院（天津医科大学肿瘤医院） 一种基于深度学习的肺部图像手术规划三维重建方法

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105046739A (zh) * 2015-06-19 2015-11-11 四川大学 一种基于vtk的医学图像三维重建方法
CN112690815A (zh) * 2020-11-30 2021-04-23 四川大学 基于肺部图像报告辅助诊断病变等级的系统和方法
CN112950534A (zh) * 2021-01-22 2021-06-11 华东师范大学 一种基于人工智能的便携式超声肺炎辅助诊断系统
WO2021177799A1 (ko) * 2020-03-05 2021-09-10 (주)제이엘케이 이미지 기반 코로나바이러스감염증 정량 분류 방법 및 시스템
CN113554131A (zh) * 2021-09-22 2021-10-26 四川大学华西医院 医学图像处理和分析方法、计算机设备、系统和存储介质
CN114098780A (zh) * 2021-11-19 2022-03-01 上海联影医疗科技股份有限公司 Ct扫描方法、装置、电子装置和存储介质

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022126101A2 (en) * 2020-12-07 2022-06-16 Frond Medical Inc. Methods and systems for body lumen medical device location

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105046739A (zh) * 2015-06-19 2015-11-11 四川大学 一种基于vtk的医学图像三维重建方法
WO2021177799A1 (ko) * 2020-03-05 2021-09-10 (주)제이엘케이 이미지 기반 코로나바이러스감염증 정량 분류 방법 및 시스템
CN112690815A (zh) * 2020-11-30 2021-04-23 四川大学 基于肺部图像报告辅助诊断病变等级的系统和方法
CN112950534A (zh) * 2021-01-22 2021-06-11 华东师范大学 一种基于人工智能的便携式超声肺炎辅助诊断系统
CN113554131A (zh) * 2021-09-22 2021-10-26 四川大学华西医院 医学图像处理和分析方法、计算机设备、系统和存储介质
CN114098780A (zh) * 2021-11-19 2022-03-01 上海联影医疗科技股份有限公司 Ct扫描方法、装置、电子装置和存储介质

Non-Patent Citations (6)

* Cited by examiner, † Cited by third party
Title
"3D Reconstruction of Human Head CT Images Based on VTK";Kai Zhao .etc;《2020 5th International Conference on Advanced Robotics and Mechatronics (ICARM)》;20201221;第16-20页 *
"Virtual interaction and visualisation of 3D medical imaging data with VTK and Unity";Gavin Wheeler .etc;《Healthcare Technology Letters》;20180924;第1-6页 *
"基于VTK的人体肺部医学体数据可视化";武力 等;《临床合理用药杂志》;20150120;第8卷(第1期);第16-167页 *
"肺部超声与高分辨率CT评估间质性肺疾病的对比研究";张颖 等;《临床超声医学杂志》;20210525;第23卷(第5期);第365-368页 *
"肺部超声指导危重症患者肺部病变诊疗的效果评价";吕杰 等;《中国中西医结合急救杂志》;20210901;第28卷(第3期);第324-328页 *
"重症超声核心技术与可视化诊疗核心技能";尹万红 等;《四川大学学报(医学版)》;20191115;第50卷(第6期);第787-791页 *

Also Published As

Publication number Publication date
CN114820952A (zh) 2022-07-29

Similar Documents

Publication Publication Date Title
CN114820952B (zh) 肺部超声可视化三维重建方法和系统
US8600125B2 (en) System and method for computer aided polyp detection
US8423124B2 (en) Method and system for spine visualization in 3D medical images
US7792348B2 (en) Method and apparatus of using probabilistic atlas for cancer detection
TWI473598B (zh) Breast ultrasound image scanning and diagnostic assistance system
CN109788939B (zh) 用于通过自动检测b线和对超声扫描的图像进行评分来增强代表性超声图像的可视化和选择的方法和系统
US9439621B2 (en) Reduced image reading time and improved patient flow in automated breast ultrasound using enchanced, whole breast navigator overview images
US20120134568A1 (en) Method and apparatus of using probabilistic atlas for feature removal/positioning
US20110125016A1 (en) Fetal rendering in medical diagnostic ultrasound
US9826958B2 (en) Automated detection of suspected abnormalities in ultrasound breast images
CN110570508B (zh) 骨质疏松状况三维可视化渲染方法
US11357400B2 (en) Image processing method for glaucoma detection and computer program products thereof
KR20110013026A (ko) 2차원 초음파 영상에 대응하는 2차원 ｃｔ 영상을 제공하는 시스템 및 방법
CN108171694B (zh) 基于卷积神经网络的结节检测方法、系统及设备
JP2016154858A (ja) 超音波診断装置、医用画像処理装置及び医用画像処理プログラム
RU2677191C2 (ru) Установление границ блокирования ребром в анатомически интеллектуальной эхокардиографии
CN104812312A (zh) 超声波诊断装置以及超声波三维图像创建方法
CN111311626A (zh) 基于ct图像的颅骨骨折自动检测方法及电子介质
KR100308230B1 (ko) 대상체 분리를 위한 초음파영상장치
CN106780718A (zh) 一种古生物化石的三维重建方法
Wen et al. A novel Bayesian-based nonlocal reconstruction method for freehand 3D ultrasound imaging
CN117017347B (zh) 超声设备的图像处理方法、系统及超声设备
CN107169978B (zh) 超声图像边缘检测方法及系统
CN116542952A (zh) 一种基于三维重建的内镜检查覆盖率评估方法及系统
Klinder et al. Lobar fissure detection using line enhancing filters

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant