CN114757951B - 体征数据的融合方法、数据融合设备以及可读存储介质 - Google Patents

体征数据的融合方法、数据融合设备以及可读存储介质 Download PDF

Info

Publication number
CN114757951B
CN114757951B CN202210671417.5A CN202210671417A CN114757951B CN 114757951 B CN114757951 B CN 114757951B CN 202210671417 A CN202210671417 A CN 202210671417A CN 114757951 B CN114757951 B CN 114757951B
Authority
CN
China
Prior art keywords
body surface
data
determining
point cloud
structure data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202210671417.5A
Other languages
English (en)
Other versions
CN114757951A (zh
Inventor
李元伟
谈继勇
宋丽晓
孙熙
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Hanwei Intelligent Medical Technology Co ltd
Original Assignee
Shenzhen Hanwei Intelligent Medical Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Hanwei Intelligent Medical Technology Co ltd filed Critical Shenzhen Hanwei Intelligent Medical Technology Co ltd
Priority to CN202210671417.5A priority Critical patent/CN114757951B/zh
Publication of CN114757951A publication Critical patent/CN114757951A/zh
Application granted granted Critical
Publication of CN114757951B publication Critical patent/CN114757951B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/01—Measuring temperature of body parts ; Diagnostic temperature sensing, e.g. for malignant or inflamed tissue
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10072—Tomographic images
    • G06T2207/10081—Computed x-ray tomography [CT]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10072—Tomographic images
    • G06T2207/10088—Magnetic resonance imaging [MRI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30088—Skin; Dermal

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Quality & Reliability (AREA)
  • Radiology & Medical Imaging (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Biophysics (AREA)
  • Pathology (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Molecular Biology (AREA)
  • Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • Measuring And Recording Apparatus For Diagnosis (AREA)

Abstract

本发明涉及超声扫查技术领域，尤其涉及一种体征数据的融合方法、数据融合设备以及可读存储介质，其中，所述方法包括：根据计算机断层扫描/核磁共振成像的扫描结果，确定待检测部位的体内结构数据，以及根据多视角深度相机采集并融合的结果，确定所述待检测部位关联的体表结构数据；确定所述体表结构数据对应的体表温度；确定所述待检测部位关联的，所述体表结构数据和所述体表温度的融合体表数据；根据所述融合体表数据和所述体内结构数据，确定所述待检测部位的实时体征。通过将三种数据进行融合，得到包含内部器官结构及温度的动态的人体体征，实现了对待检测人体的实时监测，提高了检测效率。

Description

体征数据的融合方法、数据融合设备以及可读存储介质
技术领域
本发明涉及超声扫查技术领域，尤其涉及一种体征数据的融合方法、数据融合设备以及可读存储介质。
背景技术
目前，热疗作为一种新兴的肿瘤治疗方式，在医学领域的应用被越来越多，常见的热疗方式为通过CT（Computed Tomography，计算机断层扫描）/MRI（Magnetic ResonanceImaging，核磁共振成像）技术获取患者身体内部的三维结构图像，根据该图像使用各种热疗仪器来进行患者体内的肿瘤治疗。
然而，热疗过程中需要对人体内部进行实时监测，受限于采集成本和采集方式，通常患者在拍摄一次CT/MRI图像后，在较长时间内（几天到几个月不定），都是基于该次获取到的人体内部的静态三维结构图像进行诊断治疗，因此，传统的CT/MRI技术获取到的静态的人体内部三维结构图像并不能很好的满足热疗过程中实时监测人体内部的需求。
上述内容仅用于辅助理解本发明的技术方案，并不代表承认上述内容是现有技术。
发明内容
本发明的主要目的在于提供一种体征数据的融合方法，旨在解决热疗过程中如何对人体的进行实时监测的问题。
为实现上述目的，本发明提供的一种体征数据的融合方法，所述体征数据的融合方法包括：
根据计算机断层扫描/核磁共振成像的扫描结果，确定待检测部位的体内结构数据，以及根据多视角深度相机的采集结果，确定所述待检测部位关联的体表结构数据；
确定所述体表结构数据对应的体表温度；
确定所述待检测部位关联的，所述体表结构数据和所述体表温度的融合体表数据；
根据所述融合体表数据和所述体内结构数据，确定所述待检测部位的实时体征。
可选地，所述根据多视角深度相机的采集结果，确定所述待检测部位关联的体表结构数据包括：
将多视角深度相机采集的图像数据进行融合，得到所述采集结果；
根据所述采集结果确定所述体表结构数据的初始点云；
基于预处理后的所述初始点云，确定包含所述待检测部位的表面衣物的候选人体点云；
确定所述候选人体点云中不包含所述表面衣物部分的目标点云，并根据所述目标点云确定所述体表结构数据。
可选地，所述确定所述候选人体点云中不包含所述表面衣物部分的目标点云，并根据所述目标点云确定所述体表结构数据的步骤包括：
确定所述待检测部位对应的肤色区域；
获取所述候选人体点云的每一点坐标中，与所述肤色区域关联的所述点坐标；
根据所述肤色区域关联的所述点坐标，确定所述待检测部位中不包含所述表面衣物的目标点云，得到所述体表结构数据。
可选地，所述确定所述体表结构数据对应的体表温度的步骤包括：
获取所述体表结构数据对应的点云坐标；
根据所述体表结构数据对应的所述点云坐标确定每一红外热成像仪在所述点云坐标下采集的所述体表温度。
可选地，所述确定所述待检测部位关联的，所述体表结构数据和所述体表温度的融合体表数据的步骤包括：
获取所述体表结构数据关联的结构点云和所述体表温度关联的温度点云；
确定所述温度点云在所述结构点云中对应的位置信息，并根据所述位置信息确定所述结构点云中对应的所述位置信息对应的温度值；
根据所述温度值和所述位置信息确定所述待检测部位的单视角融合体表数据；
根据所述单视角融合体表数据确定所述融合体表数据。
可选地，所述根据所述单视角融合体表数据确定所述融合体表数据的步骤包括：
获取每一深度相机的采集视角下对应的所述单视角融合体表数据；
确定每一所述单视角融合体表数据对应的坐标矩阵；
确定每一所述坐标矩阵对应的同一基坐标系下的所述坐标矩阵，并根据所述同一基坐标系下的所述坐标矩阵确定所述融合体表数据。
可选地，所述根据所述融合体表数据和所述体内结构数据，确定所述待检测部位的实时体征的步骤包括：
获取所述体内结构数据的点云坐标和所述融合体表数据的点云坐标；
确定所述体内结构数据的点云坐标和所述融合体表数据的点云坐标之间对应的刚性变换矩阵；
将所述刚性变换矩阵通过非刚性精配准，确定所述待检测部位的所述实时体征。
可选地，所述将所述刚性变换矩阵通过非刚性精配准，确定所述实时体征的步骤包括：
获取所述刚性变换矩阵中所述体内结构数据对应的点云坐标和所述融合体表数据对应的点云坐标之间的点对；
确定所述点对的匹配误差向量，并将所述匹配误差向量按照预设邻域阈值进行平滑滤波，得到所述刚性变换矩阵对应的非刚性映射；
根据所述非刚性映射，确定所述融合体表数据的校准点云，再次对校准点云与体内点云进行刚性配准微调，并根据所述校准点云确定所述实时体征。
此外，为实现上述目的，本发明还提供一种数据融合设备，所述数据融合设备包括传感器、存储器、处理器及存储在所述存储器上并可在所述处理器上运行的数据处理程序，所述传感器包括深度相机和红外热成像仪，所述数据处理程序被所述处理器执行时实现如上所述的体征数据的融合方法的步骤。
此外，为实现上述目的，本发明还提供一种计算机可读存储介质，所述计算机可读存储介质上存储有数据处理程序，所述数据处理程序被处理器执行时实现如上所述的体征数据的融合方法的步骤。
本发明实施例提供一种体征数据的融合方法、数据融合设备以及可读存储介质，其中，所述方法包括：根据计算机断层扫描/核磁共振成像的扫描结果，获取待检测部位的体内结构数据，以及所述待检测部位关联的体表结构数据；确定所述体表结构数据对应的体表温度；确定所述待检测部位关联的，所述体表结构数据和所述体表温度的融合体表数据；根据所述融合体表数据和所述体内结构数据，确定所述待检测部位的实时体征。通过将三种数据进行融合，得到包含内部器官结构的动态的人体体征，实现了对待检测人体的实时监测，提高了检测效率。
附图说明
图1为本发明实施例涉及的数据融合设备的硬件架构示意图；
图2为本发明体征数据的融合方法的第一实施例的流程示意图；
图3为本发明体征数据的融合方法的第二实施例中步骤S10的细化流程示意图；
图4为本发明体征数据的融合方法的第三实施例中步骤S20的细化流程示意图；
图5为本发明体征数据的融合方法的第四实施例中步骤S30的细化流程示意图；
图6为本发明体征数据的融合方法的第四实施例中步骤S40的细化流程示意图；
本发明目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。
具体实施方式
应当理解，本发明的附图中显示了本发明的示例性实施例，可以以各种形式实现本发明而不应被这里阐述的实施例所限制。相反，提供这些实施例是为了能够更透彻地理解本发明，并且能够将本发明的范围完整的传达给本领域的技术人员。
作为一种实现方案，本发明的数据融合设备的硬件架构可以如图1所示。
本发明实施例方案涉及的是数据融合设备，所述数据融合设备包括：处理器101，例如CPU，存储器102，通信总线103。其中，通信总线103用于实现这些组件之间的连接通信。
存储器102可以是高速RAM存储器，也可以是稳定的存储器（non-volatilememory），例如磁盘存储器。如图1所示，作为一种计算机可读存储介质的存储器102中可以包括数据处理程序；而处理器101可以用于调用存储器102中存储的数据处理程序，并执行以下操作：
根据计算机断层扫描/核磁共振成像的扫描结果，确定待检测部位的体内结构数据，以及根据多视角深度相机的采集结果，确定所述待检测部位关联的体表结构数据；
确定所述体表结构数据对应的体表温度；
确定所述待检测部位关联的，所述体表结构数据和所述体表温度的融合体表数据；
根据所述融合体表数据和所述体内结构数据，确定所述待检测部位的实时体征。
在一实施例中，处理器101可以用于调用存储器102中存储的数据处理程序，并执行以下操作：
将多视角深度相机采集的图像数据进行融合，得到所述采集结果；
根据所述采集结果确定所述体表结构数据的初始点云；
基于预处理后的所述初始点云，确定包含所述待检测部位的表面衣物的候选人体点云；
确定所述待检测部位对应的肤色区域；
获取所述候选人体点云的每一点坐标中，与所述肤色区域关联的所述点坐标；
根据所述肤色区域关联的所述点坐标，确定所述待检测部位中不包含所述表面衣物的目标点云，得到所述体表结构数据。
在一实施例中，处理器101可以用于调用存储器102中存储的数据处理程序，并执行以下操作：
获取所述体表结构数据对应的点云坐标；
根据所述体表结构数据对应的所述点云坐标确定每一红外热成像仪在所述点云坐标下采集的所述体表温度。
在一实施例中，处理器101可以用于调用存储器102中存储的数据处理程序，并执行以下操作：
获取所述体表结构数据关联的结构点云和所述体表温度关联的温度点云；
确定所述温度点云在所述结构点云中对应的位置信息，并根据所述位置信息确定所述结构点云中对应的所述位置信息对应的温度值；
根据所述温度值和所述位置信息确定所述待检测部位的单视角融合体表数据；
获取每一深度相机的采集视角下对应的所述单视角融合体表数据；
确定每一所述单视角融合体表数据对应的坐标矩阵；
确定每一所述坐标矩阵对应的同一基坐标系下的所述坐标矩阵，并根据所述同一基坐标系下的所述坐标矩阵确定所述融合体表数据。
在一实施例中，处理器101可以用于调用存储器102中存储的数据处理程序，并执行以下操作：
获取所述体内结构数据的点云坐标和所述融合体表数据的点云坐标；
确定所述体内结构数据的点云坐标和所述融合体表数据的点云坐标之间对应的刚性变换矩阵；
获取所述刚性变换矩阵中所述体内结构数据对应的点云坐标和所述融合体表数据对应的点云坐标之间的点对；
确定所述点对的匹配误差向量，并将所述匹配误差向量按照预设邻域阈值进行平滑滤波，得到所述刚性变换矩阵对应的非刚性映射；
根据所述非刚性映射，确定所述融合体表数据的校准点云，再次对校准点云与体内点云进行刚性配准微调，并根据所述校准点云确定所述实时体征。
基于上述基于超声扫查技术的数据处理装置的硬件架构，提出本发明体征数据的融合方法的实施例。
参照图2，在第一实施例中，所述体征数据的融合方法包括以下步骤：
步骤S10，根据计算机断层扫描/核磁共振成像的扫描结果，确定待检测部位的体内结构数据，以及根据多视角深度相机的采集结果，确定所述待检测部位关联的体表结构数据；
在本实施中，通过主流的计算机断层扫描/核磁共振成像（即CT/MRI）技术可以获取待检测人体的内部三维结构，并且通过采集系统中的深度相机，获取到所述待检测部位关联的体表结构数据，所述体表结构数据为包括所述待检测人体的待检测部位的外部轮廓，如胸部、背部等部位的大致轮廓，能够反应出待检测人体的当前体位信息。
步骤S20，确定所述体表结构数据对应的体表温度；
在本实施例中，为了获取到待检测部位的温度，由于体内的温度不便于直接获取，因此采用获取体表温度进而间接获取体内温度的方式确定所述待检测部位的温度。通过采集系统中的红外热成像仪，得到所述体表结构数据对应的所述待检测部位中的体表温度。
步骤S30，确定所述待检测部位关联的，所述体表结构数据和所述体表温度的融合体表数据；
在本实施例中，将所述体表结构数据和所述体表温度进行融合，得到包含有待检测部位的融合温度的表面轮廓结构的融合体表数据。
步骤S40，根据所述融合体表数据和所述体内结构数据，确定所述待检测部位的实时体征。
在本实施例中，将融合体表数据和所述体内结构数据进行融合，得到同时包含待检测部位的体内结构、体表结构和温度的实时体征，以根据所述实时体征对所述待检测人体进行治疗诊断。
在本实施例提供的技术方案中，分别获取待检测部位的体内结构数据、体外结构数据和所述体外结构数据对应的体表温度，然后先融合体外结构数据和所述体表温度得到融合体表数据，再将融合体表数据与所述体外结构数据进行融合，最后得到包括体内结构、体表结构和温度的实时体征，以根据所述实时体征对所述待检测人体进行治疗诊断。通过将三种数据进行融合，得到包含内部器官结构的动态的人体体征，实现了对人体的实时监测，提高了检测效率。
参照图3，在第二实施例中，基于第一实施例，所述根据多视角深度相机的采集结果，确定所述待检测部位关联的体表结构数据的步骤包括：
步骤S11，将多视角深度相机采集的图像数据进行融合，得到所述采集结果；
步骤S12，根据所述采集结果确定所述体表结构数据的初始点云；
步骤S13，基于预处理后的所述初始点云，确定包含所述待检测部位的表面衣物的候选人体点云；
步骤S141，确定所述待检测部位对应的肤色区域；
步骤S142，获取所述候选人体点云的每一点坐标中，与所述肤色区域关联的所述点坐标；
步骤S143，根据所述肤色区域关联的所述点坐标，确定所述待检测部位中不包含所述表面衣物的目标点云，得到所述体表结构数据。
可选地，本实施例提供一种体表结构数据的确定方法。在本实施例中，输入的点云比较稠密，全部处理的话会非常耗时，因此对输入点云先进行降采样，降低点云的密度，加快处理速度。直观上来说，点云降采样就是对原始点云每间隔一定的空间距离取一个点代表其邻域内的其它点，这样就可以得到一个更稀疏的点云。理论上人体表面点云应当构成一个平滑连续的曲面，但由于各种原因会存在一些异常点云（如孤立的几个离散点），点云滤波就可以滤除这些异常点云，输出一个更高质量的点云供后续步骤使用。滤波后的点云由于传感器的测量误差，会有不平滑的现象，如水浪般的波纹。因此，进一步对点云进行平滑处理，使点云曲面更加平滑。将剩下的点云包含人体区域点云和非人体区域点云，进一步根据连续性将剩下的点云分割成若干连续的曲面（假设人体区域表面是光滑连续的）。从分割出的若干曲面中筛选出面积最大曲面（也即最显著）作为候选人体区域点云。
此外，由于候选人体区域点云没有考虑如人体肤色、纹理等信息，因此可能会造成误分割（如：将盖在人体表面的衣物也误分割为人体皮肤）。为此，进一步使用肤色分割对候选区域进行分割优化。
具体的，采用深度卷积分割网络对对应的彩色图像进行分割，提取出肤色区域Ri；
对候选人体区域点云
Figure 593335DEST_PATH_IMAGE001
中的任意第j个点
Figure 137580DEST_PATH_IMAGE002
判断其是否在Ri区域内（其中j属于[0,Ni)，Ni为
Figure 803047DEST_PATH_IMAGE001
包含的点云数），如果该点在Ri内则将其加入到优化后的点云
Figure 760639DEST_PATH_IMAGE003
，判断方法如下：
首先，变换
Figure 373017DEST_PATH_IMAGE004
到Ri所在的坐标空间：
Figure 37348DEST_PATH_IMAGE005
其中，Rdc和Tdc是深度相机的参数，预先标定获得；
然后，投影
Figure 342558DEST_PATH_IMAGE006
到Ri所在的图像平面：
Figure 256288DEST_PATH_IMAGE007
其中，
Figure 734674DEST_PATH_IMAGE008
是点
Figure 241792DEST_PATH_IMAGE006
的Z轴坐标、Ki是彩色相机的内参，预先标定获得；
最后，判断点
Figure 921166DEST_PATH_IMAGE009
是否在Ri内部。
在本实施例提供的技术方案中，通过对点云进行预处理并分割，得到包含人体表面衣物的候选人体区域点云，再将所述候选人体区域点云基于待检测人体区域的分割优化，得到只包含待检测人体待检测部位的体表结构数据，避免了将盖在人体表面的衣物也误分割为人体皮肤，提高了获取到的待检测部位相关点云的精确度。
参照图4，在第三实施例中，基于第一实施例，所述步骤S20包括：
步骤S21，获取所述体表结构数据对应的点云坐标；
步骤S22，根据所述体表结构数据对应的所述点云坐标确定每一红外热成像仪在所述点云坐标下采集的所述体表温度。
可选地，本实施例提供一种体表温度的获取方法。在本实施例中，首先获取传感器采集的体表结构数据对应的点云坐标，通过红外热成像仪采集在所述点云坐标下的人体部位的体表温度。
在本实施提供的技术方案中，通过获取体表结构数据对应的点云坐标，再通过红外热成像仪采集在所述点云坐标下的人体部位的体表温度的方式，采集到体表结构数据对应的体表温度。
参照图5，在第四实施例中，基于第一实施例，所述步骤S30包括：
步骤S31，获取所述体表结构数据关联的结构点云和所述体表温度关联的温度点云；
步骤S32，确定所述温度点云在所述结构点云中对应的位置信息，并根据所述位置信息确定所述结构点云中对应的所述位置信息对应的温度值；
步骤S33，根据所述温度值和所述位置信息确定所述待检测部位的单视角融合体表数据；
步骤S341，获取每一深度相机的采集视角下对应的所述单视角融合体表数据；
步骤S342，确定每一所述单视角融合体表数据对应的坐标矩阵；
步骤S343，确定每一所述坐标矩阵对应的同一基坐标系下的所述坐标矩阵，并根据所述同一基坐标系下的所述坐标矩阵确定所述融合体表数据。
可选地，本实施例提供一种将体表结构数据和体表温度融合的方式。在本实施例中，通过将体表结构数据关联的结构点云和体表温度关联的温度点云结合，得到一个单一视角下的包括待检测部位的体表三维结构以及其对应温度的单视角融合体表数据，再将每一视角中获取到的单视角融合体表数据变换至统一坐标系中，得到所有点云组合成的待检测部位的表面温度结构点云，将所述表面温度结构点云优化处理之后得到融合体表数据。
示例性地，首先确定单视角融合体表数据，具体的，输入体表结构数据
Figure 853350DEST_PATH_IMAGE010
和体表温度图像Ti，输出为带温度的表面结构Si。Si和
Figure 807531DEST_PATH_IMAGE003
都是点云集合，差别是Si中的每个点比
Figure 180874DEST_PATH_IMAGE010
中的每个点多出一个温度信息
Figure 624625DEST_PATH_IMAGE011
，因此该步的关键就是计算
Figure 450630DEST_PATH_IMAGE011
。具体步骤如下：
（1）计算
Figure 801977DEST_PATH_IMAGE003
中任意点在Ti中的对应位置：
首先变换
Figure 29827DEST_PATH_IMAGE012
到Ti所在的坐标空间：
Figure 847741DEST_PATH_IMAGE013
其中，Rdt和Tdt是标定出的深度相机和红外温度相机间的空间关系参数；
然后投影
Figure 957780DEST_PATH_IMAGE014
到Ti所在的图像平面：
Figure 253763DEST_PATH_IMAGE015
其中，
Figure 398436DEST_PATH_IMAGE016
是点
Figure 387252DEST_PATH_IMAGE014
的Z轴坐标、Ki T是红外温度相机的内参；
则
Figure 515745DEST_PATH_IMAGE017
即为
Figure 615419DEST_PATH_IMAGE018
在Ti中的对应位置。
（2）计算对应位置
Figure 817862DEST_PATH_IMAGE017
处的温度值：
首先利用图像插值算法（可以是双线性插值法），计算出
Figure 977579DEST_PATH_IMAGE019
处的温度值
Figure 62209DEST_PATH_IMAGE020
；
然后将
Figure 293471DEST_PATH_IMAGE021
和
Figure 362138DEST_PATH_IMAGE018
结合，得到带温度的表面结构信息
Figure 223915DEST_PATH_IMAGE022
。
进一步的，将带有温度的表面结构信息
Figure 999104DEST_PATH_IMAGE022
，据离线标定的变换矩阵（静态多视角）或机械臂反馈的变换矩阵（动态多视角）将其变换到统一的基坐标系下，得到统一坐标系的表面温度结构
Figure 440581DEST_PATH_IMAGE023
，进一步将
Figure 617615DEST_PATH_IMAGE024
中的所有点云组合形成融合后的表面温度结构点云Sd ’。
进一步的，为了降低计算量提高机器的处理速度，需要将融合后的表面温度结构点云Sd ’进行优化处理，在本实施例中，先通过点云降采样手段，以消除Sd ’中冗余的点云，接着再通过点云平滑（可以是滑动最小二乘法平滑算法），以消除多视角拼接带来的点云不重合等噪声问题。
最后，将优化处理后的Sd ’，作为融合体表数据Sd。
在本实施例提供的技术方案中，先将每一视角下的温度和表面结构融合得到融合表面数据，再将每一视角下融合表面数据变换到统一的坐标系中进行融合并处理，得到全覆盖的融合体表数据。
参照图6，在第五实施例中，基于第一实施例，所述步骤S40包括：
步骤S41，获取所述体内结构数据的点云坐标和所述融合体表数据的点云坐标；
步骤S42，确定所述体内结构数据的点云坐标和所述融合体表数据的点云坐标之间对应的刚性变换矩阵；
步骤S431，获取所述刚性变换矩阵中所述体内结构数据对应的点云坐标和所述融合体表数据对应的点云坐标之间的点对；
步骤S432，确定所述点对的匹配误差向量，并将所述匹配误差向量按照预设邻域阈值进行平滑滤波，得到所述刚性变换矩阵对应的非刚性映射；
步骤S433，根据所述非刚性映射，确定所述融合体表数据的校准点云，再次对校准点云与体内点云进行刚性配准微调，并根据所述校准点云确定所述实时体征。
可选地，本实施例提供一种将体内结构数据和融合体表数据融合得到待检测部位的实时体征的方式。在本实施中，使用ICP（Iterative Closest Point，最近点迭代算法）将融合体表数据Sd和通过CT/MRI获取到的体内结构数据Ss进行配准融合，得到刚性变换矩阵RsdTsd。
进一步的，由于Sd和Ss在不同的时间采集，采集时的体位等都不一样，加之人体存在柔性变形，因此将两者假设为刚体仅进行刚性配准会存在误差，因此需要对刚性变换矩阵RsdTsd进行非刚性精配准。
具体的，首先计算在当前RsdTsd下，计算Sd中每个元素到Ss的成对匹配点的匹配误差向量Esd，其中，Esd∈三维误差向量集合R3；然后对Esd中的每个元素，使用其一定邻域范围内（如3cm半径的球形区域）的元素进行平滑滤波（如可以使用高斯平滑）；平滑滤波后的Esd中每个元素更新Sd中对应的元素
Figure 650293DEST_PATH_IMAGE025
；对Ss和更新后的Sd在刚性变换矩阵RsdTsd基础上再次通过ICP微调，得到新的RsdTsd ‘；最后对RsdTsd ‘误差判断，当RsdTsd ‘小于一个预设阈值时（如1mm），则将RsdTsd ‘最终的实时体征数据，否则，继续迭代对刚性变换矩阵RsdTsd进行非刚性精配准。
在本实施例提供的技术方案中，通过将体内结构数据和融合体表数据融合，并将融合后所得的数据进行非刚性精配准，得到最终包含体表结构、体内结构以及对应部位的温度的融合实时体征，实现了对人体的实时监测，提高了检测效率。
此外，本发明还提供一种数据融合设备，所述数据融合设备包括：传感器、存储器、处理器及存储在所述存储器上并可在所述处理器上运行的数据处理程序，所述传感器包括深度相机和红外热成像仪，所述数据处理程序被所述处理器执行时实现如上任一项所述的体征数据的融合方法的步骤。
此外，本发明还提供一种计算机可读存储介质，所述计算机可读存储介质上存储有数据处理程序，所述数据处理程序被处理器执行时实现如上任一项所述的体征数据的融合方法的步骤。
需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者装置不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者装置所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括该要素的过程、方法、物品或者装置中还存在另外的相同要素。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在如上所述的一个计算机可读存储介质(如ROM/RAM、磁碟、光盘)中，包括若干指令用以使得一台终端设备(可以是手机，计算机，服务器，空调器，或者网络设备等)执行本发明各个实施例所述的方法。
以上仅为本发明的优选实施例，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围内。

Claims (6)

1.一种体征数据的融合方法，其特征在于，所述方法包括：
根据计算机断层扫描/核磁共振成像的扫描结果，确定待检测部位的体内结构数据，以及根据多视角深度相机的采集结果，确定所述待检测部位关联的体表结构数据；
其中，所述根据多视角深度相机的采集结果，确定所述待检测部位关联的体表结构数据的步骤包括：
将多视角深度相机采集的图像数据进行融合，得到所述采集结果；
根据所述采集结果确定所述体表结构数据的初始点云；
基于预处理后的所述初始点云，确定包含所述待检测部位的表面衣物的候选人体点云；
确定所述待检测部位对应的肤色区域，所述肤色区域由深度卷积分割网络对所述候选人体点云进行分割得到；
获取所述候选人体点云的每一点坐标中与所述肤色区域关联的所述点坐标，所述肤色区域关联的所述点坐标为所述肤色区域内的点云；
根据所述肤色区域关联的所述点坐标，确定所述待检测部位中不包含所述表面衣物的目标点云，得到所述体表结构数据；
确定所述体表结构数据对应的体表温度；
确定所述待检测部位关联的、 所述体表结构数据和所述体表温度的融合体表数据；
获取所述体内结构数据的点云坐标和所述融合体表数据的点云坐标；
通过最近点迭代算法，确定所述体内结构数据的点云坐标和所述融合体表数据的点云坐标之间对应的刚性变换矩阵；
获取所述刚性变换矩阵中所述体内结构数据对应的点云坐标和所述融合体表数据对应的点云坐标之间的点对；
确定所述点对的匹配误差向量，并将所述匹配误差向量按照预设邻域阈值进行平滑滤波，得到所述刚性变换矩阵对应的非刚性映射；
根据所述非刚性映射，确定所述融合体表数据的校准点云，再次对校准点云与体内点云进行刚性配准微调，并根据所述校准点云确定实时体征。
2.如权利要求1所述的体征数据的融合方法，其特征在于，所述确定所述体表结构数据对应的体表温度的步骤包括：
获取所述体表结构数据对应的点云坐标；
根据所述体表结构数据对应的所述点云坐标确定每一红外热成像仪在所述点云坐标下采集的所述体表温度。
3.如权利要求1所述的体征数据的融合方法，其特征在于，所述确定所述待检测部位关联的，所述体表结构数据和所述体表温度的融合体表数据的步骤包括：
获取所述体表结构数据关联的结构点云和所述体表温度关联的温度点云；
确定所述温度点云在所述结构点云中对应的位置信息，并根据所述位置信息确定所述结构点云中对应的所述位置信息对应的温度值；
根据所述温度值和所述位置信息确定所述待检测部位的单视角融合体表数据；
根据所述单视角融合体表数据确定所述融合体表数据。
4.如权利要求3所述的体征数据的融合方法，其特征在于，所述根据所述单视角融合体表数据确定所述融合体表数据的步骤包括：
获取每一深度相机的采集视角下对应的所述单视角融合体表数据；
确定每一所述单视角融合体表数据对应的坐标矩阵；
确定每一所述坐标矩阵对应的同一基坐标系下的所述坐标矩阵，并根据所述同一基坐标系下的所述坐标矩阵确定所述融合体表数据。
5.一种数据融合设备，其特征在于，所述数据融合设备包括：传感器、存储器、处理器及存储在所述存储器上并可在所述处理器上运行的数据处理程序，所述传感器包括深度相机和红外热成像仪，所述数据处理程序被所述处理器执行时实现如权利要求1-4中任一项所述的体征数据的融合方法的步骤。
6.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有数据处理程序，所述数据处理程序被处理器执行时实现如权利要求1-4中任一项所述的体征数据的融合方法的步骤。
CN202210671417.5A 2022-06-15 2022-06-15 体征数据的融合方法、数据融合设备以及可读存储介质 Active CN114757951B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210671417.5A CN114757951B (zh) 2022-06-15 2022-06-15 体征数据的融合方法、数据融合设备以及可读存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210671417.5A CN114757951B (zh) 2022-06-15 2022-06-15 体征数据的融合方法、数据融合设备以及可读存储介质

Publications (2)

Publication Number Publication Date
CN114757951A CN114757951A (zh) 2022-07-15
CN114757951B true CN114757951B (zh) 2022-11-01

Family

ID=82337165

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210671417.5A Active CN114757951B (zh) 2022-06-15 2022-06-15 体征数据的融合方法、数据融合设备以及可读存储介质

Country Status (1)

Country Link
CN (1) CN114757951B (zh)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101959456A (zh) * 2007-12-31 2011-01-26 真实成像有限公司 用于成像数据的配准的系统和方法
CN104318551A (zh) * 2014-10-15 2015-01-28 北京理工大学 基于凸包特征检索的高斯混合模型点云配准方法
WO2018122793A1 (en) * 2016-12-29 2018-07-05 Universita' Degli Studi Di Padova Method and device for a three-dimensional mapping of a patient's skin for supporting the melanoma diagnosis

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2006003658A2 (en) * 2004-07-07 2006-01-12 Real Imaging Ltd. 3d thermal breast cancer detector
DE102008047644B4 (de) * 2008-09-17 2015-09-10 Siemens Aktiengesellschaft Verfahren zur Registrierung zweier Bildgebungsmodalitäten
US20180098727A1 (en) * 2015-12-30 2018-04-12 James G. Spahn System, apparatus and method for assessing wound and tissue conditions
EP3622479B1 (en) * 2018-07-17 2021-09-29 Brainlab AG Partitioning a medical image
CN109493359A (zh) * 2018-11-21 2019-03-19 中山大学 一种基于深度网络的皮肤损伤图片分割方法
CN111508016B (zh) * 2020-04-14 2023-11-17 南京泓图人工智能技术研究院有限公司 一种基于图像处理的白癜风区域色度值和面积计算的方法
US11931166B2 (en) * 2020-07-07 2024-03-19 Applied Research Associates, Inc. System and method of determining an accurate enhanced Lund and Browder chart and total body surface area burn score
CN113205568B (zh) * 2021-04-30 2024-03-19 北京达佳互联信息技术有限公司 图像处理方法、装置、电子设备及存储介质

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101959456A (zh) * 2007-12-31 2011-01-26 真实成像有限公司 用于成像数据的配准的系统和方法
CN104318551A (zh) * 2014-10-15 2015-01-28 北京理工大学 基于凸包特征检索的高斯混合模型点云配准方法
WO2018122793A1 (en) * 2016-12-29 2018-07-05 Universita' Degli Studi Di Padova Method and device for a three-dimensional mapping of a patient's skin for supporting the melanoma diagnosis

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
《一种人体体表三维温度场的融合重建方法》;杨炎龙 等;《红外技术》;20220131;第44卷(第1期);第34-40页 *

Also Published As

Publication number Publication date
CN114757951A (zh) 2022-07-15

Similar Documents

Publication Publication Date Title
CN107909622B (zh) 模型生成方法、医学成像的扫描规划方法及医学成像系统
CN109272510B (zh) 一种三维医学图像中管状结构的分割方法
Moshfeghi Elastic matching of multimodality medical images
CN107886508B (zh) 差分减影方法和医学图像处理方法及系统
CN110599528A (zh) 一种基于神经网络的无监督三维医学图像配准方法及系统
CN114119549B (zh) 一种多模态医学图像三维点云配准优化方法
US11672505B2 (en) Correcting probe induced deformation in an ultrasound fusing imaging system
WO2008024352A2 (en) Methods and systems for registration of images
CN106373089B (zh) B型与弹性双模态超声跟腱图像拼接方法
CN111080573A (zh) 肋骨图像检测方法、计算机设备和存储介质
JP5194138B2 (ja) 画像診断支援装置およびその動作方法、並びに画像診断支援プログラム
CN116580068B (zh) 一种基于点云配准的多模态医学配准方法
CN115830016B (zh) 医学图像配准模型训练方法及设备
JP5296981B2 (ja) アフィン変換を用いたモダリティ内医療体積画像の自動位置合わせ
CN113610752A (zh) 乳腺图像配准方法、计算机设备和存储介质
CN115861656A (zh) 用于自动处理医学图像以输出警报的方法、设备和系统
CN107292351B (zh) 一种结节的匹配方法及装置
CN109087357A (zh) 扫描定位方法、装置、计算机设备及计算机可读存储介质
CN112102327B (zh) 一种图像处理方法、装置及计算机可读存储介质
CN111402221B (zh) 一种图像处理方法、装置及电子设备
JP2022111705A (ja) 学習装置、画像処理装置、医用画像撮像装置、学習方法およびプログラム
CN114757951B (zh) 体征数据的融合方法、数据融合设备以及可读存储介质
JP2022111704A (ja) 画像処理装置、医用画像撮像装置、画像処理方法、およびプログラム
Perez-Gonzalez et al. Deep learning spatial compounding from multiple fetal head ultrasound acquisitions
CN116128942A (zh) 基于深度学习的三维多模块医学影像的配准方法和系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant