CN117084714A - 基于双目相机的测温方法、装置、计算机设备及存储介质 - Google Patents
基于双目相机的测温方法、装置、计算机设备及存储介质 Download PDFInfo
- Publication number
- CN117084714A CN117084714A CN202311284958.3A CN202311284958A CN117084714A CN 117084714 A CN117084714 A CN 117084714A CN 202311284958 A CN202311284958 A CN 202311284958A CN 117084714 A CN117084714 A CN 117084714A
- Authority
- CN
- China
- Prior art keywords
- radio frequency
- frequency data
- reference frame
- target frame
- target
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 79
- 239000003550 marker Substances 0.000 claims abstract description 59
- 230000036760 body temperature Effects 0.000 claims abstract description 45
- 238000009529 body temperature measurement Methods 0.000 claims abstract description 35
- 239000000523 sample Substances 0.000 claims abstract description 19
- 238000006073 displacement reaction Methods 0.000 claims description 30
- 230000008859 change Effects 0.000 claims description 29
- 230000015654 memory Effects 0.000 claims description 27
- 238000002604 ultrasonography Methods 0.000 claims description 23
- 238000012545 processing Methods 0.000 claims description 18
- 238000010606 normalization Methods 0.000 claims description 17
- 208000031636 Body Temperature Changes Diseases 0.000 claims description 13
- 238000004861 thermometry Methods 0.000 claims description 11
- 238000007781 pre-processing Methods 0.000 claims description 8
- 238000004364 calculation method Methods 0.000 abstract description 15
- 238000005259 measurement Methods 0.000 abstract description 13
- 230000029058 respiratory gaseous exchange Effects 0.000 description 25
- 230000008569 process Effects 0.000 description 10
- 238000012285 ultrasound imaging Methods 0.000 description 9
- 238000004458 analytical method Methods 0.000 description 8
- 238000001914 filtration Methods 0.000 description 8
- 238000002695 general anesthesia Methods 0.000 description 8
- 230000002427 irreversible effect Effects 0.000 description 8
- 230000006870 function Effects 0.000 description 6
- 238000001514 detection method Methods 0.000 description 5
- 238000010586 diagram Methods 0.000 description 4
- 230000000694 effects Effects 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 4
- 238000001727 in vivo Methods 0.000 description 4
- 230000003595 spectral effect Effects 0.000 description 4
- 238000001228 spectrum Methods 0.000 description 4
- 238000004891 communication Methods 0.000 description 3
- 210000000056 organ Anatomy 0.000 description 3
- 241000084490 Esenbeckia delta Species 0.000 description 2
- 230000035565 breathing frequency Effects 0.000 description 2
- 238000000605 extraction Methods 0.000 description 2
- 238000001125 extrusion Methods 0.000 description 2
- 238000009499 grossing Methods 0.000 description 2
- 238000010438 heat treatment Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000008447 perception Effects 0.000 description 2
- 230000001902 propagating effect Effects 0.000 description 2
- 230000011218 segmentation Effects 0.000 description 2
- 239000007787 solid Substances 0.000 description 2
- 239000013598 vector Substances 0.000 description 2
- 238000010295 mobile communication Methods 0.000 description 1
- 230000000877 morphologic effect Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 210000001525 retina Anatomy 0.000 description 1
- 238000001356 surgical procedure Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Classifications
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
- A61B8/52—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves
Landscapes
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Engineering & Computer Science (AREA)
- Biomedical Technology (AREA)
- Medical Informatics (AREA)
- Pathology (AREA)
- Radiology & Medical Imaging (AREA)
- Biophysics (AREA)
- Physics & Mathematics (AREA)
- Heart & Thoracic Surgery (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Molecular Biology (AREA)
- Surgery (AREA)
- Animal Behavior & Ethology (AREA)
- General Health & Medical Sciences (AREA)
- Public Health (AREA)
- Veterinary Medicine (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Ultra Sonic Daignosis Equipment (AREA)
Abstract
本发明涉及基于双目相机的测温技术领域，公开了基于双目相机的测温方法、装置、计算机设备及存储介质，该方法包括：确定目标对象的初始体温，并获取双目相机采集的反光标记球的参考帧空间坐标集合及超声探头采集的参考帧射频数据；获取双目相机采集的反光标记球的实时空间坐标集合；基于实时空间坐标集合和参考帧空间坐标集合，确定目标帧，获取目标帧对应的目标帧射频数据；基于初始体温、参考帧射频数据和目标帧射频数据，得到目标对象的目标帧体温。通过实施本发明，利用双目相机的高精度特点，提升了温度的测量精度，通过利用标记球定位，减少了针对图片差异的计算，降低算法的时间复杂性，提高了温度的测量效率。
Description
技术领域
本发明涉及医用超声射频信号处理技术领域，具体涉及基于双目相机的测温方法、装置、计算机设备及存储介质。
背景技术
超声体内测温是一种利用超声波技术来测量体内温度的方法，这种方法通过将超声波传播到人体组织中，并根据声波的传播速度和反射特性来推断组织的温度变化。诊断超声探头发送声波，由声波传感器获取回波的状态，并以射频(Radio Frequency，RF)数据的形式存储，再通过通用的信号处理算法即可转换为超声图像。在组织处的温度改变，会影响生物组织的部分物理学/声学性能，影响声波的传播，这种差异最终也会显示在图像上，可用于温度估计。然而，这种方法在推广至临床时存在一个挑战，活体的生物将无法避免的出现运动、呼吸等现象，这对于超声图像的影响是远大于温度改变在超声图像上的体现的。呼吸是非刚性形变，会对人体内的器官产生移动以及挤压，在超声图像上的改变程度更大，不仅存在二维的移位，也会出现三维的形变。
目前行业内的解决方案是挑选出与治疗开始时生物状态高度相似的图像进行计算，以此消除其他运动带来的影响。例如利用呼吸机接管生物的呼吸，使得生物进行规律的呼吸，再根据呼吸频率抽取RF数据，再锁定感兴趣区域(region of interest，ROI)进行后续计算。这种方案需要对生物进行全身麻醉处理，长时间的全身麻醉会对生物的身体产生不可逆的损伤。若不进行呼吸机控制呼吸，则无法保证生物以稳定的频率进行呼吸，会产生较大的误差。同时，还存在一些门控技术，通过计算超声图片与图片之间的差异来进行关键帧的挑选，然而这种方案需要对大尺幅图像进行相似度计算，耗时大，难以实现实时性，同样无法推广至临床使用。
发明内容
有鉴于此，本发明提供了一种基于双目相机的测温方法、装置、计算机设备及存储介质，以解决相关技术中利用呼吸机接管生物的呼吸需要对生物进行全身麻醉处理，对生物的身体产生不可逆的损伤，以及通过计算超声图片与图片之间的差异来进行关键帧的挑选需要对大尺幅图像进行相似度计算，耗时大，难以实现实时性，无法推广至临床使用的问题。
第一方面，本发明提供了一种基于双目相机的测温方法，应用于基于双目相机的测温系统，所述系统包括：用于采集图像的双目相机、用于固定在目标对象上的反光标记球及用于采集射频数据的超声探头，所述方法包括：确定目标对象的初始体温，并获取所述双目相机采集的所述反光标记球的参考帧空间坐标集合及所述超声探头采集的参考帧射频数据；获取所述双目相机采集的所述反光标记球的实时空间坐标集合，所述实时空间坐标集合为当前时刻各个反光标记球的实时空间坐标；基于所述实时空间坐标集合和所述参考帧空间坐标集合，确定目标帧，获取所述目标帧对应的目标帧射频数据；基于所述初始体温、所述参考帧射频数据和所述目标帧射频数据，得到所述目标对象的目标帧体温。
本实施例提供的基于双目相机的测温方法，首先，通过确定目标对象的初始体温，并获取所述双目相机采集的所述反光标记球的参考帧空间坐标集合及所述超声探头采集的参考帧射频数据，获取所述双目相机采集的所述反光标记球的实时空间坐标集合，利用双目相机的高精度特点，提升了温度的测量精度。通过利用标记球定位，减少了针对图片差异的计算，能够降低算法的时间复杂性，更好的做到实时性，提高了温度的测量效率。其次，通过基于所述实时空间坐标集合和所述参考帧空间坐标集合，确定目标帧，获取所述目标帧对应的目标帧射频数据，克服了相关技术中确定目标帧时难以消除运动影响的问题，最后，本实施例提供的基于双目相机的测温方法不需要对生物进行全身麻醉，同样不需要呼吸机接管呼吸，避免了对生物体造成不可逆的损伤的问题。
在一种可选的实施方式中，所述参考帧为在所述目标对象呼气终止姿态或吸气终止姿态时采集的图像。
本实施例提供的基于双目相机的测温方法，通过确定所述目标对象呼气终止姿态或吸气终止姿态时采集的图像为参考帧图像，提高了呼吸检测的精度，进而提高了温度的测量精度。
在一种可选的实施方式中，所述基于所述实时空间坐标集合和所述参考帧空间坐标集合，确定目标帧，包括：基于所述实时空间坐标集合和所述参考帧空间坐标集合，计算各个反光标记球的位移，得到实时位移集合；若当前时刻，所述实时位移集合中各个反光标记球的位移均小于预设阈值，确定所述当前时刻对应的图像为所述目标帧。
本实施例提供的基于双目相机的测温方法，通过计算各个反光标记球的位移，得到实时位移集合，基于实时位移集合，确定所述当前时刻对应的图像为所述目标帧，不需要对生物进行全身麻醉，同样不需要呼吸机接管呼吸，避免了对生物体造成不可逆的损伤的问题。
在一种可选的实施方式中，所述基于所述初始体温、所述参考帧射频数据和所述目标帧射频数据，得到所述目标对象的目标帧体温，包括：基于所述参考帧射频数据和所述目标帧射频数据，计算得到体温改变量；基于所述初始体温和所述体温改变量，计算得到所述目标对象的目标帧体温。
在一种可选的实施方式中，所述基于所述参考帧射频数据和所述目标帧射频数据，计算得到体温改变量，包括：基于所述参考帧射频数据，得到参考帧超声图像；基于所述目标帧射频数据，得到目标帧超声图像；基于所述参考帧超声图像和所述目标帧超声图像，得到图像梯度；基于所述图像梯度得到所述温度改变量。
在一种可选的实施方式中，所述基于所述参考帧射频数据，得到参考帧超声图像，包括：对所述参考帧射频数据进行数据预处理，将所述参考帧射频数据分割为多个时间窗口；对所述多个时间窗口内的数据提取信号包络；对所述信号包络进行归一化处理；基于归一化处理后的参考帧射频数据得到所述参考帧超声图像。
本实施例提供的基于双目相机的测温方法，将所述参考帧射频数据分割为多个时间窗口；对所述多个时间窗口内的数据提取信号包络；对所述信号包络进行归一化处理，信号包络反映了原始信号的幅度变化情况，能够更好地描述信号的特征，并用于后续的图像重建、分析和处理等应用，进一步提高了温度的测量精度。
在一种可选的实施方式中，所述基于所述目标帧射频数据，得到目标帧超声图像，包括：对所述目标帧射频数据进行数据预处理，将所述目标帧射频数据分割为多个时间窗口；对所述多个时间窗口内的数据提取信号包络；对所述信号包络进行归一化处理；基于归一化处理后的目标帧射频数据得到所述目标帧超声图像。
本实施例提供的基于双目相机的测温方法，将所述参考帧射频数据分割为多个时间窗口；对所述多个时间窗口内的数据提取信号包络；对所述信号包络进行归一化处理，信号包络反映了原始信号的幅度变化情况，能够更好地描述信号的特征，并用于后续的图像重建、分析和处理等应用，进一步提高了温度的测量精度。
第二方面，本发明提供了一种基于双目相机的测温装置，所述装置包括：
第一获取模块，用于确定目标对象的初始体温，并获取所述双目相机采集的所述反光标记球的参考帧空间坐标集合及所述超声探头采集的参考帧射频数据；第二获取模块，用于获取所述双目相机采集的所述反光标记球的实时空间坐标集合，所述实时空间坐标集合为当前时刻各个反光标记球的实时空间坐标；确定模块，用于基于所述实时空间坐标集合和所述参考帧空间坐标集合，确定目标帧，获取所述目标帧对应的目标帧射频数据；测温模块，用于基于所述初始体温、所述参考帧射频数据和所述目标帧射频数据，得到所述目标对象的目标帧体温。
第三方面，本发明提供了一种计算机设备，包括：存储器和处理器，存储器和处理器之间互相通信连接，存储器中存储有计算机指令，处理器通过执行计算机指令，从而执行上述第一方面或其对应的任一实施方式的基于双目相机的测温方法。
第四方面，本发明提供了一种计算机可读存储介质，该计算机可读存储介质上存储有计算机指令，计算机指令用于使计算机执行上述第一方面或其对应的任一实施方式的基于双目相机的测温方法。
附图说明
为了更清楚地说明本发明具体实施方式或现有技术中的技术方案，下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施方式，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是根据本发明实施例的基于双目相机的测温方法的流程示意图；
图2是根据本发明实施例的另一基于双目相机的测温方法的流程示意图；
图3是根据本发明实施例的应用于基于双目相机的测温系统示意图；
图4是根据本发明实施例的基于双目相机的测温装置的结构框图；
图5是本发明实施例的计算机设备的硬件结构示意图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
超声体内测温是一种利用超声波技术来测量体内温度的方法，这种方法通过将超声波传播到人体组织中，并根据声波的传播速度和反射特性来推断组织的温度变化。诊断超声探头发送声波，由声波传感器获取回波的状态，并以射频(Radio Frequency，RF)数据的形式存储，再通过通用的信号处理算法即可转换为超声图像。在组织处的温度改变，会影响生物组织的部分物理学/声学性能，影响声波的传播，这种差异最终也会显示在图像上，可用于温度估计。然而，这种方法在推广至临床时存在一个挑战，活体的生物将无法避免的出现运动、呼吸等现象，这对于超声图像的影响是远大于温度改变在超声图像上的体现的。呼吸是非刚性形变，会对人体内的器官产生移动以及挤压，在超声图像上的改变程度更大，不仅存在二维的移位，也会出现三维的形变。
目前行业内的解决方案是挑选出与治疗开始时生物状态高度相似的图像进行计算，以此消除其他运动带来的影响。例如利用呼吸机接管生物的呼吸，使得生物进行规律的呼吸，再根据呼吸频率抽取RF数据，再锁定感兴趣区域(region of interest，ROI)进行后续计算。这种方案需要对生物进行全身麻醉处理，长时间的全身麻醉会对生物的身体产生不可逆的损伤。若不进行呼吸机控制呼吸，则无法保证生物以稳定的频率进行呼吸，会产生较大的误差。同时，还存在一些门控技术，通过计算超声图片与图片之间的差异来进行关键帧的挑选，然而这种方案需要对大尺幅图像进行相似度计算，耗时大，难以实现实时性，同样无法推广至临床使用。
本实施例提供的基于双目相机的测温方法，首先，通过确定目标对象的初始体温，并获取双目相机采集的反光标记球的参考帧空间坐标集合及超声探头采集的参考帧射频数据，获取双目相机采集的反光标记球的实时空间坐标集合，利用双目相机的高精度特点，提升了温度的测量精度。通过利用标记球定位，减少了针对图片差异的计算，能够降低算法的时间复杂性，更好的做到实时性，提高了温度的测量效率。其次，通过基于实时空间坐标集合和参考帧空间坐标集合，确定目标帧，获取目标帧对应的目标帧射频数据，克服了相关技术中确定目标帧时难以消除运动影响的问题，最后，本实施例提供的基于双目相机的测温方法不需要对生物进行全身麻醉，同样不需要呼吸机接管呼吸，避免了对生物体造成不可逆的损伤的问题。
根据本发明实施例，提供了一种基于双目相机的测温方法实施例，需要说明的是，在附图的流程图示出的步骤可以在诸如一组计算机可执行指令的计算机系统中执行，并且，虽然在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤。
在本实施例中提供了一种基于双目相机的测温方法，应用于基于双目相机的测温系统，系统包括：用于采集图像的双目相机、用于固定在目标对象上的反光标记球及用于采集射频数据的超声探头，图1是根据本发明实施例的基于双目相机的测温方法的流程图，如图1所示，该流程包括如下步骤：
步骤S101，确定目标对象的初始体温，并获取双目相机采集的反光标记球的参考帧空间坐标集合及超声探头采集的参考帧射频数据。
具体地，双目相机是一种具有两个摄像头的相机设备，用于模拟人类两只眼睛的视觉系统。它通过两个摄像头同时获取不同角度或位置的图像，并通过计算机算法将这些图像融合在一起，从而实现深度感知和三维重建。双目相机在计算机视觉领域有广泛的应用，可以用于立体视觉、物体测距、三维重建、手势识别、目标跟踪等方面。通过比较两个摄像头拍摄到的图像中物体的位移、形态差异等信息，可以精确计算出物体的距离、深度信息。双目相机的工作原理是利用左右两个摄像头的视差效应来实现深度感知。视差效应是指当我们把一个物体从左眼移到右眼观察时，物体在视网膜上的像素位置发生变化。通过分析这种位移，可以计算出物体距离相机的距离。双目相机还可以利用两个摄像头的基线长度和视场角来确定三维物体的位置和姿态。通过准确测量两个摄像头之间的距离，结合摄像头的内外参数，可以进行立体匹配和三角测量，得到物体在三维空间中的坐标。将反光标记球固定在患者身上，反光标记球需要在双目相机内清晰可见，将诊断超声探头固定于目标对象身上实时获取超声射频数据。目标对象的初始体温为手术开始前的体温，可以通过温度计等方式测量得到。参考帧为目标对象呼吸过程中的某一姿态时采集的图像，记录这一姿态下超声探头采集的参考帧射频数据。这里，目标对象可以是人或者其他生物体。
步骤S102，获取双目相机采集的反光标记球的实时空间坐标集合，实时空间坐标集合为当前时刻各个反光标记球的实时空间坐标。
具体地，在手术过程中，双目相机采集反光标记球的实时坐标，在某一时刻，双目相机返回当前时刻各个反光标记球的实时空间坐标，整合形成实时空间坐标集合。
步骤S103，基于实时空间坐标集合和参考帧空间坐标集合，确定目标帧，获取目标帧对应的目标帧射频数据。
具体地，获取实时空间坐标集合中各个反光标记球的坐标，获取参考帧空间坐标集合中各个反光标记球的坐标，确定各个反光标记球的实时位移，人体体表的状态类似时可以推断体内的器官组织状态同样类似，因此可以通过计算体表反光标记球的位置差异推断测量位置超声图像的差异程度。若某一时刻各个反光标记球的实时位移都小于预设阈值，可以推测测量位置超声图像的差异程度和参考帧一致，当前时刻采集的图像为目标帧。
步骤S104，基于初始体温、参考帧射频数据和目标帧射频数据，得到目标对象的目标帧体温。
具体地，基于参考帧射频数据和目标帧射频数据可以计算出温度差值。超声热应变测温的原理主要基于组织热膨胀和声速随温度的变化，当组织温度发生变化时，热膨胀和声速改变会使得回波时移改变，这一改变的轴向梯度与温度变化量存在线性关系，这一关系可以用于温度估计，具体的计算过程如下：
超声成像当中，轴向深度z处的散射子引起的时延是一个关于声速和温度的函数：
其中T0(ξ)是轴向位置ξ处的温度，c[ξ,T0(ξ)]是轴向位置ξ处温度为T0(ξ)时的声速。此时，声路径上两散射点间的轴向距离l随温度变化的关系可以描述为：
c[ξ,T(ξ)]＝c[ξ,T0(ξ)]{1+β1(ξ)δT(ξ)+Θ[δ2T(ξ)]} (0.2)
其中为深度为ξ处组织的线性热膨胀系数，为二阶无穷小量。同时，声速同样为温度的函数，表示为：
c[ξ,T(ξ)]＝c[ξ,T0(ξ)]{1+β1(ξ)δT(ξ)+Θ[δ2T(ξ)]} (0.3)
其中为深度ξ处声速随温度变化的线性系数。将上述函数联立，在轴向深度为z及温度T对应的回波时延为：
当组织温度从T0变化为T时，z处回波的时移为：
δt(z)＝tf(z)-ti(z) (0.5)
将方程(1.1)及方程(1.4)代入方程(1.5)可得：
对z微分，并忽略掉无穷小项，整理可得：
整理可得：
上述公式为温度改变量关于时移梯度的线性方程。可以利用实验结果，并结合最小二乘法解得所用组织的常量(α1(z)-β1(z))及k，获取真实关系，并在临床应用时直接调用求解温度。
本实施例提供的基于双目相机的测温方法，首先，通过确定目标对象的初始体温，并获取双目相机采集的反光标记球的参考帧空间坐标集合及超声探头采集的参考帧射频数据，获取双目相机采集的反光标记球的实时空间坐标集合，利用双目相机的高精度特点，提升了温度的测量精度。通过利用标记球定位，减少了针对图片差异的计算，能够降低算法的时间复杂性，更好的做到实时性，提高了温度的测量效率。其次，通过基于实时空间坐标集合和参考帧空间坐标集合，确定目标帧，获取目标帧对应的目标帧射频数据，克服了相关技术中确定目标帧时难以消除运动影响的问题，最后，本实施例提供的基于双目相机的测温方法不需要对生物进行全身麻醉，同样不需要呼吸机接管呼吸，避免了对生物体造成不可逆的损伤的问题。
在本实施例中提供了一种基于双目相机的测温方法，应用于基于双目相机的测温系统，系统包括：用于采集图像的双目相机、用于固定在目标对象上的反光标记球及用于采集射频数据的超声探头，图2是根据本发明实施例的基于双目相机的测温方法的流程图，如图2所示，该流程包括如下步骤：
步骤S201，确定目标对象的初始体温，并获取双目相机采集的反光标记球的参考帧空间坐标集合及超声探头采集的参考帧射频数据。
具体地，参考帧为在目标对象呼气终止姿态或吸气终止姿态时采集的图像。应用于基于双目相机的测温系统中还包括手术过程中的加热装置，目标对象、双目相机、反光标记球和手术过程中的加热装置的相对位置如图3所示，其中，反光标记球位于双目相机的探测范围A1和A2之间。
本实施例提供的基于双目相机的测温方法，通过确定目标对象呼气终止姿态或吸气终止姿态时采集的图像为参考帧图像，提高了呼吸检测的精度，进而提高了温度的测量精度。
步骤S202，获取双目相机采集的反光标记球的实时空间坐标集合，实时空间坐标集合为当前时刻各个反光标记球的实时空间坐标。详细请参见图1所示实施例的步骤S102，在此不再赘述。
步骤S203，基于实时空间坐标集合和参考帧空间坐标集合，确定目标帧，获取目标帧对应的目标帧射频数据。
具体地，步骤203包括：
步骤S2031，基于实时空间坐标集合和参考帧空间坐标集合，计算各个反光标记球的位移，得到实时位移集合。
具体地，通过对应的坐标集合中的点，确定每个反光标记球在参考帧中的初始位置。然后，将实时空间坐标集合中的点与参考帧空间坐标集合中的点进行匹配，找到对应的反光标记球。通过比较反光标记球在实时空间中的坐标和参考帧空间中的坐标，可以计算出每个反光标记球的位移向量。将所有反光标记球的位移向量组成一个实时位移集合，包含了每个反光标记球的位移信息。
步骤S2032，若当前时刻，实时位移集合中各个反光标记球的位移均小于预设阈值，确定当前时刻对应的图像为目标帧。
具体地，预设阈值是根据手术过程中的精度要求来设置的，在一些实施例的可选方式中，若手术要求的精度是1cm，预设阈值的最优选择为0.5cm至0.8cm之间。
步骤S204，基于初始体温、参考帧射频数据和目标帧射频数据，得到目标对象的目标帧体温。
具体地，步骤204包括：
步骤2041，基于参考帧射频数据和目标帧射频数据，计算得到体温改变量。
具体地，步骤2041包括：
步骤a1，基于参考帧射频数据，得到参考帧超声图像。
具体地，步骤a1包括：
步骤b1，对参考帧射频数据进行数据预处理，将参考帧射频数据分割为多个时间窗口。
具体地，对于参考帧射频数据，根据信号变化速度和分辨率设定时间窗口，并在选定的时间窗口内，将连续的频谱数据两两相减，得到频谱差分。对于连续的频谱数据点f1,f2,...,fn，在时间窗口内的频谱差分为Δf1＝f2-f1,Δf2＝f3-f2,...,Δfn-1＝fn-fn-1。时移梯度可以看作是频率差分随时间的变化率。通过计算频率差分的差分来得到时移梯度。即计算Δ(Δfi)/Δt，其中Δt是时间窗口的时间间隔。
步骤b2，对多个时间窗口内的数据提取信号包络。
具体地，对于多个时间窗口内的数据提取信号包络的方法，可以使用包络检测技术。对每个时间窗口内的射频数据进行带通滤波：首先，根据所需的信号频率范围选择合适的带通滤波器，将射频数据进行滤波处理。滤波的目的是去除不需要的高频和低频部分，以便更好地捕捉信号的包络。计算每个时间窗口内数据的幅度：通过计算滤波后的信号的幅值，可以获取信号包络。幅度可以使用绝对值方法或者平方后开方的方法得到。具体操作可以使用幅度检测器或者方形律判断。为了降低信号的噪声，对提取出的信号包络进行平滑处理。这可以通过一些平滑滤波方法实现，例如移动平均、加权平均或者滑动窗口平均等。
步骤b3，对信号包络进行归一化处理。
具体地，归一化处理可以使信号包络在一个统一的范围内，便于比较、处理和分析。下面是对信号包络进行归一化处理的步骤：首先，计算信号包络的最大值(Max)和最小值(Min)，可以通过遍历整个信号包络来找到最大值和最小值。接下来，对信号包络进行归一化处理，可以采用线性归一化方法或者标准归一化方法。具体方法如下：线性归一化方法：将信号包络的每个数值减去最小值，然后除以最大值和最小值之间的差值，得到的结果范围将被映射到[0,1]之间。归一化后的信号包络＝(信号包络-Min)/(Max-Min)。标准归一化方法：将信号包络的每个数值减去均值，然后除以标准差，得到的结果会在均值附近波动，范围没有特定的上下限，但保留了信号的原始分布。归一化后的信号包络＝(信号包络-均值)/标准差。执行归一化处理后，信号包络的数值范围将固定在特定的区间内，供后续分析、处理和比较使用。
步骤b4，基于归一化处理后的参考帧射频数据得到参考帧超声图像。
具体地，将经过处理的射频数据转换为超声图像，可以通过B型超声成像(B-mode)、M型超声成像(M-mode)等。其中，B-mode超声成像是最常用的一种方法，它采用亮度模式显示，将超声信号的幅度映射到图像上。M-mode超声成像则用于显示运动状态下的结构。
本实施例提供的基于双目相机的测温方法，将参考帧射频数据分割为多个时间窗口；对多个时间窗口内的数据提取信号包络；对信号包络进行归一化处理，信号包络反映了原始信号的幅度变化情况，能够更好地描述信号的特征，并用于后续的图像重建、分析和处理等应用，进一步提高了温度的测量精度。
步骤a2，基于目标帧射频数据，得到目标帧超声图像。
具体地，步骤a2包括：
步骤c1，对目标帧射频数据进行数据预处理，将目标帧射频数据分割为多个时间窗口。
具体地，对于目标帧射频数据，根据信号变化速度和分辨率设定时间窗口，并在选定的时间窗口内，将连续的频谱数据两两相减，得到频谱差分。对于连续的频谱数据点f1,f2,...,fn，在时间窗口内的频谱差分为Δf1＝f2-f1,Δf2＝f3-f2,...,Δfn-1＝fn-fn-1。时移梯度可以看作是频率差分随时间的变化率。通过计算频率差分的差分来得到时移梯度。即计算Δ(Δfi)/Δt，其中Δt是时间窗口的时间间隔。
步骤c2，对多个时间窗口内的数据提取信号包络。
具体地，对于多个时间窗口内的数据提取信号包络的方法，可以使用包络检测技术。对每个时间窗口内的射频数据进行带通滤波：首先，根据所需的信号频率范围选择合适的带通滤波器，将射频数据进行滤波处理。滤波的目的是去除不需要的高频和低频部分，以便更好地捕捉信号的包络。计算每个时间窗口内数据的幅度：通过计算滤波后的信号的幅值，可以获取信号包络。幅度可以使用绝对值方法或者平方后开方的方法得到。具体操作可以使用幅度检测器或者方形律判断。为了降低信号的噪声，对提取出的信号包络进行平滑处理。这可以通过一些平滑滤波方法实现，例如移动平均、加权平均或者滑动窗口平均等。
步骤c3，对信号包络进行归一化处理。
具体地，归一化处理可以使信号包络在一个统一的范围内，便于比较、处理和分析。下面是对信号包络进行归一化处理的步骤：首先，计算信号包络的最大值(Max)和最小值(Min)，可以通过遍历整个信号包络来找到最大值和最小值。接下来，对信号包络进行归一化处理，可以采用线性归一化方法或者标准归一化方法。具体方法如下：线性归一化方法：将信号包络的每个数值减去最小值，然后除以最大值和最小值之间的差值，得到的结果范围将被映射到[0,1]之间。归一化后的信号包络＝(信号包络-Min)/(Max-Min)。标准归一化方法：将信号包络的每个数值减去均值，然后除以标准差，得到的结果会在均值附近波动，范围没有特定的上下限，但保留了信号的原始分布。归一化后的信号包络＝(信号包络-均值)/标准差。执行归一化处理后，信号包络的数值范围将固定在特定的区间内，供后续分析、处理和比较使用。
步骤c4，基于归一化处理后的目标帧射频数据得到目标帧超声图像。
将经过处理的射频数据转换为超声图像，可以通过B型超声成像(B-mode)、M型超声成像(M-mode)等。其中，B-mode超声成像是最常用的一种方法，它采用亮度模式显示，将超声信号的幅度映射到图像上。M-mode超声成像则用于显示运动状态下的结构。
本实施例提供的基于双目相机的测温方法，将参考帧射频数据分割为多个时间窗口；对多个时间窗口内的数据提取信号包络；对信号包络进行归一化处理，信号包络反映了原始信号的幅度变化情况，能够更好地描述信号的特征，并用于后续的图像重建、分析和处理等应用，进一步提高了温度的测量精度。
步骤a3，基于参考帧超声图像和目标帧超声图像，得到图像梯度。
具体地，将参考帧和目标帧进行图像配准，确保两者对应的结构位置相对应。可以使用配准算法，如基于特征点匹配的方法或基于互相关的方法，来对图像进行配准。在配准后的图像上，计算每个像素点的差异值。这可以通过简单地对应位置上的像素做减法操作来实现。差异值反映了参考帧和目标帧之间的图像变化情况。根据差异图像，可以得到图像的梯度，使用梯度算子进行计算，例如Sobel算子、Prewitt算子或Roberts算子等。这些算子可以在水平和垂直方向上计算每个像素的梯度值。
步骤a4，基于图像梯度得到温度改变量。
具体地，基于图像梯度得到温度改变量的过程如步骤104。
步骤2042，基于初始体温和体温改变量，计算得到目标对象的目标帧体温。
具体地，在手术过程中，初始体温+体温改变量＝目标对象的目标帧体温。
在本实施例中还提供了一种基于双目相机的测温装置，该装置用于实现上述实施例及优选实施方式，已经进行过说明的不再赘述。如以下所使用的，术语“模块”可以实现预定功能的软件和/或硬件的组合。尽管以下实施例所描述的装置较佳地以软件来实现，但是硬件，或者软件和硬件的组合的实现也是可能并被构想的。
本实施例提供一种基于双目相机的测温装置，应用于基于双目相机的测温系统，系统包括：用于采集图像的双目相机、用于固定在目标对象上的反光标记球及用于采集射频数据的超声探头，如图4所示，包括：
第一获取模块401，用于确定目标对象的初始体温，并获取双目相机采集的反光标记球的参考帧空间坐标集合及超声探头采集的参考帧射频数据。
第二获取模块402，用于获取双目相机采集的反光标记球的实时空间坐标集合，实时空间坐标集合为当前时刻各个反光标记球的实时空间坐标。
确定模块403，用于基于实时空间坐标集合和参考帧空间坐标集合，确定目标帧，获取目标帧对应的目标帧射频数据。
测温模块404，用于基于初始体温、参考帧射频数据和目标帧射频数据，得到目标对象的目标帧体温。
在一些可选的实施方式中，参考帧为在目标对象呼气终止姿态或吸气终止姿态时采集的图像。
在一些可选的实施方式中，确定模块403包括：
位移计算子模块，用于基于实时空间坐标集合和参考帧空间坐标集合，计算各个反光标记球的位移，得到实时位移集合。
目标帧子模块，用于若当前时刻，实时位移集合中各个反光标记球的位移均小于预设阈值，确定当前时刻对应的图像为目标帧。
本实施例提供的基于双目相机的测温系统，首先，通过确定目标对象的初始体温，并获取双目相机采集的反光标记球的参考帧空间坐标集合及超声探头采集的参考帧射频数据，获取双目相机采集的反光标记球的实时空间坐标集合，利用双目相机的高精度特点，提升了温度的测量精度。通过利用标记球定位，减少了针对图片差异的计算，能够降低算法的时间复杂性，更好的做到实时性，提高了温度的测量效率。其次，通过基于实时空间坐标集合和参考帧空间坐标集合，确定目标帧，获取目标帧对应的目标帧射频数据，克服了相关技术中确定目标帧时难以消除运动影响的问题，最后，本实施例提供的基于双目相机的测温方法不需要对生物进行全身麻醉，同样不需要呼吸机接管呼吸，避免了对生物体造成不可逆的损伤的问题。
在一些可选的实施方式中，测温模块404包括：
体温改变量计算子模块，用于基于参考帧射频数据和目标帧射频数据，计算得到体温改变量；
目标帧体温计算子模块，用于基于初始体温和体温改变量，计算得到目标对象的目标帧体温。
在一些可选的实施方式中，体温改变量计算子模块包括：
参考帧超声图像获取单元，用于基于参考帧射频数据，得到参考帧超声图像。
目标帧超声图像获取单元，用于基于目标帧射频数据，得到目标帧超声图像。
图像梯度获取单元，用于基于参考帧超声图像和目标帧超声图像，得到图像梯度。
温度改变量获取单元，用于基于图像梯度得到温度改变量。
在一些可选的实施方式中，参考帧超声图像获取单元包括：
参考帧射频数据分割子单元，用于对参考帧射频数据进行数据预处理，将参考帧射频数据分割为多个时间窗口。
第一信号包络提取子单元，用于对多个时间窗口内的数据提取信号包络。
第一归一化处理子单元，用于对信号包络进行归一化处理。
参考帧超声图像获取子单元，用于基于归一化处理后的参考帧射频数据得到参考帧超声图像。
在一些可选的实施方式中，目标帧超声图像获取单元包括：
目标帧射频数据分割子单元，用于对目标帧射频数据进行数据预处理，将目标帧射频数据分割为多个时间窗口。
第二信号包络提取子单元，用于对多个时间窗口内的数据提取信号包络。
第二归一化处理子单元，用于对信号包络进行归一化处理。
目标帧超声图像获取子单元，用于基于归一化处理后的目标帧射频数据得到目标帧超声图像。
上述各个模块和单元的更进一步的功能描述与上述对应实施例相同，在此不再赘述。
本实施例中的基于双目相机的测温装置是以功能单元的形式来呈现，这里的单元是指ASIC(Application Specific Integrated Circuit，专用集成电路)电路，执行一个或多个软件或固定程序的处理器和存储器，和/或其他可以提供上述功能的器件。
本发明实施例还提供一种计算机设备，具有上述图4所示的基于双目相机的测温装置。
请参阅图5，图5是本发明可选实施例提供的一种计算机设备的结构示意图，如图5所示，该计算机设备包括：一个或多个处理器10、存储器20，以及用于连接各部件的接口，包括高速接口和低速接口。各个部件利用不同的总线互相通信连接，并且可以被安装在公共主板上或者根据需要以其它方式安装。处理器可以对在计算机设备内执行的指令进行处理，包括存储在存储器中或者存储器上以在外部输入/输出装置(诸如，耦合至接口的显示设备)上显示GUI的图形信息的指令。在一些可选的实施方式中，若需要，可以将多个处理器和/或多条总线与多个存储器和多个存储器一起使用。同样，可以连接多个计算机设备，各个设备提供部分必要的操作(例如，作为服务器阵列、一组刀片式服务器、或者多处理器系统)。图5中以一个处理器10为例。
处理器10可以是中央处理器，网络处理器或其组合。其中，处理器10还可以进一步包括硬件芯片。上述硬件芯片可以是专用集成电路，可编程逻辑器件或其组合。上述可编程逻辑器件可以是复杂可编程逻辑器件，现场可编程逻辑门阵列，通用阵列逻辑或其任意组合。
其中，存储器20存储有可由至少一个处理器10执行的指令，以使至少一个处理器10执行实现上述实施例示出的方法。
存储器20可以包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需要的应用程序；存储数据区可存储根据计算机设备的使用所创建的数据等。此外，存储器20可以包括高速随机存取存储器，还可以包括非瞬时存储器，例如至少一个磁盘存储器件、闪存器件、或其他非瞬时固态存储器件。在一些可选的实施方式中，存储器20可选包括相对于处理器10远程设置的存储器，这些远程存储器可以通过网络连接至该计算机设备。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
存储器20可以包括易失性存储器，例如，随机存取存储器；存储器也可以包括非易失性存储器，例如，快闪存储器，硬盘或固态硬盘；存储器20还可以包括上述种类的存储器的组合。
该计算机设备还包括通信接口30，用于该计算机设备与其他设备或通信网络通信。
本发明实施例还提供了一种计算机可读存储介质，上述根据本发明实施例的方法可在硬件、固件中实现，或者被实现为可记录在存储介质，或者被实现通过网络下载的原始存储在远程存储介质或非暂时机器可读存储介质中并将被存储在本地存储介质中的计算机代码，从而在此描述的方法可被存储在使用通用计算机、专用处理器或者可编程或专用硬件的存储介质上的这样的软件处理。其中，存储介质可为磁碟、光盘、只读存储记忆体、随机存储记忆体、快闪存储器、硬盘或固态硬盘等；进一步地，存储介质还可以包括上述种类的存储器的组合。可以理解，计算机、处理器、微处理器控制器或可编程硬件包括可存储或接收软件或计算机代码的存储组件，当软件或计算机代码被计算机、处理器或硬件访问且执行时，实现上述实施例示出的方法。
虽然结合附图描述了本发明的实施例，但是本领域技术人员可以在不脱离本发明的精神和范围的情况下做出各种修改和变型，这样的修改和变型均落入由所附权利要求所限定的范围之内。
Claims (10)
1.一种基于双目相机的测温方法，其特征在于，应用于基于双目相机的测温系统，所述系统包括：用于采集图像的双目相机、用于固定在目标对象上的反光标记球及用于采集射频数据的超声探头，所述方法包括：
确定目标对象的初始体温，并获取所述双目相机采集的所述反光标记球的参考帧空间坐标集合及所述超声探头采集的参考帧射频数据；
获取所述双目相机采集的所述反光标记球的实时空间坐标集合，所述实时空间坐标集合为当前时刻各个反光标记球的实时空间坐标；
基于所述实时空间坐标集合和所述参考帧空间坐标集合，确定目标帧，获取所述目标帧对应的目标帧射频数据；
基于所述初始体温、所述参考帧射频数据和所述目标帧射频数据，得到所述目标对象的目标帧体温。
2.根据权利要求1所述的方法，其特征在于，所述参考帧为在所述目标对象呼气终止姿态或吸气终止姿态时采集的图像。
3.根据权利要求1所述的方法，其特征在于，所述基于所述实时空间坐标集合和所述参考帧空间坐标集合，确定目标帧，包括：
基于所述实时空间坐标集合和所述参考帧空间坐标集合，计算各个反光标记球的位移，得到实时位移集合；
若当前时刻，所述实时位移集合中各个反光标记球的位移均小于预设阈值，确定所述当前时刻对应的图像为所述目标帧。
4.根据权利要求1所述的方法，其特征在于，所述基于所述初始体温、所述参考帧射频数据和所述目标帧射频数据，得到所述目标对象的目标帧体温，包括：
基于所述参考帧射频数据和所述目标帧射频数据，计算得到体温改变量；
基于所述初始体温和所述体温改变量，计算得到所述目标对象的目标帧体温。
5.根据权利要求4所述的方法，其特征在于，所述基于所述参考帧射频数据和所述目标帧射频数据，计算得到体温改变量，包括：
基于所述参考帧射频数据，得到参考帧超声图像；
基于所述目标帧射频数据，得到目标帧超声图像；
基于所述参考帧超声图像和所述目标帧超声图像，得到图像梯度；
基于所述图像梯度得到所述温度改变量。
6.根据权利要求5所述的方法，其特征在于，所述基于所述参考帧射频数据，得到参考帧超声图像，包括：
对所述参考帧射频数据进行数据预处理，将所述参考帧射频数据分割为多个时间窗口；
对所述多个时间窗口内的数据提取信号包络；
对所述信号包络进行归一化处理；
基于归一化处理后的参考帧射频数据得到所述参考帧超声图像。
7.根据权利要求5所述的方法，其特征在于，所述基于所述目标帧射频数据，得到目标帧超声图像，包括：
对所述目标帧射频数据进行数据预处理，将所述目标帧射频数据分割为多个时间窗口；
对所述多个时间窗口内的数据提取信号包络；
对所述信号包络进行归一化处理；
基于归一化处理后的目标帧射频数据得到所述目标帧超声图像。
8.一种基于双目相机的测温装置，其特征在于，所述装置包括：
第一获取模块，用于确定目标对象的初始体温，并获取所述双目相机采集的所述反光标记球的参考帧空间坐标集合及所述超声探头采集的参考帧射频数据；
第二获取模块，用于获取所述双目相机采集的所述反光标记球的实时空间坐标集合，所述实时空间坐标集合为当前时刻各个反光标记球的实时空间坐标；
确定模块，用于基于所述实时空间坐标集合和所述参考帧空间坐标集合，确定目标帧，获取所述目标帧对应的目标帧射频数据；
测温模块，用于基于所述初始体温、所述参考帧射频数据和所述目标帧射频数据，得到所述目标对象的目标帧体温。
9.一种计算机设备，其特征在于，包括：
存储器和处理器，所述存储器和所述处理器之间互相通信连接，所述存储器中存储有计算机指令，所述处理器通过执行所述计算机指令，从而执行权利要求1至7中任一项所述的基于双目相机的测温方法。
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有计算机指令，所述计算机指令用于使计算机执行权利要求1至7中任一项所述的基于双目相机的测温方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311284958.3A CN117084714A (zh) | 2023-09-28 | 2023-09-28 | 基于双目相机的测温方法、装置、计算机设备及存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311284958.3A CN117084714A (zh) | 2023-09-28 | 2023-09-28 | 基于双目相机的测温方法、装置、计算机设备及存储介质 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN117084714A true CN117084714A (zh) | 2023-11-21 |
Family
ID=88782008
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202311284958.3A Pending CN117084714A (zh) | 2023-09-28 | 2023-09-28 | 基于双目相机的测温方法、装置、计算机设备及存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN117084714A (zh) |
-
2023
- 2023-09-28 CN CN202311284958.3A patent/CN117084714A/zh active Pending
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111432733B (zh) | 用于确定超声探头的运动的设备和方法 | |
| KR102013866B1 (ko) | 실제수술영상을 이용한 카메라 위치 산출 방법 및 장치 | |
| US11551361B2 (en) | Method and system of computer-aided detection using multiple images from different views of a region of interest to improve detection accuracy | |
| US20200222027A1 (en) | Device and method for automatic pneumothorax detection | |
| US9087397B2 (en) | Method and apparatus for generating an image of an organ | |
| CN107307848B (zh) | 一种基于高速大范围扫描光学微造影成像的人脸识别及皮肤检测系统 | |
| Suhling et al. | Myocardial motion analysis from B-mode echocardiograms | |
| JP5579527B2 (ja) | ２次元超音波映像に対応する２次元ｃｔ映像を提供するシステムおよび方法 | |
| US9691150B2 (en) | Image processing apparatus, image processing method and storage medium | |
| US20130266184A1 (en) | Methods for Automatic Segmentation and Temporal Tracking | |
| US9311709B2 (en) | Image processing apparatus and image processing method | |
| JP6436442B2 (ja) | 光音響装置および画像処理方法 | |
| CN112386278A (zh) | 用于相机辅助超声扫描设置和控制的方法和系统 | |
| Audette et al. | Level-set surface segmentation and fast cortical range image tracking for computing intrasurgical deformations | |
| KR101116925B1 (ko) | 초음파 영상을 정렬시키는 초음파 시스템 및 방법 | |
| Wen et al. | An adaptive kernel regression method for 3D ultrasound reconstruction using speckle prior and parallel GPU implementation | |
| JP7215053B2 (ja) | 超音波画像評価装置、超音波画像評価方法および超音波画像評価プログラム | |
| CN109345632B (zh) | 一种获取图像的方法、相关装置及可读存储介质 | |
| CN117084714A (zh) | 基于双目相机的测温方法、装置、计算机设备及存储介质 | |
| WO2019140694A1 (en) | Measuring apparatus, computer implemented method, program and one or more computer readable storage mediums | |
| EP4210577B1 (en) | Method for providing a source of secondary medical imaging | |
| JPWO2020138136A1 (ja) | 画像処理装置、画像処理方法及びプログラム | |
| JP6461257B2 (ja) | 画像処理装置およびその方法 | |
| KR101024857B1 (ko) | 3차원 초음파 영상에 컬러 모델링 처리를 수행하는 초음파 시스템 및 방법 | |
| Wang et al. | Ultrasound tracking using probesight: camera pose estimation relative to external anatomy by inverse rendering of a prior high-resolution 3d surface map |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |