CN116844697B - 图像多维可视化方法、装置、介质和计算设备 - Google Patents

图像多维可视化方法、装置、介质和计算设备 Download PDF

Info

Publication number
CN116844697B
CN116844697B CN202310175100.7A CN202310175100A CN116844697B CN 116844697 B CN116844697 B CN 116844697B CN 202310175100 A CN202310175100 A CN 202310175100A CN 116844697 B CN116844697 B CN 116844697B
Authority
CN
China
Prior art keywords
target
fitting
frame image
target frame
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202310175100.7A
Other languages
English (en)
Other versions
CN116844697A (zh
Inventor
王晓艳
王瑞
田力
邓敏子
羊苑媛
陈雄
乔元风
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Xuanwei Beijing Biotechnology Co ltd
Third Xiangya Hospital of Central South University
Original Assignee
Xuanwei Beijing Biotechnology Co ltd
Third Xiangya Hospital of Central South University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Xuanwei Beijing Biotechnology Co ltd, Third Xiangya Hospital of Central South University filed Critical Xuanwei Beijing Biotechnology Co ltd
Priority to CN202310175100.7A priority Critical patent/CN116844697B/zh
Publication of CN116844697A publication Critical patent/CN116844697A/zh
Application granted granted Critical
Publication of CN116844697B publication Critical patent/CN116844697B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/20—ICT specially adapted for the handling or processing of medical images for handling medical images, e.g. DICOM, HL7 or PACS
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/20—Drawing from basic elements, e.g. lines or circles
    • G06T11/203—Drawing of straight lines or curves
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10132—Ultrasound image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30061—Lung
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30096—Tumor; Lesion

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Radiology & Medical Imaging (AREA)
  • Epidemiology (AREA)
  • General Health & Medical Sciences (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Primary Health Care (AREA)
  • Public Health (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Image Analysis (AREA)
  • Measuring And Recording Apparatus For Diagnosis (AREA)

Abstract

本发明的实施方式提供了一种图像多维可视化方法、装置、介质和计算设备。该方法包括：获取各个目标帧图像的目标特征信息；其中，所述目标特征信息中至少包括目标对象在所述目标帧图像中的位置坐标、所述目标对象的对象类型以及所述目标帧图像的采集时间；根据所述对象类型和所述采集时间得到多个目标特征信息集合；对多个所述目标特征信息集合分别进行拟合，得到多条拟合曲线；其中，所述目标特征信息集合与所述拟合曲线一一对应；将各个拟合曲线分别映射至预设坐标系中，得到多维信息可视化图像。本发明可以应用至EUS的检查过程中，可以基于得到的器官的采集顺序对EUS的检查过程是否有遗漏或错误进行准确的评估，从而对检查质量进行有效的控制。

Description

图像多维可视化方法、装置、介质和计算设备
技术领域
本发明的实施方式涉及人工智能领域，更具体地，本发明的实施方式涉及一种图像多维可视化方法、装置、介质和计算设备。
背景技术
本部分旨在为权利要求书中陈述的本发明的实施方式提供背景或上下文。此处的描述不因为包括在本部分中就承认是现有技术。
超声内镜(EUS)是将内镜和超声相结合的消化道检查技术，将微型高频超声探头安置在内镜顶端，当内镜插入体腔后，在内镜直接观察消化道黏膜病变的同时，可利用内镜下的超声行实时扫描，可以获得胃肠道的层次结构的组织学特征及周围邻近脏器的超声图像，是消化内镜领域最有前景的新技术，目前其应用已经渗透到多系统疾病的诊治。纵膈淋巴结的EUS扫查对于肺癌的TNM(Tumor Node Metastasis，原发灶-淋巴结-远处转移)分期有重要作用，EUS是指南推荐的术前分期的初始程序。
然而，EUS的检查过程属于实时动态影像，检查质量完全取决于操作者的水平，但EUS的操作手法复杂、黑白图像识别困难，检查医生需要同时具备相应的解剖学结构知识和大量临床操作的经验，学习曲线长、效率低，因此极容易造成漏诊、误诊，能够完整掌握超声扫查技能的医生数量非常有限。如果能对操作质量进行控制，可以在很大程度上提高检查质量、减少漏诊率。本发明拟构建一种图像多维可视化方法，能够对检查质量进行控制。
发明内容
在本上下文中，本发明的实施方式期望提供一种图像多维可视化方法、装置、介质和计算设备。
在本发明实施方式的第一方面中，提供了一种图像多维可视化方法，包括：
获取各个目标帧图像的目标特征信息；其中，所述目标特征信息中至少包括目标对象在所述目标帧图像中的位置坐标、所述目标对象的对象类型以及所述目标帧图像的采集时间；
根据所述对象类型和所述采集时间，得到多个目标特征信息集合；其中，同一目标特征信息集合包括的目标特征信息的对象类型相同，且目标特征信息根据采集时间由小到大排序，任意两个相邻目标特征信息的采集时间之间的时间间隔相同；
对多个所述目标特征信息集合分别进行拟合，得到多条拟合曲线；其中，所述目标特征信息集合与所述拟合曲线一一对应；
将各个拟合曲线分别映射至预设坐标系中，得到多维信息可视化图像。
在本实施方式的一个实施例中，所述得到多维信息可视化图像之后，所述方法还包括：
根据所述多维信息可视化图像，确定操作流程信息；其中，所述操作流程信息包括各个目标对象的观测顺序；
将所述操作流程信息与预设操作指示信息进行对比，得到评估结果；其中，所述预设操作指示信息包括多个操作站点的标准观测顺序；每个操作站点中均包括预设的待观测对象的标准观测顺序。
在本实施方式的一个实施例中，所述目标帧图像基于操作视频获取，多个所述目标帧图像的采集时间间隔相同；
所述获取各个目标帧图像的目标特征信息，包括：
将所述目标帧图像在所述操作视频中对应的时间确定为采集时间；
获取所述目标帧图像中包括的目标对象以及目标对象的对象类型；
确定所述目标对象在所述目标帧图像中的位置坐标；其中，所述位置坐标包括横坐标和纵坐标；
将所述位置坐标、所述对象类型以及所述采集时间确定为所述目标帧图像的目标特征信息。
在本实施方式的一个实施例中，所述得到多个目标特征信息集合之后，所述方法还包括：
获取显示设备的分辨率；
确定与所述分辨率对应的最大拟合度参数；
将所述最大拟合度参数，以及小于所述最大拟合度参数的自然数，作为预设的拟合度参数；
所述对多个所述目标特征信息集合分别进行拟合，得到多条拟合曲线，包括：
基于所述预设的拟合度参数，对多个所述目标特征信息集合分别进行拟合，得到多条拟合曲线。
在本实施方式的一个实施例中，基于所述预设的拟合度参数，对一个所述目标特征信息集合进行拟合，得到所述目标特征信息集合的拟合曲线，包括：
根据所述预设的拟合度参数确定变量参数；
基于所述变量参数，对所述目标特征信息集合中的位置坐标进行拟合，得到位置坐标集合；
根据所述位置坐标集合确定所述目标特征信息集合的拟合曲线。
在本实施方式的一个实施例中，所述目标特征信息中还包括所述目标帧图像的序号；
基于所述变量参数，对所述目标特征信息集合中的位置坐标进行拟合，得到位置坐标集合，包括：
根据所述变量参数、图像总数量以及所述目标帧图像的序号，确定所述目标帧图像对应的曲线变量；
根据所述曲线变量和所述目标特征信息集合中的位置坐标，得到所述目标特征信息集合对应的待累加坐标；其中，所述待累加坐标与所述目标特征集合中包含的目标帧图像一一对应；
根据所述待累加坐标确定拟合曲线坐标；其中，第一帧目标帧图像的拟合曲线坐标为所述第一帧目标帧图像对应的待累加坐标；当前目标帧图像的拟合曲线坐标为前一目标帧图像的拟合曲线坐标与所述当前目标帧图像的待累加坐标之和；
基于所述拟合曲线坐标得到位置坐标集合。
在本实施方式的一个实施例中，所述将各个拟合曲线分别映射至预设坐标系中，得到多维信息可视化图像之后，所述方法还包括：
确定所述对象类型对应的颜色；其中，不同的对象类型对应不同的颜色；
基于所述对象类型对应的颜色，绘制拟合曲线，以输出所述多维信息可视化图像。
在本实施方式的一个实施例中，所述目标对象为目标器官；
所述预设操作指示信息包括：
右心站点→隆突下间隙站点→降主动脉及奇静脉站点→肺主动脉窗站点→颈部血管站点；
所述右心站点包括：右心房→上腔静脉→下腔静脉；
所述隆突下间隙站点包括：左心房→肺动脉；
所述降主动脉及奇静脉站点：包括降主动脉→奇静脉；
所述肺主动脉窗站点包括：主动脉弓→肺动脉；
所述颈部血管站点包括：左锁骨下动脉→左颈总动脉→左颈内静脉。
在本发明实施方式的第二方面中，提供了一种
图像多维可视化装置，包括：
获取单元，用于获取各个目标帧图像的目标特征信息；其中，所述目标特征信息中至少包括目标对象在所述目标帧图像中的位置坐标、所述目标对象的对象类型以及所述目标帧图像的采集时间；
分类单元，用于根据所述对象类型和所述采集时间，得到多个目标特征信息集合；其中，同一目标特征信息集合包括的目标特征信息的对象类型相同，且目标特征信息根据采集时间由小到大排序，任意两个相邻目标特征信息的采集时间之间的时间间隔相同；
拟合单元，用于对多个所述目标特征信息集合分别进行拟合，得到多条拟合曲线；其中，所述目标特征信息集合与所述拟合曲线一一对应；
映射单元，用于将各个拟合曲线分别映射至预设坐标系中，得到多维信息可视化图像。
在本发明实施方式的第三方面中，提供了一种计算机可读存储介质，所述存储介质存储有计算机程序，所述计算机程序在被处理器执行时能够实现第一方面中任一项所述的方法。
在本发明实施方式的第四方面中，提供了一种计算设备，所述计算设备包括：处理器；用于存储所述处理器可执行指令的存储器；所述处理器，用于执行第一方面中任一项所述的方法。
根据本发明实施方式的图像多维可视化方法、装置、介质和计算设备，能够获取每帧目标帧图像中的目标特征信息；并且可以基于目标特征信息中包括的目标对象的对象类型和采集时间，得到多个目标特征信息集合，以使连续采集的相同对象类型的目标特征信息设置于同一集合中；进而可以对各个目标特征信息集合分别进行拟合，得到各个目标特征信息集合分别对应的拟合曲线；将该拟合曲线分别映射至预设坐标系中，可以得到多维可视化图像，该多维可视化图像可以表示不同的目标对象采集到的时间以及不同的目标对象在目标帧图像中的位置，从而可以基于多维可视化图像直观的看到目标对象的采集顺序。当图像多维可视化方法应用至EUS的检查过程中时，可以基于得到的多维可视化图像直观的看到EUS检查的器官的采集顺序，从而可以基于得到的器官的采集顺序对EUS的检查过程是否有遗漏或错误进行准确的评估，进而对检查质量进行有效的控制。
附图说明
通过参考附图阅读下文的详细描述，本发明示例性实施方式的上述以及其他目的、特征和优点将变得易于理解。在附图中，以示例性而非限制性的方式示出了本发明的若干实施方式，其中：
图1为本发明一实施例提供的一种图像多维可视化方法的流程示意图；
图2为本发明一实施例提供的一种拟合曲线的拟合方法的流程示意图；
图3为本发明一实施例提供的一种多维信息可视化图像的输出方法的流程示意图；
图4为本发明一实施例提供的一种评估结果的确定方法的流程示意图；
图5为本发明一实施例提供的一种目标特征信息的识别结果示意图；
图6为本发明一实施例提供的一种多维信息可视化图像的示意图；
图7为本发明一实施例提供的另一种多维信息可视化图像的示意图；
图8为本发明一实施例提供的一种图像多维可视化装置的结构示意图；
图9为本发明一实施例提供的一种介质的结构示意图；
图10为本发明一实施例提供的一种计算设备的结构示意图。
在附图中，相同或对应的标号表示相同或对应的部分。
具体实施方式
下面将参考若干示例性实施方式来描述本发明的原理和精神。应当理解，给出这些实施方式仅仅是为了使本领域技术人员能够更好地理解进而实现本发明，而并非以任何方式限制本发明的范围。相反，提供这些实施方式是为了使本公开更加透彻和完整，并且能够将本公开的范围完整地传达给本领域的技术人员。
本领域技术人员知道，本发明的实施方式可以实现为一种系统、装置、设备、方法或计算机程序产品。因此，本公开可以具体实现为以下形式，即：完全的硬件、完全的软件(包括固件、驻留软件、微代码等)，或者硬件和软件结合的形式。
根据本发明的实施方式，提出了一种图像多维可视化方法、装置、介质和计算设备。
需要说明的是，附图中的任何元素数量均用于示例而非限制，以及任何命名都仅用于区分，而不具有任何限制含义。
下面参考本发明的若干代表性实施方式，详细阐释本发明的原理和精神。
示例性方法
下面参考图1，图1为本发明一实施例提供的图像多维可视化方法的流程示意图。需要注意的是，本发明的实施方式可以应用于适用的任何场景。
图1所示的本发明一实施例提供的图像多维可视化方法的流程，包括：
步骤S101，获取各个目标帧图像的目标特征信息。
本发明实施例中，所述目标帧图像可以基于操作视频获取，多个所述目标帧图像的采集时间间隔相同；目标帧图像可以包括操作视频中的每一帧图像，也可以为从操作视频中选取的部分帧图像。当从操作视频中选取部分帧图像作为目标帧图像时，可以基于固定的采集时间间隔获取。
举例来说，操作视频中可以存在N帧图像，操作视频的时长可以为T，则操作视频中相邻的两帧图像之间的时间间隔t可以为t＝T/N，固定的采集时间间隔可以设置为2t、3t、…、nt，每隔固定的采集时间间隔可以从操作视频中获取到多帧目标帧图像。当操作视频为超声内镜进行纵膈检查过程采集到的视频时，超声内镜的移动速度通常较慢，操作视频采集到的图像内容变化的速度也较慢，因此可以从操作视频中选取部分目标帧图像进行目标识别，无需对每一帧图像进行目标识别，最终得到的目标特征信息也是较为全面的。
本发明实施例中，所述目标特征信息中至少包括目标对象在所述目标帧图像中的位置坐标、所述目标对象的对象类型以及所述目标帧图像的采集时间；位置坐标可以表示目标对象的中心点在目标帧图像中的位置；目标对象的对象类型可以为植物类型、动物类型、静态物体类型等，对此，本发明实施例不做限定。
举例来说，当目标对象为纵膈内的不同器官时，目标对象的对象类型可以为：主动脉弓(Aortic Arch，AOA)类型、左颈总动脉(Left Common Carotid Artery，LCC)类型、左颈内静脉(Left Jugular Vein，LJV)类型、左锁骨下动脉(Left Subclavian Artery，LSC)类型、奇静脉(Azygos Vein，AZ)类型、降主动脉(Descending Aorta，DA)类型、肺动脉(Pulmonary Artery，PA)类型、左心房(Left Atrium，LA)类型以及腹主动脉(AbdominalAorta，AA)类型等。
作为一种可选的实施方式，步骤S101获取各个目标帧图像的目标特征信息的方式具体可以为：
将所述目标帧图像在所述操作视频中对应的时间确定为采集时间；
获取所述目标帧图像中包括的目标对象以及目标对象的对象类型；
确定所述目标对象在所述目标帧图像中的位置坐标；其中，所述位置坐标包括横坐标和纵坐标；
将所述位置坐标、所述对象类型以及所述采集时间确定为所述目标帧图像的目标特征信息。
其中，实施这种实施方式，可以从操作视频中获取目标帧图像，并且可以从目标帧图像中识别出目标对象以及目标对象的对象类型；还可以确定出目标对象在目标帧图像中的位置坐标，并且可以将目标帧图像在操作视频中的时间确定为采集时间，从而得到包含位置坐标、对象类型以及采集时间的目标帧图像的目标特征信息，提升了目标特征信息的全面性。
本发明实施例中，如果一帧目标帧图像中识别到了多个可以作为目标对象的候选对象，可以确定出每个候选对象的可信度，可信度可以表示识别到的候选对象的准确性，即可信度越高，识别的候选对象的准确率越高；可信度越低，则识别的候选对象的准确率也就越低。因此，可以从多个候选对象中将可信度最高的候选对象确定为从该帧目标帧图像中识别到的目标对象。
请一并参阅图5，图5为本发明一实施例提供的一种目标特征信息的识别结果示意图；可见，从当前的目标帧图像中识别到了两个候选对象：主动脉弓(AOA)和左颈总动脉(LCC)，在该目标帧图像中识别到的AOA和LCC都通过矩形包围框进行标注，且AOA的可信度为0.91，LCC的可信度为0.56，因此，可以将AOA作为从当前的目标帧图像中识别得到的目标对象。
以及，可以将目标帧图像中的时间2022年3月24日10时16分53秒作为目标对象AOA的采集时间；以及可以将主动脉弓类型作为目标对象AOA的对象类型；以及可以将目标对象AOA的矩形包围框的中心点的横坐标和纵坐标作为目标对象AOA的位置坐标；此时，可以将目标对象AOA的采集时间、对象类型以及位置坐标共同确定为当前的目标帧图像的目标特征信息。
步骤S102，根据所述对象类型和所述采集时间，得到多个目标特征信息集合。
本发明实施例中，同一目标特征信息集合包括的目标特征信息的对象类型相同，且目标特征信息根据采集时间由小到大排序，任意两个相邻目标特征信息的采集时间之间的时间间隔相同；且同一目标特征信息集合中的任意两个目标特征信息的采集时间之间，并未采集到其他对象类型的目标对象。
请一并参阅图6，图6为本发明一实施例提供的一种多维信息可视化图像的示意图，其中：
图6中包括一个空间直角坐标系，该空间直角坐标系的x轴和z轴分别表示位置坐标中的横坐标和纵坐标，与x轴和z轴垂直的为y轴，y轴可以表示采集时间。空间直角坐标系中的多个点分别表示识别到的多个目标对象在空间直角坐标系中的位置。不同的目标对象为不同的器官，不同的器官通过不同的颜色表示。图6中通过不同大小的圆形标记表示不同的器官的颜色。
步骤S103，对多个所述目标特征信息集合分别进行拟合，得到多条拟合曲线。
本发明实施例中，所述目标特征信息集合与所述拟合曲线一一对应；可以通过最小二乘法、梯度下降法或贝塞尔三维空间曲线的方式对多个目标特征信息集合分别进行拟合。
为了使显示设备可以更加清晰地输出多条拟合曲线，本发明另一实施例中，可以根据显示设备的分辨率确定出最大拟合度参数，并且可以基于最大拟合度参数确定出预设的拟合度参数；基于得到的预设的拟合度参数可以对多个目标特征信息集合分别进行拟合，得到多条拟合曲线，如图2所示，上述步骤S102之后，还可以包括以下步骤S201～步骤S203：
步骤S201，获取显示设备的分辨率。
本发明实施例中，显示设备可以为输出多维信息可视化图像的设备，因此显示设备的分辨率与多维信息可视化图像包含的信息量相关。
步骤S202，确定与所述分辨率对应的最大拟合度参数。
本发明实施例中，显示设备的分辨率越大，能够输出的信息量越大，因此显示设备的分辨率对应的最大拟合度参数也越大。最大拟合度参数与组成拟合曲线的坐标数量相关，最大拟合度参数越大，则组成拟合曲线的坐标数量越多。因此，可以根据显示设备的分辨率确定出对应的最大拟合度参数，以使显示设备能够输出信息量最大的多维信息可视化图像。
步骤S203，将所述最大拟合度参数，以及小于所述最大拟合度参数的自然数，作为预设的拟合度参数。
以及，则上述步骤S103由以下步骤S204代替：
步骤S204，基于所述预设的拟合度参数，对多个所述目标特征信息集合分别进行拟合，得到多条拟合曲线。
实施上述的步骤S201～步骤S204，可以根据显示设备的分辨率确定出最大拟合度参数，并且可以基于最大拟合度参数确定出预设的拟合度参数；基于得到的预设的拟合度参数可以对多个目标特征信息集合分别进行拟合，得到多条拟合曲线，以使得到的多条拟合曲线与显示设备的分辨率匹配，从而使得显示设备可以更加清晰地输出多条拟合曲线。
本发明实施例中，基于所述预设的拟合度参数，对一个所述目标特征信息集合进行拟合，得到所述目标特征信息集合的拟合曲线的方式具体可以为：
根据所述预设的拟合度参数确定变量参数；
基于所述变量参数，对所述目标特征信息集合中的位置坐标进行拟合，得到位置坐标集合；
根据所述位置坐标集合确定所述目标特征信息集合的拟合曲线。
其中，实施这种实施方式，可以基于预设的拟合参数确定变量参数，并且可以基于变量参数对目标特征信息集合中的位置坐标进行拟合，得到拟合后的位置坐标集合，基于该位置坐标集合得到的曲线即为目标特征信息集合的拟合曲线；可见，通过对位置坐标进行拟合进而得到的拟合曲线更加准确。
本发明实施例中，可以通过以下公式确定变量参数t：
t＝α*0.001
其中，α为拟合度参数。由于拟合度参数可以包括多个参数，因此可以得到多个变量参数，即拟合度参数与变量参数一一对应。
本发明实施例中，所述目标特征信息中还包括所述目标帧图像的序号。
可选的，基于所述变量参数，对所述目标特征信息集合中的位置坐标进行拟合，得到位置坐标集合的方式具体可以为：
根据所述变量参数、图像总数量以及所述目标帧图像的序号，确定所述目标帧图像对应的曲线变量；
根据所述曲线变量和所述目标特征信息集合中的位置坐标，得到所述目标特征信息集合对应的待累加坐标；其中，所述待累加坐标与所述目标特征集合中包含的目标帧图像一一对应；
根据所述待累加坐标确定拟合曲线坐标；其中，第一帧目标帧图像的拟合曲线坐标为所述第一帧目标帧图像对应的待累加坐标；当前目标帧图像的拟合曲线坐标为前一目标帧图像的拟合曲线坐标与所述当前目标帧图像的待累加坐标之和；
基于所述拟合曲线坐标得到位置坐标集合。
其中，实施这种实施方式，可以根据变量参数、图像总数量以及目标帧图像的序号确定出目标帧图像对应的曲线变量；并且可以基于曲线变量和目标特征信息集合中的位置坐标得到待累加坐标；以及可以基于待累加坐标实现目标帧图像对应的坐标的累加，得到最终的拟合曲线坐标；将得到的拟合曲线坐标可以确定为位置坐标集合，以使位置坐标集合中的拟合曲线坐标更加精确。
本发明实施例中，曲线变量B的计算方式可以为：
其中，n可以为图像总数量，i为当前的目标帧图像的序号，可见，不同的目标帧图像的序号对应不同的曲线变量。
此外，还可以根据曲线变量和目标特征信息集合中的采集时间，得到目标特征信息集合对应的待累加时间；其中，待累加时间可以与目标特征集合中包含的目标帧图像一一对应；
以及，根据待累加坐标确定拟合曲线坐标的方式具体可以为：
根据待累加坐标和待累加时间确定拟合曲线坐标；其中，拟合曲线坐标可以为三维坐标，待累加坐标中的横坐标和纵坐标以及待累加时间共同组成了三维的拟合曲线坐标。因此，可以将拟合曲线坐标映射至空间直角坐标系中，从而更加直观的观测到拟合曲线坐标之间的方位信息。
具体的，基于贝塞尔三维空间曲线对多个目标特征信息集合分别进行拟合，得到多条拟合曲线的方式具体可以为：
(1)获取目标帧图像的总数量n，设置待累加坐标中的横坐标存放数组px、待累加坐标中的纵坐标存放数组py以及待累加时间存放数组pz；
(2)根据显示设备的分辨率确定最大拟合度参数λ，其中λ为整数，λ∈[0,+∞)，出于便于计算的考虑，一般设置为10-250之间的参数；
(3)从0开始遍历λ，遍历的值作为拟合度参数α，基于闭合度参数确定变量参数t，其中t＝α*0.001；
(3.1)设置时空坐标点x、y和z的初始值为0；
(3.2)从0开始遍历n，遍历的值赋值给变量i；
(3.2.1)通过公式计算得到曲线变量B，公式如下：
(3.2.2)累加计算时空坐标点x、y和z公式如下：
x+＝point[i][0]×B
y+＝point[i][1]×B
z+＝point[i][3]×B
其中，point[i][0]表示在第i帧目标帧图像的目标特征信息中位置坐标的横坐标，point[i][1]表示在第i帧目标帧图像的目标特征信息中位置坐标的纵坐标，point[i][3]表示在第i帧目标帧图像的目标特征信息中的采集时间。
(3.3)将时空坐标点x、y和z的值存放至数组px、py以及pz尾部，并且进入(3.2)的下一轮循环，直至i＝n；
(4)数组px、py以及pz共同组成了拟合曲线坐标，基于拟合曲线坐标可以得到多条拟合曲线。
步骤S104，将各个拟合曲线分别映射至预设坐标系中，得到多维信息可视化图像。
本发明另一实施例中，为了提升多维信息可视化图像的信息量，可以给不同的对象类型确定不同颜色，并且可以基于对象类型对应的颜色绘制拟合曲线，以输出多维信息可视化图像，如图3所示，上述步骤S104之后，还可以包括以下步骤S301～步骤S302：
步骤S301，确定所述对象类型对应的颜色。
本发明实施例中，不同的对象类型对应不同的颜色；
步骤S302，基于所述对象类型对应的颜色，绘制拟合曲线，以输出所述多维信息可视化图像。
实施上述的步骤S301～步骤S302，可以给不同的对象类型确定不同颜色，并且可以基于对象类型对应的颜色绘制拟合曲线，以输出多维信息可视化图像，通过多维信息可视化图像中的不同颜色，可以准确地分辨出不同对象类型的拟合曲线，从而提升多维信息可视化图像的信息量。
请一并参阅图7，图7为本发明一实施例提供的另一种多维信息可视化图像的示意图，其中：
图7中包括一个空间直角坐标系，该空间直角坐标系的x轴和z轴分别表示拟合曲线坐标中的横坐标和纵坐标，与x轴和z轴垂直的为y轴，y轴可以表示拟合曲线坐标中的采集时间坐标。空间直角坐标系中的多条拟合曲线分别表示各个目标特征信息集合分别对应的拟合曲线。不同的对象类型对应的拟合曲线通过不同的颜色表示。图7中通过不同粗细的曲线表示不同的器官的颜色。
本发明另一实施例中，为了提升操作流程的准确性，可以基于得到的评估结果确定在实际操作过程中需要改进的操作流程，如图4所示，上述步骤S104之后，还可以包括以下步骤S401～步骤S402：
步骤S401，根据所述多维信息可视化图像，确定操作流程信息。
本发明实施例中，所述操作流程信息包括各个目标对象的观测顺序。
步骤S402，将所述操作流程信息与预设操作指示信息进行对比，得到评估结果。
本发明实施例中，所述预设操作指示信息包括多个操作站点的标准观测顺序；每个操作站点中均包括预设的待观测对象的标准观测顺序。
实施上述的步骤S401～步骤S402，可以基于得到的多维信息可视化图像确定出观测目标对象的操作流程信息，并且可以将操作流程信息与预设操作指示信息进行对比，可以得到评估结果；该评估结果可以表示实际的操作流程与预设的操作指示之间的差别，从而可以基于评估结果得到在实际操作过程中需要改进的操作流程，以提升操作流程的准确性。
作为一种可选的实施方式，所述目标对象为目标器官；
所述预设操作指示信息包括：
右心站点→隆突下间隙站点→降主动脉及奇静脉站点→肺主动脉窗站点→颈部血管站点；
所述右心站点包括：右心房→上腔静脉→下腔静脉；
所述隆突下间隙站点包括：左心房→肺动脉；
所述降主动脉及奇静脉站点：包括降主动脉→奇静脉；
所述肺主动脉窗站点包括：主动脉弓→肺动脉；
所述颈部血管站点包括：左锁骨下动脉→左颈总动脉→左颈内静脉。
其中，实施这种实施方式，可以预先设置预设操作指示信息为超声内镜纵膈检查的操作顺序，从而可以对比实际的操作顺序与超声内镜纵膈检查的操作顺序之间的差别，得到评估结果；通过分析学习该评估结果，可以帮助用户发现其中的错误，以便用户对实际使用超声内镜检查纵膈的过程进行校正，提升用户后续进行超声内镜纵膈检查的准确性。
本发明实施例能够基于得到的多维可视化图像直观的看到各个目标对象的图像采集顺序，从而可以基于得到的图像采集顺序对采集过程进行准确的评估，进而对检查质量进行有效的控制。此外，本发明还可以提升目标特征信息的全面性。此外，本发明还可以使得显示设备可以更加清晰地输出多条拟合曲线。此外，本发明还可以通过对位置坐标进行拟合进而得到的拟合曲线更加准确。此外，本发明还可以使位置坐标集合中的拟合曲线坐标更加精确。此外，本发明还可以提升多维信息可视化图像的信息量。此外，本发明还可以提升操作流程的准确性。此外，本发明还可以提升用户后续进行超声内镜纵膈检查的准确性。
示例性装置
在介绍了本发明示例性实施方式的方法之后，接下来，参考图8对本发明示例性实施方式的一种图像多维可视化装置进行说明，该装置包括：
获取单元801，用于获取各个目标帧图像的目标特征信息；其中，所述目标特征信息中至少包括目标对象在所述目标帧图像中的位置坐标、所述目标对象的对象类型以及所述目标帧图像的采集时间；
分类单元802，用于根据获取单元801获取的所述对象类型和所述采集时间，得到多个目标特征信息集合；其中，同一目标特征信息集合包括的目标特征信息的对象类型相同，且目标特征信息根据采集时间由小到大排序，任意两个相邻目标特征信息的采集时间之间的时间间隔相同；
拟合单元803，用于对分类单元802得到的多个所述目标特征信息集合分别进行拟合，得到多条拟合曲线；其中，所述目标特征信息集合与所述拟合曲线一一对应；
映射单元804，用于将拟合单元803得到的各个拟合曲线分别映射至预设坐标系中，得到多维信息可视化图像。
作为一种可选的实施方式，映射单元804还用于：
在得到多维信息可视化图像之后，根据所述多维信息可视化图像，确定操作流程信息；其中，所述操作流程信息包括各个目标对象的观测顺序；
将所述操作流程信息与预设操作指示信息进行对比，得到评估结果；其中，所述预设操作指示信息包括多个操作站点的标准观测顺序；每个操作站点中均包括预设的待观测对象的标准观测顺序。
其中，实施这种实施方式，可以基于得到的多维信息可视化图像确定出观测目标对象的操作流程信息，并且可以将操作流程信息与预设操作指示信息进行对比，可以得到评估结果；该评估结果可以表示实际的操作流程与预设的操作指示之间的差别，从而可以基于得到的评估结果得到在实际操作过程中需要改进的操作流程，以提升操作流程的准确性。
作为一种可选的实施方式，所述目标帧图像基于操作视频获取，多个所述目标帧图像的采集时间间隔相同；
获取单元801获取各个目标帧图像的目标特征信息的方式具体可以为：
将所述目标帧图像在所述操作视频中对应的时间确定为采集时间；
获取所述目标帧图像中包括的目标对象以及目标对象的对象类型；
确定所述目标对象在所述目标帧图像中的位置坐标；其中，所述位置坐标包括横坐标和纵坐标；
将所述位置坐标、所述对象类型以及所述采集时间确定为所述目标帧图像的目标特征信息。
其中，实施这种实施方式，可以从操作视频中获取目标帧图像，并且可以从目标帧图像中识别出目标对象以及目标对象的对象类型；还可以确定出目标对象在目标帧图像中的位置坐标，并且可以将目标帧图像在操作视频中的时间确定为采集时间，从而得到包含位置坐标、对象类型以及采集时间的目标帧图像的目标特征信息，提升了目标特征信息的全面性。
作为一种可选的实施方式，分类单元802还用于：
在得到多个目标特征信息集合之后，获取显示设备的分辨率；
确定与所述分辨率对应的最大拟合度参数；
将所述最大拟合度参数，以及小于所述最大拟合度参数的自然数，作为预设的拟合度参数；
拟合单元803对多个所述目标特征信息集合分别进行拟合，得到多条拟合曲线的方式具体可以为：
基于所述预设的拟合度参数，对多个所述目标特征信息集合分别进行拟合，得到多条拟合曲线。
其中，实施这种实施方式，可以根据显示设备的分辨率确定出最大拟合度参数，并且可以基于最大拟合度参数确定出预设的拟合度参数；基于得到的预设的拟合度参数可以对多个目标特征信息集合分别进行拟合，得到多条拟合曲线，以使得到的多条拟合曲线与显示设备的分辨率匹配，从而使得显示设备可以更加清晰地输出多条拟合曲线。
作为一种可选的实施方式，拟合单元803基于所述预设的拟合度参数，对多个所述目标特征信息集合分别进行拟合，得到多条拟合曲线的方式具体可以为：
根据所述预设的拟合度参数确定变量参数；
基于所述变量参数，对所述目标特征信息集合中的位置坐标进行拟合，得到位置坐标集合；
根据所述位置坐标集合确定所述目标特征信息集合的拟合曲线。
其中，实施这种实施方式，可以基于预设的拟合参数确定变量参数，并且可以基于变量参数对目标特征信息集合中的位置坐标进行拟合，得到拟合后的位置坐标集合，基于该位置坐标集合得到的曲线即为目标特征信息集合的拟合曲线，可见，通过对位置坐标进行拟合进而得到的拟合曲线更加准确。
作为一种可选的实施方式，所述目标特征信息中还包括所述目标帧图像的序号；
拟合单元803基于所述变量参数，对所述目标特征信息集合中的位置坐标进行拟合，得到位置坐标集合的方式具体可以为：
根据所述变量参数、图像总数量以及所述目标帧图像的序号，确定所述目标帧图像对应的曲线变量；
根据所述曲线变量和所述目标特征信息集合中的位置坐标，得到所述目标特征信息集合对应的待累加坐标；其中，所述待累加坐标与所述目标特征集合中包含的目标帧图像一一对应；
根据所述待累加坐标确定拟合曲线坐标；其中，第一帧目标帧图像的拟合曲线坐标为所述第一帧目标帧图像对应的待累加坐标；当前目标帧图像的拟合曲线坐标为前一目标帧图像的拟合曲线坐标与所述当前目标帧图像的待累加坐标之和；
基于所述拟合曲线坐标得到位置坐标集合。
其中，实施这种实施方式，可以根据变量参数、图像总数量以及目标帧图像的序号确定出目标帧图像对应的曲线变量；并且可以基于曲线变量和目标特征信息集合中的位置坐标得到待累加坐标；以及可以基于待累加坐标实现目标帧图像对应的坐标的累加，得到最终的拟合曲线坐标；将得到的拟合曲线坐标可以确定为位置坐标集合，以使位置坐标集合中的拟合曲线坐标更加精确。
作为一种可选的实施方式，映射单元804还用于：
在将各个拟合曲线分别映射至预设坐标系中，得到多维信息可视化图像之后，确定所述对象类型对应的颜色；其中，不同的对象类型对应不同的颜色；
基于所述对象类型对应的颜色，绘制拟合曲线，以输出所述多维信息可视化图像。
其中，实施这种实施方式，可以给不同的对象类型确定不同颜色，并且可以基于对象类型对应的颜色绘制拟合曲线，以输出多维信息可视化图像，通过多维信息可视化图像中的不同颜色，可以准确地分辨出不同对象类型的拟合曲线，从而提升多维信息可视化图像的信息量。
作为一种可选的实施方式，所述目标对象为目标器官；
所述预设操作指示信息包括：
右心站点→隆突下间隙站点→降主动脉及奇静脉站点→肺主动脉窗站点→颈部血管站点；
所述右心站点包括：右心房→上腔静脉→下腔静脉；
所述隆突下间隙站点包括：左心房→肺动脉；
所述降主动脉及奇静脉站点：包括降主动脉→奇静脉；
所述肺主动脉窗站点包括：主动脉弓→肺动脉；
所述颈部血管站点包括：左锁骨下动脉→左颈总动脉→左颈内静脉。
其中，实施这种实施方式，可以预先设置预设操作指示信息为超声内镜纵膈检查的操作顺序，从而可以对比实际的操作顺序与超声内镜纵膈检查的操作顺序之间的差别，得到评估结果；通过分析学习该评估结果，可以帮助用户发现其中的错误，以便用户对实际使用超声内镜检查纵膈的过程进行校正，提升用户后续进行超声内镜纵膈检查的准确性。
本发明实施例能够基于得到的多维可视化图像直观的看到各个目标对象的图像采集顺序，从而可以基于得到的图像采集顺序对采集过程进行准确的评估，进而对检查质量进行有效的控制。此外，本发明还可以提升目标特征信息的全面性。此外，本发明还可以使得显示设备可以更加清晰地输出多条拟合曲线。此外，本发明还可以通过对位置坐标进行拟合进而得到的拟合曲线更加准确。此外，本发明还可以使位置坐标集合中的拟合曲线坐标更加精确。此外，本发明还可以提升多维信息可视化图像的信息量。此外，本发明还可以提升操作流程的准确性。此外，本发明还可以提升用户后续进行超声内镜纵膈检查的准确性。
示例性介质
在介绍了本发明示例性实施方式的方法和装置之后，接下来，参考图9对本发明示例性实施方式的计算机可读存储介质进行说明，请参考图9，其示出的计算机可读存储介质为光盘90，其上存储有计算机程序(即程序产品)，所述计算机程序在被处理器运行时，会实现上述方法实施方式中所记载的各步骤，例如，获取各个目标帧图像的目标特征信息；其中，所述目标特征信息中至少包括目标对象在所述目标帧图像中的位置坐标、所述目标对象的对象类型以及所述目标帧图像的采集时间；根据所述对象类型和所述采集时间，得到多个目标特征信息集合；对多个所述目标特征信息集合分别进行拟合，得到多条拟合曲线；其中，所述目标特征信息集合与所述拟合曲线一一对应；将各个拟合曲线分别映射至预设坐标系中，得到多维信息可视化图像；各步骤的具体实现方式在此不再重复说明。
需要说明的是，所述计算机可读存储介质的例子还可以包括，但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他光学、磁性存储介质，在此不再一一赘述。
示例性计算设备
在介绍了本发明示例性实施方式的方法、介质和装置之后，接下来，参考图10对本发明示例性实施方式的用于图像多维可视化的计算设备。
图10示出了适于用来实现本发明实施方式的示例性计算设备100的框图，该计算设备100可以是计算机系统或服务器。图10显示的计算设备100仅仅是一个示例，不应对本发明实施例的功能和使用范围带来任何限制。
如图10所示，计算设备100的组件可以包括但不限于：一个或者多个处理器或者处理单元1001，系统存储器1002，连接不同系统组件(包括系统存储器1002和处理单元1001)的总线1003。
计算设备100典型地包括多种计算机系统可读介质。这些介质可以是任何能够被计算设备100访问的可用介质，包括易失性和非易失性介质，可移动的和不可移动的介质。
系统存储器1002可以包括易失性存储器形式的计算机系统可读介质，例如随机存取存储器(RAM)10021和/或高速缓存存储器10022。计算设备100可以进一步包括其它可移动/不可移动的、易失性/非易失性计算机系统存储介质。仅作为举例，ROM10023可以用于读写不可移动的、非易失性磁介质(图10中未显示，通常称为“硬盘驱动器”)。尽管未在图10中示出，可以提供用于对可移动非易失性磁盘(例如“软盘”)读写的磁盘驱动器，以及对可移动非易失性光盘(例如CD-ROM，DVD-ROM或者其它光介质)读写的光盘驱动器。在这些情况下，每个驱动器可以通过一个或者多个数据介质接口与总线1003相连。系统存储器1002中可以包括至少一个程序产品，该程序产品具有一组(例如至少一个)程序模块，这些程序模块被配置以执行本发明各实施例的功能。
具有一组(至少一个)程序模块10024的程序/实用工具10025，可以存储在例如系统存储器1002中，且这样的程序模块10024包括但不限于：操作系统、一个或者多个应用程序、其它程序模块以及程序数据，这些示例中的每一个或某种组合中可能包括网络环境的实现。程序模块10024通常执行本发明所描述的实施例中的功能和/或方法。
计算设备100也可以与一个或多个外部设备1004(如键盘、指向设备、显示器等)通信。这种通信可以通过输入/输出(I/O)接口1005进行。并且，计算设备100还可以通过网络适配器1006与一个或者多个网络(例如局域网(LAN)，广域网(WAN)和/或公共网络，例如因特网)通信。如图10所示，网络适配器1006通过总线1003与计算设备100的其它模块(如处理单元1001等)通信。应当明白，尽管图10中未示出，可以结合计算设备100使用其它硬件和/或软件模块。
处理单元1001通过运行存储在系统存储器1002中的程序，从而执行各种功能应用以及数据处理，例如，获取各个目标帧图像的目标特征信息；其中，所述目标特征信息中至少包括目标对象在所述目标帧图像中的位置坐标、所述目标对象的对象类型以及所述目标帧图像的采集时间；根据所述对象类型和所述采集时间，得到多个目标特征信息集合；对多个所述目标特征信息集合分别进行拟合，得到多条拟合曲线；其中，所述目标特征信息集合与所述拟合曲线一一对应；将各个拟合曲线分别映射至预设坐标系中，得到多维信息可视化图像。各步骤的具体实现方式在此不再重复说明。应当注意，尽管在上文详细描述中提及了图像多维可视化装置的若干单元/模块或子单元/子模块，但是这种划分仅仅是示例性的并非强制性的。实际上，根据本发明的实施方式，上文描述的两个或更多单元/模块的特征和功能可以在一个单元/模块中具体化。反之，上文描述的一个单元/模块的特征和功能可以进一步划分为由多个单元/模块来具体化。
在本发明的描述中，需要说明的是，术语“第一”、“第二”、“第三”仅用于描述目的，而不能理解为指示或暗示相对重要性。
所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统、装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
在本发明所提供的几个实施例中，应该理解到，所揭露的系统、装置和方法，可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，又例如，多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些通信接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。
所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个处理器可执行的非易失的计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
最后应说明的是：以上所述实施例，仅为本发明的具体实施方式，用以说明本发明的技术方案，而非对其限制，本发明的保护范围并不局限于此，尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，其依然可以对前述实施例所记载的技术方案进行修改或可轻易想到变化，或者对其中部分技术特征进行等同替换；而这些修改、变化或者替换，并不使相应技术方案的本质脱离本发明实施例技术方案的精神和范围，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应所述以权利要求的保护范围为准。
此外，尽管在附图中以特定顺序描述了本发明方法的操作，但是，这并非要求或者暗示必须按照该特定顺序来执行这些操作，或是必须执行全部所示的操作才能实现期望的结果。附加地或备选地，可以省略某些步骤，将多个步骤合并为一个步骤执行，和/或将一个步骤分解为多个步骤执行。
1.一种图像多维可视化方法，包括：
获取各个目标帧图像的目标特征信息；其中，所述目标特征信息中至少包括目标对象在所述目标帧图像中的位置坐标、所述目标对象的对象类型以及所述目标帧图像的采集时间；
根据所述对象类型和所述采集时间，得到多个目标特征信息集合；其中，同一目标特征信息集合包括的目标特征信息的对象类型相同，且目标特征信息根据采集时间由小到大排序，任意两个相邻目标特征信息的采集时间之间的时间间隔相同；
对多个所述目标特征信息集合分别进行拟合，得到多条拟合曲线；其中，所述目标特征信息集合与所述拟合曲线一一对应；
将各个拟合曲线分别映射至预设坐标系中，得到多维信息可视化图像。
2.如方案1所述的图像多维可视化方法，所述得到多维信息可视化图像之后，所述方法还包括：
根据所述多维信息可视化图像，确定操作流程信息；其中，所述操作流程信息包括各个目标对象的观测顺序；
将所述操作流程信息与预设操作指示信息进行对比，得到评估结果；其中，所述预设操作指示信息包括多个操作站点的标准观测顺序；每个操作站点中均包括预设的待观测对象的标准观测顺序。
3.如方案1所述的图像多维可视化方法，所述目标帧图像基于操作视频获取，多个所述目标帧图像的采集时间间隔相同；
所述获取各个目标帧图像的目标特征信息，包括：
将所述目标帧图像在所述操作视频中对应的时间确定为采集时间；
获取所述目标帧图像中包括的目标对象以及目标对象的对象类型；
确定所述目标对象在所述目标帧图像中的位置坐标；其中，所述位置坐标包括横坐标和纵坐标；
将所述位置坐标、所述对象类型以及所述采集时间确定为所述目标帧图像的目标特征信息。
4.如方案1～3任一项所述的图像多维可视化方法，所述得到多个目标特征信息集合之后，所述方法还包括：
获取显示设备的分辨率；
确定与所述分辨率对应的最大拟合度参数；
将所述最大拟合度参数，以及小于所述最大拟合度参数的自然数，作为预设的拟合度参数；
所述对多个所述目标特征信息集合分别进行拟合，得到多条拟合曲线，包括：
基于所述预设的拟合度参数，对多个所述目标特征信息集合分别进行拟合，得到多条拟合曲线。
5.如方案4所述的图像多维可视化方法，基于所述预设的拟合度参数，对一个所述目标特征信息集合进行拟合，得到所述目标特征信息集合的拟合曲线，包括：
根据所述预设的拟合度参数确定变量参数；
基于所述变量参数，对所述目标特征信息集合中的位置坐标进行拟合，得到位置坐标集合；
根据所述位置坐标集合确定所述目标特征信息集合的拟合曲线。
6.如方案5所述的图像多维可视化方法，所述目标特征信息中还包括所述目标帧图像的序号；
基于所述变量参数，对所述目标特征信息集合中的位置坐标进行拟合，得到位置坐标集合，包括：
根据所述变量参数、图像总数量以及所述目标帧图像的序号，确定所述目标帧图像对应的曲线变量；
根据所述曲线变量和所述目标特征信息集合中的位置坐标，得到所述目标特征信息集合对应的待累加坐标；其中，所述待累加坐标与所述目标特征集合中包含的目标帧图像一一对应；
根据所述待累加坐标确定拟合曲线坐标；其中，第一帧目标帧图像的拟合曲线坐标为所述第一帧目标帧图像对应的待累加坐标；当前目标帧图像的拟合曲线坐标为前一目标帧图像的拟合曲线坐标与所述当前目标帧图像的待累加坐标之和；
基于所述拟合曲线坐标得到位置坐标集合。
7.如方案1～3任一项所述的图像多维可视化方法，所述将各个拟合曲线分别映射至预设坐标系中，得到多维信息可视化图像之后，所述方法还包括：
确定所述对象类型对应的颜色；其中，不同的对象类型对应不同的颜色；
基于所述对象类型对应的颜色，绘制拟合曲线，以输出所述多维信息可视化图像。
8.如方案2所述的图像多维可视化方法，所述目标对象为目标器官；
所述预设操作指示信息包括：
右心站点→隆突下间隙站点→降主动脉及奇静脉站点→肺主动脉窗站点→颈部血管站点；
所述右心站点包括：右心房→上腔静脉→下腔静脉；
所述隆突下间隙站点包括：左心房→肺动脉；
所述降主动脉及奇静脉站点：包括降主动脉→奇静脉；
所述肺主动脉窗站点包括：主动脉弓→肺动脉；
所述颈部血管站点包括：左锁骨下动脉→左颈总动脉→左颈内静脉。
9.一种图像多维可视化装置，包括：
获取单元，用于获取各个目标帧图像的目标特征信息；其中，所述目标特征信息中至少包括目标对象在所述目标帧图像中的位置坐标、所述目标对象的对象类型以及所述目标帧图像的采集时间；
分类单元，用于根据所述对象类型和所述采集时间，得到多个目标特征信息集合；其中，同一目标特征信息集合包括的目标特征信息的对象类型相同，且目标特征信息根据采集时间由小到大排序，任意两个相邻目标特征信息的采集时间之间的时间间隔相同；
拟合单元，用于对多个所述目标特征信息集合分别进行拟合，得到多条拟合曲线；其中，所述目标特征信息集合与所述拟合曲线一一对应；
映射单元，用于将各个拟合曲线分别映射至预设坐标系中，得到多维信息可视化图像。
10.一种计算机可读存储介质，其包括指令，当其在计算机上运行时，使得计算机执行如方案1～8中的任一项所述的方法。
11.一种计算设备，所述计算设备包括：
至少一个处理器、存储器和输入输出单元；
其中，所述存储器用于存储计算机程序，所述处理器用于调用所述存储器中存储的计算机程序来执行如方案1～8中任一项所述的方法。

Claims (9)

1.一种图像多维可视化方法，包括：
获取各个目标帧图像的目标特征信息；其中，所述目标特征信息中至少包括目标对象在所述目标帧图像中的位置坐标、所述目标对象的对象类型以及所述目标帧图像的采集时间；所述目标帧图像基于操作视频获取，多个所述目标帧图像的采集时间间隔相同；所述获取各个目标帧图像的目标特征信息，包括：
将所述目标帧图像在所述操作视频中对应的时间确定为采集时间；
获取所述目标帧图像中包括的目标对象以及目标对象的对象类型；
确定所述目标对象在所述目标帧图像中的位置坐标；其中，所述位置坐标包括横坐标和纵坐标；
将所述位置坐标、所述对象类型以及所述采集时间确定为所述目标帧图像的目标特征信息；
根据所述对象类型和所述采集时间，得到多个目标特征信息集合；其中，同一目标特征信息集合包括的目标特征信息的对象类型相同，且目标特征信息根据采集时间由小到大排序，任意两个相邻目标特征信息的采集时间之间的时间间隔相同；
获取显示设备的分辨率；确定与所述分辨率对应的最大拟合度参数；将所述最大拟合度参数，以及小于所述最大拟合度参数的自然数，作为预设的拟合度参数；
基于所述预设的拟合度参数，对多个所述目标特征信息集合分别进行拟合，得到多条拟合曲线；其中，所述目标特征信息集合与所述拟合曲线一一对应；
将各个拟合曲线分别映射至预设坐标系中，得到多维信息可视化图像。
2.根据权利要求1所述的图像多维可视化方法，所述得到多维信息可视化图像之后，所述方法还包括：
根据所述多维信息可视化图像，确定操作流程信息；其中，所述操作流程信息包括各个目标对象的观测顺序；
将所述操作流程信息与预设操作指示信息进行对比，得到评估结果；其中，所述预设操作指示信息包括多个操作站点的标准观测顺序；每个操作站点中均包括预设的待观测对象的标准观测顺序。
3.根据权利要求1所述的图像多维可视化方法，基于所述预设的拟合度参数，对一个所述目标特征信息集合进行拟合，得到所述目标特征信息集合的拟合曲线，包括：
根据所述预设的拟合度参数确定变量参数；
基于所述变量参数，对所述目标特征信息集合中的位置坐标进行拟合，得到位置坐标集合；
根据所述位置坐标集合确定所述目标特征信息集合的拟合曲线。
4.根据权利要求3所述的图像多维可视化方法，所述目标特征信息中还包括所述目标帧图像的序号；
基于所述变量参数，对所述目标特征信息集合中的位置坐标进行拟合，得到位置坐标集合，包括：
根据所述变量参数、图像总数量以及所述目标帧图像的序号，确定所述目标帧图像对应的曲线变量；
根据所述曲线变量和所述目标特征信息集合中的位置坐标，得到所述目标特征信息集合对应的待累加坐标；其中，所述待累加坐标与所述目标特征信息集合中包含的目标帧图像一一对应；
根据所述待累加坐标确定拟合曲线坐标；其中，第一帧目标帧图像的拟合曲线坐标为所述第一帧目标帧图像对应的待累加坐标；当前目标帧图像的拟合曲线坐标为前一目标帧图像的拟合曲线坐标与所述当前目标帧图像的待累加坐标之和；
基于所述拟合曲线坐标得到位置坐标集合。
5.根据权利要求1所述的图像多维可视化方法，所述将各个拟合曲线分别映射至预设坐标系中，得到多维信息可视化图像之后，所述方法还包括：
确定所述对象类型对应的颜色；其中，不同的对象类型对应不同的颜色；
基于所述对象类型对应的颜色，绘制拟合曲线，以输出所述多维信息可视化图像。
6.根据权利要求2所述的图像多维可视化方法，所述目标对象为目标器官；
所述预设操作指示信息包括：
右心站点→隆突下间隙站点→降主动脉及奇静脉站点→肺主动脉窗站点→颈部血管站点；
所述右心站点包括：右心房→上腔静脉→下腔静脉；
所述隆突下间隙站点包括：左心房→肺动脉；
所述降主动脉及奇静脉站点：包括降主动脉→奇静脉；
所述肺主动脉窗站点包括：主动脉弓→肺动脉；
所述颈部血管站点包括：左锁骨下动脉→左颈总动脉→左颈内静脉。
7.一种图像多维可视化装置，包括：
获取单元，用于获取各个目标帧图像的目标特征信息；其中，所述目标特征信息中至少包括目标对象在所述目标帧图像中的位置坐标、所述目标对象的对象类型以及所述目标帧图像的采集时间；所述目标帧图像基于操作视频获取，多个所述目标帧图像的采集时间间隔相同；所述获取单元通过如下方式获取各个目标帧图像的目标特征信息：将所述目标帧图像在所述操作视频中对应的时间确定为采集时间；获取所述目标帧图像中包括的目标对象以及目标对象的对象类型；确定所述目标对象在所述目标帧图像中的位置坐标；其中，所述位置坐标包括横坐标和纵坐标；将所述位置坐标、所述对象类型以及所述采集时间确定为所述目标帧图像的目标特征信息；
分类单元，用于根据所述对象类型和所述采集时间，得到多个目标特征信息集合；其中，同一目标特征信息集合包括的目标特征信息的对象类型相同，且目标特征信息根据采集时间由小到大排序，任意两个相邻目标特征信息的采集时间之间的时间间隔相同；以及，在得到多个目标特征信息集合之后，获取显示设备的分辨率；确定与所述分辨率对应的最大拟合度参数；将所述最大拟合度参数，以及小于所述最大拟合度参数的自然数，作为预设的拟合度参数；
拟合单元，用于基于所述预设的拟合度参数，对多个所述目标特征信息集合分别进行拟合，得到多条拟合曲线；其中，所述目标特征信息集合与所述拟合曲线一一对应；
映射单元，用于将各个拟合曲线分别映射至预设坐标系中，得到多维信息可视化图像。
8.一种计算机可读存储介质，其包括指令，当其在计算机上运行时，使得计算机执行如权利要求1～6中的任一项所述的方法。
9.一种计算设备，所述计算设备包括：
至少一个处理器、存储器和输入输出单元；
其中，所述存储器用于存储计算机程序，所述处理器用于调用所述存储器中存储的计算机程序来执行如权利要求1～6中任一项所述的方法。
CN202310175100.7A 2023-02-24 2023-02-24 图像多维可视化方法、装置、介质和计算设备 Active CN116844697B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310175100.7A CN116844697B (zh) 2023-02-24 2023-02-24 图像多维可视化方法、装置、介质和计算设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310175100.7A CN116844697B (zh) 2023-02-24 2023-02-24 图像多维可视化方法、装置、介质和计算设备

Publications (2)

Publication Number Publication Date
CN116844697A CN116844697A (zh) 2023-10-03
CN116844697B true CN116844697B (zh) 2024-01-09

Family

ID=88171294

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310175100.7A Active CN116844697B (zh) 2023-02-24 2023-02-24 图像多维可视化方法、装置、介质和计算设备

Country Status (1)

Country Link
CN (1) CN116844697B (zh)

Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107616809A (zh) * 2016-07-13 2018-01-23 美国西门子医疗解决公司 医学诊断超声中的组织表征
CN107734207A (zh) * 2017-09-28 2018-02-23 北京奇虎科技有限公司 视频对象变换处理方法、装置及计算设备
CN110751727A (zh) * 2019-10-30 2020-02-04 南京林业大学 一种基于Landsat长时间序列的合成图像构建方法
CN111210423A (zh) * 2020-01-13 2020-05-29 浙江杜比医疗科技有限公司 Nir图像的乳房轮廓提取方法、系统及装置
CN111354006A (zh) * 2018-12-21 2020-06-30 深圳迈瑞生物医疗电子股份有限公司 超声图像中目标组织的描迹方法及装置
CN112116655A (zh) * 2019-06-20 2020-12-22 北京地平线机器人技术研发有限公司 目标对象的图像的位置信息确定方法和装置
CN112418137A (zh) * 2020-12-03 2021-02-26 杭州云笔智能科技有限公司 一种目标对象的操作识别方法和系统
CN113052843A (zh) * 2021-05-31 2021-06-29 萱闱(北京)生物科技有限公司 辅助内镜检查的方法、装置、系统、存储介质和计算设备
CN113940698A (zh) * 2020-07-17 2022-01-18 深圳迈瑞生物医疗电子股份有限公司 基于超声造影的处理方法、超声装置及计算机存储介质
WO2022053710A1 (en) * 2020-09-14 2022-03-17 Johann Wolfgang Goethe-Universität Frankfurt am Main Quantitative imaging of the heart muscle
CN114429168A (zh) * 2020-10-15 2022-05-03 辉达公司 使用合成数据的模拟训练
CN115294125A (zh) * 2022-10-08 2022-11-04 江苏南通鼎顺网络科技有限责任公司 基于图形识别的肿瘤ct图像处理方法

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102005029242B4 (de) * 2005-06-23 2012-10-25 Siemens Ag Verfahren zur Aufnahme und Auswertung von Bilddaten eines Untersuchungsobjekts und dazugehörige Einrichtung
US9192322B2 (en) * 2011-04-22 2015-11-24 The Regents Of The University Of California Mapping vascular perfusion territories using magnetic resonance imaging
EP2765908A4 (en) * 2011-10-10 2015-10-07 Univ Wake Forest Health Sciences AUTOMATED KIDNEY APPROVAL SYSTEMS AND METHODS USING MRI IMAGE DATA
US10660613B2 (en) * 2017-09-29 2020-05-26 Siemens Medical Solutions Usa, Inc. Measurement point determination in medical diagnostic imaging

Patent Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107616809A (zh) * 2016-07-13 2018-01-23 美国西门子医疗解决公司 医学诊断超声中的组织表征
CN107734207A (zh) * 2017-09-28 2018-02-23 北京奇虎科技有限公司 视频对象变换处理方法、装置及计算设备
CN111354006A (zh) * 2018-12-21 2020-06-30 深圳迈瑞生物医疗电子股份有限公司 超声图像中目标组织的描迹方法及装置
CN112116655A (zh) * 2019-06-20 2020-12-22 北京地平线机器人技术研发有限公司 目标对象的图像的位置信息确定方法和装置
CN110751727A (zh) * 2019-10-30 2020-02-04 南京林业大学 一种基于Landsat长时间序列的合成图像构建方法
CN111210423A (zh) * 2020-01-13 2020-05-29 浙江杜比医疗科技有限公司 Nir图像的乳房轮廓提取方法、系统及装置
CN113940698A (zh) * 2020-07-17 2022-01-18 深圳迈瑞生物医疗电子股份有限公司 基于超声造影的处理方法、超声装置及计算机存储介质
WO2022053710A1 (en) * 2020-09-14 2022-03-17 Johann Wolfgang Goethe-Universität Frankfurt am Main Quantitative imaging of the heart muscle
CN114429168A (zh) * 2020-10-15 2022-05-03 辉达公司 使用合成数据的模拟训练
CN112418137A (zh) * 2020-12-03 2021-02-26 杭州云笔智能科技有限公司 一种目标对象的操作识别方法和系统
CN113052843A (zh) * 2021-05-31 2021-06-29 萱闱(北京)生物科技有限公司 辅助内镜检查的方法、装置、系统、存储介质和计算设备
CN115294125A (zh) * 2022-10-08 2022-11-04 江苏南通鼎顺网络科技有限责任公司 基于图形识别的肿瘤ct图像处理方法

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
一种基于主成分分析的TDLAS高频噪声滤波;常海涛 等;计量学报;第43卷(第10期);1285-1290 *
基于时变医学先验信息的约束成像及图像配准方法;邓梁;史仪凯;张均田;;电子与信息学报(第12期);2942-2947 *
基于活动轮廓模型的超声心脏图像轮廓的自动检测;何爱军 等;生物医学工程学杂志(第2期);242-246+253 *

Also Published As

Publication number Publication date
CN116844697A (zh) 2023-10-03

Similar Documents

Publication Publication Date Title
US11823431B2 (en) System and method for detecting trachea
JP5651600B2 (ja) 再パラメータ化されたブルズアイ表示
JP5078609B2 (ja) 画像表示装置及びプログラム
AU2007201200B2 (en) Image registration using locally-weighted fitting
JP2013517909A (ja) 気管支鏡検査法ガイダンスに適用される画像ベースのグローバル登録
TWI448986B (zh) 心臟ｍ模式圖片之自動分析
CN1771517B (zh) 实现虚拟内镜检查的系统和方法
US10176630B2 (en) Updating an electroanatomical map
JP4616872B2 (ja) 画像表示装置および画像表示プログラム
JP2007216007A (ja) 医療用画像においてリンパ節をラベリングおよび識別するためのシステムおよび方法
JP2011212156A (ja) 投影画像生成装置、投影画像生成プログラムおよび投影画像生成方法
JP2008289799A (ja) 心臓機能解析装置、方法およびそのプログラム
US20210233301A1 (en) Orientation detection in fluoroscopic images
CN111317509B (zh) 血管纵截面图像的生成方法、装置、诊断设备及存储介质
CN111814768A (zh) 基于ai复合模型的图像识别方法、装置、介质和设备
CN113197665A (zh) 一种基于虚拟现实的微创外科手术模拟方法、系统
CN116844697B (zh) 图像多维可视化方法、装置、介质和计算设备
CN116086462B (zh) 轨迹数据处理方法、装置、介质和计算设备
JP7275961B2 (ja) 教師画像生成プログラム、教師画像生成方法、および教師画像生成システム
CN116051553B (zh) 一种在三维医学模型内部进行标记的方法和装置
CN116327362A (zh) 磁探头辅助支气管术中导航方法、装置、介质及电子设备
CN116153472B (zh) 图像多维可视化方法、装置、介质和计算设备
AU2019219707A1 (en) Post-mapping automatic identification of pulmonary veins
CN113034578B (zh) 感兴趣区域的信息处理方法及系统、电子设备及存储介质
TWI771761B (zh) 醫療影像處理方法及其醫療影像處理裝置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant