CN116058868A - 便携式增强现实超声影像可视化方法、装置及系统 - Google Patents
便携式增强现实超声影像可视化方法、装置及系统 Download PDFInfo
- Publication number
- CN116058868A CN116058868A CN202310020960.3A CN202310020960A CN116058868A CN 116058868 A CN116058868 A CN 116058868A CN 202310020960 A CN202310020960 A CN 202310020960A CN 116058868 A CN116058868 A CN 116058868A
- Authority
- CN
- China
- Prior art keywords
- dimensional
- image
- ultrasonic
- module
- display
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 230000003190 augmentative effect Effects 0.000 title claims abstract description 43
- 238000007794 visualization technique Methods 0.000 title claims abstract description 34
- 239000000523 sample Substances 0.000 claims abstract description 57
- 238000012545 processing Methods 0.000 claims abstract description 47
- 238000009877 rendering Methods 0.000 claims abstract description 37
- 230000004927 fusion Effects 0.000 claims abstract description 26
- 230000003287 optical effect Effects 0.000 claims abstract description 24
- 238000007781 pre-processing Methods 0.000 claims abstract description 13
- 238000002604 ultrasonography Methods 0.000 claims description 52
- 238000000034 method Methods 0.000 claims description 23
- 238000012800 visualization Methods 0.000 claims description 20
- 238000004590 computer program Methods 0.000 claims description 13
- 238000011065 in-situ storage Methods 0.000 claims description 10
- 230000008569 process Effects 0.000 claims description 10
- 238000003860 storage Methods 0.000 claims description 9
- 230000011218 segmentation Effects 0.000 claims description 8
- 238000013527 convolutional neural network Methods 0.000 claims description 6
- 238000013135 deep learning Methods 0.000 claims description 5
- 238000012549 training Methods 0.000 claims description 5
- 238000001914 filtration Methods 0.000 claims description 4
- 238000003384 imaging method Methods 0.000 abstract description 5
- 238000005259 measurement Methods 0.000 abstract description 2
- 238000004891 communication Methods 0.000 description 8
- 230000006870 function Effects 0.000 description 8
- 238000010586 diagram Methods 0.000 description 7
- 230000000740 bleeding effect Effects 0.000 description 6
- 210000000056 organ Anatomy 0.000 description 5
- 230000000007 visual effect Effects 0.000 description 5
- 238000004422 calculation algorithm Methods 0.000 description 3
- 230000006378 damage Effects 0.000 description 3
- 230000001575 pathological effect Effects 0.000 description 3
- 238000000926 separation method Methods 0.000 description 3
- 208000007536 Thrombosis Diseases 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 2
- 238000013528 artificial neural network Methods 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 238000013461 design Methods 0.000 description 2
- 238000003745 diagnosis Methods 0.000 description 2
- 230000008447 perception Effects 0.000 description 2
- 239000000758 substrate Substances 0.000 description 2
- 210000001835 viscera Anatomy 0.000 description 2
- 208000024172 Cardiovascular disease Diseases 0.000 description 1
- 206010061245 Internal injury Diseases 0.000 description 1
- 208000027418 Wounds and injury Diseases 0.000 description 1
- 230000003187 abdominal effect Effects 0.000 description 1
- 210000003484 anatomy Anatomy 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 210000004556 brain Anatomy 0.000 description 1
- 230000000747 cardiac effect Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000002059 diagnostic imaging Methods 0.000 description 1
- 201000010099 disease Diseases 0.000 description 1
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000023597 hemostasis Effects 0.000 description 1
- 238000003709 image segmentation Methods 0.000 description 1
- 208000014674 injury Diseases 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000008520 organization Effects 0.000 description 1
- 239000002243 precursor Substances 0.000 description 1
- 238000003825 pressing Methods 0.000 description 1
- 238000011002 quantification Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 230000004083 survival effect Effects 0.000 description 1
- 230000001360 synchronised effect Effects 0.000 description 1
- 238000013519 translation Methods 0.000 description 1
- 230000002792 vascular Effects 0.000 description 1
- 230000002861 ventricular Effects 0.000 description 1
- 239000002699 waste material Substances 0.000 description 1
Images
Classifications
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
- A61B8/44—Constructional features of the ultrasonic, sonic or infrasonic diagnostic device
- A61B8/4427—Device being portable or laptop-like
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
- A61B8/44—Constructional features of the ultrasonic, sonic or infrasonic diagnostic device
- A61B8/4411—Device being modular
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
- A61B8/44—Constructional features of the ultrasonic, sonic or infrasonic diagnostic device
- A61B8/4444—Constructional features of the ultrasonic, sonic or infrasonic diagnostic device related to the probe
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
- A61B8/46—Ultrasonic, sonic or infrasonic diagnostic devices with special arrangements for interfacing with the operator or the patient
- A61B8/461—Displaying means of special interest
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
- A61B8/52—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
- A61B8/52—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves
- A61B8/5207—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves involving processing of raw data to produce diagnostic data, e.g. for generating an image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20212—Image combination
- G06T2207/20221—Image fusion; Image merging
Landscapes
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Medical Informatics (AREA)
- Animal Behavior & Ethology (AREA)
- Radiology & Medical Imaging (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Biomedical Technology (AREA)
- Heart & Thoracic Surgery (AREA)
- Biophysics (AREA)
- Molecular Biology (AREA)
- Surgery (AREA)
- Pathology (AREA)
- General Health & Medical Sciences (AREA)
- Public Health (AREA)
- Veterinary Medicine (AREA)
- Computer Vision & Pattern Recognition (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Ultra Sonic Daignosis Equipment (AREA)
Abstract
本发明提供一种便携式增强现实超声影像可视化方法、装置及系统，包括：通过预设的超声探头模块扫描患者身体得到超声图像；所述超声图像通过预设的三维定位模块进行接收，根据超声图像序列的散班噪声结合惯性测量单元对三维空间位置进行预估；将超声图像传送至预设的图像处理与融合模块，通过所述图像处理与融合模块将二维的超声图像根据三维空间位置转化为三维模型，并进行畸变预处理；将所述三维模型与二维的超声图像进行融合渲染，并发送至预设的光学投影模块进行图像显示。本发明解决了现有医疗超声成像系统无法直观展示具有视差信息的三维图像且便携性差的问题。
Description
技术领域
本发明涉及医疗成像技术领域，尤其涉及一种便携式增强现实超声影像可视化方法、装置及系统。
背景技术
超声图像具有成像快、实时性好、对人体无损伤等优点。目前临床上的急诊超声、重症超声均属于便携式超声的范畴。医生能够更加清楚的了解病人的生命体征，快速诊断出患者体内的潜在威胁，从而做出及时的判断和救治。
市面上可采用的便携超声系统图像一般只能显示在二维显示器上，难以呈现出生理结构在深度方向上的前后差异和位置关系。另外，医生也需要准确的三维空间信息来操纵相关工具和器械。为了获取三维结构关系，医生需要多次转换探头位置，反复观察显示器，在大脑内重构器官组织之间的三维关系做出判断，不仅耗费大量时间，同时也增大了误判的几率。因此，实际应用中，需要三维超声来解决这个难题，帮助医生全面了解患者体内空间解剖结构，进一步实现精准医疗。因此三维超声可视化系统具有广阔的应用场景和医护的需求，同时，为了解决普通超声笨重庞大的问题，以便急救时携带，兼具三维显示特性和便携特性的超声可视化设备亟待研究。
目前急救超声设备主要面临的临床问题如下：第一：超声图像显示缺乏直观性。显示界面多为二维显示，虽然可以为医生和科学工作者提供所需影像信息，但一次只能看到一个切面、缺乏准确的三维空间结构信息。医生需要反复变换探头位置观察屏幕，才能在头脑中构建出需要的信息，信息获取过程低效，有相当长的时间浪费且难以观察到感兴趣区域的空间结构信息与组织间的空间关系，影响医生的分析与判断。另外，只有熟悉目标组织结构、有着丰富临床经验的医师才能根据多种信息综合做出准确的判断，也需要消耗大量培训成本。第二：无法兼顾便携性和三维显示。市面上存在可用于超声的三维显示设备，但产品非常少，且大多笨重，仅适用于医院内，没有专门用于急救场合的超声三维可视化装备。所以需要一个集便携性、快速成像和三维显示直观性的新型便携超声可视化系统有助于解决普通超声的缺点，为医生提供快速可得、直观易懂的患者内部信息，增加更好的空间和深度感知功能，辅助医生在急救场景操作相关工具和器械，做出最好的处理，增强患者存活率。
发明内容
本发明提供一种便携式增强现实超声影像可视化方法、装置及系统，用以解决现有医疗超声成像系统无法直观展示具有视差信息的三维图像且便携性差的问题。
本发明提供一种便携式增强现实超声影像可视化方法，包括：
通过预设的超声探头模块扫描患者身体得到超声图像；
所述超声图像通过预设的三维定位模块进行接收，并对三维空间位置进行预估；
将超声图像传送至预设的图像处理与融合模块，通过所述图像处理与融合模块将二维的超声图像根据三维空间位置转化为三维模型，并进行畸变预处理；
将所述三维模型与二维的超声图像进行融合渲染，并发送至预设的光学投影模块进行图像显示。
根据本发明提供的一种便携式增强现实超声影像可视化方法，所述通过预设的超声探头模块扫描患者身体得到超声图像，具体包括：
通过所述超声探头模块的超声探头采集二维超声图像；
对所述二维超声图像针对病灶和解剖特征进行实时分割处理，将处理后的二维超声图像传送至三维定位模块。
根据本发明提供的一种便携式增强现实超声影像可视化方法，所述超声图像通过预设的三维定位模块进行接收，并对三维空间位置进行预估，具体包括：
所述三维定位模块利用自动位方案通过分析超声图像特征估计两帧图像间的相邻位姿，根据散斑的相关现象，在相邻两帧超声图像上，解相关与两个图像之间的距离成正比；
将所获得的图像划分为小的子区域，计算得到的互相关值可用于分析相邻二维图像的相对位姿；
利用预训练完成的卷积神经网络估计相邻两帧超声图像的六自由度相对空间位姿作为输出，估计超声探头的空间三维坐标，完成对三维空间位置的预估。
根据本发明提供的一种便携式增强现实超声影像可视化方法，所述将超声图像传送至预设的图像处理与融合模块，通过所述图像处理与融合模块将二维的超声图像根据三维空间位置转化为三维模型，并进行畸变预处理，具体包括：
通过所述图像处理与融合模块对超声图像进行滤波处理去除噪声，并通过深度学习网络进行实时分割，得到感兴趣区域的平面信息；
将所述平面信息根据三维定位信息转换为三维模型，通过畸变校准对曲面镜带来的变形进行补偿，完成畸变预处理。
根据本发明提供的一种便携式增强现实超声影像可视化方法，将所述三维模型与二维的超声图像进行融合渲染，并发送至预设的光学投影模块进行图像显示，具体包括：
选择渲染对象，将所述渲染对象载入到渲染空间内；
根据三维显示器的物理参数设置多个虚拟相机拍摄渲染对象获得多视点视图，模拟从三维医学图像发出的每一条光线通过透镜阵列的透镜中心记录到对应的基元图像的过程，生成动态的基元图像用于三维显示；
生成的基元图像传输到高分辨率二维平面显示器上，并经过二维平面显示器上的微透镜调制，在微透镜阵列附近形成具有多角度空间信息的裸眼三维影像，三维虚拟影像经过半透半反镜反射后可以在患者体内原位显示采集到的超声信息。
根据本发明提供的一种便携式增强现实超声影像可视化方法，所述光学投影模块采用曲面半透半反元件，以放大三维显示器所显示的图像；
其中，曲面半透半反元件可以是球面或非球面的反射元件，或者采用柱面的反射元件，在采用曲面元件的情况下，可以使用屏幕尺寸更小更轻便的三维显示器。
本发明还提供一种便携式增强现实超声影像可视化装置，所述装置包括：
超声探头、主机、三维显示器和半透半反元件；
所述超声探头与主机连接，通过所述超声探头扫描人体将扫描的图像传送至主机；
所述主机对接收到的扫描图像进行处理，所述主机与三维显示器连接，所述三维显示器包括二维显示器和微透镜阵列，通过微透镜阵列对二维显示器上显示的图像进行调制，能够在空间中复现三维物体的光场，使观察者通过肉眼直接观察到三维信息；
所述半透半反元件设置在三维显示器下方，所述半透半反元件通过平面镜或曲面镜构成，所述三维显示器发出的光线被半透半反元件反射，同时人体发出的光线被半透半反元件透视，两者融合实现增强显示可视化，使超声图像原位显示在患者体内。
本发明还提供一种便携式增强现实超声影像可视化系统，包括：
扫描模块，用于通过预设的超声探头模块扫描患者身体得到超声图像；
三维定位模块，用于所述超声图像通过预设的三维定位模块进行接收，并对三维空间位置进行预估；
图像处理模块，用于将超声图像传送至预设的图像处理与融合模块，通过所述图像处理与融合模块将二维的超声图像根据三维空间位置转化为三维模型，并进行畸变预处理；
图像展示模块，用于将所述三维模型与二维的超声图像进行融合渲染，并发送至预设的光学投影模块进行图像显示。
本发明还提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如上述任一种所述便携式增强现实超声影像可视化方法。
本发明还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现如上述任一种所述便携式增强现实超声影像可视化方法。
本发明还提供一种计算机程序产品，包括计算机程序，所述计算机程序被处理器执行时实现如上述任一种所述便携式增强现实超声影像可视化方法。
本发明提供的一种便携式增强现实超声影像可视化方法、装置及系统，通过超声探头扫描患者身体，对超声图像进行三维空间位置预估后，进行图像融合渲染处理，最终通过光学投影模块进行展示。满足医生在紧急情况下随身携带使用，在有空间限制的场景下使用。不会造成额外负担。装置整体可折叠，方便随身携带、结合超声设备即时显示。设备可以拆分，允许使用者将探头和显示部分分离使用。超声探头直接与可视化系统连接。通过IMU和超声图像信息进行三维空间定位。屏幕前方增加微透镜阵列，用于实现三维显示。可增加结合实际场景的图像处理功能。可增加基于AI的自动诊断功能。将便携超声扫描图像转为三维立体显示，叠加于人体表面。克服医生视野局限，解决传统系统患者身体和显示屏分离造成的各种不便，帮助医生更直观地看到病理区域，方便急救。
附图说明
为了更清楚地说明本发明或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作以简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本发明提供的一种便携式增强现实超声影像可视化方法的流程示意图之一；
图2是本发明提供的一种便携式增强现实超声影像可视化方法的流程示意图之二；
图3是本发明提供的一种便携式增强现实超声影像可视化方法的流程示意图之三；
图4是本发明提供的一种便携式增强现实超声影像可视化方法的流程示意图之四；
图5是本发明提供的一种便携式增强现实超声影像可视化方法的流程示意图之五；
图6是本发明提供的一种便携式增强现实超声影像可视化系统的模块连接示意图；
图7是本发明提供的空间中进行三维预畸变过程示意图；
图8是本发明提供的电子设备的结构示意图；
图9是本发明提供的一种便携式增强现实超声影像可视化装置的结构示意图。
附图标记：
1：超声探头；2：主机；3：二维显示屏；4：微透镜阵列；5：半透半返元件；
110：扫描模块；120：三维定位模块；130：图像处理模块；140：图像展示模块；
810：处理器；820：通信接口；830：存储器；840：通信总线。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚，下面将结合本发明中的附图，对本发明中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
下面结合图1-图5描述本发明的一种便携式增强现实超声影像可视化方法，包括：
S100、通过预设的超声探头模块扫描患者身体得到超声图像；
S200、所述超声图像通过预设的三维定位模块进行接收，并对三维空间位置进行预估；
S300、将超声图像传送至预设的图像处理与融合模块，通过所述图像处理与融合模块将二维的超声图像根据三维空间位置转化为三维模型，并进行畸变预处理；
S400、将所述三维模型与二维的超声图像进行融合渲染，并发送至预设的光学投影模块进行图像显示。
本发明通过制备超声原位可视化便携式装置，设计便携式小型化三维光学可视装置，将超声影像通过光学元件投射到使用者眼中，并能够直接显示在患者体内超声扫描的对应位置，实现体内损伤的透射式观察，帮助医生快速判断体内出血点，采取后续治疗措施。通过影像智能分析与融合渲染系统对出血位置与内脏破损进行分析，在超声影像上叠加出血区域以及破损内脏三维模型，辅助医生直观判断伤情。结合裸眼三维显示技术，令出血影像显示在患者体内的准确位置上，实现出血点的快速高效判断，辅助医生采取按压、绑带等止血措施。整个设计见系统概念图。医生可以直接握持设备进行超声图像扫描，扫描得到的图像显示在超声探头扫描的对应空间位置上，通过半透半反元件被医生直接观察到。在设备中也可以实现二维超声图像与三维出血块或破损器官的融合显示。
通过预设的超声探头模块扫描患者身体得到超声图像，具体包括：
S101、通过所述超声探头模块的超声探头采集二维超声图像；
S102、对所述二维超声图像针对病灶和解剖特征进行实时分割处理，将处理后的二维超声图像传送至三维定位模块。
超声探头模块采用一个常见的腹腔超声探头，也可以置换为其它超声探头。探头与患者身体接触后扫描得到超声图像。
超声图像通过预设的三维定位模块进行接收，并对三维空间位置进行预估，具体包括：
S201、所述三维定位模块利用自动位方案通过分析超声图像特征估计两帧图像间的相邻位姿，根据散斑的相关现象，在相邻两帧超声图像上，解相关与两个图像之间的距离成正比；
S202、将所获得的图像划分为小的子区域，计算得到的互相关值可用于分析相邻二维图像的相对位姿；
S203、利用预训练完成的卷积神经网络估计相邻两帧超声图像的六自由度相对空间位姿作为输出，估计超声探头的空间三维坐标，完成对三维空间位置的预估。
本发明中，三维定位模块采用一种基于超声图像的自定位方案，以实现对超声探头无需外置导航的自主定位。超声的散斑反映着超声扫描底物的性质以及特征，通过散斑特征可以研究超声探头的相对于扫描底物的运动信息。在我们的方法中，通过分析超声图像特征(例如散斑)来估计两帧图像间的相邻位姿。根据散斑的相关现象，在相邻两帧超声图像上，解相关与两个图像之间的距离成正比。为了获得两个图像之间的相对平移和旋转，将所获得的图像划分为小的子区域。计算得到的互相关值可用于分析相邻二维图像的相对位姿，这里的相关性用归一化互相关系数表示，计算公式如下：
其中，f(x,y)是超声图像，
是模板图像的均值，
是f(x,t)在模板区域下的均值。更进一步地，我们利用卷积神经网络来估计相邻两帧超声图像的六自由度相对空间位姿。通过将相邻的两帧超声图像和固定在超声探头的惯性测量单元IMU采集的旋转信息作为输入，训练卷积神经网络，得到两帧图像的六自由度空间相对位姿作为输出，进而估计超声探头的空间三维坐标。
将超声图像传送至预设的图像处理与融合模块，通过所述图像处理与融合模块将二维的超声图像根据三维空间位置转化为三维模型，并进行畸变预处理，具体包括：
S301、通过所述图像处理与融合模块对超声图像进行滤波处理去除噪声，并通过深度学习网络进行实时分割，得到感兴趣区域的平面信息；
S302、将所述平面信息根据三维定位信息转换为三维模型，通过畸变校准对曲面镜带来的变形进行补偿，完成畸变预处理。
在本发明中，由于采用曲面镜对现实图像进行放大，会带来额外三维畸变。在这里需要将重建得到的三维模型先进行畸变预处理，通过畸变校准对曲面镜带来的变形进行补偿。
为保证在经过曲面镜后的三维图像具有正确的空间位置信息，需要对成像前物(三维IP图像)的形状预畸变，即要对被投影超声影像的体数据或者三角面片数据进行预畸变。首先我们已经曲面镜下的放大倍率p，将体数据的三维坐标先乘以1/p。经过曲面镜后体数据或者三角面片数据同时经过放大和三维畸变。以下为具体的预畸变算法。
假设在预畸变过程中不变的参考面为微透镜阵列所在平面。记任一体数据点坐标为(xtb,ytb,ztb)，参考面上与之对应(X轴Y轴坐标相同)的一点为(xo,yo,zo)，预畸变后该点的坐标为(xob,yob,zob)。像上参考面上的点对应的像点为(xi,yi,zi)，像上原物点对应的像点为(xib,yib,zib)。整个预畸变过程的示意图如图7所示。
首先将原体数据坐标点(xtb,ytb,ztb)通过给定比例的伸缩转化为对应的像坐标点(xib,yib,zib)，再将像坐标点通过凹面镜物像关系转化为预畸变后的物坐标点(xob,yob,zob)。
两个转化过程的计算方法为，
其中(xi,yi,zi)由(xo,yo,zo)根据凹面镜物像关系得到。
通过这两个公式，可以将原本物体的体数据预畸变。预畸变后的体数据经过计算机渲染后的图像经过凹面镜缩放，可以得到正常的像。对于采用三角片面数据格式，预畸变算法的实现与体数据一致。
将所述三维模型与二维的超声图像进行融合渲染，并发送至预设的光学投影模块进行图像显示，具体包括：
S401、选择渲染对象，将所述渲染对象载入到渲染空间内；
S402、根据三维显示器的物理参数设置多个虚拟相机拍摄渲染对象获得多视点视图，模拟从三维医学图像发出的每一条光线通过透镜阵列的透镜中心记录到对应的基元图像的过程，生成动态的基元图像用于三维显示；
S403、生成的基元图像传输到高分辨率二维平面显示器上，并经过二维平面显示器上的微透镜调制，在微透镜阵列附近形成具有多角度空间信息的裸眼三维影像，三维虚拟影像经过半透半反镜反射后可以在患者体内原位显示采集到的超声信息。
本发明对三维模型或体数据进行预畸变处理后，可以将三维模型或者三维模型与二维超声影像融合进行三维渲染。首先选择三维渲染的对象，这里可以选择渲染二维超声平面图像，三维感兴趣器官模型或者两者的融合图像。将渲染对象载入到渲染空间内。根据三维显示器的物理参数设置多个虚拟相机拍摄渲染对象获得多视点视图，模拟从三维医学图像发出的每一条光线通过透镜阵列的透镜中心记录到对应的基元图像的过程，生成动态的基元图像用于三维显示。生成的基元图像传输到高分辨率二维平面显示器上，并经过二维平面显示器上的微透镜调制，可以在微透镜阵列附近形成具有多角度空间信息的裸眼三维影像，能够让观察者直接看到二维超声影像和三维器官模型，并提供深度感知。三维虚拟影像经过半透半反镜反射后可以在患者体内原位显示采集到的超声信息。
为实现装置的小型化，采用曲面半透半反元件，以放大三维显示器所显示的图像。其中，曲面半透半反元件可以是球面或非球面的反射元件(在二维上采用曲面)，也可以采用柱面的反射元件(在一维上采用曲面)。在采用曲面元件的情况下，可以使用屏幕尺寸更小更轻便的三维显示器。根据光学设计图，凹面镜会将反射的光线向内汇聚，当物体与凹面镜的距离小于一倍焦距时，反射后即可得到正立放大的虚像。根据制镜方程式：
其中，d0为屏幕到镜面的距离，di为像到镜面的距离，f为凹面镜的焦距，d0与di的比值即物体高度与像高的比值。当d0＝f/2时，即可得到放大为原来2倍的像。因此可以通过凹面半透半反元件，将反射得到的像放大。也可以采用更小的d0以获得更高的放大倍率。由此，装备就可以使用更小的三维显示器，更加便于使用。
在超声原位可视化便携式装置中，可以进一步集成自动AI诊断与提示模块，帮助使用者快速判断患者的出血或危急程度。例如在评估心脏和血管状态时，使用CNN等人工智能方法自动化实现超声图像处理，包括疾病检测，图像分割，结构和功能量化，输出心室容积、射血分数等指征，并给出心血管疾病的初步判断。深度学习神经网络被集成在主机内部的芯片上，以实现超声图像与诊断提示的同步输出。
通过本发明提供的一种便携式增强现实超声影像可视化方法，通过超声探头扫描患者身体，对超声图像进行三维空间位置预估后，进行图像融合渲染处理，最终通过光学投影模块进行展示。满足医生在紧急情况下随身携带使用，在有空间限制的场景下使用。不会造成额外负担。装置整体可折叠，方便随身携带、结合超声设备即时显示。设备可以拆分，允许使用者将探头和显示部分分离使用。超声探头直接与可视化系统连接。通过IMU和超声图像信息进行三维空间定位。屏幕前方增加微透镜阵列，用于实现三维显示。可增加结合实际场景的图像处理功能。可增加基于AI的自动诊断功能。将便携超声扫描图像转为三维立体显示，叠加于人体表面。克服医生视野局限，解决传统系统患者身体和显示屏分离造成的各种不便，帮助医生更直观地看到病理区域，方便急救。
参考图9，本发明还公开了一种便携式增强现实超声影像可视化装置，所述装置包括：
超声探头1、主机2、三维显示器和半透半反元件5；
所述超声探头1与主机2连接，通过所述超声探头1扫描人体将扫描的图像传送至主机2，主机2部分包括存储、运算、超声数据接收、IMU定位、显示数据输出；
所述主机2对接收到的扫描图像进行处理，所述主机2与三维显示器连接，所述三维显示器包括二维显示器3和微透镜阵列4，通过微透镜阵列4对二维显示器上显示的图像进行调制，能够在空间中复现三维物体的光场，使观察者通过肉眼直接观察到三维信息；
所述半透半反元件5设置在三维显示器下方，所述半透半反元件5通过平面镜或曲面镜构成，曲面镜能够放大屏幕上显示的超声图像。所述三维显示器发出的光线被半透半反元件5反射，同时人体发出的光线被半透半反元件5透视，两者融合实现增强显示可视化，使超声图像原位显示在患者体内。
本发明中三维显示器除了采用二维显示器3和微透镜阵列4组合实现，还能通过二维显示器和柱透镜阵列、二维显示器和视差光栅或者二维显示器和全息光元件组成。主机2与三维显示器连接，将渲染好的二维图像、三维模型图像或两者融合图像在三维显示器上输出，超声探头1在患者身上扫描得到二维超声图像，图像被传送至主机2后通过算法实现产生探头位置的三维定位，并实时分割出血块、破损器官等感兴趣区域。
参考图6，本发明还公开了一种便携式增强现实超声影像可视化系统，包括：
扫描模块110，用于通过预设的超声探头模块扫描患者身体得到超声图像；
三维定位模块120，用于所述超声图像通过预设的三维定位模块进行接收，并对三维空间位置进行预估；
图像处理模块130，用于将超声图像传送至预设的图像处理与融合模块，通过所述图像处理与融合模块将二维的超声图像根据三维空间位置转化为三维模型，并进行畸变预处理；
图像展示模块140，用于将所述三维模型与二维的超声图像进行融合渲染，并发送至预设的光学投影模块进行图像显示。
其中，扫描模块110通过所述超声探头模块的超声探头采集二维超声图像；
对所述二维超声图像针对病灶和解剖特征进行实时分割处理，将处理后的二维超声图像传送至三维定位模块。
三维定位模块120，所述三维定位模块利用自动位方案通过分析超声图像特征估计两帧图像间的相邻位姿，根据散斑的相关现象，在相邻两帧超声图像上，解相关与两个图像之间的距离成正比；
将所获得的图像划分为小的子区域，计算得到的互相关值可用于分析相邻二维图像的相对位姿；
利用预训练完成的卷积神经网络估计相邻两帧超声图像的六自由度相对空间位姿作为输出，估计超声探头的空间三维坐标，完成对三维空间位置的预估。
图像处理模块130，通过所述图像处理与融合模块对超声图像进行滤波处理去除噪声，并通过深度学习网络进行实时分割，得到感兴趣区域的平面信息；
将所述平面信息根据三维定位信息转换为三维模型，通过畸变校准对曲面镜带来的变形进行补偿，完成畸变预处理。
图像展示模块140，选择渲染对象，将所述渲染对象载入到渲染空间内；
根据三维显示器的物理参数设置多个虚拟相机拍摄渲染对象获得多视点视图，模拟从三维医学图像发出的每一条光线通过透镜阵列的透镜中心记录到对应的基元图像的过程，生成动态的基元图像用于三维显示；
生成的基元图像传输到高分辨率二维平面显示器上，并经过二维平面显示器上的微透镜调制，在微透镜阵列附近形成具有多角度空间信息的裸眼三维影像，三维虚拟影像经过半透半反镜反射后可以在患者体内原位显示采集到的超声信息。
利用本发明提供的一种便携式增强现实超声影像可视化系统，通过超声探头扫描患者身体，对超声图像进行三维空间位置预估后，进行图像融合渲染处理，最终通过光学投影模块进行展示。满足医生在紧急情况下随身携带使用，在有空间限制的场景下使用。不会造成额外负担。装置整体可折叠，方便随身携带、结合超声设备即时显示。设备可以拆分，允许使用者将探头和显示部分分离使用。超声探头直接与可视化系统连接。通过IMU和超声图像信息进行三维空间定位。屏幕前方增加微透镜阵列，用于实现三维显示。可增加结合实际场景的图像处理功能。可增加基于AI的自动诊断功能。将便携超声扫描图像转为三维立体显示，叠加于人体表面。克服医生视野局限，解决传统系统患者身体和显示屏分离造成的各种不便，帮助医生更直观地看到病理区域，方便急救。
图8示例了一种电子设备的实体结构示意图，如图8所示，该电子设备可以包括：处理器(processor)810、通信接口(Communications Interface)820、存储器(memory)830和通信总线840，其中，处理器810，通信接口820，存储器830通过通信总线840完成相互间的通信。处理器810可以调用存储器830中的逻辑指令，以执行一种便携式增强现实超声影像可视化方法，该方法包括：通过预设的超声探头模块扫描患者身体得到超声图像；
所述超声图像通过预设的三维定位模块进行接收，并对三维空间位置进行预估；
将超声图像传送至预设的图像处理与融合模块，通过所述图像处理与融合模块将二维的超声图像根据三维空间位置转化为三维模型，并进行畸变预处理；
将所述三维模型与二维的超声图像进行融合渲染，并发送至预设的光学投影模块进行图像显示。
此外，上述的存储器830中的逻辑指令可以通过软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
另一方面，本发明还提供一种计算机程序产品，所述计算机程序产品包括计算机程序，计算机程序可存储在非暂态计算机可读存储介质上，所述计算机程序被处理器执行时，计算机能够执行上述各方法所提供的一种便携式增强现实超声影像可视化方法，该方法包括：通过预设的超声探头模块扫描患者身体得到超声图像；
所述超声图像通过预设的三维定位模块进行接收，并对三维空间位置进行预估；
将超声图像传送至预设的图像处理与融合模块，通过所述图像处理与融合模块将二维的超声图像根据三维空间位置转化为三维模型，并进行畸变预处理；
将所述三维模型与二维的超声图像进行融合渲染，并发送至预设的光学投影模块进行图像显示。
又一方面，本发明还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现以执行上述各方法提供的一种便携式增强现实超声影像可视化方法，该方法包括：通过预设的超声探头模块扫描患者身体得到超声图像；
所述超声图像通过预设的三维定位模块进行接收，并对三维空间位置进行预估；
将超声图像传送至预设的图像处理与融合模块，通过所述图像处理与融合模块将二维的超声图像根据三维空间位置转化为三维模型，并进行畸变预处理；
将所述三维模型与二维的超声图像进行融合渲染，并发送至预设的光学投影模块进行图像显示。
以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下，即可以理解并实施。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件。基于这样的理解，上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行各个实施例或者实施例的某些部分所述的方法。
最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。
Claims (10)
1.一种便携式增强现实超声影像可视化方法，其特征在于，包括：
通过预设的超声探头模块扫描患者身体得到超声图像；
所述超声图像通过预设的三维定位模块进行接收，并对三维空间位置进行预估；
将超声图像传送至预设的图像处理与融合模块，通过所述图像处理与融合模块将二维的超声图像根据三维空间位置转化为三维模型，并进行畸变预处理；
将所述三维模型与二维的超声图像进行融合渲染，并发送至预设的光学投影模块进行图像显示。
2.根据权利要求1所述的便携式增强现实超声影像可视化方法，其特征在于，所述通过预设的超声探头模块扫描患者身体得到超声图像，具体包括：
通过所述超声探头模块的超声探头采集二维超声图像；
对所述二维超声图像针对病灶和解剖特征进行实时分割处理，将处理后的二维超声图像传送至三维定位模块。
3.根据权利要求1所述的便携式增强现实超声影像可视化方法，其特征在于，所述超声图像通过预设的三维定位模块进行接收，并对三维空间位置进行预估，具体包括：
所述三维定位模块利用自动位方案通过分析超声图像特征估计两帧图像间的相邻位姿，根据散斑的相关现象，在相邻两帧超声图像上，解相关与两个图像之间的距离成正比；
将所获得的图像划分为小的子区域，计算得到的互相关值可用于分析相邻二维图像的相对位姿；
利用预训练完成的卷积神经网络估计相邻两帧超声图像的六自由度相对空间位姿作为输出，估计超声探头的空间三维坐标，完成对三维空间位置的预估。
4.根据权利要求1所述的便携式增强现实超声影像可视化方法，其特征在于，所述将超声图像传送至预设的图像处理与融合模块，通过所述图像处理与融合模块将二维的超声图像根据三维空间位置转化为三维模型，并进行畸变预处理，具体包括：
通过所述图像处理与融合模块对超声图像进行滤波处理去除噪声，并通过深度学习网络进行实时分割，得到感兴趣区域的平面信息；
将所述平面信息根据三维定位信息转换为三维模型，通过畸变校准对曲面镜带来的变形进行补偿，完成畸变预处理。
5.根据权利要求1所述的便携式增强现实超声影像可视化方法，其特征在于，将所述三维模型与二维的超声图像进行融合渲染，并发送至预设的光学投影模块进行图像显示，具体包括：
选择渲染对象，将所述渲染对象载入到渲染空间内；
根据三维显示器的物理参数设置多个虚拟相机拍摄渲染对象获得多视点视图，模拟从三维医学图像发出的每一条光线通过透镜阵列的透镜中心记录到对应的基元图像的过程，生成动态的基元图像用于三维显示；
生成的基元图像传输到高分辨率二维平面显示器上，并经过二维平面显示器上的微透镜调制，在微透镜阵列附近形成具有多角度空间信息的裸眼三维影像，三维虚拟影像经过半透半反镜反射后可以在患者体内原位显示采集到的超声信息。
6.根据权利要求1所述的便携式增强现实超声影像可视化方法，其特征在于，所述光学投影模块采用曲面半透半反元件，以放大三维显示器所显示的图像；
其中，曲面半透半反元件可以是球面或非球面的反射元件，或者采用柱面的反射元件，在采用曲面元件的情况下，可以使用屏幕尺寸更小更轻便的三维显示器。
7.一种便携式增强现实超声影像可视化装置，其特征在于，所述装置包括：
超声探头、主机、三维显示器和半透半反元件；
所述超声探头与主机连接，通过所述超声探头扫描人体将扫描的图像传送至主机；
所述主机对接收到的扫描图像进行处理，所述主机与三维显示器连接，所述三维显示器包括二维显示器和微透镜阵列，通过微透镜阵列对二维显示器上显示的图像进行调制，能够在空间中复现三维物体的光场，使观察者通过肉眼直接观察到三维信息；
所述半透半反元件设置在三维显示器下方，所述半透半反元件通过平面镜或曲面镜构成，所述三维显示器发出的光线被半透半反元件反射，同时人体发出的光线被半透半反元件透视，两者融合实现增强显示可视化，使超声图像原位显示在患者体内。
8.一种便携式增强现实超声影像可视化系统，其特征在于，包括：
扫描模块，用于通过预设的超声探头模块扫描患者身体得到超声图像；
三维定位模块，用于所述超声图像通过预设的三维定位模块进行接收，并对三维空间位置进行预估；
图像处理模块，用于将超声图像传送至预设的图像处理与融合模块，通过所述图像处理与融合模块将二维的超声图像根据三维空间位置转化为三维模型，并进行畸变预处理；
图像展示模块，用于将所述三维模型与二维的超声图像进行融合渲染，并发送至预设的光学投影模块进行图像显示。
9.一种电子设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现如权利要求1至6任一项所述便携式增强现实超声影像可视化方法。
10.一种非暂态计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至6任一项所述便携式增强现实超声影像可视化方法。
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN2022117432967 | 2022-12-30 | ||
| CN202211743296 | 2022-12-30 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN116058868A true CN116058868A (zh) | 2023-05-05 |
Family
ID=86181542
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202310020960.3A Pending CN116058868A (zh) | 2022-12-30 | 2023-01-06 | 便携式增强现实超声影像可视化方法、装置及系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN116058868A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| TWI843649B (zh) | 2023-09-05 | 2024-05-21 | 國立臺灣大學 | 擴增實境系統及擴增實境方法 |
-
2023
- 2023-01-06 CN CN202310020960.3A patent/CN116058868A/zh active Pending
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| TWI843649B (zh) | 2023-09-05 | 2024-05-21 | 國立臺灣大學 | 擴增實境系統及擴增實境方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| RU2740259C2 (ru) | Позиционирование датчика ультразвуковой визуализации | |
| WO2010064348A1 (ja) | 医用画像の位置あわせのための情報処理装置、情報処理方法、プログラム | |
| Giancardo et al. | Textureless macula swelling detection with multiple retinal fundus images | |
| US11995818B2 (en) | Synchronized surface and internal tumor detection | |
| US20120053408A1 (en) | Endoscopic image processing device, method and program | |
| JP5822554B2 (ja) | 画像処理装置、画像処理方法、撮影システム及びプログラム | |
| JP2012217770A (ja) | 画像処理装置、その処理方法及びプログラム | |
| JP6304970B2 (ja) | 画像処理装置、画像処理方法 | |
| JP6182045B2 (ja) | 画像処理装置およびその方法 | |
| CN109069119A (zh) | 用于超声胎儿成像的3d图像合成 | |
| US10299763B2 (en) | Ultrasound imaging apparatus and method of controlling the same | |
| US20220012954A1 (en) | Generation of synthetic three-dimensional imaging from partial depth maps | |
| CN110288653B (zh) | 一种多角度超声图像融合方法、系统及电子设备 | |
| CN102893306B (zh) | 医用图像诊断装置及图像处理装置 | |
| CN107854142A (zh) | 医用超声增强现实成像系统 | |
| JP7071240B2 (ja) | 検査支援装置、方法およびプログラム | |
| JP7023196B2 (ja) | 検査支援装置、方法およびプログラム | |
| JP6493885B2 (ja) | 画像位置合せ装置、画像位置合せ装置の作動方法および画像位置合せプログラム | |
| WO2023039353A2 (en) | Real-time super-resolution ultrasound microvessel imaging and velocimetry | |
| JP2008104551A (ja) | 超音波診断装置 | |
| EP3689247B1 (en) | Ultrasound imaging method and ultrasound imaging system for carrying out said method | |
| JP6501796B2 (ja) | 超音波画像のモデル・ベースのセグメンテーションのための取得方位依存特徴 | |
| Lange et al. | Computer-aided-diagnosis (CAD) for colposcopy | |
| CN116058868A (zh) | 便携式增强现实超声影像可视化方法、装置及系统 | |
| KR20230159696A (ko) | 매질의 다중-양식 및/또는 다중-소스 데이터를 처리하는 방법 및 시스템 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |