CN108324246B - 医疗诊断辅助系统及方法 - Google Patents
医疗诊断辅助系统及方法 Download PDFInfo
- Publication number
- CN108324246B CN108324246B CN201810054466.8A CN201810054466A CN108324246B CN 108324246 B CN108324246 B CN 108324246B CN 201810054466 A CN201810054466 A CN 201810054466A CN 108324246 B CN108324246 B CN 108324246B
- Authority
- CN
- China
- Prior art keywords
- image data
- diagnosis
- registration
- dimensional image
- unit
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000003745 diagnosis Methods 0.000 title claims abstract description 95
- 238000000034 method Methods 0.000 title claims description 35
- 230000003190 augmentative effect Effects 0.000 claims abstract description 47
- 238000012545 processing Methods 0.000 claims abstract description 27
- 230000000007 visual effect Effects 0.000 claims abstract description 25
- 210000001835 viscera Anatomy 0.000 claims abstract description 24
- 238000002059 diagnostic imaging Methods 0.000 claims abstract description 16
- 210000001519 tissue Anatomy 0.000 claims description 38
- 238000002591 computed tomography Methods 0.000 claims description 26
- 238000001727 in vivo Methods 0.000 claims description 24
- 238000012800 visualization Methods 0.000 claims description 14
- 238000004364 calculation method Methods 0.000 claims description 13
- 238000009877 rendering Methods 0.000 claims description 9
- 238000005516 engineering process Methods 0.000 claims description 8
- 238000002595 magnetic resonance imaging Methods 0.000 claims description 8
- 238000002600 positron emission tomography Methods 0.000 claims description 7
- 230000001360 synchronised effect Effects 0.000 claims description 7
- 230000002159 abnormal effect Effects 0.000 claims description 4
- 210000004872 soft tissue Anatomy 0.000 claims description 4
- 238000005481 NMR spectroscopy Methods 0.000 claims description 3
- 108010001267 Protein Subunits Proteins 0.000 claims 1
- 230000000694 effects Effects 0.000 abstract description 10
- 210000000056 organ Anatomy 0.000 description 16
- 210000004556 brain Anatomy 0.000 description 12
- 230000008569 process Effects 0.000 description 10
- 210000004204 blood vessel Anatomy 0.000 description 9
- 238000003384 imaging method Methods 0.000 description 9
- 238000010586 diagram Methods 0.000 description 8
- 210000004185 liver Anatomy 0.000 description 7
- 230000003902 lesion Effects 0.000 description 5
- 210000002216 heart Anatomy 0.000 description 4
- 238000002604 ultrasonography Methods 0.000 description 4
- 206010028980 Neoplasm Diseases 0.000 description 3
- 238000004458 analytical method Methods 0.000 description 3
- 230000002490 cerebral effect Effects 0.000 description 3
- 238000013170 computed tomography imaging Methods 0.000 description 3
- 238000012937 correction Methods 0.000 description 3
- 201000010099 disease Diseases 0.000 description 3
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 3
- 241001465754 Metazoa Species 0.000 description 2
- 238000004891 communication Methods 0.000 description 2
- 238000007405 data analysis Methods 0.000 description 2
- 238000007689 inspection Methods 0.000 description 2
- 238000007794 visualization technique Methods 0.000 description 2
- 238000010521 absorption reaction Methods 0.000 description 1
- 230000017531 blood circulation Effects 0.000 description 1
- 230000036772 blood pressure Effects 0.000 description 1
- 230000036760 body temperature Effects 0.000 description 1
- 210000000988 bone and bone Anatomy 0.000 description 1
- 150000001875 compounds Chemical class 0.000 description 1
- 238000010968 computed tomography angiography Methods 0.000 description 1
- 239000012141 concentrate Substances 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000001747 exhibiting effect Effects 0.000 description 1
- 239000011521 glass Substances 0.000 description 1
- 125000004435 hydrogen atom Chemical group [H]* 0.000 description 1
- 230000037323 metabolic rate Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000000877 morphologic effect Effects 0.000 description 1
- 230000036285 pathological change Effects 0.000 description 1
- 231100000915 pathological change Toxicity 0.000 description 1
- 238000001959 radiotherapy Methods 0.000 description 1
- 230000003238 somatosensory effect Effects 0.000 description 1
- 238000001356 surgical procedure Methods 0.000 description 1
- 238000002834 transmittance Methods 0.000 description 1
- 230000002792 vascular Effects 0.000 description 1
- 231100000216 vascular lesion Toxicity 0.000 description 1
Images
Classifications
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
- A61B6/52—Devices using data or image processing specially adapted for radiation diagnosis
Landscapes
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Engineering & Computer Science (AREA)
- Medical Informatics (AREA)
- Public Health (AREA)
- Surgery (AREA)
- Veterinary Medicine (AREA)
- Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- Biophysics (AREA)
- Pathology (AREA)
- Biomedical Technology (AREA)
- Heart & Thoracic Surgery (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Molecular Biology (AREA)
- Animal Behavior & Ethology (AREA)
- Psychiatry (AREA)
- Physiology (AREA)
- Artificial Intelligence (AREA)
- Signal Processing (AREA)
- High Energy & Nuclear Physics (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Optics & Photonics (AREA)
- Radiology & Medical Imaging (AREA)
- Apparatus For Radiation Diagnosis (AREA)
- Measuring And Recording Apparatus For Diagnosis (AREA)
Abstract
本发明涉及医疗器械技术领域，尤其涉及一种医疗诊断辅助系统，可包括：医疗成像设备，用于获取诊断对象的三维图像数据；传感器，用于获取诊断对象的配准参数；增强现实设备包括用于根据所述三维图像数据及所述配准参数生成配准模型的配准单元、用于实时获取所述诊断对象的当前图像数据的摄像单元、用于根据所述三维图像数据和所述配准模型生成诊断对象的可视化图像数据的图像处理单元，该图像处理单元可将所述可视化图像数据与所述当前图像数据融合生成增强现实图像。该系统能够实时基于观察者的角度提供病患体内部器官相应的三维图像，使得观察者能够更清晰的定位内部器官与体表的位置关系，从而有效提升病患诊断的准确性及治疗的效果。
Description
技术领域
本发明涉及医疗器械技术领域，特别是涉及医疗诊断辅助系统及方法。
背景技术
在对患者进行诊断及治疗的过程中，一般只能直接观察到人体表面的器官，而无法比较直观的对人体内部的诸如心脏、大脑及骨骼等器官进行观察，虽然可采用医疗成像设备获取部分器官及部位的界面图，但其观察的角度有限，进而会给病患的诊断及治疗带来诸多不确定的因素，从而降低了诊断的准确性及治疗的效果。
发明内容
基于此，有必要针对上述技术问题提供一种医疗诊断辅助系统及方法，能够实时基于观察者的角度提供病患体内部器官相应的三维图像，使得医生能够对人体内部器官进行多角度的观察，进而有效提升病患诊断的准确性及治疗的效果。
一种医疗诊断辅助系统，可包括：
医疗成像设备，用于获取诊断对象的三维图像数据；
传感器，用于获取诊断对象的配准参数；以及
增强现实设备(Augmented Reality，简称AR)，包括配准单元、摄像单元、图像处理单元和显示单元；
其中，所述配准单元用于根据所述三维图像数据及所述配准参数生成配准模型；所述摄像单元用于实时获取所述诊断对象的当前图像数据；所述图像处理单元用于根据所述三维图像数据和所述配准模型生成诊断对象的可视化图像数据，并将所述可视化图像数据与所述当前图像数据融合生成增强现实图像；所述显示设备用于显示所述增强现实图像。
上述的医疗诊断辅助系统，基于所获取的三维模型图像数据及配准参数生成配准模型，并基于该配准模型生成三维图像数据的可视化图像数据，后续将可视化图像数据与所获取的当前图像数据融合生成增强现实图像，进而通过显示该增强现实图像，实现基于观察者的角度实时提供诊断对象(如患者)体内部器官相应的三维图像，使得医生能够对人体内部器官进行多角度的观察，进而有效提升病患诊断的准确性及治疗的效果。
在一个可选的实施例中，所述诊断对象的三维图像数据包括诊断对象的体内组织的三维图像数据；所述图像处理单元用于根据所述三维图像数据和所述配准模型生成诊断对象的可视化图像数据包括：
所述图像处理单元用于根据所述配准模型并基于可视化计算技术将所述诊断对象的体内组织的三维图像数据渲染为所述可视化图像数据。
在一个可选的实施例中，所述可视化图像数据为基于所述配准模型修正后的图像数据。
在一个可选的实施例中，所述医疗成像设备还包括电子计算机断层扫描单元(Computed Tomography，简称CT)，所述辅助成像单元还包括核磁共振子单元(MagneticResonance Imaging，简称MRI)和/或正电子发射型计算机断层显像子单元(PositronEmission Computed Tomography，简称PET)；
其中，所述电子计算机断层扫描单元用于采集诊断对象的三维图像数据，所述核磁共振子单元用于采集所述诊断对象体内的软组织图像数据，所述正电子发射型计算机断层显像子单元用于采集所述诊断对象体内的异常组织图像数据。
在一个可选的实施例中，所述配准模型用于确定所述三维图像数据与当前诊断对象的空间关系；以及
所述配准参数包括所述诊断对象相对于所述摄像单元的视角、所述诊断对象的实时位置和所述诊断对象的体态信息中的至少一种。
在一个可选的实施例中，所述诊断对象的体态信息包括体表运动状态和体内器官的运动状态；所述传感器包括：
可穿戴传感单元，用于采集所述诊断对象与所述增强现实设备之间的相对位置、所述诊断对象的体表运动状态和所述体内器官的运动状态。
在一个可选的实施例中，所述医疗诊断辅助系统还包括：
超声波设备，用于通过扫描所述诊断对象体内器官以对所述可穿戴体感传感设备所采集的所述诊断对象体内器官的运动状态进行修正。
在一个可选的实施例中，上述的医疗诊断辅助系统还可包括：
远程同步显示设备，所述远程同步显示设备通过云端实时数据库与所述增强现实设备连接，用于与所述显示单元同步显示所述诊断对象的增强现实图像。
一种医疗诊断辅助方法，可包括：
获取诊断对象的三维图像数据和所述诊断对象的配准参数；
根据所述三维图像数据及所述配准参数生成配准模型；
实时获取所述诊断对象的当前图像数据；
根据所述三维图像数据和所述配准模型生成诊断对象的可视化图像数据；
将所述可视化图像数据与实时所获取的当前图像数据融合生成增强现实图像。
上述的医疗诊断辅助方法，通过基于所获取的三维模型图像数据及配准参数生成配准模型生成三维图像数据的可视化图像数据，后续将该可视化图像数据与所获取的当前图像数据融合生成增强现实图像，进而可实现基于观察者的角度实时提供诊断对象(如患者)体内部器官相应的三维图像，使得医生能够对人体内部器官进行多角度的观察，以有效提升病患诊断的准确性及治疗的效果。
在一个可选的实施例中，所述诊断对象的三维图像数据包括所述诊断对象的体内组织的三维图像数据；所述根据所述三维图像数据和所述配准模型生成诊断对象的可视化图像数据，包括：
获取所述诊断对象的体内组织的三维图像数据；
根据所述配准模型并基于可视化计算技术将所述诊断对象的体内组织的三维图像数据渲染为所述可视化图像数据；或者
根据所述配准模型并基于可视化计算技术将所述诊断对象的体内组织的三维图像数据渲染为初始可视化图像数据，基于所述配准模型进行修正以将所述初始可视化图像数据修正为所述可视化图像数据。
在一个可选的实施例中，所述配准模型用于确定所述三维图像数据与当前诊断对象的空间关系；以及
所述配准参数包括所述诊断对象相对于所述摄像单元的视角、所述诊断对象的实时位置和所述诊断对象的体态信息中的至少一种。
附图说明
图1是一个实施例中医疗诊断辅助系统的结构示意图；
图2是另一个实施例中医疗诊断辅助系统的结构示意图；
图3是一个实施例中医疗诊断辅助方法的流程示意图；
图4是一个实施例中获取修正的可视化图像数据的流程示意图。
具体实施方式
为了使本发明的目的、技术医疗诊断辅助系统及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
图1是一个实施例中医疗诊断辅助系统的结构图。如图1所示，一种医疗诊断辅助系统，可包括医疗成像设备1、传感器2和增强现实设备(即AR设备)3，该增强现实设备3可包括配准单元31、图像处理单元32、显示单元33及摄像单元34等。配准单元31可分别与医疗成像设备1、传感器2和图像处理单元32连接，显示单元33和摄像单元34还分别连接至该图像处理单元32上。其中，医疗成像设备1可用于获取诊断对象(如患者)的三维图像数据；传感器2可用于获取上述诊断对象的配准参数；摄像单元34可用于实时获取上述诊断对象的当前图像数据；配准单元31可用于根据上述的三维图像数据和配准参数生成配准模型；图像处理单元32可用于根据三维图像数据和配准模型生成诊断对象的可视化图像数据，并可将该可视化图像数据与当前图像数据融合生成增强现实图像；显示单元33则可将该增强现实图像予以显示。
具体地，如图1所示，在利用本实施例中的医疗诊断辅助系统对患者(即诊断对象)进行诊断时，可利用诸如计算机断层成像设备(CT，Computed Tomography)、正电子发射断层成像设备(PET，Positron Emission Tomography)、X光机设备(X-ray Product)、超声设备(Ultrasound)、放射治疗设备(RT，Radiation Treatment)，以及由上述多个设备组合的多模态设备，例如PET-MR(Magnetic Resonance，磁共振设备)设备、PET-CT设备等医疗成像设备1来采集患者的三维图像数据，并将所采集的三维图像数据发送至配准单元31；利用诸如智能手环、智能手表等智能可穿戴设备作为传感器2来采集该患者的配准参数，并将配准参数也发送至配准单元31；利用摄像头等摄像单元34实时采集患者的当前图像数据，并将该当前图像数据发送至图像处理单元32。配准单元31则可根据所接收到的三维图像数据和配准参数生成用于确定患者所处位置与三维图像数据之间空间关系的配准模型，并将该配准模型发送至图像处理单元32。图像处理单元32可先根据所接收的配准模型及三维图像数据生成可视化图像数据，再将该可视化图像数据与所接收的当前图像数据融合生成增强现实图像，然后将该增强现实图像发送至诸如显示屏等显示单元33予以呈现。其中，上述的图像处理单元32可直接从医疗成像设备1接收三维图像数据，也可通过配准单元31从医疗成像设备1上下载三维图像数据；配准参数则可包括患者相对于摄像单元的视角、患者的实时位置及患者的体态信息等信息参数。
在本实施例的医疗诊断辅助系统中，通过医疗成像设备1所采集的患者的三维图像数据及传感器2所采集的配准参数等，通过配准单元31进行配准算法处理后输出配准模型，后续再基于该配准模型和三维图像数据生成可视化图像数据，再将该可视化图像数据与当前图像数据融合后，进而得到增强现实图像数据。通过呈现患者虚实结合的增强现实图像数据，能够便于在观察患者个体的体表特征，同时也能呈现虚拟的三维人体体内组织结构，即利用显示单元33所呈现的增强现实图像数据能够将虚拟的三维模型图像与实时图像对应叠置后，实现基于观察者的角度实时提供人体体内部器官相应的三维图像，实现对人体体内部器官进行多角度，多层次的观察，进而有效提升诸如病患诊断的准确性及治疗的效果。
图2是另一个实施例中医疗诊断辅助系统的结构示意图。图2的医疗诊断辅助系统是在图1所示医疗诊断辅助系统的基础上的进一步优化。在一个可选的实施例中，诊断对象的三维图像数据可包括诊断对象的体内组织的三维图像数据。
进一步地，传感器2可获取诊断对象的配准参数，并输入到增强现实设备3中。增强现实设备3的配准单元31可用于接收配准参数，并输出配准模型；其中，配准单元31输出的配准模型也可称为形变参数。
如图2所示，图像处理单元32可用于根据所接收的配准模型并基于诸如可视化计算技术将诊断对象的体内组织的三维图像数据渲染为上述的可视化图像数据。
在上述渲染过程中，图像处理单元32根据所接收的配准模型，并基于可视化计算技术将诊断对象的体内组织的三维图像数据渲染得到的可视化图像数据可能与所述三维图像数据通过可视化技术处理后得到的图像数据相同。
在一个较佳的实施方式中，由于患者体态实时变化，数据处理单元在渲染过程中通过所述形变参数实时修正可视化图像数据从而令该可视化图像数据具有一定的形变效果；即根据上述配准模型并基于可视化计算技术将诊断对象的体内组织的三维图像数据渲染为初始可视化图像数据的同时，可基于配准模型进行修正操作以将初始可视化图像数据修正为上述的可视化图像数据。
另外，上述的医疗成像设备1可包括电子计算机断层扫描单元(即CT单元)，还可包括核磁共振子单元(即MRI子单元)和/或正电子发射型计算机断层显示子单元(即PET子单元)等。即CT单元可用于扫描诊断对象的体内组织，并基于扫描所采集的数据通过重建等操作形成诊断对象体内组织的三维图像数据；MRI子单元可用于采集诊断对象体内的软组织图像数据，PET子单元则可用于采集诊断对象体内的异常组织图像数据。
在本实施例中，由于CT设备可利用人体组织器官对X射线的吸收及透过率不同，得到不同部位的结构形态，进而使得CT设备具有扫描范围较大、可一次扫描多层数据、扫描的精度高等优点，使得其扫描所采集的数据经重建后，可有效地显示人体组织器官的三维形态。同时，由于MRI是利用磁场中的射频脉冲使氢质子发生磁共振现象来产生MR图像，所以MRI对人体软组织有很好的成像效果；PET是通过人体不同部位吸收标记化合物能力的不同而形成扫描图像，所以其对代谢率高、病变等异常的组织较好的成像效果。
在另一个可选的实施例中，如图2所示，上述配准参数中诊断对象的体态信息可包括体表运动状态和体内器官的运动状态。传感器2可包括诸如智能摄像头、智能手表、智能手环等可穿戴传感单元21，该可穿戴传感单元21可用于采集诊断对象与增强现实设备3之间的相对位置、诊断对象的体表运动状态和体内器官的运动状态等相关信息；例如，可穿戴传感单元21可采用诸如图像识别等技术通过智能摄像头所捕捉到的人脸及体表器官图像来获取诸如诊断对象与增强现实设备之间的相对位置、诊断对象的体表运动状态等，利用智能手表或智能手环通过感测诊断对象的血压、脉搏等获取诊断对象体内器官的运动状态等配准参数，同时该可穿戴传感单元21也可采集到诸如体温、心跳等生理参数，以辅助获取或修正所采集的配准参数；后续结合三维图像数据生成配准模型，以用于确定三维图像数据与当前诊断对象之间的空间关系。其中，智能摄像头可包括设置在用于图像采集的摄像头上的摄像头传感器(图中未标示)，可用于采集诊断对象相对于摄像头的视角。
在另一个可选的实施例中，如图2所示，为了进一步的提升所采集的诊断对象体内器官的运行状态，本实施中的医疗诊断辅助系统还可包括超声波设备4，该超声波设备4可连接至配准单元31，用以通过扫描诊断对象体内器官以对可穿戴传感设备所采集的诊断对象体内器官的运动状态进行修正。
具体的，基于利用诸如CT、MRI、PET、PET-MR、PET-CT等医学成像设备扫描诊断对象获取相应的三维模型图像数据，该三维模型图像数据能够展示出诊断对象的体部特征、各个身体器官的三维形态等体内组织结构。传感器2获取诸如诊断对象相对于摄像单元34的视角、诊断对象与增强现实设备3之间的相对位置、诊断对象的体表运动状态和诊断对象体内器官的运动状态等配准参数，配准单元31可用于基于诊断对象的配准参数和诊断对象的三维图像数据产生配准模型，图像处理单元32再基于所生成的配准模型及所接收的三维图像数据，生成该状态下的可视化图像数据，并与当前摄像头(即摄像单元34)所实时获取的真实人体图像(即当前图像数据)融合，以使得虚拟的三维模型图像数据准确放置在AR设备观察到的真人的对应部位上，生成增强现实图像。这样，就能使得佩戴AR设备的观察者，在观看诊断对象(如病人)体表特征的同时也能看到其对应区域的内部器官的三维图像，进而可有效的帮助诸如观察者(如医生)直观方便的定位人体内部结构。
在本实施例中，通过设置的增强现实设备能够实现对当前诊断对象进行增强现实图像显示，进而使得观察者在查看诊断对象的体表特征的同时，能够直观的观察到其对应体内组织相关的立体结构，即能够呈现体内组织与体表之间的空间位置关系，进而使得观察者能够直观的观察到虚拟的立体效果，进而能够帮助诸如医生等观察者精准、快速的确定人体体内病变多对应的体表区域，进而可广泛的应用于诸如医疗教育、手术计划、手术实施等相关操作中。
在一个可选的实施例中，如图2所示，医疗诊断辅助系统可进一步包括云端实时数据库5和远程同步显示单元6，远程同步显示单元6可通过云端实时数据库5与增强现实设备3连接，以用于显示诊断对象的增强现实图像，进而实现诸如远程会诊等操作。
在一个可选的实施例中，增强现实设备3可进一步包括用于采集操作指令的指令输入单元35，该指令输入单元35可与图像处理单元32或显示单元33连接，以利用所采集的操作指令控制增强现实图像中与该操作指令对应的区域予以突出显示。例如，佩戴AR设备的医生在观察到病人的三维模型在病人体表上显示后，当需要对病人的某个具体部位进行详细的检查并希望获得该部位的信息时，该医生可以通过语音、手势等方式设置感兴趣部位，亦可AR设备自动利用如眼球跟踪器等传感设备获得医生的观察方向，来自动获取医生感兴趣部位，即指令输入单元35采集到相应的操作指令。然后，AR设备将重点标识出医生感兴趣部位上所对应的器官模型，为了进一步凸显该部位，还可虚化其他无关的模型，以使得医生更加专注该区域的观察，而减少其他无关信息的影响，即指令输入单元35利用所采集的操作指令控制增强现实图像中与该操作指令对应的区域予以突出显示。
在另一个可选的实施例中，在上述指令输入单元35利用所采集的操作指令控制增强现实图像中与该操作指令对应的区域予以突出显示的同时，还可将突出显示位置的器官信息同时呈现在AR设备屏幕上；例如，医生观察人体的内部的心脏器官区域时，可将该病人心脏的大小、心电图等数据直接呈现在AR设备显示屏上。
在一个可选的实施例中，在利用远程同步显示单元6实现远程会诊、初步诊断等操作的过程中，可将多个远程同步显示单元6连接至上述的云端实时数据库5上，以使得佩戴该远程同步显示单元6可与佩戴本地AR设备的观察者以同一观察视角共享增强现实图像，进而方便的实现多人远程会诊。另外，医生还可将病人的相关信息通过AR设备上传至上述的云端实时数据库5上，以备其他人进行参考；同时，还可利用云端实时数据库5中存储的病例数据，基于大数据分析功能检索出类似病例，并将检索到的类似病例信息，下发至当前会诊的AR设备上，以供医生诊断治疗时参考。
图3是一个实施例中医疗诊断辅助方法的流程示意图。如图3所示，一种医疗诊断辅助方法，可包括：
步骤S1，获取诊断对象的三维图像数据和该诊断对象的配准参数。
具体的，可采用诸如CT、MRI、PET、PET-MR、PET-CT等医学成像设备扫描获取诊断对象相应的三维图像数据，而采用智能摄像头、智能手环等可穿戴传感设备等来采集诊断对象的配准参数；其中，三维图像数据能够展示出诊断对象的体部特征、各个身体器官的三维形态等体内组织结构，而配准参数可包括诊断对象相对于摄像单元的视角、诊断对象的实时位置和诊断对象的体态信息等。
步骤S2，根据三维图像数据及配准参数生成配准模块。
具体的，基于上述步骤S1所采集的三维图像数据以及配准参数可生成用以确定该三维图像数据与当前诊断对象的空间关系的配准模型。
步骤S3，实时获取诊断对象的当前图像数据。
具体的，可利用诸如摄像机等摄像设备来实时的采集诊断对象的当前图像数据。
步骤S4，根据三维图像数据和配准模型生成诊断对象的可视化图像数据。
具体的，三维图像数据可包括诊断对象的体内组织的三维图像数据等。根据步骤S2中所生成的配准模型，并基于可视化计算技术将诊断对象的体内组织的三维图像数据渲染为可视化图像数据。
在上述渲染过程中，根据所接收的配准模型，并基于可视化计算技术将诊断对象的体内组织的三维图像数据渲染得到的可视化图像数据可能与所述三维图像数据通过可视化技术处理后得到的图像数据相同。
步骤S5，将可视化图像数据与实时所获取的当前图像数据融合生成增强现实图像。
图4是一个实施例中获取修正的可视化图像数据的流程示意图。如图4所示，在一个较佳的实施方式中，由于患者体态实时变化，数据处理单元在渲染过程中通过所述配准模型，即形变参数实时修正可视化图像数据从而令该可视化图像数据具有一定的形变效果；即上述实施例中的步骤S4可包括：
步骤S41，根据上述配准模型并基于可视化计算技术将诊断对象的体内组织的三维图像数据渲染为初始可视化图像数据。
步骤S42，可基于配准模型对初始可视化图像数据进行修正操作，以将初始可视化图像数据修正为上述的可视化图像数据。
需要说明的是，实现上述方法中的全部或部分流程，是可以通过医疗诊断辅助系统相关的硬件来完成，即医疗诊断辅助系统的实施例中所记载的相关技术内容均可适用本实施中的医疗诊断辅助方法，而为了阐述简便，在此便不予赘述。
另外，在本申请所有的实施例中，细胞是指动物体或人体结构和功能的基本单位；组织可以是指由许多形态相似，结构、功能均相同的细胞联合在一起形成的细胞群；器官可以是指由不同的组织按照一定的次序联合起来，形成具有一定功能的结构。
同时，本申请的实施例中的医疗诊断辅助系统可针对人体或动物等生物体进行增强现实成像操作，可应用于诸如疾病诊断、手术治疗及医疗教育等领域中。下面就以针对人体进行病患诊断及手术进行举例的说明：
在一个可选的实施例中，在针对病患进行诊断时，一般是需要通过检查及医生观察来定位病灶的位置，但由于当前的检查一般只能呈现相对固定的截面图，而又无法针对病患的人体内部诸如心脏、大脑等重要器官及组织进行直接的观察，医生需要凭借大量的经验才能对病因及病灶进行预估，进而使得误诊率一直居高不下。采用本发明实施例中的医疗诊断辅助系统，医生通过佩戴相应的AR设备即可在观察病患的体表特征的同时，可实时查看病患当前的体内组织三维模型图像，以帮助的医生对病因及病灶进行更加精准的判断，从而可大大降低疾病的误诊率。
比如，当一个患者脑部血管出现问题，需要做脑部CT血管造影检查时，可先对患者进行CT扫描成像，以获得其脑部CT三维数据。医生带上AR设备，导入患者的脑部CT三维数据，生成三维模型后，在AR设备的显示屏上显示出患者脑部血管的三维形态结构，通过观察，医生标识血管病变的位置。于此同时，患者在大脑部位贴上多个位置传感器，将大脑的相对位置和方位信息等配准信息以无线通信的方式传送至AR设备，AR设备利用所接收的配准信息将脑血管三维模型与真实患者的头部图像进行配准。配准完后，AR设备显示屏将显示血管三维模型呈现在患者大脑上，并且血管的位置与大脑内部血管的位置相一致。由此，医生能够直观的观察血管在大脑内部的相对位置及形态。
另外，上述的AR设备还可根据医生的观察视线，将所观察到的血管区域的信息，如血流、血管壁厚度等数据以不影响图像显示的方式可视化的呈现在屏幕上，以供医生参考。而且，医生可以将AR设备接入到互联网，其他医生能与佩戴AR设备的医生的共享视角，医生之间同时观察重建血管在患者大脑上的形态，进行简单的会诊。同时，佩戴AR设备的医生可将患者的信息，如年龄、性别、家族病史及CT的脑血管重建数据等上传至云端，以基于云端的大数据分析技术，检索与该患者相似的病例信息，并生成相应的经验分析报告予以呈现。医生可基于上述云端的分析报告及远程会诊的多个医生的观察结果综合分析后，得到该患者的病情检查报告，还可将该检查报告存储到云端上，以供其他医生参考。
在另一个可选的实施例中，在对患者进行手术时，由于当前无法直接观察到患者体内的内部组织结构，进而在制定手术时无法精确的确定患者的病变区域，不仅降低了手术成功的概率，还可能对患者的其他部位造成额外的伤害。采用本发明实施例中的医疗诊断辅助系统，医生通过佩戴相应的AR设备即可在观察病患的体表特征的同时，可实时查看病患当前的体内组织三维模型图像，能够过对患者的病变区域进行精准的定位，从而大大提升手术成功的概率。
比如，一个患者的肝脏部位长了肿瘤，需要做手术切除时，为了确定肿瘤的具体情况，医生可先给患者做CT扫描，通过CT重建图像，得知肿瘤的位置大小及发展形态。在手术执行前，医生需要制定手术计划，即在手术计划的方案制定过程中，需要确定手术切口的位置时，先在AR设备中输入患者的信息，获得该患者的肝脏部位数据，医生带上AR眼镜观察病人的肝脏部位时，AR设备将根据CT肝脏数据所构建出的三维模型与医生看到的患者的肝脏部位做配准，并呈现到AR设备显示屏上。这样，医生观察到肝脏部位的体表时，就能看到体表下重建之后的肝脏模型，进而使得医生能够准确定位开刀的范围。
在上述的实施例中，通过将CT成像技术和AR显示技术相结合，能够充分发挥CT成像的效果及AR显示技术的优势，且将两者的特性叠加后，能够提供一种更好的医疗诊断辅助手段。另外，使用CT扫描设备采集人体数据，可以有效保证数据的可靠准确。与此同时，由于本发明实施例中的AR设备具有数据存储、通信、计算、图像处理等能力，进而可将重建后的CT图像数据转换为可视化的三维模型数据，再基于其他辅助设备所采集的诸如诊断对象与增强现实设备之间的相对位置、诊断对象的体表运动状态等配置参数，可使得AR设备能够利用配准算法实现三维模型数据与真实患者图像的精准配准，以最终在AR设备的屏幕上呈现基于人体表面的增强现实图像，观察者将看到人体内部的三维模型呈现到人体表面上。
以上所述实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。
以上所述实施例仅表达了本发明的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形和改进，这些都属于本发明的保护范围。因此，本发明专利的保护范围应以所附权利要求为准。
Claims (10)
1.一种医疗诊断辅助系统，其特征在于，包括：
医疗成像设备，用于获取诊断对象的三维图像数据；
传感器，用于获取诊断对象的配准参数，所述配准参数包括所述诊断对象相对于摄像单元的视角及所述诊断对象的体态信息，所述诊断对象的体态信息包括体表运动状态和体内器官的运动状态；以及
增强现实设备，包括配准单元、摄像单元、图像处理单元和显示单元；
其中，所述配准单元用于根据所述三维图像数据及所述配准参数生成用于确定所述三维图像数据与当前诊断对象的空间关系的配准模型；所述摄像单元用于实时获取所述诊断对象的当前图像数据；所述图像处理单元用于根据所述三维图像数据和所述配准模型生成诊断对象的可视化图像数据，并将所述可视化图像数据与所述当前图像数据融合生成增强现实图像；所述显示单元用于显示所述增强现实图像，以实现基于观察者的角度实时提供诊断对象体内器官相应的三维图像，实现对诊断对象体内器官进行多角度，多层次的观察。
2.根据权利要求1所述的医疗诊断辅助系统，其特征在于，所述诊断对象的三维图像数据包括诊断对象的体内组织的三维图像数据；所述图像处理单元用于根据所述三维图像数据和所述配准模型生成诊断对象的可视化图像数据包括：
所述图像处理单元用于根据所述配准模型并基于可视化计算技术将所述诊断对象的体内组织的三维图像数据渲染为所述可视化图像数据。
3.根据权利要求2所述的医疗诊断辅助系统，其特征在于，所述可视化图像数据为基于所述配准模型修正后的图像数据。
4.根据权利要求2所述的医疗诊断辅助系统，其特征在于，所述医疗成像设备还包括电子计算机断层扫描单元、核磁共振子单元和/或正电子发射型计算机断层显像子单元；
其中，所述电子计算机断层扫描单元用于采集诊断对象的三维图像数据，所述核磁共振子单元用于采集所述诊断对象体内的软组织图像数据，所述正电子发射型计算机断层显像子单元用于采集所述诊断对象体内的异常组织图像数据。
5.根据权利要求1所述的医疗诊断辅助系统，其特征在于，所述配准参数还包括所述诊断对象的实时位置。
6.根据权利要求5所述的医疗诊断辅助系统，其特征在于，所述传感器包括：
可穿戴传感单元，用于采集所述诊断对象与所述增强现实设备之间的相对位置、所述诊断对象的体表运动状态和所述体内器官的运动状态。
7.根据权利要求6所述的医疗诊断辅助系统，其特征在于，所述医疗诊断辅助系统还包括：
超声波设备，用于通过扫描所述诊断对象体内器官以对所述可穿戴传感单元所采集的所述诊断对象体内器官的运动状态进行修正。
8.根据权利要求1所述的医疗诊断辅助系统，其特征在于，还包括：
远程同步显示设备，所述远程同步显示设备通过云端实时数据库与所述增强现实设备连接，用于与所述显示单元同步显示所述诊断对象的增强现实图像。
9.一种医疗诊断辅助方法，其特征在于，基于如权利要求1-8任一项所述的医疗诊断辅助系统执行，所述方法包括：
获取诊断对象的三维图像数据和所述诊断对象的配准参数；
根据所述三维图像数据及所述配准参数生成配准模型；
实时获取所述诊断对象的当前图像数据；
根据所述三维图像数据和所述配准模型生成诊断对象的可视化图像数据；
将所述可视化图像数据与实时所获取的当前图像数据融合生成增强现实图像。
10.根据权利要求9所述的医疗诊断辅助方法，其特征在于，所述诊断对象的三维图像数据包括所述诊断对象的体内组织的三维图像数据；所述根据所述三维图像数据和所述配准模型生成诊断对象的可视化图像数据，包括：
获取所述诊断对象的体内组织的三维图像数据；
根据所述配准模型并基于可视化计算技术将所述诊断对象的体内组织的三维图像数据渲染为所述可视化图像数据；或者
根据所述配准模型并基于可视化计算技术将所述诊断对象的体内组织的三维图像数据渲染为初始可视化图像数据的同时，基于所述配准模型进行修正以将所述初始可视化图像数据修正为所述可视化图像数据。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201810054466.8A CN108324246B (zh) | 2018-01-19 | 2018-01-19 | 医疗诊断辅助系统及方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201810054466.8A CN108324246B (zh) | 2018-01-19 | 2018-01-19 | 医疗诊断辅助系统及方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN108324246A CN108324246A (zh) | 2018-07-27 |
| CN108324246B true CN108324246B (zh) | 2021-06-22 |
Family
ID=62926333
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201810054466.8A Active CN108324246B (zh) | 2018-01-19 | 2018-01-19 | 医疗诊断辅助系统及方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN108324246B (zh) |
Families Citing this family (25)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109191541B (zh) * | 2018-08-06 | 2023-08-25 | 沈阳晟诺科技有限公司 | 一种ct远程图像重建方法 |
| CN109345632B (zh) * | 2018-09-17 | 2023-04-07 | 深圳达闼科技控股有限公司 | 一种获取图像的方法、相关装置及可读存储介质 |
| US11004549B2 (en) * | 2018-09-28 | 2021-05-11 | Varian Medical Systems International Ag | Patient object mapping techniques |
| CN109364387B (zh) * | 2018-12-05 | 2020-07-03 | 上海市肺科医院 | 一种放射治疗ar定位摆位系统 |
| CN109464194A (zh) * | 2018-12-29 | 2019-03-15 | 上海联影医疗科技有限公司 | 医学图像的显示方法、装置、医学设备及计算机存储介质 |
| CN109935318B (zh) * | 2019-03-06 | 2021-07-30 | 智美康民(珠海)健康科技有限公司 | 三维脉波的显示方法、装置、计算机设备及存储介质 |
| CN109961834B (zh) * | 2019-03-22 | 2023-06-27 | 上海联影医疗科技股份有限公司 | 影像诊断报告的生成方法及设备 |
| CN110292439A (zh) * | 2019-07-31 | 2019-10-01 | 东北大学 | 基于增强现实的心脏支架手术辅助诊疗系统及使用方法 |
| CN110310726B (zh) * | 2019-08-12 | 2024-03-26 | 杨晓鹏 | 基于医学影像三维重建及全息显示的肝段切除术辅助系统 |
| CN110706778B (zh) * | 2019-09-09 | 2022-08-09 | 武汉联析医疗技术有限公司 | 一种辅助医疗穿刺的智能点位管理系统 |
| CN110729043A (zh) * | 2019-10-09 | 2020-01-24 | 深圳市中汇医疗科技有限公司 | Ar远程诊断系统 |
| CN111261265B (zh) * | 2020-01-14 | 2024-02-27 | 上海联影医疗科技股份有限公司 | 基于虚拟智能医疗平台的医学影像系统 |
| CN112037872A (zh) * | 2020-08-31 | 2020-12-04 | 中南大学湘雅医院 | 一种基于ar技术的远程疾病诊断系统及方法 |
| CN111815735B (zh) * | 2020-09-09 | 2020-12-01 | 南京安科医疗科技有限公司 | 一种人体组织自适应的ct重建方法及重建系统 |
| CN112099637A (zh) * | 2020-09-27 | 2020-12-18 | 成都佳发教育科技有限公司 | 一种基于ar交互的穿戴式信息采集系统 |
| CN112435735A (zh) * | 2020-12-01 | 2021-03-02 | 重庆金山医疗器械有限公司 | 一种切换方法、装置、设备和介质及系统 |
| CN113034558B (zh) * | 2021-03-29 | 2022-09-20 | 上海交通大学医学院附属第九人民医院 | 基于影像辅助的医学诊断评估系统、方法、介质及终端 |
| CN112927798A (zh) * | 2021-04-02 | 2021-06-08 | 上海志御软件信息有限公司 | 交互式三维人体医学模型可视化系统、方法和计算机可读存储介质 |
| CN113303806A (zh) * | 2021-04-24 | 2021-08-27 | 华中科技大学同济医学院附属协和医院 | 一种无线全息显示心电监护系统及监护方法 |
| CN113485555B (zh) * | 2021-07-14 | 2024-04-26 | 上海联影智能医疗科技有限公司 | 医学影像阅片方法、电子设备和存储介质 |
| CN113823000A (zh) * | 2021-09-26 | 2021-12-21 | 上海交通大学医学院附属第九人民医院 | 基于头部的增强显示方法、系统、设备及存储介质 |
| CN113948173B (zh) * | 2021-10-22 | 2024-03-22 | 昆明理工大学 | 基于增强现实、有限元分析的医疗辅助系统及使用方法 |
| CN114333482B (zh) * | 2022-01-07 | 2024-05-24 | 众阳健康科技集团有限公司 | 一种基于混合现实技术的虚拟解剖教学系统 |
| CN114984450A (zh) * | 2022-05-26 | 2022-09-02 | 苏州景昱医疗器械有限公司 | 控制器、植入式神经刺激系统及计算机可读存储介质 |
| CN116541007B (zh) * | 2023-07-04 | 2023-10-03 | 智慧中医科技(广东)有限公司 | 基于中医辨证论的体征可视化映射封装方法及系统 |
Family Cites Families (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2014013393A2 (en) * | 2012-07-17 | 2014-01-23 | Koninklijke Philips N.V. | Imaging system and method for enabling instrument guidance |
| CN103371870B (zh) * | 2013-07-16 | 2015-07-29 | 深圳先进技术研究院 | 一种基于多模影像的外科手术导航系统 |
| CN103948432A (zh) * | 2014-04-30 | 2014-07-30 | 深圳先进技术研究院 | 术中立体内窥视频与超声图像增强现实算法 |
| US10154823B2 (en) * | 2015-05-20 | 2018-12-18 | Koninklijke Philips N.V. | Guiding system for positioning a patient for medical imaging |
| CN106063726B (zh) * | 2016-05-24 | 2019-05-28 | 中国科学院苏州生物医学工程技术研究所 | 实时穿刺导航系统及其导航方法 |
| CN107194163A (zh) * | 2017-05-15 | 2017-09-22 | 上海联影医疗科技有限公司 | 一种显示方法和系统 |
-
2018
- 2018-01-19 CN CN201810054466.8A patent/CN108324246B/zh active Active
Also Published As
| Publication number | Publication date |
|---|---|
| CN108324246A (zh) | 2018-07-27 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN108324246B (zh) | 医疗诊断辅助系统及方法 | |
| JP6987893B2 (ja) | 診断試験をリアルタイムの治療に統合する汎用デバイスおよび方法 | |
| US6768496B2 (en) | System and method for generating an image from an image dataset and a video image | |
| US7467007B2 (en) | Respiratory gated image fusion of computed tomography 3D images and live fluoroscopy images | |
| KR20080034664A (ko) | 초음파 영상과 외부 의료영상의 합성 영상 상에 의료용바늘을 디스플레이하기 위한 초음파 시스템 | |
| KR20070110965A (ko) | 초음파 영상과 외부 의료영상의 합성 영상을디스플레이하기 위한 초음파 시스템 | |
| JP5504028B2 (ja) | 観察支援システムおよび方法並びにプログラム | |
| US10685451B2 (en) | Method and apparatus for image registration | |
| KR20070058785A (ko) | 중재적 시술을 위한 초음파 시스템 | |
| KR20090127091A (ko) | 초음파 영상과 ｃｔ 영상의 정합 시스템 및 방법 | |
| JP2016116774A (ja) | 画像処理装置、画像処理方法、画像処理システム、及びプログラム | |
| US20140153358A1 (en) | Medical imaging system and method for providing imaging assitance | |
| US20070160273A1 (en) | Device, system and method for modifying two dimensional data of a body part | |
| KR20150048267A (ko) | 초음파 진단 장치 및 초음파 진단 장치의 초음파 영상 표시 방법 | |
| JP6073558B2 (ja) | 医用画像診断装置 | |
| US20220241015A1 (en) | Methods and systems for planning a surgical procedure | |
| JP2013048688A (ja) | 画像処理装置、画像処理方法及びプログラム | |
| US11844654B2 (en) | Mid-procedure view change for ultrasound diagnostics | |
| CN110269679B (zh) | 用于非侵入式追踪物体的医疗技术系统和方法 | |
| KR20150006288A (ko) | 의료 기기의 동작 모드와 관련된 영상 정보를 환자 테이블에 출력하기 위한 방법 및 이를 위한 장치 | |
| Al Youzbaki et al. | Creating panoramic image for linear transducer ultrasound Doppler images | |
| CN116612241A (zh) | 三维重建方法、装置、设备及存储介质 | |
| JP5751993B2 (ja) | 画像処理装置、画像処理方法及びプログラム | |
| WO2017061622A1 (ja) | 表示方法、及び表示制御装置 | |
| Senthilkumar | Virtual-reality-assisted surgery using CNN paradigm and image-processing techniques |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| CB02 | Change of applicant information | ||
| CB02 | Change of applicant information |
Address after: 201807 Shanghai City, north of the city of Jiading District Road No. 2258 Applicant after: Shanghai Lianying Medical Technology Co., Ltd Address before: 201807 Shanghai City, north of the city of Jiading District Road No. 2258 Applicant before: SHANGHAI UNITED IMAGING HEALTHCARE Co.,Ltd. |
|
| GR01 | Patent grant | ||
| GR01 | Patent grant |