CN111193830A - 一种基于智能手机的便携式增强现实医学图像观察辅助设备 - Google Patents

一种基于智能手机的便携式增强现实医学图像观察辅助设备 Download PDF

Info

Publication number
CN111193830A
CN111193830A CN201911221301.6A CN201911221301A CN111193830A CN 111193830 A CN111193830 A CN 111193830A CN 201911221301 A CN201911221301 A CN 201911221301A CN 111193830 A CN111193830 A CN 111193830A
Authority
CN
China
Prior art keywords
image
information
augmented reality
processing module
smart phone
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201911221301.6A
Other languages
English (en)
Other versions
CN111193830B (zh
Inventor
姜杉
姜博文
周泽洋
徐斌
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tianjin University
Original Assignee
Tianjin University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tianjin University filed Critical Tianjin University
Priority to CN201911221301.6A priority Critical patent/CN111193830B/zh
Publication of CN111193830A publication Critical patent/CN111193830A/zh
Application granted granted Critical
Publication of CN111193830B publication Critical patent/CN111193830B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M1/00—Substation equipment, e.g. for use by subscribers
    • H04M1/72—Mobile telephones; Cordless telephones, i.e. devices for establishing wireless links to base stations without route selection
    • H04M1/724—User interfaces specially adapted for cordless or mobile telephones
    • H04M1/72403—User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality
    • H04M1/7243—User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality with interactive means for internal management of messages
    • H04M1/72439—User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality with interactive means for internal management of messages for image or video messaging
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/50—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for simulation or modelling of medical disorders
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M1/00—Substation equipment, e.g. for use by subscribers
    • H04M1/72—Mobile telephones; Cordless telephones, i.e. devices for establishing wireless links to base stations without route selection
    • H04M1/724—User interfaces specially adapted for cordless or mobile telephones
    • H04M1/72403—User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality
    • H04M1/72409—User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality by interfacing with external accessories
    • H04M1/72412—User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality by interfacing with external accessories using two-way short-range wireless interfaces

Abstract

本发明公开一种基于智能手机的便携式增强现实医学图像观察辅助设备，包括数据处理系统，用以将由病人的医学图像序列重建出的三维影像呈现在智能手机屏幕上，并根据相机获取的标记物信息实现实时配准；增强现实系统，用于通过光学结构将智能手机屏幕呈现出的图像源和现实环境中的现实物体同时呈现在人眼中，实现增强现实效果；由戴上增强现实眼镜的医生，根据所呈现的重建的三维模型信息以及外界环境信息进行诊断和手术辅助，并通过虚拟交互控制，对解剖结构、病灶信息进行查看。本发明能将智能手机屏幕呈现出的图像源和现实环境中物体与现实物体同时呈现在人眼中，实现增强现实效果。

Description

一种基于智能手机的便携式增强现实医学图像观察辅助设备
技术领域
本发明涉及医疗辅助设备技术领域，特别是涉及一种基于智能手机的便携式增强现实医学图像观察辅助设备。
背景技术
微创手术是通过微小创口实施手术的一种临床治疗方式，主要通过术前医学影像进行诊断以及术中内窥镜影像等辅助进行，这种方式直观性差，对医生经验要求高，精力消耗大；结合增强现实的图像导航系统可以为医生提供直观的生理解剖信息，便于医生快速进行诊断，并在术中提供辅助，现有的增强现实图像导航设备大多比较笨重或价格昂贵，对于在医生间推广使用造成了困难。
发明内容
本发明的目的是针对现有技术中存在的技术缺陷，而提供一种基于智能手机的便携式增强现实医学图像观察辅助设备。
为实现本发明的目的所采用的技术方案是：
一种基于智能手机的便携式增强现实医学图像观察辅助设备，包括：
数据处理系统，以及增强现实系统；
所述数据处理系统，用以将由病人的医学图像序列重建出的三维影像呈现在智能手机屏幕上，并根据相机获取的标记物信息实现实时配准；
所述增强现实系统，用于通过光学结构将智能手机通过屏幕呈现出的图像源和现实环境中的现实物体同时呈现在人眼中，实现增强现实效果；由戴上增强现实眼镜的医生，根据所呈现的重建的三维模型信息以及外界环境信息进行诊断和手术辅助，并通过虚拟交互控制，对解剖结构、病灶信息进行查看。
其中，所述增强现实系统包括相机、图像处理模块、智能手机和光学结构；所述相机与图像处理模块相连接，图像处理模块与智能手机相连接，智能手机置入光学结构中；
所述相机，获取外界环境影像信息，并将信息传递给图像处理模块；所述图像处理模块，将获取的图像进行处理得出标记物位姿信息，根据标记点信息将三维模型进行配准，生成配准后影像传递给智能手机；所述智能手机，接收图像数据处理后的画面呈现给光学结构；所述光学结构，使智能手机呈现出图像的虚像与现实环境影像能共同在人眼中成像，实现增强现实效果。
其中，所述数据处理系统包括存储模块、数据处理模块、图像处理模块；所述存储模块与数据处理模块相连接，数据处理模块与图像处理模块相连接；所述存储模块，用来保存患者CT图像重建出的三维模型信息，以及相机和光学结构的参数信息；所述数据处理模块，用以将存储模块和图像处理模块中的信息进行处理，并将处理后的数据传递给图像处理模块；
所述图像处理模块用以将由相机获取的图像信息进行处理并传递给数据处理模块，根据由数据处理模块处理后的信息生成影像信息，传递给增强现实系统。
其中，所述虚拟交互控制系统，通过识别标记物控制虚拟物体实现交互控制。
本发明中，所述基于智能手机的便携式增强现实医学图像观察辅助设备，其实现步骤如下：
步骤1：启动发布到智能手机上的应用程序，并将智能手机置入光学结构中；
步骤2：增强现实系统启动相机，获取外界环境信息以及标记点信息，并传递给图像处理模块；
步骤3：图像处理模块对图像信息进行处理，获取标记信息以及标记点信息并将其传递给数据处理系统；
步骤4：数据处理系统根据存储模块中的参数信息以及重建的三维模型信息进行计算配准，并将计算后的数据传递给图像处理模块；
步骤5：图像处理模块根据接收的数据生成影像并传递给增强现实系统的智能手机；
步骤6：光学结构将智能手机所呈现的画面和现实环境的影像同时传入人眼中，使人能眼同时看到屏幕画面的虚像和现实环境信息，实现增强现实效果；
步骤7：医生戴上增强现实眼镜，根据呈现的重建的三维模型信息以及外界环境信息进行诊断和手术辅助，并通过虚拟交互控制，对解剖结构、病灶信息进行查看。
本发明的增强现实眼镜通过光学结构将智能手机屏幕呈现出的图像源和现实环境中的物体与现实物体同时呈现在人眼中，实现增强现实效果；数据处理系统可将由病人的医学图像序列重建出的三维影像呈现在智能手机屏幕上，并根据相机获取的标记物信息实现实时配准；虚拟交互控制系统通过标记物实现虚拟交互控制，简单便携，便于医生快速诊断病情和辅助手术操作。
附图说明
图1所示为基于智能手机的便携式增强现实医学图像观察辅助设备实现流程框图。
图2为增强现实系统的光学结构与智能手机的配合示意图。
具体实施方式
以下结合附图和具体实施例对本发明作进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
本发明的基于智能手机的便携式增强现实医学图像观察辅助设备包括：增强现实系统，虚拟交互控制系统以及数据处理系统；
其中，所述的增强现实系统，用于通过光学结构将智能手机通过屏幕呈现出的图像源和现实环境中的现实物体同时呈现在人眼中，实现增强现实效果；由戴上增强现实眼镜的医生，根据所呈现的重建的三维模型信息以及外界环境信息进行诊断和手术辅助，并通过虚拟交互控制，对解剖结构、病灶信息进行查看。；
所述虚拟交互控制系统，用于通过识别标记物控制虚拟物体实现交互控制；
所述数据处理系统，用以将由病人的医学图像序列重建出的三维影像呈现在智能手机屏幕上，并根据相机获取的标记物信息实现实时配准。
其中，所述增强现实系统，包括相机、图像处理模块、智能手机和光学结构；
所述相机与图像数据处理模块相连接，图像数据处理模块与智能手机相连接，智能手机置入光学结构中；
所述相机，用于获取外界环境影像信息，并将信息传递给图像处理模块；
所述图像处理模块，用于将获取的图像进行处理得出标记物位姿信息，根据标记点信息将三维模型进行配准，得出配准后影像传递给智能手机；
所述智能手机，用于接收图像数据处理后的画面通过其显示屏幕显示后呈现给光学结构；
所述光学结构，用于接收智能手机呈现的画面，将接受的画面与外界环境场景叠加呈现在人眼中。
如图2所示，本发明中，所述光学结构，由反射镜30、菲涅尔透镜20和半透半反镜40构成，安装在光学结构的后端由端盖60固定的智能手机10呈现出图像的虚像经由光学结构调整位置后，与人眼透过半透半反镜看到的现实环境物体50的影像共同在人眼中成像实现增强现实效果。
其中，所述数据处理系统包括存储模块、数据处理模块、图像处理模块；
所述存储模块与数据处理模块相连接，数据处理模块与图像处理模块相连接；
所述存储模块，用来保存患者CT图像重建出的三维模型信息，以及相机和光学结构的参数信息；
所述数据处理模块，用以将存储模块和图像处理模块中的信息进行处理，并将处理后的数据传递给图像处理模块。
所述图像处理模块，用以将由相机获取的图像信息进行处理并传递给数据处理模块，根据由数据处理模块处理后的信息生成影像信息，传递给增强现实系统。
本发明的基于智能手机的便携式增强现实医学图像观察辅助设备，具体实现步骤如下：
步骤1：启动发布到智能手机上的应用程序，并将智能手机置入光学结构中；
步骤2：增强现实系统启动相机(单目视觉模块)，获取外界环境信息以及标记点信息，并传递给图像处理模块；
步骤3：图像处理模块对图像信息进行处理，获取标记信息并将其传递给数据处理系统；
步骤4：数据处理系统根据存储模块中的参数信息以及重建的三维模型信息进行计算配准，并将计算后的数据传递给图像处理模块；
步骤5：图像处理模块根据接收的数据生成影像并传递给智能手机(显示模块)；
步骤6：光学结构将智能手机(显示模块)呈现或显示的画面和现实环境信息同时传入人眼中实现增强现实效果；
步骤7：医生戴上增强现实眼镜，根据呈现的重建的三维模型信息以及外界环境信息进行诊断和手术辅助，并通过虚拟交互控制，对解剖结构、病灶信息等进行查看。
具体的，步骤6是，光学结构调节智能手机屏幕画面影像的虚像的位置，同时人眼透过半透半反镜观察到现实环境的影像，人眼同时看到屏幕画面的虚像和现实环境信息，从而实现增强现实效果。
本发明的增强现实系统通过光学结构，将智能手机屏幕呈现出的图像源和现实环境中的物体与现实物体同时呈现在人眼中，实现增强现实效果；数据处理系统可将由病人的医学图像序列重建出的三维影像呈现在智能手机屏幕上，并根据相机获取的标记物信息实现实时配准；虚拟交互控制系统通过标记物实现虚拟交互控制，从而便于医生快速诊断病情和辅助手术操作。
以上所述仅是本发明的优选实施方式，应当指出的是，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。

Claims (5)

1.一种基于智能手机的便携式增强现实医学图像观察辅助设备，其特征在于，包括数据处理系统，以及增强现实系统；
所述数据处理系统，用以将由病人的医学图像序列重建出的三维影像呈现在智能手机屏幕上，并根据相机获取的标记物信息实现实时配准；
所述增强现实系统，用于通过光学结构将智能手机通过屏幕呈现出的图像源和现实环境中的现实物体同时呈现在人眼中，实现增强现实效果；由戴上增强现实眼镜的医生，根据所呈现的重建的三维模型信息以及外界环境信息进行诊断和手术辅助，并通过虚拟交互控制，对解剖结构、病灶信息进行查看。
2.根据权利要求1所述基于智能手机的便携式增强现实医学图像观察辅助设备，其特征在于，所述增强现实系统包括相机、图像处理模块、智能手机和光学结构；所述相机与图像处理模块相连接，图像处理模块与智能手机相连接，智能手机置入光学结构中；
所述相机，获取外界环境影像信息，并将信息传递给图像处理模块；所述图像处理模块，将获取的图像进行处理得出标记物位姿信息，根据标记点信息将三维模型进行配准，生成配准后影像传递给智能手机；所述智能手机，接收图像数据处理后的画面呈现给光学结构；所述光学结构，使智能手机呈现出图像的虚像与现实环境影像能共同在人眼中成像，实现增强现实效果。
3.根据权利要求2所述基于智能手机的便携式增强现实医学图像观察辅助设备，其特征在于，所述数据处理系统包括存储模块、数据处理模块、图像处理模块；所述存储模块与数据处理模块相连接，数据处理模块与图像处理模块相连接；所述存储模块，用来保存患者CT图像重建出的三维模型信息，以及相机和光学结构的参数信息；所述数据处理模块，用以将存储模块和图像处理模块中的信息进行处理，并将处理后的数据传递给图像处理模块；
所述图像处理模块用以将由相机获取的图像信息进行处理并传递给数据处理模块，根据由数据处理模块处理后的信息生成影像信息，传递给增强现实系统。
4.根据权利要求1所述基于智能手机的便携式增强现实医学图像观察辅助设备，其特征在于，所述虚拟交互控制系统，通过识别标记物控制虚拟物体实现交互控制。
5.根据权利要求3所述基于智能手机的便携式增强现实医学图像观察辅助设备，其特征在于，其实现步骤如下：
步骤1：启动发布到智能手机上的应用程序，并将智能手机置入光学结构中；
步骤2：增强现实系统启动相机，获取外界环境信息以及标记点信息，并传递给图像处理模块；
步骤3：图像处理模块对图像信息进行处理，获取标记信息以及标记点信息并将其传递给数据处理系统；
步骤4：数据处理系统根据存储模块中的参数信息以及重建的三维模型信息进行计算配准，并将计算后的数据传递给图像处理模块；
步骤5：图像处理模块根据接收的数据生成影像并传递给增强现实系统的智能手机；
步骤6：光学结构将智能手机所呈现的画面和现实环境的影像同时传入人眼中，使人能眼同时看到屏幕画面的虚像和现实环境信息，实现增强现实效果；
步骤7：医生戴上增强现实眼镜，根据呈现的重建的三维模型信息以及外界环境信息进行诊断和手术辅助，并通过虚拟交互控制，对解剖结构、病灶信息进行查看。
CN201911221301.6A 2019-12-03 2019-12-03 一种基于智能手机的便携式增强现实医学图像观察辅助设备 Active CN111193830B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201911221301.6A CN111193830B (zh) 2019-12-03 2019-12-03 一种基于智能手机的便携式增强现实医学图像观察辅助设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911221301.6A CN111193830B (zh) 2019-12-03 2019-12-03 一种基于智能手机的便携式增强现实医学图像观察辅助设备

Publications (2)

Publication Number Publication Date
CN111193830A true CN111193830A (zh) 2020-05-22
CN111193830B CN111193830B (zh) 2021-06-25

Family

ID=70710767

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911221301.6A Active CN111193830B (zh) 2019-12-03 2019-12-03 一种基于智能手机的便携式增强现实医学图像观察辅助设备

Country Status (1)

Country Link
CN (1) CN111193830B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022036480A1 (zh) * 2020-08-17 2022-02-24 江苏瑞科科技有限公司 一种基于边缘计算的便携式增强现实辅助复杂装配设备

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN206431875U (zh) * 2016-04-29 2017-08-22 吉林医药学院 基于增强现实的医学解剖辅助教学系统
CN107291225A (zh) * 2017-06-11 2017-10-24 王天龙 一种基于手机的头戴式虚拟现实/增强现实装置
CN107536643A (zh) * 2017-08-18 2018-01-05 北京航空航天大学 一种前交叉韧带重建的增强现实手术导航系统
US20180262743A1 (en) * 2014-12-30 2018-09-13 Onpoint Medical, Inc. Image-guided surgery with surface reconstruction and augmented reality visualization
CN208031283U (zh) * 2017-03-29 2018-11-02 上海霖晏医疗科技有限公司 一种手术导航系统
CN108888341A (zh) * 2018-04-26 2018-11-27 上海交通大学 一种增强现实头盔显示器位置实时跟踪的标定方法
CN109035414A (zh) * 2018-06-20 2018-12-18 深圳大学 增强现实手术图像的生成方法、装置、设备及存储介质
CN109758230A (zh) * 2019-02-26 2019-05-17 中国电子科技集团公司信息科学研究院 一种基于增强现实技术的神经外科手术导航方法和系统
CN109925057A (zh) * 2019-04-29 2019-06-25 苏州大学 一种基于增强现实的脊柱微创手术导航方法及系统

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20180262743A1 (en) * 2014-12-30 2018-09-13 Onpoint Medical, Inc. Image-guided surgery with surface reconstruction and augmented reality visualization
CN206431875U (zh) * 2016-04-29 2017-08-22 吉林医药学院 基于增强现实的医学解剖辅助教学系统
CN208031283U (zh) * 2017-03-29 2018-11-02 上海霖晏医疗科技有限公司 一种手术导航系统
CN107291225A (zh) * 2017-06-11 2017-10-24 王天龙 一种基于手机的头戴式虚拟现实/增强现实装置
CN107536643A (zh) * 2017-08-18 2018-01-05 北京航空航天大学 一种前交叉韧带重建的增强现实手术导航系统
CN108888341A (zh) * 2018-04-26 2018-11-27 上海交通大学 一种增强现实头盔显示器位置实时跟踪的标定方法
CN109035414A (zh) * 2018-06-20 2018-12-18 深圳大学 增强现实手术图像的生成方法、装置、设备及存储介质
CN109758230A (zh) * 2019-02-26 2019-05-17 中国电子科技集团公司信息科学研究院 一种基于增强现实技术的神经外科手术导航方法和系统
CN109925057A (zh) * 2019-04-29 2019-06-25 苏州大学 一种基于增强现实的脊柱微创手术导航方法及系统

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
刘越、王涌天、闫达远: "增强现实系统显示技术研究", 《第三届全国数字成像技术及相关材料发展与应用学术研讨会》 *
孟祥军、马志庆、赵文华、孟美: "应用增强现实技术于医疗器械课本的研究与设计", 《中国医学装备》 *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022036480A1 (zh) * 2020-08-17 2022-02-24 江苏瑞科科技有限公司 一种基于边缘计算的便携式增强现实辅助复杂装配设备

Also Published As

Publication number Publication date
CN111193830B (zh) 2021-06-25

Similar Documents

Publication Publication Date Title
US9898662B2 (en) Information processing apparatus, information processing method, and information processing system
KR101647467B1 (ko) 증강현실을 이용한 외과 수술용 3d 안경 시스템
RU2740259C2 (ru) Позиционирование датчика ультразвуковой визуализации
US7774044B2 (en) System and method for augmented reality navigation in a medical intervention procedure
US8504136B1 (en) See-through abdomen display for minimally invasive surgery
US10073515B2 (en) Surgical navigation system and method
CN109270688B (zh) 头部佩戴型显示装置以及头部佩戴型显示装置的控制方法
CN109925057A (zh) 一种基于增强现实的脊柱微创手术导航方法及系统
TW201505603A (zh) 資訊處理裝置、資訊處理方法及資訊處理系統
EP3126896A1 (en) Augmented reality glasses for medical applications and corresponding augmented reality system
CN106805934B (zh) 增强现实无线电子内窥镜手术系统
CN111297501B (zh) 一种口腔种植手术增强现实导航方法和系统
US11094283B2 (en) Head-wearable presentation apparatus, method for operating the same, and medical-optical observation system
JP6311393B2 (ja) 情報処理装置、情報処理方法、および、情報処理システム
CN107049210B (zh) 一种基于增强现实的腔镜显示控制系统
CN111405866A (zh) 用于眼部治疗的沉浸式显示系统
CN108446011A (zh) 一种基于增强现实的医疗辅助方法及设备
CN110638525B (zh) 整合扩增实境的手术导航系统
CN111193830B (zh) 一种基于智能手机的便携式增强现实医学图像观察辅助设备
CN108170259A (zh) 医疗系统辅助处理设备、医疗系统及辅助处理方法
CN104679226B (zh) 非接触式医疗控制系统、方法及医疗设备
CN111053598A (zh) 一种基于投影仪的增强现实系统平台
CN109710073A (zh) 一种vr医用手术教学头盔
CN116172493A (zh) 用于内窥镜系统的成像及显示方法和内窥镜系统
CN211325679U (zh) 一种基于增强现实的近红外荧光成像系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant