CN111374784A - 一种增强现实ar定位系统及方法 - Google Patents

一种增强现实ar定位系统及方法 Download PDF

Info

Publication number
CN111374784A
CN111374784A CN201811648152.7A CN201811648152A CN111374784A CN 111374784 A CN111374784 A CN 111374784A CN 201811648152 A CN201811648152 A CN 201811648152A CN 111374784 A CN111374784 A CN 111374784A
Authority
CN
China
Prior art keywords
dimensional
sensing
image
positioning device
display device
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201811648152.7A
Other languages
English (en)
Other versions
CN111374784B (zh
Inventor
刘帅
董晓滨
杨宇
王树利
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hisense Visual Technology Co Ltd
Original Assignee
Hisense Visual Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hisense Visual Technology Co Ltd filed Critical Hisense Visual Technology Co Ltd
Priority to CN201811648152.7A priority Critical patent/CN111374784B/zh
Publication of CN111374784A publication Critical patent/CN111374784A/zh
Application granted granted Critical
Publication of CN111374784B publication Critical patent/CN111374784B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/10—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges for stereotaxic surgery, e.g. frame-based stereotaxis
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/10—Computer-aided planning, simulation or modelling of surgical operations
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/39—Markers, e.g. radio-opaque or breast lesions markers
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H20/00—ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance
    • G16H20/40—ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance relating to mechanical, radiation or invasive therapies, e.g. surgery, laser therapy, dialysis or acupuncture
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/10—Computer-aided planning, simulation or modelling of surgical operations
    • A61B2034/101—Computer-aided simulation of surgical operations
    • A61B2034/105—Modelling of the patient, e.g. for ligaments or bones
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/10—Computer-aided planning, simulation or modelling of surgical operations
    • A61B2034/108—Computer aided selection or customisation of medical implants or cutting guides
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/10—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges for stereotaxic surgery, e.g. frame-based stereotaxis
    • A61B2090/101—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges for stereotaxic surgery, e.g. frame-based stereotaxis for stereotaxic radiosurgery
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/39—Markers, e.g. radio-opaque or breast lesions markers
    • A61B2090/3983—Reference marker arrangements for use with image guided surgery

Abstract

本发明公开了一种增强现实AR定位系统及方法。该系统包括：传感信号扫描定位装置，用于发射传感信号扫描定位装置与AR显示装置以及接收来自所述定位装置的第一响应传感信号和来自所述AR显示装置的第二响应传感信号，所述第一响应传感信号用于确定所述定位装置在传感三维坐标中的位置；定位装置包括至少一个第一标志点，所述定位装置通过所述第一标志点收到传感信号后发出第一响应传感信号；AR显示装置，基于所述影像三维模型中人体部位与显示装置的位置关系进行人体部位AR成像并显示；处理器用于利用包括定位装置及人体部位的二维影像数据确定包括定位装置及人体部位的影像三维模型，确定影像三维模型中人体部位与显示装置的位置关系。

Description

一种增强现实AR定位系统及方法
技术领域
本发明涉及增强现实AR技术领域，尤其涉及一种增强现实AR定位系统及方法。
背景技术
随着计算机技术和医学影像技术的发展，一些外科治疗进入了“精确定位、精确计划、精确治疗”的“三精”时代，特别是需要进行精准的定位来确定手术位置的外科手术，例如脑出血手术、肿瘤手术等，为达到精准治疗减少创伤的目的，医疗中采用对电子计算机断层扫描CT或者磁共振成像MRI数据进行定位，传统的定位方法有如下几种：
一种是利用龙胆紫进行术前标记，包括划线定位或者弦长定位；
另一种是利用特定装置进行标记，例如利用脑立体定向仪或者神经导航进行标记。
上述定位手段是通过划线标记或者利用固定装备进行标记，在实际操作中标记的位置无法与患者需进行手术的位置重叠，影响定位手术位置的精准性。
发明内容
本发明提供一种增强现实AR定位系统及方法，结合AR技术可以将影像三维模型投射到患者手术位置，辅助医生在手术时精准定位患者手术位置。
本发明提供一种增强现实AR定位系统，该系统包括：
传感信号扫描定位装置，用于发射传感信号扫描定位装置与AR显示装置以及接收来自所述定位装置的第一响应传感信号和来自所述AR显示装置的第二响应传感信号，所述第一响应传感信号用于确定所述定位装置在传感三维坐标中的位置，所述第二响应传感信号用于确定AR显示装置在所述传感三维坐标中的位置；
定位装置，所述定位装置设置于人体上，包括至少一个第一标志点，所述定位装置通过所述第一标志点收到传感信号后发出第一响应传感信号；
AR显示装置，包括至少一个第二标志点，所述显示装置通过所述第二标志点收到传感信号后发出第二响应传感信号，基于所述影像三维模型中人体部位与显示装置的位置关系进行人体部位AR成像并显示；
处理器，接收来自于影像扫描装置生成的包括定位装置和人体部位的二维影像数据，利用所述二维影像数据确定包括定位装置及人体部位的影像三维模型，将影像三维模型重建在影像三维坐标中，基于定位装置在所述传感三维坐标和影像三维坐标中的坐标位置，确定所述传感三维坐标与所述影像三维模型的位姿关系，基于所述确定的传感三维坐标与所述影像三维模型的位姿关系，确定影像三维模型中人体部位与显示装置的位置关系。
本发明提供一种增强现实AR定位方法，该方法包括：
利用传感信号扫描定位装置，发射传感信号扫描定位装置与AR显示装置，以及接收来自所述定位装置的第一响应传感信号和来自所述AR显示装置的第二响应传感信号，所述第一响应传感信号用于确定所述定位装置在传感三维坐标中的位置，所述第二响应传感信号用于确定AR显示装置在所述传感三维坐标中的位置；
利用处理器接收来自于影像扫描装置生成的包括定位装置和人体部位的二维影像数据，利用所述二维影像数据确定包括定位装置及人体部位的影像三维模型，将影像三维模型重建在影像三维坐标中，基于定位装置在所述传感三维坐标和影像三维坐标中的坐标位置，确定所述传感三维坐标与所述影像三维模型的位姿关系，基于所述确定的传感三维坐标与所述影像三维模型的位姿关系，确定影像三维模型中人体部位与显示装置的位置关系；
利用AR显示装置收到传感信号后发出第二响应传感信号，基于所述影像三维模型中人体部位与显示装置的位置关系，进行人体部位AR成像并显示。
本发明实施例的提供一种增强现实AR定位系统及方法，具有以下有益效果：
通过影像扫描模块对佩戴定位装置的患者进行扫描定位，根据患者佩戴的定位装置确定患者影像扫描模块的影像三维模型与定位装置之间的位姿关系，根据所述位姿关系确定所述影像三维模型中人体部位与医生佩戴的AR显示装置的位置关系，将患者的影像三维模型中人体部位投射到患者患病部位，并通过AR显示装置进行显示，辅助医生在手术时能够精准定位手术位置。
附图说明
图1为一种增强现实AR定位系统图；
图2为标志点示意图；
图3为定位装置示意图；
图4为显示装置示意图；
图5为传感信号扫描定位模块单元图；
图6为传感信号扫描分析图；
图7为坐标关系建立图；
图8为一种增强现实AR定位装置图。
具体实施方式
为了使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明作进一步地详细描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例，都属于本发明保护的范围。
实施例一
本发明提供一种增强现实AR定位系统，利用传感信号和影像扫描定位技术，确定影像扫描建立的影像三维模型中的定位装置与患者真实患病部位的位姿关系，通过AR显示将影像三维模型“投射”到患者身体上，与患者真实患病部位吻合，达到辅助医生在手术时定位患者患病器官的目的。具体实施系统如图1所示，该系统包括：
传感信号扫描定位模块100，用于发射传感信号扫描定位装置与显示装置，基于接收的第一响应传感信号确定所述定位装置在传感三维坐标中的位置，基于接收的第二响应传感信号确定显示装置在所述传感三维坐标中的位置；
影像扫描模块101，用于扫描携带所述定位装置的人体，确定包括定位装置及人体部位的二维影像数据；
定位装置102，包括至少一个标志点，所述定位装置通过所述标志点收到传感信号后发出第一响应传感信号；
AR显示装置103，包括至少一个标志点，所述显示装置通过所述标志点收到传感信号后发出第二响应传感信号，基于所述影像三维模型中人体部位与显示装置的位置关系进行人体部位AR成像并显示；
处理器104，用于利用包括定位装置及人体部位的二维影像数据确定包括定位装置及人体部位的影像三维模型，将影像三维模型重建在影像三维坐标中，基于定位装置在所述传感三维坐标和影像三维坐标中的坐标位置，确定所述传感三维坐标与所述影像三维模型的位姿关系，基于所述确定的传感三维坐标与所述影像三维模型的位姿关系，确定影像三维模型中人体部位与显示装置的位置关系。
实施中，上述传感信号扫描定位模块可以是一个，也可以是多个，根据实际需求确定，当使用一个传感信号扫描定位模块发射传感信号，遇到遮挡物较多，可以使用多个传感信号扫描定位模块解决遮挡问题，传感信号扫描定位模块发射的传感信号可以但不限于是红外传感信号。
实施中，上述影像扫描模块可以是电子计算机断层扫描CT模块或者磁共振成像MRI模块，扫描携带上述定位装置的人体，用于人体CT/MRI扫描，能够最终输出携带上述定位装置的人体的二维影像数据。
实施中，基于定位装置中至少同一个标志点在所述传感三维坐标和影像三维坐标中的坐标位置，确定所述传感三维坐标与所述影像三维模型的位姿关系。
实施中，上述定位装置中的标志点是可同时作为影像扫描模块和传感信号扫描定位模块进行扫描定位的部件，本实施例中定位装置的标志点为安装在定位装置上的传感器，如图2所示，黑色部分2表示传感器，灰色部分1表示影像定位点，本实施例中对标志点的具体形态不作过多限定；定位装置包括至少一个标志点，多个标志点按照设定结构组成上述定位装置，本实施例中对定位装置的具体结构形式不作过多限定；
作为一种可选的实施方式，定位装置包括至少4个不共面的标志点，如图3所示，定位装置可以是环状结构、或网状罩盖结构体或树杈结构。具体实施中该定位装置将固定于病人患病部位或固定于病人患病部位设定区域内的部位，该定位装置固定于病人的具体位置根据病人实际患病部位确定。
实施中，AR显示装置如图4所示，可以是AR眼镜，AR眼镜中的标志点是作为传感信号扫描定位模块进行扫描定位的传感装置，具体实施中，可由医生佩戴，通过AR成像显示影像三维模型中人体部位。
作为一种可选的实施方式，AR眼镜中包括至少4个不共面的标志点。
上述AR显示装置运用了AR技术，是一种将真实世界信息和虚拟世界信息“无缝”集成的新技术，是把原本在现实世界很难体验到的实体信息例如本实施例中的人体部位，通过处理器进行处理，将虚拟的信息应用到真实世界，被人类感官所感知，从而达到超越现实的感官体验，真实的环境和虚拟的物体实时地叠加到了同一个画面或空间同时存在。本实施例中，基于AR技术，将影像三维模型中人体部位通过AR显示装置成像并显示，将真实世界中的人体部位和虚拟的影像三维模型中人体部位叠加到了同一个画面，达到辅助医生在手术时定位病人组织器官的目的。
上述AR显示装置还包括惯性传感器IMU，IMU包括陀螺仪、加速度计以及磁力计，在测量器件的姿态即器件绕坐标轴旋转的自由度上有独特的作用，该IMU的测量结果准确且精度高。本实施例中，传感信号扫描定位模块利用该IMU对AR显示装置进行旋转自由度的校正和补偿，以及对AR显示装置进行位移自由度的测量。
实施中，上述处理器利用包括定位装置及人体部位的二维影像数据，通过体绘制技术将上述二维影像数据进行内部结构信息的展示，利用三维离散数据场的重新采样，通过积分将图像进行合成，将扫描到的包括定位装置的人体的二维数据进行三维结构体的展示，最终确定建立包括定位装置及人体部位的影像三维模型。
实施中，上述处理器可以集成在AR显示装置上，也可以是独立的本地处理器，与AR显示装置、以有线方式进行连接，或者，上述处理器可以安装在远程计算机上，与AR显示装置通过无线通信的方式进行数据的传输。
作为一种可选的实施方式，所述传感信号扫描定位模块具体用于：
发射传感信号扫描定位装置与显示装置，基于接收的第一响应传感信号确定定位装置相对于扫描基准面的二维平面坐标，基于接收的第二响应传感信号确定显示装置相对于扫描基准面的二维平面坐标；
利用定位装置中的标志点之间的位置关系及定位装置相对于扫描基准面的二维平面坐标，确定所述定位装置在传感三维坐标中的位置；
利用显示装置中标志点之间的位置关系及显示装置相对于扫描基准面的二维平面坐标，确定所述显示装置在传感三维坐标中的位置。
实施中，上述传感信号扫描定位模块可能包括以下3个单元，如图5所示：
传感信号发射单元，包括定位传感器、多个水平扫描传感器，以及多个竖直扫描传感器，其中，多个水平扫描传感器发射的传感信号的方向是平行的，多个竖直扫描传感器发射的传感信号的方向是平行的，利用定位传感器发射全方位的传感信号，根据反馈的第一响应传感信号/第二响应传感信号确定扫描到定位装置/显示装置上任一标志时，开始启动水平扫描传感器进行扫描，其中，水平扫描传感器连接电机，电机转动的同时带动所有水平扫描传感器同时发射同一方向的传感信号进行水平方向上的扫描，可以在水平方向上扫描定位装置/显示装置中的任一个标志点；水平扫描结束后，利用定位传感器发射全方位的传感信号，根据反馈的第一响应传感信号/第二响应传感信号确定扫描到定位装置/显示装置上任一标志时，开始启动竖直扫描传感器进行扫描，竖直扫描传感器连接电机，电机转动的同时带动所有竖直扫描传感器同时发射同一方向的传感信号进行竖直方向上的扫描，可以在竖直方向上扫描定位装置和显示装置中的任一个标志点，其中，上述水平扫描传感器和竖直扫描传感器启动时刻发射的传感信号的方向是相同的；
上述传感信号发射单元可以是灯塔式的发射单元，如外置式激光灯塔。
定位传感器可以是发射红外信号的LED阵列，通过LED阵列发射全方位的红外信号。
多个水平扫描传感器可以是发射红外信号的LED阵列，多个竖直扫描传感器可以是发射红外信号的LED阵列。
其中，多个水平扫描传感器/竖直扫描传感器与定位传感器可以复用相同的LED阵列，多个水平扫描传感器与多个竖直扫描传感器也可以复用相同的LED阵列。
传感信号接收单元，用于接收定位装置中任一个标志点反馈的第一响应传感信号，以及用于接收显示装置中任一个标志点反馈的第二响应传感信号；
处理单元，具体用于：
根据反馈的第一响应传感信号/第二响应传感信号确定扫描到定位装置/显示装置上任一标志点时，控制传感信号发射单元启动水平扫描传感器进行扫描；
控制启动水平扫描传感器进行扫描时，记录水平扫描传感器发出传感信号的时刻、记录定位装置/显示装置中的任一个标志点反馈该传感信号的时刻；根据记录的水平扫描传感器发出传感信号的时刻、记录的定位装置/显示装置中的任一个标志点反馈的该传感信号的时刻以及电机转动的速度，确定出上述定位装置/显示装置中的任一个标志点离扫描起始面的角度A，所述扫描起始面是与传感信号发射单元中的水平扫描传感器和竖直扫描传感器启动时刻发射的相同传感信号的方向垂直的平面；
水平扫描结束后，根据反馈的第一响应传感信号/第二响应传感信号确定扫描到定位装置/显示装置上任一标志点时，开始启动竖直扫描传感器进行扫描；
控制启动竖直扫描传感器进行扫描时，记录竖直扫描传感器发出传感信号的时刻、记录定位装置/显示装置中的任一个标志点反馈该传感信号的时刻；根据记录的竖直扫描传感器发出传感信号的时刻、记录的定位装置/显示装置中的任一个标志点反馈的该传感信号的时刻以及电机转动的速度，确定出上述定位装置/显示装置中的任一个标志点离扫描起始面的角度B；
定义离上述扫描起始面距离为K的平行平面F，根据K和上述确定出的定位装置/显示装置中的任一个标志点离扫描起始面的角度A，得到定位装置/显示装置中的任一个标志点在平面F上投影点的横坐标，根据K和上述确定出的定位装置/显示装置中的任一个标志点离扫描起始面的角度B，得到定位装置/显示装置中的任一个标志点在平面F上投影点的纵坐标；
根据上述确定的定位装置/显示装置中任一个标志点在平面F上投影点的横坐标，以及在平面F上投影点的纵坐标，确定该标志点在平面F上投影点的坐标，根据上述方法能够确定定位装置/显示装置中所有标志点在平面F上投影点的坐标；
根据预先确定的定位装置/显示装置中所有标志点之间的位置关系，利用PnP算法，建立定位装置/显示装置的三维模型，确定出定位装置/显示装置的三维模型相对于扫描起始面的的姿态和位置。
实施中，可以建立传感三维坐标系，以上述定义的扫描起始面作为传感三维坐标系中的一个平面，根据上述确定的定位装置/显示装置相对于扫描起始面的的姿态和位置，能够确定定位装置/显示装置在建立的传感三维坐标中的姿态和位置。
具体的，以确定定位装置中任一个标志点在平面F上投影点的坐标为例进行详细说明，如图6所示，传感信号发射单元发射红外激光，图6中由X轴、Y轴建立的平面为扫描起始面，F平面是平行于扫描起始面的平面，定位装置中包含v’n个标志点，确定定位装置中的第v’i个标志点离基站扫描起始面的角度，具体实施步骤如下：
步骤600：传感信号发射单元中的定位传感器发出全方向的传感信号。
步骤601：根据反馈的第一响应传感信号确定扫描到定位装置上任一标志时，开始启动水平扫描传感器进行扫描；
具体的，定位装置中的v’i标志点接收到传感信号后发出第一响应传感信号给处理单元，处理单元根据反馈的第一响应传感信号控制传感信号发射单元启动水平扫描传感器进行扫描，记录水平扫描传感器发出传感信号的时刻为t_0。
步骤602：水平扫描传感器连接电机，电机转动的同时带动所有水平扫描传感器同时发射同一方向的传感信号进行水平方向上的扫描。
步骤603：当水平扫描传感器在水平方向上扫描到定位装置中的v’i标志点时，v’i标志点发出第一响应传感信号给处理单元，处理单元接收反馈的第一响应传感信号并记录此时时刻为t_1。
步骤604：确定水平扫描传感器在水平方向上扫描到定位装置中的所有标志点时，结束扫描；
步骤605：传感信号发射单元中的定位传感器发出全方向的传感信号。
步骤606：根据反馈的第一响应传感信号确定扫描到定位装置上任一标志时，开始启动竖直扫描传感器进行扫描；
具体的，定位装置中的v’i标志点接收到传感信号后发出第一响应传感信号给处理单元，处理单元根据反馈的第一响应传感信号控制传感信号发射单元启动竖直扫描传感器进行扫描，记录竖直扫描传感器发出传感信号的时刻为t_2。
步骤607：竖直扫描传感器连接电机，电机转动的同时带动所有竖直扫描传感器同时发射同一方向的传感信号进行竖直方向上的扫描。
步骤608：当竖直扫描传感器在竖直方向上扫描到定位装置中的v’i标志点时，v’i标志点发出第一响应传感信号给处理单元，处理单元接收反馈的第一响应传感信号并记录此时时刻为t_3。
步骤609：确定竖直扫描传感器在竖直方向上扫描到定位装置中的所有标志点时，结束扫描；
步骤610：处理单元根据上述t_0与t_1的时间差以及电机转动的速度，确定定位装置中的v’i标志点离扫描起始面的角度αi，根据t_2与t_3的时间差以及电机转动的速度，确定定位装置中的v’i标志点离扫描起始面的角度βi。
步骤611：处理器根据上述确定的αi和βi，根据以下公式，确定出定位装置中的v’i标志点在平面F上投影点的横坐标x与纵坐标y：
Figure BDA0001932418010000101
Figure BDA0001932418010000102
步骤612：根据上述步骤能够确定定位装置中的所有标志点在平面F上投影点的坐标，根据预先确定的定位装置中所有标志点之间的位置关系，利用PnP算法，建立定位装置的三维模型，确定出定位装置/显示装置的三维模型相对于扫描起始面的姿态和位置。
实施中，在确定显示装置相对于传感信号发射单元的姿态和位置时，由于显示装置是医生佩戴，且医生在佩戴过程中会不断运动出现姿态和位置的偏移，为了提升上述确定显示装置位置和姿态结果的平滑性，可通过IMU对显示装置的旋转自由度进行校正和补偿，以及对显示装置的位移自由度进行测量，从而校正上述步骤确定出显示装置相对于传感信号发射单元的姿态和位置可能出现的误差，使得结果更加精确。
作为一种可选的实施方式，所述处理器具体用于：
基于定位装置在所述传感三维坐标和影像三维坐标中的坐标位置，根据三维数据配准算法，确定所述传感三维坐标与所述影像三维坐标的位姿关系；
根据确定的确定所述传感三维坐标与所述影像三维坐标的位姿关系，确定影像三维模型中人体部位在所述传感三维坐标中的位置；
根据所述影像三维模型中人体部位和显示装置在所述传感三维坐标中的位置，确定所述影像三维模型中人体部位与所述显示装置的位置关系。
实施中，上述处理器根据确定的上述影像三维模型中人体部位与所述AR显示装置的位置关系，将影像三维模型中人体部位在传感三维坐标中的位置转换到上述AR显示装置在传感三维坐标中的位置，用AR显示装置将上述三维模型中人体部位显示出来，相当于将三维模型中人体部位投射到对应的人体所在部位。
传感三维坐标与影像三维坐标的变换步骤如图7所示：
步骤700：影像扫描模块确定包括定位装置及人体部位的影像三维模型，处理器将影像三维模型重建在影像三维坐标中；
具体的，利用定位装置中至少一个标志点与人体部位的相对位置关系，通过体绘制技术，确定包含定位装置的人体部位的影像三维模型，同时确定定位装置中的标志点在影像三维坐标中的位置；
可选的，可以确定定位装置中不共面的4个标志点A、B、C、D在影像三维坐标中的位置。
步骤701：传感信号扫描定位模块确定定位装置中任一个标志点在传感三维坐标中的位置；
可选的，可以确定定位装置中不共面的4个标志点A、B、C、D在传感三维坐标中的位置。
步骤702：利用三维数据配准算法，建立影像三维坐标中的影像三维模型与传感三维坐标中的定位装置之间的坐标转换关系，由于基于同一个定位装置中的标志点，因此能够确定影像三维模型中人体部位在所述传感三维坐标中的位置。
具体的，因为上述包含定位装置的影像三维模型中的标志点A、B、C、D与传感三维坐标中的定位装置的标志点A、B、C、D分别是同一标志点，所以基于定位装置在所述传感三维坐标和影像三维坐标中的坐标位置，能够确定包含定位装置的影像三维模型中的标志点A、B、C、D在传感三维坐标中的位置，根据上述标志点A、B、C、D与影像三维模型中人体部位的相对关系，能够确定影像三维模型中人体部位在所述传感三维坐标中的位置。
步骤703：传感信号扫描定位模块确定显示装置中任一个标志点在所述传感三维坐标中的位置；
可选的，可以确定显示装置中不共面的4个标志点在传感三维坐标中的位置。
步骤704：根据上述确定的影像三维模型中人体部位和显示装置在所述传感三维坐标中的位置，确定所述影像三维模型中人体部位与所述显示装置的位置关系。
步骤705：将影像三维模型中人体部位的坐标位置匹配到显示装置所在传感三维坐标中的位置，并通过AR显示装置进行显示。
可选的，可以将包含定位装置的影像三维模型中4个不共面的标志点在传感三维坐标中的位置与显示装置中4个不共面的标志点在传感三维坐标中的位置，基于三维数据配准算法进行匹配，最终将影像三维模型中人体部位在传感三维坐标中的位置转换到显示装置所在传感三维坐标中的位置，通过AR显示装置进行显示。
作为一种可选的实施方式，所述三维数据配准算法，包括以下任一种算法：
点集对点集的配准方法PSTPS；或者
迭代最近点方法ICP；或者
基于点线面几何特征约束的配准方法GFC；或者
多幅影像数据的整体配准方法MVS。
实施例二
基于同一发明构思，本发明还提供一种增强现实AR定位方法，本方法的具体实施可参见系统实施例中部分的描述，重复之处不再赘述。
上述方法如图8所示包括以下步骤：
步骤801：利用传感信号扫描定位模块，发射传感信号扫描定位装置与显示装置，基于从定位装置的至少一个标志点接收的第一响应传感信号确定所述定位装置在传感三维坐标中的位置，基于从AR显示装置的至少一个标志点接收的第二响应传感信号确定显示装置在所述传感三维坐标中的位置；
步骤802：利用影像扫描模块扫描携带所述定位装置的人体，确定包括定位装置及人体部位的二维影像数据；
步骤803：利用处理器通过包括定位装置及人体部位的二维影像数据确定包括定位装置及人体部位的影像三维模型，将影像三维模型重建在影像三维坐标中，基于定位装置在所述传感三维坐标和影像三维坐标中的坐标位置，确定所述传感三维坐标与所述影像三维模型的位姿关系，基于所述确定的传感三维坐标与所述影像三维模型的位姿关系，确定影像三维模型中人体部位与显示装置的位置关系；
步骤804：利用AR显示装置基于所述影像三维模型中人体部位与显示装置的位置关系，进行人体部位AR成像并显示。
作为一种可选的实施方式，基于定位装置在所述传感三维坐标和影像三维坐标中的坐标位置，确定所述传感三维坐标与所述影像三维模型的位姿关系，基于所述确定的传感三维坐标与所述影像三维模型的位姿关系，确定影像三维模型中人体部位与显示装置的位置关系，包括：
基于定位装置在所述传感三维坐标和影像三维坐标中的坐标位置，根据三维数据配准算法，确定所述传感三维坐标与所述影像三维坐标的位姿关系；
根据确定的确定所述传感三维坐标与所述影像三维坐标的位姿关系，确定影像三维模型中人体部位在所述传感三维坐标中的位置；
根据所述影像三维模型中人体部位和显示装置在所述传感三维坐标中的位置，确定所述影像三维模型中人体部位与所述显示装置的位置关系。
作为一种可选的实施方式，所述三维数据配准算法，包括以下任一种算法：
点集对点集的配准方法PSTPS；或者
迭代最近点方法ICP；或者
基于点线面几何特征约束的配准方法GFC；或者
多幅影像数据的整体配准方法MVS。
作为一种可选的实施方式，确定所述传感三维坐标与所述影像三维模型的位姿关系，包括：
基于定位装置中至少同一个标志点在所述传感三维坐标和影像三维坐标中的坐标位置，确定所述传感三维坐标与所述影像三维模型的位姿关系。
作为一种可选的实施方式，确定所述定位装置在传感三维坐标中的位置，包括：
发射传感信号扫描定位装置，基于从定位装置的至少一个标志点接收的第一响应传感信号确定定位装置相对于扫描基准面的二维平面坐标；
利用定位装置中标志点之间的位置关系及定位装置相对于扫描基准面的二维平面坐标，确定所述定位装置在传感三维坐标中的位置；
确定所述显示装置在传感三维坐标中的位置，包括：
发射传感信号扫描显示装置，基于从AR显示装置的至少一个标志点接收的第二响应传感信号确定显示装置相对于扫描基准面的二维平面坐标；
利用显示装置中标志点之间的位置关系及显示装置相对于扫描基准面的二维平面坐标，确定所述显示装置在传感三维坐标中的位置。
本领域内的技术人员应明白，本发明的实施例可提供为方法、系统、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器和光学存储器等)上实施的计算机程序产品的形式。
本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的设备。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令设备的制造品，该指令设备实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包含这些改动和变型在内。

Claims (9)

1.一种实现增强现实AR显示的系统，其特征在于，该系统包括：
传感信号扫描定位装置，用于发射传感信号扫描定位装置与AR显示装置以及接收来自所述定位装置的第一响应传感信号和来自所述AR显示装置的第二响应传感信号，所述第一响应传感信号用于确定所述定位装置在传感三维坐标中的位置，所述第二响应传感信号用于确定AR显示装置在所述传感三维坐标中的位置；
定位装置，所述定位装置设置于人体上，包括至少一个第一标志点，所述定位装置通过所述第一标志点收到传感信号后发出第一响应传感信号；
AR显示装置，包括至少一个第二标志点，所述显示装置通过所述第二标志点收到传感信号后发出第二响应传感信号，基于所述影像三维模型中人体部位与显示装置的位置关系进行人体部位AR成像并显示；
处理器，接收来自于影像扫描装置生成的包括定位装置和人体部位的二维影像数据，利用所述二维影像数据确定包括定位装置及人体部位的影像三维模型，将影像三维模型重建在影像三维坐标中，基于定位装置在所述传感三维坐标和影像三维坐标中的坐标位置，确定所述传感三维坐标与所述影像三维模型的位姿关系，基于所述确定的传感三维坐标与所述影像三维模型的位姿关系，确定影像三维模型中人体部位与显示装置的位置关系。
2.根据权利要求1所述的系统，其特征在于，所述处理器具体用于：
基于定位装置在所述传感三维坐标和影像三维坐标中的坐标位置，根据三维数据配准算法，确定所述传感三维坐标与所述影像三维坐标的位姿关系；
根据确定的所述传感三维坐标与所述影像三维坐标的位姿关系，确定影像三维模型中人体部位在所述传感三维坐标中的位置；
根据所述影像三维模型中人体部位和AR显示装置在所述传感三维坐标中的位置，确定所述影像三维模型中人体部位与所述AR显示装置的位置关系。
3.根据权利要求2所述的系统，其特征在于，所述三维数据配准算法，包括以下任一种算法：
点集对点集的配准方法PSTPS；或者
迭代最近点方法ICP；或者
基于点线面几何特征约束的配准方法GFC；或者
多幅影像数据的整体配准方法MVS。
4.根据权利要求1所述的系统，其特征在于，所述处理器具体用于：
基于定位装置中至少同一个标志点在所述传感三维坐标和影像三维坐标中的坐标位置，确定所述传感三维坐标与所述影像三维模型的位姿关系。
5.根据权利要求1所述的系统，其特征在于，所述传感信号扫描定位模块发射的传感信号为红外激光信号。
6.根据权利要求1所述的系统，其特征在于，所述传感信号扫描定位模块具体用于：
发射传感信号扫描定位装置与显示装置，基于接收的第一响应传感信号确定定位装置相对于扫描基准面的二维平面坐标，基于接收的第二响应传感信号确定显示装置相对于扫描基准面的二维平面坐标；
利用定位装置中的标志点之间的位置关系及定位装置相对于扫描基准面的二维平面坐标，确定所述定位装置在传感三维坐标中的位置；
利用显示装置中标志点之间的位置关系及显示装置相对于扫描基准面的二维平面坐标，确定所述显示装置在传感三维坐标中的位置。
7.根据权利要求1所述的系统，其特征在于，所述AR显示装置与所述处理器是集成于一体的集成装置。
8.一种实现增强现实AR显示的方法，其特征在于，该方法包括：
利用传感信号扫描定位装置，发射传感信号扫描定位装置与AR显示装置，以及接收来自所述定位装置的第一响应传感信号和来自所述AR显示装置的第二响应传感信号，所述第一响应传感信号用于确定所述定位装置在传感三维坐标中的位置，所述第二响应传感信号用于确定AR显示装置在所述传感三维坐标中的位置；
利用处理器接收来自于影像扫描装置生成的包括定位装置和人体部位的二维影像数据，利用所述二维影像数据确定包括定位装置及人体部位的影像三维模型，将影像三维模型重建在影像三维坐标中，基于定位装置在所述传感三维坐标和影像三维坐标中的坐标位置，确定所述传感三维坐标与所述影像三维模型的位姿关系，基于所述确定的传感三维坐标与所述影像三维模型的位姿关系，确定影像三维模型中人体部位与显示装置的位置关系；
利用AR显示装置收到传感信号后发出第二响应传感信号，基于所述影像三维模型中人体部位与显示装置的位置关系进行人体部位AR成像并显示。
9.根据权利要求8所述的方法，其特征在于，基于定位装置在所述传感三维坐标和影像三维坐标中的坐标位置，确定所述传感三维坐标与所述影像三维模型的位姿关系，基于所述确定的传感三维坐标与所述影像三维模型的位姿关系，确定影像三维模型中人体部位与AR显示装置的位置关系，包括：
基于定位装置在所述传感三维坐标和影像三维坐标中的坐标位置，根据三维数据配准算法，确定所述传感三维坐标与所述影像三维坐标的位姿关系；
根据确定的确定所述传感三维坐标与所述影像三维坐标的位姿关系，确定影像三维模型中人体部位在所述传感三维坐标中的位置；
根据所述影像三维模型中人体部位和AR显示装置在所述传感三维坐标中的位置，确定所述影像三维模型中人体部位与所述AR显示装置的位置关系。
CN201811648152.7A 2018-12-29 2018-12-29 一种增强现实ar定位系统及方法 Active CN111374784B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201811648152.7A CN111374784B (zh) 2018-12-29 2018-12-29 一种增强现实ar定位系统及方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201811648152.7A CN111374784B (zh) 2018-12-29 2018-12-29 一种增强现实ar定位系统及方法

Publications (2)

Publication Number Publication Date
CN111374784A true CN111374784A (zh) 2020-07-07
CN111374784B CN111374784B (zh) 2022-07-15

Family

ID=71218414

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811648152.7A Active CN111374784B (zh) 2018-12-29 2018-12-29 一种增强现实ar定位系统及方法

Country Status (1)

Country Link
CN (1) CN111374784B (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111953849A (zh) * 2020-08-28 2020-11-17 深圳市慧鲤科技有限公司 展示留言板的方法、装置、电子设备及存储介质
TWI741889B (zh) * 2020-11-30 2021-10-01 財團法人金屬工業研究發展中心 手術空間註冊系統與方法

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20030179308A1 (en) * 2002-03-19 2003-09-25 Lucia Zamorano Augmented tracking using video, computed data and/or sensing technologies
CN102319117A (zh) * 2011-06-16 2012-01-18 上海交通大学医学院附属瑞金医院 基于磁导航融合实时超声信息的大血管内介入物植入系统
US20170086665A1 (en) * 2015-09-24 2017-03-30 Covidien Lp Marker placement
CN107071388A (zh) * 2016-12-26 2017-08-18 深圳增强现实技术有限公司 一种立体增强现实显示方法及装置
CN107374729A (zh) * 2017-08-21 2017-11-24 上海霖晏医疗科技有限公司 基于ar技术的手术导航系统及方法
CN107536643A (zh) * 2017-08-18 2018-01-05 北京航空航天大学 一种前交叉韧带重建的增强现实手术导航系统
US20180168781A1 (en) * 2016-12-16 2018-06-21 Align Technology, Inc. Augmented reality enhancements for dental practitioners
CN108335365A (zh) * 2018-02-01 2018-07-27 张涛 一种影像引导的虚实融合处理方法及装置

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20030179308A1 (en) * 2002-03-19 2003-09-25 Lucia Zamorano Augmented tracking using video, computed data and/or sensing technologies
CN102319117A (zh) * 2011-06-16 2012-01-18 上海交通大学医学院附属瑞金医院 基于磁导航融合实时超声信息的大血管内介入物植入系统
US20170086665A1 (en) * 2015-09-24 2017-03-30 Covidien Lp Marker placement
US20180168781A1 (en) * 2016-12-16 2018-06-21 Align Technology, Inc. Augmented reality enhancements for dental practitioners
CN107071388A (zh) * 2016-12-26 2017-08-18 深圳增强现实技术有限公司 一种立体增强现实显示方法及装置
CN107536643A (zh) * 2017-08-18 2018-01-05 北京航空航天大学 一种前交叉韧带重建的增强现实手术导航系统
CN107374729A (zh) * 2017-08-21 2017-11-24 上海霖晏医疗科技有限公司 基于ar技术的手术导航系统及方法
CN108335365A (zh) * 2018-02-01 2018-07-27 张涛 一种影像引导的虚实融合处理方法及装置

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111953849A (zh) * 2020-08-28 2020-11-17 深圳市慧鲤科技有限公司 展示留言板的方法、装置、电子设备及存储介质
TWI741889B (zh) * 2020-11-30 2021-10-01 財團法人金屬工業研究發展中心 手術空間註冊系統與方法

Also Published As

Publication number Publication date
CN111374784B (zh) 2022-07-15

Similar Documents

Publication Publication Date Title
US11123144B2 (en) Registration of frames of reference
EP3007635B1 (en) Computer-implemented technique for determining a coordinate transformation for surgical navigation
EP2061556B1 (en) Method and apparatus for correcting an error in the co-registration of coordinate systems used to represent objects displayed during navigated brain stimulation
US10881353B2 (en) Machine-guided imaging techniques
US20170273665A1 (en) Pose Recovery of an Ultrasound Transducer
TWI396523B (zh) 用以加速牙科診斷及手術規劃之系統及其方法
CN105611877A (zh) 引导超声图像采集的方法和系统
WO2007011306A2 (en) A method of and apparatus for mapping a virtual model of an object to the object
EP2637593A1 (en) Visualization of anatomical data by augmented reality
US10074199B2 (en) Systems and methods for tissue mapping
WO2017107116A1 (zh) 微创手术导航系统
CN111627521B (zh) 增强现实在放疗中的应用
WO2019006456A1 (en) SYSTEMS AND METHODS FOR INTRA-OPERATIVE PLANNING AND PLACEMENT OF IMPLANTS
US10078906B2 (en) Device and method for image registration, and non-transitory recording medium
CN111374784B (zh) 一种增强现实ar定位系统及方法
CN113768527A (zh) 基于ct与超声影像融合的实时三维重建方法、装置及介质
CN113693723B (zh) 一种面向口腔咽喉部手术的跨模态导航定位系统及方法
JP2024028512A (ja) プログラム、情報処理方法及び内視鏡システム
WO2021074422A1 (en) Dynamic tissue imagery updating
JP6392192B2 (ja) 画像位置合せ装置、画像位置合せ装置の作動方法およびプログラム
US11430139B2 (en) Registration method and setup
US20230181263A1 (en) Dynamic 3d scanning robotic laparoscope
KR102460821B1 (ko) 증강 현실 장치 및 증강 현실 장치의 동작 방법
US20230248441A1 (en) Extended-reality visualization of endovascular navigation
EP4074255A1 (en) Virtual fiducial markings for automated planning in medical imaging

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant