CN113509264B - 一种基于校正物体在空间中位置的增强现实系统、方法及计算机可读存储介质 - Google Patents

一种基于校正物体在空间中位置的增强现实系统、方法及计算机可读存储介质 Download PDF

Info

Publication number
CN113509264B
CN113509264B CN202110357372.XA CN202110357372A CN113509264B CN 113509264 B CN113509264 B CN 113509264B CN 202110357372 A CN202110357372 A CN 202110357372A CN 113509264 B CN113509264 B CN 113509264B
Authority
CN
China
Prior art keywords
space
position information
correcting
augmented reality
spatial
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110357372.XA
Other languages
English (en)
Other versions
CN113509264A (zh
Inventor
孙非
朱奕
郭晓杰
崔芙粒
单莹
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai Jedicare Medical Technology Co ltd
Original Assignee
Shanghai Jedicare Medical Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shanghai Jedicare Medical Technology Co ltd filed Critical Shanghai Jedicare Medical Technology Co ltd
Priority to CN202110357372.XA priority Critical patent/CN113509264B/zh
Publication of CN113509264A publication Critical patent/CN113509264A/zh
Priority to PCT/CN2022/081469 priority patent/WO2022206406A1/zh
Application granted granted Critical
Publication of CN113509264B publication Critical patent/CN113509264B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/10—Computer-aided planning, simulation or modelling of surgical operations
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/25—User interfaces for surgical systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H20/00—ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance
    • G16H20/40—ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance relating to mechanical, radiation or invasive therapies, e.g. surgery, laser therapy, dialysis or acupuncture
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/20—ICT specially adapted for the handling or processing of medical images for handling medical images, e.g. DICOM, HL7 or PACS
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/50—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for simulation or modelling of medical disorders
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/10—Computer-aided planning, simulation or modelling of surgical operations
    • A61B2034/107—Visualisation of planned trajectories or target regions
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/10—Computer-aided planning, simulation or modelling of surgical operations
    • A61B2034/108—Computer aided selection or customisation of medical implants or cutting guides
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A61B2034/2046—Tracking techniques
    • A61B2034/2055—Optical tracking systems
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A61B2034/2046—Tracking techniques
    • A61B2034/2065—Tracking using image or pattern recognition
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A61B2034/2068—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis using pointers, e.g. pointers having reference marks for determining coordinates of body points

Landscapes

  • Health & Medical Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Surgery (AREA)
  • Medical Informatics (AREA)
  • Public Health (AREA)
  • General Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Biomedical Technology (AREA)
  • Epidemiology (AREA)
  • Primary Health Care (AREA)
  • Molecular Biology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • Veterinary Medicine (AREA)
  • Robotics (AREA)
  • Urology & Nephrology (AREA)
  • Radiology & Medical Imaging (AREA)
  • Pathology (AREA)
  • Databases & Information Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Human Computer Interaction (AREA)
  • Computer Graphics (AREA)
  • Computer Hardware Design (AREA)
  • General Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Processing Or Creating Images (AREA)

Abstract

本发明公开了一种基于校正物体在空间中位置的增强现实的系统及方法，包括捕获在空间中的第一物体图像，识别第一物体图像中的第一物体识别特性，得到第一物体空间位置信息；当第二物体处于特定位置时，捕获第二物体在空间中的第二物体图像，并识别第二物体图像中的第二物体识别特性，得到第二物体空间位置信息；根据第一物体空间位置信息对第二物体空间位置信息进行校正，根据第二物体空间位置信息，对第一物体空间位置信息进行校正；根据第一物体空间位置信息和/或第二物体的空间位置信息，显示与所述第一物体和/或所述第二物体的位置相关的增强现实信息，该方法能够精准的定位和位置的增强现实，能够帮助使用者进行精准和完整的操作。

Description

一种基于校正物体在空间中位置的增强现实系统、方法及计 算机可读存储介质
技术领域
本发明涉及图像处理技术领域，尤其涉及一种基于校正物体在空间中位置的增强现实系统及方法。
背景技术
增强现实技术，通常通过摄像头捕获到现实场景的图像，需要对捕获到的现实场景图像进行分析处理，并在现实场景的基础上增添附加的信息显示给用户，即对现实的增强。对现实场景的图像进行分析处理的过程，往往包括对场景中物体的定位。在某些特定需求下，对场景中的物体定位的精度要求极高，现有技术对场景中物体定位的准确度不能满足需求。
举例来说，增强现实技术应用于手术导航场景，需要非常准确地确定医疗器械与病人、场景之间的位置关系，才能确保向用户提供准确的导航信息。如基于增强现实技术的穿刺导航，可以用最简单方便，易学易用的设备实现快速精准的手术导航。而在整个流程中，精准导航的核心之一：基于可见光图案的精准手术器械空间定位，及虚拟器官与真实人体的注册配准，都依赖于对待定位物体上的可识别图案的准确空间定位。而由于器械设计所限，不同尺寸形状的可识别图案，因其自身图案特征点空间分布的固有规律或其生产过程的特点，所特有的空间定位准确度也不尽相同。如果是反复使用的识别物还可能通过在首次临床使用前的出厂校准事先提高其识别精度，但对于一次性使用且不同产品误差分布也不一致的情况，则很难有类似事先校准机会。如何能在使用现场快速提高其图案识别精度，是实际应用此项技术的一大难点。
发明内容
针对上述缺陷或不足，本发明的目的在于提供一种基于校正物体在空间中位置的增强现实的系统及方法。
为达到以上目的，本发明的技术方案为：
一种基于校正物体在空间中位置的增强现实系统，包括：第一获取单元、第二获取单元、校正单元以及显示单元，其中：
所述第一获取单元，用于捕获在空间中的第一物体图像，并识别所述第一物体图像中的第一物体识别特性，得到第一物体空间位置信息；
所述第二获取单元，用于当第二物体处于特定位置时，捕获第二物体在空间中的第二物体图像，并识别所述第二物体图像中的第二物体识别特性，得到第二物体空间位置信息；
所述校正单元包括第一校正单元和/或第二校正单元，其中：
所述第一校正单元，用于根据所述第一物体空间位置信息以及所述特定位置，对所述第二物体空间位置信息进行校正；
所述第二校正单元，用于根据所述第二物体空间位置信息，对所述第一物体空间位置信息进行校正；
所述显示单元，用于显示与所述第一物体或所述第二物体的位置相关的增强现实信息。
所述第一物体识别特性至少包括第一物体本体形态特性和/或第一物体标记识别特性；所述第一物体本体形态特性至少包括第一物体本体的结构、形态或颜色；所述第一物体标记识别特性至少包括第一物体上设置的图案、图形或二维码；
所述第二物体识别特性至少包括第二物体本体形态特性和/或第二物体标记识别特性；所述第二物体本体形态特性至少包括第二物体本体的结构、形态或颜色；所述第二物体标记识别特性至少包括第二物体上设置的图案、图形或二维码。
所述第一物体空间位置信息至少包括第一物体空间坐标和/或第一物体朝向；所述第二物体空间位置信息至少包括第二物体空间坐标和/或第二物体朝向。
所述特定位置为所述第二物体与所述第一物体具有特定位置关系时的位置，所述特定位置关系包括第二物体与所述第一物体上预设的点、线或面之间重合或部分重合。
所述第一校正单元具体用于：
根据所述第一物体空间位置信息以及所述特定位置关系，计算第二物体理论位置信息；根据所述第二物体理论位置信息，对所述第二物体的空间位置信息进行校正。
所述第一校正单元用于对所述第二物体的x、y坐标进行校正。
所述第二校正单元具体用于：
根据所述第二物体空间位置信息以及所述特定位置关系，计算第一物体理论位置信息；根据所述第一物体理论位置信息，对所述第一物体的空间位置信息进行校正。
所述第二校正单元用于对第一物体的z坐标进行校正。
所述第一物体为手术场景中的固定物；所述第二物体为手术场景中的操作器械。
一种基于校正物体在空间中位置的增强现实方法，包括：
捕获在空间中的第一物体图像，并识别所述第一物体图像中的第一物体识别特性，得到第一物体空间位置信息；
当第二物体处于特定位置时，捕获第二物体在空间中的第二物体图像，并识别所述第二物体图像中的第二物体识别特性，得到第二物体空间位置信息；
根据所述第一物体空间位置信息以及特定位置，对所述第二物体空间位置信息进行校正；和/或根据所述第二物体空间位置信息，对所述第一物体空间位置信息进行校正；
显示与所述第一物体或所述第二物体的位置相关的增强现实信息。
所述第一物体识别特性至少包括第一物体本体形态特性和/或第一物体标记识别特性；所述第一物体本体形态特性至少包括第一物体本体的结构、形态或颜色；所述第一物体标记识别特性至少包括第一物体上设置的图案、图形或二维码；
所述第二物体识别特性至少包括第二物体本体形态特性和/或第二物体标记识别特性；所述第二物体本体形态特性至少包括第二物体本体的结构、形态或颜色；所述第二物体标记识别特性至少包括第二物体上设置的图案、图形或二维码。
所述第一物体空间位置信息至少包括第一物体空间坐标和/或第一物体朝向；所述第二物体空间位置信息至少包括第二物体空间坐标和/或第二物体朝向。
所述特定位置为所述第二物体与所述第一物体上的预设的点、线或面具有特定位置关系时的位置，所述特定位置关系包括点、线或面重合、部分重合。
所述根据所述第一物体空间位置信息以及特定位置，对所述第二物体空间位置信息进行校正包括：根据所述第一物体空间位置信息以及所述特定位置关系，计算第二物体理论位置信息；根据所述第二物体理论位置信息，对所述第二物体的空间位置信息进行校正。
优选地，对所述第二物体的空间位置信息进行校正包括对所述第二物体的x、y坐标进行校正。
根据所述第二物体空间位置信息，对所述第一物体空间位置信息进行校正包括：根据所述第一物体空间位置信息以及所述特定位置关系，计算第二物体理论位置信息；根据所述第二物体理论位置信息，对所述第二物体的空间位置信息进行校正。
优选地，所述对所述第二物体的空间位置信息进行校正包括对所述第二物体的x、y坐标进行校正。
所述第一物体为手术场景中的固定物；所述第二物体为手术场景中的操作器械。
本发明还提供一种计算机可读存储介质，存储有非暂时的计算机可执行程序，所述程序用于指令所述计算机执行本发明记载的方法。
与现有技术比较，本发明的有益效果为：
本发明提供了一种基于校正物体在空间中位置的增强现实系统及方法，通过在同一场景下使用具有不同误差特性的物体的识别特性，通过二者对应物体的空间关联，对两个不同物体进行图像获取和位置的相互校正，实现单方或双方的光学定位精度提高，该方法和系统能够在多种场合中进行应用，比如手术过程中的医疗器械操作的定位、教学模拟操作中的应用以及游戏活动过程中的应用等，精准的定位和位置的增强现实，能够帮助使用者进行精准和完整的操作。
附图说明
图1是本发明基于校正物体在空间中位置的增强现实系统的结构框图；
图2是本发明具体实施方式中的实施方案示例图；
图3是本发明基于校正物体在空间中位置的增强现实方法流程图
图4是本发明基于识别板互校准示意图。
具体实施方式
下面将结合附图对本发明做详细描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明的保护范围。
在进行精准的操作场景中，很多时候需要准确地获取物体的实际位置与图像中的位置，在某些特定需求下，对场景中的物体定位的精度要求极高，比如医疗过程中，需要非常准确地确定医疗器械与病人、场景之间的位置关系，才能够确保向用户提供准确的导航信息。帮助医疗人员准备的找到操作位置和身体的对应关系。基于该要求，本发明提供了一种基于校正物体在空间中位置的增强现实方法，能够应用于手术实施场景，也可以是应用于模拟教学过程中的操作场景、也可以应用于游戏过程中的定位。
以手术实施场景为例，本发明实施例为用户提供针对对象体内的组织和/或器械位于对象体内的器械定位。其中，用户是整个体内导航过程的观察者，其也是将器械探入对象体内的操作者。对象可以是用户需要对其进行操作的人或其他动物。器械可以是任意可探入对象体内的工具。器械可以例如是穿刺针、活检针、射频或微波消融针、超声探头、硬质内窥镜、内窥镜手术下卵圆钳、电刀或吻合器等医疗器械。优选地，所述第一物体为手术场景中的固定物；所述第二物体为手术场景中操作器械。
如图1所示，一种基于校正物体在空间中位置的增强现实系统，能够应用于手术操作、模拟教学操作、或者游戏过程，具体包括：第一获取单元1、第二获取单元2、校正单元3，以及显示单元4，其中：
所述第一获取单元1，用于捕获在空间中的第一物体图像，并识别所述第一物体图像中的第一物体识别特性，得到第一物体空间位置信息；
所述第二获取单元2，用于当第二物体处于特定位置时，捕获第二物体在空间中的第二物体图像，并识别所述第二物体图像中的第二物体识别特性，得到第二物体空间位置信息；
所述校正单元3包括第一校正单元31和/或第二校正单元32，其中：
所述第一校正单元31，用于根据所述第一物体空间位置信息以及特定位置，对所述第二物体空间位置信息进行校正；
所述第二校正单元32，用于根据所述第二物体空间位置信息，对所述第一物体空间位置信息进行校正；
所述显示单元4，用于显示与所述第一物体或所述第二物体的位置相关的增强现实信息。
为了能够对第二物体进行定位校准，首先获取一个固定的物体的具有的第一物体空间位置信息，所述第一物体空间位置信息至少包括第一物体空间坐标和/或第一物体朝向，能够对固定的第一物体进行空间位置的具体定位。
本发明中，所述第一物体识别特性至少包括第一物体本体形态特性和/或第一物体标记识别特性。所述第一物体本体形态特性至少包括第一物体本体的结构、形态、或颜色，但是具体实施过程中，不局限于此，也可以是物体的其他的能够被识别的特性。示例性的，本发明可以固定设置一个形状固定的物体，在进行校准前，先识别物体的结构的形状，识别过程中，通过不同的显示方式，能够提示用户捕获过程和识别过程是否成功。对该物体进行定位识别，获取物体的准确空间位置信息。
另外，本发明中，所述第一物体标记识别特性至少包括第一物体上设置的图案、图形或二维码。所述图案、图形或二维码可以为通过印刷过程设置于第一物体上，可识别图案根据其自身图案的规律以及生产特点，所具备的空间准确度也不尽相同。充分利用不同特性可识别图案的组合，实现对导航器械的快速空间校准。
示例性的，本发明中，如图2所示，可以使用印刷有二维码的矩形信息板，用于捕获第一物体图像的设备为能够图像采集的装置，采集角度与用户的观察方向保持一致。当用户使用时，其可以将图像采集装置佩戴于身体上，例如头部。可选地，图像采集装置是头戴式光学摄像头。在用户使用时，无论其采用何种姿势，都可以很好地保持头戴式光学摄像头的采集角度与其观察方向一致。由此，不仅保证了显示增强现实信息的角度是用户所观看的角度，保证了精准度，而且避免了使用时对用户的各种操作的干扰。从而显著提高了用户体验。根据摄像头采集到的图像对空间中的物体进行定位，得到物体在xyz空间坐标系中的位置，其中，z坐标表示沿延摄像头拍摄的深度方向上的坐标，x、y坐标是垂直于z坐标轴方向的坐标。通过图像采集装置获取第一物体图像，根据第一物体图像寻找数据库内与第一物体对应的第一结构信息，识别第一物体位置与朝向，对第一物体设置当前空间坐标，记为X1、Y1、Z1。
在进行具体的手术场景中，需要使用器械进行操作，本发明中所述第二物体为移动的器械，所述第二物体空间位置信息至少包括第二物体空间坐标和/或第二物体朝向。
所述特定位置为所述第二物体与所述第一物体上的预设的点、线或面具有特定位置关系时的位置，例如，特定位置关系可以是所述第二物体与所述第一物体上的预设的点、线或面重合或者在预设的范围内部分重合。
所述第一校正单元31具体用于：根据所述第一物体空间位置信息以及所述特定位置关系，计算第二物体理论位置信息；根据所述第二物体理论位置信息，对所述第二物体的空间位置信息进行校正；示例性的，所述第一校正单元31用于对所述第二物体的x、y坐标进行校正。
显示单元4用于显示所述第二物体图像、第二物体位置相关联的信息内容、或者与第二物体位置相关联的位置提示信息。
所述第二物体识别特性至少包括第二物体本体形态特性和/或第二物体标记识别特性；所述第二物体本体形态特性至少包括第二物体本体的结构、形态或颜色；所述第二物体标记识别特性至少包括第二物体上设置的图案、图形或二维码。所述第二物体空间位置信息至少包括第二物体空间坐标和/或第二物体朝向。
所述第二物体识别特性至少包括第二物体本体形态特性和/或第二物体标记识别特性；所述第二物体本体形态特性至少包括第二物体本体的结构、形态或颜色；所述第二物体标记识别特性至少包括第二物体上设置的图案、图形或二维码。
二维码是在平面上分布的黑白相间的平面图形，其上面的点非常易于识别，通过识别其中的至少3个点，可以实现该二维码的定位。因为二维码固定于对象或器械，所以，可以实现固定有该二维码的对象或器械的定位。
可选地，第二物体标记识别特性还可以是诸如棋盘格的其他平面图形。利用二维码或棋盘格作为标识，使得定位对象或器械更准确且快速。从而，可以对快速移动器械进行更精准地导航。
可选地，在器械表面上所固定的标识还可以是立体图形，例如，在器械设计生产过程中，标识的图形可以是该器械的手柄，或者是固定于手柄侧面的某个结构。使用立体图形进行空间定位虽然识别所需的计算时间相对平面图形长，但对固定不动或慢速移动的目标空间定位精度较高。
示例性的，如图2所示，本发明中第二物体为手术中的穿刺针，穿刺针的端部设置有标识结构，并且印刷有二维码。
基于上述内容，所述第二获取单元2具体用于：
所述第一物体固定设置在空间中，所述第二物体为移动物体，当所述第二物体移动到所述特定位置，则根据第二物体标记识别特性识别所述第二物体，得到第二物体朝向和/或对第二物体设置当前的第二物体空间坐标。
所述第二校正单元32具体用于：根据所述第二物体空间位置信息以及所述特定位置，计算第一物体理论位置信息；根据所述第一物体理论位置信息，对所述第一物体的空间位置信息进行校正；示例性的，所述第二校正32单元用于对所述第一物体的z坐标进行校正。
显示单元4用于显示所述第一物体图像、第一物体位置相关联的信息内容、或者与第一物体位置相关联的位置提示信息。
本发明中，所述特定位置为所述第二物体与所述第一物体上的预设的点、线、或面具有特定位置关系时的位置，例如，特定位置关系可以是所述第二物体与所述第一物体上的预设的点、线或面重合或者在预设的范围内部分重合。
当进行使用时，用户可以在现实手术场景的对应位置三维地显示实际不可见的对象的体内器官、病变以及器械在对象体内的部分。换言之，不可见的体内器官、病变以及器械位于体内的部分与人体及实际器械对准，从而指引用户进行手术操作。
本实施例中能够根据第一物体和第二物体进行识别，在同一场景下使用具有不同误差特性的光学识别物，通过二者对应物体的空间关联，实现单方或双方的光学定位精度提高。针对不同误差特征的识别物，将与之有空间关联性的器械通过几何结构的匹配，确定不同识别图案在同一空间中坐标的关联性。通过利用已知的可信数值，实现对不同识别图案空间识别位置的校准。
另外，如图3所示，本发明还提供了一种基于校正物体在空间中位置的增强现实方法，包括：
S1、捕获在空间中的第一物体图像，并识别所述第一物体图像中的第一物体识别特性，得到第一物体空间位置信息；
为了能够对第二物体进行定位校准，首先获取一个固定的物体的具体的空间位置信息，该空间位置信息至少包括第一物体空间坐标和/或第一物体朝向，能够对固定的第一物体进行空间位置的具体定位。
本发明中，所述第一物体识别特性至少包括第一物体本体形态特性和/或第一物体标记识别特性。所述第一物体本体形态特性至少包括第一物体本体的结构、形态或颜色，但是具体实施过程中，不局限于此，也可以是物体的其他的能够被识别的特性。示例性的，本发明可以固定设置一个形状固定的物体，在进行校准前，先识别物体的结构的形状，识别过程中，通过不同的显示方式，能够提示用户捕获过程和识别过程是否成功。对该物体进行定位识别，获取物体的准确空间位置信息。
另外，所述第一物体标记识别特性至少包括第一物体上设置的图案、图形或二维码。所述图案、图形或二维码可以为通过印刷过程设置于第一物体上，可识别图案根据其自身图案的规律以及生产特点，所具备的空间准确度也不尽相同。充分利用不同特性可识别图案的组合，实现对导航器械的快速空间校准。
示例性的，如图2所示，可以使用印刷有二维码的矩形信息板，用于捕获第一物体图像的设备为能够图像采集的装置，采集角度与用户的观察方向保持一致。当用户使用时，其可以将图像采集装置佩戴于身体上，例如头部。可选地，图像采集装置是头戴式光学摄像头。在用户使用时，无论其采用何种姿势，都可以很好地保持头戴式光学摄像头的采集角度与其观察方向一致。由此，不仅保证了显示的角度是用户所观看的角度，保证了器械显示的精准度，而且避免了使用时对用户的各种操作的干扰。从而显著提高了用户体验。通过图像采集装置获取第一物体图像，识别第一物体标记识别特性，根据第一物体标记识别特性获取第一物体本体形态特性，得到第一物体朝向，对第一物体设置当前第一物体空间坐标，记为X1、Y1、Z1。
S2、当第二物体处于特定位置时，捕获第二物体在空间中的第二物体图像，并识别所述第二物体图像中的第二物体识别特性，得到第二物体空间位置信息；
在进行具体的手术场景中，需要使用器械进行操作，本发明中所述第二物体为移动的器械，所述第二物体空间位置信息至少包括第二物体空间坐标和/或第二物体朝向。
所述第二物体识别特性至少包括第二物体本体形态特性和/或第二物体标记识别特性；所述第二物体本体形态特性至少包括第二物体本体的结构、形态或颜色；所述第二物体标记识别特性至少包括第二物体上设置的图案、图形或二维码。
二维码是在平面上分布的黑白相间的平面图形，其上面的点非常易于识别，通过识别其中的至少3个点，可以实现该二维码的定位。因为二维码固定于对象或器械，所以，可以实现固定有该二维码的对象或器械的定位。
可选地，第二物体标记识别特性还可以是诸如棋盘格的其他平面图形。利用二维码或棋盘格作为标识，使得定位对象或器械更准确且快速。从而，可以对快速移动器械进行更精准地导航。
可选地，在器械表面上所固定的标识还可以是立体图形，例如，在器械设计生产过程中，标识的图形可以是该器械的手柄，或者是固定于手柄侧面的某个结构。使用立体图形进行空间定位虽然识别所需的计算时间相对平面图形长，但对固定不动或慢速移动的目标空间定位精度较高。
示例性的，如图2所示，本发明中第二物体为手术中的穿刺针，穿刺针的端部设置有标识结构，并且印刷有二维码。
当所述第二物体处于特定位置，捕获所述第二物体在空间中的第二物体图像时具体包括：
所述第一物体固定设置在空间中，所述第二物体为移动物体，当所述第二物体移动到特定位置，则捕获所述第二物体在空间中的所述第二物体图像。该过程所述特定位置可以设置为第二物体移动到与第一物体的预设重合，或者，根据实际操作的需要，当所述第二物体的某一位置到达固定位置或者完成规定动作，皆可以进行定位。
具体包括：所述第一物体固定设置在空间中，所述第二物体为移动物体，当所述第二物体移动到所述特定位置，则根据第二物体标记识别特性识别所述第二物体，根据所述第二物体本体形态特性，得到第二物体朝向，对第二物体设置当前的第二物体空间坐标，记为X2、Y2、Z2。所述特定位置为所述第二物体与所述第一物体上的预设的相关联的点、线、或面具有特定位置关系时的位置，所述特定位置关系包括点、线或面重合、部分重合。
示例性的，将信息板作为第一物体，穿刺针作为第二物体，当用户手持穿刺针使针尖B点与信息板的A点重合时，对两个物体的位置定位，并且相互校准。
S3、根据所述第一物体空间位置信息以及特定位置，对所述第二物体空间位置信息进行校正；和/或根据所述第二物体空间位置信息，对所述第一物体空间位置信息进行校正。
S4、显示与所述第一物体或所述第二物体的位置相关的增强现实信息：
该过程可以是两个过程，根据实际的情况，对两个物体进行相对的校正，比如根据第一物体空间位置信息以及特定位置，计算第二物体理论位置信息；
根据第二物体理论位置信息，对第二物体的空间位置信息进行校正；和/或根据第二物体空间位置信息以及特定位置，计算第一物体理论位置信息；
根据第一物体理论位置信息，对第一物体的空间位置信息进行校正。
举例说明，如图2所示，根据拍摄的所述第一物体图像，计算该物体在空间中的位置信息，此时A点的坐标是通过拍摄到的第一物体的特征(主要是面板上的图案特征)计算得到的；
当医生手持第二物体(穿刺针)将针尖B点放置在第一物体(识别板)的A点，此时根据识别穿刺针末端设置的易于识别的特征，可以计算穿刺针的针尖B点的坐标；
已知此时A、B两点是重合的，但通过步骤1和步骤2分别得到的A、B两点的坐标未必相同。根据两个物体的空间几何特征可知，第一物体上A点的x，y坐标的精确度高但z坐标的精确度相对较低，而第二物体上B点的z坐标精确度相对较高，所以根据第一物体的X1、Y1坐标校正第二物体的X2、Y2坐标，用第二物体的Z2坐标校正第一物体的Z1坐标。则两个结构在数据库内的对应位置做如下调整：
X2＝X1；Y2＝Y1；Z1＝Z2；
具体的互校准方法由以下2个部分组成，互校准示意图如图4所示，具体实施中，第一物体为识别板，第二物体为穿刺针：
(1)通过人工事先确定出穿刺针的针尖点在针识别物坐标系下的坐标。
(2)在识别板上加工一孔洞，使其平行于z轴，垂直于Oxy平面，孔洞底部一点为标定点(Calibration Point)。通过设计识别板模体，要确定出标定点在识别板坐标系下的坐标pQ。标定时，将穿刺针插入孔洞内，并保证针尖点位于标定点处。根据标定点在摄像机坐标系下的坐标保持不变的特点，通过坐标转换，可知以下关系，此时标定点在针尖坐标系下有以下2个表达式：TC←QpQ＝TC←NpN
此时标定点在针尖坐标系下有以下2个表达式：
(a)由针识别物识别出并经人工点标定直接确定的第二物体的坐标系：
(b)由识别板识别出并经坐标转换得到的穿刺针的坐标系：
上述2个坐标均是标定点在针识别物坐标系下的表示。假设z坐标分量采用表达式(a)更准确，x、y坐标分量采用表达式(b)更准确，那么互校准后的结果为
其中，C：摄像机坐标系
Q：识别板坐标系
N：穿刺针坐标系
TB←A：表示从坐标系A到坐标系B的坐标转换矩阵
pA：坐标系A中的点p
vA：坐标系A中的向量v
识别板点标定方法，摄像机识别出定位板和穿刺针，即可得到TC←Q和TC←N。将穿刺针针尖放置于识别板上一固定点p。从识别板的加工模型可以确定出该固定点在识别板坐标系下的坐标，即pQ。根据该点在摄像机坐标系下坐标不变的特点，可得下述坐标关系：
TC←QpQ＝TC←NpN
因此得到该点在穿刺针坐标系下的坐标，即
另外，本发明也可是用过方向标定进行校准，具体包括：
(1)通过人工事先确定出穿刺针在针识别物坐标系下的方向向量vN。
(2)在识别板上加工一孔洞，使其平行于z轴，垂直于Oxy平面，孔洞底部一点为标定点(Calibration Point)，孔洞方向称为标定方向(Calibration Direction)。通过设计识别板模体，要确定出该孔洞方向在识别板坐标系下的方向向量vQ。标定时，将识别针插入孔洞内，并保证针尖点位于标定点处。根据标定方向在摄像机坐标系下的方向保持不变的特点，通过坐标转换，可知以下关系：
TC←QvQ＝TC←NvN
此时标定方向在针尖坐标系下有2个表达式：
(a)由针识别物识别出并经人工方向标定直接确定的穿刺针的方向向量：
(b)由识别板识别出并经坐标转换得到的穿刺针的方向向量：
上述2个向量均是标定方向在针识别物坐标系下的表示。假设w坐标分量采用表达式(a)更准确，u、v坐标分量采用表达式(b)更准确，那么互校准后的结果为
识别板方向标定方法如图4所示。摄像机识别出识别板和穿刺针，即可得到TC←Q和TC←N。将穿刺针针尖插入识别板上一固定孔洞内。从识别板的加工模型可以确定出该孔洞在识别板坐标系下的方向向量，即vQ。由该方向向量在摄像机坐标系下方向不变，可得下述转换关系
TC←QvQ＝TC←NvN
因此得到该方向向量在穿刺针坐标系下的表示，即
经过方向标定后，摄像机实时识别针识别物时，可按下述公式实时计算针尖方向：
vC＝TC←NvN
其中，TC←N由摄像机识别针识别物后给出，vN为采用互校准或定位板方向标定计算后的标定结果。
当校准完成后，显示校准后的第一物体和/或第二物体空间位置信息，并且显示与位置有关的增强现实信息，可以是信息的内容与物体的位置有关，也可以是信息的显示位置与物体位置有关。
对于本领域技术人员而言，显然能了解到上述具体事实例只是本发明的优选方案，因此本领域的技术人员对本发明中的某些部分所可能作出的改进、变动，体现的仍是本发明的原理，实现的仍是本发明的目的，均属于本发明所保护的范围。

Claims (7)

1.一种基于校正物体在空间中位置的增强现实系统，其特征在于，包括：第一获取单元、第二获取单元、校正单元以及显示单元，其中：
所述第一获取单元，用于捕获在空间中的第一物体图像，并识别所述第一物体图像中的第一物体识别特性，得到第一物体空间位置信息；
所述第二获取单元，用于当第二物体处于特定位置时，捕获第二物体在空间中的第二物体图像，并识别所述第二物体图像中的第二物体识别特性，得到第二物体空间位置信息；所述特定位置为所述第二物体与所述第一物体具有特定位置关系时的位置；所述特定位置设置为第二物体移动到与第一物体的预设重合，或者，根据实际操作的需要，当所述第二物体的某一位置到达固定位置或者完成规定动作的位置；
所述校正单元包括第一校正单元和/或第二校正单元，其中：
所述第一校正单元，用于根据所述第一物体空间位置信息以及所述特定位置，对所述第二物体空间位置信息进行校正；
所述第二校正单元，用于根据所述第二物体空间位置信息，对所述第一物体空间位置信息进行校正；
所述显示单元，用于显示与所述第一物体或所述第二物体的位置相关的增强现实信息；
所述第一物体为手术场景中的固定物；所述第二物体为手术场景中的操作器械。
2.根据权利要求1所述的基于校正物体在空间中位置的增强现实系统，其特征在于，所述第一物体识别特性至少包括第一物体本体形态特性和/或第一物体标记识别特性；所述第一物体本体形态特性至少包括第一物体本体的结构、形态或颜色；所述第一物体标记识别特性至少包括第一物体上设置的图案、图形或二维码；
所述第二物体识别特性至少包括第二物体本体形态特性和/或第二物体标记识别特性；所述第二物体本体形态特性至少包括第二物体本体的结构、形态或颜色；所述第二物体标记识别特性至少包括第二物体上设置的图案、图形或二维码。
3.根据权利要求1所述的基于校正物体在空间中位置的增强现实系统，其特征在于，所述第一物体空间位置信息至少包括第一物体空间坐标和/或第一物体朝向；所述第二物体空间位置信息至少包括第二物体空间坐标和/或第二物体朝向。
4.根据权利要求1所述的基于校正物体在空间中位置的增强现实系统，其特征在于，所述第一校正单元具体用于：根据所述第一物体空间位置信息以及所述特定位置关系，计算第二物体理论位置信息；根据所述第二物体理论位置信息，对所述第二物体的空间位置信息进行校正；
所述第二校正单元具体用于：根据所述第二物体空间位置信息以及所述特定位置关系，计算第一物体理论位置信息；根据所述第一物体理论位置信息，对所述第一物体的空间位置信息进行校正。
5.根据权利要求1所述的基于校正物体在空间中位置的增强现实系统，其特征在于，所述第一校正单元用于对所述第二物体的x、y坐标进行校正；所述第二校正单元用于对所述第一物体的z坐标进行校正。
6.一种基于校正物体在空间中位置的增强现实方法，其特征在于，包括：
捕获在空间中的第一物体图像，并识别所述第一物体图像中的第一物体识别特性，得到第一物体空间位置信息；
当第二物体处于特定位置时，捕获第二物体在空间中的第二物体图像，并识别所述第二物体图像中的第二物体识别特性，得到第二物体空间位置信息；所述特定位置为所述第二物体与所述第一物体具有特定位置关系时的位置；所述特定位置设置为第二物体移动到与第一物体的预设重合，或者，根据实际操作的需要，当所述第二物体的某一位置到达固定位置或者完成规定动作的位置；
根据所述第一物体空间位置信息以及特定位置，对所述第二物体空间位置信息进行校正；和/或根据所述第二物体空间位置信息，对所述第一物体空间位置信息进行校正；
显示与所述第一物体或所述第二物体的位置相关的增强现实信息；
所述第一物体为手术场景中的固定物；所述第二物体为手术场景中的操作器械。
7.一种计算机可读存储介质，存储有非暂时的计算机可执行程序，其特征在于，所述计算机可执行程序用于指令所述计算机执行权利要求6所述的方法。
CN202110357372.XA 2021-04-01 2021-04-01 一种基于校正物体在空间中位置的增强现实系统、方法及计算机可读存储介质 Active CN113509264B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN202110357372.XA CN113509264B (zh) 2021-04-01 2021-04-01 一种基于校正物体在空间中位置的增强现实系统、方法及计算机可读存储介质
PCT/CN2022/081469 WO2022206406A1 (zh) 2021-04-01 2022-03-17 一种基于校正物体在空间中位置的增强现实系统、方法及计算机可读存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110357372.XA CN113509264B (zh) 2021-04-01 2021-04-01 一种基于校正物体在空间中位置的增强现实系统、方法及计算机可读存储介质

Publications (2)

Publication Number Publication Date
CN113509264A CN113509264A (zh) 2021-10-19
CN113509264B true CN113509264B (zh) 2024-07-12

Family

ID=78061350

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110357372.XA Active CN113509264B (zh) 2021-04-01 2021-04-01 一种基于校正物体在空间中位置的增强现实系统、方法及计算机可读存储介质

Country Status (2)

Country Link
CN (1) CN113509264B (zh)
WO (1) WO2022206406A1 (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113509264B (zh) * 2021-04-01 2024-07-12 上海复拓知达医疗科技有限公司 一种基于校正物体在空间中位置的增强现实系统、方法及计算机可读存储介质

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101367366B1 (ko) * 2012-12-13 2014-02-27 주식회사 사이버메드 영상 유도 수술을 위한 수술 도구를 보정하는 방법 및 도구

Family Cites Families (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE10137914B4 (de) * 2000-08-31 2006-05-04 Siemens Ag Verfahren zur Ermittlung einer Koordinatentransformation für die Navigation eines Objekts
EP1349114A3 (en) * 2002-03-19 2011-06-15 Canon Kabushiki Kaisha Sensor calibration apparatus, sensor calibration method, program, storage medium, information processing method, and information processing apparatus
DE102007013407B4 (de) * 2007-03-20 2014-12-04 Siemens Aktiengesellschaft Verfahren und Vorrichtung zur Bereitstellung einer Korrekturinformation
US20090312629A1 (en) * 2008-06-13 2009-12-17 Inneroptic Technology Inc. Correction of relative tracking errors based on a fiducial
CN101904770B (zh) * 2009-06-05 2012-11-14 复旦大学 一种基于光学增强现实技术的手术导航系统及方法
TW201112997A (en) * 2009-10-02 2011-04-16 Accumis Inc Surgical tool calibrating device
US9572539B2 (en) * 2011-04-08 2017-02-21 Imactis Device and method for determining the position of an instrument in relation to medical images
WO2018098196A1 (en) * 2016-11-23 2018-05-31 Clear Guide Medical, Inc. System and methods for navigating interventional instrumentation
US11460915B2 (en) * 2017-03-10 2022-10-04 Brainlab Ag Medical augmented reality navigation
CN110621253A (zh) * 2017-03-17 2019-12-27 智能联合外科公司 用于导航手术中的增强现实显示的系统和方法
WO2018195096A1 (en) * 2017-04-17 2018-10-25 Cognex Corporation High-accuracy calibration system and method
WO2018206086A1 (en) * 2017-05-09 2018-11-15 Brainlab Ag Generation of augmented reality image of a medical device
TWI678181B (zh) * 2018-04-30 2019-12-01 長庚大學 手術導引系統
CN110769245A (zh) * 2018-07-27 2020-02-07 华为技术有限公司 一种校准方法及相关设备
CN110353806B (zh) * 2019-06-18 2021-03-12 北京航空航天大学 用于微创全膝关节置换手术的增强现实导航方法及系统
EP3760157A1 (en) * 2019-07-04 2021-01-06 Scopis GmbH Technique for calibrating a registration of an augmented reality device
CN111540060B (zh) * 2020-03-25 2024-03-08 深圳奇迹智慧网络有限公司 增强现实设备的显示校准方法、装置、电子设备
CN113509263B (zh) * 2021-04-01 2024-06-14 上海复拓知达医疗科技有限公司 一种物体空间校准定位方法
CN216535498U (zh) * 2021-04-01 2022-05-17 上海复拓知达医疗科技有限公司 一种基于物体在空间中的定位装置
CN113509264B (zh) * 2021-04-01 2024-07-12 上海复拓知达医疗科技有限公司 一种基于校正物体在空间中位置的增强现实系统、方法及计算机可读存储介质

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101367366B1 (ko) * 2012-12-13 2014-02-27 주식회사 사이버메드 영상 유도 수술을 위한 수술 도구를 보정하는 방법 및 도구

Also Published As

Publication number Publication date
CN113509264A (zh) 2021-10-19
WO2022206406A1 (zh) 2022-10-06

Similar Documents

Publication Publication Date Title
EP3254621B1 (en) 3d image special calibrator, surgical localizing system and method
JP6889703B2 (ja) 患者の３ｄ表面画像を手術中に観察するための方法及び装置
US10165981B2 (en) Surgical navigation method
US20160000518A1 (en) Tracking apparatus for tracking an object with respect to a body
KR102105974B1 (ko) 의료 영상 시스템
CN113940755A (zh) 一种术像一体的外科手术规划与导航方法
CN109498156A (zh) 一种基于三维扫描的头部手术导航方法
Agustinos et al. Visual servoing of a robotic endoscope holder based on surgical instrument tracking
WO2022206417A1 (zh) 一种物体空间校准定位方法
CN113509264B (zh) 一种基于校正物体在空间中位置的增强现实系统、方法及计算机可读存储介质
Liu et al. On-demand calibration and evaluation for electromagnetically tracked laparoscope in augmented reality visualization
CN216535498U (zh) 一种基于物体在空间中的定位装置
CN114668460A (zh) 穿刺针空间位姿统一方法及系统
Wang et al. Real-time marker-free patient registration and image-based navigation using stereovision for dental surgery
Bucholz et al. Automated rejection of contaminated surface measurements for improved surface registration in image guided neurosurgery
CN112971996A (zh) 计算机可读存储介质、电子设备及手术机器人系统
CN102429730B (zh) 一种用于医学图像导航系统的标定模及使用方法
CN113100941B (zh) 基于ss-oct手术导航系统的图像配准方法及系统
CN115024805A (zh) 一种用于辅助腔镜手术穿刺的方法、系统和存储介质
KR101592444B1 (ko) 투명디스플레이를 이용한 의료용 영상증강 장치 및 구현 방법
CN209032410U (zh) 一种轮廓采集装置
CN115120340A (zh) 计算机可读存储介质、电子设备、手术机器人及定位系统
Wang et al. Towards video guidance for ultrasound, using a prior high-resolution 3D surface map of the external anatomy
KR100957727B1 (ko) 수술용 도구 및 수술용 내비게이션 방법
CN109259782A (zh) 一种轮廓采集装置及配准定位的方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant