CN112991457B - 手术导航中投影仪空间位置和内外参标定方法、装置 - Google Patents

手术导航中投影仪空间位置和内外参标定方法、装置 Download PDF

Info

Publication number
CN112991457B
CN112991457B CN202110253008.9A CN202110253008A CN112991457B CN 112991457 B CN112991457 B CN 112991457B CN 202110253008 A CN202110253008 A CN 202110253008A CN 112991457 B CN112991457 B CN 112991457B
Authority
CN
China
Prior art keywords
projector
camera
checkerboard
projection
coordinate system
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110253008.9A
Other languages
English (en)
Other versions
CN112991457A (zh
Inventor
艾丹妮
邵龙
王涌天
丁乐乐
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Institute of Technology BIT
Original Assignee
Beijing Institute of Technology BIT
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Institute of Technology BIT filed Critical Beijing Institute of Technology BIT
Priority to CN202110253008.9A priority Critical patent/CN112991457B/zh
Publication of CN112991457A publication Critical patent/CN112991457A/zh
Application granted granted Critical
Publication of CN112991457B publication Critical patent/CN112991457B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B90/361—Image-producing devices, e.g. surgical cameras
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A61B2034/2046—Tracking techniques
    • A61B2034/2055—Optical tracking systems
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A61B2034/2046—Tracking techniques
    • A61B2034/2065—Tracking using image or pattern recognition

Landscapes

  • Health & Medical Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Surgery (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Animal Behavior & Ethology (AREA)
  • Veterinary Medicine (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Medical Informatics (AREA)
  • Molecular Biology (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • General Health & Medical Sciences (AREA)
  • Public Health (AREA)
  • Robotics (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Pathology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Abstract

手术导航中投影仪空间位置和内外参标定方法、装置，能够同时标定得到投影仪、相机‑投影仪系统与投影仪空间位置的参数，标定精度高，操作简便，有效降低了投影仪标定的复杂度，在各个领域均有可观的应用前景。方法包括：(1)对相机进行标定，获取相机的内外参数、畸变参数，以及与光学跟踪仪、光学跟踪标志物之间的转换矩阵；(2)对棋盘格进行标定，以获取棋盘格角点在棋盘格物理坐标系、世界坐标系、跟踪标志物坐标系下的对应关系，从而构建投影平面；(3)投影仪将棋盘格投射在投影平面上，由相机拍摄并构建相机光线获得投影棋盘格角点的世界坐标，进行投影仪标定。

Description

手术导航中投影仪空间位置和内外参标定方法、装置
技术领域
本发明涉及投影仪系统的参数标定的技术领域，尤其涉及一种手术导航中投影仪空间位置和内外参标定方法，以及手术导航中投影仪空间位置和内外参标定装置。
背景技术
相机-投影仪系统结构简单，被广泛地应用于包括在三维测量、重建、人机交互技术在内的多个领域。在近年兴起的增强现实应用中，除了传统的移动显示器和头戴显示器之外，还有一种利用投影仪在真实场景中显示虚拟内容的方式，即空间增强现实。这种增强现实裸眼可见，极大降低了成本，减轻了工作时屏幕到工作区转换的心理压力，而投影仪是实现空间增强现实的重要设备。其中，对投影仪和相机-投影仪系统进行标定，是实现三维测量、三维重建、增强现实等任务的重要步骤和前提条件。在空间增强现实的应用中，除了投影仪自身内外参和畸变参数的标定，还需要标定空间位置。
目前，相机标定的方法日趋成熟，而投影仪因其无法捕获图像的特点，精确标定投影仪还有一定的难度。在对投影仪进行标定的过程中，投影仪被看作为一个逆向的相机。求投影仪的内参数，需要依靠相机赋予其视觉的功能，这也需要把相机和投影仪搭建一套模型。投影仪标定的常用方法中，一部分方法通常存在易受到解相位误差影响的问题，导致标定精度降低。此外，投影仪和相机刚性固定后不可拆分，二者位置的相对变换将会导致标定结果错误。另一部分方法利用高精度的三维标定参照物，其高成本和高加工难度导致不适合现场标定与日常使用。而现有的方法中均未提到投影仪空间位置的标定。
发明内容
为克服现有技术的缺陷，本发明要解决的技术问题是提供了一种手术导航中投影仪空间位置和内外参标定方法，其能够同时标定得到投影仪、相机-投影仪系统与投影仪空间位置的参数，标定精度高，操作简便，有效降低了投影仪标定的复杂度，在各个领域均有可观的应用前景。
本发明的技术方案是：这种手术导航中投影仪空间位置和内外参标定方法，其包括以下步骤：
(1)对相机进行标定，获取相机的内外参数、畸变参数，以及与光学跟踪仪、光学跟踪标志物之间的转换矩阵；
(2)对棋盘格进行标定，以获取棋盘格角点在棋盘格物理坐标
系、世界坐标系、跟踪标志物坐标系下的对应关系，从而构建投影平面；
(3)投影仪将棋盘格投射在投影平面上，由相机拍摄并构建相机光线获得投影棋盘格角点的世界坐标，进行投影仪标定。
本发明首先在光学跟踪仪下分别标定相机和棋盘格，然后构建投影平面，利用标定好的相机获取投影棋盘格图像的三维空间位置，完成投影仪的参数标定，通过一系列坐标系转换，实时获得投影仪在空间中的位置，相机-投影仪不需要相对固定，标定完成后，也可以选择性地去掉辅助相机单独使用投影仪，利用相机、投影仪、标定棋盘格和光学跟踪仪，可以快速地获取投影仪和相机的参数，同时通过坐标转换还能够实时获取三者的空间位置与相对位置关系，因此能够同时标定得到投影仪、相机-投影仪系统与投影仪空间位置的参数，标定精度高，操作简便，有效降低了投影仪标定的复杂度，在各个领域均有可观的应用前景。
还提供了另一种手术导航中投影仪空间位置和内外参标定方法，其包括以下步骤：
(I)在棋盘格、相机、投影仪上粘贴跟踪标志物；
(II)在标定棋盘格上选取四个点，获取它们在世界坐标系下的位置和在光学跟踪标志物坐标系下的位置，获取棋盘格物理坐标系与跟踪标志物坐标系之间的转换关系，完成棋盘格标定；
(III)利用张氏标定法标定相机，获取相机的内外参与畸变参数，在光学跟踪仪下获取相机坐标系与光学跟踪仪坐标系之间的转换关系；
(IV)构建投影棋盘格平面，基于光学跟踪仪在投影表面划取点，拟合平面，构成投影棋盘格，并跟踪其在世界坐标系下的位置；
(V)用已标定好的相机拍摄投影棋盘格，捕捉投影棋盘格角点，获取相机所拍摄投影棋盘格的角点的像素坐标；
(VI)利用相机成像公式获得投影棋盘格角点在归一化平面上的对应点；
(VII)过相机光心和步骤(VI)中归一化平面上的点，构建相机光线，与步骤(IV)中的投影平面相交，获得每一个投影棋盘格角点所对应的世界坐标；
(VIII)求投影仪的原始投影棋盘格图像上各个角点的像素坐标；
(IX)将投影仪看作逆相机，构建投影仪的标定方程，标定获得投影仪的内外参与畸变参数；
(X)由光学跟踪仪获取各坐标系之间的转换关系，确定投影仪在世界坐标系下的位置。
还提供了手术导航中投影仪空间位置和内外参标定装置，其包括：
相机标定及转换模块，其配置来对相机进行标定，获取相机的内外参数、畸变参数，以及与光学跟踪仪、光学跟踪标志物之间的转换矩阵；
投影平面构建模块，其配置来对棋盘格进行标定，以获取棋盘格角点在棋盘格物理坐标系、世界坐标系、跟踪标志物坐标系下的对应关系，从而构建投影平面；
投影仪标定模块，其配置来投影仪将棋盘格投射在投影平面上，由相机拍摄并构建相机光线获得投影棋盘格角点的世界坐标，进行投影仪标定。
附图说明
图1是根据本发明的手术导航中投影仪空间位置和内外参标定方法中基于光学跟踪仪的棋盘格标定示意图。
图2是根据本发明的手术导航中投影仪空间位置和内外参标定方法中基于光学跟踪仪的相机标定示意图。
图3是根据本发明的手术导航中投影仪空间位置和内外参标定方法中基于光学跟踪仪的投影仪标定示意图。
图4是根据本发明的手术导航中投影仪空间位置和内外参标定方法的一个实施例的流程图。
图5是根据本发明的手术导航中投影仪空间位置和内外参标定方法的整体流程图。
具体实施方式
如图5所示，这种手术导航中投影仪空间位置和内外参标定方法，其包括以下步骤：
(1)对相机进行标定，获取相机的内外参数、畸变参数，以及与光学跟踪仪、光学跟踪标志物之间的转换矩阵；
(2)对棋盘格进行标定，以获取棋盘格角点在棋盘格物理坐标系、
世界坐标系、跟踪标志物坐标系下的对应关系，从而构建投影平面；
(3)投影仪将棋盘格投射在投影平面上，由相机拍摄并构建相机光线获得投影棋盘格角点的世界坐标，进行投影仪标定。
本发明首先在光学跟踪仪下分别标定相机和棋盘格，然后构建投影平面，利用标定好的相机获取投影棋盘格图像的三维空间位置，完成投影仪的参数标定，通过一系列坐标系转换，实时获得投影仪在空间中的位置，相机-投影仪不需要相对固定，标定完成后，也可以选择性地去掉辅助相机单独使用投影仪，利用相机、投影仪、标定棋盘格和光学跟踪仪，可以快速地获取投影仪和相机的参数，同时通过坐标转换还能够实时获取三者的空间位置与相对位置关系，因此能够同时标定得到投影仪、相机-投影仪系统与投影仪空间位置的参数，标定精度高，操作简便，有效降低了投影仪标定的复杂度，在各个领域均有可观的应用前景。
优选地，所述步骤(2)中，在光学跟踪仪下，通过在投影表面划取点拟合平面构建投影平面。
优选地，所述步骤(3)中，利用标定好的相机拍摄投影棋盘格，利用光线与投影平面相交，恢复每一个投影角点的三维位置。
优选地，所述步骤(3)中，使用被投影图像的2D点和恢复的3D投影点之间的对应关系来校准投影仪。
优选地，所述步骤(3)还包括：在光学跟踪仪下，利用跟踪标志物实现坐标系之间的转换，通过标定获得投影仪的空间位置。
图4给出了一个具体实施例的流程图。该方法包括以下步骤：
(I)在棋盘格、相机、投影仪上粘贴跟踪标志物；
(II)在标定棋盘格上选取四个点，获取它们在世界坐标系下的位置和在光学跟踪标志物坐标系下的位置，获取棋盘格物理坐标系与跟踪标志物坐标系之间的转换关系，完成棋盘格标定；
(III)利用张氏标定法标定相机，获取相机的内外参与畸变参数，在光学跟踪仪下获取相机坐标系与光学跟踪仪坐标系之间的转换关系；
(IV)构建投影棋盘格平面，基于光学跟踪仪在投影表面划取点，拟合平面，构成投影棋盘格，并跟踪其在世界坐标系下的位置；
(V)用已标定好的相机拍摄投影棋盘格，捕捉投影棋盘格角点，获取相机所拍摄投影棋盘格的角点的像素坐标；
(VI)利用相机成像公式获得投影棋盘格角点在归一化平面上的对应点；
(VII)过相机光心和步骤(VI)中归一化平面上的点，构建相机光线，与步骤(IV)中的投影平面相交，获得每一个投影棋盘格角点所对应的世界坐标；
(VIII)求投影仪的原始投影棋盘格图像上各个角点的像素坐标；
(IX)将投影仪看作逆相机，构建投影仪的标定方程，标定获得投影仪的内外参与畸变参数；
(X)由光学跟踪仪获取各坐标系之间的转换关系，确定投影仪在世界坐标系下的位置。
本领域普通技术人员可以理解，实现上述实施例方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成，所述的程序可以存储于一计算机可读取存储介质中，该程序在执行时，包括上述实施例方法的各步骤，而所述的存储介质可以是：ROM/RAM、磁碟、光盘、存储卡等。因此，与本发明的方法相对应的，本发明还同时包括一种手术导航中投影仪空间位置和内外参标定装置，该装置通常以与方法各步骤相对应的功能模块的形式表示。该装置包括：
相机标定及转换模块，其配置来对相机进行标定，获取相机的内外参数、畸变参数，以及与光学跟踪仪、光学跟踪标志物之间的转换矩阵；
投影平面构建模块，其配置来对棋盘格进行标定，以获取棋盘格角点在棋盘格物理坐标系、世界坐标系、跟踪标志物坐标系下的对应关系，从而构建投影平面；
投影仪标定模块，其配置来投影仪将棋盘格投射在投影平面上，由相机拍摄并构建相机光线获得投影棋盘格角点的世界坐标，进行投影仪标定。
优选地，所述投影平面构建模块中，在光学跟踪仪下，通过在投影表面划取点拟合平面构建投影平面。
优选地，所述投影仪标定模块中，利用标定好的相机拍摄投影棋盘格，利用光线与投影平面相交，恢复每一个投影角点的三维位置；使用被投影图像的2D点和恢复的3D投影点之间的对应关系来校准投影仪。
优选地，所述投影仪标定模块还包括：在光学跟踪仪下，利用跟踪标志物实现坐标系之间的转换，通过标定获得投影仪的空间位置。
本发明在光学跟踪仪下，由已完成标定的棋盘格和相机来对投影仪进行标定，获取投影仪内外参与畸变矩阵。由于光学跟踪仪的存在，可以实时获取到投影仪所处的空间位置。相机和投影仪之间的位置不需要相对固定，可适用于更多场合。此方法可同时获取投影仪参数、相机-投影仪系统参数、投影仪空间位置，操作便捷可行，能满足空间增强现实技术发展的需要。
以上所述，仅是本发明的较佳实施例，并非对本发明作任何形式上的限制，凡是依据本发明的技术实质对以上实施例所作的任何简单修改、等同变化与修饰，均仍属本发明技术方案的保护范围。

Claims (1)

1.手术导航中投影仪空间位置和内外参标定方法，其特征在于：其包括以下步骤：
(I)在棋盘格、相机、投影仪上粘贴跟踪标志物；
(II)在标定棋盘格上选取四个点，获取它们在世界坐标系下的位置和在光学跟踪标志物坐标系下的位置，获取棋盘格物理坐标系与跟踪标志物坐标系之间的转换关系，完成棋盘格标定；
(III)利用张氏标定法标定相机，获取相机的内外参与畸变参数，在光学跟踪仪下获取相机坐标系与光学跟踪仪坐标系之间的转换关系；
(IV)构建投影棋盘格平面，基于光学跟踪仪在投影表面划取点，拟合平面，构成投影棋盘格，并跟踪其在世界坐标系下的位置；
(V)用已标定好的相机拍摄投影棋盘格，捕捉投影棋盘格角点，获取相机所拍摄投影棋盘格的角点的像素坐标；
(VI)利用相机成像公式获得投影棋盘格角点在归一化平面上的对应点；
(VII)过相机光心和步骤(VI)中归一化平面上的点，构建相机光线，与步骤(IV)中的投影平面相交，获得每一个投影棋盘格角点所对应的世界坐标；
(VIII)求投影仪的原始投影棋盘格图像上各个角点的像素坐标；
(IX)将投影仪看作逆相机，构建投影仪的标定方程，标定获得投影仪的内外参与畸变参数；
(X)由光学跟踪仪获取各坐标系之间的转换关系，确定投影仪在世界坐标系下的位置。
CN202110253008.9A 2021-02-22 2021-02-22 手术导航中投影仪空间位置和内外参标定方法、装置 Active CN112991457B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110253008.9A CN112991457B (zh) 2021-02-22 2021-02-22 手术导航中投影仪空间位置和内外参标定方法、装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110253008.9A CN112991457B (zh) 2021-02-22 2021-02-22 手术导航中投影仪空间位置和内外参标定方法、装置

Publications (2)

Publication Number Publication Date
CN112991457A CN112991457A (zh) 2021-06-18
CN112991457B true CN112991457B (zh) 2023-05-26

Family

ID=76335950

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110253008.9A Active CN112991457B (zh) 2021-02-22 2021-02-22 手术导航中投影仪空间位置和内外参标定方法、装置

Country Status (1)

Country Link
CN (1) CN112991457B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114451997B (zh) * 2022-03-08 2023-11-28 长春理工大学 一种解决光学遮挡的手术导航装置及导航方法
CN116708728B (zh) * 2023-06-14 2024-01-30 江苏金视传奇科技有限公司 一种lcos投影仪标定调节装置及其调节方法

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103942796A (zh) * 2014-04-23 2014-07-23 清华大学 一种高精度的投影仪-摄像机标定系统及标定方法
CN104732539A (zh) * 2015-03-27 2015-06-24 华中科技大学 一种投影仪标定方法

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN100496429C (zh) * 2005-02-06 2009-06-10 天津市华志计算机应用有限公司 外科手术导航系统基于光学定位的机器人手术定位方法
EP2438880A1 (en) * 2010-10-05 2012-04-11 Universität Bern Image projection system for projecting image on the surface of an object
CN106308946B (zh) * 2016-08-17 2018-12-07 清华大学 一种应用于立体定向手术机器人的增强现实装置及其方法
CN108257187B (zh) * 2018-02-06 2020-09-04 杭州蓝芯科技有限公司 一种相机-投影仪系统标定方法
CN110236674A (zh) * 2019-05-09 2019-09-17 苏州大学 一种基于结构光扫描的肝脏手术导航方法及系统
CN110084860A (zh) * 2019-05-24 2019-08-02 深圳市速杰电子有限公司 一种投影仪镜头畸变矫正系统及方法
CN110584783B (zh) * 2019-10-14 2021-03-09 中国科学技术大学 外科手术导航系统

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103942796A (zh) * 2014-04-23 2014-07-23 清华大学 一种高精度的投影仪-摄像机标定系统及标定方法
CN104732539A (zh) * 2015-03-27 2015-06-24 华中科技大学 一种投影仪标定方法

Also Published As

Publication number Publication date
CN112991457A (zh) 2021-06-18

Similar Documents

Publication Publication Date Title
CN109272478B (zh) 一种荧幕投影方法和装置及相关设备
CN106127745B (zh) 结构光3d视觉系统与线阵相机的联合标定方法及装置
CN112991457B (zh) 手术导航中投影仪空间位置和内外参标定方法、装置
CN110390719A (zh) 基于飞行时间点云重建设备
KR20160116075A (ko) 카메라로부터 획득한 영상에 대한 자동보정기능을 구비한 영상처리장치 및 그 방법
CN111461963B (zh) 一种鱼眼图像拼接方法及装置
CN110070598A (zh) 用于3d扫描重建的移动终端及其进行3d扫描重建方法
CN112525107B (zh) 一种基于事件相机的结构光三维测量方法
CN108227929A (zh) 基于bim技术的增强现实放样系统及实现方法
KR100686952B1 (ko) 화상합성 방법, 장치, 및 기록매체, 및 입체모델의 렌더링 방법, 장치, 및 기록매체
CN110337674A (zh) 三维重建方法、装置、设备及存储介质
CN111854636B (zh) 一种多相机阵列三维检测系统和方法
CN112229323B (zh) 基于手机单目视觉的棋盘格合作目标的六自由度测量方法及其应用
US11380063B2 (en) Three-dimensional distortion display method, terminal device, and storage medium
CN110335307A (zh) 标定方法、装置、计算机存储介质和终端设备
CN111739137A (zh) 一种三维姿态估计数据集的生成方法
CN114792345B (zh) 一种基于单目结构光系统的标定方法
CN103093426A (zh) 恢复定标板遮挡区域的纹理和光照的方法
CN115345942A (zh) 空间标定方法、装置、计算机设备和存储介质
CN111739103A (zh) 一种基于单点标定物的多相机标定系统
CN113963065A (zh) 一种基于外参已知的镜头内参标定方法及装置、电子设备
CN116977449B (zh) 一种基于闪烁棋盘格的复眼事件相机主动标定方法
CN107872664A (zh) 一种三维成像系统及三维图像构建方法
CN115457142B (zh) 一种mr混合摄影相机的标定方法和系统
CN109990756A (zh) 一种双目测距方法及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant