CN112258562A - 一种基于图像特征的配准系统及配准方法 - Google Patents

一种基于图像特征的配准系统及配准方法 Download PDF

Info

Publication number
CN112258562A
CN112258562A CN202010981602.5A CN202010981602A CN112258562A CN 112258562 A CN112258562 A CN 112258562A CN 202010981602 A CN202010981602 A CN 202010981602A CN 112258562 A CN112258562 A CN 112258562A
Authority
CN
China
Prior art keywords
module
mixed reality
optical positioning
image
photosensitive
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202010981602.5A
Other languages
English (en)
Inventor
赵泉洲
张嘉伟
王新强
陈亮
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Changzhou Jinser Medical Information Technology Co ltd
Original Assignee
Changzhou Jinser Medical Information Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Changzhou Jinser Medical Information Technology Co ltd filed Critical Changzhou Jinser Medical Information Technology Co ltd
Priority to CN202010981602.5A priority Critical patent/CN112258562A/zh
Publication of CN112258562A publication Critical patent/CN112258562A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality

Abstract

一种基于图像特征的配准系统包括光学定位模块、校准模块、混合现实模块和控制模块，所述校准模块包括固定连接的特征图像模块和光敏模块。所述光学定位模块用于追踪所述光敏模块，所述混合现实模块用于追踪所述特征图像模块得到所述特征图像中心点在所述混合现实模块中的位置数据。本发明还提供了一种配准方法，利用光学定位模块对混合现实模块辅助定位，提高定位精度，并通过校准模块建立光学定位模块和混合现实模块之间的联系，基于所述校准模块上特征图像模块中心点在所述光学定位模块和所述混合现实模块中的位置数据，得到对应的空间配准矩阵，以方便后续模型与实物之间的精确定位，达到不同类型应用场景的智能应用。

Description

一种基于图像特征的配准系统及配准方法
技术领域：
本发明涉及定位配准技术领域，尤其涉及一种基于图像特征的配准系统及配准方法。
背景技术：
随着智能科技的发展，混合现实(MR)技术目前在很多领域都有应用。基于混合现实技术的深度融合系统实现了将虚拟物体(即物理实体的三维模型)实时叠加到真实环境中对应的物理实体上。在这一过程中，目标物理实体要和三维模型实时精确配准。混合现实技术能够提高各类应用的可视化效果与应用效率。比如用于维修指导，尤其针对复杂设备的维修，通过混合现实技术可以协助维修人员快速找出有异常的部位，并针对维修的操作过程进行虚拟指导。该系统可广泛应用于机械维修、车辆、导航、培训等领域。
然而目前现有的混合现实设备的定位精度较低，远低于红外光学定位设备的精度，将红外光学定位设备的精度引入到混合现实设备中来，能够解决混合现实设备定位精度低的问题。如何将红外光学定位设备的精度引入到混合现实设备中来，是亟待解决的技术问题。
发明内容：
本发明的目的是针对现有技术的问题，提供一种能够解决上述问题的一种基于图像特征的配准系统及配准方法。
一种基于图像特征的配准系统，包括光学定位模块、校准模块、混合现实模块和控制模块，所述光学定位模块和混合现实模块与控制模块连接，所述校准模块包括固定连接的特征图像模块和光敏模块。
所述光学定位模块用于追踪所述光敏模块，通过计算得到所述特征图像模块中心点在所述光学定位模块中的位置数据。
所述混合现实模块用于追踪所述特征图像模块得到所述特征图像中心点在所述混合现实模块中的位置数据。
所述光学定位模块与所述混合现实模块通过在同一时刻内识别所述校准模块从而得到同一空间位置在所述混合现实模块与所述光学定位模块之间的坐标转换矩阵。本发明将光学定位模块的精度引入到混合现实模块中，混合现实模块中能够显示出光学定位模块追踪到的信息，达到不同类型应用场景的智能应用。
进一步地，所述光学定位模块为红外定位设备或电磁定位设备，其中所述红外定位设备或电磁定位设备要求精度小于2mm。
进一步地，所述特征图像模块包括至少一个特征图像，特征图像可以是二维码或其他计算机可识别的包含信息的图像。
进一步地，所述光敏模块包括至少三个光敏球，所述至少三个光敏球处于同一平面且组成的图形面积不小于40cm2。
本发明还提供了一种基于图像特征的配准系统的配准方法，包括以下步骤：
(1)首先将光学定位模块、混合现实模块与控制模块连接，然后校验所述校准模块，
(2)启动光学定位模块，使其追踪所述光敏模块，并通过计算得到所述特征图像模块中心点在所述光学定位模块中的位置数据，
(3)启动混合现实模块，使其追踪所述特征图像模块，得到所述特征图像中心点在所述混合现实模块中的位置数据，
(4)基于所述特征图像模块中心点在所述光学定位模块和所述混合现实模块中的位置数据，得到同一空间位置在所述混合现实模块与所述光学定位模块之间的坐标转换矩阵
Figure BDA0002687721410000021
进一步地，校验过程为：通过调整光学定位模块和校准模块的位置和角度，使所述光敏模块能够被所述光学定位模块探测到，同时特征图像模块能够被混合现实模块探测到。
进一步地，所述特征图像模块中心点在所述光学定位模块中的位置数据的计算过程为：首先通过光学定位模块获得校准模块的位置矩阵为
Figure BDA0002687721410000031
由于校准模块中特征图像的中心点与光学定位模块识别的光敏模块具有刚性位置关系
Figure BDA0002687721410000032
可得其在光学定位位置为
Figure BDA0002687721410000033
进一步地，所述坐标转换矩阵
Figure BDA0002687721410000034
的计算过程为：通过混合现实模块获取特征图像在混合现实坐标系中的位置矩阵为
Figure BDA0002687721410000035
可计算出光学定位模块的坐标系在混合现实模块坐标系中的转换矩阵为
Figure BDA0002687721410000036
进一步地，所述特征图像中心点在所述混合现实模块中的位置数据为
Figure BDA0002687721410000037
本发明一种基于图像特征的配准系统及配准方法的有益效果是：
本发明通过利用光学定位模块对混合现实模块辅助定位，提高定位精度，并通过校准模块建立光学定位模块和混合现实模块之间的联系，基于所述校准模块上特征图像模块中心点在所述光学定位模块和所述混合现实模块中的位置数据，得到对应的空间配准矩阵，获取所述光学定位模块与所述混合现实模块的坐标转换矩阵，提高配准的精度，将光学定位模块的精度引入到混合现实模块中，混合现实模块中能够显示出光学定位模块追踪到的信息，达到不同类型应用场景的智能应用。
(2)通过设定校准模块的机械结构，加工时设计特征图像和光敏球的固定空间位置，并通过特征图像分别在光学定位模块和混合现实模块识别位置进行空间拟合，获取两种不同类型空间定位设备的高精度空间匹配。
附图说明：
图1为本发明的工作原理示意图，
图2为本发明的结构示意图，
图3校准模块的结构示意图，
图中：1混合现实模块，2校准模块，21特征图像模块，22光敏模块，3目标实体，4光学定位模块，5控制模块。
具体实施方式：
下面结合附图对本发明的较佳实施例进行详细阐述，以使本发明的优点和特征能更易被本领域人员理解，从而对本发明的保护范围做出更为清楚明确的界定。
图1至图3，一种基于图像特征的配准系统，包括光学定位模块4、校准模块2、混合现实模块1和控制模块5，所述光学定位模块4和混合现实模块1与控制模块5连接，所述校准模块2包括固定连接的特征图像模块21和光敏模块22。优选的，所述特征图像模块21包括至少一个特征图像，数目大于一个时，多个特征图像的大小、排列不受限制，可任意排列。关于校准模块，可以是能够满足特征图像模块的位置与光敏模块的位置有一个可测量的固定关系的任意形态，不局限于图2的形态。特征图像可以是二维码或其他计算机可识别的包含信息的图像。
所述光敏模块22包括至少三个光敏球，所述至少三个光敏球处于同一平面且组成的图形面积不小于40cm2。
所述光学定位模块4用于追踪所述光敏模块22，通过计算得到所述特征图像模块中心点在所述光学定位模块4中的位置数据。优选的，所述光学定位模块4可以为红外定位设备、电磁定位设备等。
所述混合现实模块1用于追踪所述特征图像模块21得到所述特征图像中心点在所述混合现实模块中的位置数据。
所述光学定位模块4与所述混合现实模块1通过在同一时刻内识别所述校准模块从而得到同一空间位置在所述混合现实模块1与所述光学定位模块4之间的坐标转换矩阵。
本发明还提供了一种基于图像特征的配准系统的配准方法，包括以下步骤：
(1)首先将光学定位模块4、混合现实模块1与控制模块连接，然后校验所述校准模块2。具体过程为：将校准模块2放置于到目标实体3处，通过调整光学定位模块4和校准模块2的位置和角度，使所述光敏模块22能够被所述光学定位模块4探测到，同时特征图像模块21能够被混合现实模块1探测到，
(2)启动光学定位模块4，使其追踪所述光敏模块22得到位置信息
Figure BDA0002687721410000051
并通过校准板的机械结构关系矩阵
Figure BDA0002687721410000052
计算得到所述特征图像模块中心点在所述光学定位模块4中的位置数据
Figure BDA0002687721410000053
(3)启动混合现实模块1，使其追踪所述特征图像模块21，得到所述特征图像中心点在所述混合现实模块1中的位置数据
Figure BDA0002687721410000054
(4)基于所述特征图像模块21中心点在所述光学定位模块4和所述混合现实模块中1的位置数据，得到同一空间位置在所述混合现实模块1与所述光学定位模块4之间的坐标转换矩阵
Figure BDA0002687721410000055
因为校准模块2上的光敏模块22与特征图像模块21特征图像模块具有刚性固定关系，光学定位模块4通过追踪光敏模块22，再基于机械结构固定转换矩阵
Figure BDA0002687721410000056
由
Figure BDA0002687721410000057
计算得到特征图像模块的中心点在混合现实模块1坐标系中的坐标
Figure BDA0002687721410000058
基于特征图像模块在光学定位模块4和混合现实模块1中的坐标信息，计算得到对应空间配准矩阵
Figure BDA0002687721410000059
具体的，首先通过光学定位设备获得校准模块的位置矩阵为
Figure BDA00026877214100000510
由于校准模块的精密机械加工结构，校准模块2中特征图像的中心点与光学定位模块4识别的光敏模块22具有刚性位置关系
Figure BDA00026877214100000511
可得其在光学定位模块位置为
Figure BDA00026877214100000512
通过混合现实模块获取特征图像在混合现实坐标系中的位置矩阵分别为
Figure BDA0002687721410000061
可计算出光学定位模块4的坐标系在混合现实模块1坐标系中的转换矩阵为
Figure BDA0002687721410000062
即可通过此转换矩阵实时计算出光学定位模块探测到光敏模块在混合现实坐标下的实时位置矩阵
Figure BDA0002687721410000063
此外，对于配准过程中得到的坐标转换矩阵
Figure BDA0002687721410000064
由混合现实模块1与光学定位模块4在同一时刻内识别校准模块2得到的位置矩阵
Figure BDA0002687721410000065
和
Figure BDA0002687721410000066
计算得到。(混合现实模块的坐标原点为模块启动时刻确定，之后模块的移动不会改变该原点位置，该混合现实模块具备SLAM空间定位能力，所以确定坐标转换矩阵后该值不会改变。

Claims (10)

1.一种基于图像特征的配准系统，其特征在于，包括光学定位模块、校准模块、混合现实模块和控制模块，所述光学定位模块和混合现实模块与控制模块连接，所述校准模块包括固定连接的特征图像模块和光敏模块，
所述光学定位模块用于追踪所述光敏模块，通过计算得到所述特征图像模块中心点在所述光学定位模块中的位置数据，
所述混合现实模块用于识别所述特征图像模块得到所述特征图像中心点在所述混合现实模块中的位置数据，
所述光学定位模块与所述混合现实模块通过在同一时刻内识别所述校准模块从而得到同一空间位置在所述混合现实模块与所述光学定位模块之间的坐标转换矩阵。
2.根据权利要求1所述的基于图像特征的配准系统，其特征在于，所述光学定位模块为红外定位设备或电磁定位设备。
3.根据权利要求1所述的基于图像特征的配准系统，其特征在于，所述特征图像模块包括至少一个特征图像。
4.根据权利要求1所述的基于图像特征的配准系统，其特征在于，所述光敏模块包括至少三个光敏球。
5.根据权利要求4所述的基于图像特征的配准系统，其特征在于，所述至少三个光敏球处于同一平面且组成的图形面积不小于40cm2。
6.根据权利要求1-5任一所述的基于图像特征的配准系统的配准方法，其特征在于，包括以下步骤：
(1)首先将光学定位模块、混合现实模块与控制模块连接，然后校验所述校准模块；
(2)启动光学定位模块，使其追踪所述光敏模块，并通过计算得到所述特征图像模块中心点在所述光学定位模块中的位置数据；
(3)启动混合现实模块，使其追踪所述特征图像模块，得到所述特征图像中心点在所述混合现实模块中的位置数据；
(4)基于所述特征图像模块中心点在所述光学定位模块和所述混合现实模块中的位置数据，得到同一空间位置在所述混合现实模块与所述光学定位模块之间的坐标转换矩阵
Figure FDA0002687721400000021
7.根据权利要求6所述的基于图像特征的配准系统的配准方法，其特征在于：所述步骤(1)中，校验过程为：通过调整光学定位模块和校准模块的位置和角度，使所述光敏模块能够被所述光学定位模块探测到，同时特征图像模块能够被混合现实模块探测到。
8.根据权利要求6所述的基于图像特征的配准系统的配准方法，其特征在于：所述步骤(2)中，所述特征图像模块中心点在所述光学定位模块中的位置数据的计算过程为：首先通过光学定位模块获得校准模块的位置矩阵为
Figure FDA0002687721400000022
由于校准模块中的特征图像的中心点与光学定位模块识别的光敏模块具有刚性位置关系
Figure FDA0002687721400000023
可得其在光学定位模块中位置为
Figure FDA0002687721400000024
9.根据权利要求8所述的基于图像特征的配准系统的配准方法，其特征在于：所述步骤(4)中，所述坐标转换矩阵
Figure FDA0002687721400000025
的计算过程为：通过混合现实模块获取特征图像在混合现实坐标系中的位置矩阵为
Figure FDA0002687721400000026
可计算出光学定位模块的坐标系在混合现实模块坐标系中的转换矩阵为
Figure FDA0002687721400000027
10.根据权利要求6所述的基于图像特征的配准系统的配准方法，其特征在于：所述步骤(3)中，特征图像中心点在所述混合现实模块中的位置数据为
Figure FDA0002687721400000028
CN202010981602.5A 2020-09-17 2020-09-17 一种基于图像特征的配准系统及配准方法 Pending CN112258562A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010981602.5A CN112258562A (zh) 2020-09-17 2020-09-17 一种基于图像特征的配准系统及配准方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010981602.5A CN112258562A (zh) 2020-09-17 2020-09-17 一种基于图像特征的配准系统及配准方法

Publications (1)

Publication Number Publication Date
CN112258562A true CN112258562A (zh) 2021-01-22

Family

ID=74232561

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010981602.5A Pending CN112258562A (zh) 2020-09-17 2020-09-17 一种基于图像特征的配准系统及配准方法

Country Status (1)

Country Link
CN (1) CN112258562A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114791274A (zh) * 2022-04-26 2022-07-26 北京商询科技有限公司 一种空间定位方法、装置及设备

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114791274A (zh) * 2022-04-26 2022-07-26 北京商询科技有限公司 一种空间定位方法、装置及设备
CN114791274B (zh) * 2022-04-26 2023-11-03 北京商询科技有限公司 一种空间定位方法、装置及设备

Similar Documents

Publication Publication Date Title
CN109308693B (zh) 由一台ptz相机构建的目标检测和位姿测量单双目视觉系统
CN110695993B (zh) 一种柔性机械臂同步测量方法、系统及装置
CN108648237B (zh) 一种基于视觉的空间定位方法
Huang et al. An automatic analog instrument reading system using computer vision and inspection robot
Zhang et al. A robust and rapid camera calibration method by one captured image
JP2023106284A (ja) 組立ロボットの遠隔操作環境のデジタルツインモデリング方法及びシステム
CN105021124A (zh) 一种基于深度图的平面零件三维位置和法向量计算方法
CN112541946A (zh) 一种基于透视多点投影的机械臂的位姿实时检测方法
Xia et al. Global calibration of non-overlapping cameras: State of the art
CN113191388B (zh) 用于目标检测模型训练的图像采集系统及样本生成方法
Yan et al. Joint camera intrinsic and lidar-camera extrinsic calibration
CN112190328A (zh) 一种全息透视定位系统及定位方法
CN112686947A (zh) 一种虚拟空间中物体标注方法、装置和电子设备
CN114001651B (zh) 一种基于双目视觉测量和先验检测数据的大型细长筒类构件位姿原位测量方法
CN114224489B (zh) 用于手术机器人的轨迹跟踪系统及利用该系统的跟踪方法
CN112258562A (zh) 一种基于图像特征的配准系统及配准方法
WO2022048493A1 (zh) 摄像头外参标定的方法与装置
CN106248000B (zh) 零件孔轴线的测量方法
CN111768383A (zh) 立体靶标及利用其恢复视觉传感器工作功能的方法
CN114926542A (zh) 基于光学定位系统的混合现实固定参考系校准方法
Kim et al. Motion estimation for multi-camera systems using global optimization
Gu et al. Research on static vision-based target localization for astronaut assistant robots
Sun et al. Surgical instrument recognition and calibration for optical tracking system
CN113256726A (zh) 移动装置的传感系统的在线标定和检查方法、移动装置
Jianxi et al. Calibrating method and systemic error analysis on binocular 3D position system

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination