CN103226817A - 一种基于透视投影的体表静脉图像增强现实方法及装置 - Google Patents

Abstract

本发明涉及一种基于投影技术的医学图像增强现实方法及装置，属于智慧医疗领域，是一种能够辅助医生实施诊疗的手段。本发明主要由红外光源、红外摄像机和投影仪组成光路，并利用标定技术确定投影前后目标点的透视变换模型参数，然后将待增强的体表区域画面经过增强变换后直接投影在患者皮肤表面。本发明利用标定过程得到投影仪与红外摄像机之间的几何模型参数，对增强处理后的图像进行透视变换后，能精确地与真实患处重合，实现了体表图像的增强现实。由于本发明仅需要确定投影仪和红外摄像机的放置关系，对于特定的环境，标定仅须操作一次，之后的变换操作即可实时进行。因此，本发明具有硬件架构简单、实现容易，具有很好的实时性和实用性。

Description

一种基于透视投影的体表静脉图像增强现实方法及装置

技术领域

本发明涉及一种基于投影技术的医学图像增强现实方法，属于智慧医疗领域，是一种能够辅助医生实施诊疗的手段。

背景技术

医疗增强现实（AR）技术正在成为一个重要工具，在疾病咨询和诊断过程中，医生能更精准地与病人沟通得到更真实的诊断结果，同时也能在治疗过程中，借助增强现实技术能使皮下组织和静脉等影像直接显现在病人皮肤表面，提高手术治疗的质量。目前，医疗增强现实技术已经应用于许多领域，特别是非常显著增长的手术应用中。特别是红外摄像机的光学结构不断改进以及投影机的小型化设计，使得此技术的未来发展前景无限。如今，常见的医疗增强显示技术分为了接触式和非接触式两种。接触式增强现实技术是将液晶芯片贴在人体表面，用以将皮下静脉等清晰显现出来，这项技术在美国已经申请了专利(USPatent.NO.3,998,210)。然而这种技术要在严格无菌条件下，因此其应用领域大大受限。而非接触式增强现实技术包括了利用夜视仪来辅助医疗的投射式红外成像以及借助红外反射镜(热镜)将红外成像光路和投影光路组合得到的反射式成像系统。不过，投射式系统由于夜视仪成本较高且夜视仪观察到的像边界模糊，不易判断，因此没有投入商业生产。而反射式投影系统（中国专利号CN1621889A）虽然能使影像直接显现在皮肤表面，但是光学设计十分复杂，不易小型化。目前市场上迫切需要一种硬件构架简单，投影精度高的基于透视投影的体表图像增强现实方法及装置。

发明内容

本发明的目的就是克服现有技术的不足，提供一种硬件构架简单，投影精度高的基于透视投影的体表图像增强现实方法及装置。

本发明的技术方案是：一种基于透视投影的体表静脉图像增强现实方法，其特征在于，包括以下步骤：

步骤1：标定获取投影模型参数；

步骤2：采集原始目标图像；

步骤3：对所述的原始目标图像进行增强处理，得到增强图像；

步骤4：对所述的增强图像进行透视变换，得到透视图像；

步骤5：将所述的透视图像投影至待检测区域。

作为优选，所述的标定获取投影模型参数，所述的标定包括以下子步骤：

步骤1.1：待检测区域放置黑白棋盘格；

步骤1.2：采集标定图像；

步骤1.3：对所述的标定图像进行角点检测并记录；

步骤1.4：将所述的标定图像投影至所述的待检测区域；

步骤1.5：采集所述的投影后标定图像；

步骤1.6：对所述的投影后标定图像进行角点检测并记录；

步骤1.6：标定得到投影变换模型参数。

本发明的技术方案还包括一种基于透视投影的体表静脉图像增强现实装置，其特征在于：包括红外光源、红外摄像机和投影仪；

所述的红外光源不止一个，设置在所述的红外摄像机的镜头周围；

所述的红外摄像机与投影仪均水平放置，所述的投影仪放置在所述的红外摄像机上方，并使得所述的投影仪物镜中心和所述的红外摄像机的镜头中心在同一竖直线上，分别调节所述的红外摄像机与投影仪距离目标物的横向距离，保证拍摄的目标影像能经过所述的投影仪完整显示在待检测区域。

所述的红外光源排成环形固定安装在所述的红外摄像机的镜头周围，所述的环形中轴与所述的红外摄像机中轴重合，使得目标区域均匀采光，并通过所述的红外摄像机拍摄得到投影目标区域图像。

所述的装置还包括计算机，所述的计算机分别于所述的红外摄像机和投影仪连接，用于控制处理所述的图像。

与其他增强现实技术相比，本发明利用标定过程得到投影仪与红外摄像机之间的几何模型参数，对增强处理后的图像进行透视变换后，能精确地与真实患处重合，实现了体表图像的增强现实。由于本发明仅需要确定投影仪和红外摄像机的放置关系，对于特定的环境，标定仅须操作一次，之后的变换操作即可实时进行。因此，本发明具有硬件架构简单、实现容易，具有很好的实时性和实用性。

附图说明

图1：为本发明基于透视投影的体表静脉图像增强现实方法的技术流程图。

图2：为本发明的标定示意图。

图3：为本发明的标定流程图。

图4：为本发明基于透视投影的体表静脉图像增强现实装置结构示意图。

图5：为本发明基于透视投影的体表静脉图像增强现实装置体表图像采集示意图。

具体实施方式

下面结合附图和具体实施例——手臂静脉增强投影，来描述本发明提出的一种基于透视投影的体表静脉图像增强现实方法及装置。

请见图1，图2和图3，本发明提出的一种基于透视投影的体表静脉图像增强现实方法，包括以下步骤：

步骤1：标定获取投影模型参数；本实施例使用的是不同黑白方块构成的标定棋盘格，其标定的具体步骤包括以下子步骤：

步骤1.1：待检测区域放置黑白棋盘格；将黑白棋盘格竖直放置在投影目标区域，与红外摄像机主光轴垂直；

步骤1.2：采集标定图像；利用红外摄像机拍摄黑白棋盘格原始图像；

步骤1.3：对标定图像进行角点检测并记录；对这个原始图像进行阈值变换、二值化分割后再进行角点检测，并记录得到的角点像素坐标序列；

步骤1.4：将标定图像投影至待检测区域；将原始标定棋盘图像输入投影仪，再投影到投影目标区域，再通过红外摄像机采集投影目标区域图像；

步骤1.5：采集投影后标定图像；

步骤1.6：对投影后标定图像进行角点检测并记录；对采集到的投影后棋盘图像，同样进行二值化后进行标定板角点和投影图像的角点检测，记录检测的各角点像素坐标；

步骤1.6：标定得到投影变换模型参数。利用最小二乘法来计算透视投影变换模型参数。

请见图4，原始拍摄的四边形ABCD，经过投影后为四边形A’B’C’D’。由于不同视角之间的二维平面图像像素点之间具有一一对应关系，在齐次坐标系下，二维平面上的透视投影变换可以用3×3的矩阵来进行描述。设A点坐标为(x,y)，投影后的点A’的坐标为(x′,y′)，3×3透视变换矩阵为H，H的9个元素为m1～m9，投影关系可以表示为：

$A^{\′}=\mathrm{HA}\⇔\left[\begin{array}{c}{x}^{\′}\\ y^{\′}\\ 1\end{array}\right]=\left[\begin{array}{ccc}m1& m2& m3\\ m4& m5& m6\\ m7& m8& m9\end{array}\right]\left[\begin{array}{c}x\\ y\\ 1\end{array}\right]$

根据上式，可以得到：

$\left\{\begin{array}{c}{x}^{\′}=\frac{m1x+m2y+m3}{m7x+m8y+1}\\ y^{\′}=\frac{m4x+m5y+m6}{m7x+m8y+1}\end{array}\right.$

因此，可以将采集得到的原始图像的角点像素坐标序列和采集的投影后的图像的像素坐标序列，根据最小二乘法即可得到投影后平面图像到原始采集图像的最佳变换矩阵H的9个参数m1～m9。

步骤2：采集原始目标图像；

步骤3：对原始目标图像进行增强处理，得到增强图像；

在完成相机和投影仪的标定之后，得到投影模型参数后，开始采集原始影像。请见图5，将人体待检测患处放置在原来标定的位置，使患处平面与红外摄像机主光轴垂直，并保证红外光源均匀照射在患处表面，利用红外摄像机拍摄人体待检测患处原始影像，输入计算机，并对原始图像进行增强处理。

步骤4：对增强图像进行透视变换，得到透视图像；

为了能使增强后的图像投影后能与真实患处完全吻合，需要对增强后图像进行透视变换。根据标定得到的映射矩阵H的参数，对增强后的图像进行透视变换得到可投影的图像；

设g(x,y)为经过增强处理后的原始图像，h(x,y)为经过透视变换后的图像，则根据标定得到的透视模型H矩阵，即可得到两者之间的变换公式：

h(x,y)=H·g(x,y)

由此，根据双线性插值算法，即可得到透视变换后的目标图像。

步骤5：将透视图像投影至待检测区域。

将透视投影变换后的增强图像输入投影仪，即可投影到人体原始采集区域的皮肤表面。

请见图4，本发明提供的一种基于透视投影的体表静脉图像增强现实装置，包括红外光源1、红外摄像机2、投影仪3和计算机4；红外光源1不止一个，红外光源1排成环形固定安装在红外摄像机2的镜头周围，环形中轴与红外摄像机2中轴重合，使得目标区域均匀采光，并通过红外摄像机2拍摄得到投影目标区域图像；红外摄像机2与投影仪3均水平放置，投影仪3放置在红外摄像机2上方，并使得投影仪3物镜中心和红外摄像机2的镜头中心在同一竖直线上，分别调节红外摄像机2与投影仪3距离目标物的横向距离，保证拍摄的目标影像能经过投影仪3完整显示在待检测区域；计算机4分别与红外摄像机2和投影仪3连接，用于控制处理图像。

本具体实施实例：手臂静脉增强投影，实施的具体步骤可以进一步总结为：

1．将带有红外光源的红外摄像机和投影仪分别依次水平放置，调节焦距和距离，使投影后的图像能经过投影仪完整清晰地显示在规定区域；

2．将9×6的黑白棋盘格标定板竖直放置在距离摄像机约50cm处，保证标定板与红外摄像机主光轴垂直。拍摄一张原始标定图像，进行角点检测，得到54个角点像素坐标；

3．将该标定图像输入投影仪投影至原标定板所在平面，并通过红外摄像机进行采集，也进行角点检测后得到一组54个角点的像素坐标；

4．根据这两组54个角点坐标，利用最小二乘法迭代得到投影模型H矩阵；

5．进行实时图像采集，将手臂放置在原标定板所在位置，尽量保证手臂表面与摄像机主光轴垂直，红外摄像机采集得到原始手臂图像。

6．对手臂图像进行增强处理，使静脉可以清晰得显现出来。

7．根据标定得到的透视变换H矩阵，对增强处理后的手背静脉图像进行透视变换后即得到投影目标图像。将处理后的投影目标图像通过投影仪投影到手臂表面，与真实的手臂表面重合。

本发明主要由红外光源、红外摄像机和投影仪组成光路，并利用标定技术确定投影前后目标点的透视变换模型参数，然后将待增强的体表区域画面经过增强变换后直接投影在患者皮肤表面。

以上所述实施例仅是为充分说明本发明而所举的较佳的实施例，本发明的保护范围不限于此。本技术领域的技术人员在本发明基础上所作的等同替代或变换，均在本发明的保护范围之内。本发明的保护范围以权利要求书为准。

Claims (5)

1.一种基于透视投影的体表静脉图像增强现实方法，其特征在于，包括以下步骤：

步骤1：标定获取投影模型参数；

步骤2：采集原始目标图像；

步骤3：对所述的原始目标图像进行增强处理，得到增强图像；

步骤4：对所述的增强图像进行透视变换，得到透视图像；

步骤5：将所述的透视图像投影至待检测区域。

2.根据权利要求1所述的基于透视投影的体表静脉图像增强现实方法，其特征在于：所述的标定获取投影模型参数，所述的标定包括以下子步骤：

步骤1.1：待检测区域放置黑白棋盘格；

步骤1.2：采集标定图像；

步骤1.3：对所述的标定图像进行角点检测并记录；

步骤1.4：将所述的标定图像投影至所述的待检测区域；

步骤1.5：采集所述的投影后标定图像；

步骤1.6：对所述的投影后标定图像进行角点检测并记录；

步骤1.6：标定得到投影变换模型参数。

3.一种基于透视投影的体表静脉图像增强现实装置，其特征在于：包括红外光源（1）、红外摄像机（2）和投影仪（3）；

所述的红外光源（1）不止一个，设置在所述的红外摄像机（2）的镜头周围；

所述的红外摄像机（2）与投影仪（3）均水平放置，所述的投影仪（3）放置在所述的红外摄像机（2）上方，并使得所述的投影仪（3）物镜中心和所述的红外摄像机（2）的镜头中心在同一竖直线上，分别调节所述的红外摄像机（2）与投影仪（3）距离目标物的横向距离，保证拍摄的目标影像能经过所述的投影仪（3）完整显示在待检测区域。

4.根据权利要求3所述的基于透视投影的体表静脉图像增强现实装置，其特征在于：所述的红外光源（1）排成环形固定安装在所述的红外摄像机（2）的镜头周围，所述的环形中轴与所述的红外摄像机（2）中轴重合，使得目标区域均匀采光，并通过所述的红外摄像机（2）拍摄得到投影目标区域图像。

5.根据权利要求3所述的基于透视投影的体表静脉图像增强现实装置，其特征在于：所述的装置还包括计算机（4），所述的计算机（4）分别与所述的红外摄像机（2）和投影仪（3）连接，用于控制处理所述的图像。

Images