CN111145256A - 一种肿瘤穿刺中人体姿态的定位装置及方法 - Google Patents

Abstract

本发明提供了一种肿瘤穿刺中人体姿态的定位装置及方法。其中，肿瘤穿刺中人体姿态的定位装置，包括全方位人体图像采集模块，其用于若干张肿瘤穿刺中人体全方位图像；人体三维重构模块，其用于对肿瘤穿刺中人体全方位图像的对应关键点与预先构建的人体图结构模型进行匹配，定位人体关节点和关节点间的最优连接实现人体三维重构，确定出人体当前姿态的位置。

Description

一种肿瘤穿刺中人体姿态的定位装置及方法

技术领域

本发明属于人体姿态定位领域，尤其涉及一种肿瘤穿刺中人体姿态的定位装置及方法。

背景技术

本部分的陈述仅仅是提供了与本发明相关的背景技术信息，不必然构成在先技术。

伴随现代医疗技术的进步，肿瘤疾病有诸多治疗方法，但首先都需要进行肿瘤穿刺取样组织进行活体检测。在取样过程中需要对人体的姿态和肿瘤的位置进行高精度的识别和定位，因为肿瘤穿刺有可能会带来一系列的并发症，并且在穿刺过程中往往借助于CT、超声、MRI等进行，对于医生的操作水平有一定的要求。

发明人发现，目前市场上还没有一种专门用来肿瘤穿刺的人体定位装置。通常，在肿瘤穿刺活检时，主要仰仗于医生的经验，此种方法有较大的主观因素，而且不同的穿刺位置，会有不同的体位，这大大增加了医生判断的难度。因此对于人体的高精度体位的识别和定位显得尤为重要；而且现有的人体定位多需要大量场景的大量图片，而且需要大量的计算。

发明内容

为了解决上述问题，本发明提供一种肿瘤穿刺中人体姿态的定位装置及方法，其在定位过程中，计算量相对较少，不需要大量的图像对比，可以在肿瘤穿刺时实时进行图像的重构，能够提高肿瘤穿刺中人体姿态的定位精度。

为了实现上述目的，本发明采用如下技术方案：

本发明的第一方面提供一种肿瘤穿刺中人体姿态的定位装置，其包括：

全方位人体图像采集模块，其用于采集若干张肿瘤穿刺中人体全方位图像；

人体三维重构模块，其用于对肿瘤穿刺中人体全方位图像的对应关键点与预先构建的人体图结构模型进行匹配，定位人体关节点和关节点间的最优连接实现人体三维重构，确定出人体当前姿态的位置。

进一步地，预先构建的人体图结构模型包含38个人体关节节点，模型可以表示为无向图G＝(V，E)，其中V＝(v₁，v₂…v₃₈)表示无向图顶点，E表示无向图中所有相连部位构成的边集。

进一步地，在人体三维重构模块中，人体姿态估计即确定人体各部位状态配置L＝(l₁，l₂…l₃₈),其中l_i＝(x_i，y_i，θ_i)表示某部位状态定位矩形框，(x_i，y_i)表示矩形框中心点在图像坐标系中的坐标，θ_i表示矩形框的方向；人体姿态估计问题转化成为能量函数的优化问题，能量函数为：

m_i(l_i)表示定位矩形区域的图像特征不匹配程度，d_ij(l_i,l_j)表示两部位的几何连接情况与节点几何约束不匹配的程度；

再利用零一整数规划求解最优边集，即为关节间的最优连接。

进一步地，在所述全方位人体图像采集模块中，采集瘤穿刺中人体全方位图像之后还包括：

在瘤穿刺中人体全方位图像中，寻找不因光照和角度而变化的特征点，建立瘤穿刺中人体全方位图像的尺度空间，进而得到瘤穿刺中人体全方位图像的128描述子向量。

进一步地，所述肿瘤穿刺中人体姿态的定位装置，还包括床板，其用于承载肿瘤穿刺中人体；所述床板由若干个子床板构成，任意两个相邻的子床板均连接一字转轴，所述一字转轴与电机相连。

进一步地，所述床板底部四角均设置有支撑脚，支撑脚与万向轮相连，万向轮与步进电机相连。

进一步地，所述全方位人体图像采集模块为三个深度摄像头，每个深度摄像头与一个机械臂相连。

进一步地，每个机械臂包括固定臂、连接臂和活动臂；固定臂和连接臂通过第一活动关节连接，连接臂和活动臂通过第二活动关节连接，每个深度摄像机通过第三活动关节与活动臂连接，通过机械臂的调节改变每个深度摄像机的位置来不断调整相应深度摄像机的摄像角度。

本发明的第二方面提供一种肿瘤穿刺中人体姿态的定位方法，其包括：

采集若干张肿瘤穿刺中人体全方位图像；

对肿瘤穿刺中人体全方位图像的对应关键点与预先构建的人体图结构模型进行匹配，定位人体关节点和关节点间的最优连接实现人体三维重构，确定出人体当前姿态的位置。

进一步地，预先构建的人体图结构模型包含38个人体关节节点，模型可以表示为无向图G＝(V，E)，其中V＝(v₁，v₂…v₃₈)表示无向图顶点，E表示无向图中所有相连部位构成的边集。

进一步地，人体姿态估计即确定人体各部位状态配置L＝(l₁，l₂…l₃₈),其中l_i＝(x_i，y_i，θ_i)表示某部位状态定位矩形框，(x_i，y_i)表示矩形框中心点在图像坐标系中的坐标，θ_i表示矩形框的方向；人体姿态估计问题转化成为能量函数的优化问题，能量函数为：

m_i(l_i)表示定位矩形区域的图像特征不匹配程度，d_ij(l_i,l_j)表示两部位的几何连接情况与节点几何约束不匹配的程度；

再利用零一整数规划求解最优边集，即为关节间的最优连接。

本发明的有益效果是：

(1)本发明的肿瘤穿刺中人体姿态的定位装置对肿瘤穿刺中人体全方位图像的对应关键点与预先构建的人体图结构模型进行匹配，定位人体关节点和关节点间的最优连接实现人体三维重构，确定出人体当前姿态的位置，能够有效降低因医生判断能力和经验不足引起的创伤，减小病人痛苦。

(2)本发明采用图像识别和人体定位方法，通过深度信息图像处理方法，提高了定位的精度，很大程度上降低了外界等因素的影响，减少了医生的工作强度。

附图说明

构成本发明的一部分的说明书附图用来提供对本发明的进一步理解，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。

图1为本发明实施例的肿瘤穿刺中人体姿态的定位装置结构示意图；

图2为本发明实施例的机械臂结构图；

图3为本发明实施例的活动关节结构图；

图4为本发明实施例的床板主体结构图；

图5为本发明实施例的支撑脚和万向轮的控制驱动结构；

图6为本发明实施例的齿轮传动结构的俯视图.

具体实施方式

下面结合附图与实施例对本发明作进一步说明。

应该指出，以下详细说明都是例示性的，旨在对本发明提供进一步的说明。除非另有指明，本文使用的所有技术和科学术语具有与本发明所属技术领域的普通技术人员通常理解的相同含义。

需要注意的是，这里所使用的术语仅是为了描述具体实施方式，而非意图限制根据本发明的示例性实施方式。如在这里所使用的，除非上下文另外明确指出，否则单数形式也意图包括复数形式，此外，还应当理解的是，当在本说明书中使用术语“包含”和/或“包括”时，其指明存在特征、步骤、操作、器件、组件和/或它们的组合。

在本发明中，术语如“上”、“下”、“左”、“右”、“前”、“后”、“竖直”、“水平”、“侧”、“底”等指示的方位或位置关系为基于附图所示的方位或位置关系，只是为了便于叙述本发明各部件或元件结构关系而确定的关系词，并非特指本发明中任一部件或元件，不能理解为对本发明的限制。

本发明中，术语如“固接”、“相连”、“连接”等应做广义理解，表示可以是固定连接，也可以是一体地连接或可拆卸连接；可以是直接相连，也可以通过中间媒介间接相连。对于本领域的相关科研或技术人员，可以根据具体情况确定上述术语在本发明中的具体含义，不能理解为对本发明的限制。

如图1所示，本实施例的肿瘤穿刺中人体姿态的定位装置，包括：

(1)全方位人体图像采集模块，其用于采集若干张肿瘤穿刺中人体全方位图像。

具体地，所述全方位人体图像采集模块为三个深度摄像头，每个深度摄像头与一个机械臂相连。

如图2和图3所示，每个机械臂包括固定臂1、连接臂2和活动臂3；固定臂1和连接臂2通过第一活动关节4连接，连接臂2和活动臂3通过第二活动关节5连接，每个深度摄像机7通过第三活动关节6与活动臂3连接，通过机械臂的调节改变每个深度摄像机的位置来不断调整相应深度摄像机的摄像角度。

在具体实施中，在所述全方位人体图像采集模块中，采集瘤穿刺中人体全方位图像之后还包括：

在瘤穿刺中人体全方位图像中，寻找不因光照和角度而变化的特征点，建立瘤穿刺中人体全方位图像的尺度空间，进而得到瘤穿刺中人体全方位图像的128描述子向量。

具体地，通过基于模拟退火算法来除去所摄照片的噪声。

其中，模拟退火算法来源于固体退火原理，是一种基于概率的算法，将固体加温至充分高，再让其徐徐冷却，加温时，固体内部粒子随温升变为无序状，内能增大，而徐徐冷却时粒子渐趋有序，在每个温度都达到平衡态，最后在常温时达到基态，内能减为最小。模拟退火算法可用来进行图像恢复等工作，即把一幅被污染的图像重新恢复成清晰的原图，滤掉其中被畸变的部分。

通过在三个摄像机所摄取的照片中，寻找不因光照，角度而变化的特征点，建立所摄取图片的尺度空间：

L(x,y,σ)＝G(x,y,σ)*I(x,y)

其中(x,y)为图像像素点的坐标，σ为尺度坐标，G(x,y,σ)为高斯函数，I(x,y)为(x,y)点的图像像素；

构造高斯差分尺度空间DOG函数D(x,y,σ)：

D(x,y,σ)＝(G(x,y,kσ)-G(x,y,σ))*I(x,y)＝L(x,y,kσ)-L(x,y,σ)

将DOG函数进行泰勒展开，以进行二次拟合，得到的拟合DOG函数D(X)；

其中，k为常系数；

拟合DOG函数中的D＝D(x,y,σ)；X表示(x,y,σ)的函数；T表示转置；

求拟合DOG函数的极值点后，除去极值小于预设阈值(比如：0.03)的极值点。将修正后的结果

带入DOG函数的泰勒展开式

求

的hessian矩阵

设其最大特征值为α，最小特征值为β，设α＝rβ，矩阵H行列式的迹：

Tr(H)＝D_xx+D_yy

行列式的值：

Det(H)＝D_xx*D_yy-D_xy*D_yx

保留

的关键点。

其中，r为常系数。

像素函数的梯度：

梯度幅值：

梯度方向：

确定描述子的所需图像区域：

σ_oct为关键点所在组的组内尺度，d为常系数，比如d＝4。

旋转坐标

确立权重weight：

x_k：该点与关键点的列距离；

y_k：该点与关键点的行距离；

σ_w：等于描述子窗口宽度3σ×直方图列数(取4)的一半；

d_r、d_c和d_o均为常系数；

W＝(w₁,w₂,...,w₁₂₈)为得到的128描述子向量。

(2)人体三维重构模块，其用于对肿瘤穿刺中人体全方位图像的对应关键点与预先构建的人体图结构模型进行匹配，定位人体关节点和关节点间的最优连接实现人体三维重构，确定出人体当前姿态的位置。

其中，预先构建的人体图结构模型包含38个人体关节节点，模型可以表示为无向图G＝(V，E)，其中V＝(v₁，v₂…v₃₈)表示无向图顶点，E表示无向图中所有相连部位构成的边集。

在人体三维重构模块中，人体姿态估计即确定人体各部位状态配置L＝(l₁，l₂…l₃₈),其中l_i＝(x_i，y_i，θ_i)表示某部位状态定位矩形框，(x_i，y_i)表示矩形框中心点在图像坐标系中的坐标，θ_i表示矩形框的方向；人体姿态估计问题转化成为能量函数的优化问题，能量函数为：

m_i(l_i)表示定位矩形区域的图像特征不匹配程度，d_ij(l_i,l_j)表示两部位的几何连接情况与节点几何约束不匹配的程度；

再利用零一整数规划求解最优边集，即为关节间的最优连接。

利用零一整数规划求解最优边集E的过程为：

L中变量按系数大小排列，按目标函数值由小到大的顺序依次排列可能的解，并予以可行性检验,发现L的最优解并停止。此时d_ij＝1的构成最优边集。即E＝{d_ij|d_ij＝1}。

其优点在于，减少了运算的次数，避免了2ⁿ的枚举。

在另一实施例中，所述肿瘤穿刺中人体姿态的定位装置，还包括床板，其用于承载肿瘤穿刺中人体；如图4所示，所述床板由若干个子床板8构成，任意两个相邻的子床板8均连接一字转轴9，所述一字转轴与电机相连。

作为一种实施方式，床板由工程塑料制成。

需要说明的是，在其他实施例中，床板也可采用其他材料制成。

作为一种具体实施方式，所述床板底部四角均设置有支撑10脚，支撑脚10与万向轮11相连，万向11轮与步进电机12相连，如图5所示。万向轮11与步进电机12之间通过传动机构相连，所述传动机构为齿轮结构，如图6所示，齿轮结构由一个齿轮13和电机转动部分14组成。电机转动部分14为电机输出轴。

在具体实施中，人体三维重构模块可为计算机中的中央处理器，其中，全方位人体图像采集模块与人体三维重构模块通过ZigBee无线芯片相互通信。

实施例二

本实施例提供一种肿瘤穿刺中人体姿态的定位方法，其包括：

采集若干张肿瘤穿刺中人体全方位图像；

对肿瘤穿刺中人体全方位图像的对应关键点与预先构建的人体图结构模型进行匹配，定位人体关节点和关节点间的最优连接实现人体三维重构，确定出人体当前姿态的位置。

其中，预先构建的人体图结构模型包含38个人体关节节点，模型可以表示为无向图G＝(V，E)，其中V＝(v₁，v₂…v₃₈)表示无向图顶点，E表示无向图中所有相连部位构成的边集。

人体姿态估计即确定人体各部位状态配置L＝(l₁，l₂…l₃₈),其中l_i＝(x_i，y_i，θ_i)表示某部位状态定位矩形框，(x_i，y_i)表示矩形框中心点在图像坐标系中的坐标，θ_i表示矩形框的方向；人体姿态估计问题转化成为能量函数的优化问题，能量函数为：

m_i(l_i)表示定位矩形区域的图像特征不匹配程度，d_ij(l_i,l_j)表示两部位的几何连接情况与节点几何约束不匹配的程度；

再利用零一整数规划求解最优边集，即为关节间的最优连接。

以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种肿瘤穿刺中人体姿态的定位装置，其特征在于，包括：

全方位人体图像采集模块，其用于采集若干张肿瘤穿刺中人体全方位图像；

人体三维重构模块，其用于对肿瘤穿刺中人体全方位图像的对应关键点与预先构建的人体图结构模型进行匹配，定位人体关节点和关节点间的最优连接实现人体三维重构，确定出人体当前姿态的位置。

2.如权利要求1所述的肿瘤穿刺中人体姿态的定位装置，其特征在于，进一步地，预先构建的人体图结构模型包含38个人体关节节点，模型可以表示为无向图G＝(V，E)，其中V＝(v₁，v₂…v₃₈)表示无向图顶点，E表示无向图中所有相连部位构成的边集。

3.如权利要求2所述的肿瘤穿刺中人体姿态的定位装置，其特征在于，在人体三维重构模块中，人体姿态估计即确定人体各部位状态配置L＝(l₁，l₂…l₃₈),其中l_i＝(x_i，y_i，θ_i)表示某部位状态定位矩形框，(x_i，y_i)表示矩形框中心点在图像坐标系中的坐标，θ_i表示矩形框的方向；人体姿态估计问题转化成为能量函数的优化问题，能量函数为：

m_i(l_i)表示定位矩形区域的图像特征不匹配程度，d_ij(l_i,l_j)表示两部位的几何连接情况与节点几何约束不匹配的程度；

再利用零一整数规划求解最优边集，即为关节间的最优连接。

4.如权利要求1所述的肿瘤穿刺中人体姿态的定位装置，其特征在于，在所述全方位人体图像采集模块中，采集瘤穿刺中人体全方位图像之后还包括：

在瘤穿刺中人体全方位图像中，寻找不因光照和角度而变化的特征点，建立瘤穿刺中人体全方位图像的尺度空间，进而得到瘤穿刺中人体全方位图像的128描述子向量。

5.如权利要求1所述的肿瘤穿刺中人体姿态的定位装置，其特征在于，所述肿瘤穿刺中人体姿态的定位装置，还包括床板，其用于承载肿瘤穿刺中人体；所述床板由若干个子床板构成，任意两个相邻的子床板均连接一字转轴，所述一字转轴与电机相连。

6.如权利要求5所述的肿瘤穿刺中人体姿态的定位装置，其特征在于，所述床板底部四角均设置有支撑脚，支撑脚与万向轮相连，万向轮与步进电机相连。

7.如权利要求1所述的肿瘤穿刺中人体姿态的定位装置，其特征在于，所述全方位人体图像采集模块为三个深度摄像头，每个深度摄像头与一个机械臂相连。

8.如权利要求7所述的肿瘤穿刺中人体姿态的定位装置，其特征在于，每个机械臂包括固定臂、连接臂和活动臂；固定臂和连接臂通过第一活动关节连接，连接臂和活动臂通过第二活动关节连接，每个深度摄像机通过第三活动关节与活动臂连接，通过机械臂的调节改变每个深度摄像机的位置来不断调整相应深度摄像机的摄像角度。

9.一种肿瘤穿刺中人体姿态的定位方法，其特征在于，包括：

采集若干张肿瘤穿刺中人体全方位图像；

对肿瘤穿刺中人体全方位图像的对应关键点与预先构建的人体图结构模型进行匹配，定位人体关节点和关节点间的最优连接实现人体三维重构，确定出人体当前姿态的位置。

10.如权利要求9所述的肿瘤穿刺中人体姿态的定位方法，其特征在于，预先构建的人体图结构模型包含38个人体关节节点，模型可以表示为无向图G＝(V，E)，其中V＝(v₁，v₂…v₃₈)表示无向图顶点，E表示无向图中所有相连部位构成的边集。

人体姿态估计即确定人体各部位状态配置L＝(l₁，l₂…l₃₈),其中l_i＝(x_i，y_i，θ_i)表示某部位状态定位矩形框，(x_i，y_i)表示矩形框中心点在图像坐标系中的坐标，θ_i表示矩形框的方向；人体姿态估计问题转化成为能量函数的优化问题，能量函数为：

m_i(l_i)表示定位矩形区域的图像特征不匹配程度，d_ij(l_i,l_j)表示两部位的几何连接情况与节点几何约束不匹配的程度；

再利用零一整数规划求解最优边集，即为关节间的最优连接。

Images