CN107103320B - 嵌入式医疗数据图像识别及集成方法 - Google Patents

Abstract

本发明公开了一种嵌入式医疗数据图像识别及集成方法，包括以下步骤：由摄像头采集医疗数据图像，对采集的医疗数据图像进行预处理；字符切割：将预处理的医疗数据图像的前景与背景分割开，再将前景中待识别的字符串切割成一个个的待识别字符；将待识别字符的HOG描述子作为训练后的判别模型的输入参数进行字符识别，将识别数据发送至上位机，判别模型的训练样本由字符切割后的样本字符以一度为步长分别进行左右各转动n次得到样本集样本；提取每个样本的HOG描述子，将最终得到一个描述子集作为训练样本来求SVM的判别模型。本发明方法不需要根据设备厂商协议去解析和集成数据，可以自动采集集成数据。

Description

嵌入式医疗数据图像识别及集成方法

技术领域

本发明涉及一种数据图像识别及集成方法，尤其是涉及一种嵌入式医疗数据图像识别及集成方法，属于模式识别、图像处理领域。

背景技术

随着医疗信息化水平的逐渐提高，医院设备错综复杂，接口不一。如果没有设备厂商的协议，部分信息化厂商也无法去解析数据。由于医疗器械接口不一、部分设备陈旧导致的数据集成困难，使得医护人员必需定时得查看设备数据并手工填写。

发明内容

针对现有技术的不足，本发明的目的是提供一种嵌入式医疗数据图像识别及集成方法，解决不同厂商的医疗设备数据接口不一难以自动采集集成数据的问题。

本发明技术方案如下：一种嵌入式医疗数据图像识别及集成方法，依次包括以下步骤：S1、由摄像头采集医疗数据图像，对采集的医疗数据图像进行预处理；

S2、字符切割：将预处理的医疗数据图像的前景与背景分割开，再将前景中待识别的字符串切割成一个个的待识别字符；

S3、将待识别字符的HOG描述子作为训练后的判别模型的输入参数进行字符识别；

S4、将字符识别数据发送至上位机，

所述训练后的判别模型通过以下步骤进行训练：

S101、对采集的医疗数据图像进行预处理；

S102、字符切割：按阈值i将预处理的医疗数据图像前景与背景分割开，再将前景中待识别的字符串切割成一个个的样本字符，所述样本字符为0～9共10个字符，所述i取不同的值m次，共获得10m个样本字符；

S103、对样本字符以一度为步长分别进行左右各转动n次，得到20*m*n个样本；

S104、提取每个样本的HOG描述子，将最终得到一个描述子集作为训练样本来求SVM的判别模型。

进一步的，所述待识别字符的HOG描述子以及样本的HOG描述子通过以下方法得到：对图像进行网格化，在每个单元格内利用梯度方向直方图统计梯度信息，每四个单元格为一块，在块内四个单元格内像素点进行加权投影得到4*9共36维的特征矢量，最终图像内所有块内特征矢量集合即为HOG描述子。

进一步的，所述S1和S101的对采集的医疗数据图像进行预处理是对医疗数据图像进行倾斜校正，所述倾斜校正包括以下步骤：

S301、应用canny算子进行边缘检测；

S302、计算倾斜角，通过霍夫变换公式将图像空间中像素点变换到检测参数空间中，参数空间中一个点还原到图像空间中即为一条直线，图像空间中每个像素点，经过变换公式得到一条在参数空间中的曲线，同一条直线上的点在参数空间中的变换曲线相交于一点，在参数空间里统计每个位置上曲线相交次数，相交次数最多的位置在还原后的图中也就是最长的一条直线，由该直线的斜率获得倾斜角；

S303、检测出倾斜角后进行空间坐标变换和插值运算对图像进行旋转来完成倾斜校正。

进一步的，所述字符切割包括以下步骤：

S401、二值化，首先将图片灰度化，灰度图可以分为包含待识别字符串的前景和不包含待识别字符串的背景，跟据类间最大方差准则确定二值化阈值；

S402、形态学处理，通过腐蚀运算消除边界点，使边界向内收缩；

S403、垂直投影，对经过形态学处理的二值图进行水平方向上的投影，据投影图特征将字符串分割成一个个字符。

优选的，所述n不小于20。

本发明所提供的技术方案的优点在于：通过高清摄像头抓取设备屏幕图像，通过封装在树莓派芯片中的算法进行数据识别，然后将数据通过有线或无线的方式传输至数据采集平台分类存档，不需要根据设备厂商协议去解析和集成数据。

附图说明

图1是本发明方法的流程图。

图2是本发明的逻辑结构图。

图3是自动输液器显示器屏幕灰度图。

图4是八邻域点示意图。

图5是Canny算子边缘检测效果图。

图6是Hough变换示意图。

图7是图像几何变换中插值方法示意图。

图8是本发明方法中二值化图片形态学处理效果图。

图9是垂直投影效果图。

图10是特征提取中块的组成结构示意图。

图11是特征提取中二线性插值示意图。

图12是特征提取中梯度矢量相角空间插值示意图。

具体实施方式

下面结合实施例对本发明作进一步说明，但不作为对本发明的限定。

将树莓派作为下位机布置在医疗器械上，调整摄像头安装角度与医疗器械屏幕平行，角度误差不得超过二十度。加电后下位机自动执行数据采集程序并基于Socket发出包含字符识别结果的Http请求，上位机解析接收到的请求并对请求数据进行存储和显示。加电后的下位机同时开通了MJPG-STREAMER服务，在上位机可以实时查看当前正在处理的视频帧和查看以往视频流。

请结合图1至图3，由于在下位机的布置中倾斜角的存在，故此首先对医疗器械显示屏幕图片进行倾斜校正。对图像做Hough变换时，要将图像中每一点经Hough变换公式映射到参数空间中的话运算量较大，且做Hough变换目的是检测图像中的直线，图像中存在的直线属于边缘信息，故在做Hough变换检测直线前先对图像进行边缘检测得到图像I。在I中找到一条最长的直线L，参照L的斜率对屏幕图像作几何旋转变换和插值运算。具体包括以下步骤：

(1)边缘检测，具体包括以下步骤：

1)构造高斯核

2)归一化高斯核

3)以高斯核为模板与灰度图f中每个像素作卷积运算，经过高斯平滑处理后得到图片I降低噪声的影响。

I(x,y)＝f(x,y)*Kernel

4)图片I分别与水平梯度算子和垂直梯度算子作卷积运算，求得梯度G_x、G_y

水平梯度算子：

垂直梯度算子：

5)计算梯度矢量幅值M和梯度矢量相角θ

6)抑制非极大值。如图4，g1、g2、g3、g4是属于C点八邻域点中的四个点，以C点梯度矢量相角为斜率的直线L1交矩形邻域框于t1、t2。由于夹在g1、g2和g3、g4间且位梯度方向上的两个点t1、t2是亚像素，跟据t1、t2与g1、g2和g3、g4的距离关系插值计算t1、t2的梯度幅值。跟据距离关系计算权重

计算t1、t2的梯度幅值M(t1)、M(t2)

M(t1)＝(1-W_t1)*M(g2)+W_t1*M(g1)

M(t2)＝(1-W_t2)*M(g3)+W_t2*M(g4)

如果M(C)>M_t1&&M(C)>M_t2说明该点为梯度方向上的最大值则置相应标签值为1表明可能是边缘点，否则置为0表明不是边缘点。

7)计算双阈值。创建以梯度幅值为横坐标、以像素点个数为纵坐标的直方图，遍历图像I，如果像素点相应标签值为1则跟据的梯度幅值投影到相应直方图通道并在纵坐标上加一，求直方图中360个盒子的高度累加和N即可能边缘点点数，从左向右累加直方图盒子高度H，当H<0.7N时记录下当前盒子的梯度幅值n，HThreshold＝n，LThreshold＝0.5n

8)边缘检测。遍历图像，如果当前像素点标签值为1且像素点值大于HThreshold，则在像素点八邻域内找到大于LThreshold的像素点，找到那一点后则继续在其八邻域内查找大于LThreshold的像素点，如此递归查找从而形成闭合轮廓，如图5。

(2)计算倾斜角，由于在下位机的布置中倾斜角的存在，故此首先对医疗器械显示屏幕图片进行倾斜校正。通过霍夫变换公式将图像空间点像素点变换到检测参数空间中，参数空间中一个点还原到图像空间中即为一条直线。图像空间中每个像素点，经过变换公式得到一条在参数空间中的曲线，同一条直线上的点在参数空间中的变换曲线相交于一点。在参数空间里统计每个位置上曲线相交次数，相交次数最多的位置(x,y)在还原后的图中也就是最长的一条直线，根据此直线的斜率对图片进行倾斜校正。具体包括以下步骤：

1)遍历以图像左上角为原点，宽(宽度：W)为横坐标、高(高度：H)纵坐标的直角坐标系

2)每个像素点通过霍夫变换公式得到一条在参数空间内的变换曲线，如图6ρ＝xcosθ+ysinθθ＝0,1,2…π

3)统计参数空间里，对构成变换曲线的点集中每个点相应计数器加一。

4)完成对图像的霍夫变换后，找到参数空间中计数器最大值所对应的点，该点还原到直角坐标系是一条直线且长度是最长的。

5)若最大值点的参数

则将图像逆时针旋转

若参数

则将图像顺时针旋转

(3)几何变换。检测出倾斜角后再对图像进行旋转来完成倾斜校正。图像旋转这一几何变换分为空间坐标变换和插值运算两个步骤。具体包括以下步骤：

1)计算原图Src旋转θ角后新图Dst的尺寸

W′＝W*cosα+H*sinα

H′＝W*sinα+H*cosα

2)新建矩阵Dst(W′,H′)并初始化每个元素的值为零

3)将Src复制到Dst中心点并且与Dst中心点对齐，从左上角开始遍历Src中像素点

4)计算

以图像中心点为原点进行旋转变换

5)I(x′,y′)左乘逆变换矩阵M^-1使I(x′,y′)顺时针旋转θ角得到新坐标I″(x″,y″)；要使I(x′,y′)逆时针旋转θ角则左乘变化矩阵M

6)计算在Dst中的坐标

7)插值运算。由于旋转变换后的坐标存在小数，而图像是离散的，如图7，旋转后的图片里的数字8中出现了空洞，故此利用最近邻元插值法来填充空洞，遍历Dst，如果Dst(i,j)＝＝0且Dst(i,j-1)！＝0与Dst(i,j+1)！＝0，则Dst(i,j)＝Dst(i,j-1)。

完成对屏幕图像的倾斜校正后，手动选择待识别字符串并指明字符串含义以便识别结果的存储和显示。为了便于字符的识别，还要将字符串分割成为一个个的字符。具体包括以下步骤：

(1)二值化，选择能使前景类和背景类间方差最大的像素值N作为二值化阈值来区分前景和前景。具体包括以下步骤：

1)对彩色图RGB三分量以不同的权值0.3、0.59、0.11进行加权平均。得到一张亮度在0～255的灰度图

2)统计灰度图中每个像素的个数N_ii＝0,1,…255

3)计算每个像素在灰度图中所点的比例

i＝0,1,..,256 M＝width*height

4)遍历整个i＝0,1,…255

5)以i为阈值将灰度图分成像素值小于i的背景部份和像素值大于i的前景部份。分别统计背景、前景类概率w₀w₁，分别统计前景、背景类的像素值之和S₀S₁。

计算背景、前景类亮度均值u₀、u₁

计算灰度图亮度均值：U＝u₀+u₁

计算背景类、前景间方差σ＝w₀*(U-u₀)²+w₁*(U-u₁)²

计录当前阈值T＝i

6)结束遍历后，以最大方差所对应的阀值T来做二值化操作。将小于T像素值设置为0，反之则设置为255。

(2)形态学处理。如图8所示，在二值图的边界可能存在粘连区域，对二值图做腐蚀运算能使粘连的区域向内收缩。具体包括以下步骤：

1)定义一个3*3的模板I，每个元素的值为1。

2)为二值图T加上宽度为一个像素的白色边框

3)将模板中心位置与原未加边框图像的左上角齐

4)将模板内元素与其覆盖的二值图像局部区域内像素作相应与运算，如果与运结果全1，则模板左上角在二值图中相应位置处亮度为255，否则为零。

5)将模板向右滑动一个像素，如果模板中心到达原图右边界则向下滑动一个像素再向左滑动一个像素；如果模板中心到达原图左边界则向下滑动一个像素再向右滑动一个像素。

(3)垂直投影。具体步骤如下：

1)统计每列像素值为255的像素点个数N

2)N>0，记录当前横坐S；N<0，记录当前横坐标E

3)计算字符宽度W＝E-S，若字符宽度W>字符宽度阈值T，则发生字符粘连。实验结果显示字符粘连处的N值在局部区域W内是最小的。据此可以将粘连的字符分割开。如果字符间距大于字符间距阈值T，则在两个字符间存在小数点如图9。

完成屏幕图像的倾斜校正、字符分割预处理后，以HOG作为字符特征和把SVM作为分类器来实现字符识别。生成40张不同角度、20张阈值不同的在0～9间的40*20*10共8000张数字字符二值图作为样本集，并对每个样本提取HOG描述子，将最终得到一个描述子集作为训练样本来求SVM的判别模型，把待识别字符的HOG描述子作为判别模型的输入参数来进行字符识别。

(1)采集训练样本，由于HOG不具旋转不变性，使0～9每个字符分别向右、向左以一度为步长旋转20次，得到10*40共400个样本

(2)特征提取。对图像进行网格化，在每个单元格内利用梯度方向直方图统计梯度信息，每四个单元格为一块，在块内四个单元格内像素点进行加权投影得到4*9共36维的特征矢量，最终图像内所有块内特征矢量集合即为HOG描述子，每个样本图像用一个描述子来表示，把描述子集作为训练样本。具体步骤如下：

1)由于样本集中每张图片大小为28*28，用7*7大小的不重叠的cell单元格将图片网格化。

2)为每个单元格构建梯度方向直方图，计算单元格内每个像素的梯度矢量，其矢量相角在0～180度间，用有9个通道且每个通道宽度为20度的直方图对每个像素梯度幅值的梯度矢量相角相应通道进行加权投影来统计单元格内的梯度信息，以生成局部图像区域的特征描述向量。

3)三线性插值法实现加权运算

为减少在直方图通道和cell单元格边界处内的混叠现象，在x方向、y方向、梯度矢量相角这三个参数空间中进行三线性插值。

如图10，4个cell单元格组成一个块，在统计块中梯度信息时每个cell单元格内像素对块内其他cell单元格有贡献。

落在F、G、J、K区域内像素对块内四个cell单元格都有项献

落在E、H、I、L区域内像素对所在cell单元格的上、下且在块内的cell单元格有贡献

落在B、C、N、O区域内像素对所在cell单元格的左、右且在块内的cell单元格有贡献

落在A、B、M、P区域内像素只对所在cell单元格有贡献

如图11，Q₁₁、Q₁₂、Q₂₁、Q₂₂分别为块内cell3、cell0、cell2、cell1的中心点。

跟据像素点落在的区域确定它对哪些cell单元格有贡献，权值分别为f(Q₁₁)、f(Q₁₂)、f(Q₂₁)、f(Q₂₂)。

完成x方向、y方向的二线性插值后，还要根据梯度矢量相角进行插值。

如图12，以梯度直方图每个通道中心处角度为起点画9条过圆点的直线将圆进行分割，夹在两条直线间的梯度矢量对于直线代表通道的权值与矢量和通道中心线间的夹角大小有关。如果恰好梯度矢量相角值为通道中心处的值则通道权值为1，否则梯度矢量对于相邻两个通道的权值分别为f(A₁)、f(A₂)。

f(A₂)＝1-f(A₁)

将在图像空间中求得的权值和在梯度矢量相角空间求得的权值相乘得到的权值就是最终用来投影的权值。

(3)归一化block，图像中光照的变化会导致梯度较大范围的变化，为此把4个上、下、左、右相邻的cell单元格组合组一个block，对整个block中4*9维的特征向量进行归一化。具体包括如下步骤：

1)对36维特征向量作二阶范数归一化

2)将V中大于0.2的v_i′截断为0.2，再做一次二阶范数归一化

将图片中所有block内归一化后特征向量组合成可以表征整张图片的HOG描述子。

字符识别，把样本集分为0、1、2、3、4、5、6、7、8、9这十组数据，提取样本标签和样本特征集作训练数据，采用RBF核来训练分类器，利用最终得到的分类模型预测未知数据的类别即字符识别。

Claims (3)

1.一种嵌入式医疗数据图像识别及集成方法，其特征在于，依次包括以下步骤：

S1、由摄像头采集医疗数据图像，对采集的医疗数据图像进行预处理；

S2、字符切割：将预处理的医疗数据图像的前景与背景分割开，再将前景中待识别的字符串切割成一个个的待识别字符；

S3、将待识别字符的HOG描述子作为训练后的判别模型的输入参数进行字符识别；

S4、将字符识别数据发送至上位机，

所述训练后的判别模型通过以下步骤进行训练：

S101、对采集的医疗数据图像进行预处理；

S102、字符切割：按阈值i将预处理的医疗数据图像前景与背景分割开，再将前景中待识别的字符串切割成一个个的样本字符，所述样本字符为0～9共10个字符，所述i取不同的值m次，共获得10m个样本字符；

S103、对样本字符以一度为步长分别进行左右各转动n次，得到20*m*n个样本；

S104、提取每个样本的HOG描述子，将最终得到一个描述子集作为训练样本来求SVM的判别模型；

所述待识别字符的HOG描述子以及样本的HOG描述子通过以下方法得到：对图像进行网格化，在每个单元格内利用梯度方向直方图统计梯度信息，每四个单元格为一块，在块内四个单元格内像素点进行加权投影得到4*9共36维的特征矢量，最终图像内所有块内特征矢量集合即为HOG描述子；

所述字符切割包括以下步骤：

S401、二值化，首先将图片灰度化，灰度图可以分为包含待识别字符串的前景和不包含待识别字符串的背景，跟据类间最大方差准则确定二值化阈值；

S402、形态学处理，通过腐蚀运算消除边界点，使边界向内收缩；

S403、垂直投影，对经过形态学处理的二值图进行水平方向上的投影，据投影图特征将字符串分割成一个个字符。

2.根据权利要求1所述的嵌入式医疗数据图像识别及集成方法，其特征在于，所述S1和S101的对采集的医疗数据图像进行预处理是对医疗数据图像进行倾斜校正，所述倾斜校正包括以下步骤：

S301、应用canny算子进行边缘检测；

S302、计算倾斜角，通过霍夫变换公式将图像空间中像素点变换到检测参数空间中，参数空间中一个点还原到图像空间中即为一条直线，图像空间中每个像素点，经过变换公式得到一条在参数空间中的曲线，同一条直线上的点在参数空间中的变换曲线相交于一点，在参数空间里统计每个位置上曲线相交次数，相交次数最多的位置在还原后的图中也就是最长的一条直线，由该直线的斜率获得倾斜角；

S303、检测出倾斜角后进行空间坐标变换和插值运算对图像进行旋转来完成倾斜校正。

3.根据权利要求1所述的嵌入式医疗数据图像识别及集成方法，其特征在于，所述n不小于20。

Images