CN109190542B

CN109190542B - 基于图像的人体边框识别方法

Info

Publication number: CN109190542B
Application number: CN201810976044.6A
Authority: CN
Inventors: 周鑫; 陶澍; 闫旭
Original assignee: Chongqing Ivreal Technology Co ltd
Current assignee: Chongqing Ivreal Technology Co ltd
Priority date: 2018-08-24
Filing date: 2018-08-24
Publication date: 2021-08-13
Anticipated expiration: 2038-08-24
Also published as: CN109190542A

Abstract

本发明提供了一种基于图像的人体边框识别方法，包括如下步骤：S1、通过图像采集设备采集得到采集图像；S2、外部图像处理设备接收图像采集设备采集的视频流，并对视频流内中每帧图像进行抠像处理；S3、根据抠像图，外部图像处理设备将视频流内中每帧图像中除人物外所有背景像素点的透明通道A均等于0；S4、外部图像处理设备将视频流内中每帧图像形成为透明背景人物图像；S5、CPU接收外部图像处理设备的透明背景人物图像，并将透明背景人物图像传送给GPU，GPU根据每幅透明背景人物图像中所有像素的透明通道A值计算每幅透明背景人物图像的人物边框。基于图像的人体边框识别方法解决现有技术中现有技术中无法快速识别出来人物图像中人物边框的问题。

Description

基于图像的人体边框识别方法

技术领域

本发明涉及图像识别技术，具体涉及一种基于图像的人体边框识别方法。

背景技术

中国专利公开了一种申请号为CN201610056618.9的高准确率的基于卷积神经网络的人体多部位识别方法，该方法包括：充分利用了图像的深度信息，极大的提高了图像的识别准确率；其次，基于RCNN方法利用Selective Search算法形成候选边框，比滑动窗口方法更能适应深度卷积网络下定位信息的准确性；进一步的，通过将卷积神经网络的最后一层Softmax层替换成SVM，最终获得了基于分类的得分；另外，获得各个候选边框的相对于各个类别的SVM得分后，通过添加基于像素的位置范围约束、K近邻约束和混合高斯模型最终形成基于整体理解的候选边框组合，虽然该方法实现了在图像中识别人体边框，但是该方法存在的缺点为：

由于在虚拟实景中，需要将真实的人体加入到一个场景中得到一个虚拟实景，以实现身临其境的感觉，因此并不需要人体各个部位边缘的清晰识别，而运用上述方法提高了复杂度，不利于快速计算，再加上，如图1所示，将人体实时照片加入到一个场景中，需要人体实时照片脚底着落在场景底面上，随意将人体数据加入到场景中导致出现人物漂浮等现象，同时人物各个动作变化也会使得人物头顶到脚底之间距离变化，为了使得虚拟实景更加形象化，使得人体在动作变化后，能够真实将人体加入到一个场景中，需要在抠像出人体后识别出人体头顶点a1、脚底低点a2、左边点a3以及右边点a4均落在一个人物边框里面，那么识别整个人物边框的左上角点(x1，y1)和右上角点(x2，y2)就是急需解决的问题。

发明内容

本发明要提供一种基于图像的人体边框识别方法，解决现有技术中现有技术中无法快速识别出来人物图像中人物边框的问题。

为实现上述目的，本发明采用了如下的技术方案：

一种基于图像的人体边框识别方法，包括如下步骤：

S1、通过图像采集设备采集得到采集图像；

S2、外部图像处理设备接收图像采集设备采集的视频流，并对视频流内中每帧图像进行抠像处理，以使采集图像中背景去除仅留人物得到抠像图；

S3、根据抠像图，外部图像处理设备将视频流内中每帧图像中除人物外所有背景像素点的透明通道A均等于0；

S4、外部图像处理设备将视频流内中每帧图像形成为透明背景人物图像；

S5、CPU接收外部图像处理设备的透明背景人物图像，并将透明背景人物图像传送给GPU，GPU根据每幅透明背景人物图像中所有像素的透明通道A值计算每幅透明背景人物图像的人物边框。

相比于现有技术，本发明具有如下有益效果：

抠像技术属于现有技术，抠像技术可以将人体边缘识别出现，然后将人体边缘外的背景像素的透明通道A均设置为0，方便后续计算，简化了计算，通过识别人物边框，方便了后续将人物加入到场景中，避免了人物脚底不能着地的现象出现，方便将人物脚底与场景中地面对齐，使得得到的虚拟实景更加真实。

本发明的其它优点、目标和特征将部分通过下面的说明体现，部分还将通过对本发明的研究和实践而为本领域的技术人员所理解。

附图说明

图1为带有人物边框的透明背景人物图像的示意图。

具体实施方式

为了使本发明实现的技术手段、创作特征、达成目的与作用更加清楚及易于了解，下面结合附图和具体实施方式对本发明作进一步阐述：

本发明提出了一种基于图像的人体边框识别方法，包括如下步骤：

S1、通过图像采集设备采集得到采集图像；

那么将所有人物边缘像素点的坐标来比较的话，计算量加大，因此采用神经网络卷积的方法，以进一步提高计算出人物边框的速度虽然有一定误差，但是这个误差是人眼不能识别的，将每幅透明背景人物图像分成一块一块的，在依次计算每个区域小块与卷积用像素块卷积，通过判断透明度来计算是否属于人物内的点，步骤S5中GPU出计算每幅透明背景人物图像的人物边框包括以下步骤：

S51、自定义查找卷积并初始化：

S511、自定义一个N*N的卷积用像素块(N*N代表的大小)；

S512、设卷积用像素块中每个像素的透明通道A等于1(透明通道A表示了透明度，由于背景已经设置为0，那么人物内透明度大多数为1，有的甚至更大，由于人物边缘虚化，因此人物边缘有的在0～1范围内)；

S514、定义每幅透明背景人物图像中人物边框的左上角点坐标为(x1,y1)以及右下角点坐标为(x2,y3)；

S52、按照预定规则依次从每幅透明背景任务图像中取出区域小块，区域小块的大小也为N*N，设区域小块的左上角坐标为(x1’,y1’)以及右下角坐标为(x1’+N,y1’-N)，仅第一次取出区域小块时首先命x1＝x1’、x2＝x1’+N、y1＝y1’以及y2＝y1’-N(将x1、x2、y1以及y2初始化)，每次取出区域小块均进行如下计算：

S520、提取区域小块中所有像素的透明通道A；

S522、将区域小块中所有像素的透明通道A与卷积用像素块中所有像素的透明通道A进行卷积，得到卷积和SUM；

S523、设定一个偏差系数bias，bias的取值范围为0.2～1.0；

S524、计算SUM+bias＝w；(由于人物边缘虚化，因此需要设计偏差系数bias来弥补虚化后，而虚化的边缘的左上角点也是需要的)

S525、判断w是否大于等于N*N，若是，则判断查找成功并进行步骤S526；若否，则判断不成功则进行取出下一区域小块均进行从S520重新开始执行；(SUM代表的是区域小块内所有像素通道A相加得到的值，w是将虚化的点弥补成人物的点，使得判断时，能够将该区域小块整体落入到人物所在范围内，那么该区域小块左上角点接近目标寻找的(x1,y1)，区域小块右下角点接近目标寻找的(x2,y2)，仅需要将该区域小块左上角点和右下角点来更新(x1,y1)以及(x2,y2)即可，这样就大大简化了计算)

S526、判断x1是否小于等于x1’，若是则不更新x1，若否则命x1＝x1’；判断x2是否大于等于x1’+N，若是则不更新x2，若否则命x2＝x1’+N；判断y1是否大于等于y1’，若是则不更新y1，若否则命y1＝y1’；判断y2是否小于等于y1’-N，若是则不更新y2，若否则命y2＝y1’-N；

S527、当所有区域小块均被取出时，计算结束；当有区域小块未被取出时，取出下一区域小块均进行从S520重新开始执行。

为了设计简单的预定规则，步骤S52中从每幅透明背景任务图像中取出区域小块遵循的预定规则(当然值得注意的是，预定规则还可以是：“从左至右，从下至上”或“从右至左，从下至上”或“从右至左，从上至下”等)为：从左至右，从上至下，每次区域小块左上角点移动的步长为L，L为整数；

设每幅透明背景人物图像的大小为M1*M2，则需要将每幅透明背景人物图像划分为(M1/L)*(M2/L)个区域小块，其中，M1为L的倍数，M2为L的倍数；

那么，第一次取出的区域小块左上角点坐标为(0,M2)以及右下角点坐标为(N,M2-N)，x1＝0、x2＝N、y1＝M1以及y2＝M1-N；

定义当前取出区域小块的次数为第j次，则第j次取出区域小块左上角点坐标为([H1(j*L/M1)-1]L,M2-H2(j*L/M1)*N)，H1(j*L/M1)表示取j*L/M1的余数，H2(j*L/M1)表示取小于等于j*L/M1的第一个整数；(j*L代表了移动总长度，不管循环几次，区域小块肯定是j*L/M1的余数，小于等于j*L/M1的第一个整数表示Y轴方向上的下移次数，下一次就减少N，一般L都取几个像素点的长度)

依次取出区域小块均进行如下计算：

S520’、命j＝1

S521’、提取区域小块中所有像素的透明通道A；

S522’、将区域小块中所有像素的透明通道A与卷积用像素块中所有像素的透明通道A进行卷积，得到卷积和SUM；

S523’、设定一个偏差系数bias，bias的取值范围为0.2～1.0；

S524’、计算SUM+bias＝w；

S525’、判断w是否大于等于N*N，若是，则判断查找成功并进行步骤S526；若否，则判断不成功则进行取出下一区域小块均进行从S520重新开始执行；

S526’、判断x1是否小于等于x1’，若是则不更新x1，若否则命x1＝x1’；判断x2是否大于等于x1’+N，若是则不更新x2，若否则命x2＝x1’+N；判断y1是否大于等于y1’，若是则不更新y1，若否则命y1＝y1’；判断y2是否小于等于y1’-N，若是则不更新y2，若否则命y2＝y1’-N；

S527’、判断j是否大于(M1/L)*(M2/L)，若是则进行步骤S528’；若否则命j＝j+1，并返回重新开始执行步骤S521’。

S528’、计算结束。

最后说明的是，以上实施例仅用以说明本发明的技术方案而非限制，尽管参照较佳实施例对本发明进行了详细说明，本领域的普通技术人员应当理解，可以对本发明的技术方案进行修改或者等同替换，而不脱离本发明技术方案的宗旨和范围，其均应涵盖在本发明的权利要求范围当中。

Claims

1.一种基于图像的人体边框识别方法，其特征在于，包括如下步骤：

S1、通过图像采集设备采集得到采集图像；

2.根据权利要求1所述的基于图像的人体边框识别方法，其特征在于，步骤S5中GPU计算每幅透明背景人物图像的人物边框包括以下步骤：

S51、自定义查找卷积并初始化：

S511、自定义一个N*N的卷积用像素块；

S512、设卷积用像素块中每个像素的透明通道A等于1；

S52、按照预定规则依次从每幅透明背景任务图像中取出区域小块，区域小块的大小也为N*N，设区域小块的左上角坐标为(x1’,y1’)以及右下角坐标为(x1’+N,y1’-N)，仅第一次取出区域小块时首先命x1＝x1’、x2＝x1’+N、y1＝y1’以及y2＝y1’-N，每次取出区域小块均进行如下计算：

S520、提取区域小块中所有像素的透明通道A；

S523、设定一个偏差系数bias，bias的取值范围为0.2～1.0；

S524、计算SUM+bias＝w；

S525、判断w是否大于等于N*N，若是，则判断查找成功并进行步骤S526；若否，则判断不成功则进行取出下一区域小块均进行从S520重新开始执行；

S526、判断x1是否小于等于x1’，若是则不更新x1，若否则命x1＝x1’；判断x2 是否大于等于x1’+N，若是则不更新x2，若否则命x2＝x1’+N；判断y1是否大于等于y1’，若是则不更新y1，若否则命y1＝y1’；判断y2是否小于等于y1’-N，若是则不更新y2，若否则命y2＝y1’-N；

3.根据权利要求2所述的基于图像的人体边框识别方法，其特征在于，步骤S52中从每幅透明背景任务图像中取出区域小块遵循的预定规则为：从左至右，从上至下，每次区域小块左上角点移动的步长为L，L为整数；

定义当前取出区域小块的次数为第j次，则第j次取出区域小块左上角点坐标为([H1(j*L/M1)-1]L,M2-H2(j*L/M1)*N)，H1(j*L/M1)表示取j*L/M1的余数，H2(j*L/M1)表示取小于等于j*L/M1的第一个整数；

依次取出区域小块均进行如下计算：

S520’、命j＝1

S521’、提取区域小块中所有像素的透明通道A；

S523’、设定一个偏差系数bias，bias的取值范围为0.2～1.0；

S524’、计算SUM+bias＝w；

S527’、判断j是否大于(M1/L)*(M2/L)，若是则进行步骤S528’；若否则命j＝j+1，并返回重新开始执行步骤S521’；

S528’、计算结束。