CN110705391A - 一种基于人体图像识别方法的座位分配系统 - Google Patents

Abstract

本发明公开了一种基于人体图像识别方法的座位分配系统，包括：面部图像获取模块、人体图像获取模块、面部图像预处理模块、人体图像预处理模块、面部图像识别模块、人体图像识别模块、账户存储模块和总控系统。本发明分为四个步骤：图像获取模块采集图像；将采集到的人体和面部图像在预处理模块中进行预处理；将预处理后的人体和面部图像分别发送给识别模块进行识别；总控系统判断识别模块的识别结果，将识别结果与预设的关于特殊人士的识别信息相比较，按结果分配座位，若识别结果与账户存储模块中的信息一致则进行账户扣款。本发明基于人体图像识别方法，实现了对乘客面部和人体部分的准确识别，保障对座位有需求的特殊人士能够即时得到座位。

Description

一种基于人体图像识别方法的座位分配系统

技术领域

本发明涉及图像处理技术领域，具体而言涉及一种基于人体图像识别方法的座位分配系统。

背景技术

在现今社会的公共交通设备中，当遇到对座椅有需求的特殊人士时通常是公共交通设备的司机广播提醒对座椅没有需求的乘客给对座椅有需求的特殊人士让座，但当要乘坐公共交通设备的人员较多时，司机可能会因看不见对座椅有需求的特殊人士而无法及时进行广播提醒，而此时也没有对座椅没有需求的乘客主动给特殊人士让座，这便造成特殊人士可能会在之后车辆行驶的过程中造成人身损伤。

针对上述问题在现有技术中有关于安排座位给对座位需求的特殊人士的解决方案，如中国专利申请号为201711189890.5的专利申请案，公开了一种智能分配座椅的方法、相关装置及计算机可读存储介质，采用图像识别技术为特殊人士进行座位安排，但该专利没有详细说明图像识别的过程，即不能保证在实施过程中能够通过图像识别准确识别有座位需求的乘客。

发明内容

本发明的目的是提出一种基于人体图像识别方法的座位分配系统，以解决对座椅有需求的特殊人士在乘坐公共交通设备时不能及时得到座椅的问题。

为解决上述问题，本发明提供一种人体图像识别方法，包括：

步骤S1：获取乘客面部图像及正面的人体图像；

步骤S2：对所述面部图像及所述人体图像分别进行预处理；

步骤S3：将步骤S2所述面部图像和步骤S2所述人体图像分别投入到各自预先训练好的组合分类器中，所述面部图像组合分类器和所述人体图像组合分类器输出将其识别结果发送给总控系统；

步骤S4：所述总控系统将所述面部图像和所述人体图像的识别结果分别与预设特殊人士的识别信息进行比较判断，得到该名乘客是否属于特殊人士的判断结果，并根据所述判断结果进行座位分配；

所述组合分类器中以步骤S2所述面部图像或人体图像作为输入，多个分类器同时识别所述图像，基于BP神经网络的并联融合算法利用各分类器的度量级输出信息和模型的决策误差自动调整各分类器与类别间的权值，输出所述图像的识别结果。

示例性地，所述乘客面部图像的预处理包括：

将所述乘客面部图像进行光照补偿，增加图像对比度；

将所述进行光照补偿后的面部图像进行Gamma校正，Gamma校正公式为

其中γ为gamma指数。

示例性地，所述人体图像的预处理包括：

将所述人体图像归一化到预设的尺寸大小。

示例性地，所述组合分类器的训练过程为：使用不同的训练集分别训练所述不同类型的分类器，完成各分类器的训练后将所述训练集整合对融合规则进行训练，使所述融合算法能够通过自身决策误差调整所述各分类器间与类别间的权值。

一种车内座位分配系统，包括：

面部图像获取模块，用于采集乘客面部图像；

人体图像获取模块，用于采集乘客正面人体图像；

面部图像预处理模块，用于对所述面部图像进行预处理；

人体图像预处理模块，用于对所述人体图像进行预处理；

面部图像识别模块，用于将所述面部图像进行预处理后投入到面部图像组合分类器中，输出所述面部图像的识别结果；

人体图像识别模块，用于将所述人体图像进行预处理后投入到人体图像组合分类器中，输出所述人体图像的识别结果；

账户存储模块，用于存储账户信息，账户信息包括乘客身份信息以及账户余额；

总控系统，用于根据所述面部图像识别模块和人体图像识别模块输出的识别结果来判断乘客的年龄、性别和体型信息，以及判断所述年龄、性别和体型信息是否与所述账户存储模块中的所述乘客身份信息一致，若一致则进行所述账户余额的扣款。

与现有技术相比，本发明的有益效果为：

本发明所提供的基于人体图像识别的车内座位分配系统，通过面部组合分类器和人体组合分类器分别识别乘客的面部及侧面人体图像，其通过神经网络调整多个分类器的权重，能够准确识别图像的所属类别，从而区分出老人、孕妇、幼儿等特殊人士，以便能够为他们优先分配座位，相比较于现有技术提高了对特殊人士的识别准确度，做到精确的座位分配。

附图说明

图1为本发明的方法流程图；

图2为本发明的组合分类器结构图。

具体实施方式

为了使本技术领域的人员更好地理解本发明方案，下面结合附图和具体实施方式对本发明作进一步的详细说明。显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

本发明所提供的一种基于人体图像识别的车内座位分配系统的一种具体实施方式的流程图如图1所示，该方法包括：

(1)步骤一：通过面部图像获取模块和人体图像获取模块获取乘客面部图像和正面人体图像。

面部图像获取模块和人体图像获取模块均被安装在公共交通设备中的上车位置，其中面部图像获取模块为高清摄像头，人体图像获取模块为3D深度摄像头，3D深度摄像头相比普通摄像头可通过距离信息获取物体之间更加丰富的位置关系，及区分前景和后景，此外，深度信息可以完成对目标图像的识别与追踪。本实例中3D深度摄像头采用Kinect传感器，Kinect传感器可以捕获到1.2-3.5m范围内分辨率为11位的深度数据。当乘客进入图像采集模块的识别范围时，面部图像获取模块采集乘客面部图像，人体图像获取模块采集乘客侧面人体图像。

(2)步骤二：分别对乘客面部图像和乘客侧面人体图像进行预处理。

乘客侧面人体图像的预处理过程包括：

1.将乘客面部图像进行光照补偿，增加图像对比度，使图像的细节更加清楚，以减弱光线和光照强度的影响，同时去除图像的色彩信息，有利于加快图像的处理速度，更好地实现实时性。为了可以更有效地去除不同场景下的光照差异，需将人脸图像经Gamma矫正，Gamma矫正的表达式为：

其中γ为Gamma指数，Gamma矫正是对输入图像灰度值进行的非线性操作，使输出图像与输入图像灰度值呈指数关系。当Gamma值小于1时，图像的整体亮度值得到提升，同时低灰度处的对比度得到增加，更利于分辨低灰度值时的图像细节；

2.将包含有人脸部分的图像几何归一化为227*227大小的图像。

乘客侧面人体图像的预处理过程包括：

将采集到的乘客人体归一化到120*96的尺寸大小。

(3)步骤三：分别在面部识别模块和人体识别模块中进行关于乘客的年龄、性别和体型的识别。

在面部识别模块和人体识别模块均由组合分类器构成，内部有多个分类器同时识别图像，之后有神经网络调整各分类器的权重，实现各分类器的融合，使识别结果准确度增加。本实例中选用朴素贝叶斯、K近邻和支持向量机三种分类器。

一般分类器的输出信息可分为三个等级：抽象级、排列级和度量级，抽象级输出为类标签或者类标签子集；排列级输出会将类级别或类标签根据一个内部规则排列起来，排在第一位的即为样本类别的首选；度量级输出会在给定样本个属性值时，样本属于每一个类别的概率或与概率相对应的某些值。朴素贝叶斯为度量级输出，K近邻为排列级输出，支持向量机为抽象级输出。

分类器输出度量级对融合分类器最有利，但并不是所有的分类器都像贝叶斯那样能直接输出度量级信息，因此有必要引入其他的计算和方法。

相似度用于计算排列级输出，本实例中为K近邻分类器，令d(X,i)表示X与K个近邻中属于类别C_i的所有样本的平均距离，即

(j＝1,2…，K_i；X_j是属于类别C_i的X的近邻；K_i是这些近邻的个数)，d(X,i₀)同样表示所有d(X,i)的最小值，那么输出有：

利用混淆矩阵处理抽象级输出，即支持向量机分类器，为了了解分类器的识别情况，需要先对分类器进行训练，然后利用测试数据集计算此分类器E在具体数据集上的混淆矩阵CE_M×N(M为类别数，由于存在拒识情况，所以N比M大1)混淆矩阵反应了此单分类器对样本集的识别情况，CE_ij表示分类器将类C_i中的样本识别成C_j的数量，若i＝j，则CE_ij为分类器正确识别类C_i中样本的数量，否则为错误识别的数量，那么对分类器E而言，所有样本被识别的结果为j＝E(X)的总数为N_j＝∑_iCE_ij。因此，在E的识别结果为j的条件下，样本来自C_i类的概率可以用条件概率表示为：

对于某个输入样本，单分类器对其有一个结果输出j，而利用上式可以得到此样本属于某个类别的条件概率。因此，进而可以在测试集的基础上建立一个与此分类器相关的后验分布矩阵W_N×M(M为类别数，N＝M+1)，W_ij表示在单分类器识别样本为类别C_i的前提下，样本实质上属于C_j的概率。这样，当分类器判别出新样本的类别后，可以用输出新样本属于各类别的后验概率的方式来模拟它真实属于某类别的概率。

朴素贝叶斯分类器能直接输出度量级信息。

本实例中的组合模型为三层神经网络结构，由输入层、中间层和输出层组成，它与单个神经网络的区别在于：输入层到中间层的数据不需要经过加权操作，因为它作为一个统一输入模式，在各单分类器中会得到相应的处理，中间层是一个个独立的单分类器，因此，他们的输出也不同于普通节点的单一输出，而是一个向量，同一中间层结点对输出层的不同结点净输出也不同，组合分类器结构如图2所示。输入层的n个结点对应样本集的n个特征，它把原始值直接输入到各分类器，中间层为L个不同类型的单分类器，每个分类器接受系统的统一输入模式，但对不同的输出层结点的输出是不同的，即它的输出是一个长度与类别数目相等的向量，分量大小为此单分类器判定样本属于对应类别的概率，这些概率值在预先设定规则下与权值进行运算，所得结果作为输出层的输入；输出层每个结点的输出是一个在[0,1]上的小数，它由这层的输入经过一个赋活函数计算所得，表示系统判定输入样本属于某类别的概率，它是组合分类器的最终输出，其中最接近1的那个分量对应着样本被预测的类别。

本实例中将数据集分为训练集和测试集两部分，其中训练集又分为L部分，分别用来训练L个单分类器，然后整个训练集用来训练组合分类器模型中中间层到输出层的权值，权值由输出层的实际输出组成的向量与期望输出向量(大小为M，有且仅有一个分量为1，其他为0)之间的差别来矫正，在训练组合模型的时候采用在线学习的方式，为了得到更精确的输出结果，可以进行许多个训练周期。

具体组合分类器的训练步骤为：

1.把样本总体分为训练集和测试集两部分，对训练集进一步细分为L组分别用来训练L个单分类器；确定K近邻中的K值，并计算出支持向量机的混淆矩阵和后验概率矩阵；

2.指定学习率k，初始化各权值w_ij和偏值u_j；

3.对训练集中的每个样本X；

4.根据相应的度量级信息计算方法分类器i在输入X的情况下对输出层结点j的输出O_ij，并计算输出层结点j的净输出I_j＝∑_iw_ij·O_ij+u_j和输出v_j＝I_j/L；

5.计算输出层结点j的误差Err_j＝v_j(1-v_j)(t_j-v_j)；

6.修正权值w_ij＝w_ij+Δw_ij，其中Δw_ij＝k·Err_j·o_ij，o_ij为第i个分类器判断输入对象属于第j类的概率；

7.修正偏值u_j＝u_j+Δu_j，跳转到3循环；

8.当周期数达到1/k时结束。

(4)步骤四：总控系统分别判断面部识别结果和人体识别结果，得出乘客关于年龄、性别和体型的识别信息。

面部识别模块和人体识别模块输出识别结果给总控系统，总控系统分别对两识别模块的识别结果与预设特殊人士的识别信息进行比较判断，若信息一致，则判断该名乘客为特殊人士，安排其到特殊座位就座，若车上没有特殊座位，则安排其到普通座位就座，若特殊座位和普通座位都没有了，则安排普通座位序号靠前的乘客让座。

(5)步骤五：总控系统按照识别信息进行座位分配。

事先对座位进行排序并将座位，并将座位分为特殊座位和普通座位，若识别信息为孕妇、老人、小孩或行动不便的伤员等特殊人士时，总控系统会将他们分配到事先分配好的特殊座位并进行广播提醒座位序号，若识别信息不是特殊人士时，总控系统会按照先后顺序安排座位，但当座位已分配完成，又有特殊人士上车时，总控系统会提醒坐在靠前序号座位上的乘客让座。

此外，座位分配系统还包括账户存储模块，账户存储模块中储存有事先注册好的乘客的面部图像信息以及该名乘客的车费账户余额，总控系统通过将面部识别模块输出的识别信息和账户存储模块中的面部图像信息相比较，若两面部图像信息一致，则对该名乘客的账户信息中的账户余额进行扣款。

综上所述，本发明通过车门处的面部图像采集模块和人体图像采集模块进行图像采集，后将采集到的图像发送到面部识别模块和人体图像识别模块，分别进行预处理和图像识别，合并模块将面部识别模块和人体图像识别模块得到的识别结果进行合并，得到关于乘客的年龄、性别和体型信息，车辆总控系统根据乘客信息进行座位分配。

以上所述仅是本发明的优选实施方式，应当理解本发明并非局限于本文所披露的形式，不应看作是对其他实施例的排除，而可用于各种其他组合、修改和环境，并能够在本文所述构想范围内，通过上述教导或相关领域的技术或知识进行改动。而本领域人员所进行的改动和变化不脱离本发明的精神和范围，则都应在本发明所附权利要求的保护范围内。

Claims (5)

1.一种图像识别方法，其特征在于，包括：

步骤S1：获取乘客面部图像及正面的人体图像；

步骤S2：对所述面部图像及所述人体图像分别进行预处理；

步骤S3：将步骤S2中所述面部图像和所述人体图像分别投入到各自预先训练好的组合分类器中，所述面部图像组合分类器和所述人体图像组合分类器输出将其识别结果发送给总控系统；

步骤S4：所述总控系统将所述面部图像和所述人体图像的识别结果分别与预设特殊人士的识别信息进行比较判断，得到该名乘客是否属于特殊人士的判断结果，并根据所述判断结果进行座位分配；

所述组合分类器中以步骤S2中所述面部图像或所述人体图像作为输入，多个分类器同时识别所述图像，所述组合分类器中的基于BP神经网络的并联融合算法利用各分类器的度量级输出信息和模型的决策误差自动调整各分类器与类别间的权值，输出所述图像的识别结果。

2.如权利要求1所述的图像识别方法，其特征在于，所述乘客面部图像的预处理包括：

将所述乘客面部图像进行光照补偿，增加图像对比度；

将所述进行光照补偿后的面部图像进行Gamma校正，Gamma校正公式为

其中γ为gamma指数。

3.如权利要求1所述的图像识别方法，其特征在于，所述人体图像的预处理包括：

将所述人体图像归一化到预设的尺寸大小。

4.如权利要求1所述的图像识别方法，其特征在于，所述组合分类器的训练过程为：使用不同的训练集分别训练所述不同类型的分类器，完成各分类器的训练后，将所述训练集整合完成对融合规则的训练。

5.一种车内座位分配系统，其特征在于，包括：

面部图像获取模块，用于采集乘客面部图像；

人体图像获取模块，用于采集乘客正面人体图像；

面部图像预处理模块，用于对所述面部图像进行预处理；

人体图像预处理模块，用于对所述人体图像进行预处理；

面部图像识别模块，用于将所述面部图像进行预处理后投入到面部图像组合分类器中，输出所述面部图像的识别结果；

人体图像识别模块，用于将所述人体图像进行预处理后投入到人体图像组合分类器中，输出所述人体图像的识别结果；

账户存储模块，用于存储账户信息，账户信息包括乘客身份信息以及账户余额；

总控系统，用于根据所述面部图像识别模块和人体图像识别模块输出的识别结果来判断乘客的年龄、性别和体型信息，以及判断所述年龄、性别和体型信息是否与所述账户存储模块中的所述乘客身份信息一致，若一致则进行所述账户余额的扣款。

Images