CN101980314B

CN101980314B - 公交专座智能提示装置与方法

Info

Publication number: CN101980314B
Application number: CN 201010501545
Authority: CN
Inventors: 张秀彬; 应俊豪; 张筱; 马丽; 史战果
Original assignee: Shanghai Jiaotong University
Current assignee: North Jiangsu Institute Of Shanghai Jiaotong University
Priority date: 2010-10-11
Filing date: 2010-10-11
Publication date: 2013-05-22
Anticipated expiration: 2030-10-11
Also published as: CN101980314A

Abstract

一种汽车工程中的控制技术领域的公交专座智能提示装置与方法。装置为：针孔摄像头的输出接口通过视频电缆与信号处理器的图像输入接口连接，信号处理器的输出接口与语音提示器数字的输入接口连接；方法为：一、系统对训练样本进行学习，当系统处于学习状态时，系统对青壮年男性脸部图像采集与处理；二、系统进入在线工作状态，对“老弱病残孕”专座上的乘客实施实时监视，根据识别结果对“老弱病残孕”专座乘客确定控制指令输出，决定是否由语音提示器向该乘客提示。本发明能够自动对抢占公交专座或因疏忽坐上公交专座者提供友好的提示，使其警觉自己的行为有所失误，因此使公交专座的设置发挥出本身应该发挥的作用；其识别准确率达到98％以上。

Description

公交专座智能提示装置与方法

技术领域

本发明涉及的是一种汽车工程中的控制技术领域的装置与方法，具体是一种公交专座智能提示装置与方法。

背景技术

众所周知，为了倡导尊老爱幼的社会美德、共同建设美好的和谐生活环境，在我们的公共汽车、地铁、轨道交通等公共交通工具上都在车厢的适当位置专门设置了“老弱病残孕”专座，目的就在于能够让“需要得到社会关心、爱护与帮助”的人们在出行乘坐公交的时候获得适当的照顾。然而，事情往往并不像设置“老弱病残孕”专座的初衷所想象的那样，而是：

（1）时常有些年轻人一进入公交车厢，压根就对“老弱病残孕”专座的文字提示视而不见，只要空着，一屁股就坐上去。

（2）时常还可见有些年轻人坐在“老弱病残孕”专座上，即使随后有“老弱病残孕”者上车，甚至一个“挺着大肚子”的孕妇就站在他的旁边，他能够做到熟视无睹、旁若无人，或者假装瞌睡，任凭身边的孕妇一直站到下车。

（3）如果有人好心提醒或劝说占用“老弱病残孕”专座者予以让座时，时常还会遭到占用“老弱病残孕”专座者的恶语相向，甚至还会大打出手。

如此种种不胜枚举，这是社会风气不善所致，固然需要全社会的共同努力，广泛提高每个公民的素养，提倡人们互相爱护与帮助的道德情操，才能彻底改善这些不良的社会风气。然而，由于某些社会与历史的原因，要使社会达到十分理想的境界尚需一个漫长的时间。在这特定的社会环境下，通过先进的技术手段用以改善这种不良的社会现象，不乏其有效性，而且对促进人性恶习的改善还会收到意想不到的良好效果。这就是本发明技术：公交专座智能提示装置与方法的技术功效。

经对现有技术文献的检索发现，米柴的“游泳池‘监察器’”（《世界知识》1985年底24期）介绍了：“最近，美国一家公司试制一种电子游泳看护器。该设备采用了家庭安全电脑系统的技术，在游泳池两侧的水平线位置安装两组(每组5个)传感系统，传感器发出的无线电信号由室内接受器加以记录。它主要是在游泳池内无人游泳时，用以监视是否有人落水。在有人游泳时，将装置调至‘游泳’档，它即自动解除警报，在无人游泳时，则调至‘监察’档。它是依据水平面的波动来对场内情况加以判断的，因此，如有一个重1.8公斤的物体落水，那么池内水波起伏即0.6厘米，图像接受器收到这一数据后即报警。如有孩子不慎落水，便可得到警报。还有一种是直径为25厘米的‘示警碟’，使用时将它系于池内，如有重达7公斤的物体落水，它会立即对水面骤然起伏作出反应，发出高达85分贝的强音警报。上述高技术示警器能帮助人们保护幼儿，当然最佳看护者仍然是谨慎小心的父母。”尽管该技术除了“强音警报”外，也采用了“图像接受器”的识别技术，但是其中的图像识别是以“水波起伏”数据作为判别的依据，显然其算法过于简单，也无法实现对人物类别的判别功能，自然就无法直接应用于本发明所涉及的技术领域。

再经对现有技术文献的检索，尚未发现与本发明同类或相近的技术装置与方法。

发明内容

本发明的目的在于克服现有技术中的不足，提供一种公交专座智能提示装置与方法，能够对抢占公交专座或因疏忽坐上公交专座者提供友好的提示，使其警觉自己的行为有所失误，因此使公交专座的设置发挥出本身应该发挥的作用；并且，久而久之便会逐渐地使越来越多的公交乘客形成一种牢固的意识：“老弱病残孕”专座不是年轻人可以随便坐的，应该时刻保留着让需要人们关心与爱护的“老弱病残孕”者乘坐。不言而喻，这也是通过先进的技术手段来改造人们不良习性的有效方法，而且还能够避免因劝说别人的不良行为而引起的口角争辩，乃至发生冲突等大家都不愿意看到的社会不和谐现象。

本发明所称的“公交”，包括：公共汽车、地铁、轨道交通等公共交通工具，简称为“公交”。

本发明是通过以下技术方案实现的:

本发明涉及一种公交专座智能提示装置，包括：针孔摄像头、信号处理器和语音提示器。针孔摄像头的输出接口通过视频电缆与信号处理器的图像输入接口连接，信号处理器的输出接口与语音提示器输入接口连接。

所述针孔摄像头，设置于“老弱病残孕”专座对面车厢壁上的适当位置，正对着“老弱病残孕”专座上的乘客脸部位置，用于实时采集“老弱病残孕”专座上的乘客脸部位置视图。

所述信号处理器，包括：图像输入接口、模数转换模块、图像处理模块、输出接口。其中：图像输入接口的输入端经视频电缆与针孔摄像头输出接口相连，图像输入接口的输出端与模数转换模块的输入端连接，模数转换模块的输出端口与图像处理模块的输入端口连接；图像处理模块的输出端口与输出接口的输入端连接；输出接口的输出端与语音提示器输入接口连接。

所述图像处理模块，是信号处理器中的核心技术模块，承担图像信息的处理、识别与决策的整个运算过程。

所述语音提示器，包括：输入接口、译码器、数字语音模块、数模转换器、功率放大模块、扬声器；其中：输入接口的输入端口与信号处理器的输出接口连接，输入接口的输出端与译码器的输入端口连接，译码器的输出端口与数字语音模块的输入端口连接，数字语音模块的输出端口与数模转换器的输入端口连接，数模转换器的输出端口与功率放大模块的输入端口连接，功率放大模块的输出端口与扬声器的输入端口连接。当语音提示器的输入接口接收到控制指令后，经过译码器的解释，链接数字语音模块中的相关语音单元，将链接后的语音单元序列依次输至数模转换器转换为语音模拟信号，再将语音模拟信号输至功率放大模块经功率放大后驱动扬声器发出相应的语音提示。

本发明的信号处理器图像输入接口从针孔摄像头输出接口接收“老弱病残孕”专座乘客的脸部图像模拟信号后，将图像模拟信号送入模数转换模块的输入端，模数转换模块再将转换后的数字图像信号输至图像处理模块。信号处理器对针孔摄像头采集到的“老弱病残孕”专座乘客的脸部图像信号进行处理与分析后，确定当前“老弱病残孕”专座乘客是否属于男性青壮年；一旦确认当前“老弱病残孕”专座乘客是属于男性青壮年，信号处理器会实时地根据识别结果生成控制指令由其输出接口输出；在控制指令的作用下，通过语音提示器向该男性青壮年乘客友好提示：“这是‘老弱病残孕’专座，请您将它让给‘需要帮助’的乘客好吗？谢谢您的协助！”。

本发明还涉及一种公交专座智能提示方法，包括以下步骤：

步骤一、系统对训练样本进行学习，当系统处于学习状态时，系统对16到55周岁年龄段的男性脸部图像进行采集与处理；

具体分步骤如下：

（1）采集男性青壮年脸部图像并进行彩色空间转换；

将针孔摄像头抽样采集到的男性青壮年脸部图像进行强化后，再将其从RGB彩色空间转换至HSV彩色空间进行表达，即连续采集多幅，包括：从16到55周岁不同年龄段的男性及其不同表情特征的脸部图像，再将每幅强化后的脸部图像从RGB彩色空间转换至HSV彩色空间进行表达。

（2）将脸部与背景区分开来；

在抽样采集到的男性青壮年脸部图像中，按照像素坐标从左至右、从上到下地扫描检测像素的景物色调，并将落入HSV彩色空间中的色调区间[2°,47°]的色调集合所对应的像素点拟定为人脸区域，因此就能将男性青壮年脸部图像中其它区域及背景跟脸部区域准确地区分开来。

这是因为人物图像中的人脸肤色与衣物及背景存在着明显不同的色调差别，人脸肤色与衣物及背景各自的色调分布于不同的角度区域，而且人脸肤色的色调相对稳定地集中在HSV彩色空间中的某个角度区域，通过实验证实不论是自然光照射还是人工光源照射，也不论摄像系统的异同，肤色的色调H的角度分布都基本保持在HSV彩色空间的2~47°之间，因此能够通过人物图像在HSV空间中的色调值来区分出人脸肤色和衣物、背景及其它景物。换句话说，只有当某一景物的色调处于区间[2°,47°]之内，才有可能是人脸肤色，否则是其它景物，如衣物或其它物品。通过实验进一步证实：人脸肤色的色调值为11°的概率最高，因此称11°的色调值为人脸肤色的概率峰值。令，人脸肤色色调在区间[2°,47°]的分布概率为P(H)时，则H=11°的概率达到最高，即P(11°)=P_max，也就是说，当某个景物的色调为11°时，认定该景物为人脸肤色的置信度达到最高。

（3）对抽样采集到的男性青壮年脸部图像确定脸部中心位置与脸部区域；

利用抽样采集到的男性青壮年脸部图像的HSV彩色空间表达，在人脸肤色色调集合中，以最接近11°的色调值所对应的像素点坐标作为人脸中心点，如：经过人脸区域搜寻结果，获得落入HSV彩色空间中的色调区间[2°,47°]的色调集合为{...,9.7°,10.1°,9.5°,...}，而且该集合所对应的像素点坐标为{...,(i_k-1，j_k-1),(i_k,j_k),(i_k+1,j_k+1),...}，其中最接近11°的色调值是10.1°，所对应的像素点坐标为(i_k,j_k)，因此就可以确定(i_k,j_k)为人脸中心位置坐标，i表示像素的列坐标，j表示像素的行坐标，脚标表示列数和行数，i_k的k表示第k列，j_k的k表示第k行。并以人脸中心点为基点向上、下各扩张行像素和向左、右各扩张

列像素，作为u×v大小的脸部区域，简称u×v脸部区域。

（4）导入男性青壮年脸部区域图像训练样本；

对男性青壮年脸部图像截取u×v脸部区域后作为训练样本导入本发明装置系统。

所采集的男性青壮年脸部图像的u×v脸部区域训练样本均具有256个灰度级，一般取训练样本数n=k×l≥300；其中，k、l分别为被采样男性青壮年数和每个男性青壮年被采样脸部区域的样本数，如k=30、l=10分别代表被采样男性青壮年数为30个、每个男性青壮年被采样脸部区域的样本数为10。

（5）将训练样本图像转换为一维向量；

将每一个二维的男性青壮年脸部区域训练样本图像数据转化为一维的向量，并定义男性青壮年脸部特征为1类脸部特征，其余人的脸部特征为-1类脸部特征。所述“其余人”，包括：小孩、老人、妇女等。

可以表达出1类第i图像的一维向量x_i为

x_i=[x_i1 x_i2...x_im]^T=[x_ij]^T （公式一）

式中，x_ij表示1类第i个样本第j个像素灰度值；i＝1,2,...,n为1类脸部区域样本序号；j=1,2,...,m为每个样本图像所取像素数，m=u×v，u和v分别为样本图像的列和行像素数。

（6）计算训练样本特征值及特征向量；

计算1类的均值

即

\overset{&OverBar;}{x} = \frac{1}{n \times m} Σ_{i = 1}^{n} Σ_{j = 1}^{m} x_{ij}

（公式二）

称由此求得的均值

为1类平均脸。

对上述训练样本进行规范化后可以表达为

v_{i} = x_{i} - \overset{&OverBar;}{x}; i = 1,2, . . ., n

（公式三）

由训练样本组成的1类平均脸规范化向量v

v=[v₁ v₂...v_n]^T （公式三）

此时，1类平均脸协方差矩阵为

Q=[v₁ v₂...v_n]^T[v₁ v₂...v_n];Q∈R^n×n （公式四）

利用（公式四）求取Q的特征值λ_l及其特征向量，并将其从大到小重新排列后生成特征向量

p=[λ₁ λ₂ λ₃ ...λ_n]^T （公式五）

其中，λ₁≥λ₂≥λ₃≥...λ_n

（7）建立人脸特征判据；

由于较大的特征值对应的特征向量包含了较多的人脸特征信息，因此选取前s个较大的特征值所对应的特征向量构成的向量空间就可以近似地表示人脸图像的主要信息。s取值由实验确定。

从v=[v₁ v₂...v_n]^T中选取前s个较大的特征值所对应的规范化值构成新的规范化向量为

\hat{v} = {[\begin{matrix} v_{1} & v_{2} & \cdot \cdot \cdot & v_{s} \end{matrix}]}^{T}

（公式六）

因此，可以直接用

来代表1类人脸特征，即男性青壮年脸部区域特征。

这就是说，建立了人脸特征规范化向量后，就可以依次作为识别当前乘客是否为男性青壮年的判据。

所述从（公式一）到（公式六）的计算过程，又被称为脸部图像对特征空间的投影。

所述的图像增强，是指：采用脉冲耦合神经网络法模拟与特征有关的神经元同步行为来展示脉冲发放现象的连接模型，对车厢内针孔摄像头实时采集到的图像进行增强。

所述的脉冲耦合神经网络法（Pulse-Coupled Neural Networks，简称PCNN），是一种模拟与特征有关的神经元同步行为来展示脉冲发放现象的连接模型。因此，它与视感神经系统的感知能力有着天然的联系。

应用于图像处理的PCNN结构模型中，待处理的图像每个像素f(i,j)对应着每个神经元N_ij，其中像素坐标，i＝1,2,3,...，j=1,2,3,...。以I_ij表示像素点f(i,j)的像素强度值，每个神经元N_ij除接收来自外部的刺激I_ij外，还接收来自内部网络其他神经元的馈送输入F_ij(t)和联接输入L_ij(t)，接着通过神经元连接强度β以乘积耦合形式F_ij(t)[1+βL_ij(t)]构成神经元N_ij的内部行为U_ij(t)，再通过动态阈值θ_ij(t)与U_ij(t)的比较而激励或抑制神经元的脉冲信号输出Y_ij(t)（又称为点火），t代表时间。

由于常规图像中边缘两边的象素亮度强度差总比区域内空间邻近的象素亮度强度差相对要大，因此，若采用PCNN于二维图像处理，每个神经元与图像像素一一对应，其亮度强度值作为神经元的外部刺激，则在PCNN内部，空间邻近、强度相似的像素集群能够同步点火，否则异步点火。这在图像增强中，表现为同步点火对应的图像像素呈现相同的亮度强度值，从而平滑了图像区域；异步点火对应的图像像素呈现不同的亮度强度值，从而加大了图像区域间亮度强度的梯度，进而更加突出了图像的边缘，使得增强后的图像亮度强度分布更具有层次性。

在标准的PCNN模型中，由于硬限幅函数的作用，其输出是一个二值图像帧。为了使所建立的PCNN输出映射函数能更有效地进行图像整体对比度增强的处理，基于上述的人眼视觉感知特性，采用类对数映射函数，将图像的亮度强度映射到一个合适的视觉范围。

该方法的最大优点在于它与视觉神经系统的感知能力有着天然的联系，使得该模型不仅能较好地平滑图像区域、突出图像边缘，而且能明显地改善彩色图像的视觉效果、增强图像色彩的真实效果。

所述的彩色空间转换，是指：将增强后的图像进行彩色空间转换，即将增强后的数字图像从RGB彩色空间转换至HSV彩色空间，转换后的色调H、饱和度S和亮度V分别表示为

V≤max(R,G,B) （公式七）

（公式八）

（公式九）

并在计算H过程，如果出现H<0，则取为H的实际取值。

所述RGB和HSV，分别为图像彩色空间的描述方式。前者的空间向量[R G B]^T不仅代表红R、绿G和蓝B三基色的色彩，同时也表示三基色的亮度，RGB三色之间存在着很大的相关性。换句话说，通过[R G B]^T三元素的不同取值，能够形成不同的颜色效果。后者是根据颜色的直观特性创建的一种包含色调H、饱和度S和亮度V的三维彩色空间模型，也称六角锥体模型。在这个彩色空间模型中，色调H用角度度量，取值范围为0~360°，从红色开始按逆时针方向计算，红色为0°、绿色为120°、蓝色为240°，它们的补色：黄色为60°、青色为180°、品红为300°；饱和度S取值范围为0.0~1.0；亮度V取值范围为：0.0(黑色)～1.0(白色)。如：纯红色是[H S V]^T=[0 1 1]^T，而S=0表示非彩色，在这种情况下，色调未定义。

步骤二、在线识别乘客类别，即相应的公交专座智能提示装置系统进入（处于）在线工作状态，对“老弱病残孕”专座上的乘客实施实时监视，根据识别结果对“老弱病残孕”专座乘客确定控制指令输出，决定是否由语音提示器向该乘客提示；

具体分步骤如下：

（1）在线采集“老弱病残孕”专座上的乘客脸部位置图像并进行彩色空间转换；

将针孔摄像头实时采集到的“老弱病残孕”专座上的乘客脸部位置图像进行强化后，再将其从RGB彩色空间转换至HSV彩色空间进行表达。

所述乘客脸部位置图像，包括：“老弱病残孕”专座上有乘客、没有乘客或该专座被遮挡时的图像。

（2）将“老弱病残孕”专座上乘客脸部与背景区分开来；

在采集到的“老弱病残孕”专座上的乘客脸部位置图像中，按照像素坐标从左至右、从上到下地扫描检测像素的景物色调，将落入HSV彩色空间中的色调区间[2°,47°]的色调集合所对应的像素点拟定为人脸区域，如果能够找到对应色调区间[2°,47°]的像素点，则说明“老弱病残孕”专座上有乘客乘坐，因此将“老弱病残孕”专座乘客其它区域图像及其背景与其脸部区域准确地区分开来。继续下一步骤（3）。

如果没有找到能够落入HSV色调区间[2°,47°]色调所对应的像素点，则表明：当前“老弱病残孕”专座上尚未有人乘坐，或者是针孔摄像头的视场暂时被车厢内站立者的身体部位所遮挡。此时，运算程序回到上述步骤（1），继续监视“老弱病残孕”专座上的乘客脸部位置状态。

（3）对采集到的“老弱病残孕”专座乘客脸部图像确定人脸中心位置与眼部区域；

利用人脸的HSV彩色空间表达，以最接近11°的色调值所对应的像素点坐标作为人脸中心点，并以人脸中心点为基点向上、下各扩张行像素和向左、右各扩张

列像素，作为u×v大小的脸部区域，简称u×v脸部区域，亦即可获取u×v的脸部跟踪区域。

（4）对“老弱病残孕”专座乘客脸部区域进行跟踪；

采用一阶预测算法作为“老弱病残孕”专座乘客脸部区域跟踪的方法。

设当前“老弱病残孕”专座乘客脸部运动速度为V(t_k)=[V_i(t_k)V_j(t_k)]^T，且

[\begin{matrix} V_{i} (t_{k}) \\ V_{j} (t_{k}) \end{matrix}] = [\begin{matrix} \frac{i_{k} - i_{k - 1}}{t_{k} - t_{k - 1}} \\ \frac{j_{k} - j_{k - 1}}{t_{k} - t_{k - 1}} \end{matrix}]

（公式十）

即，采用间隔时间Δt下，对人脸中心位置的前后两次运算来求取，Δt=t_k-t_k-1。

其一阶预测估计值应为

[\begin{matrix} {\tilde{V}}_{i} (t_{k}) \\ {\tilde{V}}_{j} (t_{k}) \end{matrix}] = [\begin{matrix} \frac{i_{k - 1} - i_{k - 2}}{t_{k} - t_{k - 1}} \\ \frac{j_{k - 1} - j_{k - 2}}{t_{k} - t_{k - 1}} \end{matrix}]

（公式十一）

预测“老弱病残孕”专座乘客脸部目标的像素坐标为

[\begin{matrix} {\hat{j}}_{k + 1} \\ {\hat{j}}_{k + 1} \end{matrix}] = [\begin{matrix} {\tilde{V}}_{i} (t_{k}) (t_{k} - t_{k - 1}) \\ {\tilde{V}}_{j} (t_{k}) (t_{k} - t_{k - 1}) \end{matrix}] + [\begin{matrix} i_{k} \\ j_{k} \end{matrix}]

（公式十二）

式中，V_i(t_k)与V_j(t_k)分别为第k时刻速度V(t_k)在像素坐标系中i和j两个坐标轴上的分量；

与

分别为第k时刻速度V(t_k)在i和j两个坐标轴上的分量估计值；i_k、i_k-1与i_k-2分别为第k、k-1和k-2时刻的i坐标值；j_k、j_k-1与j_k-2分别为第k、k-1和k-2时刻的v坐标值；

与

分别为第k+1时刻i和j的坐标估计值。

因此，当第k时刻t_k的人脸中心为(i_k,j_k)时，能够通过一阶预测算法预测出“老弱病残孕”专座乘客脸部在第k+1时刻t_k+1的人脸中心为

（5）导入测试样本；

根据系统跟踪到的人脸中心坐标(i_k,j_k)，依次向上、下各扩张

行像素和向左、右各扩张

列像素，截取u×v脸部区域作为“老弱病残孕”专座乘客脸部区域的测试样本，并将其导入本发明装置系统。

（6）计算测试样本的特征向量；

重复利用（公式一）到（公式六）的运算，完成对测试样本的图像特征值及其特征向量的计算，获得从v=[v₁ v₂...v_n]^T中选取前s个较大的特征值所对应的规范化值构成新的规范化向量

\tilde{v} = {[\begin{matrix} v_{1} & v_{2} & \cdot \cdot \cdot & v_{s} \end{matrix}]}^{T}

（公式十三）

因此，可以直接用

来代表“老弱病残孕”专座当前乘客脸部区域特征，即测试样本特征规范化向量。

（7）对“老弱病残孕”专座乘客类别的识别；

将投影到特征空间中的u×v脸部区域特征与训练样本特征

通过距离分类函数进行比较，确定待识别样本的所属类别，即

G (\tilde{v}, \hat{v}) = | | \tilde{v} - \hat{v} | | \leq ϵ

时，（公式十四）

说明：当前“老弱病残孕”专座乘客属于1类；否则，当前“老弱病残孕”专座乘客属于-1类。

在（公式十四）中，

分别代表测试样本和训练样本脸部特征规范化向量。

（8）控制决策

根据识别结果对当前“老弱病残孕”专座乘客确定控制指令输出，即一旦判定“老弱病残孕”专座乘客为“男性青壮年”时，系统实时输出控制指令，在控制指令的驱动下，语音提示器向该男性青壮年乘客发出友好提示：“这是‘老弱病残孕’专座，请您将它让给‘需要帮助’的乘客好吗？谢谢您的协助！”。否则，系统不会发出提示，包括“老弱病残孕”专座上无人乘坐的情况。

循环重复步骤二从（1）到（8）的分步骤，对“老弱病残孕”专座进行在线实时识别，实现对“老弱病残孕”专座的全程监视。

本发明能够对抢占公交专座或因疏忽坐上公交专座者提供友好的提示，使其警觉自己的行为有所失误，因此使公交专座的设置发挥出本身应该发挥的作用；并且，能够使越来越多的公交乘客逐渐形成一种良好的让座意识，对建立和谐社会起到积极的促进作用。

附图说明

图1为本发明系统结构示意图；

图2为本发明中针孔摄像头在地铁车厢内的设置位置示意图；

图3为本发明信号处理器结构示意图；

图4为本发明语音提示器结构示意图；

图5为本发明采集训练样本示意图。

具体实施方式

下面结合附图对本发明的实施例作详细说明：本实施例在以本发明技术方案为前提下进行实施，给出了详细的实施方式和具体的操作过程，但本发明的保护范围不限于下述的实施例。

如图1、2所示，本实施例涉及一种公交专座智能提示装置，包括：针孔摄像头1、信号处理器2、语音提示器3。其中：针孔摄像头1设置于公交车厢（如地铁车厢）内，正对着“老弱病残孕”专座上的乘客脸部位置，用于实时采集“老弱病残孕”专座上的乘客脸部位置视图。针孔摄像头1的输出接口分别与信号处理器2的图像输入接口相连，信号处理器2的输出接口与语音提示器3的输入接口连接。

如图3所示，所述信号处理器2，包括：图像输入接口21、模数转换模块22、图像处理模块23、输出接口24；其中：图像输入接口21的输入端经视频电缆与针孔摄像头1的输出接口相连，图像输入接口21的输出端分别与模数转换模块22的输入端连接，模数转换模块22的输出端口与图像处理模块23的第一输入端口连接；图像处理模块23的输出端口与输出接口24的输入端口连接。

如图4所示，所述语音提示器3，包括：输入接口31、译码器32、数字语音模块33、第二数模转换器34、功率放大模块35、扬声器36；其中：输入接口31的输入端口与信号处理器2的输出接口24连接，用以接收来自图像处理模块23的控制指令；输入接口31的输出端与译码器32的输入端口连接，译码器32的输出端口与数字语音模块33的输入端口连接，数字语音模块33的输出端口与第二数模转换器34的输入端口连接，第二数模转换器34的输出端口与功率放大模块35的输入端口连接，功率放大模块35的输出端口与扬声器36的输入端口连接。当语音提示器3的输入接口31接收到控制指令后，经过译码器32的解释，链接数字语音模块33中的相关语音单元，将链接后的语音单元序列依次输至第二数模转换器34转换为语音模拟信号，再将语音模拟信号输至功率放大模块35，经功率放大后驱动扬声器36发出相应的语音提示。

本实施例还涉及一种公交专座智能提示方法，包括以下步骤：

步骤一、系统对训练样本进行学习

（1）采集男性青壮年脸部图像并进行彩色空间转换；

通过针孔摄像头连续采集三十位男性青壮年在十个不同时刻表现不同表情的脸部图像并将其强化后，再从RGB彩色空间转换至HSV彩色空间进行表达，其中每幅图图像均具有256个灰度级。

（2）将脸部与背景区分开来；

在抽样采集到的男性青壮年脸部图像中，按照像素坐标从左至右、从上到下地扫描检测像素的景物色调，并将落入HSV彩色空间中的色调区间[2°,47°]的色调集合所对应的像素点拟定为人脸区域，因此将男性青壮年其它区域及图像背景跟脸部区域准确地区分开来。

（3）对抽样采集到的男性青壮年脸部图像确定人脸中心位置与眼部区域；

利用抽样采集到的男性青壮年脸部图像的HSV彩色空间表达，在人脸肤色色调集合中，以最接近11°的色调值所对应的像素点坐标作为人脸中心点，并以人脸中心点为基点向上、下各扩张

行像素和向左、右各扩张

列像素，作为u×v脸部区域。

（4）导入男性青壮年脸部区域图像训练样本；

所采集的男性青壮年脸部区域图像训练样本均具有256个灰度级，并取训练样本数n=k×l=300；其中，k=30、l=10，即被采样男性青壮年数为30个、每个男性青壮年被采样脸部图像区域的样本数为10。

（5）将训练样本图像转换为一维向量；

将每一个二维的男性青壮年脸部区域图像训练样本图像数据转化为一维的向量，并定义男性青壮年脸部为1类脸部特征，其余人的脸部为-1类脸部特征。所述“其余人”，包括：小孩、老人、妇女等。因此可以表达出1类第i图像的一维向量x_i=[x_i1 x_i2...x_im]^T=[x_ij]^T；式中，x_ij表示1类第i个样本第j个像素灰度值；i＝1,2,...,n为1类脸部样本序号；j=1,2,...,m为每个样本图像所取像素数，m=u×v，u和v分别为样本图像的列和行像素数。

因取n=300，所以i＝1,2,...,300；每幅样本图像的u=246、v=112时，则m=27552，此时公式（公式一）可以表达为x_i=[x_i1 x_i2...x_i27552]^T=[x_ij]^T。

（6）计算训练样本特征值及特征向量；

由（公式二）计算1类的均值求得的均值

为1类平均脸；

按（公式三）对上述训练样本进行规范化后表达为

按（公式三）由训练样本组成的1类脸部规范化向量v=[v₁ v₂...v₃₀₀]^T。此时，1类脸部协方差矩阵为

Q=[v₁ v₂...v₃₀₀]^T[v₁ v₂...v₃₀₀];Q∈R^300×300

依次求取Q的特征值λ_l及其特征向量，并将其从大到小重新排列后生成特征向量p=[λ₁ λ₂ λ₃ ...λ₃₀₀]^T，其中，λ₁≥λ₂≥λ₃≥...λ₃₀₀

（7）建立人脸特征判据；

由于较大的特征值对应的特征向量包含了较多的人脸特征信息，因此可以选取前s个较大的特征值所对应的特征向量构成的向量空间就可以近似地表示人脸图像的主要特征信息。

从v=[v₁ v₂...v₃₀₀]^T中选取前s=100个较大的特征值所对应的规范化值构成新的规范化向量

\hat{v} = {[\begin{matrix} v_{1} & v_{2} & \cdot \cdot \cdot & v_{100} \end{matrix}]}^{T},

因此，可以直接用来代表1类人脸特征，即男性青壮年脸部区域特征。

步骤二、在线识别乘客类别；

在线识别乘客类别，包括具体分步骤如下：

将针孔摄像头实时采集到的“老弱病残孕”专座上的乘客脸部位置图像采用脉冲耦合神经网络法（Pulse-Coupled Neural Networks，简称PCNN）进行增强。再将强化后的图像从RGB彩色空间转换至HSV彩色空间进行表达。

（2）将“老弱病残孕”专座乘客脸部与背景区分开来；

在采集到的“老弱病残孕”专座上的乘客脸部位置图像中，按照像素坐标从左至右、从上到下地扫描检测像素的景物色调，将落入HSV彩色空间中的色调区间[2°,47°]的色调集合所对应的像素点拟定为人脸区域，如果能够找到对应色调区间[2°,47°]的像素点，则说明“老弱病残孕”专座上有乘客乘坐，因此将“老弱病残孕”专座乘客其它区域图像及其背景跟脸部区域准确地区分开来。继续下一步骤（3）。

（3）对采集到的“老弱病残孕”专座乘客脸部图像确定脸部中心位置与脸部区域；

利用人脸的HSV彩色空间表达，根据落入HSV彩色空间中的色调区间[2°,47°]的色调集合为：

{...,9.7°,10.1°,9.5°,...}，

而且该集合所对应的像素点坐标为：

{...,(i_k-1，j_k-1),(i_k,j_k),(i_k+1,j_k+1),...}，

以最接近11°的色调值10.1°所对应的像素点坐标作为人脸中心点，即确定(i_k,j_k)为脸部中心位置坐标，i表示像素的列坐标，j表示像素的行坐标，脚标表示列数和行数，i_k的k表示第k列，j_k的k表示第k行。

以脸部中心点为基点向上、下各扩张

行像素和向左、右各扩张

列像素，作为u×v脸部区域。

（4）对“老弱病残孕”专座乘客脸部区域的跟踪；

采用一阶预测算法作为男性青壮年脸部区域跟踪的方法。

设当前“老弱病残孕”专座乘客脸部区域运动速度为V(t_k)=[V_i(t_k)V_j(t_k)]^T，且

[\begin{matrix} V_{i} (t_{k}) \\ V_{j} (t_{k}) \end{matrix}] = [\begin{matrix} \frac{i_{k} - i_{k - 1}}{t_{k} - t_{k - 1}} \\ \frac{j_{k} - j_{k - 1}}{t_{k} - t_{k - 1}} \end{matrix}];

其一阶预测估计值应为

[\begin{matrix} {\tilde{V}}_{i} (t_{k}) \\ {\tilde{V}}_{j} (t_{k}) \end{matrix}] = [\begin{matrix} \frac{i_{k - 1} - i_{k - 2}}{t_{k} - t_{k - 1}} \\ \frac{j_{k - 1} - j_{k - 2}}{t_{k} - t_{k - 1}} \end{matrix}];

预测“老弱病残孕”专座乘客脸部区域目标的像素坐标为

[\begin{matrix} {\hat{j}}_{k + 1} \\ {\hat{j}}_{k + 1} \end{matrix}] = [\begin{matrix} {\tilde{V}}_{i} (t_{k}) (t_{k} - t_{k - 1}) \\ {\tilde{V}}_{j} (t_{k}) (t_{k} - t_{k - 1}) \end{matrix}] + [\begin{matrix} i_{k} \\ j_{k} \end{matrix}];

因此，当第k时刻t_k的脸部中心为(i_k,j_k)时，能够通过一阶预测算法预测出“老弱病残孕”专座乘客脸部区域在第k+1时刻t_k+1的脸部中心为

（5）导入测试样本；

根据系统跟踪到的脸部中心坐标(i_k,j_k)，依次向上、下各扩张

行像素和向左、右各扩张

列像素，截取u×v脸部区域图像作为“老弱病残孕”专座乘客脸部区域的测试样本，并将其导入本发明装置系统。

（6）计算测试样本的特征向量；

\tilde{v} = {[\begin{matrix} v_{1} & v_{2} & \cdot \cdot \cdot & v_{s} \end{matrix}]}^{T},

因此，可以直接用来代表“老弱病残孕”专座乘客当前脸部图像区域特征。

（7）对“老弱病残孕”专座乘客的识别；

将投影到特征空间中的u×v脸部区域特征与训练样本特征逐一进行比较，确定待识别的样本的所属类别。采用距离分类函数进行识别，当时，说明：当前“老弱病残孕”专座乘客属于1类；否则，当前“老弱病残孕”专座乘客属于-1类。

（8）控制决策

根据识别结果对“老弱病残孕”专座乘客确定控制指令输出，即一旦判定“老弱病残孕”专座乘客属于男性青壮年者时，系统实时输出控制指令，在控制指令的驱动下，语音提示器向该男性青壮年乘客发出友好提示：“这是‘老弱病残孕’专座，请您将它让给‘需要帮助’的乘客好吗？谢谢您的协助！”。否则，系统不会发出提示，包括“老弱病残孕”专座上无人乘坐的情况。

循环重复步骤二从（1）到（8）的分步骤，对“老弱病残孕”专座乘客进行在线实时识别，实现对“老弱病残孕”专座乘客的全程监控。

本实施例能够自动对抢占公交专座或因疏忽坐上公交专座者提供友好的提示，使其警觉自己的行为有所失误，因此使公交专座的设置发挥出本身应该发挥的作用；其识别准确率达到98%以上，除非针孔摄像头被其他乘客所遮挡。

Claims

1.一种公交专座智能提示方法，其特征在于，包括以下步骤：

步骤一、系统对训练样本进行学习，当系统处于学习状态时，系统对从16到55周岁年龄段的男性脸部图像进行采集与处理；

步骤二、在线识别乘客类别，相应的公交专座智能提示装置系统进入在线工作状态，对“老弱病残孕”专座上的乘客实施实时监视，根据识别结果对“老弱病残孕”专座乘客确定控制指令输出，决定是否由语音提示器向该乘客提示；

步骤一中所述系统对训练样本进行学习，当系统处于学习状态时，系统对男性青壮年脸部图像进行采集与处理，包括分步骤如下：

（1）采集男性青壮年脸部图像并进行彩色空间转换，通过针孔摄像头连续采集的多幅图像，再将强化后的脸部图像从RGB彩色空间转换至HSV彩色空间进行表达；

（2）将脸部与背景区分开来，在抽样采集到的男性青壮年脸部图像中，按照像素坐标从左至右、从上到下地扫描检测像素的景物色调，并将落入HSV彩色空间中的色调区间[2°,47°]的色调集合所对应的像素点拟定为人脸区域，因此将男性青壮年脸部图像中其它区域及背景跟脸部区域准确地区分开来；

（3）对抽样采集到的男性青壮年脸部图像确定脸部中心位置与脸部区域，利用抽样采集到的男性青壮年脸部图像的HSV彩色空间表达，在人脸肤色色调集合中，以最接近11°的色调值所对应的像素点坐标作为人脸中心点，并以人脸中心点为基点向上、下各扩张

行像素和向左、右各扩张

列像素，作为u×v脸部区域；

（4）导入男性青壮年脸部区域图像训练样本，对男性青壮年脸部图像截取u×v脸部区域后作为训练样本导入本发明装置系统，所采集的男性青壮年脸部图像脸部区域训练样本均具有256个灰度级，一般取训练样本数n=k×l≥300；其中，k、l分别为被采样男性青壮年数和每个男性青壮年被采样脸部区域的样本数；

（5）将训练样本图像转换为一维向量，将每一个二维的男性青壮年脸部区域训练样本图像数据转化为一维的向量，并定义男性青壮年脸部为1类脸部特征，其余人的脸部为-1类脸部特征，表达出1类第i图像的一维向量x_i为x_i＝[x_i1 x_i2...x_im]^T＝[x_ij]^T；式中，x_ij表示1类第i个样本第j个像素灰度值；i＝1,2,...,n为1类脸部样本序号；j=1,2,...,m为每个样本图像所取像素数，m=u×v，u和v分别为样本图像的列和行像素数；

（6）计算训练样本特征值及特征向量；

（7）建立人脸特征判据，由于较大的特征值对应的特征向量包含了较多的人脸特征信息，因此选取前s个较大的特征值所对应的特征向量构成的向量空间就近似地表示人脸图像的信息，s取值由实验确定男性青壮年脸部区域特征；

分步骤（7）中所述的确定男性青壮年脸部区域特征，是指：

从v＝[v₁ v₂...v_n]^T中选取前s个较大的特征值所对应的规范化值构成新的规范化向量v＝[v₁ v₂ ... v_s]^T；因此，直接用

来代表1类人脸特征，即男性青壮年脸部区域特征；

步骤二中所述的在线识别乘客类别，处于在线工作状态，对“老弱病残孕”专座上的乘客实施实时监视，包括分步骤如下：

（1）针孔摄像头在线实时采集“老弱病残孕”专座上的乘客脸部位置图像，将采集到的图像进行强化后，再将其从RGB彩色空间转换至HSV彩色空间进行表达；

（2）将“老弱病残孕”专座乘客脸部与背景区分开来，即在采集到的“老弱病残孕”专座上的乘客脸部位置图像中，按照像素坐标从左至右、从上到下地扫描检测像素的景物色调，将落入HSV彩色空间中的色调区间[2°,47°]的色调集合所对应的像素点拟定为人脸区域，如果能够找到对应色调区间[2°,47°]的像素点，则说明“老弱病残孕”专座上有乘客乘坐，因此将“老弱病残孕”专座乘客其它区域图像及其背景跟脸部区域准确地区分开来，继续下一步骤（3）；如果没有找到能够落入HSV色调区间[2°,47°]色调所对应的像素点，则表明：当前“老弱病残孕”专座上尚未有人乘坐，或者是针孔摄像头的视场暂时被车厢内站立者的身体部位所遮挡,此时，运算程序回到步骤二的分步骤（1），继续监视“老弱病残孕”专座上的乘客脸部位置状态；

（3）对采集到的“老弱病残孕”专座乘客脸部图像确定人脸中心位置与眼部区域，即利用人脸的HSV彩色空间表达，以最接近11°的色调值所对应的像素点坐标作为人脸中心点，并以人脸中心点为基点向上、下各扩张