CN106384095A - 基于手机拍摄图像的轿车故障指示灯识别方法 - Google Patents

Abstract

本发明公开了一种基于手机拍摄图像的轿车故障指示灯识别方法，步骤包括：步骤1、拍摄汽车仪表盘的车标，车标识别的方法与故障指示灯识别方法类似，查找相应车型，程序自动加载该车型故障指示灯库；步骤2、再次拍摄汽车仪表盘，程序识别汽车故障指示灯，得出图像的相似度值；步骤3、逐一遍历同一颜色分类故障指示灯库的所有图像，以得到待检测故障指示灯与故障指示灯库的相似度；最后，使得相似度最高的前几个故障指示灯故障信息显示在结果页面上。本发明的方法，通过手机拍摄汽车仪表盘获取车型，快速识别汽车故障指示灯，获取该车型出现该故障时的解决方案；识别准确性高，速度快，成本较低，操作简便，易于实现。

Description

基于手机拍摄图像的轿车故障指示灯识别方法

技术领域

本发明属于机器视觉技术领域，涉及一种基于手机拍摄图像的轿车故障指示灯识别方法。

背景技术

汽车仪表盘是人和汽车的交互界面，为驾驶员提供所需的汽车运行参数、故障等信息，是每一辆汽车必不可少的部件。在日常行驶过程中，仪表盘的汽车故障指示灯能够及时为驾驶员提供有关汽车故障的信息，便于驾驶员检查故障，由于这些故障指示灯种类繁多，使得驾驶员在遇到汽车故障时，难以快速识别汽车故障信息，便出现如下的实用需求：为了克服驾驶员不能熟记所有汽车仪表盘的故障指示灯，需要对不同汽车故障指示灯做到快速、准确识别；同时为了解决驾驶员在发生故障时需要查手册或者求教他人，需要提供相应故障的解决方案。

发明内容

本发明的目的是提供一种基于手机拍摄图像的轿车故障指示灯识别方法，采用智能手机拍摄汽车仪表盘，进行相应的图像处理，从而识别出车型；然后，使用智能手机拍摄该汽车仪表盘的故障指示灯，进行图像二值化，得到故障指示灯的图像特征，经过与该车型故障指示灯特征数据库进行对比，识别出故障指示灯的种类，并提供解决方案。

本发明所采用的技术方案是，一种基于手机拍摄图像的轿车故障指示灯识别方法，按照以下步骤实施：

步骤1、拍摄汽车仪表盘的车标，车标识别的方法与故障指示灯识别方法类似，查找相应车型，程序自动加载该车型故障指示灯库；

步骤2、再次拍摄汽车仪表盘，程序识别汽车故障指示灯，识别过程是：对待检测故障指示灯的图像进行颜色区分，同一颜色分类的故障指示灯与待检测故障指示灯的图像进行二值化，计算七个图像不变矩，再使用巴氏系数算法对这七个不变矩组成的向量计算，最终得出图像的相似度值，其值范围在[0,1]之间，0表示极其不同，1表示极其相似或相同；

步骤3、逐一遍历同一颜色分类故障指示灯库的所有图像，以得到待检测故障指示灯与故障指示灯库的相似度；最后，使得相似度最高的前几个故障指示灯故障信息显示在结果页面上。

本发明的有益效果是，通过手机拍摄汽车仪表盘获取车型，快速识别汽车故障指示灯，并在app主界面显示故障指示灯库中相似度最高的前几个；通过点击不同相似度的故障指示灯，得到该车型出现该故障时的解决方案；识别准确性高，速度快，成本较低，操作简便，易于实现。

附图说明

图1为本发明方法打开程序时的查询页面；

图2为本发明方法进行程序识别后的结果页面；

图3为本发明方法相应故障指示灯(实施例)相应的手册页面。

图中，1.手机，2.显示屏，3.扫描框，4.分享按钮，5.扫描，6.相册按钮，7.故障指示灯相似度，8.语音提示按钮，9.故障指示灯手册按钮。

具体实施方式

下面结合附图和具体实施方式对本发明进行详细说明。

本发明识别方法依赖的识别系统基于android系统，其采用的app分为UI界面设计部分和故障指示灯识别部分，UI界面包括打开程序时的查询页面(见图1)、程序识别后的结果页面(见图2)、以及出现相应故障指示灯的手册页面(见图3)。故障指示灯识别部分，包括图像采集、故障指示灯库数据库、颜色区分、图像二值化、相似度比较、语音提示等部分。

下面为软件部分的UI界面设计部分：

如图1所示，打开程序时的查询页面，在手机1的显示屏2中间有扫描框3，显示屏2下排设置有分享按钮4、扫描5、相册按钮6，采用固定大小的扫描框3来扫描待检测的故障指示灯，按下扫描5，保证采集到的图片与故障指示灯库的图片在尺寸上基本保持大小一致，同时过滤掉拍摄过程中不相关内容；图库按钮6能够方便随时识别本地故障指示灯图片的故障类型；分享按钮4使得驾驶者在解决相关故障后，能够将有效的经验分享给其他人。

如图2所示，程序识别后得到的结果页面用于展示查询结果，左排为故障指示灯手册按钮9，右排对应为故障指示灯相似度7，故障指示灯相似度7的角标位置设置有语音提示按钮8，程序识别后根据故障相似度依次从大到小显示结果，排在最前面的为相似度最大，相似度越大表示最可能的故障类型，为驾驶者提供相应的建议；点击小喇叭8即可获取故障语音提示，点击故障指示灯手册按钮9即可跳转至故障指示灯手册页面。

如图3所示，是基于识别后相应故障指示灯的手册页面，其中设置有各种故障指示灯情况下的对应故障分析及解决方案(即专家建议)，为驾驶者提供了相应故障指示灯的解决方案，以及相应的专家建议，便于驾驶者不用询问，独自尽快获取更为专业的解决方案，以便决定如何处置该故障。

上述识别系统的工作原理是：首先使用手机客户端扫描汽车的仪表盘，使扫描区对准汽车的车标，程序识别后，提示汽车故障指示灯库是否加载成功，然后再扫描汽车故障指示灯进行识别；也可以直接点击相册按钮6，得到本地该车型的汽车故障指示灯的图片进行识别，结果页面列出故障指示灯库中相似度最高的前几个(前5个)；点击相应的故障指示灯手册按钮9，跳转至专家手册页面，为驾驶者提供详细故障情况；解决问题后，点击分享按钮4分享该故障指示灯的解决方案，供其他驾驶员参考。

图1是在理想状态时的识别原理示意图，当汽车故障指示灯与扫描区域对准时，来获取待检测故障指示灯的图像，由于拍摄环境有可能出现比较黑或者亮度比较高等情况，会造成识别的准确性降低，所以程序需要先通过颜色识别，(不同车型的故障指示灯库已经由颜色分类)，再对待检测故障指示灯的图像进行二值化处理，来克服光照强度的影响，大大提高识别的精度。采用图像不变矩进行相似度的对比，是因为图像不变矩能够描述图像的整体特征，具有平移不变性、比例不变性和旋转不变性等，在采集到的图像倾斜时，丝毫不影响识别的结果。

本发明的故障指示灯识别系统使用android平台，其app也可以开发不同平台的程序版本，使程序具有更多的适用性及通用性。

本发明的识别方法，利用上述的故障指示灯识别系统，按照以下步骤实施：

步骤1、拍摄汽车仪表盘的车标，车标识别的方法与故障指示灯识别方法类似，查找相应车型，程序自动加载该车型故障指示灯库；

步骤2、再次拍摄汽车仪表盘，程序识别汽车故障指示灯，识别过程是：对待检测故障指示灯的图像进行颜色区分，同一颜色分类的故障指示灯与待检测故障指示灯的图像进行二值化，计算七个图像不变矩，再使用巴氏系数算法对这七个不变矩组成的向量计算，最终得出图像的相似度值，其值范围在[0,1]之间，0表示极其不同，1表示极其相似或相同，

识别过程的具体步骤分为以下三步：

2.1)区分待检测故障指示灯的颜色，目前汽车故障指示灯颜色由黄色、红色、蓝色、绿色、白色组成，为了便于区分颜色，首先将采集到的图像进行二值化，确定前景(指示灯)区域，然后将图像由RGB颜色空间转为HSV颜色空间，当采集图像的前景区域的像素点满足S<＝1/2，V>＝9/10且像素点比例很高时，则视为指示灯为白色，否则，进行其他颜色的判断；当前景区域中H<＝1/20或H>＝19/20的像素点比例很高则视为红色；当前景区域中H<1/6+1/20，H>1/6-1/20的像素点比例很高则视为黄色；当前景区域中H<1/3+1/20，H>＝1/3-1/20的像素点比例很高则视为绿色；当前景区域中H<2/3+1/20，H>＝2/3-1/20的像素点比例很高则视为蓝色，根据以上的阈值范围确定故障指示灯的颜色。阈值范围默认采用如上标准设置，针对不同条件，用户也可手动设置参数。

2.2)图像的二值化，前景色与背景色的反差越大，轮廓就越明显，这意味着，如果找到一个值，使得前景色和背景色各自的"类内差异最小"，或者"类间差异最大"，那么这个值就是理想的阈值；拍照所得图片共有n个像素，其中灰度值小于阈值的像素为n₁个，大于等于阈值的像素为n₂个，即n₁+n₂＝n，w₁和w₂分别表示这两种像素各自的比重：

w₁＝n₁/n (1)

w₂＝n₂/n (2)

将所有灰度值小于阈值的像素的平均值和方差分别记为μ₁和σ₁，将所有灰度值大于等于阈值的像素的平均值和方差分别记为μ₂和σ₂，则有：

采用遍历的方法，将阈值从灰度的最低值到最高值，依次取一遍，分别代入上面的算式，使得"类内差异最小"或"类间差异最大"的那个值，就是最终的阈值；

2.3)计算故障指示灯库与待检测指示灯图像的七个图像不变矩，对于数字图像，f(x,y)的(p+q)阶普通矩和中心矩的公式如下：

$\begin{array}{c}{m}_{pq}=\underset{x=1}{\overset{M}{\mathrm{\&Sigma;}}}\underset{y=1}{\overset{N}{\mathrm{\&Sigma;}}}{x}^p{y}^{q}f(x,y)\\ {\mathrm{\&mu;}}_{pq}=\underset{x=1}{\overset{M}{\mathrm{\&Sigma;}}}\underset{y=1}{\overset{N}{\mathrm{\&Sigma;}}}{(x-x_0)}^p{(y-y_0)}^{q}f(x,y)\end{array}---\left(4\right)$

其中，p＝0,1,2,...，q＝0,1,2,...，

归一化中心矩定义：

其中，r＝(p+q)/2+1

七个图像不变矩为：

$\begin{array}{c}{I}_1=y_{20}+y_{02}\\ I_2={(y_{20}+y_{02})}^2+4{y_{11}}^2\\ I_3={(y_{30}+3y)}^2+{(3y_{21}-y_{03})}^2\\ I_4={(y_{30}+y_{12})}^2+{(y_{21}+y_{03})}^2\\ I_5=(y_{30}-y_{12})(y_{30}+y_{12})\&lsqb;{(y_{30}+y_{12})}^2-3{(3y_{21}+y_{03})}^2\&rsqb;\\ +(3y_{21}-y_{03})(y_{21}+y_{30})\&lsqb;3{(y_{30}+y_{12})}^2-{(y_{21}+y_{03})}^2\&rsqb;\\ I_6=(y_{20}-y_{02})\&lsqb;{(y_{30}+y_{12})}^2-{(y_{21}+y_{03})}^2\&rsqb;+4y_{11}(y_{30}+y_{12})(y_{21}+y_{03})\\ I_7=(3y_{21}+y_{03})(y_{30}+y_{12})\&lsqb;{(y_{30}+y_{12})}^2-3{(y_{21}+y_{03})}^2\&rsqb;+\\ (y_{30}-3y_{12})(y_{21}+y_{03})\&lsqb;3{(y_{30}+y_{12})}^2-{(y_{21}+y_{03})}^2\&rsqb;\end{array}---\left(6\right)$

采用如下的巴氏计算公式：

$\mathrm{\&rho;}(p,p^{\&prime;})=\underset{i=1}{\overset{M}{\&Sigma;}}\sqrt{p\left(i\right)p{\left(i\right)}^{\&prime;}}---\left(7\right)$

其中，(p,p′)分别代表相应车型故障指示灯库和待检测故障指示灯的图像不变矩向量，对于每个图像不变矩乘积开平方以后相加得出的结果，即为图像的相似度(又称为巴氏系数因子值)，数值范围在0-1之间；

步骤3、逐一遍历同一颜色分类故障指示灯库的所有图像，以得到待检测故障指示灯与故障指示灯库的相似度；最后，使得相似度最高的前几个故障指示灯故障信息显示在结果页面上。

本发明的故障指示灯识别方法尤其适用于普通家用的轿车，当轿车出现故障时，驾驶员能够利用智能手机、在不求助他人或者查找手册情况下尽快获取解决方案。

Claims (3)

1.一种基于手机拍摄图像的轿车故障指示灯识别方法，其特征在于，按照以下步骤实施：

步骤1、拍摄汽车仪表盘的车标，车标识别的方法与故障指示灯识别方法类似，查找相应车型，程序自动加载该车型故障指示灯库；

步骤2、再次拍摄汽车仪表盘，程序识别汽车故障指示灯，识别过程是：对待检测故障指示灯的图像进行颜色区分，同一颜色分类的故障指示灯与待检测故障指示灯的图像进行二值化，计算七个图像不变矩，再使用巴氏系数算法对这七个不变矩组成的向量计算，最终得出图像的相似度值，其值范围在[0,1]之间，0表示极其不同，1表示极其相似或相同；

步骤3、逐一遍历同一颜色分类故障指示灯库的所有图像，以得到待检测故障指示灯与故障指示灯库的相似度；最后，使得相似度最高的前几个故障指示灯故障信息显示在结果页面上。

2.根据权利要求1所述的基于手机拍摄图像的轿车故障指示灯识别方法，其特征在于：所述的步骤2中，识别过程的具体步骤是：

2.1)区分待检测故障指示灯的颜色，目前汽车故障指示灯颜色由黄色、红色、蓝色、绿色、白色组成，为了便于区分颜色，首先将采集到的图像进行二值化，确定指示灯区域，然后将图像由RGB颜色空间转为HSV颜色空间，当采集图像的前景区域的像素点满足S<＝1/2，V>＝9/10且像素点比例很高时，则视为指示灯为白色，否则，进行其他颜色的判断；当前景区域中H<＝1/20或H>＝19/20的像素点比例很高则视为红色；当前景区域中H<1/6+1/20，H>1/6-1/20的像素点比例很高则视为黄色；当前景区域中H<1/3+1/20，H>＝1/3-1/20的像素点比例很高则视为绿色；当前景区域中H<2/3+1/20，H>＝2/3-1/20的像素点比例很高则视为蓝色，根据以上的阈值范围确定故障指示灯的颜色；

2.2)图像的二值化，拍照所得图片共有n个像素，其中灰度值小于阈值的像素为n₁个，大于等于阈值的像素为n₂个，即n₁+n₂＝n，w₁和w₂分别表示这两种像素各自的比重：

w₁＝n₁/n (1)

w₂＝n₂/n (2)

将所有灰度值小于阈值的像素的平均值和方差分别记为μ₁和σ₁，将所有灰度值大于等于阈值的像素的平均值和方差分别记为μ₂和σ₂，则有：

采用遍历的方法，将阈值从灰度的最低值到最高值，依次取一遍，分别代入上面的算式，使得"类内差异最小"或"类间差异最大"的那个值，就是最终的阈值；

2.3)计算故障指示灯库与待检测指示灯图像的七个图像不变矩，对于数字图像，f(x,y)的(p+q)阶普通矩和中心矩的公式如下：

$\begin{array}{c}{m}_{pq}=\underset{x=1}{\overset{M}{\&Sigma;}}\underset{y=1}{\overset{N}{\&Sigma;}}{x}^p{y}^{q}f(x,y)\\ {\mathrm{\&mu;}}_{pq}=\underset{x=1}{\overset{M}{\&Sigma;}}\underset{y=1}{\overset{N}{\&Sigma;}}{(x-x_0)}^p{(y-y_0)}^{q}f(x,y)\end{array}---\left(4\right)$

其中，p＝0,1,2,...，q＝0,1,2,...，

归一化中心矩定义：

其中，r＝(p+q)/2+1

七个图像不变矩为：

$\begin{array}{c}{I}_1=y_{20}+y_{02}\\ I_2={(y_{20}+y_{02})}^2+4{y_{11}}^2\\ I_3={(y_{30}+3y)}^2+{(3y_{21}-y_{03})}^2\\ I_4={(y_{30}+y_{12})}^2+{(y_{21}+y_{03})}^2\\ I_5=(y_{30}-y_{12})(y_{30}+y_{12})\&lsqb;{(y_{30}+y_{12})}^2-3{(3y_{12}+y_{03})}^2\&rsqb;\\ +(3y_{21}-y_{03})(y_{21}+y_{30})\&lsqb;3{(y_{30}+y_{12})}^2-{(y_{21}+y_{03})}^2\&rsqb;\\ I_6=(y_{20}-y_{02})\&lsqb;{(y_{30}+y_{12})}^2-{(y_{21}+y_{03})}^2\&rsqb;+4y_{11}(y_{30}+y_{12})(y_{21}+y_{03})\\ I_7=(3y_{21}+y_{03})(y_{30}+y_{12})\&lsqb;{(y_{30}+y_{12})}^2-3{(y_{21}+y_{03})}^2\&rsqb;+\\ (y_{30}-3y_{12})(y_{21}+y_{03})\&lsqb;3{(y_{30}+y_{12})}^2-{(y_{21}+y_{03})}^2\&rsqb;\end{array}---\left(6\right)$

采用如下的巴氏计算公式：

$\mathrm{\&rho;}(p,p^{\&prime;})=\underset{i=1}{\overset{M}{\&Sigma;}}\sqrt{p\left(i\right)p{\left(i\right)}^{\&prime;}}---\left(7\right)$

其中，(p,p′)分别代表相应车型故障指示灯库和待检测故障指示灯的图像不变矩向量，对于每个图像不变矩乘积开平方以后相加得出的结果，即为图像的相似度，数值范围在0-1之间。

3.根据权利要求1所述的基于手机拍摄图像的轿车故障指示灯识别方法，其特征在于：该方法依赖的识别系统基于android系统，其采用的app分为三个部分，包括打开程序时的查询页面、程序识别后的结果页面、以及出现相应故障指示灯的手册页面，

打开程序时的查询页面，在手机(1)的显示屏(2)中间有扫描框(3)，显示屏(2)下排设置有分享按钮(4)、扫描(5)、相册按钮(6)，采用固定大小的扫描框(3)来扫描待检测的故障指示灯，按下扫描(5)，保证采集到的图片与故障指示灯库的图片在尺寸上基本保持大小一致，同时过滤掉拍摄过程中不相关内容；

程序识别后得到的结果页面用于展示查询结果，左排为故障指示灯手册按钮(9)，右排对应为故障指示灯相似度(7)，故障指示灯相似度(7)的角标位置设置有语音提示按钮(8)，程序识别后根据故障相似度依次从大到小显示结果，排在最前面的为相似度最大，相似度越大表示最可能的故障类型；

基于识别后相应故障指示灯的手册页面，其中设置有各种故障指示灯的对应故障分析及专家建议，为驾驶者提供了相应故障指示灯的解决方案，便于驾驶者决定如何处置该故障。