CN105182535B - 使用智能眼镜进行汽车维保的方法 - Google Patents

使用智能眼镜进行汽车维保的方法 Download PDF

Info

Publication number
CN105182535B
CN105182535B CN201510627110.5A CN201510627110A CN105182535B CN 105182535 B CN105182535 B CN 105182535B CN 201510627110 A CN201510627110 A CN 201510627110A CN 105182535 B CN105182535 B CN 105182535B
Authority
CN
China
Prior art keywords
intelligent glasses
maintenance
image
module
vehicle
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201510627110.5A
Other languages
English (en)
Other versions
CN105182535A (zh
Inventor
田雨农
杨佳
于维双
吴涛
苍柏
丁飞
周秀田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Dalian Roiland Technology Co Ltd
Original Assignee
Dalian Roiland Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Dalian Roiland Technology Co Ltd filed Critical Dalian Roiland Technology Co Ltd
Priority to CN201510627110.5A priority Critical patent/CN105182535B/zh
Publication of CN105182535A publication Critical patent/CN105182535A/zh
Application granted granted Critical
Publication of CN105182535B publication Critical patent/CN105182535B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/017Head mounted
    • G02B27/0176Head mounted characterised by mechanical features
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09BEDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B5/00Electrically-operated educational appliances
    • G09B5/02Electrically-operated educational appliances with visual presentation of the material to be studied, e.g. using film strip
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/017Head mounted
    • G02B2027/0178Eyeglass type

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Optics & Photonics (AREA)
  • Business, Economics & Management (AREA)
  • Educational Administration (AREA)
  • Educational Technology (AREA)
  • Human Computer Interaction (AREA)
  • User Interface Of Digital Computer (AREA)
  • Traffic Control Systems (AREA)

Abstract

使用智能眼镜进行汽车维保的方法,本发明属于汽车维保领域,用以解决汽车维保无法使用智能眼镜而智能化不高的技术问题,技术要点是:包括汽车维保智能眼镜上的头部姿态识别的方法,智能眼镜共享用于汽车维保的其他设备数据的方法,智能眼镜应用于汽车远程维保支援的方法,用于车辆维保过程中的智能眼镜触控板的使用方法,用于车辆维保过程中的智能眼镜的手势识别方法。效果是:实现了智能眼镜在汽车维保领域的应用。

Description

使用智能眼镜进行汽车维保的方法
技术领域
本发明属于汽车维保领域,尤其涉及一种使用智能眼镜进行汽车维保的方法。
背景技术
国内车主在汽车出现问题或者需要保养的时候,大多还是依赖于4s店。但是4S店有两个显而易见的弊端,昂贵和费时。
当人们退而求其次,选择多如牛毛的非正规修理店的时候,虽然方便又便宜,但是想到要把自己的爱车交托给那些没有正式资格的修理工,无异于把把身体交托给没有行医资格的医生,把孩子送到没有教师资格的老师那里的时候,又有点望而却步。
还有一些动手能力,有意愿自己动手的车主,由于没有经过专业的学习,下手总会有些不自信,进而失去兴趣。当然也有另外一些车主,对汽车维修不在行,也没有兴趣。但是天有不测风云,行车出门在外,难免会遇上一些突发状况,比如爆胎,漏水,漏油等等。自己修,又无从下手;等救援,又远水解不了近渴。
基于以上种种尴尬的处境,应用于汽车维保领域的智能眼镜应运而生。
发明内容
为了解决现有技术中,由于车主维修能力不同,对于维修所需要的辅助手段需求存在差异,而现有技术中,缺失该种智能化辅助车辆维保的辅助工具,致使现有的车辆维保难以由车主自己进行的问题,本发明提出了一种使用智能眼镜进行汽车维保的方法。
为了实现上述目的,本发明采用的技术方案是:一种使用智能眼镜进行汽车维保的方法,包括如下方法:
(1)用于车辆维保过程中的智能眼镜触控板的使用方法,所述触控板具有方向选择触控按键区域,遮挡不同按键区域,即表示选择该方向的动作,以此操作智能眼镜所具有的软件;所述触控板具有触控确认按键区域,遮挡该按键区域,即表示确定动作,以此操作智能眼镜所具有的软件;所述触控板具有触控取消按键区域,遮挡该按键区域,即表示取消动作,以此操作智能眼镜所具有的软件;
(2)用于车辆维保过程中的智能眼镜的手势识别方法,手势识别操作板检测手势特征,当检测到使用者在手势识别操作板上的手势特征为预设的滑动手势时,向主控芯片发送中断信号,主控芯片判断该手势的逻辑表示,手势识别操作板接收的手势为一次沿着镜腿向镜框的方向滑动,即启动摄像头进行拍照;手势识别操作板接收的手势为连续两次沿着镜腿向镜框的方向滑动,即启动摄像头进行录像;手势识别操作板接收的手势为沿着镜框向镜腿的方向滑动,则关闭拍照或录像动作;遮挡手势识别操作板固定区域1秒时,光源被接通,光源发光以照射汽车检修时的区域;遮挡手势识别操作板固定区域2秒时关闭该光源;手势识别操作板被划分出两个检测区域,为第一检测区域与第二检测区域,手势识别操作板接收的手势为间隔的两次沿着镜腿向镜框的方向滑动,间隔时间为1S以上,则启动分区检测模式:第一区域在先检测到手势遮挡时,若第二区域在后也检测到手势遮挡,则启动麦克风,若第一区域再次检测到遮挡手势,则关闭麦克风;第二区域在先检测到手势遮挡时,若第一区域在后也检测到手势遮挡,则启动喇叭,若第一区域再次检测到遮挡手势,则关闭喇叭;
(3)用于车辆维保过程中的智能眼镜触控板与按键的并行使用防油污的方法,触控板具有方向选择触控按键区域,遮挡不同按键区域,即表示选择该方向的动作,以此操作智能眼镜所具有的软件,且所述的眼镜还具有与选择触控按键区域相对应的按键,该按键在使用者修理汽车时,由于存在阻隔无法使用触控板时而使用;
(4)用于车辆维保过程中的智能眼镜判定车辆损伤程度的方法,其特征在于,包括信息采集步骤及部件定损步骤;智能眼镜将采集到的信息传输至计算机,由计算机对采集到的信息进行特征提取,并对部件的损伤级别进行评定;信息采集及部件定损的步骤为:智能眼镜上设有光源、光栅以及双目立体视觉摄像头,打开光源,双目立体视觉摄像头采集待测部件的数据信息,所述受损车辆的各个部件区域分别对应部件虚拟框线图,基于所述用户选择的部件虚拟框线图,将所述受损车辆的受损部件通过视点对焦落入选择的部件虚拟框线图之内,通过拍照的方式对所述受损部件进行框选拍照,以采集所述车辆受损部件的图像信息;所述图像数据信息通过非触式传感器传输到计算机内进行点云逆向铺面、建模步骤,得到待测部件的三维立体信息,由所述得到待测部件的三维立体信息与计算机已存储的正常的零部件的三维模型相比对,得到对比结果,根据预先划分表示不同损伤程度的多级区间,计算各对比结果落入的具体区间,以判定待测部件的损伤程度;
(5)汽车维保过程中智能眼镜的照明方法,包括如下步骤:
S1.有用户佩戴智能眼镜,陀螺仪感应振动即发出状态选择信号或者在关闭陀螺仪感应开启的情况下,使用一种输入方式,使得智能眼镜发出状态选择信号;S2.用户选择进入自动照明状态或强制照明状态:S2.1.用户选择为强制照明状态,则光源启动发光;S2.2.用户选择自动照明状态,设定光照阈值及光源启动的光强度阈值:S2.2.1.光强度传感器实时采集环境的光强度信号,直至采集的光强度值低于设定的光强度阈值;S2.2.2控制板输出的控制信号驱动制双向可控硅电路导通实现光源亮度调整,达到零补偿值后,保持设定的灯光阈值灯亮度不变;光强度传感器采集当前环境光强度值,输出信号经信号处理通过A/D转换单元将模拟光强度信号转变成数字光强度信号,以串行方式发送到控制板的接收端口,控制板接收数据,输出将信息转换成可读取数值,显示当前光强度值;控制板通过内置的控制算法对接收数据进行运算和处理,以判断光源的开关状态、计算光照补偿值和发送控制信号;触控板设置滑动强制开启灯光模式,设定一滑动手势,则该手势操作使得光源强制开启;该步骤中,一旦输入开启光源的语音指令,则强制开启光源;
(6)汽车维保过程中智能眼镜通过车牌识别并获得车辆信息的方法,包括如下步骤:S1.操作人员带上智能眼镜,将眼镜模式切换为识别模式,进行车牌识别;S2.通过智能眼镜的前置摄像头,对车辆进行图像的采集;S3.将采集的图像信息传输至主机中的图像识别匹配模块,首先进行图像的预处理,对采集的车辆图像,进行分割处理,定位车牌所在的区域;然后将车牌区域中的字符进行单个分割,每个字符或者数字形成单独的图像,进行识别,通过采用离线的已经训练好的分类模型,对单个字符或者数字图像进行分类识别,并判断每个所识别字符的置信度得分,选取最高置信度的字符作为最终识别的字符;将识别出来的字符按顺序进行拼接,即为所识别的车牌号,如无法对采集的图像进行车牌识别,则将识别失败的信息传输给控制模块;S4.控制模块获得图像识别匹配模块分析结果后,判断是否识别成功;如果失败,控制震动模块和音频输出模块,提示用户车牌识别失败;如果成功,将识别的车牌号通过通讯模块,传给远程服务器,远程服务器收到车牌号信息,在车辆信息数据库中,检索车辆车架号等其他车辆信息;通过车辆车架号,同时也可以获取车辆的车型、配置的信息;S5.远程服务端检索到车辆信息之后,通过通讯模块,将检索结果返回给控制模块,控制模块将结果信息传送给图像输出模块,用以给操作者进行图像信息的呈现;
(7)智能眼镜应用于汽车维保领域的语音指令识别方法,,包括如下步骤:S1.操作人员带上智能眼镜,将眼镜模式切换为操作模式,进行语音操作交互;S2.智能眼镜的麦克风阵列获取并采集用户语音指令;S3.语音指令传输至智能眼镜主机中的语音识别匹配模块,进行语音的预处理,以及声音信号的特征提取,对提取的特征进行分类识别,判断是否为语音指令信号,如果是语音指令信号,与语音指令库中的指令进行匹配,选取最为相似的指令作为输出;S4.如指令匹配成功,控制模块接收到指令输入,进行相应的指令操作并同时控制震动反馈模块和音频输出模块提示用户,指令匹配成功;如果是需要进行远程服务端获取数据的指令,则需要通过通讯模块,利用无线通讯设备将识别后的指令发送给远程服务器,用以获取远程服务器的数据;S5.如果指令匹配不成功,控制模块会控制震动反馈模块提示用户,指令没有识别,并控制语音输出模块,提示请尝试再次发出指令;所述指令操作包括扫描、确认、返回、暂停、调整音量和由数据库里取出数据的操作;
(8)汽车维保过程中智能眼镜用于判定汽车异响的方法,包括如下步骤:S1.操作人员将眼镜模式切换为识别模式,发出语音指令并进行声音故障分析识别;S2.智能眼镜麦克风阵列获取并采集声音信号;S3.声音信号传输至智能眼镜主机中的声音识别匹配模块,进行声音的降噪,奇异性检测,以及声音信号的特征提取,对提取的特征进行分类识别,判断声音所属类别,以及故障程度,同时将分析结果信息传输给控制模块;S4.控制模块接收到结果信息之后,控制震动反馈模块提示用户,并控制图像输出模块显示分析结果;
(9)智能眼镜维保过程中的盲区查看的方法,包括如下步骤:S1.外接图像采集设备,包括高分辨摄像头、LED光源、和通讯模块,通讯模块与智能眼镜进行数据通讯;S2.外接图像采集设备底端有一拖杆,拖杆可自动插拔;S3.通过USB接口、USB数据线、WIF或者蓝牙将智能眼镜和外接设备进行连接;S4.智能眼镜的控制模块,接收外接设备的图像信息,进行相应的分析、显示或者操作;S5.通讯过程中,维修人员可通过语音指令方式或者手势指令方式,对智能眼镜图像采集和外接图像采集设备图像采集进行切换;
(10)汽车维保智能眼镜上的头部姿态识别的方法,包括如下具体步骤:S1:使用智能眼镜上的立体摄像头估计头部的三维姿态参数,并分析头部动作;S2:通过离散小波变换分析检测到头部运动,然后通过3D头部模型迭代求精获得3D参数;S3:当检测到维修人员点头时,代表信息的确认;当检测到维修人员摇头时,代表操作的取消;当检测到维修人员点两次头时,代表进行下一操作界面;当检测到维修人员连续摇头时,代表关闭该头像识别系统;
(11)智能眼镜共享用于汽车维保的其他设备数据的方法,适用于智能眼镜,所述智能眼镜与至少一个移动电子设备通过网络相连,进行数据传输,具体方法如下:维修人员无法用智能眼镜拍摄故障部位图片时,用移动电子设备进行拍摄,并将拍摄的照片通过传输模块发送到智能眼镜上;智能眼镜的显示模块显示该故障图片,维修人员通过故障图片采取相应的技术进行维修;当维修人员不能对故障进行解决时,则向移动电子设备发送支援请求,移动电子设备上的故障诊断子系统、维修技术资料数据库、零部件数据库对该图像进行识别,并找出解决该故障的方法,通过传输模块发送至智能眼镜上;
(12)智能眼镜应用于汽车维保的过程中的多机交互方法,包括以下步骤:S1:预先设置智能眼镜主机与多台从机,从机记录主机的地址信息;S2:从机通过地址信息定位到主机,并通过Windows通讯接口WCF技术连接到所述主机;S3:主机识别所述从机的交互协议,根据所述交互协议与从机建立通信;S4:当维修人员遇到不能解决的技术问题时,向主机和/或其他从机发送语音消息以及当前图像的图像数据,主机和/或其他从机通过语音播报模块听取该维修人员遇到的技术问题以及通过显示模块显示该图像信息;S5:主机或其他从机的维修人员知道如何解决该问题时,通过语音识别模块,将语音消息发送至遇到技术问题的维修人员的主机或从机上;S6:遇到技术问题的维修人员通过语音播报模块听取如何解决该技术问题的语音消息;
(13)智能眼镜检测汽车液体余量的方法,具体步骤如下:S1:操作人员带上智能眼镜,将眼镜模式切换为识别模式,进行液体余量检测;S2:使用标尺进行液体余量测取,并通过智能眼镜前置摄像头采集标尺图像;S3:将图像数据传输至图像识别匹配模块,对图像中的标尺的刻度进行识别;S4:将识别结果传输给控制模块,根据得到的百分比结果,控制图像输出模块,将结果通过光机显示的镜片上;所述的结果给出3种提示:红色报警液体过少需添加或液体正常可添加或液体足够使用无须添加;
(14)智能眼镜维保过程中的零件识别方法,具体步骤如下:S1:首先对现有的零件构建离线特征库,用以支持与后续智能眼镜所采集的零件信息进行特征匹配,并将该特征库存储于服务器数据库模块中;S2:将智能眼镜模式调为识别模式,通过智能眼镜上的前置摄像头,对待识别的零件进行多角度拍摄,拍摄图像必须有重叠部分,将所拍摄的图片通过通讯模块传至服务器进行三维重建,提取空间上下文特征;S3:将提取的空间上下文特征与离线特征库中的零件特征进行比对,采用LAPJV算法对特征矩阵进行最优匹配操作,使代价值最小;S4:在离线特征数据库中选取代价最小值所对应的汽车零件作为当前待检测的零件最匹配的零件;S5:服务器将匹配的零件的名称、型号、价格等信息传送给智能眼镜,控制模块控制图像输出模块进行零件信息的展示;
(15)智能眼镜维保过程中的漏液识别方法,具体步骤如下:S1:操作人员佩戴智能眼镜,将智能眼镜切换为识别模式;S2:前置摄像头对当前机体图像信息采集,控制模块会根据图像采集的质量,操作LED光源进行补光;S3:智能眼镜镜架上设有另一光源,当光束打在机体上时间,会有不同的光谱显示;S4:将前置摄像头采集的光谱数据传输至图像识别匹配模块,与已知的漏液光谱进行比对分析,定位当前漏液范围及其位置;S5:控制模块通过分析结果,调用图像输出模块增强现实的实时显示漏液范围;
(16)智能眼镜应用于汽车维保过程中的室内定位及图像识别的方法,包括以下步骤:S1:置于室内屋角的多个蓝牙设备识别修理人员处于第一位置时,智能眼镜的摄像头扫描到目标物体的二维图像,并将该二维图像发送到数据存储库中;S2:数据存储库中的处理模块根据二维图像找出对应的三维图像,通过传输模块在返回到眼镜的光机上;S3:当多个蓝牙设备识别到修理人员移动到第二位置时,处理模块自动将该三维图像进行旋转,以使得修理人员位于第二位置时所观察到的目标物体的图像与光机上所显示的图像一致;S4:修理人员通过光机上的所显示的图像继续对故障进行修理。S5:重复步骤S3-S4;所述的数据存储库、处理模块、传输模块和眼镜上的蓝牙设备集成与一体,安装在摄像头支架上;
(17)智能眼镜应用于汽车远程维保支援的方法,包括以下步骤:S1:当维修人员外出修车遇到疑难问题时,智能眼镜的摄像头采集故障车辆工况信息、语音识别模块识别维修人员遇到的技术问题;S2:将故障车辆工况信息和语音信息通过远程互动系统传回维修公司向坐席专家寻求技术支持;S3:维修公司坐席专家通过远程系统在装有无线网桥的计算机上显示的图像,标记有缺陷的部位;S4:并将标记有缺陷的部位的图像、如何解决技术问题的语音消息通过远程系统发送给维修人员;S5:维修人员通过显示模块显示的图像和语音播报模块播报的语音消息进行车辆维修;
(18)智能眼镜应用于维保过程中的划分零件定损等级的方法,具体步骤如下:S1:操作人员带上智能眼镜,将智能眼镜模式切换为识别模式,进行零件受损检测;S2:通过智能眼镜前置摄像头采集零件图像信息,控制模块通过通讯模块将零件图像信息传输到远程服务器,远程服务器使用CATIA软件进行点云逆向铺面、建模得到待测部件的三维立体信息;S3:远程服务器建立三位立体信息之后,进行LBP、尺寸、曲率以及距离信息的特征信息的提取;S4:获得特征信息之后,远程服务器对部件进行定损分析,由点云逆向重建模型获得待测部件的尺寸、曲率、距离数据;并将已存储的正常的零部件的三维模型测量结果与故障模型三维测量结果作比较;S5:服务器对零件定损分级之后,通过通讯模块将分析结果传输到智能眼镜中,控制模块控制图像输出模块对结果进行显示;
(19)智能眼镜在汽车维保过程中的零件拆卸的方法,具体步骤如下:S1.将智能眼镜模式调为识别模式;S2.通过智能眼镜前置摄像头,对待拆卸或安装的零部件图像进行采集,将实时图像数据传送到图像识别匹配模块进行图像处理;S3.图像识别模块对零部件图片进行识别,识别出对应部件上可拆卸零件的位置,通过控制模块,调用图像输出模块进行实时的标记;S4.通过标记图像对零件进行拆卸;
所述智能眼镜包括眼镜框和镜腿,其中一个镜腿具有一个回旋弯折,回旋弯折的一侧连接第一直板,该第一直板设置有朝向镜腿外侧的触控板,该回旋弯折的另一侧连接第二直板,该第二直板的上、下两侧具有伸出的底板,与第二直板形成摄像头的容置部,第二直板设有摄像头安装孔,所述两个底板与光机连接,且该光机位于与其更为相近的镜片框的前方,镜片框连接于第一直板且设置于回旋弯折较近处,第一直板与第二直板基本垂直。
本发明所述的回旋弯折主要用于连接触控板与摄像头,并使得该两种元部件可以呈基本垂直位置,而图像采集与触控操作的该种位置关系,使得用户使用时,具有一种更为舒适的交互位置,且该种位置结构,也使得光机可以处于镜框正前方,该种画面显示位置与触控操作位置,是维保过程中的较佳位置,方便维保时的操作与观看画面,而镜片框连接于第一直板且设置于回旋弯折较近处,使得实现智能化的元部件直接由镜腿承担,没有对眼镜框造成不必要的改进而影响到视线观察范围。而摄像功能是使用智能眼镜进行汽车维保的方法的一个主要功能,因而摄像头置于容置部中,也是对摄像头的一种保护,该种结构也较为节省空间。
进一步的,摄像头容置部中安装光源且对应于第二直板上的光源孔,麦克风安装在第一直板内侧,眼镜框和回旋弯折连接处附近;;喇叭安装于在佩戴智能眼镜时镜腿上靠近耳朵的部位;摄像头由摄像头支架支撑安装在摄像头容置部中,陀螺仪,用以识别振动信号,设定不同的振动信号以对使汽车维保的智能眼镜执行对应动作。
光源、麦克风喇叭是实现使用智能眼镜进行维保的多方位交互手段,实现了一种全方位的智能交互,以提高智能眼镜的智能化。
进一步的,所述摄像头、光源、麦克风和喇叭连接于控制板,该控制板具有无线通讯模块,用于接收摄像头、光源、麦克风发出的信号,并可对该接收信号进行数据处理,且该控制板安装有无线信号收发模块,且使用该信号收发模块向远程服务器发送和接收信号。
由于智能眼镜是直接与控制板连接,控制板再与远程服务器进行信号交互,而控制板还可对该接收信号进行数据处理,即一些简单的识别操作或者其它的操作,可以完全又控制板进行识别或其它处理,或者由控制板在先预处理,可以缓解远程服务器的处理压力,并且进一步提高了处理速度,特别是预处理过的信号再交于远程服务器完成后续处理,可以极大缩减远程服务器的处理时间,使得用户较快速地得到处理结果。
进一步的,控制板包括有图像识别匹配模块,用于图像的预处理,特征提取,分类识别;控制模块,用于输入信息识别后,执行相应操作以及反馈;图像输出模块,用于给操作者进行图像反馈;音频输出模块,用以给操作者进行声音反馈;震动反馈模块,用以进行震动反馈;服务器数据库模块,用于服务端数据的检索;
控制板的上述各模块是下载在控制板中的程序运行得以实现的,设定上述模块,目的在于对采集的图像、声音等信号进行处理,以期得到相应的输出结果。
进一步的,控制板还连接存储器,该控制板通过信号线与摄像头、光源、麦克风和喇叭连接,且集成于一主机箱内,该控制板同步进行数据处理和信号收发。
该处控制器连接存储器的目的在于,由于智能眼镜维保的时候,有可能出现网络故障等无法与远程服务器交互数据的情形,但是,智能眼镜仍然需要采集数据,那么采集的数据就可以暂时不停下来,先进行数据存储,在网络恢复时,继续就数据的传输。
进一步的,摄像头采集的车牌图像,仅由控制板执行图形识别处理,得到该车牌信息,直接将车牌信息发送于远程服务器。
摄像头采集车牌信息,该车牌信息直接由智能眼镜的控制板进行识别,将识别之后的信息再发与远程服务器,该种方式的优点在于:直接发送车牌的图像至远程服务器进行识别再匹配,不仅传输的信号比较多,耗费时间,服务器接收该信号进行识别处理的时间很长,而在现场对该图片信息处理,得到识别的数据进行传输,信号传输时间短,速度快,可以尽快是的用户得到该车牌下的车辆信息或者其它信息。
进一步的,远程服务器具有车辆信息数据库、行车数据数据库、车辆结构模型数据库、维保流程数据库、工具模型数据库、汽车故障智能分析系统,所述车辆信息数据库存储车牌号,及该车牌号对应的车辆的车架号、车主信息、车辆保养记录和车辆维修记录,且还存储该车牌号下的车型、年款和车辆配置信息;所述的行车数据数据库存储由车牌号或者该车牌号下的车架号对应的车辆的OBD数据和故障码;所述车辆结构模型数据库存储由车型、年款和车辆配置信息对应的车辆组成及组成部分的说明和3D建模图形;所述维保流程数据库存储该车牌号或车架号对应的车辆行驶里程和故障信息,及维保流程说明;所述工具模型数据库存储针对不同车辆故障维修需要使用的工具的说明和3D建模图形,所述汽车故障智能分析系统,整合远程服务器具有车辆信息数据库、行车数据数据库、车辆结构模型数据库、维保流程数据库,分析车辆故障和确定保养流程。
在远程服务器设置上述数据库,对于智能眼镜采集的关于车辆维保的信息,都可以调取相关数据库中的数据,并反馈用户结果,于光机、喇叭等进行显示和提示,是实现智能眼镜用于车辆维保智能化的一个保障,且建立、健全该数据库的内容,会涉及智能眼镜的各个采集数据的处理,丰富智能眼镜用于车辆维保的功能。
进一步的,使用上述技术方案中的任一个所述的使用智能眼镜进行汽车维保的方法,包括如下步骤:
S1.启动智能眼镜,首先进入识别模式:
通过摄像头采集来的视频数据,自动扫描画面中是否出现车牌号,如果出现车牌号,识别出车牌号;通过识别出的车牌号,从车辆信息数据库中取得车架号或者直接识别出车架号;根据车架号,在车辆信息数据库中取得该车架号对应的车型、年款,在行车数据数据库中取得行驶里程、OBD数据和故障码;通过汽车故障智能分析系统,由行驶里程确定车辆需要做的保养项目;通过汽车故障智能分析系统,由OBD数据和故障码确定车辆需要做的维修项目;
S2.进入操作模式:用户通过语音输入和手势,选择系统提示的维保项目;
S3.进入教学模式:如果用户选择的维保项目是视频教学,则通过维保流程数据库取得维保流程视频,并开始播放;
S4.播放维保视频过程中进入操作模式:用户通过语音输入和手势,控制维保流程视频的播放;
S5.进入教学模式:如果用户选择的维保项目是文字动画教学,则通过维保流程数据库取得维保流程,如果维保流程中需要提示用户操作某汽车零件的时候,进入识别模式;
S6.进入识别模式:识别出画面中出现的特定汽车零件,并提示用户该零件的安装位置,再返回教学模式;
S7.进入教学模式:从车辆结构模型数据库中取得该零件的3D模型,并显示在视频输出系统,并且在3D模型上以动画的形式提示用户应该进行操作的位置以及操作方法;
S8.播放教学动画过程中进入操作模式:用户通过语音输入和手势,操作眼前的3D模型,包括转动,放大,缩小,拆分,合并的动作,使用户更加详细的了解教学过程;
S9退出教学和操作模式:完成操作和教学,退出。
将智能眼镜应用于车辆维保时,分出3个模式(识别,操作,教学),3个模式互相依托,互相支持,互相转换,以实现车辆维保的信息采集、辅助与自实现的目的,而3个模式又都依托于车辆信息数据库,行车数据数据库,车辆结构模型数据库,维保流程数据库,汽车故障智能分析系统(RDM)等一系列信息系统。并展现了一个完整地使用智能眼镜进行辅助车辆维保的过程。
有益效果:本发明上述技术方案的使用,让专业修理工更规范:因为智能眼镜能够通过后台数据库,得到更加详尽的车辆状态信息,以便提供给普通修理工更加规范的,完全符合官方标准的维保流程。让人们选择非4S店修理工也能没有后顾之忧。让发烧友更专业:因为智能眼镜能够通过后台数据库,得到更加详尽的车辆状态信息,可以给与用户更专业的维保项目,可以让发烧友更专业的自己动手完成维修和保养。让菜鸟更从容:因为智能眼镜能够通过后台数据库,得到更加详尽的车辆状态信息,可以第一时间告知已经束手无策的用户如何摆脱困境。
具有触控板的智能眼镜,使得智能眼镜的手势识别成为可能,在一定程度上,解放了使用智能眼镜进行修车的修理人员的双手,而智能眼镜的触控板、声音操作与振动操作进行协调合作,实现了一种多方式的操作体系,同时,还可以作为相互冗余的手段,彼此替代和作为备用,在一种方式无法使用或不便使用的情况下,仍然可以继续修车的工作。
手势识别操作板是一种智能手势输入装置,比如目前常用的加速度传感器或者红外传感器,对使用者的手部动作数据进行采集和初步识别,结合无线通信和USB接口技术,将得到的手部动作信息通过USB接口传输给PC或接收机手势识别操作板的手势识别操作,使用手势识别技术,可以进一步解放了智能眼镜修车过程中的双手的使用,该种单手触控,极大方便了使用智能眼镜进行修车,用户体验进一步加强。
而对于一些使用频率非常高的的手势识别动作,即时进行检测,而对于一些使用频率低的手势识别动作,设定分区检测,即对手势识别操作板被划分出两个检测区域,为第一检测区域与第二检测区域,手势识别操作板接收的手势为间隔的两次沿着镜腿向镜框的方向滑动,间隔时间为1S以上,则启动分区检测模式;该种方法,不仅在有限的可使用逻辑的基础上,进一步扩展了可识别的手势动作,丰富了产品的功能,更进一步分出主次,节省了检测的识别时间,使得检测动作所使用的时间减小。
智能眼镜使用过程中,一旦取下放回口袋中,间隔口袋,触控板感应失灵,此时,若只支持触控板,则无法使用,而按键的并行使用可以解决这个问题,同时,实体按键可以在口袋阻隔下仍继续使用,避免了触控板的使用局限;再者按键可以避免修车过程中,粘有油污的手直接与触控板接触,比如使用一个布,让手与布接触,而实体按键可以在布的阻隔下使用,以保持智能眼镜的整洁。
使用智能眼镜,用于汽车维修的定损,利用了智能眼镜的三维扫描功能,这种定损方式依靠于智能眼镜的实现,极大便利了定损流程的实现,给使用者带来极大便利,而智能眼镜加入这一功能,也是对其智能化的进一步完善。定损过程中,使用点云逆向铺面、建模步骤得到待测部件的三维立体信息,再以此比对,使得定损评价更为客观和全面。
智能眼镜的照明智能化,也是一种人机交互的照明方法,设定使用陀螺仪作为发出开启状态选择信号,是为了进一步解放双手,而强制照明和自动照明的模式选择,是进一步实现其智能照明的目的,在不同工况和环境下,满足客户的不同照明需求,自动照明下,由光强度传感器感知环境光强度,以此作为基础数据,以判断开启光源及自动光源的强度,也是进一步加强了智能眼镜照明的智能化程度,非常方便用户在使用智能眼镜进行车辆维保过程中的应用。
使智能眼镜在车辆维保过程中,具有车牌识别功能,作为一种人机交互手段,以此识别,可以作为维保的前期工作准备,由智能眼镜直接识别车牌,并得到该车牌下的车辆信息,而该车辆信息是进行车辆维保过程中的其它数据获取的基础性信息,因而使得用于车辆维保使用的智能眼镜具有车牌识别,具有重要作用。
使智能眼镜在修车过程中,具有语音识别功能,是使用智能眼镜对车辆维保时完全解放双手的一个技术手段,作为一种人机交互手段,其极大提供了智能眼镜进行修车的便利性,将语音输入和语音识别作为智能眼镜车辆维保的一种指令发出,配合触控板,手势识别等指令发出手段,可以进行冗余的指令发出配合,提高了系统的可靠性和安全性。
使智能眼镜在车辆维保过程中,具有汽车异响识别功能,由车辆的声音信号作为车辆故障检测的数据支持,而数据库中存放海量的车车辆异响信号与对应该异响信号而存在的车辆故障数据,将该功能应用于智能眼镜,使其具有声音方面的交互,即为了实现智能眼镜对声音、图像等多种信号的多方位识别,以得到一款功能丰富,且智能化更高的智能眼镜。
使用外接图像采集设备,可以进一步扩展外部图像扫描的范围,比如,一些智能眼镜无法拍照的区域,就可以使用该外部图像采集设备进行图像采集。而使用语音指令或手势指令对采集设备进行切换,可以使得智能眼镜和外部图像采集设备形成协同作用,共同配合完成图像采集,采集效率较高。使用外接图像采集设备采集图像;方便维修人员控制,对狭小盲区的图像采集。
基于3D模型方法一般把3维人脸模型和2维人脸图像上对应的特征点进行匹配,通过迭代优化,得到3D姿态参数,采用此种方法可以得到较为精确的头部姿态参数,同时,随着特征点数目的增多,姿态参数的误差会随着模型的几何约束而减小。本方法中采用三维采集和二维采集,使其采集精度更高,误差率极小,极其适合维修人员在修理车辆时通过智能眼镜来识别头部动作,并进行相关操作。
由于使用智能眼镜的局限性,很多部位人的头部无法进入,即无法获取故障部位的图片信息,所以采用移动电子设备进行拍照,再与向能眼镜发送故障图片,使维修人员通过故障图片了解故障信息。
本发明解决了当维修人员遇到不能解决的技术问题时,可以向处于同一网络内的其他维修人员求助,其他维修人员不仅能接收到语音消息,而且还能看到故障的图片信息,使其他维修人员理解问题更能透彻一些,进而可以更好的解决遇到的技术问题。
增加了用于汽车维修的智能眼镜的功能,利用眼镜和标尺可不受日照影响即可对汽车零件进行识别。本发明光照条件不足或人眼视力难以辨别的情况,汽车液体标尺的刻度有很好的识别作用。提出识别图片中的标尺,以及液体在标尺中的刻度的方法,可以提高液体余量识别的精准度。增强现实的对液体剩余量以百分比形式可视化的显示,提供一种更加人性化的交互。本发明可针对不同的液体剩余量给出不同的操作提示,对于菜鸟级驾车者更加形象也更加便捷。
增加了用于汽车维修的智能眼镜的功能,利用眼镜即可对汽车零件进行识别。通过智能眼镜进行多角度图像采集,进行三维建模,避免了由于单一方向图像采集而造成的图像形状特征提取不完全的情况。建立了大规模的零件特征数据库,几乎涵盖市面上所有的零件空间特征。本发明采取三维坐标作为特征点坐标,并对特征点所确定的球形区域进行平均区域划分,避免了因为使用对数划分造成的某些集中特征点因为区域面积过小而分开的情况,提高了特征匹配的准确性。由于传统进行最优匹配的匈牙利算法耗时较长,本发明使用LAPJV算法替代匈牙利算法,节省了算法运行的时间,提高了算法运行速度。
本发明对于视力不好及光照条件不利的情况,对机体漏液区域进行自动识别。通过光谱分析,可以判断与现有光谱数据进行比对,可以识别液体类型。图像识别,确定当前漏液范围及其位置。增强现实显示,实时画出漏液范围,给予维修人员提示。
本发明通过对维修人员定位,然后转动智能眼镜中显示的三维图像,使维修人员清楚、直观看到当前位置的二维图像,省去了每当技术人员移动位置时需要重新扫描当前位置的图像,再图像识别的过程中节省了时间,而且通过此种方法,图像显示的准确率高,避免了移动到另一个位置时,被障碍物挡住所要识别部件部位的缺陷。
本发明解决了当维修人员外出修车遇到不能解决的技术问题时,可以远程寻求坐席专家进行解决,而且当寻求坐席外出或者休息时通过计算机自带的故障诊断子系统、维修技术资料数据库、零部件数据库进行查询故障并解决。
适应于不同的定损需求,两次建立模型,既有基于点云逆向三维建模的零部件的粗测量选择,又包含了支持向量机分类模型的计算,增强了分级定损的准确度。
智能眼镜作为可穿戴智能设备,具有一般智能手机,平板不具有的便携性,尤其在需要双手操作的工作情况下。本发明在进行智能眼镜汽车维保过程中,智能提示对应零件安装或拆卸位置,节约时间;零件位置实时精准定位,也使得增强现实的显示对应工具以及拆卸方向,对于维修汽车的新手有很大的帮助。
附图说明
图1为本发明的智能眼镜的结构示意图;
图2为本发明的智能眼镜的主视图;
图3为本发明的智能眼镜的后视图;
图4为本发明的智能眼镜的左视图;
图5为本发明的智能眼镜的右视图;
图6为本发明的智能眼镜的俯视图;
图7为本发明的智能眼镜的仰视图;
图8为本发明的智能眼镜的分解图。
其中:1.镜腿,2.眼镜框,3.回旋弯折,4.第一直板,5.触控板,6.底板,7.光机,8.光源孔,9.摄像头支架,10.控制板,11.麦克风,12.喇叭,13.镜腿外侧,14.第二直板,15.摄像头,16.镜片框。
具体实施方式
为了更为清楚地阐述本发明创造,结合具体实施例对本发明进一步说明。
实施例1:一种使用智能眼镜进行汽车维保的方法,包括以下方法:
用于车辆维保过程中的智能眼镜触控板的使用方法,所述触控板具有方向选择触控按键区域,遮挡不同按键区域,即表示选择该方向的动作,以此操作智能眼镜所具有的软件;所述触控板具有触控确认按键区域,遮挡该按键区域,即表示确定动作,以此操作智能眼镜所具有的软件;所述触控板具有触控取消按键区域,遮挡该按键区域,即表示取消动作,以此操作智能眼镜所具有的软件;
用于车辆维保过程中的智能眼镜的手势识别方法,手势识别操作板检测手势特征,当检测到使用者在手势识别操作板上的手势特征为预设的滑动手势时,向主控芯片发送中断信号,主控芯片判断该手势的逻辑表示,手势识别操作板接收的手势为一次沿着镜腿向镜框的方向滑动,即启动摄像头进行拍照;手势识别操作板接收的手势为连续两次沿着镜腿向镜框的方向滑动,即启动摄像头进行录像;手势识别操作板接收的手势为沿着镜框向镜腿的方向滑动,则关闭拍照或录像动作;遮挡手势识别操作板固定区域1秒时,光源被接通,光源发光以照射汽车检修时的区域;遮挡手势识别操作板固定区域2秒时关闭该光源;手势识别操作板被划分出两个检测区域,为第一检测区域与第二检测区域,手势识别操作板接收的手势为间隔的两次沿着镜腿向镜框的方向滑动,间隔时间为1S以上,则启动分区检测模式:第一区域在先检测到手势遮挡时,若第二区域在后也检测到手势遮挡,则启动麦克风,若第一区域再次检测到遮挡手势,则关闭麦克风;第二区域在先检测到手势遮挡时,若第一区域在后也检测到手势遮挡,则启动喇叭,若第一区域再次检测到遮挡手势,则关闭喇叭;
用于车辆维保过程中的智能眼镜触控板与按键的并行使用防油污的方法,触控板具有方向选择触控按键区域,遮挡不同按键区域,即表示选择该方向的动作,以此操作智能眼镜所具有的软件,且所述的眼镜还具有与选择触控按键区域相对应的按键,该按键在使用者修理汽车时,由于存在阻隔无法使用触控板时而使用;
用于车辆维保过程中的智能眼镜判定车辆损伤程度的方法,其特征在于,包括信息采集步骤及部件定损步骤;智能眼镜将采集到的信息传输至计算机,由计算机对采集到的信息进行特征提取,并对部件的损伤级别进行评定;信息采集及部件定损的步骤为:智能眼镜上设有光源、光栅以及双目立体视觉摄像头,打开光源,双目立体视觉摄像头采集待测部件的数据信息,所述受损车辆的各个部件区域分别对应部件虚拟框线图,基于所述用户选择的部件虚拟框线图,将所述受损车辆的受损部件通过视点对焦落入选择的部件虚拟框线图之内,通过拍照的方式对所述受损部件进行框选拍照,以采集所述车辆受损部件的图像信息;所述图像数据信息通过非触式传感器传输到计算机内进行点云逆向铺面、建模步骤,得到待测部件的三维立体信息,由所述得到待测部件的三维立体信息与计算机已存储的正常的零部件的三维模型相比对,得到对比结果,根据预先划分表示不同损伤程度的多级区间,计算各对比结果落入的具体区间,以判定待测部件的损伤程度;
汽车维保过程中智能眼镜的照明方法,包括如下步骤:S1.有用户佩戴智能眼镜,陀螺仪感应振动即发出状态选择信号或者在关闭陀螺仪感应开启的情况下,使用一种输入方式,使得智能眼镜发出状态选择信号;S2.用户选择进入自动照明状态或强制照明状态:S2.1.用户选择为强制照明状态,则光源启动发光;S2.2.用户选择自动照明状态,设定光照阈值及光源启动的光强度阈值:S2.2.1.光强度传感器实时采集环境的光强度信号,直至采集的光强度值低于设定的光强度阈值;S2.2.2控制板输出的控制信号驱动制双向可控硅电路导通实现光源亮度调整,达到零补偿值后,保持设定的灯光阈值灯亮度不变;光强度传感器采集当前环境光强度值,输出信号经信号处理通过A/D转换单元将模拟光强度信号转变成数字光强度信号,以串行方式发送到控制板的接收端口,控制板接收数据,输出将信息转换成可读取数值,显示当前光强度值;控制板通过内置的控制算法对接收数据进行运算和处理,以判断光源的开关状态、计算光照补偿值和发送控制信号;触控板设置滑动强制开启灯光模式,设定一滑动手势,则该手势操作使得光源强制开启;该步骤中,一旦输入开启光源的语音指令,则强制开启光源;
汽车维保过程中智能眼镜通过车牌识别并获得车辆信息的方法,包括如下步骤:S1.操作人员带上智能眼镜,将眼镜模式切换为识别模式,进行车牌识别;S2.通过智能眼镜的前置摄像头,对车辆进行图像的采集;S3.将采集的图像信息传输至主机中的图像识别匹配模块,首先进行图像的预处理,对采集的车辆图像,进行分割处理,定位车牌所在的区域;然后将车牌区域中的字符进行单个分割,每个字符或者数字形成单独的图像,进行识别,通过采用离线的已经训练好的分类模型,对单个字符或者数字图像进行分类识别,并判断每个所识别字符的置信度得分,选取最高置信度的字符作为最终识别的字符;将识别出来的字符按顺序进行拼接,即为所识别的车牌号,如无法对采集的图像进行车牌识别,则将识别失败的信息传输给控制模块;S4.控制模块获得图像识别匹配模块分析结果后,判断是否识别成功;如果失败,控制震动模块和音频输出模块,提示用户车牌识别失败;如果成功,将识别的车牌号通过通讯模块,传给远程服务器,远程服务器收到车牌号信息,在车辆信息数据库中,检索车辆车架号等其他车辆信息;通过车辆车架号,同时也可以获取车辆的车型、配置的信息;S5.远程服务端检索到车辆信息之后,通过通讯模块,将检索结果返回给控制模块,控制模块将结果信息传送给图像输出模块,用以给操作者进行图像信息的呈现;
智能眼镜应用于汽车维保领域的语音指令识别方法,,包括如下步骤:S1.操作人员带上智能眼镜,将眼镜模式切换为操作模式,进行语音操作交互;S2.智能眼镜的麦克风阵列获取并采集用户语音指令;S3.语音指令传输至智能眼镜主机中的语音识别匹配模块,进行语音的预处理,以及声音信号的特征提取,对提取的特征进行分类识别,判断是否为语音指令信号,如果是语音指令信号,与语音指令库中的指令进行匹配,选取最为相似的指令作为输出;S4.如指令匹配成功,控制模块接收到指令输入,进行相应的指令操作并同时控制震动反馈模块和音频输出模块提示用户,指令匹配成功;如果是需要进行远程服务端获取数据的指令,则需要通过通讯模块,利用无线通讯设备将识别后的指令发送给远程服务器,用以获取远程服务器的数据;S5.如果指令匹配不成功,控制模块会控制震动反馈模块提示用户,指令没有识别,并控制语音输出模块,提示请尝试再次发出指令;所述指令操作包括扫描、确认、返回、暂停、调整音量和由数据库里取出数据的操作;
汽车维保过程中智能眼镜用于判定汽车异响的方法,包括如下步骤:S1.操作人员将眼镜模式切换为识别模式,发出语音指令并进行声音故障分析识别;S2.智能眼镜麦克风阵列获取并采集声音信号;S3.声音信号传输至智能眼镜主机中的声音识别匹配模块,进行声音的降噪,奇异性检测,以及声音信号的特征提取,对提取的特征进行分类识别,判断声音所属类别,以及故障程度,同时将分析结果信息传输给控制模块;S4.控制模块接收到结果信息之后,控制震动反馈模块提示用户,并控制图像输出模块显示分析结果;
智能眼镜维保过程中的盲区查看的方法,包括如下步骤:S1.外接图像采集设备,包括高分辨摄像头、LED光源、和通讯模块,通讯模块与智能眼镜进行数据通讯;S2.外接图像采集设备底端有一拖杆,拖杆可自动插拔;S3.通过USB接口、USB数据线、WIF或者蓝牙将智能眼镜和外接设备进行连接;S4.智能眼镜的控制模块,接收外接设备的图像信息,进行相应的分析、显示或者操作;S5.通讯过程中,维修人员可通过语音指令方式或者手势指令方式,对智能眼镜图像采集和外接图像采集设备图像采集进行切换;
汽车维保智能眼镜上的头部姿态识别的方法,包括如下具体步骤:S1:使用智能眼镜上的立体摄像头估计头部的三维姿态参数,并分析头部动作;S2:通过离散小波变换分析检测到头部运动,然后通过3D头部模型迭代求精获得3D参数;S3:当检测到维修人员点头时,代表信息的确认;当检测到维修人员摇头时,代表操作的取消;当检测到维修人员点两次头时,代表进行下一操作界面;当检测到维修人员连续摇头时,代表关闭该头像识别系统;
智能眼镜共享用于汽车维保的其他设备数据的方法,适用于智能眼镜,所述智能眼镜与至少一个移动电子设备通过网络相连,进行数据传输,具体方法如下:维修人员无法用智能眼镜拍摄故障部位图片时,用移动电子设备进行拍摄,并将拍摄的照片通过传输模块发送到智能眼镜上;智能眼镜的显示模块显示该故障图片,维修人员通过故障图片采取相应的技术进行维修;当维修人员不能对故障进行解决时,则向移动电子设备发送支援请求,移动电子设备上的故障诊断子系统、维修技术资料数据库、零部件数据库对该图像进行识别,并找出解决该故障的方法,通过传输模块发送至智能眼镜上;
智能眼镜应用于汽车维保的过程中的多机交互方法,包括以下步骤:S1:预先设置智能眼镜主机与多台从机,从机记录主机的地址信息;S2:从机通过地址信息定位到主机,并通过Windows通讯接口WCF技术连接到所述主机;S3:主机识别所述从机的交互协议,根据所述交互协议与从机建立通信;S4:当维修人员遇到不能解决的技术问题时,向主机和/或其他从机发送语音消息以及当前图像的图像数据,主机和/或其他从机通过语音播报模块听取该维修人员遇到的技术问题以及通过显示模块显示该图像信息;S5:主机或其他从机的维修人员知道如何解决该问题时,通过语音识别模块,将语音消息发送至遇到技术问题的维修人员的主机或从机上;S6:遇到技术问题的维修人员通过语音播报模块听取如何解决该技术问题的语音消息;
智能眼镜检测汽车液体余量的方法,具体步骤如下:S1:操作人员带上智能眼镜,将眼镜模式切换为识别模式,进行液体余量检测;S2:使用标尺进行液体余量测取,并通过智能眼镜前置摄像头采集标尺图像;S3:将图像数据传输至图像识别匹配模块,对图像中的标尺的刻度进行识别;S4:将识别结果传输给控制模块,根据得到的百分比结果,控制图像输出模块,将结果通过光机显示的镜片上;所述的结果给出3种提示:红色报警液体过少需添加或液体正常可添加或液体足够使用无须添加;
智能眼镜维保过程中的零件识别方法,具体步骤如下:S1:首先对现有的零件构建离线特征库,用以支持与后续智能眼镜所采集的零件信息进行特征匹配,并将该特征库存储于服务器数据库模块中;S2:将智能眼镜模式调为识别模式,通过智能眼镜上的前置摄像头,对待识别的零件进行多角度拍摄,拍摄图像必须有重叠部分,将所拍摄的图片通过通讯模块传至服务器进行三维重建,提取空间上下文特征;S3:将提取的空间上下文特征与离线特征库中的零件特征进行比对,采用LAPJV算法对特征矩阵进行最优匹配操作,使代价值最小;S4:在离线特征数据库中选取代价最小值所对应的汽车零件作为当前待检测的零件最匹配的零件;S5:服务器将匹配的零件的名称、型号、价格等信息传送给智能眼镜,控制模块控制图像输出模块进行零件信息的展示;
智能眼镜维保过程中的漏液识别方法,具体步骤如下:S1:操作人员佩戴智能眼镜,将智能眼镜切换为识别模式;S2:前置摄像头对当前机体图像信息采集,控制模块会根据图像采集的质量,操作LED光源进行补光;S3:智能眼镜镜架上设有另一光源,当光束打在机体上时间,会有不同的光谱显示;S4:将前置摄像头采集的光谱数据传输至图像识别匹配模块,与已知的漏液光谱进行比对分析,定位当前漏液范围及其位置;S5:控制模块通过分析结果,调用图像输出模块增强现实的实时显示漏液范围;
智能眼镜应用于汽车维保过程中的室内定位及图像识别的方法,包括以下步骤:S1:置于室内屋角的多个蓝牙设备识别修理人员处于第一位置时,智能眼镜的摄像头扫描到目标物体的二维图像,并将该二维图像发送到数据存储库中;S2:数据存储库中的处理模块根据二维图像找出对应的三维图像,通过传输模块在返回到眼镜的光机上;S3:当多个蓝牙设备识别到修理人员移动到第二位置时,处理模块自动将该三维图像进行旋转,以使得修理人员位于第二位置时所观察到的目标物体的图像与光机上所显示的图像一致;S4:修理人员通过光机上的所显示的图像继续对故障进行修理。S5:重复步骤S3-S4;所述的数据存储库、处理模块、传输模块和眼镜上的蓝牙设备集成与一体,安装在摄像头支架上;
智能眼镜应用于汽车远程维保支援的方法,包括以下步骤:S1:当维修人员外出修车遇到疑难问题时,智能眼镜的摄像头采集故障车辆工况信息、语音识别模块识别维修人员遇到的技术问题;S2:将故障车辆工况信息和语音信息通过远程互动系统传回维修公司向坐席专家寻求技术支持;S3:维修公司坐席专家通过远程系统在装有无线网桥的计算机上显示的图像,标记有缺陷的部位;S4:并将标记有缺陷的部位的图像、如何解决技术问题的语音消息通过远程系统发送给维修人员;S5:维修人员通过显示模块显示的图像和语音播报模块播报的语音消息进行车辆维修;
智能眼镜应用于维保过程中的划分零件定损等级的方法,具体步骤如下:S1:操作人员带上智能眼镜,将智能眼镜模式切换为识别模式,进行零件受损检测;S2:通过智能眼镜前置摄像头采集零件图像信息,控制模块通过通讯模块将零件图像信息传输到远程服务器,远程服务器使用CATIA软件进行点云逆向铺面、建模得到待测部件的三维立体信息;S3:远程服务器建立三位立体信息之后,进行LBP、尺寸、曲率以及距离信息的特征信息的提取;S4:获得特征信息之后,远程服务器对部件进行定损分析,由点云逆向重建模型获得待测部件的尺寸、曲率、距离数据;并将已存储的正常的零部件的三维模型测量结果与故障模型三维测量结果作比较;S5:服务器对零件定损分级之后,通过通讯模块将分析结果传输到智能眼镜中,控制模块控制图像输出模块对结果进行显示;
智能眼镜在汽车维保过程中的零件拆卸的方法,具体步骤如下:S1.将智能眼镜模式调为识别模式;S2.通过智能眼镜前置摄像头,对待拆卸或安装的零部件图像进行采集,将实时图像数据传送到图像识别匹配模块进行图像处理;S3.图像识别模块对零部件图片进行识别,识别出对应部件上可拆卸零件的位置,通过控制模块,调用图像输出模块进行实时的标记;S4.通过标记图像对零件进行拆卸;
所述智能眼镜包括眼镜框2和镜腿1,其中一个镜腿1具有一个回旋弯折3,回旋弯折3的一侧连接第一直板4,该第一直板4设置有朝向镜腿外侧13的触控板5,该回旋弯折3的另一侧连接第二直板14,该第二直板14的上、下两侧具有伸出的底板6,与第二直板14形成摄像头15的容置部,第二直板14设有摄像头15安装孔,所述两个底板6与光机7连接,且该光机7位于与其更为相近的镜片框16的前方,镜片框16连接于第一直板4且设置于回旋弯折3较近处,第一直板4与第二直板14基本垂直,所述基本垂直为偏离垂直0-5度左右,使得二者大致呈垂直角度。
本发明所述的回旋弯折主要用于连接触控板与摄像头,并使得该两种元部件可以呈基本垂直位置,而图像采集与触控操作的该种位置关系,使得用户使用时,具有一种更为舒适的交互位置,且该种位置结构,也使得光机可以处于镜框正前方,该种画面显示位置与触控操作位置,是维保过程中的较佳位置,方便维保时的操作与观看画面,而镜片框连接于第一直板且设置于回旋弯折较近处,使得实现智能化的元部件直接由镜腿承担,没有对眼镜框造成不必要的改进而影响到视线观察范围。而摄像功能是使用智能眼镜进行汽车维保的方法的一个主要功能,因而摄像头置于容置部中,也是对摄像头的一种保护,该种结构也较为节省空间。
实施例2:与实施例1具有相同的技术方案,区别是:摄像头15容置部中安装光源且对应于第二直板14上的光源孔8,麦克风11安装在第一直板4内侧,眼镜框2和回旋弯折连接处附近;喇叭12安装于在佩戴智能眼镜时镜腿1上靠近耳朵的部位;摄像头15由摄像头15支架9支撑安装在摄像头15容置部中,陀螺仪,用以识别振动信号,设定不同的振动信号以对使汽车维保的智能眼镜执行对应动作。光源、麦克风和喇叭是实现使用智能眼镜进行维保的多方位交互手段,实现了一种全方位的智能交互,以提高智能眼镜的智能化。
实施例3:与实施例2具有相同的技术方案,区别是:摄像头15、光源、麦克风11和喇叭12连接于控制板10,该控制板10具有无线通讯模块,用于接收摄像头15、光源、麦克风11发出的信号,并可对该接收信号进行数据处理,且该控制板10安装有无线信号收发模块,且使用该信号收发模块向远程服务器发送和接收信号,无线信号包括,Wifi,蓝牙,GPS,FM。由于智能眼镜是直接与控制板连接,控制板再与远程服务器进行信号交互,而控制板还可对该接收信号进行数据处理,即一些简单的识别操作或者其它的操作,可以完全又控制板进行识别或其它处理,或者由控制板在先预处理,可以缓解远程服务器的处理压力,并且进一步提高了处理速度,特别是预处理过的信号再交于远程服务器完成后续处理,可以极大缩减远程服务器的处理时间,使得用户较快速地得到处理结果。
实施例4:与实施例1或2或3具有相同的技术方案,区别是:控制板10包括有图像识别匹配模块,用于图像的预处理,特征提取,分类识别;控制模块,用于输入信息识别后,执行相应操作以及反馈;图像输出模块,用于给操作者进行图像反馈;音频输出模块,用以给操作者进行声音反馈;震动反馈模块,用以进行震动反馈;服务器数据库模块,用于服务端数据的检索;控制板的上述各模块是下载在控制板中的程序运行得以实现的,设定上述模块,目的在于对采集的图像、声音等信号进行处理,以期得到相应的输出结果。
实施例5:与实施例1-4任意个具有相同的技术方案,区别是:控制板10还连接存储器,该控制板10通过信号线与摄像头15、光源、麦克风11和喇叭12连接,且集成于一主机箱内,该控制板10同步进行数据处理和信号收发。该处控制器连接存储器的目的在于,由于智能眼镜维保的时候,有可能出现网络故障等无法与远程服务器交互数据的情形,但是,智能眼镜仍然需要采集数据,那么采集的数据就可以暂时不停下来,先进行数据存储,在网络恢复时,继续就数据的传输。
实施例6:与实施例1-5任意个具有相同的技术方案,区别是:摄像头采集的车牌图像,仅由控制板执行图形识别处理,得到该车牌信息,直接将车牌信息发送于远程服务器。摄像头采集车牌信息,该车牌信息直接由智能眼镜的控制板进行识别,将识别之后的信息再发与远程服务器,该种方式的优点在于:直接发送车牌的图像至远程服务器进行识别再匹配,不仅传输的信号比较多,耗费时间,服务器接收该信号进行识别处理的时间很长,而在现场对该图片信息处理,得到识别的数据进行传输,信号传输时间短,速度快,可以尽快是的用户得到该车牌下的车辆信息或者其它信息。
实施例7:与实施例1-6任意个具有相同的技术方案,区别是:远程服务器具有车辆信息数据库、行车数据数据库、车辆结构模型数据库、维保流程数据库、工具模型数据库、汽车故障智能分析系统,所述车辆信息数据库存储车牌号,及该车牌号对应的车辆的车架号、车主信息、车辆保养记录和车辆维修记录,且还存储该车牌号下的车型、年款和车辆配置信息;所述的行车数据数据库存储由车牌号或者该车牌号下的车架号对应的车辆的OBD数据和故障码;所述车辆结构模型数据库存储由车型、年款和车辆配置信息对应的车辆组成及组成部分的说明和3D建模图形;所述维保流程数据库存储该车牌号或车架号对应的车辆行驶里程和故障信息,及维保流程说明;所述工具模型数据库存储针对不同车辆故障维修需要使用的工具的说明和3D建模图形,所述汽车故障智能分析系统,整合远程服务器具有车辆信息数据库、行车数据数据库、车辆结构模型数据库、维保流程数据库,分析车辆故障和确定保养流程。
在远程服务器设置上述数据库,对于智能眼镜采集的关于车辆维保的信息,都可以调取相关数据库中的数据,并反馈用户结果,于光机、喇叭等进行显示和提示,是实现智能眼镜用于车辆维保智能化的一个保障,且建立、健全该数据库的内容,会涉及智能眼镜的各个采集数据的处理,丰富智能眼镜用于车辆维保的功能。
实施例8:本发明还涉及一种使用智能眼镜进行车辆维保的方法,使用上述技术方案中的任一个所述的使用智能眼镜进行汽车维保的方法,包括如下步骤:
S1.启动智能眼镜,首先进入识别模式:
通过摄像头采集来的视频数据,自动扫描画面中是否出现车牌号,如果出现车牌号,识别出车牌号;通过识别出的车牌号,从车辆信息数据库中取得车架号或者直接识别出车架号;根据车架号,在车辆信息数据库中取得该车架号对应的车型、年款,在行车数据数据库中取得行驶里程、OBD数据和故障码;通过汽车故障智能分析系统,由行驶里程确定车辆需要做的保养项目;通过汽车故障智能分析系统,由OBD数据和故障码确定车辆需要做的维修项目;
S2.进入操作模式:用户通过语音输入和手势,选择系统提示的维保项目;
S3.进入教学模式:如果用户选择的维保项目是视频教学,则通过维保流程数据库取得维保流程视频,并开始播放;
S4.播放维保视频过程中进入操作模式:用户通过语音输入和手势,控制维保流程视频的播放;
S5.进入教学模式:如果用户选择的维保项目是文字动画教学,则通过维保流程数据库取得维保流程,如果维保流程中需要提示用户操作某汽车零件的时候,进入识别模式;
S6.进入识别模式:识别出画面中出现的特定汽车零件,并提示用户该零件的安装位置,再返回教学模式;
S7.进入教学模式:从车辆结构模型数据库中取得该零件的3D模型,并显示在视频输出系统,并且在3D模型上以动画的形式提示用户应该进行操作的位置以及操作方法;
S8.播放教学动画过程中进入操作模式:用户通过语音输入和手势,操作眼前的3D模型,包括转动,放大,缩小,拆分,合并的动作,使用户更加详细的了解教学过程;
S9退出教学和操作模式:完成操作和教学,退出。
将智能眼镜应用于车辆维保时,分出3个模式(识别,操作,教学),3个模式互相依托,互相支持,互相转换,以实现车辆维保的信息采集、辅助与自实现的目的,而3个模式又都依托于车辆信息数据库,行车数据数据库,车辆结构模型数据库,维保流程数据库,汽车故障智能分析系统(RDM)等一系列信息系统。并展现了一个完整地使用智能眼镜进行辅助车辆维保的过程。
以上所述,仅为本发明较佳的具体实施方式,但本发明的保护范围并不局限于此,任何熟悉本技术领域的技术人员在本发明披露的技术范围内,根据本发明的技术方案及其发明构思加以等同替换或改变,都应涵盖在本发明的保护范围之内。

Claims (8)

1.一种使用智能眼镜进行汽车维保的方法,其特征在于,包括如下方法:
(1)用于车辆维保过程中的智能眼镜触控板的使用方法,所述触控板具有方向选择触控按键区域,遮挡不同按键区域,即表示选择该方向的动作,以此操作智能眼镜所具有的软件;所述触控板具有触控确认按键区域,遮挡该按键区域,即表示确定动作,以此操作智能眼镜所具有的软件;所述触控板具有触控取消按键区域,遮挡该按键区域,即表示取消动作,以此操作智能眼镜所具有的软件;
(2)用于车辆维保过程中的智能眼镜的手势识别方法,手势识别操作板检测手势特征,当检测到使用者在手势识别操作板上的手势特征为预设的滑动手势时,向主控芯片发送中断信号,主控芯片判断该手势的逻辑表示,其特征在于:手势识别操作板接收的手势为一次沿着镜腿向镜框的方向滑动,即启动摄像头进行拍照;手势识别操作板接收的手势为连续两次沿着镜腿向镜框的方向滑动,即启动摄像头进行录像;手势识别操作板接收的手势为沿着镜框向镜腿的方向滑动,则关闭拍照或录像动作;遮挡手势识别操作板固定区域1秒时,光源被接通,光源发光以照射汽车检修时的区域;遮挡手势识别操作板固定区域2秒时关闭该光源;手势识别操作板被划分出两个检测区域,为第一检测区域与第二检测区域,手势识别操作板接收的手势为间隔的两次沿着镜腿向镜框的方向滑动,间隔时间为1S以上,则启动分区检测模式:第一区域在先检测到手势遮挡时,若第二区域在后也检测到手势遮挡,则启动麦克风,若第一区域再次检测到遮挡手势,则关闭麦克风;第二区域在先检测到手势遮挡时,若第一区域在后也检测到手势遮挡,则启动喇叭,若第一区域再次检测到遮挡手势,则关闭喇叭;
(3)用于车辆维保过程中的智能眼镜触控板与按键的并行使用防油污的方法,其特征在于:触控板具有方向选择触控按键区域,遮挡不同按键区域,即表示选择该方向的动作,以此操作智能眼镜所具有的软件,且所述的眼镜还具有与选择触控按键区域相对应的按键,该按键在使用者修理汽车时,由于存在阻隔无法使用触控板时而使用;
(4)用于车辆维保过程中的智能眼镜判定车辆损伤程度的方法,其特征在于,包括信息采集步骤及部件定损步骤;智能眼镜将采集到的信息传输至计算机,由计算机对采集到的信息进行特征提取,并对部件的损伤级别进行评定;信息采集及部件定损的步骤为:智能眼镜上设有光源、光栅以及双目立体视觉摄像头,打开光源,双目立体视觉摄像头采集待测部件的数据信息,受损车辆的各个部件区域分别对应部件虚拟框线图,基于用户选择的部件虚拟框线图,将所述受损车辆的受损部件通过视点对焦落入选择的部件虚拟框线图之内,通过拍照的方式对所述受损部件进行框选拍照,以采集所述车辆受损部件的图像信息;所述图像数据信息通过非触式传感器传输到计算机内进行点云逆向铺面、建模步骤,得到待测部件的三维立体信息,由所述得到待测部件的三维立体信息与计算机已存储的正常的零部件的三维模型相比对,得到对比结果,根据预先划分表示不同损伤程度的多级区间,计算各对比结果落入的具体区间,以判定待测部件的损伤程度;
(5)汽车维保过程中智能眼镜的照明方法,包括如下步骤:S1.有用户佩戴智能眼镜,陀螺仪感应振动即发出状态选择信号或者在关闭陀螺仪感应开启的情况下,使用一种输入方式,使得智能眼镜发出状态选择信号;S2.用户选择进入自动照明状态或强制照明状态:S2.1.用户选择为强制照明状态,则光源启动发光;S2.2.用户选择自动照明状态,设定光照阈值及光源启动的光强度阈值:S2.2.1.光强度传感器实时采集环境的光强度信号,直至采集的光强度值低于设定的光强度阈值;S2.2.2控制板输出的控制信号驱动制双向可控硅电路导通实现光源亮度调整,达到零补偿值后,保持设定的灯光阈值灯亮度不变;光强度传感器采集当前环境光强度值,输出信号经信号处理通过A/D转换单元将模拟光强度信号转变成数字光强度信号,以串行方式发送到控制板的接收端口,控制板接收数据,输出将信息转换成可读取数值,显示当前光强度值;控制板通过内置的控制算法对接收数据进行运算和处理,以判断光源的开关状态、计算光照补偿值和发送控制信号;触控板设置滑动强制开启灯光模式,设定一滑动手势,则该手势操作使得光源强制开启;该步骤中,一旦输入开启光源的语音指令,则强制开启光源;
(6)汽车维保过程中智能眼镜通过车牌识别并获得车辆信息的方法,包括如下步骤:S1.操作人员带上智能眼镜,将眼镜模式切换为识别模式,进行车牌识别;S2.通过智能眼镜的前置摄像头,对车辆进行图像的采集;S3.将采集的图像信息传输至主机中的图像识别匹配模块,首先进行图像的预处理,对采集的车辆图像,进行分割处理,定位车牌所在的区域;然后将车牌区域中的字符进行单个分割,每个字符或者数字形成单独的图像,进行识别,通过采用离线的已经训练好的分类模型,对单个字符或者数字图像进行分类识别,并判断每个所识别字符的置信度得分,选取最高置信度的字符作为最终识别的字符;将识别出来的字符按顺序进行拼接,即为所识别的车牌号,如无法对采集的图像进行车牌识别,则将识别失败的信息传输给控制模块;S4.控制模块获得图像识别匹配模块分析结果后,判断是否识别成功;如果失败,控制震动模块和音频输出模块,提示用户车牌识别失败;如果成功,将识别的车牌号通过通讯模块,传给远程服务器,远程服务器收到车牌号信息,在车辆信息数据库中,检索车辆车架号等其他车辆信息;通过车辆车架号,同时也可以获取车辆的车型、配置的信息;S5.远程服务端检索到车辆信息之后,通过通讯模块,将检索结果返回给控制模块,控制模块将结果信息传送给图像输出模块,用以给操作者进行图像信息的呈现;
(7)智能眼镜应用于汽车维保领域的语音指令识别方法,包括如下步骤:S1.操作人员带上智能眼镜,将眼镜模式切换为操作模式,进行语音操作交互;S2.智能眼镜的麦克风阵列获取并采集用户语音指令;S3.语音指令传输至智能眼镜主机中的语音识别匹配模块,进行语音的预处理,以及声音信号的特征提取,对提取的特征进行分类识别,判断是否为语音指令信号,如果是语音指令信号,与语音指令库中的指令进行匹配,选取最为相似的指令作为输出;S4.如指令匹配成功,控制模块接收到指令输入,进行相应的指令操作并同时控制震动反馈模块和音频输出模块提示用户,指令匹配成功;如果是需要进行远程服务端获取数据的指令,则需要通过通讯模块,利用无线通讯设备将识别后的指令发送给远程服务器,用以获取远程服务器的数据;S5.如果指令匹配不成功,控制模块会控制震动反馈模块提示用户,指令没有识别,并控制语音输出模块,提示请尝试再次发出指令;所述指令操作包括扫描、确认、返回、暂停、调整音量和由数据库里取出数据的操作;
(8)汽车维保过程中智能眼镜用于判定汽车异响的方法,包括如下步骤:S1.操作人员将眼镜模式切换为识别模式,发出语音指令并进行声音故障分析识别;S2.智能眼镜麦克风阵列获取并采集声音信号;S3.声音信号传输至智能眼镜主机中的声音识别匹配模块,进行声音的降噪,奇异性检测,以及声音信号的特征提取,对提取的特征进行分类识别,判断声音所属类别,以及故障程度,同时将分析结果信息传输给控制模块;S4.控制模块接收到结果信息之后,控制震动反馈模块提示用户,并控制图像输出模块显示分析结果;
(9)智能眼镜维保过程中的盲区查看的方法,包括如下步骤:S1.外接图像采集设备,包括高分辨摄像头、LED光源、和通讯模块,通讯模块与智能眼镜进行数据通讯;S2.外接图像采集设备底端有一拖杆,拖杆可自动插拔;S3.通过USB接口、USB数据线、WIF或者蓝牙将智能眼镜和外接设备进行连接;S4.智能眼镜的控制模块,接收外接设备的图像信息,进行相应的分析、显示或者操作;S5.通讯过程中,维修人员可通过语音指令方式或者手势指令方式,对智能眼镜图像采集和外接图像采集设备图像采集进行切换;
(10)汽车维保智能眼镜上的头部姿态识别的方法,包括如下具体步骤:S1:使用智能眼镜上的立体摄像头估计头部的三维姿态参数,并分析头部动作;S2:通过离散小波变换分析检测到头部运动,然后通过3D头部模型迭代求精获得3D参数;S3:当检测到维修人员点头时,代表信息的确认;当检测到维修人员摇头时,代表操作的取消;当检测到维修人员点两次头时,代表进行下一操作界面;当检测到维修人员连续摇头时,代表关闭头像识别系统;
(11)智能眼镜共享用于汽车维保的其他设备数据的方法,适用于智能眼镜,所述智能眼镜与至少一个移动电子设备通过网络相连,进行数据传输,具体方法如下:维修人员无法用智能眼镜拍摄故障部位图片时,用移动电子设备进行拍摄,并将拍摄的照片通过传输模块发送到智能眼镜上;智能眼镜的显示模块显示该故障图片,维修人员通过故障图片采取相应的技术进行维修;当维修人员不能对故障进行解决时,则向移动电子设备发送支援请求,移动电子设备上的故障诊断子系统、维修技术资料数据库、零部件数据库对该图像进行识别,并找出解决该故障的方法,通过传输模块发送至智能眼镜上;
(12)智能眼镜应用于汽车维保的过程中的多机交互方法,包括以下步骤:S1:预先设置智能眼镜主机与多台从机,从机记录主机的地址信息;S2:从机通过地址信息定位到主机,并通过Windows通讯接口WCF技术连接到所述主机;S3:主机识别所述从机的交互协议,根据所述交互协议与从机建立通信;S4:当维修人员遇到不能解决的技术问题时,向主机和/或其他从机发送语音消息以及当前图像的图像数据,主机和/或其他从机通过语音播报模块听取该维修人员遇到的技术问题以及通过显示模块显示该图像信息;S5:主机或其他从机的维修人员知道如何解决该问题时,通过语音识别模块,将语音消息发送至遇到技术问题的维修人员的主机或从机上;S6:遇到技术问题的维修人员通过语音播报模块听取如何解决该技术问题的语音消息;
(13)智能眼镜检测汽车液体余量的方法,具体步骤如下:S1:操作人员带上智能眼镜,将眼镜模式切换为识别模式,进行液体余量检测;S2:使用标尺进行液体余量测取,并通过智能眼镜前置摄像头采集标尺图像;S3:将图像数据传输至图像识别匹配模块,对图像中的标尺的刻度进行识别;S4:将识别结果传输给控制模块,根据得到的百分比结果,控制图像输出模块,将结果通过光机显示的镜片上;所述的结果给出3种提示:红色报警液体过少需添加或液体正常可添加或液体足够使用无须添加;
(14)智能眼镜维保过程中的零件识别方法,具体步骤如下:S1:首先对现有的零件构建离线特征库,用以支持与后续智能眼镜所采集的零件信息进行特征匹配,并将该特征库存储于服务器数据库模块中;S2:将智能眼镜模式调为识别模式,通过智能眼镜上的前置摄像头,对待识别的零件进行多角度拍摄,拍摄图像必须有重叠部分,将所拍摄的图片通过通讯模块传至服务器进行三维重建,提取空间上下文特征;S3:将提取的空间上下文特征与离线特征库中的零件特征进行比对,采用LAPJV算法对特征矩阵进行最优匹配操作,使代价值最小;S4:在离线特征数据库中选取代价最小值所对应的汽车零件作为当前待检测的零件最匹配的零件;S5:服务器将匹配的零件的名称、型号、价格等信息传送给智能眼镜,控制模块控制图像输出模块进行零件信息的展示;
(15)智能眼镜维保过程中的漏液识别方法,具体步骤如下:S1:操作人员佩戴智能眼镜,将智能眼镜切换为识别模式;S2:前置摄像头对当前机体图像信息采集,控制模块会根据图像采集的质量,操作LED光源进行补光;S3:智能眼镜镜架上设有另一光源,当光束打在机体上时间,会有不同的光谱显示;S4:将前置摄像头采集的光谱数据传输至图像识别匹配模块,与已知的漏液光谱进行比对分析,定位当前漏液范围及其位置;S5:控制模块通过分析结果,调用图像输出模块增强现实的实时显示漏液范围;
(16)智能眼镜应用于汽车维保过程中的室内定位及图像识别的方法,包括以下步骤:S1:置于室内屋角的多个蓝牙设备识别修理人员处于第一位置时,智能眼镜的摄像头扫描到目标物体的二维图像,并将该二维图像发送到数据存储库中;S2:数据存储库中的处理模块根据二维图像找出对应的三维图像,通过传输模块在返回到眼镜的光机上;S3:当多个蓝牙设备识别到修理人员移动到第二位置时,处理模块自动将该三维图像进行旋转,以使得修理人员位于第二位置时所观察到的目标物体的图像与光机上所显示的图像一致;S4:修理人员通过光机上的所显示的图像继续对故障进行修理;S5:重复步骤S3-S4;所述的数据存储库、处理模块、传输模块和眼镜上的蓝牙设备集成与一体,安装在摄像头支架上;
(17)智能眼镜应用于汽车远程维保支援的方法,包括以下步骤:S1:当维修人员外出修车遇到疑难问题时,智能眼镜的摄像头采集故障车辆工况信息、语音识别模块识别维修人员遇到的技术问题;S2:将故障车辆工况信息和语音信息通过远程互动系统传回维修公司向坐席专家寻求技术支持;S3:维修公司坐席专家通过远程系统在装有无线网桥的计算机上显示的图像,标记有缺陷的部位;S4:并将标记有缺陷的部位的图像、如何解决技术问题的语音消息通过远程系统发送给维修人员;S5:维修人员通过显示模块显示的图像和语音播报模块播报的语音消息进行车辆维修;
(18)智能眼镜应用于维保过程中的划分零件定损等级的方法,具体步骤如下:S1:操作人员带上智能眼镜,将智能眼镜模式切换为识别模式,进行零件受损检测;S2:通过智能眼镜前置摄像头采集零件图像信息,控制模块通过通讯模块将零件图像信息传输到远程服务器,远程服务器使用CATIA软件进行点云逆向铺面、建模得到待测部件的三维立体信息;S3:远程服务器建立三位立体信息之后,进行LBP、尺寸、曲率以及距离信息的特征信息的提取;S4:获得特征信息之后,远程服务器对部件进行定损分析,由点云逆向重建模型获得待测部件的尺寸、曲率、距离数据;并将已存储的正常的零部件的三维模型测量结果与故障模型三维测量结果作比较;S5:服务器对零件定损分级之后,通过通讯模块将分析结果传输到智能眼镜中,控制模块控制图像输出模块对结果进行显示;
(19)智能眼镜在汽车维保过程中的零件拆卸的方法,具体步骤如下:S1.将智能眼镜模式调为识别模式;S2.通过智能眼镜前置摄像头,对待拆卸或安装的零部件图像进行采集,将实时图像数据传送到图像识别匹配模块进行图像处理;S3.图像识别模块对零部件图片进行识别,识别出对应部件上可拆卸零件的位置,通过控制模块,调用图像输出模块进行实时的标记;S4.通过标记图像对零件进行拆卸;
所述智能眼镜包括眼镜框(2)和镜腿(1),其中一个镜腿(1)具有一个回旋弯折(3),回旋弯折(3)的一侧连接第一直板(4),该第一直板(4)设置有朝向镜腿外侧(13)的触控板(5),该回旋弯折(3)的另一侧连接第二直板(14),该第二直板(14)的上、下两侧具有伸出的底板(6),与第二直板(14)形成摄像头(15)的容置部,第二直板(14)设有摄像头安装孔,两个底板(6)与光机(7)连接,且该光机(7)位于与其更为相近的镜片框(16)的前方,镜片框连接于第一直板(4)且设置于回旋弯折(3)较近处,第一直板(4)与第二直板(14)基本垂直。
2.如权利要求1所述的使用智能眼镜进行汽车维保的方法,其特征在于:摄像头(15)容置部中安装光源且对应于第二直板(14)上的光源孔(8),麦克风(11)安装在第一直板(4)内侧的眼镜框(2)和回旋弯折(3)连接处附近;喇叭(12)安装于在佩戴智能眼镜时镜腿(1)上靠近耳朵的部位;摄像头(15)由摄像头支架(9)支撑安装在摄像头(15)容置部中,陀螺仪,用以识别振动信号,设定不同的振动信号以对使汽车维保的智能眼镜执行对应动作。
3.如权利要求2所述的使用智能眼镜进行汽车维保的方法,其特征在于:所述摄像头(15)、光源、麦克风(11)和喇叭(12)连接于控制板(10),该控制板(10)具有无线通讯模块,用于接收摄像头(15)、光源、麦克风(11)发出的信号,并可对该接收信号进行数据处理,且该控制板(10)安装有无线信号收发模块,且使用该信号收发模块向远程服务器发送和接收信号。
4.如权利要求1-3任一项所述的使用智能眼镜进行汽车维保的方法,其特征在于:控制板(10)包括图像识别匹配模块,用于图像的预处理,特征提取,分类识别;控制模块,用于输入信息识别别后,执行相应操作以及反馈;图像输出模块,用于给操作者进行图像反馈;音频输出模块,用以给操作者进行声音反馈;震动反馈模块,用以进行震动反馈;服务器数据库模块,用于服务端数据的检索。
5.如权利要求3所述的使用智能眼镜进行汽车维保的方法,其特征在于:控制板(10)还连接存储器,该控制板(10)通过信号线与摄像头(15)、光源、麦克风(11)和喇叭(12)连接,且集成于一主机箱内,该控制板(10)同步进行数据处理和信号收发。
6.如权利要求4所述的使用智能眼镜进行汽车维保的方法,其特征在于:摄像头(15)采集的车牌图像,仅由控制板(10)执行图形识别处理,得到车牌信息,直接将车牌信息发送于远程服务器。
7.如权利要求4所述的使用智能眼镜进行汽车维保的方法,其特征在于:远程服务器具有车辆信息数据库、行车数据数据库、车辆结构模型数据库、维保流程数据库、工具模型数据库、汽车故障智能分析系统,所述车辆信息数据库存储车牌号,及该车牌号对应的车辆的车架号、车主信息、车辆保养记录和车辆维修记录,且还存储该车牌号下的车型、年款和车辆配置信息;所述的行车数据数据库存储由车牌号或者该车牌号下的车架号对应的车辆的OBD数据和故障码;所述车辆结构模型数据库存储由车型、年款和车辆配置信息对应的车辆组成及组成部分的说明和3D建模图形;所述维保流程数据库存储该车牌号或车架号对应的车辆行驶里程和故障信息,及维保流程说明;所述工具模型数据库存储针对不同车辆故障维修需要使用的工具的说明和3D建模图形,所述汽车故障智能分析系统,整合远程服务器具有的车辆信息数据库、行车数据数据库、车辆结构模型数据库、维保流程数据库,分析车辆故障和确定保养流程。
8.如权利要求7所述的使用智能眼镜进行汽车维保的方法,其特征在于,还包括如下步骤:
S1.启动智能眼镜智,首先进入识别模式:通过摄像头采集来的视频数据,自动扫描画面中是否出现车牌号,如果出现车牌号,识别出车牌号;通过识别出的车牌号,从车辆信息数据库中取得车架号或者直接识别出车架号;根据车架号,在车辆信息数据库中取得该车架号对应的车型、年款,在行车数据数据库中取得行驶里程、OBD数据和故障码;通过汽车故障智能分析系统,由行驶里程确定车辆需要做的保养项目;通过汽车故障智能分析系统,由OBD数据和故障码确定车辆需要做的维修项目;
S2.进入操作模式:用户通过语音输入和手势,选择系统提示的维保项目;
S3.进入教学模式:如果用户选择的维保项目是视频教学,则通过维保流程数据库取得维保流程视频,并开始播放;
S4.播放维保视频过程中进入操作模式:用户通过语音输入和手势,控制维保流程视频的播放;
S5.进入教学模式:如果用户选择的维保项目是文字动画教学,则通过维保流程数据库取得维保流程,如果维保流程中需要提示用户操作某汽车零件的时候,进入识别模式;
S6.进入识别模式:识别出画面中出现的特定汽车零件,并提示用户该零件的安装位置,再返回教学模式;
S7.进入教学模式:从车辆结构模型数据库中取得该零件的3D模型,并显示在视频输出系统,并且在3D模型上以动画的形式提示用户应该进行操作的位置以及操作方法;
S8.播放教学动画过程中进入操作模式:用户通过语音输入和手势,操作眼前的3D模型,包括转动,放大,缩小,拆分,合并的动作,使用户更加详细的了解教学过程;
S9退出教学和操作模式:完成操作和教学,退出。
CN201510627110.5A 2015-09-28 2015-09-28 使用智能眼镜进行汽车维保的方法 Active CN105182535B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201510627110.5A CN105182535B (zh) 2015-09-28 2015-09-28 使用智能眼镜进行汽车维保的方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201510627110.5A CN105182535B (zh) 2015-09-28 2015-09-28 使用智能眼镜进行汽车维保的方法

Publications (2)

Publication Number Publication Date
CN105182535A CN105182535A (zh) 2015-12-23
CN105182535B true CN105182535B (zh) 2018-04-20

Family

ID=54904717

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201510627110.5A Active CN105182535B (zh) 2015-09-28 2015-09-28 使用智能眼镜进行汽车维保的方法

Country Status (1)

Country Link
CN (1) CN105182535B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3564644A1 (fr) * 2018-05-02 2019-11-06 Pfeiffer Vacuum Module de détection de fuites et procédé de contrôle de l'étanchéité d'un objet à tester par gaz traceur

Families Citing this family (32)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102015016228A1 (de) * 2015-12-16 2017-06-22 Focke & Co. (Gmbh & Co. Kg) Verfahren zum Betreiben einer Verpackungsanlage für Tabakartikel
CN105739704A (zh) * 2016-02-02 2016-07-06 上海尚镜信息科技有限公司 基于增强现实的远程引导方法和系统
CN105929957A (zh) * 2016-04-26 2016-09-07 深圳市奋达科技股份有限公司 一种智能眼镜的控制方法、装置及设备
HK1216278A (zh) * 2016-04-27 2016-10-28 Kam Ming Lau 種使用虛擬機器人的教育系統
CN106021548A (zh) * 2016-05-27 2016-10-12 大连楼兰科技股份有限公司 基于分布式人工智能图像识别的远程定损方法及系统
CN106293087B (zh) * 2016-08-09 2019-07-26 联想(北京)有限公司 一种信息交互方法及电子设备
CN107861611A (zh) * 2016-09-22 2018-03-30 天津康途科技有限公司 一种基于增强现实技术的电梯维保系统
CN106707810B (zh) * 2016-12-02 2019-04-05 大连海事大学 基于混合现实眼镜的船舶远程故障诊断及维修保养辅助系统和方法
CN107038721B (zh) * 2017-03-27 2020-01-10 西安交通大学 一种基于lapjv算法的直线检测方法
CN107133876A (zh) * 2017-05-08 2017-09-05 明觉科技(北京)有限公司 车辆定损方法及定损客户端
CN107680432A (zh) * 2017-06-20 2018-02-09 国网浙江平湖市供电公司 一种用于员工电器设备操作培训的智能设备及操作方法
CN108109033A (zh) * 2017-12-04 2018-06-01 阿里巴巴集团控股有限公司 识别对象损伤的处理方法、装置、服务器、客户端
CN108645637A (zh) * 2018-04-25 2018-10-12 刘翠先 一种基于增强现实技术应用的设备异响检测系统
CN108647712A (zh) * 2018-05-08 2018-10-12 阿里巴巴集团控股有限公司 车辆损伤识别的处理方法、处理设备、客户端及服务器
CN108665373B (zh) * 2018-05-08 2020-09-18 阿里巴巴集团控股有限公司 一种车辆定损的交互处理方法、装置、处理设备及客户端
CN108592937A (zh) * 2018-05-09 2018-09-28 何辉 一种用于户外探险的夜行路况标识系统
CN108877311A (zh) * 2018-06-25 2018-11-23 南阳理工学院 一种基于增强现实技术的英语学习系统
CN109101610A (zh) * 2018-08-03 2018-12-28 百度在线网络技术(北京)有限公司 用于ar场景的车辆定损方法、装置、设备及存储介质
CN109271908B (zh) * 2018-09-03 2022-05-13 创新先进技术有限公司 车损检测方法、装置及设备
US10706633B2 (en) 2018-12-06 2020-07-07 Toyota Motor Engineering & Manufacturing North America, Inc. Augmented reality systems and methods for vehicle inspection
CN109885511A (zh) * 2019-01-24 2019-06-14 苏州随闻智能科技有限公司 一种uvc设备配对的方法及uvc设备
CN109816815A (zh) * 2019-02-22 2019-05-28 金瓜子科技发展(北京)有限公司 车况检测方法、装置及系统
CN110109252A (zh) * 2019-05-30 2019-08-09 上海云甫智能科技有限公司 一种智能眼镜及其控制方法
CN110335258A (zh) * 2019-06-21 2019-10-15 上海翊视皓瞳信息科技有限公司 一种基于穿戴设备的质检方法及其系统
CN110727109A (zh) * 2019-10-18 2020-01-24 蒂姆维澳(上海)网络技术有限公司 Ar眼镜及其控制方法
CN111104542B (zh) * 2020-01-07 2023-04-18 成都睿琪科技有限责任公司 零件识别管理方法及装置
CN111063225A (zh) * 2020-01-14 2020-04-24 深圳捷径观察科技有限公司 一种具有远程交互功能的vr教学系统及教学方法
US20220165054A1 (en) * 2020-10-13 2022-05-26 Google Llc Distributed sensor data processing using multiple classifiers on multiple devices
CN113094483B (zh) * 2021-03-30 2023-04-25 东风柳州汽车有限公司 车辆反馈信息的处理方法、装置、终端设备及存储介质
CN113703485B (zh) * 2021-09-02 2024-03-29 云知声(上海)智能科技有限公司 机载智能眼镜设备及基于该设备的飞机控制方法
CN116233588B (zh) * 2023-05-10 2023-07-14 江西科技学院 一种智能眼镜交互系统及方法
CN116385913B (zh) * 2023-06-05 2023-09-29 四川康吉笙科技有限公司 基于图像识别的监测方法及系统

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
FR2906899B1 (fr) * 2006-10-05 2009-01-16 Essilor Int Dispositif d'affichage pour la visualisation stereoscopique.
JP2012159681A (ja) * 2011-01-31 2012-08-23 Brother Ind Ltd ヘッドマウントディスプレイ
CN202758141U (zh) * 2012-01-19 2013-02-27 谷歌公司 电子装置及头戴式装置
CN102866506A (zh) * 2012-09-21 2013-01-09 苏州云都网络技术有限公司 增强现实眼镜及其实现方法
CN104880835A (zh) * 2015-05-13 2015-09-02 浙江吉利控股集团有限公司 智能眼镜

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3564644A1 (fr) * 2018-05-02 2019-11-06 Pfeiffer Vacuum Module de détection de fuites et procédé de contrôle de l'étanchéité d'un objet à tester par gaz traceur
FR3080915A1 (fr) * 2018-05-02 2019-11-08 Pfeiffer Vacuum Module de detection de fuites et procede de controle de l etancheite d un objet a tester par gaz traceur

Also Published As

Publication number Publication date
CN105182535A (zh) 2015-12-23

Similar Documents

Publication Publication Date Title
CN105182535B (zh) 使用智能眼镜进行汽车维保的方法
CN105223706B (zh) 用于车辆维保过程中的智能眼镜判定车辆损伤程度的方法
CN105158927B (zh) 智能眼镜在汽车维保过程中的零件拆卸的方法
CN105182536B (zh) 汽车维保过程中智能眼镜通过车牌识别并获得车辆信息的方法
CN105639818A (zh) 基于增强现实、空间扫描与手势识别技术的智能安全帽
EP3413165A1 (en) Wearable system gesture control method and wearable system
CN105259657B (zh) 汽车维保过程中智能眼镜的照明方法
CN105184276B (zh) 智能眼镜维保过程中的零件识别方法
CN105224923B (zh) 智能眼镜应用于维保过程中的划分零件定损等级的方法
KR20200025960A (ko) 지능형 인지기술기반 제조현장의 증강현실시스템
Tayibnapis et al. Driver's gaze zone estimation by transfer learning
CN110547636A (zh) 智能化妆镜
CN105353510A (zh) 智能眼镜应用于汽车远程维保支援的方法
CN105182537B (zh) 智能眼镜维保过程中的漏液识别方法
CN105158900B (zh) 汽车维保智能眼镜上的头部姿态识别的方法
CN105353508A (zh) 智能眼镜检测汽车液体余量的方法
CN105223694B (zh) 智能眼镜应用于汽车维保过程中的室内定位及图像识别的方法
CN105205471B (zh) 智能眼镜维保过程中的盲区查看的方法
CN205080316U (zh) 智能眼镜
CN206906936U (zh) 一种提供驾驶适宜性检测的头戴式显示设备
CN113180427A (zh) 一种多功能的智能镜
CN107450722A (zh) 一种带有噪音过滤功能的双重交互控制头戴式显示设备和交互方法
CN105867625A (zh) 一种远距离手势控制方法
CN105242401B (zh) 智能眼镜共享用于汽车维保的其他设备数据的方法
CN114567535A (zh) 一种基于增强现实的产品交互与故障诊断方法

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant