CN105158900B - 汽车维保智能眼镜上的头部姿态识别的方法 - Google Patents
汽车维保智能眼镜上的头部姿态识别的方法 Download PDFInfo
- Publication number
- CN105158900B CN105158900B CN201510632807.1A CN201510632807A CN105158900B CN 105158900 B CN105158900 B CN 105158900B CN 201510632807 A CN201510632807 A CN 201510632807A CN 105158900 B CN105158900 B CN 105158900B
- Authority
- CN
- China
- Prior art keywords
- vehicle
- maintenance
- head
- intelligent glasses
- straight panel
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000012423 maintenance Methods 0.000 title claims abstract description 119
- 239000011521 glass Substances 0.000 title claims abstract description 60
- 238000000034 method Methods 0.000 title claims abstract description 32
- 238000005452 bending Methods 0.000 claims abstract description 16
- 230000000875 corresponding effect Effects 0.000 claims description 24
- 238000012545 processing Methods 0.000 claims description 16
- 230000008569 process Effects 0.000 claims description 10
- 238000012790 confirmation Methods 0.000 claims description 3
- 238000000605 extraction Methods 0.000 claims description 3
- 230000004886 head movement Effects 0.000 claims description 3
- 239000000203 mixture Substances 0.000 claims description 2
- 241000208340 Araliaceae Species 0.000 claims 1
- 235000005035 Panax pseudoginseng ssp. pseudoginseng Nutrition 0.000 claims 1
- 235000003140 Panax quinquefolius Nutrition 0.000 claims 1
- 235000008434 ginseng Nutrition 0.000 claims 1
- 230000000694 effects Effects 0.000 abstract description 2
- 210000003128 head Anatomy 0.000 description 42
- 230000009471 action Effects 0.000 description 5
- 230000003993 interaction Effects 0.000 description 4
- 230000008439 repair process Effects 0.000 description 4
- 230000006870 function Effects 0.000 description 3
- 230000015556 catabolic process Effects 0.000 description 2
- 238000004891 communication Methods 0.000 description 2
- 238000009434 installation Methods 0.000 description 2
- 238000011017 operating method Methods 0.000 description 2
- 238000012797 qualification Methods 0.000 description 2
- 230000005540 biological transmission Effects 0.000 description 1
- 230000015572 biosynthetic process Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 239000003814 drug Substances 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000001815 facial effect Effects 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000010365 information processing Effects 0.000 description 1
- 230000002452 interceptive effect Effects 0.000 description 1
- 238000000465 moulding Methods 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 235000021110 pickles Nutrition 0.000 description 1
- 238000010791 quenching Methods 0.000 description 1
- 230000008054 signal transmission Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 230000001360 synchronised effect Effects 0.000 description 1
- 230000035922 thirst Effects 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 1
Classifications
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/017—Head mounted
- G02B27/0172—Head mounted characterised by optical features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
- G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
- G06V20/584—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads of vehicle lights or traffic lights
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/20—Movements or behaviour, e.g. gesture recognition
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/017—Head mounted
- G02B2027/0178—Eyeglass type
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V2201/00—Indexing scheme relating to image or video recognition or understanding
- G06V2201/08—Detecting or categorising vehicles
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Multimedia (AREA)
- General Health & Medical Sciences (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Psychiatry (AREA)
- Social Psychology (AREA)
- Human Computer Interaction (AREA)
- Health & Medical Sciences (AREA)
- Optics & Photonics (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
- Processing Or Creating Images (AREA)
Abstract
汽车维保智能眼镜上的头部姿态识别的方法，本发明属于汽车维保领域，用以解决现有技术中，智能眼镜数据采集与触控操作位置不佳的技术问题，技术要点是：镜腿具有一个回旋弯折，回旋弯折的一侧连接第一直板，该第一直板设置有朝向镜腿外侧的触控板，该回旋弯折的另一侧连接第二直板，该第二直板的上、下两侧具有伸出的底板，与第二直板形成摄像头的容置部，第二直板设有摄像头安装孔，所述两个底板与光机连接，且该光机位于与其更为相近的镜片框的前方，镜片框连接于第一直板且设置于回旋弯折较近处，第一直板与第二直板基本垂直；效果是：使得智能眼镜数据采集与触控操作位置较佳。
Description
技术领域
本发明属于汽车维保领域，尤其涉及一种汽车维保智能眼镜上的头部姿态识别的方法。
背景技术
国内车主在汽车出现问题或者需要保养的时候，大多还是依赖于4s店。但是4S店有两个显而易见的弊端，昂贵和费时。
当人们退而求其次，选择多如牛毛的非正规修理店的时候，虽然方便又便宜，但是想到要把自己的爱车交托给那些没有正式资格的修理工，无异于把把身体交托给没有行医资格的医生，把孩子送到没有教师资格的老师那里的时候，又有点望而却步。
还有一些动手能力，有意愿自己动手的车主，由于没有经过专业的学习，下手总会有些不自信，进而失去兴趣。当然也有另外一些车主，对汽车维修不在行，也没有兴趣。但是天有不测风云，行车出门在外，难免会遇上一些突发状况，比如爆胎，漏水，漏油等等。自己修，又无从下手；等救援，又远水解不了近渴。
基于以上种种尴尬的处境，应用于汽车维保领域的智能眼镜应运而生,而且汽车维保智能眼镜上的头部姿态识别的方法显得尤为重要。
发明内容
针对现有技术中无人将头像识别动作应用在智能眼镜中，本发明提出了一种汽车维保智能眼镜上的头部姿态识别的方法，具有采集精度更高，误差率极小等优点。
为了实现上述目的，本发明采用的技术方案是：汽车维保智能眼镜上的头部姿态识别的方法，包括如下具体步骤：
S1：使用智能眼镜上的立体摄像头估计头部的三维姿态参数，并分析头部动作；
S2：通过离散小波变换分析检测到头部运动，然后通过3D头部模型迭代求精获得3D参数；
S3：当检测到维修人员点头时，代表信息的确认；
当检测到维修人员摇头时，代表操作的取消；
当检测到维修人员点两次头时，代表进行下一操作界面；
当检测到维修人员连续摇头时，代表关闭该头像识别系统；
所述的智能眼镜包括眼镜框(2)和镜腿(1)，其特征在于：其中一个镜腿(1)具有一个回旋弯折(3)，回旋弯折(3)的一侧连接第一直板(4)，该第一直板(4)设置有朝向镜腿外侧(13)的触控板(5)，该回旋弯折(3)的另一侧连接第二直板(14)，该第二直板(14)的上、下两侧具有伸出的底板(6)，与第二直板(14)形成摄像头(15)的容置部，第二直板(14)设有摄像头安装孔，所述两个底板(6)与光机(7)连接，且该光机(7)位于与其更为相近的镜片框(16)的前方，镜片框连接于第一直板(4)且设置于回旋弯折(3)较近处，第一直板(4)与第二直板(14)基本垂直。
摄像头(15)容置部中安装光源且对应于第二直板(14)上的光源孔(8)，麦克风(11)安装在第一直板(4)内侧的眼镜框(2)和回旋弯折(3)连接处附近；喇叭(12)安装于在佩戴智能眼镜时镜腿(1)上靠近耳朵的部位；摄像头(15)由摄像头支架(9)支撑安装在摄像头(15)容置部中，陀螺仪，用以识别振动信号，设定不同的振动信号以对使汽车维保的智能眼镜执行对应动作。
所述摄像头(15)、光源、麦克风(11)和喇叭(12)连接于控制板(10)，该控制板(10)具有无线通讯模块，用于接收摄像头(15)、光源、麦克风(11)发出的信号，并可对该接收信号进行数据处理，且该控制板(10)安装有无线信号收发模块，且使用该信号收发模块向远程服务器发送和接收信号。
控制板(10)包括图像识别匹配模块，用于图像的预处理，特征提取，分类识别；控制模块，用于输入信息识别别后，执行相应操作以及反馈。图像输出模块，用于给操作者进行图像反馈；音频输出模块，用以给操作者进行声音反馈；震动反馈模块，用以进行震动反馈；服务器数据库模块，用于服务端数据的检索
控制板(10)还连接存储器，该控制板(10)通过信号线与摄像头(15)、光源、麦克风(11)和喇叭(12)连接，且集成于一主机箱内，该控制板(10)同步进行数据处理和信号收发。
摄像头(15)采集的车牌图像，仅由控制板(10)执行图形识别处理，得到该车牌信息，直接将车牌信息发送于远程服务器。
远程服务器具有车辆信息数据库、行车数据数据库、车辆结构模型数据库、维保流程数据库、工具模型数据库、汽车故障智能分析系统，所述车辆信息数据库存储车牌号，及该车牌号对应的车辆的车架号、车主信息、车辆保养记录和车辆维修记录，且还存储该车牌号下的车型、年款和车辆配置信息；所述的行车数据数据库存储由车牌号或者该车牌号下的车架号对应的车辆的OBD数据和故障码；所述车辆结构模型数据库存储由车型、年款和车辆配置信息对应的车辆组成及组成部分的说明和3D建模图形；所述维保流程数据库存储该车牌号或车架号对应的车辆行驶里程和故障信息，及维保流程说明；所述工具模型数据库存储针对不同车辆故障维修需要使用的工具的说明和3D建模图形，所述汽车故障智能分析系统，整合远程服务器具有车辆信息数据库、行车数据数据库、车辆结构模型数据库、维保流程数据库，分析车辆故障和确定保养流程。
实现使用智能眼镜进行车辆维保的方法，包括如下步骤：
S1.启动用于汽车维保的智能眼镜，首先进入识别模式：通过摄像头采集来的视频数据，自动扫描画面中是否出现车牌号，如果出现车牌号，识别出车牌号；通过识别出的车牌号，从车辆信息数据库中取得车架号或者直接识别出车架号；根据车架号，在车辆信息数据库中取得该车架号对应的车型、年款，在行车数据数据库中取得行驶里程、OBD数据和故障码；通过汽车故障智能分析系统，由行驶里程确定车辆需要做的保养项目；通过汽车故障智能分析系统，由OBD数据和故障码确定车辆需要做的维修项目；
S2.进入操作模式：用户通过语音输入和手势，选择系统提示的维保项目；
S3.进入教学模式：如果用户选择的维保项目是视频教学，则通过维保流程数据库取得维保流程视频，并开始播放；
S4.播放维保视频过程中进入操作模式：用户通过语音输入和手势，控制维保流程视频的播放；
S5.进入教学模式：如果用户选择的维保项目是文字动画教学，则通过维保流程数据库取得维保流程，如果维保流程中需要提示用户操作某汽车零件的时候，进入识别模式；
S6.进入识别模式：识别出画面中出现的特定汽车零件，并提示用户该零件的安装位置，再返回教学模式；
S7.进入教学模式：从车辆结构模型数据库中取得该零件的3D模型，并显示在视频输出系统，并且在3D模型上以动画的形式提示用户应该进行操作的位置以及操作方法；
S8.播放教学动画过程中进入操作模式：用户通过语音输入和手势，操作眼前的3D模型，包括转动，放大，缩小，拆分，合并的动作，使用户更加详细的了解教学过程；
S9退出教学和操作模式：完成操作和教学，退出。
汽车维保智能眼镜上的头部姿态识别的方法，还包括一个二维采集系统：
采集维修人员周围景物的深度图；
对所述深度图进行分割以得到维修人员的头肩区域与背景区域；
建立坐标系，并将所述头肩区域映射到所述坐标系中；以及根据至少三帧深度图的头肩区域在所述坐标系中的位置判断所述维修人员的头部姿态以及头部姿态是否发生变化。
当判断所述维修人员的头部姿态发生变化时，还包括：根据所述至少三帧深度图的头肩区域在所述坐标系中的位置确定所述头部的变化趋势；根据所述变化趋势判断所述头部动作；根据所述头部动作控制相应的车辆负载执行相应的动作。
有益效果：本发明上述技术方案的使用，让专业修理工更规范：因为智能眼镜能够通过后台数据库，得到更加详尽的车辆状态信息，以便提供给普通修理工更加规范的，完全符合官方标准的维保流程。让人们选择非4S店修理工也能没有后顾之忧。让发烧友更专业：因为智能眼镜能够通过后台数据库，得到更加详尽的车辆状态信息，可以给与用户更专业的维保项目，可以让发烧友更专业的自己动手完成维修和保养。让菜鸟更从容：因为智能眼镜能够通过后台数据库，得到更加详尽的车辆状态信息，可以第一时间告知已经束手无策的用户如何摆脱困境。
基于3D模型方法一般把3维人脸模型和2维人脸图像上对应的特征点进行匹配，通过迭代优化，得到3D姿态参数，采用此种方法可以得到较为精确的头部姿态参数，同时，随着特征点数目的增多，姿态参数的误差会随着模型的几何约束而减小。
本方法中采用三维采集和二维采集，使其采集精度更高，误差率极小，极其适合维修人员在修理车辆时通过智能眼镜来识别头部动作，并进行相关操作。
附图说明
图1为本发明的用于汽车维保的智能眼镜的结构示意图；
图2为本发明的用于汽车维保的智能眼镜的主视图；
图3为本发明的用于汽车维保的智能眼镜的后视图；
图4为本发明的用于汽车维保的智能眼镜的左视图；
图5为本发明的用于汽车维保的智能眼镜的右视图；
图6为本发明的用于汽车维保的智能眼镜的俯视图；
图7为本发明的用于汽车维保的智能眼镜的仰视图；
图8为本发明的用于汽车维保的智能眼镜的分解图。
其中：1.镜腿，2.眼镜框，3.回旋弯折，4.第一直板，5.触控板，6.底板，7.光机，8.光源孔，9.摄像头支架，10.控制板，11.麦克风，12.喇叭，13.镜腿外侧，14.第二直板，15.摄像头，16.镜片框。
具体实施方式
为了更为清楚地阐述本发明创造，结合具体实施例对本发明进一步说明。
实施例1：
汽车维保智能眼镜上的头部姿态识别的方法，其特征在于，包括如下具体步骤：
S1：使用智能眼镜上的立体摄像头估计头部的三维姿态参数，并分析头部动作；
S2：通过离散小波变换分析检测到头部运动，然后通过3D头部模型迭代求精获得3D参数；
S3：当检测到维修人员点头时，代表信息的确认；
当检测到维修人员摇头时，代表操作的取消；
当检测到维修人员点两次头时，代表进行下一操作界面；
当检测到维修人员连续摇头时，代表关闭该头像识别系统；
汽车维保智能眼镜上的头部姿态识别的方法，还包括一个二维采集系统：
采集维修人员周围景物的深度图；
对所述深度图进行分割以得到维修人员的头肩区域与背景区域；
建立坐标系，并将所述头肩区域映射到所述坐标系中；以及根据至少三帧深度图的头肩区域在所述坐标系中的位置判断所述维修人员的头部姿态以及头部姿态是否发生变化。当判断所述维修人员的头部姿态发生变化时，还包括：根据所述至少三帧深度图的头肩区域在所述坐标系中的位置确定所述头部的变化趋势；根据所述变化趋势判断所述头部动作；根据所述头部动作控制相应的车辆负载执行相应的动作。
上述智能眼镜，包括眼镜框2和镜腿1，其中一个镜腿1具有一个回旋弯折3，回旋弯折3的一侧连接第一直板4，该第一直板4设置有朝向镜腿外侧13的触控板5，该回旋弯折3的另一侧连接第二直板14，该第二直板14的上、下两侧具有伸出的底板6，与第二直板14形成摄像头15的容置部，第二直板14设有摄像头15安装孔，所述两个底板6与光机7连接，且该光机7位于与其更为相近的镜片框16的前方，镜片框16连接于第一直板4且设置于回旋弯折3较近处，第一直板4与第二直板14基本垂直，所述基本垂直为偏离垂直0-5度左右，使得二者大致呈垂直角度。
本发明所述的回旋弯折主要用于连接触控板与摄像头，并使得该两种元部件可以呈基本垂直位置，而图像采集与触控操作的该种位置关系，使得用户使用时，具有一种更为舒适的交互位置，且该种位置结构，也使得光机可以处于镜框正前方，该种画面显示位置与触控操作位置，是维保过程中的较佳位置，方便维保时的操作与观看画面，而镜片框连接于第一直板且设置于回旋弯折较近处，使得实现智能化的元部件直接由镜腿承担，没有对眼镜框造成不必要的改进而影响到视线观察范围。而摄像功能是用于汽车维保的智能眼镜的一个主要功能，因而摄像头置于容置部中，也是对摄像头的一种保护，该种结构也较为节省空间。
实施例2：与实施例1具有相同的技术方案，区别是：摄像头15容置部中安装光源且对应于第二直板14上的光源孔8，麦克风11安装在第一直板4内侧，眼镜框2和回旋弯折连接处附近；喇叭12安装于在佩戴智能眼镜时镜腿1上靠近耳朵的部位；摄像头15由摄像头15支架9支撑安装在摄像头15容置部中，陀螺仪，用以识别振动信号，设定不同的振动信号以对使汽车维保的智能眼镜执行对应动作。光源、麦克风和喇叭是实现使用智能眼镜进行维保的多方位交互手段，实现了一种全方位的智能交互，以提高智能眼镜的智能化。
实施例3：与实施例2具有相同的技术方案，区别是：摄像头15、光源、麦克风11和喇叭12连接于控制板10，该控制板10具有无线通讯模块，用于接收摄像头15、光源、麦克风11发出的信号，并可对该接收信号进行数据处理，且该控制板10安装有无线信号收发模块，且使用该信号收发模块向远程服务器发送和接收信号，无线信号包括，Wifi，蓝牙，GPS，FM。由于智能眼镜是直接与控制板连接，控制板再与远程服务器进行信号交互，而控制板还可对该接收信号进行数据处理，即一些简单的识别操作或者其它的操作，可以完全又控制板进行识别或其它处理，或者由控制板在先预处理，可以缓解远程服务器的处理压力，并且进一步提高了处理速度，特别是预处理过的信号再交于远程服务器完成后续处理，可以极大缩减远程服务器的处理时间，使得用户较快速地得到处理结果。
实施例4：与实施例1或2或3具有相同的技术方案，区别是：控制板10包括有图像识别匹配模块，用于图像的预处理，特征提取，分类识别；控制模块，用于输入信息识别后，执行相应操作以及反馈；图像输出模块，用于给操作者进行图像反馈；音频输出模块，用以给操作者进行声音反馈；震动反馈模块，用以进行震动反馈；服务器数据库模块，用于服务端数据的检索；控制板的上述各模块是下载在控制板中的程序运行得以实现的，设定上述模块，目的在于对采集的图像、声音等信号进行处理，以期得到相应的输出结果。
实施例5：与实施例1-4任意个具有相同的技术方案，区别是：控制板10还连接存储器，该控制板10通过信号线与摄像头15、光源、麦克风11和喇叭12连接，且集成于一主机箱内，该控制板10同步进行数据处理和信号收发。该处控制器连接存储器的目的在于，由于智能眼镜维保的时候，有可能出现网络故障等无法与远程服务器交互数据的情形，但是，智能眼镜仍然需要采集数据，那么采集的数据就可以暂时不停下来，先进行数据存储，在网络恢复时，继续就数据的传输。
实施例6：与实施例1-5任意个具有相同的技术方案，区别是：摄像头采集的车牌图像，仅由控制板执行图形识别处理，得到该车牌信息，直接将车牌信息发送于远程服务器。摄像头采集车牌信息，该车牌信息直接由智能眼镜的控制板进行识别，将识别之后的信息再发与远程服务器，该种方式的优点在于：直接发送车牌的图像至远程服务器进行识别再匹配，不仅传输的信号比较多，耗费时间，服务器接收该信号进行识别处理的时间很长，而在现场对该图片信息处理，得到识别的数据进行传输，信号传输时间短，速度快，可以尽快是的用户得到该车牌下的车辆信息或者其它信息。
实施例7：与实施例1-6任意个具有相同的技术方案，区别是：远程服务器具有车辆信息数据库、行车数据数据库、车辆结构模型数据库、维保流程数据库、工具模型数据库、汽车故障智能分析系统，所述车辆信息数据库存储车牌号，及该车牌号对应的车辆的车架号、车主信息、车辆保养记录和车辆维修记录，且还存储该车牌号下的车型、年款和车辆配置信息；所述的行车数据数据库存储由车牌号或者该车牌号下的车架号对应的车辆的OBD数据和故障码；所述车辆结构模型数据库存储由车型、年款和车辆配置信息对应的车辆组成及组成部分的说明和3D建模图形；所述维保流程数据库存储该车牌号或车架号对应的车辆行驶里程和故障信息，及维保流程说明；所述工具模型数据库存储针对不同车辆故障维修需要使用的工具的说明和3D建模图形，所述汽车故障智能分析系统，整合远程服务器具有车辆信息数据库、行车数据数据库、车辆结构模型数据库、维保流程数据库，分析车辆故障和确定保养流程。
在远程服务器设置上述数据库，对于智能眼镜采集的关于车辆维保的信息，都可以调取相关数据库中的数据，并反馈用户结果，于光机、喇叭等进行显示和提示，是实现智能眼镜用于车辆维保智能化的一个保障，且建立、健全该数据库的内容，会涉及智能眼镜的各个采集数据的处理，丰富智能眼镜用于车辆维保的功能。
实施例8：本发明还涉及一种使用智能眼镜进行车辆维保的方法，使用上述技术方案中的任一个所述的用于汽车维保的智能眼镜，包括如下步骤：
S1.启动用于汽车维保的智能眼镜，首先进入识别模式：
通过摄像头采集来的视频数据，自动扫描画面中是否出现车牌号，如果出现车牌号，识别出车牌号；通过识别出的车牌号，从车辆信息数据库中取得车架号或者直接识别出车架号；根据车架号，在车辆信息数据库中取得该车架号对应的车型、年款，在行车数据数据库中取得行驶里程、OBD数据和故障码；通过汽车故障智能分析系统，由行驶里程确定车辆需要做的保养项目；通过汽车故障智能分析系统，由OBD数据和故障码确定车辆需要做的维修项目；
S2.进入操作模式：用户通过语音输入和手势，选择系统提示的维保项目；
S3.进入教学模式：如果用户选择的维保项目是视频教学，则通过维保流程数据库取得维保流程视频，并开始播放；
S4.播放维保视频过程中进入操作模式：用户通过语音输入和手势，控制维保流程视频的播放；
S5.进入教学模式：如果用户选择的维保项目是文字动画教学，则通过维保流程数据库取得维保流程，如果维保流程中需要提示用户操作某汽车零件的时候，进入识别模式；
S6.进入识别模式
识别出画面中出现的特定汽车零件，并提示用户该零件的安装位置，再返回教学模式；
S7.进入教学模式
从车辆结构模型数据库中取得该零件的3D模型，并显示在视频输出系统，并且在3D模型上以动画的形式提示用户应该进行操作的位置以及操作方法；
S8.播放教学动画过程中进入操作模式
用户通过语音输入和手势，操作眼前的3D模型，包括转动，放大，缩小，拆分，合并的动作，使用户更加详细的了解教学过程；
S9退出教学和操作模式
完成操作和教学，退出。
将智能眼镜应用于车辆维保时，分出3个模式(识别，操作，教学)，3个模式互相依托，互相支持，互相转换，以实现车辆维保的信息采集、辅助与自实现的目的，而3个模式又都依托于车辆信息数据库，行车数据数据库，车辆结构模型数据库，维保流程数据库，汽车故障智能分析系统(RDM)等一系列信息系统。并展现了一个完整地使用智能眼镜进行辅助车辆维保的过程。
以上所述，仅为本发明较佳的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明披露的技术范围内，根据本发明的技术方案及其发明构思加以等同替换或改变，都应涵盖在本发明的保护范围之内。
Claims (6)
1.汽车维保智能眼镜上的头部姿态识别的方法，其特征在于，包括如下具体步骤：
S1：使用智能眼镜上的立体摄像头估计头部的三维姿态参数，并分析头部动作；
S2：通过离散小波变换分析检测到头部运动，然后通过3D头部模型迭代求精获得3D参数；
S3：当检测到维修人员点头时，代表信息的确认；
当检测到维修人员摇头时，代表操作的取消；
当检测到维修人员点两次头时，代表进行下一操作界面；
当检测到维修人员连续摇头时，代表关闭立体摄像头；
所述的智能眼镜包括眼镜框(2)和镜腿(1)，其中一个镜腿(1)具有一个回旋弯折(3)，回旋弯折(3)的一侧连接第一直板(4)，该第一直板(4)设置有朝向镜腿外侧(13)的触控板(5)，该回旋弯折(3)的另一侧连接第二直板(14)，该第二直板(14)的上、下两侧具有伸出的底板(6)，与第二直板(14)形成摄像头(15)的容置部，第二直板(14)设有摄像头安装孔，所述两个底板(6)与光机(7)连接，且该光机(7)位于与其更为相近的镜片框(16)的前方，镜片框连接于第一直板(4)且设置于回旋弯折(3)较近处，第一直板(4)与第二直板(14)基本垂直；
该智能眼镜还包括一个二维采集系统：
采集维修人员周围景物的深度图；
对所述深度图进行分割以得到维修人员的头肩区域与背景区域；
建立坐标系，并将所述头肩区域映射到所述坐标系中；以及根据至少三帧深度图的头肩区域在所述坐标系中的位置判断所述维修人员的头部姿态以及头部姿态是否发生变化。
2.如权利要求1所述的汽车维保智能眼镜上的头部姿态识别的方法，其特征在于：所述摄像头(15)、光源、麦克风(11)和喇叭(12)连接于控制板(10)，该控制板(10)具有无线通讯模块，用于接收摄像头(15)、光源、麦克风(11)发出的信号，并可对接收信号进行数据处理，且该控制板(10)安装有无线信号收发模块，且使用该信号收发模块向远程服务器发送和接收信号。
3.如权利要求2所述的汽车维保智能眼镜上的头部姿态识别的方法，其特征在于：控制板(10)包括图像识别匹配模块，用于图像的预处理，特征提取，分类识别；控制模块，用于输入信息识别别后，执行相应操作以及反馈；图像输出模块，用于给操作者进行图像反馈；音频输出模块，用以给操作者进行声音反馈；振动反馈模块，用以进行振动反馈；服务器数据库模块，用于服务端数据的检索。
4.如权利要求2所述的汽车维保智能眼镜上的头部姿态识别的方法，其特征在于：摄像头(15)采集的车牌图像，仅由控制板(10)执行图形识别处理，得到该车牌信息，直接将车牌信息发送于远程服务器。
5.如权利要求2所述的汽车维保智能眼镜上的头部姿态识别的方法，其特征在于：远程服务器具有车辆信息数据库、行车数据数据库、车辆结构模型数据库、维保流程数据库、工具模型数据库、汽车故障智能分析系统，所述车辆信息数据库存储车牌号，及该车牌号对应的车辆的车架号、车主信息、车辆保养记录和车辆维修记录，且还存储该车牌号下的车型、年款和车辆配置信息；所述的行车数据数据库存储由车牌号或者该车牌号下的车架号对应的车辆的OBD数据和故障码；所述车辆结构模型数据库存储由车型、年款和车辆配置信息对应的车辆组成及组成部分的说明和3D建模图形；所述维保流程数据库存储该车牌号或车架号对应的车辆行驶里程和故障信息，及维保流程说明；所述工具模型数据库存储针对不同车辆故障维修需要使用的工具的说明和3D建模图形，所述汽车故障智能分析系统，整合远程服务器具有的车辆信息数据库、行车数据数据库、车辆结构模型数据库、维保流程数据库，分析车辆故障和确定保养流程。
6.根据权利要求1所述的汽车维保智能眼镜上的头部姿态识别的方法，其特征在于，当判断所述维修人员的头部姿态发生变化时，还包括：根据所述至少三帧深度图的头肩区域在所述坐标系中的位置确定所述头部的变化趋势；根据所述变化趋势判断所述头部动作；根据所述头部动作控制相应的车辆负载执行相应的动作。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201510632807.1A CN105158900B (zh) | 2015-09-28 | 2015-09-28 | 汽车维保智能眼镜上的头部姿态识别的方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201510632807.1A CN105158900B (zh) | 2015-09-28 | 2015-09-28 | 汽车维保智能眼镜上的头部姿态识别的方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN105158900A CN105158900A (zh) | 2015-12-16 |
| CN105158900B true CN105158900B (zh) | 2018-10-19 |
Family
ID=54799808
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201510632807.1A Active CN105158900B (zh) | 2015-09-28 | 2015-09-28 | 汽车维保智能眼镜上的头部姿态识别的方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN105158900B (zh) |
Families Citing this family (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108536220B (zh) * | 2017-03-02 | 2024-03-08 | 北京戈德思科科技有限公司 | 一种可穿戴设备及维保处理方法 |
| WO2020096743A1 (en) | 2018-11-09 | 2020-05-14 | Beckman Coulter, Inc. | Service glasses with selective data provision |
| EP3956858A1 (en) | 2019-04-18 | 2022-02-23 | Beckman Coulter, Inc. | Securing data of objects in a laboratory environment |
| CN114839777A (zh) * | 2022-05-19 | 2022-08-02 | 北京蜂巢世纪科技有限公司 | 智能眼镜、智能穿戴系统及智能眼镜跌落保护的控制方法 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103150575A (zh) * | 2013-01-31 | 2013-06-12 | 广州中国科学院先进技术研究所 | 一种实时三维无标记人体姿态识别方法及系统 |
| CN103677232A (zh) * | 2012-09-17 | 2014-03-26 | 联想(北京)有限公司 | 信息处理方法、动作识别装置及电子设备 |
| CN103824089A (zh) * | 2014-02-17 | 2014-05-28 | 北京旷视科技有限公司 | 一种基于级联回归的人脸3d姿态识别方法 |
| CN104182050A (zh) * | 2014-08-29 | 2014-12-03 | 百度在线网络技术（北京）有限公司 | 头戴式智能设备和具有该头戴式智能设备的投影系统 |
-
2015
- 2015-09-28 CN CN201510632807.1A patent/CN105158900B/zh active Active
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103677232A (zh) * | 2012-09-17 | 2014-03-26 | 联想(北京)有限公司 | 信息处理方法、动作识别装置及电子设备 |
| CN103150575A (zh) * | 2013-01-31 | 2013-06-12 | 广州中国科学院先进技术研究所 | 一种实时三维无标记人体姿态识别方法及系统 |
| CN103824089A (zh) * | 2014-02-17 | 2014-05-28 | 北京旷视科技有限公司 | 一种基于级联回归的人脸3d姿态识别方法 |
| CN104182050A (zh) * | 2014-08-29 | 2014-12-03 | 百度在线网络技术（北京）有限公司 | 头戴式智能设备和具有该头戴式智能设备的投影系统 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN105158900A (zh) | 2015-12-16 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN105158927B (zh) | 智能眼镜在汽车维保过程中的零件拆卸的方法 | |
| CN105182536B (zh) | 汽车维保过程中智能眼镜通过车牌识别并获得车辆信息的方法 | |
| CN105223706B (zh) | 用于车辆维保过程中的智能眼镜判定车辆损伤程度的方法 | |
| CN105182535A (zh) | 使用智能眼镜进行汽车维保的方法 | |
| CN105184276B (zh) | 智能眼镜维保过程中的零件识别方法 | |
| CN105355196A (zh) | 智能眼镜应用于汽车维保领域的语音指令识别方法 | |
| CN105224923B (zh) | 智能眼镜应用于维保过程中的划分零件定损等级的方法 | |
| CN105158900B (zh) | 汽车维保智能眼镜上的头部姿态识别的方法 | |
| CN104217615B (zh) | 一种基于车路协同的行人防碰撞系统和方法 | |
| CN105259657B (zh) | 汽车维保过程中智能眼镜的照明方法 | |
| CN105353510A (zh) | 智能眼镜应用于汽车远程维保支援的方法 | |
| CN105205471B (zh) | 智能眼镜维保过程中的盲区查看的方法 | |
| US11551443B2 (en) | Augmented reality and wearable technology for vehicle service | |
| CN105223694B (zh) | 智能眼镜应用于汽车维保过程中的室内定位及图像识别的方法 | |
| CN105242401B (zh) | 智能眼镜共享用于汽车维保的其他设备数据的方法 | |
| CN105353508A (zh) | 智能眼镜检测汽车液体余量的方法 | |
| CN105182537B (zh) | 智能眼镜维保过程中的漏液识别方法 | |
| CN205080316U (zh) | 智能眼镜 | |
| JP2020080542A (ja) | 車両の画像提供システム、サーバーシステムおよび車両の画像提供方法 | |
| CN106686341A (zh) | 一种交互式车载智能终端系统及监控方法 | |
| CN105204643A (zh) | 用于车辆维保过程中的智能眼镜的手势识别方法 | |
| CN105158931A (zh) | 用于车辆维保过程中的智能眼镜触控板与按键的并行使用防油污的方法 | |
| CN115185080A (zh) | 一种车用可穿戴ar抬头显示系统 | |
| CN105158901B (zh) | 用于汽车维保的智能眼镜 | |
| CN105353509A (zh) | 汽车维保过程中智能眼镜用于判定汽车异响的方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| C10 | Entry into substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |