CN113303791A - 一种机动车驾驶人在线自助体检系统、移动终端及存储介质 - Google Patents

一种机动车驾驶人在线自助体检系统、移动终端及存储介质 Download PDF

Info

Publication number
CN113303791A
CN113303791A CN202110482816.2A CN202110482816A CN113303791A CN 113303791 A CN113303791 A CN 113303791A CN 202110482816 A CN202110482816 A CN 202110482816A CN 113303791 A CN113303791 A CN 113303791A
Authority
CN
China
Prior art keywords
detection
driver
unit
module
audio
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
CN202110482816.2A
Other languages
English (en)
Inventor
邝瑰琦
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Wuhan Tesley Information Technology Co ltd
Original Assignee
Wuhan Tesley Information Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Wuhan Tesley Information Technology Co ltd filed Critical Wuhan Tesley Information Technology Co ltd
Priority to CN202110482816.2A priority Critical patent/CN113303791A/zh
Publication of CN113303791A publication Critical patent/CN113303791A/zh
Withdrawn legal-status Critical Current

Links

Images

Classifications

    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/12Audiometering
    • A61B5/121Audiometering evaluating hearing capacity
    • A61B5/123Audiometering evaluating hearing capacity subjective methods
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B3/00Apparatus for testing the eyes; Instruments for examining the eyes
    • A61B3/02Subjective types, i.e. testing apparatus requiring the active assistance of the patient
    • A61B3/028Subjective types, i.e. testing apparatus requiring the active assistance of the patient for testing visual acuity; for determination of refraction, e.g. phoropters
    • A61B3/032Devices for presenting test symbols or characters, e.g. test chart projectors
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B3/00Apparatus for testing the eyes; Instruments for examining the eyes
    • A61B3/02Subjective types, i.e. testing apparatus requiring the active assistance of the patient
    • A61B3/06Subjective types, i.e. testing apparatus requiring the active assistance of the patient for testing light sensitivity, e.g. adaptation; for testing colour vision
    • A61B3/066Subjective types, i.e. testing apparatus requiring the active assistance of the patient for testing light sensitivity, e.g. adaptation; for testing colour vision for testing colour vision
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/0059Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence
    • A61B5/0077Devices for viewing the surface of the body, e.g. camera, magnifying lens
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/103Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/11Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/45For evaluating or diagnosing the musculoskeletal system or teeth
    • A61B5/4538Evaluating a particular part of the muscoloskeletal system or a particular medical condition

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Veterinary Medicine (AREA)
  • Animal Behavior & Ethology (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Medical Informatics (AREA)
  • Molecular Biology (AREA)
  • Surgery (AREA)
  • Biophysics (AREA)
  • General Health & Medical Sciences (AREA)
  • Public Health (AREA)
  • Pathology (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Ophthalmology & Optometry (AREA)
  • Dentistry (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Physiology (AREA)
  • Otolaryngology (AREA)
  • Acoustics & Sound (AREA)
  • Multimedia (AREA)
  • Physical Education & Sports Medicine (AREA)
  • Orthopedic Medicine & Surgery (AREA)
  • Rheumatology (AREA)
  • Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
  • Alarm Systems (AREA)

Abstract

本发明公开一种机动车驾驶人在线自助体检系统、移动终端及存储介质,所述系统包括:依次串行连接的身高检测模块、环境检测模块、视听检测模块、肢体检测模块,以及分别与环境检测模块、视听检测模块、肢体检测模块连接的作弊检测模块,本发明实现了驾驶人体检的纯线上体检模式,为了保证体检过程的真实有效和体检结果的客观公正,在重要的检测项目中均设置有防作弊措施,与现有的线下医生体检或自助设备的驾驶人身体条件检测技术相比,更加的方便、快捷、智能。

Description

一种机动车驾驶人在线自助体检系统、移动终端及存储介质
技术领域
本发明属于自助体检技术领域,具体涉及一种机动车驾驶人在线自助体检系统、移动终端及存储介质。
背景技术
申请机动车驾驶证的人应当符合规定的身体条件,包括身高、视力、辨色力、听力、上肢、下肢、躯干、颈部等方面的要求,因此需要对申请机动车驾驶证的人员身体条件进行检测。
现有技术中,机动车驾驶人身体条件检测,主要有两种方式:一、以医院体检中心/体检点的医生人工检测为主,医院体检中心/体检点需要配备多名医务人员参与这项工作。体检过程存在排队长、效率低、体检不规范等现象,体检结果容易受人为因素的干扰,容易使不符合机动车驾驶条件的人员通过体检,给公共交通安全埋下隐患。并且机动车驾驶人在办理驾驶证期满换证、超龄降级、驾驶人提交身体条件证明等业务时,由于医院体检中心和车管所驾驶证业务办理点不在一个地方,路途中需要往返奔波,也给机动车驾驶人增加出行成本的同时带来诸多不便。二、以驾驶人自助体检网点的自助体检机远程体检为辅,每一家驾驶人自助体检网点均需要配备至少1台自助体检机参与这项工作。但是用自助体检机进行驾驶人体检的过程同样存在网点排队长、体检效率低、远程审核慢等现象,用户往往需要在现场等待5-10分钟,体检审核通过后再去办理驾驶证换证业务。自助体检机远程体检的模式,依旧需要驾驶人往返奔波于线下的驾驶人自助体检网点与车管所之间,给机动车驾驶人带来不便。
不论是医院体检中心/体检点的医生人工检测,还是驾驶人自助体检网点的自助体检机远程体检,他们的客观缺点是:
(1)都需要机动车驾驶人亲自前往线下的网点进行体检,路途中需要往返奔波,会给机动车驾驶人增加出行成本的同时带来诸多不便。
(2)线下体检网点会出现人员排队长、群众聚集、体检效率低、体检审核慢等现象。
(3)都无法做到24小时为驾驶人提供体检服务。
发明内容
有鉴于此,本发明公开了一种机动车驾驶人在线自助体检系统、移动终端及存储介质,用于解决驾驶人体检业务模式繁琐、便捷性差的问题。
本发明第一方面,公开一种机动车驾驶人在线自助体检系统,所述系统包括:依次串行连接的身高检测模块、环境检测模块、视听检测模块、肢体检测模块,以及分别与环境检测模块、视听检测模块、肢体检测模块连接的作弊检测模块;
所述环境检测模块,用于通过同时调用手持式移动终端的前置摄像头、后置摄像头按照指定的拍摄方式采集室内环境图像,生成球形全景照片和音视频影像文件,基于球形全景照片和音视频影像文件进行体检环境检测,确保体检环境中无其他人员且只有一个已关闭的房间出入口;
所述视听检测模块,用于在显示屏上随机显示E形视标和色盲检查图,获取驾驶人视觉辨认结果,以实现视力检测和辨色力检测;通过获取驾驶人对声源方向的辨认结果,以实现听力检测;
所述作弊检测模块,用于在体检过程中设置画面移动侦测、姿态和位移监测、异常中断检测、随机变换E形视标的显示位置的技术手段,防止驾驶人作弊。
优选的,所述系统还包括分别与身高检测模块连接的信息录入模块、身份验证模块;
所述信息录入模块,用于采集驾驶人相关证件的文本信息和实体原件图像及驾驶人手持本人身份证的图像;所述身份验证模块,用于采集驾驶人面部图像以进行活体检测,并与相关证件图像中驾驶人面部的部分来进行人脸比对以验证驾驶人身份;所述身高检测模块,用于通过摄像头采集驾驶人全身照片进行身高检测。
优选的,所述视听检测模块具体包括视力检测单元、辨色力检测单元、听力检测单元;
所述视力检测单元,用于在显示屏上随机显示E形视标,通过前置摄像头模组实时测量驾驶人眼节点到E形视标中心的距离并动态调整视标大小,通过作弊检测模块随机变换每一组视标的显示位置,分别获取驾驶人对E形视标开口方向的判断结果,以实现视力检测;
所述辨色力检测单元,用于在显示屏上随机显示色盲检查图,分别获取驾驶人对图片中图案的辨认结果,以实现辨色力检测;
所述听力检测单元,用于在驾驶人佩戴耳机后随机选择耳机的一个声道播放声音,并采集驾驶人按照显示屏上的动作提示所做动作的图像、动态图或音视频影像,通过获取驾驶人对声源方向的辨认结果,以实现听力检测。
优选的,所述肢体检测模块具体包括躯干和颈部检测单元、上肢检测单元、下肢检测单元;
所述躯干和颈部检测单元,用于采用前置摄像头分别获取驾驶人按照显示屏上的动作提示所做动作的图像、动态图或音视频影像,以审核躯干和颈部是否有运动功能障碍;所述动作提示包括抬起双臂至水平,将双手举至胸前,五指张开掌心向内,并保持姿势左右转头;所述图像、动态图或音视频影像中均包括驾驶人躯干和颈部部位;
所述上肢检测单元,用于采用前置摄像头分别获取驾驶人按照显示屏上的动作提示所做动作的图像、动态图或音视频影像,以审核上肢的肢体和手指是否健全及运动功能是否正常;所述动作提示包括双手五指张开掌心向外且举高至颈部、掌心向外双手握拳且举高至颈部、掌心向内双手握拳且举高至颈部;
所述下肢检测单元,用于同时调用前置摄像头和后置摄像头分别采集驾驶人面部图像和裸露的膝盖及以下部位的图像、动态图或音视频影像,基于采集的驾驶人面部图像进行人脸识别,防止下肢检测作弊,采集的裸露的膝盖及以下部位的图像、动态图或音视频影像用于审核驾驶人双下肢是否健全、运动功能是否正常、双下肢不等长度是否不大于5cm。
优选的,所述作弊检测模块具体包括异常中断检测单元,用于在身份验证模块、环境检测模块、视听检测模块、肢体检测模块中,实时进行异常中断检测,即对运行在移动终端系统前台的应用程序进程进行检测,当检测到身份验证模块、环境检测模块、视听检测模块、肢体检测模块中任一功能模块在运行过程中被最小化、切换至后台、锁屏、退出、返回系统桌面、有电话进来被接听、有SMS短信息进来被回应中任意一种异常打断时,弹出防作弊警告窗口,并终止检测。
优选的,所述作弊检测模块还包括画面移动侦测单元,用于在视听检测模块、躯干和颈部检测单元、上肢检测单元中,通过调用后置摄像头对房间的出入口进行画面移动侦测,同时还通过调用IMU惯性测量单元对移动终端的震动、位移和姿态进行持续监测,在侦测到画面中有物体移动或移动终端被移动或从支架上拿起时,将同时获取前置摄像头和后置摄像头自动拍摄的照片、动态图或音视频影像并上传至后台系统审核,并通过弹出对应的防作弊警告窗口,以暂停检测;在视听检测模块、躯干和颈部检测单元、上肢检测单元中,所述移动终端安放在支架上,且前置摄像头正对驾驶人面部和上半身拍摄、后置摄像头正对房间的唯一出入口拍摄。
优选的,所述作弊检测模块还包括耳机检测单元,用于在视听检测模块中,通过前置摄像头采集驾驶人图像并进行耳机识别,确保驾驶人在视听检测模块全程正确佩戴耳机,以防止外界干扰产生作弊风险。
优选的,所述系统还包括流程引导模块和数据审核模块,所述流程引导模块,用于在身高检测模块、环境检测模块、视听检测模块、肢体检测模块中通过图形、文字或音视频结合的方式进行标准流程指引、注意事项提示、检测结果显示;所述数据审核模块,用于将各个检测模块获取的全部数据及对应的检测结果发送至后台系统进行审核或对检测结果进行二次审核,并接收最终的体检结果。
本发明第二方面,公开一种移动终端,包括:处理单元、分别与处理单元连接的网络模块、无线通信单元、电源单元、存储单元、接口单元、用户输入单元、显示单元、音频输出单元、感测单元及A/V输入单元;所述存储单元存储有可被所述处理单元执行的程序指令,所述处理单元调用所述程序指令,以实现本发明第一方面所述的系统。
本发明第三方面,公开一种计算机可读存储介质,所述计算机可读存储介质存储计算机指令,所述计算机指令使所述计算机实现本发明第一方面的系统。
本发明相对于现有技术具有以下有益效果:
1)本发明实现了驾驶人体检的纯线上体检模式,与现有的线下医生或自助设备的驾驶人身体条件检测技术相比,更加的方便、快捷、智能。驾驶人足不出户,按照本发明机动车驾驶人在线自助体检系统中体检的标准流程步骤和规范要求操作,即可完成线上的自助体检。完成体检后数据将上传至后台系统审核,审核通过的将上传至互联网交通安全综合服务管理平台,以便驾驶人后续通过交管部门官方APP(交管12123)线上办理其它的驾驶证业务。
2)本发明在实现了线上驾驶人体检功能的前提下,为了保证体检过程的真实有效和体检结果的客观公正,在重要的检测项目中均设置有防作弊措施,通过以下技术手段实现,包括:
①在进行视力、辨色力、听力、上肢、下肢、躯干、颈部等检测项目之前,采集体检环境的室内球形全景照片和音视频影像文件以进行环境检测,防止室内有其他人员干扰或提醒;在视力、辨色力、听力、上肢、躯干、颈部等检测项目的过程中将移动终端安放在支架上,且前置摄像头正对驾驶人面部和上半身拍摄、后置摄像头正对房间的唯一出入口拍摄,防止其他人员闯入干扰或提醒;
②通过异常中断检测单元对运行在移动终端系统前台的应用程序进程进行检测,当检测到本发明系统的功能模块在运行过程中被最小化、切换至后台、锁屏、退出、返回系统桌面、有电话进来被接听、有SMS短信息进来被回应中任意一种异常打断状态时,应用程序将弹出防作弊警告窗口,并终止体检;
③通过调用后置摄像头对房间的出入口进行画面移动侦测,同时还通过调用IMU惯性测量单元对移动终端的震动、位移和姿态进行持续监测,在侦测到画面中有物体移动或移动终端被移动或从支架上拿起时,应用程序将同时获取前置摄像头和后置摄像头自动拍摄的照片、动态图或音视频影像并上传至后台系统审核,并通过弹出对应的防作弊警告窗口,以暂停体检;
④在视力检测、辨色力检测、听力检测的过程中,通过引导要求驾驶人佩戴耳机,并使用前置摄像头采集驾驶人图像并进行耳机识别,确保驾驶人在视听检测模块全程正确佩戴耳机,以防止外界干扰产生作弊风险。
本发明较线下体检模式更加方便、快捷、智能。驾驶人足不出户,仅需按照系统的标准流程和要求操作,即可完成在线自助体检。大幅节省了驾驶人前往线下的医院体检中心或自助体检网点之间来回奔波的时间和精力,也能有效避免线下体检网点的人员排队和聚集。
附图说明
图1为本发明一种机动车驾驶人在线自助体检系统的结构示意图;
图2为本发明一种机动车驾驶人在线自助体检系统的工作流程框图;
图3为本发明一种机动车驾驶人在线自助体检的移动终端的硬件单元结构框图;
图4为以移动终端的后置摄像头为例进行球形全景拍摄的示意图;
图5为本发明球形全景照片拼接方法的工作流程框图;
图6为世界坐标系中眼球光轴上角膜顶点与E形视标中心位置的距离的示意图;
图7为E形视标大小随眼部距离变化实时动态调整的示意图;
图8为视角α的定义中眼部距离d与视标笔划宽度h关系的示意图;
图9为视角α、眼部距离d、视标笔划宽度h形成等腰三角形的示意图;
图10为以iPhone 12 Pro Max为例进行E形视标中心位置的坐标转换的实例图;
图11为非标准眼部距离与标准眼部距离计算示意图;
图12为E形视标大小及四个顶点位置调整前后显示效果对比图;
图13为随机变换每一组E形视标在显示屏上显示位置的效果示意图;
图14为本发明准备工作的步骤流程图;
图15为本发明环境检测的部分步骤流程图;
图16为本发明听力检测的部分步骤流程图;
图17为本发明肢体检测的部分步骤示意图;
图18至图19为本发明部分检测异常提示示意图。
具体实施方式
下面将结合本发明实施方式,对本发明实施方式中的技术方案进行清楚、完整地描述,显然,所描述的实施方式仅仅是本发明一部分实施方式,而不是全部的实施方式。基于本发明中的实施方式,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施方式,都属于本发明保护的范围。
请参阅图1,本发明公开一种机动车驾驶人在线自助体检系统,所述系统包括:依次串行连接的身高检测模块20、环境检测模块40、视听检测模块50、肢体检测模块60,以及分别与环境检测模块、视听检测模块、肢体检测模块连接的作弊检测模块70,分别与身高检测模块连接的信息录入模块10、身份验证模块30;所述系统还包括流程引导模块80和数据审核模块90。
所述信息录入模块10,用于采集驾驶人相关证件的文本信息和实体原件图像及驾驶人手持本人身份证的图像;
所述身高检测模块20,用于通过摄像头采集驾驶人全身照片进行身高检测。
所述身份验证模块30,用于采集驾驶人面部图像以进行活体检测,并与相关证件图像中驾驶人面部的部分来进行人脸比对以验证驾驶人身份;
所述环境检测模块40,用于通过同时调用手持式移动终端的前置摄像头、后置摄像头按照指定的拍摄方式采集室内环境图像,生成球形全景照片和音视频影像文件,基于球形全景照片和音视频影像文件进行体检环境检测,确保体检环境中无其他人员且只有一个已关闭的房间出入口;
具体的,环境检测模块40同时调用手持式移动终端的前置摄像头、后置摄像头按照指定的拍摄方式采集室内环境图像;通过后置摄像头采集的环境图像生成第一球形全景照片,通过前置摄像头采集的环境图像生成第二球形全景照片,同时获取室内环境的音视频影像文件;将第一球形全景照片与第二球形全景照片进行融合,得到第三球形全景照片;基于第三球形全景照片和音视频影像文件进行体检环境检测,若体检环境中无除驾驶人本人外的其他人员的图像或音频数据且只有一个已关闭的房间出入口,则环境检测合格。图4为以移动终端的后置摄像头为例进行球形全景拍摄的示意图,以移动终端的前置摄像头进行球形全景拍摄同理。
所述视听检测模块50,用于在显示屏上随机显示E形视标和色盲检查图,获取驾驶人视觉辨认结果,以实现视力检测和辨色力检测;通过获取驾驶人对声源方向的辨认结果,以实现听力检测;视听检测模块50具体包括视力检测单元501、辨色力检测单元502、听力检测单元503;
所述视力检测单元501,用于在显示屏上随机显示E形视标,通过前置摄像头模组实时测量驾驶人眼结点到E形视标中心的距离并动态调整视标大小,通过作弊检测模块随机变换每一组视标的显示位置,分别获取驾驶人对E形视标开口方向的判断结果,以实现视力检测;
具体的,请参阅图6、图7,图6为世界坐标系中眼球光轴上角膜顶点与E形视标中心位置的距离的示意图;图7为E形视标大小随眼部距离变化实时动态调整的示意图;视力检测单元501获取显示屏上随机生成的E形视标中心位置,实时计算驾驶人眼结点与E形视标中心的距离;基于显示屏的PPI像素密度及驾驶人眼结点与E形视标中心的距离通过实时计算E形视标边长所占像素点的个数来动态调整视标大小;基于E形视标边长所占像素点的个数及眼睛到显示屏的角度、方向实时调整E形视标的大小及四个顶点的位置,使得在眼睛的视角方向上虚拟显示出始终是正方形的E形视标;随机变换每一组E形视标在显示屏上的显示位置、开口方向,在每一组视标方向判断的过程中通过前置摄像头模组采集的人体姿态图像数据进行作弊检测;获取每一组E形视标显示时驾驶人对开口方向的判断结果,以实现视力检测。
所述辨色力检测单元502,用于在显示屏上随机显示色盲检查图,分别获取驾驶人对图片中图案的辨认结果,以实现辨色力检测;
所述听力检测单元503,用于在驾驶人佩戴耳机后随机选择耳机的一个声道播放声音,并采集驾驶人按照显示屏上的动作提示所做动作的图像、动态图或音视频影像,通过获取驾驶人对声源方向的辨认结果,以实现听力检测。
所述肢体检测模块60,具体包括躯干和颈部检测单元601、上肢检测单元602、下肢检测单元603;
所述躯干和颈部检测单元601,用于采用前置摄像头分别获取驾驶人按照显示屏上的动作提示所做动作的图像、动态图或音视频影像,以审核躯干和颈部是否有运动功能障碍;所述动作提示包括抬起双臂至水平,将双手举至胸前,五指张开掌心向内,并保持姿势左右转头;所述图像、动态图或音视频影像中均包括驾驶人躯干和颈部部位;
所述上肢检测单元602,用于采用前置摄像头分别获取驾驶人按照显示屏上的动作提示所做动作的图像、动态图或音视频影像,以审核上肢的肢体和手指是否健全及运动功能是否正常;所述动作提示包括双手五指张开掌心向外且举高至颈部、掌心向外双手握拳且举高至颈部、掌心向内双手握拳且举高至颈部;
所述下肢检测单元603,用于同时调用前置摄像头和后置摄像头分别采集驾驶人面部图像和裸露的膝盖及以下部位的图像、动态图或音视频影像,基于采集的驾驶人面部图像进行人脸识别,防止下肢检测作弊,采集裸露的膝盖及以下部位的图像、动态图或音视频影像用于审核驾驶人双下肢是否健全、运动功能是否正常、双下肢不等长度是否不大于5cm。
所述作弊检测模块70,用于在体检过程中设置画面移动侦测、姿态和位移监测、异常中断检测、随机变换E形视标的显示位置的技术手段,防止驾驶人作弊,具体包括异常中断检测单元701、画面移动侦测单元702、耳机检测单元703、视标位置变换单元704;
所述异常中断检测单元701,用于在身份验证模块、环境检测模块、视听检测模块、肢体检测模块中,实时进行异常中断检测,即对运行在移动终端系统前台的应用程序进程进行检测,当检测到身份验证模块、环境检测模块、视听检测模块、肢体检测模块中任一功能模块在运行过程中被最小化、切换至后台、锁屏、退出、返回系统桌面、有电话进来被接听、有SMS短信息进来被回应中任意一种异常打断时,弹出防作弊警告窗口,并终止检测。
所述画面移动侦测单元702,用于在视听检测模块、躯干和颈部检测单元、上肢检测单元中,通过调用后置摄像头对房间的出入口进行画面移动侦测,同时还通过调用IMU惯性测量单元对移动终端的震动、位移和姿态进行持续监测,在侦测到画面中有物体移动或移动终端被移动或从支架上拿起时,将同时获取前置摄像头和后置摄像头自动拍摄的照片、动态图或音视频影像并上传至后台系统审核,并通过弹出对应的防作弊警告窗口,以暂停检测。在视听检测模块、躯干和颈部检测单元、上肢检测单元中,所述移动终端安放在支架上,且前置摄像头正对驾驶人面部和上半身拍摄、后置摄像头正对房间的唯一出入口拍摄。
所述耳机检测单元703,用于在视听检测模块中,通过前置摄像头采集驾驶人图像并进行耳机识别,确保驾驶人在视听检测模块全程佩戴耳机,以防止外界干扰产生作弊风险。
所述视标位置变换单元704,用于在视力检测单元中每一组E形视标方向判断完成后,随机变换下一组E形视标的开口方向和显示位置。
所述流程引导模块80,用于在身高检测模块、环境检测模块、视听检测模块、肢体检测模块中通过图形、文字或音视频结合的方式进行标准流程指引、注意事项提示、检测结果显示;
所述数据审核模块90,用于将各个检测模块获取的全部数据及对应的检测结果发送至后台系统进行审核或对检测结果进行二次审核,并接收最终的体检结果。
与以上系统相对应,本实施例提供了一种机动车驾驶人在线自助体检的方法,是通过移动终端内预设的机动车驾驶人在线自助体检应用程序、后台系统相配合实现的,检测内容包括:身高检测、身份验证、环境检测、视力检测、辨色力检测、听力检测、躯干和颈部检测、上肢检测、下肢检测。图2为本发明一种机动车驾驶人在线自助体检系统的工作流程框图。
一、前期准备
S1、用户登录;
S2、准备工作:图14为本发明准备工作的步骤流程图;
S21、应用程序引导驾驶人选择一间有桌椅、宽敞、明亮、面积6平米以上、只有一个出入口的房间,调整好桌椅的摆放,将座位正对房间入口,准备一部支架、一副耳机、一位亲友,并将支架、耳机置于桌面,以正对房间入口的方向就座,并将移动终端放置于支架上;
S22、应用程序通过同时调用前置摄像头和后置摄像头,将拍摄到的前后两幅画面同步实时呈现在移动终端显示屏取景框内的方式完成取景,并引导驾驶人调整好支架角度,让前置摄像头正对驾驶人面部和上半身的同时,后置摄像头正对房间的唯一出入口;
S3、信息录入:
S31、应用程序调用后置摄像头采集驾驶人相关证件照片及驾驶人手持本人身份证的照片;获取体检人姓名、性别、证件类型、证件号码、手机号码、驾驶证档案编号、当前准驾车型的信息。
二、身高检测
S41、应用程序根据其检测到的移动终端内部传感器模块的配置情况,自动采取不同的AR测量方案,并将摄像头采集的画面呈现在显示屏的取景框内,引导亲友操作移动终端在取景框内手动标记或自动AI识别驾驶人的脚底和头顶并拍摄全身照片的方式,实现身高检测。
三、身份验证
S51、应用程序通过前置摄像头对驾驶人进行活体检测和人脸比对,以完成身份验证。
四、环境检测
该步骤通过移动终端采集室内环境图像生成球形全景照片以进行环境检测,通过移动终端采集室内环境图像的方式有多种,包括引导驾驶人双手握持移动终端,绕移动终端与地面的垂线为轴心水平旋转拍摄,同时转动双手手腕使移动终端绕其自身的水平轴线做±90°的俯仰翻转拍摄;或者采用可同时水平旋转和垂向翻转的支撑装置来支撑移动终端以设定的水平旋转速度和翻转速度实现360度球形全景拍摄。本实施中以驾驶人双手握持移动终端采集室内环境图像为例介绍环境检测步骤。
S61、在应用程序中进入环境检测引导页,应用程序引导驾驶人起身站立,并随座椅一起往后移动,座椅与桌面边缘留出指定的距离,为后续站立和转身预留足够的活动空间;
S62、应用程序引导驾驶人拿起移动终端,双手横向水平握持抬高至与眼部同高,距离15至20厘米,且让显示屏与视线保持水平,将后置摄像头对准房间的出入口;
S63、应用程序引导驾驶人,以手中的移动终端与地面的垂点为轴心,以面部与移动终端的距离为半径,驾驶人绕着轴心往左横向的转圈移动;
S64、应用程序引导驾驶人在每横向移动一步时,用手腕上下转动移动终端,以完成一轮±90°的俯仰翻转,直至房间内的真实影像将取景器中空白区域完全覆盖,当全景照拍摄进度至100%时,显示屏上通过箭头提示引导驾驶人将后置摄像头对准房间的出入口,以结束全景拍摄,并开启后置摄像头持续进行视频录像,直至步骤S68结束进入步骤S71时停止录像,并将采集到的视频影像上传至后台系统审核;图4为以移动终端的后置摄像头为例进行全景拍摄的示意图;图15为本发明环境检测的部分步骤流程图;
S65、移动终端在步骤S62~S64的拍摄过程中,同时调用前置摄像头、麦克风MIC、后置摄像头、IMU惯性测量单元,在调用IMU惯性测量单元和后置摄像头采集室内环境图像同时还调用前置摄像头、IMU惯性测量单元和麦克风MIC采集室内环境图像并自动录制驾驶人手持移动终端拍摄过程中的音视频影像,且前置摄像头和后置摄像头同时开始拍摄同时完成球形全景照片拍摄,当拍摄进度达到100%,即完全覆盖房间内所有空间角度时完成球形全景照片的拍摄,并自动拼接生成体检环境的第一、第二球形全景照片;具体的,分别以对应的摄像头为坐标原点,在对应的摄像头采集环境图像的同时同步调用IMU惯性测量单元,持续获取移动终端的姿态角数据,得到一组包含姿态角的连续照片序列;对包含姿态角的连续照片序列进行特征匹配和图像拼接,合成一张体检环境的球形全景照片。图5为本发明球形全景照片拼接方法的工作流程框图;其中,在生成第一、第二球形全景照片之前,获取预先存储的驾驶人多角度全身照片,将驾驶人多角度全身照片与前置摄像头和/或后置摄像头采集的环境图像进行特征匹配,从前置摄像头和/或后置摄像头采集的环境图像中剔除驾驶人躯体所在区域。
S66、将采集的环境数据发送至后台系统自动审核,展示环境检测结果,若合格进入下一步骤,若不合格重新采集环境数据检测;
在后台中将第一球形全景照片与第二球形全景照片进行融合,得到第三球形全景照片,具体为:
根据前置摄像头和后置摄像头之间的位置关系确定第一球形全景照片与第二球形全景照片对应的室内位置关系;提取第一球形全景照片合成过程中的各个拼接缝,确定各个拼接缝与第二球形全景照片对应的位置映射关系,预先按照差分法比较第一球形全景照片与第二球形全景照片,从中筛选出差异较大的拼接缝并编号,按照筛选出的拼接缝的大小对第一球形全景照片进行网格划分,使得各个拼接缝位于各个网格片区内;将第二球形全景照片按照对应位置进行相同的网格划分,将第一球形全景照片与第二球形全景照片对应位置的各个网格片区进行图像融合,拼接得到第三球形全景照片。
所述将第一球形全景照片与第二球形全景照片对应位置的各个网格片进行图像融合具体为:判断待融合的两个网格片区的大小,若大于预设阈值则分别对网格片区进行等距划分,得到多个子区域,分别计算各个子区域的信息熵;采用黄金正弦算法优化各个子区域的融合权重,优化目标是使得各个信息熵小于预设熵阈值的子区域在融合前后的信息熵的变化率均小于预设的变化率阈值且融合后的单个网格片区的总信息熵最小;对于网格片区的大小小于等于预设阈值的情况,采用黄金正弦算法直接优化各个像素的融合权重;当对应位置的各个网格片中存在留白区域时,留白区域的融合权重均为0;根据融合权重对对应的两个网格片区进行加权图像融合。以某组待融合的两个网格片区为例,采用黄金正弦算法进行优化时,首先随机初始化种群位置,每个个体位置代表其中一个网格片区的各个子区域的融合权重初始解,设置黄金正弦相关参数,以所述优化目标为适应度函数计算最优个体位置,并进行位置更新,迭代运算直至找到最优个体位置x best 作为其中一个网格片区的各个子区域的融合权重,设x best =(w 1,w 2,…,w d),则另一个网格片区的对应的各个子区域的融合权重为(1-w 1,1-w 2,…,1-w d),其中d为子区域个数,根据对应的各个子区域的融合权重进行两两融合。以采用黄金正弦算法直接优化各个像素的融合权重同理。
最后采用卷积神经网络对第三球形全景照片进行目标识别,识别出第三球形全景照片中是否有人员的图像痕迹,并识别是否只有一个已关闭的房间出入口,对音视频影像文件进行音频分析,判断是否有说话声。若体检环境中无其他人员的图像和音频数据且只有一个已关闭的房间出入口,则环境检测合格;
S67、环境检测合格后,应用程序提示驾驶人保持后置摄像头始终对准房间的出入口,并在30秒内严格执行并完成以下操作:按上一次的摆放位置和角度,将移动终端放置到支架上(放置过程中和安放好后后置摄像头始终对准房间的出入口),驾驶人将座椅归位并面对房间入口就座,确认耳机的左、右声道,并佩戴好耳机,连接耳机与移动终端,调节耳机音量至50%以上,在30秒后自动进入下一步;
S68、提示驾驶人注意事项,包括:在上肢检测项目结束前切勿再拿起移动终端、改变支架的摆放位置或角度,切勿移动桌面,请按照页面提示,在后续体检项目中尽可能通过语音操作,请勿在显示屏上操作按钮以外的区域,并在10秒后自动进入视力检测步骤。
五、视力检测
S71、应用程序开启后置摄像头进行画面移动侦测;
S72、在视力检测前,应用程序根据其检测到的移动终端的品牌、型号、参数及内部传感器模块配置情况,以匹配显示屏的PPI值,并使用前置摄像头模组,建立以前置3D深感摄像头为原点的三维世界坐标系,对人体面部的深度结构信息进行提取,并实时绘制3D面部网格,通过对驾驶人眼部进行追踪定位,获取眼球光轴上角膜顶点的位置坐标,根据前置摄像头模组的配置情况,自动采取不同的眼部测距技术方案,结合信息录入环节提交的驾驶人当前准驾车型,判断本环节视力检测的标准,根据对应的5分记录L值加载对应的E形视标的显示参数,动态调节显示屏上E形视标的大小,以达到视力检测标准;
S73、应用程序引导驾驶人判断自己是否有佩戴眼镜,并通过调用麦克风MIC采集驾驶人按照显示屏上的提示说出的语音指令,基于语音识别技术以获取驾驶人的视力矫正状态;
S74、应用程序引导驾驶人尽可能保持视线与显示屏垂直,在左眼视力检测时,用右手掌心遮住右眼,在右眼视力检测时,用左手掌心遮住左眼,并在视力检测过程中始终保持遮眼姿势,等待倒计时结束后自动开始视力检测;
S75、应用程序实时计算在移动终端显示屏上显示正方形E形视标边长需要占用的正方形像素点的个数,由此动态调节E形视标在移动终端显示屏上的大小。首先,根据检测到的移动终端内部前置摄像头模组的配置情况,自动采取不同的眼部距离计算方案(包括采用3D飞行时间法、3D结构光法、双目立体视觉法或虹膜追踪测距法),来实时测量和计算人眼结点与E形视标中心位置之间的距离。比如采用3D结构光技术的前置摄像头模组,在对人体面部的深度结构信息进行提取时,将以前置3D深感摄像头为原点建立三维世界坐标系,并实时绘制3D面部网格,通过对人眼的追踪定位,获取眼球光轴上角膜顶点在世界坐标系中的位置坐标,表示为(x1,y1,z1),单位为mm;获取随机生成的E形视标中心点在显示屏坐标系中的位置坐标,表示为(m,n),单位为像素点,通过坐标系变换将显示屏坐标系中的位置坐标换算到世界坐标系中,表示为(x2,y2,z2),单位为mm。
请参阅图6,图6为世界坐标系中眼球光轴上角膜顶点与E形视标中心位置的距离的示意图;根据从3D面部网格中获取的眼球光轴上角膜顶点的位置坐标,可计算出人眼结点与E形视标中心位置之间的距离,即眼部距离,公式为:
Figure 576611DEST_PATH_IMAGE001
式中d0为眼球屈光系统的光心至眼球光轴上角膜顶点的距离,通常为固定值7mm;(x1,y1,z1)为眼球光轴上角膜顶点在世界坐标系中的位置坐标;(x2,y2,z2)为随机生成的E形视标中心在世界坐标系中的位置坐标。
由于应用程序在显示屏上显示E形视标时,通常是以E形视标中心点在显示屏坐标系中的位置坐标来进行定位和显示,因此需要通过坐标系变换将显示屏坐标系中的位置坐标换算到世界坐标系中。由于每一款移动终端的显示屏都有不同的PPI像素密度,即每英寸对角线上所拥有的像素数目,设k为显示屏上正方形像素点的边长,单位为mm,则根据像素密度的定义,结合1英寸=25.4mm可推算出
Figure 493751DEST_PATH_IMAGE002
。请参阅图10,设前置3D深感摄像头(图10中红外镜头)与显示屏坐标系Y’轴的距离为a,单位为mm,与显示屏坐标系X’轴的距离为b,单位为mm。由于E形视标中心在以前置3D深感摄像头为原点建立的X、Y、Z轴三维世界坐标系中位置坐标为(x2,y2,z2),而在以显示屏左上角第一个像素点为原点建立的X’、Y’轴显示屏坐标系中位置坐标为(m,n)。通过坐标系变换得到:
Figure 211171DEST_PATH_IMAGE003
由于前置3D深感摄像头通常与显示屏处于同一平面,则
Figure 606381DEST_PATH_IMAGE004
,代入眼部距离公式得到:
Figure 859901DEST_PATH_IMAGE005
式中d为人眼结点与E形视标中心的距离,单位为mm;(x1,y1,z1)为眼球光轴上角膜顶点在世界坐标系中的位置坐标,单位为mm;(m,n)为E形视标中心在显示屏坐标系中的位置坐标,单位为像素点;a为前置3D深感摄像头与显示屏坐标系Y’轴的距离,单位为mm;b为前置3D深感摄像头与显示屏坐标系X’轴的距离,单位为mm。
其次,根据显示屏的PPI像素密度及人眼结点与E形视标中心位置的距离,实时计算在移动终端显示屏上显示正方形E形视标的边长所需占用的像素点的个数;请参阅图8、图9,图8为视角α的定义中眼部距离d与视标笔划宽度h关系的示意图;图9为视角α、眼部距离d、视标笔划宽度h所形成的等腰三角形的示意图;由于国标《GB11533-2011》要求的视力表设计标准中,正方形E形视标的边长H为视标笔划宽度h的5倍,即H=5h,再结合三角形勾股定理,可采用以下公式实时动态计算E形视标边长的大小:
Figure 682363DEST_PATH_IMAGE006
式中H为E形视标的边长,单位为mm;d为人眼结点与E形视标中心的距离,单位为mm;α为E形视标中间笔划的上下边缘在眼结点处所夹的角,单位为分(′);
设n为在移动终端显示屏上显示正方形E形视标的边长所需要占用的正方形像素点的个数,则:
Figure 887080DEST_PATH_IMAGE007
式中k为显示屏上正方形像素点边长,单位为mm;PPI为移动终端显示屏的像素密度,即显示屏上每英寸所拥有的像素数量;
请参阅图7,图7为E形视标大小随眼部距离变化实时动态调整的示意图;通过以上公式,结合国标《GB11533-2011》中5分记录的表达公式
Figure 85980DEST_PATH_IMAGE008
转换为
Figure 958121DEST_PATH_IMAGE009
,单位为分(′),可推算出计算E形视标边长在移动终端显示屏上需要占用的正方形像素点的个数的公式为:
Figure 951485DEST_PATH_IMAGE010
式中n为在移动终端显示屏上显示正方形E形视标的边长所需要占用的正方形像素点的个数;d为人眼结点与E形视标中心位置之间的距离,即眼部距离,单位为mm;PPI为移动终端显示屏的像素密度;L为5分记录。
若以苹果公司的iPhone 12 Pro Max移动终端进行机动车驾驶人的视力检测为例,由于其显示屏的像素密度PPI为458,根据机动车驾驶人的准驾车型不同,L可取值4.9或5.0,由此推导出下表1中视标边长所占用的正方形像素点的个数n与眼部距离d的对应关系:
表1 iPhone 12 Pro Max中视标边长所用像素点数量n与眼部距离d的对应关系
Figure 377918DEST_PATH_IMAGE011
由于本发明中的眼部距离计算方法完全按照国标《GB11533-2011》中的要求执行,即为标准眼部距离。为了证明本发明的标准眼部距离计算方法较现有技术中部分非标准眼部距离计算方法,在视力检测上有更高的精准性和更小的误差,请参阅图10,图10为以iPhone 12 Pro Max为例进行E形视标中心位置的坐标转换的实例图;通过制造商公布的工程文件和实际测量得知,iPhone 12 Pro Max的显示屏分辨率1284×2778,像素密度PPI为458,其前置3D深感摄像头(图10中红外镜头)与显示屏坐标系Y’轴的距离为21.5mm,与显示屏坐标系X’轴的距离为2mm。此时标准眼部距离为:
Figure 114930DEST_PATH_IMAGE012
请参阅图11,图11为非标准眼部距离与标准眼部距离的对比计算示意图;若视力检测过程中直接使用非标准眼部距离,比如前置3D深感摄像头到眼球光轴上角膜顶点位置的距离,则该非标准眼部距离S的计算公式为:
Figure 74533DEST_PATH_IMAGE013
非标准眼部距离与标准眼部距离的比值计算公式为:
Figure 504378DEST_PATH_IMAGE014
通常,眼球光轴上角膜顶点与E形视标中心在移动终端显示屏的平面投影上存在
Figure 746003DEST_PATH_IMAGE015
的距离误差。为了便于计算,假设E形视标中心在显示屏坐标系中(1200,2700)的位置坐标显示,同时假设视线与显示屏上E形视标中心完全垂直,则x1=x2,y1=y2,由此推导出:
Figure 958810DEST_PATH_IMAGE016
按照非标准眼部距离与标准眼部距离的比值计算公式推断,在x1、y1为固定值时,z1的值越小则非标准眼部距离与标准眼部距离的比值越大。按表1中5分记录L为4.9时,眼部距离d最小值为151.44mm,则此时z1的值也最小为144.44mm,此时非标准眼部距离与标准眼部距离的比值为:
Figure 602281DEST_PATH_IMAGE017
根据E形视标边长在移动终端显示屏上需要占用的正方形像素点的个数的公式得知:像素点个数n与眼部距离d为线性关系。由此可推断,若视力检测过程中使用非标准眼部距离来计算并动态调整E形视标的大小,则视力检测的结果误差可达39.64%。
综上所述,本发明中使用的标准眼部距离,即人眼结点(眼球屈光系统的光心,在眼球光轴上角膜顶点后约7mm)与E形视标中心位置之间的距离,来计算E形视标边长需要占用的正方形像素点的个数,由此动态调节E形视标在移动终端显示屏上的大小,更符合国标《GB11533-2011》中视力检测标准的要求。
S76、应用程序基于E形视标边长所占像素点的个数及眼睛到显示屏的角度、方向实时调整E形视标的大小及四个顶点的位置,使得在眼睛的视角方向上虚拟显示出始终是正方形的E形视标;由于视力检测时,很难要求驾驶人将被测眼垂直正对移动终端显示屏上的E形视标中心,因此本发明通过移动终端的前置摄像头模组测量眼球光轴上角膜顶点在世界坐标系中的位置坐标,来计算眼睛到显示屏的距离、角度和方向,通过投影变换使得在眼睛的视角方向上虚拟显示出始终是正方形的E形视标,视觉效果上不随眼睛的角度变化而变化。
请参阅图12,图12为E形视标大小及四个顶点位置调整前后显示效果对比图,所示为采用常规显示方案与采用本发明的显示方案的效果对比,其中,左侧第一行的三个图为采用常规显示方案时,当眼睛角度变换时,眼中实际看到的E形视标的效果;右侧第一行的三个图为采用本发明的显示方案时,当眼睛角度变换时,眼中实际看到的E形视标的效果,不管从哪个角度看,通过实时动态调整E形视标的大小及四个顶点的位置,E形视标始终为正方形;右侧第二行的三个图为采用本发明的显示方案时,当眼睛角度变换时,移动终端显示屏上E形视标的实际显示效果(E形视标的大小及四个顶点的位置,随眼睛的位置和角度而变化)。综上所述,本发明中基于E形视标边长所占像素点的个数及眼睛到显示屏的角度、距离、方向进行投影变换,调整E形视标的大小及四个顶点的位置,使得在眼睛的视角方向上虚拟显示出始终是正方形的E形视标,这样测得的视力值是完全符合国标《GB11533-2011》中视力检测标准的要求,更准确反应测试者真实视力值。
S77、随机变换每一组E形视标在显示屏上的显示位置、开口方向,引导驾驶人分别用左眼和右眼判断每一组E形视标的开口方向,通过调用麦克风MIC采集驾驶人按照显示屏上的提示说出的语音指令“上”、“下”、“左”、“右”或“看不清”,基于语音识别技术以获取每一组E形视标显示时驾驶人对方向判断的结果,进行视力判断。请参阅图13,图13为随机变换每一组E形视标在显示屏上显示位置的效果示意图;
S78、在每一组视力检测的过程中,通过前置摄像头模组采集的人体图像数据判断姿态的标准程度;实时获取人眼结点与E形视标中心位置的距离d,若所述距离小于预设的第一距离阈值,发出距离过近的提示;若所述距离大于等于第一距离阈值,通过前置摄像头模组采集每一组E形视标方向判断过程中的人体姿态图像,根据人体姿态图像提取人体上半身的深度结构信息,根据人体上半身的深度结构信息提取人体上半身关节点坐标;根据人体上半身关节点坐标识别人体姿态,与显示屏上提示的标准的视力检测姿态比对,判断姿态的标准程度;
具体包括:获取与每一组E形视标判断结果相对应的人体姿态图像及人体上半身关节点坐标,计算各个关节点坐标组成的肢体夹角;具体的,当进行左眼视力检测时,引导测试者用右手捂住右眼,根据与判断结果相对应的人体姿态图像提取左眼坐标、左肩坐标、左肘关节坐标、左手腕关节坐标、右肘关节坐标、右手腕关节坐标、右手四指指尖坐标,根据左眼至显示屏距离、角度及人体左右对称原理计算右眼坐标、右肩坐标;计算人体姿态图像中左眼坐标、左肩坐标、左肘关节坐标连线之间的肢体夹角,左肩坐标、左肘关节坐标、左手腕关节坐标连线之间的肢体夹角;计算人体姿态图像中右肩坐标、右肘关节坐标、右手腕关节坐标连线之间的肢体夹角及右手腕关节坐标、右眼坐标分别与右手四指指尖坐标之间连线的肢体夹角。当进行右眼视力检测时,引导测试者用左手捂住左眼,根据与判断结果相对应的人体姿态图像提取右眼坐标、右肩坐标、右肘关节坐标、右手腕关节坐标、左肘关节坐标、左手腕关节坐标、左手四指指尖坐标,根据右眼至显示屏距离、角度及人体左右对称原理计算左眼坐标、左肩坐标;计算人体姿态图像中右眼坐标、右肩坐标、右肘关节坐标连线之间的肢体夹角,右肩坐标、右肘关节坐标、右手腕关节坐标连线之间的肢体夹角;计算人体姿态图像中左肩坐标、左肘关节坐标、左手腕关节坐标连线之间的肢体夹角,及左手腕关节坐标、左眼坐标分别与左手四指指尖坐标之间连线的肢体夹角。
分别计算各个肢体夹角与标准姿态图像的各个对应的肢体夹角之间的相似度,将各个相似度加权求和计算得到最终的姿态相似度;将姿态相似度作为姿态标准程度,若姿态相似度大于等于第一相似度阈值,则认为姿态标准。
应用程序在每一组视力检测的过程中,结合随机变换的E形视标位置及对应的人体姿态,判断是否有包括手臂前伸、手持异物、E形视标位置跟随在内的一种或多种作弊嫌疑,判断是否作弊。具体的,包括:
手臂前伸判定子单元,当某一肘关节与显示屏的距离小于预设的第二距离阈值时,判定存在手臂前伸情况;
手持异物判定子单元,通过图像识别进行异物检测,判断是否手持异物;
视标位置跟随判定子单元,在同一只眼的视力检测过程中,获取已显示的各个E形视标在显示屏上的位置坐标,并按照显示顺序组成视标坐标集,分别计算视标坐标集中相邻两个坐标之间的变换向量,生成视标变换向量集;
获取与每一组E形视标判断结果相对应的人体上半身关节点坐标中的肘关节坐标,并按照判断顺序组成肘关节坐标集,分别计算肘关节坐标集中相邻两个坐标之间的变换向量,生成肘关节运动向量集;
计算视标变换向量集与肘关节运动向量集之间的相似度,当所述相似度大于等于预设的第二相似度阈值时,判定手臂跟随E形视标的位置变动,即存在视标位置跟随情况;具体的,设已显示的各个E形视标在显示屏坐标系上的位置坐标为(x 1,i ,y 1,i ),与每一组E形视标判断结果相对应的人体上半身关节点坐标中的肘关节在世界坐标系的X、Y平面的坐标为(x 2,i ,y 2,i ),i=0,1,2,…,m,则所述视标变换向量集为T 1 ={(x 1,i - x 1,i-1 ,y 1,i - y 1,i-1 )| i= 1,2,…,m },肘关节运动向量集为T 2 ={(x 2,i - x 2,i-1 ,y 2,i - y 2,i-1 )| i=1,2,…,m};
所述计算视标变换向量集与肘关节运动向量集之间的相似度的公式为:
Figure 875130DEST_PATH_IMAGE018
式中m为单眼视力检测的E形视标显示总数减1,
Figure 604052DEST_PATH_IMAGE019
作弊判定子单元,在每一组E形视标识别的过程中,若姿态标准程度小于第一相似度阈值且存在手臂前伸、手持异物、视标位置跟随中的任一情况时,判定作弊,发出作弊提醒。
此外,还通过调用显示屏触控面板进行作弊检测,对触摸点击操作和触摸点坐标(指针位置)进行持续监测,当侦测到对显示屏中按钮以外区域的触摸点击操作时,应用程序将调用前置摄像头拍摄1份照片、动态图或音视频影像并上传至后台系统审核,同时应用程序将以弹出警告窗口,并临时暂停检测的方式,能有效甄别和防止视力检测过程中测试者使用移动终端系统自带的显示屏虚拟放大镜功能作弊的情况。
S79、随机变换E形视标的显示位置和开口方向进行下一组E形视标方向判断,以此循环,对左眼和右眼分别进行8组检测,当每只眼有不少于4组方向判断正确时该眼视力判定为合格。
六、辨色力检测
S81、应用程序在移动终端显示屏上随机显示多组色盲检查图,引导驾驶人辨认色盲检查图中的图案,并记录每一次辨认结果是否正确,正确的将调用前置摄像头拍摄驾驶人上半身的照片、动态图或音视频影像并上传至后台系统审核,多组辨认后显示当前的辨色力检测结果。
七、听力检测
S91、应用程序引导驾驶人判断自己是否有佩戴助听器,并采集驾驶人按照显示屏上的动作提示所做动作的图像、动态图或音视频影像,确保已正确佩戴耳机,通过随机在耳机的一个声道中播放声音,并获取驾驶人对声源方向的辨认结果,以实现听力检测。图16为本发明听力检测的部分步骤流程图;
八、肢体检测
S101、应用程序通过前置摄像头分别获取驾驶人按照显示屏上的动作提示所做动作的图像、动态图或音视频影像,以进行躯干和颈部检测、上肢检测,上肢检测完成后关闭后置摄像头结束画面移动侦测。通过同时调用前置摄像头和后置摄像头获取驾驶人按照显示屏上的动作提示所做动作的图像、动态图或音视频影像,以进行下肢检测,图17为本发明肢体检测部分步骤示意图,从左至右分别为躯干和颈部检测示意图、上肢检测示意图、下肢检测示意图。
九、防作弊措施
为了保证驾驶人在线自助体检的过程真实有效,以及在线自助体检的审核标准客观公正,实现甄别和防止在线自助体检过程作弊就显得尤为重要。本发明综合以下方式:1)、对体检环境和工具的要求;2)、对体检流程的设置;3)、通过技术手段检测干预体检的异常行为;
1)、对体检环境和工具的要求:
1、体检环境要求:必须是一间房间,要求有桌椅、宽敞、明亮、面积6平米以上,房间内只有一个出入口,座位可正对房间出入口。2、体检工具要求:需要但不限于一部支架、一副耳机、一位亲友。
2)、对体检流程的设置:
在体检流程的设置上,将身高检测、身份验证放在一起,并与环境检测、视力检测、辨色力检测、听力检测、躯干和颈部检测、上肢检测项目分开;将下肢检测与视力检测、辨色力检测、听力检测、躯干和颈部检测、上肢检测项目分开;将佩戴耳机的动作设置在视力检测、辨色力检测、听力检测项目之前;
3)、通过技术手段检测干预体检的异常行为:
1、应用程序在环境检测过程中,通过同时调用前置摄像头和后置摄像头,在拍摄体检环境(房间)的球形全景照片的过程中,同时拍摄音视频影像。由于前置摄像头和后置摄像头是同时开始拍摄并同时结束拍摄。因此,通过将球形全景照片和音视频影像文件上传至后台系统自动审核,能有效辨别体检环境中是否仅驾驶人独自一人,从而有效甄别出体检过程中是否有其他无关人员干预驾驶人体检的情况。
2、应用程序在身高检测、身份验证、环境检测、视力检测、辨色力检测、听力检测、躯干和颈部检测、上肢检测、下肢检测过程中,通过调用前置摄像头或后置摄像头,在检测过程中拍摄照片、动态图或音视频影像并上传至后台系统,由医生在线人工审核或系统自动审核的方式,能有效甄别出检测过程中是否有其他无关人员干预驾驶人体检的情况。
3、应用程序在视力检测过程中,通过记录每一组在显示屏上随机变换的E形视标的位置,并结合前置摄像头模组采集到每一组视标方向判断过程中的人体姿态图像,能有效甄别和防止视力检测过程中驾驶人手持放大镜或类似装置作弊的情况。
4、应用程序在视力检测过程中,通过调用显示屏触控面板,对触摸点击操作和触摸点坐标(指针位置)进行持续监测,当侦测到对显示屏中按钮以外区域的触摸点击操作时,应用程序将调用前置摄像头拍摄1份照片、动态图或音视频影像并上传至后台系统审核,同时应用程序以弹出“操作异常”的警告窗口,并临时暂停检测5秒钟的方式,能有效甄别和防止体检过程中驾驶人使用移动终端系统自带的显示屏虚拟放大镜功能作弊的情况。
5、应用程序在身份验证、环境检测、视力检测、辨色力检测、听力检测、躯干和颈部检测、上肢检测、下肢检测过程中,通过对运行在移动终端系统前台的应用程序进程进行检测,当检测到身份验证模块、环境检测模块、视听检测模块、肢体检测模块中任一功能模块在运行过程中被最小化、切换至后台、锁屏、退出、返回系统桌面、有电话进来被接听、有SMS短信息进来被回应中任意一种异常打断时,通过弹出“检测到异常中断”的警告窗口,并终止检测返回应用程序首页的方式,以防止体检过程中驾驶人通过暂停应用程序以绕开防作弊监测机制的方式进行作弊。
6、应用程序在视力检测、辨色力检测、听力检测、躯干和颈部检测、上肢检测过程中,通过调用后置摄像头对房间的出入口进行画面移动侦测,识别图像的变化和运动物体的存在,当侦测到有人开门或试图进入房间等干扰驾驶人体检过程的行为时,应用程序将同时获取前置摄像头和后置摄像头自动拍摄的2份照片、动态图或音视频影像并上传至后台系统审核,同时应用程序将弹出“环境检测异常”的警告窗口,并临时暂停检测5秒钟的方式,能有效甄别和防止体检过程中有其他无关人员进入体检环境并干预驾驶人体检的情况。
7、应用程序在视力检测、辨色力检测、听力检测、躯干和颈部检测、上肢检测过程中,通过调用电子罗盘和IMU惯性测量单元中的三轴陀螺仪、加速度感应器,对移动终端的震动、位移和姿态进行持续监测,当侦测到移动终端被移动或从支架上拿起时,应用程序将同时获取前置摄像头和后置摄像头自动拍摄的2份照片、动态图或音视频影像并上传至后台系统审核,同时应用程序将弹出“终端位置异常”的警告窗口,并临时暂停检测5秒钟的方式,能有效甄别和防止体检过程中驾驶人使用移动终端进行与体检无关的操作;
8、应用程序在下肢检测过程中,通过同时调用前置摄像头和后置摄像头,在检测过程中同时拍摄驾驶人上半身及面部图像和驾驶人裸露的膝盖及以下部位的2份照片、动态图或音视频影像并上传至后台系统审核,能有效甄别出检测过程中是否有其他无关人员干预驾驶人体检的情况。图18至图19为本发明部分检测异常提示示意图。
十、后续处理
S131、体检信息预览;S141、疾病申告确认;S151、提交体检信息;S161、体检审核,根据需要后台系统中驾驶人的体检信息将由系统自动审核并由医生人工复审,复审结果为最终的体检结果;S162、最终的体检结果由后台系统自动推送至移动终端的应用程序中供驾驶人查询,其中复审通过的体检信息将由后台系统自动上传至互联网交通安全综合服务管理平台,由此机动车驾驶人在线自助体检的流程完成闭环。
本发明还公开一种移动终端,包括:处理单元、分别与处理单元连接的网络模块、无线通信单元、电源单元、存储单元、接口单元、用户输入单元、显示单元、音频输出单元、感测单元及A/V输入单元;所述处理单元包括:CPU中央处理器、GPU图形处理器、ISP图像信号处理器、4G/5G基带、感测元件控制器、缓存;所述用户输入单元包括:显示屏触控面板、物理按键;所述音频输出单元包括:耳机、扬声器;所述感测单元包括:IMU惯性测量单元、电子罗盘,其中IMU惯性测量单元内置三轴陀螺仪、加速感应器;所述A/V输入单元包括:前置摄像头模组、后置摄像头模组、麦克风MIC,其中前置摄像头模组包括:前置摄像头、前置3D深感摄像头,后置摄像头模组包括:后置摄像头、后置激光雷达扫描仪或后置TOF景深摄像头;所述存储单元存储有可被所述处理单元执行的程序指令,所述处理单元调用所述程序指令,以实现本发明所述的机动车驾驶人在线自助体检系统;图3为本发明另一实施例提供的一种机动车驾驶人在线自助体检的移动终端的硬件单元结构框图。所述移动终端的类型包括但不限于:智能手机、便携式电脑、平板电脑、PDA智能终端、车载智能终端、可穿戴设备等,可穿戴设备包括:智能手表、智能手环、智能戒指等。
本发明还公开一种计算机可读存储介质,所述计算机可读存储介质存储计算机指令,所述计算机指令使所述计算机实现本发明实施例所述机动车驾驶人在线自助体检系统。所述存储介质包括但不限于:U盘、移动硬盘、只读存储器ROM、随机存取存储器RAM、磁碟或者光盘等各种可以存储程序代码的介质。
以上所描述的系统实施例仅仅是示意性的,其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下,即可以理解并实施。
以上所述仅为本发明的较佳实施方式而已,并不用以限制本发明,凡在本发明的精神和原则之内所做的任何修改、等同替换、改进等,均应包含在本发明的保护范围之内。

Claims (10)

1.一种机动车驾驶人在线自助体检系统,其特征在于,所述系统包括:依次串行连接的身高检测模块、环境检测模块、视听检测模块、肢体检测模块,以及分别与环境检测模块、视听检测模块、肢体检测模块连接的作弊检测模块;
所述环境检测模块,用于通过同时调用手持式移动终端的前置摄像头、后置摄像头按照指定的拍摄方式采集室内环境图像,生成球形全景照片和音视频影像文件,基于球形全景照片和音视频影像文件进行体检环境检测,确保体检环境中无其他人员且只有一个已关闭的房间出入口;
所述视听检测模块,用于在显示屏上随机显示E形视标和色盲检查图,获取驾驶人视觉辨认结果,以实现视力检测和辨色力检测;通过获取驾驶人对声源方向的辨认结果,以实现听力检测;
所述作弊检测模块,用于在体检过程中设置画面移动侦测、姿态和位移监测、异常中断检测、随机变换E形视标的显示位置的技术手段,防止驾驶人作弊。
2.根据权利要求1所述机动车驾驶人在线自助体检系统,其特征在于,所述系统还包括分别与身高检测模块连接的信息录入模块、身份验证模块;
所述信息录入模块,用于采集驾驶人相关证件的文本信息和实体原件图像及驾驶人手持本人身份证的图像;
所述身份验证模块,用于采集驾驶人面部图像以进行活体检测,并与相关证件图像中驾驶人面部的部分来进行人脸比对以验证驾驶人身份;
所述身高检测模块,用于通过摄像头采集驾驶人全身照片进行身高检测。
3.根据权利要求1所述机动车驾驶人在线自助体检系统,其特征在于,所述视听检测模块具体包括视力检测单元、辨色力检测单元、听力检测单元;
所述视力检测单元,用于在显示屏上随机显示E形视标,通过前置摄像头模组实时测量驾驶人眼结点到E形视标中心的距离并动态调整视标大小,通过作弊检测模块随机变换每一组视标的显示位置,分别获取驾驶人对E形视标开口方向的判断结果,以实现视力检测;
所述辨色力检测单元,用于在显示屏上随机显示色盲检查图,分别获取驾驶人对图片中图案的辨认结果,以实现辨色力检测;
所述听力检测单元,用于在驾驶人佩戴耳机后随机选择耳机的一个声道播放声音,并采集驾驶人按照显示屏上的动作提示所做动作的图像、动态图或音视频影像,通过获取驾驶人对声源方向的辨认结果,以实现听力检测。
4.根据权利要求1所述机动车驾驶人在线自助体检系统,其特征在于,所述肢体检测模块包括躯干和颈部检测单元、上肢检测单元、下肢检测单元:
所述躯干和颈部检测单元,用于采用前置摄像头分别获取驾驶人按照显示屏上的动作提示所做动作的图像、动态图或音视频影像,以审核躯干和颈部是否有运动功能障碍;所述动作提示包括抬起双臂至水平,将双手举至胸前,五指张开掌心向内,并保持姿势左右转头;所述图像、动态图或音视频影像中均包括驾驶人躯干和颈部部位;
所述上肢检测单元,用于采用前置摄像头分别获取驾驶人按照显示屏上的动作提示所做动作的图像、动态图或音视频影像,以审核上肢的肢体和手指是否健全及运动功能是否正常;所述动作提示包括双手五指张开掌心向外且举高至颈部、掌心向外双手握拳且举高至颈部、掌心向内双手握拳且举高至颈部;
所述下肢检测单元,用于同时调用前置摄像头和后置摄像头分别采集驾驶人面部图像和裸露的膝盖及以下部位的图像、动态图或音视频影像,基于采集的驾驶人面部图像进行人脸识别,防止下肢检测作弊,采集的裸露的膝盖及以下部位的图像、动态图或音视频影像用于审核驾驶人双下肢是否健全、运动功能是否正常、双下肢不等长度是否不大于5cm。
5.根据权利要求1所述机动车驾驶人在线自助体检系统,其特征在于,所述作弊检测模块具体包括异常中断检测单元,用于在身份验证模块、环境检测模块、视听检测模块、肢体检测模块中,实时进行异常中断检测,即对运行在移动终端系统前台的应用程序进程进行检测,当检测到身份验证模块、环境检测模块、视听检测模块、肢体检测模块中任一功能模块在运行过程中被最小化、切换至后台、锁屏、退出、返回系统桌面、有电话进来被接听、有SMS短信息进来被回应中任意一种异常打断时,弹出防作弊警告窗口,并终止检测。
6.根据权利要求4所述机动车驾驶人在线自助体检系统,其特征在于,所述作弊检测模块还包括画面移动侦测单元,用于在视听检测模块、躯干和颈部检测单元、上肢检测单元中,通过调用后置摄像头对房间的出入口进行画面移动侦测,同时还通过调用IMU惯性测量单元对移动终端的震动、位移和姿态进行持续监测,在侦测到画面中有物体移动或移动终端被移动或从支架上拿起时,将同时获取前置摄像头和后置摄像头自动拍摄的照片、动态图或音视频影像并上传至后台系统审核,并通过弹出对应的防作弊警告窗口,以暂停检测;在视听检测模块、躯干和颈部检测单元、上肢检测单元中,所述移动终端安放在支架上,且前置摄像头正对驾驶人面部和上半身拍摄、后置摄像头正对房间的唯一出入口拍摄。
7.根据权利要求6所述机动车驾驶人在线自助体检系统,其特征在于,所述作弊检测模块还包括耳机检测单元,用于在视听检测模块中,通过前置摄像头采集驾驶人图像并进行耳机识别,确保驾驶人在视听检测模块全程正确佩戴耳机,以防止外界干扰产生作弊风险。
8.根据权利要求1所述机动车驾驶人在线自助体检系统,其特征在于,所述系统还包括流程引导模块和数据审核模块,所述流程引导模块,用于在身高检测模块、环境检测模块、视听检测模块、肢体检测模块中通过图形、文字或音视频结合的方式进行标准流程指引、注意事项提示、检测结果显示;所述数据审核模块,用于将各个检测模块获取的全部数据及对应的检测结果发送至后台系统进行审核或对检测结果进行二次审核,并接收最终的体检结果。
9.一种移动终端,包括:处理单元、分别与处理单元连接的网络模块、无线通信单元、电源单元、存储单元、接口单元、用户输入单元、显示单元、音频输出单元、感测单元及A/V输入单元;
所述处理单元包括:CPU中央处理器、GPU图形处理器、ISP图像信号处理器、4G/5G基带、感测元件控制器、缓存;
所述用户输入单元包括:显示屏触控面板、物理按键;
所述音频输出单元包括:耳机、扬声器;
所述感测单元包括:IMU惯性测量单元、电子罗盘,其中IMU惯性测量单元内置三轴陀螺仪、加速感应器;
所述A/V输入单元包括:前置摄像头模组、后置摄像头模组、麦克风MIC,其中前置摄像头模组包括:前置摄像头、前置3D深感摄像头,后置摄像头模组包括:后置摄像头、后置激光雷达扫描仪或后置TOF景深摄像头;
所述存储单元存储有可被所述处理单元执行的程序指令,所述处理单元调用所述程序指令,以实现如权利要求1~8任一项所述的系统。
10.一种计算机可读存储介质,所述计算机可读存储介质存储计算机指令,所述计算机指令使所述计算机实现权利要求1~8任一项所述的系统。
CN202110482816.2A 2021-04-30 2021-04-30 一种机动车驾驶人在线自助体检系统、移动终端及存储介质 Withdrawn CN113303791A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110482816.2A CN113303791A (zh) 2021-04-30 2021-04-30 一种机动车驾驶人在线自助体检系统、移动终端及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110482816.2A CN113303791A (zh) 2021-04-30 2021-04-30 一种机动车驾驶人在线自助体检系统、移动终端及存储介质

Publications (1)

Publication Number Publication Date
CN113303791A true CN113303791A (zh) 2021-08-27

Family

ID=77371317

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110482816.2A Withdrawn CN113303791A (zh) 2021-04-30 2021-04-30 一种机动车驾驶人在线自助体检系统、移动终端及存储介质

Country Status (1)

Country Link
CN (1) CN113303791A (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113889268A (zh) * 2021-12-06 2022-01-04 青岛通产智能科技股份有限公司 一种驾驶人体检系统及体检方法
CN115598064A (zh) * 2022-10-21 2023-01-13 圣名科技(广州)有限责任公司(Cn) 数据检测的方法和装置、电子设备和存储介质
CN116913007A (zh) * 2023-09-14 2023-10-20 贵州大学 基于自助体检机的多端交互方法及装置

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113889268A (zh) * 2021-12-06 2022-01-04 青岛通产智能科技股份有限公司 一种驾驶人体检系统及体检方法
CN115598064A (zh) * 2022-10-21 2023-01-13 圣名科技(广州)有限责任公司(Cn) 数据检测的方法和装置、电子设备和存储介质
CN116913007A (zh) * 2023-09-14 2023-10-20 贵州大学 基于自助体检机的多端交互方法及装置
CN116913007B (zh) * 2023-09-14 2023-12-12 贵州大学 基于自助体检机的多端交互方法及装置

Similar Documents

Publication Publication Date Title
CN113303791A (zh) 一种机动车驾驶人在线自助体检系统、移动终端及存储介质
JP6025690B2 (ja) 情報処理装置および情報処理方法
JP5863423B2 (ja) 情報処理装置、情報処理方法及びプログラム
CN104364733B (zh) 注视位置检测装置、注视位置检测方法和注视位置检测程序
CN107209950A (zh) 从现实世界材料自动生成虚拟材料
TW201732499A (zh) 表情辨識系統、表情辨識方法及表情辨識程式
CN107111370A (zh) 现实世界对象的虚拟表示
CN106104650A (zh) 经由凝视检测进行远程设备控制
WO2012142202A1 (en) Apparatus, systems and methods for providing motion tracking using a personal viewing device
WO2020020022A1 (zh) 视觉识别方法及其系统
JP6109288B2 (ja) 情報処理装置、情報処理方法及びプログラム
JP2017130793A (ja) 情報処理装置およびユーザガイド提示方法
JP2018007792A (ja) 表情認知診断支援装置
JP2022121443A (ja) 情報処理装置、ユーザガイド提示方法、およびヘッドマウントディスプレイ
JP2005131713A (ja) コミュニケーションロボット
CN112995523B (zh) 一种在线自助业务环境检测方法及系统
CN108537103A (zh) 基于瞳孔轴测量的活体人脸检测方法及其设备
CN109521878A (zh) 交互方法、装置和计算机可读存储介质
CN113197542B (zh) 一种在线自助视力检测系统、移动终端及存储介质
KR100795360B1 (ko) 얼굴인식에 의한 본인 여부의 판단방법
JP2020194493A (ja) 介護設備又は病院用の監視システム及び監視方法
CN113170075B (zh) 信息处理装置、信息处理方法和程序
JP2017191546A (ja) 医療用ヘッドマウントディスプレイ、医療用ヘッドマウントディスプレイのプログラムおよび医療用ヘッドマウントディスプレイの制御方法
CN112155509A (zh) 一种驾驶人vr体检方法
CN111279410B (zh) 显示设备和显示设备控制方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WW01 Invention patent application withdrawn after publication

Application publication date: 20210827

WW01 Invention patent application withdrawn after publication