CN112995523B - 一种在线自助业务环境检测方法及系统 - Google Patents

一种在线自助业务环境检测方法及系统 Download PDF

Info

Publication number
CN112995523B
CN112995523B CN202110483646.XA CN202110483646A CN112995523B CN 112995523 B CN112995523 B CN 112995523B CN 202110483646 A CN202110483646 A CN 202110483646A CN 112995523 B CN112995523 B CN 112995523B
Authority
CN
China
Prior art keywords
spherical panoramic
panoramic photo
environment
photo
mobile terminal
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110483646.XA
Other languages
English (en)
Other versions
CN112995523A (zh
Inventor
邝瑰琦
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Wuhan Tesley Information Technology Co ltd
Original Assignee
Wuhan Tesley Information Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Wuhan Tesley Information Technology Co ltd filed Critical Wuhan Tesley Information Technology Co ltd
Priority to CN202110483646.XA priority Critical patent/CN112995523B/zh
Publication of CN112995523A publication Critical patent/CN112995523A/zh
Application granted granted Critical
Publication of CN112995523B publication Critical patent/CN112995523B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/698—Control of cameras or camera modules for achieving an enlarged field of view, e.g. panoramic image capture
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/103—Static body considered as a whole, e.g. static pedestrian or occupant recognition
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
    • G10L25/48—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use
    • G10L25/51—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use for comparison or discrimination
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/2624—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects for obtaining an image which is composed of whole input images, e.g. splitscreen
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/265—Mixing

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Signal Processing (AREA)
  • General Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Mathematical Physics (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Software Systems (AREA)
  • Biomedical Technology (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Human Computer Interaction (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Acoustics & Sound (AREA)
  • Studio Devices (AREA)

Abstract

本发明公开一种在线自助业务环境检测方法及系统，所述方法包括：同时调用手持式移动终端的前置摄像头、后置摄像头按照指定的拍摄方式采集室内环境图像；通过后置摄像头采集的环境图像生成第一球形全景照片，通过前置摄像头采集的环境图像生成第二球形全景照片，同时获取室内环境的音视频影像文件；将第一球形全景照片与第二球形全景照片进行融合，得到第三球形全景照片；基于第三球形全景照片和音视频影像文件进行环境检测，若室内环境中无其他无关人员的图像或音频数据且只有一个已关闭的房间出入口，则环境检测合格。本发明同时调用后置摄像头和前置摄像头采集室内环境图像，生成融合的球形全景图像，可帮助各类在线自助业务实现自动环境检测。

Description

一种在线自助业务环境检测方法及系统
技术领域
本发明属于室内环境检测技术领域，具体涉及一种在线自助业务环境检测方法及系统、移动终端、存储介质。
背景技术
随着网络技术的普及，各类在线自助业务层出不穷，为各类业务办理提供极大便利，但是有些自助业务仍然需要借助诸多辅助设备或手段才能保证结果的真实有效。比如在线体检、在线视力检测、在线考试、在线面试、在线行政审核等在线自助业务对室内环境有较高要求，大多要求在线自助业务的过程室内环境中仅允许用户独自一人操作，无他人协助或干扰，而采用人工审核室内环境的方式存在滞后性，且耗费人力成本，因此无法较好地做到环境自动检测，从而限制了在线自助业务的发展。
以机动车驾驶人体检为例，根据相关规定，申请机动车驾驶证的人应当符合特定的身体条件，且不同的车型可能对驾驶人有不同的身体条件要求。因此需要对申请机动车驾驶证的人员身体条件进行检测。
目前动车驾驶人体检基本上是以医院体检中心/体检点的医生人工检测为主，但存在排队长、效率低、体检不规范等现象，体检结果容易受人为因素的干扰。目前也出现了通过自助终端机体检的驾驶人体检方式，但是用自助终端机进行驾驶人体检的过程同样存在网点排队长、体检效率低、远程审核慢等现象。因此，不论是医院体检中心/体检点的医生人工检测，还是自助网点的自助终端机远程体检，他们都存在诸多不足。如果能实现驾驶人在线自助体检，将大大改善当前状况，但是驾驶人在线自助体检的过程中需要保证体检环境无他人干扰，以体现体检结果的真实有效。
发明内容
有鉴于此，本发明提出了一种在线自助业务环境检测方法及系统、移动终端、存储介质，用于解决各类在线自助业务不能实现自动环境检测的问题。
本发明第一方面，公开一种在线自助业务环境检测方法，所述方法包括：
同时调用手持式移动终端的前置摄像头、后置摄像头按照指定的拍摄方式采集室内环境图像；
通过后置摄像头采集的环境图像生成第一球形全景照片，通过前置摄像头采集的环境图像生成第二球形全景照片，同时获取室内环境的音视频影像文件；
将第一球形全景照片与第二球形全景照片进行融合，得到第三球形全景照片；
基于第三球形全景照片和音视频影像文件进行环境检测，若室内环境中无其他无关人员的图像和音频数据且只有一个已关闭的房间出入口，则当前环境检测合格。
优选的，所述指定的拍摄方式包括：在空间中保持移动终端的中心点位置不变，以移动终端与地面的垂线为轴心，将移动终端以一定速度绕轴心水平旋转拍摄室内环境，在绕轴心水平旋转的同时，移动终端绕自身的水平轴线做±90°的俯仰翻转，以完成对室内环境的球形全景覆盖；
优选的，生成第一、第二球形全景照片的具体方式包括：分别以对应的摄像头为坐标原点，在对应的摄像头采集环境图像的同时同步调用IMU惯性测量单元，持续获取移动终端的姿态角数据，得到一组包含姿态角的连续照片序列；对包含姿态角的连续照片序列进行特征匹配和图像拼接，合成一张室内环境的球形全景照片。
优选的，在生成第一、第二球形全景照片之前，获取预先存储的测试者多角度全身照片，将测试者多角度全身照片与前置摄像头和/或后置摄像头采集的环境图像进行特征匹配，从前置摄像头和/或后置摄像头采集的环境图像中剔除测试者躯体所在区域。
优选的，所述将第一球形全景照片与第二球形全景照片进行融合，得到第三球形全景照片具体为：
根据前置摄像头和后置摄像头之间的位置关系确定第一球形全景照片与第二球形全景照片对应的位置关系；提取第一球形全景照片合成过程中的各个拼接缝，确定各个拼接缝与第二球形全景照片对应的位置映射关系，预先按照差分法比较第一球形全景照片与第二球形全景照片，从中筛选出差异大于预设差异阈值的拼接缝并编号，按照筛选出的拼接缝的大小对第一球形全景照片进行网格划分，使得各个拼接缝位于各个网格片区内；将第二球形全景照片按照对应位置进行相同的网格划分，将第一球形全景照片与第二球形全景照片对应位置的各个网格片进行图像融合，拼接得到第三球形全景照片。
优选的，所述将第一球形全景照片与第二球形全景照片对应位置的各个网格片进行图像融合具体为：
判断待融合的两个网格片区的大小，若大于预设阈值则分别对网格片区进行等距划分，得到多个子区域，分别计算各个子区域的信息熵；采用黄金正弦算法优化各个子区域的融合权重，使得各个信息熵小于预设熵阈值的子区域在融合前后的信息熵的变化率均小于预设的变化率阈值且融合后的单个网格片区的总信息熵最小；对于网格片区的大小小于等于预设阈值的情况，采用黄金正弦算法直接优化各个像素的融合权重；根据融合权重进行对应的两个网格片的加权图像融合。
优选的，所述基于第三球形全景照片和音视频影像文件进行环境检测具体包括：
采用卷积神经网络对第三球形全景照片进行目标识别，识别出第三球形全景照片中是否有无关人员的图像痕迹，并识别是否只有一个已关闭的房间出入口，对音视频影像文件进行音频分析，判断是否有说话声。
本发明第二方面，公开一种在线自助业务环境检测系统，所述系统包括：
数据采集模块：同时调用手持式移动终端的前置摄像头、后置摄像头按照指定的拍摄方式采集室内环境图像；
文件生成模块：通过后置摄像头采集的环境图像生成第一球形全景照片，通过前置摄像头采集的环境图像生成第二球形全景照片，同时生成室内环境的音视频影像文件；
图像融合模块：将第一球形全景照片与第二球形全景照片进行融合，得到第三球形全景照片；
环境检测模块：基于第三球形全景照片和音视频影像文件进行环境检测，若室内环境中无其他人员的图像和音频数据且只有一个已关闭的房间出入口，则当前环境检测合格。
本发明第三方面，公开一种移动终端，包括：至少一个处理单元、至少一个存储单元、通信接口和总线；其中，所述处理单元、存储单元、通信接口通过所述总线完成相互间的通信；所述存储单元存储有可被所述处理单元执行的程序指令，所述处理单元调用所述程序指令，以实现如本发明第一方面所述的方法。所述移动终端的类型包括但不限于：智能手机、便携式电脑、平板电脑、PDA智能终端、车载智能终端、可穿戴设备，可穿戴设备包括：智能手表、智能手环、智能戒指。
本发明第四方面，公开一种计算机可读存储介质，所述计算机可读存储介质存储计算机指令，所述计算机指令使所述计算机实现本发明第一方面所述的方法。
本发明相对于现有技术具有以下有益效果：
1）本发明不需要人工审核即可实现对在线自助业务中室内环境的在线自动检测，自动生成环境检测结果，对于要求业务过程中仅允许用户独自一人操作，无他人协助或干扰的在线自助业务提供了一种重要的环境检测手段，保证了在线自助业务过程的真实有效和客观公正，对于在线体检、在线视力检测、在线考试、在线面试、在线行政审核等场景下，对室内环境有较高的防作弊要求的在线自助业务提供技术支撑。
2）本发明同时调用了手持式移动终端的前置摄像头和后置摄像头采集室内环境图像，分别生成第一、第二球形全景照片，提取出现拼接问题较多的拼接缝，按照筛选出的拼接缝的大小对第一球形全景照片进行网格划分，使得各个拼接缝位于各个网格片区内；对第二球形全景照片进行相同的网格划分，根据图像的信息熵计算最佳的融合权重，根据融合权重对对应的两个网格片区进行加权图像融合，得到质量更好的融合图像；
3）本发明将第一、第二球形全景照片进行网格划分和图像融合方法，一方面可修补拼接缝处所在区域出现的拼接不合理、断层、模糊、重影等问题，另一方面将前置摄像头和后置摄像头同时拍摄的图像融合可更全面反映室内的真实环境，比如室内有其他无关人员在拍摄死角随后置摄像头移动时，可通过图像融合反映在最终的球形全景照片中，使环境检测能更有效的反映出室内的真实情况，甄别和防止发生作弊行为。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明一种在线自助业务环境检测方法的流程图；
图2为本发明一种机动车驾驶人在线自助体检方法的工作流程框图；
图3为以移动终端的后置摄像头为例进行球形全景拍摄的示意图；
图4为本发明球形全景照片拼接方法的工作流程框图；
图5为世界坐标系中眼球光轴上角膜顶点与E形视标中心位置的距离的示意图；
图6为E形视标大小随眼部距离变化实时动态调整的示意图；
图7为左眼视力检测示意图；
图8为以iPhone 12 Pro Max为例进行E形视标中心位置的坐标转换的实例图
图9为E形视标大小及四个顶点位置调整前后显示效果对比图；
图10为随机变换每一组E形视标在显示屏上显示位置的效果示意图；
图11为本发明准备工作的步骤流程图；
图12为本发明环境检测的部分步骤流程图；
图13为本发明听力检测的部分步骤流程图；
图14为本发明肢体检测的部分步骤流程图。
具体实施方式
下面将结合本发明实施方式，对本发明实施方式中的技术方案进行清楚、完整地描述，显然，所描述的实施方式仅仅是本发明一部分实施方式，而不是全部的实施方式。基于本发明中的实施方式，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施方式，都属于本发明保护的范围。
请参阅图1，本发明提出一种在线自助业务环境检测方法，所述方法包括：
步骤一，同时调用手持式移动终端的前置摄像头、后置摄像头按照指定的拍摄方式采集室内环境图像；
所述指定的拍摄方式包括：在空间中保持移动终端的中心点位置不变，以移动终端与地面的垂线为轴心，将移动终端以一定速度绕轴心水平旋转拍摄室内环境，在绕轴心水平旋转的同时，移动终端绕自身水平轴线做±90°的俯仰翻转，以完成对室内环境的球形全景覆盖。通过移动终端采集室内环境图像的方式有多种，包括引导测试者双手握持移动终端，绕移动终端与地面的垂线为轴心水平旋转拍摄，同时转动双手手腕使移动终端绕其自身的水平轴线做±90°的俯仰翻转拍摄；或者采用可同时水平旋转和垂向翻转的支撑装置来支撑移动终端以设定的水平旋转速度和上下翻转速度实现360度球形全景拍摄。采集室内环境图像时，同时调用手持式移动终端的前置摄像头、后置摄像头，还分别调用了IMU惯性测量单元和麦克风MIC，IMU惯性测量单元用于监测移动终端的位置和姿态角数据，麦克风MIC用于采集室内环境的音频信息。
步骤二，通过后置摄像头采集的环境图像生成第一球形全景照片，通过前置摄像头采集的环境图像生成第二球形全景照片，并采集室内环境的音视频影像文件；
生成第一、第二球形全景照片的原理相同，具体方式包括：分别以对应的摄像头为坐标原点，在对应的摄像头采集环境图像的同时同步调用IMU惯性测量单元，持续获取移动终端的姿态角数据，得到一组包含姿态角的连续照片序列；对包含姿态角的连续照片序列进行特征匹配和图像拼接，合成一张室内环境的球形全景照片。在生成第一、第二球形全景照片之前，获取预先存储的测试者多角度全身照片，将测试者多角度全身照片与前置摄像头和/或后置摄像头采集的环境图像进行特征匹配，从前置摄像头和/或后置摄像头采集的环境图像中剔除测试者躯体所在区域。所述音视频影像文件包括音频、视频、图像、动态图中的一种或多种。
步骤三，将第一球形全景照片与第二球形全景照片进行融合，得到第三球形全景照片；
具体的，根据前置摄像头和后置摄像头之间的位置关系确定第一球形全景照片与第二球形全景照片对应的位置关系；
提取第一球形全景照片合成过程中的各个拼接缝，确定各个拼接缝与第二球形全景照片对应的位置映射关系，预先按照差分法比较第一球形全景照片与第二球形全景照片，从中筛选出差异大于预设差异阈值的拼接缝并编号，判断各个筛选出的拼接缝在第二球形全景照片中的对应位置处的区域是否留白，若是，从筛选出的拼接缝中剔除对应的拼接缝，按照筛选出的拼接缝的大小对第一球形全景照片进行网格划分，使得各个拼接缝位于各个网格片区内；具体的，由于每张拼接图像都有上下左右至少四个拼接缝，预先按照差分法比较第一球形全景照片与第二球形全景照片，从中筛选出差异大于预设差异阈值的拼接缝并编号，以防止拼接缝过多导致网格划分粒度太小带来不必要的运算。
将第二球形全景照片按照对应位置进行相同的网格划分，将第一球形全景照片与第二球形全景照片对应位置的各个网格片区进行图像融合，拼接得到第三球形全景照片。
将第一球形全景照片与第二球形全景照片对应位置的各个网格片区进行图像融合的具体方法为：判断待融合的两个网格片区的大小，若大于预设阈值则分别对网格片区进行等距划分，得到多个子区域，分别计算各个子区域的信息熵；采用黄金正弦算法优化各个子区域的融合权重，使得各个信息熵小于预设熵阈值的子区域在融合前后的信息熵的变化率均小于预设的变化率阈值且融合后的单个网格片区的总信息熵最小；对于网格片区的大小小于等于预设阈值的情况，采用黄金正弦算法直接优化各个像素的融合权重；根据融合权重对对应的两个网格片区进行加权图像融合。以某组待融合的两个网格片区为例，采用黄金正弦算法进行优化时，首先随机初始化种群位置，每个个体位置代表其中一个网格片区的各个子区域的融合权重初始解，设置黄金正弦相关参数，以所述优化目标为适应度函数计算最优个体位置，并进行位置更新，迭代运算直至找到最优个体位置x best 作为其中一个网格片区的各个子区域的融合权重，设x best =(w 1,w 2,…,w d)，则另一个网格片区的对应的各个子区域的融合权重为(1-w 1,1-w 2,…,1-w d)，其中d为子区域个数，根据对应的各个子区域的融合权重进行两两融合。以采用黄金正弦算法直接优化各个像素的融合权重同理。
本发明基于信息熵进行图像融合，对于信息熵小于预设熵阈值的高质量子区域予以最大程度的保留，同时使得融合后的单个网格片区的总信息熵最小，以提高融合后的图像质量。
步骤四，基于第三球形全景照片和音视频影像文件进行环境检测，若室内环境中无其他无关人员的图像和音频数据且只有一个已关闭的房间出入口，则环境检测合格。
具体的，采用卷积神经网络对第三球形全景照片进行目标识别，识别出第三球形全景照片中是否有无关人员的图像痕迹，并识别是否只有一个已关闭的房间出入口，对音视频影像文件进行音频分析，判断是否有说话声。
与上述方法实施例相对应，本发明还提出一种在线自助业务环境检测系统，其特征在于，所述系统包括：
数据采集模块：同时调用手持式移动终端的前置摄像头、后置摄像头按照指定的拍摄方式采集室内环境图像；
文件生成模块：通过后置摄像头采集的环境图像生成第一球形全景照片，通过前置摄像头采集的环境图像生成第二球形全景照片，同时生成室内环境的音视频影像文件；
图像融合模块：将第一球形全景照片与第二球形全景照片进行融合，得到第三球形全景照片；
环境检测模块：基于第三球形全景照片和音视频影像文件进行环境检测，若室内环境中无其他人员的图像和音频数据且只有一个已关闭的房间出入口，则当前环境检测合格。
本发明通过移动终端的前后摄像头进行环境检测，由于前置摄像头和后置摄像头的位置不同，两者同时采集室内的不同区域，因此各自的拼接顺序和拼接位置也很可能不同，因此将问题拼接缝划分至网格中进行不同图像的融合可进一步修复图像拼接问题，一定程度上可解决因测试者拍摄时的速度、角度、移动方式、抖动等原因造成的图像拼接问题，比如拼接缝处易出现的拼接不合理、断层、模糊等问题，得到可更全面真实反映室内环境的球形全景图像。然后基于球形全景照片和音视频影像文件进行环境要求检测，使其符合在线自助业务过程中仅允许用户独自一人操作，无他人协助或干扰的要求。
本实施例将以上在线自助业务环境检测方法及系统应用到机动车驾驶人体检项目中进行机动车驾驶人体检的环境检测，可进一步实现机动车驾驶人在线自助体检。本实施例提供一种机动车驾驶人在线自助体检的方法，是通过移动终端内预设的应用程序、后台系统相配合实现的，检测内容包括：身高检测、身份验证、环境检测、视力检测、辨色力检测、听力检测、躯干和颈部检测、上肢检测、下肢检测。图2为本发明一种机动车驾驶人在线自助体检系统的工作流程框图。
一、前期准备
S1、用户登录：
S11、驾驶人启动移动终端内预设的应用程序。
S2、准备工作：图11为本发明准备工作的步骤流程图；
S21、应用程序引导驾驶人选择一间有桌椅、宽敞、明亮、面积6平米以上、只有一个出入口的房间，调整好桌椅的摆放，将座位正对房间入口，准备一部支架、一副耳机、一位亲友，并将支架、耳机置于桌面，以正对房间入口的方向就座，并将移动终端放置于支架上，调整支架角度，让前置摄像头正对驾驶人面部和上半身的同时，后置摄像头正对房间的唯一出入口。
S3、信息录入：
S31、应用程序通过调用后置摄像头采集驾驶人的第二代居民身份证人像面照片、第二代居民身份证国徽面照片、机动车驾驶证正本照片、机动车驾驶证副本照片、驾驶人手持本人身份证的照片，并使用OCR光学字符识别技术提取文本信息和驾驶人面部图片。
S32、应用程序获取驾驶人在输入栏中填写或修改的体检人姓名、性别、证件类型、证件号码、手机号码、驾驶证档案编号、当前准驾车型的信息。
二、身高检测
S41、应用程序根据其检测到的移动终端内部传感器模块的配置情况，自动采取不同的AR测量方案，通过将后置摄像头模组采集的实时画面呈现到移动终端显示屏的AR取景框内的方式，完成取景。
S42、应用程序通过调用后置摄像头模组和IMU惯性测量单元，基于视觉SLAM实时定位与地图构建原理，建立关联实景的3D虚拟世界坐标系，通过视觉惯性测距技术，引导亲友操作移动终端，在显示屏的取景框内通过手动标记或AI自动识别驾驶人的脚底和头顶，对驾驶人的脚底和头顶在实景的取景框中添加的标记点，以厘米为单位计算出两点之间向量长度，即为身高测量结果，然后将驾驶人全身完整的放入取景框内，并拍摄驾驶人的多角度全身照片的方式，实现身高检测。
三、身份验证
S51、应用程序通过调用前置摄像头对驾驶人面部取景，引导驾驶人将面部全部显示在取景框的识别区域内，并分别通过眨眨眼、摇摇头、张张嘴、点点头的动作进行配合式活体检测，活体检测通过后，将调用前置摄像头拍摄驾驶人面部照片，并与信息录入环节采集的照片中的面部特征数据进行一对多的图像匹配比对，以完成身份验证。
四、环境检测
环境检测步骤用于同时调用手持式移动终端的前置摄像头、后置摄像头按照指定的拍摄方式采集室内环境图像进行环境检测，通过移动终端采集室内环境图像的方式有多种，包括引导驾驶人双手握持移动终端，绕移动终端与地面的垂线为轴心水平旋转拍摄，同时转动双手手腕使移动终端绕其自身的水平轴线做±90°的俯仰翻转拍摄；或者采用可同时水平旋转和垂向翻转的支撑装置来支撑移动终端以设定的水平旋转速度和翻转速度实现360度球形全景拍摄。本实施中以驾驶人双手握持移动终端采集室内环境图像为例介绍环境检测步骤。
S61、在应用程序中进入环境检测引导页，应用程序引导驾驶人起身站立，并随座椅一起往后移动，座椅与桌面边缘留出指定的距离，为后续站立和转身预留足够的活动空间。
S62、应用程序引导驾驶人拿起移动终端，双手横向水平握持抬高至与眼部同高，距离15至20厘米，且让显示屏与视线保持水平，将后置摄像头对准房间的出入口。
S63、应用程序引导驾驶人，以手中的移动终端与地面的垂点为轴心，以面部与移动终端的距离为半径，驾驶人绕着轴心往左横向的转圈移动。
S64、应用程序引导驾驶人在每横向移动一步时，用手腕上下转动移动终端，以完成一轮±90°的俯仰翻转；直至房间内的真实影像将取景器中空白区域完全覆盖，当全景照拍摄进度至100%时，显示屏上通过箭头提示引导驾驶人将后置摄像头对准房间的出入口，以结束全景拍摄，并开启后置摄像头持续进行视频录像直至步骤S68结束进入步骤S71时停止录像，并将采集到的视频影像上传至后台系统审核；图3为以移动终端的后置摄像头为例进行球形全景拍摄的示意图；图12为本发明环境检测的部分步骤流程图。
S65、移动终端在步骤S62~S64的拍摄过程中，同时调用前置摄像头、麦克风MIC、后置摄像头、IMU惯性测量单元，在调用IMU惯性测量单元和后置摄像头采集室内环境图像同时还调用前置摄像头、IMU惯性测量单元和麦克风MIC采集室内环境图像并自动录制驾驶人手持移动终端拍摄过程中的音视频影像，且前置摄像头和后置摄像头同时开始拍摄同时完成球形全景照片拍摄，当拍摄进度达到100%，即完全覆盖房间内所有空间角度时完成球形全景照片的拍摄，并自动拼接生成体检环境的第一、第二球形全景照片；图4为本发明球形全景照片拼接方法的工作流程框图；具体的，分别以对应的摄像头为坐标原点，在对应的摄像头采集环境图像的同时同步调用IMU惯性测量单元，持续获取移动终端的姿态角数据，得到一组包含姿态角的连续照片序列；对包含姿态角的连续照片序列进行特征匹配和图像拼接，合成一张体检环境的球形全景照片。其中，在生成第一、第二球形全景照片之前，获取预先存储的驾驶人全身照片，将驾驶人全身照片与前置摄像头和/或后置摄像头采集的环境图像进行特征匹配，从前置摄像头和/或后置摄像头采集的环境图像中剔除驾驶人躯体所在区域。
S66、将采集的环境数据发送至后台系统自动审核，采用本发明前述实施例提出的一种在线自助业务环境检测方法的相应步骤（步骤三、步骤四）进行环境自动检测，展示环境检测结果，若合格进入下一步骤，若不合格重新采集环境数据检测。
S67、环境检测合格后，应用程序提示驾驶人保持后置摄像头始终对准房间的出入口，并在30秒内严格执行并完成以下操作：按上一次的摆放位置和角度，将移动终端放置到支架上（放置过程中和安放好后后置摄像头始终对准房间的出入口），驾驶人将座椅归位并面对房间入口就座，确认耳机的左、右声道，并佩戴好耳机，连接耳机与移动终端，调节耳机音量至50%以上，在30秒后自动进入下一步。
S68、提示驾驶人注意事项，包括：在上肢检测项目结束前切勿再拿起移动终端、改变支架的摆放位置或角度，切勿移动桌面，请按照页面提示，在后续体检项目中尽可能通过语音操作，请勿在显示屏上操作按钮以外的区域，并在10秒后自动进入视力检测步骤。环境检测除了包括检测室内环境是否仅有驾驶人/测试者本人且只有一个已关闭的房间出入口之外，还可以进一步包括各个在线自助业务步骤中移动终端侧的防作弊措施，比如作弊嫌疑判断、画面移动侦测、移动终端位移和姿态监测、异常中断检测等。
五、视力检测
S71、开启后置摄像头进行画面移动侦测。
S72、在视力检测前，应用程序根据其检测到的移动终端的品牌、型号、参数及内部传感器模块配置情况，以匹配显示屏的PPI值，并使用前置摄像头模组，建立以前置3D深感摄像头为原点的三维世界坐标系，对人体面部的深度结构信息进行提取，并实时绘制3D面部网格，通过对驾驶人眼部进行追踪定位，获取眼球光轴上角膜顶点的位置坐标，根据前置摄像头模组的配置情况，自动采取不同的眼部测距技术方案，结合信息录入环节提交的驾驶人当前准驾车型，判断本环节视力检测的标准，根据对应的5分记录L值加载对应的E形视标的显示参数，动态调节显示屏上E形视标的大小，以达到视力检测标准。
S73、应用程序引导驾驶人判断自己是否有佩戴眼镜，并通过调用麦克风MIC采集驾驶人按照显示屏上的提示说出的语音指令，基于语音识别技术以获取驾驶人的视力矫正状态。
S74、应用程序引导驾驶人尽可能保持视线与显示屏垂直，在左眼视力检测时，用右手掌心遮住右眼，在右眼视力检测时，用左手掌心遮住左眼，并在视力检测过程中始终保持遮眼姿势，等待倒计时结束后自动开始视力检测。
S75、应用程序实时计算在移动终端显示屏上显示正方形E形视标边长需要占用的正方形像素点的个数，由此动态调节E形视标在移动终端显示屏上的大小。首先，根据检测到的移动终端内部前置摄像头模组的配置情况，自动采取不同的眼部距离计算方案（包括采用3D飞行时间法、3D结构光法、双目立体视觉法或虹膜追踪测距法），来实时测量和计算人眼结点与E形视标中心位置之间的距离。比如采用3D结构光技术的前置摄像头模组，在对人体面部的深度结构信息进行提取时，将以前置3D深感摄像头为原点建立三维世界坐标系，并实时绘制3D面部网格，通过对人眼的追踪定位，获取眼球光轴上角膜顶点在世界坐标系中的位置坐标，表示为（x1,y1,z1），单位为mm；获取随机生成的E形视标中心点在显示屏坐标系中的位置坐标，表示为（m,n），单位为像素点，通过坐标系变换将显示屏坐标系中的位置坐标换算到世界坐标系中，表示为（x2,y2,z2），单位为mm。
请参阅图5，图5为世界坐标系中眼球光轴上角膜顶点与E形视标中心位置的距离的示意图；根据从3D面部网格中获取的眼球光轴上角膜顶点的位置坐标，可计算出人眼结点与E形视标中心位置之间的距离，即眼部距离，公式为：
Figure 792211DEST_PATH_IMAGE001
式中d0为眼球屈光系统的光心至眼球光轴上角膜顶点的距离，通常为固定值7mm；（x1,y1,z1）为眼球光轴上角膜顶点在世界坐标系中的位置坐标；（x2,y2,z2）为随机生成的E形视标中心在世界坐标系中的位置坐标。
由于应用程序在显示屏上显示E形视标时，通常是以E形视标中心点在显示屏坐标系中的位置坐标来进行定位和显示，因此需要通过坐标系变换将显示屏坐标系中的位置坐标换算到世界坐标系中。由于每一款移动终端的显示屏都有不同的PPI像素密度，即每英寸对角线上所拥有的像素数目，设k为显示屏上正方形像素点的边长，单位为mm，则根据像素密度的定义，结合1英寸=25.4mm可推算出
Figure 103238DEST_PATH_IMAGE002
。请参阅图8，设前置3D深感摄像头（图8中红外镜头）与显示屏坐标系Y’轴的距离为a，单位为mm，与显示屏坐标系X’轴的距离为b，单位为mm。由于E形视标中心在以前置3D深感摄像头为原点建立的X、Y、Z轴三维世界坐标系中位置坐标为（x2,y2,z2），而在以显示屏左上角第一个像素点为原点建立的X’、Y’轴显示屏坐标系中位置坐标为（m,n）。通过坐标系变换得到：
Figure 202781DEST_PATH_IMAGE003
由于前置3D深感摄像头通常与显示屏处于同一平面，则
Figure 887840DEST_PATH_IMAGE004
，代入眼部距离公式得到：
Figure 613088DEST_PATH_IMAGE005
式中d为人眼结点与E形视标中心的距离，单位为mm；（x1,y1,z1）为眼球光轴上角膜顶点在世界坐标系中的位置坐标，单位为mm；（m,n）为E形视标中心在显示屏坐标系中的位置坐标，单位为像素点；a为前置3D深感摄像头与显示屏坐标系Y’轴的距离，单位为mm；b为前置3D深感摄像头与显示屏坐标系X’轴的距离，单位为mm。
其次，根据显示屏的PPI像素密度及人眼结点与E形视标中心位置的距离，实时计算在移动终端显示屏上显示正方形E形视标的边长所需占用的像素点的个数；由于国标《GB11533-2011》要求的视力表设计标准中，正方形E形视标的边长H为视标笔划宽度h的5倍，即H=5h，再结合三角形勾股定理，可采用以下公式实时动态计算E形视标边长的大小：
Figure 434414DEST_PATH_IMAGE007
式中H为E形视标的边长，单位为mm；d为人眼结点与E形视标中心的距离，单位为mm；α为E形视标中间笔划的上下边缘在眼结点处所夹的角，单位为分（′）。
设n为在移动终端显示屏上显示正方形E形视标的边长所需要占用的正方形像素点的个数，则：
Figure 236016DEST_PATH_IMAGE008
式中k为显示屏上正方形像素点边长，单位为mm；PPI为移动终端显示屏的像素密度，即显示屏上每英寸所拥有的像素数量；请参阅图6，图6为E形视标大小随眼部距离变化实时动态调整的示意图；通过以上公式，结合国标《GB11533-2011》中5分记录的表达公式
Figure 142793DEST_PATH_IMAGE009
转换为
Figure 907617DEST_PATH_IMAGE010
，单位为分（′），可推算出计算E形视标边长在移动终端显示屏上需要占用的正方形像素点的个数的公式为：
Figure 849029DEST_PATH_IMAGE011
式中n为在移动终端显示屏上显示正方形E形视标的边长所需要占用的正方形像素点的个数；d为人眼结点与E形视标中心位置之间的距离，即眼部距离，单位为mm；PPI为移动终端显示屏的像素密度；L为5分记录。
若以苹果公司的iPhone 12 Pro Max移动终端进行机动车驾驶人的视力检测为例，由于其显示屏的像素密度PPI为458，根据机动车驾驶人的准驾车型不同，L可取值4.9或5.0，由此推导出下表1中视标边长所占用的正方形像素点的个数n与眼部距离d的对应关系：
表1 iPhone 12 Pro Max中视标边长所用像素点数量n与眼部距离d的对应关系
Figure 696899DEST_PATH_IMAGE012
由于本发明中的眼部距离计算方法完全按照国标《GB11533-2011》中的要求执行，即为标准眼部距离。为了证明本发明的标准眼部距离计算方法较现有技术中部分非标准眼部距离计算方法，在视力检测上有更高的精准性和更小的误差，请参阅图8，图8为以iPhone12 Pro Max为例进行E形视标中心位置的坐标转换的实例图；通过制造商公布的工程文件和实际测量得知，iPhone 12 Pro Max的显示屏分辨率1284×2778，像素密度PPI为458，其前置3D深感摄像头（图8中红外镜头）与显示屏坐标系Y’轴的距离为21.5mm，与显示屏坐标系X’轴的距离为2mm。此时标准眼部距离为：
Figure 215605DEST_PATH_IMAGE013
若视力检测过程中直接使用非标准眼部距离，比如前置3D深感摄像头到眼球光轴上角膜顶点位置的距离，则该非标准眼部距离S的计算公式为：
Figure 908754DEST_PATH_IMAGE014
非标准眼部距离与标准眼部距离的比值计算公式为：
Figure 827643DEST_PATH_IMAGE015
通常，眼球光轴上角膜顶点与E形视标中心在移动终端显示屏的平面投影上存在
Figure 846414DEST_PATH_IMAGE016
的距离误差。为了便于计算，假设E形视标中心在显示屏坐标系中（1200,2700）的位置坐标显示，同时假设视线与显示屏上E形视标中心完全垂直，则x1=x2，y1=y2，由此推导出：
Figure 852416DEST_PATH_IMAGE017
按照非标准眼部距离与标准眼部距离的比值计算公式推断，在x1、y1为固定值时，z1的值越小则非标准眼部距离与标准眼部距离的比值越大。按表1中5分记录L为4.9时，眼部距离d最小值为151.44mm，则此时z1的值也最小为144.44mm，此时非标准眼部距离与标准眼部距离的比值为：
Figure 349257DEST_PATH_IMAGE018
根据E形视标边长在移动终端显示屏上需要占用的正方形像素点的个数的公式得知：像素点个数n与眼部距离d为线性关系。由此可推断，若视力检测过程中使用非标准眼部距离来计算并动态调整E形视标的大小，则视力检测的结果误差可达39.64%。
综上所述，本发明中使用的标准眼部距离，即人眼结点（眼球屈光系统的光心，在眼球光轴上角膜顶点后约7mm）与E形视标中心位置之间的距离，来计算E形视标边长需要占用的正方形像素点的个数，由此动态调节E形视标在移动终端显示屏上的大小，更符合国标《GB11533-2011》中视力检测标准的要求。
S76、应用程序基于E形视标边长所占像素点的个数及眼睛到显示屏的角度、方向实时调整E形视标的大小及四个顶点的位置，使得在眼睛的视角方向上虚拟显示出始终是正方形的E形视标；由于视力检测时，很难要求驾驶人将被测眼垂直正对移动终端显示屏上的E形视标中心，因此本发明通过移动终端的前置摄像头模组测量眼球光轴上角膜顶点在世界坐标系中的位置坐标，来计算眼睛到显示屏的距离、角度和方向，通过投影变换使得在眼睛的视角方向上虚拟显示出始终是正方形的E形视标，视觉效果上不随眼睛的角度变化而变化。
请参阅图9，图9为E形视标大小及四个顶点位置调整前后显示效果对比图，所示为采用常规显示方案与采用本发明的显示方案的效果对比，其中，左侧第一行的三个图为采用常规显示方案时，当眼睛角度变换时，眼中实际看到的E形视标的效果；右侧第一行的三个图为采用本发明的显示方案时，当眼睛角度变换时，眼中实际看到的E形视标的效果，不管从哪个角度看，通过实时动态调整E形视标的大小及四个顶点的位置，E形视标始终为正方形；右侧第二行的三个图为采用本发明的显示方案时，当眼睛角度变换时，移动终端显示屏上E形视标的实际显示效果（E形视标的大小及四个顶点的位置，随眼睛的位置和角度而变化）。综上所述，本发明中基于E形视标边长所占像素点的个数及眼睛到显示屏的角度、距离、方向进行投影变换，调整E形视标的大小及四个顶点的位置，使得在眼睛的视角方向上虚拟显示出始终是正方形的E形视标，这样测得的视力值是完全符合国标《GB11533-2011》中视力检测标准的要求，更准确反应测试者真实视力值。
S77、随机变换每一组E形视标在显示屏上的显示位置、开口方向，引导驾驶人分别用左眼和右眼判断每一组E形视标的开口方向，通过调用麦克风MIC采集驾驶人按照显示屏上的提示说出的语音指令“上”、“下”、“左”、“右”或“看不清”，基于语音识别技术以获取每一组E形视标显示时驾驶人对方向判断的结果，进行视力判断。请参阅图10，图10为随机变换每一组E形视标在显示屏上显示位置的效果示意图。
S78、在每一组视力检测的过程中，通过前置摄像头模组采集的人体图像数据判断姿态的标准程度；实时获取人眼结点与E形视标中心位置的距离d，若所述距离小于预设的第一距离阈值，发出距离过近的提示；若所述距离大于等于第一距离阈值，通过前置摄像头模组采集每一组E形视标方向判断过程中的人体姿态图像，根据人体姿态图像提取人体上半身的深度结构信息，根据人体上半身的深度结构信息提取人体上半身关节点坐标；根据人体上半身关节点坐标识别人体姿态，与显示屏上提示的标准的视力检测姿态比对，判断姿态的标准程度；
具体包括：获取与每一组E形视标判断结果相对应的人体姿态图像及人体上半身关节点坐标，计算各个关节点坐标组成的肢体夹角；具体的，当进行左眼视力检测时，引导测试者用右手捂住右眼，根据与判断结果相对应的人体姿态图像提取左眼坐标、左肩坐标、左肘关节坐标、左手腕关节坐标、右肘关节坐标、右手腕关节坐标、右手四指指尖坐标，根据左眼至显示屏距离、角度及人体左右对称原理计算右眼坐标、右肩坐标；计算人体姿态图像中左眼坐标、左肩坐标、左肘关节坐标连线之间的肢体夹角，左肩坐标、左肘关节坐标、左手腕关节坐标连线之间的肢体夹角；计算人体姿态图像中右肩坐标、右肘关节坐标、右手腕关节坐标连线之间的肢体夹角及右手腕关节坐标、右眼坐标分别与右手四指指尖坐标之间连线的肢体夹角。当进行右眼视力检测时，引导测试者用左手捂住左眼，根据与判断结果相对应的人体姿态图像提取右眼坐标、右肩坐标、右肘关节坐标、右手腕关节坐标、左肘关节坐标、左手腕关节坐标、左手四指指尖坐标，根据右眼至显示屏距离、角度及人体左右对称原理计算左眼坐标、左肩坐标；计算人体姿态图像中右眼坐标、右肩坐标、右肘关节坐标连线之间的肢体夹角，右肩坐标、右肘关节坐标、右手腕关节坐标连线之间的肢体夹角；计算人体姿态图像中左肩坐标、左肘关节坐标、左手腕关节坐标连线之间的肢体夹角，及左手腕关节坐标、左眼坐标分别与左手四指指尖坐标之间连线的肢体夹角。
分别计算各个肢体夹角与标准姿态图像的各个对应的肢体夹角之间的相似度，将各个相似度加权求和计算得到最终的姿态相似度；将姿态相似度作为姿态标准程度，若姿态相似度大于等于第一相似度阈值，则认为姿态标准。
应用程序在每一组视力检测的过程中，结合随机变换的E形视标位置及对应的人体姿态，判断是否有包括手臂前伸、手持异物、E形视标位置跟随在内的一种或多种作弊嫌疑，判断是否作弊。具体的，包括：
手臂前伸判定子单元，当某一肘关节与显示屏的距离小于预设的第二距离阈值时，判定存在手臂前伸情况；
手持异物判定子单元，通过图像识别进行异物检测，判断是否手持异物；
视标位置跟随判定子单元，在同一只眼的视力检测过程中，获取已显示的各个E形视标在显示屏上的位置坐标，并按照显示顺序组成视标坐标集，分别计算视标坐标集中相邻两个坐标之间的变换向量，生成视标变换向量集；
获取与每一组E形视标判断结果相对应的人体上半身关节点坐标中的肘关节坐标，并按照判断顺序组成肘关节坐标集，分别计算肘关节坐标集中相邻两个坐标之间的变换向量，生成肘关节运动向量集；
计算视标变换向量集与肘关节运动向量集之间的相似度，当所述相似度大于等于预设的第二相似度阈值时，判定手臂跟随E形视标的位置变动，即存在视标位置跟随情况；具体的，设已显示的各个E形视标在显示屏坐标系上的位置坐标为(x 1,i ,y 1,i )，与每一组E形视标判断结果相对应的人体上半身关节点坐标中的肘关节在世界坐标系X、Y平面的坐标为(x 2,i ，y 2,i )，i=0,1,2，…,m，则所述视标变换向量集为T 1 ={(x 1,i - x 1,i-1 ，y 1,i - y 1,i-1 )| i=1, 2,…,m }，肘关节运动向量集为T 2 ={(x 2,i - x 2,i-1 ，y 2,i - y 2,i-1 )| i=1,2,…,m}；
所述计算视标变换向量集与肘关节运动向量集之间的相似度的公式为：
Figure 875047DEST_PATH_IMAGE019
式中m为单眼视力检测的E形视标显示总数减1，
Figure 799141DEST_PATH_IMAGE020
。
作弊判定子单元，在每一组E形视标识别的过程中，若姿态标准程度小于第一相似度阈值且存在手臂前伸、手持异物、视标位置跟随中的任一情况时，判定作弊，发出作弊提醒。
此外，还通过调用显示屏触控面板进行作弊检测，对触摸点击操作和触摸点坐标（指针位置）进行持续监测，当侦测到对显示屏中按钮以外区域的触摸点击操作时，应用程序将调用前置摄像头拍摄1份照片、动态图或音视频影像并上传至后台系统审核，同时应用程序将以弹出警告窗口，并临时暂停检测的方式，能有效甄别和防止视力检测过程中测试者使用移动终端系统自带的显示屏虚拟放大镜功能作弊的情况。
S79、随机变换E形视标的显示位置和开口方向进行下一组E形视标方向判断，以此循环，对左眼和右眼分别进行8组检测，当每只眼有不少于4组方向判断正确时该眼视力判定为合格。
六、辨色力检测
S81、应用程序在移动终端显示屏上随机显示多组色盲检查图，引导驾驶人辨认色盲检查图中的图案，并记录每一次辨认结果是否正确，并显示下一组色盲检查图。
S82、应用程序提示驾驶人完成预定的循环检测次数，并在辨色力检测过程中，记录每一次辨认结果是否正确，辨认正确的将调用前置摄像头拍摄驾驶人上半身的照片、动态图或音视频影像并上传至后台系统审核，多组辨认后显示当前的辨色力检测结果；
七、听力检测
S91、应用程序通过采集驾驶人的语音指令判断驾驶人是否有佩戴助听器，图13为本发明听力检测的部分步骤流程图。
S92、应用程序提示驾驶人佩戴好耳机，随机调用连接移动终端的耳机左声道或右声道播放音乐，引导驾驶人分辨声源方向并在规定时间内以语音指令的方式说出辨认结果，并提示驾驶人按照示意图的引导在取景框内做出指定的姿势和动作，分别自动拍摄驾驶人佩戴耳机的正面照片、向左转头并露出右侧耳机的照片、向右转头并露出左侧耳机的照片。
S94、应用程序提示驾驶人完成3次循环检测，并自动将语音识别结果与音乐的声音方向进行比对，记录每一次的辨认结果是否正确，辨认正确的将调用前置摄像头拍摄1份驾驶人佩戴耳机的照片、动态图或音视频影像上传至后台系统审核；在3组辨认后显示当前的听力检测结果。
八、肢体检测
躯干和颈部检测包括：
S101、应用程序引导驾驶人按照示意图的要求，采取抬起双臂至水平并将双手举至胸前，十指张开掌心向内且保持姿势分别做向左转头和右转头的姿势和动作，等待倒计时结束后将调用前置摄像头自动拍摄驾驶人躯干和颈部的照片、动态图或音视频影像上传至后台系统审核，并自动跳转至下一步骤；图14为本发明肢体检测的部分步骤流程图。
上肢检测包括：
S111、应用程序引导驾驶人按照示意图的要求，采取双臂自然下垂靠近腰部并将双手十指张开掌心向外，举高至颈部保持姿势，分别做掌心向外双手握拳和掌心向内双手握拳的姿势和动作，等待倒计时结束后将调用前置摄像头自动拍摄驾驶人躯干和上肢的照片、动态图或音视频影像，并自动跳转至下一步骤；
S112、关闭后置摄像头结束画面移动侦测。
下肢检测包括：
S121、应用程序通过同时调用前置摄像头和后置摄像头，引导驾驶人按照示意图做出指定的姿势和动作，采集驾驶人面部图像和裸露的膝盖及以下部位的图像、动态图或音视频影像，对驾驶人面部图像进行人脸识别，防止下肢检测作弊，采集的裸露的膝盖及以下部位的图像、动态图或音视频影像，以审核驾驶人双下肢是否健全、运动功能是否正常、双下肢不等长度是否不大于5cm。
九、防作弊措施
为了保证驾驶人在线自助体检的过程真实有效，以及在线自助体检的审核标准客观公正，实现甄别和防止在线自助体检过程作弊就显得尤为重要。本发明综合以下方式：1）、对体检环境和工具的要求；2）、对体检流程的设置；3）、通过技术手段检测干预体检的异常行为；
1）、对体检环境和工具的要求：
1、体检环境要求：必须是一间房间，要求有桌椅、宽敞、明亮、面积6平米以上，房间内只有一个出入口，座位可正对房间出入口。2、体检工具要求：需要但不限于一部支架、一副耳机、一位亲友。
2）、对体检流程的设置：
由于本发明采用的是一种在线自助体检的方式，为了保证驾驶人在线自助体检的过程真实有效，以及在线自助体检的审核标准客观公正，本发明在体检的检测项目中还加入了：身份验证、环境检测，因此本发明在应用程序的体检流程中共需包含以下9种检测项目：身高检测、身份验证、环境检测、视力检测、辨色力检测、听力检测、躯干和颈部检测、上肢检测、下肢检测。在体检流程的设置上，将身高检测、身份验证放在一起，并与环境检测、视力检测、辨色力检测、听力检测、躯干和颈部检测、上肢检测项目分开；将下肢检测与视力检测、辨色力检测、听力检测、躯干和颈部检测、上肢检测项目分开；将佩戴耳机的动作设置在视力检测、辨色力检测、听力检测项目之前。
3）、通过技术手段检测干预体检的异常行为：
1、应用程序在环境检测过程中，通过同时调用前置摄像头和后置摄像头，在拍摄体检环境（房间）的球形全景照片的过程中，同时拍摄音视频影像。由于前置摄像头和后置摄像头是同时开始拍摄并同时结束拍摄。因此，通过将球形全景照片和音视频影像文件上传至后台系统自动审核，能有效辨别体检环境中是否仅驾驶人独自一人，从而有效甄别出体检过程中是否有其他无关人员干预驾驶人体检的情况。
2、应用程序在身高检测、身份验证、环境检测、视力检测、辨色力检测、听力检测、躯干和颈部检测、上肢检测、下肢检测过程中，通过调用前置摄像头或后置摄像头，在检测过程中拍摄照片、动态图或音视频影像并上传至后台系统，由医生在线人工审核或系统自动审核的方式，能有效甄别出检测过程中是否有其他无关人员干预驾驶人体检的情况。
3、应用程序在视力检测过程中，通过记录每一组在显示屏上随机变换的E形视标的位置，并结合前置摄像头模组采集到每一组视标方向判断过程中的人体姿态图像，能有效甄别和防止视力检测过程中驾驶人手持放大镜或类似装置作弊的情况。
4、应用程序在视力检测过程中，通过调用显示屏触控面板，对触摸点击操作和触摸点坐标（指针位置）进行持续监测，当侦测到对显示屏中按钮以外区域的触摸点击操作时，应用程序将调用前置摄像头拍摄1份照片、动态图或音视频影像并上传至后台系统审核，同时应用程序以弹出“操作异常”的警告窗口，并临时暂停检测5秒钟的方式，能有效甄别和防止体检过程中驾驶人使用移动终端系统自带的显示屏虚拟放大镜功能作弊的情况。
5、应用程序在身份验证、环境检测、视力检测、辨色力检测、听力检测、躯干和颈部检测、上肢检测、下肢检测的过程中，通过对运行在移动终端系统前台的应用进程进行检测，当检测到本应用程序在运行过程中被最小化、切换至后台、锁屏、退出、返回系统桌面、有电话进来被接听、有SMS短信息进来被回应中任意一种异常打断时，应用程序将弹出防作弊警告窗口，并终止检测返回应用程序首页的方式，以防止体检过程中驾驶人通过暂停应用程序以绕开防作弊监测机制的方式进行作弊。
6、应用程序在视力检测、辨色力检测、听力检测、躯干和颈部检测、上肢检测的过程中，通过调用后置摄像头对房间的出入口进行画面移动侦测，识别图像的变化和运动物体的存在，当侦测到有人开门或试图进入房间等干扰驾驶人体检过程的行为时，应用程序将同时获取前置摄像头和后置摄像头自动拍摄的2份照片、动态图或音视频影像并上传至后台系统审核，同时应用程序将弹出“环境检测异常”的警告窗口，并临时暂停检测5秒钟的方式，能有效甄别和防止体检过程中有其他无关人员进入体检环境并干预驾驶人体检的情况。
7、应用程序在视力检测、辨色力检测、听力检测、躯干和颈部检测、上肢检测过程中，通过调用IMU惯性测量单元中的三轴陀螺仪、加速度感应器，对移动终端的震动、位移和姿态进行持续监测，当侦测到移动终端被移动或从支架上拿起时，应用程序将同时获取前置摄像头和后置摄像头自动拍摄的2份照片、动态图或音视频影像并上传至后台系统审核，并通过弹出对应的防作弊警告窗口，以暂停检测，能有效甄别和防止体检过程中驾驶人使用移动终端进行与体检无关的操作。
8、应用程序在下肢检测过程中，通过同时调用前置摄像头和后置摄像头，在检测过程中同时拍摄驾驶人上半身及面部图像和驾驶人裸露的膝盖及以下部位的2份照片、动态图或音视频影像并上传至后台系统审核，能有效甄别出检测过程中是否有其他无关人员干预驾驶人体检的情况。
9、应用程序在视力检测、辨色力检测、听力检测的过程中，驾驶人均需佩戴耳机，以防止外界干扰产生作弊风险；
由于本发明采用的是一种在线自助体检的方式，与传统的医院现场医生人工体检、自助体检机远程体检模式完全不同。其体检过程既不是在一个完全封闭的舱室内，也没有医生在现场监督，而是在指定的体检环境中，使用指定体检工具，在符合机动车驾驶人身体条件检测标准的前提下，应用程序通过调用移动终端的各种硬件单元，对体检检测项目以特定的技术方法达到与医生人工体检同等检测效果的方式，来实现体检信息采集的（如身高检测、视力检测、辨色力检测、听力检测），同时，应用程序还在每一个检测项目中采集多份照片、动态图或音视频影像，并将采集的体检信息数据上传至后台系统，最后由医生在线人工审核的或者自动审核的方式，以实现在线自助体检的。
通过综合了对体检环境和工具的要求、对体检流程的设置、通过技术手段检测干预体检的异常行为这三方面来实现保证驾驶人在线自助体检的过程真实有效，以及在线自助体检的审核标准客观公正，因此甄别和防止在线自助体检过程中作弊就显得尤为重要。
十、后续处理
S131、体检信息预览，应用程序将采集到的部分体检信息向驾驶人预览展示；S141、疾病申告确认，应用程序引导驾驶人如实填报疾病情况；S151、提交体检信息，应用程序将采集到的全部体检数据通过互联网上传至后台系统；S161、体检审核，根据需要后台系统中驾驶人的体检信息将由系统自动审核并由医生人工复审，复审结果为最终的体检结果；S162、最终的体检结果由后台系统自动推送至移动终端的应用程序中供驾驶人查询，其中复审通过的体检信息将由后台系统自动上传至互联网交通安全综合服务管理平台，由此机动车驾驶人在线自助体检的流程完成闭环。
本实施例的在线自助体检方式较线下体检模式更加方便、快捷、智能，驾驶人足不出户，仅需按照系统的标准流程和要求操作，即可完成在线自助体检。实现了线上驾驶人体检功能的前提下，在重要的检测项目中均设置有防作弊措施，以保证体检过程的真实有效和体检结果的客观公正，大幅提高效率。
本发明还公开一种移动终端，包括：至少一个处理单元、至少一个存储单元、通信接口和总线；其中，所述处理单元、存储单元、通信接口通过所述总线完成相互间的通信；所述存储单元存储有可被所述处理单元执行的程序指令，所述处理单元调用所述程序指令，以实现本发明前述的在线自助业务环境检测方法或系统；所述移动终端的类型包括但不限于：智能手机、便携式电脑、平板电脑、PDA智能终端、车载智能终端、可穿戴设备等，可穿戴设备包括：智能手表、智能手环、智能戒指等。
本发明还公开一种计算机可读存储介质，所述计算机可读存储介质存储计算机指令，所述计算机指令使所述计算机实现本发明实施例所述在线自助业务环境检测方法或系统的全部或部分步骤。所述存储介质包括但不限于：U盘、移动硬盘、只读存储器ROM、随机存取存储器RAM、磁碟或者光盘等各种可以存储程序代码的介质。
以上所描述的系统实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下，即可以理解并实施。
以上所述仅为本发明的较佳实施方式而已，并不用以限制本发明，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (9)

1.一种在线自助业务环境检测方法，其特征在于，所述方法包括：
同时调用手持式移动终端的前置摄像头、后置摄像头按照指定的拍摄方式采集室内环境图像；
通过后置摄像头采集的环境图像生成第一球形全景照片，通过前置摄像头采集的环境图像生成第二球形全景照片，同时获取室内环境的音视频影像文件；
将第一球形全景照片与第二球形全景照片进行融合，得到第三球形全景照片；所述将第一球形全景照片与第二球形全景照片进行融合，得到第三球形全景照片具体为：
根据前置摄像头和后置摄像头之间的位置关系确定第一球形全景照片与第二球形全景照片对应的位置关系；提取第一球形全景照片合成过程中的各个拼接缝，确定各个拼接缝与第二球形全景照片对应的位置映射关系，预先按照差分法比较第一球形全景照片与第二球形全景照片，从中筛选出差异大于预设差异阈值的拼接缝并编号，按照筛选出的拼接缝的大小对第一球形全景照片进行网格划分，使得各个拼接缝位于各个网格片区内；将第二球形全景照片按照对应位置进行相同的网格划分，将第一球形全景照片与第二球形全景照片对应位置的各个网格片区进行图像融合，拼接得到第三球形全景照片；
基于第三球形全景照片和音视频影像文件进行环境检测，若室内环境中无其他无关人员的图像和音频数据且只有一个已关闭的房间出入口，则当前环境检测合格。
2.根据权利要求1所述在线自助业务环境检测方法，其特征在于，所述指定的拍摄方式包括：
在空间中保持移动终端的中心点位置不变，以移动终端与地面的垂线为轴心，将移动终端以一定速度绕轴心水平旋转拍摄室内环境，在绕轴心水平旋转的同时，移动终端绕自身的水平轴线做±90°的俯仰翻转，以完成对室内环境的球形全景覆盖。
3.根据权利要求1所述在线自助业务环境检测方法，其特征在于，生成第一、第二球形全景照片的具体方式包括：
分别以对应的摄像头为坐标原点，在对应的摄像头采集环境图像的同时同步调用IMU惯性测量单元，持续获取移动终端的姿态角数据，得到一组包含姿态角的连续照片序列；对包含姿态角的连续照片序列进行特征匹配和图像拼接，合成一张室内环境的球形全景照片。
4.根据权利要求3所述在线自助业务环境检测方法，其特征在于，在生成第一、第二球形全景照片之前，获取预先存储的测试者多角度全身照片，将测试者多角度全身照片与前置摄像头和/或后置摄像头采集的环境图像进行特征匹配，从前置摄像头和/或后置摄像头采集的环境图像中剔除测试者躯体所在区域。
5.根据权利要求1所述在线自助业务环境检测方法，其特征在于，所述将第一球形全景照片与第二球形全景照片对应位置的各个网格片进行图像融合具体为：
判断待融合的两个网格片区的大小，若大于预设阈值则分别对网格片区进行等距划分，得到多个子区域，分别计算各个子区域的信息熵；
采用黄金正弦算法优化各个子区域的融合权重，使得各个信息熵小于预设熵阈值的子区域在融合前后的信息熵的变化率均小于预设的变化率阈值且融合后的单个网格片区的总信息熵最小；
对于网格片区的大小小于等于预设阈值的情况，采用黄金正弦算法直接优化各个像素的融合权重；
根据融合权重对对应的两个网格片区进行加权图像融合。
6.根据权利要求1所述在线自助业务环境检测方法，其特征在于，所述基于第三球形全景照片和音视频影像文件进行环境检测具体包括：
采用卷积神经网络对第三球形全景照片进行目标识别，识别出第三球形全景照片中是否有无关人员的图像痕迹，并识别是否只有一个已关闭的房间出入口，对音视频影像文件进行音频分析，判断是否有说话声。
7.一种在线自助业务环境检测系统，其特征在于，所述系统包括：
数据采集模块：同时调用手持式移动终端的前置摄像头、后置摄像头按照指定的拍摄方式采集室内环境图像；
文件生成模块：通过后置摄像头采集的环境图像生成第一球形全景照片，通过前置摄像头采集的环境图像生成第二球形全景照片，同时生成室内环境的音视频影像文件；
图像融合模块：将第一球形全景照片与第二球形全景照片进行融合，得到第三球形全景照片；所述将第一球形全景照片与第二球形全景照片进行融合，得到第三球形全景照片具体为：根据前置摄像头和后置摄像头之间的位置关系确定第一球形全景照片与第二球形全景照片对应的位置关系；提取第一球形全景照片合成过程中的各个拼接缝，确定各个拼接缝与第二球形全景照片对应的位置映射关系，预先按照差分法比较第一球形全景照片与第二球形全景照片，从中筛选出差异大于预设差异阈值的拼接缝并编号，按照筛选出的拼接缝的大小对第一球形全景照片进行网格划分，使得各个拼接缝位于各个网格片区内；将第二球形全景照片按照对应位置进行相同的网格划分，将第一球形全景照片与第二球形全景照片对应位置的各个网格片区进行图像融合，拼接得到第三球形全景照片；环境检测模块：基于第三球形全景照片和音视频影像文件进行环境检测，若室内环境中无其他人员的图像和音频数据且只有一个已关闭的房间出入口，则当前环境检测合格。
8.一种移动终端，包括：至少一个处理单元、至少一个存储单元、通信接口和总线；
其中，所述处理单元、存储单元、通信接口通过所述总线完成相互间的通信；
所述存储单元存储有可被所述处理单元执行的程序指令，所述处理单元调用所述程序指令，以实现如权利要求1~6任一项所述的方法；
所述移动终端的类型包括但不限于：智能手机、便携式电脑、平板电脑、PDA智能终端、车载智能终端、可穿戴设备，可穿戴设备包括：智能手表、智能手环、智能戒指。
9.一种计算机可读存储介质，所述计算机可读存储介质存储计算机指令，所述计算机指令使计算机实现权利要求1~6任一项所述的方法。
CN202110483646.XA 2021-04-30 2021-04-30 一种在线自助业务环境检测方法及系统 Active CN112995523B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110483646.XA CN112995523B (zh) 2021-04-30 2021-04-30 一种在线自助业务环境检测方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110483646.XA CN112995523B (zh) 2021-04-30 2021-04-30 一种在线自助业务环境检测方法及系统

Publications (2)

Publication Number Publication Date
CN112995523A CN112995523A (zh) 2021-06-18
CN112995523B true CN112995523B (zh) 2021-07-30

Family

ID=76336933

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110483646.XA Active CN112995523B (zh) 2021-04-30 2021-04-30 一种在线自助业务环境检测方法及系统

Country Status (1)

Country Link
CN (1) CN112995523B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113781209A (zh) * 2021-09-27 2021-12-10 度小满科技(北京)有限公司 一种信贷业务数据处理方法和相关装置

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105376471A (zh) * 2015-12-21 2016-03-02 景好 一种基于移动平台的全景拍摄系统及方法
CN105389787A (zh) * 2015-09-30 2016-03-09 华为技术有限公司 一种全景图像拼接方法及装置
CN107317998A (zh) * 2016-04-27 2017-11-03 成都理想境界科技有限公司 全景视频图像融合方法及装置
CN108141524A (zh) * 2016-09-21 2018-06-08 北京小米移动软件有限公司 全景照片拍摄方法及装置
CN111815517A (zh) * 2020-07-09 2020-10-23 苏州万店掌网络科技有限公司 一种基于球机抓拍图片的自适应全景拼接方法

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105455789A (zh) * 2014-09-09 2016-04-06 曲刚 基于网络技术的无人值守健康信息自助采集系统及方法
CN105404219A (zh) * 2016-01-27 2016-03-16 斯卡雷特健康科技(北京)有限公司 一种智能化全方位环境监测系统
CN105554478A (zh) * 2016-02-24 2016-05-04 深圳市车米云图科技有限公司 视频监控系统及方法
CN106780009A (zh) * 2016-12-07 2017-05-31 云赛智联股份有限公司 一种自助银行防范系统
US10313584B2 (en) * 2017-01-04 2019-06-04 Texas Instruments Incorporated Rear-stitched view panorama for rear-view visualization
CN206673693U (zh) * 2017-03-07 2017-11-24 上海尚能电力工程设计有限公司 一种变电站数字化综合自动化系统
US11049218B2 (en) * 2017-08-11 2021-06-29 Samsung Electronics Company, Ltd. Seamless image stitching
CN107635113A (zh) * 2017-09-12 2018-01-26 中山大学 一种提醒锁门的智能防盗系统
CN107483896A (zh) * 2017-09-15 2017-12-15 泾县麦蓝网络技术服务有限公司 一种基于智能终端控制的家庭环境监控方法和系统
EP3994660A4 (en) * 2019-07-01 2023-08-02 Geomagical Labs, Inc. METHOD AND SYSTEM FOR IMAGE GENERATION
CN110796727A (zh) * 2019-09-17 2020-02-14 国网天津市电力公司 基于虚拟现实技术的机房远程全景监控方法
CN111770326B (zh) * 2020-06-20 2022-03-29 武汉大势智慧科技有限公司 一种全景视频投射的室内三维监控方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105389787A (zh) * 2015-09-30 2016-03-09 华为技术有限公司 一种全景图像拼接方法及装置
CN105376471A (zh) * 2015-12-21 2016-03-02 景好 一种基于移动平台的全景拍摄系统及方法
CN107317998A (zh) * 2016-04-27 2017-11-03 成都理想境界科技有限公司 全景视频图像融合方法及装置
CN108141524A (zh) * 2016-09-21 2018-06-08 北京小米移动软件有限公司 全景照片拍摄方法及装置
CN111815517A (zh) * 2020-07-09 2020-10-23 苏州万店掌网络科技有限公司 一种基于球机抓拍图片的自适应全景拼接方法

Also Published As

Publication number Publication date
CN112995523A (zh) 2021-06-18

Similar Documents

Publication Publication Date Title
US20220103748A1 (en) Touchless photo capture in response to detected hand gestures
CN113303791A (zh) 一种机动车驾驶人在线自助体检系统、移动终端及存储介质
JP5863423B2 (ja) 情報処理装置、情報処理方法及びプログラム
US20190082211A1 (en) Producing realistic body movement using body Images
CN108470169A (zh) 人脸识别系统及方法
CN107209950A (zh) 从现实世界材料自动生成虚拟材料
CN107004279A (zh) 自然用户界面相机校准
CN106575357A (zh) 瞳孔检测
CN109799900A (zh) 用于三维成像、映射、建网和界面连接的无线腕式计算和控制设备和方法
CN106104650A (zh) 经由凝视检测进行远程设备控制
CN111507592B (zh) 一种面向服刑人员的主动改造行为的评估方法
CN107533642A (zh) 用于使用神经网络的生物特征用户识别的设备、方法和系统
CN107231529A (zh) 图像处理方法、移动终端及存储介质
WO2020020022A1 (zh) 视觉识别方法及其系统
CN109271950A (zh) 一种基于手机前视摄像头的人脸活体检测方法
CN104850842B (zh) 移动终端虹膜识别的人机交互方法
WO2009043927A1 (en) Apparatus for acquiring and processing information relating to human eye movements
JP2014086775A (ja) 映像コミュニケーションシステム及び映像コミュニケーション方法
CN108124150A (zh) 虚拟现实头戴显示设备及通过其观察真实场景的方法
JP6109288B2 (ja) 情報処理装置、情報処理方法及びプログラム
CN112995523B (zh) 一种在线自助业务环境检测方法及系统
CN108537103B (zh) 基于瞳孔轴测量的活体人脸检测方法及其设备
JP2020140630A (ja) 注視点推定システム、注視点推定方法、注視点推定プログラム、及び、これが記録された情報記録媒体
KR100795360B1 (ko) 얼굴인식에 의한 본인 여부의 판단방법
CN109521878A (zh) 交互方法、装置和计算机可读存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant