CN115097948A - 一种基于影像分析的挖掘机模拟系统 - Google Patents

一种基于影像分析的挖掘机模拟系统 Download PDF

Info

Publication number
CN115097948A
CN115097948A CN202211013757.5A CN202211013757A CN115097948A CN 115097948 A CN115097948 A CN 115097948A CN 202211013757 A CN202211013757 A CN 202211013757A CN 115097948 A CN115097948 A CN 115097948A
Authority
CN
China
Prior art keywords
information
pressure
driver
acquisition module
human body
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
CN202211013757.5A
Other languages
English (en)
Inventor
王国臣
刘贤德
鹿存鸣
李群
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Xuzhou Shuobo Electronic Technology Co ltd
Original Assignee
Xuzhou Shuobo Electronic Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Xuzhou Shuobo Electronic Technology Co ltd filed Critical Xuzhou Shuobo Electronic Technology Co ltd
Priority to CN202211013757.5A priority Critical patent/CN115097948A/zh
Publication of CN115097948A publication Critical patent/CN115097948A/zh
Withdrawn legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/02—Detecting, measuring or recording pulse, heart rate, blood pressure or blood flow; Combined pulse/heart-rate/blood pressure determination; Evaluating a cardiovascular condition not otherwise provided for, e.g. using combinations of techniques provided for in this group with electrocardiography or electroauscultation; Heart catheters for measuring blood pressure
    • A61B5/0205—Simultaneously evaluating both cardiovascular conditions and different types of body conditions, e.g. heart and respiratory condition
    • A61B5/02055—Simultaneously evaluating both cardiovascular condition and temperature
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/30—Authentication, i.e. establishing the identity or authorisation of security principals
    • G06F21/31—User authentication
    • G06F21/32—User authentication using biometric data, e.g. fingerprints, iris scans or voiceprints
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B9/00—Simulators for teaching or training purposes
    • G09B9/02—Simulators for teaching or training purposes for teaching control of vehicles or other craft
    • G09B9/04—Simulators for teaching or training purposes for teaching control of vehicles or other craft for teaching control of land vehicles
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/30—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for calculating health indices; for individual health risk assessment

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Medical Informatics (AREA)
  • Cardiology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Public Health (AREA)
  • General Health & Medical Sciences (AREA)
  • Computer Security & Cryptography (AREA)
  • Human Computer Interaction (AREA)
  • Physiology (AREA)
  • Pathology (AREA)
  • Biomedical Technology (AREA)
  • Business, Economics & Management (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • Computer Hardware Design (AREA)
  • Software Systems (AREA)
  • Biophysics (AREA)
  • Pulmonology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Component Parts Of Construction Machinery (AREA)
  • Veterinary Medicine (AREA)
  • Surgery (AREA)
  • Educational Administration (AREA)
  • Educational Technology (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • Epidemiology (AREA)
  • Primary Health Care (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Multimedia (AREA)
  • Molecular Biology (AREA)

Abstract

本发明公开了一种基于影像分析的挖掘机模拟系统，包括身份信息采集模块、人体信息采集模块、模拟舱影像采集模块、座椅压力采集模块、操作杆受力采集模块、教学指令采集模块、VR设备采集模块、舱门信息采集模块、数据接收模块、数据处理模块、总控模块与信息发送模块；所述身份信息采集模块用于采集驾驶人的身份信息，所述人体信息采集模块用于采集驾驶人的人体信息，人体信息包括身高信息、体重信息、体温信息、血压信息与心率信息；所述模拟舱影像采集模块用于采集模拟舱内的实时影像信息，所述舱门信息采集模块用于采集模拟舱的舱门信息；本发明能够让模拟驾驶人更加安全的进行挖掘机驾驶模拟。

Description

一种基于影像分析的挖掘机模拟系统
技术领域
本发明涉及模拟驾驶领域，具体涉及一种基于影像分析的挖掘机模拟系统。
背景技术
挖掘机模拟驾驶是一种利用现代高新技术，提供的安全高效的培训解决方案。它通过对挖掘机性能和驾驶操作流程的仿真，构建一个接近真实的驾驶环境，为受训司机提供培训的环境与设备支持。采用挖掘机驾驶仿真器培训司机具有安全、经济、高效，培训过程可控、可重复，便于进行突发事件及故障状态的模拟等优点；
在进行挖掘机模拟驾驶过程中即需要使用到挖掘机模拟系统来进行系统的挖掘机驾驶模拟。
现有的挖掘机模拟系统，在进行挖掘机驾驶模拟过程中，保护模拟驾驶人安全的效果较差，给挖掘机模拟系统的使用带来了一定的影响，因此，提出一种基于影像分析的挖掘机模拟系统。
发明内容
本发明所要解决的技术问题在于：如何解决现有的挖掘机模拟系统，在进行挖掘机驾驶模拟过程中，保护模拟驾驶人安全的效果较差，给挖掘机模拟系统的使用带来了一定的影响的问题，提供了一种基于影像分析的挖掘机模拟系统。
本发明是通过以下技术方案解决上述技术问题的，本发明包括身份信息采集模块、人体信息采集模块、模拟舱影像采集模块、座椅压力采集模块、操作杆受力采集模块、教学指令采集模块、VR设备采集模块、舱门信息采集模块、数据接收模块、数据处理模块、总控模块与信息发送模块；
所述身份信息采集模块用于采集驾驶人的身份信息，所述人体信息采集模块用于采集驾驶人的人体信息，人体信息包括身高信息、体重信息、体温信息、血压信息与心率信息；
所述模拟舱影像采集模块用于采集模拟舱内的实时影像信息，所述舱门信息采集模块用于采集模拟舱的舱门信息，所述座椅压力采集模块用于采集座椅压力信息，所述座椅压力信息包括第一压力信息、第二压力信息、第三压力信息与第四压力信息；
所述操作杆受力采集模块用于采集操作杆的受力信息，操作杆的受力信息包括杆把受力信息与杆体受力信息；
所述教学指令采集模块用于采集驾驶人接收到的教学指令信息，所述VR设备采集模块用于采集驾驶人在模拟舱中佩戴VR设备的佩戴信息，佩戴信息包括VR设备佩戴松紧度信息与VR设备的晃动幅度信息；
所述数据接收模块用于接收驾驶人的身份信息、驾驶人的人体信息、实时影像信息、舱门信息、座椅压力信息、操作杆的受力信息、教学指令信息与VR设备的佩戴信息，所述数据接收模块接收到上述信息后将上述信息储存后再将上述信息发送到数据处理模块；
所述数据处理模块对驾驶人的身份信息、驾驶人的人体信息、实时影像信息、舱门信息、座椅压力信息、操作杆的受力信息、教学指令信息与VR设备的佩戴信息进行处理得到驾驶人身份验证信息、人体状态评估信息、操作警示信息、操作评估信息、驾驶人警示信息、佩戴调整信息与舱门警示信息；
所述总控模块用于在驾驶人身份验证信息、人体状态评估信息、操作警示信息、操作评估信息、驾驶人警示信息、佩戴调整信息与舱门警示信息生成后控制信息发送模块将上述信息发送到预设接收终端。
进一步在于，所述人体状态评估信息包括不适宜驾驶信息、延时驾驶信息与允许驾驶信息，所述人体状态评估信息的具体处理过程如下：
步骤一：提取出采集到的人体信息，从人体信息中获取到身高信息、体重信息、体温信息、血压信息与心率信息；
步骤二：将身高信息与体重信息综合为检索模型，将检索模型上传到互联网中，从互联网中获取到对应模型的血压评估参数与心率评估参数；
步骤三：当体温信息大于预设体温、血压信息大于血压评估参数与心率信息大于心率评估参数中任意两个或两个以上出现，即生成不适宜驾驶信息；
步骤四：当体温信息大于预设体温、血压信息大于血压评估参数与心率信息大于心率评估参数中任意一个出现，即生成延时驾驶信息；
步骤五：当体温信息小于预设体温、血压信息在血压评估参数范围内且心率信息在心率评估参数内时，即生成允许驾驶信息。
进一步在于，所述操作评估信息包括操作优秀信息、操作一般信息与操作较差信息，所述操作警示信息与操作评估信息的具体处理过程如下：
S1：提取出采集到操作杆的受力信息与教学指令信息；
S2：从操作杆的受力信息中获取到杆把受力信息与杆体受力信息，将杆把受力信息标记为M1，将杆体受力信息标记为M2；
S3：提取出教学指令信息，教学指令信息为操作杆使用指令信息，每个操作杆上设置了不同的颜色标记，提取出教学指令信息的数量信息，将其标记为K；
S4：当单个教学指令信息发出后预设时长，采集对应操作杆的杆把受力信息M1，当对应操作杆的杆把受力信息M1大于预设值时，即表示操作成功，当对应操作杆的杆把受力信息M1小于预设值时，即表示操作失败；
S5：记录下K个教学指令信息中的操作失败次数信息与操作成次数信息将其分别标记为K1和K2，当K2和K1的差值大于预设值时，即生成操作优秀信息，当K2和K1的差值在预设值范围内时，即生成操作一般信息，当K2和K1的差值小于预设值时，即生成操作较差信息；
S6：提取出采集到的杆体受力信息，当杆体受力信息大于预设值时，即生成操作警示信息。
进一步在于，所述驾驶人警示信息包括违禁离开警示信息与坐姿偏移警示信息，所述驾驶人警示信息的具体处理过程如下：
SS1：提取出采集到的实时影像信息与座椅压力信息，从座椅压力信息中获取到第一压力信息、第二压力信息、第三压力信息与第四压力信息；
SS2：第一压力信息与第二压力信息为座椅坐垫的压力信息，第三压力信息与第四压力信息为座椅靠背的压力信息，其中第一压力信息与第三压力信息在同一侧，第二压力信息与第四压力信息在同一侧；
SS3：当第一压力信息与第二压力信息之间差值的绝对值大于预设值或第三压力信息与第三压力信息差值的绝对值大于预设值时，即生成坐姿偏移警示信息；
SS4：当第一压力信息、第二压力信息、第三压力信息与第四压力信息均小于预设值时，即生成违禁离开警示信息；
SS5：提取出采集到的实时影像信息，实时影像信息从驾驶座椅的正前方采集，将实时影像信息中的人体影像进行轮廓模型化得到人体轮廓模型，并以驾驶座的中点为基点设置了居中线；
SS6：实时监测人体轮廓模型在居中线两侧的面积变化，当任意一侧的面积大于另一侧时，即生成坐姿偏移警示信息，在模拟时间段的实时影像信息中无法采集到人体信息时，即生成违禁离开警示信息。
进一步在于，所述佩戴调整信息的具体处理过程如下：提取出采集到的佩戴信息，从佩戴信息中获取到VR设备佩戴松紧度信息与VR设备的晃动幅度信息，当VR设备佩戴松紧度信息的松紧度小于预设值或者VR设备的晃动幅度信息大于预设幅度时，即生成佩戴调整信息。
进一步在于，所述舱门警示信息的具体处理过程如下：提取出采集到的舱门信息，舱门信息包括舱门关闭和舱门未关闭，当舱门信息在模拟舱进行挖掘机模拟的过程中为舱门未关闭时，即生成舱门警示信息。
进一步在于，所述数据处理模块还对座椅压力信息和实时影像信息进行处理得到人体异常信息，所述人体异常信息的具体处理过程如下：提取出采集到的实时影像信息与座椅压力信息，从座椅压力信息中获取到第一压力信息、第二压力信息、第三压力信息与第四压力信息，采集多次座椅压力信息，当多次座椅压力信息，中的第一压力信息、第二压力信息、第三压力信息与第四压力信息中至少两个连续大于预设时，即生成人体异常信息，当实时影像信息中的人体轮廓模型信息与水平面的夹角小于预设角度时，也生成人体异常信息。
进一步在于，所述驾驶人身份验证信息包括验证通过信息、验证失败信息与验证警示信息，所述驾驶人身份验证警示信息的具体处理过程如下：驾驶人输入自己的账号密码或者进行人脸识别验证，选择账号密码验证时，账号密码被导入到数据中进行匹配，匹配成功即生成验证通过信息，选择人脸识别验证时驾驶人刷脸获取到实时人脸影像信息，将实时人脸影像信息与数据库中的预存人脸影像进行匹配，匹配成功即生成验证通过，当账号密码失败，即直接进入人脸验证模式，此时人脸验证即生成验证通过信息，此时连续验证失败超过预设次数即生成验证警示信息。
本发明相比现有技术具有以下优点：该基于影像分析的挖掘机模拟系统，通过在进行模拟操作前，对驾驶人员身体状态进行了细化的检测，从而避免驾驶员在挖掘机模拟过程因为佩戴VR设备导致的身体异常的状况发生，更好的保护了驾驶人的安全，并且在模拟过程中实时监测驾驶人佩戴的VR设备的佩戴状况，并在发现异常时，及时的生成调整信息，从而保证佩戴的VR设备的舒适度，避免了佩戴的VR设备的舒适度低影响挖掘机模拟教学的状况发生，同时在挖掘机模拟教学过程中实时监测驾驶人身体姿态，并在姿态异常时及时的生成警示信息，从而让驾驶人员能够始终处于驾驶标准姿态，在模拟过程中监测操作信息，在模拟结束后给模拟驾驶人员发送驾驶模拟评分，让驾驶人员能够了解到自己的驾驶模拟状态，从而让该系统更加值得推广使用。
附图说明
图1是本发明的整体结构图。
具体实施方式
下面对本发明的实施例作详细说明，本实施例在以本发明技术方案为前提下进行实施，给出了详细的实施方式和具体的操作过程，但本发明的保护范围不限于下述的实施例。
如图1所示，本实施例提供一种技术方案：一种基于影像分析的挖掘机模拟系统，包括身份信息采集模块、人体信息采集模块、模拟舱影像采集模块、座椅压力采集模块、操作杆受力采集模块、教学指令采集模块、VR设备采集模块、舱门信息采集模块、数据接收模块、数据处理模块、总控模块与信息发送模块；
所述身份信息采集模块用于采集驾驶人的身份信息，所述人体信息采集模块用于采集驾驶人的人体信息，人体信息包括身高信息、体重信息、体温信息、血压信息与心率信息；
所述模拟舱影像采集模块用于采集模拟舱内的实时影像信息，所述舱门信息采集模块用于采集模拟舱的舱门信息，所述座椅压力采集模块用于采集座椅压力信息，所述座椅压力信息包括第一压力信息、第二压力信息、第三压力信息与第四压力信息；
所述操作杆受力采集模块用于采集操作杆的受力信息，操作杆的受力信息包括杆把受力信息与杆体受力信息；
所述教学指令采集模块用于采集驾驶人接收到的教学指令信息，所述VR设备采集模块用于采集驾驶人在模拟舱中佩戴VR设备的佩戴信息，佩戴信息包括VR设备佩戴松紧度信息与VR设备的晃动幅度信息；
所述数据接收模块用于接收驾驶人的身份信息、驾驶人的人体信息、实时影像信息、舱门信息、座椅压力信息、操作杆的受力信息、教学指令信息与VR设备的佩戴信息，所述数据接收模块接收到上述信息后将上述信息储存后再将上述信息发送到数据处理模块；
所述数据处理模块对驾驶人的身份信息、驾驶人的人体信息、实时影像信息、舱门信息、座椅压力信息、操作杆的受力信息、教学指令信息与VR设备的佩戴信息进行处理得到驾驶人身份验证信息、人体状态评估信息、操作警示信息、操作评估信息、驾驶人警示信息、佩戴调整信息与舱门警示信息；
所述总控模块用于在驾驶人身份验证信息、人体状态评估信息、操作警示信息、操作评估信息、驾驶人警示信息、佩戴调整信息与舱门警示信息生成后控制信息发送模块将上述信息发送到预设接收终端；
通过在进行模拟操作前，对驾驶人员身体状态进行了细化的检测，从而避免驾驶员在挖掘机模拟过程因为佩戴VR设备导致的身体异常的状况发生，更好的保护了驾驶人的安全，并且在模拟过程中实时监测驾驶人佩戴的VR设备的佩戴状况，并在发现异常时，及时的生成调整信息，从而保证佩戴的VR设备的舒适度，避免了佩戴的VR设备的舒适度低影响挖掘机模拟教学的状况发生，同时在挖掘机模拟教学过程中实时监测驾驶人身体姿态，并在姿态异常时及时的生成警示信息，从而让驾驶人员能够始终处于驾驶标准姿态，在模拟过程中监测操作信息，在模拟结束后给模拟驾驶人员发送驾驶模拟评分，让驾驶人员能够了解到自己的驾驶模拟状态，从而让该系统更加值得推广使用。
所述驾驶人身份验证信息包括验证通过信息、验证失败信息与验证警示信息，所述驾驶人身份验证警示信息的具体处理过程如下：驾驶人输入自己的账号密码或者进行人脸识别验证，选择账号密码验证时，账号密码被导入到数据中进行匹配，匹配成功即生成验证通过信息，选择人脸识别验证时驾驶人刷脸获取到实时人脸影像信息，将实时人脸影像信息与数据库中的预存人脸影像进行匹配，匹配成功即生成验证通过，当账号密码失败，即直接进入人脸验证模式，此时人脸验证即生成验证通过信息，此时连续验证失败超过预设次数即生成验证警示信息；
通过上述过程，能够在模拟驾驶前进行模拟驾驶人的身份验证，从而避免他人顶替模拟驾驶的状况发生，并且连续验证失败时生成验证警示信息发送到对应账号的模拟驾驶人的智能接收终端，对其进行警示。
所述人体状态评估信息包括不适宜驾驶信息、延时驾驶信息与允许驾驶信息，所述人体状态评估信息的具体处理过程如下：
步骤一：提取出采集到的人体信息，从人体信息中获取到身高信息、体重信息、体温信息、血压信息与心率信息；
步骤二：将身高信息与体重信息综合为检索模型，将检索模型上传到互联网中，从互联网中获取到对应模型的血压评估参数与心率评估参数；
步骤三：当体温信息大于预设体温、血压信息大于血压评估参数与心率信息大于心率评估参数中任意两个或两个以上出现，即生成不适宜驾驶信息；
步骤四：当体温信息大于预设体温、血压信息大于血压评估参数与心率信息大于心率评估参数中任意一个出现，即生成延时驾驶信息；
步骤五：当体温信息小于预设体温、血压信息在血压评估参数范围内且心率信息在心率评估参数内时，即生成允许驾驶信息；
延时驾驶信息即延迟一段时间后重新采集模拟驾驶人的身体信息进行评估；
通过上述过程，能够在模拟驾驶人进行模拟驾驶前进行身体状态的检测评估，了解到其是否适合进行模拟驾驶，从而避免模拟驾驶人身体状态不佳，减少在模拟驾驶过程中因为佩戴VR设备导致的身体不适等状况发生。
所述操作评估信息包括操作优秀信息、操作一般信息与操作较差信息，所述操作警示信息与操作评估信息的具体处理过程如下：
S1：提取出采集到操作杆的受力信息与教学指令信息；
S2：从操作杆的受力信息中获取到杆把受力信息与杆体受力信息，将杆把受力信息标记为M1，将杆体受力信息标记为M2；
S3：提取出教学指令信息，教学指令信息为操作杆使用指令信息，每个操作杆上设置了不同的颜色标记，提取出教学指令信息的数量信息，将其标记为K；
S4：当单个教学指令信息发出后预设时长，采集对应操作杆的杆把受力信息M1，当对应操作杆的杆把受力信息M1大于预设值时，即表示操作成功，当对应操作杆的杆把受力信息M1小于预设值时，即表示操作失败；
S5：记录下K个教学指令信息中的操作失败次数信息与操作成次数信息将其分别标记为K1和K2，当K2和K1的差值大于预设值时，即生成操作优秀信息，当K2和K1的差值在预设值范围内时，即生成操作一般信息，当K2和K1的差值小于预设值时，即生成操作较差信息；
S6：提取出采集到的杆体受力信息，当杆体受力信息大于预设值时，即生成操作警示信息；
通过上述过程，能够在模拟驾驶结束后对模拟驾驶员进行模拟驾驶进行评价，让模拟驾驶员能够了解到自己的挖掘机模拟操作状态。
所述驾驶人警示信息包括违禁离开警示信息与坐姿偏移警示信息，所述驾驶人警示信息的具体处理过程如下：
SS1：提取出采集到的实时影像信息与座椅压力信息，从座椅压力信息中获取到第一压力信息、第二压力信息、第三压力信息与第四压力信息；
SS2：第一压力信息与第二压力信息为座椅坐垫的压力信息，第三压力信息与第四压力信息为座椅靠背的压力信息，其中第一压力信息与第三压力信息在同一侧，第二压力信息与第四压力信息在同一侧；
SS3：当第一压力信息与第二压力信息之间差值的绝对值大于预设值或第三压力信息与第三压力信息差值的绝对值大于预设值时，即生成坐姿偏移警示信息；
SS4：当第一压力信息、第二压力信息、第三压力信息与第四压力信息均小于预设值时，即生成违禁离开警示信息；
SS5：提取出采集到的实时影像信息，实时影像信息从驾驶座椅的正前方采集，将实时影像信息中的人体影像进行轮廓模型化得到人体轮廓模型，并以驾驶座的中点为基点设置了居中线；
SS6：实时监测人体轮廓模型在居中线两侧的面积变化，当任意一侧的面积大于另一侧时，即生成坐姿偏移警示信息，在模拟时间段的实时影像信息中无法采集到人体信息时，即生成违禁离开警示信息；
通过上述过程，能够在挖掘机模拟过程中，监测模拟驾驶人的坐姿状态，当发现模拟驾驶人的坐姿状态异常时，及时的发出警示信息进行提醒，从而让模拟驾驶人保持标准坐姿，更好的保护了模拟驾驶人。
所述佩戴调整信息的具体处理过程如下：提取出采集到的佩戴信息，从佩戴信息中获取到VR设备佩戴松紧度信息与VR设备的晃动幅度信息，当VR设备佩戴松紧度信息的松紧度小于预设值或者VR设备的晃动幅度信息大于预设幅度时，即生成佩戴调整信息；
通过上述过程，能够在模拟驾驶人进行挖掘机驾驶模拟过程中进行VR设备的佩戴进行监测，当发现佩戴的VR设备出现松紧度异常或者晃动过大时，即生成警示信息进行提醒，从而让模拟驾驶人能够始终稳定的佩戴VR设备，减少因为VR设备佩戴不当导致的模拟驾驶人身体不适。
所述舱门警示信息的具体处理过程如下：提取出采集到的舱门信息，舱门信息包括舱门关闭和舱门未关闭，当舱门信息在模拟舱进行挖掘机模拟的过程中为舱门未关闭时，即生成舱门警示信息；
及时的生成舱门警示信息对模拟驾驶人进行警示，让模拟驾驶人养成进舱关门的习惯，更好的保护模拟驾驶人。
所述数据处理模块还对座椅压力信息和实时影像信息进行处理得到人体异常信息，所述人体异常信息的具体处理过程如下：提取出采集到的实时影像信息与座椅压力信息，从座椅压力信息中获取到第一压力信息、第二压力信息、第三压力信息与第四压力信息，采集多次座椅压力信息，当多次座椅压力信息，中的第一压力信息、第二压力信息、第三压力信息与第四压力信息中至少两个连续大于预设时，即生成人体异常信息，当实时影像信息中的人体轮廓模型信息与水平面的夹角小于预设角度时，也生成人体异常信息；
因为在挖掘机模拟过程中需要佩戴VR设备，部分人员长时间佩戴佩戴VR设备可能会造成身体不适，因此通过上述设置，能够在模拟驾驶人出现倾倒等状况时，及时的发出警示信息，更好的保证了模拟驾驶人的安全。
此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。在本发明的描述中，“多个”的含义是至少两个，例如两个，三个等，除非另有明确具体的限定。
在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不必须针对的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外，在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。
尽管上面已经示出和描述了本发明的实施例，可以理解的是，上述实施例是示例性的，不能理解为对本发明的限制，本领域的普通技术人员在本发明的范围内可以对上述实施例进行变化、修改、替换和变型。

Claims (8)

1.一种基于影像分析的挖掘机模拟系统，其特征在于，包括身份信息采集模块、人体信息采集模块、模拟舱影像采集模块、座椅压力采集模块、操作杆受力采集模块、教学指令采集模块、VR设备采集模块、舱门信息采集模块、数据接收模块、数据处理模块、总控模块与信息发送模块；
所述身份信息采集模块用于采集驾驶人的身份信息，所述人体信息采集模块用于采集驾驶人的人体信息，人体信息包括身高信息、体重信息、体温信息、血压信息与心率信息；
所述模拟舱影像采集模块用于采集模拟舱内的实时影像信息，所述舱门信息采集模块用于采集模拟舱的舱门信息，所述座椅压力采集模块用于采集座椅压力信息，所述座椅压力信息包括第一压力信息、第二压力信息、第三压力信息与第四压力信息；
所述操作杆受力采集模块用于采集操作杆的受力信息，操作杆的受力信息包括杆把受力信息与杆体受力信息；
所述教学指令采集模块用于采集驾驶人接收到的教学指令信息，所述VR设备采集模块用于采集驾驶人在模拟舱中佩戴VR设备的佩戴信息，佩戴信息包括VR设备佩戴松紧度信息与VR设备的晃动幅度信息；
所述数据接收模块用于接收驾驶人的身份信息、驾驶人的人体信息、实时影像信息、舱门信息、座椅压力信息、操作杆的受力信息、教学指令信息与VR设备的佩戴信息，所述数据接收模块接收到上述信息后将上述信息储存后再将上述信息发送到数据处理模块；
所述数据处理模块对驾驶人的身份信息、驾驶人的人体信息、实时影像信息、舱门信息、座椅压力信息、操作杆的受力信息、教学指令信息与VR设备的佩戴信息进行处理得到驾驶人身份验证信息、人体状态评估信息、操作警示信息、操作评估信息、驾驶人警示信息、佩戴调整信息与舱门警示信息；
所述总控模块用于在驾驶人身份验证信息、人体状态评估信息、操作警示信息、操作评估信息、驾驶人警示信息、佩戴调整信息与舱门警示信息生成后控制信息发送模块将上述信息发送到预设接收终端。
2.根据权利要求1所述的一种基于影像分析的挖掘机模拟系统，其特征在于：所述人体状态评估信息包括不适宜驾驶信息、延时驾驶信息与允许驾驶信息，所述人体状态评估信息的具体处理过程如下：
步骤一：提取出采集到的人体信息，从人体信息中获取到身高信息、体重信息、体温信息、血压信息与心率信息；
步骤二：将身高信息与体重信息综合为检索模型，将检索模型上传到互联网中，从互联网中获取到对应模型的血压评估参数与心率评估参数；
步骤三：当体温信息大于预设体温、血压信息大于血压评估参数与心率信息大于心率评估参数中任意两个或两个以上出现，即生成不适宜驾驶信息；
步骤四：当体温信息大于预设体温、血压信息大于血压评估参数与心率信息大于心率评估参数中任意一个出现，即生成延时驾驶信息；
步骤五：当体温信息小于预设体温、血压信息在血压评估参数范围内且心率信息在心率评估参数内时，即生成允许驾驶信息。
3.根据权利要求1所述的一种基于影像分析的挖掘机模拟系统，其特征在于：所述操作评估信息包括操作优秀信息、操作一般信息与操作较差信息，所述操作警示信息与操作评估信息的具体处理过程如下：
S1：提取出采集到操作杆的受力信息与教学指令信息；
S2：从操作杆的受力信息中获取到杆把受力信息与杆体受力信息，将杆把受力信息标记为M1，将杆体受力信息标记为M2；
S3：提取出教学指令信息，教学指令信息为操作杆使用指令信息，每个操作杆上设置了不同的颜色标记，提取出教学指令信息的数量信息，将其标记为K；
S4：当单个教学指令信息发出后预设时长，采集对应操作杆的杆把受力信息M1，当对应操作杆的杆把受力信息M1大于预设值时，即表示操作成功，当对应操作杆的杆把受力信息M1小于预设值时，即表示操作失败；
S5：记录下K个教学指令信息中的操作失败次数信息与操作成次数信息将其分别标记为K1和K2，当K2和K1的差值大于预设值时，即生成操作优秀信息，当K2和K1的差值在预设值范围内时，即生成操作一般信息，当K2和K1的差值小于预设值时，即生成操作较差信息；
S6：提取出采集到的杆体受力信息，当杆体受力信息大于预设值时，即生成操作警示信息。
4.根据权利要求1所述的一种基于影像分析的挖掘机模拟系统，其特征在于：所述驾驶人警示信息包括违禁离开警示信息与坐姿偏移警示信息，所述驾驶人警示信息的具体处理过程如下：
SS1：提取出采集到的实时影像信息与座椅压力信息，从座椅压力信息中获取到第一压力信息、第二压力信息、第三压力信息与第四压力信息；
SS2：第一压力信息与第二压力信息为座椅坐垫的压力信息，第三压力信息与第四压力信息为座椅靠背的压力信息，其中第一压力信息与第三压力信息在同一侧，第二压力信息与第四压力信息在同一侧；
SS3：当第一压力信息与第二压力信息之间差值的绝对值大于预设值或第三压力信息与第三压力信息差值的绝对值大于预设值时，即生成坐姿偏移警示信息；
SS4：当第一压力信息、第二压力信息、第三压力信息与第四压力信息均小于预设值时，即生成违禁离开警示信息；
SS5：提取出采集到的实时影像信息，实时影像信息从驾驶座椅的正前方采集，将实时影像信息中的人体影像进行轮廓模型化得到人体轮廓模型，并以驾驶座的中点为基点设置了居中线；
SS6：实时监测人体轮廓模型在居中线两侧的面积变化，当任意一侧的面积大于另一侧时，即生成坐姿偏移警示信息，在模拟时间段的实时影像信息中无法采集到人体信息时，即生成违禁离开警示信息。
5.根据权利要求1所述的一种基于影像分析的挖掘机模拟系统，其特征在于：所述佩戴调整信息的具体处理过程如下：提取出采集到的佩戴信息，从佩戴信息中获取到VR设备佩戴松紧度信息与VR设备的晃动幅度信息，当VR设备佩戴松紧度信息的松紧度小于预设值或者VR设备的晃动幅度信息大于预设幅度时，即生成佩戴调整信息。
6.根据权利要求1所述的一种基于影像分析的挖掘机模拟系统，其特征在于：所述舱门警示信息的具体处理过程如下：提取出采集到的舱门信息，舱门信息包括舱门关闭和舱门未关闭，当舱门信息在模拟舱进行挖掘机模拟的过程中为舱门未关闭时，即生成舱门警示信息。
7.根据权利要求1所述的一种基于影像分析的挖掘机模拟系统，其特征在于：所述数据处理模块还对座椅压力信息和实时影像信息进行处理得到人体异常信息，所述人体异常信息的具体处理过程如下：提取出采集到的实时影像信息与座椅压力信息，从座椅压力信息中获取到第一压力信息、第二压力信息、第三压力信息与第四压力信息，采集多次座椅压力信息，当多次座椅压力信息，中的第一压力信息、第二压力信息、第三压力信息与第四压力信息中至少两个连续大于预设时，即生成人体异常信息，当实时影像信息中的人体轮廓模型信息与水平面的夹角小于预设角度时，也生成人体异常信息。
8.根据权利要求1所述的一种基于影像分析的挖掘机模拟系统，其特征在于：所述驾驶人身份验证信息包括验证通过信息、验证失败信息与验证警示信息，所述驾驶人身份验证警示信息的具体处理过程如下：驾驶人输入自己的账号密码或者进行人脸识别验证，选择账号密码验证时，账号密码被导入到数据中进行匹配，匹配成功即生成验证通过信息，选择人脸识别验证时驾驶人刷脸获取到实时人脸影像信息，将实时人脸影像信息与数据库中的预存人脸影像进行匹配，匹配成功即生成验证通过，当账号密码失败，即直接进入人脸验证模式，此时人脸验证即生成验证通过信息，此时连续验证失败超过预设次数即生成验证警示信息。
CN202211013757.5A 2022-08-23 2022-08-23 一种基于影像分析的挖掘机模拟系统 Withdrawn CN115097948A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202211013757.5A CN115097948A (zh) 2022-08-23 2022-08-23 一种基于影像分析的挖掘机模拟系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211013757.5A CN115097948A (zh) 2022-08-23 2022-08-23 一种基于影像分析的挖掘机模拟系统

Publications (1)

Publication Number Publication Date
CN115097948A true CN115097948A (zh) 2022-09-23

Family

ID=83301338

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211013757.5A Withdrawn CN115097948A (zh) 2022-08-23 2022-08-23 一种基于影像分析的挖掘机模拟系统

Country Status (1)

Country Link
CN (1) CN115097948A (zh)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20120194552A1 (en) * 2010-02-28 2012-08-02 Osterhout Group, Inc. Ar glasses with predictive control of external device based on event input
CN107844194A (zh) * 2017-10-12 2018-03-27 深圳市末本科技有限公司 基于vr技术的培训方法、装置及计算机可读存储介质
CN110634343A (zh) * 2019-08-16 2019-12-31 深圳前海小萌文化科技有限公司 挖掘机互动模拟设备
CN112302088A (zh) * 2020-11-02 2021-02-02 徐州徐工矿业机械有限公司 一种基于驾驶状态监控的挖掘机保护系统及方法
CN112482484A (zh) * 2020-11-25 2021-03-12 贵州詹阳动力重工有限公司 一种挖掘机远程遥控模拟舱及远程遥控系统

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20120194552A1 (en) * 2010-02-28 2012-08-02 Osterhout Group, Inc. Ar glasses with predictive control of external device based on event input
CN107844194A (zh) * 2017-10-12 2018-03-27 深圳市末本科技有限公司 基于vr技术的培训方法、装置及计算机可读存储介质
CN110634343A (zh) * 2019-08-16 2019-12-31 深圳前海小萌文化科技有限公司 挖掘机互动模拟设备
CN112302088A (zh) * 2020-11-02 2021-02-02 徐州徐工矿业机械有限公司 一种基于驾驶状态监控的挖掘机保护系统及方法
CN112482484A (zh) * 2020-11-25 2021-03-12 贵州詹阳动力重工有限公司 一种挖掘机远程遥控模拟舱及远程遥控系统

Similar Documents

Publication Publication Date Title
CN109528219A (zh) 用于监测操作者的系统
CN109528157A (zh) 用于监测飞行员健康的系统和方法
US10370012B2 (en) Adaptive vehicle control system
CN107657236A (zh) 汽车安全驾驶预警方法及车载预警系统
CN106510619B (zh) 基于复杂网络的心电信号分析方法及在智能穿戴上的应用
CN107697069A (zh) 汽车驾驶员疲劳驾驶智能控制方法
CN108791299A (zh) 一种基于视觉的驾驶疲劳检测及预警系统及方法
Li et al. A virtual-reality-based training and assessment system for bridge inspectors with an assistant drone
WO2009066109A1 (en) Fatigue monitoring and intruder alert system
CN108537198A (zh) 一种基于人工智能的驾驶习惯的分析方法
CN110363950A (zh) 一种智能消防分级管控系统
CN108335457A (zh) 一种基于驾驶人手环的驾驶安全监测方法
CN108133573A (zh) 疲劳驾驶报警系统
CN117547270A (zh) 一种多源数据融合的飞行员认知负荷反馈系统
CN209962386U (zh) 一种驾驶员疲劳监测系统
CN115097948A (zh) 一种基于影像分析的挖掘机模拟系统
CN111177468A (zh) 一种基于机器视觉的实验室人员不安全行为安全检查方法
CN109919134A (zh) 一种基于视觉的运营车辆人员异常行为检测方法
CN106781245B (zh) 基于可穿戴设备的服刑人员斗殴预警的方法与系统
CN116884288A (zh) 抗眩晕训练平台及方法
US20230111973A1 (en) Method for monitoring logical consistency in a machine learning model and associated monitoring device
Anumas et al. Driver fatigue monitoring system using video face images & physiological information
CN115294730A (zh) 一种基于ai视频与毫米波雷达融合技术的疲劳驾驶监测系统
Shmelova et al. Application Artificial Intelligence for Real-Time Monitoring, Diagnostics, and Correction Human State.
CN115489534B (zh) 基于数据处理的智慧交通疲劳驾驶监控系统及监控方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WW01 Invention patent application withdrawn after publication

Application publication date: 20220923

WW01 Invention patent application withdrawn after publication