CN114677666B - 一种振动试验中驾驶室运动姿态检测方法及系统 - Google Patents

一种振动试验中驾驶室运动姿态检测方法及系统 Download PDF

Info

Publication number
CN114677666B
CN114677666B CN202210346088.7A CN202210346088A CN114677666B CN 114677666 B CN114677666 B CN 114677666B CN 202210346088 A CN202210346088 A CN 202210346088A CN 114677666 B CN114677666 B CN 114677666B
Authority
CN
China
Prior art keywords
cab
image
vibration test
images
real time
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202210346088.7A
Other languages
English (en)
Other versions
CN114677666A (zh
Inventor
李智轩
梁兴杰
李英昊
毛宏泰
瞿二龙
杨海琼
安晨然
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Dongfeng Commercial Vehicle Co Ltd
Original Assignee
Dongfeng Commercial Vehicle Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Dongfeng Commercial Vehicle Co Ltd filed Critical Dongfeng Commercial Vehicle Co Ltd
Priority to CN202210346088.7A priority Critical patent/CN114677666B/zh
Publication of CN114677666A publication Critical patent/CN114677666A/zh
Application granted granted Critical
Publication of CN114677666B publication Critical patent/CN114677666B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Molecular Biology (AREA)
  • Computational Linguistics (AREA)
  • Software Systems (AREA)
  • Mathematical Physics (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computing Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Measurement Of Mechanical Vibrations Or Ultrasonic Waves (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种振动试验中驾驶室运动姿态检测方法及系统，涉及卡车试验领域，该方法包括获取多张正常振动试验下的驾驶室图像，并将获取的驾驶室图像输至神经网络模型；基于神经网络模型对驾驶室图像进行识别，得到驾驶室图像中的驾驶室轮廓；将得到的驾驶室图像的驾驶室轮廓构成轮廓集合，并根据轮廓集合生成轮廓的包络线；实时采集振动试验中的驾驶室图像，根据实时采集的驾驶室图像的驾驶室轮廓是否位于包络线内以判断驾驶室姿态是否正常。本发明能够有效保证驾驶室姿态识别的准确性和及时性，并保证振动试验中工作人员和设备的安全。

Description

一种振动试验中驾驶室运动姿态检测方法及系统
技术领域
本发明涉及卡车试验领域，具体涉及一种振动试验中驾驶室运动姿态检测方法及系统。
背景技术
卡车驾驶室振动试验是产品投产之前必须进行的试验，在试验过程中可能会出现悬置气囊漏气、支架断裂等失效模式，此类比较严重的失效模式往往会使驾驶室姿态发生异常(如倾斜、晃动量变大等)，因此在振动试验过程中需要试验人员及时的发现并进行点检，以保护试验零件、工作人员、设备的安全。
卡车驾驶室振动试验因试验过程中存在零件异常或者失效会导致驾驶室姿态异常，目前采用人工值守的方式进行检查，但存在以下问题：(1)微小的姿态异常人眼无法识别，无法第一时间进行处理；(2)值守人员无法时时刻刻进行观测与检核，无法实时识别故障。以上两个问题导致试验过程中无法第一时间识别故障、保护零件，且试验过程中存在安全风险(驾驶室掉落等)，无法保证值守人员的安全。
发明内容
针对现有技术中存在的缺陷，本发明的目的在于提供一种振动试验中驾驶室运动姿态检测方法及系统，能够有效保证驾驶室姿态识别的准确性和及时性，并保证振动试验中工作人员和设备的安全。
为达到以上目的，本发明提供的一种振动试验中驾驶室运动姿态检测方法，具体包括以下步骤：
获取多张正常振动试验下的驾驶室图像，并将获取的驾驶室图像输至神经网络模型；
基于神经网络模型对驾驶室图像进行识别，得到驾驶室图像中的驾驶室轮廓；
将得到的驾驶室图像的驾驶室轮廓构成轮廓集合，并根据轮廓集合生成轮廓的包络线；
实时采集振动试验中的驾驶室图像，根据实时采集的驾驶室图像的驾驶室轮廓是否位于包络线内以判断驾驶室姿态是否正常。
在上述技术方案的基础上，
所述神经网络模型基于MASK RCNN算法实现；
所述神经网络模型的训练集为多张已进行驾驶室轮廓标注的驾驶室图像。
在上述技术方案的基础上，所述基于神经网络模型对驾驶室图像进行识别，得到驾驶室图像中的驾驶室轮廓，具体步骤包括：
基于神经网络模型对每张驾驶室图像均进行识别，得到每张驾驶室图像中的驾驶室轮廓。
在上述技术方案的基础上，所述将得到的驾驶室图像的驾驶室轮廓构成轮廓集合，并根据轮廓集合生成轮廓的包络线，具体步骤包括：
基于得到的每张驾驶室图像中的驾驶室轮廓，组成轮廓集合；
根据轮廓集合生成轮廓的包络线，且每张驾驶室图像中的驾驶室轮廓均位于包络线内。
在上述技术方案的基础上，所述实时采集振动试验中的驾驶室图像，根据实时采集的驾驶室图像的驾驶室轮廓是否位于包络线内以判断驾驶室姿态是否正常，其中，实时采集的驾驶室图像的驾驶室轮廓由神经网络模型识别得到。
在上述技术方案的基础上，所述实时采集振动试验中的驾驶室图像，根据实时采集的驾驶室图像的驾驶室轮廓是否位于包络线内以判断驾驶室姿态是否正常，具体步骤包括：
实时采集振动试验中的驾驶室图像，然后根据实时采集的驾驶室图像的驾驶室轮廓：
若实时采集的驾驶室图像的驾驶室轮廓位于包络线内，则驾驶室姿态正常；
若实时采集的驾驶室图像的驾驶室轮廓不位于包络线内，则驾驶室姿态不正常。
本发明提供的一种振动试验中驾驶室运动姿态检测系统，包括：
上位机，所述上位机用于获取多张正常振动试验下的驾驶室图像，并将获取的驾驶室图像输至神经网络模型，以及驱使神经网络模型对驾驶室图像进行识别，得到驾驶室图像中的驾驶室轮廓，以及将得到的驾驶室图像的驾驶室轮廓构成轮廓集合，并根据轮廓集合生成轮廓的包络线；
图像采集器，所述图像采集器用于实时采集振动试验中的驾驶室图像，并将实时采集的振动试验中的驾驶室图像发送至上位机；
所述上位机还用于根据实时采集的驾驶室图像的驾驶室轮廓是否位于包络线内以判断驾驶室姿态是否正常。
在上述技术方案的基础上，
所述上位机包括算法模块和应用程序模块；
所述算法模块包括神经网络模型，所述神经网络模型用以对正常振动试验下的驾驶室图像和振动试验中实时采集的驾驶室图像进行识别，得到驾驶室图像中的驾驶室轮廓；
所述应用程序模块将正常振动试验下驾驶室图像的驾驶室轮廓构成轮廓集合，并根据轮廓集合生成轮廓的包络线，所述应用程序模块还用于根据实时采集的驾驶室图像的驾驶室轮廓是否位于包络线内以判断驾驶室姿态是否正常。
在上述技术方案的基础上，
所述神经网络模型基于MASK RCNN算法实现；
所述神经网络模型的训练集为多张已进行驾驶室轮廓标注的驾驶室图像。
在上述技术方案的基础上，
还包括报警器；
所述报警器用于当实时采集的驾驶室图像的驾驶室轮廓不位于包络线内时进行报警。
与现有技术相比，本发明的优点在于：通过获取多张正常振动试验下的驾驶室图像，并将获取的驾驶室图像输至神经网络模型，然后基于神经网络模型对驾驶室图像进行识别，得到驾驶室图像中的驾驶室轮廓，然后将得到的驾驶室图像的驾驶室轮廓构成轮廓集合，并根据轮廓集合生成轮廓的包络线，然后实时采集振动试验中的驾驶室图像，根据实时采集的驾驶室图像的驾驶室轮廓是否位于包络线内以判断驾驶室姿态是否正常，通过采集驾驶室图像，并结合神经网络模型实现对驾驶室姿态的自动实时识别，有效保证驾驶室姿态识别的准确性和及时性，并保证振动试验中工作人员和设备的安全。
附图说明
为了更清楚地说明本申请实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施例中一种振动试验中驾驶室运动姿态检测方法的流程图；
图2为本发明实施例中一种振动试验中驾驶室运动姿态检测系统的结构示意图。
具体实施方式
本发明实施例提供一种振动试验中驾驶室运动姿态检测方法，通过获取多张正常振动试验下的驾驶室图像，并将获取的驾驶室图像输至神经网络模型，然后基于神经网络模型对驾驶室图像进行识别，得到驾驶室图像中的驾驶室轮廓，然后将得到的驾驶室图像的驾驶室轮廓构成轮廓集合，并根据轮廓集合生成轮廓的包络线，然后实时采集振动试验中的驾驶室图像，根据实时采集的驾驶室图像的驾驶室轮廓是否位于包络线内以判断驾驶室姿态是否正常，通过采集驾驶室图像，并结合神经网络模型实现对驾驶室姿态的自动实时识别，有效保证驾驶室姿态识别的准确性和及时性，并保证振动试验中工作人员和设备的安全。本发明实施例相应地还提供了一种振动试验中驾驶室运动姿态检测系统。
为使本申请实施例的目的、技术方案和优点更加清楚，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本申请的一部分实施例，而不是全部的实施例。
参见图1所示，本发明实施例提供的一种振动试验中驾驶室运动姿态检测方法，具体包括以下步骤：
S1：获取多张正常振动试验下的驾驶室图像，并将获取的驾驶室图像输至神经网络模型；即在历史振动试验中，获取多张驾驶室姿态正常情况下的驾驶室图像，然后将获取的驾驶室图像发送至神经网络模型，由神经网络模型进行驾驶室轮廓提取，以便为后续的驾驶室姿态是否正常提供基准。
本发明实施例中，神经网络模型基于MASK RCNN算法(一种实例分割算法)实现；神经网络模型的训练集为多张已进行驾驶室轮廓标注的驾驶室图像，即将多张已进行驾驶室轮廓标注的驾驶室图像作为训练集对神经网络模型进行训练，使得神经网络模型具有识别驾驶室轮廓的能力。
在实际的训练过程中，通过使用400+张已标注的图片对神经网络的参数进行迭代；通过增加神经网络中RPN(regions of proposal，感兴趣区域)层IOU(交并比)至大于0.9，提升神经网络模型对单一大尺寸物理的识别精度达到97.1％以上。
S2：基于神经网络模型对驾驶室图像进行识别，得到驾驶室图像中的驾驶室轮廓；
本发明实施例中，基于神经网络模型对驾驶室图像进行识别，得到驾驶室图像中的驾驶室轮廓，具体步骤包括：
基于神经网络模型对每张驾驶室图像均进行识别，得到每张驾驶室图像中的驾驶室轮廓。采集的正常振动试验下的驾驶室图像为多张，通过神经网络模型对每张驾驶室图像均进行识别，每张驾驶室图像均得到驾驶室轮廓，从而得到多个驾驶室轮廓。
S3：将得到的驾驶室图像的驾驶室轮廓构成轮廓集合，并根据轮廓集合生成轮廓的包络线；
本发明实施例中，将得到的驾驶室图像的驾驶室轮廓构成轮廓集合，并根据轮廓集合生成轮廓的包络线，具体步骤包括：
S301：基于得到的每张驾驶室图像中的驾驶室轮廓，组成轮廓集合；每个驾驶室轮廓为轮廓集合的一个子集。
S302：根据轮廓集合生成轮廓的包络线，且每张驾驶室图像中的驾驶室轮廓均位于包络线内。生成的包络线为一个轮廓线范围，振动试验中，正常情况下的驾驶室姿态的轮廓均位于包络线内。
S4：实时采集振动试验中的驾驶室图像，根据实时采集的驾驶室图像的驾驶室轮廓是否位于包络线内以判断驾驶室姿态是否正常。
本发明实施例中，实时采集振动试验中的驾驶室图像，根据实时采集的驾驶室图像的驾驶室轮廓是否位于包络线内以判断驾驶室姿态是否正常，其中，实时采集的驾驶室图像的驾驶室轮廓由神经网络模型识别得到。
本发明实施例中，实时采集振动试验中的驾驶室图像，根据实时采集的驾驶室图像的驾驶室轮廓是否位于包络线内以判断驾驶室姿态是否正常，具体步骤包括：
实时采集振动试验中的驾驶室图像，然后根据实时采集的驾驶室图像的驾驶室轮廓：
若实时采集的驾驶室图像的驾驶室轮廓位于包络线内，则驾驶室姿态正常；
若实时采集的驾驶室图像的驾驶室轮廓不位于包络线内，则驾驶室姿态不正常。
在实际的振动试验过程中，对于驾驶室图像的实际采集会持续进行，即每间隔设定时间采集得到一张驾驶室图像，通过神经网络模型对该驾驶室图像进行识别得到驾驶室轮廓，然后判断驾驶室轮廓是否位于包络线内以判断驾驶室姿态是否正常，若实时采集的驾驶室图像的驾驶室轮廓位于包络线内，则驾驶室姿态正常；若实时采集的驾驶室图像的驾驶室轮廓不位于包络线内，则驾驶室姿态不正常，并进行报警处理。
本发明实施例的振动试验中驾驶室运动姿态检测方法，通过获取多张正常振动试验下的驾驶室图像，并将获取的驾驶室图像输至神经网络模型，然后基于神经网络模型对驾驶室图像进行识别，得到驾驶室图像中的驾驶室轮廓，然后将得到的驾驶室图像的驾驶室轮廓构成轮廓集合，并根据轮廓集合生成轮廓的包络线，然后实时采集振动试验中的驾驶室图像，根据实时采集的驾驶室图像的驾驶室轮廓是否位于包络线内以判断驾驶室姿态是否正常，通过采集驾驶室图像，并结合神经网络模型实现对驾驶室姿态的自动实时识别，有效保证驾驶室姿态识别的准确性和及时性，并保证振动试验中工作人员和设备的安全。
在一种可能的实施方式中，本发明实施例还提供一种可读存储介质，可读存储介质位于PLC(Programmable Logic Controller，可编程逻辑控制器)控制器中，可读存储介质上存储有计算机程序，该程序被处理器执行时实现以下所述振动试验中驾驶室运动姿态检测方法的步骤：
获取多张正常振动试验下的驾驶室图像，并将获取的驾驶室图像输至神经网络模型；即在历史振动试验中，获取多张驾驶室姿态正常情况下的驾驶室图像，然后将获取的驾驶室图像发送至神经网络模型，由神经网络模型进行驾驶室轮廓提取，以便为后续的驾驶室姿态是否正常提供基准。
基于神经网络模型对驾驶室图像进行识别，得到驾驶室图像中的驾驶室轮廓；
将得到的驾驶室图像的驾驶室轮廓构成轮廓集合，并根据轮廓集合生成轮廓的包络线；
实时采集振动试验中的驾驶室图像，根据实时采集的驾驶室图像的驾驶室轮廓是否位于包络线内以判断驾驶室姿态是否正常。
本发明实施例中，神经网络模型基于MASK RCNN算法实现；神经网络模型的训练集为多张已进行驾驶室轮廓标注的驾驶室图像，即将多张已进行驾驶室轮廓标注的驾驶室图像作为训练集对神经网络模型进行训练，使得神经网络模型具有识别驾驶室轮廓的能力。
本发明实施例中，基于神经网络模型对驾驶室图像进行识别，得到驾驶室图像中的驾驶室轮廓，具体步骤包括：
基于神经网络模型对每张驾驶室图像均进行识别，得到每张驾驶室图像中的驾驶室轮廓。
本发明实施例中，将得到的驾驶室图像的驾驶室轮廓构成轮廓集合，并根据轮廓集合生成轮廓的包络线，具体步骤包括：
基于得到的每张驾驶室图像中的驾驶室轮廓，组成轮廓集合；
根据轮廓集合生成轮廓的包络线，且每张驾驶室图像中的驾驶室轮廓均位于包络线内。
本发明实施例中，实时采集振动试验中的驾驶室图像，根据实时采集的驾驶室图像的驾驶室轮廓是否位于包络线内以判断驾驶室姿态是否正常，其中，实时采集的驾驶室图像的驾驶室轮廓由神经网络模型识别得到。
本发明实施例中，实时采集振动试验中的驾驶室图像，根据实时采集的驾驶室图像的驾驶室轮廓是否位于包络线内以判断驾驶室姿态是否正常，具体步骤包括：
实时采集振动试验中的驾驶室图像，然后根据实时采集的驾驶室图像的驾驶室轮廓：
若实时采集的驾驶室图像的驾驶室轮廓位于包络线内，则驾驶室姿态正常；
若实时采集的驾驶室图像的驾驶室轮廓不位于包络线内，则驾驶室姿态不正常。
通过采集驾驶室图像，并结合神经网络模型实现对驾驶室姿态的自动实时识别，有效保证驾驶室姿态识别的准确性和及时性，并保证振动试验中工作人员和设备的安全。
存储介质可以采用一个或多个计算机可读的介质的任意组合。计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质。计算机可读存储介质例如可以是但不限于：电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子(非穷举的列表)包括：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本文件中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。
计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括但不限于：无线、电线、光缆、RF等等，或者上述的任意合适的组合。
可以以一种或多种程序设计语言或其组合来编写用于执行本发明操作的计算机程序代码，所述程序设计语言包括面向对象的程序设计语言，诸如Java、Smalltalk、C++，还包括常规的过程式程序设计语言—诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中，远程计算机可以通过任意种类的网络，包括局域网(LAN)或广域网(WAN)，连接到用户计算机，或者，可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。
参见图2所示，本发明实施例提供的一种振动试验中驾驶室运动姿态检测系统，包括上位机和图像采集器。
上位机用于获取多张正常振动试验下的驾驶室图像，并将获取的驾驶室图像输至神经网络模型，以及驱使神经网络模型对驾驶室图像进行识别，得到驾驶室图像中的驾驶室轮廓，以及将得到的驾驶室图像的驾驶室轮廓构成轮廓集合，并根据轮廓集合生成轮廓的包络线；图像采集器用于实时采集振动试验中的驾驶室图像，并将实时采集的振动试验中的驾驶室图像发送至上位机；上位机还用于根据实时采集的驾驶室图像的驾驶室轮廓是否位于包络线内以判断驾驶室姿态是否正常。上位机具体为X86计算机。
具体的，图像采集器为摄像头，其布置于台架后方，从而实现对振动试验中驾驶室图像的采集。
上位机包括算法模块和应用程序模块；算法模块包括神经网络模型，所述神经网络模型用以对正常振动试验下的驾驶室图像和振动试验中实时采集的驾驶室图像进行识别，得到驾驶室图像中的驾驶室轮廓；应用程序模块将正常振动试验下驾驶室图像的驾驶室轮廓构成轮廓集合，并根据轮廓集合生成轮廓的包络线，所述应用程序模块还用于根据实时采集的驾驶室图像的驾驶室轮廓是否位于包络线内以判断驾驶室姿态是否正常。神经网络模型基于MASK RCNN算法实现；神经网络模型的训练集为多张已进行驾驶室轮廓标注的驾驶室图像。
具体的，本发明实施例的振动试验中驾驶室运动姿态检测系统还包括网络通信系统，网络通信系统包括交换机和路由器，网络通信系统用于实现上位机和图像采集器之间的通讯。在振动试验过程中，上位机通过网络通信系统控制图像采集器采集驾驶室图像，采集的间隔时间可调，且为自动采集。
本发明实施例的振动试验中驾驶室运动姿态检测系统还包括报警器，报警器用于当实时采集的驾驶室图像的驾驶室轮廓不位于包络线内时进行报警。即当图像采集器采集得到驾驶室图像后，将采集的驾驶室图像发送至上位机，上位机对图像采集器发送的驾驶室图像进行识别，得到驾驶室图像中的驾驶室轮廓，然后上位机判断得到的驾驶室轮廓是否位于包络线内，若位于包络线内，则表明驾驶室姿态正常，若不位于包络线内，则表明驾驶室姿态异常，则报警器进行报警。
本发明的振动试验中驾驶室运动姿态检测系统，包括上位机、图像采集器、网络通信系统和报警器，上位机采用X86计算机，其上部署有算法模块和应用程序模块，通过图像采集器采集驾驶室图像，然后发送至上位机，然后自动实时判断驾驶室姿态是否存在问题，并在姿态存在问题时报警。
本发明实施例的振动试验中驾驶室运动姿态检测系统，通过获取多张正常振动试验下的驾驶室图像，并将获取的驾驶室图像输至神经网络模型，然后基于神经网络模型对驾驶室图像进行识别，得到驾驶室图像中的驾驶室轮廓，然后将得到的驾驶室图像的驾驶室轮廓构成轮廓集合，并根据轮廓集合生成轮廓的包络线，然后实时采集振动试验中的驾驶室图像，根据实时采集的驾驶室图像的驾驶室轮廓是否位于包络线内以判断驾驶室姿态是否正常，通过采集驾驶室图像，并结合神经网络模型实现对驾驶室姿态的自动实时识别，有效保证驾驶室姿态识别的准确性和及时性，并保证振动试验中工作人员和设备的安全。
以上所述仅是本申请的具体实施方式，使本领域技术人员能够理解或实现本申请。对这些实施例的多种修改对本领域的技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本申请的精神或范围的情况下，在其它实施例中实现。因此，本申请将不会被限制于本文所示的这些实施例，而是要符合与本文所申请的原理和新颖特点相一致的最宽的范围。
本发明是参照根据本发明实施例的方法、设备(系统)和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

Claims (10)

1.一种振动试验中驾驶室运动姿态检测方法，其特征在于，具体包括以下步骤：
获取多张正常振动试验下的驾驶室图像，并将获取的驾驶室图像输至神经网络模型；
基于神经网络模型对驾驶室图像进行识别，得到驾驶室图像中的驾驶室轮廓；
将得到的驾驶室图像的驾驶室轮廓构成轮廓集合，并根据轮廓集合生成轮廓的包络线；
实时采集振动试验中的驾驶室图像，根据实时采集的驾驶室图像的驾驶室轮廓是否位于包络线内以判断驾驶室姿态是否正常。
2.如权利要求1所述的一种振动试验中驾驶室运动姿态检测方法，其特征在于：
所述神经网络模型基于MASK RCNN算法实现；
所述神经网络模型的训练集为多张已进行驾驶室轮廓标注的驾驶室图像。
3.如权利要求1所述的一种振动试验中驾驶室运动姿态检测方法，其特征在于，所述基于神经网络模型对驾驶室图像进行识别，得到驾驶室图像中的驾驶室轮廓，具体步骤包括：
基于神经网络模型对每张驾驶室图像均进行识别，得到每张驾驶室图像中的驾驶室轮廓。
4.如权利要求3所述的一种振动试验中驾驶室运动姿态检测方法，其特征在于，所述将得到的驾驶室图像的驾驶室轮廓构成轮廓集合，并根据轮廓集合生成轮廓的包络线，具体步骤包括：
基于得到的每张驾驶室图像中的驾驶室轮廓，组成轮廓集合；
根据轮廓集合生成轮廓的包络线，且每张驾驶室图像中的驾驶室轮廓均位于包络线内。
5.如权利要求1所述的一种振动试验中驾驶室运动姿态检测方法，其特征在于，所述实时采集振动试验中的驾驶室图像，根据实时采集的驾驶室图像的驾驶室轮廓是否位于包络线内以判断驾驶室姿态是否正常，其中，实时采集的驾驶室图像的驾驶室轮廓由神经网络模型识别得到。
6.如权利要求5所述的一种振动试验中驾驶室运动姿态检测方法，其特征在于，所述实时采集振动试验中的驾驶室图像，根据实时采集的驾驶室图像的驾驶室轮廓是否位于包络线内以判断驾驶室姿态是否正常，具体步骤包括：
实时采集振动试验中的驾驶室图像，然后根据实时采集的驾驶室图像的驾驶室轮廓：
若实时采集的驾驶室图像的驾驶室轮廓位于包络线内，则驾驶室姿态正常；
若实时采集的驾驶室图像的驾驶室轮廓不位于包络线内，则驾驶室姿态不正常。
7.一种振动试验中驾驶室运动姿态检测系统，其特征在于，包括：
上位机，所述上位机用于获取多张正常振动试验下的驾驶室图像，并将获取的驾驶室图像输至神经网络模型，以及驱使神经网络模型对驾驶室图像进行识别，得到驾驶室图像中的驾驶室轮廓，以及将得到的驾驶室图像的驾驶室轮廓构成轮廓集合，并根据轮廓集合生成轮廓的包络线；
图像采集器，所述图像采集器用于实时采集振动试验中的驾驶室图像，并将实时采集的振动试验中的驾驶室图像发送至上位机；
所述上位机还用于根据实时采集的驾驶室图像的驾驶室轮廓是否位于包络线内以判断驾驶室姿态是否正常。
8.如权利要求7所述的一种振动试验中驾驶室运动姿态检测系统，其特征在于：
所述上位机包括算法模块和应用程序模块；
所述算法模块包括神经网络模型，所述神经网络模型用以对正常振动试验下的驾驶室图像和振动试验中实时采集的驾驶室图像进行识别，得到驾驶室图像中的驾驶室轮廓；
所述应用程序模块将正常振动试验下驾驶室图像的驾驶室轮廓构成轮廓集合，并根据轮廓集合生成轮廓的包络线，所述应用程序模块还用于根据实时采集的驾驶室图像的驾驶室轮廓是否位于包络线内以判断驾驶室姿态是否正常。
9.如权利要求8所述的一种振动试验中驾驶室运动姿态检测系统，其特征在于：
所述神经网络模型基于MASK RCNN算法实现；
所述神经网络模型的训练集为多张已进行驾驶室轮廓标注的驾驶室图像。
10.如权利要求8所述的一种振动试验中驾驶室运动姿态检测系统，其特征在于：
还包括报警器；
所述报警器用于当实时采集的驾驶室图像的驾驶室轮廓不位于包络线内时进行报警。
CN202210346088.7A 2022-03-31 2022-03-31 一种振动试验中驾驶室运动姿态检测方法及系统 Active CN114677666B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210346088.7A CN114677666B (zh) 2022-03-31 2022-03-31 一种振动试验中驾驶室运动姿态检测方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210346088.7A CN114677666B (zh) 2022-03-31 2022-03-31 一种振动试验中驾驶室运动姿态检测方法及系统

Publications (2)

Publication Number Publication Date
CN114677666A CN114677666A (zh) 2022-06-28
CN114677666B true CN114677666B (zh) 2024-05-31

Family

ID=82075708

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210346088.7A Active CN114677666B (zh) 2022-03-31 2022-03-31 一种振动试验中驾驶室运动姿态检测方法及系统

Country Status (1)

Country Link
CN (1) CN114677666B (zh)

Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106127107A (zh) * 2016-06-14 2016-11-16 宁波熵联信息技术有限公司 基于车牌信息和车辆轮廓的多路视频信息融合的车型识别方法
CN109871800A (zh) * 2019-02-13 2019-06-11 北京健康有益科技有限公司 一种人体姿态估计方法、装置和存储介质
CN110450784A (zh) * 2019-07-30 2019-11-15 深圳普捷利科技有限公司 一种基于fmcw雷达的驾驶员状态监视方法及系统
CN110618635A (zh) * 2019-10-08 2019-12-27 中兴飞流信息科技有限公司 一种基于ai技术的列车驾驶室作业规范监测系统
CN110715783A (zh) * 2019-11-04 2020-01-21 合肥工业大学 一种长头载重汽车驾驶室振动特性的检测方法
CN110942006A (zh) * 2019-11-21 2020-03-31 中国科学院深圳先进技术研究院 运动姿态识别方法、运动姿态识别装置、终端设备及介质
CN111176443A (zh) * 2019-12-12 2020-05-19 青岛小鸟看看科技有限公司 一种车载智能系统及其控制方法
EP3674975A1 (en) * 2018-12-29 2020-07-01 Baidu Online Network Technology (Beijing) Co., Ltd. Method and device for controlling vehicle, device, and storage medium
CN111753674A (zh) * 2020-06-05 2020-10-09 广东海洋大学 一种基于深度学习的疲劳驾驶的检测识别方法
CA3096772A1 (en) * 2019-04-30 2020-10-30 Deere & Company Camera-based boom control
CN112339764A (zh) * 2020-11-04 2021-02-09 杨华勇 一种基于大数据的新能源汽车驾驶姿态分析系统
CN112896338A (zh) * 2021-02-23 2021-06-04 东风商用车有限公司 一种用于商用车驾驶室的运动姿态采集装置

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9714037B2 (en) * 2014-08-18 2017-07-25 Trimble Navigation Limited Detection of driver behaviors using in-vehicle systems and methods

Patent Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106127107A (zh) * 2016-06-14 2016-11-16 宁波熵联信息技术有限公司 基于车牌信息和车辆轮廓的多路视频信息融合的车型识别方法
EP3674975A1 (en) * 2018-12-29 2020-07-01 Baidu Online Network Technology (Beijing) Co., Ltd. Method and device for controlling vehicle, device, and storage medium
CN109871800A (zh) * 2019-02-13 2019-06-11 北京健康有益科技有限公司 一种人体姿态估计方法、装置和存储介质
CA3096772A1 (en) * 2019-04-30 2020-10-30 Deere & Company Camera-based boom control
CN110450784A (zh) * 2019-07-30 2019-11-15 深圳普捷利科技有限公司 一种基于fmcw雷达的驾驶员状态监视方法及系统
CN110618635A (zh) * 2019-10-08 2019-12-27 中兴飞流信息科技有限公司 一种基于ai技术的列车驾驶室作业规范监测系统
CN110715783A (zh) * 2019-11-04 2020-01-21 合肥工业大学 一种长头载重汽车驾驶室振动特性的检测方法
CN110942006A (zh) * 2019-11-21 2020-03-31 中国科学院深圳先进技术研究院 运动姿态识别方法、运动姿态识别装置、终端设备及介质
CN111176443A (zh) * 2019-12-12 2020-05-19 青岛小鸟看看科技有限公司 一种车载智能系统及其控制方法
CN111753674A (zh) * 2020-06-05 2020-10-09 广东海洋大学 一种基于深度学习的疲劳驾驶的检测识别方法
CN112339764A (zh) * 2020-11-04 2021-02-09 杨华勇 一种基于大数据的新能源汽车驾驶姿态分析系统
CN112896338A (zh) * 2021-02-23 2021-06-04 东风商用车有限公司 一种用于商用车驾驶室的运动姿态采集装置

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
Surface Vehicle Detection and Tracking with Deep Learning and Appearance Feature;Jie Yang et al;2019 5th International Conference on Control, Automation and Robotics;20190829;全文 *
某轻型载货汽车驾驶室异常共振的试验研究;朱永智;燕武举;郑超旗;;专用汽车;20190515(05);全文 *
重型卡车驾驶室悬置系统的开发及试验研究;冯霞;;科技资讯;20081223(36);全文 *

Also Published As

Publication number Publication date
CN114677666A (zh) 2022-06-28

Similar Documents

Publication Publication Date Title
Rizvi et al. Crack detection in railway track using image processing
CN110889339B (zh) 基于头肩检测的危险区域分级预警方法与系统
CN108647627A (zh) 一种车辆的安检方法及安检系统
CN109271872A (zh) 一种高压隔离开关分合状态判断与故障诊断装置及方法
CN115321292A (zh) 电梯系统构件分析
CN109544870B (zh) 用于智能监控系统的报警判断方法与智能监控系统
CN212933544U (zh) 一种基于边缘计算的现场作业安全识别系统
CN108921840A (zh) 显示屏外围电路检测方法、装置、电子设备及存储介质
CN111178424A (zh) 一种石油化工生产现场安全合规性实时检测系统及方法
CN111506011A (zh) 一种施工安全监测方法和装置
CN114078224A (zh) 一种基于5g网络架构的基建现场监控系统及方法
CN112549040A (zh) 压板状态巡检机器人
CN112906441B (zh) 用于通信行业查勘维护的图像识别系统及方法
CN114155492A (zh) 高空作业安全带挂绳高挂低用识别方法、装置和电子设备
CN213457742U (zh) 一种焊接作业监控系统
CN114677666B (zh) 一种振动试验中驾驶室运动姿态检测方法及系统
CN112487976B (zh) 基于图像识别的监测方法、装置和存储介质
CN113065462A (zh) 用于电网架空线路的监测方法、装置、设备及存储介质
CN116665419A (zh) 电力生产作业中基于ai分析的故障智能预警系统及方法
CN116152945A (zh) 一种基于ar技术的矿下巡检系统及方法
CN106679630B (zh) 一种接触网定位器坡度检测系统
CN115909191A (zh) 一种加气站操作人员气体泄露检测行为的分析方法
CN115860979A (zh) 一种用于电力电网现场作业的人工智能管理系统
CN111055890B (zh) 一种铁路车辆防溜智能检测方法及检测系统
CN210428558U (zh) 一种电力光缆巡检线路智能辅助系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant