CN112193250B - 车辆运行状态的监控方法、车辆和计算机可读存储介质 - Google Patents

Abstract

本发明提供了一种车辆运行状态的监控方法、车辆和计算机可读存储介质，其中，监控方法包括：通过图像采集装置获取驾驶室内的图像信息，并通过音频采集装置获取驾驶室内的音频信息；对图像信息进行图像数据处理，以得到驾驶员视频数据；对音频信息进行音频数据处理，以得到驾驶员音频数据和车辆状态数据；根据驾驶员视频数据和驾驶员音频数据确定车辆的第一运行状态，并根据车辆状态数据确定车辆的第二运行状态。本发明实施例根据第一运行状态和第二运行状态能够准确地判断车辆和车辆驾驶员的实时状态，实现对车辆工作的准确监控，并能够通过监控车辆状态，使得在出现风险情况时即使发出预警以规避风险，有效地提高了车辆的工作安全和行驶安全。

Description

车辆运行状态的监控方法、车辆和计算机可读存储介质

技术领域

本发明涉及车辆监控技术领域，具体而言，涉及一种车辆运行状态的监控方法、一种车辆和一种计算机可读存储介质。

背景技术

在相关技术中，工程车辆等特殊车辆，其工作环境复杂，且工作强度较大，而如何保证工程车辆的工作安全是行业内的难题。

因此，目前亟需一种能够对车辆驾驶室的情况进行有效监控以保证工作行驶安全的技术方案。

发明内容

本发明旨在至少解决现有技术或相关技术中存在的技术问题之一。

为此，本发明的第一方面提出一种车辆运行状态的监控方法。

本发明的第二方面提出一种车辆。

本发明的第三方面提出一种计算机可读存储介质。

有鉴于此，本发明的第一方面提供了一种车辆运行状态的监控方法，车辆包括驾驶室，驾驶室中设置有图像采集装置和音频采集装置，监控方法包括：通过图像采集装置获取驾驶室内的图像信息，并通过音频采集装置获取驾驶室内的音频信息；对图像信息进行图像数据处理，以得到驾驶员视频数据；对音频信息进行音频数据处理，以得到驾驶员音频数据和车辆状态数据；根据驾驶员视频数据和驾驶员音频数据确定车辆的第一运行状态，并根据车辆状态数据确定车辆的第二运行状态。

在该技术方案中，在车辆的驾驶室内设置图像采集装置和音频采集装置，其中图像采集装置可以设置为监控摄像头、闭路录像机等，音频采集装置可以设置为麦克风等拾音装置，本发明实施例对图像采集装置和音频采集装置的具体形态不做限定。

在车辆运行过程中，通过图像采集装置实时采集驾驶室内的图像信息，同时通过音频采集装置实时采集驾驶室内的音频信息。通过分别采集图像信息和音频信息，可以提高数据采集精度，避免干扰。对采集到的图像信息进行数据处理，得到驾驶员视频数据；对采集到的音频信息进行数据处理，得到驾驶员音频数据和车辆状态数据。

其中，驾驶员视频数据具体包括驾驶员的体态信息和面部信息，驾驶员音频数据包括驾驶员语音，如不同驾驶员之间的交流、驾驶员与指挥台的交流等。

根据驾驶员视频数据和驾驶员音频数据得到车辆的第一运行状态，该第一运行状态能够反应驾驶员的驾驶状态，如驾驶员的驾驶专注度、驾驶员的疲劳程度或驾驶员是否出现突发身体状况等。根据车辆状态数据能够确定车辆的第二运行状态，第二运行状态能够反映出车辆的机械状态和工作状态，如车辆是否发出共振、发动机是否有异常噪音等。根据第一运行状态和第二运行状态能够准确地判断车辆和车辆驾驶员的实时状态，实现对车辆工作的准确监控，并能够通过监控车辆状态，使得在出现风险情况时即使发出预警以规避风险，有效地提高了车辆的工作安全和行驶安全。

另外，本发明提供的上述技术方案中的车辆运行状态的监控方法还可以具有如下附加技术特征：

在上述技术方案中，对图像信息进行图像数据处理，以得到驾驶员视频数据的步骤，具体包括：通过人脸识别算法确定图像信息中的人脸位置信息和人脸尺寸信息；根据人脸位置信息和人脸尺寸信息在图像信息中提取人脸图像，并通过特征提取算法在人脸图像中确定驾驶员视频数据。

在该技术方案中，图像采集装置可设置在驾驶室内的较高处，图像采集装置采集的图像信息中一般会包括驾驶员和驾驶室内其他物体的视频，为提高识别精度，可对驾驶员的人脸图像进行截取，以去除图像信息中的干扰项目。具体地，可通过人脸识别算法在图像信息中定位人脸的位置信息和尺寸信息，如获取人脸范围内关键点(眼、鼻、口等)的坐标，通过关键点坐标确定人脸位置和人脸尺寸，并最终提取出人脸图像。

进一步地，通过特征提取算法提取人脸图像中的特征信息，如眼睛是否睁开，口是否有闭合动作，以及结合面部特征确定驾驶员表情等，并形成为驾驶员的视频数据，通过该视频数据能够对驾驶员的驾驶状态进行分析，确定驾驶员是否专注驾驶、驾驶员是否疲劳驾驶、驾驶员是否出现分心(接打电话、玩手机等)等情况，最终准确的判断驾驶员的驾驶状态，即车辆的第一运行状态。

其中，人脸识别算法和特征提取算法可采用大数据迭代的算法，或其他开源算法，本发明实施例对人脸识别算法和特征提取算法不做限定。

在上述任一技术方案中，对音频信息进行音频数据处理，以得到驾驶员音频数据和车辆状态数据的步骤，具体包括：通过成分分析算法对音频处理数据进行数据分离，以得到驾驶员音频信号和车辆音频信号；对驾驶员音频信号进行特征提取，以得到驾驶员音频数据；对车辆音频信号进行数据分析，以得到车辆状态数据。

在该技术方案中，音频采集装置采集到的驾驶室内的音频数据，大体上包括三部分，第一是驾驶员的声音，第二是车辆的声音，第三是环境噪音。通过成分分析算法对音频数据进行数据分离，得到分离后的驾驶员音频信号、车辆音频信号和环境噪音信号，并对环境噪音信号进行去除，得到纯净的驾驶员音频信号和车辆音频信号。

通过对驾驶员音频信号进行特征提取，可以得到驾驶员的音频数据，包括驾驶员语音等。对车辆音频信号进行数据分析，可以得到车辆状态数据，包括发动机音频特征等。通过结合驾驶员视频数据和驾驶员音频数据，可以实现对驾驶员的可靠准确的监控。通过对车辆状态数据进行分析判断，可对车辆的运行状态进行初步判断，进而实现对车辆整体运行状态的可靠监控，有效地提高车辆运行的安全性。

在上述任一技术方案中，根据驾驶员视频数据和驾驶员音频数据确定车辆的第一运行状态的步骤，具体包括：对驾驶员视频数据和驾驶员音频数据进行数据整合，以得到驾驶员状态数据；将驾驶员状态数据输入至预存的专注度分析模型，通过专注度分析模型得到驾驶员状态数据对应的驾驶员专注度指数；根据驾驶员专注度指数确定第一运行状态。

在该技术方案中，对驾驶员视频数据和驾驶员音频数据进行数据整合，以得到包括了驾驶员人脸面部特征和驾驶员语音特征的驾驶员状态数据。将上述驾驶员状态数据属于到预先训练好的专注度分析模型中，通过专注度分析模型得到对应的驾驶员专注度指数，根据专注度指数可以有效地确定第一运行状态。

其中，专注度分析模型可以是通过软件实现的驾驶员状态分析器，或通过人工智能训练实现的大数据模型，本发明实施例对专注度分析模型不做具体限定。

在上述任一技术方案中，根据车辆状态数据确定车辆的第二运行状态的步骤，具体包括：根据车辆状态数据确定车辆的发动机状态评分和故障编号；根据发动机状态评分和故障编号确定第二运行状态。

在该技术方案中，根据车辆状态数据生成车辆的发动机状态评分。具体地，车辆状态数据中包括发动机的声纹信息，可通过将该声纹信息与预设的声纹特征列表中的声纹信息进行比对，来判断当前发动机所处的运行状态(如正常状态、过载状态、抖动状态或故障状态等)，并进行状态评分和故障分析。

举例来说，状态评分可以根据状态由坏至好分为1分至10分，不同的故障声纹特征还可以对应不同的发动机故障编号，结合发动机状态评分和故障编号生成第二运行状态，即可准确地反应车辆的实际运行状态。如发动机状态评分为10分，故障编号为无故障，则可以确定现在发动机状态优秀，无需要关注的问题。如发动机状态评分为7分，故障编号为无故障，则可以确定现在发动机状态良好，可能存在需要关注的问题，但无需发出警告。如发动机状态评价为5分，故障编号为机油故障，则判断压缩机状态故障，此时可向驾驶员发出警告，提醒驾驶员停车检修。

在上述任一技术方案中，第一运行状态包括正常驾驶状态和疲劳驾驶状态，根据驾驶员专注度指数确定第一运行状态的步骤，具体包括：基于驾驶员专注度指数小于等于专注度阈值的情况，确定第一运行状态为疲劳驾驶状态；基于驾驶员疲劳指数大于专注度阈值的情况，确定第一运行状态为正常驾驶状态。

在该技术方案中，驾驶员的驾驶状态，即第一运行状态可以包括正常驾驶状态和疲劳驾驶状态，其中正常驾驶状态则代表驾驶员专注驾驶，此时出现风险的可能性较低。如果驾驶员处于疲劳驾驶状态，则驾驶风险提高，需要提醒驾驶员休息。具体地，系统中预设有驾驶员专注度阈值，如果获取到的驾驶员专注度小于或等于该专注度阈值，则判定驾驶员专注度不足，为疲劳驾驶状态，此时可提醒驾驶员休息，或更换其他驾驶员。如果驾驶员专注度高于专注度阈值，则说明驾驶员处于正常驾驶状态，此时无需执行其他操作。

在上述任一技术方案中，车辆还包括无线通讯装置，无线通讯装置用于与监控中心进行数据指令交互；基于第一运行状态为疲劳驾驶状态的情况，监控方法还包括：生成对应的报警信息，向驾驶室内展示报警信息；以及将报警信息发送至监控中心；和/或生成对应的车辆控制指令，通过车辆控制指令控制车辆减速或驻车。

在该技术方案中，车辆包括无线通讯装置，车辆能够通过无线通讯装置与监控中心进行数据指令交互，以将车辆的第一运行状态和第二运行状态发送到监控中心。具体地，如果第一运行状态为疲劳驾驶状态和第二运行状态为故障运行状态中的任一个被满足，则生成对应的报警信息，并及时向驾驶室内展示对应的报警信息，提醒驾驶员休息，或提醒驾驶员检查车辆状态，以避免发生事故，提高车辆的运行安全。

同时，还可以通过无线通信装置将报警信息发送至监控中心，以提示监控中心注意驾驶员和车辆状态，进一步保证车辆的运行安全。

在一些实施方式中，车辆具有一定的自动驾驶功能，当发现驾驶员疲劳驾驶，或者检测到车辆出现故障时，控制器可根据驾驶员状态、车辆状态和车辆所处的外界环境状态(如在公开道路上、在工作区域等)生成对应的车辆控制指令，通过车辆控制指令控制车辆减速，或控制车辆驻车，又或是控制车辆打开紧急报警灯(打开双闪等)，以最大程度的保证车辆行驶安全。

在上述任一技术方案中，获取驾驶室内目标区域内的图像信息，并获取驾驶室内的音频信息的步骤之前，监控方法还包括：响应于开机指令，通过预存的媒体文件对图像采集装置和音频采集装置进行自校准操作。

在该技术方案中，在车辆通电后，车机开机启动。响应于开机指令，对图像采集装置和音频采集装置进行自校准，以保证视频采集装置和音频采集装置的采集精度。具体地，可通过播放预设的媒体文件，通过视频采集装置和音频采集装置对预设的媒体文件进行分析，并判断分析结果与预设媒体文件对应的预设结果是否匹配来对音频采集装置和视频采集装置进行校准。

本发明第二方面提供了一种车辆，包括：驾驶室，驾驶室中设置有图像采集装置和音频采集装置；存储器，被配置为存储计算机程序；处理器，与存储器、图像采集装置和音频采集装置相连接，处理器被配置为执行计算机程序时实现如上述任一技术方案中提供的车辆运行状态的监控方法的步骤，因此，该车辆还包括如上述任一技术方案中提供的车辆运行状态的监控方法的全部有益效果，在此不再赘述。

本发明第三方面提供了一种计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现如上述任一技术方案中提供的车辆运行状态的监控方法的步骤，因此，该计算机可读存储介质还包括如上述任一技术方案中提供的车辆运行状态的监控方法的全部有益效果，在此不再赘述。

附图说明

本发明的上述和/或附加的方面和优点从结合下面附图对实施例的描述中将变得明显和容易理解，其中：

图1示出了根据本发明实施例的车辆运行状态的监控方法的流程图之一；

图2示出了根据本发明实施例的车辆运行状态的监控方法的流程图之二；

图3示出了根据本发明实施例的车辆运行状态的监控方法的流程图之三；

图4示出了根据本发明实施例的车辆运行状态的监控方法的流程图之四；

图5示出了根据本发明实施例的车辆运行状态的监控方法的流程图之五；

图6示出了根据本发明实施例的车辆运行状态的监控方法的流程图之六；

图7示出了根据本发明实施例的车辆运行状态的监控方法的流程图之七；

图8示出了根据本发明实施例的车辆运行状态的监控方法的流程图之八；

图9示出了根据本发明实施例的车辆的结构框图。

具体实施方式

为了能够更清楚地理解本发明的上述目的、特征和优点，下面结合附图和具体实施方式对本发明进行进一步的详细描述。需要说明的是，在不冲突的情况下，本申请的实施例及实施例中的特征可以相互组合。

在下面的描述中阐述了很多具体细节以便于充分理解本发明，但是，本发明还可以采用其他不同于在此描述的其他方式来实施，因此，本发明的保护范围并不受下面公开的具体实施例的限制。

下面参照图1至图9描述根据本发明一些实施例所述车辆运行状态的监控方法、车辆和计算机可读存储介质。

图1示出了根据本发明实施例的车辆运行状态的监控方法的流程图之一，其中，该车辆包括驾驶室，驾驶室中设置有图像采集装置和音频采集装置，监控方法包括以下步骤：

步骤102，通过图像采集装置获取驾驶室内的图像信息，并通过音频采集装置获取驾驶室内的音频信息；

步骤104，对图像信息进行图像数据处理，以得到驾驶员视频数据；

步骤106，对音频信息进行音频数据处理，以得到驾驶员音频数据和车辆状态数据；

步骤108根据驾驶员视频数据和驾驶员音频数据确定车辆的第一运行状态，并根据车辆状态数据确定车辆的第二运行状态。

在本发明实施例中，在车辆的驾驶室内设置图像采集装置和音频采集装置，其中图像采集装置可以设置为监控摄像头、闭路录像机等，音频采集装置可以设置为麦克风等拾音装置，本发明实施例对图像采集装置和音频采集装置的具体形态不做限定。

在车辆运行过程中，通过图像采集装置实时采集驾驶室内的图像信息，同时通过音频采集装置实时采集驾驶室内的音频信息。通过分别采集图像信息和音频信息，可以提高数据采集精度，避免干扰。对采集到的图像信息进行数据处理，得到驾驶员视频数据；对采集到的音频信息进行数据处理，得到驾驶员音频数据和车辆状态数据。

其中，驾驶员视频数据具体包括驾驶员的体态信息和面部信息，驾驶员音频数据包括驾驶员语音，如不同驾驶员之间的交流、驾驶员与指挥台的交流等。

根据驾驶员视频数据和驾驶员音频数据得到车辆的第一运行状态，该第一运行状态能够反应驾驶员的驾驶状态，如驾驶员的驾驶专注度、驾驶员的疲劳程度或驾驶员是否出现突发身体状况等。根据车辆状态数据能够确定车辆的第二运行状态，第二运行状态能够反映出车辆的机械状态和工作状态，如车辆是否发出共振、发动机是否有异常噪音等。根据第一运行状态和第二运行状态能够准确地判断车辆和车辆驾驶员的实时状态，实现对车辆工作的准确监控，并能够通过监控车辆状态，使得在出现风险情况时即使发出预警以规避风险，有效地提高了车辆的工作安全和行驶安全。

图2示出了根据本发明实施例的车辆运行状态的监控方法的流程图之二，具体包括以下步骤：

步骤202，通过人脸识别算法确定图像信息中的人脸位置信息和人脸尺寸信息；

步骤204，根据人脸位置信息和人脸尺寸信息在图像信息中提取人脸图像，并通过特征提取算法在人脸图像中确定驾驶员视频数据。

在本发明实施例中，图像采集装置可设置在驾驶室内的较高处，图像采集装置采集的图像信息中一般会包括驾驶员和驾驶室内其他物体的视频，为提高识别精度，可对驾驶员的人脸图像进行截取，以去除图像信息中的干扰项目。具体地，可通过人脸识别算法在图像信息中定位人脸的位置信息和尺寸信息，如获取人脸范围内关键点(眼、鼻、口等)的坐标，通过关键点坐标确定人脸位置和人脸尺寸，并最终提取出人脸图像。

进一步地，通过特征提取算法提取人脸图像中的特征信息，如眼睛是否睁开，口是否有闭合动作，以及结合面部特征确定驾驶员表情等，并形成为驾驶员的视频数据，通过该视频数据能够对驾驶员的驾驶状态进行分析，确定驾驶员是否专注驾驶、驾驶员是否疲劳驾驶、驾驶员是否出现分心(接打电话、玩手机等)等情况，最终准确的判断驾驶员的驾驶状态，即车辆的第一运行状态。

其中，人脸识别算法和特征提取算法可采用大数据迭代的算法，或其他开源算法，本发明实施例对人脸识别算法和特征提取算法不做限定。

图3示出了根据本发明实施例的车辆运行状态的监控方法的流程图之三，具体包括：

步骤302，通过成分分析算法对音频处理数据进行数据分离，以得到驾驶员音频信号和车辆音频信号；

步骤304，对驾驶员音频信号进行特征提取，以得到驾驶员音频数据；

步骤306，对车辆音频信号进行数据分析，以得到车辆状态数据。

在本发明实施例中，音频采集装置采集到的驾驶室内的音频数据，大体上包括三部分，第一是驾驶员的声音，第二是车辆的声音，第三是环境噪音。通过成分分析算法对音频数据进行数据分离，得到分离后的驾驶员音频信号、车辆音频信号和环境噪音信号，并对环境噪音信号进行去除，得到纯净的驾驶员音频信号和车辆音频信号。

通过对驾驶员音频信号进行特征提取，可以得到驾驶员的音频数据，包括驾驶员语音等。对车辆音频信号进行数据分析，可以得到车辆状态数据，包括发动机音频特征等。通过结合驾驶员视频数据和驾驶员音频数据，可以实现对驾驶员的可靠准确的监控。通过对车辆状态数据进行分析判断，可对车辆的运行状态进行初步判断，进而实现对车辆整体运行状态的可靠监控，有效地提高车辆运行的安全性。

图4示出了根据本发明实施例的车辆运行状态的监控方法的流程图之四，具体包括：

步骤402，对驾驶员视频数据和驾驶员音频数据进行数据整合，以得到驾驶员状态数据；

步骤404，将驾驶员状态数据输入至预存的专注度分析模型，通过专注度分析模型得到驾驶员状态数据对应的驾驶员专注度指数；

步骤406，根据驾驶员专注度指数确定第一运行状态。

在本发明实施例中，对驾驶员视频数据和驾驶员音频数据进行数据整合，以得到包括了驾驶员人脸面部特征和驾驶员语音特征的驾驶员状态数据。将上述驾驶员状态数据属于到预先训练好的专注度分析模型中，通过专注度分析模型得到对应的驾驶员专注度指数，根据专注度指数可以有效地确定第一运行状态。

其中，专注度分析模型可以是通过软件实现的驾驶员状态分析器，或通过人工智能训练实现的大数据模型，本发明实施例对专注度分析模型不做具体限定。

图5示出了根据本发明实施例的车辆运行状态的监控方法的流程图之五，具体包括：

步骤502，根据车辆状态数据确定车辆的发动机状态评分和故障编号；

步骤504，根据发动机状态评分和故障编号确定第二运行状态。

在本发明实施例中，根据车辆状态数据生成车辆的发动机状态评分。具体地，车辆状态数据中包括发动机的声纹信息，可通过将该声纹信息与预设的声纹特征列表中的声纹信息进行比对，来判断当前发动机所处的运行状态(如正常状态、过载状态、抖动状态或故障状态等)，并进行状态评分和故障分析。

举例来说，状态评分可以根据状态由坏至好分为1分至10分，不同的故障声纹特征还可以对应不同的发动机故障编号，结合发动机状态评分和故障编号生成第二运行状态，即可准确地反应车辆的实际运行状态。如发动机状态评分为10分，故障编号为无故障，则可以确定现在发动机状态优秀，无需要关注的问题。如发动机状态评分为7分，故障编号为无故障，则可以确定现在发动机状态良好，可能存在需要关注的问题，但无需发出警告。如发动机状态评价为5分，故障编号为机油故障，则判断压缩机状态故障，此时可向驾驶员发出警告，提醒驾驶员停车检修。

图6示出了根据本发明实施例的车辆运行状态的监控方法的流程图之六，其中，第一运行状态包括正常驾驶状态和疲劳驾驶状态，监控方法具体包括以下步骤：

步骤602，基于驾驶员专注度指数小于等于专注度阈值的情况，确定第一运行状态为疲劳驾驶状态；

步骤604，基于驾驶员疲劳指数大于专注度阈值的情况，确定第一运行状态为正常驾驶状态。

在本发明实施例中，驾驶员的驾驶状态，即第一运行状态可以包括正常驾驶状态和疲劳驾驶状态，其中正常驾驶状态则代表驾驶员专注驾驶，此时出现风险的可能性较低。如果驾驶员处于疲劳驾驶状态，则驾驶风险提高，需要提醒驾驶员休息。具体地，系统中预设有驾驶员专注度阈值，如果获取到的驾驶员专注度小于或等于该专注度阈值，则判定驾驶员专注度不足，为疲劳驾驶状态，此时可提醒驾驶员休息，或更换其他驾驶员。如果驾驶员专注度高于专注度阈值，则说明驾驶员处于正常驾驶状态，此时无需执行其他操作。

图7示出了根据本发明实施例的车辆运行状态的监控方法的流程图之七，其中，车辆还包括无线通讯装置，无线通讯装置用于与监控中心进行数据指令交互，监控方法具体包括以下步骤：

步骤702，基于第一运行状态为疲劳驾驶状态的情况，生成对应的报警信息；

步骤704，向驾驶室内展示报警信息；

步骤706，以及将报警信息发送至监控中心；

步骤708，生成对应的车辆控制指令，通过车辆控制指令控制车辆减速或驻车。

在本发明实施例中，车辆包括无线通讯装置，车辆能够通过无线通讯装置与监控中心进行数据指令交互，以将车辆的第一运行状态和第二运行状态发送到监控中心。具体地，如果第一运行状态为疲劳驾驶状态和第二运行状态为故障运行状态中的任一个被满足，则生成对应的报警信息，并及时向驾驶室内展示对应的报警信息，提醒驾驶员休息，或提醒驾驶员检查车辆状态，以避免发生事故，提高车辆的运行安全。

同时，还可以通过无线通信装置将报警信息发送至监控中心，以提示监控中心注意驾驶员和车辆状态，进一步保证车辆的运行安全。

在一些实施方式中，车辆具有一定的自动驾驶功能，当发现驾驶员疲劳驾驶，或者检测到车辆出现故障时，控制器可根据驾驶员状态、车辆状态和车辆所处的外界环境状态(如在公开道路上、在工作区域等)生成对应的车辆控制指令，通过车辆控制指令控制车辆减速，或控制车辆驻车，又或是控制车辆打开紧急报警灯(打开双闪等)，以最大程度的保证车辆行驶安全。

在本发明的一些实施例中，获取驾驶室内目标区域内的图像信息，并获取驾驶室内的音频信息的步骤之前，监控方法还包括：响应于开机指令，通过预存的媒体文件对图像采集装置和音频采集装置进行自校准操作。

在本发明实施例中，在车辆通电后，车机开机启动。响应于开机指令，对图像采集装置和音频采集装置进行自校准，以保证视频采集装置和音频采集装置的采集精度。具体地，可通过播放预设的媒体文件，通过视频采集装置和音频采集装置对预设的媒体文件进行分析，并判断分析结果与预设媒体文件对应的预设结果是否匹配来对音频采集装置和视频采集装置进行校准。

在本发明的一些实施例中，通过将音频分析和视频分析的结果相结合，实现对驾驶员的可靠准确的监控。其中，通过音频采集装置和音频分析方法，可以对驾驶室内声音信号进行分离，得到车辆行驶的声音，并据此推断发动机乃至车辆的运行状态。最终本系统将根据驾驶员状态和车辆运行状态输出相应的报警信息，必要时，还会通过总线发送控制信号，干预车辆控制。

图8示出了根据本发明实施例的车辆运行状态的监控方法的流程图之八，具体包括：

步骤802，上电开机；

步骤804，系统初始化；

在步骤802和步骤804中，在上电开机后，系统软硬件初始化，并通过内置的音频信号，对系统进行校准。

步骤806a，采集视频信号：

步骤806b，采集音频信号；

在步骤806a和步骤806b中，在步骤系统初始化后，通过摄像头采集音频信号，通过录音设备采集音频信号。

步骤808a，驾驶员人脸特征提取；

在步骤808a中，采用人脸提取和定位算法，获取驾驶员人脸位置和尺寸信息。根据驾驶员人脸位置和尺寸信息，抠取驾驶员人脸图像，并提取特征。

步骤808b，音频成分分离；

在步骤808b中，对采集到的音频信号进行成分分析，分离出驾驶员语音和车辆行驶声音。

步骤810，驾驶员语音特征提取；

在步骤810中，分离出的驾驶员语音做特征提取。

步骤812，驾驶员特征融合与驾驶员状态分析；

在步骤812中，将得到的驾驶员人脸特征与得到的驾驶员语音特征融合，融合后的特征包含了驾驶员人脸和语音信息。将融合后的特征送入驾驶员状态分析器，计算驾驶员专注度指数和驾驶员疲劳度指数。

步骤814，车辆行驶状态分析；

在步骤814中，对分离得到的车辆行驶声音分量进行分析，计算发动机运行状态得分和故障编号。

步骤816，安全报警系统分析车辆状态和驾驶员状态；

步骤818，判断是否需要报警处理；是则进入步骤820，否则返回步骤806a和步骤806b。

步骤820，报警处理。

在步骤820中，由警报处理系统根据报警信息做出相应的相应，包括声光警报提醒、上报领导、减速制动等。

本发明实施例采用音视频结合的方式，针对于工程车辆驾驶室进行监控，可以弥补视频监控的局限性，更加有效准确的对驾驶员进行监控。同时，本发明还可以根据音频信号对车辆行驶状态进行分析，拓展了驾驶室监控系统的功能。

图9示出了根据本发明实施例的车辆的结构框图，具体地，车辆900包括：驾驶室902，驾驶室中设置有图像采集装置9022和音频采集装置9024；存储器904，被配置为存储计算机程序；处理器906，与存储器904、图像采集装置9022和音频采集装置9024相连接，处理器906被配置为执行计算机程序时实现如上述任一实施例中提供的车辆运行状态的监控方法的步骤，因此，该车辆900还包括如上述任一实施例中提供的车辆运行状态的监控方法的全部有益效果，在此不再赘述。

在本发明的一些实施例中，还提供了一种计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现如上述任一实施例中提供的车辆运行状态的监控方法的步骤，因此，该计算机可读存储介质还包括如上述任一实施例中提供的车辆运行状态的监控方法的全部有益效果，在此不再赘述。

本发明的描述中，术语“多个”则指两个或两个以上，除非另有明确的限定，术语“上”、“下”等指示的方位或位置关系为基于附图所述的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制；术语“连接”、“安装”、“固定”等均应做广义理解，例如，“连接”可以是固定连接，也可以是可拆卸连接，或一体地连接；可以是直接相连，也可以通过中间媒介间接相连。对于本领域的普通技术人员而言，可以根据具体情况理解上述术语在本发明中的具体含义。

在本发明的描述中，术语“一个实施例”、“一些实施例”、“具体实施例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或特点包含于本发明的至少一个实施例或示例中。在本发明中，对上述术语的示意性表述不一定指的是相同的实施例或实例。而且，描述的具体特征、结构、材料或特点可以在任何的一个或多个实施例或示例中以合适的方式结合。

以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (7)

1.车辆运行状态的监控方法，其特征在于，所述车辆包括驾驶室，所述驾驶室中设置有图像采集装置和音频采集装置，所述监控方法包括：

通过所述图像采集装置获取所述驾驶室内的图像信息，并通过所述音频采集装置获取所述驾驶室内的音频信息；

对所述图像信息进行图像数据处理，以得到驾驶员视频数据；

对所述音频信息进行音频数据处理，以得到驾驶员音频数据和车辆状态数据；

根据所述驾驶员视频数据和所述驾驶员音频数据确定所述车辆的第一运行状态，并根据所述车辆状态数据确定所述车辆的第二运行状态；

所述根据所述驾驶员视频数据和所述驾驶员音频数据确定所述车辆的第一运行状态的步骤，具体包括：

对所述驾驶员视频数据和所述驾驶员音频数据进行数据整合，以得到驾驶员状态数据；

将所述驾驶员状态数据输入至预存的专注度分析模型，通过所述专注度分析模型得到所述驾驶员状态数据对应的驾驶员专注度指数；

根据所述驾驶员专注度指数确定所述第一运行状态；

所述根据所述车辆状态数据确定所述车辆的第二运行状态的步骤，具体包括：

根据所述车辆状态数据确定所述车辆的发动机状态评分和故障编号；

根据所述发动机状态评分和所述故障编号确定所述第二运行状态；

所述对所述图像信息进行图像数据处理，以得到驾驶员视频数据的步骤，具体包括：

通过人脸识别算法确定所述图像信息中的人脸位置信息和人脸尺寸信息；

根据所述人脸位置信息和所述人脸尺寸信息在所述图像信息中提取人脸图像，并通过特征提取算法在所述人脸图像中确定所述驾驶员视频数据。

2.根据权利要求1所述的车辆运行状态的监控方法，其特征在于，所述对所述音频信息进行音频数据处理，以得到驾驶员音频数据和车辆状态数据的步骤，具体包括：

通过成分分析算法对所述音频处理数据进行数据分离，以得到驾驶员音频信号和车辆音频信号；

对所述驾驶员音频信号进行特征提取，以得到所述驾驶员音频数据；

对所述车辆音频信号进行数据分析，以得到所述车辆状态数据。

3.根据权利要求1所述的车辆运行状态的监控方法，其特征在于，所述第一运行状态包括正常驾驶状态和疲劳驾驶状态，所述根据所述驾驶员专注度指数确定所述第一运行状态的步骤，具体包括：

基于所述驾驶员专注度指数小于等于专注度阈值的情况，确定所述第一运行状态为所述疲劳驾驶状态；

基于所述驾驶员疲劳指数大于所述专注度阈值的情况，确定所述第一运行状态为所述正常驾驶状态。

4.根据权利要求3所述的车辆运行状态的监控方法，其特征在于，所述车辆还包括无线通讯装置，所述无线通讯装置用于与监控中心进行数据指令交互；

基于所述第一运行状态为所述疲劳驾驶状态的情况，所述监控方法还包括：

生成对应的报警信息，向所述驾驶室内展示所述报警信息；以及

将所述报警信息发送至所述监控中心；和/或

生成对应的车辆控制指令，通过所述车辆控制指令控制所述车辆减速或驻车。

5.根据权利要求1至4中任一项所述的车辆运行状态的监控方法，其特征在于，在所述获取所述驾驶室内目标区域内的图像信息，并获取所述驾驶室内的音频信息的步骤之前，所述监控方法还包括：

响应于开机指令，通过预存的媒体文件对所述图像采集装置和所述音频采集装置进行自校准操作。

6.一种车辆，其特征在于，包括：

驾驶室，所述驾驶室中设置有图像采集装置和音频采集装置；

存储器，被配置为存储计算机程序；

处理器，与所述存储器、所述图像采集装置和所述音频采集装置相连接，所述处理器被配置为执行所述计算机程序时实现如权利要求1至5中任一项所述的车辆运行状态的监控方法的步骤。

7.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至5中任一项所述的车辆运行状态的监控方法的步骤。

Images