CN116588015B - 车辆控制方法、车辆控制系统及存储介质 - Google Patents

Abstract

本申请涉及一种车辆控制方法、车辆控制系统及存储介质。所述车辆控制方法包括获取车辆不同车载设备不同模态的传感信息，将传感信息经模态转换生成统一模态的短周期报文信息并发送至远端的第一数据模型；基于不同模态的传感信息，利用配置于车辆的第二数据模型生成长周期报文信息，短周期报文信息的信息实时性优于长周期报文信息，长周期报文信息用于触发所述第一数据模型生成车辆控制信息；发送长周期报文信息至第一数据模型；将第一数据模型基于短周期报文信息及长周期报文信息生成的车辆控制信息用于车辆控制。本申请的车辆控制方法能够更好地保证行驶安全，优化车辆性能和经济性，提升驾乘体验。

Description

车辆控制方法、车辆控制系统及存储介质

技术领域

本申请涉及车辆的控制技术领域，更具体地，涉及一种车辆控制方法、车辆控制系统及存储介质。

背景技术

在现有技术中，车辆的控制通常由车辆本地的控制系统来完成，最常见的方式是本地控制系统响应于车辆乘员的指令和操作，对车辆的各个车载设备进行相应的控制，或者，在一些智能化程度较高的车辆中，也可能由本地控制系统基于来自车载设备的各种传感信息，来实施一定程度的智能控制。

然而随着人们对出行品质要求的提高，驾车出行的场景也越来越复杂，而车辆自身所能获取的信息有限，部署于车辆本地的数据模型的信息处理能力往往也有限，单独依靠车辆本地的数据模型远远无法解决复杂场景下的车辆智能控制问题。因此，在现有网络传输能力能够支持的前提下，如何更充分地利用车辆不同车载设备的各类传感信息，以及，如何更有效地借助其他信息处理能力更强、更复杂的深度学习模型，从而提升复杂场景下车辆控制的智能程度，是当前行业内尚未能解决的问题。

发明内容

提供了本申请以解决现有技术中存在的上述问题。

需要一种车辆控制方法、车辆控制系统及存储介质，将部署于车辆本地的数据模型与远端的具有更强学习能力、信息处理能力的复杂数据模型结合应用，为车辆提供更精准、更智能化、更有预测性的包括故障定位和检测在内的车辆控制信息，从而更好地保证车辆行驶安全，优化车辆性能和经济性，提升车辆驾乘体验。

根据本申请的第一方案，提供一种车辆控制方法，包括获取所述车辆不同车载设备的具有不同模态的传感信息，将所述传感信息经模态转换生成统一模态的短周期报文信息；发送所述短周期报文信息至远端的第一数据模型；基于所述不同模态的传感信息，利用配置于所述车辆的第二数据模型生成长周期报文信息，所述短周期报文信息的信息实时性优于所述长周期报文信息，所述长周期报文信息用于触发所述第一数据模型生成车辆控制信息；发送所述长周期报文信息至所述远端的第一数据模型；接收所述远端的第一数据模型反馈的所述车辆控制信息，所述车辆控制信息为所述远端的第一数据模型对所述长周期报文信息的响应，并且基于所述短周期报文信息以及所述长周期报文信息而生成；以及，基于所述车辆控制信息控制所述车辆。

根据本申请的第二方案，提供一种车辆控制系统，该车辆控制系统包括接口和处理器，其中，接口配置为获取所述车辆不同车载设备的具有不同模态的传感信息；处理器配置为执行根据本申请各个实施例的车辆控制方法。

根据本申请的第三方案，提供一种非暂时性计算机可读存储介质，其上存储有计算机可执行指令，所述计算机可执行指令由处理器执行时，实现根据本申请各个实施例所述的车辆控制方法。

利用根据本申请各个实施例的车辆控制方法、车辆控制系统及存储介质，通过将车辆中不同车载设备的具有不同模态的传感信息进行统一模态转换，使其能够以较小的数据量和较高的频度，以短周期报文信息的方式实时地传输到远端的复杂数据模型，并且利用车辆本地的数据模型，可以将复杂的场景信息，以及需要由远端的复杂数据模型协助处理并能够触发远端复杂数据模型生成车辆控制信息的任务作为长周期报文信息传输到远端的复杂数据模型，使得远端的复杂数据模型能够基于短周期报文信息和长周期报文信息两者，针对所要执行的任务向车辆反馈车辆控制信息，由此来实现复杂场景下的更准确、更智能化、更有预测性的车辆控制。

上述说明仅是本申请技术方案的概述，为了能够更清楚了解本申请的技术手段，而可依照说明书的内容予以实施，并且为了让本申请的上述和其它目的、特征和优点能够更明显易懂，以下特举本申请的具体实施方式。

附图说明

在不一定按比例绘制的附图中，相同的附图标记可以在不同的视图中描述相似的部件。附图大体上通过举例而不是限制的方式示出各种实施例，并且与说明书以及权利要求书一起用于对所公开的实施例进行说明。在适当的时候，在所有附图中使用相同的附图标记指代同一或相似的部分。这样的实施例是例证性的，而并非旨在作为本装置或方法的穷尽或排他实施例。

图1示出现有技术中车辆内的部分车载设备的示意图。

图2示出根据本申请实施例的车辆内的车载设备及其相关联的设备的示意图。

图3示出根据本申请实施例的车辆控制方法的流程图。

图4示出根据本申请实施例的车辆控制系统的组成框图。

具体实施方式

为使本领域技术人员更好地理解本申请的技术方案，下面结合附图和具体实施方式对本申请作详细说明。下面结合附图和具体实施例对本申请的实施例作进一步详细描述，但不作为对本申请的限定。

本申请中使用的“第一”、“第二”以及类似的词语并不表示任何顺序、数量或者重要性，而只是用来区分。“包括”或者“包含”等类似的词语意指在该词前的要素涵盖在该词后列举的要素，并不排除也涵盖其他要素的可能。本申请中结合附图所描述的方法中各个步骤的执行顺序并不作为限定。只要不影响各个步骤之间的逻辑关系，可以将数个步骤整合为单个步骤，可以将单个步骤分解为多个步骤，也可以按照具体需求调换各个步骤的执行次序。

还应理解，本申请中术语“和/或”，仅仅是一种描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。另外，本申请中字符“/”，一般表示前后关联对象是一种“或”的关系。

图1示出现有技术中车辆内部分车载设备的示意图。如图1所示，在车辆100中，可以包括例如车载设备1、车载设备2，…，车载设备m等多个车载设备，以及车辆控制系统110，其中车载设备可以包括各种采集车辆状态信息的车辆传感器，也可以包括用于控制车辆运行状态的车辆执行器。在现有技术中，车辆控制系统110可以响应于例如驾驶员等车辆乘员的操作，来对车辆100中各个车辆执行器进行相应的操控，而各个车辆传感器也可以将采集到的各类车辆传感信息发送到车辆控制系统110，作为其控制车辆、给出提示信息的参考。

图2示出根据本申请实施例的车辆内的车载设备及其相关联的设备的示意图。与图1中的车辆100类似，图2所示的车辆200也包括车载设备1、车载设备2，…，车载设备n等多个车载设备，以及车辆控制系统210，并且，车辆控制系统210也可以从各个车载设备获取不同类型、不同模态的传感信息，所不同的是，在车辆控制系统210中还包含第二数据模型220，并且，车辆控制系统210还通过通信连接1与远端的第一数据模型230进行信息交互，从而使得车辆控制系统210能够在不同车载设备的具有不同模态的传感信息的基础上，综合利用第二数据模型220和远端的第一数据模型230来执行对车辆200的控制，第二数据模型220和远端的第一数据模型230的具体功能，及其在车辆控制中的作用方式，将在下文中结合图3进行详细说明。

在一些实施例中，各个车载设备中的车辆传感器可以获取不同类型、不同模态的车辆传感信息，例如可以包括车辆行驶速度和加速度、发动机转速、发动机/变速器/制动器/轮胎的温度、油位、轮胎/刹车油/制动器的压力、车辆重量、车辆倾斜角度、车辆发动机的振动频率、车轮的滚动状态、车辆位置等与车辆性能、车辆安全和位置相关联的传感信息，还可以包括车辆负荷、车辆的运行模式、车辆内部及周围的温湿度/空气质量/磁场/声音/光线/氧气含量/氧化物浓度、路面状况、气象状况等与提高驾驶体验、优化燃料经济性、保障乘员健康相关联的传感信息等。

此外，还有一些车载设备可以用于采集与车辆乘员相关联的传感信息，例如近红外光谱设备可以用于采集车辆乘员的心率、血糖等健康监测数据，温度传感器可以用于采集乘员的体温数据，压力传感器可以用于采集乘员的体重，红外传感器/摄像头可以用于拍摄乘员和环境的红外和可见光图像及视频，指纹采集器或触摸屏可以用于采集指纹数据，等等。

在一些实施例中，车载设备还可以包括用于控制车辆运转的执行设备，例如座椅姿态和温度等的调节设备、车内温湿度调节设备、用于播放告警、指示、氛围调节音乐等的音频播放设备、用于显示路况、天气、日程等图像和视频信息的显示设备，等等。在一些实施例中，不同用途的车载设备可以集成在同一个复合的车载设备中，例如，车辆座舱中可以设置一个管家机器人，该机器人集成有语音信息采集和音频播放功能，再比如，车辆座舱中的智能交互屏幕可以集成指纹采集、语音信息采集、音频播放、图像和视频显示等多种功能，本申请对此不做具体限制。

在另一些实施例中，当车辆为具有自动驾驶功能的车辆时，车载设备还可以是直接控制车辆行驶的执行设备，例如使车辆加速、减速、转弯、制动的执行设备等等，本申请在此不一一列举。车辆控制系统210可以通过对车载设备中各个执行设备的控制，来使得车辆200能够运转、维持或变换行驶状态，或者，实现与车辆200中的乘员的交互等。

上述各种车载设备所生成的各种传感信息，以及提供给作为执行设备的车载设备的各种控制信息，都可能具有不同模态，仅作为示例，温度传感器所采集的体温数据为数值信息或文本信息，而摄像头采集的图像或视频则为静态或动态图像编码格式或视频编码格式。此外，车载设备所生成的传感信息也可以是遵循一定标准或编码方式的格式化数据或数据包，本申请对此不做具体限定，只要其按照对应的标准或解码方式能够被正确解析即可。

图3示出根据本申请实施例的车辆控制方法的流程图。

如图3所示，在步骤201中，获取所述车辆不同车载设备的具有不同模态的传感信息，将所述传感信息经模态转换生成统一模态的短周期报文信息。如前所述，传感信息可以具有不同的模态，例如可以是文本、图像、音频、视频等，也可以是符合特定规则的信息格式，取决于车载设备的类型等因素。例如，当车辆中包含能够探测气味的车载传感设备时，传感信息还可以包括气味信息。特别地，对于一些按照特定格式生成的传感信息而言，如果想要被理解或者被用于推理预测，往往需要进行模态转换，以生成统一模态的短周期报文信息。

在一些实施例中，在将特定模态的传感信息转换为统一模态时，需要按照预设的规则进行识别和判定，仅以汽车动力学信息转换为例，车身各处传感器采集到的波形模拟信号经过模数转换后再通过波形分析求解车体动力学参数（包括油门开度、方向盘转角、轮胎转速曲线、油箱余量、车身实际载重、 自车加速度、角速度等），再使用程序易读的格式（诸如json格式化文本信息等）作为统一模态，以汇总生成该模态的汽车动力学状态文本并作为短周期报文信息输出。再比如，对于图像、视频等视觉传感信息，由于其数据格式为图像编码或视频编码格式，无法被直接利用，因此，在进行模态转换时，可以按照预设的映射模型从视觉信息中提取相应的描述信息，例如，可以设定将红外成像数据映射为座舱温度分布的描述信息，该描述信息例如可以是文本模态的；还可以将麦克风所采集的语音模态的信息映射为文本模态的信息 。在另一些实施例中，还可以设定基于摄像头拍摄的视频来进行人脸识别、人物特征描述和情感识别等，从而映射并生成与各个车辆乘员相关联的包括身份、特征、情感等在内的多维文本，在此不一一列举。

在一些实施例中，短周期报文信息可以是以较短的周期定时生成的，例如，可以每隔一段时间基于车辆的刹车系统数据，包括综合刹车油状态、刹车片状态、刹车盘状态等，经模态转换后生成短周期报文信息。在另一些实施例中，短周期报文信息也可以是事件触发的，例如，当车辆发生了刹车停车时，可以紧接着基于与刹车停车操作相关联的刹车距离、刹停后与前车的距离等信息经模态转换后生成短周期报文信息。

在步骤202中，发送所述短周期报文信息至远端的第一数据模型。通常情况下，远端可以是诸如部署于云端的专用或通用的服务器或服务器集群。车辆与远端例如可以利用卫星通信链路、车联网等通信链路或通信网络彼此通信连接。在一些实施例中，统一模态包括但不限于文本，也可以是格式化信息等其他模态，本申请对此不做限定。但值得注意的是，由于无线通信链路或网络带宽和容量有限，因此所生成的统一模态的短周期报文信息数据量不应太大，以便于向远端的第一数据模型传输。在另一些实施例中，为尽可能缩减数据的传输量，在必要的情况下，还可以在将传感信息经模态转换生成统一模态的短周期报文信息时进行进一步的处理，例如可以在语音转换为文本后，对文本信息进行摘要处理，以便减少传输数据量，同时还可以使得基于文本摘要所生成的短周期报文更易于被第一数据模型所利用。

在一些实施例中，一条短周期报文信息中可以包含多种传感信息，因此，统一模态可以采用多维文本，并且在短周期报文中包含多维文本对应的类型标识，从而使得第一数据模型能够根据类型标识识别多维文本中的内容。

在步骤203中，基于所述不同模态的传感信息，利用配置于所述车辆的第二数据模型生成长周期报文信息，所述短周期报文信息的信息实时性优于所述长周期报文信息，所述长周期报文信息用于触发所述第一数据模型生成车辆控制信息。

第二数据模型为部署于车辆端的实时运行的数据模型，在生成长周期报文信息时，可以直接利用之前基于不同模态的传感信息所生成的统一模态的短周期报文信息，或者也可以基于不同模态的传感信息进一步生成长周期报文信息。

仍然以刹车停车为例，除了每次刹车停车操作之后紧接着生成短周期报文信息之外，当在一段时间内发生了多次刹车停车的情况下（例如可以预先设定时间窗口长度和在时间窗口内发生刹车停车次数的阈值），还可以将各次刹车停车操作所生成的多个统一模态的短周期报文信息组成的序列，与对应的每一次驾驶员从启动刹车到刹停时间段内的来自多个角度的摄像头拍摄的视频模态的车辆影像经模态转换后的短周期报文信息一并作为第二数据模型的输入，由第二数据模型给出作为输出的推理预测结果，仅作为示例，可能的预测结果包括：“刹车性能下降，并且地面湿滑”，“刹车性能下降，并且地面正常”，还可以是“刹车性能正常，前车偏好紧急刹车”等等。进一步地，可以基于第二数据模型的预测结果，生成长周期报文信息，仅作为示例，在第二模型的预测结果为“刹车性能下降，并且地面正常”的情况下，可以在长周期报文信息中向远端报告如下任务：“检查是否需要更换轮胎”，并且该任务由远端处理后，将向车辆反馈相应的车辆控制信息。在另一些实施例中，例如第二数据模型的预测结果为“刹车性能正常，前车偏好紧急刹车”，则不一定需要生成并向远端发送长周期报文信息，在这种情况下，可以直接由车辆控制系统基于该预测结果向车辆发出类似于“请注意保持与前车的距离”的提示信息即可，在此不详细描述。

此外，除事件/条件触发之外，在另一些情况下，长周期报文信息还可以以预定的周期定时生成并向远端传输，具体内容例如可以是本周期内车内乘员彼此之间的对话交互，等等，在此不做限制，但总体而言，长周期报文的生成周期较短周期报文而言更长，从实时性的角度，短周期报文信息的实时性也优于长周期报文信息。

在步骤204中，发送所述长周期报文信息至所述远端的第一数据模型。第一数据模型是位于远端服务器的具有复杂信息处理能力和高层次逻辑分析能力的深度学习网络，其能够对作为输入的长周期报文信息中所包含的任务进行理解和分析，并根据长周期报文信息，自主地确定与生成车辆控制信息相关联的丰富的、彼此支持的数据和资料，以便生成更准确、更可信的车辆控制信息。具体地，第一数据模型例如可以采用诸如在GPT4语言模型的基础上进行微调以使得第一数据模型学习到行业知识，并通过检索插件系统等来实现对相关联的数据的检索，等等，本申请对此不做限定。

在步骤205中，接收所述远端的第一数据模型反馈的车辆控制信息，所述车辆控制信息为所述远端的第一数据模型基于所述短周期报文信息以及所述长周期报文信息生成的。仍然以刹车停车为例，当第一数据模型在长周期报文信息中接收到“检查是否需要更换轮胎”的任务时，可以在理解分析该长周期报文信息的基础上，确定与“检查是否需要更换轮胎”任务相关联的一条或多条短周期报文信息，将两者相结合来生成车辆控制信息，并反馈给车辆。例如，在第一数据模型判断车辆的确需要更换轮胎的情况下，可以输出诸如更换轮胎提示信息，还可以包括前往车辆维修场所的导航提示信息等。

在步骤206中，基于所述车辆控制信息控制所述车辆。在一些实施例中，由第一数据模型反馈的车辆控制信息可以是针对单个车载设备的单条或一组多条控制信息，也可以是针对多个车载设备的单条或一组多条控制信息。在一些实施例中，车辆控制信息可以是多模态的，例如，文本与对应的图像或视频相结合的富文本。在另一些实施例中，为了尽量减小远端第一数据模型与车辆之间的数据传输量，车辆控制信息也可以采用诸如单一模态的文本信息，其中包括期望在车辆上呈现的诸如语音、图像、视频等其他模态的信息的文本模态的描述信息，如此，可以大大缩减数据传输负担，提高车辆控制信息的实时性。

由此可见，根据本申请实施例的车辆控制方法通过将车辆中不同车载设备的具有不同模态的传感信息进行统一模态转换后生成数据量较小的短周期报文信息，使其能够以较高的频度向远端的第一数据模型实时传输，并且通过在车辆本地部署第二数据模型，可以将车辆中长周期的较为复杂的场景，以及需要由远端的第一数据模型协助处理的任务作为长周期报文信息传输到远端，使得第一数据模型能够基于短周期报文信息和长周期报文信息两者，利用其更强大的学习能力和信息处理能力，针对所要执行的任务生成车辆控制信息，由此使得车辆能够实现复杂场景下的更准确、更有预测性的车辆智能控制。

在一些实施例中，在基于车辆控制信息控制车辆时，可以将车辆控制信息根据不同的被控车载设备进行相对应的模态转换，以使得模态转换后所生成的具有不同模态的交互信息和/或控制指令能够被对应的车载设备识别并执行。例如，在第一数据模型生成车辆控制信息时，为了降低传输数据量或其他原因，可能将音频、图片、视频等多模态信息转换为统一模态的描述信息，因此，车辆在收到车辆控制信息之后，可以根据统一模态的描述信息，利用对应的语音生成部件、图像/视频生成部件等，生成与描述信息对应的语言、UI图像、表情符号、动画/视频等，从而使得所生成的上述不同模态的交互信息能够被对应的用于播放或显示的交互类车载设备识别并执行。在另一些实施例中，当车辆控制信息中包含对特定的车载设备进行控制的指令时，为了使该车载设备能够识别并执行，也应将控制指令转换为对应模态的控制数据。

在一些实施例中，由第一数据模型所生成的车辆控制信息可以为多组，并且，不同组的车辆控制信息可以对应不同的时间点。仍然以“检查是否需要更换轮胎”的任务为例，第一数据模型在判断的确需要更换轮胎的情况下，可以首先向车辆发送一条包含“车辆（左前轮）轮胎需要更换，请前往4S店进行检测”的车辆控制信息，然后，还可以根据车辆在短周期报文信息中包含的目的地信息和实时位置信息，向车辆发送一系列的包含前往合适的4S店的导航信息或停车引导信息的车辆控制信息，也就是说，在后时间点对应的车辆控制信息可以结合车辆的短周期报文信息而生成。

此外，在收到第一数据模型生成的车辆控制信息之后，在收到车辆基于“请于三天后提醒我”反馈信息生成的短周期报文信息之后，可以在三天后再次发送包含“车辆（左前轮）轮胎需要更换，请前往4S店进行检测”的车辆控制信息，也就是说，在后时间点对应的车辆控制信息可以结合包含对在先时间点对应的车辆控制信息的响应信息的短周期报文信息而生成。

此外，第一数据模型在生成车辆控制信息时，可以基于长周期报文信息确定相关联的短周期报文信息，以及与所述车辆相关联的背景信息。仅作为示例，远端可以将所接收的各条短周期报文信息和长周期报文信息存储到可检索的数据库中，第一数据模型例如可以采用GPT4+检索插件系统来实现，在这种情况下，可以根据长周期报文信息中的任务，或与任务相关联的关键词、线索图片等信息，利用检索插件系统在数据库中检索相关联的短周期/长周期报文信息以及其他背景信息，并将检索结果一并输入第一数据模型，由第一数据模型基于所述相关联的短周期报文信息和长周期报文信息，结合背景信息，生成更准确、更可信的车辆控制信息。

在一些实施例中，第二数据模型所生成的长周期报文信息中可以包含任务标题信息，例如“检查是否需要更换轮胎”，或者，也可以包含任务标题信息以及摘要信息，其中，摘要信息由第二数据模型基于不同模态的传感信息中与任务标题信息相关联的信息而生成。例如在刹车停车的示例中，摘要信息可以基于与“检查是否需要更换轮胎”相关联的时间窗口内各次刹车停车操作所对应的刹车系统的传感信息、来自多个角度的摄像头拍摄的车辆影像等不同模态的传感信息而生成，例如类似于“第一次刹车时间xx秒，刹停距离xx米；第二次刹车时间xx秒，刹停距离xx米，刹停后前车距离xx米……”，摘要信息的形式和内容不做具体限制。

如前所述，车辆控制信息可以由第一数据模型基于长周期报文信息确定相关联的短周期报文信息，以及与车辆相关联的背景信息而生成，在长周期报文信息中包含摘要信息的情况下，还可以将上述相关联的短周期报文信息与长周期报文信息中的摘要信息进行融合后，结合所述背景信息而生成所述车辆控制信息。其中，短周期报文信息与长周期报文信息中的摘要信息具体的融合方式本申请不做限制，只要能够使得融合后的信息更完整、更准确、时效性更好，从而有利于第一数据模型生成更可信的车辆控制信息即可。上述背景信息例如可以包括由第一数据模型识别或获取的与所述车辆行驶相关联的实时信息，诸如路况信息、天气信息、车辆乘员的状态信息，还可以包括车辆相关部件在本车辆或其他车辆上的统计信息，或者上述各类信息的组合。通常情况下，第一数据模型部署于云端，而云端具有更广泛的数据来源，从而能够获取比单个车辆更丰富、更全面、更实时、更有预测性的与行驶相关联的数据。例如，对于“检查是否需要更换轮胎”任务，第一数据模型可以根据该车辆所使用的轮胎型号，获取其他车辆上同型号轮胎的行驶里程统计数据，通过对统计数据的分析，发现该型号轮胎行驶里程偏低，其他车辆多次提前更换轮胎，这样的统计信息是该车辆自身所无法获取的信息，将其作为背景信息提供给第一数据模型，第一数据模型可以结合该信息生成“及时更换轮胎”的车辆控制信息，或者，在无法立即更换轮胎的情况下，进一步结合作为背景信息的天气状况，为避免温度过高，胎压过大而产生危险而向车辆发送“将车辆停到地下停车场”的建议，以及导航到地下停车场的车辆控制信息等。上述方式能够为车辆提供更全面、更有预测性的车辆控制信息。

在一些实施例中，第二数据模型在生成长周期报文信息时，除直接利用之前基于不同模态的传感信息所生成的统一模态的短周期报文信息之外，特别是在短周期报文信息中不包含其生成长周期报文信息所需要的信息时，可以从相应的车载设备获取对应的多模态传感信息。在这种情况下，第二数据模型要求具有多模态信息处理能力，即，第二数据模型为多模态信息处理模型，并且基于车辆在各种状态下，各个车载设备的不同状态的组合所对应的多模态信息，以及各种组合所对应的任务状况进行训练而得到。例如，第二数据模型可以采用GPT3.5（由OpenAI推出的一款自然语言处理模型的3.5版本）、ChatGLM-6B（一个开源的、支持中英双语的对话语言模型）、LLaMA（Meta发布的一种大型语言模型），以及其他基于Encoder-Decoder（编码器-解码器）结构的预训练模型等，在已训练完成的预训练模型的基础上，输入由行业检测专家等撰写或由车辆生产厂家提供的训练数据集，其中包括由不同的车辆运行相关条件下（例如车辆静止或行驶，雨雪天气行驶等），车辆的各个部件和车载设备的不同参数/状态及其组合构成的大量训练数据，并将所对应的真实的车辆运行状况/车载设备故障状况/周围环境状况等作为训练数据的标注的真值，通过训练，使得第二数据模型具备本行业内的专业知识。具体而言，训练好的第二数据模型能够根据模型输入的单模态或多模态待预测数据，准确地输出车辆、车载设备、车辆运行环境等各个角度的故障状况（其中可以包括多种非故障状态），输出格式和所包含的内容本申请不做具体限制。

根据本申请实施例的短周期报文信息通常数据量较小，但其生成的周期较短，需要频繁发送；长周期报文信息虽然生成周期可能较长，但其单个报文信息的数据量可能较大，因此，为保证短周期报文信息和长周期报文信息能够实时、流畅并且安全地传输到远端的第一数据模型，短周期报文信息和长周期报文信息将以流式加密传输方式传输至远端的第一数据模型。具体地，短周期报文信息可以经过非对称加密算法（如RSA）加密后通过HTTPS协议进行加密传输和身份认证，然后发送给远端的第一数据模型；对于数据量较大的长周期报文信息，可以经过长文本校验模块校验合格后，通过流式文本传输器进行数据切分、使用诸如RSA（一种公钥加密算法）等非对称加密算法加密编码后，通过HTTPS网络协议进行加密传输和身份认证，再将数据流传输至远端的第一数据模型。远端的第一数据模型可以在收到短周期报文信息或长周期报文信息后，将数据流接入校验认证模块，对发送来源进行认证，通过后执行解密以及数据块合并，同时对报文格式、长度、MD5值（加密算法的密码散列函数）进行比对，从而保证数据的完整性、私密性以及来源安全性。解密后完整的短周期/长周期报文信息即可用于第一数据模型生成对应的车辆控制信息。

根据本申请的实施例还提供一种车辆控制系统，图4示出根据本申请实施例的车辆控制系统的组成框图。如图4所示，车辆200的车辆控制系统210至少包括第一接口240、模态转换部250、第二数据模型220和第二接口260，此外车辆200中还包括多个车载设备，例如从车载设备1到车载设备n。

第一接口240用于获取来自车辆200的不同车载设备的具有不同模态的传感信息，其具体方式可以是通过硬件直接进行电性连接，也可以经由通信单元的间接耦合等，本申请对此不做限制。

模态转换部250可以配置为将来自车辆200的不同车载设备的不同模态的传感信息进行模态转换，并生成统一模态的短周期报文信息。

第二数据模型220可以配置为基于不同模态的传感信息生成长周期报文信息，并且，短周期报文信息的信息实时性优于长周期报文信息，长周期报文信息用于触发第一数据模型230生成车辆控制信息。

第二接口260还可以进一步配置为将短周期报文信息和所述长周期报文信息发送至远端的第一数据模型230，以及，接收远端的第一数据模型230反馈的车辆控制信息，该车辆控制信息为远端的第一数据模型230对长周期报文信息的响应，并且基于短周期报文信息以及长周期报文信息而生成。

第一接口240还可以进一步配置为将车辆控制信息传输到对应的车载设备，以使得车辆控制信息能够被对应的车载设备识别并执行。

在另一些实施例中，为了使车辆控制信息能够被对应的车载设备所识别和执行，模态转换部250还可以进一步配置为将车辆控制信息根据不同的被控车载设备进行相对应的模态转换，以使得模态转换后所生成的具有不同模态的交互信息和/或控制指令能够被对应的车载设备识别并执行。上述模态转换功能也可以在各个车载设备端各自执行，本申请对此不做限制。

根据本申请的实施例还提供一种非暂时性计算机可读存储介质，其上存储有计算机可执行指令，所述计算机可执行指令由处理器执行时，实现根据本申请各实施例所述的车辆控制方法。

在计算机上加载和执行所述计算机可执行指令时，可以全部或部分地产生按照本申请实施例所述的流程或功能。所述计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。所述计算机可执行指令可以存储在计算机可读存储介质中，还可以从一个计算机可读存储介质向另一个计算机可读存储介质传输，例如，将其从一个网站站点、计算机、服务器或数据中心通过有线（例如同轴电缆、光纤、数字用户线）或无线（例如红外、无线、微波等）方式向另一个网站站点、计算机、服务器或数据中心进行传输。所述非暂时性计算机可读存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。所述可用介质可以是磁性介质，（例如，软盘、硬盘、磁带）、光介质（例如，DVD）、或者半导体介质（例如固态硬盘）等。

本申请各个实施例中的车辆等可以包括一般的机动车辆，例如包括轿车、SUV、MPV、公交车、卡车和其它载货或者载客车辆，包括各种船、艇在内的水运工具，以及航空器等，包括混合动力车辆、电动车辆、燃油车辆、插电式混合动力车辆、燃料电池汽车以及其它代用燃料车辆。其中，混合动力车辆指的是具有两种或者多种动力源的车辆，电动车辆包括纯电动汽车、增程式电动汽车等，本申请对此不做具体限定。

应理解，在本申请各个实施例中，处理器可以是中央处理单元（CentralProcessing Unit，简称CPU），还可以是其他通用处理器、数字信号处理器（Digital SignalProcessing，简称DSP）、专用集成电路（Application Specific Integrated Circuit，简称ASIC）、现成可编程门阵列（Field－Programmable Gate Array，简称FPGA）或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。需要说明的是，处理器还可以集成有内存单元和/或高速缓存单元等用于存储的部件。

在实现过程中，上述方法的各步骤可以通过处理器中的硬件的集成逻辑电路或者软件形式的指令完成。结合本申请实施例所公开的方法的步骤可以直接体现为硬件处理器执行完成，或者用处理器中的硬件及软件模块组合执行完成。软件模块可以位于随机存储器，闪存、只读存储器，可编程只读存储器或者电可擦写可编程存储器、寄存器等本领域成熟的存储介质中。该存储介质位于存储器，处理器读取存储器中的信息，结合其硬件完成上述方法的步骤。为避免重复，这里不再详细描述。本领域普通技术人员可以意识到，结合本申请中所公开的实施例描述的方法的各种步骤，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本申请的范围。

在本申请的各种实施例中，各步骤或过程的序号的大小并不意味着执行顺序的先后，各步骤或过程的执行顺序应以其功能和内在逻辑确定，而不应对本申请实施例的实施过程构成任何限定。

此外，尽管已经在本申请中描述了示例性实施例，其范围包括任何和所有基于本申请的具有等同元件、修改、省略、组合（例如，各种实施例交叉的方案）、改编或改变的实施例。权利要求书中的元件将被基于权利要求中采用的语言宽泛地解释，并不限于在本说明书中或本申请的实施期间所描述的示例，其示例将被解释为非排他性的。因此，本说明书和示例旨在仅被认为是示例，但本申请的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本申请的保护范围之内，真正的范围和精神由权利要求以及其等同物的全部范围所指示。

以上描述旨在是说明性的而不是限制性的。例如，上述示例（或其一个或更多方案）可以彼此组合使用。例如本领域普通技术人员在阅读上述描述时可以使用其它实施例。另外，在上述具体实施方式中，各种特征可以被分组在一起以简单化本申请。这不应解释为一种不要求保护的公开的特征对于任一权利要求是必要的意图。相反，本申请的主题可以少于特定的公开的实施例的全部特征。从而，权利要求书作为示例或实施例在此并入具体实施方式中，其中每个权利要求独立地作为单独的实施例，并且考虑这些实施例可以以各种组合或排列彼此组合。本申请的范围应参照权利要求以及权利要求赋权的等同形式的全部范围来确定。

Claims (13)

1.一种车辆控制方法，其特征在于，包括：

获取所述车辆不同车载设备的具有不同模态的传感信息，将所述传感信息经模态转换生成统一模态的短周期报文信息；

发送所述短周期报文信息至远端的第一数据模型；

基于所述不同模态的传感信息，利用配置于所述车辆的第二数据模型生成长周期报文信息，所述短周期报文信息的信息实时性优于所述长周期报文信息，所述长周期报文信息用于触发所述第一数据模型生成车辆控制信息；

发送所述长周期报文信息至所述远端的第一数据模型；

接收所述远端的第一数据模型反馈的所述车辆控制信息，所述车辆控制信息为所述远端的第一数据模型对所述长周期报文信息的响应，并且基于所述短周期报文信息以及所述长周期报文信息而生成；

基于所述车辆控制信息控制所述车辆。

2.根据权利要求1所述的车辆控制方法，其特征在于，

所述统一模态为多维文本，所述短周期报文中包含所述多维文本对应的类型标识，以使得所述第一数据模型能够识别。

3.根据权利要求1或2所述的车辆控制方法，其特征在于，所述基于所述车辆控制信息控制所述车辆具体包括：

将所述车辆控制信息根据不同的被控车载设备进行相对应的模态转换，以使得模态转换后所生成的具有不同模态的交互信息和/或控制指令能够被对应的车载设备识别并执行。

4.根据权利要求1或2所述的车辆控制方法，其特征在于，所述车辆控制信息为多组，不同组的车辆控制信息对应不同的时间点，并且在后时间点对应的车辆控制信息结合所述短周期报文信息而生成。

5.根据权利要求4所述的车辆控制方法，其特征在于，在后时间点对应的车辆控制信息结合包含对在先时间点对应的车辆控制信息的响应信息的短周期报文信息而生成。

6.根据权利要求1或2所述的车辆控制方法，其特征在于，所述第二数据模型为多模态信息处理模型，并且基于车辆在各种状态下，各个车载设备的不同状态的组合所对应的多模态信息，以及各种组合所对应的任务状况进行训练而得到。

7.根据权利要求1或2所述的车辆控制方法，其特征在于，所述车辆控制信息为所述第一数据模型基于所述长周期报文信息确定相关联的短周期报文信息，以及与所述车辆相关联的背景信息，并基于所述相关联的短周期报文信息和所述长周期报文信息，结合所述背景信息而生成的。

8.根据权利要求1或2所述的车辆控制方法，其特征在于，所述长周期报文信息包含任务标题信息，或，任务标题信息以及摘要信息，其中，所述摘要信息由所述第二数据模型基于所述不同模态的传感信息中与所述任务标题信息相关联的信息而生成。

9.根据权利要求8所述的车辆控制方法，其特征在于，所述车辆控制信息为所述第一数据模型基于所述长周期报文信息确定相关联的短周期报文信息，以及与所述车辆相关联的背景信息，并将所述相关联的短周期报文信息与所述长周期报文信息中的摘要信息进行融合后，结合所述背景信息而生成的。

10.根据权利要求9所述的车辆控制方法，其特征在于，所述背景信息包括由所述第一数据模型识别或获取的与所述车辆行驶相关联的实时信息或统计信息，包括路况信息、天气信息、车辆乘员的状态信息、车辆相关部件的统计信息中的至少一种。

11.根据权利要求1或2所述的车辆控制方法，其特征在于，所述车辆控制方法进一步包括：

所述短周期报文信息和所述长周期报文信息以流式加密传输方式传输至所述远端的第一数据模型。

12.一种车辆控制系统，其特征在于，包括：

第一接口，其配置为：获取所述车辆不同车载设备的具有不同模态的传感信息；

模态转换部，其配置为将不同模态的传感信息进行模态转换，并生成统一模态的短周期报文信息；

第二数据模型，其配置为基于所述不同模态的传感信息生成长周期报文信息，所述短周期报文信息的信息实时性优于所述长周期报文信息，所述长周期报文信息用于触发远端的第一数据模型生成车辆控制信息；

第二接口，其配置为：将所述短周期报文信息和所述长周期报文信息发送至所述远端的第一数据模型；以及，接收所述远端的第一数据模型反馈的所述车辆控制信息，所述车辆控制信息为所述远端的第一数据模型对所述长周期报文信息的响应，并且基于所述短周期报文信息以及所述长周期报文信息而生成；

所述第一接口进一步配置为：将所述车辆控制信息传输到对应的车载设备，以使得所述车辆控制信息能够被对应的车载设备识别并执行。

13.一种非暂时性计算机可读存储介质，其上存储有计算机可执行指令，所述计算机可执行指令由处理器执行时，执行如权利要求1-11中任一项所述的车辆控制方法。