CN110745084A

CN110745084A - 一种用于智能汽车的多媒体系统中间件设计方法

Info

Publication number: CN110745084A
Application number: CN201810816649.9A
Authority: CN
Inventors: 杨宇晓
Original assignee: Danyang Boang Vehicle Control System Technology Co Ltd
Current assignee: Danyang Boang Vehicle Control System Technology Co Ltd
Priority date: 2018-07-24
Filing date: 2018-07-24
Publication date: 2020-02-04

Abstract

本发明公开了一种用于智能汽车的多媒体系统中间件设计方法，涉及智能汽车领域，包括：用户通过语音、手势、触摸等多种方式发起多媒体应用请求；语音识别、手势识别、触摸屏等传感器对用户请求进行感知和识别，并将识别信息通过与多媒体系统中间件的底层通信链路传输至中间件设备；中间件设备通过通用总线将请求信息传输至多媒体控制中心；多媒体控制中心将用户请求细化为具体场景，确定本次请求所需的所有多媒体设备，以及设备运行的时序要求和行为策略，由此解决智能汽车用户的多媒体应用需求与多媒体设备间的互联互通问题。

Description

一种用于智能汽车的多媒体系统中间件设计方法

技术领域

本发明涉及智能汽车设计领域，尤其涉及用于智能汽车的多媒体系统中间件设计方法。

背景技术

智能汽车是融合了传感器、行为认知、智能决策和深度学习等高新技术的高科技汽车系统。借助于强大的计算能力和车载电子设备，智能汽车不仅具有强大的智能驾驶、自主预警、智能规划等能力，还可以为用户提供内容多样、类型丰富的多媒体服务，使智能汽车成为能够满足多层次用户需求的智能移动平台。

车载多媒体系统包括但不限于视频播放、音频播放、光亮控制、语音控制、手势控制、触摸控制和车载无线网等多种电子设备，为满足用户的多场景使用需求，往往需要多媒体控制中心对多媒体电子设备进行协同控制，以实现某一特定场景。由于不同电子设备间的通信接口、运行平台和操作系统各不相同，多媒体控制中心需要为每一个多媒体设备建立一套独立的底层接口链路，这将大大增加实现成本和系统的复杂程度，而且随着多媒体技术的发展，该方法也无法适应未来多媒体设备大量扩展的需求。

多媒体中间件产品可以屏蔽复杂的多媒体设备软、硬件接口，并通过通用总线实现中间件与多媒体控制中心的指令、数据交互，从而实现多媒体系统功能区域的隔离，有效降低智能汽车多媒体系统的构架复杂度和系统故障率，并提高了多媒体系统的设备可替换能力。

发明内容

本发明的实施例提供了一种用于智能汽车的多媒体系统中间件设计方法，解决智能汽车的多媒体控制中心与不同运行平台、操作系统和通信协议的多媒体电子设备间的互联互通问题。

为达到上述目的，本发明的实施例采用如下技术方案：

用户通过语音、手势、触摸等多种方式发起多媒体请求；

语音识别、手势识别、触摸屏等传感器对用户请求进行感知和识别，并将识别信息通过与多媒体系统中间件的底层通信链路传输至中间件设备；

中间件设备通过通用总线（CAN、LIN、Flexray等）将请求信息传输至多媒体控制中心；

多媒体控制中心将用户请求细化为具体场景，确定本次请求所需的所有多媒体设备，以及设备运行的时序要求和行为策略；

多媒体控制中心按照定义的指令格式，将用户请求下发至中间件设备；

中间件设备对用户请求指令进行解析、处理，并按照指令所要求的时序和策略，通过中间件与多媒体设备的底层通信链路，进行多媒体设备的行为控制；

多媒体设备通过与中间件的底层通信链路，将设备自身的状态信息和数据信息传输至中间件设备；

中间件设备将收到的状态信息和数据信息经通用总线传输至多媒体控制中心，由控制中心进行数据融合和多设备间的协调误差控制。

本发明实施例提供的用于智能汽车多媒体系统的中间件设计方法，在设计过程中，将用户识别设备、多媒体设备等硬件设备与多媒体控制中心进行隔离，采用中间件实现硬件设备与控制中心的指令、数据交互。中间件包含了所有硬件所需的底层通信链路接口，以适配类型丰富的多媒体设备，同时，中间件也配备有通用汽车总线接口，以联接多媒体控制中心。此种设计思路，将使多媒体控制中心仅关注于场景设计和智能应用本身，有利于多媒体硬件设备和多媒体控制中心发挥各自优势，促进多媒体系统的整体性能提高。

附图说明

为了更清楚地说明本发明实施例中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它的附图。

图1为本发明实施例提供的智能汽车多媒体系统中间件流程框图；

图2为本发明实施例提供的多媒体控制中心发送至中间件的用户请求指令格式；

图3为本发明实施例提供的智能汽车多媒体系统结构框图。

具体实施方式

为使本领域技术人员更好地理解本发明的技术方案，下面结合附图和具体实施方式对本发明作进一步详细描述。下文中将详细描述本发明的实施方式，所述实施方式的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施方式是示例性的，仅用于解释本发明，而不能解释为对本发明的限制。本技术领域技术人员可以理解，除非特意声明，这里使用的单数形式“一”、“一个”、“所述”和“该”也可包括复数形式。应该进一步理解的是，本发明的说明书中使用的措辞“包括”是指存在所述特征、整数、步骤、操作、元件和/或组件，但是并不排除存在或添加一个或多个其他特征、整数、步骤、操作、元件、组件和/或它们的组。应该理解，当我们称元件被“连接”或“耦接”到另一元件时，它可以直接连接或耦接到其他元件，或者也可以存在中间元件。此外，这里使用的“连接”或“耦接”可以包括无线连接或耦接。这里使用的措辞“和/或”包括一个或更多个相关联的列出项的任一单元和全部组合。本技术领域技术人员可以理解，除非另外定义，这里使用的所有术语（包括技术术语和科学术语）具有与本发明所属领域中的普通技术人员的一般理解相同的意义。还应该理解的是，诸如通用字典中定义的那些术语应该被理解为具有与现有技术的上下文中的意义一致的意义，并且除非像这里一样定义，不会用理想化或过于正式的含义来解释。

本发明实施例提供一种用于智能汽车多媒体系统的中间件设计方法，如图1所示，包括：

S1、用户通过语音、手势、触摸等多种方式发起多媒体请求。

S2、语音识别、手势识别、触摸屏等传感器对用户请求进行感知和识别，并将识别信息通过与多媒体系统中间件的底层通信链路传输至中间件设备。

其中语音、手势和触摸的识别通过特定的识别系统完成。识别系统通过底层通信链路，将识别后的用户请求信息发送至中间件设备。

S3、中间件设备通过通用总线（CAN、LIN、Flexray等）将请求信息传输至多媒体控制中心。

S4、多媒体控制中心将用户请求细化为具体场景，确定本次请求所需的所有多媒体设备，以及设备运行的时序要求和行为策略。

其中，多媒体控制中心根据用户的潜在需求定制若干应用场景（影视场景、游戏场景、音乐场景、学习场景等），通过用户请求指令激活相应的应用场景，进而确定该场景所需的多媒体设备集合，应用场景也可开放用户自定义接口。另外，多媒体控制中心凭借其高性能计算能力，根据用户指定的服务任务，实现设备集合中每个设备的运行时序和行为策略的智能优化，已完成任务场景的最佳响应。

S5、多媒体控制中心按照定义的指令格式，将用户请求下发至中间件设备。

其中，用于用户请求下发的指令格式应包含应用场景识别码、设备集合码、每个设备的控制时序和行为策略等信息。

S6、中间件设备对用户请求指令进行解析、处理，并按照指令所要求的时序和策略，通过中间件与多媒体设备的底层通信链路，进行多媒体设备的行为控制。

S7、多媒体设备通过与中间件的底层通信链路，将设备自身的状态信息和数据信息传输至中间件设备。

S8、中间件设备将收到的状态信息和数据信息经通用总线传输至多媒体控制中心，由控制中心进行数据融合和多设备间的协调误差控制。

在本实施例中，多媒体系统中间件设备包括底层通信链路协议模块，指令和多媒体设备数据的解析、处理、分发和封装模块，汽车通用总线系统等。多媒体设备包括但不仅限于视频投影设备、音频播放设备、彩光显示设备、震动设备、游戏手柄、车载互联网等，感知设备包括但不仅限于语音识别设备、手势识别设备、触摸识别设备。中间件系统如图3所示。多媒体控制中心通过用户的请求指令控制，调用相应的多媒体设备集，可以实现影视场景、游戏场景、音乐场景、学习场景等多个场景的多媒体体验。

例如：所述影视场景，多媒体设备集合为视频投影设备、音频播放设备、震动设备，感知识别设备为语音识别设备、手势识别设备、触摸识别设备等，通过上述多种设备的协同，可以使用户获得包含视觉、听觉、和触觉的综合影视体验效果。

在影视场景下，支持多媒体控制中心与视频投影设备、音频播放设备、震动设备、手势识别设备、触摸识别设备等多媒体设备间交互的中间件设计方案为：

用户首先通过语音、手势或触摸提出影视场景请求；

感知识别设备将识别后的用户请求指令，通过匹配的底层通信链路发送给中间件设备；

中间件设备通过汽车通用总线将请求指令发送至多媒体控制中心；

多媒体控制中心依据用户请求指令，激活影视场景，并通过拟播放视频的内容分析和评估，确定座椅震动设备的震动、倾斜等动作的时序策略；

多媒体控制中心按照指令格式生成视频投影设备、音频播放设备的调用指令，并根据座椅的动作时序策略，生成震动设备的调用指令。将生成的所有设备调用指令发送至中间件设备；

中间件设备通过解析调用指令，获取指令中的设备集合码和设备码，已确定指令的发送目的地，并通过底层通信链路，将启动时间、行为内容和关机时间等控制参数传输至多媒体设备，以实现视频投影设备、音频播放设备、震动设备等设备的行为控制；

投影设备、音频播放设备、震动设备分别将各自的投影亮度、音量、声音模式、震动强度、震动角度、倾斜角度等状态信息和数据信息传输至中间件设备；

中间件设备将收到的多媒体设备状态信息和数据信息传输至多媒体控制中心，由控制中心评估多媒体设备的协同误差，并利用控制指令进行误差消除。

再例如：所述游戏场景，多媒体设备集合为视频投影设备、音频播放设备、震动设备、彩光显示设备、游戏手柄，感知识别设备为语音识别设备、手势识别设备、触摸识别设备等，通过上述多种设备的协同，可以使用户获得全方位综合游戏体验效果。

在游戏场景下，支持多媒体控制中心与视频投影设备、音频播放设备、震动设备、彩光显示设备、游戏手柄、语音识别设备、手势识别设备、触摸识别设备等多媒体设备间交互的中间件设计方案为：

用户首先通过语音、手势或触摸提出游戏场景请求；

多媒体控制中心依据用户请求指令，激活游戏场景，并通过对游戏内容的分析和评估，确定座椅震动设备的震动、倾斜等动作的时序策略，以及彩光显示设备的颜色、闪烁、亮度等动作的时序策略；

多媒体控制中心按照指令格式生成视频投影设备、音频播放设备的调用指令，根据座椅的动作时序策略，生成震动设备的调用指令，根据彩光设备的动作时序策略，生成彩光显示设备的调用指令。将生成的所有设备调用指令发送至中间件设备；

中间件设备通过解析调用指令，获取指令中的设备集合码和设备码，已确定指令的发送目的地，并通过底层通信链路，将启动时间、行为内容和关机时间等控制参数传输至多媒体设备，以实现视频投影设备、音频播放设备、震动设备、彩光显示设备等设备的行为控制；

投影设备、音频播放设备、震动设备、彩光显示设备分别将各自的投影亮度、音量、声音模式、震动强度、震动角度、倾斜角度等状态信息和数据信息传输至中间件设备。游戏手柄将控制信息传输至中间件设备；

以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到的变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应该以权利要求的保护范围为准。

Claims

1.一种用于智能汽车的多媒体系统中间件设计方法，其特征在于，包括：

用户通过语音、手势、触摸等多种方式发起多媒体请求；

2.根据权利要求1所述的方法，其特征在于，所述将识别信息通过与多媒体系统中间件的底层通信链路传输至中间件设备，包括：

装载于智能汽车上的语音识别设备、手势识别设备和触摸识别设备通过对用户的语音、手势和触摸等行为进行识别处理后，获得识别信息；

中间件设备通过定制的底层通信链路与语音识别设备、手势识别设备和触摸识别设备实现联接。

3.根据权利要求1所述的方法，其特征在于，所述多媒体控制中心将用户请求细化为具体场景，确定本次请求所需的所有多媒体设备，以及设备运行的时序要求和行为策略；

多媒体控制中心以场景来满足输入的用户请求，例如：影视场景、游戏场景、音乐场景、学习场景等；

多媒体控制中心根据用户请求的应用场景，确定所需要的系列多媒体设备集合；

多媒体控制中心根据应用场景的不同，利用深度学习等智能方法，实现多媒体设备集合中的每个设备运行时序和行为策略的智能优化，以响应应用场景的需要。

4.根据权利要求1所述的方法，其特征在于，所述多媒体控制中心按照定义的指令格式，将用户请求下发至中间件设备，包括：

多媒体控制中心定义的指令格式包括以下信息：应用场景识别码，所需设备集合识别码，设备A的行为策略1（启动时间1、行为内容1、关机时间1），设备A的行为策略2（启动时间2、行为内容2、关机时间2），……，设备A的行为策略n（启动时间n、行为内容n、关机时间n），……，设备N的行为策略1（启动时间1、行为内容1、关机时间1），设备N的行为策略2（启动时间2、行为内容2、关机时间2），……，设备N的行为策略n（启动时间n、行为内容n、关机时间n）。

5.根据权利要求1所述的方法，其特征在于，所述中间件设备将收到的状态信息和数据信息经通用总线传输至多媒体控制中心，由控制中心进行数据融合和多设备间的协调误差控制，包括：

控制中心根据多媒体设备所反馈的状态信息和数据信息，对多个设备的匹配效果进行判断和评估，并根据评估结果，通过权利要求4所规定的指令格式对多媒体设备进行控制，以减少多设备间的协调误差。