CN114913687B - 基于车-路-云的车辆内感知共享的方法、设备及系统 - Google Patents

Abstract

本公开涉及一种基于车‑路‑云的车辆内感知共享的方法、设备及系统，该方法应用于第一车辆的主终端设备，包括：在正常启动后，与服务器建立网络连接以及启动主终端设备的套接字服务进程；在与服务器联网成功后，向服务器发送获取辅助感知数据的请求，该服务器用于接收具备感知能力的路况感知端上报的感知和状态数据；根据获取到的辅助感知数据，在主终端设备的显示界面进行渲染；响应于从属终端设备发起的与该套接字服务进程进行连接的请求，与从属终端设备建立长连接，并在连接成功后将包括该辅助感知数据的智能感知数据转发给从属终端设备进行独立渲染。有助于帮助具备或不具备感知能力的车辆拓宽感知范围并在车内多个终端之间进行路况共享。

Description

基于车-路-云的车辆内感知共享的方法、设备及系统

技术领域

本公开涉及车辆技术领域，尤其涉及一种基于车-路-云的车辆内感知共享的方法、设备及系统。

背景技术

对于车辆而言，在车辆行驶的过程中对车辆周边环境的感知已经成为车辆、司机和乘客的迫切需求。随着自动驾驶技术的不断发展，智能座舱的概念开始孕育而生，如何让座舱内的乘客或司机更加直观地看到车辆感知到的周边的交通元素，以及多屏幕之间如何做数据互动变得尤为重要。

在实现本公开技术构思的过程中，发明人发现相关技术中至少存在如下技术问题：对于普通车辆而言，由于不具备智能感知元器件，对于周围几乎没有感知能力，如果需要为车载设备提供这种感知能力，需要装配对应的智能硬件，导致成本较高且改装不便；另外对于支持自动驾驶功能的车辆而言，这些车辆具有智能感知元器件，但是在车辆内的司机端屏幕和乘客端屏幕之间进行感知数据共享的方式大多是投屏形式，将司机端设置为母机，导致乘客端屏幕只能被动播放母机对应的画面而无法进行步骤或互动，用户体验差。

发明内容

为了解决上述技术问题或者至少部分地解决上述技术问题，本公开的实施例提供了一种基于车-路-云的车辆内感知共享的方法、设备及系统，可应用至普通车辆或自动驾驶车辆。

第一方面，本公开的实施例提供了一种基于车-路-云的车辆内共享感知的方法。上述方法应用于第一车辆的主终端设备，上述主终端设备和上述第一车辆内的从属终端设备位于同一个局域网，上述方法包括：在正常启动后，与服务器建立网络连接以及启动上述主终端设备的套接字(Socket)服务进程；在与上述服务器联网成功后，向上述服务器发送获取辅助感知数据的请求；上述辅助感知数据为上述服务器根据具备感知能力的路况感知端上报的感知和状态数据生成的数据；上述路况感知端区别于上述第一车辆；根据从上述服务器获取到的上述辅助感知数据，在上述主终端设备的显示界面进行渲染；响应于上述第一车辆中的从属终端设备发起的与上述主终端设备的套接字服务进程进行连接的请求，与上述从属终端设备建立长连接，并在连接成功后将智能感知数据转发给上述从属终端设备进行独立渲染，上述智能感知数据包括上述辅助感知数据。

根据本公开的实施例，上述辅助感知数据包括：位于上述第一车辆的周围预设范围内的路况感知端上报的感知和状态数据经融合去重后得到的关于上述第一车辆的目标数据。

根据本公开的实施例，上述路况感知端为具有感知能力的车辆、路侧设备或移动设备中的一项或多项，上述移动设备为独立于上述路侧设备或上述车辆的设备。

根据本公开的实施例，上述移动设备自身具有可移动功能或者上述移动设备为非驾驶状态的交通参与者随身携带的电子设备。

根据本公开的实施例，上述第一车辆为不具备智能感知元器件的车辆；或者，上述第一车辆为具有智能感知元器件的支持自动驾驶的车辆。

根据本公开的实施例，当上述第一车辆为不具备智能感知元器件的车辆时，根据从上述服务器获取到的上述辅助感知数据，在上述主终端设备的显示界面进行渲染，包括：根据上述辅助感知数据进行障碍物检测，得到是否存在障碍物以及当存在障碍物时对应的障碍物类型的检测结果；当上述检测结果表征存在障碍物时，确定上述障碍物的三维位置信息；以及根据上述三维位置信息和上述障碍物类型，在上述主终端设备的显示界面实时加载的车辆行驶地图中渲染对应的障碍物。

根据本公开的实施例，上述辅助感知数据包括以下至少一项：实时路况信息、车辆行驶路径信息、车辆状态信息；当上述第一车辆为不具备智能感知元器件的车辆时，根据从上述服务器获取到的上述辅助感知数据，在上述主终端设备的显示界面进行渲染，包括：在上述主终端设备的显示界面渲染上述实时路况信息、上述车辆行驶路径信息和上述车辆状态信息中的至少一项。

根据本公开的实施例，当上述第一车辆为具备智能感知元器件的支持自动驾驶的车辆时，上述第一车辆包括域控制器，上述域控制器与上述主终端设备以及上述从属终端设备位于同一个局域网；上述应用于主终端设备的方法还包括：在正常启动后，启动用户数据报协议UDP监听端口；根据上述UDP监听端口监听的组播消息，与上述第一车辆的域控制器的套接字服务进程建立长连接；以及从该域控制器的套接字服务进程接收上述第一车辆的车辆感知和状态数据。上述根据从上述服务器获取到的上述辅助感知数据，在上述主终端设备的显示界面进行渲染，包括：将上述辅助感知数据和上述第一车辆的车辆感知和状态数据进行整合，得到整合感知数据；根据上述整合感知数据，在上述主终端设备的显示界面进行渲染；其中，上述整合感知数据作为用于向上述从属终端设备转发的上述智能感知数据。

根据本公开的实施例，将上述辅助感知数据和上述第一车辆的车辆感知和状态数据进行整合，得到整合感知数据，包括：确定上述辅助感知数据和上述第一车辆的车辆感知和状态数据之间是否存在共同感知区域；在存在共同感知区域的情况下，确定上述辅助感知数据针对上述共同感知区域的感知结果和上述第一车辆的车辆感知和状态数据针对上述共同感知区域的感知结果之间的偏差是否小于或等于预设阈值；在该偏差小于或等于预设阈值的情况下，将上述辅助感知数据和上述第一车辆的车辆感知和状态数据进行整合，得到整合感知数据。

根据本公开的实施例，上述方法还包括：在该偏差大于上述预设阈值的情况下，根据针对该共同感知区域中上述第一车辆和上述路况感知端的相对可靠性，将上述第一车辆和上述路况感知端中可靠性更高的一者感知的数据作为整合感知数据。

根据本公开的实施例，上述方法还包括：在该偏差大于上述预设阈值的程度高于设定程度的情况下，调整上述第一车辆的行驶状态由自动驾驶状态切换为人工驾驶状态或停车状态。

根据本公开的实施例，根据上述整合感知数据，在上述主终端设备的显示界面进行渲染，包括：根据上述整合感知数据进行障碍物检测，得到是否存在障碍物以及当存在障碍物时对应的障碍物类型的检测结果；当上述检测结果表征存在障碍物时，确定上述障碍物的三维位置信息；以及根据上述三维位置信息和上述障碍物类型，在上述主终端设备的显示界面实时加载的车辆行驶地图中渲染对应的障碍物。

根据本公开的实施例，上述车辆行驶地图通过以下方式加载：获取上述第一车辆的规划路径；确定上述第一车辆的当前行驶位置到后续规划路径所要显示的地图数据；根据上述地图数据计算适配于上述主终端设备的显示界面中当前显示参数的目标地图区间，上述当前显示参数由用户预先配置或实时更新得到；以及在上述显示界面实时加载上述目标地图区间对应的数据，得到上述车辆行驶地图。

第二方面，本公开的实施例提供了一种基于车-路-云的车辆内共享感知的方法。上述方法应用于第一车辆的从属终端设备，上述从属终端设备与上述第一车辆内的主终端设备位于同一个局域网，上述方法包括：在正常启动后，启动网络服务发现NSD功能来查找所在局域网内的服务端；在上述主终端设备的套接字服务进程开启的状态下，基于上述NSD功能查找到的服务端为上述主终端设备时，获取上述主终端设备的IP地址；根据上述主终端设备的IP地址，与上述主终端设备发起建立长连接的请求；在与上述主终端设备的套接字服务连接成功的状态下，接收来自上述主终端设备转发的智能感知数据；上述智能感知数据包括辅助感知数据，上述辅助感知数据为上述服务器根据具备感知能力的路况感知端上报的感知和状态数据生成的数据，上述路况感知端区别于上述第一车辆；以及根据上述从属终端设备的运行状态，在上述从属终端设备的显示界面对上述智能感知数据进行渲染。

根据本公开的实施例，上述智能感知数据为实时更新的数据包，上述数据包适配于上述第一车辆的实时行驶位置；根据上述从属终端设备的运行状态，在上述从属终端设备的显示界面对上述智能感知数据进行渲染，包括：当检测到上述从属终端设备的当前显示界面加载的为目标应用时，在上述从属终端设备的当前显示界面来渲染关于上述智能感知数据的当前数据包；当检测到上述从属终端设备的当前显示界面加载的为非目标应用时，将接收到的关于上述智能感知数据的当前数据包丢弃不做渲染；当检测到上述从属终端设备的当前显示界面加载的对象由运行中的非目标应用切换为目标应用时，在上述从属终端设备的当前显示界面来渲染关于上述智能感知数据的当前数据包。

根据本公开的实施例，在上述从属终端设备的当前显示界面来渲染关于上述智能感知数据的当前数据包，包括：根据关于上述智能感知数据的当前数据包进行障碍物检测，得到是否存在障碍物以及当存在障碍物时对应的障碍物类型的检测结果；当上述检测结果表征存在障碍物时，确定上述障碍物的三维位置信息；以及根据上述三维位置信息和上述障碍物类型，在上述从属终端设备的显示界面实时加载的车辆行驶地图中渲染对应的障碍物。

根据本公开的实施例，上述车辆行驶地图通过以下方式加载：获取上述第一车辆的规划路径；确定上述第一车辆的当前行驶位置到后续规划路径所要显示的地图数据；根据上述地图数据计算适配于上述从属终端设备的显示界面中当前显示参数的目标地图区间，上述当前显示参数由用户预先配置或实时更新得到；以及在上述显示界面实时加载上述目标地图区间对应的数据，得到上述车辆行驶地图。

根据本公开的实施例，上述应用于从属终端设备的方法还包括：根据服务器中的预设任务端口，向服务器发起与上述从属终端设备位于同一个局域网的其他从属终端设备进行数据交互或数据共享的任务创建请求；当接收到上述服务器反馈的任务创建成功的反馈结果后，与上述其他从属终端设备进行数据交互或数据共享。

第三方面，本公开的实施例提供了一种车载终端设备，用于基于车-路-云进行车辆内感知共享，上述车载终端设备为第一车辆的主终端设备，上述主终端设备和上述第一车辆内的从属终端设备位于同一个局域网，上述主终端设备包括：通信服务启动模块、数据获取模块、渲染模块、服务端身份连接模块和数据传输模块。上述通信服务启动模块用于在正常启动后，与服务器建立网络连接以及启动上述主终端设备的套接字服务进程。上述数据获取模块用于在与上述服务器联网成功后，向上述服务器发送获取辅助感知数据的请求；上述辅助感知数据为上述服务器根据具备感知能力的路况感知端上报的感知和状态数据生成的数据。上述渲染模块用于根据从上述服务器获取到的上述辅助感知数据，在上述主终端设备的显示界面进行渲染。上述服务端身份连接模块用于响应于上述第一车辆中的从属终端设备发起的与上述主终端设备的套接字服务进程进行连接的请求，与上述从属终端设备建立长连接。上述数据传输模块用于在与上述从属终端设备连接成功后将智能感知数据转发给上述从属终端设备进行独立渲染，上述智能感知数据包括上述辅助感知数据。

第四方面，本公开的实施例提供了一种车载终端设备，用于基于车-路-云进行车辆内感知共享，上述车载终端设备为第一车辆内的从属终端设备，上述从属终端设备与上述第一车辆内的主终端设备位于同一个局域网，上述从属终端设备包括：服务查找模块、网络信息获取模块、客户端身份连接模块、数据接收模块和渲染模块。上述服务查找模块用于在正常启动后，启动网络服务发现NSD功能来查找所在局域网内的服务端。上述网络信息获取模块用于在上述主终端设备的套接字服务进程开启的状态下，基于上述NSD功能查找到的服务端为上述主终端设备时，获取上述主终端设备的IP地址。上述客户端身份连接模块用于根据上述主终端设备的IP地址，与上述主终端设备发起建立长连接的请求。上述数据接收模块用于在与上述主终端设备的套接字服务连接成功的状态下，接收来自上述主终端设备转发的智能感知数据；上述智能感知数据包括辅助感知数据，上述辅助感知数据为上述服务器根据具备感知能力的路况感知端上报的感知和状态数据生成的数据。上述渲染模块用于根据上述从属终端设备的运行状态，在上述从属终端设备的显示界面对上述智能感知数据进行渲染。

第五方面，本公开的实施例提供了一种车辆内多终端进行感知共享的系统。该系统包括：位于第一车辆内的域控制器、主终端设备和从属终端设备，上述第一车辆为具有智能感知元器件的支持自动驾驶功能的车辆。上述域控制器用于在正常启动后向上述第一车辆的局域网内的目标端口发送UDP组播消息、开启套接字服务进程以及与服务器进行联网，并用于和上述第一车辆的主终端设备基于套接字建立长连接，以传输上述第一车辆的感知和状态数据；还用于向上述服务器上报上述第一车辆的感知和状态数据。上述主终端设备用于分别和上述域控制器基于套接字建立长连接、和上述从属终端设备基于套接字建立长连接、以及和上述服务器基于套接字或者基于http建立长连接，并分别在上述主终端设备的显示界面来对整合感知数据进行渲染、将上述整合感知数据转发给上述从属终端设备；其中，上述整合感知数据是根据从上述域控制器接收的上述感知和状态数据以及从上述服务器获取的辅助感知数据整合得到的，上述辅助感知数据为上述服务器根据具备感知能力的路况感知端上报的感知和状态数据生成的数据，上述路况感知端区别于上述第一车辆。上述从属终端设备用于和上述主终端设备基于套接字建立长连接，并根据上述从属终端设备的运行状态，在上述从属终端设备的显示界面对从上述主终端设备接收到的整合感知数据进行独立渲染。

第六方面，本公开的实施例提供了一种车辆内多终端进行感知共享的系统。该系统包括：位于第一车辆内的主终端设备和从属终端设备；上述第一车辆为不具备智能感知元器件的车辆。上述主终端设备用于分别和服务器基于套接字或者基于http建立长连接、和从属终端设备基于套接字建立长连接，并分别在上述主终端设备的显示界面来对从服务器接收到的辅助感知数据进行渲染、将上述辅助感知数据转发给上述从属终端设备，上述辅助感知数据为上述服务器根据具备感知能力的路况感知端上报的感知和状态数据生成的数据，上述路况感知端区别于上述第一车辆。从属终端设备用于和上述主终端设备基于套接字建立长连接，并根据上述从属终端设备的运行状态，在上述从属终端设备的显示界面对从上述主终端设备接收到的辅助感知数据进行独立渲染。

根据本公开的实施例，上述系统中，上述主终端设备为司机侧的车载设备，上述从属终端设备为乘客侧的车载设备；上述主终端设备和上述从属终端设备为内置于上述第一车辆中的显示设备；或者，上述主终端设备和上述从属终端设备中的至少一项为位于上述第一车辆内且与上述第一车辆相互独立的显示设备。

本公开实施例提供的一些技术方案具有如下优点的部分或全部：

对于第一车辆的主终端设备而言，通过与服务器进行联网以及与从属终端设备之间基于套接字建立连接，通过从服务器获取辅助感知数据，该辅助感知数据是由服务器根据不同于第一车辆的一个或多个具备感知能力的路况感知端上报的传感和状态数据来生成的关于第一车辆周边交通元素的数据，从而分别根据该辅助感知数据在主终端设备进行渲染、将包含辅助感知数据的智能感知数据基于套接字长连接转发至从属终端设备进行独立渲染；对于不具备环境感知能力的普通车辆而言，基于辅助感知数据帮助该普通车辆实现环境感知；对于具有环境感知能力的自动驾驶车辆而言，通过辅助感知数据与自身的感知数据进行整合，能够拓宽自身感知范围；另外，不论第一车辆是普通车辆还是自动驾驶车辆，在第一车辆内的主终端设备和从属终端设备中实现数据共享的同时还可以独立显示，实现了对感知数据进行灵活地屏幕共享，有助于提升用户体验。

附图说明

此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本公开的实施例，并与说明书一起用于解释本公开的原理。

为了更清楚地说明本公开实施例或现有技术中的技术方案，下面将对实施例或相关技术描述中所需要使用的附图作简单地介绍，显而易见地，对于本领域普通技术人员而言，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1A示意性地示出了本公开一实施例的车辆内多终端进行感知共享的系统与服务器、路况感知端交互的系统架构；

图1B示意性地示出了本公开一实施例的服务器、车辆内的主终端设备和从属终端设备之间的交互过程示意图；

图2A示意性地示出了本公开另一实施例的车辆内多终端进行感知共享的系统与服务器、路况感知端交互的系统架构；

图2B示意性地示出了本公开另一实施例的服务器、车辆内的主终端设备、从属终端设备和域控制器之间的交互过程示意图；

图3示意性地示出了本公开一实施例的应用于主终端设备的基于车-路-云的车辆内多终端进行感知共享的方法的流程图；

图4A示意性地示出了本公开一实施例的应用于常规车辆的方法中的步骤S303的详细实施过程图；

图4B示意性地示出了本公开另一实施例的应用于自动驾驶车辆的方法中的步骤S303的详细实施过程图；

图5示意性地示出了本公开一实施例的基于车-路-云的车辆内多终端进行感知共享的方法的流程图；

图6示意性地示出了本公开一实施例的车载终端设备的结构框图；以及

图7示意性地示出了本公开另一实施例的车载终端设备的结构框图。

具体实施方式

在研发中发现：针对不具备智能感知元器件(自动驾驶车辆中必备的元器件)的普通车辆而言，这些普通车辆在行驶时对于周边环境的感知大多是通过司机对车辆后视镜、对道路前方的人为观察，导致坐在车辆里面的司机和乘客对于车辆外部的信息感知有限，并且基本不支持司机侧设备和乘客侧设备之间的感知共享；另外，对于自动驾驶车辆而言，现在的自动驾驶车辆具有一定的环境感知能力，能够基于投屏的方式，将司机屏幕(母机)的屏幕画面信息(感知的交通信息)通过直播的形式镜像投射到乘客的屏幕上，然而这种方式导致其他屏幕只能观看无法进行交互。

有鉴于此，本公开的实施例提供了一种基于车-路-云的车辆内感知共享的方法、设备及系统，针对某个车辆(例如描述为第一个车辆)内的主终端设备，该主终端设备通过从服务器获取辅助感知数据，该辅助感知数据是由服务器根据不同于第一车辆的一个或多个具备感知能力的路况感知端上报的传感和状态数据来生成的关于第一车辆周边交通元素的数据，从而分别根据该辅助感知数据在主终端设备进行渲染、将包含辅助感知数据的智能感知数据基于套接字长连接转发至从属终端设备进行独立渲染；对于不具备环境感知能力的普通车辆而言，基于辅助感知数据帮助该普通车辆实现环境感知；对于具有环境感知能力的自动驾驶车辆而言，通过辅助感知数据与自身的感知数据进行整合，能够拓宽自身感知范围。另外，不论第一车辆是普通车辆还是自动驾驶车辆，在第一车辆内的主终端设备和从属终端设备中实现数据共享的同时还可以独立显示，实现了对感知数据进行灵活地屏幕共享，有助于提升用户体验。

为使本公开实施例的目的、技术方案和优点更加清楚，下面将结合本公开实施例中的附图，对本公开实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本公开的一部分实施例，而不是全部的实施例。基于本公开中的实施例，本领域普通技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本公开保护的范围。

本公开的第一个示例性实施例提供了一种车辆内多终端进行屏幕共享的系统。

图1A示意性地示出了本公开一实施例的车辆内多终端进行感知共享的系统与服务器、路况感知端交互的系统架构；图1B示意性地示出了本公开一实施例的服务器、车辆内的主终端设备和从属终端设备之间的交互过程示意图。

参照图1A所示，本公开一种实施例提供的车辆内多终端进行感知共享的系统100a包括：位于第一车辆内的主终端设备110和从属终端设备120。上述主终端设备110和从属终端设备120位于同一个局域网中。第一车辆例如为普通车辆A。

本实施例中，普通车辆A为不具备智能感知元器件的车辆，区别于自动驾驶车辆。本公开的实施例中，自动驾驶车辆是指具有智能感知元器件的支持自动驾驶功能的车辆。

参照图1A和图1B所示，主终端设备110作为服务器210的客户端(Client)，同时作为上述车辆A的从属终端设备120的服务端(Server)。主终端设备110用于分别和服务器210基于套接字或者基于http建立长连接、和从属终端设备120基于套接字(Socket)建立长连接，并分别在上述主终端设备110的显示界面来对从服务器210接收到的辅助感知数据进行渲染、将上述辅助感知数据转发给上述从属终端设备120，上述辅助感知数据为上述服务器210根据具备感知能力的路况感知端310上报的感知和状态数据生成的数据，上述路况感知端310区别于上述车辆A。在图1B中以主终端设备110和服务器210之间、主终端设备110和从属终端设备120之间均基于套接字建立长连接的过程作为示例。

参照图1A和图1B所示，从属终端设备120用于和上述主终端设备110基于套接字建立长连接，并根据上述从属终端设备120的运行状态，在上述从属终端设备120的显示界面对从上述主终端设备110接收到的辅助感知数据进行独立渲染。

在一实施例中，上述主终端设备110和从属终端设备120上安装有地图导航类应用。

服务器210为上述地图导航类应用提供数据处理的服务，可以是常规应用服务器或者云服务器。

上述路况感知端310为具有感知能力的车辆311、路侧设备312或移动设备313中的一项或多项，上述移动设备313为独立于上述路侧设备或上述车辆的设备，上述移动设备自身具有可移动功能或者上述移动设备为非驾驶状态的交通参与者随身携带的电子设备。例如，上述移动设备为无人机，或者上述移动设备为为交通管理人员、路边的行人、过天桥的行人等随身携带的电子设备，该电子设备可以是基于地图导航类应用的登录模式或者访客模式，在登录模式或访客模式下，路况感知端310的用户可以将实时拍摄的路况图片、视频等向服务器210进行实时上传同步，服务器会对路况感知端上传/上报的数据进行真实性核验，在核验通过后才会作为有效的传感和状态数据，并据此来生成辅助感知数据。

在一些实施例中，发给目标车辆的辅助感知数据可以是根据该目标车辆之外的任何一个或多个路况感知端310上报的有效的感知和状态数据生成的数据。

例如，上述辅助感知数据包括：位于上述第一车辆的周围预设范围内(周围辐射20米直径范围内)的路况感知端上报的感知和状态数据经融合去重后得到的关于上述第一车辆的目标数据。

图2A示意性地示出了本公开另一实施例的车辆内多终端进行感知共享的系统与服务器、路况感知端交互的系统架构；图2B示意性地示出了本公开另一实施例的服务器、车辆内的主终端设备、从属终端设备和域控制器之间的交互过程示意图。

参照图2A所示，本公开另一种实施例提供的车辆内多终端进行感知共享的系统100b包括：位于第一车辆内的域控制器130、主终端设备110和从属终端设备120。第一车辆例如为自动驾驶车辆B。

本实施例中，上述自动驾驶车辆B为具有智能感知元器件的支持自动驾驶功能的车辆。

参照图2A和图2B所示，域控制器130用于在正常启动后向上述该自动驾驶车辆B的局域网内的目标端口(例如图2B示例的端口XX)发送UDP组播消息、开启套接字服务进程(例如为netty Socket-Server进程)以及与服务器210进行联网，与服务器进行联网的方式可以是基于Http/Socket建立长连接，并用于和上述自动驾驶车辆B的主终端设备110基于套接字建立长连接，以传输上述自动驾驶车辆B的感知和状态数据；还用于向上述服务器210上报自动驾驶车辆B的感知和状态数据。

域控制器在启动时会自行启动车载通信模块，例如该车载通信模块为车载计算机系统telemetics中的一个功能模块。

Internet协议集支持一个无连接的传输协议，该协议称为用户数据报协议(UDP，User Datagram Protocol)，UDP为应用程序提供了一种无需建立连接就可以发送封装的IP数据包的方法，即UDP是一种无连接的传输协议。

套接字(Socket)就是对网络中不同主机上的应用进程之间进行双向通信的端点的抽象。一个套接字就是网络上进程通信的一端，提供了应用层进程利用网络协议交换数据的机制。从所处的地位来讲，套接字上联应用进程，下联网络协议栈，是应用程序通过网络协议进行通信的接口，是应用程序与网络协议栈进行交互的接口。

参照图2A和图2B所示，上述主终端设备110用于分别和上述域控制器130基于套接字建立长连接、和上述从属终端设备120基于套接字建立长连接、以及和上述服务器210基于套接字或者基于http建立长连接，并分别在上述主终端设备110的显示界面来对整合感知数据进行渲染、将上述整合感知数据转发给上述从属终端设备120。

其中，上述整合感知数据是根据从上述域控制器130接收的上述感知和状态数据以及从上述服务器210获取的辅助感知数据整合得到的，上述辅助感知数据为上述服务器210根据具备感知能力的路况感知端310上报的感知和状态数据生成的数据，上述路况感知端310区别于上述自动驾驶车辆B。

上述主终端设备110和上述从属终端设备120被划分至域控制器130的不同的逻辑分组中。主终端设备120和上述域控制器130基于UDP组播和Socket连接的方式进行连接，主终端设备110作为上述域控制器130发送的车辆感知和状态数据的数据接收端。

上述主终端设备110和上述从属终端设备120被划分至服务器210的不同的逻辑分组中。主终端设备110和上述服务器210之间可以基于UDP组播和Socket连接的方式进行连接，主终端设备110作为上述服务器210发送的辅助感知数据的数据接收端。另外，在其他实施例中，主终端设备110和上述服务器210之间可以基于http长连接的形式进行数据传输。

域控制器130和服务器210之间可以基于http或Socket长连接的形式进行数据传输。

参照图2A和图2B所示，上述从属终端设备120用于和上述主终端设备110基于套接字建立长连接，并根据上述从属终端设备120的运行状态，在上述从属终端设备120的显示界面对从上述主终端设备110接收到的整合感知数据进行独立渲染。

在图1A～图2B中，以两个从属终端设备120作为示例，实际上从属终端设备的个数可以根据实际情况进行对应调整。

根据本公开的实施例，以上各个系统100a和100b中，上述主终端设备110和上述从属终端设备120为内置于第一车辆中的显示设备；或者，上述主终端设备110和上述从属终端设备120中的至少一项为位于第一车辆内且与第一车辆相互独立的显示设备。

在一实施例中，上述主终端设备为车辆内(空间位置位于车辆内)的司机侧的车载设备，该车载设备可以是内置于车辆中且位于司机视野范围内的显示设备，例如为驾驶舱车载显示屏；也可以是司机所使用的安装有地图导航类应用的终端设备，例如为手机、平板电脑、笔记本电脑、智能手表、带有显示屏的智能手环等，该主终端设备用于实现本公开实施例提供的车辆内多终端进行感知共享的方法，例如该主终端设备中安装的地图导航类应用包含用于实现本公开实施例所提供的车辆内多终端进行感知共享的方法的程序指令或功能模块等。

在一实施例中，上述从属终端设备为车辆内(空间位置位于车辆内)的乘客侧的车载设备，该车载设备可以是内置于车辆中且位于乘客视野范围内的显示设备，例如设置于司机座椅后方面向乘客设置供后排用户观看的车载显示屏(具体位置不限制，根据实际场景需要可以在车辆内部进行灵活设置)；也可以是乘客所使用的安装有地图导航类应用的终端设备，例如为手机、平板电脑、笔记本电脑、智能手表、带有显示屏的智能手环等，该从属终端设备用于实现本公开实施例提供的车辆内多终端进行感知共享的方法，例如该从属终端设备中安装的地图导航类应用包含用于实现本公开实施例所提供的车辆内多终端进行感知共享的方法的程序指令或功能模块等。

基于本公开实施例提供的系统，不论第一车辆是普通车辆还是自动驾驶车辆，在第一车辆内的主终端设备和从属终端设备中实现数据共享的同时还可以独立显示，实现了对感知数据进行灵活地屏幕共享，有助于提升用户体验。

本公开的第二个示例性实施例提供了一种车辆内多终端进行感知共享的方法。本实施例提供的方法可应用于图1的系统100a或系统100b中的主终端设备110。

例如，在一实施例中，该主终端设备110中安装有地图导航类应用，该地图导航类应用包含用于实现上述方法的程序指令或功能模块。

图3示意性地示出了本公开一实施例的应用于主终端设备的基于车-路-云的车辆内多终端进行感知共享的方法的流程图。

参照图3所示，本公开实施例提供的应用于主终端设备的基于车-路-云的车辆内多终端进行感知共享的方法，包括以下步骤：S301、S302、S303和S304。

在步骤S301，在正常启动后，与服务器建立网络连接以及启动上述主终端设备的套接字服务进程。

例如，主终端设备110可以基于http或Socket长连接的形式与服务器210建立网络连接，以进行数据交互。例如，主终端设备110可以基于tcp协议建立keep-alive(保持长连接)的形式与服务器建立http长连接。或者，参照图1B或图2B所示，服务器210和主终端设备110之间可以基于UDP组播传输IP地址之后基于套接字建立连接的形式来建立网络连接。

在主终端设备正常启动后或者在该主终端设备正常启动该地图导航类应用(自行开发的一类应用)后，启动主终端设备的套接字服务进程，这种状态下，主终端设备作为从属终端设备的服务端，对应的身份为套接字服务端身份，与之对应的客户端为从属设备。

在步骤S302，在与上述服务器联网成功后，向上述服务器发送获取辅助感知数据的请求。上述辅助感知数据为上述服务器根据具备感知能力的路况感知端上报的感知和状态数据生成的数据；上述路况感知端区别于上述第一车辆。

根据本公开的实施例，上述辅助感知数据包括：位于上述第一车辆的周围预设范围内的路况感知端上报的感知和状态数据经融合去重后得到的关于上述第一车辆且处于上述第一车辆的感知范围之外的目标数据。

根据本公开的实施例，上述路况感知端可以参照上述系统100a、100b中的路况感知端310的描述。该路况感知端为具有感知能力的车辆、路侧设备或移动设备中的一项或多项，上述移动设备为独立于上述路侧设备或上述车辆的设备，上述移动设备自身具有可移动功能(例如为无人机)或者上述移动设备为非驾驶状态的交通参与者(例如为交通管理人员、路边的行人、过天桥的行人等)随身携带的电子设备。

在步骤S303，根据从上述服务器获取到的上述辅助感知数据，在上述主终端设备的显示界面进行渲染。

在步骤S304，响应于上述第一车辆中的从属终端设备发起的与上述主终端设备的套接字服务进程进行连接的请求，与上述从属终端设备建立长连接，并在连接成功后将智能感知数据转发给上述从属终端设备进行独立渲染，上述智能感知数据包括上述辅助感知数据。

根据本公开的实施例，上述第一车辆为不具备智能感知元器件的车辆；或者，上述第一车辆为具有智能感知元器件的支持自动驾驶的车辆。

基于上述步骤S301～S304，对于第一车辆的主终端设备而言，通过与服务器进行联网以及与从属终端设备之间基于套接字建立连接，通过从服务器获取辅助感知数据，该辅助感知数据是由服务器根据不同于第一车辆的一个或多个具备感知能力的路况感知端上报的传感和状态数据来生成的关于第一车辆周边交通元素的数据，从而分别根据该辅助感知数据在主终端设备进行渲染、将包含辅助感知数据的智能感知数据基于套接字长连接转发至从属终端设备进行独立渲染。对于不具备环境感知能力的普通车辆而言，基于辅助感知数据帮助该普通车辆实现环境感知；对于具有环境感知能力的自动驾驶车辆而言，通过辅助感知数据与自身的感知数据进行整合，能够拓宽自身感知范围；另外，不论第一车辆是普通车辆还是自动驾驶车辆，在第一车辆内的主终端设备和从属终端设备中实现数据共享的同时还可以独立显示，实现了对感知数据进行灵活地屏幕共享，有助于提升用户体验。

图4A示意性地示出了本公开一实施例的应用于常规车辆的方法中的步骤S303的详细实施过程图。

根据本公开的一种实施例，当上述第一车辆为不具备智能感知元器件的车辆(参照图1A和图1B示例的架构所示，主终端设备110和从属终端设备120位于同一个局域网)时，参照图4A所示，上述步骤S303中，根据从上述服务器获取到的上述辅助感知数据，在上述主终端设备的显示界面进行渲染，包括以下步骤：S411、S412和S413。

在步骤S411，根据上述辅助感知数据进行障碍物检测，得到是否存在障碍物以及当存在障碍物时对应的障碍物类型的检测结果。

在一实施例中，上述辅助感知数据为实时的路况图像数据，该路况图像数据携带有实时路况信息、车辆行驶路径信息、车辆状态信息等至少一项信息。根据辅助感知数据进行障碍物检测，可以通过调用opencv(开源计算机视觉，是一个主要针对实时计算机视觉的编程函数库)的图像处理服务先进行图像分割，对分割后的图像区域经由tensorflow(一种开源机器学习平台，是将复杂的数据结构传输至人工智能神经网中进行分析和处理过程的平台)输入至障碍物检测模型进行识别，获得检测结果。该障碍物检测模型是通过大量的路况标定数据进行训练后得到的。

在步骤S412，当上述检测结果表征存在障碍物时，确定上述障碍物的三维位置信息。

例如可以采用以下方式确定障碍物的三维位置信息：根据该车辆感知和状态数据以及该摄像装置的参数，确定在该车辆所在世界坐标系下障碍物的相对位置信息；根据该车辆的实时位置信息和该相对位置信息，确定该障碍物的三维位置信息。

在步骤S413，根据上述三维位置信息和上述障碍物类型，在上述主终端设备的显示界面实时加载的车辆行驶地图中渲染对应的障碍物。

在一实施例中，当检测到该主终端设备的当前显示界面加载的为目标应用(例如目标应用为该地图导航类应用)时，在该主终端设备的当前显示界面来渲染关于该辅助感知数据的当前数据包；当检测到该主终端设备的当前显示界面加载的为非目标应用时，将接收到的关于该辅助感知数据的当前数据包丢弃不做渲染；当检测到该主终端设备的当前显示界面加载的对象由运行中的非目标应用切换为目标应用时，在该主终端设备的当前显示界面来渲染关于该辅助感知数据的当前数据包。

上述辅助感知数据包括以下至少一项：实时路况信息、车辆行驶路径信息、车辆状态信息。

例如，实时路况信息可以是由第一车辆附近的其他车辆的智能感知元器件、路侧设备的摄像装置或者移动设备的摄像装置等路况感知端所收集的关于第一车辆的路况信息。

车辆行驶路径信息为第一车辆附近的路况感知端收集的关于第一车辆的行驶路线，该行驶路线是由多个瞬时动作构成的时序数据，例如可以确定车辆在行驶过程中在导航地图途径的各个位置坐标点。

车辆状态信息包括路况感知端感知到的第一车辆的状态信息，例如为车辆处于停止状态或是行驶状态、车辆的行驶速度、车辆的转弯状态、车辆是否抛锚等。

根据本公开的另一种实施例，当上述第一车辆为不具备智能感知元器件的车辆时，根据从上述服务器获取到的上述辅助感知数据，在上述主终端设备的显示界面进行渲染，包括：在上述主终端设备的显示界面渲染上述实时路况信息、上述车辆行驶路径信息和上述车辆状态信息中的至少一项。

根据本公开的实施例，应用于普通车辆的主终端设备的感知共享的方法中，该车辆行驶地图通过以下方式加载：

获取该第一车辆的规划路径；

确定该第一车辆的当前行驶位置到后续规划路径所要显示的地图数据；

根据该地图数据计算适配于该主终端设备的显示界面中当前显示参数的目标地图区间，该当前显示参数由用户预先配置或实时更新得到；以及

在该显示界面实时加载该目标地图区间对应的数据，得到该车辆行驶地图。

基于以上加载方式，能够在车辆行驶过程中动态加载车辆行驶地图，并能够根据用户设置或更新的当前显示参数来更改显示的车辆行驶地图所对应的目标地图区间，有助于满足用户的个性化需求，并提升车辆行驶地图的展示的灵活性。

对于普通车辆而言，可以从为该车辆提供导航服务的服务器(例如为云端服务器)或者车辆自带的导航应用中获取该车辆的规划路径。

示例性的，与车载设备的显示界面中当前显示参数适配的地图数据为：距离当前行驶位置为200米之内的地图数据，那么在规划路径中从当前位置开始到200米以内的范围为该目标地图区间。在其他实施例中，如果用户设置的当前显示参数不同，那么车载单元的显示界面实时加载的目标地图区间也是具有差异的，例如在规划路径中从当前位置开始到20米以内的范围为该目标地图区间。

当前显示参数包括：车载设备的显示屏幕的长宽高以及像素密度等参数，以及当前用户设置的视角高度等；通过结合以上参数信息来动态调整地图的渲染范围。

根据本公开的另一种实施例，当上述第一车辆为具备智能感知元器件的支持自动驾驶的车辆时，(参照图2A和图2B示例的架构所示，上述第一车辆包括域控制器130，上述域控制器130与上述主终端设备110以及上述从属终端设备120位于同一个局域网。

参照图2B所示，当上述第一车辆为具备智能感知元器件的支持自动驾驶的车辆时，上述应用于主终端设备的方法还包括以下步骤：

在正常启动后，启动用户数据报协议UDP监听端口(例如为端口XX)；

根据上述UDP监听端口监听的组播消息，与上述第一车辆的域控制器的套接字服务进程建立长连接；以及

从该域控制器的套接字服务进程接收上述第一车辆的感知和状态数据。

这里主终端设备从所在的第一车辆内的域控制器接收到的感知和状态数据是由第一车辆的智能感知元器件感知到的数据，该数据与从服务器获取的辅助感知数据相互独立。

图4B示意性地示出了本公开另一实施例的应用于自动驾驶车辆的方法中的步骤S303的详细实施过程图。

参照图4B所示，上述步骤S303中，根据从上述服务器获取到的上述辅助感知数据，在上述主终端设备的显示界面进行渲染，包括以下步骤：S421和S422。

在步骤S421，将上述辅助感知数据和上述第一车辆的车辆感知和状态数据进行整合，得到整合感知数据。

在一实施例中，自动驾驶车辆行驶前基本都会检查车辆各个部件是否正常工作，在车辆行驶一切正常的场景下，该步骤S421中，直接将接收到的辅助感知数据和第一车辆的域控制器感知的车辆感知和状态数据进行整合，得到整合感知数据。

在另一实施例中，个别情况下，自动驾驶车辆在行驶过程中可能存在故障，在这种场景下，该步骤S421包括：确定辅助感知数据和上述第一车辆的车辆感知和状态数据之间是否存在共同感知区域；在存在共同感知区域的情况下，确定上述辅助感知数据针对上述共同感知区域的感知结果和上述第一车辆的车辆感知和状态数据针对上述共同感知区域的感知结果之间的偏差是否小于或等于预设阈值；在该偏差小于或等于预设阈值的情况下，将上述辅助感知数据和上述第一车辆的车辆感知和状态数据进行整合，得到整合感知数据。

在不存在共同感知区域的情况下，根据第一车辆和路况感知端的相对可靠性，将第一车辆和路况感知端中可靠性更高的一者感知的数据作为整合感知数据。

一般而言，服务器传输过来的辅助感知数据的感知范围要比车辆自身的感知范围更宽广。如果从服务器获取的辅助感知数据与车辆的域控制器获取的感知和状态数据针对同一个路段范围发生感知偏差，通常感知偏差在不同视角下在预设阈值范围内是可接受的。

该步骤S421中，在该偏差大于上述预设阈值时，根据针对该共同感知区域中第一车辆和路况感知端的相对可靠性，将第一车辆和路况感知端中可靠性更高的一者感知的数据作为整合感知数据。

此外，在该偏差大于上述预设阈值的情况下，还可以对应调整第一车辆的行驶状态，以保证行驶安全。例如，可以由自动驾驶状态切换为人工驾驶状态(故障的器件不影响驾驶的情况下)，或者进行停车操作(核心器件发生故障的情况下)等。

例如，针对该共同感知区域中第一车辆和路况感知端的相对可靠性可以通过以下方式来确定：在路况感知端有多个和/或路况感知端有多种不同的类型等情况下，经服务器校验真实性进行融合去重得到的辅助感知数据的可靠性相对于当前行驶车辆的可靠性更高。

当感知偏差大于预设阈值后，由于在服务器一侧预先对辅助感知数据下发前经过真实性校验，那么在辅助感知数据是真实的这一前提条件下，发生较大程度感知偏差这种情况对应的原因可能是由于第一车辆自身发生性能故障，其中可能是某个传感元器件发生故障或者计算单元故障等等，那么在进行感知数据的整合时，需要判断自动驾驶车辆是否存在故障并基于可靠的感知数据进行呈现，此外，在影响自动驾驶的情况下还可以进一步采取对应的动作以确保行驶安全。

在步骤S422，根据上述整合感知数据，在上述主终端设备的显示界面进行渲染；其中，上述整合感知数据作为用于向上述从属终端设备转发的上述智能感知数据。

在一实施例中，该步骤S422中可以直接对整合感知数据进行渲染。

或者，在另一实施例中，该步骤S422的包括子步骤S422a、S422b和S422c，子步骤S422a、S422b和S422c与前述步骤S411～S413的执行逻辑相同，区别在于本实施例中的处理对象为整合感知数据，具体可以参照前述步骤S411～S413的描述，这里不再赘述。

本公开的第三个示例性实施例提供了一种基于车-路-云的车辆内共享感知的方法。上述方法应用于第一车辆的从属终端设备，上述从属终端设备与上述第一车辆内的主终端设备位于同一个局域网，可以参照图1A～图2B中的从属终端设备120所示。

图5示意性地示出了本公开一实施例的基于车-路-云的车辆内多终端进行感知共享的方法的流程图。

参照图5所示，本公开实施例的应用于从属终端设备的基于车-路-云的车辆内共享感知的方法，包括以下步骤：S501、S502、S503、S504和S505。

在步骤S501，在正常启动后，启动网络服务发现NSD功能来查找所在局域网内的服务端。

在步骤S502，在上述主终端设备的套接字服务进程开启的状态下，基于上述NSD功能查找到的服务端为上述主终端设备时，获取上述主终端设备的IP地址。

在步骤S503，根据上述主终端设备的IP地址，与上述主终端设备发起建立长连接的请求。

在步骤S504，在与上述主终端设备的套接字服务连接成功的状态下，接收来自上述主终端设备转发的智能感知数据。

上述智能感知数据包括辅助感知数据，上述辅助感知数据为上述服务器根据具备感知能力的路况感知端上报的感知和状态数据生成的数据，上述路况感知端区别于上述第一车辆。

在步骤S505，根据上述从属终端设备的运行状态，在上述从属终端设备的显示界面对上述智能感知数据进行渲染。

根据本公开的实施例，上述智能感知数据为实时更新的数据包，上述数据包适配于上述第一车辆的实时行驶位置。

上述步骤S505中，根据上述从属终端设备的运行状态，在上述从属终端设备的显示界面对上述智能感知数据进行渲染，包括：当检测到上述从属终端设备的当前显示界面加载的为目标应用时，在上述从属终端设备的当前显示界面来渲染关于上述智能感知数据的当前数据包；当检测到上述从属终端设备的当前显示界面加载的为非目标应用时，将接收到的关于上述智能感知数据的当前数据包丢弃不做渲染；当检测到上述从属终端设备的当前显示界面加载的对象由运行中的非目标应用切换为目标应用时，在上述从属终端设备的当前显示界面来渲染关于上述智能感知数据的当前数据包。

例如，在场景A中，可以是从属终端设备开启了目标应用(例如为地图导航类应用)并且当前显示界面加载的就是该目标应用，于此同时，不限定该从属终端设备是否在后台同时运行其他应用。

在场景B中，如果从属终端设备的当前显示界面加载的为非目标应用，即使该从属终端设备在后台运行目标应用，也不会对当前数据包进行渲染，既能够节省后台运行的资源消耗，也不影响当前显示应用的呈现。

在该场景C中，从属终端设备可以同时运行多个应用，包括目标应用和非目标应用，在某个时刻显示界面加载的对象可以非目标应用，当用户在下一时刻将运行中的目标应用切换至显示界面进行加载，此时该从属终端设备会获取与该时刻(加载显示目标应用的时刻)对应的实时数据包并进行渲染。

基于以上渲染策略，将从属终端设备当前显示界面加载的当前对象的显示优先级设置为最高，在当前显示界面加载对象为目标应用(由非目标应用切换至目标应用的状态或者当前显示目标应用的状态)时，例如为地图导航类应用时，才会将实时接收到的车辆感知和状态数据进行渲染，不干扰从属终端设备当前显示以及能够适应于用户对感知数据随时查看的需求。

根据本公开的一种实施例，在上述从属终端设备的当前显示界面来渲染关于上述智能感知数据的当前数据包，包括：根据关于上述智能感知数据的当前数据包进行障碍物检测，得到是否存在障碍物以及当存在障碍物时对应的障碍物类型的检测结果；当上述检测结果表征存在障碍物时，确定上述障碍物的三维位置信息；以及根据上述三维位置信息和上述障碍物类型，在上述从属终端设备的显示界面实时加载的车辆行驶地图中渲染对应的障碍物。

根据本公开的实施例，上述车辆行驶地图通过以下方式加载：获取上述第一车辆的规划路径；确定上述第一车辆的当前行驶位置到后续规划路径所要显示的地图数据；根据上述地图数据计算适配于上述从属终端设备的显示界面中当前显示参数的目标地图区间，上述当前显示参数由用户预先配置或实时更新得到；以及在上述显示界面实时加载上述目标地图区间对应的数据，得到上述车辆行驶地图。

根据本公开的另一种实施例，上述智能感知数据包括以下至少一种：实时路况信息、车辆行驶路径信息、车辆状态信息，在该从属终端设备的当前显示界面来渲染关于该车辆感知和状态数据的当前数据包，包括：在该从属终端设备的显示界面渲染上述实时路况信息、车辆行驶路径信息或车辆状态信息的至少一项。

例如，实时路况信息可以是由第一车辆附近的其他车辆的智能感知元器件、路侧设备的摄像装置或者移动设备的摄像装置等路况感知端所收集的关于第一车辆的路况信息。

车辆行驶路径信息为第一车辆附近的路况感知端收集的关于第一车辆的行驶路线，该行驶路线是由多个瞬时动作构成的时序数据，例如可以确定车辆在行驶过程中在导航地图途径的各个位置坐标点。

车辆状态信息包括路况感知端感知到的第一车辆的状态信息，例如为车辆处于停止状态或是行驶状态、车辆的行驶速度、车辆的转弯状态、车辆是否抛锚等。

根据本公开的实施例，上述应用于从属终端设备的方法除了包括上述步骤S501～S505之外，还包括以下步骤：根据服务器中的预设任务端口，向服务器发起与上述从属终端设备位于同一个局域网的其他从属终端设备进行数据交互或数据共享的任务创建请求；当接收到上述服务器反馈的任务创建成功的反馈结果后，与上述其他从属终端设备进行数据交互或数据共享。

数据交互的场景例如包括但不限于是：在同一个局域网下多个从属终端的用户一起玩同一个游戏，玩家可以是游戏对立方或协作方。

数据共享的场景例如包括但不限于是：在同一个局域网下多个从属终端设备相互之间传文件，诸如照片、视频等。

上述第二个实施例和第三个实施例之间的交互信息流可以参照图1A～图2B所示例的系统以及数据交互过程进行理解。

本公开的第四个示例性实施例提供了一种车载终端设备，用于基于车-路-云进行车辆内感知共享，可以结合图1A～图2B所示，上述主终端设备和上述第一车辆内的从属终端设备位于同一个局域网。

图6示意性地示出了本公开一实施例的车载终端设备的结构框图。

参照图6所示，本公开实施例提供的车载终端设备600为第一车辆的主终端设备，上述主终端设备包括：通信服务启动模块601、数据获取模块602、渲染模块603、服务端身份连接模块604和数据传输模块605。

上述通信服务启动模块601用于在正常启动后，与服务器建立网络连接以及启动上述主终端设备的套接字服务进程。

上述数据获取模块602用于在与上述服务器联网成功后，向上述服务器发送获取辅助感知数据的请求；上述服务器用于接收具备感知能力的路况感知端上报的感知和状态数据。

上述渲染模块603用于根据从上述服务器获取到的上述辅助感知数据，在上述主终端设备的显示界面进行渲染。

上述服务端身份连接模块604用于响应于上述第一车辆中的从属终端设备发起的与上述主终端设备的套接字服务进程进行连接的请求，与上述从属终端设备建立长连接。

上述数据传输模块605用于在与上述从属终端设备连接成功后将智能感知数据转发给上述从属终端设备进行独立渲染，上述智能感知数据包括上述辅助感知数据。

本公开实施例的车载终端设备还可以具有用于实现第二个实施例中的方法的其他功能模块或子模块。

本公开的第五个示例性实施例提供了一种车载终端设备，用于基于车-路-云进行车辆内感知共享，上述车载终端设备为第一车辆内的从属终端设备，上述从属终端设备与上述第一车辆内的主终端设备位于同一个局域网。

图7示意性地示出了本公开另一实施例的车载终端设备的结构框图。

参照图7所示，本实施例提供的车载终端设备700包括：服务查找模块701、网络信息获取模块702、客户端身份连接模块703、数据接收模块704和渲染模块705。

上述服务查找模块701用于在正常启动后，启动网络服务发现NSD功能来查找所在局域网内的服务端。

上述网络信息获取模块702用于在上述主终端设备的套接字服务进程开启的状态下，基于上述NSD功能查找到的服务端为上述主终端设备时，获取上述主终端设备的IP地址。

上述客户端身份连接模块703用于根据上述主终端设备的IP地址，与上述主终端设备发起建立长连接的请求。

上述数据接收模块704用于在与上述主终端设备的套接字服务连接成功的状态下，接收来自上述主终端设备转发的智能感知数据；上述智能感知数据包括辅助感知数据，上述辅助感知数据为上述服务器根据具备感知能力的路况感知端上报的感知和状态数据生成的数据。

上述渲染模块705用于根据上述从属终端设备的运行状态，在上述从属终端设备的显示界面对上述智能感知数据进行渲染。

在一些实施例中，该车载终端设备700还可以进一步包括：互动模块。

该互动模块用于根据服务器中的预设任务端口，向服务器发起与该从属终端设备位于同一个局域网的其他从属终端设备进行数据交互或数据共享的任务创建请求；以及在接收到该服务器反馈的任务创建成功的反馈结果后，与该其他从属终端设备进行数据交互或数据共享。

本公开实施例的车载终端设备还可以具有用于实现第三个实施例中的方法的其他功能模块或子模块。

上述车载终端设备600或700中功能模块的任意多个可以合并在一个模块中实现，或者其中的任意一个模块可以被拆分成多个模块。或者，这些模块中的一个或多个模块的至少部分功能可以与其他模块的至少部分功能相结合，并在一个模块中实现。上述车载终端设备600或700中功能模块的至少一个可以至少被部分地实现为硬件电路，例如现场可编程门阵列(FPGA)、可编程逻辑阵列(PLA)、片上系统、基板上的系统、封装上的系统、专用集成电路(ASIC)，或可以通过对电路进行集成或封装的任何其他的合理方式等硬件或固件来实现，或以软件、硬件以及固件三种实现方式中任意一种或以其中任意几种的适当组合来实现。或者，上述车载终端设备800或900中功能模块的至少一个可以至少被部分地实现为计算机程序模块，当该计算机程序模块被运行时，可以执行相应的功能。

需要说明的是，在本文中，诸如“第一”和“第二”等之类的关系术语仅仅用来将一个实体或者步骤与另一个实体或步骤区分开来，而不一定要求或者暗示这些实体或步骤之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。

以上所述仅是本公开的具体实施方式，使本领域技术人员能够理解或实现本公开。对这些实施例的多种修改对本领域的技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本公开的精神或范围的情况下，在其它实施例中实现。因此，本公开将不会被限制于本文所示的这些实施例，而是要符合与本文所申请的原理和新颖特点相一致的最宽的范围。

Claims (16)

1.一种基于车-路-云的车辆内共享感知的方法，其特征在于，应用于第一车辆的主终端设备，所述第一车辆为具有智能感知元器件的支持自动驾驶的车辆；

所述第一车辆包括域控制器，所述域控制器与所述主终端设备以及从属终端设备位于同一个局域网，所述主终端设备和所述从属终端设备均为显示设备，所述主终端设备为司机侧的车载设备，所述从属终端设备为乘客侧的车载设备；所述方法包括：

在正常启动后，启动用户数据报协议UDP监听端口；

根据所述UDP监听端口监听的组播消息，与所述第一车辆的域控制器的套接字服务进程建立长连接；

从该域控制器的套接字服务进程接收所述第一车辆的车辆感知和状态数据；

在正常启动后，与服务器建立网络连接以及启动所述主终端设备的套接字服务进程；

在与所述服务器联网成功后，向所述服务器发送获取辅助感知数据的请求；所述辅助感知数据为所述服务器根据具备感知能力的路况感知端上报的感知和状态数据生成的数据，所述路况感知端区别于所述第一车辆；

将从所述服务器获取的辅助感知数据和所述第一车辆的车辆感知和状态数据进行整合，得到整合感知数据；其中，将所述辅助感知数据和所述第一车辆的车辆感知和状态数据进行整合，得到整合感知数据，包括：确定所述辅助感知数据和所述第一车辆的车辆感知和状态数据之间是否存在共同感知区域；在存在共同感知区域的情况下，确定所述辅助感知数据针对所述共同感知区域的感知结果和所述第一车辆的车辆感知和状态数据针对所述共同感知区域的感知结果之间的偏差是否小于或等于预设阈值；在该偏差小于或等于预设阈值的情况下，将所述辅助感知数据和所述第一车辆的车辆感知和状态数据进行整合，得到整合感知数据；

根据所述整合感知数据，在所述主终端设备的显示界面进行渲染；响应于所述第一车辆中的从属终端设备发起的与所述主终端设备的套接字服务进程进行连接的请求，与所述从属终端设备建立长连接，并在连接成功后将所述整合感知数据转发给所述从属终端设备进行独立渲染。

2.根据权利要求1所述的方法，其特征在于，所述辅助感知数据包括：

位于所述第一车辆的周围预设范围内的路况感知端上报的感知和状态数据经融合去重后得到的关于所述第一车辆的目标数据。

3.根据权利要求1所述的方法，其特征在于，所述路况感知端为具有感知能力的车辆、路侧设备或移动设备中的一项或多项，所述移动设备为独立于所述路侧设备或所述车辆的设备。

4.根据权利要求1所述的方法，其特征在于，还包括：

在该偏差大于所述预设阈值的情况下，根据针对该共同感知区域中所述第一车辆和所述路况感知端的相对可靠性，将所述第一车辆和所述路况感知端中可靠性更高的一者感知的数据作为整合感知数据。

5.根据权利要求4所述的方法，其特征在于，还包括：

在该偏差大于上述预设阈值的程度高于设定程度的情况下，调整所述第一车辆的行驶状态由自动驾驶状态切换为人工驾驶状态或停车状态。

6.根据权利要求1所述的方法，其特征在于，根据所述整合感知数据，在所述主终端设备的显示界面进行渲染，包括：

根据所述整合感知数据进行障碍物检测，得到是否存在障碍物以及当存在障碍物时对应的障碍物类型的检测结果；

当所述检测结果表征存在障碍物时，确定所述障碍物的三维位置信息；以及

根据所述三维位置信息和所述障碍物类型，在所述主终端设备的显示界面实时加载的车辆行驶地图中渲染对应的障碍物。

7.根据权利要求6所述的方法，其特征在于，所述车辆行驶地图通过以下方式加载：

获取所述第一车辆的规划路径；

确定所述第一车辆的当前行驶位置到后续规划路径所要显示的地图数据；

根据所述地图数据计算适配于所述主终端设备的显示界面中当前显示参数的目标地图区间，所述当前显示参数由用户预先配置或实时更新得到；以及

在所述显示界面实时加载所述目标地图区间对应的数据，得到所述车辆行驶地图。

8.一种基于车-路-云的车辆内共享感知的方法，其特征在于，应用于第一车辆的从属终端设备，所述第一车辆为具有智能感知元器件的支持自动驾驶的车辆；

所述第一车辆包括域控制器，所述域控制器与主终端设备以及所述从属终端设备位于同一个局域网，所述主终端设备和所述从属终端设备均为显示设备，所述主终端设备为司机侧的车载设备，所述从属终端设备为乘客侧的车载设备；所述方法包括：

在正常启动后，启动网络服务发现NSD功能来查找所在局域网内的服务端；

在所述主终端设备的套接字服务进程开启的状态下，基于所述NSD功能查找到的服务端为所述主终端设备时，获取所述主终端设备的IP地址；

根据所述主终端设备的IP地址，向所述主终端设备发起建立长连接的请求；

在与所述主终端设备的套接字服务连接成功的状态下，接收来自所述主终端设备转发的整合感知数据；所述整合感知数据是将从服务器获取的辅助感知数据和所述第一车辆的车辆感知和状态数据进行整合得到的，所述辅助感知数据为所述服务器根据具备感知能力的路况感知端上报的感知和状态数据生成的数据，所述路况感知端区别于所述第一车辆；其中，将从服务器获取的辅助感知数据和所述第一车辆的车辆感知和状态数据进行整合得到整合感知数据，包括：确定所述辅助感知数据和所述第一车辆的车辆感知和状态数据之间是否存在共同感知区域；在存在共同感知区域的情况下，确定所述辅助感知数据针对所述共同感知区域的感知结果和所述第一车辆的车辆感知和状态数据针对所述共同感知区域的感知结果之间的偏差是否小于或等于预设阈值；在该偏差小于或等于预设阈值的情况下，将所述辅助感知数据和所述第一车辆的车辆感知和状态数据进行整合，得到整合感知数据；以及

根据所述从属终端设备的运行状态，在所述从属终端设备的显示界面对所述整合感知数据进行渲染。

9.根据权利要求8所述的方法，其特征在于，所述整合感知数据为实时更新的数据包，所述数据包适配于所述第一车辆的实时行驶位置；

根据所述从属终端设备的运行状态，在所述从属终端设备的显示界面对所述整合感知数据进行渲染，包括：

当检测到所述从属终端设备的当前显示界面加载的为目标应用时，在所述从属终端设备的当前显示界面渲染关于所述整合感知数据的当前数据包；

当检测到所述从属终端设备的当前显示界面加载的为非目标应用时，将接收到的关于所述整合感知数据的当前数据包丢弃不做渲染；

当检测到所述从属终端设备的当前显示界面加载的对象由运行中的非目标应用切换为目标应用时，在所述从属终端设备的当前显示界面渲染关于所述整合感知数据的当前数据包。

10.根据权利要求9所述的方法，其特征在于，在所述从属终端设备的当前显示界面渲染关于所述整合感知数据的当前数据包，包括：

根据关于所述整合感知数据的当前数据包进行障碍物检测，得到是否存在障碍物以及当存在障碍物时对应的障碍物类型的检测结果；

当所述检测结果表征存在障碍物时，确定所述障碍物的三维位置信息；以及

根据所述三维位置信息和所述障碍物类型，在所述从属终端设备的显示界面实时加载的车辆行驶地图中渲染对应的障碍物。

11.根据权利要求10所述的方法，其特征在于，所述车辆行驶地图通过以下方式加载：

获取所述第一车辆的规划路径；

确定所述第一车辆的当前行驶位置到后续规划路径所要显示的地图数据；

根据所述地图数据计算适配于所述从属终端设备的显示界面中当前显示参数的目标地图区间，所述当前显示参数由用户预先配置或实时更新得到；以及

在所述显示界面实时加载所述目标地图区间对应的数据，得到所述车辆行驶地图。

12.根据权利要求8所述的方法，其特征在于，还包括：

根据服务器中的预设任务端口，向服务器发起与所述从属终端设备位于同一个局域网的其他从属终端设备进行数据交互或数据共享的任务创建请求；

当接收到所述服务器反馈的任务创建成功的反馈结果后，与所述其他从属终端设备进行数据交互或数据共享。

13.一种车载终端设备，用于基于车-路-云进行车辆内感知共享，所述车载终端设备为第一车辆的主终端设备，所述第一车辆为具有智能感知元器件的支持自动驾驶的车辆；

所述第一车辆包括域控制器，所述域控制器与所述主终端设备以及从属终端设备位于同一个局域网，所述主终端设备和所述从属终端设备均为显示设备，所述主终端设备为司机侧的车载设备，所述从属终端设备为乘客侧的车载设备；所述主终端设备包括：

通信服务启动模块，用于在正常启动后，启动用户数据报协议UDP监听端口；

连接模块，用于根据所述UDP监听端口监听的组播消息，与所述第一车辆的域控制器的套接字服务进程建立长连接；

接收模块，用于从该域控制器的套接字服务进程接收所述第一车辆的车辆感知和状态数据；

所述通信服务启动模块，用于在正常启动后，与服务器建立网络连接以及启动所述主终端设备的套接字服务进程；

数据获取模块，用于在与所述服务器联网成功后，向所述服务器发送获取辅助感知数据的请求；所述服务器用于接收具备感知能力的路况感知端上报的感知和状态数据；

整合模块，用于将从所述服务器获取的辅助感知数据和所述第一车辆的车辆感知和状态数据进行整合，得到整合感知数据；其中，将所述辅助感知数据和所述第一车辆的车辆感知和状态数据进行整合，得到整合感知数据，包括：确定所述辅助感知数据和所述第一车辆的车辆感知和状态数据之间是否存在共同感知区域；在存在共同感知区域的情况下，确定所述辅助感知数据针对所述共同感知区域的感知结果和所述第一车辆的车辆感知和状态数据针对所述共同感知区域的感知结果之间的偏差是否小于或等于预设阈值；在该偏差小于或等于预设阈值的情况下，将所述辅助感知数据和所述第一车辆的车辆感知和状态数据进行整合，得到整合感知数据；

渲染模块，用于根据所述整合感知数据，在所述主终端设备的显示界面进行渲染；

服务端身份连接模块，用于响应于所述第一车辆中的从属终端设备发起的与所述主终端设备的套接字服务进程进行连接的请求，与所述从属终端设备建立长连接；

数据传输模块，用于在与所述从属终端设备连接成功后将所述整合感知数据转发给所述从属终端设备进行独立渲染。

14.一种车载终端设备，用于基于车-路-云进行车辆内感知共享，所述车载终端设备为第一车辆内的从属终端设备，所述第一车辆为具有智能感知元器件的支持自动驾驶的车辆；

所述第一车辆包括域控制器，所述域控制器与主终端设备以及所述从属终端设备位于同一个局域网，所述主终端设备和所述从属终端设备均为显示设备，所述主终端设备为司机侧的车载设备，所述从属终端设备为乘客侧的车载设备；所述从属终端设备包括：

服务查找模块，用于在正常启动后，启动网络服务发现NSD功能来查找所在局域网内的服务端；

网络信息获取模块，用于在所述主终端设备的套接字服务进程开启的状态下，基于所述NSD功能查找到的服务端为所述主终端设备时，获取所述主终端设备的IP地址；

客户端身份连接模块，用于根据所述主终端设备的IP地址，与所述主终端设备发起建立长连接的请求；

数据接收模块，用于在与所述主终端设备的套接字服务连接成功的状态下，接收来自所述主终端设备转发的整合感知数据；所述整合感知数据是将从服务器获取的辅助感知数据和所述第一车辆的车辆感知和状态数据进行整合得到的，所述辅助感知数据为所述服务器根据具备感知能力的路况感知端上报的感知和状态数据生成的数据；其中，将从服务器获取的辅助感知数据和所述第一车辆的车辆感知和状态数据进行整合得到整合感知数据，包括：确定所述辅助感知数据和所述第一车辆的车辆感知和状态数据之间是否存在共同感知区域；在存在共同感知区域的情况下，确定所述辅助感知数据针对所述共同感知区域的感知结果和所述第一车辆的车辆感知和状态数据针对所述共同感知区域的感知结果之间的偏差是否小于或等于预设阈值；在该偏差小于或等于预设阈值的情况下，将所述辅助感知数据和所述第一车辆的车辆感知和状态数据进行整合，得到整合感知数据；以及

渲染模块，用于根据所述从属终端设备的运行状态，在所述从属终端设备的显示界面对所述整合感知数据进行渲染。

15.一种车辆内多终端进行感知共享的系统，其特征在于，包括：位于第一车辆内的域控制器、主终端设备和从属终端设备；所述主终端设备和所述从属终端设备均为显示设备，所述主终端设备为司机侧的车载设备，所述从属终端设备为乘客侧的车载设备；所述第一车辆为具有智能感知元器件的支持自动驾驶的车辆；

所述域控制器用于在正常启动后向所述第一车辆的局域网内的目标端口发送UDP组播消息、开启套接字服务进程以及与服务器进行联网，并用于和所述第一车辆的主终端设备基于套接字建立长连接，以传输所述第一车辆的感知和状态数据；还用于向所述服务器上报所述第一车辆的感知和状态数据；

所述主终端设备用于分别和所述域控制器基于套接字建立长连接、和所述从属终端设备基于套接字建立长连接、以及和所述服务器基于套接字或者基于http建立长连接，并分别在所述主终端设备的显示界面来对整合感知数据进行渲染、将所述整合感知数据转发给所述从属终端设备；其中，所述整合感知数据是根据从所述域控制器接收的所述感知和状态数据以及从所述服务器获取的辅助感知数据整合得到的，所述辅助感知数据为所述服务器根据具备感知能力的路况感知端上报的感知和状态数据生成的数据，所述路况感知端区别于所述第一车辆；其中，根据从所述域控制器接收的所述感知和状态数据以及从所述服务器获取的辅助感知数据整合得到整合感知数据，包括：确定所述辅助感知数据和所述第一车辆的车辆感知和状态数据之间是否存在共同感知区域；在存在共同感知区域的情况下，确定所述辅助感知数据针对所述共同感知区域的感知结果和所述第一车辆的车辆感知和状态数据针对所述共同感知区域的感知结果之间的偏差是否小于或等于预设阈值；在该偏差小于或等于预设阈值的情况下，将所述辅助感知数据和所述第一车辆的车辆感知和状态数据进行整合，得到整合感知数据；

所述从属终端设备用于和所述主终端设备基于套接字建立长连接，并根据所述从属终端设备的运行状态，在所述从属终端设备的显示界面对从所述主终端设备接收到的整合感知数据进行独立渲染。

16.根据权利要求15所述的系统，其特征在于，

所述主终端设备和所述从属终端设备为内置于所述第一车辆中的显示设备；或者，所述主终端设备和所述从属终端设备中的至少一项为位于所述第一车辆内且与所述第一车辆相互独立的显示设备。