CN116394962A - 界面显示方法、装置及计算机设备 - Google Patents

Abstract

本发明公开了一种界面显示方法、装置及计算机设备。其中，该方法包括：在显示界面上显示多个执行体对应的决策结果，其中，多个执行体安装于自动驾驶车辆的内生安全系统中，多个执行体为自动驾驶车辆内异构冗余的感知决策系统；基于多个执行体对应的决策结果确定裁决结果；基于裁决结果以及多个执行体的决策结果，确定多个执行体中存在异常的异常执行体；在显示界面上对异常执行体进行区别显示。本发明解决了相关技术中，存在无法获知自动驾驶车辆中内生安全系统的工作状态的技术问题。

Description

界面显示方法、装置及计算机设备

技术领域

本发明涉及智能网联汽车领域，具体而言，涉及一种界面显示方法、装置及计算机设备。

背景技术

随着人工智能技术和通信技术的不断发展，汽车的智能化和网联化程度也越来越高，与此同时，智能网联汽车的发展面临着功能安全和网络安全的双重挑战。智能网联汽车内生安全系统作为一种新兴、可靠的自动驾驶技术保障自动驾驶车辆的功能安全，其主要工作原理是通过集成各类传感器获取车辆周围环境信息，支持接入多路感知执行体数据，执行感知决策信息裁决，并将裁决结果输出给车辆控制总线，控制自动驾驶车辆，保障自动驾驶车辆的“底线安全”。

但内生安全系统在自动驾驶车辆上部署后，其工作过程对于外界而言，就是一个黑盒子，对于它的工作状态以及工作结果的准确性无法知晓，也无法保证。

因此，在相关技术中，存在无法获知自动驾驶车辆中内生安全系统的工作状态的问题。针对上述的问题，目前尚未提出有效的解决方案。

发明内容

本发明实施例提供了一种界面显示方法、装置及计算机设备，以至少解决相关技术中，存在无法获知自动驾驶车辆中内生安全系统的工作状态的技术问题。

根据本发明实施例的一个方面，提供了一种界面显示方法，包括：在显示界面上显示多个执行体对应的决策结果，其中，所述多个执行体安装于自动驾驶车辆的内生安全系统中，所述多个执行体为所述自动驾驶车辆内异构冗余的感知决策系统；接收基于所述多个执行体对应的决策结果确定裁决结果；基于所述裁决结果以及所述多个执行体的决策结果，确定多个执行体中存在异常的异常执行体；在所述显示界面上对所述异常执行体进行区别显示。

可选的，所述在显示界面上显示多个执行体对应的决策结果，包括：获取所述多个执行体分别对应的感知输出数据；基于所述多个执行体分别对应的感知输出数据，模拟出所述多个执行体分别对应的感知场景；将所述多个执行体分别对应的感知场景当作所述决策结果，显示在所述显示界面上。

可选的，所述方法还包括：对所述多个执行体分别对应的感知输出数据进行存储；基于存储的感知输出数据，对所述多个执行体分别对应的感知场景进行回放。

可选的，所述在显示界面上显示多个执行体对应的决策结果，包括：在所述显示界面上与所述多个执行体分别对应的显示区域显示对应的决策结果；接收对所述多个执行体中的目标执行体的选中操作；响应于选中操作，在所述显示界面上的主显示区域显示所述目标执行体的决策结果，其中，所述主显示区域与所述多个执行体分别对应的显示区域不同，所述主显示区域大于所述多个执行体分别对应的显示区域。

可选的，在所述响应于所述选中操作，在所述显示界面上的主显示区域显示所述目标执行体的决策结果之后，所述方法还包括：接收对显示在所述主显示区域内的目标执行体的决策结果的操作，其中，所述操作包括以下至少之一：旋转，放大，缩小；在所述主显示区域显示对所述决策结果执行所述操作后的操作结果。

可选的，所述在所述显示界面上对所述异常执行体进行区别显示，包括：在所述异常执行体对应的显示区域播放异常动画；确定用于替换所述异常执行体的备份执行体，并在播放所述异常动画之后预定时长后，播放替换动画，其中，所述替换动画用于将所述备份执行体替换所述异常执行体；将所述异常执行体和所述备份执行体进行替换显示。

可选的，所述将所述异常执行体和所述备份执行体进行替换显示，包括：通过播放第一替换动画，将所述备份执行体移动到所述异常执行体的显示区域；通过播放第二替换动画，将所述异常执行体移动到所述备份执行体的显示区域。

可选的，所述方法还包括：接收对所述显示界面上仿真控件的操作；响应于所述操作，显示仿真界面；在所述仿真界面上接收仿真配置信息，其中，所述仿真配置信息包括：所述多个执行体中被执行仿真的执行体，执行体异常类型，执行体的感知类型，障碍物信息；基于所述仿真配置信息在所述显示界面上显示仿真结果。

根据本发明实施例的另一方面，还提供了一种界面显示装置，包括：第一显示模块，用于在显示界面上显示多个执行体对应的决策结果，其中，所述多个执行体安装于自动驾驶车辆的内生安全系统中，所述多个执行体为所述自动驾驶车辆内异构冗余的感知决策系统；第一确定模块，用于基于所述多个执行体对应的决策结果确定裁决结果；第二确定模块，用于基于所述裁决结果以及所述多个执行体的决策结果，确定所述多个执行体中存在异常的异常执行体；第二显示模块，用于在所述显示界面上对所述异常执行体进行区别显示。

根据本发明实施例的另一方面，还提供了一种计算机可读存储介质，计算机可读存储介质包括存储的程序，其中，在程序运行时控制计算机可读存储介质所在设备执行上述任意一项的界面显示方法。

根据本发明实施例的另一方面，还提供了一种计算机设备，包括：存储器和处理器，存储器存储有计算机程序；处理器，用于执行存储器中存储的计算机程序，计算机程序运行时使得处理器执行上述任意一项的界面显示方法。

在本发明实施例中，通过在自动驾驶车辆的内生安全系统中的多个执行体所做出的自动驾驶的决策结果，并对各个执行体的决策结果进行显示，以及对存在异常的异常执行体在显示界面进行区别显示，达到了对(自动驾驶车辆)内生安全系统的工作状态的显示，实现对内生安全系统中各个执行体的决策结果，以及基于决策结果确定的裁决结果，以及异常执行体等多种信息的全面、直观的展示，从而实现了将内生安全系统的工作状态进行直观展示的技术效果，进而解决了相关技术中，存在无法获知自动驾驶车辆中内生安全系统的工作状态的技术问题。

附图说明

此处所说明的附图用来提供对本发明的进一步理解，构成本申请的一部分，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。在附图中：

图1是根据本发明实施例的界面显示方法的流程图；

图2是根据本发明可选实施方式的动画模拟执行体替换清洗的流程示意图；

图3是根据本发明可选实施例的裁决系统的仿真测试流程示意图；

图4是根据本发明可选实施方式的显示界面布局示例图；

图5是根据本发明可选实施方式的自动驾驶的内生安全系统的实时展示示意图；

图6是根据本发明可选实施方式的自动驾驶车辆的内生安全系统的实时展示方法的示意图；

图7是根据本发明实施例的界面显示装置的结构框图。

具体实施方式

为了使本技术领域的人员更好地理解本发明方案，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分的实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本发明保护的范围。

需要说明的是，本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本发明的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。

术语说明

内生安全，狭义内生安全特指一个软硬件系统除预期的设计功能之外，总存在包括副作用、脆弱性、自然失效等因素在内的显示或隐式表达的非期望功能。广义内生安全专指在狭义内生安全问题之上，还包括对最终用户不可见，或所有未向使用者明确声明或披露过的软硬件隐匿功能。在本发明实施例中，内生安全系统指为自动驾驶提供安全支撑的系统，即自动驾驶车辆的内生安全系统，该系统依据智能网联内生安全技术，能够将网络攻击问题转化为可靠性工程学中的差模/共模干扰问题，提供一体化实时解决自动驾驶系统功能安全与网络安全问题的路径。不管是在自动驾驶过程中，发生软硬件故障还是遭受网络攻击，都能够确保自动驾驶不伤人，不作恶，不失控。

智能网联汽车(Intelligent Connected Vehicle，简称ICV)，是指车联网与智能车的有机联合，是搭载先进的车载传感器、控制器、执行器等装置，并融合现代通信与网络技术，实现车与人、路、后台等智能信息交换共享，实现安全、舒适、节能、高效行驶，并最终可替代人来操作的新一代汽车。

根据本发明实施例，提供了一种界面显示方法的方法实施例，需要说明的是，在附图的流程图示出的步骤可以在诸如一组计算机可执行指令的计算机系统中执行，并且，虽然在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤。

图1是根据本发明实施例的界面显示方法的流程图，如图1所示，该方法包括如下步骤：

步骤S102，在显示界面上显示多个执行体对应的决策结果，其中，多个执行体安装于自动驾驶车辆的内生安全系统中，多个执行体为自动驾驶车辆内异构冗余的感知决策系统；

作为一种可选的实施例，本发明实施例所提供的界面显示方法的执行主体可以是用于实现上述界面显示方法的功能模块或设备。该功能模块可以集成于自动驾驶车辆的内生安全系统中，也可以是自动驾驶车辆中独立于内生安全系统上的另外模块或设备，即自动驾驶车辆上除了上述内生安全系统，还具备实现上述界面显示方法的功能模块或设备。

另外，上述界面显示方法的执行主体还可以是终端，也可以是服务器。其中，终端和服务器可以是具备一定计算能力和图像显示功能的设备。终端的形式可以多种，例如，可以是电脑，智能手机，智能手表等，但不管哪种类型的电子产品，需要具备一定满足计算需求的计算能力和图像显示功能。服务器可以是单个的计算机，也可以是包括多个计算机的计算机集群。在上述执行主体为服务器时，可以实现对内生安全系统的远程实时展示。

作为一种可选的实施例，多个执行体安装于自动驾驶车辆的内生安全系统中，多个执行体为自动驾驶车辆内异构冗余的感知决策系统。异构可以是指该多个执行体基于感知数据进行决策时，所采用的决策算法不同，从而达到即使使用相同的感知数据进行决策时，所得到的决策结果也可能是不同的。冗余可以是指，该多个执行体对多个相同的感知数据进行决策，得到相同的多个决策结果。由于多个执行体所采用的决策算法不同，因此，基于冗余的方式，能够较为准确地确定出执行异常的异常执行体。

需要说明的是，多个执行体所采用的用于决策的感知数据可以是相同的，也可以是不同的，该相同的感知数据可以是指感知数据的类型相同，该不同的感知数据可以是指感知数据的类型不同。该多个执行体作为为自动驾驶车辆提供辅助决策的辅助系统，为自动驾驶进行最终决策提供重要依据，从而得到最为安全合适的驾驶指令，并且在危险发生时可以提供明确的警告。例如，可以是车道偏离，前方有障碍物等。上述执行体可以分别是一套L1至L5级别的感知决策系统，在一定程度上也可以属于一种辅助驾驶系统，也可以是车辆本身自带的驾驶系统。在自动驾驶车辆上，除了车辆本身自带的驾驶系统外，还可以有一套或多套其它独立的辅助驾驶系统。

作为一种可选的实施例，上述在显示界面上显示多个执行体对应的决策结果可以采用以下方法：获取多个执行体分别对应的感知输出数据；基于多个执行体分别对应的感知输出数据，模拟出多个执行体分别对应的感知场景；将多个执行体分别对应的感知场景当作决策结果，显示在显示界面上，通过显示模拟路况环境，可以更清楚立体地展现障碍物或周边车辆的信息。

作为一种可选的实施例，上述多个执行体分别基于自身的配置获得车辆实时采集的感知数据(需要说明的是，多个执行体分别获取的感知数据可以是相同的，也可以是不同的)，之后，基于自身所具有的感知算法，得到对应的感知结果(即上述所指的决策结果)。在获取到多个执行体分别对应的感知结果后，通过预定的模拟软件(例如，3D模拟软件)将感知结果对应的场景模拟出来，得到多个执行体分别对应的感知场景，并显示在显示界面上。需要说明的是，上述感知场景包括：自动驾驶车辆本身，自动驾驶车辆的环境信息，其中，环境信息包括：其他车辆，行人，障碍物等。

作为一种可选的实施例，为了便于对多个执行体分别基于对应的感知数据进行决策的执行过程，以及执行过程所运用的执行逻辑，以及最终得到的执行结果进行重复查找，还可以对多个执行体分别对应的感知输出数据进行存储；基于存储的感知输出数据，对多个执行体分别对应的感知场景进行回放。感知场景的回放，对于一些由于时间不允许或者冲突，或者对于关键场景需要搜索细节时，能够在一定程度上提供有效线索，辅助确定事故细节。

作为一种可选的实施例，在显示界面上与多个执行体分别对应的显示区域显示对应的决策结果；接收对多个执行体中的目标执行体的选中操作；响应于的选中操作，在显示界面上的主显示区域显示目标执行体的决策结果，其中，主显示区域与多个执行体分别对应的显示区域不同，主显示区域大于多个执行体分别对应的显示区域，由于主显示区域较大,为了更为全面，完整地查看对应的某个执行体，可以将这个执行体拖动到这个主显示区域显示，能够看得更全面，完整，清楚。

需要说明的是，上述主显示区域除了基于对多个执行体中目标执行体的选中操作，显示目标执行体的决策结果外，还可以对自动驾驶车辆的任何相关信息进行实时展示。比如，基于不同的展示源的切换，可以展示不同的内容。比如，可以在该主显示区域展示上述多个执行体中目标执行体所对应的感知场景，其中，该感知场景包括自动驾驶车辆的一些驾驶图像，自动驾驶车辆的一些驾驶视频，等；可以在该主显示区域展示各个传感器采集的感知数据，比如，图像数据，等；可以在该主显示区域展示依据自动驾驶车辆上安装的定位设备确定的位置信息，以及加载了该位置信息的高精度地图；可以在该主显示区域显示自动驾驶车辆上的仪表盘上显示的仪表数据；还可以在该主显示区域显示下载在该自动驾驶车辆上的其它多媒体数据，比如，一些存储硬盘上的视频数据等。

作为一种可选的实施例，接收对显示在主显示区域内的目标执行体的决策结果的操作，其中，操作包括以下至少之一：旋转，放大，缩小；在主显示区域显示对决策结果执行操作后的操作结果，通过上述旋转、放大和缩小的操作进行全方位3D展示，展示更全面的信息。

需要说明的是，接收对显示在主显示区域内的目标执行体的决策结果的操作，即可以是接收对主显示区域内的目标执行体所展现出来的感知场景中的操作对象执行对应的操作。比如，在该主显示区域内显示的感知场景中包括了自动驾驶车辆本身，以及障碍车，通过对自动驾驶车辆的操作可以实现对该自动驾驶车辆的全面展示。例如，通过对该自动驾驶车辆的旋转，可以全面地查看到该自动驾驶车辆与障碍车的相对位置关系，从而基于得到的相对位置关系对自动驾驶车辆中该目标执行体的相关决策进行调整。基于上述在主显示区域内显示的感知场景下，对感知场景中包括的自动驾驶车辆进行放大操作时，可以观察到该自动驾驶车辆的细节，比如，自动驾驶车辆上的划痕等。同样，在对感知场景中包括的自动驾驶车辆进行缩小操作时，可以观察到该自动驾驶车辆所处的整个环境，比如，该自动驾驶车辆是行驶在高速公路的服务区，还是行驶在跨海大桥上等。

作为一种可选的实施例，上述对多个执行体分别对应的感知场景进行回放包括：将上述模拟的3D路况环境在显示界面中呈现后，对感知到的实时路况信息和上述模拟的3D路况环境进行存储，若在行车过程中发生意外事故，可以对对应的内容进行回放，其中，在回放时，可以基于对事件关键点位置进行标记，基于标记的地方进行有计划的回放。

步骤S104，基于多个执行体对应的决策结果确定裁决结果；

作为一种可选的实施例，通过采用多个执行体也就是多个自动驾驶辅助系统结合使用的方式，辅助主要决策设备对路况信息处理，可以达到提高路况信息准确性的效果，有助于自动驾驶的行车安全。基于录像设备或拍照设备等路况信息获取设备获取的路况信息数据(即对应于上述感知数据)，各执行体根据各自的感知算法对路况信息数据进行处理，得到对应的决策结果，从而呈现出决策结果对应的3D路况场景。

举例来说，上述多个执行体基于采集到的感知数据进行决策时可以是针对多种数据的决策。例如，上述多个执行体可以基于感知到的实时路况信息进行分析判断，并做出与实时路况信息相对应的决策。例如，可以通过判断障碍物和车辆之间的距离做出停车或减速慢行的决策，可以通过判断周围车辆和自身车辆的距离来做出靠左或靠右行驶等调整车距的决策。多个执行体由于感知算法的不同可能做出不同或相同的决策，在多个执行体做出决策后，在显示界面上进行显示。

作为一种可选的实施例，基于多个执行体对应的决策结果确定裁决结果，其中，该裁决结果可以作为包括该多个执行体的整个内生安全系统的裁决结果，即上述内生安全系统的裁决结果可以是基于多个执行体的决策结果确定的。在基于多个执行体的决策结果进行确定时，可以基于各个执行体的决策结果与其它执行体的决策结果之间的差别来确定。具体裁决方法的选择可以基于具体的裁决场景确定。举例来说，当该多个执行体的数量为5个时，当该5个执行体依据采集到的感知数据进行决策，得到的决策结果是，其中4个执行体认为自动驾驶车辆闯黄灯了，而仅有一个执行体认为自动驾驶车辆没有闯黄灯，因此，整个内生安全系统的裁决结果即是自动驾驶车辆闯黄灯了。

作为一种可选的实施例，除上述对各个执行体的决策结果进行显示外，可以对上述内生安全系统中的多个执行体实现多种应用功能，例如，对执行进行模拟，对执行体进行测试，对执行进行安全验证等。其中，在进行模拟时，可以是白盒模拟的方式。例如，通过选择模拟的执行体；设置上述模拟的执行体的异常类型，比如感知异常、决策异常、输入异常；可以是设置感知类型，感知的信息多或感知的信息少；还可以是配置不同种类的障碍物信息等，基于上述设置对对应的执行体进行模拟。上述测试也以包括多种测试类型，例如，正常测试，攻击测试，例如，可以通过对GPS系统或刹车系统进行攻击，测试内生安全系统的安全性能，以此达到对执行体进行验证的目的，提高内生安全系统的安全保障能力。

步骤S106，基于裁决结果以及多个执行体的决策结果，确定多个执行体中存在异常的异常执行体；

作为一种可选的实施例，可以基于上述多个执行体的决策结果以及裁决结果，判断出数据感知或环境模拟出现错误的执行体，还可以基于车辆本身的自动驾驶主安全系统对上述多个执行提的决策结果进行判断，确定出其中存在判断异常的执行体。

继续以上述内生安全系统包括5个执行体为例，当该5个执行体依据采集到的感知数据进行决策，得到的决策结果是，其中4个执行体认为自动驾驶车辆闯黄灯了，而仅有一个执行体认为自动驾驶车辆没有闯黄灯，并且整个内生安全系统的裁决结果即是自动驾驶车辆闯黄灯了的情况下，基于整个裁决结果以及5个执行体的决策结果确定认为自动驾驶车辆没有闯黄灯的执行体为异常执行体。

步骤S108，在显示界面上对异常执行体进行区别显示。

作为一种可选的实施例，在显示界面上对异常执行体进行区别显示时，区别显示的方式可以有多种。例如，可以采用播放动画的方式来区别显示，由于动画的显示方式更为引起注意，即更能体现异常执行体的异常，从而使得用户能够更为直观地观看到该异常情况。例如，在进行信息提示，可以展示当前异常执行体的数据报文，另外，同时采用播放动画的方式对异常执行体的替换清洗操作进行可视化展示。在采用播放动画的方式进行区别显示时，可以采用以下方式：可以在异常执行体对应的显示区域播放异常动画；确定用于替换异常执行体的备份执行体，并在播放异常动画之后预定时长后，播放替换动画，其中，替换动画用于将备份执行体替换异常执行体；将异常执行体和备份执行体进行替换显示，实现对异常执行体的替换清洗过程的完整展示。在对异常执行体进行替换时，可以是对参与拟态裁决的执行体(在环执行体)进行异常执行体的替换。在对在环执行体进行替换清洗时，采用备用执行体替换该在环执行体，通过在对出现异常的在环执行体进行动画显示后，对用于替换的备份执行体进行动画显示，之后，显示备份执行体处于在环执行体的显示区域，完成对整个替换清洗过程的展示。

需要说明的是，在显示界面上对异常执行体进行区别显示时，除了以异常执行体本身所对应的显示区域进行区别显示外，还可以通过其它类似告警的方式来对该异常执行体来区别显示。例如，可以将该异常执行体排布在告警列表中，告警列表中包括出现过异常的多个执行体，出现异常的多个执行体包括历史出现异常的执行体，以及当前出现异常的执行体。在告警列表中对于当前出现异常的执行体可以以不同的颜色或者动画来区别体现。

作为一种可选的实施例，在将异常执行体和备份执行体进行替换显示时，也可以采用播放动画的方式：通过播放第一替换动画，将备份执行体移动到异常执行体的显示区域；通过播放第二替换动画，将异常执行体移动到备份执行体的显示区域。即在将备份执行体移动到异常执行体的显示区域时，播放动画，在将异常执行体移动到备份执行体的显示区域时，也播放动画，能够实现两次动画的渲染效果，达到明显标记的作用。

作为一种可选的实施例，上述替换异常执行体的方法如下：获取异常执行体的显示位置信息，可以播放预设的异常动画和告警提示音，等待异常动画和告警提示音播放完毕，播放替换动画，将备份执行体也就是备份的自动驾驶辅助系统移动至上述异常执行体对应的显示区域，替代异常执行体，将上述异常执行体移动至备份执行体显示的对应区域。

下面对异常执行体的替换过程进行详细说明。图2是根据本发明可选实施方式的动画模拟执行体替换清洗的流程示意图，如图2所示，在步骤四中接收到执行体异常信息后，具体的异常执行体替换过程如下：

步骤一：根据异常执行体的标识获取异常显示区域，即异常执行体的渲染区域，在这个区域添加动画1；

步骤二：获得替换异常执行体的备份执行体，在上述动画1结束后添加动画2，使得备份执行体移动至异常执行体的位置；

步骤三：动画2结束后，修改执行体标识及标签，添加动画3，接收数据执行3D渲染；

步骤四：替换掉的异常执行体添加动画4，移动至原备份执行体位置；

步骤五：移除动画类，一次异常执行体替换过程演示结束。

作为一种可选的实施例，在显示界面上还可以附加一些对执行体的其它功能，例如，对执行体的验证功能，对执行体的测试功能，以及对执行体的模拟功能等。以模拟仿真功能为例，可以采用以下方式实现：接收对显示界面上仿真控件的操作；响应于操作，显示仿真界面；在仿真界面上接收仿真配置信息，其中，仿真配置信息包括：多个执行体中被执行仿真的执行体，执行体异常类型，执行体的感知类型，障碍物信息；基于仿真配置信息在显示界面上显示仿真结果。通过上述附加功能，能够在显示界面上有针对性地对执行体进行模拟仿真，便于实现对对应执行体的有效完善。

下面对自动驾驶车辆的内生安全系统中的裁决系统的仿真测试功能进行说明，图3是根据本发明可选实施例的裁决系统的仿真测试流程示意图，如图3所示，该方法流程如下：

(1)获取系统仿真状态

进入系统仿真页面，获取系统当前仿真状态，如果系统正处于仿真状态，则可以进行停止仿真操作，如果系统处于非仿真状态，那么可以发起新的一轮仿真。

(2)仿真测试步骤如下：

步骤一：选择需要进行仿真的执行体

步骤二：选择执行体异常类型，确定执行体是感知异常、决策异常还是输入异常。如果选择输入异常，则直接跳至步骤五。

步骤三：选择感知类型。如果上述步骤操作为感知异常或者决策异常，则需要选择感知类型。感知类型分为感知少和感知多，如果选择感知少，则跳至步骤五。

步骤四：输入障碍物信息。输入障碍物的X坐标和Y坐标信息以及障碍物的宽度和速度。

步骤五：点击仿真按钮，进行仿真。

通过上述步骤，通过在自动驾驶车辆的内生安全系统中的多个执行体各自所做出的自动驾驶的决策结果，并对各个执行体的决策结果进行显示，以及对存在异常的异常执行体在显示界面进行区别显示，达到了对(自动驾驶车辆)内生安全系统的工作状态的显示，实现对内生安全系统中各个执行体的决策结果，以及基于决策结果确定的裁决结果以及异常执行体等多种信息的全面、直观的展示，从而实现了将内生安全系统的工作状态进行直观展示的技术效果，进而解决了相关技术中，存在无法获知自动驾驶车辆中内生安全系统的工作状态的技术问题。

基于上述实施例及可选实施例，本发明提出一种可选实施方式，下面进行说明。

由于自动驾驶车辆的内生安全系统经常需要进行测试验证，例如，针对不同的驾驶场景进行测试需要修改障碍物体积参数、位置参数、速度参数等；在测试执行体(即异构感知系统)的状态时，需要设置不同的异常状态，如感知异常、决策异常、输入异常等异常状态，这些操作都需要花费较多的人力和时间，提高了自动驾驶车辆的内生安全系统的验证成本，降低了自动驾驶车辆的内生安全系统的测试效率。另外，内生安全拟态裁决过程和结果验证过程的可视化也无法实时展示。因此，如何使得内生安全拟态裁决过程和结果验证实时可视化，同时进一步提高自动驾驶车辆的内生安全系统的测试效率、降低验证成本是当前需要攻克的一大难点。因此，在相关技术中，存在无法针对自动驾驶车辆的内生安全系统中的各个独立的感知系统、对各个感知系统制定的自动驾驶的内生安全策略的裁决过程、异常感知系统替换过程等等进行展示的技术问题。

针对上述技术问题，本发明可选实施方式提出一种自动驾驶车辆的内生安全实时展示方法。

图4是根据本发明可选实施方式的显示界面布局示例图，如图4所示，实时路况信息展示界面用于展示摄像或拍照设备获取的实时路况信息，执行体E0、E1、E2模拟路况环境、决策和替换动画显示区用来分别展示各执行体根据其不同的算法或对实时路况信息的识别结果所模拟的路况环境和决策，当上述执行体出现异常，则在对应的执行体E0、E1、E2异常显示区显示执行体异常，之后在异常执行体对应的模拟路况环境、决策和替换动画显示区展示替换动画，将上述异常执行体和备用执行体E3或备用执行体E4进行位置交换，此时，交换的备用执行体代替异常执行体继续进行自动驾驶辅助工作。

图5是根据本发明可选实施方式的自动驾驶的内生安全系统的实时展示示意图，如图5所示，该系统包括：实时场景展示模块、内生安全验证模块、裁决系统仿真测试模块，和场景回放模块，下面对上述模块分别进行介绍。

(1)实时场景展示模块

实时场景展示模块用于对自动驾驶车辆自身信息与周围环境信息进行实时展示，并且可以支持多路视频源的切换。主要包括以下几个部分：视频播放模块，高精地图模块，仪表盘，视频流切换控件。

视频播放模块，用来支持接入高清摄像头，实时展示网联车第一视角视频流。

高精地图模块，通过结合高精地图来对智能网联汽车的道路行驶场景进行定位与展示。

仪表盘用来展示智能网联汽车行驶过程中的实时速度和加速度等。

视频流切换控件用来在摄像头拍摄的原生路况与自动驾驶车辆的内生安全系统在环执行体标注过的路况之间进行选择。其中视频播放模块响应于视频流切换控件的选择操作。

通过该实时场景展示模块，可以对内生安全系统中模块进行实时展示。图6是根据本发明可选实施方式的自动驾驶车辆的内生安全系统的实时展示方法的示意图，如图6所示，该方法流程如下：

步骤一：系统接收后台发送的数据，包括车辆状态数据、裁决数据、执行体感知数据和告警信息；

步骤二：系统统一接收数据后，根据关键字段判别消息类型，进行分发处理，如果接收数据为车辆状态信息，则进行步骤三，如果为裁决数据，则跳至步骤四，如果为执行体感知数据，则跳至步骤五，如果为告警信息，则跳至步骤六；

步骤三：提取车辆信息，更新仪表盘和高精地图定位图标的位置。

步骤四：更新裁决结果，并且判断是否是初始加载，如果是初始加载，则要对执行体进行配置，否则对在环执行体进行校验，防止丢失消息，导致前后台在环执行体不一致，如果接收到执行体异常信息，则需处理异常信息，进行执行体替换。

步骤五：基于执行体感知数据进行执行体3D渲染处理；

步骤六：基于接收到的告警信息，对告警信息进行处理，并显示处理结果，例如：存储新的告警信息，并在列表第一项展示。同时判断存储的告警信息数是否大于阈值，如果超出则删除时间最久的一条数据。

步骤七：检测整个程序是否执行完毕，显示是否需要将程序退出，如果是，退出程序结束流程，否则返回步骤一。

(2)内生安全验证模块

内生安全验证模块用来对自动驾驶车辆的内生安全系统进行技术研究与模块验证。该模块主要包含以下几个子模块：备份执行体模块、在环执行体模块、裁决结果展示模块、告警模块。备份执行体模块连接在环执行体模块，备份执行体位于在环执行体上方区域，自动驾驶车辆的内生安全系统根据裁决结果，能够准确捕捉异常执行体替换清洗的过程，通过备份执行体模块和在环执行体模块将该替换清洗过程以动画的形式进行可视化展示。在捕捉到执行体异常时，对应执行体下方展示当前异常执行体SDL数据报文。裁决结果模块连接在环执行体模块，对自动驾驶车辆的内生安全系统的裁决过程进行场景还原与展示。

备份执行体模块，用于展示自动驾驶车辆的内生安全系统当前所有的备份执行体有哪些，每个备份执行体通过执行体标签展示。存在备份执行体是由于自动驾驶车辆的内生安全系统支持接入3种以上感知决策控制系统，参与拟态裁决的控制系统称为在环执行体，不参与拟态裁决的控制系统称为备份执行体。

在环执行体模块，用于展示自动驾驶车辆的内生安全系统当前在环的执行体信息。每个在环执行体独立展示，同时标出执行体的标签来用于识别执行体。在环执行体模块包含执行体3D渲染模块。通过3D渲染技术，将每个在环执行体的感知数据分别独立渲染在对应执行体区域。

执行体3D渲染模块，用于通过Threejs技术处理执行体数据，然后对智能网联车行驶场景进行3D渲染模拟，支持通过旋转页面从各种不同的视角观察网联车行驶场景。渲染视图包括视野内动物、车辆、行人，道路障碍物等。其中，Threejs是一种运行在浏览器中的3D引擎，可以用于创建各种三维场景。

裁决结果展示模块，用于对裁决过程进行动态还原与展示，该裁决结果展示模块除了与上述各个执行体模块连接，还连接于裁决器，展示裁决器的决策结果。其中，裁决器用于接收各个执行体的决策结果，基于各个执行体的决策结果得到整个内生安全系统所对应的裁决结果。

告警模块，用于对内生安全系统中所存在的异常情况进行告警。该告警模块连接于内生安全系统中的各个执行体模块等。例如，对异常执行体进行告警，告警的形式可以多种，例如，以列表的形式展示告警信息，按照告警时间戳进行排序，优先展示最新的告警信息。告警列表包含告警模块、告警等级、告警信息等，并支持删除操作。

通过该内生安全验证模块，能够实现对内生安全系统内的各个自动驾驶系统进行验证，能够准确捕捉异常执行体替换清洗的过程，对自动驾驶车辆的内生安全系统的裁决过程进行分析、场景还原与展示。

(3)裁决系统仿真测试模块

裁决系统仿真测试模块，用于支持自动驾驶车辆的内生安全系统裁决模块的调测。裁决系统仿真测试模块支持调试信息、日志信息、执行体替换等操作可视化配置，同时支持执行体的异常类型、感知类型、障碍物信息配置。

(4)场景回放模块，用于对多个执行体分别对应的感知输出数据进行存储；基于存储的感知输出数据，对多个执行体分别对应的感知场景进行回放。感知场景的回放，对于一些由于时间不允许或者冲突，或者对于关键场景需要搜索细节时，能够在一定程度上提供有效线索，辅助确定事故细节。通过感知场景的回放功能，有效地实现了对多个执行体分别基于对应的感知数据进行决策的执行过程，以及执行过程所运用的执行逻辑，以及最终得到的执行结果进行重复查找。综上，本发明可选实施方式提出的一种界面显示方法不仅能够对内生安全系统进行可视化展示，对自动驾驶车辆的内生安全系统的裁决过程进行分析，场景还原与展示，还能够对内生安全系统提供基于页面可配置的仿真测试，能够按照裁决结果对异常进行安全事故模拟，推演事故结果。本发明可选实施方式不仅有助于智能网联汽车内生安全技术研究与模块验证，降低了所需要花费的人力和时间，提高了测试效率，而且可以随产品一起发布，提供给用户，完善产品体验。

根据本发明实施例，还提供了一种界面显示装置，图7是根据本发明实施例的界面显示装置的结构框图，如图7所示，该装置包括：第一显示模块72，第一确定模块74，第二确定模块76和第二显示模块78，下面对该装置进行介绍。

第一显示模块72，用于在显示界面上显示多个执行体对应的决策结果，其中，多个执行体安装于自动驾驶车辆的内生安全系统中，多个执行体为自动驾驶车辆内异构冗余的感知决策系统；第一确定模块74，连接至上述第一显示模块72，用于基于多个执行体对应的决策结果确定裁决结果；第二确定模块76，连接至上述第一确定模块74，用于基于裁决结果以及多个执行体的决策结果，确定多个执行体中存在异常的异常执行体；第二显示模块78，连接至上述第二确定模块76，用于在显示界面上对异常执行体进行区别显示。

根据本发明实施例，还提供了一种计算机可读存储介质，计算机可读存储介质包括存储的程序，其中，在程序运行时控制计算机可读存储介质所在设备执行上述任意一项的界面显示方法。

根据本发明实施例，还提供了一种计算机设备，包括：存储器和处理器，存储器存储有计算机程序；处理器，用于执行存储器中存储的计算机程序，计算机程序运行时使得处理器执行上述任意一项的界面显示方法。

上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。

在本发明的上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述的部分，可以参见其他实施例的相关描述。

在本申请所提供的几个实施例中，应该理解到，所揭露的技术内容，可通过其它的方式实现。其中，以上所描述的装置实施例仅仅是示意性的，例如所述单元的划分，可以为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，单元或模块的间接耦合或通信连接，可以是电性或其它的形式。

所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。

另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。

所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可为个人计算机、服务器或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、移动硬盘、磁碟或者光盘等各种可以存储程序代码的介质。

以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。

Claims (11)

1.一种界面显示方法，其特征在于，包括：

在显示界面上显示多个执行体对应的决策结果，其中，所述多个执行体安装于自动驾驶车辆的内生安全系统中，所述多个执行体为所述自动驾驶车辆内异构冗余的感知决策系统；

基于所述多个执行体对应的决策结果确定裁决结果；

基于所述裁决结果以及所述多个执行体的决策结果，确定所述多个执行体中存在异常的异常执行体；

在所述显示界面上对所述异常执行体进行区别显示。

2.根据权利要求1所述的方法，其特征在于，所述在显示界面上显示多个执行体对应的决策结果，包括：

获取所述多个执行体分别对应的感知输出数据；

基于所述多个执行体分别对应的感知输出数据，模拟出所述多个执行体分别对应的感知场景；

将所述多个执行体分别对应的感知场景当作所述决策结果，显示在所述显示界面上。

3.根据权利要求2所述的方法，其特征在于，所述方法还包括：

对所述多个执行体分别对应的感知输出数据进行存储；

基于存储的感知输出数据，对所述多个执行体分别对应的感知场景进行回放。

4.根据权利要求1所述的方法，其特征在于，所述在显示界面上显示多个执行体对应的决策结果，包括：

在所述显示界面上与所述多个执行体分别对应的显示区域显示对应的决策结果；

接收对所述多个执行体中的目标执行体的选中操作；

响应于所述选中操作，在所述显示界面上的主显示区域显示所述目标执行体的决策结果，其中，所述主显示区域与所述多个执行体分别对应的显示区域不同，所述主显示区域大于所述多个执行体分别对应的显示区域。

5.根据权利要求4所述的方法，其特征在于，在所述响应于所述选中操作，在所述显示界面上的主显示区域显示所述目标执行体的决策结果之后，所述方法还包括：

接收对显示在所述主显示区域内的目标执行体的决策结果的操作，其中，所述操作包括以下至少之一：旋转，放大，缩小；

在所述主显示区域显示对所述决策结果执行所述操作后的操作结果。

6.根据权利要求1所述的方法，其特征在于，所述在所述显示界面上对所述异常执行体进行区别显示，包括：

在所述异常执行体对应的显示区域播放异常动画；

确定用于替换所述异常执行体的备份执行体，并在播放所述异常动画之后预定时长后，播放替换动画，其中，所述替换动画用于将所述备份执行体替换所述异常执行体；

将所述异常执行体和所述备份执行体进行替换显示。

7.根据权利要求6所述的方法，其特征在于，所述将所述异常执行体和所述备份执行体进行替换显示，包括：

通过播放第一替换动画，将所述备份执行体移动到所述异常执行体的显示区域；

通过播放第二替换动画，将所述异常执行体移动到所述备份执行体的显示区域。

8.根据权利要求1至7中任一项所述的方法，其特征在于，所述方法还包括：

接收对所述显示界面上仿真控件的操作；

响应于所述操作，显示仿真界面；

在所述仿真界面上接收仿真配置信息，其中，所述仿真配置信息包括：所述多个执行体中被执行仿真的执行体，执行体异常类型，执行体的感知类型，障碍物信息；

基于所述仿真配置信息在所述显示界面上显示仿真结果。

9.一种界面显示装置，其特征在于，包括：

第一显示模块，用于在显示界面上显示多个执行体对应的决策结果，其中，所述多个执行体安装于自动驾驶车辆的内生安全系统中，所述多个执行体为所述自动驾驶车辆内异构冗余的感知决策系统；

第一确定模块，用于基于所述多个执行体对应的决策结果确定裁决结果；

第二确定模块，用于基于所述裁决结果以及所述多个执行体的决策结果，确定所述多个执行体中存在异常的异常执行体；

第二显示模块，用于在所述显示界面上对所述异常执行体进行区别显示。

10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质包括存储的程序，其中，在所述程序运行时控制所述计算机可读存储介质所在设备执行权利要求1至8中任意一项所述的界面显示方法。

11.一种计算机设备，其特征在于，包括：存储器和处理器，

所述存储器存储有计算机程序；

所述处理器，用于执行所述存储器中存储的计算机程序，所述计算机程序运行时使得所述处理器执行权利要求1至8中任意一项所述的界面显示方法。

Images