CN115914752A - 一种视频显示方法、装置、电子设备及存储介质 - Google Patents

Abstract

本发明涉及一种视频显示方法、装置、电子设备及存储介质，通过获取初始视频流和显示装置的显示格式，并对初始视频流进行帧率调整，得到待显示视频流，再输入预设感知融合模型以确定车辆的周围异常环境信息，基于显示格式对待显示视频流进行格式调整，生成显示格式视频流，根据周围环境信息对显示格式视频流进行标注，得到标注视频流并通过显示装置对标注视频流进行显示，本发明通过对初始视频流数据的分别处理同时得到异常环境信息与车辆周围环境显示，并且同时通过声音播报与画面显示危险路况进行警示，使得驾驶者可以在持续关注路面情况时了解异常环境信息，避免了驾驶者因关注视频画面分神而引起的危险状况。

Description

一种视频显示方法、装置、电子设备及存储介质

技术领域

本申请涉及计算机领域，尤其涉及一种视频显示方法、装置、电子设备及存储介质。

背景技术

基于当前汽车行业智能化技术的快速发展，越来越多自动驾驶产品被研发出来，其中的一种技术路线就是基于多传感器的数据融合来保证感知数据结果的可靠性，因此车上增加了众多的传感器。如：前视长距摄像头、前视短距摄像头、周视摄像头、后视摄像头、全景摄像头、毫米波雷达、激光雷达等。车内设置自动驾驶数据处理终端，对保证自动驾驶的传感器以及摄像头实时采集数据进行处理，以满足自动驾驶路径规划对环境数据的需求。

但是，现有流媒体摄像头需要单独的位置布置，且直接接入显示控制模块中，对于摄像头的原始图像处理能力有限，对于整车设计而言，需要设置独立的硬件传感器，且影响造型布置。而且，现有的图像显示只是对周边环境图像的显示，驾驶者需要时刻关注视频才可以知道车边异常，这样容易导致在关注视频的时候，出现驾驶失误，增加事故发生率。因此，提供减少车端硬件资源浪费和避免驾驶者注意力分散而引发危险状况的视频显示方案是急需解决的问题。

发明内容

本发明的目的在于提供一种视频显示方法、装置、电子设备及存储介质，以解决传统只显示车辆周边环境视频无异常环境信息提示以及警示方式无法在不影响驾驶者正常驾驶的环境下进行提示的问题。

本发明提供了一种视频显示方法，所述视频显示方法包括：获取初始视频流和显示装置的显示格式，所述初始视频流通过设置于车辆的至少一个图像采集装置采集；对所述初始视频流进行帧率调整，得到待显示视频流，并输入预设感知融合模型以确定所述车辆的周围异常环境信息；基于所述显示格式对所述待显示视频流进行格式调整，生成显示格式视频流；根据所述周围环境信息对所述显示格式视频流进行标注，得到标注视频流；通过所述显示装置对所述标注视频流进行显示。

于本发明的一实施例中，输入预设感知融合模型以确定所述车辆的周围异常环境信息包括：根据所述待显示视频流与预设安全驾驶环境信息确定车辆周围异常障碍目标；根据预设分类条件对所述异常障碍目标进行分类，生成至少一个异常障碍目标初始信息集；获取各所述异常障碍目标信息，根据各所述异常障碍目标信息建立异常障碍目标信息集，所述异常障碍目标信息集包括所述异常障碍目标的位置信息、距离信息及尺寸信息；根据预设融合算法与各所述异常障碍目标信息集确定当前各异常障碍目标的融合信息；基于所述融合信息确定所述车辆的周围异常环境信息。

于本发明的一实施例中，根据预设分类条件对所述异常障碍目标进行分类包括：对各所述异常障碍目标进行特征提取，得到各所述异常障碍目标的特征向量；根据各所述特征向量与预设分类条件的映射关系确定各特征向量的分类信息；根据所述分类信息生成至少一个异常障碍目标初始信息集。

于本发明的一实施例中，对各所述异常障碍目标进行特征提取之前，还包括：将所述待显示视频流中异常障碍目标所在的帧作为关键帧进行提取；对所述关键帧进行噪点去除与坏点校正处理，得到调优后图像，以对各所述异常障碍目标进行特征提取。

于本发明的一实施例中，根据各所述异常障碍目标信息建立异常障碍目标信息集之后，还包括：分别对所述异常障碍目标的位置信息、距离信息及尺寸信息设置权重，得到带有权重信息的所述位置信息、距离信息及尺寸信息；根据所述带有权重信息的所述位置信息、距离信息及尺寸信息进行加权计算，得到当前异常障碍目标的评级，其中所述评级包括一般异常障碍目标与危险异常障碍目标。

于本发明的一实施例中，基于所述融合信息确定所述车辆的周围异常环境信息之后，还包括：根据所述异常障碍目标的所述位置信息、距离信息及尺寸信息确定警示信息；根据所述警示信息与所述异常障碍目标的评级确定警示信息显示方式：当所述评级为一般异常障碍目标，采用文本信息对警示信息进行显示；当所述评级为危险异常障碍目标，采用文本信息与语音播报对警示信息进行显示。

于本发明的一实施例中，对所述初始视频流进行帧率调整，得到待显示视频流包括：若所述初始视频流的数量为多个，获取各所述初始视频流的视频帧率；将各所述视频帧率中的最低帧率确定为待显示视频帧率；对各目标视频流进行降帧处理，直至各所述目标视频流的视频帧率达到待显示视频帧率，得到待显示视频流，所述降帧处理包括抽帧、跳帧、合帧中至少一种降帧操作，所述目标视频流为视频帧率大于所述待显示视频帧率的初始视频流。

于本发明的一实施例中，根据所述待显示视频帧率对各所述初始视频流进行降帧处理，得到待显示视频流之后，所述视频显示方法还包括：获取所述待显示视频流的时序信息；根据预先选定的视频流起始时间，对所述待显示视频流中视频流起始时间时刻的视频帧进行标记，得到视频起始标识帧；基于所述视频起始标识帧对所述待显示视频流进行时序同步，得到同步时序的待显示视频流。

于本发明的一实施例中，基于所述显示格式对所述待显示视频流进行格式调整包括：根据显示装置的显示格式确定视频数据输入的数据格式信息和像素信息；基于所述视频数据输入的数据格式信息与像素信息对所述待显示视频流进行格式更改，以通过所述显示装置显示所述初始视频流。

本发明实施例还提供了一种视频显示装置，所述视频显示装置包括：获取模块，用于获取初始视频流和显示装置的显示格式，所述初始视频流通过设置于车辆的至少一个图像采集装置采集；处理模块，用于对所述初始视频流进行帧率调整，得到待显示视频流，并输入预设感知融合模型以确定所述车辆的周围异常环境信息；基于所述显示格式对所述待显示视频流进行格式调整，生成显示格式视频流；根据所述周围环境信息对所述显示格式视频流进行标注，得到标注视频流；显示模块，用于通过所述显示装置对所述标注视频流进行显示。

本发明实施例还提供了一种电子设备，所述电子设备包括：一个或多个处理器；存储装置，用于存储一个或多个程序，当所述一个或多个程序被所述一个或多个处理器执行时，使得所述电子设备实现如上述任一项实施例所述的视频显示方法。

本发明实施例还提供了一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机可读指令，当所述计算机可读指令被计算机的处理器执行时，使计算机执行如上述任一项实施例所述的视频显示方法。

本发明实施例中的视频显示方法、装置、电子设备及存储介质，通过获取初始视频流和显示装置的显示格式，并对初始视频流进行帧率调整，得到待显示视频流，再输入预设感知融合模型以确定车辆的周围异常环境信息，基于显示格式对待显示视频流进行格式调整，生成显示格式视频流，根据周围环境信息对显示格式视频流进行标注，得到标注视频流并通过显示装置对标注视频流进行显示，本发明通过对初始视频流数据的分别处理同时得到异常环境信息与车辆周围环境显示，并且同时通过声音播报与画面显示危险路况进行警示，使得驾驶者可以在持续关注路面情况时了解异常环境信息，避免了驾驶者因关注视频画面分神而引起的危险状况。

应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本申请。

附图说明

此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本申请的实施例，并与说明书一起用于解释本申请的原理。显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术者来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。在附图中：

图1是本申请的一示例性实施例示出的示例性系统架构的示意图；

图2是本申请的一示例性实施例示出的视频显示方法的流程图；

图3是本申请的一示例性实施例示出的车辆摄像头布局示意图；

图4是本申请的一示例性实施例示出的感知融合模型的数据处理过程示意图；

图5是本申请的一示例性实施例示出的异常障碍目标分类过程示意图；

图6是本申请的一示例性实施例示出的警示信息及其显示方式的判定流程图；

图7是本申请的一示例性实施例示出的视频显示装置的框图；

图8是本申请的一示例性实施例示出的装置数据处理流程示意图；

图9是本申请的一示例性实施例示出的电子设备的计算机系统的结构示意图。

具体实施方式

以下将参照附图和特定的具体实施例来说明本发明的实施方式，本领域技术人员可由本说明书中所揭露的内容轻易地了解本发明的其他优点与功效。本发明还可以通过另外不同的具体实施方式加以实施或应用，本说明书中的各项细节也可以基于不同观点与应用，在没有背离本发明的精神下进行各种修饰或改变。应当理解，优选实施例仅为了说明本发明，而不是为了限制本发明的保护范围。

需要说明的是，以下实施例中所提供的图示仅以示意方式说明本发明的基本构想，遂图示中仅显示与本发明中有关的组件而非按照实际实施时的组件数目、形状及尺寸绘制，其实际实施时各组件的型态、数量及比例可为一种随意的改变，且其组件布局型态也可能更为复杂。

在下文描述中，探讨了大量细节，以提供对本发明实施例的更透彻的解释，然而，对本领域技术人员来说，可以在没有这些具体细节的情况下实施本发明的实施例是显而易见的，在其他实施例中，以方框图的形式而不是以细节的形式来示出公知的结构和设备，以避免使本发明的实施例难以理解。

在本申请中提及的“和/或”描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。字符“/”一般表示前后关联对象是一种“或”的关系。

首先需要说明的是，计算机视觉技术是一门研究如何使机器“看”的科学，更进一步地说，就是指用摄影机和电脑代替人眼对目标进行识别、跟踪和测量等机器视觉，并进一步做图形处理，使电脑处理成为更适合人眼观察或传送给仪器检测的图像。作为一个科学学科，计算机视觉研究相关的理论和技术，试图建立能够从图像或者多维数据中获取信息的人工智能系统。计算机视觉技术通常包括图像处理、图像识别、图像语义理解、图像检索、OCR、视频处理、视频语义理解、视频内容/行为识别、三维物体重建、3D技术、虚拟现实、增强现实、同步定位与地图构建等技术。

本发明还可以提供的有益效果包括：通过对车辆自动驾驶的传感镜头及处理器的再次利用，达成了对车辆周身环境视频流的显示，且对硬件的复利用减少了对车端硬件资源的浪费。

图1是本申请的一示例性实施例示出的示例性系统架构的示意图。

参照图1所示，系统架构可以包括车端101和、计算机设备102和视频显示装置103。其中，图像采集设备101用于采集车辆周围图像，在本实施例中图像采集设备101采用包括但不限于长焦距摄像头、短焦距摄像头、全景摄像头、周视摄像头，并提供给计算机设备102进行处理。需要注意的是，在本实施例中，该摄像头并非独立设置以实现本实施例的技术目的，而是利用自动驾驶传感系统的摄像镜头对本实施例中所需的视频流进行获取。计算机设备102可以是微型计算机、嵌入式计算机、网络计算机等中的至少一种。相关技术人员可以在计算机设备102实现对图像的处理，将所获取初始视频流和显示装置的显示格式，初始视频流通过设置于车辆的至少一个图像采集装置采集，对初始视频流进行帧率调整，得到待显示视频流，并输入预设感知融合模型以确定车辆的周围异常环境信息，基于显示格式对待显示视频流进行格式调整，生成显示格式视频流，根据周围环境信息对显示格式视频流进行标注，得到标注视频流，并将标注视频流传输至视频显示装置103中进行显示。视频显示装置103可以是可移动显示器、外接显示器、车载中控屏幕、屏显后视镜、嵌入式投影显示器中的至少一种。

示意性的，计算机设备102在获取到车端101初始视频流和显示装置的显示格式，初始视频流通过设置于车辆的至少一个图像采集装置采集，对初始视频流进行帧率调整，得到待显示视频流，并输入预设感知融合模型以确定车辆的周围异常环境信息，基于显示格式对待显示视频流进行格式调整，生成显示格式视频流，根据周围环境信息对显示格式视频流进行标注，得到标注视频流，并通过视频显示装置103对所述标注视频流进行显示。通过对车辆自动驾驶的传感镜头及处理器的再次利用，达成了对车辆周身环境视频流的显示，且对硬件的复利用减少了对车端硬件资源的浪费；其次，通过将视频数据分流处理得到视频信息与环境信息，进行标注后同时通过声音播报与画面显示危险路况进行警示，避免了驾驶者因关注视频画面分神而引起的危险状况。

图2是本申请的一示例性实施例示出的视频显示方法的流程图，该视频显示方法可以用计算处理设备来执行，该计算处理设备可以是图1中所示的计算机设备102。参照图2所示，该视频显示方法的流程图至少包括步骤S210至步骤S250，详细介绍如下：

在步骤S210中，获取初始视频流和显示装置的显示格式，初始视频流通过设置于车辆的至少一个图像采集装置采集。

在本申请的一个实施例中，通过包括但不限于车端配备的前视长距摄像头、前视短距摄像头、周视摄像头、后视摄像头及全景摄像头对车辆的周边环境进行视频采集。其中，前视长距摄像头、前视短距摄像头、周视摄像头、后视摄像头及全景摄像头是复用已有的外接传感器摄像头，使得其不仅可以为智能驾驶提供环境参数，还可以利用其数据对周边路况形成视频化显示，以达到硬件多功能目的的实现。

在本申请的一个实施例中，车端初始视频流获取的装置在车辆的分布可以如图3的车辆摄像头布局示意图安装，具体参照图3所示。其中301前视短距摄像头与302前视长距摄像头，提供800万像素的视频流；303右前全景摄像头、304右后全景摄像头、305左前全景摄像头与306左后全景摄像头提供200万像素的视频流；307右侧周视摄像头与308左侧周视摄像头，提供300万像素的视频流；309后视长距摄像头310后视短距摄像头，提供300万像素的视频流。

在本申请的一个实施例中，调取视频显示装置的显示格式，其信息包括但不限于视频流解码方式、视频流输入像素、视频流数据格式，在本实施例中需要满足的数据格式为RGB888，所需满足的视频像素要求为200万像素。

在本申请的一个实施例中，在获取初始视频流之后，还包括根据不同摄像头的视频格式匹配与之具有映射关系的解码方式，先对视频流数据进行解码，以实现对视频流数据进行环境数据分析与视频格式调整。

在步骤S220中，对初始视频流进行帧率调整，得到待显示视频流，并输入预设感知融合模型以确定车辆的周围异常环境信息。

在本申请的一个实施例中，对初始视频流进行帧率调整包括：若初始视频流的数量为多个，获取各初始视频流的视频帧率，将各视频帧率中的最低帧率确定为待显示视频帧率，例如a、b、c三个视频流的视频帧率分别为30fps(帧)、40fps、60fps，则以a视频流的帧率30fps作为待显示视频帧率，其目的在于将不同视频流的帧率同步调整为同一帧率，便于对视频流的后续同步与合成处理。

在本申请的一个实施例中，确定待显示视频帧率后，对各目标视频流进行降帧处理，直至各目标视频流的视频帧率达到待显示视频帧率，得到待显示视频流，其中，降帧处理包括但不限于抽帧、跳帧、合帧等可以实现降帧目的的视频帧处理方法，目标视频流为视频帧率大于待显示视频帧率的初始视频流。

在本申请的一个实施例中，抽帧是在视频处理中，通过间隔一定帧抽取若干帧的方式，对视频流帧数进行降低的方式；跳帧是指在视频播放时根据预设周期，间隔的针对视频流帧图像进行组合排列并播放的降帧方式；合帧是指在视频处理过程中，将单帧图像的前帧和/或后帧图像合并为一帧图像的降帧处理操作。在本申请的实施例中，对视频的降帧处理操作可以根据实际方案的应用过程中对帧图像的精度要求、处理平台算力供应程度进行调整，可以是单一降帧操作的实施，也可以是多方式的组合实施，在此仅为示例性举例，不对该降帧操作做具体的限定。

在本申请的一个实施例中，根据待显示视频帧率对各初始视频流进行降帧处理，得到待显示视频流之后，还需要获取所述待显示视频流的时序信息，根据预先选定的视频流起始时间，对所述待显示视频流中视频流起始时间时刻的视频帧进行标记，得到视频起始标识帧，其中，预先选定的视频流起始时间可以是相关技术人员通过预先设定的时间节点，在图像获取装置开始运行并输入视频流数据后的固定时间点作为视频流起始时间，例如可以提前设定在所有图像获取装置均由视频流数据输入后的第2秒作为视频流的起始时间，此外，还可以获取各待显示视频流的第一帧图像的获取时间，以各待显示视频流中获取时间最晚的视频流第一帧图像的获取时间作为各视频流的起始时间，得到各待显示视频流相同时间的帧图像，并进行标记，以便对视频流进行时序同步。

上述视频流起始时间的确定方法仅为本实施例的示例性举例，并不具体限定本方案在具体实施过程中对视频流起始时间确定的方法选定。

在本申请的一个实施例中，基于所述视频起始标识帧对所述待显示视频流进行时序同步，得到同步时序的待显示视频流。在相同起始标识帧对齐之后，根据预设的帧图像间隔对各待显示视频流帧图像进行调整，以得到视频流起始点且帧间隔一致的多个视频流，其目的在于同步各视频流帧图像，便于图像同步显示，减少因图像获取装置的差异造成的图像延迟，且在本申请的一些其他的实施例中，使视频流时序同步便于图像进行融合显示。

在本申请的一个实施例中，需要将待显示视频流输入预设感知融合模型进行感知与信息融合处理，该过程可以按照图4的感知融合模型的数据处理过程示意图执行，具体参照图4所示，该感知融合模型的数据处理过程包括步骤S410到步骤S450，详细介绍如下：

步骤S410，根据待显示视频流与预设安全驾驶环境信息确定车辆周围异常障碍目标；

在本申请的一个实施例中，为了满足车辆安全驾驶的需求，会根据道路行驶规则与驾驶路径预测预先设置在驾驶过程中保证安全驾驶的最低环境标准，该标准对车辆变道、跟车、停车、启动等行为所需的安全环境做出最低限定。

在本申请的一个实施例中，通过计算机设备102对待显示视频流进行初步识别，获取视频流图像中所涉及的障碍目标，将障碍目标与预设的安全驾驶环境信息进行检索与对比，得到异常障碍目标所在位置。

步骤S420，根据预设分类条件对异常障碍目标进行分类，生成至少一个异常障碍目标初始信息集；

在本申请的一个实施例中，得到异常障碍目标位置后，需要对异常障碍目标进行分类，该过程可以按照图5的异常障碍目标分类过程示意图执行，具体参照图5所示，该异常障碍目标分类的过程包括步骤S510到步骤S530，详细介绍如下：

步骤S510，对各异常障碍目标进行特征提取，得到各异常障碍目标的特征向量；

在本申请的一个实施例中，根据异常障碍目标的图像，对异常障碍目标进行特征提取，该特征提取可以由预先训练的图像识别模型进行识别。该图像识别模型的识别过程可以包括：通过多车端对路面信息进行采集，获取多种障碍目标的样本图像，例如其他车辆、路面坑洼、石块、路标、路障等路面障碍；按照样本图像的种类及特征向量进行标注，形成样本图像数据集；基于该图像样本数据建立卷积网络神经模型，并进行训练，得到训练好的图像识别模型。将得到的异常障碍目标输入训练好的图像识别模型中进行识别，得到异常障碍目标的特征向量。

在本申请的一个实施例中，样本图像数据可以通过实时图像采集的方式，也可以通过技术人员来进行选择已有的历史图像数据或其他图像数据，采集样本图像数据的目的是用于后续的深度学习训练，在深度学习训练时，可以将原始样本数据划分为训练样本数据集合与验证样本数据集合，其中，验证样本数据所占的比例可以是预定设定的。然后通过训练样本练数据集合进行深度学习训练，通过验证样本数据集合预测评估深度学习的训练结果的准确性。在本实施例中，在制作独立的样本图像数据时，可以根据一定的策略，例如采用随机比例的方式，划分训练样本数据集与验证样本数据集。当原始样本图像数据很大，且样本标准相对样本数据较小时，可以通过裁剪等方式进行处理，使其满足尺寸的要求。

需要说明的是，通过预先训练的图像识别模型进行识别而得到特征向量的方法仅为本实施例的示例性举例，并非本申请所必要技术要素，例如，还可以通过建立图像特征数据库并进行模糊检索得到特征向量，在此不做穷举。

在本申请的一个实施例中，在对各异常障碍目标进行特征提取之前，还包括对图像的调优处理，具体包括：先将待显示视频流中异常障碍目标所在的帧作为关键帧进行提取，然后对该关键帧进行噪点去除与坏点校正处理，得到调优后图像，以对各异常障碍目标进行特征提取。

在本申请的一个实施例中，图像调优的方式选择以ISP图像调节为调优途径，ISP即图像处理，主要作用是对前端图像传感器输出的信号做后期处理，主要功能有线性纠正、噪声去除、坏点去除、内插、白平衡、自动曝光控制等，依赖于ISP才能在不同的光学条件下都能较好地还原现场细节，ISP技术在很大程度上决定了摄像机的成像质量。它分为独立与集成两种形式。ISP的固件包含三部分，一部分是控制单元和基础算法库，一部分是自动曝光、自动白平衡、自动对焦算法库，一部分是传感器库。固件配置设计的基本思想是单独提供自动白平衡算法库，由ISP控制单元调度基础算法库和自动白平衡算法库，同时传感器库分别向ISP基础算法库和自动白平衡算法库注册函数回调，以实现差异化的传感器适配。

步骤S520，根据各特征向量与预设分类条件的映射关系确定各特征向量的分类信息；

在本申请的一个实施例中，获取到异常障碍目标的特征向量后，可以根据向量的特征属性对与其具有映射关系的特征向量分类信息进行匹配，得到每一个特征向量的所在分类，也就得到了每一个异常障碍目标的分类信息。

步骤S530，根据分类信息生成至少一个异常障碍目标初始信息集。

在本申请的一个实施例中，得到每一个异常障碍目标的分类信息之后，根据其分类信息将相同的异常障碍目标进行集合，构建不同种类的异常障碍初始目标数据集。该异常障碍初始目标数据集仅包括相同分类的异常障碍目标，以便对各异常障碍目标的数据进行收集。

步骤S430，获取各所述异常障碍目标信息，根据各所述异常障碍目标信息建立异常障碍目标信息集；

在本申请的一个实施例中，对分类完成的各异常障碍目标的信息进行进一步获取，通过图像识别算法对图像中异常障碍目标的信息进一步获取，其中异常障碍目标的信息包括但不限于该异常障碍目标的位置信息、距离信息及尺寸信息，然后根据各异常障碍目标信息建立异常障碍目标信息集。

在本申请的一个实施例中，根据各所述异常障碍目标信息建立异常障碍目标信息集之后，还要分别对异常障碍目标的位置信息、距离信息及尺寸信息设置权重，得到带有权重信息的所述位置信息、距离信息及尺寸信息；再根据带有权重信息的位置信息、距离信息及尺寸信息进行加权计算，得到当前异常障碍目标的评级，其中评级包括一般异常障碍目标与危险异常障碍目标。

步骤S440，根据预设融合算法与各所述异常障碍目标信息集确定当前各异常障碍目标的融合信息；

在本申请的一个实施例中，预设融合算法是利用计算机技术，将来自多传感器或多源的信息和数据以一定的准则进行自动分析和综合，以完成所需的决策和估计而进行的信息处理过程。该算法不仅需要处理数据的多样性和复杂性，而且需要提高实时性和精度。融合算法可以概括为随机、人工智能两大类。随机类融合算法有加权平均法、卡尔曼滤波、多贝叶斯估计法等，人工智能类融合算法有模糊逻辑、神经网络等。在自动驾驶中，常用的融合算法包括加权平均法、卡尔曼滤波法、神经网络。在本实施例中选用神经网络作为实施例支持进行介绍，还可用其他融合算法进行数据融合，在此不做具体限定。

在本申请的一个实施例中，将各异常障碍目标信息集输入至预先训练的融合算法神经网络，对各异常障碍目标信息进行融合计算，得到当前各异常障碍目标的融合信息。

步骤S450，基于所述融合信息确定所述车辆的周围异常环境信息。

在本申请的一个实施例中，基于所述融合信息确定所述车辆的周围异常环境信息之后，还需要对异常信息以警示信息的方式显示，该过程可以在图6的警示信息及其显示方式的确定流程图中执行，具体参照图6所示。

图6是本申请的一示例性实施例示出的警示信息及其显示方式的判定流程图，如图6所示，首先根据异常障碍目标的所述位置信息、距离信息及尺寸信息确定警示信息，该警示信息包括但不限于异常障碍目标的评级信息、位置信息、距离信息及尺寸信息；然后根据该警示信息与异常障碍目标的评级确定警示信息显示方式：当评级为一般异常障碍目标，采用文本信息对警示信息进行显示；当评级为危险异常障碍目标，采用文本信息与语音播报对警示信息进行显示。

在本申请的一个实施例中，采用文本信息对警示信息进行显示时，可以采用加粗的字体对警示信息进行显示，字体的颜色也可以用具有警示效果的颜色进行显示；采用文本信息与语音播报对警示信息进行显示时，可以伴随警示性提示音。在此步骤的技术方案实现中，具体的警示方式以实际的应用为依据，在此不做具体的限定。

在步骤S230中，基于显示格式对待显示视频流进行格式调整，生成显示格式视频流；

在本申请的一个实施例中，根据显示装置的显示格式确定视频数据输入的数据格式信息RGB888与像素信息200万对待显示视频流进行格式更改，得到显示格式视频流，以通过所述显示装置显示该显示格式视频流。

在步骤S240中，根据周围环境信息对显示格式视频流进行标注，得到标注视频流；

在本申请的一个实施例中，根据周围环境信息匹配各异常障碍目标在图像中所在的位置，将定位好的图像中异常障碍目标的坐标信息作为警示信息插入位置，对视频流进行信息标注。

在本申请的一个实施例中，对识别到异常障碍目标的图像设置坐标系，以便对异常障碍目标的位置进行准确描述，其中坐标系的建立可以以图像中心位置为原点建立坐标系，也可以在图像边缘选取原点构建坐标系，在此不对坐标系的建立方式做具体的限定。

在步骤S250中，通过显示装置对标注视频流进行显示。

在本申请的一个实施例中，标注视频流在输入显示装置后，可以对图像获取装置获取到的画面进行显示，并通过包括但不限于文本显示框、弹窗、边缘字幕等方式对标注内容进行显示，以在显示视频的同时完成对于标注内容的显示与警示。

在本申请的实施例中，通过对初始视频流数据的分别处理同时得到异常环境信息与车辆周围环境显示；同时通过声音播报与画面显示危险路况进行警示，使得驾驶者可以在持续关注路面情况时了解异常环境信息，避免了驾驶者因关注视频画面分神而引起的危险状况；通过对车辆自动驾驶的传感镜头及处理器的再次利用，达成了对车辆周身环境视频流的显示，且对硬件的复利用减少了对车端硬件资源的浪费。

以下介绍本申请的系统实施例，可以用于执行本申请上述实施例中的视频显示方法。对于本申请系统实施例中未披露的细节，请参照本申请上述的视频显示方法的实施例。

图7是本申请的一示例性实施例示出的视频显示装置示意图。该系统可以应用于图2所示的实施环境，并具体配置在计算机设备102中。该装置也可以适用于其他的示例性实施环境，并具体配置在其他设备中，本实施例不对该装置所适用的实施环境进行限制。

如图7所示，该示例性的视频显示装置包括：获取模块701、处理模块702、呈现模块703。

其中，获取模块701用于获取初始视频流和显示装置的显示格式，初始视频流通过设置于车辆的至少一个图像采集装置采集；处理模块702，用于对初始视频流进行帧率调整，得到待显示视频流，并输入预设感知融合模型以确定车辆的周围异常环境信息；基于显示格式对待显示视频流进行格式调整，生成显示格式视频流；根据周围环境信息对显示格式视频流进行标注，得到标注视频流；显示模块703，用于通过显示装置对标注视频流进行显示。

在本申请的一个实施例中，处理模块对于数据的处理流程可以在图8的装置数据处理流程示意图中执行，具体参见图8所示。

图8是装置数据处理流程示意图，如图8所示，在获取模块获取视频流后，通过低电压差分信号(LVDS)将视频流传输至处理模块702中，该处理模块702包括但不限于解码器、数据处理单元以及串行器，数据流首先在解码器中解码获得解码后数据流，再将解码后数据流传输至数据处理单元进行上述的视频显示方法的实施例中的数据处理，然后通过高清数字显示接口标准(DP)传输至串行器进行数据准备，最终传输至呈现模块对视频进行显示。

本申请的实施例还提供了一种电子设备，包括：一个或多个处理器；存储装置，用于存储一个或多个程序，当一个或多个程序被一个或多个处理器执行时，使得电子设备实现上述各个实施例中提供的视频显示方法。

图9示出了适于用来实现本申请实施例的电子设备的计算机系统的结构示意图。需要说明的是，图9示出的电子设备的计算机系统900仅是一个示例，不应对本申请实施例的功能和适用范围带来任何限制。

如图9所示，计算机系统900包括中央处理单元(CentralProcessingUnit，CPU)901，其可以根据存储在只读存储器(Read-OnlyMemory，ROM)902中的程序或者从储存部分加载到随机访问存储器(RandomAccessMemory，RAM)903中的程序而执行各种适当的动作和处理，例如执行上述实施例中所述的方法。在RAM903中，还存储有系统操作所需的各种程序和数据。CPU901、ROM902以及RAM903通过总线彼此相连。输入/输出(Input/Output，I/O)接口905也连接至总线904。

以下部件连接至I/O接口905：包括键盘、鼠标等的输入部分906；包括诸如阴极射线管(CathodeRayTube，CRT)、液晶显示器(LiquidCrystalDisplay，LCD)等以及扬声器等的输出部分907；包括硬盘等的储存部分908；以及包括诸如LAN(LocalAreaNetwork，局域网)卡、调制解调器等的网络接口卡的通信部分909。通信部分经由诸如因特网的网络执行通信处理。驱动器也根据需要连接至I/O接口905。可拆卸介质911，诸如磁盘、光盘、磁光盘、半导体存储器等等，根据需要安装在驱动器910上，以便于从其上读出的计算机程序根据需要被安装入储存部分908。

特别地，根据本申请的实施例，上文参考流程图描述的过程可以被实现为计算机软件程序。例如，本申请的实施例包括一种计算机程序产品，其包括承载在计算机可读介质上的计算机程序，该计算机程序包含用于执行流程图所示的方法的计算机程序。在这样的实施例中，该计算机程序可以通过通信部分909从网络上被下载和安装，和/或从可拆卸介质911被安装。在该计算机程序被中央处理单元(CPU)901执行时，执行本申请的系统中限定的各种功能。

需要说明的是，本申请实施例所示的计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质或者是上述两者的任意组合。计算机可读存储介质例如可以是电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子可以包括但不限于：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机访问存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(ErasableProgrammableReadOnlyMemory，EPROM)、闪存、光纤、便携式紧凑磁盘只读存储器(CompactDiscRead-OnlyMemory，CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本申请中，计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的计算机程序。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。计算机可读介质上包含的计算机程序可以用任何适当的介质传输，包括但不限于：无线、有线等等，或者上述的任意合适的组合。

附图中的流程图和框图，图示了按照本申请各种实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。其中，流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分，上述模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个接连地表示的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图或流程图中的每个方框、以及框图或流程图中的方框的组合，可以用执行规定的功能或操作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。

在上述实施例的对应附图中，连接线可以表示各个部件之间的连接关系，以表示更多的构成信号路径(constituent_signalpath)和/或一些线的一个或多个末端具有箭头，以表示主要信息流向，连接线作为一种标识，不是对方案本身的限制，而是结合一个或多个事例性实施例使用这些线有助于更容易地接电路或逻辑单元，任何所代表的信号(由设计需求或偏好所决定)实际上可以包括可以在任意一个方向传送的并且可以以任何适当类型的信号方案实现的一个或多个信号。

描述于本申请实施例中所涉及到的单元可以通过软件的方式实现，也可以通过硬件的方式来实现，所描述的单元也可以设置在处理器中。其中，这些单元的名称在某种情况下并不构成对该单元本身的限定。

本申请的另一方面还提供了一种计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现如前所述的健康信息监控方法。该计算机可读存储介质可以是上述实施例中描述的电子设备中所包含的，也可以是单独存在，而未装配入该电子设备中。

应当注意，尽管在上文详细描述中提及了用于动作执行的设备的若干模块或者单元，但是这种划分并非强制性的。实际上，根据本申请的实施方式，上文描述的两个或更多模块或者单元的特征和功能可以在一个模块或者单元中具体化。反之，上文描述的一个模块或者单元的特征和功能可以进一步划分为由多个模块或者单元来具体化。

通过以上的实施方式的描述，本领域的技术人员易于理解，这里描述的示例实施方式可以通过软件实现，也可以通过软件结合必要的硬件的方式来实现。因此，根据本申请实施方式的技术方案可以以软件产品的形式体现出来，该软件产品可以存储在一个非易失性存储介质(可以是CD-ROM，U盘，移动硬盘等)中或网络上，包括若干指令以使得一台计算设备(可以是个人计算机、服务器、触控终端、或者网络设备等)执行根据本申请实施方式的方法。

应当注意，本申请可用于众多通用或专用的计算系统环境或配置中。例如：个人计算机、服务器计算机、手持设备或便携式设备、平板型设备、多处理器系统、基于微处理器的系统、置顶盒、可编程的消费电子设备、网络PC、小型计算机、大型计算机、包括以上任何系统或设备的分布式计算环境等等。

本领域技术人员在考虑说明书及实践这里公开的实施方式后，将容易想到本申请的其他实施方案。本申请旨在涵盖本申请的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本申请的一般性原理并包括本申请未公开的本技术领域中的公知常识或惯用技术手段。

应当理解的是，本上述内容，仅为本申请的较佳示例性实施例，并非用于限制本申请的实施方案，本领域普通技术人员根据本申请的主要构思和精神，可以十分方便地进行相应的变通或修改，故本申请的保护范围应以权利要求书所要求的保护范围。

Claims (12)

1.一种视频显示方法，其特征在于，所述视频显示方法包括：

获取初始视频流和显示装置的显示格式，所述初始视频流通过设置于车辆的至少一个图像采集装置采集；

对所述初始视频流进行帧率调整，得到待显示视频流，并输入预设感知融合模型，以确定所述车辆的周围异常环境信息；

基于所述显示格式对所述待显示视频流进行格式调整，生成显示格式视频流；

根据所述周围环境信息对所述显示格式视频流进行标注，得到标注视频流；

通过所述显示装置对所述标注视频流进行显示。

2.根据权利要求1所述的视频显示方法，其特征在于，输入预设感知融合模型，以确定所述车辆的周围异常环境信息包括：

根据所述待显示视频流与预设安全驾驶环境信息确定车辆周围异常障碍目标；

根据预设分类条件对所述异常障碍目标进行分类，生成至少一个异常障碍目标初始信息集；

获取各所述异常障碍目标信息，根据各所述异常障碍目标信息建立异常障碍目标信息集，所述异常障碍目标信息集包括所述异常障碍目标的位置信息、距离信息及尺寸信息；

根据预设融合算法与各所述异常障碍目标信息集确定当前各异常障碍目标的融合信息；

基于所述融合信息确定所述车辆的周围异常环境信息。

3.根据权利要求2所述的视频显示方法，其特征在于，根据预设分类条件对所述异常障碍目标进行分类包括：

对各所述异常障碍目标进行特征提取，得到各所述异常障碍目标的特征向量；

根据各所述特征向量与预设分类条件的映射关系确定各特征向量的分类信息；

根据所述分类信息生成至少一个异常障碍目标初始信息集。

4.根据权利要求3所述的视频显示方法，其特征在于，对各所述异常障碍目标进行特征提取之前，所述视频显示方法还包括：

将所述待显示视频流中异常障碍目标所在的帧作为关键帧进行提取；

对所述关键帧进行噪点去除与坏点校正处理，得到调优后图像，以对各所述异常障碍目标进行特征提取。

5.根据权利要求2所述的视频显示方法，其特征在于，根据各所述异常障碍目标信息建立异常障碍目标信息集之后，所述视频显示方法还包括：

分别对所述异常障碍目标的位置信息、距离信息及尺寸信息设置权重，得到带有权重信息的所述位置信息、距离信息及尺寸信息；

根据所述带有权重信息的所述位置信息、距离信息及尺寸信息进行加权计算，得到当前异常障碍目标的评级，其中所述评级包括一般异常障碍目标与危险异常障碍目标。

6.根据权利要求2所述的视频显示方法，其特征在于，基于所述融合信息确定所述车辆的周围异常环境信息之后，所述视频显示方法还包括：

根据所述异常障碍目标的所述位置信息、距离信息及尺寸信息确定警示信息；

根据所述警示信息与所述异常障碍目标的评级确定警示信息显示方式：

当所述评级为一般异常障碍目标，采用文本信息对警示信息进行显示；

当所述评级为危险异常障碍目标，采用文本信息与语音播报对警示信息进行显示。

7.根据权利要求1-6任一项所述的视频显示方法，其特征在于，对所述初始视频流进行帧率调整，得到待显示视频流，包括：

若所述初始视频流的数量为多个，获取各所述初始视频流的视频帧率；

将各所述视频帧率中的最低帧率确定为待显示视频帧率；

对各目标视频流进行降帧处理，直至各所述目标视频流的视频帧率达到待显示视频帧率，得到待显示视频流，所述降帧处理包括抽帧、跳帧、合帧中至少一种降帧操作，所述目标视频流为视频帧率大于所述待显示视频帧率的初始视频流。

8.根据权利要求1-6任一项所述的视频显示方法，其特征在于，根据所述待显示视频帧率对各所述初始视频流进行降帧处理，得到待显示视频流之后，所述视频显示方法还包括：

获取所述待显示视频流的时序信息；

根据预先选定的视频流起始时间，对所述待显示视频流中视频流起始时间时刻的视频帧进行标记，得到视频起始标识帧；

基于所述视频起始标识帧对所述待显示视频流进行时序同步，得到同步时序的待显示视频流。

9.根据权利要求1-6所述的视频显示方法，其特征在于，基于所述显示格式对所述待显示视频流进行格式调整，包括：

根据显示装置的显示格式确定视频数据输入的数据格式信息和像素信息；

基于所述视频数据输入的数据格式信息与像素信息对所述待显示视频流进行格式更改，以通过所述显示装置显示所述初始视频流。

10.一种视频显示装置，其特征在于，所述视频显示装置包括：

获取模块，用于获取初始视频流和显示装置的显示格式，所述初始视频流通过设置于车辆的至少一个图像采集装置采集；

处理模块，用于对所述初始视频流进行帧率调整，得到待显示视频流，并输入预设感知融合模型以确定所述车辆的周围异常环境信息；基于所述显示格式对所述待显示视频流进行格式调整，生成显示格式视频流；根据所述周围环境信息对所述显示格式视频流进行标注，得到标注视频流；

显示模块，用于通过所述显示装置对所述标注视频流进行显示。

11.一种电子设备，其特征在于，所述电子设备包括：

一个或多个处理器；

存储装置，用于存储一个或多个程序，当所述一个或多个程序被所述一个或多个处理器执行时，使得所述电子设备实现如权利要求1至9中任一项所述的视频显示方法。

12.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有计算机可读指令，当所述计算机可读指令被计算机的处理器执行时，使计算机执行权利要求1至9中任一项所述的视频显示方法。

Images