CN110446106B - 一种前置摄像头文件的识别方法、电子设备及存储介质 - Google Patents

Abstract

本公开实施例涉及一种前置摄像头文件的识别方法、电子设备及存储介质，方法包括：解码摄像头文件，得到多帧图像；提取每帧图像中多种目标物信息和每种目标物的关键信息；基于所述目标物信息和所述关键信息，识别前置摄像头文件。本公开实施例中，通过提取摄像头文件中每帧图像的目标物信息和每种目标物的关键信息，自动识别前置摄像头文件，不依赖人工干预，无需额外配置信息，提高识别效率，减小出错概率。

Description

一种前置摄像头文件的识别方法、电子设备及存储介质

技术领域

本公开实施例涉及智能交通技术领域，具体涉及一种前置摄像头文件的识别方法、电子设备及存储介质。

背景技术

目前，随着智能交通技术的发展，数据采集车辆及智能驾驶车辆上安装了多类传感器，例如包括雷达、摄像头等。通常多个摄像头安装在车身周围，用于采集车身周围的可视化信息。根据摄像头相对车身的安装位置及朝向，可将摄像头分类为：前置摄像头、后置摄像头、左侧摄像头和右侧摄像头。

前置摄像头通常安装在车辆前部，朝向车头；后置摄像头通常安装在车辆后部，朝向车尾；左侧摄像头通常安装在车辆左侧部，朝向车身左侧；右侧摄像头通常安装在车辆右侧部，朝向车身右侧。

电子设备收集了雷达、摄像头等传感器的原始数据后，会上传到云端服务器进行格式化处理和分类管理，形成数据集以方便用户后续使用。在海量的数据集中，如何帮助用户尽快定位所需的数据集始终是一个问题。摄像头录制的视频影像数据是最直观的信息，目前业界为每段数据集提供一个摄像头录制影像的动态缩略图，方便用户检索数据时无需从云端下载庞大的数据集，即可直观地预览数据集的采集地点、天气、场景、时间等信息。而前置摄像头的视角方向与车辆行驶方向相同，与人类感知的体验更加一致，其录制的视频数据可以直观形象的展现车辆行驶过程中的运动轨迹、场景和路况等，所以通常以前置摄像头录制的视频数据为基础制作动态缩略图。

目前，云端服务器判断前置摄像头文件的方法为：

方法一：车端手工配置，按照特定格式配置标识前置摄像头，并将配置文件上传到云端，云端解析程序根据上传的配置文件确定前置摄像头文件。

方法二：云端手工标注，人为分析视频数据后，手工标识前置摄像头对应的视频文件，云端程序根据手工标识信息确定前置摄像头文件。

以上两种方法都依赖于人工干预，需额外配置信息，识别效率低，人工出错不可避免，导致数据集对应的动态缩略图出现偏差。

因此亟需提供一种前置摄像头文件的识别方案，以自动处理摄像头文件，识别前置摄像头文件，不依赖人工干预，无需额外配置信息，提高识别效率，减小出错概率。

上述对问题的发现过程的描述，仅用于辅助理解本发明的技术方案，并不代表承认上述内容是现有技术。

发明内容

为了解决现有技术存在的至少一个问题，本发明的至少一个实施例提供了一种前置摄像头文件的识别方法、电子设备及存储介质。

第一方面，本公开实施例提出一种前置摄像头文件的识别方法，所述方法包括：

解码摄像头文件，得到多帧图像；

提取每帧图像中多种目标物信息和每种目标物的关键信息；

基于所述目标物信息和所述关键信息，识别前置摄像头文件。

第二方面，本公开实施例还提出一种电子设备，包括：处理器和存储器；

所述处理器通过调用所述存储器存储的程序或指令，用于执行如第一方面所述方法的步骤。

第三方面，本公开实施例还提出一种非暂态计算机可读存储介质，所述非暂态计算机可读存储介质存储程序或指令，所述程序或指令使计算机执行如第一方面所述方法的步骤。

可见，本公开实施例的至少一个实施例中，通过提取摄像头文件中每帧图像的目标物信息和每种目标物的关键信息，自动识别前置摄像头文件，不依赖人工干预，无需额外配置信息，提高识别效率，减小出错概率。

附图说明

为了更清楚地说明本公开实施例的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，还可以根据这些附图获得其他的附图。

图1是本公开实施例提供的一种智能驾驶车辆的整体架构图；

图2是本公开实施例提供的一种智能驾驶系统的框图；

图3是本公开实施例提供的一种识别模块的框图；

图4是本公开实施例提供的一种电子设备的框图；

图5为本公开实施例提供的一种前置摄像头文件的识别方法流程图；

图6为本公开实施例提供的另一种前置摄像头文件的识别方法流程图；

图7为本公开实施例提供的又一种前置摄像头文件的识别方法流程图；

图8为本公开实施例提供的又一种前置摄像头文件的识别方法流程图。

具体实施方式

为了能够更清楚地理解本发明的上述目的、特征和优点，下面结合附图和实施例对本发明作进一步的详细说明。可以理解的是，所描述的实施例是本发明的一部分实施例，而不是全部的实施例。此处所描述的具体实施例仅仅用于解释本发明，而非对本发明的限定。基于所描述的本发明的实施例，本领域普通技术人员所获得的所有其他实施例，都属于本发明保护的范围。

需要说明的是，在本文中，诸如“第一”和“第二”等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。

针对现有技术中识别前置摄像头文件依赖于人工干预，需额外配置信息，识别效率低，人工出错不可避免，导致数据集对应的动态缩略图出现偏差的问题，本公开实施例提供一种前置摄像头文件的识别方案，自动识别前置摄像头文件，不依赖人工干预，无需额外配置信息，提高识别效率，减小出错概率。

本公开实施例提供的前置摄像头文件的识别方案是由云端服务器对智能驾驶车辆通过无线通信方式发送的摄像头文件进行识别。

图1为本公开实施例提供的一种智能驾驶车辆的整体架构图，如图1所示，智能驾驶车辆包括：传感器组、智能驾驶系统100、车辆底层执行系统以及其他可用于驱动车辆和控制车辆运行的部件。

传感器组，用于采集车辆外界环境的数据和探测车辆的位置数据。传感器组例如包括但不限于摄像头、激光雷达、毫米波雷达、GPS(Global Positioning System，全球定位系统)和IMU(Inertial Measurement Unit，惯性测量单元)中的至少一个。

在一些实施例中，传感器组，还用于采集车辆的动力学数据，传感器组例如还包括但不限于车轮转速传感器、速度传感器、加速度传感器、方向盘转角传感器、前轮转角传感器中的至少一个。

智能驾驶系统100，用于获取传感器组的数据，传感器组中所有传感器在智能驾驶车辆行驶过程中都以较高的频率传送数据。

智能驾驶系统100，还用于基于传感器组的数据进行环境感知和车辆定位，并基于环境感知信息和车辆定位信息进行路径规划和决策，以及基于规划的路径生成车辆控制指令，从而控制车辆按照规划路径行驶。

在一些实施例中，智能驾驶系统100可以为软件系统、硬件系统或者软硬件结合的系统。例如，智能驾驶系统100是运行在操作系统上的软件系统，车载硬件系统是支持操作系统运行的硬件系统。

在一些实施例中，智能驾驶系统100，还用于与云端服务器无线通信，交互各种信息。在一些实施例中，智能驾驶系统100与云端服务器通过无线通讯网络(例如包括但不限于GPRS网络、Zigbee网络、Wifi网络、3G网络、4G网络、5G网络等无线通讯网络)进行无线通信。

云端服务器用于统筹协调管理智能驾驶车辆。在一些实施例中，云端服务器可以用于与一个或多个智能驾驶车辆进行交互，统筹协调管理多个智能驾驶车辆的调度等。在一些实施例中，云端服务器还可以用于识别确定传感器位置，例如识别前置摄像头。更具体地，云端服务器可用于解码摄像头文件，得到多帧图像；提取每帧图像中多种目标物信息和每种目标物的关键信息；基于目标物信息和关键信息，识别前置摄像头文件。

在一些实施例中，云端服务器是由车辆服务商所建立的云端服务器，提供云存储和云计算的功能。在一些实施例中，云端服务器中建立车辆端档案。在一些实施例中，车辆端档案中储存智能驾驶系统100上传的各种信息。在一些实施例中，云端服务器可以实时同步车辆端产生的驾驶数据。

在一些实施例中，云端服务器可包括数据仓库和数据加工平台，其中数据仓库中存储云端服务器建立的车辆端档案。在一些实施例中，数据仓库可以从各种源头业务系统中把数据统一采集到数据仓库中，并在数据加工平台进行加工，以便车辆端使用。

在一些实施例中，数据仓库和数据加工平台可基于数据仓库云服务进行建立，例如采用阿里云提供的数据仓库云服务和MaxCompute云服务进行建立。MaxCompute服务可向用户提供完善的数据导入方案以及多种分布式计算模型，解决海量数据计算问题。

在一些实施例中，云端服务器是基于车载T-BOX终端，应用云技术搭建的信息服务后台。

在一些实施例中，云端服务器可以是一个服务器，也可以是一个服务器群组。服务器群组可以是集中式的，也可以是分布式的。分布式服务器，有利于任务在多个分布式服务器进行分配与优化，克服传统集中式服务器资源紧张与响应瓶颈的缺陷。在一些实施例中，云端服务器可以是本地的或远程的。

在一些实施例中，云端服务器可用于对车辆端进行停车收费、过路收费等。在一些实施例中，云端服务器还用于分析驾驶员的驾驶行为，并且对驾驶员的驾驶行为进行安全等级评估。

在一些实施例中，云端服务器可用于获取道路监测单元(RSU：Road Side Unit)和智能驾驶车辆的信息，以及可以发送信息至智能驾驶车辆。在一些实施例中，云端服务器可以根据智能驾驶车辆的信息将道路监测单元中的与智能驾驶车辆相对应的检测信息发送给智能驾驶车辆。

在一些实施例中，道路监测单元可以用于收集道路监测信息。在一些实施例中，道路监测单元可以是环境感知传感器，例如，摄像头、激光雷达等，也可以是道路设备，例如V2X设备，路边红绿灯装置等。在一些实施例中，道路监测单元可以监控隶属于相应道路监测单元的道路情况，例如，通过车辆的类型、速度、优先级别等。道路监测单元在收集到道路监测信息后，可将所述道路监测信息发送给云端服务器，也可以发送给通过道路的智能驾驶车辆。

车辆底层执行系统，用于接收车辆控制指令，实现对车辆行驶的控制。在一些实施例中，车辆底层执行系统包括但不限于：转向系统、制动系统和驱动系统。转向系统、制动系统和驱动系统属于车辆领域成熟系统，在此不再赘述。

在一些实施例中，智能驾驶车辆还可包括图1中未示出的车辆CAN总线，车辆CAN总线连接车辆底层执行系统。智能驾驶系统100与车辆底层执行系统之间的信息交互通过车辆CAN总线进行传递。

在一些实施例中，智能驾驶车辆既可以通过驾驶员又可以通过智能驾驶系统100控制车辆行驶。在人工驾驶模式下，驾驶员通过操作控制车辆行驶的装置驾驶车辆，控制车辆行驶的装置例如包括但不限于制动踏板、方向盘和油门踏板等。控制车辆行驶的装置可直接操作车辆底层执行系统控制车辆行驶。

在一些实施例中，智能驾驶车辆也可以为无人车，车辆的驾驶控制由智能驾驶系统100来执行。

图2为本公开实施例提供的一种智能驾驶系统200的框图。在一些实施例中，智能驾驶系统200可以实现为图1中的智能驾驶系统100或者智能驾驶系统100的一部分，用于控制车辆行驶。

如图2所示，智能驾驶系统200可划分为多个模块，例如包括但不限于：感知模块201、规划模块202、控制模块203以及其他一些可用于智能驾驶的模块。

感知模块201用于进行环境感知与定位。

在一些实施例中，感知模块201用于获取的传感器数据、V2X(Vehicle to X，车用无线通信)数据、高精度地图等数据。

在一些实施例中，感知模块201用于基于获取的传感器数据、V2X(Vehicle to X，车用无线通信)数据、高精度地图等数据中的至少一种，进行环境感知与定位。

在一些实施例中，感知模块201用于生成感知定位信息，实现对障碍物感知、摄像头图像的可行驶区域识别以及车辆的定位等。

环境感知(Environmental Perception)可以理解为对于环境的场景理解能力，例如障碍物的位置，道路标志/标记的检测，行人/车辆的检测等数据的语义分类。

在一些实施例中，环境感知可采用融合摄像头、激光雷达、毫米波雷达等多种传感器的数据进行环境感知。

定位(Localization)属于感知的一部分，是确定智能驾驶车辆相对于环境的位置的能力。

定位可采用：GPS定位，GPS的定位精度在数十米到厘米级别，定位精度高；定位还可采用融合GPS和惯性导航系统(Inertial Navigation System)的定位方法。定位还可采用SLAM(Simultaneous Localization And Mapping，同步定位与地图构建)，SLAM的目标即构建地图的同时使用该地图进行定位，SLAM通过利用已经观测到的环境特征确定当前车辆的位置以及当前观测特征的位置。

V2X是智能交通运输系统的关键技术，使得车与车、车与基站、基站与基站之间能够通信，从而获得实时路况、道路信息、行人信息等一系列交通信息，提高智能驾驶安全性、减少拥堵、提高交通效率、提供车载娱乐信息等。

高精度地图是智能驾驶领域中使用的地理地图，与传统地图相比，不同之处在于：1)高精度地图包括大量的驾驶辅助信息，例如依托道路网的精确三维表征：包括交叉路口局和路标位置等；2)高精地图还包括大量的语义信息，例如报告交通灯上不同颜色的含义，又例如指示道路的速度限制，以及左转车道开始的位置；3)高精度地图能达到厘米级的精度，确保智能驾驶车辆的安全行驶。

规划模块202用于基于感知定位模块生成的感知定位信息，进行路径规划和决策。

在一些实施例中，规划模块202用于基于感知定位模块生成的感知定位信息，并结合V2X数据、高精度地图等数据中的至少一种，进行路径规划和决策。

在一些实施例中，规划模块202用于规划路径、决策：行为(例如包括但不限于跟车、超车、停车、绕行等)、车辆航向、车辆速度、车辆的期望加速度、期望的方向盘转角等，生成规划决策信息。

控制模块203用于基于规划模块生成的规划决策信息，进行路径跟踪和轨迹跟踪。

在一些实施例中，控制模块203用于生成车辆底层执行系统的控制指令，并下发控制指令，以使车辆底层执行系统控制车辆按照期望路径行驶，例如通过控制方向盘、刹车以及油门对车辆进行横向和纵向控制。

在一些实施例中，控制模块203还用于基于路径跟踪算法计算前轮转角。

在一些实施例中，路径跟踪过程中的期望路径曲线与时间参数无关，跟踪控制时，可以假设智能驾驶车辆以当前速度匀速前进，以一定的代价规则使行驶路径趋近于期望路径；而轨迹跟踪时，期望路径曲线与时间和空间均相关，并要求智能驾驶车辆在规定的时间内到达某一预设好的参考路径点。

路径跟踪不同于轨迹跟踪，不受制于时间约束，只需要在一定误差范围内跟踪期望路径。

图3为本公开实施例提供的一种识别模块300的框图。在一些实施例中，识别模块300可以实现为云端服务器中的一个模块。

如图3所示，识别模块300可包括但不限于以下单元：解码单元301、提取单元302和识别单元303。

解码单元301用于解码摄像头文件，得到多帧图像。

在一些实施例中，云端服务器可从智能驾驶系统100发送的各种数据中确定出智能驾驶车辆发送的一个或多个摄像头文件，确定方式例如为通过识别文件后缀进行确定。

多个摄像头文件可以是同一个摄像头的文件，也可以是不同摄像头的文件。云端服务器确定出摄像头文件后，对摄像头文件进行识别，以确定前置摄像头文件。

为了不依赖人工干预，无需额外配置信息，云端服务器需要对摄像头文件本身进行自动分析，解码单元301通过解码摄像头文件，得到摄像头文件对应的多帧图像。

提取单元302用于提取每帧图像中多种目标物信息和每种目标物的关键信息。

在一些实施例中，提取单元302对多帧图像进行处理，可提取出每帧图像中的不同物体，由于物体种类较多，可预先选取多种物体作为识别前置摄像头文件的目标物，例如车辆、树木、交通标识牌等等。选取依据可以是多个摄像头均可以拍摄到的物体，也可以是便于识别前置摄像头文件的其他依据。

在一些实施例中，多种目标物信息可包括但不限于以下至少一种：车辆头部、车辆尾部、交通标识牌、树木、车道线、相邻车道中的车辆。

预先选取多种物体作为识别前置摄像头文件的目标物后，提取单元302可提取出每帧图像中多种目标物信息。提取方式可以采用人工智能方式，例如，基于识别网络提取每帧图像中多种目标物信息。

在一些实施例中，识别网络可基于标注数据训练神经网络得到，其中，标注数据包括标注图像，且标注图像中多种目标物信息为已知信息。将标注图像输入到神经网络中，训练神经网络直至神经网络的输出符合或对应标注图像中的目标物信息。

在一些实施例中，为了便于识别前置摄像头文件，可综合考虑同一目标物在不同帧图像中的变化情况，例如基于时间顺序，交通标识牌在不同帧图像中由小变大，且智能驾驶车辆在向前行驶，可确定交通标识牌由前置摄像头拍摄。

可见，交通标识牌的大小是识别前置摄像头文件过程中交通标识牌的关键信息，便于识别前置摄像头拍摄。

在一些实施例中，目标物的关键信息可包括但不限于以下至少一种：大小、位置、斜率。

在一些实施例中，提取单元302提取出每帧图像中多种目标物信息，还可提取出每种目标物的关键信息。提取关键信息的方式可以采用人工智能方式，例如，基于识别网络提取每种目标物的关键信息。

识别单元303用于基于所述目标物信息和所述关键信息，识别前置摄像头文件。

可见，通过提取摄像头文件中每帧图像的目标物信息和每种目标物的关键信息，自动识别前置摄像头文件，不依赖人工干预，无需额外配置信息，提高识别效率，减小出错概率。

在一些实施例中，识别模块300还可包括图3中未示出的判断单元，用于判断解码数据量是否大于或等于最小量阈值。若解码数据量是否大于或等于最小量阈值，则提取单元302提取每帧图像中多种目标物信息和每种目标物的关键信息。

设置最小量阈值的目的在于降低将非前置摄像头识别为前置摄像头的可能性，可以降低误识别率。最小量阈值的取值可基于实际需要进行设置，本实施例不限定最小量阈值的具体取值。

在一些实施例中，若采用行业通用的视频解码算法，可将视频解码算法几十秒的解码量作为最小量阈值，例如30秒的解码量作为最小量阈值。

在一些实施例中，判断单元，还用于判断解码数据量是否大于或等于最大量阈值。识别模块300还可包括图3中未示出的确定单元，用于判断单元判断解码数据量大于或等于最大量阈值后，确定未识别的摄像头文件为前置摄像头文件的概率。

对摄像头文件进行识别的结果包括三种：前置摄像头文件、非前置摄像头文件、未识别的摄像头文件。也即摄像头文件识别为前置摄像头文件、非前置摄像头文件或未识别的摄像头文件。

对于未识别的摄像头文件，为了降低未识别的摄像头文件中存在前置摄像头文件的可能性，可以确定未识别的摄像头文件为前置摄像头文件的概率，从而降低漏判率。

在一些实施例中，确定单元确定未识别的摄像头文件为前置摄像头文件的概率，具体为：确定单元基于所述目标物信息和所述关键信息，确定所述未识别的摄像头文件为前置摄像头文件的概率。

设置最大量阈值的目的在于提升可靠性，因为解码数据量较少时误判会增大。最大量阈值的取值可基于实际需要进行设置，本实施例不限定最大量阈值的具体取值。

在一些实施例中，若采用行业通用的视频解码算法，可将视频解码算法几十分钟的解码量作为最大量阈值，例如5分钟的解码量作为最大量阈值。

在一些实施例中，识别单元303基于目标物信息和关键信息，识别前置摄像头文件，具体为：确定每种目标物的关键信息在不同帧图像中的变化信息；基于变化信息和目标物信息，识别前置摄像头文件。

为了便于识别前置摄像头文件，本实施例考虑同一目标物的关键信息在不同帧图像中的变化情况，基于每种目标物的关键信息在不同帧图像中的变化信息和每种目标物信息，识别前置摄像头文件。

在一些实施例中，变化信息可包括但不限于以下至少一种：目标物由大变小、目标物由小变大、目标物位置靠近、目标物位置远离、斜率变大、斜率变小。

本实施例中，对摄像头文件进行识别的结果包括三种：前置摄像头文件、非前置摄像头文件、未识别的摄像头文件。也即摄像头文件识别为前置摄像头文件、非前置摄像头文件或未识别的摄像头文件。

在一些实施例中，识别单元303基于变化信息和目标物信息，识别前置摄像头文件，具体为：若变化信息和目标物信息包括但不限于以下多个时，标记摄像头文件为前置摄像头文件：车辆尾部、交通标识牌由小到大、树木由小到大、车道线逐渐靠近。

本实施例中，为了增加识别的可靠性，只有当“车辆尾部、交通标识牌由小到大、树木由小到大、车道线逐渐靠近”均存在或成立时，才标记摄像头文件为前置摄像头文件。

在一些实施例中，识别单元303基于变化信息和目标物信息，识别前置摄像头文件，具体为：若变化信息和目标物信息包括但不限于以下多个时，标记所述摄像头文件为非前置摄像头文件：车辆头部、交通标识牌由大到小、树木由大到小、车道线逐渐远离。

本实施例中，为了增加识别的可靠性，只有当“车辆头部、交通标识牌由大到小、树木由大到小、车道线逐渐远离”均存在或成立时，才标记摄像头文件为非前置摄像头文件。

在一些实施例中，未识别的摄像头文件可以理解为未标记的摄像头文件，对于未识别的摄像头文件，为了降低漏判率，确定单元可确定未识别的摄像头文件为前置摄像头文件的概率，具体为：

确定单元确定每种目标物的关键信息在不同帧图像中的变化信息；基于所述变化信息和所述目标物信息，确定每种目标物的概率，所述概率为前置摄像头拍摄的概率；基于每种目标物的概率，得到前置摄像头文件的概率。

在一些实施例中，可预先建立变化信息、目标物信息与目标物概率之间的对应关系。相应地，确定单元基于所述变化信息和所述目标物信息，确定每种目标物的概率，具体为：基于所述对应关系，确定每种目标物的概率；其中，每种目标物的概率不同。

变化信息、目标物信息与目标物概率之间的对应关系，包括但以下至少一个：

车辆头部对应第一概率；

交通标识牌由小到大对应第二概率；

树木由小到大对应第三概率；

车道线逐渐靠近对应第四概率；

相邻车道中的车辆对应第五概率；

其中，所述第一概率至所述第五概率依次减小。

需要说明的是，本领域技术人员可根据实际需要设置第一概率至第五概率，本实施例不限定第一概率至第五概率的具体取值。

例如，在车辆向前行驶过程中，若“交通标示牌由小到大”，则交通标识牌是前置摄像头所拍摄的可能性较高，因此，“交通标示牌由小到大”是判断前置摄像头文件的重要信息，重要程度高于其他信息，应当赋予较大的正概率。

若“交通标示牌由大到小”，则交通标识牌是前置摄像头所拍摄的可能性较低，因此，“交通标示牌由大到小”是判断前置摄像头文件的次要信息，重要程度低于其他信息，应当赋予负概率。

在一些实施例中，“交通标示牌由小到大”对应的概率可设置为0.6，“交通标示牌由大到小”对应的概率可设置为﹣0.3。需要说明的是，具体数值仅为举例说明，本领域技术人员可基于实际需要进行设置。

在一些实施例中，确定单元基于每种目标物的概率，得到前置摄像头文件的概率，具体为：加权处理每种目标物的概率，得到前置摄像头文件的概率。本实施例通过加权方式将不同重要程度的信息用于确定前置摄像头文件的概率。

在一些实施例中，确定单元当确定未识别的摄像头文件为前置摄像头文件的概率后，选取概率最大的摄像头文件为前置摄像头文件。

为了降低漏判同时为了不增加误判，本实施例仅选取概率最大的摄像头文件为前置摄像头文件，本领域技术人员可基于实际情况，选取一个或多个摄像头文件作为前置摄像头文件，例如将多个摄像头文件按概率排序，选取排在前两位的摄像头文件标记为前置摄像头文件。

在一些实施例中，识别模块300还可包括图3中未示出的生成单元，用于基于识别的前置摄像头文件，生成对应的动态缩略图，生成方式可沿用现有技术，为避免重复，在此不再赘述。

图4是本公开实施例提供的一种电子设备的结构示意图。在一些实施例中，电子设备可以配置为云端服务器，可与智能驾驶车辆进行无线通信，获取智能驾驶车辆发送的摄像头文件。

如图4所示，电子设备包括：至少一个处理器401、至少一个存储器402和至少一个通信接口403。电子设备中的各个组件通过总线系统404耦合在一起。通信接口403，用于与外部设备之间的信息传输。可理解，总线系统404用于实现这些组件之间的连接通信。总线系统404除包括数据总线之外，还包括电源总线、控制总线和状态信号总线。但为了清楚说明起见，在图4中将各种总线都标为总线系统404。

可以理解，本实施例中的存储器402可以是易失性存储器或非易失性存储器，或可包括易失性和非易失性存储器两者。

在一些实施方式中，存储器402存储了如下的元素，可执行单元或者数据结构，或者他们的子集，或者他们的扩展集：操作系统和应用程序。

其中，操作系统，包含各种系统程序，例如框架层、核心库层、驱动层等，用于实现各种基础业务以及处理基于硬件的任务。应用程序，包含各种应用程序，例如媒体播放器(Media Player)、浏览器(Browser)等，用于实现各种应用业务。实现本公开实施例提供的前置摄像头文件的识别方法的程序可以包含在应用程序中。

在本公开实施例中，处理器401通过调用存储器402存储的程序或指令，具体的，可以是应用程序中存储的程序或指令，处理器401用于执行本公开实施例提供的前置摄像头文件的识别方法各实施例的步骤。

本公开实施例提供的前置摄像头文件的识别方法可以应用于处理器401中，或者由处理器401实现。处理器401可以是一种集成电路芯片，具有信号的处理能力。在实现过程中，上述方法的各步骤可以通过处理器401中的硬件的集成逻辑电路或者软件形式的指令完成。上述的处理器401可以是通用处理器、数字信号处理器(Digital Signal Processor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现成可编程门阵列(Field Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。

本公开实施例提供的前置摄像头文件的识别方法的步骤可以直接体现为硬件译码处理器执行完成，或者用译码处理器中的硬件及软件单元组合执行完成。软件单元可以位于随机存储器，闪存、只读存储器，可编程只读存储器或者电可擦写可编程存储器、寄存器等本领域成熟的存储介质中。该存储介质位于存储器402，处理器401读取存储器402中的信息，结合其硬件完成方法的步骤。

图5为本公开实施例提供的一种前置摄像头文件的识别方法流程图。该方法的执行主体为电子设备。在一些实施例中，电子设备可配置为云端服务器。

如图5所示，本实施例公开的前置摄像头文件的识别方法可包括以下步骤501至503：

501、解码摄像头文件，得到多帧图像。

502、提取每帧图像中多种目标物信息和每种目标物的关键信息。

503、基于所述目标物信息和所述关键信息，识别前置摄像头文件。

本实施例中，智能驾驶车辆与云端服务器无线通信，交互各种数据，例如，智能驾驶车辆收集摄像头、激光雷达等传感器数据后，无线发送给云端服务器。

云端服务器可从智能驾驶系统发送的各种数据中确定出智能驾驶车辆发送的一个或多个摄像头文件，确定方式例如为通过识别文件后缀进行确定。

多个摄像头文件可以是同一个摄像头的文件，也可以是不同摄像头的文件。云端服务器确定出摄像头文件后，对摄像头文件进行识别，以确定前置摄像头文件。

为了不依赖人工干预，无需额外配置信息，云端服务器需要对摄像头文件本身进行自动分析，通过解码摄像头文件，得到摄像头文件对应的多帧图像，进而对多帧图像进行处理，识别前置摄像头文件。

云端服务器对多帧图像进行处理，可提取出每帧图像中的不同物体，由于物体种类较多，可预先选取多种物体作为识别前置摄像头文件的目标物，例如车辆、树木、交通标识牌等等。选取依据可以是多个摄像头均可以拍摄到的物体，也可以是便于识别前置摄像头文件的其他依据。

在一些实施例中，多种目标物信息可包括但不限于以下至少一种：车辆头部、车辆尾部、交通标识牌、树木、车道线、相邻车道中的车辆。

预先选取多种物体作为识别前置摄像头文件的目标物后，云端服务器可提取出每帧图像中多种目标物信息。提取方式可以采用人工智能方式，例如，基于识别网络提取每帧图像中多种目标物信息。

在一些实施例中，识别网络可基于标注数据训练神经网络得到，其中，标注数据包括标注图像，且标注图像中多种目标物信息为已知信息。将标注图像输入到神经网络中，训练神经网络直至神经网络的输出符合或对应标注图像中的目标物信息。

为了便于识别前置摄像头文件，可综合考虑同一目标物在不同帧图像中的变化情况，例如基于时间顺序，交通标识牌在不同帧图像中由小变大，且智能驾驶车辆在向前行驶，可确定交通标识牌由前置摄像头拍摄。

可见，交通标识牌的大小是识别前置摄像头文件过程中交通标识牌的关键信息，便于识别前置摄像头拍摄。

在一些实施例中，目标物的关键信息可包括但不限于以下至少一种：大小、位置、斜率。

云端服务器提取出每帧图像中多种目标物信息，还可提取出每种目标物的关键信息。提取关键信息的方式可以采用人工智能方式，例如，基于识别网络提取每种目标物的关键信息。

云端服务器在提取目标物信息和关键信息后，即可基于目标物信息和关键信息，识别前置摄像头文件。

可见，本实施例公开的前置摄像头文件的识别方法，通过提取摄像头文件中每帧图像的目标物信息和每种目标物的关键信息，自动识别前置摄像头文件，不依赖人工干预，无需额外配置信息，提高识别效率，减小出错概率。

图6为本公开实施例提供的一种前置摄像头文件的识别方法流程图。该方法的执行主体为电子设备。在一些实施例中，电子设备可配置为云端服务器。

如图6所示，本实施例公开的前置摄像头文件的识别方法可包括以下步骤601至604：

601、解码摄像头文件，得到多帧图像。

602、判断解码数据量是否大于或等于最小量阈值；若是，则执行步骤603和604；若否，则执行步骤601。

603、提取每帧图像中多种目标物信息和每种目标物的关键信息。

604、基于所述目标物信息和所述关键信息，识别前置摄像头文件。

本实施例中，新增判断解码数据量的步骤，并在解码数据量大于或等于最小量阈值后，进行前置摄像头文件的识别，提升识别的可靠性。其他步骤与图5所示步骤相同，在此不再赘述。

设置最小量阈值的目的在于降低将非前置摄像头识别为前置摄像头的可能性，可以降低误识别率。最小量阈值的取值可基于实际需要进行设置，本实施例不限定最小量阈值的具体取值。

在一些实施例中，若采用行业通用的视频解码算法，可将视频解码算法几十秒的解码量作为最小量阈值，例如30秒的解码量作为最小量阈值。

图7为本公开实施例提供的一种前置摄像头文件的识别方法流程图。该方法的执行主体为电子设备。在一些实施例中，电子设备可配置为云端服务器。

如图7所示，本实施例公开的前置摄像头文件的识别方法可包括以下步骤701至705：

701、解码摄像头文件，得到多帧图像。

702、提取每帧图像中多种目标物信息和每种目标物的关键信息。

703、基于所述目标物信息和所述关键信息，识别前置摄像头文件。

704、判断解码数据量是否大于或等于最大量阈值；若是，则执行步骤705；若否，则执行步骤701。

705、确定未识别的摄像头文件为前置摄像头文件的概率。

本实施例中，对摄像头文件进行识别的结果包括三种：前置摄像头文件、非前置摄像头文件、未识别的摄像头文件。也即摄像头文件识别为前置摄像头文件、非前置摄像头文件或未识别的摄像头文件。

对于未识别的摄像头文件，为了降低未识别的摄像头文件中存在前置摄像头文件的可能性，可以确定未识别的摄像头文件为前置摄像头文件的概率，从而降低漏判率。

在一些实施例中，确定未识别的摄像头文件为前置摄像头文件的概率，具体为：基于所述目标物信息和所述关键信息，确定所述未识别的摄像头文件为前置摄像头文件的概率。

本实施例中，新增判断解码数据量的步骤，并在解码数据量大于或等于最大量阈值后，确定未识别的摄像头文件为前置摄像头文件的概率，降低漏判率。其他步骤与图5所示步骤相同，在此不再赘述。

设置最大量阈值的目的在于提升可靠性，因为解码数据量较少时误判会增大。最大量阈值的取值可基于实际需要进行设置，本实施例不限定最大量阈值的具体取值。

在一些实施例中，若采用行业通用的视频解码算法，可将视频解码算法几十分钟的解码量作为最大量阈值，例如5分钟的解码量作为最大量阈值。

图8为本公开实施例提供的一种前置摄像头文件的识别方法流程图。该方法的执行主体为电子设备。在一些实施例中，电子设备可配置为云端服务器。

如图8所示，本实施例公开的前置摄像头文件的识别方法可包括以下步骤801至804：

801、解码摄像头文件，得到多帧图像。

802、提取每帧图像中多种目标物信息和每种目标物的关键信息。

803、确定每种目标物的关键信息在不同帧图像中的变化信息；

804、基于所述变化信息和所述目标物信息，识别前置摄像头文件。

前述实施例中步骤503、604或703所述的“基于所述目标物信息和所述关键信息，识别前置摄像头文件”，具体为本实施例中的步骤803和804。本实施例中步骤801和802与前述步骤501和502相同，在此不再赘述。

为了便于识别前置摄像头文件，本实施例考虑同一目标物的关键信息在不同帧图像中的变化情况，基于每种目标物的关键信息在不同帧图像中的变化信息和每种目标物信息，识别前置摄像头文件。

在一些实施例中，变化信息可包括但不限于以下至少一种：目标物由大变小、目标物由小变大、目标物位置靠近、目标物位置远离、斜率变大、斜率变小。

本实施例中，对摄像头文件进行识别的结果包括三种：前置摄像头文件、非前置摄像头文件、未识别的摄像头文件。也即摄像头文件识别为前置摄像头文件、非前置摄像头文件或未识别的摄像头文件。

在一些实施例中，基于变化信息和目标物信息，识别前置摄像头文件，具体包括但不限于如下步骤：

若变化信息和目标物信息包括但不限于以下多个时，标记摄像头文件为前置摄像头文件：车辆尾部、交通标识牌由小到大、树木由小到大、车道线逐渐靠近。

本实施例中，为了增加识别的可靠性，只有当“车辆尾部、交通标识牌由小到大、树木由小到大、车道线逐渐靠近”均存在或成立时，才标记摄像头文件为前置摄像头文件。

在一些实施例中，若变化信息和目标物信息包括但不限于以下多个时，标记所述摄像头文件为非前置摄像头文件：车辆头部、交通标识牌由大到小、树木由大到小、车道线逐渐远离。

本实施例中，为了增加识别的可靠性，只有当“车辆头部、交通标识牌由大到小、树木由大到小、车道线逐渐远离”均存在或成立时，才标记摄像头文件为非前置摄像头文件。

未识别的摄像头文件可以理解为未标记的摄像头文件，对于未识别的摄像头文件，为了降低漏判率，可确定未识别的摄像头文件为前置摄像头文件的概率，具体可包括但不限于如下步骤(1)至(3)：

(1)确定每种目标物的关键信息在不同帧图像中的变化信息；

(2)基于所述变化信息和所述目标物信息，确定每种目标物的概率，所述概率为前置摄像头拍摄的概率；

(3)基于每种目标物的概率，得到前置摄像头文件的概率。

在一些实施例中，可预先建立变化信息、目标物信息与目标物概率之间的对应关系。相应地，基于所述变化信息和所述目标物信息，确定每种目标物的概率，包括：基于所述对应关系，确定每种目标物的概率；其中，每种目标物的概率不同。

变化信息、目标物信息与目标物概率之间的对应关系，包括但以下至少一个：

车辆头部对应第一概率；

交通标识牌由小到大对应第二概率；

树木由小到大对应第三概率；

车道线逐渐靠近对应第四概率；

相邻车道中的车辆对应第五概率；

其中，所述第一概率至所述第五概率依次减小。

需要说明的是，本领域技术人员可根据实际需要设置第一概率至第五概率，本实施例不限定第一概率至第五概率的具体取值。

例如，在车辆向前行驶过程中，若“交通标示牌由小到大”，则交通标识牌是前置摄像头所拍摄的可能性较高，因此，“交通标示牌由小到大”是判断前置摄像头文件的重要信息，重要程度高于其他信息，应当赋予较大的正概率。

若“交通标示牌由大到小”，则交通标识牌是前置摄像头所拍摄的可能性较低，因此，“交通标示牌由大到小”是判断前置摄像头文件的次要信息，重要程度低于其他信息，应当赋予负概率。

在一些实施例中，“交通标示牌由小到大”对应的概率可设置为0.6，“交通标示牌由大到小”对应的概率可设置为﹣0.3。需要说明的是，具体数值仅为举例说明，本领域技术人员可基于实际需要进行设置。

在一些实施例中，基于每种目标物的概率，得到前置摄像头文件的概率，具体为：加权处理每种目标物的概率，得到前置摄像头文件的概率。本实施例通过加权方式将不同重要程度的信息用于确定前置摄像头文件的概率。

在一些实施例中，当确定未识别的摄像头文件为前置摄像头文件的概率后，选取概率最大的摄像头文件为前置摄像头文件。

为了降低漏判同时为了不增加误判，本实施例仅选取概率最大的摄像头文件为前置摄像头文件，本领域技术人员可基于实际情况，选取一个或多个摄像头文件作为前置摄像头文件，例如将多个摄像头文件按概率排序，选取排在前两位的摄像头文件标记为前置摄像头文件。

在一些实施例中，基于识别的前置摄像头文件，生成对应的动态缩略图，生成方式可沿用现有技术，为避免重复，在此不再赘述。

综合以上各实施例可见，通过提取摄像头文件中每帧图像的目标物信息和每种目标物的关键信息，自动识别前置摄像头文件，不依赖人工干预，无需额外配置信息，提高识别效率，减小出错概率。

需要说明的是，对于前述的各方法实施例，为了简单描述，故将其都表述为一系列的动作组合，但是本领域技术人员能够理解，本公开实施例并不受所描述的动作顺序的限制，因为依据本公开实施例，某些步骤可以采用其他顺序或者同时进行(例如步骤602和步骤603的顺序可调或者同时进行，又例如步骤704可在步骤701之后执行)。另外，本领域技术人员能够理解，说明书中所描述的实施例均属于可选实施例。

本公开实施例还提出一种非暂态计算机可读存储介质，所述非暂态计算机可读存储介质存储程序或指令，所述程序或指令使计算机执行如前置摄像头文件的识别方法各实施例的步骤，为避免重复描述，在此不再赘述。

需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者装置不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者装置所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括该要素的过程、方法、物品或者装置中还存在另外的相同要素。

本领域的技术人员能够理解，尽管在此所述的一些实施例包括其它实施例中所包括的某些特征而不是其它特征，但是不同实施例的特征的组合意味着处于本发明的范围之内并且形成不同的实施例。

本领域的技术人员能够理解，对各个实施例的描述都各有侧重，某个实施例中没有详述的部分，可以参见其他实施例的相关描述。

虽然结合附图描述了本发明的实施方式，但是本领域技术人员可以在不脱离本发明的精神和范围的情况下做出各种修改和变型，这样的修改和变型均落入由所附权利要求所限定的范围之内。

Claims (12)

1.一种前置摄像头文件的识别方法，其特征在于，包括：

解码摄像头文件，得到多帧图像；

提取每帧图像中多种目标物信息和每种目标物的关键信息；

基于所述目标物信息和所述关键信息，对所述摄像头文件进行识别，得到识别结果；

若所述识别结果为前置摄像头文件，则终止；

若所述识别结果为未识别的摄像头文件，则针对每个所述未识别的摄像头文件，确定每种目标物的关键信息在不同帧图像中的变化信息；

根据所述目标物以及所述变化信息的重要程度，确定所述目标物以及所述变化信息分别对应的概率；

对所述目标物以及所述变化信息分别对应的概率进行加权处理，以得到每个所述未识别的摄像头文件的概率；

根据多个所述未识别的摄像头文件的概率，选取概率最大未识别的摄像头文件为前置摄像头文件。

2.根据权利要求1所述的方法，其特征在于，所述解码摄像头文件，得到多帧图像之后，所述方法还包括：

判断解码数据量是否大于或等于最小量阈值；

若是，则执行基于所述目标物信息和所述关键信息，识别前置摄像头文件的步骤。

3.根据权利要求1所述的方法，其特征在于，基于所述目标物信息和所述关键信息，对所述摄像头文件进行识别，得到识别结果，若所述识别结果为未识别的摄像头文件，所述方法还包括：

判断解码数据量是否大于或等于最大量阈值；

若是，则确定未识别的摄像头文件为前置摄像头文件的概率。

4.根据权利要求1至3任一项所述的方法，其特征在于，所述提取每帧图像中多种目标物信息和每种目标物的关键信息，包括：

基于识别网络提取每帧图像中多种目标物信息和每种目标物的关键信息；其中，所述识别网络基于标注数据训练神经网络得到，所述标注数据包括标注图像，所述标注图像中多种目标物信息为已知信息。

5.根据权利要求1至3任一项所述的方法，其特征在于，

所述多种目标物信息包括以下至少一种：车辆头部、车辆尾部、交通标识牌、树木、车道线、相邻车道中的车辆；

所述关键信息包括以下至少一种：大小、位置、斜率。

6.根据权利要求1至3任一项所述的方法，其特征在于，基于所述目标物信息和所述关键信息，识别前置摄像头文件，包括：

确定每种目标物的关键信息在不同帧图像中的变化信息；

基于所述变化信息和所述目标物信息，识别前置摄像头文件。

7.根据权利要求6所述的方法，其特征在于，

所述变化信息包括以下至少一种：目标物由大变小、目标物由小变大、目标物位置靠近、目标物位置远离、斜率变大、斜率变小。

8.根据权利要求7所述的方法，其特征在于，基于所述变化信息和所述目标物信息，识别前置摄像头文件，包括：

若所述变化信息和所述目标物信息包括以下多个时，标记所述摄像头文件为前置摄像头文件：

车辆尾部、交通标识牌由小到大、树木由小到大、车道线逐渐靠近。

9.根据权利要求7所述的方法，其特征在于，所述方法还包括：

若所述变化信息和所述目标物信息包括以下多个时，标记所述摄像头文件为非前置摄像头文件：

车辆头部、交通标识牌由大到小、树木由大到小、车道线逐渐远离。

10.根据权利要求1或9所述的方法，其特征在于，所述方法还包括：基于识别的前置摄像头文件，生成对应的动态缩略图。

11.一种电子设备，其特征在于，包括：处理器和存储器；

所述处理器通过调用所述存储器存储的程序或指令，用于执行如权利要求1至10任一项所述方法的步骤。

12.一种非暂态计算机可读存储介质，其特征在于，所述非暂态计算机可读存储介质存储程序或指令，所述程序或指令使计算机执行如权利要求1至10任一项所述方法的步骤。

Images