CN113420725B - Bsd产品的漏报场景识别方法、设备、系统和存储介质 - Google Patents

Abstract

本发明涉及摄像头检测领域，公开了一种BSD产品的漏报场景识别方法、设备、系统和存储介质。该方法包括：从BSD产品获取目标检测图像；其中，所述BSD产品通过第一目标检测网络对车载BSD摄像头拍摄的原始图像进行检测，并在所述原始图像中所检测目标的位置处绘制检测框得到所述目标检测图像；通过第二目标检测网络对所述目标检测图像进行检测，得到检测结果；如果所述检测结果包括未绘制检测框的目标，确定识别到漏报场景；第二目标检测网络的检测精度高于所述第一目标检测网络。本实施例通过图像处理自动识别到漏报场景。

Description

BSD产品的漏报场景识别方法、设备、系统和存储介质

技术领域

本发明涉及图像处理领域，尤其涉及一种BSD产品的漏报场景识别方法、设备、系统和存储介质。

背景技术

BSD（Blind Spot Detection，盲点探测）产品一般使用神经网络来检测盲区内的目标，当检测到目标后进行报警提示。鉴于目前神经网络的发展阶段，网络虽然可以帮助我们正确识别绝大多数目标，但是距离百分百的精准预测还有很大的距离，漏报难以从根本上完全消除。由于BSD产品是嵌入式产品，因为硬件算力限制，不能支撑大型的神经网络，运行在BSD上的网络都是精简过的网络，其容量有限，能力也有限，有些盲区内的目标检测不到，导致的漏报会更严重一些。所以，如何减少漏报是我们必须面临的重要问题。

BSD的漏报不容易抓取，因为漏报无声无息，转眼即逝。抓到漏报场景困难，保存漏报场景更困难。无论是人一直盯着屏幕去抓取漏报瞬间，还是保存所有数据，再人工筛选。都是效率极低且可实施性很差的。如果无法收集到潜在的足够多的漏报场景，就不能做出针对性优化，网络的潜在缺陷就会一直存在下去，极易引发交通事故。

有鉴于此，特提出本发明。

发明内容

为了解决上述技术问题，本发明提供了一种BSD产品的漏报场景识别方法、设备、系统和存储介质，以通过增加高精度的目标检测网络自动识别到漏报场景。

本发明实施例提供了一种BSD产品的漏报场景识别方法，应用于电子设备，该方法包括：

从BSD产品获取目标检测图像；其中，所述BSD产品通过第一目标检测网络对车载BSD摄像头拍摄的原始图像进行检测，并在所述原始图像中所检测目标的位置处绘制检测框得到所述目标检测图像；

通过第二目标检测网络对所述目标检测图像进行检测，得到检测结果；

如果所述检测结果包括未绘制检测框的目标，确定识别到漏报场景；

其中，所述第二目标检测网络的检测精度高于所述第一目标检测网络。

本发明实施例提供了一种电子设备，所述电子设备包括：

处理器和存储器；

所述处理器通过调用所述存储器存储的程序或指令，用于执行任一实施例所述的BSD产品的漏报场景识别方法的步骤。

本发明实施例提供了一种计算机可读存储介质，所述计算机可读存储介质存储程序或指令，所述程序或指令使计算机执行任一实施例所述的BSD产品的漏报场景识别方法的步骤。

本发明实施例提供了一种BSD产品的漏报场景识别系统，包括：电子设备，BSD产品和车载BSD摄像头；

所述车载BSD摄像头用于向所述BSD产品传输视频，所述BSD产品通过第一目标检测网络对所述视频中的原始图像进行检测，并在所述原始图像中所检测目标的位置处绘制检测框得到目标检测图像，将所述目标检测图像传输至所述电子设备；

其中，所述电子设备与所述BSD设备通信连接。

本发明实施例具有以下技术效果：本实施例中，电子设备上运行检测精度更高的第二目标检测网络，从而在第一目标检测网络存在漏检的情况下可以检测到；通过将第一目标检测网络的结果：目标检测图像，输入至第二目标检测网络，从而在第一目标检测网络的基础上，再做一遍检测；采用矩形框作为标识，从而通过检测未绘制检测框的目标即可准确识别到漏报场景。

附图说明

为了更清楚地说明本发明具体实施方式或现有技术中的技术方案，下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施方式，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是本发明实施例提供的一种BSD产品的漏报场景识别系统的结构示意图；

图2是本发明实施例提供的目标检测图像的示意图；

图3是本发明实施例提供的一种BSD产品的漏报场景识别方法的流程图；

图4是本发明实施例提供的第二目标检测网络的检测结果示意图；

图5是本发明实施例提供的盲区划分的示意图；

图6是本发明实施例提供的另一种BSD产品的漏报场景识别系统的示意图；

图7为本发明实施例提供的一种电子设备的结构示意图。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚，下面将对本发明的技术方案进行清楚、完整的描述。显然，所描述的实施例仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动的前提下所得到的所有其它实施例，都属于本发明所保护的范围。

本发明实施例提供的BSD产品的漏报场景识别方法，主要适用于识别BSD产品存在的漏报情况。本发明实施例提供的BSD产品的漏报场景识别方法可以由电子设备执行，电子设备的硬件算力超过BSD产品，能够运行大型神经网络，例如台式机。具体而言，第一目标检测网络运行在BSD产品上，第一目标检测网络是深度神经网络，但是BSD产品是嵌入式设备，容量和能力有限，其上运行的第一目标检测网络的检测精度有限。但是电子设备则没有硬件算力的限制，可以预先训练一个大规模的、层数更深的神经网络作为第二目标检测网络（例如VGG16网络），可以称为监督网络。可见，第二目标检测网络的检测精度高于所述第一目标检测网络。

为了便于描述本发明实施例提供的方法，首先描述其适用的BSD产品的漏报场景识别系统，参见图1，该系统包括电子设备，BSD产品和车载BSD摄像头，BSD产品分别与电子设备和车载BSD摄像头通信连接。车载BSD摄像头用于向所述BSD产品传输视频，BSD产品接收到视频后，通过第一目标检测网络对所述视频中的原始图像进行检测，得到所检测到的目标类别和位置，该位置通过所检测目标的外接矩形框表示。基于此，根据检测到的目标位置，在图像中所检测目标的位置处绘制检测框得到目标检测图像，参见图2，将所述目标检测图像传输至所述电子设备。

需要说明的是，输入至第一目标检测网络的原始图像可以是所传输视频的每一帧，或者间隔设定时长（如1s）的一帧。第一目标检测网络的检测目标包括但不限于行人、骑手、车辆等动态目标和路沿、栏杆等静态目标，即可能与车辆产生碰撞的目标。

结合图1，图3是本发明实施例提供的一种BSD产品的漏报场景识别方法的流程图，由图1中的电子设备执行。参见图3，该BSD产品的漏报场景识别方法具体包括：

S110、从BSD产品获取目标检测图像，所述BSD产品通过第一目标检测网络对车载BSD摄像头拍摄的原始图像进行检测，并在所述原始图像中所检测目标的位置处绘制检测框得到所述目标检测图像。

在实际应用场景中，车载BSD摄像头拍摄的视野范围很广，而只有盲区内的目标有安全隐患，则第一目标检测网络可仅对盲区内进行目标检测。盲区为驾驶员通过后视镜难以看到的区域，如图5所示，可以为靠近车身的地面矩形区域（编号1~9构成的区域），这仅作为示例，不限定盲区的形状和尺寸。将盲区映射到原始图像中可得到图像中的区域，将该区域裁剪下来输入至第一目标检测网络进行目标检测。

原始图像中可能有目标或没有目标，第一目标检测网络可能检测到目标也可能漏检。本发明不考虑误检的情况。基于此，有以下几种情况：1）原始图像中没有目标，第一目标检测网络也没有检测到目标；2）原始图像中有一个以上的目标，第一目标检测网络检测到所有目标，或者没有检测到任一目标（即存在漏检）；3）原始图像中两个以上目标，第一目标检测网络检测到部分目标（即存在漏检）。如果第一目标检测网络存在漏检，按照BSD报警逻辑，也相应地存在漏报的情况。

S120、通过第二目标检测网络对所述目标检测图像进行检测，得到检测结果。

第二目标检测网络用于检测未绘制检测框的目标，也就是与第一目标检测网络的检测目标相同。将目标检测图像输入至第二目标检测网络中，得到所检测目标的类别和位置，该位置通过所检测目标的外接矩形框表示。

S130、如果所述检测结果包括未绘制检测框的目标，确定识别到漏报场景。

由于第一目标检测网络所检测目标已经绘制了检测框，即在目标检测图像上，目标与检测框作为了一个整体，不会被检测为未绘制检测框的目标。如果第二目标检测网络检测到未绘制检测框的目标，则说明第一目标检测网络存在漏检的情况，因而确定识别到漏报场景。

漏报场景是包括上述原始图像的场景，可以是该原始图像本身，或者包括该原始图像在内的视频段。可选的，确定识别到漏报场景包括：将原始图像所处的视频段识别为漏报场景。具体的，确定原始图像的时间戳前后8秒的视频段作为漏报场景，考虑到第二目标检测网络也可能存在漏报，而该原始图像前后大概率也存在该未绘制检测框的目标，导致第二目标检测网络的漏报，则通过确定所处视频段的方式可以更大范围地捕捉到漏报场景。

本实施例中，电子设备上运行检测精度更高的第二目标检测网络，从而在第一目标检测网络存在漏检的情况下可以检测到；通过将第一目标检测网络的结果：目标检测图像，输入至第二目标检测网络，从而在第一目标检测网络的基础上，再做一遍检测；采用矩形框作为标识，从而通过检测未绘制检测框的目标即可准确识别到漏报场景。

在上述实施例和下述实施例中，为了更好地区分未绘制检测框的目标和绘制检测框的目标，避免误识别，第二目标检测网络用于对目标检测图像中未绘制检测框的目标以及绘制检测框的目标进行检测，即第二目标检测网络可以识别两类目标：1）绘制检测框的目标，即被第一目标检测网络检测的目标；2）未绘制检测框的目标，即未被第一目标检测网络检测的目标。由于绘制检测框的目标特征非常明显，有一个方框，所以非常容易识别，而没被第一目标检测网络检测到的目标，就是需要捕捉的漏检对象。当第一目标检测网络和第二目标检测网络对同一目标的预测不一致时，优先信任第二目标检测网络。所以，当一个未绘制检测框的目标被第二目标检测网络检测到，我们就认定发生了漏报。

图4是本发明实施例提供的第二目标检测网络的检测结果示意图。为了直观显示，根据第二目标检测网络输出的目标类别和位置，在目标检测图像（即图2）的基础上，绘制第二目标检测网络所检测目标的检测框。可见，图4中右侧目标有双重检测框，内侧检测框是第一目标检测网络得到的，外侧检测框是第二目标检测网络得到的。左侧目标只有第二目标检测网络得到的检测框，属于第一目标检测网络漏检的目标。

在一具体实施方式中，采用未绘制检测框的目标及其标注，以及绘制检测框的目标及其标注共同构建训练集，并采用该训练集对第二目标检测网络进行训练。

在上述实施例和下述实施例中，在如果所述检测结果包括未绘制检测框的目标，确定识别到漏报场景之后，还包括以下两步。

第一步：根据所述漏报场景生成训练集。如果漏报场景是上述原始图像，则将该原始图像进行加噪处理生成训练集，或者采集同一目标和位置在不同天气/路况/背景的多张原始图像生成训练集。如果漏报场景是上述视频段，则将该视频段内的多张原始图像生成训练集，或者对每张原始图像加噪，或者采集每张原始图像同一目标和位置在不同天气/路况/背景的多张原始图像生成训练集。

第二步：采用所述训练集对所述第一目标检测网络进行训练。

由于训练集是根据漏报的原始图像生成的，属于第一目标检测网络能力欠缺的部分，则采用训练集对第一目标检测网络进行训练，可以针对性地提高该网络的检测精度。

由于受到硬件算力和网络结构的限制，网络检测精度的提升是有限的，为了有效降低盲区的漏报率，提高行车安全，优先保证容易发生交通事故的区域的检测精度。基于此，预先将原始图像中的盲区按照危险程度划分为不同的区域，并对每个区域设置不同的权重。危险程度表征了发生交通事故的概率，图5是本发明实施例提供的盲区划分的示意图。距离车身越近，越容易发生交通事故，则危险程度越高，车头和部分车中是内轮差区域，也容易发生交通事故，危险程度也很高，则可以按照与车身的横向距离和纵向位置将盲区（车头，车中和车尾）划分为9部分，横向距离越大的区域设置权重越小，车头和车中区域设置权重较大，车尾区域设置权重较小。可选的，可以统计历史发生交通事故时被碰撞目标在原始图像中的位置。对于发生交通事故较多的位置设置较高的权重。

确定所述未绘制检测框的目标所在的位置，以及所述位置对应的权重，即所述位置所述区域的权重，可见，权重根据所述位置的危险程度确定。然后，根据权重确定训练精度，权重越高则训练精度也越高。例如权重为0.9，训练精度为90%。训练所述第一目标检测网络达到所述训练精度。

图6是本发明实施例提供的另一种BSD产品的漏报场景识别系统的示意图，在图1的基础上，还包括云平台。电子设备用于确定识别到漏报场景后，向所述BSD产品传输控制信号。BSD产品响应于所述控制信号，将所述原始图像所处的视频段上传至云平台。此外，图6还包括显示器和IDB(Intelligent Data Brain，智能数据大脑）设备，可以存储数据，接受BSD产品的指令，将数据上传至云平台。BSD启动后，摄像头录制的视频都存在IDB设备中，当存储满后会删除最旧的数据，存储最新的数据，一般至少可以存储24小时的视频数据,当IDB设备收到BSD产品发出的控制命令后，会根据协议上传数据至云平台。BSD产品用于向所述显示器传输所述视频，以在所述显示器上显示所述视频；所述BSD产品触发报警后，将报警时段内的视频段（称为报警场景）通过所述IDB设备上传至所述云平台。

具体的，电子设备通过控制器局域网络(Controller Area Network, CAN)总线与BSD产品通信，主要传输控制信号(这里的控制信号是一种私有的协议信号，例如信号:0x55,0xAA,0x00,0x00,0x01，0xXX,0xXX，开头的前两个字节0x55，0xAA表示信息头，中间的三个字节0x00,0x00,0x01是信号内容，意思是发生了漏报，请上传漏报视频,最后两个字节0xXX,0xXX是校验)。IDB设备是一种可以接收BSD产品的视频段，并将视频段上传到云平台的设备。BSD产品的视频输出分为两路，一路接正常的显示器输出，另一路是多张目标检测图像构成的视频，接到电子设备上。当系统启动后，第一目标检测网络正常运行，第二目标检测网络识别到漏报场景就触发漏报，然后控制BSD产品将漏报场景上传到云平台，有助于第一目标检测网络的后续优化。

图7为本发明实施例提供的一种电子设备的结构示意图。如图7所示，电子设备400包括一个或多个处理器401和存储器402。

处理器401可以是中央处理单元（CPU）或者具有数据处理能力和/或指令执行能力的其他形式的处理单元，并且可以控制电子设备400中的其他组件以执行期望的功能。

存储器402可以包括一个或多个计算机程序产品，所述计算机程序产品可以包括各种形式的计算机可读存储介质，例如易失性存储器和/或非易失性存储器。所述易失性存储器例如可以包括随机存取存储器（RAM）和/或高速缓冲存储器（cache）等。所述非易失性存储器例如可以包括只读存储器（ROM）、硬盘、闪存等。在所述计算机可读存储介质上可以存储一个或多个计算机程序指令，处理器401可以运行所述程序指令，以实现上文所说明的本发明任意实施例的BSD产品的漏报场景识别方法以及/或者其他期望的功能。在所述计算机可读存储介质中还可以存储诸如初始外参、阈值等各种内容。

在一个示例中，电子设备400还可以包括：输入装置403和输出装置404，这些组件通过总线系统和/或其他形式的连接机构（未示出）互连。该输入装置403可以包括例如键盘、鼠标等等。该输出装置404可以向外部输出各种信息，包括预警提醒信息、制动力度等。该输出装置404可以包括例如显示器、扬声器、打印机、以及通信网络及其所连接的远程输出设备等等。

当然，为了简化，图7中仅示出了该电子设备400中与本发明有关的组件中的一些，省略了诸如总线、输入/输出接口等等的组件。除此之外，根据具体应用情况，电子设备400还可以包括任何其他适当的组件。

除了上述方法和设备以外，本发明的实施例还可以是计算机程序产品，其包括计算机程序指令，所述计算机程序指令在被处理器运行时使得所述处理器执行本发明任意实施例所提供的BSD产品的漏报场景识别方法的步骤。

所述计算机程序产品可以以一种或多种程序设计语言的任意组合来编写用于执行本发明实施例操作的程序代码，所述程序设计语言包括面向对象的程序设计语言，诸如Java、C++等，还包括常规的过程式程序设计语言，诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算设备上执行、部分地在用户设备上执行、作为一个独立的软件包执行、部分在用户计算设备上部分在远程计算设备上执行、或者完全在远程计算设备或服务器上执行。

此外，本发明的实施例还可以是计算机可读存储介质，其上存储有计算机程序指令，所述计算机程序指令在被处理器运行时使得所述处理器执行本发明任意实施例所提供的BSD产品的漏报场景识别方法的步骤。

所述计算机可读存储介质可以采用一个或多个可读介质的任意组合。可读介质可以是可读信号介质或者可读存储介质。可读存储介质例如可以包括但不限于电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。可读存储介质的更具体的例子（非穷举的列表）包括：具有一个或多个导线的电连接、便携式盘、硬盘、随机存取存储器（RAM）、只读存储器（ROM）、可擦式可编程只读存储器（EPROM或闪存）、光纤、便携式紧凑盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。

需要说明的是，本发明所用术语仅为了描述特定实施例，而非限制本申请范围。如本发明说明书和权利要求书中所示，除非上下文明确提醒例外情形，“一”、“一个”、“一种”和/或“该”等词并非特指单数，也可包括复数。术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法或者设备中还存在另外的相同要素。

还需说明的是，术语“中心”、“上”、“下”、“左”、“右”、“竖直”、“水平”、“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。除非另有明确的规定和限定，术语“安装”、“相连”、“连接”等应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或一体地连接；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通。对于本领域的普通技术人员而言，可以具体情况理解上述术语在本发明中的具体含义。

最后应说明的是：以上各实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述各实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案。

Claims (9)

1.一种BSD产品的漏报场景识别方法，其特征在于，应用于电子设备，包括：

从BSD产品获取目标检测图像；其中，所述BSD产品通过第一目标检测网络对车载BSD摄像头拍摄的原始图像进行检测，并在所述原始图像中所检测目标的位置处绘制检测框得到所述目标检测图像；

通过第二目标检测网络对所述目标检测图像进行检测，得到检测结果；所述第二目标检测网络用于检测目标检测图像中的以下两类目标：未绘制检测框的目标以及绘制检测框的目标；对于绘制检测框的目标，所述目标与检测框作为了一个整体，不会被检测为未绘制检测框的目标；

如果所述检测结果包括未绘制检测框的目标，确定识别到漏报场景；

其中，所述第二目标检测网络的检测精度高于所述第一目标检测网络。

2.根据权利要求1所述的方法，其特征在于，在如果所述检测结果包括未绘制检测框的目标，确定识别到漏报场景之后，还包括：

根据所述漏报场景生成训练集；

采用所述训练集对所述第一目标检测网络进行训练。

3.根据权利要求2所述的方法，其特征在于，所述采用所述训练集对所述第一目标检测网络进行训练，包括：

确定所述未绘制检测框的目标所在的位置，以及所述位置对应的权重；其中，所述权重根据所述位置的危险程度确定；

根据所述权重确定训练精度，并训练所述第一目标检测网络达到所述训练精度。

4.根据权利要求1-3任一项所述的方法，其特征在于，所述确定识别到漏报场景，包括：

将所述原始图像所处的视频段识别为漏报场景。

5.一种电子设备，其特征在于，所述电子设备上运行第二目标检测网络，所述电子设备包括：

处理器和存储器；

所述处理器通过调用所述存储器存储的程序或指令，用于执行如权利要求1至4任一项所述的BSD产品的漏报场景识别方法的步骤。

6.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储程序或指令，所述程序或指令使计算机执行如权利要求1至4任一项所述的BSD产品的漏报场景识别方法的步骤。

7.一种BSD产品的漏报场景识别系统，其特征在于，包括：权利要求5所述的电子设备，BSD产品和车载BSD摄像头；

所述车载BSD摄像头用于向所述BSD产品传输视频，所述BSD产品通过第一目标检测网络对所述视频中的原始图像进行检测，并在所述原始图像中所检测目标的位置处绘制检测框得到目标检测图像，将所述目标检测图像传输至所述电子设备；

其中，所述电子设备与所述BSD产品通信连接。

8.根据权利要求7所述的系统，其特征在于，还包括云平台，所述电子设备用于确定识别到漏报场景后，向所述BSD产品传输控制信号；

所述BSD产品响应于所述控制信号，将所述原始图像所处的视频段上传至所述云平台。

9.根据权利要求8所述的系统，其特征在于，还包括显示器和IDB设备；

所述BSD产品用于向所述显示器传输所述视频，以在所述显示器上显示所述视频；

所述BSD产品触发报警后，将报警时段内的视频段通过所述IDB设备上传至所述云平台。

Images