CN116363604A - 目标交通事件识别方法、装置、设备及介质 - Google Patents
目标交通事件识别方法、装置、设备及介质 Download PDFInfo
- Publication number
- CN116363604A CN116363604A CN202310272888.3A CN202310272888A CN116363604A CN 116363604 A CN116363604 A CN 116363604A CN 202310272888 A CN202310272888 A CN 202310272888A CN 116363604 A CN116363604 A CN 116363604A
- Authority
- CN
- China
- Prior art keywords
- event
- confidence
- image
- image capturing
- picture
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 55
- 230000004044 response Effects 0.000 claims abstract description 36
- 238000012552 review Methods 0.000 claims description 24
- 238000004590 computer program Methods 0.000 claims description 16
- 238000013473 artificial intelligence Methods 0.000 abstract description 7
- 238000004891 communication Methods 0.000 description 27
- 238000012545 processing Methods 0.000 description 21
- 238000005516 engineering process Methods 0.000 description 13
- 238000004364 calculation method Methods 0.000 description 9
- 238000010586 diagram Methods 0.000 description 8
- 230000006870 function Effects 0.000 description 8
- 238000004422 calculation algorithm Methods 0.000 description 7
- 238000013459 approach Methods 0.000 description 3
- 230000003287 optical effect Effects 0.000 description 3
- 230000000007 visual effect Effects 0.000 description 3
- 230000006399 behavior Effects 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 238000001514 detection method Methods 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 230000004438 eyesight Effects 0.000 description 2
- 230000003993 interaction Effects 0.000 description 2
- 238000010801 machine learning Methods 0.000 description 2
- 238000010295 mobile communication Methods 0.000 description 2
- 238000012544 monitoring process Methods 0.000 description 2
- 230000008569 process Effects 0.000 description 2
- 206010039203 Road traffic accident Diseases 0.000 description 1
- 230000001133 acceleration Effects 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 238000003491 array Methods 0.000 description 1
- 230000010267 cellular communication Effects 0.000 description 1
- 230000001413 cellular effect Effects 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 230000008878 coupling Effects 0.000 description 1
- 238000010168 coupling process Methods 0.000 description 1
- 238000005859 coupling reaction Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000007726 management method Methods 0.000 description 1
- 230000003924 mental process Effects 0.000 description 1
- 230000003278 mimic effect Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000003058 natural language processing Methods 0.000 description 1
- 230000004297 night vision Effects 0.000 description 1
- 239000013307 optical fiber Substances 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 230000001953 sensory effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
- G06V20/54—Surveillance or monitoring of activities, e.g. for recognising suspicious objects of traffic, e.g. cars on the road, trains or boats
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Theoretical Computer Science (AREA)
- Traffic Control Systems (AREA)
Abstract
本公开提供了一种目标交通事件识别方法、装置、设备及介质,涉及人工智能技术领域,尤其涉及智慧交通、自动驾驶领域。实现方案为:获取由第一摄像设备采集的第一图像;识别第一图像中的第一目标事件;基于第一识别区域,在多个第一画面区域中确定至少一个第二画面区域;响应于至少一个第二画面区域中包括具备事件置信度的至少一个第三画面区域,基于至少一个第三画面区域中每个第三画面区域的事件置信度,确定第一目标事件的置信度;以及响应于置信度大于或等于置信度阈值,将第一目标事件确定为识别结果。
Description
技术领域
本公开涉及人工智能技术领域,尤其涉及智慧交通、自动驾驶领域,具体涉及一种目标交通事件识别方法、装置、电子设备、计算机可读存储介质和计算机程序产品。
背景技术
人工智能是研究使计算机来模拟人的某些思维过程和智能行为(如学习、推理、思考、规划等)的学科,既有硬件层面的技术也有软件层面的技术。人工智能硬件技术一般包括如传感器、专用人工智能芯片、云计算、分布式存储、大数据处理等技术;人工智能软件技术主要包括计算机视觉技术、语音识别技术、自然语言处理技术以及机器学习/深度学习、大数据处理技术、知识图谱技术等几大方向。
随着当今社会的发展,智能交通领域的发展越来快,各大城市都存在着使用各种摄像头来监控交通、判断车辆是否存在各种违法行为的方式。即通过算法等分析处理方式对海量的监控视频进行提取车辆、人物、车道等信息,生成各种违法事件推送给交通有关部门进行处理。
在此部分中描述的方法不一定是之前已经设想到或采用的方法。除非另有指明,否则不应假定此部分中描述的任何方法仅因其包括在此部分中就被认为是现有技术。类似地,除非另有指明,否则此部分中提及的问题不应认为在任何现有技术中已被公认。
发明内容
本公开提供了一种目标交通事件识别方法、装置、电子设备、计算机可读存储介质和计算机程序产品。
根据本公开的一方面,提供了一种目标交通事件识别方法,包括:获取由第一摄像设备采集的第一图像,第一摄像设备采集的图像包括多个第一画面区域;识别第一图像中的第一目标事件,第一目标事件位于第一图像中的第一识别区域;基于第一识别区域,在多个第一画面区域中确定至少一个第二画面区域,其中,至少一个第二画面区域中的每个第二画面区域满足第一预设条件;响应于至少一个第二画面区域中包括具备事件置信度的至少一个第三画面区域,基于至少一个第三画面区域中每个第三画面区域的事件置信度,确定第一目标事件的置信度;以及响应于置信度大于或等于置信度阈值,将第一目标事件确定为识别结果。
根据本公开的另一方面,提供了一种目标交通事件识别装置,包括:第一获取单元,被配置为获取由第一摄像设备采集的第一图像,第一摄像设备采集的图像包括多个第一画面区域;第一识别单元,被配置为识别第一图像中的第一目标事件,第一目标事件位于第一图像中的第一识别区域;第一确定单元,被配置为基于第一识别区域,在多个第一画面区域中确定至少一个第二画面区域,其中,至少一个第二画面区域中的每个第二画面区域满足第一预设条件;第二确定单元,被配置为响应于至少一个第二画面区域中包括具备事件置信度的至少一个第三画面区域,基于至少一个第三画面区域中每个第三画面区域的事件置信度,确定第一目标事件的置信度;以及第三确定单元,被配置为响应于置信度大于或等于置信度阈值,将第一目标事件确定为识别结果。
根据本公开的另一方面,提供了一种电子设备,包括:至少一个处理器;以及与至少一个处理器通信连接的存储器;其中存储器存储有可被至少一个处理器执行的指令,指令被至少一个处理器执行,以使至少一个处理器能够执行上述目标交通事件识别方法。
根据本公开的另一方面,提供了一种存储有计算机指令的非瞬时计算机可读存储介质,其中,计算机指令用于使计算机执行上述目标交通事件识别方法。
根据本公开的另一方面,提供了一种计算机程序产品,包括计算机程序,其中,计算机程序在被处理器执行时实现上述目标交通事件识别方法。
根据本公开的另一方面,提供了一种边缘计算设备,包括上述电子设备。
根据本公开的一个或多个实施例,能够提升目标交通事件识别的结果反馈的准确度。
应当理解,本部分所描述的内容并非旨在标识本公开的实施例的关键或重要特征,也不用于限制本公开的范围。本公开的其它特征将通过以下的说明书而变得容易理解。
附图说明
附图示例性地示出了实施例并且构成说明书的一部分,与说明书的文字描述一起用于讲解实施例的示例性实施方式。所示出的实施例仅出于例示的目的,并不限制权利要求的范围。在所有附图中,相同的附图标记指代类似但不一定相同的要素。
图1示出了根据本公开的实施例的可以在其中实施本文描述的各种方法的示例性系统的示意图;
图2示出了根据本公开的实施例的目标交通事件识别方法的流程图;
图3示出了根据本公开的实施例的第一操作的流程图;
图4示出了根据本公开的示例性实施例的目标交通事件识别方法的流程框图;
图5示出了根据本公开的实施例的目标交通事件识别装置的结构框图;
图6示出了能够用于实现本公开的实施例的示例性电子设备的结构框图。
具体实施方式
以下结合附图对本公开的示范性实施例做出说明,其中包括本公开实施例的各种细节以助于理解,应当将它们认为仅仅是示范性的。因此,本领域普通技术人员应当认识到,可以对这里描述的实施例做出各种改变和修改,而不会背离本公开的范围。同样,为了清楚和简明,以下的描述中省略了对公知功能和结构的描述。
在本公开中,除非另有说明,否则使用术语“第一”、“第二”等来描述各种要素不意图限定这些要素的位置关系、时序关系或重要性关系,这种术语只是用于将一个要素与另一要素区分开。在一些示例中,第一要素和第二要素可以指向该要素的同一实例,而在某些情况下,基于上下文的描述,它们也可以指代不同实例。
在本公开中对各种所述示例的描述中所使用的术语只是为了描述特定示例的目的,而并非旨在进行限制。除非上下文另外明确地表明,如果不特意限定要素的数量,则该要素可以是一个也可以是多个。此外,本公开中所使用的术语“和/或”涵盖所列出的项目中的任何一个以及全部可能的组合方式。
相关技术中,基于二维视频流进行目标交通事件识别的场景中,相关识别算法在实际使用中存在大量误识别的情况,并且在交通场景中,目标交通事件的识别具有相通性较低、个体差异性较强等特点,针对算法本身进行优化的作用较小,能够提升的整体准确率有限,并且需要花费大量的计算资源和人工成本。
本公开的实施例提供了一种目标交通事件识别方法,首先,对第一摄像设备的画面进行分区(也即多个第一画面区域);当基于第一摄像设备所采集的图像获取到目标事件识别结果后,通过识别结果的识别区域在多个第一画面区域确定至少一个符合第一预设条件(如,该画面区域中,识别区域与该画面区域之间的重合度大于预设阈值)的第二画面区域,并根据至少一个第二画面区域中包括的不同区域的事件置信度信息,综合确定该识别结果的置信度,并基于该置信度对第一目标事件的置信度进行判断,从而将置信度较低的第一目标事件筛除,仅将置信度大于或等于置信度阈值的第一目标事件作为识别结果反馈给用户,从而能够提升目标交通事件识别的结果反馈的准确度。
下面将结合附图详细描述本公开的实施例。
图1示出了根据本公开的实施例可以将本文描述的各种方法和装置在其中实施的示例性系统100的示意图。参考图1,该系统100包括机动车辆110、服务器120以及将机动车辆110耦接到服务器120的一个或多个通信网络130。
在本公开的实施例中,机动车辆110可以包括根据本公开实施例的计算设备和/或被配置以用于执行根据本公开实施例的方法。
服务器120可以运行使得能够识别目标交通事件的方法的一个或多个服务或软件应用。在某些实施例中,服务器120还可以提供其他服务或软件应用,这些服务或软件应用可以包括非虚拟环境和虚拟环境。在图1所示的配置中,服务器120可以包括实现由服务器120执行的功能的一个或多个组件。这些组件可以包括可由一个或多个处理器执行的软件组件、硬件组件或其组合。机动车辆110的用户可以依次利用一个或多个客户端应用程序来与服务器120进行交互以利用这些组件提供的服务。应当理解,各种不同的系统配置是可能的,其可以与系统100不同。因此,图1是用于实施本文所描述的各种方法的系统的一个示例,并且不旨在进行限制。
服务器120可以包括一个或多个通用计算机、专用服务器计算机(例如PC(个人计算机)服务器、UNIX服务器、中端服务器)、刀片式服务器、大型计算机、服务器群集或任何其他适当的布置和/或组合。服务器120可以包括运行虚拟操作系统的一个或多个虚拟机,或者涉及虚拟化的其他计算架构(例如可以被虚拟化以维护服务器的虚拟存储设备的逻辑存储设备的一个或多个灵活池)。在各种实施例中,服务器120可以运行提供下文所描述的功能的一个或多个服务或软件应用。
服务器120中的计算单元可以运行包括上述任何操作系统以及任何商业上可用的服务器操作系统的一个或多个操作系统。服务器120还可以运行各种附加服务器应用程序和/或中间层应用程序中的任何一个,包括HTTP服务器、FTP服务器、CGI服务器、JAVA服务器、数据库服务器等。
在一些实施方式中,服务器120可以包括一个或多个应用程序,以分析和合并从机动车辆110接收的数据馈送和/或事件更新。服务器120还可以包括一个或多个应用程序,以经由机动车辆110的一个或多个显示设备来显示数据馈送和/或实时事件。
网络130可以是本领域技术人员熟知的任何类型的网络,其可以使用多种可用协议中的任何一种(包括但不限于TCP/IP、SNA、IPX等)来支持数据通信。仅作为示例,一个或多个网络110可以是卫星通信网络、局域网(LAN)、基于以太网的网络、令牌环、广域网(WAN)、因特网、虚拟网络、虚拟专用网络(VPN)、内部网、外部网、区块链网络、公共交换电话网(PSTN)、红外网络、无线网络(包括例如蓝牙、WiFi)和/或这些与其他网络的任意组合。
系统100还可以包括一个或多个数据库150。在某些实施例中,这些数据库可以用于存储数据和其他信息。例如,数据库150中的一个或多个可用于存储诸如音频文件和视频文件的信息。数据存储库150可以驻留在各种位置。例如,由服务器120使用的数据存储库可以在服务器120本地,或者可以远离服务器120且可以经由基于网络或专用的连接与服务器120通信。数据存储库150可以是不同的类型。在某些实施例中,由服务器120使用的数据存储库可以是数据库,例如关系数据库。这些数据库中的一个或多个可以响应于命令而存储、更新和检索到数据库以及来自数据库的数据。
在某些实施例中,数据库150中的一个或多个还可以由应用程序使用来存储应用程序数据。由应用程序使用的数据库可以是不同类型的数据库,例如键值存储库,对象存储库或由文件系统支持的常规存储库。
机动车辆110可以包括传感器111用于感知周围环境。传感器111可以包括下列传感器中的一个或多个:视觉摄像头、红外摄像头、超声波传感器、毫米波雷达以及激光雷达(LiDAR)。不同的传感器可以提供不同的检测精度和范围。摄像头可以安装在车辆的前方、后方或其他位置。视觉摄像头可以实时捕获车辆内外的情况并呈现给驾驶员和/或乘客。此外,通过对视觉摄像头捕获的画面进行分析,可以获取诸如交通信号灯指示、交叉路口情况、其他车辆运行状态等信息。红外摄像头可以在夜视情况下捕捉物体。超声波传感器可以安装在车辆的四周,用于利用超声波方向性强等特点来测量车外物体距车辆的距离。毫米波雷达可以安装在车辆的前方、后方或其他位置,用于利用电磁波的特性测量车外物体距车辆的距离。激光雷达可以安装在车辆的前方、后方或其他位置,用于检测物体边缘、形状信息,从而进行物体识别和追踪。由于多普勒效应,雷达装置还可以测量车辆与移动物体的速度变化。
机动车辆110还可以包括通信装置112。通信装置112可以包括能够从卫星141接收卫星定位信号(例如,北斗、GPS、GLONASS以及GALILEO)并且基于这些信号产生坐标的卫星定位模块。通信装置112还可以包括与移动通信基站142进行通信的模块,移动通信网络可以实施任何适合的通信技术,例如GSM/GPRS、CDMA、LTE等当前或正在不断发展的无线通信技术(例如5G技术)。通信装置112还可以具有车联网或车联万物(Vehicle-to-Everything,V2X)模块,被配置用于实现例如与其它车辆143进行车对车(Vehicle-to-Vehicle,V2V)通信和与基础设施144进行车辆到基础设施(Vehicle-to-Infrastructure,V2I)通信的车与外界的通信。此外,通信装置112还可以具有被配置为例如通过使用IEEE802.11标准的无线局域网或蓝牙与用户终端145(包括但不限于智能手机、平板电脑或诸如手表等可佩戴装置)进行通信的模块。利用通信装置112,机动车辆110还可以经由网络130接入服务器120。
机动车辆110还可以包括控制装置113。控制装置113可以包括与各种类型的计算机可读存储装置或介质通信的处理器,例如中央处理单元(CPU)或图形处理单元(GPU),或者其他的专用处理器等。控制装置113可以包括用于自动控制车辆中的各种致动器的自动驾驶系统。自动驾驶系统被配置为经由多个致动器响应来自多个传感器111或者其他输入设备的输入而控制机动车辆110(未示出的)动力总成、转向系统以及制动系统等以分别控制加速、转向和制动,而无需人为干预或者有限的人为干预。控制装置113的部分处理功能可以通过云计算实现。例如,可以使用车载处理器执行某一些处理,而同时可以利用云端的计算资源执行其他一些处理。控制装置113可以被配置以执行根据本公开的方法。此外,控制装置113可以被实现为根据本公开的机动车辆侧(客户端)的计算设备的一个示例。
图1的系统100可以以各种方式配置和操作,以使得能够应用根据本公开所描述的各种方法和装置。
根据一些实施例,如图2所示,提供了一种目标交通事件识别方法,包括:
步骤S201、获取由第一摄像设备采集的第一图像,第一摄像设备采集的图像包括多个第一画面区域;
步骤S202、识别第一图像中的第一目标事件,第一目标事件位于第一图像中的第一识别区域;
步骤S203、基于第一识别区域,在多个第一画面区域中确定至少一个第二画面区域,其中,至少一个第二画面区域中的每个第二画面区域满足第一预设条件;
步骤S204、响应于至少一个第二画面区域中包括具备事件置信度的至少一个第三画面区域,基于至少一个第三画面区域中每个第三画面区域的事件置信度,确定第一目标事件的置信度;以及
步骤S205、响应于置信度大于或等于置信度阈值,将第一目标事件确定为识别结果。
根据本公开的实施例,首先对第一摄像设备的画面进行分区(也即多个第一画面区域);当基于第一摄像设备所采集的图像识别到第一目标事件后,通过第一目标事件的第一识别区域在多个第一画面区域确定至少一个符合第一预设条件(例如,在该画面区域中,识别区域与该画面区域之间的重合度大于预设阈值)的第二画面区域,并根据至少一个第二画面区域中包括的不同区域的事件置信度信息,综合确定该识别结果的置信度,并基于该置信度对第一目标事件的置信度进行判断,从而将置信度较低的第一目标事件筛除,仅将置信度大于或等于置信度阈值的第一目标事件作为识别结果反馈给用户,提升了目标交通事件识别的结果反馈的准确度。
在一些实施例中,上述第一摄像设备可以是部署有目标交通事件识别算法的摄像设备。其中,目标交通事件识别例如可以包括交通事故识别、抛洒物识别、交通违法事件等。
每个摄像设备所能采集到的图像中的画面是基本固定的。在一些实施例中,可以将每个摄像设备的画面划分为多个第一画面区域。
在一些实施例中,多个第一画面区域可以是多个面积相等的矩形区域。
在一些实施例中,每个第一画面区域的面积可以基于该摄像设备所能拍摄到的车辆在图像中所占的面积大小确定。
在一些实施例中,每个第一画面区域的面积可以为该摄像设备所能拍摄到的车辆在图像中所占的面积大小的1.4-1.6倍。
在一些实施例中,每个第一画面区域的面积可以为该摄像设备所能拍摄到的车辆在图像中所占的面积大小的1.5倍。
在一些实施例中,多个第一画面区域中可能有一个或多个第一画面区域具备每个第一画面区域相应事件置信度。
在一些实施例中,当基于第一摄像设备采集到第一图像并基于该第一图像识别到第一目标事件后,首先可以基于第一目标事件在第一图像中的事件发生所在区域(即第一识别区域,例如可以为一个检测框),并基于第一识别区域,在多个第一画面区域中确定与该第一目标事件关联的至少一个第二画面区域。
其中,每个第二画面区域满足第一预设条件。在一些实施例中,第一预设条件可以为在该第二画面区域中,第一识别区域与该第二画面区域的重合度大于一个重合度阈值。
在一些实施例中,该重合度阈值例如可以为60%。
在一些实施例中,在确定至少一个第二画面区域时,也可以首先确定第一识别区域与每个第一画面区域的重合度,并基于该重合度对多个第一画面区域进行排序,此时,第一预设条件可以是第二画面区域的重合度排名在前N位(N为正整数),例如,至少一个画面区域为多个第一画面区域中与第二识别区域重合度最高的三个画面区域。
在一些实施例中,当确定上述至少一个第二画面区域后,可以分别确定每个第二画面区域是否具有事件置信度信息。响应于至少一个第二画面区域中包括至少一个具备事件置信度信息的第三画面区域,则可以基于该至少一个第三画面区域中每个第三画面区域的事件置信度,确定该第一目标事件的置信度。
在一些实施例中,该第一目标事件的置信度例如可以为该至少一个第三画面区域的至少一个事件置信度中的最小值。
在一些实施例中,该第一目标事件的置信度例如可以为该至少一个第三画面区域的至少一个事件置信度的均值。
在一些实施例中,当第一目标事件的置信度大于或等于置信度阈值,则可以认为对于该事件的识别是准确的,即可将该第一目标事件作为识别结果反馈给用户。
在一些实施例中,当至少一个第二画面区域中每个画面区域均不具备事件置信度信息时,也可以直接将第一目标事件作为识别结果反馈给用户。同时,获取用户反馈的该识别结果的复核信息,并基于历史识别数据、历史结果复核数据以及该识别结果和复核信息中的一者或多者进行相应画面区域的事件置信度的确定和更新。
在一些实施例中,事件置信度通过执行第一操作确定,第一操作包括:在多个第一画面区域中的第四画面区域不具备事件置信度的情况下,响应于基于第二图像识别到第二目标事件,并且第二目标事件对应的第二识别区域与第四画面区域的重合度大于第一重合度阈值,确定第四画面区域的初始置信度,以作为第四画面区域的事件置信度,其中,第二图像基于第一摄像设备采集获得,第二识别区域位于第二图像中,初始置信度基于第一摄像设备的历史识别数据和历史结果复核数据确定。
在一些实施例中,在多个第一画面区域中的某一第四画面区域不具备事件置信度信息时,当该第四画面区域首次被目标事件(如第二目标事件)关联(也即,第二目标事件对应的第二识别区域与第四画面区域的重合度大于第一重合度阈值,其中,第一重合度阈值例如为60%),可以首先基于该设备的历史识别数据和历史结果复核数据,确定该第四画面区域的初始置信度,以暂作为该区域的事件置信度。
由此,通过对不具备置信度信息的画面区域,基于部署本公开的方法之前的该摄像设备的历史识别数据和历史结果复核数据,对相应画面区域进行事件置信度的初始化,由此,能够在画面区域还没有足够的识别结果数据时,对画面区域的事件置信度进行高效确定,从而基于该置信度提升目标交通事件识别的结果反馈的准确度。
在一些实施例中,历史识别数据可以包括该第一摄像设备在部署本公开的方法前的至少一个目标事件识别结果,历史结果复核数据可以包括该第一摄像设备在部署本公开的方法前的针对至少一个目标事件识别结果的至少一个结果复核信息,其中每个结果复核信息指示该目标事件识别结果是否识别正确。
基于该第一摄像设备的历史识别数据和历史结果复核数据,确定该第四画面区域的初始置信度可以包括基于历史识别数据和历史结果复核数据确定历史识别准确率,并将该历史识别准确率确定为初始置信度。
在一些实施例中,第一操作还可以包括:在多个第一画面区域中的第五画面区域具备事件置信度的情况下,响应于基于第三图像识别到第三目标事件,并且第三目标事件对应的第三识别区域与第五画面区域的重合度大于第二重合度阈值,基于第三目标事件以及第三目标事件的结果复核信息,更新第五画面区域对应的事件置信度,其中,第三图像基于第一摄像设备采集获得,第三识别区域位于第三图像中,结果复核信息指示第三目标事件的识别是否正确。
在一些实施例中,在多个第一画面区域中的某一第五画面区域本身具备事件置信度信息(可以为初始置信度,也可以为上一次更新所获得的事件置信度)时,响应于第五画面区域存在第三目标事件,首先对第三目标事件对应的第三识别区域与第五画面区域的重合度进行计算,当第三目标事件对应的第三识别区域与第五画面区域的重合度大于第二重合度阈值时,触发对该第五画面区域的事件置信度的更新操作。
其中,第二重合度阈值可以与第一重合度阈值不同,也可以与第一重合度阈值相同。
由于不同摄像设备的识别准确度会随时间变化,通过对具备置信度信息的画面区域进行置信度更新,从而能够不断更新置信度,进而提升置信度的准确性和时效性,提升目标交通事件识别的结果反馈的准确度。
在一些实施例中,基于第三目标事件以及第三目标事件的结果复核信息,更新第五画面区域对应的事件置信度包括:基于第三目标事件以及结果复核信息,更新第五画面区域对应的历史识别准确度和预设时间范围内的第一识别准确度;以及基于更新后的历史识别准确度和更新后的第一识别准确度,更新第五画面区域对应的事件置信度。
在一些实施例中,预设时间范围可以为本次更新的最近一周。
由此,同时对历史整体准确度和预设时间范围(如近一周内)的识别准确度进行更新,进而更新该区域的事件置信度,能够进一步提升该置信度的时效性,进而提升目标交通事件识别的结果反馈的准确度。
在一些实施例中,基于更新后的历史识别准确度和更新后的第一识别准确度,更新第五画面区域对应的事件置信度包括:基于更新后的历史识别准确度、更新后的第一识别准确度和第一参数,更新第五画面区域对应的事件置信度,第一参数用于调整更新后的第一识别准确度对第五画面区域对应的事件置信度的影响程度。
由此,通过设置第一参数,对历史识别准确度和第一识别准确度的权重进行调整,从而调整场景时效性对置信度的影响,从而实现对不同场景确定更加适用、准确的置信度。
在一些实施例中,可以基于如下事件置信度计算公式,对事件置信度进行更新:
其中,D表示第五画面区域的事件置信度,p1表示该第五画面区域的历史识别准确度,该历史识别准确度可以基于第一摄像设备在部署了本公开的方法之后所记录的在该第五画面区域内的每次事件识别结果以及相应的结果复核信息确定。p2表示该第五画面区域的预设时间范围(如近一周内)的第一识别准确度,可以基于预设时间范围内的在该第五画面区域内的每次事件识别结果以及相应的结果复核信息确定。x表示可调节的第一参数,用于调整历史识别准确度和第一识别准确度对事件置信度的影响。
在一些实施例中,x例如可以取值为1.2,此时则表示该事件置信度受第一识别准确度影响程度更大,具有更强的时效性。
在一些实施例中,上述目标交通事件识别方法还可以包括:响应于第一摄像设备满足第二预设条件,基于第一摄像设备拍摄的图像的第一画面特征匹配获得第二摄像设备,以建立第一摄像设备与第二摄像设备之间的关联关系,其中,第二预设条件包括第一摄像设备对应的多个第一画面区域中包括至少一个第六画面区域,至少一个第六画面区域中的每个第六画面区域对应的事件置信度的更新次数大于第一预设次数,第二摄像设备拍摄的图像的第二画面特征与第一画面特征的相似度大于预设相似度阈值,并且第二摄像设备的每个画面区域的事件置信度的更新次数均小于或等于第二预设次数;以及基于第一摄像设备对应的至少一个第六画面区域中每个第六画面区域对应的事件置信度,确定第二摄像设备的与该第六画面区域对应的第七画面区域的事件置信度。
在一些实施例中,可以将部署了目标事件识别算法的每个摄像设备均录入一个关系型图数据库,其中,图数据库中建立以各个摄像设备为原型的数据点,以每个摄像设备的ID作为该摄像设备的数据点标签(label),并将该摄像设备的画面特征、每个画面区域的事件置信度作为点属性(property)。
在一些实施例中,每个摄像设备的画面特征可以为图像特征算法识别获得的某一帧图像的特征向量。
在一些实施例中,当线上任一摄像设备满足第二预设条件(第一摄像设备对应的多个第一画面区域中包括至少一个第六画面区域,至少一个第六画面区域中的每个第六画面区域对应的事件置信度的更新次数大于第一预设次数,其中,第一预设次数例如可以为10次)时,该摄像设备可以通过其图数据库属性中的第一画面特征进行匹配和遍历,获得全量未满足上述条件(也即该摄像设备的每个画面区域的事件置信度的更新次数均小于或等于第二预设次数)并且画面特征相似度大于预设相似度阈值(例如可以为80%)的摄像设备列表,并将该列表中的所有摄像设备确定为当前摄像设备的关联设备,同时,可以在图数据库中为该摄像设备数据点和每个关联设备数据点分别建立关系边,并将该摄像设备中每个第六画面区域对应的事件置信度作为血缘置信度共享给关联设备。
在一些实施例中,上述第二预设条件也可以为多个第一画面区域中包括多个第六画面区域,多个第六画面区域中的每个第六画面区域对应的事件置信度的更新次数大于第一预设次数,其中,第一预设次数例如可以为10次。
由此,当第一摄像设备满足第二预设条件时,可以基于该设备的画面特征去匹配强关联的但是还未能确定较为准确的置信度的其他摄像设备,从而实现置信度的高效共享,提升关联设备的置信度准确性。
在一些实施例中,上述目标交通事件识别方法还可以包括:在第二摄像设备与第一摄像设备具备关联关系的情况下,响应于第二摄像设备满足第三预设条件,取消关联关系,其中,第三预设条件包括第二摄像设备的至少一个第八画面区域的目标事件识别次数大于第三预设次数;以及针对至少一个第八画面区域的每个第八画面区域,基于该第八画面区域对应的每次目标事件识别的识别结果和相应的结果复核信息,重新确定该第八画面区域的事件置信度。
在一些实施例中,当上述关联设备满足第三预设条件(也即,该摄像设备的至少一个第八画面区域中的目标事件识别次数大于第三预设次数,其中第三预设次数可以为10次),即可取消关联关系,并基于上述事件置信度计算公式重新确定该设备的每个第八画面区域的事件置信度。
由此,当关联设备满足第三预设条件后,即可解除关联,从而应用其自身的数据对置信度进行更新,从而提升每个设备的置信度准确性和时效性。
在一些实施例中,目标交通事件可以为轨迹判断类交通事件。轨迹判断类交通事件例如可以包括倒车事件、逆行事件等。此时,如图3所示,第一操作还可以包括:
步骤S301、在确定多个第一画面区域中的第九画面区域的事件置信度之前,确定目标交通事件所涉及的车辆的车型;
步骤S302、响应于第九画面区域不具备对应于车型的事件置信度,基于第一摄像设备的与车型对应的历史识别数据和历史结果复核数据,确定第九画面区域的对应于车型的初始置信度,以作为第九画面区域的对应于车型的事件置信度;以及
步骤S303、响应于第九画面区域具备对应于车型的事件置信度,基于目标交通事件以及相应的结果复核信息,更新第九画面区域的对应于车型的事件置信度。
在一些实施例中,可以进一步在图数据库中针对每个摄像设备维护每个画面区域的不同车型相应的事件置信度,并对每种车型相应的事件置信度基于相应车型的数据进行分别更新。
在一些实施例中,对于轨迹判断类交通事件(例如倒车事件、逆行事件),由于不同车型的该类型事件识别的准确率的差异较大,因此可以进一步对不同车型(大型、中型、小型等)分别进行置信度计算和更新,从而进一步提升识别结果的反馈准确度。
图4示出了根据本公开的示例性实施例的目标交通事件识别方法的流程框图。
在一些示例性实施例中,如图4所示,目标交通事件识别方法可以包括:
步骤S401、针对当前摄像设备,响应于识别到一个新的目标事件,判断是否启动事件置信度判断;
步骤S402、响应于当前摄像设备满足预设条件(当前摄像设备包括至少一个事件置信度已更新过N次以上(N为正整数,例如可以为10)的画面区域,或当前摄像设备已关联相应摄像设备并共享该摄像设备的事件置信度),启动事件置信度判断,并获取当前目标事件的置信度;
步骤S403、基于当前目标事件的置信度,反馈相应的结果信息,包括:响应于当前目标事件的置信度大于或等于预设置信度,将该目标事件作为识别结果反馈给用户;响应于当前目标事件的置信度小于预设置信度,过滤该目标事件以不将其反馈给用户,或将该目标事件连同置信度偏低的提示信息同时反馈给用户;
步骤S404、响应于当前摄像设备不满足上述预设条件,不启动事件置信度判断,将目标事件直接反馈给用户,并获取用户的反馈信息(结果复核信息);
步骤S405、基于目标事件及其结果复核信息,更新当前摄像设备的相应画面区域的事件置信度。
在一些实施例中,如图5所示,提供了一种目标交通事件识别装置500,包括:
第一获取单元510,被配置为获取由第一摄像设备采集的第一图像,第一摄像设备采集的图像包括多个第一画面区域;
第一识别单元520,被配置为识别第一图像中的第一目标事件,第一目标事件位于第一图像中的第一识别区域;
第一确定单元530,被配置为基于第一识别区域,在多个第一画面区域中确定至少一个第二画面区域,其中,至少一个第二画面区域中的每个第二画面区域满足第一预设条件;
第二确定单元540,被配置为响应于至少一个第二画面区域中包括具备事件置信度的至少一个第三画面区域,基于至少一个第三画面区域中每个第三画面区域的事件置信度,确定第一目标事件的置信度;以及
第三确定单元550,被配置为响应于置信度大于或等于置信度阈值,将第一目标事件确定为识别结果。
根据本公开的实施例,首先对第一摄像设备的画面进行分区(也即多个第一画面区域);当基于第一摄像设备所采集的图像识别到第一目标事件后,通过第一目标事件的第一识别区域在多个第一画面区域确定至少一个符合第一预设条件(例如,在该画面区域中,识别区域与该画面区域之间的重合度大于预设阈值)的第二画面区域,并根据至少一个第二画面区域中包括的不同区域的事件置信度信息,综合确定该识别结果的置信度,并基于该置信度对第一目标事件的置信度进行判断,从而将置信度较低的第一目标事件筛除,仅将置信度大于或等于置信度阈值的第一目标事件作为识别结果反馈给用户,从而能够提升目标交通事件识别的结果反馈的准确度。
在一些实施例中,上述目标交通事件识别装置还可以包括:第四确定单元,被配置用于通过执行第一操作确定事件置信度,第四确定单元包括:第一确定子单元,被配置为在多个第一画面区域中的第四画面区域不具备事件置信度的情况下,响应于基于第二图像识别到第二目标事件,并且第二目标事件对应的第二识别区域与第四画面区域的重合度大于第一重合度阈值,确定第四画面区域的初始置信度,以作为第四画面区域的事件置信度,其中,第二图像基于第一摄像设备采集获得,第二识别区域位于第二图像中,初始置信度基于第一摄像设备的历史识别数据和历史结果复核数据确定。
在一些实施例中,第四确定单元还可以包括:第一更新子单元,被配置为在多个第一画面区域中的第五画面区域具备事件置信度的情况下,响应于基于第三图像识别到第三目标事件,并且第三目标事件对应的第三识别区域与第五画面区域的重合度大于第二重合度阈值,基于第三目标事件以及第三目标事件的结果复核信息,更新第五画面区域对应的事件置信度,其中,第三图像基于第一摄像设备采集获得,第三识别区域位于第三图像中,结果复核信息指示第三目标事件的识别是否正确。
在一些实施例中,第一更新子单元可以被进一步配置为:基于第三目标事件以及结果复核信息,更新第五画面区域对应的历史识别准确度和预设时间范围内的第一识别准确度;以及基于更新后的历史识别准确度和更新后的第一识别准确度,更新第五画面区域对应的事件置信度。
在一些实施例中,基于更新后的历史识别准确度和更新后的第一识别准确度,更新第五画面区域对应的事件置信度包括:基于更新后的历史识别准确度、更新后的第一识别准确度和第一参数,更新第五画面区域对应的事件置信度,第一参数用于调整更新后的第一识别准确度对第五画面区域对应的事件置信度的影响程度。
在一些实施例中,上述目标交通事件识别装置还可以包括:匹配单元,被配置为响应于第一摄像设备满足第二预设条件,基于第一摄像设备拍摄的图像的第一画面特征匹配获得第二摄像设备,以建立第一摄像设备与第二摄像设备之间的关联关系,其中,第二预设条件包括第一摄像设备对应的多个第一画面区域中包括至少一个第六画面区域,至少一个第六画面区域中的每个第六画面区域对应的事件置信度的更新次数大于第一预设次数,第二摄像设备拍摄的图像的第二画面特征与第一画面特征的相似度大于预设相似度阈值,并且第二摄像设备的每个画面区域的事件置信度的更新次数均小于或等于第二预设次数;以及第五确定单元,被配置为基于第一摄像设备对应的至少一个第六画面区域中每个第六画面区域对应的事件置信度,确定第二摄像设备的与该第六画面区域对应的第七画面区域的事件置信度。
在一些实施例中,上述目标交通事件识别装置还可以包括:取消单元,被配置为在第二摄像设备与第一摄像设备具备关联关系的情况下,响应于第二摄像设备满足第三预设条件,取消关联关系,其中,第三预设条件包括第二摄像设备的至少一个第八画面区域的目标事件识别次数大于第三预设次数;以及第六确定单元,被配置为针对至少一个第八画面区域的每个第八画面区域,基于该第八画面区域对应的每次目标事件识别的识别结果和相应的结果复核信息,重新确定该第八画面区域的事件置信度。
在一些实施例中,目标交通事件为轨迹判断类交通事件,第四确定单元还可以包括:第二确定子单元,被配置为在确定多个第一画面区域中的第九画面区域的事件置信度之前,确定目标交通事件所涉及的车辆的车型;第三确定子单元,被配置为响应于第九画面区域不具备对应于车型的事件置信度,基于第一摄像设备的与车型对应的历史识别数据和历史结果复核数据,确定第九画面区域的对应于车型的初始置信度,以作为第九画面区域的对应于车型的事件置信度;以及第二更新子单元,被配置为响应于第九画面区域具备对应于车型的事件置信度,基于目标交通事件以及相应的结果复核信息,更新第九画面区域的对应于车型的事件置信度。
根据本公开的实施例,还提供了一种电子设备、一种可读存储介质和一种计算机程序产品。
根据本公开的另一方面,还提供了一种边缘计算设备,可选的,边缘计算设备除了包括电子设备,还可以包括通信部件等,电子设备可以和通信部件一体集成,也可以分体设置。电子设备可以获取路侧感知设备(如路侧相机)的数据,例如图片和视频等,从而进行图像视频处理和数据计算,再经由通信部件向云控平台传送处理和计算结果。
可选的,边缘计算设备也可以为路侧计算单元(Road Side Computing Unit,RSCU)。可选的,电子设备自身也可以具备感知数据获取功能和通信功能,例如是AI相机,电子设备可以直接基于获取的感知数据进行图像视频处理和数据计算,再向云控平台传送处理和计算结果。
可选的,云控平台在云端执行处理,进行图像视频处理和数据计算,云控平台也可以称为车路协同管理平台、V2X平台、云计算平台、中心系统、云端服务器等。
参考图6,现将描述可以作为本公开的服务器或客户端的电子设备600的结构框图,其是可以应用于本公开的各方面的硬件设备的示例。电子设备旨在表示各种形式的数字电子的计算机设备,诸如,膝上型计算机、台式计算机、工作台、个人数字助理、服务器、刀片式服务器、大型计算机、和其它适合的计算机。电子设备还可以表示各种形式的移动装置,诸如,个人数字处理、蜂窝电话、智能电话、可穿戴设备和其它类似的计算装置。本文所示的部件、它们的连接和关系、以及它们的功能仅仅作为示例,并且不意在限制本文中描述的和/或者要求的本公开的实现。
如图6所示,电子设备600包括计算单元601,其可以根据存储在只读存储器(ROM)602中的计算机程序或者从存储单元608加载到随机访问存储器(RAM)603中的计算机程序,来执行各种适当的动作和处理。在RAM 603中,还可存储电子设备600操作所需的各种程序和数据。计算单元601、ROM 602以及RAM 603通过总线604彼此相连。输入/输出(I/O)接口605也连接至总线604。
电子设备600中的多个部件连接至I/O接口605,包括:输入单元606、输出单元607、存储单元608以及通信单元609。输入单元606可以是能向电子设备600输入信息的任何类型的设备,输入单元606可以接收输入的数字或字符信息,以及产生与电子设备的用户设置和/或功能控制有关的键信号输入,并且可以包括但不限于鼠标、键盘、触摸屏、轨迹板、轨迹球、操作杆、麦克风和/或遥控器。输出单元607可以是能呈现信息的任何类型的设备,并且可以包括但不限于显示器、扬声器、视频/音频输出终端、振动器和/或打印机。存储单元608可以包括但不限于磁盘、光盘。通信单元609允许电子设备600通过诸如因特网的计算机网络和/或各种电信网络与其他设备交换信息/数据,并且可以包括但不限于调制解调器、网卡、红外通信设备、无线通信收发机和/或芯片组,例如蓝牙设备、602.11设备、WiFi设备、WiMax设备、蜂窝通信设备和/或类似物。
计算单元601可以是各种具有处理和计算能力的通用和/或专用处理组件。计算单元601的一些示例包括但不限于中央处理单元(CPU)、图形处理单元(GPU)、各种专用的人工智能(AI)计算芯片、各种运行机器学习模型算法的计算单元、数字信号处理器(DSP)、以及任何适当的处理器、控制器、微控制器等。计算单元601执行上文所描述的各个方法和处理,例如本公开的目标交通事件识别方法。例如,在一些实施例中,本公开的目标交通事件识别方法可被实现为计算机软件程序,其被有形地包含于机器可读介质,例如存储单元608。在一些实施例中,计算机程序的部分或者全部可以经由ROM 602和/或通信单元609而被载入和/或安装到电子设备600上。当计算机程序加载到RAM 603并由计算单元601执行时,可以执行上文描述的目标交通事件识别方法的一个或多个步骤。备选地,在其他实施例中,计算单元601可以通过其他任何适当的方式(例如,借助于固件)而被配置为执行本公开的目标交通事件识别方法。
本文中以上描述的系统和技术的各种实施方式可以在数字电子电路系统、集成电路系统、场可编程门阵列(FPGA)、专用集成电路(ASIC)、专用标准产品(ASSP)、芯片上系统的系统(SOC)、负载可编程逻辑设备(CPLD)、计算机硬件、固件、软件、和/或它们的组合中实现。这些各种实施方式可以包括:实施在一个或者多个计算机程序中,该一个或者多个计算机程序可在包括至少一个可编程处理器的可编程系统上执行和/或解释,该可编程处理器可以是专用或者通用可编程处理器,可以从存储系统、至少一个输入装置、和至少一个输出装置接收数据和指令,并且将数据和指令传输至该存储系统、该至少一个输入装置、和该至少一个输出装置。
用于实施本公开的方法的程序代码可以采用一个或多个编程语言的任何组合来编写。这些程序代码可以提供给通用计算机、专用计算机或其他可编程数据处理装置的处理器或控制器,使得程序代码当由处理器或控制器执行时使流程图和/或框图中所规定的功能/操作被实施。程序代码可以完全在机器上执行、部分地在机器上执行,作为独立软件包部分地在机器上执行且部分地在远程机器上执行或完全在远程机器或服务器上执行。
在本公开的上下文中,机器可读介质可以是有形的介质,其可以包含或存储以供指令执行系统、装置或设备使用或与指令执行系统、装置或设备结合地使用的程序。机器可读介质可以是机器可读信号介质或机器可读储存介质。机器可读介质可以包括但不限于电子的、磁性的、光学的、电磁的、红外的、或半导体系统、装置或设备,或者上述内容的任何合适组合。机器可读存储介质的更具体示例会包括基于一个或多个线的电气连接、便携式计算机盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦除可编程只读存储器(EPROM或快闪存储器)、光纤、便捷式紧凑盘只读存储器(CD-ROM)、光学储存设备、磁储存设备、或上述内容的任何合适组合。
为了提供与用户的交互,可以在计算机上实施此处描述的系统和技术,该计算机具有:用于向用户显示信息的显示装置(例如,CRT(阴极射线管)或者LCD(液晶显示器)监视器);以及键盘和指向装置(例如,鼠标或者轨迹球),用户可以通过该键盘和该指向装置来将输入提供给计算机。其它种类的装置还可以用于提供与用户的交互;例如,提供给用户的反馈可以是任何形式的传感反馈(例如,视觉反馈、听觉反馈、或者触觉反馈);并且可以用任何形式(包括声输入、语音输入或者、触觉输入)来接收来自用户的输入。
可以将此处描述的系统和技术实施在包括后台部件的计算系统(例如,作为数据服务器)、或者包括中间件部件的计算系统(例如,应用服务器)、或者包括前端部件的计算系统(例如,具有图形用户界面或者网络浏览器的用户计算机,用户可以通过该图形用户界面或者该网络浏览器来与此处描述的系统和技术的实施方式交互)、或者包括这种后台部件、中间件部件、或者前端部件的任何组合的计算系统中。可以通过任何形式或者介质的数字数据通信(例如,通信网络)来将系统的部件相互连接。通信网络的示例包括:局域网(LAN)、广域网(WAN)和互联网。
计算机系统可以包括客户端和服务器。客户端和服务器一般远离彼此并且通常通过通信网络进行交互。通过在相应的计算机上运行并且彼此具有客户端-服务器关系的计算机程序来产生客户端和服务器的关系。服务器可以是云服务器,也可以为分布式系统的服务器,或者是结合了区块链的服务器。
应该理解,可以使用上面所示的各种形式的流程,重新排序、增加或删除步骤。例如,本公开中记载的各步骤可以并行地执行、也可以顺序地或以不同的次序执行,只要能够实现本公开公开的技术方案所期望的结果,本文在此不进行限制。
虽然已经参照附图描述了本公开的实施例或示例,但应理解,上述的方法、系统和设备仅仅是示例性的实施例或示例,本发明的范围并不由这些实施例或示例限制,而是仅由授权后的权利要求书及其等同范围来限定。实施例或示例中的各种要素可以被省略或者可由其等同要素替代。此外,可以通过不同于本公开中描述的次序来执行各步骤。进一步地,可以以各种方式组合实施例或示例中的各种要素。重要的是随着技术的演进,在此描述的很多要素可以由本公开之后出现的等同要素进行替换。
Claims (20)
1.一种目标交通事件识别方法,包括:
获取由第一摄像设备采集的第一图像,所述第一摄像设备采集的图像包括多个第一画面区域;
识别所述第一图像中的第一目标事件,所述第一目标事件位于所述第一图像中的第一识别区域;
基于所述第一识别区域,在所述多个第一画面区域中确定至少一个第二画面区域,其中,所述至少一个第二画面区域中的每个第二画面区域满足第一预设条件;
响应于所述至少一个第二画面区域中包括具备事件置信度的至少一个第三画面区域,基于所述至少一个第三画面区域中每个第三画面区域的事件置信度,确定所述第一目标事件的置信度;以及
响应于所述置信度大于或等于置信度阈值,将所述第一目标事件确定为识别结果。
2.根据权利要求1所述的方法,其中,所述事件置信度通过执行第一操作确定,所述第一操作包括:
在所述多个第一画面区域中的第四画面区域不具备事件置信度的情况下,响应于基于第二图像识别到第二目标事件,并且所述第二目标事件对应的第二识别区域与所述第四画面区域的重合度大于第一重合度阈值,
确定所述第四画面区域的初始置信度,以作为所述第四画面区域的事件置信度,其中,所述第二图像基于所述第一摄像设备采集获得,所述第二识别区域位于所述第二图像中,所述初始置信度基于所述第一摄像设备的历史识别数据和历史结果复核数据确定。
3.根据权利要求2所述的方法,其中,所述第一操作还包括:
在所述多个第一画面区域中的第五画面区域具备事件置信度的情况下,响应于基于第三图像识别到第三目标事件,并且所述第三目标事件对应的第三识别区域与所述第五画面区域的重合度大于第二重合度阈值,
基于所述第三目标事件以及所述第三目标事件的结果复核信息,更新所述第五画面区域对应的事件置信度,其中,所述第三图像基于所述第一摄像设备采集获得,所述第三识别区域位于所述第三图像中,所述结果复核信息指示所述第三目标事件的识别是否正确。
4.根据权利要求3所述的方法,其中,所述基于所述第三目标事件以及所述第三目标事件的结果复核信息,更新所述第五画面区域对应的事件置信度包括:
基于所述第三目标事件以及所述结果复核信息,更新所述第五画面区域对应的历史识别准确度和预设时间范围内的第一识别准确度;以及
基于更新后的历史识别准确度和更新后的第一识别准确度,更新所述第五画面区域对应的事件置信度。
5.根据权利要求4所述的方法,其中,所述基于更新后的历史识别准确度和更新后的第一识别准确度,更新所述第五画面区域对应的事件置信度包括:
基于更新后的历史识别准确度、更新后的第一识别准确度和第一参数,更新所述第五画面区域对应的事件置信度,所述第一参数用于调整所述更新后的第一识别准确度对所述第五画面区域对应的事件置信度的影响程度。
6.根据权利要求2至5中任一项所述的方法,还包括:
响应于所述第一摄像设备满足第二预设条件,基于所述第一摄像设备拍摄的图像的第一画面特征匹配获得第二摄像设备,以建立所述第一摄像设备与所述第二摄像设备之间的关联关系,其中,所述第二预设条件包括所述第一摄像设备对应的所述多个第一画面区域中包括至少一个第六画面区域,所述至少一个第六画面区域中的每个第六画面区域对应的事件置信度的更新次数大于第一预设次数,所述第二摄像设备拍摄的图像的第二画面特征与所述第一画面特征的相似度大于预设相似度阈值,并且所述第二摄像设备的每个画面区域的事件置信度的更新次数均小于或等于第二预设次数;以及
基于所述第一摄像设备对应的所述至少一个第六画面区域中每个第六画面区域对应的事件置信度,确定所述第二摄像设备的与该第六画面区域对应的第七画面区域的事件置信度。
7.根据权利要求6所述的方法,还包括:
在所述第二摄像设备与所述第一摄像设备具备所述关联关系的情况下,响应于所述第二摄像设备满足所述第三预设条件,取消所述关联关系,其中,所述第三预设条件包括所述第二摄像设备的至少一个第八画面区域的目标事件识别次数大于第三预设次数;以及
针对所述至少一个第八画面区域的每个第八画面区域,基于该第八画面区域对应的每次目标事件识别的识别结果和相应的结果复核信息,重新确定该第八画面区域的事件置信度。
8.根据权利要求2至7中任一项所述的方法,所述目标交通事件为轨迹判断类交通事件,所述第一操作还包括:
在确定所述多个第一画面区域中的第九画面区域的事件置信度之前,确定所述目标交通事件所涉及的车辆的车型;
响应于所述第九画面区域不具备对应于所述车型的事件置信度,基于所述第一摄像设备的与所述车型对应的历史识别数据和历史结果复核数据,确定所述第九画面区域的对应于所述车型的初始置信度,以作为所述第九画面区域的对应于所述车型的事件置信度;以及
响应于所述第九画面区域具备对应于所述车型的事件置信度,基于所述目标交通事件以及相应的结果复核信息,更新所述第九画面区域的对应于所述车型的事件置信度。
9.一种目标交通事件识别装置,包括:
第一获取单元,被配置为获取由第一摄像设备采集的第一图像,所述第一摄像设备采集的图像包括多个第一画面区域;
第一识别单元,被配置为识别所述第一图像中的第一目标事件,所述第一目标事件位于所述第一图像中的第一识别区域;
第一确定单元,被配置为基于所述第一识别区域,在所述多个第一画面区域中确定至少一个第二画面区域,其中,所述至少一个第二画面区域中的每个第二画面区域满足第一预设条件;
第二确定单元,被配置为响应于所述至少一个第二画面区域中包括具备事件置信度的至少一个第三画面区域,基于所述至少一个第三画面区域中每个第三画面区域的事件置信度,确定所述第一目标事件的置信度;以及
第三确定单元,被配置为响应于所述置信度大于或等于置信度阈值,将所述第一目标事件确定为识别结果。
10.根据权利要求9所述的装置,所述装置还包括:
第四确定单元,被配置用于通过执行第一操作确定所述事件置信度,所述第四确定单元包括:
第一确定子单元,被配置为在所述多个第一画面区域中的第四画面区域不具备事件置信度的情况下,响应于基于第二图像识别到第二目标事件,并且所述第二目标事件对应的第二识别区域与所述第四画面区域的重合度大于第一重合度阈值,确定所述第四画面区域的初始置信度,以作为所述第四画面区域的事件置信度,其中,所述第二图像基于所述第一摄像设备采集获得,所述第二识别区域位于所述第二图像中,所述初始置信度基于所述第一摄像设备的历史识别数据和历史结果复核数据确定。
11.根据权利要求10所述的装置,所述第四确定单元还包括:
第一更新子单元,被配置为在所述多个第一画面区域中的第五画面区域具备事件置信度的情况下,响应于基于第三图像识别到第三目标事件,并且所述第三目标事件对应的第三识别区域与所述第五画面区域的重合度大于第二重合度阈值,基于所述第三目标事件以及所述第三目标事件的结果复核信息,更新所述第五画面区域对应的事件置信度,其中,所述第三图像基于所述第一摄像设备采集获得,所述第三识别区域位于所述第三图像中,所述结果复核信息指示所述第三目标事件的识别是否正确。
12.根据权利要求11所述的装置,其中,所述第一更新子单元被进一步配置为:
基于所述第三目标事件以及所述结果复核信息,更新所述第五画面区域对应的历史识别准确度和预设时间范围内的第一识别准确度;以及
基于更新后的历史识别准确度和更新后的第一识别准确度,更新所述第五画面区域对应的事件置信度。
13.根据权利要求12所述的装置,其中,所述基于更新后的历史识别准确度和更新后的第一识别准确度,更新所述第五画面区域对应的事件置信度包括:
基于更新后的历史识别准确度、更新后的第一识别准确度和第一参数,更新所述第五画面区域对应的事件置信度,所述第一参数用于调整所述更新后的第一识别准确度对所述第五画面区域对应的事件置信度的影响程度。
14.根据权利要求10至13中任一项所述的装置,还包括:
匹配单元,被配置为响应于所述第一摄像设备满足第二预设条件,基于所述第一摄像设备拍摄的图像的第一画面特征匹配获得第二摄像设备,以建立所述第一摄像设备与所述第二摄像设备之间的关联关系,其中,所述第二预设条件包括所述第一摄像设备对应的所述多个第一画面区域中包括至少一个第六画面区域,所述至少一个第六画面区域中的每个第六画面区域对应的事件置信度的更新次数大于第一预设次数,所述第二摄像设备拍摄的图像的第二画面特征与所述第一画面特征的相似度大于预设相似度阈值,并且所述第二摄像设备的每个画面区域的事件置信度的更新次数均小于或等于第二预设次数;以及
第五确定单元,被配置为基于所述第一摄像设备对应的所述至少一个第六画面区域中每个第六画面区域对应的事件置信度,确定所述第二摄像设备的与该第六画面区域对应的第七画面区域的事件置信度。
15.根据权利要求14所述的装置,还包括:
取消单元,被配置为在所述第二摄像设备与所述第一摄像设备具备所述关联关系的情况下,响应于所述第二摄像设备满足所述第三预设条件,取消所述关联关系,其中,所述第三预设条件包括所述第二摄像设备的至少一个第八画面区域的目标事件识别次数大于第三预设次数;以及
第六确定单元,被配置为针对所述至少一个第八画面区域的每个第八画面区域,基于该第八画面区域对应的每次目标事件识别的识别结果和相应的结果复核信息,重新确定该第八画面区域的事件置信度。
16.根据权利要求10至15中任一项所述的装置,所述目标交通事件为轨迹判断类交通事件,所述第四确定单元还包括:
第二确定子单元,被配置为在确定所述多个第一画面区域中的第九画面区域的事件置信度之前,确定所述目标交通事件所涉及的车辆的车型;
第三确定子单元,被配置为响应于所述第九画面区域不具备对应于所述车型的事件置信度,基于所述第一摄像设备的与所述车型对应的历史识别数据和历史结果复核数据,确定所述第九画面区域的对应于所述车型的初始置信度,以作为所述第九画面区域的对应于所述车型的事件置信度;以及
第二更新子单元,被配置为响应于所述第九画面区域具备对应于所述车型的事件置信度,基于所述目标交通事件以及相应的结果复核信息,更新所述第九画面区域的对应于所述车型的事件置信度。
17.一种电子设备,包括:
至少一个处理器;以及
与所述至少一个处理器通信连接的存储器;其中
所述存储器存储有可被所述至少一个处理器执行的指令,所述指令被所述至少一个处理器执行,以使所述至少一个处理器能够执行权利要求1-8中任一项所述的方法。
18.一种存储有计算机指令的非瞬时计算机可读存储介质,其中,所述计算机指令用于使所述计算机执行根据权利要求1-8中任一项所述的方法。
19.一种计算机程序产品,包括计算机程序,其中,所述计算机程序在被处理器执行时实现权利要求1-8中任一项所述的方法。
20.一种边缘计算设备,包括根据权利要求17所述的电子设备。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202310272888.3A CN116363604A (zh) | 2023-03-20 | 2023-03-20 | 目标交通事件识别方法、装置、设备及介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202310272888.3A CN116363604A (zh) | 2023-03-20 | 2023-03-20 | 目标交通事件识别方法、装置、设备及介质 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN116363604A true CN116363604A (zh) | 2023-06-30 |
Family
ID=86935704
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202310272888.3A Pending CN116363604A (zh) | 2023-03-20 | 2023-03-20 | 目标交通事件识别方法、装置、设备及介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN116363604A (zh) |
-
2023
- 2023-03-20 CN CN202310272888.3A patent/CN116363604A/zh active Pending
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US20220309920A1 (en) | Controlling vehicle-infrastructure cooperated autonomous driving | |
CN114179832B (zh) | 用于自动驾驶车辆的变道方法 | |
CN115019060A (zh) | 目标识别方法、目标识别模型的训练方法及装置 | |
CN114047760B (zh) | 路径规划方法、装置、电子设备及自动驾驶车辆 | |
CN114758502A (zh) | 双车联合轨迹预测方法及装置、电子设备和自动驾驶车辆 | |
CN114394111B (zh) | 用于自动驾驶车辆的变道方法 | |
CN115082690B (zh) | 目标识别方法、目标识别模型训练方法及装置 | |
CN115675528A (zh) | 基于相似场景挖掘的自动驾驶方法和车辆 | |
CN113850909B (zh) | 点云数据处理方法、装置、电子设备及自动驾驶设备 | |
CN116363604A (zh) | 目标交通事件识别方法、装置、设备及介质 | |
CN116311943B (zh) | 交叉路口的平均延误时间的估算方法及装置 | |
CN114179834B (zh) | 车辆停靠方法、装置、电子设备、介质及自动驾驶车辆 | |
CN115583243B (zh) | 确定车道线信息的方法、车辆控制方法、装置和设备 | |
CN115019278B (zh) | 一种车道线拟合方法、装置、电子设备和介质 | |
CN114333405B (zh) | 用于辅助车辆停车的方法 | |
CN114333368B (zh) | 语音提醒方法、装置、设备和介质 | |
CN116469069A (zh) | 用于自动驾驶的场景编码模型训练方法、装置及介质 | |
CN114283604B (zh) | 用于辅助车辆停车的方法 | |
CN117710939A (zh) | 信号灯检测方法、装置、系统及自动驾驶车辆 | |
EP4047583A2 (en) | Method and apparatus for controlling vehicle-infrastructure cooperated autonomous driving, electronic device, and vehicle | |
CN116311941B (zh) | 主要车流路径提取方法、装置、设备及介质 | |
CN115235487B (zh) | 数据处理方法及装置、设备和介质 | |
CN116580367A (zh) | 数据处理方法、装置、电子设备和存储介质 | |
CN114842451A (zh) | 车道线拟合方法及装置、电子设备、介质及车辆 | |
CN116466685A (zh) | 针对自动驾驶感知算法的评测方法及装置、设备和介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |