CN113111682A - 目标对象感知方法和装置、感知基站、感知系统 - Google Patents
目标对象感知方法和装置、感知基站、感知系统 Download PDFInfo
- Publication number
- CN113111682A CN113111682A CN202010023297.9A CN202010023297A CN113111682A CN 113111682 A CN113111682 A CN 113111682A CN 202010023297 A CN202010023297 A CN 202010023297A CN 113111682 A CN113111682 A CN 113111682A
- Authority
- CN
- China
- Prior art keywords
- processing
- target
- target object
- image
- target image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 128
- 238000012545 processing Methods 0.000 claims abstract description 486
- 230000008569 process Effects 0.000 claims abstract description 26
- 230000008447 perception Effects 0.000 claims description 157
- 238000001514 detection method Methods 0.000 claims description 74
- 230000005540 biological transmission Effects 0.000 claims description 23
- 230000001149 cognitive effect Effects 0.000 claims description 15
- 238000004422 calculation algorithm Methods 0.000 claims description 11
- 238000004590 computer program Methods 0.000 claims description 6
- 238000012216 screening Methods 0.000 claims description 4
- 238000013135 deep learning Methods 0.000 claims description 3
- 230000004044 response Effects 0.000 claims description 3
- 238000010586 diagram Methods 0.000 description 18
- 238000004891 communication Methods 0.000 description 11
- 230000000007 visual effect Effects 0.000 description 10
- 230000006870 function Effects 0.000 description 7
- 230000000694 effects Effects 0.000 description 5
- 230000001965 increasing effect Effects 0.000 description 4
- 230000001939 inductive effect Effects 0.000 description 3
- 230000000295 complement effect Effects 0.000 description 2
- 238000005034 decoration Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 230000003068 static effect Effects 0.000 description 2
- 206010039203 Road traffic accident Diseases 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 230000001413 cellular effect Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 230000017525 heat dissipation Effects 0.000 description 1
- 230000006698 induction Effects 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 238000012423 maintenance Methods 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 230000000750 progressive effect Effects 0.000 description 1
- 230000032258 transport Effects 0.000 description 1
- 230000001960 triggered effect Effects 0.000 description 1
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
- G06V20/588—Recognition of the road, e.g. of lane markings; Recognition of the vehicle driving pattern in relation to the road
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
- G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Theoretical Computer Science (AREA)
- Image Analysis (AREA)
Abstract
本公开实施例提供一种目标对象感知方法和装置、感知基站、感知系统通过获取感知区域内包括目标对象的目标图像,确定对所述目标对象的身份标识信息进行识别的识别准确率,根据所述识别准确率确定对所述目标图像进行处理的处理模式,并基于所述处理模式对所述目标图像进行处理,以获取所述目标对象的感知结果,能够根据实际情况将对所述目标图像进行处理的处理模式切换为逐帧处理的第一处理模式或者跳帧处理的第二处理模式。相比于对采集到的目标图像进行逐帧处理的方式,减少了目标对象感知过程中的数据处理量,提高了感知实时性。
Description
技术领域
本公开涉及智能交通技术领域,尤其涉及目标对象感知方法和装置、感知基站、感知系统。
背景技术
在智能交通中,需要对目标对象(例如,车辆、行人等)进行实时感知。对目标对象的感知主要依赖一个或者多个感知基站来实现,在感知基站上安装有感知模块,以感知模块是图像采集装置为例,通过获取目标对象的图像,并对图像进行处理,从而能够实现对目标对象的感知。为了保证感知准确率,往往会对采集到的图像进行逐帧处理,导致占用的处理资源较多。
发明内容
本公开提供一种目标对象感知方法和装置、感知基站、感知系统。
根据本公开实施例的第一方面,提供一种目标对象感知方法,所述方法包括:获取感知区域内包括目标对象的目标图像;确定对所述目标对象的身份标识信息进行识别的识别准确率,根据所述识别准确率确定对所述目标图像进行处理的处理模式;其中,所述处理模式包括对所述目标图像进行逐帧处理的第一处理模式,以及对所述目标图像进行跳帧处理的第二处理模式;基于所述处理模式对所述目标图像进行处理,以获取所述目标对象的感知结果。
在一些实施例中,所述根据所述识别准确率确定对所述目标图像进行处理的处理模式,包括:若所述识别准确率低于预设的识别准确率阈值,确定所述处理模式为所述第一处理模式;和/或若所述识别准确率不低于所述识别准确率阈值,确定所述处理模式为所述第二处理模式。
在一些实施例中,所述方法由感知链路中的第一感知基站执行,所述感知链路中包括所述第一感知基站在内的多个感知基站;所述方法还包括:获取所述第一感知基站的前一感知基站发送的所述目标对象的第一特征信息以及所述第一感知基站内的所述目标对象的第二特征信息;根据所述第一特征信息以及所述第二特征信息对所述目标对象的身份标识信息进行识别。
在一些实施例中,所述方法还包括:获取感知区域的原始图像;从所述原始图像中筛选出包括所述目标对象的目标图像。
在一些实施例中,所述从所述原始图像中筛选出包括所述目标对象的目标图像,包括:通过深度学习算法对所述原始图像进行检测,以从所述原始图像中检测出包括所述目标对象的目标图像。
在一些实施例中,所述基于所述处理模式对所述目标图像进行处理,包括:在与所述目标对象之间的距离小于预设的距离阈值时,基于所述处理模式对所述目标图像进行处理。
在一些实施例中,所述方法还包括:在基于所述处理模式对所述目标图像进行处理,以获取所述目标对象的感知结果之后,根据所述感知结果绘制所述感知区域的地图。
在一些实施例中,所述地图中包括以下至少任一:所述感知区域内的车道数量,所述目标对象所在车道的信息,各个车道上的目标对象的特征信息,各个车道的拥堵信息,以及各个车道上的障碍物分布信息。
在一些实施例中,所述目标图像包括在所述目标对象驶入所述感知区域时获取到的第一目标图像,以及在所述目标对象驶出所述感知区域时获取到的第二目标图像;所述处理模式包括对所述第一目标图像进行处理的处理模式以及对所述第二目标图像进行处理的处理模式;所述基于所述处理模式对所述目标图像进行处理,以获取所述目标对象的感知结果,包括:基于对所述第一目标图像进行处理的处理模式,对所述第一目标图像进行处理,得到第一处理结果;基于对所述第二目标图像进行处理的处理模式,对所述第二目标图像进行处理,得到第二处理结果;根据所述第一处理结果和第二处理结果获取所述目标对象的感知结果。
在一些实施例中,所述第一目标图像由第一图像采集装置获取,所述第二目标图像由第二图像采集装置获取。
在一些实施例中,所述获取包括目标对象的目标图像,包括:在所述目标对象进入所述第一图像采集装置和所述第二图像采集装置之间的不可跟踪区域时,启用所述第二图像采集装置,以获取所述第二目标图像。
在一些实施例中,所述方法还包括:若启动所述第二图像采集装置的时间小于预设的时间阈值,确定对所述第二目标图像进行处理的处理模式为所述第一处理模式。
在一些实施例中,所述方法还包括:在确定对所述第二目标图像进行处理的处理模式为所述第一处理模式之后,若所述第一处理结果与所述第二处理结果相匹配,将对所述第二目标图像进行处理的处理模式从所述第一处理模式切换为所述第二处理模式。
在一些实施例中,在所述第一图像采集装置未采集到包括所述目标对象的第一目标图像的情况下,禁用所述第二图像采集装置。
在一些实施例中,所述方法还包括:若所述第一图像采集装置在当前时刻未采集到包括所述目标对象的第一目标图像,且所述第一图像采集装置在当前时刻之间的一段时间内采集到包括所述目标对象的第一目标图像,启用所述第二图像采集装置,以获取所述第二目标图像。
在一些实施例中,所述对所述第一目标图像进行处理,包括:对所述第一目标图像中的第一感兴趣区域中的目标对象进行识别;和/或对所述第一目标图像中的第一感兴趣区域中的目标对象进行跟踪;和/或所述对所述第二目标图像进行处理,包括:对所述第二目标图像中的第二感兴趣区域中的目标对象进行识别;和/或对所述第二目标图像中的第二感兴趣区域中的目标对象进行跟踪。
在一些实施例中,在不满足第一条件的情况下,所述对所述第一目标图像进行处理,包括对所述第一感兴趣区域中的目标对象进行跟踪;所述第一条件为:对所述目标对象之前的若干个在前目标对象的身份标识信息进行识别的识别准确率大于预设的识别准确率阈值;和/或在不满足第二条件的情况下,所述对所述第二目标图像进行处理,包括对所述第二感兴趣区域中的目标对象进行跟踪;所述第二条件为:对所述目标对象的身份标识信息进行识别的识别准确率大于预设的识别准确率阈值。
在一些实施例中,所述目标对象在进入感知区域时被加入目标对象列表;所述方法还包括:响应于所述目标对象离开可跟踪区域,对所述目标对象列表进行刷新。
在一些实施例中,在满足第一条件的情况下,对所述目标图像进行处理包括对所述目标图像中的目标对象进行跟踪以及对所述目标图像中的目标对象进行识别;所述第一条件包括以下至少任一:所述识别准确率低于预设的识别准确率阈值;以及对所述目标对象跟踪失败,或者所述身份标识信息的置信度低于预设的置信度阈值。
在一些实施例中,所述方法还包括:若未检测到目标对象的身份标识信息,为所述目标对象重新分配身份标识信息。
根据本公开实施例的第二方面,提供一种目标对象感知方法,所述方法包括:获取感知区域内包括目标对象的目标图像;根据当前检测事件确定对所述目标图像进行处理的处理模式;其中,所述处理模式包括对所述目标图像进行逐帧处理的第一处理模式,以及对所述目标图像进行跳帧处理的第二处理模式;
基于所述处理模式对所述目标图像进行处理,以获取所述目标对象的感知结果。
在一些实施例中,所述当前检测事件包括以下至少任一:对所述目标对象的对象信息进行检测、对特定事件进行检测。
在一些实施例中,所述对象信息包括以下至少任一:所述目标对象的移动速度和类型。
在一些实施例中,所述根据当前检测事件确定对所述目标图像进行处理的处理模式,包括:若所述对象信息满足第三条件,确定所述处理模式为所述第一处理模式;和/或若所述对象信息不满足所述第三条件,确定所述处理模式为所述第二处理模式;其中,所述第三条件包括:所述目标对象的移动速度大于预设的速度阈值,和/或所述目标对象的类型为预设类型。
在一些实施例中,所述特定事件包括违章事件和/或接收到处理模式切换指令。
在一些实施例中,所述根据当前检测事件确定对所述目标图像进行处理的处理模式,包括:若满足第四条件,确定所述处理模式为所述第一处理模式;和/或若不满足第四条件,确定所述处理模式为所述第二处理模式;其中,所述第四条件包括:检测到所述违章事件,和/或接收到将处理模式切换为所述第一处理模式的处理模式切换指令。
根据本公开实施例的第三方面,提供一种目标对象感知方法,所述方法包括:确定当前检测事件;根据所述当前检测事件确定对感知区域的目标对象进行拍摄的拍摄模式;其中,所述拍摄模式包括以第一帧率对所述目标对象进行拍摄的第一拍摄模式,以及以第二帧率对所述目标对象进行拍摄的第二拍摄模式,所述第一帧率大于所述第二帧率。
根据本公开实施例的第四方面,提供一种目标对象感知方法,所述方法包括:获取感知区域内包括目标对象的多帧目标图像;根据当前检测事件确定将所述多帧目标图像发送至处理单元进行处理的发送模式;其中,所述发送模式包括对所述多帧目标图像进行逐帧发送的第一发送模式,以及对所述多帧目标图像进行跳帧发送的第二发送模式。
在一些实施例中,所述方法还包括:对所述多帧目标图像进行跳帧发送的跳帧步距可调整。
根据本公开实施例的第五方面,提供一种目标对象感知方法,所述方法包括:分别获取感知区域内多个目标对象的目标图像;采用不同的处理模式对各个目标对象的目标图像进行处理,其中,所述处理模式包括对所述目标图像进行逐帧处理的第一处理模式,以及对所述目标图像进行跳帧处理的第二处理模式,对各个目标对象的目标图像进行处理的处理模式根据与所述目标对象相关的当前检测事件而确定。
根据本公开实施例的第六方面,提供一种目标对象感知装置,所述装置包括:第一获取模块,用于获取感知区域内包括目标对象的目标图像;第一确定模块,用于确定对所述目标对象的身份标识信息进行识别的识别准确率,根据所述识别准确率确定对所述目标图像进行处理的处理模式;其中,所述处理模式包括对所述目标图像进行逐帧处理的第一处理模式,以及对所述目标图像进行跳帧处理的第二处理模式;第一感知模块,用于基于所述处理模式对所述目标图像进行处理,以获取所述目标对象的感知结果。
根据本公开实施例的第七方面,提供一种目标对象感知装置,所述装置包括:第二获取模块,用于获取感知区域内包括目标对象的目标图像;第二确定模块,用于根据当前检测事件确定对所述目标图像进行处理的处理模式;其中,所述处理模式包括对所述目标图像进行逐帧处理的第一处理模式,以及对所述目标图像进行跳帧处理的第二处理模式;第二感知模块,用于基于所述处理模式对所述目标图像进行处理,以获取所述目标对象的感知结果。
根据本公开实施例的第八方面,提供一种目标对象感知装置,所述装置包括:第三确定模块,用于确定当前检测事件;第四确定模块,用于根据所述当前检测事件确定对感知区域的目标对象进行拍摄的拍摄模式;其中,所述拍摄模式包括以第一帧率对所述目标对象进行拍摄的第一拍摄模式,以及以第二帧率对所述目标对象进行拍摄的第二拍摄模式,所述第一帧率大于所述第二帧率。
根据本公开实施例的第九方面,提供一种目标对象感知装置,所述装置包括:第三获取模块,用于获取感知区域内包括目标对象的多帧目标图像;第五确定模块,用于根据当前检测事件确定将所述多帧目标图像发送至处理单元进行处理的发送模式;其中,所述发送模式包括对所述多帧目标图像进行逐帧发送的第一发送模式,以及对所述多帧目标图像进行跳帧发送的第二发送模式。
根据本公开实施例的第十方面,提供一种目标对象感知装置,所述装置包括:第四获取模块,用于分别获取感知区域内多个目标对象的目标图像;第三感知模块,用于采用不同的处理模式对各个目标对象的目标图像进行处理,以分别获取各个目标对象的感知结果;其中,所述处理模式包括对所述目标图像进行逐帧处理的第一处理模式,以及对所述目标图像进行跳帧处理的第二处理模式,对各个目标对象的目标图像进行处理的处理模式根据与所述目标对象相关的当前检测事件而确定。
根据本公开实施例的第十一方面,提供一种感知基站,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,所述处理器执行所述程序时实现任一实施例所述的方法。
根据本公开实施例的第十二方面,提供一种感知系统,所述感知系统包括任一实施例所述的感知基站。
在一些实施例中,所述感知系统还包括:图像采集装置;所述图像采集装置用于获取所述目标图像。
在一些实施例中,所述图像采集装置包括:第一图像采集装置和第二图像采集装置;所述第一图像采集装置用于在所述目标对象驶入所述感知区域时,获取包括所述目标对象的第一目标图像,所述第二图像采集装置用于在所述目标对象驶出所述感知区域时,获取包括所述目标对象的第二目标图像。
根据本公开实施例的第十三方面,提供一种计算机可读存储介质,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,所述处理器执行所述程序时实任一实施例所述的方法。
本公开实施例通过获取感知区域内包括目标对象的目标图像,确定对所述目标对象的身份标识信息进行识别的识别准确率,根据所述识别准确率确定对所述目标图像进行处理的处理模式,并基于所述处理模式对所述目标图像进行处理,以获取所述目标对象的感知结果,能够根据实际情况将对所述目标图像进行处理的处理模式切换为逐帧处理的第一处理模式或者跳帧处理的第二处理模式。相比于对采集到的目标图像进行逐帧处理的方式,减少了目标对象感知过程中的数据处理量,提高了感知实时性。
应当理解的是,以上的一般描述和后文的细节描述仅是示例性和解释性的,而非限制本公开。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分,这些附图示出了符合本公开的实施例,并与说明书一起用于说明本公开的技术方案。
图1是本公开实施例的两个不同的感知基站进行感知联动的示意图。
图2是本公开实施例的感知基站的功能示意图。
图3是本公开实施例的目标对象感知方法流程图。
图4是本公开实施例的不可跟踪区域的示意图。
图5是本公开实施例的不同时刻图像采集装置采集到的目标图像的示意图。
图6是本公开实施例的目标对象感知过程的程序流图。
图7是本公开实施例的地图的示意图。
图8是本公开另一实施例的目标对象感知方法流程图。
图9是本公开另一实施例的目标对象感知方法流程图。
图10是本公开另一实施例的目标对象感知方法流程图。
图11是本公开另一实施例的目标对象感知方法流程图。
图12是本公开实施例的图像采集、图像发送和图像处理的总体流程图。
图13是本公开实施例的目标对象感知装置的框图。
图14是本公开另一实施例的目标对象感知装置的框图。
图15是本公开另一实施例的目标对象感知装置的框图。
图16是本公开另一实施例的目标对象感知装置的框图。
图17是本公开另一实施例的目标对象感知装置的框图。
图18是本公开实施例的感知基站的示意图。
图19是本公开一实施例的目标对象感知系统的示意图。
具体实施方式
这里将详细地对示例性实施例进行说明,其示例表示在附图中。下面的描述涉及附图时,除非另有表示,不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本公开相一致的所有实施方式。相反,它们仅是与如所附权利要求书中所详述的、本公开的一些方面相一致的装置和方法的例子。
在本公开使用的术语是仅仅出于描述特定实施例的目的,而非旨在限制本公开。在本公开和所附权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式,除非上下文清楚地表示其他含义。还应当理解,本文中使用的术语“和/或”是指并包含一个或多个相关联的列出项目的任何或所有可能组合。另外,本文中术语“至少一种”表示多种中的任意一种或多种中的至少两种的任意组合。
应当理解,尽管在本公开可能采用术语第一、第二、第三等来描述各种信息,但这些信息不应限于这些术语。这些术语仅用来将同一类型的信息彼此区分开。例如,在不脱离本公开范围的情况下,第一信息也可以被称为第二信息,类似地,第二信息也可以被称为第一信息。取决于语境,如在此所使用的词语“如果”可以被解释成为“在……时”或“当……时”或“响应于确定”。
为了使本技术领域的人员更好的理解本公开实施例中的技术方案,并使本公开实施例的上述目的、特征和优点能够更加明显易懂,下面结合附图对本公开实施例中的技术方案作进一步详细的说明。
在智能交通中,目标对象(以车辆为例)实时跟踪和识别主要依赖感知链路上的一个或者多个感知基站来实现。在感知基站上安装有感知模块,感知模块包括以下功能:单个感知基站的车辆感知(包括车辆跟踪和车辆识别),以及感知基站之间的感知联动,感知联动即多个感知基站通过感知联动和车辆信息共享对车辆进行联合感知(包括联合车辆跟踪和联合车辆识别),如图1所示,是一些实施例的两个不同的感知基站进行感知联动的示意图。
一般而言,在一个通行服务点(例如,高速公路收费站)内部可能有多个感知基站,感知基站之间不存在感知盲区,且感知基站之间可以互相通信。通过在感知基站边界路面上埋设感应线圈或者安装毫米波雷达等手段,当车辆刚进入感知基站的感知区域时,即触发边界感知基站开始检测,之后,在整个通行服务点内,所有相关感知基站都可以对车辆在感知区域进行全程的持续识别和跟踪。因此,在整个感知区域,整个感知系统对车辆的位置会有精确的把握。其中,对车辆位置的确定可以通过人工智能计算机视觉算法完成,比如目标跟踪算法和目标识别算法,单个感知基站的功能示意图如图2所示。
进一步地,在智能交通无感支付应用场景下,为了支持车辆不停车,甚至满足不减速的高效通行,同时满足支付场景对延时的要求,往往需要单个感知基站对每辆车都进行逐帧运算,同时实现车辆实时识别和跟踪,即要求几乎所有感知相关的业务逻辑都必须逐帧处理,比如车辆车牌的及时识别和持续跟踪。
在智能交通服务支付场景中,针对车辆识别,要求车辆在整个感知链路中身份标识信息(ID)的有效性和唯一性能够得到保证,即每个车辆对应唯一的ID,除非车辆离开感知范围,才会动态删除这个ID。因此,车辆识别和跟踪算法充当两个作用:在单个感知基站感知区域内,确保已确定ID的车辆持续保持原来的身份;在相邻的感知基站重叠区域,通过感知联动,保证车辆ID不变且不丢失,通过感知联动在时空上进一步维持车辆身份的一致性,进一步提高系统检测的准确性。
因此,为了满足ID的唯一性,车辆识别算法一般通过多点冗余检测保证识别的准确率,即在一个摄像头的覆盖区域识别,在另外一个摄像头的覆盖区域也要重新判断。但是在实际使用中,无论是在一个摄像头的覆盖区域,还是在多个摄像头的覆盖区域,跟踪算法都存在一定的误差,导致潜在的目标丢失,而丢失目标或者跟踪的识别率(置信度)不高,可能导致支付失败。因此为了保证ID的稳定性,必须重新逐帧、多点冗余、多点联动进行车辆的检测和跟踪。
但是采用逐帧检测、多点冗余、多摄像头联动的检测方式,对系统计算要求高,容易导致系统实时能力不足。例如,每秒处理30帧图像,每帧图像需要的处理时间至少是几十毫秒,从而导致处理实时性不高;同时,系统功耗增大,带来散热问题。
针对上述问题,本公开实施例提出一种目标对象感知方案,通过单点检测、检测联动、信息共享为实时车辆跟踪和识别提供一套最优实时性的控制方法,在提高目标跟踪实时性和准确率同时,降低对计算机硬件配置的要求,进一步降低成本。如图3所示,是本公开实施例的目标对象感知方法,所述方法包括:
步骤302:获取感知区域内包括目标对象的目标图像;
步骤304:确定对所述目标对象的身份标识信息进行识别的识别准确率,根据所述识别准确率确定对所述目标图像进行处理的处理模式;其中,所述处理模式包括对所述目标图像进行逐帧处理的第一处理模式,以及对所述目标图像进行跳帧处理的第二处理模式;
步骤306:基于所述处理模式对所述目标图像进行处理,以获取所述目标对象的感知结果。
本公开实施例的方法可以由感知基站(以下称基站A)执行。所述目标对象可以是车辆、飞行器、行人等移动目标。感知区域内的目标对象的数量可以是随着时间动态变化的,在不同的时刻,同一感知区域内的目标对象的数量可以是0、1,或者大于1的值。每个目标可采用感知基站中的一个感知进程进行感知,多个目标对象可采用多个感知进程进行并行感知,以提高感知效率。
可通过图像采集装置获取包括目标对象的目标图像,图像采集装置可以是相机、摄像头等。所述图像采集装置可以对包括感知区域在内的图像采集区域的图像进行采集,得到视频流或者图像帧。在一些实施例中,可以在目标对象即将进入基站A的感知区域时,启用图像采集装置获取所述目标图像。在感知链路上包括多个感知基站的情况下,可以获取前置感知基站对目标对象的感知结果(例如,目标对象的位置以及移动速度),从而确定所述目标对象是否即将进入基站A的感知区域,其中,基站A的前置感知基站即为基站A的前一个感知基站。
图像采集装置采集到的感知区域的原始图像中可能包括目标对象,也可能不包括目标对象,因此,需要对图像采集装置采集到的原始图像进行筛选,以从所述原始图像中筛选出包括所述目标对象的目标图像。具体来说,可以通过深度学习算法对所述原始图像进行检测,以从所述原始图像中检测出包括所述目标对象的目标图像。
图像采集装置可以安装在感知基站上,每个感知基站上的图像采集装置的数量可以是一个或多个。在图像采集装置的数量为多个的情况下,各个图像采集装置可以用于采集不同的目标图像。例如,其中一个或一些第一图像采集装置(称为前向图像采集装置)可以在所述目标对象驶入所述感知区域时,获取包括所述目标对象的第一目标图像;又例如,另一个或一些第二图像采集装置(称为后向图像采集装置)可以在所述目标对象驶出所述感知区域时,获取包括所述目标对象的第二目标图像。进一步地,所述图像采集装置还可以包括第三图像采集装置(称为盲补图像采集装置),用于对前向图像采集装置和后向图像采集装置之间的视觉盲区进行图像采集。盲补图像采集装置可以根据场景决定是否需要安装。
在一些实施例中,可以根据实际情况确定是否启用所述第二图像采集装置。例如,在所述目标对象进入所述第一图像采集装置和所述第二图像采集装置之间的不可跟踪区域时,启用所述第二图像采集装置,以获取所述第二目标图像。其中,不可跟踪区域包括感知盲区和视觉盲区,感知盲区是指在图像采集装置的可见区域内,因为图像处理算法或者外界环境因素导致目标对象在特定时间、特定场景下不能被识别的区域,感知盲区可能是一个动态变化的区域。视觉盲区是指图像采集装置的视野不能覆盖的区域,以及虽然在图像采集装置视野覆盖范围内,但是存在物体遮挡,导致目标对象无法被图像采集装置捕获到的区域。如图4所示,是本公开一些实施例的不可跟踪区域的示意图,其中,白色区域为图像采集装置的视野覆盖区域,左边的白色区域为第一图像采集装置的视野覆盖区域,右边的白色区域为第二图像采集装置的视野覆盖区域,黑色区域为感知盲区,两个图像采集装置的视野覆盖区域之间(灰色区域)为视觉盲区。视觉盲区和感知盲区均为不可跟踪区域。
又例如,在所述第一图像采集装置未采集到包括所述目标对象的第一目标图像的情况下,可以禁用所述第二图像采集装置。如果第一图像采集装置未采集到包括任何目标对象的第一目标图像,表示感知区域内可能不存在目标对象。因此,可以禁用所述第二图像采集装置,以便降低系统功耗,并减少数据处理量。在所述第一图像采集装置重新采集到包括所述目标对象的第一目标图像时,再启用所述第二图像采集装置。
又例如,若所述第一图像采集装置在当前时刻未采集到包括所述目标对象的第一目标图像,且所述第一图像采集装置在当前时刻之间的一段时间内采集到包括所述目标对象的第一目标图像,启用所述第二图像采集装置,以获取所述第二目标图像。如图5所示,在t1时刻,所述第一图像采集装置采集到包括目标对象A的第一目标图像,经过△t时间,目标对象A离开了第一图像采集装置的视觉范围,且此时不存在其他目标对象进入第一图像采集装置的视觉范围。虽然在t1+△t时刻第一图像采集装置并未检测到目标对象的存在,但是,由于在t1时刻第一图像采集装置检测到目标对象的存在,因此,感知区域内实际上是存在目标对象的。因此,在这种情况下需要启用第二图像采集装置对目标对象进行联合感知。联合感知是指通过多个图像采集装置的感知结果进行对比,根据感知结果的差异,再利用目标对象的速度、物理位置等信息确定目标对象的感知结果的方式。通过联合感知,可以减少目标对象丢失的情况。
此外,在存在感知空白的情况下,也可能出现在当前时刻未采集到包括所述目标对象的第一目标图像,而在当前时刻之间的一段时间内采集到包括所述目标对象的第一目标图像的情况。所谓感知空白,是指感知结果不稳定,使得感知到的目标对象的数量时多时少。在这种情况下,感知结果不唯一,容易造成感知目标丢失。在存在感知空白的情况下,也可以启用第二图像采集装置来进行联合感知,以提高感知结果的稳定性。
每个目标对象在感知区域内可对应一个身份标识信息(ID),用于对该目标对象进行唯一标识。目标对象的身份标识信息可以在目标对象进入感知区域时分配给所述目标对象,每个目标对象一般具有唯一的身份标识信息,且所述目标对象离开感知区域之前,所述身份标识信息一般不改变。在目标对象离开感知区域之后,可以删除该目标对象的身份标识信息,删除的身份标识信息可以重新分配给其他目标对象。特别地,如果一条感知链路上存在多个感知基站,目标对象的身份标识信息可以由目标对象进入的第一个感知区域(称为边界感知区域)对应的感知基站(称为边界感知基站)分配给所述目标对象。
然而,在实际情况下,由于目标对象被遮挡等原因,目标对象进入边界感知区域时,边界感知基站可能未能及时为目标对象分配身份标识信息。因此,可以在目标对象进入其他感知基站的感知区域时,由其他感知基站重新为目标对象分配身份标识信息,这一过程称为Re-ID。另外,在两个图像采集装置对目标对象进行联合感知的情况下,会对两个图像采集装置采集的目标图像中目标对象的感知结果进行共享。在目标对象跨越两个图像采集装置的视角区域时,两个图像采集装置对应的感知结果应当是很接近的,例如,目标对象A离开了第一图像采集装置的视觉区域,则理论上目标对象A应该出现在第二图像采集装置的视觉区域。然而,当目标对象A处于两个图像采集装置之间的视觉盲区时,可能导致两个图像采集装置对应的感知结果不匹配(这种情况称为多图像采集装置的联合感知执行度不高)。在这种情况下,也需要对目标对象进行Re-ID。
在进行Re-ID时,可以根据目标对象的特征信息查找历史分配给所述目标对象的身份标识信息。若查找到,将查找到的身份标识信息分配给所述目标对象,以保持目标对象在整个感知链路中身份标识信息的唯一性;若未查找到,重新为所述目标对象分配身份标识信息。
在获取到所述目标图像之后,可以对所述目标图像中的目标对象进行特征识别,得到所述目标对象的特征信息,然后基于所述特征信息为所述目标对象分配身份标识信息。所述特征信息可以是以下至少任一:所述目标对象的型号、颜色、尺寸、目标对象上的字符信息等。在一些实施例中,所述目标对象为车辆,相应地,所述特征信息可以是以下至少任一:车辆的型号、颜色、尺寸、车牌号等。由于拍摄目标图像的过程可能受到环境因素的影响,或者目标对象可能被障碍物或者其他目标对象所遮挡,因此,获取到的身份标识信息并不总是准确的。因此,需要采取一些措施,来提高对所述目标对象的身份标识信息进行识别的识别准确率。
在感知链路中包括多个感知基站的情况下,还可以获取感知链路中的第一感知基站的前一感知基站发送的所述目标对象的第一特征信息以及所述第一感知基站内的所述目标对象的第二特征信息;根据所述第一特征信息以及所述第二特征信息对所述目标对象的身份标识信息进行识别。通过多个感知基站之间的联动,可以提高身份标识信息的识别准确率。第一感知基站(基站A)的前一感知基站(基站B)可以向基站A发送目标对象的第一特征信息,所述第一特征信息中携带所述目标对象的身份标识信息。发送的方式可以是广播方式,也可以是其他方式。
通过多个感知基站进行信息共享实现多个感知基站对目标对象的联合感知,使得目标对象在移动过程中无感知盲点,提高了感知准确性。联合感知过程中可以共享的信息包括但不局限于:目标对象上的字符信息、目标对象的颜色、目标对象的移动速度、目标对象的位置(包括所处的车道位置以及GPS位置)等。进一步地,还可能包括感知过程中所采用的各种算法的过程数据。
以广播方式为例,基站A可以周期性或者根据无线广播帧地址读取临近的感知基站目标列表,识别发给自身地址的广播帧信号,根据广播帧信号,判断在基站A的感知区域内是否存在目标对象。如果存在,基站A可以读取基站B感知到的所述目标对象的特征信息包,并将其与自身感知到的所述目标对象的特征信息包进行对比以识别所述目标对象的身份标识信息,从而提高身份标识信息的识别准确率。
当目标对象在目标图像中的像素数量小于预设的数量阈值(例如,25×25)时,识别准确率小于预设的识别准确率阈值。当目标对象在目标图像中的像素数量不小于所述数量阈值时,识别准确率不小于所述识别准确率阈值。
若所述识别准确率低于预设的识别准确率阈值,可以确定对所述目标图像进行处理的处理模式为所述第一处理模式。通过提高对目标图像的处理帧率,从而可以提高对所述身份标识信息的识别准确率,因此,可以将所述处理模式切换为第一处理模式,并基于所述第一处理模式对所述目标图像中的目标对象进行特征识别,以获取所述目标对象的身份标识信息,直到所述身份标识信息的识别准确率达到所述识别准确率阈值。若所述识别准确率不低于所述识别准确率阈值,说明车辆已经进入感知稳定可靠的监控区域,此时为了降低系统的计算力资源占用,降低功耗,提高系统实时性,从而可以确定所述处理模式为所述第二处理模式。
若所述识别准确率低于预设的识别准确率阈值,可以将图像采集装置的工作模式配置为第一工作模式(称为free run模式)。在第一工作模式下,图像采集装置的图像采集频率可设为第一频率(例如,30fps或者60fps),在所述第一工作模式下,感知基站会增加对目标图像的检测频率从而提高身份标识信息的识别率,这种方式成为冗余检测。当判断出可以成功识别目标对象的身份标识信息时,可以将图像采集装置的工作模式配置为第二工作模式(称为trigger模式)。此时,图像采集装置可以在感知基站的触发信号下工作,图像采集装置的图像采集频率可以是低于所述第一频率的第二频率(例如,10fps)。
所述第二处理模式中对所述目标图像进行跳帧处理的跳帧步距(即,进行处理的相邻两帧目标图像之间间隔的帧数)可根据实际情况调整,例如,根据识别准确率调整。识别准确率大于第一识别准确率阈值时,跳帧步距调整为第一步距;识别准确率大于第二识别准确率阈值时,跳帧步距调整为第二步距。其中,第一识别准确率阈值大于第二识别准确率阈值,且第一步距大于第二步距。
在所述目标图像包括第一目标图像和第二目标图像的情况下,对第一目标图像进行处理的处理模式于对第二目标图像进行处理的处理模式可以不同。其中,所述第一目标图像由感知基站中的第一图像采集装置(前向图像采集装置)获取,所述第二目标图像由感知基站中的第二图像采集装置(后向图像采集装置)获取。可以基于对所述第一目标图像进行处理的处理模式,对所述第一目标图像进行处理,得到第一处理结果;基于对所述第二目标图像进行处理的处理模式,对所述第二目标图像进行处理,得到第二处理结果;然后根据所述第一处理结果和第二处理结果获取所述目标对象的感知结果。所述感知结果中可以包括目标对象的位置和速度,还可以包括目标对象的特征信息和身份标识信息。
例如,若启动所述第二图像采集装置的时间小于预设的时间阈值,可以确定对所述第二目标图像进行处理的处理模式为所述第一处理模式。在第二图像采集装置启用之初,通过将处理模式切换为对目标对象进行处理的处理帧率较高的第一处理模式,便于获取较为稳定的感知结果,有利于在目标对象进入第一图像采集装置与第二图像采集装置之间的不可跟踪区域时,快速恢复对目标对象的跟踪。
又例如,在确定对第二目标图像进行处理的处理模式为所述第一处理模式之后,若所述第一处理结果与所述第二处理结果相匹配,将对所述第二目标图像进行处理的处理模式从所述第一处理模式切换为所述第二处理模式。
在一些实施例中,每个图像采集装置可对应一个目标对象列表,用于记录当前处于本图像采集装置视觉范围内的各个目标对象。目标对象列表中可以包括本图像采集装置视觉范围内的目标对象数量、各个目标对象的身份标识信息、特征信息和位置信息等。当存在新的目标对象进入本图像采集装置视觉范围内时,以及在原有的目标对象离开本图像采集装置视觉范围内时,所述目标对象列表都会刷新。在目标对象进入所述第一图像采集装置和所述第二图像采集装置之间的不可跟踪区域时,从第一图像采集装置的目标对象列表中删除该目标对象。如果在第二图像采集装置的目标对象列表中能够查找到被删除的目标对象,则表示所述第一处理结果与所述第二处理结果相匹配。可选地,在所述第二目标图像中可以优先对从第一图像采集装置的目标对象列表中删除的目标对象进行感知。
如果确定所述处理模式为第一处理模式,则对所述目标图像进行逐帧处理;如果确定所述处理模式为第二处理模式,则对所述目标图像进行跳帧处理。在一些实施例中,在与所述目标对象之间的距离小于预设的距离阈值时,基于所述处理模式对所述目标图像进行处理。例如,目标对象刚进入感知基站的感知区域时,感知基站中的感知模块(例如,图像采集装置)与目标对象之间的距离可能较远,此时即便对目标对象采集到的目标图像进行处理,处理效果可能也会较差,无法得到较高的识别准确率。因此,可以在目标对象行驶到距离感知模块较近的位置时,才对目标图像进行处理。这样,可以降低系统的计算力资源占用。
进一步地,对所述目标图像进行处理的方式包括以下至少任一:对所述目标图像中的目标对象进行跟踪以及对所述目标图像中的目标对象进行识别。其中,在满足第一条件的情况下,对所述目标图像进行处理同时包括对所述目标图像中的目标对象进行跟踪以及对所述目标图像中的目标对象进行识别,所述第一条件包括以下至少任一:所述识别准确率低于预设的识别准确率阈值;以及对所述目标对象跟踪失败,或者所述身份标识信息的置信度低于预设的置信度阈值。在满足第一条件的情况下,通过同时对目标对象进行跟踪以及进行识别,能够在目标对象跟踪失败时快速地重新建立对目标对象的跟踪,并建立较为稳定的跟踪结果。
当识别准确率不低于所述识别准确率阈值,且对所述目标对象跟踪成功,并且获取到的目标对象的身份标识信息的置信度不低于所述置信度阈值时,可以仅对所述目标图像中的目标对象进行跟踪,而不对所述目标图像中的目标对象进行识别,以此来降低处理复杂度。
若所述目标图像包括第一目标图像和第二目标图像,对所述第一目标图像进行处理的方式可包括以下至少任一:对所述第一目标图像中的目标对象进行跟踪以及对所述第一目标图像中的目标对象进行识别。对所述第二目标图像进行处理的方式可包括以下至少任一:对所述第二目标图像中的目标对象进行跟踪以及对所述第二目标图像中的目标对象进行识别。
其中,对所述第一目标图像中的目标对象进行跟踪或者识别,可以是对所述第一目标图像中的第一感兴趣区域中的目标对象进行识别。同理,对所述第二目标图像中的目标对象进行跟踪或者识别,可以是对所述第二目标图像中的第二感兴趣区域中的目标对象进行识别。其中,感兴趣区域可以是感知区域中的子区域,每个感知区域中的感兴趣区域可以预先确定。感兴趣区域一般是感知区域内的子区域。例如,感知区域可能包括目标对象行驶区域(例如,车道)以及目标对象行驶区域以外的区域,而感兴趣区域只包括目标对象行驶区域。在目标对象的行驶区域为弯道的情况下,感知区域可能覆盖很多弯道以外的区域,但是只有弯道内是需要重点关注的,因此,可以将感兴趣区域限制在弯道内。
可以根据实际情况确定对所述目标图像进行处理的方式是采用对所述目标图像中的目标对象进行跟踪还是进行识别。例如,在不满足第一条件的情况下,对所述第一目标图像进行处理包括对所述第一感兴趣区域中的目标对象进行跟踪;所述第一条件为:对所述目标对象之前的若干个在前目标对象的身份标识信息进行识别的识别准确率大于预设的识别准确率阈值。又例如,在不满足第二条件的情况下,对所述第二目标图像进行处理包括对所述第二感兴趣区域中的目标对象进行跟踪;所述第二条件为:对所述目标对象的身份标识信息进行识别的识别准确率大于预设的识别准确率阈值。
在包括第一图像采集装置和第二图像采集装置的情况下,可以对第一图像采集装置获取的第一目标对象以及第二图像采集装置获取的第二目标图像进行联合优化处理,在满足一定条件的情况下仅对第一目标图像和/或第二目标图像中的目标对象进行跟踪处理而不进行识别处理,从而减少复杂度。
进一步地,在实际应用场景中,当感知链路上的感知基站的数量为多个时,在目标对象从前一个感知基站的感知区域移动到后一个感知基站的感知区域时,可以将前一个感知基站的后向图像采集装置作为后一个感知基站的前向图像采集装置,以此来进行两个感知基站对目标对象的联合处理。
一些实施例的目标对象感知过程的整体流程如图6所示。首先,可以读取上一个感知基站发送的目标对象列表,根据目标对象列表判断本感知基站的感知区域内是否存在需要进行感知的目标对象。若是,则启用前向图像采集装置(即图中的前摄像头)来对采集目标对象的第一目标图像,根据所述第一目标图像判断所述目标对象的身份标识信息(ID)的识别率是否大于预设的识别率阈值。若大于,对前向图像采集装置采集的第一目标图像中的目标对象进行跳帧跟踪和跳帧识别,若不大于,则继续根据所述第一目标图像确定所述目标对象的身份标识信息的识别率,直到识别率大于所述识别率阈值。根据跳帧跟踪和跳帧识别的结果,判断目标对象是否进入不可跟踪区域。
若是,通知后向图像采集装置(即图中的后摄像头)来对采集目标对象的第二目标图像。对后向图像采集装置采集的第二目标图像中的目标对象进行跟踪和识别,根据跟踪和识别结果判断第二目标图像中的目标对象的身份标识信息与第一目标图像中的目标对象的身份标识信息是否一致。若是,对第二目标图像中的目标对象进行跳帧跟踪。若目标对象离开第二图像采集装置的可跟踪区域,刷新目标对象列表,并将目标对象列表发送至下一个感知基站。可选地,所述识别可以是对目标对象的车牌号进行识别,也可以是对目标对象的其他特征信息进行识别。
在基于所述处理模式对所述目标图像进行处理,以获取所述目标对象的感知结果之后,还可以根据所述感知结果绘制所述感知区域的地图。感知基站中的感知模块可以利用本身的绝对地理坐标,在感知基站的感知范围内提供实时地图绘制。绘制出的地图中可以包括以下至少任一信息:所述感知区域内的车道数量,所述目标对象所在车道的信息,各个车道上的目标对象的特征信息,各个车道的拥堵信息,以及各个车道上的障碍物分布信息。其中,目标对象的特征信息可以是目标对象的颜色、车型、速度、所在车道等信息。车道的拥堵信息可以包括用于指示车道是否拥堵的指示信息。车道上的障碍物可以包括积水、积雪等。如图7所示,是一些实施例的地图的示意图。绘制的地图可以由感知基站发送给感知区域内的各个目标对象,从而为目标对象进行自动行驶提供帮助。
对目标对象的感知结果可以用于目标对象进行实时无感支付。一个实际应用场景如下:在高速公路上存在链状排布的多个感知基站,感知基站沿道路设置,可以只在通行服务点(例如,高速公路收费站)前方一段距离内设置,链状排布的感知基站构成感知链路,每个感知基站覆盖一定的感知区域,各个感知区域有重叠,一辆或者多辆车辆(即,目标对象)沿着路段行进在感知区域内,直到到达最后一个感知区域(即,收费站处的感知基站所覆盖的区域)。在车辆行驶过程中,通过车辆所在的感知基站中的感知模块(包括图像采集装置)依次对车辆进行感知和跟踪,以使车辆到达最后一个感知区域时,能够实时识别出车辆的身份标识信息并从与车辆的身份标识信息绑定的账户中支付高速公路通行费。通过上述方式,可以实现车辆在高速公路收费站通行时的无感支付。本领域技术人员可以理解,上述应用场景实施例仅作为示例性说明,并非用于对本公开的限制。
如图8所示,是本公开另一实施例的目标对象感知方法,所述方法包括:
步骤802:获取感知区域内包括目标对象的目标图像;
步骤804:根据当前检测事件确定对所述目标图像进行处理的处理模式;其中,所述处理模式包括对所述目标图像进行逐帧处理的第一处理模式,以及对所述目标图像进行跳帧处理的第二处理模式;
步骤806:基于所述处理模式对所述目标图像进行处理,以获取所述目标对象的感知结果。
本公开实施例可以根据当前检测事件确定对所述目标图像进行处理的处理模式,不同的当前检测事件对应的处理模式可能不同。通过这种方式,能够针对不同的当前检测事件采用不同的帧率对目标图像进行处理,以满足不同检测事件的检测需求。
在一些实施例中,所述当前检测事件包括对所述目标对象的对象信息进行检测。由于不同的目标对象可能适用于不同的处理模式,通过对所述目标对象的对象信息进行检测,能够根据不同的对象信息对不同的目标对象采用不同的处理模式。当所述目标对象的对象信息指示所述目标对象适用于所述第一处理模式时,将处理模式切换为所述第一处理模式;当所述目标对象的对象信息指示所述目标对象适用于所述第二处理模式时,将处理模式切换为所述第二处理模式。以所述对象信息为目标对象的移动速度为例,当所述目标对象的移动速度大于预设的速度阈值时,确定所述处理模式为所述第一处理模式,第一处理模式的处理帧率较高,从而可以对所述目标对象进行较为精确稳定的感知。当所述目标对象的移动速度小于或等于所述速度阈值时,确定所述处理模式为所述第二处理模式,第二处理模式的处理帧率较低,从而可以节省处理资源,降低功耗。
以所述对象信息为目标对象的类型为例,当所述目标对象的类型为预设类型时,可以将处理模式切换为所述第一处理模式;当所述目标对象的类型为预设类型以外的类型时,可以将处理模式切换为所述第二处理模式。例如,当目标对象为车辆时,在对车辆进行违章检测的应用场景下,由于货车在违章车辆中的占比较高,因此,所述预设类型可以是货车,对货车采用所述第一处理模式,对货车以外的车辆采用第二处理模式。又例如,在公安部门对不法分子的车辆进行跟踪检测时,已知不法分子驾驶的车辆是蓝色七座SUV,则可将所述“蓝色七座SUV”类型设为所述预设类型,对“蓝色七座SUV”类型的车辆采用所述第一处理模式,对其他类型的车辆采用第二处理模式。
在另一些实施例中,所述当前检测事件包括对特定事件进行检测。当检测到特定事件时,可以采用所述第一处理模式,从而提高对特定事件的检测准确率。当未检测到所述特定事件时,可采用所述第二处理模式,从而降低功耗,节省处理资源。以所述特定事件是违章事件为例,当检测到违章事件发生时,可以采用所述第一处理模式;当未检测到违章事件发生时,可以采用所述第二处理模式。其中,所述违章事件可以是闯红灯、超速、司机未系安全带等。以所述特定事件是接收到处理模式切换指令为例,当接收到将处理模式切换为所述第一处理模式的处理模式切换指令时,可以将所述处理模式切换为所述第一处理模式;否则,确定所述处理模式为第二处理模式。其中,所述处理模式切换指令可由用户发送,所述用户可以是感知基站的运维人员。用户可以根据实际情况向感知基站发送处理模式切换指令,以适时地将处理模式切换为所述第一处理模式,通过这种方式,可以在某些突发情况下提高处理帧率。
在其他实施例中,所述当前检测事件还可以包括当前检测时间和当前检测地点。在所述当前检测事件包括当前检测时间的情况下,若当前检测时间在第一时间段内,可确定所述处理模式为第一处理模式,否则,确定所述处理模式为第二处理模式。其中,所述第一时间段可以预先设定,例如,可将17:00至次日6:00设为第一时间段。由于上述时间段内光线较弱,可能影响目标图像的拍摄效果,因此,通过提高处理帧率,能够提高感知效果。所述第一时间段还可以根据实际情况动态设置,以满足不同实际情况下的感知需求。在所述当前检测事件包括当前检测地点的情况下,若当前检测地点为预设地点,可确定所述处理模式为第一处理模式,否则,确定所述处理模式为第二处理模式。其中,所述预设地点可以是交通事故频发地或者拍摄视野较差的地点等。在上述地点提高处理帧率,能够提高感知效果。
本公开实施例的其他实施例与前述目标对象感知方法的实施例类似,此处不再赘述。
如图9所示,本公开实施例还提供一种目标对象感知方法,所述方法包括:
步骤902:确定当前检测事件;
步骤904:根据所述当前检测事件确定对感知区域的目标对象进行拍摄的拍摄模式;其中,所述拍摄模式包括以第一帧率对所述目标对象进行拍摄的第一拍摄模式,以及以第二帧率对所述目标对象进行拍摄的第二拍摄模式,所述第一帧率大于所述第二帧率。
本公开实施例通过对图像采集装置拍摄目标对象的目标图像的拍摄模式进行控制,在特定情况下,控制图像采集装置的拍摄模式为拍摄帧率较高的第一拍摄模式,在其他情况下,控制图像采集装置的拍摄模式为拍摄帧率较低的第二拍摄模式。拍摄得到的目标图像可用于获取所述目标对象的感知结果。在特定情况下,通过采用第一拍摄模式从而实现对目标对象的冗余检测,以便后续能够获取较为准确的感知结果。在非特定情况下,通过采用第二拍摄模式从而降低系统功耗,减少数据处理量。
在一些实施例中,所述当前检测事件可包括对所述目标对象的对象信息进行检测。其中,所述对象信息包括以下至少任一:所述目标对象的移动速度和类型。在所述对象信息包括所述目标对象的移动速度的情况下,若移动速度大于预设的速度阈值,确定拍摄模式为所述第一拍摄模式;若移动速度不大于所述速度阈值,确定拍摄模式为所述第二拍摄模式。在所述对象信息包括所述目标对象的类型的情况下,若所述类型为预设类型,确定拍摄模式为所述第一拍摄模式;若所述类型不为预设类型,确定拍摄模式为所述第二拍摄模式。
在一些实施例中,所述当前检测事件可包括对特定事件进行检测。所述特定事件包括违章事件和/或接收到拍摄模式切换指令。在检测到违章事件和/或接收到将拍摄模式切换为所述第一拍摄模式的拍摄模式切换指令的情况下,确定拍摄模式为所述第一拍摄模式;否则,确定拍摄模式为所述第二拍摄模式。
本公开实施例的其他实施例与前述目标对象感知方法的实施例类似,此处不再赘述。
如图10所示,本公开实施例还提供一种目标对象感知方法,所述方法包括:
步骤1002:获取感知区域内包括目标对象的多帧目标图像;
步骤1004:根据当前检测事件确定将所述多帧目标图像发送至处理单元进行处理的发送模式;其中,所述发送模式包括对所述多帧目标图像进行逐帧发送的第一发送模式,以及对所述多帧目标图像进行跳帧发送的第二发送模式。
在本公开实施例中,可通过图像采集装置采集包括目标对象的多帧目标图像,然后选择性地将全部目标图像或者部分目标图像发送至感知基站的处理单元进行处理,以获取目标对象的感知结果。在特定情况下,控制图像采集装置的发送模式为发送帧率较高的第一发送模式,在其他情况下,控制图像采集装置的发送模式为发送帧率较低的第二发送模式。发送的目标图像可用于处理单元获取所述目标对象的感知结果。在特定情况下,通过采用第一发送模式从而实现对目标对象的冗余检测,以便后续能够获取较为准确的感知结果。在非特定情况下,通过采用第二发送模式从而降低系统功耗,减少数据处理量。
在一些实施例中,所述当前检测事件可包括对所述目标对象的对象信息进行检测。其中,所述对象信息包括以下至少任一:所述目标对象的移动速度和类型。在所述对象信息包括所述目标对象的移动速度的情况下,若移动速度大于预设的速度阈值,确定发送模式为所述第一发送模式;若移动速度不大于所述速度阈值,确定发送模式为所述第二发送模式。在所述对象信息包括所述目标对象的类型的情况下,若所述类型为预设类型,确定发送模式为所述第一发送模式;若所述类型不为预设类型,确定发送模式为所述第二发送模式。
在一些实施例中,所述当前检测事件可包括对特定事件进行检测。所述特定事件包括违章事件和/或接收到发送模式切换指令。在检测到违章事件和/或接收到将发送模式切换为所述第一发送模式的发送模式切换指令的情况下,确定发送模式为所述第一发送模式;否则,确定发送模式为所述第二发送模式。
在所述第二发送模式下,跳帧发送的跳帧步距可以动态调整。例如,可将跳帧步距调整为1,即,每隔1帧发送一次目标图像(例如,将目标图像中的第1帧、第3帧、第5帧等图像帧发送至处理单元)。又例如,可将跳帧步距调整为3,即,每隔3帧发送一次目标图像(例如,将目标图像中的第1帧、第5帧、第9帧等图像帧发送至处理单元)。跳帧步距也可以是其他数值,具体的取值可以根据当前检测事件而确定。例如,当前检测事件是检测目标对象的移动速度,可以当移动速度大于或等于第一速度阈值时,将跳帧步距调整为第一步距;当移动速度大于或等于第二速度阈值,且小于第一速度阈值时,将跳帧步距调整为第二步距,其中,第一步距小于第二步距,第一速度阈值大于第二速度阈值。跳帧步距的划分区间也可以大于两个区间,具体的划分方式根据实际情况而定。
本公开实施例的其他实施例与前述目标对象感知方法的实施例类似,此处不再赘述。
如图11所示,本公开实施例还提供一种目标对象感知方法,所述方法包括:
步骤1102:分别获取感知区域内多个目标对象的目标图像;
步骤1104:采用不同的处理模式对各个目标对象的目标图像进行处理,其中,所述处理模式包括对所述目标图像进行逐帧处理的第一处理模式,以及对所述目标图像进行跳帧处理的第二处理模式,对各个目标对象的目标图像进行处理的处理模式根据与所述目标对象相关的当前检测事件而确定。
在本公开实施例中,同一感知区域内在同一时间可能包括多个目标对象,因此,可以分别获取各个目标对象对应的目标图像。例如,可以获取包括目标对象1的N1帧目标图像,获取包括目标对象2的N2帧目标图像,以此类推。对于各个目标对象的目标图像,可采用不同的处理模式进行处理。例如,包括目标对象1的N1帧目标图像可采用第一处理模式进行处理,包括目标对象2的N2帧目标图像可采用第二处理模式进行处理。不同目标对象的目标图像对应的处理模式可能相同,也可能不同。通过对不同的目标对象区分不同的处理模式,一方面,对于需要采用第一处理模式的目标对象,保证了其目标图像的处理效果,从而提高了对这部分目标对象的感知准确率;另一方面,对于仅需要采用第二处理模式的目标对象,降低了对这部分目标对象的目标图像的处理资源消耗,减少了系统功耗。
在一些实施例中,所述当前检测事件可包括对所述目标对象的对象信息进行检测。其中,所述对象信息包括以下至少任一:所述目标对象的移动速度和类型。在所述对象信息包括所述目标对象的移动速度的情况下,若目标对象的移动速度大于预设的速度阈值,确定所述目标对象的目标图像的处理模式为所述第一处理模式;若目标对象的移动速度不大于所述速度阈值,确定所述目标对象的目标图像的处理模式为所述第二处理模式。在所述对象信息包括所述目标对象的类型的情况下,若所述目标对象的类型为预设类型,确定所述目标对象的目标图像的处理模式为所述第一处理模式;若所述目标对象的类型不为预设类型,确定所述目标对象的目标图像的处理模式为所述第二处理模式。
在一些实施例中,所述当前检测事件可包括对特定事件进行检测。所述特定事件包括违章事件和/或接收到处理模式切换指令。在检测到目标对象违章和/或接收到将目标对象的目标图像的处理模式切换为所述第一处理模式的处理模式切换指令的情况下,确定处理模式为所述第一处理模式;否则,确定处理模式为所述第二处理模式。
本公开实施例的其他实施例与前述目标对象感知方法的实施例类似,此处不再赘述。
如图12所示,是本公开实施例的图像采集、图像发送和图像处理的总体流程图。在本公开实施例中,首先确定图像采集装置的拍摄模式,如果所述拍摄模式确定为第一拍摄模式,则采用第一帧率对目标对象的目标图像进行采集;如果所述拍摄模式确定为第二拍摄模式,则采用第二帧率对目标对象的目标图像进行采集。采集到的目标图像由图像采集装置发送至处理单元。因此,需要确定发送模式。如果确定发送模式为第一发送模式,则将目标图像逐帧发送至处理单元;如果确定发送模式为第二发送模式,则将目标图像跳帧发送至处理单元。跳帧发送的跳帧步距可动态调整。处理单元在接收到目标图像之后,可以对目标图像进行处理。首先确定处理模式,如果确定处理模式为第一处理模式,则对接收到的目标图像进行逐帧处理;如果确定处理模式为第二处理模式,则对接收到的目标图像进行跳帧处理。跳帧处理的跳帧步距可动态调整。然后根据确定好的处理模式对目标图像进行处理,以得到目标对象的感知结果。其中,如果目标对象的数量为多个,对各个目标对象可分别执行以上流程。
本领域技术人员可以理解,在具体实施方式的上述方法中,各步骤的撰写顺序并不意味着严格的执行顺序而对实施过程构成任何限定,各步骤的具体执行顺序应当以其功能和可能的内在逻辑确定。
如图13所示,本公开还提供一种目标对象感知装置,所述装置包括:
第一获取模块1302,用于获取感知区域内包括目标对象的目标图像;
第一确定模块1304,用于确定对所述目标对象的身份标识信息进行识别的识别准确率,根据所述识别准确率确定对所述目标图像进行处理的处理模式;其中,所述处理模式包括对所述目标图像进行逐帧处理的第一处理模式,以及对所述目标图像进行跳帧处理的第二处理模式;
第一感知模块1306,用于基于所述处理模式对所述目标图像进行处理,以获取所述目标对象的感知结果。
如图14所示,本公开还提供一种目标对象感知装置,所述装置包括:
第二获取模块1402,用于获取感知区域内包括目标对象的目标图像;
第二确定模块1404,用于根据当前检测事件确定对所述目标图像进行处理的处理模式;其中,所述处理模式包括对所述目标图像进行逐帧处理的第一处理模式,以及对所述目标图像进行跳帧处理的第二处理模式;
第二感知模块1406,用于基于所述处理模式对所述目标图像进行处理,以获取所述目标对象的感知结果。
如图15所示,本公开还提供一种目标对象感知装置,所述装置包括:
第三确定模块1502,用于确定当前检测事件;
第四确定模块1504,用于根据所述当前检测事件确定对感知区域的目标对象进行拍摄的拍摄模式;其中,所述拍摄模式包括以第一帧率对所述目标对象进行拍摄的第一拍摄模式,以及以第二帧率对所述目标对象进行拍摄的第二拍摄模式,所述第一帧率大于所述第二帧率。
如图16所示,本公开还提供一种目标对象感知装置,所述装置包括:
第三获取模块1602,用于获取感知区域内包括目标对象的多帧目标图像;
第五确定模块1604,用于根据当前检测事件确定将所述多帧目标图像发送至处理单元进行处理的发送模式;其中,所述发送模式包括对所述多帧目标图像进行逐帧发送的第一发送模式,以及对所述多帧目标图像进行跳帧发送的第二发送模式。
如图17所示,本公开还提供一种目标对象感知装置,所述装置包括:
第四获取模块1702,用于分别获取感知区域内多个目标对象的目标图像;
第三感知模块1704,用于采用不同的处理模式对各个目标对象的目标图像进行处理,以分别获取各个目标对象的感知结果;
其中,所述处理模式包括对所述目标图像进行逐帧处理的第一处理模式,以及对所述目标图像进行跳帧处理的第二处理模式,对各个目标对象的目标图像进行处理的处理模式根据与所述目标对象相关的当前检测事件而确定。
在一些实施例中,本公开实施例提供的装置具有的功能或包含的模块可以用于执行上文方法实施例描述的方法,其具体实现可以参照上文方法实施例的描述,为了简洁,这里不再赘述。
以上所描述的装置实施例仅仅是示意性的,其中所述作为分离部件说明的模块可以是或者也可以不是物理上分开的,作为模块显示的部件可以是或者也可以不是物理模块,即可以位于一个地方,或者也可以分布到多个网络模块上。可以根据实际的需要选择其中的部分或者全部模块来实现本说明书方案的目的。本领域普通技术人员在不付出创造性劳动的情况下,即可以理解并实施。
本公开实施例还提供一种感知基站,其至少包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,其中,处理器执行所述程序时实现以上任一实施例所述的方法。
图18示出了本公开实施例所提供的一种更为具体的感知基站的硬件结构示意图,该设备可以包括:处理器1802、存储器1804、输入/输出接口1806、通信接口1808和总线1810。其中处理器1802、存储器1804、输入/输出接口1806和通信接口1808通过总线1810实现彼此之间在设备内部的通信连接。
处理器1802可以采用通用的CPU(Central Processing Unit,中央处理器)、微处理器、应用专用集成电路(Application Specific Integrated Circuit,ASIC)、或者一个或多个集成电路等方式实现,用于执行相关程序,以实现本公开实施例所提供的技术方案。
存储器1804可以采用ROM(Read Only Memory,只读存储器)、RAM(Random AccessMemory,随机存取存储器)、静态存储设备,动态存储设备等形式实现。存储器1804可以存储操作系统和其他应用程序,在通过软件或者固件来实现本公开实施例所提供的技术方案时,相关的程序代码保存在存储器1804中,并由处理器1802来调用执行。
输入/输出接口1806用于连接输入/输出模块,以实现信息输入及输出。输入输出/模块可以作为组件配置在设备中(图中未示出),也可以外接于设备以提供相应功能。其中输入设备可以包括键盘、鼠标、触摸屏、麦克风、各类传感器等,输出设备可以包括显示器、扬声器、振动器、指示灯等。
通信接口1808用于连接通信模块(图中未示出),以实现本设备与其他设备的通信交互。其中通信模块可以通过有线方式(例如USB、网线等)实现通信,也可以通过无线方式(例如移动网络、WIFI、蓝牙等)实现通信。
总线1810包括一通路,在设备的各个组件(例如处理器1802、存储器1804、输入/输出接口1806和通信接口1808)之间传输信息。
需要说明的是,尽管上述设备仅示出了处理器1802、存储器1804、输入/输出接口1806、通信接口1808以及总线1810,但是在具体实施过程中,该设备还可以包括实现正常运行所必需的其他组件。此外,本领域的技术人员可以理解的是,上述设备中也可以仅包含实现本公开实施例方案所必需的组件,而不必包含图中所示的全部组件。
如图19所示,本公开实施例还提供一种感知系统,所述感知系统包括以上任一实施例所述的感知基站1902。
在一些实施例中,所述感知系统还包括:图像采集装置1904;所述图像采集装置1904用于获取所述目标图像。所述图像采集装置1904可以安装在感知基站1902上。
在一些实施例中,所述图像采集装置1904包括:第一图像采集装置1904a和第二图像采集装置1904b;所述第一图像采集装置1904a用于在所述目标对象驶入所述感知区域时,获取包括所述目标对象的第一目标图像,所述第二图像采集装置1904b用于在所述目标对象驶出所述感知区域时,获取包括所述目标对象的第二目标图像。
本公开实施例还提供一种计算机存储介质,其上存储有计算机程序,该程序被处理器执行时实现任一实施例所述的方法。
计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括,但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带,磁带磁磁盘存储或其他磁性存储设备或任何其他非传输介质,可用于存储可以被计算设备访问的信息。按照本文中的界定,计算机可读介质不包括暂存电脑可读媒体(transitory media),如调制的数据信号和载波。
通过以上的实施方式的描述可知,本领域的技术人员可以清楚地了解到本公开实施例可借助软件加必需的通用硬件平台的方式来实现。基于这样的理解,本公开实施例的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来,该计算机软件产品可以存储在存储介质中,如ROM/RAM、磁碟、光盘等,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行本公开实施例各个实施例或者实施例的某些部分所述的方法。
上述实施例阐明的系统、装置、模块或单元,具体可以由计算机芯片或实体实现,或者由具有某种功能的产品来实现。一种典型的实现设备为计算机,计算机的具体形式可以是个人计算机、膝上型计算机、蜂窝电话、相机电话、智能电话、个人数字助理、媒体播放器、导航设备、电子邮件收发设备、游戏控制台、平板计算机、可穿戴设备或者这些设备中的任意几种设备的组合。
本说明书中的各个实施例均采用递进的方式描述,各个实施例之间相同相似的部分互相参见即可,每个实施例重点说明的都是与其他实施例的不同之处。尤其,对于装置实施例而言,由于其基本相似于方法实施例,所以描述得比较简单,相关之处参见方法实施例的部分说明即可。以上所描述的装置实施例仅仅是示意性的,其中所述作为分离部件说明的模块可以是或者也可以不是物理上分开的,在实施本公开实施例方案时可以把各模块的功能在同一个或多个软件和/或硬件中实现。也可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性劳动的情况下,即可以理解并实施。
以上所述仅是本公开实施例的具体实施方式,应当指出,对于本技术领域的普通技术人员来说,在不脱离本公开实施例原理的前提下,还可以做出若干改进和润饰,这些改进和润饰也应视为本公开实施例的保护范围。
Claims (40)
1.一种目标对象感知方法,所述方法包括:
获取感知区域内包括目标对象的目标图像;
确定对所述目标对象的身份标识信息进行识别的识别准确率,根据所述识别准确率确定对所述目标图像进行处理的处理模式;其中,所述处理模式包括对所述目标图像进行逐帧处理的第一处理模式,以及对所述目标图像进行跳帧处理的第二处理模式;
基于所述处理模式对所述目标图像进行处理,以获取所述目标对象的感知结果。
2.根据权利要求1所述的方法,所述根据所述识别准确率确定对所述目标图像进行处理的处理模式,包括:
若所述识别准确率低于预设的识别准确率阈值,确定所述处理模式为所述第一处理模式;和/或
若所述识别准确率不低于所述识别准确率阈值,确定所述处理模式为所述第二处理模式。
3.根据权利要求1所述的方法,所述方法由感知链路中的第一感知基站执行,所述感知链路中包括所述第一感知基站在内的多个感知基站;
所述方法还包括:
获取所述第一感知基站的前一感知基站发送的所述目标对象的第一特征信息以及所述第一感知基站内的所述目标对象的第二特征信息;
根据所述第一特征信息以及所述第二特征信息对所述目标对象的身份标识信息进行识别。
4.根据权利要求1所述的方法,所述方法还包括:
获取感知区域的原始图像;
从所述原始图像中筛选出包括所述目标对象的目标图像。
5.根据权利要求4所述的方法,所述从所述原始图像中筛选出包括所述目标对象的目标图像,包括:
通过深度学习算法对所述原始图像进行检测,以从所述原始图像中检测出包括所述目标对象的目标图像。
6.根据权利要求1所述的方法,所述基于所述处理模式对所述目标图像进行处理,包括:
在与所述目标对象之间的距离小于预设的距离阈值时,基于所述处理模式对所述目标图像进行处理。
7.根据权利要求1所述的方法,所述方法还包括:
在基于所述处理模式对所述目标图像进行处理,以获取所述目标对象的感知结果之后,根据所述感知结果绘制所述感知区域的地图。
8.根据权利要求7所述的方法,所述地图中包括以下至少任一:所述感知区域内的车道数量,所述目标对象所在车道的信息,各个车道上的目标对象的特征信息,各个车道的拥堵信息,以及各个车道上的障碍物分布信息。
9.根据权利要求1所述的方法,所述目标图像包括在所述目标对象驶入所述感知区域时获取到的第一目标图像,以及在所述目标对象驶出所述感知区域时获取到的第二目标图像;所述处理模式包括对所述第一目标图像进行处理的处理模式以及对所述第二目标图像进行处理的处理模式;
所述基于所述处理模式对所述目标图像进行处理,以获取所述目标对象的感知结果,包括:
基于对所述第一目标图像进行处理的处理模式,对所述第一目标图像进行处理,得到第一处理结果;
基于对所述第二目标图像进行处理的处理模式,对所述第二目标图像进行处理,得到第二处理结果;
根据所述第一处理结果和第二处理结果获取所述目标对象的感知结果。
10.根据权利要求9所述的方法,所述第一目标图像由第一图像采集装置获取,所述第二目标图像由第二图像采集装置获取。
11.根据权利要求10所述的方法,所述获取包括目标对象的目标图像,包括:
在所述目标对象进入所述第一图像采集装置和所述第二图像采集装置之间的不可跟踪区域时,启用所述第二图像采集装置,以获取所述第二目标图像。
12.根据权利要求10所述的方法,所述方法还包括:
若启动所述第二图像采集装置的时间小于预设的时间阈值,确定对所述第二目标图像进行处理的处理模式为所述第一处理模式。
13.根据权利要求12所述的方法,所述方法还包括:
在确定对所述第二目标图像进行处理的处理模式为所述第一处理模式之后,若所述第一处理结果与所述第二处理结果相匹配,将对所述第二目标图像进行处理的处理模式从所述第一处理模式切换为所述第二处理模式。
14.根据权利要求10所述的方法,在所述第一图像采集装置未采集到包括所述目标对象的第一目标图像的情况下,禁用所述第二图像采集装置。
15.根据权利要求10所述的方法,所述方法还包括:
若所述第一图像采集装置在当前时刻未采集到包括所述目标对象的第一目标图像,且所述第一图像采集装置在当前时刻之间的一段时间内采集到包括所述目标对象的第一目标图像,启用所述第二图像采集装置,以获取所述第二目标图像。
16.根据权利要求10所述的方法,所述对所述第一目标图像进行处理,包括:
对所述第一目标图像中的第一感兴趣区域中的目标对象进行识别;和/或
对所述第一目标图像中的第一感兴趣区域中的目标对象进行跟踪;
和/或
所述对所述第二目标图像进行处理,包括:
对所述第二目标图像中的第二感兴趣区域中的目标对象进行识别;和/或
对所述第二目标图像中的第二感兴趣区域中的目标对象进行跟踪。
17.根据权利要求16所述的方法,在不满足第一条件的情况下,所述对所述第一目标图像进行处理,包括对所述第一感兴趣区域中的目标对象进行跟踪;所述第一条件为:对所述目标对象之前的若干个在前目标对象的身份标识信息进行识别的识别准确率大于预设的识别准确率阈值;
和/或
在不满足第二条件的情况下,所述对所述第二目标图像进行处理,包括对所述第二感兴趣区域中的目标对象进行跟踪;所述第二条件为:对所述目标对象的身份标识信息进行识别的识别准确率大于预设的识别准确率阈值。
18.根据权利要求1所述的方法,所述目标对象在进入感知区域时被加入目标对象列表;
所述方法还包括:
响应于所述目标对象离开可跟踪区域,对所述目标对象列表进行刷新。
19.根据权利要求1所述的方法,在满足第一条件的情况下,对所述目标图像进行处理包括对所述目标图像中的目标对象进行跟踪以及对所述目标图像中的目标对象进行识别;所述第一条件包括以下至少任一:
所述识别准确率低于预设的识别准确率阈值;以及
对所述目标对象跟踪失败,或者所述身份标识信息的置信度低于预设的置信度阈值。
20.根据权利要求1所述的方法,所述方法还包括:
若未检测到目标对象的身份标识信息,为所述目标对象重新分配身份标识信息。
21.一种目标对象感知方法,所述方法包括:
获取感知区域内包括目标对象的目标图像;
根据当前检测事件确定对所述目标图像进行处理的处理模式;其中,所述处理模式包括对所述目标图像进行逐帧处理的第一处理模式,以及对所述目标图像进行跳帧处理的第二处理模式;
基于所述处理模式对所述目标图像进行处理,以获取所述目标对象的感知结果。
22.根据权利要求21所述的方法,所述当前检测事件包括以下至少任一:对所述目标对象的对象信息进行检测、对特定事件进行检测。
23.根据权利要求22所述的方法,所述对象信息包括以下至少任一:所述目标对象的移动速度和类型。
24.根据权利要求23所述的方法,所述根据当前检测事件确定对所述目标图像进行处理的处理模式,包括:
若所述对象信息满足第三条件,确定所述处理模式为所述第一处理模式;和/或若所述对象信息不满足所述第三条件,确定所述处理模式为所述第二处理模式;
其中,所述第三条件包括:所述目标对象的移动速度大于预设的速度阈值,和/或所述目标对象的类型为预设类型。
25.根据权利要求22所述的方法,所述特定事件包括违章事件和/或接收到处理模式切换指令。
26.根据权利要求25所述的方法,所述根据当前检测事件确定对所述目标图像进行处理的处理模式,包括:
若满足第四条件,确定所述处理模式为所述第一处理模式;和/或若不满足第四条件,确定所述处理模式为所述第二处理模式;
其中,所述第四条件包括:检测到所述违章事件,和/或接收到将处理模式切换为所述第一处理模式的处理模式切换指令。
27.一种目标对象感知方法,所述方法包括:
确定当前检测事件;
根据所述当前检测事件确定对感知区域的目标对象进行拍摄的拍摄模式;其中,所述拍摄模式包括以第一帧率对所述目标对象进行拍摄的第一拍摄模式,以及以第二帧率对所述目标对象进行拍摄的第二拍摄模式,所述第一帧率大于所述第二帧率。
28.一种目标对象感知方法,所述方法包括:
获取感知区域内包括目标对象的多帧目标图像;
根据当前检测事件确定将所述多帧目标图像发送至处理单元进行处理的发送模式;其中,所述发送模式包括对所述多帧目标图像进行逐帧发送的第一发送模式,以及对所述多帧目标图像进行跳帧发送的第二发送模式。
29.根据权利要求28所述的方法,对所述多帧目标图像进行跳帧发送的跳帧步距可调整。
30.一种目标对象感知方法,所述方法包括:
分别获取感知区域内多个目标对象的目标图像;
采用不同的处理模式对各个目标对象的目标图像进行处理,其中,所述处理模式包括对所述目标图像进行逐帧处理的第一处理模式,以及对所述目标图像进行跳帧处理的第二处理模式,对各个目标对象的目标图像进行处理的处理模式根据与所述目标对象相关的当前检测事件而确定。
31.一种目标对象感知装置,所述装置包括:
第一获取模块,用于获取感知区域内包括目标对象的目标图像;
第一确定模块,用于确定对所述目标对象的身份标识信息进行识别的识别准确率,根据所述识别准确率确定对所述目标图像进行处理的处理模式;其中,所述处理模式包括对所述目标图像进行逐帧处理的第一处理模式,以及对所述目标图像进行跳帧处理的第二处理模式;
第一感知模块,用于基于所述处理模式对所述目标图像进行处理,以获取所述目标对象的感知结果。
32.一种目标对象感知装置,所述装置包括:
第二获取模块,用于获取感知区域内包括目标对象的目标图像;
第二确定模块,用于根据当前检测事件确定对所述目标图像进行处理的处理模式;其中,所述处理模式包括对所述目标图像进行逐帧处理的第一处理模式,以及对所述目标图像进行跳帧处理的第二处理模式;
第二感知模块,用于基于所述处理模式对所述目标图像进行处理,以获取所述目标对象的感知结果。
33.一种目标对象感知装置,所述装置包括:
第三确定模块,用于确定当前检测事件;
第四确定模块,用于根据所述当前检测事件确定对感知区域的目标对象进行拍摄的拍摄模式;其中,所述拍摄模式包括以第一帧率对所述目标对象进行拍摄的第一拍摄模式,以及以第二帧率对所述目标对象进行拍摄的第二拍摄模式,所述第一帧率大于所述第二帧率。
34.一种目标对象感知装置,所述装置包括:
第三获取模块,用于获取感知区域内包括目标对象的多帧目标图像;
第五确定模块,用于根据当前检测事件确定将所述多帧目标图像发送至处理单元进行处理的发送模式;其中,所述发送模式包括对所述多帧目标图像进行逐帧发送的第一发送模式,以及对所述多帧目标图像进行跳帧发送的第二发送模式。
35.一种目标对象感知装置,所述装置包括:
第四获取模块,用于分别获取感知区域内多个目标对象的目标图像;
第三感知模块,用于采用不同的处理模式对各个目标对象的目标图像进行处理,以分别获取各个目标对象的感知结果;
其中,所述处理模式包括对所述目标图像进行逐帧处理的第一处理模式,以及对所述目标图像进行跳帧处理的第二处理模式,对各个目标对象的目标图像进行处理的处理模式根据与所述目标对象相关的当前检测事件而确定。
36.一种感知基站,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,所述处理器执行所述程序时实现权利要求1至30任意一项所述的方法。
37.一种感知系统,所述感知系统包括权利要求36所述的感知基站。
38.根据权利要求37所述的感知系统,所述感知系统还包括:
图像采集装置;
所述图像采集装置用于获取所述目标图像。
39.根据权利要求38所述的感知系统,所述图像采集装置包括:
第一图像采集装置和第二图像采集装置;
所述第一图像采集装置用于在所述目标对象驶入所述感知区域时,获取包括所述目标对象的第一目标图像,所述第二图像采集装置用于在所述目标对象驶出所述感知区域时,获取包括所述目标对象的第二目标图像。
40.一种计算机可读存储介质,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,所述处理器执行所述程序时实现权利要求1至30任意一项所述的方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010023297.9A CN113111682A (zh) | 2020-01-09 | 2020-01-09 | 目标对象感知方法和装置、感知基站、感知系统 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010023297.9A CN113111682A (zh) | 2020-01-09 | 2020-01-09 | 目标对象感知方法和装置、感知基站、感知系统 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN113111682A true CN113111682A (zh) | 2021-07-13 |
Family
ID=76708758
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202010023297.9A Pending CN113111682A (zh) | 2020-01-09 | 2020-01-09 | 目标对象感知方法和装置、感知基站、感知系统 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN113111682A (zh) |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113613071A (zh) * | 2021-07-30 | 2021-11-05 | 上海商汤临港智能科技有限公司 | 一种图像处理方法、装置、计算机设备和存储介质 |
CN113706586A (zh) * | 2021-10-29 | 2021-11-26 | 深圳市城市交通规划设计研究中心股份有限公司 | 基于多点位感知的目标跟踪方法及装置、存储介质 |
CN113823008A (zh) * | 2021-09-08 | 2021-12-21 | 孟宪伟 | 一种基于北斗的高速公路无感自由流收费系统 |
WO2023125967A1 (zh) * | 2021-12-31 | 2023-07-06 | 中国移动通信有限公司研究院 | 一种选择基站的方法及装置、网络设备 |
Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP2393295A1 (en) * | 2010-06-07 | 2011-12-07 | Harman Becker Automotive Systems GmbH | Method and device for identifying driving situations |
KR20170039465A (ko) * | 2015-10-01 | 2017-04-11 | 부산대학교 산학협력단 | 실시간 목표 탐지에 의한 교통 정보 수집 시스템 및 방법 |
WO2018121286A1 (zh) * | 2016-12-30 | 2018-07-05 | 纳恩博(北京)科技有限公司 | 目标跟踪方法和装置 |
CN108831168A (zh) * | 2018-06-01 | 2018-11-16 | 江苏数翰信息科技有限公司 | 一种基于关联路口视觉识别的交通信号灯控制方法与系统 |
CN108845574A (zh) * | 2018-06-26 | 2018-11-20 | 北京艾瑞思机器人技术有限公司 | 目标识别与追踪方法、装置、设备及介质 |
CN109686088A (zh) * | 2018-12-29 | 2019-04-26 | 重庆同济同枥信息技术有限公司 | 一种交通视频告警方法、设备及系统 |
CN109815844A (zh) * | 2018-12-29 | 2019-05-28 | 西安天和防务技术股份有限公司 | 目标检测方法及装置、电子设备和存储介质 |
CN110610514A (zh) * | 2018-06-15 | 2019-12-24 | 株式会社日立制作所 | 实现多目标跟踪的方法、装置、电子设备 |
-
2020
- 2020-01-09 CN CN202010023297.9A patent/CN113111682A/zh active Pending
Patent Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP2393295A1 (en) * | 2010-06-07 | 2011-12-07 | Harman Becker Automotive Systems GmbH | Method and device for identifying driving situations |
KR20170039465A (ko) * | 2015-10-01 | 2017-04-11 | 부산대학교 산학협력단 | 실시간 목표 탐지에 의한 교통 정보 수집 시스템 및 방법 |
WO2018121286A1 (zh) * | 2016-12-30 | 2018-07-05 | 纳恩博(北京)科技有限公司 | 目标跟踪方法和装置 |
CN108831168A (zh) * | 2018-06-01 | 2018-11-16 | 江苏数翰信息科技有限公司 | 一种基于关联路口视觉识别的交通信号灯控制方法与系统 |
CN110610514A (zh) * | 2018-06-15 | 2019-12-24 | 株式会社日立制作所 | 实现多目标跟踪的方法、装置、电子设备 |
CN108845574A (zh) * | 2018-06-26 | 2018-11-20 | 北京艾瑞思机器人技术有限公司 | 目标识别与追踪方法、装置、设备及介质 |
CN109686088A (zh) * | 2018-12-29 | 2019-04-26 | 重庆同济同枥信息技术有限公司 | 一种交通视频告警方法、设备及系统 |
CN109815844A (zh) * | 2018-12-29 | 2019-05-28 | 西安天和防务技术股份有限公司 | 目标检测方法及装置、电子设备和存储介质 |
Cited By (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113613071A (zh) * | 2021-07-30 | 2021-11-05 | 上海商汤临港智能科技有限公司 | 一种图像处理方法、装置、计算机设备和存储介质 |
CN113613071B (zh) * | 2021-07-30 | 2023-10-20 | 上海商汤临港智能科技有限公司 | 一种图像处理方法、装置、计算机设备和存储介质 |
CN113823008A (zh) * | 2021-09-08 | 2021-12-21 | 孟宪伟 | 一种基于北斗的高速公路无感自由流收费系统 |
CN113823008B (zh) * | 2021-09-08 | 2023-10-27 | 孟宪伟 | 一种基于北斗的高速公路无感自由流收费系统 |
CN113706586A (zh) * | 2021-10-29 | 2021-11-26 | 深圳市城市交通规划设计研究中心股份有限公司 | 基于多点位感知的目标跟踪方法及装置、存储介质 |
WO2023125967A1 (zh) * | 2021-12-31 | 2023-07-06 | 中国移动通信有限公司研究院 | 一种选择基站的方法及装置、网络设备 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US10755559B2 (en) | Vehicular vision and alert system | |
CN110430401B (zh) | 车辆盲区预警方法、预警装置、mec平台和存储介质 | |
CN113111682A (zh) | 目标对象感知方法和装置、感知基站、感知系统 | |
Koukoumidis et al. | Signalguru: leveraging mobile phones for collaborative traffic signal schedule advisory | |
US20190026918A1 (en) | Information Processing Apparatus | |
CN102945603B (zh) | 检测交通事件的方法及电子警察装置 | |
KR20180046798A (ko) | 실시간 교통 정보 제공 방법 및 장치 | |
JP2021099793A (ja) | インテリジェント交通管制システム及びその制御方法 | |
CN103942960A (zh) | 一种车辆变道检测方法及装置 | |
CN101923784A (zh) | 交通信号灯调整系统及方法 | |
CN110648539B (zh) | 车载装置以及控制方法 | |
US10937319B2 (en) | Information provision system, server, and mobile terminal | |
KR20160105255A (ko) | 차량 충돌 방지를 위한 지능형 신호등 제어 장치 및 방법 | |
Jiang et al. | SafeCam: Analyzing intersection-related driver behaviors using multi-sensor smartphones | |
KR102418051B1 (ko) | 차선별 교통상황 판단 장치, 시스템, 및 방법 | |
WO2016132769A1 (ja) | 撮影装置、撮影装置の制御方法、および制御プログラム | |
Schiegg et al. | Object Detection Probability for Highly Automated Vehicles: An Analytical Sensor Model. | |
CN109300313B (zh) | 违法行为的检测方法、相机及服务器 | |
CN105679090A (zh) | 基于智能手机的夜间司机驾驶辅助系统及驾驶辅助方法 | |
JP7523770B2 (ja) | 交通量計測装置 | |
JP7015665B2 (ja) | 情報処理装置、情報処理方法及びプログラム | |
US11823570B2 (en) | Traffic management server, and method and computer program for traffic management using the same | |
KR20170018699A (ko) | 사고 정보 수집 장치 및 그 제어 방법 | |
US20230343106A1 (en) | Information processing apparatus, image transmission system, and information processing method | |
CN115174889A (zh) | 摄像机的位置偏移检测方法、电子设备和存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
TA01 | Transfer of patent application right | ||
TA01 | Transfer of patent application right |
Effective date of registration: 20230711 Address after: Room 437, Floor 4, Building 3, No. 969, Wenyi West Road, Wuchang Subdistrict, Yuhang District, Hangzhou City, Zhejiang Province Applicant after: Wuzhou Online E-Commerce (Beijing) Co.,Ltd. Address before: Box 847, four, Grand Cayman capital, Cayman Islands, UK Applicant before: ALIBABA GROUP HOLDING Ltd. |