CN112735163A - 确定目标物体静止状态的方法、路侧设备、云控平台 - Google Patents

确定目标物体静止状态的方法、路侧设备、云控平台 Download PDF

Info

Publication number
CN112735163A
CN112735163A CN202011564269.4A CN202011564269A CN112735163A CN 112735163 A CN112735163 A CN 112735163A CN 202011564269 A CN202011564269 A CN 202011564269A CN 112735163 A CN112735163 A CN 112735163A
Authority
CN
China
Prior art keywords
target object
determining
response
image data
state
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202011564269.4A
Other languages
English (en)
Other versions
CN112735163B (zh
Inventor
刘博�
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Apollo Zhilian Beijing Technology Co Ltd
Original Assignee
Beijing Baidu Netcom Science and Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Baidu Netcom Science and Technology Co Ltd filed Critical Beijing Baidu Netcom Science and Technology Co Ltd
Priority to CN202011564269.4A priority Critical patent/CN112735163B/zh
Publication of CN112735163A publication Critical patent/CN112735163A/zh
Application granted granted Critical
Publication of CN112735163B publication Critical patent/CN112735163B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/09—Arrangements for giving variable traffic instructions
    • G08G1/0962—Arrangements for giving variable traffic instructions having an indicator mounted inside the vehicle, e.g. giving voice messages
    • G08G1/0967—Systems involving transmission of highway information, e.g. weather, speed limits
    • G08G1/096708—Systems involving transmission of highway information, e.g. weather, speed limits where the received information might be used to generate an automatic action on the vehicle control
    • G08G1/096725—Systems involving transmission of highway information, e.g. weather, speed limits where the received information might be used to generate an automatic action on the vehicle control where the received information generates an automatic action on the vehicle control
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems
    • G08G1/167—Driving aids for lane monitoring, lane changing, e.g. blind spot detection

Abstract

本公开提供一种确定目标物体静止状态的方法、路侧设备、云控平台，涉及智能交通及自动驾驶领域。该方法包括：获取图像数据，该图像数据包括随时间的图像帧的序列；确定该图像数据中所包括的该目标物体位于路口；确定与该目标物体对应的交通信号灯的状态；响应于该交通信号灯的状态为红灯，获取在预定义的时间窗口内的时间上相邻的图像帧之间该目标物体的位移，并计算该位移的总和；以及响应于该位移的总和小于或等于预定义的阈值，确定该目标物体处于静止状态。该方法可以减少或者避免对目标物体静止状态的误判。

Description

确定目标物体静止状态的方法、路侧设备、云控平台
技术领域
本公开涉及图像处理技术领域，尤其涉及智能交通、自动驾驶领域，更具体地，涉及一种确定目标物体静止状态的方法、装置、电子设备、介质、路侧设备和云控平台。
背景技术
随着科学的进步和技术的发展。许多车辆都已经配备了比如车道辅助系统和自适应巡航控制等系统，这是在视频分析、图像处理的基础上对车辆的进一步改进。自动驾驶车辆依靠人工智能、视觉计算、雷达、监控装置、全球定位系统以及智能车路协同系统协同合作，让电脑可以在没有任何人类主动的操作下，自动安全地操作车辆。
在此部分中描述的方法不一定是之前已经设想到或采用的方法。除非另有指明，否则不应假定此部分中描述的任何方法仅因其包括在此部分中就被认为是现有技术。类似地，除非另有指明，否则此部分中提及的问题不应认为在任何现有技术中已被公认。
发明内容
本公开提供了一种确定目标物体静止状态的方法、装置、电子设备、计算机可读存储介质、计算机程序产品、路侧设备和云控平台。
根据本公开的一方面，提供一种确定目标物体静止状态的方法，包括：获取图像数据，该图像数据包括随时间的图像帧的序列；确定该图像数据中所包括的该目标物体位于路口；确定与该目标物体对应的交通信号灯的状态；响应于该交通信号灯的状态为红灯，获取在预定义的时间窗口内的时间上相邻的图像帧之间该目标物体的位移，并计算该位移的总和；以及响应于该位移的总和小于或等于预定义的阈值，确定该目标物体处于静止状态。
根据本公开的另一方面，还提供一种确定目标物体静止状态的装置，该装置包括：获取单元，该获取单元被配置为获取图像数据，该图像数据包括随时间的图像帧的序列；第一确定单元，该第一确定单元被配置为确定该图像数据中所包括的该目标物体位于路口；第二确定单元，该第二确定单元被配置为确定与该目标物体对应的交通信号灯的状态；计算单元，该计算单元被配置为响应于该交通信号灯的状态为红灯，获取在预定义的时间窗口内的时间上相邻的图像帧之间该目标物体的位移，并计算该位移的总和；以及第三确定单元，该第三确定单元被配置为响应于该位移的总和小于或等于预定义的阈值，确定该目标物体处于静止状态。
根据本公开的另一方面，还提供一种电子设备，包括：至少一个处理器；以及与该至少一个处理器通信连接的存储器；该存储器存储有可被该至少一个处理器执行的指令，该指令被该至少一个处理器执行，以使该至少一个处理器能够执行根据上述的确定目标物体静止状态的方法。
根据本公开的另一方面，还提供一种存储有计算机指令的非瞬时计算机可读存储介质，该计算机指令用于使该计算机执行根据上述的确定目标物体静止状态的方法。
根据本公开的另一方面，还提供一种计算机程序产品，包括计算机程序，其中，该计算机程序在被处理器执行时实现上述的确定目标物体静止状态的方法。
根据本公开的另一方面，还提供一种路侧设备，包括上述电子设备。
根据本公开的另一方面，还提供一种云控平台，包括上述电子设备。
根据本公开的一个或多个实施例，可以减少或者避免对目标物体静止状态的误判。
应当理解，本部分所描述的内容并非旨在标识本公开的实施例的关键或重要特征，也不用于限制本公开的范围。本公开的其它特征将通过以下的说明书而变得容易理解。
附图说明
附图示例性地示出了实施例并且构成说明书的一部分，与说明书的文字描述一起用于讲解实施例的示例性实施方式。所示出的实施例仅出于例示的目的，并不限制权利要求的范围。在所有附图中，相同的附图标记指代类似但不一定相同的要素。
图1示出了根据本公开的实施例的可以在其中实施本文描述的各种方法的示例性应用场景示意图；
图2示出了根据本公开的实施例的确定目标物体静止状态的方法的流程图；
图3示出了根据本公开的实施例的可以通过本文描述的方法实现的显示屏幕界面效果的示意图；
图4示出了根据本公开的实施例的确定目标物体静止状态的装置的结构框图；
图5示出了能够用于实现本公开的实施例的示例性电子设备的结构框图。
具体实施方式
在本公开中，除非另有说明，否则使用术语“第一”、“第二”等来描述各种要素不意图限定这些要素的位置关系、时序关系或重要性关系，这种术语只是用于将一个元件与另一元件区分开。在一些示例中，第一要素和第二要素可以指向该要素的同一实例，而在某些情况下，基于上下文的描述，它们也可以指代不同实例。
在本公开中对各种所述示例的描述中所使用的术语只是为了描述特定示例的目的，而并非旨在进行限制。除非上下文另外明确地表明，如果不特意限定要素的数量，则该要素可以是一个也可以是多个。此外，本公开中所使用的术语“和/或”涵盖所列出的项目中的任何一个以及全部可能的组合方式。
车辆的驾驶系统、例如自动驾驶系统是一个完整的软硬件交互系统，包括硬件(例如车辆制造技术、芯片)、车辆驾驶软件、高精度地图、传感器通信网络等。其中，环境感知模块是车辆驾驶软件、例如自动驾驶软件的重要模块，主要通过传感器来感知环境信息，例如通过摄像头、激光雷达、毫米波雷达、超声波传感器等来获取环境信息；并通过全球定位系统获取车身状态信息。具体来说，主要包括传感器数据融合、物体检测与物体分类(例如分类道路、交通标志、车辆、行人、障碍物等)、物体跟踪(例如跟踪行人移动)、定位(例如自身精确定位、相对位置确定、相对速度估计)等。
智能车路协同系统是采用先进的无线通信和新一代互联网等技术，全方位实施车车、车路动态实时信息交互，并在全时空动态交通信息采集与融合的基础上开展车辆主动安全控制和道路协同管理，充分实现人车路的有效协同，保证交通安全，提高通行效率，从而形成的安全、高效和环保的道路交通系统。
感知设备在智能车路协同系统中发挥重要作用，感知设备包括路侧相机，路侧相机可以用于侦测交通信号灯、行人、以及车辆等物体，例如，通过利用图像识别算法，可以对周围物体进行图像识别，进而对识别的物体进行定位并判断其运动状态。由此，一方面可以为车辆的驾驶软件的行为决策模块提供决策依据，车辆从而可以通过运动控制模块对车辆进行运动控制；另一方面，可以为可视化模块(例如车辆内的显示屏)提供周围物体的位置和运动状态数据，以实现对周围物体的动画演示。
然而，由于图像识别算法自身的原因，在不同的图像帧中，算法对目标物体生成的物体识别框会不断变化，尤其是在目标物体突然被其他物体遮挡的情况下，在目标物体被遮挡前后的不同帧的图像中，目标物体的识别框会发生瞬时的剧烈变化，这种变化会使得对于目标物体的定位产生偏差。在目标物体处于静止或者低速运动状态下，这种定位偏差带来的不利影响会更加突出：在一方面可能会造成对周围物体速度或者加速度的计算错误，从而引起例如对自动驾驶车辆进行错误的运动控制，例如错误地进行了加速或者刹车制动；另一方面可能会造成车辆在对周围物体进行可视化的动画演示时，将真实世界中处于静止的其他车辆演示为处于运动状态，产生车辆动画“抖动”的效果(即在不同帧的画面中，原本静止的车辆被显示在屏幕中的不同的位置)，使用户产生错误认识，影响用户体验。
为了解决上述技术问题，本公开提供了一种确定目标物体静止状态的改进方案。申请人发现，在大多数驾驶场景中，对于路口处的静止车辆的状态的误判是最常见、对用户体验影响最大的情形。在该改进方案中，通过确定目标物体位于路口处，对于位于路口处的目标物体，确定其对应的交通信号灯的状态，并响应于该交通信号灯的状态为红灯，进一步通过判断在预定义的时间窗口内的时间上相邻的图像帧之间该目标物体的位移之和与预定义的阈值之间的关系，来确定该目标物体的静止状态，从而减少或者避免对路口处车辆静止状态的误判，因此，可以例如减少或避免对自动驾驶车辆进行错误的运动控制，还可以减少或避免可视化的车辆动画“抖动”的效果。
以下将结合图1和图2对根据本公开实施例的确定目标物体静止状态的方法进行进一步描述。
图1是示出了根据本公开的实施例的可以在其中实施本文描述的各种方法的示例性应用场景示意图。在场景100中，以俯视视角示出了交通路口处：车辆110，以及位于车辆110附近的目标物体(例如第一前方车辆120和第二前方车辆130)，图1所示的目标物体的位置仅为示例性的，目标物体的位置不局限于图1所示的位置，其可以位于车辆110的前方、左方、右方等。在图1中，还示出了交通信号灯140和路侧相机150。路侧相机150指的是安装在车道控制系统前端的起信息采集作用的设备，通常安装在道路两侧，实现对车辆信息(例如图片和视频)的采集。具体地，路侧相机150可以通过各种方式将其获取的图片和视频传输给路侧设备(图中未示出)，路侧设备可以与自动驾驶或辅助驾驶车辆(例如车辆110)进行通信，以将数据传输给车辆(例如车辆110)。
应当理解的是，上述目标物体不仅包括车辆，还可以包括行人、其他可能出现在道路上或周围的动物、障碍物等一切物体。下文中，将仅以目标物体为车辆作为示例，来阐述本公开的实施例的方法、路侧设备、云控平台、装置、电子设备、介质和计算机程序产品。
图2示出了根据本公开的实施例的确定目标物体静止状态的方法的流程图。如图2所示，所述确定目标物体静止状态的方法200包括：步骤S210，获取图像数据，其中，所述图像数据包括随时间的图像帧的序列；步骤S220，确定所述图像数据中所包括的所述目标物体位于路口；步骤S230，确定与所述目标物体对应的交通信号灯的状态；步骤S240，响应于所述交通信号灯的状态为红灯，获取在预定义的时间窗口内的时间上相邻的图像帧之间所述目标物体的位移，并计算所述位移的总和；以及步骤S250，响应于所述位移的总和小于或等于预定义的阈值，确定所述目标物体处于静止状态。由此，可以减少或者避免对路口处其他车辆静止状态的误判，并因此例如在自动驾驶的情况下可以减少或避免对自动驾驶车辆进行错误的运动控制。
在步骤S210中，获取图像数据，所述图像数据可以是从路侧相机获取的。在一些实施例中，获取的周围图像数据可以来自路侧相机150，如前所述，路侧相机150可以最终例如通过路侧设备将获取到的图像数据传输给车辆110，以使得车辆110可以根据获得的数据进行驾驶控制。
在步骤S220中，确定所述图像数据中所包括的所述目标物体位于路口可以包括：对所述图像数据进行图像识别以获取所述目标物体的坐标；以及基于地图信息，响应于所述目标物体的坐标位于距离路口的预定范围内，确定所述目标物体位于路口。在一些实施例中，可以利用图像识别算法，识别出获取到的图像数据中所包括的所述目标物体(例如识别出图像中的第一前方车辆120和第二前方车辆130)，通过计算第一前方车辆120和第二前方车辆130在相机坐标系中的坐标并且将上述在相机坐标系中的坐标变换为在世界坐标系中的坐标，可以在地图信息中查询该世界坐标系中的坐标的位置，如果该位置位于地图中距离交通路口的预定范围内(例如距离交通路口30米的距离内)，则可以确定第一前方车辆120和第二前方车辆130位于路口。上述地图可以是高精地图，例如带有地理编码、存储有车道周边的固定对象的信息(例如交通标志、交通信号灯、障碍物、路边地标等细节信息)的高精地图。由此，通过在地图信息中查询识别出的目标物体的坐标，可以确定该目标物体是否位于路口处。
在步骤S230中，确定与所述目标物体对应的交通信号灯的状态可以包括：基于所述目标物体的坐标，确定所述目标物体所在的车道；以及确定与所述车道对应的交通信号灯的状态。结合上述以及图1，在一些实施例中，在获取了第一前方车辆120和第二前方车辆130的相应的坐标之后，可以分别基于他们的坐标，确定第一前方车辆120位于左转车道，并且确定第二前方车辆130位于直行车道。相对于第一前方车辆120而言，其所在的左转车道对应的交通信号灯为该路口前方的左转信号灯；相对于第二前方车辆130而言，其所在的直行车道所对应的交通信号灯为路口前方的直行信号灯。通过确定目标物体所在车道对应的交通信号灯的状态，可以对不同车道上的目标物体(例如车辆)分别进行判断，以便于根据对应的交通信号灯的状态来判断该车辆在路口处可能停止还是可能继续行驶。
在一些实施例中，确定与所述目标物体对应的交通信号灯的状态可以包括：对所述图像数据进行图像识别以获得交通信号灯的颜色；以及根据所述交通信号灯的颜色确定所述交通信号灯的状态。例如，对于第一前方车辆120所在的左转车道，识别与其对应的左转信号灯为红灯；对于第二前方车辆130所在的直行车道，识别与其对应的直行信号灯为绿灯。因此，可以确定第一前方车辆120可能在路口处停止，而第二前方车辆130可能在路口处继续向前行驶。
在一些实施例中，确定与所述目标物体对应的交通信号灯的状态可以包括：从所述交通信号灯的控制器经过通信传输获取所述交通信号灯的状态。在一些示例中，交通信号灯的控制器配置有通信功能，即，可以通过各种通信方式(例如车联万物)从交通信号灯的控制器获取控制器对交通信号灯的控制信号(例如电压电平信号)，以获取交通信号灯的状态，进而可以确定车辆可能的行驶状态，而无需对交通信号灯进行图像识别。
在步骤S240中，响应于所述交通信号灯的状态为红灯，获取在预定义的时间窗口内的时间上相邻的图像帧之间所述目标物体的位移，并计算所述位移的总和。再次结合图1，在一些实施例中，在检测到第一前方车辆120所对应的左转信号灯为红灯的情况下，可以对此后的预定义的时间窗口(例如1秒)内所获取的图像信息(例如包括时间上连续的101个图像帧的图像，并且该101个图像帧中包括第一前方车辆120)进行运算。例如，在第二帧图像中识别并定位的第一前方车辆120相对于在第一帧图像中识别并定位的第一前方车辆120的位移是S1，在第三帧图像中识别并定位的第一前方车辆120相对于在第二帧图像中识别并定位的第一前方车辆120的位移是S2…以此类推，在第101帧图像中识别并定位的第一前方车辆120相对于在第100帧图像中识别并定位的第一前方车辆120的位移是S100。则上述计算得到的位移总和SA为：SA＝S1+S2+…+S100。
在步骤S250中，响应于所述位移的总和小于或等于预定义的阈值，可以确定所述目标物体处于静止状态。如上所述，在计算得到的位移总和SA小于或者等于预定义的阈值(例如阈值为ST)的情况下，可以确定第一前方车辆120处于静止状态。由此，可以避免例如由于图像识别算法等原因而造成在两个图像帧之间算得的第一前方车辆120的位移过大，进而将停在路口处等待红灯的第一前方车辆120误判为处于运动状态。通过本公开实施例的确定目标物体静止状态的方法，即便图像识别算法存在误差，每两个图像帧之间的位移也可能为正、可能为负，总体计算得到的位置总和在合理的范围内，由此可以将停在路口处等待红灯的第一前方车辆120正确判断为处于静止状态，从而能够避免例如在自动驾驶的情况下对车辆110进行错误的加速或者刹车制动。
在一些实施例中，所述方法还可以包括：响应于所述交通信号灯的状态为绿灯，确定所述目标物体处于运动状态。如果在步骤S230中，获取到的交通信号灯的状态为绿灯，例如可能是交通信号灯的状态由红灯变为绿灯，或者交通信号灯的状态一直是绿灯，则可以确定第一前方车辆120或者第二前方车辆130处于运动状态。根据一些实施例，当检测到已经被确定为处于静止状态的目标物体(例如在交通信号灯140处等待红灯的第二前方车辆130)所对应的直行的交通信号灯140变为绿灯时，则可以确定第二前方车辆130处于运动状态，以避免将可能即将向前行使的第二前方车辆130误判为处于静止状态。
在一些实施例中，所述方法还可以包括：响应于所述位移的总和大于所述预定义的阈值，确定所述目标物体处于运动状态。在某些情况下，例如第二前方车辆130可能在红灯处并未停车，而依然以一定的速度行驶；或者从交通信号灯140处获取了错误的信号(即交通信号灯140实则为绿灯，而获取到的该交通信号灯140的信号为红灯)，总之，真实世界中的第二前方车辆130在移动，相应地，在步骤S240中计算得到的所述位移的总和为SB，而且SB大于预定义的阈值ST，则可以确定第二前方车辆130处于运动状态。由此，可以避免将实际上处于运动状态的第二前方车辆130误判为处于静止状态。
以下将结合图3进一步描述根据本公开实施例的确定目标物体静止状态的方法。
图3示出了根据本公开的实施例的可以通过本文描述的方法实现的显示屏幕界面效果的示意图。在一些实施例中，所述方法还可以包括响应于所述目标物体处于静止状态，将所述目标物体渲染为处于固定位置。这样，当渲染后的数据传输给其他设备(例如云控平台、路侧设备、车辆)时，可以在例如云控平台、路侧设备或者车辆的显示屏界面中将目标物体显示为处于固定的位置。例如，如图3所示，分别显示了第一前方车辆120、第二前方车辆130以及交通信号灯140在屏幕界面300中的相应的第一车辆可视化标记320、第二车辆可视化标记330以及交通信号灯可视化标记340。其中，未示出界面中与本公开的实施例无关的要素。如上所述，在根据本公开的实施例的方法确定了第一前方车辆120和第二前方车辆130处于静止状态的情况下，可以将在真实世界中处于静止的第一前方车辆120和第二前方车辆130在屏幕界面300中渲染为处于固定的位置，即，将相应的第一车辆可视化标记320和第二车辆可视化标记330显示为处于屏幕界面中固定的位置。因此，可以减少或避免因图像识别算法自身的原因所造成的第一车辆可视化标记320和第二车辆可视化标记330在屏幕界面中“抖动”的效果。
在一些实施例中，如上所述的固定位置可以是在所述预定义的时间窗口内所述目标物体的平均坐标位置。例如，在预定义的时间窗口(例如1秒)内的101个图像帧的图像中，第一前方车辆120的坐标分别为：(X1，Y1，Z1)、(X2，Y2，Z2)…(X101，Y101，Z101)。上述101个坐标的平均坐标为(XA，YA，ZA)，示例性地，其中XA＝(X1+X2+…+X101)/101，YA＝(Y1+Y2+…+Y101)/101，ZA＝(Z1+Z2+…+Z101)/101。上述平均坐标(XA，YA，ZA)即可以作为第一前方车辆120在屏幕界面300中所渲染的固定位置，即车辆可视化标记320显示在屏幕中的位置是上述平均坐标(XA，YA，ZA)在地图中的位置，因此可以减少或避免因图像识别算法自身的原因所造成的车辆可视化标记320在屏幕界面中“抖动”的效果。
图4示出了根据本公开的实施例的确定目标物体静止状态的装置的结构框图。如图4所示，在一些实施例中，该确定目标物体静止状态的装置400可以包括：获取单元410，该获取单元410被配置为获取图像数据，该图像数据包括随时间的图像帧的序列；第一确定单元420，该第一确定单元420被配置为确定该图像数据中所包括的该目标物体位于路口；第二确定单元430，该第二确定单元430被配置为确定与该目标物体对应的交通信号灯的状态；计算单元440，该计算单元440被配置为响应于该交通信号灯的状态为红灯，获取在预定义的时间窗口内的时间上相邻的图像帧之间该目标物体的位移，并计算该位移的总和；以及第三确定单元450，该第三确定单元450被配置为响应于该位移的总和小于或等于预定义的阈值，确定该目标物体处于静止状态。
在一些实施例中，装置400还可以包括渲染单元，所述渲染单元被配置为响应于目标物体、例如第一前方车辆120或第二前方车辆130处于静止状态，将第一前方车辆120或第二前方车辆130渲染为处于固定位置。由此，在将第一前方车辆120或第二前方车辆130可视化的过程中，可以减少或避免因图像识别算法自身的原因所造成的与第一前方车辆120或第二前方车辆130对应的车辆可视化标记在显示屏幕界面中“抖动”。在一些实施例中，所述固定位置可以为在预定义的时间窗口内目标物体的平均坐标位置。
在一些实施例中，所述第三确定单元450被进一步配置为响应于所述交通信号灯的状态为绿灯，确定所述目标物体处于运动状态。
在一些实施例中，所述第三确定单元450被进一步配置为响应于所述位移的总和大于所述预定义的阈值，确定所述目标物体处于运动状态。
在一些实施例中，所述第一确定单元可以包括：图像识别单元，所述图像识别单元被配置为对所述图像数据进行图像识别以获取所述目标物体的坐标；以及地图确定单元，所述地图确定单元被配置为基于地图信息，响应于所述目标物体的坐标落入距离路口的预定范围内，确定所述目标物体位于路口。
需要指出，虽然上面借助图4参考特定单元讨论了特定功能，但是应当注意，本文讨论的各个单元的功能可以分为多个单元，和/或多个单元的至少一些功能可以组合成单个单元。本文讨论的特定单元执行动作包括该特定单元本身执行该动作，或者替换地该特定单元调用或以其他方式访问执行该动作的另一个组件或单元(或结合该特定单元一起执行该动作)。因此，执行动作的特定单元可以包括执行动作的该特定单元本身和/或该特定单元调用或以其他方式访问的、执行动作的另一单元。例如，上面描述的第一确定单元420、第二确定单元430在一些实施例中可以组合成单个单元。此外，上面描述的计算单元440、第三确定单元450在一些实施例中也可以组合成单个单元。
更一般地，本文可以在软件硬件元件或程序单元的一般上下文中描述各种技术。上面关于图4描述的各个单元可以在硬件中或在结合软件和/或固件的硬件中实现。例如，这些单元可以被实现为计算机程序代码/指令，该计算机程序代码/指令被配置为在一个或多个处理器中执行并存储在计算机可读存储介质中。可替换地，这些单元可以被实现为硬件逻辑/电路。例如，在一些实施例中，获取单元410、第一确定单元420、第二确定单元430、计算单元440和第三确定单元450中的一个或多个可以一起被实现在片上系统(SoC)中。SoC可以包括集成电路芯片(其包括处理器(例如，中央处理单元(CPU)、微控制器、微处理器、数字信号处理器(DSP)等)、存储器、一个或多个通信接口、和/或其他电路中的一个或多个部件)，并且可以可选地执行所接收的程序代码和/或包括嵌入式固件以执行功能。
根据本公开的另一方面，还提供一种电子设备。图5示出了能够用于实现本公开的实施例的示例性电子设备的结构框图。电子设备500包括：至少一个处理器510；以及与该至少一个处理器通信连接的存储器520；该存储器520存储有可被该至少一个处理器510执行的指令，该指令被该至少一个处理器510执行，以使该至少一个处理器510能够执行根据上述的确定目标物体静止状态的方法。
根据本公开的另一方面，还提供一种存储有计算机指令的非瞬时计算机可读存储介质，该计算机指令用于使该计算机执行根据上述的确定目标物体静止状态的方法。
根据本公开的另一方面，还提供一种计算机程序产品，包括计算机程序，其中，所述计算机程序在被处理器执行时实现上述的确定目标物体静止状态的方法。
根据本公开的另一方面，还提供一种路侧设备，包括上述电子设备500。电子设备500可以获取感知设备(例如路侧相机150)的数据(例如图片和视频)，从而进行图像视频处理和数据计算。根据一些实施例，路侧设备还可以包括通信部件，电子设备500可以与通信部件一体地集成，也可以与通信部件分体地设置。通信部件可以与外界进行通信。
根据本公开的另一方面，还提供一种云控平台，包括上述电子设备500。云控平台可以在云端执行数据处理。在一些实施例中，云控平台包括的电子设备500可以获取感知设备(例如路侧相机150)的数据(例如图片和视频)，从而进行图像视频处理和数据计算。云控平台也可以称为车路协同管理平台、边缘计算平台、云计算平台、中心系统、云端服务器等。
虽然已经参照附图描述了本公开的实施例或示例，但应理解，上述的方法、系统和设备仅仅是示例性的实施例或示例，本发明的范围并不由这些实施例或示例限制，而是仅由授权后的权利要求书及其等同范围来限定。实施例或示例中的各种要素可以被省略或者可由其等同要素替代。此外，可以通过不同于本公开中描述的次序来执行各步骤。进一步地，可以以各种方式组合实施例或示例中的各种要素。重要的是随着技术的演进，在此描述的很多要素可以由本公开之后出现的等同要素进行替换。

Claims (21)

1.一种确定目标物体静止状态的方法，包括：
获取图像数据，其中，所述图像数据包括随时间的图像帧的序列；
确定所述图像数据中所包括的所述目标物体位于路口；
确定与所述目标物体对应的交通信号灯的状态；
响应于所述交通信号灯的状态为红灯，获取在预定义的时间窗口内的时间上相邻的图像帧之间所述目标物体的位移，并计算所述位移的总和；以及
响应于所述位移的总和小于或等于预定义的阈值，确定所述目标物体处于静止状态。
2.根据权利要求1所述的方法，还包括：
响应于所述目标物体处于静止状态，将所述目标物体渲染为处于固定位置。
3.根据权利要求2所述的方法，其中，所述固定位置为在所述预定义的时间窗口内所述目标物体的平均坐标位置。
4.根据权利要求1所述的方法，还包括：
响应于所述交通信号灯的状态为绿灯，确定所述目标物体处于运动状态。
5.根据权利要求1所述的方法，还包括：
响应于所述位移的总和大于所述预定义的阈值，确定所述目标物体处于运动状态。
6.根据权利要求1所述的方法，其中，确定所述目标物体位于路口包括：
对所述图像数据进行图像识别以获取所述目标物体的坐标；以及
基于地图信息，响应于所述目标物体的坐标落入距离路口的预定范围内，确定所述目标物体位于路口。
7.根据权利要求6所述的方法，其中，确定与所述目标物体对应的交通信号灯的状态包括：
基于所述目标物体的坐标，确定所述目标物体所在的车道；以及
确定与所述车道对应的交通信号灯的状态。
8.根据权利要求1所述的方法，其中，确定与所述目标物体对应的交通信号灯的状态包括：
对所述图像数据进行图像识别以获得根据所述图像数据中所包括的交通信号灯的颜色；以及
根据所述交通信号灯的颜色，确定所述交通信号灯的状态。
9.根据权利要求1所述的方法，其中，确定与所述目标物体对应的交通信号灯的状态包括：
从所述交通信号灯的控制器经过通信传输获取所述交通信号灯的状态。
10.根据权利要求1至9中任一项所述的方法，其中，所述图像数据是从路侧相机获取的。
11.一种确定目标物体静止状态的装置，所述装置包括：
获取单元，所述获取单元被配置为获取图像数据，其中，所述图像数据包括随时间的图像帧的序列；
第一确定单元，所述第一确定单元被配置为确定所述图像数据中所包括的所述目标物体位于路口；
第二确定单元，所述第二确定单元被配置为确定与所述目标物体对应的交通信号灯的状态；
计算单元，所述计算单元被配置为响应于所述交通信号灯的状态为红灯，获取在预定义的时间窗口内的时间上相邻的图像帧之间所述目标物体的位移，并计算所述位移的总和；以及
第三确定单元，所述第三确定单元被配置为响应于所述位移的总和小于或等于预定义的阈值，确定所述目标物体处于静止状态。
12.根据权利要求11所述的装置，还包括：
渲染单元，所述渲染单元被配置为响应于所述目标物体处于静止状态，将所述目标物体渲染为处于固定位置。
13.根据权利要求12所述的装置，其中，所述固定位置为在所述预定义的时间窗口内所述目标物体的平均坐标位置。
14.根据权利要求11所述的装置，其中，所述第三确定单元被进一步配置为：
响应于所述交通信号灯的状态为绿灯，确定所述目标物体处于运动状态。
15.根据权利要求11所述的装置，其中，所述第三确定单元被进一步配置为：
响应于所述位移的总和大于所述预定义的阈值，确定所述目标物体处于运动状态。
16.根据权利要求11所述的装置，其中，所述第一确定单元包括：
图像识别单元，所述图像识别单元被配置为对所述图像数据进行图像识别以获取所述目标物体的坐标；以及
地图确定单元，所述地图确定单元被配置为基于地图信息，响应于所述目标物体的坐标落入距离路口的预定范围内，确定所述目标物体位于路口。
17.一种电子设备，包括：
至少一个处理器；以及
与所述至少一个处理器通信连接的存储器；其中
所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行权利要求1-10中任一项所述的方法。
18.一种存储有计算机指令的非瞬时计算机可读存储介质，其中，所述计算机指令用于使所述计算机执行根据权利要求1-10中任一项所述的方法。
19.一种计算机程序产品，包括计算机程序，其中，所述计算机程序在被处理器执行时实现权利要求1-10中任一项所述的方法。
20.一种路侧设备，包括如权利要求17所述的电子设备。
21.一种云控平台，包括如权利要求17所述的电子设备。
CN202011564269.4A 2020-12-25 2020-12-25 确定目标物体静止状态的方法、路侧设备、云控平台 Active CN112735163B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011564269.4A CN112735163B (zh) 2020-12-25 2020-12-25 确定目标物体静止状态的方法、路侧设备、云控平台

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011564269.4A CN112735163B (zh) 2020-12-25 2020-12-25 确定目标物体静止状态的方法、路侧设备、云控平台

Publications (2)

Publication Number Publication Date
CN112735163A true CN112735163A (zh) 2021-04-30
CN112735163B CN112735163B (zh) 2022-08-02

Family

ID=75616231

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011564269.4A Active CN112735163B (zh) 2020-12-25 2020-12-25 确定目标物体静止状态的方法、路侧设备、云控平台

Country Status (1)

Country Link
CN (1) CN112735163B (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113313007A (zh) * 2021-05-26 2021-08-27 每日互动股份有限公司 一种基于视频的行人静止状态识别方法、电子设备及存储介质
CN115205369A (zh) * 2022-08-03 2022-10-18 江苏科技大学 一种抗大气湍流的灯靶图像位移提取算法

Citations (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20040222904A1 (en) * 2003-05-05 2004-11-11 Transol Pty Ltd Traffic violation detection, recording and evidence processing system
CN101026685A (zh) * 2007-03-23 2007-08-29 北京中星微电子有限公司 一种静止物体检测的方法及系统
CN101826197A (zh) * 2009-03-06 2010-09-08 北京百奥金生物科技有限公司 一种监控动物日常活动的方法及系统
US20120262579A1 (en) * 2011-04-15 2012-10-18 Hon Hai Precision Industry Co., Ltd. Electronic device and vehicle detection method using the electronic device
CN103258425A (zh) * 2013-01-29 2013-08-21 中山大学 一种交叉口车辆排队长度检测方法
CN103745485A (zh) * 2013-12-31 2014-04-23 深圳泰山在线科技有限公司 判断物体静止或运动的方法及系统
US20160034778A1 (en) * 2013-12-17 2016-02-04 Cloud Computing Center Chinese Academy Of Sciences Method for detecting traffic violation
CN105882511A (zh) * 2015-11-11 2016-08-24 乐卡汽车智能科技（北京）有限公司 前方车辆行驶状态的提示方法和装置
CN106652465A (zh) * 2016-11-15 2017-05-10 成都通甲优博科技有限责任公司 一种道路异常驾驶行为的识别方法及系统
CN107923968A (zh) * 2015-08-31 2018-04-17 日本先锋公司 信息处理装置、控制方法、程序以及存储介质
US20180307238A1 (en) * 2017-04-20 2018-10-25 GM Global Technology Operations LLC Calibration validation for autonomous vehicle operations
CN108801274A (zh) * 2018-04-16 2018-11-13 电子科技大学 一种融合双目视觉和差分卫星定位的地标地图生成方法
CN109886117A (zh) * 2019-01-21 2019-06-14 青岛海信网络科技股份有限公司 一种目标行为检测的方法和设备
CN210271247U (zh) * 2019-08-06 2020-04-07 阿尔法巴人工智能(深圳)有限公司 基于v2i的公交先行系统
CN111351474A (zh) * 2018-12-24 2020-06-30 上海欧菲智能车联科技有限公司 车辆移动目标检测方法、装置和系统
CN111523385A (zh) * 2020-03-20 2020-08-11 北京航空航天大学合肥创新研究院 一种基于帧差法的静止车辆检测方法及系统
CN111696135A (zh) * 2020-06-05 2020-09-22 深兰人工智能芯片研究院（江苏）有限公司 基于交并比的违禁停车检测方法
CN111712829A (zh) * 2018-02-14 2020-09-25 祖克斯有限公司 检测阻塞静止车辆
CN112001224A (zh) * 2020-07-02 2020-11-27 北京奥维视讯科技有限责任公司 基于卷积神经网络的视频采集方法和视频采集系统

Patent Citations (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20040222904A1 (en) * 2003-05-05 2004-11-11 Transol Pty Ltd Traffic violation detection, recording and evidence processing system
CN101026685A (zh) * 2007-03-23 2007-08-29 北京中星微电子有限公司 一种静止物体检测的方法及系统
CN101826197A (zh) * 2009-03-06 2010-09-08 北京百奥金生物科技有限公司 一种监控动物日常活动的方法及系统
US20120262579A1 (en) * 2011-04-15 2012-10-18 Hon Hai Precision Industry Co., Ltd. Electronic device and vehicle detection method using the electronic device
CN103258425A (zh) * 2013-01-29 2013-08-21 中山大学 一种交叉口车辆排队长度检测方法
US20160034778A1 (en) * 2013-12-17 2016-02-04 Cloud Computing Center Chinese Academy Of Sciences Method for detecting traffic violation
CN103745485A (zh) * 2013-12-31 2014-04-23 深圳泰山在线科技有限公司 判断物体静止或运动的方法及系统
CN107923968A (zh) * 2015-08-31 2018-04-17 日本先锋公司 信息处理装置、控制方法、程序以及存储介质
CN105882511A (zh) * 2015-11-11 2016-08-24 乐卡汽车智能科技（北京）有限公司 前方车辆行驶状态的提示方法和装置
CN106652465A (zh) * 2016-11-15 2017-05-10 成都通甲优博科技有限责任公司 一种道路异常驾驶行为的识别方法及系统
US20180307238A1 (en) * 2017-04-20 2018-10-25 GM Global Technology Operations LLC Calibration validation for autonomous vehicle operations
CN111712829A (zh) * 2018-02-14 2020-09-25 祖克斯有限公司 检测阻塞静止车辆
CN108801274A (zh) * 2018-04-16 2018-11-13 电子科技大学 一种融合双目视觉和差分卫星定位的地标地图生成方法
CN111351474A (zh) * 2018-12-24 2020-06-30 上海欧菲智能车联科技有限公司 车辆移动目标检测方法、装置和系统
CN109886117A (zh) * 2019-01-21 2019-06-14 青岛海信网络科技股份有限公司 一种目标行为检测的方法和设备
CN210271247U (zh) * 2019-08-06 2020-04-07 阿尔法巴人工智能(深圳)有限公司 基于v2i的公交先行系统
CN111523385A (zh) * 2020-03-20 2020-08-11 北京航空航天大学合肥创新研究院 一种基于帧差法的静止车辆检测方法及系统
CN111696135A (zh) * 2020-06-05 2020-09-22 深兰人工智能芯片研究院（江苏）有限公司 基于交并比的违禁停车检测方法
CN112001224A (zh) * 2020-07-02 2020-11-27 北京奥维视讯科技有限责任公司 基于卷积神经网络的视频采集方法和视频采集系统

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113313007A (zh) * 2021-05-26 2021-08-27 每日互动股份有限公司 一种基于视频的行人静止状态识别方法、电子设备及存储介质
CN113313007B (zh) * 2021-05-26 2022-10-14 每日互动股份有限公司 一种基于视频的行人静止状态识别方法、电子设备及存储介质
CN115205369A (zh) * 2022-08-03 2022-10-18 江苏科技大学 一种抗大气湍流的灯靶图像位移提取算法
CN115205369B (zh) * 2022-08-03 2024-04-02 江苏科技大学 一种抗大气湍流的灯靶图像位移提取算法

Also Published As

Publication number Publication date
CN112735163B (zh) 2022-08-02

Similar Documents

Publication Publication Date Title
CN111919225B (zh) 使用模拟环境对自主机器进行培训、测试和验证
US11741696B2 (en) Advanced path prediction
US11966673B2 (en) Sensor simulation and learning sensor models with generative machine learning methods
US11574089B2 (en) Synthetic scenario generator based on attributes
CN108509832B (zh) 用于产生虚拟车道的方法和装置
US11568100B2 (en) Synthetic scenario simulator based on events
US20190384304A1 (en) Path detection for autonomous machines using deep neural networks
US10849543B2 (en) Focus-based tagging of sensor data
JP2021089723A (ja) ＬｉＤＡＲ知覚のためのマルチビュー・ディープ・ニューラル・ネットワーク
CN114930303A (zh) 用于自主机器应用的虚拟环境场景和观察器
CN113950702A (zh) 在视频分析应用中使用相关滤波器的多对象跟踪
KR20190058520A (ko) 자율 주행 차량 제어 시스템을 위한 위치에 따른 지원
CN112347829A (zh) 利用障碍物和车道检测来确定环境中对象的车道分配
CN114450724A (zh) 用于自主机器应用的多活动者环境中的未来轨迹预测
CN111582189B (zh) 交通信号灯识别方法、装置、车载控制终端及机动车
US20140354684A1 (en) Symbology system and augmented reality heads up display (hud) for communicating safety information
US20210389133A1 (en) Systems and methods for deriving path-prior data using collected trajectories
KR20210038852A (ko) 조기 경보 방법, 장치, 전자 기기, 컴퓨터 판독 가능 저장 매체 및 컴퓨터 프로그램
CN109074742B (zh) 周边认知装置、周边认知方法和计算机可读取的记录介质
WO2021227520A1 (zh) 可视化界面的显示方法、装置、电子设备和存储介质
JP2019099138A (ja) 車線維持補助方法及び装置
CN112735163B (zh) 确定目标物体静止状态的方法、路侧设备、云控平台
JP2008146549A (ja) 運転支援装置、マップ生成装置、及びプログラム
US20220410931A1 (en) Situational awareness in a vehicle
US11961304B2 (en) Systems and methods for deriving an agent trajectory based on multiple image sources

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
TA01 Transfer of patent application right

Effective date of registration: 20211015

Address after: 100176 101, floor 1, building 1, yard 7, Ruihe West 2nd Road, Beijing Economic and Technological Development Zone, Daxing District, Beijing

Applicant after: Apollo Zhilian (Beijing) Technology Co.,Ltd.

Address before: 2 / F, baidu building, 10 Shangdi 10th Street, Haidian District, Beijing 100085

Applicant before: BEIJING BAIDU NETCOM SCIENCE AND TECHNOLOGY Co.,Ltd.

TA01 Transfer of patent application right
GR01 Patent grant
GR01 Patent grant