CN117953435A - 车辆动静识别方法、装置、芯片及自动驾驶车辆 - Google Patents
车辆动静识别方法、装置、芯片及自动驾驶车辆 Download PDFInfo
- Publication number
- CN117953435A CN117953435A CN202211334099.XA CN202211334099A CN117953435A CN 117953435 A CN117953435 A CN 117953435A CN 202211334099 A CN202211334099 A CN 202211334099A CN 117953435 A CN117953435 A CN 117953435A
- Authority
- CN
- China
- Prior art keywords
- vehicle
- state
- image
- motion
- wheels
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 81
- 230000003068 static effect Effects 0.000 title claims abstract description 52
- 230000033001 locomotion Effects 0.000 claims abstract description 186
- 230000008569 process Effects 0.000 claims abstract description 21
- 238000005096 rolling process Methods 0.000 claims description 49
- 230000015654 memory Effects 0.000 claims description 32
- 230000008859 change Effects 0.000 claims description 23
- 238000004590 computer program Methods 0.000 claims description 14
- 238000001514 detection method Methods 0.000 description 25
- 238000004891 communication Methods 0.000 description 18
- 238000013528 artificial neural network Methods 0.000 description 14
- 238000010586 diagram Methods 0.000 description 14
- 230000006870 function Effects 0.000 description 14
- 239000011159 matrix material Substances 0.000 description 12
- 230000002093 peripheral effect Effects 0.000 description 9
- 238000013519 translation Methods 0.000 description 8
- 230000004913 activation Effects 0.000 description 7
- 238000013500 data storage Methods 0.000 description 7
- 238000005259 measurement Methods 0.000 description 7
- 238000012545 processing Methods 0.000 description 7
- 239000000284 extract Substances 0.000 description 6
- 230000003287 optical effect Effects 0.000 description 6
- 238000004422 calculation algorithm Methods 0.000 description 5
- 230000005540 biological transmission Effects 0.000 description 4
- 230000001360 synchronised effect Effects 0.000 description 4
- 230000001133 acceleration Effects 0.000 description 3
- 230000010267 cellular communication Effects 0.000 description 3
- 238000013135 deep learning Methods 0.000 description 3
- 238000013461 design Methods 0.000 description 3
- 239000000446 fuel Substances 0.000 description 3
- 239000007787 solid Substances 0.000 description 3
- LFQSCWFLJHTTHZ-UHFFFAOYSA-N Ethanol Chemical compound CCO LFQSCWFLJHTTHZ-UHFFFAOYSA-N 0.000 description 2
- ATUOYWHBWRKTHZ-UHFFFAOYSA-N Propane Chemical compound CCC ATUOYWHBWRKTHZ-UHFFFAOYSA-N 0.000 description 2
- 230000006399 behavior Effects 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 2
- 230000001427 coherent effect Effects 0.000 description 2
- 238000002485 combustion reaction Methods 0.000 description 2
- 230000006835 compression Effects 0.000 description 2
- 238000007906 compression Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000000605 extraction Methods 0.000 description 2
- 230000004927 fusion Effects 0.000 description 2
- 238000010295 mobile communication Methods 0.000 description 2
- 230000006403 short-term memory Effects 0.000 description 2
- 238000012549 training Methods 0.000 description 2
- 238000012935 Averaging Methods 0.000 description 1
- 101001093748 Homo sapiens Phosphatidylinositol N-acetylglucosaminyltransferase subunit P Proteins 0.000 description 1
- HBBGRARXTFLTSG-UHFFFAOYSA-N Lithium ion Chemical compound [Li+] HBBGRARXTFLTSG-UHFFFAOYSA-N 0.000 description 1
- 239000002253 acid Substances 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 238000006073 displacement reaction Methods 0.000 description 1
- 230000005611 electricity Effects 0.000 description 1
- 238000000802 evaporation-induced self-assembly Methods 0.000 description 1
- 230000005484 gravity Effects 0.000 description 1
- 238000009434 installation Methods 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 229910001416 lithium ion Inorganic materials 0.000 description 1
- 230000007787 long-term memory Effects 0.000 description 1
- 238000003062 neural network model Methods 0.000 description 1
- 239000003208 petroleum Substances 0.000 description 1
- 239000001294 propane Substances 0.000 description 1
- 230000000306 recurrent effect Effects 0.000 description 1
- 230000000979 retarding effect Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Landscapes
- Traffic Control Systems (AREA)
Abstract
公开了车辆动静识别方法、装置、芯片及自动驾驶车辆,涉及自动驾驶领域。方法包括:获取自动驾驶车辆行驶过程中多帧他车的车辆图像;根据车辆图像的局部特征确定他车的运动状态;根据他车的运动状态控制自动驾驶车辆行驶。通过车辆的局部特征能够明显看出车辆整体运动的差别,利用车辆的局部特征辅助判断车辆整体的运动状态,可以有效区分车辆是静止状态还是行驶状态,从而提升了车辆动静识别的准确性,以便控制自动驾驶车辆行驶,保证自动驾驶车辆的行驶安全性。
Description
技术领域
本申请涉及自动驾驶领域,尤其涉及一种车辆动静识别方法、装置、芯片及自动驾驶车辆。
背景技术
自动驾驶车辆在行驶过程中,根据他车的运动状态(如:行驶状态或静止状态)确定自车的行驶状态,以保证自动驾驶车辆的行驶安全性。目前,自动驾驶车辆根据他车的图像帧确定他车的运动状态。但是,在他车缓慢行驶时,无法准确确定他车的运动状态。导致车辆动静识别的准确性较低,无法保证自动驾驶车辆的行驶安全性。
发明内容
本申请提供了一种车辆动静识别方法、装置、芯片及自动驾驶车辆,由此提高车辆动静识别的准确性,保证自动驾驶车辆的行驶安全性。
第一方面,提供了一种车辆动静识别方法,方法包括:获取自动驾驶车辆行驶过程中的多帧行驶图像,行驶图像包括自动驾驶车辆行驶过程中他车的车辆图像;根据车辆图像的局部特征确定他车的运动状态,运动状态包括行驶状态或静止状态;根据他车的运动状态控制自动驾驶车辆行驶。
如此,由于自动驾驶车辆在运动过程中,识别他车整体的运动状态通常不够明显。但是,通过车辆的局部特征能够明显看出车辆整体运动的差别,利用车辆的局部特征辅助判断车辆整体的运动状态,能够明显区分车辆是静止状态还是行驶状态,从而提升了车辆动静识别的准确性,以便控制自动驾驶车辆行驶,保证自动驾驶车辆的行驶安全性。
结合第一方面,在一种可能的实现方式中,根据车辆图像的局部特征确定他车的运动状态,包括:根据车辆图像的车轮特征确定他车的车轮的滚动状态;根据他车的车轮的滚动状态确定他车的运动状态。局部特征可以是车轮特征,通过车轮的滚动状态辅助判断车辆整体的运动状态,相比于直接判断车辆整体的运动状态直观明显,提升了车辆动静识别的准确性。
结合第一方面,在另一种可能的实现方式中,他车的车轮的滚动状态确定他车的运动状态,包括:他车的车轮的滚动状态为静止确定他车的运动状态为静止状态。如此,根据他车的静止状态控制自动驾驶车辆缓慢行驶直至停止,保证自动驾驶车辆的行驶安全性。
结合第一方面,在另一种可能的实现方式中,他车的车轮的滚动状态确定他车的运动状态,包括:他车的车轮的滚动状态为滚动确定他车的运动状态为行驶状态。如此,根据他车的行驶状态控制自动驾驶车辆正常行驶,保证自动驾驶车辆的行驶安全性。
结合第一方面,在另一种可能的实现方式中,方法还包括:将车辆图像输入神经网络,输出车轮特征和车辆特征;根据车轮特征和车辆特征确定他车的运动状态。由于使用多帧车轮图像和车辆图像训练神经网络,使神经网络具备提取车轮特征和提取车辆特征的功能。由此,将多帧车辆图像输入神经网络,神经网络识别车轮特征和车辆特征,进而,将随时间变化的多帧行驶图像中车轮特征和车辆特征进行融合得到车轮的时序特征,根据车轮的时序特征确定车轮的滚动状态,辅助判断车辆的运动状态,提升了车辆动静识别的准确性。
结合第一方面,在另一种可能的实现方式中,根据车辆图像的局部特征确定他车的运动状态,包括:根据车辆图像的局部特征和增强特征确定他车的运动状态,增强特征包括自动驾驶车辆位姿变化以及车辆图像的整车特征中至少一个。
自动驾驶车辆在行驶过程中,对于自车与他车之间距离越来越近的情况,自动驾驶车辆位姿变化以运动矢量图像的形式表示,能够体现出运动的大小和方向,据此有效区分由于他车静止自车行驶,还是他车和自车都在行驶造成的两者距离变近,从而避免了运动歧义问题。
局部特征可以是车轮特征,当车辆的车轮部分被遮挡,车轮图像的质量不够清晰以及车辆夜间行驶不便清晰识别车轮时,车轮辅助效果不够明显,需根据车辆图像的车轮特征和车辆图像的整车特征确定他车的运动状态;当车辆的车轮全部被遮挡无法识别车辆的车轮时,直接根据车辆图像的整车特征确定他车的运动状态,以便控制自动驾驶车辆行驶,保证自动驾驶车辆的行驶安全性。
结合第一方面,在另一种可能的实现方式中,方法还包括:显示他车的运动状态和控制指示,控制指示用于指示自动驾驶车辆行驶。自动驾驶车辆内部的车载电脑界面显示他车的运动状态和控制指示,便于用户清楚直观地获知他车的运动状态和自动驾驶车辆的行驶路线。
第二方面,提供了一种车辆动静识别装置,所述装置包括用于执行第一方面或第一方面任一种可能设计中的车辆动静识别方法的各个模块。
第三方面,提供了一种计算机程序产品,所述计算机程序产品包括:计算机程序代码,当所述计算机程序代码并运行时,实现上述第一方面所述的车辆动静识别方法。
第四方面,提供了一种芯片系统,该芯片系统包括处理器,用于实现上述第一方面的方法中处理器的功能。在一种可能的设计中,所述芯片系统还包括存储器,用于保存程序指令和/或数据。该芯片系统,可以由芯片构成,也可以包括芯片和其他分立器件。
第五方面,提供了一种计算机可读存储介质,该计算机可读存储介质存储有计算机程序,当该计算机程序被运行时,实现上述第一方面所述的车辆动静识别的方法。
第六方面,提供了一种自动驾驶车辆,车辆包括一个或多个传感器和上述第二方面所述的车辆动静识别的装置,其中,所述一个或多个传感器用于采集自动驾驶车辆行驶过程中的多帧行驶图像,所述装置用于与所述一个或多个传感器协助执行实现上述第一方面所述的车辆动静识别方法。
本申请在上述各方面提供的实现方式的基础上,还可以进行进一步组合以提供更多实现方式。
附图说明
图1为本申请提供的一种车辆的功能框图;
图2为本申请提供的一种车辆动静识别方法的流程图;
图3为本申请提供的一种显示他车的运动状态和控制指示的示意图;
图4为本申请提供的一种车轮辅助判断车辆运动状态的示意图;
图5为本申请提供的另一种车辆动静识别方法的流程图;
图6为本申请提供的一种车辆运动过程的示意图;
图7为本申请提供的一种自动驾驶车辆位姿变化的示意图;
图8为本申请提供的另一种车辆运动过程的示意图;
图9为本申请提供的另一种自动驾驶车辆位姿变化的示意图;
图10为本申请提供的一种车辆动静识别装置的结构示意图;
图11为本申请提供的一种计算设备的结构示意图。
具体实施方式
自动驾驶汽车(Self-driving Automobile),又称无人驾驶汽车,是一种通过计算机系统实现无人驾驶的智能汽车。自动驾驶汽车依靠人工智能、视觉计算和全球定位系统等协同合作,让计算机可以在没有任何人类主动干预下,自动安全地操作机动车辆。
运动状态,是指物体进行机械运动时相对某个参考系的运动速度的状态。运动状态包括物体的运动速度,运动速度可以是指单位时间内物体位置矢量的变化量,即单位时间内物体的位移与物体的运动方向。运动状态包括静止状态和行驶状态。行驶状态包括匀速运动、高速运动和低速运动状态。例如,高速运动可以指物体的运行速度大于80公里/每小时,低速运动可以指物体的运行速度小于30公里/每小时。
为了解决自动驾驶车辆缓慢行驶时,难以区分他车的运动状态(如:行驶状态或静止状态),车辆动静识别的准确性较低的问题,本申请提供了一种车辆动静识别方法,即通过车轮的滚动状态确定他车的运动状态。车辆缓慢行驶时,自动驾驶车辆观察确定他车整体的运动状态通常不够明显,但是,通过车辆局部的车轮的滚动状态辅助判断车辆整体的运动状态,能够准确区分车辆是静止状态还是行驶状态,从而提升了车辆动静识别的准确性。
为了下述各实施例的描述清楚简洁,首先给出相关技术的简要介绍:
图1为本申请提供的一种车辆的功能框图。在一个实施例中,将车辆100配置为完全或部分地自动驾驶模式。例如,车辆100可以在处于自动驾驶模式中的同时控制自身,并且可通过人为操作来确定车辆及其周边环境的当前状态,确定周边环境中的至少一个其他车辆的可能行为,并确定所述其他车辆执行可能行为的可能性相对应的置信水平,基于所确定的信息来控制车辆100。在车辆100处于自动驾驶模式中时,可以将车辆100置为在没有和人交互的情况下操作。
车辆100可包括各种子系统,例如行进系统102、传感器系统104、控制系统106、一个或多个外围设备108以及电源110、计算机系统112和用户接口116。可选地,车辆100可包括更多或更少的子系统,并且每个子系统可包括多个元件。另外,车辆100的每个子系统和元件可以通过有线或者无线的方式互连。
行进系统102可包括为车辆100提供动力运动的组件。在一个实施例中,行进系统102可包括引擎118、能量源119、传动装置120和车轮/轮胎121。引擎118可以是内燃引擎、电动机、空气压缩引擎或其他类型的引擎组合,例如汽油发动机和电动机组成的混动引擎。又如、内燃引擎和空气压缩引擎组成的混动引擎。引擎118将能量源119转换成机械能量。
能量源119的示例包括汽油、柴油、其他基于石油的燃料、丙烷、其他基于压缩气体的燃料、乙醇、太阳能电池板、电池和其他电力来源。能量源119也可以为车辆100的其他系统提供能量。
传动装置120可以将来自引擎118的机械动力传送到车轮/轮胎121。传动装置120可包括变速箱、差速器和驱动轴。在一个实施例中,传动装置120还可以包括其他器件,比如离合器。其中,驱动轴可包括可耦合到一个或多个车轮/轮胎121的一个或多个轴。
传感器系统104可包括感测关于车辆100周边的环境的信息的若干个传感器。例如,传感器系统104可包括定位系统122,定位系统可以是全球定位系统(GlobalPositioning System,GPS),也可以是北斗系统或者其他定位系统、惯性测量单元(inertial measurement unit,IMU)124、雷达126、激光测距仪128和相机130。传感器系统104还可包括被监视车辆100的内部系统的传感器(例如,车内空气质量监测器、燃油量表、机油温度表等)。来自这些传感器中的一个或多个的传感器数据可用于检测对象及其相应特性(位置、形状、方向、速度等)。这种检测和识别是车辆100的安全操作的关键功能。
定位系统122可用于估计车辆100的地理位置。本申请实施例中,定位系统122可以跟踪车辆的旋转和平移运动,获取运动位姿。惯性测量单元124用于基于惯性加速度来感测车辆100的位姿(位置和朝向)变化。本申请实施例中,惯性测量单元124可以是加速度计和陀螺仪的组合。
雷达126可利用无线电信号来感测车辆100的周边环境内的物体。在一些实施例中,除了感测物体以外,雷达126还可用于感测物体的速度和/或前进方向。例如,雷达126可以是激光雷达。
激光测距仪128可利用激光来感测车辆100所位于的环境中的物体。在一些实施例中,激光测距仪128可包括一个或多个激光源、激光扫描器和一个或多个检测器,以及其他系统组件。本申请实施例中,激光测距仪128用于测量车辆100中心到相机130光心的距离。
相机130可用于捕捉车辆100的周边环境的多个图像。相机130可以是静态相机或视频相机。本申请实施例中,相机130用于采集车辆100行驶过程中的多帧行驶图像,多帧行驶图像包括他车的车辆图像。
控制系统106为控制车辆100及其组件的操作。控制系统106可包括各种元件,其中包括转向系统132、油门134、制动单元136、传感器融合算法138、计算机视觉系统140、路线控制系统142以及障碍物规避系统144。
转向系统132可操作来调整车辆100的前进方向。例如,在一个实施例中可以为方向盘系统。
油门134用于控制引擎118的操作速度并进而控制车辆100的速度。
制动单元136用于控制车辆100减速。制动单元136可使用摩擦力来减慢车轮/轮胎121。在其他实施例中,制动单元136可将车轮/轮胎121的动能转换为电流。制动单元136也可采取其他形式来减慢车轮/轮胎121转速从而控制车辆100的速度。
计算机视觉系统140可以操作来处理和分析由相机130捕捉的图像以便识别车辆100周边环境中的物体和/或特征。所述物体和/或特征可包括交通信号、道路边界和障碍物。计算机视觉系统140可使用物体识别算法、运动中恢复结构(Structure from Motion,SFM)算法、视频跟踪和其他计算机视觉技术。在一些实施例中,计算机视觉系统140可以用于为环境绘制地图、跟踪物体和估计物体的速度等,还可以用于对他车的车辆图像进行图像处理,识别图像中的车辆整体和车辆局部的车轮。
路线控制系统142用于确定车辆100的行驶路线。在一些实施例中,路线控制系统142可结合来自传感器融合算法138、定位系统122、一个或多个预定地图的数据和他车的运动状态以为车辆100确定行驶路线。
障碍物规避系统144用于识别、评估和避免或者以其他方式越过车辆100的环境中的潜在障碍物。在一些实施例中,障碍物规避系统144可以用于在车辆100行驶的过程中,规避道路中的行人、非机动车辆等,以保证行驶的安全性。
当然,在一个实例中,控制系统106可以增加或替换地包括除了所示出和描述的那些以外的组件。或者也可以减少一部分上述示出的组件。
车辆100通过外围设备108与外部传感器、其他车辆、其他计算机系统或用户之间进行交互。外围设备108可包括无线通信系统146、车载电脑148、麦克风150和/或扬声器152。
在一些实施例中,外围设备108提供车辆100的用户与用户接口116交互的手段。例如,车载电脑148可向车辆100的用户提供信息,车载电脑148的界面可以显示他车的运动状态。用户接口116还可操作车载电脑148来接收用户的输入。车载电脑148可以通过触摸屏进行操作。在其他情况中,外围设备108可提供用于车辆100与位于车内的其它设备通信的手段。例如,麦克风150可从车辆100的用户接收音频(例如,语音命令或其他音频输入)。类似地,扬声器152可向车辆100的用户输出音频。
无线通信系统146可以直接地或者经由通信网络来与一个或多个设备进行无线通信。例如,无线通信系统146可使用3G蜂窝通信,例如码分多址(Code division multipleaccess,CDMA)、EVD0、全球移动通信系统(Global mobile communication system,GSM)/通用分组无线业务(General Packet Radio Service,GPRS),或者4G蜂窝通信,例如LTE。或者5G蜂窝通信。无线通信系统146可利用WiFi与无线局域网(wireless local area network,WLAN)通信。在一些实施例中,无线通信系统146可利用红外链路、蓝牙或ZigBee与设备直接通信。其他无线协议,例如各种车辆通信系统,例如,无线通信系统146可包括一个或多个专用短程通信(dedicated short range communications,DSRC)设备,这些设备可包括车辆和/或路边台站之间的公共和/或私有数据通信。在一些实施例中,车辆100也可以通过无线通信系统146将多帧行驶图像传输给云端,行驶图像包括他车的车辆图像,使云端根据车辆图像的局部特征确定他车的运动状态,根据他车的运动状态控制自动驾驶车辆行驶。
电源110可向车辆100的各种组件提供电力。在一个实施例中,电源110可以为可再充电锂离子或铅酸电池。这种电池的一个或多个电池组可被配置为电源为车辆100的各种组件提供电力。在一些实施例中,电源110和能量源119可一起实现,例如一些全电动车中那样。
车辆100的部分或所有功能受计算机系统112控制。计算机系统112可包括至少一个处理器113,处理器113执行存储在例如数据存储装置114这样的非暂态计算机可读介质中的指令115。计算机系统112还可以是采用分布式方式控制车辆100的个体组件或子系统的多个计算设备。数据存储装置114可以是存储器。
处理器113可以是任何常规的处理器,诸如商业可获得的中央处理器(centralprocessing unit,CPU)。替选地,该处理器可以是诸如特定集成电路(applicationspecific integrated circuit,ASIC)或其它基于硬件的处理器的专用设备。尽管图1功能性地图示了处理器、存储器、和在相同块中的计算机系统112的其它元件,但是本领域的普通技术人员应该理解该处理器、计算机、或存储器实际上可以包括或者可以不存储在相同的物理外壳内的多个处理器、计算机或存储器。例如,存储器可以是硬盘驱动器或位于不同于计算机系统112的外壳内的其它存储介质。因此,对处理器或计算机的引用将被理解为包括并行或者可以不并行操作的处理器或计算机或存储器的集合的引用。不同于使用单一的处理器来执行此处所描述的步骤,诸如转向组件和减速组件的一些组件每个都可以具有其自己的处理器,所述处理器只执行与特定于组件的功能相关的计算。
在此处所描述的各个方面中,处理器可以位于远离该车辆100并且与该车辆100进行无线通信。在其它方面中,此处所描述的过程中的一些在布置于车辆100内的处理器上执行,而其它则由远程处理器执行,包括采取执行单一操纵的必要步骤。
在一些实施例中,数据存储装置114可包含指令115(例如,程序逻辑),指令115可被处理器113执行,来执行车辆100的各种功能,包括以上描述的那些功能。数据存储装置114也可包含额外的指令,包括向行进系统102、传感器系统104、控制系统106和外围设备108中的一个或多个发送数据、从其接收数据、与其交互和/或对其进行控制的指令。
除了指令115以外,数据存储装置114还可存储数据,例如道路地图、路线信息,车辆的位置、方向、速度和其它车辆数据,以及他车的车辆图像信息。这种信息可在车辆100在自主、半自主和/或手动模式中操作期间被车辆100和计算机系统112使用。
用户接口116,用于向车辆100的用户提供信息或从其接收信息。可选地,用户接口116可包括在外围设备108的集合内的一个或多个输入/输出设备,例如无线通信系统146、车载电脑148、麦克风150和扬声器152。
计算机系统112可基于从各种子系统,例如,行进系统102、传感器系统104和控制系统106以及从用户接口116接收的输入来控制车辆100的功能。例如,计算机系统112可利用来自控制系统106的输入以便控制转向系统132来规避由传感器系统104和障碍物规避系统144检测到的障碍物。在一些实施例中,计算机系统112可操作来对车辆100及其子系统的许多方面提供控制。
示例的,车辆100在自动驾驶模式下,处理器113可以从数据存储装置114调取道路地图,根据道路地图获知车辆100的位姿。处理器113还可以接收到传感器系统104中相机130采集的自动驾驶车辆行驶过程中的多帧行驶图像,行驶图像包括自动驾驶车辆行驶过程中他车的车辆图像;根据车辆图像的局部特征确定他车的运动状态,运动状态包括行驶状态或静止状态;根据他车的运动状态控制车辆100行驶。
接下来,结合图2至图9对本申请提供的车辆动静识别方法进行详细说明。图2为本申请提供的一种车辆动静识别方法的流程图。在这里以图1中的处理器113对车辆100行驶过程中的其他车辆进行车辆动静识别,控制车辆100进行行驶为例进行说明。假设车辆100可以是自动驾驶车辆。如图2所示,本申请实施例提供的车辆动静识别方法包括以下步骤。
步骤210、处理器获取自动驾驶车辆行驶过程中的多帧行驶图像。
车辆100行驶过程中可以通过相机130采集多帧行驶图像。多帧行驶图像可以是连续的多帧车辆图像。多帧行驶图像包括自动驾驶车辆行驶过程中他车的车辆图像、道路图像、树木图像以及非机动车辆图像等。
可选地,处理器可以对多帧行驶图像进行预处理。例如,处理器113对行驶图像进行缩放处理。缩小图像为了节省内存空间,以提升处理速度,放大局部图像以便提取图像中关键的车辆和车轮特征。
步骤220、处理器根据车辆图像的局部特征确定他车的运动状态。
由于自动驾驶车辆在运动过程中,识别他车整体的运动状态通常不够明显。但是,通过车辆的局部特征能够明显看出车辆整体运动的细微差别。
例如,局部特征可以是车轮特征,通过车轮的滚动状态辅助判断车辆整体的运动状态。车辆快速行驶、匀速行驶或缓慢行驶时,通过车轮的滚动状态为滚动,确定车辆的运动状态为行驶状态;车辆停止时,通过车轮的滚动状态为静止,确定车辆的运动状态为静止状态。相比于直接判断车辆整体的运动状态,通过车轮辅助判断能够明显区分车辆是静止状态还是行驶状态,提升了车辆动静识别的准确性。
又如,处理器根据传感器系统中的自车定位系统得到自动驾驶车辆运动矢量图像,处理多帧行驶图像以及自动驾驶车辆运动矢量图像得到局部特征。方法可以参考下述在第二种可能的实现方式中的实施例。
假设局部特征可以是车轮特征,根据车辆图像的车轮特征确定他车的运动状态。如下步骤221至步骤222阐述。
步骤221、处理器根据车辆图像的车轮特征确定他车的车轮的滚动状态。
处理器可以对多帧行驶图像进行特征提取得到多帧行驶图像中车辆的车轮特征,根据车轮特征确定他车的车轮的滚动状态。特征提取可以指提取图像中属于特征性的信息的方法及过程。
在一些实施例中,处理器将多帧车辆图像输入神经网络,输出车轮特征和车辆特征。神经网络可以为深度学习神经网络模型,例如,卷积门控循环单元(ConvolutionalGate Recurrent Unit,ConvGRU)神经网络或卷积长短期记忆(Convolutional LongShort-Term Memory,ConvLSTM)神经网络。将多帧车辆图像输入神经网络进行训练,使神经网络能够识别车轮特征和车辆特征,进而,将随时间变化的多帧行驶图像中车轮特征进行融合得到车轮的时序特征,根据车轮的时序特征确定车轮的滚动状态,辅助判断车辆的运动状态,可选地,处理器依据光流法确定获得时序特征,即采用光流表示相邻两帧图像中每个像素的运动速度和运动方向,增强前后帧的特征关联确定时序特征。
在另一些实施例中,处理器根据车轮检测框从行驶图像中提取车轮图像,车辆检测框从行驶图像中提取车辆图像,根据人工特征算子从车轮图像中提取车轮特征,从车辆图像中提取车辆特征。
示例地,提取车轮特征后,根据车轮特征确定他车的车轮的滚动状态的方法如下所述。
先将车轮与车轮所属的车辆进行关联,以保证车轮是车辆图像中待提取的车轮,而不是其余无关车辆的车轮。另外,实际场景中会出现车辆的部分车轮被遮挡、车轮个数不一致等问题,则从车辆图像中待提取的多个车轮中选取符合要求的车轮图像,以保证提取车轮特征的准确性。最后将车轮图像输入深度学习神经网络,输出车轮特征,根据车轮特征确定车轮的滚动状态。
首先,将车轮与车轮所属的车辆进行关联。计算车轮检测框与车辆检测框重合部分的面积占车轮检测框面积的比重,比重可以在0.8-1范围之内,表示车轮是车辆图像中待提取的车轮,则实现车轮与车轮所属车辆的关联,保证车轮与其所属车辆的对应。
然后,从车辆图像的多个车轮中选取符合要求的车轮图像。要求包括所检测到的物体是车轮的概率。
在一些实施例中,根据车轮长宽比、车轮检测框面积、车轮检测框在车辆检测框内位置信息以及车轮检测置信度,在多个车轮中选取车轮检测置信度最高的车轮,将此车轮的车轮检测框检测到的车轮图像输入神经网络,输出车轮特征,并将车轮辅助激活信号置为1。车轮检测置信度用于指示所检测到的物体是车轮的概率。车轮辅助激活信号用于指示是否可以利用车轮辅助判断车辆的运动状态。若车轮辅助激活信号置为1,则表明可以利用车轮辅助判断车辆的运动状态;若车轮辅助激活信号置为0,则表明不可以利用车轮辅助判断车辆的运动状态。
可选地,选取符合要求的多个车轮,将多个车轮检测框检测到的车轮图像输入深度学习神经网络,输出多个车轮图像的车轮特征,并将多个车轮的车轮辅助激活信号置为1。
最后,利用车轮特征确定车轮的滚动状态。
车轮辅助激活信号为1,根据上述阐述的融合时序特征方法,将车轮检测置信度最高的车轮的车轮特征和车辆特征进行融合得到车轮的时序特征,根据车轮的时序特征确定车轮的滚动状态,另外,基于车轮的时序特征输出车轮的滚动状态,滚动状态包括车轮静止和车轮滚动。
可选地,当多个车轮符合要求时,将多个车轮特征加权平均后得到平均车轮特征,参考上述根据车轮的时序特征确定车轮的滚动状态的方法,在此不再赘述。
步骤222、处理器根据他车的车轮的滚动状态确定他车的运动状态。
上述步骤中已确定车轮的滚动状态。当他车的车轮的滚动状态为静止时,确定他车的运动状态为静止状态;当他车的车轮的滚动状态为滚动时,确定他车的运动状态为行驶状态。
步骤230、处理器根据他车的运动状态控制自动驾驶车辆行驶。
处理器根据他车的运动状态控制自动驾驶车辆行驶或停止。运动状态包括静止状态和行驶状态。
例如,当他车的运动状态为静止状态,控制自动驾驶车辆逐渐减速,缓慢行驶至停止,从而保证自动驾驶车辆的行驶安全性。
又如,当他车的运动状态为匀速行驶状态,可以控制自动驾驶车辆保持匀速行驶。
又如,当他车的运动状态为高速行驶状态,可以控制自动驾驶车辆保持匀速行驶或加速行驶。
又如,当他车的运动状态为减速行驶状态,可以控制自动驾驶车辆保持减速行驶。
步骤240、车载电脑显示他车的运动状态和控制指示。
控制指示用于指示自动驾驶车辆行驶。自动驾驶车辆内部的车载电脑界面显示他车的运动状态和控制指示,便于用户清楚直观地获知他车的运动状态和自动驾驶车辆的行驶路线。
示例地,图3为本申请提供的一种显示他车的运动状态和控制指示的示意图。如图3所示,假设车辆100表示自动驾驶车辆,车辆200和车辆300表示他车,当红灯亮起时,车辆300缓慢行驶,车辆200停止行驶以等待红灯。车辆100内部的车载电脑148界面显示前方车辆200为静止状态,车辆300为缓慢行驶状态,控制指示为等待红灯中,缓慢行驶。
如此,通过车辆的局部特征能够明显看出车辆整体运动的差别,局部特征可以是车轮特征,通过车轮的滚动状态辅助判断车辆整体的运动状态,相比于直接判断车辆整体的运动状态直观明显,提升了车辆动静识别的准确性。
在另一种可能的实现方式中,当车辆的车轮部分被遮挡,车轮图像质量不够清晰以及车辆夜间行驶不便清晰识别车轮时,车轮辅助判断的效果不够明显,可能导致车辆动静识别的准确性降低,可以根据车辆图像的车轮特征和车辆图像的整车特征确定他车的运动状态,以提升车辆动静识别的准确性。示例地,图4为本申请提供的一种车轮辅助判断车辆运动状态的示意图。如图4所示,假设行驶图像包括车辆100道路和树木,处理器利用车轮检测框、车辆检测框从行驶图像中提取车轮图像和车辆图像,对车轮图像和车辆图像进行特征提取,得到车轮特征和车辆特征。其中,车轮滚动状态用虚线框表示,车辆运动状态用实线框表示。能够清晰识别车轮时,利用车轮的滚动状态辅助判断车辆的运动状态;无法清晰识别车轮但可以识别整车时,可以根据车辆图像的整车特征确定车辆的运动状态。
在又一种可能的实现方式中,为了进一步提升车辆动静识别的准确性,处理器根据车辆图像的车轮特征和增强特征确定他车的车轮的滚动状态。示例地,图5为本申请提供的另一种车辆动静识别方法的流程图。如图5所示,图5与图2的区别在于,步骤223,处理器根据车辆图像的车轮特征和增强特征确定他车的车轮的滚动状态。
增强特征包括自动驾驶车辆位姿变化和车辆图像的整车特征中至少一种。
在第一种可能的实现方式中,当车辆的车轮全部被遮挡,无法清晰识别车轮但可以识别整车时,无法利用车辆局部的车轮特征辅助判断,将车轮辅助激活信号置为0,处理器可以直接利用整车特征确定他车的运动状态。整车静止确定他车的运动状态为静止状态;整车行驶确定他车的运动状态为行驶状态。
无法利用车辆局部的车轮特征辅助判断时,则直接根据整车特征确定他车的运动状态,以便控制自动驾驶车辆行驶,保证自动驾驶车辆的行驶安全性。
在第二种可能的实现方式中,自动驾驶车辆在行驶过程中,对于自车与他车之间距离越来越近的情况,无法准确区分是由于他车静止自车行驶,还是他车和自车都在行驶造成的二者距离变近,从而产生运动歧义问题。
处理器可以根据车辆图像的局部特征,以及自动驾驶车辆位姿变化确定他车的运动状态。自动驾驶车辆位姿变化以运动矢量图像的形式表示,据此确定他车是静止状态还是行驶状态,解决运动歧义问题。
示例地,确定自动驾驶车辆位姿变化的方法如下,在这里以图1中传感器系统104中的定位系统122为例进行说明。
首先,定位系统获取多帧车辆图像对应的自车运动位姿。
示例地,通过传感器系统中的定位系统,跟踪自车的旋转和平移运动,获取自车运动位姿,得到自车坐标系相对于世界坐标系的旋转平移矩阵。其中,t时刻自车旋转平移矩阵为t+1时刻自车旋转平移矩阵为/>
定位系统可以有多种形式,例如,使用轮速计、方向盘转角传感器和惯性测量单元组合方案。惯性测量单元安装在车辆的重心上,通常包括陀螺仪、加速度计和算法处理单元,通过对加速度和旋转角度的测量得出自车的运动位姿。
然后,获取车辆检测框、车轮检测框以及对应的目标深度。车辆检测框用于检测他车的车辆图像中的车辆,车轮检测框用于检测他车的车辆图像中的车轮。
目标深度指车辆中心到相机光心的距离。具体地,基于单目相机进行单帧图像的3D目标检测,使用密集深度预训练3D探测器(Dense Depth-pre-trained 3D Dectector,DD3D)方案获取像素坐标系下车辆检测框、车轮检测框以及目标深度。
可选地,还可以通过车辆接地点测距的方法获取目标深度。假设相机平视,地平线穿过检测车辆中心,此方法中,利用接地点纵坐标就等价于车辆底边与地平线的距离。
最后,根据自车运动位姿,结合相机内外参数,确定像素坐标系下连续两帧自动驾驶车辆运动矢量图像。确定自动驾驶车辆运动矢量图像的方法的具体步骤如下:
1.计算t到t+1时刻相机坐标系的旋转平移矩阵如公式(1)所示。
其中,Tveh2cam表示自车坐标系到相机坐标系的转换矩阵,可以根据相机外参即相机在车辆内部的安装位置和激光测距仪测量的自动驾驶车辆中心到相机光心的距离得出。
2.将t到t+1时刻相机坐标系的旋转平移矩阵投影到像素坐标系,得到连续两帧车辆运动参数图像。具体步骤如下:
1)将t时刻像素坐标系像素点投影到相机坐标系,计算得到t时刻相机坐标系和像素坐标系投影关系,如公式(2)所示。
其中,Zt表示t时刻预设先验场景深度,先验场景表示图像中除了车辆以外的其他场景,例如,将Zt的值设置为20米。K表示相机内参矩阵,包括焦距、分辨率等参数。表示t时刻像素坐标系下投影点坐标。/>表示t时刻相机坐标系下投影点坐标。
2)根据t到t+1时刻相机坐标系的旋转平移矩阵计算得到t+1时刻相机坐标系下投影点坐标,如公式(3)所示。
其中,表示t时刻相机坐标系下投影点坐标,/>表示t到t+1时刻相机坐标系的旋转平移矩阵。
3)将t+1时刻相机坐标系下的点投影至像素坐标系,计算得到t+1时刻像素坐标系下投影点坐标,如公式(4)所示。
其中,参考公式(2)中Zt的含义,Zt+1表示t+1时刻预设先验场景深度,先验场景表示图像中除了车辆以外的其他场景,例如,将Zt+1的值设置为15米,K表示相机内参矩阵,表示t+1时刻相机坐标系下投影点坐标。/>
由公式(2)、公式(3)和公式(4),可以得到与/>的关系表达式,即t+1时刻指向t时刻像素坐标系下投影点的运动大小和方向,如公式(5)所示。
其中,Zt表示t时刻预设先验场景深度,Zt+1表示t+1时刻预设先验场景深度,K表示相机内参矩阵,表示t到t+1时刻相机坐标系的旋转平移矩阵,/>表示t时刻像素坐标系下投影点坐标。
根据公式(5)中与/>的对应关系,可以作出像素坐标系下t+1时刻指向t时刻的自动驾驶车辆运动矢量图像。叠加车辆检测框对应的目标深度获得局部真值,得到t+1时刻指向t时刻的自动驾驶车辆局部真值运动矢量图像,以体现自车位姿变化信息。
以下结合图6至图9对自动驾驶车辆位姿变化进行详细说明。
图6为本申请提供的一种车辆运动过程的示意图,假设车辆100为自动驾驶车辆,车辆200为他车。如图6中的(a)所示,表示t时刻车辆200在位置A处停止,车辆100正常行驶至道路位置B处。如图6中的(b)所示,表示t+1时刻车辆200仍在位置A处停止,车辆100由t时刻道路位置B处前进行驶至t+1时刻道路位置C处。由t时刻至t+1时刻过程中,由于车辆200在位置A处停止,车辆100从道路位置B处前进行驶至道路位置C处,造成车辆100与车辆200的距离变近。车辆200静止,控制车辆100保持当前行驶状态,并提示车辆100注意避开停车的车辆200以保证行驶安全。
图7为本申请提供的一种自动驾驶车辆位姿变化的示意图。假设车辆100为自动驾驶车辆,简称自车,车辆200为他车。如图7所示,表示t+1时刻指向t时刻的自车运动矢量图像,原点位于左上方,横、纵坐标的单位为像素。黑色箭头表示车辆100的运动矢量,整体运动矢量图像也如同图7所示,即整体运动矢量图像与自车运动矢量图像相同,所以车辆200处于静止状态。如此位姿变化关系可以表明他车静止,仅自车行驶造成的自车与他车距离变近。
图8为本申请提供的另一种车辆运动过程的示意图,以同向行驶为例,假设车辆100为自动驾驶车辆,简称自车,车辆200为他车。如图8中的(a)所示,表示t时刻车辆100正常行驶至道路位置A处,车辆200与车辆100同向行驶至道路位置B处。如图8中的(b)所示,表示车辆100由t时刻道路位置A处正常前进行驶至t+1时刻道路位置C处,车辆200由t时刻道路位置B处正常前进行驶至t+1时刻道路位置D处。由t时刻至t+1时刻车辆200和车辆100同向行驶的过程中,车辆100与车辆200的距离变近。车辆200处于同向行驶状态中,控制车辆100保持当前行驶状态,并提示车辆100注意道路前方车辆以保证行驶安全。
图9为本申请提供的另一种自动驾驶车辆位姿变化的示意图。假设车辆100为自动驾驶车辆,简称自车,车辆200为他车。如图9中的(a)所示,表示t+1时刻指向t时刻的自车和他车即整体运动矢量图像,原点位于左上方,横、纵坐标的单位为像素。如图9中的(b)所示,表示t+1时刻指向t时刻的自车运动矢量图像,原点位于左上方,横、纵坐标的单位为像素。整体的运动矢量减去自车的运动矢量,可以得到车辆200的运动矢量,车辆200处于运动状态。如此位姿变化关系可以表明他车和自车都在行驶造成的自车与他车距离变近。
参考上述步骤220根据车辆图像的局部特征确定他车的运动状态的有益效果,自动驾驶车辆位姿变化以运动矢量图像的形式表示,能够体现出运动的大小和方向,据此有效区分是由于他车静止自车行驶,还是他车和自车都在行驶造成的两者距离变近,从而避免了运动歧义问题,更好地提升车辆动静识别的准确性。
在第三种可能的实现方式中,根据车辆图像的局部特征、车辆图像的整车特征和自动驾驶车辆位姿变化确定他车的运动状态。参考上述步骤220根据车辆图像的局部特征确定他车的运动状态、根据车辆图像的整车特征确定他车的运动状态以及根据自动驾驶车辆位姿变化确定他车的运动状态的阐述内容,此实现方式能够提升车辆动静识别的准确性,以便控制自动驾驶车辆行驶,保证自动驾驶车辆的行驶安全性。
可以理解的是,为了实现上述实施例中的功能,计算设备包括了执行各个功能相应的硬件结构和/或软件模块。本领域技术人员应该很容易意识到,结合本申请中所公开的实施例描述的各示例的单元及方法步骤,本申请能够以硬件或硬件和计算机软件相结合的形式来实现。某个功能究竟以硬件还是计算机软件驱动硬件的方式来执行,取决于技术方案的特定应用场景和设计约束条件。
上文中结合图2至图9,详细描述了根据本实施例所提供的车辆动静识别方法,下面将结合图10,描述根据本申请实施例所提供的车辆动静识别装置。
图10为本申请提供的一种车辆动静识别装置的结构示意图。这些车辆动静识别装置可以用于实现上述方法实施例中处理器的功能,因此也能实现上述方法实施例所具备的有益效果。在本实施例中,该车辆动静识别装置可以是如图1所示的处理器113。
如图10所示,车辆动静识别装置1000包括采集模块1010、控制模块1020、显示模块1030和存储模块1040。车辆动静识别装置1000用于实现上述图2中所示的方法实施例中处理器的功能。
采集模块1010,用于获取自动驾驶车辆行驶过程中的多帧行驶图像,行驶图像包括自动驾驶车辆行驶过程中他车的车辆图像;例如,采集模块1010用于执行图2和图5中步骤210。
控制模块1020,用于根据车辆图像的局部特征确定他车的运动状态,运动状态包括行驶状态或静止状态。
控制模块1020,还用于根据他车的运动状态控制自动驾驶车辆行驶。例如,控制模块1020用于执行图2和图5中步骤220和步骤230。
显示模块1030,用于显示他车的运动状态和控制指示,控制指示用于指示所述自动驾驶车辆行驶。例如,显示模块1030用于执行图2和图5中步骤240。
存储模块1040,用于存储自动驾驶车辆行驶过程中他车的车辆图像。
应理解的是,本申请实施例的车辆动静识别装置1000可以通过专用集成电路(application-specific integrated circuit,ASIC)实现,或可编程逻辑器件(programmable logic device,PLD)实现,上述PLD可以是复杂程序逻辑器件(complexprogrammable logical device,CPLD),现场可编程门阵列(field-programmable gatearray,FPGA),通用阵列逻辑(generic array logic,GAL)或其任意组合。也可以通过软件实现图2和图5所示的车辆动静识别方法时,及其各个模块也可以为软件模块,车辆动静识别装置1000及其各个模块也可以为软件模块。
根据本申请实施例的车辆动静识别装置1000可对应于执行本申请实施例中描述的方法,并且车辆动静识别装置1000中的各个单元的上述和其它操作和/或功能分别为了实现图2和图5中的各个方法的相应流程,为了简洁,在此不再赘述。
图11为本申请提供的一种计算设备的结构示意图。如图11所示,计算设备1100包括处理器1110、总线1120、存储器1130、内存单元1150(也可以称为主存(main memory)单元)和通信接口1140。处理器1110、存储器1130、内存单元1150和通信接口1140通过总线1120相连。
应理解,在本实施例中,处理器1110可以是CPU,该处理器1110还可以是其他通用处理器、DSP、ASIC、FPGA或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者是任何常规的处理器等。
通信接口1140用于实现网络设备1100与外部设备或器件的通信。在本实施例中,通信接口1140用于与其他设备进行数据交互。
总线1120可以包括一通路,用于在上述组件(如处理器1110、内存单元1150和存储器1130)之间传送信息。总线1120除包括数据总线之外,还可以包括电源总线、控制总线和状态信号总线等。但是为了清楚说明起见,在图中将各种总线都标为总线1120。总线1120可以是快捷外围部件互连标准(Peripheral Component Interconnect Express,PCIe)总线,或扩展工业标准结构(extended industry standard architecture,EISA)总线、统一总线(unified bus,Ubus或UB)、计算机快速链接(compute express link,CXL)、缓存一致互联协议(cache coherent interconnect for accelerators,CCIX)等。
作为一个示例,计算设备1100可以包括多个处理器。处理器可以是一个多核(multi-CPU)处理器。这里的处理器可以指一个或多个设备、电路、和/或用于处理数据(例如计算机程序指令)的计算单元。处理器1110用于根据采集的自动驾驶车辆行驶过程中的多帧行驶图像,行驶图像包括自动驾驶车辆行驶过程中他车的车辆图像;根据车辆图像的局部特征确定他车的运动状态,运动状态包括行驶状态或静止状态;根据他车的运动状态控制自动驾驶车辆行驶。
值得说明的是,图11中仅以计算设备1100包括1个处理器1110和1个存储器1130为例,此处,处理器1110和存储器1130分别用于指示一类器件或设备,具体实施例中,可以根据业务需求确定每种类型的器件或设备的数量。
内存单元1150可以对应上述方法实施例中用于存储行驶图像、车轮图像、车辆图像等数据的存储介质。内存单元1150可以是易失性存储器或非易失性存储器,或可包括易失性和非易失性存储器两者。其中,非易失性存储器可以是只读存储器(read-onlymemory,ROM)、可编程只读存储器(programmable ROM,PROM)、可擦除可编程只读存储器(erasable PROM,EPROM)、电可擦除可编程只读存储器(electrically EPROM,EEPROM)或闪存。易失性存储器可以是随机存取存储器(random access memory,RAM),其用作外部高速缓存。通过示例性但不是限制性说明,许多形式的RAM可用,例如静态随机存取存储器(static RAM,SRAM)、动态随机存取存储器(DRAM)、同步动态随机存取存储器(synchronousDRAM,SDRAM)、双倍数据速率同步动态随机存取存储器(double data date SDRAM,DDRSDRAM)、增强型同步动态随机存取存储器(enhanced SDRAM,ESDRAM)、同步连接动态随机存取存储器(synchlink DRAM,SLDRAM)和直接内存总线随机存取存储器(direct rambusRAM,DR RAM)。
存储器1130用于存储车辆图像,可以是固态硬盘或机械硬盘。
应理解,根据本实施例的计算设备1100可对应于本实施例中的车辆处理装置1000,并可以对应于执行根据图2中的相应主体,并且车辆动静识别装置1000中的各个模块的上述和其它操作和/或功能分别为了实现图2中的相应流程,为了简洁,在此不再赘述。
本实施例中的方法步骤可以通过硬件的方式来实现,也可以由处理器执行软件指令的方式来实现。软件指令可以由相应的软件模块组成,软件模块可以被存放于随机存取存储器(random access memory,RAM)、闪存、只读存储器(read-only memory,ROM)、可编程只读存储器(programmable ROM,PROM)、可擦除可编程只读存储器(erasable PROM,EPROM)、电可擦除可编程只读存储器(electrically EPROM,EEPROM)、寄存器、硬盘、移动硬盘、CD-ROM或者本领域熟知的任何其它形式的存储介质中。一种示例性的存储介质耦合至处理器,从而使处理器能够从该存储介质读取信息,且可向该存储介质写入信息。当然,存储介质也可以是处理器的组成部分。处理器和存储介质可以位于ASIC中。另外,该ASIC可以位于计算设备中。当然,处理器和存储介质也可以作为分立组件存在于网络设备或终端设备中。
在上述实施例中,可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用软件实现时,可以全部或部分地以计算机程序产品的形式实现。所述计算机程序产品包括一个或多个计算机程序或指令。在计算机上加载和执行所述计算机程序或指令时,全部或部分地执行本申请实施例所述的流程或功能。所述计算机可以是通用计算机、专用计算机、计算机网络、网络设备、用户设备或者其它可编程装置。所述计算机程序或指令可以存储在计算机可读存储介质中,或者从一个计算机可读存储介质向另一个计算机可读存储介质传输,例如,所述计算机程序或指令可以从一个网站站点、计算机、服务器或数据中心通过有线或无线方式向另一个网站站点、计算机、服务器或数据中心进行传输。所述计算机可读存储介质可以是计算机能够存取的任何可用介质或者是集成一个或多个可用介质的服务器、数据中心等数据存储设备。所述可用介质可以是磁性介质,例如,软盘、硬盘、磁带;也可以是光介质,例如,数字视频光盘(digital video disc,DVD);还可以是半导体介质,例如,固态硬盘(solid state drive,SSD)。
以上所述,仅为本申请的具体实施方式,但本申请的保护范围并不局限于此,任何熟悉本技术领域的技术人员在本申请揭露的技术范围内,可轻易想到各种等效的修改或替换,这些修改或替换都应涵盖在本申请的保护范围之内。因此,本申请的保护范围应以权利要求的保护范围为准。
Claims (19)
1.一种车辆动静识别方法,其特征在于,包括:
获取自动驾驶车辆行驶过程中的多帧行驶图像,所述行驶图像包括所述自动驾驶车辆行驶过程中他车的车辆图像;
根据所述车辆图像的局部特征确定所述他车的运动状态,所述运动状态包括行驶状态或静止状态;
根据所述他车的运动状态控制所述自动驾驶车辆行驶。
2.根据权利要求1所述的方法,其特征在于,所述车辆图像的局部特征包括所述他车的车轮特征。
3.根据权利要求2所述的方法,其特征在于,根据所述车辆图像的局部特征确定所述他车的运动状态,包括:
根据所述车辆图像的车轮特征确定所述他车的车轮的滚动状态;
根据所述他车的车轮的滚动状态确定所述他车的运动状态。
4.根据权利要求3所述的方法,其特征在于,所述他车的车轮的滚动状态确定所述他车的运动状态,包括:
所述他车的车轮的滚动状态为静止确定所述他车的运动状态为静止状态。
5.根据权利要求3所述的方法,其特征在于,所述他车的车轮的滚动状态确定所述他车的运动状态,包括:
所述他车的车轮的滚动状态为滚动确定所述他车的运动状态为行驶状态。
6.根据权利要求1-5中任一项所述的方法,其特征在于,根据所述车辆图像的局部特征确定所述他车的运动状态,包括:
根据所述车辆图像的局部特征和增强特征确定所述他车的运动状态,所述增强特征包括自动驾驶车辆位姿变化以及车辆图像的整车特征中至少一个。
7.根据权利要求6所述的方法,其特征在于,自动驾驶车辆运动矢量图像用于表征所述自动驾驶车辆位姿变化。
8.根据权利要求1-7中任一项所述的方法,其特征在于,所述方法还包括:
显示他车的运动状态和控制指示,控制指示用于指示所述自动驾驶车辆行驶。
9.一种车辆动静识别装置,其特征在于,包括:
采集模块,用于获取自动驾驶车辆行驶过程中的多帧行驶图像,所述行驶图像包括所述自动驾驶车辆行驶过程中他车的车辆图像;
控制模块,用于根据所述车辆图像的局部特征确定所述他车的运动状态,所述运动状态包括行驶状态或静止状态;
所述控制模块,还用于根据所述他车的运动状态控制所述自动驾驶车辆行驶。
10.根据权利要求9所述的装置,其特征在于,所述控制模块根据所述车辆图像的局部特征确定所述他车的运动状态时,具体用于:
根据所述车辆图像的车轮特征确定所述他车的车轮的滚动状态;
根据所述他车的车轮的滚动状态确定所述他车的运动状态。
11.根据权利要求10所述的装置,其特征在于,所述控制模块根据所述他车的车轮的滚动状态确定所述他车的运动状态时,具体用于:
所述他车的车轮的滚动状态为静止确定所述他车的运动状态为静止状态。
12.根据权利要求10所述的装置,其特征在于,所述控制模块根据所述他车的车轮的滚动状态确定所述他车的运动状态时,具体用于:
所述他车的车轮的滚动状态为滚动确定所述他车的运动状态为行驶状态。
13.根据权利要求9-12中任一项所述的装置,其特征在于,所述控制模块根据所述车辆图像的局部特征确定所述他车的运动状态时,具体用于:
根据所述车辆图像的局部特征和增强特征确定所述他车的运动状态,所述增强特征包括所述自动驾驶车辆位姿变化以及所述车辆图像的整车特征中至少一个。
14.根据权利要求13所述的装置,其特征在于,自动驾驶车辆运动矢量图像用于表征所述自动驾驶车辆位姿变化。
15.根据权利要求9-14中任一项所述的装置,其特征在于,所述装置还包括显示模块:
所述显示模块,用于显示他车的运动状态和控制指示,控制指示用于指示所述自动驾驶车辆行驶。
16.一种车辆动静识别装置,其特征在于,所述装置包括处理器和存储器,其中,所述存储器用于存储计算机程序和指令,所述处理器用于执行所述计算机程序和指令实现如权利要求1-8中任一项所述的车辆动静识别方法。
17.一种芯片,其特征在于,包括:处理器和供电电路;其中,所述供电电路用于为所述处理器供电;所述处理器用于执行权利要求1-8中任一项所述的方法的操作步骤。
18.一种自动驾驶车辆,其特征在于,所述自动驾驶车辆包括一个或多个传感器和一个处理器,其中,所述一个或多个传感器用于采集自动驾驶车辆行驶过程中的多帧行驶图像,所述处理器用于与所述一个或多个传感器协助执行如权利要求1-8中任一项所述的车辆动静识别方法。
19.一种计算机可读存储介质,其特征在于,所述存储介质中存储有计算机程序或指令,当所述计算机程序或指令被计算机执行时,实现如权利要求1-8中任一项所述的车辆动静识别方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202211334099.XA CN117953435A (zh) | 2022-10-28 | 2022-10-28 | 车辆动静识别方法、装置、芯片及自动驾驶车辆 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202211334099.XA CN117953435A (zh) | 2022-10-28 | 2022-10-28 | 车辆动静识别方法、装置、芯片及自动驾驶车辆 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN117953435A true CN117953435A (zh) | 2024-04-30 |
Family
ID=90798910
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202211334099.XA Pending CN117953435A (zh) | 2022-10-28 | 2022-10-28 | 车辆动静识别方法、装置、芯片及自动驾驶车辆 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN117953435A (zh) |
-
2022
- 2022-10-28 CN CN202211334099.XA patent/CN117953435A/zh active Pending
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN110543814B (zh) | 一种交通灯的识别方法及装置 | |
WO2021000800A1 (zh) | 道路可行驶区域推理方法及装置 | |
EP4029750A1 (en) | Data presentation method and terminal device | |
CN113228135B (zh) | 一种盲区图像获取方法及相关终端装置 | |
CN112512887B (zh) | 一种行驶决策选择方法以及装置 | |
US20230227052A1 (en) | Fault diagnosis method and fault diagnosis device for vehicle speed measurement device | |
US20240017719A1 (en) | Mapping method and apparatus, vehicle, readable storage medium, and chip | |
CN113460033A (zh) | 一种自动泊车方法以及装置 | |
CN115042821B (zh) | 车辆控制方法、装置、车辆及存储介质 | |
CN114056347A (zh) | 车辆运动状态识别方法及装置 | |
CN114842455B (zh) | 障碍物检测方法、装置、设备、介质、芯片及车辆 | |
CN115100630B (zh) | 障碍物检测方法、装置、车辆、介质及芯片 | |
CN115221151B (zh) | 车辆数据的传输方法、装置、车辆、存储介质及芯片 | |
CN114771539B (zh) | 车辆变道决策方法、装置、存储介质及车辆 | |
CN113859265B (zh) | 一种驾驶过程中的提醒方法及设备 | |
WO2021159397A1 (zh) | 车辆可行驶区域的检测方法以及检测装置 | |
CN114862931A (zh) | 深度距离确定方法、装置、车辆、存储介质与芯片 | |
CN117953435A (zh) | 车辆动静识别方法、装置、芯片及自动驾驶车辆 | |
CN111845786B (zh) | 自动行驶策略的确定方法及装置 | |
CN115082886B (zh) | 目标检测的方法、装置、存储介质、芯片及车辆 | |
CN115115707B (zh) | 车辆落水检测方法、车辆、计算机可读存储介质及芯片 | |
CN111775962B (zh) | 自动行驶策略的确定方法及装置 | |
CN115139946B (zh) | 车辆落水检测方法、车辆、计算机可读存储介质及芯片 | |
CN115214629B (zh) | 自动泊车方法、装置、存储介质、车辆及芯片 | |
US20230256970A1 (en) | Lane Change Track Planning Method and Apparatus |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication |