CN116092056A - 目标识别方法、车辆控制方法、设备、介质及车辆 - Google Patents

目标识别方法、车辆控制方法、设备、介质及车辆 Download PDF

Info

Publication number
CN116092056A
CN116092056A CN202310205115.3A CN202310205115A CN116092056A CN 116092056 A CN116092056 A CN 116092056A CN 202310205115 A CN202310205115 A CN 202310205115A CN 116092056 A CN116092056 A CN 116092056A
Authority
CN
China
Prior art keywords
probability
recognition result
target
moment
recognition
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202310205115.3A
Other languages
English (en)
Other versions
CN116092056B (zh
Inventor
李林
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Anhui Weilai Zhijia Technology Co Ltd
Original Assignee
Anhui Weilai Zhijia Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Anhui Weilai Zhijia Technology Co Ltd filed Critical Anhui Weilai Zhijia Technology Co Ltd
Priority to CN202310205115.3A priority Critical patent/CN116092056B/zh
Publication of CN116092056A publication Critical patent/CN116092056A/zh
Application granted granted Critical
Publication of CN116092056B publication Critical patent/CN116092056B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/56Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/0098Details of control systems ensuring comfort, safety or stability not otherwise provided for
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/84Arrangements for image or video recognition or understanding using pattern recognition or machine learning using probabilistic graphical models from image or video features, e.g. Markov models or Bayesian networks
    • G06V10/85Markov-related models; Markov random fields
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/56Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G06V20/584Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads of vehicle lights or traffic lights
    • YGENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02TCLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00Road transport of goods or passengers
    • Y02T10/10Internal combustion engine [ICE] based vehicles
    • Y02T10/40Engine management systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Software Systems (AREA)
  • Automation & Control Theory (AREA)
  • General Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • Evolutionary Computation (AREA)
  • Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Probability & Statistics with Applications (AREA)
  • Human Computer Interaction (AREA)
  • Transportation (AREA)
  • Mechanical Engineering (AREA)
  • Traffic Control Systems (AREA)

Abstract

本发明涉及自动驾驶技术领域,具体提供一种目标识别方法、车辆控制方法、设备、介质及车辆,旨在解决提高目标识别准确性与时序稳定性的问题。为此目的,本发明提供的方法包括采用图像识别模型分别对每个时刻的图像帧进行目标识别,以获取目标的每种识别结果在每个时刻的概率作为观测概率,采用隐马尔可夫模型获取目标在历史时刻的每种识别结果分别转移成目标在当前时刻的每种识别结果的状态转移概率,根据状态转移概率、目标的每种识别结果分别在当前时刻与历史时刻的观测概率,获取目标的每种识别结果在当前时刻的状态概率,根据状态概率获取最终识别结果。通过上述方法可以准确获取当前时刻的识别结果,使其同时具备较高的准确性与时序稳定性。

Description

目标识别方法、车辆控制方法、设备、介质及车辆
技术领域
本发明涉及自动驾驶技术领域,具体涉及一种目标识别方法、车辆控制方法、设备、介质及车辆。
背景技术
在对车辆进行自动驾驶控制时通常会对相机采集的图像进行车位、障碍物和交通信号灯等目标进行识别,进而再根据目标的识别结果(比如目标的类别、位置和尺寸等信息)进行自动驾驶控制。为了保证识别结果的时序稳定性,需要对每帧图像的识别结果进行平滑处理,但是目前常规平滑方法的鲁棒性较差,无法兼顾识别结果的准确性与时序稳定性,最终会影响车辆的安全驾驶。
相应地,本领域需要一种新的技术方案来解决上述问题。
发明内容
为了克服上述缺陷,提出了本发明,以提供解决或至少部分地解决如何提高对图像进行目标识别的准确性与时序稳定性的技术问题的目标识别方法、车辆控制方法、设备、介质及车辆。
在第一方面,提供一种目标识别方法,所述方法包括:
采用图像识别模型分别对每个时刻的图像帧进行目标识别,以获取所述目标的每种识别结果在每个时刻的概率并分别将所述概率作为相应识别结果的观测概率;
采用隐马尔可夫模型,获取所述目标在历史时刻的每种识别结果分别转移成所述目标在当前时刻的每种识别结果的状态转移概率,以及
采用隐马尔可夫模型,根据所述状态转移概率、所述目标的每种识别结果分别在当前时刻与历史时刻的观测概率,获取所述目标的每种识别结果在当前时刻的状态概率;
根据所述目标的每种识别结果在当前时刻的状态概率,获取所述目标在当前时刻的最终识别结果。
在上述目标识别方法的一个技术方案中,“采用隐马尔可夫模型,获取所述目标在历史时刻的每种识别结果分别转移成所述目标在当前时刻的每种识别结果的状态转移概率”的步骤具体包括:
获取在当前时刻之前的多个历史时刻,并按照时间由先至后的顺序,获取所述多个历史时刻中的首个历史时刻;
采用隐马尔可夫模型,获取所述目标在首个历史时刻的每种识别结果分别转移成所述目标在当前时刻的每种识别结果的第一状态转移概率,
采用隐马尔可夫模型,在由当前时刻与所述多个历史时刻形成的时间序列中,针对每两个相邻时刻,获取所述目标在所述相邻时刻中前一时刻的每种识别结果分别转移成所述目标在所述相邻时刻中后一时刻的每种识别结果的第二状态转移概率。
在上述目标识别方法的一个技术方案中,“采用隐马尔可夫模型,根据所述状态转移概率、所述目标的每种识别结果分别在当前时刻与历史时刻的观测概率,获取所述目标的每种识别结果在当前时刻的状态概率”的步骤具体包括:
采用隐马尔可夫模型,获取所述状态转移概率、所述目标的每种识别结果在当前时刻的观测概率、所述目标的每种识别结果在历史时刻的观测概率的概率乘积;
根据所述概率乘积,获取所述目标的每种识别结果在当前时刻的状态概率。
在上述目标识别方法的一个技术方案中,“根据所述目标的每种识别结果在当前时刻的状态概率,获取所述目标在当前时刻的最终识别结果”的步骤具体包括:
根据状态概率最大的识别结果,获取所述最终识别结果。
在上述目标识别方法的一个技术方案中,在“根据所述目标的每种识别结果在当前时刻的状态概率,获取所述目标在当前时刻的最终识别结果”的步骤之后,所述方法还包括:
获取所述最终识别结果的状态概率;
根据所述状态概率,确定所述最终识别结果的置信度。
在上述目标识别方法的一个技术方案中,所述目标为交通信号灯,所述目标的识别结果为交通信号灯的颜色。
在第二方面,提供一种车辆控制方法,所述方法包括:
获取车辆前向方向的图像帧;
采用第一方面提供的目标识别方法对所述图像帧进行目标识别,以获取目标的识别结果;
根据所述识别结果,对车辆进行自动驾驶控制。
在第三方面,提供一种计算机设备,该计算机设备包括处理器和存储装置,所述存储装置适于存储多条程序代码,所述程序代码适于由所述处理器加载并运行以执行上述目标识别或车辆控制方法的技术方案中任一项技术方案所述的方法。
在第四方面,提供一种计算机可读存储介质,该计算机可读存储介质其中存储有多条程序代码,所述程序代码适于由处理器加载并运行以执行上述目标识别或车辆控制方法的技术方案中任一项技术方案所述的方法。
在第五方面,提供一种车辆,该车辆包括上述第三方面提供的计算机设备。
本发明上述一个或多个技术方案,至少具有如下一种或多种有益效果:
在实施本发明提供的目标识别方法的技术方案中,可以采用图像识别模型分别对每个时刻的图像帧进行目标识别,以获取目标的每种识别结果在每个时刻的概率并分别将概率作为相应识别结果的观测概率,然后利用隐马尔可夫模型从目标的每种识别结果中选取最佳的识别结果,保证每个时刻得到的识别结果形成的识别结果序列具有较高的时序稳定性和准确性。具体而言,可以采用隐马尔可夫模型,获取目标在历史时刻的每种识别结果分别转移成目标在当前时刻的每种识别结果的状态转移概率,并且根据状态转移概率、目标的每种识别结果分别在当前时刻与历史时刻的观测概率,获取目标的每种识别结果在当前时刻的状态概率。状态概率越高,则表明相应识别结果的可信程度越高,反之则表明相应识别结果的可信程度越低。在得到每种识别结果在当前时刻的状态概率之后,可以根据该状态概率获取目标在当前时刻的最终识别结果。
基于隐马尔可夫模型,可以同时利用当前时刻与历史时刻的识别结果,准确获取当前时刻的最终识别结果,不仅可以保证每个时刻的识别结果具有较高的准确性,还具备较高的稳定性,即同时具备了性能鲁棒性与稳定鲁棒性。
在实施本发明提供的车辆控制的技术方案中,在获取到车辆前向方向的图像帧之后,可以采用上述目标识别方法对图像帧进行目标识别,以获取目标的识别结果,进而根据识别结果对车辆进行自动驾驶控制。通过上述方法可以得到准确的目标识别结果,保证车辆自动驾驶的安全性。
附图说明
参照附图,本发明的公开内容将变得更易理解。本领域技术人员容易理解的是:这些附图仅仅用于说明的目的,而并非意在对本发明的保护范围组成限制。其中:
图1是根据本发明的一个实施例的目标识别方法的主要步骤流程示意图;
图2是根据本发明的一个实施例的获取二阶段状态转移概率的示意图;
图3是根据本发明的一个实施例的获取状态转移概率的方法的主要步骤流程示意图;
图4是根据本发明的一个实施例的采用目标识别方法识别交通信号灯颜色的主要步骤流程示意图;
图5是根据本发明的一个实施例的车辆控制方法的主要步骤流程示意图;
图6是根据本发明的一个实施例的计算机设备的主要结构示意图。
具体实施方式
下面参照附图来描述本发明的一些实施方式。本领域技术人员应当理解的是,这些实施方式仅仅用于解释本发明的技术原理,并非旨在限制本发明的保护范围。
在本发明的描述中,“处理器”可以包括硬件、软件或者两者的组合。处理器可以是中央处理器、微处理器、图像处理器、数字信号处理器或者其他任何合适的处理器。处理器具有数据和/或信号处理功能。处理器可以以软件方式实现、硬件方式实现或者二者结合方式实现。计算机可读存储介质包括任何合适的可存储程序代码的介质,比如磁碟、硬盘、光碟、闪存、只读存储器、随机存取存储器等等。
下面对本发明提供的目标识别方法的实施例进行说明。
参阅附图1,图1是根据本发明的一个实施例的目标识别方法的主要步骤流程示意图。如图1所示,本发明实施例中的目标识别方法主要包括下列步骤S101至步骤S104。
步骤S101:采用图像识别模型分别对每个时刻的图像帧进行目标识别,以获取目标的每种识别结果在每个时刻的概率并分别将概率作为相应识别结果的观测概率。
图像识别模型具备从图像帧上对目标进行识别的能力,其在对图像帧进行目标识别时会输出每种识别结果的概率,所有识别结果的概率之和为1,概率越大则表明相应识别结果的可信程度越高,反之则可信程度越低。图像识别模型可以是采用神经网络技术领域中常规的方法构建出来的,本发明实施例不对该图像识别模型的具体结构和训练方法进行限定,只要能够获取到具备上述目标识别能力的模型即可。
需要说明的是,本领域技术人员可以根据实际需求灵活地设定目标的类型、要获取的识别结果,并选取具备相应识别能力的图像识别模型,从而通过本发明提供的目标识别方法完成目标识别。例如,目标可以交通信号灯,要获取的识别结果可以是交通信号灯的颜色,图像识别模型具备从图像帧上对交通信号灯进行颜色识别的能力,在确定好上述信息后,可以通过本发明提供的目标识别方法完成对交通信号灯颜色的识别。
步骤S102:采用隐马尔可夫模型(Hidden Markov Model,HMM),获取目标在历史时刻的每种识别结果分别转移成目标在当前时刻的每种识别结果的状态转移概率。
在本发明实施例中可以根据目标的每种识别结果确定隐马尔可夫模型的状态序列。例如,目标是交通信号灯,识别结果是交通信号灯的颜色,且交通信号灯的颜色包括红、绿、黄、黑,状态序列可以是[红、绿、黄、黑]。参阅附图2,假设r1、r2、r3、r4分别表示红、绿、黄、黑,当前时刻是t2,历史时刻是t1。状态转移概率包括t1时刻的r1分别转移成t2时刻的r1、r2、r3、r4的概率,t1时刻的r2分别转移成t2时刻的r1、r2、r3、r4的概率,t1时刻的r3分别转移成t2时刻的r1、r2、r3、r4的概率,t1时刻的r4分别转移成t2时刻的r1、r2、r3、r4的概率。
需要说明的是,在本发明实施例中可以采用隐马尔可夫模型技术领域中常规的状态转移概率获取方法,来获取目标在历史时刻的每种识别结果分别转移成目标在当前时刻的每种识别结果的状态转移概率,本发明实施例不对上述方法作具体限定。
步骤S103:采用隐马尔可夫模型,根据状态转移概率、目标的每种识别结果分别在当前时刻与历史时刻的观测概率,获取目标的每种识别结果在当前时刻的状态概率。
在本发明实施例中可以采用隐马尔可夫模型技术领域中常规的状态概率获取方法,根据上述状态转移概率和观测概率,来获取目标的每种识别结果在当前时刻的状态概率,本发明实施例不对上述方法作具体限定。在一些优选实施方式中,可以采用隐马尔可夫模型,获取上述状态转移概率、目标的每种识别结果在当前时刻的观测概率、目标的每种识别结果在历史时刻的观测概率的概率乘积,根据该概率乘积获取目标的每种识别结果在当前时刻的状态概率。
继续参阅前述步骤S101中附图2的例子,假设交通信号灯在t1时刻的每种颜色分别转移成在t2时刻的每种颜色的状态转移概率是trans_prob,每种颜色在t2时刻的观测概率是current_state,每种颜色在t1时刻的观测概率是pre_state,则每种颜色在t2时刻的状态概率state_prob = pre_state * current_state * trans_prob。
步骤S104:根据目标的每种识别结果在当前时刻的状态概率,获取目标在当前时刻的最终识别结果。
识别结果的状态概率越高,则表明识别结果的可信程度越高,反之则表明识别结果的可信程度越低。因而,在本发明实施例中可以根据每种识别结果状态概率的大小,选取一种识别结果作为目标的最终识别结果。
在一些优选实施方式中,可以根据状态概率最大的识别结果,获取最终识别结果,即将状态概率最大的识别结果作为最终识别结果,从而保证当前时刻识别结果的准确性。
此外,在一些实施方式中,在得到目标在当前时刻的最终识别结果之后,还可以获取最终识别结果的状态概率,根据状态概率确定最终识别结果的置信度,即可以将状态概率作为最终识别结果的置信度。在输出当前时刻的最终识别结果的同时也输出该结果的置信度。当需要对目标的最终识别结果作进一步处理时,可以根据置信度的大小,判断最终识别结果的可信程度,进而采取不同的处理措施对最终识别结果进行处理。需要说明的是,本领域技术人员可以根据实际需求灵活地设定需要对目标的最终识别结果作进一步处理的内容以及不同处理措施的具体内容,本发明实施例不作具体限定。
通过上述步骤S101至步骤S104所述的方法,可以基于隐马尔可夫模型,并同时利用当前时刻与历史时刻的识别结果,准确获取当前时刻的最终识别结果,不仅可以保证每个时刻的识别结果具有较高的准确性,还具备较高的稳定性,克服了现有技术无法兼顾识别结果的准确性与时序稳定性的缺陷。
下面对上述步骤S102作进一步限定。
参阅附图3,在上述步骤S102的一些实施方式中可以通过下列步骤S1021至步骤S1023,来获取目标在历史时刻的每种识别结果分别转移成目标在当前时刻的每种识别结果的状态转移概率。
步骤S1021:获取在当前时刻之前的多个历史时刻,并按照时间由先至后的顺序,获取多个历史时刻中的首个历史时刻。
参阅附图2所示的例子,假设当前时刻是t2,可以获取在当前时刻之前的两个历史时刻t1和t0,t0时刻是首个历史时刻。
步骤S1022:采用隐马尔可夫模型,获取目标在首个历史时刻的每种识别结果分别转移成目标在当前时刻的每种识别结果的第一状态转移概率。
继续参阅附图2所示的例子,可以采用隐马尔可夫模型获取目标在t0时刻的每种识别结果分别转移成t2时刻的每种识别结果的第一状态转移概率pre_pre_trans_prob。
步骤S1023:采用隐马尔可夫模型,在由当前时刻与多个历史时刻形成的时间序列中,针对每两个相邻时刻,获取目标在相邻时刻中前一时刻的每种识别结果分别转移成目标在相邻时刻中后一时刻的每种识别结果的第二状态转移概率。
继续参阅附图2所示的例子,t0、t1和t2形成时间序列,t0、t1是两个相邻时刻,t1、t2是两个相邻时刻。
对于t0、t1这两个相邻时刻,可以采用隐马尔可夫模型获取目标在t0时刻的每种识别结果分别转移成目标在t1时刻的每种识别结果的第二状态转移概率pre_trans_prob。
对于t1、t2这两个相邻时刻,可以采用隐马尔可夫模型获取目标在t1时刻的每种识别结果分别转移成目标在t2时刻的每种识别结果的第二状态转移概率trans_prob。
根据前述步骤S103可知,在本发明实施例中可以根据状态转移概率、目标的每种识别结果在当前时刻的观测概率、目标的每种识别结果在历史时刻的观测概率的概率乘积,获取目标的每种识别结果在当前时刻的状态概率。此时,状态概率可以表示成state_prob = pre_pre_state*pre_state*current_state*pre_pre_trans_prob*pre_trans_prob*trans_prob。其中,pre_pre_state表示目标的每种识别结果在t0时刻的观测概率,pre_state表示目标的每种结果在t1时刻的观测概率,current_state表示目标的每种结果在t2时刻的观测概率。
在上述步骤S1021至步骤S1023中,第一状态转移概率可以表示一种状态转移阶段,第二状态转移概率可以表示另一种状态转移阶段,通过第一状态转移概率与第二状态转移概率形成了双阶段的状态转移。通过这种方式,即使位于当前时刻与首个历史时刻之间的中间历史时刻的识别结果存在误差时,也可以通过首个历史时刻进行纠正,从而保证目标识别结果在当前时刻的准确性。类似地,即使首个历史时刻的识别结果存在误差,也可以通过上述中间历史时刻的识别结果进行纠正。
下面结合附图4并以目标是交通信号灯,识别结果是交通信号灯的颜色,且颜色包括红、绿、黄、黑为例,对本发明提供的目标识别方法进行说明。如图4所示,在本发明实施例中可以通过下列步骤S201至步骤S206,对交通信号灯的颜色进行识别。
步骤S201:根据交通信号灯的颜色构造状态表达,初始化颜色的状态转移概率矩阵、初始化观测窗口的长度。
由于交通信号灯的颜色包括红、绿、黄、黑,因此状态表达可以是[红、绿、黄、黑]。
步骤S202:输入相机采集的图像帧。
步骤S203:采用图像识别模型分别对每个时刻的图像帧进行交通信号灯的颜色识别,以获取每种颜色在每个时刻的概率并分别将概率作为相应颜色的观测概率。此步骤中的图像识别模型是具备从图像帧上识别交通信号灯颜色的颜色识别模型,其可以输出交通信号灯的颜色分别为红、绿、黄、黑的概率。
步骤S204:在观测窗口内采用隐马尔可夫模型,获取每种颜色在当前时刻的状态概率。在此步骤中,根据观测窗口的长度可以获取在当前时刻之前的多个历史时刻,进而采用前述方法实施例中步骤S1021至步骤S1023所述的方法,获取第一状态转移概率和第二状态转移概率,进而获取第一、第二状态转移概率、每种颜色在当前时刻的观测概率、每种颜色在历史时刻的观测概率的概率乘积,根据这个概率乘积获取每种颜色在当前时刻的状态概率。
步骤S205:根据状态概率最大的颜色,获取交通信号灯在当前时刻的最终颜色并根据状态概率确定最终颜色的置信度。
在本发明实施例中可以采用argmax操作选取状态概率最大的颜色,将这个状态概率最大的颜色作为当前时刻的最终颜色。
例如,红、绿、黄、黑在当前时刻的状态概率分别是0.4、0.3、0.2、0.1,由于红色的状态概率最大,则当前时刻的最终颜色是红色,红色的置信度是0.4。
步骤S206:输出交通信号灯在当前时刻的最终颜色及其置信度。继续参阅步骤S205的例子,此时会输出红色和红色的置信度是0.5。
通过上述步骤S201至步骤S206所述的方法,可以准确得到交通信号灯在每个时刻的颜色。
下面对本发明提供的车辆控制方法的实施例进行说明。
参阅附图5,图5是根据本发明的一个实施例的目标识别方法的主要步骤流程示意图。如图5所示,本发明实施例中的目标识别方法主要包括下列步骤S301至步骤S303。
步骤S301:获取车辆前向方向的图像帧。
具体地,可以利用设置于车辆上且视野为车辆前向方向的相机,采集图像帧。
步骤S302:采用目标识别方法对图像帧进行目标识别,以获取目标的识别结果。此步骤中采用的目标识别方法为前述目标识别方法实施例所述的方法。
步骤S303:根据识别结果,对车辆进行自动驾驶控制。
例如,若物体是交通信号灯,在通过上述方法得到交通信号灯的颜色之后,可以根据控制车辆在这个路口进行自动驾驶。比如,直行通过这个路口。
基于上述步骤S301至步骤S303,可以利用车辆采集的图像帧准确得到车辆前方目标的识别结果,从而可以有效保证车辆驾驶的安全性。
需要指出的是,尽管上述实施例中将各个步骤按照特定的先后顺序进行了描述,但是本领域技术人员可以理解,为了实现本发明的效果,不同的步骤之间并非必须按照这样的顺序执行,其可以同时(并行)执行或以其他顺序执行,这些调整之后的方案与本发明中描述的技术方案属于等同技术方案,因此也将落入本发明的保护范围之内。
本领域技术人员能够理解的是,本发明实现上述一实施例的方法中的全部或部分流程,也可以通过计算机程序来指令相关的硬件来完成,所述的计算机程序可存储于一计算机可读存储介质中,该计算机程序在被处理器执行时,可实现上述各个方法实施例的步骤。其中,所述计算机程序包括计算机程序代码,所述计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。所述计算机可读存储介质可以包括:能够携带所述计算机程序代码的任何实体或装置、介质、U盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器、随机存取存储器、电载波信号、电信信号以及软件分发介质等。需要说明的是,所述计算机可读存储介质包含的内容可以根据司法管辖区内立法和专利实践的要求进行适当的增减,例如在某些司法管辖区,根据立法和专利实践,计算机可读存储介质不包括电载波信号和电信信号。
进一步,本发明还提供了一种计算机设备。
参阅附图6,图6是根据本发明的一个计算机设备实施例的主要结构示意图。如图6所示,本发明实施例中的计算机设备主要包括存储装置和处理器,存储装置可以被配置成存储执行上述方法实施例的目标识别或车辆控制方法的程序,处理器可以被配置成用于执行存储装置中的程序,该程序包括但不限于执行上述方法实施例的目标识别或车辆控制方法的程序。为了便于说明,仅示出了与本发明实施例相关的部分,具体技术细节未揭示的,请参照本发明实施例方法部分。
在本发明实施例中计算机设备可以是包括各种电子设备形成的控制装置设备。在一些可能的实施方式中,计算机设备可以包括多个存储装置和多个处理器。而执行上述方法实施例的目标识别或车辆控制方法的程序可以被分割成多段子程序,每段子程序分别可以由处理器加载并运行以执行上述方法实施例的目标识别或车辆控制方法的不同步骤。具体地,每段子程序可以分别存储在不同的存储装置中,每个处理器可以被配置成用于执行一个或多个存储装置中的程序,以共同实现上述方法实施例的目标识别或车辆控制方法,即每个处理器分别执行上述方法实施例的目标识别或车辆控制方法的不同步骤,来共同实现上述方法实施例的目标识别或车辆控制方法。
上述多个处理器可以是部署于同一个设备上的处理器,例如上述计算机设备可以是由多个处理器组成的高性能设备,上述多个处理器可以是该高性能设备上配置的处理器。此外,上述多个处理器也可以是部署于不同设备上的处理器,例如上述计算机设备可以是服务器集群,上述多个处理器可以是服务器集群中不同服务器上的处理器。
进一步,本发明还提供了一种计算机可读存储介质。
在根据本发明的一个计算机可读存储介质的实施例中,计算机可读存储介质可以被配置成存储执行上述方法实施例的目标识别或车辆控制方法的程序,该程序可以由处理器加载并运行以实现上述目标识别或车辆控制方法。为了便于说明,仅示出了与本发明实施例相关的部分,具体技术细节未揭示的,请参照本发明实施例方法部分。该计算机可读存储介质可以是包括各种电子设备形成的存储装置设备,可选的,本发明实施例中计算机可读存储介质是非暂时性的计算机可读存储介质。
进一步,本发明还提供了一种车辆。
在根据本发明的一个车辆的实施例中,车辆可以包括上述计算机设备实施例所述的计算机设备。在本实施例中车辆可以是自动驾驶车辆、无人车等车辆。此外,按照动力源类型划分,本实施例中车辆可以是燃油车、电动车、电能与燃油混合的混动车或使用其他新能源的车辆等。
至此,已经结合附图所示的一个实施方式描述了本发明的技术方案,但是,本领域技术人员容易理解的是,本发明的保护范围显然不局限于这些具体实施方式。在不偏离本发明的原理的前提下,本领域技术人员可以对相关技术特征作出等同的更改或替换,这些更改或替换之后的技术方案都将落入本发明的保护范围之内。

Claims (10)

1.一种目标识别方法,其特征在于,所述方法包括:
采用图像识别模型分别对每个时刻的图像帧进行目标识别,以获取所述目标的每种识别结果在每个时刻的概率并分别将所述概率作为相应识别结果的观测概率;
采用隐马尔可夫模型,获取所述目标在历史时刻的每种识别结果分别转移成所述目标在当前时刻的每种识别结果的状态转移概率,以及
采用隐马尔可夫模型,根据所述状态转移概率、所述目标的每种识别结果分别在当前时刻与历史时刻的观测概率,获取所述目标的每种识别结果在当前时刻的状态概率;
根据所述目标的每种识别结果在当前时刻的状态概率,获取所述目标在当前时刻的最终识别结果。
2.根据权利要求1所述的目标识别方法,其特征在于,“采用隐马尔可夫模型,获取所述目标在历史时刻的每种识别结果分别转移成所述目标在当前时刻的每种识别结果的状态转移概率”的步骤具体包括:
获取在当前时刻之前的多个历史时刻,并按照时间由先至后的顺序,获取所述多个历史时刻中的首个历史时刻;
采用隐马尔可夫模型,获取所述目标在首个历史时刻的每种识别结果分别转移成所述目标在当前时刻的每种识别结果的第一状态转移概率,
采用隐马尔可夫模型,在由当前时刻与所述多个历史时刻形成的时间序列中,针对每两个相邻时刻,获取所述目标在所述相邻时刻中前一时刻的每种识别结果分别转移成所述目标在所述相邻时刻中后一时刻的每种识别结果的第二状态转移概率。
3.根据权利要求1所述的目标识别方法,其特征在于,“采用隐马尔可夫模型,根据所述状态转移概率、所述目标的每种识别结果分别在当前时刻与历史时刻的观测概率,获取所述目标的每种识别结果在当前时刻的状态概率”的步骤具体包括:
采用隐马尔可夫模型,获取所述状态转移概率、所述目标的每种识别结果在当前时刻的观测概率、所述目标的每种识别结果在历史时刻的观测概率的概率乘积;
根据所述概率乘积,获取所述目标的每种识别结果在当前时刻的状态概率。
4.根据权利要求1所述的目标识别方法,其特征在于,“根据所述目标的每种识别结果在当前时刻的状态概率,获取所述目标在当前时刻的最终识别结果”的步骤具体包括:
根据状态概率最大的识别结果,获取所述最终识别结果。
5.根据权利要求1所述的目标识别方法,其特征在于,在“根据所述目标的每种识别结果在当前时刻的状态概率,获取所述目标在当前时刻的最终识别结果”的步骤之后,所述方法还包括:
获取所述最终识别结果的状态概率;
根据所述状态概率,确定所述最终识别结果的置信度。
6.根据权利要求1至5中任一项所述的目标识别方法,其特征在于,所述目标为交通信号灯,所述目标的识别结果为交通信号灯的颜色。
7.一种车辆控制方法,其特征在于,所述方法包括:
获取车辆前向方向的图像帧;
采用权利要求1至6中任一项所述的目标识别方法对所述图像帧进行目标识别,以获取目标的识别结果;
根据所述识别结果,对车辆进行自动驾驶控制。
8.一种计算机设备,包括处理器和存储装置,所述存储装置适于存储多条程序代码,其特征在于,所述程序代码适于由所述处理器加载并运行以执行权利要求1至6中任一项所述的目标识别方法,或者执行权利要求7所述的车辆控制方法。
9.一种计算机可读存储介质,其中存储有多条程序代码,其特征在于,所述程序代码适于由处理器加载并运行以执行权利要求1至6中任一项所述的目标识别方法,或者执行权利要求7所述的车辆控制方法。
10.一种车辆,其特征在于,所述车辆包括权利要求8所述的计算机设备。
CN202310205115.3A 2023-03-06 2023-03-06 目标识别方法、车辆控制方法、设备、介质及车辆 Active CN116092056B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310205115.3A CN116092056B (zh) 2023-03-06 2023-03-06 目标识别方法、车辆控制方法、设备、介质及车辆

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310205115.3A CN116092056B (zh) 2023-03-06 2023-03-06 目标识别方法、车辆控制方法、设备、介质及车辆

Publications (2)

Publication Number Publication Date
CN116092056A true CN116092056A (zh) 2023-05-09
CN116092056B CN116092056B (zh) 2023-07-07

Family

ID=86204627

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310205115.3A Active CN116092056B (zh) 2023-03-06 2023-03-06 目标识别方法、车辆控制方法、设备、介质及车辆

Country Status (1)

Country Link
CN (1) CN116092056B (zh)

Citations (26)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004117530A (ja) * 2002-09-24 2004-04-15 Advanced Telecommunication Research Institute International 音声認識システム
US20060095199A1 (en) * 2004-11-03 2006-05-04 Lagassey Paul J Modular intelligent transportation system
CN101727746A (zh) * 2009-09-18 2010-06-09 苏州大学 信号灯控制的城市道路机动车动态行程时间估计方法
CN102254087A (zh) * 2010-05-20 2011-11-23 索尼公司 数据处理设备、数据处理方法和程序
EP2395456A1 (en) * 2010-06-12 2011-12-14 Toyota Motor Europe NV/SA Methods and systems for semantic label propagation
US20130101124A1 (en) * 2010-06-29 2013-04-25 France Telecom Method and device for detecting acoustic shocks
US20130197890A1 (en) * 2010-11-18 2013-08-01 Sony Corporation Data processing device, data processing method, and program
CN104408924A (zh) * 2014-12-04 2015-03-11 深圳北航新兴产业技术研究院 一种基于耦合隐马尔可夫模型的城市道路异常交通流检测方法
CN104469798A (zh) * 2014-12-12 2015-03-25 重庆邮电大学 一种基于马尔可夫链的通信网络负载状态信息预测方法
US20160125305A1 (en) * 2014-11-04 2016-05-05 Utah State University Statistical model for systems incorporating history information
JP2016151840A (ja) * 2015-02-17 2016-08-22 日本電信電話株式会社 行動予測装置、行動予測方法及び行動予測プログラム
CN106296743A (zh) * 2016-08-23 2017-01-04 常州轻工职业技术学院 一种自适应运动目标跟踪方法及无人机跟踪系统
CN106530715A (zh) * 2016-12-24 2017-03-22 浙江工业大学 基于模糊马尔可夫过程的路网交通状态预测方法
US20170297576A1 (en) * 2016-03-31 2017-10-19 Faraday&Future Inc. State-based operation for autonomous vehicles
US20180181884A1 (en) * 2016-12-22 2018-06-28 Urban Software Institute GmbH Computer system and method for determining reliable vehicle control instructions
WO2019047593A1 (zh) * 2017-09-05 2019-03-14 百度在线网络技术(北京)有限公司 处理自动驾驶训练数据的方法和装置
WO2019114432A1 (zh) * 2017-12-13 2019-06-20 腾讯科技(深圳)有限公司 路况生成方法、装置、设备和存储介质
US20190286921A1 (en) * 2018-03-14 2019-09-19 Uber Technologies, Inc. Structured Prediction Crosswalk Generation
CN110503943A (zh) * 2018-05-17 2019-11-26 蔚来汽车有限公司 一种语音交互方法以及语音交互系统
CN111582030A (zh) * 2020-04-02 2020-08-25 北京百度网讯科技有限公司 红绿灯的识别方法、装置、电子设备和计算机存储介质
CN111861587A (zh) * 2020-08-04 2020-10-30 上海积成能源科技有限公司 一种基于隐马尔可夫模型和向前算法的居民用电行为分析的系统及方法
CN113223305A (zh) * 2021-03-26 2021-08-06 中南大学 基于强化学习的多路口交通灯控制方法、系统及存储介质
US20210350335A1 (en) * 2020-05-11 2021-11-11 Saudi Arabian Oil Company Systems and methods for automatic generation of drilling schedules using machine learning
CN115447600A (zh) * 2022-11-08 2022-12-09 蔚来汽车科技(安徽)有限公司 基于深度学习的车辆防拥堵方法、控制器和存储介质
CN115512558A (zh) * 2022-09-09 2022-12-23 同济大学 一种基于多智能体强化学习的交通灯信号控制方法
US20220414763A1 (en) * 2021-06-23 2022-12-29 Affirm, Inc. System, Method and Apparatus for Modeling Loan Transitions

Patent Citations (26)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004117530A (ja) * 2002-09-24 2004-04-15 Advanced Telecommunication Research Institute International 音声認識システム
US20060095199A1 (en) * 2004-11-03 2006-05-04 Lagassey Paul J Modular intelligent transportation system
CN101727746A (zh) * 2009-09-18 2010-06-09 苏州大学 信号灯控制的城市道路机动车动态行程时间估计方法
CN102254087A (zh) * 2010-05-20 2011-11-23 索尼公司 数据处理设备、数据处理方法和程序
EP2395456A1 (en) * 2010-06-12 2011-12-14 Toyota Motor Europe NV/SA Methods and systems for semantic label propagation
US20130101124A1 (en) * 2010-06-29 2013-04-25 France Telecom Method and device for detecting acoustic shocks
US20130197890A1 (en) * 2010-11-18 2013-08-01 Sony Corporation Data processing device, data processing method, and program
US20160125305A1 (en) * 2014-11-04 2016-05-05 Utah State University Statistical model for systems incorporating history information
CN104408924A (zh) * 2014-12-04 2015-03-11 深圳北航新兴产业技术研究院 一种基于耦合隐马尔可夫模型的城市道路异常交通流检测方法
CN104469798A (zh) * 2014-12-12 2015-03-25 重庆邮电大学 一种基于马尔可夫链的通信网络负载状态信息预测方法
JP2016151840A (ja) * 2015-02-17 2016-08-22 日本電信電話株式会社 行動予測装置、行動予測方法及び行動予測プログラム
US20170297576A1 (en) * 2016-03-31 2017-10-19 Faraday&Future Inc. State-based operation for autonomous vehicles
CN106296743A (zh) * 2016-08-23 2017-01-04 常州轻工职业技术学院 一种自适应运动目标跟踪方法及无人机跟踪系统
US20180181884A1 (en) * 2016-12-22 2018-06-28 Urban Software Institute GmbH Computer system and method for determining reliable vehicle control instructions
CN106530715A (zh) * 2016-12-24 2017-03-22 浙江工业大学 基于模糊马尔可夫过程的路网交通状态预测方法
WO2019047593A1 (zh) * 2017-09-05 2019-03-14 百度在线网络技术(北京)有限公司 处理自动驾驶训练数据的方法和装置
WO2019114432A1 (zh) * 2017-12-13 2019-06-20 腾讯科技(深圳)有限公司 路况生成方法、装置、设备和存储介质
US20190286921A1 (en) * 2018-03-14 2019-09-19 Uber Technologies, Inc. Structured Prediction Crosswalk Generation
CN110503943A (zh) * 2018-05-17 2019-11-26 蔚来汽车有限公司 一种语音交互方法以及语音交互系统
CN111582030A (zh) * 2020-04-02 2020-08-25 北京百度网讯科技有限公司 红绿灯的识别方法、装置、电子设备和计算机存储介质
US20210350335A1 (en) * 2020-05-11 2021-11-11 Saudi Arabian Oil Company Systems and methods for automatic generation of drilling schedules using machine learning
CN111861587A (zh) * 2020-08-04 2020-10-30 上海积成能源科技有限公司 一种基于隐马尔可夫模型和向前算法的居民用电行为分析的系统及方法
CN113223305A (zh) * 2021-03-26 2021-08-06 中南大学 基于强化学习的多路口交通灯控制方法、系统及存储介质
US20220414763A1 (en) * 2021-06-23 2022-12-29 Affirm, Inc. System, Method and Apparatus for Modeling Loan Transitions
CN115512558A (zh) * 2022-09-09 2022-12-23 同济大学 一种基于多智能体强化学习的交通灯信号控制方法
CN115447600A (zh) * 2022-11-08 2022-12-09 蔚来汽车科技(安徽)有限公司 基于深度学习的车辆防拥堵方法、控制器和存储介质

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
YAN ZHAO ET AL.: "A hidden Markov model for the estimation of correlated queues in probe vehicle environments", 《TRANSPORTATION RESEARCH PART C: EMERGING TECHNOLOGIES》, vol. 128 *
杜世平;: "对经典隐马尔可夫模型学习算法的改进", 高等数学研究, no. 04 *
王秀坤;王宇宁;陈浩;: "基于改进的隐马尔可夫模型的网页预取", 吉林大学学报(信息科学版), no. 01 *

Also Published As

Publication number Publication date
CN116092056B (zh) 2023-07-07

Similar Documents

Publication Publication Date Title
CN111507460B (zh) 为了提供自动停车系统检测停车空间的方法和装置
EP3985639B1 (en) Vehicle control method, apparatus, electronic device and vehicle
WO2019094094A1 (en) Part identification using a locally learned threedimensional (3d) landmark database
CN109606384B (zh) 车辆控制方法、装置、设备和存储介质
CN111178357B (zh) 车牌识别方法、系统、设备和存储介质
CN111295666A (zh) 一种车道线检测方法、装置、控制设备及存储介质
US20200349369A1 (en) Method and apparatus for training traffic sign idenfication model, and method and apparatus for identifying traffic sign
US20210334553A1 (en) Image-based lane detection and ego-lane recognition method and apparatus
CN116486076A (zh) 一种遥感图像语义分割方法、系统、设备及存储介质
EP4276696A1 (en) Method, device, autonomous driving system and storage medium for multi-task target detection
EP4279950A1 (en) Fault diagnosis and handling method for vehicle-mounted laser radar, apparatus, medium and vehicle
CN111291749B (zh) 手势识别方法、装置及机器人
CN116092056B (zh) 目标识别方法、车辆控制方法、设备、介质及车辆
US20210156697A1 (en) Method and device for image processing and mobile apparatus
CN111985471A (zh) 一种车牌定位方法、装置及存储介质
CN116643252A (zh) 一种车辆充电接口的定位方法、装置和存储介质
CN116665878A (zh) 改善累计误差的智能问诊方法、装置、设备及存储介质
CN114821533A (zh) 图像特征提取方法、图像识别方法、设备、介质及车辆
CN115205846A (zh) 三维目标检测方法、计算机设备、存储介质及车辆
CN109299652B (zh) 一种用于图像定位的模型训练方法、图像定位方法及装置
CN115984827B (zh) 点云感知方法、计算机设备及计算机可读存储介质
CN116189126A (zh) 场景识别方法、计算机设备、计算机可读存储介质及车辆
CN112016513A (zh) 视频语义分割方法、模型训练方法、相关装置及电子设备
CN117114141B (zh) 模型训练的方法、评估方法、计算机设备及存储介质
CN111382733A (zh) 多通道集装箱号识别方法、装置和系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant