CN112307833A - 识别智能行驶设备的行驶状态的方法及装置、设备 - Google Patents

识别智能行驶设备的行驶状态的方法及装置、设备 Download PDF

Info

Publication number
CN112307833A
CN112307833A CN201910702893.7A CN201910702893A CN112307833A CN 112307833 A CN112307833 A CN 112307833A CN 201910702893 A CN201910702893 A CN 201910702893A CN 112307833 A CN112307833 A CN 112307833A
Authority
CN
China
Prior art keywords
state
determining
intelligent
image
indicator lamp
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201910702893.7A
Other languages
English (en)
Inventor
陈锦生
蒋沁宏
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhejiang Shangtang Technology Development Co Ltd
Zhejiang Sensetime Technology Development Co Ltd
Original Assignee
Zhejiang Shangtang Technology Development Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhejiang Shangtang Technology Development Co Ltd filed Critical Zhejiang Shangtang Technology Development Co Ltd
Priority to CN201910702893.7A priority Critical patent/CN112307833A/zh
Priority to KR1020207036574A priority patent/KR20210015861A/ko
Priority to SG11202013001RA priority patent/SG11202013001RA/en
Priority to JP2020567963A priority patent/JP7074896B2/ja
Priority to PCT/CN2019/121057 priority patent/WO2021017341A1/zh
Priority to US17/124,940 priority patent/US20210103746A1/en
Publication of CN112307833A publication Critical patent/CN112307833A/zh
Priority to JP2022077972A priority patent/JP2022105569A/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G06V20/584—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads of vehicle lights or traffic lights

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Multimedia (AREA)
  • Data Mining & Analysis (AREA)
  • Mathematical Physics (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Molecular Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Databases & Information Systems (AREA)
  • Medical Informatics (AREA)
  • Image Analysis (AREA)
  • Lighting Device Outwards From Vehicle And Optical Signal (AREA)
  • Mechanical Engineering (AREA)
  • Traffic Control Systems (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

本申请实施例提供一种识别智能行驶设备的行驶状态的方法及装置、设备，其中，根据包含智能行驶设备的待处理图像确定所述智能行驶设备的主体朝向；根据所述待处理图像确定所述智能行驶设备包括的第一行驶状态指示灯的状态；根据所述主体朝向以及所述第一行驶状态指示灯的状态，确定所述智能行驶设备的行驶状态。

Description

识别智能行驶设备的行驶状态的方法及装置、设备
技术领域
本申请实施例涉及自动驾驶技术领域，涉及但不限于识别智能行驶设备的行驶状态的方法及装置、设备。
背景技术
车灯状态识别是自动驾驶中的一个部分，通过车灯状态的识别，可以判别周围的智能行驶设备可能的状态，如左右转向、刹车等。这对于自动驾驶的决策起着辅助作用。
发明内容
有鉴于此，本申请实施例提供识别智能行驶设备的行驶状态的方法及装置、设备。
本申请实施例的技术方案是这样实现的：
本申请实施例提供一种识别智能行驶设备的行驶状态的方法，所述方法包括：
根据包含智能行驶设备的待处理图像确定所述智能行驶设备的主体朝向；
根据所述待处理图像确定所述智能行驶设备包括的第一行驶状态指示灯的状态；
根据所述主体朝向以及所述第一行驶状态指示灯的状态，确定所述智能行驶设备的行驶状态。
在上述方法中，所述根据所述主体朝向以及所述第一行驶状态指示灯的状态，确定所述智能行驶设备的行驶状态，包括：
响应于所述主体朝向为面向所述待处理图像的获取设备的方向，根据设置在所述智能行驶设备前部的第一行驶状态指示灯的状态，确定所述智能行驶设备的行驶状态。
在上述方法中，根据所述主体朝向以及所述第一行驶状态指示灯的状态，确定所述智能行驶设备的行驶状态，包括：
响应于所述主体朝向为背向所述待处理图像的获取设备的方向，根据设置在所述智能行驶设备后部的第一行驶状态指示灯的状态，确定所述智能行驶设备的行驶状态。
在上述方法中，所述智能行驶设备还包括第二行驶状态指示灯，所述第二行驶状态指示灯用于指示所述智能行驶设备是否处于制动状态；
在根据所述待处理图像确定所述智能行驶设备包括的第一行驶状态指示灯的状态之前，所述方法还包括：
根据所述待处理图像确定所述第二行驶状态指示灯的状态；
所述根据所述待处理图像确定所述智能行驶设备包括的第一行驶状态指示灯的状态，包括：
响应于所述第二行驶状态指示灯的状态为暗，根据所述待处理图像确定所述智能行驶设备包括的第一行驶状态指示灯的状态。
在上述方法中，在根据所述待处理图像确定所述第二行驶状态指示灯的状态之后，所述方法还包括：
响应于所述第二行驶状态指示灯的状态为亮，确定所述智能行驶设备处于制动状态。
在上述方法中，所述待处理图像为连续多帧待处理图像；
根据所述待处理图像确定所述智能行驶设备的主体朝向，包括：
根据所述连续多帧待处理图像中的每一帧待处理图像确定所述智能行驶设备的主体朝向；
根据由每一帧待处理图像确定的所述智能行驶设备的主体朝向，确定所述智能行驶设备的主体朝向；
根据所述待处理图像确定所述智能行驶设备包括的第一行驶状态指示灯的状态，包括：
根据所述连续多帧待处理图像中的每一帧待处理图像确定所述第一行驶状态指示灯的状态；
根据由每一帧待处理图像确定的所述第一行驶状态指示灯的状态，确定所述第一行驶状态指示灯的状态。
在上述方法中，所述根据所述待处理图像确定所述智能行驶设备的主体朝向，包括：
确定所述智能行驶设备的主体在所述待处理图像中占据的第一图像区域；
根据所述第一图像区域中的图像，确定所述智能行驶设备的主体朝向。
在上述方法中，所述根据所述待处理图像确定所述智能行驶设备包括的第一行驶状态指示灯的状态，包括：
确定所述智能行驶设备的第一行驶状态指示灯在所述待处理图像中占据的第二图像区域；
根据所述第二图像区域中的图像，确定所述第一行驶状态指示灯的状态。
在上述方法中，所述根据所述待处理图像确定所述第二行驶状态指示灯的状态，包括：
确定所述智能行驶设备的第二行驶状态指示灯在所述待处理图像中占据的第三图像区域；
根据所述第三图像区域中的图像，确定所述第二行驶状态指示灯的状态。
在上述方法中，所述识别智能行驶设备的行驶状态的方法由神经网络实现；根据包含智能行驶设备的待处理图像确定所述智能行驶设备的主体朝向，包括：
利用所述神经网络从所述待处理图像中提取特征图；
所述神经网络根据提取到的特征图确定所述智能行驶设备的主体朝向；
根据所述主体朝向以及所述第一行驶状态指示灯的状态，确定所述智能行驶设备的行驶状态，包括：
响应于所述主体朝向为面向所述待处理图像的获取设备的方向，利用所述神经网络中的第一分支根据所述特征图确定设置在所述智能行驶设备前部的第一行驶状态指示灯的状态，并根据确定的设置在所述智能行驶设备前部的第一行驶状态指示灯的状态确定所述智能行驶设备的行驶状态；
响应于所述主体朝向为背向所述待处理图像的获取设备的方向，利用所述神经网络中的第二分支根据所述特征图确定设置在所述智能行驶设备后部的第一行驶状态指示灯的状态，并根据确定的设置在所述智能行驶设备后部的第一行驶状态指示灯的状态确定所述智能行驶设备的行驶状态。
在上述方法中，根据所述待处理图像确定所述第二行驶状态指示灯的状态，包括：
所述神经网络根据提取到的特征图确定所述第二行驶状态指示灯的状态；
响应于所述第二行驶状态指示灯的状态为亮，确定所述智能行驶设备处于制动状态；
响应于所述主体朝向为面向所述待处理图像的获取设备的方向，利用所述神经网络中的第一分支根据所述特征图确定设置在所述智能行驶设备前部的第一行驶状态指示灯的状态，并根据确定的设置在所述智能行驶设备前部的第一行驶状态指示灯的状态确定所述智能行驶设备的行驶状态，包括：
响应于所述主体朝向为面向所述待处理图像的获取设备的方向且所述第二行驶状态指示灯的状态为暗，利用所述神经网络中的第一分支根据所述特征图确定设置在所述智能行驶设备前部的第一行驶状态指示灯的状态，并根据确定的设置在所述智能行驶设备前部的第一行驶状态指示灯的状态确定所述智能行驶设备的行驶状态；
响应于所述主体朝向为背向所述待处理图像的获取设备的方向，利用所述神经网络中的第二分支根据所述特征图确定设置在所述智能行驶设备后部的第一行驶状态指示灯的状态，并根据确定的设置在所述智能行驶设备后部的第一行驶状态指示灯的状态确定所述智能行驶设备的行驶状态，包括：
响应于所述主体朝向为背向所述待处理图像的获取设备的方向且所述第二行驶状态指示灯的状态为暗，利用所述神经网络中的第二分支根据所述特征图确定设置在所述智能行驶设备后部的第一行驶状态指示灯的状态，并根据确定的设置在所述智能行驶设备后部的第一行驶状态指示灯的状态确定所述智能行驶设备的行驶状态。
在上述方法中，所述神经网络采用以下步骤训练得到：
根据包含智能行驶设备的样本图像确定所述智能行驶设备的主体朝向；
响应于所述主体朝向为面向所述样本图像的获取设备的方向，利用所述神经网络中的第一分支确定设置在所述智能行驶设备前部的第一行驶状态指示灯的状态，并根据确定的设置在所述智能行驶设备前部的第一行驶状态指示灯的状态确定所述智能行驶设备的行驶状态；
响应于所述主体朝向为背向所述样本图像的获取设备的方向，利用所述神经网络中的第二分支确定设置在所述智能行驶设备后部的第一行驶状态指示灯的状态，并根据确定的设置在所述智能行驶设备后部的第一行驶状态指示灯的状态确定所述智能行驶设备的行驶状态；
根据确定的所述主体朝向、标注的所述主体朝向、确定的第一行驶状态指示灯的状态、标注的第一行驶状态指示灯的状态调整神经网络的网络参数值。
本申请实施例提供一种识别智能行驶设备的行驶状态的装置，所述装置包括：
第一确定模块，用于根据包含智能行驶设备的待处理图像确定所述智能行驶设备的主体朝向；
第二确定模块，用于根据所述待处理图像确定所述智能行驶设备包括的第一行驶状态指示灯的状态；
第三确定模块，用于根据所述主体朝向以及所述第一行驶状态指示灯的状态，确定所述智能行驶设备的行驶状态。
在上述装置中，所述第三确定模块，包括：
第一确定子模块，用于响应于所述主体朝向为面向所述待处理图像的获取设备的方向，根据设置在所述智能行驶设备前部的第一行驶状态指示灯的状态，确定所述智能行驶设备的行驶状态。
在上述装置中，所述第三确定模块，包括：
第二确定子模块，用于响应于所述主体朝向为背向所述待处理图像的获取设备的方向，根据设置在所述智能行驶设备后部的第一行驶状态指示灯的状态，确定所述智能行驶设备的行驶状态。
在上述装置中，所述智能行驶设备还包括第二行驶状态指示灯，所述第二行驶状态指示灯用于指示所述智能行驶设备是否处于制动状态；
所述装置还包括：
第四确定模块，用于在根据所述待处理图像确定所述智能行驶设备包括的第一行驶状态指示灯的状态之前，根据所述待处理图像确定所述第二行驶状态指示灯的状态；
所述第二确定模块，包括：
第三确定子模块，用于响应于所述第二行驶状态指示灯的状态为暗，根据所述待处理图像确定所述智能行驶设备包括的第一行驶状态指示灯的状态。
在上述装置中，所述装置还包括：
第五确定模块，用于在根据所述待处理图像确定所述第二行驶状态指示灯的状态之后，响应于所述第二行驶状态指示灯的状态为亮，确定所述智能行驶设备处于制动状态。
在上述装置中，所述待处理图像为连续多帧待处理图像；
第一确定模块，包括：
第四确定子模块，用于根据所述连续多帧待处理图像中的每一帧待处理图像确定所述智能行驶设备的主体朝向；
第五确定子模块，用于根据由每一帧待处理图像确定的所述智能行驶设备的主体朝向，确定所述智能行驶设备的主体朝向；
第二确定模块，包括：
第六确定子模块，用于根据所述连续多帧待处理图像中的每一帧待处理图像确定所述第一行驶状态指示灯的状态；
第七确定子模块，用于根据由每一帧待处理图像确定的所述第一行驶状态指示灯的状态，确定所述第一行驶状态指示灯的状态。
在上述装置中，所述第一确定模块，包括：
第八确定子模块，用于确定所述智能行驶设备的主体在所述待处理图像中占据的第一图像区域；
第九确定子模块，用于根据所述第一图像区域中的图像，确定所述智能行驶设备的主体朝向。
在上述装置中，所述第二确定模块，包括：
第十确定子模块，用于确定所述智能行驶设备的第一行驶状态指示灯在所述待处理图像中占据的第二图像区域；
第十一确定子模块，用于根据所述第二图像区域中的图像，确定所述第一行驶状态指示灯的状态。
在上述装置中，所述第四确定模块，包括：
第十二确定子模块，用于确定所述智能行驶设备的第二行驶状态指示灯在所述待处理图像中占据的第三图像区域；
第十三确定子模块，用于根据所述第三图像区域中的图像，确定所述第二行驶状态指示灯的状态。
在上述装置中，所述识别智能行驶设备的行驶状态的方法由神经网络实现；所述第一确定模块，包括：
第一提取子模块，用于利用所述神经网络从所述待处理图像中提取特征图；
第十四确定子模块，用于利用所述神经网络，根据提取到的特征图确定所述智能行驶设备的主体朝向；
第三确定模块，包括：
第十五确定子模块，用于响应于所述主体朝向为面向所述待处理图像的获取设备的方向，利用所述神经网络中的第一分支根据所述特征图确定设置在所述智能行驶设备前部的第一行驶状态指示灯的状态，并根据确定的设置在所述智能行驶设备前部的第一行驶状态指示灯的状态确定所述智能行驶设备的行驶状态；
第十六确定子模块，用于响应于所述主体朝向为背向所述待处理图像的获取设备的方向，利用所述神经网络中的第二分支根据所述特征图确定设置在所述智能行驶设备后部的第一行驶状态指示灯的状态，并根据确定的设置在所述智能行驶设备后部的第一行驶状态指示灯的状态确定所述智能行驶设备的行驶状态。
在上述装置中，第四确定模块，包括：
第十七确定子模块，用于采用所述神经网络，根据提取到的特征图确定所述第二行驶状态指示灯的状态；
第十八确定子模块，用于响应于所述第二行驶状态指示灯的状态为亮，确定所述智能行驶设备处于制动状态；
所述第十五确定子模块，包括：
第一确定单元，用于响应于所述主体朝向为面向所述待处理图像的获取设备的方向且所述第二行驶状态指示灯的状态为暗，利用所述神经网络中的第一分支根据所述特征图确定设置在所述智能行驶设备前部的第一行驶状态指示灯的状态，并根据确定的设置在所述智能行驶设备前部的第一行驶状态指示灯的状态确定所述智能行驶设备的行驶状态；
所述第十六确定子模块，包括：
第二确定单元，用于响应于所述主体朝向为背向所述待处理图像的获取设备的方向且所述第二行驶状态指示灯的状态为暗，利用所述神经网络中的第二分支根据所述特征图确定设置在所述智能行驶设备后部的第一行驶状态指示灯的状态，并根据确定的设置在所述智能行驶设备后部的第一行驶状态指示灯的状态确定所述智能行驶设备的行驶状态。
在上述装置中，所述装置还包括训练模块，用于对所述神经网络进行训练，所述训练模块，包括：
第十九确定子模块，用于根据包含智能行驶设备的样本图像确定所述智能行驶设备的主体朝向；
第二十确定子模块，用于响应于所述主体朝向为面向所述样本图像的获取设备的方向，利用所述神经网络中的第一分支确定设置在所述智能行驶设备前部的第一行驶状态指示灯的状态，并根据确定的设置在所述智能行驶设备前部的第一行驶状态指示灯的状态确定所述智能行驶设备的行驶状态；
第二十一确定子模块，用于响应于所述主体朝向为背向所述样本图像的获取设备的方向，利用所述神经网络中的第二分支确定设置在所述智能行驶设备后部的第一行驶状态指示灯的状态，并根据确定的设置在所述智能行驶设备后部的第一行驶状态指示灯的状态确定所述智能行驶设备的行驶状态；
第一调整子模块，用于根据确定的所述主体朝向、标注的所述主体朝向、确定的第一行驶状态指示灯的状态、标注的第一行驶状态指示灯的状态调整神经网络的网络参数值。
本申请实施例提供一种计算机存储介质，所述计算机存储介质上存储有计算机可执行指令，该计算机可执行指令被执行后，能够实现本申请实施例提供的识别智能行驶设备的行驶状态的方法中的步骤。
本申请实施例提供一种计算机设备，所述计算机设备包括存储器和处理器，所述存储器上存储有计算机可执行指令，所述处理器运行所述存储器上的计算机可执行指令时可实现本申请实施例提供的识别智能行驶设备的行驶状态的方法中的步骤。
本申请实施例提供一种识别智能行驶设备的行驶状态的方法及装置、设备，其中，首先根据包含智能行驶设备的待处理图像确定所述智能行驶设备的主体朝向；然后，根据所述待处理图像确定所述智能行驶设备包括的第一行驶状态指示灯的状态；最后，根据所述主体朝向以及所述第一行驶状态指示灯的状态，确定所述智能行驶设备的行驶状态；如此，通过将识别智能行驶设备的行驶状态的任务细分为多个子任务，首先对智能行驶设备的主体朝向的识别以及对智能行驶设备上的第一行驶状态指示灯的状态的识别，然后将两个识别结果结合起来来确定智能行驶设备的行驶状态，从而降低识别智能行驶设备的行驶状态的任务的难度，以提高智能行驶设备的行驶状态识别的准确度。
附图说明
图1A为本申请实施例识别智能行驶设备的行驶状态的方法的实现流程示意图；
图1B为本申请实施例识别智能行驶设备的行驶状态的方法的又一实现流程示意图；
图1C为本申请实施例识别智能行驶设备的行驶状态的方法的另一实现流程示意图；
图2A为本申请实施例识别智能行驶设备的行驶状态的方法的另一实现流程示意图；
图2B为本申请实施例识别智能行驶设备的行驶状态的方法的再一实现流程示意图；
图2C为本申请实施例智能行驶设备的场景图；
图2D为本申请实施例神经网络训练方法的另一实现流程示意图
图3为本申请实施例神经网络训练方法的再一实现流程示意图；
图4为本申请实施例识别智能行驶设备的行驶状态装置组成结构示意图；
图5为本申请实施例计算机设备的组成结构示意图。
具体实施方式
为使本申请实施例的目的、技术方案和优点更加清楚，下面将结合本申请实施例中的附图，对发明的具体技术方案做进一步详细描述。以下实施例用于说明本申请，但不用来限制本申请的范围。
本实施例提出一种识别智能行驶设备的行驶状态的方法应用于计算机设备，所述计算机设备可包括智能行驶设备或不智能行驶设备，该方法所实现的功能可以通过计算机设备中的处理器调用程序代码来实现，当然程序代码可以保存在计算机存储介质中，可见，该计算机设备至少包括处理器和存储介质。
图1A为本申请实施例识别智能行驶设备的行驶状态的方法的实现流程示意图，如图1A所示，结合如图1A所示方法进行说明：
步骤S101，根据包含智能行驶设备的待处理图像确定所述智能行驶设备的主体朝向。
在一些可能的实现方式中，所述智能行驶设备包括：各种各样功能的智能行驶设备、各种轮数的智能行驶设备等、机器人、飞行器、导盲器、智能家居设备或智能玩具等。所述待处理图像可以是连续的多帧图像，比如，智能行驶设备为车辆，待处理图像可以是，在车辆行驶的1秒(s)内，采集的连续的多帧包含车辆的图像，也可以是非连续的多帧包含车辆的图像。在本申请实施例中，以所述智能行驶设备为车辆为例来说明。智能行驶设备的主体朝向包括：面向所述待处理图像的获取设备的方向，可以理解为该待处理图像呈现的是车辆头部，即用户通过该待处理图像可以看到车辆头部；或者，背向所述待处理图像的获取设备的方向，可以理解为该待处理图像呈现的是车辆尾部，即用户通过该待处理图像可以看到车尾。
步骤S102，根据所述待处理图像确定所述智能行驶设备包括的第一行驶状态指示灯的状态。
对该车辆的主体朝向进行分类；第一行驶状态指示灯用于指示所述智能行驶设备处于以下状态中的一种：制动状态、转向状态、后退状态、或非正常状态等。在一个具体例子中，在第一行驶状态指示灯位于车辆的前部的情况下，那么第一行驶状态指示灯可以是转向灯等，在转向灯亮的情况下，确定该车辆即将转向或处于转向过程；在第一行驶状态指示灯位于车辆的后部的情况下，第一行驶指示灯可以是刹车灯、倒车灯或者转向灯等，根据车灯亮的状态，即可确定车辆的行驶状态，比如，倒车灯亮的情况下，说明车辆处于倒车状态；刹车灯亮的情况下，说明车辆处于制动状态；照明灯亮表示车辆处于行驶状态；示廓灯亮表示车辆处于行驶状态。
步骤S103，根据所述主体朝向以及所述第一行驶状态指示灯的状态，确定所述智能行驶设备的行驶状态。
在一些可能的实现方式中，所述步骤S103包括以下两种情况：
一是，响应于所述主体朝向为面向所述待处理图像的获取设备的方向，根据设置在所述智能行驶设备前部的第一行驶状态指示灯的状态，确定所述智能行驶设备的行驶状态。
在一个具体例子中，主体朝向为面向所述待处理图像的获取设备的方向，说明该待处理图像呈现的是智能行驶设备的头部，以车辆为例，从待处理图像上能够看到的是位于车辆头部的灯，比如，转向灯、示廓灯或者照明灯等。基于车辆前部的灯，确定车辆的行驶状态，比如，车辆的转向灯是左暗右亮，说明车辆即将或者正在向右转向。
二是，响应于所述主体朝向为背向所述待处理图像的获取设备的方向，根据设置在所述智能行驶设备后部的第一行驶状态指示灯的状态，确定所述智能行驶设备的行驶状态。
在一个具体例子中，主体朝向为背向所述待处理图像的获取设备的方向，可以理解为，待处理图像中呈现的是智能行驶设备的尾部，以车辆为例，从待处理图像上能够看到的是位于车辆尾的灯，比如，转向灯、刹车灯或倒车灯等。基于车辆尾部的灯，确定车辆的行驶状态，比如，车辆的刹车灯是亮，说明车辆正处于制动状态，即车辆的制动踏板被踩下。
在本申请实施例中，通过将识别智能行驶设备的行驶状态的任务细分为多个子任务，首先对智能行驶设备的主体朝向的识别以及对智能行驶设备上的第一行驶状态指示灯的状态的识别，然后将两个识别结果结合起来来确定智能行驶设备的行驶状态，从而降低识别智能行驶设备的行驶状态的任务的难度，提高智能行驶设备的行驶状态识别的准确度。
本申请实施例提供一种识别智能行驶设备的行驶状态的方法，在本申请实施例中以智能行驶设备为车辆为例，图1B为本申请实施例识别智能行驶设备的行驶状态的方法的又一实现流程示意图，如图1B所示，结合如图1B所示方法进行说明：
步骤S121，根据包含智能行驶设备的待处理图像确定所述智能行驶设备的主体朝向。
为了能够更快速且更加准确的确定主体朝向，步骤S121还可以通过以下步骤实现：
第一步，确定所述智能行驶设备的主体在所述待处理图像中占据的第一图像区域。
在一些可能的实现方式中，步骤S121可以通过神经网络实现，此时首先对待处理图像进行特征提取，然后确定包含智能行驶设备的主体的部分特征图，最后基于部分特征图对智能行驶设备的主体朝向进行判断。
第二步，根据所述第一图像区域中的图像，确定所述智能行驶设备的主体朝向。
在一些可能的实现方式中，在部分特征图中确定智能行驶设备的主体朝向，这样仅从包含智能行驶设备的主体的部分特征图中，判断主体朝向，既减小了计算量，还能够更加准确的判断出主体朝向。
步骤S122，根据所述待处理图像确定所述第二行驶状态指示灯的状态。
在一些可能的实现方式中，所述第二行驶状态指示灯用于指示所述智能行驶设备是否处于制动状态，比如车辆的高位刹车灯。第二行驶状态指示灯至少包括以下一种：亮、暗或无。其中，无表示该待处理图像中没有检测到第二行驶状态指示灯。在本申请实施例中，将第二行驶状态指示灯的暗和无统称为暗。
在一些可能的实现方式中，步骤S122可以通过神经网络实现，此时首先对该待处理图像进行特征提取，得到所述特征图；然后，基于该特征图对第二行驶状态指示灯的状态进行分类。
上述步骤S121和步骤S122之间没有先后顺序关系。
在步骤S122之后，第二行驶状态指示灯的状态为暗，进入步骤S123，第二行驶状态指示灯的状态为亮，进入步骤S125。
为了能够更快速且更加准确的确定第二行驶状态指示灯的状态，步骤S122还可以通过以下步骤实现：
第一步，确定所述智能行驶设备的第二行驶状态指示灯在所述待处理图像中占据的第三图像区域。
在一些可能的实现方式中，步骤S122可以通过神经网络来实现，此时首先对待处理图像进行特征提取，然后确定包含智能行驶设备的第二行驶状态指示灯的部分特征图，最后基于部分特征图对智能行驶设备的第二行驶状态指示灯的状态进行判断。
第二步，根据所述第三图像区域中的图像，确定所述第二行驶状态指示灯的状态。
在一些可能的实现方式中，在部分特征图中确定智能行驶设备的第二行驶状态指示灯的状态，这样仅从包含智能行驶设备的第二行驶状态指示灯的状态的部分特征图中，判断第二行驶状态指示灯的状态，既减小了计算量，还能够更加准确的判断出第二行驶状态指示灯的状态。
步骤S123，响应于所述第二行驶状态指示灯的状态为暗，根据所述待处理图像确定所述智能行驶设备包括的第一行驶状态指示灯的状态。
在一些可能的实现方式中，第二行驶状态指示灯的状态为暗，包括两种情况：没有检测到第二行驶状态指示灯或者第二行驶状态指示灯为暗，那么继续确定第一行驶状态指示灯的状态，然后基于第一行驶状态指示灯的状态，确定智能行驶设备的行驶状态。比如，没有检测到车辆的高位刹车灯，说明待处理图像中呈现的是车辆的头部或者车辆没有高位刹车灯，所以继续检测车辆的第一行驶状态指示灯，以确定车辆是转向还是直行等。
为了能够更快速且更加准确的确定第一行驶状态指示灯的状态，步骤S123还可以通过以下步骤实现：
第一步，确定所述智能行驶设备的第一行驶状态指示灯在所述待处理图像中占据的第二图像区域。
在一些可能的实现方式中，步骤S123可以通过神经网络来实现，此时首先对待处理图像进行特征提取，然后确定包含智能行驶设备的第一行驶状态指示灯的部分特征图，最后基于部分特征图对智能行驶设备的第一行驶状态指示灯的状态进行判断。
第二步，根据所述第二图像区域中的图像，确定所述第一行驶状态指示灯的状态。
在一些可能的实现方式中，在部分特征图中确定智能行驶设备的第一行驶状态指示灯的状态，这样仅从包含智能行驶设备的第一行驶状态指示灯的状态的部分特征图中，判断第一行驶状态指示灯的状态，既减小了计算量，还能够更加准确的判断出第一行驶状态指示灯的状态。
在确定第二行驶状态指示灯的状态为暗的情况下，在一个具体例子中，响应于所述主体朝向为主体朝前，将所述待处理图像输入神经网络的第一分支，得到所述第一行驶状态指示灯；响应于所述主体目标朝向为主体朝后，将所述待处理图像输入神经网络的第二分支，得到所述第一行驶状态指示灯；比如，主体目标朝向为朝前，说明需要对车辆前面的左右两个转向灯进行分类，将包含车辆前面的左右两个转向灯的待处理图像输入神经网络的第一分支(比如，分类器)，即神经网络的第一分支对车辆前面的左右两个转向灯进行分类；主体目标朝向为朝后，说明需要对车辆后面的左右两个转向灯进行分类，将包含车辆后面的左右两个转向灯的待处理图像输入神经网络的第二分支，即第二分支对车辆后面的左右两个转向灯进行分类。转向灯包括车头或者车尾左右两侧的灯，在本申请实施例中，将同一张待处理图像中显示的车头或车尾左右两侧的灯作为一组，那么第一行驶状态指示灯包括以下多种组合：(左侧转向灯亮，右侧转向灯亮)、(左侧转向灯亮，右侧转向灯暗)、(左侧转向灯暗，右侧转向灯亮)和(左侧转向灯暗，右侧转向灯暗)。
步骤S124，根据所述主体朝向以及所述第一行驶状态指示灯的状态，确定所述智能行驶设备的行驶状态。
步骤S125，响应于所述第二行驶状态指示灯的状态为亮，确定所述智能行驶设备处于制动状态。
在一个具体例子中，车辆的高位刹车灯为亮，说明车辆处于制动状态。不需要再检测车辆的第一行驶状态指示灯。
在本申请实施例中，通过检测智能行驶设备的第二行驶状态指示灯，可快速确定智能行驶设备是否处于制动状态，如果不是，则即继续检测智能行驶设备的第一行驶状态指示灯，从而精准的预测车辆的行驶状态。
本申请实施例提供一种识别智能行驶设备的行驶状态的方法，在本申请实施例中以智能行驶设备为车辆为例，所述待处理图像为连续多帧待处理图像，图1C为本申请实施例识别智能行驶设备的行驶状态的方法的另一实现流程示意图，如图1C所示，结合如图1C所示方法进行说明：
步骤S131，根据所述连续多帧待处理图像中的每一帧待处理图像确定所述智能行驶设备的主体朝向。
在一些可能的实现方式中，步骤S131可以通过神经网络来实现，此时对连续多帧待处理图像中的每一帧图像均进行特征提取，然后针对每一帧待处理图像，基于该特征图确定出该帧待处理图像中的主体朝向。
步骤S132，根据由每一帧待处理图像确定的所述智能行驶设备的主体朝向，确定所述智能行驶设备的主体朝向。
在一个具体例子中，比如，车辆正在调头，前面一帧待处理图像中，车辆的主体朝向为面向待处理图像的获取设备的方向，但是后面已经调头成功，所有后面的多帧待处理图像中车辆的主体朝向为背向待处理图像的获取设备的方向，所以最终确定车辆的主体朝向为背向待处理图像的获取设备的方向，从而能够避免对主体朝向的误判。
步骤S133，根据所述连续多帧待处理图像中的每一帧待处理图像确定所述第一行驶状态指示灯的状态。
在一些可能的实现方式中，针对每一帧待处理图像，基于该特征图确定出该帧待处理图像中的第一行驶状态指示灯的状态。
步骤S134，根据由每一帧待处理图像确定的所述第一行驶状态指示灯的状态，确定所述第一行驶状态指示灯的状态。
在一个具体例子中，比如，车辆出现故障，正在打双闪，前面一帧待处理图像中，车辆的第一行驶状态指示灯的状态，如果仅基于这一帧图像进行判断，就会出现误判的现象；这样基于连续的多帧待处理图像的每一帧的第一行驶状态指示灯的状态，能够避免这种误判的现象，从而更加准确的判断出第一行驶状态指示灯的状态。
步骤S135，根据所述主体朝向以及所述第一行驶状态指示灯的状态，确定所述智能行驶设备的行驶状态。
在本申请实施例中，基于连续的多帧待处理图像，判断出智能行驶设备的主体朝向和第一行驶状态指示灯的状态，然后，基于此，预测智能行驶设备的行驶状态，避免了对主体朝向和第一行驶状态指示灯的状态的误判，提高了预测智能行驶设备的行驶状态的准确度。
本申请实施例提供一种识别智能行驶设备的行驶状态的方法，所述识别智能行驶设备的行驶状态的方法由神经网络实现，图2A为本申请实施例识别智能行驶设备的行驶状态的方法的另一实现流程示意图，如图2A所示，结合如图2A所示方法进行说明：
步骤S201，利用所述神经网络从所述待处理图像中提取特征图。
在一个具体例子中，将待处理图像输入残差网络(ResNet网络)中，对该待处理图像进行特征提取，得到该待处理图像的特征图。
步骤S202，所述神经网络根据提取到的特征图确定所述智能行驶设备的主体朝向。
在一个具体例子中，将多个待处理图像的特征图输入所述神经网络第一分支，得到每一主体朝向的置信度，将置信度大于预设置信度阈值的主体朝向，作为智能行驶设备的主体朝向。
步骤S203，响应于所述主体朝向为面向所述待处理图像的获取设备的方向，利用所述神经网络中的第一分支根据所述特征图确定设置在所述智能行驶设备前部的第一行驶状态指示灯的状态，并根据确定的设置在所述智能行驶设备前部的第一行驶状态指示灯的状态确定所述智能行驶设备的行驶状态。
在一些可能的实现方式中，所述神经网络的第一分支，用于对智能行驶设备前部的第一行驶状态指示灯的状态进行分类。在主体朝向为面向所述待处理图像的获取设备的方向的情况下，将连续的多帧待处理图像的特征图输入该神经网络的第一分支，以得到每一个可能的第一行驶状态指示灯的状态的置信度，比如，第一行驶状态指示灯的状态为(左暗右暗)、右暗左亮或者左暗右亮等的置信度。然后，将置信度大于预设置信度阈值的第一行驶状态指示灯的状态，作为智能行驶设备的第一行驶状态指示灯的状态。在一个具体例子中，置信度较大的第一行驶状态指示灯的状态，表明该第一行驶状态指示灯的状态是真实的第一行驶状态指示灯的状态的概率较大，这样选择置信度大于预设置信度阈值的第一行驶状态指示灯的状态，作为第一车灯目标状态，保证了第一分支得到的分类结果的准确度。
步骤S204，响应于所述主体朝向为背向所述待处理图像的获取设备的方向，利用所述神经网络中的第二分支根据所述特征图确定设置在所述智能行驶设备后部的第一行驶状态指示灯的状态，并根据确定的设置在所述智能行驶设备后部的第一行驶状态指示灯的状态确定所述智能行驶设备的行驶状态。
在一些可能的实现方式中，所述神经网络的第二分支，用于对智能行驶设备后部的第一行驶状态指示灯的状态进行分类。主体朝向为背向所述待处理图像的获取设备的方向，说明待处理图像中呈现的是智能行驶设备的尾部，比如，车辆的尾部，那么在待处理图像中可以获取到智能行驶设备后部的第一行驶状态指示灯，即车辆尾部的左右两侧的转向灯。将连续的多帧待处理图像的特征图输入该神经网络的第二分支，以得到每一个可能的第一行驶状态指示灯的状态的置信度，比如，第一行驶状态指示灯的状态为(左暗右暗)、右暗左亮或者左暗右亮等的置信度。然后，将置信度大于预设置信度阈值的第一行驶状态指示灯的状态，作为智能行驶设备的第一行驶状态指示灯的状态。
在本申请实施例中，采用神经网络首先对待处理图像进行特征提取，然后，神经网络基于特征图，确定每一可能的主体朝向的置信度和每一可能的第一行驶状态指示灯的状态，将置信度较大的作为智能行驶设备的主体朝向和第一行驶状态指示灯的状态，最后，基于这样置信度较大的主体朝向和置信度较大的第一行驶状态指示灯的状态，识别智能行驶设备的行驶状态。通过将识别智能行驶设备的行驶状态的任务细分为多个子任务，首先对智能行驶设备的主体朝向的识别以及对智能行驶设备上的第一行驶状态指示灯的状态的识别，然后将两个识别结果结合起来来确定智能行驶设备的行驶状态，从而降低识别智能行驶设备的行驶状态的任务的难度提高了智能行驶设备的行驶状态识别的准确度。
本申请实施例提供一种识别智能行驶设备的行驶状态的方法，所述识别智能行驶设备的行驶状态的方法由神经网络实现，图2B为本申请实施例识别智能行驶设备的行驶状态的方法的再一实现流程示意图，如图2B所示，结合如图2B所示方法进行说明：
步骤S221，利用所述神经网络从所述待处理图像中提取特征图。
在一个具体例子中，将待处理图像输入残差网络(ResNet网络)中，对该待处理图像进行特征提取，得到该待处理图像的特征图。
步骤S222，所述神经网络根据提取到的特征图确定所述智能行驶设备的主体朝向。
在一个具体例子中，将多个待处理图像的特征图输入所述神经网络第一分支，得到每一主体朝向的置信度，将置信度大于预设置信度阈值的主体朝向，作为智能行驶设备的主体朝向。如图2C所示，图像21呈现的是车辆22的尾部，将图像21中的车辆22的主体朝向确定为朝后，即主体朝向为背向待处理图像的获取设备。
步骤S223，神经网络根据提取到的特征图确定所述第二行驶状态指示灯的状态。
在一些可能的实现方式中，第二行驶状态指示灯可以是智能行驶设备的高位刹车灯。将连续的多帧待处理图像的特征图输入该神经网络，以得到每一个可能的第二行驶状态指示灯的状态的置信度，比如，第二行驶状态指示灯的状态为亮或暗的置信度。然后，将置信度大于预设置信度阈值的第二行驶状态指示灯的状态，作为智能行驶设备的第二行驶状态指示灯的状态。从而保证了对第二行驶状态指示灯的状态进行识别的准确度。
步骤S224，响应于所述主体朝向为面向所述待处理图像的获取设备的方向且所述第二行驶状态指示灯的状态为暗，利用所述神经网络中的第一分支根据所述特征图确定设置在所述智能行驶设备前部的第一行驶状态指示灯的状态，并根据确定的设置在所述智能行驶设备前部的第一行驶状态指示灯的状态确定所述智能行驶设备的行驶状态。
在一些可能的实现方式中，主体朝向为面向所述待处理图像的获取设备的方向(即主体朝向朝前)且所述第二行驶状态指示灯的状态为暗，将特征图输入神经网络的第一分支，以得到多个可能的车辆头部的第一行驶状态指示灯的状态的置信度，然后将置信度较大的作为第一行驶状态指示灯的状态。
步骤S225，响应于所述主体朝向为背向所述待处理图像的获取设备的方向且所述第二行驶状态指示灯的状态为暗，利用所述神经网络中的第二分支根据所述特征图确定设置在所述智能行驶设备后部的第一行驶状态指示灯的状态，并根据确定的设置在所述智能行驶设备后部的第一行驶状态指示灯的状态确定所述智能行驶设备的行驶状态。
在一些可能的实现方式中，主体朝向为背向所述待处理图像的获取设备的方向(即主体朝向朝后)且所述第二行驶状态指示灯的状态为暗，将特征图输入神经网络的第二分支，以得到多个可能的车辆后部第一行驶状态指示灯的状态的置信度，然后将置信度较大的作为第一行驶状态指示灯的状态。
步骤S226，响应于所述第二行驶状态指示灯的状态为亮，确定所述智能行驶设备处于制动状态。
在本申请实施例中，采用神经网络对智能行驶设备的主体朝向和多个指示灯的状态进行详细分类，保证了对主体朝向和指示灯状态进行识别的准确度，从而保证了基于此识别智能行驶设备的行驶状态的准确度。
结合以上步骤，所述述神经网络采用以下步骤训练得到，如图2D所示，结合图2D进行如下说明：
步骤S231，获取包含智能行驶设备的样本图像。
在一些可能的实现方式中，以所述智能行驶设备为车辆进行说明。获取多张包含车辆的样本图像，比如，包含车辆图案的样本图像。
步骤S232，根据包含智能行驶设备的样本图像确定所述智能行驶设备的主体朝向。
在一些可能的实现方式中，按照样本图像中表明所述智能行驶设备主体朝向的标签信息，确定该智能行驶设备的主体朝向，将特征图输入该主体朝向神经网络的分支中，以得到该智能行驶设备的第一行驶状态指示灯的状态，比如，主体朝向为面向所述样本图像的获取设备的方向，将特征图输入第一分支中，以得到智能行驶设备前部的第一行驶状态指示灯的状态，比如，得到车辆前部左右两侧转向灯的状态。主体朝向为背向所述样本图像的获取设备的方向，将特征图输入后向第二分支中，以得到智能行驶设备后部的第一行驶状态指示灯的状态，比如，得到车辆后部左右两侧转向灯的状态。如此，针对不同的主体朝向训练不同的分支，更加细化分类任务，从而保证对第一行驶状态指示灯的状态的分类的准确度。
步骤S233，响应于所述主体朝向为面向所述样本图像的获取设备的方向，利用所述神经网络中的第一分支确定设置在所述智能行驶设备前部的第一行驶状态指示灯的状态，并根据确定的设置在所述智能行驶设备前部的第一行驶状态指示灯的状态确定所述智能行驶设备的行驶状态。
步骤S234，响应于所述主体朝向为背向所述样本图像的获取设备的方向，利用所述神经网络中的第二分支确定设置在所述智能行驶设备后部的第一行驶状态指示灯的状态，并根据确定的设置在所述智能行驶设备后部的第一行驶状态指示灯的状态确定所述智能行驶设备的行驶状态。
步骤S235，根据确定的所述主体朝向、标注的所述主体朝向、确定的第一行驶状态指示灯的状态、标注的第一行驶状态指示灯的状态调整神经网络的网络参数值。
在一些可能的实现方式中，响应于所述主体朝向为面向所述样本图像的获取设备的方向，采用智能行驶设备的前部的第一行驶状态指示灯的状态和标注的前部的第一行驶状态指示灯的状态，确定行驶状态预设的损失函数，采用该损失函数，对神经网络的第一分支的网络参数值进行调整，使得调整后的第一分支能够准确的预测出智能行驶设备的前部的第一行驶状态指示灯的状态。响应于所述主体朝向为背向所述样本图像的获取设备的方向，采用智能行驶设备的后部的第一行驶状态指示灯的状态和标注的后部的第一行驶状态指示灯的状态，确定行驶状态预设的损失函数，采用该损失函数，对神经网络的第二分支的网络参数值进行调整，使得调整后的第一分支能够准确的预测出智能行驶设备的后部的第一行驶状态指示灯的状态。
本申请实施例提供一种识别智能行驶设备的行驶状态的方法，以智能行驶设备为车辆为例，首先，利用深度学习框架识别车灯属性；然后，通过使用大量训练数据，使训练得到的神经网络鲁棒性更好，可以在多种应用场景下表现良好。在相关技术中，车灯属性识别比较笼统的对所有类别图片进行分类，分为刹车灯识别与转向灯识别；而本申请实施例通过将任务细分，对小任务进行处理，首先对智能行驶设备的属性进行识别，并通过不同分支训练，可以实现车灯属性的细分类识别；另通过关键点判断车灯位置，并利用关键点可见性信息得到较准确定位车灯位置，从而使得车灯属性判断准确率更高。
图3为本申请实施例神经网络训练方法的再一实现流程示意图，如图3所示，结合图3进行以下说明：
步骤S301，将包含智能行驶设备的样本图像输入神经网络，得到该样本图像的特征图。
步骤S302，将该特征图分别输入神经网络，得到主体朝向和第二行驶状态指示灯的状态。
在一些可能的实现方式中，利用车辆主体的关键点信息，根据该关键点信息得到特征图中车辆主体所在的位置(车辆主体在该样本图像中占据的第一图像区域)，将这部分特征图输入神经网络中，以得到主体朝向；利用车辆的第二行驶状态指示灯的关键点信息，根据该关键点信息得到特征图中第二行驶状态指示灯所在的位置(车辆的第二行驶状态指示灯在该样本图像中占据的第三图像区域)，将这部分特征图输入神经网络中，以得到第二行驶状态指示灯的状态。
步骤S303，根据标注的主体朝向和标注的第二行驶状态指示灯的状态，确定神经网络输出的主体朝向对应的损失和第二行驶状态指示灯的状态对应的损失。
在一些可能的实现方式中，由于主体朝向为两个，所以主体朝向对应的损失为二分类交叉熵损失。第二行驶状态指示灯的状态为两种，比如，亮和暗(其中，暗包括了第二行驶状态指示灯不亮以及没有第二行驶状态指示灯两种情况)，所以第二行驶状态指示灯的状态对应的损失为二分类交叉熵损失。
步骤S304，采用主体朝向对应的损失和第二行驶状态指示灯的状态对应的损失对神经网络的网络参数进行调整。
步骤S305，响应于主体朝向为面向所述样本图像的获取设备的方向，且第二行驶状态指示灯的状态为暗，将特征图输入神经网络的第一分支，得到车辆前部的第一行驶状态指示灯的状态。
在一些可能的实现方式中，利用车辆前部的第一行驶状态指示灯的关键点信息，根据关键点信息得到特征图中车辆前部的第一行驶状态指示灯的所在的位置(即车辆前部的第一行驶状态指示灯在该样本图像中占据的第二图像区域)，将这部分特征图输入神经网络中，以得到车辆前部的第一行驶状态指示灯的状态。
步骤S306，基于前部的第一行驶状态指示灯的状态对应的损失，对第一分支网络参数进行调整。
步骤S307，响应于主体朝向为背向所述样本图像的获取设备的方向，且第二行驶状态指示灯的状态为暗，将特征图输入神经网络的第二分支，得到车辆后部的第一行驶状态指示灯的状态。
在一些可能的实现方式中，利用车辆后部的第一行驶状态指示灯的关键点信息，根据关键点信息得到特征图中车辆后部的第一行驶状态指示灯的可能所在的位置(即车辆后部的第一行驶状态指示灯在该样本图像中占据的第二图像区域)，将这部分特征图输入神经网络中，以得到车辆后部的第一行驶状态指示灯的状态。
步骤S308，基于后部的第一行驶状态指示灯的状态对应的损失，对第二分支的网络参数进行调整。
在一些可能的实现方式中，由于第一行驶状态指示灯的状态有多种可能的状态，比如，(左侧转向灯亮，右侧转向灯亮)、(左侧转向灯亮，右侧转向灯暗)、(左侧转向灯暗，右侧转向灯亮)和(左侧转向灯暗，右侧转向灯暗)等，所以，第一行驶状态指示灯的状态对应的损失为多分类交叉熵损失。基于这个损失，分别对神经网络的第一分支和第二分支的如权重值等网络参数进行调整，以使调整后的神经网络的第一分支和第二分支对车辆的指示灯进行分类的准确度更高。
在本申请实施例中，利用车辆方向分类器与车灯属性分类器结合，将车辆自身属性更加细分，用来辅助车灯属性识别。将尾灯与转向灯的属性识别分成单帧车灯识别与多帧属性联合判别。通过提高单帧的识别准确率，简化了车辆属性识别的流程。并入通过加入关键点及其可见性信息进行辅助判断，更准确的定位车灯位置，从而使得分类更准确。
本申请实施例提供一种识别智能行驶设备的行驶状态的装置，图4为本申请实施例识别智能行驶设备的行驶状态装置组成结构示意图，如图4所示，所述识别智能行驶设备的行驶状态装置400包括：所述装置包括：
第一确定模块401，用于根据包含智能行驶设备的待处理图像确定所述智能行驶设备的主体朝向；
第二确定模块402，用于根据所述待处理图像确定所述智能行驶设备包括的第一行驶状态指示灯的状态；
第三确定模块403，用于根据所述主体朝向以及所述第一行驶状态指示灯的状态，确定所述智能行驶设备的行驶状态。
在上述装置中，所述第三确定模块403，包括：
第一确定子模块，用于响应于所述主体朝向为面向所述待处理图像的获取设备的方向，根据设置在所述智能行驶设备前部的第一行驶状态指示灯的状态，确定所述智能行驶设备的行驶状态。
在上述装置中，所述第三确定模块403，包括：
第二确定子模块，用于响应于所述主体朝向为背向所述待处理图像的获取设备的方向，根据设置在所述智能行驶设备后部的第一行驶状态指示灯的状态，确定所述智能行驶设备的行驶状态。
在上述装置中，所述智能行驶设备还包括第二行驶状态指示灯，所述第二行驶状态指示灯用于指示所述智能行驶设备是否处于制动状态；
所述装置还包括：
第四确定模块，用于在根据所述待处理图像确定所述智能行驶设备包括的第一行驶状态指示灯的状态之前，根据所述待处理图像确定所述第二行驶状态指示灯的状态；
所述第二确定模块402，包括：
第三确定子模块，用于响应于所述第二行驶状态指示灯的状态为暗，根据所述待处理图像确定所述智能行驶设备包括的第一行驶状态指示灯的状态。
在上述装置中，所述装置还包括：
第五确定模块，用于在根据所述待处理图像确定所述第二行驶状态指示灯的状态之后，响应于所述第二行驶状态指示灯的状态为亮，确定所述智能行驶设备处于制动状态。
在上述装置中，所述待处理图像为连续多帧待处理图像；
第一确定模块401，包括：
第四确定子模块，用于根据所述连续多帧待处理图像中的每一帧待处理图像确定所述智能行驶设备的主体朝向；
第五确定子模块，用于根据由每一帧待处理图像确定的所述智能行驶设备的主体朝向，确定所述智能行驶设备的主体朝向；
第二确定模块402，包括：
第六确定子模块，用于根据所述连续多帧待处理图像中的每一帧待处理图像确定所述第一行驶状态指示灯的状态；
第七确定子模块，用于根据由每一帧待处理图像确定的所述第一行驶状态指示灯的状态，确定所述第一行驶状态指示灯的状态。
在上述装置中，所述第一确定模块401，包括：
第八确定子模块，用于确定所述智能行驶设备的主体在所述待处理图像中占据的第一图像区域；
第九确定子模块，用于根据所述第一图像区域中的图像，确定所述智能行驶设备的主体朝向。
在上述装置中，所述第二确定模块402，包括：
第十确定子模块，用于确定所述智能行驶设备的第一行驶状态指示灯在所述待处理图像中占据的第二图像区域；
第十一确定子模块，用于根据所述第二图像区域中的图像，确定所述第一行驶状态指示灯的状态。
在上述装置中，所述第四确定模块，包括：
第十二确定子模块，用于确定所述智能行驶设备的第二行驶状态指示灯在所述待处理图像中占据的第三图像区域；
第十三确定子模块，用于根据所述第三图像区域中的图像，确定所述第二行驶状态指示灯的状态。
在上述装置中，所述识别智能行驶设备的行驶状态的方法由神经网络实现；所述第一确定模块，包括：
第一提取子模块，用于利用所述神经网络从所述待处理图像中提取特征图；
第十四确定子模块，用于利用所述神经网络，根据提取到的特征图确定所述智能行驶设备的主体朝向；
第三确定模块403，包括：
第十五确定子模块，用于响应于所述主体朝向为面向所述待处理图像的获取设备的方向，利用所述神经网络中的第一分支根据所述特征图确定设置在所述智能行驶设备前部的第一行驶状态指示灯的状态，并根据确定的设置在所述智能行驶设备前部的第一行驶状态指示灯的状态确定所述智能行驶设备的行驶状态；
第十六确定子模块，用于响应于所述主体朝向为背向所述待处理图像的获取设备的方向，利用所述神经网络中的第二分支根据所述特征图确定设置在所述智能行驶设备后部的第一行驶状态指示灯的状态，并根据确定的设置在所述智能行驶设备后部的第一行驶状态指示灯的状态确定所述智能行驶设备的行驶状态。
在上述装置中，第四确定模块，包括：
第十七确定子模块，用于采用所述神经网络，根据提取到的特征图确定所述第二行驶状态指示灯的状态；
第十八确定子模块，用于响应于所述第二行驶状态指示灯的状态为亮，确定所述智能行驶设备处于制动状态；
所述第十五确定子模块，包括：
第一确定单元，用于响应于所述主体朝向为面向所述待处理图像的获取设备的方向且所述第二行驶状态指示灯的状态为暗，利用所述神经网络中的第一分支根据所述特征图确定设置在所述智能行驶设备前部的第一行驶状态指示灯的状态，并根据确定的设置在所述智能行驶设备前部的第一行驶状态指示灯的状态确定所述智能行驶设备的行驶状态；
所述第十六确定子模块，包括：
第二确定单元，用于响应于所述主体朝向为背向所述待处理图像的获取设备的方向且所述第二行驶状态指示灯的状态为暗，利用所述神经网络中的第二分支根据所述特征图确定设置在所述智能行驶设备后部的第一行驶状态指示灯的状态，并根据确定的设置在所述智能行驶设备后部的第一行驶状态指示灯的状态确定所述智能行驶设备的行驶状态。
在上述装置中，所述装置还包括训练模块，用于对所述神经网络进行训练，所述训练模块，包括：
第十九确定子模块，用于根据包含智能行驶设备的样本图像确定所述智能行驶设备的主体朝向；
第二十确定子模块，用于响应于所述主体朝向为面向所述样本图像的获取设备的方向，利用所述神经网络中的第一分支确定设置在所述智能行驶设备前部的第一行驶状态指示灯的状态，并根据确定的设置在所述智能行驶设备前部的第一行驶状态指示灯的状态确定所述智能行驶设备的行驶状态；
第二十一确定子模块，用于响应于所述主体朝向为背向所述样本图像的获取设备的方向，利用所述神经网络中的第二分支确定设置在所述智能行驶设备后部的第一行驶状态指示灯的状态，并根据确定的设置在所述智能行驶设备后部的第一行驶状态指示灯的状态确定所述智能行驶设备的行驶状态；
第一调整子模块，用于根据确定的所述主体朝向、标注的所述主体朝向、确定的第一行驶状态指示灯的状态、标注的第一行驶状态指示灯的状态调整神经网络的网络参数值。
需要说明的是，以上装置实施例的描述，与上述方法实施例的描述是类似的，具有同方法实施例相似的有益效果。对于本申请装置实施例中未披露的技术细节，请参照本申请方法实施例的描述而理解。
需要说明的是，本申请实施例中，如果以软件功能模块的形式实现上述的即时通讯方法，并作为独立的产品销售或使用时，也可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请实施例的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台即时通讯设备(可以是终端、服务器等)执行本申请各个实施例所述方法的全部或部分。而前述的存储介质包括：U盘、移动硬盘、只读存储器(Read Only Memory，ROM)、磁碟或者光盘等各种可以存储程序代码的介质。这样，本申请实施例不限制于任何特定的硬件和软件结合。
相应地，本申请实施例再提供一种计算机存储介质，所述计算机存储介质上存储有计算机可执行指令，该计算机可执行指令被执行后，能够实现本申请实施例提供的识别智能行驶设备的行驶状态的方法中的步骤。
相应地，本申请实施例再提供一种计算机设备，所述计算机设备包括存储器和处理器，所述存储器上存储有计算机可执行指令，所述处理器运行所述存储器上的计算机可执行指令时可实现本申请实施例提供的识别智能行驶设备的行驶状态的方法中的步骤。
相应地，本申请实施例提供一种计算机设备，图5为本申请实施例计算机设备的组成结构示意图，如图5所示，该计算机设备500的硬件实体包括：处理器501、通信接口502和存储器503，其中
处理器501通常控制计算机设备500的总体操作。
通信接口502可以使计算机设备通过网络与其他终端或服务器通信。
存储器503配置为存储由处理器501可执行的指令和应用，还可以缓存待处理器501以及计算机设备500中各模块待处理或已经处理的数据(例如，图像数据、音频数据、语音通信数据和视频通信数据)，可以通过闪存(FLASH)或随机访问存储器(Random AccessMemory，RAM)实现。
以上图像处理装置、计算机设备和存储介质实施例的描述，与上述方法实施例的描述是类似的，具有同相应方法实施例相似的技术描述和有益效果，限于篇幅，可案件上述方法实施例的记载，故在此不再赘述。对于本申请行驶轨迹的预测装置、计算机设备和存储介质实施例中未披露的技术细节，请参照本申请方法实施例的描述而理解。
应理解，说明书通篇中提到的“一个实施例”或“一实施例”意味着与实施例有关的特定特征、结构或特性包括在本申请的至少一个实施例中。因此，在整个说明书各处出现的“在一个实施例中”或“在一实施例中”未必一定指相同的实施例。此外，这些特定的特征、结构或特性可以任意适合的方式结合在一个或多个实施例中。应理解，在本申请的各种实施例中，上述各过程的序号的大小并不意味着执行顺序的先后，各过程的执行顺序应以其功能和内在逻辑确定，而不应对本申请实施例的实施过程构成任何限定。上述本申请实施例序号仅仅为了描述，不代表实施例的优劣。
需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者装置不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者装置所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括该要素的过程、方法、物品或者装置中还存在另外的相同要素。
在本申请所提供的几个实施例中，应该理解到，所揭露的设备和方法，可以通过其它的方式实现。以上所描述的设备实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，如：多个单元或组件可以结合，或可以集成到另一个系统，或一些特征可以忽略，或不执行。另外，所显示或讨论的各组成部分相互之间的耦合、或直接耦合、或通信连接可以是通过一些接口，设备或单元的间接耦合或通信连接，可以是电性的、机械的或其它行驶的。
上述作为分离部件说明的单元可以是、或也可以不是物理上分开的，作为单元显示的部件可以是、或也可以不是物理单元；既可以位于一个地方，也可以分布到多个网络单元上；可以根据实际的需要选择其中的部分或全部单元来实现本实施例方案的目的。
另外，在本申请各实施例中的各功能单元可以全部集成在一个处理单元中，也可以是各单元分别单独作为一个单元，也可以两个或两个以上单元集成在一个单元中；上述集成的单元既可以采用硬件的行驶实现，也可以采用硬件加软件功能单元的行驶实现。
本领域普通技术人员可以理解：实现上述方法实施例的全部或部分步骤可以通过程序指令相关的硬件来完成，前述的程序可以存储于计算机可读取存储介质中，该程序在执行时，执行包括上述方法实施例的步骤；而前述的存储介质包括：移动存储设备、只读存储器(Read Only Memory，ROM)、磁碟或者光盘等各种可以存储程序代码的介质。
或者，本申请上述集成的单元如果以软件功能模块的行驶实现并作为独立的产品销售或使用时，也可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请实施例的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的行驶体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机、服务器、或者网络设备等)执行本申请各个实施例所述方法的全部或部分。而前述的存储介质包括：移动存储设备、ROM、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述，仅为本申请的具体实施方式，但本申请的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本申请的保护范围之内。因此，本申请的保护范围应以所述权利要求的保护范围为准。

Claims (10)

1.一种识别智能行驶设备的行驶状态的方法，其特征在于，包括：
根据包含智能行驶设备的待处理图像确定所述智能行驶设备的主体朝向；
根据所述待处理图像确定所述智能行驶设备包括的第一行驶状态指示灯的状态；
根据所述主体朝向以及所述第一行驶状态指示灯的状态，确定所述智能行驶设备的行驶状态。
2.根据权利要求1所述的方法，其特征在于，所述根据所述主体朝向以及所述第一行驶状态指示灯的状态，确定所述智能行驶设备的行驶状态，包括：
响应于所述主体朝向为面向所述待处理图像的获取设备的方向，根据设置在所述智能行驶设备前部的第一行驶状态指示灯的状态，确定所述智能行驶设备的行驶状态。
3.根据权利要求1或2所述的方法，其特征在于，根据所述主体朝向以及所述第一行驶状态指示灯的状态，确定所述智能行驶设备的行驶状态，包括：
响应于所述主体朝向为背向所述待处理图像的获取设备的方向，根据设置在所述智能行驶设备后部的第一行驶状态指示灯的状态，确定所述智能行驶设备的行驶状态。
4.根据权利要求1至3任一所述的方法，其特征在于，所述智能行驶设备还包括第二行驶状态指示灯，所述第二行驶状态指示灯用于指示所述智能行驶设备是否处于制动状态；
在根据所述待处理图像确定所述智能行驶设备包括的第一行驶状态指示灯的状态之前，所述方法还包括：
根据所述待处理图像确定所述第二行驶状态指示灯的状态；
所述根据所述待处理图像确定所述智能行驶设备包括的第一行驶状态指示灯的状态，包括：
响应于所述第二行驶状态指示灯的状态为暗，根据所述待处理图像确定所述智能行驶设备包括的第一行驶状态指示灯的状态。
5.根据权利要求4所述的方法，其特征在于，在根据所述待处理图像确定所述第二行驶状态指示灯的状态之后，所述方法还包括：
响应于所述第二行驶状态指示灯的状态为亮，确定所述智能行驶设备处于制动状态。
6.根据权利要求1至5任一所述的方法，其特征在于，所述待处理图像为连续多帧待处理图像；
根据所述待处理图像确定所述智能行驶设备的主体朝向，包括：
根据所述连续多帧待处理图像中的每一帧待处理图像确定所述智能行驶设备的主体朝向；
根据由每一帧待处理图像确定的所述智能行驶设备的主体朝向，确定所述智能行驶设备的主体朝向；
根据所述待处理图像确定所述智能行驶设备包括的第一行驶状态指示灯的状态，包括：
根据所述连续多帧待处理图像中的每一帧待处理图像确定所述第一行驶状态指示灯的状态；
根据由每一帧待处理图像确定的所述第一行驶状态指示灯的状态，确定所述第一行驶状态指示灯的状态。
7.根据权利要求1至6任一所述的方法，其特征在于，所述根据所述待处理图像确定所述智能行驶设备的主体朝向，包括：
确定所述智能行驶设备的主体在所述待处理图像中占据的第一图像区域；
根据所述第一图像区域中的图像，确定所述智能行驶设备的主体朝向。
8.一种识别智能行驶设备的行驶状态的装置，其特征在于，所述装置包括：
第一确定模块，用于根据包含智能行驶设备的待处理图像确定所述智能行驶设备的主体朝向；
第二确定模块，用于根据所述待处理图像确定所述智能行驶设备包括的第一行驶状态指示灯的状态；
第三确定模块，用于根据所述主体朝向以及所述第一行驶状态指示灯的状态，确定所述智能行驶设备的行驶状态。
9.一种计算机存储介质，其特征在于，所述计算机存储介质上存储有计算机可执行指令，该计算机可执行指令被执行后，能够实现权利要求1至7任一项所述的方法步骤。
10.一种计算机设备，其特征在于，所述计算机设备包括存储器和处理器，所述存储器上存储有计算机可执行指令，所述处理器运行所述存储器上的计算机可执行指令时可实现权利要求1至7任一项所述的方法步骤。
CN201910702893.7A 2019-07-31 2019-07-31 识别智能行驶设备的行驶状态的方法及装置、设备 Pending CN112307833A (zh)

Priority Applications (7)

Application Number Priority Date Filing Date Title
CN201910702893.7A CN112307833A (zh) 2019-07-31 2019-07-31 识别智能行驶设备的行驶状态的方法及装置、设备
KR1020207036574A KR20210015861A (ko) 2019-07-31 2019-11-26 스마트 주행 기기의 주행 상태 인식 방법 및 장치, 기기
SG11202013001RA SG11202013001RA (en) 2019-07-31 2019-11-26 Method and apparatus for identifying travelling state of intelligent driving device, and device
JP2020567963A JP7074896B2 (ja) 2019-07-31 2019-11-26 スマート運転機器の走行状態を認識する方法及び装置、機器
PCT/CN2019/121057 WO2021017341A1 (zh) 2019-07-31 2019-11-26 识别智能行驶设备的行驶状态的方法及装置、设备
US17/124,940 US20210103746A1 (en) 2019-07-31 2020-12-17 Method and apparatus for identifying travelling state of intelligent driving device, and device
JP2022077972A JP2022105569A (ja) 2019-07-31 2022-05-11 スマート運転機器の走行状態を認識する方法及び装置、機器

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910702893.7A CN112307833A (zh) 2019-07-31 2019-07-31 识别智能行驶设备的行驶状态的方法及装置、设备

Publications (1)

Publication Number Publication Date
CN112307833A true CN112307833A (zh) 2021-02-02

Family

ID=74229679

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910702893.7A Pending CN112307833A (zh) 2019-07-31 2019-07-31 识别智能行驶设备的行驶状态的方法及装置、设备

Country Status (6)

Country Link
US (1) US20210103746A1 (zh)
JP (2) JP7074896B2 (zh)
KR (1) KR20210015861A (zh)
CN (1) CN112307833A (zh)
SG (1) SG11202013001RA (zh)
WO (1) WO2021017341A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114519848A (zh) * 2022-02-09 2022-05-20 商汤集团有限公司 一种运动意图确定方法、装置、设备及存储介质

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7115502B2 (ja) 2020-03-23 2022-08-09 トヨタ自動車株式会社 物体状態識別装置、物体状態識別方法及び物体状態識別用コンピュータプログラムならびに制御装置
JP7388971B2 (ja) 2020-04-06 2023-11-29 トヨタ自動車株式会社 車両制御装置、車両制御方法及び車両制御用コンピュータプログラム
JP7359735B2 (ja) * 2020-04-06 2023-10-11 トヨタ自動車株式会社 物体状態識別装置、物体状態識別方法及び物体状態識別用コンピュータプログラムならびに制御装置

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102897086A (zh) * 2012-10-12 2013-01-30 Tcl集团股份有限公司 一种后车行驶信息检测及提示方法及系统
CN107316010A (zh) * 2017-06-13 2017-11-03 武汉理工大学 一种识别前方车辆尾灯及判断其状态的方法
CN108082037A (zh) * 2016-11-22 2018-05-29 福特全球技术公司 制动灯检测
CN108357418A (zh) * 2018-01-26 2018-08-03 河北科技大学 一种基于尾灯识别的前车驾驶意图分析方法
US20190092318A1 (en) * 2017-09-22 2019-03-28 Toyota Motor Engineering & Manufacturing North America, Inc. Systems and methods for rear signal identification using machine learning

Family Cites Families (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4151890B2 (ja) 2002-11-22 2008-09-17 富士重工業株式会社 車両監視装置および車両監視方法
JP2004341801A (ja) 2003-05-15 2004-12-02 Nissan Motor Co Ltd 追跡車両ランプ検出システムおよび追跡車両ランプ検出方法
JP4830621B2 (ja) 2006-05-12 2011-12-07 日産自動車株式会社 合流支援装置及び合流支援方法
JP2010249768A (ja) 2009-04-20 2010-11-04 Toyota Motor Corp 車両検出装置
JP5499011B2 (ja) 2011-11-17 2014-05-21 富士重工業株式会社 車外環境認識装置および車外環境認識方法
JP6354356B2 (ja) 2014-06-10 2018-07-11 株式会社デンソー 前方状況判定装置
JP6335037B2 (ja) * 2014-06-19 2018-05-30 株式会社Ｓｕｂａｒｕ 車外環境認識装置
KR101663511B1 (ko) * 2015-04-30 2016-10-14 엘지전자 주식회사 차량 운전 보조 장치, 차량 운전 보조 장치의 제어 방법 및 차량
US9701239B2 (en) * 2015-11-04 2017-07-11 Zoox, Inc. System of configuring active lighting to indicate directionality of an autonomous vehicle
CN105975915B (zh) * 2016-04-28 2019-05-21 大连理工大学 一种基于多任务卷积神经网络的前方车辆参数识别方法
JP6649178B2 (ja) 2016-05-24 2020-02-19 株式会社東芝 情報処理装置、および、情報処理方法
CN106874858A (zh) * 2017-01-19 2017-06-20 博康智能信息技术有限公司北京海淀分公司 一种车辆信息识别方法及装置和一种车辆
US10614326B2 (en) * 2017-03-06 2020-04-07 Honda Motor Co., Ltd. System and method for vehicle control based on object and color detection
US10061322B1 (en) * 2017-04-06 2018-08-28 GM Global Technology Operations LLC Systems and methods for determining the lighting state of a vehicle
CN108229468B (zh) * 2017-06-28 2020-02-21 北京市商汤科技开发有限公司 车辆外观特征识别及车辆检索方法、装置、存储介质、电子设备
US10474908B2 (en) * 2017-07-06 2019-11-12 GM Global Technology Operations LLC Unified deep convolutional neural net for free-space estimation, object detection and object pose estimation
CN109345512A (zh) * 2018-09-12 2019-02-15 百度在线网络技术（北京）有限公司 汽车图像的处理方法、装置及可读存储介质

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102897086A (zh) * 2012-10-12 2013-01-30 Tcl集团股份有限公司 一种后车行驶信息检测及提示方法及系统
CN108082037A (zh) * 2016-11-22 2018-05-29 福特全球技术公司 制动灯检测
CN107316010A (zh) * 2017-06-13 2017-11-03 武汉理工大学 一种识别前方车辆尾灯及判断其状态的方法
US20190092318A1 (en) * 2017-09-22 2019-03-28 Toyota Motor Engineering & Manufacturing North America, Inc. Systems and methods for rear signal identification using machine learning
CN108357418A (zh) * 2018-01-26 2018-08-03 河北科技大学 一种基于尾灯识别的前车驾驶意图分析方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
李德毅等: "《人工智能导论》", 30 September 2018 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114519848A (zh) * 2022-02-09 2022-05-20 商汤集团有限公司 一种运动意图确定方法、装置、设备及存储介质
WO2023151241A1 (zh) * 2022-02-09 2023-08-17 商汤集团有限公司 一种运动意图确定方法、装置、设备及存储介质

Also Published As

Publication number Publication date
JP7074896B2 (ja) 2022-05-24
SG11202013001RA (en) 2021-03-30
JP2022105569A (ja) 2022-07-14
WO2021017341A1 (zh) 2021-02-04
US20210103746A1 (en) 2021-04-08
JP2021534472A (ja) 2021-12-09
KR20210015861A (ko) 2021-02-10

Similar Documents

Publication Publication Date Title
US11694430B2 (en) Brake light detection
CN112307833A (zh) 识别智能行驶设备的行驶状态的方法及装置、设备
US11613201B2 (en) Automatic high beam control for autonomous machine applications
CN109460699B (zh) 一种基于深度学习的驾驶员安全带佩戴识别方法
CN108725440B (zh) 前向碰撞控制方法和装置、电子设备、程序和介质
CN111723625B (zh) 交通灯图像识别处理方法、装置、辅助通行系统及存储介质
CN109859509A (zh) 车道通行状态提醒方法及设备
CN111079508A (zh) 用于求取车辆的车灯的状态的方法和设备
CN114418895A (zh) 驾驶辅助方法及装置、车载设备及存储介质
CN112750170A (zh) 一种雾特征识别方法、装置及相关设备
US20150254515A1 (en) Method for Identification of a Projected Symbol on a Street in a Vehicle, Apparatus and Vehicle
CN110969647B (zh) 一种整合车辆的识别跟踪与车灯检测的方法
CN109435839B (zh) 一种临近车道车辆转向灯检测装置及方法
CN114419603A (zh) 一种自动驾驶车辆控制方法、系统和自动驾驶车辆
CN113989772A (zh) 一种交通灯检测方法、装置、车辆和可读存储介质
WO2023151241A1 (zh) 一种运动意图确定方法、装置、设备及存储介质
Kang et al. High performance and fast object detection in road environments
Dai et al. A driving assistance system with vision based vehicle detection techniques
CN113752940B (zh) 进出隧道车灯控制方法、设备、存储介质及装置
KR20180010363A (ko) 전방 차량 감시 방법 및 장치
CN113752944A (zh) 用于提供前方车辆的制动水平的设备、方法和车辆
Jagtap et al. Exception Model for Brake Light Detection for Autonomous Vehicles
CN117011830B (zh) 图像识别方法、装置、计算机设备、存储介质
Moon et al. Robust visual detection of brake-lights in front for commercialized dashboard camera
CN117437612A (zh) 一种利用深度相机的汽车尾灯检测与制动判别方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20210202

RJ01 Rejection of invention patent application after publication