CN110422178A - 驾驶信息获取方法、装置及信息获取系统 - Google Patents

驾驶信息获取方法、装置及信息获取系统 Download PDF

Info

Publication number
CN110422178A
CN110422178A CN201910750032.6A CN201910750032A CN110422178A CN 110422178 A CN110422178 A CN 110422178A CN 201910750032 A CN201910750032 A CN 201910750032A CN 110422178 A CN110422178 A CN 110422178A
Authority
CN
China
Prior art keywords
vehicle
passenger
image
equipment
described image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201910750032.6A
Other languages
English (en)
Other versions
CN110422178B (zh
Inventor
柏道齐
陈曾鸿
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
LISZT TECHNOLOGY CENTER (SHANGHAI) Co Ltd
Original Assignee
LISZT TECHNOLOGY CENTER (SHANGHAI) Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by LISZT TECHNOLOGY CENTER (SHANGHAI) Co Ltd filed Critical LISZT TECHNOLOGY CENTER (SHANGHAI) Co Ltd
Priority to CN201910750032.6A priority Critical patent/CN110422178B/zh
Publication of CN110422178A publication Critical patent/CN110422178A/zh
Application granted granted Critical
Publication of CN110422178B publication Critical patent/CN110422178B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/59—Context or environment of the image inside of a vehicle, e.g. relating to seat occupancy, driver state or inner lighting conditions
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W2050/0062—Adapting control system settings
    • B60W2050/0075—Automatic parameter input, automatic initialising or calibrating means

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Biomedical Technology (AREA)
  • Data Mining & Analysis (AREA)
  • Human Computer Interaction (AREA)
  • Transportation (AREA)
  • Mechanical Engineering (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Multimedia (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Automation & Control Theory (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Image Analysis (AREA)
  • Traffic Control Systems (AREA)

Abstract

本申请提供一种驾驶信息获取方法、装置及信息获取系统，涉及车辆控制技术领域。该系统包括电性连接的图像采集设备、图像处理设备及车辆控制单元。其中，图像采集设备通过转向设备固定在车辆内，车辆控制单元通过控制转向设备控制图像采集设备的拍摄方向。通过该图像采集设备可获得车辆内部的图像及车辆前方的图像。接着，采用训练好的神经网络模型对车辆内部的图像进行处理，确定车辆内部的乘客数量，得到各个乘客的重量；并根据车辆前方的图像得到车辆的周围环境信息。由此，不需要其他设备，根据信息获取系统中的图像采集设备采集的图像，可获得乘客数量、乘客重量及车辆的周围环境信息。

Description

驾驶信息获取方法、装置及信息获取系统
技术领域
本申请涉及车辆控制技术领域，具体而言，涉及一种驾驶信息获取方法、装置及信息获取系统。
背景技术
车辆总重量会影响车辆能否按照预设轨迹行驶、纯电续航里程估算的准确度等，车辆的周围环境信息会影响车辆是否能够安全行驶。因此，在车辆驾驶过程中，一般需要获得车辆的总重量及车辆的周围环境信息。目前，通常是通过压力传感器、计力传感器来获得乘客重量，进而计算得到车辆总重量；通过固定不动的摄像头获得车辆的周围环境信息。上述方式虽然可以获得相关信息，然而，获取方式较为不便，需要针对每个信息单独设置一采集设备，并且，在某些情况下(比如，不便于设置压力传感器)并不能通过上述方式获得乘客重量。
发明内容
为了至少克服现有技术中的上述不足，本申请实施例的目的在于提供一种驾驶信息获取方法、装置及信息获取系统，其能够在不针对每个信息单独设置对应的采集设备的情况下，通过信息获取系统中的图像采集设备采集的图像，获得乘客数量、乘客重量及车辆的周围环境信息。
第一方面，本申请实施例提供一种驾驶信息获取方法，应用于信息获取系统，所述信息获取系统包括电性连接的图像采集设备、图像处理设备及车辆控制单元，其中，所述图像采集设备通过转向设备固定在车辆内，所述车辆控制单元通过控制所述转向设备控制所述图像采集设备的拍摄方向，所述方法包括：
在需要测量乘客重量时，通过所述车辆控制单元控制所述转向设备带动所述图像采集设备转向，以使所述图像采集设备的拍摄方向朝向车辆内部；
通过所述图像采集设备获得所述车辆内部的图像；
通过所述图像处理设备采用训练好的神经网络模型对所述车辆内部的图像进行处理，确定所述车辆内部的乘客数量，并得到各个乘客的重量；
在不需要测量乘客重量时，通过所述车辆控制单元控制所述转向设备带动所述图像采集设备转向，以使所述图像采集设备的拍摄方向朝向车辆前方；
通过所述图像采集设备获得所述车辆前方的图像；
通过所述图像处理设备对所述车辆前方的图像进行处理，获得所述车辆的周围环境信息。
第二方面，本申请实施例提供一种驾驶信息获取方法，应用于信息获取系统中的图像处理设备，所述信息获取系统还包括与所述图像处理设备电性连接的车辆控制单元及图像采集设备，其中，所述图像采集设备通过转向设备固定在车辆内，所述车辆控制单元通过控制所述转向设备控制所述图像采集设备的拍摄方向，所述方法包括：
在需要测量乘客重量时，接收所述图像采集设备发送的在由所述转向设备带动使得拍摄方向朝向所述车辆内部时获得的所述车辆内部的图像；
采用训练好的神经网络模型对所述车辆内部的图像进行处理，确定所述车辆内部的乘客数量，并得到各个乘客的重量；
在不需要测量乘客重量时，接收所述图像采集设备发送的在由所述转向设备带动使得拍摄方向朝向所述车辆前方时获得的所述车辆前方的图像；
对所述车辆前方的图像进行处理，获得所述车辆的周围环境信息。
第三方面，本申请实施例提供一种驾驶信息获取装置，应用于信息获取系统中的图像处理设备，所述信息获取系统还包括与所述图像处理设备电性连接的车辆控制单元及图像采集设备，其中，所述图像采集设备通过转向设备固定在车辆内，所述车辆控制单元通过控制所述转向设备控制所述图像采集设备的拍摄方向，所述装置包括：
接收模块，用于在需要测量乘客重量时，接收所述图像采集设备发送的在由所述转向设备带动使得拍摄方向朝向所述车辆内部时获得的所述车辆内部的图像；
处理模块，用于采用训练好的神经网络模型对所述车辆内部的图像进行处理，确定所述车辆内部的乘客数量，并得到各个乘客的重量；
所述接收模块，还用于在不需要测量乘客重量时，接收所述图像采集设备发送的在由所述转向设备带动使得拍摄方向朝向所述车辆前方时获得的所述车辆前方的图像；
所述处理模块，还用于对所述车辆前方的图像进行处理，获得所述车辆的周围环境信息。
第四方面，本申请实施例提供一种信息获取系统，包括电性连接的图像采集设备、图像处理设备及车辆控制单元，其中，所述图像采集设备通过转向设备固定在车辆内，所述车辆控制单元通过控制所述转向设备控制所述图像采集设备的拍摄方向，
所述车辆控制单元，用于在需要测量乘客重量时，控制所述转向设备带动所述图像采集设备转向，以使所述图像采集设备的拍摄方向朝向车辆内部；
所述图像采集设备，用于获得所述车辆内部的图像，并将所述车辆内部的图像发送给所述图像处理设备；
所述图像处理设备，用于采用训练好的神经网络模型对所述车辆内部的图像进行处理，确定所述车辆内部的乘客数量，并得到各个乘客的重量；
所述车辆控制单元，还用于在不需要测量乘客重量时，控制所述转向设备带动所述图像采集设备转向，以使所述图像采集设备的拍摄方向朝向车辆前方；
所述图像采集设备，还用于获得所述车辆前方的图像，并将所述车辆前方的图像发送给所述图像处理设备；
所述图像处理设备，还用于对所述车辆前方的图像进行处理，获得所述车辆的周围环境信息。
相对于现有技术而言，本申请具有以下有益效果：
在需要测量乘客重量时，通过车辆控制单元对转向设备的控制，利用图像采集设备获得车辆内部的图像，然后采用训练好的神经网络模型对得到的车辆内部的图像进行处理，得到乘客数量及各个乘客的重量。在不需要测量乘客重量时，通过转向设备改变图像采集设备的拍摄方向，获得车辆前方的图像，基于该车辆前方的图像可得到车辆的周围环境信息。由此，可获得乘客数量、各个乘客的重量及车辆的周围环境信息，并且不需要设置压力传感器或计力传感器，也不需要针对每个信息单独设置一采集设备。
附图说明
为了更清楚地说明本申请实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本申请的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。
图1是本申请实施例提供的信息获取系统的方框示意图；
图2是图1中图像处理设备的方框示意图；
图3是本申请实施例提供的驾驶信息获取方法的流程示意图之一；
图4是本申请实施例提供的图像采集设备朝向车辆内部的示意图；
图5是图3中步骤S130包括的子步骤的流程示意图；
图6是本申请实施例提供的检测结果示意图；
图7是本申请实施例提供的图像采集设备朝向车辆外部的示意图；
图8是本申请实施例提供的驾驶信息获取方法的流程示意图之二；
图9是本申请实施例提供的驾驶信息获取方法的流程示意图之三；
图10是本申请实施例提供的驾驶信息获取方法的流程示意图之四；
图11是本申请实施例提供的驾驶信息获取装置的方框示意图。
图标：10-信息获取系统；100-图像采集设备；200-图像处理设备；210-存储器；220-存储控制器；230-处理器；300-车辆控制单元；400-转向设备；500-驾驶信息获取装置；510-接收模块；520-处理模块。
具体实施方式
为使本申请实施例的目的、技术方案和优点更加清楚，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本申请实施例的组件可以以各种不同的配置来布置和设计。
因此，以下对在附图中提供的本申请的实施例的详细描述并非旨在限制要求保护的本申请的范围，而是仅仅表示本申请的选定实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。
请参照图1，图1是本申请实施例提供的信息获取系统10的方框示意图。所述信息获取系统10可以包括电性连接的图像采集设备100、图像处理设备200、车辆控制单元300及转向设备400。所述图像采集设备100通过转向设备400固定在车辆内，该转向设备400与所述车辆控制单元300通信连接，所述车辆控制单元300可通过转向设备400控制所述图像采集设备100的拍摄方向。
在本实施例中，所述车辆控制单元300用于在需要测量乘客重量时，控制所述转向设备400带动所述图像采集设备100转向，以使所述图像采集设备100的拍摄方向朝向车辆内部。在所述图像采集设备100的拍摄方向朝向车辆内部后，所述图像采集设备100通过拍摄，获得所述车辆内部的图像，并将所述车辆内部的图像发送给所述图像处理设备200。所述图像处理设备200采用训练好的神经网络模型对所述车辆内部的图像进行处理，确定所述车辆内部的乘客数量，并得到各个乘客的重量。由此，不需要设置压力传感器，即可得到车辆中各乘客的重量。
在不需要测量乘客重量时，所述车辆控制单元300可控制所述转向设备400带动所述图像采集设备100转向，以使所述图像采集设备100的拍摄方向朝向车辆前方。在所述图像采集设备100的拍摄方向朝向车辆前方后，所述图像采集设备100通过拍摄，获得所述车辆前方的图像，并将所述车辆前方的图像发送给所述图像处理设备200。所述图像处理设备200可对所述车辆前方的图像进行识别，以识别障碍物、车道线、可行驶区域等，从而得到是否有障碍物、车道线位置、可行驶区域位置等周围环境信息。由此，可提供辅助驾驶或自动驾驶的感知功能。此时，该图像采集设备100相当于作为行车记录仪使用。
可选地，所述图像采集设备100可以设置在车辆内的任意位置，只要保证能够获得出车辆内部的图像，且该图像中包括处于车辆中的乘客即可。比如，所述图像采集设备100设置在前挡风玻璃朝向车辆内部的一侧。该图像采集设备100可以是，但不限于，摄像头。可选地，该图像采集设备100可以采用普通的单目摄像头，从而降低所述信息获取系统10的成本。所述转向设备400可以是，但不限于，电动执行器(比如，舵机)、气动执行器等。
请参照图2，图2是图1中图像处理设备200的方框示意图。所述图像处理设备200可以包括：存储器210、存储控制器220、处理器230及驾驶信息获取装置500。
所述存储器210、存储控制器220及处理器230各元件之间直接或间接地电性连接，以实现数据的传输或交互。例如，这些元件相互之间可通过一条或多条通讯总线或信号线实现电性连接。存储器210中存储有训练好的神经网络模型及驾驶信息获取装置500，所述驾驶信息获取装置500包括至少一个可以软件或固件(firmware)的形式存储于所述存储器210中的软件功能模块。所述处理器230通过运行存储在存储器210内的软件程序以及模块，如本申请实施例中的驾驶信息获取装置500，从而执行各种功能应用以及数据处理，即实现本申请实施例中的驾驶信息获取方法。其中，所述处理器230可以是，但不限于，GPU(Graphics Processing Unit，图形处理器)。
可以理解，图2所示的结构仅为示意，图像处理设备200还可包括比图2中所示更多或者更少的组件，或者具有与图2所示不同的配置。图2中所示的各组件可以采用硬件、软件或其组合实现。
可选地，所述图像处理设备200与所述车辆控制单元300可以是单独的两个设备。所述图像处理设备200还可以与所述车辆控制单元300集成为同一个设备。
请参照图3，图3是本申请实施例提供的驾驶信息获取方法的流程示意图之一。所述方法应用于所述信息获取系统10，该信息获取系统10包括电性连接的图像采集设备100、图像处理设备200、车辆控制单元300及转向设备400。其中，所述图像采集设备100通过转向设备400固定在车辆内，所述车辆控制单元300通过控制所述转向设备400控制所述图像采集设备100的拍摄方向。下面对驾驶信息获取方法的具体流程进行详细阐述。
步骤S110，在需要测量乘客重量时，通过所述车辆控制单元300控制所述转向设备400带动所述图像采集设备100转向，以使所述图像采集设备100的拍摄方向朝向车辆内部。
在本实施例中，所述车辆控制单元300可以在接收到相应的输入指令、或当前条件满足预设条件时(比如，车辆启动时)，确定需要测量乘客重量。比如，在车辆启动前，车辆控制单元300若检测到某个按钮被用户操作，则可确定接收到乘客重量测量指令。其中，此处的乘客是指处于所述车辆内的人，包括司机。
为避免在需要测量乘客体重时，图像采集设备100的拍摄方向朝向车辆外部，所述车辆控制单元300首先向转向设备400发送转向控制指令，以使转向设备400带动所述图像采集设备100转动，从而改变图像采集设备100的拍摄方向，使得图像采集设备100朝向所述车辆内部。
可选地，为便于后续计算，该图像采集设备100为可转动、但所在位置固定的设备，并且在用于测量乘客重量时，拍摄方向固定。进一步地，为保证拍摄效果，图像采集设备100在获得车辆内部的图像时，图像采集设备100的朝向与车身纵轴线平行。可选地，可在车辆行驶之前，使图像采集设备100的拍摄方向朝向车辆内部，以获得所述车辆内部的图像。
请参照图4，图4是本申请实施例提供的图像采集设备100朝向车辆内部的示意图。作为一种实施方式，该图像采集设备100设置在前挡风玻璃朝向车辆内部的一侧。在所述车辆控制单元300对转向设备400的控制下，图像采集设备100的拍摄区域为车辆内部，即图4中的三角形区域为图像采集设备100的拍摄区域。
步骤S120，通过所述图像采集设备100获得所述车辆内部的图像。
步骤S130，通过所述图像处理设备200采用训练好的神经网络模型对所述车辆内部的图像进行处理，确定所述车辆内部的乘客数量，并得到各个乘客的重量。
在本实施例中，所述图像处理设备200中存储有训练好的神经网络模型。所述图像处理设备200在接收到所述图像采集设备100发送的所述车辆内部的图像后，基于该训练好的神经网络模型，对所述车辆内部的图像进行处理，可确定所述车辆内部的乘客数量，并得到各个乘客的重量。
可选地，所述图像处理设备200可将获得的乘客数量发送给所述车辆控制单元300，以便所述车辆控制单元300在有需要时使用。比如，在车辆可使用某些与乘客数量相关的快速通道时，所述车辆控制单元300可将该乘客数量发送给相应的控制设备，以获得相应的服务。例如，在某些地区，比如洛杉矶或旧金山，若车辆上乘客多于两名，则可以使用快速通道。若通过设置在路上的摄像头来检测车辆内的人员，会产生额外的基建成本。而在本实施例中，车辆控制单元300可通过车辆上的无线单元与公路基础设施通信，将乘客数量通过WIFI、4G或5G发送给公路基础设施，从而在乘客数量符合规定时可获得快速通道的使用权。
请参照图5，图5是图3中步骤S130包括的子步骤的流程示意图。步骤S130可以包括子步骤S131～子步骤S133。
子步骤S131，通过训练好的神经网络模型确定所述车辆内部的图像中乘客所在的乘客区域。
在本实施例中，所述图像处理设备200中存储有训练好的CNN(ConvolutionalNeural Network，卷积神经网络)模型。可选地，该CNN模型可以是YOLO模型，YOLO是一个可以一次性预测多个Box位置和类别的卷积神经网络。YOLO的输入是一张图片，输出是被检测的物体(此处为乘客)以及包络物体的矩形(即乘客所在的乘客区域)。由此，利用该模型可检测图像内物体的位置、大小，并对物体进行分类。所述图像处理设备200通过存储的CNN模型，获得所述车辆内部的图像中每个乘客所在的乘客区域。每个乘客区域对应一个乘客，在获得所述车辆内部的图像中的所有乘客区域后，可根据乘客区域的数量确定所述车辆内部的乘客数量。如图6所示，经检测，得到3个矩形框，即获得3个乘客区域，此时车辆内的乘客数量为3。
子步骤S132，根据所述乘客区域的中心点在所述车辆内部的图像中的位置，确定乘客在所述车辆中的乘坐位置。
在本实施例中，在所述图像采集设备100用于测量乘客重量时，所述图像采集设备100的位置及朝向固定，可经预先标定获得并存储乘客区域的中心点的位置与乘坐位置的对应关系。在实际应用时，可直接根据每个乘客区域的中心点在所述车辆内部的图像中的位置、预先存储的乘客区域的中心点的位置与乘坐位置的对应关系，确定每个乘客在车辆中的乘坐位置。可选地，乘坐位置是根据每个位置在图像采集设备100的朝向上与图像采集设备100之间的距离划分的。比如，在图像采集设备100设置在前挡风玻璃上时，乘坐位置与座椅的排数对应，可分为第一排、第二排等。
子步骤S133，根据乘客所在的乘客区域及乘坐位置确定乘客的体重。
在本实施例中，可通过以下方式确定乘客的体重：首先根据乘客所在的乘客区域获得乘客的身高及体型，然后根据乘客的身高、体型及所述车辆对应地区的乘客身高、乘客体型与乘客体重的对应关系，得到乘客的体重。可选地，所述车辆对应地区可以是选定的一个特定地区，也可以是该车辆当前所在的地区。
在本实施例的一种实施方式中，所述根据乘客所在的乘客区域获得乘客的身高及体型的方式，包括：
根据乘客区域在所述车辆内部的图像中的上边界位置、及乘坐位置对应的身高与上边界位置的关系，计算得到乘客的身高，其中，乘客区域的上边界为乘客区域中靠近车辆顶部的边界；或者，
根据乘客区域在与所述上边界垂直方向的长度、及乘坐位置对应的上半身身高与长度的对应关系，计算得到乘客的上半身身高，并由乘客的上半身身高计算得到乘客的身高；
根据乘客区域在与所述上边界平行方向的长度获得乘客的体型。
可选地，所述图像处理设备200中存储有经预先标定得到的不同乘坐位置对应的身高和乘客区域的上边界位置的对应关系。在得到乘坐位置后，所述图像处理设备200可根据每个乘客区域在所述车辆内部的图像中的上边界位置、该乘客区域对应的乘客的乘坐位置所对应的身高与上边界位置的对应关系，获得该乘客区域对应的乘客的身高。其中，乘客区域的上边界为乘客区域中靠近车辆顶部的边界。可选地，上边界的位置可使用上边界的像素点在纵轴方向的坐标确定。
或者，所述图像处理设备200中存储有经预先标定得到的不同乘坐位置对应的上半身身高和长度的对应关系。在得到乘坐位置后，所述图像处理设备200可根据每个乘客区域在与上边界垂直方向的长度、该乘客区域对应的乘客的乘坐位置所对应的上半身身高与长度的对应关系，获得该乘客区域对应的乘客的上半身身高。再根据预先存储的上半身身高与身高的对应关系，计算得到该乘客区域对应的乘客的身高。
进一步地，不同乘坐位置对应的身高和乘客区域的上边界位置的对应关系、不同乘坐位置对应的上半身身高和长度的对应关系，与“近大远小”的原则相关。其中，“近大远小”中的距离为在图像采集设备100的朝向上，乘坐位置越靠近图像采集设备100，则在所述车辆的内部图像中，该乘坐位置对应的乘客区域则越大。在本实施例的一种实施方式中，每个乘坐位置对应的对应关系有：y＝kx-b，其中，x表示上边界的像素点在纵轴方向的坐标、或乘客区域在与上边界垂直方向的长度，对应地，y表示身高、或上半身身高，k表示比例常数，靠近所述图像采集设备100的乘坐位置对应的k值小于远离图像采集设备100的乘坐位置对应的k值，b表示偏移量，可根据实际情况设置，其中，不同乘坐位置对应的对应关系中的b值可不同。
所述图像处理设备200中还可以存储有经预先标定得到的不同乘坐位置对应的体型和长度的对应关系。在得到乘坐位置后，所述图像处理设备200可根据每个乘客区域在与所述上边界平行方向的长度、该乘客区域对应的乘客的乘坐位置对应的体型和长度的对应关系，获得该乘客区域对应的乘客的体型。
步骤S140，在不需要测量乘客重量时，通过所述车辆控制单元300控制所述转向设备400带动所述图像采集设备100转向，以使所述图像采集设备100的拍摄方向朝向车辆前方。
步骤S150，通过所述图像采集设备100获得所述车辆前方的图像。
步骤S160，通过所述图像处理设备200对所述车辆前方的图像进行处理，获得所述车辆的周围环境信息。
在本实施例中，所述车辆控制单元300可根据接收到的指令，确定是否通过所述图像采集设备100，获得乘客数量及各个乘客的重量。若不需要进行乘客重量测量，所述车辆控制单元300可控制转向设备400带动所述图像采集设备100转向，以使该图像采集设备100的拍摄方向朝向车辆前方，从而获得所述车辆前方的图像。由此可知，此时所述图像采集设备100可作为行车记录仪使用。
在需要获得车辆的周围环境信息时，所述图像采集设备100可将得到的所述车辆前方的图像发送给所述图像处理设备200。所述图像处理设备200对该车辆前方的图像进行分析，得到所述车辆的周围环境信息。该周围环境信息可以包括，但不限于，是否有障碍物、车道线位置、可行驶区域位置等。
可选地，图7中的三角形区域为图像采集设备100朝向车辆前方时的拍摄区域。可选地，在图像采集设备100朝向车辆前方时，图像采集设备100的朝向与车身纵轴线平行。
由此，在车辆行驶前，可使图像采集设备100朝向车辆内部，以获得所述车辆内部的图像，然后基于该车辆内部的图像，获得车辆中的乘客数量及每个乘客的重量。在需要获得车辆的周围环境信息时，可使图像采集设备100朝向车辆前方，以获得车辆周围环境信息，从而使得所述图像采集设备100可提供辅助ADAS(Advanced Driving AssistantSystem，高级辅助驾驶系统)或自动驾驶的感知功能。并且，该图像采集设备100还可以用作一般的行车记录仪。通过上述方式，不需要针对每个信息单独设置一采集设备，通过图像采集设备100采集的图像，即可得到乘客数量、各个乘客的重量及车辆的周围环境信息。
请参照图8，图8是本申请实施例提供的驾驶信息获取方法的流程示意图之二。在步骤S160之后，所述方法还可以包括步骤S170及步骤S180。
步骤S170，计算所述车辆内所有乘客的总重量。
步骤S180，根据所有乘客的总重量及所述车辆的重量计算车辆的总重量，并更新车辆的总重量。
在本实施例中，所述图像处理设备200还可以根据每个乘客的重量计算得到所有乘客的总重量，并将所有乘客的总重量发送给所述车辆控制单元300。所述车辆控制单元300中可存储有车辆的重量，在接收到所有乘客的总重量后，根据车辆的总量、所有乘客的总重量计算得到车辆的总重量，并根据计算得到车辆的总重量对已经保存的车辆的总重量进行更新。可选地，所述车辆控制单元300也可以将车辆的总重量发送给显示屏进行显示。
请参照图9，图9是本申请实施例提供的驾驶信息获取方法的流程示意图之三。在步骤S180之后，所述方法还可以包括步骤S190。
步骤S190，基于更新后的车辆的总重量，计算所述车辆沿预设路径行驶所需的能源消耗量和/或以当前能源量沿预设路径行驶的距离。
在本实施例中，可根据车辆的总重量和电池电量变化的关系计算所述车辆沿预设路径行驶所需的能源消耗量和/或以当前能源量沿预设路径行驶的距离。其中，具体计算公式如下所示，该公式遵循如下假设：车辆延预设路线行驶，车辆按照路线设定的速度和加速度行驶，电池电量(State of Charge，SOC)随时间的变化率和车重(包含乘客)成正比。计算公式为：
MVeh＝Mcar+MLoad
其中，ΔSOC表示行驶过程中电池电量的变化(t＝t1至终点时刻t2)，I表示电池电流，Qbattery表示电池容量，PelecEM表示电机功率，PAux表示车辆辅助设备功率，U表示电池电压，PMechEM表示电机机械功率，ηEM表示电机效率，TqMechEM表示电机输出扭矩，ωEM表示电机角速度，Rreducer表示车轮和电机轴减速比，ηreducer表示车轮和电机传输效率，TqWheel表示车轮扭矩，RWheel表示车轮半径，MVeh表示车辆总重量，VVeh表示车速，F0表示车轮的滚动阻力(单位为N)，F1表示动力总成的摩擦力(单位为N/kph)，F2表示空气阻力(单位为N/kph2)，Mcar表示空车重量；MLoad表示载重(包括乘客)。
请参照图10，图10是本申请实施例提供的驾驶信息获取方法的流程示意图之四。所述方法应用于信息获取系统10中的图像处理设备200。所述信息获取系统10还包括转向设备400、与所述图像处理设备200电性连接的车辆控制单元300及图像采集设备100。其中，所述图像采集设备100通过转向设备400固定在车辆内，所述车辆控制单元300通过控制所述转向设备400控制所述图像采集设备100的拍摄方向。所述方法包括步骤S210～S240。
步骤S210，在需要测量乘客重量时，接收所述图像采集设备100发送的在由所述转向设备400带动使得拍摄方向朝向所述车辆内部时获得的所述车辆内部的图像。
步骤S220，采用训练好的神经网络模型对所述车辆内部的图像进行处理，确定所述车辆内部的乘客数量，并得到各个乘客的重量。
步骤S230，在不需要测量乘客重量时，接收所述图像采集设备100发送的在由所述转向设备400带动使得拍摄方向朝向所述车辆前方时获得的所述车辆前方的图像。
步骤S240，对所述车辆前方的图像进行处理，获得所述车辆的周围环境信息。
可选地，在本实施例中，可通过以下方式获得乘客数量及各个乘客的重量：
通过训练好的神经网络模型确定所述车辆内部的图像中乘客所在的乘客区域；
根据所述乘客区域的中心点在所述车辆内部的图像中的位置，确定乘客在所述车辆中的乘坐位置；
根据乘客所在的乘客区域及乘坐位置确定乘客的体重。
在本实施例中，关于应用于图像处理设备200的驾驶信息获取方法的具体描述，可以参照前文对步骤S110～步骤S190的描述，在此不再赘述。
请参照图11，图11是本申请实施例提供的驾驶信息获取装置500的方框示意图。所述驾驶信息获取装置500应用于信息获取系统10中的图像处理设备200。所述信息获取系统10还包括转向设备400、与所述图像处理设备200电性连接的车辆控制单元300及图像采集设备100。其中，所述图像采集设备100通过转向设备400固定在车辆内，所述车辆控制单元300通过控制所述转向设备400控制所述图像采集设备100的拍摄方向。所述驾驶信息获取装置500可以包括接收模块510及处理模块520。
所述接收模块510，用于在需要测量乘客重量时，接收所述图像采集设备100发送的在由所述转向设备400带动使得拍摄方向朝向所述车辆内部时获得的所述车辆内部的图像。
所述处理模块520，用于采用训练好的神经网络模型对所述车辆内部的图像进行处理，确定所述车辆内部的乘客数量，并得到各个乘客的重量。
所述接收模块510，还用于在不需要测量乘客重量时，接收所述图像采集设备100发送的在由所述转向设备400带动使得拍摄方向朝向所述车辆前方时获得的所述车辆前方的图像。
所述处理模块520，还用于对所述车辆前方的图像进行处理，获得所述车辆的周围环境信息。
在本实施例中，关于驾驶信息获取装置500的具体描述，可以参照前文对步骤S110～步骤S190的描述，在此不再赘述。
综上所述，本申请实施例提供一种驾驶信息获取方法、装置及信息获取系统。该系统包括电性连接的图像采集设备、图像处理设备及车辆控制单元。其中，图像采集设备通过转向设备固定在车辆内，车辆控制单元通过控制转向设备控制图像采集设备的拍摄方向。在需要测量乘客重量时，通过车辆控制单元对转向设备的控制，利用图像采集设备获得车辆内部的图像，然后采用训练好的神经网络模型对得到的车辆内部的图像进行处理，得到乘客数量及各个乘客的重量。在不需要测量乘客重量时，通过转向设备改变图像采集设备的拍摄方向，获得车辆前方的图像，基于该车辆前方的图像可得到车辆的周围环境信息。由此，可获得乘客数量、各个乘客的重量及车辆的周围环境信息，并且不需要设置压力传感器或计力传感器，也不需要针对每个信息单独设置一采集设备。
以上所述，仅为本申请的各种实施方式，但本申请的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本申请的保护范围之内。因此，本申请的保护范围应所述以权利要求的保护范围为准。

Claims (10)

1.一种驾驶信息获取方法，其特征在于，应用于信息获取系统，所述信息获取系统包括电性连接的图像采集设备、图像处理设备及车辆控制单元，其中，所述图像采集设备通过转向设备固定在车辆内，所述车辆控制单元通过控制所述转向设备控制所述图像采集设备的拍摄方向，所述方法包括：
在需要测量乘客重量时，通过所述车辆控制单元控制所述转向设备带动所述图像采集设备转向，以使所述图像采集设备的拍摄方向朝向车辆内部；
通过所述图像采集设备获得所述车辆内部的图像；
通过所述图像处理设备采用训练好的神经网络模型对所述车辆内部的图像进行处理，确定所述车辆内部的乘客数量，并得到各个乘客的重量；
在不需要测量乘客重量时，通过所述车辆控制单元控制所述转向设备带动所述图像采集设备转向，以使所述图像采集设备的拍摄方向朝向车辆前方；
通过所述图像采集设备获得所述车辆前方的图像；
通过所述图像处理设备对所述车辆前方的图像进行处理，获得所述车辆的周围环境信息。
2.如权利要求1所述的方法，其特征在于，所述采用训练好的神经网络模型对所述车辆内部的图像进行处理，确定所述车辆内部的乘客数量，并得到各个乘客的重量，包括：
通过训练好的神经网络模型确定所述车辆内部的图像中乘客所在的乘客区域；
根据所述乘客区域的中心点在所述车辆内部的图像中的位置，确定乘客在所述车辆中的乘坐位置；
根据乘客所在的乘客区域及乘坐位置确定乘客的体重。
3.如权利要求2所述的方法，其特征在于，所述根据乘客所在的乘客区域及乘坐位置确定乘客的体重，包括：
根据乘客所在的乘客区域获得乘客的身高及体型；
根据乘客的身高、体型及所述车辆对应地区的乘客身高、乘客体型与乘客体重的对应关系，得到乘客的体重。
4.如权利要求3所述的方法，其特征在于，所述根据乘客所在的乘客区域获得乘客的身高及体型，包括：
根据乘客区域在所述车辆内部的图像中的上边界位置、及乘坐位置对应的身高与上边界位置的关系，计算得到乘客的身高，其中，乘客区域的上边界为乘客区域中靠近车辆顶部的边界；或者，
根据乘客区域在与所述上边界垂直方向的长度、及乘坐位置对应的上半身身高与长度的对应关系，计算得到乘客的上半身身高，并由乘客的上半身身高计算得到乘客的身高；
根据乘客区域在与所述上边界平行方向的长度获得乘客的体型。
5.如权利要求1所述的方法，其特征在于，在所述确定所述车辆内部的乘客数量，并得到各个乘客的重量之后，所述方法还包括：
计算所述车辆内所有乘客的总重量；
根据所有乘客的总重量及所述车辆的重量计算车辆的总重量，并更新车辆的总重量。
6.如权利要求5所述的方法，其特征在于，在所述更新车辆的总重量之后，所述方法还包括：
基于更新后的车辆的总重量，计算所述车辆沿预设路径行驶所需的能源消耗量和/或以当前能源量沿预设路径行驶的距离。
7.一种驾驶信息获取方法，其特征在于，应用于信息获取系统中的图像处理设备，所述信息获取系统还包括与所述图像处理设备电性连接的车辆控制单元及图像采集设备，其中，所述图像采集设备通过转向设备固定在车辆内，所述车辆控制单元通过控制所述转向设备控制所述图像采集设备的拍摄方向，所述方法包括：
在需要测量乘客重量时，接收所述图像采集设备发送的在由所述转向设备带动使得拍摄方向朝向所述车辆内部时获得的所述车辆内部的图像；
采用训练好的神经网络模型对所述车辆内部的图像进行处理，确定所述车辆内部的乘客数量，并得到各个乘客的重量；
在不需要测量乘客重量时，接收所述图像采集设备发送的在由所述转向设备带动使得拍摄方向朝向所述车辆前方时获得的所述车辆前方的图像；
对所述车辆前方的图像进行处理，获得所述车辆的周围环境信息。
8.如权利要求7所述的方法，其特征在于，所述采用训练好的神经网络模型对所述车辆内部的图像进行处理，确定所述车辆内部的乘客数量，并得到各个乘客的重量，包括：
通过训练好的神经网络模型确定所述车辆内部的图像中乘客所在的乘客区域；
根据所述乘客区域的中心点在所述车辆内部的图像中的位置，确定乘客在所述车辆中的乘坐位置；
根据乘客所在的乘客区域及乘坐位置确定乘客的体重。
9.一种驾驶信息获取装置，其特征在于，应用于信息获取系统中的图像处理设备，所述信息获取系统还包括与所述图像处理设备电性连接的车辆控制单元及图像采集设备，其中，所述图像采集设备通过转向设备固定在车辆内，所述车辆控制单元通过控制所述转向设备控制所述图像采集设备的拍摄方向，所述装置包括：
接收模块，用于在需要测量乘客重量时，接收所述图像采集设备发送的在由所述转向设备带动使得拍摄方向朝向所述车辆内部时获得的所述车辆内部的图像；
处理模块，用于采用训练好的神经网络模型对所述车辆内部的图像进行处理，确定所述车辆内部的乘客数量，并得到各个乘客的重量；
所述接收模块，还用于在不需要测量乘客重量时，接收所述图像采集设备发送的在由所述转向设备带动使得拍摄方向朝向所述车辆前方时获得的所述车辆前方的图像；
所述处理模块，还用于对所述车辆前方的图像进行处理，获得所述车辆的周围环境信息。
10.一种信息获取系统，其特征在于，包括电性连接的图像采集设备、图像处理设备及车辆控制单元，其中，所述图像采集设备通过转向设备固定在车辆内，所述车辆控制单元通过控制所述转向设备控制所述图像采集设备的拍摄方向，
所述车辆控制单元，用于在需要测量乘客重量时，控制所述转向设备带动所述图像采集设备转向，以使所述图像采集设备的拍摄方向朝向车辆内部；
所述图像采集设备，用于获得所述车辆内部的图像，并将所述车辆内部的图像发送给所述图像处理设备；
所述图像处理设备，用于采用训练好的神经网络模型对所述车辆内部的图像进行处理，确定所述车辆内部的乘客数量，并得到各个乘客的重量；
所述车辆控制单元，还用于在不需要测量乘客重量时，控制所述转向设备带动所述图像采集设备转向，以使所述图像采集设备的拍摄方向朝向车辆前方；
所述图像采集设备，还用于获得所述车辆前方的图像，并将所述车辆前方的图像发送给所述图像处理设备；
所述图像处理设备，还用于对所述车辆前方的图像进行处理，获得所述车辆的周围环境信息。
CN201910750032.6A 2019-08-14 2019-08-14 驾驶信息获取方法、装置及信息获取系统 Expired - Fee Related CN110422178B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910750032.6A CN110422178B (zh) 2019-08-14 2019-08-14 驾驶信息获取方法、装置及信息获取系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910750032.6A CN110422178B (zh) 2019-08-14 2019-08-14 驾驶信息获取方法、装置及信息获取系统

Publications (2)

Publication Number Publication Date
CN110422178A true CN110422178A (zh) 2019-11-08
CN110422178B CN110422178B (zh) 2021-05-11

Family

ID=68416249

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910750032.6A Expired - Fee Related CN110422178B (zh) 2019-08-14 2019-08-14 驾驶信息获取方法、装置及信息获取系统

Country Status (1)

Country Link
CN (1) CN110422178B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022037853A1 (de) * 2020-08-18 2022-02-24 Emotion3D Gmbh Computerimplementiertes verfahren zur analyse des innenraums eines fahrzeugs

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104010914A (zh) * 2011-12-29 2014-08-27 英特尔公司 用于辨识车辆乘员的系统、方法和装置
CN107343152A (zh) * 2017-08-25 2017-11-10 无锡北斗星通信息科技有限公司 实时乘客图像数据修正系统
CN107962935A (zh) * 2016-10-20 2018-04-27 福特全球技术公司 车辆车窗透光率控制装置和方法
KR20180076762A (ko) * 2016-12-28 2018-07-06 동명대학교산학협력단 차량의 실내 승객 감지 장치
CN109987102A (zh) * 2018-01-03 2019-07-09 田文洪 一种基于卷积神经网络的高精度自动识别驾驶员不安全行为的方法与装置
CN110087026A (zh) * 2019-03-26 2019-08-02 上海物为信息科技有限公司 一种车辆双屏多摄像头监控系统

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104010914A (zh) * 2011-12-29 2014-08-27 英特尔公司 用于辨识车辆乘员的系统、方法和装置
CN107962935A (zh) * 2016-10-20 2018-04-27 福特全球技术公司 车辆车窗透光率控制装置和方法
KR20180076762A (ko) * 2016-12-28 2018-07-06 동명대학교산학협력단 차량의 실내 승객 감지 장치
CN107343152A (zh) * 2017-08-25 2017-11-10 无锡北斗星通信息科技有限公司 实时乘客图像数据修正系统
CN109987102A (zh) * 2018-01-03 2019-07-09 田文洪 一种基于卷积神经网络的高精度自动识别驾驶员不安全行为的方法与装置
CN110087026A (zh) * 2019-03-26 2019-08-02 上海物为信息科技有限公司 一种车辆双屏多摄像头监控系统

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022037853A1 (de) * 2020-08-18 2022-02-24 Emotion3D Gmbh Computerimplementiertes verfahren zur analyse des innenraums eines fahrzeugs

Also Published As

Publication number Publication date
CN110422178B (zh) 2021-05-11

Similar Documents

Publication Publication Date Title
JP5544983B2 (ja) 電気自動車用表示装置及び表示方法
US20100132388A1 (en) Air conditioning control device for vehicle
WO2015083228A1 (ja) 表示制御装置、表示制御方法、及びプログラム
CN110087939A (zh) 车辆控制系统、车辆控制方法及车辆控制程序
CN103796904A (zh) 用于机动车泊车系统的对泊车场景分类的方法
CN110696613A (zh) 用于车辆的乘客抬头显示器
CN112534625A (zh) 诊断装置、诊断方法及程序
WO2021036592A1 (zh) 后视镜自适应调节方法及装置
GB2564193A (en) Control module activation of vehicles in a key-off state to determine driving routes
WO2021217570A1 (zh) 基于隔空手势的控制方法、装置及系统
EP1297989A2 (en) Method of setting the angle of a display in an instrument panel
EP4180272A1 (en) Picture display method, intelligent vehicle, storage medium, and picture display device
CN109858940B (zh) 可移动体和广告提供方法
CN109878506A (zh) 车辆控制系统、车辆控制方法及存储介质
CN110281935A (zh) 车辆控制装置、车辆控制方法及存储介质
CN105620486B (zh) 应用于车辆能量管理的行驶模式判断装置及方法
US20150316390A1 (en) Driving support system, and center and onboard apparatus configuring the system
CN110422178A (zh) 驾驶信息获取方法、装置及信息获取系统
CN102865868B (zh) 评价显示系统及方法
CN108116411B (zh) 控制车速的方法、装置、设备和存储介质
JP4965366B2 (ja) 車両用制御装置
JP5387152B2 (ja) 車両走行制御装置
US20240167835A1 (en) Power transmission device, non-contact power transmission system, and method for controlling power transmission device
CN115871523A (zh) 电池加热方法、装置、车辆、可读存储介质及芯片
JP2000221043A (ja) 車載走行制御装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20210511

CF01 Termination of patent right due to non-payment of annual fee