CN115123127A - 开车门动机识别方法、装置及车辆 - Google Patents

开车门动机识别方法、装置及车辆 Download PDF

Info

Publication number
CN115123127A
CN115123127A CN202210775658.4A CN202210775658A CN115123127A CN 115123127 A CN115123127 A CN 115123127A CN 202210775658 A CN202210775658 A CN 202210775658A CN 115123127 A CN115123127 A CN 115123127A
Authority
CN
China
Prior art keywords
door opening
behavior
vehicle
driver
door
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210775658.4A
Other languages
English (en)
Inventor
张琼
杨奎元
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Xiaomi Automobile Technology Co Ltd
Original Assignee
Xiaomi Automobile Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Xiaomi Automobile Technology Co Ltd filed Critical Xiaomi Automobile Technology Co Ltd
Priority to CN202210775658.4A priority Critical patent/CN115123127A/zh
Publication of CN115123127A publication Critical patent/CN115123127A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R21/00—Arrangements or fittings on vehicles for protecting or preventing injuries to occupants or pedestrians in case of accidents or other traffic risks
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60Q—ARRANGEMENT OF SIGNALLING OR LIGHTING DEVICES, THE MOUNTING OR SUPPORTING THEREOF OR CIRCUITS THEREFOR, FOR VEHICLES IN GENERAL
    • B60Q1/00—Arrangement of optical signalling or lighting devices, the mounting or supporting thereof or circuits therefor
    • B60Q1/26—Arrangement of optical signalling or lighting devices, the mounting or supporting thereof or circuits therefor the devices being primarily intended to indicate the vehicle, or parts thereof, or to give signals, to other traffic
    • B60Q1/50—Arrangement of optical signalling or lighting devices, the mounting or supporting thereof or circuits therefor the devices being primarily intended to indicate the vehicle, or parts thereof, or to give signals, to other traffic for indicating other intentions or conditions, e.g. request for waiting or overtaking
    • B60Q1/525—Arrangement of optical signalling or lighting devices, the mounting or supporting thereof or circuits therefor the devices being primarily intended to indicate the vehicle, or parts thereof, or to give signals, to other traffic for indicating other intentions or conditions, e.g. request for waiting or overtaking automatically indicating risk of collision between vehicles in traffic or with pedestrians, e.g. after risk assessment using the vehicle sensor data
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60Q—ARRANGEMENT OF SIGNALLING OR LIGHTING DEVICES, THE MOUNTING OR SUPPORTING THEREOF OR CIRCUITS THEREFOR, FOR VEHICLES IN GENERAL
    • B60Q5/00—Arrangement or adaptation of acoustic signal devices
    • B60Q5/005—Arrangement or adaptation of acoustic signal devices automatically actuated
    • B60Q5/006—Arrangement or adaptation of acoustic signal devices automatically actuated indicating risk of collision between vehicles or with pedestrians
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R16/00—Electric or fluid circuits specially adapted for vehicles and not otherwise provided for; Arrangement of elements of electric or fluid circuits specially adapted for vehicles and not otherwise provided for
    • B60R16/02—Electric or fluid circuits specially adapted for vehicles and not otherwise provided for; Arrangement of elements of electric or fluid circuits specially adapted for vehicles and not otherwise provided for electric constitutive elements
    • B60R16/023—Electric or fluid circuits specially adapted for vehicles and not otherwise provided for; Arrangement of elements of electric or fluid circuits specially adapted for vehicles and not otherwise provided for electric constitutive elements for transmission of signals between vehicle parts or subsystems
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R21/00—Arrangements or fittings on vehicles for protecting or preventing injuries to occupants or pedestrians in case of accidents or other traffic risks
    • B60R21/01—Electrical circuits for triggering passive safety arrangements, e.g. airbags, safety belt tighteners, in case of vehicle accidents or impending vehicle accidents
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R21/00—Arrangements or fittings on vehicles for protecting or preventing injuries to occupants or pedestrians in case of accidents or other traffic risks
    • B60R2021/0002—Type of accident
    • B60R2021/0006—Lateral collision
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R21/00—Arrangements or fittings on vehicles for protecting or preventing injuries to occupants or pedestrians in case of accidents or other traffic risks
    • B60R21/01—Electrical circuits for triggering passive safety arrangements, e.g. airbags, safety belt tighteners, in case of vehicle accidents or impending vehicle accidents
    • B60R2021/01013—Means for detecting collision, impending collision or roll-over

Landscapes

  • Engineering & Computer Science (AREA)
  • Mechanical Engineering (AREA)
  • Physics & Mathematics (AREA)
  • Acoustics & Sound (AREA)
  • Traffic Control Systems (AREA)

Abstract

本公开是关于一种开车门动机识别方法、装置及车辆，涉及车辆技术领域。其中，方法包括：获取本车车辆内人员的行为视频数据；对人员的行为视频数据进行特征提取，获得人员的行为特征信息，并根据人员的行为特征信息，获得人员的开车门概率；根据人员的开车门概率，确定人员是否具有开车门动机。本方案可以实现对车辆内人员是否具备开车门动机进行预测，以及时对周围车辆及行人进行提醒，来降低开车门过程产生交通事故的概率。

Description

开车门动机识别方法、装置及车辆
技术领域
本公开涉及车辆技术领域，尤其涉及一种开车门动机识别方法、装置及车辆。
背景技术
在日常行车过程中，当车辆的驾乘人员需要下车时，通常会靠路边停车以使车辆上的驾乘人员下车。但是当道路上的其他交通工具的驾驶人判断车辆为静止状态时，会放松对车辆的警惕，在从车边经过时，若车门突然开启，其他交通工具的驾驶人往往来不及减速或者及时避开车辆的车门，从而导致严重的碰撞事故发生。
发明内容
为克服相关技术中存在的问题，本公开提供了一种开车门动机识别方法、装置及车辆。
根据本公开实施例的第一方面，提供了一种开车门动机识别方法，包括：
获取本车车辆内人员的行为视频数据；
对所述人员的行为视频数据进行特征提取，获得所述人员的行为特征信息，并根据所述人员的行为特征信息，获得所述人员的开车门概率；
根据所述人员的开车门概率，确定所述人员是否具有开车门动机。
其中，所述根据所述人员的开车门概率，确定所述人员是否具有开车门动机，包括：
将所述人员的开车门概率与预设的第一开门阈值进行比对；
响应于所述人员的开车门概率大于所述第一开门阈值，确定所述人员具有开车门动机。
在本公开的一些实施例中，所述对所述人员的行为视频数据进行特征提取，获得所述人员的行为特征信息，并根据所述人员的行为特征信息，获得所述人员的开车门概率，包括：
响应于所述人员的行为视频数据为驾驶员的行为视频数据，确定与所述驾驶员对应的第一开门行为预测模型；其中，所述第一开门行为预测模型已学习得到基于驾驶员的行为视频数据进行驾驶员行为特征信息提取，并基于驾驶员行为特征信息预测驾驶员的开车门概率的能力；
将所述驾驶员的行为视频数据输入至所述第一开门行为预测模型，获得所述驾驶员的开车门概率。
在本公开的一些实施例中，所述对所述人员的行为视频数据进行特征提取，获得所述人员的行为特征信息，并根据所述人员的行为特征信息，获得所述人员的开车门概率，还包括：
响应于所述人员的行为视频数据为乘客的行为视频数据，确定与所述乘客对应的第二开门行为预测模型；其中，所述第二开门行为预测模型已学习得到基于乘客的行为视频数据进行乘客行为特征信息提取，并基于乘客行为特征信息预测乘客的开车门概率的能力；
将所述乘客的行为视频数据输入至所述第二开门行为预测模型，获得所述乘客的开车门概率。
在本公开的另一些实施例中，所述方法还包括：
获取所述本车车辆的状态信息；所述本车车辆的状态信息包括本车车辆行驶状态信息、所述驾驶员的安全带状态信息、油电状态信息和其他车门时序状态信息中的至少一个；
其中，所述根据所述人员的开车门概率，确定所述人员是否具有开车门动机，包括：
根据所述驾驶员的开车门概率和所述本车车辆的状态信息，确定所述驾驶员是否具有开车门动机。
作为一种可能的实现方式，所述根据所述驾驶员的开车门概率和所述本车车辆的状态信息，确定所述驾驶员是否有开车门动机，包括：
确定与所述本车车辆的状态信息对应的本车车辆状态值；
将所述驾驶员的开车门概率与所述本车车辆状态值进行加权计算，获得加权计算结果；
响应于所述加权计算结果大于预设的第二开门阈值，确定所述驾驶员具有开车门动机。
在本公开的又一些实施例中，所述方法还包括：
获取所述本车车辆的状态信息；所述本车车辆的状态信息包括本车车辆行驶状态信息、所述驾驶员的安全带状态信息、油电状态信息和其他车门时序状态信息中的至少一个；
其中，所述确定与所述驾驶员对应的第一开门行为预测模型，包括：
确定与所述驾驶员对应的第三开门行为预测模型；其中，所述第三开门行为预测模型已学习得到基于驾驶员的行为视频数据和车辆的状态信息，预测驾驶员的开车门概率的能力；
其中，所述将所述驾驶员的行为视频数据输入至所述第一开门行为预测模型，获得所述驾驶员的开车门概率，包括：
将所述驾驶员的行为视频数据输入至所述第三开门行为预测模型，获得所述驾驶员的开车门概率。
作为一种实施方式，所述获取本车车辆内人员的行为视频数据，包括：
获取所述本车车辆的当前行驶速度；
响应于所述当前行驶速度小于或者等于预设的速度阈值，获取所述本车车辆内人员的行为视频数据。
在本公开的一些实施例中，所述方法还包括：
响应于所述人员具有开车门动机，控制所述本车车辆进行开门警示以对周围的车辆及行人进行提醒；
和/或，响应于所述人员具有开车门动机，生成开门警示信号，并所述开门警示信号发送至周围的车辆和/或终端设备；其中，所述开门警示信号用于向所述周围的车辆和/或终端设备通知本车车辆具有开车门动机。
根据本公开实施例的第二方面，提供了一种开车门动机识别装置，包括：
第一获取模块，用于获取本车车辆内人员的行为视频数据；
第二获取模块，用于对所述人员的行为视频数据进行特征提取，获得所述人员的行为特征信息，并根据所述人员的行为特征信息，获得所述人员的开车门概率；
确定模块，用于根据所述人员的开车门概率，确定所述人员是否具有开车门动机。
其中，所述确定模块具体用于：
将所述人员的开车门概率与预设的第一开门阈值进行比对；
响应于所述人员的开车门概率大于所述第一开门阈值，确定所述人员具有开车门动机。
在本公开的一些实施例中，所述第二获取模块具体用于：
响应于所述人员的行为视频数据为驾驶员的行为视频数据，确定与所述驾驶员对应的第一开门行为预测模型；其中，所述第一开门行为预测模型已学习得到基于驾驶员的行为视频数据进行驾驶员行为特征信息提取，并基于驾驶员行为特征信息预测驾驶员的开车门概率的能力；
将所述驾驶员的行为视频数据输入至所述第一开门行为预测模型，获得所述驾驶员的开车门概率。
在本公开的另一些实施例中，所述第二获取模块还用于：
响应于所述人员的行为视频数据为乘客的行为视频数据，确定与所述乘客对应的第二开门行为预测模型；其中，所述第二开门行为预测模型已学习得到基于乘客的行为视频数据进行乘客行为特征信息提取，并基于乘客行为特征信息预测乘客的开车门概率的能力；
将所述乘客的行为视频数据输入至所述第二开门行为预测模型，获得所述乘客的开车门概率。
作为一种可能的实施方式，所述装置还包括：
第三获取模块，用于获取所述本车车辆的状态信息；所述本车车辆的状态信息包括本车车辆行驶状态信息、所述驾驶员的安全带状态信息、油电状态信息和其他车门时序状态信息中的至少一个；
其中，所述确定模块具体用于：
根据所述驾驶员的开车门概率和所述本车车辆的状态信息，确定所述驾驶员是否具有开车门动机。
作为一种示例，所述确定模块具体用于：
确定与所述本车车辆的状态信息对应的本车车辆状态值；
将所述驾驶员的开车门概率与所述本车车辆状态值进行加权计算，获得加权计算结果；
响应于所述加权计算结果大于预设的第二开门阈值，确定所述驾驶员具有开车门动机。
作为另一种可能的实施方式，所述装置还包括：
第四获取模块，用于获取所述本车车辆的状态信息；所述本车车辆的状态信息包括本车车辆行驶状态信息、所述驾驶员的安全带状态信息、油电状态信息和其他车门时序状态信息中的至少一个；
其中，所述第二获取模块具体用于：
响应于所述人员的行为视频数据为所述驾驶员的行为视频数据，确定与所述驾驶员对应的第三开门行为预测模型；其中，所述第三开门行为预测模型已学习得到基于驾驶员的行为视频数据和车辆的状态信息，预测驾驶员的开车门概率的能力；
将所述驾驶员的行为视频数据输入至所述第三开门行为预测模型，获得所述驾驶员的开车门概率。
在本公开的一些实施例中，所述第一获取模块具体用于：
获取所述本车车辆的当前行驶速度；
响应于所述当前行驶速度小于或者等于预设的速度阈值，获取所述本车车辆内人员的行为视频数据。
在本公开的一些实施例中，所述装置还包括：
预警模块，用于响应于所述人员具有开车门动机，控制所述本车车辆进行开门警示以对周围的车辆及行人进行提醒；和/或，响应于所述人员具有开车门动机，生成开门警示信号，并所述开门警示信号发送至周围的车辆和/或终端设备；其中，所述开门警示信号用于向所述周围的车辆和/或终端设备通知本车车辆具有开车门动机。
根据本公开实施例的第三方面，提供了一种车辆，包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时，实现上述第一方面所述的方法。
根据本公开实施例的第四方面，提供了一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现上第一方面所述的方法。
根据本公开实施例的第五方面，提供了一种计算机程序产品，包括计算机程序，所述计算机程序在被处理器执行时实现上述第一方面所述的方法。
本公开的实施例提供的技术方案可以包括以下有益效果：通过获取本车车辆内人员的行为视频数据，对人员的行为视频数据进行特征提取，获得人员的行为特征信息，并根据人员的行为特征信息，获得本车车辆内人员的开车门概率，以根据人员的开车门概率，确定本车车辆内人员是否具有开车门动机。也就是说，基于车辆内人员的行为视频数据，来预测车辆内人员是否具备开车门动机，这样通过对车辆内人员是否具备开车门动机进行预测，可以在存在开车门动机时对周围车辆及行人进行提醒，以降低开车门过程产生交通事故的概率。此外，通过对车辆内人员是否具备开车门动机进行预测，也可以及时制止降低车辆内人员意外开车门的动机，以进一步保障车辆内人员的安全性。
应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本公开。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本发明的实施例，并与说明书一起用于解释本发明的原理。
图1是根据一示例性实施例示出的一种开车门动机识别方法的流程图；
图2是根据一示例性实施例示出的另一种开车门动机识别方法的流程图；
图3是根据一示例性实施例示出的又一种开车门动机识别方法的流程图；
图4是根据一示例性实施例示出的又一种开车门动机识别方法的流程图；
图5是根据一示例性实施例示出的又一种开车门动机识别方法的流程图；
图6是根据一示例性实施例示出的一种开车门动机识别装置的结构框图；
图7是根据一示例性实施例示出的一种车辆的结构框图。
具体实施方式
这里将详细地对示例性实施例进行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本发明相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本发明的一些方面相一致的装置和方法的例子。
需要说明的是，在日常行车过程中，当车辆的驾乘人员需要下车时，通常会靠路边停车以使车辆上的驾乘人员下车。但是当道路上的其他交通工具的驾驶人判断车辆为静止状态时，会放松对车辆的警惕，在从车边经过时，若车门突然开启，其他交通工具的驾驶人往往来不及减速或者及时避开车辆的车门，从而导致严重的碰撞事故发生。
为了解决上述问题，本公开提供了一种开车门动机识别方法、装置及车辆。
图1是根据一示例性实施例示出的一种开车门动机识别方法的流程图。需要说明的是，本公开实施例中的开车门动机识别方法可应用于本公开实施例中的开车门动机识别装置中，且本公开实施例中的开车门动机识别装置可配置于车辆或者车载终端中。如图1所示，该方法包括以下步骤：
步骤101，获取本车车辆内人员的行为视频数据。
在本公开的一些实施例中，本车车辆是指当前需要对其开车门动机进行识别的车辆。本车车辆内人员可以包括本车车辆的驾驶员，也可以包括本车车辆内除驾驶员之外的至少一个乘客，即本车车辆内人员的行为视频数据可以为车辆中某个人员的行为视频数据，也可以为车辆中某几个人员的行为视频数据，也可以为车辆中所有人员的行为视频数据。其中，本车车辆中安装有摄像头用于对驾驶员和/或乘客的行为进行拍摄，包括对驾驶员和/或乘客的头部动作、肢体动作等的拍摄，也就是说，可以通过本车车辆内安装的摄像头来获取本车车辆内人员的行为视频数据。
在本公开的一些实施例中，本车车辆内人员的行为视频数据可以为摄像头拍摄的一段时间内的视频数据，获取本车车辆内人员的行为视频数据可以为按照预设的时间间隔，在各个预设时刻执行获取本车车辆内人员的行为视频数据，且每次执行时获取对应时刻及对应时刻之前预设时间段内的人员行为视频数据。比如，预设时间段为4s，则在当前时刻可以获取当前时刻及当前时刻之前3s内的人员的行为视频数据。
作为一种实施方式，人员的行为视频数据为驾驶员或者至少一个乘客的行为视频数据。若本车车辆内人员的行为视频数据为驾驶员的行为视频数据，该本车车辆内配备有摄像头可以对驾驶员的行为进行拍摄的摄像头，可以通过获取该摄像头对应时间段的视频数据，来获取本车车辆内人员的行为视频数据。若本车车辆内人员的行为视频数据为至少一个乘客的视频数据，则车辆内配备有至少一个摄像头以对乘客的行为进行拍摄，每个摄像头置于可拍摄到对应位置处乘客，这样，可以通过获取对应摄像头拍摄的视频数据，来获取本车车辆内人员的行为视频数据。
作为另一种实施方式，人员的行为视频数据包括驾驶员的行为视频数据和乘客的行为视频数据。本车车辆内配备有多个摄像头，每个摄像头置于可拍摄到对应位置处人员的行为视频数据。比如本车车辆内配备有4个座位，且本车车辆内配备有4个摄像头，每个摄像头对应一个座位，即每个摄像头配置在各自对应的座位的车顶处，以实现对对应座位上的人员的行为视频数据进行拍摄。这样，获取本车车辆内人员的行为视频数据可以是获取各个摄像头在对应时间段内拍摄的视频数据。
作为又一种实施方式，人员的行为视频数据包括驾驶员的行为视频数据和乘客的行为视频数据。本车车辆内配备有一个摄像头，该摄像头可以拍摄到本车车辆内的所有人员的行为动作，这样，可以获取本车车辆内人员的行为视频数据的实现方式可以为：获取该摄像头拍摄的视频数据；根据本车车辆内的座位布局，及视频数据中拍摄到的人员的相对位置信息，对视频画面进行分割处理，以获取每个人员的行为视频数据。
步骤102，对人员的行为视频数据进行特征提取，获得人员的行为特征信息，并根据人员的行为特征信息，获得人员的开车门概率。
可以理解，通常本车车辆内人员在开车门之前会执行一些代表性的动作，比如解除安全带、关车窗、拿取物品、侧身转向车门等。所以可以通过获取人员的行为视频数据中人员的行为特征信息，来确定本车车辆内人员将执行开车门动作的可能性。
其中，人员的行为特征信息可以包括人员的头部动作信息、人员的转身动作信息、人员的双手动作信息等。作为一种示例，行为特征提取模型可以由预设的行为特征提取模型提取得到，且该行为特征提取模型已学习得到对人员的行为视频数据中的行为特征信息进行提取的能力。此外，人员的开车门概率是指本车车辆内对应的人员将打开车门的概率，根据人员的行为特征信息，获得人员的开车门概率可以通过预设的分类模型来实现，且该分类模型已学习得到基于人员的行为特征信息，预测人员的开车门概率的能力。
步骤103，根据人员的开车门概率，确定人员是否具有开车门动机。
在本公开的一些实施例中，人员具有开车门动机是指人员具有将打开车门的打算，也就是说，确定人员是否具有开车门动机是对接下来人员是否执行开车门动作的预测结果，若本车车辆内人员具有开车门动机，则预测结果为人员将执行开车门动作，否则，预测结果为人员不执行开车门动作。可以理解，人员的开车门概率越大，则说明人员越有可能具有开车门动机，作为一种实施方式，可以将人员的开车门概率与预设的第一开门阈值进行比对；响应于人员的开车门概率大于第一开车门阈值，确定人员具有开车门动机。
作为另一种实施方式，本车车辆的一些状态信息也可以表征本车车辆内的人员是否将执行开车门动作，其中，本车车辆的状态信息可以包括车辆的行驶状态、车辆的油电状态等。比如：车辆在泊车过程，接下来车辆内人员开车门的可能性较高。这样，可以根据人员的开车门概率，结合车辆的一些状态信息，来确定人员是否具有开车门动机。比如，在人员的开车门概率大于对应的阈值，且车辆的状态信息满足预设的条件时，确定人员具有开车门动机。
在本公开的一些实施例中，若本车车辆内人员具有开车门动机，则可以控制本车车辆进行开车门警示，以对周围的车辆或者行人进行提醒。作为一种示例，若本车车辆内人员具有开车门动机，则控制本车车辆的转向灯闪烁，或者控制本车车辆发出对应的声音信号等。作为另一种示例，若基于本车车辆内驾驶员的行为视频数据，确定驾驶员具有开车门动机，则可以控制本车车辆针对驾驶员对应的车门侧进行开车门警示；若基于本车车辆内某乘客的行为视频数据，确定该乘客具有开车门动机，则可以控制本车车辆针对该乘客对应的车门侧进行开车门警示。
此外，在本车车辆内乘坐有小孩时，由于小孩缺乏自我保护意识，在本车车辆行驶过程中，若车门未被锁住，小孩可能会因为开车门的行为，出现意外受伤等事故。通过本方法，可以基于乘客的行为视频数据，来预测乘客的开车门动机，这样可以在小孩开车门之前预测到其开车门的动机，以及时控制车辆发出警示提醒。比如可以控制车辆开启对车门上锁的功能，也可以控制车辆发出语音警示，以及时制止小孩开车门的行为。
在本公开实施例的开车门动机识别方法，通过获取本车车辆内人员的行为视频数据，对人员的行为视频数据进行特征提取，获得人员的行为特征信息，并根据人员的行为特征信息，获得本车车辆内人员的开车门概率，以根据人员的开车门概率，确定本车车辆内人员是否具有开车门动机。也就是说，基于车辆内人员的行为视频数据，来预测车辆内人员是否具备开车门动机，这样通过对车辆内人员是否具备开车门动机进行预测，可以在存在开车门动机时对周围车辆及行人进行提醒，以降低开车门过程产生交通事故的概率。此外，通过对车辆内人员是否具备开车门动机进行预测，也可以及时制止降低车辆内人员意外开车门的动机，以进一步保障车辆内人员的安全性。
接下来，将针对获取人员的行为特征信息，及根据人员的行为特征信息获得人员的开车门概率的过程进行详细介绍。
图2是根据一示例性实施例示出的另一种开车门动机识别方法的流程图。如图2所示，该方法包括以下步骤：
步骤201，获取本车车辆内人员的行为视频数据。
步骤202，响应于人员的行为视频数据为驾驶员的行为视频数据，确定与驾驶员对应的第一开门行为预测模型；其中，第一开门行为预测模型已学习得到基于驾驶员的行为视频数据进行驾驶员行为特征信息提取，并基于驾驶员行为特征信息预测驾驶员的开车门概率的能力。
在本公开的一些实施例中，若本车车辆内配备有多个摄像头，且每个摄像头用于拍摄对应位置的乘客的行为数据，则可以基于人员的行为视频数据的来源，来确定人员的行为视频数据是否为驾驶员的行为视频数据，即若人员的行为视频数据来源于拍摄驾驶员的摄像头，则该人员的行为视频数据为驾驶员的行为视频数据。若本车车辆内仅配备有一个用于拍摄驾驶员的摄像头，且可以直接确定人员的行为视频数据为驾驶员的行为视频数据。若本车车辆内仅配备有一个摄像头，且该摄像头可以拍摄驾驶员和车内所有乘客的行为数据，在步骤201中获得本车车辆内人员的行为视频数据为已经过图像切分处理后的每个人员的行为视频数据，且每个人员的行为视频数据中包含位置标识信息，则可以通过人员的行为视频数据的位置标识信息，来确定人员的行为视频数据是否为驾驶员的行为视频数据。
其中，与驾驶员对应的第一开门行为预测模型是指已学习得到基于驾驶员的行为视频数据对驾驶员的开车门概率进行预测的能力。第一开门行为预测模型中可以对驾驶员的行为视频数据进行行为特征信息提取的特征提取模块，以及基于驾驶员行特征信息对驾驶员的开车门概率进行预测的分类模块。第一开门行为预测模型可以为相关技术中的深度学习网络模型，也可以是由本领域的技术人员基于实际需求构建的模型，本公开对此不作限定。
作为一种实施方式，第一开门行为预测模型可以是基于由人员的行为视频数据和对应的标签数据构成的训练集训练得到的。其中，训练集中的样本可以是由大量车辆内用于对驾驶员的行为进行拍摄的摄像头拍摄的视频片段组成，比如可以将驾驶员开车门前10s内的行为视频数据作为训练集中的正样本，将其他视频数据作为训练集中的负样本。其训练过程可以包括：将训练集中的样本数据输入至初始第一开门行为预测模型，获得对应的预测结果；将预测结果与样本标签进行比对，以计算损失值，并基于损失值对模型中的参数进行调整，直至得到训练后的第一开门行为预测模型。
步骤203，将驾驶员的行为视频数据输入至第一开门行为预测模型，获得驾驶员的开车门概率。
步骤204，根据驾驶员的开车门概率，确定驾驶员是否具有开车门动机。
可以理解，驾驶员在开车门之前的行为可能与乘客在开车门之前的行为有不同，所以为了提升对人员的开车门动机预测的准确性，可以对于乘客的行为视频数据通过以下步骤来预测乘客的开门动机。
步骤205，响应于人员的行为视频数据为乘客的行为视频数据，确定与乘客对应的第二开门行为预测模型；其中，第二开门行为预测模型已学习得到基于乘客的行为视频数据进行乘客行为特征信息提取，并基于乘客行为特征信息预测乘客的开车门概率的能力。
在本公开的一些实施例中，若本车车辆内配备有多个摄像头，且每个摄像头用于拍摄对应位置的乘客的行为数据，则可以基于人员的行为视频数据的来源，来确定人员的行为视频数据是否为驾驶员的行为视频数据，即若人员的行为视频数据来源于拍摄乘客的摄像头，则该人员的行为视频数据为乘客的行为视频数据。若本车车辆内仅配备有用于拍摄乘客的摄像头，且可以直接确定人员的行为视频数据为乘客的行为视频数据。若本车车辆内仅配备有一个摄像头，且该摄像头可以拍摄驾驶员和车内所有乘客的行为数据，在步骤201中获得本车车辆内人员的行为视频数据为已经过图像切分处理后的每个人员的行为视频数据，且每个人员的行为视频数据中包含位置标识信息，则可以通过人员的行为视频数据的位置标识信息，来确定人员的行为视频数据是否为乘客的行为视频数据。
其中，与乘客对应的第二开门行为预测模型是指已学习得到基于乘客的行为视频数据对乘客的开车门概率进行预测的能力。第二开门行为预测模型中可以对乘客的行为视频数据进行行为特征信息提取的特征提取模块，以及基于乘客的行为特征信息对乘客的开车门概率进行预测的分类模块。第二开门行为预测模型可以为相关技术中的深度学习网络模型，也可以是由本领域的技术人员基于实际需求构建的模型，本公开对此不作限定。
作为一种实施方式，第二开门行为预测模型可以是基于由乘客的行为视频数据和对应的标签数据构成的训练集训练得到的。其中，训练集中的样本可以是由大量车辆内用于对每个乘客的行为进行拍摄的摄像头拍摄的视频片段组成，比如可以将乘客开车门前10s内的行为视频数据作为训练集中的正样本，将其他视频数据作为训练集中的负样本。其训练过程可以包括：将训练集中的样本数据输入至初始第二开门行为预测模型，获得对应的预测结果；将预测结果与样本标签进行比对，以计算损失值，并基于损失值对模型中的参数进行调整，直至得到训练后的第二开门行为预测模型。
步骤206，将乘客的行为视频数据输入至第二开门行为预测模型，获得乘客的开车门概率。
步骤207，根据乘客的开车门概率，确定乘客是否具有开车门动机。
在本公开实施例的开车门动机识别方法，对于驾驶员的行为视频数据，通过第一开门行为预测模型来获得驾驶员的开车门概率，对于乘客的行为视频数据，通过第二开门行为预测模型来获取乘客的开车门概率，以根据各自的开车门概率确定是否进步开车门动机。这样，由于第一开门行为预测模型和第二开门行为预测模型已各自学习到基于驾驶员的行为视频数据预测驾驶员的开车门概率的能力，和基于乘客的行为视频数据预测乘客的开车门概率的能力，所以可以提升人员的开车门概率预测的准确性，从而可以提升对于开车门动机预测的准确性，进而可以进一步降低开车门过程产生交通事故的概率，提升车辆的安全性。
由于车辆的状态信息对于判断本车车辆内人员是否具备开车门动机有一定的影响，为此，本公开提供了另一种实施例。
图3是根据一示例性实施例示出的又一种开车门动机识别方法的流程图。本公开的实施例将以人员的行为视频数据为驾驶员的行为视频数据为例，对其实现过程进行介绍。如图3所示，该方法包括以下步骤：
步骤301，获取本车车辆内人员的行为视频数据。
步骤302，响应于人员的行为视频数据为驾驶员的行为视频数据，确定与驾驶员对应的第一开门行为预测模型；其中，第一开门行为预测模型已学习得到基于驾驶员的行为视频数据进行驾驶员行为特征信息提取，并基于驾驶员行为特征信息预测驾驶员的开车门概率的能力。
步骤303，将驾驶员的行为视频数据输入至第一开门行为预测模型，获得驾驶员的开车门概率。
步骤304，获取本车车辆的状态信息；本车车辆的状态信息包括本车车辆行驶状态信息、驾驶员的安全带状态信息、油电状态信息和其他车门时序状态信息中的至少一个。
在本公开的一些实施例中，本车车辆行驶状态信息为用于表示当前本车车辆所处的行驶状态的信息，比如若本车车辆在行驶过程中，则本车车辆的状态信息为用于表示本车车辆在行驶过程中的信息；若本车车辆在泊车过程中，则本车车辆的状态信息为用于表示本车车辆在泊车过程中的信息；若本车车辆在停车状态，则本车车辆的状态信息为用于表示本车车辆为停车状态的信息。驾驶员的安全带状态信息是指用于表示当前驾驶员系着安全带，或者当前驾驶员未系安全带的状态的信息。油电状态信息是指当前本车车辆为上电状态，或者下电状态的信息，若当前本车车辆为熄火状态，则本车车辆的油电状态信息是指表示本车车辆为下电状态的信息，若当前本车车辆为运行状态，则本车车辆的油电状态信息是指本车车辆为上电状态的信息。其他车门时序状态信息是指用于表示本车车辆内除驾驶员对应的车门之外的其他车门在距离当前时刻的预设时间段内是否被打开过的信息，比如可以用于表示其他车门在5s内是否被打开过的信息。
步骤305，根据驾驶员的开车门概率和本车车辆的状态信息，确定驾驶员是否具有开车门动机。
在本公开的一些实施例中，可以按照预设的条件，根据驾驶员的开车门概率和本车车辆的状态信息，确定驾驶员是否具有开车门动机。作为一种实现方式，可以将驾驶员的开车门概率与预设的第一阈值进行比对，若驾驶员的开车门概率小于或者等于第一阈值，则确定驾驶员未具有开车门动机；若驾驶员的开车门概率大于第一阈值，则继续判断本车车辆的状态信息是否满足预设条件，比如本车车辆的状态信息中包括油电状态信息和驾驶员的安全带状态信息，若本车车辆的状态信息中油电状态信息表示当前本车车辆为下电状态，且驾驶员的安全带状态信息标识当前驾驶员未系安全带，则确定驾驶员具有开车门动机。
在本公开的另一些实施例中，可以确定与本车车辆的状态信息对应的本车车辆状态值；将驾驶员的开车门概率与本车车辆状态值进行加权计算，获得加权计算结果；响应于加权计算结果大于预设的第二开门阈值，确定驾驶员具有开车门动机。其中，与本车车辆的状态信息对应的本车车辆状态值是指将与本车车辆的状态信息存在映射关系的状态值，且本车车辆状态值与本车车辆的状态信息中包括的内容对应。比如本车车辆的状态信息中包括油电状态信息和驾驶员安全带状态信息，若油电状态信息表示本车车辆为上电状态，则本车车辆第一状态值为0，若油电状态信息表示本车车辆为下电状态，则本车车辆第一状态值为1，若驾驶员的安全带状态信息表示驾驶员已系安全带，则本车车辆第二状态值为0，若驾驶员的安全带状态信息表示驾驶员未系安全带，则本车车辆第二状态值为1。加权计算时本车车辆状态值的权重和驾驶员的开车门概率的权重可以是基于大量实验统计得到的。
需要说明的是，对于人员的行为视频数据为乘客的行为视频数据时，也可以通过以上方式来确定乘客是否具有开车门动机。
也就是说，以上方法还可以包括：响应于人员的行为视频数据为乘客的行为视频数据，确定与乘客对应的第二开门行为预测模型；其中，第二开门行为预测模型已学习得到基于乘客的行为视频数据进行乘客行为特征信息提取，并基于乘客行为特征信息预测乘客的开车门概率的能力；将乘客的行为视频数据输入至第二开门行为预测模型，获得乘客的开车门概率；获取本车车辆对于乘客的状态信息，且本车车辆对于乘客的状态信包括本车车辆行驶状态信息、乘客的安全带状态信息、油电状态信息和除乘客对应的车门之外的其他车门时序状态信中的至少一个；根据乘客的开车门概率和本车车辆对于乘客的状态信息，确定乘客是否具有开车门动机。由于本车车辆内乘客可以为一个，也可以为多个，若乘客为多个时，可以基于每个乘客的行为视频数据，获取每个乘客的开车门概率，再获取本车车辆对于每个乘客的状态信息，并根据每个乘客的该车门概率和本车车辆对应该乘客的状态信息，确定每个乘客是否具有开车门动机。
根据本公开实施例的开车门动机识别方法，通过引入本车车辆的状态信息，针对驾驶员的行为视频数据，基于第一开门行为预测模型，获得驾驶员的开车门概率，并根据本车车辆的状态信息和驾驶员的开车门概率，确定驾驶员是否具有开车门动机。由于车辆的状态信息与驾驶员是否具有开车门动机具有关联性，所以通过引入本车车辆的状态信息，来进一步提升确定驾驶员是否具有开车门动机的准确性，也可以进一步降低开门阶段产生交通事故的概率。
对于引入车辆的状态信息，确定人员是否具有开车门动机的实现过程，本公开提供了又一种实施例。
图4是根据一示例性实施例示出的又一种开车门动机识别方法的流程图。本公开的实施例将以人员的行为视频数据为驾驶员的行为视频数据为例，对其实现过程进行介绍。如图4所示，该方法包括以下步骤：
步骤401，获取本车车辆内人员的行为视频数据。
步骤402，响应于人员的行为视频数据为驾驶员的行为视频数据，确定与驾驶员对应的第三开门行为预测模型；其中，第三开门行为预测模型已学习得到基于驾驶员的行为视频数据和车辆的状态信息，预测驾驶员的开车门概率的能力。
其中，与驾驶员对应的第三开门行为预测模型是指已学习得到基于驾驶员的行为视频数据和车辆的状态信息对驾驶员的开车门概率进行预测的能力。第三开门行为预测模型中可以对驾驶员的行为视频数据和车辆的状态信进行特征信息提取的特征提取模块，以及基于提取到的特征信息对驾驶员的开车门概率进行预测的分类模块。第三开门行为预测模型可以为相关技术中的深度学习网络模型，也可以是由本领域的技术人员基于实际需求构建的模型，本公开对此不作限定。
作为一种实施方式，第三开门行为预测模型可以是基于由驾驶员的行为视频数据、车辆的状态信息和对应的标签数据构成的训练集训练得到的。其中，训练集中的样本可以包括大量车辆内用于对驾驶员的行为进行拍摄的摄像头拍摄的视频片段和各视频片段对应的车辆的状态信息，比如可以将乘客开车门前10s内的行为视频数据和在该前10s的最后时刻车辆的状态信息作为训练集中的正样本，将其他视频数据和其他视频数据对应时间段的最后时刻的车辆的状态信息作为训练集中的负样本。其训练过程可以包括：将训练集中的样本数据输入至初始第三开门行为预测模型，获得对应的预测结果；将预测结果与样本标签进行比对，以计算损失值，并基于损失值对模型中的参数进行调整，直至得到训练后的第三开门行为预测模型。
步骤403，获取本车车辆的状态信息；本车车辆的状态信息包括本车车辆行驶状态信息、驾驶员的安全带状态信息、油电状态信息和其他车门时序状态信息中的至少一个。
步骤404，将驾驶员的行为视频数据输入至第三开门行为预测模型，获得驾驶员的开车门概率。
步骤405，根据驾驶员的开车门概率，确定驾驶员是否具有开车门动机。
需要说明的是，对于人员的行为视频数据为乘客的行为视频数据时，也可以通过以上方式来确定乘客是否具有开车门动机。
也就是说，以上方法还可以包括：响应于人员的行为视频数据为乘客的行为视频数据，确定与乘客对应的第四开门行为预测模型；其中，第四开门行为预测模型已学习得到基于乘客的行为视频数据和车辆对于乘客的状态信息，预测乘客的开车门概率的能力；获取本车车辆对于乘客的状态信息，且本车车辆对于乘客的状态信包括本车车辆行驶状态信息、乘客的安全带状态信息、油电状态信息和除乘客对应的车门之外的其他车门时序状态信中的至少一个；将乘客的行为视频数据和车辆对于乘客的状态信输入至第四开门行为预测模型，获得乘客的开车门概率；根据乘客的开车门概率，确定乘客是否具有开车门动机。由于本车车辆内乘客可以为一个，也可以为多个，若乘客为多个时，可以获取车辆对于每个乘客的状态信息，并将车辆对于每个乘客的状态信息和对应乘客的行为视频数据，获取每个乘客的开车门概率，并根据每个乘客的该车门概率，确定每个乘客是否具有开车门动机。
根据本公开实施例的开车门动机识别方法，由于第三开门行为预测模型已学习得到基于驾驶员的行为视频数据和车辆的状态信息，预测驾驶员的开车门概率的能力，所以通过将驾驶员的行为视频数据和车辆的状态信息输入至第三开门行为预测模型，可以获得驾驶员的开车门概率。由于车辆的状态信息与驾驶员是否具有开车门动机具有关联性，所以通过将第三开门行为预测模型引入本车车辆的状态信息，来进一步提升确定驾驶员是否具有开车门动机的准确性，也可以进一步降低开门阶段产生交通事故的概率。
为了对本方法进行进一步介绍，本公开提供了又一个实施例。
图5是根据一示例性实施例示出的又一种开车门动机识别方法的流程图。如图5所示，该方法包括以下步骤：
步骤501，获取本车车辆的当前行驶速度。
步骤502，响应于当前行驶速度小于或者等于预设的速度阈值，获取本车车辆内人员的行为视频数据。
可以理解，若本车车辆的行驶速度较快，本车车辆内人员几乎不可能有开车门的动机，所以在本车车辆的形式速度较快时，为了节省能耗，可以不执行获取本车车辆内人员的行为视频数据的步骤，不进行本车车辆内人员的开车门动机的预测。若本车车辆的行驶速度较慢，有可能本车车辆即将停车，所以车辆内人员开车门下车的概率较高，所以可以在这种情况下再执行基于本车车辆内人员的行为视频数据，预测本车车辆内人员的开车门动机。
在本公开的一些实施例中，预设的速度阈值可以是基于实际需求设定的值，也可以是基于大量的实验，确定的本车车辆内人员将有开车门动机的速度阈值。且该速度阈值可以是预设在执行该方法的终端设备中，也可以是通过终端设备的可视化界面可由用户自行设定的值。
步骤503，对人员的行为视频数据进行特征提取，获得人员的行为特征信息，并根据人员的行为特征信息，获得人员的开车门概率。
步骤504，根据人员的开车门概率，确定人员是否具有开车门动机。
步骤505，响应于人员具有开车门动机，控制本车车辆进行开门警示以对周围的车辆及行人进行提醒。
可以理解，本车车辆内人员具有开车门动机时，若周围的车辆或者行人经过本车车辆的车门附近，则可能发送碰撞的交通事故，所以为了尽量避免交通事故的发生，可以在本车车辆内人员具有开车门动机时，控制本车车辆进行开门警示，以对周围的车辆及行人进行提醒。
在本公开的一些实施例中，控制本车车辆进行开门警示可以包括：控制本车车辆的转向灯闪烁，控制本车车辆发出警示声音等，这样可以提高周围的车辆及行人对该车辆的警惕性，从而可以降低开车门过程中产生交通事故的概率。此外，在控制本车车辆进行开门警示时，也可以基于具有开车门动机的人员所对应的车门进行警示，比如若驾驶员具有开车门动机，则可以控制本车车辆的左转向灯闪烁。
在本公开的另一些实施例中，也可以通过其他方式来体现周围的车辆及行人，所以该方法还可以包括：
步骤506，响应于人员具有开车门动机，生成开门警示信号，并开门警示信号发送至周围的车辆和/或终端设备；其中，开门警示信号用于向周围的车辆和/或终端设备通知本车车辆具有开车门动机。
在本公开的一些实施例中，开门警示信号中可以携带本车车辆的标识信息，用于向周围的车辆和/或终端设备通知本车辆具有开车门动机，比如可以将开门警示信号通过物联网发送至周围的车辆和/或终端设备，周围的车辆和/或终端设备接收到开门警示信号后，可以根据开车门预警信号获知本车车辆具有开车门动机，从而可以提前为本车车辆的开车门行为做准备，以避免发生交通事故。
需要说明的是，本公开实施例的开车门动机识别方法中可以同时包括步骤505和步骤506，也可以仅包括步骤505和步骤506中的一个，本公开对此不作限定。
根据本公开实施例的开车门动机识别方法，通过获取本车车辆的当前行驶速度，将本车车辆的当前行驶速度与预设的速度阈值进行比对，并在本车车辆的当前行驶速度小于或者等于速度阈值时，获取本车车辆内人员的行为视频数据，并在本车车辆内人员具有开车门动机时，控制本车车辆进行开门警示，和/或向周围的车辆或者终端设备发送开门警示信号，以对周围的车辆及行人进行提醒。这样，通过对本车车辆的当前行驶速度来确定是否执行获取本车车辆内人员的行为视频数据的步骤，在本车车辆的当前行驶速度未满足条件时不执行获取人员的行为视频数据的步骤，也就不执行对人员的开车门动机进行预测的过程，从而可以节约本方案执行过程中的能耗。此外，通过控制本车车辆对周围的车辆及行为进行提醒，可以有效地降低由于开车门导致的交通事故发生的概率。
为了实现上述方法，本公开提供了一种开车门动机识别装置。
图6是根据一示例性实施例示出的一种开车门动机识别装置的结构框图。如图6所示，该装置包括：
第一获取模块601，用于获取本车车辆内人员的行为视频数据；
第二获取模块602，用于对人员的行为视频数据进行特征提取，获得人员的行为特征信息，并根据人员的行为特征信息，获得人员的开车门概率；
确定模块603，用于根据人员的开车门概率，确定人员是否具有开车门动机。
其中，确定模块603具体用于：
将人员的开车门概率与预设的第一开门阈值进行比对；
响应于人员的开车门概率大于第一开门阈值，确定人员具有开车门动机。
在本公开的一些实施例中，第二获取模块602具体用于：
响应于人员的行为视频数据为驾驶员的行为视频数据，确定与驾驶员对应的第一开门行为预测模型；其中，第一开门行为预测模型已学习得到基于驾驶员的行为视频数据进行驾驶员行为特征信息提取，并基于驾驶员行为特征信息预测驾驶员的开车门概率的能力；
将驾驶员的行为视频数据输入至第一开门行为预测模型，获得驾驶员的开车门概率。
在本公开的另一些实施例中，第二获取模块602还用于：
响应于人员的行为视频数据为乘客的行为视频数据，确定与乘客对应的第二开门行为预测模型；其中，第二开门行为预测模型已学习得到基于乘客的行为视频数据进行乘客行为特征信息提取，并基于乘客行为特征信息预测乘客的开车门概率的能力；
将乘客的行为视频数据输入至第二开门行为预测模型，获得乘客的开车门概率。
作为一种可能的实施方式，装置还包括：
第三获取模块604，用于获取本车车辆的状态信息；本车车辆的状态信息包括本车车辆行驶状态信息、驾驶员的安全带状态信息、油电状态信息和其他车门时序状态信息中的至少一个；
其中，确定模块603具体用于：
根据驾驶员的开车门概率和本车车辆的状态信息，确定驾驶员是否具有开车门动机。
作为一种示例，确定模块603具体用于：
确定与本车车辆的状态信息对应的本车车辆状态值；
将驾驶员的开车门概率与本车车辆状态值进行加权计算，获得加权计算结果；
响应于加权计算结果大于预设的第二开门阈值，确定驾驶员具有开车门动机。
作为另一种可能的实施方式，装置还包括：
第四获取模块605，用于获取本车车辆的状态信息；本车车辆的状态信息包括本车车辆行驶状态信息、驾驶员的安全带状态信息、油电状态信息和其他车门时序状态信息中的至少一个；
其中，第二获取模块602具体用于：
响应于人员的行为视频数据为驾驶员的行为视频数据，确定与驾驶员对应的第三开门行为预测模型；其中，第三开门行为预测模型已学习得到基于驾驶员的行为视频数据和车辆的状态信息，预测驾驶员的开车门概率的能力；
将驾驶员的行为视频数据输入至第三开门行为预测模型，获得驾驶员的开车门概率。
在本公开的一些实施例中，第一获取模块601具体用于：
获取本车车辆的当前行驶速度；
响应于当前行驶速度小于或者等于预设的速度阈值，获取本车车辆内人员的行为视频数据。
在本公开的一些实施例中，装置还包括：
预警模块606，用于响应于人员具有开车门动机，控制本车车辆进行开门警示以对周围的车辆及行人进行提醒；和/或，响应于人员具有开车门动机，生成开门警示信号，并开门警示信号发送至周围的车辆和/或终端设备；其中，开门警示信号用于向周围的车辆和/或终端设备通知本车车辆具有开车门动机。
需要说明的是，第三获取模块604和第四获取模块605也可以为同一功能模块。
根据本公开实施例的开车门动机识别装置，通过获取本车车辆内人员的行为视频数据，对人员的行为视频数据进行特征提取，获得人员的行为特征信息，并根据人员的行为特征信息，获得本车车辆内人员的开车门概率，以根据人员的开车门概率，确定本车车辆内人员是否具有开车门动机。也就是说，基于车辆内人员的行为视频数据，来预测车辆内人员是否具备开车门动机，这样通过对车辆内人员是否具备开车门动机进行预测，可以在存在开车门动机时对周围车辆及行人进行提醒，以降低开车门过程产生交通事故的概率。此外，通过对车辆内人员是否具备开车门动机进行预测，也可以及时制止降低车辆内人员意外开车门的动机，以进一步保障车辆内人员的安全性。
关于上述实施例中的装置，其中各个模块执行操作的具体方式已经在有关该方法的实施例中进行了详细描述，此处将不做详细阐述说明。
图7是根据一示例性实施例示出的一种用于实现开车门动机识别方法的车辆700的结构框图。
参照图7，车辆700可以包括以下一个或多个组件：处理组件702，存储器704，电力组件706，多媒体组件708、音频组件710，输入/输出(I/O)的接口712，传感器组件714，以及通信组件716。
处理组件702通常控制车辆700的整体操作，诸如与显示，电话呼叫，数据通信，相机操作和记录操作相关联的操作。处理组件702可以包括一个或多个处理器720来执行指令，以完成上述的方法的全部或部分步骤。此外，处理组件702可以包括一个或多个模块，便于处理组件702和其他组件之间的交互。例如，处理组件702可以包括多媒体模块，以方便多媒体组件708和处理组件702之间的交互。
存储器704被配置为存储各种类型的数据以支持在车辆700的操作。这些数据的示例包括用于在车辆700上操作的任何应用程序或方法的指令，联系人数据，电话簿数据，消息，图片，视频等。存储器704可以由任何类型的易失性或非易失性存储设备或者它们的组合实现，如静态随机存取存储器(SRAM)，电可擦除可编程只读存储器(EEPROM)，可擦除可编程只读存储器(EPROM)，可编程只读存储器(PROM)，只读存储器(ROM)，磁存储器，快闪存储器，磁盘或光盘。
电力组件706为车辆700的各种组件提供电力。电力组件706可以包括电源管理系统，一个或多个电源，及其他与为车辆700生成、管理和分配电力相关联的组件。
多媒体组件708包括在所述车辆700和用户之间的提供一个输出接口的屏幕。在一些实施例中，屏幕可以包括液晶显示器(LCD)和触摸面板(TP)。如果屏幕包括触摸面板，屏幕可以被实现为触摸屏，以接收来自用户的输入信号。触摸面板包括一个或多个触摸传感器以感测触摸、滑动和触摸面板上的手势。所述触摸传感器可以不仅感测触摸或滑动动作的边界，而且还检测与所述触摸或滑动操作相关的持续时间和压力。在一些实施例中，多媒体组件708包括至少一个摄像头。当车辆700处于操作模式，如拍摄模式或视频模式时，至少一个摄像头可以接收外部的多媒体数据。每个摄像头可以是一个固定的光学透镜系统或具有焦距和光学变焦能力。
音频组件710被配置为输出和/或输入音频信号。例如，音频组件710包括一个麦克风(MIC)，当车辆700处于操作模式，如呼叫模式、记录模式和语音识别模式时，麦克风被配置为接收外部音频信号。所接收的音频信号可以被进一步存储在存储器704或经由通信组件716发送。在一些实施例中，音频组件710还包括一个扬声器，用于输出音频信号。
I/O接口712为处理组件702和外围接口模块之间提供接口，上述外围接口模块可以是键盘，点击轮，按钮等。这些按钮可包括但不限于：主页按钮、音量按钮、启动按钮和锁定按钮。
传感器组件714包括一个或多个传感器，用于为车辆700提供各个方面的状态评估。例如，传感器组件714可以检测到设备700的打开/关闭状态，组件的相对定位，例如所述组件为车辆700的显示器和小键盘，传感器组件714还可以检测车辆700或车辆700中一个组件的位置改变，用户与车辆700接触的存在或不存在，车辆700方位或加速/减速和车辆700的温度变化。传感器组件714可以包括接近传感器，被配置用来在没有任何的物理接触时检测附近物体的存在。传感器组件714还可以包括光传感器，如CMOS或CCD图像传感器，用于在成像应用中使用。在一些实施例中，该传感器组件714还可以包括加速度传感器，陀螺仪传感器，磁传感器，压力传感器或温度传感器。
通信组件716被配置为便于车辆700和其他设备之间有线或无线方式的通信。车辆700可以接入基于通信标准的无线网络，如WiFi，2G或3G，或它们的组合。在一个示例性实施例中，通信组件716经由广播信道接收来自外部广播管理系统的广播信号或广播相关信息。在一个示例性实施例中，所述通信组件716还包括近场通信(NFC)模块，以促进短程通信。例如，在NFC模块可基于射频识别(RFID)技术，红外数据协会(IrDA)技术，超宽带(UWB)技术，蓝牙(BT)技术和其他技术来实现。
在示例性实施例中，装置700可以被一个或多个应用专用集成电路(ASIC)、数字信号处理器(DSP)、数字信号处理设备(DSPD)、可编程逻辑器件(PLD)、现场可编程门阵列(FPGA)、控制器、微控制器、微处理器或其他电子元件实现，用于执行上述方法。
在示例性实施例中，还提供了一种包括指令的非临时性计算机可读存储介质，例如包括指令的存储器704，上述指令可由车辆700的处理器720执行以完成上述方法。例如，所述非临时性计算机可读存储介质可以是ROM、随机存取存储器(RAM)、CD-ROM、磁带、软盘和光数据存储设备等。
本领域技术人员在考虑说明书及实践这里公开的发明后，将容易想到本发明的其它实施方案。本申请旨在涵盖本发明的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本发明的一般性原理并包括本公开未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本发明的真正范围和精神由下面的权利要求指出。
应当理解的是，本发明并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。本发明的范围仅由所附的权利要求来限制。

Claims (21)

1.一种开车门动机识别方法，其特征在于，包括：
获取本车车辆内人员的行为视频数据；
对所述人员的行为视频数据进行特征提取，获得所述人员的行为特征信息，并根据所述人员的行为特征信息，获得所述人员的开车门概率；
根据所述人员的开车门概率，确定所述人员是否具有开车门动机。
2.根据权利要求1所述的方法，其特征在于，所述根据所述人员的开车门概率，确定所述人员是否具有开车门动机，包括：
将所述人员的开车门概率与预设的第一开门阈值进行比对；
响应于所述人员的开车门概率大于所述第一开门阈值，确定所述人员具有开车门动机。
3.根据权利要求1所述的方法，其特征在于，所述对所述人员的行为视频数据进行特征提取，获得所述人员的行为特征信息，并根据所述人员的行为特征信息，获得所述人员的开车门概率，包括：
响应于所述人员的行为视频数据为驾驶员的行为视频数据，确定与所述驾驶员对应的第一开门行为预测模型；其中，所述第一开门行为预测模型已学习得到基于驾驶员的行为视频数据进行驾驶员行为特征信息提取，并基于驾驶员行为特征信息预测驾驶员的开车门概率的能力；
将所述驾驶员的行为视频数据输入至所述第一开门行为预测模型，获得所述驾驶员的开车门概率。
4.根据权利要求3所述的方法，其特征在于，所述对所述人员的行为视频数据进行特征提取，获得所述人员的行为特征信息，并根据所述人员的行为特征信息，获得所述人员的开车门概率，还包括：
响应于所述人员的行为视频数据为乘客的行为视频数据，确定与所述乘客对应的第二开门行为预测模型；其中，所述第二开门行为预测模型已学习得到基于乘客的行为视频数据进行乘客行为特征信息提取，并基于乘客行为特征信息预测乘客的开车门概率的能力；
将所述乘客的行为视频数据输入至所述第二开门行为预测模型，获得所述乘客的开车门概率。
5.根据权利要求3所述的方法，其特征在于，还包括：
获取所述本车车辆的状态信息；所述本车车辆的状态信息包括本车车辆行驶状态信息、所述驾驶员的安全带状态信息、油电状态信息和其他车门时序状态信息中的至少一个；
其中，所述根据所述人员的开车门概率，确定所述人员是否具有开车门动机，包括：
根据所述驾驶员的开车门概率和所述本车车辆的状态信息，确定所述驾驶员是否具有开车门动机。
6.根据权利要求5所述的方法，其特征在于，所述根据所述驾驶员的开车门概率和所述本车车辆的状态信息，确定所述驾驶员是否有开车门动机，包括：
确定与所述本车车辆的状态信息对应的本车车辆状态值；
将所述驾驶员的开车门概率与所述本车车辆状态值进行加权计算，获得加权计算结果；
响应于所述加权计算结果大于预设的第二开门阈值，确定所述驾驶员具有开车门动机。
7.根据权利要求3所述的方法，其特征在于，还包括：
获取所述本车车辆的状态信息；所述本车车辆的状态信息包括本车车辆行驶状态信息、所述驾驶员的安全带状态信息、油电状态信息和其他车门时序状态信息中的至少一个；
其中，所述确定与所述驾驶员对应的第一开门行为预测模型，包括：
确定与所述驾驶员对应的第三开门行为预测模型；其中，所述第三开门行为预测模型已学习得到基于驾驶员的行为视频数据和车辆的状态信息，预测驾驶员的开车门概率的能力；
其中，所述将所述驾驶员的行为视频数据输入至所述第一开门行为预测模型，获得所述驾驶员的开车门概率，包括：
将所述驾驶员的行为视频数据输入至所述第三开门行为预测模型，获得所述驾驶员的开车门概率。
8.根据权利要求1所述的方法，其特征在于，所述获取本车车辆内人员的行为视频数据，包括：
获取所述本车车辆的当前行驶速度；
响应于所述当前行驶速度小于或者等于预设的速度阈值，获取所述本车车辆内人员的行为视频数据。
9.根据权利要求1-8中任一项所述的方法，其特征在于，还包括：
响应于所述人员具有开车门动机，控制所述本车车辆进行开门警示以对周围的车辆及行人进行提醒；
和/或，响应于所述人员具有开车门动机，生成开门警示信号，并所述开门警示信号发送至周围的车辆和/或终端设备；其中，所述开门警示信号用于向所述周围的车辆和/或终端设备通知本车车辆具有开车门动机。
10.一种开车门动机识别装置，其特征在于，包括：
第一获取模块，用于获取本车车辆内人员的行为视频数据；
第二获取模块，用于对所述人员的行为视频数据进行特征提取，获得所述人员的行为特征信息，并根据所述人员的行为特征信息，获得所述人员的开车门概率；
确定模块，用于根据所述人员的开车门概率，确定所述人员是否具有开车门动机。
11.根据权利要求10所述的装置，其特征在于，所述确定模块具体用于：
将所述人员的开车门概率与预设的第一开门阈值进行比对；
响应于所述人员的开车门概率大于所述第一开门阈值，确定所述人员具有开车门动机。
12.根据权利要求10所述的装置，其特征在于，所述第二获取模块具体用于：
响应于所述人员的行为视频数据为驾驶员的行为视频数据，确定与所述驾驶员对应的第一开门行为预测模型；其中，所述第一开门行为预测模型已学习得到基于驾驶员的行为视频数据进行驾驶员行为特征信息提取，并基于驾驶员行为特征信息预测驾驶员的开车门概率的能力；
将所述驾驶员的行为视频数据输入至所述第一开门行为预测模型，获得所述驾驶员的开车门概率。
13.根据权利要求12所述的装置，其特征在于，所述第二获取模块还用于：
响应于所述人员的行为视频数据为乘客的行为视频数据，确定与所述乘客对应的第二开门行为预测模型；其中，所述第二开门行为预测模型已学习得到基于乘客的行为视频数据进行乘客行为特征信息提取，并基于乘客行为特征信息预测乘客的开车门概率的能力；
将所述乘客的行为视频数据输入至所述第二开门行为预测模型，获得所述乘客的开车门概率。
14.根据权利要求12所述的装置，其特征在于，所述装置还包括：
第三获取模块，用于获取所述本车车辆的状态信息；所述本车车辆的状态信息包括本车车辆行驶状态信息、所述驾驶员的安全带状态信息、油电状态信息和其他车门时序状态信息中的至少一个；
其中，所述确定模块具体用于：
根据所述驾驶员的开车门概率和所述本车车辆的状态信息，确定所述驾驶员是否具有开车门动机。
15.根据权利要求14所述的装置，其特征在于，所述确定模块具体用于：
确定与所述本车车辆的状态信息对应的本车车辆状态值；
将所述驾驶员的开车门概率与所述本车车辆状态值进行加权计算，获得加权计算结果；
响应于所述加权计算结果大于预设的第二开门阈值，确定所述驾驶员具有开车门动机。
16.根据权利要求12所述的装置，其特征在于，还包括：
第四获取模块，用于获取所述本车车辆的状态信息；所述本车车辆的状态信息包括本车车辆行驶状态信息、所述驾驶员的安全带状态信息、油电状态信息和其他车门时序状态信息中的至少一个；
其中，所述第二获取模块具体用于：
响应于所述人员的行为视频数据为所述驾驶员的行为视频数据，确定与所述驾驶员对应的第三开门行为预测模型；其中，所述第三开门行为预测模型已学习得到基于驾驶员的行为视频数据和车辆的状态信息，预测驾驶员的开车门概率的能力；
将所述驾驶员的行为视频数据输入至所述第三开门行为预测模型，获得所述驾驶员的开车门概率。
17.根据权利要求10所述的装置，其特征在于，所述第一获取模块具体用于：
获取所述本车车辆的当前行驶速度；
响应于所述当前行驶速度小于或者等于预设的速度阈值，获取所述本车车辆内人员的行为视频数据。
18.根据权利要求10-17中任一项所述的装置，其特征在于，还包括：
预警模块，用于响应于所述人员具有开车门动机，控制所述本车车辆进行开门警示以对周围的车辆及行人进行提醒；和/或，响应于所述人员具有开车门动机，生成开门警示信号，并所述开门警示信号发送至周围的车辆和/或终端设备；其中，所述开门警示信号用于向所述周围的车辆和/或终端设备通知本车车辆具有开车门动机。
19.一种车辆，其特征在于，包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时，实现权利要求1-9中任一项所述的方法。
20.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至9中任一项所述的方法。
21.一种计算机程序产品，包括计算机程序，其特征在于，所述计算机程序在被处理器执行时实现如权利要求1至9中任一项所述的方法。
CN202210775658.4A 2022-07-01 2022-07-01 开车门动机识别方法、装置及车辆 Pending CN115123127A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210775658.4A CN115123127A (zh) 2022-07-01 2022-07-01 开车门动机识别方法、装置及车辆

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210775658.4A CN115123127A (zh) 2022-07-01 2022-07-01 开车门动机识别方法、装置及车辆

Publications (1)

Publication Number Publication Date
CN115123127A true CN115123127A (zh) 2022-09-30

Family

ID=83381076

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210775658.4A Pending CN115123127A (zh) 2022-07-01 2022-07-01 开车门动机识别方法、装置及车辆

Country Status (1)

Country Link
CN (1) CN115123127A (zh)

Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102013013226A1 (de) * 2013-08-08 2015-02-12 Audi Ag Kraftfahrzeug mit einer Erkennung einer Ausstiegsabsicht
WO2016194144A1 (ja) * 2015-06-02 2016-12-08 三菱電機株式会社 車両ドア開放警告装置および車両ドア開放警告システム
CN108647630A (zh) * 2018-05-08 2018-10-12 北京优创新港科技股份有限公司 一种基于视频识别的危险驾驶行为监督方法与装置
DE102018102398A1 (de) * 2018-02-02 2019-08-08 Man Truck & Bus Ag Verfahren zur Unterstützung eines Fahrers eines Fahrzeugs, insbesondere eines Nutzfahrzeugs
CN111688681A (zh) * 2019-03-12 2020-09-22 罗伯特·博世有限公司 用于执行对在车辆旁的人员的反应的方法
CN112347567A (zh) * 2020-11-27 2021-02-09 青岛莱吉传动系统科技有限公司 一种车辆意图和轨迹预测的方法
DE102019212311A1 (de) * 2019-08-16 2021-02-18 Brose Fahrzeugteile Se & Co. Kommanditgesellschaft, Bamberg Baugruppe eines Fahrzeugs mit einer Fahrzeugtür und einer an der Fahrzeugtür angeordneten Sensoreinrichtung zum Erkennen eines Bedienwunsches
CN112832615A (zh) * 2021-01-04 2021-05-25 东风柳州汽车有限公司 辅助乘员下车的安全开门方法、装置、设备及存储介质
CN113223311A (zh) * 2021-03-26 2021-08-06 南京市德赛西威汽车电子有限公司 一种基于v2x的车辆开门防碰撞预警方法
CN113561983A (zh) * 2021-08-23 2021-10-29 深圳市壹启优车科技有限公司 一种车辆内人员智能安保检测系统及其检测方法
CN114333417A (zh) * 2021-12-29 2022-04-12 阿波罗智联(北京)科技有限公司 一种车辆安全检测方法、装置、电子设备及存储介质
US20220126748A1 (en) * 2020-10-26 2022-04-28 Ford Global Technologies, Llc Methods and apparatuses for accommodating traffic when using vehicle doors

Patent Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102013013226A1 (de) * 2013-08-08 2015-02-12 Audi Ag Kraftfahrzeug mit einer Erkennung einer Ausstiegsabsicht
WO2016194144A1 (ja) * 2015-06-02 2016-12-08 三菱電機株式会社 車両ドア開放警告装置および車両ドア開放警告システム
DE102018102398A1 (de) * 2018-02-02 2019-08-08 Man Truck & Bus Ag Verfahren zur Unterstützung eines Fahrers eines Fahrzeugs, insbesondere eines Nutzfahrzeugs
CN108647630A (zh) * 2018-05-08 2018-10-12 北京优创新港科技股份有限公司 一种基于视频识别的危险驾驶行为监督方法与装置
CN111688681A (zh) * 2019-03-12 2020-09-22 罗伯特·博世有限公司 用于执行对在车辆旁的人员的反应的方法
DE102019212311A1 (de) * 2019-08-16 2021-02-18 Brose Fahrzeugteile Se & Co. Kommanditgesellschaft, Bamberg Baugruppe eines Fahrzeugs mit einer Fahrzeugtür und einer an der Fahrzeugtür angeordneten Sensoreinrichtung zum Erkennen eines Bedienwunsches
US20220126748A1 (en) * 2020-10-26 2022-04-28 Ford Global Technologies, Llc Methods and apparatuses for accommodating traffic when using vehicle doors
CN112347567A (zh) * 2020-11-27 2021-02-09 青岛莱吉传动系统科技有限公司 一种车辆意图和轨迹预测的方法
CN112832615A (zh) * 2021-01-04 2021-05-25 东风柳州汽车有限公司 辅助乘员下车的安全开门方法、装置、设备及存储介质
CN113223311A (zh) * 2021-03-26 2021-08-06 南京市德赛西威汽车电子有限公司 一种基于v2x的车辆开门防碰撞预警方法
CN113561983A (zh) * 2021-08-23 2021-10-29 深圳市壹启优车科技有限公司 一种车辆内人员智能安保检测系统及其检测方法
CN114333417A (zh) * 2021-12-29 2022-04-12 阿波罗智联(北京)科技有限公司 一种车辆安全检测方法、装置、电子设备及存储介质

Similar Documents

Publication Publication Date Title
CN106004883B (zh) 车辆违规提醒的方法及装置
US11458972B2 (en) Vehicle control apparatus
WO2022062659A1 (zh) 智能驾驶控制方法及装置、车辆、电子设备和存储介质
CN105292036B (zh) 边界检测系统
US8135507B2 (en) Driver condition estimation apparatus, server, driver information collecting apparatus, and driver condition estimation system
US11205068B2 (en) Surveillance camera system looking at passing cars
CN112037380A (zh) 车辆控制方法及装置、电子设备、存储介质和车辆
CN104978861A (zh) 车辆标识方法及装置
WO2023273064A1 (zh) 对象说话检测方法及装置、电子设备和存储介质
CA3051954C (en) System and method for intelligent traffic stop classifier loading
CN113734045A (zh) 车辆控制系统和车辆控制方法
CN115427268A (zh) 用于检测被锁在车内的乘客的具有人工智能功能的警报
CN114332941A (zh) 基于乘车对象检测的报警提示方法、装置及电子设备
CN106529411A (zh) 车辆提示方法及装置
KR20190063986A (ko) 클라우드서버를 기반을 하는 인공지능 대쉬보드로봇을 이용한 사용자 상태인식시스템
CN114407630A (zh) 车门控制方法及装置、电子设备和存储介质
CN111278708B (zh) 用于辅助驾驶的方法和装置
CN115123127A (zh) 开车门动机识别方法、装置及车辆
CN107458299B (zh) 车灯控制方法、装置及计算机可读存储介质
US11518345B2 (en) Vehicle and method of controlling the same
US11616932B1 (en) Car security camera triggering mechanism
CN114013367A (zh) 一种远光灯使用提醒方法及装置、电子设备和存储介质
CN114005292A (zh) 违禁车辆限速限扭矩的方法、车辆和物联网系统
CN113313857A (zh) 车门控制方法、装置及介质
CN106027726B (zh) 基于移动终端的安全行车方法、装置和系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination