CN112215161A - 基于人工智能的车门自动解锁方法 - Google Patents

基于人工智能的车门自动解锁方法 Download PDF

Info

Publication number
CN112215161A
CN112215161A CN202011092662.8A CN202011092662A CN112215161A CN 112215161 A CN112215161 A CN 112215161A CN 202011092662 A CN202011092662 A CN 202011092662A CN 112215161 A CN112215161 A CN 112215161A
Authority
CN
China
Prior art keywords
target pedestrian
parameter
posture change
key point
pedestrian
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
CN202011092662.8A
Other languages
English (en)
Inventor
陈艳
展影影
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Individual
Original Assignee
Individual
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Individual filed Critical Individual
Priority to CN202011092662.8A priority Critical patent/CN112215161A/zh
Publication of CN112215161A publication Critical patent/CN112215161A/zh
Withdrawn legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/103—Static body considered as a whole, e.g. static pedestrian or occupant recognition
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R25/00—Fittings or systems for preventing or indicating unauthorised use or theft of vehicles
    • B60R25/20—Means to switch the anti-theft system on or off
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B21/00—Measuring arrangements or details thereof, where the measuring technique is not covered by the other groups of this subclass, unspecified or not relevant
    • G01B21/16—Measuring arrangements or details thereof, where the measuring technique is not covered by the other groups of this subclass, unspecified or not relevant for measuring distance of clearance between spaced objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Computing Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Mechanical Engineering (AREA)
  • Lock And Its Accessories (AREA)

Abstract

本发明公开了一种基于人工智能的车门自动解锁方法。包括：传感器检测车辆附近行人与车辆的距离，则判断行人是否可能有乘车意图，触发摄像头采集车门附近的目标行人图像；对目标行人图像进行分析，得到目标行人的三维关键点坐标、目标行人是否存在上身前倾的判断结果、目标行人是否存在伸手行为的判断结果；若存在上身前倾和伸手行为，根据三维关键点坐标计算目标行人的姿势变化参数；将同一时刻的姿势变化参数组成参数向量，并将参数向量按照时间戳组成乘车趋势参数张量，输入乘车意图预测时序分析模型进行分析，输出目标行人的乘车意图预测结果，若有乘车意图，控制车门自动解锁。利用本发明，可以控制车门自动解锁。

Description

基于人工智能的车门自动解锁方法
技术领域
本发明涉及人工智能、计算机视觉技术领域，具体涉及一种基于人工智能的车门自动解锁方法。
背景技术
在当前人工智能高速发展的时代，车辆变得越来越智能化。但是车辆始终面临一个问题，即驾驶员在在停车状态下等待乘客时，由于驾驶员位于车辆内部，只能观测到有限区域的场景情况，特别是光线较差，视线较暗的时候，其视线受到极大限制，因此无法及时识别乘客是否已经接近车辆。并且，如果驾驶员长时间观察周围行人，则需要花费大量精力。
因此，当目标乘客靠近时，如果没有被驾驶员看到，则由于无法打开车门，乘客通常需要敲车窗，或者呼喊，引起驾驶员的注意，从而由驾驶员手动解锁车门，开门方式极不智能。
发明内容
本发明的目的在于针对上述现有技术存在的缺陷，提出一种基于人工智能的车门自动解锁方法。
一种基于人工智能的车门自动解锁方法，该方法包括：
步骤1，传感器检测车辆附近行人与车辆的距离，若距离小于第一距离阈值的时间达到第一时间阈值，则判断行人可能有乘车意图，触发摄像头采集车门附近的目标行人图像；
步骤2，对目标行人图像进行分析，得到目标行人的三维关键点坐标、目标行人是否存在上身前倾的判断结果、目标行人是否存在伸手行为的判断结果；
步骤3，若目标行人存在上身前倾和伸手行为，根据三维关键点坐标计算目标行人的姿势变化参数，姿势变化参数包括：身体重心点与下身骨架近似线段的垂直距离a、将身体重心点和根节点连接所得的第一线段与下身骨架近似线段的角度b、手部关键点与上身骨架近似线段的垂直距离c、将手部关键点和双肩中心点连接所得的第二线段与上身骨架近似线段的角度d；
步骤4，将同一时刻的姿势变化参数组成参数向量，并将参数向量按照时间戳组成乘车趋势参数张量，输入乘车意图预测时序分析模型进行分析，输出目标行人的乘车意图预测结果，若目标行人有乘车意图，控制车门自动解锁。
进一步地，该方法还包括：在步骤4之前执行以下步骤：
对各姿势变化参数进行增强建模、增强变化趋势建模，得到各姿势变化参数对应的增强参数、增强变化趋势参数，作为步骤4中的姿势变化参数。
进一步地，所述增强建模、增强变化趋势建模包括：
Figure BDA0002722674720000011
Figure BDA0002722674720000012
Figure BDA0002722674720000013
Figure BDA0002722674720000014
其中，
Figure BDA0002722674720000015
分别为a的增强参数、a的增强变化趋势参数、b的增强参数、b的增强变化趋势参数、c的增强参数、c的增强变化趋势参数、d的增强参数、d的增强变化趋势参数，A、B、C、D分别为归一化处理后的a、b、c、d，p1、p2、q1、q2、r1、r2、s1、s2为补偿系数；w为增益系数；
Figure BDA0002722674720000021
为建模所得的姿势变化参数。
进一步地，归一化处理为：
Figure BDA0002722674720000022
其中，X为归一化后的姿势变化参数，x为当前姿势变化参数，xmin、xmax分别为姿势变化参数的最小值、最大值，w为增益系数。
进一步地，该方法还包括：利用关键点检测神经网络对目标行人图像进行分析，得到目标行人关键点热力图，进行后处理得到目标行人二维关键点坐标；所述摄像头为RGB-D相机，结合相机得到的深度信息将目标行人二维关键点坐标变换为三维关键点坐标。
进一步地，该方法还包括：利用前倾判断神经网络对目标行人图像进行分析，得到目标行人是否存在上身前倾的判断结果。
进一步地，该方法还包括：利用伸手判断神经网络对目标行人图像进行分析，得到目标行人是否存在伸手行为的判断结果。
进一步地，所述根节点为左右髋部中心点。
进一步地，所述下身骨架近似线段为根节点与双脚连线中心点的连线，所述上身骨架近似线段为根节点与双肩连线中心点的连线。
进一步地，所述乘车意图预测分析模型基于时间卷积神经网络。
本发明与现有技术相比，具有以下有益效果：
本发明利用姿势变化参数分析乘车意图，根据预测的乘车意图控制车门解锁，解决了现有车门解锁智能程度低的问题。先进行乘车意图可能性判断，减少无效计算，降低摄像头功耗。进行伸手行为判断以及上身前倾判断，不仅能够减少无效计算，而且由于筛选掉了不具备上述动作的行人目标，提高了后续乘车意图预测的准确率。传统的身体与车辆的距离感知以及手部与车辆的距离感知，需要根据不同车型、不同摄像头位姿设置不同的距离阈值，采用行人的姿势变化参数，能够隔离工况，适用于各种车型位于不同高度的摄像头采集的图像，从行人本身的姿势变化进行分析，提高通用性，扩大适用范围。采用重心距离、重心角度、手部距离、手部角度作为姿势变化参数，这四种姿势变化参数能够很好地表征乘车意图趋势，相比于传统的距离计算，本发明还利用了角度信息，提高表征的准确性。对姿势变化参数进行增强建模、增强变化趋势建模，增强后的姿势变化参数表征能力更强，进一步提高了乘车意图预测的准确率。
附图说明
图1为本发明方法流程图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图以及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明。
本发明提供一种基于人工智能的车门自动解锁方法。通过摄像头采集上车乘客的多帧图像信息，对得到的图像信息进行处理判断乘客的开门动作，进而确定乘客的开门行为意图，实现车门的自动解锁。图1为本发明方法流程图。下面通过具体实施例来进行说明。
实施例1：
基于人工智能的车门自动解锁方法：
步骤1，传感器检测车辆附近行人与车辆的距离，若距离小于第一距离阈值的时间达到第一时间阈值，则判断行人可能有乘车意图，触发摄像头采集车门附近的目标行人图像。
在车门处安装摄像头，车内驾驶员位置安装压力传感器，车辆内部安装有电子手刹系统。车门处摄像头用来采集靠近车门附近的乘客图像信息，压力传感器用来检测车辆的驾驶位置是否存在驾驶人员，电子手刹系统用来检测车辆当前的状态是否为停车状态。
当检查到车辆为停车状态、驾驶员位置压力为正常状态、且乘车人员与车门的距离不再变化时，开启车门处摄像头拍摄车门附件的乘客人员图像信息。通过在车门把手处安装测距传感器，检测车门附近乘客距离变化，若短时间内距离不再发生变化，即检测到人员位置不再变化，说明可能存在开车门人员，即目标行人。
步骤2，对目标行人图像进行分析，得到目标行人的三维关键点坐标、目标行人是否存在上身前倾的判断结果、目标行人是否存在伸手行为的判断结果。
对得到的目标行人图像进行姿态分析，通过两个网络对目标行人的图像信息是否存在上身前倾且伸手行为进行识别判断。
前倾判断神经网络的训练内容如下：目标行人图像数据经过归一化处理送入网络中进行训练，以便模型更好地收敛。其中随机选择数据集的80％作为训练集，剩余的20％作为验证集。前倾判断神经网络包括上身前倾分类编码器Encoder1、全连接层FC1。Encoder1对数据进行特征提取，输入为经过归一化后处理的图像数据，全连接层FC1起到将特征映射到样本标记空间的作用，输出为姿态属于上身前倾姿态的概率。损失函数采用交叉熵损失函数进行训练。至此，即可通过网络分类是否存在上身前倾行为。
伸手判断神经网络的训练过程与上述上身前倾行为网络类似，包括伸手判断分类编码器Encoder2、全连接层FC2。输出为属于伸手行为的概率值。
由于乘客在上车前，会进行上部分身体前倾且伸手开车门，该情况是显而易见的。所以通过上述两个网络可以对当前人体是否存在上身前倾与伸手行为进行判断，当两种行为同时存在时，可进行姿势变化参数的计算。
步骤3，若目标行人存在上身前倾和伸手行为，根据三维关键点坐标计算目标行人的姿势变化参数，姿势变化参数包括：身体重心点与下身骨架近似线段的垂直距离a、将身体重心点和根节点连接所得的第一线段与下身骨架近似线段的角度b、手部关键点与上身骨架近似线段的垂直距离c、将手部关键点和双肩中心点连接所得的第二线段与上身骨架近似线段的角度d。
姿势变化参数基于人体关键点检测计算。为了降低计算量，可以在存在上述两种行为时，再继续进行后续的身体关键点检测。为了提高乘车意图预测结果的精度，也可以选择在判断行人可能有乘车意图时就开始进行检测，当存在上述两种行为时，检测结果生效，与后续检测结果(判断两种行为存在后的检测结果)合并，作为待计算关键点序列，计算姿势变化参数。
人体关键点检测通过关键点检测神经网络实现，检测人的身体各部位信息，利用车门处摄像头采集图像，然后制作图像标签数据，分为两步，第一步对人体图像进行关键点标注，包括人体的重心点、手部、双肩、髋部两侧、双脚等九个关键点信息，即各部位的空间坐标；第二步，将标注的人体散点图与高斯核卷积得到热力图。具体的细节如高斯核大小的选取等，实施者可以自行调整。
关键点检测神经网络训练的细节如下：摄像头采集的图像要经过归一化处理，即将图片矩阵的值域变为[0,1]之间的浮点数，以便模型更好地收敛。标签同样经过归一化处理。通过采集的图像和热力图标签数据，端到端地训练关键点检测编码器Encoder3和关键点检测解码器Decoder1。Encoder3对图像进行特征提取，输入为经过归一化处理的图像数据，输出为Feature map；Decoder是对Feature map进行上采样并最终生成人体各部位关键点热力图(heatmap)，其输入为Encoder3产生的Feature map，输出为乘客的人体各部位关键点热力图。
损失函数如下：
Figure BDA0002722674720000041
其中，Pij代表乘客的人体各部位关键点在位置(i,j)处的得分，得分越高就越可能是乘客的关键点。yij表示真值热力图中的像素值。N代表ground truth中的关键点数量。α、β为超参数，需要人为设定。需要注意的是，由于热力图本身的特点，网络输出的热力图其像素值符合高斯分布，其值域在[0,1]之间。
编码器-解码器的设计有许多种，本发明建议乘客的人体各部位关键点检测Encoder和乘客的人体各部位关键点检测Decoder套用沙漏网络、CPN、HRNet等预训练模型来进行乘客的人体各部位关键点特征的提取，同时这样也更利于网络的收敛。
由于本发明采用RGB-D相机，且相机的位姿固定，结合深度信息即可得到人体关键点的三维空间坐标。
对得到的身体重心点以及其他关键点进行后处理，得到身体重心点与下身骨架近似线段的垂直距离a、将身体重心点和根节点连接所得的第一线段与下身骨架近似线段的角度b，具体处理方式如下：将髋部两侧的关键点k1(x1,y1,z1)、k2(x2,y2,z2)进行连接，得到两个髋部关键点的中心点即根节点km(x0,y0,z0)，具体公式如下：k0(x0,y0,z0)＝[(x1+x2)/2,(y1+y2)/2,(z1+z2)/2]。再连接双脚的关键点j3(x3,y3,z3)、j4(x4,y4,z4)，得到两个脚部关键点的中心点坐标k5(x5,y5,z5)，具体使用如下公式：k5(x5,y5,z5)＝[(x3+x4)/2,(y3+y4)/2,(z3+z4)/2]。
将k0、k5连接得到人体竖直方向的一个下部骨架近似线段。连接人体重心点与髋部关键点的中心点，得到关于人体重心点的连接线即第一线段，计算第一线段与下身骨架近似线段的角度b，再计算人体重心点与下身骨架近似线段的距离a。
对上述得到的手部关键点与髋部两侧关键点及双肩关键点进行后处理，得到身体手部的手部角度d、距离c，具体处理方式如下：连接人体的髋部两侧关键点，得到两个髋部关键点的中心点，再连接人体的双肩两侧关键点，得到两个双肩关键点的中心点，公式与上述重心计算类似；连接根节点与双肩关键点中心点，得到上身骨架近似线段信息。将人体的手部关键点与人体的双肩中心点进行连接，得到第二线段信息。计算第二线段与上身骨架近似线段的连线的角度d，再计算人体手部关键点与上身骨架近似线段的距离c。
需要说明的是，由于在进行乘客手部关键点检测时，会检查到两个手部关键点信息，但是乘客在开车门时，一般只会伸出一只手来开车门，该种行为显而易见，所以可以直接选取有手部距离变化的手部关键点作为当前行人的手部信息。具体地，通过少数几帧的手部距离信息c即可得知那只手有伸手行为。姿势变化参数选取伸手的那只手的手部姿势变化参数即可。
步骤4，将同一时刻的姿势变化参数组成参数向量，并将参数向量按照时间戳组成乘车趋势参数张量，输入乘车意图预测时序分析模型进行分析，输出目标行人的乘车意图预测结果，若目标行人有乘车意图，控制车门自动解锁。
时序分析模型有多种类型的网络结构，本实施例采用时间卷积网络TCN来实现。
TCN网络训练方法：将时间上连续的姿势变化参数组成张量，作为TCN的输入。实施者应当知道TCN最终要接全连接，以输出预测目标。最终经过FC全连接，输出为乘客开门意图的预测。全连接层FC的数据标签分别为具有开车门意图的为1，无开车门意图的标注为2，并通过交叉熵损失函数进行训练。最终通过训练好的TCN即可对顾客的开车门意图进行判断识别。根据识别结果，若识别当前乘客的行为意图为开门，则通过电路触发开车门信号，实现车门的自动解锁。由于输入是时序数据，可以设置第一滑动时间窗口，时序分析模型每次对滑动时间窗口内的张量数据进行分析，输出分析结果。通常第一滑动时间窗口的尺寸不足以覆盖所有输入数据，对于输出，统计所有输出中出现频率最高的作为最终输出结果。实施者也可以在输出上设置第二滑动时间窗口，统计滑动时间窗口内最高频率出现的识别结果作为最终识别结果。
实施例2：
人在开车门时，身体的前倾动作是重心距离先快速增加然后缓慢增加的过程，即加速度先快速增大然后再减小，伸手动作同样是如此，姿势变化参数重心角度则是先快速减小然后缓慢减小的过程。为了克服图像采集过程中的噪声影响，同时放大人体的动作变化，需要利用函数对得到的重心角度b、距离a，手部角度d、距离c进行增强建模，减小噪声影响，提高参数的表征能力。
本实施例对各姿势变化参数进行增强建模、增强变化趋势建模，得到各姿势变化参数对应的增强参数、增强变化趋势参数，作为步骤4中的姿势变化参数。
首先，对姿势变化参数进行归一化处理，采用如下模型：
Figure BDA0002722674720000051
其中，X为归一化后的姿势变化参数，x为当前姿势变化参数，xmin、xmax分别为姿势变化参数的最小值、最大值，w为增益系数。增益系数的选取主要为扩大取值范围，方便后续模型映射。优选地，补偿参数为3。归一化处理的目的主要是使数据的变化趋势更易提取，提高后续预测网络的精度。
增强建模、增强变化趋势建模包括：
Figure BDA0002722674720000061
Figure BDA0002722674720000062
Figure BDA0002722674720000063
Figure BDA0002722674720000064
Figure BDA0002722674720000065
Figure BDA0002722674720000066
Figure BDA0002722674720000067
Figure BDA0002722674720000068
其中，
Figure BDA0002722674720000069
分别为a的增强参数、a的增强变化趋势参数、b的增强参数、b的增强变化趋势参数、c的增强参数、c的增强变化趋势参数、d的增强参数、d的增强变化趋势参数，A、B、C、D分别为归一化处理后的a、b、c、d，p1、p2、q1、q2、r1、r2、s1、s2为补偿系数，均为正数；
Figure BDA00027226747200000610
构成乘车意图趋势参数序列。
以重心距离姿势变化参数a为例。p1为补偿系数，a的增强建模对归一化处理后的重心距离采用
Figure BDA00027226747200000611
函数进行非线性映射，该函数满足取值范围内的单调递增特性，符合重心距离一直增大的映射关系，其主要作用是对得到的距离值进行放大，使得较小的距离变化经过放大，其递增效果更加明显。
a的增强变化趋势建模可将模型映射结果统一到[0,2*p2]范围内，p2为模型的补偿系数，实施者可自行选取补偿系数。该模型在前半段随着重心距离a的增加，其映射值快速增加，在后半段，随着重心距离的增加，其映射值增加的很少，几乎不再改变。该模型的变化趋势，符合乘客运动的过程，乘客开门前身体先向前倾，其过程是短暂的，且前倾的距离越来越大，角度越来越小，变化很快；在快要碰到门把手时，及时减小前倾的趋势，但身体还在前倾。
对重心角度、手部距离、手部角度的变化及其变化趋势都与重心距离变换几乎相同，均可以采取与重心距离变换相同的映射模型，区别在于模型的对象不同，只需要乘以相关的补偿系数进行放大到与重心距离相似的映射空间即可。此外需要说明的是，重心角度是逐渐减小，因此对归一化处理后的B以w-B代入进行建模即可。
如果增强建模与增强变化趋势建模映射值的取值范围相差较大，会导致两种模型映射值经过后续预测模型训练后，其取值范围较大的映射值所占权重比例较大，取值范围较小的所占权重较小。为防止上述问题，本发明将两种映射值通过改变补偿系数大小，映射到一个同等取值范围内，减小后续训练误差，使得训练结果更加准确，收敛。例如p1选取为46，p2选取为127，即可将两个模型映射值统一到[0,255]范围内。另外三个姿势参数的补偿系数的设置原理相同。将两个模型映射值以二维向量的形式存储到乘车意图趋势参数序列中，有效融合并保留距离变化关系与变化趋势等信息，使用该模型包含了乘客的重心距离变化信息与变化趋势信息，将两者结合，使用该模型进行了统一映射。
至此，可以得到重心距离、重心角度、手部距离、手部角度对应的增强参数、增强变化趋势参数。将各增强参数、增强变化趋势参数作为步骤4中的姿势变化参数。
以上实施例仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种基于人工智能的车门自动解锁方法，其特征在于，该方法包括：
步骤1，传感器检测车辆附近行人与车辆的距离，若距离小于第一距离阈值的时间达到第一时间阈值，则判断行人可能有乘车意图，触发摄像头采集车门附近的目标行人图像；
步骤2，对目标行人图像进行分析，得到目标行人的三维关键点坐标、目标行人是否存在上身前倾的判断结果、目标行人是否存在伸手行为的判断结果；
步骤3，若目标行人存在上身前倾和伸手行为，根据三维关键点坐标计算目标行人的姿势变化参数，姿势变化参数包括：身体重心点与下身骨架近似直线的垂直距离a、将身体重心点和根节点连接所得的第一线段与下身骨架近似线段的角度b、伸手手部关键点与上身骨架近似线段的垂直距离c、将伸手手部关键点和双肩中心点连接所得的第二线段与上身骨架近似线段的角度d；
步骤4，将同一时刻的姿势变化参数组成参数向量，并将参数向量按照时间戳组成乘车趋势参数张量，输入乘车意图预测时序分析模型进行分析，输出目标行人的乘车意图预测结果，若目标行人有乘车意图，控制车门自动解锁。
2.如权利要求1所述的方法，其特征在于，该方法还包括：在步骤4之前执行以下步骤：
对各姿势变化参数进行增强建模、增强变化趋势建模，得到各姿势变化参数对应的增强参数、增强变化趋势参数，作为步骤4中的姿势变化参数。
3.如权利要求2所述的方法，其特征在于，所述增强建模、增强变化趋势建模包括：
Figure FDA0002722674710000017
Figure FDA0002722674710000018
Figure FDA0002722674710000012
Figure FDA0002722674710000013
其中，
Figure FDA0002722674710000014
分别为a的增强参数、a的增强变化趋势参数、b的增强参数、b的增强变化趋势参数、c的增强参数、c的增强变化趋势参数、d的增强参数、d的增强变化趋势参数，A、B、C、D分别为归一化处理后的a、b、c、d，p1、p2、q1、q2、r1、r2、s1、s2为补偿系数；w为增益系数；
Figure FDA0002722674710000015
为建模所得的姿势变化参数。
4.如权利要求2所述的方法，其特征在于，归一化处理为：
Figure FDA0002722674710000016
其中，X为归一化后的姿势变化参数，x为当前姿势变化参数，xmin、xmax分别为姿势变化参数的最小值、最大值，w为增益系数。
5.如权利要求1所述的方法，其特征在于，该方法还包括：利用关键点检测神经网络对目标行人图像进行分析，得到目标行人关键点热力图，进行后处理得到目标行人二维关键点坐标；所述摄像头为RGB-D相机，结合相机得到的深度信息将目标行人二维关键点坐标变换为三维关键点坐标。
6.如权利要求1所述的方法，其特征在于，该方法还包括：利用前倾判断神经网络对目标行人图像进行分析，得到目标行人是否存在上身前倾的判断结果。
7.如权利要求1所述的方法，其特征在于，该方法还包括：利用伸手判断神经网络对目标行人图像进行分析，得到目标行人是否存在伸手行为的判断结果。
8.如权利要求1所述的方法，其特征在于，所述根节点为左右髋部中心点。
9.如权利要求1所述的方法，其特征在于，所述下身骨架近似线段为根节点与双脚连线中心点的连线，所述上身骨架近似线段为根节点与双肩连线中心点的连线。
10.如权利要求1所述的方法，其特征在于，所述乘车意图预测分析模型基于时间卷积神经网络。
CN202011092662.8A 2020-10-13 2020-10-13 基于人工智能的车门自动解锁方法 Withdrawn CN112215161A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011092662.8A CN112215161A (zh) 2020-10-13 2020-10-13 基于人工智能的车门自动解锁方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011092662.8A CN112215161A (zh) 2020-10-13 2020-10-13 基于人工智能的车门自动解锁方法

Publications (1)

Publication Number Publication Date
CN112215161A true CN112215161A (zh) 2021-01-12

Family

ID=74053986

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011092662.8A Withdrawn CN112215161A (zh) 2020-10-13 2020-10-13 基于人工智能的车门自动解锁方法

Country Status (1)

Country Link
CN (1) CN112215161A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115045585A (zh) * 2021-03-08 2022-09-13 丰田自动车株式会社 控制装置、系统、车辆以及控制方法

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115045585A (zh) * 2021-03-08 2022-09-13 丰田自动车株式会社 控制装置、系统、车辆以及控制方法
CN115045585B (zh) * 2021-03-08 2024-03-12 丰田自动车株式会社 控制装置、系统、车辆以及控制方法

Similar Documents

Publication Publication Date Title
CN108983219B (zh) 一种交通场景的图像信息和雷达信息的融合方法及系统
CN110210463B (zh) 基于Precise ROI-Faster R-CNN的雷达目标图像检测方法
CN109584248B (zh) 基于特征融合和稠密连接网络的红外面目标实例分割方法
CN111914664A (zh) 基于重识别的车辆多目标检测和轨迹跟踪方法
CN110533695A (zh) 一种基于ds证据理论的轨迹预测装置及方法
CN114299417A (zh) 一种基于雷视融合的多目标跟踪方法
CN106295568A (zh) 基于表情和行为双模态结合的人类自然状态情感识别方法
CN111144207B (zh) 一种基于多模态信息感知的人体检测和跟踪方法
CN110766676A (zh) 基于多源传感器融合的目标检测方法
TW201405486A (zh) 利用電腦視覺進行即時偵測與追蹤物體之裝置及其方法
CN112668469A (zh) 基于深度学习的多目标检测识别方法
CN111339830A (zh) 一种基于多模态数据特征的目标分类方法
CN116704273A (zh) 一种自适应红外可见光双模融合检测方法
CN116486287A (zh) 基于环境自适应机器人视觉系统的目标检测方法及系统
CN115116132B (zh) 一种物联网边缘服务环境下深度感知的人体行为分析方法
Ali et al. Vehicle detection and tracking in UAV imagery via YOLOv3 and Kalman filter
CN115346197A (zh) 一种基于双向视频流的驾驶员分心行为识别方法
Aldahoul et al. A comparison between various human detectors and CNN-based feature extractors for human activity recognition via aerial captured video sequences
Kadim et al. Deep-learning based single object tracker for night surveillance.
CN116643291A (zh) 一种视觉与激光雷达联合剔除动态目标的slam方法
CN117237884A (zh) 一种基于泊位定位的互动式巡检机器人
CN106250878B (zh) 一种结合可见光和红外图像的多模态目标跟踪方法
CN112215161A (zh) 基于人工智能的车门自动解锁方法
Kim et al. Vehicle color recognition via representative color region extraction and convolutional neural network
CN111738099B (zh) 基于视频图像场景理解的人脸自动检测方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WW01 Invention patent application withdrawn after publication

Application publication date: 20210112

WW01 Invention patent application withdrawn after publication