CN116597426A - 一种司乘人员安全状态的识别方法和装置 - Google Patents

一种司乘人员安全状态的识别方法和装置 Download PDF

Info

Publication number
CN116597426A
CN116597426A CN202310607757.6A CN202310607757A CN116597426A CN 116597426 A CN116597426 A CN 116597426A CN 202310607757 A CN202310607757 A CN 202310607757A CN 116597426 A CN116597426 A CN 116597426A
Authority
CN
China
Prior art keywords
preset
sequence
human body
key point
feature
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202310607757.6A
Other languages
English (en)
Other versions
CN116597426B (zh
Inventor
胡敏
李冬冬
宁欣
姜丽敏
李爽
周嵘
唐小江
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Zhongke Ruitu Technology Co ltd
Original Assignee
Beijing Zhongke Ruitu Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Zhongke Ruitu Technology Co ltd filed Critical Beijing Zhongke Ruitu Technology Co ltd
Priority to CN202310607757.6A priority Critical patent/CN116597426B/zh
Publication of CN116597426A publication Critical patent/CN116597426A/zh
Application granted granted Critical
Publication of CN116597426B publication Critical patent/CN116597426B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/59—Context or environment of the image inside of a vehicle, e.g. relating to seat occupancy, driver state or inner lighting conditions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G06V10/806—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G06V10/809—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of classification results, e.g. where the classifiers operate on the same input data
    • G06V10/811—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of classification results, e.g. where the classifiers operate on the same input data the classifiers operating on different input data, e.g. multi-modal recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/41—Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Databases & Information Systems (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Medical Informatics (AREA)
  • Social Psychology (AREA)
  • Human Computer Interaction (AREA)
  • Psychiatry (AREA)
  • Computational Linguistics (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种司乘人员安全状态的识别方法和装置，该方法包括：获取车内司乘人员的视频流，按预设采样速率对所述视频流进行采样，得到视频帧序列；依次按照预设输入帧数量将所述视频帧序列输入预设骨架关键点提取模型，得到由多个人体关键点热图组成的人体关键点热图序列；根据所述人体关键点热图序列和多个预设特征维度生成多个特征向量序列；将各所述特征向量序列输入预设动作识别模型进行动作识别，根据动作识别结果确定所述司乘人员的安全状态，以此基于多个预设特征维度识别司乘人员的动作，从而实现准确的对司乘人员的安全状态进行识别，提高了出行安全性。

Description

一种司乘人员安全状态的识别方法和装置
技术领域
本申请涉及智能座舱技术领域，更具体地，涉及一种司乘人员安全状态的识别方法和装置。
背景技术
近年来，随着互联网行业的迅速发展，网约车、顺风车、租车服务等也迅速兴起，给人们的生活带来了巨大的便利。但是，这些服务给人们的生活带来便利的同时，司乘人员(即司机与乘客)安全问题频发，如司机与乘客之间发生冲突等，严重影响了出行安全。
现有的针对司乘安全提出的方法大都只面向司机，或者车辆行驶状态，例如通过人脸检测判断司机是否疲劳，对司乘人员之间的安全状态进行实时识别的方法还比较少。
因此，如何准确的对司乘人员的安全状态进行识别，是目前有待解决的技术问题。
发明内容
本申请实施例提出了一种司乘人员安全状态的识别方法和装置，用以准确的对司乘人员的安全状态进行识别。
第一方面，提供一种司乘人员安全状态的识别方法，所述方法包括：获取车内司乘人员的视频流，按预设采样速率对所述视频流进行采样，得到视频帧序列；依次按照预设输入帧数量将所述视频帧序列输入预设骨架关键点提取模型，得到由多个人体关键点热图组成的人体关键点热图序列，其中，所述人体关键点热图中包括多个预设人体关键点；根据所述人体关键点热图序列和多个预设特征维度生成多个特征向量序列，各所述特征向量序列与各所述预设特征维度一一对应；将各所述特征向量序列输入预设动作识别模型进行动作识别，根据动作识别结果确定所述司乘人员的安全状态。
第二方面，提供一种司乘人员安全状态的识别装置，所述装置包括：获取模块，用于获取车内司乘人员的视频流，按预设采样速率对所述视频流进行采样，得到视频帧序列；提取模块，用于依次按照预设输入帧数量将所述视频帧序列输入预设骨架关键点提取模型，得到由多个人体关键点热图组成的人体关键点热图序列，其中，所述人体关键点热图中包括多个预设人体关键点；生成模块，用于根据所述人体关键点热图序列和多个预设特征维度生成多个特征向量序列，各所述特征向量序列与各所述预设特征维度一一对应；识别模块，用于将各所述特征向量序列输入预设动作识别模型进行动作识别，根据动作识别结果确定所述司乘人员的安全状态。
第三方面，提供一种电子设备，包括：处理器；以及存储器，用于存储所述处理器的可执行指令；其中，所述处理器配置为经由执行所述可执行指令来执行第一方面所述的司乘人员安全状态的识别方法。
第四方面，提供一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现第一方面所述的司乘人员安全状态的识别方法。
通过应用以上技术方案，获取车内司乘人员的视频流，按预设采样速率对所述视频流进行采样，得到视频帧序列；依次按照预设输入帧数量将所述视频帧序列输入预设骨架关键点提取模型，得到由多个人体关键点热图组成的人体关键点热图序列，其中，所述人体关键点热图中包括多个预设人体关键点；根据所述人体关键点热图序列和多个预设特征维度生成多个特征向量序列，各所述特征向量序列与各所述预设特征维度一一对应；将各所述特征向量序列输入预设动作识别模型进行动作识别，根据动作识别结果确定所述司乘人员的安全状态，以此基于多个预设特征维度识别司乘人员的动作，从而实现准确的对司乘人员的安全状态进行识别，提高了出行安全性。
附图说明
为了更清楚地说明本申请实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1示出了本发明实施例提出的一种司乘人员安全状态的识别方法的流程示意图；
图2示出了本发明实施例中预设动作识别模型的原理示意图；
图3示出了本发明实施例提出的一种司乘人员安全状态的识别装置的结构示意图；
图4示出了本发明实施例提出的一种电子设备的结构示意图。
具体实施方式
下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
需要说明的是，本领域技术人员在考虑说明书及实践这里公开的发明后，将容易想到本申请的其它实施方案。本申请旨在涵盖本申请的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本申请的一般性原理并包括本申请未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本申请的真正范围和精神由权利要求部分指出。
应当理解的是，本申请并不局限于下面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。本申请的范围仅由所附的权利要求来限制。
本申请可用于众多通用或专用的计算装置环境或配置中。例如：个人计算机、服务器计算机、手持设备或便携式设备、平板型设备、多处理器装置、包括以上任何装置或设备的分布式计算环境等等。
本申请可以在由计算机执行的计算机可执行指令的一般上下文中描述，例如程序模块。一般地，程序模块包括执行特定任务或实现特定抽象数据类型的例程、程序、对象、组件、数据结构等等。也可以在分布式计算环境中实践本申请，在这些分布式计算环境中，由通过通信网络而被连接的远程处理设备来执行任务。在分布式计算环境中，程序模块可以位于包括存储设备在内的本地和远程计算机存储介质中。
本申请实施例提供一种司乘人员安全状态的识别方法，如图1所示，该方法包括以下步骤：
步骤S101，获取车内司乘人员的视频流，按预设采样速率对所述视频流进行采样，得到视频帧序列。
本实施例中，可通过设置车内的摄像头对司乘人员进行实时拍摄，获取相应的视频流，摄像头可以为一个或多个，在摄像头为一个时，视频流为该摄像头拍摄的视频流，在摄像头为多个时，该视频流可以是从相应的多个视频流中随机选定或轮询选定的一个视频流。预先设定预设采样速率，以平衡后续预设骨架关键点提取模型的处理速度和输出精度。获取视频流后，按预设采样速率对视频流进行采样，获取多个视频帧，由多个视频帧组成视频帧序列。
可选的，预设采样速率为20fps。
步骤S102，依次按照预设输入帧数量将所述视频帧序列输入预设骨架关键点提取模型，得到由多个人体关键点热图组成的人体关键点热图序列，其中，所述人体关键点热图中包括多个预设人体关键点。
预设骨架关键点提取模型用于对视频帧中的预设人体关键点进行检测，得到人体关键点热图。每次将视频帧序列中预设输入帧数量的视频帧，输入预设骨架关键点提取模型进行处理，根据处理结果得到多个人体关键点热图，并形成人体关键点热图序列。
可选的，在预设采样速率为20fps时，预设输入帧数量为48，即每次将视频帧序列中的48个视频帧输入预设骨架关键点提取模型，由于一个动作一般在2-3s内完成，将预设输入帧数量设定为48，可以更加准确的进行动作识别。
可选的，预设骨架关键点提取模型可以为包括Openpose模型、Simplepose模型中的任一种。
可选的，预设人体关键点包括鼻子、左手肘、左手腕、右手肘、右手腕、脖子、脊椎底部、左膝、左脚踝、右膝、右脚踝。本领域技术人员可根据实际需要灵活设定不同的预设人体关键点，这并不影响本申请的保护范围。
步骤S103，根据所述人体关键点热图序列和多个预设特征维度生成多个特征向量序列，各所述特征向量序列与各所述预设特征维度一一对应。
本实施例中，动作的识别包含多种因素，例如手慢慢向前伸可能是伸手拿东西，但是如果快速向前伸就可能是击打。预先根据与动作识别相关的多种因素确定多个预设特征维度，如角度、速度等。根据人体关键点热图序列和多个预设特征维度生成多个特征向量序列，各特征向量序列与各预设特征维度是一一对应的，每个特征向量序列由多组特征向量组成，因此，特征向量序列表征了人体关键点热图在相应特征维度上的动作特征。
在本申请一些实施例中，所述根据所述人体关键点热图序列和多个预设特征维度生成多个特征向量序列，包括：
根据所述人体关键点热图中的各所述预设人体关键点生成人体骨架序列；
确定与各所述预设人体关键点对应的多段骨骼，并根据所述人体骨架序列确定多段所述骨骼的动作数据；
根据各所述预设特征维度和所述动作数据生成多个所述特征向量序列。
本实施例中，人体关键点热图中包括多个预设人体关键点，根据不同人体关键点热图中各预设人体关键点生成人体骨架序列，然后确定与各预设人体关键点对应的多段骨骼，例如，若包括11个预设人体关键点，则各预设人体关键点形成10段骨骼。再根据人体骨架序列确定多段骨骼的动作数据，最后根据各预设特征维度和动作数据生成多个特征向量序列，以此通过人体骨架序列中各段骨骼的运动数据和各预设特征维度生成各特征向量序列，从而使各特征向量序列更加符合人体骨架序列的运动特征，提高了特征向量序列准确性。
在本申请一些实施例中，所述预设特征维度包括角度、角速度和角加速度，所述特征向量序列包括角度序列、角速度序列和角加速度序列，所述根据各所述预设特征维度和所述动作数据生成多个所述特征向量序列，包括：
根据与所述角度对应的角度参数从所述动作数据中提取数据，得到所述角度序列，所述角度参数包括各段所述骨骼与预设参考面的夹角、人体重心位置、司机与乘客之间的距离；
基于一阶差分算法对所述角度序列中各组角度特征向量进行处理，得到所述角速度序列；
基于所述一阶差分算法对所述角速度序列中各组角速度特征向量进行处理，得到所述角加速度序列。
本实施例中，预设特征维度包括角度、角速度和角加速度，特征向量序列包括角度序列、角速度序列和角加速度序列，角度序列由多组角度特征向量组成，角速度序列由多组角速度特征向量组成，角加速度序列由多组角加速度特征向量组成。确定与角度对应的角度参数，角度参数包括各段骨骼与预设参考面的夹角、人体重心位置、司机与乘客之间的距离。先根据角度参数从动作数据中提取数据，得到角度序列，然后基于一阶差分算法对角度序列中各组角度特征向量进行处理，可得到角速度序列，最后基于一阶差分算法对角速度序列中的各组角速度特征向量进行处理，得到角加速度序列。
动作的本质是骨架的运动，所以人体骨架序列的动作数据理论上包含了理解动作所需的所有信息。而人体姿态的变换主要体现在各段骨骼与参考面夹角的变化以及人体重心的空间位移上，以此从角度、角速度和角加速度确定相应的特征向量序列，提高了动作识别的准确性。
需要说明的是，以上实施例的方案仅为本申请所提出的一种具体实现方案，本领域技术人员也可根据实际需要对本申请实施例中的特征维度进行增减或改变，这并不影响本申请的保护范围。
在本申请一些实施例中，在根据与所述角度对应的角度参数从所述动作数据中提取数据，得到所述角度序列之前，所述方法还包括：
根据公式一确定各所述夹角，所述公式一为：
根据所述骨骼的向量方向确定各所述夹角所在的象限；
根据所述象限对各所述夹角进行修正，以使各所述夹角均在[0，2π)范围内；
其中，θ为所述夹角，x1和y1为所述骨骼的一端的坐标，x2和y2为所述骨骼的另一端的坐标。
本实施例中，先确定每段骨骼两端的坐标，然后通过公式一(即反正切公式)确定各段骨骼的夹角，对骨骼的向量方向进行判断，根据骨骼的向量方向确定各夹角所在的象限，然后根据所在象限对夹角进行修正，以使夹角均在[0，2π)范围内，以便在后续基于一阶差分算法计算角速度序列时，确定相应的动作方向，例如，若逆时针方向为正方向，则角速度为正时代表该骨骼运动趋势为逆时针，为负则相反，从而进一步提高动作识别的准确性。
在本申请一些实施例中，所述根据所述人体关键点热图中的各所述预设人体关键点生成人体骨架序列，包括：
基于非最大值抑制算法对所述人体关键点热图进行处理，得到各所述预设人体关键点的散点坐标；
基于部分亲和场算法对各所述散点坐标进行处理，并基于线积分的方式确定各所述散点坐标之间的亲和度；
根据所述亲和度并采用KM算法对各所述散点坐标进行组装，得到所述人体骨架序列。
本实施例中，为准确的获取人体骨架序列，先基于非最大值抑制算法对人体关键点热图进行处理，得到各预设人体关键点的散点坐标，然后基于部分亲和场算法对各散点坐标进行处理，并基于线积分的方式确定各散点坐标之间的亲和度，最后根据亲和度并采用KM算法对各散点坐标进行组装，得到人体骨架序列，从而提高了人体骨架序列的准确性。
可选的，线积分的方式可以为8点离散采样线积分的方式。
步骤S104，将各所述特征向量序列输入预设动作识别模型进行动作识别，根据动作识别结果确定所述司乘人员的安全状态。
在得到各特征向量序列后，将各特征向量序列输入预设动作识别模型进行动作识别，根据得到的动作识别结果可确定司乘人员的安全状态，其中，动作识别结果可以为与预设动作标签对应的动作种类，如握手、击打、触摸等，在存在击打动作时，可确定安全状态为危险状态。动作识别结果还可以是与多个预设安全级别或危险级别对应的安全等级或危险等级，例如，安全等级越高，说明安全性越高，或者，危险等级越高，说明安全性越低。
在本申请一些实施例中，所述预设动作识别模型基于卷积神经网络，所述将各所述特征向量序列输入预设动作识别模型进行动作识别，包括：
将各所述特征向量序列分别输入所述预设动作识别模型，并按预设卷积参数对各所述特征向量序列进行卷积处理，得到分别与各所述特征向量序列对应的多个中间特征数据；
将各所述中间特征数据进行特征融合得到融合特征数据；
对所述融合特征数据进行降维，输出动作危险等级，并将所述动作危险等级作为所述动作识别结果。
本实施例中，预设动作识别模型基于卷积神经网络，预先设定预设卷积参数，预设卷积参数可包括卷积核大小和步长，在获取各特征向量序列后，将各特征向量序列分别输入预设动作识别模型，按预设卷积参数对各特征向量序列进行卷积处理，得到与各所述特征向量序列一一对应的多个中间特征数据，再将各中间特征数据进行特征融合得到融合特征数据，即将多个通道转换为单通道，然后对融合特征数据进行降维，输出动作危险等级，最后根据动作危险等级作为动作识别结果。以此基于简单的卷积神经网络进行动作识别，既可以有效降低运算开销，又可以有效提取动作关键信息，保证了连续动作识别的流畅性。
在本申请一些实施例中，在输出动作危险等级，并将所述动作危险等级作为所述动作识别结果之后，所述方法还包括：
若所述动作危险等级不小于第一预设等级且小于第二预设等级，向车内发出预设语音提醒信息；
若所述动作危险等级不小于所述第二预设等级，向车内发出所述预设语音提醒信息，并将所述视频流上传至预设管理平台。
本实施例中，在获取动作危险等级后，对动作危险等级进行判断，若动作危险等级不小于第一预设等级且小于第二预设等级，说明司乘人员存在发生冲突的可能性一般，向车内发出预设语音提醒信息，以提醒司乘人员不要发生冲突。若动作危险等级不小于第二预设等级，说明司乘人员发生冲突的可能性较大，在向车内发出预设语音提醒信息的同时，还将相应的视频流上传至预设管理平台，以使预设管理平台对司乘人员进行实时监控，及时进行相应处理，例如给司机发送预设消息，或拨打司机电话进行提醒等，降低司乘人员发生冲突的可能性。以此根据相应的动作危险等级对司乘人员进行干预，可以有效预防冲突及犯罪的发生。
通过应用以上技术方案，获取车内司乘人员的视频流，按预设采样速率对所述视频流进行采样，得到视频帧序列；依次按照预设输入帧数量将所述视频帧序列输入预设骨架关键点提取模型，得到由多个人体关键点热图组成的人体关键点热图序列，其中，人体关键点热图中包括多个预设人体关键点；根据所述人体关键点热图序列和多个预设特征维度生成多个特征向量序列，各所述特征向量序列与各所述预设特征维度一一对应；将各所述特征向量序列输入预设动作识别模型进行动作识别，根据动作识别结果确定所述司乘人员的安全状态，以此基于多个预设特征维度识别司乘人员的动作，从而实现准确的对司乘人员的安全状态进行识别，提高了出行安全性。
为了进一步阐述本发明的技术思想，现结合具体的应用场景，对本发明的技术方案进行说明。
本申请实施例提供一种司乘人员安全状态的识别方法，包括以下步骤：
步骤S1，获取车内司乘人员的视频流，按20fps的采样速率对视频流进行采样，得到视频帧序列。
步骤S2，根据多个预设人体关键点设定Openpose模型，依次按照预设输入帧数量将视频帧序列输入Openpose模型，得到由多个人体关键点热图组成的人体关键点热图序列。
其中，预设输入帧数量为48，预设人体关键点为11个，包括鼻子、左手肘、左手腕、右手肘、右手腕、脖子、脊椎底部、左膝、左脚踝、右膝、右脚踝。
步骤S3，基于非最大值抑制算法对人体关键点热图进行处理，得到各预设人体关键点的散点坐标，再基于部分亲和场算法对各散点坐标进行处理，并基于线积分的方式确定各散点坐标之间的亲和度，最后根据亲和度并采用KM算法对各散点坐标进行组装，得到人体骨架序列。
步骤S4，确定与各预设人体关键点对应的多段骨骼，并根据人体骨架序列确定多段骨骼的动作数据。
步骤S5，根据与角度对应的角度参数从动作数据中提取数据，得到角度序列，角度参数包括各段骨骼与预设参考面的夹角、人体重心位置、司机与乘客之间的距离。
具体的，预设人体关键点的数量为11，各预设人体关键点形成10段骨骼，则：
fθ＝[θ1，θ2，θ3，θ4，θ5，θ6，θ7，θ8，θ9，θ10，x+y，Δd]；
其中，fθ为角度序列中的角度特征向量，θ为各段骨骼与预设参考面的夹角，x1和y1为骨骼的一端的坐标，x2和y2为骨骼的另一端的坐标，x+y表示人体重心位置，(x，y)表示与人体重心位置对应的重心坐标，Δd为司机与乘客之间的距离，Δd由司机与乘客的重心之间的距离确定，角度特征向量为一个12维的特征向量。
另外，根据骨骼的向量方向确定各夹角所在的象限，根据象限对各夹角进行修正，以使各夹角均在[0，2π)范围内，以便在后续基于一阶差分算法计算角速度序列时，确定相应的动作方向。
步骤S6，基于一阶差分算法对角度序列中各组角度特征向量进行处理，得到角速度序列。
具体的，根据公式二确定角速度特征向量，由多组角速度特征向量组成角速度序列，公式二具体为：
其中，为第n帧对应的角速度特征向量，/>为第n帧对应的角度特征向量，为第n-1帧对应的角度特征向量。
可以理解的是，角速度特征向量为一组12维的特征向量。
步骤S7，基于一阶差分算法对角速度序列中各组角速度特征向量进行处理，得到角加速度序列。
具体的，根据公式三确定角加速度特征向量，由多组角加速度特征向量组成角加速度序列，公式三具体为：
其中，为第n帧对应的角加速度特征向量，/>为第n帧对应的角速度特征向量，为第n-1帧对应的角速度特征向量。
可以理解的是，角加速度特征向量为一组12维的特征向量。
步骤S8，将各特征向量序列输入预设动作识别模型进行动作识别，输出动作危险等级，将动作危险等级作为动作识别结果。
预设动作识别模型基于卷积神经网络，如图2所示为预设动作识别模型的原理示意图。预设动作识别模型的网络输入尺寸为12*48*3，它由3个独立的数据堆叠而来，分别是尺寸为12*48的角度序列、角速度序列及角加速度序列，卷积核大小为12*3，步长为2，沿着帧长方向进行卷积，3个通道输出3个尺寸为11*11的中间特征数据，将3个中间特征数据进行特征融合得到为11*11*3的融合特征数据，对融合特征数据进行降维，输出动作危险等级G(0～10)。
若G≥3且G＜5，向车内发出预设语音提醒信息；若G≥5，向车内发出预设语音提醒信息，并将视频流上传至预设管理平台。
通过应用以上技术方案，实现对司机和乘客的肢体动作进行准确识别，提高了出行安全性；由于只选取11个骨骼关键点，在满足实际需要的同时可以有效降低计算开销，适合应用于实时系统；基于简单的卷积神经网络进行动作识别，既可以有效降低运算开销，又可以有效提取动作关键信息，保证了实时进行动作识别的流畅性。
本申请实施例还提出了一种司乘人员安全状态的识别装置，如图3所示，所述装置包括：获取模块301，用于获取车内司乘人员的视频流，按预设采样速率对所述视频流进行采样，得到视频帧序列；提取模块302，用于依次按照预设输入帧数量将所述视频帧序列输入预设骨架关键点提取模型，得到由多个人体关键点热图组成的人体关键点热图序列，其中，所述人体关键点热图中包括多个预设人体关键点；生成模块303，用于根据所述人体关键点热图序列和多个预设特征维度生成多个特征向量序列，各所述特征向量序列与各所述预设特征维度一一对应；识别模块304，用于将各所述特征向量序列输入预设动作识别模型进行动作识别，根据动作识别结果确定所述司乘人员的安全状态。
在具体的应用场景中，生成模块303，具体用于：根据所述人体关键点热图中的各所述预设人体关键点生成人体骨架序列；确定与各所述预设人体关键点对应的多段骨骼，并根据所述人体骨架序列确定多段所述骨骼的动作数据；根据各所述预设特征维度和所述动作数据生成多个所述特征向量序列。
在具体的应用场景中，所述预设特征维度包括角度、角速度和角加速度，所述特征向量序列包括角度序列、角速度序列和角加速度序列，生成模块303还具体用于：根据与所述角度对应的角度参数从所述动作数据中提取数据，得到所述角度序列，所述角度参数包括各段所述骨骼与预设参考面的夹角、人体重心位置、司机与乘客之间的距离；基于一阶差分算法对所述角度序列中各组角度特征向量进行处理，得到所述角速度序列；基于所述一阶差分算法对所述角速度序列中各组角速度特征向量进行处理，得到所述角加速度序列。
在具体的应用场景中，生成模块303还具体用于：根据公式一确定各所述夹角，所述公式一为：根据所述骨骼的向量方向确定各所述夹角所在的象限；根据所述象限对各所述夹角进行修正，以使各所述夹角均在[0，2π)范围内；其中，θ为所述夹角，x1和y1为所述骨骼的一端的坐标，x2和y2为所述骨骼的另一端的坐标。
在具体的应用场景中，生成模块303还具体用于：基于非最大值抑制算法对所述人体关键点热图进行处理，得到各所述预设人体关键点的散点坐标；基于部分亲和场算法对各所述散点坐标进行处理，并基于线积分的方式确定各所述散点坐标之间的亲和度；根据所述亲和度并采用KM算法对各所述散点坐标进行组装，得到所述人体骨架序列。
在具体的应用场景中，所述预设动作识别模型基于卷积神经网络，识别模块304具体用于：将各所述特征向量序列分别输入所述预设动作识别模型，并按预设卷积参数对各所述特征向量序列进行卷积处理，得到分别与各所述特征向量序列对应的多个中间特征数据；将各所述中间特征数据进行特征融合得到融合特征数据；对所述融合特征数据进行降维，输出动作危险等级，并将所述动作危险等级作为所述动作识别结果。
在具体的应用场景中，所述装置还包括处理模块，用于：若所述动作危险等级不小于第一预设等级且小于第二预设等级，向车内发出预设语音提醒信息；若所述动作危险等级不小于所述第二预设等级，向车内发出所述预设语音提醒信息，并将所述视频流上传至预设管理平台。
本发明实施例还提供了一种电子设备，如图4所示，包括处理器401、通信接口402、存储器403和通信总线404，其中，处理器401，通信接口402，存储器403通过通信总线404完成相互间的通信，
存储器403，用于存储处理器的可执行指令；
处理器401，被配置为经由执行所述可执行指令来执行：
获取车内司乘人员的视频流，按预设采样速率对所述视频流进行采样，得到视频帧序列；依次按照预设输入帧数量将所述视频帧序列输入预设骨架关键点提取模型，得到由多个人体关键点热图组成的人体关键点热图序列，其中，所述人体关键点热图中包括多个预设人体关键点；根据所述人体关键点热图序列和多个预设特征维度生成多个特征向量序列，各所述特征向量序列与各所述预设特征维度一一对应；将各所述特征向量序列输入预设动作识别模型进行动作识别，根据动作识别结果确定所述司乘人员的安全状态。
上述通信总线可以是PCI(Peripheral Component Interconnect，外设部件互连标准)总线或EISA(Extended Industry Standard Architecture，扩展工业标准结构)总线等。该通信总线可以分为地址总线、数据总线、控制总线等。为便于表示，图中仅用一条粗线表示，但并不表示仅有一根总线或一种类型的总线。
通信接口用于上述终端与其他设备之间的通信。
存储器可以包括RAM(Random Access Memory，随机存取存储器)，也可以包括非易失性存储器，例如至少一个磁盘存储器。可选的，存储器还可以是至少一个位于远离前述处理器的存储装置。
上述的处理器可以是通用处理器，包括CPU(Central Processing Unit，中央处理器)、NP(Network Processor，网络处理器)等；还可以是DSP(Digital Signal Processing，数字信号处理器)、ASIC(Application Specific Integrated Circuit，专用集成电路)、FPGA(Field Programmable Gate Array，现场可编程门阵列)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。
在本发明提供的又一实施例中，还提供了一种计算机可读存储介质，该计算机可读存储介质中存储有计算机程序，所述计算机程序被处理器执行时实现如上所述的司乘人员安全状态的识别方法。
在本发明提供的又一实施例中，还提供了一种包含指令的计算机程序产品，当其在计算机上运行时，使得计算机执行如上所述的司乘人员安全状态的识别方法。
在上述实施例中，可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用软件实现时，可以全部或部分地以计算机程序产品的形式实现。所述计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行所述计算机程序指令时，全部或部分地产生按照本发明实施例所述的流程或功能。所述计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。所述计算机指令可以存储在计算机可读存储介质中，或者从一个计算机可读存储介质向另一个计算机可读存储介质传输，例如，所述计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线(例如同轴电缆、光纤、数字用户线)或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输。所述计算机可读存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。所述可用介质可以是磁性介质，(例如，软盘、硬盘、磁带)、光介质(例如，DVD)、或者半导体介质(例如固态硬盘)等。
需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
本说明书中的各个实施例均采用相关的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。
以上所述仅为本发明的较佳实施例而已，并非用于限定本发明的保护范围。凡在本发明的精神和原则之内所作的任何修改、等同替换、改进等，均包含在本发明的保护范围内。

Claims (10)

1.一种司乘人员安全状态的识别方法，其特征在于，所述方法包括：
获取车内司乘人员的视频流，按预设采样速率对所述视频流进行采样，得到视频帧序列；
依次按照预设输入帧数量将所述视频帧序列输入预设骨架关键点提取模型，得到由多个人体关键点热图组成的人体关键点热图序列，其中，所述人体关键点热图中包括多个预设人体关键点；
根据所述人体关键点热图序列和多个预设特征维度生成多个特征向量序列，各所述特征向量序列与各所述预设特征维度一一对应；
将各所述特征向量序列输入预设动作识别模型进行动作识别，根据动作识别结果确定所述司乘人员的安全状态。
2.如权利要求1所述方法，其特征在于，所述根据所述人体关键点热图序列和多个预设特征维度生成多个特征向量序列，包括：
根据所述人体关键点热图中的各所述预设人体关键点生成人体骨架序列；
确定与各所述预设人体关键点对应的多段骨骼，并根据所述人体骨架序列确定多段所述骨骼的动作数据；
根据各所述预设特征维度和所述动作数据生成多个所述特征向量序列。
3.如权利要求2所述方法，其特征在于，所述预设特征维度包括角度、角速度和角加速度，所述特征向量序列包括角度序列、角速度序列和角加速度序列，所述根据各所述预设特征维度和所述动作数据生成多个所述特征向量序列，包括：
根据与所述角度对应的角度参数从所述动作数据中提取数据，得到所述角度序列，所述角度参数包括各段所述骨骼与预设参考面的夹角、人体重心位置、司机与乘客之间的距离；
基于一阶差分算法对所述角度序列中各组角度特征向量进行处理，得到所述角速度序列；
基于所述一阶差分算法对所述角速度序列中各组角速度特征向量进行处理，得到所述角加速度序列。
4.如权利要求3所述方法，其特征在于，在根据与所述角度对应的角度参数从所述动作数据中提取数据，得到所述角度序列之前，所述方法还包括：
根据公式一确定各所述夹角，所述公式一为：
根据所述骨骼的向量方向确定各所述夹角所在的象限；
根据所述象限对各所述夹角进行修正，以使各所述夹角均在[0，2π)范围内；
其中，θ为所述夹角，x1和y1为所述骨骼的一端的坐标，x2和y2为所述骨骼的另一端的坐标。
5.如权利要求2所述方法，其特征在于，所述根据所述人体关键点热图中的各所述预设人体关键点生成人体骨架序列，包括：
基于非最大值抑制算法对所述人体关键点热图进行处理，得到各所述预设人体关键点的散点坐标；
基于部分亲和场算法对各所述散点坐标进行处理，并基于线积分的方式确定各所述散点坐标之间的亲和度；
根据所述亲和度并采用KM算法对各所述散点坐标进行组装，得到所述人体骨架序列。
6.如权利要求1所述方法，其特征在于，所述预设动作识别模型基于卷积神经网络，所述将各所述特征向量序列输入预设动作识别模型进行动作识别，包括：
将各所述特征向量序列分别输入所述预设动作识别模型，并按预设卷积参数对各所述特征向量序列进行卷积处理，得到分别与各所述特征向量序列对应的多个中间特征数据；
将各所述中间特征数据进行特征融合得到融合特征数据；
对所述融合特征数据进行降维，输出动作危险等级，并将所述动作危险等级作为所述动作识别结果。
7.如权利要求6所述方法，其特征在于，在输出动作危险等级，并将所述动作危险等级作为所述动作识别结果之后，所述方法还包括：
若所述动作危险等级不小于第一预设等级且小于第二预设等级，向车内发出预设语音提醒信息；
若所述动作危险等级不小于所述第二预设等级，向车内发出所述预设语音提醒信息，并将所述视频流上传至预设管理平台。
8.一种司乘人员安全状态的识别装置，其特征在于，所述装置包括：
获取模块，用于获取车内司乘人员的视频流，按预设采样速率对所述视频流进行采样，得到视频帧序列；
提取模块，用于依次按照预设输入帧数量将所述视频帧序列输入预设骨架关键点提取模型，得到由多个人体关键点热图组成的人体关键点热图序列，其中，所述人体关键点热图中包括多个预设人体关键点；
生成模块，用于根据所述人体关键点热图序列和多个预设特征维度生成多个特征向量序列，各所述特征向量序列与各所述预设特征维度一一对应；
识别模块，用于将各所述特征向量序列输入预设动作识别模型进行动作识别，根据动作识别结果确定所述司乘人员的安全状态。
9.一种电子设备，其特征在于，包括：
处理器；以及
存储器，用于存储所述处理器的可执行指令；
其中，所述处理器配置为经由执行所述可执行指令来执行权利要求1～7中任意一项所述的司乘人员安全状态的识别方法。
10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1～7中任意一项所述的司乘人员安全状态的识别方法。
CN202310607757.6A 2023-05-26 2023-05-26 一种司乘人员安全状态的识别方法和装置 Active CN116597426B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310607757.6A CN116597426B (zh) 2023-05-26 2023-05-26 一种司乘人员安全状态的识别方法和装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310607757.6A CN116597426B (zh) 2023-05-26 2023-05-26 一种司乘人员安全状态的识别方法和装置

Publications (2)

Publication Number Publication Date
CN116597426A true CN116597426A (zh) 2023-08-15
CN116597426B CN116597426B (zh) 2024-06-14

Family

ID=87606063

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310607757.6A Active CN116597426B (zh) 2023-05-26 2023-05-26 一种司乘人员安全状态的识别方法和装置

Country Status (1)

Country Link
CN (1) CN116597426B (zh)

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108985259A (zh) * 2018-08-03 2018-12-11 百度在线网络技术（北京）有限公司 人体动作识别方法和装置
CN109271838A (zh) * 2018-07-19 2019-01-25 重庆邮电大学 一种基于fmcw雷达的三参数特征融合手势识别方法
CN109344803A (zh) * 2018-10-29 2019-02-15 广东工业大学 一种姿态特征提取方法及相关装置
CN111027478A (zh) * 2019-12-10 2020-04-17 青岛农业大学 一种基于深度学习的司机、乘客行为分析与预警系统
CN111310625A (zh) * 2020-02-06 2020-06-19 上海智幻软件科技有限公司 一种基于openpose的多人姿势检测的方法及系统
CN111597974A (zh) * 2020-05-14 2020-08-28 哈工大机器人（合肥）国际创新研究院 一种基于tof相机车厢内人员活动的监控方法及系统
CN111814661A (zh) * 2020-07-07 2020-10-23 西安电子科技大学 基于残差-循环神经网络的人体行为识别方法
CN113496216A (zh) * 2021-08-31 2021-10-12 四川大学华西医院 一种基于骨骼关键点的多角度跌倒高危识别方法及系统
CN115171080A (zh) * 2022-06-14 2022-10-11 安徽工程大学 面向车载设备的压缩视频驾驶员行为识别方法

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109271838A (zh) * 2018-07-19 2019-01-25 重庆邮电大学 一种基于fmcw雷达的三参数特征融合手势识别方法
CN108985259A (zh) * 2018-08-03 2018-12-11 百度在线网络技术（北京）有限公司 人体动作识别方法和装置
CN109344803A (zh) * 2018-10-29 2019-02-15 广东工业大学 一种姿态特征提取方法及相关装置
CN111027478A (zh) * 2019-12-10 2020-04-17 青岛农业大学 一种基于深度学习的司机、乘客行为分析与预警系统
CN111310625A (zh) * 2020-02-06 2020-06-19 上海智幻软件科技有限公司 一种基于openpose的多人姿势检测的方法及系统
CN111597974A (zh) * 2020-05-14 2020-08-28 哈工大机器人（合肥）国际创新研究院 一种基于tof相机车厢内人员活动的监控方法及系统
CN111814661A (zh) * 2020-07-07 2020-10-23 西安电子科技大学 基于残差-循环神经网络的人体行为识别方法
CN113496216A (zh) * 2021-08-31 2021-10-12 四川大学华西医院 一种基于骨骼关键点的多角度跌倒高危识别方法及系统
CN115171080A (zh) * 2022-06-14 2022-10-11 安徽工程大学 面向车载设备的压缩视频驾驶员行为识别方法

Also Published As

Publication number Publication date
CN116597426B (zh) 2024-06-14

Similar Documents

Publication Publication Date Title
US20190065872A1 (en) Behavior recognition apparatus, learning apparatus, and method and program therefor
CN115616937B (zh) 自动驾驶仿真测试方法、装置、设备和计算机可读介质
CN115540894B (zh) 车辆轨迹规划方法、装置、电子设备和计算机可读介质
CN112528957A (zh) 人体运动基础信息检测方法、系统及电子设备
CN115761702A (zh) 车辆轨迹生成方法、装置、电子设备和计算机可读介质
Islam et al. Real-time vehicle trajectory estimation based on lane change detection using smartphone sensors
CN110780325A (zh) 运动对象的定位方法及装置、电子设备
CN114220063A (zh) 目标检测方法及装置
CN116597426B (zh) 一种司乘人员安全状态的识别方法和装置
CN116823884A (zh) 多目标跟踪方法、系统、计算机设备及存储介质
CN116543143A (zh) 一种目标检测模型的训练方法、目标检测方法及装置
CN114140538B (zh) 车载相机位姿调整方法、装置、设备和计算机可读介质
CN113703704B (zh) 界面显示方法、头戴式显示设备和计算机可读介质
CN112373471B (zh) 用于控制车辆行驶的方法、装置、电子设备和可读介质
CN114663972A (zh) 基于动作差分的目标标记方法及装置
CN112129272B (zh) 视觉里程计的实现方法和实现装置
CN111339226B (zh) 一种基于分类检测网络构建地图方法及装置
CN114492652B (zh) 一种离群点去除方法、装置、交通工具及存储介质
CN114494428B (zh) 车辆位姿矫正方法、装置、电子设备和计算机可读介质
CN115616560B (zh) 车辆避障方法、装置、电子设备和计算机可读介质
Ionut-Cristian A Brief Review of Using the Inertial Sensor to Determine the Driver Head Posture
CN117854042A (zh) 一种驾车环境目标查询方法、装置、电子设备及存储介质
JP2018206108A (ja) 情報処理システム、サーバおよび通信方法
CN116311486A (zh) 一种视线估计方法、装置、设备及介质
Zheng et al. Research on Key Technologies and Methods of Trajectory Monitoring Based on Attitude Recognition in College Teaching

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant