CN111931640A - 异常坐姿识别方法、装置、电子设备及存储介质 - Google Patents

异常坐姿识别方法、装置、电子设备及存储介质 Download PDF

Info

Publication number
CN111931640A
CN111931640A CN202010790210.0A CN202010790210A CN111931640A CN 111931640 A CN111931640 A CN 111931640A CN 202010790210 A CN202010790210 A CN 202010790210A CN 111931640 A CN111931640 A CN 111931640A
Authority
CN
China
Prior art keywords
user
sitting posture
feature map
information
current
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010790210.0A
Other languages
English (en)
Other versions
CN111931640B (zh
Inventor
王飞
钱晨
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai Sensetime Lingang Intelligent Technology Co Ltd
Original Assignee
Shanghai Sensetime Lingang Intelligent Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shanghai Sensetime Lingang Intelligent Technology Co Ltd filed Critical Shanghai Sensetime Lingang Intelligent Technology Co Ltd
Priority to CN202010790210.0A priority Critical patent/CN111931640B/zh
Publication of CN111931640A publication Critical patent/CN111931640A/zh
Priority to JP2021571346A priority patent/JP2022547246A/ja
Priority to PCT/CN2020/136267 priority patent/WO2022027895A1/zh
Priority to KR1020217039206A priority patent/KR20220019097A/ko
Priority to US17/536,840 priority patent/US20220084316A1/en
Application granted granted Critical
Publication of CN111931640B publication Critical patent/CN111931640B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G06V10/443—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components by matching or filtering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/59—Context or environment of the image inside of a vehicle, e.g. relating to seat occupancy, driver state or inner lighting conditions
    • G06V20/593—Recognising seat occupancy
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/59—Context or environment of the image inside of a vehicle, e.g. relating to seat occupancy, driver state or inner lighting conditions
    • G06V20/597—Recognising the driver's state or behaviour, e.g. attention or drowsiness
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10—Character recognition
    • G06V30/19—Recognition using electronic means
    • G06V30/191—Design or setup of recognition systems or techniques; Extraction of features in feature space; Clustering techniques; Blind source separation
    • G06V30/19173—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B21/00—Alarms responsive to a single specified undesired or abnormal condition and not otherwise provided for
    • G08B21/02—Alarms for ensuring the safety of persons
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B21/00—Alarms responsive to a single specified undesired or abnormal condition and not otherwise provided for
    • G08B21/02—Alarms for ensuring the safety of persons
    • G08B21/04—Alarms for ensuring the safety of persons responsive to non-activity, e.g. of elderly persons
    • G08B21/0438—Sensor means for detecting
    • G08B21/0476—Cameras to detect unsafe condition, e.g. video cameras

Landscapes

  • Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Human Computer Interaction (AREA)
  • Data Mining & Analysis (AREA)
  • General Health & Medical Sciences (AREA)
  • Business, Economics & Management (AREA)
  • Social Psychology (AREA)
  • Psychiatry (AREA)
  • Health & Medical Sciences (AREA)
  • Emergency Management (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Image Analysis (AREA)
  • Emergency Alarm Devices (AREA)
  • Alarm Systems (AREA)

Abstract

本公开提供了一种异常坐姿识别方法、装置、电子设备及存储介质，该方法包括：获取车舱内的当前场景图像；基于所述当前场景图像，识别位于所述车舱内的至少一个用户的当前坐姿；在用户的当前坐姿属于异常坐姿类型的情况下，发出警示信息；其中，所述异常坐姿类型是指存在安全风险的坐姿类型。

Description

异常坐姿识别方法、装置、电子设备及存储介质
技术领域
本公开涉及深度学习技术领域，具体而言，涉及一种异常坐姿识别方法、装置、电子设备及存储介质。
背景技术
当前汽车电子行业迅速发展，为用户乘车提供了一种方便、舒适、安全的车舱环境，故使得车舱智能化成为当前汽车行业发展的重要方向。
一般的，车舱智能化可以包括个性化服务、安全感知等方面。在安全感知方面，由于用户在车辆行驶过程中保持的坐姿与用户的安全程度相关，即不合适的坐姿会在车辆发生碰撞事件时增加用户受伤的概率，降低用户乘车的安全度。
发明内容
有鉴于此，本公开至少提供一种异常坐姿识别方法、装置、电子设备及存储介质。
第一方面，本公开提供了一种异常坐姿识别方法，包括：
获取车舱内的当前场景图像；
基于所述当前场景图像，识别位于所述车舱内的至少一个用户的当前坐姿；
在用户的当前坐姿属于异常坐姿类型的情况下，发出警示信息；其中，所述异常坐姿类型是指存在安全风险的坐姿类型。
采用上述方法，通过对获取的车舱内的当前场景图像进行识别，确定车舱内包括的至少一个用户的当前坐姿，并进一步在用户的当前坐姿属于异常坐姿类型的情况下，发出警示信息，从而对处于异常坐姿的用户进行提示，提高用户乘车的安全性。
一种可能的实施方式中，所述异常坐姿类型包括以下至少一种：
用户身体前倾的第一异常坐姿、用户身体侧倾的第二异常坐姿、用户身体横躺的第三异常坐姿。
在上述实施方式下，通过定义多种异常坐姿，使得异常坐姿类型较丰富，进而可以更全面的覆盖多种异常坐姿，保障用户的乘车的安全性。
一种可能的实施方式中，基于所述当前场景图像，识别位于所述车舱内的至少一个用户的当前坐姿：
基于所述当前场景图像，确定所述当前场景图像中至少一个用户的关键点信息；
基于各个用户的关键点信息与设置的参考物之间的相对位置关系，确定位于所述车舱内的各个用户的当前坐姿。
一种可能的实施方式中，所述关键点信息包括头部关键点信息；基于各个用户的关键点信息与设置的参考物之间的相对位置关系，确定位于所述车舱内的各个用户的当前坐姿，包括：
若一个用户的所述头部关键点信息低于设置的方向盘下沿线，确定该用户的当前坐姿为用户身体前倾的第一异常坐姿。
一种可能的实施方式中，所述关键点信息包括左肩关键点信息、和右肩关键点信息；基于各个用户的关键点信息与设置的参考物之间的相对位置关系，确定位于所述车舱内的各个用户的当前坐姿，包括：
若一个用户的左肩关键点与右肩关键点之间的连线、与设置的座椅参考面之间的角度大于设置的第一角度阈值，确定该用户的当前坐姿为用户身体侧倾的第二异常坐姿。
一种可能的实施方式中，所述关键点信息包括脖子关键点信息、和胯部关键点信息；基于各个用户的关键点信息与设置的参考物之间的相对位置关系，确定位于所述车舱内的各个用户的当前坐姿，包括：
若一个用户的脖子关键点与胯部关键点之间的连线、与设置的水平参考面之间的角度小于设置的第二角度阈值，确定该用户的当前坐姿为用户身体横躺的第三异常坐姿。
一种可能的实施方式中，基于所述当前场景图像，识别位于所述车舱内的至少一个用户的当前坐姿，包括：
基于所述当前场景图像，生成所述当前场景图像对应的中间特征图；
基于所述中间特征图，生成位于所述车舱内的至少一个用户中每个用户的检测框信息；
基于所述中间特征图、和所述至少一个用户中每个用户的检测框信息，确定每个用户的当前坐姿。
一种可能的实施方式中，基于所述中间特征图，生成位于所述车舱内的至少一个用户中每个用户的检测框信息，包括：
对所述中间特征图进行至少一次第一卷积处理，生成所述中间特征图对应的通道特征图；
基于所述通道特征图中表征位置的目标通道特征图，生成位于所述车舱内的每个用户的检测框的中心点位置信息。
上述实施方式采用特征图处理的方式确定用户对应的检测框信息(包含中心点位置信息)，进而将检测框信息与当前场景图像对应的中间特征图进行比对，确定用户的当前位姿信息。
一种可能的实施方式中，基于所述通道特征图中表征位置的目标通道特征图，生成位于所述车舱内的每个用户的检测框的中心点位置信息，包括：
利用激活函数对所述表征位置的目标通道特征图中每个特征值进行特征值转换处理，生成转换后的目标通道特征图；
按照预设的池化尺寸和池化步长，对转换后的目标通道特征图进行最大池化处理，得到多个池化值以及与多个池化值中的每个池化值对应的位置索引；所述位置索引用于标识所述池化值在所述转换后的目标通道特征图中的位置；
基于所述每个池化值以及池化阈值，从多个池化值中确定属于至少一个用户的检测框的中心点的目标池化值；
基于所述目标池化值对应的位置索引，生成位于所述车舱内的每个用户的检测框的中心点位置信息。
上述实施方式中，通过对目标通道特征图进行最大池化处理，能够较准确的从多个池化值中确定属于用户中心点的目标池化值，进而较精确的确定每个用户的检测框的中心点位置信息。
一种可能的实施方式中，基于所述中间特征图、所述至少一个用户中每个用户的检测框信息，确定每个用户的当前坐姿，包括：
对所述中间特征图进行至少一次第二卷积处理，生成所述中间特征图对应的N通道的分类特征图；其中，所述分类特征图的通道数N与坐姿类别的数量一致，所述N通道的分类特征图中的每个通道特征图对应一种坐姿类别，N为大于1的正整数；
针对每个用户，基于所述用户的检测框信息指示的中心点位置信息，从所述分类特征图中提取与所述中心点位置信息匹配的特征位置处的N个特征值；从N个特征值中选取最大特征值，将分类特征图中，与最大特征值对应的通道特征图的坐姿类别，确定为所述用户的当前坐姿。
这里，通过对中间特征图进行至少一次第二卷积处理，生成分类特征图，再结合生成的每个用户的中心点位置信息，可以较准确的确定每个用户的当前坐姿。
以下装置、电子设备等的效果描述参见上述方法的说明，这里不再赘述。
第二方面，本公开提供了一种异常坐姿识别装置，包括：
获取模块，用于获取车舱内的当前场景图像；
识别模块，用于基于所述当前场景图像，识别位于所述车舱内的至少一个用户的当前坐姿；
确定模块，用于在用户的当前坐姿属于异常坐姿类型的情况下，发出警示信息；其中，所述异常坐姿类型是指存在安全风险的坐姿类型。
第三方面，本公开提供一种电子设备，包括：处理器、存储器和总线，所述存储器存储有所述处理器可执行的机器可读指令，当电子设备运行时，所述处理器与所述存储器之间通过总线通信，所述机器可读指令被所述处理器执行时执行如上述第一方面或任一实施方式所述的异常坐姿识别方法的步骤。
第四方面，本公开提供一种计算机可读存储介质，该计算机可读存储介质上存储有计算机程序，该计算机程序被处理器运行时执行如上述第一方面或任一实施方式所述的异常坐姿识别方法的步骤。
为使本公开的上述目的、特征和优点能更明显易懂，下文特举较佳实施例，并配合所附附图，作详细说明如下。
附图说明
为了更清楚地说明本公开实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，此处的附图被并入说明书中并构成本说明书中的一部分，这些附图示出了符合本公开的实施例，并与说明书一起用于说明本公开的技术方案。应当理解，以下附图仅示出了本公开的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。
图1示出了本公开实施例所提供的一种异常坐姿识别方法的流程示意图；
图2示出了本公开实施例所提供的一种异常坐姿识别方法中，当前场景图像的示意图；
图3示出了本公开实施例所提供的一种异常坐姿识别装置的架构示意图；
图4示出了本公开实施例所提供的一种电子设备400的结构示意图。
具体实施方式
为使本公开实施例的目的、技术方案和优点更加清楚，下面将结合本公开实施例中的附图，对本公开实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本公开一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本公开实施例的组件可以以各种不同的配置来布置和设计。因此，以下对在附图中提供的本公开的实施例的详细描述并非旨在限制要求保护的本公开的范围，而是仅仅表示本公开的选定实施例。基于本公开的实施例，本领域技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本公开保护的范围。
一般的，车舱智能化可以包括个性化服务、安全感知等方面。在安全感知方面，由于用户在车辆行驶过程中保持的坐姿与用户的安全程度相关，即不合适的坐姿会在车辆发生碰撞事件时增加用户受伤的概率，降低用户乘车的安全度。故为了解决上述问题，本公开实施例提供了一种异常坐姿识别方法。
为便于对本公开实施例进行理解，首先对本公开实施例所公开的一种异常坐姿识别方法进行详细介绍。
参见图1所示，为本公开实施例所提供的一种异常坐姿识别方法的流程示意图，该方法包括S101-S103，其中：
S101，获取车舱内的当前场景图像。
S102，基于当前场景图像，识别位于车舱内的至少一个用户的当前坐姿。
S103，在用户的当前坐姿属于异常坐姿类型的情况下，发出警示信息；其中，所述异常坐姿类型是指存在安全风险的坐姿类型。
上述方法中，通过对获取的车舱内的当前场景图像进行识别，确定位于车舱内的至少一个用户的当前坐姿，并进一步在用户的当前坐姿属于异常坐姿类型的情况下，发出警示信息，从而对处于异常坐姿的用户进行提示，提高用户乘车的安全性。
针对S101：
这里，可以在车舱的顶部设置摄像设备，通过车舱内设置的摄像设备实时获取车舱内的当前场景图像。其中，该摄像设备的安装位置可以为能够拍摄到车舱内全部用户的位置。
针对S102：
在获取到当前场景图像之后，可以对当前场景图像进行识别，确定车舱内的每个用户对应的当前坐姿。其中，该当前坐姿可以为每个用户的坐姿类别。
一种可能的实施方式中，基于当前场景图像，识别位于车舱内的至少一个用户的当前坐姿，可以包括：
基于当前场景图像，确定当前场景图像中至少一个用户的关键点信息；
基于各个用户的关键点信息与设置的参考物之间的相对位置关系，确定位于车舱内的各个用户的当前坐姿。
这里，可以将当前场景图像输入至关键点检测神经网络，确定当前场景图像中至少一个用户的关键点信息；并可以针对车舱内的每个用户，基于该用户的关键点信息与设置的参考物之间的相对位置关系，确定该用户的当前坐姿。
一种可能的实施方式中，关键点信息包括头部关键点信息；基于各个用户的关键点信息与设置的参考物之间的相对位置关系，确定位于所述车舱内的各个用户的当前坐姿，可以包括：
若一个用户的所述头部关键点信息低于设置的方向盘下沿线，确定该用户的当前坐姿为用户身体前倾的第一异常坐姿。
参见图2所示的一种异常坐姿识别方法中，当前场景图像的示意图，图中包括方向盘21、方向盘下沿线22、驾驶员23，方向盘下沿线22为在靠近驾驶员一侧的方向盘的边缘，得到的与行驶方向垂直的参考线。由图可知，方向盘下沿线将当前场景图像划分为两个区域，即位于方向盘下沿线上方的第一区域24和位于方向盘下沿线下方的第二区域25。在检测到用户的头部关键点信息低于设置的方向盘下沿线，即检测到用户的头部关键点信息位于第二区域25内时，则确定该用户的当前坐姿为用户身体前倾的第一异常坐姿；在检测到用户的头部关键点信息高于设置的方向盘下沿线，即检测到用户的头部关键点信息位于第一区域24内时，则确定该用户的当前坐姿不属于用户身体前倾的第一异常坐姿；若用户的头部关键点信息位于方向盘下沿线上，则确定该用户的当前坐姿不属于用户身体前倾的第一异常坐姿。
一种可能的实施方式中，关键点信息包括左肩关键点信息、和右肩关键点信息；基于各个用户的关键点信息与设置的参考物之间的相对位置关系，确定位于车舱内的各个用户的当前坐姿，包括：
若一个用户的左肩关键点与右肩关键点之间的连线、与设置的座椅参考面之间的角度大于设置的第一角度阈值，确定该用户的当前坐姿为用户身体侧倾的第二异常坐姿。
这里，第一角度阈值可以根据实际需要进行设置，比如第一角度可以为45度；以及可以将用户背靠座椅的一面(即座椅的竖直面)设置为座椅参考面。进而可以确定检测到的左肩关键点与右肩关键点之间的连线、与设置的座椅参考面之间的角度，在该角度大于设置的第一角度阈值时，确定该用户的当前坐姿为用户身体侧倾的第二异常坐姿；在该角度小于或等于设置的第一角度阈值时，则确定该用户的当前坐姿不属于用户身体前倾的第二异常坐姿。
一种可能的实施方式中，关键点信息包括脖子关键点信息、和胯部关键点信息；基于各个用户的关键点信息与设置的参考物之间的相对位置关系，确定位于车舱内的各个用户的当前坐姿，包括：
若一个用户的脖子关键点与胯部关键点之间的连线、与设置的水平参考面之间的角度小于设置的第二角度阈值，确定该用户的当前坐姿为用户身体横躺的第三异常坐姿。
这里，设置的水平参考面可以为座椅水平面，以及第二角度阈值可以根据实际需要进行设置。可以确定脖子关键点与胯部关键点之间的连线与设置的水平参考面之间的角度，在该角度小于设置的第二角度阈值时，确定该用户的当前坐姿为用户身体横躺的第三异常坐姿；在该角度大于或等于设置的第二角度阈值时，确定该用户的当前坐姿不属于用户身体横躺的第三异常坐姿。
在具体实施时，还可以将当前场景图像输入至训练的神经网络中，确定该当前场景图像中包括的每个用户的当前坐姿。
作为一可选实施方式，基于当前场景图像，识别位于车舱内的至少一个用户的当前坐姿，可以包括：
步骤一、基于当前场景图像，生成当前场景图像对应的中间特征图；
步骤二、基于中间特征图，生成位于车舱内的至少一个用户中每个用户的检测框信息；
步骤三、基于中间特征图、和至少一个用户中每个用户的检测框信息，确定每个用户的当前坐姿。
在步骤一中，可以将当前场景图像输入至训练后的神经网络中，该神经网络中的骨干网络对当前场景图像进行多次卷积处理，生成当前场景图像对应的中间特征图。
在步骤二中，可以利用中间特征图、和神经网络中包括的检测框检测分支网络，生成位于车舱内的至少一个用户中每个用户的检测框信息。
一种可选实施方式中，基于中间特征图，生成位于车舱内的至少一个用户中每个用户的检测框信息，可以包括：
A1，对中间特征图进行至少一次第一卷积处理，生成中间特征图对应的通道特征图；
A2，基于通道特征图中表征位置的目标通道特征图，生成位于车舱内的每个用户的检测框的中心点位置信息。
这里，可以先对中间特征图进行至少一个第一卷积处理，生成中间特征图对应的通道特征图，该通道特征图对应的通道数可以为三通道。其中，该通道特征图中包括表征位置的第一通道特征图(该第一通道特征图即为目标通道特征图)、表征检测框长度信息的第二通道特征图、以及表征检测框宽度信息的第三通道特征图。
进而，可以基于通道特征图中表征位置的目标通道特征图，生成车舱内包括的每个用户的检测框的中心点位置信息，以及还可以基于通道特征图中的第二通道特征图和第三通道特征图，确定检测框的尺寸信息(长度和宽度)。
上述实施方式中，采用特征图处理的方式确定用户对应的检测框信息(包含中心点位置信息)，进而将检测框信息与当前场景图像对应的中间特征图进行比对，确定用户的当前位姿信息。
作为一可选实施方式，基于通道特征图中表征位置的目标通道特征图，生成位于车舱内的每个用户的检测框的中心点位置信息，可以包括：
B1，利用激活函数对表征位置的目标通道特征图中每个特征值进行特征值转换处理，生成转换后的目标通道特征图；
B2，按照预设的池化尺寸和池化步长，对转换后的目标通道特征图进行最大池化处理，得到多个池化值以及与多个池化值中的每个池化值对应的位置索引；位置索引用于标识池化值在转换后的目标通道特征图中的位置；
B3，基于每个池化值以及池化阈值，从多个池化值中确定属于至少一个用户的检测框的中心点的目标池化值；
B4，基于目标池化值对应的位置索引，生成位于车舱内的每个用户的检测框的中心点位置信息。
本公开实施例中，可以利用激活函数对目标特征图进行特征值转换处理，生成转换后的目标通道特征图，该目标通道特征图中每个特征值均为0-1之间的数值。其中，该激活函数可以为sigmoid函数。针对转换后的目标通道特征图中的任一特征点的特征值，若该特征值越趋向于1，则该特征值对应的特征点属于用户的检测框的中心点的概率也就越大。
接着，可以按照预设的池化尺寸和池化步长，对转换后的目标通道特征图进行最大池化处理，得到目标通道特征图中每个特征位置处对应的池化值和每个池化值对应的位置索引；位置索引可以用于标识池化值在转换后的目标通道特征图中的位置。然后可以将每个特征位置处对应的位置索引中，相同的位置索引进行合并处理，得到该目标通道特征图对应多个池化值和多个池化值中每个池化值对应的位置索引。其中，预设的池化尺寸和池化步长可以根据实际需要进行设置，比如，预设的池化尺寸可以为3×3，预设的池化步长可以为1。
进一步的，可以设置池化阈值，对得到的多个池化值进行筛选，得到多个池化值中大于池化阈值的至少一个目标池化值，并基于目标池化值对应的位置索引，生成车舱内包括的每个用户的检测框的中心点位置信息。示例性的，可以获取当前场景图像对应的摄像设备采集到的多帧样本图像，根据采集的多帧样本图像利用自适应算法，生成池化阈值。
示例性的，可以对目标通道特征图进行3×3，且步长为1的最大池化处理；在池化时，针对每3×3个特征点在目标通道特征图中的特征值，确定3×3个特征点的最大响应值(即池化值)及最大响应值在目标通道特征图上的位置索引。此时，最大响应值的数量与目标通道特征图的尺寸相关；例如若目标通道特征图的尺寸为80×60×3，则在对目标通道特征图进行最大池化处理后，得到的最大响应值共80×60个；且对于每个最大响应值，都可能存在至少一个其他最大响应值与其位置索引相同。
然后将位置索引相同的最大响应值合并，得到M个最大响应值，以及M个最大响应值中每个最大响应值对应的位置索引。
然后将M个最大响应值中的每个最大响应值与池化阈值进行比对；在某最大响应值大于该池化阈值时，将该最大响应值确定为目标池化值。目标池化值对应的位置索引，即用户的检测框的中心点位置信息。
这里，还可以直接对转换之前的目标通道特征图进行最大池化处理，得到每个用户的检测框的中心点位置信息。
示例性的，在得到用户的检测框的中心点位置信息之后，还可以基于该中心点位置信息，从第二通道特征图中选取与该中心点位置信息匹配的特征位置处的第二特征值，将选取的第二特征值确定为用户的检测框对应的长度，并从第三通道特征图中选取与该中心点位置信息匹配的特征位置处的第三特征值，将选取的第三特征值确定为用户的检测框对应的宽度，得到了用户的检测框的尺寸信息。
上述实施方式中，通过对目标通道特征图进行最大池化处理，能够较准确的从多个池化值中确定属于用户中心点的目标池化值，进而较精确的确定每个用户的检测框的中心点位置信息。
在步骤三中，可以基于中间特征图、至少一个用户中每个用户的检框信息、和训练后的神经网络中的姿态分类分支网络，确定每个用户的当前坐姿。
一种可选实施方式中，基于中间特征图、至少一个用户中每个用户的检测框信息，确定每个用户的当前坐姿，包括：
C1，对中间特征图进行至少一次第二卷积处理，生成中间特征图对应的N通道的分类特征图；其中，分类特征图的通道数N与坐姿类别的数量一致，N通道的分类特征图中的每个通道特征图对应一种坐姿类别，N为大于1的正整数；
C2，针对每个用户，基于用户的检测框信息指示的中心点位置信息，从分类特征图中提取与中心点位置信息匹配的特征位置处的N个特征值；从N个特征值中选取最大特征值，将分类特征图中，与最大特征值对应的通道特征图的坐姿类别，确定为用户的当前坐姿。
这里，可以对中间特征图进行至少一次第二卷积处理，生成中间特征图对应的分类特征图，该分类特征图的通道数为N，该N的值与坐姿类别的数量一致，且N通道的分类特征图中的每个通道特征图对应一种坐姿类别。比如，若坐姿类别包括：正常坐姿、身体前倾、身体后倾，则此时N的值为3；若坐姿类别包括：正常坐姿、身体前倾、身体后倾、和身体横卧，则此时N的值为4。其中，坐姿类别可以根据实际需要进行设置，此处仅为示例性说明。
进一步的，针对每个用户，可以基于用户的检框信息指示的中心点位置信息，从分类特征图中提取与中心点位置信息匹配的特征位置处的N个特征值，从N个特征值中选取最大特征值，将分类特征图中，与该最大特征值对应的通道特征图的坐姿类别，确定为该用户的当前坐姿。
比如，针对用户A，分类特征图为3通道的特征图，分类特征图中的第一通道特征图对应的坐姿类别可以为正常坐姿、第二通道特征图对应的坐姿类别可以为身体前倾、第三通道特征图对应的坐姿类别可以为身体侧倾，从分类特征图中提取得到3个特征值，即0.8、0.5、0.2，则将分类特征图中，与0.8对应的通道特征图(分类特征图中的第一通道特征图)的坐姿类别(正常坐姿)确定为用户A的当前坐姿。
这里，通过对中间特征图进行至少一次第二卷积处理，生成分类特征图，再结合生成的每个用户的中心点位置信息，可以较准确的确定每个用户的当前坐姿。
作为一可选实施方式，每个用户的当前坐姿为基于训练的神经网络确定的。可以通过下述步骤对神经网络进行训练：
D1，获取场景图像样本，其中，场景图像样本对应有标注数据；
D2，基于神经网络中的骨干网络、和场景图像样本，生成场景图像样本对应的样本特征图；
D3，基于神经网络中的多个分支网络、和样本特征图，生成场景图像样本对应的多种预测数据；其中，每个分支网络对应一种预测数据；
D4，基于多种预测数据、以及场景图像样本对应的标注数据，对神经网络进行训练。
上述方式中，通过设置多个分支网络对样本特征图进行处理，生成场景图像样本对应的多种预测数据，通过生成的多种预测数据对神经网络进行训练时，可以提高训练的神经网络的精准度。
这里，标注数据可以包括标注关键点位置信息、标注检测框信息、标注坐姿类别。
可以将场景图像样本输入至待训练的神经网络中，待训练的神经网络中的骨干网络对场景图像样本进行至少一次卷积处理，生成场景图像样本对应的样本特征图。
然后分别将样本特征图输入至待训练的神经网络中的多个分支网络中，生成场景图像样本对应的多种预测数据，其中，每个分支网络对应一种预测数据。
其中，预测数据可以包括预测检测框信息、预测关键位置点信息、预测坐姿类别。
在预测数据包括预测检测框信息时，则神经网络的分支网络中包括检测框检测分支网络，将样本特征图输入至神经网络中的检测框检测分支网络，生成场景图像样本中包括的至少一个用户的预测检测框信息。
在预测数据包括预测关键位置点信息时，则神经网络的分支网络中包括关键点检测分支网络，将样本特征图输入至神经网络中的关键点检测分支网络，生成场景图像样本中包括的每个用户的多个预测关键位置点信息。
在预测数据包括预测检测框信息和预测坐姿类别时，则神经网络的分支网络中包括检测框检测分支网络、和姿态分类分支网络，将样本特征图输入至神经网络中的关键点检测分支网络，得到分类特征图，并基于至少一个用户的预测检测框信息和该分类特征图，生成场景图像样本中包括的每个用户的预测坐姿类别。
上述实施方式下，通过设置多个分支网络对样本特征图进行处理，得到多种预测数据，通过多种预测数据对神经网络进行训练，使得训练后的神经网路的精准度较高。
在多种预测数据包括预测检测框信息、预测关键位置点信息、和预测坐姿类别时，可以基于预测检测框信息和标注检测框信息，生成第一损失值；基于预测关键位置点信息和标注关键位置点信息，生成第二损失值；基于预测坐姿类别和标注坐姿类别，生成第三损失值，基于第一损失值、第二损失值和第三损失值，对神经网络进行训练，得到训练后的神经网络。
针对S103：
在得到当前场景图像中的每个用户的当前坐姿之后，可以根据每个用户的当前坐姿，确定该用户的当前坐姿是否属于异常坐姿，异常坐姿类型是指存在安全风险的坐姿类型。在确定该用户的当前坐姿属于异常坐姿时，发出警示信息。
一种可选实施方式中，异常坐姿类型可以包括以下至少一种：用户身体前倾的第一异常坐姿、用户身体侧倾的第二异常坐姿、用户身体横躺的第三异常坐姿。其中，异常坐姿类型还可以包括其他存在安全风险的坐姿，此处仅为示例性说明。
示例性的，若用户的当前坐姿为正常坐姿，则确定该用户不属于异常坐姿；若用户的当前坐姿为身体前倾，则确定该用户属于异常坐姿。
在上述实施方式下，通过定义多种异常坐姿，使得异常坐姿类型较丰富，进而可以更全面的覆盖多种异常坐姿，保障用户的乘车的安全性。
这里，在确定了用户的当前坐姿属于异常坐姿类型时，可以基于用户当前坐姿所属的异常坐姿类型，生成警示信息，其中，该警示信息可以以语音的形式播放。比如用户A当前坐姿为身体前倾时，生成的警示信息可以为“危险，身体前倾，请调整坐姿”。
在具体实施时，还可以为车舱的每个位置进行标识，比如，车舱内的每个位置的标识可以为：副驾驶位置、左后位置、右后位置等，并基于当前场景图像确定每个用户对应的位置标识，并在确定用户当前坐姿属于异常坐姿类型的情况下，可以基于用户当前坐姿所属的异常坐姿类型、和坐姿标识，生成警示信息。比如，在用户A当前坐姿为身体前倾，该用户A对应的位置标识为副驾驶位置，则生成的警示信息可以为“副驾驶位置上的乘客身体前倾，请调整坐姿”。
这里，在确定了用户当前坐姿属于异常坐姿类型时，可以基于用户当前坐姿所属的异常坐姿类型，生成警示信息，以便对用户进行警示，降低用户发生危险的概率。
本领域技术人员可以理解，在具体实施方式的上述方法中，各步骤的撰写顺序并不意味着严格的执行顺序而对实施过程构成任何限定，各步骤的具体执行顺序应当以其功能和可能的内在逻辑确定。
基于相同的构思，本公开实施例还提供了一种异常坐姿识别装置，参见图3所示，为本公开实施例提供的异常坐姿识别装置的架构示意图，包括获取模块301、识别模块302、确定模块303，具体的：
获取模块301，用于获取车舱内的当前场景图像；
识别模块302，用于基于所述当前场景图像，识别位于所述车舱内的至少一个用户的当前坐姿；
确定模块303，用于在用户的当前坐姿属于异常坐姿类型的情况下，发出警示信息；其中，所述异常坐姿类型是指存在安全风险的坐姿类型。
一种可能的实施方式中，所述异常坐姿类型包括以下至少一种：
用户身体前倾的第一异常坐姿、用户身体侧倾的第二异常坐姿、用户身体横躺的第三异常坐姿。
一种可能的实施方式中，所述识别模块302，在基于所述当前场景图像，识别位于所述车舱内的至少一个用户的当前坐姿时，用于：
基于所述当前场景图像，确定所述当前场景图像中至少一个用户的关键点信息；
基于各个用户的关键点信息与设置的参考物之间的相对位置关系，确定位于所述车舱内的各个用户的当前坐姿。
一种可能的实施方式中，所述关键点信息包括头部关键点信息；所述识别模块302，在基于各个用户的关键点信息与设置的参考物之间的相对位置关系，确定位于所述车舱内的各个用户的当前坐姿时，用于：
若一个用户的所述头部关键点信息低于设置的方向盘下沿线，确定该用户的当前坐姿为用户身体前倾的第一异常坐姿。
一种可能的实施方式中，所述关键点信息包括左肩关键点信息、和右肩关键点信息；所述识别模块302，在基于各个用户的关键点信息与设置的参考物之间的相对位置关系，确定位于所述车舱内的各个用户的当前坐姿时，用于：
若一个用户的左肩关键点与右肩关键点之间的连线、与设置的座椅参考面之间的角度大于设置的第一角度阈值，确定该用户的当前坐姿为用户身体侧倾的第二异常坐姿。
一种可能的实施方式中，所述关键点信息包括脖子关键点信息、和胯部关键点信息；所述识别模块302，在基于各个用户的关键点信息与设置的参考物之间的相对位置关系，确定位于所述车舱内的各个用户的当前坐姿时，用于：
若一个用户的脖子关键点与胯部关键点之间的连线、与设置的水平参考面之间的角度小于设置的第二角度阈值，确定该用户的当前坐姿为用户身体横躺的第三异常坐姿。
一种可能的实施方式中，所述识别模块302，在基于所述当前场景图像，识别位于所述车舱内的至少一个用户的当前坐姿时，用于：
基于所述当前场景图像，生成所述当前场景图像对应的中间特征图；
基于所述中间特征图，生成位于所述车舱内的至少一个用户中每个用户的检测框信息；
基于所述中间特征图、和所述至少一个用户中每个用户的检测框信息，确定每个用户的当前坐姿。
一种可能的实施方式中，所述识别模块302，在基于所述中间特征图，生成位于所述车舱内的至少一个用户中每个用户的检测框信息时，用于：
对所述中间特征图进行至少一次第一卷积处理，生成所述中间特征图对应的通道特征图；
基于所述通道特征图中表征位置的目标通道特征图，生成位于所述车舱内的每个用户的检测框的中心点位置信息。
一种可能的实施方式中，所述识别模块302，在基于所述通道特征图中表征位置的目标通道特征图，生成位于所述车舱内的每个用户的检测框的中心点位置信息时，用于：
利用激活函数对所述表征位置的目标通道特征图中每个特征值进行特征值转换处理，生成转换后的目标通道特征图；
按照预设的池化尺寸和池化步长，对转换后的目标通道特征图进行最大池化处理，得到多个池化值以及与多个池化值中的每个池化值对应的位置索引；所述位置索引用于标识所述池化值在所述转换后的目标通道特征图中的位置；
基于所述每个池化值以及池化阈值，从多个池化值中确定属于至少一个用户的检测框的中心点的目标池化值；
基于所述目标池化值对应的位置索引，生成位于所述车舱内的每个用户的检测框的中心点位置信息。
一种可能的实施方式中，所述识别模块302，在基于所述中间特征图、所述至少一个用户中每个用户的检测框信息，确定每个用户的当前坐姿时，用于：
对所述中间特征图进行至少一次第二卷积处理，生成所述中间特征图对应的N通道的分类特征图；其中，所述分类特征图的通道数N与坐姿类别的数量一致，所述N通道的分类特征图中的每个通道特征图对应一种坐姿类别，N为大于1的正整数；
针对每个用户，基于所述用户的检测框信息指示的中心点位置信息，从所述分类特征图中提取与所述中心点位置信息匹配的特征位置处的N个特征值；从N个特征值中选取最大特征值，将分类特征图中，与最大特征值对应的通道特征图的坐姿类别，确定为所述用户的当前坐姿。
在一些实施例中，本公开实施例提供的装置具有的功能或包含的模板可以用于执行上文方法实施例描述的方法，其具体实现可以参照上文方法实施例的描述，为了简洁，这里不再赘述。
基于同一技术构思，本公开实施例还提供了一种电子设备。参照图4所示，为本公开实施例提供的电子设备的结构示意图，包括处理器401、存储器402、和总线403。其中，存储器402用于存储执行指令，包括内存4021和外部存储器4022；这里的内存4021也称内存储器，用于暂时存放处理器401中的运算数据，以及与硬盘等外部存储器4022交换的数据，处理器401通过内存4021与外部存储器4022进行数据交换，当电子设备400运行时，处理器401与存储器402之间通过总线403通信，使得处理器401在执行以下指令：
获取车舱内的当前场景图像；
基于所述当前场景图像，识别位于所述车舱内的至少一个用户的当前坐姿；
在用户的当前坐姿属于异常坐姿类型的情况下，发出警示信息；其中，所述异常坐姿类型是指存在安全风险的坐姿类型。
此外，本公开实施例还提供一种计算机可读存储介质，该计算机可读存储介质上存储有计算机程序，该计算机程序被处理器运行时执行上述方法实施例中所述的异常坐姿识别方法的步骤。
本公开实施例所提供的异常坐姿识别方法的计算机程序产品，包括存储了程序代码的计算机可读存储介质，所述程序代码包括的指令可用于执行上述方法实施例中所述的异常坐姿识别方法的步骤，具体可参见上述方法实施例，在此不再赘述。
所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统和装置的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。在本公开所提供的几个实施例中，应该理解到，所揭露的系统、装置和方法，可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，又例如，多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些通信接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外，在本公开各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。
所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个处理器可执行的非易失的计算机可读取存储介质中。基于这样的理解，本公开的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本公开各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(Read-OnlyMemory，ROM)、随机存取存储器(Random Access Memory，RAM)、磁碟或者光盘等各种可以存储程序代码的介质。
以上仅为本公开的具体实施方式，但本公开的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本公开揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本公开的保护范围之内。因此，本公开的保护范围应以权利要求的保护范围为准。

Claims (13)

1.一种异常坐姿识别方法，其特征在于，包括：
获取车舱内的当前场景图像；
基于所述当前场景图像，识别位于所述车舱内的至少一个用户的当前坐姿；
在用户的当前坐姿属于异常坐姿类型的情况下，发出警示信息；其中，所述异常坐姿类型是指存在安全风险的坐姿类型。
2.根据权利要求1所述的方法，其特征在于，所述异常坐姿类型包括以下至少一种：
用户身体前倾的第一异常坐姿、用户身体侧倾的第二异常坐姿、用户身体横躺的第三异常坐姿。
3.根据权利要求2所述的方法，其特征在于，基于所述当前场景图像，识别位于所述车舱内的至少一个用户的当前坐姿：
基于所述当前场景图像，确定所述当前场景图像中至少一个用户的关键点信息；
基于各个用户的关键点信息与设置的参考物之间的相对位置关系，确定位于所述车舱内的各个用户的当前坐姿。
4.根据权利要求3所述的方法，其特征在于，所述关键点信息包括头部关键点信息；基于各个用户的关键点信息与设置的参考物之间的相对位置关系，确定位于所述车舱内的各个用户的当前坐姿，包括：
若一个用户的所述头部关键点信息低于设置的方向盘下沿线，确定该用户的当前坐姿为用户身体前倾的第一异常坐姿。
5.根据权利要求3所述的方法，其特征在于，所述关键点信息包括左肩关键点信息、和右肩关键点信息；基于各个用户的关键点信息与设置的参考物之间的相对位置关系，确定位于所述车舱内的各个用户的当前坐姿，包括：
若一个用户的左肩关键点与右肩关键点之间的连线、与设置的座椅参考面之间的角度大于设置的第一角度阈值，确定该用户的当前坐姿为用户身体侧倾的第二异常坐姿。
6.根据权利要求3所述的方法，其特征在于，所述关键点信息包括脖子关键点信息、和胯部关键点信息；基于各个用户的关键点信息与设置的参考物之间的相对位置关系，确定位于所述车舱内的各个用户的当前坐姿，包括：
若一个用户的脖子关键点与胯部关键点之间的连线、与设置的水平参考面之间的角度小于设置的第二角度阈值，确定该用户的当前坐姿为用户身体横躺的第三异常坐姿。
7.根据权利要求1所述的方法，其特征在于，基于所述当前场景图像，识别位于所述车舱内的至少一个用户的当前坐姿，包括：
基于所述当前场景图像，生成所述当前场景图像对应的中间特征图；
基于所述中间特征图，生成位于所述车舱内的至少一个用户中每个用户的检测框信息；
基于所述中间特征图、和所述至少一个用户中每个用户的检测框信息，确定每个用户的当前坐姿。
8.根据权利要求7所述的方法，其特征在于，基于所述中间特征图，生成位于所述车舱内的至少一个用户中每个用户的检测框信息，包括：
对所述中间特征图进行至少一次第一卷积处理，生成所述中间特征图对应的通道特征图；
基于所述通道特征图中表征位置的目标通道特征图，生成位于所述车舱内的每个用户的检测框的中心点位置信息。
9.根据权利要求8所述的方法，其特征在于，基于所述通道特征图中表征位置的目标通道特征图，生成位于所述车舱内的每个用户的检测框的中心点位置信息，包括：
利用激活函数对所述表征位置的目标通道特征图中每个特征值进行特征值转换处理，生成转换后的目标通道特征图；
按照预设的池化尺寸和池化步长，对转换后的目标通道特征图进行最大池化处理，得到多个池化值以及与多个池化值中的每个池化值对应的位置索引；所述位置索引用于标识所述池化值在所述转换后的目标通道特征图中的位置；
基于所述每个池化值以及池化阈值，从多个池化值中确定属于至少一个用户的检测框的中心点的目标池化值；
基于所述目标池化值对应的位置索引，生成位于所述车舱内的每个用户的检测框的中心点位置信息。
10.根据权利要求7所述的方法，其特征在于，基于所述中间特征图、和所述至少一个用户中每个用户的检测框信息，确定每个用户的当前坐姿，包括：
对所述中间特征图进行至少一次第二卷积处理，生成所述中间特征图对应的N通道的分类特征图；其中，所述分类特征图的通道数N与坐姿类别的数量一致，所述N通道的分类特征图中的每个通道特征图对应一种坐姿类别，N为大于1的正整数；
针对每个用户，基于所述用户的检测框信息指示的中心点位置信息，从所述分类特征图中提取与所述中心点位置信息匹配的特征位置处的N个特征值；从N个特征值中选取最大特征值，将分类特征图中，与最大特征值对应的通道特征图的坐姿类别，确定为所述用户的当前坐姿。
11.一种异常坐姿识别装置，其特征在于，包括：
获取模块，用于获取车舱内的当前场景图像；
识别模块，用于基于所述当前场景图像，识别位于所述车舱内的至少一个用户的当前坐姿；
确定模块，用于在用户的当前坐姿属于异常坐姿类型的情况下，发出警示信息；其中，所述异常坐姿类型是指存在安全风险的坐姿类型。
12.一种电子设备，其特征在于，包括：处理器、存储器和总线，所述存储器存储有所述处理器可执行的机器可读指令，当电子设备运行时，所述处理器与所述存储器之间通过总线通信，所述机器可读指令被所述处理器执行时执行如权利要求1至10任一所述的异常坐姿识别方法的步骤。
13.一种计算机可读存储介质，其特征在于，该计算机可读存储介质上存储有计算机程序，该计算机程序被处理器运行时执行如权利要求1至10任一所述的异常坐姿识别方法的步骤。
CN202010790210.0A 2020-08-07 2020-08-07 异常坐姿识别方法、装置、电子设备及存储介质 Active CN111931640B (zh)

Priority Applications (5)

Application Number Priority Date Filing Date Title
CN202010790210.0A CN111931640B (zh) 2020-08-07 2020-08-07 异常坐姿识别方法、装置、电子设备及存储介质
JP2021571346A JP2022547246A (ja) 2020-08-07 2020-12-14 非正規着座姿勢の認識方法、装置、電子機器、記憶媒体及びプログラム
PCT/CN2020/136267 WO2022027895A1 (zh) 2020-08-07 2020-12-14 异常坐姿识别方法、装置、电子设备、存储介质及程序
KR1020217039206A KR20220019097A (ko) 2020-08-07 2020-12-14 이상 착석 자세 식별 방법, 장치, 전자 기기, 저장 매체 및 프로그램
US17/536,840 US20220084316A1 (en) 2020-08-07 2021-11-29 Method and electronic device for recognizing abnormal sitting posture, and storage medium

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010790210.0A CN111931640B (zh) 2020-08-07 2020-08-07 异常坐姿识别方法、装置、电子设备及存储介质

Publications (2)

Publication Number Publication Date
CN111931640A true CN111931640A (zh) 2020-11-13
CN111931640B CN111931640B (zh) 2022-06-10

Family

ID=73307054

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010790210.0A Active CN111931640B (zh) 2020-08-07 2020-08-07 异常坐姿识别方法、装置、电子设备及存储介质

Country Status (5)

Country Link
US (1) US20220084316A1 (zh)
JP (1) JP2022547246A (zh)
KR (1) KR20220019097A (zh)
CN (1) CN111931640B (zh)
WO (1) WO2022027895A1 (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112613440A (zh) * 2020-12-29 2021-04-06 北京市商汤科技开发有限公司 一种姿态检测的方法、装置、电子设备及存储介质
CN112712053A (zh) * 2021-01-14 2021-04-27 深圳数联天下智能科技有限公司 一种坐姿信息的生成方法、装置、终端设备及存储介质
CN112733740A (zh) * 2021-01-14 2021-04-30 深圳数联天下智能科技有限公司 一种注意力信息的生成方法、装置、终端设备及存储介质
WO2022027895A1 (zh) * 2020-08-07 2022-02-10 上海商汤临港智能科技有限公司 异常坐姿识别方法、装置、电子设备、存储介质及程序

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11851080B2 (en) * 2021-02-03 2023-12-26 Magna Mirrors Of America, Inc. Vehicular driver monitoring system with posture detection and alert
US20220319045A1 (en) * 2021-04-01 2022-10-06 MohammadSado Lulu System For Posture Detection Using The Camera Of A Hand-Held Device
CN114550099A (zh) * 2022-03-01 2022-05-27 常莫凡 基于数字孪生的综合健康管理系统
KR102513042B1 (ko) * 2022-11-30 2023-03-23 주식회사 알에스팀 버스 안전사고 예방을 위한 이동 감지 시스템
CN115877899B (zh) * 2023-02-08 2023-05-09 北京康桥诚品科技有限公司 一种漂浮舱内的液体控制方法、装置、漂浮舱和介质

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102567743A (zh) * 2011-12-20 2012-07-11 东南大学 基于视频图像的驾驶员姿态自动识别方法
JP2016200910A (ja) * 2015-04-08 2016-12-01 日野自動車株式会社 運転者状態判定装置
CN107730846A (zh) * 2017-10-25 2018-02-23 深圳纳富特科技有限公司 坐姿矫正的提醒方法、装置及计算机可读存储介质
CN109409331A (zh) * 2018-11-27 2019-03-01 惠州华阳通用电子有限公司 一种基于雷达的防疲劳驾驶方法
JP2019034576A (ja) * 2017-08-10 2019-03-07 オムロン株式会社 運転者状態把握装置、運転者状態把握システム、及び運転者状態把握方法
CN109910904A (zh) * 2019-03-22 2019-06-21 深圳市澳颂泰科技有限公司 一种驾驶行为与车辆驾驶姿态识别系统
CN110348335A (zh) * 2019-06-25 2019-10-18 平安科技（深圳）有限公司 行为识别的方法、装置、终端设备及存储介质
CN111301280A (zh) * 2018-12-11 2020-06-19 北京嘀嘀无限科技发展有限公司 一种危险状态识别方法及装置
CN111414780A (zh) * 2019-01-04 2020-07-14 卓望数码技术（深圳）有限公司 一种坐姿实时智能判别方法、系统、设备及存储介质
CN111439170A (zh) * 2020-03-30 2020-07-24 上海商汤临港智能科技有限公司 儿童状态检测方法及装置、电子设备、存储介质

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6372388B2 (ja) * 2014-06-23 2018-08-15 株式会社デンソー ドライバの運転不能状態検出装置
US10318831B2 (en) * 2016-07-21 2019-06-11 Gestigon Gmbh Method and system for monitoring the status of the driver of a vehicle
JP7051526B2 (ja) * 2018-03-26 2022-04-11 本田技研工業株式会社 車両用制御装置
JP7102850B2 (ja) * 2018-03-28 2022-07-20 マツダ株式会社 ドライバ状態判定装置
CN108985259B (zh) * 2018-08-03 2022-03-18 百度在线网络技术（北京）有限公司 人体动作识别方法和装置
CN110956060A (zh) * 2018-09-27 2020-04-03 北京市商汤科技开发有限公司 动作识别、驾驶动作分析方法和装置及电子设备
CN109389068A (zh) * 2018-09-28 2019-02-26 百度在线网络技术（北京）有限公司 用于识别驾驶行为的方法和装置
JP7259324B2 (ja) * 2018-12-27 2023-04-18 株式会社アイシン 室内監視装置
CN110517261A (zh) * 2019-08-30 2019-11-29 上海眼控科技股份有限公司 安全带状态检测方法、装置、计算机设备和存储介质
CN111931640B (zh) * 2020-08-07 2022-06-10 上海商汤临港智能科技有限公司 异常坐姿识别方法、装置、电子设备及存储介质

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102567743A (zh) * 2011-12-20 2012-07-11 东南大学 基于视频图像的驾驶员姿态自动识别方法
JP2016200910A (ja) * 2015-04-08 2016-12-01 日野自動車株式会社 運転者状態判定装置
JP2019034576A (ja) * 2017-08-10 2019-03-07 オムロン株式会社 運転者状態把握装置、運転者状態把握システム、及び運転者状態把握方法
CN107730846A (zh) * 2017-10-25 2018-02-23 深圳纳富特科技有限公司 坐姿矫正的提醒方法、装置及计算机可读存储介质
CN109409331A (zh) * 2018-11-27 2019-03-01 惠州华阳通用电子有限公司 一种基于雷达的防疲劳驾驶方法
CN111301280A (zh) * 2018-12-11 2020-06-19 北京嘀嘀无限科技发展有限公司 一种危险状态识别方法及装置
CN111414780A (zh) * 2019-01-04 2020-07-14 卓望数码技术（深圳）有限公司 一种坐姿实时智能判别方法、系统、设备及存储介质
CN109910904A (zh) * 2019-03-22 2019-06-21 深圳市澳颂泰科技有限公司 一种驾驶行为与车辆驾驶姿态识别系统
CN110348335A (zh) * 2019-06-25 2019-10-18 平安科技（深圳）有限公司 行为识别的方法、装置、终端设备及存储介质
CN111439170A (zh) * 2020-03-30 2020-07-24 上海商汤临港智能科技有限公司 儿童状态检测方法及装置、电子设备、存储介质

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
PRANOTI M.等: "Monitoring Driver Head Postures to Control Risks of Accidents", 《 PROCEDIA COMPUTER SCIENCE》 *
汪民: "《第16届全国遥感技术学术交流大会论文集》", 30 September 2007, 北京：地质出版社 *
王鑫 等: "一种汽车乘员坐姿预警系统的设计", 《西安航空学院学报》 *

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022027895A1 (zh) * 2020-08-07 2022-02-10 上海商汤临港智能科技有限公司 异常坐姿识别方法、装置、电子设备、存储介质及程序
CN112613440A (zh) * 2020-12-29 2021-04-06 北京市商汤科技开发有限公司 一种姿态检测的方法、装置、电子设备及存储介质
CN112712053A (zh) * 2021-01-14 2021-04-27 深圳数联天下智能科技有限公司 一种坐姿信息的生成方法、装置、终端设备及存储介质
CN112733740A (zh) * 2021-01-14 2021-04-30 深圳数联天下智能科技有限公司 一种注意力信息的生成方法、装置、终端设备及存储介质
CN112712053B (zh) * 2021-01-14 2024-05-28 深圳数联天下智能科技有限公司 一种坐姿信息的生成方法、装置、终端设备及存储介质
CN112733740B (zh) * 2021-01-14 2024-05-28 深圳数联天下智能科技有限公司 一种注意力信息的生成方法、装置、终端设备及存储介质

Also Published As

Publication number Publication date
JP2022547246A (ja) 2022-11-11
US20220084316A1 (en) 2022-03-17
KR20220019097A (ko) 2022-02-15
WO2022027895A1 (zh) 2022-02-10
CN111931640B (zh) 2022-06-10

Similar Documents

Publication Publication Date Title
CN111931640B (zh) 异常坐姿识别方法、装置、电子设备及存储介质
CN108764185B (zh) 一种图像处理方法及装置
CN111439170B (zh) 儿童状态检测方法及装置、电子设备、存储介质
CN110826370B (zh) 车内人员的身份识别方法、装置、车辆及存储介质
JP2020123352A (ja) 人の状態認識を基盤として身体部位の長さ及び顔情報を使用して乗客の身長及び体重を予測する方法及び装置
CN111931639B (zh) 驾驶员行为检测方法、装置、电子设备及存储介质
JP2022553779A (ja) キャビン内の環境の調整方法及び装置
US10229311B2 (en) Face template balancing
KR20220019105A (ko) 안전벨트 착용 검출 방법, 장치, 전자 기기, 저장 매체 및 프로그램
KR101961462B1 (ko) 객체 인식 방법 및 장치
JP2023542058A (ja) 相補的分類器を使用して異常を検出するための異常検出器
CN115331205A (zh) 一种云边协同的驾驶员疲劳检测系统
CN113947209A (zh) 基于云边协同的集成学习方法、系统及存储介质
CN109165607B (zh) 一种基于深度学习的驾驶员手持电话检测方法
CN112541425B (zh) 情绪检测方法、装置、介质及电子设备
US11138755B2 (en) Analysis apparatus, analysis method, and non transitory storage medium
CN111259753A (zh) 人脸关键点处理方法及装置
CN117894083B (zh) 一种基于深度学习的图像识别方法和系统
CN116824649A (zh) 司机脸部识别、司机身份确定方法、装置、设备以及介质
CN113469048A (zh) 一种乘员状态确定方法、装置、计算机设备及存储介质
CN115810027A (zh) 人脸跟踪方法、装置、电子设备及存储介质
CN115713803A (zh) 一种基于人眼的身份识别方法及系统
CN116994230A (zh) 驾驶员情绪识别方法、装置、设备及存储介质
CN115657926A (zh) 虚拟键盘位置确定方法、装置、设备、介质及车辆
KR20220001996A (ko) 탑승자 상태 판단을 위한 가상 데이터베이스 및 정답지 생성 시스템 및 그 방법

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant