CN111476114A - 疲劳检测方法、装置、终端设备及存储介质 - Google Patents

疲劳检测方法、装置、终端设备及存储介质 Download PDF

Info

Publication number
CN111476114A
CN111476114A CN202010203361.1A CN202010203361A CN111476114A CN 111476114 A CN111476114 A CN 111476114A CN 202010203361 A CN202010203361 A CN 202010203361A CN 111476114 A CN111476114 A CN 111476114A
Authority
CN
China
Prior art keywords
information
target object
video
fatigue
audio
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202010203361.1A
Other languages
English (en)
Inventor
袁小薇
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Zhuiyi Technology Co Ltd
Original Assignee
Shenzhen Zhuiyi Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Zhuiyi Technology Co Ltd filed Critical Shenzhen Zhuiyi Technology Co Ltd
Priority to CN202010203361.1A priority Critical patent/CN111476114A/zh
Publication of CN111476114A publication Critical patent/CN111476114A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/174—Facial expression recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/044—Recurrent networks, e.g. Hopfield networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/46—Extracting features or characteristics from the video content, e.g. video fingerprints, representative shots or key frames
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
    • G10L25/48—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use
    • G10L25/51—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use for comparison or discrimination
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/07—Target detection

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Data Mining & Analysis (AREA)
  • Multimedia (AREA)
  • Computational Linguistics (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Software Systems (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Human Computer Interaction (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Psychiatry (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Social Psychology (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Signal Processing (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Acoustics & Sound (AREA)
  • Image Analysis (AREA)

Abstract

本申请实施例提供了一种疲劳检测方法、装置、终端设备及存储介质。该方法包括：获取音视频采集装置采集的包括目标对象的视频；对视频进行识别，获得目标对象的关节位置信息；根据关节位置信息计算得到目标对象的姿态信息；基于姿态信息，获得目标对象的疲劳度信息；基于疲劳度信息，确定对目标对象的处理方式。本申请通过终端设备的音视频采集装置采集目标对象的视频，根据视频检测目标对象的姿态信息，进而对目标对象的疲劳程度进行监测，使得可以无需专职人员对装配工人的状态进行监测，从而实现低成本实时监控装配工人的工作状态。

Description

疲劳检测方法、装置、终端设备及存储介质
技术领域
本申请涉及人机交互技术领域，更具体地，涉及一种疲劳检测方法、装置、终端设备及存储介质。
背景技术
在装配生产中，疲劳作业是导致事故的原因之一。装配线工人疲劳使得注意力下降，思维和运动减慢，从而降低产品质量，在特殊装配位置还易出现安全事故，因此关于有效判别装配线工人是否疲劳具有重要的研究意义。但目前的检测方法需要专职人员定时检测和查看，耗费了大量的人力成本，同时由于只能在短暂的时间内查看，常常会出现检测结果不准确的问题。
发明内容
本申请实施例提出了一种疲劳检测方法、装置、终端设备及存储介质，以解决上述问题。
第一方面，本申请实施例提供了一种疲劳检测方法，所述方法包括：获取所述音视频采集装置采集的包括目标对象的视频；对所述视频进行识别，获得所述目标对象的关节位置信息；根据所述关节位置信息计算得到所述目标对象的姿态信息；基于所述姿态信息，获得所述目标对象的疲劳度信息；基于所述疲劳度信息，确定对所述目标对象的处理方式。
可选地，所述对所述视频进行识别，获得所述目标对象的关节位置信息，包括：对所述视频进行识别，获取所述视频中的图像序列；将所述图像序列输入预先训练的机器学习模型，获得由所述预先训练的机器学习模型输出的人体关键点的坐标信息，作为所述目标对象的关节位置信息。
可选地，所述根据所述关节位置信息计算得到所述目标对象的姿态信息，包括：根据所述关节位置信息，计算得到所述目标对象的姿态向量；基于所述姿态向量确定所述目标对象的姿态信息。
可选地，所述基于所述姿态信息，获得所述目标对象的疲劳度信息，包括：判断所述姿态信息是否符合标准姿态信息；当所述姿态信息不符合标准姿态信息时，确定所述目标对象处于疲劳状态；所述基于所述疲劳度信息，确定对所述目标对象的处理方式，包括：当所述目标对象处于疲劳状态时，输出提示信息，以提示所述目标对象进行休息。
可选地，所述基于所述姿态信息，获得所述目标对象的疲劳度信息，包括：获取所述目标对象保持所述姿态信息不变的持续时间；基于所述姿态信息以及所述持续时间，获得所述目标对象的疲劳度信息。
可选地，所述基于所述姿态信息，获得所述目标对象的疲劳度信息，包括：对所述视频进行识别，获得所述目标对象的表情信息；基于所述姿态信息及所述表情信息，获得所述目标对象的疲劳度信息。
可选地，所述基于所述疲劳度信息，确定对所述目标对象的处理方式，包括：基于所述疲劳度信息，获取所述疲劳度信息对应的交互音频信息；向所述目标对象输出所述交互音频信息。
可选地，所述方法还包括：基于所述视频获取所述目标对象的音频信息；对所述音频信息进行识别，获取与所述音频信息对应的答复信息；输出针对所述音频信息的答复信息。
可选地，所述对所述音频信息进行识别，获取与所述音频信息为动作确认信息时，获取当前时间所述目标对象的姿态信息；将所述姿态信息与标准姿态信息进行匹配，得到匹配结果；获取并输出与所述匹配结果对应的答复信息。
可选地，所述基于所述疲劳度信息，确定对所述目标对象的处理方式，包括：当所述疲劳度信息达到预警疲劳度信息时，关闭所述目标对象对应的机器。
第二方面，本申请实施例提供了一种疲劳检测装置，该装置包括：视频获取模块，用于获取所述音视频采集装置采集的包括目标对象的视频；视频识别模块，用于对所述视频进行识别，获得所述目标对象的关节位置信息；信息计算模块，用于根据所述关节位置信息计算得到所述目标对象的姿态信息；信息获得模块，用于基于所述姿态信息，获得所述目标对象的疲劳度信息；方式确定模块，用于基于所述疲劳度信息，确定对所述目标对象的处理方式。
可选地，所述视频识别模块包括：图像获取子模块，用于对所述视频进行识别，获取所述视频中的图像序列；信息获取子模块，用于将所述图像序列输入至预先训练的机器学习模型，获得由所述预先训练的机器学习模型输出的人体关键点的坐标信息，作为目标对象的关节位置信息。
可选地，所述信息计算模块包括：向量计算子模块，用于根据所述关节位置信息，计算得到所述目标对象的姿态向量；信息确定子模块，用于基于所述姿态向量确定所述目标对象的姿态信息。
可选地，所述信息获得模块包括：信息判断子模块，用于判断所述姿态信息是否符合标准姿态信息；状态确定子模块，用于当所述姿态信息不符合标准姿态信息时，确定所述目标对象处于疲劳状态；所述方式确定模块包括：信息输出子模块，用于当所述目标对象处于疲劳状态时，输出提示信息，以提示所述目标对象进行休息。
可选地，所述信息获得模块还包括：时间获取子模块，用于获取所述目标对象保持所述姿态信息不变的持续时间；第一信息获得子模块，用于基于所述姿态信息以及所述持续时间，获得所述目标对象的疲劳度信息。
可选地，所述信息获得模块还包括：表情信息获得子模块，用于对所述视频进行识别，获得所述目标对象的表情信息；第二信息获得子模块，用于基于所述姿态信息及所述表情信息，获得所述目标对象的疲劳度信息。
可选地，所述方式确定模块还包括：音频信息获取子模块，用于基于所述疲劳度信息，获取所述疲劳度信息对应的交互音频信息；音频信息输出子模块，用于向所述目标对象输出所述交互音频信息。
可选地，所述疲劳检测装置还包括：音频信息获取模块，用于基于所述视频获取所述目标对象的音频信息；音频信息识别模块，用于对所述音频信息进行识别，获取与所述音频信息对应的答复信息；答复信息输出模块，用于输出针对所述音频信息的答复信息。
可选地，所述音频信息识别模块包括：音频信息识别子模块，用于对所述音频信息进行识别；姿态信息获取子模块，用于当识别到所述音频信息为动作确认信息时，获取当前时间所述目标对象的姿态信息；信息匹配子模块，用于将所述姿态信息与标准姿态信息进行匹配，得到匹配结果；答复信息输出子模块，用于获取并输出与所述匹配结果对应的答复信息。
可选地，方式确定模块还包括：机器关闭子模块，用于当所述疲劳度信息达到预警疲劳度信息时，关闭所述目标对象对应的机器。
第三方面，本申请实施例提供了一种终端设备，包括存储器和处理器，所述存储器耦接到所述处理器，所述存储器存储指令，当所述指令由所述处理器执行时所述处理器执行上述方法。
第四方面，本申请实施例提供了一种计算机可读取存储介质，该计算机可读取存储介质中存储有程序代码，该程序代码可被处理器调用执行如上述第一方面所述的方法。
本申请实施例提供了一种疲劳检测方法、装置、终端设备及存储介质。获取音视频采集装置采集的包括目标对象的视频；对视频进行识别，获得目标对象的关节位置信息；根据关节位置信息计算得到目标对象的姿态信息；基于姿态信息，获得目标对象的疲劳度信息；基于疲劳度信息，确定对目标对象的处理方式。本申请通过终端设备的音视频采集装置采集目标对象的视频，根据视频检测目标对象的姿态信息，进而对目标对象的疲劳程度进行监测，使得可以无需专职人员对装配工人的状态进行监测，从而实现低成本实时监控装配工人的工作状态。
附图说明
为了更清楚地说明本申请实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1示出了一种适用于本申请实施例的应用环境示意图；
图2示出了本申请实施例提供的疲劳检测方法的流程示意图；
图3示出了本申请实施例提供的一疲劳检测方法的流程示意图；
图4示出了本申请实施例提供的另一疲劳检测方法的流程示意图；
图5示出了本申请实施例提供的又一疲劳检测方法的流程示意图；
图6示出了本申请实施例提供的再一疲劳检测方法的流程示意图；
图7示出了本申请实施例提供的还一疲劳检测方法的流程示意图；
图8示出了本申请实施例提供的又再一疲劳检测方法的流程示意图；
图9示出了本申请实施例提供的又还一疲劳检测方法的流程示意图；
图10示出了本申请实施例提供的再又一疲劳检测方法的流程示意图；
图11示出了本申请实施例提供的再还一疲劳检测方法的流程示意图；
图12示出了本申请实施例提供的疲劳检测装置的结构框图；
图13示出了本申请实施例的用于执行根据本申请实施例的疲劳检测方法的终端设备的结构框图；
图14示出了本申请实施例的用于保存或者携带实现根据本申请实施例的疲劳检测方法的程序代码的存储单元。
具体实施方式
下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
在装配生产中，疲劳作业是导致事故的原因之一。装配线工人疲劳使得注意力下降，思维和运动减慢，从而降低产品质量，在特殊装配位置还易出现安全事故，因此关于有效判别装配线工人是否疲劳具有重要的研究意义。
目前的检测方法是传统的人工检视，比如安排专人到装配现场或使用监控摄像头观察装配工人的工作、观察装配工人的状态来判断装配工人是否疲劳。但目前的检测方法需要专职人员定时检测和查看，耗费了大量的人力成本，同时由于只能在短暂的时间内查看，常常会出现检测结果不准确的问题。
为了解决上述问题，发明人提出了本申请实施例中的疲劳检测方法、装置、终端设备及存储介质，通过终端设备的音视频采集装置采集目标对象的视频，根据视频检测目标对象的姿态信息，进而对目标对象的疲劳程度进行监测，使得可以无需专职人员对装配工人的状态进行监测，从而实现低成本实时监控装配工人的工作状态。
为便于更好的理解本申请实施例提供的疲劳检测方法、装置、终端设备及存储介质，下面先对适用于本申请实施例的应用环境进行描述。
请参阅图1，图1示出了一种适用于本申请实施例的应用环境示意图。本申请实施例提供的疲劳检测方法可以应用于如图1所示的多态交互系统10。多态交互系统10包括终端设备100以及服务器200，服务器200与终端设备100通信连接。其中，服务器200可以是传统服务器，也可以是云端服务器，在此不作具体限定。
其中，终端设备100可以包括但不限于智能手机、平板电脑、膝上型便携计算机、台式计算机和可穿戴式电子设备等。终端设备100可以包括音视频采集装置，其中，音视频采集装置中可以包括麦克风和摄像头等。
在一些实施方式中，终端设备100上可以安装有客户端应用程序，用户可以基于客户端应用程序(例如应用程序(application，APP)、微信小程序等)与服务器200进行通信。具体的，服务器200上安装有对应的服务端应用程序，用户可以基于客户端应用程序在服务200注册一个用户账号，并基于该用户账号与服务器200进行通信，例如用户在客户端应用程序登录用户账号，并基于该用户账号通过客户端应用程序进行输入，可以输入文字信息或语音信息等，客户端应用程序接收到用户输入的信息后，可以将该信息发送至服务器200，使得服务器200可以接收该信息并进行处理及存储，服务器200还可以接收该信息并根据该信息返回一个对应的输出信息至终端设备100。
在一些实施方式中，对采集到的用户信息进行处理的装置也可以设置于终端设备100上，使得终端设备100无需依赖与服务器200建立通信即可实现与用户的交互，此时多态交互系统10可以只包括终端设备100。
上述的应用环境仅为方便理解所作的示例，可以理解的是，本申请实施例不仅局限于上述应用环境。
下面将通过具体实施例对本申请实施例提供的疲劳检测方法、装置、终端设备及存储介质进行详细说明。
请参阅图2，图2示出了本申请实施例提供的疲劳检测方法的流程示意图。本实施例提供的疲劳检测方法可以应用于具有音视频采集装置的终端设备，终端设备可以是智能手机、平板电脑、穿戴式智能终端等电子设备。
在具体的实施例中，疲劳检测方法可应用于如图12所示的疲劳检测装置1200以及图13所示的终端设备100。下面将针对图2所示的流程进行详细的阐述。上述的疲劳检测方法具体地可以包括以下步骤：
步骤S110：获取音视频采集装置采集的包括目标对象的视频。
在本申请实施例中，可以获取音视频采集装置采集的包括目标对象的视频。其中，音视频采集装置可以包括音频采集模块和视频采集模块，音频采集模块可以包括麦克风等，视频采集模块可以包括摄像头等。进一步地，包括目标对象的视频可以是由音视频采集装置实时采集。在一些实施方式中，包括目标对象的视频可以是仅包括目标对象头部的图像，也可以是包括目标对象头部与手部的图像，也可以是包括目标对象头部与上半身的图像，还可以是包括目标对象全身的图像。在本实施例中，采集到的视频可以是包括目标对象头部与上半身的图像，或包括目标对象全身的图像，也可以是不包括头部，仅包括手部或身体的图像，在此不做限定。
步骤S120：对视频进行识别，获得目标对象的关节位置信息。
在本实施例中，当获取到包括目标对象的视频后，可以对视频进行识别，以获得目标对象的关节位置信息，从而根据关节位置信息检测目标对象的疲劳程度。其中，关节可以包括左手、右手、左手腕、右手腕、左膝盖、右膝盖等，关节位置信息则可以是这些关节的相对位置关系，也可以是这些关节的坐标位置，在此不作限定。
在一些实施方式中，可以利用获取的视频，基于深度学习获得目标对象的关节位置信息。具体地，可以将获取的视频输入已训练的检测模型中，得到该检测模型输出的目标对象的关节位置信息。其中，该检测模型可以是将大量视频作为输入样本，将视频中人物对应的关节位置信息作为输出样本，通过深度学习算法训练得到的。
步骤S130：根据关节位置信息计算得到目标对象的姿态信息。
在本实施例中，可以根据关节位置信息计算得到目标对象的姿态信息。具体地，在一些实施方式中，可以预先设置有关节位置信息与姿态信息的对应关系，因此，可以根据对应关系查找到目标对象的关节位置信息所对应的目标对象的姿态信息。作为一种实施方式，目标对象的关节位置信息可以是包括各个关节之间的相对位置关系，可以查找与该相对位置关系匹配的关节位置信息，将该关节位置信息对应的姿态信息作为目标对象的姿态信息。
在一些实施方式中，也可以将关节位置信息输入预先训练的机器学习模型，输出该机器学习模型输出的姿态信息，其中，该机器学习模型可以是基于大量关节位置信息以及关节位置信息对应的姿态信息的训练样本，通过神经网络训练得到的。
步骤S140：基于姿态信息，获得目标对象的疲劳度信息。
在本实施例中，终端设备可以基于姿态信息，获得目标对象的疲劳度信息。具体地，在一些实施方式中，可以预先设置有标准姿态信息，其中，标准姿态信息可以是系统事先设置的标准的装配动作。因此，可以将目标对象的姿态信息与标准姿态信息进行匹配，根据匹配结果获得目标对象的疲劳度信息。例如，标准姿态信息为左右手腕均与身体呈90度，若目标对象的姿态信息为左右手腕与身体呈85度，则目标对象的姿态信息与标准姿态信息的匹配度较低，可以获得目标对象的疲劳度信息为轻度疲劳；若目标对象的姿态信息为左右手腕与身体呈75度，则目标对象的姿态信息与标准姿态信息的匹配度低，可以获取目标对象的疲劳度信息为中度疲劳。上述举例仅为示例，并不作为限定。
步骤S150：基于疲劳度信息，确定对目标对象的处理方式。
在本实施例中，终端设备可以基于疲劳度信息，确定对目标对象的处理方式。
在一些实施方式中，可以预先建立有疲劳度信息与处理方式的对应关系，例如，当疲劳度较轻时，处理方式可以是对检测对象进行提醒以使检测对象清醒；当疲劳度较重时，处理方式可以是提示检测对象进行休息。当获取到目标对象的疲劳度信息时，可以根据目标对象的疲劳度信息，查找与目标对象的疲劳度信息对应的处理方式，作为对目标对象的处理方式。进一步地，当疲劳度信息表征目标对象不处于疲劳状态时，可以不对目标对象进行处理，也可以对目标对象进行鼓励。
在一些实施方式中，当目标对象的多个姿态信息不符合标准姿态信息时，终端设备可以立马提醒目标对象注意。
上述实施例提供的疲劳检测方法，获取音视频采集装置采集的包括目标对象的视频；对视频进行识别，获得目标对象的关节位置信息；根据关节位置信息计算得到目标对象的姿态信息；基于姿态信息，获得目标对象的疲劳度信息；基于疲劳度信息，确定对目标对象的处理方式。本申请通过终端设备的音视频采集装置采集目标对象的视频，根据视频检测目标对象的姿态信息，进而对目标对象的疲劳程度进行监测，使得可以无需专职人员对装配工人的状态进行监测，从而实现低成本实时监控装配工人的工作状态。
请参阅图3，图3示出了本申请实施例提供的一疲劳检测方法的流程示意图，该方法包括：
步骤S210：获取音视频采集装置采集的包括目标对象的视频。
其中，步骤S210的具体描述请参阅步骤S110，在此不再赘述。
步骤S220：对视频进行识别，获取视频中的图像序列。
在本实施例中，可以对视频进行识别，获取视频中的图像序列。具体地，可以是通过对视频进行分解，以提取出视频中的图像序列。在一些实施方式中，图像序列可以是从分解的多张视频图像中挑选出包括目标对象的视频图像。例如，将1分钟长度的、30FPS的视频分解为1800张视频图像(1分钟*60秒/分钟*30帧/秒)后，提取包含有目标对象的视频图像。
步骤S230：将图像序列输入预先训练的机器学习模型，获得由预先训练的机器学习模型输出的人体关键点的坐标信息，作为目标对象的关节位置信息。
在本申请实施例中，机器学习模型，可以是基于大量图像序列以及图像序列对应的人体关键点的坐标信息的训练样本，通过神经网络训练得到的。可以理解的是，机器学习模型，是用于将图像序列转换为对应的人体关键点的坐标信息的模型。通过将之前获取的图像序列输入机器学习模型，即可由机器学习模型输出人体关键点的坐标信息。进一步地，可以将获得的人体关键点的坐标信息作为目标对象的关节位置信息。其中，人体关键点是目标对象上具有明显视觉特征的各个关键点，例如，左眼关键点、右眼关键点、左耳关键点、右耳关键点、鼻子关键点、颈部关键点、左肩关键点、右肩关键点、左手肘关键点、右手肘关键点、左手腕关键点、右手腕关键点、左胯部关键点、右胯部关键点、左膝盖关键点、右膝盖关键点、左脚踝关键点以及右脚踝关键点。
步骤S240：根据关节位置信息计算得到目标对象的姿态信息。
步骤S250：基于姿态信息，获得目标对象的疲劳度信息。
步骤S260：基于疲劳度信息，确定对目标对象的处理方式。
其中，步骤S240-步骤S260的具体描述请参阅步骤S130-步骤S150，在此不再赘述。
上述实施例提供的疲劳检测方法，获取音视频采集装置采集的包括目标对象的视频；对视频进行识别，获取视频中的图像序列；将图像序列输入预先训练的机器学习模型，获得由预先训练的机器学习模型输出的人体关键点的坐标信息，作为目标对象的关节位置信息；根据关节位置信息计算得到目标对象的姿态信息；基于姿态信息，获得目标对象的疲劳度信息；基于疲劳度信息，确定对目标对象的处理方式。上述实施例通过对视频进行识别，获取视频中的图像序列，将图像序列输入至预先训练的机器学习模型，从而可以获得更准确的关节位置信息，进而更准确的确定目标对象的姿态，提高对目标对象疲劳状态检测的准确度。
请参阅图4，图4示出了本申请实施例提供的另一疲劳检测方法的流程示意图，该方法包括：
步骤S310：获取音视频采集装置采集的包括目标对象的视频。
步骤S320：对视频进行识别，获得目标对象的关节位置信息。
其中，步骤S310-步骤S320的具体描述请参阅步骤S110-步骤S120，在此不再赘述。
步骤S330：根据关节位置信息，计算得到目标对象的姿态向量。
在本实施例中，可以根据关节位置信息，计算得到目标对象的姿态向量。在一些实施方式中，可以基于关节位置信息连接各个关节，并根据关节位置信息计算相连接的两个关节的肢体向量，进而可以根据肢体向量计算得到目标对象的姿态向量。例如，可以根据颈部与左肩的位置信息计算左肩部向量，根据颈部与头部的位置信息计算颈部向量等。可以将多个肢体向量作为目标对象的姿态向量。
步骤S340：基于姿态向量确定目标对象的姿态信息。
在本实施例中，可以基于姿态向量确定目标对象的姿态信息。具体地，在一些实施方式中，可以根据目标对象的姿态向量绘制目标对象的姿态热点图，即按照姿态向量绘制各个关节点以及关节点之间的肢体连线，然后可以根据预设的姿态热点图与姿态信息的对应关系，得到目标对象的姿态热点图对应的目标对象的姿态信息。
在一些实施方式中，也可以通过预先训练的识别模型确定目标对象的姿态信息，其中，该识别模型可以是基于姿态向量与姿态向量对应的姿态信息的大量训练样本，通过神经网络训练得到的。因此，可以将目标对象的姿态向量输入该识别模型中，获得该识别模型输出的姿态信息作为目标对象的姿态信息。
步骤S350：基于姿态信息，获得目标对象的疲劳度信息。
步骤S360：基于疲劳度信息，确定对目标对象的处理方式。
其中，步骤S350-步骤S360的具体描述请参阅步骤S140-步骤S150，在此不再赘述。
上述实施例提供的疲劳检测方法，获取音视频采集装置采集的包括目标对象的视频；对视频进行识别，获得目标对象的关节位置信息；根据关节位置信息，计算得到目标对象的姿态向量；基于姿态向量确定目标对象的姿态信息；基于姿态信息，获得目标对象的疲劳度信息；基于疲劳度信息，确定对目标对象的处理方式。上述实施例通过根据关节位置信息，计算得到目标对象的姿态向量，基于姿态向量确定目标对象的姿态信息，从而可以更准确的确定目标对象的姿态，提高对目标对象疲劳状态检测的准确度。
请参阅图5，图5示出了本申请实施例提供的又一疲劳检测方法的流程示意图，该方法包括：
步骤S410：获取音视频采集装置采集的包括目标对象的视频。
步骤S420：对视频进行识别，获得目标对象的关节位置信息。
步骤S430：根据关节位置信息计算得到目标对象的姿态信息。
其中，步骤S410-步骤S430的具体描述请参阅步骤S110-步骤S130，在此不再赘述。
步骤S440：判断姿态信息是否符合标准姿态信息。
当确定了目标对象的姿态信息后，可以根据姿态信息确定目标对象的疲劳程度。在本实施例中，可以通过判断姿态信息是否符合标准姿态信息来确定目标对象的疲劳程度。具体地，可以将姿态信息与标准姿态信息进行匹配，以判断姿态信息是否符合标准姿态信息。在一些实施方式中，标准姿态信息可以包括多个部位的关系，例如手腕与躯干之间的角度，手肘与躯干之间的角度。可以将目标对象的姿态信息中各个部位的关系与标准姿态信息中各个部位的关系进行比对，以判断姿态信息是否符合标准姿态信息。
步骤S450：当姿态信息不符合标准姿态信息时，确定目标对象处于疲劳状态。
在本实施例中，将姿态信息与标准姿态信息进行比对，当姿态信息不符合标准姿态信息时，可以确定目标对象处于疲劳状态。在一些实施方式中，姿态信息与标准姿态信息完全一致时，可以确定姿态信息符合标准姿态信息，相反则确定姿态信息不符合标准姿态信息，例如，标准姿态信息为大臂与身体呈90度，若目标对象的姿态信息为大臂与身体呈80度，则确定目标对象的姿态信息不符合标准姿态信息。
在一些实施方式中，可以是当姿态信息与标准姿态信息之间的误差在一定范围内时，确定姿态信息符合标准姿态信息，反之则可以确定姿态信息不符合标准姿态信息，例如，标准姿态信息为大臂与身体呈90度，若目标对象的姿态信息为大臂与身体呈88度，目标对象的姿态信息与标准姿态信息之间的误差为2度，误差范围在0-3度之间，则确定目标对象的姿态信息符合标准姿态信息。
在一些实施方式中，当姿态信息不符合标准姿态信息时，可以说明此时目标对象处于疲劳状态。
步骤S460：当目标对象处于疲劳状态，输出提示信息，以提示目标对象进行休息。
在本实施例中，当目标对象处于疲劳状态，可以输出提示信息，以提示目标对象进行休息。在一些实施方式中，输出提示信息可以通过语音形式输出，即终端设备可以输出“您已处于疲劳状态，请休息”的语音，提示目标对象进行休息，也可以通过控制灯闪烁的方式、发出警报的方式等提示目标对象，上述方式仅为示例，在此不作限定。
上述实施例提供的疲劳检测方法，获取音视频采集装置采集的包括目标对象的视频；对视频进行识别，获得目标对象的关节位置信息；根据关节位置信息计算得到目标对象的姿态信息；判断姿态信息是否符合标准姿态信息；当姿态信息不符合标准姿态信息时，确定目标对象处于疲劳状态；当目标对象处于疲劳状态，输出提示信息，以提示目标对象进行休息。上述实施例通过将目标对象的姿态信息与标准姿态信息进行比较，当姿态信息不符合标准姿态信息时，可以提示目标对象进行休息，从而可以很好的对目标对象的工作状态进行监控，以防止目标对象由于疲劳而出现工作事故。
请参阅图6，图6示出了本申请实施例提供的再一疲劳检测方法的流程示意图，该方法包括：
步骤S510：获取音视频采集装置采集的包括目标对象的视频。
步骤S520：对视频进行识别，获得目标对象的关节位置信息。
步骤S530：根据关节位置信息计算得到目标对象的姿态信息。
其中，步骤S510-步骤S530的具体描述请参阅步骤S110-步骤S130，在此不再赘述。
步骤S540：获取目标对象保持姿态信息不变的持续时间。
在本实施例中，在获取目标对象的姿态信息后，还可以获取目标对象保持该姿态信息不变的持续时间，以此更准确的判断目标对象的状态。具体地，在一些实施方式中，当获取目标对象的姿态信息后，可以记录此时的时间，根据采集的目标对象的视频实时检测目标对象，当检测到目标对象的姿态信息发生变化时，可以记录变化时的时间，根据两次记录的时间，得到目标对象保持姿态信息不变的持续时间。
步骤S550：基于姿态信息以及持续时间，获得目标对象的疲劳度信息。
在本实施例中，可以基于姿态信息以及持续时间，获得目标对象的疲劳度信息。在一些实施方式中，可以根据姿态信息以及持续时间与疲劳度信息的映射关系，查找到与目标对象的姿态信息以及持续时间对应的疲劳度信息。例如，当姿态信息为头部与地面呈60度，且保持该姿态信息不变的持续时间为四秒，则可以说明此时目标对象低着头，可以得到目标对象的疲劳度信息为中度疲劳。上述举例仅为示例，在此不作限定。
步骤S560：基于疲劳度信息，确定目标对象的处理方式。
其中，步骤S560的具体描述请参阅步骤S150，在此不再赘述。
上述实施例提供的疲劳检测方法，获取音视频采集装置采集的包括目标对象的视频；对视频进行识别，获得目标对象的关节位置信息；根据关节位置信息计算得到目标对象的姿态信息；获取目标对象保持姿态信息不变的持续时间；基于姿态信息以及持续时间，获得目标对象的疲劳度信息；基于疲劳度信息，确定目标对象的处理方式。上述实施例通过根据姿态信息以及目标对象保持姿态信息不变的持续时间，确定目标对象的疲劳度，从而可以更准确的判断目标对象的状态。
请参阅图7，图7示出了本申请实施例提供的还一疲劳检测方法的流程示意图，该方法包括：
步骤S610：获取音视频采集装置采集的包括目标对象的视频。
步骤S620：对视频进行识别，获得目标对象的关节位置信息。
步骤S630：根据关节位置信息计算得到目标对象的姿态信息。
其中，步骤S610-步骤S630的具体描述请参阅步骤S110-步骤S130，在此不再赘述。
步骤S640：对视频进行识别，获得目标对象的表情信息。
在本实施例中，可以对采集到的视频进行识别，获得目标对象的表情信息，从而根据目标对象的表情信息判断目标对象的状态。
在一些实施方式中，可以通过深度学习技术，获取目标对象的表情信息。作为一种方式，可以将视频输入已训练的表情识别模型，得到该表情识别模型输出的表情信息。具体地，在一些实施方式中，表情识别模型可以预先基于大量视频以及视频中人脸呈现的表情信息的训练样本，通过神经网络训练得到的。训练样本可以包括输入样本及输出样本，输入样本可以包括视频，输出样本可以为视频中人物的表情信息，从而已训练的表情识别模型可以用于根据采集到的视频，输出视频中目标对象的表情信息。
其中，表情识别模型可以采用循环神经网络(recurrent neural network，RNN)模型、卷积神经网络(convolutional neural networks，CNN)模型、双向长短时记忆循环神经网络(bi-directional long short-term memory，BiLSTM)模型、变分自编码器(variational autoencoder，VAE)模型等机器学习模型，在此不做限定。例如，表情识别模型还可以是采用上述机器学习模型的变体或组合等。
步骤S650：基于姿态信息及表情信息，获得目标对象的疲劳度信息。
在本实施例中，可以基于姿态信息及表情信息，获得目标对象的疲劳度信息，从而可以得到更准确的目标对象的疲劳程度。
在一些实施方式中，终端设备在获取到表情信息后，可以通过深度学习技术，获得目标对象的疲劳度信息。作为一种方式，可以通过将姿态信息以及表情信息输入已训练的模型中，得到该模型输出的疲劳度信息。其中，该模型可以是将大量姿态信息以及表情信息作为输入样本，将该姿态信息与表情信息所对应的疲劳度信息作为输出样本，通过深度学习算法训练得到的。
步骤S660：基于疲劳度，确定对目标对象的处理方式。
其中，步骤S660的具体描述请参阅步骤S150，在此不再赘述。
上述实施例提供的疲劳检测方法，获取音视频采集装置采集的包括目标对象的视频；对视频进行识别，获得目标对象的关节位置信息；根据关节位置信息计算得到目标对象的姿态信息；对视频进行识别，获得目标对象的表情信息；基于姿态信息及表情信息，获得目标对象的疲劳度信息；基于疲劳度信息，获得目标对象的疲劳度信息。上述实施例通过获取目标对象的表情信息，根据目标对象的姿态信息以及表情信息，确定目标对象的疲劳度信息，从而可以更准确的判断目标对象的状态。
请参阅图8，图8示出了本申请实施例提供的又再一疲劳检测方法的流程示意图，该方法包括：
步骤S710：获取音视频采集装置采集的包括目标对象的视频。
步骤S720：对视频进行识别，获得目标对象的关节位置信息。
步骤S730：根据关节位置信息计算得到目标对象的姿态信息。
步骤S740：基于姿态信息，获得目标对象的疲劳度信息。
其中，步骤S710-步骤S740的具体描述请参阅步骤S110-步骤S140，在此不再赘述。
步骤S750：基于疲劳度信息，获取疲劳度信息对应的交互音频信息。
在本实施例中，终端设备可以主动通过语音与目标对象进行交互。具体地，终端设备可以基于目标对象的疲劳度信息，获取该疲劳度信息对应的交互音频信息，从而与目标对象进行语音交互。例如，当目标对象处于疲劳状态时，可以及时提醒目标对象进行休息；当目标对象处于正常状态，也可以主动发出语音来鼓励目标对象。
在一些实施方式中，可以预先设置有疲劳度信息与交互答复文本的对应关系，通过查找与目标对象的疲劳度信息对应的交互答复文本，将查找的交互答复文本输入语音合成模型，得到根据交互答复文本合成的交互音频信息，其中，语音合成模型可以是卷积神经网络，该卷积神经网络可以通过卷积核进行特征提取，将与交互答复文本信息对应的音素序列中的各音素与频谱信息、基频信息一一对应，从而生成合成的与交互答复文本信息对应的交互音频信息；语音合成模型也可以是循环神经网络模型，在此不作限定。
步骤S760：向目标对象输出交互音频信息。
在本实施例中，终端设备可以向目标对象输出交互音频信息，其中，可以通过终端设备的喇叭装置向目标对象输出交互音频信息。
上述实施例提供的疲劳检测方法，获取音视频采集装置采集的包括目标对象的视频；对视频进行识别，获得目标对象的关节位置信息；根据关节位置信息计算得到目标对象的姿态信息；基于姿态信息，获得目标对象的疲劳度信息；基于疲劳度信息，获取疲劳度信息对应的交互音频信息；向目标对象输出交互音频信息。上述实施例通过基于疲劳度信息，获取疲劳度信息对应的交互音频信息，即终端设备主动与目标对象通过语音进行交互，从而可以更自然的与目标对象交互，更好的保护目标对象的身心健康。
请参阅图9，图9示出了本申请实施例提供的又还一疲劳检测方法的流程示意图，该方法包括：
步骤S810：基于视频获取目标对象的音频信息。
在本实施例中，可以基于视频获取目标对象的音频信息。在一些实施方式中，可以通过现有的各种视频分解软件对待处理视频进行分解，以得到待处理视频的完整音频流和视频图像序列。
在一些实施方式中，获取到完整音频流后，可以对完整音频流进行去干扰，以获取完整音频流中除干扰音频外的音频片段，作为目标对象的音频信息。其中，干扰音频可以是噪音音频、背景音频、无声音频、其他用户的音频等与目标对象无关的音频。从而可以提取出与终端设备进行对话的目标对象的音频信息。在一些实施方式中，当完整音频流中包括多个用户的声音时，可以从完整音频流中挑选出声音最清晰或者音量最大的用户的声音片段，作为目标对象的音频信息。
步骤S820：对音频信息进行识别，获取与音频信息对应的答复信息。
在本实施例中，终端设备可以对音频信息进行识别，获取与音频信息对应的答复信息。
在一些实施方式中，可以基于语音识别模型对音频信息进行识别，获取对应的交互文本信息，其中，语音识别模型可以采用循环神经网络(Recurrent Neural Network，RNN)模型如长短期记忆网络(Long Short Term Memory，LSTM)，本实施例在此不对所用识别模型进行其他限定和赘述。
在一些实施方式中，可以预先设置问答库，其中，问答库可以是预先配置的包含了多个问答对的数据库，问答对包括预存的交互文本以及与交互文本对应的预存的答复文本。每个交互文本与其匹配的答复文本对应。基于上述识别得到的交互文本可以在问答库中查询并获取与该交互文本对应的答复文本，从而实现针对问答库已经覆盖的用户交互意向，可以给出较为准确的答复。
在一些实施方式中，还可以基于问答库建立问答模型(可以是机器学习模型)，问答模型可以基于大量的问答对训练得到，例如可以将从海量人工客服的沟通记录得到的海量问答对作为训练样本，将用户方的信息作为输入，将客服方的答复作为期望输出，基于机器学习的方法训练得到问答模型，从而通过问答模型获取与交互文本对应的答复文本，实现对于问答库中没有预存的交互文本也可以进行对应的答复，使方案的应用更加智能化。
步骤S830：输出针对音频信息的答复信息。
在本实施例中，可以输出针对音频信息的答复信息。例如，当目标对象觉得身体不舒服的时候，可以主动和终端设备进行沟通，终端设备可以及时通知医护人员等来做出及时的干预。当音频信息为目标对象询问自己的动作是否符合标准时，终端设备还可以检测当前目标对象的动作，并告知目标对象检测结果。
上述实施例提供的疲劳检测方法，基于视频获取目标对象的音频信息；对音频信息进行识别，获取与音频信息对应的答复信息；输出针对音频信息的答复信息。上述实施例通过目标对象主动与终端设备进行语音交互，从而使得目标对象可以主动提供信息，而不是被动的接受监控。
请参阅图10，图10示出了本申请实施例提供的再又一疲劳检测方法的流程示意图，该方法包括：
步骤S910：基于视频获取目标对象的音频信息。
在本实施例中，可以基于视频获取目标对象的音频信息。在一些实施方式中，可以通过现有的各种视频分解软件对待处理视频进行分解，以得到待处理视频的完整音频流和视频图像序列。在一些实施方式中，获取到完整音频流后，可以对完整音频流进行去干扰，以获取完整音频流中除干扰音频外的音频片段，作为目标对象的音频信息。
步骤S920：对音频信息进行识别。
在本实施例中，可以对音频信息进行识别。具体地，可以基于语音识别模型对音频信息进行识别，获取对应的交互文本信息，其中，语音识别模型可以采用循环神经网络(Recurrent Neural Network，RNN)模型如长短期记忆网络(Long Short Term Memory，LSTM)，本实施例在此不对所用识别模型进行其他限定和赘述。
步骤S930：当识别到音频信息为动作确认信息时，获取当前时间目标对象的姿态信息。
在本实施例中，当识别到音频信息为动作确认信息时，可以获取当前时间目标对象的姿态信息。在一些实施方式中，对上述识别出的交互文本信息进行语义识别，当语义识别的结果为动作确认信息时，可以获取当前时间目标对象的姿态信息。在一些实施方式中，当识别到音频信息为动作确认信息时，可以获取该音频信息对应的时间戳，并获取该时间戳对应的视频图像序列，进而可以获得当前时间目标对象的姿态信息。
步骤S940：将姿态信息与标准姿态信息进行匹配，得到匹配结果。
在本实施例中，可以将姿态信息与标准姿态信息进行匹配，得到匹配结果。例如，标准姿态信息为左右手腕均与身体呈90度，若目标对象的姿态信息为左右手腕与身体呈85度，则目标对象的姿态信息与标准姿态信息的匹配度较低；若目标对象的姿态信息为左右手腕与身体呈75度，则目标对象的姿态信息与标准姿态信息的匹配度低。
步骤S950：获取并输出与匹配结果对应的答复信息。
本实施例中，终端设备可以获取并输出与匹配结果对应的答复信息。在一些实施方式中，可以预先设置有匹配结果与答复信息的对应关系，根据对应关系查找与该匹配结果对应的答复信息。例如，当匹配结果为较低时，可以提示目标对象调整姿态信息，当匹配结果为很低时，可以提示目标对象进行休息。
上述实施例提供的疲劳检测方法，基于视频获取目标对象的音频信息；对音频信息进行识别；当识别到音频信息为动作确认信息时，获取当前时间目标对象的姿态信息；将姿态信息与标准姿态信息进行匹配，得到匹配结果；获取并输出与匹配结果对应的答复信息。上述实施例通过目标对象主动询问自己的动作是否标准，从而还可以提升目标对象的装配动作的标准性。
请参阅图11，图11示出了本申请实施例提供的再还一疲劳检测方法的流程示意图，该方法包括：
步骤S1010：获取音视频采集装置采集的包括目标对象的视频。
步骤S1020：对视频进行识别，获得目标对象的关节位置信息。
步骤S1030：根据关节位置信息计算得到目标对象的姿态信息。
步骤S1040：基于姿态信息，获得目标对象的疲劳度信息。
其中，步骤S1010-步骤S1040的具体描述请参阅步骤S110-步骤S140，在此不再赘述。
步骤S1050：当疲劳度信息达到预警疲劳度信息时，关闭目标对象对应的机器。
在本实施例中，当疲劳度信息达到预警疲劳度信息时，可以关闭目标对象对应的机器。具体地，在一些实施方式中，可以设置预警疲劳度信息，预警疲劳度信息可以是表征疲劳程度很高的状态，此时，装配工人的灵敏度下降，如果继续工作的话，很容易因为过于疲劳而发生事故，因此，当目标对象的疲劳度信息达到预警疲劳度信息时，可以关闭目标对象对应机器，以避免事故的发生。
上述实施例提供的疲劳检测方法，获取音视频采集装置采集的包括目标对象的视频；对视频进行识别，获得目标对象的关节位置信息；根据关节位置信息计算得到目标对象的姿态信息；基于姿态信息，获得目标对象的疲劳度信息；当疲劳度信息达到预警疲劳度信息时，关闭目标对象对应的机器。上述实施例通过当目标对象的疲劳程度达到预警状态时关闭机器，从而避免目标对象出现事故。
请参阅图12，图12示出了本申请实施例提供的疲劳检测装置1200的结构框图。下面将针对图12所示的框图进行阐述，所述疲劳检测装置1200包括：视频获取模块1210、视频识别模块1220、信息计算模块1230、信息获得模块1240以及方式确定模块1250，其中：
视频获取模块1210，用于获取音视频采集装置采集的包括目标对象的视频。
视频识别模块1220，用于对视频进行识别，获得目标对象的关节位置信息。
进一步地，视频识别模块1220包括：图像获取子模块以及信息获取子模块，其中：
图像获取子模块，用于对视频进行识别，获取视频中的图像序列。
信息获取子模块，用于将图像序列输入至预先训练的机器学习模型，获得由预先训练的机器学习模型输出的人体关键点的坐标信息，作为目标对象的关节位置信息。
信息计算模块1230，用于根据关节位置信息计算得到目标对象的姿态信息。
进一步地，信息计算模块1230包括：向量计算子模块以及信息确定子模块，其中：
向量计算子模块，用于根据关节位置信息，计算得到目标对象的姿态向量。
信息确定子模块，用于基于姿态向量确定目标对象的姿态信息。
信息获得模块1240，用于基于姿态信息，获得目标对象的疲劳度信息。
进一步地，信息获得模块1240包括：信息判断子模块以及状态确定子模块，其中：
信息判断子模块，用于判断姿态信息是否符合标准姿态信息。
状态确定子模块，用于当姿态信息不符合标准姿态信息时，确定目标对象处于疲劳状态。
进一步地，信息获得模块1240还包括：时间获取子模块以及第一信息获得子模块，其中：
时间获取子模块，用于获取目标对象保持姿态信息不变的持续时间。
第一信息获得子模块，用于基于姿态信息以及持续时间，获得目标对象的疲劳度信息。
进一步地，信息获得模块1240还包括：表情信息获得子模块以及第二信息获得子模块，其中：
表情信息获得子模块，用于对视频进行识别，获得目标对象的表情信息。
第二信息获得子模块，用于基于姿态信息及表情信息，获得目标对象的疲劳度信息。
方式确定模块1250，用于基于疲劳度信息，确定对目标对象的处理方式。
进一步地，方式确定模块1250包括：信息输出子模块，其中：
信息输出子模块，用于当目标对象处于疲劳状态时，输出提示信息，以提示目标对象进行休息。
进一步地，方式确定模块1250还包括：音频信息获取子模块以及音频信息输出子模块，其中：
音频信息获取子模块，用于基于疲劳度信息，获取疲劳度信息对应的交互音频信息。
音频信息输出子模块，用于向目标对象输出交互音频信息。
进一步地，方式确定模块1250还包括：机器关闭子模块，其中：
机器关闭子模块，用于当疲劳度信息达到预警疲劳度信息时，关闭目标对象对应的机器。
进一步地，疲劳检测装置1200还包括：音频信息获取模块、音频信息识别模块以及答复信息输出模块，其中：
音频信息获取模块，用于基于视频获取目标对象的音频信息。
音频信息识别模块，用于对音频信息进行识别，获取与音频信息对应的答复信息。
进一步地，音频信息识别模块包括：音频信息识别子模块、姿态信息获取子模块、信息匹配子模块以及答复信息输出子模块，其中：
音频信息识别子模块，用于对音频信息进行识别。
姿态信息获取子模块，用于当识别到音频信息为动作确认信息时，获取当前时间目标对象的姿态信息。
信息匹配子模块，用于将姿态信息与标准姿态信息进行匹配，得到匹配结果。
答复信息输出子模块，用于获取并输出与匹配结果对应的答复信息。
答复信息输出模块，用于输出针对音频信息的答复信息。
所属领域的技术人员可以清楚地了解到，本申请实施例提供的疲劳检测装置能够实现前述方法实施例中的各个过程，为描述的方便和简洁，上述描述装置和模块的具体工作过程，可以参阅前述方法实施例中的对应过程，在此不再赘述。
在本申请所提供的实施例中，所显示或讨论的模块相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或模块的间接耦合或通信连接，可以是电性，机械或其它的形式。
另外，在本申请实施例中的各功能模块可以集成在一个处理模块中，也可以是各个模块单独物理存在，也可以两个或两个以上模块集成在一个模块中。上述集成的模块既可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。
请参阅图13，其示出了本申请实施例提供的一种终端设备100的结构框图。该终端设备100可以是智能手机、平板电脑、电子书等能够运行应用程序的终端设备。本申请中的终端设备100可以包括一个或多个如下部件：处理器110、存储器120以及一个或多个应用程序，其中一个或多个应用程序可以被存储在存储器120中并被配置为由一个或多个处理器110执行，一个或多个程序配置用于执行如前述方法实施例所描述的方法。
处理器110可以包括一个或者多个处理核。处理器110利用各种接口和线路连接整个终端设备100内的各个部分，通过运行或执行存储在存储器120内的指令、程序、代码集或指令集，以及调用存储在存储器120内的数据，执行终端设备100的各种功能和处理数据。可选地，处理器110可以采用数字信号处理(digital signal processing，DSP)、现场可编程门阵列(field－programmable gate array，FPGA)、可编程逻辑阵列(programmable logicarray，PLA)中的至少一种硬件形式来实现。处理器110可集成中央处理器(centralprocessing unit，CPU)、图像处理器(graphics processing unit，GPU)和调制解调器等中的一种或几种的组合。其中，CPU主要处理操作系统、用户界面和应用程序等；GPU用于负责显示内容的渲染和绘制；调制解调器用于处理无线通信。可以理解的是，上述调制解调器也可以不集成到处理器110中，单独通过一块通信芯片进行实现。
存储器120可以包括随机存储器(random access memory，RAM)，也可以包括只读存储器(read-only memory，ROM)。存储器120可用于存储指令、程序、代码、代码集或指令集。存储器120可包括存储程序区和存储数据区，其中，存储程序区可存储用于实现操作系统的指令、用于实现至少一个功能的指令(比如触控功能、声音播放功能、图像播放功能等)、用于实现下述各个方法实施例的指令等。存储数据区还可以存储终端设备100在使用中所创建的数据(比如电话本、音视频数据、聊天记录数据)等。
请参阅图14，其示出了本申请实施例提供的一种计算机可读取存储介质的结构框图。该计算机可读取存储介质1400中存储有程序代码，所述程序代码可被处理器调用执行上述方法实施例中所描述的方法。
计算机可读取存储介质1400可以是诸如闪存、电可擦除可编程只读存储器(electrically-erasable programmable read-only memory，EEPROM)、可擦除可编程只读存储器(erasable programmable read only memory，EPROM)、硬盘或者ROM之类的电子存储器。可选地，计算机可读取存储介质1400包括非易失性计算机可读介质(non-transitorycomputer-readable storage medium)。计算机可读取存储介质1400具有执行上述方法中的任何方法步骤的程序代码1410的存储空间。这些程序代码可以从一个或者多个计算机程序产品中读出或者写入到这一个或者多个计算机程序产品中。程序代码1410可以例如以适当形式进行压缩。
综上所述，本申请实施例提供的疲劳检测方法、装置、终端设备及存储介质，该方法包括：获取音视频采集装置采集的包括目标对象的视频；对视频进行识别，获得目标对象的关节位置信息；根据关节位置信息计算得到目标对象的姿态信息；基于姿态信息，获得目标对象的疲劳度信息；基于疲劳度信息，确定对目标对象的处理方式。本申请通过终端设备的音视频采集装置采集目标对象的视频，根据视频检测目标对象的姿态信息，进而对目标对象的疲劳程度进行监测，使得可以无需专职人员对装配工人的状态进行监测，从而实现低成本实时监控装配工人的工作状态。
最后应说明的是：以上实施例仅用以说明本申请的技术方案，而非对其限制；尽管参照前述实施例对本申请进行了详细的说明，本领域的普通技术人员当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不驱使相应技术方案的本质脱离本申请各实施例技术方案的精神和范围。

Claims (15)

1.一种疲劳检测方法，其特征在于，应用于终端设备，所述终端设备包括音视频采集装置，所述方法包括：
获取所述音视频采集装置采集的包括目标对象的视频；
对所述视频进行识别，获得所述目标对象的关节位置信息；
根据所述关节位置信息计算得到所述目标对象的姿态信息；
基于所述姿态信息，获得所述目标对象的疲劳度信息；
基于所述疲劳度信息，确定对所述目标对象的处理方式。
2.根据权利要求1所述的方法，其特征在于，所述对所述视频进行识别，获得所述目标对象的关节位置信息，包括：
对所述视频进行识别，获取所述视频中的图像序列；
将所述图像序列输入预先训练的机器学习模型，获得由所述预先训练的机器学习模型输出的人体关键点的坐标信息，作为所述目标对象的关节位置信息。
3.根据权利要求1或2所述的方法，其特征在于，所述根据所述关节位置信息计算得到所述目标对象的姿态信息，包括：
根据所述关节位置信息，计算得到所述目标对象的姿态向量；
基于所述姿态向量确定所述目标对象的姿态信息。
4.根据权利要求1所述的方法，其特征在于，所述基于所述姿态信息，获得所述目标对象的疲劳度信息，包括：
判断所述姿态信息是否符合标准姿态信息；
当所述姿态信息不符合标准姿态信息时，确定所述目标对象处于疲劳状态；
所述基于所述疲劳度信息，确定对所述目标对象的处理方式，包括：
当所述目标对象处于疲劳状态时，输出提示信息，以提示所述目标对象进行休息。
5.根据权利要求1所述的方法，其特征在于，所述基于所述姿态信息，获得所述目标对象的疲劳度信息，包括:
获取所述目标对象保持所述姿态信息不变的持续时间；
基于所述姿态信息以及所述持续时间，获得所述目标对象的疲劳度信息。
6.根据权利要求1所述的方法，其特征在于，所述基于所述姿态信息，获得所述目标对象的疲劳度信息，包括：
对所述视频进行识别，获得所述目标对象的表情信息；
基于所述姿态信息及所述表情信息，获得所述目标对象的疲劳度信息。
7.根据权利要求1所述的方法，其特征在于，所述基于所述疲劳度信息，确定对所述目标对象的处理方式，包括：
基于所述疲劳度信息，获取所述疲劳度信息对应的交互音频信息；
向所述目标对象输出所述交互音频信息。
8.根据权利要求1-7任一项所述的方法，其特征在于，所述方法还包括：
基于所述视频获取所述目标对象的音频信息；
对所述音频信息进行识别，获取与所述音频信息对应的答复信息；
输出针对所述音频信息的答复信息。
9.根据权利要求8所述的方法，其特征在于，所述对所述音频信息进行识别，获取与所述音频信息对应的答复信息，包括：
对所述音频信息进行识别；
当识别到所述音频信息为动作确认信息时，获取当前时间所述目标对象的姿态信息；
将所述姿态信息与标准姿态信息进行匹配，得到匹配结果；
获取并输出与所述匹配结果对应的答复信息。
10.根据权利要求1-7任一项所述的方法，其特征在于，所述基于所述疲劳度信息，确定对所述目标对象的处理方式，包括：
当所述疲劳度信息达到预警疲劳度信息时，关闭所述目标对象对应的机器。
11.一种疲劳检测装置，其特征在于，应用于终端设备，所述终端设备包括音视频采集装置，所述装置包括：
视频获取模块，用于获取所述音视频采集装置采集的包括目标对象的视频；
视频识别模块，用于对所述视频进行识别，获得所述目标对象的关节位置信息；
信息计算模块，用于根据所述关节位置信息计算得到所述目标对象的姿态信息；
信息获得模块，用于基于所述姿态信息，获得所述目标对象的疲劳度信息；
方式确定模块，用于基于所述疲劳度信息，确定对所述目标对象的处理方式。
12.根据权利要求11所述的装置，其特征在于，所述视频识别装置包括：
图像获取子模块，用于对所述视频进行识别，获取所述视频中的图像序列；
信息获取子模块，用于将所述图像序列输入至预先训练的机器学习模型，获得由所述预先训练的机器学习模型输出的人体关键点的坐标信息，作为目标对象的关节位置信息。
13.根据权利要求12所述的装置，其特征在于，所述信息计算模块包括：
向量计算子模块，用于根据所述关节位置信息，计算得到所述目标对象的姿态向量；
信息确定子模块，用于基于所述姿态向量确定所述目标对象的姿态信息。
14.一种终端设备，其特征在于，包括存储器和处理器，所述存储器耦接到所述处理器，所述存储器存储指令，当所述指令由所述处理器执行时所述处理器执行如权利要求1-10任一项所述的方法。
15.一种计算机可读取存储介质，其特征在于，所述计算机可读取存储介质中存储有程序代码，所述程序代码可被处理器调用执行如权利要求1-10任一项所述的方法。
CN202010203361.1A 2020-03-20 2020-03-20 疲劳检测方法、装置、终端设备及存储介质 Pending CN111476114A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010203361.1A CN111476114A (zh) 2020-03-20 2020-03-20 疲劳检测方法、装置、终端设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010203361.1A CN111476114A (zh) 2020-03-20 2020-03-20 疲劳检测方法、装置、终端设备及存储介质

Publications (1)

Publication Number Publication Date
CN111476114A true CN111476114A (zh) 2020-07-31

Family

ID=71748294

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010203361.1A Pending CN111476114A (zh) 2020-03-20 2020-03-20 疲劳检测方法、装置、终端设备及存储介质

Country Status (1)

Country Link
CN (1) CN111476114A (zh)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112528792A (zh) * 2020-12-03 2021-03-19 深圳地平线机器人科技有限公司 疲劳状态检测方法、装置、介质及电子设备
CN112579037A (zh) * 2020-12-21 2021-03-30 Oppo广东移动通信有限公司 音频控制方法、装置、存储介质及电子设备
CN113077225A (zh) * 2021-03-12 2021-07-06 联想(北京)有限公司 一种抽检控制方法及设备
CN113469048A (zh) * 2021-06-30 2021-10-01 平安科技（深圳）有限公司 一种乘员状态确定方法、装置、计算机设备及存储介质
CN116681216A (zh) * 2023-07-31 2023-09-01 山东莱恩光电科技股份有限公司 基于安全光幕历史数据的冲压器械安全监测方法
CN117079255A (zh) * 2023-10-17 2023-11-17 江西开放大学 一种基于人脸识别和语音交互的疲劳驾驶检测方法
CN112528792B (zh) * 2020-12-03 2024-05-31 深圳地平线机器人科技有限公司 疲劳状态检测方法、装置、介质及电子设备

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104484574A (zh) * 2014-12-25 2015-04-01 东华大学 一种基于四元数的实时人体姿态监督训练矫正系统
CN106503752A (zh) * 2016-11-14 2017-03-15 吉林大学 一种坐式手工装配线疲劳度检测系统
CN110147738A (zh) * 2019-04-29 2019-08-20 中国人民解放军海军特色医学中心 一种驾驶员疲劳监测预警方法及系统
CN110334614A (zh) * 2019-06-19 2019-10-15 腾讯科技（深圳）有限公司 一种疲劳状态预警方法、装置、设备及存储介质
CN110717461A (zh) * 2019-10-12 2020-01-21 广东电网有限责任公司 一种疲劳状态识别方法、装置和设备

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104484574A (zh) * 2014-12-25 2015-04-01 东华大学 一种基于四元数的实时人体姿态监督训练矫正系统
CN106503752A (zh) * 2016-11-14 2017-03-15 吉林大学 一种坐式手工装配线疲劳度检测系统
CN110147738A (zh) * 2019-04-29 2019-08-20 中国人民解放军海军特色医学中心 一种驾驶员疲劳监测预警方法及系统
CN110334614A (zh) * 2019-06-19 2019-10-15 腾讯科技（深圳）有限公司 一种疲劳状态预警方法、装置、设备及存储介质
CN110717461A (zh) * 2019-10-12 2020-01-21 广东电网有限责任公司 一种疲劳状态识别方法、装置和设备

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112528792A (zh) * 2020-12-03 2021-03-19 深圳地平线机器人科技有限公司 疲劳状态检测方法、装置、介质及电子设备
CN112528792B (zh) * 2020-12-03 2024-05-31 深圳地平线机器人科技有限公司 疲劳状态检测方法、装置、介质及电子设备
CN112579037A (zh) * 2020-12-21 2021-03-30 Oppo广东移动通信有限公司 音频控制方法、装置、存储介质及电子设备
CN113077225A (zh) * 2021-03-12 2021-07-06 联想(北京)有限公司 一种抽检控制方法及设备
CN113469048A (zh) * 2021-06-30 2021-10-01 平安科技（深圳）有限公司 一种乘员状态确定方法、装置、计算机设备及存储介质
CN116681216A (zh) * 2023-07-31 2023-09-01 山东莱恩光电科技股份有限公司 基于安全光幕历史数据的冲压器械安全监测方法
CN117079255A (zh) * 2023-10-17 2023-11-17 江西开放大学 一种基于人脸识别和语音交互的疲劳驾驶检测方法
CN117079255B (zh) * 2023-10-17 2024-01-05 江西开放大学 一种基于人脸识别和语音交互的疲劳驾驶检测方法

Similar Documents

Publication Publication Date Title
CN111476114A (zh) 疲劳检测方法、装置、终端设备及存储介质
US11226673B2 (en) Affective interaction systems, devices, and methods based on affective computing user interface
WO2016129192A1 (ja) 感情推定装置及び感情推定方法
CN110875032B (zh) 语音交互系统和方法、程序、学习模型生成装置和方法
US20190188903A1 (en) Method and apparatus for providing virtual companion to a user
JP2021524975A (ja) 検出されたジェスチャおよび凝視に基づく自動化アシスタントの機能の呼び出し
CN111508079A (zh) 虚拟服饰试穿方法、装置、终端设备及存储介质
CN109492221B (zh) 一种基于语义分析的信息回复方法及可穿戴设备
CN107635147A (zh) 基于多模态人机交互的健康信息管理电视
CN112364696B (zh) 一种利用家庭监控视频提高家庭安全的方法及系统
CN107515900B (zh) 智能机器人及其事件备忘系统和方法
JP2012014394A (ja) ユーザ指示取得装置、ユーザ指示取得プログラムおよびテレビ受像機
CN112016367A (zh) 一种情绪识别系统、方法及电子设备
KR20190030140A (ko) 시선 추적 방법 및 이를 수행하기 위한 사용자 단말
JP2018504960A (ja) 人体特徴データの処理方法及び装置
EP3143550A1 (en) Systems and methods for dynamically collecting and evaluating potential imprecise characteristics for creating precise characteristics
CN113287175A (zh) 互动式健康状态评估方法及其系统
JP2004280376A (ja) 被写体の行動認識方法及び装置
CN111989031A (zh) 远程医疗中症状的实时标注
CN112417142A (zh) 基于眼动跟踪的词义和摘要生成辅助方法及系统
CN112911192A (zh) 视频处理方法、装置和电子设备
CN113569671A (zh) 异常行为报警方法、装置
KR101567154B1 (ko) 다중 사용자 기반의 대화 처리 방법 및 이를 수행하는 장치
CN108766127A (zh) 手语交互方法、设备、装置和存储介质
CN106815264B (zh) 一种信息处理方法及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination