CN217543878U

CN217543878U - 行为识别装置和终端设备

Info

Publication number: CN217543878U
Application number: CN202220228738.3U
Authority: CN
Inventors: 沈乐; 董德才; 费闯; 曹志杰
Original assignee: Agricultural Bank of China
Current assignee: Agricultural Bank of China
Priority date: 2022-01-27
Filing date: 2022-01-27
Publication date: 2022-10-04
Anticipated expiration: 2032-01-27

Abstract

本实用新型公开了一种行为识别装置和终端设备。该行为识别装置包括景深摄像头、行为识别模块和输出接口；景深摄像头用于获取视野范围内的立体视场数据，行为识别模块与景深摄像头连接，行为识别模块用于根据立体视场数据识别生物体的行为数据，输出接口与行为识别模块连接，输出接口用于输出行为数据。在输出接口输出行为数据时，可以降低行为数据的传输带宽要求，从而降低了对输出接口的带宽要求，增加了输出接口的匹配范围。而且在输出接口输出行为数据后，接收行为数据的设备可以直接根据行为数据识别生物体的行为，降低了对接收行为数据的终端的性能要求，从而降低了行为识别装置的使用限制，增加了行为识别装置匹配的终端范围。

Description

行为识别装置和终端设备

技术领域

本实用新型实施例涉及交互的技术领域，尤其涉及一种行为识别装置和终端设备。

背景技术

智能设备(例如电脑、平板电脑和手机等)均设置输入设备，用于实现智能设备与人的人机交互过程。示例性的，输入设备可以为键盘鼠标等，用于实现人机交互。随着交互技术的发展，人们已经不再局限于通过传统的键盘鼠标等交互方式实现人机交互，语音交互、手势交互和行为识别等交互方式也得到迅猛的发展。

在行为识别的交互过程中，行为输入方式可以分为三类：一类是在人体上安装运动传感器，通过识别运动传感器的运动来识别人体的行为，例如switch。一类是混合模式，通过在人体上安装识别特征装置的运动识别人体行为，例如可以利用摄像头识别特征装置的运动来识别人体行为，例如动态控制器(PlayStation Move，PS move)。还有一类可以直接通过识别三维物体的运动识别人体运动，如微软的Kinect。

Kinect在使用的过程中需要大量的传输带宽进行大量的视频数据传输，而且在进行行为识别的过程中需要进行大量的运算，从而导致在使用的过程中受到很大的限制。例如，在传输大量的视频数据时需要使用USB 3.0接口，由于需要大量的运算，使得Kinect仅能在高端的个人计算机(personal computer，PC)以及微软定制的家用电视游戏机(XBOX游戏机)上使用。

实用新型内容

本实用新型提供一种行为识别装置和终端设备，以能够实现行为识别的基础上降低行为识别装置的使用限制。

第一方面，本实用新型实施例提供了一种行为识别装置，包括景深摄像头、行为识别模块和输出接口；

所述景深摄像头用于获取视野范围内的立体视场数据，所述行为识别模块与所述景深摄像头连接，所述行为识别模块用于根据所述立体视场数据识别生物体的行为数据，所述输出接口与所述行为识别模块连接，所述输出接口用于输出所述行为数据。

可选地，所述行为识别模块包括视频处理子模块和行为识别子模块；

所述视频处理子模块与所述景深摄像头连接，所述视频处理子模块用于根据所述立体视场数据确定所述生物体的运动特征数据，所述行为识别子模块与所述视频处理子模块连接，所述行为识别子模块用于根据所述生物体的运动特征数据识别所述生物体的行为数据。

可选地，所述视频处理子模块包括生物体识别单元和运动特征识别单元；

所述生物体识别单元与所述景深摄像头连接，所述生物识别单元用于识别所述立体视场数据中的生物体，所述运动特征识别单元与所述生物识别单元连接，所述运动特征识别单元用于根据所述生物体的形态运动特征确定所述生物体的运动特征数据。

可选地，所述行为识别子模块包括内置运动模型存储单元和匹配单元；

所述内置运动模型存储单元用于存储内置运动模型，所述匹配单元与所述内置运动模型存储单元和所述视频处理子模块连接，所述匹配单元用于根据所述内置运动模型匹配所述生物体的运动特征数据，确定所述生物体的行为数据。

可选地，所述内置运动模型包括所述生物体的关节运动模型。

可选地，行为识别装置还包括图像摄像头，所述图像摄像头用于获取所述视野范围内的视频图像数据。

可选地，所述输出接口与所述图像摄像头连接，所述输出接口还用于输出所述视频图像数据。

可选地，所述输出接口包括通用串行总线接口。

第二方面，本实用新型实施例还提供了一种终端设备，包括主机和第一方面提供的行为识别装置；所述主机包括输入接口，所述输入接口与所述行为识别装置的输出接口连接。

本实用新型实施例的技术方案，通过行为识别装置中的行为识别模块识别立体视场数据中的生物体行为，形成行为数据。在输出接口输出行为数据时，可以降低行为数据的传输带宽要求，从而降低了对输出接口的带宽要求，增加了输出接口的匹配范围。而且在输出接口输出行为数据后，接收行为数据的设备可以直接根据行为数据识别生物体的行为，降低了对接收行为数据的终端的性能要求，从而降低了行为识别装置的使用限制，增加了行为识别装置匹配的终端范围。另外，通过行为识别装置专用于行为识别，可以提高生物体的行为识别效率，同时有利于行为识别装置的优化设置。

附图说明

图1为本实用新型实施例提供的一种行为识别装置的结构示意图；

图2为本实用新型实施例提供的另一种行为识别装置的结构示意图；

图3为本实用新型实施例提供的另一种行为识别装置的结构示意图；

图4为本实用新型实施例提供的另一种行为识别装置的结构示意图；

图5为本实用新型实施例提供的另一种行为识别装置的结构示意图；

图6为本实用新型实施例提供的一种终端设备的结构示意图。

具体实施方式

下面结合附图和实施例对本实用新型作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅仅用于解释本实用新型，而非对本实用新型的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与本实用新型相关的部分而非全部结构。

图1为本实用新型实施例提供的一种行为识别装置的结构示意图。如图1所示，该行为识别装置包括景深摄像头110、行为识别模块120和输出接口130；景深摄像头110用于获取视野范围内的立体视场数据，行为识别模块120与景深摄像头110连接，行为识别模块120用于根据立体视场数据识别生物体的行为数据，输出接口130与行为识别模块120连接，输出接口130用于输出行为数据。

具体的，景深摄像头110可以在焦距对准某一点时，该点前后一定范围内的场景仍能够清晰可见。该点前后仍能够清晰可见的范围为景深摄像头110的景深。在景深摄像头110获取视野范围内的视频数据时，通过景深摄像头110的景深，可以使得该视频数据为立体视场数据，即视频数据为三维的视频数据。在景深摄像头110获取视野范围内的立体视场数据后，行为识别模块120可以接收该立体视场数据，并对立体视场数据进行处理，识别立体视场数据中的生物体的行为，并根据生物体的行为形成行为数据，实现生物体的行为识别。示例性的，生物体可以为人体，行为识别模块120可以根据立体视场数据识别人体的行为，并根据人体的行为形成行为数据，实现人体的行为识别。例如，行为数据可以包括人体的下蹲行为信息，实现了人体的下蹲行为识别。输出接口130与行为识别模块120连接，在行为识别模块120形成行为数据后，输出接口130可以将行为数据输出，行为数据的数据量很小，对传输带宽的要求比较低，从而降低了对输出接口130的带宽要求，增加了输出接口的匹配范围。同时行为数据为生物体的行为识别数据，在输出接口130输出行为数据后，接收行为数据的终端可以直接根据行为数据识别生物体的行为，降低了对接收行为数据的终端的性能要求，从而降低了行为识别装置的使用限制，增加了行为识别装置匹配的终端范围。示例性的，输出接口130与终端设备连接，例如，终端设备可以为电脑，在输出接口130输出行为数据后，终端设备可以直接根据行为数据识别生物体的行为，无需对输入的数据进行计算，降低了终端设备的性能要求，从而降低了行为识别装置的使用限制，增加了行为识别装置匹配的终端范围。

图2为本实用新型实施例提供的另一种行为识别装置的结构示意图。如图2所示，行为识别模块120包括视频处理子模块121和行为识别子模块122；视频处理子模块121与景深摄像头110连接，视频处理子模块121用于根据立体视场数据确定生物体的运动特征数据，行为识别子模块122与视频处理子模块121连接，行为识别子模块122用于根据生物体的运动特征数据识别生物体的行为数据。

具体的，视频处理子模块121与景深摄像头110连接，用于获取立体视场数据。在视频处理子模块121获取立体视场数据后，对立体视场数据进行识别，确定立体视场数据中的生物体的运动特征数据。示例性的，视频处理子模块121可以对立体视场数据进行识别，可以识别出立体视场数据中人体的运动轨迹，从而可以根据人体的运动轨迹确定人体的运动特征数据。其中，运动特征数据可以包括人体的运动轨迹特征数据。在视频处理子模块121确定生物体的运动特征数据后，行为识别子模块122根据生物体的运动特征数据识别出生物体的行为数据，实现生物体的行为识别。

图3为本实用新型实施例提供的另一种行为识别装置的结构示意图。如图3所示，视频处理子模块121包括生物体识别单元1211和运动特征识别单元1212；生物体识别单元1211与景深摄像头110连接，生物识别单元1211用于识别立体视场数据中的生物体，运动特征识别单元1212与生物识别单元1211连接，运动特征识别单元1212用于根据生物体的形态运动特征确定生物体的运动特征数据。

具体的，生物识别单元1211可以识别立体视场数据中的生物体，并根据识别的生物体确定识别目标。示例性的，生物识别单元1211可以识别立体视场数据的人体，并可以确定人体为识别目标。在生物识别单元1211识别出立体视场数据中的识别目标后，运动特征识别单元1212可以根据立体视场数据中识别目标的连续数据，识别出识别目标的运动轨迹，从而可以确定识别目标的运动特征数据。

图4为本实用新型实施例提供的另一种行为识别装置的结构示意图。如图4所示，行为识别子模块122包括内置运动模型存储单元1221和匹配单元1222；内置运动模型存储单元1221用于存储内置运动模型，匹配单元1222与内置运动模型存储单元1221和视频处理子模块121连接，匹配单元1222用于根据内置运动模型匹配生物体的运动特征数据，确定生物体的行为数据。

具体的，内置运动模型存储单元1221具有预先存储的至少一种内置运动模型，每一种内置运动模型包括至少一种生物体的运动特征数据，用于表征生物体的一类行为。在视频处理子模块121根据立体视场数据确定生物体的运动特征数据后，该视频处理子模块121输出的生物体的运动特征数据传输至匹配单元1222，匹配单元1222将生物体的运动特征数据与至少一种内置运动模型包括的运动特征数据进行匹配，当一内置运动模型包括的运动特征数据与获取的生物体的运动特征数据匹配成功时，则输出该内置运动模型对应的生物体的行为数据，确定当前生物体的行为数据。

需要说明的是，生物体的运动特征数据与至少一种内置运动模型包括的运动特征数据进行匹配时，可以预先设置匹配阈值，在生物体的运动特征数据与至少一种内置运动模型包括的运动特征数据的差值小于或等于匹配阈值时，可以认定生物体的运动特征数据与至少一种内置运动模型包括的运动特征数据匹配成功。

可选地，内置运动模型包括生物体的关节运动模型。

具体的，内置运动模型可以包括生物体的关节运动模型，用于表征生物体的关节运动轨迹，从而可以根据生物体的关节运动轨迹识别生物体的行为，进而确定生物体的行为数据。示例性的，关节运动模型可以包括关节的运动轨迹和弯折角度，通过设置关节运动模型的运动轨迹和弯折角度，然后根据生物体的运动特征数据中的运动轨迹和弯折角度，判断生物体的运动特征数据是否与关节运动模型匹配。例如，当一种下蹲行为的关节运动模型的运动轨迹为膝关节向下，膝关节的弯折角度大于或等于60°时，则根据生物体的运动特征数据中的运动轨迹和弯折角度是否满足下蹲行为的关节运动模型的运动特征，并在满足下蹲行为的关节运动模型的运动特征时确定当前生物体的下蹲行为。

图5为本实用新型实施例提供的另一种行为识别装置的结构示意图。如图5所示，行为识别装置还包括图像摄像头140，图像摄像头140用于获取视野范围内的视频图像数据。

具体的，图像摄像头140可以获取视野范围内的视频图像数据，视频图像数据可以显示视野范围内的图像，可以辅助立体视场数据识别视野范围内的生物体位置，进而更加准备的确定生物体的行为数据。

继续参考图5，输出接口130与图像摄像头140连接，输出接口140还用于输出视频图像数据。

具体的，输出接口130与图像摄像头140连接，在图像摄像头140获取视频图像数据后，输出接口130可以同时输出视频图像数据，从而使得与输出接口130连接的终端同时接收行为数据和视频图像数据，使得视频图像数据提供的图像可以辅助接收数据的终端更好的确定生物体的行为，提高了生物体的行为识别可读性。

在上述各技术方案的基础上，输出接口包括通用串行总线接口。

具体的，在行为识别模块识别立体视场数据中的生物体行为形成行为数据后，行为数据的数据量很小，对输出接口的带宽和传输速率等性能要求比较低，使得多种输出接口均可以用于行为识别装置。示例性的，输出接口可以包括多种版本的通用串行总线接口(Universal Serial Bus，USB)，例如USB1.0，USB2.0和USB3.0。在其他实施例中，输出接口还可以包括其他类型的接口，此处不做限定。

本实用新型实施例还提供了一种终端设备。图6为本实用新型实施例提供的一种终端设备的结构示意图。如图6所示，该终端设备包括主机00和本实用新型任意实施例提供的行为识别装置10；主机00包括输入接口01，输入接口01与行为识别装置10的输出接口130连接。

具体的，行为识别装置10可以通过景深摄像头110获取视野范围内的立体视场数据，然后行为识别模块120根据立体视场数据识别生物体的行为数据，实现生物体的行为识别。并通过输出接口130和主机00的输入接口01将生物体的行为数据输出至主机00，主机00根据行为数据直接确定生物体的行为，无需对行为数据进行复杂的处理，降低了主机00的性能要求，从而降低了行为识别装置10的使用限制，增加了与行为识别装置10匹配的终端范围。同时，行为数据的数据量很小，对输出接口130和输入接口01的传输性能要求比较低，可以增加主机00与行为识别装置10连接的接口的选择范围。

注意，上述仅为本实用新型的较佳实施例及所运用技术原理。本领域技术人员会理解，本实用新型不限于这里所述的特定实施例，对本领域技术人员来说能够进行各种明显的变化、重新调整和替代而不会脱离本实用新型的保护范围。因此，虽然通过以上实施例对本实用新型进行了较为详细的说明，但是本实用新型不仅仅限于以上实施例，在不脱离本实用新型构思的情况下，还可以包括更多其他等效实施例，而本实用新型的范围由所附的权利要求范围决定。

Claims

1.一种行为识别装置，其特征在于，包括景深摄像头、行为识别模块和输出接口；

2.根据权利要求1所述的行为识别装置，其特征在于，所述行为识别模块包括视频处理子模块和行为识别子模块；

3.根据权利要求2所述的行为识别装置，其特征在于，所述视频处理子模块包括生物体识别单元和运动特征识别单元；

所述生物体识别单元与所述景深摄像头连接，所述生物体识别单元用于识别所述立体视场数据中的生物体，所述运动特征识别单元与所述生物体识别单元连接，所述运动特征识别单元用于根据所述生物体的形态运动特征确定所述生物体的运动特征数据。

4.根据权利要求2所述的行为识别装置，其特征在于，所述行为识别子模块包括内置运动模型存储单元和匹配单元；

5.根据权利要求4所述的行为识别装置，其特征在于，所述内置运动模型包括所述生物体的关节运动模型。

6.根据权利要求1所述的行为识别装置，其特征在于，还包括图像摄像头，所述图像摄像头用于获取所述视野范围内的视频图像数据。

7.根据权利要求6所述的行为识别装置，其特征在于，所述输出接口与所述图像摄像头连接，所述输出接口还用于输出所述视频图像数据。

8.根据权利要求1所述的行为识别装置，其特征在于，所述输出接口包括通用串行总线接口。

9.一种终端设备，其特征在于，包括主机和权利要求1-8任一项所述的行为识别装置；所述主机包括输入接口，所述输入接口与所述行为识别装置的输出接口连接。