CN105487643B - 互动型智能终端系统 - Google Patents

Abstract

本发明公开了互动型智能终端系统，包括摄像头、智能终端和互动器；智能终端内存储与标准手势对应的指令信息，智能终端根据摄像头识别的手势对应的指令信息完成相应操作；智能终端将互动器输入的音频信号转换为信息信号或指令信号并进行相应内容的显示。本发明互动型智能终端系统能够将音频转换成无线信号发送出去并在智能终端上显示出来，便于信息如图像、文字等的较远距离输入；结合手势识别技术，能够快速完成指令执行和信息输入，提高了智能终端的可操作性；同时智能终端上的信息信号能够通过无线方式传送，并形成音频播出，特别适用于会议等场合。

Description

互动型智能终端系统

技术领域

本发明属于电子设备领域，具体涉及互动型智能终端系统。

背景技术

智能终端如电脑、平板电脑等越来越多的进入人们的生活、工作中，在通信领域无线通信技术也取得了长足的进步。

随着社会的发展，在通信领域无线通信技术也取得了长足的进步。智能终端能够显示人们输入的文字或者图案，通常借助于物理键盘或者虚拟键盘实现。在较远距离时，例如在会议室中，往往需要将发言内容借助显示装置显示出来，以作为记录或者讨论基础，在使用这些显示装置通常还需要进行必要的控制，例如，画面的切换等。

手势遥控技术被应用于来越多的场景，摄像头能够捕捉到摄像范围内的图像，利用摄像头捕捉手势是一种新的数据输入方式，摄像头捕捉到手势变化并将其转化为控制信号输入摄像头连接的智能终端中。在现有识别手势的技术多使用多个摄像头或者采用深度摄像头，其应用繁琐和高昂的价格成为手势识别技术的广泛应用造成了一定的障碍。

发明内容

为了解决现有技术存在的问题，本发明提供了互动型智能终端系统能够接收音频并将其无线传输出去，转化为对应的信息，便于声音在较远距离的信息化显示，实现对智能终端远距离的输入、控制，为了实现上述目的，本发明采用以下技术方案：

一种互动型智能终端系统，包括智能终端和摄像头，所述摄像头通过其传输接口与所述智能终端连接，还包括：

互动器，所述互动器包括：用于接收音频、发出音频信号的音频收发单元，以及与所述音频收发单元连接、用于无线音频信号发射的信号收发单元；

所述智能终端包括与所述信号收发单元无线连接、用于无线音频信号接收的无线收发模块、用于音频信号与信息信号和/或指令信号转换的信号转换模块，以及用于信息信号和指令信号处理的核处理器；

所述智能终端无线接收的无线音频信号经所述信号转换模块处理后传输至所述核处理器；

所述智能终端中的信息信号在所述信号转换模块处理后经所述无线收发模块、所述信号收发单元传输至音频收发单元输出音频。

进一步地，所述无线收发模块接收的无线音频信号传输至所述智能终端的核处理器。

进一步地，所述互动器还包括音频收发单元输出的音频信号为指令信号或信息信号的按键单元。

进一步地，所述互动器还包括多个用于指令信号输入的控制按键，所述控制按键输入的指令信号经所述信号收发单元形成无线指令信号发射出去。

进一步地，所述无线收发模块为蓝牙模块；所述传输接口为USB接口。

进一步地，还包括云服务端，所述智能终端通过网络接口与云服务端连接。

进一步地，所述云服务端包括识别单元和储存有与所述识别单元输出信号对应数据或指令的数据库。

进一步地，所述摄像头包括：

摄像模块，所述摄像模块设有镜头和图像传感器；

存储器，用于预存储标准手势；

初始化模块，用于建立以所述图像传感器表面为第一坐标平面的第一坐标系、以正对所述镜头时的手掌面为第二坐标平面的第二坐标系，确定所述第二坐标系在所述第一坐标系内的位置；

处理模块，用于处理所述摄像模块采集的手运动图像，得到所述第二坐标系在所述第一坐标系内的位置视频流和手在所述第二坐标系内的视频流，形成手势输入；

识别模块，用于将所述处理模块输出的手势与所述标准手势作比较，若与一所述标准手势匹配，则将该标准手势作为识别结果，并传送到所述传输接口；

所述智能终端设有存储模块，所述存储模块中存储与所述标准手势一一对应的指令信息。

进一步地，所述第一坐标系以所述第一坐标平面内的竖直方向线、水平方向线及所述竖直方向线、水平方向线的垂直线为坐标轴，以所述图像传感器的中心为第一原点；所述第二坐标平面内，取手腕处直线方向为X轴、手掌外侧缘处垂直于X轴的直线为Y轴；所述第二坐标系以所述X轴、Y轴及垂直于所述X轴、Y轴的Z轴为坐标轴；以所述X轴、Y轴的交点为第二原点。

进一步地，所述第二坐标系为三维坐标系，所述位置视频流为所述第二坐标系中第二原点的位置视频流；手在所述第二坐标系内的视频流，包括：手指的弯曲和手掌的转动形成的视频流；所述位置视频流为所述第二坐标系中第二原点的位置视频流和所述第二坐标系转动的视频流；手在所述第二坐标系内的视频流，包括：手指的弯曲形成的视频流。

本发明互动型智能终端系统能够将音频转换成无线信号发送出去并在智能终端上显示出来，便于信息如图像、文字等的较远距离输入；结合手势识别技术，能够快速完成指令执行和信息输入，提高了智能终端的可操作性；同时智能终端上的信息信号能够通过无线方式传送，并形成音频播出，特别适用于会议等场合。

附图说明

图1是本发明互动型智能终端系统实施例1的模块图；

图2是本发明中摄像头第一坐标系的示意图；

图3是本发明中摄像头第二坐标系的示意图；

图4是本发明互动型智能终端系统实施例2的模块图。

具体实施方式

应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。

参照图1，图1为本发明互动型智能终端系统实施例1的模块图，该智能终端系统包括摄像头10、智能终端20和互动器40，摄像头10与智能终端20相连接。

其中，摄像头10包括摄像模块1、初始化模块2、处理模块3、识别模块4、存储器5和传输接口6。

摄像模块1用于采集手运动图像，该摄像模块1设有镜头11和图像传感器12。镜头11为玻璃镜头、塑料镜头或者塑料与玻璃混合镜头。图像传感器12是一种感光半导体芯片，其表面包含有几十万到几百万的光电二极管，光电二极管受到光照射时就会产生电荷，摄像模块1接收的图像投影在图像传感器12上时，图像传感器12上电荷的分布表征摄入的图像。

为了能够准确的识别摄像模块1采集的手运动图像，本发明采用初始化模块2建立以图像传感器12表面为第一坐标平面的第一坐标系、以正对镜头时的手掌面为第二坐标平面的第二坐标系，并确定所述第二坐标系在所述第一坐标系内的位置。由于手在第二标系内的位置是能够确定的，进而能够确定手在第一坐标系内的位置。

在较佳的实施方案中，第一坐标系如图2所示，以图像传感器12表面为第一坐标平面，在该第一坐标平面内的竖直方向线V、水平方向线H及竖直方向线V、水平方向线H的垂直线L为坐标轴，以图像传感器12的中心为第一原点。在第二坐标系如图3所示，手掌面为第二坐标平面内，取手腕处直线方向为X轴、手掌外侧缘处垂直于X轴的直线为Y轴；第二坐标系以X轴、Y轴及垂直于X轴、Y轴的Z轴为坐标轴；以X轴、Y轴的交点为第二原点。

处理模块3处理摄像模块1采集的手运动图像，得到第二坐标系在第一坐标系内的位置视频流和手在第二坐标系内的视频流，形成手势输入。

具体地，摄像模块1以一定速度采集手图像，例如30帧/s的速度采集，第一帧手图像经过初始化模块2的处理后传输给处理模块3，处理模块3获得第一坐标系、第二坐标系以及第二坐标系在第一坐标系内的位置和手在第二坐标系内的位置，并以此作为初始状态。第二帧手图像经初始化模块2处理后传输给处理模块3，处理模块3获得第二坐标系的第二原点在第一坐标系内的位置和手在第二坐标系内的位置，依次对第三帧、第四帧……手图像处理，得到第二坐标系的第二原点在第一坐标系内的位置视频流和手在第二坐标系内的视频流，形成手势输入。在该实施方式中，位置视频流为第二坐标系中第二原点在第一坐标系内的位置视频流；手在第二坐标系内的视频流包括手指的弯曲和手掌的转动形成的视频流。

处理模块3对输入手势的获取还有第二种实施方案，在该方案中，第一帧手图像经过初始化模块2的处理后传输给处理模块3，处理模块3获得第一坐标系、第二坐标系以及第二坐标系在第一坐标系内的位置和手在第二坐标系内的位置。第二帧手图像经初始化模块2处理后传输给处理模块3，处理模块3获得第二坐标系、第二坐标系在第一坐标系内的位置和手在第二坐标系内的位置，依次对第三帧、第四帧……手图像处理，得到第二坐标系在第一坐标系内的位置视频流和手在第二坐标系内的视频流，形成手势输入。在该实施方式中，位置视频流为第二坐标系中第二原点在第一坐标系内的位置视频流和第二坐标系转动的视频流；手在第二坐标系内的视频流包括手指的弯曲的视频流。

在以上两种实施方案中，初始化模块2建立的第一坐标系是不变的，建立的第二坐标系随着手运动可能引起变化。在第一种实施方案中，处理模块3在处理手图像时不考虑第二坐标系的变化，而将第二坐标系的变化通过手在第二坐标系中位置的变化展现。在第二种实施方案中，初始化模块2在每一帧手图像中都重新建立第二坐标系，处理模块3获取每一帧手图像中的第二坐标系在第一坐标系内的位置，每一帧手图像中手在第二坐标系内的位置。

识别模块4接收处理模块3输出的手势，将该手势与存储器5中预存储的标准手势作比较，若与一标准手势匹配，则将该标准手势作为识别结果，传送到传输接口6。

处理模块3检测到手图像时开始对手势进行识别，在连续多次接收到相同的手图像时，例如在0.5-3秒内接收的手图像均相同，识别手势结束。

智能终端20设有存储模块201、信号转换模块202、核处理器203和蓝牙模块204，在存储模块201内存储与标准手势一一对应的指令信息。信号转换模块202能够将音频信号转换为信息信号或指令信号输出，作为转换方式之一，信号转换模块202中置有音频信号与信息信号和指令信号相对应的数据信息，信号转换模块202根据该数据信息进行音频信号与信息信号或指令信号的转换。其中，指令信号为互动器对智能终端的控制信号，信息信号是在智能终端上显示的图像、文字等。核处理器203用于信息信号和指令信号的处理，并将对应信息或执行指令后的结果在智能终端20上显示出来。

摄像头10的识别模块4通过传输接口6将识别结果输出给智能终端20，智能终端20根据该识别结果调取相应的指令信息，完成相应的操作。

互动器40包括音频收发单元401和信号收发单元402，音频收发单元401将音频转换为音频信号输出给信号收发单元402，形成无线音频信号发射出去；信号收发单元402接收无线音频信号形成音频信号输出给音频收发单元401，形成音频输出；其中音频收发单元401可以包括麦克风模块和扬声器模块，也可以是其他具有接收、发出音频的模块，信号收发单元402与摄像头10的蓝牙模块7对应，两者使用相同的无线通信协议。其中，音频是指声音，音频信号是声音转换成的加载有声音信息的电信号，无线音频信号是加载有音频信号的电磁波信号。

通常的，互动器40上还设有电源单元和按键(图中未示出)，电源单元为互动器40的工作提供电能，电源单元可以是干电池、锂电池以及其他的蓄电池、可充放电电池；按键用于控制互动器40的开启与关闭，互动器40上还可以进一步设置LED指示灯或者显示单元，以指示互动器40是否处于工作状态。

在互动器40接收音频时，音频经互动器40的音频收发单元401转换为音频信号，该音频信号经信号收发单元402发射出去，形成无线音频信号；智能终端20的蓝牙模块204接收到该无线音频信号，传输到信号转换模块202，信号转换模块202将其转换为信息信号或者指令信号传输给核处理器203，核处理器203将对应信息或执行指令后的结果在智能终端20上显示出来。智能终端20的蓝牙模块204无线接收的无线音频信号中的一部分传输至核处理器203，由核处理器203控制智能终端20将其作为音频播放出来。

在互动器40发出音频时，智能终端20上的信息信号经在信号转换模块203处理后，转换为音频信号经蓝牙模块204形成无线音频信号发送出去，信号收发单元402接收到该无线音频信号后形成音频信号输出给音频收发单元401，最后该音频信号由音频收发单元401转换为音频输出。智能终端20中的音频信号经蓝牙模块204形成无线音频信号发送出去，信号收发单元402接收到该无线音频信号后形成音频信号输出给音频收发单元401，最后该音频信号由音频收发单元401转换为音频输出。

参照图4，图4为本发明互动型智能系统实施例2的模块图，该智能终端系统包括依次连接的摄像头10、智能终端20、云服务器30和互动器40，摄像头10与智能终端20相连接。

其中，摄像头10包括摄像模块1、初始化模块2、处理模块3、识别模块4、存储器5和USB接口6，摄像模块1设有镜头11和图像传感器12。

与实施例1相比不同在于，本实施例2摄像头10的传输接口采用USB接口，更具有通用性；增加与智能终端20连接的云服务端30；互动器40增加按键单元和控制按键。

按键单元403用于控制音频收发单元401输出的音频信号为指令信号或信息信号。例如，在使用时，按住按键单元403，音频收发单元401将接收到的音频转换成指令信号经信号收发单元402发送出去；松开按键单元403时，音频收发单元401将接收到的音频转换成信息信号经信号收发单元402发送出去。

控制按键404设置有多个，通过按压控制按键404可以形成指令信号并经信号收发单元402发射出去。控制按键404输入指令信号时，该指令信号经信号收发单元402发射出去；摄像头10的蓝牙模块7接收到该指令信号，经USB接口6传输到智能终端20，智能终端20根据该指令形成相应控制信号并完成相应操作。

云服务端30包括识别单元301和数据库302，识别单元301接收智能终端20输出的信号信息，数据库302储存有与读取单元501输出信号对应数据或指令，也即为与识别单元301接收的信号信息对应数据或指令，云服务端30根据识别单元301接收的信号信息从数据库302中调取对应数据或者指令，并将该数据或者指令输出给智能终端20。

智能终端20包括但不限于台式电脑、笔记本电脑、平板电脑和智能手机等，例如台式电脑机箱与投影装置连接而成的设备。

在实施时，摄像头通过USB接口与智能终端连接。在其他实施方式中，例如应用于笔记本电脑、平板电脑等智能终端时，在智能终端上自带摄像头，此时摄像头集成于智能终端上，该种方式也应在本发明权利要求的保护范围之内。

以上所述仅为本发明的优选实施例，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围内。

Claims (9)

1.一种互动型智能终端系统，包括智能终端和摄像头，所述摄像头通过其传输接口与所述智能终端连接，其特征在于，还包括：

互动器，所述互动器包括：用于接收音频、发出音频信号的音频收发单元，以及与所述音频收发单元连接、用于无线音频信号发射的信号收发单元；

所述智能终端包括与所述信号收发单元无线连接、用于无线音频信号接收的无线收发模块、用于音频信号与信息信号和/或指令信号转换的信号转换模块，以及用于信息信号和指令信号处理的核处理器；

所述智能终端无线接收的无线音频信号经所述信号转换模块处理后传输至所述核处理器；

其中，所述摄像头包括：

摄像模块，所述摄像模块设有镜头和图像传感器；

存储器，用于预存储标准手势；

初始化模块，用于建立以所述图像传感器表面为第一坐标平面的第一坐标系、以正对所述镜头时的手掌面为第二坐标平面的第二坐标系，确定所述第二坐标系在所述第一坐标系内的位置；

处理模块，用于处理所述摄像模块采集的手运动图像，得到所述第二坐标系在所述第一坐标系内的位置视频流和手在所述第二坐标系内的视频流，形成手势输入；

识别模块，用于将所述处理模块输出的手势与所述标准手势作比较，若与一所述标准手势匹配，则将该标准手势作为识别结果，并传送到所述传输接口；

所述智能终端设有存储模块，所述存储模块中存储与所述标准手势一一对应的指令信息。

2.根据权利要求1所述的智能终端系统，其特征在于，所述无线收发模块接收的无线音频信号传输至所述智能终端的核处理器。

3.根据权利要求1所述的智能终端系统，其特征在于，所述互动器还包括音频收发单元输出的音频信号为指令信号或信息信号的按键单元。

4.根据权利要求1-3任一项所述的智能终端系统，其特征在于，所述互动器还包括多个用于指令信号输入的控制按键，所述控制按键输入的指令信号经所述信号收发单元形成无线指令信号发射出去。

5.根据权利要求1所述的智能终端系统，其特征在于，所述无线收发模块为蓝牙模块；所述传输接口为USB接口。

6.根据权利要求1所述的智能终端系统，其特征在于，还包括云服务端，所述智能终端通过网络接口与所述云服务端连接。

7.根据权利要求6所述的智能终端系统，其特征在于，所述云服务端包括识别单元和储存有与所述识别单元输出信号对应数据或指令的数据库。

8.根据权利要求1所述的智能终端系统，其特征在于，所述第一坐标系以所述第一坐标平面内的竖直方向线、水平方向线及所述竖直方向线、水平方向线的垂直线为坐标轴，以所述图像传感器的中心为第一原点；所述第二坐标平面内，取手腕处直线方向为X轴、手掌外侧缘处垂直于X轴的直线为Y轴；所述第二坐标系以所述X轴、Y轴及垂直于所述X轴、Y轴的Z轴为坐标轴；以所述X轴、Y轴的交点为第二原点。

9.根据权利要求1所述的智能终端系统，其特征在于，所述第二坐标系为三维坐标系，所述位置视频流为所述第二坐标系中第二原点的位置视频流；手在所述第二坐标系内的视频流，包括：手指的弯曲和手掌的转动形成的视频流；所述位置视频流为所述第二坐标系中第二原点的位置视频流和所述第二坐标系转动的视频流；手在所述第二坐标系内的视频流，包括：手指的弯曲形成的视频流。