CN106293083B - 一种大屏幕交互系统及其交互方法 - Google Patents

一种大屏幕交互系统及其交互方法 Download PDF

Info

Publication number
CN106293083B
CN106293083B CN201610637996.6A CN201610637996A CN106293083B CN 106293083 B CN106293083 B CN 106293083B CN 201610637996 A CN201610637996 A CN 201610637996A CN 106293083 B CN106293083 B CN 106293083B
Authority
CN
China
Prior art keywords
sensor
skeleton
interactive system
screen
screen interactive
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201610637996.6A
Other languages
English (en)
Other versions
CN106293083A (zh
Inventor
谭登峰
杜响红
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nanjing kernel Optoelectronics Technology Co., Ltd.
Original Assignee
Nanjing Kernel Optoelectronics Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nanjing Kernel Optoelectronics Technology Co Ltd filed Critical Nanjing Kernel Optoelectronics Technology Co Ltd
Priority to CN201610637996.6A priority Critical patent/CN106293083B/zh
Publication of CN106293083A publication Critical patent/CN106293083A/zh
Application granted granted Critical
Publication of CN106293083B publication Critical patent/CN106293083B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • User Interface Of Digital Computer (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Abstract

本发明公开了一种大屏幕交互系统及其交互方法，包括：传感器，检测人体骨骼数据流；设备端，接收传感器传来的人体骨骼数据流，计算传感器与用户的距离参数；服务端，比较各传感器与用户的距离参数，选择距离参数小的传感器对应的人体骨骼数据流进行处理，判别人体骨骼活动位置和角度；客户端，将人体骨骼活动位置和角度与数据库中的指令事件对应，通过手势对屏幕进行操作。本发明提出的一种大屏幕交互系统及其交互方法，扩大了传感器的有限视角，解决了使用多台传感器造成的视角重叠、互相干扰、响应紊乱的问题，且方法简单、安装方便，适合各种拼接屏以及大屏幕使用。

Description

一种大屏幕交互系统及其交互方法
技术领域
本发明涉及交互技术领域，特别是一种大屏幕交互系统及其交互方法。
背景技术
传感器是一种检测装置，能感受到被测量的信息，并能将感受到的信息，按一定规律变换成为电信号或其他所需形式的信息输出，以满足信息的传输、处理、存储、显示、记录和控制等要求。传感器的存在和发展，让物体有了触觉、味觉和嗅觉等感官，让物体慢慢变得活了起来。目前用的比较多的传感器有体感传感器、实感传感器等。
Kinect是微软公司推出的基于体感交互的人机交互设备。Kinect最初作为Xbox360的外接设备发布，利用即时动态骨骼跟踪、影像识别、麦克风输入、语音识别等功能让玩家摆脱传统游戏手柄的束缚，通过自己的肢体动作来控制游戏。Kinect作为一个深度传感器，它的主要硬件结构有RGB摄像头，红外光发射阵列，红外摄像头，麦克风阵列和传动马达。其中，由RGB摄像头来捕捉二维平面信息，由红外光发射阵列和红外摄像头来捕捉深度信息，即红外光反射点和传感器之间的距离。麦克风阵列接收语音输入，进行语音识别，传动马达控制传感器的俯仰角度。Kinect传感器作为人体感应的装置，主要原理是将人体信息转化为人体骨骼信息，人体关节的运动轨迹被记录下来后，即能作为传感器的手势信号。其中，KinectV1代能记录20个人体骨骼节点信息，能同时完全记录两个人的骨骼节点运动信息，V2代能记录25个人体骨骼节点信息，能同时完全记录6个人的骨骼节点运动信息。经过多年发展，逐渐被应用在演讲、发布会等场合当中，配合大尺寸或超大尺寸屏幕的场景来供演讲者手势操作。
但是，由于Kinect有限的视角，势必会产生视角盲区，从而产生用户操作的“禁地”。为了解决此问题，可通过多台Kinect构成Kinect传感器阵列来捕捉用户动作，但是如果单纯架设多台Kincet传感器，又会产生视角重叠，发生互相干扰现象，当用户进入重叠区域时，会产生跟踪不明、响应紊乱等问题。
发明内容
为了解决上述问题，本发明提出了一种大屏幕交互系统及其交互方法。
具体如下：
一种大屏幕交互系统，包括传感器，检测人体骨骼数据流；设备端，接收传感器传来的人体骨骼数据流，计算传感器与用户的距离参数；服务端，比较各传感器与用户的距离参数，选择距离参数小的传感器对应的人体骨骼数据流进行处理，判别人体骨骼活动位置和角度；客户端，将人体骨骼活动位置和角度与数据库中的指令事件对应，通过手势对屏幕进行操作。
优选地，所述传感器包括红外光发射器和红外摄像头。
优选地，所述传感器与设备端通过数据线连接。
优选地，所述设备端、服务端和客户端均为计算机。
优选地，所述设备端、服务端和客户端之间的的连接方式为蓝牙、网络中的任一种。
优选地，还包括拼接控制器。
优选地，所述屏幕为拼接屏。
优选地，所述拼接控制器一端通过视频线与客户端连接，另一端通过视频线与拼接屏连接。
一种大屏幕交互系统的交互方法，方法如下：
步骤一、当人体靠近屏幕时，各传感器分别通过红外光发射器和红外摄像头捕捉人体骨骼数据流，并传输给对应的设备端；
步骤二、设备端从人体骨骼数据流中提取出人体骨骼节点位置数据，对人体骨骼节点位置数据进行计算，得到距离参数，将距离参数和人体骨骼数据流发送给服务端；
步骤三、服务端接收各设备端传输的距离参数和人体骨骼数据流，通过比较各设备端的距离参数得到最小距离参数，并对最小距离参数对应的人体骨骼数据流进行处理，判别人体骨骼活动位置和角度，将结果发送给客户端；
步骤四、客户端根据接收到的人体骨骼活动位置和角度查找数据库中对应的指令事件，通过手势对屏幕进行操作，达到人体感应控制的目的。
优选地，所述设备端连接传感器的个数大于等于1。
优选地，所述步骤三中比较不同设备端的距离参数的公式为dm＝min(d1,d2,d3)，其中d1，d2，d3分别为人体与三个传感器的距离；dm为d1，d2，d3中的最小值。
优选地，所述步骤四为客户端根据接收到的人体骨骼活动位置和角度查找数据库中对应的指令事件，通过拼接控制器将手势操作的结果显示在拼接屏上，达到人体感应控制的目的。
优选地，所述设备端的个数为大于等于2。
优选地，所述步骤三中各设备端的距离参数相等时，服务端任选其一作为最小距离参数。
优选地，所述服务端上设有报警装置。
优选地，所述步骤三还包括测定传感器的盲区与传感器的最大距离a，服务端同时接收到大于等于2个设备端传输的计算结果和人体骨骼数据流，通过公式dm＝min(d1,d2,d3)计算dm，当dm-a≤0.5m时，服务端上的报警装置发出警告信号，其中d1，d2，d3分别为人体与三个传感器的距离；dm为d1，d2，d3中的最小值。
优选地，所述步骤三还包括后移所有传感器，增加传感器与屏幕的距离，消除盲区。
优选地，所述步骤三还包括平移所有传感器，减小传感器与传感器之间的距离，消除盲区。
本发明与现有技术相比，具有以下有益效果：
本发明提出的一种大屏幕交互系统及其交互方法，扩大了传感器的有限视角，解决了使用多台传感器造成的视角重叠、互相干扰、响应紊乱的问题，且方法简单、安装方便，适合各种拼接屏以及大屏幕使用。
附图说明
图1为本发明提出的一种大屏幕交互系统及其交互方法示意图；
图2为本发明提出的一种大屏幕交互系统及其交互方法实施例二示意图；
图3为本发明提出的一种大屏幕交互系统及其交互方法实施例三示意图；
图4为本发明提出的一种大屏幕交互系统及其交互方法实施例四示意图。
具体实施方式
以下结合具体实施方式进一步详细说明本发明的技术方案。应当理解，此处描述的具体实施方式仅仅用以解释本发明，并不用于限定本发明。
实施例一
如图1所示，传感器通过USB数据线与设备端连接，设备端、服务端、客户端之间通过网络连接，且均为计算机，客户端通过视频线与屏幕连接。当人体靠近屏幕时，传感器1、传感器2和传感器3分别通过红外光发射器和红外摄像头捕捉人体骨骼数据流，分别传输给对应的设备端1和设备端2。设备端1和设备端2从对应的人体骨骼数据流中提取出人体骨骼节点位置数据，计算出传感器1与人体的距离d1、传感器2与人体的距离d2和传感器3与人体的距离d3，并将d1、d2、d3和对应的人体骨骼数据流发送给服务端。服务端通过公式dm＝min(d1,d2,d3)选出最小的d。若最小d为d1，则服务端调用d1所对应的人体骨骼数据流，并对其进行分析计算，判别人体骨骼活动位置和角度，并将此分析计算结果发送给客户端。客户端根据接收到的人体骨骼活动位置和角度查找数据库中对应的指令事件，通过手势对屏幕进行操作，达到人体感应控制的目的。
实施例二
如图2所示，若屏幕为拼接屏，则需要在客户端与屏幕之间连接一个拼接控制器，拼接控制器一端通过视频线与客户端连接，另一端通过视频线与拼接屏连接，通过拼接控制器将手势操作的结果显示在拼接屏上，达到人体感应控制的目的。
实施例三
如图3所示，C1、C2、C3为传感器，将只有C1能捕捉到信号，而C2、C3都不能捕捉到信号的区域定义为M1；同理，将只有C2能捕捉到信号，而C1、C3都不能捕捉到信号的区域定义为M2；将只有C3能捕捉到信号，而C1、C2都不能捕捉到信号的区域定义为M3。而将C1、C2都能捕捉到信号，而C3不能捕捉到信号的区域定义为N1；同理定义N2。将C1、C2、C3都能捕捉到信号的区域定义为Q区。当人体靠近大屏幕时，C1、C2、C3分别通过红外光发射器和红外摄像头捕捉人体骨骼数据流，分别传输给对应的设备端。若只有一台传m感器捕捉到人体骨骼数据流，即人体位于M1或M2或M3，则不需要设备端进行计算，直接将人体骨骼数据流发送给服务端进行分析计算，位于M1时，即发送C1的数据，同理，发送C2，C3的数据。当两台或者三台传感器同时检测到人体骨骼信息时，即人体位于N1、N2和Q时，各设备端均向服务端发送距离参数d和人体骨骼数据流。在服务端通过公式dm＝min(d1,d2,d3)计算出人体距离哪台传感器最近，然后调用此最近的传感器监测到的人体骨骼数据流，并对其进行分析计算，判别人体骨骼活动位置和角度。若服务端计算出各设备端的距离参数相等时，服务端任选其一作为最小距离参数，将此最小距离参数对应的人体骨骼数据流进行处理，判别人体骨骼活动位置和角度，将结果发送给客户端，客户端根据接收到的人体骨骼活动位置和角度查找数据库中对应的指令事件，通过手势对屏幕进行操作，达到人体感应控制的目的。
实施例四
当人体进入传感器的感应区域时，传感器对人体信息进行实施监控。如图4所示，假设传感器的盲区与传感器的最大距离为a，服务端同时接收到大于等于2个设备端传输的计算结果和人体骨骼数据流，当服务端计算出人体与传感器的最小距离d满足d-a≤0.5m，服务端上的报警装置就会发出警告信号。
本发明可以通过如下两种方式消除盲区：后移所有传感器，增加传感器与屏幕的距离，消除盲区；平移所有传感器，减小传感器与传感器之间的距离，消除盲区，但消除盲区的方法并不限于这两种，任何与此方法类似的方法均属于本发明保护的范围。
本发明中的传感器可以为体感传感器、实感传感器等。
综上所述，本发明提出的一种大屏幕交互系统及其交互方法，扩大了传感器的有限视角，解决了使用多台传感器造成的视角重叠、互相干扰、响应紊乱的问题，且方法简单、安装方便，适合各种拼接屏以及大屏幕使用。
以上的实施方式均为本发明的优选实施方式，并非因此限制本发明的专利保护范围。任何本发明所属的技术领域的技术人员，在不脱离本发明所公开的精神和范围的前提下，对本发明的内容所做的等效结构与等效步骤的变换均落入本发明要求保护的专利范围之内。

Claims (18)

1.一种大屏幕交互系统，其特征在于，包括：传感器、设备端、服务端和客户端；
所述传感器，检测人体骨骼数据流；
所述设备端，接收所述传感器传来的人体骨骼数据流；若仅接收到一台所述传感器检测到的人体骨骼信息，则直接将人体骨骼数据流发送给所述服务端；若接收到至少两台所述传感器检测的人体骨骼信息，则计算所述传感器与用户的距离参数并将所述距离参数和人体骨骼数据流发送给所述服务端；
所述服务端，接收所述设备端发来的数据，若仅接收到一台所述传感器检测到的人体骨骼信息，则直接发送给所述客户端；若接收到至少两台所述传感器检测到的人体骨骼信息，则比较各传感器与用户的距离参数，选择距离参数小的传感器对应的人体骨骼数据流进行处理，判别人体骨骼活动位置和角度，并将所述判别结果发送给所述客户端；
所述客户端，将人体骨骼活动位置和角度与数据库中的指令事件对应，通过手势对屏幕进行操作。
2.根据权利要求1所述的一种大屏幕交互系统，其特征在于，所述传感器包括红外光发射器和红外摄像头。
3.根据权利要求1所述的一种大屏幕交互系统，其特征在于，所述传感器与设备端通过数据线连接。
4.根据权利要求1所述的一种大屏幕交互系统，其特征在于，所述设备端、服务端和客户端均为计算机。
5.根据权利要求1所述的一种大屏幕交互系统，其特征在于，所述设备端、服务端和客户端之间的连接方式为蓝牙、网络中的任一种。
6.根据权利要求1所述的一种大屏幕交互系统，其特征在于，还包括拼接控制器。
7.根据权利要求1所述的一种大屏幕交互系统，其特征在于，所述屏幕为拼接屏。
8.根据权利要求6或7所述的一种大屏幕交互系统，其特征在于，所述拼接控制器一端通过视频线与客户端连接，另一端通过视频线与拼接屏连接。
9.根据权利要求1所述的一种大屏幕交互系统，其特征在于，所述服务端上设有报警装置。
10.一种大屏幕交互系统的交互方法，所述大屏幕交互系统包括传感器、设备端、服务端、客户端，其特征在于，所述方法包括如下步骤：
步骤一、当人体靠近屏幕时，各传感器分别通过红外光发射器和红外摄像头捕捉人体骨骼数据流，并传输给对应的设备端；
步骤二、所述设备端接收所述传感器传来的人体骨骼数据流；若仅接收到一台所述传感器检测到的人体骨骼信息，则直接将人体骨骼数据流发送给所述服务端；若接收到至少两台所述传感器检测的人体骨骼信息，则从人体骨骼数据流中提取出人体骨骼节点位置数据，对人体骨骼节点位置数据进行计算，得到距离参数，将距离参数和人体骨骼数据流发送给服务端；
步骤三、所述服务端接收所述设备端发来的数据，若仅接收到一台所述传感器检测到的人体骨骼信息，则直接发送给所述客户端；若接收到至少两台所述传感器检测到的人体骨骼信息，则通过比较各设备端的距离参数得到最小距离参数，并对最小距离参数对应的人体骨骼数据流进行处理，判别人体骨骼活动位置和角度，将结果发送给客户端；
步骤四、所述客户端根据接收到的人体骨骼活动位置和角度查找数据库中对应的指令事件，通过手势对屏幕进行操作，达到人体感应控制的目的。
11.根据权利要求10所述的一种大屏幕交互系统的交互方法，其特征在于，所述设备端连接传感器的个数大于等于1。
12.根据权利要求10所述的一种大屏幕交互系统的交互方法，其特征在于，所述步骤三中比较不同设备端的距离参数的公式为dm＝min(d1,d2,d3)，其中d1，d2，d3分别为人体与三个传感器的距离；dm为d1，d2，d3中的最小值。
13.根据权利要求10所述的一种大屏幕交互系统的交互方法，其特征在于，所述步骤四为客户端根据接收到的人体骨骼活动位置和角度查找数据库中对应的指令事件，通过拼接控制器将手势操作的结果显示在拼接屏上，达到人体感应控制的目的。
14.根据权利要求10所述的一种大屏幕交互系统的交互方法，其特征在于，所述设备端的个数为大于等于2。
15.根据权利要求10所述的一种大屏幕交互系统的交互方法，其特征在于，所述步骤三中各设备端的距离参数相等时，服务端任选其一作为最小距离参数。
16.根据权利要求13所述的一种大屏幕交互系统的交互方法，其特征在于，所述步骤三还包括测定传感器的盲区与传感器的最大距离a，服务端同时接收到大于等于2个设备端传输的计算结果和人体骨骼数据流，通过公式dm＝min(d1,d2,d3)计算dm，当dm-a≤0.5m时，服务端上的报警装置发出警告信号，其中d1，d2，d3分别为人体与三个传感器的距离；dm为d1，d2，d3中的最小值。
17.根据权利要求16所述的一种大屏幕交互系统的交互方法，其特征在于，所述步骤三还包括后移所有传感器，增加传感器与屏幕的距离，消除盲区。
18.根据权利要求16所述的一种大屏幕交互系统的交互方法，其特征在于，所述步骤三还包括平移所有传感器，减小传感器与传感器之间的距离，消除盲区。
CN201610637996.6A 2016-08-07 2016-08-07 一种大屏幕交互系统及其交互方法 Active CN106293083B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201610637996.6A CN106293083B (zh) 2016-08-07 2016-08-07 一种大屏幕交互系统及其交互方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201610637996.6A CN106293083B (zh) 2016-08-07 2016-08-07 一种大屏幕交互系统及其交互方法

Publications (2)

Publication Number Publication Date
CN106293083A CN106293083A (zh) 2017-01-04
CN106293083B true CN106293083B (zh) 2019-06-04

Family

ID=57665837

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201610637996.6A Active CN106293083B (zh) 2016-08-07 2016-08-07 一种大屏幕交互系统及其交互方法

Country Status (1)

Country Link
CN (1) CN106293083B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107272910B (zh) * 2017-07-24 2020-06-23 武汉秀宝软件有限公司 一种基于攀岩项目的投影交互方法及系统

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101483713B1 (ko) * 2008-06-30 2015-01-16 삼성전자 주식회사 모션 캡쳐 장치 및 모션 캡쳐 방법
US8751215B2 (en) * 2010-06-04 2014-06-10 Microsoft Corporation Machine based sign language interpreter
CN102801924B (zh) * 2012-07-20 2014-12-03 合肥工业大学 一种基于Kinect的电视节目主持互动系统
CN103543827B (zh) * 2013-10-14 2016-04-06 徐坚 基于单个摄像机的沉浸式户外活动交互平台的实现方法
TW201526960A (zh) * 2014-01-15 2015-07-16 Int Games System Co Ltd 根據玩家揮手範圍切換遊戲畫面之方法
CN105681859A (zh) * 2016-01-12 2016-06-15 东华大学 基于人体骨骼追踪控制智能电视的人机交互方法

Also Published As

Publication number Publication date
CN106293083A (zh) 2017-01-04

Similar Documents

Publication Publication Date Title
KR100776801B1 (ko) 화상 처리 시스템에서의 제스처 인식 장치 및 방법
US6853880B2 (en) Autonomous action robot
KR101693951B1 (ko) 제스처 인식 방법 및 제스처 검출기
EP3800532B1 (en) Automated monitoring of a scene
KR101593187B1 (ko) 3차원 영상 정보를 이용한 이상 행동 감시 장치 및 방법
CN114391163A (zh) 手势检测系统和方法
KR20160088224A (ko) 객체 인식 방법 및 장치
CN106384106A (zh) 一种基于三维扫描的反欺诈人脸识别系统
KR102580434B1 (ko) 위험 상황 감지 장치 및 위험 상황 감지 방법
KR20100086262A (ko) 로봇 및 그 제어방법
WO2016070688A1 (zh) 虚拟操作界面遥控控制方法及系统
EP3398029B1 (en) Intelligent smart room control system
CN106778488B (zh) 基于图像相关性的低照度烟雾视频检测方法
Liu et al. Gesture Recognition for UAV-based Rescue Operation based on Deep Learning.
CN106293083B (zh) 一种大屏幕交互系统及其交互方法
JP2005202578A (ja) コミュニケーション装置およびコミュニケーション方法
CN104456474A (zh) 智能追光机器及其追光系统
JP6711799B2 (ja) 機器制御装置、機器制御方法及び機器制御システム
KR102647328B1 (ko) 엣지형 감시카메라 ai 이상상황 탐지제어장치 및 방법
KR102012719B1 (ko) 전방위 영상 기반 화상회의 발언자 인식 장치 및 방법
Sugimoto et al. Robust rule-based method for human activity recognition
CN106997449A (zh) 具有人脸识别功能的机器人和人脸识别方法
JP2019220145A (ja) 操作端末、音声入力方法、及びプログラム
CN114120368A (zh) 目标检测方法及检测设备
CN114663919A (zh) 人体姿势检测方法、装置、电子设备及存储介质

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
TA01 Transfer of patent application right

Effective date of registration: 20181219

Address after: 210028 Science and Technology Research and Development Base of Maigaoqiao Pioneer Park, Qixia District, Nanjing City, Jiangsu Province, 18-A307 Yinchun Road

Applicant after: Nanjing kernel Optoelectronics Technology Co., Ltd.

Address before: 215011 No. 78 Keling Road, Suzhou High-tech Zone, Suzhou City, Jiangsu Province

Applicant before: Suzhou Canglong Electronics Science and Technology Co., Ltd.

TA01 Transfer of patent application right
GR01 Patent grant
GR01 Patent grant