CN103581727A - 一种基于智能电视平台的手势识别交互系统及交互方法 - Google Patents

一种基于智能电视平台的手势识别交互系统及交互方法 Download PDF

Info

Publication number
CN103581727A
CN103581727A CN201310486326.5A CN201310486326A CN103581727A CN 103581727 A CN103581727 A CN 103581727A CN 201310486326 A CN201310486326 A CN 201310486326A CN 103581727 A CN103581727 A CN 103581727A
Authority
CN
China
Prior art keywords
camera
projecting apparatus
display device
gesture
interactive system
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201310486326.5A
Other languages
English (en)
Inventor
陈冠霖
曹俭
潘贡
刘贤洪
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sichuan Changhong Electric Co Ltd
Original Assignee
Sichuan Changhong Electric Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sichuan Changhong Electric Co Ltd filed Critical Sichuan Changhong Electric Co Ltd
Priority to CN201310486326.5A priority Critical patent/CN103581727A/zh
Publication of CN103581727A publication Critical patent/CN103581727A/zh
Pending legal-status Critical Current

Links

Images

Abstract

本发明提供了一种基于智能电视平台的手势识别交互系统及交互方法，包括投影仪、背投幕板和2D摄像头，投影仪接收来自主显示设备的操作UI、游戏控制界面或复制主显示设备的屏幕内容，通过投影镜头投射到背投幕板，用户接触幕板或在幕板后近距离的手势、手指操控，同时，投影仪上装备的摄像头捕捉到用户的操控行为，实现手势操控识别，将之转化为控制信号回传给主显示设备，从而实现与智能设备的沉浸式交互。

Description

一种基于智能电视平台的手势识别交互系统及交互方法
技术领域
本发明涉及一种基于智能电视平台的手势识别交互系统及交互方法，特别是涉及在智能电视与智能投影仪、智能机顶盒与智能投影仪之间，实现交互的系统及方法。
背景技术
随着电视终端智能化、网络化的发展，智能电视可获取的内容得到了极大的丰富：网页浏览、收发邮件、游戏娱乐、远程医疗、信息咨询等，功能非常的多元化，这些新功能要求用户与智能设备的交互越来越多，智能设备的操控随之变得更加频繁和复杂。为改善用户的交互体验，发展出了许多新型的交互方式：如语音交互、手势识别、动作识别以及智能外设（多屏互动）等，另外PC上的交互设备——鼠标也成为一种常见的解决办法。
基于摄像头的手势识别与动作识别交互技术，主要3D摄像头，以人体或手掌作为识别对象，进行动作行为捕捉，精度普遍不高，同时用户都是隔空比划，与显示设备相隔较远，降低了用户的沉浸感。
发明内容
本发明要解决的技术问题是提供一种识别精度更高、能提升用户沉浸感的基于智能电视平台的手势识别交互系统及交互方法。
本发明采用的技术方案如下：一种基于智能电视平台的手势识别交互系统，其特征在于：包括投影仪、背投幕板和2D摄像头；所述投影仪为智能投影仪，能够接收来自主显示设备的操作UI、游戏控制界面或复制主显示设备的屏幕内容，并对内容进行镜像处理，能够对2D摄像头采集的操控图像进行处理，并将处理获得的主显示设备所需的控制信息回传到智能电视。
作为对其进一步的改进，所述背投幕板为硬质背投幕板。
作为对其进一步的改进，所述投影仪为LED投影仪。
作为对其进一步的改进，所述2D摄像头为RGB摄像头。
作为对其进一步的改进，所述2D摄像头与投影仪为一体的。
基于上述系统的交互方法，具体方法为：智能投影仪接收来自主显示设备的操作UI、游戏控制界面或复制主显示设备的屏幕内容，通过投影镜头投射到硬质背投幕板，用户接触幕板或在幕板后近距离的手势、手指操控，同时，投影仪上装备的摄像头捕捉到用户的操控行为，实现手势操控识别，将之转化为控制信号回传给主显示设备，从而实现与智能设备的沉浸式交互。
作为对其进一步的改进，智能投影仪实现手势操控识别的方法为：投影仪将经过镜像处理的图像光投射到背投幕板上，光从幕板的A面入射在板内成像，用户在幕板的B面能够看到清晰的图像，通过在幕板后触摸或近距离手势、手指动作实现操控，投影仪上的摄像头能够捕捉到用户的操控动作，同时也采集了投影仪所投射的镜像的图像。
作为对其进一步的改进，所述投影仪与主显示设备之间通过无线直连的方式进行信息交互。
作为对其进一步的改进，以投影图像的大小为参照物，通过比较摄像头采集到的图像中用户手的大小变化来获得深度信息。
作为对其进一步的改进，所述摄像头采用固定焦距，采集对焦范围内的图像，自然虚化远场的背景。
与现有技术相比，本发明的有益效果是：能让用户直观自然的与智能设备实现沉浸式交互，基于与智能电视平台间设备的互联互通，有效提高交互效率，提高用户与智能设备交互的沉浸感，提升识别精度，提升用户体验。
附图说明
图1为本发明方案中实施操控识别的示意图。
图2为本发明方案中深度识别的示意图。
图3为本发明方案中智能投影仪与主显示设备的交互示意图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明。
本说明书（包括任何附加权利要求、摘要和附图）中公开的任一特征，除非特别叙述，均可被其他等效或者具有类似目的的替代特征加以替换。即，除非特别叙述，每个特征只是一系列等效或类似特征中的一个例子而已。
如图1所示，一种基于智能电视平台的手势识别交互系统，包括投影仪、背投幕板和2D摄像头；所述投影仪为智能投影仪，能够接收来自主显示设备的操作UI、游戏控制界面或复制主显示设备的屏幕内容，并对内容进行镜像处理，能够对2D摄像头采集的操控图像进行处理，并将处理获得的主显示设备所需的控制信息回传到智能电视。
所述背投幕板为硬质背投幕板。硬质背投幕板成本低廉，无需电源，可随意触摸拍打，亦可随意放置，与投影能方便的组合成触控系统，实现沉浸式交互。
所述投影仪为LED投影仪。LED投影具备体积小巧，功耗低，寿命长的特点，可以根据用户喜好随意放置，同时，投影图像大小与投影距离是成固定比例的，通过比较摄像头不同时间点采集到的图像中手的大小即可获得深度信息，提升识别精度。
所述2D摄像头为普通的RGB摄像头，采用对焦范围控制的镜头。RGB摄像头价格便宜有利于大规模应用。
所述2D摄像头与投影仪为一体的。
基于上述系统的交互方法，具体方法为：智能投影仪接收来自主显示设备的操作UI、游戏控制界面或复制主显示设备的屏幕内容，通过投影镜头投射到硬质背投幕板，用户接触幕板或在幕板后近距离的手势、手指操控，同时，投影仪上装备的摄像头捕捉到用户的操控行为，实现手势操控识别，将之转化为控制信号回传给主显示设备，从而实现与智能设备的沉浸式交互。
智能投影仪实现手势操控识别的方法为：投影仪将经过镜像处理的图像光投射到背投幕板上，光从幕板的A面入射在板内成像，用户在幕板的B面能够看到清晰的图像，通过在幕板后触摸或近距离手势、手指动作实现操控，从幕板的B面到A面是可透光的，投影仪上的摄像头能够捕捉到用户的操控动作，同时也采集了投影仪所投射的镜像的图像。
如图3所示，所述投影仪与主显示设备（智能电视、智能机顶盒等）之间通过无线直连的方式（Wi-Fi Direct）进行信息交互。鉴于此交互方式，用户可以根据喜好随意摆放，自由的选择触控系统的摆放位置，提高用户体验，如摆放于厨房收看主显示器的厨房类节目。
以投影图像的大小为参照物，通过比较摄像头采集到的图像中用户手的大小变化来获得深度信息。
如图2所示，由于摄像头是普通的2D摄像头，正常采集仅能捕捉到用户在平面方向的手势动作，即水平（X）和垂直（Y）方向；投影仪所投射的画面大小和投影距离是成正比的，即：投射比例=投影距离d/画面宽度w，当投影距离d确定时，投影画面的大小也就确定了；以投影图像的大小为参照物，通过比较摄像头采集到的图像中用户手的大小变化，即可获得深度信息（Z）。
所述摄像头采用固定焦距，采集对焦范围内的图像，自然虚化远场的背景，减小手势识别后端图像处理的运算量，同时提高识别精度，可以做到手指动作识别。 

Claims (10)

1.一种基于智能电视平台的手势识别交互系统，其特征在于：包括投影仪、背投幕板和2D摄像头；所述投影仪为智能投影仪，能够接收来自主显示设备的操作UI、游戏控制界面或复制主显示设备的屏幕内容，并对内容进行镜像处理，能够对2D摄像头采集的操控图像进行处理，并将处理获得的主显示设备所需的控制信息回传到智能电视。
2.根据权利要求1所述的交互系统，其特征在于：所述背投幕板为硬质背投幕板。
3.根据权利要求1所述的交互系统，其特征在于：所述投影仪为LED投影仪。
4.根据权利要求1所述的交互系统，其特征在于：所述2D摄像头为RGB摄像头。
5.根据权利要求1所述的交互系统，其特征在于：所述2D摄像头与投影仪为一体的。
6.基于权1所述交互系统的交互方法，具体方法为：智能投影仪接收来自主显示设备的操作UI、游戏控制界面或复制主显示设备的屏幕内容，通过投影镜头投射到背投幕板，用户接触幕板或在幕板后近距离的手势、手指操控，同时，投影仪上装备的摄像头捕捉到用户的操控行为，实现手势操控识别，将之转化为控制信号回传给主显示设备，从而实现与智能设备的沉浸式交互。
7.根据权利要求6所述的交互方法，智能投影仪实现手势操控识别的方法为：投影仪将经过镜像处理的图像光投射到背投幕板上，光从幕板的A面入射在板内成像，用户在幕板的B面能够看到清晰的图像，通过在幕板后触摸或近距离手势、手指动作实现操控，投影仪上的摄像头能够捕捉到用户的操控动作，同时也采集了投影仪所投射的镜像的图像。
8.根据权利要求7所述的交互方法，所述投影仪与主显示设备之间通过无线直连的方式进行信息交互。
9.根据权利要求7所述的交互方法，以投影图像的大小为参照物，通过比较摄像头采集到的图像中用户手的大小变化来获得深度信息。
10.根据权利要求7所述的交互方法，所述摄像头采用固定焦距，采集对焦范围内的图像，自然虚化远场的背景。
CN201310486326.5A 2013-10-17 2013-10-17 一种基于智能电视平台的手势识别交互系统及交互方法 Pending CN103581727A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201310486326.5A CN103581727A (zh) 2013-10-17 2013-10-17 一种基于智能电视平台的手势识别交互系统及交互方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201310486326.5A CN103581727A (zh) 2013-10-17 2013-10-17 一种基于智能电视平台的手势识别交互系统及交互方法

Publications (1)

Publication Number Publication Date
CN103581727A true CN103581727A (zh) 2014-02-12

Family

ID=50052495

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201310486326.5A Pending CN103581727A (zh) 2013-10-17 2013-10-17 一种基于智能电视平台的手势识别交互系统及交互方法

Country Status (1)

Country Link
CN (1) CN103581727A (zh)

Cited By (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104866081A (zh) * 2014-02-25 2015-08-26 中兴通讯股份有限公司 一种终端操作方法、装置及终端
CN105430454A (zh) * 2014-09-19 2016-03-23 青岛海高设计制造有限公司 视听设备及其人机交互方法
CN106055092A (zh) * 2016-05-18 2016-10-26 广景视睿科技（深圳）有限公司 一种实现互动投影的方法及系统
CN106693361A (zh) * 2016-12-23 2017-05-24 武汉市马里欧网络有限公司 一种基于超声波手势识别的ar换装游戏投影方法及系统
CN107357356A (zh) * 2017-07-04 2017-11-17 北京有初科技有限公司 微型投影电脑和利用手势控制微型投影电脑翻页的方法
CN108958618A (zh) * 2017-05-25 2018-12-07 异象科技（北京）有限公司 Ar电脑投影交互触摸一体机
WO2018223341A1 (zh) * 2017-06-08 2018-12-13 深圳市乃斯网络科技有限公司 终端基于手势的游戏控制方法及系统
CN109872656A (zh) * 2018-12-29 2019-06-11 合肥金诺数码科技股份有限公司 一种实现多媒体展项的设备及方法
CN110782532A (zh) * 2019-10-23 2020-02-11 北京达佳互联信息技术有限公司 图像生成方法、生成装置、电子设备及存储介质
CN112162688A (zh) * 2020-08-20 2021-01-01 江苏大学 一种基于手势识别的车载虚拟屏交互信息系统
CN112363667A (zh) * 2020-11-12 2021-02-12 四川长虹电器股份有限公司 一种触摸遥控方法及系统
CN113856213A (zh) * 2021-09-16 2021-12-31 浙江理工大学 一种辅助自闭儿童运动康复的音乐交互玩具
WO2024000365A1 (zh) * 2022-06-30 2024-01-04 京东方科技集团股份有限公司 用于多媒体设备的摄像头和会议系统

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN201331752Y (zh) * 2009-01-19 2009-10-21 杭州电子科技大学 一种多点触摸式人机交互装置
US20100166258A1 (en) * 2008-12-30 2010-07-01 Xiujuan Chai Method, apparatus and computer program product for providing hand segmentation for gesture analysis
CN101881921A (zh) * 2010-04-27 2010-11-10 程抒一 手势控制投影系统
CN102073376A (zh) * 2010-12-07 2011-05-25 清华大学 便携式无线操作系统及方法
CN102256014A (zh) * 2011-07-13 2011-11-23 南京大学 具有投影功能的智能手机
CN102346647A (zh) * 2011-09-19 2012-02-08 盛乐信息技术（上海）有限公司 投影仪控制方法及系统
CN102769802A (zh) * 2012-06-11 2012-11-07 西安交通大学 一种智能电视机的人机交互系统及其交互方法
CN102985896A (zh) * 2010-07-16 2013-03-20 高通股份有限公司 用于与投影用户接口交互的方法和系统
CN103324282A (zh) * 2012-03-21 2013-09-25 卡西欧计算机株式会社 输入用户接口装置、投影装置、命令确定方法

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20100166258A1 (en) * 2008-12-30 2010-07-01 Xiujuan Chai Method, apparatus and computer program product for providing hand segmentation for gesture analysis
CN201331752Y (zh) * 2009-01-19 2009-10-21 杭州电子科技大学 一种多点触摸式人机交互装置
CN101881921A (zh) * 2010-04-27 2010-11-10 程抒一 手势控制投影系统
CN102985896A (zh) * 2010-07-16 2013-03-20 高通股份有限公司 用于与投影用户接口交互的方法和系统
CN102073376A (zh) * 2010-12-07 2011-05-25 清华大学 便携式无线操作系统及方法
CN102256014A (zh) * 2011-07-13 2011-11-23 南京大学 具有投影功能的智能手机
CN102346647A (zh) * 2011-09-19 2012-02-08 盛乐信息技术（上海）有限公司 投影仪控制方法及系统
CN103324282A (zh) * 2012-03-21 2013-09-25 卡西欧计算机株式会社 输入用户接口装置、投影装置、命令确定方法
CN102769802A (zh) * 2012-06-11 2012-11-07 西安交通大学 一种智能电视机的人机交互系统及其交互方法

Cited By (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104866081A (zh) * 2014-02-25 2015-08-26 中兴通讯股份有限公司 一种终端操作方法、装置及终端
WO2015127720A1 (zh) * 2014-02-25 2015-09-03 中兴通讯股份有限公司 一种终端操作方法、装置及终端
CN105430454A (zh) * 2014-09-19 2016-03-23 青岛海高设计制造有限公司 视听设备及其人机交互方法
CN106055092A (zh) * 2016-05-18 2016-10-26 广景视睿科技（深圳）有限公司 一种实现互动投影的方法及系统
CN106693361A (zh) * 2016-12-23 2017-05-24 武汉市马里欧网络有限公司 一种基于超声波手势识别的ar换装游戏投影方法及系统
CN108958618A (zh) * 2017-05-25 2018-12-07 异象科技（北京）有限公司 Ar电脑投影交互触摸一体机
WO2018223341A1 (zh) * 2017-06-08 2018-12-13 深圳市乃斯网络科技有限公司 终端基于手势的游戏控制方法及系统
CN107357356A (zh) * 2017-07-04 2017-11-17 北京有初科技有限公司 微型投影电脑和利用手势控制微型投影电脑翻页的方法
CN109872656A (zh) * 2018-12-29 2019-06-11 合肥金诺数码科技股份有限公司 一种实现多媒体展项的设备及方法
CN109872656B (zh) * 2018-12-29 2021-08-13 合肥金诺数码科技股份有限公司 一种实现多媒体展项的设备及方法
CN110782532A (zh) * 2019-10-23 2020-02-11 北京达佳互联信息技术有限公司 图像生成方法、生成装置、电子设备及存储介质
US20200402321A1 (en) * 2019-10-23 2020-12-24 Beijing Dajia Internet Information Technology Co., Ltd. Method, electronic device and storage medium for image generation
CN110782532B (zh) * 2019-10-23 2021-04-16 北京达佳互联信息技术有限公司 图像生成方法、生成装置、电子设备及存储介质
CN112162688A (zh) * 2020-08-20 2021-01-01 江苏大学 一种基于手势识别的车载虚拟屏交互信息系统
CN112363667A (zh) * 2020-11-12 2021-02-12 四川长虹电器股份有限公司 一种触摸遥控方法及系统
CN113856213A (zh) * 2021-09-16 2021-12-31 浙江理工大学 一种辅助自闭儿童运动康复的音乐交互玩具
WO2024000365A1 (zh) * 2022-06-30 2024-01-04 京东方科技集团股份有限公司 用于多媒体设备的摄像头和会议系统

Similar Documents

Publication Publication Date Title
CN103581727A (zh) 一种基于智能电视平台的手势识别交互系统及交互方法
CN101878487B (zh) 用户接口装置、用户接口方法、以及记录媒体
CN102902476B (zh) 一种触摸式终端控制电子设备的方法及其系统
CN102360251B (zh) 空中鼠标、空中鼠标控制系统及实现控制的方法
CN102520793A (zh) 基于手势识别的会议演示交互方法
TW202304212A (zh) 直播方法、系統、電腦設備及電腦可讀儲存媒體
CN102902406B (zh) 一种触摸式终端及其控制电子设备的系统
CN103176667A (zh) 基于Android系统的投影屏幕触摸终端设备
CN102902356B (zh) 一种手势控制系统及其控制方法
CN110473436A (zh) 一种阅读辅助学习设备
CN102685581B (zh) 智能电视多人手控系统
CN102868925A (zh) 智能电视控制方法
CN105630134A (zh) 识别操作事件的方法和装置
CN208521255U (zh) 一种基于虚拟现实的人机交互系统
CN101071350B (zh) 一种通过识别动态轨迹操作光标、视窗的装置
CN201945948U (zh) 一种基于图像检测的非接触式手势翻书演示系统
CN203825558U (zh) 基于玻璃屏的人机交互系统
CN102567631A (zh) 一种虚拟宠物交互仿真电子宠物系统
CN205788098U (zh) 基于双目机器视觉的非接触投影交互系统
CN202548758U (zh) 一种互动投影系统
CN103777756A (zh) 基于玻璃屏的人机交互系统
CN102778964A (zh) 空中鼠标、空中鼠标控制系统及实现控制的方法
CN109643182A (zh) 信息处理方法、装置、云处理设备及计算机程序产品
CN203117946U (zh) 一种移动终端
CN102662471A (zh) 计算机视觉鼠标

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20140212