CN103152626A - 一种智能电视的远红外三维手势探测装置 - Google Patents

一种智能电视的远红外三维手势探测装置 Download PDF

Info

Publication number
CN103152626A
CN103152626A CN2013100732749A CN201310073274A CN103152626A CN 103152626 A CN103152626 A CN 103152626A CN 2013100732749 A CN2013100732749 A CN 2013100732749A CN 201310073274 A CN201310073274 A CN 201310073274A CN 103152626 A CN103152626 A CN 103152626A
Authority
CN
China
Prior art keywords
far infrared
hand
gesture
image
camera
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN2013100732749A
Other languages
English (en)
Inventor
张倩
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
SUZHOU BAINASI OPTICAL TECHNOLOGY Co Ltd
Original Assignee
SUZHOU BAINASI OPTICAL TECHNOLOGY Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by SUZHOU BAINASI OPTICAL TECHNOLOGY Co Ltd filed Critical SUZHOU BAINASI OPTICAL TECHNOLOGY Co Ltd
Priority to CN2013100732749A priority Critical patent/CN103152626A/zh
Publication of CN103152626A publication Critical patent/CN103152626A/zh
Pending legal-status Critical Current

Links

Images

Landscapes

  • Length Measuring Devices By Optical Means (AREA)

Abstract

一种远红外三维手势探测装置，它能快速准确的探测出手势的三维运动姿态，同时给智能电视发出相应的指令，如移动，缩放，旋转，以及三维物体的拉近和推远等。本发明改进了原有的被动式立体视觉法，采用两个相对位置固定的远红外相机代替普通的彩色相机，通过对人体的左右两个远红外影像进行分析比对，从而判定人手的运动的三维方位。由于体温的因素，人体辐射的远红外线可以轻易的被远红外相机所捕捉。尤其是人手暴露在空气中，其远红外影像更容易被识别。采用该方式进行手势探测，不受背景环境和人体服饰的影响，也无需环境照明，在极暗的环境也可操作。

Description

一种智能电视的远红外三维手势探测装置
技术领域
本发明涉及智能平板电视的遥控领域，尤其涉及一种智能平板电视的远红外三维手势探测装置。
背景技术
自从大尺寸智能平板电视(Smart TV)面世以来，智能电视的内容与应用不断成长，2~4m距离（用户收看电视节目的平均距离)的用户界面操作为所有智能电视厂商无法回避的课题，而适用于远距离操作图型化接口的手势控制(Gesture Control)及动作感应遥控器(Motion-sensing Controller)皆为主流的解决方案。
手势控制免除寻找遥控器之苦，为客厅中最自然的智能电视导览方式。手势辨识可分为二维感测及三维感测。二维感测技术可直接透过相机的X轴及Y轴影像进行手势判断，然由于缺乏深度信息，仅能判断简单的肢体动作。
三维感测亦称深度感测 (Depth sensing)。目前主流三维深度感测可再分为主动式的结构光法 (Structured Light)，飞行时间法(Time of Flight )及被动式的立体视觉法(Stereo Vision)。
结构光法投射近红外光透过已知样板至待测物体上，以近红外相机撷取影像，再将得到的扭曲影像与原样版进行三角测量(Triangulation)。样板可由一群无规则的小斑点组成，每个斑点的形状各异，以便对照出样板与扭区影像中的同一个点来进行三角测量，如此便可算得物体深度。这种方法需要一定量的3D影像处理运算。另外样板的阴影部分信息无法获得，所以会产生交互影响的问题。
飞行时间法则通过相邻的近红外发射器发出的光线反射到影像传感器过程中花费的时间来探测手势深度。每段“飞行时间”由每个像素测量，累积的数据实时计算出距离，得到每个手势的深度信息。飞行时间法在近距离的测量准确性不高，另外也存在交互影响的问题。
被动式的立体视觉法先使用二相对距离固定的彩色相机同步时撷取相同影像，接著先进行关联性分析，对应二影像的相同点，最后再用三角测量计算每个点的距离。这种方法由于需要对两个相机的影像进行分析，所以需要的运算量特别大。另外由于采用彩色相机获取影像，所以需要对被测的人体有一定的照明，这样就限制了在较暗室内环境下的使用。
以上三种主流的三维手势控制都采用近红外或可见光的CMOS或CCD传感器获取影像，并从影像中分析提取出手势的运动，不同之处在于判定手势深度的方法。这种由近红外或可见光拍摄的影像，都会受到背景环境，以及用户服饰等信息的干扰，不可避免的会出现对手势的误判和漏判情况。
发明内容
为了克服现有智能平板电视三维手势探测方式的不足，本发明的目的是提供一种远红外三维手势探测装置，它能快速准确的探测出手势的三维运动姿态，同时给智能电视发出相应的指令，比如影像移动，缩放，旋转，以及三维物体的拉近和推远等。本发明改进了原有的被动式立体视觉法，采用两个相对位置固定的远红外相机代替普通的彩色相机，通过对人体的左右两个远红外影像进行分析比对，从而判定人手的运动的三维方位。
由于体温的因素，人体辐射的远红外线可以轻易的被远红外相机所捕捉。尤其是人手等部位暴露在空气中，其远红外影像更容易被识别。采用远红外外影像进行手势探测，可以不受背景环境和人体服饰的影响。如果在客厅中无外界热源，相机基本只会看到人体的热影像。即使客厅中有固定的热源也可以被分析软件识别并去除。另外远红外手势探测时无需环境照明，在极暗的环境也可进行操作。
附图说明
图1是带远红外三维手势探测装置的智能平板电视示意图；
图2是远红外三维手势探测装置的外形示意图；
图3是远红外三维手势探测装置的内部剖面结构示意图；
图4是远红外相机的内部结构剖面示意图；
图5是对人体的远红外影像分析示意图；
图6是单个手势平移控制电视显示物体移动的示意图；
图7是两个手势平移控制电视显示物体放大和缩小的示意图；
图8是手势旋转控制电视显示物体旋转的示意图；
图9是手势前后移动控制电视显示物体拉近和推远的示意图；
图10是手势上下摆动对电视发出“确定”指令的示意图。
其中附图标记
1为远红外三维手势探测装置；
2为智能平板电视；
3为电视底座支架；
4为远红外三维手势探测装置的支架；
5为手势探测装置的外壳；
6为手势探测装置的主电路板；
7为远红外相机；
8为锗窗口片；
9为硫系玻璃透镜；
10为透镜套筒；
11为非制冷红外焦平面(IRFPA)探测器；
12为IRFPA探测器的电路板；
13为人体的远红外影像； 
14为右手的远红外影像； 
15为左手的远红外影像。 
具体实施方式
下面结合实施例和附图，对发明作详细说明。但本发明的实施方式不限于此。附图中相同标记表示相同的部件。为了更好的理解，附图中所示的部件是示意性表示，它们是按比例绘制的，即该附图的部件不表示真实尺寸，这些真实尺寸对本领域普通技术人员来说都是公知的，因此这里不做详细描述。
图1为带远红外三维手势探测装置的智能平板电视示意图。远红外三维手势探测装置1安置在智能平板电视2的上方中间位置，其中智能平板电视2由底座支架3固定。
图2为远红外三维手势探测装置的外形示意图。手势探测装置由支架4与智能电视固定并连接。
图3为远红外三维手势探测装置的内部剖面结构示意图。其中两个远红外相机7的中心间隔为100mm, 并与主电路板6连接。主电路板6和远红外相机7安置在手势探测装置外壳5内。大尺寸智能平板电视的通常观看距离为2~4m，在这个距离内如果要通过左右两个影像的比对来计算出手势的深度，则左右相机的相对位置要固定，并且观测方向一致。由于IRFPA探测器的分辨率不高，为了提高手势深度的探测精度，所以两个相机之间要有一定的距离。
图4为远红外相机的内部结构剖面示意图。其中远红外光学系统由锗窗口片8，硫系玻璃透镜9，透镜套筒10和非制冷红外焦平面(IRFPA)探测器11所构成。人体所发射的远红外线波长为9~10um,本发明所选用的远红外材料锗和硫系玻璃在这个波段都可以透过。窗口片8的材料为单晶锗或多晶锗，其两个光学面镀有红外减反膜，厚度为1mm, 有效孔径为2.6mm。单晶锗或多晶锗相对于其他远红外材料，具有较好的机械强度和硬度，非常适合做为远红相机的光学窗口片。硫系玻璃透镜9的材料成分为As-Se体系，9um波长下的折射率为1.78，两个光学面同样镀有减反膜。As-Se体系的硫系玻璃的转变温度低于200度，所以这种玻璃非常适合于精密模压。本发明所采用的硫系玻璃透镜也是由抛光的球透镜预形体直接精密压型而成，这样可以大大降低透镜的加工成本，并提高材料使用率。非制冷红外焦平面(IRFPA)探测器11的分辨率为320x240，像元间距为32um，由电路板12固定和连接。整个远红外光学系统的视场角为40度，焦距为5.5mm,像方数值孔径（NA）为0.23。
下面参考图5，对人体的远红外影像分析示意图。图中上面两幅分别为左右相机拍摄到的人体远红外图像13。由于远红外影像基本不受背景和人体服饰的影响，所以可以通过对人体影像的分析很容易判定左手和右手的影像，图中分别为15和14。当左右红外相机将拍摄到人体影像合成比对，就得到了图中下面的一幅图像。通过测量人手的在图像中的距离，并结合左右红外相机的间距，就可以计算出人手相对于平板电视的距离。
下面参考图6到图10，为了给智能电视发出相应的手势指令，比如使物体移动，缩放，旋转，以及对三维物体的拉近和推远等，本发明给出了以下的具体实施例子：
图6中，当单手伸向电视，并在垂直面移动时，屏幕中的物体姿势不变，并跟随单手的移动而作二维方向移动；
图7中，当双手伸向电视，并在垂直面相互靠近或拉远时，屏幕中的物体姿势不变，并跟随双手的靠近或拉远而被缩小或放大；
图8中，当双手伸向电视，其中一个手不动，另一个手做旋转运动时，屏幕中的物体跟随手的旋转方向做相应旋转；
图9中，当单手伸向电视，并在水平方向做前后移动时，屏幕中的3维物体跟随手的前后移动而被推远或拉出；
图10中，当单手伸向电视，手掌做下拍连续两次下拍动作时，则向智能电视发出“确定”指令。
上述实施例为本发明的较佳实施方式，但本发明的实施方式不受所述实施例的限制，任何其他未背离本发明的精神实质与原理下所做的改变，修饰，替代，组合，简化，均应为等效的置换方式，都包含在本发明的保护范围之内。

Claims (7)

1. 一种适用于智能平板电视的远红外三维手势探测装置，其特征在于，内置有两个相对位置固定的远红外相机，相机的工作波长为8~12um，手势探测装置通过分析比对两个相机拍摄的人体远红外影像，从而判定人手的运动的三维方位。
2.根据权利要求1所述智能平板电视，其特征在于，远红外手势3维探测装置安置于平板电视上方中间位置，并由支架与电视固定并连接。
3.根据上述权利要求1所述的远红外相机，其特征在于，其中相机的光学系统由锗窗口片，硫系玻璃透镜，透镜套筒和非制冷红外焦平面(IRFPA)探测器所构成。
4.根据上述权利要求中任意一项所述的硫系玻璃透镜，其特征在于，硫系玻璃材料成分为As-Se体系，透镜的两个光学面都镀有减反膜，透镜的成型是由抛光的球透镜预形体精密压而成。
5.根据上述权利要求中任意一项所述的手势探测装置，其特征在于，分别对左右两个远红外相机所拍摄到的人体影像进行分析，从而判定左手和右手的影像和在垂直面的2维方位，然后将左右相机的人体影像合成比对，测量同一人手的在合成影像的距离，并结合两个相机的间距，计算出人手相对于平板电视的距离，即深度信息。
6.根据上述权利要求中任意一项所述的手势探测装置，其特征在于，手势的运动可以控制电视内所显示物体的运动。
7.根据权利要求6所述的控制方式具体如下：当单手伸向电视，并在垂直面移动时，屏幕中的物体姿势不变，并跟随单手的移动而作二维方向移动；当双手伸向电视，并在垂直面相互靠近或拉远时，屏幕中的物体姿势不变，并跟随双手的靠近或拉远而被缩小或放大；当双手伸向电视，其中一个手不动，另一个手做旋转运动时，屏幕中的物体跟随手的旋转方向做相应旋转；当单手伸向电视，并在水平方向做前后移动时，屏幕中的3维物体跟随手的前后移动而被推远或拉出；当单手伸向电视，手掌做下拍连续两次下拍动作时，则向智能电视发出“确定”指令。
CN2013100732749A 2013-03-08 2013-03-08 一种智能电视的远红外三维手势探测装置 Pending CN103152626A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN2013100732749A CN103152626A (zh) 2013-03-08 2013-03-08 一种智能电视的远红外三维手势探测装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN2013100732749A CN103152626A (zh) 2013-03-08 2013-03-08 一种智能电视的远红外三维手势探测装置

Publications (1)

Publication Number Publication Date
CN103152626A true CN103152626A (zh) 2013-06-12

Family

ID=48550455

Family Applications (1)

Application Number Title Priority Date Filing Date
CN2013100732749A Pending CN103152626A (zh) 2013-03-08 2013-03-08 一种智能电视的远红外三维手势探测装置

Country Status (1)

Country Link
CN (1) CN103152626A (zh)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103777753A (zh) * 2013-11-12 2014-05-07 广州新节奏智能科技有限公司 新型便携式肢体感应操控装置及其应用方法
CN104423545A (zh) * 2013-08-27 2015-03-18 联想(北京)有限公司 一种信息处理方法和装置
CN105579929A (zh) * 2013-10-29 2016-05-11 英特尔公司 基于手势的人机交互
CN106346485A (zh) * 2016-09-21 2017-01-25 大连理工大学 基于人手运动姿态学习的仿生机械手的非接触式控制方法
CN107958218A (zh) * 2017-11-22 2018-04-24 南京邮电大学 一种实时手势识别的方法
CN110602197A (zh) * 2019-09-06 2019-12-20 北京海益同展信息科技有限公司 物联网控制装置和方法、电子设备
CN110638425A (zh) * 2019-09-23 2020-01-03 北京华德恒业科技有限公司 智能手诊成像装置及方法、计算机可读存储介质

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101419498A (zh) * 2007-10-22 2009-04-29 三菱电机株式会社 操作输入装置
CN101794171A (zh) * 2010-01-29 2010-08-04 广州酷智电子科技有限公司 基于红外光运动捕捉的无线感应交互系统
CN101952818A (zh) * 2007-09-14 2011-01-19 智慧投资控股67有限责任公司 基于姿态的用户交互的处理
CN102055925A (zh) * 2009-11-06 2011-05-11 康佳集团股份有限公司 支持手势遥控的电视机及其使用方法
WO2013018099A2 (en) * 2011-08-04 2013-02-07 Eyesight Mobile Technologies Ltd. System and method for interfacing with a device via a 3d display

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101952818A (zh) * 2007-09-14 2011-01-19 智慧投资控股67有限责任公司 基于姿态的用户交互的处理
CN101419498A (zh) * 2007-10-22 2009-04-29 三菱电机株式会社 操作输入装置
CN102055925A (zh) * 2009-11-06 2011-05-11 康佳集团股份有限公司 支持手势遥控的电视机及其使用方法
CN101794171A (zh) * 2010-01-29 2010-08-04 广州酷智电子科技有限公司 基于红外光运动捕捉的无线感应交互系统
WO2013018099A2 (en) * 2011-08-04 2013-02-07 Eyesight Mobile Technologies Ltd. System and method for interfacing with a device via a 3d display

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104423545A (zh) * 2013-08-27 2015-03-18 联想(北京)有限公司 一种信息处理方法和装置
CN104423545B (zh) * 2013-08-27 2017-07-25 联想(北京)有限公司 一种信息处理方法和装置
CN105579929A (zh) * 2013-10-29 2016-05-11 英特尔公司 基于手势的人机交互
CN105579929B (zh) * 2013-10-29 2019-11-05 英特尔公司 基于手势的人机交互
CN103777753A (zh) * 2013-11-12 2014-05-07 广州新节奏智能科技有限公司 新型便携式肢体感应操控装置及其应用方法
CN106346485A (zh) * 2016-09-21 2017-01-25 大连理工大学 基于人手运动姿态学习的仿生机械手的非接触式控制方法
CN106346485B (zh) * 2016-09-21 2018-12-18 大连理工大学 基于人手运动姿态学习的仿生机械手的非接触式控制方法
CN107958218A (zh) * 2017-11-22 2018-04-24 南京邮电大学 一种实时手势识别的方法
CN110602197A (zh) * 2019-09-06 2019-12-20 北京海益同展信息科技有限公司 物联网控制装置和方法、电子设备
CN110638425A (zh) * 2019-09-23 2020-01-03 北京华德恒业科技有限公司 智能手诊成像装置及方法、计算机可读存储介质

Similar Documents

Publication Publication Date Title
CN103152626A (zh) 一种智能电视的远红外三维手势探测装置
Wasenmüller et al. Comparison of kinect v1 and v2 depth images in terms of accuracy and precision
US8971565B2 (en) Human interface electronic device
Maeno et al. Light field distortion feature for transparent object recognition
US10242454B2 (en) System for depth data filtering based on amplitude energy values
CN106643699B (zh) 一种虚拟现实系统中的空间定位装置和定位方法
US10008005B2 (en) Measurement system and method for measuring multi-dimensions
CN102508578B (zh) 投影定位装置及方法、交互系统和交互方法
CN104755874B (zh) 具有多个光源的运动传感器装置
US20140037135A1 (en) Context-driven adjustment of camera parameters
KR101533320B1 (ko) 포인터가 불필요한 3차원 객체 정보 획득 장치
CN103575227A (zh) 一种基于数字散斑的视觉引伸计实现方法
JP2014517361A (ja) カメラ式マルチタッチ相互作用装置、システム及び方法
CN103336575A (zh) 一种人机交互的智能眼镜系统及交互方法
GB2544725A (en) Systems and methods for forming models of a three-dimensional objects
CN109313263A (zh) 用于运行激光距离测量仪的方法
KR20130119094A (ko) 포인터를 표시하지 않는 투명 디스플레이 가상 터치 장치
CN103176606B (zh) 基于双目视觉识别的平面交互系统及方法
CN204904359U (zh) 一种基于双摄像头的三维景深识别装置
CN208383079U (zh) 一种激光频闪差分三维传感器
KR20200063937A (ko) 적외선 스테레오 카메라를 이용한 위치 검출 시스템
Nakashima et al. Combined tactile and proximity sensor employing compound-eye camera
CN102889855A (zh) 型钢在线精密检测系统
JP6233941B1 (ja) 非接触式の三次元タッチパネル、非接触式の三次元タッチパネルシステム、非接触式の三次元タッチパネルの制御方法、プログラム及び記録媒体
Song et al. Digital image processing and coordinate transformation for Vic-3D system

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C02 Deemed withdrawal of patent application after publication (patent law 2001)
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20130612