CN107515700A - 一种用于智能镜子的非接触式触屏效果模拟方法 - Google Patents

一种用于智能镜子的非接触式触屏效果模拟方法 Download PDF

Info

Publication number
CN107515700A
CN107515700A CN201710789173.XA CN201710789173A CN107515700A CN 107515700 A CN107515700 A CN 107515700A CN 201710789173 A CN201710789173 A CN 201710789173A CN 107515700 A CN107515700 A CN 107515700A
Authority
CN
China
Prior art keywords
touch screen
finger
minute surface
intelligent
simulation method
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201710789173.XA
Other languages
English (en)
Inventor
杨亮
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
University of Electronic Science and Technology of China Zhongshan Institute
Original Assignee
University of Electronic Science and Technology of China Zhongshan Institute
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by University of Electronic Science and Technology of China Zhongshan Institute filed Critical University of Electronic Science and Technology of China Zhongshan Institute
Priority to CN201710789173.XA priority Critical patent/CN107515700A/zh
Publication of CN107515700A publication Critical patent/CN107515700A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/042—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means
    • G06F3/0425—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means using a single imaging device like a video camera for tracking the absolute position of a single or a plurality of objects with respect to an imaged reference surface, e.g. video camera imaging a display or a projection screen, a table or a wall surface, on which a computer generated image is displayed or projected
    • A—HUMAN NECESSITIES
    • A47—FURNITURE; DOMESTIC ARTICLES OR APPLIANCES; COFFEE MILLS; SPICE MILLS; SUCTION CLEANERS IN GENERAL
    • A47G—HOUSEHOLD OR TABLE EQUIPMENT
    • A47G1/00—Mirrors; Picture frames or the like, e.g. provided with heating, lighting or ventilating means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Processing Or Creating Images (AREA)

Abstract

本发明公开了一种用于智能镜子的非接触式触屏效果模拟方法，所述非接触式触屏效果模拟方法通过深度摄像头(2)采集手指的位置信息，智能显示信息处理模块(3)根据识别到的手指位置坐标及手指指尖与镜面(1)的距离信息采用CSS动画技术在智能镜子镜面(1)的相应位置上模拟显示触屏动态效果，该发明避免了触摸屏的使用，能够大幅降低智能镜子的整体成本。

Description

一种用于智能镜子的非接触式触屏效果模拟方法
技术领域
本发明涉及用于智能镜子的非接触式触屏效果模拟方法，属于智能控制领域。
背景技术
智能镜子作为一种新型的智能家居产品目前已获得来自工业界的广泛的关注。然而，大部分智能镜子的镜面通常直接采用触摸屏作为镜面与用户完成交互，高昂的成本不利于智能镜子的进一步广泛应用。因此，如何用低成本的普通显示屏替代触摸屏是目前亟需的一个重要问题。
发明内容
本发明提供了用于智能镜子的非接触式触屏效果模拟方法，该方法通过深度摄像头(2)采集手指的位置信息，并依靠智能显示信息处理模块(3)根据识别到的手指位置、运动方向等信息在智能镜子的相应位置上模拟显示触屏动态效果，改善用户体验，在此基础上，智能镜子可根据识别到的手指位置信息及当前屏幕内容信息完成信息交互，并动态改变屏幕显示内容，该方法无需使用价格昂贵的触摸屏，能够大幅降低智能镜子的整体成本。
为解决上述问题，本发明采用的技术方案是：
一种用于智能镜子的非接触式触屏效果模拟方法，其特征在于，所述非接触式触屏效果模拟方法通过深度摄像头(2)采集手指的位置信息，智能显示信息处理模块(3)根据识别到的手指位置坐标及手指指尖与镜面(1)的距离信息采用CSS动画技术在智能镜子镜面(1)的相应位置上模拟显示手指触屏的动态效果。
在上述方案中，所述智能显示信息处理模块(3)通过深度摄像头(2)识别到手指与镜面边框的距离x、手指与镜面上边框的距离y、手指指尖与镜面的距离d，并在镜面的对应位置(x,y)处采用CSS动画显示技术模拟显示触屏动态效果。
在上述方案中，所述智能显示信息处理模块(3)根据识别到的手指指尖与镜面的距离信息动态调整圆环的内外圆半径，从而实现触屏动态效果；所述圆环的内外半径根据公式(1)-(2)动态变化。
(1)
其中，为圆环的外半径，d代表手指指尖与镜面的距离，D为深度摄像头能检测到的手指指尖距离镜面的最大有效距离，为投影函数，R为圆环外半径的最大值，通常可设为2厘米，为可调系数。
圆环的内半径可由公式(2)计算得到：
（2）
其中，为圆环的内半径，为缩放系数，通常可设为0.6~0.9。
附图说明
图1为一种用于智能镜子的非接触式触屏效果模拟方法示意图。
具体实施方式
下面结合附图和实施例进一步说明本发明的实施过程。
如图1所示，在本发明实施例中，首先通过深度摄像头(2)采集手指的位置信息，并通过智能显示信息处理模块(3)识别手指位置坐标及手指指尖与镜面(1)的距离信息，在具体实施过程中，由于深度摄像头可采集距离信息，因此智能显示信息处理模块(3)可采用目前成熟的运动物体检测算法(如：光流法)识别出手指与镜面边框的距离x、手指与镜面上边框的距离y、手指指尖与镜面的距离d。
在本实例中，为了能够在普通镜面上能够模拟手指指尖触屏的动态效果，智能显示信息处理模块(3)基于嵌入式硬件平台，例如可采用树莓派等智能硬件平台，并在其上安装嵌入式Linux操作系统，CSS动画显示技术是基于web前端的一种动画显示技术，只要操作系统中安装了web浏览器(例如：谷歌浏览器、火狐浏览器)就可以实现CSS动画效果。
为模拟手指的触屏效果，可在镜面的对应位置(x,y)处采用CSS动画显示技术显示一个半径动态可变的圆环来模拟手指的触屏效果，具体来说，根据识别到的手指指尖与镜面的距离信息动态调整圆环的内外圆半径，实现手指触屏动态效果。
圆环的内外半径根据公式(1)-(2)动态变化。
(1)
其中，为圆环的外半径，d代表手指指尖与镜面的距离，D为深度摄像头能检测到的手指指尖距离镜面的最大有效距离，为投影函数，R为圆环外半径的最大值，通常可设为2厘米，为可调系数。圆环的内半径可由公式(2)计算得到。
（2）
其中，为圆环的内半径，为缩放系数，通常可设为0.6~0.9。
采用公式(1)-(2)来动态调整圆环的内外圆半径可较好模拟手指的触屏效果：当手指与镜面接触时，圆环的内外径均变得最大，当手指远离镜面时，则内外圆半径变小。
在此基础上，智能镜子可根据识别到的手指位置信息及当前屏幕内容信息完成信息交互，该方法无需使用价格昂贵的触摸屏，能够大幅降低智能镜子的整体成本。

Claims (3)

1.一种用于智能镜子的非接触式触屏效果模拟方法，其特征在于，所述非接触式触屏效果模拟方法通过深度摄像头(2)采集手指的位置信息，智能显示信息处理模块(3)根据识别到的手指位置坐标及手指指尖与镜面(1)的距离信息采用CSS动画技术在智能镜子镜面(1)的相应位置上模拟显示手指触屏的动态效果。
2.根据权利要求1所述的一种用于智能镜子的非接触式触屏效果模拟方法，其特征在于，所述智能显示信息处理模块(3)通过深度摄像头(2)识别到手指与镜面边框的距离x、手指与镜面上边框的距离y、手指指尖与镜面的距离d，并在镜面的对应位置(x,y)处采用CSS动画显示技术模拟显示触屏动态效果。
3.根据权利要求1所述的一种用于智能镜子的非接触式触屏效果模拟方法，其特征在于，所述智能显示信息处理模块(3)根据识别到的手指指尖与镜面的距离信息动态调整圆环的内外圆半径，从而实现触屏动态效果；所述圆环的内外半径根据公式(1)-(2)动态变化。
CN201710789173.XA 2017-09-05 2017-09-05 一种用于智能镜子的非接触式触屏效果模拟方法 Pending CN107515700A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201710789173.XA CN107515700A (zh) 2017-09-05 2017-09-05 一种用于智能镜子的非接触式触屏效果模拟方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710789173.XA CN107515700A (zh) 2017-09-05 2017-09-05 一种用于智能镜子的非接触式触屏效果模拟方法

Publications (1)

Publication Number Publication Date
CN107515700A true CN107515700A (zh) 2017-12-26

Family

ID=60724778

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710789173.XA Pending CN107515700A (zh) 2017-09-05 2017-09-05 一种用于智能镜子的非接触式触屏效果模拟方法

Country Status (1)

Country Link
CN (1) CN107515700A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109910751A (zh) * 2019-02-12 2019-06-21 苏州佳世达光电有限公司 影像显示控制装置及影像显示控制方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2011127836A1 (zh) * 2010-04-16 2011-10-20 北京汇冠新技术股份有限公司 触摸定位方法和系统、以及显示器
CN103858085A (zh) * 2013-10-31 2014-06-11 华为技术有限公司 悬浮或隔空操作的处理方法及装置
CN106963197A (zh) * 2017-06-01 2017-07-21 电子科技大学中山学院 一种信息显示位置可动态调整的智能镜子

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2011127836A1 (zh) * 2010-04-16 2011-10-20 北京汇冠新技术股份有限公司 触摸定位方法和系统、以及显示器
CN103858085A (zh) * 2013-10-31 2014-06-11 华为技术有限公司 悬浮或隔空操作的处理方法及装置
CN106963197A (zh) * 2017-06-01 2017-07-21 电子科技大学中山学院 一种信息显示位置可动态调整的智能镜子

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109910751A (zh) * 2019-02-12 2019-06-21 苏州佳世达光电有限公司 影像显示控制装置及影像显示控制方法

Similar Documents

Publication Publication Date Title
US11861070B2 (en) Hand gestures for animating and controlling virtual and graphical elements
US11531402B1 (en) Bimanual gestures for controlling virtual and graphical elements
US20220326781A1 (en) Bimanual interactions between mapped hand regions for controlling virtual and graphical elements
US20220206588A1 (en) Micro hand gestures for controlling virtual and graphical elements
WO2022066578A1 (en) Touchless photo capture in response to detected hand gestures
US9280206B2 (en) System and method for perceiving images with multimodal feedback
US9489739B2 (en) Scene analysis for improved eye tracking
CN102999152B (zh) 一种手势动作识别方法和系统
CN103985137B (zh) 应用于人机交互的运动物体跟踪方法及系统
CN109918975A (zh) 一种增强现实的处理方法、对象识别的方法及终端
JP2015526927A (ja) カメラ・パラメータのコンテキスト駆動型調整
EP3540574B1 (en) Eye tracking method, electronic device, and non-transitory computer readable storage medium
KR20230028532A (ko) 가상 현실 경험들을 위한 지상 실측값 데이터세트들의 생성
CN107214700A (zh) 一种机器人自主巡逻方法
US11889291B2 (en) Head-related transfer function
CN109839827B (zh) 一种基于全空间位置信息的手势识别智能家居控制系统
Perra et al. Adaptive eye-camera calibration for head-worn devices
WO2023034012A1 (en) Handcrafted augmented reality effort evidence
CN107450717A (zh) 一种信息处理方法及穿戴式设备
EP4341797A1 (en) Audio enhanced augmented reality
CN107515700A (zh) 一种用于智能镜子的非接触式触屏效果模拟方法
EP3309713B1 (en) Method and device for interacting with virtual objects
CN111709461A (zh) 动物识别模型的训练方法、装置、设备及存储介质
CN104915126B (zh) 智能交互方法和系统
US20240168565A1 (en) Single-handed gestures for reviewing virtual content

Legal Events

Date Code Title Description
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20171226

WD01 Invention patent application deemed withdrawn after publication