CN104423719A - 电子装置及显示内容更新方法 - Google Patents

电子装置及显示内容更新方法 Download PDF

Info

Publication number
CN104423719A
CN104423719A CN201310377804.9A CN201310377804A CN104423719A CN 104423719 A CN104423719 A CN 104423719A CN 201310377804 A CN201310377804 A CN 201310377804A CN 104423719 A CN104423719 A CN 104423719A
Authority
CN
China
Prior art keywords
display screen
image
displaying contents
targeted graphical
electronic installation
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201310377804.9A
Other languages
English (en)
Inventor
杨松龄
谢芳耕
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hongfujin Precision Industry Shenzhen Co Ltd
Hon Hai Precision Industry Co Ltd
Original Assignee
Hongfujin Precision Industry Shenzhen Co Ltd
Hon Hai Precision Industry Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hongfujin Precision Industry Shenzhen Co Ltd, Hon Hai Precision Industry Co Ltd filed Critical Hongfujin Precision Industry Shenzhen Co Ltd
Priority to CN201310377804.9A priority Critical patent/CN104423719A/zh
Priority to TW102131456A priority patent/TWI506535B/zh
Publication of CN104423719A publication Critical patent/CN104423719A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/042—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means
    • G06F3/0421—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means by interrupting or reflecting a light beam, e.g. optical touch-screen
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04883—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures for inputting data by handwriting, e.g. gesture or text
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/041—Indexing scheme relating to G06F3/041 - G06F3/045
    • G06F2203/04108—Touchless 2D- digitiser, i.e. digitiser detecting the X/Y position of the input means, finger or stylus, also when it does not touch, but is proximate to the digitiser's interaction surface without distance measurement in the Z direction

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • User Interface Of Digital Computer (AREA)
  • Controls And Circuits For Display Device (AREA)

Abstract

一种显示内容更新方法，应用于包括显示屏的电子装置上，包括以下步骤：采集位于显示屏前方的图像；根据显示屏的像素点的数量将采集的图像分割为相应数量的多个小图像，并建立所述的多个小图像与显示屏上的所有像素点的一一对应关系；辨识采集的图像中与预设图形一致的目标图形，并确定该目标图形所包括的小图像及目标图形所包括的小图像所对应的显示屏上的像素点，并根据目标小图像所对应的显示屏上的像素点确定该目标图形对应的显示内容；控制执行该显示内容对应的操作或功能以更新显示屏上的显示内容。本发明还提供了一种电子装置。

Description

电子装置及显示内容更新方法
技术领域
本发明涉及一种电子装置及显示内容更新方法。
背景技术
触摸屏作为一种人机交互设备，具有操作简单方便的特点，已逐步取代传统的鼠标或键盘应用于电子设备上。通过触摸屏操作电子设备，用户需将手指或其它物体与触摸屏接触，也就是说，用户的操作被限制于触摸屏上。
发明内容
有鉴于此，本发明提供了一种电子装置及显示内容更新方法，用户可在显示屏以外的区域操作电子装置。
一种电子装置，包括显示屏，该电子装置还包括：图像采集单元，用于采集位于显示屏前方的图像；图像处理单元，用于根据显示屏的像素点的数量将采集的图像分割为相应数量的多个小图像，并建立所述的多个小图像与显示屏上的所有像素点的一一对应关系；存储单元，用于存储用于操作的至少一预设图形；图像识别单元，用于辨识采集的图像中与预设图形一致的目标图形，并确定该目标图形所包括的小图像及目标图形所包括的小图像所对应的显示屏上的像素点，并根据目标小图像所对应的显示屏上的像素点确定该目标图形对应的显示内容；及控制单元，用于控制执行该显示内容对应的操作或功能以更新显示屏上的显示内容。
一种显示内容更新方法，应用于包括显示屏的电子装置上，包括以下步骤：采集位于显示屏前方的图像；根据显示屏的像素点的数量将采集的图像分割为相应数量的多个小图像，并建立所述的多个小图像与显示屏上的所有像素点的一一对应关系；辨识采集的图像中与预设图形一致的目标图形，并确定该目标图形所包括的小图像及目标图形所包括的小图像所对应的显示屏上的像素点，并根据目标小图像所对应的显示屏上的像素点确定该目标图形对应的显示内容；及控制执行该显示内容对应的操作或功能以更新显示屏上的显示内容。
上述电子装置及显示内容更新方法采集显示屏前方的图像，并将图像中的用于操作电子装置的图形与显示屏上的像素点相对应，从而控制显示屏上的显示内容。上述电子装置及显示内容更新方法使得用户可在显示屏以外的区域操作电子装置。
附图说明
图1为一电子装置的模块图。
图2为一显示内容更新方法的流程图。
主要元件符号说明
电子装置 10
显示屏 20
图像采集单元 30
图像处理单元 40
存储单元 50
图像识别单元 60
控制单元 70
距离感测单元 80
显示内容更新方法 步骤S90-S98
如下具体实施方式将结合上述附图进一步说明本发明。
具体实施方式
请参考图1，电子装置10包括显示屏20、图像采集单元30、图像处理单元40、存储单元50、图像识别单元60及控制单元70。
图像采集单元30用于采集位于显示屏20前方的图像。
图像处理单元40用于根据显示屏20的像素点的数量将采集的图像分割为相应数量的多个小图像，并建立所述的多个小图像与显示屏20上的所有像素点的一一对应关系。其中，每个小图像对应的像素点是互不相同的。
存储单元50用于存储用于操作的至少一个预设图形。
图像识别单元60用于辨识采集的图像中与预设图形一致的目标图形，并确定该目标图形所包括的小图像及目标图形所包括的小图像所对应的显示屏20上的像素点，并根据目标图形包括的小图像所对应的显示屏20上的像素点确定该目标图形对应的显示内容。
控制单元70用于在图像识别单元60确定该目标图形对应的显示内容后，控制执行该显示内容对应的操作或功能同时控制更新显示屏20上的显示内容。在其他实施方式中，该控制单元70在图像识别单元60确定该目标图形对应的显示内容后，还控制一光标或指示图标定位于该目标图形对应的显示内容，以提示该操作的对象。
在一实施方式中，图像采集单元30包括相机，且当图像识别单元60辨识到与预设图形一致的目标图形时，自动调整焦距使得相机所拍摄到的该目标图形是最清晰的。
在本实施方式中，该预设图形为手指，当该图形识别单元60识别采集的图像中有与该手指一致的目标图形时，则确定该目标图形对应的显示内容，即手指位置对应的显示内容。在其他实施方式中，该预设图形可为指示笔等。
在其它实施方式中，电子装置10还包括距离感测单元80。距离感测单元80用于感测位于显示屏20前方是否存在物体在距离显示屏20一预设范围内。图像采集单元30在距离感测单元80感测到存在物体位于所述预设范围内时开启图像采集功能。一实施方式中，距离感测单元80包括位于显示屏20周围的三个红外距离感测器，每个红外距离感测器向显示屏20的方向发射红外光束，且三个红外光束具有交集。当有物体置于所述交集内时，三个红外距离感测器均可感测到该物体与该各自红外距离感测器之间的距离。那么该物体只可能存在于以该红外距离感测器为球心，以对应的所述距离为半径的球面上。所述三个球面相交将得到确定的两个交点，且该两交点以显示屏20对称，因此可确定唯一的位于显示屏20前方，可被三个红外距离感测器感测到的物体的位置，从而确定该物体距离显示屏20的距离。
请参阅图2，为一显示内容更新方法的流程图。该显示内容更新方法应用于包括显示屏20的电子装置10上，包括以下步骤。
图像采集单元30采集位于显示屏20前方的图像（步骤S92）。
图像处理单元40根据显示屏20的像素点的数量将采集的图像分割为相应数量的多个小图像，并建立所述的多个小图像与显示屏20上的所有像素点的一一对应关系（步骤S94）。其中，每个小图像对应的像素点是互不相同的。
图像识别单元60辨识采集的图像中与预设图形一致的目标图形，并确定该目标图形所包括的小图像及目标图形所包括的小图像所对应的显示屏20上的像素点，并根据目标小图像所对应的显示屏20上的像素点确定该目标图形对应的显示内容（步骤S96）。
控制单元70控制控制执行该显示内容对应的操作或功能并更新显示屏20上的显示内容（步骤S98）。其中，在其他实施方式中，该控制单元70在图像识别单元60确定该目标图形对应的显示内容后，还控制一光标或指示图标定位于该目标图形对应的显示内容。
其中，本发明中，该步骤S92前还包括步骤S90：距离感测单元80感测位于显示屏20前方且距离显示屏20一预设范围内是否存在物体，从而，该图像采集单元30在该距离感测单元80感测到该显示屏20前方一预定范围内存在物体时，采集位于显示屏20前方的图像。
上述电子装置10及显示内容更新方法采集显示屏20前方的图像，并将图像中的用于操作电子装置10的图形与显示屏20上的像素点相对应，从而控制显示屏20上的显示内容。上述电子装置10及显示内容更新方法使得用户可在显示屏20以外的区域操作电子装置10。

Claims (8)

1.一种电子装置，包括显示屏，其特征在于，该电子装置还包括：
图像采集单元，用于采集位于显示屏前方的图像；
图像处理单元，用于根据显示屏的像素点的数量将采集的图像分割为相应数量的多个小图像，并建立所述的多个小图像与显示屏上的所有像素点的一一对应关系；
存储单元，用于存储用于操作的至少一预设图形；
图像识别单元，用于辨识采集的图像中与预设图形一致的目标图形，并确定该目标图形所包括的小图像及目标图形所包括的小图像所对应的显示屏上的像素点，并根据目标小图像所对应的显示屏上的像素点确定该目标图形对应的显示内容；及
控制单元，用于控制执行该显示内容对应的操作或功能以更新显示屏上的显示内容。
2.如权利要求1所述的电子装置，其特征在于，图像采集单元包括相机，且当图像识别单元辨识到与预设图形一致的目标图形时，自动调整焦距使得相机所拍摄到的该目标图形是最清晰的。
3.如权利要求1所述的电子装置，其特征在于，电子装置还包括距离感测单元，距离感测单元用于感测位于显示屏前方是否存在物体在距离显示屏一预设范围内，控制单元还用于在距离感测单元感测到存在物体位于所述预设范围内时控制图像采集单元采集图像。
4.如权利要求3所述的电子装置，其特征在于，距离感测单元包括位于显示屏周围的三个红外距离感测器，每个红外距离感测器向显示屏的方向发射红外光束，且三个红外光束具有交集。
5.如权利要求1所述的电子装置，其特征在于该控制单元还用于，在图像识别单元确定对应的显示内容后，控制一光标或指示图标定位于该目标图形对应的显示内容。
6.一种显示内容更新方法，应用于包括显示屏的电子装置上，其特征在于，包括以下步骤：
采集位于显示屏前方的图像；
用于根据显示屏的像素点的数量将采集的图像分割为相应数量的多个小图像，并建立所述的多个小图像与显示屏上的所有像素点的一一对应关系；
辨识采集的图像中与预设图形一致的目标图形，并确定该目标图形所包括的小图像及目标图形所包括的小图像所对应的显示屏上的像素点，并根据目标小图像所对应的显示屏上的像素点确定该目标图形对应的显示内容；及
控制执行该显示内容对应的操作或功能以更新显示屏上的显示内容。
7.如权利要求6所述的显示内容更新方法，其特征在于，在步骤“采集位于显示屏前方的图像”前，还包括步骤：感测位于显示屏前方且距离显示屏一预设范围内是否存在物体，当在感测到该显示屏前方一预定范围内存在物体时，采集位于显示屏前方的图像。
8.如权利要求6所述的显示内容更新方法，其特征在于，该方法还包括步骤：
控制一光标或指示图标定位于该目标图形对应的显示内容。
CN201310377804.9A 2013-08-27 2013-08-27 电子装置及显示内容更新方法 Pending CN104423719A (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN201310377804.9A CN104423719A (zh) 2013-08-27 2013-08-27 电子装置及显示内容更新方法
TW102131456A TWI506535B (zh) 2013-08-27 2013-08-30 電子裝置及顯示內容更新方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201310377804.9A CN104423719A (zh) 2013-08-27 2013-08-27 电子装置及显示内容更新方法

Publications (1)

Publication Number Publication Date
CN104423719A true CN104423719A (zh) 2015-03-18

Family

ID=52972927

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201310377804.9A Pending CN104423719A (zh) 2013-08-27 2013-08-27 电子装置及显示内容更新方法

Country Status (2)

Country Link
CN (1) CN104423719A (zh)
TW (1) TWI506535B (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105021126A (zh) * 2015-06-18 2015-11-04 中国计量学院 基于机器视觉技术货车侧防护栏安装尺寸测量系统及方法
CN106384107A (zh) * 2016-08-23 2017-02-08 广东小天才科技有限公司 光标位置识别方法及装置

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20070066393A1 (en) * 1998-08-10 2007-03-22 Cybernet Systems Corporation Real-time head tracking system for computer games and other applications
CN101337128A (zh) * 2008-08-20 2009-01-07 北京中星微电子有限公司 一种基于人脸的游戏控制方法及系统
CN102346572A (zh) * 2010-08-04 2012-02-08 宝硕财务科技股份有限公司 光点远距同步显示系统及其方法
CN102591533A (zh) * 2012-03-01 2012-07-18 桂林电子科技大学 基于计算机视觉技术的多点触摸屏系统实现方法与装置
CN102750067A (zh) * 2011-04-19 2012-10-24 中国科学院软件研究所 一种基于手持设备的大屏幕交互方法

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1912816A (zh) * 2005-08-08 2007-02-14 北京理工大学 一种基于摄像头的虚拟触摸屏系统
TW200928860A (en) * 2007-12-31 2009-07-01 Htc Corp Method and device for adjusting output frame
TW201137699A (en) * 2010-04-29 2011-11-01 Hon Hai Prec Ind Co Ltd Touch screen system based on image recognition
TW201310354A (zh) * 2011-08-30 2013-03-01 Hon Hai Prec Ind Co Ltd 圖像採集裝置及其圖像處理方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20070066393A1 (en) * 1998-08-10 2007-03-22 Cybernet Systems Corporation Real-time head tracking system for computer games and other applications
CN101337128A (zh) * 2008-08-20 2009-01-07 北京中星微电子有限公司 一种基于人脸的游戏控制方法及系统
CN102346572A (zh) * 2010-08-04 2012-02-08 宝硕财务科技股份有限公司 光点远距同步显示系统及其方法
CN102750067A (zh) * 2011-04-19 2012-10-24 中国科学院软件研究所 一种基于手持设备的大屏幕交互方法
CN102591533A (zh) * 2012-03-01 2012-07-18 桂林电子科技大学 基于计算机视觉技术的多点触摸屏系统实现方法与装置

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105021126A (zh) * 2015-06-18 2015-11-04 中国计量学院 基于机器视觉技术货车侧防护栏安装尺寸测量系统及方法
CN106384107A (zh) * 2016-08-23 2017-02-08 广东小天才科技有限公司 光标位置识别方法及装置

Also Published As

Publication number Publication date
TWI506535B (zh) 2015-11-01
TW201520887A (zh) 2015-06-01

Similar Documents

Publication Publication Date Title
US10031618B2 (en) Identifying hover and/or palm input and rejecting spurious input for a touch panel
US9020194B2 (en) Systems and methods for performing a device action based on a detected gesture
CN103164022B (zh) 多指触摸方法和装置、便携式终端设备
JP2015153195A (ja) ジェスチャ認識装置およびジェスチャ認識装置の制御方法
CN103294401A (zh) 一种具有触摸屏的电子设备的图标处理方法及装置
CN111475097B (zh) 一种笔迹选择方法、装置、计算机设备和存储介质
CN102341814A (zh) 姿势识别方法和采用姿势识别方法的交互式输入系统
KR102347248B1 (ko) 터치 제스쳐 인식 방법 및 장치
CN102508574A (zh) 基于投影屏幕的多点触控检测方法及多点触控系统
KR20140031254A (ko) 사용자 인터페이스의 요소를 선택하기 위한 방법 및 이러한 방법을 구현하는 장치
CN103677568A (zh) 一种基于悬浮触控的点击对象放大方法及装置
CN105320265B (zh) 电子装置的控制方法
CN102436327B (zh) 一种屏幕输入系统及其实现方法
US20150169134A1 (en) Methods circuits apparatuses systems and associated computer executable code for providing projection based human machine interfaces
CN104991684A (zh) 触控设备及其工作方法
CN103294257A (zh) 对于手写识别用于引导手写输入的装置和方法
CN103425409A (zh) 投影显示的控制方法和装置
US20150205483A1 (en) Object operation system, recording medium recorded with object operation control program, and object operation control method
US9804773B2 (en) Multi-touch based drawing input method and apparatus
CN107239222A (zh) 一种触摸屏的操控方法及终端设备
CN106569716B (zh) 单手操控方法及操控系统
CN105278751A (zh) 一种实现人机交互的方法、装置及保护壳
US20140304736A1 (en) Display device and method of controlling the display device
CN104423719A (zh) 电子装置及显示内容更新方法
KR101105872B1 (ko) 적외선 카메라와 모니터를 이용한 손 인식 방법 및 장치

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
WD01 Invention patent application deemed withdrawn after publication
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20150318