CN104246664B - 不显示指针的透明显示器虚拟触摸装置 - Google Patents

不显示指针的透明显示器虚拟触摸装置 Download PDF

Info

Publication number
CN104246664B
CN104246664B CN201380021497.9A CN201380021497A CN104246664B CN 104246664 B CN104246664 B CN 104246664B CN 201380021497 A CN201380021497 A CN 201380021497A CN 104246664 B CN104246664 B CN 104246664B
Authority
CN
China
Prior art keywords
mentioned
user
dimensional coordinate
space coordinates
virtual touch
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201380021497.9A
Other languages
English (en)
Other versions
CN104246664A (zh
Inventor
金石中
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Individual
Original Assignee
Individual
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Individual filed Critical Individual
Publication of CN104246664A publication Critical patent/CN104246664A/zh
Application granted granted Critical
Publication of CN104246664B publication Critical patent/CN104246664B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G02B27/0172—Head mounted characterised by optical features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/042—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means
    • G06F3/0425—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means using a single imaging device like a video camera for tracking the absolute position of a single or a plurality of objects with respect to an imaged reference surface, e.g. video camera imaging a display or a projection screen, a table or a wall surface, on which a computer generated image is displayed or projected
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04815—Interaction with a metaphor-based environment or interaction object displayed as three-dimensional, e.g. changing the user viewpoint with respect to the environment or object
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/0138—Head-up displays characterised by optical features comprising image capture systems, e.g. camera
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G02B2027/0178—Eyeglass type
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0179—Display position adjusting means not related to the information to be displayed
    • G02B2027/0187—Display position adjusting means not related to the information to be displayed slaved to motion of at least a part of the body of the user, e.g. head, eye

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Optics & Photonics (AREA)
  • Multimedia (AREA)
  • Position Input By Displaying (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

本发明通过能够戴在面部的显示器使得使用者能够直接利用位于使用者眼前的透明显示器，从而能够进行精确的操作；为了提供无论使用者面朝哪个方向或所处任何位置，任何时候都可以识别出在使用者透明显示器上的内容的虚拟触摸装置，本发明的构成包含了位于眼前、能够戴在使用者面部，用来显示画面内容的透明显示部；附着在上述透明显示部一侧、用来拍摄使用者眼睛位置的第1影像获得部；附着在上述透明显示部的另一侧、用来拍摄使用者身体的第2影像获得部；以及利用通过上述第1影像获得部及第2影像获得部拍摄的影像，分别计算出三维坐标数据后，利用上述数据检测出第1空间坐标及第2空间坐标，计算出连接上述第1空间坐标及第2空间坐标的直线与上述透明显示屏的显示面相交的触点坐标数据的虚拟触摸处理部。

Description

不显示指针的透明显示器虚拟触摸装置
技术领域
本发明涉及一种透明显示器虚拟触摸装置，此装置利用摄像机所拍摄的影像，识别出使用者身体的某一部位，由此计算出与戴在使用者身体上透明显示器的触点后，虚拟触摸到显示器接点中所显示的内容，从而能够操作电子设备的接口或获得与内容相关的信息。
背景技术
本发明是从传统的触摸屏技术(无指针)和显示器的指针技术(有指针)的比较中得来的。最近，智能手机等具备触摸屏的电子设备正在被广泛使用。与现存通过鼠标来操作的电脑、智能电视等电子设备相比，触摸屏技术的优点在于不需要在显示器上显示指针。即，使用者不需要为了操作电子设备而把指标(电脑光标)移动到所属位置(比如，软件图标)，使用者只需把手直接放到图标上并触摸即可完成操作。在此触摸屏技术中，可以省略掉现存的、作为控制电子设备所必需的“指针生成及移动阶段”，从而能够快速、直观地操作电子设备。
但是，触摸屏技术虽然具备上述便利性，但其缺点在于：由于使用者必须直接触摸显示器表面(才能操作)，因此不能远程使用。所以，即使是采用了触摸屏技术的电子设备，为了进行远程操作，也不得不依靠传统的遥控器等设备。
最近，作为远程电子设备控制装置，如触摸屏技术，是能够在准确的支点上生成指针的装置，即利用2台摄像机全面拍摄出显示器后，从拍摄好的图像中使用者眼和手指延长线与显示器相交的触点上生成指针的技术公开的专利文献(国内公开专利第2012-0129629号2010.12.09)中公开了。
但是，这种传统技术的问题在于：由于用来操作电子设备或获得信息的显示器与使用者的位置距离较远，因此，不容易进行较为精确的操作。
而且，不方便的是，为了进行用来操作电子设备或获得信息的虚拟触摸，必须沿着显示器方向将使用者的视线固定后才能执行虚拟触摸操作。
另外，若电子设备不具备显示器，操作本身就不可能完成。
发明内容
因此，本发明是为了解决上述问题而提案的，本发明的目的是为了提供：通过能够戴在面部的显示器，使使用者能够精确操作的虚拟触摸装置。
另外，本发明的另一目的是为了提供：由于使用了使用者能够佩戴的透明显示器，因此不管使用者面朝哪个方向或所处任何位置，任何时候都可以识别出在使用者透明显示器上的内容的虚拟触摸装置。
本发明的另一目的是为了提供：对于不具备显示器的电子设备，也能够操作或是获得相关信息的透明显示器虚拟触摸装置。
课题的解决方法
为了达成上述目标，根据本发明利用透明显示器的虚拟触摸装置的特征是其构成包含了：位于眼前、能够戴在使用者面部，用来显示画面内容的透明显示部；附着在上述透明显示部一侧、用来拍摄使用者眼睛位置的第1影像获得部；附着在上述透明显示部的另一侧、用来拍摄使用者身体的第2影像获得部；以及利用通过上述第1影像获得部及第2影像获得部拍摄的影像，分别计算出三维坐标数据后，利用上述数据检测出第1空间坐标及第2空间坐标，计算出连接上述第1空间坐标及第2空间坐标的直线与上述透明显示屏的显示面相交的触点坐标数据的虚拟触摸处理部。
最为理想的上述虚拟触摸处理部，其特征是：透明显示部及第1、2影像获得部合为一体，或是分别由能够独立携带的终端机构成。
最为理想的上述虚拟触摸处理部，其特征是构成包含了：利用上述第1影像获得部及第2影像获得部拍摄的影像，分别计算出其三维坐标数据，并且计算出第1空间坐标及第2空间坐标的三维坐标计算部；计算出连接由上述三维坐标计算部计算出的上述第1空间坐标及第2空间坐标的直线与上述透明显示部相交触点坐标数据的触摸位置计算部；以及在透明显示部所显示的内容中选择出与从上述虚拟触摸位置计算部中计算出的触点坐标数据相匹配的内容，并输出用来执行与选定内容相关服务的指令码的配对处理部。
最为理想的上述虚拟处理部，其特征是：利用时间迟延测定法(Time of Flight)计算出上述三维坐标数据。
最为理想的上述指令码，其特征是：用来操作特定电子设备接口的指令码或根据特定物品(建筑物)的建筑名、地区编码、商号、宣传语、服务标语中至少选取一个提供给上述透明显示部使其成为用来显示的指令码。
最为理想的上述三维坐标计算部，其特征是：以上述第1影像获得部拍摄的使用者眼的影像为基础，利用三维坐标计算法计算出第2空间坐标，然后以上述第2影像获得部拍摄的使用者身体的影像为基础，利用三维坐标计算法计算出第1空间坐标。
最为理想的上述三维坐标计算部，其特征是包含了：由两个以上、安装在不同位置的传感器构成的、用来拍摄不同角度的使用者身体的影像获得部；从上述影像获得部中接收到从不同角度拍摄到的使用者身体的影像后，以此为基础，利用光学三角测量法计算出使用者身体的三维坐标数据的空间坐标计算部。
最为理想的上述三维坐标计算部，其特征是：把已经编码的模式影像投影在使用者身上，然后以处理构造光投影场面的影像来处理，从而获得上述三维坐标数据。
最为理想的上述三维坐标计算部，其特征是包含了：由光源和散光器构成、用来把散斑图投影在使用者身体上的照明组件；由图像传感器和凸镜构成、用来捕捉通过上述照明组件投影在上述使用者身体上的散斑图的影像获得部；以及利用上述影像获得部捕捉到得散斑图计算出使用者身体的三维坐标数据的空间坐标计算图。
最为理想的上述三维坐标计算部，其特征是：两个以上，并且安装于不同位置。
最为理想的上述第1空间坐标，其特征是：第1空间坐标是上述使用者手指中某一手指的指尖，上述使用者用手握住的指针端部中某一个的三维坐标，而上述第2空间坐标就是使用者某一侧眼睛的中心点的三维坐标。
最为理想的上述第1空间坐标，其特征是：第1空间坐标是上述使用者手指中两个以上的指尖的三维坐标，上述第2空间坐标是上述使用者某一侧眼睛中心点的三维坐标。
发明效果
上文中解释说明的本发明透明显示器虚拟触摸装置将达到以下效果。
首先，根据本发明的透明显示器虚拟触摸装置，由于本装置具有“使用者的眼-显示器-使用者的手指”这一构造，显示器正好位于使用者的正前方，因此，使用者能够准确地指向在显示器上清晰显示的内容，完成精准地操作。
第二，根据本发明的透明显示器虚拟触摸装置，因为透明显示器可以直接佩戴在使用者的眼前，所以，随着使用者头部的移动，透明显示器也自然而然地跟着移动。因此，使用者的视线不管指向哪个方向都可以看到透明显示器上显示的内容，从而能够随时操作电子设备或选择信息。
第三，对于本发明，即使没有显示器，也可以用于操作电子设备。即，在本发明中，因为佩戴在使用者眼睛正前方的透明显示部可以完成与电子设备显示部一样的作用，因此也可以操作没有显示部的电子设备。例如，照明设备、电冰箱、空调、打印机等多种电子设备的情况，远距离中，即使不另外具备使用者能够看到的显示部，当使用根据本发明的透明显示器虚拟触摸装置时，也能够操作各种电子设备。
附图说明
图1展示的是使用根据本发明理想实施例的透明显示器的虚拟触摸装置的构成图。
图2展示的是使用根据本发明理想实施例的透明显示器的虚拟触摸装置的结构图。
图3展示的是在图2中，为了进行三维坐标计算方法中的光学三角测量法的三维坐标计算部构成的结构图。
图4展示的是在图2中，为了进行三维坐标计算方法中的构造光方式的三维坐标计算部构成的结构图。
图5展示的是用来解释说明根据本发明实施例的利用透明显示器的虚拟触摸方法的流程图。
具体实施方式
为了更明确地了解本发明的其他目的、特性及优点，以下将参考附加图面，对本发明的实施例做更详尽的解释说明。
根据本发明的利用透明显示器的虚拟触摸装置的理想实施例，将参考附加图片进行以下解释说明。但是，本发明并不仅限于以下所揭示的实施例，而是能够展现出多种不同的形态，只要本实施例能够完整地展示本发明，那么具有一般常识的读者就能够完整地理解本发明的范围。另外，本说明书中所记载的实施例与图面中图示的构成仅仅是本发明最为理想化的一种实施例，并不能代表本发明所有的技术性思想，因此在此申请阶段中可有能够代替它们的多种相同物和变形例。
图1展示的是使用根据本发明理想实施例的透明显示器的虚拟触摸装置的构成图。图2展示的是使用根据本发明理想实施例的透明显示器的虚拟触摸装置的结构图。
如图1及图2所示，虚拟触摸装置包含了位于眼前、能够戴在使用者面部，用来显示画面内容的透明显示部(20)；附着在上述透明显示部(20)一侧、用来拍摄使用者眼睛位置的第1影像获得部(30)；附着在上述透明显示部(20)的另一侧、用来拍摄使用者身体的第2影像获得部(40)；以及利用通过上述第1影像获得部(30)及第2影像获得部(40)拍摄的影像，分别计算出三维坐标数据后，利用上述数据检测出第1空间坐标及第2空间坐标，计算出连接上述第1空间坐标及第2空间坐标的直线与上述透明显示器(20)的显示面相交的触点坐标数据的虚拟触摸处理部(100)。这时，上述虚拟触摸处理器(100)由透明显示部(20)及第1、2影像获得部(30)(40)合为一体，或是与其他构成要素(20)(30)(40)分开，由能够独立携带的终端机构成。
上述虚拟触摸处理部(100)，利用上述第1影像获得部(30)及第2影像获得部(40)拍摄的影像，分别计算出其三维坐标数据，并且计算出第1空间坐标及第2空间坐标的三维坐标计算部(110)；计算出连接由上述三维坐标计算部(110)计算出的上述第1空间坐标(B)及第2空间坐标(A)的直线与上述透明显示部(20)相交触点坐标数据的触摸位置计算部(120)；以及在透明显示部(20)所显示的内容中选择出与从上述触摸位置计算部(120)中计算出的触点坐标数据相匹配的内容，并输出用来执行与选定内容相关服务的指令码的配对处理部(130)。上述内容可包含影像、视频、文本、图像、3D中至少一项。
这时，上述指令码可以是用来操作特定电子设备接口的指令码或把根据特定物品(建筑物)的建筑名、地区编码、商号、宣传语、服务标语等多种信息提供给上述透明显示部(20)使其成为用来显示的指令码。另一方面，上述指令码及特定物品(建筑物)的建筑名、地区编码、商号、宣传语、服务标语等多种信息已事先储存在上述虚拟触摸处理部(100)的存储部(未图示)中。另外，上述建筑名等多种信息还可以从虚拟触摸装置外部事先储存后通过电脑等网络进行传输。
上述三维坐标计算部(110)，当使用者远程使用通过手的虚拟触摸来完成选择操作的话，以第1影像获得部(30)拍摄的使用者眼的影像为基础，利用三维坐标计算法计算出第2空间坐标(A)，然后以上述第2影像获得部(40)拍摄的使用者身体(手指)的影像为基础，利用三维坐标计算法计算出第1空间坐标(B)。这时，上述三维坐标计算法可以是光学三角测量法、构造光式、时间迟延测定法(Time of Flight)等(由于现在关于三维坐标计算方式的准确分类方式还没有确立，因此可能会包含相互重复的方式)，能够计算出使用者身体三维坐标的任何方法或装置都能够适用。
图3展示的是在图2中，为了进行三维坐标计算方法中的光学三角测量法的三维坐标计算部构成的结构图。
如图3所示，用来进行光学三角测量法的三维坐标计算部(110)包含影像获得部(111)和空间坐标计算部(112)
上述影像获得部(111)作为一种摄像机组件，其构成由配置在不同位置、由两个以上用来检测影像并将检测到得影像转换为电子图像信号的、类似CCD或是CMOS等的图像传感器(111a)(111b)构成，然后分别从不同的角度拍摄使用者的身体。而且，上述空间坐标计算部(112)从影像获得部(111)中接收到从不同角度拍摄到的使用者身体的影像后，以此为基础，利用光学三角测量法计算出使用者身体的三维坐标数据的空间坐标计算部。
像这样，光学三角测量法可适用于拍摄影像间相对应的特定点，并能够获得三维信息。作为应用三角法计算出三维坐标的各种相关方法，经常被采用的有摄像机自标定(camara self calibration)法，Harris的角点检测法，SIFT法，RANSAC法，Tsai法等。
图4展示的是在图2中，为了进行三维坐标计算方法中的构造光方式的三维坐标计算部构成的结构图。
图4中，三维坐标计算部(110)把已经编码的模式影像投影在使用者身上，然后以处理构造光投影场面的影像来处理，从而获得上述三维坐标数据，其构成包含：光源(113a)和散光器(113b)；用来把散斑图投影在使用者身体上的照明组件(113)；图像传感器(114a)及凸镜(114b)；用来捕捉通过上述照明组件(113)投影在上述使用者身体上的散斑图的影像获得部(114)，以及以上述影像获得部(114)捕捉到得散斑图为基础，利用构造光方式计算出使用者身体的三维坐标数据的空间坐标计算部(115)。
另外，作为本发明的另一实施例，活用时间迟延测定法(Time of Flight：TOF)的三维坐标数据计算法也可以使用。
上述提及到的各种三维坐标计算法，只要是本法明所属技术领域的从业人很容易就明白并能够具体体现，因此省略不提。另一方面，利用二维图像计算出三维坐标数据的方法及其关联专利文献有国内公开专利第10-0021803号，第10-2004-0004135号，第10-2007-0066382号，第10-2007-0117877号等大量存在。
另一方面，上述触摸位置计算部(120)所起到的作用是利用由三维坐标计算部(110)计算出的上述第1空间坐标(手指)及第2空间坐标(眼)，计算出连接上述第1空间坐标和第2空间坐标的直线与上述透明显示部(20)相交触点坐标数据。
在此，使用手指作为上述第1空间坐标(B)。即，人的身体中手指是唯一较为灵活、能够进行精密操作的部分。特别是，使用大拇指或食指中的某一个，或是两根手指一起使用时，可完成精准地指示。因此，本发明中作为第1空间坐标(B)使用大拇指及/或是食指指尖是非常有效的。另外，按照这个思路，代替所述第1空间坐标(B)作用的手指指尖部分，可以用由手指握住的底部是尖的指针(例如，笔尖)。
另外，本发明使用使用者一只眼睛的中心点作为上述第2坐标(A)。例如，若在使用者双眼前伸出食指看的话，将看到两个食指。这是由于使用者双眼看到的食指形象是不一样才会发生此类现象(由双眼的角度差引起)。但是，若只用其中一只眼去看食指的话就能够清楚地看到食指。另外即使硬撑着不闭上另一只眼，但是意识上只用一边的眼去看的话，也能看到清楚的食指。这与射击、射箭等有需要瞄准的、要求高度准确性的运动项目中，大部分一侧眼睛闭上瞄准的原理是一样的。
在本发明中，将采用仅用一侧眼(第2空间坐标)去看手指指尖(第1空间坐标)，可准确掌握手指指尖形态这一原理。同样的，使用者只有准确地看见第1空间坐标(B)才能给指出与第1空间(B)坐标相一致的、在上述透明显示部(20)中显示所内容的接点坐标数据。
另一方面，在本发明中，一名使用者在使用手指中的某一个时，第1空间坐标就是使用者某一手指的指尖，上述使用者用手握住的指示器尖端中的某一个是三维坐标，第2空间坐标是使用者某一只眼睛中心点的三维坐标。另外，一名使用者使用手指中两个以上手指时，上述第1空间坐标是上述使用者伸出的两个以上的手指指尖的三维坐标。
另外，从计算出初期接点坐标数据的时间算起，若超过设定时间，上述接点坐标数据没有变动的话，上述配对处理部(130)将选择与由上述虚拟触摸计算部(120)计算出的接点坐标数据相匹配的透明显示部(20)中显示的内容。
另外，上述配对处理部(130)将判断：从计算出初期接点坐标数据的时间算起，上述接点坐标是否会因为超过设定时间而发生变动，若超过设定时间，接触点坐标数据没有变动的话，再判断第1空间坐标和第2空间坐标之间的距离在超过设定距离时有无变化发生，若超过设定距离有变化发生时，上述配对处理部将选择与由上述虚拟触摸计算部(120)计算出的接点坐标数据相匹配的透明显示部(20)中显示的内容。
另一方面，若判断上述接点坐标数据的变动是在设定领域范围之内的话，上述接点坐标数据的形成将按照没有变动来对待。即，使用者在用手指或是指示器尖端去指点显示器时，在身体特性上，身体或是手指上难免会有些移动或颤动，因此使用者按原样维持接触点的坐标是非常难的。因此，上述接点坐标数据的值在事先设定好的领域范围内存在时，上述接点坐标数据可看作为没有变动。
如何操作根据本发明的利用透明显示器的虚拟触摸装置将参考附加图面在下文做更为详尽的解释说明。图1至图3中相同的参照符号表示执行相同功能的相同部件。
图5展示的是用来解释说明根据本发明实施例的利用透明显示器的虚拟触摸方法的流程图。
参考图5说明，首先，当使用者远程使用通过手的虚拟触摸来完成选择操作的话，三维坐标计算部(110)以第1影像获得部(30)拍摄的使用者眼的影像为基础，利用三维坐标计算法计算出第2空间坐标(A)，然后以上述第2影像获得部(40)拍摄的使用者身体(手指)的影像为基础，利用三维坐标计算法计算出第1空间坐标(B)(S10)。这时，上述三维坐标计算法可以是光学三角测量法、构造光式、时间迟延测定法(Time of Flight)等(由于现在关于三维坐标计算方式的准确分类方式还没有确立，因此可能会包含相互重复的方式)，能够计算出使用者身体三维坐标的任何方法或装置都能够适用。
最为理想的是，上述第1空间坐标是上述使用者手指中某一手指的指尖，上述使用者用手握住的指针端部中某一个的三维坐标，而上述第2空间坐标就是使用者某一侧眼睛的中心点的三维坐标。
触摸位置计算部(120)计算出连接由上述三维坐标计算部(110)计算出的上述第1空间坐标(B)及第2空间坐标(A)的直线与上述透明显示部(20)相交触点坐标数据(S20)。
另一方面，作为计算出上述第1空间坐标(B)及第2空间坐标(A)的直线与上述透明显示部(20)相交触点坐标数据的方法，可使用绝对坐标法，相对坐标法以及操作者选择的方法。
第1种，绝对坐标法，是逆算出三维地图(map)与透明画面配对的时点，然后取得空间坐标的绝对坐标的方法。即，这一方法通过GPS、螺旋仪传感器、指南针或是基站信息等能够取得多种路径位置的数据，可限定与摄像机画面配对的对象从而迅速地得到结果，
第2种，相对坐标法，是具有被固定在空间的绝对坐标的摄像机，帮助操作者的相对坐标转换为绝对坐标转换的方式。即，具有绝对坐标的摄像机在读取手和眼时，是属于空间型，这里的技术把成为个人型绝对坐标的一个点提供给空间型的形态。
最后一种，操作者选择法，现今的智能手机以AR服务等能够取得的信息为基础，显示所属范围中的内容，通过使用者所选择的方法，显示了包含了没有准确绝对坐标误差范围的选择菜单后进行选择，使用者自己排除误差后得到结果。
接下来，配对处理部(130)在透明显示部(20)所显示的内容中选择出与从上述触摸位置计算部(120)中计算出的触点坐标数据相匹配的内容(S30)。上述透明显示部(20)中显示的内容至少包含影像、视频、文本、图像、3D中的一项。
然后，上述配对处理部(130)输出用来执行与上述选定内容相关服务的指令码，根据与已选择内容相关的服务来操作特定电子设备接口的指令码或把根据物品(建筑物)的信息提供给显示部(20)并显示(S40)。与上述内容相关的服务可包含通过三维地图信息建筑或是位置的建筑名、地区编码、商号、宣传语、服务标语等信息或是美术品、收藏品等作品的说明的菜单，另外，为了操作特定电子设备的接口也可包含操作菜单。但是，这只是理想的实施例，在本发明的技术思想范围内可理解出多种实施例。
上面所解释说明的本发明的技术性思想通过理想实施例被具体叙述，但需要注意的是上述实施例是为了说明而并不是为了限制。另外，具有本发明技术性领域一般性知识的人就能够理解在本发明的技术思想范围内的大量实施例。因此本发明的正常技术保护范围就必须根据附加的专利权利要求书的技术性思想来制定。
商业化利用可能
本发明是利用摄像机拍摄的影像识别出使用者身体的一部分后，由此计算出与戴在使用者身体上的透明显示器的接点后，虚拟触摸在显示器接点上显示的内容，然后操作电子设备接口，可以说是具有产业利用性。

Claims (12)

1.一种不显示指针的透明显示器虚拟触摸装置，其特征是包含了：
位于眼前、能够戴在使用者面部，用来显示画面内容的透明显示部；附着在上述透明显示部一侧、用来拍摄使用者眼睛位置的第1影像获得部；附着在上述透明显示部的另一侧、用来拍摄使用者身体的第2影像获得部；以及利用通过上述第1影像获得部及第2影像获得部拍摄的影像，分别计算出三维坐标数据后，利用上述数据检测出第1空间坐标及第2空间坐标，计算出连接上述第1空间坐标及第2空间坐标的直线与上述透明显示部的显示面相交的触点坐标数据的虚拟触摸处理部。
2.根据权利要求1中的不显示指针的透明显示器虚拟触摸装置，其特征是：透明显示部及第1、2影像获得部合为一体，或是分别由能够独立携带的终端机构成。
3.根据权利要求1中的不显示指针的透明显示器虚拟触摸装置，上述虚拟触摸处理部，其特征是：利用上述第1影像获得部及第2影像获得部拍摄的影像，分别计算出其三维坐标数据，并且计算出第1空间坐标及第2空间坐标的三维坐标计算部；计算出连接由上述三维坐标计算部计算出的上述第1空间坐标及第2空间坐标的直线与上述透明显示部相交触点坐标数据的触摸位置计算部；以及在透明显示部所显示的内容中选择出与从上述虚拟触摸位置计算部中计算出的触点坐标数据相匹配的内容，并输出用来执行与选定内容相关服务的指令码的配对处理部。
4.根据权利要求1中的不显示指针的透明显示器虚拟触摸装置，其特征是：
利用时间迟延测定法(Time of Flight)计算出上述三维坐标数据。
5.根据权利要求3中的不显示指针的透明显示器虚拟触摸装置，其特征是：
上述指令码是用来操作特定电子设备接口的指令码或根据特定物品(建筑物)的建筑名、地区编码、商号、宣传语、服务标语中至少选取一个提供给上述透明显示部使其成为用来显示的指令码。
6.根据权利要求3中的不显示指针的透明显示器虚拟触摸装置，上述三维坐标计算部，其特征是：以上述第1影像获得部拍摄的使用者眼的影像为基础，利用三维坐标计算法计算出第2空间坐标，然后以上述第2影像获得部拍摄的使用者身体的影像为基础，利用三维坐标计算法计算出第1空间坐标。
7.根据权利要求6中的不显示指针的透明显示器虚拟触摸装置，上述三维坐标计算部，其特征是：由两个以上、安装在不同位置的传感器构成的、用来拍摄不同角度的使用者身体的影像获得部；从上述影像获得部中接收到从不同角度拍摄到的使用者身体的影像后，以此为基础，利用光学三角测量法计算出使用者身体的三维坐标数据的空间坐标计算部。
8.根据权利要求6中的不显示指针的透明显示器虚拟触摸装置，上述三维坐标计算部，其特征是：把已经编码的模式影像投影在使用者身上，然后以处理构造光投影场面的影像来处理，从而获得上述三维坐标数据。
9.根据权利要求8中的不显示指针的透明显示器虚拟触摸装置，上述三维坐标计算部，其特征是包含了：由光源和散光器构成、用来把散斑图投影在使用者身体上的照明组件；由图像传感器和凸镜构成、用来捕捉通过上述照明组件投影在上述使用者身体上的散斑图的影像获得部；以及利用上述影像获得部捕捉到得散斑图计算出使用者身体的三维坐标数据的空间坐标计算部。
10.根据权利要求8中的不显示指针的透明显示器虚拟触摸装置，上述三维坐标计算部，其特征是：两个以上，并且安装于不同位置。
11.根据权利要求1-3中任一项的不显示指针的透明显示器虚拟触摸装置，其特征是：第1空间坐标是上述使用者手指中某一手指的指尖，上述使用者用手握住的指针端部中某一个的三维坐标，而上述第2空间坐标就是使用者某一侧眼睛的中心点的三维坐标。
12.根据权利要求1-3中任一项的不显示指针的透明显示器虚拟触摸装置，其特征是：第1空间坐标是上述使用者手指中两个以上的指尖的三维坐标，上述第2空间坐标是上述使用者某一侧眼睛中心点的三维坐标。
CN201380021497.9A 2012-04-23 2013-04-22 不显示指针的透明显示器虚拟触摸装置 Active CN104246664B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
KR1020120041985A KR101343748B1 (ko) 2012-04-23 2012-04-23 포인터를 표시하지 않는 투명 디스플레이 가상 터치 장치
KR10-2012-0041985 2012-04-23
PCT/KR2013/003421 WO2013162236A1 (ko) 2012-04-23 2013-04-22 포인터를 표시하지 않는 투명 디스플레이 가상 터치 장치

Publications (2)

Publication Number Publication Date
CN104246664A CN104246664A (zh) 2014-12-24
CN104246664B true CN104246664B (zh) 2017-03-15

Family

ID=49483467

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201380021497.9A Active CN104246664B (zh) 2012-04-23 2013-04-22 不显示指针的透明显示器虚拟触摸装置

Country Status (4)

Country Link
US (1) US20150116204A1 (zh)
KR (1) KR101343748B1 (zh)
CN (1) CN104246664B (zh)
WO (1) WO2013162236A1 (zh)

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9609581B2 (en) * 2014-01-21 2017-03-28 Qualcomm Incorporated Parameters for device to device discovery
US9207780B2 (en) * 2014-01-27 2015-12-08 Fuji Xerox Co., Ltd. Systems and methods for hiding and finding digital content associated with physical objects via coded lighting
KR102279681B1 (ko) * 2014-05-26 2021-07-20 에스케이플래닛 주식회사 동공인식을 이용한 광고 제공 장치 및 방법
KR101709611B1 (ko) * 2014-10-22 2017-03-08 윤영기 디스플레이와 카메라가 장착된 스마트 안경과 이를 이용한 공간 터치 입력 및 보정 방법
KR102310994B1 (ko) * 2014-11-25 2021-10-08 삼성전자주식회사 3차원 상호작용 컴퓨팅 장치 및 방법
KR101937823B1 (ko) * 2016-10-24 2019-01-14 주식회사 브이터치 객체 제어를 지원하기 위한 방법, 시스템 및 비일시성의 컴퓨터 판독 가능한 기록 매체
CA3059373A1 (en) * 2017-04-24 2018-11-01 Magic Leap, Inc. Tracking optical flow of backscattered laser speckle patterns
KR102463712B1 (ko) 2017-11-24 2022-11-08 현대자동차주식회사 가상 터치 인식 장치 및 그의 인식 오류 보정 방법
CN108388347B (zh) * 2018-03-15 2021-05-25 网易（杭州）网络有限公司 虚拟现实中的交互控制方法和装置及存储介质、终端
TWI691870B (zh) 2018-09-17 2020-04-21 財團法人工業技術研究院 虛實影像的互動方法及裝置

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20030021988A (ko) * 2001-09-07 2003-03-15 이민호 영상처리를 이용한 원격 손가락 조종기
JP2010107685A (ja) * 2008-10-30 2010-05-13 Fujifilm Corp ３次元表示装置および方法並びにプログラム
KR20100075281A (ko) * 2008-12-24 2010-07-02 전자부품연구원 공간 투영 및 공간 터치 기능이 구비된 단말 장치 및 그 제어 방법
CN101866235A (zh) * 2010-02-10 2010-10-20 张强 一种三维空间的多点触控或多笔书写屏
KR20100129629A (ko) * 2009-06-01 2010-12-09 엘지전자 주식회사 움직임 검출에 의한 전자장치 동작 제어방법 및 이를 채용하는 전자장치
KR20110037053A (ko) * 2009-10-05 2011-04-13 (주)휴비드씨엔에스 영상센서를 이용한 3차원 공간 터치 입력장치 및 그 방법

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7233316B2 (en) * 2003-05-01 2007-06-19 Thomson Licensing Multimedia user interface
US20110096182A1 (en) * 2009-10-25 2011-04-28 Prime Sense Ltd Error Compensation in Three-Dimensional Mapping
KR101141087B1 (ko) * 2007-09-14 2012-07-12 인텔렉츄얼 벤처스 홀딩 67 엘엘씨 제스처-기반 사용자 상호작용의 프로세싱
US8166421B2 (en) * 2008-01-14 2012-04-24 Primesense Ltd. Three-dimensional user interface
US8384997B2 (en) * 2008-01-21 2013-02-26 Primesense Ltd Optical pattern projection
US20130314303A1 (en) * 2010-02-28 2013-11-28 Osterhout Group, Inc. Ar glasses with user action control of and between internal and external applications with feedback
US9164581B2 (en) * 2010-10-22 2015-10-20 Hewlett-Packard Development Company, L.P. Augmented reality display system and method of display
US8179604B1 (en) * 2011-07-13 2012-05-15 Google Inc. Wearable marker for passive interaction
US8990682B1 (en) * 2011-10-05 2015-03-24 Google Inc. Methods and devices for rendering interactions between virtual and physical objects on a substantially transparent display
US9183807B2 (en) * 2011-12-07 2015-11-10 Microsoft Technology Licensing, Llc Displaying virtual data as printed content
US9024844B2 (en) * 2012-01-25 2015-05-05 Microsoft Technology Licensing, Llc Recognition of image on external display

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20030021988A (ko) * 2001-09-07 2003-03-15 이민호 영상처리를 이용한 원격 손가락 조종기
JP2010107685A (ja) * 2008-10-30 2010-05-13 Fujifilm Corp ３次元表示装置および方法並びにプログラム
KR20100075281A (ko) * 2008-12-24 2010-07-02 전자부품연구원 공간 투영 및 공간 터치 기능이 구비된 단말 장치 및 그 제어 방법
KR20100129629A (ko) * 2009-06-01 2010-12-09 엘지전자 주식회사 움직임 검출에 의한 전자장치 동작 제어방법 및 이를 채용하는 전자장치
KR20110037053A (ko) * 2009-10-05 2011-04-13 (주)휴비드씨엔에스 영상센서를 이용한 3차원 공간 터치 입력장치 및 그 방법
CN101866235A (zh) * 2010-02-10 2010-10-20 张强 一种三维空间的多点触控或多笔书写屏

Also Published As

Publication number Publication date
CN104246664A (zh) 2014-12-24
US20150116204A1 (en) 2015-04-30
WO2013162236A1 (ko) 2013-10-31
KR101343748B1 (ko) 2014-01-08
KR20130119094A (ko) 2013-10-31

Similar Documents

Publication Publication Date Title
CN104246664B (zh) 不显示指针的透明显示器虚拟触摸装置
US9310891B2 (en) Method and system enabling natural user interface gestures with user wearable glasses
US9207773B1 (en) Two-dimensional method and system enabling three-dimensional user interaction with a device
KR101151962B1 (ko) 포인터를 사용하지 않는 가상 터치 장치 및 방법
KR101381928B1 (ko) 포인터를 사용하지 않는 가상 터치 장치 및 방법
US9600078B2 (en) Method and system enabling natural user interface gestures with an electronic system
US9075444B2 (en) Information input apparatus, information input method, and computer program
EP1292877B1 (en) Apparatus and method for indicating a target by image processing without three-dimensional modeling
KR101441882B1 (ko) 포인터를 사용하지 않는 가상 터치 장치에서의 디스플레이 표시면 둘레의 가상 평면을 사용하여 전자기기를 제어하는 방법
KR102147430B1 (ko) 가상 공간 멀티 터치 인터랙션 장치 및 방법
JP6344530B2 (ja) 入力装置、入力方法、及びプログラム
CN103336575A (zh) 一种人机交互的智能眼镜系统及交互方法
CN104620201A (zh) 不需要指针的三维虚拟对象信息获得装置
WO2017057107A1 (ja) 入力装置、入力方法、及びプログラム
KR20120126508A (ko) 포인터를 사용하지 않는 가상 터치 장치에서의 터치 인식 방법
US20110043446A1 (en) Computer input device
KR101321274B1 (ko) 두대의 카메라와 광원을 이용한 포인터를 사용하지 않는 가상 터치 장치
TWI486815B (zh) 顯示設備及其控制系統和方法
KR101272458B1 (ko) 포인터를 사용하지 않는 가상 터치 장치 및 방법
CN107884930A (zh) 头戴式装置及控制方法
Narayanan Balaji et al. RetroSphere: Enabling Low-power and Affordable 3D Input for Lightweight Augmented Reality Devices
KR20130133482A (ko) 티오에프 카메라를 이용한 포인터를 사용하지 않는 가상 터치 장치
CN110554784A (zh) 输入方法、装置、显示设备及存储介质

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant