CN103688236A - 利用三维模拟电子设备的虚拟触摸的远程操作装置及方法 - Google Patents

利用三维模拟电子设备的虚拟触摸的远程操作装置及方法 Download PDF

Info

Publication number
CN103688236A
CN103688236A CN201280034529.4A CN201280034529A CN103688236A CN 103688236 A CN103688236 A CN 103688236A CN 201280034529 A CN201280034529 A CN 201280034529A CN 103688236 A CN103688236 A CN 103688236A
Authority
CN
China
Prior art keywords
electronic equipment
mentioned
user
dimensional
coordinate data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201280034529.4A
Other languages
English (en)
Other versions
CN103688236B (zh
Inventor
金石中
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Vtouch Co Ltd
Original Assignee
Vtouch Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Vtouch Co Ltd filed Critical Vtouch Co Ltd
Publication of CN103688236A publication Critical patent/CN103688236A/zh
Application granted granted Critical
Publication of CN103688236B publication Critical patent/CN103688236B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/002—Specific input/output arrangements not covered by G06F3/01 - G06F3/16
    • G06F3/005—Input arrangements through a video camera
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G—PHYSICS
    • G08—SIGNALLING
    • G08C—TRANSMISSION SYSTEMS FOR MEASURED VALUES, CONTROL OR SIMILAR SIGNALS
    • G08C17/00—Arrangements for transmitting signals characterised by the use of a wireless electrical link
    • G—PHYSICS
    • G08—SIGNALLING
    • G08C—TRANSMISSION SYSTEMS FOR MEASURED VALUES, CONTROL OR SIMILAR SIGNALS
    • G08C17/00—Arrangements for transmitting signals characterised by the use of a wireless electrical link
    • G08C17/02—Arrangements for transmitting signals characterised by the use of a wireless electrical link using a radio link
    • G—PHYSICS
    • G08—SIGNALLING
    • G08C—TRANSMISSION SYSTEMS FOR MEASURED VALUES, CONTROL OR SIMILAR SIGNALS
    • G08C23/00—Non-electrical signal transmission systems, e.g. optical systems
    • G08C23/04—Non-electrical signal transmission systems, e.g. optical systems using light waves, e.g. infrared
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04Q—SELECTING
    • H04Q9/00—Arrangements in telecontrol or telemetry systems for selectively calling a substation from a main station, in which substation desired apparatus is selected for applying a control signal thereto or for obtaining measured values therefrom
    • G—PHYSICS
    • G08—SIGNALLING
    • G08C—TRANSMISSION SYSTEMS FOR MEASURED VALUES, CONTROL OR SIMILAR SIGNALS
    • G08C2201/00—Transmission systems of control signals via wireless link
    • G08C2201/30—User interface
    • G08C2201/32—Remote control based on movements, attitude of remote control device
    • G—PHYSICS
    • G08—SIGNALLING
    • G08C—TRANSMISSION SYSTEMS FOR MEASURED VALUES, CONTROL OR SIMILAR SIGNALS
    • G08C2201/00—Transmission systems of control signals via wireless link
    • G08C2201/90—Additional features
    • G08C2201/91—Remote control based on location and proximity

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Multimedia (AREA)
  • Computer Graphics (AREA)
  • Geometry (AREA)
  • Software Systems (AREA)
  • Position Input By Displaying (AREA)
  • User Interface Of Digital Computer (AREA)
  • Selective Calling Equipment (AREA)

Abstract

在远距离时，利用通过使用者移动（动作）的虚拟触摸，不管有没有电子设备驱动操作显示器，都能够适用并控制所有利用遥控器驱动操作的电子设备的远程操作装置及方法；构成包含了利用通过摄影得到的影像，计算出使用者身体及电子设备三维坐标数据的三维坐标计算部，利用上述三维坐标计算部中计算出的电子设备的三维坐标数据；及识别电子设备空间位置信息及设备制品的信息，与使用者与电子设备之间的一直线上对应的方向信息为基础为了使用者与电子设备之间的虚拟触摸而生成虚拟接点领域的电子设备检测部；及利用上述三维坐标计算部中计算出的使用者身体的三维坐标数据，计算出为了驱动操作电子设备的虚拟触摸位置及位置变化，以计算出的虚拟触摸位置变化为基础，生成能够执行事先设定好、用来操作电子设备的指令码的使用者检测部；及若输入在上述使用者检测部中生成的指令码，被转换为驱动操作所属电子设备的控制指令信号后，向所属电子设备送出操作指令信号的电子设备驱动控制部，及储存了上述电子设备的制造者，包含模型名称的设备制品信息，不同设备制品所适用于的驱动操作的协议信息，不同电子设备的操作方法信息的电子设备信息数据库（DB）。

Description

利用三维模拟电子设备的虚拟触摸的远程操作装置及方法
技术领域
本发明是关于使用者远程操作电子设备的装置及方法的，特别是通过电子设备的扫描计算好坐标后，并不使用遥控器等远程控制三维模拟电子设备的工具，而是在远距离时，利用通过使用者手指尖移动（动作）的虚拟触摸，能够控制电子设备驱动操作的远程操作装置及方法。
背景技术
最近，智能手机等具备触屏的电子设备正在被广泛应用。这种触屏技术与现存的、通过鼠标进行操作的电脑等电子设备相比，显示器上不需要显示“指示器”。使用者没有必要为了控制电子设备而把指示器（电脑的光标）移到所对应的位置（比如，程序图标）上，只需把手指移动到图标上点击就可执行操作。这种触屏技术使得现有电子设备控制手段所必要的“指示器”移动步骤变得不必要，从而能够快速地操作电子设备。
但是，尽管触屏技术具有上述便利性，但是由于使用者必须亲自触摸显示器，因此，此技术具有不能远程操作的本质缺陷。所以，即使是采用了触屏的电子设备为了实现远程操作也不得不依靠传统式遥控器等的装置。
最近，作为远程电子设备的控制装置，例如触屏技术等，能够准确地在支点生成指示器的装置，正如在公开专利[文献1]中公开的一样。即利用两台摄像机把显示器全面拍下后，从拍摄好的图像中在使用者眼睛和手指的延长直线与显示器相遇点上生成指示器，但是为了控制电子设备而必须提前预备生成‘指示器’（指示器控制部放置），然后为了具体执行操作，需通过比较使用者的姿势与已经储存好的模式才能执行这一点十分的不方便。
[文献1]公开专利2010-01296292010.12.9
另外，在从上述拍摄好的图像中与使用者眼睛和手指的延长直线相遇的显示器相遇的点上生成指示器，远程操作电子设备的方法中，具有必须在由大画面（即使在远距离时，也能根据使用者来确认操作图标的大小）的显示器装置构成的电子设备中才能使用的问题。同时，由于只能在电子设备的正前方才能操作，因此使用者操作时只能在电子设备的前方移动，非常不方便。
另外，现存的家电设备和摄相机控制部放是为了能够通过互通信息来操作家电设备运行构成的，因此电子设备具有任何时候都只能被限定于固定位置才能够远程操作的问题，因此，能够远程操作的电子设备的种类只能被限定于不具有移动性的电子设备。
发明内容
（技术上的问题）
因此，本发明是为了解决上述问题而提出的，本发明的目的是为了提供：在远距离时，利用通过使用者移动（动作）的虚拟触摸，不管有没有电子设备驱动操作显示器，都能够适用并控制所有利用遥控器驱动操作的电子设备的远程操作装置及方法。
本发明的另一目的是为了提供：与电子设备的移动、使用者与电子设备之间的位置及方向无关，位于家中任何位置的设备都能利用通过使用者手指尖移动的虚拟触摸，进行远程控制的远程操作装置及方法。
本发明的另一目的是为了提供：远程操作装置的构成与成为远程调整对象的电子设备分别分离构成，即使在电子设备移动时，通过轻松计算出电子设备变化后的三维空间坐标，适用于各种能够自由移动的电子设备的远程操作装置及方法。
（课题的解决手段）
为了达成上述目标，根据本发明的利用三维模拟电子设备虚拟触摸的远程操作装置的特点是构成包含了：利用通过摄影得到的影像，计算出使用者身体及电子设备三维坐标数据的三维坐标计算部，利用上述三维坐标计算部中计算出的电子设备的三维坐标数据；及识别电子设备空间位置信息及设备制品的信息，与使用者与电子设备之间的一直线上对应的方向信息为基础为了使用者与电子设备之间的虚拟触摸而生成虚拟接点领域的电子设备检测部；及利用上述三维坐标计算部中计算出的使用者身体的三维坐标数据，计算出为了驱动操作电子设备的虚拟触摸位置及位置变化，以计算出的虚拟触摸位置变化为基础，生成能够执行事先设定好、用来操作电子设备的指令码的使用者检测部；及若输入在上述使用者检测部中生成的指令码，被转换为驱动操作所属电子设备的控制指令信号后，向所属电子设备送出操作指令信号的电子设备驱动控制部，及储存了上述电子设备的制造者，包含模型名称的设备制品信息，不同设备制品所适用于的驱动操作的协议信息，不同电子设备的操作方法信息的电子设备信息数据库（DB）。
上述三维坐标计算部最好是以包含了：由配置于不同位置、两个以上图像传感器构成、从各自不同角度拍摄使用者身体及电子设备的影像获得部，及从上述影像获得部中收到、以各自不同角度拍摄的影像为基础、利用光学三角测量法计算出使用者身体及电子设备三维坐标数据的空间坐标计算部为特征的。
上述三维坐标计算部最好是以包含了：由光源和散光器构成、把散斑图图投影在使用者身体上的照明组件，及由图像传感器和凸镜构成、用来捕捉通过上述照明组件投影在上述使用者身体及电子设备上的散斑图图的影像获得部，及以从上述影像获得部捕捉到的散斑图图为基础，利用时间迟延测定法计算使用者身体及电子设备的三维坐标数据的空间坐标计算部为特征的。
上述电子设备检测部最好是以包含了：以三维坐标计算部中计算出的电子设备的三维空间坐标为基础，按照电子设备形态施行三维模拟的三维模拟部，及以上述三维模拟部中三维模拟电子设备形态为基础，上述电子设备信息与事先在DB中储存好的电子设备信息作比较，检测出所属电子设备，按照检测出的电子设备的驱动操作设定控制信号的电子设备设定部，及使与使用者和电子设备之间的直线相对应的方向信息相互配合，以相互配合后的方向信息为基础，在使用者和电子设备之间生成虚拟触摸的虚拟二维接点领域的触摸位置配合部为特征的。
上述使用者检测部最好是以包含了：以上述三维坐标计算部中计算出的使用者身体的三维空间坐标为基础计算出第1空间坐标及第2空间坐标，计算出连接上述计算好的第1空间坐标和第2空间坐标的直线与上述虚拟的接点领域相交的接点坐标数据的触摸位置计算部，及判断上述触摸位置计算部中计算出的接点坐标数据是否变化，若判断有变化的话，将生成执行事先设定好的电子设备操作指令码的虚拟触摸处理部为特征的。
上述第1空间坐标最好是以使用者手指中任意一个指尖，使用者手指所指的指示器尾端中任意一个三维坐标，上述第2空间坐标是上述使用者任意一只眼睛的中心点的三维坐标为特征的。
上述虚拟触摸处理部最好是从计算出初期接点坐标数据的时间开始判断超过设定时间的接点坐标是否有变化，当超过设定时间、上述接点坐标数据发生变化时，可判断为接点坐标数据发生变化为特征的。
上述虚拟触摸处理部最好是从计算出初期接点坐标从计算出的时间起，当超过设定时间，初期接点坐标数据没有变化时，判断有没有发生超过第1空间坐标和第2空间坐标之间设定距离的距离变化，若发生超过设定距离的距离变化时，可判断为有变化，将生成执行事先设定好的电子设备操作指令码的虚拟触摸处理部为特征的。
上述电子设备驱动控制部最好是以包含了红外线（IR）信号，无线（WiFi），蓝牙（Bluetooth）等短距离无线通信方式传递操作指令信号为特征的。
为了达成上述目标，根据本发明的利用三维模拟电子设备虚拟装置的远程操作方法的特征是包含了：（A）利用通过摄影得到的影像，计算出使用者身体及电子设备三维坐标数据的阶段；（B）上述计算好的三维坐标数据中，利用电子设备的三维坐标数据，把电子设备扫描后按照电子设备形态实施三维模拟的阶段；（C）以上述三维模拟电子设备形态为基础，电子设备信息与事先在DB中储存好的电子设备信息作比较，检测出所属电子设备，按照检测出的电子设备的驱动操作设定控制信号的阶段；（D）以上述计算出的使用者和电子设备的三维坐标数据为基础，与使用者和电子设备之间的直线相对应的方向信息相互配合，以相互配合后的方向信息为基本，在使用者和电子设备之间生成虚拟触摸的虚拟二维接点领域的阶段；（E）上述计算出的三维坐标数据中，利用按照使用者身体的三维坐标数据，计算出具有使用者手指中任意一个指尖的三维坐标的第1空间坐标和具有使用者任意一只眼睛中心点的三维坐标的第2空间坐标，然后计算出连接上述第1空间坐标和第2空间坐标的直线与上述生成的虚拟的接点领域相交的接点坐标数据的阶段；（F）判断与上述形成的虚拟二维接点相交的接点坐标数据是否有变化，若有变化，为了与上述接点坐标数据的变化相对应，将生成事先设定好的执行电子设备操作指令码的输出阶段；（G）上述生成的指令码所属的电子设备，被转换为驱动操作所属电子设备的控制指令信号后，向所属电子设备送出操作指令信号的阶段完成的。
上述A阶段最好是以包含了：通过配置于相互不同位置、由两个以上图像传感器构成影像获得部，从各自不同角度拍摄使用者身体及电子设备的阶段；及从上述影像获得部中收到、以各自不同角度拍摄的影像为基础、利用光学三角测量法计算出使用者身体及电子设备三维坐标数据的阶段为特征的。
上述A阶段最好是以包含了：通过照明组件把散斑图图投影在使用者身体上的阶段；及通过上述照明组件来捕捉上述使用者身体及电子设备上的散斑图图的阶段；及以上述散斑图图为基础，利用时间迟延测定法计算使用者身体及电子设备的三维坐标数据的阶段为特征的。
上述F阶段最好是从计算出初期接点坐标数据的时间开始判断超过设定时间的接点坐标是否有变化，当超过设定时间、上述接点坐标数据发生变化时，可判断为接点坐标数据发生变化为特点的。
上述F阶段最好是从计算出初期接点坐标从计算出的时间起，当超过设定时间，初期接点坐标数据没有变化时，判断有没有发生超过超过第1空间坐标和第2空间坐标之间设定距离的距离变化，若发生超过设定距离的距离变化时，可判断为有变化，将生成执行事先设定好的电子设备操作指令码的虚拟触摸处理部为特征的。
上述F阶段最好是以包含了：在上述生成的二维接点领域中，按照电子设备信息DB中事先储存好的操作方法信息，为了虚拟触摸操作的设定触摸领域的阶段；及计算上述第1空间坐标和第2空间坐标连接的直线与虚拟的接点领域相交的接点坐标数据的阶段；及根据使用者在上述虚拟的接点领域的事先设定好的触摸领域中上、下、左、右、前、后中至少一个以上的虚拟触摸装置进行操作，执行电子设备的操作要求后，若判断出根据第1空间坐标的变化计算出接点坐标数据变化的话，与上述接点坐标数据变化相对应的，将生成执行事先设定好的电子设备操作的指示码的阶段为特征的。
上述接点领域最好是与电子设备前面、侧面、后面的方向无关，位于电子设备与使用者之间、在电子设备的任意方向通过使用者的虚拟触摸操作完成驱动操作为特征的。
（发明效果）
如上上述，根据本发明的利用三维模拟电子设备虚拟触摸的远程操作装置及方法具有以下效果。
第一，并不是使用通过显示器装置的指示器，以虚拟触摸标示的操作图标的方法完成的，是以虚拟触摸三维模拟电子设备主机的方式来操作电子设备，因此，可迅速对电子设备进行操作。因此，具有可适用与所有不包含显示器装置的电子设备的效果。
第二，到目前为止利用虚拟触摸的研究的现况为，开发仅局限于活用显示器装置的应用技术。由此，本发明不但可以活用于不使用显示器装置的虚拟触摸装置中，还可以提供能够准确操作电子设备运行的、新的触摸识别方法。
第三，由于远程操作装置的构成与远程调整对象的电子设备是分别分离构成的，电子设备即使在移动时，电子设备变化的三维空间坐标的计算也是自由的，因此可适用于各种自由移动的电子设备。
第四，不仅仅是电子设备，窗帘、照明、汽车门锁等通过开关、要求简单操作的设备都可通过三维模拟提供虚拟触摸，执行与虚拟触摸相对应的操作，就可适用于多种应用技术。
附图说明
图1图示的是根据本发明实施例的利用三维模拟电子设备虚拟触摸的远程操作装置整体系统的展示图。
图2图示的是根据本发明第1实施例的利用三维模拟电子设备虚拟触摸的远程操作装置的结构图。
图3图示的是根据本发明第2实施例的利用三维模拟电子设备虚拟触摸的远程操作装置的结构图。
图4图示的是用来解释根据本发明第2实施例的利用三维模拟电子设备虚拟触摸的远程操作装置的流程图。
图5图示的是用来解释图4中计算使用者身体及电子设备的三维坐标数据过程的第2实施例的流程图。
图6图示的是用来解释图4中计算使用者身体及电子设备的三维坐标数据过程的第2实施例的流程图。
图7图示的是根据本发明的利用三维模拟电子设备虚拟触摸的远程操作装置方法的具体实施例的展示图。
具体实施方式
更为清楚地了解本发明的其他目的、特性及优点，可以通过详细地讲解附加了图片的参考实施例。
关于本发明的利用三维模拟电子设备虚拟触摸的远程操作装置的理想实施例，将参考附加图片进行一下的解释说明。但是，本发明并不仅限于以下所揭示的实施例，而是能够表现出多种相互不同的形态，只要本实施例能够完整地展示本发明，则具有一般常识的读者将能够完整地理解发明的范围而提供的。并且本说明书中记载的实施例与图面中图示的构成不过是本发明的最理想化的一种实施例，并不能代表本发明所有的技术性思想，因此在此申请阶段中可有能够代替它们的多种相同物和变形例。
图1图示的是根据本发明的利用三维模拟电子设备虚拟触摸的远程操作装置的整体系统的展示图。
如图1所示，远程操作装置（100）是当使用者在远距离时，通过手等的动作利用虚拟触摸要求电子设备（200）的驱动操作时，通过使用者的动作计算出使用者身体的三维坐标数据并确认三维领域，同时识别使用者要求驱动操作的电子设备（200）的位置信息。同时，生成与使用者的动作相应的电子设备的驱动操作指令信号并向上述的电子设备（200）传送，由此来操作所示电子设备（200）的驱动。
同样地，利用电子设备的位置信息完成远程操作，与显示器装置的有无无关，利用现存的遥控器可适用于驱动操作的所有电子设备。
那么，以下将对远程操作装置（100）的构成进行更为详细的讲解。
第1实施例
图2中图示的是根据本发明第1实施例的利用三维模拟电子设备虚拟触摸的远程操作装置的构成图。
如图2所示，远程操作装置（100）由获得部（110）、空间坐标计算部（120）、电子设备检测部（130）、使用者检测部（140）。电子设备驱动控制部（160）及电子设备信息数据库（DB)(150)构成。
上述影像获得部（110），作为一种摄像机组件，可包含两个以上的把检测到的影像转换为电子图像信号的、类似CCD或是CMOS的图像遥感器（112，,114）。
上述空间坐标计算部（120）是利用从影像获得部（110）中收到的影像，计算出上述使用者身体及电子设备的三维坐标数据，根据本发明，构成影像获得部（110）的图像传感器（112,1140）从各自不同的角度拍摄使用者身体及电子设备，然后空间坐标计算部（120）利用手动的光学三角法计算出使用者身体及电子设备的三维坐标数据。
一般来说，光学式三维坐标计算方法可根据传感方法分为能动方式和手动方式。能动方式是事先定义好的模式或声波等投射在物体上后，通过控制其能量或是焦点等的传感参数来测定变化量，作为计算物体三维坐标数据的方法，代表方式是利用构造光或是激光。与此相比，手动方式是人为的，在不向物体中投射能量的状态下，利用拍摄的影像的明暗（intensity），视差（parallax）等的方式。
在手动方式中，光学三角测量法可适用于与拍摄的影像相对应的特定点并获得三维信息。应用三角法计算出三维坐标的各种关联方法，经常被采用的有摄像机自标定（camara self calibration）法，Harris的角点检测法，SIFT法，RANSAC法，Tsai法等。特别是，作为计算出三维坐标数据的方法，也可使用立体摄像机法。立体摄像机法是指人通过两只眼睛看事物，得到变位的两眼立体时的构造相统一，从两个不同点中观测物体表面的同一点，根据这一点的预想角中寻求距离的方法。上述提及到的各种三维坐标计算法，只要是本法明所属技术领域的从业者很容易就明白并能够具体体现，因此省略不提。另一方面，利用二维图像计算出三维坐标数据的方法及其关联专利文献有国内公开专利第10-0021803号，第10-2004-0004135号，第10-2007-0066382号，第10-2007-0117877号等大量存在。
上述电子设备检测部（130）由三维模拟部（132），电子设备设定部（134）和触摸位置配合部（136）构成，利用上述（120）计算出电子设备的三维坐标数据后，识别电子设备（200）的空间位置信息及设备制品信息，然后与使用者和电子设备间的直线相对应的方向信息为基础，为了使用者与电子设备的虚拟触摸而生成虚拟的接点领域。
这时，上述三维模拟部（132）以三维坐标计算部（120）中计算出的电子设备的三维空间坐标为基础，按照电子设备形态施行三维模拟的三维模拟部，同时，上述电子设备设定部（134）在上述三维模拟部（132）中以三维模拟的电子设备形态为基础，上述电子设备信息与事先在DB（150）中储存好的电子设备信息作比较，检测出所属电子设备，按照检测出的电子设备的驱动操作设定控制信号。同时，上述触摸位置配合部（136）使使用者和电子设备之间的直线相对应的方向信息相互配合，以相互配合后的方向信息为基础，在使用者和电子设备之间生成虚拟触摸的虚拟二维接点领域。这时，生成的虚拟二维接点领域最好是以电子设备的三维坐标为基板，在比起使用者更靠近电子设备的地方生成。
上述使用者检测部（140）由触摸装置计算部（142）及虚拟触摸处理部（144）构成，利用上述由空间坐标计算部（120）计算出的使用者身体的三维坐标数据计算出为了驱动操作电子设备（200）的虚拟触摸位置及位置变化，以计算出的虚拟触摸位置变化为基础，生成能够执行事先设定好、用来操作电子设备的指令码。
这时，上述触摸位置计算部（142）以上述三维坐标计算部（120）中计算出的使用者身体的三维空间坐标为基础，计算出第1空间坐标及第2空间坐标，利用计算好的第1空间坐标（手指）和第2空间坐标（眼），起到计算出连接上述计算出的第1空间坐标和第2空间坐标的直线与上述虚拟的接点领域相交的接点坐标数据的作用。
一般来说，人的身体中手指是唯一较为灵活、能够进行精密操作的部分。特别是，使用大拇指或食指中的某一个，或是两根手指一起使用时，可完成细致地指示。因此，本发明中作为第1空间坐标使用大拇指及/或是食指指尖是非常有效的。另外，按照这个思路，代替上述第1空间坐标作用的手指指尖，可以用由手指握住的底部是尖的指示器（例如，笔尖）。
另外，本发明只利用使用者一只眼睛的中心点。例如，若在使用者双眼前伸出食指看的话，将看到两个食指。这是由于使用者双眼看到的食指形象是不一样才会发生此类现象（由双眼的角度差引起）。但是，若只用其中一只眼去看食指的话就能够清楚地看到食指。另外即使硬撑着不闭上另一只眼，但是意识上只用一边的眼去看的话，也能看到清楚的食指。这与射击、射箭等有需要瞄准的、要求高度准确性的运动项目中，大部分一侧眼睛闭上瞄准的原理是一样的。
在本发明中，将采用仅用一只眼(第2空间坐标）去看手指指尖（第1空间坐标），可准确掌握手指指尖形态的原理。同样的，使用者只有正确地看见第1空间坐标才能指出与第1空间坐标相一致的、在上述触摸位置配合部（136）中生成的虚拟接触领域。。
在本发明中，一名使用者使用手指中某一个时，第1空间坐标就是使用者某一手指的指尖，上述使用者用手握住的指示器尖端中的某一是三维坐标，第2空间坐标是使用者某一只眼睛中心点的三维坐标。另外，一名使用者使用手指中两个以上手指时，上述第1空间坐标是根据上述使用者伸出的一个以上的手指指尖的三维坐标，上述第2空间坐标可由上述使用者的某一只眼睛中心点的三维坐标形成。另外，两名以上使用者使用时，第1空间坐标根据是两名以上使用者分别伸出的一个以上的手指指尖的三维坐标，第2空间坐标可有使用者们某一只眼睛中线点的三维坐标形成。
上述虚拟触摸处理部（144）从计算出初期接点坐标数据的时间开始判断超过设定时间的接点坐标是否有变化，当超过设定时间、上述接点坐标数据发生变化时，为了与上述接点坐标数据的变化相对应，将生成事先设定好的执行电子设备操作指令码的输出。另外，关于上述虚拟触摸处理部（144），一名使用者的两根手指或是两个人以上的使用者，都可以用相同的方式处理。
另外，虚拟触摸处理部（144）从计算出初期接点坐标从计算出的时间起，当超过设定时间，初期接点坐标数据没有变化时，判断有没有发生超过第1空间坐标和第2空间坐标之间设定距离的距离变化，若发生超过设定距离的距离变化时，将生成为了执行与上述接点坐标数据相对应操作的指示码。另外，关于上述虚拟触摸处理部（144），一名使用者的两根手指或是两个人以上的使用者，都可以用相同的方式处理。
另一方面，若判断出上述接点坐标数据的变动在设定领域范围内的话，上述接点坐标数据的变动可忽略不计。即，当使用者用指尖或是指示器的尖端指点电子设备时，身体在特性上，身体或是手指不可避免会有一些轻微的动作或是颤抖，因此使用者要一动不动地维持接点坐标是非常困难的。由此上述接点坐标数据值在事先定好的设定领域范围中存在时，上述接点坐标数据的变动时可以忽略不计的。
作为根据本发明的远程调整对象的电子设备，如照明、音响、空调、电风扇、百叶窗、窗户、窗帘、门、暖气、煤气、微波炉、收音机、摄像机、监控等构成房间工作网，各种电子设备都可通过本发明成为远程调整的对象。
由于根据本发明的远程操作装置（100）与远程调整对象的电子设备是分别分离构成的，电子设备即使在移动时，电子设备变化的三维空间坐标的计算也是自由的，因此可适用于各种自由移动的电子设备。
上述电子设备驱动控制部（160）,若输入在上述使用者检测部(140)中生成的指令码,被转换为驱动操作所属电子设备的控制指令信号后，向所属电子设备传送操作指令信号。这时传送的操作指令码最好是通过现存遥控器的红外线（IR）信号传送，但并不限定于此。现在使用的无线（WiFi），蓝牙（Bluetooth）等短距离无线通信方式也是完全能适用的。
上述电子设备信息数据库（DB）（150）储存了家庭所具备的电子设备的制造者、型号名等设备制品信息，不同设备制品驱动操作所适用的协议信息，及不同电子设备的操作方法信息。这时，操作方法信息指的是电子设备的电源、照明度、音量、温度调节等为了能够通过虚拟触摸来操作的使用者手指的动作及触摸位置等的信息。参考来说，上述电子设备信息（DB）（150）中储存的信息电子设备在购买后，可根据使用者随时更新，更新的方法为链接家电制品的主页，下载所属电子设备的信息，或通过电子设备内部事先构成的传收信息器等下载所属电子设备的信息后也可以进行更新。这是在本发明技术思想范围内能够有多种实施例。
第2实施例
图3图示的是根据本发明第2实施例的利用三维模拟电子设备虚拟触摸的远程操作装置的结构图。
如图3所示的远程操作装置（100）由三维坐标计算部（170），电子设备检测部（130），使用者检测部（140），电子设备驱动控制部（160）及电子设备信息数据库（DB)(150)构成。
上述三维坐标计算装置（170）由照明组件（172），影像获得部（174），空间坐标计算部（176）构成，在使用者及电子设备上投影编码模式影像，通过处理被结构光所投射的影像而计算出使用者身体及电子设备三维坐标数据的。
这时，上述照明组件（172）包含了光源（172a）和散光器（172b），向使用者身上投射散斑图。同时，上述影像获得部（174）由图像传感器(174a)和凸镜（174b）构成，捕捉通过上述照明组件（172）投影在上述使用者身体及电子设备上的散斑图。这时，上述图像传感器（174a）一般来说可使用CCD或是CMOS基础的图像传感器。另外，上述空间坐标计算部（176）主要担任把上述影像获得部（174）所获得的影像处理后，计算上述使用者身体及电子设备的三维坐标数据的职责。
上述电子设备检测部（130）由三维模拟部（132），电子设备设定部（134）及触摸位置配合部（136）构成，利用上述三维坐标计算部（176）中计算出的电子设备的三维坐标数据，识别电子设备空间位置信息及设备制品的信息，与使用者与电子设备之间的一直线上对应的方向信息为基础，为了使用者与电子设备之间的虚拟触摸而生成虚拟接点领域。作为参考，关于上述电子设备检测部（130）构成的说明，与第1实施例中说明的内容是一致的，由于前文已详细解释过，因此将省略相关说明。
上述使用者检测部（140）是由触摸位置计算部（142）及虚拟触摸处理部（144）构成的，利用上述由空间坐标计算部（176）计算出的使用者身体的三维坐标数据计算出为了驱动操作电子设备（200）的虚拟触摸位置及位置变化，以计算出的虚拟触摸位置变化为基础，生成能够执行事先设定好、用来操作电子设备的指令码。作为参考，关于上述电子设备检测部（140）构成的说明，与第1实施例中说明的内容是一致的，由于前文已详细解释过，因此将省略相关说明。
上述电子设备驱动控制部（160）,若输入在上述使用者检测部(140)中生成的指令码,被转换为驱动操作所属电子设备的控制指令信号后，向所属电子设备传送操作指令信号。这时传送的操作指令码最好是通过现存遥控器的红外线（IR）信号传送，但并不限定于此。现在使用的无线（WiFi），蓝牙（Bluetooth）等短距离无线通信方式也是完全能适用的。
上述电子设备信息数据库（DB）（150）储存了家庭所具备的电子设备的制造者、型号名等设备制品信息，不同设备制品驱动操作所适用的协议信息，及不同电子设备的操作方法信息。这时，操作方法信息指的是电子设备的电源、照明度、音量、温度调节等为了能够通过虚拟触摸来操作的使用者手指的动作及触摸位置等的信息。参考来说，上述电子设备信息（DB）（150）中储存的信息电子设备在购买后，可根据使用者随时更新，更新的方法为链接家电制品的主页，下载所属电子设备的信息，或通过电子设备内部事先构成的传收信息器等下载所属电子设备的信息后也可以进行更新。这是在本发明技术思想范围内能够有多种实施例。
与此构成相同的、根据本发明的利用三维模拟电子设备虚拟触摸的远程操作装置的操作课参考附加的图面，详细的解释将如下。图1至图3相同的参照符号代表执行相同职能的部件。
图4图示的是用来解释根据本发明实施例的利用三维模拟电子设备虚拟触摸的远程操作装置操作方法的流程图。
参考图4来解释远程操作方法，首先，把通过摄像机拍摄的使用者身体及电子设备的三维坐标数据计算（S100)出来（S100)。
上述计算好的三维坐标数据中，利用电子设备的三维坐标数据，把电子设备扫描后按照电子设备形态实施三维模拟（S300)。
然后，以三维模拟电子设备形态为基础，在上述电子设备设定部（134）中，与事先在电子设备信息DB中储存好的电子设备信息作比较，检测出所属电子设备，按照检测出的电子设备的驱动操作设定控制信号（S400)。
然后，上述触摸位置配合部（136）以上述计算出的使用者和电子设备的三维坐标数据为基础，与使用者和电子设备之间的直线相对应的方向信息相互配合，以相互配合后的方向信息为基本，在使用者和电子设备之间生成虚拟触摸的虚拟二维接点领域（S500)。这时，生成的虚拟二维接点领域最好是以电子设备的三维坐标为基板，在比起使用者更靠近电子设备的地方生成。
另一方面，上述计算出的三维坐标数据中，利用按照使用者身体的三维坐标数据，计算出具有使用者手指中任意一个指尖的三维坐标的第1空间坐标和具有使用者任意一只眼睛中心点的三维坐标的第2空间坐标，然后计算出连接上述第1空间坐标和第2空间坐标的直线与上述生成的虚拟的接点领域相交的接点坐标数据（S600)。
一般来说，人的身体中手指是唯一较为灵活、能够进行精密操作的部分。特别是，使用大拇指或食指中的某一个，或是两根手指一起使用时，可完成细致地指示。因此，本发明中作为第1空间坐标使用大拇指及/或是食指指尖是非常有效的。另外，按照这个思路，代替上述第1空间坐标作用的手指指尖，可以用由手指握住的底部是尖的指示器（例如，笔尖）。
另外，本发明只利用使用者一只眼睛的中心点。例如，若在使用者双眼前伸出食指看的话，将看到两个食指。这是由于使用者双眼看到的食指形象是不一样才会发生此类现象（由双眼的角度差引起）。但是，若只用其中一只眼去看食指的话就能够清楚地看到食指。另外即使硬撑着不闭上另一只眼，但是意识上只用一边的眼去看的话，也能看到清楚的食指。这与射击、射箭等有需要瞄准的、要求高度准确性的运动项目中，大部分一侧眼睛闭上瞄准的原理是一样的。
在本发明中，将采用仅用一只眼(第2空间坐标）去看手指指尖（第1空间坐标），可准确掌握手指指尖形态的原理。同样的，使用者只有正确地看见第1空间坐标才能指出与第1空间坐标相一致的、在上述触摸位置配合部（136）中生成的虚拟接触领域。而且，一名使用者使用手指中两个以上手指时，上述第1空间坐标是根据上述使用者伸出的一个以上的手指指尖的三维坐标，上述第2空间坐标可由上述使用者的某一只眼睛中心点的三维坐标形成。另外，两名以上使用者使用时，第1空间坐标根据是两名以上使用者分别伸出的一个以上的手指指尖的三维坐标，第2空间坐标可有使用者们某一只眼睛中线点的三维坐标形成。
上述虚拟触摸处理部（144）从计算出初期接点坐标数据的时间开始判断超过设定时间的接点坐标是否有变化，当超过设定时间、上述接点坐标数据发生变化时，为了与上述接点坐标数据的变化相对应，将生成事先设定好的执行电子设备操作指令码的输出（S700）。
这时，判断接点坐标数据的变动与否是从计算出初期接点坐标数据的时间开始判断超过设定时间的接点坐标是否有变化。而且，当超过设定时间、上述接点坐标数据发生变化时，可判断为接点坐标数据发生变化。上述虚拟触摸处理部从计算出初期接点坐标从计算出的时间起，当超过设定时间，初期接点坐标数据没有变化时，判断有没有发生超过第1空间坐标和第2空间坐标之间设定距离的距离变化，若发生超过设定距离的距离变化时，可判断为有变化。然后，在接点坐标数据有变动的情况下，将生成与变动接点坐标数据向对应的、执行事先生成的指令码。
然后，上述生成的指令码被转换为驱动操作所属电子设备的控制指令信号后，向所属电子设备传送操作指令信号（S800）。这时传送的操作指令码最好是通过现存遥控器的红外线（IR）信号传送，但并不限定于此。现在使用的无线（WiFi），蓝牙（Bluetooth）等短距离无线通信方式也是完全能适用的。
图5图示的是为了解释图4中第1实施例当中计算出使用者身体及电子设备三维坐标数据过程的流程图。
参考图5进行解释的话，首先，通过在摄像机组件的影像获得部（110）中构成的两个图像传感器（112）（114）、获得从各自不同角度拍摄使用者身体及电子设备的影像（S111）。
然后，空间坐标计算部（120），对上述以各自不同角度拍摄的使用者身体及电子设备的影像，利用光学三角测量法计算出使用者身体及电子设备三维坐标数据（S112）。
然后，把计算出来的坐标数据分别组合，再计算按照出使用者身体及电子设备的三维影像信息的三维坐标数据（S113）。
与此相同的三角法所适用的、作为计算出三维坐标相关联的各种方法，有摄像机自标定（camara self calibration）法，Harris的角点检测法，SIFT法，RANSAC法，Tsai法等。特别是，作为计算出三维坐标数据的方法，也可使用立体摄像机法。立体摄像机法是指人通过两只眼睛看事物，得到变位的两眼立体时的构造相统一，从两个不同点中观测物体表面的同一点，根据这一点的预想角中寻求距离的方法。
图6图示的是为了解释图4中第2实施例当中计算出使用者身体及电子设备三维坐标数据过程的流程图。
参考图5进行解释的话，首先照明组件（172）向使用者身体及电子设备投射散斑图（S121）。
那么，影像获得部（174）捕捉通过上述照明组件（172）投影在上述使用者身体及电子设备上的散斑图（S122）。
然后，空间坐标计算部（176）利用时间迟延测定法测定出上述散斑图影像，再利用测定好的深度值计算出使用者身体及电子设备的坐标数据（S123)。
然后，把计算出来的坐标数据分别组合，再计算按照出使用者身体及电子设备的三维影像信息的三维坐标数据（S124）。
上述使用时间迟延测定法计算三维坐标的方法是发信机发生的超音波通过物体反射后把到达收信机的时间差（Time of Flight）按超音波进行的速度分开后换算成距离后获得3D的信息。使用时间迟延测定法（Time ofFlight）是以三维坐标的计算为基准多样的存在，因为本发明对于技术性领域的从业者是能够容易的实现所以此部分将省略说明。
图7图示的是利用根据本发明的三维模拟电子设备虚拟触摸的远程操作装置及方法的具体实事例的图面。这时是以风扇为例来体现电子设备的操作。
如图7所示，触摸位置配合部（136）在电风扇和使用者之间生成2次元接点领域后，生成的2次元接点领域是根据电子设备信息DB（150）储存的操作方法为了虚拟触摸操作而设置了触摸领域。图7关于电风扇操作设定了上下触摸领域。
通过触摸位置计算部（142），利用第1空间坐标（手指）和第2空间坐标（眼），计算出连接上述第1空间坐标和第2空间的直线与虚拟的2次元接点领域相交的接点坐标数据，然后根据上述第1空间坐标的变化来判断计算好的接点坐标数据的变动与否。
由此，使用者在2次元接点领域的上部领域中，当左右操作虚拟触摸时，就当做让电风扇旋转操作的要求处理，当上下操作虚拟触摸时，就当做让电风扇停止操作的要求处理。另外，使用者在2次元接点领域的下部领域中，当左右操作虚拟触摸时是为了调节电风扇的风量，向左变动的情况是减少风量，向右变动的情况是加大风量的操作。上下操作虚拟触摸的情况是使电风扇的电源的开与关（ON/OFF）操作。
这时，2次元接点领域是与电子设备的正面，侧面，后面方向无关，由于是位于电子设备和使用者之间，因此。使用者通过虚拟触摸操作电子设备对任意方向都能够驱动操作。
与上述说明的方法相同，通过使用者虚拟触摸，在不同的电子设备的2次元接点领域中，可用来调节电源的开与关，也可以对照明度/音量/温度等进行调节，也可以操作百叶窗，窗户，窗帘，门等的移动。
上面所解释说明的本发明的技术性思想通过理想实施例被具体叙述，但需要注意的是上述实施例是为了说明而并不是为了限制。另外，具有本发明技术性领域一般性知识的人就能够理解在本发明的技术思想范围内的大量实施例。因此本发明的正常技术保护范围就必须根据附加的专利权利要求书的技术性思想来制定。
商业化利用可能
根据本发明的三维模拟电子设备的虚拟触摸的远程操作装置及方法是能够适应于所有不包括显示器装置的电子设备，即使在远距离中也可准确地操作电子设备，可轻松地适用于各种电子设备，可以说是具有产业利用性。

Claims (17)

1.一种利用三维模拟电子设备的虚拟触摸的远程操作装置，其特征在于：
是由包括利用通过摄影得到的影像，计算出使用者身体及电子设备三维坐标数据的三维坐标计算部；及利用上述三维坐标计算部中计算出的电子设备的三维坐标数据；及识别电子设备空间位置信息及设备制品的信息，与使用者与电子设备之间的一直线上对应的方向信息为基础为了使用者与电子设备之间的虚拟触摸而生成虚拟接点领域的电子设备检测部；及利用上述三维坐标计算部中计算出的使用者身体的三维坐标数据，计算出为了驱动操作电子设备的虚拟触摸位置及位置变化，以计算出的虚拟触摸位置变化为基础，生成能够执行事先设定好、用来操作电子设备的指令码的使用者检测部；及若输入在上述使用者检测部中生成的指令码，被转换为驱动操作所属电子设备的控制指令信号后，向所属电子设备送出操作指令信号的电子设备驱动控制部及，储存了上述电子的制造者，包含模型名称的设备制品信息，不同设备制品所适用于的驱动操作的协议信息，不同电子设备的操作方法信息的电子设备信息数据库（DB）构成。
2.根据权利要求1中的利用三维模拟电子设备的虚拟触摸的远程操作装置，其特征在于：上述三维坐标计算部是由配置于不同位置、两个以上图像传感器构成、从各自不同角度拍摄使用者身体及电子设备的影像获得部，及从上述影像获得部中收到、以各自不同角度拍摄的影像为基础、利用光学三角测量法计算出使用者身体及电子设备三维坐标数据的空间坐标计算部。
3.根据权利要求1中的利用三维模拟电子设备的虚拟触摸的远程操作装置，其特征在于：上述三维坐标计算部光源和散光器构成、把散斑图投影在使用者身体上的照明组件，及由图像传感器和凸镜构成、用来捕捉通过上述照明组件投影在上述使用者身体及电子设备上的散斑图图的影像获得部，及以从上述影像获得部捕捉到的散斑图图为基础，利用时间迟延测定法计算使用者身体及电子设备的三维坐标数据的空间坐标计算部。
4.根据权利要求1中的利用三维模拟电子设备的虚拟触摸的远程操作装置，其特征在于：上述电子设备检测部包含以三维坐标计算部中计算出的电子设备的三维空间坐标为基础，按照电子设备形态施行三维模拟的三维模拟部，及以上述三维模拟部中三维模拟电子设备形态为基础，上述电子设备信息与事先在DB中储存好的电子设备信息作比较，检测出所属电子设备，按照检测出的电子设备的驱动操作设定控制信号的电子设备设定部，及使与使用者和电子设备之间的直线相对应的方向信息相互配合，以相互配合后的方向信息为基础，在使用者和电子设备之间生成虚拟触摸的虚拟二维接点领域的触摸位置配合部。
5.根据权利要求1中的利用三维模拟电子设备的虚拟触摸的远程操作装置，其特征在于：上述使用者检测部包含以上述三维坐标计算部中计算出的使用者身体的三维空间坐标为基础计算出第1空间坐标及第2空间坐标，计算出连接上述计算好的第1空间坐标和第2空间坐标的直线与上述虚拟的接点领域相交的接点坐标数据的触摸位置计算部，及判断上述触摸位置计算部中计算出的接点坐标数据是否变化，若判断有变化的话，将生成执行事先设定好的电子设备操作指令码的虚拟触摸处理部。
6.根据权利要求5中的利用三维模拟电子设备的虚拟触摸的远程操作装置，其特征在于：上述第1空间坐标以使用者手指中任意一个指尖，使用者手指所指的指示器尖端中任意一个三维坐标，上述第2空间坐标是上述使用者任意一只眼睛的中心点的三维坐标。
7.根据权利要求5中的利用三维模拟电子设备的虚拟触摸的远程操作装置，其特征在于：上述虚拟触摸处理部从计算出初期接点坐标数据的时间开始判断超过设定时间的接点坐标是否有变化，当超过设定时间、上述接点坐标数据发生变化时，可判断为接点坐标数据发生变化。
8.根据权利要求7中的利用三维模拟电子设备的虚拟触摸的远程操作装置，其特征在于：上述虚拟触摸处理部从计算出初期接点坐标从计算出的时间起，当超过设定时间，初期接点坐标数据没有变化时，判断有没有发生超过第1空间坐标和第2空间坐标之间设定距离的距离变化，若发生超过设定距离的距离变化时，可判断为有变化，将生成执行事先设定好的电子设备操作指令码的虚拟触摸处理部。
9.根据权利要求1中的利用三维模拟电子设备的虚拟触摸的远程操作装置，其特征在于：上述电子设备驱动控制部包含了红外线（IR）信号，无线（WiFi），蓝牙（Bluetooth）等短距离无线通信方式传递操作指令信号。
10.一种利用三维模拟电子设备的虚拟触摸的远程操作装置，其特征在于：包括了：（A）利用通过摄影得到的影像，计算出使用者身体及电子设备三维坐标数据的阶段；（B）上述计算好的三维坐标数据中，利用电子设备的三维坐标数据，把电子设备扫描后按照电子设备形态实施三维模拟的阶段；（C）以上述三维模拟电子设备形态为基础，电子设备信息与事先在DB中储存好的电子设备信息作比较，检测出所属电子设备，按照检测出的电子设备的驱动操作设定控制信号的阶段；（D）以上述计算出的使用者和电子设备的三维坐标数据为基础，与使用者和电子设备之间的直线相对应的方向信息相互配合，以相互配合后的方向信息为基本，在使用者和电子设备之间生成虚拟触摸的虚拟二维接点领域的阶段；（E）上述计算出的三维坐标数据中，利用按照使用者身体的三维坐标数据，计算出具有使用者手指中任意一个指尖的三维坐标的第1空间坐标和具有使用者任意一只眼睛中心点的三维坐标的第2空间坐标，然后计算出连接上述第1空间坐标和第2空间坐标的直线与上述生成的虚拟的接点领域相交的接点坐标数据的阶段；（F）判断与上述形成的虚拟二维接点相交的接点坐标数据是否有变化，若有变化，为了与上述接点坐标数据的变化相对应，将生成事先设定好的执行电子设备操作指令码的输出阶段；（G）上述生成的指令码所属的电子设备，被转换为驱动操作所属电子设备的控制指令信号后，向所属电子设备送出操作指令信号的阶段完成的。
11.根据权利要求10中的利用三维模拟电子设备的虚拟触摸的远程操作装置，其特征在于：上述A阶段包含了：通过配置于相互不同位置、由两个以上图像传感器构成影像获得部，从各自不同角度拍摄使用者身体及电子设备的阶段；及从上述影像获得部中收到、以各自不同角度拍摄的影像为基础、利用光学三角测量法计算出使用者身体及电子设备三维坐标数据的阶段。
12.根据权利要求10中的利用三维模拟电子设备的虚拟触摸的远程操作装置，其特征在于：上述A阶段包含了：通过照明组件把散斑图图投影在使用者身体上的阶段；及通过上述照明组件来捕捉上述使用者身体及电子设备上的散斑图图的阶段；及以上述散斑图图为基础，利用时间迟延测定法计算使用者身体及电子设备的三维坐标数据的阶段。
13.根据权利要求10中的利用三维模拟电子设备的虚拟触摸的远程操作装置，其特征在于：上述F阶段从计算出初期接点坐标数据的时间开始判断超过设定时间的接点坐标是否有变化，当超过设定时间、上述接点坐标数据发生变化时，可判断为接点坐标数据发生变化。
14.根据权利要求10中的利用三维模拟电子设备的虚拟触摸的远程操作装置，其特征在于：上述F阶段从计算出初期接点坐标从计算出的时间起，当超过设定时间，初期接点坐标数据没有变化时，判断有没有发生超过超过第1空间坐标和第2空间坐标之间设定距离的距离变化，若发生超过设定距离的距离变化时，可判断为有变化，将生成执行事先设定好的电子设备操作指令码的虚拟触摸处理部。
15.根据权利要求10中的利用三维模拟电子设备的虚拟触摸的远程操作装置，其特征在于：上述（G）阶段包含了红外线（IR）信号，无线（WiFi），蓝牙（Bluetooth）等短距离无线通信方式传递操作指令信号。
16.根据权利要求10中的利用三维模拟电子设备的虚拟触摸的远程操作装置，其特征在于：上述F阶段包含了：在上述生成的二维接点领域中，按照电子设备信息DB中事先储存好的操作方法信息，为了虚拟触摸操作的设定触摸领域的阶段；及计算上述第1空间坐标和第2空间坐标连接的直线与虚拟的接点领域相交的接点坐标数据的阶段；及根据使用者在上述虚拟的接点领域的事先设定好的触摸领域中上、下、左、右、前、后中至少一个以上的虚拟触摸装置进行操作，执行电子设备的操作要求后，若判断出根据第1空间坐标的变化计算出接点坐标数据变化的话，与上述接点坐标数据变化相对应的，将生成执行事先设定好的电子设备操作的指示码的阶段。
17.根据权利要求10中的利用三维模拟电子设备的虚拟触摸的远程操作装置，其特征在于：上述接点领域与电子设备前面、侧面、后面的方向无关，位于电子设备与使用者之间、在电子设备的任意方向通过使用者的虚拟触摸操作完成驱动操作为特征的。
CN201280034529.4A 2011-07-11 2012-07-06 利用三维模拟电子设备的虚拟触摸的远程操作装置及方法 Active CN103688236B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
KR10-2011-0068383 2011-07-11
KR1020110068383A KR101235432B1 (ko) 2011-07-11 2011-07-11 3차원 모델링된 전자기기의 가상터치를 이용한 원격 조작 장치 및 방법
PCT/KR2012/005362 WO2013009040A2 (ko) 2011-07-11 2012-07-06 3차원 모델링된 전자기기의 가상터치를 이용한 원격 조작 장치 및 방법

Publications (2)

Publication Number Publication Date
CN103688236A true CN103688236A (zh) 2014-03-26
CN103688236B CN103688236B (zh) 2017-03-22

Family

ID=47506668

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201280034529.4A Active CN103688236B (zh) 2011-07-11 2012-07-06 利用三维模拟电子设备的虚拟触摸的远程操作装置及方法

Country Status (5)

Country Link
US (1) US9367138B2 (zh)
EP (1) EP2733585B1 (zh)
KR (1) KR101235432B1 (zh)
CN (1) CN103688236B (zh)
WO (1) WO2013009040A2 (zh)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104346920A (zh) * 2014-10-28 2015-02-11 河海大学 一对多遥控装置识别遥控对象的方法及一对多遥控装置
CN105487705A (zh) * 2015-11-20 2016-04-13 努比亚技术有限公司 移动终端、输入处理方法及用户设备
CN106873300A (zh) * 2016-12-30 2017-06-20 北京光年无限科技有限公司 面向智能机器人的虚拟空间投影方法和装置
CN108665480A (zh) * 2017-03-31 2018-10-16 满景资讯股份有限公司 三维侦测装置的操作方法
CN109871123A (zh) * 2019-01-21 2019-06-11 广东精标科技股份有限公司 一种基于手势或眼神控制的教学方法
CN109891370A (zh) * 2016-10-24 2019-06-14 维塔驰有限公司 辅助进行对象控制的方法及系统和非暂时性计算机可读记录介质

Families Citing this family (35)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101334585B1 (ko) * 2012-05-29 2013-12-05 주식회사 브이터치 프로젝터를 통해 표시되는 정보를 이용하여 가상터치를 수행하는 원격 조작 장치 및 방법
KR101488947B1 (ko) * 2013-03-15 2015-02-06 삼성중공업(주) 사진 계측 장치 및 방법
CA2907143A1 (en) * 2013-03-15 2014-09-18 Springs Window Fashions, Llc Window covering motorized lift and control operating system
CN104298340B (zh) * 2013-07-15 2017-12-26 联想(北京)有限公司 控制方法和电子设备
US20150088282A1 (en) * 2013-09-24 2015-03-26 Fibar Group sp. z o. o. Touch-less swipe control
US9207780B2 (en) * 2014-01-27 2015-12-08 Fuji Xerox Co., Ltd. Systems and methods for hiding and finding digital content associated with physical objects via coded lighting
KR101533319B1 (ko) 2014-02-22 2015-07-03 주식회사 브이터치 카메라 중심의 가상터치를 이용한 원격 조작 장치 및 방법
CN103901781B (zh) * 2014-04-22 2017-01-11 深圳市奥贝尔电子有限公司 一种联网在线遥控模拟系统和联网在线遥控模拟方法
US9575560B2 (en) 2014-06-03 2017-02-21 Google Inc. Radar-based gesture-recognition through a wearable device
US9811164B2 (en) 2014-08-07 2017-11-07 Google Inc. Radar-based gesture sensing and data transmission
US10268321B2 (en) 2014-08-15 2019-04-23 Google Llc Interactive textiles within hard objects
US9778749B2 (en) 2014-08-22 2017-10-03 Google Inc. Occluded gesture recognition
US11169988B2 (en) 2014-08-22 2021-11-09 Google Llc Radar recognition-aided search
US9600080B2 (en) 2014-10-02 2017-03-21 Google Inc. Non-line-of-sight radar-based gesture recognition
US9823764B2 (en) * 2014-12-03 2017-11-21 Microsoft Technology Licensing, Llc Pointer projection for natural user input
KR20160111220A (ko) * 2015-03-16 2016-09-26 엘지전자 주식회사 전기제품, 전기제품의 펌웨어 업데이트 방법 및 네트워크 시스템
US10139916B2 (en) 2015-04-30 2018-11-27 Google Llc Wide-field radar-based gesture recognition
KR102236958B1 (ko) 2015-04-30 2021-04-05 구글 엘엘씨 제스처 추적 및 인식을 위한 rf―기반 마이크로―모션 추적
KR102327044B1 (ko) 2015-04-30 2021-11-15 구글 엘엘씨 타입-애그노스틱 rf 신호 표현들
KR101653795B1 (ko) 2015-05-22 2016-09-07 스튜디오씨드코리아 주식회사 평면 요소의 속성을 표시하는 방법 및 그 장치
JP6557734B2 (ja) * 2015-05-22 2019-08-07 スタジオ シード コリア インク 平面要素の属性を表示する方法及びその装置
CN105045140B (zh) * 2015-05-26 2019-01-01 深圳创维－Rgb电子有限公司 智能控制受控设备的方法和装置
US9693592B2 (en) 2015-05-27 2017-07-04 Google Inc. Attaching electronic components to interactive textiles
US10088908B1 (en) 2015-05-27 2018-10-02 Google Llc Gesture detection and interactions
US10817065B1 (en) 2015-10-06 2020-10-27 Google Llc Gesture recognition using multiple antenna
KR102401641B1 (ko) * 2016-01-08 2022-05-25 엘지전자 주식회사 모바일 디바이스 및 모바일 디바이스의 제어방법
WO2017180688A1 (en) 2016-04-15 2017-10-19 Spectrum Brands, Inc. Wireless lockset with integrated angle of arrival (aoa) detection
WO2017192167A1 (en) 2016-05-03 2017-11-09 Google Llc Connecting an electronic component to an interactive textile
WO2017200949A1 (en) 2016-05-16 2017-11-23 Google Llc Interactive fabric
WO2017200570A1 (en) 2016-05-16 2017-11-23 Google Llc Interactive object with multiple electronics modules
US10579150B2 (en) 2016-12-05 2020-03-03 Google Llc Concurrent detection of absolute distance and relative movement for sensing action gestures
KR102463712B1 (ko) 2017-11-24 2022-11-08 현대자동차주식회사 가상 터치 인식 장치 및 그의 인식 오류 보정 방법
US10608439B2 (en) * 2018-01-19 2020-03-31 Air Cool Industrial Co., Ltd. Ceiling fan with gesture induction function
CN110096133A (zh) * 2018-01-30 2019-08-06 鸿富锦精密工业(武汉)有限公司 红外手势识别装置及方法
KR102225342B1 (ko) * 2019-02-13 2021-03-09 주식회사 브이터치 객체 제어를 지원하는 방법, 시스템 및 비일시성의 컴퓨터 판독 가능 기록 매체

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20020025198A (ko) * 2000-05-17 2002-04-03 요트.게.아. 롤페즈 타켓을 위치시키는 방법 및 장치, 이미지 처리기, 그리고타켓 및 타켓 포인트 식별 방법
EP0866419B1 (en) * 1997-03-21 2004-06-02 Takenaka Corporation Pointing device using the image of the hand
KR20090050567A (ko) * 2007-11-16 2009-05-20 전자부품연구원 Ｔｏｆ 카메라를 이용한 로봇의 물체 자세 인식 방법
CN101504728A (zh) * 2008-10-10 2009-08-12 深圳先进技术研究院 一种电子设备的遥控系统及其遥控方法
CN101903847A (zh) * 2007-12-21 2010-12-01 索尼公司 用于远程控制的触敏无线导航设备
KR20100129629A (ko) * 2009-06-01 2010-12-09 엘지전자 주식회사 움직임 검출에 의한 전자장치 동작 제어방법 및 이를 채용하는 전자장치
KR20110037053A (ko) * 2009-10-05 2011-04-13 (주)휴비드씨엔에스 영상센서를 이용한 3차원 공간 터치 입력장치 및 그 방법

Family Cites Families (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP0829799A3 (en) * 1992-05-26 1998-08-26 Takenaka Corporation Wall computer module
JP3795647B2 (ja) * 1997-10-29 2006-07-12 株式会社竹中工務店 ハンドポインティング装置
US6501515B1 (en) * 1998-10-13 2002-12-31 Sony Corporation Remote control system
US6147678A (en) * 1998-12-09 2000-11-14 Lucent Technologies Inc. Video hand image-three-dimensional computer interface with multiple degrees of freedom
US6531999B1 (en) * 2000-07-13 2003-03-11 Koninklijke Philips Electronics N.V. Pointing direction calibration in video conferencing and other camera-based system applications
KR20020021803A (ko) 2002-03-05 2002-03-22 백수곤 하나 이상의 이차원 이미지로부터 삼차원 모델을 만드는방법
JP2004040445A (ja) 2002-07-03 2004-02-05 Sharp Corp ３ｄ表示機能を備える携帯機器、及び３ｄ変換プログラム
KR100537518B1 (ko) * 2004-01-27 2005-12-19 삼성전자주식회사 공간에서 클릭 동작에 따른 포인팅 위치 조절 방법 및이를 위한 공간형 입력 장치
US7893920B2 (en) * 2004-05-06 2011-02-22 Alpine Electronics, Inc. Operation input device and method of operation input
EP1851750A4 (en) * 2005-02-08 2010-08-25 Oblong Ind Inc SYSTEM AND METHOD FOR CONTROL SYSTEM BASED ON GESTURES
US7728825B2 (en) * 2005-03-22 2010-06-01 Microsoft Corporation Targeting in a stylus-based user interface
KR20070066382A (ko) 2005-12-22 2007-06-27 주식회사 팬택 두 대의 카메라를 이용한 3차원 이미지 생성 방법 및 이를구현하는 카메라 단말기
US9075441B2 (en) * 2006-02-08 2015-07-07 Oblong Industries, Inc. Gesture based control using three-dimensional information extracted over an extended depth of field
KR100818171B1 (ko) 2006-06-09 2008-04-03 한국과학기술원 손 지시의 3차원 위치 인식 시스템 및 방법
US9256282B2 (en) * 2009-03-20 2016-02-09 Microsoft Technology Licensing, Llc Virtual object manipulation
US8693724B2 (en) * 2009-05-29 2014-04-08 Microsoft Corporation Method and system implementing user-centric gesture control
US8593402B2 (en) * 2010-04-30 2013-11-26 Verizon Patent And Licensing Inc. Spatial-input-based cursor projection systems and methods
EP2421251A1 (en) * 2010-08-17 2012-02-22 LG Electronics Display device and control method thereof
KR101151962B1 (ko) * 2011-02-16 2012-06-01 김석중 포인터를 사용하지 않는 가상 터치 장치 및 방법
US20120268424A1 (en) * 2011-04-20 2012-10-25 Kim Taehyeong Method and apparatus for recognizing gesture of image display device
US20140152869A1 (en) * 2011-07-13 2014-06-05 Simon Solotko Methods and Systems for Social Overlay Visualization

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP0866419B1 (en) * 1997-03-21 2004-06-02 Takenaka Corporation Pointing device using the image of the hand
KR20020025198A (ko) * 2000-05-17 2002-04-03 요트.게.아. 롤페즈 타켓을 위치시키는 방법 및 장치, 이미지 처리기, 그리고타켓 및 타켓 포인트 식별 방법
KR20090050567A (ko) * 2007-11-16 2009-05-20 전자부품연구원 Ｔｏｆ 카메라를 이용한 로봇의 물체 자세 인식 방법
CN101903847A (zh) * 2007-12-21 2010-12-01 索尼公司 用于远程控制的触敏无线导航设备
CN101504728A (zh) * 2008-10-10 2009-08-12 深圳先进技术研究院 一种电子设备的遥控系统及其遥控方法
KR20100129629A (ko) * 2009-06-01 2010-12-09 엘지전자 주식회사 움직임 검출에 의한 전자장치 동작 제어방법 및 이를 채용하는 전자장치
KR20110037053A (ko) * 2009-10-05 2011-04-13 (주)휴비드씨엔에스 영상센서를 이용한 3차원 공간 터치 입력장치 및 그 방법

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104346920A (zh) * 2014-10-28 2015-02-11 河海大学 一对多遥控装置识别遥控对象的方法及一对多遥控装置
CN105487705A (zh) * 2015-11-20 2016-04-13 努比亚技术有限公司 移动终端、输入处理方法及用户设备
CN105487705B (zh) * 2015-11-20 2019-08-30 努比亚技术有限公司 移动终端、输入处理方法及用户设备
CN109891370A (zh) * 2016-10-24 2019-06-14 维塔驰有限公司 辅助进行对象控制的方法及系统和非暂时性计算机可读记录介质
CN109891370B (zh) * 2016-10-24 2023-07-07 维塔驰有限公司 辅助进行对象控制的方法及系统和非暂时性计算机可读记录介质
CN106873300A (zh) * 2016-12-30 2017-06-20 北京光年无限科技有限公司 面向智能机器人的虚拟空间投影方法和装置
CN106873300B (zh) * 2016-12-30 2019-12-24 北京光年无限科技有限公司 面向智能机器人的虚拟空间投影方法和装置
CN108665480A (zh) * 2017-03-31 2018-10-16 满景资讯股份有限公司 三维侦测装置的操作方法
CN109871123A (zh) * 2019-01-21 2019-06-11 广东精标科技股份有限公司 一种基于手势或眼神控制的教学方法

Also Published As

Publication number Publication date
KR20130007813A (ko) 2013-01-21
WO2013009040A3 (ko) 2013-03-07
EP2733585A4 (en) 2015-01-14
US20140184499A1 (en) 2014-07-03
CN103688236B (zh) 2017-03-22
EP2733585A2 (en) 2014-05-21
EP2733585B1 (en) 2018-09-12
WO2013009040A2 (ko) 2013-01-17
US9367138B2 (en) 2016-06-14
KR101235432B1 (ko) 2013-02-22

Similar Documents

Publication Publication Date Title
CN103688236A (zh) 利用三维模拟电子设备的虚拟触摸的远程操作装置及方法
CN106233229B (zh) 利用以摄像机为中心的虚拟触控的远程操作装置及方法
KR101334585B1 (ko) 프로젝터를 통해 표시되는 정보를 이용하여 가상터치를 수행하는 원격 조작 장치 및 방법
US11099655B2 (en) System and method for gesture based data and command input via a wearable device
US9327396B2 (en) Tele-operation system and control method thereof
KR101524575B1 (ko) 웨어러블 디바이스
JP5784003B2 (ja) マルチテレポインタ、仮想客体表示装置、及び仮想客体制御方法
EP2677398A2 (en) Virtual touch device without pointer on display surface
WO2016189372A2 (en) Methods and apparatus for human centric "hyper ui for devices"architecture that could serve as an integration point with multiple target/endpoints (devices) and related methods/system with dynamic context aware gesture input towards a "modular" universal controller platform and input device virtualization
EP3234742A2 (en) Methods and apparatus for high intuitive human-computer interface
CN104246664B (zh) 不显示指针的透明显示器虚拟触摸装置
KR20170107357A (ko) 하나의 단일 감지 시스템을 이용하는 멀티 모드 제스처 기반의 상호작용 시스템 및 방법
US20140022171A1 (en) System and method for controlling an external system using a remote device with a depth sensor
TW201528048A (zh) 影像式虛擬互動裝置及其實施方法
CN103956036A (zh) 一种应用于家电的非触碰式遥控器
TWI486815B (zh) 顯示設備及其控制系統和方法
KR20110097504A (ko) 사용자 모션 인식 방법 및 장치
KR101588021B1 (ko) 헤드 마우스
KR101272458B1 (ko) 포인터를 사용하지 않는 가상 터치 장치 및 방법
CN108255317B (zh) 光标控制方法和装置
KR101263129B1 (ko) 착용형 통신 장치를 이용한 원격 제어 시스템
KR20140060615A (ko) 포인터를 사용하지 않는 가상 터치 장치에 있어서의 전자기기의 가상 평면을 이용한 원격 조작 장치
WO2014014461A1 (en) System and method for controlling an external system using a remote device with a depth sensor
TWM413169U (en) Input device applied in 3D image interactive system
Sanna et al. Entertainment Computing

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant