CN109558062A - 一种互动位置的确定方法和装置 - Google Patents

一种互动位置的确定方法和装置 Download PDF

Info

Publication number
CN109558062A
CN109558062A CN201810272858.1A CN201810272858A CN109558062A CN 109558062 A CN109558062 A CN 109558062A CN 201810272858 A CN201810272858 A CN 201810272858A CN 109558062 A CN109558062 A CN 109558062A
Authority
CN
China
Prior art keywords
interactive
projection
working region
optical signal
signal intensity
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201810272858.1A
Other languages
English (en)
Inventor
唐崧
连东峰
臧少峰
谷罕
崔霆
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangzhou Puppy Robot Technology Co Ltd
Original Assignee
Guangzhou Puppy Robot Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangzhou Puppy Robot Technology Co Ltd filed Critical Guangzhou Puppy Robot Technology Co Ltd
Priority to CN201810272858.1A priority Critical patent/CN109558062A/zh
Priority to PCT/CN2018/103197 priority patent/WO2019184240A1/zh
Priority to US16/605,171 priority patent/US11126228B2/en
Publication of CN109558062A publication Critical patent/CN109558062A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0489—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using dedicated keyboard keys or combinations thereof
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16—Constructional details or arrangements
    • G06F1/1613—Constructional details or arrangements for portable computers
    • G06F1/1633—Constructional details or arrangements of portable computers not specific to the type of enclosures covered by groups G06F1/1615 - G06F1/1626
    • G06F1/1662—Details related to the integrated keyboard
    • G06F1/1673—Arrangements for projecting a virtual keyboard
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B21/00—Projectors or projection-type viewers; Accessories therefor
    • G03B21/14—Details
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B21/00—Projectors or projection-type viewers; Accessories therefor
    • G03B21/14—Details
    • G03B21/26—Projecting separately subsidiary matter simultaneously with main image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/0304—Detection arrangements using opto-electronic means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/038—Control and interface arrangements therefor, e.g. drivers or device-embedded control circuitry
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/042—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means
    • G06F3/0425—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means using a single imaging device like a video camera for tracking the absolute position of a single or a plurality of objects with respect to an imaged reference surface, e.g. video camera imaging a display or a projection screen, a table or a wall surface, on which a computer generated image is displayed or projected
    • G06F3/0426—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means using a single imaging device like a video camera for tracking the absolute position of a single or a plurality of objects with respect to an imaged reference surface, e.g. video camera imaging a display or a projection screen, a table or a wall surface, on which a computer generated image is displayed or projected tracking fingers with respect to a virtual keyboard projected or printed on the surface
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B17/00—Details of cameras or camera bodies; Accessories therefor
    • G03B17/48—Details of cameras or camera bodies; Accessories therefor adapted for combination with other photographic or optical apparatus
    • G03B17/54—Details of cameras or camera bodies; Accessories therefor adapted for combination with other photographic or optical apparatus with projector

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Computer Hardware Design (AREA)
  • Multimedia (AREA)
  • Position Input By Displaying (AREA)
  • Projection Apparatus (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

本申请实施例公开了一种互动位置的确定方法，该方法可以应用于投影互动系统，该方法通过在投影平面的展示方向上，利用光发射器发射预定光信号在投影平面的上方形成光平面，图像拾取设备可以采集光平面的工作区域中的预定光信号。这样，在获取到图像拾取设备采集的预定光信号时，可以对预定光信号进行监测，只要人与投影图像进行互动，必然会穿过用于识别互动位置的光平面，就会使得预定光信号发生变化，投影互动系统可以识别出通过互动操作产生的信号变化，并根据该信号变化确定互动操作的互动位置。本方案即使在互动操作比较细微或者比较快的情况下，也可以准确地确定互动位置，提高了用户体验。本申请实施例还公开了一种互动位置的确定装置。

Description

一种互动位置的确定方法和装置
技术领域
本申请涉及图像识别领域，特别是涉及一种互动位置的确定方法和装置。
背景技术
人机交互(Human–Computer Interaction)是研究人、计算机以及它们之间相互作用的技术。随着人机交互的发展，基于投影图像的人机交互方式已经得到广泛应用。在基于投影图像的人机交互中，投影设备在投影平面上形成投影图像，在互动区域内，可能存在一些可以与用户进行互动的互动对象，当用户对互动对象进行互动操作时，投影设备可以对该互动操作做出响应，例如移动投影图像等。
为此，在基于投影图像的人机交互中，需要确定互动位置，从而确定与用户进行互动的互动对象是什么，以便对用户针对互动对象的互动操作做出响应。而传统方式中，为了对互动位置进行识别，首先，利用图像采集设备采集人与投影图像的互动图像，然后，利用图像识别技术对该互动图像进行处理，识别出用户用什么部位或者物体进行互动操作，再根据识别出的进行互动操作的部位或物体确定用户是否实施了互动操作，最后，才能确定出互动位置。
可见，传统的这种互动位置确定方式需要利用图像处理技术识别出很多信息，例如用户用什么部位或者物体进行互动操作、用户是否实施了互动操作以及确定互动位置，这就导致需要进行大量复杂的图像处理，处理压力大，当互动操作比较细微或者比较快时，可能会识别不出互动操作而无法确定出互动位置，或者确定出错误的互动位置，导致没有响应用户的互动操作或者错误响应用户的互动操作，用户体验不高。
发明内容
为了解决上述技术问题，本申请提供了一种互动位置的确定方法和装置，即使在互动操作比较细微或者比较快的情况下，也可以准确地确定互动位置，提高了用户体验。
本申请实施例公开了如下技术方案：
第一方面，本申请实施例提供了一种互动位置的确定方法，该方法应用于投影互动系统，所述投影互动系统包括投影设备、图像拾取设备和光发射器，所述投影设备用于在投影平面上投射出投影图像，所述光发射器用于发射预定光信号以形成光平面，在投影图像的展示方向上，所述光平面的工作区域覆盖在所述投影图像的第一互动区域上方，且所述工作区域与所述第一互动区域不相交，所述图像拾取设备用于采集所述工作区域中的所述预定光信号，所述方法包括：
获取所述图像拾取设备采集的所述预定光信号；
若根据所述预定光信号识别出通过互动操作产生的信号变化，根据所述信号变化确定所述互动操作的互动位置。
可选的，所述方法还包括：
根据所述互动位置生成针对所述投影图像的控制指令，以便所述投影设备响应于所述控制指令改变所述投影图像。
可选的，所述投影图像的全部或者部分作为所述第一互动区域。
可选的，所述工作区域的面积大于所述第一互动区域的面积，所述工作区域所覆盖所述投影平面的覆盖区域中还包括第二互动区域，所述第二互动区域位于所述覆盖区域中除了所述第一互动区域的区域。
可选的，根据所述信号变化确定所述互动操作的互动位置，包括：
根据所述信号变化确定所述工作区域中所述信号变化的位置；
根据所述信号变化的位置、以及所述工作区域与所述第一互动区域的对应关系，确定所述互动操作的互动位置。
可选的，所述光发射器发射预定光信号的方向包括与所述投影设备投影方向相同的方向、或与所述投影设备投影方向不同的方向。
可选的，所述工作区域与所述第一互动区域的最小间隔不小于第一预设阈值，和/或，所述工作区域与所述第一互动区域的最大间隔不大于第二预设阈值。
可选的，所述预定光信号的波段不同于所述投影设备所使用的投影光信号的波段，所述图像拾取设备采集的波段包括所述预定光信号的波段。
可选的，所述预定光信号的波段为不可见光信号的波段。
可选的，若根据所述预定光信号识别出通过多个互动操作产生的信号变化，所述根据所述信号变化确定所述互动操作的互动位置，包括：
根据信号变化确定所述多个互动操作的多个互动位置。
第二方面，本申请实施例提供了一种互动位置的确定装置，该装置应用于投影互动系统，所述投影互动系统包括投影设备、图像拾取设备和光发射器，所述投影设备用于在投影平面上投射出投影图像，所述光发射器用于发射预定光信号以形成光平面，在投影图像的展示方向上，所述光平面的工作区域覆盖在所述投影图像的第一互动区域上方，且所述工作区域与所述第一互动区域不相交，所述图像拾取设备用于采集所述工作区域中的所述预定光信号，所述装置包括获取单元和确定单元：
所述获取单元，用于获取所述图像拾取设备采集的所述预定光信号；
所述确定单元，用于若根据所述预定光信号识别出通过互动操作产生的信号变化，根据所述信号变化确定所述互动操作的互动位置。
可选的，所述装置还包括生成单元：
所述生成单元，用于根据所述互动位置生成针对所述投影图像的控制指令，以便所述投影设备响应于所述控制指令改变所述投影图像。
可选的，所述投影图像的全部或者部分作为所述第一互动区域。
可选的，所述工作区域的面积大于所述第一互动区域的面积，所述工作区域所覆盖所述投影平面的覆盖区域中还包括第二互动区域，所述第二互动区域位于所述覆盖区域中除了所述第一互动区域的区域。
可选的，所述确定单元，用于根据所述信号变化确定所述工作区域中所述信号变化的位置；根据所述信号变化的位置、以及所述工作区域与所述第一互动区域的对应关系，确定所述互动操作的互动位置。
可选的，所述光发射器发射预定光信号的方向包括与所述投影设备投影方向相同的方向、或与所述投影设备投影方向不同的方向。
可选的，所述工作区域与所述第一互动区域的最小间隔不小于第一预设阈值，和/或，所述工作区域与所述第一互动区域的最大间隔不大于第二预设阈值。
可选的，所述预定光信号的波段不同于所述投影设备所使用的投影光信号的波段，所述图像拾取设备采集的波段包括所述预定光信号的波段。
可选的，所述预定光信号的波段为不可见光信号的波段。
可选的，若根据所述预定光信号识别出通过多个互动操作产生的信号变化，所述确定单元，用于根据信号变化确定所述多个互动操作的多个互动位置。
第三方面，本申请实施例提供了一种机器可读介质，其上存储有指令，当由一个或多个处理器执行时，使得装置执行如第一方面中一个或多个所述的互动位置的确定方法。
由上述技术方案可以看出，在投影平面的展示方向上，利用光发射器发射预定光信号在投影平面的上方形成光平面，其中，图像拾取设备可以采集光平面的工作区域中的预定光信号。这样，在获取到图像拾取设备采集的预定光信号时，可以对预定光信号进行监测，只要人与投影图像进行互动，必然会穿过用于识别互动位置的光平面，就会使得预定光信号发生变化，投影互动系统可以识别出通过互动操作产生的信号变化，并根据该信号变化确定互动操作的互动位置。由于本方案减少了识别用户使用什么部位或者物体进行互动操作，以及识别用户是否实施了互动操作的步骤，仅需要专注于识别出通过互动操作产生的信号变化来确定互动位置即可，可见，本方案不需要进行如传统方式中的复杂数据处理，故即使在互动操作比较细微或者比较快的情况下，也可以准确地确定互动位置，提高了用户体验。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1a为本申请实施例提供的投影互动系统的架构图；
图1b为本申请实施例提供的针对互动操作确定互动位置的示意图；
图2为本申请实施例提供的一种互动位置的确定方法的流程图；
图3a为本申请实施例提供的工作区域与第一互动区域的位置关系示意图；
图3b为本申请实施例提供的工作区域与第一互动区域的位置关系示意图；
图3c为本申请实施例提供的工作区域与第一互动区域的位置关系示意图；
图4a为本申请实施例提供的第一互动区域的示意图；
图4b为本申请实施例提供的第一互动区域的示意图；
图5a为本申请实施例提供的第二互动区域的示意图；
图5b为本申请实施例提供的第二互动区域的示意图；
图6为本申请实施例提供的光发射器在投影系统中的位置示意图；
图7为本申请实施例提供的一种互动位置的确定装置的结构框图。
具体实施方式
下面结合附图，对本申请的实施例进行描述。
申请人经研究发现，在传统的互动位置确定中，由于需要利用图像处理技术识别出很多信息，例如用户用什么部位或者物体进行互动操作、用户是否实施了互动操作以及确定互动位置，这就导致需要进行大量复杂的图像处理，处理压力大，当互动操作比较细微或者比较快时，可能会识别不出互动操作而无法确定出互动位置，或者确定出错误的互动位置，导致没有响应用户的互动操作或者错误响应用户的互动操作，用户体验不高。
例如，投影图像为键盘，针对用户通过手在键盘上进行互动操作需要确定互动位置，以根据确定出的互动位置进行响应，实现打字功能时，首先需要利用图像处理技术从互动图像中识别出在键盘上进行互动操作的手的结构以及手指；由于用户为了实现打字在键盘上进行互动操作时，手指会都放在键盘上，与仅放在键盘上、没和键盘进行互动的手指相比，与键盘真正进行互动的手指会发生细微的变化，这样，就需要接着利用图像处理技术根据细微的变化识别出哪个手指是与键盘进行互动的手指，哪个手指是仅放在键盘上、没和键盘进行互动的手指；最后，才能确定出与键盘进行互动的手指的互动位置，从而根据该互动位置实现打字功能。
由此可见，使用传统的互动位置确定方式，很难识别出放在键盘上的手指，哪个手指在进行互动操作，哪个手指仅是放在键盘上；另外，手在键盘上进行互动操作，以实现打字功能时，手与键盘的互动操作会非常快，由于需要进行大量复杂的图像处理，图像处理的速度无法满足比较快的互动操作，从而导致有些互动操作无法被识别出来，而无法确定出互动位置，或者确定出错误的互动位置，导致没有响应用户的互动操作而不会再投影图像上实现打字，或者错误响应用户的互动操作而在投影图像上打出错误的字，用户体验不高。
为此，本申请实施例提供一种互动位置的确定方法，该方法可以应用于图1a所示的投影互动系统中。该投影互动系统可以包括投影设备101、图像拾取设备102和光发射器103。其中，投影设备101用于在投影平面104上投射出投影图像，该投影图像可以包括第一互动区域105；光发射器103用于发射预定光信号以形成光平面106。在投影图像的展示方向上，光平面的工作区域覆盖在投影图像的第一互动区域105上方，且工作区域与第一互动区域105不相交，图像拾取设备102用于采集工作区域中的预定光信号。当然，该投影互动系统中还可以包括处理器107，利用处理器107可以对采集到的光信号进行处理，从而确定出互动位置，以及根据确定出的互动位置生成相应的控制信号，以控制投影设备101响应于该互动操作改变投影图像和用户产生互动。
针对互动操作确定互动位置的示意图可以如图1b所示，当用户利用手指点击第一互动区域105的互动位置时，由于在投影平面104的展示方向上，光平面106的工作区域覆盖在投影图像的第一互动区域105上方，只要人与投影图像进行互动，必然会穿过用于识别互动位置的光平面，从而阻断预定光信号，使得图像拾取设备102采集的预定光信号在手指点击的位置处引起针对互动操作的信号变化，这样，处理器107在获取到图像拾取设备102采集的预定光信号时，若识别出通过互动操作产生的信号变化，便可以根据该信号变化确定互动操作的互动位置。本方案减少了识别用户使用什么部位或者物体进行互动操作，以及识别用户是否实施了互动操作的步骤，仅需要专注于识别出通过互动操作产生的信号变化来确定互动位置即可，可见，本方案不需要进行如传统方式中的复杂数据处理，故即使在互动操作比较细微或者比较快的情况下，也可以准确地确定互动位置，提高了用户体验。
本申请实施例所提到的工作区域可以是指光平面中用于确定互动位置的区域，该工作区域能够针对用户的互动操作产生信号变化，以便能够根据信号变化确定出互动位置。在展示方向上，工作区域可以覆盖在互动区域上方，也就是说，投影互动系统可以将投影图像展示给用户观看，对于观看投影图像的用户来说，工作区域相对于互动区域距离用户更近，因此，用户在与互动区域进行互动操作时，用户进行互动操作所使用的身体部位或物体必然会穿过工作区域，并且工作区域与互动区域不相交。
其中，互动区域可以是指互动对象在投影平面上所处的区域，其中互动对象可以是可见的或不可见的对象。用户可以通过该区域中的互动对象与投影图像进行互动，例如，互动对象可以为键盘上的各个按键，此时，各个按键为可见的对象，则键盘所在的区域可以作为互动区域。其中，互动区域可以包括位于投影图像所在的区域中，例如可以是第一互动区域；还可以进一步包括位于覆盖区域中除了上述第一互动区域的区域，例如，第二互动区域，其中，覆盖区域可以是指工作区域覆盖投影平面的区域。
又如，当投影图像为图片时，图片的左右两侧可以是空白区域，用户可以通过与左侧的空白区域进行互动操作，实现对图片进行向上翻页，用户可以通过与右侧的空白区域进行互动操作，实现对图片进行向下翻页。此时，左右两侧的空白区域可以包括不可见的对象。
在本申请实施例中投影平面可以是墙面、天花板、桌面、投影幕布等用于展示投影图像的平面或类平面，以便可以从不同方向向用户展示投影平面上所形成的投影图像。
下面结合附图，详细说明本申请实施例如何确定互动位置的。
参见图2，图2为本申请实施例提供的一种互动位置的确定方法的流程图，该方法可以应用于投影互动系统。其中，投影互动系统可以包括投影设备、图像拾取设备和光发射器，投影设备用于在投影平面上投射出投影图像，光发射器用于发射预定光信号以形成光平面，在投影图像的展示方向上，光平面的工作区域覆盖在投影图像的第一互动区域上方，且工作区域与第一互动区域不相交，图像拾取设备用于采集工作区域中的预定光信号。该方法包括：
S201、获取所述图像拾取设备采集的所述预定光信号。
图像拾取设备用于采集工作区域中的预定光信号，当图像拾取设备采集到工作区域中的预定光信号，投影互动系统中例如处理器可以获取该预定光信号，以便对该预定光信号进行监测，以识别该预定光信号中是否存在通过互动操作产生的信号变化。
其中，为了使图像拾取设备可以从预定光信号和投影光信号中区分出预定光信号，以对预定光信号进行采集。预定光信号的波段可以不同于投影设备所使用的投影光信号的波段，以便图像拾取设备可以采集到预定光信号的波段。由于投影光信号一般可以是可见光，因此，预定光信号的波段可以为不可见光信号的波段。
当然，在一些情况下，预定光信号的波段可以与投影设备所使用的投影光信号的波段有所重叠。在这种情况下，可以利用光学处理技术从预定光信号和投影光信号中区分出预定光信号，以便图像拾取设备可以采集到预定光信号的波段。
在本实施例中，由于投影平面可能并不是严格的平面，在平面上可能存在凸起的地方，如果该凸起能够穿过光平面，那么，即使用户没有与投影图像进行互动，穿过光平面的凸起也会使得预定光信号发生信号变化，但是该信号变化并不是通过互动操作产生的，却可能具有与之类似的信号变化。为了避免由于投影平面上的凸起等物体对预定光信号的干扰，光平面的工作区域覆盖在投影图像的第一互动区域上方，且工作区域与第一互动区域不相交。其中，该工作区域与第一互动区域的位置关系可以如图3a所示，图中301为第一互动区域，302为工作区域。
若工作区域302与第一互动区域301相交，例如图3b所示，那么从中可以看出，工作区域302与第一互动区域301的相交之后，除了可能会使投影平面上的凸起对预定光信号进行干扰，造成错误的信号变化之外，由于相交之后，在展示方向上，工作区域302可能位于第一互动区域301的下方，从而导致即使用户进行互动操作，也无法穿过位于第一互动区域301下方的工作区域302，从而无法识别到用户操作。
需要说明的是，本实施例中所提到的仅是工作区域与包括第一互动区域的互动区域不相交，工作区域所在的光平面与互动区域所在的投影平面可以相交。例如图3c所示，投影平面303与光平面304相交，但是，工作区域302仅是光平面304中包括的白色区域，第一互动区域301仅是投影平面301的右侧，此时，仍能够保证工作区域302与包括第一互动区域301不相交。
由此可见，保证光平面的工作区域覆盖在投影图像的第一互动区域上方，且工作区域与第一互动区域不相交，是本实施例的关键，可以准确地获取通过互动操作产生的信号变化，进而准确地确定出互动位置。
需要说明的是，第一互动区域可以是投影图像的全部或者部分。例如，图4a所示，在一些情况下，需要通过用户在投影图像上的滑动操作，来改变向用户所展示的投影图像，在这种情况下，投影图像的全部可以作为第一互动区域。
假设在图4a中，当前所展示的为投影图像2，用户希望将投影图像2改变为投影图像1，则用户可以滑动投影图像2上的任何位置，将向用户展示的投影图像2改变为投影图像1。
又如，图4b所示，投影图像上包括用来展示图像的显示屏部分，以及用来根据用户的互动操作来在显示屏上输入文字的键盘部分，在这种情况下，用户仅需与投影图像上的键盘进行互动操作，以在显示屏上显示输入的文字。因此，投影图像的一部分可以为显示区域，例如图4b中的上方区域，另一部分可以作为第一互动区域，例如图4b中的下方区域。
S202、若根据所述预定光信号识别出通过互动操作产生的信号变化，根据所述信号变化确定所述互动操作的互动位置。
若识别到该预定光信号中存在通过互动操作产生的信号变化，则可以根据该信号变化确定该互动操作的互动位置，以便根据该互动位置生成针对所述投影图像的控制指令，例如移动投影图像的控制指令。
在本实施例中，由于工作区域覆盖在投影图像的第一互动区域上方，工作区域与第一互动区域具有对应关系，例如图3a中所示，工作区域上的位置A与第一互动区域中的位置A’具有对应关系，也就是说确定出工作区域上的位置A，便可以根据位置A、以及位置A与第一互动区域中的位置A’的对应关系确定出位置A’。
因此，在本实施例中，根据所述信号变化确定所述互动操作的互动位置的一种实现方式可能包括：根据所述信号变化确定所述工作区域中所述信号变化的位置；根据所述信号变化的位置、以及所述工作区域与所述第一互动区域的对应关系，确定所述互动操作的互动位置。
例如，用户利用手指穿过图3a中工作区域的位置A，通过第一互动区域中的互动位置A’进行互动操作时，穿过位置A的手指阻碍了预定光信号的形成光平面，从而使的预定光信号发生信号变化，根据该信号变化可以确定出该信号变化的位置A，进而可以根据位置A、以及位置A与第一互动区域中的互动位置A’的对应关系确定出互动位置A’。
在确定出该互动操作的互动位置后，可以根据该互动位置生成针对该投影图像的控制指令，以便所述投影设备响应于所述控制指令改变所述投影图像。
由上述技术方案可以看出，在投影平面的展示方向上，利用光发射器发射预定光信号在投影平面的上方形成光平面，其中，图像拾取设备可以采集光平面的工作区域中的预定光信号。这样，在获取到图像拾取设备采集的预定光信号时，可以对预定光信号进行监测，只要人与投影图像进行互动，必然会穿过识别光平面，就会使得预定光信号发生变化，投影互动系统可以识别出通过互动操作产生的信号变化，并根据该信号变化确定互动操作的互动位置。由于本方案减少了识别用户使用什么部位或者物体进行互动操作，以及识别用户是否实施了互动操作的步骤，仅需要专注于识别出通过互动操作产生的信号变化来确定互动位置即可，可见，本方案不需要进行如传统方式中的复杂数据处理，故即使在互动操作比较细微或者比较快的情况下，也可以准确地确定互动位置，提高了用户体验。
需要说明的是，虽然工作区域覆盖在第一互动区域上方，且与第一互动区域不相交，但是，在一些情况下，投影平面在第一互动区域可能存在比较明显的凸起，从而使得工作区域与第一互动区域不仅不相交，二者之间的间隔还需要大于凸起的最大高度，才能更好的保证工作区域上的预定光信号不收到凸起的影响，避免将该凸起引起的信号变化错误地识别为通过互动操作产生的信号变化。因此，工作区域与第一互动区域的最小间隔不小于第一预设阈值，该第一预设阈值可以是根据投影平面的特点进行设置的，例如凸起的高度。
在一些情况下，工作区域与第一互动区域之间的间隔可能很大，这样，为了避免用户在还未与投影图像进行交互操作的情况下，用户的部位(例如手)，或用户进行互动操作需要使用的物体不会误碰到工作区域，从而产生引起不必要的信号变化，而使投影设备做出错误的响应，用户可能需要将手放在距离工作区域较高的位置，从而带来不好的用户体验。因此，工作区域与第一互动区域的最大间隔不大于第二预设阈值，该第二预设阈值可以根据用户体验进行设置。
当然，为了既满足投影平面的特点，又满足用户体验，可以将工作区域与第一互动区域的间隔设置适中，即工作区域与第一互动区域的最小间隔不小于第一预设阈值，且工作区域与第一互动区域的最大间隔不大于第二预设阈值。
在本实施例中，为了保证工作区域覆盖在投影图像的第一互动区域上方，工作区域的面积可以等于或大于第一互动区域。在一些情况下，工作区域的面积可能大于第一互动区域，这就会出现工作区域除了可以覆盖在第一互动区域的上方，还覆盖在投影平面上除了第一互动区域的其它区域上方，为了保证当用户的部位或使用的物体穿过工作区域的任何位置，都可以根据信号变化确定交互位置，并且通过该交互位置可以实现对投影图像的改变，在工作区域的面积大于第一互动区域的面积时，工作区域所覆盖投影平面的覆盖区域中还包括第二互动区域，该第二互动区域可以位于覆盖区域中除了第一互动区域的区域。
如图5a所示，图5a以投影图像503的部分为第一互动区域为例对第二互动区域进行介绍。在图5a中，第一互动区域501可以如图5a中阴影部分所示，工作区域如图5a中502所示，可见，工作区域502的面积大于第一互动区域501的面积。也就是说，工作区域502所覆盖投影平面的覆盖区域中除了包括第一互动区域501，还包括第一互动区域501左右两侧灰色区域，如图5a中504所示，该区域可以作为第二互动区域。当用户与第二互动区域进行互动操作时，该投影互动系统同样可以执行S201-S202所示的步骤，以生成控制指令，对投影图像进行改变。
又如图5b所示，图5b以投影图像503的全部为第一互动区域为例对第二互动区域进行介绍。此时，第一互动区域501如图5b中阴影部分所示，工作区域如图5b中502所示，可见，工作区域502的面积大于第一互动区域501的面积。也就是说，工作区域502所覆盖投影平面的覆盖区域中除了包括第一互动区域501，还包括第一互动区域501四周的灰色区域，如图5b中504所示，该区域可以作为第二互动区域。当用户与第二互动区域进行互动操作时，该投影互动系统同样可以执行S201-S202所示的步骤，以生成控制指令，对投影图像进行改变。
可以理解的是，光发射器发射预定光信号的方向可以包括空间中的很多方向，只要保证工作区域覆盖在投影图像的第一互动区域上方，且工作区域与第一互动区域不相交即可。因此，光发射器发射预定光信号的方向可以包括与投影设备投影方向相同的方向，例如图1a中所示，光发射器与投影设备位于同一侧，光发射器与投影设备集成在一起，构成投影互动系统。
另外，光发射器发射预定光信号的方向可以包括与投影设备投影方向不同的方向，例如图6所示，光发射器不与投影设备集成在一起，而是独立存在，投影设备的位置可以如601所示，其投影方向可以为向上，而光发射器的位置可以如602所示，发射预定光信号的方向可以向左，此时，光发射器发射预定光信号形成的工作区域仍然可以覆盖在第一互动区域上方，且工作区域与第一互动区域不相交。当然，还可以包括与投影设备投影方向相反等其他不同的方向。
在一些情况下，譬如用户通过手指与投影图像进行互动操作，希望滑动投影图像，用户可能使用多个手指，例如两个手指，此时，虽然这两个手指通过两个互动操作共同完成滑动投影图像的交互效果，但是，这两个手指在第一交互区域上的互动位置可能会不同，需要将这两个手指分别对应的互动位置确定出来。
在这种情况下，需要投影互动系统可以根据预定光信号识别出通过多个互动操作产生的信号变化，然后，根据信号变化确定该多个互动操作的多个互动位置，从而根据该多个互动位置生成控制指令，共同完成对投影图像的改变。
基于上述提供的一种互动位置的确定方法，本实施例提供了一种互动位置的确定装置，该装置应用于投影互动系统，所述投影互动系统包括投影设备、图像拾取设备和光发射器，所述投影设备用于在投影平面上投射出投影图像，所述光发射器用于发射预定光信号以形成光平面，在投影图像的展示方向上，所述光平面的工作区域覆盖在所述投影图像的第一互动区域上方，且所述工作区域与所述第一互动区域不相交，所述图像拾取设备用于采集所述工作区域中的所述预定光信号。
参见图7，图7示出了一种互动位置的确定装置的结构框图，所述装置包括获取单元701和确定单元702：
所述获取单元701，用于获取所述图像拾取设备采集的所述预定光信号；
所述确定单元702，用于若根据所述预定光信号识别出通过互动操作产生的信号变化，根据所述信号变化确定所述互动操作的互动位置。
可选的，所述装置还包括生成单元：
所述生成单元，用于根据所述互动位置生成针对所述投影图像的控制指令，以便所述投影设备响应于所述控制指令改变所述投影图像。
可选的，所述投影图像的全部或者部分作为所述第一互动区域。
可选的，所述工作区域的面积大于所述第一互动区域的面积，所述工作区域所覆盖所述投影平面的覆盖区域中还包括第二互动区域，所述第二互动区域位于所述覆盖区域中除了所述第一互动区域的区域。
可选的，所述确定单元702，用于根据所述信号变化确定所述工作区域中所述信号变化的位置；根据所述信号变化的位置、以及所述工作区域与所述第一互动区域的对应关系，确定所述互动操作的互动位置。
可选的，所述光发射器发射预定光信号的方向包括与所述投影设备投影方向相同的方向、或与所述投影设备投影方向不同的方向。
可选的，所述工作区域与所述第一互动区域的最小间隔不小于第一预设阈值，和/或，所述工作区域与所述第一互动区域的最大间隔不大于第二预设阈值。
可选的，所述预定光信号的波段不同于所述投影设备所使用的投影光信号的波段，所述图像拾取设备采集的波段包括所述预定光信号的波段。
可选的，所述预定光信号的波段为不可见光信号的波段。
可选的，若根据所述预定光信号识别出通过多个互动操作产生的信号变化，所述确定单元702，用于根据信号变化确定所述多个互动操作的多个互动位置。
由上述技术方案可以看出，在投影平面的展示方向上，利用光发射器发射预定光信号在投影平面的上方形成光平面，其中，图像拾取设备可以采集光平面的工作区域中的预定光信号。这样，获取单元701在获取到图像拾取设备采集的预定光信号时，可以对预定光信号进行监测，只要人与投影图像进行互动，必然会穿过用于识别互动位置的光平面，就会使得预定光信号发生变化，若可以识别出通过互动操作产生的信号变化，确定单元702可以根据该信号变化确定互动操作的互动位置。由于本方案减少了识别用户使用什么部位或者物体进行互动操作，以及识别用户是否实施了互动操作的步骤，仅需要专注于识别出通过互动操作产生的信号变化来确定互动位置即可，可见，本方案不需要进行如传统方式中的复杂数据处理，故即使在互动操作比较细微或者比较快的情况下，也可以准确地确定互动位置，提高了用户体验。
基于前述实施例提供的一种互动位置的确定方法和装置，实施例提供了一种机器可读介质，其上存储有指令，当由一个或多个处理器执行时，使得装置执行一个或多个所述的互动位置的确定方法。
本领域普通技术人员可以理解：实现上述方法实施例的全部或部分步骤可以通过程序指令相关的硬件来完成，前述程序可以存储于一计算机可读取存储介质中，该程序在执行时，执行包括上述方法实施例的步骤；而前述的存储介质可以是下述介质中的至少一种：只读存储器(英文：read-only memory，缩写：ROM)、RAM、磁碟或者光盘等各种可以存储程序代码的介质。
需要说明的是，本说明书中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于设备及系统实施例而言，由于其基本相似于方法实施例，所以描述得比较简单，相关之处参见方法实施例的部分说明即可。以上所描述的设备及系统实施例仅仅是示意性的，其中作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性劳动的情况下，即可以理解并实施。
以上所述，仅为本申请的一种具体实施方式，但本申请的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，可轻易想到的变化或替换，都应涵盖在本申请的保护范围之内。因此，本申请的保护范围应该以权利要求的保护范围为准。

Claims (17)

1.一种互动位置的确定方法，其特征在于，应用于投影互动系统，所述投影互动系统包括投影设备、图像拾取设备和光发射器，所述投影设备用于在投影平面上投射出投影图像，所述光发射器用于发射预定光信号以形成光平面，在投影图像的展示方向上，所述光平面的工作区域覆盖在所述投影图像的第一互动区域上方，且所述工作区域与所述第一互动区域不相交，所述图像拾取设备用于采集所述工作区域中的所述预定光信号，所述方法包括：
获取所述图像拾取设备采集的所述预定光信号；
若根据所述预定光信号识别出通过互动操作产生的信号变化，根据所述信号变化确定所述互动操作的互动位置。
2.根据权利要求1所述的方法，其特征在于，所述方法还包括：
根据所述互动位置生成针对所述投影图像的控制指令，以便所述投影设备响应于所述控制指令改变所述投影图像。
3.根据权利要求1所述的方法，其特征在于，所述投影图像的全部或者部分作为所述第一互动区域。
4.根据权利要求1所述的方法，其特征在于，所述工作区域的面积大于所述第一互动区域的面积，所述工作区域所覆盖所述投影平面的覆盖区域中还包括第二互动区域，所述第二互动区域位于所述覆盖区域中除了所述第一互动区域的区域。
5.根据权利要求1-3任意一项所述的方法，其特征在于，根据所述信号变化确定所述互动操作的互动位置，包括：
根据所述信号变化确定所述工作区域中所述信号变化的位置；
根据所述信号变化的位置、以及所述工作区域与所述第一互动区域的对应关系，确定所述互动操作的互动位置。
6.根据权利要求1-4任意一项所述的方法，其特征在于，所述光发射器发射预定光信号的方向包括与所述投影设备投影方向相同的方向、或与所述投影设备投影方向不同的方向。
7.根据权利要求1-4任意一项所述的方法，其特征在于，所述预定光信号的波段为不可见光信号的波段。
8.根据权利要求1所述的方法，其特征在于，若根据所述预定光信号识别出通过多个互动操作产生的信号变化，所述根据所述信号变化确定所述互动操作的互动位置，包括：
根据信号变化确定所述多个互动操作的多个互动位置。
9.一种互动位置的确定装置，其特征在于，应用于投影互动系统，所述投影互动系统包括投影设备、图像拾取设备和光发射器，所述投影设备用于在投影平面上投射出投影图像，所述光发射器用于发射预定光信号以形成光平面，在投影图像的展示方向上，所述光平面的工作区域覆盖在所述投影图像的第一互动区域上方，且所述工作区域与所述第一互动区域不相交，所述图像拾取设备用于采集所述工作区域中的所述预定光信号，所述装置包括获取单元和确定单元：
所述获取单元，用于获取所述图像拾取设备采集的所述预定光信号；
所述确定单元，用于若根据所述预定光信号识别出通过互动操作产生的信号变化，根据所述信号变化确定所述互动操作的互动位置。
10.根据权利要求9所述的装置，其特征在于，所述装置还包括生成单元：
所述生成单元，用于根据所述互动位置生成针对所述投影图像的控制指令，以便所述投影设备响应于所述控制指令改变所述投影图像。
11.根据权利要求9所述的装置，其特征在于，所述投影图像的全部或者部分作为所述第一互动区域。
12.根据权利要求9所述的装置，其特征在于，所述工作区域的面积大于所述第一互动区域的面积，所述工作区域所覆盖所述投影平面的覆盖区域中还包括第二互动区域，所述第二互动区域位于所述覆盖区域中除了所述第一互动区域的区域。
13.根据权利要求9-11任意一项所述的装置，其特征在于，所述确定单元，用于根据所述信号变化确定所述工作区域中所述信号变化的位置；根据所述信号变化的位置、以及所述工作区域与所述第一互动区域的对应关系，确定所述互动操作的互动位置。
14.根据权利要求9-11任意一项所述的装置，其特征在于，所述光发射器发射预定光信号的方向包括与所述投影设备投影方向相同的方向、或与所述投影设备投影方向不同的方向。
15.根据权利要求9-11任意一项所述的装置，其特征在于，所述预定光信号的波段为不可见光信号的波段。
16.根据权利要求9所述的装置，其特征在于，若根据所述预定光信号识别出通过多个互动操作产生的信号变化，所述确定单元，用于根据信号变化确定所述多个互动操作的多个互动位置。
17.一种机器可读介质，其上存储有指令，当由一个或多个处理器执行时，使得装置执行如权利要求1至8中一个或多个所述的互动位置的确定方法。
CN201810272858.1A 2018-03-29 2018-03-29 一种互动位置的确定方法和装置 Pending CN109558062A (zh)

Priority Applications (3)

Application Number Priority Date Filing Date Title
CN201810272858.1A CN109558062A (zh) 2018-03-29 2018-03-29 一种互动位置的确定方法和装置
PCT/CN2018/103197 WO2019184240A1 (zh) 2018-03-29 2018-08-30 一种互动位置的确定方法和装置
US16/605,171 US11126228B2 (en) 2018-03-29 2018-08-30 Method and apparatus for determining interaction position

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810272858.1A CN109558062A (zh) 2018-03-29 2018-03-29 一种互动位置的确定方法和装置

Publications (1)

Publication Number Publication Date
CN109558062A true CN109558062A (zh) 2019-04-02

Family

ID=65864401

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810272858.1A Pending CN109558062A (zh) 2018-03-29 2018-03-29 一种互动位置的确定方法和装置

Country Status (3)

Country Link
US (1) US11126228B2 (zh)
CN (1) CN109558062A (zh)
WO (1) WO2019184240A1 (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110032028A (zh) * 2019-04-23 2019-07-19 嘉兴古辛达贸易有限公司 一种虚拟键盘的摄像头
CN112083831A (zh) * 2020-08-21 2020-12-15 欧菲微电子技术有限公司 基于激光投影键盘的按键识别方法及装置

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101571776A (zh) * 2008-04-21 2009-11-04 株式会社理光 具有投影仪模块的电子装置
CN102866827A (zh) * 2012-08-21 2013-01-09 刘炳林 一种人机交互设备的文档编辑方法和装置
CN103024324A (zh) * 2012-12-10 2013-04-03 Tcl通力电子（惠州）有限公司 一种短焦投影系统
JP2014126795A (ja) * 2012-12-27 2014-07-07 Canon Inc 表示制御装置、表示制御方法及びプログラム
CN205375438U (zh) * 2016-02-14 2016-07-06 京东方科技集团股份有限公司 触控系统和触控显示系统
CN107102804A (zh) * 2016-02-19 2017-08-29 索尼移动通信株式会社 控制设备、控制方法和程序

Family Cites Families (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9317110B2 (en) * 2007-05-29 2016-04-19 Cfph, Llc Game with hand motion control
CN101539714B (zh) * 2009-04-17 2011-03-16 清华大学深圳研究生院 一种交互投影设备
JP5442393B2 (ja) * 2009-10-29 2014-03-12 日立コンシューマエレクトロニクス株式会社 表示装置
TWI446218B (zh) * 2010-06-30 2014-07-21 Pixart Imaging Inc A method of switching the range of interactive pointing devices and a handover fetch for interactive pointing devices
CN101901108A (zh) * 2010-07-02 2010-12-01 东莞市日新传导科技股份有限公司 交互式输入方法及投影设备
US9623324B2 (en) * 2010-07-02 2017-04-18 The United States Of America As Represented By The Administrator Of The National Aeronautics And Space Administration Physiologically modulating videogames or simulations which use motion-sensing input devices
GB2486445B (en) * 2010-12-14 2013-08-14 Epson Norway Res And Dev As Camera-based multi-touch interaction apparatus system and method
JP2012256000A (ja) * 2011-06-10 2012-12-27 Sanyo Electric Co Ltd 投写型映像表示装置
US9462663B2 (en) * 2013-05-28 2016-10-04 Abl Ip Holding Llc Interactive user interface functionality for lighting devices or system
US9965038B2 (en) * 2014-03-21 2018-05-08 Dell Products L.P. Context adaptable projected information handling system input environment
US10452206B2 (en) * 2014-12-08 2019-10-22 Maxell, Ltd. Projection video display device and video display method
JP6701621B2 (ja) * 2015-03-24 2020-05-27 セイコーエプソン株式会社 プロジェクター及びプロジェクターの制御方法
US10225572B2 (en) * 2015-09-30 2019-03-05 Apple Inc. Configurable motion estimation search systems and methods
WO2017060423A1 (en) * 2015-10-08 2017-04-13 Koninklijke Kpn N.V. Enhancing a region of interest in video frames of a video stream
JP6753049B2 (ja) * 2015-10-09 2020-09-09 セイコーエプソン株式会社 プロジェクター、及び、プロジェクターの制御方法。
US10084963B2 (en) * 2015-11-30 2018-09-25 Ricoh Imaging Company, Ltd. Stage apparatus, image projector apparatus having stage apparatus, and imaging apparatus having stage apparatus
US10247954B2 (en) * 2016-03-29 2019-04-02 Ricoh Imaging Company, Ltd. Stage apparatus having shake-correction function
CN206672044U (zh) * 2017-04-10 2017-11-24 上海易视计算机科技有限公司 投影交互设备
WO2019089615A1 (en) * 2017-10-30 2019-05-09 Palatiumcare, Inc Information and passive biometric systems and methods

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101571776A (zh) * 2008-04-21 2009-11-04 株式会社理光 具有投影仪模块的电子装置
CN102866827A (zh) * 2012-08-21 2013-01-09 刘炳林 一种人机交互设备的文档编辑方法和装置
CN103024324A (zh) * 2012-12-10 2013-04-03 Tcl通力电子（惠州）有限公司 一种短焦投影系统
JP2014126795A (ja) * 2012-12-27 2014-07-07 Canon Inc 表示制御装置、表示制御方法及びプログラム
CN205375438U (zh) * 2016-02-14 2016-07-06 京东方科技集团股份有限公司 触控系统和触控显示系统
CN107102804A (zh) * 2016-02-19 2017-08-29 索尼移动通信株式会社 控制设备、控制方法和程序

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110032028A (zh) * 2019-04-23 2019-07-19 嘉兴古辛达贸易有限公司 一种虚拟键盘的摄像头
CN110032028B (zh) * 2019-04-23 2021-03-12 江苏爱立克信息科技有限公司 一种虚拟键盘的摄像头
CN112083831A (zh) * 2020-08-21 2020-12-15 欧菲微电子技术有限公司 基于激光投影键盘的按键识别方法及装置

Also Published As

Publication number Publication date
US11126228B2 (en) 2021-09-21
US20210103315A1 (en) 2021-04-08
WO2019184240A1 (zh) 2019-10-03

Similar Documents

Publication Publication Date Title
US11099653B2 (en) Machine responsiveness to dynamic user movements and gestures
US12086323B2 (en) Determining a primary control mode of controlling an electronic device using 3D gestures or using control manipulations from a user manipulable input device
US11567578B2 (en) Systems and methods of free-space gestural interaction
US20240061511A1 (en) Dynamic, free-space user interactions for machine control
CN104956292B (zh) 多个感知感测输入的交互
KR101292467B1 (ko) 손의 움직임에 지정된 제어 매개변수를 통해 사용자 인터페이스 상의 디스플레이된 이미지를 변경시키기 위한 시스템 및 방법
US20170228138A1 (en) System and method for spatial interaction for viewing and manipulating off-screen content
US20200004403A1 (en) Interaction strength using virtual objects for machine control
US9317403B2 (en) Method for creating a label
US9684445B2 (en) Mobile gesture reporting and replay with unresponsive gestures identification and analysis
Wingrave et al. Towards preferences in virtual environment interfaces
CN109558062A (zh) 一种互动位置的确定方法和装置
US11301124B2 (en) User interface modification using preview panel
CN113051022A (zh) 图形界面的处理方法及图形界面处理装置
CN116540866A (zh) 一种人机交互方法、装置、设备和存储介质
CN114706487B (zh) 字符输入方法、装置、电子设备及可读存储介质
Teixeira et al. Open/closed hand classification using Kinect data
Randelli Improving human-robot awareness through semantic-driven tangible interaction
CN110147169A (zh) 至少一个显示窗口布局调整及触控自动校准方法及系统
CN115113795A (zh) 虚拟键盘校准方法、装置、电子设备和介质
Murray The NRaD virtual presence program

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20190402