CN108227919A - 用户手指位置信息的确定方法及装置、投影仪、投影系统 - Google Patents

用户手指位置信息的确定方法及装置、投影仪、投影系统 Download PDF

Info

Publication number
CN108227919A
CN108227919A CN201711408637.4A CN201711408637A CN108227919A CN 108227919 A CN108227919 A CN 108227919A CN 201711408637 A CN201711408637 A CN 201711408637A CN 108227919 A CN108227919 A CN 108227919A
Authority
CN
China
Prior art keywords
depth
image
user
finger
area
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201711408637.4A
Other languages
English (en)
Other versions
CN108227919B (zh
Inventor
陈维亮
董碧峰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Weifang Goertek Electronics Co Ltd
Original Assignee
Weifang Goertek Electronics Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Weifang Goertek Electronics Co Ltd filed Critical Weifang Goertek Electronics Co Ltd
Priority to CN201711408637.4A priority Critical patent/CN108227919B/zh
Publication of CN108227919A publication Critical patent/CN108227919A/zh
Application granted granted Critical
Publication of CN108227919B publication Critical patent/CN108227919B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017Gesture based interaction, e.g. based on a set of recognized hand gestures
    • GPHYSICS
    • G03PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03BAPPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B21/00Projectors or projection-type viewers; Accessories therefor
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/107Static hand or arm

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • General Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

本发明公开了一种用户手指位置信息的确定方法及装置、投影仪、投影系统,该方法包括:对实时景深图像和背景图像进行处理,生成第一深度图像;根据第一深度阈值范围,从第一深度图像中确定包含有用户手指的图像区域;根据包含有用户手指的图像区域,确定用户手指位于的预设区域,其中,预设区域包括第一区域和第二区域;在用户手指位于第一区域时,根据第二深度阈值范围,从第一区域中判断是否检测到包含有用户手指的图像区域,其中,第二深度阈值范围中的各深度值位于第一深度阈值范围内;在判断结果为是时,利用从第一区域中确定出的包含有用户手指的图像区域,确定用户手指位置信息。

Description

用户手指位置信息的确定方法及装置、投影仪、投影系统
技术领域
本发明涉及投影仪技术领域,更具体地,涉及一种用户手指位置信息的确定方法及装置、投影仪、投影系统。
背景技术
投影仪是一种可以将图像或视频投射到幕布上的设备,可以通过不同的接口同计算机、VCD、DVD、游戏机、DV等相连接播放相应的视频信号。目前,交互式投影仪成为发展趋势。
交互式投影仪包括有投影模组和景深模组。投影模组用于将图像或视频投射到平面物体上。参见图1,投影模组为一投影灯,该投影灯安装在投影支架上,投影灯可投出一个投影区域。该投影可为游戏界面、网上购物界面或者餐厅菜单,用户可与该投影区域进行交互。景深模组也可在平面物体上形成投影面。景深模组用于测量景深模组投放的投影面的各投影点到景深模组的距离。景深模组利用各投影点到景深模组的距离可生成一个矩阵,该矩阵中每一个元素代表对应的投影点到景深模组的距离。
当用户手部未与投影模组投放到平面物体上的投影面进行交互时,景深模组根据测量得到的景深模组的投影面上的各投影点到景深模组的距离生成背景图像。当用户手部与投影模组投放到平面物体上的投影面进行交互时,景深模组根据测量得到的景深模组的投影面上的各投影点到景深模组的距离生成实景图像。将用户手部未与投影面进行交互时背景图像中各点对应的距离,与用户手部与投影面进行交互时实景图像中各点对应的距离进行相减,得到深度图像。根据深度阈值范围,从深度图像中确定出位于深度阈值范围内的点,这些点组成了用户手体对应的图像区域。
现有技术中,深度阈值范围一般为[0mm,30mm]。利用[0mm,30mm]的深度阈值范围确定用户手指位置信息时,会存在下面的问题。参见图2,假设手指肚厚度大约为10mm,那么用户手部在与投影模组投放到平面物体上的投影面进行交互时,若用户手指部分距离桌面20mm时,即使用户没有触碰到投影面,系统也会默认用户触发点击操作。这种触发点击操作若是对投影面中心区域而言,一般不会是误触发操作,因为用户在进行与投影面的交互操作时,用户手指的运动方向一般是逐渐靠近用户想要触碰的投影面上的点击位置,利用景深模组采集到的用户手指部分距离桌面20mm时刻对应的景深图像,确定出的用户的手指位置信息,基本与用户想要触碰的投影面上的点击位置相同。若是对投影面的边缘区域而言,一般为误触发操作,这是由于用户在完成与投影面的交互操作后,用户通常将手部移动到靠近投影面边缘区域的非交互区域范围,在移动过程中,当用户手指部分距离桌面20mm时,系统就会默认用户触发点击操作。尤其是当在投影面的边缘区域位置存在一些交互按钮(例如,确认按钮,切换模式按钮等等)时,上述误触发操作的可能性就会更大。
发明内容
本发明的一个目的是提供一种用户手指位置信息的确定方法的新技术方案。
根据本发明的第一方面,提供了一种用户手指位置信息的确定方法,包括:
对实时景深图像和背景图像进行处理,生成第一深度图像,其中,所述第一景深图像为所述实时景深图像记录的投影点到景深模组的距离和所述背景图像记录的投影点到所述景深模组的距离相减处理后得到的图像;
根据第一深度阈值范围,从所述第一深度图像中确定包含有用户手指的图像区域;
根据所述包含有用户手指的图像区域,确定用户手指位于的预设区域,其中,所述预设区域包括第一区域和第二区域,所述第一区域为投影模组投放到平面物体上的投影面的边缘区域,所述第二区域为所述投影模组投放到平面物体上的投影面除去所述边缘区域后的区域;
在所述用户手指位于所述第一区域时,根据第二深度阈值范围,从所述第一区域中判断是否检测到包含有用户手指的图像区域,其中,所述第二深度阈值范围中的各深度值位于所述第一深度阈值范围内;
在判断结果为是时,利用从所述第一区域中确定出的包含有用户手指的图像区域,确定用户手指位置信息。
可选地,所述实时景深图像为在用户手部与投影模组投放到平面物体上的投影面交互时,根据景深模组投放的投影面上的各投影点到所述景深模组的距离生成的图像,
所述背景图像为在用户手部未与所述投影模组投放的投影面交互时,根据所述景深模组投放的投影面上的各投影点到所述景深模组的距离生成的图像,
其中,所述景深模组投放的投影面覆盖所述投影模组投放的投影面。
可选地,所述方法还包括:在所述用户手指位于所述第二区域时,利用从所述第一深度图像中确定包含有手指的图像区域,确定用户手指位置信息。
可选地,在利用从所述第一区域中确定出的包含有用户手指的图像区域,确定用户手指位置信息之前,所述方法还包括:
获取预定帧数的景深图像,其中,所述预定帧数的景深图像为所述实时景深图像之后对应的景深图像;
分别对所述预定帧数的景深图像和背景图像进行处理,生成多个第二深度图像;
在各第二深度图像的第一区域中,根据所述第二深度阈值范围,均确定包含有用户手指的图像区域时,确定用户触发与所述投影模组投放的投影面的交互操作。
可选地,利用从所述第一区域中确定出的包含有手指的图像区域,确定用户手指位置信息,包括:
在所述第一区域中设立二维坐标系;
确定所述包含有手指的图像区域中各点的x轴坐标值和y轴坐标值;
确定所述各点的x轴坐标值的均值和y轴坐标值的均值,并将所述各点的x轴坐标值的均值和y轴坐标值的均值作为用户手指位置信息。
可选地,所述第一深度阈值范围为0~30mm,所述第二深度阈值范围为0~10mm。
根据本发明的第二方面,提供了一种用户手指位置信息的确定装置,包括:
第一深度图像生成模块,用于对实时景深图像和背景图像进行处理,生成第一深度图像,其中,所述第一景深图像为所述实时景深图像记录的投影点到景深模组的距离和所述背景图像记录的投影点到所述景深模组的距离相减处理后得到的图像;
第一图像区域确定模块,用于根据第一深度阈值范围,从所述第一深度图像中确定包含有用户手指的图像区域;
预设区域确定模块,用于根据所述包含有用户手指的图像区域,确定用户手指位于的预设区域,其中,所述预设区域包括第一区域和第二区域,所述第一区域为投影模组投放到平面物体上的投影面的边缘区域,所述第二区域为所述投影模组投放到平面物体上的投影面除去所述边缘区域后的区域;
第二图像区域确定模块,用于在所述用户手指位于所述第一区域时,根据第二深度阈值范围,从所述第一区域中判断是否检测到包含有用户手指的图像区域,其中,所述第二深度阈值范围中的各深度值位于所述第一深度阈值范围内;
位置信息确定模块,用于在判断结果为是时,利用从所述第一区域中确定出的包含有用户手指的图像区域,确定用户手指位置信息。
根据本发明的第三方面,提供了一种用户手指位置信息的确定装置,包括存储器和处理器,所述存储器用于存储指令,所述指令用于控制所述处理器进行操作以执行根据上述任一项所述的用户手指位置信息的确定方法。
根据本发明的第四方面,提供了一种投影仪,包括:投影模组、景深模组和如上述任一所述的用户手指位置信息的确定装置。
根据本发明的第五方面,一种投影系统,其特征在于,包括:投影仪和终端设备,其中,所述投影仪与所述终端设备建立通信连接,所述投影仪包括投影模组和景深模组,所述终端设备包括如上述任一所述的用户手指位置信息的确定装置。
根据本发明的一个实施例,在确定用户手指位于第一区域时,根据第二深度阈值范围,从第一深度图像中第一区域判断是否检测到包含有用户手指的图像区域,若检测到,可确定用户触发点击投影模组投放的投影面的操作,解决了现有技术中误触发操作问题,提升了用户体验。
通过以下参照附图对本发明的示例性实施例的详细描述,本发明的其它特征及其优点将会变得清楚。
附图说明
被结合在说明书中并构成说明书的一部分的附图示出了本发明的实施例,并且连同其说明一起用于解释本发明的原理。
图1示出了现有技术中投影灯投放投影的示意图。
图2示出了根据本发明一个实施例的用户手指位置信息的确定方法的处理流程图。
图3示出了根据本发明一个实施例的第一区域和第二区域的示意图。
图4示出了根据本发明一个实施例的用户手指位置信息的确定方法的另一种处理流程图。
图5示出了根据本发明一个实施例的用户手指位置信息的确定装置的结构示意图。
图6示出了根据本发明一个实施例的用户手指位置信息的确定装置的另一种结构示意图。
图7示出了根据本发明一个实施例的投影系统的结构示意图。
具体实施方式
现在将参照附图来详细描述本发明的各种示例性实施例。应注意到:除非另外具体说明,否则在这些实施例中阐述的部件和步骤的相对布置、数字表达式和数值不限制本发明的范围。
以下对至少一个示例性实施例的描述实际上仅仅是说明性的,决不作为对本发明及其应用或使用的任何限制。
对于相关领域普通技术人员已知的技术、方法和设备可能不作详细讨论,但在适当情况下,所述技术、方法和设备应当被视为说明书的一部分。
在这里示出和讨论的所有例子中,任何具体值应被解释为仅仅是示例性的,而不是作为限制。因此,示例性实施例的其它例子可以具有不同的值。
应注意到:相似的标号和字母在下面的附图中表示类似项,因此,一旦某一项在一个附图中被定义,则在随后的附图中不需要对其进行进一步讨论。
本发明的一个实施例提供了一种用户手指位置信息的确定方法。图2示出了根据本发明一个实施例的用户手指位置信息的确定方法的处理流程图。参见图2,该方法至少包括步骤S201至步骤S205。
步骤S201,对实时景深图像和背景图像进行处理,生成第一深度图像,其中,第一景深图像为实时景深图像记录的投影点到景深模组的距离和背景图像记录的投影点到景深模组的距离相减处理后得到的图像。
实时景深图像和背景图像均是由景深模组生成的。景深模组通过红外扫描的方式,测量得到景深模组的投影面上的各投影点到景深模组的距离。在用户手部未与投影模组投放到平面物体上的投影面交互时,景深模组的投影面上的各投影点均位于平面物体上。在用户手部与投影模组投放到平面物体上的投影面交互时,景深模组的投影面的各投影点一部分位于平面物体上,一部分位于用户手部上。
实时景深图像为在用户手部与投影模组投放到平面物体上的投影面交互时,根据景深模组投放的投影面上的各投影点到景深模组的距离生成的图像。背景图像为在用户手部未与投影模组投放的投影面交互时,根据景深模组投放的投影面上的各投影点到景深模组的距离生成的图像。景深模组投放的投影面覆盖投影模组投放的投影面,这样才能有效地捕捉到用户与投影模组投放的投影面的交互信息。
本发明的一个实施例中,景深模组生成的实时景深图像和背景图像为带有颜色的图像。实时景深图像和背景图像中各点显示的不同颜色代表景深模组的投影面上的各投影点到景深模组的不同距离。景深模组根据预设的投影点到景深模组的距离值与图像中点的颜色的对应关系,将测量得到的其投影面上的各投影点到景深模组的距离转化为带有相应颜色的点,然后再利用这些带有颜色的点生成实时景深图像或者背景图像。
本发明的一个实施例中,假设实时景深图像包括有i行、j列,相应地,实时景深图像共包含有i*j个点。同样,背景图像包括有i行、j列,相应地,背景图像共包含有i*j个点。以实时景深图像中的第1行、第2列对应的点和背景图像中第1行、第2列对应的点为例,对第一深度图像的生成进行说明。从预设的投影点到景深模组的距离值与图像中点的颜色的对应关系中,查询得到实时景深图像中的第1行、第2列对应的点代表的距离值和背景图像中的第1行、第2列对应的点代表的距离值,然后,对实时景深图像中第1行、第2列对应的点代表的距离值与背景图像中的第1行、第2列对应的点代表的距离值进行相减处理,得到一距离值,接着,从预设的投影点到景深模组的距离值与图像中点的颜色的对应关系中,查询得到该距离值对应的颜色,最后,将具有该颜色点作为深度图像中第1行、第2列对应的点。上述操作步骤中,仅仅对实时景深图像中的第1行、第2列对应的点和背景图像中第1行、第2列对应的点生成第一深度图像中第1行、第2列对应的点进行说明,第一深度图像中其他各点均可按照上述操作步骤生成。
步骤S202,根据第一深度阈值范围,从第一深度图像中确定包含有用户手指的图像区域。
本发明的一个实施例中,第一深度阈值范围为0~30mm。利用第一深度范围,从第一深度图像中查找到上述相减处理后得到的距离值位于第一深度阈值范围的点,这些点组成包含有用户手指的图像区域。
步骤S203,根据包含有用户手指的图像区域,确定用户手指位于的预设区域,其中,预设区域包括第一区域和第二区域,第一区域为投影模组投放到平面物体上的投影面的边缘区域,第二区域为投影模组投放到平面物体上的投影面除去边缘区域后的区域。
图3示出了根据本发明一个实施例的第一区域和第二区域的示意图。参见图3,第一区域为投影模组投放的投影面的边缘区域,该边缘区域包括四个区域,即包括有投影模组投放的投影面的左边界的边缘区域、包括有投影模组投放的投影面的右边界的边缘区域、包括有投影模组投放的投影面的上边界的边缘区域、包括有投影模组投放的投影面的下边界的边缘区域。第二区域为位于投影模组投放的投影面中心部位的区域。
上述步骤S202确定出的包含有用户手指的图像区域可能位于第一区域,也可能位于第二区域。
步骤S204,在用户手指位于第一区域时,根据第二深度阈值范围,从第一区域中判断是否检测到包含有手指的图像区域,其中,第二深度阈值范围中的各深度值位于第一深度阈值范围内。
当用户手指位于第一区域时,为了避免现有技术中出现的误触发操作的问题,对第一深度图像中第一区域进行进一步处理,即根据第二深度阈值范围,从第一区域中判断是否检测到包含有手指的图像区域。若判断结果为是时,可确定用户手指处于触碰投影模组投放的投影面的状态,即确定用户触发点击投影模组投放的投影面的操作。
本发明的一个实施例中,第二深度阈值范围为0~10mm。这是由于用户手指的厚度约为10mm,当用户手指触碰投影模组投放的投影面时,根据景深模组生成的景深图像和背景图像确定出的深度图像中,用户手指对应的图像区域中各点的距离值位于第二深度阈值范围0~10mm内。
本发明的一个实施例中,当用户手指位于第二区域时,可确定用户触发点击投影模组投放的投影面的操作,此时,利用从第一深度图像中确定包含有手指的图像区域,确定用户手指位置信息。例如,在第一深度图像中设立二维坐标系,首先,利用该二维坐标系,确定包含有手指的图像区域中各点的x轴坐标值和y轴坐标值,然后,计算得到各点的x轴坐标值的均值和各点的y轴坐标值的均值,将各点的x轴坐标值的均值和y轴坐标值的均值作为用户手指位置信息。
步骤S205,在判断结果为是时,利用从第一区域中确定出的包含有手指的图像区域,确定用户手指位置信息。
本发明的一个实施例中,在第一区域中设立二维坐标系,首先,利用该二维坐标系,确定包含有手指的图像区域中各点的x轴坐标值和y轴坐标值,然后,计算得到各点的x轴坐标值的均值和各点的y轴坐标值的均值,将各点的x轴坐标值的均值和y轴坐标值的均值作为用户手指位置信息。
在步骤S204的判断结果为是时,为了进一步确定用户触碰投影模组投放的投影面的操作非误触发操作时,本发明的一个实施例中,首先,获取预定帧数的景深图像,其中,该预定帧数的景深图像为实时景深图像之后对应的景深图像。然后,分别对预定帧数的景深图像和背景图像进行处理,生成多个第二深度图像,第二深度图像的生成方式与上述第一深度图像的生成方式相同,此处不做过多赘述。接着,利用上述步骤S202和步骤S203涉及的操作,对各第二深度图像进行处理。在各第二深度图像的第一区域中,根据上述第二深度阈值范围,均确定包含有用户手指的图像区域时,确定用户触发与投影模组投放的投影面的交互操作。本发明实施例涉及的预定帧数可为3帧、5帧、7帧等等,对此,本发明并不做出限定。
下面以一个具体实施例,对本发明提供的用户手指位置信息的确定方法进行说明。参见图4,该方法至少包括以下步骤。
步骤S401,获取实时景深图像,对实时景深图像和背景图像进行处理,生成第一深度图像。
步骤S402,根据第一深度阈值范围0~30mm,从第一深度图像中确定包含有用户手指的图像区域。
步骤S403,判断包含有用户手指的图像区域是位于第一区域,还是第二区域。
当包含有用户手指的图像区域是位于第二区域时,执行步骤S404,利用从第一深度图像中确定包含有手指的图像区域,确定用户手指位置信息。
当包含有用户手指的图像区域是位于第一区域时,执行步骤S405,根据第二深度阈值范围0~10mm,从第一区域中判断是否检测到包含有用户手指的图像区域。
若从第一区域中检测到包含有用户手指的图像区域,执行步骤S406,获取预定帧数的景深图像,其中,该预定帧数的景深图像为实时景深图像之后对应的景深图像。
步骤S407,分别对预定帧数的景深图像和背景图像进行处理,生成多个第二深度图像。
步骤S408,在各第二深度图像的第一区域中,根据第二深度阈值范围,均确定包含有用户手指的图像区域时,确定用户触发与投影模组投放的投影面的交互操作。
步骤S409,利用从第一区域中确定出的包含有用户手指的图像区域,确定用户手指位置信息。
基于同一发明构思,本发明提供了一种用户手指位置信息的确定装置。图5示出了根据本发明一个实施例的用户手指位置信息的确定装置的结构示意图。参见图5,该装置至少包括:第一深度图像生成模块510,用于对实时景深图像和背景图像进行处理,生成第一深度图像,其中,第一景深图像为实时景深图像记录的投影点到景深模组的距离和背景图像记录的投影点到景深模组的距离相减处理后得到的图像;第一图像区域确定模块520,用于根据第一深度阈值范围,从第一深度图像中确定包含有用户手指的图像区域;预设区域确定模块530,用于根据包含有用户手指的图像区域,确定用户手指位于的预设区域,其中,预设区域包括第一区域和第二区域,第一区域为投影模组投放到平面物体上的投影面的边缘区域,第二区域为投影模组投放到平面物体上的投影面除去边缘区域后的区域;第二图像区域确定模块540,用于在用户手指位于第一区域时,根据第二深度阈值范围,从第一区域中判断是否检测到包含有用户手指的图像区域,其中,第二深度阈值范围中的各深度值位于第一深度阈值范围内;位置信息确定模块550,用于在判断结果为是时,利用从第一区域中确定出的包含有用户手指的图像区域,确定用户手指位置信息。
图6示出了根据本发明一个实施例的用户手指位置信息的确定装置的另一种结构示意图。参见图6,该用户手指位置信息的确定装置至少包括存储器620和处理器610。存储器620用于存储指令,该指令用于控制处理器610进行操作以执行根据上述本发明任一实施例提供的用户手指位置信息的确定方法。
基于同一发明构思,本发明提供了一种投影仪。该投影仪至少包括:投影模组景深模组和上述本发明任一实施例提供的用户手指位置信息的确定装置。
基于同一发明构思,本发明提供了一种投影系统。图7示出了根据本发明一个实施例的投影系统的结构示意图。参见图7,投影系统包括投影仪700和终端设备800。投影仪700与终端设备800建立通信连接。投影仪700包括投影模组710和景深模组720。终端设备800包括上述本发明任一实施例提供的用户手指位置信息的确定装置810。
本发明可以是系统、方法和/或计算机程序产品。计算机程序产品可以包括计算机可读存储介质,其上载有用于使处理器实现本发明的各个方面的计算机可读程序指令。
计算机可读存储介质可以是可以保持和存储由指令执行设备使用的指令的有形设备。计算机可读存储介质例如可以是――但不限于――电存储设备、磁存储设备、光存储设备、电磁存储设备、半导体存储设备或者上述的任意合适的组合。计算机可读存储介质的更具体的例子(非穷举的列表)包括:便携式计算机盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、静态随机存取存储器(SRAM)、便携式压缩盘只读存储器(CD-ROM)、数字多功能盘(DVD)、记忆棒、软盘、机械编码设备、例如其上存储有指令的打孔卡或凹槽内凸起结构、以及上述的任意合适的组合。这里所使用的计算机可读存储介质不被解释为瞬时信号本身,诸如无线电波或者其他自由传播的电磁波、通过波导或其他传输媒介传播的电磁波(例如,通过光纤电缆的光脉冲)、或者通过电线传输的电信号。
这里所描述的计算机可读程序指令可以从计算机可读存储介质下载到各个计算/处理设备,或者通过网络、例如因特网、局域网、广域网和/或无线网下载到外部计算机或外部存储设备。网络可以包括铜传输电缆、光纤传输、无线传输、路由器、防火墙、交换机、网关计算机和/或边缘服务器。每个计算/处理设备中的网络适配卡或者网络接口从网络接收计算机可读程序指令,并转发该计算机可读程序指令,以供存储在各个计算/处理设备中的计算机可读存储介质中。
用于执行本发明操作的计算机程序指令可以是汇编指令、指令集架构(ISA)指令、机器指令、机器相关指令、微代码、固件指令、状态设置数据、或者以一种或多种编程语言的任意组合编写的源代码或目标代码,编程语言包括面向对象的编程语言—诸如Smalltalk、C++等,以及常规的过程式编程语言—诸如“C”语言或类似的编程语言。计算机可读程序指令可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中,远程计算机可以通过任意种类的网络—包括局域网(LAN)或广域网(WAN)—连接到用户计算机,或者,可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。在一些实施例中,通过利用计算机可读程序指令的状态信息来个性化定制电子电路,例如可编程逻辑电路、现场可编程门阵列(FPGA)或可编程逻辑阵列(PLA),该电子电路可以执行计算机可读程序指令,从而实现本发明的各个方面。
这里参照根据本发明实施例的方法、装置(系统)和计算机程序产品的流程图和/或框图描述了本发明的各个方面。应当理解,流程图和/或框图的每个方框以及流程图和/或框图中各方框的组合,都可以由计算机可读程序指令实现。
这些计算机可读程序指令可以提供给通用计算机、专用计算机或其它可编程数据处理装置的处理器,从而生产出一种机器,使得这些指令在通过计算机或其它可编程数据处理装置的处理器执行时,产生了实现流程图和/或框图中的一个或多个方框中规定的功能/动作的装置。也可以把这些计算机可读程序指令存储在计算机可读存储介质中,这些指令使得计算机、可编程数据处理装置和/或其他设备以特定方式工作,从而,存储有指令的计算机可读介质则包括一个制造品,其包括实现流程图和/或框图中的一个或多个方框中规定的功能/动作的各个方面的指令。
也可以把计算机可读程序指令加载到计算机、其它可编程数据处理装置、或其它设备上,使得在计算机、其它可编程数据处理装置或其它设备上执行一系列操作步骤,以产生计算机实现的过程,从而使得在计算机、其它可编程数据处理装置、或其它设备上执行的指令实现流程图和/或框图中的一个或多个方框中规定的功能/动作。
附图中的流程图和框图显示了根据本发明的多个实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上,流程图或框图中的每个方框可以代表一个模块、程序段或指令的一部分,模块、程序段或指令的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。在有些作为替换的实现中,方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如,两个连续的方框实际上可以基本并行地执行,它们有时也可以按相反的顺序执行,这依所涉及的功能而定。也要注意的是,框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合,可以用执行规定的功能或动作的专用的基于硬件的系统来实现,或者可以用专用硬件与计算机指令的组合来实现。对于本领域技术人员来说公知的是,通过硬件方式实现、通过软件方式实现以及通过软件和硬件结合的方式实现都是等价的。
以上已经描述了本发明的各实施例,上述说明是示例性的,并非穷尽性的,并且也不限于所披露的各实施例。在不偏离所说明的各实施例的范围和精神的情况下,对于本技术领域的普通技术人员来说许多修改和变更都是显而易见的。本文中所用术语的选择,旨在最好地解释各实施例的原理、实际应用或对市场中的技术改进,或者使本技术领域的其它普通技术人员能理解本文披露的各实施例。本发明的范围由所附权利要求来限定。

Claims (10)

1.一种用户手指位置信息的确定方法,其特征在于,包括:
对实时景深图像和背景图像进行处理,生成第一深度图像,其中,所述第一景深图像为所述实时景深图像记录的投影点到景深模组的距离和所述背景图像记录的投影点到所述景深模组的距离相减处理后得到的图像;
根据第一深度阈值范围,从所述第一深度图像中确定包含有用户手指的图像区域;
根据所述包含有用户手指的图像区域,确定用户手指位于的预设区域,其中,所述预设区域包括第一区域和第二区域,所述第一区域为投影模组投放到平面物体上的投影面的边缘区域,所述第二区域为所述投影模组投放到平面物体上的投影面除去所述边缘区域后的区域;
在所述用户手指位于所述第一区域时,根据第二深度阈值范围,从所述第一区域中判断是否检测到包含有用户手指的图像区域,其中,所述第二深度阈值范围中的各深度值位于所述第一深度阈值范围内;
在判断结果为是时,利用从所述第一区域中确定出的包含有用户手指的图像区域,确定用户手指位置信息。
2.根据权利要求1所述的方法,其特征在于,所述实时景深图像为在用户手部与投影模组投放到平面物体上的投影面交互时,根据景深模组投放的投影面上的各投影点到所述景深模组的距离生成的图像,
所述背景图像为在用户手部未与所述投影模组投放的投影面交互时,根据所述景深模组投放的投影面上的各投影点到所述景深模组的距离生成的图像,
其中,所述景深模组投放的投影面覆盖所述投影模组投放的投影面。
3.根据权利要求1所述的方法,其特征在于,所述方法还包括:在所述用户手指位于所述第二区域时,利用从所述第一深度图像中确定包含有手指的图像区域,确定用户手指位置信息。
4.根据权利要求1所述的方法,其特征在于,在利用从所述第一区域中确定出的包含有用户手指的图像区域,确定用户手指位置信息之前,所述方法还包括:
获取预定帧数的景深图像,其中,所述预定帧数的景深图像为所述实时景深图像之后对应的景深图像;
分别对所述预定帧数的景深图像和背景图像进行处理,生成多个第二深度图像;
在各第二深度图像的第一区域中,根据所述第二深度阈值范围,均确定包含有用户手指的图像区域时,确定用户触发与所述投影模组投放的投影面的交互操作。
5.根据权利要求1-4中任一所述的方法,其特征在于,
利用从所述第一区域中确定出的包含有手指的图像区域,确定用户手指位置信息,包括:
在所述第一区域中设立二维坐标系;
确定所述包含有手指的图像区域中各点的x轴坐标值和y轴坐标值;
确定所述各点的x轴坐标值的均值和y轴坐标值的均值,并将所述各点的x轴坐标值的均值和y轴坐标值的均值作为用户手指位置信息。
6.根据权利要求5所述的方法,其特征在于,所述第一深度阈值范围为0~30mm,所述第二深度阈值范围为0~10mm。
7.一种用户手指位置信息的确定装置,其特征在于,包括:
第一深度图像生成模块,用于对实时景深图像和背景图像进行处理,生成第一深度图像,其中,所述第一景深图像为所述实时景深图像记录的投影点到景深模组的距离和所述背景图像记录的投影点到所述景深模组的距离相减处理后得到的图像;
第一图像区域确定模块,用于根据第一深度阈值范围,从所述第一深度图像中确定包含有用户手指的图像区域;
预设区域确定模块,用于根据所述包含有用户手指的图像区域,确定用户手指位于的预设区域,其中,所述预设区域包括第一区域和第二区域,所述第一区域为投影模组投放到平面物体上的投影面的边缘区域,所述第二区域为所述投影模组投放到平面物体上的投影面除去所述边缘区域后的区域;
第二图像区域确定模块,用于在所述用户手指位于所述第一区域时,根据第二深度阈值范围,从所述第一区域中判断是否检测到包含有用户手指的图像区域,其中,所述第二深度阈值范围中的各深度值位于所述第一深度阈值范围内;
位置信息确定模块,用于在判断结果为是时,利用从所述第一区域中确定出的包含有用户手指的图像区域,确定用户手指位置信息。
8.一种用户手指位置信息的确定装置,其特征在于,包括存储器和处理器,所述存储器用于存储指令,所述指令用于控制所述处理器进行操作以执行根据权利要求1至6中任一项所述的用户手指位置信息的确定方法。
9.一种投影仪,其特征在于,包括:投影模组、景深模组和如权利要求7或8所述的用户手指位置信息的确定装置。
10.一种投影系统,其特征在于,包括:投影仪和终端设备,其中,所述投影仪与所述终端设备建立通信连接,所述投影仪包括投影模组和景深模组,所述终端设备包括如权利要求7或8所述的用户手指位置信息的确定装置。
CN201711408637.4A 2017-12-22 2017-12-22 用户手指位置信息的确定方法及装置、投影仪、投影系统 Active CN108227919B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201711408637.4A CN108227919B (zh) 2017-12-22 2017-12-22 用户手指位置信息的确定方法及装置、投影仪、投影系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201711408637.4A CN108227919B (zh) 2017-12-22 2017-12-22 用户手指位置信息的确定方法及装置、投影仪、投影系统

Publications (2)

Publication Number Publication Date
CN108227919A true CN108227919A (zh) 2018-06-29
CN108227919B CN108227919B (zh) 2021-07-09

Family

ID=62647700

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201711408637.4A Active CN108227919B (zh) 2017-12-22 2017-12-22 用户手指位置信息的确定方法及装置、投影仪、投影系统

Country Status (1)

Country Link
CN (1) CN108227919B (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109660779A (zh) * 2018-12-20 2019-04-19 歌尔科技有限公司 基于投影的触控点定位方法、投影设备及存储介质
CN109683775A (zh) * 2018-12-12 2019-04-26 歌尔科技有限公司 基于投影的交互方法、投影设备及存储介质
CN110399068A (zh) * 2019-08-02 2019-11-01 北京小狗智能机器人技术有限公司 一种投影型设备的控制方法及装置

Citations (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102541360A (zh) * 2010-12-29 2012-07-04 樊天明 电脑输入操作控制技术
EP2521097A1 (en) * 2011-04-15 2012-11-07 Sony Computer Entertainment Europe Ltd. System and Method of Input Processing for Augmented Reality
CN103207709A (zh) * 2013-04-07 2013-07-17 布法罗机器人科技(苏州)有限公司 一种多点触摸系统及方法
CN103299259A (zh) * 2011-03-15 2013-09-11 株式会社尼康 检测装置、输入装置、投影机以及电子设备
CN103902088A (zh) * 2012-12-29 2014-07-02 上海天马微电子有限公司 一种触控显示装置及触控方法
CN104123529A (zh) * 2013-04-25 2014-10-29 株式会社理光 人手检测方法及系统
CN104137034A (zh) * 2011-11-30 2014-11-05 惠普发展公司,有限责任合伙企业 基于手势位置的输入模式
CN104460967A (zh) * 2013-11-25 2015-03-25 安徽寰智信息科技股份有限公司 一种人体上肢骨骼手势识别方法
CN104615321A (zh) * 2015-01-30 2015-05-13 深圳市中兴移动通信有限公司 移动终端及其显示装置
CN104615302A (zh) * 2015-01-30 2015-05-13 深圳市中兴移动通信有限公司 移动终端防误触控方法、装置及移动终端
CN104660900A (zh) * 2013-10-30 2015-05-27 株式会社摩如富 图像处理装置及图像处理方法
CN105468189A (zh) * 2014-09-29 2016-04-06 佳能株式会社 识别多点触摸操作的信息处理装置及其控制方法
US20160259402A1 (en) * 2015-03-02 2016-09-08 Koji Masuda Contact detection apparatus, projector apparatus, electronic board apparatus, digital signage apparatus, projector system, and contact detection method
CN106055153A (zh) * 2016-05-30 2016-10-26 努比亚技术有限公司 一种修正边缘交互操作的方法及移动终端
US20160314727A1 (en) * 2015-04-21 2016-10-27 Dell Products L.P. Information Handling System Projected Work Space Calibration
CN106484296A (zh) * 2016-10-09 2017-03-08 北京小米移动软件有限公司 移动终端防止误触的处理方法、装置及设备
CN106802741A (zh) * 2017-02-22 2017-06-06 北京小米移动软件有限公司 屏幕边缘触控事件的确定方法及装置和移动终端
CN106814901A (zh) * 2015-11-30 2017-06-09 小米科技有限责任公司 触控信号响应方法及装置
US20170336914A1 (en) * 2016-05-23 2017-11-23 Fujitsu Limited Terminal device with touchscreen panel
CN107390932A (zh) * 2017-07-27 2017-11-24 北京小米移动软件有限公司 边缘防误触方法及装置、计算机可读存储介质
WO2017210331A1 (en) * 2016-06-01 2017-12-07 Carnegie Mellon University Hybrid depth and infrared image sensing system and method for enhanced touch tracking on ordinary surfaces

Patent Citations (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102541360A (zh) * 2010-12-29 2012-07-04 樊天明 电脑输入操作控制技术
CN103299259A (zh) * 2011-03-15 2013-09-11 株式会社尼康 检测装置、输入装置、投影机以及电子设备
EP2521097A1 (en) * 2011-04-15 2012-11-07 Sony Computer Entertainment Europe Ltd. System and Method of Input Processing for Augmented Reality
CN104137034A (zh) * 2011-11-30 2014-11-05 惠普发展公司,有限责任合伙企业 基于手势位置的输入模式
CN103902088A (zh) * 2012-12-29 2014-07-02 上海天马微电子有限公司 一种触控显示装置及触控方法
CN103207709A (zh) * 2013-04-07 2013-07-17 布法罗机器人科技(苏州)有限公司 一种多点触摸系统及方法
CN104123529A (zh) * 2013-04-25 2014-10-29 株式会社理光 人手检测方法及系统
CN104660900A (zh) * 2013-10-30 2015-05-27 株式会社摩如富 图像处理装置及图像处理方法
CN104460967A (zh) * 2013-11-25 2015-03-25 安徽寰智信息科技股份有限公司 一种人体上肢骨骼手势识别方法
CN105468189A (zh) * 2014-09-29 2016-04-06 佳能株式会社 识别多点触摸操作的信息处理装置及其控制方法
CN104615321A (zh) * 2015-01-30 2015-05-13 深圳市中兴移动通信有限公司 移动终端及其显示装置
CN104615302A (zh) * 2015-01-30 2015-05-13 深圳市中兴移动通信有限公司 移动终端防误触控方法、装置及移动终端
US20160259402A1 (en) * 2015-03-02 2016-09-08 Koji Masuda Contact detection apparatus, projector apparatus, electronic board apparatus, digital signage apparatus, projector system, and contact detection method
US20160314727A1 (en) * 2015-04-21 2016-10-27 Dell Products L.P. Information Handling System Projected Work Space Calibration
CN106814901A (zh) * 2015-11-30 2017-06-09 小米科技有限责任公司 触控信号响应方法及装置
US20170336914A1 (en) * 2016-05-23 2017-11-23 Fujitsu Limited Terminal device with touchscreen panel
CN106055153A (zh) * 2016-05-30 2016-10-26 努比亚技术有限公司 一种修正边缘交互操作的方法及移动终端
WO2017210331A1 (en) * 2016-06-01 2017-12-07 Carnegie Mellon University Hybrid depth and infrared image sensing system and method for enhanced touch tracking on ordinary surfaces
CN106484296A (zh) * 2016-10-09 2017-03-08 北京小米移动软件有限公司 移动终端防止误触的处理方法、装置及设备
CN106802741A (zh) * 2017-02-22 2017-06-06 北京小米移动软件有限公司 屏幕边缘触控事件的确定方法及装置和移动终端
CN107390932A (zh) * 2017-07-27 2017-11-24 北京小米移动软件有限公司 边缘防误触方法及装置、计算机可读存储介质

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
JUN HU等: "Bare-fingers Touch Detection by the Button"s Distortion in a Projector–Camera System", 《 IEEE TRANSACTIONS ON CIRCUITS AND SYSTEMS FOR VIDEO TECHNOLOGY》 *
TSUYOSHI FURUKAWA等: "Encountered-type Visual Haptic Display Using Flexible Sheet", 《PROCEEDINGS 2007 IEEE INTERNATIONAL CONFERENCE ON ROBOTICS AND AUTOMATION》 *
王群: "基于指尖定位的投影交互系统", 《中国优秀硕士学位论文全文数据库 信息科技辑》 *
陈琪: "基于指尖追踪的智能终端手指鼠标安全认证系统", 《中国优秀硕士学位论文全文数据库 信息科技辑》 *

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109683775A (zh) * 2018-12-12 2019-04-26 歌尔科技有限公司 基于投影的交互方法、投影设备及存储介质
CN109683775B (zh) * 2018-12-12 2021-07-06 歌尔科技有限公司 基于投影的交互方法、投影设备及存储介质
CN109660779A (zh) * 2018-12-20 2019-04-19 歌尔科技有限公司 基于投影的触控点定位方法、投影设备及存储介质
CN110399068A (zh) * 2019-08-02 2019-11-01 北京小狗智能机器人技术有限公司 一种投影型设备的控制方法及装置

Also Published As

Publication number Publication date
CN108227919B (zh) 2021-07-09

Similar Documents

Publication Publication Date Title
CN108227919A (zh) 用户手指位置信息的确定方法及装置、投影仪、投影系统
CN110109598A (zh) 一种动画交互实现方法、装置及电子设备
AU2010366331B2 (en) User interface, apparatus and method for gesture recognition
WO2018192394A1 (zh) 虚拟现实场景的交互方法和装置、存储介质及电子装置
CN105373253B (zh) 一种触摸式按键的温度补偿方法及装置
CN105893989A (zh) 用于超声波指纹识别的动态校准方法、装置及电子设备
JP2016532172A (ja) インタフェースコンテンツを表示するための方法およびユーザ装置
US9733764B2 (en) Tracking of objects using pre-touch localization on a reflective surface
US9740398B2 (en) Detecting input based on multiple gestures
CN107798700A (zh) 用户手指位置信息的确定方法及装置、投影仪、投影系统
JPWO2017204120A1 (ja) 画像処理装置、画像処理方法およびプログラム
CN109806591A (zh) 游戏场景中的签名生成方法及装置
CN107743219B (zh) 用户手指位置信息的确定方法及装置、投影仪、投影系统
Scargill et al. Here to stay: Measuring hologram stability in markerless smartphone augmented reality
CN105867798A (zh) 触摸屏录屏方法及装置
US20170147142A1 (en) Dynamic image compensation for pre-touch localization on a reflective surface
CN113220210A (zh) 操作的识别方法、装置、电子设备及计算机可读介质
CN108170275A (zh) 虚拟现实设备外接设备的输入信息的处理方法及装置
CN111068309B (zh) 虚拟现实游戏的显示控制方法、装置、设备、系统及介质
CN108874141B (zh) 一种体感浏览方法和装置
CN107818584A (zh) 用户手指位置信息的确定方法及装置、投影仪、投影系统
CN108921129B (zh) 图像处理方法、系统、介质和电子设备
CN106774833A (zh) 虚拟现实交互方法及装置
CN108255351B (zh) 用户手指位置信息的确定方法及装置、投影仪、投影系统
CN114860069A (zh) 智能眼镜控制智能设备的方法及智能眼镜和存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant