CN108255351B - 用户手指位置信息的确定方法及装置、投影仪、投影系统 - Google Patents

用户手指位置信息的确定方法及装置、投影仪、投影系统 Download PDF

Info

Publication number
CN108255351B
CN108255351B CN201711407410.8A CN201711407410A CN108255351B CN 108255351 B CN108255351 B CN 108255351B CN 201711407410 A CN201711407410 A CN 201711407410A CN 108255351 B CN108255351 B CN 108255351B
Authority
CN
China
Prior art keywords
depth
image
finger
user
depth image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201711407410.8A
Other languages
English (en)
Other versions
CN108255351A (zh
Inventor
陈维亮
李加云
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Weifang Goertek Electronics Co Ltd
Original Assignee
Weifang Goertek Electronics Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Weifang Goertek Electronics Co Ltd filed Critical Weifang Goertek Electronics Co Ltd
Priority to CN201711407410.8A priority Critical patent/CN108255351B/zh
Publication of CN108255351A publication Critical patent/CN108255351A/zh
Application granted granted Critical
Publication of CN108255351B publication Critical patent/CN108255351B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/042—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means
    • G06F3/0425—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means using a single imaging device like a video camera for tracking the absolute position of a single or a plurality of objects with respect to an imaged reference surface, e.g. video camera imaging a display or a projection screen, a table or a wall surface, on which a computer generated image is displayed or projected
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B21/00—Projectors or projection-type viewers; Accessories therefor
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/12—Picture reproducers
    • H04N9/31—Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/041—Indexing scheme relating to G06F3/041 - G06F3/045
    • G06F2203/04108—Touchless 2D- digitiser, i.e. digitiser detecting the X/Y position of the input means, finger or stylus, also when it does not touch, but is proximate to the digitiser's interaction surface without distance measurement in the Z direction

Abstract

本发明公开了一种用户手指位置信息的确定方法及装置、投影仪、投影系统，该方法包括：对第一景深图像和背景图像进行处理，生成第一深度图像；根据第一深度阈值范围，从第一深度图像中判断是否检测到包含有手指的图像区域，得到第一判断结果；在第一判断结果为否时，根据第二深度阈值范围，从第一深度图像中判断是否检测到包含有手指的图像区域，得到第二判断结果；在第二判断结果为是时，利用第二景深图像和背景图像，生成第二深度图像；根据第一深度阈值范围，从第二深度图像中判断是否检测到包含有手指的图像区域，得到第三判断结果；在第三判断结果为否时，利用从第一深度图像中检测到的包含有手指的图像区域，确定用户手指位置信息。

Description

用户手指位置信息的确定方法及装置、投影仪、投影系统
技术领域
本发明涉及投影仪技术领域，更具体地，涉及一种用户手指位置信息的确定方法及装置、投影仪、投影系统。
背景技术
投影仪是一种可以将图像或视频投射到幕布上的设备，可以通过不同的接口同计算机、VCD、DVD、游戏机、DV等相连接播放相应的视频信号。目前，交互式投影仪成为发展趋势。
交互式投影仪包括有投影模组和景深模组。投影模组用于将图像或视频投射到平面物体上。参见图1，投影模组为一投影灯，该投影灯安装在投影支架上，投影灯可投出一个投影区域。该投影可为游戏界面、网上购物界面或者餐厅菜单，用户可与该投影区域进行交互。景深模组也可在平面物体上形成投影面。景深模组用于测量景深模组投放的投影面的各投影点到景深模组的距离。景深模组利用各投影点到景深模组的距离可生成一个矩阵，该矩阵中每一个元素代表对应的投影点到景深模组的距离。
当用户手部未与投影模组投放到平面物体上的投影面进行交互时，景深模组根据测量得到的景深模组的投影面上的各投影点到景深模组的距离生成背景图像。当用户手部与投影模组投放到平面物体上的投影面进行交互时，景深模组根据测量得到的景深模组的投影面上的各投影点到景深模组的距离生成实景图像。将用户手部未与投影面进行交互时背景图像中各点对应的距离，与用户手部与投影面进行交互时实景图像中各点对应的距离进行相减，得到深度图像。通过该深度图像可以得到用户手部的信息，进而可以根据用户手部的信息执行后续的操作。
现有技术中，景深模组生成景深图像后，系统需要对该景深图像进行处理，以得到用户手指的位置信息，该过程会耗时一定时间，使得用户不能在触控投影模组投放的投影面时及时确认用户的点击位置信息，造成了延时问题，使得用户的体验感下降。
发明内容
本发明的一个目的是提供一种用户手指位置信息的确定方法的新技术方案。
根据本发明的第一方面，提供了一种用户手指位置信息的确定方法，其特征在于，包括：
对第一景深图像和背景图像进行处理，生成第一深度图像，其中，所述第一深度图像为所述第一景深图像记录的投影点到所述景深模组的距离和所述背景图像记录的投影点到所述景深模组的距离相减处理后得到的图像；
根据第一深度阈值范围，从所述第一深度图像中判断是否检测到包含有手指的图像区域，得到第一判断结果；
在所述第一判断结果为否时，根据第二深度阈值范围，从所述第一深度图像中判断是否检测到包含有手指的图像区域，得到第二判断结果，其中，所述第二深度阈值范围中的各深度值均大于所述第一深度阈值范围中的各深度值；
在所述第二判断结果为是时，利用第二景深图像和所述背景图像，生成第二深度图像，其中，所述第二景深图像为所述第一景深图像前一帧对应的景深图像；
根据所述第一深度阈值范围，从所述第二深度图像中判断是否检测到包含有手指的图像区域，得到第三判断结果；
在所述第三判断结果为否时，利用从所述第一深度图像中检测到的包含有手指的图像区域，确定用户手指位置信息。
可选地，所述第一景深图像为在用户手部与投影模组投放到平面物体上的投影面交互时，根据景深模组投放的投影面上的各投影点到所述景深模组的距离生成的图像，
所述背景图像为在用户手部未与所述投影模组投放的投影面交互时，根据所述景深模组投放的投影面上的各投影点到所述景深模组的距离生成的图像，
其中，所述景深模组投放的投影面覆盖所述投影模组投放的投影面。
可选地，在所述第三判断结果为否时，所述方法还包括：
根据所述第二深度阈值范围，从所述第二深度图像中判断是否检测到包含有手指的图像区域，得到第四判断结果；
在所述第四判断结果为否时，利用从所述第一深度图像中检测到的包含有手指的图像区域，确定用户手指位置信息。
可选地，所述方法还包括：
在所述第一判断结果为是时，利用从所述第一深度图像中检测到的包含有手指的图像区域，确定用户手指位置信息。
可选地，利用从所述第一深度图像中检测到的包含有手指的图像区域，确定用户手指位置信息，包括：
在所述第一深度图像中设立二维坐标系；
确定所述包含有手指的图像区域中各点的x轴坐标值和y轴坐标值；
确定所述各点的x轴坐标值的均值和y轴坐标值的均值，并将所述各点的x轴坐标值的均值和y轴坐标值的均值作为用户手指位置信息。
可选地，所述第一深度阈值范围为0～25mm，所述第二深度阈值范围为26～60mm。
根据本发明的第二方面，提供了一种用户手指位置信息的确定装置，包括：
第一深度图像生成模块，用于对第一景深图像和背景图像进行处理，生成第一深度图像，其中，所述第一深度图像为所述第一景深图像记录的投影点到所述景深模组的距离和所述背景图像记录的投影点到所述景深模组的距离相减处理后得到的图像；
第一判断结果生成模块，用于根据第一深度阈值范围，从所述第一深度图像中判断是否检测到包含有手指的图像区域，得到第一判断结果；
第二判断结果生成模块，用于在所述第一判断结果为否时，根据第二深度阈值范围，从所述第一深度图像中判断是否检测到包含有手指的图像区域，得到第二判断结果，其中，所述第二深度阈值范围中的各深度值均大于所述第一深度阈值范围中的各深度值；
第二深度图像生成模块，用于在所述第二判断结果为是时，利用第二景深图像和所述背景图像，生成第二深度图像，其中，所述第二景深图像为所述第一景深图像前一帧对应的景深图像；
第三判断结果生成模块，用于根据所述第一深度阈值范围，从所述第二深度图像中判断是否检测到包含有手指的图像区域，得到第三判断结果；
位置信息确定模块，用于在所述第三判断结果为否时，利用从所述第一深度图像中检测到的包含有手指的图像区域，确定用户手指位置信息。
根据本发明的第三方面，提供了一种用户手指位置信息的确定装置，包括存储器和处理器，所述存储器用于存储指令，所述指令用于控制所述处理器进行操作以执行根据上述任一项所述的用户手指位置信息的确定方法。
根据本发明的第四方面，提供了一种投影仪，包括：投影模组、景深模组和如上述任一所述的用户手指位置信息的确定装置。
根据本发明的第五方面，提供了一种投影系统，其特征在于，包括：投影仪和终端设备，其中，所述投影仪与所述终端设备建立通信连接，所述投影仪包括投影模组和景深模组，所述终端设备包括如上述任一所述的用户手指位置信息的确定装置。
根据本发明的一个实施例，通过本发明提供的用户手指位置信息的确定方法，可提前预测用户手指的位置信息，解决了现有技术中的延时问题，提升了用户的体验。
通过以下参照附图对本发明的示例性实施例的详细描述，本发明的其它特征及其优点将会变得清楚。
附图说明
被结合在说明书中并构成说明书的一部分的附图示出了本发明的实施例，并且连同其说明一起用于解释本发明的原理。
图1示出了现有技术中投影灯投放投影的示意图。
图2示出了根据本发明一个实施例的用户手指触控投影模组投放的投影面的运动轨迹示意图。
图3示出了根据本发明一个实施例的用户手指位置信息的确定方法的处理流程图。
图4示出了用户手指的另一种运动轨迹的示意图。
图5示出了根据本发明一个实施例的用户手指位置信息的确定装置的结构示意图。
图6示出了根据本发明一个实施例的用户手指位置信息的确定装置的另一种结构示意图。
图7示出了根据本发明一个实施例的投影系统的结构示意图。
具体实施方式
现在将参照附图来详细描述本发明的各种示例性实施例。应注意到：除非另外具体说明，否则在这些实施例中阐述的部件和步骤的相对布置、数字表达式和数值不限制本发明的范围。
以下对至少一个示例性实施例的描述实际上仅仅是说明性的，决不作为对本发明及其应用或使用的任何限制。
对于相关领域普通技术人员已知的技术、方法和设备可能不作详细讨论，但在适当情况下，所述技术、方法和设备应当被视为说明书的一部分。
在这里示出和讨论的所有例子中，任何具体值应被解释为仅仅是示例性的，而不是作为限制。因此，示例性实施例的其它例子可以具有不同的值。
应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步讨论。
图2示出了根据本发明一个实施例的用户手指触控投影模组投放的投影面的运动轨迹示意图。参见图2，用户在与投影模组投放的投影面进行交互时，用户手指的运动轨迹为1-2-3-4-5。本发明实施例提供的用户手指位置信息的确定方法，通过景深模组生成的、用户手指运动至图2示出的位置2时的景深图像，确定用户手指的位置信息，并将该位置信息作为用户与投影模组投放的投影面的交互位置信息，即通过提前预测用户手指的位置信息的方式，解决了现有技术中的延时问题。需要说明地是，理论上，通过景深模组生成的、用户手指运动至图2示出的位置3时的景深图像，确定出的用户手指位置信息更加准确，但是，由于根据用户手指运动至图2示出的位置2时的景深图像确定出的用户手指的位置信息，与用户手指运动至图2示出的位置3时的景深图像确定出的用户手指位置信息基本一致，因此，可将据用户手指运动至图2示出的位置2时的景深图像确定出的用户手指的位置信息作为用户手指的位置信息，这样可以解决现有技术中的延时问题，提升了用户的体验。
本发明的一个实施例提供了一种用户手指位置信息的确定方法。图3示出了根据本发明一个实施例的用户手指位置信息的确定方法的处理流程图。参见图3，该方法至少包括步骤S301至步骤S306。
步骤S301，对第一景深图像和背景图像进行处理，生成第一深度图像，其中，第一深度图像为第一景深图像记录的投影点到景深模组的距离和背景图像记录的投影点到景深模组的距离相减处理后得到的图像。
第一景深图像和背景图像均是由景深模组生成的。景深模组通过红外扫描的方式，测量得到景深模组的投影面上的各投影点到景深模组的距离。在用户手部未与投影模组投放到平面物体上的投影面交互时，景深模组的投影面上的各投影点均位于平面物体上。在用户手部与投影模组投放到平面物体上的投影面交互时，景深模组的投影面的各投影点一部分位于平面物体上，一部分位于用户手部上。
第一景深图像为在用户手部与投影模组投放到平面物体上的投影面交互时，根据景深模组投放的投影面上的各投影点到景深模组的距离生成的图像。背景图像为在用户手部未与投影模组投放的投影面交互时，根据景深模组投放的投影面上的各投影点到景深模组的距离生成的图像。景深模组投放的投影面覆盖投影模组投放的投影面，这样才能有效地捕捉到用户与投影模组投放的投影面的交互信息。
本发明的一个实施例中，景深模组生成的第一景深图像和背景图像为带有颜色的图像。第一景深图像和背景图像中各点显示的不同颜色代表景深模组的投影面上的各投影点到景深模组的不同距离。景深模组根据预设的投影点到景深模组的距离值与图像中点的颜色的对应关系，将测量得到的其投影面上的各投影点到景深模组的距离转化为带有相应颜色的点，然后再利用这些带有颜色的点生成第一景深图像或者背景图像。
本发明的一个实施例中，假设第一景深图像包括有i行、j列，相应地，第一景深图像共包含有i*j个点。同样，背景图像包括有i行、j列，相应地，背景图像共包含有i*j个点。以第一景深图像中的第1行、第2列对应的点和背景图像中第1行、第2列对应的点为例，对第一深度图像的生成进行说明。从预设的投影点到景深模组的距离值与图像中点的颜色的对应关系中，查询得到第一景深图像中的第1行、第2列对应的点代表的距离值和背景图像中的第1行、第2列对应的点代表的距离值，然后，对第一景深图像中第1行、第2列对应的点代表的距离值与背景图像中的第1行、第2列对应的点代表的距离值进行相减处理，得到一距离值，接着，从预设的投影点到景深模组的距离值与图像中点的颜色的对应关系中，查询得到该距离值对应的颜色，最后，将具有该颜色点作为深度图像中第1行、第2列对应的点。上述操作步骤中，仅仅对第一景深图像中的第1行、第2列对应的点和背景图像中第1行、第2列对应的点生成第一深度图像中第1行、第2列对应的点进行说明，第一深度图像中其他各点均可按照上述操作步骤生成。
步骤S302，根据第一深度阈值范围，从第一深度图像中判断是否检测到包含有手指的图像区域，得到第一判断结果。
本发明的一个实施例中，第一深度阈值范围为0～25mm。利用第一深度阈值范围，可从第一深度图像中确定用户手指是否触碰到投影模组投放的投影面，即从第一深度图像中查找到上述相减处理后得到的距离值位于第一深度阈值范围的点。这些点可能为用户手指部分对应的点，还有可能为噪点。由于用户手指部分对应的点比较集中，可利用这些点的集中程度，从这些点中区分出哪些点为用户手指部分对应的点，哪些点为噪点。
当从第一深度图像中确定出用户手指部分对应的点，可确定用户手指运动至图2示出的位置3。当从第一深度图像中未能确定出用户手指部分对应的点，可确定用户手指未触碰到投影模组投放的投影面。
步骤S303，在第一判断结果为否时，根据第二深度阈值范围，从第一深度图像中判断是否检测到包含有手指的图像区域，得到第二判断结果，其中，第二深度阈值范围中的各深度值均大于第一深度阈值范围中的各深度值。
在第一判断结果为是时，可确定用户手指正处于触碰触碰到投影模组投放的投影面的状态，此时，利用从第一深度图像中检测到的包含有手指的图像区域，确定用户手指位置信息。
在第一判断结果为否时，可确定用户手指未触碰到投影模组投放的投影面。进一步地，从第一景深图像中，确定用户手指是否运动至图2示出的位置2或者位置4。具体地，利用第二深度阈值范围，判断是否从第一深度图像中检测到包含有手指的图像区域，得到第二判断结果。本发明的一个实施例中，第二深度阈值范围为26～60mm。若第二判断结果为是时，可确定用户手指运动至图2示出的位置2或者位置4。若第二判断结果为否时，可确定用户手指的当前状态并未处于图2示出的位置2或者位置4。
通过景深模组生成的、用户手指运动至图2示出的位置2时的景深图像，可提前预测用户手指的位置信息，而通过景深模组生成的、用户手指运动至图2示出的位置4时的景深图像，已是用户触碰投影模组投放的投影面之后景深模组生成的景深图像，不能实现提前预测用户手指的位置信息。下述步骤S304和步骤S305的目的是为了确定用户手指的当前状态是处于图2示出的位置2，还是处于图2示出的位置4。
步骤S304，在第二判断结果为是时，利用第二景深图像和背景图像，生成第二深度图像，其中，第二景深图像为第一景深图像前一帧对应的景深图像。
第二深度图像的生成方式与上述第一深度图像的生成方式相同，在此不做过多赘述。
步骤S305，根据第一深度阈值范围，从第二深度图像中判断是否检测到包含有手指的图像区域，得到第三判断结果。
当从第二深度图像中检测到包含有手指的图像区域时，可确定用户手指运动的当前状态处于图2示出的位置4。当从第二深度图像中未能检测到包含有手指的图像区域时，可确定用户手指的当前状态处于图2示出的位置2。
步骤S306，在第三判断结果为否时，利用从第一深度图像中检测到的包含有手指的图像区域，确定用户手指位置信息。
本发明的一个实施例中，在第一深度图像中设立二维坐标系，首先，利用该二维坐标系，确定包含有手指的图像区域中各点的x轴坐标值和y轴坐标值，然后，计算得到各点的x轴坐标值的均值和各点的y轴坐标值的均值，将各点的x轴坐标值的均值和y轴坐标值的均值作为用户手指位置信息。
需要说明地是，用户手指的运动轨迹可能会出现图4示出的平移状态的运动轨迹。当用户手指出现图4示出的运动轨迹时，用户手指并不是处于与投影模组投放的投影面进行交互的状态，此时，本发明的一个实施例中，在第三判断结果为否时，还对第二深度图像进行进一步判断，即根据第二深度阈值范围，从第二深度图像中判断是否检测到包含有手指的图像区域，得到第四判断结果。当第四判断结果为否时，可确定用户手指的运动轨迹并未出现图4示出的平移状态。当第四判断结果为是时，可确定用户手指的运动轨迹出现图4示出的平移状态。为了准确地判断出用户手指的运动轨迹是否出现图4示出的平移状态，还可获取第二景深图像前一帧对应的景深图像，利用第二景深图像前一帧对应的景深图像和背景图像，生成第三深度图像，然后，利用第二深度阈值范围，从第三深度图像中判断是否检测到包含有手指的图像区域。若从第三深度图像中检测到包含有手指的图像区域，可确定用户手指的运动轨迹处于图4示出的平移状态。
基于同一发明构思，本发明提供了一种用户手指位置信息的确定装置。图5示出了根据本发明一个实施例的用户手指位置信息的确定装置的结构示意图。参见图5，该装置至少包括：第一深度图像生成模块510，用于对第一景深图像和背景图像进行处理，生成第一深度图像，其中，第一深度图像为第一景深图像记录的投影点到景深模组的距离和背景图像记录的投影点到景深模组的距离相减处理后得到的图像；第一判断结果生成模块520，用于根据第一深度阈值范围，从第一深度图像中判断是否检测到包含有手指的图像区域，得到第一判断结果；第二判断结果生成模块530，用于在第一判断结果为否时，根据第二深度阈值范围，从第一深度图像中判断是否检测到包含有手指的图像区域，得到第二判断结果，其中，第二深度阈值范围中的各深度值均大于第一深度阈值范围中的各深度值；第二深度图像生成模块540，用于在第二判断结果为是时，利用第二景深图像和背景图像，生成第二深度图像，其中，第二景深图像为第一景深图像前一帧对应的景深图像；第三判断结果生成模块550，用于根据第一深度阈值范围，从第二深度图像中判断是否检测到包含有手指的图像区域，得到第三判断结果；位置信息确定模块560，用于在第三判断结果为否时，利用从第一深度图像中检测到的包含有手指的图像区域，确定用户手指位置信息。
图6示出了根据本发明一个实施例的用户手指位置信息的确定装置的另一种结构示意图。参见图6，该用户手指位置信息的确定装置至少包括存储器620和处理器610。存储器620用于存储指令，该指令用于控制处理器610进行操作以执行根据上述本发明任一实施例提供的用户手指位置信息的确定方法。
基于同一发明构思，本发明提供了一种投影仪。该投影仪至少包括：投影模组景深模组和上述本发明任一实施例提供的用户手指位置信息的确定装置。
基于同一发明构思，本发明提供了一种投影系统。图7示出了根据本发明一个实施例的投影系统的结构示意图。参见图7，投影系统包括投影仪700和终端设备800。投影仪700与终端设备800建立通信连接。投影仪700包括投影模组710和景深模组720。终端设备800包括上述本发明任一实施例提供的用户手指位置信息的确定装置810。
本发明可以是系统、方法和/或计算机程序产品。计算机程序产品可以包括计算机可读存储介质，其上载有用于使处理器实现本发明的各个方面的计算机可读程序指令。
计算机可读存储介质可以是可以保持和存储由指令执行设备使用的指令的有形设备。计算机可读存储介质例如可以是――但不限于――电存储设备、磁存储设备、光存储设备、电磁存储设备、半导体存储设备或者上述的任意合适的组合。计算机可读存储介质的更具体的例子(非穷举的列表)包括：便携式计算机盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、静态随机存取存储器(SRAM)、便携式压缩盘只读存储器(CD-ROM)、数字多功能盘(DVD)、记忆棒、软盘、机械编码设备、例如其上存储有指令的打孔卡或凹槽内凸起结构、以及上述的任意合适的组合。这里所使用的计算机可读存储介质不被解释为瞬时信号本身，诸如无线电波或者其他自由传播的电磁波、通过波导或其他传输媒介传播的电磁波(例如，通过光纤电缆的光脉冲)、或者通过电线传输的电信号。
这里所描述的计算机可读程序指令可以从计算机可读存储介质下载到各个计算/处理设备，或者通过网络、例如因特网、局域网、广域网和/或无线网下载到外部计算机或外部存储设备。网络可以包括铜传输电缆、光纤传输、无线传输、路由器、防火墙、交换机、网关计算机和/或边缘服务器。每个计算/处理设备中的网络适配卡或者网络接口从网络接收计算机可读程序指令，并转发该计算机可读程序指令，以供存储在各个计算/处理设备中的计算机可读存储介质中。
用于执行本发明操作的计算机程序指令可以是汇编指令、指令集架构(ISA)指令、机器指令、机器相关指令、微代码、固件指令、状态设置数据、或者以一种或多种编程语言的任意组合编写的源代码或目标代码，编程语言包括面向对象的编程语言—诸如Smalltalk、C++等，以及常规的过程式编程语言—诸如“C”语言或类似的编程语言。计算机可读程序指令可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中，远程计算机可以通过任意种类的网络—包括局域网(LAN)或广域网(WAN)—连接到用户计算机，或者，可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。在一些实施例中，通过利用计算机可读程序指令的状态信息来个性化定制电子电路，例如可编程逻辑电路、现场可编程门阵列(FPGA)或可编程逻辑阵列(PLA)，该电子电路可以执行计算机可读程序指令，从而实现本发明的各个方面。
这里参照根据本发明实施例的方法、装置(系统)和计算机程序产品的流程图和/或框图描述了本发明的各个方面。应当理解，流程图和/或框图的每个方框以及流程图和/或框图中各方框的组合，都可以由计算机可读程序指令实现。
这些计算机可读程序指令可以提供给通用计算机、专用计算机或其它可编程数据处理装置的处理器，从而生产出一种机器，使得这些指令在通过计算机或其它可编程数据处理装置的处理器执行时，产生了实现流程图和/或框图中的一个或多个方框中规定的功能/动作的装置。也可以把这些计算机可读程序指令存储在计算机可读存储介质中，这些指令使得计算机、可编程数据处理装置和/或其他设备以特定方式工作，从而，存储有指令的计算机可读介质则包括一个制造品，其包括实现流程图和/或框图中的一个或多个方框中规定的功能/动作的各个方面的指令。
也可以把计算机可读程序指令加载到计算机、其它可编程数据处理装置、或其它设备上，使得在计算机、其它可编程数据处理装置或其它设备上执行一系列操作步骤，以产生计算机实现的过程，从而使得在计算机、其它可编程数据处理装置、或其它设备上执行的指令实现流程图和/或框图中的一个或多个方框中规定的功能/动作。
附图中的流程图和框图显示了根据本发明的多个实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段或指令的一部分，模块、程序段或指令的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个连续的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或动作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。对于本领域技术人员来说公知的是，通过硬件方式实现、通过软件方式实现以及通过软件和硬件结合的方式实现都是等价的。
以上已经描述了本发明的各实施例，上述说明是示例性的，并非穷尽性的，并且也不限于所披露的各实施例。在不偏离所说明的各实施例的范围和精神的情况下，对于本技术领域的普通技术人员来说许多修改和变更都是显而易见的。本文中所用术语的选择，旨在最好地解释各实施例的原理、实际应用或对市场中的技术改进，或者使本技术领域的其它普通技术人员能理解本文披露的各实施例。本发明的范围由所附权利要求来限定。

Claims (10)

1.一种用户手指位置信息的确定方法，其特征在于，包括：
对第一景深图像和背景图像进行处理，生成第一深度图像，其中，所述第一深度图像为所述第一景深图像记录的投影点到景深模组的距离和所述背景图像记录的投影点到所述景深模组的距离相减处理后得到的图像；
根据第一深度阈值范围，从所述第一深度图像中判断是否检测到包含有手指的图像区域，得到第一判断结果；
在所述第一判断结果为否时，根据第二深度阈值范围，从所述第一深度图像中判断是否检测到包含有手指的图像区域，得到第二判断结果，其中，所述第二深度阈值范围中的各深度值均大于所述第一深度阈值范围中的各深度值；
在所述第二判断结果为是时，利用第二景深图像和所述背景图像，生成第二深度图像，其中，所述第二景深图像为所述第一景深图像前一帧对应的景深图像；
根据所述第一深度阈值范围，从所述第二深度图像中判断是否检测到包含有手指的图像区域，得到第三判断结果；
在所述第三判断结果为否时，利用从所述第一深度图像中检测到的包含有手指的图像区域，确定用户手指位置信息。
2.根据权利要求1所述的方法，其特征在于，所述第一景深图像为在用户手部与投影模组投放到平面物体上的投影面交互时，根据景深模组投放的投影面上的各投影点到所述景深模组的距离生成的图像，
所述背景图像为在用户手部未与所述投影模组投放的投影面交互时，根据所述景深模组投放的投影面上的各投影点到所述景深模组的距离生成的图像，
其中，所述景深模组投放的投影面覆盖所述投影模组投放的投影面。
3.根据权利要求1所述的方法，其特征在于，在所述第三判断结果为否时，所述方法还包括：
根据所述第二深度阈值范围，从所述第二深度图像中判断是否检测到包含有手指的图像区域，得到第四判断结果；
在所述第四判断结果为否时，利用从所述第一深度图像中检测到的包含有手指的图像区域，确定用户手指位置信息。
4.根据权利要求1所述的方法，其特征在于，所述方法还包括：
在所述第一判断结果为是时，利用从所述第一深度图像中检测到的包含有手指的图像区域，确定用户手指位置信息。
5.根据权利要求1-4中任一所述的方法，其特征在于，利用从所述第一深度图像中检测到的包含有手指的图像区域，确定用户手指位置信息，包括：
在所述第一深度图像中设立二维坐标系；
确定所述包含有手指的图像区域中各点的x轴坐标值和y轴坐标值；
确定所述各点的x轴坐标值的均值和y轴坐标值的均值，并将所述各点的x轴坐标值的均值和y轴坐标值的均值作为用户手指位置信息。
6.根据权利要求5所述的方法，其特征在于，所述第一深度阈值范围为0～25mm，所述第二深度阈值范围为26～60mm。
7.一种用户手指位置信息的确定装置，其特征在于，包括：
第一深度图像生成模块，用于对第一景深图像和背景图像进行处理，生成第一深度图像，其中，所述第一深度图像为所述第一景深图像记录的投影点到景深模组的距离和所述背景图像记录的投影点到所述景深模组的距离相减处理后得到的图像；
第一判断结果生成模块，用于根据第一深度阈值范围，从所述第一深度图像中判断是否检测到包含有手指的图像区域，得到第一判断结果；
第二判断结果生成模块，用于在所述第一判断结果为否时，根据第二深度阈值范围，从所述第一深度图像中判断是否检测到包含有手指的图像区域，得到第二判断结果，其中，所述第二深度阈值范围中的各深度值均大于所述第一深度阈值范围中的各深度值；
第二深度图像生成模块，用于在所述第二判断结果为是时，利用第二景深图像和所述背景图像，生成第二深度图像，其中，所述第二景深图像为所述第一景深图像前一帧对应的景深图像；
第三判断结果生成模块，用于根据所述第一深度阈值范围，从所述第二深度图像中判断是否检测到包含有手指的图像区域，得到第三判断结果；
位置信息确定模块，用于在所述第三判断结果为否时，利用从所述第一深度图像中检测到的包含有手指的图像区域，确定用户手指位置信息。
8.一种用户手指位置信息的确定装置，其特征在于，包括存储器和处理器，所述存储器用于存储指令，所述指令用于控制所述处理器进行操作以执行根据权利要求1至6中任一项所述的用户手指位置信息的确定方法。
9.一种投影仪，其特征在于，包括：投影模组、景深模组和如权利要求7或8所述的用户手指位置信息的确定装置。
10.一种投影系统，其特征在于，包括：投影仪和终端设备，其中，所述投影仪与所述终端设备建立通信连接，所述投影仪包括投影模组和景深模组，所述终端设备包括如权利要求7或8所述的用户手指位置信息的确定装置。
CN201711407410.8A 2017-12-22 2017-12-22 用户手指位置信息的确定方法及装置、投影仪、投影系统 Active CN108255351B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201711407410.8A CN108255351B (zh) 2017-12-22 2017-12-22 用户手指位置信息的确定方法及装置、投影仪、投影系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201711407410.8A CN108255351B (zh) 2017-12-22 2017-12-22 用户手指位置信息的确定方法及装置、投影仪、投影系统

Publications (2)

Publication Number Publication Date
CN108255351A CN108255351A (zh) 2018-07-06
CN108255351B true CN108255351B (zh) 2019-08-20

Family

ID=62723583

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201711407410.8A Active CN108255351B (zh) 2017-12-22 2017-12-22 用户手指位置信息的确定方法及装置、投影仪、投影系统

Country Status (1)

Country Link
CN (1) CN108255351B (zh)

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6074170B2 (ja) * 2011-06-23 2017-02-01 インテル・コーポレーション 近距離動作のトラッキングのシステムおよび方法
CN102902355B (zh) * 2012-08-31 2015-12-02 中国科学院自动化研究所 移动设备的空间交互方法
CN103679641B (zh) * 2012-09-26 2016-12-21 株式会社理光 深度图像增强方法和装置
CN104765440B (zh) * 2014-01-02 2017-08-11 株式会社理光 手检测方法和设备
KR101511146B1 (ko) * 2014-07-29 2015-04-17 연세대학교 산학협력단 스마트 3차원 제스처 인식 장치 및 방법
CN104750397B (zh) * 2015-04-09 2018-06-15 重庆邮电大学 一种基于体感的虚拟矿井自然交互方法
CN107357414B (zh) * 2016-05-09 2020-01-14 株式会社理光 一种点击动作的识别方法及点击动作识别装置

Also Published As

Publication number Publication date
CN108255351A (zh) 2018-07-06

Similar Documents

Publication Publication Date Title
CN106547678B (zh) 用于白盒测试的方法和装置
US10511778B2 (en) Method and apparatus for push interaction
Williams et al. BIM2MAR: an efficient BIM translation to mobile augmented reality applications
CN104424649B (zh) 检测运动物体的方法和系统
JP6469706B2 (ja) 深度センサを用いた構造のモデル化
US8724887B2 (en) Environmental modifications to mitigate environmental factors
Zheng et al. Active scene understanding via online semantic reconstruction
CN102508578B (zh) 投影定位装置及方法、交互系统和交互方法
US9703371B1 (en) Obtaining input from a virtual user interface
CN106652006B (zh) 以实际大小观看在线产品
NZ581822A (en) Controlling robotic motion of camera by moving a handheld device with a display
WO2016166902A1 (en) Gesture interface
CN107743219B (zh) 用户手指位置信息的确定方法及装置、投影仪、投影系统
CN108196258B (zh) 外接设备的位置的确定方法及装置、虚拟现实设备及系统
Scargill et al. Here to stay: Measuring hologram stability in markerless smartphone augmented reality
CN107798700A (zh) 用户手指位置信息的确定方法及装置、投影仪、投影系统
JP2018194549A (ja) 注釈機能を備える３次元測定用装置
Ye et al. ProGesAR: Mobile AR prototyping for proxemic and gestural interactions with real-world IoT enhanced spaces
CN108255351B (zh) 用户手指位置信息的确定方法及装置、投影仪、投影系统
US10606468B2 (en) Dynamic image compensation for pre-touch localization on a reflective surface
CN108227919B (zh) 用户手指位置信息的确定方法及装置、投影仪、投影系统
KR102270922B1 (ko) 가정된 캘리브레이션 모델 없이 측정된 데이터를 이용하여 캘리브레이션을 수행하는 방법 및 상기 방법을 수행하는 3차원 스캐너 캘리브레이션 시스템
US10216289B2 (en) Laser pointer emulation via a mobile device
CN109271025A (zh) 虚拟现实自由度模式切换方法、装置、设备及系统
CN107818584A (zh) 用户手指位置信息的确定方法及装置、投影仪、投影系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant