CN107818584A - 用户手指位置信息的确定方法及装置、投影仪、投影系统 - Google Patents

用户手指位置信息的确定方法及装置、投影仪、投影系统 Download PDF

Info

Publication number
CN107818584A
CN107818584A CN201710890384.2A CN201710890384A CN107818584A CN 107818584 A CN107818584 A CN 107818584A CN 201710890384 A CN201710890384 A CN 201710890384A CN 107818584 A CN107818584 A CN 107818584A
Authority
CN
China
Prior art keywords
image
saturation factor
depth
region
user
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201710890384.2A
Other languages
English (en)
Other versions
CN107818584B (zh
Inventor
陈维亮
董碧峰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Goertek Techology Co Ltd
Original Assignee
Goertek Techology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Goertek Techology Co Ltd filed Critical Goertek Techology Co Ltd
Priority to CN201710890384.2A priority Critical patent/CN107818584B/zh
Publication of CN107818584A publication Critical patent/CN107818584A/zh
Application granted granted Critical
Publication of CN107818584B publication Critical patent/CN107818584B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/042—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means
    • G06F3/0425—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means using a single imaging device like a video camera for tracking the absolute position of a single or a plurality of objects with respect to an imaged reference surface, e.g. video camera imaging a display or a projection screen, a table or a wall surface, on which a computer generated image is displayed or projected
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Human Computer Interaction (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

本发明公开了一种用户手指位置信息的确定方法及装置、投影仪、投影系统，该方法包括：获取景深模组生成的第一图像和第二图像；对第一图像和第二图像进行处理，生成深度图像；将深度图像均匀划分为多个区域，并计算每个区域的饱和率；选取出饱和率超过预设的第一饱和率的至少一个第一区域，以及饱和率介于第一饱和率和预设的第二饱和率之间的至少一个第二区域；根据第一区域的邻域中是否存在至少一个区域的饱和率大于第一饱和率，确定第一区域是否为包含有用户手部的目标区域，根据第二区域的邻域中是否存在至少一个区域的饱和率大于第一饱和率，确定第二区域否为目标区域；利用预设的第二深度阈值范围，从目标区域中确定用户的手指的位置信息。

Description

用户手指位置信息的确定方法及装置、投影仪、投影系统
技术领域
本发明涉及投影仪技术领域，更具体地，涉及一种用户手指位置信息的确定方法及装置、投影仪、投影系统。
背景技术
投影仪是一种可以将图像或视频投射到幕布上的设备，可以通过不同的接口同计算机、VCD、DVD、游戏机、DV等相连接播放相应的视频信号。目前，交互式投影仪成为发展趋势。
交互式投影仪包括有投影模组和景深模组。投影模组用于将图像或视频投射到平面物体上。景深模组也可在平面物体上形成投影面。景深模组用于测量景深模组的投影面的各投影点到景深模组的距离。当用户手部未与投影模组投放到平面物体上的投影面进行交互时，景深模组根据测量得到的景深模组的投影面上的各投影点到景深模组的距离生成背景图像。当用户手部与投影模组投放到平面物体上的投影面进行交互时，景深模组根据测量得到的景深模组的投影面上的各投影点到景深模组的距离生成实景图像。将用户手部未与投影面进行交互时背景图像中各点对应的距离，与用户手部与投影面进行交互时实景图像中各点对应的距离进行相减，得到深度图像。通过该深度图像可以得到用户手部的信息，例如，用户手部的位置信息，进而可以根据用户手部的信息执行后续的操作。
该深度图像噪点较多，甚至可能连成一片区域，其中，噪点连成的区域可能与手指面积相差不多。由于该深度图像中的噪点的干扰，导致通过深度图像得到的用户手部信息不准确，进而影响用户交互式投影仪的交互。
发明内容
本发明的一个目的是提供一种用户手指位置信息的确定方法的新技术方案。
根据本发明的第一方面，提供了一种用户手指位置信息的确定方法，包括：
获取景深模组生成的第一图像和第二图像，其中，所述第一图像为在用户手部未与投影模组投放到平面物体上的投影面交互时，利用所述景深模组投放到所述平面物体上的各投影点到所述景深模组的距离生成的，所述第二图像为在所述用户手部与所述投影面交互时，利用所述景深模组投放到所述用户手部和所述平面物体上的各投影点到所述景深模组的距离生成的；
对所述第一图像和所述第二图像进行处理，生成深度图像，其中，所述深度图像为所述第一图像和所述第二图像记录的对应的各点的距离进行相减处理后得到的图像；
将所述深度图像均匀划分为多个区域，并计算每个区域的饱和率，其中，所述饱和率为单个区域内的位于预设的第一深度阈值范围内的点的数量与所述单个区域内的点的总数量之比；
选取出饱和率超过预设的第一饱和率的至少一个第一区域，以及饱和率介于所述第一饱和率和预设的第二饱和率之间的至少一个第二区域，其中，所述第一饱和率大于所述第二饱和率；
根据所述第一区域的邻域中是否存在至少一个区域的饱和率大于所述第一饱和率，确定所述第一区域是否为包含有用户手部的目标区域，以及，根据所述第二区域的邻域中是否存在至少一个区域的饱和率大于所述第一饱和率，确定所述第二区域否为所述目标区域；
利用预设的第二深度阈值范围，从所述目标区域中确定用户的手指的位置信息。
可选地，在将所述深度图像均匀划分为多个区域，并计算每个区域的饱和率之前，所述方法还包括：
对所述深度图像进行二值化处理，将所述深度图像中位于所述第一深度阈值范围内的点的灰度值设为255，将所述深度图像中超过所述第一深度阈值范围内的点的灰度值设为0，得到二值化图像；
将所述深度图像均匀划分为多个区域，并计算每个区域的饱和率，包括：
将所述二值化图像均匀划分为多个区域；
根据所述单个区域内灰度值为255的点的数量与所述单个区域内的点的总数量，计算得到每个区域的饱和率。
可选地，根据所述第一区域的邻域中是否存在至少一个区域的饱和率大于所述第一饱和率，确定所述第一区域是否为包含有用户手部的目标区域，包括：
在所述第一区域的邻域中存在至少一个区域的饱和率大于所述第一饱和率的情况下，确定所述第一区域为包含有用户手部的目标区域；
根据所述第二区域的邻域中是否存在至少一个区域的饱和率大于所述第一饱和率，确定所述第二区域是否为所述目标区域，包括：
在所述第二区域的邻域中存在至少一个区域的饱和率大于所述第一饱和率，确定所述第二区域为所述目标区域。
可选地，利用预设的第二深度阈值范围，从所述目标区域中确定用户的手指的位置信息，包括：
对确定出的目标区域对应的深度图像进行二值化处理，得到目标区域对应的二值化图像；
将所述目标区域对应的二值化图像均匀划分为多个区域，并计算各个区域的饱和率；
根据所述各个区域的饱和率是否大于预设的第三饱和率，分别确定各个区域是否为包含有用户手指的区域；
从确定出的包含有用户手指的区域中，确定用户的手指的位置信息。
可选地，所述第一深度阈值范围为0-200mm，所述第二深度阈值范围为0-30mm。
根据本发明的第二方面，提供了一种用户手指位置信息的确定装置，包括：
获取模块，用于获取景深模组生成的第一图像和第二图像，其中，所述第一图像为在用户手部未与投影模组投放到平面物体上的投影面交互时，利用所述景深模组投放到所述平面物体上的各投影点到所述景深模组的距离生成的，所述第二图像为在所述用户手部与所述投影面交互时，利用所述景深模组投放到所述用户手部和所述平面物体上的各投影点到所述景深模组的距离生成的；
处理模块，用于对所述第一图像和所述第二图像进行处理，生成深度图像，其中，所述深度图像为所述第一图像和所述第二图像记录的对应的各点的距离进行相减处理后得到的图像；
计算模块，用于将所述深度图像均匀划分为多个区域，并计算每个区域的饱和率，其中，所述饱和率为单个区域内的位于预设的第一深度阈值范围内的点的数量与所述单个区域内的点的总数量之比；
选取模块，用于选取出饱和率超过预设的第一饱和率的至少一个第一区域，以及饱和率介于所述第一饱和率和预设的第二饱和率之间的至少一个第二区域，其中，所述第一饱和率大于所述第二饱和率；
第一确定模块，用于根据所述第一区域的邻域中是否存在至少一个区域的饱和率大于所述第一饱和率，确定所述第一区域是否为包含有用户手部的目标区域，以及，根据所述第二区域的邻域中是否存在至少一个区域的饱和率大于所述第一饱和率，确定所述第二区域否为所述目标区域；
第二确定模块，用于利用预设的第二深度阈值范围，从所述目标区域中确定用户的手指的位置信息。
可选地，所述装置还包括：
图像二值化处理模块，用于对所述深度图像进行二值化处理，将所述深度图像中位于所述第一深度阈值范围内的点的灰度值设为255，将所述深度图像中超过所述第一深度阈值范围内的点的灰度值设为0，得到二值化图像；
所述计算模块还用于：
将所述二值化图像均匀划分为多个区域；
根据所述单个区域内灰度值为255的点的数量与所述单个区域内的点的总数量，计算得到每个区域的饱和率。
根据本发明的第三方面，提供了一种用户手指位置信息的确定装置，包括存储器和处理器，所述存储器用于存储指令，所述指令用于控制所述处理器进行操作以执行上述任一项所述的用户手指位置信息的确定方法。
根据本发明的第三方面，提供了一种投影仪，其特征在于，包括：投影模组、景深模组和如上所述的用户手指位置信息的确定装置。
根据本发明的第四方面，提供了一种投影系统，包括：投影仪和终端设备，其中，所述投影仪与所述终端设备建立通信连接，所述投影仪包括投影模组和景深模组，所述终端设备包括如上所述的用户手指位置信息的确定装置。
本发明提供的用户手指位置信息的确定方法及装置、投影仪、投影系统，实现了用户与投影仪的交互，并且避免了噪点的干扰，尤其避免了将连成一片的噪点误作为包含有用户手部的目标区域，提高了检测结果的准确性。
通过以下参照附图对本发明的示例性实施例的详细描述，本发明的其它特征及其优点将会变得清楚。
附图说明
被结合在说明书中并构成说明书的一部分的附图示出了本发明的实施例，并且连同其说明一起用于解释本发明的原理。
图1示出了根据本发明一个实施例的用户手指位置信息的确定方法的处理流程图。
图2示出了根据本发明一个实施例的二值化处理后的深度图像中单个区域的示意图。
图3示出了根据本发明一个实施例的深度图像的示意图。
图4示出了根据本发明一个实施例的用户手指位置信息的确定装置的结构示意图。
图5示出了根据本发明一个实施例的用户手指位置信息的确定装置的另一种结构示意图。
图6示出了根据本发明一个实施例的用户手指位置信息的确定装置的另一种结构示意图。
图7示出了根据本发明一个实施例的投影系统的结构示意图。
具体实施方式
现在将参照附图来详细描述本发明的各种示例性实施例。应注意到：除非另外具体说明，否则在这些实施例中阐述的部件和步骤的相对布置、数字表达式和数值不限制本发明的范围。
以下对至少一个示例性实施例的描述实际上仅仅是说明性的，决不作为对本发明及其应用或使用的任何限制。
对于相关领域普通技术人员已知的技术、方法和设备可能不作详细讨论，但在适当情况下，所述技术、方法和设备应当被视为说明书的一部分。
在这里示出和讨论的所有例子中，任何具体值应被解释为仅仅是示例性的，而不是作为限制。因此，示例性实施例的其它例子可以具有不同的值。
应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步讨论。
本发明的一个实施例提供了一种用户手指位置信息的确定方法。图1示出了根据本发明一个实施例的用户手指位置信息的确定方法的处理流程图。参见图1，该方法至少包括步骤S101至步骤S106。
步骤S101，获取景深模组生成的第一图像和第二图像，其中，第一图像为在用户手部未与投影模组投放到平面物体上的投影面交互时，利用景深模组投放到平面物体上的各投影点到景深模组的距离生成的，第二图像为在用户手部与投影面交互时，利用景深模组投放到用户手部和平面物体上的各投影点到景深模组的距离生成的。
本发明实施例涉及的景深模组和投影模组均为交互式投影仪的组成部件。用户可以与交互式投影仪投放到平面物体上的投影面进行交互，例如，通过用户的手指触碰该投影面，实现用户与投影面的交互。以点菜为例，交互式投影仪可以将菜单对应的图像投放到平面物体上，用户通过触碰投放到平面物体上的菜单，完成点菜操作。需要说明的是，在用户与投影面进行交互时，需要确定用户手指的位置信息，进而利用用户的手指的位置信息执行后续操作。
该交互式投影仪可与终端设备建立连接。终端设备可为台式电脑、笔记本电脑、平板电脑、智能手机、VCD、DVD中任一种。投影模组用于将交互式投影仪外接的终端设备的提供的图像或者视频投放到平面物体上。此处涉及的平面物体可为幕布、墙壁或者桌面任一种。
景深模组通过红外扫描的方式，测量得到景深模组的投影面上的各投影点到景深模组的距离。在用户手部未与投影模组投放到平面物体上的投影面交互时，景深模组的投影面上的各投影点均位于平面物体上。在用户手部与投影模组投放到平面物体上的投影面交互时，景深模组的投影面的各投影点一部分位于平面物体上，一部分位于用户手部上。景深模组对应的投影面大于投影模组投放到平面物体上的投影面，这样能够保证完整地捕获到用户手部与投影模组投放到平面物体上的投影面的交互信息。
景深模组生成的第一图像和第二图像为带有颜色的图像。第一图像和第二图像中各点显示的不同颜色代表景深模组的投影面上的各投影点到景深模组的不同距离。景深模组根据预设的投影点到景深模组的距离值与图像中点的颜色的对应关系，将测量得到的其投影面上的各投影点到景深模组的距离转化为带有相应颜色的点，然后再利用这些带有颜色的点生成第一图像或者第二图像。
步骤S102，对第一图像和第二图像进行处理，生成深度图像，其中，深度图像为第一图像和第二图像记录的对应的各点的距离进行相减处理后得到的图像。
第一图像包括有i行、j列，相应地，第一图像共包含有i*j个点，同样，第二图像包括有i行、j列，相应地，第二图像共包含有i*j个点。以第一图像中的第1行、第2列对应的点和第二图像中第1行、第2列对应的点为例，对深度图像的生成进行说明。从预设的投影点到景深模组的距离值与图像中点的颜色的对应关系中，查询得到第一图像中的第1行、第2列对应的点代表的距离值和第二图像中的第1行、第2列对应的点代表的距离值，然后，对第1行、第2列对应的点代表的距离值与第二图像中的第1行、第2列对应的点代表的距离值进行相减处理，得到一距离值，接着，从预设的投影点到景深模组的距离值与图像中点的颜色的对应关系中，查询得到该距离值对应的颜色，最后，将具有该颜色点作为深度图像中第1行、第2列对应的点。上述操作步骤中，仅仅对第一图像中的第1行、第2列对应的点和第二图像中第1行、第2列对应的点生成深度图像中第1行、第2列对应的点进行说明，深度图像中其他各点均可按照上述操作步骤生成。
需要说明的是，理论上，深度图像包括有两部分区域，第一部分区域是未包含用户手部的区域，该区域对应的图像具有单一颜色，第二部分区域包含有用户手部的区域，该区域对应的图像具有用户手部的外形，且具有不同颜色。但是，由于景深模组自身因素或者外界环境因素的影响，实际上，由第一图像和第二图像生成的深度图像包含有大量噪点，为了准确地获取用户手指的位置信息，需要排除噪点的干扰。
步骤S103，将深度图像均匀划分为多个区域，并计算每个区域的饱和率，其中，饱和率为单个区域内的位于预设的第一深度阈值范围内的点的数量与单个区域内的点的总数量之比。
本发明实施例涉及的预设的第一深度阈值范围需要涵盖深度图像中用户手部对应的区域对应的距离值。优选地，第一深度阈值范围为0-200mm。
将深度图像均匀划分为多个区域后，以其中一个区域为例，利用第一深度阈值范围0-200mm，确定该区域内的位于第一深度阈值范围0-200mm内的点的数量，例如，共16个，该区域内的点的总数量为20，计算得到该区域的饱和率B，即饱和率
本发明的一个实施例中，在将深度图像均匀划分为多个区域，并计算每个区域的饱和率之前，对深度图像进行二值化处理。图像二值化就是将深度图像中各点的灰度值设置为0或255，也就是将深度图像呈现出明显的黑白效果。具体地，将深度图像中点代表的距离位于第一深度阈值范围对应的点的灰度值设为255，将深度图像中点代表的距离超过第一深度阈值范围对应的点的灰度值设为0，得到二值化图像。然后，将二值化图像均匀划分为多个区域，根据单个区域内灰度值为255的点的数量与单个区域内的点的总数量，计算得到每个区域的饱和率。图2示出了根据本发明一个实施例的二值化处理后的深度图像中单个区域的示意图。图2示出的单个区域包含有20个像素点，其中包括16个灰度值为255的像素点和4个灰度值为0的像素点，则该单个区域的饱和率
步骤S104，选取出饱和率超过预设的第一饱和率的至少一个第一区域，以及饱和率介于第一饱和率和预设的第二饱和率之间的至少一个第二区域，其中，第一饱和率大于第二饱和率。
本发明实施例中，对深度图像划分得到的各区域进行全域搜索，从各区域中选取出饱和率超过第一饱和率的至少一个第一区域，以及选取出饱和率介于第一饱和率和第二饱和率之间的至少一个第二区域。需要说明地是，选取出的第一区域是为了确定出用户包含有用户手掌部分或者用户手臂部分的目标区域，选取出的第二区域是为了确定出包含有用户手指部分的目标区域。本发明实施例涉及的预设的第一饱和率和第二饱和率可根据实际检测情况而定。
步骤S105，根据第一区域的邻域中是否存在至少一个区域的饱和率大于第一饱和率，确定第一区域是否为包含有用户手部的目标区域，以及，根据第二区域的邻域中是否存在至少一个区域的饱和率大于第一饱和率，确定第二区域否为目标区域。
在从对深度图像划分得到的各区域中，选取出第一区域和第二区域后，需要对第一区域和第二区域分别进行进一步判断。对于第一区域，判断第一区域的邻域中是否存在至少一个区域的饱和率大于第一饱和率，若存在，则确定该第一区域为包含有用户手掌或者用户手臂的目标区域，这样避免了噪点的干扰，尤其避免了将连成一片的噪点误作为包含有用户手部的目标区域。对于第二区域，判断第二区域的邻域中是否存在至少一个区域的饱和率大于第一饱和率，若存在，则确定该第二区域为包含有用户手指的目标区域，这样避免了噪点的干扰。
图3示出了根据本发明一个实施例的深度图像的示意图。参见图3，将该深度图像均匀划分为20个区域。针对每一个区域，计算得到各区域的饱和率。然后，利用各区域的饱和率，从这20个区域中选取出饱和率大于第一饱和率的区域和饱和率介于第一饱和率和第二饱和率之间的区域。其中，饱和率大于第一饱和率的区域有区域7、区域10、区域11、区域13、区域14、区域15、区域16、区域17、区域18、区域19和区域20。饱和率介于第一饱和率和第二饱和率之间的区域有区域2、区域3、区域6、区域9和区域12。饱和率小于第二饱和率的区域有区域1、区域4、区域5和区域8。对于饱和率大于第一饱和率的区域，各区域的8个邻域中均存在至少一个区域的饱和率大于第一饱和率，则确定图3示出的饱和率大于第一饱和率的区域为包含有用户手部的目标区域。对于饱和率介于第一饱和率和第二饱和率之间的区域，各区域的8个邻域中均存在至少一个区域的饱和率大于第一饱和率，则确定图3示出的饱和率介于第一饱和率和第二饱和率之间的区域为包含有用户手部的目标区域。
步骤S106，利用预设的第二深度阈值范围，从目标区域中确定用户的手指的位置信息。
本发明实施例涉及的第二深度阈值范围可根据用户的手指的厚度而定，优选为0-30mm。
该步骤S106中利用预设的第二深度阈值范围，从目标区域中确定用户的手指的位置信息可以进一步包括以下步骤。
步骤S1061，对确定出的目标区域对应的图像进行二值化处理。具体地，将目标区域对应的图像中点代表的距离位于第二深度阈值范围对应的点的灰度值设为255，将目标区域对应的图像中点代表的距离超过第二深度阈值范围对应的点的灰度值设为0，得到目标区域对应的二值化图像。
步骤S1062，将目标区域对应的二值化图像均匀划分为多个区域。
步骤S1063，根据单个区域内灰度值为255的点的数量与单个区域内的点的总数量，计算得到每个区域的饱和率。
步骤S1064，根据各区域的饱和率是否大于预设的饱和率，分别确定各区域是否为包含有用户手指的区域。
步骤S1065，从确定出的包含有用户手指的区域中，确定用户的手指的位置信息。
需要说明地是，上述步骤S105得到的目标区域对应的深度图像明显减小，这样从目标区域对应的深度图像中确定用户手指位置信息，可减少计算量。
基于同一发明构思，本发明提供了一种用户手指位置信息的确定装置。图4示出了根据本发明一个实施例的用户手指位置信息的确定装置的结构示意图。参见图4，该装置至少包括：获取模块410，用于获取景深模组生成的第一图像和第二图像，其中，第一图像为在用户手部未与投影模组投放到平面物体上的投影面交互时，利用景深模组投放到平面物体上的各投影点到景深模组的距离生成的，第二图像为在用户手部与投影面交互时，利用景深模组投放到用户手部和平面物体上的各投影点到景深模组的距离生成的；处理模块420，用于对第一图像和第二图像进行处理，生成深度图像，其中，深度图像为第一图像和第二图像记录的对应的各点的距离进行相减处理后得到的图像；计算模块430，用于将深度图像均匀划分为多个区域，并计算每个区域的饱和率，其中，饱和率为单个区域内的位于预设的第一深度阈值范围内的点的数量与单个区域内的点的总数量之比；选取模块440，用于选取出饱和率超过预设的第一饱和率的至少一个第一区域，以及饱和率介于第一饱和率和预设的第二饱和率之间的至少一个第二区域，其中，第一饱和率大于第二饱和率；第一确定模块450，用于根据第一区域的邻域中是否存在至少一个区域的饱和率大于第一饱和率，确定第一区域是否为包含有用户手部的目标区域，以及，根据第二区域的邻域中是否存在至少一个区域的饱和率大于第一饱和率，确定第二区域否为目标区域；第二确定模块460，用于利用预设的第二深度阈值范围，从目标区域中确定用户的手指的位置信息。
本发明的一个实施例中，参见图5，该装置还包括，二值化处理模块470，用于对深度图像进行二值化处理，将深度图像中位于第一深度阈值范围内的点的灰度值设为255，将深度图像中超过第一深度阈值范围内的点的灰度值设为0，得到二值化图像。计算模块430还用于：将二值化图像均匀划分为多个区域；根据单个区域内灰度值为255的点的数量与单个区域内的点的总数量，计算得到每个区域的饱和率。
图6示出了根据本发明一个实施例的用户手指位置信息的确定装置的另一种结构示意图。参见图6，该用户手指位置信息的确定装置至少包括存储器620和处理器610。存储器620用于存储指令，该指令用于控制处理器610进行操作以执行根据上述本发明任一实施例提供的用户手指位置信息的确定方法。
基于同一发明构思，本发明提供了一种投影仪。该投影仪至少包括：投影模组景深模组和上述本发明任一实施例提供的用户手指位置信息的确定装置。
基于同一发明构思，本发明提供了一种投影系统。图7示出了根据本发明一个实施例的投影系统的结构示意图。参见图7，投影系统包括投影仪700和终端设备800。投影仪700与终端设备800建立通信连接。投影仪700包括投影模组710和景深模组720。终端设备800包括上述本发明任一实施例提供的用户手指位置信息的确定装置810。
本发明可以是系统、方法和/或计算机程序产品。计算机程序产品可以包括计算机可读存储介质，其上载有用于使处理器实现本发明的各个方面的计算机可读程序指令。
计算机可读存储介质可以是可以保持和存储由指令执行设备使用的指令的有形设备。计算机可读存储介质例如可以是――但不限于――电存储设备、磁存储设备、光存储设备、电磁存储设备、半导体存储设备或者上述的任意合适的组合。计算机可读存储介质的更具体的例子(非穷举的列表)包括：便携式计算机盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、静态随机存取存储器(SRAM)、便携式压缩盘只读存储器(CD-ROM)、数字多功能盘(DVD)、记忆棒、软盘、机械编码设备、例如其上存储有指令的打孔卡或凹槽内凸起结构、以及上述的任意合适的组合。这里所使用的计算机可读存储介质不被解释为瞬时信号本身，诸如无线电波或者其他自由传播的电磁波、通过波导或其他传输媒介传播的电磁波(例如，通过光纤电缆的光脉冲)、或者通过电线传输的电信号。
这里所描述的计算机可读程序指令可以从计算机可读存储介质下载到各个计算/处理设备，或者通过网络、例如因特网、局域网、广域网和/或无线网下载到外部计算机或外部存储设备。网络可以包括铜传输电缆、光纤传输、无线传输、路由器、防火墙、交换机、网关计算机和/或边缘服务器。每个计算/处理设备中的网络适配卡或者网络接口从网络接收计算机可读程序指令，并转发该计算机可读程序指令，以供存储在各个计算/处理设备中的计算机可读存储介质中。
用于执行本发明操作的计算机程序指令可以是汇编指令、指令集架构(ISA)指令、机器指令、机器相关指令、微代码、固件指令、状态设置数据、或者以一种或多种编程语言的任意组合编写的源代码或目标代码，编程语言包括面向对象的编程语言—诸如Smalltalk、C++等，以及常规的过程式编程语言—诸如“C”语言或类似的编程语言。计算机可读程序指令可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中，远程计算机可以通过任意种类的网络—包括局域网(LAN)或广域网(WAN)—连接到用户计算机，或者，可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。在一些实施例中，通过利用计算机可读程序指令的状态信息来个性化定制电子电路，例如可编程逻辑电路、现场可编程门阵列(FPGA)或可编程逻辑阵列(PLA)，该电子电路可以执行计算机可读程序指令，从而实现本发明的各个方面。
这里参照根据本发明实施例的方法、装置(系统)和计算机程序产品的流程图和/或框图描述了本发明的各个方面。应当理解，流程图和/或框图的每个方框以及流程图和/或框图中各方框的组合，都可以由计算机可读程序指令实现。
这些计算机可读程序指令可以提供给通用计算机、专用计算机或其它可编程数据处理装置的处理器，从而生产出一种机器，使得这些指令在通过计算机或其它可编程数据处理装置的处理器执行时，产生了实现流程图和/或框图中的一个或多个方框中规定的功能/动作的装置。也可以把这些计算机可读程序指令存储在计算机可读存储介质中，这些指令使得计算机、可编程数据处理装置和/或其他设备以特定方式工作，从而，存储有指令的计算机可读介质则包括一个制造品，其包括实现流程图和/或框图中的一个或多个方框中规定的功能/动作的各个方面的指令。
也可以把计算机可读程序指令加载到计算机、其它可编程数据处理装置、或其它设备上，使得在计算机、其它可编程数据处理装置或其它设备上执行一系列操作步骤，以产生计算机实现的过程，从而使得在计算机、其它可编程数据处理装置、或其它设备上执行的指令实现流程图和/或框图中的一个或多个方框中规定的功能/动作。
附图中的流程图和框图显示了根据本发明的多个实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段或指令的一部分，模块、程序段或指令的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个连续的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或动作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。对于本领域技术人员来说公知的是，通过硬件方式实现、通过软件方式实现以及通过软件和硬件结合的方式实现都是等价的。
以上已经描述了本发明的各实施例，上述说明是示例性的，并非穷尽性的，并且也不限于所披露的各实施例。在不偏离所说明的各实施例的范围和精神的情况下，对于本技术领域的普通技术人员来说许多修改和变更都是显而易见的。本文中所用术语的选择，旨在最好地解释各实施例的原理、实际应用或对市场中的技术改进，或者使本技术领域的其它普通技术人员能理解本文披露的各实施例。本发明的范围由所附权利要求来限定。

Claims (10)

1.一种用户手指位置信息的确定方法，其特征在于，包括：
获取景深模组生成的第一图像和第二图像，其中，所述第一图像为在用户手部未与投影模组投放到平面物体上的投影面交互时，利用所述景深模组投放到所述平面物体上的各投影点到所述景深模组的距离生成的，所述第二图像为在所述用户手部与所述投影面交互时，利用所述景深模组投放到所述用户手部和所述平面物体上的各投影点到所述景深模组的距离生成的；
对所述第一图像和所述第二图像进行处理，生成深度图像，其中，所述深度图像为所述第一图像和所述第二图像记录的对应的各点的距离进行相减处理后得到的图像；
将所述深度图像均匀划分为多个区域，并计算每个区域的饱和率，其中，所述饱和率为单个区域内的位于预设的第一深度阈值范围内的点的数量与所述单个区域内的点的总数量之比；
选取出饱和率超过预设的第一饱和率的至少一个第一区域，以及饱和率介于所述第一饱和率和预设的第二饱和率之间的至少一个第二区域，其中，所述第一饱和率大于所述第二饱和率；
根据所述第一区域的邻域中是否存在至少一个区域的饱和率大于所述第一饱和率，确定所述第一区域是否为包含有用户手部的目标区域，以及，根据所述第二区域的邻域中是否存在至少一个区域的饱和率大于所述第一饱和率，确定所述第二区域否为所述目标区域；
利用预设的第二深度阈值范围，从所述目标区域中确定用户的手指的位置信息。
2.根据权利要求1所述的方法，其特征在于，在将所述深度图像均匀划分为多个区域，并计算每个区域的饱和率之前，所述方法还包括：
对所述深度图像进行二值化处理，将所述深度图像中位于所述第一深度阈值范围内的点的灰度值设为255，将所述深度图像中超过所述第一深度阈值范围内的点的灰度值设为0，得到二值化图像；
将所述深度图像均匀划分为多个区域，并计算每个区域的饱和率，包括：
将所述二值化图像均匀划分为多个区域；
根据所述单个区域内灰度值为255的点的数量与所述单个区域内的点的总数量，计算得到每个区域的饱和率。
3.根据权利要求1所述的方法，其特征在于，根据所述第一区域的邻域中是否存在至少一个区域的饱和率大于所述第一饱和率，确定所述第一区域是否为包含有用户手部的目标区域，包括：
在所述第一区域的邻域中存在至少一个区域的饱和率大于所述第一饱和率的情况下，确定所述第一区域为包含有用户手部的目标区域；
根据所述第二区域的邻域中是否存在至少一个区域的饱和率大于所述第一饱和率，确定所述第二区域是否为所述目标区域，包括：
在所述第二区域的邻域中存在至少一个区域的饱和率大于所述第一饱和率，确定所述第二区域为所述目标区域。
4.根据权利要求1所述的方法，其特征在于，利用预设的第二深度阈值范围，从所述目标区域中确定用户的手指的位置信息，包括：
对确定出的目标区域对应的深度图像进行二值化处理，得到目标区域对应的二值化图像；
将所述目标区域对应的二值化图像均匀划分为多个区域，并计算各个区域的饱和率；
根据所述各个区域的饱和率是否大于预设的第三饱和率，分别确定各个区域是否为包含有用户手指的区域；
从确定出的包含有用户手指的区域中，确定用户的手指的位置信息。
5.根据权利要求1-4任一所述的方法，其特征在于，所述第一深度阈值范围为0-200mm，所述第二深度阈值范围为0-30mm。
6.一种用户手指位置信息的确定装置，其特征在于，包括：
获取模块，用于获取景深模组生成的第一图像和第二图像，其中，所述第一图像为在用户手部未与投影模组投放到平面物体上的投影面交互时，利用所述景深模组投放到所述平面物体上的各投影点到所述景深模组的距离生成的，所述第二图像为在所述用户手部与所述投影面交互时，利用所述景深模组投放到所述用户手部和所述平面物体上的各投影点到所述景深模组的距离生成的；
处理模块，用于对所述第一图像和所述第二图像进行处理，生成深度图像，其中，所述深度图像为所述第一图像和所述第二图像记录的对应的各点的距离进行相减处理后得到的图像；
计算模块，用于将所述深度图像均匀划分为多个区域，并计算每个区域的饱和率，其中，所述饱和率为单个区域内的位于预设的第一深度阈值范围内的点的数量与所述单个区域内的点的总数量之比；
选取模块，用于选取出饱和率超过预设的第一饱和率的至少一个第一区域，以及饱和率介于所述第一饱和率和预设的第二饱和率之间的至少一个第二区域，其中，所述第一饱和率大于所述第二饱和率；
第一确定模块，用于根据所述第一区域的邻域中是否存在至少一个区域的饱和率大于所述第一饱和率，确定所述第一区域是否为包含有用户手部的目标区域，以及，根据所述第二区域的邻域中是否存在至少一个区域的饱和率大于所述第一饱和率，确定所述第二区域否为所述目标区域；
第二确定模块，用于利用预设的第二深度阈值范围，从所述目标区域中确定用户的手指的位置信息。
7.根据权利要求6所述的装置，其特征在于，所述装置还包括：
图像二值化处理模块，用于对所述深度图像进行二值化处理，将所述深度图像中位于所述第一深度阈值范围内的点的灰度值设为255，将所述深度图像中超过所述第一深度阈值范围内的点的灰度值设为0，得到二值化图像；
所述计算模块还用于：
将所述二值化图像均匀划分为多个区域；
根据所述单个区域内灰度值为255的点的数量与所述单个区域内的点的总数量，计算得到每个区域的饱和率。
8.一种用户手指位置信息的确定装置，其特征在于，包括存储器和处理器，所述存储器用于存储指令，所述指令用于控制所述处理器进行操作以执行根据权利要求1至5中任一项所述的用户手指位置信息的确定方法。
9.一种投影仪，其特征在于，包括：投影模组、景深模组和如权利要求8所述的用户手指位置信息的确定装置。
10.一种投影系统，其特征在于，包括：投影仪和终端设备，其中，所述投影仪与所述终端设备建立通信连接，所述投影仪包括投影模组和景深模组，所述终端设备包括如权利要求8所述的用户手指位置信息的确定装置。
CN201710890384.2A 2017-09-27 2017-09-27 用户手指位置信息的确定方法及装置、投影仪、投影系统 Active CN107818584B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201710890384.2A CN107818584B (zh) 2017-09-27 2017-09-27 用户手指位置信息的确定方法及装置、投影仪、投影系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710890384.2A CN107818584B (zh) 2017-09-27 2017-09-27 用户手指位置信息的确定方法及装置、投影仪、投影系统

Publications (2)

Publication Number Publication Date
CN107818584A true CN107818584A (zh) 2018-03-20
CN107818584B CN107818584B (zh) 2020-03-17

Family

ID=61607266

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710890384.2A Active CN107818584B (zh) 2017-09-27 2017-09-27 用户手指位置信息的确定方法及装置、投影仪、投影系统

Country Status (1)

Country Link
CN (1) CN107818584B (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109634414A (zh) * 2018-12-05 2019-04-16 安徽鑫巨源电子科技有限公司 一种智能互动广告投影跳转方法
CN109660779A (zh) * 2018-12-20 2019-04-19 歌尔科技有限公司 基于投影的触控点定位方法、投影设备及存储介质

Citations (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102129152A (zh) * 2009-12-21 2011-07-20 微软公司 具有集成vcsel阵列的深度投影仪系统
CN102455779A (zh) * 2010-10-15 2012-05-16 联想(北京)有限公司 信息处理设备和方法
CN102566827A (zh) * 2010-12-30 2012-07-11 株式会社理光 虚拟触摸屏系统中对象检测方法和系统
CN102779359A (zh) * 2012-07-13 2012-11-14 南京大学 基于深度图像进行通行检测的自动检票装置
CN102799318A (zh) * 2012-08-13 2012-11-28 深圳先进技术研究院 一种基于双目立体视觉的人机交互方法及系统
CN102841733A (zh) * 2011-06-24 2012-12-26 株式会社理光 虚拟触摸屏系统以及自动切换交互模式的方法
CN103226387A (zh) * 2013-04-07 2013-07-31 华南理工大学 基于Kinect的视频人手指尖定位方法
CN103313007A (zh) * 2012-03-08 2013-09-18 精工爱普生株式会社 图像处理装置、投影仪以及投影仪的控制方法
CN103500010A (zh) * 2013-09-29 2014-01-08 华南理工大学 一种视频人手指尖定位方法
CN104217192A (zh) * 2013-06-03 2014-12-17 株式会社理光 基于深度图像的手定位方法和设备
CN104750250A (zh) * 2015-03-04 2015-07-01 深圳市祈锦通信技术有限公司 支持手势交互的投影方法和投影系统
WO2015139750A1 (en) * 2014-03-20 2015-09-24 Telecom Italia S.P.A. System and method for motion capture
CN105893944A (zh) * 2016-03-29 2016-08-24 陕西师范大学 深度信息静态手势分割方法
CN106055092A (zh) * 2016-05-18 2016-10-26 广景视睿科技（深圳）有限公司 一种实现互动投影的方法及系统
CN106502379A (zh) * 2016-09-12 2017-03-15 深圳奥比中光科技有限公司 一种交互方法及交互系统、相对深度的获取方法
CN106651941A (zh) * 2016-09-19 2017-05-10 深圳奥比中光科技有限公司 一种深度信息的采集方法以及深度测量系统

Patent Citations (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102129152A (zh) * 2009-12-21 2011-07-20 微软公司 具有集成vcsel阵列的深度投影仪系统
CN102455779A (zh) * 2010-10-15 2012-05-16 联想(北京)有限公司 信息处理设备和方法
CN102566827A (zh) * 2010-12-30 2012-07-11 株式会社理光 虚拟触摸屏系统中对象检测方法和系统
CN102841733A (zh) * 2011-06-24 2012-12-26 株式会社理光 虚拟触摸屏系统以及自动切换交互模式的方法
CN103313007A (zh) * 2012-03-08 2013-09-18 精工爱普生株式会社 图像处理装置、投影仪以及投影仪的控制方法
CN102779359A (zh) * 2012-07-13 2012-11-14 南京大学 基于深度图像进行通行检测的自动检票装置
CN102799318A (zh) * 2012-08-13 2012-11-28 深圳先进技术研究院 一种基于双目立体视觉的人机交互方法及系统
CN103226387A (zh) * 2013-04-07 2013-07-31 华南理工大学 基于Kinect的视频人手指尖定位方法
CN104217192A (zh) * 2013-06-03 2014-12-17 株式会社理光 基于深度图像的手定位方法和设备
CN103500010A (zh) * 2013-09-29 2014-01-08 华南理工大学 一种视频人手指尖定位方法
WO2015139750A1 (en) * 2014-03-20 2015-09-24 Telecom Italia S.P.A. System and method for motion capture
CN104750250A (zh) * 2015-03-04 2015-07-01 深圳市祈锦通信技术有限公司 支持手势交互的投影方法和投影系统
CN105893944A (zh) * 2016-03-29 2016-08-24 陕西师范大学 深度信息静态手势分割方法
CN106055092A (zh) * 2016-05-18 2016-10-26 广景视睿科技（深圳）有限公司 一种实现互动投影的方法及系统
CN106502379A (zh) * 2016-09-12 2017-03-15 深圳奥比中光科技有限公司 一种交互方法及交互系统、相对深度的获取方法
CN106651941A (zh) * 2016-09-19 2017-05-10 深圳奥比中光科技有限公司 一种深度信息的采集方法以及深度测量系统

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
左一帆等: "《基于图割的高质量深度图获取方法》", 《电视技术》 *
曹海波: "《基于Kinect深度信息的静态手势识别方法研究》", 《中国优秀硕士学位论文全文数据库 信息科技辑》 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109634414A (zh) * 2018-12-05 2019-04-16 安徽鑫巨源电子科技有限公司 一种智能互动广告投影跳转方法
CN109660779A (zh) * 2018-12-20 2019-04-19 歌尔科技有限公司 基于投影的触控点定位方法、投影设备及存储介质

Also Published As

Publication number Publication date
CN107818584B (zh) 2020-03-17

Similar Documents

Publication Publication Date Title
WO2016165615A1 (zh) 一种即时视频中的表情特效动画加载方法和电子设备
CN110348524A (zh) 一种人体关键点检测方法及装置、电子设备和存储介质
CN106897688A (zh) 交互式投影装置、控制交互式投影的方法和可读存储介质
CN110189249A (zh) 一种图像处理方法及装置、电子设备和存储介质
JP7212067B2 (ja) 画像合成方法及び装置
CN107798700A (zh) 用户手指位置信息的确定方法及装置、投影仪、投影系统
CN109615655A (zh) 一种确定物体姿态的方法及装置、电子设备及计算机介质
CN114025219B (zh) 增强现实特效的渲染方法、装置、介质及设备
CN110109598A (zh) 一种动画交互实现方法、装置及电子设备
CN105893989A (zh) 用于超声波指纹识别的动态校准方法、装置及电子设备
CN108737891A (zh) 视频素材处理方法及装置
CN106598739A (zh) 视频渲染方法及装置
CN113014960B (zh) 一种在线制作视频的方法、装置及存储介质
CN110136230A (zh) 动画显示方法、装置、电子设备及存储介质
CN106875446B (zh) 相机重定位方法及装置
CN109948450A (zh) 一种基于图像的用户行为检测方法、装置和存储介质
CN110349135A (zh) 目标检测方法和装置
CN107527024A (zh) 人脸颜值评估方法及装置
CN107743219A (zh) 用户手指位置信息的确定方法及装置、投影仪、投影系统
CN112115894A (zh) 手部关键点检测模型的训练方法、装置及电子设备
CN102150116B (zh) 远程控制指示器、远程控制指示方法及设备
CN112153360B (zh) 头戴设备的曝光参数的确定方法、装置及设备
CN107818584A (zh) 用户手指位置信息的确定方法及装置、投影仪、投影系统
CN107886515A (zh) 图像分割方法及装置
CN109656363A (zh) 一种用于设置增强交互内容的方法与设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant