CN114756162B - 触控系统及方法、电子设备及计算机可读存储介质 - Google Patents

触控系统及方法、电子设备及计算机可读存储介质 Download PDF

Info

Publication number
CN114756162B
CN114756162B CN202110006855.5A CN202110006855A CN114756162B CN 114756162 B CN114756162 B CN 114756162B CN 202110006855 A CN202110006855 A CN 202110006855A CN 114756162 B CN114756162 B CN 114756162B
Authority
CN
China
Prior art keywords
touch
point cloud
image
plane
area
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110006855.5A
Other languages
English (en)
Other versions
CN114756162A (zh
Inventor
余金清
王鑫
冉鹏
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Chengdu Jimi Technology Co Ltd
Original Assignee
Chengdu Jimi Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Chengdu Jimi Technology Co Ltd filed Critical Chengdu Jimi Technology Co Ltd
Priority to CN202110006855.5A priority Critical patent/CN114756162B/zh
Publication of CN114756162A publication Critical patent/CN114756162A/zh
Application granted granted Critical
Publication of CN114756162B publication Critical patent/CN114756162B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G06T7/75—Determining position or orientation of objects or cameras using feature-based methods involving models
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/12—Picture reproducers
    • H04N9/31—Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
    • H04N9/3141—Constructional details thereof
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30244—Camera pose

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

本申请提供一种触控系统及方法，电子设备及计算机可读存储介质，触控系统包括第一相机、第二相机和处理器。第一相机采集第一点云图像和第二点云图像，第一点云图像为包括触控平面的点云图像，第二点云图像为包括触控平面和预设区域的点云图像，第二相机采集第三图像，第三图像为预设区域的图像，处理器依据触控平面的位置坐标，从第二点云图像中确定不包括在触控平面内的第一点云，并从第三图像中确定第一点云对应的图像是否包含触控体，如果是，则在触控体对应的第一点云与触控平面的之间的距离小于或等于阈值的情况下，确定触控体发生触控动作。本申请提供的触控系统可以提高触控的准确率。

Description

触控系统及方法、电子设备及计算机可读存储介质
技术领域
本申请涉及触控技术领域，尤其涉及一种触控系统及方法、电子设备及计算机可读存储介质。
背景技术
随着科技的发展，触控在各个领域得到广泛的应用，例如触控投影能够实现交互式投影，用户在投影画面上的操作可以同步到被投影设备上，使操作更加方便。
目前触控技术，常常存在触控不精准的问题，例如，用户在不使用触控体的情况下接触到触控区域时发生误触控，或者触控体在离触控区域较远的情况下，也有可能发生误触控。
发明内容
本申请提供了一种触控系统及方法、电子设备及计算机可读存储介质，目的在于解决如何实现准确触控的问题。
为了实现上述目的，本申请提供了以下技术方案：
一种触控系统，包括：第一相机、第二相机和处理器；所述第一相机和所述第二相机均与所述处理器连接；
所述第一相机，用于采集第一点云图像和第二点云图像，所述第一点云图像为包括触控平面的点云图像，所述第二点云图像为包括所述触控平面和预设区域的点云图像；
所述第二相机，用于采集第三图像，所述第三图像为所述预设区域的图像；所述第三图像与所述第二点云图像的采集时刻相同；
所述处理器，用于依据所述第一点云图像，确定所述触控平面的位置坐标；依据所述触控平面的位置坐标，从所述第二点云图像中确定不包括在所述触控平面内的第一点云，并从所述第三图像中确定所述第一点云对应的图像是否包含触控体，如果是，则在所述触控体对应的所述第一点云与所述触控平面的之间的距离小于或等于阈值的情况下，确定所述触控体发生触控动作。
上述的触控系统，可选的，所述处理器还用于，从所述第一点云图像中筛选包括在预设的触控区域之内的点云，将所述点云构成的最大面积的平面，作为所述触控平面。
上述的触控系统，可选的，所述处理器还用于，获取所述触控平面的面积以及所述触控区域的面积，在所述触控平面的面积与所述触控区域的面积的比例小于或等于阈值的情况下，不响应所述触控体发生的触控动作。
上述的触控系统，可选的，所述处理器用于依据所述触控平面的位置坐标，从所述第二点云图像中确定不包括在所述触控平面内的第一点云，包括所述处理器具体用于：
获取所述第二点云图像中各个点云的位置坐标，并将位置坐标不在所述触控平面的位置坐标范围内的点云作为所述第一点云。
上述的触控系统，可选的，所述处理器用于从所述第三图像中确定所述第一点云对应的图像是否包括预设的触控体，包括所述处理器具体用于：
所述处理器根据预先存储的所述第一相机和所述第二相机之间的标定参数，将所述第一点云在所述第二点云图像的第一位置坐标转换为在所述第三图像的第二位置坐标，并对所述第三图像中所述第二位置坐标对应的图像进行识别，确定所述第二位置坐标对应的所述图像是否包含所述触控体。
上述的触控系统，可选的，所述第一相机为三维相机，所述第二相机为红外相机，所述第三图像为红外图像。
上述的触控系统，可选的，还包括投影设备，所述投影设备与所述处理器连接；
所述处理器还用于，所述触控体发生触控动作后，将所述触控体对应的所述第一点云的位置坐标发送至所述投影设备；
所述投影设备用于，根据接收到所述处理器发送的所述触控体对应的所述第一点云的位置坐标，执行预设的触控响应指令。
一种触控方法，应用于触控系统，所述方法包括：
获取第一点云图像、第二点云图像以及第三图像；所述第一点云图像为所述触控系统的第一相机采集的包括触控平面的点云图像；所述第二点云图像为所述第一相机采集的包括所述触控平面和预设区域的点云图像；所述第三图像为所述触控系统的第二相机采集的所述预设区域的图像；所述第三图像与所述第二点云图像的采集时刻相同；
依据所述第一点云图像，确定所述触控平面的位置坐标；
依据所述触控平面的位置坐标，从所述第二点云图像中确定不包括在所述触控平面内的第一点云；
从所述第三图像中确定所述第一点云对应的图像是否包含触控体，如果是，则在所述触控体对应的所述第一点云与所述触控平面的之间的距离小于或等于阈值的情况下，确定所述触控体发生触控动作。
上述的方法，可选的，在所述依据所述第一点云图像，确定所述触控平面的位置坐标之前，还包括：
从所述第一点云图像中筛选包括在预设触控区域之内的点云，并将所述点云构成的最大面积的平面作为所述触控平面。
上述的方法，可选的，在所述将所述点云构成的最大面积的平面作为所述触控平面之后，还包括：
获取所述触控平面的面积以及所述预设触控区域的面积，在所述触控平面的面积与所述预设触控区域的面积的比例小于或等于阈值的情况下，不响应所述触控体发生的触控动作。
上述的方法，可选的，所述依据所述触控平面的位置坐标，从所述第二点云图像中确定不包括在所述触控平面内的第一点云，包括：
获取所述第二点云图像中各个点云的位置坐标，并将所述位置坐标不在所述触控平面的位置坐标范围内的点云作为所述第一点云。
上述的方法，可选的，所述从所述第三图像中确定所述第一点云对应的图像是否包含触控体，包括：
根据预先存储的所述第一相机和所述第二相机之间的标定参数，将所述第一点云在所述第二点云图像的第一位置坐标转换为在所述第三图像的第二位置坐标；
对所述第三图像中所述第二位置坐标对应的图像进行识别，确定所述第二位置坐标对应的所述图像是否包含所述触控体。
上述的方法，可选的，所述第三图像为红外图像。
上述的方法，可选的，还包括，在在确定所述触控体发生触控动作后，将所述触控体对应的所述第一点云的位置坐标发送至所述触控系统的投影设备，使所述投影设备根据接收到的所述触控体对应的所述第一点云的位置坐标，执行预设的触控响应指令。
上述的方法，可选的，所述第二点云图像和所述第三图像为分别为所述第一相机和所述第二相机在同一时刻采集的图像。
上述的方法，可选的，所述触控体对应的所述第一点云与所述触控平面的之间的距离小于或等于阈值为：所述第一点云中至少包括一个与所述触控平面的之间的距离小于或等于所述阈值的点云。
一种电子设备，包括：处理器和存储器，所述存储器用于存储程序；所述处理器用于运行所述程序，以实现上述的触控方法。
一种计算机可读存储介质，所述计算机可读存储介质中存储有指令，当其在计算机上运行时，使得计算机执行上述的触控方法。
本申请提供了一种触控系统，包括：第一相机、第二相机和处理器。第一相机用于采集第一点云图像和第二点云图像，第一点云图像为包括触控平面的点云图像，第二点云图像为包括触控平面和预设区域的点云图像；
第二相机，用于采集第三图像，第三图像为预设区域的图像；处理器用于，依据第一点云图像，确定触控平面的位置坐标；依据触控平面的位置坐标，从第二点云图像中确定不包括在触控平面内的第一点云，并从第三图像中确定第一点云对应的图像是否包含触控体，如果是，则在触控体对应的第一点云与所述触控平面的之间的距离小于或等于阈值的情况下，确定触控体发生触控动作。
本申请提供的系统，只有用户使用触控体进行触控的情况下，第二点云图像中才会包含触控体，且只有触控体对应的第一点云与触控平面之间的距离小于或等于阈值的情况下，才确定触控体发生了触控，从而可以避免用户在不使用触控体的情况下发生误触控以及触控体在离触控区域较远的情况下发生误触控的情况。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本申请实施例提供的一种触控系统的结构示意图；
图2为本申请实施例提供的另一种触控系统的结构示意图；
图3为本申请实施例提供的一种触控方法的流程图；
图4为本申请实施例提供的一种电子设备的结构示意图。
具体实施方式
下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
图1为本申请实施例提供的一种触控系统100的结构示意图，包括第一相机101、第二相机102和处理器103。第一相机101和第二相机102均与处理器103连接。
第一相机101，用于采集第一点云图像和第二点云图像，第一点云图像为包括触控平面的点云图像，第二点云图像为包括触控平面和预设区域的点云图像。其中，预设区域中可以有出触控平面之外的其它物体，也可以没有。
第二相机102，用于采集第三图像，第三图像为预设区域的图像。需要说明的是，为了保证精确的触控，第三图像与第二点云图像的采集时刻需要相同。
处理器103，用于依据第一点云图像，确定触控平面的位置坐标，依据触控平面的位置坐标，从第二点云图像中确定不包括在触控平面内的第一点云，并从第三图像中确定第一点云对应的图像是否包含触控体，如果是，则在触控体对应的第一点云与触控平面的之间的距离小于或等于阈值的情况下，确定触控体发生触控动作。
第一相机101可以是三维相机，例如TOF(Time of flight，飞行时间)相机。
第一点云图像和第二点云图像为第一相机101在不同时刻对预设区域进行图像采集得到的图像，该预设区域包括触控区域。
第一点云图为包括触控平面的点云图像。其中，触控平面为处理器103从第一点云图像中获取得到的平面，具体为，处理器从第一点云图像中筛选包括在预设的触控区域之内的点云，并将该点云构成的最大面积的平面作为触控平面。触控区域可以是平面类型的触控区域或者曲面类型的触控区域，在触控区域为平面类型的触控区域的情况下，处理器103获取得到的触控平面为该触控区域，在触控区域为曲面的情况下，该触控平面为曲面类型的触控区域包括的面积最大的一个平面。也就是说触控平面为触控区域或触控区域的一部分，第一点云图像为第一相机101对预设区域进行采集得到的图像，预设区域包括触控区域，所以第一点云图中包括触控平面。
可选的，本实施例中，处理器103还用于，获取触控平面的面积以及触控区域的面积，在触控平面的面积与触控区域的面积的比例小于或等于阈值的情况下，不响应触控体发生的触控动作。其中，触控平面的面积可以依据构成触控平面的点云的坐标计算得到，同样，触控区域的面积可以是通过触控区域的点云的位置坐标计算得到。在触控区域为平面类型的触控区域的情况下，触控平面的面积与触控区域的面积的比例等于1，在触控区域为曲面类型的触控区域的情况下，触控平面的面积与触控区域的面积的比例小于1。其中阈值可以是小于1的数值，例如可以是0.6。在触控平面的面积与触控区域的面积的比例小于或等于阈值的情况下，说明触控区域为一个曲率较大触控区域，则处理器不响应触控体发生的触控动作，即处理器不开启触控响应功能。
第二点云图像为包括触控平面和预设区域的点云图像。例如用户依据触控体(如手指或者笔)在触控平面进行触控时，采集到的第二点云图像为以触控平面为背景且包括用户触控动作的图像。
第二相机102可以是红外相机，对应的第三图像为红外图像。第二相机102和第一相机101的采集区域为同一个区域。且第二点云图像和第三图像为同一时刻的场景图像。其中，可以预先设置第二相机102的图像采集频率大于第一相机101相机的图像采集频率，以保证第二相机102和第一相机101能够采集到同一时刻的场景图像。
第一相机101和第二相机102预先配置为将采集得到的图像同步传输至处理器103。处理器103接收到第一点云图像后，从第一点云图像中筛选包括在触控区域之内的点云，并将该点云构成的最大面积的平面作为触控平面，根据触控平面包括的点云的位置坐标，得到触控平面的位置坐标。
处理器103接收到第二点云图像和第三图像后，依据触控平面的位置坐标，从第二点云图像中确定不包括在触控平面内的第一点云，从第三图像中确定第一点云对应的图像是否包含触控体，如果是，则在触控体对应的第一点云与触控平面的之间的距离小于或等于阈值的情况下，确定触控体发生触控动作。
其中，处理器103依据触控平面的位置坐标，从第二点云图像中确定不包括在触控平面内的第一点云的具体实现方式可以是：获取第二点云图像中各个点云的位置坐标，并将位置坐标不在触控平面的位置坐标范围内的点云作为第一点云。对于用户依据触控体在触控平面进行触控的场景，第二点云图像中，触控平面相当于图像的背景，用户依据触控体进行触控的动作相当于图像的前景，因为处理器103依据第一点云图像已经获取得到了触控平面的位置坐标，所以即使在第二点云图像中部分触控平面被前景遮挡，处理器也可依据预先获取的触控平面的位置坐标，从第二点云图像中确定不包括在触控平面内的第一点云。
处理器103确定第一点云后，根据预先存储的第一相机101和第二相机102之间的标定参数，将第一点云在第二点云图的第一位置坐标转换为在第三图像的第二位置坐标，并对第三图像中第二位置坐标对应的图像进行识别，确定第二位置坐标对应的图像是否包含触控体。其中，处理器可以通过运行预先训练好的图像识别模型，使能够对第三图像中第二位置坐标对应的图像进行识别。本实施例中，触控体可以是手指或者笔。需要说明的是，在第二相机为红外相机的情况下，因为红外相机具有较高的像素，所以第三图像具有较高的清晰度，所以处理器103通过第三图像识别出触控体的准确率较高。
处理器103确定第二位置坐标对应的图像包含触控体后，对第二点云图像中触控体对应的第一点云进行追踪，在触控体与触控平面的之间的距离小于或等于阈值(例如2厘米)的情况下，确定触控体发生触控动作。其中，触控体与触控平面的之间的距离小于或等于阈值为：触控体对应的第一点云中至少包括一个与触控平面的之间的距离小于或等于阈值的点云。
可以理解的是，点云图像为具有坐标的各个点构成的三维图像，因此，可以通过触控体对应的第一点云的位置坐标以及触控平面的位置坐标，确定触控体与触控平面的之间的距离。
本实施例提供的触控系统，包括：第一相机、第二相机和处理器。第一相机用于采集第一点云图像和第二点云图像，第一点云图像为包括触控平面的点云图像，第二点云图像为包括触控平面和预设区域的点云图像；第二相机，用于采集第三图像，第三图像为预设区域的图像；处理器用于，依据第一点云图像，确定触控平面的位置坐标；依据触控平面的位置坐标，从第二点云图像中确定不包括在触控平面内的第一点云，并从第三图像中确定第一点云对应的图像是否包含触控体，如果是，则在触控体对应的第一点云与所述触控平面的之间的距离小于或等于阈值的情况下，确定触控体发生触控动作。本申请提供的系统，只有用户使用触控体进行触控的情况下，第二点云图像中才会包含触控体，且只有触控体对应的第一点云与触控平面的之间的距离小于或等于阈值的情况下，才确定触控体发生了触控，从而可以避免用户在不使用触控体的情况下发生误触控以及触控体在离触控区域较远的情况下发生误触控的情况。
图2为本实施例提供的另一触控系统的结构示意图，本实施例提供的触控系统为在上述实施例提供的触控系统的基础上增加投影设备104。
如图2所示，本实施例提供的触控系统，第一相机101、第二相机102和投影设备104均与处理器103连接。
投影设备104用于对投射对象进行投射，产生投影画面。本实施例中投影画面相当于上述实施的触控区域。投影设备104可以是长焦的投影设备。
第一相机101，用于采集第一点云图像和第二点云图像，第一点云图像为包括触控平面的点云图像，第二点云图像为包括触控平面和预设区域的点云图像。
第二相机102，用于采集第三图像，第三图像为预设区域的图像。第三图像与第二点云图像的采集时刻相同。
处理器103，用于依据第一点云图像，确定触控平面的位置坐标，依据触控平面的位置坐标，从第二点云图像中确定不包括在触控平面内的第一点云，并从第三图像中确定第一点云对应的图像是否包含触控体，如果是，则在触控体对应的第一点云与触控平面的之间的距离小于或等于阈值的情况下，确定触控体发生触控动作。
处理器103还用于，并将触控体对应的第一点云的位置坐标发送至投影设备104。其中，触控体对应的第一点云可以是投影设备104坐标系的坐标，处理器103可以依据预先存储的预先存储的第一相机101、第二相机102以及投影设备之间的标定参数，将触控体对应的第一点云在第一相机的坐标，或触控体对应的第一点云在第一相机的坐标转换为在投影设备坐标系的坐标。
投影设备104还用于，根据接收到处理器发送的触控体对应的第一点云的位置坐标，执行预设的触控响应指令，例如第一点云的位置坐标在投影画面为一个预设的应用程序，则执行启动该应用程序的指令。
需要说明的是，进一步的，可以根据第一点云的位置坐标与触控平面的距离随时长的变化、以及第一点云的位置坐标在投影画面中的区域，识别出手势，执行手势对应的触控响应指令。
例如，第一点云的位置坐标与触控平面的距离小于或等于阈值，即发生触控的时长持续第一时长(如2秒)，则确定手势为点击，发生触控的时长持续第二时长(例如5秒)，则确定手势为选中，在此情况下，如果第一点云的位置坐标发生了变化但仍保持触控状态，则确定手势为滑动，进一步的，如果第一点云的位置坐标在投影画面中的滑动条上，则确定手势为滑动滑动条，如果第一点云的位置坐标在投影画面中的某个图标上，则确定手势为拖动图标。
可以理解的是，识别出手势的步骤，可以由处理器执行，也可以由投影设备执行，这里不做限定。识别手势的具体规则，可以按需设置。
本实施例中，第一相机101、第二相机102处理器103的功能具体实现方式可以参考上述实施例，此处不再赘述。
本实施例提供的触控系统，包括：第一相机、第二相机和投影设备和处理器。通过本实施例提供的触控系统，且只有用户使用触控体进行触控的情况下，第二点云图像中才会包含触控体，且只有触控体对应的第一点云与触控平面的之间的距离小于或等于阈值的情况下，才确定触控体发生了触控，从而可以避免用户在不使用触控体的情况下发生误触控以及触控体在离触控区域较远的情况下发生误触控的情况。即本实施例提供的方法可以实现准确高的投影触控。
图3为本实施例提供的一种触控方法的流程图，应用于触控系统，所述方法包括以下步骤：
S301、获取第一点云图像、第二点云图像以及第三图像；所述第一点云图像为所述触控系统的第一相机采集的包括触控平面的点云图像；所述二点云图像为所述第一相机采集的包括所述触控平面和预设区域的点云图像；所述第三图像为所述触控系统的第二相机采集的所述预设区域的图像；
S302、依据所述第一点云图像，确定所述触控平面的位置坐标；
S303、依据所述触控平面的位置坐标，从所述第二点云图像中确定不包括在所述触控平面内的第一点云；
S304、从所述第三图像中确定所述第一点云对应的图像是否包含触控体，如果是，则在所述触控体对应的所述第一点云与所述触控平面的之间的距离小于或等于阈值的情况下，确定所述触控体发生触控动作。
上述的方法，可选的，在所述依据所述第一点云图像，确定所述触控平面的位置坐标之前，还包括：
从所述第一点云图像中筛选包括在预设触控区域之内的点云，并将所述点云构成的最大面积的平面作为所述触控平面。
上述的方法，可选的，在所述将所述点云构成的最大面积的平面作为所述触控平面之后，还包括：
获取所述触控平面的面积以及所述预设触控区域的面积，在所述触控平面的面积与所述预设触控区域的面积的比例小于或等于阈值的情况下，不响应所述触控体发生的触控动作。
上述的方法，可选的，所述依据所述触控平面的位置坐标，从所述第二点云图像中确定不包括在所述触控平面内的第一点云，包括：
获取所述第二点云图像中各个点云的位置坐标，并将所述位置坐标不在所述触控平面的位置坐标范围内的点云作为所述第一点云。
上述的方法，可选的，所述从所述第三图像中确定所述第一点云对应的图像是否包含触控体，包括：
根据预先存储的所述第一相机和所述第二相机之间的标定参数，将所述第一点云在所述第二点云图的第一位置坐标转换为在所述第三图像的第二位置坐标；
对所述第三图像中所述第二位置坐标对应的图像进行识别，确定所述第二位置坐标对应的所述图像是否包含所述触控体。
上述的方法，可选的，所述第三图像为红外图像。
上述的方法，可选的，还包括，在在确定所述触控体发生触控动作后，将所述触控体对应的所述第一点云的位置坐标发送至所述触控系统的投影设备，使所述投影设备根据接收到的所述触控体对应的所述第一点云的位置坐标，执行预设的触控响应指令。
上述的方法，可选的，所述第二点云图像和所述第三图像为分别为所述第一相机和所述第二相机在同一时刻采集的图像。
上述的方法，可选的，所述触控体对应的所述第一点云与所述触控平面的之间的距离小于或等于阈值为：所述第一点云中至少包括一个与所述触控平面的之间的距离小于或等于所述阈值的点云。
本实施例提供的触控方法，获取第一点云图像、第二点云图像以及第三图像，依据第一点云图像，确定触控平面的位置坐标，依据触控平面的位置坐标，从第二点云图像中确定不包括在触控平面内的第一点云，从第三图像中确定第一点云对应的图像是否包含触控体，如果是，则在触控体对应的第一点云与触控平面的之间的距离小于或等于阈值的情况下，确定触控体发生触控动作。本申请提供的方法，只有用户使用触控体进行触控的情况下，第二点云图像中才会包含触控体，且只有触控体对应的第一点云与触控平面的之间的距离小于或等于阈值的情况下，才确定触控体发生了触控，从而可以避免用户在不使用触控体的情况下发生误触控以及触控体在离触控区域较远的情况下发生误触控的情况。
本申请还提供了一种电子设备400，其结构示意图如图4所示，包括：处理器401和存储器402，存储器402用于存储应用程序，处理器401用于执行应用程序，以实现本申请提供的触控方法，即执行以下步骤：
获取第一点云图像、第二点云图像以及第三图像；所述第一点云图像为所述触控系统的第一相机采集的包括触控平面的点云图像；所述二点云图像为所述第一相机采集的包括所述触控平面和预设区域的点云图像；所述第三图像为所述触控系统的第二相机采集的所述预设区域的图像；
依据所述第一点云图像，确定所述触控平面的位置坐标；
依据所述触控平面的位置坐标，从所述第二点云图像中确定不包括在所述触控平面内的第一点云；
从所述第三图像中确定所述第一点云对应的图像是否包含触控体，如果是，则在所述触控体对应的所述第一点云与所述触控平面的之间的距离小于或等于阈值的情况下，确定所述触控体发生触控动作。
本申请还提供了一种计算机可读存储介质，计计算机可读存储介质中存储有指令，当其在计算机上运行时，使得计算机执本申请的触控方法，即执行以下步骤：
获取第一点云图像、第二点云图像以及第三图像；所述第一点云图像为所述触控系统的第一相机采集的包括触控平面的点云图像；所述二点云图像为所述第一相机采集的包括所述触控平面和预设区域的点云图像；所述第三图像为所述触控系统的第二相机采集的所述预设区域的图像；
依据所述第一点云图像，确定所述触控平面的位置坐标；
依据所述触控平面的位置坐标，从所述第二点云图像中确定不包括在所述触控平面内的第一点云；
从所述第三图像中确定所述第一点云对应的图像是否包含触控体，如果是，则在所述触控体对应的所述第一点云与所述触控平面的之间的距离小于或等于阈值的情况下，确定所述触控体发生触控动作。
需要说明的是，本说明书中的各个实施例均采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似的部分互相参见即可。对于装置类实施例而言，由于其与方法实施例基本相似，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。
最后，还需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
为了描述的方便，描述以上装置时以功能分为各种单元分别描述。当然，在实施本发明时可以把各单元的功能在同一个或多个软件和/或硬件中实现。
通过以上的实施方式的描述可知，本领域的技术人员可以清楚地了解到本发明可借助软件加必需的通用硬件平台的方式来实现。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例或者实施例的某些部分所述的方法。
对所公开的实施例的上述说明，使本领域专业技术人员能够实现或使用本申请。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本申请的精神或范围的情况下，在其它实施例中实现。因此，本申请将不会被限制于本文所示的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。

Claims (15)

1.一种触控系统，其特征在于，包括：第一相机、第二相机和处理器；所述第一相机和所述第二相机均与所述处理器连接；
所述第一相机，用于采集第一点云图像和第二点云图像，所述第一点云图像为包括触控平面的点云图像，所述第二点云图像为包括所述触控平面和预设区域的点云图像；
所述第二相机，用于采集第三图像，所述第三图像为所述预设区域的图像；所述第三图像与所述第二点云图像的采集时刻相同；
所述处理器，用于依据所述第一点云图像，确定所述触控平面的位置坐标，依据所述触控平面的位置坐标，从所述第二点云图像中确定不包括在所述触控平面内的第一点云，并从所述第三图像中确定所述第一点云对应的图像是否包含触控体，如果是，则在所述触控体对应的所述第一点云与所述触控平面的之间的距离小于或等于阈值的情况下，确定所述触控体发生触控动作；
其中，所述处理器用于从所述第三图像中确定所述第一点云对应的图像是否包括预设的触控体，包括：
所述处理器具体用于：所述处理器根据预先存储的所述第一相机和所述第二相机之间的标定参数，将所述第一点云在所述第二点云图像的第一位置坐标转换为在所述第三图像的第二位置坐标，并对所述第三图像中所述第二位置坐标对应的图像进行识别，确定所述第二位置坐标对应的所述图像是否包含所述触控体。
2.根据权利要求1所述的触控系统，其特征在于，所述处理器还用于：
从所述第一点云图像中筛选包括在预设的触控区域之内的点云，并将所述点云构成的最大面积的平面，作为所述触控平面。
3.根据权利要求2所述的触控系统，其特征在于，所述处理器还用于：
获取所述触控平面的面积以及所述触控区域的面积，在所述触控平面的面积与所述触控区域的面积的比例小于或等于阈值的情况下，不响应所述触控体发生的触控动作。
4.根据权利要求1所述的触控系统，其特征在于，所述处理器用于依据所述触控平面的位置坐标，从所述第二点云图像中确定不包括在所述触控平面内的第一点云，包括：
所述处理器具体用于：
获取所述第二点云图像中各个点云的位置坐标，并将所述位置坐标不在所述触控平面的位置坐标范围内的点云作为所述第一点云。
5.根据权利要求1所述的触控系统，其特征在于，所述第一相机为三维相机，所述第二相机为红外相机，所述第三图像为红外图像。
6.根据权利要求1所述的触控系统，其特征在于，还包括投影设备，所述投影设备与所述处理器连接；
所述处理器还用于，在确定所述触控体发生触控动作后，将所述触控体对应的所述第一点云的位置坐标发送至所述投影设备；
所述投影设备用于，根据接收到所述处理器发送的所述触控体对应的所述第一点云的位置坐标，执行预设的触控响应指令。
7.一种触控方法，其特征在于，应用于触控系统，所述方法包括：
获取第一点云图像、第二点云图像以及第三图像；所述第一点云图像为所述触控系统的第一相机采集的包括触控平面的点云图像；所述第二点云图像为所述第一相机采集的包括所述触控平面和预设区域的点云图像；所述第三图像为所述触控系统的第二相机采集的所述预设区域的图像；所述第三图像与所述第二点云图像的采集时刻相同；
依据所述第一点云图像，确定所述触控平面的位置坐标；
依据所述触控平面的位置坐标，从所述第二点云图像中确定不包括在所述触控平面内的第一点云；
从所述第三图像中确定所述第一点云对应的图像是否包含触控体，如果是，则在所述触控体对应的所述第一点云与所述触控平面的之间的距离小于或等于阈值的情况下，确定所述触控体发生触控动作；
其中，所述从所述第三图像中确定所述第一点云对应的图像是否包含触控体，包括：
根据预先存储的所述第一相机和所述第二相机之间的标定参数，将所述第一点云在所述第二点云图像的第一位置坐标转换为在所述第三图像的第二位置坐标；
对所述第三图像中所述第二位置坐标对应的图像进行识别，确定所述第二位置坐标对应的所述图像是否包含所述触控体。
8.根据权利要求7所述的方法，其特征在于，在所述依据所述第一点云图像，确定所述触控平面的位置坐标之前，还包括：
从所述第一点云图像中筛选包括在预设触控区域之内的点云，并将所述点云构成的最大面积的平面作为所述触控平面。
9.根据权利要求8所述的方法，其特征在于，在所述将所述点云构成的最大面积的平面作为所述触控平面之后，还包括：
获取所述触控平面的面积以及所述预设触控区域的面积，在所述触控平面的面积与所述预设触控区域的面积的比例小于或等于阈值的情况下，不响应所述触控体发生的触控动作。
10.根据权利要求7所述的方法，其特征在于，所述依据所述触控平面的位置坐标，从所述第二点云图像中确定不包括在所述触控平面内的第一点云，包括：
获取所述第二点云图像中各个点云的位置坐标，并将所述位置坐标不在所述触控平面的位置坐标范围内的点云作为所述第一点云。
11.根据权利要求7所述的方法，其特征在于，所述第三图像为红外图像。
12.根据权利要求7所述的方法，其特征在于，还包括，在确定所述触控体发生触控动作后，将所述触控体对应的所述第一点云的位置坐标发送至所述触控系统的投影设备，使所述投影设备根据接收到的所述触控体对应的所述第一点云的位置坐标，执行预设的触控响应指令。
13.根据权利要求7所述的方法，其特征在于，所述触控体对应的所述第一点云与所述触控平面的之间的距离小于或等于阈值为：所述第一点云中至少包括一个与所述触控平面的之间的距离小于或等于所述阈值的点云。
14.一种电子设备，其特征在于，包括：处理器和存储器，所述存储器用于存储程序；所述处理器用于运行所述程序，以实现权利要求7-13任一项所述的触控方法。
15.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质中存储有指令，当其在计算机上运行时，使得计算机执行权利要求7-13任一项所述的触控方法。
CN202110006855.5A 2021-01-05 2021-01-05 触控系统及方法、电子设备及计算机可读存储介质 Active CN114756162B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110006855.5A CN114756162B (zh) 2021-01-05 2021-01-05 触控系统及方法、电子设备及计算机可读存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110006855.5A CN114756162B (zh) 2021-01-05 2021-01-05 触控系统及方法、电子设备及计算机可读存储介质

Publications (2)

Publication Number Publication Date
CN114756162A CN114756162A (zh) 2022-07-15
CN114756162B true CN114756162B (zh) 2023-09-05

Family

ID=82324424

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110006855.5A Active CN114756162B (zh) 2021-01-05 2021-01-05 触控系统及方法、电子设备及计算机可读存储介质

Country Status (1)

Country Link
CN (1) CN114756162B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116055694B (zh) * 2022-09-02 2023-09-01 深圳市极米软件科技有限公司 一种投影图像控制方法、装置、设备及存储介质

Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2012174406A1 (en) * 2011-06-15 2012-12-20 University Of Washington Methods and systems for haptic rendering and creating virtual fixtures from point clouds
CN104216560A (zh) * 2014-08-19 2014-12-17 深圳市钛客科技有限公司 移动设备及实现移动设备空中触控的系统、控制装置
CN106610757A (zh) * 2016-08-26 2017-05-03 北京数科技有限公司 一种投影触控方法、装置及设备
CN107515714A (zh) * 2017-07-27 2017-12-26 歌尔股份有限公司 一种手指触控识别方法、装置和触控投影设备
CN108089772A (zh) * 2018-01-15 2018-05-29 潍坊歌尔电子有限公司 一种投影触控方法和装置
WO2018222248A1 (en) * 2017-06-02 2018-12-06 Apple Inc. Method and device for detecting planes and/or quadtrees for use as a virtual substrate
CN109816723A (zh) * 2017-11-21 2019-05-28 深圳光峰科技股份有限公司 投影控制方法、装置、投影交互系统及存储介质
CN110221732A (zh) * 2019-05-15 2019-09-10 青岛小鸟看看科技有限公司 一种触控投影系统和触控动作识别方法
CN110308817A (zh) * 2019-06-10 2019-10-08 青岛小鸟看看科技有限公司 一种触控动作识别方法及触控投影系统
CN111683840A (zh) * 2019-06-26 2020-09-18 深圳市大疆创新科技有限公司 可移动平台的交互方法、系统、可移动平台及存储介质
CN112106111A (zh) * 2019-07-30 2020-12-18 深圳市大疆创新科技有限公司 一种标定方法、设备、可移动平台及存储介质

Patent Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2012174406A1 (en) * 2011-06-15 2012-12-20 University Of Washington Methods and systems for haptic rendering and creating virtual fixtures from point clouds
CN104216560A (zh) * 2014-08-19 2014-12-17 深圳市钛客科技有限公司 移动设备及实现移动设备空中触控的系统、控制装置
CN106610757A (zh) * 2016-08-26 2017-05-03 北京数科技有限公司 一种投影触控方法、装置及设备
WO2018036229A1 (zh) * 2016-08-26 2018-03-01 青岛海尔股份有限公司 一种投影触控方法、装置及设备
WO2018222248A1 (en) * 2017-06-02 2018-12-06 Apple Inc. Method and device for detecting planes and/or quadtrees for use as a virtual substrate
CN107515714A (zh) * 2017-07-27 2017-12-26 歌尔股份有限公司 一种手指触控识别方法、装置和触控投影设备
CN109816723A (zh) * 2017-11-21 2019-05-28 深圳光峰科技股份有限公司 投影控制方法、装置、投影交互系统及存储介质
CN108089772A (zh) * 2018-01-15 2018-05-29 潍坊歌尔电子有限公司 一种投影触控方法和装置
CN110221732A (zh) * 2019-05-15 2019-09-10 青岛小鸟看看科技有限公司 一种触控投影系统和触控动作识别方法
CN110308817A (zh) * 2019-06-10 2019-10-08 青岛小鸟看看科技有限公司 一种触控动作识别方法及触控投影系统
CN111683840A (zh) * 2019-06-26 2020-09-18 深圳市大疆创新科技有限公司 可移动平台的交互方法、系统、可移动平台及存储介质
CN112106111A (zh) * 2019-07-30 2020-12-18 深圳市大疆创新科技有限公司 一种标定方法、设备、可移动平台及存储介质

Also Published As

Publication number Publication date
CN114756162A (zh) 2022-07-15

Similar Documents

Publication Publication Date Title
CN108989678B (zh) 一种图像处理方法、移动终端
US9035889B2 (en) Information processing apparatus and information processing method
EP2996067A1 (en) Method and device for generating motion signature on the basis of motion signature information
CN111527468A (zh) 一种隔空交互方法、装置和设备
CN102196176A (zh) 信息处理设备、信息处理方法和程序
CN114138121B (zh) 用户手势识别方法、装置、系统、存储介质及计算设备
TW201939260A (zh) 一種利用手勢模擬滑鼠操作的方法、裝置及終端
WO2017029749A1 (ja) 情報処理装置、その制御方法、プログラム、及び記憶媒体
WO2022222510A1 (zh) 交互控制方法、终端设备及存储介质
CN109246351B (zh) 一种构图方法及终端设备
JP2012238293A (ja) 入力装置
CN112486394A (zh) 信息处理方法、装置、电子设备及可读存储介质
CN114756162B (zh) 触控系统及方法、电子设备及计算机可读存储介质
WO2023273372A1 (zh) 手势识别对象确定方法及装置
WO2018040733A1 (zh) 虚拟键盘输入方法和装置及机器人
CN115565241A (zh) 手势识别对象确定方法及装置
CN111986229A (zh) 视频目标检测方法、装置及计算机系统
CN112788244B (zh) 拍摄方法、拍摄装置和电子设备
CN108227923A (zh) 一种基于体感技术的虚拟触控系统和方法
JP6452658B2 (ja) 情報処理装置、およびその制御方法ならびにプログラム
CN110213407A (zh) 一种电子装置的操作方法、电子装置和计算机存储介质
CN111093030B (zh) 一种设备控制方法及电子设备
CN112529770A (zh) 图像处理方法、装置、电子设备和可读存储介质
US9395895B2 (en) Display method and apparatus, and electronic device
CN113610944A (zh) 一种线条绘制方法、装置、设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant