CN113760131B - 投影触控处理方法、装置及计算机可读存储介质 - Google Patents
投影触控处理方法、装置及计算机可读存储介质 Download PDFInfo
- Publication number
- CN113760131B CN113760131B CN202110894349.4A CN202110894349A CN113760131B CN 113760131 B CN113760131 B CN 113760131B CN 202110894349 A CN202110894349 A CN 202110894349A CN 113760131 B CN113760131 B CN 113760131B
- Authority
- CN
- China
- Prior art keywords
- distance
- operator
- projector
- projection surface
- projection
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
- G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
- G06F3/042—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means
- G06F3/0425—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means using a single imaging device like a video camera for tracking the absolute position of a single or a plurality of objects with respect to an imaged reference surface, e.g. video camera imaging a display or a projection screen, a table or a wall surface, on which a computer generated image is displayed or projected
-
- G—PHYSICS
- G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
- G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
- G03B21/00—Projectors or projection-type viewers; Accessories therefor
- G03B21/54—Accessories
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
- G06F21/30—Authentication, i.e. establishing the identity or authorisation of security principals
- G06F21/31—User authentication
- G06F21/32—User authentication using biometric data, e.g. fingerprints, iris scans or voiceprints
Abstract
本申请公开了一种投影仪散热控制方法、装置、投影仪和计算机可读存储介质,该方法包括:检测投影面朝向投影仪一侧是否存在操作者;若投影面朝向投影仪一侧存在操作者,则检测操作者的手部与投影面的距离是否小于预设感应距离;若小于预设感应距离,则获取操作者的手部在投影面的悬停位置;分别向悬停位置分别投影第一红外点和第二红外点;获取第一红外光点和第二红外点在操作者的手部的光点间距;根据安装间距、光点间距以及移动设备的安装位置至悬停位置的实际投影距离,获取第一红外点至悬停位置的触控间距;若触控间距小于预设手部宽度,则响应操作者的手部的触控操作。本申请无需大幅度增加硬件成本,实现高准确性地实现了用户与投影机的触控交互。
Description
技术领域
本申请涉及投影触控识别技术领域,尤其涉及一种投影触控处理方法、装置及计算机可读存储介质。
背景技术
随着投影技术的发展,投影仪的性价比越来越高,使用智能投影仪的用户越来越多。利用投影仪做儿童教育、游戏互动、工作沟通等场景的应用越来越多,但是当前的投影仪普遍只能用遥控器交互,无法直接在投影画面上触控交互。若想实现触控交互,硬件上需要添加对应的3D摄像头模组,并还需要提高投影仪本身的CPU(central processing unit,中央处理器)的性能,增大RAM(Random Access Memory,随机存取存储器)的配置,成本非常昂贵,如何在不大幅增加硬件成本的情况下实现触控交互为亟需解决的技术问题。
发明内容
本申请实施例的主要目的在于提供一种投影触控处理方法、装置及计算机可读存储介质,旨在不大幅增加硬件成本的情况下实现投影机的触控交互。
为实现上述目的,本申请实施例提供一种基于移动设备的投影触控处理方法,所述投影触控处理方法包括以下步骤:
基于移动设备的深度摄像头检测投影面朝向投影仪一侧是否存在操作者,所述移动设备与投影仪并行设置且与投影面平行;
若存在操作者,则基于深度摄像头检测操作者的手部与投影面的距离是否小于预设感应距离;
若小于预设感应距离,则获取所述操作者的手部在投影面的悬停位置;
控制移动设备的第一红外发射器和投影仪的第二红外发射器分别向所述悬停位置分别投影第一红外点和第二红外点;
获取第一红外光点和第二红外点在操作者的手部的光点间距;
根据移动设备与投影仪之间的安装间距、光点间距以及移动设备至悬停位置的实际投影距离,获取第一红外点至悬停位置的触控间距;
若触控间距小于预设手部宽度,则响应操作者的手部的触控操作。
可选地,所述投影触控交互方法应用于投影触控系统,所述投影触控系统包括相互通信连接的移动设备和投影仪,所述移动设备的拍摄方向与投影仪的投影方向一致并均朝向投影面,所述移动设备包括深度摄像头、第一红外发射器和红外摄像头,所述投影仪包括光机和第二红外发射器。
可选地,所述投影触控处理方法包括:
在投影面、投影机和移动设备安装完成之后,获取移动设备的安装位置与投影机的安装位置之间的安装间距;
获取移动设备的安装位置与投影面各预置位置点之间的投影距离,建立移动设备相对投影面的预置位置点与投影距离映射表。
可选地,所述基于移动设备的深度摄像头检测投影面朝向投影机一侧是否存在操作者的步骤包括:
基于移动设备的深度摄像头检测投影面朝向投影机一侧是否存在人体骨骼关键点框架;
若存在人体骨骼关键点框架,则识别所述人体骨骼关键点框架是否存在手臂指示动作;
若存在手臂指示动作,则判定存在操作者。
在所述基于移动设备的深度摄像头检测投影面朝向投影仪一侧是否存在操作者的步骤之前包括:
建立移动设备与投影仪之间的无线连接,逐个控制所述第一红外发射器和第二红外发射器射向所述投影面的预置位置点,并获取每个预置位置点距离投影面预设感应距离内各参考距离的图像光点距离和实景光点距离,其中,所述图像光点距离为测量所述移动设备的红外摄像头的拍摄图像获得,所述实景光点距离为测量实景两光点间距获得,以建立投影面上各预置位置点在距离投影面预设感应距离内各参考距离的图像光点距离和实景光点距离的第二映射表;
所述获取第一红外光点和第二红外点在所述操作者的手部的光点间距的步骤包括:
所述基于移动设备的红外摄像头,获取所述第一红外光点和第二红外点在所述操作者的手部的当前图像光点距离;
在第二映射表中查询所述悬停位置对应预置位置点的所述当前图像光点距离关联的当前实景光点距离,将所述当前实景光点距离作为光点间距。
可选地,根据移动设备与投影仪之间的安装间距、光点间距以及移动设备的安装位置至悬停位置的实际投影距离,获取第一红外点至悬停位置的触控间距的步骤包括:
设置移动设备与投影仪两安装位置之间的安装间距为L,设置所述光点间距为I,设置所述实际投影距离为S,设置所述触控间距为X,
基于公式:I/L=X/S,得到所述触控间距X=(I/L)*S。
可选地,在所述响应操作者的手部的触控操作的步骤之前,还包括:
控制所述投影仪在所述悬停位置投影预设波纹区,所述预设波纹区以所述悬停位置为几何中心并向周边持续散发透明波纹。
可选地,在控制所述投影仪在所述悬停位置投影预设波纹区的步骤之后,还包括:
若检测到所述操作者的手部出现移动,则将所述操作者的手部移动后的悬停位置作为新的悬停位置。
可选地,在检测到投影面朝向投影机一侧存在操作者之后,还包括:
对所述操作者进行人脸识别或手势识别的前置权限验证,若前置权限验证通过,则执行所述基于所述深度摄像头检测操作者的手部与投影面的距离是否小于预设感应距离的步骤。
为实现上述发明目的,本申请还提供一种投影触控处理装置,所述投影触控处理装置包括:存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序,所述计算机程序被所述处理器执行时实现上述的投影触控处理方法的步骤。
为实现上述发明目的,本申请还提供一种可读存储介质,所述可读存储介质上存储有计算机程序,所述计算机程序被处理器执行时实现如上所述的投影触控处理方法的步骤。
本申请通过利用移动设备的深度摄像头进行是否存在操作者以及操作者的手部与投影面的距离是否小于预设感应距离的判断,然后确定悬停位置之后,获取第一红外光点和第二红外点在操作者的手部的光点间距,根据移动设备与投影仪两安装位置之间的安装间距、光点间距以及移动设备的安装位置至悬停位置的实际投影距离,获取第一红外点至悬停位置的触控间距,仅在触控间距小于预设手部宽度,则响应所述操作者的手部的触控操作,先后基于移动设备的深度摄像头进行手部与投影面距离的初级识别、第一红外点和第二红外点在操作者手部的二次识别已得到光点间距,再得到触控间距之后,最后进行关于预设手部宽度的三级识别,以准确响应操作者的手部的触控操作,不需要投影仪增加高性能的CPU和RAM,无需大幅度增加硬件成本,高准确性地实现了用户与投影机的触控交互。
附图说明
图1为本申请实施例一个可选实施例的投影仪的硬件结构示意图;
图2为本申请投影触控处理方法的流程示意图;
图3为本申请投影触控处理方法应用的投影触控系统的场景示意图;
图4为本申请投影触控处理方法一实施例中移动设备和投影仪分别投射第一红外光点和第二红外光点在操作者的手部成像的场景示意图;
图5为人体骨骼关键点一实现形式的场景示意图。
本申请目的的实现、功能特点及优点将结合实施例,参照附图做进一步说明。
具体实施方式
应当理解,此处所描述的具体实施例仅仅用以解释本申请,并不用于限定本申请。
在后续的描述中,使用用于表示元件的诸如“模块”、“部件”或“单元”的后缀仅为了有利于本申请的说明,其本身没有特定的意义。因此,“模块”、“部件”或“单元”可以混合地使用。
本发明基于移动设备的投影触控处理方法的实施设备可为投影仪,该投影仪可以包括:处理器1001,例如CPU,网络接口1004,用户接口1003,存储器1005,通信总线1002。其中,通信总线1002用于实现这些组件之间的连接通信。用户接口1003可以包括显示屏(Display)、触控屏,可选用户接口1003还可以包括标准的有线接口、无线接口。网络接口1004可选的可以包括标准的有线接口、无线接口(如WI-FI接口)。存储器1005可以是高速RAM存储器,也可以是稳定的存储器(non-volatile memory),例如磁盘存储器。存储器1005可选的还可以是独立于前述处理器1001的存储装置。
可选地,投影仪还可以包括摄像头、RF(Radio Frequency,射频)电路,传感器、音频电路、WiFi模块、第二红外发送器等等。其中,传感器比如光传感器以及其他传感器。具体地,光传感器可包括环境光传感器及接近传感器,其中,环境光传感器可根据环境光线的明暗来调节显示屏的亮度,接近传感器可在投影仪远离用户时,关闭显示屏和/或背光。
本领域技术人员可以理解,图1中示出的投影仪结构并不构成对投影仪的限定,可以包括比图示更多或更少的部件,或者组合某些部件,或者不同的部件布置。
如图1所示,作为一种计算机存储介质的存储器1005中可以包括操作系统、网络通信模块、用户接口模块以及投影仪散热控制程序。
在图1所示的终端中,网络接口1004主要用于连接后台服务器,与后台服务器进行数据通信;用户接口1003主要用于连接客户端(用户端),与客户端进行数据通信;而处理器1001可以用于调用存储器1005中存储的投影仪散热控制程序,并执行以下操作:
建立移动设备与投影仪之间的无线连接,基于移动设备的深度摄像头检测投影面朝向投影仪一侧是否存在操作者;
若投影面朝向投影仪一侧存在操作者,则基于所述深度摄像头检测操作者的手部与投影面的距离是否小于预设感应距离;
若所述操作者的手部与投影面的距离小于预设感应距离,则获取所述操作者的手部在投影面的悬停位置;
控制第一红外发射器和第二红外发射器分别向所述悬停位置分别投影第一红外点和第二红外点,其中,所述第一红外点和第二红外点在投影面的悬停位置重合;
基于移动设备的红外摄像头,获取所述第一红外光点和第二红外点在所述操作者的手部的光点间距;
根据所述移动设备与投影仪两安装位置之间的安装间距、所述光点间距以及移动设备的安装位置至所述悬停位置的实际投影距离,获取所述第一红外点至所述悬停位置的触控间距;
若触控间距小于预设手部宽度,则响应所述操作者的手部的触控操作。
在本申请中,主要利用移动设备(如智能手机)和投影仪的配合通讯,借用移动设备的深度摄像头和AI算法,粗略计算出投影面之前的操作者的手部距离投影面较近或触碰到投影面时,基于移动设备计算出操作者的手部触控投影面的悬停位置,移动设备利用蓝牙和wifi将信息传给投影仪,从而投影仪知晓操作者的手部有触控投影面的需求且获取到操作者的手部触控的悬停位置,在控制移动设备的第一红外发射器以及投影仪的第二红外发射器向投影面上的悬停位置分别投影第一红外点和第二红外点,此第一红外点和第二红外点在投影面的悬停位置重合;然后基于移动设备的红外摄像头,获取所述第一红外光点和第二红外点在所述操作者的手部的光点间距;再者,根据所述移动设备与投影仪两安装位置之间的安装间距、所述光点间距以及移动设备的安装位置至所述悬停位置的实际投影距离,获取所述第一红外点至所述悬停位置的触控间距;在触控间距小于预设手部宽度时,表明操作者的手部极大概率触碰到了投影面上的悬停位置,此时投影仪响应所述操作者的手部的触控操作。
本申请提供一种基于移动设备的投影触控处理方法,所述投影触控交互方法应用于投影触控系统,所述投影触控系统包括相互通信连接的移动设备和投影仪,所述移动设备的拍摄方向与投影仪的投影方向一致并均朝向投影面,所述移动设备包括深度摄像头、第一红外发射器和红外摄像头,所述投影仪包括光机和第二红外发射器,参照图2,所述投影触控处理方法包括以下步骤:
步骤S10,基于移动设备的深度摄像头检测投影面朝向投影仪一侧是否存在操作者,所述移动设备与投影仪并行设置且与投影面平行;
具体的,步骤S10为:建立移动设备与投影仪之间的无线连接,基于移动设备的深度摄像头检测投影面朝向投影仪一侧是否存在操作者;
移动设备可以是智能手机,移动设备与投影仪通过蓝牙或wifi建立无线连接,移动设备与投影仪之间可进行数据交互。移动设备配置有深度摄像头,深度摄像头可检测出拍摄方向上人或物的大致距离,一般可精确到10cm级的精度左右的深度判断。深度摄像头的测距原理至少包括双目匹配法,利用双RGB摄像头(红绿蓝三原色摄像头)和可选的照明系统,双目匹配采用三角测量原理,即目标点在两个RGB摄像头成像的左右两幅视图中成像的横坐标之间存在的差异(即视差)与目标点成像平面的距离成反比例的关系,进而基于这种反比例关系得到深度信息,也就是说利用图像处理技术,通过寻找两个图像中的相同的特征点得到匹配点,从而得到深度值。
由于深度摄像头一半包括RGB摄像头,且移动设备的深度摄像头的拍摄方向和投影仪的投影方向均正对投影面,可通过深度摄像头对投影面前是否存在对投影面进行触控操作的用户(即操作者),可通过人体骨骼关键点框架识别的方式判断是否存在操作者。
具体地,步骤S10中基于移动设备的深度摄像头检测投影面朝向投影仪一侧是否存在操作者的步骤包括:
步骤A1,基于移动设备的深度摄像头检测投影面朝向投影仪一侧是否存在人体骨骼关键点框架;
人体骨骼关键点框架即将骨骼关键点按照人体构造特点拼成类似“火柴人”的骨骼关键点的框架,人体骨骼关键点框架可包括如下骨骼关键点:头顶、颈部、左肩、右肩、左肘、右肘、左腕、右腕、左髋、右髋、左膝、右膝、左踝、右踝,如图5。
步骤A2,若存在人体骨骼关键点框架,则识别所述人体骨骼关键点框架是否存在手臂指示动作;
步骤A3,若存在手臂指示动作,则判定存在操作者。
若在投影面朝向投影仪的一侧检测到人体骨骼关键点框架,则表明在投影面前存在想对投影面进行触控操作的用户,即存在人形的操作者轮廓。此时,可进一步识别人体骨骼关键点框架是否存在手臂指示动作,若存在手臂指示动作,则判定存在操作者,若不存在手臂指示动作,则判定不存在操作者。
手臂指示动作为骨骼关键点需同时满足:第一条件、第二条件和第三条件,
第一条件为:骨骼关键点颈部至左肩的第一连线与骨骼关键点左肩至左肘的第二连线不为直角(表明第一连线与第二连线垂直,操作者的左手臂贴着身体且未抬起);
第二条件为:骨骼关键点左肩至左肘的第二连线与骨骼关键点左肘至左腕的第三连线不平行(表明第二连线与第三连线平行,操作者的左手臂平举,没有触控操作的动作);
第三条件为:第一连线、第二连线和第三连线不在一个平面(表明操作者的手臂存在异面弯曲,很可能是抬起左手臂点击投影面);
或者,
第一条件为:骨骼关键点颈部至右肩的第一连线与骨骼关键点右肩至右肘的第二连线不为直角(表明第一连线与第二连线垂直,操作者的右手臂贴着身体且未抬起);
第二条件为:骨骼关键点右肩至右肘的第二连线与骨骼关键点右肘至右腕的第三连线不平行(表明第二连线与第三连线平行,操作者的右手臂平举,没有触控操作的动作);
第三条件为:第一连线、第二连线和第三连线不在一个平面(表明操作者的手臂存在异面弯曲,很可能是抬起右手臂点击投影面);
步骤S20,若存在操作者,则基于深度摄像头检测操作者的手部与投影面的距离是否小于预设感应距离;
具体地,步骤S20为:若投影面朝向投影仪一侧存在操作者,则基于所述深度摄像头检测操作者的手部与投影面的距离是否小于预设感应距离;
此外,在投影面、投影仪和移动设备安装完成之后,在步骤S10之前,所述投影触控处理方法包括:
步骤B1,获取移动设备的安装位置与投影仪的安装位置之间的安装间距;
步骤B2,获取移动设备的安装位置与投影面各预置位置点之间的投影距离,建立移动设备相对投影面的预置位置点与投影距离映射表。
如图3所示,投影面、投影仪和移动设备进行相应布局和安装,如图4所示,安装间距为L,投影距离为S,需说明书的是图4中为预置为支点为A点、投影距离为S,投影面上可预设规划多个预置位置点,例如预置位置点为在投影面上呈阵列排布的位置点,预置位置点设置的越多,基于预置位置点与投影距离映射表对投影面上各预置位置点对应投影距离的估算结果越准确。例如,投影面上的预置位置点为横向10个点、纵向10列的点阵列,从而可建立移动设备至这100个预置位置点的投影距离与此对应100个预置位置点的映射表,知晓一个预置位置点,查询所示映射表就可以知晓该预置位置点的投影距离S。
步骤S30,若小于预设感应距离,则获取所述操作者的手部在投影面的悬停位置;
具体的,步骤S30为:若所述操作者的手部与投影面的距离小于预设感应距离,则获取所述操作者的手部在投影面的悬停位置;
再者,深度摄像头可估算出操作者的手部与投影面是否在较近的距离内,具体为在投影面朝向投影仪一侧存在操作者时,基于所述深度摄像头检测操作者的手部与投影面的距离是否小于预设感应距离,若所述操作者的手部与投影面的距离小于预设感应距离,表面操作者的手部距离投影面较近但还无法最终确定是否触碰到投影面,因此进一步获取所述操作者的手部在投影面的悬停位置,悬停位置为操作者手部正投影至投影面的位置。
步骤S40,控制移动设备的第一红外发射器和投影仪的第二红外发射器分别向所述悬停位置分别投影第一红外点和第二红外点;
具体的,步骤S40为:控制第一红外发射器和第二红外发射器分别向所述悬停位置分别投影第一红外点和第二红外点,其中,所述第一红外点和第二红外点在投影面的悬停位置重合;
在确定操作者手部在投影面的悬停位置之后,控制移动设备的第一红外发射器和投影仪的第二红外发射器分别向投影面的悬停位置投影第一红外点和第二红外点,第一红外点和第二红外点在投影面的悬停位置重合,如图4所示,第一红外点和第二红外点在投影面的悬停位置A点重合。
步骤S50,获取第一红外光点和第二红外点在操作者的手部的光点间距;
具体的,步骤S50为:基于移动设备的红外摄像头,获取所述第一红外光点和第二红外点在所述操作者的手部的光点间距;
在步骤S10基于移动设备的深度摄像头检测投影面朝向投影仪一侧是否存在操作者的步骤之前包括:
步骤C,建立移动设备与投影仪之间的无线连接,逐个控制所述第一红外发射器和第二红外发射器射向所述投影面的预置位置点,并获取每个预置位置点距离投影面预设感应距离内各参考距离的图像光点距离和实景光点距离,其中,所述图像光点距离为测量所述移动设备的红外摄像头的拍摄图像获得,所述实景光点距离为测量实景两光点间距获得,以建立投影面上各预置位置点在距离投影面预设感应距离内各参考距离的图像光点距离和实景光点距离的第二映射表;
例如,预设感应距离为10cm,预设感应距离内的各参考距离包括2cm、4cm、6cm、8cm和10cm,预置位置点包括呈阵列4*4分布在投影面的16个点,分别实际测量第一红外发射器和第二红外发射器射向16个预置位置点时在2cm、4cm、6cm、8cm和10cm五个参考距离处的实景光点距离,可将投影面或另一个投影面放置在五个参考距离处以显现第一红外光点和第二红外光点。同时通过移动设备的红外摄像头分别获取第一红外发射器和第二红外发射器射向16个预置位置点时在2cm、4cm、6cm、8cm和10cm五个参考距离处的图像光点距离。以一个预置位置点对应五个参考距离的图像光点距离和实景光点距离,建立第二映射表,也就是说,在此例子中,第二映射表包括16个预置位置点在五个参考距的图像光点距离和实景光点距离的记录,映射表包括80个记录。
同时,步骤S50包括:
步骤D1,所述基于移动设备的红外摄像头,获取所述第一红外光点和第二红外点在所述操作者的手部的当前图像光点距离;
步骤D2,在第二映射表中查询所述悬停位置对应预置位置点的所述当前图像光点距离关联的当前实景光点距离,将所述当前实景光点距离作为光点间距。
因为操作者的手部悬停在投影面之前,第一红外光点和第二红外点均投影在操作者的手部上,从而通过移动设备的红外摄像头采集第一红外光点和第二红外点在所述操作者的手部的红外成像图像,进而对此红外成像图像中的光点进行测距以得到第一红外光点和第二红外点之间的当前图像光点距离。然后在第二映射表中查表得到当前图像光点距离对应的当前实景光点距离以作为光点间距。如图4所述,光点间距为线段DE。
步骤S60,根据移动设备与投影仪之间的安装间距、光点间距以及移动设备至悬停位置的实际投影距离,获取第一红外点至悬停位置的触控间距;
具体的,步骤S60为:根据所述移动设备与投影仪两安装位置之间的安装间距、所述光点间距以及移动设备的安装位置至所述悬停位置的实际投影距离,获取所述第一红外点至所述悬停位置的触控间距;
具体的,参照图4,设置所述安装间距(即线段BC)为L,设置所述光点间距(即线段DE)为I,设置所述实际投影距离(即线段AB)为S,设置所述触控间距(即线段AD)为X,
基于公式:I/L=X/S,得到所述触控间距X=(I/L)*S。
由于三角形ADE与三角形ABC相似,
因此线段AD/线段AB=线段DE/线段BC,即I/L=X/S,从而得到触控间距X=(I/L)*S。
步骤S70,若触控间距小于预设手部宽度,则响应所述操作者的手部的触控操作。
预设手部宽度为一般人体手部的厚度,如预设手部宽度为2cm,若触控间距小于预设手部宽度,表明操作者的手部贴着或基本贴着投影面了,此时操作手部大概率触碰到了操作面,进而响应所述操作者的手部在投影面悬停位置的触控操作。
在本实施例中,通过利用移动设备的深度摄像头进行是否存在操作者以及操作者的手部与投影面的距离是否小于预设感应距离的判断,然后确定悬停位置之后,获取第一红外光点和第二红外点在操作者的手部的光点间距,根据移动设备与投影仪两安装位置之间的安装间距、光点间距以及移动设备的安装位置至悬停位置的实际投影距离,获取第一红外点至悬停位置的触控间距,仅在触控间距小于预设手部宽度,则响应所述操作者的手部的触控操作,先后基于移动设备的深度摄像头进行手部与投影面距离的初级识别、第一红外点和第二红外点在操作者手部的二次识别已得到光点间距,再得到触控间距之后,最后进行关于预设手部宽度的三级识别,以准确响应操作者的手部的触控操作,不需要投影仪增加高性能的CPU和RAM,无需大幅度增加硬件成本,高准确性地实现了用户与投影机的触控交互。
进一步地,在本申请投影触控处理方法另一实施例中,在步骤S70中响应所述操作者的手部的触控操作的步骤之前,还包括:
步骤E1,控制所述投影仪在所述悬停位置投影预设波纹区,所述预设波纹区以所述悬停位置为几何中心并向周边持续散发透明波纹。
在悬停位置的预设波纹区内的投影内容进行扭曲,但不改变预设波纹区内的投影内容的色彩,生成透明水波纹的效果,预设波纹区用于提醒操作者已经触碰到投影面并即将出发悬停位置对应的触控操作,避免操作者多次对投影面进行重复操作。
具体地,在步骤S70响应所述操作者的手部的触控操作的步骤之前,所述投影触控处理方法还包括:
步骤E2,在确定触控间距小于预设手部宽度之后,此时控制所述投影仪在所述悬停位置投影预设波纹区,所述预设波纹区以所述悬停位置为几何中心并向周边持续散发透明波纹;
步骤E3,若预设时间单元内操作者的手部出现移动,则重新执行所述获取所述操作者的手部在投影面的悬停位置的步骤,以将所述操作者的手部移动后的悬停位置作为新的悬停位置;若预设时间单元内操作者的手部未发生移动,则响应所述操作者的手部的触控操作。
在在确定触控间距小于预设手部宽度之后,表明此时操作者的手部很可能触碰到投影面,此时在悬停位置投影预设波纹区以提醒操作者在当前悬停位置是否具有触控操作的意图。继续通过移动设备的深度摄像头定位操作者的手部位置,若预设时间单元(如1秒)内操作者的手部出现移动,表明此时操作者的手部并非要在悬停位置进行触控操作,因此重新执行所述获取所述操作者的手部在投影面的悬停位置的步骤,以将所述操作者的手部移动后的悬停位置作为新的悬停位置,以继续执行后续步骤。若预设时间单元内操作者的手部未发生移动,表明操作者的手部在当前的悬停位置具有触控操作需求,则响应所述操作者的手部的触控操作。如此,基于预设波纹区对操作者的触控操作需求进行一次验证,进一步提升响应所述操作者的手部的触控操作的准确性。
此外,在多人站在投影面之前的场景下,为了提高对操作者的手部的触控操作的响应速度、节省移动设备的深度摄像头的图像识别所耗费的计算资源,在检测到投影面朝向投影仪一侧存在操作者之后,还包括:
步骤F,对所述操作者进行人脸识别或手势识别的前置权限验证,若前置权限验证通过,则执行所述基于所述深度摄像头检测操作者的手部与投影面的距离是否小于预设感应距离的步骤。
通过人脸识别或空中手势识别,确定在投影面朝向投影仪一侧的操作者是否有与投影面进行触控交互的权限(即前置权限验证),仅对前置权限验证通过的操作者的手部与投影面的距离进行判断,即基于所述深度摄像头仅检测前置权限验证通过的操作者的手部与投影面的距离是否小于预设感应距离。
本申请还提供一种投影触控处理装置,所述投影触控处理装置包括:存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序,所述计算机程序被所述处理器执行时实现上述的投影触控处理方法的步骤。
本申请还提供一种可读存储介质,所述可读存储介质上存储有计算机程序,所述计算机程序被处理器执行时实现如上所述的投影触控处理方法的步骤。
需要说明的是,在本文中,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者装置不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者装置所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括该要素的过程、方法、物品或者装置中还存在另外的相同要素,此外,本申请不同实施例中具有同样命名的部件、特征、要素可能具有相同含义,也可能具有不同含义,其具体含义需以其在该具体实施例中的解释或者进一步结合该具体实施例中上下文进行确定。
应当理解,尽管在本文可能采用术语第一、第二、第三等来描述各种信息,但这些信息不应限于这些术语。这些术语仅用来将同一类型的信息彼此区分开。例如,在不脱离本文范围的情况下,第一信息也可以被称为第二信息,类似地,第二信息也可以被称为第一信息。取决于语境,如在此所使用的词语"如果"可以被解释成为"在……时"或"当……时"或"响应于确定"。再者,如同在本文中所使用的,单数形式“一”、“一个”和“该”旨在也包括复数形式,除非上下文中有相反的指示。应当进一步理解,术语“包含”、“包括”表明存在所述的特征、步骤、操作、元件、组件、项目、种类、和/或组,但不排除一个或多个其他特征、步骤、操作、元件、组件、项目、种类、和/或组的存在、出现或添加。此处使用的术语“或”和“和/或”被解释为包括性的,或意味着任一个或任何组合。因此,“A、B或C”或者“A、B和/或C”意味着“以下任一个:A;B;C;A和B;A和C;B和C;A、B和C”。仅当元件、功能、步骤或操作的组合在某些方式下内在地互相排斥时,才会出现该定义的例外。
应该理解的是,虽然本申请实施例中的流程图中的各个步骤按照箭头的指示依次显示,但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明,这些步骤的执行并没有严格的顺序限制,其可以以其他的顺序执行。而且,图中的至少一部分步骤可以包括多个子步骤或者多个阶段,这些子步骤或者阶段并不必然是在同一时刻执行完成,而是可以在不同的时刻执行,其执行顺序也不必然是依次进行,而是可以与其他步骤或者其他步骤的子步骤或者阶段的至少一部分轮流或者交替地执行。
需要说明的是,在本文中,采用了诸如S10、S20等步骤代号,其目的是为了更清楚简要地表述相应内容,不构成顺序上的实质性限制,本领域技术人员在具体实施时,可能会先执行S20后执行S10等,但这些均应在本申请的保护范围之内。
上述本申请实施例序号仅仅为了描述,不代表实施例的优劣。
通过以上的实施方式的描述,本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现,当然也可以通过硬件,但很多情况下前者是更佳的实施方式。基于这样的理解,本申请的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质(如ROM/RAM、磁碟、光盘)中,包括若干指令用以使得一台终端(可以是手机,计算机,服务器,空调器,或者网络设备等)执行本申请各个实施例所述的方法。
上面结合附图对本申请的实施例进行了描述,但是本申请并不局限于上述的具体实施方式,上述的具体实施方式仅仅是示意性的,而不是限制性的,本领域的普通技术人员在本申请的启示下,在不脱离本申请宗旨和权利要求所保护的范围情况下,还可做出很多形式,这些均属于本申请的保护之内。
Claims (10)
1.一种基于移动设备的投影触控处理方法,其特征在于,所述投影触控处理方法包括以下步骤:
基于移动设备的深度摄像头检测投影面朝向投影仪一侧是否存在操作者,所述移动设备与投影仪并行设置且与投影面平行;
若存在操作者,则基于深度摄像头检测操作者的手部与投影面的距离是否小于预设感应距离;
若小于预设感应距离,则获取所述操作者的手部在投影面的悬停位置;
控制移动设备的第一红外发射器和投影仪的第二红外发射器分别向所述悬停位置分别投影第一红外点和第二红外点;
获取第一红外点和第二红外点在操作者的手部的光点间距;
根据移动设备与投影仪之间的安装间距、光点间距以及移动设备至悬停位置的实际投影距离,获取第一红外点在所述操作者的手部的位置至悬停位置的触控间距;
若触控间距小于预设手部厚度,则响应操作者的手部的触控操作。
2.如权利要求1所述的投影触控处理方法,其特征在于,所述投影触控交互方法应用于投影触控系统,所述投影触控系统包括相互通信连接的移动设备和投影仪,所述移动设备的拍摄方向与投影仪的投影方向一致并均朝向投影面,所述移动设备包括深度摄像头、第一红外发射器和红外摄像头,所述投影仪包括光机和第二红外发射器。
3.如权利要求1所述的投影触控处理方法,其特征在于,所述投影触控处理方法包括:
在投影面、投影仪和移动设备安装完成之后,获取移动设备的安装位置与投影仪的安装位置之间的安装间距;
获取移动设备的安装位置与投影面各预置位置点之间的投影距离,建立移动设备相对投影面的预置位置点与投影距离映射表。
4.如权利要求3所述的投影触控处理方法,其特征在于,所述基于移动设备的深度摄像头检测投影面朝向投影仪一侧是否存在操作者的步骤包括:
基于移动设备的深度摄像头检测投影面朝向投影仪一侧是否存在人体骨骼关键点框架;
若存在人体骨骼关键点框架,则识别所述人体骨骼关键点框架是否存在手臂指示动作;
若存在手臂指示动作,则判定存在操作者。
5.如权利要求4所述的投影触控处理方法,其特征在于,在所述基于移动设备的深度摄像头检测投影面朝向投影仪一侧是否存在操作者的步骤之前包括:
建立移动设备与投影仪之间的无线连接,逐个控制所述第一红外发射器和第二红外发射器射向所述投影面的预置位置点,并获取每个预置位置点距离投影面预设感应距离内各参考距离的图像光点距离和实景光点距离,其中,所述图像光点距离为测量所述移动设备的红外摄像头的拍摄图像获得,所述实景光点距离为测量实景两光点间距获得,以建立投影面上各预置位置点在距离投影面预设感应距离内各参考距离的图像光点距离和实景光点距离的第二映射表;
所述获取第一红外点和第二红外点在所述操作者的手部的光点间距的步骤包括:
所述基于移动设备的红外摄像头,获取所述第一红外点和第二红外点在所述操作者的手部的当前图像光点距离;
在第二映射表中查询所述悬停位置对应预置位置点的所述当前图像光点距离关联的当前实景光点距离,将所述当前实景光点距离作为光点间距。
6.如权利要求5所述的投影触控处理方法,其特征在于,悬停位置为操作者手部正投影至投影面的位置,第一红外点和第二红外点在投影面的悬停位置重合;根据移动设备与投影仪之间的安装间距、光点间距以及移动设备的安装位置至悬停位置的实际投影距离,获取第一红外点在所述操作者的手部的位置至悬停位置的触控间距的步骤包括:
设置移动设备与投影仪两安装位置之间的安装间距为L,设置所述光点间距为I,设置所述实际投影距离为S,设置所述触控间距为X,
基于公式:I/L = X/ S,得到所述触控间距X=(I/L)*S。
7.如权利要求6所述的投影触控处理方法,其特征在于,在所述响应操作者的手部的触控操作的步骤之前,还包括:
控制所述投影仪在所述悬停位置投影预设波纹区,所述预设波纹区以所述悬停位置为几何中心并向周边持续散发透明波纹。
8.如权利要求7所述的投影触控处理方法,其特征在于,在控制所述投影仪在所述悬停位置投影预设波纹区的步骤之后,还包括:
若检测到所述操作者的手部出现移动,则将所述操作者的手部移动后的悬停位置作为新的悬停位置。
9.一种投影触控处理装置,其特征在于,所述投影触控处理装置包括:存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序,所述计算机程序被所述处理器执行时实现如权利要求1至8中任一项所述的投影触控处理方法的步骤。
10.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质上存储有计算机程序,所述计算机程序被处理器执行时实现如权利要求1至8中任一项所述的投影触控处理方法的步骤。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110894349.4A CN113760131B (zh) | 2021-08-05 | 2021-08-05 | 投影触控处理方法、装置及计算机可读存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110894349.4A CN113760131B (zh) | 2021-08-05 | 2021-08-05 | 投影触控处理方法、装置及计算机可读存储介质 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN113760131A CN113760131A (zh) | 2021-12-07 |
CN113760131B true CN113760131B (zh) | 2023-09-22 |
Family
ID=78788556
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202110894349.4A Active CN113760131B (zh) | 2021-08-05 | 2021-08-05 | 投影触控处理方法、装置及计算机可读存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN113760131B (zh) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN115202530B (zh) * | 2022-05-26 | 2024-04-09 | 当趣网络科技(杭州)有限公司 | 一种用户界面的手势交互方法和系统 |
Citations (13)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2014123170A (ja) * | 2012-12-20 | 2014-07-03 | Funai Electric Co Ltd | 位置判定装置及び位置判定方法 |
CN105260021A (zh) * | 2015-10-15 | 2016-01-20 | 深圳市祈锦通信技术有限公司 | 一种智能交互投影系统 |
CN105700736A (zh) * | 2014-12-11 | 2016-06-22 | 株式会社理光 | 输入操作检测设备、投影装置、交互白板和数字标识装置 |
CN106415460A (zh) * | 2016-07-12 | 2017-02-15 | 香港应用科技研究院有限公司 | 具有智能用户输入界面的可穿戴设备 |
WO2017206509A1 (zh) * | 2016-05-30 | 2017-12-07 | 中兴通讯股份有限公司 | 投影区域的适配方法、装置及系统 |
CN107562288A (zh) * | 2017-08-31 | 2018-01-09 | 广东美的制冷设备有限公司 | 基于红外触控装置的响应方法、红外触控装置和介质 |
CN108415600A (zh) * | 2018-03-09 | 2018-08-17 | 宁波宁大教育设备有限公司 | 电磁笔手写笔迹位置矫正方法及装置 |
CN108829294A (zh) * | 2018-04-11 | 2018-11-16 | 卡耐基梅隆大学 | 一种投影触控方法、装置及投影触控设备 |
CN109738157A (zh) * | 2018-12-11 | 2019-05-10 | 信利光电股份有限公司 | 结构光投影器的视场角检测方法、装置及可读存储介质 |
CN110221732A (zh) * | 2019-05-15 | 2019-09-10 | 青岛小鸟看看科技有限公司 | 一种触控投影系统和触控动作识别方法 |
CN112203071A (zh) * | 2020-12-03 | 2021-01-08 | 深圳市当智科技有限公司 | 基于距离传感器水平校正的投影方法、系统及存储介质 |
CN112328195A (zh) * | 2020-10-10 | 2021-02-05 | 当趣网络科技(杭州)有限公司 | 投屏控制方法、系统、电子设备及介质 |
CN112351263A (zh) * | 2020-09-24 | 2021-02-09 | 当趣网络科技(杭州)有限公司 | 一种投影仪对焦方法和系统 |
Family Cites Families (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
TWI479390B (zh) * | 2011-08-19 | 2015-04-01 | Tpk Touch Solutions Inc | 一種光學式觸控系統及其定位方法 |
US20140282239A1 (en) * | 2013-03-15 | 2014-09-18 | Lenovo (Singapore) Pte, Ltd. | Selecting a touch screen hot spot |
US9971413B2 (en) * | 2013-11-27 | 2018-05-15 | Huawei Technologies Co., Ltd. | Positioning method and apparatus |
JP6047763B2 (ja) * | 2014-09-03 | 2016-12-21 | パナソニックIpマネジメント株式会社 | ユーザインターフェース装置およびプロジェクタ装置 |
-
2021
- 2021-08-05 CN CN202110894349.4A patent/CN113760131B/zh active Active
Patent Citations (13)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2014123170A (ja) * | 2012-12-20 | 2014-07-03 | Funai Electric Co Ltd | 位置判定装置及び位置判定方法 |
CN105700736A (zh) * | 2014-12-11 | 2016-06-22 | 株式会社理光 | 输入操作检测设备、投影装置、交互白板和数字标识装置 |
CN105260021A (zh) * | 2015-10-15 | 2016-01-20 | 深圳市祈锦通信技术有限公司 | 一种智能交互投影系统 |
WO2017206509A1 (zh) * | 2016-05-30 | 2017-12-07 | 中兴通讯股份有限公司 | 投影区域的适配方法、装置及系统 |
CN106415460A (zh) * | 2016-07-12 | 2017-02-15 | 香港应用科技研究院有限公司 | 具有智能用户输入界面的可穿戴设备 |
CN107562288A (zh) * | 2017-08-31 | 2018-01-09 | 广东美的制冷设备有限公司 | 基于红外触控装置的响应方法、红外触控装置和介质 |
CN108415600A (zh) * | 2018-03-09 | 2018-08-17 | 宁波宁大教育设备有限公司 | 电磁笔手写笔迹位置矫正方法及装置 |
CN108829294A (zh) * | 2018-04-11 | 2018-11-16 | 卡耐基梅隆大学 | 一种投影触控方法、装置及投影触控设备 |
CN109738157A (zh) * | 2018-12-11 | 2019-05-10 | 信利光电股份有限公司 | 结构光投影器的视场角检测方法、装置及可读存储介质 |
CN110221732A (zh) * | 2019-05-15 | 2019-09-10 | 青岛小鸟看看科技有限公司 | 一种触控投影系统和触控动作识别方法 |
CN112351263A (zh) * | 2020-09-24 | 2021-02-09 | 当趣网络科技(杭州)有限公司 | 一种投影仪对焦方法和系统 |
CN112328195A (zh) * | 2020-10-10 | 2021-02-05 | 当趣网络科技(杭州)有限公司 | 投屏控制方法、系统、电子设备及介质 |
CN112203071A (zh) * | 2020-12-03 | 2021-01-08 | 深圳市当智科技有限公司 | 基于距离传感器水平校正的投影方法、系统及存储介质 |
Non-Patent Citations (1)
Title |
---|
基于投影仪摄像机系统的人机交互关键技术研究;吕昊;张成元;;科学技术创新(10);全文 * |
Also Published As
Publication number | Publication date |
---|---|
CN113760131A (zh) | 2021-12-07 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US9535538B2 (en) | System, information processing apparatus, and information processing method | |
CN107562288B (zh) | 基于红外触控装置的响应方法、红外触控装置和介质 | |
CN105700736B (zh) | 输入操作检测设备、投影装置、交互白板和数字标识装置 | |
CN111258411B (zh) | 一种用户交互方法及设备 | |
US9746966B2 (en) | Touch detection apparatus, touch detection method, and non-transitory computer-readable recording medium | |
EP3127586B1 (en) | Interactive system, remote controller and operating method thereof | |
US20210056370A1 (en) | Optical tag based information apparatus interaction method and system | |
CN113760131B (zh) | 投影触控处理方法、装置及计算机可读存储介质 | |
JP2012048393A (ja) | 情報処理装置およびその動作方法 | |
CN113711229B (zh) | 电子设备的控制方法、电子设备和计算机可读存储介质 | |
CN114170407A (zh) | 输入设备的模型映射方法、装置、设备和存储介质 | |
CN107787507A (zh) | 获得表示图像的锐度级别的配准误差图的装置和方法 | |
WO2023240696A1 (zh) | 定位追踪方法、装置、终端设备及计算机存储介质 | |
CN110213407A (zh) | 一种电子装置的操作方法、电子装置和计算机存储介质 | |
CN114756162B (zh) | 触控系统及方法、电子设备及计算机可读存储介质 | |
CN114167997A (zh) | 一种模型显示方法、装置、设备和存储介质 | |
KR102191061B1 (ko) | 2차원 카메라를 이용하여 객체 제어를 지원하는 방법, 시스템 및 비일시성의 컴퓨터 판독 가능 기록 매체 | |
CN109769091B (zh) | 一种图像拍摄方法及移动终端 | |
CN112529770A (zh) | 图像处理方法、装置、电子设备和可读存储介质 | |
KR102225342B1 (ko) | 객체 제어를 지원하는 방법, 시스템 및 비일시성의 컴퓨터 판독 가능 기록 매체 | |
US20240070889A1 (en) | Detecting method, detecting device, and recording medium | |
JP6733789B2 (ja) | 入力装置、入力操作検出方法及び入力操作検出用コンピュータプログラム | |
CN116863074A (zh) | 彩色三维绘图方法、装置、桌面投影机及存储介质 | |
US20240083038A1 (en) | Assistance system, image processing device, assistance method and non-transitory computer-readable storage medium | |
WO2023194616A1 (en) | Calibration method for an electronic display screen for touchless gesture control |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |