CN111258411A - 一种用户交互方法及设备 - Google Patents

一种用户交互方法及设备 Download PDF

Info

Publication number
CN111258411A
CN111258411A CN202010370009.7A CN202010370009A CN111258411A CN 111258411 A CN111258411 A CN 111258411A CN 202010370009 A CN202010370009 A CN 202010370009A CN 111258411 A CN111258411 A CN 111258411A
Authority
CN
China
Prior art keywords
user
operation data
computing board
information
interface
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010370009.7A
Other languages
English (en)
Other versions
CN111258411B (zh
Inventor
冯翀
郭嘉伟
罗观洲
马宇航
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Shenguang Technology Co Ltd
Original Assignee
Beijing Shenguang Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Shenguang Technology Co Ltd filed Critical Beijing Shenguang Technology Co Ltd
Priority to CN202010370009.7A priority Critical patent/CN111258411B/zh
Publication of CN111258411A publication Critical patent/CN111258411A/zh
Application granted granted Critical
Publication of CN111258411B publication Critical patent/CN111258411B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/002—Specific input/output arrangements not covered by G06F3/01 - G06F3/16
    • G06F3/005—Input arrangements through a video camera
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

本发明提供了一种用户交互方法及设备，所述方法主要包括：使用红外摄像头通过红外光栅获取用户在用户界面上的第一操作数据；使用深度摄像头获取用户在用户界面上的第二操作数据，将所述第一操作数据和第二操作数据进行融合得到用户操作数据；基于所述用户操作更新所述投影单元在用户操作界面上的显示内容。其对用户动作的判断更加准确，从而实现更加精确的控制；本发明采用获取的深度图像基于先进的深度判断模型获取丰富的手势动作，而基于用户的手势便可实现更多更丰富的交互方法，便有后续功能的扩展；通过深度摄像头联合进行红外信号进行手势动作的确定，进一步提高了手势动作的识别精度，此外，还可以实现投影仪的自动校正。

Description

一种用户交互方法及设备
技术领域
本发明涉及人机交互技术领域，特别是一种用户交互方法及设备。
背景技术
人机交互是一门研究系统与用户之间的交互关系的学问。系统可以是各种各样的机器，也可以是计算机化的系统和软件。人机交互界面通常是指用户可见的部分。用户通过人机交互界面与系统交流，并进行操作。小如收音机的播放按键，大至飞机上的仪表板、或是发电厂的控制室。人机交互界面的设计要包含用户对系统的理解（即心智模型），那是为了系统的可用性或者用户友好性。
现有技术中，交互投影仪使用的触控方案基本上均是红外平扫方案，即在桌面定高位置放置红外发射器，有物体（如手指）遮挡后识别为点击事件。这种方案的缺点在于：必须在交互平面上放置发射器，投影仪形态受限；不能处理水平方向上的遮挡，不能处理有高度的物体；任何物体都有可能误触 ；精度有待提高；投影仪的界面无法自动校正。
此外，现有技术中，无论是基于红外还是基于视频获取用户动作，都是基于当前帧进行动作的捕捉，识别精度低，且现有技术中都是基于单模态获取用户的动作，无法同时基于两种或以上的信号进行用户动作的捕捉，而单一信号获取用户动作的姿态精度低，因此，如何提高用户动作的识别精度是人机交互的一个重点及难点。
发明内容
本发明针对上述现有技术中的缺陷，提出了如下技术方案。
一种用户交互方法，所述方法包括：
初始化步骤，使用投影单元在一个平面上投影一个用户操作界面，并通过信号发射单元产生一个与用户界面平行的红外光栅，所述红外光栅与所述用户操作界面相临近；
第一获取步骤，使用红外摄像头通过红外光栅获取用户在用户界面上的第一操作数据；
第二获取步骤，使用深度摄像头获取用户在用户界面上的第二操作数据；
融合步骤，将所述第一操作数据和第二操作数据进行融合得到用户操作数据；
更新步骤，基于所述用户操作更新所述投影单元在用户操作界面上的显示内容。
更进一地，所述第一获取步骤包括：
当用户通过手在用户操作界面上进行操作时，信号发射单元发射的红外光被手指遮挡后反射的红外光形成光斑，红外摄像头持续拍摄光栅状态，通过滤波处理得到形成光斑的信息后，将每一帧信息传输至计算板进行存储分析，当计算板在判断当前帧光斑的信息为用户操作为按压事件后，从计算板中获取存储的该当前帧光斑的信息的前N帧的光斑遮挡信息，计算板通过该当前帧光斑的信息和前N帧的光斑信息确定所述第一操作数据。
更进一地，所述第二获取步骤包括：深度摄像头利用双目摄像头对用户操作界面的场景进行拍摄并将拍摄的图像发送至计算板并存储，所述计算板通过两个摄像头拍摄的图像计算出所述用户操作界面的场景中各部分的深度信息，使用计算板获取图像中用户的手部位置，计算板基于所述深度信息和所述手部位置确定用户手部的动作，当计算板在判断当前帧图像中所述用户手部的动作为用户操作为按压事件后，从计算板中获取存储的该当前帧图像的前N帧的图像，计算板通过该当前帧图像和前N帧的图像确定所述第二操作数据。
更进一地，所述将所述第一操作数据和第二操作数据进行融合得到用户操作数据为：将所述第一操作数据和第二操作数据进行卡尔曼滤波法处理得到用户操作数据。
更进一地，所述用户操作数据为用户标记数据或用户调用其他功能。
更进一地，所述计算板通过该当前帧光斑的信息和前N帧的光斑信息确定所述第一操作数据的操作为：计算板通过该当前帧光斑的信息和前N帧的光斑信息确定用户的手指动作以获得用户的手部轨迹信息；获取当前投影单元的用户操作界面上的投影内容，基于所述轨迹信息对按压位置所涉及的功能进行判断以确定所述第一操作数据，所述按压位置为利用均值计算出光斑中心点位置。
更进一地，所述计算板通过该当前帧图像和前N帧的图像确定所述第二操作数据的操作为：计算板通过该当前帧图像和前N帧的图像用户的具体手部动作以获得用户的手部轨迹信息；获取当前投影单元的用户操作界面上的投影内容，基于所述轨迹信息对按压位置所涉及的功能进行判断以确定所述第一操作数据，所述按压位置为指尖位置。
更进一地，所述更新步骤包括：计算板将所述用户操作数据发送至投影单元，投影单元在获取用户操作数据后确定用户操作数据的类型，如果用户操作数据为用户标记数据则直接在投影内容上绘制出相应的标记；如果用户操作数据为用户调用其他功能则调用计算板中存储的应用或功能以获取更新到用户操作界面上的显示内容，并将所述显示内容在用户操作界面上进行显示。
本发明还提出了一种用户交互设备，所述设备包括：投影单元、信号发射单元、红外摄像头、深度摄像头和计算板；
所述投影单元被配置为在一个平面上投影一个用户操作界面，所述信号发射单元被配置为产生一个与用户界面平行的红外光栅，所述红外光栅与所述用户操作界面相临近；
所述红外摄像头通过红外光栅获取用户在用户界面上的第一操作数据并发送至所述计算板；
所述深度摄像头获取用户在用户界面上的第二操作数据并发送至所述计算板；
所述计算板将所述第一操作数据和第二操作数据进行融合得到用户操作数据，并将所述用户操作数据发送至所述投影单元；
所述投影单元接收到所述用户操作数据后基于所述用户操作更新所述投影单元在用户操作界面上的显示内容。
更进一地，所述红外摄像头通过红外光栅获取用户在用户界面上的第一操作数据并发送至所述计算板包括：当用户通过手在用户操作界面上进行操作时，信号发射单元发射的红外光被手指遮挡后反射的红外光形成光斑，红外摄像头持续拍摄光栅状态，通过滤波处理得到形成光斑的信息后，将每一帧信息传输至计算板进行存储分析，当计算板在判断当前帧光斑的信息为用户操作为按压事件后，从计算板中获取存储的该当前帧光斑的信息的前N帧的光斑遮挡信息，计算板通过该当前帧光斑的信息和前N帧的光斑信息确定所述第一操作数据并发送至所述计算板。
更进一地，所述深度摄像头获取用户在用户界面上的第二操作数据并发送至所述计算板包括：深度摄像头利用双目摄像头对用户操作界面的场景进行拍摄并将拍摄的图像发送至计算板并存储，所述计算板通过两个摄像头拍摄的图像计算出所述用户操作界面的场景中各部分的深度信息，使用计算板获取图像中用户的手部位置，计算板基于所述深度信息和所述手部位置确定用户手部的动作，当计算板在判断当前帧图像中所述用户手部的动作为用户操作为按压事件后，从计算板中获取存储的该当前帧图像的前N帧的图像，计算板通过该当前帧图像和前N帧的图像确定所述第二操作数据并至所述计算板。
更进一地，所述将所述第一操作数据和第二操作数据进行融合得到用户操作数据为：所述计算板将所述第一操作数据和第二操作数据进行卡尔曼滤波法处理得到用户操作数据。
更进一地，所述用户操作数据为用户标记数据或用户调用其他功能。
更进一地，所述计算板通过该当前帧光斑的信息和前N帧的光斑信息确定所述第一操作数据的操作为：计算板通过该当前帧光斑的信息和前N帧的光斑信息确定用户的手指动作以获得用户的手部轨迹信息；获取当前投影单元的用户操作界面上的投影内容，基于所述轨迹信息对按压位置所涉及的功能进行判断以确定所述第一操作数据，所述按压位置为利用均值计算出光斑中心点位置。
更进一地，所述计算板通过该当前帧图像和前N帧的图像确定所述第二操作数据的操作为：计算板通过该当前帧图像和前N帧的图像用户的具体手部动作以获得用户的手部轨迹信息；获取当前投影单元的用户操作界面上的投影内容，基于所述轨迹信息对按压位置所涉及的功能进行判断以确定所述第一操作数据，所述按压位置为指尖位置。
更进一地，所述更新所述投影单元在用户操作界面上的显示内容包括：计算板将所述用户操作数据发送至投影单元，投影单元在获取用户操作数据后确定用户操作数据的类型，如果用户操作数据为用户标记数据则直接在投影内容上绘制出相应的标记；如果用户操作数据为用户调用其他功能则调用计算板中存储的应用或功能以获取更新到用户操作界面上的显示内容，并将所述显示内容在用户操作界面上进行显示。
本发明的技术效果为：本发明的一种用户交互方法，所述方法包括：初始化步骤，使用投影单元在一个平面上投影一个用户操作界面，并通过信号发射单元产生一个与用户界面平行的红外光栅，所述红外光栅与所述用户操作界面相临近；第一获取步骤，使用红外摄像头通过红外光栅获取用户在用户界面上的第一操作数据；第二获取步骤，使用深度摄像头获取用户在用户界面上的第二操作数据；融合步骤，将所述第一操作数据和第二操作数据进行融合得到用户操作数据；更新步骤，基于所述用户操作更新所述投影单元在用户操作界面上的显示内容。本发明的主要优点在于：在动作分析过程中不仅针对当前帧进行，而是结合此前的多帧状态进行联合分析，通过这种“动态效果”的分析，能够保证对用户动作的判断更加准确，从而实现更加精确的控制；本发明采用获取的深度图像基于先进的深度判断模型获取丰富的手势动作，而基于用户的手势便可实现更多更丰富的交互方法，便有后续功能的扩展；通过深度摄像头联合进行红外信号进行手势动作的确定，进一步提高了手势动作的识别精度，此外，还可以实现投影仪的自动校正。
附图说明
通过阅读参照以下附图所作的对非限制性实施例所作的详细描述，本申请的其它特征、目的和优点将会变得更明显。
图1是根据本发明的实施例之一的一种用户交互方法的流程图。
图2是根据本发明的实施例之一的一种用户交互设备的示意图。
具体实施方式
下面结合附图和实施例对本申请作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅仅用于解释相关发明，而非对该发明的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与有关发明相关的部分。
需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本申请。
图1示出了本发明的一种用户交互方法，所述方法包括：
初始化步骤S101，使用投影单元在一个平面上投影一个用户操作界面，并通过信号发射单元产生一个与用户界面平行的红外光栅，所述红外光栅与所述用户操作界面相临近。
本发明的方法可以应用在智能台灯上，台灯的上部安装有投影单元，即投影仪、红外摄像头、深度摄像头，其内部具有计算板，计算板至少具有处理器和存储器，用于完成数据的处理等等。投影单元可以是投影仪，信号发射单元设置在台灯的底部，这样，投影单元在桌面上投出一个操作界面，信号发射单元（比如是红外激光器）产生一个与用户界面平行的红外光栅，所述红外光栅与所述用户操作界面相临近，相邻近一般是指距离为1-2mm。
初始化步骤S101，可以具体包括如下步骤：
第一步：投影仪初始化，进行对焦，梯形校正，进行画面信号的重合和校准判断，直到投影清晰，显示加载中的用户操作界面。
第二步：位于设备底端的红外激光器以散射方式将红外光束发射出，各光束距离平面的规定距离为1mm。
第三步：红外摄像头拍摄光栅状态并处理得到光斑信息，如光斑信息被计算板判断为非平面则更新投影内容为错误状态，提醒用户调整位置直到成为正常的平面光栅。
第四步：投影仪从计算板中获取当前用户的设置，并依据当前用户的设置投影出正式的用户操作界面。
通过上述步骤，实现了投影仪的自动校正，并且基于用户的设置投出相应的用户操作界面，方便了用户操作，且将信号发射单元放置在智能台灯的底部，解决了现有技术中必须在交互平面上放置发射器导致投影仪形态受限的问题，从而可以处理水平方向上的遮挡，也可以处理有高度的物体，这是本发明的重要发明点之一。
第一获取步骤S102，使用红外摄像头通过红外光栅获取用户在用户界面上的第一操作数据。
在一个实施例中，当用户通过手在用户操作界面上进行操作时，信号发射单元发射的红外光被手指遮挡后反射的红外光形成光斑，红外摄像头持续拍摄光栅状态，通过滤波处理得到形成光斑的信息后，将每一帧信息传输至计算板进行存储分析，当计算板在判断当前帧光斑的信息为用户操作为按压事件后，从计算板中获取存储的该当前帧光斑的信息的前N帧的光斑遮挡信息，计算板通过该当前帧光斑的信息和前N帧的光斑信息确定所述第一操作数据。
具体地，计算板如何通过该当前帧光斑的信息和前N帧的光斑信息确定所述第一操作数据，这里以红外信息、摄像头帧率为50帧对具体流程进行描述：
当计算板对当前的反射光位置判断为用户的按压行为时，便需要对一个持续时间进行判断，这里假设持续100ms（即5帧）算是一个真正的按压事件，并进一步去调用相应的处理方法；
当仅检测到某一帧用户为按压行为时，计算板会开始查询操作，首先会获取前一帧用户的行为类型，如果为同一位置的按压行为，则计算板继续获取前一帧的用户行为类型。当遇到非法行为（非同一位置的按压行为或者非按压行为），会进行特殊处理：跳过这一帧再向前读一帧。
此时有两种情况：1.再向前的一帧仍为非法行为则本次查询终止，直到当前帧不能算作真正的按压事件，多帧判断结束，此时计算板开始等待下一帧的用户行为并判断。2.再向前的一帧是同一位置的按压行为，那么之前遇到的非法行为被标记为错误数据，并当作一个同一位置的按压行为来进行处理。在经过查询和特殊处理之后，如果计算板判断此时已经有连续五帧同一位置的按压行为，则会将其视为真正的按压事件，多帧判断结束。
优选地，信号发射单元发射的红外光被手指遮挡后反射的红外光形成光斑具体为：使用者利用手指（或其他遮挡物）对需要进行交互的位置进行按压，当距离小于1mm便可遮挡住红外光束。红外光束被遮挡，遮挡部分便会作为反射面将发射的红外光进行反射，形成所谓的光斑，并且能够被红外摄像头捕获光斑的位置。红外摄像头持续拍摄光栅状态，通过滤波处理得到形成光斑的信息具体为：红外摄像头持续不停的拍摄当前平面的红外光分布情况并进行记录；红外摄像头获取分布情况后对拍摄图像利用多种滤波算法进行处理，处理后得到红外线被遮挡部分的位置和形状；红外摄像头对得到的光斑信息进行规范化调整，利用相连的数据导线将传输至计算板并进行存储。
第二获取步骤S103，使用深度摄像头获取用户在用户界面上的第二操作数据。
在一个实施例中，深度摄像头利用双目摄像头对用户操作界面的场景进行拍摄并将拍摄的图像发送至计算板并存储，所述计算板通过两个摄像头拍摄的图像计算出所述用户操作界面的场景中各部分的深度信息，使用计算板获取图像中用户的手部位置，计算板基于所述深度信息和所述手部位置确定用户手部的动作，当计算板在判断当前帧图像中所述用户手部的动作为用户操作为按压事件后，从计算板中获取存储的该当前帧图像的前N帧的图像，计算板通过该当前帧图像和前N帧的图像确定所述第二操作数据。多帧判断的方式与前面描述的红外得多帧判断方式相同，不在赘述。
优选地，使用计算板获取图像中用户的手部位置具体为：深度摄像头利用双目摄像头对场景进行拍摄，利用光反射获取一级距离，两个摄像头信息进一步汇总处理的计算方式计算出场景中各部分的详细深度信息，即获取到当前场景的图像以及完整的RGB-D信息，并利用白平衡、直方图均衡的方法对信息进行预处理以及略微的矫正；在得到整体的深度信息后，计算板对采集的场景图片利用部署好的mobilenet-ssd检测网络进行处理，得到用户手部的粗略位置；将手部位置与深度信息结合，进一步利用hourglass结构的卷曲神经网络进行骨关节点位置的预测，进而便可得到用户当前的手部姿势，进而得到手部的动作并储存。
在确定得到手部的动作式首先利用hourglass得到的标注 QUOTE
Figure 613873DEST_PATH_IMAGE002
Figure 734275DEST_PATH_IMAGE002
生成手部关 节点k的热力图（热力图是一个概率图，和图像的像素组成一致，不过每一个像素位置上的 数据是当前像素是某个关节的概率，基于概率分析出进一步的关节信息）：
Figure DEST_PATH_IMAGE003
然后根据预测得到的热力图 QUOTE
Figure DEST_PATH_IMAGE005
Figure 186117DEST_PATH_IMAGE005
，进一步得到手关节点k在图像中的位置P （基于预测的位置进行进一步的矫正，已得到更准确的位置信息）
Figure DEST_PATH_IMAGE007
然后关于对姿势进行分类，并对每一类给出每个关节点的位置区域，只要各个关节点在相应取余就判定为当前动作，这些对手部动作的过程及相应的公式也称为先进的深度判断模型。
计算板在判断当前帧图像中所述用户手部的动作为用户操作为按压事件的操作为：在得到手部动作分析后，如果判断出手部与投影平面距离相差小于1mm，则判定用户动作为按压平面；在判断出为按压事件后，为了分析用户的具体动作，从存储中获取前几帧的用户动作信息，将这些信息同样也作为下一步分析的源数据。
本发明中，在动作分析过程中不仅针对当前帧进行，而是结合此前的多帧状态进行联合分析，通过这种“动态效果”的分析，能够保证对用户动作的判断更加准确，从而实现更加精确的控制；本发明采用获取的深度图像基于先进的深度判断模型获取丰富的手势动作，而基于用户的手势便可实现更多更丰富的交互方法，便有后续功能的扩展，这是本发明的重要发明点之另一。
融合步骤S104，将所述第一操作数据和第二操作数据进行融合得到用户操作数据。所述将所述第一操作数据和第二操作数据进行融合得到用户操作数据为：将所述第一操作数据和第二操作数据进行卡尔曼滤波法处理得到用户操作数据。
卡尔曼滤波法用于融合低层次实时动态多传感器冗余数据，利用测量模型的统计特性递推，决定统计意义下的最优融合和数据估计。将第一操作数据和第二操作数据进行融合的操作过程如下：
利用设备上的传感器（即红外摄像头和深度摄像头）获取到红外与深度两种观测目标的数据（即第一操作数据和第二操作数据）；
使用计算板对这两种输出数据（即第一操作数据和第二操作数据）（离散或连续的时间函数数据、输出矢量、成像数据或一个直接的属性说明）进行特征提取的变换，提取代表两种数据的特征矢量Yi；
对特征矢量Yi进行模式识别处理，完成各传感器关于目标的说明；将各传感器关于目标的说明数据按同一目标进行分组，即关联（即第一操作数据和第二操作数据的关联）；利用随机类算法——卡尔曼滤波法将目标的各传感器数据进行合成，得到该目标的一致性解释与描述，从而实现了通过深度摄像头联合进行红外信号进行手势动作的确定，进一步提高了手势动作的识别精度，这是本发明的重要发明点之另一。
更新步骤S105，基于所述用户操作更新所述投影单元在用户操作界面上的显示内容。本发明中，所述用户操作数据为用户标记数据或用户调用其他功能。
在一个实施例中，更新实现过程为：计算板将所述用户操作数据发送至投影单元，投影单元在获取用户操作数据后确定用户操作数据的类型，如果用户操作数据为用户标记数据则直接在投影内容上绘制出相应的标记；如果用户操作数据为用户调用其他功能则调用计算板中存储的应用或功能以获取更新到用户操作界面上的显示内容，并将所述显示内容在用户操作界面上进行显示。
本发明的操作面板（即用户操作界面）在设计时提供了多种方案、多种风格以供用户选择，从而可以满足不同类型用户在交互时的不同需求，设置后，会自动加载，更灵活的区域选取（基于画笔、范围选取工具划定区域后，对其中的内容进行保存、识别、传输等操作），交互轨迹的自动化执行，比如在后期教学或者展示，可以在计算板保存操作流程后，首先利用投影显示出操作时的轨迹，并在恰当的时间执行相应的操作，从而实现自动化的展示与执行，这属于本发明的另一个重要发明点。
图2示出了本发明的一种用户交互设备，所述设备包括：投影单元、信号发射单元、红外摄像头、深度摄像头和计算板；所述投影单元被配置为在一个平面上投影一个用户操作界面，所述信号发射单元被配置为产生一个与用户界面平行的红外光栅，所述红外光栅与所述用户操作界面相临近；所述红外摄像头通过红外光栅获取用户在用户界面上的第一操作数据并发送至所述计算板；所述深度摄像头获取用户在用户界面上的第二操作数据并发送至所述计算板；所述计算板将所述第一操作数据和第二操作数据进行融合得到用户操作数据，并将所述用户操作数据发送至所述投影单元；所述投影单元接收到所述用户操作数据后基于所述用户操作更新所述投影单元在用户操作界面上的显示内容。
本发明的设备可以为智能台灯，台灯的上部安装有投影单元，即投影仪、红外摄像头、深度摄像头，其内部具有计算板，计算板至少具有处理器和存储器，用于完成数据的处理等等。投影单元可以是投影仪，信号发射单元设置在台灯的底部，这样，投影单元在桌面上投出一个操作界面，信号发射单元（比如是红外激光器）产生一个与用户界面平行的红外光栅，所述红外光栅与所述用户操作界面相临近，相邻近一般是指距离为1-2mm。
所述投影单元被配置为在一个平面上投影一个用户操作界面，所述信号发射单元被配置为产生一个与用户界面平行的红外光栅，所述红外光栅与所述用户操作界面相临近具体，可通过以下操作实现：
第一步：投影仪初始化，进行对焦，梯形校正，进行画面信号的重合和校准判断，直到投影清晰，显示加载中的用户操作界面。
第二步：位于设备底端的红外激光器以散射方式将红外光束发射出，各光束距离平面的规定距离为1mm。
第三步：红外摄像头拍摄光栅状态并处理得到光斑信息，如光斑信息被计算板判断为非平面则更新投影内容为错误状态，提醒用户调整位置直到成为正常的平面光栅。
第四步：投影仪从计算板中获取当前用户的设置，并依据当前用户的设置投影出正式的用户操作界面。
通过上述操作，实现了投影仪的自动校正，并且基于用户的设置投出相应的用户操作界面，方便了用户操作，且将信号发射单元放置在智能台灯的底部，解决了现有技术中必须在交互平面上放置发射器导致投影仪形态受限的问题，从而可以处理水平方向上的遮挡，也可以处理有高度的物体，这是本发明的重要发明点之一。
在一个实施例中，所述红外摄像头通过红外光栅获取用户在用户界面上的第一操作数据并发送至所述计算板是指：当用户通过手在用户操作界面上进行操作时，信号发射单元发射的红外光被手指遮挡后反射的红外光形成光斑，红外摄像头持续拍摄光栅状态，通过滤波处理得到形成光斑的信息后，将每一帧信息传输至计算板进行存储分析，当计算板在判断当前帧光斑的信息为用户操作为按压事件后，从计算板中获取存储的该当前帧光斑的信息的前N帧的光斑遮挡信息，计算板通过该当前帧光斑的信息和前N帧的光斑信息确定所述第一操作数据并发送至所述计算板。
优选地，信号发射单元发射的红外光被手指遮挡后反射的红外光形成光斑具体为：使用者利用手指（或其他遮挡物）对需要进行交互的位置进行按压，当距离小于1mm便可遮挡住红外光束。红外光束被遮挡，遮挡部分便会作为反射面将发射的红外光进行反射，形成所谓的光斑，并且能够被红外摄像头捕获光斑的位置。红外摄像头持续拍摄光栅状态，通过滤波处理得到形成光斑的信息具体为：红外摄像头持续不停的拍摄当前平面的红外光分布情况并进行记录；红外摄像头获取分布情况后对拍摄图像利用多种滤波算法进行处理，处理后得到红外线被遮挡部分的位置和形状；红外摄像头对得到的光斑信息进行规范化调整，利用相连的数据导线将传输至计算板并进行存储。
在一个实施例中，所述深度摄像头获取用户在用户界面上的第二操作数据并发送至所述计算板是指：深度摄像头利用双目摄像头对用户操作界面的场景进行拍摄并将拍摄的图像发送至计算板并存储，所述计算板通过两个摄像头拍摄的图像计算出所述用户操作界面的场景中各部分的深度信息，使用计算板获取图像中用户的手部位置，计算板基于所述深度信息和所述手部位置确定用户手部的动作，当计算板在判断当前帧图像中所述用户手部的动作为用户操作为按压事件后，从计算板中获取存储的该当前帧图像的前N帧的图像，计算板通过该当前帧图像和前N帧的图像确定所述第二操作数据并至所述计算板。
具体地，计算板如何通过该当前帧光斑的信息和前N帧的光斑信息确定所述第一操作数据，这里以红外信息、摄像头帧率为50帧对具体流程进行描述：
当计算板对当前的反射光位置判断为用户的按压行为时，便需要对一个持续时间进行判断，这里假设持续100ms（即5帧）算是一个真正的按压事件，并进一步去调用相应的处理方法；
当仅检测到某一帧用户为按压行为时，计算板会开始查询操作，首先会获取前一帧用户的行为类型，如果为同一位置的按压行为，则计算板继续获取前一帧的用户行为类型。当遇到非法行为（非同一位置的按压行为或者非按压行为），会进行特殊处理：跳过这一帧再向前读一帧。
此时有两种情况：1.再向前的一帧仍为非法行为则本次查询终止，直到当前帧不能算作真正的按压事件，多帧判断结束，此时计算板开始等待下一帧的用户行为并判断。2.再向前的一帧是同一位置的按压行为，那么之前遇到的非法行为被标记为错误数据，并当作一个同一位置的按压行为来进行处理。在经过查询和特殊处理之后，如果计算板判断此时已经有连续五帧同一位置的按压行为，则会将其视为真正的按压事件，多帧判断结束。深度图像中多帧判断的方式与前面描述的红外图像的多帧判断方式相同，不在赘述。
优选地，使用计算板获取图像中用户的手部位置具体为：深度摄像头利用双目摄像头对场景进行拍摄，利用光反射获取一级距离，两个摄像头信息进一步汇总处理的计算方式计算出场景中各部分的详细深度信息，即获取到当前场景的图像以及完整的RGB-D信息，并利用白平衡、直方图均衡的方法对信息进行预处理以及略微的矫正；在得到整体的深度信息后，计算板对采集的场景图片利用部署好的mobilenet-ssd检测网络进行处理，得到用户手部的粗略位置；将手部位置与深度信息结合，进一步利用hourglass结构的卷曲神经网络进行骨关节点位置的预测，进而便可得到用户当前的手部姿势，进而得到手部的动作并储存。
在确定得到手部的动作式首先利用hourglass得到的标注 QUOTE
Figure 784588DEST_PATH_IMAGE002
Figure 67802DEST_PATH_IMAGE002
生成手部 关节点k的热力图（热力图是一个概率图，和图像的像素组成一致，不过每一个像素位置上 的数据是当前像素是某个关节的概率，基于概率分析出进一步的关节信息）：
Figure 624685DEST_PATH_IMAGE003
然后根据预测得到的热力图 QUOTE
Figure 360560DEST_PATH_IMAGE005
Figure 293881DEST_PATH_IMAGE005
，进一步得到手关节点k在图像中的位置P （基于预测的位置进行进一步的矫正，已得到更准确的位置信息）
Figure 697180DEST_PATH_IMAGE007
然后关于对姿势进行分类，并对每一类给出每个关节点的位置区域，只要各个关节点在相应取余就判定为当前动作，这些对手部动作的过程及相应的公式也称为先进的深度判断模型。
计算板在判断当前帧图像中所述用户手部的动作为用户操作为按压事件的操作为：在得到手部动作分析后，如果判断出手部与投影平面距离相差小于1mm，则判定用户动作为按压平面；在判断出为按压事件后，为了分析用户的具体动作，从存储中获取前几帧的用户动作信息，将这些信息同样也作为下一步分析的源数据。
本发明中，在动作分析过程中不仅针对当前帧进行，而是结合此前的多帧状态进行联合分析，通过这种“动态效果”的分析，能够保证对用户动作的判断更加准确，从而实现更加精确的控制；本发明采用获取的深度图像基于先进的深度判断模型获取丰富的手势动作，而基于用户的手势便可实现更多更丰富的交互方法，便有后续功能的扩展，这是本发明的重要发明点之另一。
所述计算板将所述第一操作数据和第二操作数据进行融合得到用户操作数据是指：将所述第一操作数据和第二操作数据进行卡尔曼滤波法处理得到用户操作数据。
卡尔曼滤波法用于融合低层次实时动态多传感器冗余数据，利用测量模型的统计特性递推，决定统计意义下的最优融合和数据估计。将第一操作数据和第二操作数据进行融合的操作过程如下：
利用设备上的传感器（即红外摄像头和深度摄像头）获取到红外与深度两种观测目标的数据（即第一操作数据和第二操作数据）；
使用计算板对这两种输出数据（即第一操作数据和第二操作数据）（离散或连续的时间函数数据、输出矢量、成像数据或一个直接的属性说明）进行特征提取的变换，提取代表两种数据的特征矢量Yi；
对特征矢量Yi进行模式识别处理，完成各传感器关于目标的说明；将各传感器关于目标的说明数据按同一目标进行分组，即关联（即第一操作数据和第二操作数据的关联）；利用随机类算法——卡尔曼滤波法将目标的各传感器数据进行合成，得到该目标的一致性解释与描述，从而实现了通过深度摄像头联合进行红外信号进行手势动作的确定，进一步提高了手势动作的识别精度，这是本发明的重要发明点之另一。
本发明中，所述用户操作数据为用户标记数据或用户调用其他功能。在一个实施例中，更新实现过程为：计算板将所述用户操作数据发送至投影单元，投影单元在获取用户操作数据后确定用户操作数据的类型，如果用户操作数据为用户标记数据则直接在投影内容上绘制出相应的标记；如果用户操作数据为用户调用其他功能则调用计算板中存储的应用或功能以获取更新到用户操作界面上的显示内容，并将所述显示内容在用户操作界面上进行显示。
本发明的操作面板（即用户操作界面）在设计时提供了多种方案、多种风格以供用户选择，从而可以满足不同类型用户在交互时的不同需求，设置后，会自动加载，更灵活的区域选取（基于画笔、范围选取工具划定区域后，对其中的内容进行保存、识别、传输等操作），交互轨迹的自动化执行，比如在后期教学或者展示，可以在计算板保存操作流程后，首先利用投影显示出操作时的轨迹，并在恰当的时间执行相应的操作，从而实现自动化的展示与执行，这属于本发明的另一个重要发明点。
本发明的主要技术效果为：在动作分析过程中不仅针对当前帧进行，而是结合此前的多帧状态进行联合分析，通过这种“动态效果”的分析，能够保证对用户动作的判断更加准确，从而实现更加精确的控制；本发明采用获取的深度图像基于先进的深度判断模型获取丰富的手势动作，而基于用户的手势便可实现更多更丰富的交互方法，便有后续功能的扩展；通过深度摄像头联合进行红外信号进行手势动作的确定，进一步提高了手势动作的识别精度，此外，还可以实现投影仪的自动校正。
为了描述的方便，描述以上装置时以功能分为各种单元分别描述。当然， 在实施本申请时可以把各单元的功能在同一个或多个软件和/或硬件中实现。
通过以上的实施方式的描述可知，本领域的技术人员可以清楚地了解到本申请可借助软件加必需的通用硬件平台的方式来实现。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在存储介质 中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备（可以是个人计算机，服务器，或者网络设备等）执行本申请各个实施例或者实施例的某些部分所述的方法。
最后所应说明的是：以上实施例仅以说明而非限制本发明的技术方案，尽管参照上述实施例对本发明进行了详细说明，本领域的普通技术人员应当理解：依然可以对本发明进行修改或者等同替换，而不脱离本发明的精神和范围的任何修改或局部替换，其均应涵盖在本发明的权利要求范围当中。

Claims (10)

1.一种用户交互方法，其特征在于，所述方法包括：
初始化步骤，使用投影单元在一个平面上投影一个用户操作界面，并通过信号发射单元产生一个与用户界面平行的红外光栅，所述红外光栅与所述用户操作界面相临近；
第一获取步骤，使用红外摄像头通过红外光栅获取用户在用户界面上的第一操作数据；
第二获取步骤，使用深度摄像头获取用户在用户界面上的第二操作数据；
融合步骤，将所述第一操作数据和第二操作数据进行融合得到用户操作数据；
更新步骤，基于所述用户操作更新所述投影单元在用户操作界面上的显示内容。
2.根据权利要求1所述的方法，其特征在于，所述第一获取步骤包括：
当用户通过手在用户操作界面上进行操作时，信号发射单元发射的红外光被手指遮挡后反射的红外光形成光斑，红外摄像头持续拍摄光栅状态，通过滤波处理得到形成光斑的信息后，将每一帧信息传输至计算板进行存储分析，当计算板在判断当前帧光斑的信息为用户操作为按压事件后，从计算板中获取存储的该当前帧光斑的信息的前N帧的光斑遮挡信息，计算板通过该当前帧光斑的信息和前N帧的光斑信息确定所述第一操作数据。
3.根据权利要求2所述的方法，其特征在于，所述第二获取步骤包括：深度摄像头利用双目摄像头对用户操作界面的场景进行拍摄并将拍摄的图像发送至计算板并存储，所述计算板通过两个摄像头拍摄的图像计算出所述用户操作界面的场景中各部分的深度信息，使用计算板获取图像中用户的手部位置，计算板基于所述深度信息和所述手部位置确定用户手部的动作，当计算板在判断当前帧图像中所述用户手部的动作为用户操作为按压事件后，从计算板中获取存储的该当前帧图像的前N帧的图像，计算板通过该当前帧图像和前N帧的图像确定所述第二操作数据。
4.根据权利要求3所述的方法，其特征在于，所述将所述第一操作数据和第二操作数据进行融合得到用户操作数据为：将所述第一操作数据和第二操作数据进行卡尔曼滤波法处理得到用户操作数据。
5.根据权利要求1-4任一项所述的方法，其特征在于，所述用户操作数据为用户标记数据或用户调用其他功能。
6.根据权利要求2所述的方法，其特征在于，所述计算板通过该当前帧光斑的信息和前N帧的光斑信息确定所述第一操作数据的操作为：计算板通过该当前帧光斑的信息和前N帧的光斑信息确定用户的手指动作以获得用户的手部轨迹信息；获取当前投影单元的用户操作界面上的投影内容，基于所述轨迹信息对按压位置所涉及的功能进行判断以确定所述第一操作数据，所述按压位置为利用均值计算出光斑中心点位置。
7.根据权利要求3所述的方法，其特征在于，所述计算板通过该当前帧图像和前N帧的图像确定所述第二操作数据的操作为：计算板通过该当前帧图像和前N帧的图像用户的具体手部动作以获得用户的手部轨迹信息；获取当前投影单元的用户操作界面上的投影内容，基于所述轨迹信息对按压位置所涉及的功能进行判断以确定所述第一操作数据，所述按压位置为指尖位置。
8.根据权利要求5所述的方法，其特征在于，所述更新步骤包括：计算板将所述用户操作数据发送至投影单元，投影单元在获取用户操作数据后确定用户操作数据的类型，如果用户操作数据为用户标记数据则直接在投影内容上绘制出相应的标记；如果用户操作数据为用户调用其他功能则调用计算板中存储的应用或功能以获取更新到用户操作界面上的显示内容，并将所述显示内容在用户操作界面上进行显示。
9.一种用户交互设备，其特征在于，所述设备包括：投影单元、信号发射单元、红外摄像头、深度摄像头和计算板；
所述投影单元被配置为在一个平面上投影一个用户操作界面，所述信号发射单元被配置为产生一个与用户界面平行的红外光栅，所述红外光栅与所述用户操作界面相临近；
所述红外摄像头通过红外光栅获取用户在用户界面上的第一操作数据并发送至所述计算板；
所述深度摄像头获取用户在用户界面上的第二操作数据并发送至所述计算板；
所述计算板将所述第一操作数据和第二操作数据进行融合得到用户操作数据，并将所述用户操作数据发送至所述投影单元；
所述投影单元接收到所述用户操作数据后基于所述用户操作更新所述投影单元在用户操作界面上的显示内容。
10.根据权利要求9所述的设备，其特征在于，所述红外摄像头通过红外光栅获取用户在用户界面上的第一操作数据并发送至所述计算板包括：当用户通过手在用户操作界面上进行操作时，信号发射单元发射的红外光被手指遮挡后反射的红外光形成光斑，红外摄像头持续拍摄光栅状态，通过滤波处理得到形成光斑的信息后，将每一帧信息传输至计算板进行存储分析，当计算板在判断当前帧光斑的信息为用户操作为按压事件后，从计算板中获取存储的该当前帧光斑的信息的前N帧的光斑遮挡信息，计算板通过该当前帧光斑的信息和前N帧的光斑信息确定所述第一操作数据并发送至所述计算板。
CN202010370009.7A 2020-05-06 2020-05-06 一种用户交互方法及设备 Active CN111258411B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010370009.7A CN111258411B (zh) 2020-05-06 2020-05-06 一种用户交互方法及设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010370009.7A CN111258411B (zh) 2020-05-06 2020-05-06 一种用户交互方法及设备

Publications (2)

Publication Number Publication Date
CN111258411A true CN111258411A (zh) 2020-06-09
CN111258411B CN111258411B (zh) 2020-08-14

Family

ID=70950027

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010370009.7A Active CN111258411B (zh) 2020-05-06 2020-05-06 一种用户交互方法及设备

Country Status (1)

Country Link
CN (1) CN111258411B (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112558818A (zh) * 2021-02-19 2021-03-26 北京深光科技有限公司 一种基于投影的远程直播的互动方法及系统
CN114138121A (zh) * 2022-02-07 2022-03-04 北京深光科技有限公司 用户手势识别方法、装置、系统、存储介质及计算设备
CN114245093A (zh) * 2022-02-25 2022-03-25 北京深光科技有限公司 基于红外和热感的投影操作方法、电子设备及存储介质
CN114721552A (zh) * 2022-05-23 2022-07-08 北京深光科技有限公司 基于红外与可见光的触控识别方法、装置、设备及介质
CN117075730A (zh) * 2023-08-18 2023-11-17 广东早安文化发展有限公司 一种基于图像识别技术的3d虚拟展厅控制系统

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106204604A (zh) * 2016-04-29 2016-12-07 北京仁光科技有限公司 投影触控显示装置及其交互方法
CN108537827A (zh) * 2018-03-23 2018-09-14 上海数迹智能科技有限公司 一种基于深度图的实时低复杂度手指运动轨迹形状识别算法
CN110221732A (zh) * 2019-05-15 2019-09-10 青岛小鸟看看科技有限公司 一种触控投影系统和触控动作识别方法
CN110310336A (zh) * 2019-06-10 2019-10-08 青岛小鸟看看科技有限公司 一种触控投影系统及图像处理方法
CN110308817A (zh) * 2019-06-10 2019-10-08 青岛小鸟看看科技有限公司 一种触控动作识别方法及触控投影系统

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106204604A (zh) * 2016-04-29 2016-12-07 北京仁光科技有限公司 投影触控显示装置及其交互方法
CN108537827A (zh) * 2018-03-23 2018-09-14 上海数迹智能科技有限公司 一种基于深度图的实时低复杂度手指运动轨迹形状识别算法
CN110221732A (zh) * 2019-05-15 2019-09-10 青岛小鸟看看科技有限公司 一种触控投影系统和触控动作识别方法
CN110310336A (zh) * 2019-06-10 2019-10-08 青岛小鸟看看科技有限公司 一种触控投影系统及图像处理方法
CN110308817A (zh) * 2019-06-10 2019-10-08 青岛小鸟看看科技有限公司 一种触控动作识别方法及触控投影系统

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112558818A (zh) * 2021-02-19 2021-03-26 北京深光科技有限公司 一种基于投影的远程直播的互动方法及系统
CN112558818B (zh) * 2021-02-19 2021-06-08 北京深光科技有限公司 一种基于投影的远程直播的互动方法及系统
WO2022174706A1 (zh) * 2021-02-19 2022-08-25 北京深光科技有限公司 一种基于投影的远程直播的互动方法及系统
CN114138121A (zh) * 2022-02-07 2022-03-04 北京深光科技有限公司 用户手势识别方法、装置、系统、存储介质及计算设备
CN114138121B (zh) * 2022-02-07 2022-04-22 北京深光科技有限公司 用户手势识别方法、装置、系统、存储介质及计算设备
CN114245093A (zh) * 2022-02-25 2022-03-25 北京深光科技有限公司 基于红外和热感的投影操作方法、电子设备及存储介质
CN114721552A (zh) * 2022-05-23 2022-07-08 北京深光科技有限公司 基于红外与可见光的触控识别方法、装置、设备及介质
CN114721552B (zh) * 2022-05-23 2022-08-23 北京深光科技有限公司 基于红外与可见光的触控识别方法、装置、设备及介质
CN117075730A (zh) * 2023-08-18 2023-11-17 广东早安文化发展有限公司 一种基于图像识别技术的3d虚拟展厅控制系统
CN117075730B (zh) * 2023-08-18 2024-04-30 广东早安文化发展有限公司 一种基于图像识别技术的3d虚拟展厅控制系统

Also Published As

Publication number Publication date
CN111258411B (zh) 2020-08-14

Similar Documents

Publication Publication Date Title
CN111258411B (zh) 一种用户交互方法及设备
US7161596B2 (en) Display location calculation means
US7256772B2 (en) Auto-aligning touch system and method
US8602887B2 (en) Synthesis of information from multiple audiovisual sources
US6624833B1 (en) Gesture-based input interface system with shadow detection
EP0961965B1 (en) Method and system for gesture based option selection
US8854433B1 (en) Method and system enabling natural user interface gestures with an electronic system
CN104364733A (zh) 注视位置检测装置、注视位置检测方法和注视位置检测程序
KR20020086931A (ko) 몸짓 기반 입력 및 타겟 지시용 단일 카메라 시스템
JP2005353071A (ja) アレーセンサーポインティング入力システム及びその方法（ｐｏｉｎｔｉｎｇｉｎｐｕｔｓｙｓｔｅｍａｎｄｍｅｔｈｏｄｕｓｉｎｇａｒｒａｙｓｅｎｓｏｒｓ）
JP2014170511A (ja) システム、画像投影装置、情報処理装置、情報処理方法およびプログラム
CN114138121B (zh) 用户手势识别方法、装置、系统、存储介质及计算设备
CN111078018A (zh) 显示器的触摸控制方法、终端设备及存储介质
US20160259402A1 (en) Contact detection apparatus, projector apparatus, electronic board apparatus, digital signage apparatus, projector system, and contact detection method
WO2021040896A1 (en) Automatically generating an animatable object from various types of user input
CN111258410B (zh) 一种人机交互设备
CN113760131B (zh) 投影触控处理方法、装置及计算机可读存储介质
EP3910451A1 (en) Display systems and methods for aligning different tracking means
JP2017219942A (ja) 接触検出装置、プロジェクタ装置、電子黒板装置、デジタルサイネージ装置、プロジェクタシステム、接触検出方法、プログラム及び記憶媒体。
JP4296607B2 (ja) 情報入出力装置及び情報入出力方法
CN110213407B (zh) 一种电子装置的操作方法、电子装置和计算机存储介质
CN114167997B (zh) 一种模型显示方法、装置、设备和存储介质
CN211827195U (zh) 一种交互设备
CN114721552B (zh) 基于红外与可见光的触控识别方法、装置、设备及介质
JP2002107127A (ja) 形状測定装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant