CN109144355B - 基于光学信号的交互装置和交互系统 - Google Patents

Abstract

本发明公开了一种基于光学信号的交互装置和交互系统。所述基于光学信号的交互装置，可以包括：接收单元，用于获取交互过程中被标记有红外线信号的屏幕图像数据；处理单元，其与接收单元相连接，用于接收所述标记有红外线信号的屏幕图像数据，并识别所述标记有红外线信号的屏幕图像数据中所述红外线信号形成的图像控制信息。该基于光学信号的交互装置和基于光学信号的交互系统，能够实现在不接触屏幕的情况下对屏幕显示进行控制。

Description

基于光学信号的交互装置和交互系统

技术领域

本发明属于智能交互技术领域，尤其涉及一种基于光学信号的交互装置和交互系统。

背景技术

现有的智能交互技术，例如，人机交互中。用户需要与屏幕进行直接接触，来对屏幕中的显示进行控制与书写。

一些基于穿戴在人身上的传感器的人体感应识别交互装置，虽然允许人体在不接触屏幕的情况下通过人体动作对屏幕显示进行控制，但是这种基于穿戴传感器的人体感应识别交互装置一方面极为复杂，要适应不同人群进行定制，且很难做到对人体动作精确的识别，同时，这种识别由于人体动作的限制，也很难用于在屏幕上进行写字和绘图等复杂操作。

发明内容

本发明实施例提供了一种基于光学信号的交互装置和基于光学信号的交互系统，能够实现在不接触屏幕的情况下对屏幕显示进行控制。

第一方面，提供了一种基于光学信号的交互装置，可以包括：接收单元和处理单元。

该接收单元可以用于获取交互过程中被标记有红外线信号的屏幕图像数据。

该处理单元与接收单元相连接，用于接收标记有红外线信号的屏幕图像数据，识别标记有红外线信号的屏幕图像数据中红外线信号形成的图像控制信息。

第一方面提供的基于光学信号的交互装置，通过接收单元获取标记有红外线信号的屏幕图像数据。再对标记有红外线信号的屏幕图像数据进行识别，获得上述标记有红外线信号的屏幕图像数据中红外线信号形成的图像控制信息，进而对屏幕图像显示进行控制。实现了在不接触屏幕的情况下对屏幕显示进行控制，并且保证了较高的光学信号识别精度和通过光学信号对屏幕进行控制的控制精度。

在第一方面的第一种可能的实现方式中，该接收单元可以包括：屏幕采集单元和滤光单元。

该屏幕采集单元可以通过滤光单元采集并生成标记有红外线信号的屏幕图像数据。

在第一方面的第一种可能的实现方式中，该基于光学信号的交互装置可以通过滤光单元进行过滤保留并标记屏幕图像数据中包含的红外线信号。

结合上述可能的实现方式，在第二种可能的实现方式中，上述屏幕采集单元可以为光学相机，上述滤光单元可以为允许红外线透过的红外线滤光片。

结合上述可能的实现方式，在第三种可能的实现方式中，上述处理单元还可以用于：

对接收到的标记有红外线信号的屏幕图像数据和预先获得的原始屏幕图像数据进行比对，去除标记有红外线信号的屏幕图像数据包含的预先获得的原始屏幕图像数据，得到屏幕前景图像数据；

基于屏幕前景图像数据通过二值化获得屏幕前景图像数据的二值图；

依据二值图识别标记有红外线信号的屏幕图像数据中红外线信号形成的图像控制信息。

结合上述可能的实现方式，在第三种可能的实现方式中，通过对标记有红外线信号的屏幕图像数据和预先获得的原始屏幕图像数据进行比对，去除标记有红外线信号的屏幕图像数据包含的预先获得的原始屏幕图像数据，得到屏幕前景图像数据，在通过二值法获得二值图并基于该二值图识别标记有红外线信号的屏幕图像数据中红外线信号形成的图像控制信息，能够提高光学信号识别精度和通过光学信号对屏幕进行控制的控制精度。

结合上述可能的实现方式，在第四种可能的实现方式中，上述二值法的分割阈值可以通过大津法进行确定。

结合上述可能的实现方式，在第四种可能的实现方式中，通过大津法确定二值法的分割阈值，能够提高光学信号识别精度和通过光学信号对屏幕进行控制的控制精度。

结合上述可能的实现方式，在第五种可能的实现方式中，上述图像控制信息可以包括红外线信号在屏幕图像数据中的位置信息和红外线信号在屏幕图像数据中的轮廓信息。

结合上述可能的实现方式，在第五种可能的实现方式中，能够根据红外线信号在屏幕图像数据中的每个轮廓信息和红外线信号在屏幕图像数据中的每个位置信息，获得准确书写和绘图等的控制指令。

第二方面，提供了一种基于光学信号的交互系统，可以包括红外线发射器和上述的基于光学信号的交互装置。

第二方面提供的基于光学信号的交互系统，通过红外线发射器向屏幕发射红外线信号，该基于光学信号的交互装置，通过接收单元采集并根据采集的屏幕图像数据生成标记有红外线信号的屏幕图像数据。再对标记有红外线信号的屏幕图像数据进行识别，获得上述标记有红外线信号的屏幕图像数据中红外线信号形成的图像控制信息，进而对屏幕图像显示进行控制。实现了在不接触屏幕的情况下对屏幕显示进行控制，并且保证了较高的光学信号识别精度和通过光学信号对屏幕进行控制的控制精度。

在第二方面的第一种可能的实现方式中，上述红外线发射器可以包括：手持部和红外线发射部，

其中，该手持部可以为柱状结构，该红外线发射部可以设置在手持部的一端。

结合上述可能的实现方式，在第二种可能的实现方式中，上述红外线发射器还可以包括伸缩部，该伸缩部可以设置在手持部和红外线发射部之间，该伸缩部能够使红外线发射部远离或靠近该手持部。

结合上述可能的实现方式，在第二种可能的实现方式中，通过在手持部和红外线发射部之间设置伸缩部，使得红外线发射部远离或靠近该手持部，提高了该红外线发射器的适用性。

结合上述可能的实现方式，在第三种可能的实现方式中，上述伸缩部可以包括两个或两个以上同轴连接的伸缩单元。

因此，根据本发明实施例提供的基于光学信号的交互装置和基于光学信号的交互系统，通过接收单元获取标记有红外线信号的屏幕图像数据。再对标记有红外线信号的屏幕图像数据进行识别，获得上述标记有红外线信号的屏幕图像数据中红外线信号形成的图像控制信息，进而对屏幕图像显示进行控制。实现了在不接触屏幕的情况下对屏幕显示进行控制，并且保证了较高的光学信号识别精度和通过光学信号对屏幕进行控制的控制精度。

附图说明

为了更清楚地说明本发明实施例的技术方案，下面将对本发明实施例中所需要使用的附图作简单地介绍，显而易见地，下面所描述的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的实施例。

图1是本发明的一种基于光学信号的交互装置的示意性结构框图；

图2是本发明的一种基于光学信号的交互装置的接收单元包括的示意性结构框图；

图3是另一种实施例的基于光学信号的交互装置的示意性结构框图；

图4是本发明的一种实施例的基于光学信号的交互系统的示意性结构框图；

图5是本发明的一种实施例的基于光学信号的交互系统的红外线发射器的示意性结构图；

图6是本发明的另一种实施例的基于光学信号的交互系统的红外线发射器的示意性结构图；

图7是又一种实施例的基于光学信号的交互系统的红外线发射器的伸缩部的示意性结构图。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例。

需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本申请。

图1是本发明的一种基于光学信号的交互装置的示意性结构框图。如图1所示，基于光学信号的交互装置100，可以包括：接收单元110和处理单元120。

接收单元110可以用获取在交互过程中被标记有红外线信号的屏幕图像数据。在交互过程中，使用了红外线来作用于屏幕，以此表达相应的控制意图。

在一些示例中，上述的屏幕可以是多种材质或其中利用了多种不同的显示方式，例如，LCD、LED和DLP等显示屏幕，其材质及尺寸并不做限定。

在一些示例中，上述的屏幕可以由半透明屏幕材料构成，在这种情况下，接收单元可以设置为保持与用户相对于屏幕处于相反方向。

在一些示例中，上述的屏幕也可以由不透明的屏幕材料构成，例如，地面、墙面和桌面等屏幕材料，在这种情况下，接收单元可以设置为保持与用户相对于屏幕的相同方向。

处理单元120与接收单元110相连接，用于接收标记有红外线信号的屏幕图像数据，识别标记有红外线信号的屏幕图像数据中红外线信号形成的图像控制信息。

因此，根据本发明实施例提供的基于光学信号的交互装置，通过接收单元获取标记有红外线信号的屏幕图像数据，再对标记有红外线信号的屏幕图像数据进行识别，获得上述标记有红外线信号的屏幕图像数据中红外线信号形成的图像控制信息，进而对屏幕图像显示进行控制。实现了在不接触屏幕的情况下对屏幕显示进行控制，并且保证了较高的光学信号识别精度和通过光学信号对屏幕进行控制的控制精度。

图2是本发明的一种基于光学信号的交互装置的接收单元的示意性结构框图。如图2所示，接收单元110可以包括：屏幕采集单元111和滤光单元112。

在一些示例中，屏幕采集单元111可以为光学相机，上述滤光单元112可以是允许红外线透过的红外线滤光片。

在一些示例中，滤光单元112也可以是具有只允许红外线透过的其他材质或结构，在这里不做限定。

根据一些实施例，上述的处理单元120还可以用于：

对接收到的标记有红外线信号的屏幕图像数据和预先获得的原始屏幕图像数据进行比对，去除标记有红外线信号的屏幕图像数据包含的预先获得的原始屏幕图像数据，得到屏幕前景图像数据；

基于屏幕前景图像数据通过二值化获得屏幕前景图像数据的二值图；

依据二值图识别标记有红外线信号的屏幕图像数据中红外线信号形成的图像控制信息。

在一些示例中，预先获得的原始屏幕图像数据，可以是在用户操作前预设的原始屏幕图像数据，也可以是在用户操作前摄像头记录的原始屏幕图像数据。例如，将接收单元捕捉到的没有红外线射入的第一帧图像作为原始屏幕图像数据并保存为屏幕显示的背景图。

在一些示例中，屏幕前景图像数据可以是将实时接收到的标记有红外线信号的屏幕图像数据减去上述背景图得到只包含上述实时接收到的标记有红外线信号的屏幕图像数据与上述背景图之间差异的图像数据。上述只包含上述实时接收到的标记有红外线信号的屏幕图像数据与上述背景图之间差异的图像数据可以作为屏幕显示的前景图。

例如，当没有红外线射入进行屏幕控制时，前景图可以使一幅灰度值为0的图像，当有红外线射入进行屏幕控制时，上述前景图可以是一幅包含红外线信号的信息的图像。

在一些示例中，为了提高光学信号识别精度和通过光学信号对屏幕进行控制的控制精度，上述二值法的分割阈值可以通过大津法进行确定。应理解，二值化很重要的一点就是分割阈值的设定，为了避免外部光照的干扰，获得准确的图像分割结果，这里采用了动态阈值分割的大津法来确定二值法的分割阈值。大津法是一种自适应的阈值确定的方法，它是按照图像的灰度特性，将图像分为背景和目标两部分。背景和目标之间的类间方差越大，说明构成图像的两部分的差别越大，当部分目标错分为背景或部分背景错分为目标都会导致两部分差别变小。因此，使类间方差最大的分割意味着错分概率最小，所以通过大津法得到使图像的背景和目标部分的类间方差最大的灰度阈值，即，分割阈值，就可以利用该分割阈值对图像数据进行分割，精确地将红外线信号产生的差异点分割出来。

在一些示例中，上述图像控制信息可以包括红外线信号在屏幕图像数据中的位置信息和红外线信号在屏幕图像数据中的轮廓信息。例如，上述位置信息可以使红外线信号在屏幕图像数据中的相对坐标，上述轮廓信息可以是，上述红外线信号在屏幕图像数据中形成的轮廓，通过这些轮廓信息还可以获得红外线信号在屏幕图像数据中形成的图像面积。

在一些示例中，可以根据这些轮廓信息和位置信息等的信号的特征信息，形成相应的控制指令，来实现书写和绘图等的对屏幕显示的控制。

图3是另一种实施例的基于光学信号的交互装置的示意性结构框图。如图3所示，结合上述基于光学信号的交互装置100和交互方法的至少一部分可以由计算设备300实现，计算设备300包括处理器303、存储器304和总线310。

在一些实例中，该计算设备300还可以包括输入设备301、输入端口302、输出端口305、以及输出设备306。其中，输入端口302、处理器303、存储器304、以及输出端口305通过相互连接，输入设备301和输出设备306分别通过输入端口302和输出端口305与总线310连接，进而与计算设备300的其他组件连接。需要说明的是，这里的输出接口和输入接口也可以用I/O接口表示。具体地，输入设备301接收来自外部的输入信息，并通过输入端口302将输入信息传送到处理器303；处理器303基于存储器304中存储的计算机可执行指令对输入信息进行处理以生成输出信息，将输出信息临时或者永久地存储在存储器304中，然后通过输出端口305将输出信息传送到输出设备306；输出设备306将输出信息输出到计算设备300的外部。

上述存储器304包括用于数据或指令的大容量存储器。举例来说而非限制，存储器304可包括HDD、软盘驱动器、闪存、光盘、磁光盘、磁带或通用串行总线(USB)驱动器或者两个或更多个以上这些的组合。在合适的情况下，存储器304可包括可移除或不可移除(或固定)的介质。在合适的情况下，存储器304可在计算设备300的内部或外部。在特定实施例中，存储器304是非易失性固态存储器。在特定实施例中，存储器304包括只读存储器(ROM)。在合适的情况下，该ROM可以是掩模编程的ROM、可编程ROM(PROM)、可擦除PROM(EPROM)、电可擦除PROM(EEPROM)、电可改写ROM(EAROM)或闪存或者两个或更多个以上这些的组合。

总线310包括硬件、软件或两者，将计算设备300的部件彼此耦接在一起。举例来说而非限制，总线310可包括加速图形端口(AGP)或其他图形总线、增强工业标准架构(EISA)总线、前端总线(FSB)、超传输(HT)互连、工业标准架构(ISA)总线、无限带宽互连、低引脚数(LPC)总线、存储器总线、微信道架构(MCA)总线、外围组件互连(PCI)总线、PCI-Express(PCI-X)总线、串行高级技术附件(SATA)总线、视频电子标准协会局部(VLB)总线或其他合适的总线或者两个或更多个以上这些的组合。在合适的情况下，总线310可包括一个或多个总线310。尽管本发明实施例描述和示出了特定的总线，但本发明考虑任何合适的总线或互连。

当通过图3所示的计算设备300实现结合图1描述的基于光学信号的交互装置100时，输入设备301接收可以是输入单元110，在特定实施例中，与输出设备相连的I/O接口可以包括硬件、软件或两者，提供用于在计算设备300与一个或多个I/O设备之间的通信的一个或多个接口。在合适的情况下，计算设备300可包括一个或多个这些I/O设备。一个或多个这些I/O设备可允许人和计算机系统300之间的通信。举例来说而非限制，I/O设备可包括键盘、小键盘、麦克风、监视器、鼠标、打印机、扫描仪、扬声器、静态照相机、触针、手写板、触摸屏、轨迹球、视频摄像机、另一合适的I/O设备或者两个或更多个以上这些的组合。I/O设备可包括一个或多个传感器。本发明实施例考虑用于它们的任何合适的I/O设备和任何合适的I/O接口。在合适的情况下，I/O接口可包括一个或多个装置或能够允许处理器303驱动一个或多个这些I/O设备的软件驱动器。在合适的情况下，I/O接口可包括一个或多个I/O接口。尽管本发明实施例描述和示出了特定的I/O接口，但本发明实施例考虑任何合适的I/O接口。该处理器303基于存储器304中存储的计算机可执行指令，接收标记有红外线信号的屏幕图像数据，识别标记有红外线信号的屏幕图像数据中红外线信号形成的图像控制信息。随后在需要时经由输出端口305和输出设备306将图像控制信息输出。

在一些示例中，提供了一种计算机可读存储介质，可以包括指令，当其在计算机上运行时，可以使得计算机执行上述的基于光学信号的交互功能。

在一些示例中，提供了一种包含指令的计算机程序产品，当其在计算机上运行时，使得计算机执行上述的基于光学信号的交互功能。

在一些示例中，提供了一种计算机程序，当其在计算机上运行时，使得计算机执行上述的基于光学信号的交互功能。

在上述示例中，可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用软件实现时，可以全部或部分地以计算机程序产品的形式实现。所述计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行所述计算机程序指令时，全部或部分地产生按照本发明实施例所述的流程或功能。所述计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。所述计算机指令可以存储在计算机可读存储介质中，或者从一个计算机可读存储介质向另一个计算机可读存储介质传输，例如，所述计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线(例如同轴电缆、光纤、数字用户线(DSL))或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输。所述计算机可读存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。所述可用介质可以是磁性介质，(例如，软盘、硬盘、磁带)、光介质(例如，DVD)、或者半导体介质(例如固态硬盘Solid State Disk(SSD))等。

图4是本发明的一种实施例的基于光学信号的交互系统的示意性结构框图。如图4所示，基于光学信号的交互系统400，可以包括红外线发射器410和上述的基于光学信号的交互装置420。

根据本发明实施例的基于光学信号的交互系统400的实现方式以及包含的基于光学信号的交互装置420和基于光学信号的交互装置100各个单元的操作和/或功能相似或相应，为了简洁，在此不再赘述。

因此，根据本发明实施例提供的基于光学信号的交互系统，通过接收单元采集并根据采集的屏幕范围内的光学信号生成标记有红外线信号的屏幕图像数据。再对标记有红外线信号的屏幕图像数据进行识别，获得上述标记有红外线信号的屏幕图像数据中红外线信号形成的图像控制信息，进而对屏幕图像显示进行控制。实现了在不接触屏幕的情况下对屏幕显示进行控制，并且保证了较高的光学信号识别精度和通过光学信号对屏幕进行控制的控制精度。

图5是本发明的一种实施例的基于光学信号的交互系统的红外线发射器的示意性结构图。如图5所示，红外线发射器410可以包括：手持部501和红外线发射部502。其中，该手持部501可以为柱状结构，该红外线发射部502可以设置在手持部的一端。应理解，上述的手持部可以是各种能够保证用户正常手持的形状和结构，在此仅以图5为例进行说明。

图6是本发明的另一种实施例的基于光学信号的交互系统的红外线发射器的示意性结构图。如图6所示，上述红外线发射器410还可以包括伸缩部503，伸缩部503可以设置在手持部501和红外线发射部502之间，伸缩部503能够使红外线发射部502远离或靠近手持部501。通过在手持部501和红外线发射部502之间设置伸缩部503，使得红外线发射部502远离或靠近手持部501，提高了该红外线发射器410的适用性。

应理解，上述的伸缩部503可以是各种能够实现使得红外线发射部502远离或靠近手持部501的结构或形状，例如，可以采用弹簧结构、气缸结构、折叠结构等，在此不做限定。

例如，通过上述伸缩部503可以使红外线发射器410具有类似教鞭的结构和功能，便于上述基于光学信号的交互系统被应用到教学、会议等领域。

伸缩部503可以包括两个或两个以上同轴连接的伸缩单元。

图7是又一种实施例的基于光学信号的交互系统的红外线发射器的伸缩部的示意性结构图。如图7所示，以两个同轴连接的伸缩单元701和702为例，对伸缩部503进行示例性说明。其中，伸缩单元701可以缩嵌入伸缩单元702内，也可以轴向移出伸缩单元702，实现红外线发射部502远离或靠近手持部501。

所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本发明实施例方案的目的。

以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到各种等效的修改或替换，这些修改或替换都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以权利要求的保护范围为准。

Claims (8)

1.一种基于光学信号的交互装置，其特征在于，包括：

接收单元，用于获取交互过程中被标记有红外线信号的屏幕图像数据；

处理单元，其与接收单元相连接，用于接收所述标记有红外线信号的屏幕图像数据，并识别所述标记有红外线信号的屏幕图像数据中所述红外线信号形成的图像控制信息；

所述图像控制信息包括所述红外线信号在所述屏幕图像数据中的位置信息和所述红外线信号在所述屏幕图像数据中的轮廓信息，所述处理单元根据红外线信号在屏幕图像数据中的每个轮廓信息和红外线信号在屏幕图像数据中的每个位置信息，获得准确书写或绘图的控制指令。

2.根据权利要求1所述的基于光学信号的交互装置，其特征在于，所述接收单元包括：

屏幕采集单元和滤光单元，所述屏幕采集单元通过所述滤光单元采集并生成标记有红外线信号的屏幕图像数据。

3.根据权利要求2所述的基于光学信号的交互装置，其特征在于，所述屏幕采集单元为光学相机，所述滤光单元为允许红外线透过的红外线滤光片。

4.根据权利要求1或2所述的基于光学信号的交互装置，其特征在于，所述处理单元还用于：

对接收到的所述标记有红外线信号的屏幕图像数据和预先获得的原始屏幕图像数据进行比对，去除所述标记有红外线信号的屏幕图像数据包含的所述预先获得的原始屏幕图像数据，得到屏幕前景图像数据；

基于所述屏幕前景图像数据通过二值化获得所述屏幕前景图像数据的二值图；

依据所述二值图识别所述标记有红外线信号的屏幕图像数据中所述红外线信号形成的图像控制信息。

5.根据权利要求4所述的基于光学信号的交互装置，其特征在于，所述二值化的分割阈值通过大津法进行确定。

6.一种基于光学信号的交互系统，其特征在于，包括红外线发射器和如权利要求1至5任一项所述的基于光学信号的交互装置。

7.根据权利要求6所述的基于光学信号的交互系统，其特征在于，所述红外线发射器包括：手持部和红外线发射部，所述红外线发射器还包括伸缩部，所述伸缩部设置在所述手持部和所述红外线发射部之间，所述伸缩部能够使所述红外线发射部远离或靠近所述手持部。

8.根据权利要求7所述的基于光学信号的交互系统，其特征在于，所述伸缩部包括两个或两个以上同轴连接的伸缩单元。

Images