CN1952851A - 一种实现交互显示的电子装置和方法 - Google Patents

Abstract

本发明公开了一种交互式显示装置，包括：显示屏幕；至少一只可发出带编码信息的点状光的指示器；可以拍摄到整个显示屏幕上显示区域的、带有光学镜头的摄像头或图像感应器；带有编码信息识别装置的信号处理计算模块；用来执行指令的计算机；摄像头或图像感应器与信号处理计算模块相连接，信号处理计算模块以有线连接的方式或无线的方式与计算机进行通信。本发明通过带编码的图像光对应不同的工作模式，用指示器在显示装置上进行互动式操作，操作便利、使用灵活、功能强大可扩展、可实现远距离非接触操作。

Description

一种实现交互显示的电子装置和方法

【技术领域】

本发明涉及一种用于交互显示系统电子装置及方法，特别涉及一种用于大屏幕交互显示系统的电子装置及方法。

【背景技术】

随着现代显示技术的发展，尤其是大屏幕显示技术的快速发展，现有的大屏幕显示设备在显示尺寸，显示效果以及功能等方面已经达到相当高的层次。但随着人们对于信息交互方面的要求越来越高，现有的大屏幕显示技术在人机交互方面却存在着一些弊端，主要体现在人机交互的便利性上。当人们使用常规的显示系统时，无论讲演者是站在讲台上或者在观众面前走动，他都不能对显示在屏幕上的图像进行直接控制，需要讲演者回到显示计算机，或者需要坐在计算机旁的辅助人员对显示进行控制。这样就会使显示的自然进度和流程产生偏离，影响到演示的效果。

近年来，为改善大屏幕显示技术在人机交互方面的不足，业界提出了多种解决方案，如国内专利200420005336.9就公开了一种可组装的无线演示文稿装置，采用激光指示器配合无线遥控的方式来实现一些简单的演示文稿控制功能，包括上下页面控制键、激光指示器按键、触控接口及左键右键，可以用无线遥控方式控制演示文稿播放设备进行演示文稿播放，实现诸如变换演示文稿页面，指示演示文稿内容所在位置等功能。究其实质是在目前的无线鼠标上加装一个激光指示器，功能较为单一，无法实现在显示屏上直接书写、绘画等交互功能，难以满足日益变化的人机交互功能需求。

除上述方案外，业界还有多种屏幕表面定位技术使用在大屏幕显示系统上，如红外线、超声波、电阻式、电容式定位系统等。采用这些表面定位技术，可以较好地实现人机交互的功能，功能也较强大，但使用这些定位技术的大屏幕显示系统，由于受到定位技术原理的限制，操作者只能站在屏幕前或者在能够触摸到屏幕的狭小范围内操作，而不能随意离开屏幕进行远距离操作；另外采用这些屏幕定位技术的显示系统，其显示尺寸会因为使用者的因素而受到限制，如采用过大的显示屏幕，会由于操作人员的身高等因素的限制，无法对整个显示区域进行操作而造成资源浪费。

本领域内已知采用激光指示器把激光点投射到显示屏幕上来实现简单交互的方法。这种交互系统一般需要多个步骤或操作来对显示执行控制，例如，美国专利US5502459公开了一种实现鼠标双击的方法，其中用户必须首先激活，然后释放，然后再激活，然后再次释放激光指示器，并且保持投射的激光点在显示图像的矩形区域中。上述方案操作较为繁琐，不够灵活，限制显示的自然进度和流程。

鉴于目前大屏幕交互显示系统存在的上述不足，提供一种操作灵活便利，功能强大，既可以近距离使用，又可以远距离使用，显示尺寸不受操作者影响的交互显示装置实为必要。

【发明内容】

本发明的目的在于提供一种操作便利、使用灵活、直观形象，可远距离操作、功能可以扩展的用于交互显示系统的电子装置及方法。

为了实现上述目的，本发明采用如下技术方案：

提供一种实现交互显示的电子装置和方法，其包括带有可发出带编码信息的点状光的指示器，带有光学镜头的摄像头或图像感应器，带有预处理电路和单片机或其它类型处理器芯片的信号处理计算模块(该信号处理计算模块中有编码信息识别装置)，以及用来执行指令的计算机。其中，摄像头或图像感应器安装在显示屏幕前方或后方并且距离屏幕有一定距离可以拍摄到整个显示区域的位置上，有需要的时候，可以在摄像头或图像感应器上安装与指示器发出的光同颜色的滤光镜。该显示屏幕可以是前投影显示屏幕、背投影显示屏幕，也可以是PDP、LCD等平板显示器的屏幕。其中在背投影显示系统中，摄像头或图像感应器既可安装在背投影屏幕的前面也可以安装在背投影屏幕的后面。摄像头或图像感应器与信号处理计算模块相连接，信号处理计算模块以有线连接的方式或无线的方式与计算机进行通信。

指示器所带光源可以是点状或者其他形状光源；是可见光光源，也可以是红外或紫外光源；可以采用激光光源等单色光源，也可以采用复色光源。指示器的发光信号可以通过按键或开关来控制光源点亮的时间长短和间断情况等方式来进行调制，从而将按键或开关信息转换为编码，实现发出带有编码信息的亮斑图像点，这种调制可以通过操作人员操作控制按键直接来实现，也可以由预先设定好的程序来完成。

指示器发出的亮斑图像点不仅可以通过按键或开关控制光源点亮的时间长短和间断情况进行编码，同时也可以选择通过按键或开关控制指示器光源发出的亮度来产生编码。指示器发出的光可产生不同的亮度级别，以指示不同的工作状态，如低亮度时作为一般的发光指示器用，中亮度时为书写，高亮度时为擦除等。

根据使用的需求，可以选择使用多个指示器来实现多人同时交互的功能。这些不同的指示器可以采用同性质的光，也可以采用不同性质的光，以区别不同的指示器，这样可以实现多人分别操作，同时交互，例如多人同时交互玩游戏等。

由操作员控制的指示器在工作时将调制过的光点图像投射到显示屏幕上，在显示屏幕上产生一个带有编码信息的亮斑图像点，带有光学镜头的摄像头或图像感应器捕捉到这个亮斑图像点，经过光学镜头的成像转换，在信号处理计算模块内进行图像处理，提取亮斑图像点的特征信息并计算亮斑图像点的中心位置坐标，同时依据校准模式下获得的位置修正参数对算出的位置坐标进行校准修正；之后对亮斑图像点的编码信息进行检测识别，判断并选择系统的工作模式，完成后传送工作指令给计算机。计算机执行工作指令，将结果显示在屏幕上。

如前所述，指示器上可以安装若干按键，能够进行工作模式选择。根据需要还可以安装压力传感器，通过感应手指的压力大小，控制指示器光源发光的亮度，手指压力增大，指示器发出的亮斑图像点的亮度增大，摄像头或图像感应器接收的亮度增大，相应的显示出书写的笔迹加粗；手指压力减小时，指示器发出的亮斑图像点的亮度减小，摄像头或图像感应器接收的亮度减小，相应的显示出书写的笔迹变细，从而实现书写时显示笔划的粗细。

本发明交互显示方法主要包括如下步骤：

1.可控指示器发出带有编码信息的亮斑图像点并成像在显示屏幕上；

2.摄像头或图像感应器捕捉屏幕上的亮斑图像点；

3.亮斑检测单元处理亮斑图像点信号或数据；

4.位置坐标计算单元计算亮斑图像点中心坐标位置并根据校准模式下获得的位置修正参数对坐标数据进行校准修正；

5.编码检测识别单元检测亮斑图像点的编码信息，判断识别系统的工作模式；

6.根据识别的工作模式，选择相对应的工作回路，运行相应的处理程序

7.计算机执行工作指令，将结果输出到显示屏幕上。

在上述的交互显示方法中，编码检测识别方法主要包括以下步骤：

(1)检测程序从缓冲器中取得亮斑图像点的编码信息；

(2)将编码信息与系统预存的结果比对，从而获得系统的状态值；

(3)识别程序根据系统的状态值，判断系统的工作模式；

(4)依据不同的工作模式选用不同的工作回路，从而确定计算机的执行动作。

在步骤(1)启动检测识别程序之前还包括初始化信号处理计算模块的步骤。

在步骤(4)中系统具有多种工作模式，每种工作模式对应有不同的工作回路和处理程序，可以实现不同的功能。如待机模式使指示器作为普通的指点器使用；校准模式用来获得亮斑图像点位置修正参数；工作模式1可以实现鼠标左键、右键、滚轮功能；工作模式2可以实现上下翻页、左右翻页、拖动滚动、放大缩小功能；工作模式3可以实现文字输入、绘图功能等等，所需要实现的功能可以根据需要添加，进行扩展，而要实现这种功能扩展，只需要扩展定义系统的工作模式，添加相应的工作回路和处理程序就可以实现。

为保证亮斑图像点编码信息的有效检测与识别，需要依据摄像头或图像感应器的性能参数对指示器发出的亮斑图像点编码做出适当设定，具体来讲，就是适当延长指示器光源点亮和未点亮的时间，使得亮斑图像点编码的信号周期T2大于摄像头或图像感应器摄像周期T1。

与现有技术相比，本发明有如下有益效果：

一、操作便利，使用按键操作即可以实现交互功能。

二、使用灵活，在信息交流场合能实现面对受教者进行生动演示。

三、功能强大可扩展。既能实现在大屏幕显示界面上直接指点操作计算机、进行画板操作、通过直写将字符、数字、汉字输入计算机等功能，还可以根据需要对功能进行扩展。

四、不受显示形式的限制，应用广泛。既适合于多媒体教学，又能应用于各类产品表现、现场演讲等场合。

五、可以实现远距离非接触操作。

【附图说明】

图1是本发明实施例交互显示装置的结构示意图；

图2是本发明实施例交互显示装置的原理框图；

图3是本发明实施例交互显示方法的流程图；

图4是本发明实施例交互显示装置编码检测识别流程图；

图5是图像编码信号时序示意图；

图6是本发明实施例的几种图像编码时序图。

【具体实施方式】

请参照图1，101是大屏幕显示设备的显示屏幕，显示方式可以是前投影显示，也可以是背投影显示或平板显示等。102是可发出带编码信息的点状光的指示器，该指示器所带光源可以是点状或者其他形状光源，该指示器的形式也可以是笔状。指示器102上可以安装若干按键，能够进行工作模式选择，根据需要还可以安装压力传感器，通过感应手指的压力大小，从而实现书写时显示笔迹的粗细。指示器102所带光源可以是可见光光源，也可以是红外或紫外光源；可以采用激光光源等单色光源，也可以采用复色光源。指示器102的发光信号可以通过按键或开关来控制光源点亮的时间长短和/或间断情况等方式来进行调制，从而将按键或开关信息转换为编码，实现发出带有编码信息的亮斑图像点。这种调制可以通过操作人员操作控制按键直接来实现，也可以由预先设定好的程序来完成。

如前所述，指示器102发出的亮斑图像点不仅可以通过按键或开关控制光源点亮的时间长短和间断情况进行编码，同时也可以选择通过按键或开关控制指示器光源发出的亮度来产生编码。指示器发出的光可产生不同的亮度级别，以指示不同的工作状态，如低亮度时作为一般的发光指示器用，中亮度时为书写，高亮度时为擦除等。

根据使用的需求，可以选择使用多个指示器来实现多人同时交互的功能。这些不同的指示器可以采用同性质的光，也可以采用不同性质的光，以区别不同的指示器，这样可以实现多人分别操作，同时交互，例如多人同时交互玩游戏等。

带有光学镜头的摄像头或图像感应器104安装在距离显示屏幕101的前方或后方一定距离并可以拍摄到整个显示区域的位置上；有需要的时候，可以在摄像头或图像感应器上安装与指示器发出的光同颜色的滤光镜。在背投影显示系统中，摄像头或图像感应器既可安装在背投影屏幕的前面也可以安装在背投影屏幕的后面。带有预处理电路和单片机或其它类型处理器芯片的信号处理计算模块105与摄像头或图像感应器相连接，用来执行指令的计算机106以有线连接的方式或无线的方式与信号处理计算模块105进行通信。

如图1所示，交互显示电子装置工作时，由操作员控制的指示器102将调制过的光点图像投射到显示屏幕101上，在显示屏幕上产生一个带编码信息的亮斑图像点103，带有光学镜头的摄像头或图像感应器104捕捉到这个亮斑图像点103，经过信号处理计算模块105的运算处理后，传送工作指令至计算机106执行。

本实施例的系统原理框图如图2所示，摄像头或图像感应器201获取到带有编码信息的亮斑图像点，经光学镜头的成像，图像传感器转换输出图像数据至亮斑检测单元202，在亮斑检测单元202进行亮度检测来筛选出亮斑图像点的特征数据，位置坐标计算单元203根据亮斑图像点的特征数据计算亮斑图像点的中心位置坐标，同时依据校准模式下获得的位置修正参数对算出的位置坐标进行校准修正校准；编码检测单元204对亮斑图像点的编码信息进行检测识别，判断并选择系统的工作模式，完成后将工作指令以有线或无线的方式传送给计算机205，计算机执行工作指令，将结果显示在屏幕上。

结合上述内容可以得出本实施例所述交互显示电子装置的交互显示方法，如图3所示是本发明实施例交互显示方法的流程图，其主要包括如下步骤：

1.可控指示器发出带有编码信息的亮斑图像点并成像在显示屏幕上；

2.摄像头或图像感应器捕捉屏幕上的亮斑图像点；

3.亮斑检测单元处理亮斑图像点信号或数据；

4.位置坐标计算单元根据亮斑图像点特征值计算亮斑图像点中心坐标位置并根据定位校准时获得的位置修正参数对坐标数据进行校准修正；

5.编码检测识别单元检测亮斑图像点的编码信息，判断识别系统的工作模式；

6.根据识别的工作模式，选择相对应的工作回路，运行相应的处理程序；

7.计算机执行工作指令，将结果输出到显示屏幕上。

图4是本发明实施例交互显示装置编码检测识别流程图，在本实施例中，编码检测识别主要包括以下步骤：

(1)检测程序从缓冲器中取得亮斑图像点的编码信息；

(2)将编码信息与系统数据库中预存的结果比对，从而获得系统的状态值；

(3)识别程序根据系统的状态值，判断系统的工作模式；

(4)依据不同的工作模式选用不同的工作回路，从而确定计算机的执行动作。

在步骤(1)启动检测识别程序之前还包括初始化信号处理计算模块的步骤。

在本实施例中，系统具有多种工作模式，每种工作模式对应有不同的工作回路和处理程序，可以实现不同的功能。如待机模式使指示器作为普通的指点器使用；校准模式用来获得亮斑图像点位置修正参数；工作模式1可以实现鼠标左键、右键、滚轮功能；工作模式2可以实现上下翻页、左右翻页、拖动滚动、放大缩小功能；工作模式3可以实现文字输入、绘图功能等等，所需要实现的功能可以根据需要添加，进行扩展，而要实现这种功能扩展，只需要扩展定义系统的工作模式，添加相应的工作回路和处理程序就可以实现。

为保证亮斑图像点编码信息的有效检测与识别，需要依据摄像头或图像感应器的性能参数对指示器发出的亮斑图像点编码做出适当设定，图5是亮斑图像点编码信号时序示意图，501是摄像头或图像感应器的摄像时序，其摄像周期为T1，502是指示器发出的亮斑图像点编码的时序图，反映指示器光源点亮的时间和未点亮的时间之间的关系，其周期为T2，其中指示器的光源点亮时将在屏幕上产生能被摄像头或图像感应器拍摄的亮斑。通常，当摄像头或图像感应器的摄像时序与亮斑图像点编码的时序保持同步时，对亮斑图像点编码的检测识别就可以很容易实现，图5所示的501与502有着较好的同步性。事实上，摄像头或图像感应器的摄像时序与亮斑图像点编码的时序较难实现同步，实际的情形如503所示，指示器发出的亮斑图像点编码的时序与摄像头或图像感应器的摄像时序是非同步的，为保证指示器发出的亮斑图像点所携带的编码信息被摄像头或图像感应器拍摄后，能被信号处理计算模块正确地检测识别，不致出现编码无法识别的问题，必须使得亮斑图像点编码的信号周期T2大于摄像头或图像感应器摄像周期T1，也就是需要适当延长光源点亮和未点亮的时间。下面举例说明亮斑图像点编码检测识别的实现过程。

现假设摄像头或图像感应器的拍摄周期为20ms，假设指示器发出的某种亮斑图像点编码的周期为60ms，光源点亮与未点亮的时间各为30ms。为简化描述，现定义当摄像头或图像感应器拍摄到亮斑图像点的时候，编码记为1，除此之外的情形编码均记为0。在上述的亮斑图像点编码情况下，无论摄像头或图像感应器的摄像时序与指示器发出的亮斑图像点编码的时序是否同步，编码检测识别程序都只会获得以下两种编码信息：

110110110110......，或者是

100100100100......，

因此只需将这两种编码信息识别为同一个编码，就可以解决由于摄像头或图像感应器的摄像时序与亮斑图像点编码的时序不同步而带来的编码无法识别或编码混乱等问题。

图6是本发明实施例的几种图像编码时序图，图中虚线所示的是摄像头或图像感应器的摄像时序，实线是亮斑图像点编码信号的时序，从图中可以看出，亮斑图像点编码的信号周期均大于摄像头或图像感应器的摄像周期，在容易发生编码混乱的位置采取加大周期的方式来区分，因此可以较好地实现亮斑图像点编码信号的有效识别。

在本实施例中，编码信号的产生是采用控制指示器发出的亮斑图像点在屏幕上显示的时间长短来实现，为减少显示图像对指示器发出的亮斑图像点的影响，提高亮斑图像点的识别率，在有需要的时候可以在指示器上安装高亮度的单色光源，同时在摄像头或图像感应器安装相应的单色滤光片，使亮斑图像点与显示图像相分离。事实上，编码信号的产生也可以通过其它途径来实现，例如在指示器上加装无线信号发生器或红外信号发生器等等，通过控制无线信号或红外信号来产生编码；相应地，为识别无线编码信号或红外编码信号，在信号处理计算模块中增加无线信号接收单元或红外信号接收单元。

以上所述仅为本发明的较佳实施例，在有需要的时候，采用两个或两个以上的摄像头或图像感应器也可以较好地实现本发明的效果；对于显示面积较大的显示屏，可以将显示屏划分为小的区域，每个区域由与其对应的单个摄像头或图像感应器进行拍摄；在指示器光源的选用以及编码安排上也可以选择多种不同的形式等等，本发明的保护范围并不局限于此，本领域中的技术人员任何基于本发明技术方案上非实质性变更均包括在本发明保护范围之内。

Claims (14)

1、一种交互式显示装置，其特征在于，包括：显示屏幕；至少一只可发出带编码信息的点状光的指示器；可以拍摄到整个显示屏幕上显示区域的、带有光学镜头的摄像头或图像感应器；带有编码信息识别装置的信号处理计算模块；用来执行指令的计算机；摄像头或图像感应器与信号处理计算模块相连接，信号处理计算模块以有线连接的方式或无线的方式与计算机进行通信。

2、根据权利要求1所述的交互式显示装置，其特征在于：指示器上有可控制指示器光源点亮的时间长短和/或间断情况的按键或开关，该按键或开关所控制的光源点亮的时间长短和/或间断情况信息对应为编码。

3、根据权利要求1所述的交互式显示装置，其特征在于：指示器上有可控制指示器光源点亮的亮度的按键或开关，该按键或开关所控制的光源点亮的亮度信息对应为编码。

4、根据权利要求1所述的交互式显示装置，其特征在于：在指示器上加装可发出编码信息的无线信号发生器或者红外信号发生器，相应地在信号处理计算模块中增加无线信号或红外信号接收单元。

5、根据权利要求1至4中任一项所述的交互式显示装置，其特征在于：所述编码信息的信号周期T2大于摄像头或图像感应器的摄像周期T1。

6、根据权利要求1所述的交互式显示装置，其特征在于：指示器发出的光可以是可见光，也可以是红外光、紫外光。

7、根据权利要求1所述的交互式显示装置，其特征在于：指示器发出的光可以是单色光，也可以是复色光。

8、根据权利要求1或6或7所述的交互式显示装置，其特征在于：有两个或者两个以上的指示器，不同指示器可以发射同性质的光，也可以发射不同性质的光。

9、根据权利要求1所述的交互式显示装置，其特征在于：信号处理计算模块中存储有与编码信息对应的指示器工作模式的信息。

10、根据权利要求1所述的交互式显示装置，其特征在于：信号处理计算模块包括亮斑检测单元、位置坐标计算单元、编码检测识别单元。

11、根据权利要求1所述的交互式显示装置，其特征在于：指示器上安装有压力传感器，当指示器处于书写笔工作模式时，可通过压力传感器控制在显示屏幕上显示的笔迹的粗细。

12、根据权利要求1所述的交互式显示装置，其特征在于：其中显示屏幕可以是前投影显示屏幕、背投影显示屏幕，也可以是PDP或LCD平板显示器的屏幕。

13、一种交互式显示装置的交互显示方法，包括如下步骤：

a、指示器发出带有编码信息的亮斑图像点并成像在显示屏幕上；

b、摄像头或图像感应器捕捉显示屏幕上的亮斑图像点；

c、信号处理计算模块中的亮斑检测单元处理亮斑图像点信号或数据；位置坐标计算单元根据亮斑图像点特征值计算亮斑图像点中心坐标位置并根据校准模式下获得的位置修正参数对坐标数据进行校准修正；编码检测识别单元检测亮斑图像点的编码信息，判断识别系统的工作模式；

d、根据识别的工作模式，选择预置的相对应的工作回路，运行相应的处理程序，发出工作指令；

e、计算机执行工作指令，使结果显示到屏幕上。

14、根据权利要求13所述的一种交互式显示装置的交互显示方法，其中步骤c中的编码检测识别方法包括如下步骤：

A、对信号处理计算模块进行初始化；

B、信号处理计算模块中的检测程序从缓冲器中取得亮斑图像点的编码信息；

C、将编码信息与系统预存的结果比对，从而获得系统的状态值；

D、信号处理计算模块中的识别程序根据系统的状态值，判断系统的工作模式。

Images