CN106774868A - 一种无线演示装置 - Google Patents

一种无线演示装置 Download PDF

Info

Publication number
CN106774868A
CN106774868A CN201611109873.1A CN201611109873A CN106774868A CN 106774868 A CN106774868 A CN 106774868A CN 201611109873 A CN201611109873 A CN 201611109873A CN 106774868 A CN106774868 A CN 106774868A
Authority
CN
China
Prior art keywords
sign
screen
image
superimposer
module
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201611109873.1A
Other languages
English (en)
Other versions
CN106774868B (zh
Inventor
杨超峰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Individual
Original Assignee
Individual
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Individual filed Critical Individual
Priority to CN201611109873.1A priority Critical patent/CN106774868B/zh
Publication of CN106774868A publication Critical patent/CN106774868A/zh
Priority to PCT/CN2017/114265 priority patent/WO2018103593A1/zh
Application granted granted Critical
Publication of CN106774868B publication Critical patent/CN106774868B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017Gesture based interaction, e.g. based on a set of recognized hand gestures
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • G06F3/1423Digital output to display device ; Cooperation and interconnection of the display device with other functional units controlling a plurality of local displays, e.g. CRT and flat panel display

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • User Interface Of Digital Computer (AREA)
  • Studio Devices (AREA)
  • Position Input By Displaying (AREA)

Abstract

本发明公开一种无线演示装置,整个装置的核心设备包括标示定位器和标示叠加器,标示定位器由讲解者手持,标示叠加器嵌在电脑和显示设备之间的屏幕数据传输通道上。本发明的无线演示装置采用摄像头、图像处理算法及运动传感器等技术来感知讲解者指向的重点内容在屏幕中的坐标,该坐标称为标示坐标;然后标示叠加器截获屏幕数据,在屏幕的标示坐标处叠加一个适当大小的醒目亮点,实现重点内容的标示目的。本发明的有益效果有:可去抖动,使显示的标示点更稳定;圈示效果很好,支持同时显示多个圈示;没有使用激光发射器,不存在激光笔无法在液晶屏上使用的问题。

Description

一种无线演示装置
技术领域
本发明涉及无线演示器技术领域,尤其涉及一种采用图像视觉技术和体感技术的无线演示装置。
背景技术
无线演示器是会议室中的一个常用物品,用于讲解者讲解PPT或其它电脑资料时突出重点内容,提升讲解效果。讲解者讲解电脑资料时常用两种方法来突出重点内容:1.标示:在内容的关键点处显示一个醒目的亮点;2.圈示:用一段线或一个圆圈来突出一片重点内容区域。
目前市场上无线演示器的技术原理都是使用一个激光发射器,要突出重点内容时讲解者按下激光按钮,打开激光,利用激光高度汇聚的高亮光点照亮屏幕上重点内容,达到突出重点的目的。正因为这个技术原理,无线演示器更为用户熟知的名字叫激光笔。
采用激光技术的无线演示器有3个明显的缺点:
1. 人的手会自然地轻微晃动,导致显示在屏幕上的激光点会晃动地很厉害,特别是讲解者有些微紧张时,激光点几乎无法集中于其想要指示的目标;
2. 要圈示一个区域时,需要不停地挥动手来画出一根线或一个圆的激光轨迹,由于手挥动的轨迹不可能完全重叠,因此实际画出来的激光轨迹很凌乱,导致圈示效果很不好;
3. 高清LCD屏幕的价格下滑很快,越来越多的会议室开始采用LCD屏幕。由于LCD屏幕对激光的反射主要呈镜面反射,造成有些方向看到的激光点很暗,因此激光笔不适用于采用LCD屏幕的会议室。
发明内容
针对上述技术中存在的不足之处,本发明提出了采用视觉图像技术和体感技术的新型无线演示装置。新型无线演示装置的核心设备包括标示定位器和标示叠加器。标示定位器由讲解者手持,其采用摄像头、图像处理算法及运动传感器等技术来感知讲解者所指向的重点内容在屏幕中的坐标,该坐标称为标示坐标;标示叠加器嵌在电脑和显示设备(如投影机、液晶屏等)之间的屏幕数据通道上,其截获屏幕数据,并在屏幕的标示坐标上叠加一个适当大小的醒目亮点,从而实现重点内容的标示目的。
基于上述实现原理,根据标示坐标的感知方式不同,本发明提出了两种新型无线演示装置的实现方式。
第一种实现方式:整个无线演示装置由标示定位器、标示叠加器及屏幕指示器组成。
标示定位器由讲解者手持,其核心作用是定位讲解者所指向的重点内容在屏幕中的坐标,该坐标称为标示坐标。所述标示定位器包括摄像头、第一主控CPU、图像处理模块、第一无线通讯模块和功能按键面板。所述摄像头采集标示定位器所指向的图像;图像处理模块分析摄像头采集的图像,计算标示坐标;主控CPU协调控制其它所有功能模块,通过无线通讯模块与无线演示装置中的其它设备通讯;功能按键面板上设有功能按键,用于讲解者激活标示、圈示及删除圈示等功能。
标示叠加器安装在电脑和显示设备之间的屏幕数据通道上,其核心作用是根据标示坐标在屏幕上叠加醒目标示点。所述标示叠加器包括屏幕数据输入模块、标示叠加模块、屏幕数据输出模块、第二主控CPU及第二无线通讯模块。所述屏幕数据输入模块接收电脑输出的显示设备格式的屏幕数据,并转化为数字屏幕图像,如RGB格式或YUV格式的图像;标示叠加模块接收屏幕数据输入模块输出的数字屏幕图像,在第二主控CPU的控制下在屏幕图像的标示坐标处叠加标示点;屏幕数据输出模块接收叠加了标示点的数字图像,并转化为显示设备格式的屏幕数据,如HDMI格式或VGA格式,输出给显示设备;第二主控CPU控制各功能模块协同工作,通过第二无线通讯模块与无线演示装置中的屏幕指示器和标示定位器通讯。
所述屏幕指示器安装在屏幕的边框上,其主要作用是标记屏幕位置,辅助标示定位器识别屏幕区域。它由多个红外LED组成,这些LED以一种特定布局模式安装在屏幕外框上,并以特定频率闪烁,标示定位器和标示叠加器可以给屏幕指示器发送请求改变LED的闪烁频率。
上述提到的标示定位器的模块和标示叠加器的模块只是无线演示装置中与本发明的技术原理相关的功能模块,一个完整产品还需要其它功能模块,如电池、指示灯、功能按键等等。另外,这些模块可以是软件模块,不一定是硬件物理模块。
基于红外LED的标示坐标定位原理:人眼看不到红外光,但标示定位器的摄像头可以感知红外光,因此其所拍摄的图像中每个红外LED都是高亮的光点。将一些红外LED以适当的布局模式安装在屏幕的外框上,如在屏幕的四只角各放置一个红外LED;图像处理模块只需要在连续拍摄的多张图像中找出高亮光点,根据这些高亮光点的闪烁频率即可知哪些高亮光点是屏幕指示器的LED,根据LED的布局模式即可知所拍摄图像哪部分区域是屏幕;再计算所拍摄图像的中心在屏幕中的坐标,就得到了标示坐标。
屏幕指示器的红外LED的布局模式以利于安装且易于标记屏幕为优。当环境中其它用途的红外LED以相同频率闪烁时,图像处理模块会找到多于屏幕指示器的LED数量的高亮点,则标示坐标计算失败,需给屏幕指示器发请求改变LED的闪烁频率。
上述无线演示装置的工作流程为:
A1、标示定位器平时处于节电休眠状态,当讲解者按下功能按键面板上的功能按键时被唤醒;
A2、标示定位器通知屏幕指示器启动红外LED闪烁;
A3、标示定位器的摄像头拍摄图像,传给标示定位器的图像处理模块;
A4、标示定位器的第一主控CPU和图像处理模块以上述基于红外LED的标示坐标定位原理分析所拍摄的图像,计算讲解者指向的重点内容在屏幕上的坐标,即标示坐标,将标示坐标发送给标示叠加器;
A5、标示叠加器的第二主控CPU接收标示坐标,根据讲解者触发的功能控制标示叠加模块在数字屏幕图像的标示坐标处叠加标示点:若触发标示功能,则删除上一标示坐标的标示点,在当前标示坐标上叠加标示点;若触发圈示功能,则保留上一标示坐标的标示点,在当前标示坐标上叠加标示点;
A6、标示叠加器的屏幕数据输出模块接收标示叠加模块输出的叠加了标示点的数字屏幕图像,转化为显示设备格式,输出给显示设备;
A7、转步骤A3,采集下一个标示坐标并叠加标示点。
讲解者在标示定位器上按下圈示删除按键时,标示定位器发送圈示删除命令给标示叠加器,标示叠加器的标示叠加模块删除整条圈示轨迹上的所有标示点。
上述无线演示装置的工作流程中,标示坐标的计算在手持的标示定位器中完成,这要求标示定位器的图像处理模块有较高的性能,因此耗电量大,对电池的要求很高。针对这个问题,可以在标示叠加器中增加一个图像处理模块。上述工作流程的步骤A4改为:标示定位器拍摄图像,其图像处理模块作压缩编码后,将所拍摄图像发送给标示叠加器,由标示叠加器的图像处理模块以基于红外LED的标示坐标定位原理分析所拍摄的图像,计算标示坐标。
上述无线演示装置技术难度低,应用效果好,不过需要在屏幕的外框上安装屏幕指示器,因此适用于新开发的屏幕,可将屏幕指示器直接集成到屏幕的外框中,对于现有已安装的屏幕,应用不方便。
基于上述原因,本发明提出了无线演示装置的第二种实现方式。无线演示装置的第二种实现方式为:整个无线演示装置由标示定位器和标示叠加器组成。
所述标示定位器由讲解者手持,包含摄像头、第一图像处理模块、运动传感器模块、第一主控CPU、第一无线通讯模块和功能按键面板;所述摄像头采集标示定位器所指向的图像;第一图像处理模块接收摄像头拍摄的图像并作处理;运动传感器模块感知讲解者的手部运动;第一主控CPU控制标示定位器的所有功能模块,通过第一无线通讯模块与标示叠加器通讯;功能按键面板上设有功能按键,讲解者可触发标示、圈示和删除圈示等功能;
所述标示叠加器安装在电脑和显示设备之间,包括屏幕数据输入模块、第二图像处理模块、标示叠加模块、屏幕数据输出模块、第二主控CPU及第二无线通讯模块;所述屏幕数据输入模块接收电脑输出的显示设备格式的屏幕数据,转化为数字屏幕图像,如RGB或YUV格式的图像;第二图像处理模块处理数字屏幕图像,或者同时处理数字屏幕图像和标示叠加器发送来的拍摄图像;标示叠加器接收屏幕数据输入模块输出的数字屏幕图像,在屏幕上叠加标示点;屏幕数据输出模块接收标示叠加器输出的叠加了标示点的数字屏幕图像,转化为显示设备格式(如HDMI或VGA)的屏幕数据,输出给显示设备;第二主控CPU控制标示叠加器的所有功能模块,通过第二无线通讯模块与标示定位器通讯;
标示坐标计算方法:初始标示坐标采用视觉技术获得,所述视觉技术的原理为分析数字屏幕图像和摄像头所拍摄图像的特征,如亮度特征、色度特征及纹理特征等,将两者的特征数据匹配,识别摄像头所拍摄图像中哪部分区域是屏幕,然后计算所拍摄图像的中心点在屏幕上的坐标,即可计算出初始标示坐标;后续标示坐标采用体感技术,所述体感技术的原理为利用运动传感器,如陀螺仪和加速度传感器,感知讲解者手部的旋转和平移运动,通过适当的算法将这些运动折算为标示坐标偏移量,将该偏移量加到上一标示坐标,即可获得当前标示坐标。
所述无线演示装置的工作流程为:
B1、标示定位器平时处于节电休眠状态,当讲解者按下功能按键面板上的功能按键时被唤醒;
B2、标示定位器的摄像头拍摄图像,传给第一图像处理模块;
B3、标示定位器的第一图像处理模块分析摄像头所拍摄图像特征,第一主控CPU将图像特征数据发送给标示叠加器,或者第一图像处理模块将所拍摄图像作压缩编码,第一主控CPU将压缩的拍摄图像发送给标示叠加器,由标示叠加器的第二图像处理模块对所拍摄图像进行特征分析;标示叠加器的第二图像处理模块分析屏幕数据输入模块输出的数字屏幕图像的特征;根据拍摄图像特征和数字屏幕图像特征计算出初始标示坐标;
B4、标示叠加器的标示叠加模块根据讲解者触发的功能在屏幕的标示坐标处叠加标示点:若触发标示功能,则删除上一标示坐标的标示点,在当前标示坐标上叠加标示点;若触发圈示功能,则保留上一标示坐标的标示点,在当前标示坐标上叠加标示点;
B5、屏幕数据输出模块将叠加了标示点的屏幕数据输出给显示设备;
B6、第一主控CPU读取运动传感器数据,计算讲解者手部的运动,利用该运动计算相对上一标示坐标的偏移量;
B7、第一主控CPU将标示坐标偏移量发送给标示叠加器,第二主控CPU将接收的标示坐标偏移量加到上一标示坐标,计算出下一个标示坐标;
B8、转至步骤B4。
讲解者在标示定位器上触发圈示删除功能时,标示定位器发送圈示删除命令给标示叠加器,删除整条圈示轨迹上叠加的所有标示点。
本发明提出的两种无线演示装置,标示点只能显示在屏幕上,当讲解者指向屏幕外面时,无法在屏幕外面显示标示点,可以在标示定位器上增加一个低功率激光发射器,当标示坐标判定为指向屏幕外面时,则打开激光器,在屏幕外面显示一个激光点提醒讲解者已指向屏幕外面,否则,关闭激光器。
本发明的有益效果是:
与现有技术相比,本发明对每个标示坐标可作平滑滤波处理,就会使显示出的标注点更稳定,达到去抖动效果;圈示效果良好,讲解者不用不断绘制激光轨迹,可专注于与听众沟通,并且支持在屏幕上同时显示多个圈示,没有使用激光发射器,解决了激光笔无法在液晶屏上使用的问题。
附图说明
图1. 第一种无线演示装置实现方式的标示定位器功能模块图;
图2. 第一种无线演示装置实现方式的标示叠加器功能模块图;
图3. 实施例1的标示定位器系统框图;
图4. 实施例1的标示叠加器系统框图;
图5. 实施例1的LED布局模式;
图6. 实施例1的无线演示装置的工作流程;
图7. 第二种无线演示装置实现方式的标示定位器功能模块图;
图8. 第二种无线演示装置实现方式的标示叠加器功能模块图;
图9. 实施例2的标示定位器系统框图;
图10. 实施例2的标示叠加器系统框图;
图11. 实施例2的无线演示装置的工作流程。
具体实施方式
为了更清楚地表述本发明,下面结合附图对本发明作进一步地描述。
实施例1:
本发明提出的第一种实现方式的无线演示装置,由标示定位器、标示叠加器及屏幕指示器组成。所述标示定位器的功能模块框图如图1所示,包含摄像头、第一主控CPU、图像处理模块、第一无线通讯模块和功能按键面板等5个功能模块。所述标示叠加器的功能模块框图如图2所示,包括屏幕数据输入模块、标示叠加模块、屏幕数据输出模块、第二主控CPU及第二无线通讯模块等5个功能模块。所述屏幕指示器由多个以特定布局安装在屏幕外框上的红外LED组成。
本实施例基于本发明的第一种无线演示器实现方式,由标示定位器、标示叠加器和屏幕指示器组成。
所述标示定位器由讲解者手持,其核心功能是定位讲解者指向的重点内容在屏幕中的坐标,该坐标称为标示坐标。所述标示定位器的系统框架如图3所示,由摄像头、激光器、MCU(微控制器)、FPGA模块、WiFi模块、按键面板和电池电源模块等主要部件组成。摄像头采集标示定位器所指向的图像;FPGA模块对应图1所示的图像处理模块,其实现了一个图像分析方法,分析摄像头所拍摄的图像;MCU对应图1所示的第一主控CPU模块,控制其它所有功能模块工作;WiFi模块对应图1所示的第一无线通讯模块,实现与整个装置中的其它设备通讯;功能按键面板上设有标示、圈示、圈示删除、上页、下页等功能按键,分别用于触发标示、圈示、删除圈示、演示文件上翻页、演示文件下翻页等功能;激光器用于当讲解者指向屏幕外面时在屏幕外面显示一个激光点,提醒讲解者指向不对;电池电源模块给标示定位器供电。
所述标示叠加器安装在电脑和显示设备(如投影机或液晶屏)之间,其核心功能是在屏幕的标示坐标处叠加一个醒目的标示点。所述标示叠加器的系统框架如图4所示,由HDMI输入接口、HDMI接收器、FPGA模块、MCU(微控制器)、HDMI发送器、HDMI输出接口、USB接口和WIFI模块等主要部件组成。其中,HDMI输入接口和HDMI接收器对应图2所示的屏幕数据输入模块,HDMI输入接口连接电脑显卡的HDMI输出接口,接入电脑输出的屏幕数据,HDMI接收器将HDMI屏幕数据转化为YUV格式的数字屏幕图像;FPGA模块对应图2所示的标示叠加模块,实现在屏幕上叠加标示点;HDMI发送器和HDMI输出接口对应图2所示的屏幕数据输出模块,HDMI发送器接收叠加了标示点的数字屏幕图像,转化为HDMI信号,通过HDMI输出接口输出给显示设备;WiFi模块对应图2所示的第二无线通讯模块,与整个装置中的其它设备通讯;MCU对应图2所示的第二主控CPU模块,控制其它各部件工作。
屏幕指示器安装在屏幕的边框上,由4个红外LED组成,4个红外LED分别安装在屏幕外框的四个角上,LED的布局模式如图5所示;这些LED以特定的频率闪烁。所述屏幕指示器含有一个MCU和WiFi模块,标示定位器可以请求屏幕指示器改变LED的闪烁频率。
图3中的电池电源模块和按键面板的上页/下页按键、图4中的USB接口是实现具体产品所需要的重要部件,不过,不是本发明的技术原理涉及的功能模块。其中,图3中的电池电源模块为标示定位器提供电源;图3中的上页/下页按键用于触发演示文件上翻页和下翻页;图4中的USB接口除了为标示叠加器提供电源,标示叠加器的MCU还将自己向电脑申报为一个USB键盘设备,将标示定位器的上页和下页按键映射为相应的电脑键盘命令,控制演示文件上翻页和下翻页。
本实施例的标示坐标计算原理:人眼看不到红外光,但标示定位器的摄像头采用红外光敏感的光传感器,因此其所拍摄的图像中每个红外LED都是高亮的光点;由于本实施例的屏幕指示器的4个红外LED安装在屏幕的四只角上,因此只需要在所拍摄的图像中找到屏幕指示器的这四个红外LED,就可以确定所拍摄图像哪部分区域是屏幕;所拍摄图像的中心就是讲解者指向的要标示的重点内容,确定了屏幕区域,即得到了标示坐标。由于环境中可能还有其它红外LED,它们是干扰源,本实施例的屏幕指示器的LED不是常开的,而是以特定频率闪烁,标示定位器如果无法成功找到屏幕指示器的四个LED,则给屏幕指示器发送请求改变闪烁频率,以滤除干扰源。
本实施例的核心工作流程如图6所示。
其中,标示定位器的工作流程为:
A1、标示定位器平时处于节电休眠状态,当讲解者按下功能按键时被唤醒;
A2、标示定位器通过WiFi模块从屏幕指示器获得LED布局,初始化LED的发光频率,启动LED闪烁;
A3、摄像头拍摄图像,传给FPGA模块;
A4、FPGA实现的图像处理算法分析所拍摄的图像,找出所有高亮光点;MCU从FPGA中读取高亮光点的坐标,比对连续几张图像的高亮光点,根据所设置的闪烁频率判断哪四个亮点是屏幕指示器的LED;如果符合条件的亮点多于四个,那么环境中有以同频率闪烁干扰LED,则计算标示坐标失败,转步骤A5;否则,根据LED的布局模式,四个LED的位置就是屏幕的四只角,即计算出屏幕在图像中的方位;再计算图像中心在屏幕中的坐标,该坐标就是标示坐标,跳转步骤A6;
A5、给屏幕指示器发请求改变LED闪烁频率,转至步骤A3尝试下一个标示坐标;
A6、通过WiFi模块将标示坐标发送给标示叠加器,由标示叠加器在屏幕的标示坐标处叠加标示点;
A7、转至步骤A3,计算下一个标示坐标;
标示叠加器的工作流程:
B1、HDMI接收器接收电脑显卡输出的HDMI屏幕数据,转化为YUV数字图像,输出给FPGA模块;
B2、MCU接收标示定位器发送过来的标示坐标,根据工作模式控制FPGA实现的标示叠加模块在屏幕图像的标示坐标处叠加标示点:若讲解者触发了标示功能,则删除上一标示坐标上叠加的标示点,在当前标示坐标上叠加标示点;若讲解者触发了圈示功能,则保留上一标示坐标的标示点,在当前标示坐标上叠加标示点,逐步绘制出一条轨迹。
B3、 HDMI发送器接收FPGA模块输出的叠加了标示点的YUV数字屏幕图像,转化为HDMI屏幕数据格式,传输给显示设备;
圈示删除工作流程:
讲解者在标示定位器上按下圈示删除按键时,标示定位器发送圈示删除请求给标示叠加器,标示叠加器的MCU接收该请求,控制FPGA模块删除整条圈示轨迹上的所有标示点。
激光器工作流程:
在上述流程的步骤A4中,当判定标示坐标指向屏幕外面时,标示定位器打开激光器,否则,标示定位器关闭激光器。
在整个装置中,标示定位器可以有多个,用不同的ID区分,多个标示定位器可以同时工作,标示叠加器用不同颜色为不同的标示定位器绘制标示点。
实施例2:
本发明提出的第二种实现方式的无线演示装置,由标示定位器和标示叠加器组成。所述标示定位器的功能模块框图如图7所示,包含摄像头、第一主控CPU、第一图像处理模块、运动传感器模块、第一无线通讯模块和功能按键面板等6个功能模块。所述标示叠加器的功能模块框图如图8所示,包括屏幕数据输入模块、第二图像处理模块、标示叠加模块、屏幕数据输出模块、第二主控CPU及第二无线通讯模块等6个功能模块。
本实施例基于本发明的第二种无线演示装置实现方式,由标示定位器和标示叠加器组成。
所述标示定位器由讲解者手持,其核心功能是定位讲解者指向的重点内容在屏幕中的坐标,该坐标称为标示坐标。所述标示定位器的系统框图如图9所示,由摄像头、激光器、媒体处理器、运动传感器、WiFi模块、按键面板和电池电源模块等主要部件组成。摄像头采集标示定位器所指向的图像,传送给媒体处理器;媒体处理器是一种高性能的图像处理器,实现图7所示的第一主控CPU和第一图像处理模块两个功能模块的功能,它处理摄像头所拍摄的图像,同时协调控制其它所有功能模块,通过WiFi模块与标示叠加器通讯;运动传感器含3轴陀螺仪和3轴加速度传感器,感应演讲者的手部旋转和平移运动;按键面板上设有标示激活、圈示激活、圈示删除、上页、下页等功能按键,分别用于触发标示、圈示、删除圈示、演示文件上翻页、演示文件下翻页等功能;激光发射器用于提醒讲解者指到了屏幕外面;电池电源模块给标示定位器供电。图9中电池电压模块和按键面板的上页/下页按键是实现产品所需要的必要模块,不过,不是本发明的技术原理所涉及的功能模块。
所述标示叠加器安装在电脑和显示设备(如投影机或液晶屏)之间,其核心功能是在屏幕的标示坐标处叠加一个醒目的标示点。所述标示叠加器的系统框图如图10所示,由USB接口、HDMI输出接口、高性能媒体处理器及内存、WIFI模块等主要部件组成。本实施例采用一个高性能媒体处理器为系统核心,该媒体处理器实现图8所示的第二主控CPU、屏幕数据输入模块、第二图像处理模块、标示叠加模块和屏幕数据输出模块等5个功能模块的功能。所述高性能媒体处理器实现图8所示的屏幕数据输入模块功能的方法是:将自己向电脑申报为一个USB显示设备,电脑就会将该显卡所属的屏幕数据从USB接口发送过来,媒体处理器的显示控制器可构建出数字屏幕图像;图8所示的第二图像处理模块在本实施例中是运行在媒体处理器上的一个图像处理软件模块;媒体处理器的显示控制器有OSD功能,完成图8所示的标示叠加模块功能;媒体处理器的显示输出控制器完成图8所示的屏幕数据输出模块功能,它将叠加了标示点的屏幕图像转换为HDMI信号输出给显示设备。媒体处理器还将自己向电脑申报为一个USB键盘设备,将标示定位器发送来的上页和下页按键命令映射为电脑的键盘命令,控制演示文件上翻页和下翻页。USB接口还有一个功能是从电脑的USB接口取电。
标示坐标计算方法:初始标示坐标采用视觉技术获得,所述视觉技术的原理为分析数字屏幕图像和摄像头所拍摄图像的特征,如亮度特征、色度特征及纹理特征等,将两者的特征数据匹配,识别摄像头所拍摄图像中哪部分区域是屏幕,然后计算所拍摄图像的中心点在屏幕上的坐标,即可计算出初始标示坐标;后续标示坐标采用体感技术,所述体感技术的原理为利用运动传感器,如陀螺仪和加速度传感器,感知讲解者手部的旋转和平移运动,通过适当的算法将这些运动折算为标示坐标偏移量,将该偏移量加到上一标示坐标,即可获得当前标示坐标。
原理上所有标示坐标可以全部采用视觉技术获得。不过,要想获得较好的用户体验,标示点的轨迹需要比较平滑,这意味着每秒需要处理几十帧拍摄图像和屏幕图像,计算复杂性太大,要求标示定位器和标示叠加器的媒体处理器的性能很高,耗电量很大。而采用体感技术获得后续标示坐标,整个系统更容易实现,另外运动传感器的采样频率很高,可以获得更平滑的标示点轨迹,用户体验更好。
实施例2的核心工作流程如图11所示。
标示定位器的工作流程:
C1、标示定位器平时处于节电休眠状态,当讲解者按下功能按键时被唤醒;
C2、摄像头拍摄图像,传给媒体处理器;
C3、媒体处理器的图像处理软件模块分析图像特征;
C4、将分析出的图像特征数据发送给标示叠加器;标示叠加器利用该特征数据计算标示坐标;
C5、媒体处理器读取运动传感器数据,计算讲解者手部的运动,根据该运动量计算出标示坐标偏移量;将标示坐标偏移量发送给标示叠加器;
C6、转至步骤C5;
标示叠加器的工作流程为:
D1、媒体处理器向电脑申报为一个USB显示设备;
D1、USB接口输入电脑输出的屏幕数据,媒体处理器的显示控制器在内存中构建数字屏幕图像;
D2、媒体处理器的图像处理软件模块分析数字屏幕图像的图像特征;媒体处理器的CPU将屏幕图像特征数据与标示定位器发送来的拍摄图像特征数据匹配,计算出初始标示坐标;后续持续接收标示定位器发送来的标示坐标偏移量,将标示坐标偏移量加到前一标示坐标得到最新标示坐标;
D4、媒体处理器的显示控制器的OSD模块根据工作模式叠加标示点;若讲解者触发了标示功能,则删除上一标示坐标上的标示点,在当前标示坐标上叠加标示点;若讲解者触发了圈示功能,则保留上一标示坐标的标示点,在当前标示坐标上叠加标示点;
D5、媒体处理器的显示输出控制器将数字屏幕图像转化为HDMI格式数据,输出给显示设备;
圈示删除工作流程:
讲解者在标示定位器上按下圈示删除按键,标示定位器发送圈示删除命令给标示叠加器,标示叠加器删除整条圈示轨迹上的叠加的所有标示点。
激光器工作流程:
在上述流程的步骤D2,当判定标示坐标指向屏幕外面时,则通知标示定位器打开激光器,否则,通知标示定位器关闭激光器。
在整个装置中,标示定位器可以有多个,用不同的ID区分,多个标示定位器可以同时工作,标示叠加器用不同颜色为不同的标示定位器绘制标示点。
以上公开的仅为本发明的几个具体实施例,但是本发明并非局限于此,任何本领域的技术人员能思之的变化都应落入本发明的保护范围。

Claims (7)

1.一种无线演示装置,其特征在于,包括标示定位器、标示叠加器和屏幕指示器;
所述标示定位器由讲解者手持,包含摄像头、图像处理模块、第一主控CPU、第一无线通讯模块和功能按键面板;所述摄像头采集标示定位器所指向的图像;所述图像处理模块接收摄像头拍摄的图像并作处理;所述第一主控CPU控制标示定位器的所有功能模块,通过第一无线通讯模块与所述无线演示装置中的其它设备通讯;所述功能按键面板上设有功能按键,讲解者按下所述功能按键触发标示、圈示和删除圈示等功能;
所述标示叠加器安装在电脑和显示设备之间,所述标示叠加器包括屏幕数据输入模块、标示叠加模块、屏幕数据输出模块、第二主控CPU及第二无线通讯模块;所述屏幕数据输入模块接收电脑输出的显示设备格式的屏幕数据,转化为数字屏幕图像;所述标示叠加模块接收屏幕数据输入模块输入的数字屏幕图像,在屏幕上叠加标示点;所述屏幕数据输出模块接收标示叠加模块输出的叠加了标示点的数字屏幕图像,转化为显示设备格式的屏幕数据,输出给显示设备;第二主控CPU控制标示叠加器的所有功能模块,通过第二无线通讯模块与所述无线演示装置的标示定位器和屏幕指示器无线通讯;
所述屏幕指示器安装在屏幕的外框上,由多个红外LED组成;
所述无线演示装置的工作流程为:
A1、标示定位器平时处于节电休眠状态,当讲解者按下功能按键面板上的功能按键时被唤醒;
A2、标示定位器通知屏幕指示器启动红外LED闪烁;
A3、标示定位器的摄像头拍摄图像,传给标示定位器的图像处理模块;
A4、标示定位器的第一主控CPU和图像处理模块分析所拍摄的图像,计算讲解者指向的重点内容在屏幕上的坐标,该坐标称为标示坐标,通过第一无线通讯模块将标示坐标发送给标示叠加器;
A5、标示叠加器的第二主控CPU接收标示坐标,根据讲解者触发的功能控制标示叠加模块在数字屏幕图像的标示坐标处叠加标示点:若讲解者触发标示功能,则删除上一标示坐标的标示点,在当前标示坐标上叠加标示点;若讲解者触发圈示功能,则保留上一标示坐标的标示点,在当前标示坐标上叠加标示点;
A6、标示叠加器的屏幕数据输出模块接收标示叠加模块输出的叠加了标示点的数字屏幕图像,转化为显示设备格式,输出给显示设备;
A7、转步骤A3,采集下一个标示坐标并叠加标示点。
2.根据权利要求1所述的无线演示装置,其特征在于,所述屏幕指示器的LED安装在屏幕的外框上,用LED安装的布局标记屏幕的位置;所述屏幕指示器的LED以可变频率闪烁。
3.根据权利要求1所述的无线演示装置,其特征在于,所述无线演示装置的工作流程的步骤A4中所用的图像分析方法的流程为:连续分析拍摄的多张图像,找出所拍摄图像中的高亮点,根据高亮点的闪烁频率判断哪些亮点是屏幕指示器的LED发出的,根据LED的布局模式计算所拍摄图像哪部分区域是屏幕,再计算所拍摄图像的中心在屏幕中的坐标,就得到标示坐标;如果找到的LED亮点多于屏幕指示器的LED数量,则外部有以同样频率闪烁的LED在干扰,则给屏幕指示器发请求改变LED的闪烁频率。
4.根据权利要求1所述的无线演示装置,其特征在于,所述标示叠加器上设置有第二图像处理模块,所述无线演示装置的工作流程的工作步骤A4为:标示定位器的图像处理模块将所拍摄图像作压缩编码处理,第一主控CPU将压缩后的图像发送给标示叠加器,所述第二图像处理模块完成标示坐标的计算。
5.根据权利要求1-4任意一项所述的无线演示装置,其特征在于,所述标示定位器上设置一个激光发射器,当标示坐标判定为指向屏幕外面时,标示定位器打开激光器,否则,标示定位器关闭激光器。
6.一种无线演示装置,其特征在于,包括标示定位器和标示叠加器;
所述标示定位器由讲解者手持,包含摄像头、第一图像处理模块、运动传感器模块、第一主控CPU、第一无线通讯模块和功能按键面板;所述摄像头采集标示定位器所指向的图像;所述第一图像处理模块接收摄像头拍摄的图像并作处理;所述运动传感器模块感知讲解者的手部运动;所述第一主控CPU控制标示定位器的所有功能模块,通过第一无线通讯模块与标示叠加器通讯;所述功能按键面板上设有功能按键,讲解者按下所述功能按键触发标示、圈示和删除圈示等功能;
所述标示叠加器安装在电脑和显示设备之间,包括屏幕数据输入模块、第二图像处理模块、标示叠加模块、屏幕数据输出模块、第二主控CPU及第二无线通讯模块;所述屏幕数据输入模块接收电脑输出的显示设备格式的屏幕数据,转化为数字屏幕图像;所述第二图像处理模块处理数字屏幕图像,或者同时处理数字屏幕图像和标示叠加器发送来的拍摄图像;所述标示叠加器接收屏幕数据输入模块输出的数字屏幕图像,在屏幕上叠加标示点;所述屏幕数据输出模块接收标示叠加器输出的叠加了标示点的数字屏幕图像,转化为显示设备格式的屏幕数据,输出给显示设备;第二主控CPU控制标示叠加器的所有功能模块,通过第二无线通讯模块与标示定位器通讯;
所述无线演示装置的工作流程为:
B1、标示定位器平时处于节电休眠状态,当讲解者按下功能按键面板上的功能按键时被唤醒;
B2、标示定位器的摄像头拍摄图像,传给第一图像处理模块;
B3、标示定位器的第一图像处理模块分析所拍摄图像特征,第一主控CPU将图像特征数据发送给标示叠加器,或者第一图像处理模块将所拍摄图像作压缩编码,第一主控CPU将压缩的拍摄图像发送给标示叠加器,由标示叠加器的第二图像处理模块对所拍摄图像进行特征分析;标示叠加器的第二图像处理模块分析屏幕数据输入模块输出的数字屏幕图像的特征;根据拍摄图像特征和数字屏幕图像特征计算讲解者指向的重点内容在屏幕中的坐标,该坐标称为标示坐标;
B4、标示叠加器的标示叠加模块根据讲解者触发的功能在屏幕的标示坐标处叠加标示点:若讲解者触发标示功能,则删除上一标示坐标的标示点,在当前标示坐标上叠加标示点;若讲解者触发圈示功能,则保留上一标示坐标的标示点,在当前标示坐标上叠加标示点;
B5、屏幕数据输出模块将叠加了标示点的屏幕数据输出转化为显示设备格式,输出给显示设备;
B6、第一主控CPU读取运动传感器数据,计算讲解者手部的运动,利用该运动计算相对上一标示坐标的偏移量;
B7、第一主控CPU将标示坐标偏移量发送给标示叠加器,第二主控CPU将接收的标示坐标偏移量加到上一标示坐标,计算出下一个标示坐标;
B8、转至步骤B4。
7.根据权利要求6所述的一种无线演示装置,其特征在于,所述标示定位器上设置一个激光发射器,当标示坐标判定为指向屏幕外面时,标示定位器打开激光器,否则,标示定位器关闭激光器。
CN201611109873.1A 2016-12-06 2016-12-06 一种无线演示装置 Expired - Fee Related CN106774868B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN201611109873.1A CN106774868B (zh) 2016-12-06 2016-12-06 一种无线演示装置
PCT/CN2017/114265 WO2018103593A1 (zh) 2016-12-06 2017-12-01 一种无线演示装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201611109873.1A CN106774868B (zh) 2016-12-06 2016-12-06 一种无线演示装置

Publications (2)

Publication Number Publication Date
CN106774868A true CN106774868A (zh) 2017-05-31
CN106774868B CN106774868B (zh) 2020-04-10

Family

ID=58878469

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201611109873.1A Expired - Fee Related CN106774868B (zh) 2016-12-06 2016-12-06 一种无线演示装置

Country Status (2)

Country Link
CN (1) CN106774868B (zh)
WO (1) WO2018103593A1 (zh)

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107831920A (zh) * 2017-10-20 2018-03-23 广州视睿电子科技有限公司 光标移动显示方法、装置、移动终端及存储介质
WO2018103593A1 (zh) * 2016-12-06 2018-06-14 杨超峰 一种无线演示装置
CN108595026A (zh) * 2018-03-28 2018-09-28 中山大学 一种实现鼠标功能的新型红外激光笔
CN110032317A (zh) * 2019-03-29 2019-07-19 深圳市格上格创新科技有限公司 一种无线演示设备及其标注控制方法和装置
CN110489027A (zh) * 2019-07-05 2019-11-22 深圳市格上格创新科技有限公司 手持输入设备及其指示图标的显示位置控制方法和装置
CN110489026A (zh) * 2019-07-05 2019-11-22 深圳市格上格创新科技有限公司 一种手持输入设备及其指示图标的消隐控制方法和装置
CN110737417A (zh) * 2019-09-30 2020-01-31 深圳市格上视点科技有限公司 一种演示设备及其标注线的显示控制方法和装置
CN111309203A (zh) * 2020-01-22 2020-06-19 深圳市格上视点科技有限公司 一种鼠标光标的定位信息的获取方法及装置
CN113973605A (zh) * 2021-10-26 2022-01-28 国网辽宁省电力有限公司辽阳供电公司 输电线路下方超高树枝的修剪装置

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101114260A (zh) * 2007-08-24 2008-01-30 华南理工大学 一种用于电子文档演示的智能演示设备
CN202041938U (zh) * 2011-03-31 2011-11-16 南昌航空大学 一种用于投影仪屏幕的激光笔多点触控装置
JP2014106922A (ja) * 2012-11-29 2014-06-09 Samsung R&D Institute Japan Co Ltd ポインティング装置及びポインティング装置用プログラム
US20150029173A1 (en) * 2013-07-25 2015-01-29 Otoichi NAKATA Image projection device
CN104685450A (zh) * 2013-02-07 2015-06-03 株式会社柳韩普利真 在演示系统中利用激光指示器的影像书写方法

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100829172B1 (ko) * 2006-02-20 2008-05-13 호감테크놀로지(주) 적외선 터치스크린 장치 및 적외선 터치스크린의 터치점의좌표 산출 방법
TWI351653B (en) * 2008-02-01 2011-11-01 Quanta Comp Inc System and method for determining coordinates
CN102073395B (zh) * 2011-02-25 2012-08-29 上海交通大学 基于fpga的无线激光笔互动系统
CN102231093B (zh) * 2011-06-14 2013-07-31 伍斌 一种屏幕定位控制方法及装置
CN106774868B (zh) * 2016-12-06 2020-04-10 杨超峰 一种无线演示装置

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101114260A (zh) * 2007-08-24 2008-01-30 华南理工大学 一种用于电子文档演示的智能演示设备
CN202041938U (zh) * 2011-03-31 2011-11-16 南昌航空大学 一种用于投影仪屏幕的激光笔多点触控装置
JP2014106922A (ja) * 2012-11-29 2014-06-09 Samsung R&D Institute Japan Co Ltd ポインティング装置及びポインティング装置用プログラム
CN104685450A (zh) * 2013-02-07 2015-06-03 株式会社柳韩普利真 在演示系统中利用激光指示器的影像书写方法
US20150029173A1 (en) * 2013-07-25 2015-01-29 Otoichi NAKATA Image projection device

Cited By (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018103593A1 (zh) * 2016-12-06 2018-06-14 杨超峰 一种无线演示装置
CN107831920A (zh) * 2017-10-20 2018-03-23 广州视睿电子科技有限公司 光标移动显示方法、装置、移动终端及存储介质
CN108595026A (zh) * 2018-03-28 2018-09-28 中山大学 一种实现鼠标功能的新型红外激光笔
CN110032317A (zh) * 2019-03-29 2019-07-19 深圳市格上格创新科技有限公司 一种无线演示设备及其标注控制方法和装置
CN110032317B (zh) * 2019-03-29 2021-05-28 深圳市格上格创新科技有限公司 一种无线演示设备及其标注控制方法和装置
WO2021004413A1 (zh) * 2019-07-05 2021-01-14 深圳市格上格创新科技有限公司 一种手持输入设备及其指示图标的消隐控制方法和装置
WO2021004412A1 (zh) * 2019-07-05 2021-01-14 深圳市格上格创新科技有限公司 手持输入设备及其指示图标的显示位置控制方法和装置
CN110489026A (zh) * 2019-07-05 2019-11-22 深圳市格上格创新科技有限公司 一种手持输入设备及其指示图标的消隐控制方法和装置
CN110489027A (zh) * 2019-07-05 2019-11-22 深圳市格上格创新科技有限公司 手持输入设备及其指示图标的显示位置控制方法和装置
CN110489027B (zh) * 2019-07-05 2021-07-23 深圳市格上格创新科技有限公司 手持输入设备及其指示图标的显示位置控制方法和装置
CN110737417A (zh) * 2019-09-30 2020-01-31 深圳市格上视点科技有限公司 一种演示设备及其标注线的显示控制方法和装置
CN110737417B (zh) * 2019-09-30 2024-01-23 深圳市格上视点科技有限公司 一种演示设备及其标注线的显示控制方法和装置
CN111309203A (zh) * 2020-01-22 2020-06-19 深圳市格上视点科技有限公司 一种鼠标光标的定位信息的获取方法及装置
CN113973605A (zh) * 2021-10-26 2022-01-28 国网辽宁省电力有限公司辽阳供电公司 输电线路下方超高树枝的修剪装置

Also Published As

Publication number Publication date
CN106774868B (zh) 2020-04-10
WO2018103593A1 (zh) 2018-06-14

Similar Documents

Publication Publication Date Title
CN106774868A (zh) 一种无线演示装置
KR102364429B1 (ko) 콘텐츠를 표시하기 위한 방법 및 그 전자 장치
WO2020177585A1 (zh) 一种手势处理方法及设备
CN108520241B (zh) 基于光学指纹技术的指纹采集方法、装置和用户终端
CN105210145B (zh) 交互式的可穿戴和便携式智能装置
KR102348219B1 (ko) 탈부착이 가능한 전자 장치 및 그 동작 방법
CN109840061A (zh) 控制屏幕显示的方法及电子设备
KR102260721B1 (ko) 전자 장치 및 전자 장치에서의 음악 연주 방법
CN108234750A (zh) 用于检测盖设备的打开和闭合的电子设备及其操作方法
KR20180097384A (ko) 전자 장치 및 전자 장치 제어 방법
CN112789583A (zh) 显示装置及其控制方法
WO2015120611A1 (zh) 用户设备的智能响应方法和用户设备
US20220148336A1 (en) Face liveness detection method and related apparatus
KR20170103558A (ko) 생체 정보를 측정하는 전자 장치와 이의 동작 방법
US20180164983A1 (en) Display system, display apparatus, control method for display apparatus
US11204645B2 (en) Method for providing haptic feedback, and electronic device for performing same
KR102656528B1 (ko) 전자 장치, 외부 전자 장치 및 전자 장치와 외부 전자 장치를 연결하기 위한 방법
EP3015957A1 (en) Electronic device and method for controlling external object
KR102422181B1 (ko) 전자 장치의 디스플레이 제어 방법 및 그 전자 장치
KR20160065602A (ko) 부착 기기 및 이의 전자 기기 제어 방법
CN110959948B (zh) 与远程装置和显示器交互的智能帽子装置
CN109144176A (zh) 虚拟现实中的显示屏交互显示方法、终端及存储介质
CN108984145A (zh) 一种亮度调节方法及电子设备
US20200150758A1 (en) Display device, learning device, and control method of display device
CN113272888A (zh) 用于根据外部光改变显示特性的电子装置及其方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20200410

Termination date: 20211206