CN111831140A - 基于激光笔的可视化交互方法和装置及设备 - Google Patents

基于激光笔的可视化交互方法和装置及设备 Download PDF

Info

Publication number
CN111831140A
CN111831140A CN202010675839.0A CN202010675839A CN111831140A CN 111831140 A CN111831140 A CN 111831140A CN 202010675839 A CN202010675839 A CN 202010675839A CN 111831140 A CN111831140 A CN 111831140A
Authority
CN
China
Prior art keywords
light
laser pen
controlled object
image
controlled
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202010675839.0A
Other languages
English (en)
Inventor
任占文
侯光磊
王俊
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Jianyuan Technology Co ltd
Original Assignee
Beijing Jianyuan Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Jianyuan Technology Co ltd filed Critical Beijing Jianyuan Technology Co ltd
Priority to CN202010675839.0A priority Critical patent/CN111831140A/zh
Publication of CN111831140A publication Critical patent/CN111831140A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0354Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of 2D relative movements between the device, or an operating part thereof, and a plane or surface, e.g. 2D mice, trackballs, pens or pucks
    • G06F3/03545Pens or stylus
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04815Interaction with a metaphor-based environment or interaction object displayed as three-dimensional, e.g. changing the user viewpoint with respect to the environment or object
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04847Interaction techniques to control parameter settings, e.g. interaction with sliders or dials
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00Three dimensional [3D] modelling, e.g. data description of 3D objects
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/048Indexing scheme relating to G06F3/048
    • G06F2203/048023D-info-object: information is displayed on the internal or external surface of a three dimensional manipulable object, e.g. on the faces of a cube that can be rotated by the user

Abstract

本申请涉及一种基于激光笔的可视化交互方法,包括:接收由图像采集设备上传的采集图像,并基于采集图像中的光斑确定被控对象;采集图像中的光斑通过激光笔发射光束至被控区域产生;激光笔发射的光束包括同光轴输出的可见光和不可见光两路,采集图像中的光斑对应不可见光的光束;获取被控对象对应的控制指令,并根据控制指令对被控对象进行控制。通过采用激光笔替代鼠标,由激光笔发射同光轴的可见光和不可见光,可见光的光斑引导提示操作人员当前所指向的被控对象,不可见光的光斑作为处理器进行被控对象识别的依据,这就使得操作人员能够根据可见光的光斑能够更加灵活准确的指向被控对象,从而有效提高了可视化交互远程控制的准确度。

Description

基于激光笔的可视化交互方法和装置及设备
技术领域
本公开涉及可视化交互技术领域,尤其涉及一种基于激光笔的可视化交互方法和装置及设备。
背景技术
随着计算机技术、信息技术的飞速发展,人类已进入信息时代,以计算机为核心的结合视频、音频和通讯等领域的多媒体技术得到了蓬勃发展,信息的可视性越来越受到人们的欢迎和灌注。液晶拼接显示墙作为大屏幕终端显示设备,解决了传统各种显示屏的耗材、灼伤和维护困难等问题,为方便、全面、实时地显示各系统视频显示,特别是远程实时指挥、调度、监控、教案等长期半固定画面显示项目应用提供了最好的大屏幕显示系统。
随着生产、调度系统的业务内容逐渐增多,计算机图像和视屏图像输出质量的提高,导致显示分辨率指数级增加,这也就意味着液晶拼接显示墙的尺寸跟随分辨率指数级增大。在传统模式下用户对液晶拼接显示墙的显示内容进行操作时,为了操作便捷,一般会在可视化图像处理器上安装windows操作系统,基于该操作系统与显示强大的驱动实现大画幅。但是,在基于windows操作系统对液晶拼接显示墙的显示内容进行操作中,在拼接液晶屏面前操作时,由于拼接液晶屏的显示分辨率过大,而windows操作系统中显示时鼠标的显示范围又太小,因此不便于精准的对画面进行细微操作。
发明内容
有鉴于此,本公开提出了一种基于激光笔的可视化交互方法,可以实现对展示画面进行细微操作的精准遥控。
根据本公开的一方面,提供了一种基于激光笔的可视化交互方法,包括:
接收由图像采集设备上传的采集图像,并基于所述采集图像中的光斑确定被控对象;
其中,所述采集图像中的光斑通过激光笔发射光束至被控区域产生;
所述激光笔发射的光束包括同光轴输出的可见光和不可见光两路,所述采集图像中的光斑对应所述不可见光的光束;
获取所述被控对象对应的控制指令,并根据所述控制指令对所述被控对象进行控制。
在一种可能的实现方式中,所述被控区域包括液晶拼接屏和实体场景中的任意一种;
在所述被控区域为所述液晶拼接屏时,所述采集图像为所述液晶拼接屏的显示界面,所述被控对象为所述显示界面中所述光斑所指向的显示内容;
在所述被控区域为所述实体场景时,所述采集图像为所述实体场景的当前画面,所述被控对象为所述实体场景中所述光斑所指向的可控物体。
在一种可能的实现方式中,接收由图像采集设备上传的采集图像之前,还包括:对所述激光笔发射出的光斑进行指向定位校准,得到所述被控区域内各物理位置的物理空间坐标与计算机逻辑坐标之间的映射关系的步骤;
其中,所述物理位置为所述激光笔投射光束至所述被控区域时所述光斑的指向位置,所述物理空间坐标为所述物理位置在所述被控区域内的实际位置,所述计算机逻辑坐标为所述物理位置被计算机识别后输出画面的坐标位置。
在一种可能的实现方式中,在所述被控区域为所述液晶拼接屏时,基于所述采集图像中的光斑确定被控对象,包括:
获取所述光斑在所述采集图像中的物理空间坐标;
根据所述映射关系确定所述光斑的计算机逻辑坐标,并根据所述计算机逻辑坐标由计算机画布中确定所对应的所述被控对象;
其中,所述计算机画布为与所述液晶拼接屏相对应的显示画布。
在一种可能的实现方式中,在所述被控区域为所述实体场景时,基于所述采集图像中的光斑确定被控对象,包括:
获取所述光斑在所述采集图像中的物理空间坐标;
根据所述映射关系确定所述光斑的计算机逻辑坐标,并根据所述计算机逻辑坐标由预先创建的三维场景模型中确定所对应的被控对象;
其中,所述三维场景模型为采用三维建模方法对所述实体场景所创建的三维模型。
在一种可能的实现方式中,在所述被控区域为所述液晶拼接屏时,获取所述被控对象对应的控制指令时,包括接收所述激光笔发送的所述控制指令的步骤;
其中,所述激光笔发送所述控制指令时通过触发所述激光笔上所配置的控制按键来实现,所述控制按键包括:上一页、下一页、确认、返回和锁定中的至少一种。
在一种可能的实现方式中,在所述被控区域为所述液晶拼接屏时,获取所述被控对象对应的控制指令,包括:
对所述光斑在同一指向位置的停留时间进行计时,在所述停留时间大于或等于预设时间时,获取所述控制指令为局部放大。
在一种可能的实现方式中,在所述被控区域为所述实体场景时,获取所述被控对象对应的控制指令包括以下方式中的至少一种:
接收通过触发所述激光笔上的控制按键时所发送的所述控制指令;
基于所述采集图像识别所述被控对象的当前状态,并根据所述当前状态由预先存储的所述被控对象的操作方式中获取与所述当前状态相反的操作状态,根据所述操作状态确定相应的所述控制指令。
根据本申请的另一方面,还提供了一种基于激光笔的可视化交互装置,包括图像接收模块、被控对象确定模块、指令获取模块和控制模块;
所述图像接收模块,被配置为接收由图像采集设备上传的采集图像;
所述被控对象确定模块,被配置为基于所述采集图像中的光斑确定被控对象;其中,所述采集图像中的光斑通过激光笔发射光束至被控区域产生;
所述激光笔发射的光束包括同光轴输出的可见光和不可见光两路,所述采集图像中的光斑对应所述不可见光的光束;
所述指令获取模块,被配置为获取所述被控对象对应的控制指令;
所述控制模块,被配置为根据所述控制指令对所述被控对象进行控制。
根据本申请的一方面,还提供了一种基于激光笔的可视化交互设备,包括:
处理器;
用于存储处理器可执行指令的存储器;
其中,所述处理器被配置为执行所述可执行指令时实现前面任一所述的方法。
本申请实施例的基于激光笔的可视化交互方法,通过采用能够同光轴输出两路光束的激光笔,由该激光笔发射光束至被控区域以指向被控对象,进而再由图像采集设备采集被控区域的当前图像,并将采集到的当前图像上传至处理器。处理器接收图像采集设备上传的采集图像,基于采集图像中的光斑(该光斑由激光笔发射的不可见光束形成)确定具体的被控对象,然后再根据所确定的被控对象获取相应的控制指令,通过执行该控制指令来实现对被控对象的控制,从而完成被控区域的可视化交互过程。相较于相关技术中,采用鼠标控制被控对象来实现可视化交互的方式,本申请实施例的可视化交互方法,采用了激光笔替代鼠标,由激光笔发射同光轴的可见光和不可见光,通过可见光的光斑来引导提示操作人员当前所指向的被控对象,通过不可见光的光斑作为处理器进行被控对象识别的依据,这就使得操作人员能够根据可见光的光斑能够更加灵活准确的指向被控对象,从而有效提高了可视化交互的远程控制的准确度,能够实现对画面细微操作的精准控制。
根据下面参考附图对示例性实施例的详细说明,本公开的其它特征及方面将变得清楚。
附图说明
包含在说明书中并且构成说明书的一部分的附图与说明书一起示出了本公开的示例性实施例、特征和方面,并且用于解释本公开的原理。
图1示出本申请实施例的基于激光笔的可视化交互方法的流程图;
图2示出在被控区域为液晶拼接屏时,本申请实施例的基于激光笔的可视化交互方法的应用场景物理布局图;
图3示出在被控区域为液晶拼接屏时,本申请实施例的基于激光笔的可视化交互方法中对激光笔的光斑指向进行定位校准时的矫正关键点和距离布局图;
图4示出在被控区域为液晶拼接屏时,本申请实施例的基于激光笔的可视化交互方法中对激光笔的光斑指向进行定位校准时的过程示意图;
图5示出在被控区域为液晶拼接屏时,通过可视化交互设计工具设计液晶拼接屏所展示的场景画面时的设计界面图;
图6示出在被控区域为液晶拼接屏时,通过可视化交互设计工具所设计出的液晶拼接屏当前所展示的场景画面图;
图7示出在被控区域为液晶拼接屏时,本申请实施例的基于激光笔的可视化交互方法中对显示内容进行放大时的操作示意图;
图8示出在被控区域为液晶拼接屏时,本申请实施例的基于激光笔的可视化交互方法中对显示内容进行下钻分析时的操作示意图;
图9示出在被控区域为液晶拼接屏时,本申请实施例的基于激光笔的可视化交互方法中进行拼接屏投放的操作示意图;
图10示出本申请实施例的基于激光笔的可视化交互装置的结构框图;
图11示出本申请实施例的基于激光笔的可视化交互设备的结构框图。
具体实施方式
以下将参考附图详细说明本公开的各种示例性实施例、特征和方面。附图中相同的附图标记表示功能相同或相似的元件。尽管在附图中示出了实施例的各种方面,但是除非特别指出,不必按比例绘制附图。
在这里专用的词“示例性”意为“用作例子、实施例或说明性”。这里作为“示例性”所说明的任何实施例不必解释为优于或好于其它实施例。
另外,为了更好的说明本公开,在下文的具体实施方式中给出了众多的具体细节。本领域技术人员应当理解,没有某些具体细节,本公开同样可以实施。在一些实例中,对于本领域技术人员熟知的方法、手段、元件和电路未作详细描述,以便于凸显本公开的主旨。
首先,需要说明的是,本申请实施例的基于激光笔的可视化交互方法主要是应用于液晶拼接屏显示内容的遥控场景以及现场实体场景中的可控设备的遥控等场景。即,采用本申请实施例的基于激光笔的可视化交互方法,来实现操作者在大型场馆内所指即所用的遥控功能。
同时,在实现本申请实施例的基于激光笔的可视化交互方法时,需要对现场进行物理布局,在现场配置相应的图像采集设备,并配置相应的激光笔。需要指出的是,应用本申请实施例的可视化交互方法所配置的激光笔为能够同光轴输出两路光束的激光笔。并且,同光轴发射的两路光束中包括一路可见光光束(如:高亮度绿色激光)和一路不可见光光束(如:红外光)。其中,高亮度的可见光光束用于引导操作人员当前激光笔所指向的被控对象,不可见光则作为计算机(处理器)确定识别被控对象的依据。
对应的,图像采集设备则是用于采集被控区域的当前画面的,其需要能够过滤掉激光笔所发射的可见光的光斑,同时还能够采集到激光笔所发射的不可见光的光斑。因此,图像采集设备可以通过在摄像机的镜头前增加一滤光镜来实现。所增加的滤光镜可以采用黑玻璃滤光镜。黑玻璃滤光镜作为红外高透滤光片,能够有效过滤可见光波。
图1示出根据本申请实施例的基于激光笔的可视化交互方法的流程图。如图1所示,该方法包括:步骤S100,接收由图像采集设备上传的采集图像,并基于采集图像中的光斑确定被控对象。其中,需要说明的是,在本申请实施例的方法中,采集图像中的光斑是通过激光笔发射光束至被控区域来产生的。同时,在本申请实施例的方法中,所采用的激光笔与传统的激光笔有所不同,本申请实施例中所采用的激光笔发射的光束包括同光轴输出的可见光和不可见光两路。如:可见光可以为绿色激光,不可见光则为红外光。绿色激光与红外光同光轴输出,投射到被控区域。采集图像的光斑则对应不可见光的光束。由此,在进行可视化交互过程中,用户可以根据激光笔所发出的可见光的光斑确定被控对象是否指向准确,处理器则可以通过图像采集设备所采集到的图像中的不可见光的光斑确定被控对象。然后再通过步骤S200,获取被控对象对应的控制指令,并根据控制指令对被控对象进行控制。
由此,本申请实施例的基于激光笔的可视化交互方法,通过采用能够同光轴输出两路光束的激光笔,由该激光笔发射光束至被控区域以指向被控对象,进而再由图像采集设备采集被控区域的当前图像,并将采集到的当前图像上传至处理器。处理器接收图像采集设备上传的采集图像,基于采集图像中的光斑(该光斑由激光笔发射的不可见光束形成)确定具体的被控对象,然后再根据所确定的被控对象获取相应的控制指令,通过执行该控制指令来实现对被控对象的控制,从而完成被控区域的可视化交互过程。相较于相关技术中,采用鼠标控制被控对象来实现可视化交互的方式,本申请实施例的可视化交互方法,采用了激光笔替代鼠标,由激光笔发射同光轴的可见光和不可见光,通过可见光的光斑来引导提示操作人员当前所指向的被控对象,通过不可见光的光斑作为处理器进行被控对象识别的依据,这就使得操作人员能够根据可见光的光斑能够更加灵活准确的指向被控对象,从而有效提高了可视化交互的远程控制的准确度,能够实现对画面细微操作的精准控制。
根据前面所述可知,本申请实施例的基于激光笔的可视化交互方法的应用场景可以为对液晶拼接屏中的显示内容进行遥控,还可以为对现场实体场景中的可控设备进行遥控。因此,对应的,被控区域可以包括液晶拼接屏和实体场景中的任意一种。其中,在被控区域为液晶拼接屏时,图像采集设备所上传的采集图像为液晶拼接屏的显示界面,被控对象则为显示界面中光斑所指向的显示内容。在被控区域为实体场景时,采集图像则为实体场景的当前画面,被控对象则为实体场景中光斑所指向的可控物体。
举例来说,参阅图2,在被控区域为液晶拼接屏时,应用本申请实施例的可视化交互方法时,需要建立图2所示的物理布局。即,将图像采集设备设置在液晶拼接墙的前面,以使图像采集设备能够采集到液晶拼接墙的整个显示界面。相应的,采集图像对应液晶拼接墙的整个显示界面。被控对象则为显示界面中某一部分或某一区域处的显示内容。
在被控区域为实体场景时,则需要在实体场景处配置一个或多个图像采集设备,以能够采集到实体场景的整体画面。如:实体场景可以为卧室或客厅时,所创建的物理布局可以为:通过在卧室或客厅的四个天花板角落处设置均配置一个图像采集设备,由所配置的这四个图像采集设备有效采集到卧室或客厅的整体画面。相应的,采集图像为卧室或客厅的整体画面,被控对象则为卧室或客厅中的某一个可控设备,如:台灯、窗帘或门等。此处,本领域技术人员可以理解的是,在实体场景中进行图像采集设备的布置时,图像采集设备的个数以及布置位置可以根据实体场景的不同灵活设置,只要能够将实体场景中的整体画面采集到即可。
此外,还需要指出的是,在本申请实施例的可视化交互方法中,在完成上述物理布局后,接收由图像采集设备上传的采集图像之前,还包括:对激光笔的发射出的光斑进行指向定位校准,得到被控区域内各物理位置的物理空间坐标与计算机逻辑坐标之间的映射关系的步骤。
此处,需要解释说明的是,物理位置指的是激光笔投射光束至被控区域时光斑的指向位置,物理空间坐标则为物理位置在被控区域内的实际位置,计算机逻辑坐标则为物理位置被计算机识别后输出画面的坐标位置。
也就是说,在建立相应的物理布局后,即可基于所建立的物理布局采用本申请实施例的基于激光笔的可视化交互方法对液晶拼接屏、建设场地内的物理部件(如:灯光、窗帘、电脑等)进行遥控控制。但是,为了有效提高遥控的精确度,在使用之前或者是图像采集设备移位之后,均需要对场景内可控点进行一一校准。
以液晶拼接屏为例,在使用之前需要校准确定液晶拼接屏的物理位置。其中,本领域技术人员可以理解的是,本申请实施例中对激光笔在液晶拼接屏上的指向进行校准时的逻辑与电阻式触摸屏的校准相类似,通过构建一个初始画布进行逻辑校准。逻辑校准的目的有两个,一个是从空间的角度上来讲,使用激光笔校准图像采集设备能捕捉到液晶拼接屏的空间位置。在空间使用时,能够控制液晶拼接屏的开机、关机、外部信号单元的投放等。二是,完成物理空间坐标与计算机逻辑坐标的映射。
其中,进行校准的矫正关键点有五个,并且这五个矫正关键点的物理空间坐标是已知的。具体的,四个点分别设置在液晶拼接屏的四个角落,第五个点作为基准矫正点设置在液晶拼接屏的正中心。矫正关键点和距离布局如图3所示。
基于上述矫正关键点的布局,参阅图4,校正步骤如下:
首先,通过激光笔先后点击液晶拼接屏的四个角落处的矫正关键点,获取四个角落处的计算机逻辑坐标值。然后,计算s1’=xl[2]-xl[1],s3’=xl[3]-xl[4],s2’=yl[3]-yl[2],s4’=yl[4]-yl[1];
注:xl[1]为屏幕显示区域像素点,距离屏幕左侧边缘横坐标位置(一般xl[1]为0);
yl[1]为屏幕显示区域像素点,距离屏幕上侧边缘横坐标位置(一般yl[1]为0);
xl[2]为屏幕显示区域像素点,距离屏幕左侧边缘横坐标位置;
yl[2]为屏幕显示区域像素点,距离屏幕上侧边缘横坐标位置(一般yl[2]为0);
xl[3]为屏幕显示区域像素点,距离屏幕左侧边缘横坐标位置;yl[3]为屏幕显示区域像素点,距离屏幕上侧边缘横坐标位置;
xl[4]为屏幕显示区域像素点,距离屏幕左侧边缘横坐标位置(一般xl[4]为0);
yl[4]为屏幕显示区域像素点,距离屏幕上侧边缘横坐标位置;
计算s1=x[2]-x[1],s3=x[3]-x[4],s2=y[3]-y[2],s4=y[4]-y[1],一般取点可以人为的设定s1=s3和s2=s4,以方便运算。
注:x[1]为校准时激光笔所指,距离屏幕左侧边缘横坐标位置;
y[1]为校准时激光笔所指,距离屏幕上侧边缘纵坐标位置;
x[2]为校准时激光笔所指,距离屏幕左侧边缘横坐标位置;
y[2]为校准时激光笔所指,距离屏幕上侧边缘纵坐标位置;
x[3]为校准时激光笔所指,距离屏幕左侧边缘横坐标位置;
y[3]为校准时激光笔所指,距离屏幕上侧边缘纵坐标位置;
x[4]为校准时激光笔所指,距离屏幕左侧边缘横坐标位置;
y[4]为校准时激光笔所指,距离屏幕上侧边缘纵坐标位置;
计算KX=(s1’+s3’)/2/s1、KY=(s2’+s4’)/2/s2。
注:KX,KY横纵方向伸缩系数
进而,再点击液晶拼接屏的正中心,获取中心点的逻辑坐标,作为矫正的基准点。校正完成后命名为(XLC、YLC)
完成以上步骤则校正完成。下次通过激光笔点击液晶拼接屏的时候获取的物理空间坐标XL和YL,可根据以下公式转换得到相应的计算机逻辑坐标:
X=(XL-XLC)/KX+XC;
Y=(YL-YLC)/KY+YC;
注:XC,YC中心基点物理坐标,即XC为屏幕横向分辨率的一半;YC为屏幕纵向分辨率的一半;
换算出来的X,Y即是和液晶拼接显示墙中物理空间坐标相对应的计算机逻辑坐标值,以方便对激光笔的指向响应程序从而识别出被控对象。
校验操作时则可以根据提示操作者依次使用激光笔发射激光光斑,对准液晶拼接屏的校准位置,分别为液晶拼接屏的左上、左下、右上、右下以及中心点。校准完成后,处理器根据图像采集设备上传的采集图像中的光斑依次确认左上、左下、右上、右下、中心,并通过算法计算屏幕的物理位置,以及确认显示画布在计算机中的实际像素点,从而最终得到被控区域内各物理位置的物理空间坐标与计算机逻辑坐标之间的映射关系。
对应的,在对激光笔在液晶拼接屏上的指向进行定位校准之后,即可进行液晶拼接屏的遥控。其中,图像采集设备将采集图像上传至处理器后,即可由处理器基于采集图像中的光斑确定被控对象。在一种可能的实现方式中,基于采集图像中的光斑确定被控对象时,可以通过采集图像获取光斑在采集图像中的物理空间坐标,然后根据映射关系确定光斑的计算机逻辑坐标,并根据计算机逻辑坐标由计算机画布中确定所对应的被控对象。此处,本领域技术人员可以理解的是,计算机画布为与液晶拼接屏相对应的显示画布。
此外,实体场景内可控点的校准与前面所述的液晶拼接屏的校准相类似,所不同的在于,在校准之前需要先对实体场景进行三维建模,创建三维场景模型。然后,在所创建的三维场景模型中标记可控点位置以及可控点的操作方式及对应接口,然后根据三维场景模型可控点的提示,进行激光笔的指向定位校准。其中,对实体场景进行三维模型的方式,以及校准方式均可以采用本领域的常规技术手段来实现,此处不再进行赘述。
对应的,在被控区域为实体场景时,基于采集图像中的光斑确定被控对象时,则可以通过以下方式来实现。即,首先获取光斑在采集图像中的物理空间坐标,然后根据映射关系确定光斑的计算机逻辑坐标,并根据计算机逻辑坐标由预先创建的三维场景模型中确定所对应的被控对象。
在基于采集图像确定被控对象后,即可获取被控对象所对应的控制指令,然后根据控制指令对被控对象进行控制。由于被控区域存在液晶拼接屏和实体场景两种情况,相应的,在本申请实施例的可视化交互方法中,控制指令和控制指令的获取方式有所不同。
具体的,在被控区域为液晶拼接屏时,控制指令包括上一页、下一页、确认、返回、锁定和放大中的至少一种。相应的,控制指令的获取方式则可以通过激光笔发送的方式来实现。即,通过在激光笔上配置相应的控制按键,在激光笔指向液晶拼接屏中的某部分显示内容时,可以根据当前需要触发相应的控制按键,从而实现激光笔发送控制指令至处理器,由处理器接收控制指令的目的。对应上述控制指令的多种方式,控制按键则相应包括:上一页、下一页、确认、返回和锁定中的至少一种。
另外,对应于对显示内容进行放大的控制,则可以通过对激光笔发出的光斑在液晶拼接屏上的同一指向位置的停留时间进行计时,根据停留时间的大小来对显示内容进行放大控制。具体的,在停留时间大于或等于预设时间时,则可以确定当前的控制指令为局部放大,从而根据该控制指令将激光笔的光斑所指向的显示内容进行放大控制。
在被控区域为实体场景时,则获取被控对象对应的控制指令则可以通过以下方式中的至少一种来实现。一种为:接收通过触发激光笔上的控制按键时所发送的控制指令。即,同样是通过触发激光笔上所配置的控制按键来进行控制指令的发送,处理器直接接收激光笔所发送的控制指令即可。另一种则为:基于采集图像识别被控对象的当前状态,并根据当前状态由预先存储的被控对象的操作方式中获取与当前状态相反的操作状态,然后再根据所得到的操作状态确定相应的控制指令。该种方式不需要对激光笔进行控制按键的配置,只需要在处理器端预先烧写对应的控制程序即可。
进一步的,为了更清楚地说明本申请实施例的基于激光笔的可视化交互方法的工作原理,以下分别以被控区域为液晶拼接屏和实体场景为例,对采用激光笔进行可视化交互的具体过程进行详细说明。
首先,以被控区域为液晶拼接屏为例进行说明。需要指出的是,液晶拼接屏的显示界面所显示的内容可以直接将计算机处需要显示的画面投放到液晶拼接屏来实现,也可以通过数据可视化应用系统中可视化设计工具进行设计来实现。通过在可视化设计平台采用可视化设计工具能够自由定制各种展示场景,不需要进行编程,直接使用可视化设计工具中各场景画面设计的相关功能即可完成各种场景画面的设计。
具体的,参阅图5和图6,在采用可视化设计工具进行场景画面的设计时,管理内容可以包括主题模板、场景方案管理、场景画面分布等。其中,主题模板的设置为进行超大型场景画面的设计和制作提供了便利,一个主题模板可以根据用户的局部设计进行任意的定制,在场景画面中还可以调用已经定制好的主题模板进行拼接,方便完成场景画面的制作。场景方案管理即为最后展示在显示载体(即,液晶拼接屏)的显示内容,其可以根据实际展示需求自定义各种场景方案。场景画面发布则是用于将最后设计的显示内容进行画布发布。
也就是说,在采用可视化设计工具进行场景画面的设计,从而通过液晶拼接屏显示时,依次通过调用相应的主题模板,在主题模板上进行显示内容的设计,在设计完成之后再对所设计好的各主题模板进行拼接并定义相应的场景方案,最后在通过场景画面分布对各主题模板拼接后的场景进行显示。此时,为了保证激光笔对所设计的场景画面的精准遥控,需要将激光笔在液晶拼接屏上的指向进行定位校准,其校准过程可以采用前面所述的方式来实现,此处不再进行赘述。校准完成之后,将激光笔与可视化设计平台进行按键关联,进而通过激光笔上的控制按键对液晶拼接屏上所显示的场景画面进行遥控操作。其中,需要指出的是,激光笔与可视化设计平台间的按键关联可以采用本领域的常规技术手段来实现,此处不再进行赘述。
更为具体的,在基于上述被控区域为液晶拼接屏时,激光笔对液晶拼接屏所显示的场景画面进行遥控操作可以有以下多种应用方式:
一种为:大屏数据遥控
在该应用场景下,激光笔在发射同光轴输出的两路光束的基础上,还具有按键功能。即,激光笔配置有对应多种控制指令的控制按键。也就是说,每个不同的控制按键可自定义相应的控制指令。默认控制按键包括有发射激光、确认、返回、上一页、下一页五个控制指令。
通过触发控制指令为发射激光的控制按键,使得激光笔发射出同光轴的两路光束,该两路光束指向液晶拼接屏的同一位置。其中,两路光束的可见光产生的光斑用于引导用户当前激光笔的指向位置,另一路不可见光产生的光斑则由图像采集设备(即,设有黑玻璃滤光镜的摄像机)通过采集液晶拼接屏当前的显示画面来进行识别。进而,在激光笔所发出的光束指向需要场景画面中需要进行控制的部分显示内容(如:液晶拼接屏中的某一块显示屏)后,通过触发激光笔上的另外几个控制按键中的一个即可实现对应的遥控操作,如:返回、上一页、下一页等。
一种为:数据下钻分析
参阅图7,在该应用方式下,由于液晶拼接屏的显示界面很大,显示内容较为丰富,这就使得液晶拼接屏的显示界面有可能出现部分数据显示不清晰的情况,此时,可以通过将激光笔发射出的光束指向显示不清晰的显示内容位置处,并在该位置停留预设时间(如:5s),在图像采集设备采集到液晶拼接屏当前的显示画面后,将当前的显示画面实时上传至处理器,处理器识别出当前需要控制的显示内容,并对当前的显示画面中的光斑的停留时间进行计时,在计时时间超过预设时间后即可发出相应的局部放大指令,从而将液晶拼接屏中激光笔当前所指向的显示内容进行放大处理,以便于更清晰的查看显示内容。
另外,液晶拼接屏在进行显示内容的展示时,所展示的数据有时会按照主题进行展示。即,在进行主题展示时,一般分为汇总显示、逐个主题进行展示等。在该中展示方式中,数据粒度、数据维度有时没有达到所期望的细腻度。基于此,参阅图8,可以通过激光笔指向待分析的区域数据,并通过触发激光笔上的确认控制按键,此时处理器接收到图像采集设备上传的当前的显示画面,识别出显示画面中光斑所指向的区域数据,同时接收到激光笔所发射出的确认指令,由此即可控制液晶拼接屏显示出该区域数据不同分析维度下的可视化展示,以便于对该部分区域数据进行深入研究分析。
还有一种为:分布式信号源控制
根据前面所述,本申请实施例的基于激光笔的可视化交互方法能够实现采用激光笔对液晶拼接屏中的任意操作点的遥控交互,在液晶拼接屏为分布式架构时,同时现场计算机与液晶拼接屏的编码设备在一个网络中运行的情况下,参阅图9,可以通过激光笔指向指挥大厅的电脑,点击激光笔中的锁定控制按键后,移入液晶拼接屏解锁后,即可实现该电脑信号在液晶拼接屏上的投放。
以上为在被控区域为液晶拼接屏时的三种应用方式的举例说明,应当指出的是,在被控区域为液晶拼接屏时,其应用方式不限于上述三种,还可以包括其他的应用方式,此处不再进行一一列举。
进一步的,在被控区域为实体场景时,基于激光笔实现可视化交互中,可以对实体场景中可控物体进行遥控控制。在该场景下,需要先对现场的实体场景进行三维建模,然后在所创建的三维场景模型中标记出每一个可控点,其中,每个可控点对应实体场景中的可控设备,并对各可控点的操作方式进行定义。同时,将激光笔与三维场景模型中的各可控点进行关联,并对激光笔对实体场景中的指向进行定位校准。在定位校准和关联均配置完成之后,激光笔的控制按键、实体场景中各可控设备,以及三维场景模型中所标记的各可控点对应关系建立完成。此时,即可通过激光笔指向实体场景中的可控设备,如:台灯,并点击确认按钮后实现开灯或关灯的遥控。此处,需要指出的是,激光笔指向实体场景中的某一个可控设备,实现对可控设备的遥控的具体控制方式可以根据前面所述的在被控区域为实体场景时,获取被控对象对应的控制指令,并根据控制指令对被控对象进行控制的两种方式的任意一种方式来实现,此处不再进行赘述。
由此,本申请实施例的基于激光笔的可视化交互方法,通过将激光笔作为控制单元,由激光笔发出同光轴输出的两路光束,一路为可见光光束用于引导操作者当前激光笔的指向,另一路为不可见光光束,作为处理器识别激光笔当前的指向的依据,使得在对液晶拼接屏或实体场景中的各可控点进行遥控时,能够更加精准的对细微内容的遥控操作,使得遥控更加精准和可靠。
相应的,基于前面任一所述的基于激光笔的可视化交互方法,本申请还提供了一种基于激光笔的可视化交互装置。由于本申请提供的基于激光笔的可视化交互装置的工作原理与本申请的基于激光笔的可视化交互方法的原理相同或相似,因此重复之处不再赘述。
参阅图10,本申请实施例的基于激光笔的可视化交互装置100,包括图像接收模块110、被控对象确定模块120、指令获取模块130和控制模块140。其中,图像接收模块110,被配置为接收由图像采集设备上传的采集图像。被控对象确定模块120,被配置为基于采集图像中的光斑确定被控对象;其中,采集图像中的光斑通过激光笔发射光束至被控区域产生。激光笔发射的光束包括同光轴输出的可见光和不可见光两路,采集图像中的光斑对应不可见光的光束。指令获取模块130,被配置为获取被控对象对应的控制指令。控制模块140,被配置为根据控制指令对被控对象进行控制。
更进一步地,根据本公开的另一方面,还提供了一种基于激光笔的可视化交互设备200。参阅图11,本公开实施例基于激光笔的可视化交互设备200包括处理器210以及用于存储处理器210可执行指令的存储器220。其中,处理器210被配置为执行可执行指令时实现前面任一所述的基于激光笔的可视化交互方法。
此处,应当指出的是,处理器210的个数可以为一个或多个。同时,在本公开实施例的基于激光笔的可视化交互设备200中,还可以包括输入装置230和输出装置240。其中,处理器210、存储器220、输入装置230和输出装置240之间可以通过总线连接,也可以通过其他方式连接,此处不进行具体限定。
存储器220作为一种计算机可读存储介质,可用于存储软件程序、计算机可执行程序和各种模块,如:本公开实施例的基于激光笔的可视化交互方法所对应的程序或模块。处理器210通过运行存储在存储器220中的软件程序或模块,从而执行基于激光笔的可视化交互设备200的各种功能应用及数据处理。
输入装置230可用于接收输入的数字或信号。其中,信号可以为产生与设备/终端/服务器的用户设置以及功能控制有关的键信号。输出装置240可以包括显示屏等显示设备。
以上已经描述了本公开的各实施例,上述说明是示例性的,并非穷尽性的,并且也不限于所披露的各实施例。在不偏离所说明的各实施例的范围和精神的情况下,对于本技术领域的普通技术人员来说许多修改和变更都是显而易见的。本文中所用术语的选择,旨在最好地解释各实施例的原理、实际应用或对市场中的技术的技术改进,或者使本技术领域的其它普通技术人员能理解本文披露的各实施例。

Claims (10)

1.一种基于激光笔的可视化交互方法,其特征在于,包括:
接收由图像采集设备上传的采集图像,并基于所述采集图像中的光斑确定被控对象;
其中,所述采集图像中的光斑通过激光笔发射光束至被控区域产生;
所述激光笔发射的光束包括同光轴输出的可见光和不可见光两路,所述采集图像中的光斑对应所述不可见光的光束;
获取所述被控对象对应的控制指令,并根据所述控制指令对所述被控对象进行控制。
2.根据权利要求1所述的方法,其特征在于,所述被控区域包括液晶拼接屏和实体场景中的任意一种;
在所述被控区域为所述液晶拼接屏时,所述采集图像为所述液晶拼接屏的显示界面,所述被控对象为所述显示界面中所述光斑所指向的显示内容;
在所述被控区域为所述实体场景时,所述采集图像为所述实体场景的当前画面,所述被控对象为所述实体场景中所述光斑所指向的可控物体。
3.根据权利要求2所述的方法,其特征在于,接收由图像采集设备上传的采集图像之前,还包括:对所述激光笔发射出的光斑进行指向定位校准,得到所述被控区域内各物理位置的物理空间坐标与计算机逻辑坐标之间的映射关系的步骤;
其中,所述物理位置为所述激光笔投射光束至所述被控区域时所述光斑的指向位置,所述物理空间坐标为所述物理位置在所述被控区域内的实际位置,所述计算机逻辑坐标为所述物理位置被计算机识别后输出画面的坐标位置。
4.根据权利要求3所述的方法,其特征在于,在所述被控区域为所述液晶拼接屏时,基于所述采集图像中的光斑确定被控对象,包括:
获取所述光斑在所述采集图像中的物理空间坐标;
根据所述映射关系确定所述光斑的计算机逻辑坐标,并根据所述计算机逻辑坐标由计算机画布中确定所对应的所述被控对象;
其中,所述计算机画布为与所述液晶拼接屏相对应的显示画布。
5.根据权利要求3所述的方法,其特征在于,在所述被控区域为所述实体场景时,基于所述采集图像中的光斑确定被控对象,包括:
获取所述光斑在所述采集图像中的物理空间坐标;
根据所述映射关系确定所述光斑的计算机逻辑坐标,并根据所述计算机逻辑坐标由预先创建的三维场景模型中确定所对应的被控对象;
其中,所述三维场景模型为采用三维建模方法对所述实体场景所创建的三维模型。
6.根据权利要求2所述的方法,其特征在于,在所述被控区域为所述液晶拼接屏时,获取所述被控对象对应的控制指令时,包括接收所述激光笔发送的所述控制指令的步骤;
其中,所述激光笔发送所述控制指令时通过触发所述激光笔上所配置的控制按键来实现,所述控制按键包括:上一页、下一页、确认、返回和锁定中的至少一种。
7.根据权利要求2所述的方法,其特征在于,在所述被控区域为所述液晶拼接屏时,获取所述被控对象对应的控制指令,包括:
对所述光斑在同一指向位置的停留时间进行计时,在所述停留时间大于或等于预设时间时,获取所述控制指令为局部放大。
8.根据权利要求2所述的方法,其特征在于,在所述被控区域为所述实体场景时,获取所述被控对象对应的控制指令包括以下方式中的至少一种:
接收通过触发所述激光笔上的控制按键时所发送的所述控制指令;
基于所述采集图像识别所述被控对象的当前状态,并根据所述当前状态由预先存储的所述被控对象的操作方式中获取与所述当前状态相反的操作状态,根据所述操作状态确定相应的所述控制指令。
9.一种基于激光笔的可视化交互装置,其特征在于,包括图像接收模块、被控对象确定模块、指令获取模块和控制模块;
所述图像接收模块,被配置为接收由图像采集设备上传的采集图像;
所述被控对象确定模块,被配置为基于所述采集图像中的光斑确定被控对象;其中,所述采集图像中的光斑通过激光笔发射光束至被控区域产生;
所述激光笔发射的光束包括同光轴输出的可见光和不可见光两路,所述采集图像中的光斑对应所述不可见光的光束;
所述指令获取模块,被配置为获取所述被控对象对应的控制指令;
所述控制模块,被配置为根据所述控制指令对所述被控对象进行控制。
10.一种基于激光笔的可视化交互设备,其特征在于,包括:
处理器;
用于存储处理器可执行指令的存储器;
其中,所述处理器被配置为执行所述可执行指令时实现权利要求1至8中任意一项所述的方法。
CN202010675839.0A 2020-07-14 2020-07-14 基于激光笔的可视化交互方法和装置及设备 Pending CN111831140A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010675839.0A CN111831140A (zh) 2020-07-14 2020-07-14 基于激光笔的可视化交互方法和装置及设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010675839.0A CN111831140A (zh) 2020-07-14 2020-07-14 基于激光笔的可视化交互方法和装置及设备

Publications (1)

Publication Number Publication Date
CN111831140A true CN111831140A (zh) 2020-10-27

Family

ID=72923189

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010675839.0A Pending CN111831140A (zh) 2020-07-14 2020-07-14 基于激光笔的可视化交互方法和装置及设备

Country Status (1)

Country Link
CN (1) CN111831140A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113434081A (zh) * 2021-07-26 2021-09-24 江苏省诚信教学设备有限公司 可施行人机交互方便教学信息交流的教学系统及使用方法

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20090115722A1 (en) * 2007-11-07 2009-05-07 Omnivision Technologies, Inc. Apparatus and method for tracking a light pointer
CN104076949A (zh) * 2013-03-29 2014-10-01 华为技术有限公司 一种激光笔光束同步方法及相关设备、系统
CN104216637A (zh) * 2014-09-23 2014-12-17 北京尚易德科技有限公司 一种通过识别光斑轨迹控制拼接大屏幕的方法和系统
CN109144375A (zh) * 2018-10-09 2019-01-04 中天智领(北京)科技有限公司 一种屏幕控制方法及装置
CN109828681A (zh) * 2017-11-20 2019-05-31 深圳市Tcl高新技术开发有限公司 激光笔光流轨迹跟踪方法、投影设备及计算机可读存储介质
CN110221796A (zh) * 2019-05-28 2019-09-10 上海寰视网络科技有限公司 多屏拼接系统的控制方法及控制系统

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20090115722A1 (en) * 2007-11-07 2009-05-07 Omnivision Technologies, Inc. Apparatus and method for tracking a light pointer
CN104076949A (zh) * 2013-03-29 2014-10-01 华为技术有限公司 一种激光笔光束同步方法及相关设备、系统
CN104216637A (zh) * 2014-09-23 2014-12-17 北京尚易德科技有限公司 一种通过识别光斑轨迹控制拼接大屏幕的方法和系统
CN109828681A (zh) * 2017-11-20 2019-05-31 深圳市Tcl高新技术开发有限公司 激光笔光流轨迹跟踪方法、投影设备及计算机可读存储介质
CN109144375A (zh) * 2018-10-09 2019-01-04 中天智领(北京)科技有限公司 一种屏幕控制方法及装置
CN110221796A (zh) * 2019-05-28 2019-09-10 上海寰视网络科技有限公司 多屏拼接系统的控制方法及控制系统

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113434081A (zh) * 2021-07-26 2021-09-24 江苏省诚信教学设备有限公司 可施行人机交互方便教学信息交流的教学系统及使用方法

Similar Documents

Publication Publication Date Title
CN103092432B (zh) 人机交互操作指令的触发控制方法和系统及激光发射装置
KR0157328B1 (ko) 조명설계 및 제어시스템과 방법
JP2001125738A (ja) プレゼンテーション制御システム及びその制御方法
US9939943B2 (en) Display apparatus, display system, and display method
US20190212901A1 (en) Manipulation of content on display surfaces via augmented reality
CN103186293A (zh) 显示装置、显示系统以及显示装置的数据供给方法
CN109144304A (zh) 至少一个显示窗口布局调整及触控自动校准方法及系统
JP2009140498A (ja) 情報入出力装置及び情報入出力方法
JP2007141199A (ja) ハンドヘルド型のコンピュータカーソル制御装置、このハンドヘルド型のコンピュータカーソル制御装置を用いてカーソルを制御するコンピュータ装置、方法およびコンピュータ読取り可能媒体
CN111198734B (zh) 窗口设置方法和装置、电子设备和非易失性存储介质
CN104090689A (zh) 一种移动终端及其交互式投影的方法和系统
US20210366324A1 (en) Content generation method, content projection method, program, and content generation system
CN111831140A (zh) 基于激光笔的可视化交互方法和装置及设备
JP4296607B2 (ja) 情報入出力装置及び情報入出力方法
JP6729028B2 (ja) 情報処理装置、電子黒板、プログラム
JP7143642B2 (ja) 共有端末、筆記方法、プログラム
CN115097976B (zh) 用于图像处理的方法、装置、设备和存储介质
JPH04212193A (ja) 照明制御システム
CN109408016A (zh) 信号源控制方法及系统
CN115033128A (zh) 基于图像识别的电子白板控制方法、电子白板及可读介质
CN105786224A (zh) 普适性激光指点仪及操作电脑的方法
WO2011123417A2 (en) Video whiteboard apparatus and method
CN108415587B (zh) 划线遥控装置和划线生成方法
JP2017068001A (ja) 表示装置及び表示装置の制御方法
CN101876870A (zh) 显示终端和操作显示画面的方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination