CN111556223B - 指向信息确定方法、装置、演示设备、显示设备及介质 - Google Patents
指向信息确定方法、装置、演示设备、显示设备及介质 Download PDFInfo
- Publication number
- CN111556223B CN111556223B CN202010350013.7A CN202010350013A CN111556223B CN 111556223 B CN111556223 B CN 111556223B CN 202010350013 A CN202010350013 A CN 202010350013A CN 111556223 B CN111556223 B CN 111556223B
- Authority
- CN
- China
- Prior art keywords
- synchronous
- image
- pointing
- infrared lamp
- synchronization
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/04—Synchronising
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
- G09B5/00—Electrically-operated educational appliances
- G09B5/02—Electrically-operated educational appliances with visual presentation of the material to be studied, e.g. using film strip
Abstract
本发明实施例公开了指向信息确定方法、装置、演示设备、显示设备及介质,该方法应用于显示技术领域,包括:获取当前指向下显示设备的原始图像;在所述原始图像中包括的红外灯的数量小于设定数量的情况下,基于同步信号获取所述当前指向下所述显示设备的同步图像;基于获取的同步信号和对应的同步图像,确定所述当前指向对应的指向信息。利用该方法能够在原始图像中红外灯的数量小于设定数量时,有效的确定了演示设备的指向信息。
Description
技术领域
本发明实施例涉及显示技术领域,尤其涉及指向信息确定方法、装置、演示设备、显示设备及介质。
背景技术
在多媒体会议和多媒体教学的过程中,需要通过演示设备对显示设备上所演示的内容指示和批注。现有技术中,显示设备上设置有红外灯,演示设备可以包括带有滤光片的摄像头,演示设备通过摄像头获取显示设备的原始图像,以基于原始图像中红外灯的位置信息确定演示设备的指向信息。
然而,在演示设备获取的原始图像中红外灯的数量小于设定数量时,演示设备则无法确定出指向信息。
发明内容
本发明实施例提供了指向信息确定方法、装置、演示设备、显示设备及介质,在原始图像中红外灯的数量小于设定数量时,有效的确定了演示设备的指向信息。
第一方面,本发明实施例提供了一种指向信息确定方法,包括:
获取当前指向下显示设备的原始图像;
在所述原始图像中包括的红外灯的数量小于设定数量的情况下,基于同步信号获取所述当前指向下所述显示设备的同步图像;
基于获取的同步信号和对应的同步图像,确定所述当前指向对应的指向信息。
第二方面,本发明实施例提供了一种指向信息确定方法,包括:
获取同步信号;
基于所述同步信号,控制对应的红外灯的亮灭状态。
第三方面,本发明实施例还提供了一种指向信息确定装置,包括:
原始图像获取模块,用于获取当前指向下显示设备的原始图像;
同步图像获取模块,用于在所述原始图像中包括的红外灯的数量小于设定数量的情况下,基于同步信号获取所述当前指向下所述显示设备的同步图像;
指向信息确定模块,用于基于获取的同步信号和对应的同步图像,确定所述当前指向对应的指向信息。
第四方面,本发明实施例提供了一种指向信息确定装置,包括:
获取模块,用于获取同步信号;
控制模块,用于基于所述同步信号,控制对应的红外灯的亮灭状态。
第五方面,本发明实施例提供了一种演示设备,包括:
一个或多个处理器;
存储装置,用于存储一个或多个程序;
所述一个或多个程序被所述一个或多个处理器执行,使得所述一个或多个处理器实现本发明第一方面提供的方法。
第六方面,本发明实施例提供了一种显示设备,包括:
一个或多个处理器;
存储装置,用于存储一个或多个程序;
所述一个或多个程序被所述一个或多个处理器执行,使得所述一个或多个处理器实现本发明第二方面提供的方法。
第七方面,本发明实施例还提供了一种计算机可读存储介质,其上存储有计算机程序,该程序被处理器执行时实现本发明实施例提供的方法。
本发明实施例提供了指向信息确定方法、装置、演示设备、显示设备及介质,该技术方案首先获取当前指向下显示设备的原始图像;然后在所述原始图像中包括的红外灯的数量小于设定数量的情况下,基于同步信号获取所述当前指向下所述显示设备的同步图像;最后基于获取的同步信号和对应的同步图像,确定所述当前指向对应的指向信息,利用上述技术方案,在原始图像中红外灯的数量小于设定数量时,有效的确定了演示设备的指向信息。
附图说明
图1为本发明实施例一提供的一种指向信息确定方法的流程示意图;
图1a为本发明实施例一提供的一种场景示意图;
图2为本发明实施例二提供的一种指向信息确定方法的流程示意图;
图3为本发明实施例三提供的一种指向信息确定方法的流程示意图;
图4为本发明实施例四提供的一种指向信息确定方法的流程示意图;
图4a为本实施例四提供的一种指向信息确定的示意图;
图4b为本实施例四提供的另一种指向信息确定的示意图;
图4c为本实施例四提供的又一种指向信息确定的示意图;
图5为本发明实施例五提供的一种指向信息确定装置的结构示意图;
图6为本发明实施例六提供的一种指向信息确定装置的结构示意图;
图7为本发明实施例七提供的一种演示设备的结构示意图;
图8为本发明实施例八提供的一种显示设备的结构示意图。
具体实施方式
下面结合附图和实施例对本发明作进一步的详细说明。可以理解的是,此处所描述的具体实施例仅仅用于解释本发明,而非对本发明的限定。另外还需要说明的是,为了便于描述,附图中仅示出了与本发明相关的部分而非全部结构。
在更加详细地讨论示例性实施例之前应当提到的是,一些示例性实施例被描述成作为流程图描绘的处理或方法。虽然流程图将各项操作(或步骤)描述成顺序的处理,但是其中的许多操作可以被并行地、并发地或者同时实施。此外,各项操作的顺序可以被重新安排。当其操作完成时所述处理可以被终止,但是还可以具有未包括在附图中的附加步骤。所述处理可以对应于方法、函数、规程、子例程、子程序等等。此外,在不冲突的情况下,本发明中的实施例及实施例中的特征可以相互组合。
本发明使用的术语“包括”及其变形是开放性包括,即“包括但不限于”。术语“基于”是“至少部分地基于”。术语“一个实施例”表示“至少一个实施例”。
实施例一
图1为本发明实施例一提供的一种指向信息确定方法的流程示意图,该方法可适用于确定演示设备的指向信息的情况。该方法可以由指向信息确定装置来执行,其中该装置可由软件和/或硬件实现,并一般集成在演示设备上。该演示设备可以对显示设备所显示的内容进行指示。此处不限定仅对显示设备所显示的内容进行指示,本领域技术人员可以根据实际使用情况设置演示设备的功能,如添加批注、删除批注等。
图1a为本发明实施例一提供的一种场景示意图。参见图1a,红外灯1、2、3和4用于发射红外光。指向信息对应的指示位置5表示演示设备6当前指示的位置。显示设备7进行内容显示,并接收演示设备6的指向信息。演示设备6的顶端设置有摄像头,顶端可以认为是在演示设备6的使用过程中朝向显示设备7的端部。演示设备6中的摄像头带有滤光片,只采集红外光图像,即由红外光形成的图像。显示设备7和演示设备6无线通信。红外灯1、2、3和4分别为红外发射灯,设置在显示设备7的四个边缘角处。演示设备6通过识别红外灯1、2、3和4在图像中的位置来计算出演示设备摄像头所指的指示位置5。但是在某些极限情况下(演示设备6与显示设备距离较近,且使用者对显示设备7的边缘指示时),演示设备6的摄像头只能识别到2个甚至1个红外灯,演示设备6就无法确定指示信息。为解决该技术问题,本发明提供了一种指向信息确定方法,如图1所示,本发明实施例一提供的一种指向信息确定方法,包括如下步骤:
S110、获取当前指向下显示设备的原始图像。
在本实施例中,当前指向可以认为是演示设备当前的指向。演示设备可以包括有摄像头,演示设备当前的指向可以认为是演示设备摄像头当前的指向。摄像头可以采集原始图像,本步骤可以获取摄像头采集的原始图像。
在本实施例中,原始图像可以认为是当前指向下采集的图像。原始图像可以用于确定指向信息。基于原始图像可以确定是否需要获取同步图像。同步图像可以认为是在原始图像中包括的红外灯的数量小于设定数量时,基于同步信号重新获取的当前指向下的图像。
本发明提供的指向信息确定方法可以在演示设备的使用过程中执行。在演示设备指向显示设备时,本步骤可以实时获取当前指向下显示设备的原始图像。该原始图像中可以包含红外灯。显示设备上可以设置有红外灯。红外灯的个数和设置位置此处不作限定。如,在显示设备的四个顶点位置处设置红外灯或在显示设备的外边缘设置红外灯。
需要注意的是,本发明中显示设备上设置的不限定为红外灯,也可以为任意具有指示作用的器件,如发光二极管。
S120、在所述原始图像中包括的红外灯的数量小于设定数量的情况下,基于同步信号获取所述当前指向下所述显示设备的同步图像。
本发明不对设定数量进行限定,可以基于显示设备上设置的红外灯的个数和位置确定。同步信号可以认为是同步演示设备和显示设备的信号。同步信号可以指示获取同步图像的时机,演示设备基于同步信号获取同步图像。
获取原始图像后,本步骤可以识别原始图像,确定原始图像中包括的红外灯的数量。
若原始图像中包括的红外灯的数量大于或等于设定数量,则直接基于原始图像确定当前指向的指向信息。如基于原始图像中红外灯与原始图像中心点的相对位置信息、红外灯在原始图像中的位置信息和显示设备对应红外灯的实际位置进行坐标转换,将中心点的位置转换至显示设备所在坐标系下,以确定指向信息。
若原始图像中包括的红外灯的数量小于设定数量,则基于同步信号重新获取当前指向下所述显示设备的同步图像。
本实施例中的同步信号可以演示设备生成,也可以从显示设备获取。在一个实施例中,所述同步信号包括待点亮红外灯的标识信息和点亮时间,每个待点亮红外灯对应的点亮时间相隔设定时长不同;所述同步信号还包括系统时间,所述系统时间用于进行时间同步。
待点亮红外灯可以认为是显示设备上将要被点亮的红外灯。标识信息用于唯一标识红外灯。不同的红外灯对应有不同的标识信息。点亮时间可以认为是待点亮红外灯被点亮的时间。点亮时间可以为时间段。此处不对点亮时间的设置进行限定,只要每个待点亮红外灯的点亮时间相隔设定时长即可。设定时长不作限定可以基于演示设备和显示设备的传输时延和演示设备采集图像所需时间确定。当点亮时间为时间段时,点亮时间相隔的时间可以为各时间段的起始时间的间隔。
本发明中的显示设备可以在点亮时间控制待点亮红外灯点亮,即处理亮灯状态。演示设备可以在点亮时间或点亮时间后一定时长内获取同步图像。一定时长不作限定可以基于显示设备中红外灯被点亮的所需的时间确定。如果同步图像中包括红外灯,则可以确定该红外灯的标识信息为同步信号中所包含的标识信息,即能够确定同步图像中所包括的红外灯为显示设备中哪一红外灯。
在同步信号为演示设备生成时,系统时间可以为演示设备当前的时间。在同步信号为显示设备生成时,系统时间可以为显示设备当前的时间。系统时间可以供显示设备和演示设备进行时间同步。此处不对同步方式进行限定,如在同步信号为演示设备生成时,基于系统时间,和显示设备和演示设备的传输时延,更新显示设备的系统时间。在同步信号为显示设备生成时,基于系统时间,和显示设备和演示设备的传输时延,更新演示设备的系统时间。
需要注意的是,本发明在演示设备和显示设备进行通信之前,或在演示设备工作之前,可以同步演示设备和显示设备的时间。如首先确定显示设备和演示设备的传输时延,然后显示设备或演示设备获取对方的系统时间,以基于系统时间和传输时延更新其系统时间。
S130、基于获取的同步信号和对应的同步图像,确定所述当前指向对应的指向信息。
在本实施例中,指向信息可以理解为演示设备在显示设备上所指示的坐标信息。本发明确定指向信息后可以将指向信息传输至显示设备,以供显示设备对所显示内容进行调整。
本发明中的同步信号的数量可以基于原始图像中所包括的红外灯的数量确定,也可以基于显示设备上红外灯的数量确定。如,同步信号的数量大于或等于原始图像中所包括红外灯的数量。又如,同步信号的数量等于显示设备上红外灯的数量。同步图像基于同步信号获取,故同步图像的数量等于同步信号的数量。
本步骤确定指向信息时,可以对包含红外灯的同步图像进行分析。针对每个包含红外灯的同步图像,基于对应的同步信号包括的标识信息确定该同步图像所包括的红外灯为显示设备上的哪一红外灯,然后基于所有包含红外灯的同步图像,确定指向信息。
在一个实施例中,在确定指向信息时,本步骤可以在获取到同步图像后直接对同步图像进行分析,确定该同步图像中是否包含红外灯,在同步图像中不包含红外灯时,继续基于下一同步信号获取对应的同步图像,直至包含红外灯的同步图像的个数等于原始图像中包括的红外灯的数量。在同步图像中包含红外灯时,确定当前包含红外灯的同步图像的个数是否等于原始图像中包括的红外灯的数量,若否,继续基于下一同步信号获取对应的同步图像,直至包含红外灯的同步图像的个数等于原始图像中包括的红外灯的数量。在包含红外灯的同步图像的数量等于原始图像所包括红外灯的数量时,对包含红外灯的同步图像进行识别,以确定指向信息。
在一个实施例中,在确定指向信息时,本步骤也可以在所有同步信号对应的同步图像均获取完成后,通过对各同步图像进行分析确定指向信息。所有同步信号可以认为是显示设备上所有红外灯对应的同步信号。每个红外灯对应一个同步信号,同步信号用于标识该红外灯的点亮时间。对同步图像进行分析的技术手段可以采用如下方式:确定同步图像中包含红外灯的目标图像,然后确定目标图像中所包括红外灯的标识信息和红外灯与目标图像中心位置的相对位置信息。最后基于确定出的各标识信息和相对位置信息确定指向信息。
本发明实施例一提供了一种指向信息确定方法,该方法首先获取当前指向下显示设备的原始图像;然后在所述原始图像中包括的红外灯的数量小于设定数量的情况下,基于同步信号获取所述当前指向下所述显示设备的同步图像;最后基于获取的同步信号和对应的同步图像,确定所述当前指向对应的指向信息,利用该方法能够在原始图像中红外灯的数量小于设定数量时,有效的确定了演示设备的指向信息。
在上述实施例的基础上,提出了上述实施例的变型实施例,在此需要说明的是,为了使描述简要,在变型实施例中仅描述与上述实施例的不同之处。
在一个实施例中,所述同步信号的数量等于所述显示设备所包括的红外灯的数量,所述同步图像的数量等于所述同步信号的数量,所述基于获取的同步信号和对应的同步图像,确定所述当前指向对应的指向信息,包括:
从获取的同步图像中选取包含有红外灯的目标图像;
针对每个目标图像,将所述目标图像对应的同步信号所包括的标识信息确定为所述目标图像所包括红外灯的标识信息,并确定所述目标图像所包括红外灯与所述目标图像中心位置的相对位置信息;
基于确定的标识信息对应红外灯的图像位置信息、相对位置信息和显示设备上对应所确定的标识信息的红外灯的实际位置信息,确定所述当前指向对应的指向信息。
本实施例可以在所有同步信号对应的同步图像均获取完成后确定指向信息。各同步信号可以依次传输至演示设备或显示设备,也可以一起传输至演示设备或显示设备。
图像位置信息可以认为是在对应的同步图像上的位置信息。实际位置信息可以认为是在显示设备所在坐标系下的位置信息。
在确定指向信息时,可以图像位置信息、相对位置信息和实际位置信息进行坐标转换,确定中心位置在显示设备所在坐标系下的位置信息,并将该位置信息确定为指向信息。
在一个实施例中,基于获取的同步信号和对应的同步图像,确定所述当前指向对应的指向信息,包括:
确定当前获取的同步图像中是否包括红外灯;若否,则继续执行获取同步图像的操作直至包含红外灯的同步图像的数量等于所述原始图像中包括的红外灯的数量;若是,判断包含红外灯的同步图像的数量是否等于原始图像中包括的红外灯的数量;
若是,则基于包括红外灯的同步图像和对应的同步信号,确定所述当前指向对应的指向信息;若否,则继续执行获取同步图像的操作直至包含红外灯的同步图像的数量等于所述原始图像中包括的红外灯的数量。
继续执行获取同步图像的操作时,可以基于下一同步信号,即下一个同步信号获取同步图像,直至所有同步信号对应的同步图像均获取完成,即包含红外灯的同步图像的数量等于所述原始图像中包括的红外灯的数量。
基于包含红外灯的同步图像和对应的同步信号确定指向信息的手段可以参见基于目标图像和对应的同步信号确定指向信息的手段,此处不作限定。
实施例二
图2为本发明实施例二提供的一种指向信息确定方法的流程示意图,本实施例二在上述实施例的基础上进行具体化。在本实施例中,将所述基于同步信号获取所述当前指向下所述显示设备的同步图像,具体包括:
获取所述显示设备发送的同步信号,并基于所述同步信号所包括的点亮时间,获取所述当前指向下所述显示设备的同步图像。
本实施例尚未详尽之处可参见上述实施例,此处不做赘述。
如图2所示,本发明实施例提供了一种指向信息确定方法,包括如下步骤:
S210、获取当前指向下显示设备的原始图像。
S220、在所述原始图像中包括的红外灯的数量小于设定数量的情况下,获取所述显示设备发送的同步信号,并基于所述同步信号所包括的点亮时间,获取所述当前指向下所述显示设备的同步图像。
本步骤可以在点亮时间获取同步图像,或在点亮时间后一定时长内获取同步图像。所述同步信号的数量等于所述显示设备所包括的红外灯的数量,所述同步图像的数量等于所述同步信号的数量。
S230、基于获取的同步信号和对应的同步图像,确定所述当前指向对应的指向信息。
本申请提供了一种指向信息确定方法,该方法具体化了获取同同步图像的操作,利用该方法演示设备通过显示设备发送的同步信号获取同步图像,以能够基于包含红外灯的同步图像确定指向信息。
实施例三
图3为本发明实施例三提供的一种指向信息确定方法的流程示意图,本实施例在上述实施例的基础上进行具体化。在本实施例中,将所述基于同步信号获取所述当前指向下所述显示设备的同步图像,具体包括:
基于本地的同步信号所包括的点亮时间,获取所述当前指向下所述显示设备的同步图像;相应的,在基于同步信号获取所述当前指向下所述显示设备的同步图像之前,还具体包括:向所述显示设备发送同步信号。
如图3所示,本发明实施例提供的一种指向信息确定方法,包括如下步骤:
S310、获取当前指向下显示设备的原始图像。
S320、在所述原始图像中包括的红外灯的数量小于设定数量的情况下,向所述显示设备发送同步信号,基于本地的同步信号所包括的点亮时间,获取所述当前指向下所述显示设备的同步图像。
S330、基于获取的同步信号和对应的同步图像,确定所述当前指向对应的指向信息。
本实施例提供了一种指向信息确定方法,具体化了获取同步图像的操作,利用本实施例所述的方法,演示设备通过向显示设备发送同步信号,并基于同步信号获取同步图像,以能够基于包含红外灯的同步图像确定指向信息。
实施例四
图4为本发明实施例四提供的一种指向信息确定方法的流程示意图,该方法可适用于确定演示设备的指向信息的情况。该方法可以由指向信息确定装置来执行,其中该装置可由软件和/或硬件实现,并一般集成在显示设备上。该显示设备包括但不限于智能白板和工业屏灯设备。该显示设备可以接收演示设备的指向信息,并基于指向信息对所显示的内容进行突出显示,突出显示的手段不作限定,如框选、高亮、加粗等。
如图4所示,本发明实施例四提供的一种指向信息确定方法,包括如下步骤:
S410、获取同步信号。
同步信号可以为本地生成或从演示设备获取。
S420、基于所述同步信号,控制对应的红外灯的亮灭状态。
亮灭状态可以包括点亮状态和熄灭状态。控制方式基于同步信号所包括的内容确定,此处不作限定。如基于同步信号的点亮时间点亮同步信号所包括标识信息对应的红外灯,使其处于点亮状态。
本实施例提供了一种指向信息确定方法,该方法首先获取同步信号;然后基于所述同步信号,控制对应的红外灯的亮灭状态,利用该方法,在原始图像中红外灯的数量小于设定数量时,有效的确定了演示设备的指向信息。
在上述实施例的基础上,提出了上述实施例的变型实施例,在此需要说明的是,为了使描述简要,在变型实施例中仅描述与上述实施例的不同之处。
在一个实施例中,所述获取同步信号,包括如下之一:
获取演示设备发送的同步信号;
获取本地的同步信号;
其中,所述同步信号包括待点亮红外灯的标识信息和点亮时间,每个待点亮红外灯对应的点亮时间相隔设定时长不同;所述同步信号还包括系统时间,所述系统时间用于进行时间同步。
在一个实施例中,在获取本地的同步信号的情况下,还包括:向演示设备发送同步信号。
在一个实施例中,所述基于所述同步信号,控制对应的红外灯的亮灭状态,包括:
控制所述同步信号所包括标识信息对应的红外灯,在同步信号所包括的点亮时间处于点亮状态。
以下对本发明实施例进行示例性描述,本发明提供的指向信息确定方法可以认为是确定摄像头指向的方法。
以显示设备包括四个红外灯为例进行说明,当演示设备只识别到2个或者1个红外灯时,演示设备发通知给显示设备,该通知可以为同步信号。在同步信号由显示设备生成时,该通知可以为触发显示设备发送同步信号的信息。
显示设备控制红外灯1、2、3和4全关,然后基于同步信号依次亮起各个红外灯250ms,开关灯的过程中也会发同步信号给到演示设备,此时演示设备识别到亮的那一个灯时候即可识别出来所指的红外灯是几号灯,则可以通过1个或2个红外光点所处图像位置来计算出指向信息。
图4a为本实施例四提供的一种指向信息确定的示意图。图4b为本实施例四提供的另一种指向信息确定的示意图。图4c为本实施例四提供的又一种指向信息确定的示意图。参见图4a,摄像头采集到的画面(即原始图像)中,中间位置处的圆点可以认为是原始图像的中心位置,其余圆点可以认为是红外灯。通过对原始图像进行识别,并进行坐标转换可以确定指向信息。图4a中中心位置点和其余点的位置的对应关系可以认为是显示设备中指向信息与红外灯的位置的对应关系。参见图4b,当原始图像中仅包括一个红外灯,即原始图像左上方圆点的情况下,根据红外灯与中心点的相对位置关系,指向信息在显示设备上的位置可以为整机屏幕中位于矩形边框外的圆点位置。参见图4c,当原始图像中包括两个红外灯时,即原始图像左侧的两个圆点,指向信息在显示设备上的位置可以为整机屏幕中位于矩形边框外的原点位置。通过图4b和图4c可见,在原始图像中包括一个或两个,即设定数量的红外灯时,无法确定指向信息。通过本申请所述的方法能够确定同步图像中包括的红外灯是显示设备上的哪个红外灯,进而可以唯一确定出指向信息。
实施例五
图5为本发明实施例五提供的一种指向信息确定装置的结构示意图,该装置可适用于确定演示设备的指向信息的情况,其中该装置可由软件和/或硬件实现,并一般集成在演示设备上。
如图5所示,该装置包括:
原始图像获取模块51,用于获取当前指向下显示设备的原始图像;
同步图像获取模块52,用于在所述原始图像中包括的红外灯的数量小于设定数量的情况下,基于同步信号获取所述当前指向下所述显示设备的同步图像;
指向信息确定模块53,用于基于获取的同步信号和对应的同步图像,确定所述当前指向对应的指向信息。
在本实施例中,该装置首先通过原始图像获取模块51获取当前指向下显示设备的原始图像;然后通过同步图像获取模块52在所述原始图像中包括的红外灯的数量小于设定数量的情况下,基于同步信号获取所述当前指向下所述显示设备的同步图像;最后通过指向信息确定模块53基于获取的同步信号和对应的同步图像,确定所述当前指向对应的指向信息。
本实施例提供了一种指向信息确定装置,能够在原始图像中红外灯的数量小于设定数量时,有效的确定了演示设备的指向信息。
进一步地,所述同步信号包括待点亮红外灯的标识信息和点亮时间,每个待点亮红外灯对应的点亮时间相隔设定时长不同;所述同步信号还包括系统时间,所述系统时间用于进行时间同步。
进一步地,同步图像获取模块52,具体用于:
在所述原始图像中包括的红外灯的数量小于设定数量的情况下,获取所述显示设备发送的同步信号,并基于所述同步信号所包括的点亮时间,获取所述当前指向下所述显示设备的同步图像。
进一步地,同步图像获取模块52,具体用于:
在所述原始图像中包括的红外灯的数量小于设定数量的情况下,基于本地的同步信号所包括的点亮时间,获取所述当前指向下所述显示设备的同步图像;相应的,在基于同步信号获取所述当前指向下所述显示设备的同步图像之前,还包括:向所述显示设备发送同步信号。
进一步地,所述同步信号的数量等于所述显示设备所包括的红外灯的数量,所述同步图像的数量等于所述同步信号的数量,相应的,指向信息确定模块53具体用于:
从获取的同步图像中选取包含有红外灯的目标图像;
针对每个目标图像,将所述目标图像对应的同步信号所包括的标识信息确定为所述目标图像所包括红外灯的标识信息,并确定所述目标图像所包括红外灯与所述目标图像中心位置的相对位置信息;
基于确定的标识信息对应红外灯的图像位置信息、相对位置信息和显示设备上对应所确定的标识信息的红外灯的实际位置信息,确定所述当前指向对应的指向信息。
进一步地,指向信息确定模块53,具体用于:
确定当前获取的同步图像中是否包括红外灯;若否,则继续执行获取同步图像的操作直至包含红外灯的同步图像的数量等于所述原始图像中包括的红外灯的数量;若是,判断包含红外灯的同步图像的数量是否等于原始图像中包括的红外灯的数量;
若是,则基于包括红外灯的同步图像和对应的同步信号,确定所述当前指向对应的指向信息;若否,则继续执行获取同步图像的操作直至包含红外灯的同步图像的数量等于所述原始图像中包括的红外灯的数量。
上述指向信息确定装置可执行本发明实施例一、二和三所提供的指向信息确定方法,具备执行方法相应的功能模块和有益效果。
实施例六
图6为本发明实施例六提供的一种指向信息确定装置的结构示意图,该装置可适用于确定演示设备的指向信息的情况,其中该装置可由软件和/或硬件实现,并一般集成在显示设备上。
如图6所示,该装置包括:
获取模块61,用于获取同步信号;
控制模块62,用于基于所述同步信号,控制对应的红外灯的亮灭状态。
在本实施例中,该装置首先通过获取模块61获取同步信号;然后通过控制模块62基于所述同步信号,控制对应的红外灯的亮灭状态。
本实施例提供了一种指向信息确定装置,能够在原始图像中红外灯的数量小于设定数量时,有效的确定了演示设备的指向信息。
进一步地,获取模块61,具体用于如下之一:
获取演示设备发送的同步信号;
获取本地的同步信号;
其中,所述同步信号包括待点亮红外灯的标识信息和点亮时间,每个待点亮红外灯对应的点亮时间相隔设定时长不同;所述同步信号还包括系统时间,所述系统时间用于进行时间同步。
进一步地,该装置还包括发送模块,用于在获取本地的同步信号的情况下,向演示设备发送同步信号。
进一步地,控制模块62,具体用于:
控制所述同步信号所包括标识信息对应的红外灯,在同步信号所包括的点亮时间处于点亮状态。
上述指向信息确定装置可执行本发明实施例四所提供的指向信息确定方法,具备执行方法相应的功能模块和有益效果。
实施例七
图7为本发明实施例七提供的一种演示设备的结构示意图,如图7所示,本发明实施例七提供的演示设备包括:一个或多个处理器71和存储装置72;该演示设备中的处理器71可以是一个或多个,图7中以一个处理器71为例;存储装置72用于存储一个或多个程序;所述一个或多个程序被所述一个或多个处理器71执行,使得所述一个或多个处理器71实现如本发明实施例一、二或三所述的指向信息确定方法。
所述演示设备还可以包括:输入装置73和输出装置74。
演示设备中的处理器71、存储装置72、输入装置73和输出装置74可以通过总线或其他方式连接,图7中以通过总线连接为例。
该演示设备中的存储装置72作为一种计算机可读存储介质,可用于存储一个或多个程序,所述程序可以是软件程序、计算机可执行程序以及模块,如本发明实施例一、二或三所提供指向信息确定方法对应的程序指令/模块(例如,附图5所示的指向信息确定装置中的模块,包括:原始图像获取模块51、同步图像获取模块52和指向信息确定模块53)。处理器71通过运行存储在存储装置72中的软件程序、指令以及模块,从而执行演示设备的各种功能应用以及数据处理,即实现方法实施例一、二或三中的指向信息确定方法。
存储装置72可包括存储程序区和存储数据区,其中,存储程序区可存储操作系统、至少一个功能所需的应用程序;存储数据区可存储根据演示设备的使用所创建的数据等。此外,存储装置72可以包括高速随机存取存储器,还可以包括非易失性存储器,例如至少一个磁盘存储器件、闪存器件、或其他非易失性固态存储器件。在一些实例中,存储装置72可进一步包括相对于处理器71远程设置的存储器,这些远程存储器可以通过网络连接至设备。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
输入装置73可用于接收输入的数字或字符信息,以及产生与演示设备的用户设置以及功能控制有关的键信号输入。输入装置73可以为摄像头,用于获取原始图像和同步图像。输出装置74可包括显示屏等显示设备。演示设备还可以包括通信装置,用于与显示设备进行信息交互,信息包括但不限于指向信息。
并且,当上述演示设备所包括一个或者多个程序被所述一个或者多个处理器71执行时,程序进行如下操作:
获取当前指向下显示设备的原始图像;
在所述原始图像中包括的红外灯的数量小于设定数量的情况下,基于同步信号获取所述当前指向下所述显示设备的同步图像;
基于获取的同步信号和对应的同步图像,确定所述当前指向对应的指向信息。
实施例八
图8为本发明实施例八提供的一种显示设备的结构示意图。如图8所示,本发明实施例四提供的显示设备包括:一个或多个处理器81和存储装置82;该显示设备中的处理器81可以是一个或多个,图8中以一个处理器81为例;存储装置82用于存储一个或多个程序;所述一个或多个程序被所述一个或多个处理器81执行,使得所述一个或多个处理器81实现如本发明实施例四所述的指向信息确定方法。
所述显示设备还可以包括:输入装置83和输出装置84。
显示设备中的处理器81、存储装置82、输入装置83和输出装置84可以通过总线或其他方式连接,图8中以通过总线连接为例。
该显示设备中的存储装置82作为一种计算机可读存储介质,可用于存储一个或多个程序,所述程序可以是软件程序、计算机可执行程序以及模块,如本发明实施例四所提供指向信息确定方法对应的程序指令/模块(例如,附图6所示的指向信息确定装置中的模块,包括:获取模块61和控制模块62)。处理器81通过运行存储在存储装置82中的软件程序、指令以及模块,从而执行显示设备的各种功能应用以及数据处理,即实现方法实施例四中的指向信息确定方法。
存储装置82可包括存储程序区和存储数据区,其中,存储程序区可存储操作系统、至少一个功能所需的应用程序;存储数据区可存储根据显示设备的使用所创建的数据等。此外,存储装置82可以包括高速随机存取存储器,还可以包括非易失性存储器,例如至少一个磁盘存储器件、闪存器件、或其他非易失性固态存储器件。在一些实例中,存储装置82可进一步包括相对于处理器81远程设置的存储器,这些远程存储器可以通过网络连接至设备。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
输入装置83可用于接收输入的数字或字符信息,以及产生与显示设备的用户设置以及功能控制有关的键信号输入。输出装置84可包括显示屏。该显示设备还可以包括通信装置,用于与演示设备进行信息交互,信息包括但不限于指向信息。
并且,当上述显示设备所包括一个或者多个程序被所述一个或者多个处理器81执行时,程序进行如下操作:
获取同步信号;
基于所述同步信号,控制对应的红外灯的亮灭状态。
实施例九
本发明实施例九提供了一种计算机可读存储介质,其上存储有计算机程序,该程序被处理器执行时用于执行本发明任意实施例提供的指向信息确定方法。
如执行应用于演示设备的指向信息确定方法,该方法包括:
获取当前指向下显示设备的原始图像;
在所述原始图像中包括的红外灯的数量小于设定数量的情况下,基于同步信号获取所述当前指向下所述显示设备的同步图像;
基于获取的同步信号和对应的同步图像,确定所述当前指向对应的指向信息。
如执行应用于显示设备的指向信息确定方法,该方法包括:
获取同步信号;
基于所述同步信号,控制对应的红外灯的亮灭状态。
本发明实施例的计算机存储介质,可以采用一个或多个计算机可读的介质的任意组合。计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件,或者任意以上的组合。计算机可读存储介质的更具体的例子(非穷举的列表)包括:具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机存取存储器(Random AccessMemory,RAM)、只读存储器(Read Only Memory,ROM)、可擦式可编程只读存储器(ErasableProgrammable Read Only Memory,EPROM)、闪存、光纤、便携式CD-ROM、光存储器件、磁存储器件、或者上述的任意合适的组合。计算机可读存储介质可以是任何包含或存储程序的有形介质,该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。
计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号,其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式,包括但不限于:电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质,该计算机可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。
计算机可读介质上包含的程序代码可以用任何适当的介质传输,包括但不限于:无线、电线、光缆、无线电频率(Radio Frequency,RF)等等,或者上述的任意合适的组合。
可以以一种或多种程序设计语言或其组合来编写用于执行本发明操作的计算机程序代码,所述程序设计语言包括面向对象的程序设计语言—诸如Java、Smalltalk、C++,还包括常规的过程式程序设计语言—诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中,远程计算机可以通过任意种类的网络——包括局域网(LAN)或广域网(WAN)——连接到用户计算机,或者,可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。
注意,上述仅为本发明的较佳实施例及所运用技术原理。本领域技术人员会理解,本发明不限于这里所述的特定实施例,对本领域技术人员来说能够进行各种明显的变化、重新调整和替代而不会脱离本发明的保护范围。因此,虽然通过以上实施例对本发明进行了较为详细的说明,但是本发明不仅仅限于以上实施例,在不脱离本发明构思的情况下,还可以包括更多其他等效实施例,而本发明的范围由所附的权利要求范围决定。
Claims (14)
1.一种指向信息确定方法,其特征在于,包括:
获取当前指向下显示设备的原始图像;
在所述原始图像中包括的红外灯的数量小于设定数量的情况下,基于同步信号获取所述当前指向下所述显示设备的同步图像;
基于获取的同步信号和对应的同步图像,确定所述当前指向对应的指向信息;
所述指向信息为演示设备在所述显示设备上所指示的坐标信息;
所述同步信号包括待点亮红外灯的标识信息和点亮时间,根据所述同步信号依次点亮每个红外灯,所述演示设备基于所述同步信号获取当前指向下所述显示设备的同步图像;
所述同步信号的数量大于或等于所述显示设备所包括的红外灯的数量,所述同步图像的数量等于所述同步信号的数量,所述基于获取的同步信号和对应的同步图像,确定所述当前指向对应的指向信息,包括:
从获取的同步图像中选取包含有红外灯的目标图像;
针对每个目标图像,将所述目标图像对应的同步信号所包括的标识信息确定为所述目标图像所包括红外灯的标识信息,并确定所述目标图像所包括红外灯与所述目标图像中心位置的相对位置信息;
基于确定的标识信息对应红外灯的图像位置信息、相对位置信息和显示设备上对应所确定的标识信息的红外灯的实际位置信息,确定所述当前指向对应的指向信息。
2.根据权利要求1所述的方法,其特征在于,每个待点亮红外灯对应的点亮时间相隔设定时长;所述同步信号还包括系统时间,所述系统时间用于进行时间同步。
3.根据权利要求1所述的方法,其特征在于,所述基于同步信号获取所述当前指向下所述显示设备的同步图像,包括:
获取所述显示设备发送的同步信号,并基于所述同步信号所包括的点亮时间,获取所述当前指向下所述显示设备的同步图像。
4.根据权利要求1所述的方法,其特征在于,所述基于同步信号获取所述当前指向下所述显示设备的同步图像,包括:
基于本地的同步信号所包括的点亮时间,获取所述当前指向下所述显示设备的同步图像;相应的,在基于同步信号获取所述当前指向下所述显示设备的同步图像之前,还包括:向所述显示设备发送同步信号。
5.根据权利要求1所述的方法,其特征在于,基于获取的同步信号和对应的同步图像,确定所述当前指向对应的指向信息,包括:
确定当前获取的同步图像中是否包括红外灯;若否,则继续执行获取同步图像的操作直至包含红外灯的同步图像的数量等于所述原始图像中包括的红外灯的数量;若是,判断包含红外灯的同步图像的数量是否等于原始图像中包括的红外灯的数量;
若是,则基于包括红外灯的同步图像和对应的同步信号,确定所述当前指向对应的指向信息;若否,则继续执行获取同步图像的操作直至包含红外灯的同步图像的数量等于所述原始图像中包括的红外灯的数量。
6.一种指向信息确定方法,其特征在于,包括:
获取同步信号;
基于所述同步信号,控制对应的红外灯的亮灭状态;
所述同步信号包括待点亮红外灯的标识信息和点亮时间;
根据所述红外灯的亮灭状态获取红外灯的位置信息;
基于获取位置信息,确定当前指向对应的指向信息,包括:根据所述同步信号依次点亮每个红外灯,且演示设备根据所述同步信号拍摄同步图像,每次拍摄的同步图像中包含有红外灯,并根据所述同步图像中红外灯在所述同步图像中的位置,以及红外灯的实际位置信息联合确定所述演示设备的指向信息;
所述指向信息为所述演示设备在显示设备上所指示的坐标信息。
7.根据权利要求6所述的方法,其特征在于,所述获取同步信号,包括如下之一:
获取演示设备发送的同步信号;
获取本地的同步信号;
其中,所述同步信号包括待点亮红外灯的标识信息和点亮时间,每个待点亮红外灯对应的点亮时间相隔设定时长不同;所述同步信号还包括系统时间,所述系统时间用于进行时间同步;
所述本地的同步信号为显示设备发送的同步信号。
8.根据权利要求7所述的方法,其特征在于,在获取本地的同步信号的情况下,还包括:向演示设备发送同步信号。
9.根据权利要求6所述的方法,其特征在于,所述基于所述同步信号,控制对应的红外灯的亮灭状态,包括:
控制所述同步信号所包括标识信息对应的红外灯,在同步信号所包括的点亮时间处于点亮状态。
10.一种指向信息确定装置,其特征在于,包括:
原始图像获取模块,用于获取当前指向下显示设备的原始图像;
同步图像获取模块,用于在所述原始图像中包括的红外灯的数量小于设定数量的情况下,基于同步信号获取所述当前指向下所述显示设备的同步图像;
指向信息确定模块,用于基于获取的同步信号和对应的同步图像,确定所述当前指向对应的指向信息;
所述指向信息为演示设备在所述显示设备上所指示的坐标信息;
所述同步信号包括待点亮红外灯的标识信息和点亮时间,根据所述同步信号依次点亮每个红外灯,所述演示设备基于所述同步信号获取当前指向下所述显示设备的同步图像;
所述同步信号的数量大于或等于所述显示设备所包括的红外灯的数量,所述同步图像的数量等于所述同步信号的数量,所述基于获取的同步信号和对应的同步图像,确定所述当前指向对应的指向信息,包括:
从获取的同步图像中选取包含有红外灯的目标图像;
针对每个目标图像,将所述目标图像对应的同步信号所包括的标识信息确定为所述目标图像所包括红外灯的标识信息,并确定所述目标图像所包括红外灯与所述目标图像中心位置的相对位置信息;
基于确定的标识信息对应红外灯的图像位置信息、相对位置信息和显示设备上对应所确定的标识信息的红外灯的实际位置信息,确定所述当前指向对应的指向信息。
11.一种指向信息确定装置,其特征在于,包括:
获取模块,用于获取同步信号;
控制模块,用于基于所述同步信号,控制对应的红外灯的亮灭状态;
所述同步信号包括待点亮红外灯的标识信息和点亮时间;
根据所述红外灯的亮灭状态获取红外灯的位置信息;
基于获取位置信息,确定当前指向对应的指向信息,包括:根据所述同步信号依次点亮每个红外灯,且演示设备根据所述同步信号拍摄同步图像,每次拍摄的同步图像中包含有红外灯,并根据所述同步图像中红外灯在所述同步图像中的位置,以及红外灯的实际位置信息联合确定所述演示设备的指向信息;
所述指向信息为所述演示设备在显示设备上所指示的坐标信息。
12.一种演示设备,其特征在于,包括:
一个或多个处理器;
存储装置,用于存储一个或多个程序;
当所述一个或多个程序被所述一个或多个处理器执行,使得所述一个或多个处理器实现如权利要求1-5中任一所述的方法。
13.一种显示设备,其特征在于,包括:
一个或多个处理器;
存储装置,用于存储一个或多个程序;
当所述一个或多个程序被所述一个或多个处理器执行,使得所述一个或多个处理器实现如权利要求6-9中任一所述的方法。
14.一种计算机可读存储介质,其上存储有计算机程序,其特征在于,该程序被处理器执行时实现如权利要求1-9中任一所述的方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010350013.7A CN111556223B (zh) | 2020-04-28 | 2020-04-28 | 指向信息确定方法、装置、演示设备、显示设备及介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010350013.7A CN111556223B (zh) | 2020-04-28 | 2020-04-28 | 指向信息确定方法、装置、演示设备、显示设备及介质 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN111556223A CN111556223A (zh) | 2020-08-18 |
CN111556223B true CN111556223B (zh) | 2022-08-23 |
Family
ID=72004205
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202010350013.7A Active CN111556223B (zh) | 2020-04-28 | 2020-04-28 | 指向信息确定方法、装置、演示设备、显示设备及介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN111556223B (zh) |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2001236179A (ja) * | 2000-02-22 | 2001-08-31 | Seiko Epson Corp | 指示位置検出システムおよび方法、プレゼンテーションシステム並びに情報記憶媒体 |
CN101128794A (zh) * | 2005-01-12 | 2008-02-20 | 辛克光学公司 | 手持式基于视觉的绝对指向系统 |
WO2010007566A1 (en) * | 2008-07-18 | 2010-01-21 | Koninklijke Philips Electronics N.V. | Camera device and screen device |
CN106152937A (zh) * | 2015-03-31 | 2016-11-23 | 深圳超多维光电子有限公司 | 空间定位装置、系统及其方法 |
CN110489027A (zh) * | 2019-07-05 | 2019-11-22 | 深圳市格上格创新科技有限公司 | 手持输入设备及其指示图标的显示位置控制方法和装置 |
Family Cites Families (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP4745317B2 (ja) * | 2007-11-07 | 2011-08-10 | シャープ株式会社 | 表示システムおよび指示位置の検出方法 |
-
2020
- 2020-04-28 CN CN202010350013.7A patent/CN111556223B/zh active Active
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2001236179A (ja) * | 2000-02-22 | 2001-08-31 | Seiko Epson Corp | 指示位置検出システムおよび方法、プレゼンテーションシステム並びに情報記憶媒体 |
CN101128794A (zh) * | 2005-01-12 | 2008-02-20 | 辛克光学公司 | 手持式基于视觉的绝对指向系统 |
WO2010007566A1 (en) * | 2008-07-18 | 2010-01-21 | Koninklijke Philips Electronics N.V. | Camera device and screen device |
CN106152937A (zh) * | 2015-03-31 | 2016-11-23 | 深圳超多维光电子有限公司 | 空间定位装置、系统及其方法 |
CN110489027A (zh) * | 2019-07-05 | 2019-11-22 | 深圳市格上格创新科技有限公司 | 手持输入设备及其指示图标的显示位置控制方法和装置 |
Non-Patent Citations (1)
Title |
---|
基于WinCE平台手持红外热像仪用户交互软件的设计与实现;刘晓东;《优秀硕士论文》;20131001;全文 * |
Also Published As
Publication number | Publication date |
---|---|
CN111556223A (zh) | 2020-08-18 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN110333836B (zh) | 信息的投屏方法、装置、存储介质和电子装置 | |
WO2021082584A1 (zh) | 消息交互方法、装置、可读介质及电子设备 | |
CN104135693A (zh) | 一种视频播放方法、智能电视及服务器 | |
US11936924B2 (en) | Live room setup method and apparatus, electronic device, and storage medium | |
CN108881875B (zh) | 图像白平衡处理方法、装置、存储介质及终端 | |
CN110928509B (zh) | 显示控制方法、显示控制装置、存储介质、通信终端 | |
CN111770369A (zh) | 遥控方法、装置、存储介质及终端 | |
US20090051651A1 (en) | Apparatus for remote pointing using image sensor and method of the same | |
CN111556223B (zh) | 指向信息确定方法、装置、演示设备、显示设备及介质 | |
CN109582261B (zh) | 电子设备、显示系统、显示装置和电子设备的控制方法 | |
KR100773905B1 (ko) | 이미지 센서를 이용한 원격 포인팅 장치 및 방법 | |
CN110673886A (zh) | 用于生成热力图的方法和装置 | |
CN110442806B (zh) | 用于识别图像的方法和装置 | |
CN114726838B (zh) | 对多个信号源进行远程安全交互的系统和方法 | |
CN113742426A (zh) | 一种数据同步方法、装置、设备、服务器及存储介质 | |
CN111324244B (zh) | 用于切换图片显示类型的方法和装置 | |
CN106210833A (zh) | 切换频道的方法和系统、智能终端和控制器 | |
CN105808187A (zh) | 一种教学资源处理方法及装置 | |
CN113852646A (zh) | 一种智能设备的控制方法、装置、电子设备及系统 | |
CN115292540B (zh) | 多模态零件信息识别方法、装置、设备和计算机可读介质 | |
US20240089560A1 (en) | Video generation method, apparatus, electronic device and storage medium | |
JP2020052851A (ja) | 情報処理装置、情報処理方法、情報処理システムおよびプログラム | |
CN110876069A (zh) | 视频截图的获取方法、装置、设备及存储介质 | |
US20230376122A1 (en) | Interface displaying method, apparatus, device and medium | |
CN114125485B (zh) | 图像处理方法、装置、设备及介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |