CN108762483B - 一种互动投影仪及互动投影方法 - Google Patents
一种互动投影仪及互动投影方法 Download PDFInfo
- Publication number
- CN108762483B CN108762483B CN201810338828.6A CN201810338828A CN108762483B CN 108762483 B CN108762483 B CN 108762483B CN 201810338828 A CN201810338828 A CN 201810338828A CN 108762483 B CN108762483 B CN 108762483B
- Authority
- CN
- China
- Prior art keywords
- projection
- optical element
- interactive
- infrared
- light beam
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
-
- G—PHYSICS
- G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
- G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
- G03B21/00—Projectors or projection-type viewers; Accessories therefor
- G03B21/14—Details
- G03B21/20—Lamp housings
- G03B21/206—Control of light source other than position or intensity
Abstract
本发明实施例涉及投影交互技术领域,公开了一种互动投影仪及互动投影方法。该互动投影仪包括:投影模组,用于发射投影光束;第一光学元件,用于改变投影光束的传播方向,以使投影光束呈环形出射,并形成环形投影面;滤光镜,设于投影模组和第一光学元件之间,用于透射投影光束;红外光源,设于投影模组远离第一光学元件的一侧,用于出射红外光束;第二光学元件,设于红外光源的出射端,用于反射红外光束;第一光学元件还用于接收并反射在环形投影面处反射的红光光束;滤光镜还用于反射第一光学元件反射的红外光束;红外摄像模组,设于滤光镜的反射面的一侧,用于接收滤光镜反射的红外光束。通过以上方式,本实施例的互动投影仪能够实现环形投影。
Description
技术领域
本发明实施例涉及投影交互技术领域,特别是涉及一种互动投影仪及互动投影方法。
背景技术
随着半导体技术的发展,便携式电子产品日趋多样化,功能也越加丰富,使得用户对大屏幕投影的需求越来越强烈,进而带动投影装置的发展。
互动投影技术是当今的热门研究项目。互动投影技术的原理是:通过捕捉设备对用户的动作进行捕捉拍摄,然后进行分析,以产生用户的动作数据,将动作数据与实时影像互动系统结合,使用户和屏幕之间产生互动效果。
发明人在实现本发明实施例的过程中发现,现有的互动投影系统通常朝一个方向投影至一个平面,用户只能从该平面观看投影内容,无法根据环境不同及自身的需求选择性地改变观看投影画面的角度。
发明内容
本发明实施例主要解决的技术问题是提供一种互动投影仪及互动投影方法,使得该互动投影仪及互动投影方法能够实现环形投影,从而实现投影功能的多样化。
为解决上述技术问题,本发明实施例采用的一个技术方案是:提供一种互动投影仪,包括:投影模组,用于发射投影光束;第一光学元件,设于所述投影模组的正前方,用于改变所述投影光束的传播方向,以使所述投影光束呈环形出射,并形成环形投影面;滤光镜,设于所述投影模组和所述第一光学元件之间,用于透射所述投影光束;红外光源,设于所述投影模组远离所述第一光学元件的一侧,用于出射红外光束;第二光学元件,设于所述红外光源的出射端,用于反射所述红外光束,所述红外光束入射至所述环形投影面所在的区域;所述第一光学元件还用于接收并反射在所述环形投影面处所反射的红光光束;所述滤光镜还用于反射所述第一光学元件反射的红外光束;红外摄像模组,设于所述滤光镜的反射面的一侧,用于接收所述滤光镜反射的红外光束。
可选地,所述投影仪还包括壳体,所述第一光学元件设于所述壳体的一侧,所述第二光学元件设于所述壳体的另一侧,所述红外摄像模组、所述滤光镜、所述投影模组、所述红外光源收容于所述壳体。
可选地,所述壳体设有透明区域,所述透明区域设于所述壳体靠近所述第一光学元件的一端,所述环形投影面处所反射的红外光束从所述透明区域穿过并且入射至所述第一光学元件。
可选地,所述第一光学元件包括光学元件本体、透射面、反射面和折射面;所述透射面、所述折射面设于所述光学元件本体靠近所述投影模组的一端,所述反射面设于所述光学元件本体远离所述投影模组的一端;所述投影模组发射的所述投影光束从所述透射面进入,传输至所述反射面,所述反射面反射所述投影光束至所述折射面,所述折射面将所述投影光束折射,以使所述投影光束出射,从而形成所述环形投影面。
可选地,所述第一光学元件还设有过渡面,所述过渡面用于连接所述反射面和所述折射面。
可选地,所述第二光学元件设有反射斜面,所述反射斜面用于将所述红外光源出射的所述红外光束反射至所述环形投影面所在的区域。
可选地,所述第一光学元件、所述滤光镜、所述第二光学元件的中心在同一直线上,且所述直线与所述投影光束平行或者重合。
为解决上述技术问题,本发明实施例采用的另一个技术方案是:提供一种互动投影方法,应用于上述的互动投影仪,包括:接收开启指令,并根据所述开启指令,控制所述互动投影仪显示环形投影图像,并控制所述互动投影仪向所述环形投影图像投射红外光束;根据所述红外图像,获取所述用户在所述环形投影图像中的交互动作位置;根据所述交互动作位置,调整所述环形投影图像,得到交互环形投影图像。
可选地,所述根据所述红外图像,获取用户在所述环形投影图像中的交互动作位置,包括:识别所述用户的交互信息;在所述环形投影图像建立坐标系,获取所述交互信息在所述坐标系中的坐标位置;将所述坐标位置记为所述交互动作位置。
可选地,在所述接收开启指令之前,所述方法还包括:获取环境信息;根据所述环境信息,获取投影内容;所述控制所述互动投影仪显示环形投影图像,包括:控制所述互动投影仪根据所述投影内容显示环形投影图像。
为解决上述技术问题,本发明实施例采用的又一个技术方案是:提供一种互动投影装置,应用于上述的互动投影仪,包括:环形投影模块,用于接收开启指令,根据所述开启指令,控制所述互动投影仪显示环形投影图像,并控制所述互动投影仪向所述环形投影图像投射红外光束;第一获取模块,用于获取所述互动投影仪的红外摄像模组所采集到所述环形投影图像所在区域的红外图像;第二获取模块,用于根据所述红外图像,获取所述用户在所述环形投影图像中的交互动作位置;交互环形投影模块,用于根据所述交互动作位置,调整所述环形投影图像,得到交互环形投影图像。
可选地,所述第二获取模块包括:识别交互信息单元,用于识别所述用户的交互信息;获取坐标单元,用于在所述环形投影图像建立坐标系,获取所述交互信息在所述坐标系中的坐标位置;交互动作位置获取单元,用于将所述坐标位置记为所述交互动作位置。
可选地,在接收开启指令之前,所述装置还包括:环境获取模块,用于获取环境信息;投影内容获取模块,用于根据所述环境信息,获取投影内容;所述环形投影模块还包括:控制所述互动投影仪根据所述投影内容显示环形投影图像。
为解决上述技术问题,本发明实施例采用的另一个技术方案是:提供一种终端,所述终端包括:
至少一个处理器;以及与所述至少一个处理器通信连接的存储器;其中,所述存储器存储有可被所述至少一个处理器执行的指令,所述指令被所述至少一个处理器执行,以使所述至少一个处理器能够执行以上所述的互动投影方法。
本发明实施例的有益效果是:区别于现有技术的情况,本发明实施例提供一种互动投影仪及互动投影方法,通过出射投影光束的投影模组、透射投影光束的滤光镜、反射投影光束的第一光学元件,实现环形投影,通过出射红外光束的红外光源、反射红外光束至环形投影面的第二光学元件、反射红外光束至第一光学元件的环形投影面所在的区域、反射红外光束至滤光镜的第一光学元件、反射红外光束至红外摄像模组的滤光镜、接收红外光束的红外摄像模组,实现红外交互投影,从而实现在环形投影的红外交互投影,无需在不同角度设置多个投影装置或者红外模组来实现,降低成本、使用灵活,从而实现投影仪功能的多样性。
附图说明
一个或多个实施通过与之对应的附图进行示例性说明,这些示例性说明并不构成对实施例的限定,附图中具有相同参考数字标号的元件表示为类似的元件,除非有特别申明,附图中的图不构成比例限制。
图1是本发明实施例提供的一种互动投影仪的结构示意图;
图2是图1中的第一光学元件的结构示意图;
图3是图1中的第一光学元件的结构示意图;
图4是图1中的第一光学元件和投影模组的结构示意图;
图5是图1中的环形投影面的成像示意图;
图6是本发明实施例提供的一种互动投影仪的功能模块示意图;
图7是本发明实施例提供的一种互动投影方法的流程示意图;
图8是本发明另一实施例提供的一种互动投影方法的流程示意图;
图9是本发明实施例提供的一种互动投影装置的结构示意图;
图10是本发明实施例提供的一种终端的结构示意图。
具体实施方式
为了便于理解本发明,下面结合附图和具体实施例,对本发明进行更详细的说明。需要说明的是,当元件被表述“固定于”另一个元件,它可以直接在另一个元件上、或者其间可以存在一个或多个居中的元件。当一个元件被表述“连接”另一个元件,它可以是直接连接到另一个元件、或者其间可以存在一个或多个居中的元件。本说明书所使用的术语“垂直的”、“水平的”、“左”、“右”、“上”、“下”、“内”、“外”、“底部”等指示的方位或位置关系为基于附图所示的方位或位置关系,仅是为了便于描述本发明和简化描述,而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作,因此不能理解为对本发明的限制。此外,术语“第一”、“第二”等仅用于描述目的,而不能理解为指示或暗示相对重要性。
除非另有定义,本说明书所使用的所有的技术和科学术语与属于本发明的技术领域的技术人员通常理解的含义相同。在本发明的说明书中所使用的术语只是为了描述具体的实施例的目的,不是用于限制本发明。本说明书所使用的术语“和/或”包括一个或多个相关的所列项目的任意的和所有的组合。
此外,下面所描述的本发明不同实施例中所涉及的技术特征只要彼此之间未构成冲突就可以相互结合。
本发明实施例中的互动投影仪,能够使投影光束呈环形出射以实现环形投影,还能够接收环形投影区域内的红外光信息,以实现互动投影,从而实现投影仪功能的多样性。
本发明实施例中的互动投影方法,能够应用于本实施例中的互动投影仪,以实现在环形投影区域的互动投影,从而实现投影仪功能的多样性。
本发明实施例中的互动投影装置,可以作为一个软件或者硬件功能单元,独立设置在上述互动投影仪中,也可以作为整合在处理器中的其中一个功能模块,执行本申请实施例的互动投影方法。
具体地,下面将通过实施例对互动投影仪和互动投影方法进行阐述。
实施例一
请参阅图1,是本发明实施例提供的一种互动投影仪的结构示意图。如图1所示,互动投影仪100包括投影模组10、第一光学元件20、滤光镜30、红外光源40、第二光学元件50和红外摄像模组60。
投影模组10用于发射投影光束;第一光学元件20设于投影模组10的正前方,第一光学元件20用于改变投影光束的传播方向,以使投影光束呈环形出射,并形成环形投影面001;滤光镜30设于投影模组10和第一光学元件20之间,用于透射投影光束;红外光源40设于投影模组10远离第一光学元件20的一侧,用于出射红外光束;第二光学元件50设于红外光源40的出射端,用于反射红外光源40出射的红外光束,该红外光束入射至环形投影面001所在的区域;第一光学元件20还用于接收并反射在环形投影面001处所反射的红光光束;滤光镜30还用于反射第一光学元件20反射的红外光束;红外摄像模组60设于滤光镜30的反射面的一侧,用于接收滤光镜30反射的红外光束。
在本实施例中,投影模组10发射的投影光束,穿过滤光镜30入射到第一光学元件20,第一光学元件20将该投影光束的传播方向改变,使其呈环形出射,形成环形投影面001;同时,红外光源40出射红外光束,该红外光束经过第二光学元件50、环形投影面001所在的区域、第一光学元件20、滤光镜30的反射,进入到红外摄像模组60,以接收环形投影面001处的红外互动信息,从而实现互动投影。
具体地,投影模组10可以为数字光处理(Digital Light Processing,DLP)投影装置或者液晶附硅(Liquid Crystal on Silicon,LCOS)投影装置或者液晶(Liquid CrystalDisplay,LCD)投影装置,用于发射投影光束。投影模组10与红外摄像模组60之间电连接,并且投影模组10与红外摄像模组60之间可实现数据传输,从而使得红外摄像模组60接收的红外光束信息可传输到投影模组10。
第一光学元件20设置于投影模组10的正前方,并且第一光学元件20的中心与投影模组10的中心光轴重合.第一光学元件20用于改变投影模组10发射的投影光束的传播方向,以使该投影光束呈环形出射,从而形成环形投影面001。该环形投影面001可以为平面或锥面等等,当环形投影面001平面时,投影图像呈圆环形,当环形投影面001为锥面时,投影图像呈锥形。
其中,请参阅图2至图4,第一光学元件20包括光学元件本体、透射面22、反射面23和折射面24。
其中,透射面22、折射面24设于同一平面,并设于光学元件本体靠近投影模组10的一端,反射面23设于光学元件本体远离投影模组10的一端。
在本实施例中,光学元件本体为关于中心轴(如图2所示的L1)旋转对称的实心结构,可以为圆台结构、圆柱结构或者圆台圆柱组合结构等等,优选地,所述光学元件本体11为圆台圆柱组合的实心结构。光学元件本体由塑胶或者玻璃等能够透射光线的透明材料制成,光学元件本体的折射率相同且小于空气折射率。透射面22用于将投影光束透射至反射面23,该透射面22设置于光学元件本体沿中心轴L1方向的一端(如图2所示A端),该透射面22的中心轴与光学元件本体的中心轴L1重合,且其截面轮廓线的形状为圆形或者椭圆形。
进一步地,所述透射面22为平面或者曲面,当所述透射面22为曲面时,所述透射面22向光学元件本体内部凹陷,凹点位于光学元件本体的中心轴L1上,能够将投影光束发散式地透射至反射面23,增大入射角度。
反射面23用于将透射面22透射的投影光束反射至折射面24,以改变投影光束的投影方向。该反射面23设置于光学元件本体沿中心轴L1方向的另一端(如图2所示B端),该反射面23的中心轴与光学元件本体的中心轴L1重合,其截面轮廓线的形状与透射面22的截面轮廓线形状对应,当透射面22的截面轮廓线的形状为圆形时,反射面23的截面轮廓线的形状也为圆形;当透射面22的截面轮廓线的形状为椭圆形时,反射面23的截面轮廓线的形状也为椭圆形,保证透射面22透射的投影光束能够全部透射至反射面23,防止漏光。
进一步地,反射面23为平面、曲面或者锥面其中之一,当反射面23为曲面时,反射面23向光学元件本体内部凹陷,凹点位于光学元件本体的中心轴L1上,能够增大反射角度;当反射面23为锥面时,反射面23向光学元件主体内部凹陷,锥点位于光学元件本体的中心轴L1上,且该锥面形成的锥角大于45°且小于150°,保证反射面23反射的投影光束能够全部从折射面24出射,不会与从透射面22入射的投影光束重叠。
进一步地,反射面23和透射面22至少有一面不为平面,保证反射面23能够改变投影光束的投影方向。
折射面24用于将反射面23反射的投影光束发散折射,改变投影光束的投影方向,使投影光束呈环形出射。折射面24设置于光学元件本体沿中心轴L1方向的一端(如图2所示A端),该折射面24环绕透射面22,并与透射面22相邻设置。
进一步地,折射面24为环形平面或者环形曲面。当折射面24为环形曲面时,折射面24向光学元件本体外部凸出,能够增大投影光束的发散角度,使得投影光束呈环形出射,且能够提高光照均匀度。
进一步地,反射面23靠近光学元件主体的面上镀有增反射膜,折射面24和/或透射面13镀有增透膜或者抗反射涂料。
可以理解的是,在一些其他实施例中,第一光学元件20还设有过渡面25,过渡面25用于连接反射面23和折射面24。折射面24通过至少一个过渡面25与反射面23连接,其中,过渡面25可以为平面也可以为曲面。在本实施例中,过渡面25数量为3,具体包括:光学元件主体的侧壁、A端环绕折射面24的过渡面、B端环绕反射面23的过渡面。
可以理解的是,在一些其他实施例中,透射面22、反射面23和折射面24的形状可以为相似图形,光学元件本体还可以为三棱台或四棱台等等,只要保证透射面22、反射面23和折射面24的形状相同即可。当光学元件本体为正三棱台时,透射面22、反射面23和折射面24的形状均为正三角形,则形成的环形投影面001的形状为正环状三角形。
在本实施例中,请参阅图4,投影模组10发射的投影光束从透射面22进入,传输至反射面23,反射面23反射该投影光束,并使其进入折射面24,折射面24将该投影光束折射,以使该投影光束出射,从而形成环形投影面001。请参阅图5,是该环形投影面的成像示意图,其中,P1为环形成像区,P2为非成像区。
滤光镜30设于投影模组10和第一光学元件20之间,滤光镜30的中心与第一光学元件20的中心在同一直线上。滤光镜30可用于透射可见光束并反射红外光束。在本实施例中,滤光镜30用于透射投影光束并且反射红外光束。其中,滤光镜30可以通过在低通二向色镜镀膜、截止波长为780nm制备而成。滤光镜30的大小由环形投影面001的大小决定。
红外光源40设于投影模组10远离第一光学元件20的一侧,用于出射红外光束。其中,红外光源40可以为红外发光二极管、红外激光二极管等等,可以根据实际需求进行选择。红外光源40出射的红外光束与投影模组10的中心光轴平行或者重合。
第二光学元件50设于红外光源40的出射端,第二光学元件50的中心与第一光学元件20的中心在同一直线上。第二光学元件50用于反射红外光源40出射的红外光束,并且该红外光束入射至环形投影面001所在的区域。
进一步地,第二光学元件50为圆锥体形状,第二光学元件50设有反射斜面,反射斜面设于圆锥体的侧面,反射斜面用于将红外光源40出射的红外光束反射至环形投影面001所在的区域。
进一步地,反射斜面的反射角度可以通过改变反射斜面的倾斜角度而改变,反射斜面反射红外光束形成的面的面积大于等于环形投影面001的面积,即反射斜面反射的红光光束将环形投影面001完全覆盖。
红外摄像模组60设于滤光镜30的反射面的一侧,用于接收滤光镜30反射的红外光束。在本实施例中,红外摄像模组60能够通过环形投影面001的反射、第一光学元件20的反射、滤光镜30的反射,从而接收在环形投影面001区域的红外信息,从而实现互动投影。
值得说明的是,环形投影面001所在的区域可以为幕布或墙面,入射到环形投影面001所在区域的红外光束通过漫反射入射到第一光学元件20。漫反射能够将大部分的红外光束反射进入到第一光学元件20,从而实现红外互动投影。其中,红外光束入射到第一光学元件20后,可以经过折射面24折射,从而进入反射面23,然后再经反射面23反射到滤光镜30。
值得说明的是,在本实施例中,第一光学元件20、滤光镜30、第二光学元件50的中心在同一直线上,并且,该直线与投影光束平行或者重合。
请再参阅图1,互动投影仪100还包括壳体70。壳体70为中空圆柱体形状,第一光学元件20设于壳体70的一侧,第二光学元件50设于壳体70的另一侧,红外摄像模组60、滤光镜30、投影模组10、红外光源40收容于壳体70。
具体地,当壳体70竖直放置时,第一光学元件20安设于壳体70的上方,并与壳体70连接,例如:第一光学元件20的底面可直接与壳体70的上底面贴合,或者,第一光学元件20的底面与壳体70的上底面通过连接机械连接等;第二光学元件50设于壳体70的下方,并与壳体70连接,例如:第二光学元件50部分嵌入壳体70,或者,第二光学元件50的顶部与壳体70的下底面通过连接机械连接等;透光镜30、投影模组10、红外光源40从上到下依次收容于壳体70内,红外摄像模组60收容于于壳体70内,并设于透光镜30的反射面的一侧。
可选地,第一光学元件20和第二光学元件50与壳体70的连接为可拆卸连接,例如可以为螺纹连接,也可以为卡持连接等等。用户可以根据应用场所的不同,在不需要实现环形投影时,可将第一光学元件20拆下,实现普通的单向投影,或者换上其他的光学元件,从而达到互动投影仪多种用法的好处,并节省成本。
进一步地,壳体70设有透明区域71,透明区域71可以为无色光学玻璃制备而成。透明区域71位于壳体70靠近第一光学元件20的一端,第一光学元件20的折射面24折射出射的投影光束从透明区域71穿过,从而形成环形投影面001;环形投影面001处所反射的红外光束从透明区域71穿过,从而入射到第一光学元件10。
进一步地,当第二光学元件50全部或者部分嵌入壳体70时,透明区域71还设于壳体70靠近第二光学元件50的一端,使得第二光学元件50反射的红外光束可穿过透明区域71。
请参阅图6,互动投影仪100还包括控制处理模块80。控制处理模块80分别与投影模组10和红外摄像模组60连接。
其中,控制处理模块80包括至少一个处理器801以及存储器802。处理器801为具有一定逻辑运算能力的处理器,例如单片机、微处理器或者CPU等,该处理器801还可以具有一个或者多个处理核心。处理器801分别与投影模组10、红外摄像模组60和存储器42连接。其中,存储器802可以内置在处理器801中,也可以外置在处理器801外部,存储器802还可以是远程设置的存储器,通过网络连接处理器801(图6中以存储器802外置于处理器801为例说明)。处理器801和存储器802可以通过总线或者其他方式连接,图6中以通过总线连接为例。其中,存储器作为一种非易失性计算机可读存储介质,可用于存储非易失性软件程序、非易失性计算机可执行程序以及模块。处理器801通过运行存储在存储器802的非易失性软件程序、指令以及模块,从而控制投影模组10和红外摄像模组60。
需要说明的是,对于本实施例中的互动投影仪100,其投影的内容可以为静态信息,也可以为动态旋转信息。其中,动态旋转信息能够使得各个方向的用户可以通过分时观看不同部分的内容了解完整的投影内容。
需要说明的是,本实施例中的互动投影仪100可应用于多种场所和规模,可以根据实际应用需要进行小型化或大型化设计,例如:在一些咖啡厅、酒吧、桌游室等休闲场所,将互动投影仪100摆放在桌面,将动态图像投影于桌面上,从而展示一些互动小游戏,通过与投影画面中的内容互动,可以活跃气氛,并带来一种不同寻常的广告和娱乐交相辉映的效果;又或者,将互动投影仪100摆放在大型广场,实现环形广告投影,满足多角度观看,并且用户可以通过触控投影内容,从而进一步查看感兴趣的部分。
需要说明的是,互动投影仪100可以摆放在桌面边缘,使互动投影仪100的投影区域分成半环形桌面投影区域和半环形地面投影区域,该桌面投影区域和该地面投影区域会因投影距离的不同,面积大小不同,从而实现异面投影。
本实施例中的互动投影仪100通过出射投影光束的投影模组10、透射投影光束的滤光镜30、反射投影光束的第一光学元件20,实现环形投影,通过出射红外光束的红外光源40、反射红外光束至环形投影面001的第二光学元件50、反射红外光束至第一光学元件20的环形投影面001所在的区域、反射红外光束至滤光镜30的第一光学元件20、反射红外光束至红外摄像模组60的滤光镜30、接收红外光束的红外摄像模组60,实现红外交互投影,从而实现在环形投影的红外交互投影,无需在不同角度设置多个投影装置或者红外模组来实现,降低成本、使用灵活,从而实现投影仪功能的多样性。
实施例二
请参阅图7,是本发明实施例提供的一种互动投影方法的流程示意图。该互动投影方法可应用于实施例一中的互动投影仪100。如图7所示,该方法包括:
210、接收开启指令,并根据所述开启指令,控制所述互动投影仪显示环形投影图像,并控制所述互动投影仪向所述环形投影图像投射红外光束。
上述“开启指令”为开始进行环形投影的指令,在接收到开启指令后,根据开启指令,控制互动投影仪100显示环形投影图像。其中,环形投影图像为互动投影仪100对接收到的投影内容进行投影而得到的,并且环形投影图像为环状,环形投影图像显示在环形投影面上。其中,互动投影仪100的控制处理模块80控制投影模组10显示环形投影图像。
220、获取所述互动投影仪的红外摄像模组所采集到所述环形投影图像所在区域的红外图像。
互动投影仪100的投影模组10设有红外线过滤膜,因此投影模组10投射的投影光束为可见光,从而显示环形投影图像。当互动投影仪100的红外光源40通过第二光学元件20向环形投影图像投射红外光束时,若有物体在环形投影图像上,红外光束照射在物体上,通过漫反射进入第一光学元件10,并经过第一光学元件10、滤光镜30的反射,从而进入红外摄像模组60,被红外摄像模组60接收,形成上述的“红外图像”。例如:人将手放置在环形投影图像所在区域的某处,红外光束照射到人手,经过反射被红外摄像模组60接收,生成黑白的红外图像,并且,在红外图像中,环形投影图像部分为黑色,人手部分为白色。
230、根据所述红外图像,获取用户在所述环形投影图像中的交互动作位置。
上述“交互动作位置”为用户的交互信息在环形投影图像中的位置,根据获取到的红外图像,分析用户在环形投影图像中的进行交互的位置,从而获取交互动作位置。
其中,根据红外图像,获取用户在环形投影图像中的交互动作位置,包括:
231、识别所述用户的交互信息;
232、在所述环形投影图像建立坐标系,获取所述交互信息在所述坐标系中的坐标位置;
233、将所述坐标位置记为所述交互动作位置。
上述“用户的交互信息”为用户对环形投影图像的动作,识别用户的交互信息具体可以为:通过图像差分技术,将获取的连续两帧的红外图像进行相减,得到运动的部分,通过光流法识别运动的方向,则识别用户的交互信息。获取交互信息后,以环形投影图像的中心为原点、水平方向为x轴、竖直方向为y轴建立平面直角坐标系,将交互信息当作点,识别交互信息在坐标系的坐标位置,将该坐标位置记为交互动作位置。例如,假设环形投影图像中有一滑块,用户用手对环形投影图像中的滑块进行拖动,则将用户的手当作点,识别用户的手在坐标系中的坐标位置,并将该坐标位置记为交互动作位置。
240、根据所述交互动作位置,调整所述环形投影图像,得到交互环形投影图像。
上述“交互环形投影图像”为互动投影仪100根据交互动作位置对环形投影图像调整之后得到的图像。其中,调整可以为对环形投影图像的位置、大小、颜色等进行调整,调整可以为动态调整。调整完成后,得到交互环形投影图像。例如,对环形投影图像中的滑块进行向右拖动,对滑块进行做出向右移动的调整,生成交互环形投影图像。
在本实施例中,根据交互动作位置,调整环形投影图像,得到交互环形投影图像,具体实施方式可以为:获取到交互动作位置后,识别交互动作位置中包含的操作,对环形投影图像进行相应调整,生成交互环形投影图像。例如:用户对环形投影图像中的A点的滑块拖动到B点,互动投影仪100获取到用户的交互动作位置,识别交互动作位置中包含的操作为移动,则对环形投影图像中的A点的滑块做出向B点拖动的调整,生成交互环形投影图像。
250、显示所述交互环形投影图像。
互动投影仪100对得到的交互环形投影图像进行显示。其中,互动投影仪100的控制处理模块80控制投影模组10显示交互环形投影图像。
本实施例中的互动投影方法,通过显示环形投影图像,并获取环形投影图像所在区域的红外图像,根据红外图像获取用户的交互动作位置,对环形投影图像进行调整,生成交互环形投影图像,从而实现在环形投影的红外交互投影,无需在不同角度设置多个投影装置或者红外模组来实现,降低成本、使用灵活,从而实现投影仪功能的多样性。
实施例三
请参阅图8,是本发明另一实施例提供的一种互动投影方法的流程示意图。该互动投影方法可应用于实施例一中的互动投影仪100。如图7所示,该方法包括:
311、获取环境信息。
上述“环境信息”为环境图像,环境图像为互动投影仪100当前拍照或者拍摄视频所获得的真实环境的图像,通过环境图像确定在环境中投射的投影内容,以用于用户交互。在本实施例中,互动投影仪100还可以设置摄像头,通过摄像头获取环境图像。其中,摄像头可以为彩色单目摄像头或高分辨率摄像头等等。则获取环境信息的具体实施方式为:获取由摄像头发送的环境图像。例如:真实环境中有一张桌子,摄像头拍摄得到环境图像,环境图像中包含一张桌子,摄像头将该环境图像发送至互动投影仪100,互动投影仪100从而获取由摄像头发送的环境图像。
312、根据所述环境信息,获取投影内容。
上述“投影内容”为互动投影仪100在接收到开启指令后所要进行环形投影显示的环形投影图像的内容。投影内容可以由用户发送,或者由互动投影仪100主动获取,在本实施例中,该投影内容由互动投影仪100根据环境信息获取。
根据环境信息,获取投影内容,具体实施方式可以为:获取到环境信息后,对环境信息进行分析处理,识别环境信息中的物体,根据用户指令或系统设置,生成投影内容,从而获取投影内容。例如:真实环境中有一张桌子,获取到的环境信息后,对环境信息进行分析处理,识别得到环境信息中包含一张桌子,根据系统设置,与桌子匹配的为书本,则生成包含书本的投影内容,从而获取投影内容。
320、接收开启指令,根据所述开启指令,控制所述互动投影仪根据所述投影内容显示环形投影图像,并控制所述互动投影仪向所述环形投影图像投射红外光束;
上述“开启指令”为开始进行环形投影的指令,在接收到开启指令后,根据开启指令和获取到的投影内容,控制互动投影仪100进行显示环形投影图像,并控制所述互动投影仪向所述环形投影图像投射红外光束;
330、获取所述互动投影仪的红外摄像模组所采集到所述环形投影图像所在区域的红外图像;
340、根据所述红外图像,获取用户在所述环形投影图像中的交互动作位置;
350、根据所述交互动作位置,调整所述环形投影图像,得到交互环形投影图像;
360、显示所述交互环形投影图像。
其中,步骤330-步骤360与实施例二中的步骤220-步骤350相同,此处不再赘述。
本实施例中的互动投影方法,通过获取环境信息,并根据环境信息获取投影内容,显示环形投影图像,并获取环形投影图像所在区域的红外图像,根据红外图像获取用户的交互动作位置,对环形投影图像进行调整,生成交互环形投影图像,从而实现在环形投影的红外交互投影,无需在不同角度设置多个投影装置或者红外模组来实现,降低成本、使用灵活,从而实现投影仪功能的多样性。
实施例四
请参阅图9,是本发明实施例提供的一种互动投影装置的结构示意图。如图9所示,该互动投影装置400应用于实施例一中的互动投影仪100,其中,该互动投影装置400包括环形投影模块410、第一获取模块420、第二获取模块430、交互环形投影模块440和显示模块450。环形投影模块410用于接收开启指令,根据所述开启指令,控制所述互动投影仪显示环形投影图像,并控制所述互动投影仪向所述环形投影图像投射红外光束;第一获取模块420用于获取所述互动投影仪的红外摄像模组所采集到所述环形投影图像所在区域的红外图像;第二获取模块430用于根据所述红外图像,获取用户在所述环形投影图像中的交互动作位置;交互环形投影模块440用于根据所述交互动作位置,调整所述环形投影图像,得到交互环形投影图像;显示模块450用于显示所述交互环形投影图像。
由于装置实施例和方法实施例是基于同一构思,在内容不互相冲突的前提下,装置实施例的内容可以引用方法实施例的,在此不赘述。
可选地,第二获取模块430包括:识别交互信息单元431,用于识别所述用户的交互信息;获取坐标单元432,用于在所述环形投影图像建立坐标系,获取所述交互信息在所述坐标系中的坐标位置;交互动作位置获取单元433,用于将所述坐标位置记为所述交互动作位置。
可选地,在接收开启指令之前,该装置400还包括:环境获取模块,用于获取环境信息;投影内容获取模块,用于根据所述环境信息,获取投影内容;环形投影模块410还包括:控制所述互动投影仪根据所述投影内容显示环形投影图像。
本实施例中的互动投影装置400通过环形投影模块410显示环形投影图像,第一获取模块420获取环形投影图像所在区域的红外图像,第二获取模块430获取用户在所述环形投影图像中的交互动作位置,交互环形投影模块440根据交互动作位置,调整环形投影图像,得到交互环形投影图像,显示模块450显示交互环形投影图像,从而实现在环形投影的红外交互投影,无需在不同角度设置多个投影装置或者红外模组来实现,降低成本、使用灵活,从而实现投影仪功能的多样性。
实施例五
请参阅图10,是本发明实施例提供的一种终端的结构示意图。如图10所示,该终端500包括:
一个或多个处理器510以及存储器520。其中,图10中以一个处理器520为例。
处理器510和存储器520可以通过总线或者其他方式连接,图10中以通过总线连接为例。
存储器520作为一种非易失性计算机可读存储介质,可用于存储非易失性软件程序、非易失性计算机可执行程序以及模块,如本发明实施例中的互动投影方法对应的程序指令/模块(例如,附图9所示的各个模块或单元)。处理器510通过运行存储在存储器520中的非易失性软件程序、指令以及模块,从而执行互动投影装置400的各种功能应用以及数据处理,即实现上述方法实施例互动投影方法以及上述互动投影装置实施例的各个模块和单元的功能。
存储器520可以包括高速随机存取存储器,还可以包括非易失性存储器,例如至少一个磁盘存储器件、闪存器件、或其他非易失性固态存储器件。在一些实施例中,存储器520可选包括相对于处理器510远程设置的存储器,这些远程存储器可以通过网络连接至处理器510。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
所述程序指令/模块存储在所述存储器520中,当被所述一个或者多个处理器510执行时,执行上述任意方法实施例中的互动投影方法,例如,执行以上描述的图7至图8所示的各个步骤;也可实现附图9所示的各个模块或单元的功能。
本发明实施例的终端500以多种形式存在,在执行以上描述的执行以上描述的图7至图8所示的各个步骤;也可实现附图9所示的各个模块或单元的功能时,上述终端500包括但不限于:
(1)移动通信设备:这类设备的特点是具备移动通信功能,并且以提供话音、数据通信为主要目标。这类移动终端包括:智能手机(例如iPhone)、多媒体手机、功能性手机,以及低端手机等。
(2)超移动个人计算机设备:这类设备属于个人计算机的范畴,有计算和处理功能,一般也具备移动上网特性。这类移动终端包括:PDA、MID和UMPC设备等,例如iPad。
(3)便携式娱乐设备:这类设备可以显示和播放视频内容,一般也具备移动上网特性。该类移动终端包括:视频播放器,掌上游戏机,以及智能玩具和便携式车载导航设备。
本发明实施例还提供了一种非易失性计算机存储介质,所述计算机存储介质存储有计算机可执行指令,该计算机可执行指令被一个或多个处理器执行,例如图9中的一个处理器510,可使得上述一个或多个处理器可执行上述任意方法实施例中的互动投影方法,例如,执行上述任意方法实施例中的互动投影方法,例如,执行以上描述的执行以上描述的执行以上描述的图7至图8所示的各个步骤;也可实现附图9所示的各个模块和单元的功能。
以上所描述的装置或设备实施例仅仅是示意性的,其中所述作为分离部件说明的单元模块可以是或者也可以不是物理上分开的,作为模块单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络模块单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。
通过以上的实施方式的描述,本领域的技术人员可以清楚地了解到各实施方式可借助软件加通用硬件平台的方式来实现,当然也可以通过硬件。基于这样的理解,上述技术方案本质上或者说对相关技术做出贡献的部分可以以软件产品的形式体现出来,该计算机软件产品可以存储在计算机可读存储介质中,如ROM/RAM、磁碟、光盘等,包括若干指令用直至得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行各个实施例或者实施例的某些部分所述的方法。
需要说明的是,本发明的说明书及其附图中给出了本发明的较佳的实施方式,但是,本发明可以通过许多不同的形式来实现,并不限于本说明书所描述的实施方式,这些实施方式不作为对本发明内容的额外限制,提供这些实施方式的目的是使对本发明的公开内容的理解更加透彻全面。并且,上述各技术特征继续相互组合,形成未在上面列举的各种实施方式,均视为本发明说明书记载的范围;进一步地,对本领域普通技术人员来说,可以根据上述说明加以改进或变换,而所有这些改进和变换都应属于本发明所附权利要求的保护范围。
Claims (10)
1.一种互动投影仪,其特征在于,包括:
投影模组,用于发射投影光束;
第一光学元件,设于所述投影模组的正前方,用于改变所述投影光束的传播方向,以使所述投影光束呈环形出射,并形成环形投影面;
滤光镜,设于所述投影模组和所述第一光学元件之间,用于透射所述投影光束;
红外光源,设于所述投影模组远离所述第一光学元件的一侧,用于出射红外光束;
第二光学元件,设于所述红外光源的出射端,用于反射所述红外光束,所述红外光束入射至所述环形投影面所在的区域;
所述第一光学元件还用于接收并反射在所述环形投影面处所反射的红光光束;
所述滤光镜还用于反射所述第一光学元件反射的红外光束;
红外摄像模组,设于所述滤光镜的反射面的一侧,用于接收所述滤光镜反射的红外光束。
2.根据权利要求1所述的互动投影仪,其特征在于,所述投影仪还包括壳体,所述第一光学元件设于所述壳体的一侧,所述第二光学元件设于所述壳体的另一侧,所述红外摄像模组、所述滤光镜、所述投影模组、所述红外光源收容于所述壳体。
3.根据权利要求2所述的互动投影仪,其特征在于,所述壳体设有透明区域,所述透明区域设于所述壳体靠近所述第一光学元件的一端,所述环形投影面处所反射的红外光束从所述透明区域穿过并且入射至所述第一光学元件。
4.根据权利要求2所述的互动投影仪,其特征在于,所述第一光学元件包括光学元件本体、透射面、反射面和折射面;
所述透射面、所述折射面设于所述光学元件本体靠近所述投影模组的一端,所述反射面设于所述光学元件本体远离所述投影模组的一端;
所述投影模组发射的所述投影光束从所述透射面进入,传输至所述反射面,所述反射面反射所述投影光束至所述折射面,所述折射面将所述投影光束折射,以使所述投影光束出射,从而形成所述环形投影面。
5.根据权利要求4所述的互动投影仪,其特征在于,所述第一光学元件还设有过渡面,所述过渡面用于连接所述反射面和所述折射面。
6.根据权利要求2所述的互动投影仪,其特征在于,所述第二光学元件设有反射斜面,所述反射斜面用于将所述红外光源出射的所述红外光束反射至所述环形投影面所在的区域。
7.根据权利要求1-6任一项所述的互动投影仪,其特征在于,所述第一光学元件、所述滤光镜、所述第二光学元件的中心在同一直线上,且所述直线与所述投影光束平行或者重合。
8.一种互动投影方法,应用于权利要求1-7任一项所述的互动投影仪,其特征在于,包括:
接收开启指令,根据所述开启指令,控制所述互动投影仪显示环形投影图像,并控制所述互动投影仪向所述环形投影图像投射红外光束;
获取所述互动投影仪的红外摄像模组所采集到所述环形投影图像所在区域的红外图像;
根据所述红外图像,获取用户在所述环形投影图像中的交互动作位置;
根据所述交互动作位置,调整所述环形投影图像,得到交互环形投影图像。
9.根据所述权利要求8所述的方法,其特征在于,所述根据所述红外图像,获取用户在所述环形投影图像中的交互动作位置,包括:
识别所述用户的交互信息;
在所述环形投影图像建立坐标系,获取所述交互信息在所述坐标系中的坐标位置;
将所述坐标位置记为所述交互动作位置。
10.根据所述权利要求8-9任一项所述的方法,其特征在于,
在所述接收开启指令之前,所述方法还包括:
获取环境信息;
根据所述环境信息,获取投影内容;
所述控制所述互动投影仪显示环形投影图像,包括:
控制所述互动投影仪根据所述投影内容显示环形投影图像。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201810338828.6A CN108762483B (zh) | 2018-04-16 | 2018-04-16 | 一种互动投影仪及互动投影方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201810338828.6A CN108762483B (zh) | 2018-04-16 | 2018-04-16 | 一种互动投影仪及互动投影方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN108762483A CN108762483A (zh) | 2018-11-06 |
CN108762483B true CN108762483B (zh) | 2021-02-09 |
Family
ID=64010592
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201810338828.6A Expired - Fee Related CN108762483B (zh) | 2018-04-16 | 2018-04-16 | 一种互动投影仪及互动投影方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN108762483B (zh) |
Families Citing this family (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109729321A (zh) * | 2019-02-19 | 2019-05-07 | 芋头科技(杭州)有限公司 | 全景显示系统、方法、电子设备以及计算机可读存储介质 |
CN111123625B (zh) * | 2019-12-13 | 2021-05-18 | 成都极米科技股份有限公司 | 投影仪及投影方法 |
CN115755503A (zh) * | 2022-11-22 | 2023-03-07 | 迪擎光电(台州)有限责任公司 | 一种数字投影灯具 |
Citations (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN1784623A (zh) * | 2003-05-06 | 2006-06-07 | 株式会社尼康 | 投影光学系统、曝光装置及曝光方法 |
JP2008164674A (ja) * | 2006-12-27 | 2008-07-17 | Seiko Epson Corp | 光源装置、画像表示装置、モニタ装置、照明装置 |
CN201749281U (zh) * | 2010-06-02 | 2011-02-16 | 广景科技有限公司 | 一种便携的互动投影装置 |
CN102207667A (zh) * | 2010-03-31 | 2011-10-05 | 香港应用科技研究院有限公司 | 交互式投影装置 |
CN105954992A (zh) * | 2016-07-22 | 2016-09-21 | 京东方科技集团股份有限公司 | 显示系统和显示方法 |
CN106716318A (zh) * | 2014-09-09 | 2017-05-24 | 索尼公司 | 投影显示单元和功能控制方法 |
CN106990651A (zh) * | 2017-03-30 | 2017-07-28 | 广景视睿科技(深圳)有限公司 | 一种红外投影系统 |
CN107783298A (zh) * | 2016-12-01 | 2018-03-09 | 阴影技术公司 | 显示装置及使用该显示装置进行显示的方法 |
CN107872659A (zh) * | 2016-09-23 | 2018-04-03 | 卡西欧计算机株式会社 | 投影装置以及投影方法 |
Family Cites Families (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
TWI311205B (en) * | 2006-04-28 | 2009-06-21 | Benq Corporatio | Optical system and projector utilizing the same |
JP4872525B2 (ja) * | 2006-08-14 | 2012-02-08 | カシオ計算機株式会社 | プロジェクタ、プロジェクタの距離計測方法、プロジェクタの投影面傾き取得方法及びプログラム |
US8016424B2 (en) * | 2006-12-20 | 2011-09-13 | Seiko Epson Corporation | Rear projector and projection system |
JP4341680B2 (ja) * | 2007-01-22 | 2009-10-07 | セイコーエプソン株式会社 | プロジェクタ |
US10078228B2 (en) * | 2016-09-29 | 2018-09-18 | Jeremy Paul Willden | Three-dimensional imaging system |
-
2018
- 2018-04-16 CN CN201810338828.6A patent/CN108762483B/zh not_active Expired - Fee Related
Patent Citations (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN1784623A (zh) * | 2003-05-06 | 2006-06-07 | 株式会社尼康 | 投影光学系统、曝光装置及曝光方法 |
JP2008164674A (ja) * | 2006-12-27 | 2008-07-17 | Seiko Epson Corp | 光源装置、画像表示装置、モニタ装置、照明装置 |
CN102207667A (zh) * | 2010-03-31 | 2011-10-05 | 香港应用科技研究院有限公司 | 交互式投影装置 |
CN201749281U (zh) * | 2010-06-02 | 2011-02-16 | 广景科技有限公司 | 一种便携的互动投影装置 |
CN106716318A (zh) * | 2014-09-09 | 2017-05-24 | 索尼公司 | 投影显示单元和功能控制方法 |
CN105954992A (zh) * | 2016-07-22 | 2016-09-21 | 京东方科技集团股份有限公司 | 显示系统和显示方法 |
CN107872659A (zh) * | 2016-09-23 | 2018-04-03 | 卡西欧计算机株式会社 | 投影装置以及投影方法 |
CN107783298A (zh) * | 2016-12-01 | 2018-03-09 | 阴影技术公司 | 显示装置及使用该显示装置进行显示的方法 |
CN106990651A (zh) * | 2017-03-30 | 2017-07-28 | 广景视睿科技(深圳)有限公司 | 一种红外投影系统 |
Also Published As
Publication number | Publication date |
---|---|
CN108762483A (zh) | 2018-11-06 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN110618578B (zh) | 一种投影仪及投影方法 | |
CN108762483B (zh) | 一种互动投影仪及互动投影方法 | |
US20150379770A1 (en) | Digital action in response to object interaction | |
CN107223223A (zh) | 一种无人机第一视角飞行的控制方法及系统、智能眼镜 | |
JP3232126U (ja) | プロンプタ及びプロンプタにおける空中結像素子の使用方法 | |
TWI504931B (zh) | 投影系統及其投影方法 | |
CN104049720A (zh) | 电子设备和用于其的显示方法 | |
JP2015210379A (ja) | 画像融合システム、情報処理装置、情報端末、および情報処理方法 | |
KR20190101827A (ko) | 디스플레이를 통해 표시된 제 1 콘텐트에 대해 제 2 콘텐트를 외부 객체의 움직임에 따라 제공하기 위한 전자 장치 및 그의 동작 방법 | |
CN108427194A (zh) | 一种基于增强现实的显示方法及设备 | |
CN108683895B (zh) | 一种互动投影仪及互动投影方法 | |
US9195127B1 (en) | Rear projection screen with infrared transparency | |
US9262983B1 (en) | Rear projection system with passive display screen | |
TWM497800U (zh) | 組合式光學鏡頭以及具有該組合式光學鏡頭的光學影像裝置 | |
TWI627493B (zh) | 組合式光學鏡頭以及具有該組合式光學鏡頭的光學影像裝置 | |
US10416463B2 (en) | Projecting unit and projecting device using the same | |
US10319346B2 (en) | Method for communicating via virtual space and system for executing the method | |
US9124786B1 (en) | Projecting content onto semi-persistent displays | |
CN105511649B (zh) | 一种多点定位系统及多点定位方法 | |
CN108696740A (zh) | 一种基于增强现实的直播方法及设备 | |
CN106023858B (zh) | 可移动防干扰式红外对地投影广告互动系统 | |
CN107896325A (zh) | 具有互动功能的投影显示装置 | |
CN204269904U (zh) | 透镜组件和具有透镜组件的取像模组 | |
US20160097970A1 (en) | Display apparatus including image projecting unit and screen unit | |
CN220305565U (zh) | 一种基于景区用的望远镜 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant | ||
CF01 | Termination of patent right due to non-payment of annual fee | ||
CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20210209 |