CN115022608B - 激光投影设备及其控制方法 - Google Patents
激光投影设备及其控制方法 Download PDFInfo
- Publication number
- CN115022608B CN115022608B CN202210684866.3A CN202210684866A CN115022608B CN 115022608 B CN115022608 B CN 115022608B CN 202210684866 A CN202210684866 A CN 202210684866A CN 115022608 B CN115022608 B CN 115022608B
- Authority
- CN
- China
- Prior art keywords
- camera
- gesture
- image
- laser projection
- angle
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 42
- 238000003702 image correction Methods 0.000 claims abstract description 34
- 230000000694 effects Effects 0.000 claims abstract description 24
- 230000003287 optical effect Effects 0.000 claims description 13
- 230000006870 function Effects 0.000 abstract description 14
- 230000036544 posture Effects 0.000 description 18
- 238000004590 computer program Methods 0.000 description 6
- 238000010586 diagram Methods 0.000 description 5
- 230000008569 process Effects 0.000 description 5
- 230000004044 response Effects 0.000 description 4
- 230000005540 biological transmission Effects 0.000 description 2
- 230000003247 decreasing effect Effects 0.000 description 2
- 230000009466 transformation Effects 0.000 description 2
- 241000226585 Antennaria plantaginifolia Species 0.000 description 1
- 206010063385 Intellectualisation Diseases 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000000903 blocking effect Effects 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N9/00—Details of colour television systems
- H04N9/12—Picture reproducers
- H04N9/31—Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
- H04N9/3141—Constructional details thereof
- H04N9/315—Modulator illumination systems
- H04N9/3161—Modulator illumination systems using laser light sources
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N9/00—Details of colour television systems
- H04N9/12—Picture reproducers
- H04N9/31—Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
- H04N9/3179—Video signal processing therefor
- H04N9/3185—Geometric adjustment, e.g. keystone or convergence
Landscapes
- Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Geometry (AREA)
- Optics & Photonics (AREA)
- Projection Apparatus (AREA)
- Controls And Circuits For Display Device (AREA)
- Transforming Electric Information Into Light Information (AREA)
Abstract
本申请公开了一种激光投影设备及其控制方法,属于电子技术领域。激光投影设备若确定当前显示的投影图像为校正图像,则可以控制摄像头的姿态为与图像校正场景对应的第一姿态,控制摄像头拍摄校正图像,并根据拍摄得到的图像校正投影图像的显示效果。若确定当前运行的应用程序为社交类应用,则可以控制摄像头的姿态为与社交场景对应的第二姿态,控制摄像头拍摄除投影屏幕之外的对象,并在投影屏幕中显示拍摄得到的图像。由此根据激光投影设备当前的运行信息灵活调整摄像头的姿态,并根据摄像头在不同姿态下拍摄的图像实现不同的功能,提高对激光投影设备控制的灵活性,丰富了激光投影设备的功能。
Description
技术领域
本公开涉及电子技术领域,特别涉及一种激光投影设备及其控制方法。
背景技术
激光投影设备发射出来的激光投射至投影屏幕上后,可以实现将图像投影至投影屏幕。但是,目前激光投影设备的功能较为单一。
发明内容
本公开实施例提供了一种激光投影设备及其控制方法,可以解决相关技术中激光投影设备的功能较为单一的问题。所述技术方案如下:
一方面,提供了一种激光投影设备的控制方法,所述激光投影设备包括主机和摄像头,所述摄像头位于所述主机上;所述方法包括:
获取所述激光投影设备当前的运行信息,所述运行信息包括显示的投影图像和运行的应用程序;
若所述投影图像为校正图像,则控制所述摄像头的姿态为与图像校正场景对应的第一姿态,控制所述摄像头拍摄所述校正图像,并根据拍摄得到的图像校正所述投影图像的显示效果;
若所述运行的应用程序为社交类应用,则控制所述摄像头的姿态为与社交场景对应的第二姿态,控制所述摄像头拍摄除所述投影屏幕之外的对象,并在所述投影屏幕中显示拍摄得到的图像。
另一方面,提供了一种激光投影设备,所述激光投影设备包括主机、系统级芯片和摄像头,所述摄像头位于所述主机上;所述系统级芯片,用于:
获取所述激光投影设备当前的运行信息,所述运行信息包括显示的投影图像和运行的应用程序;
若所述投影图像为校正图像,则控制所述摄像头的姿态为与图像校正场景对应的第一姿态,控制所述摄像头拍摄所述校正图像,并根据拍摄得到的图像校正所述投影图像的显示效果;
若所述运行的应用程序为社交类应用,则控制所述摄像头的姿态为与社交场景对应的第二姿态,控制所述摄像头拍摄除所述投影屏幕之外的对象,并在所述投影屏幕中显示拍摄得到的图像。
又一方面,提供了一种激光投影设备,包括:存储器,处理器及存储在所述存储器上的计算机程序,所述处理器执行所述计算机程序时实现如上述方面所述的激光投影设备的控制方法。
再一方面,提供了一种计算机可读存储介质,所述计算机可读存储介质中存储有指令,所述指令由处理器加载并执行以实现如上述方面所述的激光投影设备的控制方法。
再一方面,提供了一种包含指令的计算机程序产品,当所述计算机程序产品在所述计算机上运行时,使得所述计算机执行上述方面所述的激光投影设备的控制方法。
本公开实施例提供的技术方案带来的有益效果至少包括:
本公开实施例提供了一种激光投影设备及其控制方法,激光投影设备若确定当前显示的投影图像为校正图像,则可以控制摄像头的姿态为与图像校正场景对应的第一姿态,控制摄像头拍摄校正图像,并根据拍摄得到的图像校正投影图像的显示效果。若确定当前运行的应用程序为社交类应用,则可以控制摄像头的姿态为与社交场景对应的第二姿态,控制摄像头拍摄除投影屏幕之外的对象,并在投影屏幕中显示拍摄得到的图像。由此根据激光投影设备当前的运行信息灵活调整摄像头的姿态,并根据摄像头在不同姿态下拍摄的图像实现不同的功能,提高对激光投影设备控制的灵活性,丰富了激光投影设备的功能。
附图说明
为了更清楚地说明本公开实施例中的技术方案,下面将对实施例描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本公开的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1是本公开实施例提供的一种激光投影设备的结构示意图;
图2是本公开实施例提供的另一种激光投影设备的结构示意图;
图3是本公开实施例提供的一种激光投影设备的控制方法的流程图;
图4是本公开实施例提供的另一种激光投影设备的控制方法的流程图;
图5是本公开实施例提供的一种姿态设置界面的示意图;
图6是本公开实施例提供的另一种姿态设置界面的示意图;
图7是本公开实施例提供的一种参考坐标系的示意图;
图8是本公开实施例提供的一种投影图像的示意图;
图9是本公开实施例提供的再一种激光投影设备的结构示意图;
图10是本公开实施例提供的一种对投影图像的多个区域拍摄得到的拍摄图像的示意图。
具体实施方式
为使本公开的目的、技术方案和优点更加清楚,下面将结合附图对本公开实施方式作进一步地详细描述。
图1是本公开实施例提供的一种激光投影设备的结构示意图,如图1所示,该,激光投影设备可以包括主机10和摄像头20,该摄像头20位于主机10上。
其中,该摄像头20为能够转动的摄像机,例如,该摄像头20可以为带有云台的摄像机。该云台能够控制摄像头在不同方向转动,以使摄像头能够在不同的姿态下进行拍摄。
该主机10上还可以设置有出光口101,该摄像头20在主机10上的正投影与出光口101不重叠,由此能够避免摄像头20遮挡从出光口101出射的影像光束,确保投影图像的显示效果。
参考图1,该激光投影设备可以为超短焦激光投影设备,该摄像头20可以位于出光口101远离投影屏幕001的一侧。或者,摄像头20可以位于出光口101的侧面,该侧面与投影屏幕001相交。参考图2,该激光投影设备可以为中长焦激光投影设备,该摄像头20可以位于出光口101远离投影屏幕001的一侧。
图3是本公开实施例提供的一种激光投影设备的控制方法的流程图,该方法可以应用于图1或图2所示的激光投影设备中。如图3所示,该方法包括:
步骤301、获取激光投影设备当前的运行信息。
激光投影设备获取当前的运行信息,其中,该运行信息可以包括显示的投影图像和运行的应用程序。该显示的投影图像可以包括多媒体信号、视频信号或者校正图像。
步骤302、若投影图像为校正图像,则控制摄像头的姿态为与图像校正场景对应的第一姿态,控制摄像头拍摄校正图像,并根据拍摄得到的图像校正投影图像的显示效果。
激光投影设备在获取到运行信息后,若确定该投影图像为校正图像,则可以确定激光投影设备的应用场景为图像校正场景,进而可以控制摄像头的姿态为与图像校正场景对应的第一姿态,控制摄像头拍摄校正图像,并根据拍摄得到的图像校正投影图像的显示效果。其中,该校正图像可以为包括多个特征图形。该特征图形可以为十字或者矩形块。
在激光投影设备的应用场景为图像校正场景时,激光投影设备需根据对校正图像拍摄得到的图像确定校正数据,并基于该校正数据校正投影图像的显示效果。其中,该显示效果可以包括投影图像在投影屏幕上的投影位置,和/或,投影图像在投影屏幕上的投影形状。
可以理解的是,激光投影设备中可以预先存储有图像校正场景与第一姿态的对应关系。摄像头的姿态为第一姿态时,其图像采集范围能够部分或完全覆盖投影屏幕,以实现对校正图像的图像采集。
步骤303、若运行的应用程序为社交类应用,则控制摄像头的姿态为与社交场景对应的第二姿态,控制摄像头拍摄除投影屏幕之外的对象,并在投影屏幕中显示拍摄得到的图像。
激光投影设备若确定运行的应用程序为社交类应用,则可以确定其应用场景为社交场景,进而可以控制摄像头的姿态为与社交场景对应的第二姿态,并控制摄像头拍摄除投影屏幕之外的对象,之后激光投影设备可以在投影屏幕中显示该拍摄得到的图像。
其中,激光投影设备中可以预先存储有社交场景与第二姿态的对应关系。该对象可以为包括人或者物体等。摄像头的姿态为第二姿态时,其图像采集范围仅部分覆盖投影屏幕或不覆盖投影屏幕,以实现对除投影屏幕之外的对象的拍摄。
在激光投影设备的应用场景为社交场景时,激光投影设备所运行的应用程序为社交类应用。也即是,社交场景是指运行社交类应用的场景。其中,该社交类应用可以为需要目标对象与激光投影设备进行交互的应用程序,例如,该社交类应用可以包括游戏类应用、健身类应用、拍照类应用和远程视频类应用等,该目标对象可以为人。
综上所述,本公开实施例提供了一种激光投影设备的控制方法,激光投影设备若确定当前显示的投影图像为校正图像,则可以控制摄像头的姿态为与图像校正场景对应的第一姿态,控制摄像头拍摄校正图像,并根据拍摄得到的图像校正投影图像的显示效果。若确定当前运行的应用程序为社交类应用,则可以控制摄像头的姿态为与社交场景对应的第二姿态,控制摄像头拍摄除投影屏幕之外的对象,并在投影屏幕中显示拍摄得到的图像。由此根据激光投影设备当前的运行信息灵活调整摄像头的姿态,并根据摄像头在不同姿态下拍摄的图像实现不同的功能,提高对激光投影设备控制的灵活性,丰富了激光投影设备的功能。
图4是本公开实施例提供的另一种激光投影设备的控制方法的流程图,该方法可以应用于图1或图2所示的激光投影设备中。如图4所示,该方法可以包括:
步骤401、响应于姿态设置指令,显示姿态设置界面。
在本公开实施例中,激光投影设备可以响应于姿态设置指令,显示姿态设置界面。
其中,用于控制激光投影设备的控制设备上设置的姿态设置按钮。该控制设备可以为遥控器或者与激光投影设备建立通信连接的移动终端,例如,该移动终端可以为手机。激光投影设备在接收到针对该姿态设置按钮的选中操作之后,可以生成姿态设置指令,进而可以响应于姿态设置指令,显示姿态设置界面。或者,该姿态设置指令可以是针对社交类应用的启动指令,也即是,激光投影设备可以在启动社交类应用后,显示该姿态设置界面,以使得用户设置与社交场景对应的第二姿态。因此激光投影设备中可以存储有该社交场景与该第二姿态的对应关系。
在本公开实施例中,激光投影设备的应用场景可以包括社交场景、图像校正场景和其他场景。其中,该其他场景为除图像校正场景和社交场景之外的场景,例如,该其他场景可以为观影场景或者关机场景。
在激光投影设备的应用场景为社交场景时,激光投影设备所运行的应用程序为社交类应用。也即是,社交场景是指运行社交类应用的场景。其中,该社交类应用可以为需要目标对象与激光投影设备进行交互的应用程序,例如,该社交类应用可以包括游戏类应用、健身类应用、拍照类应用和远程视频类应用等,该目标对象可以为人。
在激光投影设备的应用场景为图像校正场景时,激光投影设备需根据对校正图像拍摄得到的图像确定校正数据,并基于该校正数据校正投影图像的显示效果。其中,该显示效果可以包括投影图像在投影屏幕上的投影位置,和/或,投影图像在投影屏幕上的投影形状。
激光投影设备在其他场景下,激光投影设备处于关机状态,或者所运行的应用程序为非社交类应用。也即是,该其他场景为运行非社交类应用的场景。可选的,该非社交类应用可以包括视频播放类应用和音频播放类应用等。
在本公开实施例一种可选的实现方式中,该姿态设置界面可以显示有第一设置区域和第二设置区域。该第一设置区域和第二设置区域均可以包括角度显示框、角度递增按钮和角度递减按钮,参考图5,该角度递增按钮002可以为加号“+”,该角度递减按钮003可以为减号“-”。该第一设置区域中的角度显示框004中显示有第一预设角度,第二设置区域中的角度显示框中显示有第二预设角度。示例的,该第一预设角度可以为10度,第二预设角度可以为5度。
其中,该第一预设角度和第二预设角度可以为在激光投影设备出厂之前预先设定的角度,也可以是用户在此之前设置的角度。
在本公开实施例另一种可选的实现方式中,参考图6,该第一设置区域和第二设置区域均仅包括角度输入框005,该第一设置区域的角度输入框005用于接收用户输入的第一角度。该第二设置区域的角度输入框005用于接收用户输入的第二角度。
其中,该第一角度可以大于或等于-10度,且小于或等于70度。该第二角度可以大于或等于-180度,且小于或等于180度。
该第一角度可以为摄像头的光轴与第一平面的夹角,该第一平面平行于主机的承载面,因此该第一角度也可以称为摄像头的俯仰角。该第二角度为摄像头的光轴与第二平面的夹角,该第二平面垂直于第一平面且垂直于投影屏幕。
若摄像头的光轴位于第一平面远离主机的一侧,则第一角度大于0,即第一角度也可以称为摄像头的仰角。若摄像头的光轴位于第一平面靠近主机的一侧,则第一角度小于或等于0,该第一角度也可以称为摄像头的俯角。
该第一平面可以由二维参考坐标系定义,参考图7,该参考坐标系X1Y1的原点O为摄像头的参考点,该参考点可以为摄像头的任一点。该参考坐标的第一轴Y1为第一平面和第二平面相交的直线,该参考坐标的第二轴X1与第一轴Y1垂直。该第二角度θ可以为摄像头的光轴V与参考坐标系X1Y1的第一轴Y1的夹角。参考图7,摄像头的光轴V与第一轴Y1的正方向的夹角大于或等于0度,且小于或等于180度。该摄像头的光轴V与第一轴Y1的负方向的夹角大于或等于-180度,且小于0度,该第一轴Y1的正方向相对于第一轴Y1的负方向靠近投影屏幕。
步骤402、根据在姿态设置界面接收到的角度设置操作,确定摄像头在社交场景对应的第二姿态下的第一角度和第二角度。
激光投影设备根据在姿态设置界面接收到的角度设置操作,确定摄像头在社交场景对应的第二姿态下的第一角度和第二角度。其中,该摄像头的姿态为第二姿态时,摄像头的图像采集范围与投影屏幕的重叠区域的面积小于第二面积阈值,由此确保摄像头能够拍摄到用户。摄像头的姿态为第二姿态时,其图像采集范围仅部分覆盖投影屏幕或不覆盖投影屏幕,以实现对除投影屏幕之外的对象的拍摄。
若激光投影设备首次接收到角度设置操作,且激光投影设备中未存储与社交场景对应的第二姿态,则激光投影设备可以将接收到的第一角度和第二角度确定为社交场景对应的第二姿态,并对应存储该社交场景与第二姿态。
若激光投影设备存储有与社交场景对应的第二姿态,则激光投影设备采用接收到的第一角度和第二角度更新该社交场景对应的第二姿态。
参考图5,对于第一设置区域或第二设置区域,以第一设置区域为例,激光投影设备若接收到针该第一设置区域的角度递增按钮002的选中操作后,可以计算对该角度递增按钮002的选中次数和预设值的第一乘积,并将该第一乘积与第一预设角度之和确定为第一角度,进而可以在角度显示框004中显示该第一角度。激光投影设备若接收到针对角度递减按钮003的选中操作后,可以计算对该角度递减按钮003的选中次数和预设值的第二乘积,将该第一预设角度与该第二乘积的差值确定为第一角度,进而可以在角度显示框004中显示该第一角度。该预设值可以为激光投影设备中预先存储的数值。
参考图6,激光投影设备可以将在第一角度设置区域的角度输入框005中接收到的数值确定为第一角度,并将在第二角度设置区域的角度输入框中接收到的数值确定为第二角度。
步骤403、获取激光投影设备当前的运行信息。
激光投影设备可以周期性获取当前的运行信息,其中,该运行信息可以包括显示的投影图像和运行的应用程序。该投影图像可以包括多媒体信号、视频信号或者投影图像。
在本公开实施例中,激光投影设备中可以预先存储有校正图像。且激光投影设备在投影屏幕中显示校正图像的过程中,并不会运行应用程序。
激光投影设备在运行应用程序的过程中所投影显示的投影图像为该应用所提供的视频图像。
可以理解的是,若激光投影设备运行的应用程序为社交类应用,则显示的投影图像为该社交类应用提供的社交类图像。若激光投影设备运行的应用程序为非社交类应用,则显示的投影图像为该非社交类应用提供的非社交类图像。步骤404、若投影图像为校正图像,则控制摄像头的姿态为与图像校正场景对应的第一姿态,控制摄像头拍摄校正图像,并根据拍摄得到的图像校正校正图像的显示效果。
激光投影设备可以检测获取的投影图像是否为校正图像,若投影图像为校正图像,则可以确定激光投影设备的应用场景为图像校正场景,进而激光投影设备可以控制摄像头的姿态为与图像校正场景对应的第一姿态,控制摄像头拍摄校正图像,并根据拍摄得到的图像校正校正图像的显示效果。激光投影设备中可以预先存储有图像校正场景与第一姿态的对应关系。
激光投影设备若确定投影图像不为校正图像,则可以检测运行的应用程序的类型。若运行的应用程序的类型为社交类应用,则可以确定激光投影设备的应用场景为社交场景。若运行的应用程序的类型为非社交类应用,或者检测到关机指令,则可以确定激光投影设备的应用场景为其他场景。
可选的,激光投影设备中可以预先存储有多个应用程序与多个类型的对应关系。激光投影设备可以从该对应关系中,确定与当前运行的应用程序对应的类型。该关机指令可以是对激光投影设备中关机按钮的选中操作生成的。
在本公开实施例中,该校正图像可以包括阵列排布的多个特征图形,每个特征图形的颜色与该校正图像的背景色不同,该特征图形可以为十字图形或者矩形块。参考图8,该校正图像006可以4×4个共16个特征图形,该特征图形可以为矩形块。
可选的,用户可以通过点击用于控制激光投影设备的遥控器上的图像校正按钮来触发激光投影设备显示投影图像。
或者,激光投影设备若检测到主机的姿态发生变化,则可以自动投影校正图像,由此自动执行图像校正的流程。可选的,激光投影设备的主机上可以角度传感器,激光投影设备若检测到主机的实际倾斜角度与预先设定的倾斜角度不同,则可以确定主机的姿态发生变化。该预先设定的倾斜角度可以是激光投影设备中预先存储的固定倾斜角度。
可以理解的是,在主机未发生偏移,且投影屏幕未发生形变的情况,激光投影设备在投影屏幕中显示的校正图像与投影屏幕完全对准。若用户不小心移动了主机,导致主机和投影屏幕的位置关系产生变化,则激光投影设备投射至投影屏幕的校正图像会覆盖投影屏幕的四个顶点,且校正图像会发生透视畸变。例如,参考图9,该校正图像006覆盖投影屏幕001的四个顶点,且校正图像006因发生透视畸变而呈梯形。
可选的,激光投影设备可以基于对校正图像拍摄得到的图像确定校正数据,并根据该校正数据校正该校正图像的显示效果。
激光投影设备中可以预先存储有图像校正场景与第一姿态的对应关系。由于激光投影设备的投影镜头的焦距、摄像头的镜头的焦距、摄像头在主机上的安装位置和投影屏幕的尺寸是固定的,因此激光投影设备与投影屏幕之间的位置关系是确定的,摄像头拍摄投影屏幕时的姿态也是确定的。由此在激光投影设备出厂之前,该激光投影设备中可以预先存储有该第一姿态。并且,在实际使用过程中,摄像头在第一姿态下对校正图像进行拍摄的过程中无需用户调整该摄像头的姿态。
可选的,摄像头的姿态为第一姿态时,该摄像头的图像采集范围与投影屏幕的重叠区域的面积大于第一面积阈值,该第一面积阈值大于或等于第二面积阈值。即摄像头的姿态为第一姿态时,摄像头的镜头与投影屏幕相对,其图像采集范围能够部分或完全覆盖投影屏幕,以实现对校正图像的图像采集。由此确保确定的校正数据的准确性,进而确保图像校正的可靠性。摄像头的姿态为第三姿态时,摄像头的镜头未与投影屏幕相对。
参考图9,激光投影设备可以包括投影镜头30,投影镜头30用于将影像光束投射至投影屏幕,以实现在投影屏幕上显示校正图像。其中,该投影镜头30可以为超短焦镜头,该超短焦镜头具有较大的视场角。在本公开实施例一种可选的实现方式中,该摄像头的镜头的焦距小于该投影镜头的焦距,相应的,该摄像头的镜头的视场角大于投影镜头的视场角。因此摄像头的图像采集范围大于激光投影设备的投射范围,那么在摄像头的姿态为第一姿态时,能够一次性拍摄到整个校正图像和整个投影屏幕。
激光投影设备若确定其应用场景为图像校正场景,则可以获取该应用场景对应的第一姿态。若摄像头的当前姿态与该第一姿态不同,则可以控制摄像头转动,直至摄像头的姿态为第一姿态。若摄像头的当前姿态与该第一姿态相同,则无需控制摄像头转动,直接控制摄像头对校正图像进行拍摄。其中,该当前姿态指的是摄像头在当前时刻的姿态。可以理解的是,激光投影设备每次控制摄像头转动后,可以记录有转动后的摄像头的姿态。因此激光投影设备可以获取到摄像头的当前姿态。
在本公开实施例另一种可选的实现方式中,摄像头的镜头的焦距大于该投影镜头的焦距,相应的,该摄像头的镜头的视场角小于投影镜头的视场角。即该摄像头为普通摄像头,该摄像头的镜头并非是超短焦超广角镜头,由此降低了成本。由于摄像头的镜头的焦距大于该投影镜头的焦距,因此摄像头的图像采集范围小于激光投影设备的投射范围,那么在摄像头的姿态为第一姿态时,摄像头无法一次性拍摄到整个校正图像和整个投影屏幕。
可选的,该第一姿态可以包括多个子姿态,激光投影设备中预先存储有多个子姿态与校正图像的多个区域的对应关系。其中,该校正图像的不同区域所包括的投影屏幕的顶点不同。可以理解的是,激光投影设备在获取到一个子姿态后,则可以确定摄像头在该子姿态下对校正图像进行拍摄得到拍摄图像中包括的顶点相对于其他顶点的位置。
例如,若多个子姿态的个数为四个,激光投影设备获取到的子姿态与校正图像的左上区域对应,则激光投影设备在控制摄像头在该子姿态下对投影图像进行拍摄得到拍摄图像后,即可以确定该拍摄图像包括投影屏幕的左上顶点。
激光投影设备若确定其应用场景为图像校正场景,则可以获取该图像校正场景对应的多个子姿态。若摄像头的当前姿态与多个子姿态均不同,则可以依次控制摄像头转动至多个子姿态中的不同子姿态,并在控制摄像头转动至每个子姿态后,控制摄像头对校正图像进行至少一次拍摄,得到多个拍摄图像。由此实现对投影图像的不同区域的拍摄。
若摄像头的当前姿态与多个子姿态中的目标子姿态相同,则可以直接控制摄像头在该目标子姿态下对校正图像进行至少一次拍摄。之后依次控制摄像头转动至多个其他子姿态,并在控制摄像头转动至每个其他子姿态后,控制摄像头对校正图像进行至少一次拍摄,得到多个拍摄图像。其中,该多个其他子姿态可以为多个子姿态中除目标子姿态之外的子姿态。
对于控制摄像头的姿态为子姿态,激光投影设备可以先控制摄像头转动至在该子姿态下的第一角度,之后再控制摄像头转动至在该子姿态下的第二角度,由此实现控制摄像头的姿态为子姿态。
参考图10,若多个子姿态的个数为四个,该摄像头在每个子姿态下对校正图像进行一次拍摄,则激光投影设备在依次控制摄像头在四个子姿态下对投影屏幕进行拍摄后,可以实现分别对校正图像006的左上区域、右上区域、右下区域以及左下区域进行拍摄,从而得到第一拍摄图像01、第二拍摄图像02、第三拍摄图像03和第四拍摄图像04共四个拍摄图像。该每个拍摄图像可以包括投影屏幕的一个顶点,且不同拍摄图像包括的投影屏幕的顶点不同。
其中,该第一拍摄图像01包括投影屏幕的左上顶点,以及校正图像的左上区域的多个特征图形。该第二拍摄图像02包括投影屏幕的右上顶点,以及校正图像的右上区域的多个特征图形。该第三拍摄图像03包括投影屏幕的右下顶点,以及校正图像的右下区域的多个特征图形。该第四拍摄图像04可以包括投影屏幕的左下顶点,以及校正图像的左下区域的多个特征图形。
之后,对于投影屏幕的每个顶点,激光投影设备可以根据该顶点在目标拍摄图像的第一坐标系与顶点在校正图像的第二坐标系的位置变换关系,以及该顶点在目标拍摄图像中的第一目标位置,确定该顶点在第二坐标系中的第一初始位置,该目标拍摄图像为四个拍摄图像中包括该顶点的拍摄图像。进而激光投影设备可以根据该投影屏幕的四个顶点在第二坐标系中的第一初始位置,以及校正图像的四个顶点在第二坐标系中的参考位置,校正校正图像的显示效果。
其中,激光投影设备中预先存储有第一投影图像的四个顶点在第二坐标系中的参考位置。该第一坐标系的原点为目标拍摄图像的左上顶点,该第一坐标系的横轴平行于目标拍摄图像的像素行方向,该第一坐标系的纵轴平行于目标拍摄图像的像素列方向。该第二坐标系的原点为校正图像的左上顶点,该第二坐标系的横轴平行于校正图像的像素行方向,该第二坐标系的纵轴平行于校正图像的像素列方向。
对于投影屏幕的每个顶点,激光投影设备可以根据目标拍摄图像中多个目标特征图形在第一坐标系中的第二目标位置,以及多个目标特征图形在第二坐标系中的第二初始位置,确定该位置变换关系。其中,该多个目标特征图形为目标拍摄图像中的多个特征图形中相对于其他特征图形靠近顶点的特征图形,该其他特征图形为目标拍摄图像中的多个特征图形中除多个目标特征图形之外的特征图形。
在本公开实施例中,若投影镜头未发生枕型畸变、桶型畸变,且投影屏幕未发生形变,则激光投影设备在图像校正的过程中,无需对拍摄得到的图像进行畸变校正,那么在拍摄图像的过程中,摄像头无需拍摄到投影屏幕的整个边框,只需拍摄到投影屏幕的部分边框即可。
步骤405、若运行的应用程序为社交类应用,则控制摄像头的姿态为与社交场景对应的第二姿态,控制摄像头拍摄除投影屏幕之外的对象,并在投影屏幕中显示拍摄得到的图像。
激光投影设备若运行的应用程序为社交类应用,则可以确定其应用场景为社交场景,进而可以获取社交场景对应的第二姿态。若摄像头的当前姿态与该第二姿态不同,则激光投影设备可以控制摄像头转动,直至摄像头的姿态为第二姿态,之后控制摄像头在该第二姿态下,拍摄除投影屏幕之外的对象,并在投影屏幕中显示该拍摄得到的图像。其中,该对象可以包括人或者物体。
若摄像头的当前姿态与该第二姿态相同,则可以直接控制摄像头在该第二姿态下拍摄除投影屏幕之外的对象,并在投影屏幕中显示该拍摄得到的图像。
在本公开实施例中,激光投影设备在控制摄像头在第二姿态下进行拍摄时,用户还可以实时调整摄像头的第二姿态,由此确保摄像头的拍摄效果。可选的,用户可以触发姿态设置指令,进而激光投影设备可以响应于该姿态设置指令,显示姿态设置界面,即激光投影设备可以再次执行上述步骤401和步骤402,以使得用户更新摄像头在社交场景下的第二姿态。
步骤406、若运行的应用程序为非社交类应用或检测到关机指令,则控制摄像头的姿态为第三姿态。
激光投影设备若运行的应用程序为非社交类应用或检测到关机指令,则可以确定应用场景为其他场景,则可以获取其他场景对应的第三姿态。若摄像头的当前姿态与该第三姿态不同,则可以控制摄像头转动,直至摄像头的姿态为第三姿态,并且控制摄像头停止拍摄。若摄像头的当前姿态与该第三姿态相同,则无需控制摄像头转动。可选的,该第三姿态与第一姿态可以不同,也可以相同,本公开实施例对此不做限定。
其中,激光投影设备中可以预先存储有其他场景与第三姿态的对应关系。该第三姿态与第二姿态不同,且摄像头的姿态为第三姿态时,该摄像头的图像采集范围与投影屏幕的重叠区域的面积大于第一面积阈值,也即是,摄像头的姿态为第三姿态时,摄像头的镜头与投影屏幕相对。
在其他场景下,虽然摄像头不进行拍摄,但是若摄像头的镜头未与投影屏幕相对,那么用户会认为摄像头可能会对自己拍摄,导致用户体验较差。本申请实施例中,在其他场景下,控制摄像头的姿态为第三姿态时,即摄像头的镜头与投影屏幕相对,避免用户以为摄像头可能会对自己拍摄,由此确保了用户的隐私,用户体验较好。
本公开实施例采用的摄像头能够在不同的方向上自由旋转,实现社交场景和图像校正场景的自由切换,并且,由于摄像头为普通摄像头,因此降低了激光投影设备的成本,提升了激光投影设备的智能化。
激光投影设备的应用场景为图像校正场景时,激光投影设备控制摄像头的姿态为第一姿态,并控制摄像头对校正图像进行拍摄,进而基于该拍摄得到的图像确定校正数据,以校正校正图像的显示效果,实现校正图像自动入幕。激光投影设备的应用场景为社交场景时,激光投影设备可以控制摄像头的姿态为第二姿态,并控制摄像头拍摄除投影屏幕之外的对象,进而将该拍摄得到的图像显示在投影屏幕中。
需要说明的是,本公开实施例提供的激光投影设备的控制方法步骤的先后顺序可以进行适当调整,步骤也可以根据情况进行删除。例如,步骤401和步骤402可以根据情况进行删除。任何熟悉本技术领域的技术人员在本公开揭露的技术范围内,可轻易想到变化的方法,都应涵盖在本公开的保护范围之内,因此不再赘述。
综上所述,本公开实施例提供了一种激光投影设备的控制方法,激光投影设备若确定当前显示的投影图像为校正图像,则可以控制摄像头的姿态为与图像校正场景对应的第一姿态,控制摄像头拍摄校正图像,并根据拍摄得到的图像校正投影图像的显示效果。若确定当前运行的应用程序为社交类应用,则可以控制摄像头的姿态为与社交场景对应的第二姿态,控制摄像头拍摄除投影屏幕之外的对象,并在投影屏幕中显示拍摄得到的图像。由此根据激光投影设备当前的运行信息灵活调整摄像头的姿态,并根据摄像头在不同姿态下拍摄的图像实现不同的功能,提高对激光投影设备控制的灵活性,丰富了激光投影设备的功能。
参考图9,该激光投影设备还可以包括位于主机内的系统级芯片40、显示控制芯片50、光源组件60、光传输组件70、光调制组件80和电源板(图9未示出)。电源板用于为激光投影设备中的各个器件供电。
其中,该光源组件60用于出射激光光束,并通过光传输组件70将该激光光束传输至光调制组件80。系统级芯片40用于将投影图像发送至显示控制芯片,该显示控制芯片50用于根据投影图像控制光调制组件80将接收到的激光光束调制成影像光束。该光调制组件80还用于将影像光束传输至投影镜头。该投影镜头30用于将该影像光束投射至投影屏幕,也实现投影图像的显示。
该系统级芯片40与摄像头20连接,该系统级芯片用于执行上述步骤301至步骤303,以及上述步骤401至步骤406。
本公开实施例提供了一种激光投影设备,如图1、图2和图9所示,该激光投影设备可以包括主机10、系统级芯片40和摄像头20,摄像头20位于主机10上。系统级芯片40,用于:
获取激光投影设备当前的运行信息,运行信息包括显示的投影图像和运行的应用程序。
若投影图像为校正图像,则控制摄像头的姿态为与图像校正场景对应的第一姿态,控制摄像头拍摄校正图像,并根据拍摄得到的图像校正投影图像的显示效果。
若运行的应用程序为社交类应用,则控制摄像头的姿态为与社交场景对应的第二姿态,控制摄像头拍摄除投影屏幕之外的对象,并在投影屏幕中显示拍摄得到的图像。
综上所述,本公开实施例提供了一种激光投影设备,激光投影设备若确定当前显示的投影图像为校正图像,则可以控制摄像头的姿态为与图像校正场景对应的第一姿态,控制摄像头拍摄校正图像,并根据拍摄得到的图像校正投影图像的显示效果。若确定当前运行的应用程序为社交类应用,则可以控制摄像头的姿态为与社交场景对应的第二姿态,控制摄像头拍摄除投影屏幕之外的对象,并在投影屏幕中显示拍摄得到的图像。由此根据激光投影设备当前的运行信息灵活调整摄像头的姿态,并根据摄像头在不同姿态下拍摄的图像实现不同的功能,提高对激光投影设备控制的灵活性,丰富了激光投影设备的功能。
可选的,系统级芯片40,用于:
若运行的应用程序非社交类应用,则控制摄像头的姿态为与其他场景对应的第三姿态;
其中,其他应用场景为除社交场景和图像校正场景之外的场景,摄像头的姿态为第三姿态时,摄像头的图像采集范围与投影屏幕的重叠区域的面积大于第一面积阈值。
可选的,摄像头的姿态为第一姿态时,摄像头的图像采集范围与投影屏幕的重叠区域的面积大于第一面积阈值。
摄像头的姿态为第二姿态时,摄像头的图像采集范围与投影屏幕的重叠区域的面积小于第二面积阈值。
其中,第一面积阈值大于或等于第二面积阈值。
可选的,系统级芯片40,还用于:
响应于姿态设置指令,显示姿态设置界面;
根据在姿态设置界面接收到的角度设置操作,确定摄像头在第二姿态下的第一角度和第二角度。
其中,第一角度为摄像头的光轴与第一平面的夹角,第二角度为摄像头的光轴与第二平面的夹角,第一平面平行于主机的承载面,第二平面垂直于第一平面且垂直于投影屏幕。
可选的,第一角度大于或等于-10度,且小于或等于70度。
第二角度大于或等于-180度,且小于或等于180度。
可选的,摄像头的图像采集范围小于激光投影设备的投射范围,第一姿态包括多个子姿态。
系统级芯片40,用于:
依次控制摄像头转动至多个子姿态中的不同子姿态,并在控制摄像头转动至每个子姿态后,控制摄像头对校正图像进行至少一次拍摄。
综上所述,本公开实施例提供了一种激光投影设备,激光投影设备若确定当前显示的投影图像为校正图像,则可以控制摄像头的姿态为与图像校正场景对应的第一姿态,控制摄像头拍摄校正图像,并根据拍摄得到的图像校正投影图像的显示效果。若确定当前运行的应用程序为社交类应用,则可以控制摄像头的姿态为与社交场景对应的第二姿态,控制摄像头拍摄除投影屏幕之外的对象,并在投影屏幕中显示拍摄得到的图像。由此根据激光投影设备当前的运行信息灵活调整摄像头的姿态,并根据摄像头在不同姿态下拍摄的图像实现不同的功能,提高对激光投影设备控制的灵活性,丰富了激光投影设备的功能。
本公开实施例提供了一种激光投影设备,包括:存储器,处理器及存储在存储器上的计算机程序,处理器执行计算机程序时实现如上述方法实施例提供的激光投影设备的控制方法。
本公开实施例提供了一种计算机可读存储介质,计算机可读存储介质中存储有指令,当指令被处理器执行时实现如上述方法实施例提供的激光投影设备的控制方法。
本公开实施例提供了一种包含指令的计算机程序产品,当计算机程序产品在计算机上运行时,使得计算机执行上述方法实施例提供的激光投影设备的控制方法。
在本公开实施例中,术语“第一”、“第二”、“第三”和“第四”仅用于描述目的,而不能理解为指示或暗示相对重要性。本公开实施例中术语“多个”的含义是指两个或两个以上。本公开实施例中术语“和/或”,仅仅是一种描述关联对象的关联关系,表示可以存在三种关系,例如,A和/或B,可以表示:单独存在A,同时存在A和B,单独存在B这三种情况。
以上所述仅为本公开的可选实施例,并不用以限制本公开,凡在本公开的精神和原则之内,所作的任何修改、等同替换、改进等,均应包含在本公开的保护范围之内。
Claims (10)
1.一种激光投影设备的控制方法,其特征在于,所述激光投影设备包括主机和摄像头,所述摄像头位于所述主机上;所述方法包括:
获取所述激光投影设备当前的运行信息,所述运行信息包括显示的投影图像和运行的应用程序;
若所述投影图像为校正图像,则控制所述摄像头的姿态为与图像校正场景对应的第一姿态,控制所述摄像头拍摄所述校正图像,并根据拍摄得到的图像校正所述投影图像的显示效果;
若所述运行的应用程序为社交类应用,则控制所述摄像头的姿态为与社交场景对应的第二姿态,控制所述摄像头拍摄除投影屏幕之外的对象,并在所述投影屏幕中显示拍摄得到的图像。
2.根据权利要求1所述的方法,其特征在于,所述方法还包括:
若运行的应用程序非社交类应用,则控制所述摄像头的姿态为与其他应用场景对应的第三姿态;
其中,所述其他应用场景为除所述社交场景和所述图像校正场景之外的场景,所述摄像头的姿态为所述第三姿态时,所述摄像头的图像采集范围与所述投影屏幕的重叠区域的面积大于第一面积阈值。
3.根据权利要求1所述的方法,其特征在于,所述摄像头的姿态为所述第一姿态时,所述摄像头的图像采集范围与所述投影屏幕的重叠区域的面积大于第一面积阈值;
所述摄像头的姿态为所述第二姿态时,所述摄像头的图像采集范围与所述投影屏幕的重叠区域的面积小于第二面积阈值;
其中,所述第一面积阈值大于或等于所述第二面积阈值。
4.根据权利要求1至3任一所述的方法,其特征在于,所述方法还包括:
响应于姿态设置指令,显示姿态设置界面;
根据在所述姿态设置界面接收到的角度设置操作,确定所述摄像头在所述第二姿态下的第一角度和第二角度;
其中,所述第一角度为所述摄像头的光轴与第一平面的夹角,所述第二角度为所述摄像头的光轴与第二平面的夹角,所述第一平面平行于所述主机的承载面,所述第二平面垂直于所述第一平面且垂直于所述投影屏幕。
5.根据权利要求4所述的方法,其特征在于,所述第一角度大于或等于-10度,且小于或等于70度;
所述第二角度大于或等于-180度,且小于或等于180度。
6.根据权利要求1至3任一所述的方法,其特征在于,所述摄像头的图像采集范围小于所述激光投影设备的投射范围,所述第一姿态包括多个子姿态;
所述控制所述摄像头的姿态为与图像校正场景对应的第一姿态,控制所述摄像头拍摄所述校正图像,包括:
依次控制所述摄像头转动至所述多个子姿态中的不同子姿态,并在控制所述摄像头转动至每个子姿态后,控制所述摄像头对所述校正图像进行至少一次拍摄。
7.一种激光投影设备,其特征在于,所述激光投影设备包括主机、系统级芯片和摄像头,所述摄像头位于所述主机上;所述系统级芯片,用于:
获取所述激光投影设备当前的运行信息,所述运行信息包括显示的投影图像和运行的应用程序;
若所述投影图像为校正图像,则控制所述摄像头的姿态为与图像校正场景对应的第一姿态,控制所述摄像头拍摄所述校正图像,并根据拍摄得到的图像校正所述投影图像的显示效果;
若所述运行的应用程序为社交类应用,则控制所述摄像头的姿态为与社交场景对应的第二姿态,控制所述摄像头拍摄除投影屏幕之外的对象,并在所述投影屏幕中显示拍摄得到的图像。
8.根据权利要求7所述的激光投影设备,其特征在于,所述系统级芯片,用于:
若运行的应用程序非社交类应用,则控制所述摄像头的姿态为与其他应用场景对应的第三姿态;
其中,所述其他应用场景为除所述社交场景和所述图像校正场景之外的场景,所述摄像头的姿态为所述第三姿态时,所述摄像头的图像采集范围与所述投影屏幕的重叠区域的面积大于第一面积阈值。
9.根据权利要求7所述的激光投影设备,其特征在于,所述摄像头的姿态为所述第一姿态时,所述摄像头的图像采集范围与所述投影屏幕的重叠区域的面积大于第一面积阈值;
所述摄像头的姿态为所述第二姿态时,所述摄像头的图像采集范围与所述投影屏幕的重叠区域的面积小于第二面积阈值;
其中,所述第一面积阈值大于或等于所述第二面积阈值。
10.根据权利要求7至9任一所述的激光投影设备,其特征在于,所述系统级芯片,还用于:
响应于姿态设置指令,显示姿态设置界面;
根据在所述姿态设置界面接收到的角度设置操作,确定所述摄像头在所述第二姿态下的第一角度和第二角度;
其中,所述第一角度为所述摄像头的光轴与第一平面的夹角,所述第二角度为所述摄像头的光轴与第二平面的夹角,所述第一平面平行于所述主机的承载面,所述第二平面垂直于所述第一平面且垂直于所述投影屏幕。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210684866.3A CN115022608B (zh) | 2022-06-13 | 2022-06-13 | 激光投影设备及其控制方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210684866.3A CN115022608B (zh) | 2022-06-13 | 2022-06-13 | 激光投影设备及其控制方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN115022608A CN115022608A (zh) | 2022-09-06 |
CN115022608B true CN115022608B (zh) | 2024-04-09 |
Family
ID=83075558
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202210684866.3A Active CN115022608B (zh) | 2022-06-13 | 2022-06-13 | 激光投影设备及其控制方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN115022608B (zh) |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN107329526A (zh) * | 2017-06-30 | 2017-11-07 | 联想(北京)有限公司 | 一种电子设备及处理方法 |
CN111953950A (zh) * | 2020-08-14 | 2020-11-17 | 青岛海信移动通信技术股份有限公司 | 投影设备及其投影镜头的姿态调整方法 |
CN113422945A (zh) * | 2021-07-05 | 2021-09-21 | 青岛海信激光显示股份有限公司 | 激光投影设备及其投影图像的显示方法 |
Family Cites Families (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN114071001B (zh) * | 2020-07-31 | 2023-12-22 | 北京小米移动软件有限公司 | 控制方法、装置、电子设备及存储介质 |
CN114173099A (zh) * | 2020-09-11 | 2022-03-11 | 中强光电股份有限公司 | 投影系统及投影方法 |
-
2022
- 2022-06-13 CN CN202210684866.3A patent/CN115022608B/zh active Active
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN107329526A (zh) * | 2017-06-30 | 2017-11-07 | 联想(北京)有限公司 | 一种电子设备及处理方法 |
CN111953950A (zh) * | 2020-08-14 | 2020-11-17 | 青岛海信移动通信技术股份有限公司 | 投影设备及其投影镜头的姿态调整方法 |
CN113422945A (zh) * | 2021-07-05 | 2021-09-21 | 青岛海信激光显示股份有限公司 | 激光投影设备及其投影图像的显示方法 |
Also Published As
Publication number | Publication date |
---|---|
CN115022608A (zh) | 2022-09-06 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN111031298B (zh) | 控制投影模块投影的方法、装置和投影系统 | |
CN110099266B (zh) | 投影机画面校正方法、装置及投影机 | |
CN107911621B (zh) | 一种全景图像的拍摄方法、终端设备以及存储介质 | |
CN112330736B (zh) | 一种场景画面的拍摄方法、装置、电子设备及存储介质 | |
CN110677634A (zh) | 投影仪的梯形校正方法、装置、系统及可读存储介质 | |
JP5970879B2 (ja) | 投映システム、投映方法、プログラムおよび記録媒体 | |
CN106934777A (zh) | 扫描图像获取方法及装置 | |
CN110099220B (zh) | 一种全景拼接方法及装置 | |
CN113286134A (zh) | 图像校正方法及拍摄设备 | |
CN114268777B (zh) | 激光投影设备的开机方法及激光投影系统 | |
KR20190002346A (ko) | 촬상 제어장치 및 그 제어 방법 | |
CN113329172B (zh) | 拍摄方法、装置及电子设备 | |
CN111988591A (zh) | 一种投影画面的平移方法、装置和投影设备 | |
WO2013124901A1 (ja) | 光学投射型表示装置、携帯端末、プログラム | |
CN104820567A (zh) | 一种使用手写笔控制拍照的方法、设备与系统 | |
CN110933297B (zh) | 智能摄影系统的摄影控制方法、装置、存储介质及系统 | |
CN114286066B (zh) | 投影校正方法、装置、存储介质以及投影设备 | |
CN116055696A (zh) | 一种投影设备及投影方法 | |
US11218662B2 (en) | Image processing device, image processing method, and projection system | |
CN114827564A (zh) | 投影设备控制方法、装置、存储介质以及投影设备 | |
JP2015192310A (ja) | プロジェクションシステム、携帯機器、プログラム、及び、携帯機器の制御方法 | |
CN115022608B (zh) | 激光投影设备及其控制方法 | |
CN115174878B (zh) | 投影画面校正方法、装置和存储介质 | |
CN116260953A (zh) | 激光投影设备 | |
CN114979599B (zh) | 激光投影设备及投影图像的校正方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |