CN110784699A - 投影处理方法、装置、投影仪及可读存储介质 - Google Patents
投影处理方法、装置、投影仪及可读存储介质 Download PDFInfo
- Publication number
- CN110784699A CN110784699A CN201911063712.7A CN201911063712A CN110784699A CN 110784699 A CN110784699 A CN 110784699A CN 201911063712 A CN201911063712 A CN 201911063712A CN 110784699 A CN110784699 A CN 110784699A
- Authority
- CN
- China
- Prior art keywords
- curtain
- scene image
- pattern
- projector
- determining
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N9/00—Details of colour television systems
- H04N9/12—Picture reproducers
- H04N9/31—Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
- H04N9/3179—Video signal processing therefor
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06K—GRAPHICAL DATA READING; PRESENTATION OF DATA; RECORD CARRIERS; HANDLING RECORD CARRIERS
- G06K7/00—Methods or arrangements for sensing record carriers, e.g. for reading patterns
- G06K7/10—Methods or arrangements for sensing record carriers, e.g. for reading patterns by electromagnetic radiation, e.g. optical sensing; by corpuscular radiation
- G06K7/14—Methods or arrangements for sensing record carriers, e.g. for reading patterns by electromagnetic radiation, e.g. optical sensing; by corpuscular radiation using light without selection of wavelength, e.g. sensing reflected white light
- G06K7/1404—Methods for optical code recognition
- G06K7/1439—Methods for optical code recognition including a method step for retrieval of the optical code
- G06K7/1447—Methods for optical code recognition including a method step for retrieval of the optical code extracting optical codes from image or text carrying said optical code
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
- G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N9/00—Details of colour television systems
- H04N9/12—Picture reproducers
- H04N9/31—Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
- H04N9/3179—Video signal processing therefor
- H04N9/3188—Scale or resolution adjustment
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Multimedia (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Signal Processing (AREA)
- General Health & Medical Sciences (AREA)
- Toxicology (AREA)
- Artificial Intelligence (AREA)
- Electromagnetism (AREA)
- Health & Medical Sciences (AREA)
- Controls And Circuits For Display Device (AREA)
- Projection Apparatus (AREA)
Abstract
本申请提供一种投影处理方法、装置、投影仪及可读存储介质,涉及投影技术领域。该方法包括:通过投影仪向幕布所在区域投射指定图案;获取指定图案所在区域的第一场景图像;基于第一场景图像中的指定图案及与指定图案对应的识别策略,从第一场景图像中确定幕布的轮廓。在本方案中,在确定幕布的轮廓位置时,由投影仪向幕布投射图案,从而为幕布所在的区域提供光源,提高环境中的光线强度,能够在外界光线不足时确定幕布的位置,从而改善投影仪因无法确定幕布位置而影响投影质量的问题。
Description
技术领域
本发明涉及投影技术领域,具体而言,涉及一种投影处理方法、装置、投影仪及可读存储介质。
背景技术
投影仪,又称投影机,是一种可以将图像或视频投射到介质(比如墙壁、幕布)面上的设备。为了提高投影的视觉效果,通常需要幕布配合投影仪。在使用幕布(软幕/硬幕)进行投影时,需要将投影画面区域自动调整到幕布区域内,即完成幕布对齐校正过程。目前对于投影位置的校正,包括人工调整及设备自动调整,而设备自动调整对环境要求高,无法在光线不足的外界环境中确定幕布的区域位置,从而影响投影仪的正常投影。
发明内容
本申请提供一种投影处理方法、装置、投影仪及可读存储介质,能够在光线不足的外界环境中确定幕布的位置,以改善投影仪因无法确定幕布位置而影响投影质量的问题。
为了实现上述目的,本申请实施例所提供的技术方案如下所示:
第一方面,本申请实施例提供一种投影处理方法,应用于投影仪,所述方法包括:
通过投影仪向幕布所在区域投射指定图案;获取所述指定图案所在区域的第一场景图像;基于所述第一场景图像中的所述指定图案及与所述指定图案对应的识别策略,从所述第一场景图像中确定所述幕布的轮廓。
在上述的实施方式中,在确定幕布的轮廓位置时,由投影仪向幕布投射图案,从而为幕布所在的区域提供光源,提高环境中的光线强度,再获取投射的图案所在区域的图像,通过对图像进行识别以确定幕布的轮廓。由于提高了环境中的光强度,因此能提高拍摄的图像的清晰度。在提高了图像的清晰度后,便有助于利用所拍摄的图像进行幕布的轮廓识别,从而能够在外界光线不足时确定幕布的位置。
结合第一方面,在一些可选的实施方式中,所述指定图案包括由交错线条形成的网格图案,基于所述第一场景图像中的所述指定图案及与所述指定图案对应的识别策略,从所述第一场景图像中确定所述幕布的轮廓,包括:
判断所述第一场景图像的所述网格图案中是否存在多条线条的纹理不连续;当存在多条所述线条的纹理不连续时,从所述第一场景图像中确定多条所述线条中不连续的点的位置;基于多个所述线条中不连续的点的位置,确定所述幕布的轮廓。
在上述的实施方式中,通过利用网格图案在幕布边界处投射的影像存在偏差,而使得投影的线条不连续,以识别幕布的轮廓,有利于幕布轮廓的快速确定。
结合第一方面,在一些可选的实施方式中,判断所述第一场景图像的所述网格图案中是否存在多条线条的纹理不连续,包括:
在所述第一场景图像中,基于线条的颜色特征及像素,确定线条的端点及端点的位置;基于多个端点的位置,确定并得到多组端点的像素距离,每组端点的像素距离为所述多个端点中的任意两个端点之间的像素距离;判断是否存在像素距离小于或等于预设阈值的多组端点;当存在像素距离小于或等于预设阈值的多组端点时,确定所述第一场景图像中存在多条所述线条的纹理不连续。
在上述的实施方式中,对于网格图案,通过利用线条的端点来确定幕布的轮廓区域,有助于快速准确地确定幕布的轮廓。
结合第一方面,在一些可选的实施方式中,所述指定图案包括多个呈阵列排布的二维码,多个所述二维码携带有不同的身份信息,基于所述第一场景图像中的所述指定图案及与所述指定图案对应的识别策略,从所述第一场景图像中确定所述幕布的轮廓,包括:
从所述第一场景图像中获取二维码所携带的身份信息;基于获取到的身份信息确定不可识别的二维码的身份信息及所述不可识别的二维码的第一区域位置;通过所述投影仪控制投射的所述指定图案在所述幕布上以指定方向平移平移预设距离;获取所述指定图案所在区域当前的第二场景图像;从所述第二场景图像中获取二维码所携带的身份信息;基于从所述第二场景图像中获取到的身份信息确定所述第二场景图像中不可识别的二维码的身份信息及所述不可识别的二维码的第二区域位置;重复执行所述通过所述投影仪控制投射的所述指定图案在所述幕布上以指定方向平移平移预设距离至所述基于从所述第二场景图像中获取到的身份信息确定所述第二场景图像中不可识别的二维码的身份信息及所述不可识别的二维码的第二区域位置,直至满足预设条件;基于所述第一区域位置、当前的所述第二区域位置、所述指定方向、所述预设距离、平移次数,确定所述幕布的轮廓。
在上述的实施方式中,通过利用利用投影在幕布边缘的二维码因图案不连续而无法识别,来确定幕布的轮廓,有利于幕布轮廓的准确确定。
结合第一方面,在一些可选的实施方式中,在获取所述指定图案所在区域的第一场景图像之前,所述方法还包括:
将投射的所述指定图案的尺寸投射至指定尺寸,以使投射的指定图案覆盖所述幕布。
在上述的实施方式中,通过将投射的指定图案覆盖幕布,有利于在幕布的所有边缘处呈现出不连续的图案,进而有利于根据所有边缘的图案通过图像识别来确定出幕布的完整轮廓。
结合第一方面,在一些可选的实施方式中,所述方法还包括:
基于所述幕布的轮廓,调整所述投影仪朝向所述幕布的投射角度,和/或,调整投射在所述幕布上的画面的尺寸,以使投射的所述指定图案在所述幕布的轮廓内。
在上述的实施方式中,在确定了幕布的轮廓后,投影仪通过对投影的方向角、投影尺寸进行调节,以实现投影的校正,能够提高在幕布上投射的画面的质量与视觉效果。
第二方面,本申请实施例还提供一种投影处理装置,应用于投影仪,所述装置包括:
投射单元,用于通过投影仪向幕布所在区域投射指定图案;
图像获取单元,用于获取所述指定图案所在区域的第一场景图像;
轮廓确定单元,用于基于所述第一场景图像中的所述指定图案及与所述指定图案对应的识别策略,从所述第一场景图像中确定所述幕布的轮廓。
结合第二方面,在一些可选的实施方式中,所述指定图案包括由交错线条形成的网格图案,所述轮廓确定单元还用于:
判断所述第一场景图像的所述网格图案中是否存在多条线条的纹理不连续;
当存在多条所述线条的纹理不连续时,从所述第一场景图像中确定多条所述线条中不连续的点的位置;
基于多个所述线条中不连续的点的位置,确定所述幕布的轮廓。
第三方面,本申请实施例还提供一种投影仪,所述投影仪包括相互耦合的存储器、处理器,所述存储器内存储计算机程序,当所述计算机程序被所述处理器执行时,使得所述投影仪执行上述的方法。
第四方面,本申请实施例还提供一种计算机可读存储介质,所述可读存储介质中存储有计算机程序,当所述计算机程序在计算机上运行时,使得所述计算机执行上述的方法。
附图说明
为了更清楚地说明本申请实施例的技术方案,下面将对实施例中所需要使用的附图作简单地介绍。应当理解,以下附图仅示出了本申请的某些实施例,因此不应被看作是对范围的限定,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他相关的附图。
图1为本申请实施例提供的投影仪的结构示意图。
图2为本申请实施例提供的投影处理方法的流程示意图。
图3为本申请实施例提供的投影场景图像的示意图之一。
图4a为本申请实施例提供的投影场景图像的示意图之二。
图4b为本申请实施例提供的投影场景图像的示意图之三。
图5为本申请实施例提供的投影处理装置的功能框图。
图标:10-投影仪;11-处理模块;12-存储模块;13-摄像头;14-投影镜头;100-投影处理装置;110-投射单元;120-图像获取单元;130-轮廓确定单元。
具体实施方式
下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行描述。需要说明的是,术语“第一”、“第二”等仅用于区分描述,而不能理解为指示或暗示相对重要性。
请参照图1,本申请实施例提供一种投影仪10,能够在光线不足的外界环境中自动确定幕布的轮廓位置。另外,在确定幕布轮廓位置后,投影仪10可以自动完成投影的校正,使得校正后投射的画面在幕布的轮廓区域内。
其中,投影仪10可以包括相互耦合的存储模块12、处理模块11,所述存储器内存储计算机程序,当所述计算机程序被所述处理器执行时,使得所述投影仪10执行下述的投影处理方法的各步骤。
另外,投影仪10还可以包括其他组件。例如,投影仪10可以包括用于产生投影光的光源、投影镜头14、用于拍摄幕布所在区域的场景图像的摄像头13等。处理模块11、存储模块12、摄像头13等各个元件之间直接或间接地电性连接,以实现数据的传输或交互。例如,这些元件相互之间可通过一条或多条通讯总线或信号线实现电性连接。
处理模块11可以是一种集成电路芯片,具有信号的处理能力。上述处理模块11可以是通用处理器。例如,该处理器可以是中央处理器(Central Processing Unit,CPU)、图形处理器(Graphics Processing Unit,GPU)、数字信号处理器(Digital SignalProcessing,DSP)、专用集成电路(Application Specific Integrated Circuit,ASIC)、现场可编程门阵列(Field-Programmable Gate Array,FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件,可以实现或者执行本申请实施例中的公开的各方法、步骤及逻辑框图。
存储模块12可以是,但不限于,随机存取存储器,只读存储器,可编程只读存储器,可擦除可编程只读存储器,电可擦除可编程只读存储器等。在本实施例中,存储模块12可以用于存储指定图案、场景图像等数据。当然,存储模块12还可以用于存储程序,处理模块11在接收到执行指令后,执行该程序。
摄像头13可以是但不限于普通摄像头、红外摄像头等,可以用于拍摄投影镜头14投射在幕布及幕布周边的指定图案。
投影镜头14可以将需要投影的画面通过激光射出,当激光照射在介质的表面上,便可以在介质表面上呈现出投影的画面。其中,所射出的激光为基于所投影的画面而生成,为本领域技术人员所熟知的手段。另外,该介质包括但不限于幕布、墙壁等,用于供投影镜头14发射出的投影光显影的物体,介质面即为介质的表面。
可以理解的是,图1所示的结构仅为投影仪10的一种结构示意图,投影仪10还可以包括比图1所示更多的组件。图1中所示的各组件可以采用硬件、软件或其组合实现。
请参照图2,本申请实施例还提供一种投影处理方法,该投影处理方法可以应用于上述的投影仪10中,由投影仪10执行或实现方法的各步骤。方法可以包括步骤S210至步骤S230,如下:
步骤S210,通过投影仪10向幕布所在区域投射指定图案;
步骤S220,获取所述指定图案所在区域的第一场景图像;
步骤S230,基于所述第一场景图像中的所述指定图案及与所述指定图案对应的识别策略,从所述第一场景图像中确定所述幕布的轮廓。
可理解地,投影仪10在幕布所在区域投射的指定图案可以根据实际情况进行设置,例如,指定图案可以包括但不限于呈阵列排布的多个二维码、交错线条形成的网格图案等。
在向幕布所在区域投射了指定图案后,投影仪10的摄像头13可以拍摄指定图案所在区域得到第一场景图像。其中,幕布所在区域与投射的指定图案所在区域通常存在相交的区域。由于幕布所在平面与幕布后的其他平面(比如墙面)不在同一水平面,因此,投影在幕布上的图案在幕布边缘处会不连续,将出现图案被“分割”的视觉效果,因此,摄像头13拍摄的第一场景图像中,指定图案在幕布边缘处也会呈现图案被“分割”的视觉效果。另外,第一场景图像中通常包括了指定图案以及幕布。
在获取到第一场景图像后,通过对第一场景图像进行图像识别,便能从场景图像中确定出幕布的轮廓位置。其中,进行图像识别的识别策略可以基于指定图案的图案内容而设置。
在上述的实施方式中,在确定幕布的轮廓位置时,由投影仪10向幕布投射图案,从而为幕布所在的区域提供光源,提高环境中的光线强度;然后再获取投射的图案所在区域的图像,通过对图像进行识别以确定幕布的轮廓。由于提高了环境中的光强度,因此能提高拍摄的图像的清晰度。在提高了图像的清晰度后,便有助于利用所拍摄的图像进行幕布的轮廓识别,从而能够在外界光线不足时确定幕布的位置。
作为一种可选的实施方式,在步骤S220之前,方法还可以包括:将投射的所述指定图案的尺寸投射至指定尺寸,以使投射的指定图案覆盖所述幕布。
在本实施例中,投影仪10在投射用于位置校正的指定图案时,投射在幕布所在区域的图案的尺寸通常大于幕布的尺寸,使得投射的指定图案能够覆盖幕布。
可理解地,投影仪10在投射指定图案之前,投影仪10已经安装/放置在幕布之前,且投影镜头14发出投影激光的方向朝向幕布,从而使得投射出的指定图案能够覆盖幕布。
其中,指定尺寸可以根据实际情况进行设置,例如指定尺寸可以为根据幕布的尺寸而设置,幕布的尺寸可以根据实际情况进行确定。比如,指定尺寸可以为幕布尺寸的2倍、4倍等尺寸,这里对指定尺寸的大小不作具体限定。
在本实施例中,若网格图案未覆盖幕布,可以通过放大投射在幕布及介质面上的指定图案的尺寸,或投射的方位角,以覆盖幕布。其中,网格图案是否覆盖幕布可以通过肉眼进行检测,或者由投影仪10进行检测。若为投影仪10检测,其实现方式可以为:若投影仪10能基于当前投射的指定图案(网格图案)确定出幕布的轮廓,则表示当前投射的指定图案能够覆盖幕布;若无法基于当前投射的指定图案确定幕布的轮廓,则表示当前投射的指定图案未覆盖幕布的轮廓,此时便需要放大投射在幕布上的指定图案的尺寸,以使投射的放大后的指定图案能够覆盖幕布。
在上述的实施方式中,通过将投射的指定图案覆盖幕布,有利于在幕布的所有边缘处呈现出不连续的图案,进而有利于根据所有边缘的图案通过图像识别来确定出幕布的完整轮廓。
请参照图3,虚线方框区域可视为投影仪10投射的网格图案,加粗线条方框区域可视为幕布所在区域。其中,网格图案中的线条可以为直线段或平滑的曲线段,可以更具实际情况进行设置。由于幕布所在平面与幕布之后的介质(比如为墙壁)面通常不再同一平面,因此,当网格图案投射覆盖幕布之后,通过摄像头13拍摄得到的场景图像中,在网格图案中的同一线条,在幕布上的呈现的线条与幕布之后的介质面上呈现的线条会不连续(或不平滑),即展现出如图3所示的线条被“分割”的视觉现象。
本实施例通过线条被“分割”的视觉现象在场景图像中反应出的图像特征,来识别出“分割”线条的“分割线”,该“分割线”即为幕布的轮廓。
作为一种可选的实施方式,所述指定图案包括由交错线条形成的网格图案,步骤S230可以包括:
判断所述第一场景图像的所述网格图案中是否存在多条线条的纹理不连续;当存在多条所述线条的纹理不连续时,从所述第一场景图像中确定多条所述线条中不连续的点的位置;基于多个所述线条中不连续的点的位置,确定所述幕布的轮廓。
可理解地,在本实施例中,可以通过图像识别算法来确定线条是否连续,当线条不连续时,连接线条中不连续的点,可以形成矩形,该矩形的边界便为幕布的边界。在上述的实施方式中,通过利用网格图案在幕布边界处投射的影像存在偏差,而使得投影的线条不连续,以识别幕布的轮廓,有利于幕布轮廓的快速确定。
作为一种可选的实施方式,判断所述第一场景图像的所述网格图案中是否存在多条线条的纹理不连续,包括:
在所述第一场景图像中,基于线条的颜色特征及像素,确定线条的端点及端点的位置;
基于多个端点的位置,确定并得到多组端点的像素距离,每组端点的像素距离为所述多个端点中的任意两个端点之间的像素距离;
判断是否存在像素距离小于或等于预设阈值的多组端点;
当存在像素距离小于或等于预设阈值的多组端点时,确定所述第一场景图像中存在多条所述线条的纹理不连续。
可理解地,线条的颜色特征可以为图案中的点(像素点)的RGB值、灰度值等。例如,基于各个像素点的RGB值,可以将RGB值相差较小的所有像素点进行聚类拟合(比如在指定的RGB值附近的像素点,可以进行聚集,该指定RGB值可以包括:线条颜色的RGB值及网格的背景颜色的RGB值),基于此,便可以使得投影仪10能够从场景图像中识别出线条所在位置与非线条所在的位置。另外,像素距离可理解为像素点之间的距离,可以用间隔的像素点的个数作为距离单位。
对于线条所在的位置,由于线条端点处的RGB值与邻近该端点且在线条延长线上的像素点的RGB值差距大,因此,可以基于RGB值的差异,来确定出线条的端点的像素点。在确定出线条端点后,便可以基于端点的像素点在指定图案中的位置(像素坐标),从而确定端点在场景图像中的位置。
在确定出场景图像中的部分或所有线条的端点后,投影仪10可以计算任意两端点之间的像素距离,并记录距离小于预设阈值的每组端点,所记录每组端点即为网格图案中的线条被分割的割点。例如,图3中的A点与B点可以作为网格图案中一条竖线线条被分割后的一组端点。同样的,C点与D点可以作为网格图案中一条横线线条被分割后的一组端点。
可理解地,网格图案中的并列且相邻两线条之间的间距远大于该预设阈值,相邻线条之间的距离可以根据实际情况进行设置,这里不作具体限定。
网格图案中的同一线条,在场景图像中,在幕布区域与介质面区域的边界处会被分割成两段线条,从而形成两个割点,两个割点分别为线条的端点,而网格图案中的同一线条的两个割点的距离通常较小,因此,可以将像素距离小于预设阈值的每组端点作为网格图案中的线条的割点。
当存在像素距离小于或等于预设阈值的多组端点时,便意味着第一场景图像中存在多条线条的纹理不连续。此时,便可以利用所确定的多组端点(像素距离小于或等于预设阈值的端点组合),来确定出幕布的轮廓。若幕布为矩形,依次连接每组割点,便可以形成四条线段;然后基于四条线段的延长线,得到延长线的四个交点,延长线的四个交点即为幕布的四角的位置,因此,基于延长线的四个交点便能确定出幕布的轮廓。
作为一种可选的实施方式,在利用网格图案来确定幕布的轮廓时,可以利用边缘检测算法(如Canny边缘检测算法,Laplace检测算法),得到投射的网格图案中的线条的边缘,再利用霍夫曼变换可以确定出连续的线段。由于幕布和介质边界处线条不连续,网格图案中的线条在该边界处有一定的错位,体现在场景图像中,即为线条端点的颜色与周边点之间存在一定的像素偏差(即为灰度值的差距,或RGB值的差距)。基于该像素偏差,便能在场景图像中确定网格图案中的线条出现错位的点的位置。在确定出线条错位的点的位置后,可以基于错位的点构成矩形,该矩形便为幕布的边界轮廓。
需要说明的是,Canny边缘检测算法、Laplace检测算法、霍夫曼变换为本领域技术人员所熟知的手段,这里不再赘述。
请参照图4a,虚线方框区域中的方格可视为投影仪10投射的呈阵列排布的二维码,加粗线条方框区域可视为幕布所在区域。其中,每个二维码可以携带身份信息。当二维码图案完整且未被分割时,便可以读取出其携带的身份信息,不同的二维码可以携带不同的身份信息,其身份信息可以更具实际情况进行设置,比如为数字编号。
由于幕布所在平面与幕布之后的介质(比如为墙壁)面通常不再同一平面,因此,当呈阵列的二维码投射向幕布之后,通过摄像头13拍摄得到的场景图像中,在幕布与介质边界处可能存在同一个二维码图案被分割的情况。例如,图4a所示的二维码P,便为被“分割”二维码;二维码Q便为完整落入幕布内的可识别的二维码。
请再次参照图4a,作为一种可选的实施方式,所述指定图案包括多个呈阵列排布的二维码,多个所述二维码携带有不同的身份信息,步骤S230可以包括:
从所述第一场景图像中获取二维码所携带的身份信息;
基于获取到的身份信息确定不可识别的二维码的身份信息及所述不可识别的二维码的第一区域位置;
通过所述投影仪10控制投射的所述指定图案在所述幕布上以指定方向平移平移预设距离;
获取所述指定图案所在区域当前的第二场景图像;
从所述第二场景图像中获取二维码所携带的身份信息;
基于从所述第二场景图像中获取到的身份信息确定所述第二场景图像中不可识别的二维码的身份信息及所述不可识别的二维码的第二区域位置;
重复执行所述通过所述投影仪10控制投射的所述指定图案在所述幕布上以指定方向平移平移预设距离至所述基于从所述第二场景图像中获取到的身份信息确定所述第二场景图像中不可识别的二维码的身份信息及所述不可识别的二维码的第二区域位置,直至满足预设条件;
基于所述第一区域位置、当前的所述第二区域位置、所述指定方向、所述预设距离、平移次数,确定所述幕布的轮廓。
可理解地,当二维码图案的一部分在幕布上,一部分在介质()比如墙壁面上时,二维码图案会呈现出“错位”的视觉现象,由于二维码的形状发生变化,这类二维码(可以称为第一类二维码)通常无法被识别,也就无法读取到第一类二维码携带的身份信息。当整个二维码的图案均在幕布的区域内,或者均在介质面内,这类二维码(可以称为第二类二维码)便可以被识别,从而能够读取到第二类二维码所携带的身份信息。
投影仪10可以预先存储所有二维码的身份信息及对应的位置。因此,在场景图像中,可以通过对场景图像中的所有二维码进行识别,以读取其携带的身份信息,然后在预存的所有二维码的身份信息中,除去读取到的二维码的身份信息,便能得到不可识别的二维码的身份信息。
在确定出不可识别的二维码的身份信息后,基于投影仪10记录的各二维码的位置,便能得到不可识别的二维码在指定图案中的区域位置,从而能够在指定图案中初步确定幕布的轮廓,即,不可识别的二维码所在区域即为幕布的轮廓的范围。
然后,投影仪10可以控制投影镜头14移动投射的二维码,在幕布及介质面上,以指定方向平移预设距离。平移的预设距离可以为像素距离,可以根据实际情况进行设置,例如可以为10像素点的距离、20像素点的距离等,这里不作具体限定。另外,平移的指定方向可以根据实际情况进行设置,例如可以向右平移、向左平移、向上平移、向下平移等,这里不作具体限定。
在平移到满足预设条件之前,投影仪10可以多次地以同一指定方向平移投射在幕布上的二维码,直至满足预设条件。满足预设条件可以包括:在基于当前的第二场景图像中确定的不可识别的二维码的身份信息(可以称为第二身份信息)中,存在不同于基于第一场景图像确定的不可识别的二维码的身份信息(可以称为第一身份信息);或者,在基于当前的第二场景图像中确定的可识别的二维码的身份信息(可以称为第四身份信息)中,存在不同于基于第一场景图像确定的可识别的二维码的身份信息(可以称为第三身份信息)。即,在平移过程中,出现原处于幕布与介质边界上的二维码在平移后,整个二维码完全落入幕布区域,或落入介质面上,即二维码图案由不可识别便为了可识别;或者,原未处于幕布与介质边界上的二维码,在平移后落在了幕布与介质边界上,即,二维码由可识别变为了不可识别。
对于矩形幕布,若以一个指定方向平移,通常只能确定幕布的两条相互平行的边缘。因此,在确定出幕布两条相互平行的边缘后,可以更换平移的指定方向,更换后的平移方向与之前的平移方向垂直,在更换平移方向后,再逐次平移,直至满足上述的预设条件,便能确定出幕布剩余的两边缘。
例如,在图4a中,可以先以向左的方向逐次平移,当检测到最左侧的二维码可以识别后,或者最右侧的二维码可以被识别后,便停止平移。此时基于平移的次数及每次移动的像素距离,便能在第一场景图像中,确定出幕布左边缘或右边缘。然后在以向上的方向逐次平移,当检测到最下侧的二维码可以识别后,或者最上侧的二维码可以被识别后,便停止平移。此时基于平移的次数及每次移动的像素距离,便能在第一场景图像中,确定出幕布上边缘或下边缘。
若投影仪10存储有幕布的长宽尺寸比例及幕布的尺寸与场景图像中的像素距离之前的映射关系,则基于左、右边缘中的任意一边缘,以及上、下边缘中的任意一边缘,便能确定出幕布的轮廓。若投影仪10未存储有幕布的长宽尺寸比例及幕布的尺寸与场景图像中的像素距离之前的映射关系,则需要分别确定出幕布四条边缘所在的直线,基于四条直线相交形成的矩形便为幕布的轮廓位置。
请结合参照图4a和图4b,在二维码平移前后,第一场景图像、第二场景图像的边缘相对幕布的边缘不动,确定边缘位置的方式可以为:比如,在图4a中,假设方框中呈现图像为第一场景图像,图4b中的方框内的图像为图4a中的二维码在向左平移N次后呈现的图像,每次平移的像素距离为i,为第二场景图像,其中,N、i均为大于0的整数。在平移之前,在第一场景图像中,便能确定出不可识别的二维码。而不可识别的二维码在指定图案中的像素位置(包括二维码边缘的坐标)为预先确定的,指定图案(虚线方框对应的图案)的边缘与第二场景图像的边缘位置关系可以通过图像识别得到。
例如,以场景图像(第一场景图像及第二场景图像)的左下角顶点为坐标原点建立与像素点对应的平面直角坐标系0-xy,在图4a中,右上角的二维码(该二维码为不可识别的二维码)的左下角的顶点Z在第一场景图像中的像素坐标为(m,n),在平移N次后,得到如图4b所示的图像。此时,在图4b中,右上角的二维码(此时该二维码为可识别的二维码)的顶点Z在第二场景图像中的像素坐标为的横坐标为m-N*i,纵坐标仍为n。此时,在第一场景图像(或第二场景图像)中,便可以在坐标系中,将像素点的横坐标为m-N*i的直线作为幕布左边缘所在的直线。然后,基于同样的方式,确定幕布其余三边所在的直线,四条直线相交形成的矩形便为幕布的轮廓位置。
作为一种可选的实施方式,若投射的指定图案未完全覆盖幕布,可以通过以上述的利用二维码确定幕布轮廓的方式,先后以第一方向逐次平移指定图案(可以为二维码、网格图案),以确定幕布的两轮廓所在的直线,然后以第二方向逐次平移投射的指定图案,以确定幕布的剩余两轮廓所在的直线,所确定的四条直线相交所形成的矩形便为幕布的轮廓位置。其中,第一方向与第二方向相垂直。例如,第一方向可以为左/右方向,第二方向可以为上/下方向。
作为一种可选的实施方式,方法还可以包括:基于所述幕布的轮廓,调整所述投影仪10朝向所述幕布的投射角度;或者,调整投射在所述幕布上的画面的尺寸;或者,即整所述投影仪10朝向所述幕布的投射角度,又调整投射在所述幕布上的画面的尺寸,以使投射的所述指定图案在所述幕布的轮廓内。
可理解地,投影镜头14可以通过调节焦距,来对投射在幕布上的画面尺寸进行调节。通过转动投影镜头14来调节投影仪10朝向所述幕布的投射角度。
在上述的实施方式中,在确定了幕布的轮廓后,投影仪10通过对投影的方向角、投影尺寸进行调节,以实现投影的校正,能够提高在幕布上投射的画面的质量与视觉效果。
请参照图5,本申请实施例还提供一种投影处理装置100,包括至少一个可以软件或固件(firmware)的形式存储于存储模块12中或固化在投影仪10操作系统(OperatingSystem,OS)中的软件功能模块。例如,投影处理装置100可以包括投射单元110、图像获取单元120及轮廓确定单元130。
投射单元110,用于通过投影仪10向幕布所在区域投射指定图案。
图像获取单元120,用于获取所述指定图案所在区域的第一场景图像。
轮廓确定单元130,用于基于所述第一场景图像中的所述指定图案及与所述指定图案对应的识别策略,从所述第一场景图像中确定所述幕布的轮廓。
可选地,所述指定图案包括由交错线条形成的网格图案,所述轮廓确定单元130还用于:判断所述第一场景图像的所述网格图案中是否存在多条线条的纹理不连续;当存在多条所述线条的纹理不连续时,从所述第一场景图像中确定多条所述线条中不连续的点的位置;基于多个所述线条中不连续的点的位置,确定所述幕布的轮廓。
可选地,所述轮廓确定单元130还可以用于:在所述第一场景图像中,基于线条的颜色特征及像素,确定线条的端点及端点的位置;基于多个端点的位置,确定并得到多组端点的像素距离,每组端点的像素距离为所述多个端点中的任意两个端点之间的像素距离;判断是否存在像素距离小于或等于预设阈值的多组端点;当存在像素距离小于或等于预设阈值的多组端点时,确定所述第一场景图像中存在多条所述线条的纹理不连续。
可选地,所述指定图案包括多个呈阵列排布的二维码,多个所述二维码携带有不同的身份信息,轮廓确定单元130还可以用于:
从所述第一场景图像中获取二维码所携带的身份信息;
基于获取到的身份信息确定不可识别的二维码的身份信息及所述不可识别的二维码的第一区域位置;
通过所述投影仪10控制投射的所述指定图案在所述幕布上以指定方向平移平移预设距离;
获取所述指定图案所在区域当前的第二场景图像;
从所述第二场景图像中获取二维码所携带的身份信息;
基于从所述第二场景图像中获取到的身份信息确定所述第二场景图像中不可识别的二维码的身份信息及所述不可识别的二维码的第二区域位置;
重复执行所述通过所述投影仪10控制投射的所述指定图案在所述幕布上以指定方向平移平移预设距离至所述基于从所述第二场景图像中获取到的身份信息确定所述第二场景图像中不可识别的二维码的身份信息及所述不可识别的二维码的第二区域位置,直至满足预设条件;
基于所述第一区域位置、当前的所述第二区域位置、所述指定方向、所述预设距离、平移次数,确定所述幕布的轮廓。
可选地,在获取所述指定图案所在区域的第一场景图像之前,所述投射单元110用于:将投射的所述指定图案的尺寸投射至指定尺寸,以使投射的指定图案覆盖所述幕布。
可选地,投影处理装置100还可以包括调节单元,用于基于所述幕布的轮廓,调整所述投影仪10朝向所述幕布的投射角度;或者,调整投射在所述幕布上的画面的尺寸;或者,即整所述投影仪10朝向所述幕布的投射角度,又调整投射在所述幕布上的画面的尺寸,以使投射的所述指定图案在所述幕布的轮廓内。
需要说明的是,所属领域的技术人员可以清楚地了解到,为描述的方便和简洁,上述描述的投影处理装置100、投影仪10的具体工作过程,可以参考前述方法中的各步骤对应过程,在此不再过多赘述。
本申请实施例还提供一种计算机可读存储介质。可读存储介质中存储有计算机程序,当计算机程序在计算机上运行时,使得计算机执行如上述实施例中所述的投影处理方法。
通过以上的实施方式的描述,本领域的技术人员可以清楚地了解到本申请可以通过硬件实现,也可以借助软件加必要的通用硬件平台的方式来实现,基于这样的理解,本申请的技术方案可以以软件产品的形式体现出来,该软件产品可以存储在一个非易失性存储介质(可以是CD-ROM,U盘,移动硬盘等)中,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行本申请各个实施场景所述的方法。
综上所述,本申请提供一种投影处理方法、装置、投影仪及可读存储介质。该方法包括:通过投影仪向幕布所在区域投射指定图案;获取指定图案所在区域的第一场景图像;基于第一场景图像中的指定图案及与指定图案对应的识别策略,从第一场景图像中确定幕布的轮廓。在本方案中,在确定幕布的轮廓位置时,由投影仪向幕布投射图案,从而为幕布所在的区域提供光源,提高环境中的光线强度,再获取投射的图案所在区域的图像,通过对图像进行识别以确定幕布的轮廓。由于提高了环境中的光强度,因此能提高拍摄的图像的清晰度。在提高了图像的清晰度后,便有助于利用所拍摄的图像进行幕布的轮廓识别,从而能够在外界光线不足时确定幕布的位置。
在本申请所提供的实施例中,应该理解到,所揭露的装置、系统和方法,也可以通过其它的方式实现。以上所描述的装置、系统和方法实施例仅仅是示意性的,例如,附图中的流程图和框图显示了根据本申请的多个实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上,流程图或框图中的每个方框可以代表一个模块、程序段或代码的一部分,所述模块、程序段或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意,在有些作为替换的实现方式中,方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如,两个连续的方框实际上可以基本并行地执行,它们有时也可以按相反的顺序执行,这依所涉及的功能而定。也要注意的是,框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合,可以用执行规定的功能或动作的专用的基于硬件的系统来实现,或者可以用专用硬件与计算机指令的组合来实现。另外,在本申请各个实施例中的各功能模块可以集成在一起形成一个独立的部分,也可以是各个模块单独存在,也可以两个或两个以上模块集成形成一个独立的部分。
以上所述仅为本申请的优选实施例而已,并不用于限制本申请,对于本领域的技术人员来说,本申请可以有各种更改和变化。凡在本申请的精神和原则之内,所作的任何修改、等同替换、改进等,均应包含在本申请的保护范围之内。
Claims (10)
1.一种投影处理方法,其特征在于,应用于投影仪,所述方法包括:
通过投影仪向幕布所在区域投射指定图案;
获取所述指定图案所在区域的第一场景图像;
基于所述第一场景图像中的所述指定图案及与所述指定图案对应的识别策略,从所述第一场景图像中确定所述幕布的轮廓。
2.根据权利要求1所述的方法,其特征在于,所述指定图案包括由交错线条形成的网格图案,基于所述第一场景图像中的所述指定图案及与所述指定图案对应的识别策略,从所述第一场景图像中确定所述幕布的轮廓,包括:
判断所述第一场景图像的所述网格图案中是否存在多条线条的纹理不连续;
当存在多条所述线条的纹理不连续时,从所述第一场景图像中确定多条所述线条中不连续的点的位置;
基于多个所述线条中不连续的点的位置,确定所述幕布的轮廓。
3.根据权利要求2所述的方法,其特征在于,判断所述第一场景图像的所述网格图案中是否存在多条线条的纹理不连续,包括:
在所述第一场景图像中,基于线条的颜色特征及像素,确定线条的端点及端点的位置;
基于多个端点的位置,确定并得到多组端点的像素距离,每组端点的像素距离为所述多个端点中的任意两个端点之间的像素距离;
判断是否存在像素距离小于或等于预设阈值的多组端点;
当存在像素距离小于或等于预设阈值的多组端点时,确定所述第一场景图像中存在多条所述线条的纹理不连续。
4.根据权利要求1所述的方法,其特征在于,所述指定图案包括多个呈阵列排布的二维码,多个所述二维码携带有不同的身份信息,基于所述第一场景图像中的所述指定图案及与所述指定图案对应的识别策略,从所述第一场景图像中确定所述幕布的轮廓,包括:
从所述第一场景图像中获取二维码所携带的身份信息;
基于获取到的身份信息确定不可识别的二维码的身份信息及所述不可识别的二维码的第一区域位置;
通过所述投影仪控制投射的所述指定图案在所述幕布上以指定方向平移平移预设距离;
获取所述指定图案所在区域当前的第二场景图像;
从所述第二场景图像中获取二维码所携带的身份信息;
基于从所述第二场景图像中获取到的身份信息确定所述第二场景图像中不可识别的二维码的身份信息及所述不可识别的二维码的第二区域位置;
重复执行所述通过所述投影仪控制投射的所述指定图案在所述幕布上以指定方向平移平移预设距离至所述基于从所述第二场景图像中获取到的身份信息确定所述第二场景图像中不可识别的二维码的身份信息及所述不可识别的二维码的第二区域位置,直至满足预设条件;
基于所述第一区域位置、当前的所述第二区域位置、所述指定方向、所述预设距离、平移次数,确定所述幕布的轮廓。
5.根据权利要求1所述的方法,其特征在于,在获取所述指定图案所在区域的第一场景图像之前,所述方法还包括:
将投射的所述指定图案的尺寸投射至指定尺寸,以使投射的指定图案覆盖所述幕布。
6.根据权利要求1所述的方法,其特征在于,所述方法还包括:
基于所述幕布的轮廓,调整所述投影仪朝向所述幕布的投射角度,和/或,调整投射在所述幕布上的画面的尺寸,以使投射的所述指定图案在所述幕布的轮廓内。
7.一种投影处理装置,其特征在于,应用于投影仪,所述装置包括:
投射单元,用于通过投影仪向幕布所在区域投射指定图案;
图像获取单元,用于获取所述指定图案所在区域的第一场景图像;
轮廓确定单元,用于基于所述第一场景图像中的所述指定图案及与所述指定图案对应的识别策略,从所述第一场景图像中确定所述幕布的轮廓。
8.根据权利要求7所述的装置,其特征在于,所述指定图案包括由交错线条形成的网格图案,所述轮廓确定单元还用于:
判断所述第一场景图像的所述网格图案中是否存在多条线条的纹理不连续;
当存在多条所述线条的纹理不连续时,从所述第一场景图像中确定多条所述线条中不连续的点的位置;
基于多个所述线条中不连续的点的位置,确定所述幕布的轮廓。
9.一种投影仪,其特征在于,所述投影仪包括相互耦合的存储器、处理器,所述存储器内存储计算机程序,当所述计算机程序被所述处理器执行时,使得所述投影仪执行如权利要求1-6中任一项所述的方法。
10.一种计算机可读存储介质,其特征在于,所述可读存储介质中存储有计算机程序,当所述计算机程序在计算机上运行时,使得所述计算机执行如权利要求1-6中任意一项所述的方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201911063712.7A CN110784699B (zh) | 2019-11-01 | 2019-11-01 | 投影处理方法、装置、投影仪及可读存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201911063712.7A CN110784699B (zh) | 2019-11-01 | 2019-11-01 | 投影处理方法、装置、投影仪及可读存储介质 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN110784699A true CN110784699A (zh) | 2020-02-11 |
CN110784699B CN110784699B (zh) | 2021-06-25 |
Family
ID=69388630
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201911063712.7A Active CN110784699B (zh) | 2019-11-01 | 2019-11-01 | 投影处理方法、装置、投影仪及可读存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN110784699B (zh) |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111885363A (zh) * | 2020-05-26 | 2020-11-03 | 深圳海翼智新科技有限公司 | 一种投影系统以及投影方法、计算机存储介质 |
CN113301316A (zh) * | 2021-05-25 | 2021-08-24 | 深圳市皓龙激光设备有限公司 | 户外激光亮化方法、系统、控制器及存储介质 |
CN114598850A (zh) * | 2020-11-19 | 2022-06-07 | 成都极米科技股份有限公司 | 投影控制识别方法、装置和控制设备 |
CN114827562A (zh) * | 2022-03-11 | 2022-07-29 | 深圳海翼智新科技有限公司 | 投影方法、装置、投影设备及计算机存储介质 |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20180184058A1 (en) * | 2016-12-22 | 2018-06-28 | Casio Computer Co., Ltd. | Projection control device, projection control method and non-transitory storage medium |
CN109698944A (zh) * | 2017-10-23 | 2019-04-30 | 深圳市Tcl高新技术开发有限公司 | 投影区域校正方法、投影设备及计算机可读存储介质 |
CN110099266A (zh) * | 2019-05-14 | 2019-08-06 | 峰米(北京)科技有限公司 | 投影机画面校正方法、装置及投影机 |
CN110111262A (zh) * | 2019-03-29 | 2019-08-09 | 北京小鸟听听科技有限公司 | 一种投影仪畸变校正方法、装置和投影仪 |
-
2019
- 2019-11-01 CN CN201911063712.7A patent/CN110784699B/zh active Active
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20180184058A1 (en) * | 2016-12-22 | 2018-06-28 | Casio Computer Co., Ltd. | Projection control device, projection control method and non-transitory storage medium |
CN109698944A (zh) * | 2017-10-23 | 2019-04-30 | 深圳市Tcl高新技术开发有限公司 | 投影区域校正方法、投影设备及计算机可读存储介质 |
CN110111262A (zh) * | 2019-03-29 | 2019-08-09 | 北京小鸟听听科技有限公司 | 一种投影仪畸变校正方法、装置和投影仪 |
CN110099266A (zh) * | 2019-05-14 | 2019-08-06 | 峰米(北京)科技有限公司 | 投影机画面校正方法、装置及投影机 |
Cited By (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111885363A (zh) * | 2020-05-26 | 2020-11-03 | 深圳海翼智新科技有限公司 | 一种投影系统以及投影方法、计算机存储介质 |
CN114598850A (zh) * | 2020-11-19 | 2022-06-07 | 成都极米科技股份有限公司 | 投影控制识别方法、装置和控制设备 |
CN114598850B (zh) * | 2020-11-19 | 2023-09-29 | 成都极米科技股份有限公司 | 投影控制识别方法、装置和控制设备 |
CN113301316A (zh) * | 2021-05-25 | 2021-08-24 | 深圳市皓龙激光设备有限公司 | 户外激光亮化方法、系统、控制器及存储介质 |
CN113301316B (zh) * | 2021-05-25 | 2022-04-05 | 深圳市皓龙激光设备有限公司 | 户外激光亮化方法、系统、控制器及存储介质 |
CN114827562A (zh) * | 2022-03-11 | 2022-07-29 | 深圳海翼智新科技有限公司 | 投影方法、装置、投影设备及计算机存储介质 |
Also Published As
Publication number | Publication date |
---|---|
CN110784699B (zh) | 2021-06-25 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN110784699B (zh) | 投影处理方法、装置、投影仪及可读存储介质 | |
US9430865B2 (en) | Real-time dynamic non-planar projection apparatus and method | |
US10475237B2 (en) | Image processing apparatus and control method thereof | |
US10430962B2 (en) | Three-dimensional shape measuring apparatus, three-dimensional shape measuring method, and storage medium that calculate a three-dimensional shape of an object by capturing images of the object from a plurality of directions | |
EP2869266A1 (en) | Method and apparatus for generating depth map of a scene | |
JP6115214B2 (ja) | パターン処理装置、パターン処理方法、パターン処理プログラム | |
CN111080662A (zh) | 车道线的提取方法、装置及计算机设备 | |
JP2010050542A (ja) | 投写型表示装置および表示方法 | |
KR101618776B1 (ko) | 3차원 깊이 영상의 개선 방법 | |
JP2018205788A (ja) | シルエット抽出装置、方法およびプログラム | |
US11022435B2 (en) | Pattern projection depth value 3D scanning device and method | |
JP2020197989A5 (ja) | 画像処理システム、画像処理方法、およびプログラム | |
CN112154479A (zh) | 提取特征点的方法、可移动平台及存储介质 | |
JP2019220887A (ja) | 画像処理装置、画像処理方法およびプログラム | |
JP2020173584A (ja) | 物体検出装置 | |
US20210160437A1 (en) | Image processing apparatus and image transformation method | |
CN110557622B (zh) | 基于结构光的深度信息获取方法及装置、设备及介质 | |
US11087482B2 (en) | Apparatus that generates three-dimensional shape data, method and storage medium | |
JP2016072691A (ja) | 画像処理装置及びその制御方法、プログラム | |
KR20150101343A (ko) | 영상 투사 시스템 | |
JP2015216542A (ja) | 情報処理装置、情報処理方法およびプログラム | |
CN114615478B (zh) | 投影画面校正方法、系统、投影设备和存储介质 | |
JP2016111585A (ja) | 画像処理装置、システム、画像処理方法、およびプログラム | |
US11838646B2 (en) | Apparatus, method, and storage medium for deciding an exposure condition based on brightness of a combined area of a captured image | |
WO2024185093A1 (ja) | 処理装置、処理方法、及び処理プログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |