CN114071100A - 图像校正方法和投影仪 - Google Patents

图像校正方法和投影仪 Download PDF

Info

Publication number
CN114071100A
CN114071100A CN202110849024.4A CN202110849024A CN114071100A CN 114071100 A CN114071100 A CN 114071100A CN 202110849024 A CN202110849024 A CN 202110849024A CN 114071100 A CN114071100 A CN 114071100A
Authority
CN
China
Prior art keywords
image
projection
input
lattice
point
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202110849024.4A
Other languages
English (en)
Other versions
CN114071100B (zh
Inventor
西乡学
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Seiko Epson Corp
Original Assignee
Seiko Epson Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Seiko Epson Corp filed Critical Seiko Epson Corp
Publication of CN114071100A publication Critical patent/CN114071100A/zh
Application granted granted Critical
Publication of CN114071100B publication Critical patent/CN114071100B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00Details of colour television systems
    • H04N9/12Picture reproducers
    • H04N9/31Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
    • H04N9/3179Video signal processing therefor
    • H04N9/3185Geometric adjustment, e.g. keystone or convergence
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00Details of colour television systems
    • H04N9/12Picture reproducers
    • H04N9/31Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
    • H04N9/3141Constructional details thereof
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00Details of colour television systems
    • H04N9/12Picture reproducers
    • H04N9/31Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
    • H04N9/3141Constructional details thereof
    • H04N9/3147Multi-projection systems
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00Details of colour television systems
    • H04N9/12Picture reproducers
    • H04N9/31Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
    • H04N9/3141Constructional details thereof
    • H04N9/315Modulator illumination systems
    • H04N9/3155Modulator illumination systems for controlling the light source
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00Details of colour television systems
    • H04N9/12Picture reproducers
    • H04N9/31Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
    • H04N9/3179Video signal processing therefor
    • H04N9/3188Scale or resolution adjustment
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00Details of colour television systems
    • H04N9/12Picture reproducers
    • H04N9/31Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
    • H04N9/3197Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM] using light modulating optical valves

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Geometry (AREA)
  • Transforming Electric Information Into Light Information (AREA)
  • Projection Apparatus (AREA)
  • Control Of Indicators Other Than Cathode Ray Tubes (AREA)
  • Liquid Crystal Display Device Control (AREA)
  • Controls And Circuits For Display Device (AREA)

Abstract

图像校正方法和投影仪,在投影仪所进行的图像校正方法中,包含:将第2图像投射到投射面,该第2图像是将包含的多个候选点的第1图像缩小为包含在投射区域中的大小而得到的,其中,多个候选点是要进行显示位置的校正的候选,投射区域是投影仪能够投射的最大大小的区域;在将第2图像投射到了投射面的状态下,受理在多个候选点中选择对象点的第1输入,该对象点是要进行显示位置的校正的对象;在受理了第1输入后,将第3图像投射到投射面,该第3图像是将第2图像放大为第1图像的大小而得到的;在将第3图像投射到了投射面的状态下,受理变更对象点的显示位置的第2输入;以及将根据第2输入校正了输入图像的形状后的投射图像投射到投射面。

Description

图像校正方法和投影仪
技术领域
本发明涉及图像校正方法和投影仪。
背景技术
以往,提出了投影仪将校正了输入图像的形状的投射图像投射到投射面的方案。例如,在专利文献1中公开了如下系统:在与投影仪连接的计算机的用户界面画面上显示辅助线,用户通过使辅助线的形状变形来校正投射图像的形状。该系统在辅助线从显示器的显示范围超出的情况下,缩小用户界面画面的区域,显示超出的辅助线。
专利文献1:日本特开2004-320661号公报
但是,以往的系统需要使用计算机,因此仅通过投影仪无法校正输入图像的形状。另外,在此,假设在输入图像的一部分位于作为投影仪能够投射的最大大小的区域的投射区域外的情况下,投影仪将包含辅助线的图像整体缩小成包含于投射区域,将包含缩小后的辅助线的图像投射到投射面。根据该方法,在缩小前和缩小后,包含辅助线的图像的形状不同。因此,难以配合投射面的状态,将输入图像校正为期望的形状。
发明内容
本发明一个方式的图像校正方法是投影仪进行的图像校正方法,其包含:将第2图像投射到投射面,该第2图像是将包含多个候选点的第1图像缩小为包含在投射区域中的大小而得到的,其中,所述多个候选点是要进行显示位置的校正的候选,所述投射区域是所述投影仪能够投射的最大大小的区域;在将所述第2图像投射到了所述投射面的状态下,受理在所述多个候选点中选择对象点的第1输入,该对象点是要进行显示位置的校正的对象;在受理了所述第1输入后,将第3图像投射到所述投射面,该第3图像是将所述第2图像放大为所述第1图像的大小而得到的;在将所述第3图像投射到了所述投射面的状态下,受理变更所述对象点的显示位置的第2输入;以及将根据所述第2输入校正了输入图像的形状后的投射图像投射到所述投射面。
另外,本发明一个方式的投影仪具有:光源,其射出光;光调制装置,其通过对所述光进行调制而生成调制光;镜头,其射出所述调制光;以及至少一个处理装置,所述至少一个处理装置进行以下处理:控制所述光调制装置来将第2图像投射到投射面,该第2图像是将包含多个候选点的第1图像缩小为使得所述第1图像的外周包含在投射区域中的大小而得到的,其中,所述多个候选点是要进行显示位置的校正的候选,所述投射区域是所述投影仪能够投射的最大大小的区域;在将所述第2图像投射到了所述投射面的状态下,受理在所述多个候选点中选择对象点的第1输入,该对象点是要进行显示位置的校正的对象;在受理了所述第1输入后,控制所述光调制装置来将第3图像投射到所述投射面,该第3图像是将所述第2图像放大为所述第1图像的大小而得到的;在将所述第3图像投射到了所述投射面的状态下,受理变更所述对象点的显示位置的第2输入;以及控制所述光调制装置来将根据所述第2输入校正了输入图像的形状后的投射图像投射到所述投射面。
附图说明
图1是表示显示系统1的图。
图2是表示输入图像IG的一例的图。
图3是表示投影仪10的结构的图。
图4是表示初始状态的格子图像KG的一例的图。
图5是表示初始状态的格子坐标信息KCI的存储内容的一例的图。
图6是表示更新后的格子图像KG的一例的图。
图7是表示更新后的格子坐标信息KCI的存储内容的一例的图。
图8是表示投射装置16的一例的图。
图9是表示投影仪10的功能的图。
图10是表示缩小格子图像SKG的一例的图。
图11是表示距离投射区域PA的外周最远的格子点GP的确定例和缩小率RR的计算例的图。
图12是表示缩小格子图像SKG的投射例的图。
图13是表示调整图像AG的一例的图。
图14是表示调整图像AG的投射例的图。
图15是表示输入图像IG所包含的多个单位区域UA的一例的图。
图16是表示校正后的多个单位区域UA的一例的图。
图17是表示投影仪10的动作的流程图。
图18是表示投影仪10的动作的流程图。
图19是表示调整图像AG的投射例的图。
图20是表示投射图像CG的投射例的图。
图21是表示使缩小输入图像SIG重叠于缩小格子图像SKG而得的图像的投射例的图。
图22是表示使第1方式中的辅助图像HG重叠于调整图像AG而得的图像的投射例的图。
图23是表示使第2方式中的辅助图像HG重叠于调整图像AG而得的图像的投射例的图。
图24是表示第5变形例中的缩小格子图像信息SKGI的生成例的图。
图25是表示按照缩小率RR_j缩小了格子图像KG时的缩小格子图像SKG的投射例的图。
图26是表示按照缩小率RR_i缩小了格子图像KG时的缩小格子图像SKG的投射例的图。
图27是表示第6变形例中的对象点选择模式的一例的图。
图28是表示第6变形例中的对象点调整模式的一例的图。
标号说明
1:显示系统;10:投影仪;12:处理装置;14:存储装置;121:判定部;122:生成部;124:控制部;126:受理部;161:光源;161a:光源部;162:液晶光阀;163:镜头;164:光阀驱动部;1222:第1生成部;1224:第2生成部;1242:第1控制部;1244:第2控制部;1262:第1受理部;1264:第2受理部;AG:调整图像;AGI:调整图像信息;CG:投射图像;GP:格子点;HG:辅助图像;IG:输入图像;IGI:输入图像信息;KG:格子图像;KGI:格子图像信息;PA:投射区域;SC:投射面;SIG:缩小输入图像;SKG:缩小格子图像;SKGI:缩小格子图像信息;TP:对象点。
具体实施方式
以下,参照附图对用于实施本发明的方式进行说明。另外,在各图中,使各部分的尺寸和缩小尺与实际适当不同。另外,以下所述的实施方式是本发明的优选具体例,因此附加了技术上优选的各种限定,但只要在以下的说明中没有特别限定本发明的意思的记载,则本发明的范围并不限定于这些方式。
1.第1实施方式
对本实施方式的显示系统1进行说明。
1.1.显示系统1的概要
图1是表示显示系统1的图。显示系统1包含图像提供装置4和投影仪10。在本实施方式中,对不使用计算机具有的画面而能够通过利用投影仪10的用户的操作来校正投射的图像的形状的投影仪10进行说明。
图像提供装置4将表示输入图像IG的输入图像信息IGI提供给投影仪10。投影仪10对输入图像信息IGI执行几何学校正处理,生成校正输入图像IG的形状而得的投射图像信息CGI,并将投射图像信息CGI所表示的投射图像CG投射到投射面SC。投射图像信息CGI是“表示投射图像的图像信息”的一例。图像提供装置4例如是智能手机、个人计算机、USB(Universal Serial Bus:通用串行总线)存储器等具有将图像信息输出到投影仪10的通信装置的装置。另外,投射图像信息CGI也可以存储于投影仪10的存储装置14,在该情况下也可以不设置图像提供装置4。
图1所示的X轴和Y轴相互垂直。X轴以及Y轴与投射面SC平行。在图1的例子中,将沿着X轴的2个方向中的面向投射面SC而朝向右侧的方向称为+X方向,将面向投射面SC而朝向左侧的方向称为-X方向。以下,有时将+X方向和-X方向统称为纵或纵向。同样地,将沿着Y轴的2个方向中的朝向图1中的下侧的方向称为+Y方向,将朝向图1中的上侧的方向称为-Y方向。以下,有时将+Y方向和-Y方向统称为横向。
几何学校正处理是对图像的形状进行几何学校正的处理。通过执行几何学校正处理,能够校正图像的变形。作为产生图像的变形的状况,存在以下所示的2个状况。第1状况是投射面SC为曲面的情况、或者投射面SC存在凹凸的情况。第2状况是投影仪10从投射面SC的正面以外的位置投射的情况。并且,几何学校正处理也能够用于不显示输入图像IG中的用户不想显示的部位。使用图2,示出具有用户不想显示的部位的输入图像IG的一例。
图2是输入图像IG的一例。如图2所示,输入图像IG具有用户想要显示的显示对象图像ITG。另外,输入图像IG具有附加于显示对象图像ITG的上部的带状的黑色图像BG1和附加于显示对象图像ITG的下部的带状的黑色图像BG2。黑色图像BG1和黑色图像BG2是用户不想显示的图像。在上下附加有带状的黑色图像的状态有时被称为信箱(letterbox)。
通过执行几何学校正处理,以在投射区域PA内只显示出显示对象图像ITG的方式校正输入图像IG的形状,投影仪10能够不在投射面SC上显示黑色图像BG1和黑色图像BG2。投射区域PA是投影仪10能够投射的最大大小的区域。投射面SC具有相对于投射区域PA足够大的区域。投射区域PA的形状为矩形。但是,投射区域PA的形状不限于矩形,也可以是平行四边形和圆形等。
1.2.投影仪10的结构
图3是表示投影仪10的结构的图。投影仪10具有至少一个处理装置12、存储装置14、输入装置15、投射装置16和通信装置18。投影仪10的各要素通过用于通信信息的总线19相互连接。
处理装置12是CPU等计算机。CPU是Central Processing Unit(中央处理单元)的缩写。另外,处理装置12也可以由一个或多个处理器构成。
存储装置14由磁存储装置或闪存ROM(Read Only Memory:只读存储器)等构成。存储装置14是处理装置12可读取的记录介质,存储包含处理装置12执行的控制程序在内的多个程序、表示格子图像KG的格子图像信息KGI、格子坐标信息KCI、以及处理装置12使用的各种信息等。格子图像KG是“第1图像”的一例。格子图像KG包含多个格子点GP。多个格子点GP是作为对显示位置进行校正的对象的对象点TP的候选。格子坐标信息KCI表示格子图像KG所包含的多个格子点GP各自的坐标。该坐标是指包含投射区域PA的XY平面的坐标。格子图像KG的形状有可能根据用户的操作而变更。对应于格子图像KG的变更,格子坐标信息KCI被更新。使用图4和图5,示出初始状态的格子图像KG的例子,使用图6和图7,示出更新后的格子图像KG的例子。
图4是表示初始状态的格子图像KG的一例的图。格子图像KG包含多个格子点GP。格子点GP是“候选点”的一例。图4所示的格子图像KG包含连接沿X轴和Y轴相邻的格子点GP的线段。另外,格子图像KG也可以不包含连接相邻的格子点GP的线段。在以下的记载中,说明为格子图像KG包含格子点GP、以及连接沿X轴和Y轴相邻的格子点GP的线段。在图4中,为了避免复杂化,仅在多个格子点GP的一部分上显示标号。初始状态下的格子图像KG的大小与投射区域PA大体一致。图4例示的格子图像KG所包含的格子点GP_0位于格子图像KG的左上顶点,格子点GP_n-1位于格子图像KG的右下顶点。在以下的说明中,在区分同种要素的情况下,如格子点GP_0、格子点GP_n-1那样使用参考标号。另一方面,在不区分同种要素的情况下,如格子点GP那样,仅使用参考标号中的共同标号。n是与投射区域PA的大小和相邻的格子点GP的间隔对应的1以上的整数。以下,以在投射区域PA中横向的像素数为1280个、纵向的像素数为800个的情况为例进行说明。例如,在横向上相邻的格子点GP的间隔为160像素、在纵向上相邻的格子点GP的间隔为100像素的情况下,在横向上排列的格子点GP的个数为(1280÷160)+1=9个,在纵向上排列的格子点GP的个数为(800÷100)+1=9个。因此,n为9×9=81。
图5是表示存储装置14中的初始状态的格子坐标信息KCI的存储内容的一例的图。格子坐标信息KCI是将识别格子点GP的格子点识别信息、与表示格子点GP的坐标的坐标信息对应起来的信息。格子坐标信息KCI具有n个记录。如图5所示,记录KCIR_0表示格子点GP_0的坐标为(0,0)。记录KCIR_n-1表示格子点GP_n-1的坐标为(1279,799)。
图6是表示更新后的格子图像KG的一例的图。在图6中,表示相对于初始状态的格子图像KG更新格子点GP_i和格子点GP_j的位置后的格子图像KG。进而,在图6中,为了表示更新后的格子图像KG与投射区域PA的位置关系,用虚线表示投射区域PA。实际上,在格子图像KG中也可以不包含表示投射区域PA的框。图6例示的格子图像KG所包含的格子点GP_i以及格子点GP_j位于投射区域PA外。i和j是从0到n-1的整数。
图7是表示更新后的格子坐标信息KCI的存储内容的一例的图。图7所示的记录KCIR_i表示格子点GP_i的坐标为(gp_ix,-40),记录KCIR_j表示格子点GP_j的坐标为(-160,gp_jy)。gp_ix为0至1279的整数。gp_jy为从0至799的整数。这样,格子点GP也可以位于投射区域PA外。
将说明返回到图3。输入装置15是用于由用户输入信息的设备。输入装置15例如是包含功能一览显示键、上键、下键、左键、右键、决定键以及取消键在内的多个按钮。以下,将上键、下键、左键以及右键统称为方向键。或者,输入装置15也可以由指示设备、触摸面板等1种以上的装置构成。或者,投影仪10也可以代替输入装置15而与具有上述多个按钮的遥控器进行通信。以下,说明为输入装置15是包含功能一览显示键、方向键、决定键以及取消键在内的多个按钮。
投射装置16将投射图像CG投射到投射面SC上。投射图像CG的大小是包含在投射区域PA中的大小。使用图8对投射装置16的结构进行说明。
图8是表示投射装置16的一例的图。投射装置16包含光源161、作为光调制装置的一例的3个液晶光阀162R、162G和162B、作为投射光学系统的一例的镜头163、光阀驱动部164等。投射装置16生成通过处理装置12的控制而以液晶光阀162对从光源161射出的光进行调制而得到的调制光,将投射图像CG从镜头163放大投射出。图像显示在投射面SC上。
光源161包含由氙气灯、超高压水银灯、LED(Light Emitting Diode:发光二极管)或激光光源等形成的光源部161a、和降低光源部161a所放射的光的方向偏差的反射器161b。从光源161射出的光被未图示的积分光学系统减少亮度分布的偏差,然后,被未图示的色分离光学系统分离为作为光的3原色的红色、绿色、蓝色的色光成分。红色、绿色、蓝色的色光成分分别入射到液晶光阀162R、162G、162B。
液晶光阀162由在一对透明基板间封入液晶的液晶面板等构成。在液晶光阀162形成有由排列成矩阵状的多个像素162p构成的矩形的像素区域162a。在液晶光阀162中,能够按每个像素162p对液晶施加驱动电压。当光阀驱动部164对各像素162p施加与投射图像信息CGI对应的驱动电压时,各像素162p被设定为与投射图像信息CGI对应的光透射率。因此,从光源161射出的光通过透过像素区域162a而被调制,向投射面SC投射的投射图像CG按每个色光而形成。投射区域PA的大小取决于像素区域162a的大小。
将说明返回到图3。通信装置18是具有用于经由通信网与图像提供装置4或遥控器等其他装置进行通信的通信电路的硬件。通信装置18例如可以包含:连接器或天线,其与经由Wi-Fi(注册商标)的无线通信、Ethernet(注册商标)、IEEE1394、HDMI(注册商标,HDMI:High-Definition Multimedia Interface,高清晰度多媒体接口)、USB、红外线通信、Bluetooth(注册商标)等与通信标准对应;以及通信电路。
1.3.投影仪10的功能
处理装置12从存储装置14读出控制程序,并执行读出的控制程序,由此作为判定部121、生成部122、控制部124、受理部126发挥功能。
生成部122生成图像信息。生成部122具有第1生成部1222和第2生成部1224。控制部124控制液晶光阀162。控制部124具有第1控制部1242和第2控制部1244。受理部126受理用户的操作。受理部126包含第1受理部1262和第2受理部1264。
图9是表示投影仪10的功能的图。投影仪10具有对象点选择模式和对象点调整模式这2个工作模式。对象点选择模式是在多个格子点GP中选择校正显示位置的对象点TP的模式。对象点调整模式是变更所选择的对象点TP的显示位置的模式。以下,分别说明对象点选择模式和对象点调整模式。
1.3.1.对象点选择模式
在输入装置15受理了表示几何学校正处理的执行请求的输入的情况下,投影仪10转移到对象点选择模式。作为执行几何学校正处理的输入例,在按下了功能一览显示键的情况下,投影仪10将表示包含几何学校正处理的多个处理中的各个处理的字符串显示于投射面SC。用户通过操作方向键和决定键,来选择表示几何学校正处理的字符串。用户选择表示几何学校正处理的字符串相当于表示几何学校正处理的执行要求的输入。
在转移到对象点选择模式的情况下,判定部121判定在格子图像KG所包含的多个格子点GP中,是否存在位于投射区域PA外的格子点GP。作为具体的判定方法,判定部121参照格子坐标信息KCI,设变量k为0,判定格子点GP_k是否位于投射区域PA外。k为整数。在本实施方式中,判定部121在格子点GP_k的坐标满足下述条件的情况下,判定为格子点GP_k位于投射区域PA内,在不满足条件的情况下,判定为格子点GP_k位于投射区域PA外。
0≤gp_kx≤1279且0≤gp_ky≤799
其中,gp_kx是格子点GP_k的X坐标值,gp_ky是格子点GP_k的Y坐标值。
判定部121在格子点GP_k位于投射区域PA内的情况下,使变量k增加1。在将变量k增加1后,判定部121在变量k小于n的情况下,判定格子点GP_k是否位于投射区域PA外。在将变量k增加1后,判定部121在变量k与n一致的情况下,判定部121判定为不存在位于投射区域PA外的格子点GP。
另一方面,在格子点GP_k位于投射区域PA外的情况下,判定部121判定为存在位于投射区域PA外的格子点GP。例如,在格子坐标信息KCI处于图7所示的状态的情况下,判定部121进行肯定判定。另外,在格子坐标信息KCI处于图5所示的状态的情况下,判定部121进行否定判定。以下,分别对判定部121的判定结果为肯定的情况和判定部121的判定结果为否定的情况进行说明。
1.3.1.1.存在位于投射区域PA外的格子点GP的情况
在判定部121判定为存在位于投射区域PA外的格子点GP的情况下,第1生成部1222生成缩小格子图像信息SKGI,该缩小格子图像信息SKGI表示将格子图像KG缩小为包含于投射区域PA的大小的缩小格子图像SKG。缩小格子图像SKG是“第2图像”的一例。缩小格子图像信息SKGI是“表示第2图像的图像信息”的一例。在第1实施方式中,第1生成部1222在维持格子图像KG的纵横比的状态下缩小格子图像KG。
图10是表示缩小格子图像SKG的一例的图。图10所示的缩小格子图像SKG是缩小了图6所示的格子图像KG的图像。缩小格子图像SKG包含多个格子点SGP。此外,缩小格子图像SKG包含连接格子点SGP的线段。并且,缩小格子图像SKG包含用于选择对象点TP的选择光标CUS。在图10中,为了表示缩小格子图像SKG与投射区域PA的位置关系,用虚线表示投射区域PA。实际上,缩小格子图像SKG中也可以不包含表示投射区域PA的框。图10所示的选择光标CUS是包围多个格子点SGP中的一个格子点GP的框。
多个格子点SGP与多个格子点GP一对一地对应。例如,格子点SGP_0对应于格子点GP_0,格子点SGP_i对应于格子点GP_i,格子点SGP_j对应于格子点GP_j,格子点SGP_n-1对应于格子点GP_n-1。在图10的例子中,选择光标CUS位于格子点SGP_j+1上,该格子点SGP_j+1位于格子点SGP_j的+X方向旁边。
第1生成部1222通过以格子图像KG所包含的格子点GP_j与投射区域PA的外周相接的方式缩小格子图像KG,生成表示缩小格子图像SKG的缩小格子图像信息SKGI。格子点GP_j是位于图6所示的格子图像KG的外周的多个格子点GP中的、距投射区域PA的外周最远的格子点GP。格子点GP_j是“第2候选点”的一例。
为了生成缩小格子图像信息SKGI,第1生成部1222确定离投射区域PA的外周最远的格子点GP,基于所确定的格子点GP计算缩小率RR,并利用计算出的缩小率缩小格子图像KG,由此生成缩小格子图像信息SKGI。
关于离投射区域PA的外周最远的格子点GP的确定,例如,第1生成部1222根据位于格子图像KG的外周的多个格子点GP的各个格子点GP_m的位置,确定下述所示的与投射区域PA的8个位置关系中,各个格子点GP_m处于哪个位置关系。然后,第1生成部1222通过与确定出的位置关系对应的计算式,计算从各个格子点GP_m到投射区域PA的外周的距离D,将距离D最大的格子点GP确定为距离投射区域PA的外周最远的格子点GP。m为0至n-1的整数。
第1位置关系是格子点GP_m相对于投射区域PA位于-Y方向的关系。在满足0≤gp_mx≤1279且满足gp_my<0的情况下,格子点GP_m相对于投射区域PA处于第1位置关系。gp_mx是格子点GP_m的X坐标值。gp_my是格子点GP_m的Y坐标值。在格子点GP_m相对于投射区域PA处于第1位置关系的情况下,第1生成部1222计算-gp_my作为距离D。
第2位置关系是格子点GP_m相对于投射区域PA位于-Y方向与+X方向之间的方向的关系。在满足gp_mx>1279且满足gp_my<0的情况下,格子点GP_m相对于投射区域PA处于第2位置关系。在格子点GP_m相对于投射区域PA处于第2位置关系的情况下,第1生成部1222计算((gp_mx-1279)2+gp_my2)0.5作为距离D。
第3位置关系是格子点GP_m相对于投射区域PA位于+X方向的关系。在满足gp_mx>1279且满足0≤gp_my≤799的情况下,格子点GP_m相对于投射区域PA处于第3位置关系。在格子点GP_m相对于投射区域PA处于第3位置关系的情况下,第1生成部1222计算gp_mx-1279作为距离D。
第4位置关系是格子点GP_m相对于投射区域PA位于+Y方向与+X方向之间的方向的关系。在满足gp_mx>1279且满足gp_my>799的情况下,格子点GP_m相对于投射区域PA处于第4位置关系。在格子点GP_m相对于投射区域PA处于第4位置关系的情况下,第1生成部1222计算((gp_mx-1279)2+(gp_my-799)2)0.5作为距离D。
第5位置关系是格子点GP_m相对于投射区域PA位于+Y方向的关系。在满足0≤gp_mx≤1279且满足gp_my>799的情况下,格子点GP_m相对于投射区域PA处于第5位置关系。在格子点GP_m相对于投射区域PA处于第5位置关系的情况下,第1生成部1222计算gp_my-799作为距离D。
第6位置关系是格子点GP_m相对于投射区域PA位于+Y方向与-X方向之间的方向的关系。在满足gp_mx<0且满足gp_my>799的情况下,格子点GP_m相对于投射区域PA处于第6位置关系。在格子点GP_m相对于投射区域PA处于第6位置关系的情况下,第1生成部1222计算(gp_mx2+(gp_my-799)2)0.5作为距离D。
第7位置关系是格子点GP_m相对于投射区域PA位于-X方向的关系。在满足gp_mx<0且满足0≤gp_my≤799的情况下,格子点GP_m相对于投射区域PA处于第7位置关系。在格子点GP_m相对于投射区域PA处于第7位置关系的情况下,第1生成部1222计算-gp_mx作为距离D。
第8位置关系是格子点GP_m相对于投射区域PA位于-Y方向与-X方向之间的方向的关系。在满足gp_mx<0且满足gp_my<0的情况下,格子点GP_m相对于投射区域PA处于第8位置关系。在格子点GP_m相对于投射区域PA处于第8位置关系的情况下,第1生成部1222计算(gp_mx2+gp_my2)0.5作为距离D。
关于缩小率RR的计算,第1生成部1222例如执行下述(1)式来计算缩小率RR。
Figure BDA0003181768620000111
其中,(1)式内的重心G是投射区域PA的重心。重心是指在作为对象的形状中1次力矩的总和成为零的点,若是矩形形状,则是指对角线的交点。交点C是将离投射区域PA的外周最远的格子点GP_m和投射区域PA的重心G连接的线段、与投射区域PA的外周的交点。|G-GP_m|表示连接离投射区域PA的外周最远的格子点GP_m和重心G的线段的长度。|G-C|表示连接重心G和交点C的线段的长度。
若使用距离投射区域PA的外周最远的格子点GP_m的坐标值(gp_mx,gp_my)、交点C的坐标值(pa_cx,pa_cy)、重心G的坐标值(gx,gy)来表现,则(1)式能够变形为(2)式。
Figure BDA0003181768620000112
使用图11,对距离投射区域PA的外周最远的格子点GP的确定具体例和缩小率RR的计算具体例进行说明。
图11是表示距离投射区域PA的外周最远的格子点GP的确定例和缩小率RR的计算例的图。图11所示的格子点GP是位于格子图像KG的外周的多个格子点GP。为了简化说明,仅对位于格子图像KG的外周的多个格子点GP中的格子点GP_i以及格子点GP_j进行说明。格子点GP_i处于上述8个位置关系中的第1位置关系。因此,由于格子点GP_i的距离D_i为-gp_my,所以若参照图6所示的格子坐标信息KCI,则距离D_i=-gp_my=-(-40)=40。另一方面,格子点GP_j处于第7位置关系。由于格子点GP_j的距离D_j是-gp_mx,所以若参照图6所示的格子坐标信息KCI,则距离D_j=-gp_mx=-(-160)=160。因此,由于距离D_j比距离D_i大,所以第1生成部1222将距投射区域PA的外周最远的格子点GP确定为格子点GP_j。接着,第1生成部1222根据式(2)计算缩小率RR。在图11中,示出了投射区域PA的重心G、将格子点GP_j的坐标和投射区域PA的重心G连接的线段L、与投射区域PA的外周的交点C。
第1生成部1222通过按照缩小率RR缩小格子图像KG,生成表示缩小格子图像SKG的缩小格子图像信息SKGI。
第1控制部1242控制液晶光阀162,以使缩小格子图像SKG被投射到投射面SC。具体而言,第1控制部1242控制液晶光阀162,根据缩小格子图像信息SKGI对从光源161射出的光进行调制。对液晶光阀162的控制的结果是,投射装置16将缩小格子图像SKG投射到投射面SC。
第1受理部1262在缩小格子图像SKG被投射到投射面SC的状态下,受理在多个格子点GP中选择对象点TP的输入。选择对象点TP的输入是“第1输入”的一例。
图12是表示缩小格子图像SKG的投射例的图。图12所示的图表示将图10所示的缩小格子图像SKG投射到投射面SC上的状态。并且,在图12中,为了表示投射区域PA相对于投射面SC的位置,用虚线表示投射区域PA。在图12的例子中,选择光标CUS位于格子点SGP_j+1上。例如,在用户按下1次左键的情况下,选择光标CUS移动到位于格子点SGP_j+1的-X方向旁边的格子点SGP_j。第1受理部1262受理决定键的按下输入作为选择对象点TP的输入。在按下了决定键的情况下,处理装置12选择被选择光标CUS包围的格子点GP作为对象点TP。
1.3.1.2.不存在位于投射区域PA外的格子点GP的情况
将说明返回到图9。在判定部121判定为不存在位于投射区域PA外的格子点GP的情况下,第1控制部1242将格子图像KG投射到投射面SC。具体而言,第1控制部1242控制液晶光阀162,根据格子图像信息KGI对从光源161射出的光进行调制。对液晶光阀162的控制的结果是,投射装置16将格子图像KG投射到投射面SC。
第1受理部1262在格子图像KG被投射到投射面SC的状态下,受理在多个格子点GP中选择对象点TP的输入。
1.3.2.对象点调整模式
在第1受理部1262受理了选择对象点TP的输入的情况下,投影仪10转变为对象点调整模式。在判定部121的判定结果为肯定而向投射面SC投射了缩小格子图像SKG的情况下、和判定部121的判定结果为否定而向投射面SC投射了格子图像KG的情况下,对象点调整模式成为不同的动作。对各个情况进行说明。
1.3.2.1.向投射面SC投射了缩小格子图像SKG的情况
在向投射面SC投射了缩小格子图像SKG的状态下转变为对象点调整模式的情况下,第2控制部1244控制液晶光阀162以将调整图像AG投射到投射面SC。调整图像AG是“第3图像”的一例。对液晶光阀162的控制的结果是,投射装置16将调整图像AG投射到投射面SC。
图13是调整图像AG的一例。调整图像AG是将缩小格子图像SKG放大为格子图像KG的大小的图像。具体而言,在调整图像AG中包含放大了缩小格子图像SKG的图像、和代替选择光标CUS的校正光标CUC。放大了缩小格子图像SKG的图像有以下所示的两种方式。第1方式是将缩小格子图像SKG实际放大而得到的图像。第2方式是格子图像KG本身。只要能够进行以下的处理,则可以是第1方式、第2方式中的任意一个,但以下,将放大了缩小格子图像SKG的图像设为第1方式来进行说明。处理装置12基于缩小格子图像信息SKGI,生成表示调整图像AG的调整图像信息AGI。
校正光标CUC用于变更对象点TP的显示位置。图13所示的校正光标CUC由包围对象点TP的框、和边与该框的4条边相邻的4个大致正三角形构成。在图13的例子中,校正光标CUC位于格子点GP_j上。即,在图13中,示出了格子点GP_j是对象点TP的情况。
在图13所示的调整图像AG中,存在位于投射区域PA外侧的部分。具体而言,格子点GP_i、格子点GP_j以及校正光标CUC位于投射区域PA外。
第2受理部1264在调整图像AG被投射到投射面SC的状态下,受理变更对象点TP的显示位置的输入。变更对象点TP的显示位置的输入是“第2输入”的一例。
图14是调整图像AG的投射例。图14所示的图表示将图13所示的调整图像AG投射到投射面SC的状态。并且,在图14中,为了表示投射区域PA相对于投射面SC的位置,用虚线表示投射区域PA。在投射面SC投射调整图像AG中的投射区域PA所包含的图像。由于格子点GP_i、格子点GP_j以及校正光标CUC位于投射区域PA外,因此不显示在投射面SC上。
第2受理部1264受理用户按下方向键的输入,作为变更对象点TP的显示位置的输入。例如,在第2受理部1264受理了按下1次上键的输入的情况下,格子点GP_j以及校正光标CUC的位置向-Y方向移动。但是,移动后的格子点GP_j以及校正光标CUC位于投射区域PA外,因此不显示在投射面SC上。在图14的例子中,在投射区域PA所显示的图像中,在用户按下了1次上按键的情况下被更新的部位是格子点GP_j与格子点GP_j+1之间的线段。更新后,该线段的斜率发生变化。
第2生成部1224基于变更对象点TP的显示位置的输入,生成表示校正了输入图像IG的形状的投射图像CG的投射图像信息CGI。使用图15和图16对第2生成部1224的处理进行说明。
图15是表示输入图像IG所包含的多个单位区域UA的一例的图。图15所示的格子点GP_a、格子点GP_a+1、格子点GP_a+2、格子点GP_b、格子点GP_b+1、格子点GP_b+2、格子点GP_c、格子点GP_c+1以及格子点GP_c+2分别在单位区域UA1、单位区域UA2、单位区域UA3以及单位区域UA4中位于顶点。a、b和c为0以上且n-2以下的整数。并且,格子点GP_b位于格子点GP_a的+Y方向的旁边,格子点GP_c位于格子点GP_b的+Y方向的旁边。单位区域UA1、单位区域UA2、单位区域UA3以及单位区域UA4是输入图像IG的一部分。如图15所示,校正前的单位区域UA各自的形状为矩形。
图16是表示校正后的多个单位区域UA的一例的图。在图16中,示出多个单位区域UA的形状已变形的状态。具体而言,在图16中,格子点GP_b+1向-Y方向移动,单位区域UA1、单位区域UA2、单位区域UA3以及单位区域UA4变形。第2生成部1224生成表示将变形前的单位区域UA内的图像校正为收敛于变形后的单位区域UA的图像的图像信息。进而,第2生成部1224通过将校正为了收敛于变形后的单位区域UA的图像中的、位于投射区域PA外的部分删除,生成表示投射图像CG的投射区域图像信息CGI。
另外,第2生成部1224基于变更后的对象点TP的显示位置,更新格子图像信息KGI以及格子坐标信息KCI。在生成了投射图像信息CGI后,投影仪10结束几何学校正处理。在几何学校正处理结束后,控制部124控制液晶光阀162,使得投射图像CG被投射到投射面SC。对液晶光阀162的控制的结果是,投射装置16将几何学校正后的投射图像CG投射到投射面SC。
1.3.2.2.向投射面SC投射了格子图像KG的情况
在向投射面SC投射了格子图像KG的状态下转变为对象点调整模式的情况下,第2控制部1244控制液晶光阀162,以使调整图像AG被投射到投射面SC。对液晶光阀162的控制的结果是,投射装置16将调整图像AG投射到投射面SC。第2受理部1264在调整图像AG被投射到投射面SC的状态下,受理变更对象点TP的显示位置的输入。
第2生成部1224基于变更后的对象点TP的显示位置,生成表示校正了输入图像IG的形状的投射图像CG的投射图像信息CGI。另外,第2生成部1224基于变更后的对象点TP的显示位置,更新格子图像信息KGI以及格子坐标信息KCI。在生成了投射图像信息CGI后,投影仪10结束几何学校正处理。在几何学校正处理结束后,控制部124控制液晶光阀162,使得投射图像CG被投射到投射面SC。对液晶光阀162的控制的结果是,投射装置16将投射图像CG投射到投射面SC。
1.4.投影仪10的动作
使用图17和图18对投影仪10的动作进行说明。
图17和图18是表示投影仪10的动作的流程图。处理装置12在步骤S1中受理表示几何学校正处理的执行请求的输入。
在受理了该输入的情况下,投影仪10转变为对象点选择模式。在转变为对象点选择模式后,处理装置12在步骤S3中,判定在格子图像KG所包含的多个格子点GP中,是否存在位于投射区域PA外的格子点GP。步骤S3的处理相当于判定部121。
在步骤S3的判定结果为肯定的情况下,即在步骤S3中为“是”的情况下,处理装置12在步骤S5中生成表示包含选择光标CUS的缩小格子图像SKG的缩小格子图像信息SKGI。步骤S5的处理相当于第1生成部1222。在步骤S5的处理结束后,处理装置12在步骤S7的处理中,以基于缩小格子图像信息SKGI将缩小格子图像SKG投射到投射面SC的方式控制液晶光阀162。对液晶光阀162的控制的结果是,投射装置16将缩小格子图像SKG投射到投射面SC。
另一方面,在步骤S3的判定结果为否定的情况下,即在步骤S3中为“否”的情况下,处理装置12在步骤S9中控制液晶光阀162,以使包含选择光标CUS的格子图像KG被投射到投射面SC。对液晶光阀162的控制的结果是,投射装置16将格子图像KG投射到投射面SC。步骤S7的处理以及步骤S9的处理相当于第1控制部1242。
在步骤S7的处理结束后或者步骤S9的处理结束后,处理装置12在步骤S11中等待基于用户操作的输入。处理装置12在步骤S13中,判定是否受理了用户对方向键的按下输入来作为基于用户操作的输入。在判定为受理了用户对方向键的按下输入的情况下、即在步骤S13为“是”的情况下,处理装置12在步骤S15中,使选择光标CUS对应于方向键的按下输入而移动。在步骤S15的处理结束后,处理装置12使处理返回到步骤S11。
在判定为没有受理用户对方向键的按下输入的情况下、即在步骤S13为“否”的情况下,处理装置12在步骤S17中判定是否受理了决定键的按下输入。在未受理决定键的按下输入的情况下、即在步骤S17为“否”的情况下,例如在受理了决定键以及方向键以外的键的按下输入的情况下,处理装置12使处理返回到步骤S11。步骤S17为“是”的情况相当于第1受理部1262。
在判定为受理了决定键的按下输入的情况下、即在步骤S17为“是”的情况下,投影仪10转移到对象点调整模式,处理装置12在步骤S21中判定是否在投射面SC上投射了缩小格子图像SKG。
在判定为在投射面SC上投射了缩小格子图像SKG的情况下、即在步骤S21为“是”的情况下,处理装置12在步骤S23中,将缩小格子图像SKG放大为格子图像KG的大小,生成调整图像AG。在步骤S23的处理结束后,处理装置12在步骤S25中控制液晶光阀162,以使调整图像AG被投射到投射面SC。对液晶光阀162的控制的结果是,投射装置16将调整图像AG投射到投射面SC。
在判定为在投射面SC上未投射缩小格子图像SKG的情况下、即在步骤S21为“否”的情况下,处理装置12在步骤S27中控制液晶光阀162,以使将校正光标CUC与格子图像KG重叠而得到的调整图像AG被投射到投射面SC。对液晶光阀162的控制的结果是,投射装置16将调整图像AG投射到投射面SC。步骤S25的处理和步骤S27的处理相当于第2控制部1244。
在步骤S25的处理结束后、或者在步骤S27的处理结束后,处理装置12在步骤S29中等待基于用户操作的输入。处理装置12在步骤S31中,判定是否受理了方向键的按下输入来作为基于用户操作的输入。在判定为受理了方向键的按下输入的情况下、即在步骤S31为“是”的情况下,处理装置12在步骤S33中,对应于方向键的按下输入来变更校正光标CUC和对象点TP的位置。在步骤S33的处理结束后,处理装置12在步骤S35中,根据变更后的对象点TP的位置,生成对输入图像IG进行校正而得到的投射图像信息CGI。步骤S35的处理相当于第2生成部1224。在步骤S35的处理结束后,处理装置12使处理返回到步骤S29。
在判定为未受理方向键的按下输入的情况下、即在步骤S31为“否”的情况下,处理装置12在步骤S37中判定是否受理了决定键的按下输入。在判定为受理了决定键的按下输入的情况下、即在步骤S37为“否”的情况下,例如在受理了决定键以及方向键以外的键的按下输入的情况下,处理装置12使处理返回到步骤S29。
在判定为受理了决定键的按下输入的情况下、即在步骤S37为“是”的情况下,处理装置12在步骤S39中,将询问是否结束了全部校正的字符串投射到投射面SC。询问是否结束了所有校正的字符串例如是“在全部校正结束的情况下请按下决定键,在有还要校正的部位的情况下请按下取消键。”。处理装置12在步骤S41中等待基于用户操作的输入。处理装置12在步骤S43中判定是否受理了决定键的按下输入。在判定为未受理决定键的按下输入的情况下、即在步骤S43为“否”的情况下,具体而言,在按下了取消键的情况下,使处理返回到步骤S3。
在判定为受理了决定键的按下输入的情况下、即在步骤S43为“是”的情况下,处理装置12在步骤S45中控制液晶光阀162,以使投射图像信息CGI所表示的投射图像CG被投射到投射面SC。对液晶光阀162的控制的结果是,投射装置16将投射图像CG投射到投射面SC。在步骤S45的处理结束后,处理装置12结束图17和图18所示的一系列处理。
1.5.第1实施方式的总结
如以上说明的那样,投影仪10将校正了输入图像IG的形状的投射图像CG投射到投射面SC。投影仪10所具有的处理装置12作为第1生成部1222、第1控制部1242、第1受理部1262、第2控制部1244、第2受理部1264以及第2生成部1224发挥功能。第1生成部1222生成缩小格子图像信息SKGI,该缩小格子图像信息SKGI表示将包含作为校正显示位置的候选的多个格子点GP的格子图像KG缩小为包含于投影仪10能够投射的最大大小的区域即投射区域PA中的大小的缩小格子图像SKG。格子点GP是“候选点”的一例。格子图像KG是“第1图像”的一例。缩小格子图像SKG是“第2图像”的一例。缩小格子图像信息SKGI是“表示第2图像的图像信息”的一例。第1控制部1242控制液晶光阀162,将缩小格子图像SKG投射到投射面SC。第1受理部1262在缩小格子图像SKG被投射到投射面SC的状态下,受理在多个格子点GP中选择对显示位置进行校正的对象即对象点TP的输入。选择对象点TP的输入是“第1输入”的一例。第2控制部1244在受理了选择对象点TP的输入后,控制液晶光阀162,将调整图像AG投射到投射面SC,该调整图像AG是将缩小格子图像SKG放大为格子图像KG的大小而得到的。调整图像AG是“第3图像”的一例。
第2受理部1264在调整图像AG被投射到投射面SC的状态下,受理变更对象点TP的显示位置的输入。变更对象点TP的显示位置的输入是“第2输入”的一例。第2生成部1224基于变更后的对象点TP的显示位置,生成表示校正了输入图像IG的形状的投射图像CG的投射图像信息CGI。投射图像信息CGI是“表示投射图像的图像信息”的一例。控制部124控制液晶光阀162,将投射图像CG投射到投射面SC。
根据第1实施方式,在选择对象点TP的情况下,缩小格子图像SKG被投射到投射面SC,因此,用户能够容易地选择本来位于投射区域PA外的格子点GP。但是,假设在投射了缩小格子图像SKG的状态下变更对象点TP的坐标时,缩小格子图像SKG与实际用于校正的格子图像KG为不同的形状,因此用户难以将输入图像IG校正为期望的形状。例如,在立体物的表面为投射面SC的情况下,即使将缩小格子图像SKG投射到立体物上并变更对象点TP的显示位置,由于缩小格子图像SKG与格子图像KG的大小不同,因此无法以使输入图像IG与立体物的形状一致的方式进行校正。
因此,在第1实施方式中,在投射了调整图像AG的状态下变更对象点TP的显示位置,所以能够保持实际用于校正的格子图像KG的形状来变更对象点TP的显示位置,用户容易将输入图像IG校正为期望的形状。投影仪10即使不与具有画面的计算机连接,也能够兼顾格子图像KG的整体形状的确认和基于对象点TP的显示位置变更的输入图像IG的形状对准。
在图2所示的输入图像IG中不显示黑色图像BG1和黑色图像BG2的情况下,图19示出由用户更新后的调整图像AG的投射例,图20示出基于更新后的调整图像AG生成的投射图像信息CGI所表示的投射图像CG的投射例。
图19是表示调整图像AG的投射例的图。为了不显示黑色图像BG1和黑色图像BG2,用户使位于调整图像AG内的最靠+Y方向的格子点GP组的显示位置向+Y方向移动,将其调整为处于投射区域PA外。同样地,用户使位于调整图像AG内的最靠近-Y方向的格子点GP组的显示位置向-Y方向移动,将其调整为处于投射区域PA外。
图20是表示投射图像CG的投射例的图。第2生成部1224基于图19所示的调整图像AG,生成投射图像信息CGI。由于黑色图像BG1和黑色图像BG2位于投射区域PA外,因此在投射面SC上不显示黑色图像BG1和黑色图像BG2。在投射面SC上显示有显示对象图像ITG的下部向+Y方向被拉伸且显示对象图像ITG的上部向-Y方向被拉伸的图像。
另外,将缩小格子图像SKG投射到投射面SC包含:缩小格子图像KG,使得多个格子点GP中的第1格子点与投射区域PA的外周相接。
第1格子点是多个格子点GP中的位于格子图像KG的外周且距离投射区域PA的外周最远的格子点。第1格子点是“第2候选点”的一例。
通过将缩小格子图像KG以使得第1格子点与投射区域PA的外周相接而得到的缩小格子图像SKG投射到投射面SC,和投射缩小格子图像KG以使得不远于第1格子点的格子点与投射区域PA的外周相接而得到的缩小格子图像SKG的方式相比,处于更多的格子点SGP显示于投射面SC的趋势。因此,用户能够容易地选择更多的格子点GP。
2.变形例
以上的各方式能够多样地变形。以下例示具体的变形方式。从以下的例示中任意选择的2个以上的方式能够在相互不矛盾的范围内适当地合并。另外,对于在以下例示的变形例中作用、功能与实施方式相同的要素,沿用在以上的说明中参考的标号,适当地省略各自的详细说明。
2.1.第1变形例
在第1实施方式中,在判定部121的判定结果为否定的情况下,投射装置16将调整图像AG投射到投射面SC,但不限于此。例如,在判定部121的判定结果为否定的情况下,也可以投射格子图像KG。换言之,投影仪10也可以不显示校正光标CUC。为了表示对象点TP,例如,投射装置16投射对象点TP的颜色和对象点以外的格子点GP的颜色彼此不同的格子图像KG。同样地,投影仪10也可以不显示选择光标CUS。例如,投射装置16投射当前选择的格子点GP的颜色与多个格子点GP中当前选择的格子点GP以外的格子点的颜色互不相同的格子图像KG。
以上,第1变形例中的投影仪10所具有的处理装置12作为判定部121、第1生成部1222、第1控制部1242、第1受理部1262、第2受理部1264以及第2生成部1224发挥功能。判定部121判定在格子图像KG所包含的多个格子点GP中,是否存在位于投射区域PA外的格子点GP。第1生成部1222在判定部121的判定结果为肯定的情况下,生成表示缩小格子图像SKG的缩小格子图像信息SKGI。第1控制部1242在判定部121判定为不存在位于投射区域PA外的格子点GP的情况下,将格子图像KG投射到投射面SC。第1受理部1262在格子图像KG被投射到投射面SC的状态下,受理在多个格子点GP中选择对象点TP的输入。
第2受理部1264在格子图像KG被投射到投射面SC的状态下,受理变更对象点TP的显示位置的输入。第2生成部1224基于变更对象点TP的显示位置的输入,生成表示校正了输入图像IG的形状的投射图像CG的投射图像信息CGI。控制部124将投射图像CG投射到投射面SC。
根据第1变形例,当不存在位于投射区域PA外的格子点GP时,投射格子图像KG,因此能够保持实际用于校正的格子图像KG的形状地选择对象点TP。
2.2.第2变形例
在上述的各方式中,处理装置12也可以根据相对于格子图像KG大小的缩小格子图像SKG的大小,生成缩小了输入图像IG的缩小输入图像SIG,并对液晶光阀162进行控制,以投射在缩小格子图像SKG上重叠了缩小输入图像SIG的图像。缩小输入图像SIG是“第4图像”的一例。本变形例中的第1格子点可以与其他实施方式及变形例中的第1格子点相同,也可以不同。第2变形例中的“第1格子点”是“第1候选点”的一例。
在第2变形例中,将格子图像KG重叠于输入图像IG的情况下的、输入图像IG的第1部分的位置与多个格子点GP中的第1格子点的位置的关系和与第1部分对应的缩小输入图像SIG的部分的位置与缩小格子图像SKG中的第1格子点的位置的关系一致。第1部分是输入图像IG内的任意部分。
图21是表示使缩小输入图像SIG重叠于缩小格子图像SKG的图像的投射例的图。根据第2变形例,用户能够一边观察缩小输入图像SIG,一边选择作为校正显示位置的对象的对象点TP。另外,缩小格子图像SKG和缩小输入图像SIG以相同的缩小率缩小,因此格子图像KG所包含的格子点GP的位置与输入图像IG内的一部分位置的关系和缩小格子图像SKG所包含的格子点SGP的位置与缩小输入图像SIG内的一部分位置的关系一致。例如,与格子图像KG中包含的格子点SGP_j重叠的输入图像IG的部分所对应的缩小输入图像SIG的部分与缩小格子图像SKG中包含的格子点SGP_j重叠。因此,根据第2变形例,与使输入图像IG与缩小格子图像SKG重叠的方式相比,用户能够容易地确定与用户想要变更输入图像IG形状的位置对应的格子点GP。
2.3.第3变形例
在上述的各方式中,处理装置12也可以控制液晶光阀162,以投射在调整图像AG上重叠了输入图像IG的图像。
2.4.第4变形例
在上述的各方式中,处理装置12也可以控制液晶光阀162,以投射在调整图像AG上重叠了辅助图像HG的图像,该辅助图像HG对变更对象点TP的显示位置的输入进行辅助。辅助图像HG例如具有以下所示的2个方式。
图22是表示在调整图像AG上重叠了第1方式中的辅助图像HG的图像的投射例的图。第1方式中的辅助图像HG是包含位于投射区域PA外的校正光标CUC和对象点TP的图像。图22所示的辅助图像HG表示对象点TP是格子点GP_j的例子。重叠第1方式中的辅助图像HG的位置可以是投射区域PA内的任意部分,但优选校正光标CUC与本来的位置远离。处理装置12在受理了方向键的按下输入时,变更格子点GP_j和校正光标CUC的位置,并且更新辅助图像HG。
在第1实施方式中,在对象点TP位于投射区域PA外的情况下,有时即使用户按下方向键,投射区域PA内的图像也不变化,会导致用户有时会担心实际上是否按下了方向键。通过使第1方式中的辅助图像HG与调整图像AG重叠,即使对象点TP在投射区域PA外,在按下方向键的情况下,第1方式中的辅助图像HG也被更新,因此用户能够确认实际上按下了方向键。并且,用户通过观察第1方式中的辅助图像HG,能够确认对象点TP的显示位置已被变更。
另外,在将辅助图像HG显示于校正光标CUC与本来的位置远离的位置的情况下,调整图像AG的接近校正光标CUC的部分显示于投射面SC,因此用户容易确认按下方向键时的调整图像AG的形状变化。
图23是表示在调整图像AG上重叠了第2方式中的辅助图像HG的图像的投射例的图。第2方式中的辅助图像HG是表示用户按下的方向键的图像。图23所示的辅助图像HG为朝向-X方向的箭头,表示上键被按下。重叠第2方式中的辅助图像HG的位置可以是投射区域PA内的任意部分,但优选校正光标CUC与本来的位置接近。
处理装置12在受理了方向键的按下输入时,变更格子点GP_j和校正光标CUC的位置,并且使表示被按下的方向键的辅助图像HG与调整图像AG重叠。处理装置12在使辅助图像HG与调整图像AG重叠后经过了规定的几秒后,停止辅助图像HG的重叠。
通过使第2方式中的辅助图像HG与调整图像AG重叠,即使对象点TP在投射区域PA外,在按下方向键的情况下,第2方式中的辅助图像HG也被显示,因此用户能够确认实际上按下了方向键。
2.5.第5变形例
在上述的各方式中,第1生成部1222计算从位于格子图像KG的外周的多个格子点GP的各个格子点GP_m到投射区域PA的外周的距离D,将距离D最大的格子点GP确定为距离投射区域PA的外周最远的格子点GP,从而计算出缩小率RR,但不限于此。例如,第1生成部1222也可以对位于格子图像KG的外周的多个格子点GP的各个格子点GP_m计算缩小率RR,并按照最小的缩小率RR,缩小格子图像KG,由此生成表示缩小格子图像SKG的缩小格子图像信息SKGI。
图24是表示第5变形例中的缩小格子图像信息SKGI的生成例的图。为了简化说明,在图24中,仅对位于格子图像KG的外周的多个格子点GP中的格子点GP_i以及格子点GP_j进行说明。并且,为了简化说明,说明为重心G的坐标值是(600,400),格子点GP_i的坐标值是(600,0),格子点GP_j的坐标值是(-40,400)。
即,说明为从格子点GP_i到投射区域PA的外周的距离D_i和从格子点GP_j到投射区域PA的外周的距离D_j为相同的值40。
另外,图24所示的交点C_i是将格子点GP_i与投射区域PA的重心G连接的线段L_i和投射区域PA的外周的交点。交点C_i的坐标值是(600,0)。同样地,图24所示的交点C_j是将格子点GP_j与投射区域PA的重心G连接的线段L_j和投射区域PA的外周的交点。交点C_j的坐标值是(0,400)。根据(1)式,如下述(3)式那样求出格子点GP_i的缩小率RR_i。
Figure BDA0003181768620000231
同样地,格子点GP_j的缩小率RR_j通过(1)式,如下述(4)式所示那样求出。此外,在第5变形例中,格子点GP_i是“第1候选点”的一例。线段L_i是“第1线段”的一例。缩小率RR_i是“第1比例”的一例。格子点GP_j是“第2候选点”的一例。线段L_j是“第2线段”的一例。缩小率RR_j是“第2比例”的一例。
Figure BDA0003181768620000232
为了简化说明,使用具体的数值来说明缩小率RR_i与缩小率RR_j的大小关系。当(3)式的|G-GP_i|为440、|G-C_i|为400时,缩小率RR_i约为0.90。同样地,当(4)式的|G-GP_j|为680、|G-C_j|为640时,缩小率RR_j被计算为约0.94。因此,第1生成部1222确定为缩小率RR_i小于缩小率RR_j。第1生成部1222按照缩小率RR_i来缩小格子图像KG,由此生成表示缩小格子图像SKG的缩小格子图像信息SKGI。另外,在上述的说明中,使用具体的数值进行了比较,但在投射区域PA的横向宽度比投射区域PA的纵向宽度长的情况下,缩小率RR_i比缩小率RR_j小。
另外,在上述的记载中,第1生成部1222确定了缩小率RR_i与缩小率RR_j的大小关系,但也可以确定缩小率RR_i的平方值与缩小率RR_j的平方值的大小关系。是因为缩小率RR_i和缩小率RR_j为正值,因此缩小率RR_i与缩小率RR_j的大小关系和缩小率RR_i的平方值与缩小率RR_j的平方值的大小关系相同。第1生成部1222也可以确定缩小率RR_i的平方值和缩小率RR_j的平方值中的较小的平方值,并按照所确定的平方值的正的平方根值来缩小格子图像KG,由此生成缩小格子图像信息SKGI。通过确定缩小率RR_i的平方值和缩小率RR_j的平方值中的较小的平方值,第1生成部1222能够削减平方根的运算处理的次数。
通过对位于格子图像KG的外周的多个格子点GP的各个格子点GP_m计算缩小率RR,并按照最小的缩小率RR缩小格子图像KG,第1生成部1222能够生成缩小格子图像信息SKGI,该缩小格子图像信息SKGI表示位于格子图像KG的外周的多个格子点GP全部都包含在投射区域PA内那样的缩小格子图像SKG。使用图25以及图26,示出投射了按照缩小率RR_j缩小了格子图像KG的情况下的缩小格子图像SKG的例子、和投射了按照缩小率RR_i缩小了格子图像KG的情况下的缩小格子图像SKG的例子。
图25是表示按照缩小率RR_j缩小了格子图像KG的情况下的缩小格子图像SKG的投射例的图。在图25的例子中,缩小格子图像SKG所包含的所有格子点SGP中的格子点SGP_i位于投射区域PA外,因此在投射面SC上未显示格子点SGP_i。
图26表示按照缩小率RR_i缩小了格子图像KG的情况下的缩小格子图像SKG的投射例。在图26的例子中,缩小格子图像SKG所包含的所有格子点SGP都位于投射区域PA内,因此在投射面SC上显示所有格子点SGP。另外,在3个以上的格子点GP位于投射区域PA外的情况下,如果比较2个格子点GP的缩小率而选择较小的缩小率,则能够显示至少一部分的格子点SGP,如果使用所有格子点GP的缩小率中的最小缩小率,则能够显示所有的格子点SGP。
以上,在第5变形例中,将缩小格子图像SKG投射到投射面SC包含:按照多个格子点GP中的位于格子图像KG的外周的第1格子点的第1缩小率RR1以及第2格子点的第2缩小率RR2中的较小的缩小率来缩小格子图像KG。第5变形例中的第1格子点是“第2候选点”的一例,第2格子点是“第3候选点”的一例。第1缩小率RR1是“第1比例”的一例,第2缩小率RR2是“第2比例”的一例。第1缩小率RR1是从第1线段与投射区域PA的外周的交点到重心G的长度相对于连接第1格子点和投射区域PA的重心G的第1线段的长度的比例。第2缩小率RR2是从第2线段与投射区域PA的外周的交点到重心G的长度相对于连接第2候选点和重心G的第2线段的长度的比例。
根据第5变形例,第1生成部1222能够生成表示第1格子点以及第2格子点都包含于投射区域PA的缩小格子图像SKG的缩小格子图像信息SKGI。
2.6.第6变形例
在上述的各方式中,说明了第1图像是包含多个格子点GP的图像,多个候选点的一例是多个格子点GP,但不限于此。例如,也可以是,第1图像是第6变形例中的选择光标CUSa重叠于单色图像MG的图像,多个候选点是该单色图像MG内的所有点。
图27是表示第6变形例中的对象点选择模式的一例的图。选择光标CUSa是箭头的形状,表示箭头的前端被选择为对象点TP的点。
例如,在用户按下1次左键的情况下,选择光标CUSa在-X方向上移动单色图像MG内的规定的像素数。第1受理部1262受理决定键的按下输入作为选择对象点TP的输入。在按下了决定键的情况下,处理装置12对选择光标CUSa的前端的点进行选择来作为对象点TP。
图28是表示第6变形例中的对象点调整模式的一例的图。在对象点调整模式中,第6变形例中的调整图像AGa包含对象点TP和包围对象点TP的8个格子点GP。但是,如图28所示,在对象点TP位于单色图像MG的外周的情况下,在投射区域PA上显示对象点TP以及8个格子点GP中的一部分。第2受理部1264受理用户对方向键的按下输入,作为变更对象点TP的显示位置的输入。以后的处理与第1实施方式相同。
2.7.第7变形例
在上述的方式中,第1生成部1222在维持格子图像KG的纵横比的状态下缩小格子图像KG,但不限于此。例如,第1生成部1222也可以不维持格子图像KG的纵横比,而以缩小格子图像SKG尽可能大的方式缩小格子图像KG。
2.8.其他变形例
在上述各方式的投射装置16中,使用液晶光阀作为光调制装置,但光调制装置不限于液晶光阀,能够适当变更。例如,光调制装置也可以是使用了3张反射型的液晶面板的结构。另外,光调制装置也可以是使用了1张液晶面板的方式、使用了3张数字微镜器件(DMD)的方式、使用了1张数字微镜器件的方式等结构。在使用仅1张液晶面板或DMD作为光调制装置的情况下,不需要相当于颜色分离光学系统或颜色合成光学系统的部件。另外,除了液晶面板以及DMD以外,还能够采用可对光源发出的光进行调制的结构作为光调制装置。
另外,在上述的各方式中,通过处理装置12执行程序而实现的要素的全部或一部分例如可以通过FPGA(Field Programmable Gate Array:现场可编程门阵列)或ASIC(Application Specific Integrated Circuit:专用集成电路)等电子电路以硬件实现,也可以通过软件与硬件的协作来实现。另外,也可以作为上述各方式的投影仪10的图像校正方法来确定。

Claims (7)

1.一种图像校正方法,其是投影仪所进行的图像校正方法,该图像校正方法包含:
将第2图像投射到投射面,该第2图像是将包含多个候选点的第1图像缩小为包含在投射区域中的大小而得到的,其中,所述多个候选点是要进行显示位置的校正的候选,所述投射区域是所述投影仪能够投射的最大大小的区域;
在将所述第2图像投射到了所述投射面的状态下,受理在所述多个候选点中选择对象点的第1输入,该对象点是要进行显示位置的校正的对象;
在受理了所述第1输入后,将第3图像投射到所述投射面,该第3图像是将所述第2图像放大为所述第1图像的大小而得到的;
在将所述第3图像投射到了所述投射面的状态下,受理变更所述对象点的显示位置的第2输入;以及
将根据所述第2输入校正了输入图像的形状后的投射图像投射到所述投射面。
2.根据权利要求1所述的图像校正方法,其中,该图像校正方法包含:
判定在所述第1图像所包含的所述多个候选点中,是否存在位于所述投射区域外的候选点;
在判定为存在位于所述投射区域外的候选点的情况下,将所述第2图像投射到所述投射面;
在判定为不存在位于所述投射区域外的候选点的情况下,将所述第1图像投射到所述投射面;
在将所述第1图像投射到了所述投射面的状态下,受理所述第1输入和所述第2输入;以及
根据所述第2输入,将所述投射图像投射到所述投射面。
3.根据权利要求1或2所述的图像校正方法,其中,
将所述第2图像投射到所述投射面包含:使所述第2图像重叠于缩小所述输入图像而得到的第4图像来进行投射,
将所述第1图像重叠于所述输入图像的情况下的、所述输入图像的第1部分的位置与所述多个候选点中的第1候选点的位置的关系和与所述第1部分对应的所述第4图像的部分的位置与所述第2图像中的所述第1候选点的位置的关系一致。
4.根据权利要求1或2所述的图像校正方法,其中,
将所述第2图像投射到所述投射面包含:缩小所述第1图像,使得所述多个候选点中位于所述第1图像的外周且距所述投射区域的外周最远的第2候选点与所述投射区域的外周相接。
5.根据权利要求1或2所述的图像校正方法,其中,
将所述第2图像投射到所述投射面包含:按照与所述多个候选点中位于所述第1图像的外周的第2候选点相关的第1比例、以及与位于所述第1图像的外周的第3候选点相关的第2比例中的较小的比例,缩小所述第1图像,
所述第1比例是从第1线段与所述投射区域的外周的交点到所述投射区域的重心的长度相对于所述第1线段的长度的比例,该第1线段连接所述第2候选点和所述重心,
所述第2比例是第2线段与所述投射区域的外周的交点到所述重心的长度相对于所述第2线段的长度的比例,该第2线段连接所述第3候选点和所述重心。
6.根据权利要求1或2所述的图像校正方法,其中,
使对所述第2输入进行辅助的辅助图像重叠于所述第3图像来进行投射。
7.一种投影仪,其中,该投影仪具有:
光源,其射出光;
光调制装置,其通过对所述光进行调制而生成调制光;
镜头,其射出所述调制光;以及
至少一个处理装置,
所述至少一个处理装置进行以下处理:
控制所述光调制装置来将第2图像投射到投射面,该第2图像是将包含多个候选点的第1图像缩小为使得所述第1图像的外周包含在投射区域中的大小而得到的,其中,所述多个候选点是要进行显示位置的校正的候选,所述投射区域是所述投影仪能够投射的最大大小的区域;
在将所述第2图像投射到了所述投射面的状态下,受理在所述多个候选点中选择对象点的第1输入,该对象点是要进行显示位置的校正的对象;
在受理了所述第1输入后,控制所述光调制装置来将第3图像投射到所述投射面,该第3图像是将所述第2图像放大为所述第1图像的大小而得到的;
在将所述第3图像投射到了所述投射面的状态下,受理变更所述对象点的显示位置的第2输入;以及
控制所述光调制装置来将根据所述第2输入校正了输入图像的形状后的投射图像投射到所述投射面。
CN202110849024.4A 2020-07-29 2021-07-27 图像校正方法和投影仪 Active CN114071100B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2020127973A JP7439682B2 (ja) 2020-07-29 2020-07-29 画像補正方法、及び、プロジェクター
JP2020-127973 2020-07-29

Publications (2)

Publication Number Publication Date
CN114071100A true CN114071100A (zh) 2022-02-18
CN114071100B CN114071100B (zh) 2023-05-16

Family

ID=80003680

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110849024.4A Active CN114071100B (zh) 2020-07-29 2021-07-27 图像校正方法和投影仪

Country Status (3)

Country Link
US (1) US11438559B2 (zh)
JP (1) JP7439682B2 (zh)
CN (1) CN114071100B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2023014566A (ja) * 2021-07-19 2023-01-31 セイコーエプソン株式会社 制御方法及びプロジェクター

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010278806A (ja) * 2009-05-29 2010-12-09 Seiko Epson Corp 投写型表示装置及び画像歪み補正方法
JP2012185405A (ja) * 2011-03-08 2012-09-27 Seiko Epson Corp 投写型表示装置および投写型表示装置の制御方法
CN103034030A (zh) * 2011-09-30 2013-04-10 精工爱普生株式会社 投影仪以及投影仪的控制方法
CN103813050A (zh) * 2012-11-02 2014-05-21 富士施乐株式会社 图像处理设备和图像处理方法
CN104956665A (zh) * 2013-01-28 2015-09-30 Jvc建伍株式会社 投射装置、图像校正方法以及程序
JP2015187755A (ja) * 2014-03-26 2015-10-29 キヤノン株式会社 画像処理装置、画像処理方法及びプログラム
CN109698947A (zh) * 2017-10-23 2019-04-30 精工爱普生株式会社 投影仪和投影仪的控制方法
CN110650326A (zh) * 2018-06-27 2020-01-03 精工爱普生株式会社 投影仪和投影仪的控制方法

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004228619A (ja) 2003-01-17 2004-08-12 Nec Viewtechnology Ltd プロジェクタの映像の歪み調整方法
JP3845386B2 (ja) 2003-04-18 2006-11-15 Necビューテクノロジー株式会社 補助線を利用した幾何学補正インターフェースにおける画面外エリアの補正方法
JP3880609B1 (ja) 2006-02-10 2007-02-14 シャープ株式会社 画像投影方法及びプロジェクタ
JP6208930B2 (ja) 2012-08-14 2017-10-04 キヤノン株式会社 投影装置及びその制御方法、プログラム、並びに記憶媒体
JP7027694B2 (ja) 2017-03-29 2022-03-02 セイコーエプソン株式会社 プロジェクター及びプロジェクターの制御方法
JP6787375B2 (ja) 2018-08-29 2020-11-18 セイコーエプソン株式会社 表示システム、制御装置、表示システムの制御方法、およびプログラム
JP2021022807A (ja) * 2019-07-26 2021-02-18 セイコーエプソン株式会社 プロジェクターの制御方法、及び、プロジェクター

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010278806A (ja) * 2009-05-29 2010-12-09 Seiko Epson Corp 投写型表示装置及び画像歪み補正方法
JP2012185405A (ja) * 2011-03-08 2012-09-27 Seiko Epson Corp 投写型表示装置および投写型表示装置の制御方法
CN103034030A (zh) * 2011-09-30 2013-04-10 精工爱普生株式会社 投影仪以及投影仪的控制方法
CN103813050A (zh) * 2012-11-02 2014-05-21 富士施乐株式会社 图像处理设备和图像处理方法
CN104956665A (zh) * 2013-01-28 2015-09-30 Jvc建伍株式会社 投射装置、图像校正方法以及程序
JP2015187755A (ja) * 2014-03-26 2015-10-29 キヤノン株式会社 画像処理装置、画像処理方法及びプログラム
CN109698947A (zh) * 2017-10-23 2019-04-30 精工爱普生株式会社 投影仪和投影仪的控制方法
CN110650326A (zh) * 2018-06-27 2020-01-03 精工爱普生株式会社 投影仪和投影仪的控制方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
潘玮璟: "一种在线的连续投影校正方法" *

Also Published As

Publication number Publication date
US11438559B2 (en) 2022-09-06
US20220038670A1 (en) 2022-02-03
JP7439682B2 (ja) 2024-02-28
JP2022025252A (ja) 2022-02-10
CN114071100B (zh) 2023-05-16

Similar Documents

Publication Publication Date Title
US9977515B2 (en) Display device, projector, and display method
US10025400B2 (en) Display device and display control method
EP1492355B1 (en) Image processing system, projector, information storage medium and image processing method
US10871931B2 (en) Display device and control method of display device
US11538134B2 (en) Information generation method, information generation system, and non-transitory computer-readable storage medium storing program
US10771752B2 (en) Display system, control device, control method for display system, and computer program
US20210289182A1 (en) Method of controlling projector and projector
US20220309967A1 (en) Projection image adjustment method, information processing device, and projection system
JP6064321B2 (ja) 表示装置、及び、表示制御方法
CN114071100B (zh) 图像校正方法和投影仪
CN105939437A (zh) 图像处理装置、显示装置及图像处理装置的控制方法
JP7268666B2 (ja) 投射方法
CN115706790A (zh) 显示系统及其显示方法、和显示装置及其显示方法
JP2017102461A (ja) 表示装置、及び、表示制御方法
CN108632588B (zh) 投影仪以及投影仪的控制方法
JP7548272B2 (ja) 制御方法、制御装置、及び制御プログラム
JP2015185985A (ja) プロジェクター、およびプロジェクターの制御方法
JP2013125055A (ja) プロジェクター、及びプロジェクターの制御方法
JP2013085159A (ja) プロジェクター、及びプロジェクターの制御方法
JP2011248185A (ja) 投写型映像表示装置
JP6679903B2 (ja) 画像処理装置、表示装置、及び、画像処理装置の制御方法
JP2013195659A (ja) 表示装置、及び、表示制御方法
JP2018132713A (ja) プロジェクターおよびプロジェクターの制御方法
JP2012160930A (ja) プロジェクター及びその制御方法
CN111010552A (zh) 显示装置、显示系统以及显示装置的控制方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant