CN102450001B - 减少多投影仪系统中的视点相关伪像的方法、设备和投影系统 - Google Patents
减少多投影仪系统中的视点相关伪像的方法、设备和投影系统 Download PDFInfo
- Publication number
- CN102450001B CN102450001B CN200980159569.XA CN200980159569A CN102450001B CN 102450001 B CN102450001 B CN 102450001B CN 200980159569 A CN200980159569 A CN 200980159569A CN 102450001 B CN102450001 B CN 102450001B
- Authority
- CN
- China
- Prior art keywords
- projecting apparatus
- viewpoint
- parameter
- projection
- camera
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Classifications
-
- G—PHYSICS
- G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
- G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
- G03B21/00—Projectors or projection-type viewers; Accessories therefor
- G03B21/54—Accessories
- G03B21/56—Projection screens
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/74—Projection arrangements for image reproduction, e.g. using eidophor
- H04N5/7475—Constructional details of television projection apparatus
-
- G—PHYSICS
- G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
- G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
- G03B21/00—Projectors or projection-type viewers; Accessories therefor
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
- H04N13/106—Processing image signals
- H04N13/111—Transformation of image signals corresponding to virtual viewpoints, e.g. spatial image interpolation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/30—Image reproducers
- H04N13/327—Calibration thereof
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/30—Image reproducers
- H04N13/363—Image reproducers using image projection screens
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/30—Image reproducers
- H04N13/366—Image reproducers using viewer tracking
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/30—Image reproducers
- H04N13/366—Image reproducers using viewer tracking
- H04N13/383—Image reproducers using viewer tracking for tracking with gaze detection, i.e. detecting the lines of sight of the viewer's eyes
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/14—Picture signal circuitry for video frequency region
- H04N5/21—Circuitry for suppressing or minimising disturbance, e.g. moiré or halo
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/74—Projection arrangements for image reproduction, e.g. using eidophor
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N9/00—Details of colour television systems
- H04N9/12—Picture reproducers
- H04N9/31—Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
- H04N9/3141—Constructional details thereof
- H04N9/3147—Multi-projection systems
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N9/00—Details of colour television systems
- H04N9/12—Picture reproducers
- H04N9/31—Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
- H04N9/3179—Video signal processing therefor
- H04N9/3182—Colour adjustment, e.g. white balance, shading or gamut
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N9/00—Details of colour television systems
- H04N9/12—Picture reproducers
- H04N9/31—Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
- H04N9/3191—Testing thereof
- H04N9/3194—Testing thereof including sensor feedback
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Controls And Circuits For Display Device (AREA)
- Transforming Electric Information Into Light Information (AREA)
- Projection Apparatus (AREA)
Abstract
一种用于减少多投影仪系统中的视点相关伪像的方法包括下述步骤:从多个视点测量由多投影仪系统投射的图像的投影特性,估计能够减少视点相关伪像的视点相关投影参数,以及计算用于每个投影仪的渲染参数,从而减少视点相关伪像。
Description
背景技术
已经开发了多投影仪系统以向诸如屏幕或墙壁的一般显示位置投射多个视频图像以产生复合显示。复合显示是其中使用多个投影仪来产生单个图像的一个,其中每个投影仪产生总图像的一部分或组成部分。可以将这些显示系统配置为允许多个子帧完全、一点也不、或在其之间的任何方式重叠,或者提供多个分别的复合图像。用于多投影仪系统的再另一应用是产生三维(“3D”)立体图像。
已经开发了多投影仪显示器,其使用照相机来测量适当的补偿参数(例如,几何结构、色彩、辉度等)以形成无缝图像。根据通常仅在一个视点处获取的照相机测量结果来估计补偿参数。然而,对于其是非朗伯(例如增益>
1)的屏幕而言以及对于不同于照相机位置的观察角度而言,可能出现具有过度补偿形式的显著伪像,从而降低感知的图像质量和这样的显示器的有用性。此观察可能对于许多种多投影仪显示器而言都是如此,包括正投影、背投影和立体3D显示器。
附图说明
通过结合附图进行的以下详细说明,本公开的各种特征和优点将是显而易见的,附图一起以示例的方式举例说明本公开的特征,并且在附图中:
图1是被配置为使用多个投影仪来产生复合图像的图像显示系统的一个实施例的方框图;
图2是当从直前方看时的复合显示屏的相对亮度的图示;
图3是当从某角度看时的复合显示器的相对亮度的图示,示出了热点和较暗区域;
图4是多投影仪系统和从而产生的复合显示的实施例的图;
图5是其中投影仪被划分成多个子群以产生单个3D立体复合图像的多投影仪系统和显示的实施例的图;
图6是概述用于减少多投影仪系统中的热点和视点相关(view-dependent)伪像的方法的实施例中的步骤的流程图;
图7是概述用于使用头部/目光跟踪来减少多投影仪系统中的热点和视点相关伪像的方法的替换实施例中的步骤的流程图;以及
图8举例说明具有用于出于显示补偿的目的确定观察位置的头部和/或目光跟踪系统的投影系统的显示器。
具体实施方式
现在将对在附图中举例说明的示例性实施例进行参考,并且将在本文中使用特定语言来对其进行描述。然而,应理解的是,并不从而意图限制本公开的范围。在相关领域内熟练且得到本公开的人将想到的本文举例说明的特征的变更和其它修改以及本文举例说明的原理的附加应用将被视为在本公开的范围内。
如本文所使用的,方向术语(诸如“顶部”、“底部”、“正面”、“背面”、“前端”、“尾部”等)是参考正被描述的图的取向使用的。由于本文公开的各种实施例的组件能够以许多不同的取向定位,所以方向性术语仅仅是用于说明性目的,并且并不意图是限制性的。
如本文所使用的,术语“子帧”指的是由单个投影仪产生的那部分显示图像。由来自多个投影仪的多个子帧产生的全部显示图像被称为“复合图像”。应理解的是,在多投影仪系统中能够由投影仪的子群(即少于全部的投影仪)产生复合图像。
图1是举例说明现有技术多投影仪图像显示系统100的实施例的方框图。图像显示系统100处理图像数据102并生成相应的所显示图像114。所显示图像114被定义为包括任何绘画的、图形的、或结构上的字符、符号、图示或其它信息表示。
在一个实施例中,图像显示系统100包括图像帧缓冲器104、子帧生成器108、投影仪112A~112C(共同地称为投影仪112)、照相机122和校准单元124。图像帧缓冲器104接收并缓冲图像数据102以创建图像帧106。子帧生成器108处理图像帧106以定义相应的图像子帧110A~110C(共同地称为子帧110)。在一个实施例中,对于每个图像帧106而言,子帧生成器108产生用于投影仪112A的一个子帧110A,用于投影仪112B的一个子帧110B和用于投影仪112C的一个子帧110C。子帧110A~110C分别被投影仪112A~112C接收,并分别被存储在图像帧缓冲器113A~113C(共同地称为图像帧缓冲器113)中。投影仪112A~112C分别将子帧110A~110C投射到目标表面116上以产生用于由用户观察的所显示图像114。
图像帧缓冲器104包括用于存储用于一个或多个图像帧106的图像数据102的存储器。因此,图像帧缓冲器104组成一个或多个图像帧106的数据库。图像帧缓冲器113还包括用于存储子帧110的存储器。图像帧缓冲器104和113的示例包括非易失性存储器(例如硬盘驱动器或其它永久性存储设备)并可以包括易失性存储器(例如随机存取存储器(RAM))。
子帧生成器108接收并处理图像帧106以定义多个图像子帧110。子帧生成器108基于图像帧106中的图像数据生成子帧110。在一个实施例中,子帧生成器108生成具有与投影仪112的分辨率匹配的分辨率的图像子帧110,在一个实施例中,其小于图像帧106的分辨率。子帧110中的每个包括表示图像帧106的子集的多个列和多个行的各个像素。
投影仪112从子帧生成器108接收图像子帧110,并且在一个实施例中,同时在重叠和/或空间偏移位置处将图像子帧110投射到目标表面116上以产生所显示图像114。在一个实施例中,将显示系统100配置为通过显示来自多个投影仪112的重叠较低分辨率子帧110来向人眼给出高分辨率的所显示图像114的外观。这些重叠子帧可以被在空间上移位,或者相对于彼此具有任意的几何变换。在一个实施例中,重叠子帧110的投射给出增强的分辨率(即比子帧110本身高的分辨率)的外观。在另一实施例中,投影仪子帧通过并列显示(即,使相邻投影仪图像最少地重叠)来提供有效地较高的分辨率的显示。在再一实施例中,将投影仪子帧任意地组合以形成重叠和并列显示的配置。已经开发了下述方法,所述方法用于确定用于子帧110的适当值,从而使得由投射的子帧110产生的结果显示图像114在外观上接近于在直接显示的情况下高分辨率图像(例如图像帧106)(由此导出子帧110)将看起来的那样。
本领域的普通技术人员应理解的是,可以以硬件、软件、固件或其任何组合实现由子帧生成器108执行的功能。该实现可以是经由微处理器、可编程逻辑器件或状态机。系统的组件可以存在于一个或多个计算机可读介质设备上的软件中。如本文所使用的术语计算机可读介质被定义为包括任何种类的存储器,易失性的或非易失性的,诸如软盘、硬盘、CD-ROM、闪速存储器、只读存储器和随机存取存储器。
图1中还示出的是具有图像帧缓冲器120的参考投影仪118。在图1中用隐藏线示出参考投影仪118,因为在一个实施例中,投影仪118不是实际的投影仪,而是在用于生成最佳子帧110的图像形成模型中使用的假想的高分辨率参考投影仪。在一个实施例中,可以将实际的投影仪112中的一个的位置定义为参考投影仪118的位置。显示系统100还可以包括照相机122和校准单元124,其能够用来自动地确定每个投影仪112与参考投影仪118之间的几何映射。
图像显示系统100可以包括硬件、软件、固件或这些的组合。在一个实施例中,图像显示系统100的一个或多个组件(例如帧缓冲器104、子帧生成器108和校准单元124)被包括在计算机、计算机服务器或其它基于微处理器的系统(其能够执行一系列的逻辑操作并具有系统存储器)中。该系统在本文中一般称为多投影仪系统的“控制器”。另外,处理可以被遍及系统分布,其中单独的部分在分别的系统组件中(诸如在联网或多计算单元环境(例如集群计算机)中)实现。
如上所述,照相机122被耦合到校准单元124,并用来确定用于几何结构、色彩、辉度等的补偿参数以形成无缝图像。根据通常仅在一个视点处获取的照相机测量结果来估计补偿参数。对于朗伯屏幕(例如增益≤1,或等于反射率,无论观察角度如何),此单个样本能够表示所有观察角度,并且因此没有所感知的图像质量的劣化。
然而,对于其是非朗伯的屏幕而言以及对于不同于照相机位置的观察角度而言,可能出现具有过度补偿形式的显著伪像,从而降低这样的显示器的感知的图像质量。当使用具有不同光程的多个投影仪时这特别明显,由此,其相对于显示器表面的不同入射角导致热点。此观察结果对于任何种类的多投影仪显示器而言都是真实的,包括正投影、背投影(其可能具有严重的视点相关热点问题)、多视图显示器和立体3D,无论通过互补偏振(其通常使用非朗伯屏幕)还是有源快门眼镜。还可以用相互反射的非平面表面来观察此类效果。
图2中所示的是当基本上从直前方看时或当从与校准照相机的视点基本上相同的有利点看时的多投影仪系统的显示屏200的图示。宽屏幕复合图像204的中央区域202基本上在视觉上是均匀的。因为人眼对缓慢变化的改变并不非常敏感,所以轻微的渐晕或亮度改变(诸如朝着图像204的边缘206a、b)是能够忍受的。
然而,当从明显不同于直前方或不同于校准照相机的有利点的角度看所显示图像时,可能出现热点和视点相关伪像。图3中所示的是当从某角度观察屏幕302时的复合显示图像300的相对亮度的图示。在此视图中,能够看到图像的许多部分304近似具有期望的亮度。然而,除在图像的极右和左边缘处的某些略微变暗的区域306a、b之外,图像包括在右侧附近的极亮区域或热点308以及跨越图像的某些其它变暗区域310。
有利地,已经开发了用于减少多投影仪系统中的热点和视点相关伪像的系统和方法。本文公开的系统和方法使用来自多投影仪显示器的多个视点的照相机测量结果,并且自动地将测量结果集成以形成跨越较宽观察角度的更加最佳的显示结果,而不是实现从校准照相机的视点的最无缝的显示。因此在期望的观察角度范围内能够缓解投影仪热点和视点相关伪像的出现。
图4中所示的是包括十二个投影仪402a~I的多投影仪系统400的实施例,投影仪402a~I全部被定向为在显示表面406上产生单个复合图像404。应认识到,虽然图4中所示的实施例包括十二个投影仪,但本文公开的系统和方法适用于具有两个或更多投影仪的任何多投影仪系统。如在本示例中所示,十二个投影仪产生十二个子帧,标记为408a~I,其在本图中被组合在一起以提供单个宽格式的复合图像404。虽然在图4中将叠加的子帧408示为在空间上相互偏移,但这是出于说明性目的,并且不一定对应于用于产生复合图像404的子帧的实际定位。还应认识到,多投影仪系统中的投影仪的实际物理位置或分组可能改变。例如,虽然图4中的投影仪402在物理上被四个一组地布置成三组,且显示器上的子帧通常是处于四个一组的三组,但可以将投影仪布置在不同的物理位置中,并且可以将十二个投影仪402a~I中的任何一个配置为产生十二个子帧408a~I中的任何一个。
由控制器系统来控制十二个投影仪402,控制器系统可以是计算机、计算机服务器、或其它基于微处理器的系统,其具有处理器和系统存储器,并且能够驱动投影仪以产生复合图像,如上文所讨论的那样。一般在410处指示控制器。然而,如上所述,控制器系统可以包括多个计算设备,诸如第一控制器计算机410和第二控制器设备412,其被与第一控制器计算机联网或集群。
图1和4中的多投影仪系统被示出使用所有可用投影仪来产生单个复合图像。然而,还已发现可能期望将多投影仪系统中的一组投影仪划分成子群。此类系统可以用来提供立体/3D显示器。在图5中示出了包括被划分成子群的投影仪的多投影仪系统的一个实施例。本实施例提供了其中将两个视觉通道叠加在同一个物理显示表面502上的立体/3D显示器500。具体地,此系统包括被划分成两个子群506a、b的十二个投影仪504。第一子群506a对应于“左”通道,投射应被发送到观察者的左眼的内容,而第二子群506b对应于用于“右”眼的通道。两个通道被在公共显示器502上叠加在彼此之上,提供左眼复合显示508和右眼复合显示510,这些复合显示中的每一个是由来自多投影仪系统中的一半投影仪504的图像产生的。以上文所讨论的方式,由从至少一个校准照相机514接收反馈的控制器系统512来驱动投影仪。将多种可用的3D显示技术中的任何一种用于每个子群506(例如偏振眼镜等),结果得到的系统提供具有高图像质量但使用多个相对便宜的投影仪的宽格式立体显示。其它实施例可以包括多个分立的屏幕,并且这些可以提供叠加图像、并列显示的图像、立体图像等,并且可以针对不同的特性(诸如亮度、对比度、色彩等)使这些最优化。
有利地,图4中的系统400包括多个校准照相机位置414、416、418,以用于向校准单元(图1中的124)反馈以允许在控制器410或集群控制器组的控制下调整投影仪402。同样地,图5中所示的系统500包括多个校准照相机位置514、516和518。这些照相机位于不同的视点处。例如,可以将中央的照相机定位为从基本上直前方视点观察相应的显示器,其中第二照相机位于相对于屏幕而言向右25°的视点处,而第三照相机位于向左40°。应认识到,这些位置仅仅是示例性的。可以使用任何数目的照相机位置/取向,并且该位置/取向可以是任意的。本文公开的系统和方法使用来自多投影仪显示器的多个视点的照相机测量结果并自动地将测量结果集成以形成跨越较宽观察角度的更加最佳的显示结果。从而将在期望的观察角度范围内缓解投影仪热点和视点相关伪像的出现。
图6中所示的是概述用于减少多投影仪系统中的热点和视点相关伪像的方法的一个实施例中的步骤的流程图。在本方法中,将显示系统假设为如同在图1、4或5中的任何一个中示出和描述的多投影仪显示系统,其包括一组投影仪、多个图形卡、被集群在一起的一个或多个PC、多个校准照相机位置、和一个或多个显示表面。该方法具有三个一般阶段:测量阶段、建模阶段和渲染(rendering)阶段。
第一步骤是测量阶段的部分,并且涉及从多个视点测量投影特性(步骤600)。对于任何数目的照相机视点而言(这可以用多个经校准的照相机同时完成、或用被移动至不同视点的单个照相机顺序地完成、或其组合),每个投影仪投射一个或多个图案以对各种参数(包括几何结构、色彩、辉度等)进行编码。微处理器控制系统记录针对每个投影仪和针对每个照相机视点的测量结果。
接下来的步骤是建模阶段的部分。首先,对于每个投影仪而言,将来自所有照相机视点的经测量的投影仪参数重新映射到公共坐标系(例如,作为参考的照相机之一的位置坐标或某个其它参考点)(步骤602)。然后将结果表示为经测量的参数的函数,以便估计视点相关投影参数(步骤604)。例如,经由相对于观察角度的参数化将所有经测量的辉度分布重新映射到用于给定投影仪的公共坐标系。一个方法是然后取每个像素位置的加权平均值或中值以形成去除许多视点相关影响的单个代表性辉度分布。另一实施例在图像形成模型中结合了取决于观察角度的投影仪参数的加权反射函数。最后,估计更具代表性的一组投影仪参数,其减少非朗伯屏幕的视点相关和热点影响。
本步骤的一个扩展是估计照相机视点和投影仪的3D位置和取向。在这种情况下,一个人能够把经测量的参数的实际3D几何结构化为因数并形成经测量的投影仪参数的参数化函数(例如,作为观察角度的函数的辉度分布)。这种方法能够得到显示表面的表面法线以及更一般的转移函数(例如双向反射函数(BRDF)、反射场)的估计。
一旦已经估计了投影仪参数,则可以使用本领域的技术人员所已知的步骤来对用于多投影仪显示器的附加补偿参数进行估计或建模(步骤606)。这些建模和测量步骤的示例包括将每个投影仪或子群的投影亮度校准为尽可能均匀。在一个方法中,用于多投影仪系统的图像管线经由通过(一个或多个)校准照相机的反馈来使用高尖端图像形成模型和自动测量步骤,包括测量投影仪间几何结构,包括梯形畸变及其它校正、辉度、色彩、黑色偏移等。在N. Damera-Venkata、N. L.
Chang、J. M. DiCarlo于2007年11月~12月的IEEE
Transactions on Visualization and computer Graphics中的“A Unified Paradigm for Scalable M ulti-Projector
Displays”中、以及在美国专利号7,306,341和7,443,364以及美国专利申请公开号2007/0091277、2007/0097334、2008/0002160、2008/0024469、2008/0024683和2008/0143978中概述了这些建模和测量步骤的实施例,其公开被通过引用结合到本文中。
在最优化期间还可以把更多视点计算在内。例如,在一个实施例中,使用多个测量结果来估计加权反射函数(根据需要,可以对其进行参数或非参数的内插),由此,对最终显示的期望观察角度进行更重地加权以获得在那些观察角度内的更加最佳的一组补偿参数。此加权反射函数可以用来直接求出针对所有相关视图的补偿/渲染参数。在另一实施例中,使用每个投影仪特性测量结果来计算针对每个观察角度的对应补偿参数,并且在观察角度的加权函数中组合这些补偿参数。还可以通过取多个值的中值或通过某个其它秩序统计量来完成用于多个视点的参数的组合。简而言之,该系统产生作为来自多个视点的反射值的稳健组合的反射函数,无论该反射函数是由加权平均值、中值、截尾平均数确定的,还是由本文所讨论的或对于本领域的技术人员已知的任何其它类型的组合来确定的。
最后的步骤是渲染阶段的部分。针对每个投影仪计算和/或更新估计的补偿或渲染参数(步骤608),并应用估计的补偿参数来实时地向每个投影仪发送显示内容以进行后续成像(步骤610),如在上文引用的参考文献中所述。换言之,当期望显示某内容时,将计算的渲染参数应用于每个期望帧以确定如何调整每个投影仪的图像,从而使得结果得到的图像实现期望的特性,其中减少了热点和视点相关伪像。如由箭头612所指示的,该过程然后可以重复步骤608和610以反复地计算渲染参数并将显示数据发送到每个投影仪。替换地,如由箭头614所指示的,如果期望的话,该过程可以返回到步骤600以进行再校准。作为这种方法的结果,结果得到的显示可以比之前具有更少的视点相关伪像和更少的热点。
在另一实施例中,可以将本文公开的方法扩展至结合目光/头部跟踪能力。在图7中示出了这种方法的一个实施例中的步骤。如同针对图6概述和描述的方法,本实施例也包括测量阶段、建模阶段和渲染阶段。以上文讨论的相同方式,第一步骤是测量阶段的部分,并且涉及从多个视点测量投影特性(步骤700)。再次地,这可以用多个经校准的照相机同时完成,或用被移动至不同视点的单个照相机顺序地完成,或其组合。每个投影仪投射一个或多个图案以将各种参数编码,并且微处理器控制系统记录针对每个投影仪和针对每个照相机视点的测量结果。
下一步骤开始上文所讨论的建模阶段,并涉及首先通过将投影参数映射到公共坐标系来对投影参数进行建模(步骤702),以产生作为经测量的参数的函数的结果,以便估计视点相关投影参数(步骤704)。在一个实施例中,例如通过将所有经测量的辉度分布重新映射到用于每个投影仪的公共坐标系、然后取每个像素位置的加权平均值或中值以形成去除视点相关影响的单个代表性辉度分布来以上文概述的方式完成这些步骤。替换地,可以使用经测量的辉度分布来在图像形成模型中形成取决于观察角度的加权反射函数。此加权反射函数可以用来直接求出用于所有相关视图的补偿/渲染参数。替换地,系统可以估计针对每个观察角度的投影参数并将其组合(例如作为加权平均值)。还可以通过取多个值的中值或通过某个其它秩序统计量来完成用于多个视点的参数的组合。再次地,该系统无论是通过加权平均值、中值、截尾平均数还是本文所讨论的或对于本领域的技术人员已知的任何其它类型的组合来产生作为来自多个视点的反射率的稳健组合的反射函数。一旦已经估计出了投影仪参数,还使用上文讨论的步骤对用于多投影仪显示器的附加补偿参数进行估计或建模。
最后的步骤是渲染阶段的部分。如上所述,在渲染阶段期间,针对每个投影仪计算和/或更新所估计的补偿或渲染参数(步骤708)并应用所估计的补偿参数以实时地向每个投影仪发送显示内容以进行后续成像(步骤710)。应认识到,可以在运行中计算补偿参数,或者补偿参数可以被基于观察角度来预先计算并存储在查找表中。然而,在本实施例中,增加了头部或目光跟踪的附加步骤(步骤706)。渲染步骤因此被修改为针对多个观察角度进行校准并估计作为观察角度的函数的训练参数。在渲染期间,头部跟踪器估计用户的观察角度并更新合适的补偿参数,其导致来自该视点的最好结果(还可以更新内容以产生运动视差校正显示)。可以预先计算补偿参数,要不然在接收到用户的观察角度时在运行中计算补偿参数。替换地,可以预先计算用于多个离散视点的投影参数并将其存储在存储器中。然后,可以通过用于中间视图的存储值之间的内插来获得用于给定检测位置的投影参数。这种方法消除了对存储用于每个观察位置的参数的需要。
头部跟踪或目光跟踪能够使用本领域的技术人员已知的多种技术,包括用于跟踪人的眼睛移动的基于红外线(IR)的照相机、通过对信号进行三角测量以确定姿势和取向等来进行操作的头部安装装备。例如,可以使用在由Nintendo制造的公知的Wii®游戏系统中使用的组件类型来配置此类跟踪系统。可以使用用于目光跟踪的其它方法,诸如检测观察者的脸的位置和取向并且还有眼睛的目光方向的面部检测系统。
在图8中示出了具有头部跟踪系统的显示器的一个实施例。在显示屏802上投射显示图像800。在显示屏之上的是头部跟踪传感器804。虽然在本视图中未示出多投影仪系统,但可以使用多投影仪系统来产生显示图像800。图5中所示的多投影仪系统500包括头部或目光跟踪传感器520。
返回图8,代表性观察者806佩戴头带808(或其它设备,诸如帽子、眼镜等),其带有一对灯810a、b。该灯可以是红外灯,并且照相机804可以是能够检测源自于该灯的光的红外照相机。通过佩戴头带808,能够基于灯810的强度(越近的灯提供越大的强度)、尺寸、位置(右、左、上、下)、相对间距(越彼此靠近的一对灯能够指示观察者距离越远或回头)和相对角度(表示倾斜的头)来确定观察者806的位置和头部取向。因此,与观察者的位置806b(其提供不同的光程(由虚线812b表示))相比,观察者的位置806a将提供从头部安装的灯到照相机804的不同光程(由虚线812a表示)。
此头部跟踪系统允许关联的控制系统估计观察者相对于照相机804和显示器802的位置。应认识到,图8中所示的目光/头部跟踪配置仅仅是能够用于本文公开的系统和方法的许多可能的目光或头部跟踪系统中的一个。返回参考图7,校准技术基于在步骤706中检测的观察者位置来记录针对所估计的观察角度的校准数据(即多投影仪测量和建模步骤702、704)。还可以将观察角度参数化并将这些结果参数化作为观察角度的函数,要不然简单地加载在可能距离所估计的观察角度最近的校准数据中。
如由箭头712所指示的,该过程然后可以重复步骤706~710以反复地检测观察者位置和/或目光方向,并且计算渲染参数并向每个投影仪发送显示数据。替换地,如由箭头714所指示的,如果期望的话,该过程可以返回到步骤700以进行再校准。作为这种方法的结果,结果得到的显示可以比之前具有更少的视点相关伪像和更少的热点。
本系统和方法利用来自多个位置的照相机测量结果来缓解可能与多投影仪显示一起出现在非朗伯表面上的视点相关伪像和热点。其提供了用于在更宽的观察角度范围内的显示的改善的结果,这对于偏振3D显示和背投影多投影仪显示而言尤其是期望的。另外,本系统和方法促进了用于改善所述显示的自动测量和校准技术。
应理解的是,上文参考的布置说明本文公开的原理的应用。对于本领域的普通技术人员来说将显而易见的是,在不脱离如权利要求中阐述的本公开的原理和概念的情况下,可以进行许多修改。
Claims (15)
1.一种用于减少多投影仪系统中的视点相关伪像的方法,该方法由具有处理器和系统存储器的计算机设备来执行,包括步骤:
a)从多个视点测量与多投影仪系统的多个投影仪中的每一个的投影特性相关的数据并将其输入到计算机中,所述多个投影仪产生图像帧的复合图像;
b)计算机将每个投影仪的投影特性从所述多个视点重新映射到公共坐标系;
c)计算机基于重新映射的投影特性估计用于每个投影仪的视点相关投影参数;以及
d)计算机基于所估计的视点相关投影参数计算用于每个投影仪的渲染参数以便减少视点相关伪像。
2.根据权利要求1所述的方法,其中,所述从多个视点测量投影特性的步骤包括使用位于不同位置中的多个照相机来测量所述投影特性。
3.根据权利要求1所述的方法,其中,所述从多个视点测量投影特性的步骤包括使用顺序地在不同位置之间移动的单个照相机来测量所述投影特性。
4.根据权利要求1所述的方法,其中,所述计算用于每个投影仪的渲染参数的步骤包括组合来自多个视点的经测量的辉度分布,以形成取决于观察角度的反射函数。
5.根据权利要求1所述的方法,还包括使用所估计的视点相关投影参数来反复地执行步骤(d)的步骤。
6.根据权利要求1所述的方法,还包括周期性地重复步骤(a)至(d)的步骤。
7.根据权利要求1所述的方法,还包括步骤:
e)跟踪所述图像的观察者的观察/目光方向;以及
其中,步骤(d)还基于所述观察/目光方向。
8.根据权利要求7所述的方法,还包括存储所估计的视点相关投影参数并基于所估计的视点相关投影参数来周期性地更新渲染参数的步骤。
9.一种用于减少多投影仪系统中的视点相关伪像的设备,包括:
从多个视点接收表示产生图像帧的复合图像的多个投影仪的投影特性的测量结果的数据的装置;
将每个投影仪的投影特性从所述多个视点重新映射到公共坐标系的装置;
基于重新映射的投影特性估计用于每个投影仪的视点相关投影参数的装置;以及
基于所估计的视点相关投影参数计算用于每个投影仪的渲染参数从而将投影数据流变换到投影仪以减少视点相关伪像的装置。
10.根据权利要求9所述的设备,其中,所述从多个视点测量投影特性的装置包括选自包含以下装置的组:使用位于不同位置中的多个照相机来测量所述投影特性的装置,以及使用顺序地在不同位置之间移动的单个照相机来测量所述投影特性的装置。
11.根据权利要求9所述的设备,还包括:
跟踪所述图像的观察者的观察/目光方向的装置;以及
其中,所述基于所估计的视点相关投影参数计算用于每个投影仪的渲染参数从而将投影数据流变换到投影仪以减少视点相关伪像的装置还基于所述观察/目光方向而操作。
12.根据权利要求9所述的设备,其中,所述基于所估计的视点相关投影参数计算用于每个投影仪的渲染参数从而将投影数据流变换到投影仪以减少视点相关伪像的装置包括组合来自多个视点的经测量的辉度分布以形成取决于观察角度的反射函数的装置。
13.一种投影系统,包括:
多个投影仪,每个被定向为向显示位置投射图像,以产生图像帧的复合图像;
多个照相机位置,其被选择为允许照相机从多个有利点获得所述显示位置的图像;以及
控制器,包括计算机处理器和系统存储器,其被耦合到所有投影仪,被配置为从在每个照相机位置处的照相机接收图像数据,以测量由用于每个投影仪的数据表示的投影特性,以将每个投影仪的投影特性从所述多个有利点重新映射到公共参考点,以基于重新映射的投影特性估计用于每个投影仪的视点相关投影参数,并基于所估计的视点相关投影参数计算用于每个投影仪的投影数据流的渲染参数以减少视点相关伪像。
14.根据权利要求13的投影系统,还包括在每个照相机位置处的反馈照相机。
15.根据权利要求14所述的投影系统,其中,所述显示位置包括多个显示位置,每个分立的投影仪组被定向为向所述显示位置之一投射子图像。
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
PCT/US2009/045711 WO2010138128A1 (en) | 2009-05-29 | 2009-05-29 | Multi-projector system and method |
Publications (2)
Publication Number | Publication Date |
---|---|
CN102450001A CN102450001A (zh) | 2012-05-09 |
CN102450001B true CN102450001B (zh) | 2015-08-12 |
Family
ID=43222984
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN200980159569.XA Expired - Fee Related CN102450001B (zh) | 2009-05-29 | 2009-05-29 | 减少多投影仪系统中的视点相关伪像的方法、设备和投影系统 |
Country Status (6)
Country | Link |
---|---|
US (1) | US8477241B2 (zh) |
EP (1) | EP2436182B1 (zh) |
JP (1) | JP5396536B2 (zh) |
KR (1) | KR101647536B1 (zh) |
CN (1) | CN102450001B (zh) |
WO (1) | WO2010138128A1 (zh) |
Families Citing this family (36)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20050259424A1 (en) * | 2004-05-18 | 2005-11-24 | Zampini Thomas L Ii | Collimating and controlling light produced by light emitting diodes |
US7729941B2 (en) | 2006-11-17 | 2010-06-01 | Integrated Illumination Systems, Inc. | Apparatus and method of using lighting systems to enhance brand recognition |
US8013538B2 (en) | 2007-01-26 | 2011-09-06 | Integrated Illumination Systems, Inc. | TRI-light |
US8742686B2 (en) * | 2007-09-24 | 2014-06-03 | Integrated Illumination Systems, Inc. | Systems and methods for providing an OEM level networked lighting system |
EP2253131B1 (en) * | 2008-02-08 | 2014-06-25 | Google, Inc. | Panoramic camera with multiple image sensors using timed shutters |
US8255487B2 (en) * | 2008-05-16 | 2012-08-28 | Integrated Illumination Systems, Inc. | Systems and methods for communicating in a lighting network |
US8585245B2 (en) | 2009-04-23 | 2013-11-19 | Integrated Illumination Systems, Inc. | Systems and methods for sealing a lighting fixture |
JP5565258B2 (ja) * | 2010-10-12 | 2014-08-06 | ソニー株式会社 | 画像処理装置、画像処理方法及びプログラム |
US9066381B2 (en) | 2011-03-16 | 2015-06-23 | Integrated Illumination Systems, Inc. | System and method for low level dimming |
US9967940B2 (en) | 2011-05-05 | 2018-05-08 | Integrated Illumination Systems, Inc. | Systems and methods for active thermal management |
CN102970502A (zh) * | 2011-08-31 | 2013-03-13 | 中强光电股份有限公司 | 投影系统及其更新方法 |
US20130201305A1 (en) * | 2012-02-06 | 2013-08-08 | Research In Motion Corporation | Division of a graphical display into regions |
US20150062311A1 (en) * | 2012-04-29 | 2015-03-05 | Hewlett-Packard Development Company, L.P. | View weighting for multiview displays |
US8894437B2 (en) | 2012-07-19 | 2014-11-25 | Integrated Illumination Systems, Inc. | Systems and methods for connector enabling vertical removal |
US9154763B2 (en) * | 2012-10-11 | 2015-10-06 | Sony Corporation | System and method for reducing artifacts caused by view-dependent lighting components |
US9379578B2 (en) | 2012-11-19 | 2016-06-28 | Integrated Illumination Systems, Inc. | Systems and methods for multi-state power management |
US9420665B2 (en) | 2012-12-28 | 2016-08-16 | Integration Illumination Systems, Inc. | Systems and methods for continuous adjustment of reference signal to control chip |
US9485814B2 (en) | 2013-01-04 | 2016-11-01 | Integrated Illumination Systems, Inc. | Systems and methods for a hysteresis based driver using a LED as a voltage reference |
US9052186B2 (en) | 2013-01-31 | 2015-06-09 | Hewlett-Packard Development Company, L.P. | Correspondence mapping between an imaging system and a directional rendering system |
WO2014144828A1 (en) * | 2013-03-15 | 2014-09-18 | Scalable Display Technologies, Inc. | System and method for calibrating a display system using a short throw camera |
US9588408B1 (en) | 2014-05-15 | 2017-03-07 | Autofuss | Methods and systems for projecting a target portion of an image at a higher resolution |
US10060599B2 (en) | 2015-05-29 | 2018-08-28 | Integrated Illumination Systems, Inc. | Systems, methods and apparatus for programmable light fixtures |
US10030844B2 (en) | 2015-05-29 | 2018-07-24 | Integrated Illumination Systems, Inc. | Systems, methods and apparatus for illumination using asymmetrical optics |
CN105141876B (zh) * | 2015-09-24 | 2019-02-22 | 京东方科技集团股份有限公司 | 视频信号转换方法、视频信号转换装置以及显示系统 |
US9659371B2 (en) * | 2015-10-08 | 2017-05-23 | Christie Digital Systems Usa, Inc. | System and method for online projector-camera calibration from one or more images |
US10120187B2 (en) * | 2016-02-18 | 2018-11-06 | Nvidia Corporation | Sub-frame scanout for latency reduction in virtual reality applications |
US10303414B2 (en) * | 2016-07-15 | 2019-05-28 | Panasonic Intellectual Property Management Co., Ltd. | Device, system, and method of controlling projection image |
US9992464B1 (en) * | 2016-11-11 | 2018-06-05 | Christie Digital Systems Usa, Inc. | Method and system for screen correction |
US11601626B2 (en) * | 2017-03-09 | 2023-03-07 | Sony Corporation | Image processing apparatus and method |
CN108804975A (zh) * | 2017-04-27 | 2018-11-13 | 丽宝大数据股份有限公司 | 唇彩指引装置及方法 |
JP2019008015A (ja) * | 2017-06-21 | 2019-01-17 | カシオ計算機株式会社 | 投影装置、投影方法及びプログラム |
CN110392248A (zh) * | 2018-04-23 | 2019-10-29 | 德州仪器公司 | 线性致动的显示器及其实施方法 |
US11463671B2 (en) * | 2018-07-09 | 2022-10-04 | Lg Electronics Inc. | Video transmitting method, video transmitting device, video receiving method and video receiving device |
US11070778B2 (en) * | 2019-02-14 | 2021-07-20 | Facebook Technologies, Llc | Multi-projector display architecture |
US10964058B2 (en) | 2019-06-21 | 2021-03-30 | Nortek Security & Control Llc | Camera auto-calibration system |
JP6919685B2 (ja) * | 2019-07-29 | 2021-08-18 | セイコーエプソン株式会社 | 画面投射システムの制御方法、及び画面投射システム |
Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101344707A (zh) * | 2008-01-09 | 2009-01-14 | 上海海事大学 | 自动多投影仪非线性几何校正与边缘融合方法 |
Family Cites Families (25)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US5384912A (en) * | 1987-10-30 | 1995-01-24 | New Microtime Inc. | Real time video image processing system |
US6778150B1 (en) | 1993-09-14 | 2004-08-17 | Francis J. Maguire, Jr. | Method and apparatus for eye tracking |
BE1011580A5 (nl) * | 1997-12-01 | 1999-11-09 | Barco Naamloze Vennootschap | Werkwijze en inrichting voor het regelen van een of meer projectoren. |
US6310650B1 (en) * | 1998-09-23 | 2001-10-30 | Honeywell International Inc. | Method and apparatus for calibrating a tiled display |
US6570623B1 (en) * | 1999-05-21 | 2003-05-27 | Princeton University | Optical blending for multi-projector display wall systems |
JP2002116500A (ja) * | 2000-10-05 | 2002-04-19 | Olympus Optical Co Ltd | 画像投影表示装置 |
US7154515B2 (en) * | 2001-06-15 | 2006-12-26 | Perkinelmer, Inc. | Method and apparatus for reducing printing artifacts of stitched images |
FR2837056B1 (fr) * | 2002-03-07 | 2004-09-17 | France Telecom | Procede et systeme d'uniformisation du rendu colorimetrique d'une juxtaposition de surfaces d'affichage |
US7038727B2 (en) * | 2002-10-30 | 2006-05-02 | The University Of Chicago | Method to smooth photometric variations across multi-projector displays |
US6834965B2 (en) | 2003-03-21 | 2004-12-28 | Mitsubishi Electric Research Laboratories, Inc. | Self-configurable ad-hoc projector cluster |
WO2005015490A2 (en) * | 2003-07-02 | 2005-02-17 | Trustees Of Columbia University In The City Of New York | Methods and systems for compensating an image projected onto a surface having spatially varying photometric properties |
JP2005099150A (ja) * | 2003-09-22 | 2005-04-14 | Olympus Corp | 画像表示装置の画像補正データ算出方法 |
US7090358B2 (en) * | 2004-03-04 | 2006-08-15 | International Business Machines Corporation | System, apparatus and method of displaying information for foveal vision and peripheral vision |
US7796134B2 (en) * | 2004-06-01 | 2010-09-14 | Infinite Z, Inc. | Multi-plane horizontal perspective display |
US8195006B2 (en) * | 2004-08-30 | 2012-06-05 | Bauhaus-Universitaet Weimar | Method and device for representing a digital image on a surface which is non-trivial in terms of its geometry and photometry |
JP2006349791A (ja) * | 2005-06-14 | 2006-12-28 | Seiko Epson Corp | マルチディスプレイ装置 |
JP3908255B2 (ja) * | 2005-07-25 | 2007-04-25 | オリンパス株式会社 | 画像投影システム |
JP2009514007A (ja) * | 2005-10-27 | 2009-04-02 | オプティカ・リミテッド | 画像投写表示システム |
US7866832B2 (en) * | 2006-02-15 | 2011-01-11 | Mersive Technologies, Llc | Multi-projector intensity blending system |
US9137504B2 (en) * | 2006-06-16 | 2015-09-15 | Hewlett-Packard Development Company, L.P. | System and method for projecting multiple image streams |
US7907792B2 (en) * | 2006-06-16 | 2011-03-15 | Hewlett-Packard Development Company, L.P. | Blend maps for rendering an image frame |
US8228371B2 (en) | 2006-07-31 | 2012-07-24 | Hewlett-Packard Development Company, L.P. | Projection screen and camera array |
US8994757B2 (en) * | 2007-03-15 | 2015-03-31 | Scalable Display Technologies, Inc. | System and method for providing improved display quality by display adjustment and image processing using optical feedback |
US8031271B2 (en) * | 2007-07-02 | 2011-10-04 | Hewlett-Packard Development Company, L.P. | Calibrating a projection system |
JP5217497B2 (ja) * | 2008-02-26 | 2013-06-19 | ソニー株式会社 | 画像投影システム、制御装置、画像投影方法、プログラム及び記録媒体 |
-
2009
- 2009-05-29 US US13/259,726 patent/US8477241B2/en active Active
- 2009-05-29 JP JP2012513027A patent/JP5396536B2/ja not_active Expired - Fee Related
- 2009-05-29 EP EP09845346.7A patent/EP2436182B1/en active Active
- 2009-05-29 WO PCT/US2009/045711 patent/WO2010138128A1/en active Application Filing
- 2009-05-29 CN CN200980159569.XA patent/CN102450001B/zh not_active Expired - Fee Related
- 2009-05-29 KR KR1020117028370A patent/KR101647536B1/ko active IP Right Grant
Patent Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101344707A (zh) * | 2008-01-09 | 2009-01-14 | 上海海事大学 | 自动多投影仪非线性几何校正与边缘融合方法 |
Also Published As
Publication number | Publication date |
---|---|
EP2436182B1 (en) | 2019-07-24 |
US20120019670A1 (en) | 2012-01-26 |
JP2012528519A (ja) | 2012-11-12 |
JP5396536B2 (ja) | 2014-01-22 |
EP2436182A1 (en) | 2012-04-04 |
EP2436182A4 (en) | 2013-09-25 |
KR20140001258A (ko) | 2014-01-07 |
WO2010138128A1 (en) | 2010-12-02 |
US8477241B2 (en) | 2013-07-02 |
KR101647536B1 (ko) | 2016-08-10 |
CN102450001A (zh) | 2012-05-09 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN102450001B (zh) | 减少多投影仪系统中的视点相关伪像的方法、设备和投影系统 | |
US11301199B2 (en) | Multi-viewpoint switched shooting system and method | |
US9357206B2 (en) | Systems and methods for alignment, calibration and rendering for an angular slice true-3D display | |
JP3180075U (ja) | 3d画像を表示する装置 | |
TWI810395B (zh) | 用於後成像處理的顯示引擎 | |
US9191661B2 (en) | Virtual image display device | |
US20090009593A1 (en) | Three dimensional projection display | |
US8189035B2 (en) | Method and apparatus for rendering virtual see-through scenes on single or tiled displays | |
US20140306954A1 (en) | Image display apparatus and method for displaying image | |
JP2012517621A (ja) | マルチプロジェクタシステム及び方法 | |
TW201202746A (en) | Participant collaboration on a displayed version of an object | |
WO2013074753A1 (en) | Display apparatuses and methods for simulating an autostereoscopic display device | |
TW201244459A (en) | Immersive display experience | |
CN109782452B (zh) | 立体影像产生方法、成像方法与系统 | |
CN114967170B (zh) | 基于柔性裸眼三维显示设备的显示处理方法及其装置 | |
Zhou et al. | Analysis and practical minimization of registration error in a spherical fish tank virtual reality system | |
JP4121313B2 (ja) | 立体映像表示設備 | |
TW202205851A (zh) | 可透光顯示系統及其圖像輸出方法與處理裝置 | |
Li et al. | 68‐2: View‐Dependent Light‐Field Display that Supports Accommodation Using a Commercially‐Available High Pixel Density LCD Panel | |
CN113597758B (zh) | 用于校正柱状透镜失真的方法和装置 | |
Nysjö | Rendering Software for Multiple Projectors | |
Van Der Schaaf et al. | Lessons learned from building and calibrating the ICWall, a stereo tiled display |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
C14 | Grant of patent or utility model | ||
GR01 | Patent grant | ||
CF01 | Termination of patent right due to non-payment of annual fee | ||
CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20150812 |