CN106575046A - 用于采集和显示多视点正立体3d图像的方法和装置 - Google Patents
用于采集和显示多视点正立体3d图像的方法和装置 Download PDFInfo
- Publication number
- CN106575046A CN106575046A CN201580036265.XA CN201580036265A CN106575046A CN 106575046 A CN106575046 A CN 106575046A CN 201580036265 A CN201580036265 A CN 201580036265A CN 106575046 A CN106575046 A CN 106575046A
- Authority
- CN
- China
- Prior art keywords
- display
- parallax
- tape
- image
- picture
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/20—Image signal generators
- H04N13/204—Image signal generators using stereoscopic image cameras
- H04N13/207—Image signal generators using stereoscopic image cameras using a single 2D image sensor
- H04N13/225—Image signal generators using stereoscopic image cameras using a single 2D image sensor using parallax barriers
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B30/00—Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images
- G02B30/20—Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images by providing first and second parallax images to an observer's left and right eyes
- G02B30/26—Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images by providing first and second parallax images to an observer's left and right eyes of the autostereoscopic type
- G02B30/27—Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images by providing first and second parallax images to an observer's left and right eyes of the autostereoscopic type involving lenticular arrays
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B30/00—Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images
- G02B30/20—Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images by providing first and second parallax images to an observer's left and right eyes
- G02B30/26—Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images by providing first and second parallax images to an observer's left and right eyes of the autostereoscopic type
- G02B30/30—Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images by providing first and second parallax images to an observer's left and right eyes of the autostereoscopic type involving parallax barriers
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
- H04N13/106—Processing image signals
- H04N13/128—Adjusting depth or disparity
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/20—Image signal generators
- H04N13/204—Image signal generators using stereoscopic image cameras
- H04N13/207—Image signal generators using stereoscopic image cameras using a single 2D image sensor
- H04N13/229—Image signal generators using stereoscopic image cameras using a single 2D image sensor using lenticular lenses, e.g. arrangements of cylindrical lenses
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/30—Image reproducers
- H04N13/302—Image reproducers for viewing without the aid of special glasses, i.e. using autostereoscopic displays
- H04N13/305—Image reproducers for viewing without the aid of special glasses, i.e. using autostereoscopic displays using lenticular lenses, e.g. arrangements of cylindrical lenses
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/30—Image reproducers
- H04N13/302—Image reproducers for viewing without the aid of special glasses, i.e. using autostereoscopic displays
- H04N13/31—Image reproducers for viewing without the aid of special glasses, i.e. using autostereoscopic displays using parallax barriers
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/30—Image reproducers
- H04N13/349—Multi-view displays for displaying three or more geometrical viewpoints without viewer tracking
- H04N13/351—Multi-view displays for displaying three or more geometrical viewpoints without viewer tracking for displaying simultaneously
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Optics & Photonics (AREA)
- Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
Abstract
一种成像系统包括相机,显示面板和处理器,该处理器用于提供图像数据至显示面板。该相机具有带有像素行的用于捕捉图像的传感器,该图像通过具有第一微透镜的透镜片由相机镜头拍摄,使得每个第一微透镜覆盖至少两个像素行。显示面板用于示出基于图像数据的显示图像。显示面板是由带有第二微透镜的可见的透镜片覆盖。显示的图像有多个区段,其中在第二微透镜下方的每个区段具有对应于在第一微透镜下方的像素行的子区段。提供给图像显示面板的图像数据设置为,使得每个第二微透镜下方的子区段的图像内容及每个第一微透镜下的像素行的图像内容具有不同的设置顺序。
Description
相关申请的交叉引用
本申请要求于2014年5月14提交的美国临时申请号61/993,003的权益。
技术领域
本发明一般涉及摄影成像,更具体地,涉及3D图像的采集和显示。
背景技术
当前的透镜光栅(lenticular screen)类型多视点3D图像是由在透镜光栅下看是一系列的带状的图像组成。压缩的图像由不同视角的多个相机拍摄的一系列图像组成。如图1所示,具有相关的图像传感器的三个相机或相机镜头用于给物体拍照,以产生三个分量图像:左图像L、中心图像C、右图像R。每个分量图像被划分为多个图片带条,且来自所有分量图像的图片带条排列成一张用于显示的合成图像。透镜光栅施加于该显示上方,使得每个微透镜大体上覆盖合成图像中的一带条,该带条包括来自所有分量图像中每个的一图片带条。如图1所示,合成图片带条是交错的立体图像。通过透镜光栅的每个微透镜,左眼视图可以看到左边图像的图片带条,右眼视图可以看到右边图像的图片带条。因为这样,观察者看到物体的3D图像。
构成用于观察的3D图像的目前的方法缺点包括:
1.制作合成图像的程序复杂;
2.多相机的镜头必须大体上相同,以生成相同大小和阴影的分量图像-相机的镜头必须具有相同的焦距及图像传感器必须具有相同的色彩平衡等等。
3.具有固定镜头间距的多镜头相机通常是不适合对物体特写拍照,这是因为图像间的视差太大。
发明内容
本发明利用一个相机镜头捕捉物体图像,并通过透镜光栅将捕捉的图像记录在图像传感器里。透镜光栅的每个透镜下的图像部分由电子处理器重排或翻转形成重排的图像。来自重排的图像的图像数据传送到显示器,以通过可见的透镜光栅或视差栅栏进行观察。由于图像部分翻转或重排,观察者可以看到立体图像而不是伪立体图像。
因此,本发明的一个方面是一种成像系统,包括:
相机、图像显示器和图像处理器,其中,
所述相机包括:
一第一视差片,该第一视差片包括多个第一视差分离单元,每个第一视差分离单元具有一第一单位宽度和一纵轴,
设置为形成图像的相机镜头,以及
一图像传感器,该图像传感器设置为通过第一视差片捕捉图像以形成具有多个图片带条的感测的图像,每个图片带条具有基本上等于第一视差分离单元的第一单元宽度的带条宽度;所述图像处理器设置为向所述图像显示器提供指示所感测的图像的图像数据;以及
所述图像显示器包括:
一显示面板,该显示面板设置为显示指示图像数据的显示的图像,该显示的图像包括多个显示区段,每个显示区段对应于一图片带条,并且每个显示区段具有区段宽度,以及
放置在所述显示面板上方的一第二视差片,所述第二视差片包括多个第二视差分离单元,每个第二视差分离单元具有基本上等于所述显示区段的区段宽度的一第二单位宽度。
根据本发明的一实施例,图像传感器包括基本上平行于第一视差分离单元的纵轴设置的多个像素行,以及感测的图像中的每个图片带条包括多个压缩图片带条,每个压缩图片带条指示像素行中的感测的数据,
以及每个显示区段包括多个显示子区段,每个显示子区段对应于所述多个压缩图片带条中的一个,并且其中所述图像数据设置为提供显示的图像的显示区段与显示面板上的第二视差片的第二视差分离单元之间的空间关系。
根据本发明的一实施例,每个压缩图片带条具有感测的图像内容,并且每个显示子区段具有显示的图像内容,其中根据每个图片带条中的压缩图片带条,每个图片带条中的感测的图像内容以第一顺序来排列,所述图像处理器设置为将所述第一顺序改变为不同的第二顺序,使得每个显示区段中的显示的图像内容以第二顺序排列。
根据本发明的实施例,第二视差片设置为使得每个第二视差分离单元基本上覆盖一个显示区段,并且其中第二顺序是第一顺序的逆顺序。
根据本发明的一实施例,所述的多个压缩图片带条包括一第一压缩带条和一最后压缩带条,并且所述多个显示子区段包括一第一子区段和一最后子区段,并且其中图像处理器设置为排列图像数据,使得第一子区段的显示的图像内容指示最后压缩带条的感测的图像内容,并且最后子区段的显示的图像内容指示第一压缩带条的感测的图像内容。
根据本发明的一实施例,所述多个压缩图片带条包括前N个压缩带条和最后N个压缩带条,且所述多个显示子区段包括前N个子区段和最后N个子区段,N为大于1的整数,并且其中所述图像处理器设置为排列图像数据,使得前N个子区段的显示的图像内容指示最后N个压缩带条的感测的图像内容,并且最后N个子区段的显示的图像内容指示所述前N个压缩带条的所感测的图像内容,并且其中所述第二视差片设置为使得每个所述第二视差分离单元基本上覆盖一个显示区段。
根据本发明的一实施例,每个压缩图片带条具有感测的图像内容,并且每个显示子区段具有显示的图像内容,并且其中所述多个压缩图片带条包括一第一压缩带条和一最后压缩带条,并且所述多个显示子区段包括一第一子区段和一最后子区段,所述第一子区段的显示的图像内容指示所述第一压缩带条的所感测的图像内容,并且最后子区段的显示的图像内容指示最后压缩带条的感测的图像内容,并且其中所述第二视差片设置为使得每个第二视差分离单元基本上覆盖一个显示区段,并且其中,每个图片带条中的感测的图像内容以根据所述每个图片带条中的压缩图片带条的顺序来排列,并且其中图像处理器设置为排列图像数据,使得一第二视差分离单元下方的显示区段包括所述一显示区段的最后子区段的显示的图像内容以及相邻显示区段的第一子区段的显示的图像内容。
根据本发明的一实施例,每个压缩图片带条具有感测的图像内容,并且每个显示子区段具有显示的图像内容,并且其中所述多个压缩图片带条包括前N个压缩带条和最后N个压缩带条,并且所述多个显示子区段包括前N个子区段和最后N个子区段,前N个子区段的显示的图像内容指示前N个压缩带条的感测的图像内容,以及最后N个显示的子区段的显示的图像内容指示最后N个压缩带条的感测的图像内容,并且其中所述第二视差片设置为使得每个所述第二视差分离单元基本上覆盖一个显示区段,并且其中每个图片带条中的感测的图像内容以根据所述每个图片带条中的压缩图片带条的顺序排列,并且其中所述图像处理器设置为排列图像数据,使得一第二视差分离单元下方的显示区段包括显示区段的最后N个显示子区段的显示的图像内容和相邻显示区段的前N个子区段的显示的图像内容。
根据本发明的一实施例,第一视差片和第二视差片中的每一个包括一透镜光栅,并且第一视差分离单元和第二视差分离单元中的每一个包括一微透镜。
根据本发明的一实施例,第一视差片和第二视差片中的每一个包括视差栅栏,并且第一视差分离单元和第二视差分离单元中的每一个包括栅栏单元。
根据本发明的一实施例,第一视差片和第二视差片中的一个包括透镜光栅,并且第一视差片和第二视差片中的另一个包括视差栅栏。
根据本发明的一实施例,显示面板包括液晶显示器、OLED显示器和CRT显示器中的一种。
根据本发明的一实施例,图像显示器设置为移动设备、平板电脑和电视机中的一种。
本发明的另一方面是一种成像显示系统,包括:
一图像显示器、一图像处理器,该图像处理器设置为向图像显示器提供图像数据,所述图像数据指示感测的图像,其中,所感测的图像由相机镜头形成并且通过第一视差片在图像传感器中被捕捉,第一视差片包括多个第一视差分离单元,每个第一视差分离单元具有第一单位宽度和一纵轴;以及其中所述图像显示器包括:
一显示面板,该显示面板设置为显示指示图像数据的显示的图像,该显示的图像包括多个显示区段,每个显示区段对应于一图片带条,并且每个显示区段具有区段宽度,以及
放置在显示面板上方的一第二视差片,所述第二视差片包括多个第二视差分离单元,每个第二视差分离单元具有基本上等于所述显示区段的区段宽度的一第二单位宽度。
根据本发明的一实施例,图像传感器包括基本上平行于第一视差分离单元的纵轴设置的多个像素行,并且感测的图像中的每个图片带条包括多个压缩图片带条,每个压缩图片带条指示像素行中的感测的数据,其中每个显示区段包括多个显示子区段,每个显示子区段对应于所述多个压缩图片带条中的一个,并且其中所述图像数据设置为提供一空间关系,该空间关系为显示的图像的显示区段与在显示面板上的第二视差片的第二视差分离单元之间的空间关系。
根据本发明的一实施例,每个压缩图片带条具有感测的图像内容,并且每个子区段具有显示的图像内容,其中每个图片带条中的感测的图像内容以根据所述每个图片带条中的压缩图片带条的第一顺序来排列,并且其中所述图像处理器设置为将所述第一顺序改变为不同的第二顺序,使得每个显示区段中的显示的图像内容以第二顺序排列。
根据本发明的一实施例,第二视差片设置为使得每个第二视差分离单元基本上覆盖一个显示区段,并且其中第二顺序是第一顺序的逆顺序。
根据本发明的一实施例,第二视差片包括透镜光栅,并且所述第二视差分离单元包括一微透镜。
根据本发明的一实施例,第二视差片包括视差栅栏,并且第二视差分离单元包括一栅栏单元。
根据本发明的一实施例,显示面板包括液晶显示器、OLED显示器和CRT显示器中的一种,并且其中图像显示器设置为移动设备,平板电脑和电视机中的一种。
附图说明
为了更全面地理解本发明的本质和目的,参考并结合图2-18B的附图进行详细描述:
图1示出了现有技术的3D成像系统;
图2示出根据本发明的一实施例的3D成像系统;
图3示出根据本发明的一实施例的3D相机;
图4是透镜光栅和下方的图像传感器的等距视图;
图5示出了一物体的前视图;
图6A示出了具有物体的图像的一图像传感器;
图6B是图6A所示的图像传感器的示意图;
图7A示出了旋转180度的图6A的图像传感器;
图7B是图7A所示的图像传感器的示意图;
图8A示出了重排的图像传感器;
图8B是图8A所示的重排的图像传感器的示意图;
图9示出了如图7B所示的图像传感器中的重排的像素,以形成图8B所示的重排的图像传感器;
图10示出了通过可见的透镜光栅的显示器的观景;
图11A示出了在每个带条中具有两个像素行的图像传感器条;
图11B示出了由图像翻转方式得到的如图11A所示的传感器条中的像素重排;
图11C示出了通过从一个像素到下一个像素的图像移位,得到如图11A所示的传感器条中的像素重排;
图11D示出了像素重排之后的图11A的图像传感器;
图12A示出了在每个带条中具有四个像素行的图像传感器条;
图12B示出了由图像翻转得到的如图12A所示的传感器条中的像素重排;
图12C示出了像素重排之后的图12A的图像传感器;
图12D示出了像素移位之后的图12A的图像传感器;
图13A示出了在每个带条中具有五个像素行的图像传感器条;
图13B示出了由图像翻转得到的如图13A所示的传感器条中的像素重排;
图13C示出了像素重排之后的图13A的图像传感器;
图14示出了根据如图9、11、12和13所示的实施例的3D显示的处理,
图15示出了本发明的不同实施例;
图16A示出了使用透镜光栅作为图像传感器上的视差片;
图16B示出了使用视差栅栏(barrier)作为图像传感器上的视差片;
图17A示出了使用透镜光栅作为显示面板上的视差片;
图17B示出了使用视差栅栏作为在显示面板上视差片;
图18A和18B根据本发明的实施例,总结了用于正立体3D观察的图像排列的方法。
具体实施方式
本发明提供一种3D成像系统,其中使用单个相机镜头来形成物体的图像,并且通过诸如透镜光栅或视差栅栏的视差分离片在图像传感器中捕捉所形成的图像。如图2所示,3D成像系统1包括一相机2,该相机2用于通过透镜光栅或视差栅栏20由相机镜头10形成物体的图像。所形成的图像在图像传感器30中被捕捉。图像内容或数据由图像处理器40处理。图像处理器40可以具有一个或多个存储器单元44以记录或存储处理的图像数据。处理的图像数据传送到显示装置或具有显示器面板60的单元46,以允许通过可见的透镜光栅或视差栅栏50观察显示的图像。
图3示出根据本发明的实施例的一相机。如图3所示,透镜光栅20具有多个微透镜22,每个微透镜22是具有一宽度和沿着纵轴的长度的柱面透镜(参见图4)。传感器30具有位于透镜光栅20下方的多个像素行,使得像素行基本上平行于微透镜22的纵轴,并且在每个微透镜22下方有N个像素行,其中N是等于或大于2的正整数。在如图3所示的示例中,在每个微透镜22下方的图像传感器条32中有三个像素行。如图3所示,每个图像传感器条32记录由相机镜头10形成并由相关联的微透镜22进一步压缩的物体5的部分图像。在如图3所示的每个图像传感器条32中,像素行R中的压缩图像由相机镜头10的右部形成,像素行C中的压缩图像由相机镜头10的中间部分形成,及像素行L中的压缩图像由相机镜头10的左部形成。
图4是透镜光栅和下方的图像传感器的等距视图。如图4所示,图像传感器30具有多个图像传感器条32。每个图像传感器条的宽度W基本上等于微透镜22的宽度,并且图像传感器条的相关长度L与微透镜22的长度相同。应当注意,图像传感器条32的长度L可以小于或大于微透镜22的长度,并且图像传感器30的总宽度可以小于或大于透镜光栅20的总宽度。然而,仅被透镜光栅20覆盖的图像传感器30的部分与本发明相关。因此,图像传感器30记录或捕捉的是感测的图像,并且每个图像传感器32中的感测的图像是图片带条,并且每个图片带条具有基本上等于微透镜22的宽度的带条宽度。
为说明本发明的原理,使用如图5所示的简单的物体5。如图5所示,具有左部L、中心部C和右部R的箭头从右指向左。图6A示出了具有物体图像的图像传感器。如图6A所示,物体的图像显示为通过图像形成处理由相机镜头10旋转180度的图像。图像传感器30上的每个图像传感器条32仅具有图像的一部分,并且每个图像部分用短箭头示出。短箭头用于跟踪在每个微透镜下物体的图像部分中的图像内容的左右方向。图6B是具有物体图像的图像传感器的示意图。如图6B所示,图像传感器30上的每个图像传感器条32具有三行像素,分别标记为R、C、L,类似于图3所示。每个图像传感器条32的标记R、C、L也与如图6A所示的短箭头一致。
图7A示出了旋转180度的图6A的图像传感器,图7B是图7A所示的图像传感器的示意图。根据本发明的实施例,在将图7A所示的图像传感器30上的图像内容提供给显示面板60用于观察之前(参见图2),在每个图像传感器条32上的图片带条中的图像内容如图8A和8B所示进行重排或翻转。仅为了说明的目的,在每个图像传感器条32内,像素行R的图像内容和像素行L的图像内容进行交换或互换。在像素行中的图像内容的翻转或重排之后,图7B中的每个图像传感器条32现在变为图8B所示的图像传感器条32’。图7A所示的图像传感器30上的物体的所得图像现在变成如图8A所示的物体的图像。为了区分具有原始图像内容的图像传感器30和具有重排的图像内容的图像传感器,尽管物理上传感器30和30’是相同的,但是具有重排的图像内容的图像传感器仍表示为图像传感器30’。因此,如图6A-13C所示的图像传感器30和图像传感器30’上的图像内容与感测的图像和处理的图像同义。同样地,图像传感器条32上和图像传感器条32’上的图像内容与图片带条和处理的图片带条同义。此外,如图3所示的每个图像传感器条32中的像素行R、C和L中的压缩图像与图片带条中的压缩图片带条同义。
如图8A所示,图像传感器30’上的物体的图像显示与图7A所示的图像传感器30上的物体的图像相同。然而,由于每个图像传感器条内的图像内容的翻转或重排,图8A中的短箭头的指向方向与图7A中的短箭头的指向方向相反。
图9示出了如图7B所示的图像传感器中的像素重排,以形成图8B的重排的图像传感器。可以这样理解,虽然物理像素和像素行保持相同,但是像素行中的图像内容却重排的。在重排每个图像传感器条内的像素行中的图像内容之后,将图像传感器30’上的图像内容提供给显示面板60,使得通过如图10所示的可见的透镜光栅50,可以观察显示在显示面板60上的物体的图像。可见的透镜光栅50具有多个微透镜52。如图10和图14所示,显示面板60上的显示的图像具有多个显示区段62,每个显示区段62位于透镜52下方。每个显示区段62对应于一处理的图片带条,并且显示区段62的宽度基本上等于透镜52的宽度。由于图3所示的图像传感器30上的图像内容与所感测的图像是同义的;所以图像传感器条32上的图像内容与图片带条同义,每个图像传感器条31中的像素行R、C和L中的压缩图像与图片带条中的压缩图片带条同义,如图10所示的面板60的图像显示与显示的图像同义,每个显示区段62下的图像子区段R、C、L与显示子区段同义。
通常,显示单元46中的显示器60的尺寸比相机中的图像传感器30大得多,并且可见的透镜光栅50的尺寸比相机2中的透镜光栅20大得多(见图3)。相应地,显示区段62的宽度远大于图像传感器30’中的图像传感器条32’的宽度(见图8B)。因此,成像系统1(参见图2)中的图像处理器40设置为执行图像内容重排,以及将图像传感器30’上的重排的图像内容提供给显示面板60的驱动器(未示出)以适应显示面板60的尺寸。如图10所示,观察者的左眼将看到每个显示区段62中的压缩图片带条L,右眼将看到压缩的图片带条R。这样,观察者看到的物体的图像将是立体镜或正立体3D图像,而不是伪立体3D图像。在如图3所示的示例中,感测的图像30中的每个图片带条32具有至少两个像素行,并且每个像素行具有显示为R、C或L的感测的图像内容。如图10所示,每个显示区段62具有至少两个显示子区段,且每个显示子区段对应一个像素行。如图14所示,显示面板60上的显示的图像中的显示区段62具有处理后的图像30’中的经处理的图片带条32’的图像内容。因此,显示子区段的显示的图像内容对应于压缩图片带条中的感测的图像内容。此外,显示区段的显示的图像内容对应于在图像数据已经由图像处理器处理和重排之后的图片带条中的图像数据。通常,图像处理器对图像数据的重排以提供显示的图像中的显示区段62与透镜片50的微透镜52之间的空间关系。
图7B、8B和9用于说明在图像传感器中的图像内容重排,其中每个图像传感器条具有三个像素行。图11A示出了图像传感器30,其中每个带条32具有两个像素行L、R。为了重排图像传感器30的图像内容,可以将像素行R中的图像内容与如图11B所示像素行L中的图像内容互换。在本发明的另一实施例的不同实施例中,一个像素行中的图像内容移位到如图11C所示的相邻的像素行。在如图11B或图11C所示的图像内容重排之后,图11A中的每个图像传感器条32现在变为图11D所示的图像传感器条32’。图11A中所示的图像传感器30上的物体的所得图像现在变为如图11D所示的图像传感器30’上的物体的图像。
图12A示出了图像传感器30,其中每个图像传感器条32具有四个像素行1、2、3、4。图12B示出了通过图像翻转得到的图12A所示的图像传感器条中的像素重排。如图所示,交换像素行1中的图像内容和像素行4中的图像内容,并且交换像素行2中的图像内容和像素行3中的图像内容。图12C示出了图12A的重排的图像传感器。
在本发明的不同实施例中,图片带条32中的两个像素行中的图像内容移位到相邻的图片带条,使得重排的图像传感器30’将具有如图12D所示的图片带条32’。
图13A示出了图像传感器条30,其中每个图片带条32具有五个像素行1、2、3、4和5。图13B示出了通过图像翻转得到的图13A所示的图像传感器条中的像素重排。如图所示,交换像素行1中的图像内容和像素行5中的图像内容,并且交换像素行2中的图像内容和像素行4中的图像内容。图13C示出了图13A的重排的图像传感器。
在如图9、11b、12b和图13b所示的示例中,图像传感器中的图像内容重排将每个图片带条32中的压缩图片带条的顺序改变为经处理的图片带条32’中所示的不同顺序。特别地,经处理的图片带条32’中的压缩图片带条的顺序是图片带条32中的压缩图片带条的逆顺序。由于经处理的图片带条32’中的压缩图片带条的感测的图像内容与如图14所示的显示区段62中的显示子区段的显示的图像的内容相同,显示区段62中的显示子区段的顺序是图片带条32中的压缩图片带条的逆顺序。在这种类型的图像数据重排中,如在图9、11(a)和11(d)中可以看到的,显示区段62中的第一显示子区段的显示的图像内容指示图片带条32中的最后压缩图片带条的感测的图像内容。同样地,显示区段62中的最后显示子区段的显示的图像内容指示在图片带条32中的第一压缩图片带条的感测的图像内容。当每个图片带条32具有如图12(a)和13(a)所示的四个或以上的压缩图片带条时,显示区段62(见图12(c)和图13(c))中的前两个显示子区段的显示的图像内容指示图片带条32中的最后两个压缩图片带条的感测的图像内容。同样地,显示区段62中最后两个显示子区段的显示的图像内容指示图片带条32中的前两个压缩图片带条的感测的图像内容。
在如图9、11、12和13所示的实施例中,具有多个图片带条32的图像传感器30的图像内容处理成为具有多个图片带条32’的重排的图像传感器30’的图像内容。然后将重排的图像传感器30’中的图像内容传送到显示面板60,以形成具有多个显示区段62的显示的图像,每个显示区段62对应于一图片带条32’。具有多个微透镜52的透镜光栅50放置在显示面板60上方,其中每个微透镜52基本上与如图14所示显示区段62对准。如图所示,可见的透镜光栅60的透镜宽度W’基本上等于(或略小于)显示区段62的宽度。因此,观察者将能够看到如图2所示的正立体3D图像。
在本发明的不同实施例中,可以跳过像素排布步骤,在该像素排布步骤中具有多个图片带条32的图像传感器30处理成为具有多个图片带条32’的重排的图像传感器30’。如图15所示,具有多个图片带条32的图像传感器30中的图像内容传送到显示面板60,以形成具有多个显示区段63的显示的图像,每个显示区段63对应于一图片带条32。具有多个微透镜52的透镜光栅50放置在显示面板60上方,使得每个微透镜52覆盖显示区段63的一半和相邻区段63的一半。因此,这样的观察者将能够看到如图2所示的正立体3D图像。
通过将图15所示的实施例与图14所示的实施例相比较,如图15所示的可见的透镜光栅50在垂直于微透镜纵轴的方向上移动大致等于微透镜宽度W的一半。图15中的微透镜的移位等效于图11C和图12D所示的图像像素的电子移位。
如图11a所示的感测的图像30中的指示图像内容的图像数据提供给如图15所示的显示面板60,则在可见的双凸镜屏幕50的微透镜52下方的显示区段将具有显示区段63的第二半的图像内容和相邻显示区段63的第一半的图像内容。在该示例中,显示区段的第二半具有压缩带条R的显示的图像内容,并且相邻显示区段的第一半具有压缩带条L的显示的图像内容。如果我们将指示如图12a所示的感测的图像30中的指示图像内容的图像数据提供给如图15所示的显示面板60,则显示区段的第二半具有两个压缩带条3、4的显示的图像内容和相邻显示区段的第一半具有两个压缩带条1、2的显示的图像内容(参见图12d)。
总之,本发明提供了一种方法和成像系统,其中相机中的单个透镜可以用于捕捉物体的图像,并且捕捉的图像可以在3D显示单元46上显示,该3D显示单元46具有图像显示面板60和用于观察的视差栅栏50。视差栅栏可以是透镜光栅或视差片的形式。显示面板60可以是液晶显示器、OLED显示器、CRT显示器或其它类似物。3D显示单元46可以是移动设备的一部分,诸如智能手机,平板电脑或其它类似物中的一部分。3D显示单元46可以是电视机。显示器60也可以是背投屏幕或其它类似物。相机2还可以是独立的数字相机或视频相机。处理器40可以是相机2的一部分或显示器46的一部分。
如图2所示,成像系统1包括三个元件:相机2、处理器40和具有显示器60和可见的视差栅栏50的3D显示器46。相机2具有诸如相机镜头10的图像形成光学单元,以用于通过透镜光栅20(或等同的视差栅栏)在图像传感器30上形成图像。处理器40可以具有一个或多个存储器单元44,该存储器单元44设置为处理来自相机中的图像传感器30的图像内容并且将经处理的图像内容提供给显示单元46。处理器40的主要功能包括结合如图9、11、12、13和14所示的实施例中所描述的在每个图像传感器条32中的图像内容的重排。然而,如图15所示,处理器40可以用于将图像内容从图像传感器30传送到显示面板60。
可以这样理解,本发明中所描述的透镜光栅可以与视差栅栏互换地使用。如图16A所示,具有多个微透镜22的透镜光栅20放置在图像传感器30上,使得来自相机镜头10的不同部分的光线引导到每个微透镜下方的图像传感器30的不同部分,以形成图片带条32。同样地,如图16B所示,具有多个遮光区段23的视差栅栏21可以用于分离来自相机镜头10的不同部分的光线,以便在图像传感器30上形成图片带条32。
如图17A所示,具有多个微透镜52的透镜光栅50放置在显示面板60上方,使得来自显示部分62的不同部分的图像可以到达观察者的不同眼睛。同样地,如图17B所示,具有多个遮光区段53的视差栅栏51可以放置在显示面板60上方,使得来自显示区段62的不同部分的图像可以到达观察者的不同眼睛。
为了使本发明更容易理解,图18A和18B根据本发明的实施例,总结了的图像设置的方法。图18A是如图3和图5所示的相机和物体的示意图。图18B包括图6、7、8和10的图,其示出了如何旋转形成图像传感器上的图像,每个图片带条中的图像内容重排并提供给显示面板以通过可见的透镜光栅观察。
在如图9、11、12和13所示的实施例中,每个微透镜22下像素行的数量分别为三、二、四和五。可以理解为,像素行的数量可以大于五。它可以是六、七、…、二十或更大。此外,在如图3、图6和图7所示的实施例中,具有覆盖图像传感器30的五个微透镜22的透镜光栅20用于说明像素行中的图像内容是如何重排的。同样地,在如图14和15所示的实施例中,具有覆盖显示面板60的五个微透镜52的可见的透镜光栅50用于说明3D显示系统中微透镜与图像区段之间的空间关系。可以理解为,要放置在图像传感器或显示面板上的透镜光栅上的微透镜的数量通常远大于5,但是其可以小于5。因此,相机或显示器面板上的透镜光栅上的微透镜的数量可以是六、…、几百、几千或更大。此外,相机中的透镜光栅上的微透镜的数量和显示面板上的透镜光栅上的微透镜的数量可以相同或不同。为了使莫尔效应最小化,像素行可以不平行于微透镜的纵轴。例如,行方向和微透镜的纵轴之间的差可以是几度至30度。
因此,尽管已经通过本发明的一个或多个实施例描述了本发明,但是本领域技术人员将会理解到,可以在不脱离本发明的形式和细节的情况下进行上述的和各种其它改变,省略和偏差,而未脱离本发明的保护范围。
Claims (20)
1.一种成像系统,包括:
相机、图像显示器和图像处理器,其中
所述相机包括:
一第一视差片,该第一视差片包括多个第一视差分离单元,每个第一视差分离单元具有一第一单位宽度和一纵轴,
设置为形成图像的相机镜头,以及
一图像传感器,该图像传感器设置为通过第一视差片捕捉图像以形成具有多个图片带条的感测的图像,每个图片带条具有基本上等于第一视差分离单元的第一单元宽度的带条宽度;所述图像处理器设置为向所述图像显示器提供指示所感测的图像的图像数据;以及
所述图像显示器包括:
一显示面板,该显示面板设置为显示指示图像数据的显示的图像,
该显示的图像包括多个显示区段,每个显示区段对应于一图片带条,并且每个显示区段具有区段宽度,以及
放置在所述显示面板上方的一第二视差片,所述第二视差片包括多个第二视差分离单元,每个第二视差分离单元具有基本上等于所述显示区段的区段宽度的第二单位宽度。
2.根据权利要求1所述的成像系统,其中图像传感器包括基本上平行于第一视差分离单元的纵轴设置的多个像素行,以及感测的图像中的每个图片带条包括多个压缩图片带条,每个压缩图片带条指示一像素行中的感测的数据,以及每个显示区段包括多个显示子区段,每个显示子区段对应于所述多个压缩图片带条中的一个,并且其中所述图像数据设置为提供显示的图像的显示区段与显示面板上的第二视差片的第二视差分离单元之间的空间关系。
3.根据权利要求2所述的成像系统,其中每个压缩图片带条具有感测的图像内容,并且每个显示子区段具有显示的图像内容,其中根据每个图片带条中的压缩图片带条,每个图片带条中的感测的图像内容以第一顺序来排列,并且其中所述图像处理器设置为将所述第一顺序改变为不同的第二顺序,使得每个显示区段中的显示的图像内容以第二顺序排列。
4.根据权利要求3所述的成像系统,其中所述第二视差片设置为使得每个第二视差分离单元基本上覆盖一个显示区段,并且其中第二顺序是第一顺序的逆顺序。
5.根据权利要求4所述的成像系统,其中所述多个压缩图片带条包括一第一压缩带条和一最后压缩带条,并且所述多个显示子区段包括一第一子区段和一最后子区段,并且其中图像处理器设置为排列图像数据,使得第一子区段的显示的图像内容指示最后压缩带条的感测的图像内容,并且最后子区段的显示的图像内容指示第一压缩带条的感测的图像内容。
6.根据权利要求3所述的成像系统,其中所述多个压缩图片带条包括前N个压缩带条和最后N个压缩带条,且所述多个显示子区段包括前N个子区段和最后N个子区段,N为大于1的整数,并且其中所述图像处理器设置为排列图像数据,使得前N个子区段的显示的图像内容指示最后N个压缩带条的感测的图像内容,并且最后N个子区段的显示的图像内容指示所述前N个压缩带条的所感测的图像内容,并且其中所述第二视差片设置为使得每个所述第二视差分离单元基本上覆盖一个显示区段。
7.根据权利要求2所述的成像系统,其中每个压缩图片带条具有感测的图像内容,并且每个显示子区段具有显示的图像内容,并且其中所述多个压缩图片带条包括第一压缩带条和最后压缩带条,并且所述多个显示子区段包括一第一子区段和一最后子区段,所述第一子区段的显示的图像内容指示所述第一压缩带条的所感测的图像内容,并且最后子区段的显示的图像内容指示最后压缩带条的感测的图像内容,并且其中所述第二视差片设置为使得每个第二视差分离单元基本上覆盖一个显示区段,并且其中,每个图片带条中的感测的图像内容以根据所述每个图片带条中的压缩图片带条的顺序来排列,并且其中图像处理器设置为排列图像数据,使得一第二视差分离单元下方的显示区段包括一显示区段的最后子区段的显示的图像内容以及相邻显示区段的第一子区段的显示的图像内容。
8.根据权利要求2所述的成像系统,其中每个压缩图片带条具有感测的图像内容,并且每个显示子区段具有显示的图像内容,并且其中所述多个压缩图片带条包括前N个压缩带条和最后N个压缩带条,并且所述多个显示子区段包括前N个子区段和最后N个子区段,前N个子区段的显示的图像内容指示前N个压缩带条的感测的图像内容,以及最后N个显示子区段的显示的图像内容指示最后N个压缩带条的感测的图像内容,并且其中所述第二视差片设置为使得每个所述第二视差分离单元基本上覆盖一个显示区段,并且其中每个图片带条中的感测的图像内容以根据所述每个图片带条中的压缩图片带条的顺序排列,并且其中所述图像处理器设置为排列图像数据,使得一第二视差分离单元下方的显示区段包括显示区段的最后N个显示子区段的显示的图像内容和相邻显示区段的前N个子区段的显示的图像内容。
9.根据权利要求1所述的成像系统,其中所述第一视差片和所述第二视差片中的每一个包括一透镜光栅,并且第一视差分离单元和第二视差分离单元中的每一个包括一微透镜。
10.根据权利要求1所述的成像系统,其中,所述第一视差片和所述第二视差片中的每一个包括视差栅栏,并且第一视差分离单元和第二视差分离单元中的每一个包括栅栏单元。
11.根据权利要求1所述的成像系统,其中所述第一视差片和所述第二视差片中的一个包括透镜光栅,并且第一视差片和第二视差片中的另一个包括视差栅栏。
12.根据权利要求1所述的成像系统,其中所述显示面板包括液晶显示器、OLED显示器和CRT显示器中的一种。
13.根据权利要求1所述的成像系统,其中,所述图像显示器设置在移动设备、平板电脑和电视机中的一种。
14.一种成像显示系统,包括:
一图像显示器、一图像处理器,该图像处理器设置为向所述图像显示器提供图像数据,所述图像数据指示感测的图像,其中,所感测的图像由相机镜头形成并且通过第一视差片在图像传感器中被捕捉,第一视差片包括多个第一视差分离单元,每个第一视差分离单元具有第一单位宽度和一纵轴;以及其中所述图像显示器包括:
一显示面板,该显示面板设置为显示指示图像数据的显示的图像,该显示的图像包括多个显示区段,每个显示区段对应于一图片带条,并且每个显示区段具有区段宽度,以及
放置在显示面板上方的一第二视差片,所述第二视差片包括多个第二视差分离单元,每个第二视差分离单元具有基本上等于所述显示区段的区段宽度的一第二单位宽度。
15.根据权利要求14所述的成像显示系统,其中,图像传感器包括基本上平行于第一视差分离单元纵轴设置的多个像素行,并且感测的图像中的每个图片带条包括多个压缩图片带条,每个压缩图片带条指示一像素行中的感测的数据,其中每个显示区段包括多个显示子区段,每个显示子区段对应于所述多个压缩图片带条中的一个,并且其中所述图像数据设置为提供一空间关系,该空间关系为显示的图像的显示区段与在显示面板上的第二视差片的第二视差分离单元之间的空间关系。
16.根据权利要求15所述的图像显示系统,其中每个压缩图片带条具有感测的图像内容,并且每个子区段具有显示的图像内容,其中每个图片带条中的感测的图像内容以根据所述每个图片带条中的压缩图片带条的第一顺序来排列,并且其中所述图像处理器设置为将所述第一顺序改变为不同的第二顺序,使得每个显示区段中的显示的图像内容以第二顺序排列。
17.根据权利要求16所述的图像显示系统,其中第二视差片设置为使得每个第二视差分离单元基本上覆盖一个显示区段,并且其中第二顺序是第一顺序的逆顺序。
18.根据权利要求14所述的图像显示系统,其中第二视差片包括透镜光栅,并且所述第二视差分离单元包括一微透镜。
19.根据权利要求14所述的图像显示系统,其中第二视差片包括视差栅栏,并且第二视差分离单元包括一栅栏单元。
20.根据权利要求14所述的图像显示系统,其中显示面板包括液晶显示器、OLED显示器和CRT显示器中的一种,并且其中图像显示器设置在移动设备、平板电脑和电视机中的一种。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US201461993003P | 2014-05-14 | 2014-05-14 | |
US61/993,003 | 2014-05-14 | ||
PCT/US2015/029219 WO2015175264A1 (en) | 2014-05-14 | 2015-05-05 | Method and apparatus for taking and displaying multi-view orthostereoscopic 3d images |
Publications (2)
Publication Number | Publication Date |
---|---|
CN106575046A true CN106575046A (zh) | 2017-04-19 |
CN106575046B CN106575046B (zh) | 2019-06-07 |
Family
ID=54480451
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201580036265.XA Active CN106575046B (zh) | 2014-05-14 | 2015-05-05 | 用于采集和显示多视点正立体3d图像的方法和装置 |
Country Status (3)
Country | Link |
---|---|
US (2) | US10129529B2 (zh) |
CN (1) | CN106575046B (zh) |
WO (1) | WO2015175264A1 (zh) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
TWI674556B (zh) * | 2017-10-30 | 2019-10-11 | 南韓商塞爾維克有限公司 | 用於在平板面板輸入立體圖像的硬體系統 |
WO2020181939A1 (zh) * | 2019-03-11 | 2020-09-17 | 京东方科技集团股份有限公司 | 显示装置及其显示方法 |
Families Citing this family (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN106575046B (zh) * | 2014-05-14 | 2019-06-07 | 三维摄像有限公司 | 用于采集和显示多视点正立体3d图像的方法和装置 |
CN105892080B (zh) * | 2016-06-28 | 2018-12-25 | 京东方科技集团股份有限公司 | 一种显示面板组件及显示装置 |
US11190754B2 (en) * | 2020-01-22 | 2021-11-30 | 3D Media Ltd. | 3D display device having a processor for correcting pseudostereoscopic effect |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US5076687A (en) * | 1990-08-28 | 1991-12-31 | Massachusetts Institute Of Technology | Optical ranging apparatus |
US20030026474A1 (en) * | 2001-07-31 | 2003-02-06 | Kotaro Yano | Stereoscopic image forming apparatus, stereoscopic image forming method, stereoscopic image forming system and stereoscopic image forming program |
US20130044372A1 (en) * | 2011-08-18 | 2013-02-21 | 3Dv Co. Ltd. | Arrangement of color sub-pixels in an image display panel for 2d/3d display |
CN103620666A (zh) * | 2011-04-19 | 2014-03-05 | 皇家飞利浦有限公司 | 光输出面板和具有该光输出面板的设备 |
Family Cites Families (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN106575046B (zh) * | 2014-05-14 | 2019-06-07 | 三维摄像有限公司 | 用于采集和显示多视点正立体3d图像的方法和装置 |
-
2015
- 2015-05-05 CN CN201580036265.XA patent/CN106575046B/zh active Active
- 2015-05-05 US US15/308,409 patent/US10129529B2/en active Active
- 2015-05-05 WO PCT/US2015/029219 patent/WO2015175264A1/en active Application Filing
-
2018
- 2018-11-12 US US16/186,989 patent/US10609358B2/en not_active Expired - Fee Related
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US5076687A (en) * | 1990-08-28 | 1991-12-31 | Massachusetts Institute Of Technology | Optical ranging apparatus |
US20030026474A1 (en) * | 2001-07-31 | 2003-02-06 | Kotaro Yano | Stereoscopic image forming apparatus, stereoscopic image forming method, stereoscopic image forming system and stereoscopic image forming program |
CN103620666A (zh) * | 2011-04-19 | 2014-03-05 | 皇家飞利浦有限公司 | 光输出面板和具有该光输出面板的设备 |
US20130044372A1 (en) * | 2011-08-18 | 2013-02-21 | 3Dv Co. Ltd. | Arrangement of color sub-pixels in an image display panel for 2d/3d display |
Cited By (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
TWI674556B (zh) * | 2017-10-30 | 2019-10-11 | 南韓商塞爾維克有限公司 | 用於在平板面板輸入立體圖像的硬體系統 |
US10495893B2 (en) | 2017-10-30 | 2019-12-03 | Cellvic Co., Ltd. | Hardware system for inputting 3D image in flat panel |
WO2020181939A1 (zh) * | 2019-03-11 | 2020-09-17 | 京东方科技集团股份有限公司 | 显示装置及其显示方法 |
CN111694183A (zh) * | 2019-03-11 | 2020-09-22 | 京东方科技集团股份有限公司 | 显示装置及其显示方法 |
US11238830B2 (en) | 2019-03-11 | 2022-02-01 | Boe Technology Group Co., Ltd. | Display device and display method thereof |
Also Published As
Publication number | Publication date |
---|---|
WO2015175264A1 (en) | 2015-11-19 |
US10609358B2 (en) | 2020-03-31 |
US20170078643A1 (en) | 2017-03-16 |
US10129529B2 (en) | 2018-11-13 |
US20190149801A1 (en) | 2019-05-16 |
CN106575046B (zh) | 2019-06-07 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US10609358B2 (en) | Method and apparatus for taking and displaying multi-view orthostereoscopic 3D images | |
US9066083B2 (en) | Single lens 2D/3D digital camera | |
US11032531B2 (en) | Mobile device having a 3D display with selectable magnification | |
US9197877B2 (en) | Smart pseudoscopic-to-orthoscopic conversion (SPOC) protocol for three-dimensional (3D) display | |
CN103260046A (zh) | 一种三维显示方法及系统 | |
WO2021147944A1 (en) | 3d display device having a processor for correcting pseudo stereoscopic effect | |
CN103155576A (zh) | 立体图像显示装置和立体图像显示方法 | |
US20130088485A1 (en) | Method of storing or transmitting auto-stereoscopic images | |
US9918070B2 (en) | Method for description of object points of the object space and connection for its implementation | |
JP2006267767A (ja) | 画像表示装置 | |
CN112868226B (zh) | 适用于具有主导眼的观察者的三维显示器 | |
JP6233870B2 (ja) | 立体映像受像機 | |
EP1292854A1 (en) | Stereo panoramic camera arrangements for recording panoramic images useful in a stereo panoramic image pair | |
CN103686135A (zh) | 显示控制装置、摄像装置及控制方法 | |
Albar et al. | Portable holoscopic 3D camera adaptor for Raspberry Pi | |
CN211653315U (zh) | 一种一维集成成像双视3d显示装置 | |
Son et al. | Comparisons of perceived images in multiview and integral photography based three-dimensional imaging systems | |
JP2024007470A (ja) | 画像ストリームにより偏光視野角を一致させる立体表示装置及び立体表示方法 | |
CN106664395B (zh) | 具有可选择缩放因数的3d显示屏的移动设备 | |
KR20170059879A (ko) | 입체 영상 촬영 장치 | |
RU91442U1 (ru) | Система получения и восстановления объемного изображения | |
TW202406332A (zh) | 裸視三維顯示方法及裸視三維顯示裝置 | |
CN111929913A (zh) | 一种全息图像显示系统 | |
TWI547141B (zh) | 包裝圖框的解包裝方法、裝置及儲存解包裝指令之非暫態儲存媒體 | |
US20050057438A1 (en) | Apparatus and method for producing three-dimensional motion picture images |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |