CN101964916B - 图像显示装置和方法 - Google Patents

图像显示装置和方法 Download PDF

Info

Publication number
CN101964916B
CN101964916B CN201010235639.XA CN201010235639A CN101964916B CN 101964916 B CN101964916 B CN 101964916B CN 201010235639 A CN201010235639 A CN 201010235639A CN 101964916 B CN101964916 B CN 101964916B
Authority
CN
China
Prior art keywords
parallax level
image
stereo
instruction
display
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CN201010235639.XA
Other languages
English (en)
Other versions
CN101964916A (zh
Inventor
四方大介
林淳司
柳田聪司
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujifilm Corp
Original Assignee
Fujifilm Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujifilm Corp filed Critical Fujifilm Corp
Priority to CN201410021543.1A priority Critical patent/CN103731656B/zh
Publication of CN101964916A publication Critical patent/CN101964916A/zh
Application granted granted Critical
Publication of CN101964916B publication Critical patent/CN101964916B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30Image reproducers
    • H04N13/302Image reproducers for viewing without the aid of special glasses, i.e. using autostereoscopic displays
    • H04N13/31Image reproducers for viewing without the aid of special glasses, i.e. using autostereoscopic displays using parallax barriers
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106Processing image signals
    • H04N13/128Adjusting depth or disparity
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106Processing image signals
    • H04N13/139Format conversion, e.g. of frame-rate or size
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106Processing image signals
    • H04N13/172Processing image signals image signals comprising non-image signal components, e.g. headers or format information
    • H04N13/178Metadata, e.g. disparity information
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106Processing image signals
    • H04N13/172Processing image signals image signals comprising non-image signal components, e.g. headers or format information
    • H04N13/183On-screen display [OSD] information, e.g. subtitles or menus
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20Image signal generators
    • H04N13/204Image signal generators using stereoscopic image cameras
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20Image signal generators
    • H04N13/296Synchronisation thereof; Control thereof
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30Image reproducers
    • H04N13/302Image reproducers for viewing without the aid of special glasses, i.e. using autostereoscopic displays
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30Image reproducers
    • H04N13/356Image reproducers having separate monoscopic and stereoscopic modes
    • H04N13/359Switching between monoscopic and stereoscopic modes
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30Image reproducers
    • H04N13/398Synchronisation thereof; Control thereof
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/63Control of cameras or camera modules by using electronic viewfinders
    • H04N23/633Control of cameras or camera modules by using electronic viewfinders for displaying additional information relating to control or operation of the camera

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Library & Information Science (AREA)
  • Human Computer Interaction (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
  • Controls And Circuits For Display Device (AREA)

Abstract

本发明提供了图像显示装置和方法。通过向两个或多个图像实施三维处理来产生立体图像,其中所述两个或多个图像是通过从不同位置进行拍摄而获得的。立体地显示立体图像,并且接收开始改变立体图像的视差水平的指令。响应于开始改变视差水平的指令而将立体图像的立体显示切换为相互重叠的两个或多个图像的二维显示。接收改变视差水平的指令。响应于改变视差水平的指令,在改变图像的视差水平的同时二维地显示两个或多个图像。

Description

图像显示装置和方法
技术领域
本发明涉及用于立体地显示由两个或多个图像产生的立体图像的图像显示装置和方法,从而实现图像的立体视图,本发明还涉及用于使计算机执行图像显示方法的程序。
背景技术
已知通过组合从不同位置对同一对象进行拍摄而获得的两个或多个图像来利用视差提供立体视图,以产生立体图像,并且立体地显示由此产生的立体图像。作为实现立体显示的技术的一个具体示例,已知的是以裸眼来并行观看,其中通过并排地布置两个或多个图像来实现立体显示。并且,可通过组合两个或多个图像来产生立体图像以实现立体显示,例如通过在重叠图像的同时将图像的颜色改变成彼此不同的颜色(例如红色和蓝色),或者通过在重叠图像的同时为图像提供不同的偏振方向。在这些情况下,是通过利用图像分离镜片(例如红蓝镜片或者偏振镜片)来实现立体视图,以提供立体地显示的立体图像的经由眼睛的自动聚焦功能而得到的合并视图(彩色立体照片系统、偏振滤波系统)。
通过在能够实现图像的立体视图的立体显示监视器(例如视差栅栏系统或双凸透镜系统)上显示两个或多个图像,还可以在无需使用偏振镜片等的情况下实现立体视图。在这种情况下,立体显示是这样实现的:将两个或多个图像裁剪为竖窄条(vertical strip)并交替布置窄条以产生立体图像,并布置具有狭缝的档光栅栏。并且,已经提出了一种利用余留成像效应提供立体显示的方法,其中,通过利用图像分离镜片高速切换并改变来自左边图像和右边图像的射线的方向,或者通过将光学元件附接至液晶显示器(背光控制系统),左边和右边的图像可被交替地显示。
当如上所述提供立体视图,立体效果的优选程度根据观看立体图像的用户而有所不同。由于立体效果随着用于立体视图的两个或多个图像之间的异应量(视差)而改变,提出了一种用于产生立体图像的技术,该技术包括:在图像被立体地显示的同时接收指令以控制立体图像的视差水平,以及根据所指示的视差水平产生修正的立体图像(请参见日本未审查专利公开No.2004-129186,下文中将其称为专利文献1)。已经提出另一种技术来产生立体图像,其中,在立体地观看正被显示的立体图像的同时控制立体效果(请参见日本未审查专利公开No.10(1998)-090814,下文中将其称为专利文献2)。还提出了一种在视频游戏的过程中控制立体效果的技术(请参见日本未审查专利公开No.9(1997)-192349,下文中将其称为专利文献3)。
但是,在专利文献1至3所公开的技术中,虽然可以通过调节视差水平来改变立体效果,但是立体效果的控制都是在用户观看被立体地显示的图像的时候执行的,因此,视差水平的变化量不易被察觉。
发明内容
考虑到上述情况,本发明旨在使得有助于在调节立体图像的立体效果期间检查视差水平。
根据本发明的一个方面的一种图像显示装置包括:显示装置,能够立体地显示根据从不同位置进行拍摄而获得的两个或多个图像而产生的立体图像;三维处理装置,用于向两个或多个图像实施用于立体显示的三维处理,以产生立体图像;输入装置,用于接收开始改变立体图像的视差水平的指令以及改变视差水平的指令;以及显示控制装置,用于响应于开始改变视差水平的指令而将立体图像的立体显示切换为相互重叠的两个或多个图像的二维显示,并且响应于改变视差水平的指令而在改变两个或多个图像的视差水平的同时二维地显示这两个或多个图像。
在根据本发明的图像显示装置中,在利用背光控制系统实现立体显示并且显示装置是液晶显示装置的情况下,显示控制装置在立体显示期间以三维模式驱动显示装置的背光单元,并且在二维显示期间以二维模式驱动背光单元。
在根据本发明的图像显示装置中,当接收到改变视差水平的指令时,显示控制装置根据视差水平的变化量以可视觉识别的方式在显示装置上显示立体显示期间的两个或多个图像的显示范围。
此处的描述“以可视觉识别的方式显示的立体显示期间的两个或多个图像的显示范围”指的是,在改变视差水平之前或之后在立体显示期间为用户提供的显示范围的大小的视觉识别,而不改变两个或多个图像的大小,例如通过在所显示的图像周围提供框、并改变框的大小,而不改变两个或多个图像的显示大小。
根据本发明的图像显示装置还可以包括通知装置,用于在出现了两个或多个图像之间具有视差基本为零的区域的情况下,通知出现了视差基本为零的区域的情况。
通过改变二维显示的图像中具有零视差的区域的颜色,或者利用表示出现了视差基本为零的区域的声音,可实现此处的“通知”。
根据本发明的图像显示装置还可以包括记录控制装置,用于根据指令在记录介质中以视差水平的变化量与两个或多个图像相关联的方式记录视差水平的变化量。
在根据本发明的图像显示装置中,在切换至二维显示之后,当接收到预定操作时,显示控制装置将二维显示切换至立体显示。
在根据本发明的图像显示装置中,在切换至二维显示之后,当过了预定时间周期之后,显示控制装置将二维显示切换至立体显示。
在根据本发明的图像显示装置中,显示控制装置在二维显示期间显示视差水平。
根据本发明一个方面的一种拍摄设备包括:两个或多个拍摄装置,用于通过从不同位置进行拍摄而获得用于立体显示的两个或多个图像;以及根据本发明的图像显示装置。
根据本发明一个方面的一种图像显示方法包括如下步骤:通过向两个或多个图像实施三维处理以产生立体图像,其中所述两个或多个图像是通过从不同位置进行拍摄而获得的;立体地显示立体图像;接收开始改变立体图像的视差水平的指令;响应于开始改变视差水平的指令而将立体图像的立体显示切换为相互重叠的两个或多个图像的二维显示;接收改变视差水平的指令;以及响应于改变视差水平的指令而在改变两个或多个图像的视差水平的同时二维地显示这两个或多个图像。
可以以使得计算机执行本发明的图像显示方法的程序的形式提供本发明。
根据本发明,当用户发出改变视差水平的指令时,两个或多个图像的立体显示被切换为相互重叠的两个或多个图像的二维显示。这有利于用户在通过改变视差水平调节立体效果时检查两个或多个图像之间的视差水平。
利用两个或多个图像之间的重叠范围实现了立体显示。因此,视差水平越大,从两个或多个图像中裁剪出的用于立体显示的区域越小。所以,将被立体地显示的立体图像相对于原始图像被放大。但是,在这种情况下,图像的显示大小的改变可能更吸引用户的注意,并且可能妨碍用户确定适当的视差水平。
通过根据视差水平的变化量以可视觉识别的方式显示两个或多个图像的显示范围,所显示的图像没被放大。这样,用于可以致力于对视差水平的控制,因此能优选地控制视差水平。
并且,当出现了两个或多个图像之间具有零视差的区域时,通知该情况。这使得用户在希望在图像之间提供具有零视差的期望区域时可以有效地执行操作。
此外,所指示的视差水平的变化量以与经过三维处理之前的原始图像相关联的方式存储。因此,当随后希望改变立体效果时,可以再次对原始图像实施三维处理以改变立体效果。
附图说明
图1是图示出根据本发明实施例的图像显示装置的外观的透视图,
图2是图示出根据本发明实施例的图像显示装置的内部配置的示意框图,
图3是图示出背光控制系统的LCD的背光结构的框图,
图4是用于解释通过背光控制系统进行立体显示的框图,
图5是用于解释通过背光控制系统进行二维显示的框图,
图6是图示出二维显示状态的框图,
图7是图示出在本发明实施例中的立体效果控制期间执行的处理的流程图,
图8是用于说明如何改变视差水平的框图,
图9是图示出用于确定是否保存当前视差水平的询问屏幕的框图,
图10是图示出具有写在其首部的立体效果控制值的图像文件的文件结构的框图,
图11是图示出在立体显示期间执行的处理的流程图,
图12是用于说明如何根据视差水平改变切边(trimming)区域的框图,
图13是图示出在立体图像周围添加了黑色框的状态的框图,
图14是图示出具有零视差的区域处的颜色发生改变的状态的框图,
图15是图示出包括两个连接的图像的图像文件的文件结构的框图,
图16是图示出如何存储图像文件和立体效果控制值的文本文件的框图,
图17是图示出如何存储图像文件和立体效果控制值的文本文件的另一框图,以及
图18是图示出如何存储图像文件和立体效果控制值的文本文件的另一框图。
具体实施方式
下文将参考附图描述本发明的实施例。图1是图示出根据本发明实施例的图像显示装置的外观的透视图。如图1所示,根据本实施例的图像显示装置1包括液晶显示器(LCD)2和布置在其前侧的手控按钮3。图像显示装置1还包括位于侧面的插槽5,其内用于容纳记录介质4,例如存储卡。根据本实施例的图像显示装置1在LCD 2上立体地显示根据通过组合从不同位置对同一对象进行拍摄而获得并存储在记录介质4中的两个或多个图像所产生的立体图像。在本实施例的描述中,假设利用两幅图像GL和GR来执行立体显示。立体显示期间,图像GL是用于左眼的图像,而图像GR是用于右眼的图像。
手控按钮3包括上部按钮3U、下部按钮3D、左边按钮3L、右边按钮3R以及中间按钮3C。
图2是图示出根据本实施例的图像显示装置的内部配置的示意框图。如图2所示,图像显示装置1包括记录控制单元21、压缩/解压处理单元22、帧存储器23、内部存储器24、三维处理单元25、显示控制单元26和CPU 27。
记录控制单元21控制对插入插槽5中的记录介质4中信息的记录和读取。并且,记录控制单元21根据用户所改变的视差水平来在图像GL和GR的图像文件的标签中写入立体效果控制值,这在下文中将予以描述。
压缩/解压处理单元22对将被立体显示的从记录介质4中读出的图像GL和GR执行压缩和解压。存储立体效果控制值(这在下文中将予以描述)的标签以及相关联的信息(如拍摄时间、日期)被添加至基于例如Exif格式的图像GL和GR的图像文件中。
帧存储器23,如下文所述,是用于包括三维处理的各种处理操作的工作存储器,所述各种处理操作应用于表示图像GL和GR的图像数据。对于帧存储器23,出于成本考虑通常采用作为易失性存储器的动态RAM。
内部存储器24存储将在图像显示装置1中设置的各种常数、将被CPU 27执行的程序等。对于内部存储器24,采用非易失性存储器以便使得其中所存储的数据在数码相机的电源关闭的时候不会被删除,因此,可以在该存储器中存储所拍摄的图像。
三维处理单元25对图像GL和GR实施三维处理,以便产生用于在LCD 2上立体显示图像GL和GR的立体图像。本实施例中所采用的用于实现立体显示的技术可以是任何一种已知技术。例如,图像GL和GR可并排显示,以便通过裸眼的并行观看来实现立体视图,或者可采用双凸透镜系统,其中双凸透镜被附接至LCD 2,并且图像GL和GR被显示在LCD 2的显示表面的预定位置处,从而使得图像GL和GR分别被左眼和右眼看到,以实现立体显示。并且,可采用视差栅栏系统,其中,LCD 2上附接了用于将光路改变至左眼和右眼的栅栏,并且图像GL和GR被显示在LCD 2的显示表面的预定位置处,从而使得图像GL和GR分别被左眼和右眼看到,以实现立体显示。
还可以通过以在重叠图像GL和GR的同时将图像GL和GR的颜色改变成彼此不同的颜色(例如红色和蓝色)、或者通过在重叠图像GL和GR的同时为图像GL和GR提供不同的偏振方向的方式组合图像GL和GR,以实现立体显示(彩色立体照片系统、偏振滤波系统)。并且,可以采用背光控制系统,其通过以交替方式对与左眼和右眼相对应的LCD 2的背光元件的光路进行光学分离,实现了立体显示,并且根据背光单元的左右分离而在LCD 2的显示表面上交替显示图像GL和GR。
根据三维处理单元25所执行的三维处理的类型修正LCD 2。例如,在利用双凸透镜系统实施立体显示的情况下,双凸透镜被附接在LCD 2的显示表面上。在视差栅栏系统的情况下,栅栏被附接在LCD 2的显示表面上。在背光控制系统的情况下,用于将射线方向从左边图像变为右边图像的光学元件被附接在LCD 2的显示表面上。在本实施例中,利用背光控制系统实现立体显示。因此,LCD 2包括用于左眼的背光单元2L和用于右眼的背光单元2R,如图3所示。在下面的描述中,用于左眼的背光单元2L的光路由实线表示,而用于右眼的背光单元2R的光路由虚线表示。
三维处理单元25对图像GL和GR应用各种图像处理,如白平衡校正、色调校正、锐度校正和颜色校正。注意,可以在三维处理单元25之外提供用于应用所述图像处理的单独的图像处理单元。
三维处理单元25改变图像GL和GR的视差水平,从而根据用户经由手控按钮3而控制的立体效果来重新产生立体图像G3,这将在后面予以描述,并且三维处理单元25立体地显示该重新产生的立体图像G3。
根据用户经由手控按钮3发出的指令,显示控制单元26立体地显示通过将相互叠加的图像GL和GR进行三维显示或二维显示而获得的立体图像G3。
即,当执行立体显示时,如图4所示,打开用于左眼的背光单元2L并显示用于左眼的图像GL的操作、以及打开用于右眼的背光单元2R并显示用于右眼的图像GR的操作高速切换(例如60Hz),以利用余留成像效应(三维模式)提供立体效果。在图4中,用阴影表示关闭的背光单元。符号“L”或“R”表示了所显示的图像GL或GR。
另一方面,在执行二维显示时,用于左眼和右眼的背光单元2L和2R同时导通,如图5所示,用于左眼的图像GL的显示以及用于右眼的图像GR的显示不断高速切换,以实现两个图像GL、GR的重叠显示,如图6所示(二维模式)。
CPU 27根据经由手控按钮3输入的指令来控制图像显示装置1的单元。
数据总线28连接至形成图像显示装置1的多个单元和CPU 27,用于图像显示装置1中的各种数据和信息的通信。
接下来,将描述在本实施例中执行的处理。图7是图示出在本实施例中的立体效果控制(即改变视差水平)期间执行的处理的流程图。在该描述中,假设已经在不改变视差水平的情况下对从记录介质4读出的图像GL和GR实施了三维处理,因此,所产生的立体图像G3被立体地显示在LCD 2上。当立体图像G3被立体地显示时,CPU 27启动处理,并且CPU 27接收用户经由手控按钮3发出的开始改变视差水平的指令(步骤ST1)。例如,通过手控按钮3的中间按钮3C发出开始改变视差水平的指令。这样,显示控制单元26将当前显示的图像的维度切换为二维显示(步骤ST2)。如图6所示,两个图像GL和GR被二维地显示在LCD 2上,以看起来相互重叠。应该注意的是,两个图像GL和GR之间的视差水平可在二维显示期间被显示出来。在图6所示的示例中,显示了文本“视差水平:10”。并且,CPU 27接收用户经由手控按钮3发出的改变视差水平的指令(步骤ST3)。
图8是用于说明如何改变视差水平的框图。在图8中,实线表示LCD 2的现实范围,虚线表示图像GL,并且点划线表示图像GR。如图所示,图像GL与预定视差基准相偏离的量为-XL0,图像GR与预定视差基准相偏离的量为XR0。虽然图像GL和GR和LCD 2在水平方向上实际上具有相同的大小,但是为了便于解释,将它们示出为在水平方向上具有不同的大小。由于图像GL和GR是通过自不同位置对同一对象进行拍摄而获得的,所以图像GL和GR中包含的对象图像之间具有预定视差(图8所示的示例中为XR0+XL0),这可以在图像GL和GR相互重叠时看出来。因此,可通过对图像GL和GR实施三维处理以产生立体图像并立体地显示该立体图像,来提供立体视图。
但是,由于立体效果的优选水平根据用户而有所不同,所以用户经由手控按钮3发出的指示改变视差水平的指示被接收,并且在本实施例中,图像GL和GR的视差水平变化。例如,在本实施例中,视差水平变化,从而使得在手控按钮3的左边按钮3L被按下时提供更小的视差水平,并且在右边按钮3R被按下时提供更大的视差水平。在视差水平被显示的情况下,所显示的视差水平在右边按钮3R或者左边按钮3L被按下时发生改变。
随后,CPU 27确定视差水平是否已经变得达到控制极限值(步骤ST4)。视差水平的控制极限值指的是,例如当图像GL和GR中的每个图像平移达到另一图像的相对端时的控制值。如果步骤ST4中的确定结果是否定的,则确定用户是否将手从手控按钮3上释放以结束用于控制的指令(步骤ST5)。如果步骤ST5中的确定结果是否定的,处理返回步骤ST4。如果ST4中的确定结果是肯定的,则停止视差水平的改变(步骤ST6),在LCD 2上显示警告以表示不能再对立体效果做出进一步的改变(步骤ST7),并且处理进入步骤ST5。这样,对视差水平的改变继续以实现所指示的视差水平,直到视差水平达到控制极限值或者用户将手从手控按钮3释放。
如果步骤ST5中的确定结果是肯定的,CPU 27确定是否经由手控按钮3发出切换显示维度的指令(步骤ST8)。例如,可以经由手控按钮3的中间按钮3C来发出切换显示维度的指令。如果步骤ST8中的确定结果是肯定的,显示控制单元26将图像的显示维度切换为立体显示(步骤ST9),并且处理返回ST8。
如果在预定的时间周期内没有发出切换显示维度的指令,在步骤ST8做出否定的确定结果,并且CPU 27在LCD 2显示询问屏幕,用于确定当前的视差水平是否保存(步骤ST0)。应该注意的是,当发出切换显示维度的指令时,步骤ST10中的操作可以在响应于用户对中间按钮3C的操作而使得图像显示维度被切换为立体显示之后立刻执行。用户可以经由手控按钮3来选择“YES”或者“NO”。如果选择了“NO”,处理返回步骤ST1。如果选择了“YES”,记录控制单元21将当前视差水平作为立体效果控制值写入图像GL和GR的首部(步骤ST12),并且处理结束。记录在记录介质4中的图像GL和GR被其首部写有立体效果控制值的图像GL和GR所覆盖写入。
图10是图示出具有写在其首部的立体效果控制值的图像GL和GR的图像文件的文件结构的框图。如图10所示,图像GL和GR的图像文件FL和FR包括首部HL和HR以及主图像(以与图像相同的标号GL和GR表示),它们是图像GL和GR的实质数据。首部HL和HR包括对立体效果控制值的描述。例如,图像GL的首部HL包括作为立体效果控制值的描述“XL1”,图像GR的首部HR包括作为立体效果控制值的描述“XR1”。
根据视差水平来计算立体效果控制值XL1和XR1。例如,当视差水平为6并且视差基准被设置在图像GL和GR中间时,立体效果控制值为:XL1=3和XR1=3。视差基准可被设置在图像GL上,在这种情况下,立体效果控制值为:XL1=0和XR1=6。应该注意的是,用于计算立体效果值的方法并不限于所述示例。可以采用对于所用系统最方便的方式来计算立体效果控制值。
在上述处理中,在步骤ST8对是否发出了切换显示维度的指令做出确定,如果发出了切换指令,图像显示维度被切换成立体显示。但是,图像显示维度可在控制指令停止之后的预定时间周期已经过了之后被切换为立体显示。
接下来,将描述当记录介质4中记录的图像GL和GR被立体显示时在本实施例中执行的处理。图11是图示出在立体显示期间执行的处理的流程图。当经由手控按钮3发出对图像进行立体显示的指令时,CPU 27启动处理,并且记录控制单元21从记录介质4读出将被显示的图像GL和GR,并且将图像GL和GR暂时存储在帧存储器23中(步骤ST21)。随后,三维处理单元25确定是否在图像GL和GR的首部写入立体效果控制值(步骤ST22)。如果步骤ST22中的确定结果是肯定的,写入图像GL和GR的首部的立体效果控制值被读出(步骤ST23),根据所读出的立体效果控制值,对图像GL和GR实施三维处理以产生立体图像G3,同时改变立体水平以实现视差水平(步骤ST24)。随后,显示控制单元26将立体图像G3立体地显示在LCD2上(步骤ST25),并且处理结束。
另一方面,如果步骤ST22中的确定结果是否定的,在不改变立体水平以实现视差水平的同时,对图像GL和GR实施三维处理以产生立体图像G3(步骤ST26)。随后,步骤进入步骤ST25以立体地显示立体图像G3,并且处理结束。
如上所述,在本实施例中,在改变视差水平期间,图像GL和GR的立体显示被切换为三维显示。这有助于用户检查图像GL和GR之间的视差。
并且,立体效果控制值在实施三维处理之前被写入原始图像GL和GR的首部,并且被记录在记录介质4中。因此,如果用户希望在随后的时间点改变立体效果,再次对原始图像GL和GR实施三维处理以改变立体效果。
并且,立体效果控制值被写入图像GL和GR的图像文件FL和FR中的首部HL和HR。因此,通过基于写入首部HL和HR的立体效果控制值实施三维处理以实现视差水平,图像GL和GR可被立体显示以具有符合改变视差水平的用户的喜好的立体效果。这消除了每次执行立体显示用户都要改变视差水平的要求,从而减轻了用户的负担。
应该注意的是,虽然在上述实施例中使用背光控制系统实现了立体显示,但在立体显示系统是背光控制系统之外的其它系统(例如双凸透镜系统或视差栅栏系统)的情况下,也可以通过在半透明状态下显示彼此重叠的图像GL和GR而不实施三维处理,实现了二维显示,从而图像GL和GR看起来是两个重叠的图像,如图6所示。
当执行立体显示时,图像GL和GR的较大视差水平提供了图像GL和GR之间更窄的重叠区域,从而造成用于立体显示的更窄的显示范围。即,如图12所示,当图像GL和GR的视差水平较小,图像GL和GR的图像彼此重叠的显示范围由图12所示的区域A1所表示;并且,当视差水平较大时,图像GL和GR的图像彼此重叠的显示范围小于当视差水平较小时的显示范围(由区域A2表示)。应该注意的是,图像GL和GR和区域A1和A2具有相同的长宽比。
利用图像GL和GR之间的重叠范围来执行立体显示。因此,视差水平越大,从图像GL和GR中裁剪出的用于立体显示的区域越小。所以,立体地显示在LCD 2上的立体图像G3被放大。在本实施例中,当视差水平变化时,被立体地显示的立体图像G3可根据视差水平而被放大或减小以改变其大小。但是,在这种情况下,图像的显示大小的改变可能更吸引用户的注意,并且可能妨碍用户确定适当的视差水平。
因此,例如,根据视差水平的改变量,如图13所示的黑色框可被添加在被立体地显示的立体图像G3周围,从而提供在立体显示期间在LCD 2上实际显示范围的表示,即,图像GL和GR将被裁剪出的范围。这样,用户可以专注于对视差水平的控制,并且因此可以有效地控制视差水平。
应该注意的是,在二维显示期间也可以与立体显示期间类似地添加框。
如果视差水平过大,不能提供适当的立体视图。因此,当视差水平大到不能提供立体视图,可改变框的颜色来提醒用户这一点。在这种情况下,随着视差水平增大,框的颜色可根据视差水平的幅度而被逐步改变为蓝色、黄色和红色。
并且,在上述实施例中,当视差水平变化时,具有零视差的区域出现在图像GL和GR上。在这种情况下,立体图像G3中具有零视差的区域的颜色可被改变,从而用户可以看出具有零视差的区域。例如,在图14所示的二维显示的图像GL和GR中,如果视差水平在人的面部处为0,人的面部的颜色可被改变为预定颜色(例如红色)。在图14中,用阴影表示了颜色变化。类似地,在立体显示期间,立体图像G3中具有零视差的区域的颜色可变化。
如果存在具有零视差的区域,可利用声音来告知用户这一事实。
虽然在上述实施例中立体效果控制值被写入图像GL和GR的图像文件FL和FR中的首部HL和HR中,在某些情况下,可以形成包含相连的图像GL和GR的文件F1,如图15所示。在这种情况下,图像GL和GR的立体效果控制值被写入文件F1的首部H1。
图像GL和GR和立体效果控制值可被存储在分开的文件中。例如,如图16所示,图像GL和GR的图像文件FL和FR以及其中写入了立体效果控制值的文本文件T1可被存储在文件夹D1中。在这种情况下,原始图像GL和GR的图像文件FL和FR与文本文件T1一起被存储在相同的文件夹D1中,或者原始图像GL和GR可从它们被存储的文件夹中移出,从而使得原始图像GL和GR被存储在与文本文件T1相同的文件夹D1中。
具体地说,在图像GL和GR被存储为单独的图像文件F1中的情况下,如图17所示,两个或者更多的图像文件F1和F1’与其中写入了立体效果控制值的文本文件T1被存储在相同的文件夹D1中。在这种情况下,针对存储在文件夹D1中的所有图像的立体效果控制值与图像文件F1和F1’相关联地写入文本文件T1中。
并且,如图18所示,文件夹D1可仅仅存储图像文件F1和F1’,并且单独的文件夹D2可存储其中写入了立体效果控制值的文本文件T0。在这种情况下,针对存储在文件夹D1中的所有图像的立体效果控制值以与图像文件F1和F1’相关联的方式被写入文本文件T1中。
应该注意的是,虽然在上述实施例中从记录介质4读出将被输入图像显示装置1的图像,但是这并不用于限制本发明。可从图像服务器输入图像,图像服务器经由网络与图像显示装置1相连,或者可经由非接触式通信等来输入图像。
并且,根据上述实施例的图像显示装置1可被提供给包括两个或多个拍摄单元的双眼调节(多眼调节)拍摄装置。在这种情况下,通过拍摄获得的两个或多个图像可被立刻显示在监控器上,以允许在图像被记录在记录介质4之前改变视差水平。在这种情况下,在显示拍摄之前的现实的视景图像的同时,可以改变视差水平。在这种情况下,在显示维度被切换为二维显示时,可改变视差水平,这样,当用户半按下释放按钮,图像的显示维度可被切换至立体显示。并且,在视差水平改变之后经过了预定时期之后,图像的显示维度可被切换至立体显示。
已经描述了根据本发明的一个实施例的装置10。此外,本发明可被实现为用于使得计算机起到与三维处理单元25、记录控制单元21以及显示控制单元26相对应的装置以执行图7和图11所示的处理的程序。本发明还可被实现为包含该程序的计算机可读记录介质。

Claims (7)

1.一种立体成像设备,包括:
两个拍摄装置,用于通过从不同位置进行拍摄来获得两个图像;
三维处理装置,用于根据两个图像来产生立体图像;
显示装置,能够进行二维显示和立体显示;
输入装置,用于接收开始改变视差水平的指令和改变视差水平的指令;
显示控制装置,用于当立体图像被立体地显示为实时取景图像时至少在作出所述开始改变视差水平的指令的同时将立体图像的立体显示改变为相互重叠的两个图像的二维显示,响应于所述改变视差水平的指令来在改变图像的视差水平时二维地显示相互重叠的两个图像,并且在所述改变视差水平的指令停止后经过预定时间周期之后将二维显示改变为立体显示;以及
中央处理器,用于确定视差水平是否已变得达到控制极限值以及用于确定所述改变视差水平的指令是否已停止,
其中所述显示控制装置继续改变视差水平,直到视差水平已变得达到控制极限值或者所述改变视差水平的指令已停止。
2.如权利要求1所述的立体成像设备,其中所述显示控制装置在立体显示改变为二维显示时在所述显示装置上显示表示视差水平的数字值。
3.如权利要求1所述的立体成像设备,其中,在利用背光控制系统实现立体显示并且显示装置是液晶显示装置的情况下,显示控制装置在立体显示期间以三维模式驱动显示装置的背光单元,并且在二维显示期间以二维模式驱动背光单元。
4.如权利要求1所述的立体成像设备,其中,当接收到所述改变视差水平的指令时,显示控制装置根据视差水平的变化量以可视觉识别的方式在显示装置上显示立体显示期间的两个图像的显示范围。
5.如权利要求1所述的立体成像设备,还包括通知装置,用于在出现了两个图像之间视差实质上为零的区域的情况下,通知出现了视差实质上为零的区域的事实。
6.如权利要求1所述的立体成像设备,还包括记录控制装置,用于根据所述改变视差水平的指令在记录介质中以视差水平的变化量与两个图像相关联的方式记录视差水平的变化量。
7.一种立体成像方法,包括步骤:
通过从不同位置进行拍摄来获得两个图像;
根据两个图像来产生立体图像;
在能够进行二维显示和立体显示的显示装置上立体地显示立体图像的实时取景图像;
接收开始改变视差水平的指令和改变视差水平的指令;
当所述立体图像被立体地显示为实时取景图像时,至少在作出所述开始改变视差水平的指令的同时将立体图像的立体显示改变为相互重叠的两个图像的二维显示;
响应于所述改变视差水平的指令来在改变图像的视差水平时二维地显示相互重叠的两个图像;
确定视差水平是否已变得达到控制极限值,并且确定所述改变视差水平的指令是否已停止,
继续改变视差水平,直到视差水平已变得达到控制极限值或者所述改变视差水平的指令已停止;以及
在所述改变视差水平的指令停止后经过预定时间周期之后将二维显示改变为立体显示。
CN201010235639.XA 2009-07-21 2010-07-21 图像显示装置和方法 Expired - Fee Related CN101964916B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201410021543.1A CN103731656B (zh) 2009-07-21 2010-07-21 图像显示控制设备和方法

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2009-169664 2009-07-21
JP2009169664A JP5430266B2 (ja) 2009-07-21 2009-07-21 画像表示装置および方法並びにプログラム

Related Child Applications (1)

Application Number Title Priority Date Filing Date
CN201410021543.1A Division CN103731656B (zh) 2009-07-21 2010-07-21 图像显示控制设备和方法

Publications (2)

Publication Number Publication Date
CN101964916A CN101964916A (zh) 2011-02-02
CN101964916B true CN101964916B (zh) 2014-02-26

Family

ID=42805506

Family Applications (2)

Application Number Title Priority Date Filing Date
CN201010235639.XA Expired - Fee Related CN101964916B (zh) 2009-07-21 2010-07-21 图像显示装置和方法
CN201410021543.1A Expired - Fee Related CN103731656B (zh) 2009-07-21 2010-07-21 图像显示控制设备和方法

Family Applications After (1)

Application Number Title Priority Date Filing Date
CN201410021543.1A Expired - Fee Related CN103731656B (zh) 2009-07-21 2010-07-21 图像显示控制设备和方法

Country Status (4)

Country Link
US (2) US10080013B2 (zh)
EP (3) EP2466904A1 (zh)
JP (1) JP5430266B2 (zh)
CN (2) CN101964916B (zh)

Families Citing this family (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4787369B1 (ja) * 2010-03-30 2011-10-05 富士フイルム株式会社 画像処理装置および方法並びにプログラム
JP5546960B2 (ja) * 2010-06-14 2014-07-09 任天堂株式会社 立体画像表示プログラム、立体画像表示装置、立体画像表示システム、および、立体画像表示方法
KR20120010764A (ko) * 2010-07-27 2012-02-06 엘지전자 주식회사 이동 단말기 및 3차원 영상 제어 방법
KR20120011161A (ko) * 2010-07-28 2012-02-07 삼성전자주식회사 3차원 표시를 위한 이미지를 변경하는 장치 및 방법
JP5324537B2 (ja) * 2010-09-06 2013-10-23 富士フイルム株式会社 立体画像表示制御装置ならびにその動作制御方法およびその動作制御プログラム
JP5324538B2 (ja) * 2010-09-06 2013-10-23 富士フイルム株式会社 立体画像表示制御装置ならびにその動作制御方法およびその動作制御プログラム
WO2012033005A1 (ja) * 2010-09-08 2012-03-15 日本電気株式会社 撮影装置および撮影方法
JP2012114896A (ja) * 2010-11-04 2012-06-14 Panasonic Corp 3d撮像装置及び3d再生装置
JP5306544B2 (ja) * 2010-11-05 2013-10-02 富士フイルム株式会社 画像処理装置、画像処理プログラム、画像処理方法、及び記憶媒体
EP2506587A2 (en) * 2011-03-31 2012-10-03 Fujifilm Corporation Stereoscopic display apparatus
JP5325255B2 (ja) * 2011-03-31 2013-10-23 富士フイルム株式会社 立体画像表示装置、立体画像表示方法および立体画像表示プログラム
JP6089383B2 (ja) * 2011-04-08 2017-03-08 ソニー株式会社 画像処理装置、および画像処理方法、並びにプログラム
CN102879993B (zh) * 2011-07-15 2015-06-10 时代光电科技股份有限公司 物体轮廓的侦测装置及方法
US20130047186A1 (en) * 2011-08-18 2013-02-21 Cisco Technology, Inc. Method to Enable Proper Representation of Scaled 3D Video
CN102427542B (zh) * 2011-09-28 2014-07-30 深圳超多维光电子有限公司 一种立体图像处理方法、图像处理装置和相应的终端设备
KR101850718B1 (ko) * 2011-12-15 2018-04-20 엘지전자 주식회사 디스플레이 장치 및 디스플레이 장치의 3d 영상 변환 방법
WO2013099571A1 (ja) * 2011-12-28 2013-07-04 ソニー株式会社 視差調整装置、画像処理装置、フレームフォーマット
JP5932363B2 (ja) * 2012-01-26 2016-06-08 キヤノン株式会社 撮像装置およびその制御方法
WO2013186960A1 (ja) * 2012-06-15 2013-12-19 パナソニック株式会社 画像データ処理装置及び画像データ処理方法
TWI566576B (zh) * 2014-06-03 2017-01-11 宏碁股份有限公司 立體影像合成方法及裝置
CN104378621A (zh) * 2014-11-25 2015-02-25 深圳超多维光电子有限公司 立体场景处理方法及装置
CN111684497A (zh) * 2018-02-06 2020-09-18 索尼公司 图像处理设备、图像处理方法和图像提供系统
US11314383B2 (en) * 2019-03-24 2022-04-26 Apple Inc. Stacked media elements with selective parallax effects
JP7484929B2 (ja) * 2019-10-28 2024-05-16 ソニーグループ株式会社 情報処理装置、情報処理方法およびプログラム

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005026800A (ja) * 2003-06-30 2005-01-27 Konica Minolta Photo Imaging Inc 画像処理方法、撮像装置、画像処理装置及び画像記録装置
CN1795682A (zh) * 2003-05-27 2006-06-28 三洋电机株式会社 图像显示装置及程序
JP4181446B2 (ja) * 2003-05-14 2008-11-12 シャープ株式会社 立体画像表示装置
JP4225768B2 (ja) * 2002-07-31 2009-02-18 シャープ株式会社 立体画像データ処理装置および立体画像データ処理用プログラム

Family Cites Families (28)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3283925B2 (ja) * 1992-09-29 2002-05-20 株式会社鷺宮製作所 ディジタル表示式サーモスタット
JP3054002B2 (ja) * 1993-09-01 2000-06-19 キヤノン株式会社 複眼撮像装置
US6384859B1 (en) * 1995-03-29 2002-05-07 Sanyo Electric Co., Ltd. Methods for creating an image for a three-dimensional display, for calculating depth information and for image processing using the depth information
JP3581745B2 (ja) * 1995-08-07 2004-10-27 公佑 橋本 立体映像表示装置
JPH09130513A (ja) * 1995-11-02 1997-05-16 Minolta Co Ltd 画像形成装置
JP3525970B2 (ja) 1996-01-19 2004-05-10 株式会社タイトー 立体視を体験できるゲーム機の視差調節装置
EP0830034B1 (en) * 1996-09-11 2005-05-11 Canon Kabushiki Kaisha Image processing for three dimensional display of image data on the display of an image sensing apparatus
JP3595634B2 (ja) 1996-09-11 2004-12-02 キヤノン株式会社 複眼カメラ及び画像処理方法
JP3802630B2 (ja) * 1996-12-28 2006-07-26 オリンパス株式会社 立体画像生成装置および立体画像生成方法
JPH11355624A (ja) 1998-06-05 1999-12-24 Fuji Photo Film Co Ltd 撮影装置
JP2001236521A (ja) 2000-02-22 2001-08-31 Japan Science & Technology Corp 画像分割方式による仮想現実システム
JP2002006425A (ja) * 2000-06-20 2002-01-09 Nippon Hoso Kyokai <Nhk> 立体画像撮影光学装置
US7277121B2 (en) * 2001-08-29 2007-10-02 Sanyo Electric Co., Ltd. Stereoscopic image processing and display system
JP3691444B2 (ja) * 2002-03-11 2005-09-07 三洋電機株式会社 立体画像撮像装置
EP2315454B1 (en) * 2002-09-27 2012-07-25 Sharp Kabushiki Kaisha 3-D image display device
JP2004207933A (ja) 2002-12-25 2004-07-22 Toshiba Corp Crt型表示装置及び投射型表示装置
US7417664B2 (en) * 2003-03-20 2008-08-26 Seijiro Tomita Stereoscopic image picking up and display system based upon optical axes cross-point information
CN101841728B (zh) * 2003-04-17 2012-08-08 夏普株式会社 三维图像处理装置
JP4212987B2 (ja) 2003-08-26 2009-01-21 シャープ株式会社 立体画像表示装置、立体画像表示方法、その方法をコンピュータに実行させるためのプログラム及びそのプログラムを記録した記録媒体
JP2005073038A (ja) * 2003-08-26 2005-03-17 Casio Comput Co Ltd 立体的表示機能付電子機器
JP4251952B2 (ja) * 2003-10-01 2009-04-08 シャープ株式会社 立体画像表示装置および立体画像表示方法
JP4469159B2 (ja) 2003-11-06 2010-05-26 学校法人早稲田大学 立体映像評価装置および立体映像チューナ
JP4447407B2 (ja) * 2004-08-30 2010-04-07 株式会社リコー 印刷処理装置
JP4692770B2 (ja) 2006-12-27 2011-06-01 富士フイルム株式会社 複眼デジタルカメラ
JP5096048B2 (ja) * 2007-06-15 2012-12-12 富士フイルム株式会社 撮像装置、立体画像再生装置及び立体画像再生プログラム
KR100927720B1 (ko) * 2007-08-24 2009-11-18 삼성모바일디스플레이주식회사 전자 영상 기기
JP4851406B2 (ja) * 2007-08-31 2012-01-11 富士フイルム株式会社 多眼撮影システムにおける調整用画像表示方法および多眼撮影システム
JP5266126B2 (ja) * 2009-03-31 2013-08-21 富士フイルム株式会社 画像表示装置および方法並びにプログラム

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4225768B2 (ja) * 2002-07-31 2009-02-18 シャープ株式会社 立体画像データ処理装置および立体画像データ処理用プログラム
JP4181446B2 (ja) * 2003-05-14 2008-11-12 シャープ株式会社 立体画像表示装置
CN1795682A (zh) * 2003-05-27 2006-06-28 三洋电机株式会社 图像显示装置及程序
JP2005026800A (ja) * 2003-06-30 2005-01-27 Konica Minolta Photo Imaging Inc 画像処理方法、撮像装置、画像処理装置及び画像記録装置

Also Published As

Publication number Publication date
JP2011024151A (ja) 2011-02-03
US10080013B2 (en) 2018-09-18
US9060170B2 (en) 2015-06-16
CN101964916A (zh) 2011-02-02
US20130201302A1 (en) 2013-08-08
US20110018968A1 (en) 2011-01-27
EP2293587B1 (en) 2014-12-03
EP2466904A1 (en) 2012-06-20
EP2293587A1 (en) 2011-03-09
CN103731656B (zh) 2016-01-20
JP5430266B2 (ja) 2014-02-26
EP2469871A2 (en) 2012-06-27
EP2469871A3 (en) 2012-07-25
CN103731656A (zh) 2014-04-16

Similar Documents

Publication Publication Date Title
CN101964916B (zh) 图像显示装置和方法
CN106251403B (zh) 一种虚拟立体场景实现的方法、装置和系统
CN102165785B (zh) 三维成像装置和方法
JP5266126B2 (ja) 画像表示装置および方法並びにプログラム
US9307228B2 (en) Depth of field maintaining apparatus, 3D display system and display method
JP5420075B2 (ja) 立体画像再生装置、その視差調整方法、視差調整プログラム、及び撮影装置
JP2002077943A (ja) 画像取り扱い装置
CN102135722B (zh) 摄像机结构、摄像机系统和方法
JP2009010557A (ja) 奥行データ出力装置及び奥行データ受信装置
WO2013108285A1 (ja) 画像記録装置、立体画像再生装置、画像記録方法、及び立体画像再生方法
US20130235036A1 (en) Image processing apparatus, image processing method, and image processing program
CN102656892B (zh) 立体图像显示控制设备及其操作控制方法
CN103959336A (zh) 图像处理装置、其方法和非暂时性计算机可读存储介质
CN102177722A (zh) 图像处理装置和方法以及图像再生装置、方法和程序
JP4787369B1 (ja) 画像処理装置および方法並びにプログラム
US9942540B2 (en) Method and a device for creating images
CN103155576A (zh) 立体图像显示装置和立体图像显示方法
KR101228916B1 (ko) 멀티 비젼의 3차원 영상 표시 장치 및 방법
CN101908233A (zh) 产生用于三维影像重建的复数视点图的方法及系统
KR100274624B1 (ko) 적층액정디스플레이를이용한3차원입체화상생성장치
TWI572899B (zh) 擴充實境成像方法及其裝置
Ebisu et al. Realization of electronic 3D display combining multiview and volumetric solutions
KR19990053445A (ko) 액정 렌즈를 이용한 3차원 입체 화상 생성 장치
CN113382225B (zh) 一种基于全息沙盘的双目全息展示方法及装置
KR101433082B1 (ko) 2차원 영상과 3차원 영상의 중간 정도 느낌을 주는 영상 변환 및 재생 방법

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20140226

Termination date: 20210721