CN102804756B - 视频图像处理设备和视频图像处理设备的控制方法 - Google Patents

视频图像处理设备和视频图像处理设备的控制方法 Download PDF

Info

Publication number
CN102804756B
CN102804756B CN201080024839.9A CN201080024839A CN102804756B CN 102804756 B CN102804756 B CN 102804756B CN 201080024839 A CN201080024839 A CN 201080024839A CN 102804756 B CN102804756 B CN 102804756B
Authority
CN
China
Prior art keywords
image
video image
viewing area
eye
display
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CN201080024839.9A
Other languages
English (en)
Other versions
CN102804756A (zh
Inventor
吉川辉树
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Publication of CN102804756A publication Critical patent/CN102804756A/zh
Application granted granted Critical
Publication of CN102804756B publication Critical patent/CN102804756B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/44—Receiver circuitry for the reception of television signals according to analogue transmission standards
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G3/00—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes
    • G09G3/001—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes using specific devices not provided for in groups G09G3/02 - G09G3/36, e.g. using an intermediate record carrier such as a film slide; Projection systems; Display of non-alphanumerical information, solely or in combination with alphanumerical information, e.g. digital display on projected diapositive as background
    • G09G3/003—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes using specific devices not provided for in groups G09G3/02 - G09G3/36, e.g. using an intermediate record carrier such as a film slide; Projection systems; Display of non-alphanumerical information, solely or in combination with alphanumerical information, e.g. digital display on projected diapositive as background to produce spatial visual effects
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G3/00—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes
    • G09G3/007—Use of pixel shift techniques, e.g. by mechanical shift of the physical pixels or by optical shift of the perceived pixels
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G3/00—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes
    • G09G3/20—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes for presentation of an assembly of a number of characters, e.g. a page, by composing the assembly by combination of individual elements arranged in a matrix no fixed position being assigned to or needed to be assigned to the individual characters or partial characters
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/431—Generation of visual interfaces for content selection or interaction; Content or additional data rendering
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/81—Monomedia components thereof
    • H04N21/816—Monomedia components thereof involving special video data, e.g 3D video
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2320/00—Control of display operating conditions
    • G09G2320/04—Maintaining the quality of display appearance
    • G09G2320/043—Preventing or counteracting the effects of ageing
    • G09G2320/046—Dealing with screen burn-in prevention or compensation of the effects thereof
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2320/00—Control of display operating conditions
    • G09G2320/10—Special adaptations of display systems for operation with variable images
    • G09G2320/106—Determination of movement vectors or equivalent parameters within the image
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2340/00—Aspects of display data processing
    • G09G2340/04—Changes in size, position or resolution of an image
    • G09G2340/0464—Positioning

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Computer Hardware Design (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Controls And Circuits For Display Device (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
  • Control Of Indicators Other Than Cathode Ray Tubes (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Abstract

提供一种视频图像处理设备。显示装置包括左眼图像的第一显示部和右眼图像的第二显示部。所述视频图像处理设备包括：视频图像处理部件，用于从被配置为各场景的帧图像的集合的三维视频图像中剪切帧图像的一部分，其中，单个的帧图像是通过以规定图案排列与同一场景相对应的一对左眼图像和右眼图像而形成的；以及输出部件，用于将部分图像输出至所述显示装置。当改变剪切位置时，所述视频图像处理部件剪切所述部分图像，以使得改变之后的所述部分图像中的左眼图像和右眼图像的排列图案与所述显示区域中的所述第一显示部和所述第二显示部的排列图案相互一致。

Description

视频图像处理设备和视频图像处理设备的控制方法
技术领域
本发明涉及一种视频图像处理设备和视频图像处理设备的控制方法。
背景技术
当前，进行三维(3D)视频图像的播放(3D播放)。例如，作为日本数字卫星广播频道的频道BS 11通过“并排方法”进行3D播放，在该方法中，通过将图像分割成左眼视频图像和右眼视频图像来传送用于单个画面的视频图像。另外，作为3D视频图像的典型显示方法，已知有“偏光方法”和“主动快门方法”。主动快门方法还被称为时分显示方法或帧顺序方法等。
在偏光方法的情况下，3D播放的接收器包括显示面板上具有偏光特性的薄膜，并且进行左眼视频图像和右眼视频图像的交错显示。观看者戴上偏光眼镜，并且利用他/她的左眼观看左眼视频图像的显示行，而且利用他/她的右眼观看右眼视频图像的显示行，从而使得能够立体感知视频图像。
在主动快门方法的情况下，3D播放接收器交替显示左眼视频图像和右眼视频图像。观看者戴着包括液晶快门的眼镜。眼镜控制液晶快门，以使得左眼视频图像仅进入他/她的左眼而右眼视频图像仅进入他/她的右眼。这样，观看者可以立体地感知视频图像。
顺便提及，在显示面板上可能发生被称为残影(burn-in)的现象。残影是这样一种现象：发光装置由于长时间发光而劣化，从而导致不能适当发挥其发光功能的状况。特别地，在长时间显示静止图像或包括静止区域的运动图像的情况下，由于残影的影响，这类图像有时可能如残像那样残留在显示面板上。
这样，由于发光装置的劣化导致残影，并且对于二维(2D)视频图像和3D视频图像都可能发生残影。当前已知一些用于抑制残影发生的技术。
日本特开2000-338947号公报公开了一种利用所谓的“像素移位”的方法减轻残影的技术，其中，当输入图像在特定长度的时间内没有变化时，该方法改变图像的显示大小以使该图像的显示位置移位。
日本特开2004-264366号公报公开了一种技术，在该技术中，检测图像的输入格式，并且根据显示大小进行插值。然后，通过使图像的显示位置在水平方向和垂直方向上在规定的像素范围内每规定时间移位一个像素并且同时抑制由图像的移位所引起的视觉分散，来减轻残影。
日本特开2000-338947号公报和日本特开2004-264366号公报旨在将像素移位应用于2D视频图像，但是并没有考虑视频图像包括左眼视频图像和右眼视频图像的情况。然而，当将诸如传统像素移动等的处理应用于3D视频图像时，由于以下原因，存在以与创作者最初希望的立体效果不同的立体效果来感知3D视频图像的可能性。
例如，在偏光方法的情况下，如果左眼视频图像的像素移位至右眼视频图像的像素的位置以及右眼视频图像的像素移位至左眼视频图像的像素的位置，则右眼和左眼之间的视差反转。另外，在主动快门方法的情况下，当左眼视频图像的像素的移位量和右眼视频图像的像素的移位量彼此不同时，或者当这些视频图像的像素的移位时刻彼此不同时，这两种视频图像之间的视差发生变化。在3D视频图像中，通过提供左眼视频图像和右眼视频图像之间的视差(双眼视差)，人可以立体地感知视频图像。然而，作为由于残影控制而使设计视频图像所基于的视差改变的结果，预计3D视频图像将变得模糊，或者在更糟的情况下，无法感知为3D视频图像。也就是说，传统的残影减轻技术并没有考虑到3D视频图像中存在残影的问题。
发明内容
本发明是考虑到这些情况而实现的，并且提供了一种3D视频图像用的残影减轻技术。
根据本发明的第一方面，提供一种视频图像处理设备，用于将视频图像输出至具有显示区域的显示装置，所述显示区域包括用于显示左眼图像的第一显示部和用于显示右眼图像的第二显示部，所述视频图像处理设备包括：视频图像处理部件，用于从被配置为各场景的帧图像的集合的三维视频图像中剪切帧图像的一部分，其中，单个的帧图像是通过以规定图案排列与同一场景相对应的一对左眼图像和右眼图像而形成的；以及输出部件，用于将所述视频图像处理部件剪切出的部分图像输出至所述显示装置，其中，当改变所述部分图像的剪切位置时，所述视频图像处理部件从帧图像中剪切所述部分图像，以使得剪切位置改变之后的所述部分图像中的左眼图像和右眼图像的排列图案与所述显示区域中的所述第一显示部和所述第二显示部的排列图案相互一致。
根据本发明的第二方面，提供一种视频图像处理设备，用于将视频图像输出至显示装置，所述视频图像处理设备包括：视频图像处理部件，用于从被配置为各场景的左右帧图像组的集合的三维视频图像中剪切左眼帧图像和右眼帧图像的一部分，其中，单个的左右帧图像组是由与同一场景相对应的一对左眼帧图像和右眼帧图像构成的；以及输出部件，用于将所述视频图像处理部件剪切出的部分图像输出至所述显示装置，其中，所述视频图像处理部件执行用于改变所述部分图像的剪切位置的处理，以及所述视频图像处理部件在如下的时刻处执行用于改变所述剪切位置的处理：在该时刻，在所述三维视频图像中，将与同一场景相对应的左右帧图像组切换成下一左右帧图像组。
根据本发明的第三方面，提供一种视频图像处理设备的控制方法，所述视频图像处理设备用于将视频图像输出至具有显示区域的显示装置，所述显示区域包括用于显示左眼图像的第一显示部和用于显示右眼图像的第二显示部，所述控制方法包括以下步骤：视频图像处理步骤，用于从被配置为各场景的帧图像的集合的三维视频图像中剪切帧图像的一部分，其中，单个的帧图像是通过以规定图案排列与同一场景相对应的一对左眼图像和右眼图像而形成的；以及输出步骤，用于将在所述视频图像处理步骤中剪切出的部分图像输出至所述显示装置，其中，在所述视频图像处理步骤中，当改变所述部分图像的剪切位置时，从帧图像中剪切所述部分图像，以使得剪切位置改变之后的所述部分图像中的左眼图像和右眼图像的排列图案与所述显示区域中的所述第一显示部和所述第二显示部的排列图案相互一致。
根据本发明的第四方面，提供一种视频图像处理设备的控制方法，所述视频图像处理设备用于将视频图像输出至显示装置，所述控制方法包括以下步骤：视频图像处理步骤，用于从被配置为各场景的左右帧图像组的集合的三维视频图像中剪切左眼帧图像和右眼帧图像的一部分，其中，单个的左右帧图像组是由与同一场景相对应的一对左眼帧图像和右眼帧图像构成的；以及输出步骤，用于将在所述视频图像处理步骤中剪切出的部分图像输出至所述显示装置，其中，在所述视频图像处理步骤中，执行用于改变所述部分图像的剪切位置的处理，以及在所述视频图像处理步骤中，在如下的时刻处执行用于改变所述剪切位置的处理：在该时刻，在所述三维视频图像中，将与同一场景相对应的左右帧图像组切换成下一左右帧图像组。
利用上述结构，本发明可以提供一种3D视频图像用的残影减轻技术。
通过以下参考附图对典型实施例的说明，本发明的其它特征将变得明显。
附图说明
图1是示出利用偏光方法显示3D视频图像的显示面板101的侧面观看概念图。
图2是示出显示面板101的正面观看概念图。
图3是示出根据第一实施例的广播接收器300的示意性结构的框图。
图4是2D像素移位表和3D像素移位表的概念图。
图5是示出广播接收器300的残影减轻处理的流程图。
图6是利用主动快门方法的3D视频图像显示的概念图。
图7是示出根据第二实施例的广播接收器700的示意性结构的框图。
图8是示出广播接收器700的残影减轻处理的流程图。
图9是示出根据图8的流程图如何移位显示开始位置的概念图。
具体实施方式
现在将参考附图说明本发明的实施例。应该注意，本发明的技术范围是由权利要求书所限定的，而不受下面所述的各实施例的限制。另外，实现本发明并非需要这些实施例中所述的特征的所有组合。
在下面的实施例中，将说明本发明的视频图像处理设备应用于广播接收器的情况，然而，应用例子不局限于此。例如，还可以将本发明的视频图像处理设备应用于诸如DVD播放器等的视频图像再现设备。
第一实施例
在第一实施例中，说明使用偏光方法作为用于三维视频图像(3D视频图像)的显示方法的情况。因此，将3D视频图像构成为与同一场景相对应的成对的左眼图像和右眼图像的集合。图1是示出利用偏光方法显示3D视频图像的显示面板101的侧面观看概念图。图2是示出显示面板101的正面观看概念图。
显示面板101接收并显示通过广播接收器所输出的视频图像。显示面板101可以是任何类型的显示面板，诸如液晶显示器、等离子显示器或SED(表面传导电子发射显示器)等。
在显示面板101(显示装置)上装配偏光滤波器102。如图2所示，将偏光滤波器102配置成：奇数行(L1、L2、......)用作左眼显示行(第一显示部)，而偶数行(R1、R2、......)用作右眼显示行(第二显示部)。因此，利用具有不同振动方向的光分别显示左眼图像和右眼图像。观看者(用户)通过戴着专用的偏光眼镜104观看视频图像，将视频图像感知为3D视频图像，其中，在偏光眼镜104中，对于左眼和右眼(图1仅示出一只眼103)分别使用具有不同方向的偏光滤波器。
图3是示出根据第一实施例的广播接收器300的示意性结构的框图。在图3中，CPU 301根据存储在ROM 302中的程序对广播接收器300进行整体控制。
RAM 303是易失性存储器，并且用作CPU 301的工作存储器。RAM 303也用作各种数据的临时存储区域。特别地，将2D像素移位表存储在第一存储区域304中，并且将3D像素移位表存储在第二存储区域305中。
图4是2D像素移位表和3D像素移位表的概念图。各表均示出了与(后面将与显示位置控制单元311一起说明的)残影减轻触发信号的发生次数(N＝1、2、3、......)相对应的视频图像的显示开始位置(例如，[1，1])。在图4的例子中，将2D像素移位表配置成：每当生成触发信号时，都将显示开始位置在x方向或y方向上移位一个像素(移位处理)。另外，将3D像素移位表配置成：每当生成触发信号时，都将显示开始位置在x方向(水平方向)上移位一个像素而在y方向(垂直方向)上移位2n个像素(其中，n为自然数)。也就是说，为了对每一帧都包含一对左眼图像和右眼图像的3D视频图像进行像素移位，将显示开始位置在垂直方向上移位2n行(n为自然数)，其中，这对左眼图像和右眼图像是与同一场景相对应的图像并以水平行为单位进行交替。另外，通过根据适于视频图像格式(图像是2D视频图像还是3D视频图像)的规则移位图像，可以抑制视频图像的分裂。
注意，可以使用例如用于确定显示开始位置的计算表达式来代替该表。尽管图4中的触发信号的发生次数被示出为仅到第四次(N＝4)，但是实际上，像素移位表还可以保持与第五次以上的触发信号相对应的显示开始位置。然而，当四个触发信号被看作构成一个周期时，像素移位表保持与这四个触发信号相对应的显示开始位置就足够了。
调谐器单元306对经由天线(未示出)接收到的广播波进行解调，并且输出视频基带数据和音频基带数据。解多路复用器单元307对从调谐器单元306所接收到的数据进行帧分解，以分离视频数据、音频数据和节目信息数据。
将通过解多路复用器单元307分离出的视频数据和音频数据输入给解码器单元308。解码器单元308对MPEG-2编码的视频数据进行解码，并将解码后的数据输入给3D视频图像生成单元310。解码器单元308还对MPEG-2AAC编码的音频数据进行解码以将音频数据转换成线性PCM格式，并将转换得到的数据输入给音频处理单元315。
将通过解多路复用器单元307分离出的节目信息数据输入给视频图像判断单元309。例如，以通过无线电工商协会(ARIB)的标准“数字广播系统的服务信息(Service Information forDigital Broadcasting System)”所定义的数据结构来传输节目信息数据。这一结构的主构成数据包括SDT和EIT，其中，SDT承载与节目频道有关的信息，EIT承载诸如节目的名称或广播时间或者要传输的成分的类型等的与节目有关的信息。注意，SDT是服务描述表的缩写，并且EIT是事件信息表的缩写。
利用本实施例，在当前被标准化的视频图像成分类型(component_type)中附加地定义了3D视频图像格式。然后，视频图像判断单元309基于EIT中所包括的成分类型，判断解码器单元308正进行解码的视频数据的格式对应于二维视频图像(2D视频图像)还是3D视频图像，并且将判断结果通知给3D视频图像生成单元310。
如果视频图像判断单元309所通知的视频图像格式表示3D视频图像，则3D视频图像生成单元310进行用于将解码器单元308所输入的视频图像转换成3D视频图像的处理。具体地，3D视频图像生成单元310对构成从解码器单元308所输入的视频图像的帧图像进行处理，以使得如图2所示，在奇数行上显示左眼图像并且在偶数行上显示右眼图像，并且将帧图像输入分辨率转换单元313。在所表示的视频图像格式对应于2D视频图像的情况下，3D视频图像生成单元310在不进行处理的情况下，将从解码器单元308输入的视频图像输入分辨率转换单元313。在本发明的实施例中，将视频图像定义为多个图像按照时间序列的顺次显示。因此，分辨率转换和基于显示位置的剪切处理并非是对视频图像而对构成视频图像的图像进行的。
显示位置控制单元311基于视频图像判断单元309的判断结果，确定(后面说明的)分辨率转换单元313转换了分辨率的图像中的显示区域(规定区域)。然后，显示位置控制单元311将从确定出的显示区域所剪切出的图像(部分图像)输入给视频图像处理单元314。具体地，在2D视频图像的情况下，使用存储在第一存储区域304中的2D像素移位表来确定视频图像的显示开始位置，而在3D视频图像的情况下，使用存储在第二存储区域305中的3D像素移位表来确定视频图像的显示开始位置。如果视频图像的图像大小例如是1920×1080，则从显示开始位置开始剪切大小为1900×1070的图像，并且将剪切出的图像输入给视频图像处理单元314。因此，像素移位可被理解为用于使输出给显示面板101的图像的剪切区域根据显示开始位置进行移位的处理。当然，用于在不剪切图像的情况下仅使显示位置移位的处理也对应于像素移位处理。
帧数量测量单元312对输出给显示面板的帧的数量进行计数，并且在所计数的数量已达到规定数量时，向显示位置控制单元311发送残影减轻触发信号。显示位置控制单元311在接收到残影减轻触发信号时，基于根据视频图像格式的像素移位表来更新显示开始位置。
注意，用于生成残影减轻触发信号的条件不局限于帧数量。例如，触发信号可以在基于上述节目信息数据检测到频道的改变的情况下或者在响应于经由远程控制器317等的用户操作而改变频道的情况下生成。
分辨率转换单元313对从3D视频图像生成单元310输入的视频图像进行分辨率转换以符合显示面板101。这样，获得了作为像素移位处理的对象的2D视频图像或3D视频图像。因此，分辨率转换单元313可以获得2D视频图像或3D视频图像。分辨率转换单元313将经过了分辨率转换的视频图像发送给显示位置控制单元311。
视频图像处理单元314对从显示位置控制单元311输入的图像(部分图像)进行γ处理等，之后转换成例如LVDS信号等的符合显示面板101的视频图像数据，并且输出该视频图像数据。
音频处理单元315对音频数据进行数字-模拟(D/A)转换处理等，并且将转换得到的音频数据输出给扬声器316。远程控制器317响应于用户操作发送作为红外线信号的控制信号。CPU301根据红外光接收单元318所接收到的红外线信号，生成用于控制广播接收器300的各种命令或控制信号等，并且输出这些命令或控制信号等。
注意，在本实施例中，为了进行说明，在显示面板101的奇数行中显示左眼图像，而在显示面板101的偶数行中显示右眼图像(参见图2)。然而，左眼图像和右眼图像的配置不局限于此，例如，可以以棋格图案来配置左眼图像的像素和右眼图像的像素。无论以什么形式配置左眼图像和右眼图像，通过创建下面的像素移位表都可以实现期望的效果：利用该像素移位表，将左眼图像的像素移位至其它的左眼图像的像素的位置，而将右眼图像的像素移位至其它的右眼图像的像素的位置。换句话说，显示位置控制单元311选择构成3D视频图像的显示用三维图像中的显示部分、即作为部分图像而剪切出的区域，以使得3D视频图像的左眼图像和右眼图像的配置图案与偏光滤波器102的配置图案相互一致。结果，可以将图像显示为3D视频图像。然后，在残影减轻处理中，使部分图像的剪切位置移位，以使得左眼图像和右眼图像的配置图案不会改变。具体地，使剪切位置移位，以使得即使在移位(改变)剪切位置之后，左眼图像和右眼图像的配置图案与偏光滤波器102的配置图案也相互一致。注意，对剪切位置的移位对于本发明来说并非必不可少的。换句话说，用于改变显示图像自身的显示位置的处理也是可以的。尽管利用这样的处理使得没有显示图像的区域、即空白区域出现在显示画面中，但是可以避免显示图像始终在同一位置显示，由此减轻了残影。
图5是示出广播接收器300所进行的残影减轻处理的流程图。在生成上述残影减轻触发信号时，开始该流程图的处理。在步骤S501，视频图像判断单元309从EIT中的成分描述符中提取成分类型。在步骤S502，视频图像判断单元309判断解码器单元308正进行解码的视频数据的格式对应于2D视频图像还是3D视频图像。在2D视频图像的情况下，该过程进入步骤S503，而在3D视频图像的情况下，该过程进入步骤S505。
在步骤S503，显示位置控制单元311从RAM 303中读出2D像素移位表。在步骤S504，显示位置控制单元311基于触发信号的发生次数(具体地，直到该流程图的当前处理为止发生了多少次的触发信号)，从2D像素移位表中获取相应的显示开始位置。
同时，在步骤S505，显示位置控制单元311从RAM 303中读出3D像素移位表。然后，在步骤S506，显示位置控制单元311基于触发信号的发生次数，从3D像素移位表中获取相应的显示开始位置。
在步骤S507，显示位置控制单元311基于步骤S504或S506中获取到的显示开始位置来剪切图像，并且将剪切出的图像输入给视频图像处理单元314。
注意，可以对残影减轻触发信号的格式进行定义，以使得显示位置控制单元311可以获知残影减轻触发信号的发生原因。在这种情况下，一旦进行了用于确定视频图像的格式类型的处理(步骤S501和S502)，除非由于可能伴随视频图像格式的变化(例如，频道的变化)的原因而生成残影减轻触发信号，否则在此后可以省略该处理。
如上所述，利用本实施例，广播接收器300使显示面板101上所输出的视频图像的区域移位，以减轻显示面板101上的残影。在视频图像是3D视频图像的情况下，广播接收器300移位该区域，以使得将左眼图像的像素显示在显示面板101上的左眼图像的像素的位置中，并且将右眼图像的像素显示在显示面板101上的右眼图像的像素的位置中。这样，提供了一种3D视频图像用的残影减轻技术。
第二实施例
在第二实施例中，说明使用主动快门方法作为用于显示3D视频图像的方法的情况。图6是利用主动快门方法的3D视频图像显示的概念图。如图6所示，按照时间序列交替显示左眼图像(L_t1、L_t3、......)和右眼图像(R_t2、R_t4、......)，并且这两种图像之间的视差产生三维效果。
图7是示出根据第二实施例的广播接收器700的示意性结构的框图。在图7中，将相同的附图标记分配给与广播接收器300(图3)中的构成元件相同的构成元件，并且省略对其的进一步说明。
解码器单元701包括用于解码左眼图像的第一解码器702和用于解码右眼图像的第二解码器703，并对从解多路复用器单元307所输入的MPEG-2编码的视频数据进行解码，并且将解码后的视频数据输入给解码器切换单元704。另外，解码器单元701对MPEG-2AAC编码的音频数据进行解码，以将音频数据转换成线性PCM格式，并且将转换得到的数据输入给音频处理单元315。
解码器切换单元704将从解码器单元701输入的左眼图像和右眼图像交替输入给分辨率转换单元313。以这种方式使用两个解码器，这使得能够以更高的帧频显示视频图像。
显示位置控制单元705基于图像是左眼图像还是右眼图像以及视频图像判断单元309的判断结果，确定分辨率转换单元313转换了分辨率的图像的显示区域，并且将从确定出的显示区域剪切出的部分图像输入给视频图像处理单元314。在确定显示区域时，显示位置控制单元705使一对左眼图像和右眼图像的显示开始位置相互一致。
如果视频数据是3D视频图像，则眼镜控制单元706控制眼镜707的液晶快门，以使得与交替显示左眼图像和右眼图像的定时同步地，使左眼图像仅进入左眼而使右眼图像仅进入右眼。
显示面板708不同于第一实施例中的显示面板101，并且不包括偏光薄膜。第一存储区域709保持2D像素移位表，并且第二存储区域710保持3D像素移位表。然而，不同于第一实施例，由于左眼图像和右眼图像不会共存于单个帧中，因而3D像素移位表的设计不受偏光薄膜的配置的限制。
图8是示出广播接收器700的残影减轻处理的流程图。在图8中，将相同的附图标记分配给进行与第一实施例(图5)中的处理相同的处理的步骤，并且省略对其的说明。在生成残影减轻触发信号时，开始该流程图的处理。
在第二实施例中，假定将像素移位表配置成：对于每一次的触发信号，将显示开始位置移位两个以上的像素，例如，N＝{1、2、......}＝{[1，1]、[7，1]、......}。在这种情况下，如果在一个帧改变成下一帧时显示开始位置一次移位整个移位量，则对于观看者来说这样的移位很明显，从而可能被感知为视频图像的分裂。为此，根据本实施例，显示位置控制单元705在若干个帧内将显示开始位置从生成触发信号之前的显示开始位置(例如，[1，1])逐渐移位到生成触发信号之后的显示开始位置(例如，[7，1])。
在步骤S801，显示位置控制单元705从2D像素移位表中获得与触发信号的发生次数相对应的显示开始位置，并且将该位置设置为目标移位位置。在步骤S802，显示位置控制单元705将显示开始位置移位了规定单位量(例如，一个像素)。例如，如果移位之前的显示开始位置为[1，1]并且目标移位位置为[7，1]，则移位之后的显示开始位置为[2，1]。
在步骤S803，显示位置控制单元705基于在步骤S802中进行移位之后所获得的显示开始位置来剪切图像，并将剪切出的图像输入给视频图像处理单元314。在步骤S804，显示位置控制单元705判断显示开始位置是否到达了目标移位位置。如果没有到达目标移位位置，则过程返回到步骤S802，并且如果到达了目标移位位置，则结束该处理。
同时，在步骤S805，显示位置控制单元705从3D像素移位表中获得与触发信号的发生次数相对应的显示开始位置，并将该位置设置为目标移位位置。在步骤S806，显示位置控制单元705判断作为处理对象的视频图像是否是左眼图像。如果该视频图像是左眼图像，则过程进入步骤S807，并且如果该视频图像不是左眼图像，则过程进入步骤S808。
在步骤S807，显示位置控制单元705将显示开始位置移位了规定单位量(例如，一个像素)。例如，如果移位之前的显示开始位置为[1，1]并且目标移位位置为[5，1]，则移位之后的显示开始位置为[2，1]。
在步骤S808，显示位置控制单元705基于在步骤S807中进行移位之后所获得的显示开始位置来剪切图像，并将该图像输入给视频图像处理单元314。在步骤S809，显示位置控制单元705判断显示开始位置是否到达了目标移位位置。如果没有到达目标移位位置，则过程返回到步骤S806，并且如果到达了目标移位位置，则结束该处理。
通过步骤S806～S809可以理解，当处理对象视频图像是右眼图像时，不移位显示开始位置，因此与同一场景相对应的一对左眼图像和右眼图像的显示开始位置相互一致。结果，视差在与同一场景相对应的左眼图像和右眼图像之间没有变化。
图9是示出根据图8的流程图如何移位显示开始位置的概念图。如图9所示，在3D视频图像的情况下，与同一场景相对应的一对左眼图像和右眼图像(例如，L_t1和R_t2)的显示开始位置相互一致。换句话说，在将与同一场景相对应的一对左眼图像和右眼图像切换成另一对左眼图像和右眼图像的时刻以外的时刻，不移位显示开始位置。
注意，对于3D像素移位表的坐标值将移位量设置成0，这意味着停止像素移位处理。如果利用解码器单元701确定为帧之间的运动矢量大，则可以认为视频图像中的物体的运动激烈。如果在这种情况下进行像素移位，则在视频图像中出现明显分裂，并且3D效果降低。因此，解码器单元701将帧分割成多个区域，参考各区域的运动矢量，并且将帧中的物体的平均运动量通知给显示位置控制单元705。
如果接收到的平均运动量超过规定阈值，则即使在生成残影减轻触发信号的情况下，显示位置控制单元705对于3D像素移位表中的坐标值，也以“0”代替移位量而进行动作。结果，可以避免3D效果的降低。注意，在这种情况下，由于动画图像自身中的物体的运动大，因此使得可能导致残像的残影不容易发生。
如上所述，根据本实施例，广播接收器700使显示面板708上要输出的视频图像的区域移位，以减轻显示面板708上的残影。在视频图像是3D视频图像的情况下，广播接收器700移位该区域，以使得与同一场景相对应的左眼图像和右眼图像的显示开始位置相互一致。因此，防止了与同一场景相对应的左眼图像和右眼图像之间的视差的变化。这样，提供了一种3D视频图像用的残影减轻技术。
其它实施例
还可以利用读出并执行记录在存储器装置上的程序以进行上述实施例的功能的系统或设备的计算机(或者CPU或MPU等装置)和通过下面的方法来实现本发明的各方面，其中，系统或设备的计算机通过例如读出并执行记录在存储器装置上的程序以进行上述实施例的功能来进行上述方法的各步骤。为此，例如经由网络或者通过用作存储器装置的各种类型的记录介质(例如，计算机可读介质)将该程序提供给计算机。
尽管已经参考典型实施例说明了本发明，但是应该理解，本发明不局限于所公开的典型实施例。所附权利要求书的范围符合最宽的解释，以包含所有这类修改、等同结构和功能。
本申请要求2009年6月3日提交的日本专利申请2009-134298的优先权，其全部内容通过引用包含于此。

Claims (8)

1.一种视频图像处理设备，用于将视频图像输出至显示装置，所述显示装置具有用于显示左眼图像的第一显示部和用于显示右眼图像的第二显示部，所述视频图像处理设备包括：
控制部件，用于从视频图像中确定帧图像中作为要显示在所述显示装置上的区域的显示区域；以及
输出部件，用于输出帧图像，以使得将所述控制部件确定出的帧图像的显示区域显示在所述显示装置上，
其特征在于，当改变帧图像的显示区域的位置时，所述控制部件根据所述视频图像是二维视频图像还是被配置为各场景的帧图像的集合的三维视频图像来以不同的方式确定帧图像的显示区域，其中，单个的帧图像是通过以规定图案排列与同一场景相对应的一对左眼图像和右眼图像而形成的，
如果所述视频图像是所述三维视频图像，则当改变帧图像的显示区域的位置时，所述控制部件确定帧图像的显示区域，以使得位置改变之后的所述显示区域中的左眼图像和右眼图像的排列图案与所述显示装置中的所述第一显示部和所述第二显示部的排列图案相互一致。
2.根据权利要求1所述的视频图像处理设备，其特征在于，
在所述显示装置中，所述第一显示部和所述第二显示部是以水平行为单位交替设置的，以及
如果所述视频图像是所述三维视频图像，则所述控制部件将帧图像的显示区域的位置在垂直方向上移位2n行，其中，n为自然数。
3.一种视频图像处理设备，用于将视频图像输出至显示装置，所述视频图像处理设备包括：
控制部件，用于从被配置为各场景的左右帧图像组的集合的三维视频图像中确定左眼帧图像和右眼帧图像中作为要显示在所述显示装置上的区域的显示区域，其中，单个的左右帧图像组是由与同一场景相对应的一对左眼帧图像和右眼帧图像构成的；以及
输出部件，用于输出所述三维视频图像，以使得将所述控制部件确定出的所述显示区域显示在所述显示装置上，
其特征在于，所述控制部件执行用于改变所述显示区域的位置的处理，以及
所述控制部件在如下的时刻处执行用于改变所述显示区域的位置的处理：在该时刻，在所述三维视频图像中，将与同一场景相对应的左右帧图像组切换成下一左右帧图像组。
4.根据权利要求3所述的视频图像处理设备，其特征在于，在将所述显示区域的位置从当前位置改变为目标位置时，所述控制部件通过在多个左右帧图像组内依次移位所述显示区域的位置，逐步将所述显示区域的位置移位至所述目标位置。
5.一种视频图像处理设备的控制方法，所述视频图像处理设备用于将视频图像输出至显示装置，所述显示装置具有用于显示左眼图像的第一显示部和用于显示右眼图像的第二显示部，所述控制方法包括以下步骤：
控制步骤，用于从视频图像中确定帧图像中作为要显示在所述显示装置上的区域的显示区域；以及
输出步骤，用于输出帧图像，以使得将在所述控制步骤中确定出的帧图像的显示区域显示在所述显示装置上，
其特征在于，在所述控制步骤中，当改变帧图像的显示区域的位置时，根据所述视频图像是二维视频图像还是被配置为各场景的帧图像的集合的三维视频图像来以不同的方式确定帧图像的显示区域，其中，单个的帧图像是通过以规定图案排列与同一场景相对应的一对左眼图像和右眼图像而形成的，
在所述控制步骤中，如果所述视频图像是所述三维视频图像，则当改变帧图像的显示区域的位置时，确定帧图像的显示区域，以使得位置改变之后的所述显示区域中的左眼图像和右眼图像的排列图案与所述显示装置中的所述第一显示部和所述第二显示部的排列图案相互一致。
6.根据权利要求5所述的控制方法，其特征在于，
在所述显示装置中，所述第一显示部和所述第二显示部是以水平行为单位交替设置的，以及
在所述控制步骤中，如果所述视频图像是所述三维视频图像，则将帧图像的显示区域的位置在垂直方向上移位2n行，其中，n为自然数。
7.一种视频图像处理设备的控制方法，所述视频图像处理设备用于将视频图像输出至显示装置，所述控制方法包括以下步骤：
控制步骤，用于从被配置为各场景的左右帧图像组的集合的三维视频图像中确定左眼帧图像和右眼帧图像中作为要显示在所述显示装置上的区域的显示区域，其中，单个的左右帧图像组是由与同一场景相对应的一对左眼帧图像和右眼帧图像构成的；以及
输出步骤，用于输出所述三维视频图像，以使得将在所述控制步骤中确定出的所述显示区域显示在所述显示装置上，
其特征在于，在所述控制步骤中，执行用于改变所述显示区域的位置的处理，以及
在所述控制步骤中，在如下的时刻处执行用于改变所述显示区域的位置的处理：在该时刻，在所述三维视频图像中，将与同一场景相对应的左右帧图像组切换成下一左右帧图像组。
8.根据权利要求7所述的控制方法，其特征在于，在所述控制步骤中，在将所述显示区域的位置从当前位置改变为目标位置时，通过在多个左右帧图像组内依次移位所述显示区域的位置，逐步将所述显示区域的位置移位至所述目标位置。
CN201080024839.9A 2009-06-03 2010-04-13 视频图像处理设备和视频图像处理设备的控制方法 Expired - Fee Related CN102804756B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2009134298A JP5185202B2 (ja) 2009-06-03 2009-06-03 画像処理装置及び画像処理装置の制御方法
JP2009-134298 2009-06-03
PCT/JP2010/056894 WO2010140430A1 (en) 2009-06-03 2010-04-13 Video image processing apparatus and method for controlling video image processing apparatus

Publications (2)

Publication Number Publication Date
CN102804756A CN102804756A (zh) 2012-11-28
CN102804756B true CN102804756B (zh) 2015-07-08

Family

ID=42269842

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201080024839.9A Expired - Fee Related CN102804756B (zh) 2009-06-03 2010-04-13 视频图像处理设备和视频图像处理设备的控制方法

Country Status (5)

Country Link
US (1) US9253429B2 (zh)
JP (1) JP5185202B2 (zh)
KR (1) KR101318711B1 (zh)
CN (1) CN102804756B (zh)
WO (1) WO2010140430A1 (zh)

Families Citing this family (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9049426B2 (en) * 2010-07-07 2015-06-02 At&T Intellectual Property I, Lp Apparatus and method for distributing three dimensional media content
WO2012077238A1 (ja) * 2010-12-10 2012-06-14 富士通株式会社 立体視動画像生成装置、立体視動画像生成方法、立体視動画像生成プログラム
JP2013044913A (ja) * 2011-08-24 2013-03-04 Sony Corp 表示装置及び表示制御方法
CN104811678A (zh) * 2014-01-23 2015-07-29 电信科学技术研究院 一种进行视频播放的方法和装置
US9654693B2 (en) * 2014-10-29 2017-05-16 Gvbb Holdings S.A.R.L. Degradation control of display pixels for a high definition display
KR102320207B1 (ko) * 2015-05-06 2021-11-03 삼성디스플레이 주식회사 영상 보정부, 이를 포함하는 표시 장치, 및 표시 장치의 영상 표시 방법
JP6793297B2 (ja) * 2015-10-05 2020-12-02 パナソニックＩｐマネジメント株式会社 投写型映像表示装置
KR102330164B1 (ko) * 2017-06-08 2021-11-24 엘지전자 주식회사 디지털 사이니지 및 그 동작 방법
JP6791034B2 (ja) * 2017-06-16 2020-11-25 株式会社Ｊｖｃケンウッド 表示システム、映像処理装置、画素ずらし表示装置、映像処理方法、表示方法、及びプログラム
KR102553105B1 (ko) 2018-11-01 2023-07-07 삼성전자주식회사 이미지의 컨텐츠의 변경에 기반하여 이미지의 표시 위치 또는 면적을 제어하는 전자 장치
JP7379961B2 (ja) * 2019-09-04 2023-11-15 株式会社Ｊｖｃケンウッド 表示システム、及び表示方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1774735A (zh) * 2003-02-20 2006-05-17 索尼株式会社 处理图像信号的设备和方法以及利用它们的图像显示设备
CN1801269A (zh) * 2005-01-06 2006-07-12 汤姆森特许公司 防止显示器预烧效应的方法和设备
WO2008150111A1 (en) * 2007-06-07 2008-12-11 Enhanced Chip Technology Inc. Format for encoded stereoscopic image data file

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB9027881D0 (en) * 1990-12-21 1991-02-13 Delta System Design Ltd Improvements in 3d imaging systems
JP3239541B2 (ja) * 1993-07-13 2001-12-17 ソニー株式会社 立体テレビジョン信号発生装置及び立体映像表示装置
CN1113320C (zh) * 1994-02-01 2003-07-02 三洋电机株式会社 将二维图像转换成三维图像的方法以及三维图像显示系统
US5767898A (en) * 1994-06-23 1998-06-16 Sanyo Electric Co., Ltd. Three-dimensional image coding by merger of left and right images
US6549295B1 (en) * 1997-12-15 2003-04-15 Insight, Inc. Method for making products having merged images
JP3756014B2 (ja) * 1999-05-26 2006-03-15 パイオニア株式会社 画像表示制御装置及び画像表示制御方法並びにその制御プログラムを記録した記録媒体
US20020009137A1 (en) 2000-02-01 2002-01-24 Nelson John E. Three-dimensional video broadcasting system
JP4002522B2 (ja) * 2003-03-07 2007-11-07 株式会社ソフィア 遊技機及び画像表示装置
US20050157171A1 (en) * 2004-01-15 2005-07-21 Bowser Todd S. Reducing burn-in associated with mismatched video image/display aspect ratios
JP2006013913A (ja) 2004-06-25 2006-01-12 Funai Electric Co Ltd プラズマディスプレイ装置
US20070096767A1 (en) * 2005-10-28 2007-05-03 Chang-Hung Tsai Method of preventing display panel from burn-in defect
KR101520620B1 (ko) * 2008-08-18 2015-05-18 삼성전자주식회사 2차원/3차원 재생 모드 결정 방법 및 장치
US9055278B2 (en) * 2009-01-07 2015-06-09 Dolby Laboratories Licensing Corporation Conversion, correction, and other operations related to multiplexed data sets
US20100328428A1 (en) * 2009-06-26 2010-12-30 Booth Jr Lawrence A Optimized stereoscopic visualization

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1774735A (zh) * 2003-02-20 2006-05-17 索尼株式会社 处理图像信号的设备和方法以及利用它们的图像显示设备
CN1801269A (zh) * 2005-01-06 2006-07-12 汤姆森特许公司 防止显示器预烧效应的方法和设备
WO2008150111A1 (en) * 2007-06-07 2008-12-11 Enhanced Chip Technology Inc. Format for encoded stereoscopic image data file

Also Published As

Publication number Publication date
KR101318711B1 (ko) 2013-10-16
WO2010140430A1 (en) 2010-12-09
KR20120026574A (ko) 2012-03-19
US20120075438A1 (en) 2012-03-29
US9253429B2 (en) 2016-02-02
JP2010283528A (ja) 2010-12-16
CN102804756A (zh) 2012-11-28
JP5185202B2 (ja) 2013-04-17

Similar Documents

Publication Publication Date Title
CN102804756B (zh) 视频图像处理设备和视频图像处理设备的控制方法
US9357231B2 (en) Video encoding device, video encoding method, video reproducing device, video reproducing method, video recording medium, and video data stream
CN103024408B (zh) 立体图像转换装置和方法、立体图像输出装置
EP2498500B1 (en) Receiver, transmitter, communication system, display control method, program, and data structure
KR101797495B1 (ko) 디지털 수신기 및 디지털 수신기에서의 캡션 데이터 처리 방법
US20110249091A1 (en) Video signal processing apparatus and video signal processing method
WO2011039920A1 (ja) 三次元画像処理装置及びその制御方法
US20110310099A1 (en) Three-dimensional image processing apparatus and method of controlling the same
KR20110113186A (ko) 비디오 인터페이스를 통해 송신하고 ３ｄ 비디오 및 ３ｄ 오버레이들을 합성하기 위한 방법 및 시스템
JP2004343290A (ja) 立体画像表示装置
WO2013031156A1 (ja) 映像処理システム、送信装置、受信装置、送信方法、受信方法及びコンピュータプログラム
US9357200B2 (en) Video processing device and video processing method
US8941718B2 (en) 3D video processing apparatus and 3D video processing method
KR20110134327A (ko) 영상 처리 방법 및 그에 따른 영상 표시 장치
US8780186B2 (en) Stereoscopic image reproduction method in quick search mode and stereoscopic image reproduction apparatus using same
JP5238528B2 (ja) 符号化装置および方法、ならびに、復号装置および方法
JP4908624B1 (ja) 立体映像信号処理装置及び方法
US20130120529A1 (en) Video signal processing device and video signal processing method
US20110261159A1 (en) 3d video processor and 3d video processing method
US9872008B2 (en) Display device and video transmission device, method, program, and integrated circuit for displaying text or graphics positioned over 3D video at varying depths/degrees
WO2012160812A1 (ja) 映像処理装置、送信装置、立体映像視聴システム、映像処理方法、映像処理プログラム及び集積回路
US20120257817A1 (en) Image output apparatus
KR20120017127A (ko) 입체영상 재생 장치 및 입체영상 재생 방법

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20150708

Termination date: 20200413