CN102450028B - 影像处理装置及影像处理方法 - Google Patents

影像处理装置及影像处理方法 Download PDF

Info

Publication number
CN102450028B
CN102450028B CN201180002207.7A CN201180002207A CN102450028B CN 102450028 B CN102450028 B CN 102450028B CN 201180002207 A CN201180002207 A CN 201180002207A CN 102450028 B CN102450028 B CN 102450028B
Authority
CN
China
Prior art keywords
image
program
frame
mentioned
output
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CN201180002207.7A
Other languages
English (en)
Other versions
CN102450028A (zh
Inventor
川口透
篠原弘树
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Panasonic Intellectual Property Management Co Ltd
Original Assignee
Matsushita Electric Industrial Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Matsushita Electric Industrial Co Ltd filed Critical Matsushita Electric Industrial Co Ltd
Publication of CN102450028A publication Critical patent/CN102450028A/zh
Application granted granted Critical
Publication of CN102450028B publication Critical patent/CN102450028B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B30/00—Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images
    • G02B30/20—Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images by providing first and second parallax images to an observer's left and right eyes
    • G02B30/22—Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images by providing first and second parallax images to an observer's left and right eyes of the stereoscopic type
    • G02B30/24—Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images by providing first and second parallax images to an observer's left and right eyes of the stereoscopic type involving temporal multiplexing, e.g. using sequentially activated left and right shutters
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/36—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the display of a graphic pattern, e.g. using an all-points-addressable [APA] memory
    • G09G5/39—Control of the bit-mapped memory
    • G09G5/399—Control of the bit-mapped memory using two or more bit-mapped memories, the operations of which are switched in time, e.g. ping-pong buffers
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/332—Displays for viewing with the aid of special glasses or head-mounted displays [HMD]
    • H04N13/341—Displays for viewing with the aid of special glasses or head-mounted displays [HMD] using temporal multiplexing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/356—Image reproducers having separate monoscopic and stereoscopic modes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/398—Synchronisation thereof; Control thereof
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2320/00—Control of display operating conditions
    • G09G2320/06—Adjustment of display parameters
    • G09G2320/0613—The adjustment depending on the type of the information to be displayed
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2360/00—Aspects of the architecture of display systems
    • G09G2360/02—Graphics controller able to handle multiple formats, e.g. input or output formats
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2370/00—Aspects of data communication
    • G09G2370/04—Exchange of auxiliary data, i.e. other than image data, between monitor and graphics controller
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2370/00—Aspects of data communication
    • G09G2370/12—Use of DVI or HDMI protocol in interfaces along the display data pipeline
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G3/00—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes
    • G09G3/001—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes using specific devices not provided for in groups G09G3/02 - G09G3/36, e.g. using an intermediate record carrier such as a film slide; Projection systems; Display of non-alphanumerical information, solely or in combination with alphanumerical information, e.g. digital display on projected diapositive as background
    • G09G3/003—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes using specific devices not provided for in groups G09G3/02 - G09G3/36, e.g. using an intermediate record carrier such as a film slide; Projection systems; Display of non-alphanumerical information, solely or in combination with alphanumerical information, e.g. digital display on projected diapositive as background to produce spatial visual effects
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/003—Details of a display terminal, the details relating to the control arrangement of the display terminal and to the interfaces thereto
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/36—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the display of a graphic pattern, e.g. using an all-points-addressable [APA] memory

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Hardware Design (AREA)
  • Theoretical Computer Science (AREA)
  • Optics & Photonics (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Abstract

目的是提供一种能够将广播的3D节目内的3D影像及2D影像无缝地显示的影像处理装置。输出2D影像和3D影像的影像处理装置具备：接收单元，接收混合存在3D影像的影像帧及2D影像的影像帧的影像流；判断单元，判断包含在接收到的影像流中的节目是3D节目还是2D节目；以及输出单元，在由上述判断单元判断节目是3D节目的情况下，将包含在该3D节目中的2D影像的影像帧用3D影像的输出方法输出，在判断是2D节目的情况下，将包含在该2D节目中的2D影像的影像帧用2D影像的输出方法输出。

Description

影像处理装置及影像处理方法
技术领域
本发明涉及显示3D影像及2D影像的技术。 
背景技术
近年来，随着在电影院等中欣赏3D影像的立体视影像的机会增加，在数字电视机等中也日益要求3D影像的节目的广播。
这里，作为用来将立体视影像再现、显示的技术，有专利文献1。
在专利文献1中，判别帧内的影像是否是通过并列方式保存的3D影像，如果是3D影像，则根据该帧生成左眼用的影像和右眼用的影像并依次显示而进行立体视显示。所谓并列方式(side-by-side)，是将1个帧左右分割、将立体视所需要的左眼用的影像向分割后的一个区域、将立体视所需要的右眼用的影像向分割后的另一个区域分别保存的方法。通过使用这样的技术，能够视听3D影像。
先行技术文献 
专利文献
专利文献1：特许第3789794号公报
发明内容
发明要解决的课题
另外，如果考虑到广播，则有在包括3D影像的节目的广播时间段中广播作为节目的正篇的3D影像、以及在该节目内广播的商业广告等的2D影像的情况。即，在一个节目的广播中，将混合存在3D影像的帧和2D影像的帧的流送出。将这样在节目内至少一部分被以3D影像广播的节目设为3D节目，将在节目内完全不包含3D影像的节目作为2D节目。
通常，对于2D影像，例如在等离子电视机中按照1/60秒进行影像的显示。相对于此，对于3D影像，由于通过依次显示左眼用的影像和右眼用的影像从而能够作为1个立体影像观看，所以为了按照1/60秒作为1个影 像视听，需要按照1/120秒将左眼用的影像和右眼用的影像交替地显示。
这里，如果为了视听3D节目而使用在专利文献1中公开的技术，则要按照包含在广播的流中的每个帧判断是否是3D影像。因此，在接收2D影像的帧和3D影像的帧混合存在的3D节目的流的情况下，如果从2D影像向3D影像、此外相反从3D影像向2D影像切换，则每次发生影像的输出周期的切换。
这样，在从输出周期的切换的开始到完成的期间中不输出影像，所以不显示该切换期间中的影像。因此，有视听者不能充分欣赏广播的3D节目的影像的问题。
所以，本发明的目的是提供一种能够将广播的3D节目内的3D影像及2D影像无缝地显示的影像处理装置、影像处理方法、影像处理程序。
用于解决课题的手段
为了达到上述目的，本发明是一种影像处理装置，其特征在于，具备：接收单元，接收混合存在3D影像的影像帧及2D影像的影像帧的影像流；判断单元，判断包含在接收到的影像流中的节目是3D节目还是2D节目；输出单元，在由上述判断单元判断为节目是3D节目的情况下，将包含在该3D节目中的2D影像的影像帧用3D影像的输出方法输出，在判断是2D节目的情况下，将包含在该2D节目中的2D影像的影像帧用2D影像的输出方法输出。
发明效果
根据上述所示的结构，影像处理装置即使在接收到在3D节目中广播的2D影像的影像帧，也通过3D影像的输出方法输出该2D影像的影像帧，所以不需要切换2D影像的输出方法和3D影像的输出方法。因此，在3D节目的视听中不会在2D影像及3D影像的显示中发生延迟，所以影像处理装置能够将广播的3D节目内的3D影像及2D影像无缝地显示。由此，视听者能够充分欣赏广播的3D节目。
这里，也可以是，上述接收单元接收与上述影像流建立关联、并且表示包括该影像流的节目是2D节目还是3D节目的附加信息；上述判断单元使用上述附加信息判断上述节目表示3D节目还是表示2D节目。
根据该结构，影像处理装置通过使用附加信息，能够容易地判断接收 到的影像流是3D节目的还是2D节目的。
这里，也可以是，上述判断单元在从3D影像的影像帧的接收开始连续接收到规定个数的3D影像的影像帧的情况下判断上述节目是3D节目，在没有连续接收到规定个数的3D影像的影像帧的情况下判断上述节目是2D节目。
根据该结构，影像处理装置通过判断是否连续接收到规定个数以上的3D影像的影像帧，能够容易地判断接收到的影像流是3D节目的还是2D节目的。
这里，也可以是，上述判断单元还如果在上述输出单元用上述3D影像的输出方法输出影像帧的过程中进行频道切换后、从2D影像的影像帧的接收开始连续接收到规定个数的2D影像的影像帧，则判断为从3D影像的输出方法向2D影像的输出方法切换；上述输出单元还在由上述判断单元判断为从3D影像的输出方法向2D影像的输出方法切换的情况下，将影像的输出方法从3D影像的方法向2D影像的方法切换。
根据该结构，影像处理装置在进行了频道切换、并且在切换后接收到的影像帧是2D影像的情况下，将输出方法从3D影像的方法向2D影像的方法切换。因而，影像处理装置通过用户的操作能够检测3D节目视听的结束。
这里，也可以是，在影像帧中，包含有用来识别该影像帧是2D影像还是3D影像的识别符；上述影像处理装置还具备使用包含在接收到的影像帧中的识别符判别该影像帧是2D影像还是3D影像的帧判别单元；上述输出单元在由上述判断单元判断为节目是3D节目的情况下，如果由上述帧判别单元判别为接收到的影像帧是2D影像，则将该影像帧用3D影像的输出方法输出。
根据该结构，影像处理装置通过在接收到的影像帧是2D影像的帧还是3D影像的帧的判断中使用识别符进行，能够可靠地判断。
这里，也可以是，上述影像处理装置还具备存储有对3D节目附加了表示是3D节目的识别信息的电子节目表的存储单元；上述判断单元确定接收到的影像流被广播的频道，根据所确定的频道、当前时刻以及上述电子节目表，判断包括接收到的影像流的节目是3D影像的节目还是2D节目。
根据该结构，影像处理装置能够使用电子节目表容易地判断接收到的流的节目是3D节目还是2D节目。
这里，也可以是，在上述电子节目表中，还在是广播3D节目的广播台的情况下以频道单位附加了表示该广播台是广播3D节目的广播台的信息；上述判断单元在确定包括接收到的影像流的节目是否是3D影像的节目之前，对所确定的频道判断是否附加了表示广播3D节目的广播台的信息；上述输出单元还在由上述判断单元判断为是广播3D节目的广播台的情况下用3D影像的输出方法输出2D影像的影像帧。
根据该结构，影像处理装置能够在以节目单位确定是2D节目还是3D节目之前，以频道为单位确定是否是仅广播3D节目的频道。
这里，也可以是，上述判断单元还在上述输出单元用上述3D影像的输出方法输出影像帧的过程中、在使用上述电子节目表检测到确定为是3D影像的节目的该节目的结束后，使用该电子节目表确定后续于该节目的后续节目是2D影像的节目还是3D节目；上述输出单元在由上述判断单元判断为上述后续节目是3D影像的节目的情况下，即使接收到2D影像的影像帧也继续用3D影像的输出方法进行该2D影像的影像帧的输出，在判断为上述后续节目是2D影像的节目的情况下，如果接收到2D影像的影像帧，则用上述2D影像的输出方法输出该2D影像的影像帧。
根据该结构，影像处理装置通过使用电子节目表，能够容易地检测从3D节目向2D节目的切换的定时。
这里，也可以是，上述3D影像的输出方法的输出周期是上述2D影像的输出方法的输出周期的一半；上述输出单元在以上述3D影像的输出方法的输出周期输出2D影像的影像帧时，将该2D影像的影像帧输出两次。
根据该结构，影像处理装置基于3D影像的输出方法的输出周期将2D影像输出两次。通常，在3D影像中将左眼用的图像及右眼用的图像交替地输出而形成1个立体图像，所以3D影像的输出方法的输出周期为2D影像的输出方法的输出周期的一半。因此，通过基于3D影像的输出方法的输出周期将2D影像输出两次，2D影像以与2D的输出方法的输出周期不变的周期使影像变化。因而，视听者即使在视听3D节目的过程中被输出2D影像，也能够没有别扭感地视听影像。
这里，也可以是，上述3D影像的输出方法的输出周期是上述2D影像的输出方法的输出周期的一半；上述影像处理装置还具备影像处理单元，该影像处理单元在接收到3D影像帧以后，如果连续接收到2D影像帧，则根据一个2D影像帧、以及在该一个2D影像帧之后接收到的下一2D影像帧，生成作为该一个2D影像帧与下一2D影像帧的中间影像的补充影像；上述输出单元用上述3D影像的输出方法的输出周期输出上述一个2D影像的影像帧，以下个输出周期将生成的上述补充影像输出。
根据该结构，影像处理装置在基于3D影像的输出方法的输出周期输出2D影像后、将所生成的补充影像输出，所以能够在3D影像的输出方法的输出周期中使2D影像的变化变得平滑。通常，在3D影像中将左眼用的图像及右眼用的图像交替地输出而形成1个立体图像，所以3D影像的输出方法的输出周期为2D影像的输出方法的输出周期的一半。因此，通过在将一个2D影像和后续的2D影像输出之间、输出作为一个2D影像与后续的2D影像的中间影像的补充影像，能够进行平滑的影像的变化。
附图说明
图1是数字电视机(影像处理装置)100的使用形态的图。
图2是表示立体视图像的显示的一例的图。
图3是表示通过并列方式的影像的显示的例子的图。
图4是表示用于立体视的帧的结构的一例的图。
图5是表示数字电视机100的结构的框图。
图6是表示PMT(程序映射表)T100内的数据构造的一例的图。
图7是表示输出处理部105的结构的框图。
图8是表示缓冲器切换处理的动作的流程图。
图9是表示缓冲器写入处理的动作的流程图。
图10是表示在接收到3D节目的情况下显示包含在该节目中的3D影像和2D影像的具体例的图。
图11是表示在3D节目中显示2D影像时的机制的具体例的图。
图12是表示数字电视机(影像处理装置)1100的使用形态的图。
图13是表示机顶盒(STB)1200的结构的框图。
图14是表示数字电视机1100的结构的框图。
图15是表示输出处理的动作的流程图。
图16是表示机顶盒(STB)1200a的结构的框图。
图17是表示输出处理部1205a的结构的框图。
图18是表示数字电视机2100的结构的框图。
图19是表示数字电视机2100a的结构的框图。
图20是表示数字电视机3100的结构的框图。
图21是表示数字电视机4100的结构的框图。
图22是表示节目判断处理的动作的流程图。
图23是表示SDT(服务描述符表)T200的数据构造的一例的图。
图24是表示使用补充影像显示2D影像的机制的具体例的图。
图25是表示具备图形生成部110A的情况下的数字电视机100A的结构的框图。
具体实施方式
1.第1实施方式
参照附图，对有关本实施方式的影像处理装置进行说明。
1.1关于立体视 
首先，对立体视的原理简单地叙述。作为立体视的实现法，有使用全息技术的方法以及使用视差图像的方式。
首先，作为第1个的全息技术的特征，能够与人通常辨识物体完全同样将物体作为立体再现，但关于运动图像生成，虽然建立了技术的理论，但需要伴随着实时生成全息用的运动图像的庞大的运算量的计算机、以及具有在1mm间能引出几千条线的分辨率的显示装置，通过目前的技术的实现非常困难，几乎没有作为商用实用化的例子。
接着，对第2个的使用视差图像的方式进行说明。一般而言，右眼和左眼因为其位置的差异，在从右眼看到的像和从左眼看到的像中，在视觉效果中存在一些差异。利用该差异，人能够将在眼睛中看到的像辨识为立体。在使用视差图像进行立体显示的情况下，利用人的视差，使平面的图像看起来宛如立体那样。
该方式的优点在于最多仅准备右眼用和左眼用的两个视点的影像就能够实现立体视，在技术上，从怎样做能够使对应于左右各眼的图仅在对应的眼睛中看到的观点出发，以继时分离方式为代表的一些技术已实用化。
所谓继时分离方式，是使左眼用影像及右眼用影像在时间轴方向上交替地显示、通过眼睛的残像反应将左右的场景在脑内叠加而辨识为立体影像的方法。
本实施方式的影像处理装置是能够进行3D影像的视听的电视机，图1(a)是表示关于该影像处理装置的使用行为的形态的图。如本图所示，由数字电视机100和3D眼镜200构成，能够实现用户的使用。
数字电视机100是能够显示2D影像及3D影像的设备，通过将包含在接收到的广播波中的流再现而显示影像。
本实施方式的数字电视机100是通过用户佩戴3D眼镜200而实现立体视。3D眼镜200具备液晶开闭器，使用户视听继时分离方式的视差图像。所谓视差图像，是由进入到右眼中的影像以及进入到左眼中的影像构成的一组影像，使得仅对应于各个眼睛的图片进入到用户的眼睛中而进行立体视。图1(b)表示左眼用影像的显示时。在画面上显示有左眼用的影像的瞬间，上述3D眼镜200使对应于左眼的液晶开闭器成为透过，对应于右眼的液晶开闭器遮光。图1(c)表示右眼用影像的显示时。在画面上显示有右眼用的影像的瞬间，与刚才相反，使对应于右眼的液晶开闭器成为透光，使对应于左眼的液晶开闭器遮光。
以上是对影像处理装置的使用形态的说明。
这里，说明显示在立体视中使用的视差图像的方法。
视差图像方式是分别准备进入到右眼中的影像和进入到左眼中的影像、仅使对应的图片进入到各个眼睛中而进行立体视的方法。图2表示将用户的脸描绘在左侧、在右侧从左眼观看作为对象物的恐龙的骨骼的情况下的例子以及从右眼观看作为对象物的恐龙的骨骼的情况下的例子。如果从右眼及左眼的透光、遮光起反复进行，则在用户的脑内，通过眼睛的残像反应进行左右的场景的叠加，能够辨识为立体影像存在于脸的中央的延长线上。
将视差图像中的、进入到左眼中的图像称作左眼图像(L图像)，将进 入到右眼中的图像称作右眼图像(R图像)。并且，将各个图片为L图像的运动图像称作左视视频，将各个图片为R图像的运动图像称作右视视频。
在将左视视频与右视视频合成而压缩编码的3D方式中，有帧兼容方式和服务兼容方式。
首先，第1个的帧兼容方式是将左视视频和右视视频的对应的各图片分别间隔剔除或缩小后合成为一个图片、进行通常的运动图像压缩编码的方式。作为一例，有图3所示那样的并列方式。在并列方式中，将左视视频和右视视频的对应的各图片分别在水平方向上压缩为1/2后、通过左右排列而合成为一个图片。将由合成后的图片形成的运动图像进行通常的运动图像压缩编码而成为流。另一方面，在再现时，将流基于通常的运动图像压缩编码方式解码为运动图像。通过将解码后的运动图像的各图片分割为左右图像、分别在水平方向上扩展为2倍，得到左视视频和右视视频的对应的各图片。通过将得到的左视视频的图片(L图像)和右视视频的图片(R图像)交替地显示，能够得到图2所示那样的立体视图像。在帧兼容方式中，除了并列方式以外，还有将左右图像上下排列的上下(Top and Bottom)方式、或按照图片内的每1行将左右图像交替地配置的行交替(Line Alternative)方式等。
接着，对第2个的服务兼容方式进行说明。在服务兼容方式中，使用作为通过将左视视频、右视视频数字化并压缩编码而得到的视频流的左视视频流和右视视频流。
图4是表示用于基于服务兼容方式的立体视的左视视频流、右视视频流的内部结构的一例的图。
本图的第2段表示左视视频流的内部结构。在该流中，包含有图片数据I1、P2、Br3、Br4、P5、Br6、Br7、P9的图片数据。将这些图片数据按照解码时间戳(Decode Time Stamp；DTS)解码。第1段表示左眼图像。通过将这样解码后的图片数据I1、P2、Br3、Br4、P5、Br6、Br7、P9按照PTS、以I1、Br3、Br4、P2、Br6、Br7、P5的顺序再现，将左眼图像再现。在本图中，将不具有参照图片而仅使用编码对象图片进行图片内预测编码的图片称作I图片。所谓图片，是包含帧及半帧的两者的1个编码的单位。此外，分别将参照已经处理的1张图片进行图片间预测编码的图片称作P 图片、将同时参照已经处理的两张图片进行图片间预测编码的图片称作B图片、将在B图片中被从其他图片参照的图片称作Br图片。
第4段表示左视视频流的内部结构。该左视视频流包括P1、P2、B3、B4、P5、B6、B7、P8的图片数据。将这些图片数据按照DTS解码。第3段表示右眼图像。通过将这样解码后的图片数据P1、P2、B3、B4、P5、B6、B7、P8按照PTS以P1、B3、B4、P2、B6、B7、P5的顺序再现，将右眼图像再现。但是，在继时分离方式的立体视再现中，将被赋予了相同的PTS的左眼图像和右眼图像的对中的一方的显示延迟PTS的间隔的一半的时间(以下称作“3D显示延迟”)而显示。
第5段表示使3D眼镜200的状态怎样变化。如该第5段所示，可知在左眼图像的视听时将右眼的开闭器关闭、在右眼图像的视听时将左眼的开闭器关闭。
这些左视视频流、右视视频流除了利用时间方向的相关特性的图片间预测编码以外，还通过利用视点间的相关特性的图片间预测编码压缩。将右视视频流的图片参照左视视频流的相同的显示时刻的图片压缩。
例如，右视视频流的开头P图片参照左视视频流的I图片，右视视频流的B图片参照左视视频流的Br图片，右视视频流的第二个P图片参照左视视频流的P图片。
并且，将压缩编码后的左视视频流及右视视频流中的、能够以单体解码者称作“基础视视频流”。此外，将基于与左视视频流及右视视频流中的构成基础视视频流的各个图片数据的帧间相关特性压缩编码、在将基础视视频流解码后能够解码的视频流称作“从属视流”。另外，基础视视频流和从属视流既可以分别作为不同的流保存或传送，也可以多路复用在例如MPEG2-TS等的同一个流中。
1.2结构
这里，作为切换3D和2D画面的影像处理装置的一例，对数字电视机100的结构进行说明。
数字电视机100具体而言是等离子电视机，接收将2D影像及3D影像送出的数字广播波(流)。此外，数字电视机100与IP网络及再现装置连接，也显示从它们输出的2D影像及3D影像。
数字电视机100如图5所示，由信号输入部101、节目格式判断部102、帧格式判断部103、帧缓冲器104及输出处理部105构成。
(1)信号输入部101
信号输入部101接收从外部送出(输出)的包括构成2D影像的帧及构成3D影像的帧的流。另外，流为多路复用了包括构成2D及3D的帧的影像流以及PSI(Program Specific Information)而成。此外，除此以外还根据需要而多路复用了声音流、字幕流、BML等的多媒体流。在PSI中，包含有有关由多路复用的各种流构成的节目的信息。
这里，设送出(输出)的3D影像的帧由并列方式等的3D方式构成。所谓并列方式，如上所述，是将左眼用的影像(以下也称作L影像)和右眼用的影像(以下也称作R影像)包含在1帧内的方式。
此外，在本实施方式中，送出(输出)的帧的信号格式基于H.264|MPEG4/AVC规格，将表示该帧是2D影像还是3D影像、在3D影像的情况下是包括并列方式的哪个方式的信息(以下称作3D影像信息)以SEI(Supplemental enhancement information)形式保存并包含在其中。
这里，表示PSI的数据构造的一例。在本实施方式中，作为PSI而使用PMT(Program MAP Table)。如图6所示，包括表识别符(Table id)T101、ES种类T110、ES的PIDT111、3D节目标志T112及描述符区域T113。这里，在PMT(程序映射表)T100内，存在多个包括ES种类T110、ES的PIDT111、3D节目标志T112及描述符区域T113的组。表识别符(Table id)T101、以及ES种类T110、ES的PIDT111及描述符区域T113是已知的，所以这里的说明省略。3D节目标志T112是用来识别由对应于该PMT的流构成的节目是2D节目还是3D节目的标志。具体而言，3D节目标志是由1位构成的信息，值0表示2D节目，值1表示3D节目。
信号输入部101如图5所示，具有调谐器(解调器)151、NIC(Network Interface Card)152、多路分离部153及影像解码部154。
调谐器151具有接收数字广播波(流)、将接收到的信号解调的功能。
NIC152与IP网络连接，具有接收从外部输出的流的功能。
多路分离部153将接收到的流分离为包括构成2D及3D的帧的影像流和PSI，分别将分离后的影像流向影像解码部154、将PSI向节目格式判断 部102输出。此外，多路分离部153也可以除了来自调谐器151或NIC152的输入以外还从记录媒体读出流。
影像解码部154具有如果从多路分离部153接受到包括构成2D及3D的帧的影像流则进行接受到的影像流的解码、并且将以帧单位保存在影像流中的3D影像信息取出的功能。由该影像解码部154生成帧单位的影像。在此情况下，在3D影像的帧中，是由并列方式构成的帧，没有进行L图像与R图像的切分。
影像解码部154将所生成的帧单位的影像向帧缓冲器104写入，将所取出的帧单位的3D影像信息向帧格式判断部103输出。
(2)节目格式判断部102
节目格式判断部102如果从多路分离部153接受到PSI，则基于包含在接受到的PSI中的3D节目标志的值，判断由多路分离部2153接受到的包括流的节目是3D节目还是2D节目。
(3)帧格式判断部103
帧格式判断部103如果接受到从影像解码部154接受到的3D影像信息，则基于该值，判断解码后的帧的影像是2D影像还是3D影像，进而在是3D影像的情况下判断是包括并列方式的哪个方式。
(4)帧缓冲器104
帧缓冲器104具有用来保存由影像解码部154解码的帧的区域。
(5)输出处理部105
输出处理部105基于对应于节目格式判断部102的判断结果的输出周期输出影像。
输出处理部105如图5所示，具有影像处理部161、帧缓冲器162及显示部163。
(5-1)帧缓冲器162
帧缓冲器162如图7所示，具有第1缓冲器171和第2缓冲器172。
第1缓冲器171用来保存包含在2D节目的流中的帧。
第2缓冲器172具有L影像缓冲器173和R影像缓冲器174，用来保存包含在3D节目的流中的帧。
(5-2)影像处理部161
影像处理部161基于帧格式判断部103的判断结果，判断处理对象的帧是2D的影像还是3D的影像，进而在是3D影像的情况下判断是包括并列方式的哪个方式。
在判断为是3D影像的情况下，影像处理部161将帧分割为两个影像，将分割后的各影像扩大而生成L影像及R影像。具体而言，如果是并列方式，在将左右分割后的影像在横向上扩大，此外如果是上下方式，则将上下分割后的影像在纵向上扩大，得到L影像及R影像。影像处理部161分别将所生成的L影像向L影像缓冲器173、将所生成的R影像向R影像缓冲器174保存。
在判断为不是3D影像、即是2D影像的情况下，判断处理对象的帧是2D节目的还是3D节目的。
在判断为是2D节目的帧的情况下，影像处理部161将该帧(影像)向第1缓冲器171保存。在判断为是3D节目的帧的情况下，影像处理部161将该帧(影像)保存到L影像缓冲器173及R影像缓冲器174的两者中。
(5-3)显示部163
显示部163如图7所示，具有开关181、显示器182及切换控制部183。
开关181是作为与显示部163的连接目标而向第1缓冲器171及第2缓冲器172的某个切换的开关。
切换控制部183是基于节目格式判断部102的判断结果进行作为连接目标的缓冲器的切换的单元。具体而言，在判断为接收到的流的节目是3D节目的情况下，切换控制部183控制开关181以使连接目标成为第2缓冲器172。在判断为接收到的流的节目是2D节目的情况下，切换控制部183控制开关181以使连接目标成为第1缓冲器171。
显示器182是基于节目格式判断部102的判断结果、变更影像的显示周期而显示影像的单元。例如，显示器182在接收到的流是2D节目的情况下，将显示周期设为60Hz，从作为开关181的连接目标的第1缓冲器171读出作为显示对象的2D的影像并显示。显示器182在接收到的流是3D节目的情况下，将显示周期设为120Hz，从作为开关181的连接目标的第2缓冲器172的L影像缓冲器173及R影像缓冲器174将作为显示对象的影像交替地读出并显示。
另外，在输出处理部105中，也可以是，在虽然是3D的影像但由用户选择了2D下的视听(以并列形式原样显示、或者将左右一半的某个扩大显示)的情况下，以该选择为优先，不论帧格式判断部103及节目格式判断部102的判断如何，都与判断为是2D节目的情况同样处理。
1.3动作
这里，对于在数字电视机100中、有关与接收到的流表示的3D节目及2D节目对应的输出动作的处理进行说明。
(1)缓冲器切换处理
缓冲器切换处理是根据接收到的流表示的3D节目及2D节目、切换开关181的连接目标的处理，使用图8所示的流程图进行说明。
切换控制部183基于节目格式判断部102的判断结果，判断接收中的帧是否是3D节目(步骤S5)。
在判断为是3D节目的情况下(步骤S5中的“是”)，切换控制部183判断开关181的连接目标是否是第2缓冲器172(步骤S10)。在判断为连接目标不是第2缓冲器172的情况下(步骤S10中的“否”)，切换控制部183对开关181控制以使连接目标成为第2缓冲器172(步骤S15)，然后，向步骤S5返回。在判断为连接目标是第2缓冲器172的情况下(步骤S10中的“是”)，处理向步骤S5返回。
在判断为不是3D节目、即是2D节目的情况下(步骤S5中的“否”)，切换控制部183判断开关181的连接目标是否是第1缓冲器171(步骤S20)。在判断为连接目标不是第1缓冲器171的情况下(步骤S20中的“否”)，切换控制部183对开关181控制以使连接目标成为第1缓冲器172(步骤S25)，然后向步骤S5返回。在判断为连接目标是第1缓冲器171的情况下(步骤S20中的“是”)，处理向步骤S5返回。
(2)缓冲器写入处理
缓冲器写入处理是将显示对象的帧向对应于包括该帧的节目、即3D节目及2D节目的缓冲器写入的处理，使用图9所示的流程图进行说明。
影像处理部161将作为输出对象的帧从帧缓冲器104读出(步骤S100)。
影像处理部161判断读出的帧是否是3D影像(步骤S105)。
在判断为是3D影像的情况下(步骤S105中的“是”)，影像处理部161 从所读出的帧分别生成L影像及R影像(步骤S110)。影像处理部161将所生成的L影像向L影像缓冲器173、将R影像向R影像缓冲器174分别写入(步骤S115)。
在判断为不是3D影像、即是2D影像的情况下(步骤S105中的“否”)，影像处理部161基于节目格式判断部102的判断结果，判断所读出的帧是否是3D节目的帧(步骤S120)。
在判断为是3D节目的情况下(步骤S120中的“是”)，影像处理部161将所读出的帧(2D影像)向L影像缓冲器173及R影像缓冲器174的两者写入(步骤S125)。
在判断为不是3D节目、即是2D节目的情况下(步骤s120中的“否”)，影像处理部161将所读出的帧(2D影像)向第1缓冲器171写入(步骤S130)。
1.4具体例
这里，对接受到3D节目的情况下的影像的显示，使用具体例进行说明。
图10表示在接收到3D节目的情况下、将包含在该节目中的3D影像和2D影像显示的具体例。
在图10中，3D节目由3D影像区间#1、2D影像区间#2及3D影像区间#3构成。
影像处理装置100在3D影像区间#1及3D影像区间#3中，接收包括以并列方式构成的多个帧(3D影像的帧)的流。并且，影像处理装置100从接收到的3D影像的帧生成L影像和R影像，按照120Hz将L影像和R影像交替地显示。
影像处理装置100在2D影像区间#2中接收包括2D影像的多个帧的流。并且，影像处理装置100将接收到的2D影像的帧在60Hz的期间中显示两次、即将一个2D影像的帧按照120Hz显示两次。
图11是表示在3D节目中显示2D影像时的机制的具体例的图。
在图11中，信号输入部101将按照1/60(＝2×1/120)秒解码后的2D影像P100、P101向帧缓冲器104写入。
影像处理部161按照1/60秒，将保存在帧缓冲器104中的2D影像P100、P101向第2缓冲器172的L影像缓冲器173及R影像缓冲器174的两者写 入。
显示部163按照1/120秒，从L影像缓冲器173和R影像缓冲器174交替地将2D影像P100、P101读出而显示。
此时，用户使用的开闭器眼镜按照1/120秒、右眼左眼交替使开闭器关闭。但是，由于显示的图像不是视差图像，所以即使例如将2D影像P100按照1/120秒显示两次，也不为立体视而为平面视。
另外，也可以在显示2D影像P100的期间中使开闭器眼镜的开闭停止、即设为“总是左右开”。在此情况下，与显示3D影像的情况相比，用户视听了成倍的光量的图像，所以也可以为了补偿它而将显示部163的显示光量自动地调节。
2.第2实施方式
在上述第1实施方式中，作为影像处理装置而使用数字电视机进行了说明，但在本实施方式中，将机顶盒(STB)与数字电视机的组合作为影像处理装置，使用附图进行说明。
2.1结构
图12是表示该影像处理装置的关于使用行为的形态的图。如本图所示，由以HDMI连接的数字电视机1100和STB1200、3D眼镜200构成，能够实现用户的使用。这里，设影像处理装置为用HDMI连接的数字电视机1100与STB1200的组合构成。
数字电视机1100是能够显示2D影像及3D影像的设备，STB1200接收包括2D影像及3D影像的流。STB1200将包含在接收到的流中的帧向数字电视机1100输出，数字电视机1100通过将从STB1200接受到的帧再现而显示影像。
2.1.1STB1200的结构
STB1200接收送出2D影像及3D影像的数字广播波。此外，STB1200与IP网络及再现装置连接，还接收从它们输出的2D影像及3D影像。
STB1200如图13所示，由信号输入部1201、节目格式判断部1202、帧格式判断部1203、帧缓冲器1204及输出处理部1205构成。
(1)信号输入部1201
信号输入部1201与由第1实施方式表示的信号输入部101同样，是接 收从外部送出(输出)的包括构成2D影像的帧及构成3D影像的帧的流的单元。另外，假设在流中多路复用了包括构成2D及3D的帧的影像流和PSI。
这里，假设送出(输出)的3D影像的帧以并列方式等的3D方式构成。所谓并列方式，如上所述，是将L影像和R影像包含在1帧内的方式。此外，关于接收的流的格式，也与第1实施方式是同样的，所以这里的说明省略。
信号输入部101如图13所示，具有调谐器(解调器)1251、NIC(Network Interface Card)1252、多路分离部1253及影像解码部1254。
这些构成单元与在第1实施方式中表示的调谐器151、NIC152、多路分离部153及影像解码部154是同样的，所以这里的说明省略。
(2)节目格式判断部1202
节目格式判断部1202与在第1实施方式中表示的节目格式判断部102是同样的，所以这里的说明省略。
(3)帧格式判断部1203
帧格式判断部1203与在第1实施方式中表示的帧格式判断部103是同样的，所以这里的说明省略。
(4)帧缓冲器1204
帧缓冲器1204具有用来保存由影像解码部1254解码后的帧的区域。
(5)输出处理部1205
输出处理部1205具有将保存在帧缓冲器1204中的帧向HDMI连接的数字电视机1100输出的功能。 
输出处理部1205将保存在帧缓冲器1204中的帧读出。 
并且，将表示包括所读出的帧的节目是2D节目还是3D节目的3D节目标志、以及表示该帧是2D影像还是3D影像、在3D影像的情况下是包括并列方式的哪个方式等的影像信息附加到HDMI的信息中，与所读出的帧一起向数字电视机1100输出。
2.1.2数字电视机1100的结构
数字电视机1100具体而言是等离子电视机，显示2D影像及3D影像。
数字电视机100如图14所示，由信号输入部1101、节目格式判断部1102、帧格式判断部1103、帧缓冲器1104及输出处理部1105构成。
(1)信号输入部1101
信号输入部1101具有接收从STB1200送出的HDMI规格的信号的功能。
信号输入部1101如图14所示，具有HDMI接收部1151。
HDMI接收部1151接收HDMI规格的信号，这里接收构成2D影像及3D影像的信号和HDMI的信息。
HDMI接收部1151将接收到的2D影像及3D影像的信号向帧缓冲器1104写入。此外，HDMI接收部1151将接收到的HDMI的信息向节目格式判断部1102及帧格式判断部1103的两者输出。 
(2)节目格式判断部1102
节目格式判断部102如果接受到HDMI的信息，则基于包含在接受到的HDMI的信息中的3D节目标志的值，判断包括从STB1200接受到的帧的节目是3D节目还是2D节目。
(3)帧格式判断部1103
帧格式判断部1103如果接受到HDMI的信息，则基于包含在接受到的HDMI的信息中的影像信息的内容，判断从STB1200接受到的帧的影像是2D影像还是3D影像、在3D影像的情况下是包括并列方式的哪个3D方式。
(4)帧缓冲器1104
帧缓冲器1104具有用来保存从STB1200接受到的帧的区域。
(5)输出处理部1105
输出处理部1105基于对应于节目格式判断部1102的判断结果的输出周期输出影像。
输出处理部1105如图14所示，具有影像处理部1161、帧缓冲器1162及显示部1163。
影像处理部1161、帧缓冲器1162及显示部1163分别与在第1实施方式中表示的影像处理部161、帧缓冲器162及显示部163是同样的，所以这里的说明省略。
2.2动作
以下，对数字电视机1100及STB1200的动作进行说明。
(1)输出处理
这里，对于在STB1200中对应于接收到的流表示的3D节目及2D节目的向数字电视机1100的输出动作的相关处理，使用在图15中表示的流程图进行说明。
输出处理部1205将输出对象的帧从帧缓冲器1204读出(步骤S200)。
输出处理部1205基于节目格式判断部1202的判断结果，判断所读出的帧是否是3D节目的帧(步骤S205)。在判断为是3D节目的帧的情况下(步骤S205中的“是”)，输出处理部1205对3D节目标志设定1(步骤S210)。
输出处理部1205判断所读出的帧是否是3D影像(步骤S220)。
在判断为是3D影像的情况下(步骤S220中的“是”)，输出处理部1205在HDMI的信息中设定影像信息(步骤S225)，将所读出的帧及HDMI的信息向数字电视机1100输出(步骤S230)。
在判断为不是3D节目的帧、即是2D节目的情况下(步骤S205中的“否”)、以及在判断为不是3D影像、即是2D影像的情况下(步骤S220中的“否”)，输出处理部1205执行步骤S230。
(2)缓冲器切换处理
缓冲器切换处理是在数字电视机1100中对应于2D节目及3D节目而切换开关181的连接目标的处理，该处理动作与第1实施方式中的缓冲器切换处理是同样的，所以这里的说明省略。
(3)缓冲器写入处理
缓冲器写入处理由输出处理部1105进行，是将显示对象的帧向对应于包括该帧的节目、即3D节目及2D节目的缓冲器写入的处理。并且，该处理动作与第1实施方式中的缓冲器写入处理是同样的，所以这里的说明省略。
2.3变形例
在上述第2实施方式中，在数字电视机1100中对应于2D节目及3D节目而进行输出周期(影像的读出周期)的切换，但并不限定于此。
影像的读出周期的切换也可以在STB1200侧进行。
2.3.1结构
将该情况下的STB1200a的构成单元表示在图16中。
STB1200a如图16所示，由信号输入部1201a、节目格式判断部1202a、帧格式判断部1203a、帧缓冲器1204a及输出处理部1205a构成。
(1)信号输入部1201a
信号输入部1201a具有与在上述中表示的信号输入部101及信号输入部1201同样的功能，具有调谐器(解调器)1251a、NIC(Network Interface Card)1252a、多路分离部1253a及影像解码部1254a。
这些构成单元与在第1实施方式中表示的调谐器151、NIC152、多路分离部153及影像解码部154是同样的，所以这里的说明省略。
(2)节目格式判断部1202a
节目格式判断部1202a与在上述中表示的节目格式判断部102及节目格式判断部1202是同样的，所以这里的说明省略。
(3)帧格式判断部1203a
帧格式判断部1203a与在上述中表示的帧格式判断部103及帧格式判断部1203是同样的，所以这里的说明省略。
(4)帧缓冲器1204a
帧缓冲器1204a具有用来保存由影像解码部1254a解码后的帧的区域。
(5)输出处理部1205a
输出处理部1205a基于对应于节目格式判断部1202a的判断结果的输出周期输出帧。
输出处理部1205a如图17所示，具有影像处理部1261a、帧缓冲器1262a及输出部1263a。
影像处理部1261a与在第1实施方式中表示的影像处理部161是同样的，所以这里的说明省略。
帧缓冲器1262a如图17所示，由第1缓冲器1271a、以及具有L影像缓冲器1273a及R影像缓冲器1274a的第2缓冲器1272a构成。构成帧缓冲器1262a的构成单元与在第1实施方式中表示的第1缓冲器171、第2缓冲器172、L影像缓冲器173及R影像缓冲器174是同样的，所以这里的说明省略。
输出部1263a如图17所示，具有开关1281a、输出控制部1282a及切换控制部1283a。
开关1281a及切换控制部1283a与在第1实施方式中表示的开关181及切换控制部183是同样的，所以这里的说明省略。
输出控制部1282a是基于节目格式判断部102的判断结果变更影像的读出周期、将帧向数字电视机1100a输出的单元。例如，输出控制部1282a在接收到的流是2D节目的情况下，将读出周期设为60Hz，从作为开关1281a的连接目标的第1缓冲器1271a将作为显示对象的2D的帧读出并输出。
输出控制部1282a在接收到的流是3D节目的情况下，将读出周期设为120Hz，从作为开关181的连接目标的第2缓冲器1272a的L影像缓冲器1273a及R影像缓冲器1274a将作为输出对象的帧交替地读出并输出。
另外，在将2D影像及3D影像向数字电视机1100a输出时，在数字电视机1100a中，按照HDMI的影像格式，与读出周期取同步。
2.3.2动作
(1)缓冲器切换处理
缓冲器切换处理是在STB1200a中对应于2D节目及3D节目切换开关1281a的连接目标的处理，其处理动作与第1实施方式的缓冲器切换处理是同样的，所以这里的说明省略。
(2)缓冲器写入处理
缓冲器写入处理由影像处理部1261a进行，是将显示对象的帧向对应于包括该帧的节目、即3D节目及2D节目的缓冲器写入的处理。并且，其处理动作与第1实施方式的缓冲器写入处理是同样的，所以这里的说明省略。
另外，与向帧缓冲器1262a的写入处理并行，在输出部1263a中，以基于节目格式判断部1202a的判断结果的读出周期，从对应的缓冲器将输出对象的帧读出并向数字电视机1100a输出。
3.第3实施方式
作为影像处理装置也可以使用带有录像功能的数字电视机。
以下，作为本发明的一形态，对将带有录像功能的数字电视机作为影像处理装置的情况进行说明。
3.1结构
数字电视机2100具体而言是等离子电视机，与第1实施方式同样具有接收包括2D影像及3D影像的流的功能。进而，数字电视机2100还具有将接收到的流记录到HDD及BD中的录像功能。
数字电视机2100如图18所示，由信号输入部2101、节目格式判断部2102、帧格式判断部2103、帧缓冲器2104、输出处理部2105及记录部2106构成。
(1)信号输入部2101
信号输入部2101是接收从外部送出(输出)的包括构成2D影像的帧及构成3D影像的帧的流的单元。另外，流与第1实施方式同样，将构成2D及3D的帧与PSI多路复用而成。
这里，3D影像的帧与第1实施方式同样，是以并列方式构成的。
此外，关于帧的格式，也是与第1实施方式同样的。
信号输入部2101如图18所示，具有调谐器(解调器)2151、NIC(Network Interface Card)2152、多路分离部2153及影像解码部2154。
(1-1)调谐器2151及NIC2152
调谐器2151及NIC2152分别与在第1实施方式中表示的调谐器151及NIC152分别是同样的，所以这里的说明省略。
(1-2)多路分离部2153
多路分离部2153由于录像时及通常再现时的动作与录像再现时的动作不同，所以以下对各个情况进行说明。这里，所谓通常再现时，是非录像状态、且显示接收到的广播波的情况。此外，所谓录像再现时，是将录像的节目再现而显示的情况。
(录像时及通常再现时)
多路分离部2153在录像时及通常再现时，将由调谐器2151及NIC2152接收到的流分离为包括构成2D及3D的帧的影像流和PSI。多路分离部2153在录像时将分离的影像流向记录部2106、将PSI向节目格式判断部2102分别输出。多路分离部2153在显示影像的情况下，将分离的影像流向影像解码部2154、将PSI向节目格式判断部2102分别输出。这里，所谓显示影像的情况，包括显示录像中的影像的情况及在通常再现时显示节目的情况的两者。
(录像再现时)
多路分离部2153在录像再现时，从由用户指定的保存场所(HDD或BD等记录媒体)取得被录像的流，将所取得的流分离为包括构成2D及3D的帧的影像流和其他流。
多路分离部2153将分离后的影像流向影像解码部2154输出。
(1-3)影像解码部2154
影像解码部2154具有如果从多路分离部2153接受影像流、则进行接受到的影像流的解码、并且将以帧单位保存在影像流中的3D影像信息取出的功能。通过该影像解码部2154生成帧单位的影像。在此情况下，在3D影像的帧中，是以并列方式构成的帧，没有进行L图像与R图像的切分。
影像解码部2154将所生成的帧单位的影像向帧缓冲器2104写入，将所取出的3D影像信息向帧格式判断部2103输出。
(2)节目格式判断部2102
节目格式判断部2102如果在录像时及通常再现时从多路分离部2153接受到PSI，则基于包含在接受到的PSI中的3D节目标志的值，判断包括由多路分离部2153接受到的流的节目是3D节目还是2D节目。
节目格式判断部2102在录像时生成与被录像的流建立对应而记录的文件属性信息(元数据)，向记录部2106输出。此时，节目格式判断部2102对应于基于包含在PSI中的3D节目标志的值的判断结果，将表示流是2D节目还是3D节目的节目格式信息添加在文件属性信息中，向记录部2106输出。
节目格式判断部2102在录像再现时从与再现的流建立了对应的保存场所(HDD或BD等记录媒体)读出文件属性信息，基于包含在文件属性信息中的节目格式信息，判断再现对象的节目是2D节目还是3D节目。
以下，对文件属性信息的结构进行说明。
文件属性信息例如基于ETSI TS 102 822(TV Anytime)规格。在本实施方式中，将ETSI TS 102 822的AV属性(AVAttribute)扩展，追加表示是2D节目还是3D节目的节目格式信息。在节目格式信息中，例如在是2D节目的情况下设定值0、在是3D节目的情况下设定值1。由此，在再现时，通过参照该3D节目标志，能够判别再现对象的节目是2D节目还是3D节 目。
(3)帧格式判断部2103
帧格式判断部2103与在第1实施方式中表示的帧格式判断部103是同样的，所以这里的说明省略。
(4)帧缓冲器2104
帧缓冲器2104与在第1实施方式中表示的帧缓冲器104是同样的，所以这里的说明省略。
(5)输出处理部2105
输出处理部2105基于对应于节目格式判断部2102的判断结果的输出周期输出影像。
输出处理部2105如图18所示，具有影像处理部2161、帧缓冲器2162及显示部2163。
影像处理部2161、帧缓冲器2162及显示部2163分别与在第1实施方式中表示的影像处理部161、帧缓冲器162及显示部163是同样的，所以这里的说明省略。
(6)记录部2106
记录部2106在录像时如果分别将从多路分离部2153接受到分离的影像流，并从节目格式判断部2102接受到生成的文件属性信息，则将接受到的流与文件属性信息建立对应，向预先由用户指定的保存区域(HDD或BD等记录媒体)记录。
3.2动作
这里，在数字电视机2100中，在显示节目时，进行对应于显示的节目、即2D节目及3D节目而切换帧缓冲器2162内的连接目标的缓冲器切换处理以及对切换后的缓冲器的写入处理。
缓冲器切换处理与第1实施方式的缓冲器切换处理是同样的，所以这里的说明省略。
此外，关于缓冲器写入处理也与第1实施方式的缓冲器写入处理是同样的，所以这里的说明省略。
3.3变形例
上述第3实施方式的数字电视机2100将接收到的影像流不解码而向记 录媒体记录，但并不限定于此。
也可以将接收到的影像流先解码、实施规定的处理后再次编码而记录。
对该情况下的数字电视机2100a的结构进行说明。
3.3.1结构
数字电视机2100a如图19所示，由信号输入部2101a、节目格式判断部2102a、帧格式判断部2103a、帧缓冲器2104a、输出处理部2105a、记录部2106a及影像编码部2107a构成。
(1)信号输入部2101a
信号输入部2101a是接收从外部送出(输出)的包括构成2D影像的帧及构成3D影像的帧的流的单元。另外，流与第1实施方式同样，是将包括构成2D及3D的帧的影像流与PSI多路复用的流。
这里，3D影像的帧与第1实施方式同样，是以并列方式等的3D方式构成的。 
此外，关于帧的格式，也设为与第1实施方式同样。
信号输入部2101a如图19所示，具有调谐器(解调器)2151a、NIC(Network Interface Card)2152a、多路分离部2153a及影像解码部2154a。
(1-1)调谐器2151a及NIC2152a
调谐器2151a及NIC2152a分别与在第1实施方式中表示的调谐器151及NIC152是同样的，所以这里的说明省略。
(1-2)多路分离部2153a
多路分离部2153a由于录像时及通常再现时的动作与录像再现时的动作不同，所以以下对各个情况进行说明。
(录像时及通常再现时)
多路分离部2153a在录像时及通常再现时，将由调谐器2151a及NIC2152a接收到的流分离为包括构成2D及3D的帧的影像流和PSI。多路分离部2153a将分离后的影像流向影像解码部2154a、将PSI向节目格式判断部2102a分别输出。
(录像再现时)
多路分离部2153a在录像再现时，从由用户指定的保存场所(HDD或BD等记录媒体)取得录像的流，将所取得的流分离为包括构成2D及3D 的帧的影像流和其他流。
多路分离部2153a将分离后的影像流向影像解码部2154a输出。
另外，关于文件属性信息，由于在第3实施方式中已说明，所以这里的说明省略。
(1-3)影像解码部2154a
影像解码部2154a具有如果从多路分离部2153a接受到影像流则进行接受到的影像流的解码、并且将在影像流中以帧单位保存的3D影像信息取出的功能。
以下，由于录像时的动作与通常再现时及录像再现时(以下单称作再现时)的动作不同，所以以下对各个情况进行说明。
(录像时)
影像解码部2154a将所生成的帧单位的影像向影像编码部2107a输出，同时将所取出的帧单位的3D影像信息向帧格式判断部2103a输出。
(再现时)
影像解码部2154a将所生成的帧单位的影像向帧缓冲器2104a写入，将所取出的帧单位的3D影像信息向帧格式判断部2103a输出。
(2)节目格式判断部2102a
节目格式判断部2102a与在第3实施方式中表示的节目格式判断部2102是同样的，所以这里的说明省略。
(3)帧格式判断部2103a
由于录像时及通常再现时的动作与录像再现时的动作不同，所以以下对各个情况进行说明。
(再现时)
帧格式判断部2103a如果接受到从影像解码部154取出的3D影像信息，则基于该值，判断解码后的帧的影像是2D影像还是3D影像。
(录像时)
帧格式判断部2103a如果接受到从影像解码部154取出的3D影像信息则基于该值判断解码后的帧的影像是2D影像还是3D影像，将其结果向影像编码部2107a输出。
(4)帧缓冲器2104a
帧缓冲器2104a与在第1实施方式中表示的帧缓冲器104是同样的，所以这里的说明省略。
(5)输出处理部2105a
输出处理部2105a基于对应于节目格式判断部2102的判断结果的输出周期输出影像。
输出处理部2105a如图19所示，具有影像处理部2161a、帧缓冲器2162a及显示部2163a。
影像处理部2161a、帧缓冲器2162a及显示部2163a分别与在第1实施方式中表示的影像处理部161、帧缓冲器162及显示部163是同样的，所以这里的说明省略。
(6)影像编码部2107a
影像编码部2107a具有将录像对象的帧再次编码的功能。
从影像解码部2154a接受被解码的帧，从帧格式判断部2103a接受帧格式判断结果。
影像编码部2107a对该帧实施对应于该代码形式的编码，附加接受到的帧格式判断结果，生成影像流并向记录部2106a输出。
(7)记录部2106a
记录部2106a如果在录像时分别从影像编码部接受到再次编码的影像流、从节目格式判断部2102a接受到文件属性信息，则将接受到的影像流与文件属性信息建立对应，向预先由用户指定的保存区域(HDD或BD等记录媒体)记录。
3.3.2动作
这里，数字电视机2100a的缓冲器切换处理及缓冲器写入处理分别与第1实施方式的缓冲器切换处理及缓冲器写入处理是同样的，所以这里的说明省略。
4.第4实施方式
在上述各实施方式中，在帧中包含有该帧是2D影像还是3D影像的信息，但并不限定于此。
也可以不将该信息包含在帧中。对该情况下的作为影像处理装置的数字电视机3100的结构及动作进行说明。
另外，在本实施方式中，假设在帧中不包含该帧是2D影像还是3D影像的信息。
4.1结构
数字电视机3100具体而言是等离子电视机，与第1实施方式同样具有接收包括2D影像及3D影像的流的功能。
数字电视机3100如图20所示，由信号输入部3101、节目格式判断部3102、帧格式判断部3103、帧缓冲器3104及输出处理部3105构成。
(1)信号输入部3101
信号输入部3101是接收包括从外部送出(输出)的构成2D影像的帧及构成3D影像的帧的流的单元。另外，流与第1实施方式同样，多路复用有构成2D及3D的帧和PSI。
这里，假设3D影像的帧与第1实施方式同样以并列方式构成。
此外，关于帧的格式，也假设与第1实施方式是同样的。
信号输入部3101如图20所示，具有调谐器(解调器)3151、NIC(Network InterfaceCard)3152、多路分离部3153及影像解码部3154。
调谐器3151、NIC3152及多路分离部3153分别与在第1实施方式中表示的调谐器151、NIC152及多路分离部153是同样的，所以这里的说明省略。
影像解码部3154解码后的结果的输出目标仅为帧缓冲器3104这一点与在第1实施方式中表示的影像解码部154不同。关于其他功能是同样的功能。
(2)节目格式判断部3102
节目格式判断部3102与在第1实施方式中表示的节目格式判断部102是同样的，所以这里的说明省略。
(3)帧缓冲器3104
帧缓冲器3104与在第1实施方式中表示的帧缓冲器104是同样的，所以这里的说明省略。
(4)帧格式判断部3103
帧格式判断部3103具有根据保存在帧缓冲器3104中的帧检测该帧是否是以包括并列方式的3D方式构成的、在构成的情况下以哪种3D方式构 成的功能。
具体而言，帧格式判断部3103将帧在水平方向及垂直方向上分别进行m等分及n等分，一边改变m和n一边验证各个区域的图像的近似度。并且，帧格式判断部3103在存在水平方向的类似度是规定值以上的m、n的值的情况下判断为该帧以并列方式构成，在存在垂直方向的类似度是规定值以上的m、n的值的情况下判断为该帧以上下方式构成。
(5)输出处理部3105
输出处理部3105基于对应于节目格式判断部3102的判断结果的输出周期输出影像。
输出处理部3105如图20所示，具有影像处理部3161、帧缓冲器3162及显示部3163。
影像处理部3161、帧缓冲器3162及显示部3163分别与在第1实施方式中表示的影像处理部161、帧缓冲器162及显示部163是同样的，所以这里的说明省略。
4.2动作
这里，在数字电视机3100中，在显示节目时，进行对应于显示的节目、即2D节目及3D节目切换帧缓冲器3162内的连接目标的缓冲器切换处理、以及对切换后的缓冲器的写入处理。
缓冲器切换处理与第1实施方式的缓冲器切换处理是同样的，所以这里的说明省略。
此外，关于缓冲器写入处理也与第1实施方式的缓冲器写入处理是同样的，所以这里的说明省略。
5.第5实施方式
在上述各实施方式中，设为接收多路复用了帧和包含3D节目标志的PSI的流，但并不限定于此。
流也可以仅由多个帧构成。此外，将帧与PSI多路复用，但也可以在PSI中不包含3D节目标志。 
对作为该情况下的影像处理装置的数字电视机4100的结构及动作进行说明。
5.1结构
数字电视机4100具体而言是等离子电视机，与第1实施方式同样，具有接收包括2D影像及3D影像的流的功能。
数字电视机4100如图21所示，由信号输入部4101、节目格式判断部4102、帧格式判断部4103、帧缓冲器4104、输出处理部4105、履历保持部4108及操作输入部4109构成。
(1)信号输入部4101
信号输入部4101是接收从外部送出(输出)的包括构成2D影像的帧及构成3D影像的帧的流的单元。另外，流与第1实施方式同样，假设多路复用了构成2D及3D的帧和PSI。
这里，假设3D影像的帧与第1实施方式同样以并列方式构成。
此外，关于帧的格式也假设与第1实施方式是同样的。
信号输入部4101如图21所示，具有调谐器(解调器)4151、NIC(Network Interface Card)4152、多路分离部4153及影像解码部4154。
调谐器4151、NIC4152及影像解码部4154分别与在第1实施方式中表示的调谐器151、NIC152及影像解码部154是同样的，所以这里的说明省略。
多路分离部4153从接收到的流中分离影像流，将分离后的影像流向影像解码部4154输出。
(2)履历保持部4108
履历保持部4108具有存储帧格式判断部4103的判断结果的履历的区域。
(3)帧格式判断部4103
帧格式判断部4103进行与第1实施方式的帧格式判断部103同样的判断。 
帧格式判断部4103将对应于判断结果的判断信息向履历保持部4108写入。例如，在判断为是2D影像的情况下将值0、在判断为是3D影像的情况下将值1写入。
(4)节目格式判断部4102
节目格式判断部4102参照保存在履历保持部4108中的帧格式判断部4103中的判断结果的履历，判断接收到的流是3D节目还是2D节目。另外， 在写入判断信息后直到被写入下个判断信息为止进行该参照。
具体而言，节目格式判断部4102在参照时刻的判断信息是值1的情况下，从当前时刻向过去回溯，判断值1是否连续规定数量以上。
在判断为连续的情况下，节目格式判断部4102判断接收到的流是3D节目，中断其中的判断。并且，节目格式判断部4102如果接受到重新开始判断的指示，则重新开始对接收到的流是3D节目还是2D节目的判断。
在其以外的情况下，节目格式判断部4102判断为接收到的流是2D节目。并且，节目格式判断部4102持续进行对接收到的流是3D节目还是2D节目的判断。 
(5)操作输入部4109
操作输入部4109从用户受理选台的指示及电源断开的指示。
操作输入部4109如果从用户受理了选台的指示(频道变更的指示)，则将履历保持信息的内容复位，并且向节目格式判断部4102输出重新开始判断的指示。另外，此时在调谐器4151中进行从用户所选的台的广播波的接收。
操作输入部4109如果从用户受理了电源断开的指示，则将履历保持信息的内容复位。然后，将数字电视机4100进行电源断开。在此情况下，如果再次进行电源的接通，则节目格式判断部4102开始进行对接收到的流的节目是3D节目还是2D节目的判断。
(6)帧缓冲器4104
帧缓冲器4104与在第1实施方式中表示的帧缓冲器104是同样的，所以这里的说明省略。
(7)输出处理部4105
输出处理部4105基于对应于节目格式判断部4102的判断结果的输出周期输出影像。
输出处理部4105如图21所示，具有影像处理部4161、帧缓冲器4162及显示部4163。
影像处理部4161、帧缓冲器4162及显示部4163分别与在第1实施方式中表示的影像处理部161、帧缓冲器162及显示部163是同样的，所以这里的说明省略。
另外，输出处理部4105在进行节目格式判断部4102的判断的期间中，与以往同样，以帧单位根据需要而切换输出周期。
5.2动作
这里，在数字电视机4100中，在显示节目时，进行显示的节目、即是2D节目还是3D节目的节目判断处理、根据判断结果切换帧缓冲器4162内的连接目标的缓冲器切换处理、以及对切换后的缓冲器的写入处理。
缓冲器切换处理与第1实施方式的缓冲器切换处理是同样的，所以这里的说明省略。
此外，关于缓冲器写入切换处理也与第1实施方式的缓冲器写入处理是同样的，所以这里的说明省略。
以下，关于节目判断处理，使用在图22中表示的流程图进行说明。
节目格式判断部4102在参照时刻的帧是3D影像的情况下从现时刻向过去回溯，判断3D影像是否连续规定数以上(步骤S300)。具体而言，节目格式判断部4102从当前时刻向过去回溯，判断判断信息的值1是否连续了规定数以上。
在判断为连续的情况下(步骤S300中的“是”)，节目格式判断部4102判断接收到的节目为3D节目(步骤S305)，结束处理。 
在判断为没有连续的情况下(步骤S300中的“否”)，节目格式判断部4102判断接收到的节目为2D节目(步骤S310)，向步骤S300返回。
6.变形例
以上，基于各实施方式进行了说明，但本发明并不限定于上述各实施方式。例如可以考虑以下这样的变形例。
(1)在上述各实施方式中，设送出(输出)的包括帧的影像流的信号格式基于H.264|MPEG4/AVC规格，但并不限定于此。
送出(输出)的帧的信号格式也可以是基于MPEG2规格的。
在此情况下，可以通过在由MPEG2规格定义的数据构造中的“user_data”或“extension_data”的数据构造中设置帧是2D影像还是3D影像的标志来实现。此外，也可以在由MPEG2-SYSTEMS规格定义的数据构造中的“PES_private_data”或“PES_extension_field_data”的数据构造中设置帧是2D影像还是3D影像的标志。
(2)在上述各实施方式中，在PSI的PMT内包含3D节目标志的位置是一例，并不限定于此。
例如也可以使用图6所示的描述符区域T113。
在描述符区域T112中，在送出H.264|MPEG4/AVC规格的影像(流)的情况下保存AVC视频描述符的数据，在送出MPEG2规格的流的情况下保存视频解码控制描述符的数据。可以通过对这些描述符的数据构造的未定义部分设置3D节目标志来实现。
或者，也可以通过在描述符区域T112中新定义上述两个描述符以外的描述符来对应。此外，也可以对ES的种类T110设定新的值。
(3)在上述各实施方式中，设多路复用在送出的流中的信息为PSI，但并不限定于此。
多路复用的信息也可以是SI(service information)。
作为SI，也可以使用SDT(Service Description Table)或EIT(Event Information Table)。
(3-1)使用SDT的情况
这里，对作为SI而使用SDT的情况进行说明。
SDT(服务描述符表)T300是记载有频道单位的信息的表，在图23中表示其数据构造的一例。表识别符(table_id)T301、服务种类T310及描述符区域T313是已知的，所以这里的说明省略。3D节目标志T312是用来识别由对应于该SDT的流构成的节目是2D节目还是3D节目的标志。具体而言，3D节目标志是由1位构成的信息，值0表示2D节目，值1表示3D节目。这里，在服务描述符表T300中，存在多个包括服务种类T310、3D节目标志T312及描述符区域T313所成的组。
在上述变形例中，将3D节目标志T312作为服务种类T310的后续的信息配置，但并不限定于此。
也可以在描述符区域T313中定义新的描述符来对应。此外，也可以在服务种类T310中设定新的值。
(3-2)使用EIT的情况
EIT(事件信息表)是记载有节目单位的信息的表，在该EIT内包括组件描述符及内容描述符。
在使用EIT的情况下，在组件描述符中，对当前是未定义的区域分配3D节目标志。此外，在内容描述符中，对由8位构成的用户类别分配是2D节目还是3D节目的信息。通过这样，能够进行节目是2D节目还是3D节目的判别。
或者，也可以定义新的描述符来对应。
(4)在上述第3实施方式中，作为文件属性信息而使用ETSI TS 102822规格，但并不限定于此。
文件属性信息也可以是基于其他规格的、或是独立形式的。
例如也可以是ISO_IEC_14496-12规格。此外，也可以是其他基于BDA(Blu-ray Disc Association)、SDA(SD Association)、DVD Forum等的规格的。
(5)在上述第3实施方式中，影像处理装置进行向记录媒体的录像再现，但也可以是该记录媒体处于影像处理装置的外部并用IP网络等连接。
在记录媒体被用家庭的IP网络等连接的情况下，可以利用UPnP(Universal Plug and play)等协议。在使用UPnP协议的情况下，作为文件属性信息可以使用UPnPAV CDS等。
此外，也可以从家庭外的记录媒体利用IP网络等以视频点播(Video On Demand)形式接收流。在此情况下，影像处理装置使用HTTP及RTSP/RTP等的协议进行流的请求与接收。该情况下的文件属性信息既可以直接记载在构成菜单画面等的HTML或BML等的多媒体脚本中，也可以使用上述ETSI TS 102 822规格，也可以使用由IPTV Forum STD-0002 VOD规格规定的再现控制文件等。
(6)在上述各实施方式中，对于3D节目时的2D影像将相同的2D影像重复显示两次，但并不限定于此。
也可以通过从由一个2D影像(称作第1影像)和作为下个显示对象的2D影像(称作第2影像)进行帧补充而生成补充影像，以第1影像、生成的补充影像、第2影像的顺序显示。另外，在此情况下，由于进行帧间的补充，所以实际输出的各影像最低延迟1/120秒。
作为与上述实施方式不同的点，首先，帧缓冲器104a具有保存至少两个影像的区域。此外，有关本变形例的影像处理部161a在3D节目中显示 2D影像时，从帧缓冲器104a根据连续的两个2D影像生成补充影像，将所生成的补充影像向R影像缓冲器174写入。另外，在不存在连续的2D影像的情况下，与上述实施方式同样，将相同的2D影像显示两次。
图24是表示有关该变形例的2D影像的显示的机制的具体例的图。
在图24中，信号输入部101将解码后的2D影像P200、P201向帧缓冲器104a写入。
影像处理部161a将保存在帧缓冲器104a中的2D影像P200、P201读出，将2D影像P200向第2缓冲器172的L影像缓冲器173写入。此外，影像处理部161a使用读出的2D影像P200、P201进行帧间的补充，生成补充影像P200a，将所生成的补充影像P200a向R影像缓冲器174写入。
显示部163按照1/120秒从L影像缓冲器173读出2D影像P200并显示，从R影像缓冲器174读出补充影像P200a并显示。
此时，用户使用的开闭器眼镜按照1/120秒左眼、右眼交替地开闭器关闭。但是，在显示部163中，由于以2D影像P200、补充影像P200a、以及2D影像P201的顺序显示，所以平滑地进行影像的变迁，用户能够不产生2D影像被显示两次的别扭感而视听影像。
另外，在此情况下，也可以在显示2D影像P200的期间中将开闭器眼镜的开闭停止、即设为“总是左右开”。在此情况下，与显示3D影像的情况相比，用户视听成倍的光量的图像，所以也可以为了补偿它而自动地调节显示部163的显示光量。
(7)在上述实施方式中，是2D节目还是3D节目的判断基于与流多路复用的PSI或SI的信息依次进行，但并不限定于此。
也可以在按照帧记载的3D影像信息中直接记载是3D节目中的2D帧的信息。 
此外，在3D方式是服务兼容方式的情况下，也可以根据是服务兼容方式的3D流还是通常的2D的流而替换为3D节目标志。例如在进行通过MPEG4|H.264的压缩编码的情况下，通过参照profile_idc的值，能够识别是服务兼容方式的3D流(MVC)还是通常的2D流(AVC)。
(8)在上述实施方式中，是2D节目还是3D节目的判断基于与流多路复用的PSI或SI的信息依次进行，但并不限定于此。
影像处理装置(数字电视机)也可以预先存储由上述SI或其他形式的信息构成的电子节目表(EPG)、使用电子节目表判断接收到的流的节目是2D节目还是3D节目。
或者，也可以在电子节目表中对仅广播3D节目的频道附加仅广播3D节目的信息(以下称作3D广播信息)，在如上述那样进行节目是3D节目还是2D节目的判断之前，影像处理装置基于3D广播信息判断接收到的流的频道是否是仅广播3D节目的频道。在此情况下，如果判断为是仅广播3D节目的频道，则确定接收到的流的节目是3D节目。另外，在3D广播信息不是仅广播3D节目的情况下，以节目单位进行是3D节目还是2D节目的判断。
此外，影像处理装置基于电子节目表，如果检测到接收中的流的3D节目的结束，则使用该电子节目表判断其中的节目是3D节目还是2D节目。如果判断为后续的节目是3D节目，则不进行影像的输出周期的变更。此外，如果判断为后续的节目是2D节目，则将影像的输出周期向2D影像的输出周期变更。
(9)在上述第3实施方式中，设数字电视机2100为带有录像功能的数字电视机，但并不限定于此。
也可以另外设置具有在该实施方式中说明的录像功能的录像装置。在此情况下，数字电视机可以通过具有有关广播波的接收功能、从IP网络的节目的接收功能及从录像装置录像的节目的再现的功能来实现。
(10)在上述第5实施方式中，数字电视机4100如果有频道变更的指示或电源的断开/接通，则将履历保持信息的内容复位，再次开始节目的判断，但并不限定于此。
例如，数字电视机也可以不将履历保持信息的内容复位而开始节目的判断。在此情况下，数字电视机(影像处理装置)如果将2D影像连续接收规定个数以上则判断为2D节目，将输出周期从3D影像的输出周期向2D影像的输出周期变更。另外，在此情况下使用的规定数既可以是与在上述第5实施方式中用于是否是3D节目的判断的规定数相同的值，也可以是不同的值。
(11)在上述第5实施方式中，在判断是2D节目还是3D节目的处理 动作中使用的规定数也可以是1。在此情况下，如果接收到3D影像则立即切换输出周期。
(12)在上述第5实施方式中，在判断是2D节目还是3D节目的处理动作中判断为是3D节目的情况下，将该处理动作停止直到进行作为下个开始的触发的用户动作，但并不限定于此。
也可以在判断是3D节目以后也继续该处理动作。
在此情况下，影像处理装置的输出处理部4105如果在由节目格式判断部4102判断为是3D节目以后、将2D影像连续接收规定数，则判断是2D节目，进行输出周期的切换。另外，在2D节目的判断中使用的规定数既可以是与在上述第5实施方式中用于是否是3D节目的判断的规定数相同的值，也可以是不同的值，或者也可以是1。在规定数是1的情况下，影像处理装置的输出处理部4105如果在由节目格式判断部4102判断是3D节目以后接收到2D影像，则立即进行输出周期的切换。
(13)在上述实施方式中，使用等离子电视机，对2D影像与3D影像的输出周期的切换进行了说明，但并不限定于此。
并不限于等离子电视机，也可以在具有通过在2D影像的显示时和3D影像的显示时使用不同的面板驱动方式因而花费切换的时间(在1影像帧期间内没有完成)的显示设备的装置中采用上述的切换的技术。
(14)在上述实施方式中，数字电视机分别进行广播波的接收、从IP网络的节目的接收、从记录媒体的节目的取得及从再现装置的节目的取得，但并不限定于此。
数字电视机只要具备这些功能中的至少1个功能就可以。
(15)在上述实施方式中，在帧缓冲器中，设第1缓冲器与第2缓冲器(L影像缓冲器、R影像缓冲器)在物理上不同，但并不限定于此。
也可以是第1缓冲器、L影像缓冲器、R影像缓冲器在物理上共通、以分时切换而使用的形态。
(16)在上述实施方式中，设2D影像的输出周期为1/60秒，但并不限定于此。
2D影像也可以是其他输出周期(例如1/50秒)。在此情况下，3D的输出周期为2D影像的输出周期的一半(例如1/100秒)。
(17)在上述实施方式中，也可以对PSI除了3D节目标志以外、在该3D节目标志表示3D节目的情况下还添加表示3D影像的帧是以并列方式及TopandBottom方式的哪种方式构成的信息(以下称作方式信息)。
在此情况下，节目格式判断部将方式信息向影像处理部输出，影像处理部基于接受到的方式信息，确定3D节目是以哪种方式构成的。
由此，与由帧格式判断部按照每帧判断方式的情况相比，能够通过1次判断确定3D节目是以哪种方式构成的，所以能够实现处理的高效率化。例如，在判断为3D节目以并列方式构成的情况下，不需要装载将上下方式的帧分割为L影像和R影像的程序。
(18)在上述各实施方式中，也可以设置生成图形、进行影像的叠加的图形生成部。
将在第1实施方式所示的数字电视机100中设有图形生成部110A的情况下的一例表示在图25中。
图形生成部110A从帧格式判断部103接受帧格式的判断结果(帧的影像是2D影像还是3D影像、以及在是3D影像的情况下构成方式)。
图形生成部110A将所生成的图形基于从帧格式判断部103接受到的判断结果叠加到对象的帧上。
具体而言，图形生成部110A在判断结果是2D影像的情况下，在帧中决定叠加的位置，在所决定的位置上叠加图形。并且，将叠加了图形的帧写入到帧缓冲器104中。图形生成部110A在判断结果是3D影像的情况下，在一帧中的保存有L影像的区域中决定叠加图形的位置(x)。并且，图形生成部110A在保存有R影像的区域中，基于前面决定的位置(x)决定叠加图形的位置。在R影像中叠加图形的位置(y)通过y＝x+(一帧的横向宽度的像素数/2)来计算。例如，在一帧的横向宽度的像素数是1920的情况下，位置(y)通过y＝x+960计算。
另外，在上述中，在3D影像中叠加图形的位置在L影像和R影像为相同的位置，但并不限定于此。例如，也可以在R影像中将叠加图形的位置比L影像的位置向右或左偏移至少1像素的量。
此外，在上述中，在保存到帧缓冲器104中之前叠加图形，但并不限定于此。也可以在保存到输出处理部105内的帧缓冲器162之前叠加图形。 此时，既可以在保存在L影像缓冲器173中的影像、以及保存在R影像缓冲器174中的影像中决定位置以使得图形被叠加在相同的位置，也可以对于保存在R影像缓冲器174中的影像将叠加图形的位置比对保存在L影像缓冲器17中的影像叠加图形的位置向右或左偏移至少1像素的量。
(19)在上述第2实施方式中，设为将3D的影像信息附加到HDMI的信息中，但具体而言，既可以在构成HDMI的信息的表中的制造装置的厂商共通使用的表中保存3D的影像信息，也可以在按照厂商许可使用的独立的表中保存3D的影像信息。此外，在使用单独的表的情况下，在将该单独表向数字电视机1100经由HDMI的电缆输出时，既可以使用与输出共通的表的信号线相同的信号线，也可以使用不同的信号线。
(20)也可以将记述有在上述的实施方式中说明的方法的步骤的程序存储到存储器中，通过CPU(Central Processing Unit)等从存储器读出程序并执行所读出的程序来实现上述方法。
此外，也可以将记述有该方法的步骤的程序保存到记录媒体中并发布。
(21)有关上述各实施方式的各结构也可以作为集成电路即LSI(Large Scale Integration)实现。这些结构既可以1芯片化，也可以包括一部分或全部而1芯片化。这里，表现为LSI，但根据电路的集成度的差异，也有称作IC(Integrated Circuit)、系统LSI、超级LSI、超大规模LSI的情况。此外，集成电路化的方法并不限定于LSI，也可以通过专用电路或通用处理器进行集成电路化。此外，也可以使用在LSI制造后能够编程的FPGA(Field Programmable Gate Array)、或能够再构成LSI内部的电路单元的连接及设定的可重构处理器(ReConfigurable Processor)。或者，这些功能块的运算也可以使用例如DSP(Digital Signal Processor)或CPU(Central Processing Unit)等运算。进而，也可以通过将这些处理步骤作为程序记录到记录媒体中执行来处理。
进而，如果因半导体技术的进步或派生的别的技术出现了替代LS的集成电路的技术，则当然也可以使用该技术进行功能块的集成化。有可能是生物技术的应用等。
(22)也可以将上述实施方式及变形例组合。
工业实用性 
在上述中说明的影像处理装置在显示3D影像及2D影像的两者的情况下具有实用性。
标号说明
100数字电视机 
101信号输入部 
102节目格式判断部
103帧格式判断部 
104帧缓冲器
105输出处理部 
151调谐器
152NIC
153多路分离部 
154影像解码部 
161影像处理部 
162帧缓冲器
163显示部
171第1缓冲器
172第2缓冲器
173L影像缓冲器 
174R影像缓冲器 
181开关
182显示器
183切换控制部 

Claims (11)

1.一种影像处理装置，其特征在于，具备：
接收单元，接收3D影像的影像帧及2D影像的影像帧混合存在的影像流；
判断单元，判断包含在接收到的影像流中的节目是3D节目还是2D节目；
影像处理部，在由上述判断单元判断为节目是3D节目的情况下，对影像流中包含的3D影像的影像帧进行分割，通过对分割得到的各个部分图像进行放大来获得右眼图像和左眼图像，以及
输出单元，将从3D影像的影像帧生成的右眼图像和左眼图像用3D影像的输出方法输出，在由上述判断单元判断为节目是2D节目的情况下，将包含在该2D节目中的2D影像的影像帧用2D影像的输出方法输出，
在上述判断单元判断为节目是3D节目的情况下，针对影像流中包含的2D影像的影像帧，不进行影像帧的分割以及分割得到的各个部分图像的放大，而是通过3D影像的输出方法将该2D影像的影像帧输出。
2.如权利要求1所述的影像处理装置，其特征在于，
上述接收单元接收附加信息，该附加信息与上述影像流建立了关联，并且表示包含该影像流的节目是2D节目还是3D节目；
上述判断单元使用上述附加信息判断上述节目表示3D节目还是表示2D节目。
3.如权利要求1所述的影像处理装置，其特征在于，
在从开始接收到3D影像的影像帧起连续接收到规定个数的3D影像的影像帧的情况下，上述判断单元判断为上述节目是3D节目，在没有连续接收到规定个数的3D影像的影像帧的情况下，上述判断单元判断为上述节目是2D节目。
4.如权利要求3所述的影像处理装置，其特征在于，
进而，在上述输出单元用上述3D影像的输出方法输出影像帧的过程中进行了频道切换之后，如果从开始接收到2D影像的影像帧起连续接收到规定个数的2D影像的影像帧，则上述判断单元判断为从3D影像的输出方法切换至2D影像的输出方法；
进而，在由上述判断单元判断为从3D影像的输出方法切换至2D影像的输出方法的情况下，上述输出单元将影像的输出方法从3D影像的输出方法切换至2D影像的输出方法。
5.如权利要求1所述的影像处理装置，其特征在于，
在影像帧中，包含有用来识别该影像帧是2D影像还是3D影像的识别符；
上述影像处理装置还具备帧判别单元，该帧判别单元使用包含在接收到的影像帧中的识别符，判别该影像帧是2D影像还是3D影像；
在由上述判断单元判断为节目是3D节目的情况下，如果由上述帧判别单元判别为接收到的影像帧是2D影像，则上述输出单元用3D影像的输出方法输出该影像帧。
6.如权利要求1所述的影像处理装置，其特征在于，
上述影像处理装置还具备存储单元，该存储单元存储有电子节目表，该电子节目表对3D节目附加了表示是3D节目的识别信息；
上述判断单元对广播接收到的影像流的频道进行确定，根据所确定的频道、当前时刻和上述电子节目表，判断包含接收到的影像流的节目是3D影像的节目还是2D节目。
7.如权利要求6所述的影像处理装置，其特征在于，
在上述电子节目表中，还针对广播3D节目的广播台，以频道为单位附加了表示该广播台是广播3D节目的广播台的信息；
上述判断单元在确定包含接收到的影像流的节目是否是3D影像的节目之前，针对所确定的频道判断是否附加了表示广播3D节目的广播台的信息；
进而，在由上述判断单元判断为是广播3D节目的广播台的情况下，上述输出单元用3D影像的输出方法输出2D影像的影像帧。
8.如权利要求6所述的影像处理装置，其特征在于，
进而，在上述输出单元用上述3D影像的输出方法输出影像帧的过程中，在使用上述电子节目表检测到节目的结束后，其中该节目确定为3D影像的节目，上述判断单元使用该电子节目表确定后续于该节目的后续节目是2D影像的节目还是3D节目；
在由上述判断单元判断为上述后续节目是3D影像的节目的情况下，即使接收到2D影像的影像帧，上述输出单元也继续用3D影像的输出方法进行该2D影像的影像帧的输出，在判断为上述后续节目是2D影像的节目的情况下，如果接收到2D影像的影像帧，则上述输出单元用上述2D影像的输出方法输出该2D影像的影像帧。
9.如权利要求1所述的影像处理装置，其特征在于，
上述3D影像的输出方法的输出周期是上述2D影像的输出方法的输出周期的一半；
上述输出单元在以上述3D影像的输出方法的输出周期输出2D影像的影像帧时，将该2D影像的影像帧输出两次。
10.如权利要求1所述的影像处理装置，其特征在于，
上述3D影像的输出方法的输出周期是上述2D影像的输出方法的输出周期的一半；
上述影像处理装置还具备影像处理单元，如果在接收到3D影像帧以后连续接收到2D影像帧，则该影像处理单元根据一个2D影像帧和紧接在该一个2D影像帧之后接收到的下一2D影像帧，生成作为该一个2D影像帧与下一2D影像帧的中间影像的补充影像；
上述输出单元以上述3D影像的输出方法的输出周期输出上述一个2D影像的影像帧，在下个输出周期输出生成的上述补充影像。
11.一种影像处理方法，其特征在于，包括：
接收步骤，接收3D影像的影像帧及2D影像的影像帧混合存在的影像流；
判断步骤，判断包含在接收到的影像流中的节目是3D节目还是2D节目；
影像处理步骤，在由上述判断步骤判断为节目是3D节目的情况下，对影像流中包含的3D影像的影像帧进行分割，通过对分割得到的各个部分图像进行放大来获得右眼图像和左眼图像，以及
输出步骤，将从3D影像的影像帧生成的右眼图像和左眼图像用3D影像的输出方法输出，在由上述判断步骤判断为节目是2D节目的情况下，将包含在该2D节目中的2D影像的影像帧用2D影像的输出方法输出，
在上述判断步骤判断为节目是3D节目的情况下，针对影像流中包含的2D影像的影像帧，不进行影像帧的分割以及分割得到的各个部分图像的放大，而是通过3D影像的输出方法将该2D影像的影像帧输出。
CN201180002207.7A 2010-03-29 2011-03-16 影像处理装置及影像处理方法 Expired - Fee Related CN102450028B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2010-074926 2010-03-29
JP2010074926 2010-03-29
PCT/JP2011/001544 WO2011121916A1 (ja) 2010-03-29 2011-03-16 映像処理装置

Publications (2)

Publication Number Publication Date
CN102450028A CN102450028A (zh) 2012-05-09
CN102450028B true CN102450028B (zh) 2015-04-29

Family

ID=44711686

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201180002207.7A Expired - Fee Related CN102450028B (zh) 2010-03-29 2011-03-16 影像处理装置及影像处理方法

Country Status (8)

Country Link
US (1) US20120050476A1 (zh)
EP (1) EP2555530A1 (zh)
JP (1) JP5870272B2 (zh)
CN (1) CN102450028B (zh)
MX (1) MX2011012447A (zh)
RU (1) RU2011148354A (zh)
TW (1) TW201206163A (zh)
WO (1) WO2011121916A1 (zh)

Families Citing this family (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2012075155A2 (en) 2010-12-02 2012-06-07 Ultradent Products, Inc. System and method of viewing and tracking stereoscopic video images
JP5328852B2 (ja) * 2011-07-25 2013-10-30 株式会社ソニー・コンピュータエンタテインメント 画像処理装置、画像処理方法、プログラム及び情報記憶媒体
TWI514844B (zh) * 2011-10-31 2015-12-21 Innolux Corp 具有視訊格式轉換的時序控制裝置、時序控制裝置的方法以及其顯示系統
JP5887983B2 (ja) * 2012-02-16 2016-03-16 セイコーエプソン株式会社 画像表示装置および画像表示装置の制御方法
JP6069854B2 (ja) * 2012-03-02 2017-02-01 セイコーエプソン株式会社 映像表示装置および映像表示方法
CN103313074A (zh) * 2012-03-16 2013-09-18 深圳市亿思达显示科技有限公司 转换盒及应用该转换盒的立体显示系统
WO2013180773A1 (en) 2012-06-01 2013-12-05 Ultradent Products, Inc. Stereoscopic video imaging
CN102984483B (zh) * 2012-12-18 2016-08-03 上海晨思电子科技有限公司 一种三维用户界面显示系统及方法
JP6120557B2 (ja) * 2012-12-21 2017-04-26 キヤノン株式会社 表示装置、画像処理装置、及びその制御方法
JP2015088796A (ja) * 2013-10-28 2015-05-07 株式会社ソニー・コンピュータエンタテインメント 映像出力装置、映像出力プログラム、映像出力方法
WO2015081029A1 (en) * 2013-11-27 2015-06-04 Ultradent Products, Inc. Video interaction between physical locations
CN104735531B (zh) * 2015-02-04 2017-06-23 四川长虹电器股份有限公司 基于图像画质分析的3d信号自动识别方法
CN104796641B (zh) * 2015-04-09 2018-11-30 康佳集团股份有限公司 眼镜式和自由式二合一立体电视机
CN106791795A (zh) * 2017-01-03 2017-05-31 京东方科技集团股份有限公司 3d视频流的发送方法及发送装置、接收方法及接收装置

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1269941A (zh) * 1997-08-29 2000-10-11 松下电器产业株式会社 高分辨率视频图像及一般视频图像记录用光盘、光盘再生装置、光盘记录装置及再生控制信息生成装置
JP2003260028A (ja) * 2002-03-11 2003-09-16 Fuji Photo Optical Co Ltd 立体電子内視鏡装置
CN1799267A (zh) * 2003-05-30 2006-07-05 夏普株式会社 图像接收装置以及图像再生装置
CN1882106A (zh) * 2005-06-14 2006-12-20 三星电子株式会社 转换图像显示模式的设备和方法
CN1893653A (zh) * 2005-07-02 2007-01-10 三星电子株式会社 对视频数据编码/解码以实现本地三维视频的方法和设备
CN1954606A (zh) * 2004-05-21 2007-04-25 韩国电子通信研究院 通过使用三维立体视频附加数据来发送/接收三维立体数字广播信号的装置和方法
CN101094370A (zh) * 2006-04-20 2007-12-26 Lg电子株式会社 用来发送和接收广播信号的装置和方法及其数据结构
WO2009113761A1 (en) * 2008-03-12 2009-09-17 Samsung Electronics Co., Ltd. Image processing method and apparatus, image reproducing method and apparatus, and recording medium
CN101682719A (zh) * 2008-01-17 2010-03-24 松下电器产业株式会社 记录有3d影像的记录介质、记录3d影像的记录装置以及再现3d影像的再现装置和再现方法

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE69717139T2 (de) * 1996-12-04 2003-10-02 Matsushita Electric Ind Co Ltd Vorrichtung zur aufnahme und wiedergabe von hochauflösenden und dreidimensionalen bildern mit optischer speicherplatte
JP3789794B2 (ja) 2001-09-26 2006-06-28 三洋電機株式会社 立体画像処理方法、装置、およびシステム
JP4190357B2 (ja) * 2003-06-12 2008-12-03 シャープ株式会社 放送データ送信装置、放送データ送信方法および放送データ受信装置
KR20090004722A (ko) * 2007-07-06 2009-01-12 엘지전자 주식회사 방송 수신기 및 데이터 처리 방법
EP2306749B1 (en) * 2008-07-24 2017-04-12 Panasonic Intellectual Property Management Co., Ltd. Playback device capable of stereoscopic playback, playback method, and program
JP4974984B2 (ja) * 2008-09-11 2012-07-11 三菱電機株式会社 映像記録装置及び方法
CN102232295A (zh) * 2008-09-30 2011-11-02 松下电器产业株式会社 再现装置、记录介质及集成电路
US8339441B2 (en) * 2008-12-26 2012-12-25 Kabushiki Kaisha Toshiba Frame processing device, television receiving apparatus and frame processing method
US20110012993A1 (en) * 2009-07-14 2011-01-20 Panasonic Corporation Image reproducing apparatus
EP2489198A4 (en) * 2009-10-16 2013-09-25 Lg Electronics Inc METHOD FOR DISPLAYING 3D CONTENTS AND DEVICE FOR PROCESSING A SIGNAL

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1269941A (zh) * 1997-08-29 2000-10-11 松下电器产业株式会社 高分辨率视频图像及一般视频图像记录用光盘、光盘再生装置、光盘记录装置及再生控制信息生成装置
JP2003260028A (ja) * 2002-03-11 2003-09-16 Fuji Photo Optical Co Ltd 立体電子内視鏡装置
CN1799267A (zh) * 2003-05-30 2006-07-05 夏普株式会社 图像接收装置以及图像再生装置
CN1954606A (zh) * 2004-05-21 2007-04-25 韩国电子通信研究院 通过使用三维立体视频附加数据来发送/接收三维立体数字广播信号的装置和方法
CN1882106A (zh) * 2005-06-14 2006-12-20 三星电子株式会社 转换图像显示模式的设备和方法
CN1893653A (zh) * 2005-07-02 2007-01-10 三星电子株式会社 对视频数据编码/解码以实现本地三维视频的方法和设备
CN101094370A (zh) * 2006-04-20 2007-12-26 Lg电子株式会社 用来发送和接收广播信号的装置和方法及其数据结构
CN101682719A (zh) * 2008-01-17 2010-03-24 松下电器产业株式会社 记录有3d影像的记录介质、记录3d影像的记录装置以及再现3d影像的再现装置和再现方法
WO2009113761A1 (en) * 2008-03-12 2009-09-17 Samsung Electronics Co., Ltd. Image processing method and apparatus, image reproducing method and apparatus, and recording medium

Also Published As

Publication number Publication date
TW201206163A (en) 2012-02-01
CN102450028A (zh) 2012-05-09
EP2555530A1 (en) 2013-02-06
JP5870272B2 (ja) 2016-02-24
RU2011148354A (ru) 2014-05-10
MX2011012447A (es) 2011-12-16
WO2011121916A1 (ja) 2011-10-06
JPWO2011121916A1 (ja) 2013-07-04
US20120050476A1 (en) 2012-03-01

Similar Documents

Publication Publication Date Title
CN102450028B (zh) 影像处理装置及影像处理方法
CN102763421B (zh) 处理视频内容的装置和方法
US9218644B2 (en) Method and system for enhanced 2D video display based on 3D video input
WO2012017643A1 (ja) 符号化方法、表示装置、及び復号方法
JP6037567B2 (ja) ２次元にも対応する立体映像フローのデコード方法
US20110149022A1 (en) Method and system for generating 3d output video with 3d local graphics from 3d input video
JP2013526145A (ja) 立体視に対応したビデオストリームを生成、再構築する方法、および関連する符号化および復号化デバイス
US9357200B2 (en) Video processing device and video processing method
JP5981915B2 (ja) 送信装置、受信再生装置、送信方法及び受信再生方法
US9008494B2 (en) Reproduction unit, reproduction method, and program
WO2012029293A1 (ja) 映像処理装置、映像処理方法、コンピュータプログラム及び配信方法
US8780186B2 (en) Stereoscopic image reproduction method in quick search mode and stereoscopic image reproduction apparatus using same
Coll et al. 3D TV at home: Status, challenges and solutions for delivering a high quality experience
WO2012112142A1 (en) Apparatus and method for generating a disparity map in a receiving device
US20110150355A1 (en) Method and system for dynamic contrast processing for 3d video
CN102948154B (zh) 内容分发系统、再现装置、分发服务器、再现方法及分发方法
US20110149021A1 (en) Method and system for sharpness processing for 3d video
KR101659623B1 (ko) 입체영상 재생 장치 및 데이터 처리 방법
Teniou 3DTV Technology and Standardization

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
ASS Succession or assignment of patent right

Owner name: PANASONIC INTELLECTUAL PROPERTY MANAGEMENT CO., LT

Free format text: FORMER OWNER: MATSUSHITA ELECTRIC INDUSTRIAL CO, LTD.

Effective date: 20150831

C41 Transfer of patent application or patent right or utility model
TR01 Transfer of patent right

Effective date of registration: 20150831

Address after: Osaka Japan

Patentee after: PANASONIC INTELLECTUAL PROPERTY MANAGEMENT Co.,Ltd.

Address before: Osaka Japan

Patentee before: Matsushita Electric Industrial Co.,Ltd.

CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20150429

Termination date: 20200316

CF01 Termination of patent right due to non-payment of annual fee