CN102812713A - 图像数据发送设备、图像数据发送方法、图像数据接收设备和图像数据接收方法 - Google Patents

图像数据发送设备、图像数据发送方法、图像数据接收设备和图像数据接收方法 Download PDF

Info

Publication number
CN102812713A
CN102812713A CN2011800151612A CN201180015161A CN102812713A CN 102812713 A CN102812713 A CN 102812713A CN 2011800151612 A CN2011800151612 A CN 2011800151612A CN 201180015161 A CN201180015161 A CN 201180015161A CN 102812713 A CN102812713 A CN 102812713A
Authority
CN
China
Prior art keywords
image data
data
cutting
information
cutting information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN2011800151612A
Other languages
English (en)
Inventor
塚越郁夫
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Publication of CN102812713A publication Critical patent/CN102812713A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/161—Encoding, multiplexing or demultiplexing different image signal components
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/30—Devices for illuminating a surgical field, the devices having an interrelation with other surgical devices or with a surgical procedure
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/50—Supports for surgical instruments, e.g. articulated arms
    • A61B90/53—Supports for surgical instruments, e.g. articulated arms connected to the surgeon's body, e.g. by a belt
    • F—MECHANICAL ENGINEERING; LIGHTING; HEATING; WEAPONS; BLASTING
    • F21—LIGHTING
    • F21L—LIGHTING DEVICES OR SYSTEMS THEREOF, BEING PORTABLE OR SPECIALLY ADAPTED FOR TRANSPORTATION
    • F21L4/00—Electric lighting devices with self-contained electric batteries or cells
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B25/00—Eyepieces; Magnifying glasses
    • G02B25/002—Magnifying glasses
    • G02B25/004—Magnifying glasses having binocular arrangement
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B25/00—Eyepieces; Magnifying glasses
    • G02B25/02—Eyepieces; Magnifying glasses with means for illuminating object viewed
    • G—PHYSICS
    • G02—OPTICS
    • G02C—SPECTACLES; SUNGLASSES OR GOGGLES INSOFAR AS THEY HAVE THE SAME FEATURES AS SPECTACLES; CONTACT LENSES
    • G02C11/00—Non-optical adjuncts; Attachment thereof
    • G02C11/04—Illuminating means
    • G—PHYSICS
    • G02—OPTICS
    • G02C—SPECTACLES; SUNGLASSES OR GOGGLES INSOFAR AS THEY HAVE THE SAME FEATURES AS SPECTACLES; CONTACT LENSES
    • G02C7/00—Optical parts
    • G02C7/02—Lenses; Lens systems ; Methods of designing lenses
    • G02C7/08—Auxiliary lenses; Arrangements for varying focal length
    • G02C7/088—Lens systems mounted to spectacles
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/139—Format conversion, e.g. of frame-rate or size
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/172—Processing image signals image signals comprising non-image signal components, e.g. headers or format information
    • H04N13/178—Metadata, e.g. disparity information
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B17/00—Surgical instruments, devices or methods, e.g. tourniquets
    • A61B2017/00681—Aspects not otherwise provided for
    • A61B2017/00734—Aspects not otherwise provided for battery operated
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/30—Devices for illuminating a surgical field, the devices having an interrelation with other surgical devices or with a surgical procedure
    • A61B2090/309—Devices for illuminating a surgical field, the devices having an interrelation with other surgical devices or with a surgical procedure using white LEDs
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/50—Supports for surgical instruments, e.g. articulated arms
    • A61B2090/502—Headgear, e.g. helmet, spectacles
    • F—MECHANICAL ENGINEERING; LIGHTING; HEATING; WEAPONS; BLASTING
    • F21—LIGHTING
    • F21S—NON-PORTABLE LIGHTING DEVICES; SYSTEMS THEREOF; VEHICLE LIGHTING DEVICES SPECIALLY ADAPTED FOR VEHICLE EXTERIORS
    • F21S9/00—Lighting devices with a built-in power supply; Systems employing lighting devices with a built-in power supply
    • F21S9/02—Lighting devices with a built-in power supply; Systems employing lighting devices with a built-in power supply the power supply being a battery or accumulator
    • F21S9/022—Emergency lighting devices
    • F—MECHANICAL ENGINEERING; LIGHTING; HEATING; WEAPONS; BLASTING
    • F21—LIGHTING
    • F21W—INDEXING SCHEME ASSOCIATED WITH SUBCLASSES F21K, F21L, F21S and F21V, RELATING TO USES OR APPLICATIONS OF LIGHTING DEVICES OR SYSTEMS
    • F21W2131/00—Use or application of lighting devices or systems not provided for in codes F21W2102/00-F21W2121/00
    • F21W2131/20—Lighting for medical use

Landscapes

  • Health & Medical Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Optics & Photonics (AREA)
  • General Physics & Mathematics (AREA)
  • Surgery (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • General Health & Medical Sciences (AREA)
  • Ophthalmology & Optometry (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • Animal Behavior & Ethology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • Medical Informatics (AREA)
  • Pathology (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Library & Information Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Television Systems (AREA)

Abstract

本发明是为通过在接收侧（3DTV）使用裁剪信息适当地执行裁剪处理来正确地产生左眼和右眼显示图像数据。通过2D显示的裁剪信息以及包括3D显示的裁剪信息的“Stereo Video Cropping SEI”插入视频数据流的报头部分中。接收侧3DTV基于该裁剪信息执行图像数据的裁剪处理。指示是否存在3D显示的裁剪信息的标记信息“stereo_video_cropping_SEI_Not_present_flag”插入数据流的高层。接收侧3DTV可以理解3D显示的裁剪信息的存在或者不存在而不分析视频数据流的报头部分。

Description

图像数据发送设备、图像数据发送方法、图像数据接收设备和图像数据接收方法
技术领域
本发明涉及图像数据发送设备、图像数据发送方法、图像数据接收设备和图像数据接收方法。具体来说，本发明涉及在图像发送/接收系统中使用的图像数据发送设备等，其中，从发送侧与三维图像数据一起发送裁剪信息，且通过在接收侧使用该裁剪信息来执行图像数据裁剪处理。
背景技术
例如，在PTL 1中，已经提出了用于通过使用电视广播波发送三维图像数据的发送方法。在这种情况下，发送包括左眼图像数据和右眼图像数据的三维图像数据，且电视接收机利用双目视差来执行三维图像显示。
图38图示在利用双目视差的三维图像显示中，屏幕上对象的左图像和右图像的显示位置与左图像和右图像的三维图像（3D图像）的重放位置之间的关系。例如，关于对于其左图像La显示在屏幕上的右侧且对于其右图像Ra显示在屏幕上的左侧的对象A，如图所示，左眼的视线和右眼的视线在屏幕表面前面彼此交叉，且由此，三维图像的重放位置在屏幕表面前面。DPa是关于对象A的水平方向视差矢量。
关于对于其左图像Lb和右图像Rb显示在屏幕上相同位置的对象B，如图所示，左眼的视线和右眼的视线在屏幕表面上彼此交叉，且由此，三维图像的重放位置在屏幕表面上。关于对于其左图像Lc显示在左侧上且对于其右图像Rc显示在右侧上的对象C，如图所示，左眼的视线和右眼的视线在屏幕表面后面彼此交叉，且由此，三维图像的重放位置在屏幕表面后面。DPc是对象C的水平方向视差矢量。
在现有技术中，三维图像数据的传输格式包括并排模式、上下模式等。图39的部分(a)图示了并排模式，而图39的部分(b)图示了上下模式。这里，图39的部分(a)和部分(b)图解了使用1920×1080-像素格式时的模式。
在并排模式中，如图39的部分(a)所示，在水平方向的前一半中，发送左眼图像数据的像素数据，且在水平方向的后一半中，发送右眼图像数据的像素数据。在该模式中，在水平方向上的左眼图像数据的像素数据和右眼图像数据的像素数据每个缩小1/2，且左眼图像数据的水平分辨率和右眼图像数据的水平分辨率每个关于原始信号减半。
在上下模式中，如图39的部分（b）所示，在垂直方向的前一半中，发送左眼图像数据的行数据，且在垂直方向的后一半中，发送右眼图像数据的行数据。在该模式中，左眼图像数据的各行和右眼图像数据的各行每个缩小1/2，且左眼图像数据的垂直分辨率和右眼图像数据的垂直分辨率每个关于原始信号减半。
以下将简要地描述由接收侧执行的显示图像数据产生处理。图40的部分(a)示意性地示出了具有1920×1080-像素格式的二维图像数据的处理。在这种情况下，在发送侧，为了以16×16块为单位执行编码，将由空白数据形成的八行添加到1920×1080-像素格式，产生了1920-像素×1088-行图像数据，然后进行编码。
因此，在接收侧，获得1920-像素×1088-行图像数据。但是，因为八行由空白数据形成，所以基于视频数据流中包含的裁剪信息裁剪包含实际图像数据的1920-像素×1080-行图像数据，由此产生二维电视接收机（在下文中按照需要可以称为“2DTV”）的显示图像数据。
图40的部分(b)示意性地示出了具有1920×1080-像素格式的并排模式三维图像数据的处理。在这种情况下，在发送侧，为了以16×16块为单位执行编码，也将由空白数据形成的八行添加到1920×1080-像素格式，产生了1920-像素×1088-行图像数据，然后进行编码。
因此，在接收侧，在解码之后，获得1920-像素×1088-行图像数据。但是，因为八行由空白数据形成，所以基于包含在视频数据流中的裁剪信息裁剪包含实际图像数据的1920-像素×1080-行图像数据。然后，图像数据被分为左和右帧，然后左和右帧每个经历缩放处理，由此产生用于三维电视接收机（在下文中按照需要可以称为“3DTV”）的左眼显示图像数据和右眼显示图像数据。
图40的部分(c)示意性地示出了具有1920×1080-像素格式的上下模式三维图像数据的处理。在这种情况下，在发送侧，为了以16×16块为单位执行编码，也将由空白数据形成的八行添加到1920×1080-像素格式，产生了1920-像素×1088-行图像数据，然后进行编码。
因此，在接收侧，在解码之后，获得1920-像素×1088-行图像数据。但是，因为八行由空白数据形成，所以基于包含在视频数据流中的裁剪信息裁剪包含实际图像数据的1920-像素×1080-行图像数据。然后，图像数据被分为上和下帧，然后上和下帧每个经历缩放处理，由此产生用于3DTV的左眼显示图像数据和右眼显示图像数据。
引文列表
专利文献
PTL1：日本未审查专利申请公开No.2005-6114
发明内容
技术问题
在2DTV中，当通过从采用上述并排或者上下模式的三维图像数据裁剪1920-像素×1080-行图像数据而产生2DTV显示数据时，并排或者上下排列类似的图像，由此使得图像显示看起来不自然。
由此，为了避免在2DTV中图像显示看起来不自然，可以使用用于仅裁剪左眼图像数据和右眼图像数据之一（例如，仅左眼图像数据）的、包含在视频数据流中的裁剪信息。由2DTV和3DTV使用该技术执行的处理如下。
图41的部分(a)示意性地示出了由2DTV关于具有1920×1080-像素格式的并排模式三维图像数据执行的处理。在2DTV中，在解码之后，获得1920-像素×1088-行图像数据。但是，八行由空白数据形成。在这种情况下，在包含实际图像数据的1920-像素×1080-行图像数据当中，基于裁剪信息裁剪960-像素×1080-行左眼图像数据。然后，左眼图像数据经历缩放处理，由此产生2DTV显示图像数据。在这种情况下，图像显示看起来自然。
另一方面，图41的部分(b)示意性地示出了由3DTV关于具有1920×1080-像素格式的并排模式三维图像数据执行的处理。在3DTV中，在解码之后，也获得1920-像素×1088-行图像数据。但是，八行由空白数据形成。在这种情况下，在包含实际图像数据的1920-像素×1080-行图像数据当中，基于裁剪信息裁剪960-像素×1080-行左眼图像数据。
然后，左眼图像数据经历缩放处理，由此产生1920-像素×1088-行图像数据。该图像数据与上述2DTV显示图像数据相同。在3DTV中，因为采用并排模式，所以图像数据进一步分为左和右帧，然后左和右帧每个经历缩放处理，由此产生3DTV左眼显示图像数据和右眼显示图像数据。在这种情况下，左眼图像和右眼图像仅是在左和右方向上从一个图像划分的一个部分和另一个部分。由此，不能正确地执行三维显示（3D显示）。
图42的部分(a)示意性地示出了由2DTV关于具有1920×1080-像素格式的上下模式3D图像数据执行的处理。在2DTV中，在解码之后，获得1920-像素×1088-行图像数据。但是，八行由空白数据形成。在这种情况下，在包含实际图像数据的1920-像素×1080-行图像数据当中，基于裁剪信息裁剪1920-像素×540-行左眼图像数据。然后，左眼图像数据经历缩放处理，由此产生2DTV显示图像数据。在这种情况下，可以执行正确的二维显示（2D显示）。
另一方面，图42的部分(b)示意性地示出了由3DTV关于具有1920×1080-像素格式的上下模式三维图像数据执行的处理。在3DTV中，在解码之后，也获得1920-像素×1088-行图像数据。但是，八行由空白数据形成。在这种情况下，在包含实际图像数据的1920-像素×1080-行图像数据当中，基于裁剪信息裁剪1920-像素×540-行左眼图像数据。
然后，左眼图像数据经历缩放处理，由此产生1920-像素×1088-行图像数据。该图像数据与上述2DTV显示图像数据相同。在3DTV中，因为采用上下模式，所以图像数据进一步分为上和下帧，然后上和下帧每个经历缩放处理，由此产生3DTV左眼显示图像数据和右眼显示图像数据。在这种情况下，左眼图像和右眼图像仅是在上下方向上从一个图像划分的一个部分和另一个部分。由此，不能正确地执行三维显示（3D显示）。
本发明的目的是通过在接收侧使用裁剪信息适当地执行裁剪处理来正确地产生显示图像数据。
技术方案
本发明的方面是图像数据发送设备，包括：图像数据输出单元，输出包括左眼图像数据和右眼图像数据的三维图像数据；和发送器，发送包括数据流的多路复用数据流，该数据流包括从图像数据输出单元输出的三维图像数据，插入数据流的报头中的用于二维显示的第一裁剪信息和用于三维显示的第二裁剪信息。
根据本发明，例如，图像数据输出单元输出包括左眼图像数据和右眼图像数据的并排或者上下三维图像数据。然后，发送器发送包括具有该三维图像数据的数据流（视频基本流）的多路复用数据流。在这种情况下，用于三维显示的第二裁剪信息以及用于二维显示的第一裁剪信息插入数据流的报头中。
以该方式，根据本发明，用于三维显示的第二裁剪信息以及用于二维显示的第一裁剪信息插入数据流的报头中，且在接收侧的3DTV能够基于该裁剪信息执行图像数据裁剪处理。由此，在接收侧的3DTV能够正确地产生左眼和右眼显示图像数据，由此使能正确的三维显示。
例如，根据本发明，指示由第二裁剪信息表示的裁剪状态持续直到何时的信息可以添加到第二裁剪信息。在这种情况下，在接收侧的3DTV能够容易地标识由第二裁剪信息表示的裁剪状态持续直到何时。例如，该信息指示裁剪状态持续直到下一裁剪信息出现，或者裁剪状态仅在当前画面期间持续。
另外，根据本发明，发送器可以将指示第二裁剪信息是否包含在数据流的报头中的标记信息插入数据流的较高层中。在这种情况下，标记信息可以插入在节目映射表下。例如，标记信息可以作为节目映射表的节目描述符插入。替代地，标记信息可以插入在节目映射表的视频初级环下。在这种情况下，在接收侧的3DTV能够标识第二裁剪信息的存在或者不存在而不分析视频数据流的报头。
另外，本发明的另一方面是图像数据接收设备，包括：接收器，接收包括数据流的多路复用数据流，该数据流包括具有左眼图像数据和右眼图像数据的三维图像数据，插入数据流的报头中的用于二维显示的第一裁剪信息和用于三维显示的第二裁剪信息；和图像数据处理器，基于从由接收器接收的多路复用数据流获得的三维图像数据产生左眼和右眼显示图像数据。图像数据处理器基于包含在数据流的报头中的第二裁剪信息执行图像数据裁剪处理。
根据本发明，接收器接收包括数据流的多路复用数据流。例如，该数据流包括包含左眼图像数据和右眼图像数据的并排或者上下三维图像数据。另外，用于三维显示的第二裁剪信息以及用于二维显示的第一裁剪信息插入数据流中。
图像数据处理器基于从由接收器接收的多路复用数据流获得的三维图像数据产生左眼显示图像数据和右眼显示图像数据。在这种情况下，图像数据处理器基于包含在数据流中的用于三维显示的第二裁剪信息执行图像数据裁剪处理。
以该方式，根据本发明，基于插入数据流的报头中的用于三维显示的第二裁剪信息执行图像数据裁剪处理。由此，正确地产生左眼和右眼显示图像数据，由此使能正确的三维显示。
另外，本发明的另一方面是图像数据接收设备，包括：接收器，接收包括数据流的多路复用数据流，该数据流包括具有左眼图像数据和右眼图像数据的三维图像数据，插入数据流的报头中的用于二维显示的裁剪信息；和图像数据处理器，基于从由接收器接收的多路复用数据流获得的三维图像数据产生左眼和右眼显示图像数据。图像数据处理器将包含在数据流的报头中的用于二维显示的裁剪信息转换为用于三维显示的裁剪信息，并基于用于三维显示的裁剪信息执行图像数据裁剪处理。
根据本发明，接收器接收包括数据流的多路复用数据流。例如，该数据流包括包含左眼图像数据和右眼图像数据的并排或者上下三维图像数据。另外，用于二维显示的裁剪信息插入该数据流的报头中。图像数据处理器基于从由接收器接收的多路复用数据流获得的三维图像数据产生左眼显示图像数据和右眼显示图像数据。
在这种情况下，图像数据处理器将包含在数据流的报头中的用于二维显示的裁剪信息转换为用于三维显示的裁剪信息，并基于用于三维显示的裁剪信息执行图像数据裁剪处理。由此，正确地产生左眼和右眼显示图像数据，由此使能正确的三维显示。
另外，本发明的另一方面是图像数据接收设备，包括：接收器，接收包括数据流的多路复用数据流，该数据流包括具有左眼图像数据和右眼图像数据的三维图像数据，插入数据流的报头中的用于二维显示的裁剪信息；和图像数据处理器，基于从由接收器接收的多路复用数据流获得的三维图像数据产生左眼和右眼显示图像数据。图像数据处理器基于用于二维显示的裁剪信息执行图像数据裁剪处理从而产生左眼和右眼显示图像数据之一，且图像数据处理器基于在基于用于二维显示的裁剪信息执行图像数据裁剪处理之后留下的图像数据产生左眼和右眼显示图像数据中的另一个。
根据本发明，接收器接收包括数据流的多路复用数据流。例如，该数据流包括包含左眼图像数据和右眼图像数据的并排或者上下三维图像数据。另外，用于二维显示的裁剪信息插入该数据流的报头中。图像数据处理器基于从由接收器接收的多路复用数据流获得的三维图像数据产生左眼显示图像数据和右眼显示图像数据。
在这种情况下，图像数据处理器基于包含在数据流中的用于2D显示的裁剪信息执行图像数据裁剪处理从而产生左眼和右眼显示图像数据之一。图像数据处理器还基于在基于用于二维显示的裁剪信息执行图像数据裁剪处理之后留下的图像数据产生左眼和右眼显示图像数据中的另一个。由此，正确地产生左眼和右眼显示图像数据，由此使能正确的三维显示。
另外，本发明的又一方面是图像数据发送设备，包括：图像数据输出单元，输出包括左眼图像数据和右眼图像数据的三维图像数据；和发送器，发送包括数据流的多路复用数据流，该数据流包括从图像数据输出单元输出的三维图像数据，插入数据流的报头中的裁剪信息。发送器将用于标识裁剪信息是用于二维图像的裁剪信息或者用于三维图像的裁剪信息的标识信息插入数据流的报头或者数据流的较高层中。
根据本发明，例如，图像数据输出单元输出包括左眼图像数据和右眼图像数据的并排或者上下三维图像数据。然后，发送器发送包括具有该三维图像数据的数据流（视频基本流）的多路复用数据流。在这种情况下，裁剪信息插入数据流的报头中。该裁剪信息是用于二维图像或者用于三维图像的裁剪信息。
发送器将用于标识裁剪信息是用于二维图像或者用于三维图像的裁剪信息的标识信息插入数据流的报头或者数据流的较高层中。在这种情况下，用于标识裁剪信息是用于三维图像的裁剪信息的标识信息包括指示裁剪信息是用于左眼图像数据的裁剪信息或者用于右眼图像数据的裁剪信息的信息。例如，标识信息可以插入在节目映射表下。例如，标识信息可以作为节目映射表的节目描述符插入。替代地，标识信息可以插入在节目映射表的视频初级环下。
以该方式，根据本发明，用于标识裁剪信息是用于二维图像的裁剪信息或者用于三维图像的裁剪信息的标识信息插入数据流的报头或者数据流的较高层中。由此，在接收侧的3DTV能够容易地标识包含在数据流的报头中的裁剪信息用于二维图像或者三维图像，由此使能通过使用该裁剪信息的适当的处理。
然后，如果裁剪信息用于二维图像，则在接收侧的3DTV基于裁剪信息执行图像数据裁剪信息从而产生左眼和右眼显示图像数据。另一方面，如果裁剪信息用于三维图像，例如，则在接收侧的3DTV将该裁剪信息转换为用于二维图像的裁剪信息。然后，基于二维裁剪信息执行图像数据裁剪信息从而产生左眼和右眼显示图像数据。由此，正确地产生左眼和右眼显示图像数据，由此使能正确的三维显示。
例如，根据本发明，标识信息可以插入数据流的报头中，且指示由裁剪信息表示的裁剪状态持续直到何时的信息可以添加到标识信息。在这种情况下，在接收侧的3DTV能够容易地标识由裁剪信息表示的裁剪状态持续直到何时。例如，该信息指示裁剪状态持续直到下一裁剪信息出现，或者裁剪状态仅在当前画面期间持续。
另外，本发明的另一方面是图像数据接收设备，包括：接收器，接收包括数据流的多路复用数据流，该数据流包括具有左眼图像数据和右眼图像数据的三维图像数据，插入数据流的报头中的用于三维显示的裁剪信息和用于三维图像数据的传输格式信息；和图像数据处理器，基于从由接收器接收的多路复用数据流获得的三维图像数据产生二维显示图像数据。图像数据处理器基于包含在数据流的报头中的用于三维显示的裁剪信息和用于三维图像数据的传输格式信息来执行图像数据裁剪处理和缩放处理。
根据本发明，接收器接收包括数据流的多路复用数据流。例如，该数据流包括包含左眼图像数据和右眼图像数据的并排或者上下三维图像数据。另外，用于三维显示的裁剪信息和用于三维图像数据的传输格式信息插入该数据流的报头中。图像数据处理器基于从由接收器接收的多路复用数据流获得的三维图像数据产生二维显示图像数据。
在这种情况下，图像数据处理器基于包含在数据流的报头中的用于三维显示的裁剪信息和用于三维图像数据的传输格式信息来执行图像数据裁剪处理和缩放处理。更具体地，基于裁剪信息和传输格式信息，裁剪三维图像数据的一部分，例如，左眼图像数据，且裁剪的图像数据在与传输格式对应的方向经历缩放处理。例如，如果传输格式是并排模式，则在水平方向上缩放裁剪的图像数据。如果传输格式是上下模式，则在垂直方向上缩放裁剪的图像数据。由此，正确地产生二维显示图像数据，由此使能正确的二维显示。
技术效果
根据本发明，接收侧能够通过适当地执行图像数据裁剪处理来正确地产生左眼和右眼显示图像数据或者二维显示图像数据，由此使得能够进行正确的三维显示。
附图说明
图1是图示根据本发明第一实施例的图像发送/接收系统的配置的示例的框图；
图2是图示在形成图像发送/接收系统的广播站中的传输数据发生器的配置的示例的框图；
图3图示了视频数据流中访问单元的数据结构的示例；
图4图示在访问单元的SPS（序列参数集）中定义的裁剪信息的结构；
图5图示“Stereo_Video_Cropping SEI”的结构和基本数据定义内容的示例；
图6图示当标记信息插入在节目映射表的视频基本环下时的传输流TS的配置的示例；
图7图示“AVC_video_descriptor”的结构和基本数据描述内容的示例；
图8图示当标记信息作为节目映射表的节目描述符插入时传输流TS的配置的示例；
图9图示“Stereo_Video_cropping_descriptor”的结构和基本数据描述内容的示例；
图10是图示形成图像发送/接收系统的接收器（3DTV）的配置的示例的框图；
图11图示第一实施例中由接收器的3D信号处理器等执行的处理（并排模式）；
图12图示第一实施例中由接收器的3D信号处理器等执行的处理（上下模式）；
图13是图示形成图像发送/接收系统的接收器（2DTV）的配置的示例的框图；
图14是图示根据本发明第二实施例的图像发送/接收系统的配置的示例的框图；
图15是图示在形成图像发送/接收系统的广播站中的传输数据发生器的示例的框图；
图16图示了视频数据流中访问单元的数据结构的示例；
图17是图示形成图像发送/接收系统的接收器（3DTV）的配置的示例的框图；
图18图示第二实施例中由接收器的3D信号处理器等执行的处理（并排模式）；
图19图示第二实施例中由接收器的3D信号处理器等执行的处理（上下模式）；
图20是图示根据本发明第三实施例的图像发送/接收系统的配置的示例的框图；
图21是图示形成图像发送/接收系统的接收器（3DTV）的配置的示例的框图；
图22图示第三实施例中由接收器的3D信号处理器等执行的处理（并排模式）；
图23图示第三实施例中由接收器的3D信号处理器等执行的处理（上下模式）；
图24是图示根据本发明第四实施例的图像发送/接收系统的配置的示例的框图；
图25是图示在形成图像发送/接收系统的广播站中的传输数据发生器的示例的框图；
图26图示了视频数据流中访问单元的数据结构的示例；
图27图示“Cropping_Rectangle_Target SEI”的结构的示例；
图28图示“Cropping_Rectangle_Target SEI”的基本数据描述内容的示例；
图29是图示形成图像发送/接收系统的接收器（3DTV）的配置的示例的框图；
图30图示指示裁剪信息是2D图像还是3D图像裁剪信息的标识信息插入其中的“AVC_video_descriptor”的结构的示例；
图31图示“AVC_video_descriptor”的基本数据描述内容的示例；
图32图示指示裁剪信息是2D图像还是3D图像裁剪信息的标识信息插入其中的“Stereo_Video_cropping_descriptor”的结构的示例；
图33是图示根据本发明第五实施例的图像发送/接收系统的配置的示例的框图；
图34是图示在形成图像发送/接收系统的广播站中的传输数据发生器的示例的框图；
图35图示第五实施例中由接收器的2D信号处理器等执行的处理（并排模式）；
图36图示第五实施例中由接收器的2D信号处理器等执行的处理（上下模式）；
图37是图示形成图像发送/接收系统的接收器（2DTV）的配置的示例的框图；
图38图示在利用双目视差的三维图像显示中在屏幕上对象的左眼图像和右眼图像的显示位置和三维图像的重放位置之间的关系；
图39图示三维图像数据的传输格式（并排模式和上下模式）的示例；
图40图示接收侧的显示图像数据产生处理。
图41图示通过利用根据现有技术的裁剪信息执行的并排模式图像处理；
图42图示通过利用根据现有技术的裁剪信息执行的上下模式图像处理。
具体实施方式
以下将要描述具体实施方式（以下称为“实施例”）。将以下面顺序给出描述。
1.第一实施例
2.第二实施例
3.第三实施例
4.第四实施例
5.第五实施例
<1.第一实施例>
“图像发送/接收系统”
图1图示根据第一实施例的图像发送/接收系统10的配置的示例。该图像发送/接收系统10包括广播站100和接收器200。广播站100通过广播波发送包含视频数据流的传输流（多路复用数据流）TS，该视频数据流包括由左眼图像数据和右眼图像数据形成的三维（3D）图像数据。该三维图像数据的传输格式可以是并排模式（参见图39的部分(a)）或者上下模式（参见图39的部分(b)）。
在本实施例中，假定三维图像数据具有1920×1080-像素格式。广播站100以16×16块为单位编码三维图像数据。因此，广播站100将由空白数据形成的八行添加到三维图像数据，使得图像数据是1920-像素×1088-行图像数据，然后编码。
三维（3D）显示裁剪信息与二维（2D）显示裁剪信息一起插入视频数据流的报头中。这里，2D显示裁剪信息形成第一裁剪信息，而3D显示裁剪信息形成第二裁剪信息。在本实施例中，例如，视频数据流是H.264/AVC（高级视频编码）流。
在传输流TS中，将指示3D显示裁剪信息是否插入视频数据流的报头中的标记信息插入视频数据流的较高层中。该标记信息插入用作节目特定信息的节目映射表下。更具体地，将标记信息插入节目映射表的视频基本环下或者作为节目映射表的节目描述符。
接收器200接收从广播站100通过广播波发送的传输流TS。接收器200从接收的传输流TS获得包括左眼图像数据和右眼图像数据的并排模式（参见图39的部分(a)）或者上下模式（参见图39的部分(b)）三维图像数据。
如上所述，在广播站100中，为了以16×16块为单位执行编码，已经添加了由空白数据形成的八行，使得图像数据是1920-像素×1088-行图像数据，然后编码。因此，作为解码之后的三维图像数据，接收器200获得包括由空白数据形成的八行的1920-像素×1088-行图像数据。
如果接收器200是不支持3D显示的电视接收机2DTV，即，仅可以执行2D显示的接收器，则其使用插入视频数据流的报头中的2D显示裁剪信息。即，例如，接收器200基于2D显示裁剪信息从接收的三维图像裁剪左眼图像数据从而产生2DTV显示图像数据。
例如，如果采用并排模式，则例如，接收器200从包含实际图像数据的1920-像素×1080-行图像数据裁剪960-像素×1080-行左眼图像数据。然后，接收器200关于该左眼图像数据执行缩放处理从而产生2DTV 1920-像素×1080-行显示图像数据。
此外，如果采用上下模式，则例如，接收器200从包含实际图像数据的1920-像素×1080-行图像数据裁剪1920-像素×540-行左眼图像数据。然后，接收器200关于该左眼图像数据执行缩放处理从而产生2DTV 1920-像素×1080-行显示图像数据。
如果接收器200是可以执行3D显示的电视接收机（3DTV），则其从根据插入传输流TS的视频数据流的较高层中的标记信息识别出3D显示裁剪信息已经插入视频数据流的报头中。然后，接收器200使用插入视频数据流的较高层中的3D显示裁剪信息。即，接收器200基于3D显示裁剪信息从接收的三维图像数据裁剪包含实际图像数据的1920-像素×1080-行图像数据，由此产生3DTV左眼和右眼显示图像数据。
例如，如果采用并排模式，则接收器200裁剪包含实际图像数据的1920-像素×1080-行图像数据。然后，接收器200将图像数据划分为左帧和右帧，并关于左和右帧执行缩放处理，由此产生3DTV 1920-像素×1080-行左眼和右眼显示图像数据。
此外，例如，如果采用上下模式，则接收器200裁剪包含实际图像数据的1920-像素×1080-行图像数据。然后，接收器200将该图像数据划分为上帧和下帧，并关于上和下帧执行缩放处理，由此产生3DTV 1920-像素×1080-行左眼和右眼显示图像数据。
“传输数据发生器的配置的示例”
图2图示在广播站100中用于产生上述传输流TS的传输数据发生器110的配置的示例。该传输数据发生器110包括数据提取单元（存档）111、视频编码器112、音频编码器113和多路复用器114。
例如，作为盘记录介质、半导体存储器等的数据记录介质111a可拆卸地连接到数据提取单元111。在数据记录介质111a中，记录通过使用传输流TS发送的预定节目的三维（3D）图像数据和相应的声音数据。三维图像数据包括左眼图像数据和右眼图像数据。三维图像数据的传输格式例如包括并排模式（参见图39的部分(a)）和上下模式（参见图39的部分(b)）。数据提取单元111从数据记录介质111a提取并输出三维图像数据和声音数据。
视频编码器112关于从数据提取单元111输出的3D图像数据执行H.264/AVC（高级视频编码）的编码从而获得编码视频数据。视频编码器112还通过使用在视频编码器112之后提供的流格式化器（未示出）产生包括编码视频数据的视频基本流（视频数据流）。
在这种情况下，视频编码器112插入2D显示裁剪信息（第一裁剪信息）且还插入3D显示裁剪信息（第二裁剪信息）到视频数据流的报头中。
图3的部分(a)和部分(b)图示视频数据流的访问单元的数据结构的示例。在H.264中，将画面定义为称为访问单元的单元。图3的部分(a)图示位于GOP（画面组）的头部的访问单元的结构。图3的部分(b)图示不位于GOP的头部的访问单元的结构。
将2D显示裁剪信息插入访问单元的SPS（序列参数集）中。图4图示在SPS中定义的裁剪信息的结构（语法）。在SPS中，标记信息“frame_cropping_flag”指示裁剪信息的存在或者不存在。裁剪信息是指定用作要从图像数据裁剪的裁剪区域的矩形区域的信息。
在SPS中，“frame_crop_left_offset”指示水平开始位置，即，左边缘位置；“frame_crop_right_offset”指示水平结束位置，即，右边缘位置；“frame_crop_top_offset”指示垂直开始位置，即，上边缘位置；且“frame_crop_bottom_offset”指示垂直结束位置，即，下边缘位置。所有位置由从左上位置的偏移值表示。
如果图像数据是三维图像数据，则将“帧封装排列辅助增强信息（SEI）消息”插入访问单元的SEI中。该SEI包括指示什么类型的传输格式用于三维图像数据的类型信息。
在本实施例中，在访问单元的SEI中新定义“Stereo_Video_CroppingSEI”。然后，将3D显示裁剪信息插入该SEI中。图5图示“Stereo_Video_Cropping SEI”的结构（语法）和基本数据定义内容（语义）的示例。
“stereo_video_cropping_id”字段是用于标识“Stereo_Video_Cropping SEI”的标识符。一位字段“temporal_repetition”指示由包含在该SEI中的3D显示裁剪信息表示的裁剪状态持续直到何时。“1”指示裁剪状态持续直到下一“Stereo_Video_Cropping SEI”出现，且“0”指示裁剪状态仅在当前画面（访问单元）期间持续。
信息“temporal_repetition”的提供使得接收侧能够容易地识别由包含在该SEI中的3D显示裁剪信息表示的裁剪状态持续直到何时。
包含在“Stereo_Video_Cropping SEI”中的3D显示裁剪信息以及包含在上述SPS中的2D显示裁剪信息是指定用作要从图像数据裁剪的裁剪区域的矩形区域的信息。由此，3D显示裁剪信息的配置类似于2D显示裁剪信息的配置。
“frame_3D_left_offset”指示水平开始位置，即，左边缘位置；“frame_3D_right_offset”指示水平结束位置，即，右边缘位置；“frame_3D_top_offset”指示垂直开始位置，即，上边缘位置；且“frame_3D_bottom_offset”指示垂直结束位置，即，下边缘位置。所有位置由从左上位置的偏移值表示。
回来参考图2，音频编码器113例如通过使用MPEG-2Audio AAC来编码从数据提取单元111输出的声音数据，从而产生音频基本流（音频数据流）。多路复用器114将由视频编码器112和音频编码器113产生的基本流分组化，并多路复用该分组化的流从而产生传输流（多路复用数据流）TS。
这里，多路复用器114将标记信息插入视频数据流的较高层中。标记信息指示3D显示裁剪信息是否插入视频数据流的报头中。在本实施例中，例如，该标记信息插入用作节目特定信息的节目映射表下。
图6图示当标记信息插入节目映射表的视频基本环中时传输流TS的配置的示例。在配置的该示例中，包括视频基本流的PES分组“Video PES”。
在传输流TS中，包含PMT（节目映射表）作为PSI（节目特定信息）。该PSI是指示包含在传输流TS中的每个基本流属于哪个节目的信息。传输流还包括用作SI（服务信息）的EIT（事件信息表），其以事件为单位管理事件信息。
PMT包括描述关于整个节目的信息的节目描述符。PMT还包括具有关于每个基本流的信息的基本环。在该配置中，包含视频基本环（视频ES环）。
在该基本环中，对于每个基本流提供比如分组标识符（PID）和流类型（Stream_Type）的信息，且还布置描述关于基本流的信息的描述符。在配置的该示例中，为了附图的简单表示，在附图中未示出关于音频流的信息。
在配置的该示例中，在视频数据流的报头中新定义“Stereo_Video_Cropping SEI”，且如上所述，将3D显示裁剪信息插入该SEI中。然后，在配置的该示例中，将指示该SEI的存在（即，3D显示裁剪信息的存在）的标记信息插入包含在视频基本环（视频ES环）中的“AVC_video_descriptor”中。
图7图示“AVC_video_descriptor”的结构（语法）和基本数据描述内容（语义）的示例。描述符本身已经包含在H.264/AVC标准中。在该配置中，在描述符中，新定义一位标记信息“stereo_video_cropping_SEI_Not_present_flag”。
该标记信息指示“Stereo_Video_Cropping SEI”是否包含在视频数据流的报头中，即，是否插入3D显示裁剪信息。“0”指示包括该SEI，且“1”指示未包括该SEI。
图8图示当标记信息作为节目映射表的节目描述符插入时传输流TS的配置的示例。在图8中，将不给出与图6所示的那些部分对应的部分的描述。
在配置的该示例中，在视频数据流的报头中新定义“Stereo_Video_Cropping SEI”，且如上所述，将3D显示裁剪信息插入该SEI中。然后，在配置的该示例中，新定义包含指示该SEI的存在（即，3D显示裁剪信息的存在）的标记信息的节目描述符“Stereo_Video_cropping_descriptor”。
图9图示“Stereo_Video_cropping_descriptor”的结构（语法）和基本数据描述内容（语义）的示例。八位“descriptor_tag”字段指示该描述符是“Stereo_Video_cropping_descriptor”。八位“descriptor_length”字段指示“descriptor_length”字段之后字段的字节的数目。
“stereo_video_cropping_SEI_Not_present_flag”字段是一位标记信息，类似于在上述“AVC_video_descriptor”中新定义的“stereo_video_cropping_SEI_Not_present_flag”。该标记信息指示“Stereo_Video_Cropping SEI”是否包含在视频数据流的报头中，即，是否插入3D显示裁剪信息。“0”指示包括该SEI，且“1”指示未包括该SEI。
以下将简要地描述如图2所示的传输数据发生器110的操作。将从数据提取单元111提取的三维（3D）图像数据提供到视频编码器112。视频编码器112通过使用H.264/AVC（高级视频编码）编码图像数据从而获得编码视频数据。视频编码器112还通过使用在视频编码器112之后提供的流格式化器（未示出）产生包括该编码视频数据的视频基本流（视频数据流）。
在这种情况下，视频编码器112插入2D显示裁剪信息（第一裁剪信息）且还插入3D显示裁剪信息（第二裁剪信息）到视频数据流的报头中。2D显示裁剪信息插入访问单元的SPS中。在访问单元的SEI中，新定义“Stereo_Video_Cropping SEI”，且3D显示裁剪信息插入该SEI中。
当从数据提取单元111输出三维图像数据时，与图像数据对应的声音数据也从数据提取单元111输出。将该声音数据提供到音频编码器113。该音频编码器例如通过使用MPEG-2Audio AAC编码声音数据，从而产生包括编码音频数据的音频基本流（音频数据流）。
将在视频编码器112中产生的视频基本流提供到多路复用器114。在音频编码器113中产生的音频基本流也提供到多路复用器114。多路复用器114分别将从视频编码器112和音频编码器113提供的视频基本流和音频基本流分组化，且多路复用该分组化的流从而产生传输流（多路复用数据流）TS。
在这种情况下，多路复用器114将指示3D显示裁剪信息是否插入视频数据流的报头中的标记信息插入视频数据流的较高层中。例如，标记信息插入在用作节目特定信息的节目映射表下。
在如图2所示的传输数据发生器110中，如上所述，视频编码器112与2D显示裁剪信息一起插入3D显示裁剪信息到视频数据流的报头中。因此，在接收侧的3DTV能够基于3D显示裁剪信息正确地执行图像数据裁剪处理。由此，在接收侧的3DTV能够正确地产生左眼显示图像数据和右眼显示图像数据，由此使得能够进行精确的三维显示。
在如图2所示的传输数据发生器110中，多路复用器114将指示3D显示裁剪信息是否包含在视频数据流的报头中的标记信息插入数据流的较高层中。因此，在接收侧的3DTV能够识别3D显示裁剪信息的存在或者不存在而不分析视频数据流的报头。
“接收器的配置的示例”
图10图示接收器200的配置的示例。接收器200是可以执行3D显示的电视接收机（3DTV）。该接收器200包括CPU 201、闪速ROM 202、DRAM203、内部总线204、遥控接收器205和遥控发射器206。
该接收器200还包括天线端子210、数字调谐器211、传输流缓冲器（TS缓冲器）212和去复用器213。该接收器200还包括视频解码器214、显示输出缓冲器（DO缓冲器）215、3D信号处理器216、观看缓冲器217L和217R、音频解码器218和信道处理器219。
CPU 201控制接收器200的所有部件的操作。闪速ROM 202在其中存储控制软件并保持数据。DRAM 203形成CPU 201的工作区。CPU 201将从闪速ROM 202读取的软件或者数据加载到DRAM 203中并起动软件，由此控制接收器200的部件。遥控接收器205接收从遥控发射器206发送的遥控信号（遥控代码）并将接收的遥控代码提供到CPU 201。CPU 201基于遥控代码控制接收器200的部件。CPU 201、闪速ROM 202和DRAM 203连接到内部总线204。
天线端子210通过接收天线（未示出）接收电视广播信号。数字调谐器211处理输入到天线端子210中的电视广播信号并输出与由用户选择的信道对应的预定传输流（位流数据）TS。传输流缓冲器（TS缓冲器）212临时存储从数字调谐器211输出的传输流TS。
传输流TS包括采用并排或者上下模式的、包含左眼图像数据和右眼图像数据的视频数据流。在视频数据流的报头中，与2D显示裁剪信息一起插入3D显示裁剪信息。将2D显示裁剪信息插入访问单元的SPS中。另外，将3D显示裁剪信息插入在访问单元的SEI中新定义的“Stereo_Video_CroppingSEI”中。
在传输流TS中，将标记信息“Stereo_video_cropping_SEI_Not_present_flag”插入视频数据流的较高层中。该标记信息指示3D显示裁剪信息是否插入视频数据流的报头中。该标记信息插入并置于用作节目特定信息的节目映射表下。更具体地，将标记信息插入并置于节目映射表的视频基本环下或者作为节目映射表的节目描述符。
去复用器213从在TS缓冲器212中临时存储的传输流TS提取视频和音频基本流。去复用器213还从传输流TS提取节目映射表（PMT）并提供该表的信息到CPU 201。
如上所述，该表包含指示3D显示裁剪信息是否插入视频数据流的报头中的标记信息（“Stereo_video_cropping_SEI_Not_present_flag”）。CPU 201基于该标记信息识别3D显示裁剪信息是否包含在视频数据流的报头中。
视频解码器214执行与由上述传输数据发生器110的视频编码器112执行的处理相反的处理。更具体地，视频解码器214解码包含在由去复用器213提取的视频基本流（视频数据流）中的编码图像数据从而获得解码三维图像数据。
如上所述，在广播站100的传输数据发生器110中，为了以16×16块为单位执行编码，由空白数据形成的八行已经添加到1920×1080-像素格式，产生了已经编码的1920-像素×1088-行图像数据。因此，作为解码之后的三维图像数据，视频解码器214获得包括八行空白数据的1920-像素×1088-行图像数据。
另外，视频解码器214提取视频数据流的报头信息并提供提取的报头信息到CPU 201。在这种情况下，2D显示裁剪信息包含在访问单元的SPS中，且3D显示裁剪信息包含在访问单元的SEI中新定义的“Stereo_Video_Cropping SEI”中。
DO缓冲器215临时存储由视频解码器214获得的三维图像数据。在CPU201的控制下，3D信号处理器216基于3D显示裁剪信息从DO缓冲器215中存储的三维图像数据裁剪包含实际图像数据的1920-像素×1080-行图像数据，由此产生3DTV左眼显示图像数据SL和右眼显示图像数据SR。
即，如果采用并排模式，如图11所示，3D信号处理器216从1920-像素×1080-行图像数据裁剪包含实际图像数据的1920-像素×1088-行图像数据。3D信号处理器216然后将该图像数据划分为左和右帧并关于左和右帧的每一个执行水平缩放处理，由此产生3DTV 1920-像素×1080-行左眼显示图像数据SL和右眼显示图像数据SR。
替代地，如果采用上下模式，如图12所示，3D信号处理器216从1920-像素×1080-行图像数据裁剪包含实际图像数据的1920-像素×1088-行图像数据。3D信号处理器216然后将该图像数据划分为上和下帧并关于上和下帧的每一个执行垂直缩放处理，由此产生3DTV 1920-像素×1080-行左眼显示图像数据SL和右眼显示图像数据SR。
回头参考图10，观看缓冲器217L临时存储3DTV 1920-像素×1080-行左眼显示图像数据SL，随后输出图像数据到图像输出单元，比如显示器。此外，观看缓冲器217R临时存储3DTV 1920-像素×1080-行右眼显示图像数据SR，随后输出图像数据到图像输出单元，比如显示器。
音频解码器218执行与由上述传输数据发生器110的音频编码器113执行的处理相反的处理。更具体地，音频解码器218解码包含在由去复用器213提取的音频基本流中的编码声音数据从而获得解码声音数据。信道处理器219从在音频解码器218中获得的声音数据产生例如用于实现5.1声道环绕声的每个信道的声音数据SA，随后输出声音数据SA到声音输出单元，比如扬声器。
以下将简要地描述接收器200的操作。将已经输入到天线端子210中的电视广播信号提供到数字调谐器211。该数字调谐器211处理电视广播信号并输出与由用户选择的信道对应的预定传输流TS。该传输流TS临时存储在TS缓冲器212中。
去复用器213从临时存储在TS缓冲器212中的传输流TS提取视频和音频基本流。去复用器213还从传输流TS提取节目映射表（PMT）。将该表的信息提供到CPU 201。
该表包含指示3D显示裁剪信息是否包含在视频数据流的报头中的标记信息“Stereo_video_cropping_SEI_Not_present_flag”。CPU 201基于标记信息识别3D显示裁剪信息是否包含在视频数据流的报头中。
由去复用器213提取的视频基本流（视频数据流）提供到视频解码器214。视频解码器214解码包含在视频基本流中的编码图像从而获得解码三维图像数据。三维图像数据是包括八行空白数据的1920-像素×1088-行图像数据。三维图像数据然后临时存储在DO缓冲器215中。
视频解码器214还提取视频数据流的报头信息并提供报头信息到CPU201。在这种情况下，2D显示裁剪信息包含在SPS中，而3D显示裁剪信息包含在“Stereo_Video_Cropping SEI”中。
在CPU 201的控制下，3D信号处理器216从存储在DO缓冲器215中的三维图像数据，基于3D显示裁剪信息裁剪包含实际图像数据的1920-像素×1080-行图像数据。3D信号处理器216然后产生3DTV 1920-像素×1088-行左眼显示图像数据SL和右眼显示图像数据SR。3DTV显示图像数据SL和3DTV显示图像数据SR分别通过观看缓冲器217L和217R输出到比如显示器的图像输出单元。
另外，将由去复用器213提取的音频基本流提供到音频解码器218。该音频解码器218解码包含在音频基本流中的编码声音数据从而获得解码声音数据。将该声音数据提供到信道处理器219。信道处理器219从自音频解码器218提供的声音数据产生例如用于实现5.1声道环绕声的每个信道的声音数据SA。然后将声音数据SA输出到比如扬声器的声音输出单元。
如上所述，在图10所示的接收器200中，3D信号处理器216基于插入视频数据流的报头中的3D显示裁剪信息执行裁剪。更具体地，3D信号处理器216从三维图像数据裁剪包含实际图像数据的1920-像素×1080-行图像数据。因此，正确地产生左眼显示图像数据和右眼显示图像数据，由此使得能够进行精确的3D显示。
注意到，图13图示作为仅可以执行2D显示的电视接收机（2DTV)的接收器200的配置的示例。这里，为了便利以附图标记200a指定接收器。在图13中，与图10所示的元件对应的元件由相同的附图标记指定，且按照需要省略其说明。
在该接收器200a中，去复用器213从临时存储在TS缓冲器212中的传输流TS提取视频和音频基本流。去复用器213还从传输流TS提取节目映射表（PMT）。将该表的信息提供到CPU 201。
该表包含指示3D显示裁剪信息是否包含在视频数据流的报头中的标记信息（Stereo_video_cropping_SEI_Not_present_flag）。但是，该接收器200a的CPU 201忽略该标记信息。
视频解码器214解码包含在由去复用器213提取的视频基本流中的编码图像从而获得经解码的三维图像数据。该三维图像数据是包括八行空白数据的1920-像素×1088-行图像数据。该三维图像数据然后临时存储在DO缓冲器215中。
视频解码器214还提取视频数据流的报头信息并提供提取的报头信息到CPU 201。在这种情况下，2D显示裁剪信息包含在访问单元的SPS中，而3D显示裁剪信息包含在访问单元的SEI中新定义的“Stereo_Video_Cropping SEI”中。但是，该接收器200a的CPU 201忽略3D显示裁剪信息。
在接收器200a中，上述接收器200的3D信号处理器216以及观看缓冲器217L和217R分别由2D信号处理器221和观看缓冲器222代替。在CPU 201的控制下，例如，2D信号处理器221从存储在DO缓冲器215中的三维图像数据基于2D显示裁剪信息裁剪左眼图像数据，从而产生2DTV显示图像数据SV。
例如，如果采用并排模式，如图11所示，则例如，2D信号处理器221从包含实际图像数据的1920-像素×1080-行图像数据裁剪960-像素×1080-行左眼图像数据。然后，2D信号处理器221关于该左眼图像数据执行缩放处理从而产生2DTV 1920-像素×1080-行显示图像数据SV。
例如，如果采用上下模式，如图12所示，则例如，2D信号处理器221从包含实际图像数据的1920-像素×1080-行图像数据裁剪1920-像素×540-行左眼图像数据。然后，2D信号处理器221关于该左眼图像数据执行缩放处理从而产生2DTV 1920-像素×1080-行显示图像数据SV。由2D信号处理器221产生的2DTV显示图像数据SV经由观看缓冲器222输出到比如显示器的图像输出单元。
接收器200a的其它部件如图10所示的接收器200的部件那样配置和操作。在作为仅可以执行2D显示的电视接收机（2DTV）的接收器200a中，2D信号处理器221基于插入视频流数据的报头中的2D显示裁剪信息执行裁剪，从而正确地产生显示图像数据，由此执行精确的2D显示。
<2.第二实施例>
“图像发送/接收系统”
图14图示根据第二实施例的图像发送/接收系统10A的配置的示例。图像发送/接收系统10A包括广播站100A和接收器200A。广播站100A通过广播波发送包括视频数据流的传输流（多路复用数据流数据）TS，该视频数据流包含具有左眼图像数据和右眼图像数据的三维（3D）图像数据。该3D图像数据的传输格式可以是并排模式（参见图39A）或者上下模式（参见图39B）。
在该第二实施例中，假定三维图像数据具有1920×1080-像素格式。广播站100A以16×16块为单位编码该三维图像数据。因此，广播站100A将由空白数据形成的八行添加到3D图像数据，使得图像数据是1920-像素×1088-行图像数据，然后编码。
将二维2D显示裁剪信息插入视频数据流的报头中。在这种情况下，与上述第一实施例不同，三维（3D）显示裁剪信息未插入视频数据流的报头中。因此，在该第二实施例中，与上述第一实施例不同，指示3D显示裁剪信息是否包含在视频数据流的报头中的标记信息未插入视频数据流的较高层中。
接收器200A接收从广播站100A通过广播波发送的传输流TS。接收器200A从接收的传输流TS获得包括左眼图像数据和右眼图像数据的并排模式（参见图39的部分(a)）或者上下模式（参见图39的部分(b)）三维图像数据。
如上所述，在广播站100A中，为了以16×16块为单位执行编码，将由空白数据形成的八行添加到1920-像素×1080-行图像数据，使得图像数据是1920-像素×1088-行图像数据，然后编码。因此，接收器200A获得包括由空白数据形成的八行的1920-像素×1088-行图像数据作为解码之后的三维图像数据。
如果接收器200A是不支持3D显示的电视接收机（2DTV），即，仅可以执行2D显示的接收器，则其使用插入视频数据流的报头中的2D显示裁剪信息。即，例如，接收器200A基于2D显示裁剪信息从三维图像数据裁剪左眼图像数据从而产生2DTV显示图像数据。
例如，如果采用并排模式，则接收器200A从包含实际图像数据的1920-像素×1080-行图像数据裁剪960-像素×1080-行左眼图像数据。然后，接收器200A关于该960-像素×1080-行左眼图像数据执行缩放处理从而产生2DTV 1920-像素×1080-行显示图像数据。
替代地，如果采用上下模式，则接收器200A从包含实际图像数据的1920-像素×1080-行图像数据裁剪1920-像素×540-行左眼图像数据。然后，接收器200A关于该1920-像素×540-行左眼图像数据执行缩放处理从而产生2DTV 1920-像素×1080-行显示图像数据。
如果接收器200A是可以执行3D显示的电视接收机（3DTV），则其将插入视频数据流的报头中的2D显示裁剪信息转换为3D显示裁剪信息。然后，接收器200A基于该3D显示裁剪信息从三维图像数据裁剪包含实际图像数据的1920-像素×1080-行图像数据，由此产生3DTV左眼显示图像数据和右眼显示图像数据。
例如，在并排模式中，2D显示裁剪信息是指定例如用于从1920-像素×1080-行图像数据裁剪960-像素×1080-行左眼图像数据的矩形区域的信息。接收器200A将2D显示裁剪信息转换为指定用于裁剪整个1920-像素×1080-行图像数据的矩形区域的信息。
然后，接收器200A基于转换的3D显示裁剪信息裁剪1920-像素×1080-行图像数据。接收器200A然后将图像数据划分为左帧和右帧，并关于左和右帧的每一个执行缩放处理，由此产生3DTV 1920-像素×1080-行左眼显示图像数据和右眼显示图像数据。
另外，例如，在上下模式中，2D显示裁剪信息是指定例如用于从1920-像素×1080-行图像数据裁剪1920-像素×540-行左眼图像数据的矩形区域的信息。接收器200A然后将该2D显示裁剪信息转换为指定用于裁剪整个1920-像素×1080-行图像数据的矩形区域的信息。
然后，接收器200A基于转换的3D显示裁剪信息裁剪1920-像素×1080-行图像数据。接收器200A然后将该图像数据划分为上帧和下帧，并关于上和下帧的每一个执行缩放处理，由此产生3DTV 1920-像素×1080-行左眼显示图像数据和右眼显示图像数据。
“传输数据发生器的配置的示例”
图15图示在广播站100A中用于产生上述传输流TS的传输数据发生器110A的配置的示例。传输数据发生器110A包括数据提取单元（存档）111、视频编码器112A、音频编码器113和多路复用器114A。在图15中，与图2中所示的元件对应元件由相同的附图标记指定，且按照需要省略其详细说明。
视频编码器112A通过使用H.264/AVC（高级视频编码）编码从数据提取单元111输出的三维图像数据从而获得编码视频数据。视频编码器112A还通过使用在视频编码器112A之后提供的流格式化器（未示出）产生包括编码视频数据的视频基本流（视频数据流）。
在这种情况下，视频编码器112A插入2D显示裁剪信息（参见图4）到该视频数据流的报头中。但是，与图2中所示的传输数据发生器110的视频编码器112不同，视频编码器112A不插入3D显示裁剪信息。图16的部分(a)和部分(b)图示视频数据流的访问单元的数据结构的示例。在H.264中，将画面定义为称为访问单元的单元。图16的部分(a)图示位于GOP（画面组）的头部的访问单元的结构。图16的部分(b)图示不位于GOP的头部的访问单元的结构。
如在图3的部分(a)和部分(b)中所示的访问单元的数据结构中那样，将2D显示裁剪信息插入访问单元的SPS（序列参数集）中。与图3的部分(a)和部分(b)所示的访问单元的数据结构不同，在访问单元的SEI中未定义“Stereo_Video_Cropping SEI”。
多路复用器114A将由视频编码器112A和音频编码器113A产生的基本流分组化，并多路复用该分组化的流从而产生传输流（多路复用数据流）TS。与图2中所示的传输数据发生器110的多路复用器114不同，多路复用器114A不将指示3D显示裁剪信息是否插入视频数据流的报头中的标记信息插入视频数据流的较高层中。
图15中所示的传输数据发生器110A的其它部件与图2中所示的传输数据发生器110的那些部件类似地配置和操作。在图15所示的传输数据发生器110A中，多路复用器114A产生以下传输流（多路复用数据流）TS。即，传输流TS包括包含具有左眼图像数据和右眼图像数据的三维图像数据的视频数据流。将二维2D显示裁剪信息插入视频数据流的报头中。
“接收器的配置的示例”
图17图示接收器200A的配置的示例。该接收器200A是可以执行3D显示的电视接收机（3DTV）。在图17中，与图10所示的元件对应的元件由相同的附图标记指定，且按照需要省略其说明。
视频解码器214解码包含在由去复用器213提取的视频基本流（视频数据流）中的编码图像数据从而获得经解码的三维图像数据。该三维图像数据是包括八行空白数据的1920-像素×1088-行图像数据。该三维图像数据临时存储在DO缓冲器215中。
视频解码器214还提取视频数据流的报头信息并提供报头信息到CPU201。在这种情况下，2D显示裁剪信息包含在访问单元的SPS中。基于2D显示裁剪信息控制将在之后讨论的由3D信号处理器216A执行的图像数据裁剪处理。
CPU 201将2D显示裁剪信息转换为3D显示裁剪信息。例如，如果三维图像数据的传输格式是并排模式，则指示水平结束位置，即，右边缘位置的值“frame_crop_right_offset”加倍。另外，如果三维图像数据的传输格式是上下模式，则指示垂直结束位置，即，下边缘位置的值“frame_crop_bottom_offset”加倍。
3D信号处理器216A基于3D显示裁剪信息从存储在DO缓冲器215中的三维图像数据裁剪包含实际图像数据的1920-像素×1080-行图像数据，从而产生3DTV左眼显示图像数据SL和右眼显示图像数据SR。
更具体地，如果采用并排模式，如图18所示，3D信号处理器216A从1920-像素×1080-行图像数据裁剪包含实际图像数据的1920-像素×1088-行图像数据。3D信号处理器216A然后将该图像数据划分为左和右帧并关于左和右帧的每一个执行水平缩放处理，由此产生3DTV 1920-像素×1080-行左眼显示图像数据SL和右眼显示图像数据SR。
替代地，如果采用上下模式，如图19所示，3D信号处理器216A从1920-像素×1080-行图像数据裁剪包含实际图像数据的1920-像素×1088-行图像数据。3D信号处理器216A然后将该图像数据划分为上和下帧并关于上和下帧的每一个执行垂直缩放处理，由此产生3DTV 1920-像素×1080-行左眼显示图像数据SL和右眼显示图像数据SR。
图17所示的接收器200A的其它部件与图10所示的接收器200的部件类似地配置和操作。在图17所示的接收器200A中，插入视频数据流的报头中的2D显示裁剪信息被转换为3D显示裁剪信息。然后，3D信号处理器216A基于3D显示裁剪信息执行裁剪处理。更具体地，3D信号处理器216A从三维图像数据裁剪包含实际图像数据的1920-像素×1080-行图像数据。由此，正确地产生左眼显示图像数据和右眼显示图像数据，由此使得能够进行正确的3D显示。
由图13所示的接收器200a的2D信号处理器221执行的处理类似于第一实施例的处理。更具体地，例如，2D信号处理器221基于2D显示裁剪信息从存储在DO缓冲器215中的三维图像数据裁剪左眼图像数据，从而产生2DTV显示图像数据SV。
例如，如果采用并排模式，如图18所示，则例如，2D信号处理器221从包含实际图像数据的1920-像素×1080-行图像数据裁剪960-像素×1080-行左眼图像数据。然后，2D信号处理器221关于该左眼图像数据执行缩放处理从而产生2DTV 1920-像素×1080-行显示图像数据SV。
例如，如果采用上下模式，如图19所示，则例如，2D信号处理器221从包含实际图像数据的1920-像素×1080-行图像数据裁剪1920-像素×540-行左眼图像数据。然后，2D信号处理器221关于该左眼图像数据执行缩放处理从而产生2DTV 1920-像素×1080-行显示图像数据SV。
<3.第三实施例>
“图像发送/接收系统的示例”
图20图示根据第三实施例的图像发送/接收系统10B的配置的示例。该图像发送/接收系统10B包括广播站100B和接收器200B。广播站100B通过广播波发送包括视频数据流的传输流（多路复用数据流数据）TS，该视频数据流包含具有左眼图像数据和右眼图像数据的三维（3D）图像数据。该三维图像数据的传输格式可以是并排模式（参见图39的部分(a)）或者上下模式（参见图39的部分(b)）。
在该第三实施例中，假定三维图像数据具有1920×1080-像素格式。广播站100B以16×16块为单位关于该三维图像数据执行编码。因此，广播站100B将由空白数据形成的八行添加到3D图像数据，使得图像数据是编码的1920-像素×1088-行图像数据。
将二维2D显示裁剪信息插入视频数据流的报头中。在这种情况下，如在第二实施例中那样，三维（3D）显示裁剪信息未插入视频数据流的报头中。因此，如在第二实施例中那样，在第三实施例中，指示3D显示裁剪信息是否包含在视频数据流的报头中的标记信息未插入视频数据流的较高层中。
接收器200B接收从广播站100B通过广播波发送的传输流TS。接收器200B从接收的传输流TS获得包括左眼图像数据和右眼图像数据的并排模式（参见图39的部分(a)）或者上下模式（参见图39的部分(b)）三维图像数据。
如上所述，在广播站100B中，为了以16×16块为单位执行编码，将由空白数据形成的八行添加到1920-像素×1080-行图像数据，使得图像数据是1920-像素×1088-行图像数据，然后编码。因此，接收器200B获得包括由空白数据形成的八行的1920-像素×1088-行图像数据作为解码之后的三维图像数据。
如果接收器200B是不支持3D显示的电视接收机（2DTV），即，仅可以执行2D显示的电视接收机，则其使用插入视频数据流的报头中的2D显示裁剪信息。即，例如，接收器200B基于2D显示裁剪信息从接收的三维图像裁剪左眼图像数据从而产生2DTV显示图像数据。
例如，如果采用并排模式，则接收器200B从包含实际图像数据的1920-像素×1080-行图像数据裁剪960-像素×1080-行左眼图像数据。然后，接收器200B关于该左眼图像数据执行缩放处理从而产生2DTV 1920-像素×1080-行图像数据。
替代地，如果采用上下模式，则接收器200B从包含实际图像数据的1920-像素×1080-行图像数据裁剪1920-像素×540-行左眼图像数据。然后，接收器200B关于该左眼图像数据执行缩放处理从而产生2DTV 1920-像素×1080-行图像数据。
另一方面，如果接收器200B是可以执行3D显示的电视接收机（3DTV），则其基于2D显示裁剪信息执行图像数据裁剪处理从而产生左眼显示图像数据和右眼显示图像数据之一，例如，左眼显示图像数据。接收器200B然后基于在基于2D显示裁剪信息执行裁剪处理之后留下的图像数据产生左眼显示图像数据和右眼显示图像数据的另一个，例如，右眼显示图像数据。
例如，在并排模式中，2D显示裁剪信息是指定例如用于从1920-像素×1080-行图像数据裁剪960-像素×1080-行左眼图像数据的矩形区域的信息。接收器200B基于2D显示裁剪信息，从包含实际图像数据的1920-像素×1080-行图像数据裁剪960-像素×1080-行左眼图像数据。然后，接收器200B关于该左眼图像数据执行水平缩放从而产生3DTV 1920-像素×1080-行左眼显示图像数据。
然后，接收器200B从1920-像素×1080-行图像数据裁剪剩余的960-像素×1080-行图像数据，例如，右眼图像数据。然后，接收器200B关于该右眼图像数据执行水平缩放从而产生3DTV 1920-像素×1080-行右眼显示图像数据。
另一方面，例如，在上下模式中，2D显示裁剪信息是指定例如用于从1920-像素×1080-行图像数据裁剪1920-像素×540-行左眼图像数据的矩形区域的信息。接收器200B基于该信息，从包含实际图像数据的1920-像素×1080-行图像数据裁剪1920-像素×540-行左眼图像数据。然后，接收器200B关于该左眼图像数据执行垂直缩放从而产生3DTV 1920-像素×1080-行左眼显示图像数据。
然后，接收器200B从1920-像素×1080-行图像数据裁剪剩余的1920-像素×540-行图像数据，例如，右眼图像数据。然后，接收器200B关于该右眼图像数据执行垂直缩放从而产生3DTV 1920-像素×1080-行右眼显示图像数据。
“传输数据发生器的配置的示例”
在广播站100B中用于产生上述传输流TS的传输数据发生器与上述第二实施例的传输数据发生器110A类似地配置，尽管未给出其详细说明。
“接收器的配置的示例”
图21图示接收器200B的配置的示例。接收器200B是可以执行3D显示的电视接收机（3DTV）。在图21中，与图10中的元件对应元件由相同的附图标记指定，且按照需要省略其详细说明。
视频解码器214解码包含在由去复用器213提取的视频基本流（视频数据流）中的编码图像数据从而获得经解码的三维图像数据。该三维图像数据是包括八行空白数据的1920-像素×1088-行图像数据。该三维图像数据临时存储在DO缓冲器215中。
视频解码器214还提取视频数据流的报头信息并提供报头信息到CPU201。在这种情况下，2D显示裁剪信息包含在访问单元的SPS中。基于2D显示裁剪信息控制将在之后讨论的由3D信号处理器216B执行的图像数据裁剪处理。
CPU 201基于2D显示裁剪信息产生指定用于裁剪剩余图像数据的矩形区域的剩余区域裁剪信息。例如，如果三维图像数据的传输格式是并排模式，则指示水平结束位置，即，右边缘位置的值“frame_crop_right_offset”加倍，从而该值改变为“alternative_view_horizontal_edge”，由此产生剩余区域裁剪信息。
该剩余区域裁剪信息包括“frame_crop_top_offset”、“frame_crop_bottom_offset”、“frame_crop_right_offset+1”和“alternative_view_horizontal_edge”。值“frame_crop_right_offset+1”指示水平开始位置，即，左边缘位置；“alternative_view_horizontal_edge”指示水平结束位置，即，右边缘位置；“frame_crop_top_offset”指示垂直开始位置，即，上边缘位置；且“frame_crop_bottom_offset”指示垂直结束位置，即，下边缘位置。所有位置由从左上位置的偏移值表示。
另外，如果三维图像数据的传输格式是上下模式，则指示垂直结束位置，即，下边缘位置的值“frame_crop_bottom_offset”加倍，从而该值改变为“alternative_view_vertical_edge”，由此产生剩余区域裁剪信息。
剩余区域裁剪信息包括“frame_crop_bottom_offset+1”、“alternative_view_vertical_edge”、“frame_crop_left_offset”和“frame_crop_right_offset”。“frame_crop_left_offset”指示水平开始位置，即，左边缘位置；“frame_crop_right_offset”指示水平结束位置，即，右边缘位置；“frame_crop_bottom_offset+1”指示垂直开始位置，即，上边缘位置；且“alternative_view_vertical_edge”指示垂直结束位置，即，下边缘位置。所有位置由从左上位置的偏移值表示。
3D信号处理器216B基于2D显示裁剪信息执行图像数据裁剪处理，从而产生左眼显示图像数据和右眼显示图像数据之一，例如，左眼显示图像数据。另外，3D信号处理器216B基于剩余区域裁剪信息执行图像数据裁剪处理，从而产生左眼显示图像数据和右眼显示图像数据的另一个，例如，右眼显示图像数据。
例如，在并排模式中，2D显示裁剪信息是指定例如用于从1920-像素×1080-行图像数据裁剪960-像素×1080-行左眼图像数据的矩形区域的信息。如图22所示，3D信号处理器216B基于2D显示裁剪信息，从包含实际图像数据的1920-像素×1080-行图像数据裁剪960-像素×1080-行左眼图像数据。然后，3D信号处理器216B关于该左眼图像数据执行水平缩放处理从而产生3DTV 1920-像素×1080-行左眼显示图像数据。
另外，如图22所示，3D信号处理器216B基于剩余区域裁剪信息从1920-像素×1080-行图像数据裁剪剩余960-像素×1080-行图像数据，例如，右眼图像数据。然后，3D信号处理器216B关于该右眼图像数据执行水平缩放处理从而产生3DTV 1920-像素×1080-行右眼显示图像数据。
另外，例如，在上下模式中，2D显示裁剪信息是指定例如用于从1920-像素×1080-行图像数据裁剪1920-像素×540-行左眼图像数据的矩形区域的信息。如图23所示，3D信号处理器216B基于2D显示裁剪信息，从包含实际图像数据的1920-像素×1080-行图像数据裁剪1920-像素×540-行左眼图像数据。然后，3D信号处理器216B关于该左眼图像数据执行垂直缩放从而产生3DTV 1920-像素×1080-行左眼显示图像数据。
然后，如图23所示，3D信号处理器216B基于剩余区域裁剪信息从1920-像素×1080-行图像数据裁剪剩余1920-像素×540-行图像数据，例如，右眼图像数据。然后，三维信号处理器216B关于该右眼图像数据执行垂直缩放从而产生3DTV 1920-像素×1080-行右眼显示图像数据。
图21中所示的接收器200B的其它部件与图10中所示的接收器200的那些部件类似地配置和操作。在图21所示的接收器200B中，基于包含在视频数据流中的2D显示裁剪信息裁剪图像数据，从而产生左眼显示图像数据和右眼显示图像数据之一。也在接收器200B中，基于在基于2D显示裁剪信息执行裁剪处理之后留下的图像数据产生左眼显示图像数据和右眼显示图像数据的另一个。由此，正确地产生左眼显示图像数据和右眼显示图像数据，由此使得能够进行正确的3D显示。
由图13中所示的接收器200a的2D信号处理器221执行的处理类似于第二实施例的处理。更具体地，例如，2D信号处理器221基于2D显示裁剪信息从存储在DO缓冲器215中的三维图像数据裁剪左眼图像数据，从而产生2DTV显示图像数据SV。
例如，如果采用并排模式，如图22所示，则例如，2D信号处理器221从包含实际图像数据的1920-像素×1080-行图像数据裁剪960-像素×1080-行左眼图像数据。然后，2D信号处理器221关于该左眼图像数据执行缩放处理从而产生2DTV 1920-像素×1080-行显示图像数据SV。
替代地，例如，如果采用上下模式，如图23所示，则例如，2D信号处理器221从包含实际图像数据的1920-像素×1080-行图像数据裁剪1920-像素×540-行左眼图像数据。然后，2D信号处理器221关于该左眼图像数据执行缩放处理从而产生2DTV 1920-像素×1080-行显示图像数据SV。
<4.第四实施例>
“图像发送/接收系统”
图24图示根据第四实施例的图像发送/接收系统10C的配置的示例。该图像发送/接收系统10C包括广播站100C和接收器200C。广播站100C通过广播波发送包括视频数据流的传输流（多路复用数据流数据）TS，该视频数据流包含具有左眼图像数据和右眼图像数据的三维（3D）图像数据。该三维图像数据的传输格式可以是并排模式（参见图39的部分(a)）或者上下模式（参见图39的部分(b)）。
在本实施例中，假定三维图像数据具有1920×1080-像素格式。广播站100C以16×16块为单位关于该三维图像数据执行编码。因此，广播站100C将由空白数据形成的八行添加到三维图像数据，使得图像数据是1920-像素×1088-行图像数据，然后编码。
将2D图像裁剪信息或者3D图像裁剪信息插入视频数据流的报头中。2D图像裁剪信息是指定用于例如裁剪包含实际图像数据的1920-像素×1080-行图像数据的矩形区域的信息。3D图像裁剪信息是指定用于例如从1920-像素×1080-行图像数据裁剪左眼图像数据区域或者右眼图像数据区域的矩形区域的信息。将指示裁剪信息是2D图像裁剪信息还是3D图像裁剪信息的标识信息插入视频数据流的报头中。在本实施例中，例如，视频数据流是H.264/AVC（高级视频编码）流。
接收器200C接收从广播站100C通过广播波发送的传输流TS。接收器200C从接收的传输流TS获得包括左眼图像数据和右眼图像数据的并排模式（参见图39的部分(a)）或者上下模式（参见图39的部分(b)）三维图像数据。
如上所述，在广播站100C中，为了以16×16块为单位执行编码，将由空白数据形成的八行添加到1920-像素×1080-行图像数据，使得图像数据是1920-像素×1088-行图像数据，然后编码。因此，接收器200C获得包括由空白数据形成的八行的1920-像素×1088-行图像数据作为解码之后的三维图像数据。
如果接收器200C是可以执行3D显示的电视接收机（3DTV），则其基于插入视频数据流的报头中的标识信息识别裁剪信息是2D还是3D裁剪信息。接收器200C然后基于裁剪信息从接收的三维图像数据裁剪数据，从而产生3DTV左眼显示图像数据和右眼显示图像数据。
例如，如果裁剪信息是2D裁剪信息且如果采用并排模式，则接收器200C基于该2D图像裁剪信息裁剪包含实际图像数据的1920-像素×1080-行图像数据。然后，接收器200C将图像数据划分为左帧和右帧，并关于左和右帧的每一个执行水平缩放处理从而产生3DTV 1920-像素×1080-行左眼显示图像数据和右眼显示图像数据。
另外，如果裁剪信息是2D裁剪信息且如果采用上下模式，则接收器200C基于该2D图像裁剪信息裁剪包含实际图像数据的1920-像素×1080-行图像数据。然后，接收器200C将图像数据划分为上帧和下帧，并关于上和下帧的每一个执行垂直缩放处理从而产生3DTV 1920-像素×1080-行左眼显示图像数据和右眼显示图像数据。
如果裁剪信息是3D裁剪信息，则接收器200C执行类似于第二实施例的处理的以下处理（1），或者类似于第三实施例的处理的以下处理（2），从而产生3DTV 1920-像素×1080-行左眼显示图像数据和3DTV 1920-像素×1080-行右眼显示图像数据。
“处理（1）”
例如，如果接收器200C是可以执行3D显示的电视接收机（3DTV），则其将插入视频数据流的报头中的3D图像裁剪信息转换为2D图像裁剪信息。然后，接收器200C基于该2D图像裁剪信息从三维图像数据裁剪1920-像素×1080-行图像数据，由此产生3DTV左眼显示图像数据和右眼显示图像数据。
例如，在并排模式中，3D图像裁剪信息是指定例如用于从1920-像素×1080-行图像数据裁剪960-像素×1080-行左眼图像数据的矩形区域的信息。接收器200C然后将该3D图像裁剪信息转换为指定用于裁剪整个1920-像素×1080-行图像数据的矩形区域的2D图像裁剪信息。
然后，接收器200C基于该转换的2D图像裁剪信息裁剪1920-像素×1080-行图像数据。接收器200C然后将该图像数据划分为左帧和右帧，并关于左和右帧的每一个执行缩放处理，由此产生3DTV 1920-像素×1080-行左眼显示图像数据和右眼显示图像数据。
替代地，例如，在上下模式中，3D图像裁剪信息是指定例如用于从1920-像素×1080-行图像数据裁剪1920-像素×540-行左眼图像数据的矩形区域的信息。接收器200C然后将该3D图像裁剪信息转换为指定用于裁剪整个1920-像素×1080-行图像数据的矩形区域的2D图像裁剪信息。
然后，接收器200C基于该转换的2D图像裁剪信息裁剪作为实际图像数据的1920-像素×1080-行图像数据。接收器200C然后将图像数据划分为上帧和下帧，并关于上和下帧的每一个执行缩放处理，由此产生3DTV 1920-像素×1080-行左眼显示图像数据和右眼显示图像数据。
“处理（2）”
如果接收器200C是可以执行3D显示的电视接收机（3DTV），则其基于3D图像裁剪信息执行图像数据裁剪处理从而产生左眼显示图像数据和右眼显示图像数据之一，例如，左眼显示图像数据。接收器200C然后基于在基于3D图像裁剪信息执行裁剪处理之后留下的图像数据产生左眼显示图像数据和右眼显示图像数据的另一个，例如，右眼显示图像数据。
例如，在并排模式中，3D图像裁剪信息是指定例如用于从1920-像素×1080-行图像数据裁剪960-像素×1080-行左眼图像数据的矩形区域的信息。接收器200C基于3D图像裁剪信息从1920-像素×1080-行图像数据裁剪960-像素×1080-行左眼图像数据。然后，接收器200C关于该左眼图像数据执行水平缩放从而产生3DTV 1920-像素×1080-行左眼显示图像数据。
然后，接收器200C从包含实际图像数据的1920-像素×1080-行图像数据裁剪剩余960-像素×1080-行图像数据，例如，右眼图像数据。然后，接收器200C关于该右眼图像数据执行水平缩放从而产生3DTV 1920-像素×1080-行右眼显示图像数据。
替代地，例如，在上下模式中，3D图像裁剪信息是指定例如用于从1920-像素×1080-行图像数据裁剪1920-像素×540-行左眼图像数据的矩形区域的信息。接收器200C基于该3D图像裁剪信息，从包含实际图像数据的1920-像素×1080-行图像数据裁剪1920-像素×540-行左眼图像数据。然后，接收器200C关于该左眼图像数据执行垂直缩放从而产生3DTV 1920-像素×1080-行左眼显示图像数据。
然后，接收器200C从1920-像素×1080-行图像数据裁剪剩余1920-像素×540-行图像数据，例如，右眼图像数据。然后，接收器200C关于该右眼图像数据执行垂直缩放从而产生3DTV 1920-像素×1080-行右眼显示图像数据。
“传输数据发生器的配置的示例”
图25图示在广播站100C中用于产生上述传输流TS的传输数据发生器110C的配置的示例。传输数据发生器110C包括数据提取单元（存档）111、视频编码器112C、音频编码器113和多路复用器114C。与图2中所示的元件对应的元件由相同的附图标记指定，且按照需要省略详细说明。
视频编码器112C通过使用H.264/AVC（高级视频编码）编码从数据提取单元111输出的三维图像数据从而获得编码视频数据。视频编码器112C还通过使用在视频编码器112C之后提供的流格式化器（未示出）产生包括编码视频数据的视频基本流（视频数据流）。
在这种情况下，视频编码器112C将上述2D图像裁剪信息或者3D图像裁剪信息插入该视频数据流的报头中（参见图4）。视频编码器112C还插入指示裁剪信息是2D图像裁剪信息还是3D图像裁剪信息的标识信息。
图26的部分(a)和部分(b)图示视频数据流的访问单元的数据结构的示例。在H.264中，将画面定义为称为访问单元的单元。图26的部分(a)图示位于GOP（画面组）的头部的访问单元的结构。图26的部分(b)图示不位于GOP的头部的访问单元的结构。将裁剪信息插入访问单元的SPS中。
如果图像数据是三维图像数据，则将“帧封装排列SEI消息”插入访问单元的SEI中。SEI包括指示什么类型的传输格式用于三维图像数据的类型信息。
也在本实施例中，在访问单元的SEI中新定义“Cropping_Rectangle_Target”。在该SEI中，插入指示裁剪信息是2D还是3D图像裁剪信息的标识信息。图27和图28分别图示“Cropping_Rectangle_Target SEI”的结构（语法）的示例和基本数据定义内容（语义）的示例。
“Cropping_Rectangle_Target_id”字段是用于标识“Cropping_Rectangle_Target SEI”的标识符。一位字段“temporal_repetition”指示由裁剪信息表示的裁剪状态持续直到何时。“1”指示裁剪状态持续直到下一“Cropping_Rectangle_Target SEI”出现，且“0”指示裁剪状态仅在当前画面（访问单元）期间持续。
两位“cropping_rectangle_target”字段是指示裁剪信息是2D或者3D图像裁剪信息的标识信息。“00”指示裁剪信息是2D图像裁剪信息。“10”指示裁剪信息是3D图像裁剪信息且指定的矩形区域对应于左眼区域。“11”指示裁剪信息是3D图像裁剪信息且指定的矩形区域对应于右眼区域。
多路复用器114C将由视频编码器112C和音频编码器113产生的基本流分组化，并多路复用流从而产生传输流（多路复用数据流）TS。与如图2中所示的传输数据发生器110的多路复用器114不同，多路复用器114C不将指示3D显示裁剪信息是否包含在视频数据流的报头中的标记信息插入视频数据流的较高层中。
图25中所示的传输数据发生器110C的其它部件与图2中所示的传输数据发生器110的那些部件类似地配置和操作。在图25中所示的传输数据发生器110C中，多路复用器114C产生以下传输流（多路复用数据流）TS。即，传输流TS包括包含具有左眼图像数据和右眼图像数据的三维图像数据的视频数据流。将2D或者3D图像裁剪信息和其标识信息插入视频数据流的报头中。
如上所述，在图25所示的传输数据发生器110C中，视频编码器112C将指示裁剪信息是2D还是3D图像裁剪信息的标识信息插入视频数据流的报头中。这使得在接收侧的3DTV能够容易地识别裁剪信息是2D还是3D图像裁剪信息并通过使用该裁剪信息执行适当的处理。
“接收器的配置的示例”
图29图示接收器200C的配置的示例。该接收器200C是可以执行3D显示的电视接收机（3DTV）。在图29中，与图10所示的元件对应的元件由相同的附图标记指定，且按照需要省略其说明。
视频解码器214关于包含在由去复用器213提取的视频基本流（视频数据流）中的编码图像数据执行解码处理从而获得经解码的三维图像数据。该三维图像数据是包括八行空白数据的1920-像素×1088-行图像数据。该三维图像数据临时存储在DO缓冲器215中。
视频解码器214还提取视频数据流的报头信息并提供报头信息到CPU201。在这种情况下，2D或者3D图像裁剪信息包含在访问单元的SPS中。此外，将指示裁剪信息是2D或者3D图像裁剪信息的标识信息插入在访问单元的SEI中新定义的“cropping_rectangle_target SEI”中。基于裁剪信息和标识信息控制将在之后讨论的由3D信号处理器216C执行的图像数据裁剪处理。
如果裁剪信息是2D图像裁剪信息，则3D信号处理器216C基于2D图像裁剪信息，从存储在DO缓冲器215中的三维图像数据裁剪包含实际图像的1920-像素×1080-行图像数据，从而产生3DTV左眼显示图像数据SL和右眼显示图像数据SR。
更具体地，如果采用并排模式，如图11所示，3D信号处理器216C从1920-像素×1080-行图像数据裁剪包含实际图像数据的1920-像素×1088-行图像数据。3D信号处理器216C然后将该图像数据划分为左和右帧并关于左和右帧的每一个执行水平缩放处理，由此产生3DTV 1920-像素×1080-行左眼显示图像数据SL和右眼显示图像数据SR。
替代地，如果采用上下模式，如图12所示，3D信号处理器216C从1920-像素×1080-行图像数据裁剪包含实际图像数据的1920-像素×1088-行图像数据。3D信号处理器216C然后将该图像数据划分为上和下帧并关于上和下帧的每一个执行垂直缩放处理，由此产生3DTV 1920-像素×1080-行左眼显示图像数据SL和右眼显示图像数据SR。
另一方面，如果裁剪信息是3D图像裁剪信息，则例如，3D信号处理器216C执行以下处理（1）或者以下处理（2）。
“处理（1）”
CPU 201将3D图像裁剪信息转换为2D图像裁剪信息。例如，如果三维图像数据的传输格式是并排模式，则指示水平结束位置，即，右边缘位置的值“frame_crop_right_offset”加倍。此外，例如，如果三维图像数据的传输格式是上下模式，则指示垂直结束位置，即，下边缘位置的值“frame_crop_bottom_offset”加倍。
3D信号处理器216C基于转换的2D图像裁剪信息从存储在DO缓冲器215中的三维图像数据裁剪包含实际图像数据的1920-像素×1080-行图像数据，从而产生3DTV左眼显示图像数据SL和右眼显示图像数据SR。
更具体地，如果采用并排模式，如图18所示，3D信号处理器216C从1920-像素×1080-行图像数据裁剪包含实际图像数据的1920-像素×1088-行图像数据。3D信号处理器216C然后将该图像数据划分为左和右帧并关于左和右帧的每一个执行水平缩放处理，由此产生3DTV 1920-像素×1080-行左眼显示图像数据SL和右眼显示图像数据SR。
替代地，如果采用上下模式，如图19所示，3D信号处理器216C从1920-像素×1080-行图像数据裁剪包含实际图像数据的1920-像素×1088-行图像数据。3D信号处理器216C然后将该图像数据划分为上和下帧并关于上和下帧的每一个执行垂直缩放处理，由此产生3DTV 1920-像素×1080-行左眼显示图像数据SL和右眼显示图像数据SR。
“处理（2）”
CPU 201基于3D图像裁剪信息产生指定用于裁剪剩余图像数据的矩形区域的剩余区域裁剪信息。3D信号处理器216C基于3D图像裁剪信息执行图像数据裁剪处理，从而产生左眼显示图像数据和右眼显示图像数据之一，例如，左眼显示图像数据。3D信号处理器216C还基于剩余区域裁剪信息执行图像数据裁剪处理，从而产生左眼显示图像数据和右眼显示图像数据的另一个，例如，右眼显示图像数据。
例如，在并排模式中，3D图像裁剪信息是指定例如用于从1920-像素×1080-行图像数据裁剪960-像素×1080-行左眼图像数据的矩形区域的信息。
如图22所示，3D信号处理器216C基于该3D图像裁剪信息，从包含实际图像数据的1920-像素×1080-行图像数据裁剪960-像素×1080-行左眼图像数据。然后，3D信号处理器216C关于该左眼图像数据执行水平缩放从而产生3DTV 1920-像素×1080-行左眼显示图像数据。
然后，如图22所示，3D信号处理器216C基于剩余区域裁剪信息从1920-像素×1080-行图像数据裁剪剩余960-像素×1080-行图像数据，例如，右眼图像数据。然后，3D信号处理器216C关于该右眼图像数据执行水平缩放从而产生3DTV 1920-像素×1080-行右眼显示图像数据。
替代地，例如，在上下模式中，3D显示裁剪信息是指定例如用于从包含实际图像数据的1920-像素×1080-行图像数据裁剪1920-像素×540-行左眼图像数据的矩形区域的信息。
如图23所示，3D信号处理器216C基于3D显示裁剪信息，从包含实际图像数据的1920-像素×1080-行图像数据裁剪1920-像素×540-行左眼图像数据。然后，3D信号处理器216C关于该左眼图像数据执行垂直缩放从而产生3DTV 1920-像素×1080-行左眼显示图像数据。
然后，如图23所示，3D信号处理器216C基于剩余区域裁剪信息从1920-像素×1080-行图像数据裁剪剩余1920-像素×540-行图像数据，例如，右眼图像数据。然后，三维信号处理器216C关于该右眼图像数据执行垂直缩放从而产生3DTV 1920-像素×1080-行右眼显示图像数据。
图29所示的接收器200C的其它部件与图10所示的接收器200的那些部件类似地配置和操作。在图29所示的接收器200C中，基于包含在视频数据流中的裁剪信息和标识信息适当地裁剪图像数据，该标识信息指示裁剪信息是2D还是3D图像裁剪信息。由此，正确地产生左眼显示图像数据和右眼显示图像数据，由此使得能够进行正确的3D显示。
注意到，在第四实施例中，指示插入视频数据流的报头中的裁剪信息是2D还是3D图像裁剪信息的标识信息也插入视频数据流的报头中。即，在第四实施例中，新定义“Cropping_Rectangle_Target SEI”，且在该SEI中，插入标识信息。
但是，标识信息可以插入视频数据流的较高层中，例如，节目映射表下。
例如，将指示裁剪信息是2D还是3D图像裁剪信息的标识信息插入包含在视频基本环（视频ES环）中的“AVC_video_descriptor”中。图30和图31分别图示具有标识信息的“AVC_video_descriptor”的结构（语法）的示例和数据定义内容（语义）的示例。描述符本身已经包含在H.264/AVC标准中。
在该描述符中，新定义两位“cropping_rectangle_target”字段。通过将两位字段添加到上述第一实施例的结构“AVC_video_descriptor”的示例（参见图7）来获得图30所示的“AVC_video_descriptor”的结构的示例。在第四实施例中，不需要一位标记信息“stereo_video_cropping_SEI_Not_present_flag”。但是，在第四实施例中，如在第一实施例中，可以新定义SEI“Stereo_Video_Cropping SEI”。在这种情况下，该一位标记信息变为有效。
两位“cropping_rectangle_target”字段是指示裁剪信息是2D还是3D图像裁剪信息的标识信息。“00”指示裁剪信息是2D图像裁剪信息。“01”指示裁剪信息是3D图像裁剪信息且指定的矩形区域对应于左眼区域。“10”指示裁剪信息是3D图像裁剪信息且指定的矩形区域对应于右眼区域。
并且，将指示裁剪信息是2D还是3D图像裁剪信息的标识信息作为节目映射表的节目描述符插入。在这种情况下，新定义具有该标识信息的“Stereo_Video_cropping_descriptor”，且在该描述符中，定义两位“cropping_rectangle_target”字段。
图32图示“Stereo_Video_cropping_descriptor”的结构（语法）的示例。八位“descriptor_tag”字段指示该描述符是“Stereo_Video_cropping_descriptor”。八位“descriptor_length”字段指示“descriptor_length”字段之后字段的字节的数目。
通过将两位字段“cropping_rectangle_target”添加到上述第一实施例的结构“Stereo_Video_cropping_descriptor”的示例（参见图9）来获得图32所示的“Stereo_Video_cropping_descriptor”的结构的示例。在第四实施例中，不需要一位标记信息“stereo_video_cropping_SEI_Not_present_flag”。但是，在第四实施例中，如在第一实施例中，可以新定义SEI“Stereo_Video_Cropping SEI”。在这种情况下，该一位标记信息变为有效。
两位“cropping_rectangle_target”字段是指示裁剪信息是2D还是3D图像裁剪信息的标识信息。“00”指示裁剪信息是2D图像裁剪信息。“01”指示裁剪信息是3D图像裁剪信息且指定的矩形区域对应于左眼区域。“10”指示裁剪信息是3D图像裁剪信息且指定的矩形区域对应于右眼区域。
<5.第五实施例>
“图像发送/接收系统”
图33图示根据第五实施例的图像发送/接收系统10D的配置的示例。图像发送/接收系统10D包括广播站100D和接收器200D。广播站100D通过广播波发送包括视频数据流的传输流（多路复用数据流数据）TS，该视频数据流包含具有左眼图像数据和右眼图像数据的三维（3D）图像数据。该三维图像数据的传输格式可以是并排模式（参见图39的部分(a)）或者上下模式（参见图39的部分(b)）。
在该第五实施例中，假定三维图像数据具有1920×1080-像素格式。广播站100D以16×16块为单位编码3D图像数据。因此，广播站100D将由空白数据形成的八行添加到三维图像数据，使得图像数据是1920-像素×1088-行图像数据，然后编码。将三维（3D）显示裁剪信息插入视频数据流的报头中。并且，将关于三维图像数据的传输格式的传输格式信息插入视频数据流的报头中。
接收器200D接收从广播站100D通过广播波发送的传输流TS。接收器200D从接收的传输流TS获得包括左眼图像数据和右眼图像数据的并排模式（参见图39的部分(a)）或者上下模式（参见图39的部分(b)）三维图像数据。
如上所述，在广播站100D中，为了以16×16块为单位执行编码，已经将由空白数据形成的八行添加到1920-像素×1080-行图像数据，使得图像数据是1920-像素×1088-行图像数据，然后编码。因此，接收器200D获得包括由空白数据形成的八行的1920-像素×1088-行图像数据作为解码之后的三维图像数据。
如果接收器200D是不支持3D显示的电视接收机（2DTV），即，仅可以执行2D显示的接收器，则其基于插入视频数据流的报头中的3D显示裁剪信息和传输格式信息执行图像数据裁剪处理和缩放处理。更具体地，接收器200D基于该裁剪信息和传输格式信息裁剪三维图像数据的一部分，例如，左眼图像数据，且随后，以与传输格式对应的方向关于裁剪的图像数据执行缩放处理，由此产生2DTV显示图像数据。
例如，如果采用并排模式，则接收器200D从包含实际图像数据的1920-像素×1080-行图像数据裁剪960-像素×1080-行左眼图像数据。然后，接收器200D关于该左眼图像数据执行水平缩放处理从而产生2DTV 1920-像素×1080-行显示图像数据。
替代地，如果采用上下模式，则接收器200D从包含实际图像数据的1920-像素×1080-行图像数据裁剪1920-像素×540-行左眼图像数据。然后，接收器200D关于该左眼图像数据执行垂直缩放处理从而产生2DTV 1920-像素×1080-行显示图像数据。
另一方面，如果接收器200D是可以执行3D显示的电视接收机（3DTV），则其基于插入视频数据流的报头中的3D显示裁剪信息，从3D图像数据裁剪1920-像素×1080-行图像数据，由此产生3DTV左眼显示图像数据和右眼显示图像数据。
例如，如果采用并排模式，则接收器200D裁剪包含实际图像数据的1920-像素×1080-行图像数据。接收器200D然后将图像数据划分为左帧和右帧，并关于左和右帧的每一个执行缩放处理，由此产生3DTV 1920-像素×1080-行左眼显示图像数据和右眼显示图像数据。
替代地，如果采用上下模式，则接收器200D裁剪包含实际图像数据的1920-像素×1080-行图像数据。接收器200D然后将该图像数据划分为上帧和下帧，并关于上和下帧的每一个执行缩放处理，由此产生3DTV 1920-像素×1080-行左眼显示图像数据和右眼显示图像数据。
“传输数据发生器的配置的示例”
图34图示在广播站100D中用于产生上述传输流TS的传输数据发生器110D的配置的示例。传输数据发生器110D包括数据提取单元（存档）111、视频编码器112D、音频编码器113和多路复用器114D。在图34中，与图2中的元件对应元件由相同的附图标记指定，且按照需要省略其详细说明。
视频编码器112D通过使用H.264/AVC（高级视频编码）编码从数据提取单元111输出的三维图像数据从而获得编码视频数据。视频编码器112D还通过使用在视频编码器112D之后提供的流格式化器（未示出）产生包括编码视频数据的视频基本流（视频数据流）。
在这种情况下，视频编码器112D将3D显示裁剪信息（参见图4）插入视频数据流的报头中。将3D显示裁剪信息插入访问单元的SPS（序列参数集）中（参见图16）。将“帧封装排列SEI消息”插入访问单元的SEI中（参见图16）。在该SEI中，包含指示什么类型的传输格式用于三维图像数据的类型信息（传输格式信息）。
多路复用器114D将由视频编码器112D和音频编码器113产生的基本流分组化，并多路复用该分组化的流从而产生传输流（多路复用数据流）TS。
图34所示的传输数据发生器110D的其它部件与图2所示的传输数据发生器110的那些部件类似地配置和操作。在图34所示的传输数据发生器110D中，多路复用器114D产生以下传输流（多路复用数据流）TS。传输流TS包括包含具有左眼图像数据和右眼图像数据的三维图像数据的视频数据流。将3D显示裁剪信息插入视频数据流的报头中。
“接收器的配置的示例”
作为可以执行3D显示的电视接收机（3DTV）的接收器200D未示出，且与图10所示的接收器200类似地配置和操作。3D信号处理器216基于插入访问单元的SPS（序列参数集）中的3D显示裁剪信息，裁剪包含实际图像数据的1920-像素×1080-行图像数据，从而产生3DTV左眼显示图像数据SL和右眼显示图像数据SR。
更具体地，如果采用并排模式，如图35所示，3D信号处理器216D从1920-像素×1080-行图像数据裁剪包含实际图像数据的1920-像素×1088-行图像数据。3D信号处理器216D然后将该图像数据划分为左和右帧并关于左和右帧的每一个执行水平缩放处理，由此产生3DTV 1920-像素×1080-行左眼显示图像数据SL和右眼显示图像数据SR。
替代地，如果采用上下模式，如图36所示，则3D信号处理器216D从1920-像素×1080-行图像数据裁剪包含实际图像数据的1920-像素×1088-行图像数据。3D信号处理器216D然后将该图像数据划分为上和下帧并关于上和下帧的每一个执行垂直缩放处理，由此产生3DTV 1920-像素×1080-行左眼显示图像数据SL和右眼显示图像数据SR。
图37图示作为执行2D显示的电视接收机（2DTV）的接收器200D的配置的示例。在图37中，与图13中的元件对应元件由相同的附图标记指定，且按照需要省略其详细说明。
视频解码器214解码包含在由去复用器213提取的视频基本流（视频数据流）中的编码图像数据从而获得经解码的三维图像数据。该三维图像数据是包括八行空白数据的1920-像素×1088-行图像数据。该三维图像数据然后临时存储在DO缓冲器215中。
视频解码器214还提取视频数据流的报头信息并提供报头信息到CPU201。在这种情况下，用于三维图像数据的3D显示裁剪信息和传输格式信息包含在访问单元的SPS中。基于裁剪信息和传输格式信息控制将在之后描述的由2D信号处理器221D执行的图像数据裁剪处理。
CPU 201将3D显示裁剪信息转换为2D显示裁剪信息。例如，如果三维图像数据的传输格式是并排模式，则指示水平结束位置，即，右边缘位置的值“frame_crop_right_offset”减小1/2。如果三维图像数据的传输格式是上下模式，则指示垂直结束位置，即，下边缘位置的值“frame_crop_bottom_offset”减小1/2。
例如，2D信号处理器221D基于2D显示裁剪信息从存储在DO缓冲器215中的3D图像数据裁剪左眼图像数据，从而产生2DTV显示图像数据SV。
例如，如果采用并排模式，如图35所示，则例如，2D信号处理器221D从包含实际图像数据的1920-像素×1080-行图像数据裁剪960-像素×1080-行左眼图像数据。然后，2D信号处理器221D关于该左眼图像数据执行缩放处理从而产生2DTV 1920-像素×1080-行显示图像数据SV。
例如，如果采用上下模式，如图36所示，则例如，2D信号处理器221D从包含实际图像数据的1920-像素×1080-行图像数据裁剪1920-像素×540-行左眼图像数据。然后，2D信号处理器221关于该左眼图像数据执行缩放处理从而产生2DTV 1920-像素×1080-行显示图像数据SV。
图37所示的接收器200D的其它部件与图13所示的接收器200a的那些组件相同地配置和操作。在图37所示的接收器200D中，2D信号处理器221D基于插入视频流数据的报头中的用于三维图像数据的3D显示裁剪信息和传输格式信息执行图像数据裁剪和缩放，从而正确地产生二维显示图像数据，由此执行正确的2D显示。
工业应用性
例如，本发明可应用于通过广播波并排或上下发送三维图像数据的图像发送/接收系统。
附图标记列表
10，10A到10D...图像发送/接收系统
100，100A到100D...广播站
110，110A，110C，110D...传输数据发生器
111...数据提取单元
111a...数据记录介质
112，112A，112C，112D...视频编码器
113...音频编码器
114，114A，114C，114D...多路复用器
200，200A到200C...接收器
201...CPU
202...闪速ROM
203...DRAM
204...内部总线
205...遥控接收器
206...遥控发射器
210...天线端子
211...数字调谐器
212...传输流缓冲器（TS缓冲器）
213...去复用器
214...视频解码器
215...显示输出缓冲器（DO缓冲器）
216，216A到216C...3D信号处理器
217L，217R...观看缓冲器
218...音频解码器
219...信道处理器
221，221D...2D信号处理器
222...观看缓冲器

Claims (20)

1.一种图像数据发送设备，包括：
图像数据输出单元，输出包含左眼图像数据和右眼图像数据的三维图像数据；和
发送器，发送包含数据流的多路复用数据流，该数据流包括从所述图像数据输出单元输出的三维图像数据、插入数据流的报头中的用于二维显示的第一裁剪信息和用于三维显示的第二裁剪信息。
2.根据权利要求1的图像数据发送设备，其中，所述发送器将指示在数据流的报头中是否存在所述第二裁剪信息的标记信息插入数据流的较高层中。
3.根据权利要求2的图像数据发送设备，其中，
所述多路复用数据流包括用作节目特定信息的节目映射表，所述节目特定信息指示包含在多路复用数据流中的每个基本流属于哪个节目；和
所述发送器将所述标记信息插入所述节目映射表下。
4.根据权利要求3的图像数据发送设备，其中，所述发送器插入所述标记信息作为所述节目映射表的节目描述符。
5.根据权利要求3的图像数据发送设备，其中，所述发送器将所述标记信息插入所述节目映射表的视频基本环下。
6.根据权利要求1的图像数据发送设备，其中，将指示由第二裁剪信息表示的裁剪状态持续直到何时的信息添加到所述第二裁剪信息。
7.一种图像数据发送方法，包括：
图像数据输出步骤，输出包含左眼图像数据和右眼图像数据的三维图像数据；和
发送步骤，发送包含数据流的多路复用数据流，所述数据流包括在所述图像数据输出步骤输出的三维图像数据、插入数据流的报头中的用于二维显示的第一裁剪信息和用于三维显示的第二裁剪信息。
8.一种图像数据接收设备，包括：
接收器，接收包含数据流的多路复用数据流，所述数据流包括具有左眼图像数据和右眼图像数据的三维图像数据、插入数据流的报头中的用于二维显示的第一裁剪信息和用于三维显示的第二裁剪信息；和
图像数据处理器，基于从由所述接收器接收的多路复用数据流获得的三维图像数据产生左眼和右眼显示图像数据，
其中，所述图像数据处理器基于包含在数据流的报头中的第二裁剪信息执行图像数据裁剪处理。
9.一种图像数据接收方法，包括：
接收步骤，接收包含数据流的多路复用数据流，所述数据流包括具有左眼图像数据和右眼图像数据的三维图像数据、插入数据流的报头中的用于二维显示的第一裁剪信息和用于三维显示的第二裁剪信息；和
图像数据处理步骤，基于从在所述接收步骤中接收的多路复用数据流获得的三维图像数据产生左眼和右眼显示图像数据，
其中，在所述图像数据处理步骤中，基于包含在数据流的报头中的第二裁剪信息执行图像数据裁剪处理。
10.一种图像数据接收设备，包括：
接收器，接收包含数据流的多路复用数据流，所述数据流包括具有左眼图像数据和右眼图像数据的三维图像数据、插入数据流的报头中的用于二维显示的裁剪信息；和
图像数据处理器，基于从由所述接收器接收的多路复用数据流获得的三维图像数据产生左眼和右眼显示图像数据，
其中，所述图像数据处理器将包含在数据流的报头中的用于二维显示的裁剪信息转换为用于三维显示的裁剪信息，并基于用于三维显示的裁剪信息执行从由所述接收器接收的多路复用数据流获得的三维图像数据的图像数据裁剪处理。
11.一种图像数据接收方法，包括：
接收步骤，接收包含数据流的多路复用数据流，所述数据流包括具有左眼图像数据和右眼图像数据的三维图像数据、插入数据流的报头中的用于二维显示的裁剪信息；和
图像数据处理步骤，基于从在所述接收步骤中接收的多路复用数据流获得的三维图像数据产生左眼和右眼显示图像数据，
其中，在所述图像数据处理步骤中，将包含在数据流的报头中的用于二维显示的裁剪信息转换为用于三维显示的裁剪信息，且基于用于三维显示的裁剪信息执行用于从由所述接收步骤接收的多路复用数据流获得的三维图像数据裁剪图像数据的图像数据裁剪处理。
12.一种图像数据接收设备，包括：
接收器，接收包含数据流的多路复用数据流，所述数据流包括具有左眼图像数据和右眼图像数据的三维图像数据、插入数据流的报头中的用于二维显示的裁剪信息；和
图像数据处理器，基于从由所述接收器接收的多路复用数据流获得的三维图像数据产生左眼和右眼显示图像数据，
其中，所述图像数据处理器基于用于二维显示的裁剪信息执行图像数据裁剪处理从而产生左眼和右眼显示图像数据之一，且所述图像数据处理器基于在基于用于二维显示的裁剪信息执行图像数据裁剪处理之后留下的图像数据产生左眼和右眼显示图像数据中的另一个。
13.一种图像数据接收方法，包括：
接收步骤，接收包含数据流的多路复用数据流，所述数据流包括具有左眼图像数据和右眼图像数据的三维图像数据、插入数据流的报头中的用于二维显示的裁剪信息；和
图像数据处理步骤，基于从在所述接收步骤中接收的多路复用数据流获得的三维图像数据产生左眼和右眼显示图像数据，
其中，在所述图像数据处理步骤中，基于用于二维显示的裁剪信息执行图像数据裁剪处理从而产生左眼和右眼显示图像数据之一，且基于在基于用于二维显示的裁剪信息执行图像数据裁剪处理之后留下的图像数据产生左眼和右眼显示图像数据中的另一个。
14.一种图像数据发送设备,包括：
图像数据输出单元，输出包含左眼图像数据和右眼图像数据的三维图像数据；和
发送器，发送包含数据流的多路复用数据流，所述数据流包括从所述图像数据输出单元输出的三维图像数据、插入数据流的报头中的裁剪信息，
其中，发送器将用于标识裁剪信息是用于二维图像的裁剪信息还是用于三维图像的裁剪信息的标识信息插入数据流的报头或者数据流的较高层中。
15.根据权利要求14的图像数据发送设备，其中，用于标识所述裁剪信息是用于三维图像的裁剪信息的所述标识信息包括指示裁剪信息是用于左眼图像数据的裁剪信息还是用于右眼图像数据的裁剪信息的信息。
16.根据权利要求14的图像数据发送设备，其中，
将所述标识信息插入数据流的报头中；和
将指示由裁剪信息表示的裁剪状态持续直到何时的信息添加到所述标识信息。
17.根据权利要求14的图像数据发送设备，其中，
所述多路复用数据流包括用作节目特定信息的节目映射表，所述节目特定信息指示包含在多路复用数据流中的每个基本流属于哪个节目；和
所述发送器将所述标识信息插入所述节目映射表下。
18.一种图像数据发送方法，包括：
图像数据输出步骤，输出包含左眼图像数据和右眼图像数据的三维图像数据；和
发送步骤，发送包含数据流的多路复用数据流，所述数据流包括在所述图像数据输出步骤中输出的三维图像数据、插入数据流的报头中的裁剪信息，
其中，在所述发送步骤中，将用于标识裁剪信息是用于二维图像的裁剪信息还是用于三维图像的裁剪信息的标识信息插入数据流的报头中或者数据流的较高层中。
19.一种图像数据接收设备，包括：
接收器，接收包含数据流的多路复用数据流，所述数据流包括具有左眼图像数据和右眼图像数据的三维图像数据、插入数据流的报头中的用于三维显示的裁剪信息和用于三维图像数据的传输格式信息；和
图像数据处理器，基于从由所述接收器接收的多路复用数据流获得的三维图像数据产生二维显示图像数据，
其中，所述图像数据处理器基于包含在数据流的报头中的用于三维显示的裁剪信息和用于三维图像数据的传输格式信息来执行图像数据裁剪处理和缩放处理。
20.一种图像数据接收方法，包括：
接收步骤，接收包含数据流的多路复用数据流，所述数据流包括具有左眼图像数据和右眼图像数据的三维图像数据、插入数据流的报头中的用于三维显示的裁剪信息和用于三维图像数据的传输格式信息；和
图像数据处理步骤，基于从在所述接收步骤中接收的多路复用数据流获得的三维图像数据产生二维显示图像数据，
其中，在所述图像数据处理步骤中，基于包含在数据流的报头中的用于三维显示的裁剪信息和用于三维图像数据的传输格式信息来执行图像数据裁剪处理和缩放处理。
CN2011800151612A 2010-11-22 2011-11-01 图像数据发送设备、图像数据发送方法、图像数据接收设备和图像数据接收方法 Pending CN102812713A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2010-260193 2010-11-22
JP2010260193A JP2012114575A (ja) 2010-11-22 2010-11-22 画像データ送信装置、画像データ送信方法、画像データ受信装置および画像データ受信方法
PCT/JP2011/075135 WO2012070364A1 (ja) 2010-11-22 2011-11-01 画像データ送信装置、画像データ送信方法、画像データ受信装置および画像データ受信方法

Publications (1)

Publication Number Publication Date
CN102812713A true CN102812713A (zh) 2012-12-05

Family

ID=46145715

Family Applications (1)

Application Number Title Priority Date Filing Date
CN2011800151612A Pending CN102812713A (zh) 2010-11-22 2011-11-01 图像数据发送设备、图像数据发送方法、图像数据接收设备和图像数据接收方法

Country Status (12)

Country Link
US (1) US20130250054A1 (zh)
EP (1) EP2512143A1 (zh)
JP (1) JP2012114575A (zh)
KR (1) KR20140000128A (zh)
CN (1) CN102812713A (zh)
AR (1) AR083869A1 (zh)
AU (1) AU2011333090A1 (zh)
BR (1) BR112012017475A2 (zh)
MX (1) MX2012008296A (zh)
RU (1) RU2012130003A (zh)
TW (1) TW201225636A (zh)
WO (1) WO2012070364A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106254751A (zh) * 2015-09-08 2016-12-21 深圳市易知见科技有限公司 一种音视频处理装置及音视频处理方法

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013005410A (ja) * 2011-06-21 2013-01-07 Sony Corp 画像フォーマット判別装置、画像フォーマット判別方法、画像再生装置および電子機器
WO2013150944A1 (ja) * 2012-04-06 2013-10-10 ソニー株式会社 復号装置および復号方法、並びに、符号化装置および符号化方法
US20140009464A1 (en) * 2012-07-05 2014-01-09 Kabushiki Kaisha Toshiba Electronic apparatus and desktop image display method
US9584804B2 (en) * 2012-07-10 2017-02-28 Qualcomm Incorporated Coding SEI NAL units for video coding
JP6181848B2 (ja) * 2014-02-21 2017-08-16 エルジー エレクトロニクス インコーポレイティド ３ｄ放送信号を処理する方法及び装置
US10244242B2 (en) * 2014-06-25 2019-03-26 Qualcomm Incorporated Multi-layer video coding

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005110121A (ja) * 2003-10-01 2005-04-21 Sharp Corp 画像データ表示装置
JP2005130313A (ja) * 2003-10-24 2005-05-19 Sony Corp 立体視画像処理装置
CN1682539A (zh) * 2002-07-16 2005-10-12 韩国电子通信研究院 用于适配2d和3d立体视频信号的装置和方法
CN1882080A (zh) * 2005-06-14 2006-12-20 三星电子株式会社 包括图像数据的传输流结构及收发图像数据的设备和方法

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4190357B2 (ja) 2003-06-12 2008-12-03 シャープ株式会社 放送データ送信装置、放送データ送信方法および放送データ受信装置
US20060041503A1 (en) * 2004-08-21 2006-02-23 Blair William R Collaborative negotiation methods, systems, and apparatuses for extended commerce
BRPI0823512A2 (pt) * 2007-04-12 2013-11-26 Thomson Licensing Ladrilhamento em codificação e decodificação de vídeo
EP2153670A4 (en) * 2007-06-11 2011-03-09 Samsung Electronics Co Ltd METHOD AND DEVICE FOR GENERATING HEADLINE INFORMATION ON A STEREOSCOPIC IMAGE
KR101506217B1 (ko) * 2008-01-31 2015-03-26 삼성전자주식회사 스테레오스코픽 영상의 부분 데이터 구간 재생을 위한스테레오스코픽 영상 데이터스트림 생성 방법과 장치, 및스테레오스코픽 영상의 부분 데이터 구간 재생 방법과 장치
AU2009332433A1 (en) * 2008-12-26 2010-07-01 Panasonic Corporation Recording medium, reproduction device, and integrated circuit
JPWO2012017643A1 (ja) * 2010-08-06 2013-10-03 パナソニック株式会社 符号化方法、表示装置、及び復号方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1682539A (zh) * 2002-07-16 2005-10-12 韩国电子通信研究院 用于适配2d和3d立体视频信号的装置和方法
JP2005110121A (ja) * 2003-10-01 2005-04-21 Sharp Corp 画像データ表示装置
JP2005130313A (ja) * 2003-10-24 2005-05-19 Sony Corp 立体視画像処理装置
CN1882080A (zh) * 2005-06-14 2006-12-20 三星电子株式会社 包括图像数据的传输流结构及收发图像数据的设备和方法

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106254751A (zh) * 2015-09-08 2016-12-21 深圳市易知见科技有限公司 一种音视频处理装置及音视频处理方法

Also Published As

Publication number Publication date
RU2012130003A (ru) 2014-01-20
JP2012114575A (ja) 2012-06-14
WO2012070364A1 (ja) 2012-05-31
AU2011333090A1 (en) 2012-07-26
MX2012008296A (es) 2012-08-03
TW201225636A (en) 2012-06-16
US20130250054A1 (en) 2013-09-26
EP2512143A1 (en) 2012-10-17
AR083869A1 (es) 2013-03-27
KR20140000128A (ko) 2014-01-02
BR112012017475A2 (pt) 2019-09-24

Similar Documents

Publication Publication Date Title
US9253469B2 (en) Method for displaying 3D caption and 3D display apparatus for implementing the same
US9055280B2 (en) Method and apparatus for transmitting digital broadcasting stream using linking information about multi-view video stream, and method and apparatus for receiving the same
JP5577823B2 (ja) 送信装置、送信方法、受信装置および受信方法
CN102812713A (zh) 图像数据发送设备、图像数据发送方法、图像数据接收设备和图像数据接收方法
CN104822071A (zh) 提供立体视频广播服务的数据流的发送方法和接收方法
JP2011239169A (ja) 立体画像データ送信装置、立体画像データ送信方法、立体画像データ受信装置および立体画像データ受信方法
CN103416069A (zh) 发送设备、发送方法、接收设备以及接收方法
EP2579583B1 (en) Reception device, display control method, transmission device, and transmission method
WO2012060198A1 (ja) 立体画像データ送信装置、立体画像データ送信方法、立体画像データ受信装置および立体画像データ受信方法
JPWO2013161442A1 (ja) 画像データ送信装置、画像データ送信方法、画像データ受信装置および画像データ受信方法
CN103348683A (zh) 发送设备、发送方法、接收设备以及接收方法
KR20140057242A (ko) 부호화 장치 및 부호화 방법과 복호 장치 및 복호 방법
CN103329545A (zh) 图像数据发送装置、图像数据发送方法、图像数据接收装置和图像数据接收方法
KR102189520B1 (ko) 방송 송수신 장치 및 방법
KR20140000136A (ko) 화상 데이터 송신 장치, 화상 데이터 송신 방법, 화상 데이터 수신 장치 및 화상 데이터 수신 방법
KR101360264B1 (ko) 방송 서비스 방법
KR20140095011A (ko) 송신 장치, 송신 방법, 수신 장치 및 수신 방법
CN103843330A (zh) 发送设备、发送方法、接收设备以及接收方法
KR20140053938A (ko) 신호 송신 방법

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C02 Deemed withdrawal of patent application after publication (patent law 2001)
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20121205