CN103081477A - 图像数据发送装置、图像数据发送装置的控制方法、图像数据发送方法、和图像数据接收装置 - Google Patents

图像数据发送装置、图像数据发送装置的控制方法、图像数据发送方法、和图像数据接收装置 Download PDF

Info

Publication number
CN103081477A
CN103081477A CN2011800405093A CN201180040509A CN103081477A CN 103081477 A CN103081477 A CN 103081477A CN 2011800405093 A CN2011800405093 A CN 2011800405093A CN 201180040509 A CN201180040509 A CN 201180040509A CN 103081477 A CN103081477 A CN 103081477A
Authority
CN
China
Prior art keywords
image data
picture frame
data
view
conversion process
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN2011800405093A
Other languages
English (en)
Inventor
塚越郁夫
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Publication of CN103081477A publication Critical patent/CN103081477A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/194—Transmission of image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/139—Format conversion, e.g. of frame-rate or size
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/161—Encoding, multiplexing or demultiplexing different image signal components
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/172—Processing image signals image signals comprising non-image signal components, e.g. headers or format information
    • H04N13/178—Metadata, e.g. disparity information
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/4104—Peripherals receiving signals from specially adapted client devices
    • H04N21/4122—Peripherals receiving signals from specially adapted client devices additional display device, e.g. video projector
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/436—Interfacing a local distribution network, e.g. communicating with another STB or one or more peripheral devices inside the home
    • H04N21/4363—Adapting the video stream to a specific local network, e.g. a Bluetooth® network
    • H04N21/43632—Adapting the video stream to a specific local network, e.g. a Bluetooth® network involving a wired protocol, e.g. IEEE 1394
    • H04N21/43635—HDMI
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/4402—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display
    • H04N21/440263—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display by altering the spatial resolution, e.g. for displaying on a connected PDA
    • H04N21/440272—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display by altering the spatial resolution, e.g. for displaying on a connected PDA for performing aspect ratio conversion
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/485—End-user interface for client configuration
    • H04N21/4858—End-user interface for client configuration for modifying screen layout parameters, e.g. fonts, size of the windows
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/81—Monomedia components thereof
    • H04N21/816—Monomedia components thereof involving special video data, e.g 3D video
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/007—Systems with supplementary picture signal insertion during a portion of the active part of a television signal, e.g. during top and bottom lines in a HDTV letter-box system
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/01—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level
    • H04N7/0117—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level involving conversion of the spatial resolution of the incoming video signal
    • H04N7/0122—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level involving conversion of the spatial resolution of the incoming video signal the input and the output signals having different aspect ratios

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Human Computer Interaction (AREA)
  • Library & Information Science (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Controls And Circuits For Display Device (AREA)

Abstract

为了避免由于减小诸如侧板格式或信箱格式的黑带数据区的画框转换而出现在三维图像显示中的问题。机顶盒（STB）（200）经由HDMI电缆（400）将通过作为广播电波由广播站（100）发送的图像数据发送到电视接收机（300）。STB（200）具有用于减小诸如侧板格式和信箱格式的黑带数据区的画框转换功能。STB（200）响应用户操作或自动地进行画框转换。如果画框转换导致在显示三维图像时的问题，那么STB（200）不进行画框转换。如果接收图像数据的发送方法是并排方法或上下方法，或者此外响应于来自电视接收机的请求，STB（200）确定不进行画框转换。

Description

图像数据发送装置、图像数据发送装置的控制方法、图像数据发送方法、和图像数据接收装置
技术领域
本发明涉及图像数据发送装置、图像数据发送装置的控制方法、图像数据发送方法、和图像数据接收装置。具体地说，本发明涉及能够对接收的图像数据进行画框转换处理，并将图像数据发送给外部设备的图像数据发送装置等。
背景技术
过去，众所周知，广播站发送显示三维图像的三维图像数据，机顶盒（BTB）接收三维图像数据，然后，该机顶盒使用诸如HDMI（高清晰度多媒体接口）标准的数字接口将三维图像数据发送给电视接收器（TV：电视）。例如，非专利文献1描述了HDMI标准的细节。
例如，专利文献1提出了使用三维图像数据的电视广播无线电波的传输方法。在这种情况下，发送包括左眼的图像数据和右眼的图像数据的三维图像数据，电视接收器使用两眼之间的视差显示三维图像。
图18图示了使用两眼之间的视差的三维图像的显示中，屏幕上的对象A的左右图像的显示位置与三维图像的再现位置之间的关系。例如，如屏幕上所示，对象A是这样显示的，对象A的左图像La向右侧漂移了，而对象A的右图像Ra向左侧漂移了，左右眼睛看对象A的视线相交在与比屏幕表面更接近观看者的点上。于是，对象A的三维图像的再现位置在比屏幕表面更接近观看者的点上。
例如，如屏幕上所示，对象B是这样显示的，对象B的左图像Lb和对象B的右图像Rb处在相同位置上，左右眼睛看对象B的视线相交在屏幕表面上。于是，对象B的三维图像的再现位置在屏幕表面上。例如，如屏幕上所示，对象C是这样显示的，对象C的左图像Lc向左侧漂移了，而对象C的右图像Rc向右侧漂移了，左右眼睛看对象C的视线相交在与比屏幕表面更深的点上。于是，对象C的三维图像的再现位置在比屏幕表面更深的点上。
引用列表
专利文献
专利文献1：日本已公开专利申请第2005-6114号
非专利文献
非专利文献1：高清晰度多媒体接口规范1.4版，2009年6月5日
发明内容
本发明要解决的问题
广播站给出的三维图像数据以，例如，1280×720，1920×1080的画框发送。当三维图像数据像具有侧板格式或信箱格式时，在其画框中包括黑带数据区。应当注意到，侧板格式也称为邮筒格式。机顶盒可以对解码的三维图像数据进行画框转换，以便使黑带数据区最小。当进行画框转换时，与侧板或信箱相对应的黑带数据区减小了。
来自广播站的三维图像数据的发送方法示例包括并排方法、上下方法、和帧顺序方法。在并排方法中，在水平方向的前一半中发送左眼图像数据的像素数据，在水平方向的后一半中发送右眼图像数据的像素数据。在上下方法中，在垂直方向的前一半中发送左眼图像数据每行的数据，在垂直方向的后一半中发送右眼图像数据每行的数据。在帧顺序方法中，通过相继切换每个帧发送左眼图像数据和右眼图像数据。
当从广播站发送的并排方法的三维图像数据具有侧板格式时，在左眼图像数据与右眼图像数据之间可能存在沿着垂直方向延伸的黑带数据区。当从广播站发送的上下方法的三维图像数据具有信箱格式时，在左眼图像数据与右眼图像数据之间可能存在沿着水平方向延伸的黑带数据区。
当在左眼图像数据区与右眼图像数据区之间存在黑带数据区，和机顶盒如上所述进行画框转换以减小与侧板或信箱相对应的黑带数据区的宽度时，存在在三维图像显示中可能引起问题的缺点。在这种情况下，对于画框转换，左眼图像和右眼图像的显示位置会出现位移。
图19（a）到19（d）图示了机顶盒（STB）未进行画框转换的处理，和在电视接收器（TV）的三维图像显示中未出现问题的情况的示例。在这种情况下，机顶盒未以减小与侧板或信箱相对应的黑带数据区。因此，在电视接收器上，未引起左眼图像和右眼图像的显示位置的位移，三维图像被正确显示出来。
图19（a）图示了从广播站发送的并排方法的三维图像数据具有侧板格式，和在左眼图像数据区与右眼图像数据区之间存在沿着垂直方向延伸的黑带数据区ARb的情况。在这种情况下，机顶盒未进行画框转换，和未作任何处理地将从广播站发送的三维图像数据发送给电视接收器（TV）。
在电视接收器上，沿着水平方向将三维图像数据分成两半，并沿着水平方向将加倍缩放处理应用于每一半。其结果是，生成左眼图像数据和右眼图像数据。在这种情况下，机顶盒不进行画框转换处理，因此，左端和右端两者上的黑带数据区ARb的宽度与存在于左眼图像数据区与右眼图像数据区之间的黑带数据区ARb的宽度之间的比值没有改变。因此，在电视接收器上，未引起左眼图像和右眼图像的显示位置的位移，三维图像被正确显示出来。
图19（b）图示了从广播站发送的上下方法的三维图像数据具有侧板格式的情况。在这种情况下，机顶盒未进行画框转换，和未作任何处理地将从广播站发送的三维图像数据发送给电视接收器（TV）。在电视接收器上，沿着垂直方向将三维图像数据分成两半，并沿着垂直方向将加倍缩放处理应用于每一半。其结果是，生成左眼图像数据和右眼图像数据。在这种情况下，未引起左眼图像和右眼图像的显示位置的位移，三维图像被正确显示出来。
图19（c）图示了从广播站发送的并排方法的三维图像数据具有信箱格式的情况。在这种情况下，机顶盒未进行画框转换，和未作任何处理地将从广播站发送的三维图像数据发送给电视接收器（TV）。在电视接收器上，沿着水平方向将三维图像数据分成两半，并沿着水平方向将加倍缩放处理应用于每一半。其结果是，生成左眼图像数据和右眼图像数据。在这种情况下，未引起左眼图像和右眼图像的显示位置的位移，三维图像被正确显示出来。
图19（d）图示了从广播站发送的上下方法的三维图像数据具有信箱格式，和在左眼图像数据区与右眼图像数据区之间存在沿着水平方向延伸的黑带数据区ARb的在的情况。在这种情况下，机顶盒未进行画框转换，和未作任何处理地将从广播站发送的三维图像数据发送给电视接收器（TV）。
在电视接收器上，沿着垂直方向将三维图像数据分成两半，并沿着垂直方向将加倍缩放处理应用于每一半。其结果是，生成左眼图像数据和右眼图像数据。在这种情况下，机顶盒不进行画框转换处理，因此，左端和右端两者上的黑带数据区ARb的宽度与存在于左眼图像数据区与右眼图像数据区之间的黑带数据区ARb的宽度之间的比值没有改变。因此，在电视接收器上，未引起左眼图像和右眼图像的显示位置的位移，三维图像被正确显示出来。
图20（a）和20（b）图示了机顶盒（STB）进行画框处理，和在电视接收器（TV）的三维图像显示中出现问题的情况的示例。在这种情况下，机顶盒减小与侧板或信箱相对应的黑带数据区。因此，在电视接收器上，引起左眼图像和右眼图像的显示位置的位移，三维图像被正确显示出来。
图20（a）图示了从广播站发送的并排方法的三维图像数据具有侧板格式，和在左眼图像数据区与右眼图像数据区之间存在沿着垂直方向延伸的黑带数据区ARb的情况。在这种情况下，机顶盒进行画框转换以减小与侧板相对应的黑带数据区ARb，并将转换的图像数据发送给电视接收器（TV）。
在电视接收器上，沿着水平方向将三维图像数据分成两半，并沿着水平方向将加倍缩放处理应用于每一半。其结果是，生成左眼图像数据和右眼图像数据。在这种情况下，机顶盒进行画框转换处理，因此，左端和右端两者上的黑带数据区ARb的宽度与存在于左眼图像数据区与右眼图像数据区之间的黑带数据区ARb的宽度之间的比值发生改变。因此，在电视接收器上，引起左眼图像和右眼图像的显示位置的位移，三维图像被正确显示出来。
图20（b）图示了从广播站发送的上下方法的三维图像数据具有信箱格式，和在左眼图像数据区与右眼图像数据区之间存在沿着水平方向延伸的黑带数据区ARb的情况。在这种情况下，机顶盒进行画框转换以减小与信箱相对应的黑带数据区ARb，并将转换的图像数据发送给电视接收器（TV）。
在电视接收器上，沿着垂直方向将三维图像数据分成两半，并沿着垂直方向将加倍缩放处理应用于每一半。其结果是，生成左眼图像数据和右眼图像数据。在这种情况下，机顶盒进行画框转换处理，因此，左端和右端两者上的黑带数据区ARb的宽度与存在于左眼图像数据区与右眼图像数据区之间的黑带数据区ARb的宽度之间的比值发生改变。因此，在电视接收器上，引起左眼图像和右眼图像的显示位置的位移，三维图像被正确显示出来。
图21（a）和21（b）图示了机顶盒（STB）进行画框处理，但在电视接收器（TV）的三维图像显示中未出现问题的情况的示例。在这种情况下，机顶盒减小与侧板或信箱相对应的黑带数据区。因此，在电视接收器上，未引起左眼图像和右眼图像的显示位置的位移，三维图像被正确显示出来。
图21（a）图示了从广播站发送的上下方法的三维图像数据具有侧板格式的情况。在这种情况下，机顶盒进行画框转换以减小与侧板相对应的黑带数据区ARb，并将转换的图像数据发送给电视接收器（TV）。
在电视接收器上，沿着垂直方向将三维图像数据分成两半，并沿着垂直方向将加倍缩放处理应用于每一半。其结果是，生成左眼图像数据和右眼图像数据。在这种情况下，机顶盒减小了与侧板相对应的黑带数据区ARb。因此，在电视接收器上，未引起左眼图像和右眼图像的显示位置的位移，三维图像被正确显示出来。
图21（b）图示了从广播站发送的并排方法的三维图像数据具有信箱格式的情况。在这种情况下，机顶盒进行画框转换以减小与信箱相对应的黑带数据区ARb，并将转换的图像数据发送给电视接收器（TV）。
在电视接收器上，沿着水平方向将三维图像数据分成两半，并沿着水平方向将加倍缩放处理应用于每一半。其结果是，生成左眼图像数据和右眼图像数据。在这种情况下，机顶盒减小了与信箱相对应的黑带数据区ARb。因此，在电视接收器上，未引起左眼图像和右眼图像的显示位置的位移，三维图像被正确显示出来。
本发明的目的是抑制由于画框转换处理而出现在三维图像显示中的问题。
问题的解决方案
本发明的一个概念在于图像数据发送装置，其包括：图像数据接收单元，用于接收显示三维图像的三维图像数据；图像数据处理单元，用于处理所述图像数据接收单元接收的三维图像数据；图像数据发送单元，用于经由传输路径向外部设备发送从所述图像数据处理单元输出的三维图像数据；以及控制单元，用于控制所述图像数据处理单元，其中当所述图像数据接收单元接收的三维图像数据的发送方法是并排方法或上下方法时，所述控制单元控制所述图像数据处理单元不对三维图像数据进行画框转换处理。
在本发明中，所述图像数据接收单元接收显示三维图像的三维图像数据。例如，所述图像数据接收单元接收来自广播信号的三维图像数据。例如，所述图像数据接收单元接收经由网络来自流式服务器的三维图像数据。三维图像数据经过所述图像数据处理单元处理，此后由所述图像数据发送单元经由传输路径发送给外部设备。例如，三维图像数据使用差分信号经由传输路径发送给外部设备。与外部设备的连接使用，例如，像HDMI那样的数字接口作出。
所述控制单元控制所述图像数据处理单元。在这种情况下，当所述图像数据接收单元接收的三维图像数据的发送方法是并排方法或上下方法时，所述图像数据处理单元进行控制，以便不对三维图像数据进行画框转换处理。
如上所述，在本发明中，当所接收三维图像数据的发送方法是并排方法或上下方法时，所述图像数据处理单元不对三维图像数据进行画框转换处理。当所接收三维图像数据是并排方法的三维图像数据时（侧板格式）（参见图20（a）），由于画框转换处理，在三维图像显示中会出问题。当所接收三维图像数据是上下方法的三维图像数据时（信箱格式）（参见图20（b）），由于画框转换处理，在三维图像显示中会出问题。
在本发明中，例如，当所述图像数据接收单元接收的三维图像数据的发送方法是并排方法或上下方法时，以及当外部设备请求不作画框转换处理地发送三维图像数据时，所述控制单元可以控制所述图像数据处理单元不对三维图像数据进行画框转换处理。在这种情况下，例如，所述控制单元可以经由传输路径从提供在外部设备中的存储单元中读取和获得指示是否请求不作画框转换处理地发送三维图像数据的信息。在这种情况下，对是否进行画框转换处理的控制可以通过外部设备来控制。
本发明的另一个概念在于图像数据接收装置，其包括：图像数据接收单元，用于经由传输路径从外部设备接收用于显示三维图像的三维图像数据；以及控制单元，用于经由传输路径控制外部设备中三维图像数据的画框转换功能。
在本发明中，所述图像数据接收单元经由传输路径从外部设备接收显示三维图像的三维图像数据。并且，所述控制单元经由传输路径控制外部设备中三维图像数据的画框转换功能。例如，将指示是否请求不作画框转换处理地发送三维图像数据的信息登记到外部设备可以经由传输路径读取的存储单元中。
如上所述，经由传输路径从外部设备发送三维图像数据，并且可以控制外部设备中三维图像数据的画框转换功能。例如，当进行画框转换处理时，在三维图像显示中可能会出麻烦（参见图20（a）和20（b））。在这种情况下，例如，可以进行控制以便在外部设备中不对三维图像数据进行画框转换处理，这样就可以抑制出现在三维图像显示中的问题。
本发明的另一个概念在于图像数据发送装置，其包括：图像数据接收单元，用于接收显示三维图像的三维图像数据；图像数据处理单元，用于处理所述图像数据接收单元接收的三维图像数据；图像数据发送单元，用于经由传输路径向外部设备发送从所述图像数据处理单元输出的三维图像数据；以及控制单元，用于控制所述图像数据处理单元，其中当所述图像数据接收单元接收的三维图像数据是并排方法或上下方法的时，以及当三维图像数据包括左眼图像数据区与右眼图像数据区之间的黑带数据区时，所述控制单元控制所述图像数据处理单元至少不对三维图像数据进行包括沿着与黑带数据区的纵向垂直的方向的转换的画框转换处理。
在本发明中，所述图像数据接收单元接收显示三维图像的三维图像数据。例如，所述图像数据接收单元接收来自广播信号的三维图像数据。例如，所述图像数据接收单元接收经由网络来自流式服务器的三维图像数据。三维图像数据经过所述图像数据处理单元处理，此后由所述图像数据发送单元经由传输路径发送给外部设备。例如，三维图像数据使用差分信号经由传输路径发送给外部设备。与外部设备的连接使用，例如，像HDMI那样的数字接口作出。
所述控制单元控制所述图像数据处理单元。在这种情况下，当所述图像数据接收单元接收的三维图像数据是并排方法或上下方法的时，以及当三维图像数据包括左眼图像数据区与右眼图像数据区之间的黑带数据区时，限制所述图像数据处理单元中的画框转换处理。更具体地说，在这种场合下，所述图像数据处理单元至少不进行包括沿着与黑带数据区的纵向垂直的方向的转换的画框转换处理。
例如，所述控制单元根据附在三维图像数据上的有效格式信息，确定三维图像数据是否包括黑带数据区。例如，所述控制单元根据附在三维图像数据上的全景扫描信息，确定三维图像数据是否包括黑带数据区。例如，所述控制单元通过处理三维图像数据，确定三维图像数据是否包括黑带数据区。例如，所述控制单元以这样的方式作出确定，那就是当三维图像数据是并排方法的时，通过沿着垂直方向扫描图像的水平中心部分及其周围作出确定，而当三维图像数据是上下方法的时，通过沿着水平方向扫描图像的垂直中心部分及其周围作出确定。
在本发明中，例如，当所述图像数据接收单元接收的三维图像数据是并排方法的或上下方法的时，以及当三维图像数据包括左眼图像数据区与右眼图像数据区之间的黑带数据区时，所述控制单元可以允许所述图像数据处理单元通过沿着黑带数据区的纵向的线性变换进行画框转换处理。
在本发明中，例如，当所述图像数据接收单元接收的三维图像数据是并排方法的或上下方法的时，以及当三维图像数据未包括左眼图像数据区与右眼图像数据区之间的黑带数据区时，所述控制单元允许所述图像数据处理单元通过沿着水平方向和垂直方向的任何一个方向或沿着水平方向和垂直方向的两个方向的线性变换进行画框转换处理。
如上所述，在本发明中，当所述图像数据接收单元接收的三维图像数据是并排方法的或上下方法的时，以及当三维图像数据未包括左眼图像数据区与右眼图像数据区之间的黑带数据区时，限制所述图像数据处理单元中的画框转换处理。更具体地说，不允许在三维图像显示中引起问题的画框转换处理。
当所接收三维图像数据是并排方法的三维图像数据时（侧板格式），以及当三维图像数据未包括左眼图像数据区与右眼图像数据区之间的黑带数据区时（参见图20（a）），由于画框转换处理，在三维图像显示中会出问题。当所接收三维图像数据是上下方法的三维图像数据时（信箱格式），以及当三维图像数据未包括左眼图像数据区与右眼图像数据区之间的黑带数据区时（参见图20（b）），由于画框转换处理，在三维图像显示中会出问题。因此，本发明抑制了出现在三维图像显示中的问题。
本发明的另一个概念在于图像数据发送装置，其包括：图像数据接收单元，用于接收显示三维图像的三维图像数据；图像数据处理单元，用于处理所述图像数据接收单元接收的三维图像数据；以及图像数据发送单元，用于经由传输路径向外部设备发送从所述图像数据处理单元输出的三维图像数据，其中当所述图像数据处理单元对三维图像数据进行画框转换处理时，所述图像数据发送单元经由传输路径向外部设备发送经过画框转换处理的三维图像数据以及有关画框转换处理的转换信息。
在本发明中，所述图像数据接收单元接收显示三维图像的三维图像数据。例如，所述图像数据接收单元接收来自广播信号的三维图像数据。例如，所述图像数据接收单元接收经由网络来自流式服务器的三维图像数据。三维图像数据经过所述图像数据处理单元处理，此后由所述图像数据发送单元经由传输路径发送给外部设备。例如，三维图像数据使用差分信号经由传输路径发送给外部设备。与外部设备的连接使用，例如，像HDMI那样的数字接口作出。
当所述图像数据处理单元对三维图像数据进行画框转换处理时，所述图像数据发送单元经由传输路径向外部设备发送经过画框转换处理的三维图像数据以及有关画框转换处理的转换信息。在这种情况下，例如，一旦被插入三维图像数据的消隐间隔中时，就发送转换信息。例如，转换信息包括包括在画框转换处理中的缩放处理的转换表达式的系数信息、和转换的沿着二维方向的指定信息。例如，转换表达式被表达成R=A*d2+B，其中画框转换之前相对于图像中心的位置被表示成d，位置d的缩放比被表示成R，以及系数信息是有关上面A，B的信息。
如上所述，在本发明中，当所述图像数据处理单元对三维图像数据进行画框转换处理时，将经过画框转换处理的三维图像数据以及有关画框转换处理的信息发送给外部设备。因此，在外部设备中，例如，当画框转换处理在三维图像显示中引起麻烦时，根据有关画框转换处理的转换信息将接收的三维图像数据变回到画框转换处理之前的状态，以便抑制出现在三维图像显示中的问题。
本发明的另一个概念在于图像数据接收装置，其包括：图像数据接收单元，用于经由传输路径从外部设备接收用于显示三维图像的三维图像数据；以及图像数据处理单元，用于处理所述图像数据接收单元接收的三维图像数据，其中所述图像数据处理单元根据所述图像数据接收单元与三维图像数据一起接收的有关三维图像数据的画框转换信息，对三维图像数据进行画框逆转换处理。
在本发明中，所述图像数据接收单元经由传输路径从外部设备接收显示三维图像的三维图像数据。所述图像数据处理单元处理所述图像数据接收单元接收的三维图像数据。所述图像数据处理单元根据所述图像数据接收单元与三维图像数据一起接收的有关三维图像数据的画框转换信息，对三维图像数据进行画框逆转换处理。
如上所述，在本发明中，根据有关画框转换处理的转换信息，将经过画框转换处理的接收三维图像数据变回到画框转换处理之前的状态。因此，这抑制了由于画框转换处理而出现在三维图像显示中的问题。
发明效果
按照本发明，当接收三维图像数据的发送方法是并排方法或上下方法，以及将接收的图像数据发送给外部设备时，禁止或限制画框转换处理。另外，按照本发明，当发送经过画框转换处理的接收三维图像数据时，一起发送转换信息。因此，可以抑制由于画框转换处理而出现在三维图像显示中的问题。
附图说明
图1是图示按照本发明实施例的三维图像显示系统的配置示例的框图；
图2是图示构成三维图像显示系统的广播站的发送数据生成单元的配置示例的框图；
图3是图示以16：9宽高比的画框发送的按照并排（SBS）方法或上下（T&B）的三维图像数据的3D格式生成流程的流程图；
图4是图示构成三维图像显示系统的机顶盒的配置示例的框图；
图5（a）到5（c）是图示画框转换处理的缩放处理（广角变焦模式、变焦模式、完全模式）的概况的图形；
图6是图示构成三维图像显示系统的电视接收器的配置示例的框图；
图7是图示三维图像显示系统中机顶盒的HDMI发送单元（HDMI源）和电视接收器的HDMI接收单元（HDMI宿）的配置示例的图形；
图8是图示执行还是不执行由机顶盒的CPU进行的画框转换处理的确定处理的过程的流程图；
图9是图示包括在电视接收器中的E-EDID的结构的图形；
图10是图示EDID结构中的HDMI厂商专用数据块（VSDB）的结构的图形；
图11是图示执行还是不执行由机顶盒的CPU进行的画框转换处理的确定处理的另一个过程的流程图；
图12是图示执行还是不执行由机顶盒的CPU进行的画框转换处理的确定处理的另一个过程的流程图；
图13是图示由机顶盒的CPU进行的转换允许确定处理的过程的流程图；
图14是图示缩放处理的位置d与缩放率R之间的关系的图形，其中位置d沿着水平轴示出，缩放比R沿着垂直轴示出；
图15（a）到15（c）是说明将缩放处理的转换表达式应用于广角变焦模式、变焦模式、和完全模式的示例的图形；
图16是说明包括画框转换处理的转换信息的HDMI Vendor SpecificInfoFrame的分组结构的图形；
图17是说明包括画框转换处理的转换信息的HDMI Vendor SpecificInfoFrame的分组结构内的信息的图形；
图18是图示使用两眼之间的视差的三维图像的显示中，屏幕上的对象的左右图像的显示位置与三维图像的再现位置之间的关系的图形；
图19（a）到19（d）是图示机顶盒（STB）未进行画框转换的处理，和在电视接收器（TV）的三维图像显示中未出现问题的情况的示例的图形；
图20（a）和20（b）是图示机顶盒（STB）进行画框转换的处理，和在电视接收器（TV）的三维图像显示中出现问题的情况的示例的图形；以及
图21（a）和21（b）是图示机顶盒（STB）进行画框处理，但在电视接收器（TV）的三维图像显示中未出现问题的情况的示例的图形。
具体实施方式
在下文中，将说明实现本发明的方式。应该注意到，该说明按如下次序作出。
1.实施例
2.修改例
<1.实施例>
[三维图像显示系统的配置示例]
图1图示了按照实施例的三维图像显示系统10的配置示例。这个三维图像显示系统10包括广播站100、机顶盒（STB）200、和电视接收器（TV）300。
机顶盒200和电视接收器300经由HDMI（高清晰度多媒体接口）电缆400连接。机顶盒200配有HDMI端子202。电视接收器300配有HDMI端子302。HDMI电缆400的一端与机顶盒200的HDMI端子202连接，HDMI电缆400的另一端与电视接收器300的HDMI端子302连接。
[有关广播站的说明]
广播站100利用广播电波发送位流数据。广播站100配有生成位流数据BSD的发送数据生成单元110。位流数据BSD包括显示三维图像的三维图像数据、与三维图像数据相对应的音频数据等。从广播站发送的三维图像数据的传输格式的示例包括并排方法、上下方法、和帧顺序方法。
“发送数据生成单元的配置示例”
图2图示了广播站100中生成上述位流数据BSD的发送数据生成单元110的配置示例。这个发送数据生成单元110包括数据提取单元（归档单元）111、视频成帧单元112、视频编码器113、音频编码器114、和多路复用器115。
例如，数据记录媒体111a可拆卸地附在数据提取单元111上。这个数据记录媒体111a记录了构成三维（3D）图像数据的左眼图像数据和右眼图像数据，并进一步记录了与图像数据相联系的音频数据。数据提取单元111从数据记录媒体111a中提取图像数据（左眼图像数据、右眼图像数据）和与之相对应的音频数据。数据记录媒体111a是盘状记录媒体、半导体存储器等。
视频成帧单元112根据从数据提取单元111发送的图像数据（左眼图像数据、右眼图像数据），按照像并排方法、上下方法、帧顺序方法那样的预定发送方法生成三维图像数据。视频成帧单元112以像1280×720和1920×1080那样的像素格式生成三维图像数据。在这样的情况下，可以依照数据提取单元111给出的原始图像的像素格式，以侧板格式或信箱格式生成三维图像数据。
图3图示了由视频成帧单元112执行生成以16：9宽高比的画框发送的按照并排（SBS）方法或上下（T&B）的三维图像数据的3D格式生成流程。在在步骤ST1中输入了左眼（L）图像数据和右眼（R）图像数据之后，视频成帧单元112在步骤ST2中确定宽高比PR是否是16/9。
当PR=16/9成立时，视频成帧单元112在步骤ST3中将左眼图像数据和右眼图像数据转换成并排方法或上下方法的三维图像数据。并排方法的三维图像数据通过沿着水平方向将左眼图像数据和右眼图像数据分别压缩1/2并沿着水平方向排列它们生成。上下方法的三维图像数据通过沿着垂直方向将左眼图像数据和右眼图像数据分别压缩1/2并沿着垂直方向排列它们生成。
在这种情况下，原始图像数据（左眼图像数据、右眼图像数据）的宽高比R是16/9。因此，按照并排方法或上下方法转换的三维图像数据的宽高比是16/9。因此，在这种情况下，不插入黑带来匹配画框，视频成帧单元112生成的三维图像数据既不是侧板格式也不是信箱格式（参见（e）、（e））。
当在步骤ST2中PR<16/9成立时，在步骤ST4中确定是否首先插入黑带以便与画框匹配。当确定不首先插入黑带时，视频成帧单元112在步骤ST5中将左眼图像数据和右眼图像数据转换成并排方法或上下方法的三维图像数据（L/R交织图像数据）。在这种情况下，原始图像数据（左眼图像数据、右眼图像数据）的宽高比R小于16/9。因此，按照并排方法或上下方法转换的三维图像数据的宽高比小于16/9。
然后，在步骤ST6中，视频成帧单元112插入黑带与画框匹配。在这种情况下，将与侧板相对应的黑带数据区插入按照并排方法或上下方法转换的三维图像数据的左端和右端中。更具体地说，在这种情况下，由视频成帧单元112生成的三维图像数据是侧板格式（参见（a）、（b））。但是，由于黑带是在按照并排方法或上下方法转换之后插入的，所以在左眼图像数据与右眼图像数据之间没有黑带数据区。
当在步骤ST4中确定首先插入黑带时，视频成帧单元112在步骤ST7中插入黑带与画框匹配。在这种情况下，将与侧板相对应的黑带数据区插入左眼图像数据和右眼图像数据的左端和右端中。当插入了黑带数据区时，左眼图像数据和右眼图像数据的宽高比是16/9。
然后，在步骤ST8中，视频成帧单元112将左眼图像数据和右眼图像数据转换成并排方法或上下方法的三维图像数据。在这种情况下，视频成帧单元112生成的三维图像数据是在三维图像数据的左端和右端存在黑带数据区的侧板格式。在这种情况下，并排方法的三维图像数据包括左端和右端的黑带数据区，以及包括在左眼图像数据与右眼图像数据之间沿着垂直方向延伸的黑带数据区。另一方面，上下方法的三维图像数据包括左端和右端的黑带数据区，但不包括在左眼图像数据与右眼图像数据之间的任何黑带数据区。
当在步骤ST2中PR>16/9成立时，在步骤ST9中确定是否首先插入黑带以便与画框匹配。当确定不首先插入黑带时，视频成帧单元112在步骤ST10中将左眼图像数据和右眼图像数据转换成并排方法或上下方法的三维图像数据（L/R交织图像数据）。在这种情况下，原始图像数据（左眼图像数据、右眼图像数据）的宽高比R大于16/9。因此，按照并排方法或上下方法转换的三维图像数据的宽高比大于16/9。
然后，在步骤ST11中，视频成帧单元112插入黑带与画框匹配。在这种情况下，将与信箱相对应的黑带数据区插入按照并排方法或上下方法转换的三维图像数据的上端和下端中。更具体地说，在这种情况下，由视频成帧单元112生成的三维图像数据是信箱格式（参见（i）、（j））。但是，由于黑带是在按照并排方法或上下方法转换之后插入的，所以在左眼图像数据与右眼图像数据之间没有黑带数据区。
当在步骤ST9中确定首先插入黑带时，视频成帧单元112在步骤ST12中插入黑带与画框匹配。在这种情况下，将与信箱相对应的黑带数据区插入左眼图像数据和右眼图像数据的上端和下端中。当插入了黑带数据区时，左眼图像数据和右眼图像数据的宽高比是16/9。
然后，在步骤ST13中，视频成帧单元112将左眼图像数据和右眼图像数据转换成并排方法或上下方法的三维图像数据。在这种情况下，视频成帧单元112生成的三维图像数据是在三维图像数据的上端和下端存在黑带数据区的信箱格式。在这种情况下，上下方法的三维图像数据包括上端和下端的黑带数据区，以及包括在左眼图像数据与右眼图像数据之间沿着水平方向延伸的黑带数据区（参见（g））。另一方面，并排方法的三维图像数据包括上端和下端的黑带数据区，但不包括在左眼图像数据与右眼图像数据之间的任何黑带数据区。
如上所述，视频成帧单元112生成的并排方法或上下方法的的三维图像数据包括侧板格式和信箱格式的那些、和除了上述格式之外的其他格式的那些。并排方法的侧板格式的三维图像数据包括含有右眼图像数据区与左眼图像数据区之间的黑带数据区的那些（参见（c））。上下方法的信箱格式的三维图像数据包括含有右眼图像数据区与左眼图像数据区之间的黑带数据区的那些（参见（g））。
回到图2，视频编码器113利用MPEG-AVC、MPEG2、VC-1等编码视频成帧单元112生成的三维图像数据，从而生成图像数据流（视频基本流）。这种图像数据流可以包括AFD（有效格式描述）。这种AFD也定义在“CEA-861”中。当代表AFD中的有效格式（Active_format）的四位数据指示“完全”（16：9）时，即，当四位数据是非“0100”、“1001”、“1011”和“1101”的那些时，意味着最终未插入黑带以便使画框变成16：9。
在并排方法中，与“完全”相对应的AFD包括上述的图3中的（c）、（f）、（h）的情况。如上所述，在在左眼图像数据区与右眼图像数据区之间存在沿着垂直方向延伸的黑带数据区的（c）的3D格式下，画框转换处理会在三维图像显示中引起麻烦。在上下方法中，与“完全”相对应的AFD包括上述的图3中的（d）、（e）、（g）的情况。如上所述，在在左眼图像数据区与右眼图像数据区之间存在沿着水平方向延伸的黑带数据区的（g）的3D格式下，减小黑带数据区的宽度的画框转换处理会在三维图像显示中引起麻烦。
当上面AFD的四位数据指示非“完全”（16：9）的那些时，意味着最终插入黑带以便使画框变成16：9。与非“完全”的那些相对应的AFD包括上述的图3中的（a），（b），（i），（j）的情况。在3D格式下，减小黑带数据区的宽度的画框转换处理不会引起任何麻烦。但是，在画框转换处理的情况下，只允许线性变换，以便左眼图像与右眼图像的相对位置不会移动。
回到图2，音频编码器114利用AC3、AAC等编码数据提取单元111提供的音频数据，从而生成音频数据流。多路复用器115多路复用从视频编码器113输出的图像数据流和从音频编码器114输出的音频压缩数据流。然后，多路复用115生成用作多路复用数据流的位流数据（传输流）BSD并输出位流数据BSD。
下面简要说明如图2所示的发送数据生成单元110进行的操作。将从数据提取单元111输出的图像数据（左眼图像数据、右眼图像数据）提供给视频成帧单元112。这个视频成帧单元112根据图像数据（左眼图像数据、右眼图像数据），生成像并排方法、上下方法、和帧顺序方法那样的预定发送方法的三维图像数据。在这种情况下，生成像1280×720、1920×1080那样的像素格式的三维图像数据。依照原始图像数据的像素格式，可以以侧板格式或信箱格式生成三维图像数据。
将视频成帧单元112生成的三维图像数据提供给视频编码器113。这个视频编码器113编码像MPEG4-AVC、MPEG2、VC-1那样的三维图像数据，并生成包括编码视频数据的图像数据流（视频基本流）。这种图像数据流可以包括AFD。在这种AFD中，描述了代表有效格式的四们数据。将这种图像数据流提供给多路复用器115。
将从数据提取单元111输出的音频数据提供给音频编码器114。这个音频编码器114利用AC3、AAC等编码数据提取单元11提供的音频数据，从而生成包音频压缩数据流（音频基本流）。将这种音频数据流提供给多路复用器115。多路复用器15使每种编码器提供数据流（基本流）变成分组并多路复用数据流（基本流），获得用作发送数据的位流数据（传输流）BSD。
[有关机顶盒的说明]
机顶盒200在广播电波上接收从广播站发送的位流数据（传输流）。如上所述，位流数据包括三维图像数据、音频数据等。机顶盒200包括位流处理单元201。这个位流处理单元201从位流数据中提取三维图像数据、音频数据等。
图4图示了机顶盒200的配置示例。这个机顶盒200包括位流处理单元201、HDMI端子202、天线端子203、数字调谐器204、视频信号处理电路205、HDMI发送单元206、和音频信号处理电路207。另外，这个机顶盒200还包括CPU211、闪速ROM212、DRAM213、内部总线214、遥控器接收单元215、和遥控器发送设备216。
CPU211控制机顶盒200的每个单元的操作。闪速ROM212存储控制软件和保留数据。DRAM213构成CPU211的工作区。CPU211通过将从闪速ROM213中读取的软件和数据提到到DRAM213中激活软件，并控制机顶盒200的每个单元。
遥控器接收单元215接收从遥控器发送设备216发送的遥控信号（遥控器代码），并将遥控信号（遥控器代码）提供给CPU211。CPU211根据这个遥控器代码控制机顶盒200的每个单元。CPU211、闪速ROM212、和DRAM213都与内部总线214连接。
天线端子203是接收接收天线（未示出）接收的电视广播信号的端子。数字调谐器204处理输入天线端子203中的电视广播信号，并输出与用户选择的频道相对应的预定位流数据（传输流）。如上所述，位流处理单元201从位流数据中提取三维图像数据、音频数据等。
视频信号处理电路205对从位流处理单元201输出的三维图像数据（接收的三维图像数据）进行图像调整处理、画框转换处理等，并将处理后三维图像数据提供给HDMI发送单元206。在这种情况下，当接收的三维图像数据是侧板格式或信箱格式时，画框转换处理是减小黑带数据区的宽度的处理。这种画框转换处理是，例如，依照用户的操作或根据接收三维图像数据的左端和右端或上端和下端的黑带数据区的方向自动完成的。
这种画框转换处理包括水平方向和垂直方向的任何一个，或两者的缩放处理，以便黑带数据区的宽度减小了的三维图像数据沿着水平方向和垂直方向的像素数与HDMI的传输格式的画框匹配。
图5（a）图示了叫做广角变焦模式的画框转换处理中的缩放处理的概况。这种广角变焦模式用于，例如，减小存在于图像数据的右端和左端的侧板的黑带数据区部分的目的。在这种情况下，在转换之前（在缩放处理之前）对图像数据进行沿着水平方向具有非线性缩放比的缩放处理。更具体地说，在图像的中心及其附近降低放大率，以便抑制图像失真。相反，越接近图像的右端和左端放大率就越大。
图5（b）图示了叫做变焦模式的画框转换处理中的缩放处理的概况。这种变焦模式用于，例如，减小存在于图像数据的上端和下端的信箱的黑带数据区部分的目的。在这种情况下，在转换之前（在缩放处理之前）对图像数据进行沿着垂直方向具有非线性缩放比的缩放处理。
图5（c）图示了叫做完全模式的画框转换处理中的缩放处理的概况。这种变焦模式用于，例如，减小沿着水平方向挤压的存在于图像数据的右端和右端的侧板的黑带数据区部分的目的。在这种情况下，在转换之前（在缩放处理之前）对图像数据进行沿着水平方向具有线性缩放比的缩放处理。
在本实施例中，例如，视频信号处理电路205禁止或限制这种画框转换处理，以便防止由于画框转换处理在三维图像显示中引起的问题。禁止或限制这种画框转换处理的细节将在后面说明。
如有必要，音频信号处理电路207对从位流处理单元201输出的音频数据进行音质调整处理等，并将处理后音频数据提供给HDMI发送单元206。HDMI发送单元206通过基于HDMI的通信在基带中从HDMI端子202发送三维图像数据和音频数据。这个HDMI发送单元206是为管理三维图像数据准备的。由于DHMI发送单元206在DHMI的TMDS信道中发送，所以将图像和音频数据打包，以便将数据输出到HDMI端子202。这个HDMI发送单元206的细节将在后面说明。
在本实施例中，在HDMI的TMDS信道中，HDMI发送单元206发送，例如，有关画框转换处理的转换信息，以及通过画框转换处理获得的三维图像数据，以便防止视频信号处理电路205进行的画框转换处理在三维图像显示中引起的麻烦。发送转换信息的细节将在后面说明。
下面简要说明机顶盒200的操作。将输入到天线端子203中的电视广播信号提供给数字调谐器204。数字调谐器204处理电视广播信号，并输出与用户选择的频道相对应的预定位流数据（传输流）BSD。
将从数字调谐器204输出的位流数据BSD提供给位流处理单元201。这个位流处理单元201提取包括在位流数据中的三维图像数据、音频数据等。将从这个位流处理单元201输出的三维图像数据提供给视频信号处理电路205。这个视频信号处理电路对从位流处理单元201输出的三维图像数据（接收的三维图像数据）进行图像调整处理、画框转换处理等。
将视频信号处理电路205处理和输出的三维图像数据提供给HDMI发送单元206。如有必要，音频信号处理电路207对位流处理单元201获得的音频数据进行音质调整处理等，此后，将处理后音频数据提供给HDMI发送单元206。HDMI发送单元206将三维图像数据和音频数据打包，并将数据从HDMI端子202发送到HDM电缆400。
[有关电视接收器的说明]
回到图1，电视接收器300接收经由HDMI电缆400从机顶盒200发送的三维图像数据。这个电视接收器300包括3D信号处理单元301。这个3D信号处理单元301对三维图像数据进行与发送方法相对应的处理（解码处理），并获得左眼图像数据和右眼图像数据。
图6是电视接收器的配置示例。这个电视接收器300包括3D信号处理单元302、HDMI端子302、HDMI接收单元303、天线端子304、数字调谐器305、和位流处理单元306。这个电视接收器300包括视频/图形处理电路307、面板驱动电路310、音频放大电路311、和扬声器312。这个电视接收器300包括CPU321、闪速ROM322、DRAM323、内部总线324、遥控器接收单元325、和遥控器发送设备326。
CPU321控制电视接收器300的每个单元的操作。闪速ROM322存储控制软件和保留数据。DRAM323构成CPU321的工作区。CPU321通过将从闪速ROM322中读取的软件和数据提到到DRAM323中激活软件，并控制电视接收器300的每个单元。
遥控器接收单元325接收从遥控器发送设备326发送的遥控信号（遥控器代码），并将遥控信号（遥控器代码）提供给CPU321。CPU321根据这个遥控器代码控制电视接收器300的每个单元。CPU321、闪速ROM322、和DRAM323都与内部总线324连接。
天线端子304是接收接收天线（未示出）接收的电视广播信号的端子。数字调谐器305处理输入天线端子304中的电视广播信号，并输出与用户选择的频道相对应的预定位流数据（传输流）。
位流处理单元306具有与如图4所示的机顶盒200的位流处理单元202相同的配置。这个位流处理单元306从位流数据中提取三维图像数据、音频数据等。HDMI接收单元303接收通过基于HDMI的通信经由HDMI电缆400提供给HDMI端子302的三维图像数据和音频数据。这个HDMI接收单元303是为管理三维图像数据而准备的。这个HDMI接收单元303的细节将在后面说明。
3D信号处理单元301对HDMI接收单元303接收的三维图像数据或位流处理单元306获得的三维图像数据进行解码处理，生成左眼图像数据和右眼图像数据。在这种情况下，3D信号处理单元301对三维图像数据进行与格式相对应的解码处理。视频/图形处理电路307根据3D信号处理单元301生成的左眼图像数据和右眼图像数据生成显示三维图像的图像数据。
在本实施例中，例如，当由于机顶盒20对三维图像数据进行的画框转换处理而在三维图像显示中出现问题时，3D信号处理单元301对接收的三维图像数据进行逆转换处理，此后进行上述解码处理。对这种接收三维图像数据进行的逆转换处理的细节将在后面说明。
如有必要，视频/图形处理电路307还对图像数据进行图像调整处理。如有必要，视频/图形处理电路307将像菜单和程序那样的叠加信息的数据与图像数据组合。面板驱动电路308根据从视频/图形处理电路307输出的图像数据驱动显示面板309。例如，显示面板309由LCD（液晶显示器）、PDP（等离子显示面板）等构成。
音频信号处理电路310对位流处理单元306获得或DHMI接收单元303接收的音频数据进行像D/A转换那样的所需处理。音频放大电路311放大从音频信号处理电路310输出的音频信号，并将放大音频信号提供给扬声器312。
下面简要说明如图6所示的电视接收器300的操作。HDMI接收单元303接收从经由HDMI电缆400与HDMI端子302连接的机顶盒200发送的三维图像数据和音频数据。将这个HDMI接收单元303接收的三维图像数据提供给3D信号处理单元301。另一方面，将这个HDMI接收单元303接收的音频数据提供给音频信号处理电路310。
将输入到天线端子304中的电视广播信号提供给数字调谐器305。数字调谐器305处理电视广播信号，并输出与用户选择的频道相对应的预定位流数据（传输流）。
将从数字调谐器305输出的位流数据提供给位流处理单元306。这个位流处理单元306提取包括在位流数据中的三维图像数据、音频数据等。将位流处理单元306提取的三维图像数据提供给3D信号处理单元301。将位流处理单元306提取的音频数据提供给音频信号处理电路310。
3D信号处理单元301对HDMI接收单元303接收的三维图像数据或位流处理单元306获得的三维图像数据进行解码处理，生成左眼图像数据和右眼图像数据。将左眼图像数据和右眼图像数据提供给视频/图形处理电路307。视频/图形处理电路307根据左眼图像数据和右眼图像数据生成显示三维图像的图像数据，以及如有必要，进行图像调整处理和叠加信息数据的组合处理。
将这个视频/图形处理电路307获得的图像数据提供给面板驱动电路308。因此，显示面板309显示三维图像。例如，在显示面板309上，以分时方式交替显示基于左眼图像数据的左眼图像和基于右眼图像数据的右眼图像。观众佩戴左眼快门和右眼快门与显示面板309的显示同步地交替打开的快门眼镜，以便观众只能用左眼看左眼图像，和只能用右眼看右眼图像，因此能够感觉到三维图像。
音频信号处理电路310对位流处理单元306获得或HDMI接收单元303接收的音频数据进行像D/A转换那样的所需处理。音频数据经过音频放大电路311放大，此后提供给扬声器312。由于这个原因，从扬声器312输出与显示面板309的显示图像相对应的声音。
[HDMI发送单元和HDMI接收单元的配置示例]
图7图示了图1的三维图像显示系统10中机顶盒200的HDMI发送单元（HDMI源）和电视接收器300的HDMI接收单元（HDMI宿）303的配置示例。
在有效图像部分（如有必要，下文也可能称为活动视频部分）中，HDMI发送单元206使用多个信道单向地向HDMI接收单元303发送与一个屏幕中的未压缩图像的像素数据相对应的差分信号。在这种情况下，有效图像部分指的是除了水平回扫线部分和垂直回扫线部分之外某个垂直同步信号到随后垂直同步信号之间的部分。在水平回扫线部分或垂直回扫线部分中，HDMI发送单元206使用多个信道单向地向HDMI接收单元303发送与至少伴随图像的音频数据、控制数据、其他图辅助数据等相对应的差分信号。
包括HDMI发送单元206和HDMI接收单元303的HDMI系统的发送信道包括如下信道。更具体地说，存在三个TMDS信道#0-#2，用作与像素时钟同步地将像素数据和音频数据从HDMI发送单元206单向串行发送到HDMI接收单元303的发送信道。还存在一个TMDS时钟信道，用作发送像素时钟脉冲的发送信道。
HDMI发送单元206包括HDMI发送器81。例如，发送器81将未压缩图像的像素数据转换成相应差分信号，并使用作为多个信道的三个TMDS信道#0，#1，#2将差分信号单向串行发送到经由HDMI电缆400连接的HDMI接收单元303。
发送器81还将伴随未压缩图像的音频数据、所需控制数据、其他辅助数据等转换成差分信号，并使用三个TMDS信道#0，#1，#2将差分信号单向串行发送到HDMI接收单元303。
进一步，发送器81在TMDS时钟信道中将与使用三个TMDS信道#0，#1，#2发送的像素数据同步的像素时钟脉冲发送到经由HDMI电缆400连接的HDMI接收单元303。在这种情况下，在一个TMDS信道#i（i=0，1，2）中在像素时钟脉冲的一个时钟脉冲中发送10位像素数据。
HDMI接收单元303接收在有效视频部分中使用多个信道从HDMI发送单元206单向发送的与像素数据相对应的差分信号。在水平回扫线部分或垂直回扫线部分中，HDMI接收单元303接收使用多个信道从HDMI发送单元206单向发送的与音频数据和控制数据相对应的差分信号。
更具体地说，HDMI接收单元303包括HDMI接收器82。HDMI接收器82接收使用TMDS信道#0，#1，#2从HDMI发送单元206单向发送、与像素数据相对应的差分信号、和与音频数据和控制数据相对应的差分信号。在这种情况下，与在TMDS时钟信道中从HDMI发送单元206发送的像素时钟脉冲相对应地接收与像素数据相对应的差分信号、和与音频数据和控制数据相对应的差分信号。
除了上述TMDS信道#0-#2和TMDS时钟信道之外，HDMI系统的发送信道还包括叫做DDC（显示数据信道）83和CEC线84的发送信道。DDC83包括包括在HDMI电缆400中的未示出的两条信号线。DDC83由HDMI发送单元206用于从HDMI接收单元303中读取E-EDID（增强型扩展显示标识数据）。
HDMI接收单元303不仅包括HDMI接收器82而且包括存储E-EDID的EDID ROM（只读存储器）85，E-EDID是有关HDMI接收单元303的性能（配置/能力）的性能信息。例如，HDMI发送单元206响应CPU211（参见图4）的请求，经由DDC83读取来自经由HDMI电缆400连接的HDMI接收单元303的E-EDID。
HDMI发送单元206将读取的E-EDID发送给CPU211。CPU211将E-EDID存储到闪速ROM212或DRAM213中。如下所述，这个E-EDID可以包括指示是否请求没有任何画框转换的发送的信息。
CEC线84包括包括在HDMI电缆400中的未示出的信号线，用于在HDMI发送单元206与HDMI接收单元303之间传送控制数据。这条CEC线84构成控制数据线。
HDMI电缆400包括与叫做HPD（热插拔检测）管脚连接的线（HPD线）86。源设备使用线86检测宿设备的连接。应该注意到，HPD线86也用作构成双向通信路径的HEAC-线。
应该注意到，HDMI电缆400包括用于将来自源设备的电力供应给宿设备的线（电源线）87。进一步，HDMI电缆400包括应用线88。应该注意到，这条应用线88也用作构成双向通信路径的HEAC+线。
[画框转换处理的禁止和限制]
随后，将说明禁止和限制这种画框转换处理的细节。如上所述，在机顶盒200中，例如，视频信号处理电路205禁止或限制这种画框转换处理，以便防止由于画框转换处理而出现在三维图像显示中的问题。
如上所述，视频信号处理电路205的画框转换处理是为了进行减小黑带数据区的宽度的处理而完成的。例如，当用户进行选择预定模式的操作时完成这种画框转换处理。例如，当根据接收三维图像数据的左端和右端或上端和下端的黑带数据区的检测自动选择预定模式时进行这种画框转换处理。
如上所述，当响应用户的操作或自动进行画框转换处理时，CPU211确定执行还是不执行画框转换处理，并根据确定结果控制视频信号处理电路205。
图8的流程图图示了执行还是不执行由机顶盒的CPU进行的画框转换处理的确定处理的过程。在步骤ST21中，CPU211开始确定处理。此后，进行步骤ST22中的处理。在这个步骤ST22中，CPU211确定接收图像数据的发送方法是否是并排（SBS）方法或上下（T&B）方法。
当发送方法是并排方法或上下方法时，CPU211在步骤ST23中确定不执行画框转换处理。此后，在步骤ST24中终止该确定处理。另一方面，当发送方法既不是并排方法也不是上下方法时，CPU211在步骤ST25中确定执行画框转换处理。此后，在步骤ST24中终止该确定处理。
当CPU211按照图8的流程图进行确定执行还是不执行画框转换处理的确定处理时，CPU211起如下作用。当接收图像数据的发送方法是并排方法或上下方法时，CPU211确定不执行画框转换处理。由于这个原因，当接收图像数据的发送方法是并排方法或上下方法时，视频信号处理电路205禁止画框转换处理。
如上所述，当接收的图像数据是并排方法（侧板格式）的三维图像数据或上下方法（信箱格式）的三维图像数据时，进行画框转换处理，这在三维图像显示中会引起问题（参见图20（a）和20（b））。因此，如上所述，当接收图像数据的发送方法是并排方法或上下方法时，禁止视频信号处理电路205进行画框转换处理，以便抑制出现在三维图像显示中的问题。
在图8的流程图的确定处理中，当接收图像数据的发送方法是并排方法或上下方法时，CPU211马上确定不执行画框转换处理。但是，CPU211可以利用电视接收器300请求不作任何画框转换地发送三维图像数据的进一步条件确定不执行画框转换处理。
在这种情况下，电视接收器300将指示是否请求不作画框转换处理地发送三维图像数据的信息（请求信息）登记到E-EDID结构内的厂商专用数据块（VSDB）中。机顶盒200的CPU211在，例如，接通电源时从电视接收器300获得E-EDID，以便CPU211可以获得请求信息。应该注意到，CPU211也可以与HDMI电缆400的CEC线（参见图7）通信，以便从电视接收器300中获得指示是否请求不作画框转换处理地发送三维图像数据的信息。
[E-EDID结构]
如上所述，例如，HDMI发送单元206响应CPU211（参见图4）的请求，经由DDC83从经由HDMI电缆400连接的HDMI接收单元303中读取E-EDID。然后，CPU211从这个E-EDID（请求信息）中获得指示是否请求不作画框转换处理地发送三维图像数据的信息（请求信息）。
图9图示了E-EDID的数据结构的示例。这个E-EDID包括基本块和扩展块。在基本块的头部上，安排了表示在“E-EDID1.3基本结构”中的定义在E-EDID1.3标准中的数据。在基本块中，随后安排了保持与传统EDID的兼容性的定时信息“优选定时”。在基本块中，随后安排了保持与传统EDID的兼容性、与“优选定时”不同的定时信息“第2定时”。
在基本块中，在“第2定时”之后安排了指示显示装置的名称的信息“监视器名称”。在基本块中，随后安排了指示宽高比是4：3和16：9时可以显示的像素数量的信息“监视器范围限制”。
在扩展块的头部上，安排了“短视频描述符”。这是指示可显示图像尺寸（分辨率）、帧速率、和指示隔行扫描还是逐行扫描的信息的信息。随后，安排了“短音频描述符”。这是像可再现音频编解码方法、取样频率、截止频带、编解码位的数量那样的信息。随后，安排了有关左右扬声器的信息“扬声器分配”。
另外，在扩展块中，在“扬声器分配”之后安排了对每个制造商唯一定义的数据“厂商专用”。在扩展块中，随后安排了保持与传统EDID的兼容性的定时信息“第3定时”。在扩展块中，随后进一步安排了保持与传统EDID的兼容性的定时信息“第4定时”。
图10图示了HDMI厂商专用数据块（VSDB）的数据结构的示例。在第0块中，安排了指示数据“厂商专用”的数据区的首标“厂商专用标志代码（=3）”。在第0块中，安排了指示数据“厂商专用”的长度的信息“长度（=N）”。在第1到第3块中，安排了指示通过“24位IEEE注册标识符（0×000C03）从LSB开始”表示的为HDMI（R）登记的数字“0×000C03”的信息。
在这个HDMI厂商专用数据块（VSDB）的预定保留位，例如，在本例中，第6块的第1位中新定义和安排了一位的标志“Conv_not”。这个标志是指示是否将未作任何画框转换的三维图像数据发送给机顶盒200，即，是否请求不执行画框转换处理的信息（请求信息）。当请求不执行画框转换处理时，设置“Conv_not=1”。另一方面，当未请求不执行画框转换处理时，设置“Conv_not=0”。
在如图10所示的HDMI厂商专用数据块（VSDB）的结构的示例中，将一位标志“Conv_not”安排在第6块的第1位中。但是，未必安排在这个位置上。这个标志“Conv_not”可以安排在其他保留状态下的位位置，例如，第6块的第2位、第8块的第4位、第13块的第0位到第2位中。
图11的流程图图示了针对电视接收器300给出的请求信息执行还是不执行由CPU211进行的画框转换处理的确定处理的过程。在步骤ST31中，CPU211开始确定处理，此后转到步骤ST32的处理。在这个步骤ST32中，CPU211确定接收图像数据的发送方法是否是并排（SBS）方法或上下（T&B）方法。
当接收图像数据的发送方法是并排方法或上下方法时，CPU211转到步骤ST33中的处理。在这个步骤ST33中，CPU211根据从E-EDID获得的指示是否请求不执行画框转换处理的信息（请求信息）“Conv_not”，确定电视接收器30是否请求不进行画框转换。
当“Conv_not=1”成立，以及电视接收器30请求不进行画框转换时，CPU211返回到步骤ST34中的处理。CPU211在步骤ST34中确定不执行画框转换处理，此后在步骤ST35中终止该确定处理。
当在步骤ST32中确定接收图像数据既不是并排方法也不是上下方法，以及在步骤ST33中确定电视接收器300未请求进行画框转换时，CPU211转到步骤ST36中的处理。CPU211在步骤ST36中确定执行画框转换处理，此后在步骤ST35中终止该确定处理。
当CPU211按照图11的流程图进行确定执行还是不执行画框转换处理的确定处理时，CPU211也起如下作用。当接收图像数据的发送方法是并排方法或上下方法时，CPU211确定不执行画框转换处理。因此，禁止视频信号处理电路205进行画框转换处理，从而抑制了出现在三维图像显示中的问题。
当CPU211按照图11的流程图进行确定执行还是不执行画框转换处理的确定处理时，CPU211也起如下作用。假如电视接收器300请求不进行画框转换，则CPU211确定不执行画框转换处理。更具体地说，电视接收器300可以控制机顶盒200中画框转换处理的执行或不执行。
在图8的流程图的确定处理中，当接收图像数据的发送方法是并排方法或上下方法时，CPU211马上确定不执行画框转换处理。但是，即使接收图像数据的发送方法是并排方法或上下方法，在画框转换处理中的三维图像显示中也可能不出问题。
更具体地说，当三维图像数据是并排方法（侧板格式），以及在左眼图像数据与右眼图像数据之间存在黑带数据区（参见图20（a）和图3（c））时，在画框转换处理中的三维图像显示中会出问题。当三维图像数据是上下方法（信箱格式），以及在左眼图像数据与右眼图像数据之间存在黑带数据区（参见图20（b）和图3（g））时，在画框转换处理的三维图像显示中会出问题。
图12的流程图图示了针对并排方法和上下方法的3D格式（参见图3）执行还是不执行由CPU211进行的画框转换处理的确定处理的过程。
在步骤ST41中，CPU211开始确定处理，此后进行步骤ST42中的处理。在这个步骤ST42中，CPU211确定接收图像数据的发送方法是否是并排（SBS）方法或上下（T&B）方法。
当接收图像数据的发送方法是并排方法或上下方法时，CPU211转到步骤ST43中的处理。在这个步骤ST43中，CPU211进行转换允许确定处理。图13的流程图图示了CPU211进行的转换允许确定处理的过程。
在步骤ST51中，CPU211开始确定处理，此后进行步骤ST52中的处理。在这个步骤ST52中，CPU211确定是否从图像数据流中找到AFD（有效格式描述）。这个AFD是一个选项，AFD可能未包括在图像数据流中。
当找到AFD时，CPU211转到步骤ST53中的处理。如上所述，当代表AFD中的有效格式（Active_format）的四位数据指示“完全”（16：9）时，即，当四位数据是非“0100”、“1001”、“1011”和“1101”的那些时，意味着未插入黑带以便使画框变成16：9。
在这个步骤ST53中，CPU211确定AFD的四位数据是否等于“0100”、“1001”、“1011”和“1101”的任一个。当确定AFD的四位数据等于它们的任一个时，CPU211在步骤ST54中确定“允许转换画框”，此后在步骤ST55中终止该确定处理。
当在步骤ST53中确定AFD的四位数据不等于它们的任何一个时，CPU211转到步骤ST56中的处理。在这个步骤ST56中，CPU211确定接收的图像数据是并排（SBS）方法的还是上下（T&B）方法的，当接收的图像数据是上下方法的时，CPU211转到步骤ST57的处理。另一方面，当接收的图像数据是并排方法的时，CPU211转到步骤ST58的处理。
CPU211在步骤ST57中确定“在垂直方向不进行转换”，此后在步骤ST55中终止该确定处理。步骤ST56中的确定中上下方法的3D格式包括图3的（d），（e）和（g）的情况。当3D格式包括如图3（g）所示在左眼图像数据区与右眼图像数据区之间沿着水平方向延伸的黑带数据区时，如果进行包括垂直方向的转换的画框转换处理，则在三维图像显示中会出问题。当“确定在垂直方向不进行转换”时，以及，例如，当3D格式如图3（g）时，禁止包括垂直方向的转换的画框转换处理，从而在三维图像显示中不会出问题。
CPU211在步骤ST58中确定“在水平方向不进行转换”，此后在步骤ST55中终止该确定处理。步骤ST56中的确定中并排方法的3D格式包括图3的（c），（f）和（h）的情况。当3D格式包括如图3（c）所示在左眼图像数据区与右眼图像数据区之间沿着垂直方向延伸的黑带数据区时，如果进行包括水平方向的转换的画框转换处理，则在三维图像显示中会出问题。当“确定在水平方向不进行转换”时，以及，例如，当3D格式如图3（c）时，禁止包括水平方向的转换的画框转换处理，从而在三维图像显示中不会出问题。
当在步骤ST52中无法找到AFD时，CPU211在步骤ST71中确定是否可以从图像数据流中找到全景扫描（pan scan）信息。在H.264中，可以将叫做“全景扫描SEI消息”的全景扫描信息加入图像数据流（编码流）中。这种全景扫描信息是当使用在屏幕的左端和右端存在黑带状部分的侧板格式和在屏幕的顶端和底端存在黑带状部分的信箱格式，以与原始图像的宽高比不同的宽高比进行编码处理时，指示整个屏幕中原始图像的显示位置的长方形区域信息。
当在步骤ST71中找到全景扫描信息时，在这个步骤ST72中，CPU211确定沿着水平方向的偏移是否是零。当确定这个水平方向偏移不是零时，CPU211确定在将三维图像数据转换成并排方法或上下方法的那些（L/R交织图像数据）（参见图3（a），3（b））之后插入左右两端的黑带数据区。于是，CPU211在步骤ST54中确定“允许转换画框”，此后在步骤ST55中终止该确定处理。
另一方面，当确定水平方向偏移是零时，CPU211转到步骤ST73中的处理。在这个步骤ST73中，CPU211确定沿着垂直方向的偏移是否是零。当确定这个垂直方向偏移不是零时，CPU211确定在将三维图像数据转换成并排方法或上下方法的那些（L/R交织图像数据）（参见图3（i），3（j））之后插入上下两端的黑带数据区。于是，CPU211在步骤ST54中确定“允许转换画框”，此后在步骤ST55中终止该确定处理。
另一方面，当在步骤ST73中确定垂直方向偏移是零时，水平方向偏移在这个时机也是零，CPU211按如下作出确定。更具体地说，CPU211确定一点也不将黑带数据区插入图像数据中，或在将三维图像数据被转换成并排方法或上下方法的那些（L/R交织图像数据）之前插入黑带数据区。于是，CPU211转到步骤ST56中的处理，进行与上述相同的处理。更具体地说，在并排（SBS）方法中，在步骤ST58中“确定在水平方向不进行转换”。另一方面，在上下（T&B）方法中，在步骤ST57中“确定在垂直方向不进行转换”。
当在步骤ST71中无法找到全景扫描信息时，CPU211转到步骤ST61中的处理。在这个步骤ST61中，CPU211确定接收的图像数据是并排（SBS）方法的还是上下（T&B）方法的。当接收的图像数据是上下方法的时，CPU211转到步骤ST62的处理。
在这个步骤ST62中，CPU211对上下方法的接收图像数据是否包括在左眼图像数据区与右眼图像数据区之间沿着水平方向延伸的黑带数据区作出黑带确定。在这种情况下，CPU211通过处理接收的三维图像数据来作出确定。例如，CPU211通过沿着水平方向扫描图像的垂直中心部分及其周围作出确定。当连续找到黑色水平的像素数据时，确定在左眼图像数据区与右眼图像数据区之间存在沿着水平方向延伸的黑带数据区。
随后，在步骤ST63中，CPU211确定是否可以在左眼图像数据区与右眼图像数据区之间找到沿着水平方向延伸的黑带数据区的实体。当可以找到实体时，CPU211转到步骤ST64中的处理。在这个步骤ST64中，CPU211确定“在垂直方向不进行转换”，此后在步骤ST55中终止该确定处理。当“确定在垂直方向不进行转换”时，以及，例如，当3D格式如图3（g）所示时，禁止包括垂直方向的转换的画框转换处理，从而在三维图像显示中不会出问题。
另一方面，当在步骤ST63中确定在左眼图像数据区与右眼图像数据区之间未找到沿着水平方向延伸的黑带数据区的实体。CPU211在步骤ST65中确定“允许转换画框”，此后在步骤ST55中终止该确定处理。
当在步骤ST61中确定接收的图像数据是并排方法的时，CPU211转到步骤ST66中的处理。在这个步骤ST66中，CPU211对并排方法的接收图像数据是否包括在左眼图像数据区与右眼图像数据区之间沿着垂直方向延伸的黑带数据区作出黑带确定。
在这种情况下，CPU211通过处理接收的三维图像数据来作出确定。例如，CPU211通过沿着垂直方向扫描图像的水平中心部分及其周围作出确定。当连续找到黑色水平的像素数据时，确定在左眼图像数据区与右眼图像数据区之间存在沿着垂直方向延伸的黑带数据区。
随后，在步骤ST67中，CPU211确定是否可以在左眼图像数据区与右眼图像数据区之间找到沿着垂直方向延伸的黑带数据区的实体。当可以找到实体时，CPU211转到步骤ST68中的处理。在这个步骤ST68中，CPU211确定“在水平方向不进行转换”，此后在步骤ST55中终止该确定处理。当“确定在水平方向不进行转换”时，以及，例如，当3D格式如图3（c）所示时，禁止包括水平方向的转换的画框转换处理，从而在三维图像显示中不会出问题。
另一方面，当在步骤ST67中确定在左眼图像数据区与右眼图像数据区之间未找到沿着垂直方向延伸的黑带数据区的实体。CPU211在步骤ST65中确定“允许转换画框”，此后在步骤ST55中终止该确定处理。
回到图12的流程图，CPU211在步骤ST43的确定处理之后转到步骤ST44的处理。在这个步骤ST44中，CPU211确定是否可以进行通过用户操作选择或自动选择的预定模式画框转换处理。例如，当CPU211在步骤ST43中确定“在垂直方向不进行转换”时，以及当所选预定模式的画框转换处理包括沿着垂直方向的转换时，CPU211确定不可以进行画框转换。
例如，当CPU211在步骤ST43中确定“在水平方向不进行转换”时，以及当所选预定模式的画框转换处理包括沿着水平方向的转换时，CPU211确定不可以进行画框转换。但是，当接收的三维图像数据是并排方法的或上下方法的时，以及当进行像上述的广角变焦模式那样的非线性缩放处理时，左眼图像和右眼图像的相对位置发生了漂移，CPU211确定不可以进行画框转换。换句话说，在这种情况下，即使在步骤ST43中“确定允许转换画框”，CPU211也确定不可以进行画框转换处理。
当CPU211确定不可以进行画框转换处理时，CPU211在步骤ST45中确定不进行画框转换，此后在步骤ST46中终止该确定处理。当在步骤ST42中确定接收的图像数据既不是并排方法的也不是上下方法的，以及在步骤ST44中确定可以进行画框转换时，CPU211转到步骤ST47中的处理。CPU211在步骤ST47中确定执行画框转换处理，此后在步骤ST46中终止该确定处理。
当CPU211按照图12的流程图进行确定执行还是不执行画框转换处理的确定处理时，CPU211起如下作用。即使接收图像数据的发送方法是并排方法或上下方法，如果在三维图像显示中不会出问题，CPU211也确定执行画框转换处理。换句话说，除非在三维图像显示中实际出问题，机顶盒200可以进行减小黑带数据区的宽度的画框转换处理，并且可以有效地利用机顶盒200的画框转换处理功能。
[画框转换处理的转换信息的发送]
随后，将说明有关画框转换处理的转换信息的发送的细节。如上所述，例如，在机顶盒200中，HDMI发送单元206使用HDMI的TMDS信道发送有关画框转换处理的转换信息以及三维图像数据，以便防止由于画框转换处理而出现在三维图像显示中的问题。
包括在视频信号处理电路205进行的每种模式的画框转换处理中的缩放处理可以用如下转换表达式（1）表达，其中画框转换之前相对于图像中心的位置被表达成d，和这个位置d的缩放比被表达成R。A，B是系数。图14图示了位置d与缩放率R之间的关系，其中位置d沿着水平轴示出，缩放比R沿着垂直轴示出。
R=A*d2+B         ...（1）
图15（a）到15（c）图示了这个表达式（1）的应用示例。图15（a）图示了表达式（1）应用于“广角变焦模式”的画框转换处理的情况。在“广角变焦模式”下，将这个表达式（1）应用于水平方向。在这种“广角变焦模式”下，A不等于0，B不等于0，以及每个位置的缩放比以非线性方式变化。
图15（b）图示了表达式（1）应用于“变焦模式”的画框转换处理的情况。在这种“变焦模式”下，将这个表达式（1）应用于水平方向和垂直方向。在这种“变焦模式”下，A等于0，B不等于0，以及每个位置的缩放比是恒定的。
图15（c）图示了表达式（1）应用于“完全模式”的画框转换处理的情况。在这种“完全模式”下，将这个表达式（1）应用于水平方向。在这种“完全模式”下，A等于0，B不等于0，以及每个位置的缩放比是恒定的。
在本实施例中，使用HDMI的TMDS信道从机顶盒200发送到电视接收器300的有关画框转换处理的转换信息是有关上述表达式（1）中的A，B的系数信息和转换的二维方向（维度）的指定信息，即，应用表达式（1）的方向的信息。将有关画框转换处理的转换信息从机顶盒200发送到电视接收器300的方法的示例包括，例如，将有关画框转换处理的转换信息插入三维图像数据的消隐间隔中和发送有关画框转换处理的转换信息。在该方法中，可以使用CEC线84，以及进一步，可以使用由HPD线86和应用线88构成的双向通信路径。
在本实施例中，使用HDMI Vendor Specific InfoFrame将有关画框转换处理的转换信息从机顶盒200发送到电视接收器30。图16是HDMI VendorSpecific InfoFrame的分组结构。这个HDMI Vendor Specific InfoFrame定义在CEA-861-D中，因此省略有关详细描述。
在第4字节（PB4）中的第7位到第5位中安排了指示图像数据的类型的三位信息“HDMI_Video_Format”。当图像数据是3D图像数据时，该三位信息是“010”。如上所述，当图像数据是3D图像数据时，在第5字节（PB5）中的第7位到第4位中安排了指示TMDS发送数据结构的四位信息“3D_Structure”。
在第5字节（PB5）中的第0位中安排了一位信息“Param_present”。如图17所示，这个信息指示是否存在参数。在这种情况下，该参数是有关画框转换处理的转换信息（转换参数）。“1”指示存在参数。
在第6字节（PB6）中的第7位到第5位中安排了三位信息“Parameter_type”。如图17所示，这个信息指示参数的类型。“001”指示用于画框转换处理的参数（转换信息）。在第6字节（PB6）中的第4位到第0位中安排了五位信息“Parameter_Set_Length”。如图17所示，这个信息代表安排在其后的参数区中的字节数。
在第7字节（PB7）中的第7位到第6位中安排了两位信息“Scaling_direction”。如图17所示，这个信息指示转换的二维方向（维度），即，应用表达式（1）的方向的的指定信息。“01”指示水平方向，“11”指示水平方向和垂直方向。
在第8字节（PB8）中安排了八位信息“Parameter A”。如图17所示，这个信息指示表达式（1）的系数A。在第9字节（PB9）中安排了八位信息“Parameter B”。如图17所示，这个信息指示表达式（1）的系数B。
如上所述，在电视接收器300的3D信号处理单元301中，当由于在机顶盒200中对三维图像数据进行的画框转换处理而在三维图像显示中出问题时，对机顶盒20给出的三维图像数据进行逆转换处理。在这种情况下，从HDMI Vendor Specific InfoFrame的分组中获得有关画框转换处理的转换信息（有关表达式（1）中的A，B的系数信息、和转换的二维方向（维度）的指定信息），并进行逆转换处理。如上所述，3D图像处理单元301进行逆转换处理来达到画框转换处理之前的状态，以便在三维图像显示中不出问题。
将有关画框转换处理的转换信息从机顶盒200发送到电视接收器300的示例包括在所有情况下都进行画框转换处理的情况、发送方法是并排方法或上下方法的情况、和进一步，在三维图像显示中实际出问题的情况。
如上所述，将已经经过画框转换处理的三维图像数据以及有关画框转换处理的转换信息从机顶盒200发送到电视接收器300，以便不会由于电视接收器300中的画框转换处理而在三维显示区域中出问题。更具体地说，在这种情况下，当由于电视接收器300中的画框转换处理而在三维显示区域中出问题时，可以通过根据转换信息对三维图像数据进行逆转换处理达到画框转换处理之前的状态，从而可以防止在三维显示区域中出问题。
<2.修改例>
在上述实施例中，机顶盒200被配置成从广播站100给出的广播信号中接收三维图像数据。可替代地，机顶盒200也可以经由网络从流式服务器接收三维图像数据。
在上述实施例中，机顶盒200被配置成直接将数字调谐器204接收的三维图像数据发送给电视接收器300。可替代地，机顶盒200可以配置成将数字调谐器204接收的三维图像数据累积在未示出的存储体中，在预定定时从存储体中读取三维图像数据，以便将读取的三维图像数据发送给电视接收器300。该预定是，例如，用户播放操作的定时。
在上述实施例中，机顶盒200被配置成将接收的三维图像数据发送给电视接收器300。但是，取代电视接收器300，将接收的三维图像数据配置成发送给，例如，监视器装置或投影机。取代机顶盒200，例如，可以将带有接收功能的录像机或个人计算机应用在该配置中。
在上述实施例中，机顶盒200和电视接收器300经由HDMI电缆400连接。但是，应该明白，即使机顶盒200和电视接收器300被配置成经由像HDMI那样的数字接口连接或无线连接，也可以以相同方式应用本发明。
工业可应用性
本发明可以应用于接收三维图像数据，经由像HDMI那样的数字接口将三维图像数据发送给电视接收器，以及使电视接收器显示三维图像的机顶盒等。
标号列表
10  三维图像显示系统
85  EDID ROM
100  广播站
111  数据提取单元
111a  数据记录媒体
112  视频成帧单元
113  视频编码器
114  音频编码器
115  多路复用器
200  机顶盒
201  位流处理单元
202  HDMI端子
203  天线端子
204  数字调谐器
205  视频信号处理电路
206  HDMI发送单元
207  音频信号处理电路
211  CPU
212  闪速ROM
214  内部总线
215  遥控器接收单元
216  遥控器发送设备
300  电视接收器
301  3D信号处理单元
302  HDMI端子
303  HDMI接收单元
304  天线端子
305  数字调谐器
306  位流处理单元
307  视频/图形处理电路
308  面板驱动电路
309  显示面板
310  音频信号处理电路
311  音频放大电路
312  扬声器
321  CPU
322  闪速ROM
323  DRAM
324  内部总线
325  遥控器接收单元
326  遥控器发送设备
400  HDMI电缆

Claims (20)

1.一种图像数据发送装置，其包含：
图像数据接收单元，用于接收用于显示三维图像的三维图像数据；
图像数据处理单元，用于处理所述图像数据接收单元接收的三维图像数据；
图像数据发送单元，用于经由传输路径向外部设备发送已经从所述图像数据处理单元输出的三维图像数据；以及
控制单元，用于控制所述图像数据处理单元，
其中当所述图像数据接收单元接收的三维图像数据的发送方法是并排方法或上下方法时，所述控制单元控制所述图像数据处理单元不对三维图像数据进行画框转换处理。
2.按照权利要求1所述的图像数据发送装置，其中当所述图像数据接收单元接收的三维图像数据的发送方法是并排方法或上下方法时，以及当外部设备请求不作画框转换处理地发送三维图像数据时，所述控制单元控制所述图像数据处理单元不对三维图像数据进行画框转换处理。
3.按照权利要求2所述的图像数据发送装置，其中所述控制单元经由传输路径从提供在外部设备中的存储单元中读取和获得指示是否请求不作画框转换处理地发送三维图像数据的信息。
4.一种用于图像数据发送装置的控制方法，所述图像数据发送装置包含：
图像数据接收单元，用于接收用于显示三维图像的三维图像数据；
图像数据处理单元，用于处理所述图像数据接收单元接收的三维图像数据；以及
图像数据发送单元，用于经由传输路径向外部设备发送已经从所述图像数据处理单元输出的三维图像数据，
其中当所述图像数据接收单元接收的三维图像数据的发送方法是并排方法或上下方法时，控制所述图像数据处理单元不对三维图像数据进行画框转换处理。
5.一种图像数据接收装置，其包含：
图像数据接收单元，用于经由传输路径从外部设备接收用于显示三维图像的三维图像数据；以及
控制单元，用于经由传输路径控制外部设备中用于三维图像数据的画框转换功能。
6.按照权利要求5所述的图像数据接收装置，其中所述控制单元经由传输路径，将指示是否请求不作画框转换处理地发送三维图像数据的信息登记到外部设备可读取的存储单元中。
7.一种图像数据发送装置，其包含：
图像数据接收单元，用于接收用于显示三维图像的三维图像数据；
图像数据处理单元，用于处理所述图像数据接收单元接收的三维图像数据；
图像数据发送单元，用于经由传输路径向外部设备发送已经从所述图像数据处理单元输出的三维图像数据；以及
控制单元，用于控制所述图像数据处理单元，
其中当所述图像数据接收单元接收的三维图像数据是并排方法或上下方法的时，以及当三维图像数据包括左眼图像数据区与右眼图像数据区之间的黑带数据区时，所述控制单元控制所述图像数据处理单元至少不对三维图像数据进行包括在与黑带数据区的纵向垂直的方向的转换的画框转换处理。
8.按照权利要求7所述的图像数据发送装置，其中所述控制单元根据附在三维图像数据上的有效格式信息，确定在三维图像数据中是否存在黑带数据区。
9.按照权利要求7所述的图像数据发送装置，其中所述控制单元根据附在三维图像数据上的全景扫描信息，确定在三维图像数据中是否存在黑带数据区。
10.按照权利要求7所述的图像数据发送装置，其中所述控制单元通过处理三维图像数据，确定在三维图像数据中是否存在黑带数据区。
11.按照权利要求10所述的图像数据发送装置，其中所述控制单元以这样的方式确定在三维图像数据中是否存在黑带数据区，使得当三维图像数据是并排方法的时，通过在垂直方向扫描图像的水平中心部分及其周围作出确定，而当三维图像数据是上下方法的时，通过在水平方向扫描图像的垂直中心部分及其周围作出确定。
12.按照权利要求7所述的图像数据发送装置，其中当所述图像数据接收单元接收的三维图像数据是并排方法的或上下方法的时，以及当三维图像数据包括左眼图像数据区与右眼图像数据区之间的黑带数据区时，所述控制单元允许所述图像数据处理单元通过在黑带数据区的纵向的线性变换进行画框转换处理。
13.按照权利要求7所述的图像数据发送装置，其中当所述图像数据接收单元接收的三维图像数据是并排方法的或上下方法的时，以及当三维图像数据未包括左眼图像数据区与右眼图像数据区之间的黑带数据区时，所述控制单元允许所述图像数据处理单元通过在水平方向和垂直方向的任何一个方向或在水平方向和垂直方向的两个方向的线性变换进行画框转换处理。
14.一种用于图像数据发送装置的控制方法，所述图像数据发送装置包含：
图像数据接收单元，用于接收用于显示三维图像的三维图像数据；
图像数据处理单元，用于处理所述图像数据接收单元接收的三维图像数据；以及
图像数据发送单元，用于经由传输路径向外部设备发送已经从所述图像数据处理单元输出的三维图像数据，
其中当所述图像数据接收单元接收的三维图像数据是并排方法或上下方法的时，以及当三维图像数据包括左眼图像数据区与右眼图像数据区之间的黑带数据区时，控制所述图像数据处理单元至少不对三维图像数据进行包括在与黑带数据区的纵向垂直的方向的转换的画框转换处理。
15.一种图像数据发送装置，其包含：
图像数据接收单元，用于接收用于显示三维图像的三维图像数据；
图像数据处理单元，用于处理所述图像数据接收单元接收的三维图像数据；以及
图像数据发送单元，用于经由传输路径向外部设备发送已经从所述图像数据处理单元输出的三维图像数据，
其中当所述图像数据处理单元对三维图像数据进行画框转换处理时，所述图像数据发送单元经由传输路径向外部设备发送已经经历画框转换处理的三维图像数据以及有关画框转换处理的转换信息。
16.按照权利要求15所述的图像数据发送装置，其中所述转换信息包括包括在画框转换处理中的缩放的转换表达式的系数信息、和转换的在二维方向的指定信息。
17.按照权利要求16所述的图像数据发送装置，其中所述转换表达式表达为R=A*d2+B，其中画框转换之前距图像中心的位置表示为d，位置d的缩放比表示为R，以及系数信息是有关上面A、B的信息。
18.按照权利要求15所述的图像数据发送装置，其中所述图像数据发送单元将转换信息插入三维图像数据的消隐时段中，并经由传输路径将转换信息发送给外部设备。
19.一种图像数据发送方法，其包含：
图像数据接收步骤，用于接收用于显示三维图像的三维图像数据；
图像数据处理步骤，用于处理在所述图像数据接收步骤中接收的三维图像数据；以及
图像数据发送步骤，用于经由传输路径向外部设备发送已经从所述图像数据处理步骤输出的三维图像数据，
其中当在所述图像数据处理步骤中对三维图像数据进行画框转换处理时，在所述图像数据发送步骤中经由传输路径向外部设备发送已经经历画框转换处理的三维图像数据以及有关画框转换处理的转换信息。
20.一种图像数据接收装置，其包含：
图像数据接收单元，用于经由传输路径从外部设备接收用于显示三维图像的三维图像数据；以及
图像数据处理单元，用于处理所述图像数据接收单元接收的三维图像数据，
其中所述图像数据处理单元根据所述图像数据接收单元与三维图像数据一起接收的有关三维图像数据的画框转换信息，对三维图像数据进行画框逆转换处理。
CN2011800405093A 2010-06-23 2011-06-03 图像数据发送装置、图像数据发送装置的控制方法、图像数据发送方法、和图像数据接收装置 Pending CN103081477A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2010142995A JP5655393B2 (ja) 2010-06-23 2010-06-23 画像データ送信装置、画像データ送信装置の制御方法、画像データ送信方法および画像データ受信装置
JP2010-142995 2010-06-23
PCT/JP2011/062853 WO2011162087A1 (ja) 2010-06-23 2011-06-03 画像データ送信装置、画像データ送信装置の制御方法、画像データ送信方法および画像データ受信装置

Publications (1)

Publication Number Publication Date
CN103081477A true CN103081477A (zh) 2013-05-01

Family

ID=45371283

Family Applications (1)

Application Number Title Priority Date Filing Date
CN2011800405093A Pending CN103081477A (zh) 2010-06-23 2011-06-03 图像数据发送装置、图像数据发送装置的控制方法、图像数据发送方法、和图像数据接收装置

Country Status (9)

Country Link
US (1) US20130100247A1 (zh)
EP (1) EP2587811A1 (zh)
JP (1) JP5655393B2 (zh)
KR (1) KR20130098166A (zh)
CN (1) CN103081477A (zh)
BR (1) BR112012032088A2 (zh)
RU (1) RU2012154306A (zh)
TW (1) TW201208348A (zh)
WO (1) WO2011162087A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104517586B (zh) * 2013-09-30 2017-04-05 夏普株式会社 显示装置、源设备、以及显示系统

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9208679B2 (en) * 2006-09-05 2015-12-08 Universal Electronics Inc. System and method for configuring the remote control functionality of a portable device
US9467675B2 (en) 2011-08-05 2016-10-11 Sharp Kabushiki Kaisha Three-dimensional image data generating method and three-dimensional image data generating device
US8681977B2 (en) * 2011-12-13 2014-03-25 Crestron Electronics Inc. Enabling/disabling display data channel access to enable/ disable high-bandwidth digital content protection
US8713316B2 (en) 2011-12-13 2014-04-29 Crestron Electronics Inc. System, apparatus and method for enabling/disabling display data channel access to enable/disable high-bandwidth digital content protection
JP6090168B2 (ja) * 2012-02-16 2017-03-08 ソニー株式会社 送信装置および送信方法
KR101644422B1 (ko) * 2012-03-13 2016-08-02 삼성전자주식회사 디스플레이 장치, 소스 장치 및 방법

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1386381A (zh) * 2000-07-21 2002-12-18 松下电器产业株式会社 信号传输系统
WO2010026736A1 (ja) * 2008-09-02 2010-03-11 パナソニック株式会社 立体映像伝送システム、映像表示装置および映像出力装置

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3573724B2 (ja) * 2000-07-21 2004-10-06 松下電器産業株式会社 伝送システム、送信装置、受信装置、および伝送方法、送信方法、受信方法
JP4190357B2 (ja) 2003-06-12 2008-12-03 シャープ株式会社 放送データ送信装置、放送データ送信方法および放送データ受信装置
KR101520620B1 (ko) * 2008-08-18 2015-05-18 삼성전자주식회사 2차원/3차원 재생 모드 결정 방법 및 장치
KR101547151B1 (ko) * 2008-12-26 2015-08-25 삼성전자주식회사 영상 처리 방법 및 장치
US8289998B2 (en) * 2009-02-13 2012-10-16 Samsung Electronics Co., Ltd. Method and apparatus for generating three (3)-dimensional image data stream, and method and apparatus for receiving three (3)-dimensional image data stream

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1386381A (zh) * 2000-07-21 2002-12-18 松下电器产业株式会社 信号传输系统
WO2010026736A1 (ja) * 2008-09-02 2010-03-11 パナソニック株式会社 立体映像伝送システム、映像表示装置および映像出力装置

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104517586B (zh) * 2013-09-30 2017-04-05 夏普株式会社 显示装置、源设备、以及显示系统

Also Published As

Publication number Publication date
US20130100247A1 (en) 2013-04-25
KR20130098166A (ko) 2013-09-04
EP2587811A1 (en) 2013-05-01
RU2012154306A (ru) 2014-06-20
JP2012010032A (ja) 2012-01-12
WO2011162087A1 (ja) 2011-12-29
TW201208348A (en) 2012-02-16
BR112012032088A2 (pt) 2016-11-16
JP5655393B2 (ja) 2015-01-21

Similar Documents

Publication Publication Date Title
CN102369735B (zh) 立体图像数据发送装置、立体图像数据发送方法、立体图像数据接收装置和立体图像数据接收方法
CN102210155B (zh) 发送立体图像数据的立体图像数据发送装置和方法
CN102177724B (zh) 立体图像数据传输装置、立体图像数据发送方法、立体图像数据接收装置和立体图像数据接收方法
RU2463731C1 (ru) Устройство и способ передачи данных стереоизображения, устройство и способ приема данных стереоизображения, устройство передачи данных изображения и устройство приема данных изображения
CN101877795B (zh) 立体图像数据发送、接收和中继方法以及其设备
WO2010026737A1 (ja) 立体映像伝送システム、映像表示装置および映像出力装置
CN103081477A (zh) 图像数据发送装置、图像数据发送装置的控制方法、图像数据发送方法、和图像数据接收装置
JP5089493B2 (ja) デジタル映像データ送信装置、デジタル映像データ受信装置、デジタル映像データ伝送システム、デジタル映像データ送信方法、デジタル映像データ受信方法、およびデジタル映像データ伝送方法
CN103503446A (zh) 发送装置、发送方法以及接收装置
AU2011300020B2 (en) Stereoscopic image data transmission device, stereoscopic image data transmission method, and stereoscopic image data reception device
AU2011202792B8 (en) Image data transmission apparatus, image data transmission method, image data reception apparatus, image data reception method, and image data transmission and reception system
CN102263989A (zh) 发送设备及方法、接收设备及方法以及发送/接收系统
US9270975B2 (en) Information integrating device and information integrating method which integrates stereoscopic video information using main information and complementary information
CN102771131A (zh) 立体图像数据发送装置、立体图像数据发送方法、立体图像数据接收装置和立体图像数据接收方法
CN103053166A (zh) 立体图像数据发送设备、立体图像数据发送方法和立体图像数据接收设备
JP2013062839A (ja) 映像伝送システム、映像入力装置および映像出力装置

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C05 Deemed withdrawal (patent law before 1993)
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20130501