JP2012199897A - 画像データ送信装置、画像データ送信方法、画像データ受信装置および画像データ受信方法 - Google Patents

画像データ送信装置、画像データ送信方法、画像データ受信装置および画像データ受信方法 Download PDF

Info

Publication number
JP2012199897A
JP2012199897A JP2011068906A JP2011068906A JP2012199897A JP 2012199897 A JP2012199897 A JP 2012199897A JP 2011068906 A JP2011068906 A JP 2011068906A JP 2011068906 A JP2011068906 A JP 2011068906A JP 2012199897 A JP2012199897 A JP 2012199897A
Authority
JP
Japan
Prior art keywords
image data
stereoscopic
video stream
compressed video
display
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Abandoned
Application number
JP2011068906A
Other languages
English (en)
Other versions
JP2012199897A5 (ja
Inventor
Ikuo Tsukagoshi
郁夫 塚越
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Priority to JP2011068906A priority Critical patent/JP2012199897A/ja
Priority to EP12711972A priority patent/EP2550796A1/en
Priority to US13/643,834 priority patent/US20130038683A1/en
Priority to PCT/JP2012/001439 priority patent/WO2012120854A1/en
Publication of JP2012199897A publication Critical patent/JP2012199897A/ja
Publication of JP2012199897A5 publication Critical patent/JP2012199897A5/ja
Abandoned legal-status Critical Current

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/85Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106Processing image signals
    • H04N13/172Processing image signals image signals comprising non-image signal components, e.g. headers or format information
    • H04N13/178Metadata, e.g. disparity information
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103Selection of coding mode or of prediction mode
    • H04N19/112Selection of coding mode or of prediction mode according to a given display mode, e.g. for interlaced or progressive display mode
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/172Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a picture, frame or field
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/597Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding specially adapted for multi-view video sequence encoding
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106Processing image signals
    • H04N13/139Format conversion, e.g. of frame-rate or size

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Library & Information Science (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

【課題】フレームコンパチブル方式の立体画像データを送信する際、2DTVに対してのサービスコンパチブルを実現する。
【解決手段】画像データがフレームコンパチブル方式の立体画像データであるとき、圧縮ビデオストリームに、デコード後の画像データから2次元表示用の画像データを切り取るための画像領域情報を挿入する。受信側の2次元テレビ受信機(2DTV)は、この画像領域情報に基づいて、デコード後の画像データから2次元表示用の画像データを切り取って2次元画像データを得ることが可能となる。
【選択図】図9

Description

本技術は、画像データ送信装置、画像データ送信方法、画像データ受信装置および画像データ受信方法に関する。特に、本技術は、フレームコンパチブル方式の立体画像データの圧縮ビデオストリームを送信する画像データ送信装置等に関する。
例えば、特許文献1には、立体画像データのテレビ放送電波を用いた伝送方式について提案されている。この伝送方式においては、左眼用画像データおよび右眼用画像データを含む立体画像データが送信され、テレビ受信機において、両眼視差を利用した立体画像表示が行われる。
図24は、両眼視差を利用した立体画像表示において、スクリーン上におけるオブジェクト(物体)の左右像の表示位置と、その立体画像(3D画像)の再生位置との関係を示している。例えば、スクリーン上に図示のように左像Laが右側に右像Raが左側にずれて表示されているオブジェクトAに関しては、左右の視線がスクリーン面より手前で交差するため、その立体画像の再生位置はスクリーン面より手前となる。DPaは、オブジェクトAに関する水平方向の視差ベクトルを表している。
また、例えば、スクリーン上に図示のように左像Lbおよび右像Rbが同一位置に表示されているオブジェクトBに関しては、左右の視線がスクリーン面で交差するため、その立体画像の再生位置はスクリーン面上となる。さらに、例えば、スクリーン上に図示のように左像Lcが左側に右像Rcが右側にずれて表示されているオブジェクトCに関しては、左右の視線がスクリーン面より奥で交差するため、その立体画像の再生位置はスクリーン面より奥となる。DPcは、オブジェクトCに関する水平方向の視差ベクトルを表している。
従来、立体画像データの伝送フォーマットとして、サイド・バイ・サイド(Side By Side)方式、トップ・アンド・ボトム(Top & Bottom)方式などのフレームコンパチブル方式の立体画像データが知られている。例えば、図25(a)はサイド・バイ・サイド方式を示し、図25(b)はトップ・アンド・ボトム方式を示している。ここでは、1920×1080のピクセルフォーマットである場合を示している。
サイド・バイ・サイド方式は、図25(a)に示すように、水平方向の前半では左眼画像データのピクセルデータを伝送し、水平方向の後半では右眼画像データのピクセルデータを伝送する方式である。この方式の場合、左眼画像データおよび右眼画像データは、それぞれ、水平方向のピクセルデータが1/2に間引かれ、原信号に対して水平解像度は半分となる。
トップ・アンド・ボトム方式は、図25(b)に示すように、垂直方向の前半では左眼画像データの各ラインのデータを伝送し、垂直方向の後半では左眼画像データの各ラインのデータを伝送する方式である。この方式場合、左眼画像データおよび右眼画像データのラインが1/2に間引かれ、原信号に対して垂直解像度は半分となる。
ここで、受信側における表示画像データ生成処理について簡単に説明する。図26(a)は、1920×1080のピクセルフォーマットの2次元画像データに関する処理を概略的に示している。この場合、送信側では、16×16のブロック毎に符号化を行うために、ブランクデータからなる8ラインを付加して、1920画素×1088ラインの画像データとして符号化が行われている。
そのため、受信側では、復号化後に、1920画素×1088ラインの画像データが得られる。しかし、そのうち8ラインはブランクデータであることから、実質的な画像データが含まれる1920画素×1080ラインの画像データの切り取りが行われて、2次元テレビ受信機(以下、適宜、「2DTV」という)用の表示用画像データが生成される。
図26(b)は、1920×1080のピクセルフォーマットのサイド・バイ・サイド方式の立体画像データ(3次元画像データ)に関する処理を概略的に示している。この場合も、送信側では、16×16のブロック毎に符号化を行うために、ブランクデータからなる8ラインを付加して、1920画素×1088ラインの画像データとして符号化が行われている。
そのため、受信側では、復号化後に、1920画素×1088ラインの画像データが得られる。しかし、そのうち8ラインはブランクデータであることから、実質的な画像データが含まれる1920画素×1080ラインの画像データの切り取りが行われる。そして、この画像データが左右に二分され、それぞれに水平方向のスケーリング処理が施されて、立体テレビ受信機(以下、適宜、「3DTV」という)用の左眼および右眼の表示用画像データが生成される。
図26(c)は、1920×1080のピクセルフォーマットのトップ・アンド・ボトム方式の立体画像データ(3次元画像データ)に関する処理を概略的に示している。この場合も、送信側では、16×16のブロック毎に符号化を行うために、ブランクデータからなる8ラインを付加して、1920画素×1088ラインの画像データとして符号化が行われている。
そのため、受信側では、復号化後に、1920画素×1088ラインの画像データが得られる。しかし、そのうち8ラインはブランクデータであることから、実質的な画像データが含まれる1920画素×1080ラインの画像データの切り取りが行われる。そして、この画像データが上下に二分され、それぞれに垂直方向のスケーリング処理が施されて、3DTV用の左眼および右眼の表示用画像データが生成される。
特開2005−6114号公報
2DTVにおいて、サイド・バイ・サイド方式、あるいはトップ・アンド・ボトム方式の立体画像データが受信されるとき、上述したように1920画素×1080ラインの画像データを切り取って2DTV用の表示用画像データを生成すると、図27(a),図27(b)に示すように、左右あるいは上下に同様の画像が並んだ不自然な画像表示となる。
本技術は、フレームコンパチブル方式の立体画像データを送信する際、2DTVに対してのサービスコンパチブルを実現することにある。また、本技術は、フレームコンパチブル方式の立体画像データを送信する際、3DTVにおけるデータ切り取り処理の便宜を図ることにある。
本技術の概念は、
画像データに対してエンコード処理を行って圧縮ビデオストリームを生成するエンコード部と、
上記エンコード部で生成された圧縮ビデオストリームを送信する送信部とを備え、
上記エンコード部は、上記画像データがフレームコンパチブル方式の立体画像データであるとき、上記圧縮ビデオストリームに、デコード後の画像データから2次元表示用の画像データを切り取るための画像領域情報を挿入する
画像データ送信装置にある。
本技術において、エンコード部により、画像データに対してエンコード処理が行われて圧縮ビデオストリームが生成される。そして、送信部により、この圧縮ビデオストリームが送信される。エンコード部では、画像データがフレームコンパチブル方式の立体画像データであるとき、圧縮ビデオストリームに、デコード後の画像データから2次元表示用の画像データを切り取るための画像領域情報が挿入される。ここで、フレームコンパチブル方式の立体画像データは、例えば、サイド・バイ・サイド方式、またはトップ・アンド・ボトム方式の立体画像データである。
本技術において、例えば、画像領域情報は、領域の大きさを示す情報および領域の位置を示す情報、あるいは、領域の大きさを示す情報とされる。この場合、例えば、圧縮ビデオストリームはMPEG2videoフォーマットの圧縮ビデオストリームであり、領域の大きさを示す情報は、Sequence Display Extension 内に拡張パラメータとして含まれ、領域の位置を示す情報は、Picture Display Extension 内に拡張パラメータとして含まれる。
このように本技術においては、画像データがフレームコンパチブル方式の立体画像データであるとき、圧縮ビデオストリームに、デコード後の画像データから2次元表示用の画像データを切り取るための画像領域情報が挿入される。そのため、受信側の2次元テレビ受信機(2DTV)では、この画像領域情報に基づいて、デコード後の画像データから2次元表示用の画像データを切り取って2次元画像データを得ることが可能となる。したがって、フレームコンパチブル方式の立体画像データを送信する際、2DTVに対してのサービスコンパチブルを実現できる。
また、受信側の立体テレビ受信機(3DTV)では、ユーザ操作により二次元表示モードが選択される場合、この画像領域情報に基づいて、デコード後の画像データから2次元表示用の画像データを切り取って2次元画像データを得ることが可能となる。したがって、フレームコンパチブル方式の立体画像データを送信する際、3DTV(2次元表示モード)に対してのサービスコンパチブルを実現できる。
なお、本技術において、例えば、エンコード部は、画像データがフレームコンパチブル方式の立体画像データであるとき、圧縮ビデオストリームに、デコード後の画像データから立体表示用の画像データを切り取るための画像領域情報をさらに挿入する、ようにされてもよい。これにより、受信側の立体テレビ受信機(3DTV)におけるデータ切り取り処理の便宜を図ることができる。すなわち、受信側の3DTVでは、ユーザ操作により、立体表示モードが選択される場合、この画像領域情報に基づいて、デコード後の画像データから立体表示用の画像データの切り取りを容易かつ正しく行うことができ、従って、左眼画像データおよび右眼画像データを良好に得ることが可能となる。
また、本技術の他の概念は、
画像データに対してエンコード処理を行って生成された圧縮ビデオストリームを受信する受信部と、
上記受信部で受信された圧縮ビデオストリームに対してデコード処理を行って画像データを生成するデコード部と、
上記デコード部で生成された画像データに基づいて表示用の画像データを得る画像データ処理部とを備え、
上記圧縮ビデオストリームには、上記画像データがフレームコンパチブル方式の立体画像データであるとき、デコード後の画像データから2次元表示用の画像データを切り取るための画像領域情報が挿入されており、
上記画像データ処理部は、上記デコード部で生成された画像データがフレームコンパチブル方式の立体画像データであるとき、該立体画像データから上記圧縮ビデオストリームに挿入されている画像領域情報を利用して2次元表示用の画像データを切りとって2次元画像データを得る
画像データ受信装置にある。
本技術において、受信部により、画像データに対してエンコード処理を行って生成された圧縮ビデオストリームが受信される。そして、デコード部により、この圧縮ビデオストリームに対してデコード処理が行われて画像データが生成される。そして、画像データ処理部により、この画像データに基づいて表示用の画像データが得られる。この場合、例えば、圧縮ビデオストリームは、MPEG2videoフォーマットの圧縮ビデオストリームである。
ここで、圧縮ビデオストリームには、画像データがフレームコンパチブル方式の立体画像データであるとき、デコード後の画像データから2次元表示用の画像データを切り取るための画像領域情報が挿入されている。ここで、フレームコンパチブル方式の立体画像データは、例えば、サイド・バイ・サイド方式、またはトップ・アンド・ボトム方式の立体画像データである。
画像データ処理部では、デコード部で生成された画像データ、つまりデコード後の画像データがフレームコンパチブル方式の立体画像データであるとき、この立体画像データから、画像領域情報が利用されて、2次元表示用の画像データが切り取られて2次元画像データが得られる。
このように本技術においては、画像データ処理部では、デコード後の画像データがフレームコンパチブル方式の立体画像データであるとき、圧縮ビデオストリームに挿入されている画像領域情報が利用されて、この立体画像データから2次元表示用の画像データの切り取りが自動的に行われる。そのため、2次元テレビ受信機(2DTV)では、フレームコンパチブル方式の立体画像データが送信されてくる際、左右あるいは上下に同様の画像が並んだ不自然な画像表示が行われることがなく、自動的に良好な2次元画像の表示が可能となる。
また、本技術において、例えば、ユーザが2次元表示モードまたは立体表示モードを選択するユーザ操作部をさらに備え、画像データ処理部は、デコード部で生成された画像データがフレームコンパチブル方式の立体画像データであるとき、ユーザ操作部で2次元表示モードが選択される場合には、圧縮ビデオストリームに挿入されている画像領域情報を利用して、立体画像データから2次元表示用の画像データを切りとって2次元画像データを得る、ようにされてもよい。
この場合、デコード後の画像データがフレームコンパチブル方式の立体画像データであるとき、2次元表示モードが選択されている場合、圧縮ビデオストリームに挿入されている画像領域情報が利用されて、その立体画像データから2次元表示用の画像データの切り取りが自動的に行われる。そのため、立体テレビ受信機(3DTV)では、フレームコンパチブル方式の立体画像データが送信されてくる際、2次元表示モードが選択される場合、左右あるいは上下に同様の画像が並んだ不自然な画像表示が行われることがなく、自動的に良好な2次元画像の表示が可能となる。
また、本技術において、例えば、ユーザが2次元表示モードまたは立体表示モードを選択するユーザ操作部をさらに備え、画像データ処理部は、デコード部で生成された画像データがフレームコンパチブル方式の立体画像データであるとき、ユーザ操作部で立体表示モードが選択される場合には、圧縮ビデオストリームに挿入されている画像領域情報が示すハーフ解像度の値を2倍の値に解釈し、立体画像データからフル解像度の左眼画像データおよび右眼画像データを得る、ようにされてもよい。この場合、圧縮ビデオストリームに挿入されている画像領域情報が利用されて、良好な立体画像の表示が可能となる。
また、本技術の他の概念は、
画像データに対してエンコード処理を行って圧縮ビデオストリームを生成するエンコード部と、
上記エンコード部で生成された圧縮ビデオストリームを送信する送信部とを備え、
上記エンコード部は、上記画像データがフレームコンパチブル方式の立体画像データであるとき、上記圧縮ビデオストリームに、デコード後の画像データから立体表示用の画像データを切り取るための画像領域情報を挿入する
画像データ送信装置にある。
本技術において、エンコード部により、画像データに対してエンコード処理が行われて圧縮ビデオストリームが生成される。そして、送信部により、この圧縮ビデオストリームが送信される。エンコード部では、画像データがフレームコンパチブル方式の立体画像データであるとき、圧縮ビデオストリームに、デコード後の画像データから立体表示用の画像データを切り取るための画像領域情報が挿入される。ここで、フレームコンパチブル方式の立体画像データは、例えば、サイド・バイ・サイド方式、またはトップ・アンド・ボトム方式の立体画像データである。
本技術において、例えば、圧縮ビデオストリームは、MPEG2videoフォーマットの圧縮ビデオストリームであり、画像領域情報はピクチャーレイヤのユーザデータ領域に挿入される。また、本技術において、例えば、ピクチャーレイヤのユーザデータ領域には、フレームコンパチブル方式の立体画像データであることを識別できるシグナリング情報が挿入されており、画像領域情報はシグナリング情報より後の位置に挿入される。
このように本技術においては、画像データがフレームコンパチブル方式の立体画像データであるとき、圧縮ビデオストリームに、デコード後の画像データから立体表示用の画像データを切り取るための画像領域情報が挿入される。そのため、受信側の立体テレビ受信機(3DTV)におけるデータ切り取り処理の便宜を図ることができる。すなわち、受信側の3DTVでは、ユーザ操作により、立体表示モードが選択される場合、この画像領域情報に基づいて、デコード後の画像データから立体表示用の画像データの切り取りを容易かつ正しく行うことができ、従って、左眼画像データおよび右眼画像データを良好に得ることが可能となる。
また、本技術の他の概念は、
画像データに対してエンコード処理を行って生成された圧縮ビデオストリームを受信する受信部と、
上記受信部で受信された圧縮ビデオストリームに対してデコード処理を行って画像データを生成するデコード部と、
上記デコード部で生成された画像データに基づいて表示用の画像データを得る画像データ処理部とを備え、
上記圧縮ビデオストリームには、上記画像データがフレームコンパチブル方式の立体画像データであるとき、デコード後の画像データから立体表示用の画像データを切り取るための画像領域情報が挿入されており、
上記画像データ処理部は、上記デコード部で生成された画像データがフレームコンパチブル方式の立体画像データであるとき、該立体画像データから上記圧縮ビデオストリームに挿入されている画像領域情報を利用して立体表示用の画像データを切りとって左眼画像データおよび右眼画像データを得る
画像データ受信装置にある。
本技術において、受信部により、画像データに対してエンコード処理を行って生成された圧縮ビデオストリームが受信される。そして、デコード部により、この圧縮ビデオストリームに対してデコード処理が行われて画像データが生成される。そして、画像データ処理部により、この画像データに基づいて表示用の画像データが得られる。この場合、例えば、圧縮ビデオストリームは、MPEG2videoフォーマットの圧縮ビデオストリームである。
ここで、圧縮ビデオストリームには、画像データがフレームコンパチブル方式の立体画像データであるとき、デコード後の画像データから立体表示用の画像データを切り取るための画像領域情報が挿入されている。ここで、フレームコンパチブル方式の立体画像データは、例えば、サイド・バイ・サイド方式、またはトップ・アンド・ボトム方式の立体画像データである。
画像データ処理部では、デコード部で生成された画像データ、つまりデコード後の画像データがフレームコンパチブル方式の立体画像データであるとき、この立体画像データから、画像領域情報が利用されて、立体表示用の画像データが切り取られて左眼画像データおよび右眼画像データが得られる。
このように本技術においては、画像データ処理部では、デコード後の画像データがフレームコンパチブル方式の立体画像データであるとき、圧縮ビデオストリームに挿入されている画像領域情報が利用されて、この立体画像データから立体表示用の画像データの切り取りが自動的に行われる。そのため、立体テレビ受信機(3DTV)では、フレームコンパチブル方式の立体画像データが送信されてくる際、ユーザ操作により、立体表示モードが選択される場合、デコード後の画像データから立体表示用の画像データの切り取りを容易かつ正しく行うことができ、従って、左眼画像データおよび右眼画像データを良好に得ることが可能となる。
本技術によれば、フレームコンパチブル方式の立体画像データを送信する際、2DTVに対してのサービスコンパチブルを実現できる。また、本技術によれば、フレームコンパチブル方式の立体画像データを送信する際、3DTVにおけるデータ切り取り処理の便宜を図ることができる。
本技術の実施の形態としての画像送受信システムの構成例を示すブロック図である。 画像送受信システムを構成する放送局の送信データ生成部の構成例を示すブロック図である。 シグナリング情報(Stereo_Video_Format_Signaling)を含むユーザデータのデータ構造(Syntax)を示す図である。 シグナリング情報(Stereo_Video_Format_Signaling())のデータ構造(Syntax)を示す図である。 シグナリング情報のデータ構造における主要なデータ規定内容(Semantics)を示す図である。 「Stereo_Video_Format_Signaling_type」の3D映像フォーマット識別情報を示す図である。 MPEG2videoに規定されているSDEの構造例(Syntax)を示す図である。 MPEG2videoに規定されているPDEの構造例(Syntax)を示す図である。 切り取り領域を示す画像領域情報としてのSDE,PDE内の拡張パラメータの設定例を示す図である。 切り取り領域を示す画像領域情報としてのSDE,PDE内の拡張パラメータの設定例を示す図である。 立体画像領域情報(Stereo_Video_Cropping)を含むユーザデータのデータ構造(Syntax)を示す図である。 立体画像領域情報(Stereo_Video_Cropping)のデータ構造(Syntax)を示す図である。 立体画像領域情報のデータ構造における主要なデータ規定内容(Semantics)を示す図である。 圧縮ビデオストリームのピクチャーレイヤのユーザデータ領域に挿入されるシグナリング情報と立体画像領域情報の位置関係を概略的に示す図である。 画像送受信システムを構成する受信機としての2次元テレビ受信機(2DTV)の構成例を示すブロック図である。 CPUにおけるストリーム認識処理の手順の一例を示すフローチャートである。 画像送受信システムを構成する受信機としての立体テレビ受信機(3DTV)の構成例を示すブロック図である。 CPUにおける画像データ処理部の処理切り換えに関する制御処理の手順を示すフローチャートである。 立体テレビ受信機の画像データ処理部における立体表示モードにおける処理を説明するための図である。 立体テレビ受信機の画像データ処理部における立体表示モードにおける処理を説明するための図である。 切り取り領域を示す画像領域情報としてのSDE内の拡張パラメータの設定例を示す図である。 切り取り領域を示す画像領域情報としてのSDE内の拡張パラメータの設定例を示す図である。 2次元テレビ受信機(2DTV)および立体テレビ受信機(3DTV)における2Dストリーム、3Dストリームに対する表示処理をまとめて示した図である。 両眼視差を利用した立体画像表示において、スクリーン上におけるオブジェクトの左右像の表示位置と、その立体像の再生位置との関係を説明するための図である。 フレームコンパチブル方式の立体画像データの伝送フォーマットの一例(サイド・バイ・サイド方式、トップ・アンド・ボトム方式)を示す図である。 受信側(2DTV、3DTV)における表示画像データ生成処理を説明するための図である。 2DTVにおいて、サイド・バイ・サイド方式、あるいはトップ・アンド・ボトム方式の立体画像データが受信されときの不自然な画像表示を示す図である。
以下、発明を実施するための形態(以下、「実施の形態」とする)について説明する。なお、説明は以下の順序で行う。
1.実施の形態
2.変形例
<1.実施の形態>
[画像送受信システム]
図1は、実施の形態としての画像送受信システム10の構成例を示している。この画像送受信システム10は、放送局100および受信機200により構成されている。放送局100は、2次元画像データあるいは立体画像データを含む圧縮ビデオストリームを有するトランスポートストリーム(多重化データストリームデータ)TSを、放送波に載せて送信する。
この実施の形態において、圧縮ビデオストリームは、MPEG2videoフォーマットの圧縮ビデオストリームである。また、この実施の形態において、フレームコンパチブル方式の立体画像データが含まれる圧縮ビデオストリームには、デコード後の画像データから2次元表示用の画像データを切り取るための画像領域情報が挿入される。また、この実施の形態において、この圧縮ビデオストリームには、デコード後の画像データから立体表示用の画像データを切り取るための画像領域情報が挿入される。フレームコンパチブル方式の立体画像データは、例えば、サイド・バイ・サイド(Side By Side)方式、あるいはトップ・アンド・ボトム(Top &Bottom)方式などの立体画像データである。
また、この実施の形態において、立体画像データのピクセルフォーマットは、1920×1080であるとする。放送局100は、この立体画像データに対して、16×16のブロック毎に符号化を行う。そのため、放送局100は、ブランクデータからなる8ラインを付加して、1920画素×1088ラインの画像データとして符号化を行う。
受信機200は、放送局100から放送波に載せて送られてくるトランスポートストリームTSを受信する。受信機200は、受信されたトラスポートストリームTSから、圧縮ビデオストリームを得る。この場合、フレームコンパチブル方式の立体画像データが含まれる圧縮ビデオストリームには、デコード後の画像データから2次元表示用の画像データを切り取るための画像領域情報が挿入されている。また、この圧縮ビデオストリームには、デコード後の画像データから立体表示用の画像データを切り取るための画像領域情報が挿入されている。
受信機200は、この圧縮ビデオストリームに対してデコード処理を行って、2次元画像データあるいは立体画像データを生成する。そして、受信機200は、2DTVであるとき、デコード後の画像データが2次元画像データである場合には、従来と同様の2次元表示処理を行って、2次元画像を表示する。
また、受信機200は、2DTVであるとき、デコード後の画像データがフレームコンパチブル方式の立体画像データである場合には、圧縮ビデオストリームに挿入されている、2次元表示用の画像データを切り取るための画像領域情報を利用する。つまり、受信機200は、この画像領域情報を利用して立体画像データから2次元表示用の画像データを切りとり、水平または垂直のスケーリング処理を行って2次元画像データを得て、2次元画像表示を行う。
また、受信機200は、3DTVであるとき、デコード後の画像データが2次元画像データである場合には、従来と同様の2次元表示処理を行って、2次元画像を表示する。また、受信機200は、3DTVであるとき、デコード後の画像データがフレームコンパチブル方式の立体画像データであって、2次元表示モードが選択されている場合には、圧縮ビデオストリームに挿入されている、2次元表示用の画像データを切り取るための画像領域情報を利用する。つまり、受信機200は、この画像領域情報を利用して立体画像データから2次元表示用の画像データを切りとり、水平または垂直のスケーリング処理を行って2次元画像データを得て、2次元画像表示を行う。
また、受信機200は、3DTVであるとき、デコード後の画像データがフレームコンパチブル方式の立体画像データであって、立体表示モードが選択されている場合には、立体画像データに基づいて立体画像表示を行う。この場合、受信機200は、圧縮ビデオストリームに挿入されている、立体表示用の画像データを切り取るための画像領域情報を利用する。つまり、受信機200は、この画像領域情報を利用して立体画像データから立体表示用の画像データを切り取る。そして、受信機は、切り取った画像データを左右あるいは上下に二分し、それぞれに水平方向あるいは垂直方向のスケーリング処理を施して、立体画像を表示するための左眼画像データおよび右眼画像データを得る。
なお、この場合、受信機200は、圧縮ビデオストリームに挿入されている、2次元表示用の画像データを切り取るための画像領域情報を利用することも可能である。すなわち、受信機200は、この画像領域情報が示すハーフ解像度の値を2倍の値に解釈して立体画像データから立体表示用の画像データを切り取る。そして、受信機200は、切り取った画像データを左右あるいは上下に二分し、それぞれに水平方向あるいは垂直方向のスケーリング処理を施して、立体画像を表示するための左眼画像データおよび右眼画像データを得る。
「送信データ生成部の構成例」
図2は、放送局100において、上述したトランスポートストリームTSを生成する送信データ生成部110の構成例を示している。この送信データ生成部110は、データ取り出し部(アーカイブ部)111と、ビデオエンコーダ112と、オーディオエンコーダ113と、マルチプレクサ114を有している。
データ取り出し部111には、データ記録媒体111aが、例えば、着脱自在に装着される。データ記録媒体111aは、ディスク状記録媒体、半導体メモリ等である。このデータ記録媒体111aには、トランスポートストリームTSで送信する所定番組の2次元画像データ、あるいは立体(3D)画像データが記録されている。また、このデータ記録媒体111aには、画像データに対応した音声データが記録されている。立体画像データには、上述したようにフレームコンパチブル方式の立体画像データ、例えば、サイド・バイ・サイド方式、あるいはトップ・アンド・ボトム方式などの立体画像データが含まれる(図25(a),(b)参照)。
ビデオエンコーダ112は、データ取り出し部111から出力される画像データに対して、MPEG2videoフォーマットでエンコード処理を行って圧縮ビデオストリームを生成する。この場合、ビデオエンコーダ112は、1920画素×1080ラインの画像データに対して、16×16のブロック毎に符号化を行うため、ブランクデータからなる8ラインを付加して、1920画素×1088ラインの画像データとして符号化を行う。
ビデオエンコーダ112は、圧縮ビデオストリームのピクチャーレイヤ、例えば、ユーザデータ領域、あるいはピクチャヘッダに相当する場所に、画像データのシグナリング情報を挿入する。このシグナリング情報は、画像データが立体画像データであるか2次元画像データであるかを示し、さらに立体画像データである場合には、その伝送フォーマットが何であるかを示す。
図3は、シグナリング情報(Stereo_Video_Format_Signaling)を含むユーザデータのデータ構造(Syntax)を示している。「user_data_start_code」の32ビットフィールドは、ユーザデータ(user_data)の開始コードであり、“0x000001B2”の固定値とされる。この開始コードに続く32ビットフィールドは、ユーザデータの内容を識別する識別子である。ここでは、「Stereo_Video_Format_Signaling_identifier」とされ、ユーザデータが、シグナリング情報(Stereo_Video_Format_Signaling)であることが識別される。この「Stereo_Video_Format_Signaling_identifier」は、“0x4A503344”の固定値とされる。この識別子の後のデータ本体として、シグナリング情報(Stereo_Video_Format_Signaling())が配置される。
図4は、シグナリング情報(Stereo_Video_Format_Signaling())のデータ構造(Syntax)を示し、図5はその主要なデータ規定内容(Semantics)を示している。「Stereo_Video_Format_Signaling_Length」の8ビットフィールドは、以降のバイト長を示す。ここでは、“3”の固定値とされる。「Stereo_Video_Format_Signaling_type」の7ビットフィールドは、3D映像フォーマットを識別する情報であり、各フォーマットの種別を示す。図6に示すように、「0000011」はサイド・バイ・サイド方式の3D映像であることを示し、「0000100」はトップ・アンド・ボトム方式の3D映像であることを示し、さらに、「0001000」は2D映像であることを示す。
図2に戻って、ビデオエンコーダ112は、この圧縮ビデオストリーム(MPEG2videoストリーム)に、デコード後の画像データから2次元表示用の画像データを切り取るための画像領域情報(以下、適宜、「2次元画像領域情報」という)を挿入する。ビデオエンコーダ112は、サイド・バイ・サイド方式、あるいはトップ・アンド・ボトム方式などのフレームコンパチブル方式の立体画像データである場合、この2次元画像領域情報を挿入する。
この実施の形態において、ビデオエンコーダ112は、2次元画像領域情報を挿入するため、MPEG2videoストリームのシステムレイヤに存在するSDE(Sequence Display Extension),PDE(PictureDisplay Extension)を利用する。この実施の形態において、2次元画像領域情報は、切り取り領域の大きさを示す情報と、切り取り領域の位置を示す情報とからなる。ビデオエンコーダ112は、SDE内に、拡張パラメータとして、切り取り領域の大きさを示す情報を含ませる。また、ビデオエンコーダ112は、PDE内に、拡張パラメータとして、切り取り領域の位置を示す情報を含ませる。
図7は、詳細説明は省略するが、MPEG2videoに規定されているSDEの構造例(Syntax)を示している。ビデオエンコーダ112は、このSDEの「display_horizontal_size」の14ビットフィールドに、切り取り領域の水平方向サイズを示す画素数情報を設定する。また、ビデオエンコーダ112は、このSDEの「display_vertical_size」の14ビットフィールドに、切り取り領域の垂直方向サイズを示す画素数情報を設定する。
図8は、詳細説明は省略するが、MPEG2videoに規定されているPDEの構造例(Syntax)を示している。ビデオエンコーダ112は、このPDEの「frame_centre_horizontal_offset」の16ビットフィールドに、切り取り領域の中心位置の、デコード後の画像データの中心位置からの水平方向のオフセット値を示す画素数情報を設定する。また、ビデオエンコーダ112は、このPDEの「frame_centre_vertical_offset」の16ビットフィールドに、切り取り領域の中心位置の、復号後の画像データの中心位置からの垂直方向のオフセット値を示す画素数情報を設定する。
図9は、各値の設定の一例を示している。この例は、デコード後の画像データが1920画素×1080ラインであって、その画像データのうち1920画素×1080ラインに実質的な画像データ存在する場合の例である。また、この例は、受信側において、サイド・バイ・サイド方式では左側に存在する左眼画像データを、トップ・アンド・ボトム方式では上側に存在する左眼画像データを2次元表示用の画像データとして切り取る場合の例である。なお、デコード後の画像データの中心位置をA0とし、切り取り領域の中心位置をB0としている。
サイド・バイ・サイド方式の場合、SDE内、PDE内の拡張パラメータは、以下のように設定される。すなわち、「display_horizontal_size=960」、「display_vertical_size=1080」に設定される。また、「frame_centre_horizontal_offset=−480」、「frame_centre_vertical_offset=−4」に設定される。一方、トップ・アンド・ボトム方式の場合、SDE内、PDE内の拡張パラメータは、以下のように設定される。すなわち、「display_horizontal_size=1920」、「display_vertical_size=540」に設定される。また、「frame_centre_horizontal_offset=0」、「frame_centre_vertical_offset=−274」に設定される。
図10は、各値の設定の他の例を示している。この例は、デコード後の画像データが1920画素×1080ラインであって、その画像データのうち1920画素×1080ラインに実質的な画像データ存在する場合の例である。また、この例は、受信側において、サイド・バイ・サイド方式では右側に存在する右眼画像データを、トップ・アンド・ボトム方式では下側に存在する右眼画像データを2次元表示用の画像データとして切り出す場合の例である。なお、デコード後の画像データの中心位置をA0とし、切り取り領域の中心位置をB0としている。
サイド・バイ・サイド方式の場合、SDE内、PDE内の拡張パラメータは、以下のように設定される。すなわち、「display_horizontal_size=960」、「display_vertical_size=1080」に設定される。また、「frame_centre_horizontal_offset=480」、「frame_centre_vertical_offset=−4」に設定される。一方、トップ・アンド・ボトム方式の場合、SDE内、PDE内の拡張パラメータは、以下のように設定される。すなわち、「display_horizontal_size=1920」、「display_vertical_size=540」に設定される。また、「frame_centre_horizontal_offset=0」、「frame_centre_vertical_offset=266」に設定される。
図2に戻って、また、ビデオエンコーダ112は、この圧縮ビデオストリーム(MPEG2videoストリーム)に、デコード後の画像データから立体表示用の画像データを切り取るための画像領域情報(以下、適宜、「立体画像領域情報」という)を挿入する。ビデオエンコーダ112は、サイド・バイ・サイド方式、あるいはトップ・アンド・ボトム方式などのフレームコンパチブル方式の立体画像データである場合、この立体画像領域情報を挿入する。ビデオエンコーダ112は、圧縮ビデオストリームのピクチャーレイヤ、例えば、ユーザデータ領域、あるいはピクチャヘッダに相当する場所に、この立体画像領域情報を挿入する。
図11は、立体画像領域情報(Stereo_Video_Cropping)を含むユーザデータのデータ構造(Syntax)を示している。「user_data_start_code」の32ビットフィールドは、ユーザデータ(user_data)の開始コードであり、“0x000001B2”の固定値とされる。この開始コードに続く32ビットフィールドは、ユーザデータの内容を識別する識別子である。ここでは、「Stereo_Video_Cropping_identifier」とされ、ユーザデータが、立体画像領域情報(Stereo_Video_Cropping)であることが識別される。この識別子の後のデータ本体として、立体画像領域情報(Stereo_Video_Cropping())が配置される。
図12は、立体画像領域情報(Stereo_Video_Cropping)のデータ構造(Syntax)を示し、図13はその主要なデータ規定内容(Semantics)を示している。「temporal_repetition_cropping」は、1ビットのフラグ情報である。フラグ“1”は、次の立体画像領域情報(Stereo_Video_Cropping)のユーザデータが現れるまで、ここで定義される状態を保持することを示す。フラグ“0”は、現在のピクチャ(Picture)に限定で、状態を定義していることを示す。
「frame_3D_left_offset」の16ビットフィールドは、立体画像領域の左端位置の、デコード後の画像データの左上位置からの水平方向のオフセット値を示す。「frame_3D_right_offset」の16ビットフィールドは、立体画像領域の右端位置の、デコード後の画像データの左上位置からの水平方向のオフセット値を示す。「frame_3D_top_offset」の16ビットフィールドは、立体画像領域の上端位置の、デコード後の画像データの左上位置からの垂直方向のオフセット値を示す。さらに、「frame_3D_bottom_offset」の16ビットフィールドは、立体画像領域の下端位置の、デコード後の画像データの左上位置からの垂直方向のオフセット値を示す。
上述したように、シグナリング情報(Stereo_Video_Format_Signaling)を含むユーザデータ、および立体画像領域情報(Stereo_Video_Cropping)を含むユーザデータは、いずれも圧縮ビデオストリームのピクチャーレイヤのユーザデータ領域に挿入される。図14は、その場合におけるシグナリング情報と立体画像領域情報の位置関係を概略的に示しており、立体画像領域情報はシグナリング情報より後の位置に挿入される。
図2に戻って、オーディオエンコーダ113は、データ取り出し部111から出力される音声データに対して、MPEG−2Audio AAC等の符号化を施し、圧縮オーディオストリームを生成する。マルチプレクサ114は、ビデオエンコーダ112およびオーディオエンコーダ113で生成された各ストリームをパケット化して多重し、トランスポートストリーム(多重化データストリーム)TSを生成する。
図2に示す送信データ生成部110の動作を簡単に説明する。データ取り出し部111から出力される2次元画像データ、あるいは立体(3D)画像データは、ビデオエンコーダ112に供給される。このビデオエンコーダ112では、その画像データに対して、MPEG2videoフォーマットのエンコード処理が行われて、圧縮ビデオストリームが生成される。
また、ビデオエンコーダ112では、圧縮ビデオストリームのピクチャーレイヤ、例えばユーザデータ領域、あるいはピクチャヘッダに相当する場所に、2次元画像データか立体画像データか、さらに立体画像データであればその伝送フォーマットを識別可能なシグナリング情報が挿入される(図3〜6参照)。
また、ビデオエンコーダ112では、フレームコンパチブル方式以外の立体画像データであるとき、この圧縮ビデオストリームに、デコード後の画像データから2次元表示用の画像データを切り取るための2次元画像領域情報が挿入される。この場合、MPEG2videoストリームのシステムレイヤに存在するSDE,PDEが利用されて、画像領域情報の挿入が行われる(図7〜図10参照)。
また、ビデオエンコーダ112では、フレームコンパチブル方式以外の立体画像データであるとき、この圧縮ビデオストリームにデコード後の画像データから立体表示用の画像データを切り取るための立体画像領域情報が挿入される(図11〜図14参照)。この立体画像領域情報は、上述のシグナリング情報と同様に、ピクチャーレイヤ、例えばユーザデータ領域、あるいはピクチャヘッダに相当する場所に挿入される。
また、データ取り出し部111から上述したように立体画像データが出力されるとき、このデータ取り出し部111からその立体画像データに対応した音声データも出力される。この音声データは、オーディオエンコーダ113に供給される。このオーディオエンコーダ113では、音声データに対して、MPEG−2Audio AAC等の符号化が施され、圧縮オーディオストリームが生成される。
ビデオエンコーダ112で生成された圧縮ビデオストリームはマルチプレクサ114に供給される。また、オーディエンコーダ113で生成された圧縮オーディオストリームはマルチプレクサ114に供給される。マルチプレクサ114では、各エンコーダから供給されるストリームがパケット化されて多重され、トランスポートストリーム(多重化データストリーム)TSが生成される。
上述したように、図2に示す送信データ生成部110において、ビデオエンコーダ112で、画像データに対して、MPEG2videoフォーマットのエンコード処理が行われて、圧縮ビデオストリームが生成される。そして、その際に、画像データがフレームコンパチブル方式の立体画像データであるときは、デコード後の画像データから2次元表示用の画像データを切り取るための2次元画像領域情報が挿入される。
そのため、受信側の2次元テレビ受信機(2DTV)では、この2次元画像領域情報に基づいて、デコード後の画像データから2次元表示用の画像データを切り取って2次元画像データを得ることが可能となる。したがって、フレームコンパチブル方式の立体画像データを送信する際、2DTVに対してのサービスコンパチブルを実現できる。
また、受信側の立体テレビ受信機(3DTV)では、ユーザ操作により二次元表示モードが選択される場合、この2次元画像領域情報に基づいて、デコード後の画像データから2次元表示用の画像データを切り取って2次元画像データを得ることが可能となる。したがって、フレームコンパチブル方式の立体画像データを送信する際、3DTV(2次元表示モード)に対してのサービスコンパチブルを実現できる。
また、図2に示す送信データ生成部110においては、圧縮ビデオストリームが生成される際に、画像データがフレームコンパチブル方式の立体画像データであるとき、立体画像領域情報が挿入される。この立体画像領域情報は、デコード後の画像データから立体表示用の画像データを切り取るための画像領域情報である。
そのため、受信側の立体テレビ受信機(3DTV)におけるデータ切り取り処理の便宜を図ることができる。すなわち、受信側の3DTVでは、ユーザ操作により、立体表示モードが選択される場合、この立体画像領域情報に基づいて、デコード後の画像データから立体表示用の画像データの切り取りを容易かつ正しく行うことができ、従って、左眼画像データおよび右眼画像データを良好に得ることが可能となる。
「2次元テレビ受信機(2DTV)の構成例」
図15は、受信機200としての2次元テレビ受信機(2DTV)200Aの構成例を示している。この2次元テレビ受信機200Aは、CPU201と、フラッシュROM202と、DRAM203と、内部バス204と、リモートコントロール受信部205と、リモートコントロール送信機206を有している。
また、この2次元テレビ受信機200Aは、アンテナ端子210と、デジタルチューナ211と、トランスポートストリームバッファ(TSバッファ)212と、デマルチプレクサ213を有している。また、この受信機200Aは、ビデオデコーダ214と、ディスプレイアウトプットバッファ(DOバッファ)215と、画像データ処理部216と、ビューバッファ222と、オーディオデコーダ218と、チャネル処理部219を有している。
CPU201は、受信機200Aの各部の動作を制御する。フラッシュROM202は、制御ソフトウェアの格納およびデータの保管を行う。DRAM203は、CPU201のワークエリアを構成する。CPU201は、フラッシュROM202から読み出したソフトウェアやデータをDRAM203上に展開してソフトウェアを起動させ、受信機200Aの各部を制御する。リモートコントロール受信部205は、リモートコントロール送信機206から送信されたリモーコントロール信号を受信し、CPU201に供給する。CPU201は、このリモーコントロール信号に基づいて、受信機200Aの各部を制御する。CPU201、フラッシュROM202およびDRAM203は内部バス204に接続されている。
アンテナ端子210は、受信アンテナ(図示せず)で受信されたテレビ放送信号を入力する端子である。デジタルチューナ211は、アンテナ端子210に入力されたテレビ放送信号を処理して、ユーザの選択チャネルに対応した所定のトランスポートストリーム(ビットストリームデータ)TSを出力する。トランスポートストリームバッファ(TSバッファ)212は、デジタルチューナ211から出力されたトランスポートストリームTSを一時的に蓄積する。
この実施の形態において、トランスポートストリームTSは、上述の放送局100の送信データ生成部110(図2参照)で生成されたトランスポートストリームTSであるとする。すなわち、このトランスポートストリームTSは、フレームコンパチブル方式の立体画像データに対してエンコード処理を行って生成された圧縮ビデオストリーム(MPEG2videoストリーム)を持っている。
この圧縮ビデオストリームには、MPEG2videoストリームのシステムレイヤに存在するSDE,PDEが利用されて、デコード後の画像データから2次元表示用の画像データを切り取るための2次元画像領域情報が挿入されている。また、この圧縮ビデオストリームには、ピクチャーレイヤのユーザデータ領域に、デコード後の画像データから立体表示用の画像データを切り取るための立体画像領域情報が挿入されている。
デマルチプレクサ213は、TSバッファ212に一時的に蓄積されたトランスポートストリームTSから、圧縮ビデオストリームおよび圧縮オーディオストリームを抽出する。ビデオデコーダ214は、上述の送信データ生成部110のビデオエンコーダ112とは逆の処理を行う。すなわち、このビデオデコーダ214は、デマルチプレクサ213で抽出された圧縮ビデオストリームに対してデコード処理を行って画像データを生成する。この画像データは、2次元画像データ、あるいは立体画像データである。
上述したように、放送局100の送信データ生成部110では、1920画素×1088ラインの立体画像データに対して、16×16のブロック毎に符号化を行うため、ブランクデータからなる8ラインが付加され、1920画素×1088ラインの画像データとして符号化が行われている。そのため、ビデオデコーダ214は、デコード後の画像データとして、ブランクデータからなる8ラインが付加された1920画素×1088ラインの画像データを取得する。
また、ビデオデコーダ214は、圧縮ビデオストリームのピクチャーレイヤに挿入されている画像データのシグナリング情報を読む。そして、ビデオデコーダ214は、デコード後の画像データがフレームコンパチブル方式の立体画像データであるときは、圧縮ビデオストリームに挿入されている、デコード後の画像データから2次元表示用の画像データを切り取るための2次元画像領域情報を取り出す。ビデオデコーダ214は、シグナリング情報および2次元画像領域情報をCPU201に供給する。ビデオデコーダ214は、圧縮ビデオストリームに挿入されている、デコード後の画像データから立体表示用の画像データを切り取るための立体画像領域情報については読み飛ばす。
ビデオデコーダ214で生成される画像データがサイド・バイ・サイド方式、あるいはトップ・アンド・ボトム方式などのフレームコンパチブル方式の立体画像データであるとき、CPU201は、シグナリング情報により、そのことを認識する。
図16のフローチャートは、CPU201におけるストリーム認識処理の手順の一例を示している。CPU201は、ステップST11において、処理を開始し、その後に、ステップST12の処理に移る。このステップ12において、CPU201は、3Dシグナリング情報があるか否か、つまりシグナリング情報が立体画像データであることを示しているか否かを判別する。
3Dシグナリング情報があるとき、CPU201は、ステップST13において、シグナリング情報が立体画像データのフォーマットとしてサイド・バイ・サイド方式、あるいはトップ・アンド・ボトム方式等のフレームコンパチブル方式の立体画像データを示しているか否かを判断する。フレームコンパチブル方式の立体画像データを示しているとき、CPU201は、ステップST14において、3Dストリーム、つまりデコード後の画像データがフレームコンパチブル方式の立体画像データであると認識し、その後に、ステップST15において、処理を終了する。
ステップST12でシグナリング情報がないとき、あるいはステップST13でフレームコンパチブル方式の立体画像データでないとき、CPU201は、ステップST16において、2Dストリーム、つまりデコード後の画像データが2次元画像データであると認識し、その後に、ステップST15において、処理を終了する。
CPU201は、上述のような、ストリーム認識処理を行い、その結果に基づいて、画像データ処理部221における処理を制御する。
DOバッファ215は、ビデオデコーダ214で取得された画像データを一時的に蓄積する。画像データ処理部221は、DOバッファ215に蓄積されている画像データから、CPU201の制御のもと、2次元表示用の画像データの切り取りを行って、2次元画像データSVを生成する。
この場合、CPU201が2Dストリーム、つまりデコード後の画像データが2次元画像データであると認識するとき、画像データ処理部221は、従来と同様の2次元表示処理を行って、2次元画像データSVを得る。一方、CPU201が3Dストリーム、つまりデコード後の画像データがフレームコンパチブル方式の立体画像データであると認識するとき、画像データ処理部221は、2次元画像領域情報を利用して、2次元画像データSVを生成する。
すなわち、2次元画像領域情報がデコード後の画像データのうち左眼画像データ領域を示す場合(図9参照)、画像データ処理部221は、デコード後の立体画像データから左眼画像データ領域の画像データを切り取る。そして、画像データ処理部221は、切り取った左眼画像データに対して水平または垂直のスケーリング処理を施し、2次元画像を表示するための2次元画像データSVを得る。この場合、Sequence_Display_extensionのhorizontal_size、vertical_sizeで切り出した領域を、sequence_headerのaspect_ratio_informationの指定に従い、変換する。
また、2次元画像領域情報がデコード後の画像データのうち、右眼画像データ領域を示す場合(図10参照)、画像データ処理部221は、デコード後の立体画像データから右眼画像データ領域の画像データを切り取る。そして、画像データ処理部221は、切り取った右眼画像データに対して水平または垂直のスケーリング処理を施し、2次元画像を表示するための2次元画像データSVを得る。この場合も、Sequence_Display_extensionのhorizontal_size、vertical_sizeで切り出した領域を、sequence_headerのaspect_ratio_informationの指定に従い、変換する。
ビューバッファ222は、画像データ処理部221で得られた2次元画像データSVを一時的に蓄積し、図示しない表示ディスプレイなどの画像出力部に出力する。
2次元テレビ受信機(2DTV)200Aの動作を簡単に説明する。アンテナ端子210に入力されたテレビ放送信号はデジタルチューナ211に供給される。このデジタルチューナ211では、テレビ放送信号が処理されて、ユーザの選択チャネルに対応した所定のトランスポートストリームTSが出力される。このトランスポートストリームTSは、TSバッファ212に一時的に蓄積される。
デマルチプレクサ213では、TSバッファ212に一時的に蓄積されたトランスポートストリームTSから、圧縮ビデオストリームおよび圧縮オーディオストリームが抽出される。圧縮ビデオストリームはビデオデコーダ214に供給され、圧縮オーディオストリームはオーディオデコーダ218に供給される。
ビデオデコーダ214では、デマルチプレクサ213で抽出された圧縮ビデオストリームに対してデコード処理が施されて、2次元画像データあるいは立体画像データが生成される。この画像データは、DOバッファ215に一時的に蓄積される。
また、ビデオデコーダ214では、圧縮ビデオストリームのピクチャーレイヤに挿入されている画像データのシグナリング情報が読み込まれる。そして、ビデオデコーダ214では、デコード後の画像データがフレームコンパチブル方式の立体画像データであるときは、圧縮ビデオストリームに挿入されている、デコード後の画像データから2次元表示用の画像データを切り取るための2次元画像領域情報が取り出される。シグナリング情報および2次元画像領域情報は、CPU201に供給される。
CPU201では、シグナリング情報に基づいて、2Dストリームか3Dストリームかの判断がなされる。そして、その判断結果に基づいて、画像データ処理部221における処理が制御される。
CPU201が2Dストリーム、つまりデコード後の画像データが2次元画像データであると認識するとき、画像データ処理部221では、従来と同様の2次元表示処理が行われて、2次元画像データSVが生成される。この2次元画像データSVは、ビューバッファ222を通じて、表示ディスプレイなどの画像出力部に出力される。表示ディスプレイには、2次元画像が表示される。
また、CPU201が3Dストリーム、つまりデコード後の画像データがフレームコンパチブル方式の立体画像データであると認識するとき、画像データ処理部221では、2次元画像領域情報が利用されて、2次元画像データSVが生成される。
すなわち、DOバッファ215に蓄積されている立体画像データから、CPU201の制御のもと、左眼画像データあるいは右眼画像データが2次元表示用の画像データとして切り取られる。そして、画像データ処理部221では、切り取られた画像データに対して水平または垂直のスケーリング処理が施され、2次元画像を表示するための2次元画像データSVが得られる。この2次元画像データSVは、ビューバッファ222を通じて、表示ディスプレイなどの画像出力部に出力される。表示ディスプレイには、2次元画像が表示される。
また、デマルチプレクサ213で抽出された圧縮オーディオストリームは、オーディオデコーダ218に供給される。このオーディオデコーダ218では、圧縮オーディオストリームに対してデコード処理が行われて、復号化された音声データが得られる。この音声データは、チャネル処理部219に供給される。チャネル処理部219では、その音声データに対して、例えば5.1chサラウンド等を実現するための各チャネルの音声データSAが生成される。この音声データSAは、スピーカなどの音声出力部に出力される。
上述したように、図15に示す2次元テレビ受信機(2DTV)200Aにおいて、ビデオデコーダ214では、圧縮ビデオストリームにSDE,PDEが利用されて挿入されている、デコード後の画像データから2次元表示用の画像データを切り取るための2次元画像領域情報が取り出される。そして、画像データ処理部221では、デコード後の画像データがフレームコンパチブル方式の立体画像データであるときは、CPU201の制御のもと、2次元画像領域情報が利用される。つまり、フレームコンパチブル方式の立体画像データから、2次元表示用の画像データ(左眼画像データまたは右眼画像データ)の切り取りが自動的に行われる。
そして、画像データ処理部221では、切り取られた画像データに対して水平あるいは垂直のスケーリング処理が施されて、2次元画像データSVが得られる。そのため、フレームコンパチブル方式の立体画像データが送信されてくる際、左右あるいは上下に同様の画像が並んだ不自然な画像表示が行われることがなく、自動的に良好な2次元画像の表示が可能となる。
なお、上述では、ビデオデコーダ214は、圧縮ビデオストリームのピクチャーレイヤに挿入されている画像データのシグナリング情報を読み込むものとしている。そして、ビデオデコーダ214は、デコード後の画像データがフレームコンパチブル方式の立体画像データであるとき、圧縮ビデオストリームに挿入されている2次元画像領域情報を取り出して、画像データ処理部221における2次元表示処理に利用している。
しかし、ビデオデコーダ214は、圧縮ビデオストリームのピクチャーレイヤに挿入されている画像データのシグナリング情報と立体画像領域情報の両方を読み飛ばすようにしてもよい。そして、画像データ処理部221は、SDE(sequence_display_extension)、あるいはPDE(picture_display_extension)におけるクロッピング(cropping)により、片方のビューのみを切り出して表示するようにしてもよい。このことは、後述する、立体テレビ受信機(3DTV)で、2次元表示モードが選択されている場合も同様である。
「立体テレビ受信機(3DTV)の構成例」
図17は、受信機200としての立体テレビ受信機(3DTV)200Bの構成例を示している。この立体テレビ受信機200Bは、ユーザ操作により、2次元表示モードまたは立体表示モードを選択することが可能とされている。立体テレビ受信機200Bは、立体表示モードでは立体画像を表示し、2次元表示モードでは2次元画像を表示する。なお、この図17において、図15と対応する部分には同一符号を付し、適宜、その詳細説明を省略する。
この立体テレビ受信機200Bは、CPU201と、フラッシュROM202と、DRAM203と、内部バス204と、リモートコントロール受信部205と、リモートコントロール送信機206を有している。また、この立体テレビ受信機200Bは、アンテナ端子210と、デジタルチューナ211と、トランスポートストリームバッファ(TSバッファ)212と、デマルチプレクサ213を有している。また、この立体テレビ受信機200Bは、ビデオデコーダ214と、ディスプレイアウトプットバッファ(BOバッファ)215と、画像データ処理部216と、ビューバッファ217L,217Rと、オーディオデコーダ218と、チャネル処理部219を有している。
上述したように、この立体テレビ受信機200Bは、ユーザ操作により、2次元表示モードまたは立体表示モードを選択することが可能とされている。ユーザは、例えば、リモートコントロール送信機206を操作することで、2次元表示モードまたは立体表示モードを択一的に選択可能とされる。この意味で、リモートコントロール送信機206は、ユーザが2次元表示モードまたは立体表示モードを選択するためのユーザ操作部を構成している。
ビデオデコーダ214は、デマルチプレクサ213で抽出された圧縮ビデオストリームに対してデコード処理を行って、2次元画像データあるいは立体画像データを生成する。この画像データは、DOバッファ215に一時的に蓄積される。画像データ処理部216は、DOバッファ215に蓄積されている画像データから、CPU201の制御のもと、立体画像データを構成する左眼画像データSLおよび右眼画像データSR、あるいは2次元画像データSVを生成する。
また、ビデオデコーダ214は、圧縮ビデオストリームのピクチャーレイヤに挿入されている画像データのシグナリング情報を読む。ビデオデコーダ214は、デコード後の画像データがフレームコンパチブル方式の立体画像データであるときは、圧縮ビデオストリームに挿入されている、デコード後の画像データから2次元表示用の画像データを切り取るための2次元画像領域情報を取り出す。
また、ビデオデコーダ214は、デコード後の画像データがフレームコンパチブル方式の立体画像データであるときは、圧縮ビデオストリームに挿入されている、デコード後の画像データから立体表示用の画像データを切り取るための立体画像領域情報を取り出す。ビデオデコーダ214は、シグナリング情報および画像領域情報(2次元画像領域情報、立体画像領域情報)をCPU201に供給する。
CPU201は、シグナリング情報に基づいて、2Dストリームか3Dストリームかの判断を行う(図16参照)。そして、CPU201は、その結果に基づいて、画像データ処理部216における処理を制御する。
CPU201が2Dストリーム、つまりデコード後の画像データが2次元画像データであると認識するとき、画像データ処理部216は、従来と同様の2次元表示処理を行って、2次元画像データSVを生成する。
また、CPU201は、3Dストリーム、つまりデコード後の画像データがフレームコンパチブル方式の立体画像データであると認識するとき、2次元表示モード、立体表示モードのいずれの選択状態にあるかにより、画像データ処理部216の処理を制御する。
つまり、CPU201は、ユーザ操作による上述の表示モード選択情報に基づいて、画像データ処理部216の処理を切り換える。図18のフローチャートは、CPU201における制御処理の手順を示している。CPU201は、ステップST1において、制御処理を開始し、その後に、ステップST2の処理に移る。CPU201は、このステップST2において、現在、2次元表示モードが選択されているか、立体表示モードが選択されているかを、判断する。
立体表示モードが選択されているとき、CPU201は、ステップST3において、画像データ処理部216の処理を立体表示処理に切り換え、その後に、ステップST4において、制御処理を終了する。一方、2次元表示モードが選択されているとき、CPU201は、ステップST5において、画像データ処理部216の処理を2次元表示処理に切り換え、その後に、ステップST4において、制御処理を終了する。
CPU201は、図18のフローチャートに示す制御処理を周期的に、あるいは、ユーザが表示モードの選択操作を行った場合などに、実行する。そのため、画像データ処理部216は、立体表示モードが選択されている場合には立体表示処理を行うと共に、2次元表示モードが選択されている場合には2次元表示処理を行う。
画像データ処理部216における立体表示処理は、以下の処理である。すなわち、画像データ処理部216は、DOバッファ215に蓄積されている立体画像データから、立体画像領域情報を利用して、左眼画像データSLおよび右眼画像データSRを生成する。すなわち、つまり、画像データ処理部216は、この立体画像領域情報を利用して立体画像データから立体表示用の画像データを切り取る。そして、画像データ処理部216は、切り取った画像データを左右あるいは上下に二分し、それぞれに水平方向あるいは垂直方向のスケーリング処理を施して、立体画像を表示するための左眼画像データSLおよび右眼画像データSRを得る。
なお、この場合、画像データ処理部216は、DOバッファ215に蓄積されている立体画像データから、2次元画像領域情報を利用して、左眼画像データSLおよび右眼画像データSRを生成することも可能である。この場合、画像データ処理部216は、図19、図20に示すように、画像領域情報のうちdisplay_horizontal_size 、あるいはdisplay_vertical_sizeを各々2倍の値に解釈して、立体画像データからフル解像度の左眼画像データSLおよび右眼画像データSRを得る。つまり、画像領域情報が示すハーフ解像度の値を2倍の値に解釈し、立体画像データからフル解像度の左眼画像データおよび右眼画像データを得る。
また、画像データ処理部216における2次元表示処理は、以下の処理である。すなわち、画像データ処理部216は、2次元画像領域情報を利用して、2次元画像データSVを生成する。すなわち、画像データ処理部216は、DOバッファ215に蓄積されている立体画像データから、CPU201の制御のもと、上述の2次元画像領域情報に基づいて、2次元表示用の画像データ(左眼画像データまたは右眼画像データ)を切り取る。
そして、画像データ処理部216は、切り取った左眼画像データに対して水平または垂直のスケーリング処理を施し、2次元画像データSVを得る(図9、図10参照)。この場合、Sequence_Display_extensionのhorizontal_size、vertical_sizeで切り出した領域を、sequence_headerのaspect_ratio_informationの指定に従い、変換する。
ビューバッファ217Lは、画像データ処理部216で生成された左眼画像データSL、あるいは2次元画像データSVを一時的に蓄積し、図示しない表示ディスプレイなどの画像出力部に出力する。また、ビューバッファ217Rは、画像データ処理部216で生成された右眼画像データSRを一時的に蓄積し、表示ディスプレイなどの画像出力部に出力する。
詳細説明は省略するが、図17に示す立体テレビ受信機200Bのその他は、上述の図15に示す2次元テレビ受信機200Aと同様に構成されている。
立体テレビ受信機200Bの動作を簡単に説明する。アンテナ端子210に入力されたテレビ放送信号はデジタルチューナ211に供給される。このデジタルチューナ211では、テレビ放送信号が処理されて、ユーザの選択チャネルに対応した所定のトランスポートストリームTSが出力される。このトランスポートストリームTSは、TSバッファ212に一時的に蓄積される。
デマルチプレクサ213では、TSバッファ212に一時的に蓄積されたトランスポートストリームTSから、圧縮ビデオストリームおよび圧縮オーディオストリームが抽出される。圧縮ビデオストリームはビデオデコーダ214に供給され、圧縮オーディオストリームはオーディオデコーダ218に供給される。
ビデオデコーダ214では、デマルチプレクサ213で抽出された圧縮ビデオストリームに対してデコード処理が施されて、2次元画像データあるいは立体画像データが生成される。この立体画像データは、DOバッファ215に一時的に蓄積される。
また、ビデオデコーダ214では、圧縮ビデオストリームのピクチャーレイヤに挿入されている画像データのシグナリング情報が読み込まれる。そして、ビデオデコーダ214では、デコード後の画像データがフレームコンパチブル方式の立体画像データであるときは、圧縮ビデオストリームに挿入されている、デコード後の画像データから2次元表示用の画像データを切り取るための2次元画像領域情報が取り出される。
また、ビデオデコーダ214では、デコード後の画像データがフレームコンパチブル方式の立体画像データであるときは、圧縮ビデオストリームに挿入されている、デコード後の画像データから立体表示用の画像データを切り取るための立体画像領域情報が取り出される。シグナリング情報および画像領域情報(2次元画像領域情報、立体画像領域情報)は、CPU201に供給される。
CPU201では、シグナリング情報に基づいて、2Dストリームか3Dストリームかの判断がなされる(図16参照)。そして、その結果に基づいて、画像データ処理部216における処理が制御される。
CPU201が2Dストリーム、つまりデコード後の画像データが2次元画像データであると認識するとき、画像データ処理部216では、従来と同様の2次元表示処理が行われて、2次元画像データSVが生成される。この2次元画像データSVは、ビューバッファ217Lを通じて、表示ディスプレイなどの画像出力部に出力される。表示ディスプレイには、2次元画像が表示される。
CPU201が3Dストリーム、つまりデコード後の画像データがフレームコンパチブル方式の立体画像データであると認識するときは、2次元表示モードが選択されているか立体表示モードが選択されているかにより、画像データ処理部216における処理が制御される。この場合、CPU201により、ユーザ操作による上述表示モード選択情報に基づいて、画像データ処理部216の処理が切り換えられる(図18参照)。画像データ処理部216では、立体表示モードが選択されている場合には立体表示処理が行われ、2次元表示モードが選択されている場合には2次元表示処理が行われる。
画像データ処理部216では、立体表示処理として、以下の処理が行われる。すなわち、画像データ処理部216では、DOバッファ215に蓄積されている立体画像データから、立体画像領域情報が利用されて、立体表示用の画像データが切り取られる。そして、画像データ処理部216では、切り取られた画像データが左右あるいは上下に二分され、それぞれに水平方向あるいは垂直方向のスケーリング処理が施されて、立体画像を表示するための左眼画像データSLおよび右眼画像データSRが得られる。
これら画像データSL,SRは、ビューバッファ217L,217Rを通じて、表示ディスプレイなどの画像出力部に出力される。表示ディスプレイには、ユーザが立体画像を知覚するための画像表示が行われる。例えば、シャッタメガネ方式では、シャッタメガネのシャッタ動作に同期して左眼画像および右眼画像が交互に表示される。
また、画像データ処理部216では、2次元表示処理として、以下の処理が行われる。すなわち、画像データ処理部216では、DOバッファ215に蓄積されている立体画像データから、2次元画像領域情報が利用されて、左眼画像データあるいは右眼画像データが2次元表示用の画像データとして切り取られる。そして、画像データ処理部216では、切り取られた画像データに対して水平または垂直のスケーリング処理が施され、2次元画像データSVが得られる。この次元画像データSVは、ビューバッファ217Lを通じて、表示ディスプレイなどの画像出力部に出力される。表示ディスプレイには、2次元画像が表示される。
上述したように、図17に示す立体テレビ受信機(3DTV)200Bにおいては、ビデオデコーダ214では、デコード後の画像データがフレームコンパチブル方式の立体画像データである場合、2次元画像領域情報が取り出される。つまり、ビデオデコーダ214では、上述したように圧縮ビデオストリームにSDE,PDEが利用されて挿入されている、デコード後の画像データから2次元表示用の画像データを切り取るための2次元画像領域情報が取り出される。
そして、画像データ処理部216では、デコード後の画像データがフレームコンパチブル方式の立体画像データである場合、2次元表示モードが選択されているときには、CPU201の制御のもと、2次元画像領域情報が利用される。つまり、この2次元画像領域情報が利用されて、フレームコンパチブル方式の立体画像データから、2次元表示用の画像データ(左眼画像データまたは右眼画像データ)の切り取りが自動的に行われる。
そして、画像データ処理部216では、切り取られた画像データに対して水平あるいは垂直のスケーリング処理が施されて、2次元画像データSVが得られる。そのため、フレームコンパチブル方式の立体画像データが送信されてくる際、左右あるいは上下に同様の画像が並んだ不自然な画像表示が行われることがなく、自動的に良好な2次元画像の表示が可能となる。
また、図17に示す立体テレビ受信機(3DTV)200Bにおいては、ビデオデコーダ214では、デコード後の画像データがフレームコンパチブル方式の立体画像データである場合、立体画像領域情報が取り出される。つまり、ビデオデコーダ214では、上述したように圧縮ビデオストリームのピクチャーレイヤのユーザデータ領域に挿入されている、デコード後の画像データから立体表示用の画像データを切り取るための立体画像領域情報が取り出される。
そして、画像データ処理部216では、デコード後の画像データがフレームコンパチブル方式の立体画像データである場合、立体表示モードが選択されているときには、CPU201の制御のもと、立体画像領域情報が利用される。つまり、この立体画像領域情報が利用されて、フレームコンパチブル方式の立体画像データから、立体表示用の画像データの切り取りが自動的に行われる。そのため、デコード後の画像データから立体表示用の画像データの切り取りを容易かつ正しく行うことができ、従って、左眼画像データSLおよび右眼画像データSRを良好に得ることができる。
<2.変形例>
なお、上述実施の形態においては、圧縮ビデオストリーム(MPEG2videoストリーム)に2次元画像領域情報として領域の大きさを示す情報と領域の位置を示す情報の双方を挿入する例を示した。しかし、圧縮ビデオストリームに2次元画像領域情報として領域の大きさを示す情報のみを挿入することも考えられる。
その場合、サイド・バイ・サイド方式にあっては、受信側において、例えば、左側領域あるいは右側領域にある画像データを2次元表示用の画像データとして機械的に切り取るようにされる。また、その場合、トップ・アンド・ボトム方式にあっては、受信側において、例えば、上側領域あるいは下側領域の画像データを2次元表示用の画像データとして切り取るようにされる。
その場合、例えば、MPEG2videoストリームのシステムレイヤに存在するSDEのみが利用され、画像領域情報として、領域の大きさを示す情報のみが挿入される。図21、図22は、その場合におけるSDE内の拡張パラメータの設定例を示している。図21は、受信側において、サイド・バイ・サイド方式では左側に存在する左眼画像データを、トップ・アンド・ボトム方式では上側に存在する左眼画像データを切り取る場合の例を示している。また、図22は、受信側において、サイド・バイ・サイド方式では右側に存在する右眼画像データを、トップ・アンド・ボトム方式では下側に存在する右眼画像データを切り取る場合の例を示している。
図23は、上述した2次元テレビ受信機(2DTV)200Aおよび立体テレビ受信機(3DTV)200Bにおいて、2Dストリーム、3Dストリームに対する表示処理をまとめて示したものである。
また、上述実施の形態においては、圧縮ビデオストリーム(MPEG2videoストリーム)のシステムレイヤに存在するSDE,PDEを利用して、2次元画像領域情報を挿入する例を示した。しかし、圧縮ビデオストリームにおける2次元画像領域情報の配置位置は、SDE,PDEに限定されるものではなく、その他の位置に配置してもよい。
また、上述実施の形態においては、2次元画像領域情報が、切り取り領域(矩形領域)の大きさを示す情報と、切り取り領域の位置を示す情報とからなる例を示した。切り取り領域の大きさを示す情報として水平、垂直のサイズ情報としているが、例えば、水平、垂直のサイズが異なる複数の領域パターンを示すパターン番号等とすることもできる。同様に、切り取り領域の位置を示す情報として、切り取り領域の中心位置の、デコード後の画像データの中心位置からのオフセット値としているが、単に、左眼画像データあるいは右眼画像データのいずれかを切り取る場合には、例えば、「左」または「右」(「上」または「下」)を識別する情報であってもよい。
また、上述実施の形態においては、圧縮ビデオストリームがMPEG2videoストリームである例を示したが、本技術は、その他のフォーマットの圧縮ビデオストリームを送信する際にも適用可能である。
また、上述実施の形態においては、圧縮ビデオストリームに、2次元画像領域情報と立体画像領域情報の両方が挿入されている。しかし、いずれかだけが挿入される構成も考えられる。
なお、本技術は、以下のような構成もとることができる。
(1)画像データに対してエンコード処理を行って圧縮ビデオストリームを生成するエンコード部と、
上記エンコード部で生成された圧縮ビデオストリームを送信する送信部とを備え、
上記エンコード部は、上記画像データがフレームコンパチブル方式の立体画像データであるとき、上記圧縮ビデオストリームに、デコード後の画像データから2次元表示用の画像データを切り取るための画像領域情報を挿入する
画像データ送信装置。
(2)上記画像領域情報は、
領域の大きさを示す情報および領域の位置を示す情報、あるいは領域の大きさを示す情報である
前記(1)に記載の画像データ送信装置。
(3)上記圧縮ビデオストリームは、MPEG2videoフォーマットの圧縮ビデオストリームであり、
上記領域の大きさを示す情報は、Sequence Display Extension 内に拡張パラメータとして含まれ、
上記領域の位置を示す情報は、Picture Display Extension 内に拡張パラメータとして含まれる
前記(1)または(2)に記載の画像データ送信装置。
(4)上記フレームコンパチブル方式の立体画像データは、サイド・バイ・サイド方式、またはトップ・アンド・ボトム方式の立体画像データである
前記(1)から(3)のいずれかに記載の画像データ送信装置。
(5)上記エンコード部は、上記画像データがフレームコンパチブル方式の立体画像データであるとき、上記圧縮ビデオストリームに、デコード後の画像データから立体表示用の画像データを切り取るための画像領域情報をさらに挿入する
前記(1)から(4)のいずれかに記載の画像データ送信装置。
(6)画像データに対してエンコード処理を行って生成された圧縮ビデオストリームを受信する受信部と、
上記受信部で受信された圧縮ビデオストリームに対してデコード処理を行って画像データを生成するデコード部と、
上記デコード部で生成された画像データに基づいて表示用の画像データを得る画像データ処理部とを備え、
上記圧縮ビデオストリームには、上記画像データがフレームコンパチブル方式の立体画像データであるとき、デコード後の画像データから2次元表示用の画像データを切り取るための画像領域情報が挿入されており、
上記画像データ処理部は、上記デコード部で生成された画像データがフレームコンパチブル方式の立体画像データであるとき、該立体画像データから上記圧縮ビデオストリームに挿入されている画像領域情報を利用して2次元表示用の画像データを切りとって2次元画像データを得る
画像データ受信装置。
(7)ユーザが2次元表示モードまたは立体表示モードを選択するユーザ操作部をさらに備え、
上記画像データ処理部は、
上記デコード部で生成された画像データがフレームコンパチブル方式の立体画像データであるとき、
上記ユーザ操作部で上記2次元表示モードが選択される場合には、上記圧縮ビデオストリームに挿入されている画像領域情報を利用して上記立体画像データから2次元表示用の画像データを切りとって2次元画像データを得る
前記(6)に記載の画像データ受信装置。
(8)ユーザが2次元表示モードまたは立体表示モードを選択するユーザ操作部をさらに備え、
上記画像データ処理部は、
上記デコード部で生成された画像データがフレームコンパチブル方式の立体画像データであるとき、
上記ユーザ操作部で上記立体表示モードが選択される場合には、上記圧縮ビデオストリームに挿入されている画像領域情報が示すハーフ解像度の値を2倍の値に解釈し、上記立体画像データからフル解像度の左眼画像データおよび右眼画像データを得る
前記(6)または(7)に記載の画像データ受信装置。
(9)画像データに対してエンコード処理を行って圧縮ビデオストリームを生成するエンコード部と、
上記エンコード部で生成された圧縮ビデオストリームを送信する送信部とを備え、
上記エンコード部は、上記画像データがフレームコンパチブル方式の立体画像データであるとき、上記圧縮ビデオストリームに、デコード後の画像データから立体表示用の画像データを切り取るための画像領域情報を挿入する
画像データ送信装置。
(10)上記圧縮ビデオストリームは、MPEG2videoフォーマットの圧縮ビデオストリームであり、
上記画像領域情報は、ピクチャーレイヤのユーザデータ領域に挿入される
前記(9)に記載の画像データ送信装置。
(11)ピクチャーレイヤのユーザデータ領域には、上記フレームコンパチブル方式の立体画像データであることを識別できるシグナリング情報が挿入されており、
上記画像領域情報は上記シグナリング情報より後の位置に挿入される
前記(10)に記載の画像データ送信装置。
(12)上記フレームコンパチブル方式の立体画像データは、サイド・バイ・サイド方式、またはトップ・アンド・ボトム方式の立体画像データである
前記(9)から(11)のいずれかに記載の画像データ送信装置。
(12)画像データに対してエンコード処理を行って生成された圧縮ビデオストリームを受信する受信部と、
上記受信部で受信された圧縮ビデオストリームに対してデコード処理を行って画像データを生成するデコード部と、
上記デコード部で生成された画像データに基づいて表示用の画像データを得る画像データ処理部とを備え、
上記圧縮ビデオストリームには、上記画像データがフレームコンパチブル方式の立体画像データであるとき、デコード後の画像データから立体表示用の画像データを切り取るための画像領域情報が挿入されており、
上記画像データ処理部は、上記デコード部で生成された画像データがフレームコンパチブル方式の立体画像データであるとき、該立体画像データから上記圧縮ビデオストリームに挿入されている画像領域情報を利用して立体表示用の画像データを切りとって左眼画像データおよび右眼画像データを得る
画像データ受信装置。
(13)ユーザが2次元表示モードまたは立体表示モードを選択するユーザ操作部をさらに備え、
上記画像データ処理部は、
上記デコード部で生成された画像データがフレームコンパチブル方式の立体画像データであるとき、
上記ユーザ操作部で上記立体表示モードが選択される場合には、上記圧縮ビデオストリームに挿入されている画像領域情報を利用して上記立体画像データから立体表示用の画像データを切りとって左眼画像データおよび右眼画像データを得る
前記(12)に記載の画像データ受信装置。
10・・・画像送受信システム
100・・・放送局
110・・・送信データ生成部
111・・・データ取り出し部
111a・・・データ記録媒体
112・・・ビデオエンコーダ
113・・・オーディオエンコーダ
114・・・マルチプレクサ
200・・・受信機
200A・・・2次元テレビ受信機(2DTV)
200B・・・立体テレビ受信機(3DTV)
201・・・CPU
206・・・リモートコントロール送信機
210・・・アンテナ端子
211・・・デジタルチューナ
212・・・トランスポートストリームバッファ(TSバッファ)
213・・・デマルチプレクサ
214・・・ビデオデコーダ
215・・・ディスプレイアウトプットバッファ(DOバッファ)
216・・・画像データ処理部
217L,217R・・・ビューバッファ
218・・・オーディオデコーダ
219・・・チャネル処理部
221・・・画像データ処理部
222・・・ビューバッファ

Claims (19)

  1. 画像データに対してエンコード処理を行って圧縮ビデオストリームを生成するエンコード部と、
    上記エンコード部で生成された圧縮ビデオストリームを送信する送信部とを備え、
    上記エンコード部は、上記画像データがフレームコンパチブル方式の立体画像データであるとき、上記圧縮ビデオストリームに、デコード後の画像データから2次元表示用の画像データを切り取るための画像領域情報を挿入する
    画像データ送信装置。
  2. 上記画像領域情報は、
    領域の大きさを示す情報および領域の位置を示す情報、あるいは領域の大きさを示す情報である
    請求項1に記載の画像データ送信装置。
  3. 上記圧縮ビデオストリームは、MPEG2videoフォーマットの圧縮ビデオストリームであり、
    上記領域の大きさを示す情報は、Sequence Display Extension 内に拡張パラメータとして含まれ、
    上記領域の位置を示す情報は、Picture Display Extension 内に拡張パラメータとして含まれる
    請求項2に記載の画像データ送信装置。
  4. 上記フレームコンパチブル方式の立体画像データは、サイド・バイ・サイド方式、またはトップ・アンド・ボトム方式の立体画像データである
    請求項1に記載の画像データ送信装置。
  5. 上記エンコード部は、上記画像データがフレームコンパチブル方式の立体画像データであるとき、上記圧縮ビデオストリームに、デコード後の画像データから立体表示用の画像データを切り取るための画像領域情報をさらに挿入する
    請求項1に記載の画像データ送信装置。
  6. 画像データに対してエンコード処理を行って圧縮ビデオストリームを生成するエンコードステップと、
    上記エンコードステップで生成された圧縮ビデオストリームを送信する送信ステップとを備え、
    上記エンコードステップでは、上記画像データがフレームコンパチブル方式の立体画像データであるとき、上記圧縮ビデオストリームに、デコード後の画像データから2次元表示用の画像データを切り取るための画像領域情報を挿入する
    画像データ送信方法。
  7. 画像データに対してエンコード処理を行って生成された圧縮ビデオストリームを受信する受信部と、
    上記受信部で受信された圧縮ビデオストリームに対してデコード処理を行って画像データを生成するデコード部と、
    上記デコード部で生成された画像データに基づいて表示用の画像データを得る画像データ処理部とを備え、
    上記圧縮ビデオストリームには、上記画像データがフレームコンパチブル方式の立体画像データであるとき、デコード後の画像データから2次元表示用の画像データを切り取るための画像領域情報が挿入されており、
    上記画像データ処理部は、上記デコード部で生成された画像データがフレームコンパチブル方式の立体画像データであるとき、該立体画像データから上記圧縮ビデオストリームに挿入されている画像領域情報を利用して2次元表示用の画像データを切りとって2次元画像データを得る
    画像データ受信装置。
  8. ユーザが2次元表示モードまたは立体表示モードを選択するユーザ操作部をさらに備え、
    上記画像データ処理部は、
    上記デコード部で生成された画像データがフレームコンパチブル方式の立体画像データであるとき、
    上記ユーザ操作部で上記2次元表示モードが選択される場合には、上記圧縮ビデオストリームに挿入されている画像領域情報を利用して上記立体画像データから2次元表示用の画像データを切りとって2次元画像データを得る
    請求項7に記載の画像データ受信装置。
  9. ユーザが2次元表示モードまたは立体表示モードを選択するユーザ操作部をさらに備え、
    上記画像データ処理部は、
    上記デコード部で生成された画像データがフレームコンパチブル方式の立体画像データであるとき、
    上記ユーザ操作部で上記立体表示モードが選択される場合には、上記圧縮ビデオストリームに挿入されている画像領域情報が示すハーフ解像度の値を2倍の値に解釈し、上記立体画像データからフル解像度の左眼画像データおよび右眼画像データを得る
    請求項7に記載の画像データ受信装置。
  10. 画像データに対してエンコード処理を行って生成された圧縮ビデオストリームを受信する受信ステップと、
    上記受信ステップで受信された圧縮ビデオストリームに対してデコード処理を行って画像データを生成するデコードステップと、
    上記デコードステップで生成された画像データに基づいて表示用の画像データを得る画像データ処理ステップとを備え、
    上記圧縮ビデオストリームには、上記画像データがフレームコンパチブル方式の立体画像データであるとき、デコード後の画像データから2次元表示用の画像データを切り取るための画像領域情報が挿入されており、
    上記画像データ処理ステップでは、上記デコードステップで生成された画像データがフレームコンパチブル方式の立体画像データであるとき、該立体画像データから上記圧縮ビデオストリームに挿入されている画像領域情報を利用して2次元表示用の画像データを切りとって2次元画像データを得る
    画像データ受信方法。
  11. 画像データに対してエンコード処理を行って圧縮ビデオストリームを生成するエンコード部と、
    上記エンコード部で生成された圧縮ビデオストリームを送信する送信部とを備え、
    上記エンコード部は、上記画像データがフレームコンパチブル方式の立体画像データであるとき、上記圧縮ビデオストリームに、デコード後の画像データから立体表示用の画像データを切り取るための画像領域情報を挿入する
    画像データ送信装置。
  12. 上記圧縮ビデオストリームは、MPEG2videoフォーマットの圧縮ビデオストリームであり、
    上記画像領域情報は、ピクチャーレイヤのユーザデータ領域に挿入される
    請求項11に記載の画像データ送信装置。
  13. 上記ピクチャーレイヤのユーザデータ領域には、上記フレームコンパチブル方式の立体画像データであることを識別できるシグナリング情報が挿入されており、
    上記画像領域情報は上記シグナリング情報より後の位置に挿入される
    請求項12に記載の画像データ送信装置。
  14. 上記フレームコンパチブル方式の立体画像データは、サイド・バイ・サイド方式、またはトップ・アンド・ボトム方式の立体画像データである
    請求項11に記載の画像データ送信装置。
  15. 画像データに対してエンコード処理を行って圧縮ビデオストリームを生成するエンコードステップと、
    上記エンコードステップで生成された圧縮ビデオストリームを送信する送信ステップとを備え、
    上記エンコードステップでは、上記画像データがフレームコンパチブル方式の立体画像データであるとき、上記圧縮ビデオストリームに、デコード後の画像データから立体表示用の画像データを切り取るための画像領域情報を挿入する
    画像データ送信方法。
  16. 画像データに対してエンコード処理を行って生成された圧縮ビデオストリームを受信する受信部と、
    上記受信部で受信された圧縮ビデオストリームに対してデコード処理を行って画像データを生成するデコード部と、
    上記デコード部で生成された画像データに基づいて表示用の画像データを得る画像データ処理部とを備え、
    上記圧縮ビデオストリームには、上記画像データがフレームコンパチブル方式の立体画像データであるとき、デコード後の画像データから立体表示用の画像データを切り取るための画像領域情報が挿入されており、
    上記画像データ処理部は、上記デコード部で生成された画像データがフレームコンパチブル方式の立体画像データであるとき、該立体画像データから上記圧縮ビデオストリームに挿入されている画像領域情報を利用して立体表示用の画像データを切りとって左眼画像データおよび右眼画像データを得る
    画像データ受信装置。
  17. ユーザが2次元表示モードまたは立体表示モードを選択するユーザ操作部をさらに備え、
    上記画像データ処理部は、
    上記デコード部で生成された画像データがフレームコンパチブル方式の立体画像データであるとき、
    上記ユーザ操作部で上記立体表示モードが選択される場合には、上記圧縮ビデオストリームに挿入されている画像領域情報を利用して上記立体画像データから立体表示用の画像データを切りとって左眼画像データおよび右眼画像データを得る
    請求項16に記載の画像データ受信装置。
  18. 画像データに対してエンコード処理を行って生成された圧縮ビデオストリームを受信する受信ステップと、
    上記受信ステップで受信された圧縮ビデオストリームに対してデコード処理を行って画像データを生成するデコードステップと、
    上記デコードステップで生成された画像データに基づいて表示用の画像データを得る画像データ処理ステップとを備え、
    上記圧縮ビデオストリームには、上記画像データがフレームコンパチブル方式の立体画像データであるとき、デコード後の画像データから立体表示用の画像データを切り取るための画像領域情報が挿入されており、
    上記画像データ処理ステップでは、上記デコードステップで生成された画像データがフレームコンパチブル方式の立体画像データであるとき、該立体画像データから上記圧縮ビデオストリームに挿入されている画像領域情報を利用して立体表示用の画像データを切りとって左眼画像データおよび右眼画像データを得る
    画像データ受信方法。
  19. 画像データに対してエンコード処理を行って生成された圧縮ビデオストリームを受信する受信部と、
    上記受信部で受信された圧縮ビデオストリームに対してデコード処理を行って画像データを生成するデコード部と、
    上記デコード部で生成された画像データに基づいて表示用の画像データを得る画像データ処理部とを備え、
    上記圧縮ビデオストリームには、上記画像データがフレームコンパチブル方式の立体画像データであるとき、デコード後の画像データから2次元表示用の画像データを切り取るための第1の画像領域情報およびデコード後の画像データから立体表示用の画像データを切り取るための第2の画像領域情報が挿入されており、
    ユーザが2次元表示モードまたは立体表示モードを選択するユーザ操作部をさらに備え、
    上記画像データ処理部は、
    上記デコード部で生成された画像データがフレームコンパチブル方式の立体画像データであるとき、
    上記ユーザ操作部で上記2次元表示モードが選択される場合には、上記圧縮ビデオストリームに挿入されている上記第1の画像領域情報を利用して上記立体画像データから2次元表示用の画像データを切りとって2次元画像データを得、
    上記ユーザ操作部で上記立体表示モードが選択される場合には、上記圧縮ビデオストリームに挿入されている上記第2の画像領域情報を利用して上記立体画像データから立体表示用の画像データを切りとって左眼画像データおよび右眼画像データを得る
    画像データ受信装置。
JP2011068906A 2011-03-04 2011-03-25 画像データ送信装置、画像データ送信方法、画像データ受信装置および画像データ受信方法 Abandoned JP2012199897A (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
JP2011068906A JP2012199897A (ja) 2011-03-04 2011-03-25 画像データ送信装置、画像データ送信方法、画像データ受信装置および画像データ受信方法
EP12711972A EP2550796A1 (en) 2011-03-04 2012-03-02 Image data transmission apparatus, image data transmission method, image data receiving apparatus and image data receiving method
US13/643,834 US20130038683A1 (en) 2011-03-04 2012-03-02 Image data transmission apparatus, image data transmission method, image data receiving apparatus and image data receiving method
PCT/JP2012/001439 WO2012120854A1 (en) 2011-03-04 2012-03-02 Image data transmission apparatus, image data transmission method, image data receiving apparatus and image data receiving method

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2011048392 2011-03-04
JP2011048392 2011-03-04
JP2011068906A JP2012199897A (ja) 2011-03-04 2011-03-25 画像データ送信装置、画像データ送信方法、画像データ受信装置および画像データ受信方法

Publications (2)

Publication Number Publication Date
JP2012199897A true JP2012199897A (ja) 2012-10-18
JP2012199897A5 JP2012199897A5 (ja) 2014-04-24

Family

ID=45928971

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2011068906A Abandoned JP2012199897A (ja) 2011-03-04 2011-03-25 画像データ送信装置、画像データ送信方法、画像データ受信装置および画像データ受信方法

Country Status (4)

Country Link
US (1) US20130038683A1 (ja)
EP (1) EP2550796A1 (ja)
JP (1) JP2012199897A (ja)
WO (1) WO2012120854A1 (ja)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20140079116A1 (en) * 2012-09-20 2014-03-20 Qualcomm Incorporated Indication of interlaced video data for video coding
CN106416261B (zh) * 2014-06-13 2020-06-26 索尼公司 传输设备、传输方法、接收设备以及接收方法
EP3223524A1 (en) 2016-03-22 2017-09-27 Thomson Licensing Method, apparatus and stream of formatting an immersive video for legacy and immersive rendering devices
CN112532569B (zh) * 2019-09-19 2022-05-31 澜至电子科技(成都)有限公司 视频码流保护装置、方法以及存储介质

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH1023407A (ja) * 1996-07-09 1998-01-23 Sony Corp 画像符号化装置および画像符号化方法、画像復号化装置および画像復号化方法、画像伝送方法、並びに記録媒体
CN1148955C (zh) * 1997-10-03 2004-05-05 索尼公司 编码数据流接合设备和方法及编码数据流生成设备和方法
JP4190357B2 (ja) 2003-06-12 2008-12-03 シャープ株式会社 放送データ送信装置、放送データ送信方法および放送データ受信装置
JP5150255B2 (ja) * 2004-08-17 2013-02-20 コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ ビューモードの検出
KR100782811B1 (ko) * 2005-02-04 2007-12-06 삼성전자주식회사 영상의 주파수 특성에 따라 포맷을 달리하는 스테레오 영상 합성 방법 및 장치와, 그 영상의 송신 및 수신 방법과, 그 영상의 재생 방법 및 장치

Also Published As

Publication number Publication date
US20130038683A1 (en) 2013-02-14
EP2550796A1 (en) 2013-01-30
WO2012120854A1 (en) 2012-09-13

Similar Documents

Publication Publication Date Title
JP5577823B2 (ja) 送信装置、送信方法、受信装置および受信方法
CN102484729B (zh) 广播发送器、广播接收器及其3d视频数据处理方法
KR101915130B1 (ko) 디지털 방송 신호 수신 장치 및 방법
CN102959952B (zh) 数字接收器以及在数字接收器中处理字幕数据的方法
CN102342112A (zh) 立体图像数据发送装置、立体图像数据发送方法、立体图像数据接收装置和立体图像数据接收方法
WO2012043352A1 (ja) 立体画像データ送信装置、立体画像データ送信方法、立体画像データ受信装置および立体画像データ受信方法
JPWO2013105401A1 (ja) 送信装置、送信方法、受信装置および受信方法
KR20140000136A (ko) 화상 데이터 송신 장치, 화상 데이터 송신 방법, 화상 데이터 수신 장치 및 화상 데이터 수신 방법
WO2013031549A1 (ja) 送信装置、送信方法および受信装置
WO2013161442A1 (ja) 画像データ送信装置、画像データ送信方法、画像データ受信装置および画像データ受信方法
WO2013073455A1 (ja) 画像データ送信装置、画像データ送信方法、画像データ受信装置および画像データ受信方法
WO2012070364A1 (ja) 画像データ送信装置、画像データ送信方法、画像データ受信装置および画像データ受信方法
KR20130132238A (ko) 입체 화상 데이터 송신 장치, 입체 화상 데이터 송신 방법, 입체 화상 데이터 수신 장치 및 입체 화상 데이터 수신 방법
US9693033B2 (en) Transmitting apparatus, transmitting method, receiving apparatus and receiving method for transmission and reception of image data for stereoscopic display using multiview configuration and container with predetermined format
TW201320712A (zh) 送訊裝置、送訊方法及收訊裝置
WO2013011834A1 (ja) 送信装置、送信方法および受信装置
JP2012199897A (ja) 画像データ送信装置、画像データ送信方法、画像データ受信装置および画像データ受信方法
WO2013018490A1 (ja) 送信装置、送信方法および受信装置
JP2012199897A5 (ja)
WO2013054775A1 (ja) 送信装置、送信方法、受信装置および受信方法
JP5928118B2 (ja) 送信装置、送信方法、受信装置および受信方法
WO2013018489A1 (ja) 送信装置、送信方法および受信装置
WO2013172142A1 (ja) 送信装置、送信方法、受信装置および受信方法

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20140310

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20140310

A762 Written abandonment of application

Free format text: JAPANESE INTERMEDIATE CODE: A762

Effective date: 20150401