以下、図面を参照して、本発明の実施の一形態について説明する。
図1は、実施形態に係る映像信号送受信システムの一例を示す。
図1が示す画像処理システムにおいて、電子機器(例えばテレビジョン放送受信装置、以下、テレビ装置と称する)1は、アンテナANTを通じて、番組供給元である放送局が送信する放送波(地上波及び衛星波)を受信する。なお、テレビ装置1が受信する放送波は、現在広く普及している2K(HDTV(水平方向画素数が1920または1440、垂直方向画素数が1080、映像周波数(フレームレート)が60Hzの映像信号))放送の受信が可能である。また、テレビ装置1が受信する放送波は、2K(HD)放送に比較して画素数が4倍(3840×2160)、フレームレート60Hzの4K放送(UHD(Ultra High Definition)、超高精細度放送)であってもよい。テレビ装置1が受信する放送波はまた、2K(HD)放送に比較して画素数が16倍(7680×4320)、フレームレート120Hzの8K放送(8KUHD放送)であってもよい。
なお、4K放送あるいは8K放送においては、映像信号(放送波)を、第一の映像情報(基本映像情報)と第二の映像情報(拡張映像情報)とに分離し、2チャンネル分の帯域幅の占有により送信する方式が利用可能である。基本映像情報(第一の映像情報)は、実質的に、2K(HD)放送信号に相当し、そのままの状態で2K(HD)放送波として利用可能であることが好ましい。拡張映像情報(第二の映像情報)は、基本映像情報と独立して用意され、基本映像情報とともに利用することにより4K(8K)映像を再現するために利用可能である。この場合、基本映像情報が1チャンネル分の帯域幅を、拡張映像情報が、別の1チャンネル分の帯域幅を、それぞれ、占有する。しかしながら、この方式によれば、現在広く普及している2K(HD)放送を受信する受信機(テレビジョン受信装置)における2K(HD)放送の受信には、なんら影響を及ぼすことがない。
テレビ装置1はまた、外部映像供給元、例えばビデオカメラ装置や画像の撮影が可能な携帯可能な端末装置2001からの画像を取得可能である。その場合、画像の取得は、例えば近距離無線通信方式を用いるものであってもよいし接続用のケーブルを用いる有線伝送方式を用いるものであってもよい。また、テレビ装置1は、ネットワークNTWと接続し、ネットワークNTW上に位置するサービスサーバ(以下、サーバと称する)SVから映像信号や映像情報を受け取ることができる。なお、テレビ装置1は、パーソナルコンピュータ(PC)、ホームサーバ、レコーダあるいはSTV(Set Top Box)、レコーダやSTVと接続するモニタ装置、等であってもよい。また、以降の説明においては、テレビ装置1は、2K(2K1Kまたは1920×1080)、4K(4K2Kまたは3840×2160)もしくは8K(8K4Kまたは7680×4320)放送の少なくとも1つの放送を受信し、映像及び音声(音響)を再生できる。但し、以下では、説明の便宜上、2K/4K対応のテレビ装置として記載する。
なお、以下の説明において、テレビ装置1が受信し、映像及び音声を再生する放送は、空間を伝播する電波として放送事業者(放送局)が提供するもの、あるいはケーブル(光ファイバを含む)網やIP(Internet Protocol)網等のネットワークを通じて配信事業者が配信するもの等、を含む。また、放送は、映像と音声または音楽もしくはその両者を含み、一定時間(放送時間)を単位とするさまざまな番組を、提供する形態を示す。なお、番組は、コンテンツもしくはストリームあるいはタイトルと呼称する場合もある。また、映像は、動画や静止画、あるいはテキスト(コード化された符号列で示される文字や記号等で表される情報)ならびにその任意の組み合わせを含む。また、2つの伝送路(例えば衛星波)を通じて取得する番組(放送)のうちの1つ目の伝送路(例えば衛星波)で受けつける番組を、メインチャンネル、メインサービス、メインチャンネルTS(Transport Stream)、主映像信号、HD映像信号、HDTV放送信号、2K映像信号現行サービスもしくは現行放送信号、等と称する場合がある。また、2つの伝送路(例えば衛星波)を通じて取得する番組(放送)のうちの別の(2つ目の)伝送路で受けつける番組を、サブチャンネル、サブサービス、サブチャンネルTS、高画質映像信号、4K映像信号、4K放送信号、拡張サービスもしくは拡張放送信号、等と称する場合がある。
図2は、テレビ装置の主要な構成の一例を示す。なお、テレビ装置は、後段に説明するハードディスク(HDD)もしくは記憶装置に、受信した番組を記録できる。
テレビ装置1は、入力部(チューナ)11、信号処理部(TS分離部)12、映像出力処理ブロック21、音声処理ブロック31及び主制御ブロック51、等を含む。
入力部11には、空間波(地上波あるいは衛星波)を用いて提供される放送を受信するアンテナANTが接続する。入力部11にはまた、外部映像供給元として、例えばSTB(Set Top Box)やビデオカメラ装置、等が接続する。なお、ビデオカメラ装置は、画像撮影が可能な携帯可能な端末装置、例えばタブレットPC(Personal Computer)装置、等であってもよい。また、テレビ装置1におけるディスプレイ26は、テレビ装置1と非接触で、映像記憶装置(レコーダ)や受信装置(STBまたはチューナ)が、無線方式により伝送する番組を表示するものであってもよい。
入力部11は、少なくとも2つのチャンネルの放送(番組)を受信可能に、例えば2K(HD)放送(空間波(地表波)を用いる放送)を受信可能なチューナを、2以上6(または9)程度含む。また、入力部11は、放送衛星(Broadcasting Satellite)により放送されるBS放送、あるいは通信衛星(Communication Satellite)を介して中継されるCS放送を受信可能なチューナを、3程度含むことが好ましい。
入力部11に入力する放送は、信号処理部(TS分離部)12が、TS(Transport Stream)分離する。すなわち、信号処理部(TS分離部)12は、映像信号(ビデオ)、音声信号(オーディオ)及び制御情報を分離する。なお、制御情報は、SI(Service Informationすなわち番組配列情報/PSI(Program Specific Information))、NIT(Network Information Table)、EIT(Event Information Table)、等を含む。SIは、TS(ストリーム)の分配規則や内容、スケジュールあるいはタイミング、等に関する記述を含む。SIにおける記述は、例えば画像や音声、制御情報、等が格納されるパケットを、“0xYZ(YZは所定の整数)”と定義するパケット値で示すPID(Packet Identifier)、“PID=0”において参照するPAT(Program Association Table)や“PID=P”において参照するPMT(Program Map Table)、等を含む。NITは、ストリームの分配(配信)情報に関する記述を含む。EITは、番組情報、例えば番組名称や放送日時もしくは放送内容、等の番組に関連する記述を含む。
なお、EITもしくはNITあるいはPATは、受信した放送(基本映像情報)すなわち2K(HD)放送信号に対応する拡張映像情報の有無(別のチャンネルあるいは異なる伝送方法により拡張映像情報が提供されているか否か)を示す“識別子あるいは記述”を含むことができる。また、拡張映像情報の有無(拡張映像情報が提供されているか否か)を示す“識別子あるいは記述”は、他の記述もしくは他の参照箇所の指定、等により、明示されてもよい。
なお、拡張映像情報は、テレビ装置1が受信する放送がSHVC(Scalable High efiiciency Video Coding)符号化方式に準拠する4K放送である場合に、送信側において基本映像情報と分離される映像情報である。拡張映像情報は、詳細には、送信側におけるエンコード(SHVC符号化)時の予測画像の生成に、インター予測(動き補償予測)、イントラ予測(画面内予測)及びレイヤ間予測(画像間予測)の少なくとも1つが実行されて生成される映像情報である。より詳細には、SHVC符号化方式は、HEVC(High efiiciency Video Coding)方式で用いられる画面間予測(動き補償予測/インター予測)と画面内予測(イントラ予測)とに加え、画像間予測(レイヤ間予測)を伴う。レイヤ間予測は、2K(HD)映像を構成する基準レイヤすなわち基本映像から4K(超高精細度画質)映像の出力時に利用可能な拡張レイヤ(拡張映像)を、予測する。すなわち、SHVC符号化方式においては、映像の再生時に、復号した基本映像を超高精細度画質(4K映像)にアップコンバートした映像を予測の候補として利用することが可能である。これにより、SHVC符号化方式は、4K映像を直接圧縮する方式に比較して映像情報を高い圧縮効率で圧縮できていることになり、現在の放送網(放送帯域)をそのまま利用可能な4K映像の送受信を可能としている。
また、拡張映像情報は、上述の通り、2つの伝送路を通じて取得する番組のうちの別の伝送路で受けつける番組に相当し、送信側において、例えばネットワークを経由して取得するように、設定される場合もある。
映像出力処理ブロック21及び音声処理ブロック31には、それぞれ、ディスプレイ26及びスピーカ36が接続する。
映像出力処理ブロック21は、図11を用いて後段に説明する高精細画像復元部201が出力する再生映像信号に、OSD(On Screen Display)処理部24が生成したOSD映像を重畳し、表示制御部25においてディスプレイ26が表示可能な所定の解像度及び出力方式に変換する。なお、表示制御部25の出力は、例えば外部で接続するモニタ装置、あるいは投影装置(プロジェクタ装置)等が接続可能な出力端27に出力されてもよい。
音声処理ブロック31は、音声(オーディオ)デコーダ32、音声(オーディオ)処理部33、遅延部34及びD−A(Digital to Analog)コンバータ35、等を含む。
音声信号(オーディオ)については、音声処理部33において音声デコーダ32がデコードした音声信号を、スピーカ36による好適な再生が可能な所定の形式に変換する。D−Aコンバータ35は、音声処理部33が変換した音声信号を、アナログ音声出力信号に変換する。これにより、D−Aコンバータ35にスピーカ36を接続した場合に、スピーカ36が可聴音(アナログ音声(オーディオ)出力)を出力する。なお、D−Aコンバータ35の出力は、例えばAV(Audio Visual)アンプ等が接続可能な出力端37に分岐してもよい。また、D−Aコンバータ35に入力する音声信号は、コンテンツの種類に対応して、遅延部34による所定量(時間)の遅延が制御される。例えばコンテンツがゲームである場合、遅延部34が規定する遅延(時間)の大きさ(長さ)は、放送信号(番組)を再生する場合に適用する遅延(時間)の大きさ(長さ)よりも小さい(短い)。なお、拡張映像情報が、例えば7.1chサラウンド情報(信号)や60kHz程度の再現音域情報(信号)を含む場合も想定されるが、音声(音響)のデコードに必要な時間については、以下に説明する4K映像のデコードに必要な時間に比較して僅かである。但し、後段に説明するが、拡張映像情報を伴い、4K(UHD)映像を再生中に拡張映像情報が欠損して(もしくは拡張映像情報の取得が不安定となって)、基本映像情報に基づく2K(HD)放送を再生する場合がある。この状態(2K放送を再生している状態)からもう一度拡張映像情報を取得して4K放送を再生する場合には、4K映像のデコードが完了するまでの所定の期間、音声を遅延することが好ましい。
主制御ブロック51は、例えばCPU(主処理回路)52、CPU52が実行する制御プログラムを保持するROM(読出専用メモリ)53、CPU52に作業エリアを提供するRAM(ランダムアクセスメモリ(ワークメモリ))54、各種の設定情報及び制御情報等を保持するNVM(不揮発性(書き換え可能)メモリ)55、拡張映像情報記録管理部56、等を含む。主制御ブロック51にはまた、操作部61、受信部62、通信インタフェース63、ネットワーク制御部64、USB(Universal Serial Bus)インタフェース65、HDMI((登録商標)High-definition Digital Media Interface)制御部66、記憶装置67、等が接続する。なお、USBインタフェース65には、USB規格に準拠する外部装置、例えばUSB接続のHDD(Hard Disk Drive、記憶装置)や、キーボード、等が接続可能である。
操作部61は、ユーザによる直接操作に対応する制御コマンドを主制御ブロック51に入力する。
受信部62は、リモコン端末(リモートコントローラ)71、あるいは携帯可能な端末装置からの指示(操作入力)に対応するコマンドを、主制御ブロック51に入力する。
通信インタフェース63は、相手方機器(通信相手方)との間で、任意の方式の通信が可能な通信ユニット81と接続する。通信ユニット81は、例えばWiFi(Wireless Fidelity)規格、等に準拠する近距離無線通信機器(相手方機器)との間の無線通信を実現する。なお、近距離無線通信規格としては、例えばブルートゥース(登録商標)規格や、NFC(Near Field Communication)等も利用可能である。また、通信ユニット81は、例えばワイヤレスキーボードやマウス等との間の信号の受け渡しが可能である。通信ユニット81はまた、例えば非接触通信方式のカード媒体との間の無線通信(Read / Write)が可能なカードリーダ、等であってもよい。なお、通信ユニット81は、相手方機器と。有線方式で通信するものであってもよい。
ネットワーク制御部64は、例えば外部ネットワーク(インターネット網(ネットワーク1001)からのさまざまな情報の取得及び送信、インターネット網(ネットワーク1001)へのアクセス、等を制御する。
USBインタフェース65は、USB規格に準拠する外部装置、例えばUSB接続のHDD(Hard Disk Drive、記憶装置)69やメモリカード、あるいはキーボード、等が接続可能である。
HDMI制御部66は、HMDI規格またはMHL規格を利用する機器相互間の有線通信を可能とする。
記憶装置67は、受信した放送(番組)や、記憶装置67やUSB接続のHDD69が保持する番組に関連するさまざまな情報を保持する。
主制御ブロック51(もしくはCPU52)は、操作部61を通じたユーザ操作(制御入力)や受信部62が受信するリモコン71、あるいは携帯可能な端末装置からの操作情報(制御入力)に基づいて、上述の各部要素を制御する。
また、主制御ブロック51は、高精細画像復元部201及び信号処理部12が出力する映像信号や音声信号等を、ユーザの操作(制御入力)に基づいて、記憶装置67やHDD69に記録することが可能である。記憶装置67やHDD69への映像信号や音声信号等の記録に際しては、主制御ブロック51は、映像信号や音声信号等を暗号化処理し、所定の記録フォーマットに変換する。主制御ブロック51は、ユーザによるリモコン71等からの操作(指示入力)に基づいて、記憶装置67やHDD69から所望の映像信号や音声信号等を読み出し、復号し、映像出力処理ブロック21(表示制御部25)に供給して、映像表示や音声再生を実行する。
主制御ブロック51はまた、信号処理部(TS分離部)12が分離するTSから字幕情報(ニュース番組においてアンカー(アナウンサ)が発声した音声を字幕化した生字幕を含む)やEPG(電子番組表)情報を、取得できる。字幕情報やEPGを取得するための手続き(手法)は、例えばNVM55もしくはROM53が保持するプログラムもしくはアプリケーションあるいはCPU52のファームウェアとして用意される。
拡張映像情報記録管理部56は、主制御ブロック51のCPU52の制御の下、受信中の記録対象の2K放送(基本映像情報)に対応する拡張映像情報の有無を示すメタデータを、HDD69または記憶装置67への受信した番組の記録時に、作成する。メタデータは、例えば、図4(b)に示すように、拡張映像情報が受信している(記録できている)期間を、例えば“拡張映像情報記録情報”として記録し、管理する。図4(b)が示すメタデータは、図4(a)が示すように、受信中の記録対象の放送について、基本映像情報が受信できている状態で拡張映像情報が受信できない(または受信が不安定となった)状態に陥った時刻t0と(再び)拡張映像情報を受信できた時刻t1、同じくt2とt3、同じくt4とtN−1、を識別可能であれば、記録形式や記録順、等は任意である。
例えば、メタデータは、図4(b)が示すように、任意の番組を受信して記録している時間内、すなわち1つの番組の放送時間内において、拡張映像情報の欠落(不安定状態)が生じた時間帯について、2K放送のみ記録あり(拡張映像情報記録なし)、として管理する。すなわち、4K映像を再生可能な拡張映像情報が受信できている時間帯について、拡張映像情報記録あり、として管理する。なお、拡張映像情報が存在しない時間の管理方法としては、例えば、記録対象番組の放送開始時間を“00分00秒”として拡張映像情報の欠落が発生した時刻と拡張映像情報の欠落が解消した時刻を管理してもよいし、記録装置において用いる時刻情報(PCR(Program Clock Reference))を取得して、例えば“22時22分22秒−23時45分60秒”として管理してもよい。
テレビ装置1は、ユーザ指示(リモコン71あるいは携帯可能な端末装置もしくは操作部61からの操作入力)があった場合、主制御ブロック51(拡張映像情報記録管理部56)にて“識別子あるいは記述”を抽出できた場合、4K映像を記録し、再生が指示された場合に、ディスプレイ26に、4K映像を表示できる。なお、テレビ装置1における基本的な受信設定は、実質的に2K(HD)放送信号に相当する基本映像情報を受信した場合、そのままの状態で2K(HD)放送波として利用する設定である。このため、4K放送を再生可能な拡張映像情報を受信した場合に、4K放送を再生するための各部の切り替えが必要となる。なお、4K映像を“識別子あるいは記述”が特定するチャンネルもしくは伝送路により供給される拡張映像情報と、拡張映像情報に対応する基本映像情報と、を用いて復号する構成の例は、図11により、後段に説明する。また、リモコン端末71が4K放送を再生可能な拡張映像情報を受信した(4K放送であることを検出した)放送局(チャンネル)が送信する4K放送のみを記録するために、例えば[4K]選択キー71aが設けられ、同キー71aがオン(押下)された場合には、原則として4K放送が送信されている放送局(チャンネル)の番組を記録するよう、設定することも可能である。
図3は、受信中の記録対象の2K放送(基本映像情報)に対応する拡張映像情報の有無を示すメタデータを作成する方法の一例を示す。なお、受信中の記録対象の2K放送(基本映像情報)に対応する拡張映像情報の有無は、図4(a)が示すように、基本映像情報が受信できている状態で拡張映像情報が受信できない(または受信が不安定となった)状態に陥った状態、を含むことがある。
図3において、基本映像情報である2K(HD)放送を受信し、記録(及び再生)している状態[11]で、拡張映像情報の受信を認識できた場合、すなわち“識別子あるいは記述”を抽出できた場合[12−YES]、その放送(2K(HD))に対応する拡張映像情報を取得[13]して、HDD69あるいは記憶装置67に4K放送を記録する[14]。なお、受信中の記録対象の2K放送(基本映像情報)に対応する拡張映像情報は、図4(a)が示すように、基本映像情報が受信できている状態で拡張映像情報が受信できない(または受信が不安定となった)状態に陥った状態、を含むことがあることは、上述の通りである。
拡張映像情報が受信できないあるいは受信中に受信状態が不安定な状態に陥った場合、『4K放送が放送されていない』もしくは『受信状態が不安定である』ことを報知するアラートを、ディスプレイ26に表示[15]し、放送とは異なる伝送路(外部ネットワーク)において拡張映像情報が伝送されていることを検出することができる[16]。
外部ネットワークにおいて拡張映像情報が伝送されていることを検出できた場合[16−YES]、放送とは異なる伝送路(外部ネットワーク)において拡張映像情報を取得可能であることを、ディスプレイ26に、アラート表示(外部ネットワークサービスの利用を推薦)する[17]。外部ネットワークからの拡張映像情報の取得に同意が得られた場合[17−YES]、拡張映像情報を取得[13]してデコードし、4K放送を記録する[15]。なお、拡張映像情報を外部ネットワークから取得する前にアラートを表示してユーザの同意を得ることは、例えばVOD(Video On Demand)サービス(外部ネットワーク)の利用が有料である場合、等において、ユーザの意図しない課金が発生することを抑止できる。また、VOD(Video On Demand)サービス(外部ネットワーク)において、記録した2K放送(基本映像情報)に対応する拡張映像情報が提供されている場合、ユーザの指示に基づいて、再生時に、拡張映像情報を取得して4K映像を再生することも可能である(図10を用いて後段に説明する)。
図5(a)及び図5(b)は、ユーザが、記録済みの任意の番組を再生(視聴)しよう、と考えるであろう所定のタイミングでテレビ装置がディスプレイに表示する表示の一例を示す。なお、図5(a)及び図5(b)は、HDD69(記憶装置67)において、予め指定された所定数のチャンネルの番組を指定された時間、全ての番組を記録する全録モードを用いて録画した結果を示す、過去番組表の表示の一例を示す。
図5(a)は、記録した全ての4K放送の番組において、2K放送に対応する拡張映像情報を同時に記録できた例を示し、図5(b)は、2K放送に対応する拡張映像情報が欠落した番組が含まれることを示す。
図5(a)から、全録モードで記録した番組において、複数の4K放送の番組が記録できていることを、ユーザが容易に理解(確認)できる。また、図5(b)から、全録モードで記録した番組において、いくつかの4K放送の番組は、拡張映像情報が欠落した状態で記録されていることを、ユーザが容易に理解(確認)できる。なお、図5(b)から、
例えば、1chの10時台の番組A1を再生しようとした場合、図10により後段に説明するように、放送とは異なる伝送路(外部ネットワーク)において拡張映像情報の取得が可能であった場合、拡張映像情報を取得して4K映像を視聴したい、ユーザが考えることを期待できる(ユーザに、VOD(Video On Demand)サービスを利用して、4K映像を視聴してもらう機会を提供できる)。
図6は、ユーザが、記録済みの任意の番組、例えばタイトルAを選択し、タイトルAを再生(視聴)しよう、と考えるであろうタイミングにおいてテレビ装置1が表示する記録番組リスト(録画済番組表)の表示の一例を示す。
図6が示す画面表示601において、ユーザが、タイトルAの番組表示にフォーカスをあてると、プレビュー画像表示領域611に、タイトルAのプレビュー画像を表示する。
画面表示601は、例えば、表示モード(アスペクト比、ジャンル、音声モード、等)を表示する表示領域641、4K放送の番組において、番組の時間長に対して4K映像を再生可能とする拡張映像情報が記録できている区間(時間帯)や、現在の再生位置(番組開始からの経過時間)、等を表すタイムバー621を含む。
タイムバー621は、記録されている番組中で4K映像を再生可能とする拡張映像情報が欠落している区間、すなわち2K放送に対応する拡張映像情報を同時に記録できている区間を、ユーザが一見して理解(確認)できるために有益である。
図7は、ユーザが記録済みの任意の番組を選択し、再生(視聴)している番組に対し、4K映像を再生可能とする拡張映像情報を、2K放送(基本映像情報)ともに記録できている区間を表示する例を示す。なお、図7が示す画面表示701は、例えばスロー再生や早送り再生、等の特殊再生においても適用できる。
図7が示す画面表示701は、画面表示701内の所定の位置、画面の上下方向であって、例えば1/4よりも下方に、現在の再生位置(番組開始からの経過時間)や、例えば「早送り」、「通常再生」、「スロー再生」、「一時停止」、「再生時間情報(番組開始からの経過時間)」、等の動作状態、等を表す再生状態表示領域711を含む。再生状態表示領域711は、動作状態を、予め決められたマーク、あるいはアイコン(icon)もしくは記号、等により表示する動作状態表示領域721、現在の再生位置をタイムバー上に、可視化して示すロケータ722、等を含む。なお、タイムバーは、2K放送に対応する拡張映像情報を同時に記録できている区間を、ユーザが一見して理解(確認)できるよう、2K放送のみが記録できている区間と、識別可能に表示する。
図8は、図5(a)及び図5(b)により説明した、全録モードとは異なる録画済番組リストの表示例を示す。
図8が示す画面表示801は、記録した番組を所定の順に表示する複数の表示領域811−815を含む。なお、より多くの番組が記録されている場合には、表示切替タブ816を、さらに表示する。表示タブ816をオン(リモコン71によりフォーカスをあて/リモコン71によりカーソルを移動して)決定ボタン817に対するオン信号を指示入力(リモコン71側の決定キーをオン)することにより、図の例では、6番目以降の記録済の番組を表示する。
また、図8が示す録画済番組リストの画面表示801においては、例えば2K放送に対応する拡張映像情報を同時に記録できている番組を示す表示領域に、4K映像を再生可能であることを示す、[4K]あるいは[拡張]表示821を表示する。なお、[4K]あるいは[拡張]表示821は、2K放送に対応する拡張映像情報を、番組の全ての区間において取得できている番組についてのみ、表示することが好ましい。その場合、図8が示す表示例は、4K放送を再生できる記録済み番組リスト、として利用可能となり、ユーザの利便性を、一層、高めることができる。
図9は、記録済みの番組を再生する方法の一例を示す。
記録されている番組の再生指示を受けつける[21]と、4K放送(記録済み映像)の再生が求められているか否かを判断する[22]。4K放送(記録済み映像)の再生が求められていない場合[22−NO]は、そのまま2K放送を記録した記録済み映像を再生する[28]。
4K放送(記録済み映像)の再生が求められている場合[22−YES]、図4(b)が示すメタデータを参照して、4K映像を再生可能とする拡張映像情報が、再生しようとしている2K放送に対応して記録されているか否か(拡張映像情報)が記録されているか否かがチェックされる[23]。
再生しようとしている2K放送に対応する拡張映像情報が記録されている場合[23−YES]、基本映像情報(2K映像)と拡張映像情報とを用いて4K映像を再現し、表示する[24]。
基本映像情報(2K映像)と拡張映像情報とを用いて4K映像を再現し、表示している状態で、メタデータから拡張映像情報が記録されていない区間を再生する場合[24]−[25−NO]−[23−NO]、拡張映像情報が記録されていない区間については2K放送を再生[26]し、次に拡張映像情報が記録されている区間を検出するまで[27−NO]−[28]−[25−NO]−[26]、2K映像を再生する。
次に拡張映像情報が記録されている区間を検出した場合[27−YES]、基本映像情報(2K映像)と拡張映像情報とを用いて4K映像を再現し、表示する[24]。
以降、再生対象の番組の全ての区間(記録内容)の再生が終了したことを検出する[25−YES]まで、2K映像のみの再生と基本映像情報(2K映像)と拡張映像情報とを用いる4K映像の再現を、繰り返す。
図10は、記録済みの番組を再生する方法の別の一例を示す。
記録されている番組の再生指示を受けつける[21]と、4K放送(記録済み映像)の再生が求められているか否かを判断する[22]。4K放送(記録済み映像)の再生が求められていない場合[22−NO]は、そのまま2K放送を記録した記録済み映像を再生する[31]。
4K放送(記録済み映像)の再生が求められている場合[22−YES]、図4(b)が示すメタデータを参照して、4K映像を再生可能とする拡張映像情報が、再生しようとしている2K放送に対応して記録されているか否か(拡張映像情報)が記録されているか否かがチェックされる[23]。
拡張映像情報が記録されていない場合[23−NO]、『4K映像を再生可能とする拡張映像情報が記録されていない』ことを報知するアラートをディスプレイ26に表示[34]し、放送とは異なる伝送路(外部ネットワーク)において拡張映像情報が伝送されていることを検出することができる[35]。
外部ネットワークにおいて拡張映像情報が伝送されていることを検出できた場合[35−YES]、放送とは異なる伝送路(外部ネットワーク)において拡張映像情報を取得可能であることを、ディスプレイ26に、アラート表示(外部ネットワークサービスの利用を推薦)する[26]。外部ネットワークからの拡張映像情報の取得に同意が得られた場合[27−YES]、拡張映像情報を取得[32]してデコードし、4K放送を再生する[33]。なお、拡張映像情報を外部ネットワークから取得する前にアラートを表示してユーザの同意を得ることは、例えばVOD(Video On Demand)サービス(外部ネットワーク)の利用が有料である場合、等において、ユーザの意図しない課金が発生することを抑止できる。
このように、記録済みの番組を再生する際に、4K映像を再生可能とする拡張映像情報の取得状況を示すデータとして用意したメタデータを参照することで、番組の記録時に、番組の時間長に対して一部分しか拡張映像情報を取得できていない(拡張映像情報が記録されていない)場合であっても、拡張映像情報を別の伝送路から取得して4K映像を再生することができる。また、メタデータを参照することで、2K映像に比較してデコードに時間を必要とする4K映像のデコード開始のタイミングを設定することで、4K映像の再生開始時間を短縮できる。なお、4K映像を再生可能とする拡張映像情報の欠落が、複数個所存在するような場合においても、2K映像に引き続いて再生すべき4K映像の再生タイミングを、メタデータを参照することにより、2K映像の再生タイミングに合わせて先行することができる。これにより、2K映像−4K映像の切り替わり点が含まれるような記録済み番組を再生する場合において、切り替え時に画像の途切れ(黒画面表示や直前のフレームの画像が静止した静止画など)が発生することを低減できる。
図11は、4K(UHD)映像を、“識別子あるいは記述”が特定するチャンネルもしくは伝送路により供給される拡張映像情報と、拡張映像情報に対応する基本映像情報と、を用いて復号するための構成の一例を示す。なお、基本映像情報及び拡張映像情報は、基映像(番組)を、4K放送信号として送信する際に、送信側(放送局/配信局)にて、予め用意される。基本映像情報は、実質的にHD放送信号に相当し、受信した場合、そのままの状態でHD放送波として利用である。拡張映像情報は、基本映像情報と同時に用いることで4K映像及び音響(音声)を再現可能な付属情報であり、例えば7.1chサラウンド情報(信号)や60kHz程度の再現音域情報(信号)を含む場合がある。
図11が示すように、テレビ装置1の信号処理部12は、拡張映像情報を処理し、拡張映像情報に対応する基本映像と拡張映像情報とにより4K映像を再生する高精細画像復元部201を含む。
高精細画像復元部201は、入力部11で選局された放送信号に復号処理を施し、映像信号、音声信号、字幕/文字スーパー情報及び番組関連情報、等を復元する。なお、第1の信号処理部203及び第2の信号処理部205において、システム時刻基準値STC(System Time Clock)は、共通である。
高精細画像復元部201は、第1の信号処理部203への基本映像情報(HDTV信号)が入力する入力端子260及び伝送路復号部261、第2の信号処理部205への拡張映像情報が入力する入力端子280及び伝送路復号部281を、少なくとも含む。
高精細画像復元部201はまた、第1のデコーダ(MPEG−2デコーダ)270、アップコンバータ274、バッファメモリ276、クロック再生制御部278及び出力セレクタ(映像出力切り替え部)298、等を備える。なお、高精細画像復元部201は、主制御ブロック51のCPU52の制御により動作する。すなわち、CPU52は、第1のデコーダ270、アップコンバータ274、バッファメモリ276、クロック再生制御部278及び出力セレクタ298、等を制御する。
高精細画像復元部201において、入力端子260に入力する基本映像情報は、伝送路復号部261に、入力端子280に入力する拡張映像情報は、伝送路復号部281に、それぞれ入力する。伝送路復号部261及び281は、基本映像情報及び拡張映像情報を、それぞれ復調し、伝送路復号処理によって復号する。伝送路復号部261及び281は、復号した信号(第1のTS信号及び第2のTS信号)を出力する。
クロック再生制御部278は、復号のタイミングを同期するための第2のクロック情報を生成し、第2の多重化分離部284から取得した時間情報を出力する。また、クロック再生制御部278は、STCが共通であるため、PCR(Program Clock Reference)に基づいて、第1のデコーダ270及び第2のデコーダ(SHVCデコーダ)292(第2の信号処理部205側)の同期を制御する。
アップコンバータ274は、基本映像情報として供給される2K映像の解像度、画面サイズ及び色帯域をアップコンバートする。すなわち、アップコンバータ274は、デコーダ270が復号する映像信号(第2の復号映像信号)をアップコンバートし、アップコンバートによって生成された映像信号(第2の拡大復号映像)信号を生成し、生成した第2の拡大復号映像を出力する。例えば、アップコンバータ274は、2K映像信号(HD映像)の解像度を、4K映像信号(第2の拡大4K映像信号)の解像度に変換する。
バッファメモリ276は、各種信号や第2の拡大4K映像信号を、一時的に保持する。
出力セレクタ298は、STCに基づいて、第1の信号処理部203のデコーダ270がデコードした2K映像(HD映像)または第2の信号処理部205のSHVCデコーダ278がデコードした4K映像(UHD映像)の一方を、出力する。なお、出力セレクタ298は、音声及び番組表、等を含む情報(データ)を、出力する映像に対応させて出力することもできる。出力セレクタ298はまた、選択された映像信号(選択映像信号)を表示制御部25へ出力する。このとき、選択映像信号を識別するための選択情報も、出力する。
出力セレクタ298が出力する選択映像信号は、表示制御部25において、OSD処理部24からのOSD出力を重畳し、表示制御部25がディスプレイ26または出力端27に供給する。
第1の信号処理部203は、より具体的には、入力端子260からの第1のTS信号を第1の表示信号、すなわち2K映像信号に復号する。第2の信号処理部205は、入力端子280からの第2のTS信号(4K映像に対応する拡張映像情報)を第2の表示信号に復号する。なお、第2の信号処理部205は、より具体的には、第1のTS信号(2K映像信号)と第2のTS信号とから第2の高画質映像信号(4K映像信号)を復号する。
第1の信号処理部203は、より詳細には、第1の多重化分離部264、第1のデスクランブラ266、第1のECM/EMM処理部268、第1の(基本映像)デコーダ270及びPSI/SI処理部272を、少なくとも含む。
第1の多重化分離部264は、入力された基本映像情報を、各種情報や制御信号、及び映像信号に分離する。なお、第1の多重化分離部264は、主制御ブロック51(CPU52)が設定するフィルタ条件を満たす信号のみを取り込むPIDフィルタ265を備える。第1の多重化分離部264は、CPU52の制御に基づいて、PIDフィルタ265の値を設定する。
第1の多重化分離部264は、PIDフィルタ265により、例えばPAT(Program Association Table、すなわち“PID=0”のPSI)を取り出し、ユーザ操作(制御入力)によって指定されるコンテンツのPMT(Program Map Table)を特定するPIDを取り出す。第1の多重化分離部264は、このPIDで指定されたPMTが特定する映像信号を取り出して、取り出された映像信号及び時間情報信号を出力する。
第1のECM/EMM処理部268は、第1の多重化分離部264が分離した制御情報のECM及びEMMからスクランブル鍵を取り出す。詳細には、第1のECM/EMM処理部268は、暗号化されたEMMを、テレビ装置1に関連して用意されている固有の鍵で復号し、復号したEMM(Entitlement Management Message)からワーク鍵を取り出す。次に、第1のECM/EMM処理部268は、ワーク鍵を用いてECM(Entitlement Control Message)を復号し、復号したECMからスクランブル鍵を取り出す。
第1のデスクランブラ266は、第1の多重化分離部264が出力する映像信号の暗号化処理を解除する。すなわち、第1のデスクランブラ266は、送信側においてスクランブル鍵で処理された各種信号の暗号化処理を解除する。なお、暗号化処理規則は、一例であるが、MULTI2またはそれに準じる処理規則であることが好ましい。
第1のデコーダ270は、第1の多重化分離部264が分離した(伝送のために)パケット化されている映像信号(2K放送)を復号(デコード)する。第1のデコーダ270は、送信側で用いる符号化形式、例えばMPEG(Moving Picture Experts Group)−2を用いて映像信号を復号し、復号した2K映像信号を出力する。
PSI/SI処理部272は、CPU52(主制御ブロック51)による制御に基づいて、番組特定情報(PSI)及びサービス情報(SI)を処理し、PSI及びSI等に関連する情報(データ)を出力する。PSI/SI処理部272は、CPU52による制御により抽出したES(Elementary Stream)に基づいて、選局する映像信号及び表示タイミング等を含む選局手順及び表示可能なコンテンツを規定する選局リスト(選局情報)を生成する。ここで、選局リストは、選局対象となる複数の表示信号の選局の手順(タイミング)、及び指示等の選局を制御するための情報である。PSI/SI処理部272は、第1の多重化分離部264、第2の多重化分離部284及び出力セレクタ298と信号の送受信をする。
第2の信号処理部205は、より詳細には、第2の多重化分離部284、第2のECM/EMM処理部286、第2のデスクランブラ288、PSI/SI処理部290及び第2のデコーダ(SHVCデコーダ)292を、少なくとも備える。
第2の多重化分離部284は、入力された拡張映像情報を、各種情報や制御信号、及び映像信号に分離する。第2の多重化分離部284はまた、拡張映像情報が含む時間情報をクロック再生制御部278に出力する。なお、第2の多重化分離部284は、制御ブロック51(CPU52)が設定するフィルタ条件を満たす信号のみを取り込むPIDフィルタ285を備える。第2の多重化分離部284は、CPU52の制御に基づいて、PIDフィルタ285の値を設定する。
第2の多重化分離部284は、PIDフィルタ285により、PSIからPATを取り出し、ユーザ操作(制御入力)によって指定されるコンテンツのPMTのPIDを取り出し。第2の多重化分離部284は、このPIDで指定されたPMTが特定する映像信号を取り出して、取り出された映像信号及び時間情報信号を出力する。
第2のECM/EMM処理部286は、第2の多重化分離部284が分離した制御情報のECM及びEMMからスクランブル鍵を取り出す。詳細には、第2のECM/EMM処理部286は、暗号化されたEMMを、テレビ装置1に関連して用意されている固有の鍵で復号し、復号したEMMからワーク鍵を取り出す。次に、第2のECM/EMM処理部286は、ワーク鍵を用いてECMを復号し、復号したECMからスクランブル鍵を取り出す。
第2のデスクランブラ288は、第2の多重分離部284が出力する映像信号の暗号化処理を解除する。すなわち、第2のデスクランブラ288は、送信側においてスクランブル鍵で処理された各種信号の暗号化処理を解除する。なお、暗号化処理規則は、一例であるが、AES(Advanced Encryption Standard)またはそれに準じる処理規則であることが好ましい。
PSI/SI処理部290は、CPU52(主制御ブロック51)による制御に基づいて、番組特定情報(PSI)及びサービス情報(SI)を処理し、PSI及びSI等に関連する情報(データ)を出力する。PSI/SI処理部290は、CPU52による制御により抽出したES(Elementary Stream)に基づいて、選局する映像信号及び表示タイミング等を含む選局手順及び表示可能なコンテンツを規定する選局リスト(選局情報)を生成する。ここで、選局リストは、選局対象となる複数の表示信号の選局の手順(タイミング)、及び指示等の選局を制御するための情報である。PSI/SI処理部290は、第1の多重化分離部264、第2の多重化分離部284及び出力セレクタ298と信号の送受信をする。
SHVCデコーダ(第2のデコーダ)292は、第2の多重化分離部284が分離した(伝送のために)パケット化されている映像信号(拡張映像情報)を復号(デコード)する。すなわち、SHVCデコーダ292は、スケーラブル符号化(SHVC(MPEG−HEVC Video)符号化)された映像信号である拡張映像情報を復号する。また、SHVCデコーダ292は、拡張映像情報を復号した4K映像の基となる映像信号と第1のデコーダ270がデコードし、アップコンバータ274がアップコンバージョンした映像信号すなわち第2の拡大復号映像とにより、UHD(超高精細度、例えば4Kの)映像信号を生成し、セレクタ298に出力する。
なお、SHVCデコーダ292が出力する4K(UHD)映像は、SHVCデコーダ292の後段に位置するメタデータ処理部294及び高画質化処理部296が高画質化処理する。例えば、メタデータ処理部294は、送信側において、基本映像情報と拡張映像情報とを分離する際に拡張映像情報に付属させた情報であって、基本映像情報を高画質化するための、例えばコントラスト、色帯域あるいは諧調特性、等のグレーディング処理のためのグレーディング情報を生成する(復元する)。また、高画質化処理部296は、グレーティング情報に基づいて、SHVCデコーダ292が出力するUHD(例えば4Kの)映像信号をグレーティングすることによって高画質化することができる。
なお、第1のPSI/SI処理部272及び第2のPSI/SI処理部290は、基本映像情報及び拡張映像情報のそれぞれに対して送信側で用意したPSI/SIに基づき、第1の多重化分離部264、第2の多重化分離部284及び出力セレクタ298との間の映像信号(基本映像情報及び拡張映像情報)を送受信する。すなわち、出力セレクタ298は、ディスプレイ26(または出力端27)に出力する映像信号を、基本映像情報に基づく2K(HD)映像とするか、拡張映像情報に基づく4K(UHD)映像とするかを、第1のPSI/SI処理部272及び第2のPSI/SI処理部290が含むESを参照して、選択する。なお、送信側で用意するPSI/SIが基本映像情報及び拡張映像情報のそれぞれにおいて共通化されている場合、第1のPSI/SI処理部272及び第2のPSI/SI処理部290の何れか一方で受信したPSI/SIを読み出すことで、例えば4K映像のデコード開始タイミングを早めることが可能となる。例えば、基本映像情報のPSI/SIに、拡張映像情報が用意されていること示す“識別子あるいは記述”が含まれている場合、“識別子あるいは記述”を読み出した時点で4K映像のデコードを開始することで、デコード後の4K映像が出力されるまでの時間を低減できる。
本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。