以下、図面を参照して、本発明の実施の一形態について説明する。
図1は、実施形態に係る映像信号送受信システムの一例を示す。
図1が示す画像処理システムにおいて、電子機器(例えばテレビジョン放送受信装置、以下、テレビ装置と称する)1は、アンテナ101を通じて、番組供給元である放送局が送信する放送波(地上波及び衛星波)を受信する。なお、テレビ装置1が受信する放送波は、現在広く普及しているHDTV(水平方向画素数が1920または1440、垂直方向画素数が1080、映像周波数(フレームレート)が60Hzの映像信号)放送の受信が可能である。また、テレビ装置1が受信する放送波は、HDTVに比較して画素数が4倍(3840×2160)、フレームレート60Hzの4K放送(UHD(Ultra High Definition)、超高精細度放送)であってもよい。テレビ装置1が受信する放送波はまた、HDTVに比較して画素数が16倍(7680×4320)、フレームレート120Hzの8K放送(8KUHD放送)であってもよい。
なお、4K放送あるいは8K放送においては、映像信号(放送波)を、第一の映像情報(基本映像情報)と第二の映像情報(拡張映像情報)とに分離し、2チャンネル分の帯域幅の占有により送信する方式が利用可能である。基本映像情報(第一の映像情報)は、実質的に、HDTV放送信号に相当し、そのままの状態でHDTV放送波として利用可能であることが好ましい。拡張映像情報(第二の映像情報)は、基本映像情報と独立して用意され、基本映像情報とともに利用することにより4K(8K)映像を再現するために利用可能である。この場合、基本映像情報が1チャンネル分の帯域幅を、拡張映像情報が、別の1チャンネル分の帯域幅を、それぞれ、占有する。しかしながら、この方式によれば、現在広く普及しているHDTV放送を受信する受信機(テレビジョン受信装置)におけるHDTV放送の受信には、なんら影響を及ぼすことがない。
テレビ装置1はまた、外部映像供給元、例えばビデオカメラ装置や画像の撮影が可能な携帯可能な端末装置2001からの画像を取得可能である。その場合、画像の取得は、例えば近距離無線通信方式を用いるものであってもよいし接続用のケーブルを用いる有線伝送方式を用いるものであってもよい。また、テレビ装置1は、ネットワークNTWと接続し、ネットワークNTW上に位置するサービスサーバ(以下、サーバと称する)SVから映像信号や映像情報を受け取ることができる。拡張映像情報(第二の映像情報)は、サービスサーバSVからネットワークNWTを介して受信することもできる。なお、テレビ装置1は、パーソナルコンピュータ(PC)、ホームサーバ、レコーダあるいはSTV(Set Top Box)、レコーダやSTVと接続するモニタ装置、等であってもよい。また、以降の説明においては、テレビ装置1は、2K(2K1Kまたは1920×1080)、4K(4K2Kまたは3840×2160)もしくは8K(8K4Kまたは7680×4320)放送の少なくとも1つの放送を受信し、映像及び音声(音響)を再生できる。但し、以下では、説明の便宜上、2K/4K対応のテレビ装置として記載する。
なお、以下の説明において、テレビ装置1が受信し、映像及び音声を再生する放送は、空間を伝播する電波として放送事業者(放送局)が提供するもの、あるいはケーブル(光ファイバを含む)網やIP(Internet Protocol)網等のネットワークを通じて配信事業者が配信するもの等、を含む。また、放送は、映像と音声または音楽もしくはその両者を含み、一定時間(放送時間)を単位とするさまざまな番組を、提供する形態を示す。なお、番組は、コンテンツもしくはストリームと呼称する場合もある。また、映像は、動画や静止画、あるいはテキスト(コード化された符号列で示される文字や記号等で表される情報)ならびにその任意の組み合わせを含む。また、2つの伝送路(例えば衛星波)を通じて取得する番組(放送)のうちの1つ目の伝送路(例えば衛星波)で受けつける番組を、メインチャンネル、メインサービス、メインチャンネルTS(Transport Stream)、主映像信号、HD映像信号、HDTV放送信号、2K映像信号現行サービスもしくは現行放送信号、等と称する場合がある。また、2つの伝送路(例えば衛星波)を通じて取得する番組(放送)のうちの別の(2つ目の)伝送路で受けつける番組を、サブチャンネル、サブサービス、サブチャンネルTS、高画質映像信号、4K映像信号、4K放送信号、拡張サービスもしくは拡張放送信号、等と称する場合がある。
図2は、テレビ装置の主要な構成の一例を示す。
テレビ装置1は、入力部(チューナ)11、信号処理部(TS分離部)12、映像出力処理ブロック21、音声処理ブロック31及び主制御ブロック51、等を含む。
入力部11には、空間波(地上波あるいは衛星波)を用いて提供される放送を受信するアンテナANTが接続する。入力部11にはまた、外部映像供給元として、例えばSTB(Set Top Box)やビデオカメラ装置、等が接続する。なお、ビデオカメラ装置は、画像撮影が可能な携帯可能な端末装置、例えばタブレットPC(Personal Computer)装置、等であってもよい。また、テレビ装置1におけるディスプレイ26は、テレビ装置1と非接触で、映像記憶装置(レコーダ)や受信装置(STBまたはチューナ)が、無線方式により伝送する番組を表示するものであってもよい。
入力部11は、少なくとも2つのチャンネルの放送(番組)を受信可能に、例えばHDTV放送(空間波(地表波)を用いる放送)を受信可能なチューナを、2以上6(または9)程度含む。また、入力部11は、放送衛星(Broadcasting Satellite)により放送されるBS放送、あるいは通信衛星(Communication Satellite)を介して中継されるCS放送を受信可能なチューナを、3程度含むことが好ましい。
入力部11に入力する放送は、信号処理部(TS分離部)12が、TS(Transport Stream)分離する。すなわち、信号処理部(TS分離部)12は、映像信号(ビデオ)、音声信号(オーディオ)及び制御情報を分離する。なお、制御情報は、SI(Service Informationすなわち番組配列情報/PSI(Program Specific Information))、NIT(Network Information Table)、EIT(Event Information Table)、等を含む。SIは、TS(ストリーム)の分配規則や内容、スケジュールあるいはタイミング、等に関する記述を含む。SIにおける記述は、例えば画像や音声、制御情報、等が格納されるパケットを、“0xYZ(YZは所定の整数)”と定義するパケット値で示すPID(Packet Identifier)、“PID=0”において参照するPAT(Program Association Table)や“PID=P”において参照するPMT(Program Map Table)、等を含む。NITは、ストリームの分配(配信)情報に関する記述を含む。EITは、番組情報、例えば番組名称や放送日時もしくは放送内容、等の番組に関連する記述を含む。
なお、EITもしくはNITあるいはPATは、受信した放送(基本映像情報)に対応する拡張映像情報の有無(別のチャンネルあるいは異なる伝送方法により拡張映像情報が提供されているか否か)を示す“識別子あるいは記述”を含むことができる。また、拡張映像情報の有無(拡張映像情報が提供されているか否か)を示す“識別子あるいは記述”は、他の記述もしくは他の参照箇所の指定、等により、明示されてもよい。
映像出力処理ブロック21及び音声処理ブロック31には、それぞれ、ディスプレイ26及びスピーカ36が接続する。
映像出力処理ブロック21は、図8を用いて後段に説明する高精細画像復元部201が出力する再生映像信号に、OSD(On Screen Display)処理部24が生成したOSD映像を重畳し、表示制御部25においてディスプレイ26が表示可能な所定の解像度及び出力方式に変換する。なお、表示制御部25の出力は、例えば外部で接続するモニタ装置、あるいは投影装置(プロジェクタ装置)等が接続可能な出力端27に出力されてもよい。
音声処理ブロック31は、音声(オーディオ)デコーダ32、音声(オーディオ)処理部33、遅延部34及びD−A(Digital to Analog)コンバータ35、等を含む。
音声信号(オーディオ)については、音声処理部33において音声デコーダ32がデコードした音声信号を、スピーカ36による好適な再生が可能な所定の形式に変換する。D−Aコンバータ35は、音声処理部33が変換した音声信号を、アナログ音声出力信号に変換する。これにより、D−Aコンバータ35にスピーカ36を接続した場合に、スピーカ36が可聴音(アナログ音声(オーディオ)出力)を出力する。なお、D−Aコンバータ35の出力は、例えばAV(Audio Visual)アンプ等が接続可能な出力端37に分岐してもよい。また、D−Aコンバータ35に入力する音声信号は、コンテンツの種類に対応して、遅延部34による所定量(時間)の遅延が制御される。例えばコンテンツがゲームである場合、遅延部34が規定する遅延(時間)の大きさ(長さ)は、放送信号(番組)を再生する場合に適用する遅延(時間)の大きさ(長さ)よりも小さい(短い)。なお、拡張映像情報が、例えば7.1chサラウンド情報(信号)や60kHz程度の再現音域情報(信号)を含む場合も想定されるが、音声(音響)のデコードに必要な時間については、以下に説明する4K映像のデコードに必要な時間に比較して僅かである。但し、後段に説明するが、基本映像情報に基づいてHD(2K)映像を再生している状態で4K放送の再生の制御入力(ユーザによるリモコン端末71からの操作指示)に基づいて4K放送を再生する場合には、4K映像のデコード(出力)が完了するまでの所定の期間、音声を遅延することが好ましい。
主制御ブロック51は、例えばCPU(主処理回路)52、CPU52が実行する制御プログラムを保持するROM(読出専用メモリ)53、CPU52に作業エリアを提供するRAM(ランダムアクセスメモリ(ワークメモリ))54、各種の設定情報及び制御情報等を保持するNVM(不揮発性(書き換え可能)メモリ)55、4K放送受信判定部56、等を含む。主制御ブロック51にはまた、操作部61、受信部62、通信インタフェース63、ネットワーク制御部64、USB(Universal Serial Bus)インタフェース65、HDMI((登録商標)High-definition Digital Media Interface)制御部66、記憶装置67、等が接続する。なお、USBインタフェース65には、USB規格に準拠する外部装置、例えばUSB接続のHDD(Hard Disk Drive、記憶装置)や、キーボード、等が接続可能である。
操作部61は、ユーザによる直接操作に対応する制御コマンドを主制御ブロック51に入力する。
受信部62は、リモコン端末(リモートコントローラ)71、あるいは携帯可能な端末装置からの指示(操作入力)に対応するコマンドを、主制御ブロック51に入力する。
通信インタフェース63は、相手方機器(通信相手方)との間で、任意の方式の通信が可能な通信ユニット81と接続する。通信ユニット81は、例えばWiFi(Wireless Fidelity)規格、等に準拠する近距離無線通信機器(相手方機器)との間の無線通信を実現する。なお、近距離無線通信規格としては、例えばブルートゥース(登録商標)規格や、NFC(Near Field Communication)等も利用可能である。また、通信ユニット81は、例えばワイヤレスキーボードやマウス等との間の信号の受け渡しが可能である。通信ユニット81はまた、例えば非接触通信方式のカード媒体との間の無線通信(Read / Write)が可能なカードリーダ、等であってもよい。なお、通信ユニット81は、相手方機器と。有線方式で通信するものであってもよい。
通信インタフェース63はまた、リモコン端末71に、通信ユニット81を通じて後段に説明する4K放送を送信している放送局(チャンネル)すなわち入力部11が受信した放送が4K放送である放送局(チャンネル)を、通知(送信)する。
ネットワーク制御部64は、例えば外部ネットワーク(インターネット網(ネットワーク1001)からのさまざまな情報の取得及び送信、インターネット網(ネットワーク1001)へのアクセス、等を制御する。
USBインタフェース65は、USB規格に準拠する外部装置、例えばUSB接続のHDD(Hard Disk Drive、記憶装置)69やメモリカード、あるいはキーボード、等が接続可能である。
HDMI制御部66は、HMDI規格またはMHL規格を利用する機器相互間の有線通信を可能とする。
記憶装置67は、受信した放送(番組)や、記憶装置67やUSB接続のHDD69が保持する番組に関連するさまざまな情報を保持する。
主制御ブロック51(もしくはCPU52)は、操作部61を通じたユーザ操作(制御入力)や受信部62が受信するリモコン71、あるいは携帯可能な端末装置からの操作情報(制御入力)に基づいて、上述の各部要素を制御する。
また、主制御ブロック51は、高精細画像復元部201及び信号処理部12が出力する映像信号や音声信号等を、ユーザの操作(制御入力)に基づいて、記憶装置67やHDD69に記録することが可能である。記憶装置67やHDD69への映像信号や音声信号等の記録に際しては、主制御ブロック51は、映像信号や音声信号等を暗号化処理し、所定の記録フォーマットに変換する。主制御ブロック51は、ユーザによるリモコン71等からの操作(指示入力)に基づいて、記憶装置67やHDD69から所望の映像信号や音声信号等を読み出し、復号し、映像出力処理ブロック21(表示制御部25)に供給して、映像表示や音声再生を実行する。
主制御ブロック51はまた、信号処理部(TS分離部)12が分離するTSから字幕情報(ニュース番組においてアンカー(アナウンサ)が発声した音声を字幕化した生字幕を含む)やEPG(電子番組表)情報を、取得できる。字幕情報やEPGを取得するための手続き(手法)は、例えばNVM55もしくはROM53が保持するプログラムまたはアプリケーションあるいはCPU52のファームウェアとして用意される。
なお、主制御ブロック51は、4K放送受信判定部56にて、受信した放送(基本映像情報)に対応する拡張映像情報の有無(別のチャンネルまたは異なる伝送方法により拡張映像情報が提供されているか否か)を示す“識別子あるいは記述”を抽出する。“識別子あるいは記述”は、信号処理部12が分離する制御情報のうちのSI(PSI/SI)が含む番組情報から抽出できる。拡張映像情報は、テレビ装置1が受信する放送がSHVC(Scalable High efiiciency Video Coding)符号化方式に準拠する4K放送である場合に、送信側において基本映像情報と分離される映像情報である。拡張映像情報は、詳細には、送信側におけるエンコード(SHVC符号化)時の予測画像の生成に、インター予測(動き補償予測)、イントラ予測(画面内予測)及びレイヤ間予測(画像間予測)の少なくとも1つが実行されて生成される映像情報である。より詳細には、SHVC符号化方式は、HEVC(High efiiciency Video Coding)方式で用いられる画面間予測(動き補償予測/インター予測)と画面内予測(イントラ予測)とに加え、画像間予測(レイヤ間予測)を伴う。レイヤ間予測は、HD(2K)映像を構成する基準レイヤすなわち基本映像から4K(超高精細度画質)映像の出力時に利用可能な拡張レイヤ(拡張映像)を、予測する。すなわち、SHVC符号化方式においては、映像の再生時に、復号した基本映像を超高精細度画質(4K映像)にアップコンバートした映像を予測の候補として利用することが可能である。これにより、SHVC符号化方式は、4K映像を直接圧縮する方式に比較して映像情報を高い圧縮効率で圧縮できていることになり、現在の放送網(放送帯域)をそのまま利用可能な4K映像の送受信を可能としている。
テレビ装置1は、ユーザ指示(リモコン71あるいは携帯可能な端末装置もしくは操作部61からの操作入力)があった場合、主制御ブロック51(4K放送受信判定部56)にて“識別子あるいは記述”を抽出できた場合、4K映像を再生し、表示できる。なお、テレビ装置1における基本的な受信設定は、実質的にHDTV放送信号に相当する基本映像情報を受信した場合、そのままの状態でHDTV放送波として利用する設定である。このため、4K放送を再生可能な拡張映像情報を受信した場合に、4K放送を再生するための各部の切り替えが必要となる。なお、4K映像を、“識別子あるいは記述”が特定するチャンネルもしくは伝送路により供給される拡張映像情報と、拡張映像情報に対応する基本映像情報と、を用いて復号する構成の例は、後段に説明する。
ところで、ユーザ指示に従い受信した放送(選択されたチャンネル)が4K放送であることを4K放送(受信)判定部56が判定して4K映像を復号して表示する場合、4K映像を復号するための一定の待ち時間が必要となる。この待ち時間は、例えば2秒(500ミリ秒〜5秒)である。しかしながら、直前に受信(視聴)している番組が2K(HDTV)放送であるような場合、2K映像の復号時間と4K映像の復号時間との相違分の影響により、本来の復号時間よりも長い時間である、と、ユーザが感じることが考えられる。
このような背景から、4K放送であることを検出できたチャンネルについて、HDTV(2K)放送のチャンネルへの操作入力の方法と分離し、4K放送であるチャンネルのみを選択(操作入力)可能とすることで、ユーザの操作性を高めることができる。
図3は、操作入力(ユーザ指示)に対応する制御コマンドを出力可能なリモートコントローラ(リモコン端末)の一例を示す。リモコン端末71は、テレビ装置1の通信ユニット81との間で近距離無線通信が可能な近距離無線通信部73を含み、テレビ装置1の通信インタフェース63との間で、所定の情報の受け渡しが可能である。これにより、リモコン端末71が、図6により後段に説明するような、例えばプリセットチャンネルキー点灯タイプである場合に、4K放送を再生可能な拡張映像情報を受信中である放送局(チャンネル)の情報を通知(送信)できる。
リモコン端末71は、ユーザ操作(制御入力)に対応するさまざまな制御コマンドを出力する複数のキー、を含む。[電源]キー111は、テレビ装置1の電源のオン/オフを指示する。矢印キー112([上])、113([下])、114([左])、115([右])は、テレビ装置1のディスプレイ26が表示する画面表示内において、カーソルの移動またはフォーカスする表示に対する位置の変更を指示可能な[上]、[下]、[左]、[右]の4方向のそれぞれに対応する制御コマンドを出力する。[決定]キー116は、ディスプレイ26が表示する画面表示内の「決定」に対応する制御指示を入力する。[戻る]キー」117は、直前の表示(画面)あるいは現在実行している(入力)モード等を解除するための制御指示を入力する。[入力切換]キー118は、放送(番組)の供給元、例えばHDTV(地上デジタル)放送、BS放送、CS放送、外部入力、等を切り換える制御指示を入力する。[終了]キー119は、メニュー画面あるいは現在表示されている入力(設定)画面の表示を取り消すすなわち入力や選択を終了するための制御指示を入力する。[一時停止(ちょっとタイム録画)]キー129は、録画された番組の再生中に再生を一時的に停止する、あるいは受信中の番組を、オンされた時点から記憶装置67またはHDD69に録画する制御指示を入力する。[再生]キー130は、録画された番組の再生指示、録画された番組の再生中に[一時停止]キー129がオンされて一時停止中である番組の再生開始、受信番組(非録画番組)の視聴中に[一時停止]キー129がオンされて録画を開始した番組の“おっかけ再生”の指示に対応する制御コマンドを入力する。[チャンネルアップダウン]キー131、132は、それぞれ、予めプリセットするチャンネルについて、キーがオンされる毎に順にスキップしてチャンネルを選択するための制御指示(アップ/ダウン)を入力する。[地デジ]キー162、[BS]キー163、[CS]キー164は、それぞれ、HDTV放送の受信チャンネルを直接選択可能に、BS放送の受信チャンネルを直接選択可能に、CS放送の受信チャンネルを直接選択可能に、チューナ(入力部)11を切り換えるための制御指示を出力する。
リモコン端末71はまた、テレビ装置1が表示する画面表示内に表示するアクションボタン(表示)である[青]ボタン、[赤]ボタン、[緑]ボタン及び[黄]ボタンのそれぞれに対応する制御指示を入力可能な[青]キー125、[赤]キー126、[緑]キー127及び[黄]キー128、等を含む。
リモコン端末71はまた、例えば予め設定された任意数の動作モードの起動(呼び出し)に対応する制御指示(制御コマンド)を入力可能な[クイックメニュー]キー120、テレビ装置1が、4K放送を再生可能な拡張映像情報を受信した(4K放送であることを検出できた)場合に、4K放送が放送されているチャンネルのみを選択(操作入力)可能とする制御指示(制御コマンド)を入力可能な[4K(切り替え)]キー121、等を有する。
リモコン端末71からの制御指示(制御コマンド)の入力に対応するテレビ装置1の動作としては、例えば上述の[4K]キー121がオンされる毎に、4K放送を再生可能な拡張映像情報を受信している放送局のチャンネルのみを、所定時間、例えば5秒毎に再生して表示する(ザッピング表示する)ことも可能である。
なお、リモコン端末71による上記[4K]キー121をオンした場合の制御指示の出力形態は、ユーザが任意に設定でき、例えば[4K]キー121を1度オンした場合に、上述の4K放送の選択(制御指示)を出力するが2度オンした場合は、4K放送に係わる制御指示をキャンセルすることも可能である。この場合、上述のサッピング表示を実現するためのチャンネルの切り替えは、例えばチャンネルアップダウンキー131及び132に割り当てればよい。
また、図4に一例を示すが、例えばユーザの設定に基づいて、基本映像情報であるHDTV放送を受信し、再生している状態[11]で、[4K]キー121がオン(押下)された場合[12−YES]、その放送に対応する拡張映像情報の有無を検出[13]し、拡張映像情報が伝送されている場合[13−YES]には、拡張映像情報を取得[14]してデコードし、4K放送を再生する[15]。
拡張映像情報が伝送されていないチャンネル(放送局)の選局が指示された場合[13−NO]、『4K放送が放送されていない』ことを報知するアラートを、ディスプレイ26に表示[16]し、放送とは異なる伝送路(外部ネットワーク)において拡張映像情報が伝送されていることを検出する[17]。外部ネットワークにおいて拡張映像情報が伝送像されていることを検出できた場合[17−YES]、放送とは異なる伝送路(外部ネットワーク)において拡張映像情報を取得可能であることを、ディスプレイ26に、アラート表示(外部ネットワークサービスの利用を推薦)する[18]。
外部ネットワークからの拡張映像情報の取得に同意が得られた場合[19−YES]、拡張映像情報を取得[14]してデコードし、4K放送を再生する[15]。
なお、拡張映像情報を外部ネットワークから取得する前にアラートを表示して、同意を得ることは、例えばVOD(Video On Demand)サービス(外部ネットワーク)の利用が有料である場合、等において、ユーザの意図しない課金が発生することを抑止できる。
リモコン端末71はさらに、TimeOn(タイムオン)サービスの加入者が利用可能な「クラウドざんまい(ざんまいプレイ)」へのジャンプ(テレビ装置1のディスプレイ26が表示するホーム画面表示からの「クラウドざんまい」機能の起動)を、制御指示を入力可能な[ざんまい]キー151を含む。
なお、図3が示すリモコン端末71の機能は、図5(a)−(c)が示すように、携帯可能端末、例えばスマートフォンやタブレット端末2001にてダウンロードして用いることのできるアプリケーションが表示するリモコンアプリケーション画面表示2071からの操作入力に置き換えることも可能である。リモコンアプリケーション画面は、スマートフォン2001の表示画面の大きさに基づいて、例えば長さ方向に3分割される。このため、図5(b)が示す、長手方向で分割した中央に相当する画面表示においては、前画面(図5(a))の表示を表示するための[上]スクロールボタン表示2071Uと次画面(図5(c))の表示を表示するための[下]スクロールボタン表示2071Dを表示する。同様に、図5(a)が示す、長手方向で分割した([電源]ボタン表示を含む)一端側を表示する画面表示においては、次画面(図5(b))の表示を表示するための[下]スクロールボタン表示2071Dを表示する。また、図5(c)が示す、長手方向で分割した([青]ボタン表示、[赤]ボタン表示、[緑]ボタン表示及び[黄]ボタン表示を含む)他の一端側を表示する画面表示においては、前画面(図5(b))の表示を表示するための[上]スクロールボタン表示2071Uを表示する。なお、例えば図5(c)が示す表示領域においては、リモコンアプリケーションを終了するための制御コマンドの入力(ユーザ操作)を受けつける終了ボタン表示2071Eが用意されてもよい。
また、リモコン端末71は、図6に示すように、設定された任意のチャンネルの受信のためにワンタッチで受信チャンネルの選局指示を入力可能なプリセットチャンネルキー71A−71Lを有するものであってもよい。プリセットチャンネルキー71A−71Lは、内部(キーの下部)に、LED(Light Emitting Diode)、等の照明機構を含み、オン(押下)された任意のキーを、所定時間照明する(LEDを点灯する)ことができるものであることが好ましい。
個々のプリセットチャンネルキー71A−71Lに対応する照明機構(LED)は、通信ユニット81から近距離無線通信部73(リモコン端末71)が受信した4K放送を送信している放送局に対応するプリセットチャンネルキーを照明する。すなわち、テレビ装置1において、図6に示すプリセットチャンネルキー点灯タイプのリモコン端末71が用意されている場合は、プリセットチャンネルキーに設定されている任意の放送局が4K放送を再生可能な拡張映像情報を受信している状態において、その放送局に対応するプリセットチャンネルキーのLEDが点灯する。なお、図6では、プリセットチャンネルキー71A、71D、71E、71F、71G、71H及び71Lが、それぞれが対応する放送局(チャンネル)において、4K放送を再生可能な拡張映像情報を受信していることを示している(点灯状態である)。
これにより、ユーザは、放送中の番組が4K放送である放送局(チャンネル)を容易に認識できる。なお、プリセットチャンネルキーの照明は、上述した[4K(切り替え)]キー121、等がオン(押下)された時点から所定の時間、例えば5秒程度点灯される。この点灯時間は、ユーザが設定により変更可能である。また、プリセットチャンネルキーの照明は、4K放送を受信している間、常時点灯するものであってもよい。
なお、任意のチャンネルを受信中に一時停止(ちょっとタイム録画)キー129がオン(押下)された場合、“ちょっとタイム録画”を起動する。この場合、受信(再生)中の番組(チャンネル)が4K放送であったとしても基本放送(2K)の録画を開始する。以下、再生速度が通常速度のN(Nは、1.25、1.5、等)倍である“おっかけ再生”を用いて4K放送の現在時刻まで録画した2K映像を再生し、4K放送の現在時刻(リアルタイム時刻)に追いついた時点で2K映像の再生を停止し、4K放送(リアルタイム)の再生に切り換える。
すなわち、4K放送を受信し、再生している任意のタイミングで一時停止(“ちょっとタイム録画”)キー129がオンされた場合、図7に概要を示すように、HDD69または記憶装置67に2K映像の録画を開始する。その後、[再生]キー130がオンされた時点から録画(“ちょっとタイム録画”)中の2K映像(及び音声)を“おっかけ再生”により再生する。この時点で、4K放送の受信及びデコードを引き続き継続し、ちょっとタイム録画した2K映像の“おっかけ再生”による再生位置(時刻)が、再生(受信及びデコード)中の4K放送の再生位置(位置)一致した時点で、ちょっとタイム録画すなわち2K映像の録画を停止する。
なお、HDD69(もしくは記憶装置67)において、指定された所定数のチャンネルの番組を指定された時間、全て録画する全録モードにて基本映像が録画されている番組が存在し、全録モードで録画されている任意の番組の再生(タイムシフト再生)中に、[4K]キー121がオンされた時点で、放送とは異なる伝送路、例えばネットワーク経由のVODサービスにおいて用意されることのある拡張映像情報が取得可能であることを検出し、ユーザにVODサービスの利用を推薦することができる。
また、全録モードにおいて、4K放送を再生可能な拡張映像情報が録画されている場合には、その番組の再生(タイムシフト再生)が指示された時点で、拡張映像情報もデコードし、基本映像と拡張映像情報とを用いて4K映像を再生することも可能である。
図8は、4K(UHD)映像を、“識別子あるいは記述”が特定するチャンネルもしくは伝送路により供給される拡張映像情報と、拡張映像情報に対応する基本映像情報と、を用いて復号するための構成の一例を示す。なお、基本映像情報及び拡張映像情報は、基映像(番組)を、4K放送信号として送信する際に、送信側(放送局/配信局)にて、予め用意される。基本映像情報は、実質的にHD放送信号に相当し、受信した場合、そのままの状態でHD放送波として利用である。拡張映像情報は、基本映像情報と同時に用いることで4K映像及び音響(音声)を再現可能な付属情報であり、例えば7.1chサラウンド情報(信号)や60kHz程度の再現音域情報(信号)を含む場合がある。
図8が示すように、テレビ装置1の信号処理部12は、拡張映像情報を処理し、拡張映像情報に対応する基本映像と拡張映像情報とにより4K映像を再生する高精細画像復元部201を含む。
高精細画像復元部201は、入力部11で選局された放送信号に復号処理を施し、映像信号、音声信号、字幕/文字スーパー情報及び番組関連情報、等を復元する。なお、第1の信号処理部203及び第2の信号処理部205において、システム時刻基準値STC(System Time Clock)は、共通である。
高精細画像復元部201は、第1の信号処理部203への基本映像情報(HDTV信号)が入力する入力端子260及び伝送路復号部261、第2の信号処理部205への拡張映像情報が入力する入力端子280及び伝送路復号部281を、少なくとも含む。
高精細画像復元部201はまた、第1のデコーダ(MPEG−2デコーダ)270、アップコンバータ274、バッファメモリ276、クロック再生制御部278及び出力セレクタ(映像出力切り替え部)298、等を備える。なお、高精細画像復元部201は、主制御ブロック51のCPU52の制御により動作する。すなわち、CPU52は、第1のデコーダ270、アップコンバータ274、バッファメモリ276、クロック再生制御部278及び出力セレクタ298、等を制御する。
高精細画像復元部201において、入力端子260に入力する基本映像情報は、伝送路復号部261に、入力端子280に入力する拡張映像情報は、伝送路復号部281に、それぞれ入力する。伝送路復号部261及び281は、基本映像情報及び拡張映像情報を、それぞれ復調し、伝送路復号処理によって復号する。伝送路復号部261及び281は、復号した信号(第1のTS信号及び第2のTS信号)を出力する。
クロック再生制御部278は、復号のタイミングを同期するための第2のクロック情報を生成し、第2の多重化分離部284から取得した時間情報を出力する。また、クロック再生制御部278は、STCが共通であるため、PCR(Program Clock Reference)に基づいて、第1のデコーダ270及び第2のデコーダ(SHVCデコーダ)292(第2の信号処理部205側)の同期を制御する。
アップコンバータ274は、基本映像情報として供給される2K映像の解像度、画面サイズ及び色帯域(色域)をアップコンバートする。すなわち、アップコンバータ274は、デコーダ270が復号する映像信号(第2の復号映像信号)をアップコンバートし、アップコンバートによって生成された映像信号(第2の拡大復号映像)信号を生成し、生成した第2の拡大復号映像を出力する。例えば、アップコンバータ274は、2K映像信号(HD映像)の解像度を、4K映像信号(第2の拡大4K映像信号)の解像度に変換する。また、アップコンバータ274は、基準映像信号に適用される色域、例えばBT709準拠から、例えばBT2020準拠に拡大された色域の映像信号に変換する。
バッファメモリ276は、各種信号や第2の拡大4K映像信号を、一時的に保持する。
出力セレクタ298は、STCに基づいて、第1の信号処理部203のデコーダ270がデコードした2K映像(HD映像)または第2の信号処理部205のSHVCデコーダ278がデコードした4K映像(UHD映像)の一方を、出力する。なお、出力セレクタ298は、音声及び番組表、等を含む情報(データ)を、出力する映像に対応させて出力することもできる。出力セレクタ298はまた、選択された映像信号(選択映像信号)を表示制御部25へ出力する。このとき、選択映像信号を識別するための選択情報も、出力する。
出力セレクタ298が出力する選択映像信号は、表示制御部25において、OSD処理部24からのOSD出力を重畳し、表示制御部25がディスプレイ26または出力端27に供給する。
第1の信号処理部203は、より具体的には、入力端子260からの第1のTS信号を第1の表示信号、すなわち2K映像信号に復号する。第2の信号処理部205は、入力端子280からの第2のTS信号(4K映像に対応する拡張映像情報)を第2の表示信号に復号する。なお、第2の信号処理部205は、より具体的には、第1のTS信号(2K映像信号)と第2のTS信号とから第2の高画質映像信号(4K映像信号)を復号する。
第1の信号処理部203は、より詳細には、第1の多重化分離部264、第1のデスクランブラ266、第1のECM/EMM処理部268、第1の(基本映像)デコーダ270及びPSI/SI処理部272を、少なくとも含む。
第1の多重化分離部264は、入力された基本映像情報を、各種情報や制御信号、及び映像信号に分離する。なお、第1の多重化分離部264は、主制御ブロック51(CPU52)が設定するフィルタ条件を満たす信号のみを取り込むPIDフィルタ265を備える。第1の多重化分離部264は、CPU52の制御に基づいて、PIDフィルタ265の値を設定する。
第1の多重化分離部264は、PIDフィルタ265により、例えばPAT(Program Association Table、すなわち“PID=0”のPSI)を取り出し、ユーザ操作(制御入力)によって指定されるコンテンツのPMT(Program Map Table)を特定するPIDを取り出す。第1の多重化分離部264は、このPIDで指定されたPMTが特定する映像信号を取り出して、取り出された映像信号及び時間情報信号を出力する。
第1のECM/EMM処理部268は、第1の多重化分離部264が分離した制御情報のECM及びEMMからスクランブル鍵を取り出す。詳細には、第1のECM/EMM処理部268は、暗号化されたEMMを、テレビ装置1に関連して用意されている固有の鍵で復号し、復号したEMM(Entitlement Management Message)からワーク鍵を取り出す。次に、第1のECM/EMM処理部268は、ワーク鍵を用いてECM(Entitlement Control Message)を復号し、復号したECMからスクランブル鍵を取り出す。
第1のデスクランブラ266は、第1の多重化分離部264が出力する映像信号の暗号化処理を解除する。すなわち、第1のデスクランブラ266は、送信側においてスクランブル鍵で処理された各種信号の暗号化処理を解除する。なお、暗号化処理規則は、一例であるが、MULTI2またはそれに準じる処理規則であることが好ましい。
第1のデコーダ270は、第1の多重化分離部264が分離した(伝送のために)パケット化されている映像信号(2K放送)を復号(デコード)する。第1のデコーダ270は、送信側で用いる符号化形式、例えばMPEG(Moving Picture Experts Group)−2を用いて映像信号を復号し、復号した2K映像信号を出力する。
PSI/SI処理部272は、CPU52(主制御ブロック51)による制御に基づいて、番組特定情報(PSI)及びサービス情報(SI)を処理し、PSI及びSI等に関連する情報(データ)を出力する。PSI/SI処理部272は、CPU52による制御により抽出したES(Elementary Stream)に基づいて、選局する映像信号及び表示タイミング等を含む選局手順及び表示可能なコンテンツを規定する選局リスト(選局情報)を生成する。ここで、選局リストは、選局対象となる複数の表示信号の選局の手順(タイミング)、及び指示等の選局を制御するための情報である。PSI/SI処理部272は、第1の多重化分離部264、第2の多重化分離部284及び出力セレクタ298と信号の送受信をする。
第2の信号処理部205は、より詳細には、第2の多重化分離部284、第2のECM/EMM処理部286、第2のデスクランブラ288、PSI/SI処理部290及び第2のデコーダ(SHVCデコーダ)292を、少なくとも備える。
第2の多重化分離部284は、入力された拡張映像情報を、各種情報や制御信号、及び映像信号に分離する。第2の多重化分離部284はまた、拡張映像情報が含む時間情報をクロック再生制御部278に出力する。なお、第2の多重化分離部284は、制御ブロック51(CPU52)が設定するフィルタ条件を満たす信号のみを取り込むPIDフィルタ285を備える。第2の多重化分離部284は、CPU52の制御に基づいて、PIDフィルタ285の値を設定する。
第2の多重化分離部284は、PIDフィルタ285により、PSIからPATを取り出し、ユーザ操作(制御入力)によって指定されるコンテンツのPMTのPIDを取り出し。第2の多重化分離部284は、このPIDで指定されたPMTが特定する映像信号を取り出して、取り出された映像信号及び時間情報信号を出力する。
第2のECM/EMM処理部286は、第2の多重化分離部284が分離した制御情報のECM及びEMMからスクランブル鍵を取り出す。詳細には、第2のECM/EMM処理部286は、暗号化されたEMMを、テレビ装置1に関連して用意されている固有の鍵で復号し、復号したEMMからワーク鍵を取り出す。次に、第2のECM/EMM処理部286は、ワーク鍵を用いてECMを復号し、復号したECMからスクランブル鍵を取り出す。
第2のデスクランブラ288は、第2の多重分離部284が出力する映像信号の暗号化処理を解除する。すなわち、第2のデスクランブラ288は、送信側においてスクランブル鍵で処理された各種信号の暗号化処理を解除する。なお、暗号化処理規則は、一例であるが、AES(Advanced Encryption Standard)またはそれに準じる処理規則であることが好ましい。
PSI/SI処理部290は、CPU52(主制御ブロック51)による制御に基づいて、番組特定情報(PSI)及びサービス情報(SI)を処理し、PSI及びSI等に関連する情報(データ)を出力する。PSI/SI処理部290は、CPU52による制御により抽出したES(Elementary Stream)に基づいて、選局する映像信号及び表示タイミング等を含む選局手順及び表示可能なコンテンツを規定する選局リスト(選局情報)を生成する。ここで、選局リストは、選局対象となる複数の表示信号の選局の手順(タイミング)、及び指示等の選局を制御するための情報である。PSI/SI処理部290は、第1の多重化分離部264、第2の多重化分離部284及び出力セレクタ298と信号の送受信をする。
SHVCデコーダ(第2のデコーダ)292は、第2の多重化分離部284が分離した(伝送のために)パケット化されている映像信号(拡張映像情報)を復号(デコード)する。すなわち、SHVCデコーダ292は、スケーラブル符号化(SHVC(MPEG−HEVC Video)符号化)された映像信号である拡張映像情報を復号する。また、SHVCデコーダ292は、拡張映像情報を復号した4K映像の基となる映像信号と第1のデコーダ270がデコードし、アップコンバータ274がアップコンバージョンした映像信号すなわち第2の拡大復号映像とにより、UHD(超高精細度、例えば4Kの)映像信号を生成し、セレクタ298に出力する。
なお、SHVCデコーダ292が出力する4K(UHD)映像は、SHVCデコーダ292の後段に位置するメタデータ処理部294及び高画質化処理部296が高画質化処理する。例えば、メタデータ処理部294は、送信側において、基本映像情報と拡張映像情報とを分離する際に拡張映像情報に付属させた情報であって、基本映像情報を高画質化するための、例えばコントラスト、色帯域(色域)あるいは諧調特性、等のグレーディング処理のためのグレーディング情報を生成する(復元する)。また、高画質化処理部296は、グレーティング情報に基づいて、SHVCデコーダ292が出力するUHD(例えば4Kの)映像信号をグレーティングすることによって高画質化することができる。
なお、第1のPSI/SI処理部272及び第2のPSI/SI処理部290は、基本映像情報及び拡張映像情報のそれぞれに対して送信側で用意したPSI/SIに基づき、第1の多重化分離部264、第2の多重化分離部284及び出力セレクタ298との間の映像信号(基本映像情報及び拡張映像情報)を送受信する。すなわち、出力セレクタ298は、ディスプレイ26(または出力端27)に出力する映像信号を、基本映像情報に基づく2K(HD)映像とするか、拡張映像情報に基づく4K(UHD)映像とするかを、第1のPSI/SI処理部272及び第2のPSI/SI処理部290が含むESを参照して、選択する。なお、送信側で用意するPSI/SIが基本映像情報及び拡張映像情報のそれぞれにおいて共通化されている場合、第1のPSI/SI処理部272及び第2のPSI/SI処理部290の何れか一方で受信したPSI/SIを読み出すことで、例えば4K映像のデコード開始タイミングを早めることが可能となる。例えば、基本映像情報のPSI/SIに、拡張映像情報が用意されていること示す“識別子あるいは記述”が含まれている場合、“識別子あるいは記述”を読み出した時点で4K映像のデコードを開始することで、デコード後の4K映像が出力されるまでの時間を低減できる。
本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。