JP2010148048A

JP2010148048A - 動画像再圧縮装置および動画像再圧縮方法

Info

Publication number: JP2010148048A
Application number: JP2008326228A
Authority: JP
Inventors: Yuji Kawashima; 裕司川島
Original assignee: Toshiba Corp
Current assignee: Toshiba Corp
Priority date: 2008-12-22
Filing date: 2008-12-22
Publication date: 2010-07-01

Abstract

【課題】字幕の表示、非表示を切り替えることが可能になるストリームを生成すること。
【解決手段】第１動画像ストリームを復号することによって第１動画像データを生成する動画像復号モジュール３１１と、第１動画像データを設定された解像度を有する第２動画像データに変換するスケーリングモジュール３１２と、字幕文ストリームを復号して第１字幕プレーンを生成する字幕文データ復号モジュール３２１と、第１字幕プレーンを設定された解像度に変換した第２字幕プレーンを生成する字幕文データ変換モジュール３２２と、基本階層に第２動画像データを用い、拡張階層に第２字幕プレーンを用いて、第２動画像データおよび第２字幕プレーンを階層符号化法を用いて符号化することによって第２動画像ストリームを生成する動画像符号化モジュール３３０とを具備する。
【選択図】図２

Description

本発明は、映像ストリームを再圧縮符号化する動画像再圧縮装置および動画像再圧縮方法に関する。

ＨＤＤレコーダ装置等で記録した地上デジタル放送の番組を、携帯機器で再生したいという需要が高まっている。これを実現するために、地上デジタル放送ストリームを携帯機器で再生可能なストリームに変換する必要がある。このような高レートから低レートのストリームに変換（トランスコード）する際、動画像データおよび音声データはサンプリングレート変換などで圧縮する。一方、字幕文データは、文字数を圧縮することは不可能で、また文を解析し要約するのも困難である。

特許文献１は、ブルーレイディスク(Blu-ray Disc 登録商標)のような大容量の記録媒体に記録されたプログラムにおける字幕表示を、ユーザのインタラクティブな操作に対して適切に行う技術を開示している。
特開２００７−２２８１８１号公報

字幕文を表示するために、字幕文を映像に埋め込み、動画像として符号化する方法が考えられる。ところが、字幕文データを非表示にすることが不可能になる。

本発明の目的は、字幕の表示、非表示を切り替えることが可能になるストリームを生成することが可能な動画像再圧縮装置および動画像再圧縮方法を提供することにある。

本発明の一例に係わる動画像再圧縮装置は、第１映像ストリームを第１音声ストリーム、第１動画像ストリーム、および字幕文ストリームに分離する手段と、前記第１音声ストリームを復号することによって第１音声データを生成する手段と、前記第１音声データを元のサンプリングレートより低い第２音声データに変換する手段と、前記第２音声データを設定された符号化方式を用いて符号化することによって第２音声ストリームを生成する手段と、前記第１動画像ストリームを復号することによって第１動画像データを生成する手段と、前記第１動画像データを設定された解像度を有する第２動画像データに変換する手段と、前記字幕文ストリームを復号して第１字幕プレーンを生成する手段と、前記第１字幕プレーンを設定された解像度に変換した第２字幕プレーンを生成する手段と、基本階層に前記第２動画像データを用い、拡張階層に前記第２字幕プレーンを用いて、前記第２動画像データおよび前記第２字幕プレーンを階層符号化方式を用いて符号化することによって第２動画像ストリームを生成する手段と、前記第２音声ストリームおよび前記第２動画像ストリームを多重化することによって第２映像ストリームを生成する手段とを具備することを特徴とする。

本発明によれば、字幕の表示、非表示を切り替えることが可能になるストリームを生成することが可能になる。

本発明の実施の形態を以下に図面を参照して説明する。

まず、図１を参照して、本発明の一実施形態に係る動画像再圧縮装置の構成について説明する。この動画像再圧縮装置は、例えば、ノートブック型パーソナルコンピュータ１０として実現されている。

次に、図１のブロック図を参照して、本コンピュータ１０のシステム構成について説明する。
本コンピュータ１０は、図１に示されているように、ＣＰＵ１０１、ノースブリッジ１０２、主メモリ１０３、サウスブリッジ１０４、グラフィクスプロセッシングユニット（ＧＰＵ）１０５、ビデオメモリ（ＶＲＡＭ）１０５Ａ、サウンドコントローラ１０６、ＢＩＯＳ−ＲＯＭ１０９、ＬＡＮコントローラ１１０、ハードディスクドライブ（ＨＤＤ）１１１、High Definition Digital Versatile Disc（ＨＤＤＶＤ）／ＤＶＤドライブ（ＯＤＤ）１１２、カードコントローラ１１３、無線ＬＡＮコントローラ１１４、IEEE 1394コントローラ１１５、エンベデッドコントローラ／キーボードコントローラＩＣ（ＥＣ／ＫＢＣ）１１６、およびデジタルＴＶチューナ１１７等を備えている。

ＣＰＵ１０１は本コンピュータ１０の動作を制御するプロセッサであり、ハードディスクドライブ（ＨＤＤ）１１１から主メモリ１０３にロードされる、オペレーティングシステム（ＯＳ）１５１、ＴＶアプリケーションプログラム１５２、トランスコードアプリケーションプログラム２０１のような各種アプリケーションプログラムを実行する。ＴＶアプリケーションプログラム１５２はＴＶ機能を実行するためのソフトウェアである。このＴＶアプリケーションプログラム１５２は、ＴＶチューナ１１７によって受信された放送番組データを視聴するためのライブ再生処理、受信された放送番組データをＨＤＤ１１１に記録する録画処理、およびＨＤＤ１１１に記録された放送番組データ／ビデオデータを再生する再生処理等を実行する。トランスコードアプリケーションプログラム２０１はハードディスクドライブ１１１に記録されている放送番組データ／ビデオデータをトンランスコート処理するためのプログラムである。また、ＣＰＵ１０１は、ＢＩＯＳ−ＲＯＭ１０９に格納されたＢＩＯＳ（Basic Input Output System）も実行する。ＢＩＯＳはハードウェア制御のためのプログラムである。

ノースブリッジ１０２はＣＰＵ１０１のローカルバスとサウスブリッジ１０４との間を接続するブリッジデバイスである。ノースブリッジ１０２には、主メモリ１０３をアクセス制御するメモリコントローラも内蔵されている。また、ノースブリッジ１０２は、ＰＣＩＥＸＰＲＥＳＳ規格のシリアルバスなどを介してＧＰＵ１０５との通信を実行する機能も有している。

ＧＰＵ１０５は本コンピュータ１０のディスプレイモニタとして使用されるＬＣＤ１７を制御する表示コントローラである。このＧＰＵ１０５によって生成される表示信号はＬＣＤ１７に送られる。また、表示信号は、コンピュータ本体１１に設けられたインタフェース３、４をそれぞれ介して外部のＴＶ１、外部のＨＤＭＩモニタに送出することもできる。

サウスブリッジ１０４は、ＬＰＣ（Low Pin Count）バス上の各デバイス、およびＰＣＩ（Peripheral Component Interconnect）バス上の各デバイスを制御する。また、サウスブリッジ１０４は、ＨＤＤ１１１、ＯＤＤ１１２を制御するためのＩＤＥ（Integrated Drive Electronics）コントローラを内蔵している。さらに、サウスブリッジ１０４は、サウンドコントローラ１０６との通信を実行する機能も有している。

サウスブリッジ１０４は、外部機器と通信を行うためのインタフェースとしてＵＳＢコントローラ１０４Ａを有する。ＵＳＢコントローラ１０４Ａは、例えば携帯型再生装置２０に接続される。

サウンドコントローラ１０６は音源デバイスであり、再生対象のオーディオデータをスピーカ１９に出力する。

カードコントローラ１１３は、ＰＣカード、ＳＤ（Secure Digital）カードのようなカードを制御する。無線ＬＡＮコントローラ１１４は、たとえばIEEE 802.11規格の無線通信を実行する無線通信デバイスである。IEEE 1394コントローラ１１５は、IEEE 1394規格のシリアルバスを介して外部機器との通信を実行する。エンベデッドコントローラ／キーボードコントローラＩＣ（ＥＣ／ＫＢＣ）１１６は、電力管理のためのエンベデッドコントローラと、キーボード（ＫＢ）１３およびタッチパッド１５を制御するためのキーボードコントローラとが集積された１チップマイクロコンピュータである。このエンベデッドコントローラ／キーボードコントローラＩＣ（ＥＣ／ＫＢＣ）１１６は、ユーザによるパワーボタン１４の操作に応じて本コンピュータ１０をパワーオン／パワーオフする機能を有している。

ＴＶチューナ１１７はテレビジョン（ＴＶ）放送信号によって放送される放送番組データを受信する受信装置である。このＴＶチューナ１１７は、例えば、地上波デジタルＴＶ放送のようなデジタル放送番組データを受信可能なデジタルＴＶチューナとして実現されている。また、ＴＶチューナ１１７は、外部機器から入力されるビデオデータをキャプチャする機能も有している。

次に、トランスコードアプリケーションプログラム２０１の構成を図２を参照して説明する。
トランスコードアプリケーションプログラム２０１は、ストリーム分離モジュール３００、音声復号モジュール３０１、サンプリングレート変換モジュール３０２、音声符号化モジュール３０３、動画像復号モジュール３１１、スケーリングモジュール３１２、字幕文データ復号モジュール３２１、字幕文データ変換モジュール３２２、動画像符号化モジュール３３０、およびストリーム多重モジュール３４０等を備えている。

ストリーム分離モジュール３００は、映像ストリームを音声ストリーム、動画像ストリーム、および字幕文ストリームに分離する。ストリーム分離モジュール３００は、音声ストリームを音声復号モジュール３０１に出力する。ストリーム分離モジュール３００は、動画像ストリームを動画像復号モジュール３１１に出力する。ストリーム分離モジュール３００は、字幕文ストリームを字幕文データ復号モジュール３２１に出力する。

音声復号モジュール３０１は、例えばＭＰＥＧ−２ＡＡＣ規格によって符号化されている音声ストリームを符号化方式に対応する復号方法にしたがって復号し、音声データ（ＰＣＭなど）をサンプリングレート変換モジュール３０２に出力する。サンプリングレート変換モジュール３０２では、復号された音声データを指定のサンプリング周波数に従ってサンプリング変換し、変換された音声データを音声符号化モジュール３１３に出力する。音声符号化モジュール３１３は、サンプリング変換後の音声データを所定の符号化方式にしたがい符号化し、音声ストリームをストリーム多重モジュール３４０出力する。

動画像復号モジュール３１１は、例えばＭＰＥＧ−２ＴＳ規格で符号化されている動画像ストリームを符号化方式に対応する復号方法にしたがって復号することによって動画像データ（ＹＵＶフォーマットなど）を生成し、動画像データをスケーリングモジュール３１２に出力する。動画像データの解像度は、例えば１４４０×１０８０である。スケーリングモジュール３１２は、例えばＹＵＶフォーマットの動画像データを、指定のサイズ（解像度）、例えば３２０×２４０に変換した動画像データを生成し、動画像データを動画像符号化モジュール３３０に出力する。

字幕文データ復号モジュール３２１は、ストリーム分離モジュール３００が出力した符号化されている字幕文ストリームを符号化方式に対応する復号方法にしたがって復号し、字幕プレーンを生成し、字幕文データ変換モジュール３２２に出力する。字幕文データ変換モジュール３２２は、字幕文データ復号モジュール３２１が出力した字幕プレーンを、指定のサイズへ変換した字幕プレーンを生成し、字幕プレーンを動画像符号化モジュール３３０に出力する。

動画像符号化モジュール３３０は、サイズ変換後の動画像データおよび字幕プレーンを、所定の階層符号化方式にしたがって符号化することによって動画像ストリームを生成し、動画像ストリームをストリーム多重モジュール３４０に出力する。なお、動画像符号化モジュール３３０は、動画像データを基本階層の動画像とし、字幕プレーンを拡張階層の動画像として符号化する。動画像符号化モジュール３３０は、例えばＨ．２６４／ＡＶＣ規格を用いて動画像データおよび字幕プレーンを符号化する。階層符号化方式を用いたＨ．２６４／ＡＶＣ規格による符号化は、例えば特開２００７−１７４５６８号公報に記載されている。

ストリーム多重モジュール３４０は、音声ストリームおよび動画像ストリームを入力とし、所定の多重化方式にしたがい多重したストリームを出力する。このストリームは、ハードディスクドライブ１１１に格納される。

そして、ストリームは、ＵＳＢコントローラ１０４Ａを介して、携帯型再生装置２０に伝送される。この携帯型再生装置２０は、ストリームの基本階層のみの再生、或いは基本階層および拡張階層の再生を切り替えて行うことができる。また、ユーザは、字幕文を表示させたい場合、携帯型再生装置２０に基本階層および拡張階層を再生させる。ユーザは、字幕文を表示させたくない場合、携帯型再生装置２０に基本階層だけを再生させる。このように、字幕文表示／非表示を切り替えることができる。

字幕文データを動画像に埋め込み符号化する際、元の動画像を基本階層に、字幕文に対するデータを拡張階層に符号化することで、復号側で復号するストリームを選択することで、字幕文の表示・非表示の切り替えが可能となる。

なお、トランスコードアプリケーションプログラム２０１の構成の一部は、ハードウエアによって実現することが可能である。

なお、本発明は、上記実施形態そのままに限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化できる。また、上記実施形態に開示されている複数の構成要素の適宜な組み合せにより種々の発明を形成できる。例えば、実施形態に示される全構成要素から幾つかの構成要素を削除してもよい。更に、異なる実施形態に亘る構成要素を適宜組み合せてもよい。

本発明の一実施形態に係る動画像再圧縮装置のシステム構成を示すブロック図。トランスコードアプリケーションプログラムの構成を示すブロック図。

符号の説明

３００…ストリーム分離モジュール，３０１…音声復号モジュール，３０２…サンプリングレート変換モジュール，３０３…音声符号化モジュール，３１１…動画像復号モジュール，３１２…スケーリングモジュール，３１３…音声復号化モジュール，３２１…字幕文データ復号モジュール，３２２…字幕文データ変換モジュール，３３０…動画像符号化モジュール，３４０…ストリーム多重モジュール。

Claims

第１映像ストリームを第１音声ストリーム、第１動画像ストリーム、および字幕文ストリームに分離する手段と、
前記第１音声ストリームを復号することによって第１音声データを生成する手段と、
前記第１音声データを元のサンプリングレートより低い第２音声データに変換する手段と、
前記第２音声データを設定された符号化方式を用いて符号化することによって第２音声ストリームを生成する手段と、
前記第１動画像ストリームを復号することによって第１動画像データを生成する手段と、
前記第１動画像データを設定された解像度を有する第２動画像データに変換する手段と、
前記字幕文ストリームを復号して第１字幕プレーンを生成する手段と、
前記第１字幕プレーンを設定された解像度に変換した第２字幕プレーンを生成する手段と、
基本階層に前記第２動画像データを用い、拡張階層に前記第２字幕プレーンを用いて、前記第２動画像データおよび前記第２字幕プレーンを階層符号化方式を用いて符号化することによって第２動画像ストリームを生成する再符号化手段と、
前記第２音声ストリームおよび前記第２動画像ストリームを多重化することによって第２映像ストリームを生成する手段と
を具備することを特徴とする動画像再圧縮装置。
放送信号を受信し、当該放送信号を復調して放送番組データを出力するチューナ部と、
前記番組信号を前記第１映像ストリームとして格納する記憶装置と
を更に具備することを特徴とする請求項１に記載の動画像再圧縮装置。
前記再符号化手段は、Ｈ．２６４／ＡＶＣ規格を用いて前記第２動画像データおよび前記第２字幕プレーンを符号化することを特徴とする請求項１に記載の動画像再圧縮装置。
前記第２動画像ストリームを、前記第２動画像ストリームの基本階層だけを再生する機能と、前記第２動画像ストリームの基本階層および拡張階層を再生する機能とを有する再生装置に伝送するためのインタフェースを更に具備することを特徴とする請求項１に記載の動画像再圧縮装置。
第１映像ストリームを第１音声ストリーム、第１動画像ストリーム、および字幕文ストリームに分離し、
前記第１音声ストリームを復号することによって第１音声データを生成し、
前記第１音声データを元のサンプリングレートより低い第２音声データに変換し、
前記第２音声データを設定された符号化方式を用いて符号化することによって第２音声ストリームを生成し、
前記第１動画像ストリームを復号することによって第１動画像データを生成し、
前記第１動画像データを設定された解像度を有する第２動画像データに変換し、
前記字幕文ストリームを復号して第１字幕プレーンを生成し、
前記第１字幕プレーンを設定された解像度に変換した第２字幕プレーンを生成し、
基本階層に前記第２動画像データを用い、拡張階層に前記第２字幕プレーンを用いて、前記第２動画像データおよび前記第２字幕プレーンを階層符号化方式を用いて符号化することによって第２動画像ストリームを生成する再符号化処理を実行し、
前記第２音声ストリームおよび前記第２動画像ストリームを多重化することによって第２映像ストリームを生成する
ことを特徴とする動画像再圧縮方法。
前記第１映像ストリームは、放送信号を復調して得られる放送番組データであることを特徴とする請求項５に記載の動画像再圧縮方法。
前記再符号化処理は、Ｈ．２６４／ＡＶＣ規格を用いて前記第２動画像データおよび前記第２字幕プレーンを符号化することを特徴とする請求項５に記載の動画像再圧縮方法。