JP2006331480A

JP2006331480A - 映像再生装置

Info

Publication number: JP2006331480A
Application number: JP2005150228A
Authority: JP
Inventors: Toshihiko Kitazawa; 俊彦北澤
Original assignee: Sony Corp
Current assignee: Sony Corp
Priority date: 2005-05-23
Filing date: 2005-05-23
Publication date: 2006-12-07

Abstract

【課題】圧縮された映像データを再生しているときに、システムの不具合などで問題が起きた場合でも再現を可能とし、問題が起きたかどうかの特定を容易とする映像再生装置を提供する。
【解決手段】履歴情報記憶部７は伸張回路４にて伸張された映像信号の履歴情報を記憶する。再生状態管理部８は、履歴情報記憶部７に記憶された上記履歴情報に基づいて上記圧縮映像データの再生状態を管理する。例えば、履歴情報記憶部７に記憶された履歴情報をビジュアル化し、その表示信号を出力端子９から表示装置に送信して、表示装置上に映し出してもよい。
【選択図】図１

Description

本発明は、データ圧縮された画像をデータ伸張して再生する映像再生装置に関する。

デジタルコンテンツ化されて配送、またはネットワーク等を通して配信された映画用のデジタル映像情報を例えばアレイ構成の複数のＨＤＤからなる大容量の情報記憶装置に記録し、この大容量情報記憶装置から連続的にデジタル映像情報を読み出して映像再生装置にて再生し、反射型プロジェクタ又は透過型プロジェクタに供給し、これらプロジェクタによってスクリーンに投影する、デジタルシネマが注目されている。

また、下記特許文献１に記載されているように、複数の上映システムにデジタルデータ化された映画を配信するようなシステムも必要となり、一般的には、ＬＡＮで各上映システム間を接続し、各上映システムを構成する映像／オーディオ設備、照明などの館内設備などもＬＡＮによって接続するデジタルシネマシステムも考えられている。

このシステムにあって、デジタル映像情報は、データ圧縮されて、上記大容量の情報記憶装置に記録されている。このため、映像再生装置は、圧縮映像データを伸張してから再生している。

特開２００３−２４４６７４号公報

ところで、圧縮された映像信号は、一般的に複雑なものであり、これがシステム的に不具合を起こすと出力された映像にダメージを与える場合が多い。また、システムが複雑であると、一時的に上記大容量の情報記憶装置、例えばハードディスクドライブ（Hard Disc Drive）からの圧縮映像データの読み出しが遅くなってしまったような場合では、後から再現性が乏しく、障害がおきたかどうかを特定するのが困難な場合が多い。

本発明は、上記実情に鑑みてなされたものであり、圧縮された映像データを再生しているときに、システムの不具合などで問題が起きた場合でも再現を可能とし、問題が起きたかどうかの特定を容易とする映像再生装置の提供を目的とする。

本発明に係る映像再生装置は、上記課題を解決するために、圧縮された映像データを再生する映像再生装置において、上記圧縮映像データを伸張する伸張部と、上記伸張部によって伸張された映像データをベースバンドビデオとして出力するベースバンド出力部と、上記映像データがベースバンドビデオとして出力されるときに上記伸張部にて伸張された映像信号の履歴情報を記憶する履歴情報記憶部と、上記履歴情報記憶部に記憶された上記映像信号の履歴情報に基づいて上記圧縮映像データの再生状態を管理する再生状態管理部とを備える。

履歴情報記憶部は伸張部にて伸張された映像信号の履歴情報を記憶し、再生状態管理部は履歴情報記憶部に記憶された映像信号の履歴情報に基づいて圧縮映像データの再生状態を管理する。

履歴情報記憶部は、圧縮映像データが伸張部で伸張され、ベースバンド出力部にてベースバンド信号になったところで全ての点の画素値を加算してメモリに記憶しておく。また、履歴情報記憶部は、圧縮映像データが伸張部で伸張され、ベースバンド出力部にてベースバンド信号になった後、複数に分割された映像区域ごとの点の画素値を加算してメモリに記憶しておいてもよい。また、履歴情報記憶部は、圧縮映像データが伸張部で伸張され、ベースバンド出力部にてベースバンド信号になった後、原フレームと前のフレームとの差分をとり、メモリに記憶しておいてもよい。

また、再生状態管理部は、上記履歴情報記憶部に記憶された履歴情報をビジュアル化して表示させる。

さらに、詳細に本発明の映像再生装置の手段を説明すると、この映像再生装置は、例えばサーバ中に圧縮された映像データを蓄積し、そこから映像を再生する場合において映像が正しく再生されたかどうかを検出可能とする。また映画上映や、ＣＭのテレビでの放送の場合、上映された回数や確かにＣＭが放送されたかを検知する方法への応用が可能となる。

このため、映像が圧縮された状態から伸張されて通常のベースバンド信号になったところですべての点の画像の値を加算してメモリ上に記憶しておく。また、映像を何箇所かの区域に分け、その分けた区域ごとにメモリ上に記憶しておく。また、映像の前のフレームとの差分をとりメモリ上に記憶しておく。また、以上の記憶された値をビジュアル化して表示させる。また、これらを再生機の中に内蔵することによって、再生機そのものでの検出を可能とする。

本発明に係る映像再生装置によれば、圧縮された映像データを再生しているときに、システムの不具合などで問題が起きた場合でも再現を可能とし、問題が起きたかどうかの特定を容易とする。

以下、本発明を実施するための最良の形態を説明する。この実施の形態は、圧縮符号化された映像データを再生する映像再生装置であり、圧縮映像データをハードディスクドライブ（ＨＤＤ）のような情報記憶装置から読み出し、伸張してベースバンドビデオ信号を再生し、この映像出力を表示装置に供給する。表示装置は、映像再生装置から供給された映像出力に応じて映像を映し出す。

図１にあって、映像再生装置２は、ＨＤＤなどの情報記憶装置１から、圧縮符号化された映像、音声或いは補助情報に関するデータを読み出し、この圧縮された映像／音声／補助の各データを分離回路３にて分離する。分離回路３によって分離された圧縮映像データは、映像伸張回路４に供給される。映像伸張回路４は、圧縮映像データをＭＰＥＧ規格の技術に基づいて伸張し、ベースバンドビデオ出力回路５に供給する。

ここで、圧縮映像データは、例えばＭＰＥＧ（Moving Experts Group)規格に関する技術により生成される。また、例えばＪＰＥＧ２０００（パート１）の９７ファイルに基づいていてもよい。

ベースバンド出力回路５は、映像伸張回路４によって伸張された映像データをベースバンドビデオとして出力端子６から出力する。なお、ここでベースバンドビデオデータは、圧縮符号化がされていない、つまり伸張された後のビデオデータをいう。

このベースバンド出力回路５で取り扱われるベースバンドビデオは、履歴情報記憶部７にも供給される。履歴情報記憶部７は映像伸張回路４にて伸張された映像信号の履歴情報を記憶する。履歴情報は、上記圧縮映像データを映像伸張回路４が伸張したときの履歴を示す。特に、本実施例では、ベースバンドビデオ信号に戻した時点で上記伸張時の履歴情報を検出する。履歴情報としては、詳細を後述するが、フレームの全ての点の画像の値を再生時間（上映時間）の長さにおいて加算したものが挙げられる。また、１フレーム置きに全ての点の画像の値を加算したものでもよい。また、フレームの全ての点ではなく、１点、２点又は全てではない複数の点の画像の値を加算したものでもよい。また、フレームを複数に分割し、各分割区域内における１点、２点等の画像の値を加算したものでもよい。また、原フレームと前のフレームとの差分をとったものを履歴情報としてもよい。

また、再生状態管理部８は、履歴情報記憶部７に記憶された上記履歴情報に基づいて上記圧縮映像データの再生状態を管理する。例えば、履歴情報記憶部７に記憶された履歴情報をビジュアル化し、その表示信号を出力端子９から表示装置に送信して、表示装置上に映し出してもよい。また、再生状態管理部８は、上記履歴情報に基づいて圧縮映像データの再生状態に異常が生じたときには警告信号を生成し、出力端子９から警告発生部に送信してもよい。

図２は履歴情報記憶部７の詳細な構成図である。ベースバンドビデオ出力回路５の映像出力（ベースバンドビデオデータ）のうち、例えば各フレームの全ての点の画像の値を加算機７ａで加算し、加算結果をメモリ７ｂに記憶する。加算機７ａとメモリー７ｂは、フレーム同期信号にしたがって動作する。このように、履歴情報記憶部７は、フレームごとにビデオ信号を加算しておき、その結果をフレームごとにメモリー７ｂに記憶させておく。加算の値が非常に大きい場合は下位の切捨て、もしくは有効桁に浮動小数点を使えば記憶するデータ量を減らすことができる。

加算機７ａは、フレームごとに全ての点の画像の値を加算するが、上述したように、フレームの全ての点ではなく、１点、２点又は全てではない複数の点の画像の値を加算したものでもよい。

例えば、１フレームに１つの加算値では検出精度が低い場合は、図３に示すように、フレームを例えば９つに分割した区域ごとに一つの加算値を算出するようにしてもよい。このように、画面を区域ごとに分割してその区間内をフレームごとに加算し、９種類の加算データを算出することで検出精度を上げることができる。もちろん、各分割区域内における画像の点は、２点、３点でもよい。検出精度は高くなるが、メモリの記憶データ量が多くなってします。また、原フレームと前のフレームとの差分をとったものを加算してもよい。

図４は、履歴情報記憶部７の加算機７ａで加算され、メモリ７ｂに記憶された輝度の加算データの特性図の一例である。横軸は、例えば映画の１プログラムの上映時間であり、縦軸は輝度を示す。１プログラムを１回上映したときに得られる輝度の加算値の時間−輝度特性である。これらのデータは同じ画像を問題なく再生した場合は当然同じグラフとなる。よって期待されるグラフと比較することによって異常を検知できるわけである。この判定は、再生状態管理部８が行う。

したがって、図４に示した時間−輝度特性が正常時のものであれば、同一のプログラムを複数回、例えば４回上映した場合、４回とも図４に示す時間−輝度特性を示すことで、４回の上映が正常であったと再生状態管理部８は判定することができる。

再生状態管理部８は、上記時間−輝度特性を上映回数ぶんだけ記憶するメモリを備え、正常時の特性と各特性を比較することによって、異常があった上映回を判定することができる。異常が生じたときには、上述したように、出力端子９から警告などを発することができる。

図５は、履歴情報記憶部７の加算機７ａが原フレームと前のフレームとの差分を加算した場合の、輝度のフレーム差分を時間の変化に応じて示す特性図である。横軸は、例えば映画の１プログラムの上映時間であり、縦軸は輝度のフレーム差分を示す。原フレームと前のフレームとの差分をとる場合、通常画像は近隣のフレームと相関が高いため、加算値は通常０に近くなる。また、圧縮映像データの伸張時に異常があった場合と、シーンが大きく変わった場合には、差分の加算値は大きくなる。このデータを用いると、異常のあった場合が見やすくなる。図５において時間ｔ１からｔ２の間では、輝度のフレーム差分は大きく変動している。このときには、圧縮映像データの伸張時に異常があったか、シーンが大きく変わったことがわかる。

例えば、１２０分の映画を上映するとき、１フレームの１点にて上記輝度のフレーム差分のデータをメモリ７ｂに記憶するとなると、映画は１秒間に２４フレームであるので、２４フレーム×６０秒×１２０分＝１７２８００個のデータを記憶することになる。

再生状態管理部８は、上記時間−輝度フレーム差分特性を上映回数ぶんだけ記憶するメモリを備え、正常時の特性と各特性を比較することによって、異常があった上映回を判定することができる。異常が生じたときには、上述したように、出力端子９から警告などを発することができる。

また、再生状態管理部８は、上記図４、図５に示した特性をカウントすることによって、映画が何回上映されたのかを管理することができる。例えば、デジタルシネマシステムにおける、劇場側にてスタジオ側から許諾された上映回数を遵守しているか否かを判定することができる。

以上に説明したように、図１に構成を示した映像再生装置２によれば、圧縮された映像データを再生しているときに、システムの不具合などで問題が起きた場合でも再現を可能とし、問題が起きたかどうかの特定を容易とする。

なお、この映像再生装置２では、履歴情報記憶部７と再生状態管理部８とをベースバンド出力回路５に対して別構成ブロックとしたが、同一のブロックとしてもよい。つまり、ベースバンド出力回路５内部に履歴情報記憶部７と再生状態管理部８とを包含してもよい。

また、再生状態管理部８は、映像再生装置２本体とは切り離し、例えばコンピュータ上で起動するアプリケーションとしてもよい。この場合、履歴情報記憶部７ないのメモリ７ｂから履歴情報を読み出し、上述したように、問題が起きたかどうかの特定や、上映回数の遵守を判定することになる。また、映像再生装置２自体の品質保証のために、再生状態管理部８を使用することもできる。

次に、デジタルシネマシステムにて用いられるデジタル映像再生装置について説明する。図６は、デジタルシネマシステム１０の構成図である。デジタル映像再生装置１１は、ＨＤＤのような情報記憶装置からＪＰＥＧ２０００（パート１）の９７ファイルに基づいた圧縮映像／音声／補助データを読み出し、この圧縮された映像／音声／補助の各データを分離回路にて分離し、復号してから、プロジェクタである表示装置１２に供給する。

図６において、入力端子３１には、暗号化されたデジタルシネマパッケージ（Digital Cinema Package：ＤＣＰ）と呼ばれる暗号化コンテンツファイル（Encrypted Contents File）が供給される。暗号化コンテンツは、映像／音声／字幕等からなり、ＨＤＤのような情報記憶装置に記憶されている。もちろん、映像／音声／字幕データは、圧縮されている。特に、映像データは、例えばＪＰＥＧ２０００（パート１）の９７ファイルに基づいてエンコードされている。このエンコードは、フレーム間の差分を利用するものではなく、各フレーム内で圧縮処理を行うものである。例えば、１秒間当たり２４フレームで再生される映像データを各フレーム内で圧縮することになる。また、解像度は４ｋ又は２ｋである。

この暗号化コンテンツファイルは、ファイバーチャネルＩ／Ｆ３２によって例えば２０Ｇｂｐｓで受信され、マザーボード（Ｍ／Ｂ）３５に入力される。一方、入力端子３３には、再生操作装置から暗号化鍵や制御信号が供給される。これら、暗号化鍵や制御信号はギガビットＩ／Ｆによって受信され、マザーボード（Ｍ／Ｂ）３５に入力される。

マザーボード３５は、映像／音声／字幕からなる上記暗号化コンテンツファイルをバスＩ／Ｆにより受け取り、コンテンツ構文処理部に渡す。コンテンツ構文処理部は、コンテンツの構文、例えばＸＭＬ、又はＭＸＦに基づいた構文に従って動画データ、音声データ、字幕ファイルへの分解を行う。また、マザーボード３５には、ローカルメモリや、暗号の復号部（デクリプト）、後述の映像復号処理部３６，音声復号処理部、字幕処理部を制御する信号制御ＣＰＵや、主記憶メモリを収納している。
コンテンツ構文処理部で分解された動画データは、デクリプト部にて暗号を解かれたのち、映像復号（デコード）処理部３６に供給される。字幕ファイルは字幕処理部３７に供給される。音声データは図示しない音声復号装置に渡される。

映像復号処理部３６は、例えばＪＰＥＧ２０００（パート１）の９７ファイルに基づいて、解像度４ｋ又は２ｋの上記動画データをデコードする。

図７は、ＪＰＥＧ２０００（パート１）の符号化プロセス、復号化プロセスを示す図である。符号化プロセスでは、入力端子４１からの原画像データに対してウェーブレット変換４２が適用され、その後に量子化４３とエントロピー符号化４４が適用されて、圧縮画像データ４５が作成される。復号化プロセスでは、符号化の逆の処理として、蓄積又は伝送された圧縮画像データ４６に対してエントロピー復号化４７が施され、さらに逆量子化４８の後に、ウェーブレット逆変換４９が適用されて出力端子５０から再生画像データが出力される。映像復号処理部３６は、図７に示した復号化プロセスを行う。

字幕処理部３７は、マザーボード３５のコンテンツ構文処理部によって分離された字幕ファイルを内部の字幕メモリに格納してから、字幕データ、フォントファイルを主記憶メモリに転送し、上映再生の準備が整ったことをマザーボード３５の信号制御ＣＰＵに知らせる。信号制御ＣＰＵは、再生操作装置にマザーボード３５から上映再生の準備が整ったという知らせがあったことを知らせる。

外部の再生操作装置は、ギガビットＩ／Ｆ３４を介して、上映開始の制御信号を、デジタル映像再生装置１１に送る。すると、映像復号処理部３６は、分離され、暗号が解かれた映像データを上記ＪＰＥＧ２０００に基づいて復号し、映像／字幕合成用のバッファメモリ３８に供給する。この映像／字幕合成処理部３８には、字幕処理部３７の字幕処理プロセッサにて描画処理され、得られた静止画データや文字データも供給される。映像／字幕合成処理部３８は、映像復号処理部３６の出力動画データと上記字幕処理部３７からの静止画データ、文字データとを合成し、映像制御Ｉ／Ｆ３９に送る。映像制御Ｉ／Ｆ３９は、上記静止画データや文字データを合成した出力動画データを表示装置（プロジェクタ）１２に送る。表示装置１２は、スクリーンに上記出力動画データを表示する。

このデジタル映像再生装置１１にあって、映像復号処理部３６は、図１に示した映像伸張回路４及びベースバンドビデオ出力回路５として動作する。また、履歴情報記憶部７及び再生状態管理部８を内蔵する。

したがって、デジタルシネマシステム１０にあって、デジタル映像再生装置１１は、圧縮された映像データを再生しているときに、システムの不具合などで問題が起きた場合でも再現を可能とし、問題が起きたかどうかの特定を容易とする。また、劇場側における、上映回数の遵守を判定することができる。

なお、図１に示した映像再生装置２及び図６に示したデジタル映像再生装置１１にあっては、履歴情報記憶部７及び再生状態管理部８を、各映像再生装置２及びデジタル映像再生装置１１の後段に配設したが、表示装置までを含めたシステムを考慮した場合には、プロジェクタのような表示装置内部に設けてもよい。

映像再生装置の構成図である。履歴情報記憶部の構成図である。画像を区域毎に分割した場合を示す図である。時間−輝度特性図である。時間−輝度のフレーム差分加算値の特性図である。デジタル映像再生装置の構成図である。ＪＰＥＧ２０００の符号化、復号化を示す図である。

符号の説明

１情報記憶装置、２映像再生装置、３映像／音声／データ分離回路、４映像伸張回路、５ベースバンド出力回路、７履歴情報記憶部、８再生状態管理部

Claims

圧縮された映像データを再生する映像再生装置において、
上記圧縮映像データを伸張する伸張部と、
上記伸張部によって伸張された映像データをベースバンドビデオとして出力するベースバンド出力部と、
上記映像データがベースバンドビデオとして出力されるときに上記伸張部にて伸張された映像信号の履歴情報を記憶する履歴情報記憶部と、
上記履歴情報記憶部に記憶された上記映像信号の履歴情報に基づいて上記圧縮映像データの再生状態を管理する再生状態管理部と
を備えることを特徴とする映像再生装置。
上記履歴情報記憶部は、上記圧縮映像データが上記伸張部で伸張され、上記ベースバンド出力部にてベースバンド信号になったところで全ての点の画素値を加算してメモリに記憶しておくことを特徴とする請求項１記載の映像再生装置。
上記履歴情報記憶部は、上記圧縮映像データが上記伸張部で伸張され、上記ベースバンド出力部にてベースバンド信号になった後、複数に分割された映像区域ごとの点の画素値を加算してメモリに記憶しておくことを特徴とする請求項１記載の映像再生装置。
上記履歴情報記憶部は、上記圧縮映像データが上記伸張部で伸張され、上記ベースバンド出力部にてベースバンド信号になった後、原フレームと前のフレームとの差分をとり、メモリに記憶しておくことを特徴とする請求項１記載の映像再生装置。
上記再生状態管理部は、上記履歴情報記憶部に記憶された履歴情報をビジュアル化して表示させることを特徴とする請求項２、３又は４に記載された映像再生装置。
上記履歴情報記憶部及び上記再生状態管理部を上記ベースバンド出力部内に内蔵することを特徴とする請求項１記載の映像再生装置。