JP2005277803A

JP2005277803A - 動画像再生装置

Info

Publication number: JP2005277803A
Application number: JP2004088300A
Authority: JP
Inventors: Sunao Sawada; 素直澤田; Kazue Hiroi; 和重廣井; Shinichiro Okamura; 真一郎岡村; Yoshibumi Fujikawa; 義文藤川; Keitaro Okazaki; 啓太郎岡▲崎▼
Original assignee: Hitachi Ltd
Current assignee: Hitachi Ltd
Priority date: 2004-03-25
Filing date: 2004-03-25
Publication date: 2005-10-06
Also published as: WO2005094078A1

Abstract

【課題】
ネットワークを介して配信される動画像データの早送り、巻き戻し再生に必要となる処理能力、記憶容量を軽減し、独立フレームに依存しない一定間隔での早送り、巻き戻し再生を行い、かつ早送り、巻き戻しで差異のない操作感を実現する。
【解決手段】
表示する動画像を動画像の再生モードに応じて、動画像データの通常のデコード結果、動画像データのダウンデコード結果、あらかじめダウンエンコードして作成した動画像データのデコード結果から選択する。また、ダウンデコードとダウンエンコードのパラメータを共通化する。
【選択図】図１

Description

本発明はネットワークから受信した動画像データを再生する動画像再生装置に関する。

ネットワークによる動画像データの配信における動画像の符号化方式は、データ量の圧縮のためにフレーム間予測符号化方式が一般的に用いられている。具体例としてはISO/SC29/WG11で標準化されたMPEG2方式(ISO/IEC 13818-2)が知られている。フレーム間予測符号化方式では、デコードの際に他のフレームの情報を必要としない独立フレーム（MPEG2方式のIフレームに相当）と、デコードの際に他のフレームの情報が必要な非独立フレーム（MPEG2方式のP,Bフレームに相当）を組み合わせて動画像の符号化が行なわれる。

フレーム間予測符号化方式を用いた動画像データを早送り再生する場合、通常再生のｎ倍の速度で受信、デコード、再生を行なえば、ｎ倍の早送り再生になる。しかし巻き戻し再生の場合は、フレーム間予測符号化方式の性質上、逆方向に再生できるフレームは独立フレームのみであるため、早送りと巻き戻しで利用者に与える操作感が異なり、動画像の再生位置を目的の位置まで移動させる操作が円滑に行なえなくなるという問題があった。

特開平9-37212号公報特開平5-344494号公報特開平8-331514号公報

上記問題の改善策として、受信したデータを端末内に蓄積し、これをもとに巻き戻し再生を実現する方法がある(特許文献１)。しかしながらこの方法では、端末に必要な記憶容量が増大するという問題があった。

また、通常再生のｎ倍の速度で受信、デコード、再生を行なうことで早送りを実現する場合、動画像が高画質、高解像度になると、必要とされる処理能力が動画像再生装置の処理能力を超えてしまう場合がある。

この改善策としては、動画像データのうち独立フレームだけをデコード、早送り再生する方法がある（特許文献２）。この方法によれば必要とされる処理能力は全てのフレームをデコードする場合に比べて軽減される。しかし、動画像データの中で独立フレームの出現する頻度が低い場合（例えば、１秒あたり３０フレームの動画像データのうち独立フレームが２００フレームにつき１フレームの場合）、あるいは独立フレームの出現する間隔にばらつきが大きい場合には、早送り再生される動画像が脈絡のない画像の連続になる、あるいは早送り再生速度が一定にならない、といった人間が見ても内容を理解できない動画像になってしまうという問題があった。

この改善策としては、動画像データの配信サーバに早送り再生専用の動画像データと巻き戻し再生専用の動画像データを作成し保存しておくという方法がある（特許文献３）。しかしながらこの方法では、サーバに必要な記憶容量が増大するという問題があった。

そこで、本発明では、ネットワークを介して配信される動画像データを受送信する端末装置で、該動画像データの早送り、巻き戻し再生に必要となる処理能力、記憶容量を軽減し、独立フレームに依存しない一定間隔での早送り、巻き戻し再生を実現することを課題とする。

上記課題を解決すべく、該端末の有する記憶装置の記憶可能容量に応じて、入力した動画像をダウンエンコードした巻き戻し再生用画像を作成することを特徴とする。

また、上記巻き戻し画像作成に用いたパラメータに基づき、入力した動画像をダウンデコードして早送り再生を行う。

ここで、ダウンエンコードあるいはダウンデコードとは、本来のエンコード／デコードにおいて使用すべきパラメータに対して、その一部のみを使用したエンコード／デコードをさす。例えば、空間あるいは時間解像度を落としてエンコード／デコードする、輝度成分のみをエンコード／デコードする、画像の一部分のみをエンコード／デコードする、あるいは、エンコード／デコードにおいて使用する周波数成分の内の一部を使用してエンコード／デコードする等の方法がある。ここで、空間解像度を落としてエンコード／デコードするとは、例えば、空間画素数を少なくしてエンコード／デコードすること(例えば、1280x960を640x480に変更する、元の画像の画素数の1/8、2/8、3/8...等に任意に変更可能である)であり、時間解像度を落としてエンコード／デコードするとは、例えば、エンコード／デコードするフレームの枚数を減らす（例えば、「フレームの表示間隔」を１０枚に１枚に変更する等）方法が考えられる。時間解像度を落としてダウンデコードする場合、通常のデコード処理後に上記フレームの表示間隔に基づき、表示するフレームを決定してもよい。

また、これらの内の２つ以上の組み合わせにより、ダウンエンコード／ダウンデコードを実現してもよい。

ダウンデコードにより早送り再生での処理負荷を軽減し、ダウンエンコードすることで巻き戻し再生用動画像データの記憶容量と処理負荷を軽減する。また、ダウンデコードとダウンエンコードでパラメータを同様にしたことで早送り、巻き戻しとも等間隔な動画像再生を実現することができる。

動画像の再生モード（再生、早送り、巻き戻し）に応じて、該動画像データの入力元と出力先を変更するセレクタを設け、再生の場合は入力した動画像をデコードした画像、早送り再生の場合は入力した動画像をダウンデコードした画像、巻き戻し再生の場合は入力した動画像をダウンエンコードした後にデコードした画像を表示可能な構成を実現した。本実施例では、空間解像度を落としてダウンエンコード／ダウンデコードする場合を例に説明するが、ダウンエンコード／ダウンデコードの方法については適宜選択可能である。

図１は第１の実施例の機能ブロック図である。動画像再生装置103は動画像配信サーバ101が配信する動画像データをネットワーク102経由で受信し、リアルタイムでデコード処理をして動画像表示部104に表示するストリーミング再生端末である。また、動画像データの配信における動画像の符号化方式は、データ量の圧縮のためにフレーム間予測符号化方式であるMPEG方式、H.264等があり、基本フレームと該基本フレームを参照して生成される参照フレームとで符号化される符号化方式であれば適用可能である。動画像再生装置103の例としては、セットトップボックス、PDA(Personal Digital Assistant)に代表される携帯型情報端末、携帯電話、あるいはインターネットTV等がある。動画像表示部104の例としては、テレビジョン受像機、液晶ディスプレイ、プラズマディスプレイ、プロジェクタなどである。尚、動画像再生装置と動画像表示部は別筐体として構成されていても一つの筐体として構成されていてもよい。尚、別筐体とした場合、筐体間は無線あるいは有線で接続可能である。ネットワーク102は接続された機器相互でデータ通信が行なえる通信網で、本実施例では一例としてインターネットに代表されるIP(Internet Protocol)で通信を行なうネットワークとする。尚、図示しないが、図１において動画配信サーバ101をホームゲートウェイ、セットトップボックス等の機器とし、該ホームゲートウェイ等から有線ないし無線のネットワーク102を介して、動画再生装置103がコンテンツを受信するという構成も本実施例で想定する範囲内である。

本実施例による動画像再生装置103は、ネットワーク制御部111によりネットワーク102からの動画像データの受信、および動画像配信サーバ101との制御プロトコル通信を行なう。

セレクタ112は、入力をネットワーク制御部111と動画像データ記憶部116とのいずれか一方から選択し、ダウンデコード部113またはデコード部114のいずれか一方へ出力する。セレクタ112の入出力の切り替えは再生制御部121が行なう。

セレクタ112の内部の構成を図１０に示す。入力切替部1001は、ネットワーク制御部111からの入力と動画像データ記憶部116からの入力のうち、何れか一方だけを出力する。出力切替部1002は、入力切替部1001からの入力を、ダウンデコード部113またはデコード部114の何れか一方のみに出力する。入力切替部1001による入力の選択と出力切替部1002による出力の選択は、再生制御部121からの入出力切替に基づいて行なわれる。

再生モードが通常再生の場合、入力切替部1001ではネットワーク制御部111からの入力を選択し、出力切替部1002ではデコード部114へデータを出力するように入出力を切り替える。

再生モードが早送り再生の場合、入力切替部1001ではネットワーク制御部111からの入力を選択し、出力切替部1002ではダウンデコード部113へデータを出力するように入出力を切り替える。この場合、ダウンデコード部でダウンデコードした画像は、エンコード部（図示せず）に入力されエンコードされ、該エンコード部でエンコードされた動画像を動画像データ記憶部116に格納し、巻き戻し再生用の画像として用いてもよい。あるいは、出力先をダウンデコード部とデコード部の両方として、デコード部から出力される画像をダウンエンコード部に入力してダウンエンコードした画像を巻き戻し用画像としてもよい。なお、上記エンコード部は、ダウンエンコード部に入力されるレートを適宜変更することで、当該ダウンエンコード部で代替することも可能である。

再生モードが巻き戻し再生の場合、入力切替部1001では動画像データ記憶部116からの入力を選択し、出力切替部1002ではデコード部114へデータを出力するように入出力を切り替える。尚、図示しないが、再生制御部121は動画像データ記憶部116に信号線を介して接続され、該信号線を介して巻き戻しの開始位置、巻き戻し速度等の指示を送信することができる。ここで、通常再生（あるいは早送り再生）中に巻戻しが指示されると、該巻き戻し指示がなされたときに動画像記憶手段に記録された最新の動画像データから順に巻き戻し再生される。つまり、巻き戻し画像の開始位置は、動画像記憶手段に格納された最新の動画像データである。また、巻き戻し速度は、例えば２倍速での巻き戻しがユーザインタフェースを介して再生制御部に指示された場合、フレームレートを同じにして動画像記憶手段に格納された動画像の表示間隔を１／２の割合とすれば、２倍速での巻き戻しが可能となる。

ダウンデコード部113は、入力された動画像データを、再生制御部121からのレート指定に基づいた画像サイズに縮小してダウンデコードする。デコード部114は入力された動画像データを、配信された動画像データと等倍の画像サイズでデコードする。ダウンデコード部113とデコード部114の出力は、表示間隔調節部117を経由して動画像表示部104で表示される。また、出力はダウンエンコード部115へも送られる。ダウンエンコード部115は入力された動画像を再生制御部121からのレート指定に基づいたフレームの表示間隔と画像サイズでダウンエンコードし、動画像データ記憶部116へ格納する。本実施例においては、フレームの表示間隔は１０フレームに１フレームの割合とし、画像サイズについては元の画像の1/8、2/8、3/8倍等がある。格納した動画像データは巻き戻し再生で使用するため、各フレームを他のフレームの情報を必要としない形式でエンコードする必要があり、本実施例では一例として全て独立フレーム形式でダウンエンコードする。表示間隔調節部117は、再生制御部121のレート指定に基づいたフレーム表示間隔に、動画像の表示間隔を調節する。

ユーザインターフェース141は、ユーザからの再生、早送り、巻き戻しの指示を受け再生制御部に再生モード選択信号を送る部である。具体例としてはリモコンやキーボード、携帯電話等のボタンなどである。

なお、図１に示した動画像再生装置103の各機能ブロック111〜141は、ソフトウェアによる実装、ハードウェアによる実装、あるいは両者を併用した実装のいずれでも実現可能であり、どの場合にも本実施例の適用が可能である。さらに、該機能ブロックを１チップ上で構成することも可能である。この場合、チップ上に搭載される機能ブロックとチップ外に配置される機能ブロックは適宜選択可能であり、例えば、ネットワーク制御部をチップ外に配置し、他の機能ブロックをチップ上に搭載する構成とすることも可能である。この場合、チップ上には動画像入力部等のインタフェースを設けることとなる。

動画像再生装置103の各機能ブロックをソフトウェアで実現する場合の構成を図１１に示す。動画像再生装置103はバス1103にネットワークインターフェース1101、ＣＰＵ1102、ユーザインターフェース141、メモリ1104、動画像インターフェース1105、音声インターフェース1106を接続して構成されている。ＣＰＵ1102がメモリ1104のプログラムにしたがってネットワークインターフェース1101、ユーザインターフェース141、動画像インターフェース1105、音声インターフェース1106を制御することで、機能ブロック111〜141の機能を実現している。また、動画像データ記憶部116は、メモリ1104の動画像データ記憶領域1106をＣＰＵ1102が制御することで実現している。

ここでは、単一のプロセッサで実現している例を示しているが、他に汎用CPU等コプロセッサとして搭載してもよい。

ダウンデコード部113およびデコード部114の実現においては、単一のハードウェアまたは単一のソフトウェアに対して、デコードにおける画像サイズやフレーム表示間隔を指定するパラメータを変更することで、両者の機能を実現するという実現方法も可能である。

本実施例による動画像再生装置103は、早送り、巻き戻し再生でのフレーム表示間隔と画像サイズを、動画像の再生を開始する時点で決定する。図２に、本実施例による動画像再生装置103と動画像配信サーバ101間での動画像の再生を開始する場合の通信シーケンスの一例を示す。本実施例の動画像再生装置103は一例として、制御情報の通信にIETF (Internet Engineering Task Force)で標準化されたRTSP (Real Time Streaming Protocol)を用い、動画像データの受信にはRTP (Real-time Transport Protocol)を用いるものとする。

動画像再生装置103はまず動画像配信サーバ101に対して情報取得要求(RTSPにおけるDESCRIBEメソッド)201を送信する。動画像配信サーバ101からの応答202には、情報取得要求201で指定されたURI(Universal Resource Identifier)に対応する動画像データの長さ（再生時間）、および平均ビットレートが含まれている。平均ビットレートとは、動画像データのサイズを動画像データの再生時間で割った結果で、平均すると毎秒何ビットのデータが動画像配信サーバ101から配信されるかを表す。つづいて配信準備要求(RTSPにおけるSETUP メソッド)203を送信し、配信要求(RTSPにおけるPLAYメソッド)204を送信する。配信要求204では再生速度（動画像データ本来の平均ビットレートの何倍でデータが配信されるかを表す倍率）と再生開始位置（動画像データの先頭からの経過時間で表現）を指定する。通常の再生では再生速度は１倍、再生開始位置は0秒を指定する。以上によりRTPによる動画像データの配信211が開始される。これらのプロトコル処理はネットワーク制御部111が行なう。以上が動画像再生開始時の、動画像再生装置103と動画像配信サーバ101間の通信シーケンスである。

図３に動画像の再生を開始する場合の、再生制御部121における処理フローを示す。再生制御部121はネットワーク制御部111に対して通常再生の開始を指示する（301）。ネットワーク制御部111は図２の通信シーケンスを実行し、情報取得要求201に対する応答202に含まれている動画像データの長さ(再生時間)と平均ビットレートを取得し、再生制御部121へ通知する(302)。

再生制御部121は動画像データの長さ、平均ビットレートと動画像データ記憶部106の記憶容量から、動画像全体に渡って一定間隔で画像を記録することが可能である画像サイズとフレーム表示間隔を決定する(303)。応答202に動画像データの長さＴ（単位：秒）と平均ビットレートＢ（単位：kbps）が含まれているものとし、動画像データ記憶部106の記憶容量をＭ（単位：キロビット）とした場合の画像サイズとフレーム表示間隔の計算フローの一例を、図４に示す。本実施例ではＭは固定値であるものとするが、動画像の再生開始時に動画像データ記憶部106の未使用の記憶領域の容量を計算してＭを求めても構わない。

図４の処理401にある係数ｋはフレーム表示間隔とフレームレートの比で、例えば30フレーム／秒（フレームレート）の動画像を3フレーム／秒（フレーム表示間隔）で記録する場合、ｋは3/30=0.1となり、早送り、巻き戻しで再生される動画像は本来の動画像の１０倍速で再生されているように見える。早送り、巻き戻しにおけるｋのデフォルト値は予め決定してあるものとし、本実施例では0.1とする(401)。次に、動画像データの総量は、動画像の再生時間Ｔに平均ビットレートＢとの積(T×B)で求められる。この積に前述の係数kをかけたRは、動画像を１０フレームに１フレームの割合で記憶する場合に必要な記憶容量となる。(402)。

RがMより大きい場合、記録する画像サイズを小さくすることで記録する動画像データを容量M以下にする。以下の手順で、記録する画像サイズの縦横が元の画像サイズのn/8の時に容量M以内に動画像データが収まるようなｎを求める。画像サイズの下限は予め設定されているものとし、本実施例においては、元の画像の縦横各1/8（つまりｎ＝１）、面積にして1/64を下限とする。

M/Rが1/64より小さい場合(403)、つまり画像サイズを縦横各1/8にしても容量Mで動画像データが記録できない場合、ｋの値を動画像データ記憶部116の記憶容量に動画像データが収まるように調節する(414)。この場合、画像サイズは縦横各1/8のｎ＝１とする(415)。

M/Rが1/64以上で(403)、M/Rが１より大きい、すなわち動画像記憶部116の記憶容量MがRよりも大きいならば(404)、画像サイズを縮小せずに記録することが可能なので、画像サイズは縦横とも8/8であるｎ＝８とする(425)。

M/Rが1/64以上で1未満の場合、処理ステップ405に示した条件を満たすnが、記憶容量M以内で動画像データを記録するための最大のｎとなる。

以上により、動画像の表示間隔を元の動画像のフレームレートとの比で表したｋと、画像サイズを元の動画像の縦横1/8サイズとの比で表したｎとを決定する。なお、本実施例では動画像全体の長さと平均ビットレートを用いたが、動画像データ全体の容量が計算できるパラメータであれば何を使って算出してもよい。

図３に戻って、動画像データ記憶部116を初期化し、何も画像データが記憶されていない状態にする(304)。以上が再生開始処理フローである。

本実施例による動画像再生装置103の特徴は、通常再生、早送り、巻き戻しという異なる再生モードに応じて、動画像表示部104に出力する動画像を、ダウンデコード部113の出力、デコード部114の出力、動画像記憶部116に格納されたダウンエンコード部116の出力をデコード部114でデコードした出力結果の３通りに切り替える点にある。そのための処理フローを図５、図６、図７を用いて以下に説明する。

通常再生の場合、本実施例による動画像再生装置103は、入力としてネットワーク制御部111で受信した動画像データを用い、デコード部114の出力を動画像表示部104に送る。この場合の再生制御部121の動作フローを図５に示す。

ユーザインターフェース141から通常再生を指示された再生制御部121は、何らかの動画像を現在再生中であれば、ネットワーク制御部111に対して一時停止を指示する。ネットワーク制御部111は、現在動画像配信サーバ101から動画像データを受信中であれば、動画像配信サーバ101に対して一時中止要求(PAUSEメソッド)を送信する。次に、ダウンデコード部113またはデコード部114が動画像データのデコードを実行中であれば停止させる(502)。

通常再生の場合、入力は動画像配信サーバ101から送られてくるデータを用い、それをデコード部114でデコードして表示するので、セレクタ112の入力をネットワーク制御部111、出力をデコード部114へと切り替える(503)。ダウンエンコード部115に対しては、図４のフローで決定したフレーム表示間隔と画像サイズを設定する(505)。表示間隔調節部117には、全ての画像再生させるためにフレーム表示間隔としてｋ＝1.0を指定する(506)。

動画像配信サーバ101の動画像配信を開始させるために、再生制御部121はネットワーク制御部111に対し通常再生の開始を指示する(507)。ネットワーク制御部111は、動画像配信サーバ101に対して配信要求(PLAYメソッド)204を送信し、動画像配信サーバ101からの動画像データの送信211が開始される。デコード部114がデコード処理を開始し(507)、動画像の通常再生が行なわれる。それに伴いダウンエンコード部115が、動画像を設定されたフレーム表示間隔と画像サイズに従ってダウンエンコードし、動画像データ記憶部116に記録していく。ダウンエンコードすることにより動画像を蓄積するための記憶容量が少なくなり、またエンコード処理自体も高速に行なえる。蓄積する動画像は全て独立フレームとしてダウンエンコードする。

次に早送り再生の場合について、図６のフローに沿って説明する。処理501,502については通常再生の場合と同様である。早送り再生では、入力は動画像配信サーバ101から通常より高い速度で送られてくる動画像データを用い、それをダウンデコード部113でダウンデコードして表示するので、セレクタ112の入力をネットワーク制御部111、出力をダウンデコード部113へと切り替える(603)。

ダウンデコード部113に対しては、ダウンデコードした動画像の画像サイズを設定する必要がある。再生制御部121は動画像の再生開始時に図４のフローで決定されたｎの値をダウンデコード部113に設定する(604)。

早送り再生の場合のダウンエンコード部115に対するレート指定は、フレーム表示間隔については通常再生における値（ｋ）と同じだが、画像サイズ（ｎ）の設定は異なる。早送り再生でのダウンエンコード部115への入力はダウンデコード部113の出力であり、ダウンデコード部113の出力はすでに設定された画像サイズになっている。よってダウンエンコード部115へ設定する画像サイズは入力と同じサイズ(8/8)であるn=8を設定する(605)。表示間隔調節部117に対しては、再生制御部121が動画像の再生開始時に図４のフローで決定されたｋの値をフレーム表示間隔として設定する(606)。

早送り再生時には、動画像配信サーバ101から通常より高い速度で動画像コンテンツの配信を受ける必要がある。再生制御部121がネットワーク制御部111に対して早送り再生を指示する(607)と、ネットワーク制御部111は、再生速度指定を通常より高速（例えば、本実施例では前述のRTSPにおけるスピードパラメータを５倍に指定することで実現可能である）に指定した配信要求(PLAYメソッド)204を動画像配信サーバ101に送信する。動画像配信サーバ101から通常より高速な配信が行なわれるので、ダウンデコード部113でのダウンデコードを開始し(608)、早送り再生が行なわれる。同時に、ダウンエンコード部115が、動画像を設定されたフレーム表示間隔と画像サイズ（入力された画像サイズのまま）に従ってダウンエンコードし、動画像データ記憶部116に記録していく。

動画像配信サーバ101からの配信は通常より高速に行なわれるため、動画像再生装置103での処理負荷が上昇するが、ダウンデコード処理を用いることで早送り再生時の処理負荷を軽減している。

次に巻き戻し再生の場合を、図７に沿って説明する。処理501,502については通常再生の場合と同様である。巻き戻し再生では、入力は動画像データ記憶部116に記録された動画像データを用い、それをデコード部114でデコードして表示するので、セレクタ112の入力を動画像データ記憶部116に、出力をデコード部114へと切り替える(703)。動画像データ記憶部116には、既に再生、早送り再生された動画像がダウンエンコードされて記録されている。ダウンエンコードの時点でフレーム表示間隔と画像サイズは調節されているので、記録された動画像データを逆順にそのままデコードし、全画像を表示すると巻き戻し再生となる。

巻き戻し再生中は動画像をダウンエンコードして記録する必要はないので、ダウンエンコード部115を停止する(705)。表示間隔調節部117には全画像表示(k=1.0)を設定する(506)。デコード処理を開始すれば(508)巻き戻し再生が行なわれる。巻き戻し再生には動画像配信サーバ101からの配信は不要である。

また、動画データ記憶部に格納された巻き戻し用画像は、ストリーミングデータを視聴した後（コンテンツ配信サーバからend of stream信号を受信後）あるいは、別のコンテンツ再生時に削除するよう設定可能である。

以上のように本実施例による動画像再生装置103では、ダウンエンコードあるいはダウンデコードを行うことで早送りあるいは巻き戻し再生の処理負荷およびそのデータ量を低減するという効果を奏する。

また、早送りと巻き戻しでフレーム表示間隔と画像サイズを統一しているため、利用者が違和感なく早送りと巻き戻しを行なえるという効果もある。

また、本実施例の構成は、大容量の記憶装置を必要とせずに、ストリーミングコンテンツの視聴が可能となるため、安価で動画像コンテンツを視聴する機器に本実施例は適用可能であり、耐久性が向上するという効果も有する。

また、通常再生、早送り再生、巻き戻し再生という再生モードにしたがってデコード部114、ダウンデコード部113、ダウンエンコード部115の組み合わせを切り替えることで、処理負荷や記憶容量が少なくてすみ、かつ元の動画像データの独立フレームのみの表示に比べて画像の表示頻度が高くフレーム表示間隔が一定の早送り、巻き戻し再生を実現するという効果も奏する。

なお、仮に独立フレームが非常に少ない（例えば、１秒あたり３０フレームの動画像データのうち独立フレームが２００フレームにつき１フレームの場合、動画像を構成するすべてのフレーム中で独立フレームが１フレームの場合等）動画像を受信した場合であっても、受信した動画像をデコードした元の画像を、予め設定したフレーム表示間隔でダウンエンコードして記憶部116に格納し保存するため、巻き戻し再生をした場合であっても該フレーム表示間隔で動画像を参照することが可能となる。

第２の実施例による動画像再生装置103では、機能ブロックの構成、処理フローは基本的に第１実施例と同じである。本実施例では、パラメータ算出のフロー(図４)において、動画像データのサイズを元のデータの縦横各1/8(n=1)にしても、動画像データ記憶部116の容量M以内で動画像データが記録できない場合（処理414、415に該当）に、本実施例による早送り、巻き戻し再生よりも、動画像配信サーバ101から独立フレーム形式のデータのみの配信を受け、再生する方が、早送り、巻き戻し再生の品質が高いと判断することが特徴である。

例えば、コンテンツのデータ量が非常に多く、画像サイズを縦横各1／8とし、かつ、図４の４１４においてkを調整した場合、フレーム表示間隔が、予め定めた量より大きくなる（例えば、１秒あたり３０フレームの動画像データにおいて、巻き戻し用画像の表示間隔が２００フレーム以上につき１フレームの場合等）ときに、独立フレーム形式のデータのみの配信を受け、早送り、巻き戻し再生する方が、品質が高いと判断される。

この場合、利用者に対して、早送り、巻き戻し再生の動画像品質が低下することを通知するメッセージを動画像表示部104に表示してもよい。そして早送り、巻き戻し再生時にダウンデコード、ダウンエンコードの処理を行なわず、動画像配信サーバ101から配信される独立フレーム形式のデータのみを再生することで、早送り、巻き戻しを実現する。

この場合の早送り再生フロー(図６)は、処理603は処理503(図５)になり、処理604は不要に、処理605は処理705(図７)に、処理606は処理506(図５)に変更される。さらに処理607において、ネットワーク制御部111に対しては、独立フレームのみの早送り再生モードを指示する。指示を受けたネットワーク制御部111は、動画像配信サーバ101に対する配信要求(PLAYメソッド)で、独立フレームのみの高速配信を要求する。処理608は処理508(図５)となる。

同様に巻き戻し再生フロー(図７)において、処理703は処理503になり、処理506と処理508の間に、ネットワーク制御部111に対して、独立フレームのみを逆方向に高速再生するモードを指示する処理ステップを追加する。指示を受けたネットワーク制御部111は動画像配信サーバ101に対する配信要求(PLAYメソッド)で、独立フレームのみ逆方向の高速配信を要求する。

本実施例によれば、動画像データ記憶部116の記憶容量の制限から、ダウンエンコードにより作成する動画像データの品質が独立フレームのみの表示よりも低下する場合、あらかじめ利用者に通知して、独立フレームのみの早送り、巻き戻し再生を使用することで、与えられた条件下では最良の早送り、巻き戻し再生品質を実現することが可能であるという効果がある。さらに、早送り、巻き戻し操作に支障をきたさないように、早送り、巻き戻し再生の操作感が通常とは異なることをあらかじめ利用者に知らせているという効果がある。

第３の実施例における動画像再生装置103の機能ブロック図を図８に示す。本実施例ではインデックス記憶部131が追加されているという特徴がある。本実施例におけるインデックスとは、早送り、巻き戻し再生時に動画像表示部104に表示された画像が、動画像の先頭から何秒経過した時点で再生される画像であるかの情報である。

本実施例においては、早送り、巻き戻し再生時に、再生画像901と同時に複数のインデックス画像902を表示する(図９)インデックス画像902は、早送りおよび巻き戻し再生時に、動画像表示部104に表示された再生画像901を一定間隔で動画像表示部104の表示領域に残したもので、表示間隔調節部117が再生画像901の表示位置を一定間隔で制御することで実現する。再生画像901をインデックス画像902として残す時間間隔はあらかじめ設定されているものとし、例えば本実施例では、表示間隔調節部117に設定されたフレーム表示間隔ｋの1/8とする。つまり実際に動画像表示部104に表示されたフレームが８回に１回の頻度でインデックス画像902として動画像表示部104の表示領域に残る。表示領域に残すインデックス画像902の選択方法としてはこの他にも例えばシーンチェンジを検出したフレームをインデックス画像902とするなどの方法が可能である。

早送り再生での再生画像901の画像サイズと巻き戻し再生での再生画像901の画像サイズは、図４のフローで計算された値に統一されており、通常再生の画像サイズ以下である。したがって動画像表示部104の表示領域には余裕があるので、その表示領域にインデックス画像902を表示する。図９は画像サイズが通常再生の画像サイズの2/8×2/8（ｎ＝２）の例である。

インデックス画像902を動画像表示部104へ一度に表示できる個数には限りがあるので、表示領域を使い切った後は古いインデックス画像902から新しいインデックス画像902で上書きされる。一例として、早送り再生の場合、インデックス画像902の表示順序は、向かって左から右へ時系列に、画面の右端まで表示したら向かって下方向の空いている表示領域に再び向かって左から右へ時系列に表示し、巻き戻し再生の場合、再生画像901自体が時系列を逆方向に再生しているので、向かって右下から左上へとインデックス画像902が表示されていくなどの方法がある。

表示間隔調節部117は再生画像901をインデックス画像902として動画像表示部104に残す際に、その再生画像901のインデックス、すなわち動画像の先頭からの経過時間をインデックス記憶部131に保存する。インデックス記憶部131には、動画像表示部104に現在表示されている各インデックス画像902に対応するインデックスが記憶されている。

本実施例の動画像再生装置104では、インデックス画像902による再生位置の移動が可能である。利用者が動画像表示部102に表示されたインデックス画像902を一つ指定すると、図５の通常再生フローに従った処理が開始される。処理507でネットワーク制御部111へ与える指示に、インデックス記憶部131に記録された、利用者が指定したインデックス画像902に対応するインデックスをパラメータとして与える。ネットワーク制御部111は、動画像配信サーバ101へ送信する配信要求(PLAYメソッド)204で、再生開始位置としてパラメータとして渡されたインデックスを指定する。動画像配信サーバ101は指定された再生開始位置からの動画像データを配信するので、利用者が指定したインデックス画像902に対応する再生位置から通常再生が開始される。

以上のように本実施例では早送り、巻き戻し再生の画像サイズを通常再生の画像サイズよりも小さくしたことで生じた動画像表示部104の空き表示領域にインデックス画像902を表示することで、利用者がより正確に再生開始位置を指定できるという効果がある。また、ダウンデコードあるいはダウンエンコードで処理されて実際に動画像表示部104に表示された画像をインデックス画像902として用いるため、インデックス画像902を生成するために新たなデコード部114、ダウンデコード部113あるいはダウンエンコード部115を追加する必要がないという効果もある。

第４の実施例による動画像再生装置103の機能ブロック図を図１２に示す。本実施例では、動画像配信サーバ101から配信されるストリーミングデータをリアルタイムに再生するのではなく、一旦、記憶装置1202内の記憶領域であるダウンロードファイル記憶部1201に格納し、ダウンロードファイル記憶部1201内のデータを動画像として再生する端末である。

本実施例では記憶装置1202の記憶領域のうち、ダウンロードファイルの格納に使われなかった記憶領域を、動画像データ記憶部116として利用する。ダウンロードファイルのサイズにより動画像データ記憶部116として使える記憶容量が変化する。本実施例ではダウンエンコード部115へのレート指定を計算する図４のフローにおいて、記憶装置1202内でダウンロードファイルが占有している領域を除いた記憶領域の容量をＭとしてレート指定を計算することにより、使用可能な記憶容量の範囲内で巻き戻し用画像を生成することが可能となる。

以上より、本実施例では、より大容量の記憶領域内で巻き戻し用画像を生成するため、より高品質な巻き戻し用動画像データを作成できるという効果がある。

また、ダウンロードファイル記憶部1201に記憶する動画像データが独立フレームだけで構成していなくても、実施例１と同様にセレクタ112、ダウンデコード部113、デコード部114、ダウンエンコード部115を組み合わせることで早送り再生と巻き戻し再生が実現できるため、独立フレームだけで構成した動画像データよりも容量の小さい動画像データを利用できるという効果もある。

また、早送り再生においてダウンデコード部113を用いることで、ダウンロードした動画像データファイルの再生においても、処理負荷を軽減できるという効果もある。

記憶容量や処理能力に制限のある携帯電話などの小型端末への適用、テレビジョン受像機など動画像表示機器への適用、あるいは一般的なパーソナルコンピュータへ、記憶容量や処理能力の節約目的での適用が考えられる。

第１の実施例における動画像再生装置の機能ブロック図。動画像再生装置と動画像配信サーバとの通信シーケンス図。再生制御部の動画像再生準備処理フロー図。パラメータ算出処理フロー図。再生制御部の通常再生処理フロー図。再生制御部の早送り再生処理フロー図。再生制御部の巻き戻し再生処理フロー図。第３の実施例における動画像再生装置の機能ブロック図。インデックス画像表示の画面構成例である。セレクタの内部ブロック図である。動画像再生装置をソフトウェア的に実現した場合の機能ブロック図。第４の実施例における動画像再生装置の機能ブロック図。

符号の説明

１０１動画像配信サーバ、１０２ネットワーク
１０３動画像再生装置
１０４動画像表示部
１１１ネットワーク制御部
１１２セレクタ
１１３ダウンデコード部
１１４デコード部
１１５ダウンエンコード部
１１６動画像データ記憶部
１１７表示間隔調節部
１２１再生制御部
９０１再生画像
９０２インデックス画像

Claims

画像再生装置であって、
ネットワークを介して符号化された動画像を受信可能なネットワーク制御部と、
前記動画像の再生モード指示信号を前記ネットワーク制御部に送信する再生制御部と、
入力された前記動画像を復号する際に用いるパラメータうちの一部のパラメータを用いて当該動画像を復号して出力するダウンデコード部と、
入力された前記動画像を元の動画像に復号して出力するデコード部と、
前記ネットワーク制御部と前記ダウンデコード部と前記デコード部と前記再生制御部に接続され、当該再生制御部から入力される入出力切替信号に基づき、前記動画像の入出力先を選択するセレクタとを有し、
前記再生モード指示信号が再生を示す信号である場合、前記入出力切替信号に基づき、前記ネットワーク制御部から入力された動画像を前記デコード部へ出力し、
前記再生モード指示信号が早送り再生を示す信号である場合、前記入出力切替信号に基づき、前記ネットワーク制御部から入力された動画像を前記ダウンデコード部へ出力することを特徴とする画像再生装置。
請求項１記載の画像再生装置であって、
前記デコード部に接続され、入力された前記動画像の一部のパラメータを用い当該動画像を符号化して出力するダウンエンコード部と、
前記セレクタに接続され、前記ダウンエンコード部から出力された画像を格納する記憶部とを有し、
前記セレクタは、前記再生モード指示信号が巻き戻し再生を示す信号である場合、前記入出力切替信号に基づき、前記動画像を前記記憶部から入力し、前記デコード部へ出力することを特徴とする画像再生装置。
請求項２記載の画像再生装置であって、
前記パラメータは前記動画像を構成する画素であり、
前記ダウンデコード部あるいはダウンエンコード部は、前記動画像中の複数画素のうちの一部の画素を復号あるいは符号化することを特徴とする画像再生装置。
請求項２記載の画像再生装置であって、
前記セレクタは、入力切替部と出力切替部とを有し、前記入出力切替信号に基づき、
前記再生モードが再生の場合、前記入力切替部には前記ネットワーク制御部から動画像が入力され、前記出力切替部からデコード部へ前記動画像が出力されるよう制御され、
前記再生モードが早送り再生の場合、前記入力切替部には前記ネットワーク制御部から動画像が入力され、前記出力切替部から前記ダウンデコード部へ前記動画像が出力されるよう制御され、
前記再生モードが巻き戻し再生の場合、前記入力切替部には前記記憶部から動画像が入力され、前記出力切替部から前記デコード部へ前記動画像がデータを出力されるよう制御されることを特徴とする画像再生装置。
請求項１記載の画像再生装置であって、
前記ダウンデコード部と、前記デコード部はひとつのデコード部として構成されることを特徴とする画像再生装置。
請求項２記載の画像再生装置であって、
前記ダウンエンコード部は、入力した動画像を独立フレーム形式でエンコードすることを特徴とする画像再生装置。
請求項１記載の画像再生装置であって、
前記ダウンデコード部は、入力された動画像データを前記再生制御部で指定されたレートに基づいた画像サイズに縮小してダウンデコードすることを特徴とする画像再生装置。
請求項２記載の画像再生装置であって、
前記ダウンエンコード部は、入力された動画像データを前記再生制御部で指定されたレートに基づいた画像サイズに縮小してエンコードすることを特徴とする画像再生装置。
請求項８記載の画像再生装置であって、
前記再生制御部から前記ダウンデコード部および前記ダウンエンコード部に入力されるレートは同じレートであることを特徴とする画像再生装置。
請求項８記載の画像再生装置であって、
前記再生制御部からで指定するレートは、フレームの表示間隔をさらに含むことを特徴とする画像再生装置。
請求項８記載の画像再生装置であって、
前記再生制御装置は、前記記憶部のデータ格納可能容量と、入力される前記動画像のデータ量に基づき前記フレームの表示間隔と画像サイズのレートを決定することを特徴とする画像再生装置。
請求項８記載の画像再生装置であって、
前記再生制御装置は、前記記憶部のデータ格納可能容量と、入力される前記動画像のデータ量に基づき、前記動画像のデータ量が前記記憶部に格納可能な容量の範囲内となる前記画像サイズのレートを決定し、
前記決定した画像サイズのレートが予め定めたレートよりも小さくなる場合、前記フレームの表示間隔のレートを調整することを特徴とする画像再生装置。
請求項８記載の画像再生装置であって、
前記再生制御装置は、前記記憶部のデータ格納可能容量と、入力される前記動画像のデータ量を比較し、巻き戻しに用いる前記動画像のデータ量が前記記憶部に格納可能な容量の範囲内である場合、前記画像サイズのレートを１倍とすることを特徴とする画像再生装置。
請求項１記載の画像再生装置であって、
前記動画像は、ストリーミングデータであることを特徴とする画像再生装置。
請求項１記載の画像再生装置であって、
前記ダウンデコード部あるいは前記デコード部に接続された画像表示部とを有し、
当該ダウンデコード部あるいはデコード部のいずれかから出力された動画像を表示することを特徴とする画像再生装置。
請求項２記載の画像再生装置であって、
前記再生制御装置は、前記記憶部のデータ格納可能容量と、入力される前記動画像のデータ量に基づき、前記動画像のデータ量が前記記憶部に格納可能な容量の範囲内となるフレームの表示間隔である第１のフレーム表示間隔と前記入力する動画像の独立フレーム形式のフレームの表示間隔である第２の表示間隔を比較し、前記第１のフレーム表示間隔が前記第２のフレーム表示間隔よりも大きい場合、早送り再生あるいは巻き戻し再生をする場合には、入力した動画像の独立フレームを表示するよう制御することを特徴とする画像再生装置。
請求項２記載の画像再生装置であって、
前記ダウンデコード部と前記デコード部に接続された表示間隔調節部と、
前記表示間隔調節部に接続されたインデックス記憶部とをさらに有し、
前記動画像の開始時間からの経過時間に対応する画像であるインデックス画像を、前記再生制御部のレート指定に基づいたフレーム表示間隔で、前記表示間隔調節部が指定する表示位置に表示されることを特徴とする画像再生装置。
請求項２に記載の画像再生装置であって
前記ネットワーク制御部、前記セレクタ、前記ダウンエンコード部に接続され、前記記憶部を格納可能な記憶装置を有し、
前記記憶装置は、前記ネットワーク制御部を介して入力される前記動画像を格納可能であることを特徴とする画像再生装置。
画像再生装置であって、
独立フレームが１つである動画像を受信する受信部と、
該動画像を巻き戻し再生する指示を受信するインタフェース部と、
少なくとも２以上のフレームを巻き戻し画像として出力する画像出力部とを有することを特徴とする画像再生装置。
請求項２に記載の画像再生装置であって
前記記憶部に格納された画像は、画像配信終了信号を受信後であって他の動画像を受信前に、当該記憶部から削除されることを特徴とする画像再生装置。
画像再生用半導体装置であって、
符号化された動画像の入力部と、
前記動画像の再生モード指示信号を前記入力部に送信する再生制御部と、
入力された前記動画像を復号する際に用いるパラメータうちの一部のパラメータを用い当該動画像を復号して出力するダウンデコード部と、
入力された前記動画像を元の動画像に復号して出力するデコード部と、
前記デコード部に接続され、入力された前記動画像のうちの一部のパラメータを用い当該動画像を符号化して出力するダウンエンコード部と、
前記ダウンエンコード部から出力された画像を受信する記憶部と、
前記入力部と前記ダウンデコード部と前記デコード部と前記記憶部と前記再生制御部に接続され、当該再生制御部から入力される入出力切替信号に基づき、前記動画像の入出力先を選択するセレクタとを有し、
前記再生モード指示信号が再生を示す信号である場合、前記入出力切替信号に基づき、前記入力部から入力された動画像を前記デコード部へ出力し、
前記再生モード指示信号が早送り再生を示す信号である場合、前記入出力切替信号に基づき、前記入力部から入力された動画像を前記ダウンデコード部へ出力し、
前記再生モード指示信号が巻き戻し再生を示す信号である場合、前記入出力切替信号に基づき、前記記憶部から入力された動画像を前記デコード部へ出力することを特徴とする画像再生用半導体装置。
請求項２１記載の画像再生用半導体装置であって、
前記パラメータは前記動画像を構成する画素であり、
前記ダウンデコード部あるいはダウンエンコード部は、複数画素のうちの一部の画素を復号あるいは符号化して、前記動画像の画像サイズよりも小さい画像サイズとすることを特徴とする画像再生用半導体装置。
請求項２１記載の画像再生用半導体装置であって、
前記記憶部は、当該画像再生用半導体装置の外部に接続されていることを特徴とする画像再生用半導体装置。
画像再生処理システムであって、
符号化された動画像を送信する動画像配信サーバと、
ネットワークを介して前記動画像配信サーバから送信される動画像を受信する画像再生装置と、
前記画像再生装置から送信される画像を入力し、表示する画像表示部とを有し、
前記画像再生装置は、
前記ネットワークを介して動画像を受信可能なネットワーク制御部と、
前記動画像の再生モード指示信号を前記ネットワーク制御部に送信する再生制御部と、
入力された前記動画像を復号する際に用いるパラメータうちの一部のパラメータを用い当該動画像を復号して出力するダウンデコード部と、
入力された前記動画像を元の動画像に復号して出力するデコード部と、
前記デコード部に接続され、入力された前記動画像のうちの一部のパラメータを用い当該動画像を符号化して出力するダウンエンコード部と、
前記ダウンエンコード部に接続され、当該ダウンエンコード部から出力された画像を格納する記憶部と、
前記ネットワーク制御部と前記ダウンデコード部と前記デコード部と前記記憶部と前記再生制御部に接続され、当該再生制御部から入力される入出力切替信号に基づき、前記再生モード指示信号が再生を示す信号である場合、前記ネットワーク制御部から入力された動画像を前記デコード部へ出力し、前記再生モード指示信号が早送り再生を示す信号である場合、前記ネットワーク制御部から入力された動画像を前記ダウンデコード部へ出力し、前記再生モード指示信号が巻き戻し再生を示す信号である場合、前記記憶部から入力された動画像を前記デコード部へ出力するセレクタと、
前記ダウンデコード部あるいは前記デコード部のいずれかから入力された前記動画像を前記画像表示部に出力する画像出力部を備えたことを特徴とする画像再生処理システム。
請求項２４記載の画像再生処理システムであって、
前記パラメータは前記動画像を構成する画素であり、
前記ダウンデコード部あるいはダウンエンコード部は、複数画素のうちの一部の画素を復号あるいは符号化して、前記動画像の画像サイズよりも小さい画像サイズとすることを特徴とする画像再生処理システム。
請求項２４記載の画像再生処理システムであって、
前記画像再生装置と前記画像表示部とは別筐体で構成され、当該画像再生装置と画像表示部はネットワークを介して接続されることを特徴とする画像再生処理システム。
画像入力部と画像処理部と記憶部とを有する画像再生装置における動画像の画像再生方法であって、
符号化された動画像を入力する工程と、
前記動画像の再生モードが早送り再生である場合、前記動画像を元の動画像を復号する際に用いるパラメータうちの一部のパラメータを用い復号した動画像を再生する工程と、
前記動画像の再生モードが再生である場合、前記動画像を元の動画像に復号して再生する工程と、
前記再生モードが巻き戻し再生である場合、前記元の動画像に復号された動画像を該動画像の画像データ量と前記記憶部の記憶可能容量に基づき、前記復号化された動画像のうちの一部のパラメータを用い符号化した動画像を復号した動画像を再生する工程とを有することを特徴とする画像再生方法。
請求項２７記載の画像再生方法であって、
前記パラメータは前記動画像を構成する画素であり、
前記ダウンデコード部あるいはダウンエンコード部は、複数画素のうちの一部の画素を復号あるいは符号化して、前記動画像の画像サイズよりも小さい画像サイズとすることを特徴とする画像再生方法。
コンピュータを、
符号化された動画像の入力部と、
前記入力部に前記動画像の再生モードを指定する再生制御部と、
入力された前記動画像を復号する際に用いるパラメータうちの一部のパラメータを用い当該動画像を復号して出力するダウンデコード部と、
入力された前記動画像を元の動画像に復号して出力するデコード部と、
前記デコード部から入力された前記動画像のうちの一部のパラメータを用い当該動画像を符号化して出力するダウンエンコード部と、
前記ダウンエンコード部から出力された画像を格納する記憶部と、
前記再生制御部の指定に基づき、前記再生モードが再生を示す場合、前記入力部から入力された動画像を前記デコード部へ出力し、前記再生モードが早送り再生を示す場合、前記入力部から入力された動画像を前記ダウンデコード部へ出力し、前記再生モード指示信号が巻き戻し再生を示す場合、前記記憶部から入力された動画像を前記デコード部へ出力する選択部として機能させるためのプログラム。
請求項２９記載のプログラムであって、
前記パラメータは前記動画像を構成する画素であり、
前記ダウンデコード部あるいはダウンエンコード部は、複数画素のうちの一部の画素を復号あるいは符号化して、前記動画像の画像サイズよりも小さい画像サイズとすることを特徴とするプログラム。
画像再生装置であって、
ネットワークを介して符号化された動画像を受信可能なネットワーク制御部と、
前記動画像の再生モード指示信号を前記ネットワーク制御部に送信する再生制御部と、
入力された前記動画像を復号する際に用いるパラメータうちの一部のパラメータを用いて当該動画像を復号して出力するダウンデコード部とを有し、
前記再生モード指示信号が早送り再生を示す信号である場合、前記ネットワーク制御部から入力された動画像を前記ダウンデコード部へ出力し、当該ダウンデコード部で復号された動画像を出力することを特徴とする画像再生装置。
画像再生装置であって、
ネットワークを介して符号化された動画像を受信可能なネットワーク制御部と、
前記動画像の再生モード指示信号を前記ネットワーク制御部に送信する再生制御部と、
入力された前記動画像を元の動画像に復号して出力するデコード部と、
前記デコード部に接続され、入力された前記動画像の一部のパラメータを用い当該動画像を符号化して出力するダウンエンコード部と、
前記ダウンエンコード部から出力された画像を格納する記憶部とを有し、
前記再生モード指示信号が巻き戻し再生を示す信号である場合、前記記憶部に格納された動画像を前記デコード部へ出力し、前記デコード部で復号された動画像を出力することを特徴とする画像再生装置。