JP2003153257A - 画像処理装置および方法、記録媒体、並びにプログラム - Google Patents

Abstract

(57)【要約】 【課題】 複数の動画ストリームを動画ストリームの数
より少ないビデオデコーダでデコードすることができる
ようにする。 【解決手段】 CPU２１は、I/Oコントローラ２５から取
り込まれた動画ストリーム６１乃至動画ストリーム６４
に対してデコードの順番を割り当てる処理を実行する。
ビデオデコーダ２９−１およびビデオデコーダ２９−２
は、CPU２１によって割り当てられた動画ストリームを
それぞれデコードする。デコードされた動画ストリーム
のデータは、ビデオコントローラ３０を介して表示部１
１に出力され、表示される。動画ストリームがビデオデ
コーダ２９の数より多いが、CPU２１がビデオデコーダ
２９−１およびビデオデコーダ２９−２に対する動画ス
トリームを順番に割り当てるため、２台のビデオデコー
ダ２９により、４つのビデオストリームのデコード処理
が可能となる。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、画像処理装置およ
び方法、記録媒体、並びにプログラムに関し、特に、複
数の動画ストリームを、動画ストリームより少ない数の
デコーダで復号処理できるようにした画像処理装置およ
び方法、記録媒体、並びにプログラムに関する。

【０００２】

【従来の技術】最近のPDA（Personal Digital Assistan
ts）には、動画像を記録および再生する機能を有するも
のがある。このPDAには、１つのデコーダが搭載されて
いる。PDAにおいて、動画を再生する場合、１つの動画
ストリームを１つのデコーダでデコードし、再生処理を
行うため、表示画面には１つの動画ストリームが表示さ
れる。

【０００３】図１は、従来のPDAの動画ストリームの流
れを示す機能ブロック図である。動画ストリーム１は、
画像情報圧縮処理により符号化された情報であり、ビデ
オデコーダ２が、符号化された情報を復号する。ビデオ
コントローラ３は、復号された情報を表示部４に表示す
る。

【０００４】以上のように、従来のPDAにおいては、１
つのデコーダについて１つの動画ストリームのみをデコ
ードし、再生処理を行うようにしている。

【０００５】

【発明が解決しようとする課題】このように、従来のPD
Aは、1つのデコーダで1つの動画ストリームをデコード
するようにしているため、複数の動画ストリームを再生
したい場合、再生したい動画ストリームの数のデコーダ
を搭載する必要がある。しかしながら、デコーダの数を
増加すると、装置が大型化し、携帯性に欠けることにな
る。その結果、携帯性が要求されるPDAは、デコードの
数を増やすことができないため、複数の動画ストリーム
を再生することができないという課題があった。

【０００６】本発明はこのような状況に鑑みてなされた
ものであり、複数の動画ストリームを、動画ストリーム
より少ない数のデコーダでデコードすることができるよ
うにするものである。

【０００７】

【課題を解決するための手段】本発明の画像処理装置
は、複数の符号化された画像情報を入力する入力手段
と、入力手段により入力された複数の符号化された画像
情報の中から所定の符号化された画像情報を選択する選
択手段と、選択手段により選択された前記画像情報を復
号する、前記入力手段により入力される符号化された前
記画像情報より少ない数の復号手段と、復号手段により
復号された前記画像情報を出力する出力手段とを備える
ことを特徴とする。

【０００８】前記選択手段には、予め定められた所定の
順序、または読み込まれた画像の情報に応じて、前記入
力手段により入力された複数の符号化された画像情報の
中から所定の符号化された画像情報を選択させるように
することができる。

【０００９】前記選択手段には、前記復号手段により１
枚分の動画像の画像情報の復号が完了した後、次の動画
像を選択させるようにすることができる。

【００１０】本発明の画像処理装置は、複数の符号化さ
れた前記画像情報の中からフレーム内予測のみを使用す
るフレームの有無を検出する検出手段をさらに備え、前
記選択手段は、検出手段により検出されたフレーム内予
測のみを使用するフレームから画像情報を選択させるよ
うにすることができる。

【００１１】本発明の画像処理装置は、前記選択手段が
選択した画像情報が復号可能であるか否かを判断する判
断手段と、判断手段により復号不可能であると判断され
た画像情報を復号可能にする復号可能化手段をさらに備
えるようにすることができる。

【００１２】本発明の画像処理方法は、前記入力手段に
より入力された複数の符号化された前記画像情報の中か
ら所定の符号化された画像情報を選択する選択ステップ
と、選択ステップの処理により選択が制御された画像情
報を前記復号手段に供給し、復号させる供給ステップ
と、復号手段により復号された画像情報の出力を制御す
る出力制御ステップとを含むことを特徴とする。

【００１３】本発明の記録媒体に記録されているプログ
ラムは、前記入力手段により入力された複数の符号化さ
れた前記画像情報の中から所定の符号化された画像情報
を選択する選択ステップと、選択ステップの処理により
選択が制御された画像情報を前記復号手段に供給し、復
号させる供給ステップと、復号手段により復号された画
像情報の出力を制御する出力制御ステップとを含むこと
を特徴とする。

【００１４】本発明のプログラムは、前記入力手段によ
り入力された複数の符号化された前記画像情報の中から
所定の符号化された画像情報を選択する選択ステップ
と、選択ステップの処理により選択が制御された画像情
報を前記復号手段に供給し、復号させる供給ステップ
と、復号手段により復号された画像情報の出力を制御す
る出力制御ステップとをコンピュータに実行させること
を特徴とする。

【００１５】本発明の画像処理装置および方法、記録媒
体、並びにプログラムにおいては、複数の符号化された
画像情報が入力され、その中から所定の符号化された画
像情報が選択され、選択された前記画像情報が復号さ
れ、出力される。

【００１６】

【発明の実施の形態】図２は、本発明を適用したPDAの
外観の構成例を示す正面図である。このPDA１０は、LCD
（Liquid Crystal Display）により構成され、画像を表
示する表示部１１と、各種の指令を入力するときにユー
ザにより操作される操作部１２とを有している。この例
では、表示部１１に、４つの動画ストリームに基づく画
像である画像１３乃至１６が表示されている。

【００１７】PDA１０は、画像を表示する機能の他、一
般的なPIM（Personal Information Management）機能で
ある、電子スケジュール管理、電子アドレス帳、電子メ
モ帳、行動リスト管理などの機能を有している。各機能
は、機器単独でも利用できるが、もちろん簡単にパーソ
ナルコンピュータ上のソフトとの連携が可能である。

【００１８】表示部１１は、画像１３乃至１６の他、ア
プリケーションソフトウエアの起動および各種処理に伴
う画像、データとしての画像や文字、再生される音声や
音楽に付随する情報、さらには操作のガイドメッセー
ジ、再生や編集操作のためのメニュー画面などを表示す
る。

【００１９】また、表示部１１上には、操作キー、ペン
による手書き文字入力領域が表示され、描画オブジェク
トであるボタン等の操作子１７が必要に応じて表示され
るか、または予め印刷されている。ユーザにより、ペン
または指により操作子１７が押圧操作されると、表示部
１１の前面に配置されている透明なタッチパネル１８に
よりその操作が検出される。

【００２０】図３は、PDA１０の内部の詳細な構成例を
示すブロック図である。CPU（Central Processing Uni
t）２１は、内部バス２２を介して、RAM(Random Access
Memory)２３、ROM(Read Only Memory)２４、ビデオデ
コーダ２９、ビデオコントローラ３０、およびオーディ
オデコーダ３１に接続されている。

【００２１】CPU２１は、各種アプリケーションプログ
ラムや、OS（Operating Systems）を実行する。RAM２３
は、CPU２１が実行するプログラムや、その実行におい
て適宜変化するパラメータを格納する。ROM２４は、一
般的には、CPU２１が使用するプログラムや演算用のパ
ラメータのうち、基本的に固定のデータを格納する。ビ
デオデコーダ２９は、供給された画像情報をデコードし
てビデオコントローラ３０に出力する。ビデオコントロ
ーラ３０は、供給された画像データを表示部１１に供給
し、表示させる。オーディオデコーダ３１は、オーディ
オデータをデコードし、スピーカ３２に出力する。

【００２２】内部バス２２にはまた、I/O（Input／Outp
ut）コントローラ２５も接続されている。I/Oコントロ
ーラ２５は、外部インターフェース２６を介して代表的
なネットワークとしてのインターネット４１に接続され
ており、図示せぬネットワーク上にある情報を受信する
ことが可能である。I/Oコントローラ２５にはまた、メ
モリ２７、およびハードディスク２８も接続されてい
る。メモリ２７は、I/Oコントローラ２５により制御さ
れ、CPU２１の処理によって生成された情報や、インタ
ーネット４１から受信した情報などを記憶する。ハード
ディスク２８は、CPU２１によって実行されるプログラ
ムや情報を記録または再生する。

【００２３】I/Oコントローラ２５は、必要に応じてド
ライブ３３に接続され、半導体メモリ５１、光磁気ディ
スク５２、光ディスク５３、または磁気ディスク５４に
記憶されている制御用プログラムを読み出し、読み出し
た制御用プログラムをハードディスク２８に供給し、記
録させる。

【００２４】図４は、PDA１０における動画ストリーム
の流れを示す機能ブロック図である。CPU２１は、I/Oコ
ントローラ２５から取り込まれた動画ストリーム６１お
よび動画ストリーム６２のデータに対してデコードの順
番を割り当てる処理を実行する。ビデオデコーダ２９
は、CPU２１によって割り当てられた動画ストリームを
デコードする。デコードされた動画ストリームのデータ
は、ビデオコントローラ３０を介して表示部１１に出力
され、表示される。動画ストリームがビデオデコーダ２
９の数より多いが、CPU２１がビデオデコーダ２９に対
する動画ストリームを順番に割り当てるため、１台のビ
デオデコーダ２９により、２つのビデオストリームのデ
コード処理が可能となる。

【００２５】次に、図５を参照してビデオデコーダ２９
に対する動画ストリームの割り当て処理について説明す
る。この例の場合、CPU２１は、動画ストリーム６１と
動画ストリーム６２を順番に（交互に）選択する。従っ
てこのとき、ビデオデコーダ２９は動画ストリーム６
１、動画ストリーム６２、動画ストリーム６１、動画ス
トリーム６２の順番にそれぞれCPU２１によって設定さ
れた時間だけ動画ストリームをデコードする。

【００２６】次に図６および図７のフローチャートを参
照して、PDA１０が実行する動画ストリーム再生処理の
第１の例を説明する。この処理は、ビデオデコーダ２９
に送る動画ストリームをCPU２１が切り替えることによ
って、全ての再生対象の動画ストリームにおける全ての
フレーム（以下、VOP（Video Object Plane）と称す
る）を再生するものである。また、対象となる動画スト
リームは、読み出しを自由に一時停止したり、再開した
りすることが可能な動画ストリームとする。具体的に
は、例えば、ハードディスク２８またはメモリ２７に記
録されている動画ストリームとすることができる。ある
いはまた、クライアント（PDA１０）の要求に従って、
サーバ（図示せず）が再生、一時停止、再生再開するこ
とが可能なVOD(Video On Demand)のストリームとするこ
とができる。ビデオデコーダ２９は、ある時点の状態を
読み出す処理が可能であるばかりではなく、読み出した
状態を書き戻す処理も可能であるものとする。また、状
態を書き戻すことにより、読み出した際に再生されてい
た地点から、動画ストリームの再生を再開することも可
能であるものとする。

【００２７】なお、以下の説明では、PDA１０は、ｍ個
のビデオデコーダ２９により、同時にn（ｎ>ｍ）個の動
画ストリームを再生するもとする。nowは再生中の動画
ストリーム番号を保持する配列を表し、now[1]がビデオ
デコーダ２９のうち1番のビデオデコーダ２９−１に、n
ow[2]が2番のビデオデコーダ２９−２に、それぞれ対応
する。さらに、この処理は、ユーザが操作部１２を操作
して、動画ストリームの再生処理の開始を指示したとき
に開始される。

【００２８】ステップＳ１１において、CPU２１は、各
動画ストリーム毎のタイムスライス（１動画の表示にか
けられる時間）を計算する。例えば、全ての（ｎ個の）
動画ストリームを表示し終わるまでにＴ秒かけ、全ての
動画ストリームを同じ時間ずつ均等に表示することにし
た場合、タイムスライスはＴ×ｍ/ｎ秒となる。例え
ば、図４の例においては、Ｔを100m秒とすると２個（ｎ
=２）の動画ストリームを１個のビデオデコーダ２９
（ｍ=１）で処理するため、タイムスライスは50m秒とな
る。

【００２９】ステップＳ１２において、CPU２１は、再
生対象のn個の動画ストリームが、メモリ２７またはハ
ードディスク２８に保存されている場合、全ての動画ス
トリームデータを読み取り可能な状態にし、また、動画
ストリームが、外部インターフェース２６からインター
ネット４１を介して外部のサーバに保存されている場
合、セッションを確立する。

【００３０】ステップＳ１３において、CPU２１は、各
動画ストリームについて、再生に必要なパラメータ（画
像サイズや色深度など）をRAM２３記憶させる。

【００３１】ステップＳ１４において、CPU２１は、ビ
デオデコーダ２９、ビデオコントローラ３０を介して、
表示部１１に、各動画ストリームにおける最初のVOPを
表示させる。この処理は、タイムスライスとは関係しな
いもので、動画ストリームを処理するまでの間、最初の
VOPを画面に表示することにより、ユーザの苛立ちを解
消させるために行われる。

【００３２】ステップＳ１５において、CPU２１は、ｍ
個の配列nowに１乃至ｍの値を格納し、now[1]=1,now[2]
=2…now[m]=mとする。この処理は、now[ｉ]のデコーダ
に動画ストリームｉを割り当てるものであり、図５の例
を用いて説明すると、ビデオデコーダ２９に動画ストリ
ーム６１を割り当てることと同様となる。

【００３３】ステップＳ１６において、CPU２１は、ｉ=
1に設定する。以下、ステップＳ１７乃至ステップＳ２
８で、全てのビデオデコーダにおける動画ストリームの
切り替え判定処理、および切り替え処理が行われる。

【００３４】ステップＳ１７において、CPU２１は、now
[ｉ]=0である（now[ｉ]に、何も割り当てられていな
い）か否かを判定する。すなわち、いまの場合、ｉ＝１
である（ステップＳ１６）であるから、now[１]=０であ
るか否かが判定される。CPU２１が、now[ｉ]=0でないと
判定した場合、ステップＳ１８に進む。いまの場合、no
w[１]に割り当てが行われていれば、処理は、ステップ
Ｓ１８に進む。ステップＳ１８において、CPU２１は、n
ow[ｉ]に設定されている番号の動画ストリームを、ビデ
オデコーダｉを用いてデコードさせ、再生させる。図５
の例の場合、ビデオデコーダ２９により動画ストリーム
６１がデコードされ、ビデオコントローラ３０を介して
表示部１１に表示される。CPU２１は、ステップＳ１７
において、now[ｉ]=0であると判定した場合、now[ｉ]に
割り当てが行われていないので、ステップＳ１８の処理
はスキップされ、処理はステップＳ１９に進む。

【００３５】ステップＳ１８の処理の後、または、ステ
ップＳ１７で、now[ｉ]=0であると判定された場合、ス
テップＳ１９において、CPU２１は、操作部１２または
タッチパネル１８を介してユーザから所定の操作が入力
されたか否かを判定する。所定の操作が入力されたと判
定された場合、CPU２１は、ステップＳ２０に進み、そ
の操作に対応する処理を実行し、動画ストリーム再生処
理を終了させる。

【００３６】ステップＳ１９で、ユーザからの操作が入
力されていないと判定された場合、ステップＳ２１にお
いて、CPU２１は動画ストリームのデコードが終端まで
達したか否かを判定する。デコードが終端まで達してい
ないと判定された場合、ステップＳ２２に進み、CPU２
１は、ステップＳ１１または後述するステップＳ３４で
計算したタイムスライスを使い果たしたか否か（所定の
時間が経過したか否か）を判定する。タイムスライスを
使い果たしていないと判定された場合、ステップＳ１７
に戻り、それ以降の処理が繰り返される。すなわち、同
一のビデオデコーダ２９により、次のVOPのデコード処
理が実行される。

【００３７】ステップＳ２２において、タイムスライス
を使い果たしたと判定された場合、ステップＳ２３に進
み、CPU２１は、ビデオデコーダｉに処理中のVOPを、最
後までデコードさせる。すなわち、タイムスライスの時
間が経過したとしても、そのVOPのデコード処理は中断
されず、そのまま継続される。

【００３８】ステップＳ２４において、CPU２１は、動
画ストリームの再生を再開するために必要なビデオデコ
ーダ２９の状態をRAM２３に一時的に記憶する。例え
ば、MPEG(Motion Picture Experts Group)ストリームの
場合、ストリームの再開位置を示すポインタ、予測に使
用する画像が必要であり、これらが保存される。

【００３９】ステップＳ２１において、動画ストリーム
のデコードが終了したと判定された場合、ステップＳ２
９に進み、CPU２１は、ユーザにより動画ストリーム再
生処理のリピートモードが設定されているか否かを判定
する。リピートモードが設定されていると判定された場
合、ステップＳ３０に進み、CPU２１はRAM２３の記憶情
報に基づいて、動画ストリームの再生位置を始端に戻
し、ステップＳ３５に進む。

【００４０】ステップＳ２９において、その動画ストリ
ームについてリピートモードが設定されていないと判定
された場合、ステップＳ３１に進み、CPU２１は、nから
１を減じる。すなわち、１つの動画ストリームの再生処
理が終了したので、再生する動画ストリームの数を表わ
す変数ｎの値が１だけ減少される。

【００４１】ステップＳ３２において、CPU２１は、now
[ｉ]を０に設定する。この処理は、動画ストリームの再
生が終了したため、そのビデオデコーダｉに対する動画
ストリームの割り当てを解除するものである。

【００４２】ステップＳ３３において、CPU２１は、n>m
であるか否かを判定する。このとき、nがmと等しいか、
またはｍより小さいと判定された場合、すなわち再生対
象の動画ストリームの数がビデオデコーダの数ｍと等し
いか、またはそれより少ないと判定された場合、ステッ
プＳ３６に進み、ｍ個のビデオデコーダを用いてn個の
動画ストリームの再生処理を行う。すなわち、動画スト
リームの数が、ビデオデコーダの数と等しいか、それよ
り少ないので、各動画ストリームが、それぞれ所定のビ
デオデコーダに割り当てられ、デコードされる。

【００４３】ステップＳ３３において、n>mであると判
定された場合、ステップＳ３４に進み、CPU２１は、タ
イムスライスを再度計算する（ステップＳ３１の処理
で、ｎの値が減算されているので、ステップＳ１１の処
理で計算した場合と異なる値になっている）。

【００４４】ステップＳ３０またはステップＳ３４の処
理の後、ステップＳ３５において、CPU２１は、ビデオ
デコーダｉで処理中のVOPがある場合、そのVOPをビデオ
デコーダｉに最後までデコードさせる。

【００４５】ステップＳ２４の処理の後、または、ステ
ップＳ３５の処理の後、ステップＳ２５において、CPU
２１は、now[ｉ]のビデオデコーダに、次に再生する動
画ストリームの番号を設定する。このとき、次に再生す
る動画ストリームを選択するためのアルゴリズムの例を
以下に記載する。

【００４６】CPU２１が次に再生する動画ストリームを
選択するためのアルゴリズムの1つ目の例は、残ってい
る動画ストリームの中から、前回再生した時点から、最
も長い時間が経過した動画ストリームを選択するもので
ある。また、２つ目の例は、現在再生している動画スト
リームの中で、累計の再生時間が最も短い動画ストリー
ムを選択するものである。さらに、３つ目の例は、動画
ストリームを番号の順番に選択するものである。このよ
うにして、図５の例においては、動画ストリーム６１が
デコードされた後、動画ストリーム６２が選択される。

【００４７】ステップＳ２６において、CPU２１は、番
号がnow[ｉ]の動画ストリームについて、ステップＳ２
４の処理で記憶したビデオデコーダｉの状態と、ステッ
プＳ１３の処理で記憶した動画ストリームのパラメータ
をRAM２３から読み出し、ビデオデコーダｉに書き込
む。このとき、保存したデータが存在しない場合、ステ
ップＳ１３の処理で記憶された動画ストリームのパラメ
ータのみがRAM２３から読み出され、デコーダｉに書き
込まれる。

【００４８】ステップＳ２７において、ｉ＋１→ｉに設
定する（ｉに１を加える）。いまの場合、ｉ＝２とされ
る。ステップＳ２８において、CPU２１は、ｉ>mである
か否かを判定する。ｉ>mであると判定された場合、すな
わち、全てのビデオデコーダに対する処理が終了した場
合、ステップＳ１６に戻り、それ以降の処理が繰り返さ
れる。ステップＳ２８において、ｉ>mでないと判定され
た場合、ステップＳ１７に戻り、それ以降の処理が繰り
返される。

【００４９】この処理において、タイムスライスが十分
に短く、かつビデオデコーダ２９が十分に高速な場合、
各動画ストリームは、同時再生しているように見える。
また、ビデオデコーダ２９が十分に高速でない場合にお
いても、低速ではあるが、同時再生を行うことが可能と
なる。

【００５０】次に、図８および図９のフローチャートを
参照して、PDA１０が実行する動画ストリーム再生処理
の第２の例を説明する。この処理は、ビデオデコーダ２
９に送る動画ストリームをCPU２１が切り替えることに
よって、n個の動画ストリームを実時間で再生するもの
である。例えば、１つの動画ストリームを再生している
場合、再生している動画ストリーム以外の動画ストリー
ムは読み飛ばされる。すなわち、この例は、図６および
図７における再生可能な動画ストリームに加え、ライブ
ストリーミングを受信している場合にも適用可能であ
る。

【００５１】この例における動画ストリームの圧縮方法
は、フレーム間予測を使用した圧縮によるVOPと、フレ
ーム間予測を使わない圧縮によるVOPを定期的に組み込
んだものである。以下の説明では、動画ストリームの例
としてMPEGストリームを使用する。この場合、フレーム
間予測により圧縮されたものはP（Predictive）フレー
ム（以下、PVOPと称する）とB（Bidirectionally Predi
ctive）フレーム（以下、BVOPと称する）に対応し、フ
レーム間予測を使用しないフレーム（フレーム内予測の
みを使用するフレーム）予測により圧縮されたVOPはI
（Intra）フレーム（以下、IVOPと称する）に対応す
る。なお、PDA１０は、同時にn個の動画ストリームを再
生し、m個（1<=m<n）のデコーダを有するとする。ilist
は、読み込んだ動画ストリームの中にIVOPが存在する場
合、その動画ストリームの番号を記憶するリストであ
る。

【００５２】ステップＳ４１において、CPU２１は、再
生対象のn個の動画ストリームが、メモリ２７またはハ
ードディスク２８に保存されている場合、動画ストリー
ムデータを読み取り可能な状態にし、動画ストリーム
が、外部インターフェース２６からインターネット４１
を介してサーバ（停止、一時停止、再生再開等が可能な
サーバ）に保存されている場合、セッションを確立す
る。

【００５３】ステップＳ４２において、CPU２１は、各
動画ストリームについて、再生に必要なパラメータ（画
像サイズや色深度など）をRAM２３に記憶させる。

【００５４】ステップＳ４３において、CPU２１は、各
配列nowに、now[1]=0,now[2]=0…now[m]=0のように、０
を格納する。以上のステップＳ４１乃至Ｓ４３の処理
は、図６のステップＳ１２、Ｓ１３、Ｓ１５の処理と同
様の処理である。

【００５５】ステップＳ４４において、CPU２１は、リ
ストilistを空にする。ステップＳ４５において、CPU２
１は、ｉ=1に設定する。以下、ステップＳ４６乃至ステ
ップＳ４９の処理は、全ての動画ストリームについてIV
OPが読みこまれた否かを判定している。

【００５６】図１０は、この処理における動画ストリー
ム再生処理の流れの例をグラフにしたものである。図１
０において、n=3,m=1であり、I、B、Pは、それぞれIVO
P、BVOP、PVOPに対応し、ilistがφというのは、リスト
ilistが空であることを示す。

【００５７】ステップＳ４６において、CPU２１は、動
画ストリーム番号ｉのVOPがIVOPであるか否かを判定す
る。CPU２１は、IVOPであると判定した場合、ステップ
Ｓ４７で、リストilistにｉを加える。図１０の例で
は、CPU２１が、動画ストリーム１の1番目にIVOPが読み
こまれたと判定し、リストilistに動画ストリーム１の
番号１を記憶させる。ステップＳ４６でストリーム番号
ｉでIVOPが転送されていないと判定された場合、ステッ
プＳ４７の処理はスキップされる。

【００５８】ステップＳ４７の処理の後、または、ステ
ップＳ４６で、ストリーム番号ｉでIVOPが転送されてい
ないと判定した場合、CPU２１は、ステップＳ４８にお
いて、ｉに１を加える。いまの場合、ｉ＝２とされる。

【００５９】ステップＳ４９において、CPU２１は、ｉ>
nであるか否か、すなわち、全ての動画ストリームに対
して処理が終了したか否かを判定する。ｉ>nでない（全
ての動画ストリームに対してまだ処理が終了していな
い）と判定された場合、ステップＳ４６に戻り、それ以
降の処理が繰り返される。

【００６０】この処理が繰り返されることで、図１０の
動画ストリーム２および動画ストリーム３においても、
CPU２１はIVOPが転送されたか否かを判定する。これに
より、全ての動画ストリームのそのタイミングにおける
各VOPがIVOPであるか否かが判定され、IVOPであればリ
ストilistにその動画ストリームの番号が登録される。

【００６１】ステップＳ４９で、ｉ>nである（全ての動
画ストリームに対して処理が終了した）と判定された場
合、ステップＳ５０に進み、CPU２１は、ｊ=1に設定す
る。以下、ステップＳ５１乃至ステップＳ６３で、全て
のビデオデコーダに対する動画ストリームの切り替え判
定処理、および切り替え処理が行われる。

【００６２】ステップＳ５１において、CPU２１は、now
[ｊ]=0である（now[ｊ]に、何も割り当てられていな
い）か否かを判定する。すなわち、いまの場合、ｊ＝１
である（ステップＳ５０）であるから、now[１]＝０で
あるか否かが判定される。CPU２１が、now[ｊ]=0でない
と判定した場合、ステップＳ５２に進む。いまの場合、
now[１]に割り当てが行なわれていれば、処理は、ステ
ップＳ５２に進む。ステップＳ５２において、CPU２１
は、now[ｊ]に設定されている番号の動画ストリーム
を、ビデオデコーダｊを用いてデコードさせ、再生させ
る。図５の例の場合、ビデオデコーダ２９により動画ス
トリーム６１がデコードされ、ビデオコントローラ３０
を介して表示部１１に表示される。CPU２１が、ステッ
プＳ５１において、now[ｊ]=0であると判定した場合、n
ow[ｊ]に割り当てが行われていないので、ステップＳ５
２の処理はスキップされ、処理はステップＳ５３に進
む。

【００６３】ステップＳ５２の処理の後、または、ステ
ップＳ５１で、now[ｊ]=0であると判定された場合、ス
テップＳ５３において、CPU２１は、操作部１２または
タッチパネル１８を介してユーザから所定の操作が入力
されたか否かを判定する。ユーザから所定の操作が入力
されたと判定された場合、CPU２１は、ステップＳ５４
に進み、その操作に対応する処理を実行し、動画ストリ
ーム再生処理を終了させる。

【００６４】ステップＳ５３でユーザからの操作が入力
されていないと判定された場合、ステップＳ５５におい
て、CPU２１は、動画ストリームのデコードが終端まで
達したか否かを判定する。

【００６５】ステップＳ５５において、デコードしてい
る動画ストリームが終端まで達したと判定された場合、
ステップＳ６４に進み、CPU２１は、ユーザにより動画
ストリーム再生処理のリピートモードが設定されている
か否かを判定する。リピートモードが設定されていると
判定された場合、ステップＳ６５に進み、CPU２１はRAM
２３の記憶情報に基づいて、動画ストリームの再生位置
を始端に戻し、ステップＳ５６に進む。

【００６６】ステップＳ６４において、その動画ストリ
ームについてリピートモードが設定されていないと判定
された場合、ステップＳ６６に進み、CPU２１は、ｎか
ら１を減じる。すなわち、１つの動画ストリームの再生
処理が終了したので、再生する動画ストリームの数を表
わす変数ｎの値が１だけ減少される。

【００６７】ステップＳ６７において、CPU２１は、now
[ｊ]を０に設定する。この処理は、動画ストリームの再
生が終了したため、そのビデオデコーダｊに対する動画
ストリームの割り当てを解除するものである。

【００６８】ステップＳ６８において、CPU２１は、n＝
0であるか否かを判定する。このとき、nが０であると判
定された場合、すなわち全ての再生対象の動画ストリー
ムの処理が終了したと判定された場合、動画ストリーム
再生処理を終了する。ステップＳ６８において、ｎ＝０
でないと判定された場合、ステップＳ５６に進む。

【００６９】ステップＳ５５で、デコードが終端まで達
していないと判定された場合、ステップＳ６５の処理の
後、または、ステップＳ６８においてn=0でない（再生
対象の動画ストリームが存在する）と判定された場合、
ステップＳ５６に進み、CPU２１は、リストilistが空で
あるか否か、すなわち、IVOPが読みこまれた動画ストリ
ームが存在するか否かを判定する。リストilistが空で
あると判定された場合（IVOPが読みこまれた動画ストリ
ームが存在しない場合）、ステップＳ６２に進む。

【００７０】ステップＳ５６でリストilistが空でない
と判定された場合（IVOPが読みこまれた動画ストリーム
が存在する場合）、ステップＳ５７に進み、CPU２１
は、ビデオデコーダｊを選択するか否かを判定する。図
１０の例の場合、リストilistには１が格納されている
ため、ビデオデコーダｊを選択するか否かが判定され
る。このとき、選択可能なビデオデコーダの数は、リス
トilistの要素数によって決定される。リストilistの要
素数が２×mより大きい場合、m個（全てのビデオデコー
ダ）となり、リストilistの要素数がmより大きく２×m
より小さい場合、（ilistの要素数−m）個となり、リス
トilistの要素数がm以下の場合、（ilistの要素数）個
となる。このとき、ビデオデコーダを選択するためのア
ルゴリズムの例を以下に記載する。

【００７１】CPU２１がビデオデコーダを選択するため
のアルゴリズムの1つ目の例は、現在再生している動画
ストリームの中で、連続再生時間が最も長い動画ストリ
ームを再生しているビデオデコーダを選択するものであ
る。また、2つ目の例は、現在再生している動画ストリ
ームの中で、累計の再生時間が最も長い動画ストリーム
を再生しているビデオデコーダを選択するものである。
さらに、3つ目の例は、ビデオデコーダを番号の順番に
選択するものである。また、4つ目の例は、ランダムに
ビデオデコーダを選択するものである。

【００７２】CPU２１は、ステップＳ５７でビデオデコ
ーダｊを選択した場合、ステップＳ５８に進み、ビデオ
デコーダｊに、処理中のVOPを最後までデコードさせ
る。

【００７３】ステップＳ５９において、CPU２１は、次
に再生する動画ストリームの番号をリストilistから選
択し、now[ｊ]に設定する。このとき、次に再生する動
画ストリームを選択するためのアルゴリズムの例を以下
に記載する。

【００７４】リストilistの要素数が２×mより大きい場
合における、CPU２１が次に再生する動画ストリームを
選択するためのアルゴリズムの1つ目の例は、リストili
stに含まれる動画ストリームの中において、前回再生し
た時点から、最も短い時間が経過した動画ストリームを
選択するものである。また、２つ目の例は、リストilis
tに含まれる動画ストリームの中において、累計の再生
時間が最も長い動画ストリームを選択するものである。
さらに、３つ目の例は、動画ストリームを番号の順番に
選択するものである。また、4つ目の例は、ランダムに
動画ストリームを選択するものである。

【００７５】また、リストilistの要素数が２×m以下の
場合における、CPU２１が次に再生する動画ストリーム
を選択するためのアルゴリズムの1つ目の例は、リストi
listに含まれる動画ストリームの中において、前回再生
した時点から、最も長い時間が経過した動画ストリーム
を選択するものである。また、２つ目の例は、リストil
istに含まれる動画ストリームの中において、累計の再
生時間が最も短い動画ストリームを選択するものであ
る。さらに、３つ目の例は、動画ストリームを番号の順
番に選択するものである。また、4つ目の例は、ランダ
ムに動画ストリームを選択するものである。

【００７６】ステップＳ６０において、CPU２１は、リ
ストilistからnow[j]を除く。図１０の例の場合、リス
トilistからnow[１]が除かれる。

【００７７】ステップＳ６１において、CPU２１は、番
号がnow[ｊ]の動画ストリームについて、ステップＳ４
２の処理で記憶した動画ストリームのパラメータをRAM
２３から読み出し、ビデオデコーダｊに読み込む。

【００７８】ステップＳ５７で、ビデオデコーダｊが選
択されていないと判定された場合、ステップＳ５８乃至
ステップＳ６１の処理はスキップされる。

【００７９】ステップＳ６１の処理の後、ステップＳ５
６でリストilistが空であると判定された場合、また
は、ステップＳ５７でビデオデコーダｊを選択しないと
判定された場合、ステップＳ６２に進み、CPU２１は、
ｊに１を加える。

【００８０】ステップＳ６３において、CPU２１は、ｊ>
mであるか否かを判定する。ｊ>mでないと判定された場
合、すなわち、全てのビデオデコーダに対する処理がま
だ終了していない場合、ステップＳ５１に戻り、それ以
降の処理が繰り返される。ステップＳ６３で、ｊ>mであ
ると判定された場合、すなわち、全てのビデオデコーダ
に対する処理が終了した場合、ステップＳ４５に戻り、
それ以降の処理が繰り返される。

【００８１】以上の処理においては、ビデオデコーダに
転送される動画ストリームは正しい順番で並んだMPEGフ
ォーマットとなるため、ビデオデコーダの状態を記憶す
る（図７のステップＳ２４の処理を実行する）必要がな
い。

【００８２】また、リストilistを使用することによっ
て、動画ストリームの中からIVOPが存在する動画ストリ
ームを選択し、再生することが可能となるため、実時間
での再生が可能となる。

【００８３】次に、図１１乃至図１４のフローチャート
を参照して、PDA１０が実行する動画ストリーム再生処
理の第３の例を説明する。この処理は、ストリーミング
で、クライアントからサーバに通信することができ、エ
ラーの回復手段がある場合に使用可能である。例えば、
MPEG４ストリーミングにおいて、ARTS（Advanced Real
Time Simple）profileでNEWPRED modeを使用する場合が
挙げられる。このモードでは、アップストリームメッセ
ージを用いてビデオデコーダ２９（クライアント）から
エンコーダ（図示せぬサーバ）に対してメッセージを送
信することが可能であり、エラーが起きた場合、正常に
デコードしたVOPまで戻り、正常なVOPを使用して次のVO
Pをエンコードするように指示することが可能である（M
PEG-4 Part2:Visual AMENDMENT 1, ISO/IEC 14496-2:19
99/Amd.1:2000(E)）。NEWPRED modeは、本来エラーを修
正するために用いられるが、このアルゴリズムでは、こ
の処理を利用して複数の動画ストリームを再生してい
る。なお、画像処理装置は、同時にn個の動画ストリー
ムを再生し、m個（1<=m<n）のビデオデコーダを有する
とする。

【００８４】ステップＳ７１において、CPU２１は、各
動画ストリーム毎のタイムスライス（１動画の表示にか
けられる時間）を計算する。

【００８５】ステップＳ７２において、CPU２１は、再
生対象のn個の動画ストリームが、外部インターフェー
ス２６からインターネット４１を介して外部のサーバ
（停止、一時停止、再生再開等が可能なサーバ）に保存
されている場合、セッションを確立する。

【００８６】ステップＳ７３において、CPU２１は、各
動画ストリームについて、再生に必要なパラメータ（画
像サイズや色深度など）をRAM２３記憶させる。

【００８７】ステップＳ７４において、CPU２１は、各
配列nowに、now[1]=0,now[2]=0…now[m]=0のように、0
を格納する。

【００８８】ステップＳ７５において、CPU２１は、ｉ=
1に設定する。以上のステップＳ７１乃至Ｓ７５の処理
は、図６のステップＳ１１、Ｓ１２、Ｓ１３、Ｓ１５、
Ｓ１６の処理と同様の処理である。以下、ステップＳ７
６乃至ステップＳ８９の処理は、全ての動画ストリーム
について、IVOPが読みこまれたか否かを判定している。

【００８９】ステップＳ７６において、CPU２１は、動
画ストリーム番号ｉで転送されたVOPがIVOPであるか否
かを判定する。CPU２１が、動画ストリーム番号ｉのVOP
はIVOPではないと判定した場合、処理はステップＳ８８
へ進む。

【００９０】ステップＳ７６において、動画ストリーム
番号ｉのVOPがIVOPであると判定した場合、ステップＳ
７７に進み、CPU２１は、動画ストリーム番号ｉで転送
されたIVOPをRAM２３に記憶させる。このとき、CPU２１
は、以前に同じ動画ストリームのデータを記憶していた
場合、古いデータを破棄させる。

【００９１】ステップＳ７８において、CPU２１は、ｊ=
1に設定する。以下、ステップＳ７９乃至ステップＳ８
４で、全てのビデオデコーダを調べ、使用していないビ
デオデコーダがあるか否かを判定している。

【００９２】ステップＳ７９において、CPU２１は、ｘ
＝０に設定する。ｘは、使用されていないビデオデコー
ダの番号を保持する変数である。

【００９３】ステップＳ８０において、CPU２１は、now
[j]=ｉであるか、すなわち、ビデオデコーダｊでストリ
ーム番号ｉの動画ストリームが再生されているか否か判
定する。いまの場合、ｉ＝１，ｊ＝１である（ステップ
Ｓ７５，ステップＳ７８）から、now[1]＝１であるか否
かが判定される。CPU２１が、now[ｊ]=ｉである（ビデ
オデコーダｊでストリーム番号ｉの動画ストリームが再
生されている）と判定した場合、ステップＳ８８に進
む。いまの場合、now[1]にストリーム番号１の動画スト
リームが割り当てられていれば、処理はステップＳ８８
に進む。

【００９４】ステップＳ８０で、now[ｊ]＝ｉでない
（ビデオデコーダｊでストリーム番号ｉの動画ストリー
ムが再生されていない）と判定された場合、ステップＳ
８１に進み、CPU２１は、now[ｊ]＝０であるか、すなわ
ち、ビデオデコーダｊが使用されているか否かを判定す
る。CPU２１は、now[ｊ]=０である（ビデオデコーダjが
使用されていない）と判定した場合、ステップＳ８２に
進み、ｘ=ｊに設定する。この処理は、ビデオデコーダ
ｊが使用されていない場合、使用されていないビデオデ
コーダの番号jをｘに格納する処理である。

【００９５】ステップＳ８２の処理の後、または、ステ
ップＳ８１で、now[ｊ]＝０でない（ビデオデコーダjが
使用されている）と判定された場合、ステップ８３にお
いて、CPU２１は、ｊに１を加える。いまの場合、ｊ＝
２となる。

【００９６】ステップＳ８４において、CPU２１は、ｊ>
mであるか否か、すなわち、全てのビデオデコーダに対
して処理が終了したか否かを判定する。CPU２１が、ｊ>
mでない（全てのビデオデコーダに対して処理が終了し
ていない）と判定した場合、ステップＳ８０に戻り、そ
れ以降の処理が繰り返される。

【００９７】ステップＳ８４で、ｊ>mである（全てのビ
デオデコーダに対して処理が終了した）と判定された場
合、ステップＳ８５に進み、CPU２１は、ｘ=０であるか
否か、すなわち、使用していないビデオデコーダが存在
するか否かを判定する。CPU２１が、ｘ=０である（使用
していないビデオデコーダが存在しない）と判定した場
合、処理はステップＳ８８に進む。

【００９８】ステップＳ８５で、ｘ=０でない（使用し
ていないビデオデコーダが存在する）と判定された場
合、ステップＳ８６において、now[x]=ｉに設定する。
すなわち、動画ストリーム番号ｉをnow[x]（使用されて
いないビデオデコーダ）に割り当てる。

【００９９】ステップＳ８７において、CPU２１は、番
号がnow[x]の動画ストリームについて、ステップＳ７３
の処理で記憶した動画ストリームのパラメータをRAM２
３から読み出し、ビデオデコーダｘに書き込む。

【０１００】ステップＳ８５において、x=0である（全
てのビデオデコーダが使用されている）と判定された場
合、および、ステップＳ８７の処理の後、ステップＳ８
０において、now[ｊ]=ｉである（ビデオデコーダｊでス
トリーム番号ｉが再生されている）と判定された場合、
または、ステップＳ７６において、動画ストリーム番号
ｉで転送されたVOPがIVOPではないと判定された場合、
ステップＳ８８に進み、CPU２１は、ｉに１を加える。
すなわち、いまの場合、ｉ=２とされる。

【０１０１】ステップＳ８９において、CPU２１は、ｉ>
nであるか否か、すなわち、全ての動画ストリームに対
して処理が終了したか否かを判定する。ｉ>nでない（全
ての動画ストリームに対して処理が終了していない）と
判定された場合、ステップＳ７６に戻り、それ以降の処
理が繰り返される。

【０１０２】ステップＳ８９で、ｉ>nである（全ての動
画ストリームに対して処理が終了した）と判定された場
合、ステップＳ９０に進み、CPU２１は、ｋ＝１に設定
する。以下、ステップＳ９１乃至ステップＳ１０５で、
全てのビデオデコーダにおける動画ストリームの切り替
え判定処理、および切り替え処理が行われる。

【０１０３】ステップＳ９１において、CPU２１は、now
[k]=０である（now[ｋ]に、何も割り当てられていな
い）か否かを判定する。すなわち、いまの場合、ｋ=１
（ステップＳ９０）であるから、now[１]＝０であるか
否かが判定される。CPU２１が、now[k]=０であると判定
した場合、処理はステップＳ９５に進む。いまの場合、
now[1]に割り当てが行なわれていなければ、処理はステ
ップＳ９５に進む。

【０１０４】ステップＳ９１で、now[k]=０でないと判
定された場合、now[ｋ]に割り当てが行なわれているの
で、処理はステップＳ９２に進み、CPU２１は、番号now
[k]の動画ストリームのデータがデコード可能であるか
否か判定する。

【０１０５】デコード不可能な動画ストリームの例を、
以下に記載する。１つ目の例は、デコードに必要なVOP
がメモリやビデオデコーダ内に残ってない場合である。
２つ目の例は、VOPが転送中に壊れていた（パケットの
欠落、ビット化などの通信路でエラーが起きた）場合で
ある。

【０１０６】逆に、デコード可能な動画ストリームとし
ては、VOPがIVOPである場合、また、PVOPおよびBVOPに
おいては、デコードに必要なVOPが存在する場合であ
る。これ以外の場合、デコードは不可能である。

【０１０７】ステップＳ９２において、デコードが可能
であると判定された場合、ステップＳ９４に進み、CPU
２１は、now[k]に設定されている番号の動画ストリーム
を、ビデオデコーダｋを用いてデコードさせ、再生させ
る。図５の例の場合、ビデオデコーダ２９により動画ス
トリーム６１がデコードされ、ビデオコントローラ３０
を介して表示部１１に表示される。

【０１０８】ステップＳ９２において、デコードが不可
能であると判定された場合、ステップＳ９３に進み、CP
U２１は、図示せぬサーバにアップストリームメッセー
ジを送信し、修復する。具体的には、以前に正常にデコ
ードできたVOPを使用して予測符号化するようにエンコ
ーダに指示することにより修復を行う。本アルゴリズム
の例においては、デコードに必要なVOPがメモリやビデ
オデコーダ内に残ってない場合を想定しており、ビデオ
デコーダの割り当てられていなかった時間のVOPをスキ
ップしている。

【０１０９】ステップＳ９４の処理の後、ステップＳ９
３の処理の後、または、ステップＳ９１において、now
[k]=０であると判定された場合、ステップＳ９５に進
み、CPU２１は、操作部１２またはタッチパネル１８を
介してユーザから所定の操作が入力されたか否かを判定
する。ユーザから所定の操作が入力されたと判定された
場合、CPU２１は、ステップＳ９６に進み、その操作に
対応する処理を実行し、動画ストリーム再生処理を終了
させる。

【０１１０】ステップＳ９５で、ユーザからの操作が入
力されていないと判定された場合、ステップＳ９７にお
いて、CPU２１は、デコードしている動画ストリームが
終端まで達したか否かを判定する。デコードが終端まで
達したと判定された場合、処理はステップＳ１０６に進
む。

【０１１１】ステップＳ９７において、デコードが終端
まで達していないと判定された場合、ステップＳ９８に
進み、CPU２１は、n>mであるか否かを判定する。このと
き、ｎがｍと等しいか、またはｍより小さいと判定され
た場合、すなわち再生対象の動画ストリームの数ｎがビ
デオデコーダの数ｍと等しいか、またはそれより少ない
と判定された場合、ステップＳ１０５に進む。

【０１１２】ステップＳ９８で、n>mである（再生対象
の動画ストリームの数ｎがビデオデコーダの数ｍより大
きい）と判定された場合、ステップＳ９９に進み、CPU
２１は、ステップＳ７１または後述するステップＳ１１
１で計算したタイムスライスを使い果たしたか否か（所
定の時間が経過したか否か）を判定する。タイムスライ
スを使い果たしていないと判定された場合、ステップＳ
９１に戻り、それ以降の処理が繰り返される。すなわ
ち、同一のビデオデコーダ２９により、次のVOPのデコ
ード処理が実行される。

【０１１３】ステップＳ９９において、タイムスライス
を使い果たしたと判定された場合、ステップＳ１００に
進み、CPU２１は、ビデオデコーダｋに処理中のVOPを最
後までデコードさせる。すなわち、タイムスライスの時
間が経過したとしても、そのVOPのデコード処理は中断
されず、そのまま継続される。

【０１１４】ステップＳ１０１において、CPU２１は、
動画ストリームの再生を再開するために必要なビデオデ
コーダ２９の状態をRAM２３に一時的に記憶させる。

【０１１５】ステップＳ９７において、デコードしてい
る動画ストリームが終端まで達したと判定された場合、
ステップＳ１０６に進み、CPU２１は、ユーザにより動
画ストリーム再生処理のリピートモードが設定されてい
るか否かを判定する。リピートモードが設定されている
と判定された場合、ステップＳ１０７に進み、CPU２１
はRAM２３の記憶情報に基づいて、動画ストリームの再
生位置を始端に戻し、ステップＳ１１２に進む。

【０１１６】ステップＳ１０６において、その動画スト
リームについてリピートモードが設定されていないと判
定された場合、ステップＳ１０８に進み、CPU２１は、n
から１を減じる。すなわち、１つの動画ストリームの再
生処理が終了したので、再生する動画ストリームの数を
表わす変数ｎの値が１だけ減少される。

【０１１７】ステップＳ１０９において、CPU２１は、n
ow[ｋ]を０に設定する。この処理は、動画ストリームの
再生が終了したため、そのビデオデコーダｊに対する動
画ストリームの割り当てを解除するものである。

【０１１８】ステップＳ１１０において、CPU２１は、n
＝0であるか否かを判定する。このとき、nが０であると
判定された場合、すなわち再生対象の動画ストリームが
全て無くなったと判定された場合、動画ストリーム再生
処理を終了する。

【０１１９】ステップＳ１１０において、n=０でない
（再生対象の動画ストリームが存在する）と判定された
場合、ステップＳ１１１に進み、CPU２１は、タイムス
ライスを再度計算する（ステップＳ１０８の処理で、ｎ
の値が減算されているので、ステップＳ７１の処理で計
算した場合と異なる値になっている）。

【０１２０】ステップＳ１０７の処理の後、または、ス
テップＳ１１１の処理の後、ステップＳ１１２におい
て、CPU２１は、ビデオデコーダｋで処理中のVOPがある
場合、そのVOPをビデオデコーダｋに最後までデコード
させる。

【０１２１】ステップＳ１０１の処理の後、または、ス
テップＳ１１２の処理の後、ステップＳ１０２におい
て、CPU２１は、now[ｋ]のビデオデコーダに、次に再生
する動画ストリームの番号を設定する。このとき、次に
再生する動画ストリームを選択するためのアルゴリズム
の例を以下に記載する。

【０１２２】CPU２１が次に再生する動画ストリームを
選択するためのアルゴリズムの1つ目の例は、残ってい
る動画ストリームの中から前回再生した時点から、最も
長い時間が経過した動画ストリームを選択するものであ
る。また、２つ目の例は、現在再生している動画ストリ
ームの中で、累計の再生時間が最も短い動画ストリーム
を選択するものである。さらに、３つ目の例は、動画ス
トリームを番号の順番に選択するものである。

【０１２３】ステップＳ１０３において、CPU２１は、
番号がnow[ｋ]の動画ストリームについて、ステップＳ
１０１の処理で記憶したビデオデコーダｋの状態、また
はそれより後にステップＳ７７の処理で記憶された場合
には、ステップＳ７７の処理で記憶したIVOPのビデオデ
コーダｋの状態と、ステップＳ７３の処理で記憶した動
画ストリームのパラメータをRAM２３から読み出し、ビ
デオデコーダｋに書き込む。このとき、保存したデータ
が存在しない場合、ステップＳ７３の処理で記憶された
動画ストリームのパラメータのみがRAM２３から読み出
され、ビデオデコーダｋに書き込まれる。

【０１２４】ステップＳ１０４において、CPU２１は、
ｋに１を加える。ステップＳ１０５において、CPU２１
は、ｋ>mであるか否かを判定する。ｋ>mでないと判定さ
れた場合、すなわち、全てのビデオデコーダに対する処
理がまだ終了していないと判定された場合、ステップＳ
９１に戻り、それ以降の処理が繰り返される。ステップ
Ｓ１０５で、ｋ>mであると判定された場合、すなわち、
全てのビデオデコーダに対する処理が終了したと判定さ
れた場合、ステップＳ７５に戻り、それ以降の処理が繰
り返される。

【０１２５】以上の処理によって、複数の動画ストリー
ムを、1つのビデオデコーダでデコードすることが可能
となる。

【０１２６】また、上述した一連の処理は、複数の動画
ストリームを動画ストリームの数より少ないビデオデコ
ーダでデコードする場合にも適用することが可能であ
る。

【０１２７】図１５は、PDA１０の内部の第２の詳細な
構成例を示すブロック図である。図３のPDA１０では、
ビデオデコーダ２９の数が１個であるのに対して、図１
５のPDA１０では、ビデオデコーダ２９−１、２９−２
と２個設けられている。図１５のPDA１０のその他の構
成は、図３のPDA１０の構成と同様であるため、その説
明は省略する。

【０１２８】図１６は、図１５のPDA１０における動画
ストリームの流れを示す機能ブロック図である。CPU２
１は、I/Oコントローラ２５から取り込まれた動画スト
リーム６１乃至動画ストリーム６４に対してデコードの
順番を割り当てる処理を実行する。ビデオデコーダ２９
−１およびビデオデコーダ２９−２は、CPU２１によっ
て割り当てられた動画ストリームをそれぞれデコードす
る。デコードされた動画ストリームのデータは、ビデオ
コントローラ３０を介して表示部１１に出力され、表示
される。動画ストリームがビデオデコーダ２９の数より
多いが、CPU２１がビデオデコーダ２９−１およびビデ
オデコーダ２９−２に対する動画ストリームを順番に割
り当てるため、２台のビデオデコーダ２９により、４つ
のビデオストリームのデコード処理が可能となる。

【０１２９】次に、図１７を参照して図１５のPDA１０
におけるビデオデコーダ２９−１およびビデオデコーダ
２９−２に対する動画ストリームの割り当て処理につい
て説明する。この例の場合、CPU２１は、ビデオデコー
ダ２９−１に対して、動画ストリーム６１、動画ストリ
ーム６２、動画ストリーム６３、動画ストリーム６４、
動画ストリーム６３の順番にそれぞれCPU２１によって
設定された時間だけ動画ストリームをデコードさせ、ビ
デオデコーダ２９−２に対して、動画ストリーム６３、
動画ストリーム６４、動画ストリーム６１、動画ストリ
ーム６２の順番にそれぞれCPU２１によって設定された
時間だけ動画ストリームをデコードさせる。

【０１３０】各動画ストリームは、ビデオデコーダ２９
−１およびビデオデコーダ２９−２によってデコードさ
れ、同時再生される。

【０１３１】このとき、PDA１０が実行する動画ストリ
ーム再生処理のアルゴリズムは、図６と図７、図８と図
９、ならびに図１１乃至図１４に示すフローチャートで
説明される。このように、複数のビデオデコーダを有す
るPDA１０においても、CPU２１が、複数の動画ストリー
ムを各ビデオデコーダに順番に割り当てるため、2台の
ビデオデコーダ２９−１，２９−２により、４つの動画
ストリーム６１乃至６４のデコード処理が可能となる。

【０１３２】以上のように、表示部１１に複数の画面
（画像）を同時に表示させる、いわゆるマルチビジョン
表示を行うと、一般的に、オーディオは、１つの画像に
対応するものだけを出力するから（すなわち、通常、オ
ーディオデコーダ３１は１個とされ、２つ以上の画像に
対応するオーディオを同時に出力することは一般的に行
なわれないから）、複数の画像のうちの、どの画像に対
応するオーディオを選択するか否かが問題となる。

【０１３３】そこで次に、図１８乃至図２０を参照し
て、マルチビジョン表示における、オーディオストリー
ムの選択再生の例を説明する。

【０１３４】図１８は、ビデオデコーダ２９により２つ
の動画ストリームを復号した場合の表示画面例を表わし
ている。この例では、表示部１１に、主番組としての動
画ストリームに基づく画像７１が大きく表示され、副番
組としての動画ストリームに基づく画像７２が小さく表
示されている。また、表示部１１の下部には、主番組の
動画ストリーム名、ビットレート、および時間などの情
報７３が表示されている。ユーザが操作部１２を操作す
ることにより、所定の動画ストリームが主番組または副
番組として選択され、再生される。この例の場合、オー
ディオデコーダ３１は、主番組として選択された画像ス
トリームに対応するオーディオストリームのオーディオ
を再生する。この処理における動画ストリームのアルゴ
リズムとして、上述した図６と図７、図8と図９、並び
に図１１乃至図１４の３つのアルゴリズムが全て適用可
能である。

【０１３５】図１９は、ビデオデコーダ２９で２つの動
画ストリームを復号した場合の他の表示画面例を表わし
ている。この例の場合、表示部１１は、動画ストリーム
に基づく画像８１と画像８２を同じ大きさで表示してい
る。画像８１と画像８２の左側には、それぞれの動画ス
トリームの動画ストリーム名、ビットレート、および時
間などの情報８３、または情報８４が表示されている。
すなわち、この例の場合、２つの画像の間に、主と副の
関係は存在しない。そこでこの例の場合、オーディオデ
コーダ３１は、そのうちの、フォーカスされている（カ
ーソル８５により選択されている）動画ストリーム（図
１９の例の場合、画像８１の動画ストリーム）に対応す
るオーディオストリームを再生する。フォーカスはユー
ザが操作部１２を操作することで、操作に基づいてカー
ソル８５が移動するため切り替え可能である。また、ユ
ーザが操作部１２を操作することで、CPU２１が自動的
に切り替えの処理を行うように指令することも可能であ
る。この処理における動画ストリームのアルゴリズムと
しても、上述した３つの全てのアルゴリズムが適用可能
である。

【０１３６】図２０は、タイムスライスを設定し、タイ
ムスライスに従ってフォーカスを切り替え、動画ストリ
ームを再生する場合の表示画面例である。表示部１１に
おいて、主番組の動画ストリームに基づく画像９１が画
面の中央に大きく表示され、その周囲に、１６個の副番
組の動画ストリームに基づく画像９２が表示されてい
る。例えば、タイムスライスを１０秒毎に設定すると、
１０秒毎に、副番組の動画ストリームに基づく画像９２
の中から、任意のまたは定められた順番の動画ストリー
ムが選択され、主番組の動画ストリーム９１として表示
される。オーディオデコーダ３１は、主番組のオーディ
オストリームのオーディオを再生する。この処理におけ
る動画ストリームのアルゴリズムとしても、上述した３
つの全てのアルゴリズムが適用可能である。

【０１３７】図２１は、本発明を携帯電話機に適用した
例である。携帯電話機１００には、動画ストリームに基
づく画像１０１乃至１０４が表示される。ユーザは、操
作部１０５を操作することにより、動画ストリームを選
択および再生、表示させることが可能である。

【０１３８】本発明は、PDA１０、携帯電話機１００の
他、各種の画像処理装置に適用することができる。例え
ば、画像処理装置が１つのオーディオデコーダしか有し
ていない場合において、テレビ会議のように、発言が交
互になされるような状況のとき、先に発言した人を優先
するような仕組みを使用して、発言者のオーディオスト
リームを再生することが可能である。この場合、図８と
図９に記載したアルゴリズムおよび図１１乃至図１４に
記載したアルゴリズムが適用可能である。

【０１３９】上述した一連の処理は、ハードウエアによ
り実行させることもできるが、ソフトウエアにより実行
させることもできる。一連の処理をソフトウエアにより
実行させる場合には、そのソフトウエアを構成するプロ
グラムが、専用のハードウエアに組み込まれているコン
ピュータ、または、各種のプログラムをインストールす
ることで、各種の機能を実行することが可能な、例えば
汎用のパーソナルコンピュータなどに、記録媒体からイ
ンストールされる。

【０１４０】この記録媒体は、図３と図１５に示される
ように、コンピュータとは別に、ユーザにプログラムを
提供するために配布される、プログラムが記録されてい
る半導体メモリ５１、光磁気ディスク５２（MD（Mini D
isc）を含む）、光ディスク５３（CD-ROM（Compact Dis
c-Read Only Memory）、DVD（Digital Versatile Dis
c）を含む）、もしくは磁気ディスク５４（フロッピデ
ィスクを含む）などによるなるパッケージメディアによ
り構成されるだけでなく、コンピュータに予め組み込ま
れた状態でユーザに提供される、プログラムが記録され
ているROM２４やハードディスク２８などで構成され
る。

【０１４１】なお、本明細書において、コンピュータプ
ログラムを記述するステップは、記載された順序に従っ
て時系列的に行われる処理はもちろん、必ずしも時系列
的に処理されなくとも、並列的あるいは個別に実行され
る処理をも含むものである。

【０１４２】

【発明の効果】以上の如く、本発明の画像処理装置およ
び方法、記録媒体、並びにプログラムによれば、複数の
画像情報を、画像情報より少ない数の復号手段で復号す
るようにしたので、画像情報より少ない数の復号手段し
か接続されていない画像処理装置においても、同時に複
数の動画ストリームを復号し、表示することが可能とな
る。

【図面の簡単な説明】

【図１】従来のPDAの動画ストリームの流れを説明する
ブロック図である。

【図２】本発明を適用したPDAの外観の構成例を示す正
面図である。

【図３】図２のPDAの内部の構成例を示すブロック図で
ある。

【図４】図２のPDAの動画ストリームの流れを説明する
ブロック図である。

【図５】図３のビデオデコーダに対する動画ストリーム
の割り当て処理を説明するブロック図である。

【図６】図３のPDAが実行する動画ストリーム再生処理
の第１の例を説明するフローチャートである。

【図７】図３のPDAが実行する動画ストリーム再生処理
の第１の例を説明するフローチャートである。

【図８】図３のPDAが実行する動画ストリーム再生処理
の第２の例を説明するフローチャートである。

【図９】図３のPDAが実行する動画ストリーム再生処理
の第２の例を説明するフローチャートである。

【図１０】図３のPDAが実行する動画ストリーム再生処
理の第２の例を説明する図である。

【図１１】図３のPDAが実行する動画ストリーム再生処
理の第３の例を説明するフローチャートである。

【図１２】図３のPDAが実行する動画ストリーム再生処
理の第３の例を説明するフローチャートである。

【図１３】図３のPDAが実行する動画ストリーム再生処
理の第３の例を説明するフローチャートである。

【図１４】図３のPDAが実行する動画ストリーム再生処
理の第３の例を説明するフローチャートである。

【図１５】図２のPDAの内部の第２の構成例を示すブロ
ック図である。

【図１６】図１５のPDAのビデオデコーダに対する動画
ストリームの割り当て処理を説明するブロック図であ
る。

【図１７】図１５のPDAの２つのビデオデコーダに対す
る動画ストリームの割り当て処理を説明する図である。

【図１８】図３のPDAの表示画面例を示す図である。

【図１９】図３のPDAの表示画面例を示す図である。

【図２０】図３のPDAの表示画面例を示す図である。

【図２１】本発明を適用した携帯電話機の外観の構成例
を示す正面図である。

【符号の説明】

１ 動画ストリーム， ２ ビデオデコーダ， ３ ビ
デオコントローラ，４ 表示部， １０ PDA， １１
表示部， １２ 操作部， １３，１４，１５，１６
画像， １７ 操作子， １８ タッチパネル， ２
１ CPU，２２ 内部バス， ２３ RAM， ２４ RO
M， ２５ I/Oコントローラ， ２６ 外部インターフ
ェース， ２７ メモリ， ２８ ハードディスク，
２９ビデオデコーダ， ３０ ビデオコントローラ，
３１ オーディオデコーダ， ３２ スピーカ， ６
１，６２，６３，６４， 動画ストリーム， １００携
帯電話機

───────────────────────────────────────────────────── フロントページの続き (72)発明者 高橋 巨成 東京都品川区北品川６丁目７番35号 ソニ ー株式会社内 (72)発明者 近藤 広隆 東京都品川区北品川６丁目７番35号 ソニ ー株式会社内 Ｆターム(参考） 5C025 AA23 AA30 BA25 BA28 CA02 CA03 DA01 DA05 DA10 5C059 MA04 PP05 PP06 PP07 RB02 RB10 SS10 SS20 UA05 5J064 AA02 AA04 BB03 BD02 BD04

Claims (8)

【特許請求の範囲】
1. 【請求項１】 符号化されている画像情報を復号し、出
   力する画像処理装置において、 複数の符号化された画像情報を入力する入力手段と、 前記入力手段により入力された複数の符号化された前記
   画像情報の中から所定の符号化された画像情報を選択す
   る選択手段と、 前記選択手段により選択された前記画像情報を復号す
   る、前記入力手段により入力される符号化された前記画
   像情報より少ない数の復号手段と、 前記復号手段により復号された前記画像情報を出力する
   出力手段とを備えることを特徴とする画像処理装置。
2. 【請求項２】 前記選択手段は、予め定められた所定の
   順序、または読み込まれた画像の情報に応じて、前記入
   力手段により入力された複数の符号化された前記画像情
   報の中から所定の符号化された画像情報を選択すること
   を特徴とする請求項１に記載の画像処理装置。
3. 【請求項３】 前記選択手段は、前記復号手段による１
   枚分の動画像の画像情報の復号が完了した後、次の動画
   像を選択することを特徴とする請求項１に記載の画像処
   理装置。
4. 【請求項４】 複数の符号化された前記画像情報の中か
   らフレーム内予測のみを使用するフレームの有無を検出
   する検出手段をさらに備え、 前記選択手段は、前記検出手段により検出されたフレー
   ム内予測のみを使用するフレームから画像情報を選択す
   ることを特徴とする請求項１に記載の画像処理装置。
5. 【請求項５】 前記選択手段が選択した前記画像情報が
   復号可能であるか否かを判断する判断手段と、 前記判断手段により復号不可能であると判断された前記
   画像情報を復号可能にする復号可能化手段とをさらに備
   えることを特徴とする請求項４に記載の画像処理装置。
6. 【請求項６】 複数の符号化された画像情報を入力する
   入力手段と、 前記入力手段により入力された前記画像情報を復号す
   る、前記入力手段により入力される符号化された前記画
   像情報より少ない数の復号手段と、 を備える画像処理装置の画像処理方法において、 前記入力手段により入力された複数の符号化された前記
   画像情報の中から所定の符号化された画像情報を選択す
   る選択ステップと、 前記選択ステップの処理により選択が制御された前記画
   像情報を前記復号手段に供給し、復号させる供給ステッ
   プと、 前記復号手段により復号された前記画像情報の出力を制
   御する出力制御ステップとを含むことを特徴とする画像
   処理方法。
7. 【請求項７】 複数の符号化された画像情報を入力する
   入力手段と、 前記入力手段により入力された前記画像情報を復号す
   る、前記入力手段により入力される符号化された前記画
   像情報より少ない数の復号手段と、 を備える画像処理装置を制御するコンピュータが読み取
   り可能なプログラムであって、 前記入力手段により入力された複数の符号化された前記
   画像情報の中から所定の符号化された画像情報を選択す
   る選択ステップと、 前記選択ステップの処理により選択が制御された前記画
   像情報を前記復号手段に供給し、復号させる供給ステッ
   プと、 前記復号手段により復号された前記画像情報の出力を制
   御する出力制御ステップとを含むことを特徴とするプロ
   グラムが記録されている記録媒体。
8. 【請求項８】複数の符号化された画像情報を入力する入
   力手段と、 前記入力手段により入力された前記画像情報を復号す
   る、前記入力手段により入力される符号化された前記画
   像情報より少ない数の復号手段と、 を備える画像処理装置を制御するコンピュータに前記入
   力手段により入力された複数の符号化された前記画像情
   報の中から所定の符号化された画像情報を選択する選択
   ステップと、 前記選択ステップの処理により選択が制御された前記画
   像情報を前記復号手段に供給し、復号させる供給ステッ
   プと、 前記復号手段により復号された前記画像情報の出力を制
   御する出力制御ステップとを実行させるプログラム。