JP2005341398A - 情報処理装置および方法、並びにプログラム - Google Patents

Abstract

【課題】 ユーザが着目するオブジェクトを適切な大きさで表示させることができるようにする。
【解決手段】 映像主処理部２１は、映像データ記憶部１１に記憶されている動画像を全画面表示装置１３に全画面表示させる。即ち、全画面表示装置１３には動画像を構成するフレームのうちの所定のフレーム５１が所定のタイミングで表示される。この所定のタイミングで、映像主処理部２１はまた、フレーム５１内のオブジェクト６１を含む部分領域５２を部分画面拡大表示装置１４に全画面表示させる。さらに、全画面表示装置１３による動画像の再生中にオブジェクト６１がその画面内にて動く場合、ユーザは、ＵＩ１２を利用して、全画面表示装置１３に全画面表示されるフレームのうちの、部分画面拡大表示装置５２に表示される範囲（部分画面枠５３）の移動やサイズ変更を操作する。本発明は、映像処理装置に適用可能である。
【選択図】図１

Description

本発明は、情報処理装置および方法、並びにプログラムに関し、特に、ユーザが着目するオブジェクトをユーザが満足する大きさで表示させることができる情報処理装置および方法、並びにプログラムに関する。

近年、空間イメージを動画像データとしてキャプチャーするCCD（Charged Coupled Device）カメラやCMOS（Complementary Metal Oxide Semiconductor）センサの高解像度対応化や、その動画像データを再生する表示デバイスの高解像度対応化が進んでいる。

一方で、MPEG（Moving Picture Experts Group ）2, MPEG4, H.264などの規格に見られるように動画像データの圧縮符号化技術の高効率化も今なお進んでいる。

このような背景により、デジタル領域で処理する映像処理装置（例えば特許文献１参照）内で取り扱われる各映像フレームの高解像度化が進んでいる。

例えば、次のような映像処理装置を実現する技術は既に確立されている。即ち、既に実現されている映像処理装置とは、BS（Broadcasting Satellite）デジタルテレビジョン放送などのように、MPEG2のMP@HL(メインプロファイル＠ハイレベル)という方式によって圧縮され多重伝送されたビデオストリームを受信し、デコード処理し、その結果得られる高解像度(1920 x 1080)の映像（ビデオストリーム）を映像モニタに出力する映像処理装置である。

今後もますます映像フレームはさらに高解像度化が進み、4000 x 2000程度の映像フレームも取り扱われるようになると予想される。このため、そのような高解像度の映像フレームを取り込んだり表示したりする必要が生じ、その結果、イメージキャプチャーデバイスや表示デバイスにおける高解像度対応技術が確立していくものと予想される。
特開2004-140670号公報

しかしながら、現状、このような高解像度の映像フレームを取り扱うことが可能な映像処理装置が映像フレームを表示モニタに表示させている場合、その映像フレーム全体としては、ユーザの目に鮮明に映る大きさ、即ち、ユーザが満足する大きさで表示されていたとしても、ユーザが着目するオブジェクトについては、ユーザが満足する大きさで表示されているとは限らない、という課題があった。特に、その表示モニタのサイズが小さい場合等においてこの課題は顕著になる。

例えば、スポーツの試合風景が撮影された映像などにおいて、その試合に参加する全選手が画面内に入るように撮影された遠景のイメージからなる映像フレームが表示モニタの全画面に表示される場合に、この課題が発生する。即ち、この場合、注目する個々の選手の大きさはユーザの満足する大きさで再生されるとは限らないという課題が発生する。

また、定点観測するような監視カメラを利用する映像処理装置の場合、その監視カメラの位置や、ズームやパン、チルド等の操作を必要としない撮影の手法自体は存在する。しかしながら、その監視カメラにより撮影された各映像フレームのそれぞれが全画面で連続再生される（動画像として再生される）場合にも、この課題が発生する。即ち、この場合、注目するオブジェクトの大きさが常にユーザの満足するものとは限らないという課題が発生する。

さらに、上の例において、表示モニタの解像度が仮に高くない場合には、個々の人物やオブジェクトは解像度が落とされて再生されることになり、この課題はより顕著なものとなる。

なお、動画像の全画面再生中の所定のタイミングで、即ち、所定の映像フレームが表示されている時点で、その映像フレームの中から特定のオブジェクトを含む部分領域を指定して静止画として拡大表示する手法も考えられるが、この手法では、上述した課題を充分に解決できるとは言い難い。この手法では、動きのあるオブジェクトには対応できないからである。即ち、そのオブジェクトを常に追尾し、そのオブジェクトをリアルタイムかつ継続して拡大表示させることは困難であるからである。

本発明は、このような状況に鑑みてなされたものであり、ユーザが着目するオブジェクトをユーザが満足する大きさで表示させることができるようにするものである。

本発明の情報処理装置は、複数のアクセスユニットから構成される動画像の表示を制御する情報処理装置であって、動画像を構成する複数のアクセスユニットのそれぞれを第１の表示装置に順次表示させることを制御する第１の表示制御手段と、複数のアクセスユニットのそれぞれについて、対応するアクセスユニットのうちの第２の表示装置に表示させるべき表示範囲を設定する設定手段と、複数のアクセスユニットのそれぞれから、設定手段により設定された表示範囲で特定される部分領域を順次切り出し、切り出された複数の部分領域のそれぞれに対して、第２の表示装置の表示形式に対応する画像に変換させる画像処理を順次施す画像処理手段と、画像処理手段により画像処理が施された複数の部分領域のそれぞれを第２の表示装置に順次表示させることを制御する第２の表示制御手段とを備えることを特徴とする。

複数のアクセスユニットのそれぞれについて、設定手段により設定された表示範囲で特定される部分領域の上に、その部分領域を囲む枠を合成させる合成手段をさらに設け、第１の表示制御手段は、合成手段により枠がそれぞれ合成された複数のアクセスユニットのそれぞれを第１の表示装置に順次表示させることを制御するようにすることができる。

第１の表示制御手段の制御により第１の表示装置に実際に表示されている枠の配置位置とサイズとのうちの少なくとも一方を更新するユーザからの指令を入力する入力手段をさらに設け、設定手段は、入力手段により入力された指令に基づいて、複数のアクセスユニットのそれぞれのうちの第１の表示装置にこれから表示されるアクセスユニットについての表示範囲を設定するようにすることができる。

設定手段は、さらに、第１の表示制御手段の制御により第１の表示装置に所定の時点で表示される枠内に存在するオブジェクトを追尾対象とし、複数のアクセスユニットのうちの第１の表示装置にこれから表示されるアクセスユニット間でのそのオブジェクトの動きを追尾する追尾処理を実行し、第１の表示装置にこれから表示されるアクセスユニットのそれぞれについて、対応するアクセスユニットの中からオブジェクトを含む所定の範囲を追尾処理の結果に基づいて特定し、特定された前記所定の範囲を前記表示範囲として設定するようにすることができる。

第１の表示制御手段の制御により第１の表示装置に所定の時点で表示される枠内に存在するオブジェクトを追尾対象とし、複数のアクセスユニットのうちの第１の表示装置にこれから表示されるアクセスユニット間でのオブジェクトの動きを追尾する追尾処理を実行するために必要なソフトウエアと情報を他の情報処理装置に送信し、他の情報処理装置により追尾処理が実行されその結果が送信されてきた場合、追尾処理の結果を受信する通信手段をさらに設け、設定手段は、第１の表示装置にこれから表示されるアクセスユニットのそれぞれについて、通信手段に受信された追尾処理の結果に基づいて、対応するアクセスユニットの中からオブジェクトを含む所定の範囲を特定し、特定された所定の範囲を表示範囲として設定するようにすることができる。

所定のオブジェクトのメタデータとして、複数のアクセスユニットのそれぞれにおける所定のオブジェクトの配置位置とサイズを特定可能な情報を保持している他の情報処理装置との間で通信を行い、所定のオブジェクトのメタデータを取得する取得手段をさらに設け、設定手段は、複数のアクセスユニットのそれぞれについて、取得手段により取得された所定のオブジェクトのメタデータに基づいて、対応するアクセスユニットの中から所定のオブジェクトを含む所定の範囲を特定し、特定された所定の範囲を表示範囲として設定するようにすることができる。

本発明の情報処理方法は、複数のアクセスユニットから構成される動画像の表示を制御する情報処理装置の情報処理方法であって、動画像を構成する複数のアクセスユニットのそれぞれを第１の表示装置に順次表示させることを制御する第１の表示制御ステップと、複数のアクセスユニットのそれぞれについて、対応するアクセスユニットのうちの第２の表示装置に表示させるべき表示範囲を設定する設定ステップと、複数のアクセスユニットのそれぞれから、設定ステップの処理により設定された表示範囲で特定される部分領域を順次切り出し、切り出された複数の部分領域のそれぞれに対して、第２の表示装置の表示形式に対応する画像に変換させる画像処理を順次施す画像処理ステップと、画像処理ステップの処理により画像処理が施された複数の部分領域のそれぞれを第２の表示装置に順次表示させることを制御する第２の表示制御ステップとを含むことを特徴とする。

本発明のプログラムは、複数のアクセスユニットから構成される動画像の表示を制御する処理をコンピュータに実行させるプログラムであって、動画像を構成する複数のアクセスユニットのそれぞれを第１の表示装置に順次表示させることを制御する第１の表示制御ステップと、複数のアクセスユニットのそれぞれについて、対応するアクセスユニットのうちの第２の表示装置に表示させるべき表示範囲を設定する設定ステップと、複数のアクセスユニットのそれぞれから、設定ステップの処理により設定された表示範囲で特定される部分領域を順次切り出し、切り出された複数の部分領域のそれぞれに対して、第２の表示装置の表示形式に対応する画像に変換させる画像処理を順次施す画像処理ステップと、画像処理ステップの処理により画像処理が施された複数の部分領域のそれぞれを第２の表示装置に順次表示させることを制御する第２の表示制御ステップとを含むことを特徴とする。

本発明の情報処理装置および方法、プログラムにおいては、動画像を構成する複数のアクセスユニットのそれぞれが第１の表示装置に順次表示される。また、複数のアクセスユニットのそれぞれについて、対応するアクセスユニットのうちの第２の表示装置に表示させるべき表示範囲が設定され、複数のアクセスユニットのそれぞれから、設定された表示範囲で特定される部分領域が順次切り出され、切り出された複数の部分領域のそれぞれに対して、第２の表示装置の表示形式に対応する画像に変換させる画像処理が順次施され、画像処理が施された複数の部分領域のそれぞれが第２の表示装置に順次表示される。

以上のごとく、本発明によれば、２以上の映像フレーム（アクセスユニットの一形態）で構成される映像（動画像）の再生が可能になる。特に、各映像フレームのうちのユーザが着目するオブジェクトをユーザが満足する大きさで表示させることができる。

以下に本発明の実施の形態を説明するが、請求項に記載の構成要件と、発明の実施の形態における具体例との対応関係を例示すると、次のようになる。この記載は、請求項に記載されている発明をサポートする具体例が、発明の実施の形態に記載されていることを確認するためのものである。従って、発明の実施の形態中には記載されているが、構成要件に対応するものとして、ここには記載されていない具体例があったとしても、そのことは、その具体例が、その構成要件に対応するものではないことを意味するものではない。逆に、具体例が構成要件に対応するものとしてここに記載されていたとしても、そのことは、その具体例が、その構成要件以外の構成要件には対応しないものであることを意味するものでもない。

さらに、この記載は、発明の実施の形態に記載されている具体例に対応する発明が、請求項に全て記載されていることを意味するものではない。換言すれば、この記載は、発明の実施の形態に記載されている具体例に対応する発明であって、この出願の請求項には記載されていない発明の存在、すなわち、将来、分割出願されたり、補正により追加される発明の存在を否定するものではない。

本発明によれば、情報処理装置が提供される。この情報処理装置（例えば、図１の映像処理装置１（図１の表示設定部２３の代わりに図９の表示設定/自動追尾アルゴリズム実行部１２３が搭載される場合も含む）、図１０の映像処理装置２０１、または、図１４の映像処理装置４０１Ａ）は、複数のアクセスユニットから構成される動画像の表示を制御する情報処理装置であって、前記動画像を構成する複数の前記アクセスユニットのそれぞれを第１の表示装置（例えば、図１の全画面表示装置１３、図１０の全画面表示装置２１３、または、図１４の全画面表示装置４１２）に順次表示させることを制御する第１の表示制御手段（例えば、図１の映像出力処理部３５、図１０の映像出力処理部２３５、または図１５の映像出力６２１を実行する図１４の情報処理コントローラ４２１）と、複数の前記アクセスユニットのそれぞれについて、対応するアクセスユニットのうちの第２の表示装置（例えば、図１の部分画面拡大表示装置１４、図１０の部分画面拡大表示装置２１４、または、図１４の部分画面拡大表示装置４１３）に表示させるべき表示範囲（例えば、後述する部分画面枠、即ち、部分領域の配置位置とサイズ）を設定する設定手段（例えば、図１の表示設定部２３、図１０のメタデータ解析部２２３、または、図１５の表示設定６１４を実行する図１４の情報処理コントローラ４２１）と、複数の前記アクセスユニットのそれぞれから、前記設定手段により設定された前記表示範囲で特定される部分領域を順次切り出し、切り出された複数の前記部分領域のそれぞれに対して、前記第２の表示装置の表示形式に対応する画像に変換させる画像処理（例えば後述するサンプリングレートコンバート処理）を順次施す画像処理手段（例えば、図１の表示装置適合処理部３６、図１０の表示装置適合処理部２３６、または、図１５の表示装置適合処理６１５を実行する図１４の情報処理コントローラ４２１）と、前記画像処理手段により前記画像処理が施された複数の前記部分領域のそれぞれを前記第２の表示装置に順次表示させることを制御する第２の表示制御手段（例えば、図１の映像出力処理部３７、図１０の映像出力処理部２３７、または、図１５の映像出力６２２を実行する図１４の情報処理コントローラ）とを備えることを特徴とする。

この情報処理装置は、前記複数の前記アクセスユニットのそれぞれについて、前記設定手段により設定された前記表示範囲で特定される前記部分領域の上に、その部分領域を囲む枠（ここでは、後述するように、部分画面枠と称しており、例えば、図１の部分領域５２を囲む部分画面枠５３）を合成させる合成手段（例えば、図１の映像データ重畳部３４、図１０の映像データ重畳部２３４、または、図１５の映像データ重畳６１３を実行する図１４の情報処理コントローラ４２１）をさらに備え、前記第１の表示制御手段は、前記合成手段により前記枠がそれぞれ合成された複数の前記アクセスユニットのそれぞれを前記第１の表示装置に順次表示させることを制御するようにすることができる。

この情報処理装置（例えば、図１の映像処理装置１または図１４の映像処理装置４０１Ａ）は、前記第１の表示制御手段の制御により前記第１の表示装置に実際に表示されている前記枠の配置位置とサイズとのうちの少なくとも一方を更新するユーザからの指令（例えば、図１のＵＩ１２または図１４のＵＩ４１１からの指令）を入力する入力手段（例えば、図１のＵＩ入力処理部２２、または、図１５のＵＩ入力処理６２５を実行する図１４の情報処理コントローラ４２１）をさらに備え、前記設定手段は、前記入力手段により入力された前記指令に基づいて、複数の前記アクセスユニットのそれぞれのうちの前記第１の表示装置にこれから表示されるアクセスユニットについての前記表示範囲を設定するようにすることができる。

この情報処理装置（例えば、図１の映像処理装置１）において、前記設定手段（例えば、図９の表示設定/自動追尾アルゴリズム実行部１２３）は、さらに、前記第１の表示制御手段の制御により前記第１の表示装置に所定の時点で表示される前記枠内に存在するオブジェクトを追尾対象とし、複数の前記アクセスユニットのうちの前記第１の表示装置にこれから表示されるアクセスユニット間での前記オブジェクトの動きを追尾する追尾処理（後述する自動追尾アルゴリズムに従った処理）を実行し、前記第１の表示装置にこれから表示される前記アクセスユニットのそれぞれについて、対応するアクセスユニットの中から前記オブジェクトを含む所定の範囲を前記追尾処理の結果に基づいて特定し、特定された前記所定の範囲を前記表示範囲として設定するようにすることができる。

この情報処理装置（例えば、図１４の映像処理装置４０１Ａ）は、前記第１の表示制御手段の制御により前記第１の表示装置に所定の時点で表示される前記枠内に存在するオブジェクトを追尾対象とし、複数の前記アクセスユニットのうちの前記第１の表示装置にこれから表示されるアクセスユニット間での前記オブジェクトの動きを追尾する追尾処理を実行するために必要なソフトウエアと情報（例えば、図１９のステップＳ１１８で生成されステップＳ１１９で送信されるソフトウエアセル）を他の情報処理装置（例えば、図１４の映像処理装置４０１Ｃ）に送信し、前記他の情報処理装置により前記追尾処理が実行されその結果が送信されてきた場合、前記追尾処理の結果を受信する通信手段（例えば、図１５のネットワーク入出力処理６２４を実行する図１４の情報処理コントローラ４２１）をさらに備え、前記設定手段は、前記第１の表示装置にこれから表示される前記アクセスユニットのそれぞれについて、前記通信手段に受信された前記追尾処理の結果に基づいて、対応するアクセスユニットの中から前記オブジェクトを含む所定の範囲を特定し、特定された前記所定の範囲を前記表示範囲として設定するようにすることができる。

この情報処理装置（例えば、図１０の映像処理装置２０１）において、所定のオブジェクト（例えば、図１２のobja,objb,objc）のメタデータとして、複数の前記アクセスユニットのそれぞれにおける前記所定のオブジェクトの配置位置とサイズを特定可能な情報（例えば、図１２のメタデータ３５１Ａ乃至メタデータ３５１Ｃ）を保持している他の情報処理装置（例えば、図１０と図１１のメタデータ生成装置２０２）との間で通信を行い（例えば、図１０のネットワーク２０３を介在する通信を行い）、前記所定のオブジェクトの前記メタデータを取得する取得手段（例えば、図１０のネットワーク入出力処理部２２４）をさらに備え、前記設定手段は、複数の前記アクセスユニットのそれぞれについて、前記取得手段により取得された前記所定のオブジェクトの前記メタデータに基づいて、対応するアクセスユニットの中から前記所定のオブジェクトを含む所定の範囲を特定し、特定された前記所定の範囲を前記表示範囲として設定するようにすることができる。

本発明によれば、情報処理方法が提供される。この情報処理方法は、複数のアクセスユニットから構成される動画像の表示を制御する情報処理装置（例えば、図１の映像処理装置１）の情報処理方法であって、前記動画像を構成する複数の前記アクセスユニットのそれぞれを第１の表示装置に順次表示させることを制御する第１の表示制御ステップ（例えば、図８のステップＳ２の処理）と、複数の前記アクセスユニットのそれぞれについて、対応するアクセスユニットのうちの第２の表示装置に表示させるべき表示範囲を設定する設定ステップ（例えば、図８のステップＳ４とＳ７の処理のうちの図１表示設定部２３が実行する処理）と、複数の前記アクセスユニットのそれぞれから、前記設定ステップの処理により設定された前記表示範囲で特定される部分領域を順次切り出し、切り出された複数の前記部分領域のそれぞれに対して、前記第２の表示装置の表示形式に対応する画像に変換させる画像処理を順次施す画像処理ステップ（例えば、図８のステップＳ５の処理のうちの表示装置適合処理部３６が実行する処理）と、前記画像処理ステップの処理により前記画像処理が施された複数の前記部分領域のそれぞれを前記第２の表示装置に順次表示させることを制御する第２の表示制御ステップ（例えば、図８のステップＳ５の処理のうちの図１の映像出力処理部３７が実行する処理）とを含むことを特徴とする。

本発明によれば、プログラムが提供される。このプログラムは、複数のアクセスユニットから構成される動画像の表示を制御する処理をコンピュータ（例えば、図１４の情報処理コントローラ４２１）に実行させるプログラム（例えば、図１５の構成のプログラム）であって、前記動画像を構成する複数の前記アクセスユニットのそれぞれを第１の表示装置に順次表示させることを制御する第１の表示制御ステップ（例えば、図１５の映像出力６２１）と、複数の前記アクセスユニットのそれぞれについて、対応するアクセスユニットのうちの第２の表示装置に表示させるべき表示範囲を設定する設定ステップ（例えば、図１５の表示設定６１４）と、複数の前記アクセスユニットのそれぞれから、前記設定ステップの処理により設定された前記表示範囲で特定される部分領域を順次切り出し、切り出された複数の前記部分領域のそれぞれに対して、前記第２の表示装置の表示形式に対応する画像に変換させる画像処理を順次施す画像処理ステップ（例えば、図１５の表示装置適合処理６１５）と、前記画像処理ステップの処理により前記画像処理が施された複数の前記部分領域のそれぞれを前記第２の表示装置に順次表示させることを制御する第２の表示制御ステップ（例えば、図１５の映像出力６２２）とを含むことを特徴とする。

次に、図面を参照して、本発明の実施の形態について説明する。

なお、本発明が適用される情報処理装置は、以上のような特徴を有していればその形態は特に限定されず、様々な実施の形態を取ることが可能である。そこで、以下、これらの様々な実施の形態のうちの４つについて特に説明する。即ち、以下、これらの４つの実施の形態のそれぞれを第１実施形態乃至第４実施形態のそれぞれと称し、その順番で個別に説明していく。

（第１実施形態）

はじめに、図１乃至図８を参照して、第１実施形態の情報処理装置について説明する。

図１は、第１実施形態の情報処理装置である映像処理装置の機能的構成例を示す図である。

図１に示されるように、映像処理装置１には、映像データ記憶部１１、ユーザインタフェース（以下、UIと称する）１２、全画面表示装置１３、および、部分画面拡大表示装置１４が接続されている。

映像データ記憶部１１は、例えばハードディスクドライブ装置のような据置型記録装置やリムーバブル記録媒体等で構成され、１以上の映像ソースデータを記憶する。なお、ここでは、映像データ記憶部１１は、映像処理装置１から見て外部機器とされているが、映像処理装置１の内蔵機器とされてもよい。

なお、映像とは、一般的に、動画像と音声との組み合わせを指す。従って、映像ソースデータとは、一般的に、動画像とそれに対応する音声とのそれぞれが所定の符号化形式（例えばMPEG2等）で圧縮符号化された圧縮符号化データを指す。ただし、以下においては、説明の簡略上、映像データ記憶部１１には、動画像単体が所定の符号化形式（例えばMPEG2等）で圧縮符号化された圧縮符号化データが映像ソースデータとして記憶されているとする。

また、ここでは、動画像（映像）に対しては、例えばフレームを単位とした処理が施される。即ち、第１実施形態の映像処理装置１は、映像データ記憶部１１に記憶された映像ソースデータに対して各種の映像処理を施す場合、フレームを単位とする。ただし、当然ながら、映像処理装置１は、フィールドを単位とする映像処理の実行も可能である。このことは、後述する他の第２実施形態乃至第４実施形態の各装置についても同様とされる。

換言すると、フレームやフィールドと言った動画像（映像）の単位をまとめてアクセスユニットと称すると、映像処理装置１を含む本発明が適用される装置の全ては、アクセスユニットを単位とする映像処理の実行が可能であると言える。ただし、ここでは、説明の簡略上、映像処理装置１は、そのような様々な種類のアクセスユニットのうちの特にフレームを単位とする映像処理を実行するとする。このことは、後述する他の第２実施形態乃至第４実施形態の各装置についても同様とされる。

ところで、UI１２は、例えば、リモートコントローラ（受光部含む）、キーボード、マウス、その他入力インタフェースで構成される。従って、ユーザはUI１２を操作することで、様々な情報（指令等）を映像処理装置１に入力させることができる。

全画面表示装置１３と部分画面拡大表示装置１４とのそれぞれは、例えば、CRT（Cathode Ray Tub）や液晶型表示装置で構成され、映像処理装置１から出力される映像信号（デジタル信号若しくはアナログ信号）に対応する映像を表示する。即ち、映像処理装置１は、後述するように、映像データ記憶部１１に記憶された映像ソースデータに対して各種映像処理を施す装置である。従って、全画面表示装置１３と部分画面拡大表示装置１４とのそれぞれは、映像データ記憶部１１に記憶された映像ソースデータに対応する映像を表示することになる。

具体的には例えば、図１に示されるように、全画面表示装置１３は、映像データ記憶部１１に記憶された映像ソースデータに対応する映像を全画面表示する。即ち、全画面表示装置１３は、その映像を構成する各フレームのそれぞれを順次全画面表示していく。例えば図１の例では、各フレームのうちの所定のフレーム５１が表示されている。

これに対して、部分画面拡大表示装置１４は、全画面表示装置１３に表示されているフレームのうちの、ユーザが着目するオブジェクトを含む領域（以下、部分領域と称する）を全画面表示する。例えば図１の例では、部分画面拡大表示装置１４には、全画面表示装置１３に表示されているフレーム５１のうちの、オブジェクト６１を含む部分領域５２が拡大されて表示されている。

なお、全画面表示装置１３には、フレーム５１の上に、部分画面拡大表示装置１４の表示範囲を示す枠５３も表示されているが、この枠５３については後述する。

また、全画面表示装置１３と部分画面拡大表示装置１４とは、モニタ機能さえ有していればその形態は特に限定されない。例えば、全画面表示装置１３と部分画面拡大表示装置１４とのうちの一方を、チューナ機能も有するテレビジョン受像機で構成し、他方を、チューナ機能を有しない表示モニタで構成してもよい。或いは、２つの画面を有する１台の表示装置で、全画面表示装置１３と部分画面拡大表示装置１４とを構成してもよい。さらにまた、図示はしないが、映像データ記憶部１１と同様に、映像処理装置１の内蔵機器として、画面表示装置１３と部分画面拡大表示装置１４とを構成してもよい。ただし、以下、説明の簡略上、全画面表示装置１３と部分画面拡大表示装置１４とは同一形態の２台の表示装置であって、複数の解像度が設定可能な表示装置で構成されているとする。

このような映像データ記憶部１１、UI１２、全画面表示装置１３、および部分画面拡大表示装置１４に接続された映像処理装置１は、次のような機能を有している。即ち、映像処理装置１は、映像データ記憶部１１に記憶されている映像ソースデータ（圧縮符号化データ）をデコードして、さらに必要に応じて各種の映像処理を施し、その結果得られる映像信号に対応する映像を全画面表示装置１３と部分画面拡大表示装置１４のそれぞれに表示させる機能である。詳細には、映像処理装置１３が有する機能とは次の第１の機能乃至第３の機能である。

第１の機能とは、映像を構成する各フレームのそれぞれを全画面表示装置１３に全画面表示させる機能である。

第２の機能とは、全画面表示装置１３に順次全画面表示されていく各フレームのそれぞれについて、対応するフレーム（図１の例ではフレーム５１）の中から、部分画面拡大表示装置１４に表示させる表示範囲（図１の例では部分領域５２に対応する範囲）を設定し、特定された範囲を囲む枠（以下、部分画面枠と称する。図１の例では部分画面枠５３）を生成して、生成された部分画面枠を、全画面表示装置１３に全画面表示されるフレーム上の対応する位置に表示させる機能である。この場合、後述するように、表示範囲として、ユーザが所望するオブジェクト（図１の例ではオブジェクト６１）を含む範囲が設定されることが多い。

第３の機能とは、全画面表示装置１３に全画面表示される各フレームのそれぞれについて、対応するフレーム（図１の例ではフレーム５１）の中から、第２の機能で設定された表示範囲に対応する部分領域（図１の例では部分領域５２）を切り出して、部分画面拡大表示装置１４の表示形式に対応する画像に変換させる画像処理を施した上で、例えば、部分画面拡大表示装置１４で設定されている解像度に変換する画像処理を施した上で、部分画面拡大表示装置１４に全画面表示（部分領域の拡大表示）させる機能である。

なお、第１実施形態においては、第２の機能の実現に必要となる情報、即ち、表示範囲の設定に必要となる情報は、UI１２から入力される情報に基づいて生成される。即ち、第１実施形態では、ユーザは、着目しているオブジェクトの時間変化（移動やサイズ変化）を全画面表示装置１３で確認しながらUI１２を操作することで、部分画面枠の配置位置やサイズの更新を指定することができる。これにより、そのオブジェクトの動きに追従するように部分画面枠が移動したり拡大縮小する。さらに、部分画面枠とは部分画面拡大表示装置１４の表示範囲そのものを示すので、結果として、部分画面拡大表示装置１４にオブジェクトが適切な大きさで表示されるのである。

かかる機能により、全画面表示装置１３に全画面表示されたフレームのうちの、部分画面枠内の部分領域（図１の例では、部分領域５２）、即ち、全画面表示装置１３の画面においては小さく表示されている部分領域は、部分画面拡大表示装置１４においては、それが有する最高解像度で全画面表示される（大きく表示される）のである。従って、ユーザが着目するオブジェクトをこの部分領域に内在させることで、ユーザが着目するオブジェクト、即ち、全画面表示装置１３においては、ユーザが所望する大きさよりも小さく表示されているオブジェクトも、部分画面拡大表示装置１４においては、ユーザが所望する大きさで鮮明に表示されるのである。

かかる機能を有する映像処理装置１には、映像処理部２１乃至表示設定部２３が設けられている。また、この映像処理部２１には、データ入出力処理部３１乃至映像出力処理部３７が設けられている。

映像処理部２１乃至表示設定部２３のそれぞれは、構成が可能であれば、ハードウエア単体で構成してもよいし、ソフトウエア単体で構成してもよいし、或いは、ハードウエアとソフトウエアの組合せで構成してもよい。また、映像処理部２１がハードウエアとソフトウエアの組合せで構成されている場合、その構成要素であるデータ入出力処理部３１乃至映像出力処理部３７のそれぞれは、構成が可能であれば、ハードウエア単体で構成してもよいし、ソフトウエア単体で構成してもよいし、或いは、ハードウエアとソフトウエアの組合せで構成してもよい。

データ入出力部３１は、映像データ記憶部１１に対するデータの読み出しや書き込みを制御する。例えば、データ入出力部３１は、映像データ記憶部１１に記憶されている所定の映像ソースデータを映像データ記憶部１１から読み出して、復号処理部３２に供給する。

復号処理部３２は、映像ソースデータ（圧縮符号化データ）をデコード（復号）し、その結果得られる映像ストリームデータ、即ち、各フレームのそれぞれのビットマップイメージデータ（フレームデータ）を表示装置適合処理部３３に順次供給する。

なお、以下、復号処理部３２から出力された段階の映像ストリームデータ、即ち、後述する解像度変換等の各種映像処理が施されていない映像ストリームデータに対応する映像を構成する各フレームを、オリジナルフレームまたはオリジナル画面と称する。これに対して、全画面表示装置１３に全画面表示されるフレーム、即ち、全画面表示装置１３で現在設定されている解像度（以下、表示解像度と称する）に変換されたフレームを、表示フレームまたは表示画面と称する。

表示装置適合処理部３３、その後段に接続される全画面表示装置１３の表示解像度に関する情報を保持しており、復号処理部３２から供給されたオリジナル画面のビットマップイメージデータの解像度を、オリジナル解像度から、全画面表示装置１３の表示解像度に変換して、映像データ重畳部３４に供給する。

具体的には例えばいま、オリジナルフレーム（オリジナル画面）の解像度(即ち、オリジナルフレームの画素数を指す）が2048(横) x 1536(縦)であり、全画面表示装置１３の表示解像度が1024(横） x 768(縦) であるとする。この場合、復号処理部３２から表示装置適合処理部３３に対して、2048(横) x 1536(縦)のオリジナルフレームのビットマップイメージデータが入力される。そこで、表示装置適合処理部３３は、2048(横) x 1536(縦)に対して、画素数を横方向と縦方向とともに1/2ずつ減らしたフレーム（ビットマップイメージデータ）を生成し、さらに、生成されたフレームに対して２次元のローパスフィルタリング処理を施し、画面イメージの平滑化処理を行うことで、1024(横） x 768(縦)のフレーム（ビットマップイメージデータ）を生成する。そして、表示装置適合処理部３３は、1024(横） x 768(縦)のフレーム（ビットマップイメージデータ）を映像データ重畳部３４に供給する。

映像データ重畳部３４には、表示装置適合処理部３３から出力されるフレーム（ビットマップイメージデータ）の他、部分画面拡大表示装置１４に表示させる表示範囲の設定情報（これらの設定情報の詳細については後述する）も表示設定部２３から供給される。そこで、映像データ重畳部３４は、表示設定部２３から供給された設定情報に基づいて、部分画面拡大表示装置１４で再現される部分領域（表示範囲）と同形状の部分画面枠（ビットマップイメージデータ）を生成する。そして、映像データ重畳部３４は、生成された部分画面枠を、表示装置適合処理部３３から供給されたフレーム（ビットマップイメージデータ）の対応する位置の上に重ね合わせ、その結果得られるフレーム（ビットマップイメージデータ）を映像出力処理部３５に供給する。

例えば、図１の例では、オブジェクト６１を含む部分領域５２の配置位置やサイズを特定可能な各種情報が設定情報として表示設定部２３から供給されることになる。そこで、映像データ重畳部３４は、表示設定部２３から供給された各種情報に基づいて、部分領域５２と同形状の部分画面枠５３（ビットマップイメージデータ）を生成し、その部分画面枠５３をフレーム５１の対応する位置（図１の全画面表示装置１３内に示される位置）の上に重ね合わせ、その結果得られるフレーム（ビットマップイメージデータ）を映像出力処理部３５に供給する。

映像出力処理部３５は、映像データ重畳部３４から供給されたフレーム（ビットマップイメージデータ）を、全画面表示装置１３の入力形式の映像信号に変換して全画面表示装置１３に供給する。例えば、全画面表示装置１３の入力形式がアナログ映像信号の場合、映像出力処理部３５は、映像データ重畳部３４から供給されたビットマップイメージデータ（フレーム）をアナログ映像信号に変換して、全画面表示装置１３に出力する。すると、全画面表示装置１３は、上述したように、映像出力処理部３５から供給されたアナログ映像信号に対応する映像（フレーム）を全画面表示で表示する。具体的には例えば図１の例では、オブジェクト６１を含む部分領域５２と同一形状の部分画面枠５３が右下方に配置された（図１に示される位置に配置された）フレーム５１が、全画面表示装置１３に表示されるのである。

ところで、UI入力処理部２２は、UI１２からの出力コードを受け、次のような２つのユーザ要求に対する処理を行う。一つは、所望の映像ソースを選択し、その再生を開始させたり、終了させたりする要求である。もう一つは、各表示画面（各表示フレーム）全体の中から所望のオブジェクトを含む部分領域を別モニタ（図１の例では部分画面拡大表示装置１４）に表示させる要求である。

このようなユーザ要求に対する処理を実現可能なUI入力処理部２２の詳細な構成例が図２に示されている。そこで、以下、図２を参照して、UI入力処理部２２の詳細な構成例について説明する。

図２に示されるように、UI入力処理部２２には、コマンド解析部７１乃至部分画面設定処理部７３が設けられている。

コマンド解析部７１は、UI１２からの出力コード（コマンドコード）を解釈することで、その出力コードに対応するコマンドを生成する。コマンド解析部７１により生成されたコマンドは、ストリーム制御処理部７２と部分画面設定処理部７３に分配される。

ストリーム制御処理部７２は、コマンド解析部７１からのコマンドに従って、そのコマンドで指定されている映像ソースを選択したり、その映像ソースの再生や停止の制御を行う。

具体的には例えば、ユーザが所望する映像ソースの選択コマンドがコマンド解析部７１から供給されてきた場合には、ストリーム制御処理部７２は、映像データ記憶部１１から読み出す映像ストリーム（映像ソースデータ）を特定する。さらにその後、再生コマンドがコマンド解析部７１から供給されてきた場合には、ストリーム制御処理部７２は、先の選択コマンドに従って特定された映像ストリームの読み出しを行うためのコマンドを生成し、データ入出力処理部３１に対して発行する。すると、データ入出力処理部３１は、そのコマンドで指定されている映像ストリーム（映像ソースデータ）を映像データ記憶部１１から読み出し、上述した各種処理を施した後、復号処理部３２に供給する。

このようなストリーム制御処理部７２に対して、部分画面設定処理部７３は、コマンド解析部７１からのコマンドに従って、全画面表示装置１３（図１）で再生される映像ストリームの各表示画面（各表示フレーム）における、ユーザが着目するオブジェクトを含む部分領域の配置位置およびサイズの設定（初期化または更新）を行うためのコマンドを生成し、表示設定部２３に供給する。

具体的には例えば、コマンド解析部７１は、映像ストリームのフレーム周期（再生フレームの表示間隔）である33msec 毎の各時点で、UI１２からの出力コードの取得の試みを行い、その結果（出力コードが取得された場合にはその出力コードそのもの）をコマンドとして部分画面設定処理部７３に供給するとする。

また、この出力コードには、部分画面枠表示のon/offを示すパラメータ, x軸方向移動を示すパラメータ， y軸方向移動を示すパラメータ, 拡大縮小を示すパラメータ等が含まれているとする。そこで、以下、部分画面枠表示のon/offを示すパラメータ, x軸方向移動を示すパラメータ， y軸方向移動を示すパラメータ, 拡大縮小を示すパラメータのそれぞれについてその順番に個別に説明していく。

はじめに、部分画面枠表示のon/offを示すパラメータについて説明する。

部分画面枠表示のon/offを示すパラメータとは、部分画面枠を図１の全画面表示装置１３に表示させるか否か、即ち、その部分画面枠に対応する部分領域を部分画面拡大表示装置１４に表示させるか否かを定めるパラメータを指す。

従って、部分画面設定処理部７３は、33msec毎の各時点で、部分画面枠表示のon/offを示すパラメータがUI１２からコマンド解析部７１を介して供給されたか否かを判定し、供給されたと判定した場合には、次のような処理を実行する。

即ち、例えばいま現在、全画面表示装置１３に部分画面枠が表示されていない状態、即ち、部分画面拡大表示装置１４に部分領域が表示されていない状態であるときには、部分画面設定処理部７３は、部分画面枠を全画面表示装置１３に表示させるコマンド、即ち、その部分画面枠に対応する部分領域を部分画面拡大表示装置１４に表示させるコマンドを生成し、表示設定部２３に供給する。

これに対して、全画面表示装置１３に部分画面枠が既に表示されている状態、例えば図１に示されるような部分画面枠５３が既に表示されている状態、即ち、部分画面拡大表示装置１４に部分領域が既に表示されている状態であるときには、部分画面設定処理部７３は、部分画面枠を全画面表示装置１３から消去するコマンド、即ち、部分画面拡大表示装置１４の表示停止のコマンドを生成し、表示設定部２３に供給する。

なお、部分画面設定処理部７３は、33msec毎の各時点で、部分画面枠表示のon/offを示すパラメータがUI１２からコマンド解析部７１を介して供給されていないと判定した場合には、部分画面表示枠の表示状態、即ち、その部分画面枠に対応する部分領域の表示状態を保持させる制御を行う（上述したコマンドの発行を禁止する）。

以上、UI１２からの出力コードのうちの、部分画面枠表示のon/offを示すパラメータについて説明した。次に、その出力コードのうちの、x軸方向移動を示すパラメータと、y軸方向移動を示すパラメータとについて説明する。

x軸方向移動を示すパラメータと、y軸方向移動を示すパラメータとは次のようなパラメータを指す。

即ち、例えばここでは、x,y座標の基点座標(0, 0)は、全画面表示装置１３の表示画面の左上頂点に位置するものとする。そして、その表示画面の水平方向であって、左から右に向かう方向をx軸の正方向とする。また、その画面の垂直方向であって、上から下に向かう方向をy軸の正方向とする。

この場合、x軸方向移動を示すパラメータとして、例えば正負の値ＫがUI１２から供給される。この値Ｋのうちの符号（＋ or ―）は、部分画面枠の移動方向がx軸正方向であるのか或いは負方向であるのかを示す。また、値Ｋのうちの絶対値は、部分画面枠の移動量を示す。ただし、絶対値（単位量）１とは、全画面表示装置１３の表示解像度（全画面表示装置１３における表示フレームの画素数）に換算するとnx画素となる。なお、値nxは固定値であってもよいが、ユーザが自在に設定可能な値であると好適である。ユーザの操作性が高まるからである。

同様に、ｙ軸方向を示すパラメータとして、例えば正負の値ＬがUI１２から供給される。この値Ｌのうちの符号（＋ or ―）は、部分画面枠の移動方向がy軸正方向であるのか或いは負方向であるのかを示す。また、値Ｌのうちの絶対値は、部分画面枠の移動量を示す。ただし、絶対値１とは、全画面表示装置１３の表示解像度に換算するとny画素となる。なお、値nyも固定値であってもよいが、ユーザが自在に設定可能な値であると好適である。ユーザの操作性が高まるからである。

従って、部分画面設定処理部７３は、33msec毎の各時点で、x軸方向移動を示すパラメータ、またはy軸方向移動を示すパラメータがUI１２からコマンド解析部７１を介して供給されたか否かを判定し、供給されたと判定した場合には、次のような処理を実行する。

即ち、具体的には例えばいま、図示はしないが、UI１２に上下左右ボタンのそれぞれが設けられているとする。この場合、例えば33msec内に右ボタンが１回だけ押下されると、x軸方向移動を示すパラメータ（値）Ｋとして「＋１」がUI１２からコマンド解析部７１を介して部分画面設定処理部７３に供給されることになる。

すると、部分画面設定処理部７３は、「全画面表示装置１３において、部分画面枠をx軸正方向（右方）にnx画素(例えばnx=24)だけ移動させる」という内容のコマンドを生成し、表示設定部２３に供給する。

なお、このとき、y軸方向移動を示すパラメータ（値）Ｌは部分画面設定処理部７３に供給されないので、部分画面設定処理部７３は、部分画面枠のｙ軸方向の移動を禁止する制御を行う（例えば、後述するｙ軸方向の移動についてのコマンドの発行を禁止する）。

その後（33msecより長時間経過後）、例えば33msec以内に下ボタンが1回だけ押下されると、y軸方向移動を示すパラメータ（値）Ｌとして「＋１」がUI１２からコマンド解析部７１を介して部分画面設定処理部７３に供給されることになる。

すると、部分画面設定処理部７３は、「全画面表示装置１３において、部分画面枠をy軸正方向（下方）にny画素(例えばny=16)だけ移動させる」という内容のコマンドを生成し、表示設定部２３に供給する。

なお、このとき、x軸方向移動を示すパラメータ（値）Ｋは部分画面設定処理部７３に供給されないので、部分画面設定処理部７３は、今度は、部分画面枠のx軸方向の移動を禁止する制御を行う（例えば、上述したx軸方向の移動についてのコマンドの発行を禁止する）。

ところで、上述した例では、33msec内に上下左右ボタンのうちのいずれかひとつが押下されるとしたが、33msec内に上下左右ボタンのうちの任意のボタン（複数もあり得る）が任意の回数押下される場合もあり得る。また、コマンド解析部７１の処理間隔は、上述した例では33msecとされたが、33msecに特に限定されず、例えばさらに長時間となる場合もあり得る。

従って、部分画面設定処理部７３は、結局、その処理間隔（上述した例では33msec）の間に入力されたx軸方向移動を示すパラメータ（値）Ｋの総計値と、y軸方向移動を示すパラメータ（値）Ｌの総計値とに基づいて、即ち、処理間隔の間に上下左右ボタンのそれぞれが何回押下されたのかに基づいて、部分画面枠のx軸方向とy軸方向とのそれぞれの移動方向と移動量（距離）とを決定し、その決定結果をコマンドとして表示設定部２３に供給することになる。

このため、処理間隔（上述した例では33msec）の間にx軸方向移動を示すパラメータ（値）Ｋと、y軸方向移動を示すパラメータ（値）Ｌとのいずれも入力されない場合、即ち、処理間隔の間に上下左右ボタンのいずれも押下されない場合、部分画面設定処理部７３は、部分画面枠のx軸方向とy軸方向とのそれぞれの移動量（距離）は０である（移動を禁止する）と決定し、例えば、x軸とy軸の移動についてのコマンドの表示設定部２３に対する発行を禁止する。

以上、UI１２からの出力コードのうちの、部分画面枠表示のon/offを示すパラメータ、x軸方向移動を示すパラメータ、およびy軸方向移動を示すパラメータについて説明した。最後に、その出力コードのうちの拡大縮小を示すパラメータについて説明する。

拡大縮小を示すパラメータとして、例えば正負の値ＭがUI１２から供給される。この値Ｍのうちの符号（＋ or ―）は、部分画面枠のサイズを拡大するのか或いは縮小するのかを示す。また、値Ｍのうちの絶対値は、部分画面枠のサイズの拡大縮小量を示す。ただし、絶対値（単位量）１とは、全画面表示装置１３の表示解像度に換算すると、左右方向（ｘ軸正負方向）にそれぞれmx/2画素拡大し、かつ、上下方向（y軸正負方向）にそれぞれmy/2画素拡大することを示す。なお、値mxと値myは固定値であってもよいが、ユーザが自在に設定可能な値であると好適である。ユーザの操作性が高まるからである。また、値mxと値myの比は、部分画面拡大表示装置１４の表示解像度における横方向画素数と縦方向画素数の比に等しいと好適である。部分画面拡大表示装置１４に表示されるオブジェクト（図１の例ではオブジェクト６１）の縦横比を、オリジナル画面におけるそのオブジェクトの縦横比と同一にすることができるからである。

従って、部分画面設定処理部７３は、33msec毎の各時点で、拡大縮小を示すパラメータがUI１２からコマンド解析部７１を介して供給されたか否かを判定し、供給されたと判定した場合には、次のような処理を実行する。

即ち、具体的には例えばいま、図示はしないが、UI１２に拡大ボタンと縮小ボタンのそれぞれが設けられているとする。この場合、例えば33msec以内に拡大ボタンが１回だけ押下されると、拡大縮小を示すパラメータ（値）Ｍとして「＋１」がUI１２からコマンド解析部７１を介して部分画面設定処理部７３に供給されることになる。

すると、部分画面設定処理部７３は、「全画面表示装置１３において、左右方向（ｘ軸正負方向）にそれぞれmx/2（例えばmx=48）画素拡大し、かつ、上下方向（y軸正負方向）にそれぞれmy/2（例えばmy=36）画素拡大する」という内容のコマンドを生成し、表示設定部２３に供給する。

その後（33msecより長時間経過後）、例えば33msec以内に縮小ボタンが押下されると、拡大縮小を示すパラメータ（値）Ｍとして「−１」がUI１２からコマンド解析部７１を介して部分画面設定処理部７３に供給されることになる。

すると、部分画面設定処理部７３は、「全画面表示装置１３において、左右方向（ｘ軸正負方向）にmx/2（例えばmx=48）画素縮小し、かつ、上下方向（y軸正負方向）にmy/2（例えばmy=36）画素縮小する」という内容のコマンドを生成し、表示設定部２３に供給する。

ところで、上述した例では、33msec内に拡大ボタンと縮小ボタンのうちのいずれかひとつが押下されるとしたが、33msec内に拡大ボタンと縮小ボタンのうちの任意のボタン（両者もあり得る）が任意の回数押下される場合もあり得る。また、コマンド解析部７１の処理間隔は、上述した例では33msecとされたが、33msecに特に限定されず、例えばさらに長時間となる場合もあり得る。

従って、部分画面設定処理部７３は、結局、その処理間隔（上述した例では33msec）の間に入力された拡大縮小を示すパラメータ（値）Ｍの総計値に基づいて、即ち、処理間隔の間に拡大ボタンと縮小ボタンのそれぞれが何回押下されたのかに基づいて、部分画面枠の拡大縮小量を決定し、その決定結果をコマンドとして表示設定部２３に供給することになる。

このため、処理間隔（上述した例では33msec）の間に拡大縮小を示すパラメータ（値）Ｍが入力されない場合、即ち、処理間隔の間に拡大ボタンと縮小ボタンのいずれも押下されない場合、部分画面設定処理部７３は、部分画面枠の拡大縮小量は０である（拡大縮小を禁止する）と決定し、拡大縮小についてのコマンドの表示設定部２３への発行を禁止する。

さらに言えば、処理間隔内に、拡大ボタンと縮小ボタンのうちの任意のボタン（両者もあり得る）が任意の回数だけ押下されるとともに、上下左右ボタンのうちの任意のボタン（複数もあり得る）が任意の回数だけ押下される場合もあり得る。

従って、部分画面設定処理部７３は、結局、前回の処理から所定の処理間隔が経過すると、その処理間隔の間にUI１２から供給された出力コードの全てに基づいて、部分画面枠についてのコマンドとして次の第１のコマンド乃至第３のコマンドのうちの必要なコマンド（複数となることもあり得る）を生成し、表示設定部２３に供給することになる。即ち、第１のコマンドとは、部分画面枠の表示状態（onまたはoff）を更新するコマンドである。第２のコマンドとは、x軸方向とy軸方向とのそれぞれについての部分画面枠の移動方向と移動距離を示すコマンドである。第３のコマンドとは、部分画面枠の拡大縮小量を示すコマンドである。

ただし、部分画面設定処理部７３の上述した処理は、部分画面枠の表示状態の保持（表示状態の更新の禁止）、部分画面枠の移動の禁止、および、部分画面枠の拡大縮小の禁止のそれぞれが決定された場合には、第１のコマンド、第２のコマンド、および第３のコマンドのそれぞれは発行されないことが前提とされる処理である。

しかしながら、部分画面枠の表示状態の保持（表示状態の更新の禁止）、部分画面枠の移動の禁止、および、部分画面枠の拡大縮小の禁止のそれぞれも、第１のコマンド、第２のコマンド、および第３のコマンドのそれぞれの一形態として表現することは可能である。従って、以下、部分画面設定処理部７３は、部分画面枠の表示状態の保持（表示状態の更新の禁止）、部分画面枠の移動の禁止、および、部分画面枠の拡大縮小の禁止のそれぞれも、第１のコマンド、第２のコマンド、および第３のコマンドのそれぞれの一形態として表示設定部２３に対して発行するとする。換言すると、以下、部分画面設定処理部７３は、前回の処理から所定の処理間隔が経過すると、その処理間隔の間にUI１２から供給された出力コードの全てに基づいて、第１のコマンド乃至第３のコマンドのそれぞれを生成し、表示設定部２３に供給するとする。

以上、図２を参照して、UI入力処理部２２の詳細な構成例について説明した。次に、図１に戻り、表示設定部２３について説明する。

表示設定部２３は、全画面表示装置１３の現在の表示画面（表示フレーム）における部分画面枠（部分画面拡大表示装置１４に表示させるべき表示範囲）の設定情報、即ち、部分画面枠の表示のon/off 情報、部分画面枠の位置情報、および、部分画面枠のサイズ情報を保持する。

部分画面枠の表示のon/off 情報として、例えば、現在の表示画面に部分画面枠が表示されている場合には「on」が、現在の表示画面に部分画面枠が表示されていない場合には「off」が、表示設定部２３に保持される。

部分画面枠の位置情報として、例えば、次のx,y座標系における、部分画面枠の中心位置の座標が表示設定部２３に保持される。即ち、部分画面枠の中心位置が表現される座標系とは、上述したように、基点座標(0, 0)が、全画面表示装置１３の表示画面の左上頂点に位置され、その表示画面の水平方向であって、左から右に向かう方向をx軸の正方向とされ、かつ、その画面の垂直方向であって、上から下に向かう方向をy軸の正方向とされた場合のx,y座標系である。

部分画面枠のサイズ情報としては、例えば、部分画面枠のx軸方向の長さとy軸方向の長さが表示設定部２３に保持される。ただし、部分画面枠のx軸方向の長さとy軸方向の長さのそれぞれは、全画面表示装置１３の表示解像度（表示フレームの画素数）に対する相対値（画素数）で表現される。

その後、次のフレームにおける部分画面枠についてのコマンド（上述した第１のコマンド乃至第３のコマンド）がUI入力処理部２２の図２の部分画面設定処理部７３から供給されてくると、表示設定部２３は、部分画面枠の表示のon/off 情報、部分画面枠の位置情報、および、部分画面枠のサイズ情報を更新し、それらの更新された情報を、次のフレームにおける部分画面枠の設定情報として保持するとともに、映像データ重畳部３４と表示装置適合処理部３６に供給する。

なお、ここで言う次のフレームとは、全画面表示装置１３の現在の表示画面（表示フレーム）の次に表示される（33msec後に表示される）予定のフレームではなく、上述したUI入力処理部２２の処理間隔後に表示される予定のフレームを指す。ただし、上述した例のように、処理間隔がフレーム周期と同一の33msecである場合には、次のフレームとは、全画面表示装置１３の現在の表示画面（表示フレーム）の次に表示される予定のフレームそのものを指す。

また、映像処理装置１の図示せぬ電源状態がON状態にされた直後、または、部分画面枠の表示状態がoff状態にされた後に、UI入力処理部２２から部分画面枠の表示状態をon状態にさせるコマンド（上述した第１のコマンド）が入力された場合、次のフレームにおける部分画面枠の設定情報（初期値）は次の通りとされる。即ち、部分画面枠の位置情報（初期位置を示す情報）は、例えば「部分画面枠の中心位置は、表示画面（表示フレーム）における中心位置である」という内容の情報である。また、部分画面枠のサイズ情報（初期サイズを示す情報）は、例えば「部分画面枠のx軸方向およびy軸方向のそれぞれの長さは256, 192画素のそれぞれである」という内容の情報である。

以下、図３を参照して、表示設定部２３の処理の具体例について説明する。

例えばいま、上述したように、全画面表示装置１３の現在の表示解像度が1024 x 768であるとする。また、映像ソースデータに対応する映像を構成する各フレームのうちの第１のフレームが全画面表示装置１３に表示されるとともに、その第１のフレームの上には図３中点線で示される部分画面枠５３Ａも表示されているとする。

この場合、表示設定部２３は、第１のフレームにおける部分画面枠５３Ａの設定情報として次のような情報を保持していることになる。即ち、部分画面枠５３Ａの表示のon/off 情報は「on」という情報である。部分画面枠５３Ａの位置情報は「部分画面枠５３Ａの中心位置は、表示画面（第１のフレーム）における中心位置(512,384)である」という内容の情報である。また、部分画面枠５３Ａのサイズ情報は「部分画面枠５３Ａのx軸方向およびy軸方向のそれぞれの長さは256, 192画素のそれぞれである」という内容の情報である。

ところで、図３中黒丸６１Ａと黒丸６１Ｂは、図１のオブジェクト６１と同一のオブジェクト（現実世界においては）を示している。ただし、オブジェクト６１Ａは第１のフレームに含まれるオブジェクト画像（現実世界のオブジェクトが射影された画像）である。一方、オブジェクト６１Ｂは第２のフレームに含まれるオブジェクト画像（現実世界のオブジェクトが射影された画像）である。即ち、オブジェクト６１Ａとオブジェクト６１Ｂとは現実世界では同一のオブジェクトであって、図３は、全画面表示装置１３の表示画面が第１のフレームから第２のフレームに変わると、そのオブジェクトが表示画面中右斜め上方向（図３中、オブジェクト６１Ａからオブジェクト６１Ｂまで引かれた矢印の方向）に移動し、さらに表示画面中サイズが大きくなる（表示画面に占めるオブジェクト画像の割合が大きくなる）ことを示している。この表示画面内の移動と大きさの変化は継続して行われているとする。即ち、第１のフレームよりも前のフレームが全画面表示装置１３に表示されている状態からユーザはこのオブジェクト（オブジェクト６１Ａ，６１Ｂ）を継続して着目しており、そのオブジェクトの表示画面内の移動と大きさの変化を把握しているとする。

この場合、ユーザは、全画面表示装置１３の表示画面内のオブジェクトの変化（移動とサイズ変化）を確認しながらUI１２を操作して、部分画面枠の移動とサイズ変化を指示することになる。具体的には、例えばいま、第１のフレームから第２のフレームが表示されるまでの期間に、ユーザは、UI１２のうちの右ボタンを２回だけ、上ボタンが１回だけ、かつ、拡大ボタンを１回だけ、それぞれ押下したとする。

すると、上述したように、UI入力処理部２２の図２の部分画面設定処理部７３は、「第２のフレームにおける部分画面枠（後述する図３の実線で示される部分画面枠５３Ｂ）の表示状態はon状態のまま保持する」という内容の第１のコマンド、「第２のフレームにおける部分画面枠５３Ｂを、第１のフレームにおける部分画面枠５３Ａの配置位置に対して、xの正（＋）方向に２単位だけ移動させ、かつ、ｙの負（−）方向に１単位だけ移動させる」という内容の第２のコマンド、および、「第２のフレームにおける部分画面枠５３Ｂのサイズを、第１のフレームにおける部分画面枠５３Ａのサイズに対して１単位だけ拡大させる」という内容の第３のコマンドを生成し、表示設定部２３に供給することになる。

なお、上述した単位nxが例えば「２４」とされると、「xの正（＋）方向に２単位だけの移動」とは、ｘの正（＋）方向がここでは右方向とされているので、「全画面表示装置１３の表示画面において右方向に４８（＝２×２４）画素分だけの移動」を指す。同様に、上述した単位nyが例えば「１６」とされると、「yの負（−）方向に１単位だけの移動」とは、yの負（−）方向がここでは上方向とされているので、「全画面表示装置１３の表示画面において上方向に１６（＝１×１６）画素分だけの移動」を指す。また、上述した単位mxが「４８」とされ、かつ単位myが「３６」とされると、「１単位だけ拡大する」とは、「全画面表示装置１３の表示画面において、左右方向にそれぞれ２４（＝４８／２）画素拡大し、かつ、上下方向にそれぞれ１８（＝３６／２）画素拡大する」ことを指す。

このような第１のコマンド乃至第３のコマンドが供給されると、表示設定部２３は、これらの第１のコマンド乃至第３のコマンドに従って、第１のフレームにおける部分画面枠の設定情報を次のような情報に更新し、更新されたそれらの情報を第２のフレームにおける部分画面枠の設定情報として保持するとともに、図１の映像データ重畳部３４と表示装置適合処理部３６に供給する。

即ち、第２のフレームにおける部分画面枠５３Ｂの設定情報とは、第２のフレームにおける部分画面枠５３Ｂの表示のon/off 情報（更新情報）、第２のフレームにおける部分画面枠５３Ｂの位置情報（更新情報）、および、第２のフレームにおける部分画面枠５３Ｂのサイズ情報（更新情報）である。具体的には、第２のフレームにおける部分画面枠５３Ｂの表示のon/off 情報（更新情報）は「on」という情報である。第２のフレームにおける部分画面枠５３Ｂの位置情報（更新情報）は「部分画面枠５３Ｂの中心位置は、全画面（フレーム）における中心位置（512,384）から、右方向に４８画素分だけ移動され、かつ、上方向に１６画素分だけ移動された位置（560,368）である」という内容の情報である。また、第２のフレームにおける部分画面枠５３Ｂのサイズ情報（更新情報）は「部分画面枠５３Ｂのx軸方向およびy軸方向のそれぞれの長さは304（＝256+48）,228（＝192+36）画素のそれぞれである」という内容の情報である。

従って、このような第２のフレームにおける部分画面枠５３Ｂの設定情報が映像データ重畳部３４に供給され、映像データ重畳部３４と映像出力処理部３５により上述した処理が実行されると、全画面表示装置１３には、第２のフレームが表示されるとともに、その第２のフレームの上には、図３に実線で示される部分画面枠５３Ｂが表示されるのである。即ち、全画面表示装置１３の表示画面が第１のフレームから第２のフレームに更新されると、部分画面枠も点線枠５３Ａから実線枠５３Ｂに更新されるのである。

なお、このとき、図１の表示装置適合処理部３６と映像出力処理部３７の後述する処理により、部分画面拡大表示装置１４の表示画面も、図３中点線の部分画面枠５３Ａ内の部分領域から同図中実線の部分枠５３Ｂ内の部分領域に更新されるのである。

以上、図３を参照して、図１の表示設定部２３の処理の具体例について説明した。

次に、図１に戻り、表示装置適合処理部３６について説明する。

表示装置適合処理部３６は、復号処理部３２から順次出力されてくる各オリジナルフレーム（ビットマップイメージデータ）の中から、表示設定部２３により配置位置とサイズが設定（更新）された部分画面枠内の部分領域（ビットマップイメージデータ）を抽出し、その部分領域に対して表示装置適合処理部３３と同様の処理を実行する。

具体的には例えばいま、上述したように、オリジナル画面の解像度（映像データ記憶部１１に記憶されている映像ソースデータが有する解像度であって、以下、オリジナル解像度と称する）が2048x1536とされ、全画面表示装置１３の表示解像度が1024x768とされ、かつ、部分画面拡大表示装置１４の表示解像度が512x384とされているとする。

また、部分画面枠の設定情報として、例えば図３の実線で示される部分画面枠５３Ｂを特定可能な上述した情報が、表示設定部２３から表示装置適合処理部３２に供給されたとする。

即ち、第２のフレームにおける部分画面枠５３Ｂの表示のon/off 情報（更新情報）として「on」という情報が、第２のフレームにおける部分画面枠５３Ｂの位置情報（更新情報）として「部分画面枠５３Ｂの中心位置は、全画面（フレーム）における中心位置（512,384）から、右方向に４８画素分だけ移動され、かつ、上方向に１６画素分だけ移動された位置（560,368）である」という内容の情報が、第２のフレームにおける部分画面枠５３Ｂのサイズ情報（更新情報）として「部分画面枠５３Ｂのx軸方向およびy軸方向のそれぞれの長さは304（＝256+48）,228（＝192+36）画素のそれぞれである」という内容の情報が、それぞれ表示装置適合処理部３６に供給されたとする。

また、オリジナル解像度である2048x1536の第２のフレーム（ビットマップイメージデータ）が、復号処理部３２から表示装置適合処理部３６に供給されたとする。

このように、表示設定部２３から供給される部分画面枠５３Ｂの設定情報は、全画面表示装置１３の表示解像度である1024x768に基づく情報とされている。これに対して、第２のフレームの解像度は、オリジナル解像度である2048x1536である。

そこで、表示装置適合処理部３６は、オリジナル解像度である2048x1536の第２のフレームの中から、部分画面枠５３Ｂに対応する部分領域を切り出すために次のような処理を実行する。

即ち、表示装置適合処理部３６は、表示設定部２３から供給された部分画面枠５３Ｂのサイズ情報（更新情報）に基づいて、第２のフレームの解像度が1024x768に変換された場合における部分画面枠５３Ｂのサイズ、即ち、全画面表示装置１３の表示画面に表示される場合の部分画面枠５３Ｂのサイズは、304×228であると認識する。

次に、表示装置適合処理部３６は、部分画面枠５３Ｂのサイズを、上述したようにして認識されたサイズ304×228から、オリジナル解像度である2048x1536の第２のフレームに対する相対サイズに変換する。具体的には、表示装置適合処理部３６は、全画面表示装置１３の表示解像度である1024x768の第２のフレームにおける部分画面枠５３Ｂの画素数を、縦横ともに(オリジナル解像度)/(全画面表示装置１３の表示解像度)の分だけに乗算する。即ち、横方向画素数が304 x 2048 / 1024 = 608、縦方向画素数が228 x 1536 / 768 = 456 と変換され、変換されたサイズ608×456が、オリジナル解像度である2048x1536の第２のフレームにおける部分画面枠５３Ｂのサイズとして決定される。

また、表示装置適合処理部３６は、表示設定部２３から供給された部分画面枠５３Ｂのサイズ情報（更新情報）に基づいて、全画面表示装置１３の表示解像度である1024x768の第２のフレームにおける部分画面枠５３Ｂの中心位置を、オリジナル解像度である2048x1536の第２のフレームにおける部分画面枠５３Ｂの中心位置に変換する。即ち、x軸方向が536 x 2048 / 1024 = 1072, y軸方向が392 x 1536 / 768 = 784 と変換され、その結果得られる座標（1072,784）が、オリジナル解像度である2048x1536の第２のフレームにおける部分画面枠５３Ｂの中心位置として決定される。

表示装置適合処理部３６は、このようにして、オリジナル解像度である2048x1536の第２のフレームにおける部分画面枠５３Ｂのサイズと中心位置とを決定すると、次のような処理を実行する。即ち、表示装置適合処理部３６は、オリジナル解像度である2048x1536の第２のフレーム（ビットマップイメージデータ）から、決定されたサイズと中心位置に基づいて部分画面枠５３Ｂに対応する部分領域（ビットマップイメージデータ）を特定して切り出す。

いまの場合、608×456の部分領域が切り出されることになる。これに対して、部分画面拡大表示装置１４の表示解像度は、上述したように512x384とされている。

そこで、表示装置適合処理部３６はさらに、608×456の部分領域（ビットマップイメージデータ）に対して画素数比 608:512(=19:16)のサンプリングレートコンバート処理を施して、その結果得られる512×384の部分領域（ビットマップイメージデータ）を映像出力処理部３７に供給する。

ここで、図４乃至図７を参照して、サンプリングレートコンバート処理について説明する。なお、ここでは、説明の簡略上、画素数比が3:2の場合のサンプリングレートコンバート処理について説明する。

図４は、サンプリングレートコンパレート処理が施される前の画像のうちの所定のラインに並ぶ６つの画素からなる画素群、即ち、y＝一定値におけるｘ軸方向に連続して並ぶ６つの画素からなる画素群を示している。

なお、ここでは、画素数比が3:2の場合のサンプリングレートコンバート処理について説明するため、先頭の３つの画素８１乃至画素８３からなる画素群に着目して説明するが、そのラインの右方の３つの画素からなる画素群等、その他図示せぬ３つの画素がｘ軸方向に連続して並んで形成される全ての画素群のそれぞれに対して、次のような１番目の処理乃至３番目の処理が施されることになる。

即ち、１番目の処理とは、3と2の最小公倍数は6であることを利用し、画素８１乃至画素８３といった３画素の並びを、図５に示されるように、画素８１乃至画素８３のそれぞれの間に画素９１乃至画素９３のそれぞれを等間隔で挿入することで、２倍の６画素の並びとする処理である。即ち、画素８１，画素９１，画素８２，画素９２，画素８３，画素９３といった連続する６つの画素を等間隔に並べる処理である。

２番目の処理とは、追加された画素９１乃至画素９３についての輝度を最も平滑化された形で確定させるために施される処理であって、図５の６つの画素（画素８１，画素９１，画素８２，画素９２，画素８３，画素９３）からなる画素群にローパスフィルタをかける処理である。このような２番目の処理の結果、図６に示されるような、６つの画素１０１乃至画素１０６からなる画素群が得られる。

３番目の処理（最後の処理）とは、画素数を1/3に間引く処理である。３番目の処理の結果、図７に示されるような２つの画素１０１と画素１０４のみが残った画素群が得られる。なお、2番目の実際の処理では、3番目の処理によって残る画素についてのみローパスフィルタ処理をかければよい。

なお、その他の画素数比（例えば上述した608:512(=19:16)）の場合のサンプリグレートコンバート処理の流れについても以上の流れと同様になる。

以上、図４乃至図７を参照して、図１の表示装置適合処理部３６が実行する処理のひとつであるサンプリングレートコンバート処理について説明した。

次に、この表示装置適合処理部３６の後段の映像出力処理部３７について説明する。

映像出力処理部３７は、上述した映像出力処理部３５と同様の機能と構成を有している。即ち、映像出力処理部３７は、表示装置適合処理部３６から供給された部分領域（全画面表示装置１３にほぼ同時に表示される表示フレーム内のうちの、ユーザが着目するオブジェクトを含む部分領域）を、部分画面拡大表示装置１４の入力形式に適する映像信号に変換して部分画面拡大表示装置１４に供給する。例えば、部分画面拡大表示装置１４の入力形式がアナログ映像信号の場合、映像出力処理部３７は、表示装置適合処理部３６から供給されたビットマップイメージデータ（部分領域）をアナログ映像信号に変換して部分画面拡大表示装置１４に出力する。すると、部分画面拡大表示装置１４は、上述したように、映像出力処理部３７から供給されたアナログ映像信号に対応する映像（部分領域）を全画面表示で表示する。具体的には例えば図１の例では、全画面表示装置１３に表示されているフレーム５１上の部分画面枠５３内の部分領域５２、即ち、オブジェクト６１を含む部分領域５２が、部分画面拡大表示装置１４に全画面表示されるのである。

以上、図１の映像処理装置１の機能的構成例について説明した。

次に、図８のフローチャートを参照して、かかる機能的構成を有する映像処理装置１が実行する処理のうちの、２つの画面のうちの一方にフレームを全画面表示させ、他方にそのフレームの部分領域を全画面表示させる処理（以下、２画面表示制御処理と称する）について説明する。

ステップＳ１において、映像主処理部２１（特にデータ入出力処理部３１）は、再生コマンドが発行されたか否かを判定する。

ステップＳ１において、再生コマンドが発行されていないと判定されると、処理はステップＳ１に戻され、再生コマンドが発行されたか否かが再度判定される。即ち、映像主処理部２１（特にデータ入出力処理部３１）は、再生コマンドの発行を常時監視している。

上述したように、ユーザがUI１２を操作して、映像データ記憶部１１に記憶されている映像ソース（データ）の中から所定の１つを選択し、さらにその再生を指示すると、UI入力処理部２２は、再生コマンドをデータ入出力処理部３１に対して発行する。

すると、ステップＳ１において、映像主処理部２１（特にデータ入出力処理部３１）は、再生コマンドが発行されたと判定し、再生コマンドで指定されている映像ソース（データ）を映像データ記憶部１１から取得すると、処理をステップＳ２に進める。

ステップＳ２において、映像主処理部２１（特に復号処理部３２乃至映像出力処理部３５）は、映像ソースの再生を開始し、その映像ソースを構成する各フレームのそれぞれを全画面表示装置１３に順次全画面表示させる。

ステップＳ３において、表示設定部２３は、部分画面枠表示コマンドが発行されたか否かを判定する。

ステップＳ３において、部分画面枠表示コマンドが発行されていないと判定されると、処理はステップＳ３に戻され、部分画面枠表示コマンドが発行されたか否かが再度判定される。即ち、表示設定部２３は、部分画面枠表示コマンドの発行を常時監視している。

上述したように、UI１２からの出力コードのうちの、部分画面枠表示のon/offを示すパラメータがUI入力処理部２２に供給されると、UI入力処理部２２は、部分画面枠表示コマンド、即ち、上述した第１のコマンドを生成し、表示設定部２３に対して発行する。

すると、ステップＳ３において、表示設定部２３は、部分画面枠表示コマンドが発行されたと判定して、部分画面枠の設定情報を生成（更新）し、即ち、上述したように、部分画面枠の表示状態が「on」であることを示す情報、部分画面枠の位置情報、および、部分画面枠のサイズ情報を生成し、映像データ重畳部３４と表示装置適合処理部３６に供給する。これにより、処理はステップＳ４に進められる。

ステップＳ４において、映像主処理部２１（特に映像データ重畳部３４と映像出力処理部３５）は、表示設定部２３から供給された部分画面枠の設定情報に基づいて、全画面表示装置１３に表示されている映像ソース（フレーム）内の所定の配置位置に所定のサイズで部分画面枠を表示させる。

ステップＳ５において、映像主処理部２１（特に表示装置適合処理部３６と映像出力処理部３７）は、ステップＳ４の処理で全画面表示装置１３に表示された部分画面枠内の映像（即ち、部分領域）を拡大して、部分画面拡大表示装置１４に表示させる。

即ち、表示装置適合処理部３６は、表示設定部２３から供給された部分画面枠の設定情報に基づいて、復号処理部３２から供給されるフレームの中から、ステップＳ４の処理で全画面表示装置１３に表示された部分画面枠に対応する部分領域を切り出し、切り出された部分領域に対して、部分画面拡大表示装置１４の表示形式に対応する画像に変換させる画像処理（例えば上述したサンプリングレートコンバート処理）を施して、映像出力処理部３７に供給する。映像出力処理部３７は、表示装置適合処理部３６により画像処理が施された部分領域を、部分画面拡大表示装置１４に全画面表示する。

なお、ステップＳ４とステップＳ５の処理は実際には並行して実行される。即ち、ステップＳ４とＳ５の処理の順番は特に限定されない。

ステップＳ６において、表示設定部２３は、部分画面枠の移動または拡大のコマンドが発行されたか否かを判定する。

上述したように、UI入力処理部２２から発行される第２のコマンドが「部分画面枠の位置を保持する（移動を禁止する）」という内容のコマンドであり、かつ、第３のコマンドが「部分画面枠のサイズを保持する（サイズ変更を禁止する）」という内容のコマンドである場合、ステップＳ６において、部分画面枠の移動または拡大のコマンドが発行されていないと判定され、処理はステップＳ８に進められる。

ステップＳ８において、表示設定部２３は、部分画面枠の消去コマンドが発行されたか否かを判定する。

いまの場合、即ち、部分画面枠が全画面表示装置１３に表示され、かつ、その部分画面枠内の部分領域が部分画面拡大表示装置１４に表示されている状態の場合、上述した部分画面枠表示のon/offを示すパラメータがUI入力処理部２２に供給されない限り、ステップＳ８において、部分画面枠の消去コマンドが発行されていないと判定され、処理はステップＳ４に戻され、それ以降の処理が繰り返される。

即ち、部分画面枠の移動コマンド、拡大コマンド、および消去コマンドのいずれも発行されない場合、全画面表示装置１３には、映像ソースが再生され続け（各フレームが順次表示され）、かつ、部分画面枠が表示画面中同一位置に同一サイズで表示され続ける。また、部分画面拡大表示装置１４には、各フレームのそれぞれについての、全画面表示装置１３の表示画面中同一位置の同一サイズの部分画面枠内の映像（部分領域）が表示されることになる。従って、オブジェクトが移動するような場合、部分画面拡大表示装置１４において、そのオブジェクトがたとえ最初に表示されていたとしても、時間が経過すると表示されなくなってしまう。

そこで、ユーザは、着目するオブジェクトの変化（移動やサイズ変化）を全画面表示装置１３で確認しながら、UI１２を操作することで、部分画面枠の移動やサイズの更新を指示することになる。このユーザの指示は、x軸方向移動を示すパラメータ，y軸方向移動を示すパラメータ,拡大縮小を示すパラメータのうちの少なくともひとつとしてUI１２からUI入力処理部２２に供給されることになる。

そして、x軸方向移動を示すパラメータ，y軸方向移動を示すパラメータ,拡大縮小を示すパラメータのうちの少なくともひとつが供給されると、UI入力処理部２２は、部分画面枠の移動または拡大のコマンドを表示設定部２３に発行することになる。

なお、ここでいう部分画面枠の移動コマンドとは、上述した第２のコマンドのうちの、例えば「部分画面枠の位置をx軸の正または負方向に所定の単位分だけ移動させる」、「部分画面枠の位置をy軸の正または負方向に所定の単位分だけ移動させる」、或いは、「部分画面枠の位置をx軸の正または負方向に所定の単位分だけ移動させ、かつ、y軸の正または負方向に所定の単位分だけ移動させる」という内容のコマンドを指す。

また、ここでいう部分画面枠の拡大コマンドとは、上述した第３のコマンドのうちの、例えば「部分画面枠のサイズを左右方向に所定の単位分だけ拡大または縮小させ、かつ、上下方向に所定の単位分だけ拡大または縮小させる」という内容のコマンドを指す。

このような内容の第２のコマンド（部分画面枠の移動コマンド）または第３のコマンド（部分画面枠の拡大コマンド）がUI入力処理部２２から表示設定部２３に発行されると、ステップＳ６において、部分画面枠の移動または拡大のコマンドが発行されたと判定され、処理はステップＳ７に進められる。

ステップＳ７において、表示設定部２３は、部分画面枠の配置位置とサイズとのうちの少なくとも一方の設定を更新し、その更新内容を、次のフレームにおける部分画面枠の設定情報として映像データ重畳部３４と表示装置適合処理部３６に供給する。これにより、処理はステップＳ８に進められる。

その後、ステップＳ８において、部分画面枠の消去コマンドが発行されていないと判定されると、処理はステップＳ４に戻され、それ以降の処理が繰り返される。

即ち、部分画面枠の移動コマンドまたは拡大コマンドが発行された場合、全画面表示装置１３には、映像ソースが再生され続け（各フレームが順次表示され）、かつ、部分画面枠が、ユーザが着目するオブジェクトの動きに追従して移動したりサイズを変更しながら表示されていくことになる。また、部分画面拡大表示装置１４には、各フレームのそれぞれについての、移動されたりサイズが変更された部分画面枠内の部分領域が順次表示されることになる。即ち、部分画面拡大表示装置１４には、ユーザが着目するオブジェクトがユーザにとって適切なサイズで常時表示され続けるのである（ユーザがUI１２を操作して、部分画面枠の移動やサイズの更新指示を継続する限り）。

ところで、部分画面枠が全画面表示装置１３に表示されている状態、即ち、その部分画面枠内の部分領域が部分画面拡大表示装置１４に表示されている状態で、上述した部分画面枠表示のon/offを示すパラメータがUI入力処理部２２に供給されると、UI入力処理部２２は、部分画面枠の消去コマンド、即ち、上述した第１のコマンドを生成し、表示設定部２３に対して発行する。

すると、ステップＳ８において、表示設定部２３は、部分画面枠表示コマンドが発行されたと判定して、部分画面枠の設定情報を更新し、即ち、上述したように、部分画面枠の表示状態が「off」であることを示す情報を含む設定情報に更新し、その設定情報を映像データ重畳部３４と表示装置適合処理部３６に供給する。これにより、処理はステップＳ９に進められる。

ステップＳ９において、映像主処理部２１は、全画面表示装置１３から部分画面枠を消去し、部分画面枠拡大表示装置１４の映像表示を停止する。

これにより２画面表示制御処理は終了となる。

ただし、２画面表示制御処理が終了しても、全画面表示装置１３における映像ソースの全画面再生は引き続き行われることになる。即ち、映像ソースの最後のフレームまで再生されるか、或いは、映像ソースの停止指令がUI１２から入力されると、全画面表示装置１３における映像ソースの全画面再生は終了することになる。

なお、図８の例では、説明の簡略上、２画面表示制御処理が一度終了すると、その映像ソースの再生中は、２画面表示制御処理は再開できない処理とされているが、実際には、映像ソースの再生中に、部分画面枠表示コマンドが再発行された時点で、部分画面枠の表示やその内部の部分領域の拡大表示を再開させればよい。このことは、映像ソース自体の再生処理（ステップＳ１とＳ２の処理）と、部分画面枠の表示やその内部の部分領域の拡大表示の処理（ステップＳ３乃至Ｓ９の処理）とを相互に独立した処理として並行に実行させれば容易に実現可能である。また、このことは、後述するその他の実施形態における２画面表示制御処理についても同様である。

以上、第１実施形態の情報処理装置について説明した。

（第２実施形態）

次に、第２実施形態の情報処理装置について説明する。

第１実施形態においては、ユーザがUI１２を常時手動操作することで、即ち、UI１２からの入力により、部分画面枠の配置位置とサイズが更新されていたが、第２実施形態においては、部分画面枠の配置位置とサイズは、初期時のみ手動で設定され（即ち、第１実施形態同様、ユーザの手動操作に基づくUI１２からの入力に基づいて初期設定が行われ）、それ以降、オブジェクトを自動追尾するアルゴリズム（以下、自動追尾アルゴリズムと称する）により自動的に更新される。

なお、自動的とは、ユーザの操作を介在することなく、即ち、UI１２からの入力が無くとも、映像処理装置１が自分自身の判断（ここでは自動追尾アルゴリズムに従った判断）で処理を実行することを指す。

このような第２実施形態の情報処理装置としての映像処理装置の機能的構成例は、例えば、第１実施形態の図１の映像処理装置１に対して、表示設定部２３の代わりに図９に示されるような表示設定/自動追尾アルゴリズム実行部１２３を搭載させればよい。

なお、表示設定/自動追尾アルゴリズム実行部１２３は、構成が可能であれば、ハードウエア単体で構成してもよいし、ソフトウエア単体で構成してもよいし、或いは、ハードウエアとソフトウエアの組合せで構成してもよい。

以下、表示設定/自動追尾アルゴリズム実行部１２３について説明する。

表示設定/自動追尾アルゴリズム実行部１２３は、図１の表示設定部２３の機能の他、さらに、自動追尾アルゴリズムの実行機能を有している。なお、以下、前者の機能に対応するモードを表示設定モードと称し、後者の機能に対応するモードを自動追尾モードと称する。

例えば、ユーザは、着目するオブジェクト全体が全画面表示装置１３に表示されるまでは、第１実施形態と同様の手法により部分画面枠の移動やサイズ変更の指示操作を手動で行うことができる。この場合、表示設定/自動追尾アルゴリズム実行部１２３は、表示設定モードで動作する。即ち、表示設定/自動追尾アルゴリズム実行部１２３は、図１の表示設定部２３と同様の処理を実行することで、部分画面枠の位置情報やサイズ情報等を更新し、その更新結果を、部分画面枠の設定（更新）情報として映像データ重畳部３４と表示装置適合処理部３６に供給する。

その後、着目するオブジェクト全体が全画面表示装置１３に表示されたら、ユーザはUI１２のうちの図示せぬ自動表示ボタン等を押下する。すると、UI入力処理部２２は、自動表示コマンドを、表示設定/自動追尾アルゴリズム実行部１２３に対して発行する

表示設定/自動追尾アルゴリズム実行部１２３は、この自動表示コマンドを受け取ると、その動作モードを自動追尾モードに遷移させる。即ち、表示設定/自動追尾アルゴリズム実行部１２３は、自動追尾アルゴリズムを実行し、全画面表示装置１３の表示画面（各表示フレーム）の中で、ユーザが着目するオブジェクトの動きを追尾し、その追尾結果に基づいて、部分画面枠の配置位置とサイズを順次決定（更新）し、順次決定（更新）される情報を、部分画面枠の設定（更新）情報として映像データ重畳部３４と表示装置適合処理部３６に供給する。

ここで、自動追尾アルゴリズムの概略について説明する。

自動追尾アルゴリズムとしては、目標物の移動に伴ってカメラの撮像方向を自動的に追尾するような目的で数多くの手法が考案されている。例えば、目標物の移動を検出するためにブロックマッチングの方法が知られている。ブロックマッチングとは、目標物の周辺画像又は特徴部分の画像によって定義したオリジナルブロックに対して相関が最大になるブロックを対象画面中から検出する手法であり、オリジナルブロックの各画素と画素同士の差の絶対値和が最小になるブロツックの位置を目標物の位置として検出するものである

その他、自動追尾アルゴリズムの手法としては、例えば、特開平６−３０３１８号公報、特開２０００−７８５６３号公報、特開平７−３０７９６号公報、特開平９−２０５５７５号公報、および、特開平９−２０５５７６号公報により開示されている。

ところで、ユーザは、部分画面枠の配置位置とサイズの設定を自動設定から手動設定に再度変更させたい場合、UI１２のうちの図示せぬ自動表示解除ボタン等を押下すればよい。すると、UI入力処理部２２は、自動表示解除コマンドを、表示設定/自動追尾アルゴリズム実行部１２３に対して発行する。表示設定/自動追尾アルゴリズム実行部１２３は、この自動表示コマンドを受け取ると、その動作モードを表示設定モードに再度遷移させる。

以上、第２実施形態の情報処理装置について説明した。

（第３実施形態）

次に、図１０乃至図１３を参照して、第３実施形態の情報処理装置について説明する。

図１０は、第３実施形態の情報処理装置としての映像処理装置を含む映像処理システムの機能的構成例を示す図である。即ち、第１実施形態と第２実施形態は、ユーザが使用する映像処理装置１台で本発明が実現される実施の形態であり、第３実施形態は、ユーザが使用する映像処理装置と、他の情報処理装置とからなる映像処理システムで本発明が実現される実施の形態である。

図１０に示されるように、映像処理装置２０１には、映像データ記憶部２１１、UI２１２、全画面表示装置２１３、および、部分画面拡大表示装置２１４が接続されている。

映像データ記憶部２１１、UI２１２、全画面表示装置２１３、および、部分画面拡大表示装置２１４のそれぞれは、図１における、映像データ記憶部１１、UI１２、全画面表示装置１３、および、部分画面拡大表示装置１４のそれぞれと基本的に同様の機能と構成を有することができる。従って、これらのブロックの説明については省略する。

映像処理装置２０１にはさらに、ネットワーク２０３を介してメタデータ生成装置２０２が接続されている。

なお、ネットワーク２０３の形態は特に限定されず、IPプロトコルを用いたインターネットでもよいし、ATM(Asynchronous Transfer Mode)でもよい。また、ネットワーク２０３は、この映像処理システムにおいて特に必須な構成要素ではない。即ち、映像処理装置２０１とメタデータ生成装置２０２とは、ネットワーク２０３を介さずに直接通信を行ってもよい。

ところで、第３実施形態の目的とは、次のように他の実施の形態（上述した第１実施形態と第２実施形態の他、後述する第４実施形態）と同一の目的である。即ち、ユーザが使用する映像処理装置２０１が、そのユーザが着目するオブジェクトを含むフレーム全体を全画面表示しているモニタ（図１０の例では全画面表示装置２１３）とは異なる別モニタ（図１０の例では部分画面拡大表示装置２１４）に、そのオブジェクト（正確には、それを含む部分領域）を全画面高解像度表示させることを目的としている。

しかしながら、この目的達成の手法が、第３実施形態と他の実施の形態とでは異なる。即ち、第３実施形態とは、この目的達成のために必要な情報、即ち、映像ソース（各フレーム）中の部分画面枠（それに含めるべきオブジェクト）の配置位置とサイズを特定可能な情報を、他の情報処理装置（図１０の例ではメタデータ生成装置２０２）から取得する（ネットワークサービスを利用して取得する）実施の形態である。

このため、ユーザ側で必要となるローカルシステムの構成は、映像処理装置２０１、映像データ記憶部２１１、UI２１２、全画面表示装置２１３、および、部分画面拡大表示装置２１４となる。

そして、このユーザ側のローカルシステムがネットワーク２０３を介してメタデータ生成装置２０２に接続されているのである。メタデータ生成装置２０２は、部分画面枠（それに含めるべきオブジェクト）の配置位置やサイズを特定可能な情報（第３実施形態の説明中においては、このような情報をメタデータと称する）を生成し、ネットワーク２０３を介してユーザ側のローカルシステムに供給する。

従って、第３の実施形態とは、メタデータ生成装置２０２により生成されたメタデータ（ネットワークサービスにより配信されたメタデータ）に基づいて、部分画面枠の配置位置とサイズを更新する実施の形態であるとも言える。

このため、メタデータ生成装置２０２はメタデータを事前に生成しておく必要があるが、このようなメタデータ生成装置２０２の説明は後述し、その前にユーザ側のローカルシステムの一構成要素である映像処理装置２０１の機能的構成例について説明する。

図１０に示されるように、映像処理装置２０１には、映像処理部２２１乃至ネットワーク入出力処理部２２４が設けられている。また、この映像処理部２２１には、データ入出力処理部２３１乃至映像出力処理部２３７が設けられている。

映像処理部２２１乃至ネットワーク入出力処理部２２４のそれぞれは、構成が可能であれば、ハードウエア単体で構成してもよいし、ソフトウエア単体で構成してもよいし、或いは、ハードウエアとソフトウエアの組合せで構成してもよい。また、映像処理部２２１がハードウエアとソフトウエアの組合せで構成されている場合、その構成要素であるデータ入出力処理部２３１乃至映像出力処理部２３７のそれぞれは、構成が可能であれば、ハードウエア単体で構成してもよいし、ソフトウエア単体で構成してもよいし、或いは、ハードウエアとソフトウエアの組合せで構成してもよい。

映像主処理部２２１は、図１の映像主処理部２１と基本的に同様の機能と構成を有することができる。従って、映像主処理部２２１の詳細な説明については省略する。

UI入力処理部２２２は、UI２１２からの出力コードを受け、次のような２つのユーザ要求に対する処理を行う。一つは、所望の映像ソースを選択し、その再生を開始させたり、終了させたりする要求である。もう一つは、各表示画面（各表示フレーム）全体の中から所望のオブジェクトを含む部分領域を別モニタ（図１０の例では部分画面拡大表示装置２１４）に表示させる要求である。

前者のユーザ要求に対応する処理は、図１のUI入力処理部２２の処理と基本的に同様の処理であるので、その説明については省略する。そこで、以下、後者のユーザ要求に対応する処理について説明する。なお、その説明の合間にさらに、ネットワーク入出力処理部２２４の説明も併せて行う。

例えばいま、後述するメタデータ生成装置２０２には、映像データ記憶部２１１に記憶されている映像ソースデータ（映像ストリーム）のそれぞれについて、対応する映像ストリームに含まれるオブジェクトのうちの部分拡大が可能なオブジェクトを特定可能な情報（その名称やID）が羅列されたリスト（以下、オブジェクトリストと称する）がメタデータのひとつとして記憶されているとする。さらに、メタデータ生成装置２０２には、そのオブジェクトリストに含まれる各オブジェクトのそれぞれについて、対応するオブジェクトの配置位置とサイズ（正確には、そのオブジェクトを囲む部分画面枠の配置位置とサイズ）もメタデータのひとつとして記憶されているとする。

この場合、UI入力処理部２２２は、これから再生させる映像ストリーム（映像ソースデータ）を選択した後、その再生を開始させる前に、選択された映像ストリームについてのメタデータの取得要求を、ネットワーク入出力処理部２２４とネットワーク２０３を介してメタデータ生成装置２０２に対して行う。すると、メタデータ生成装置２０２は、その映像ストリームについての上述したメタデータをネットワーク２０３を介して送信してくるので、UI入力処理部２２２は、そのメタデータをネットワーク入出力処理部２２４を介して受信する。

このように、ネットワーク入出力処理部２２４は、ネットワーク２０３経由でリモートシステム（図１０の例ではメタデータ生成装置２０２）にメタデータの取得要求を行ったり、その取得要求に対する応答としてメタデータ生成装置２０２から送信されてくるメタデータをネットワーク２０３を介して受信する。ネットワーク入出力処理部２２４は、受信されたメタデータを、上述したUI入力処理部２２２の他、メタデータ解析部２２３にも供給する。

ところで、このようにしてメタデータがUI入力処理部２２２に受信されると、UI入力処理部２２２は、受信されたメタデータのうちのオブジェクトリストを、全画面表示装置２１３または部分画面拡大表示装置２１４に表示させる（ただし、図１０においては、対応する矢印は図示せず）。

ユーザは、このオブジェクトリストを見ながらUI２１２を操作することで、着目するオブジェクト（部分画面拡大表示装置２１４に拡大表示させたいオブジェクト）を選択することができる。即ち、UI２１２は、選択されたオブジェクトを示す信号（以下、オブジェクト選択信号と称する）をUI入力処理部２２２に供給する。

なお、ここでは、オブジェクトリストには、各オブジェクトのそれぞれに付されたIDが少なくとも含まれているとする。この場合、UI入力処理部２２２は、供給されたオブジェクト選択信号で特定されるオブジェクトのIDをオブジェクトリストから取得し、メタデータ解析部２２３に供給する。

なお、上述した例では、オブジェクトリストも含めてメタデータの一括取得要求がなされたが、後述する図１３のフローチャートに示されるように、オブジェトリストの取得要求と、その他のメタデータの取得要求とが個別に発行されてもよい。

以上、UI入力処理部２２２とネットワーク入出力処理部２２４について説明した。次に、メタデータ解析部２２３について説明する。

メタデータ解析部２２３は、上述したように、ユーザが着目するオブジェクト、即ち、これから部分画面表示が行われるオブジェクトのIDをUI入力処理部２２２から取得する。

また、メタデータ解析部２２３は、上述したように、再生映像ストリーム（映像データ記憶部２１１に記憶されている映像ソースデータのうちの、ユーザにより選択された映像ソースデータ）についてのメタデータをネットワーク入出力処理部２２４（出力元はメタデータ生成装置２０２）から取得する。即ち、メタデータ解析部２２３は、再生映像ストリームを構成する各フレームのそれぞれについてのメタデータ（対応するフレームにおける部分画面枠の配置位置とサイズを特定可能な情報）をネットワーク入出力処理部２２４から入手する。

さらに、メタデータ解析部２２３は、再生映像ストリーム（映像データ記憶部２１２からデータ入出力処理部２３１により取得された映像ソースデータが、復号処理部２３２によりデコードされ、その結果得られるストリームデータ）を構成する各フレームのそれぞれの再生時刻とフレーム番号を示す情報を取得する。

そして、メタデータ解析部２２３は、このようにして取得した各種情報に基づいて、各フレームのそれぞれ毎（再生時刻毎）に、部分画面枠の設定情報、即ち、部分画面枠の表示のon/off 情報、部分画面枠の位置情報、部分画面枠のサイズ情報を更新していき、その更新結果（設定情報）を映像データ重畳部２３４および表示装置適合処理部２３６に順次供給する。

即ち、第１実施形態の図１の映像処理装置１では、ユーザの手動操作に対応する情報に基づいて、部分画面枠の設定情報を生成する（更新する）表示設定部２３が設けられていた。これに対して、第３実施形態の図１０の映像処理装置２０１では、表示設定部２３の代わりに、メタデータ生成装置２０２により生成されたメタデータ等に基づいて、部分画面枠の設定情報を生成するメタデータ解析部２２３が設けられているのである。

以上、ユーザ側のローカルシステムにおける映像処理装置２０１の機能的構成例について説明した。

次に、図１１を参照して、リモート側にあるメタデータ生成装置２０２の機能的構成例について説明する。即ち、図１１は、メタデータ生成装置２０２の機能的構成例を示している。

なお、以下、メタデータ生成装置２０２を使用する者（主に自然人）をメタデータ作成者と称する。メタデータ作成者は、一般的にローカル側のユーザ（図１０の映像処理装置２０１を使用する者）とは異なる者であるが、ローカル側のユーザ自身となることもあり得る。なお、メタデータ作成者とローカル側のユーザとが一致する場合、即ち、ローカル側のユーザがメタデータを作成する場合、図１０のように、映像処理装置２０１とメタデータ生成装置２０２とを個別に設けてもよいが、メタデータ生成装置２０２の機能を映像処理装置２０１にさらに搭載させると好適である。ユーザにとっては１台の映像処理装置２０１を用意すればよいからである。

ところで、メタデータ作成者は、メタデータ生成装置２０２を用いて、ローカル側のユーザが視聴する可能性のある映像について、その映像に含まれるオブジェクトの中から、そのユーザが着目する可能性のあるオブジェクトを選択し、選択されたオブジェクトについてのメタデータを１以上作成する。このため、リモート側ではメタデータ作成者がユーザとなり、対象の映像ソース（データ）を再生させ、UI３１２を用いて、第１実施形態のユーザ（図１の映像処理装置１を使用するユーザ）と同様に、先に選択されたオブジェクトの変化（移動やサイズ変更）に追従させるように、即ち、そのオブジェクトを囲むように、部分画面枠の動き（移動方向や移動量、サイズ変更等）を操作する。

このため、図１１に示されるように、メタデータ生成装置２０２には、映像処理部３２１乃至ネットワーク入出力処理部３２５が設けられている。また、この映像処理部３２１には、データ入出力処理部３３１乃至映像出力処理部３３７が設けられている。

映像処理部３２１乃至ネットワーク入出力処理部３２５のそれぞれは、構成が可能であれば、ハードウエア単体で構成してもよいし、ソフトウエア単体で構成してもよいし、或いは、ハードウエアとソフトウエアの組合せで構成してもよい。また、映像処理部３２１がハードウエアとソフトウエアの組合せで構成されている場合、その構成要素であるデータ入出力処理部３３１乃至映像出力処理部３３７のそれぞれは、構成が可能であれば、ハードウエア単体で構成してもよいし、ソフトウエア単体で構成してもよいし、或いは、ハードウエアとソフトウエアの組合せで構成してもよい。

映像主処理部３２１は、図１の映像主処理部２１と基本的に同様の機能と構成を有することができる。従って、映像主処理部３２１の詳細な説明については省略する。

同様に、UI入力処理部３２２と表示設定部３２３とのそれぞれも、図１のUI入力処理部２２と表示設定部２３のそれぞれと基本的に同様の機能と構成を有している。従って、UI入力処理部３２２と表示設定部３２３の詳細な説明については省略する。

換言すると、メタデータ生成装置２０２とは、図１の映像処理装置１に対してさらにメタデータの生成機能が搭載された映像処理装置であると言え、このため、メタデータ生成装置２０２には、オブジェクトメタデータ生成部３２４とネットワーク入出力処理部３２５がさらに設けられているとも言える。

従って、メタデータ生成装置２０２は、上述した図８の２画面表示制御処理を実行することができる。

オブジェクトメタデータ生成部３２４は、このような図８の２画面表示制御処理が実行されている最中にメタデータを生成する。即ち、図８の２画面表示制御処理が実行されている間、表示設定部３２３は、全画面表示装置３１３の表示画面として順次表示される各フレーム（図１１の例ではフレーム２５１）のそれぞれについて、部分画面枠（図１１の例ではオブジェクト２６１を含む部分領域２５２と同一形状の部分画面枠２５３）の設定情報を順次生成（更新）している。そこで、オブジェクトメタデータ生成部３２４は、各フレームのそれぞれについての部分画面枠の設定情報のうちの、部分画面枠の位置情報とサイズ情報を表示設定部３２３からその都度受け取り、それらの情報に基づいて、各フレームのそれぞれについてのメタデータを順次生成していく。

なお、１つの映像ストリームの中には、ローカル側のユーザが着目し得るオブジェクトは複数個含まれていることが多い。このような場合、メタデータ作成者は、複数のオブジェクトのそれぞれ毎に、図８の２画面表示制御処理を繰り返し実行させることで、複数のオブジェクトのそれぞれについてのメタデータをオブジェクトメタデータ生成部３２４に生成させればよい。

具体的には例えばいま、１つの映像ストリーム（各フレーム）内に、ユーザが着目し得るオブジェクトが３個含まれているとする。この場合、オブジェクトメタデータ生成部３２４は、その映像ストリームを構成する各フレームのそれぞれ毎に、図１２に示されるようなメタデータを生成することになる。即ち、図１２は、メタデータの具体例を示している。

図１２において、フレーム２５１Ａ乃至フレーム２５１１Ｃのそれぞれは、その順番に連続して再生されるフレームを示している。また、ユーザが着目し得るオブジェクトは、obja，objb,objcと記述されているので、ここでもそのように称する。

例えば、最初にobjaに対する図８の２画面表示制御処理が実行されたとする。この場合、図１１のオブジェクトメタデータ生成部３２４は、例えばフレーム２５１Ａが全画面表示装置３１３に表示されるとき若しくはその近傍に、objaを囲む部分画面枠２５３ａの位置情報とサイズ情報を表示設定部３２３から取得する。そして、オブジェクトメタデータ生成部３２４は、objaのID（例えば図１２に示されるように、「obja」）、フレーム２５１Ａのフレーム番号（例えば図１２に示されるように＃１）、部分画面枠２５３ａの中心点を示す座標(x1, y1)、および、部分画面枠２５３ａのサイズを示すx軸方向およびy軸方向の画素数(lx1, ly1)を含むメタデータを生成する（後述するメタデータ３５１Ａの上から1行目の情報を生成する）。

なお、部分画面枠２５３ａの中心点を示す座標(x1, y1)と、部分画面枠２５３ａのサイズを示すx軸方向およびy軸方向の画素数(lx1, ly1)とは、図１１の全画面表示装置３１３の表示解像度での換算値（即ち、表示設定部３２３から供給される設定情報そのもの）であってもよいが、オリジナル解像度（映像データ記憶部３１１に記憶されている映像ソースデータが有する解像度）での換算値の方が好適である。全画面表示装置３１３の表示解像度と図１０の全画面表示装置２１３（ローカル側のユーザが使用するモニタ）の表示解像度とは必ずしも一致しないからである。このことは、後述する部分画面枠２５３ｂや部分画面枠２５３ｃを含むその他の部分画面枠についても同様である。

オブジェクトメタデータ生成部３２４は、その他のフレーム（例えば図１２に示されるフレーム２５１Ｂやフレーム２５１Ｃ）についても全く同様の処理を実行することで、対応するフレームにおけるobjaについてのメタデータ（部分画面枠２５３ａの配置位置とサイズを特定可能な情報）を生成していく。

その次に、例えばobjbに対する図８の２画面表示制御処理が実行されたとする。この場合、オブジェクトメタデータ生成部３２４は、例えばフレーム２５１Ａが全画面表示装置３１３に表示されているとき若しくはその近傍に、objbを囲む部分画面枠２５３ｂの位置情報とサイズ情報を表示設定部３２３から取得する。そして、オブジェクトメタデータ生成部３２４は、objbのID（例えば図１２に示されるように、「objb」）、フレーム２５１Ａのフレーム番号（例えば図１２に示されるように＃１）、部分画面枠２５３ｂの中心点を示す座標(x2, y2)、および、部分画面枠２５３ｂのサイズを示すx軸方向およびy軸方向の画素数(lx2, ly2)を含むメタデータを生成する（後述するメタデータ３５１Ａの上から２行目の情報を生成する）。

オブジェクトメタデータ生成部３２４は、その他のフレーム（例えば図１２に示されるフレーム２５１Ｂやフレーム２５１Ｃ）についても全く同様の処理を実行することで、対応するフレームにおけるobjbについてのメタデータ（部分画面枠２５３ｂの配置位置とサイズを特定可能な情報）を生成していく。

そして最後に、例えばobjcに対する図８の２画面表示制御処理が実行されたとする。この場合、オブジェクトメタデータ生成部３２４は、例えばフレーム２５１Ａが全画面表示装置３１３に表示されているとき若しくはその近傍に、objcを囲む部分画面枠２５３cの位置情報とサイズ情報を表示設定部３２３から取得する。そして、オブジェクトメタデータ生成部３２４は、objcのID（例えば図１２に示されるように、「objc」）、フレーム２５１Ａのフレーム番号（例えば図１２に示されるように＃１）、および、部分画面枠２５３ｃの中心点を示す座標(x3, y3)、部分画面枠２５３ｃのサイズを示すx軸方向およびy軸方向の画素数(lx3, ly3)を含むメタデータを生成する（後述するメタデータ３５１Ａの上から３行目の情報を生成する）。

オブジェクトメタデータ生成部３２４は、その他のフレーム（例えば図１２に示されるフレーム２５１Ｂやフレーム２５１Ｃ）についても全く同様の処理を実行することで、対応するフレームにおけるobjcについてのメタデータ（部分画面枠２５３ｃの配置位置とサイズを特定可能な情報）を生成していく。

以上のオブジェクトメタデータ生成部３２４の処理の結果、フレーム２５１Ｃ乃至フレーム２５１Ｃを含む映像ストリームのメタデータとして、図１２に示されるような、フレーム２５１Ａについてのメタデータ３５１Ａ、フレーム２５１Ｂについてのメタデータ３５１Ｂ、および、フレーム２５１Ｃについてのメタデータ３５１Ｃを含む各フレームのそれぞれについてのメタデータが生成される。

さらに、オブジェクトメタデータ生成部３２４は、上述したように、obj1，obj2,obj3のそれぞれのIDを少なくとも含むオブジェクトリストもメタデータの一つとして生成する。

図１１に戻り、このようにしてオブジェクトメタデータ生成部３２４により生成されたメタデータは、データ入出力処理部３３１を介して映像データ記憶部３１１に記憶される。

以上、オブジェクトメタデータ生成部３２４について説明した。次に、残りのネットワーク入出力処理部３２５について説明する。

ネットワーク入出力処理部３２５は、ネットワーク２０３経由でローカルシステム（ここでは図１０の映像処理装置２０１）からのメタデータの取得要求を受信する。ネットワーク入出力処理部３２５はまた、その取得要求に対応するメタデータをデータ入出力処理部３３１を介して映像データ記憶部３１１から取得し、ネットワーク２０３経由でローカルシステム（ここでは図１０の映像処理装置２０１）に送信する。

以上、図１０と図１１を参照して、ローカルシステム側の映像処理装置２０１の機能的構成例と、リモートシステム側のメタデータ生成装置２０２の機能的構成例について説明した。

次に、図１３のフローチャートを参照して、ローカルシステム側の映像処理装置２０１の２画面表示制御処理例と、リモートシステム側のメタデータ生成装置２０２の対応する処理例について説明する。

なお、リモートシステム側のメタデータ生成装置２０２においては、上述した図８の２画面表示制御処理が繰り返し実行され、その結果として、上述した各種メタデータが予め生成され保持されているとする。

また、コマンドは、ユーザ操作に基づくUI２１２から出力される出力コード（パラメータ等）に基づいてUI入力処理部２２２により生成されるが、以下、説明の簡略上、UI２１２から直接供給されるとみなして説明していく。

ステップＳ４１において、映像処理装置２０１は、映像ソース選択コマンドがUI２１２から発行されたか否かを判定する。

ステップＳ４１において、映像ソース選択コマンドが発行されていないと判定されると、処理はステップＳ４１に戻され、映像ソース選択コマンドが発行されたか否かが再度判定される。

映像ソース選択コマンドがUI２１２から発行されると、ステップＳ４１の処理でＹＥＳであると判定されて、処理はステップＳ４２に進む。

ステップＳ４２において、映像処理装置２０１は、選択された映像ソースのオブジェクトリスト要求をネットワーク２０３を介してメタデータ生成装置２０２に発行する。

なお、図１３中、左側のフローチャートと右側のフローチャートのうちの一方から他方へ引かれた矢印は、情報の流れを示している。例えば、ステップＳ４２のブロックから引かれた矢印は、オブジェクトリスト要求が、映像処理装置２０１からメタデータ生成装置２０２に送信されたことを示している。このことは、後述する他のフローチャートやアローチャートでも同様とされる。

ところで、このようにして、ステップＳ４２の処理でオブジェクトリスト要求が発行されるまで、メタデータ生成装置２０２は、ステップＳ６１において、オブジェクトリスト要求が発行されていないと判定し、処理をステップＳ６１に戻し、オブジェクトリスト要求が発行されたか否かを再度判定する、といった処理を繰り返している。

そして、ステップＳ４２の処理でオブジェクトリスト要求が発行されると、ステップＳ６１でYESであると判定されて、処理はステップＳ６２に進む。

ステップＳ６２において、メタデータ生成装置２０２は、オブジェクトリストをネットワーク２０３を介して映像処理装置２０１に送信する。

すると、映像処理装置２０１は、ステップＳ４３において、オブジェクトリストを受信し、ステップＳ４４において、そのオブジェクトリストを例えば全画面表示装置２１３に表示させる。

ステップＳ４５において、映像処理装置２０１は、オブジェクト決定コマンドが発行されたか否かを判定する。

ステップＳ４５において、オブジェクト決定コマンドが発行されていないと判定された場合、処理はステップＳ４５に戻され、オブジェクト決定コマンドが発行されたか否かが再度判定される。

ユーザが、UI２１２を操作して、オブジェクトリストに含まれる所定のオブジェクトを選択すると、ステップＳ４５において、オブジェクトリスト決定コマンドが発行されたと判定されて、処理はステップＳ４６に進む。

ステップＳ４６において、映像処理装置２０１は、ユーザにより決定されたオブジェクトに対応するメタデータ取得要求を、ネットワーク２０３を介してメタデータ生成装置２０２に発行する。

ところで、このようにして、ステップＳ４６の処理でメタデータ取得要求が発行されるまで、メタデータ生成装置２０２は、ステップＳ６３において、メタデータ取得要求が発行されていないと判定し、処理をステップＳ６３に戻し、メタデータ取得要求が発行されたか否かを再度判定する、といった処理を繰り返している。

そして、ステップＳ４６の処理でメタデータ取得要求が発行されると、ステップＳ６３でYESであると判定されて、処理はステップＳ６４に進む。

ステップＳ６４において、メタデータ生成装置２０２は、メタデータをネットワーク２０３を介して映像処理装置２０１に送信する。これにより、メタデータ生成装置２０２側の処理は終了となる。

すると、映像処理装置２０１は、ステップＳ４７において、メタデータを受信し、ステップＳ４８において、メタデータ受信終了のメッセージを例えば全画面表示装置２１３に表示させる。

なお、このとき映像処理装置２０１に受信されるメタデータとは、ローカル側のユーザ（映像処理装置２０１を使用するユーザ）により選択された映像ソースを構成する各フレームのそれぞれについてのメタデータ（例えば、上述した図１２のメタデータ３５１Ａ乃至メタデータ３５１Ｃ等）である。ただし、この時点で、ユーザが着目するオブジェクトは既に決定されているので、決定されたオブジェクトについてのメタデータだけが受信されてもよい。具体的には例えば図１２の例では、ユーザが着目するオブジェクトがobjaとされると、メタデータ３５１Ａ乃至メタデータ３５１Ｃの全てではなく、それらのうちの１行目の情報（その上のフレーム番号も含む）だけが受信されてもよい。

その後、図１３のステップＳ４９において、映像処理装置２０１は、再生コマンドが発行されたか否かを判定する。

ステップＳ４９において、再生コマンドが発行されていないと判定された場合、処理はステップＳ４９に戻され、再生コマンドが発行されたか否かが再度判定される。

ユーザが、UI２１２を操作して、ステップＳ４１の処理で選択された映像ソースの再生を指示すると、ステップＳ４９において、再生コマンドが発行されたと判定されて、処理はステップＳ５０に進む。

ステップＳ５０において、映像処理装置２０１は、映像ソースの再生を開始し、全画面表示装置２１３に表示させる。

そして、ステップＳ５１において、映像処理装置２０１は、ステップＳ４７の処理で受信されたメタデータに基づいて、全画面表示装置２１３に表示されているフレーム内のオブジェクト（ステップＳ４５の処理でユーザにより決定されたオブジェクト）の周囲に部分画面枠を表示させる。また、ステップＳ５２において、映像処理装置２０１は、部分画面枠内の映像（即ち部分領域）を拡大して、部分画面拡大表示装置２１４に表示させる

なお、ステップＳ５１とＳ５２の処理の順番は、図８のステップＳ４とＳ５と同様に特に限定されない。

ステップＳ５３において、映像処理装置２０１は、全フレーム再生したか否かを判定する。

ステップＳ５３において、全フレーム再生していないと判定されると、処理はステップＳ５１に戻され、それ以降の処理が繰り返される。即ち、各フレームが全画面表示装置２１３に順次表示される毎に、上述したステップＳ５１とＳ５２の処理により、部分画面枠が全画面表示装置１３の対応する位置に表示されるとともに、その部分画面枠内の部分領域が部分画面拡大装置２１４に全画面表示されるのである。

そして、全フレームの再生が終了すると、ステップＳ５３の処理でYESであると判定されて、映像処理装置２０１の２画面表示制御処理も終了となる。

以上、第３実施形態の情報処理装置について説明した。

（第４実施形態）

次に、第４実施形態の情報処理装置について説明する。

第４実施形態とは、リアルタイムで所望のメタデータを生成する（後述するソフトウエアセルを使用する）実施の形態である。詳細には、第４実施形態とは次のような処理を実行する情報処理装置（ローカル機器）の実施の一形態である。

即ち、ローカル機器側では、特定のオブジェクトを含む部分画面枠の表示範囲（配置位置とサイズ）の初期値をユーザが指定する。所定の処理能力を有し、処理資源を確保可能なリモート機器（詳細は後述する）に対して、部分画面枠を表示させるオリジナル映像ストリームの符号化データ、その符号化データを復号するアルゴリズム、および上述した自動追尾アルゴリズム（その他必要なプログラム）を含む情報（以下、このような情報をソフトウエアセルと称する）をあらかじめ配布する。ローカル機器では、ユーザインタフェースにより、部分画面枠の表示範囲の初期値のみを設定し、その設定値と、そのときの時刻情報（フレームのタイムスタンプ等）とを合わせた情報（以下、部分画面情報と称する）を上述したリモート機器へ送る。リモート機器では、上述した符号化データを復号しながら、特定オブジェクトを追尾するアルゴリズムを動作させることにより、部分画面枠の移動量や拡大量を更新させる。そして、リモート機器が、移動量、拡大量、および時刻情報を含む情報をローカル機器に送ることにより、ローカル機器側では部分画面枠を表示させる。ローカル機器側では、オブジェクトの指定を変更する場合には、ユーザインタフェースにより、部分画面枠の表示範囲の初期値の再設定を行う。この場合は上述した初期値が最初に設定されたときの上述した処理と同様の処理が実行される。このような処理を実行するローカル機器が、第４実施形態の情報処理装置である。

換言すると、上述した第１実施形態乃至第３実施形態とは、次のような機能を、映像処理装置（例えば図１の映像処理装置１等）１台に搭載させる実施の形態であった。

即ち、外部に接続されている記憶媒体（例えば図１の映像データ記憶部１１等）に保存されている符号化された映像ソースデータを復号し、その結果得られる映像ストリームを外部のモニタ（例えば図１の全画面表示装置１３）に表示させながら、そのモニタの表示画面（表示フレーム）のうちのユーザが着目するオブジェクトを含む部分領域（部分画面枠）の位置情報やサイズ情報を抽出し、映像ストリーム（ソース映像）から対応する部分領域を切り出し、別の表示モニタ（例えば図１の部分画面拡大表示装置１４等）に最高解像度で全画面再生を行う機能である。

これに対して、第４実施形態とは、このような機能をソフトウエアセルを用いて複数の情報処理装置に分散させて実現させる実施の形態であると言える。即ち、第４実施形態の情報処理装置（ローカル機器）と、他の情報処理装置（リモート機器）とが分散処理を行うことで、このような機能を実現させる。

このような第４実施形態の映像処理装置のハードウエア構成例と、その映像処理装置を一構成要素として含む映像処理システムが図１４に示されている。そこで、図１４を参照して、第４実施形態の映像処理装置のハードウエア構成例と、その映像処理装置一構成要素として含む映像処理システムについて説明する。

図１４に示されるように、この映像処理システムにおいては、映像処理装置４０１Ａ乃至映像処理装置４０１Ｃがネットワーク４０２を介して相互に接続されている。

映像処理装置４０１Ａは、所定の分散処理の実行が指示されると、要求された処理を実行するために必要なデータおよびプログラムを含むソフトウエアセルを生成し、生成されたソフトウエアセルをネットワーク４０２を介して映像処理装置４０１Ｂまたは映像処理装置４０１Ｃに送信する。

映像処理装置４０１Ｂおよび映像処理装置４０１Ｃのそれぞれは、映像処理装置４０１Ａから送信されてきたソフトウエアセルを受信し、受信されたソフトウエアセルに基づいて、要求された処理を実行する。映像処理装置４０１Ｂおよび映像処理装置４０１Ｃのそれぞれは、要求された処理を実行してから、要求された処理の結果得られたデータを、ネットワーク４０２を介して映像処理装置４０１Ａに送信する。

映像処理装置４０１Ａは、映像処理装置４０１Ｂまたは映像処理装置４０１Ｃから送信されてきたデータを受信し、受信されたデータに基づいて、所定の処理を実行するか、或いは受信されたデータを記録する。

映像処理装置４０１Ａは、情報処理コントローラ４２１、メインメモリ４２２、外部記録装置４２３、バス４２４、映像出力I/F４２５、映像出力I/F４２６、UI入力I/F４２７、ネットワーム入出力I/F４２８、および、ドライブ４２９を含むように構成される。

情報処理コントローラ４２１は、メインメモリ４２２に記録されている各種のプログラムを実行し、映像処理装置４０１Ａ全体を制御する。情報処理コントローラ４２１は、ソフトウエアセルを生成し、生成されたソフトウエアセルを、バス４２４を介してネットワーク入出力I/F４２８に供給する。情報処理コントローラ４２１は、ネットワーク入出力I/F４２８から供給されたデータを外部記録装置４２３に供給する。情報処理コントローラ４２１は、UI４１１からの指令をUI入力I/F４２７とバス４２４を介して取得し、その指令に基づいて、指定されたデータを、メインメモリ４２２または外部記録装置４２３から取得し、取得されたデータをバス４２４を介して、映像出力I/F４２５、映像出力I/F４２６、ネットワーク入出力I/F４２８、およびドライブ４２９のうちの少なくとも一つに供給する。

また、情報処理コントローラ４２１には、ネットワーク４０２全体を通して一意的に映像処理装置４０１Ａ自身を特定できる装置ＩＤが割り当てられている。

情報処理コントローラ４２１は、メインCPU（Central Processing Unit）４３１、DMAC（Direct Memory Access Controller）４３２、ＤＣ（Disk Controller）４３３、サブプロセッサ４３４乃至サブプロセッサ４３６、およびバス４３７を備えている。

メインCPU４３１、サブプロセッサ４３４乃至サブプロセッサ４３６、DMAC４３２、およびDC４３３は、バス４３７を介して相互に接続されている。また、メインCPU４３１には、自分自身を特定するためのメインプロセッサＩＤが識別子として割り当てられる。同様に、サブプロセッサ４３４乃至サブプロセッサ４３６のそれぞれには、自分自身を特定するためのサブプロセッサＩＤのそれぞれが識別子として割り当てられる。

メインCPU４３１は、サブプロセッサ４３４乃至サブプロセッサ４３６によるプログラムの実行のスケジュール管理、および情報処理コントローラ４２１（映像処理装置４０１Ａ）の全体の管理を行う。メインCPU４３１は、ローカルストレージ（以下LSと称する）４４１を備え、メインメモリ４２２からロードしたデータおよびプログラムを、LS４４１に一時的に記憶させる。メインCPU４３１は、LS４４１からデータおよびプログラムを読み込み、読み込んだデータおよびプログラムに基づいて各種の処理を実行する。

メインCPU４３１は、ネットワーク４０２を介して接続されている映像処理装置４０１Ｂまたは映像処理装置４０１Ｃに分散処理を実行させる場合、ソフトウエアセルを生成し、生成されたソフトウエアセルを、バス４３７およびバス４２４を介して、ネットワーク入出力I/F４２８に供給する。また、メインCPU４３１は、管理のためのプログラム以外のプログラムを実行するように構成することもできる。この場合、メインCPU４３１は、サブプロセッサとして機能する。

サブプロセッサ４３４乃至サブプロセッサ４３６は、メインCPU４３１の制御に基づいて、並列的かつ独立にプログラムを実行してデータを処理する。さらに、必要に応じて、メインCPU４３１が実行するプログラムが、サブプロセッサ４３４乃至サブプロセッサ４３６のそれぞれが実行するプログラムのそれぞれと連携して動作するように構成することも可能である。

サブプロセッサ４３４乃至サブプロセッサ４３６のそれぞれはLSを備える。ただし、図１４の例では、サブプロセッサ４３４のLS４４２のみ図示されている。サブプロセッサ４３４乃至サブプロセッサ４３６のそれぞれは、自分自身内部のLSのそれぞれに、必要に応じて、データおよびプログラムを一時的に記憶させる。サブプロセッサ４３４乃至サブプロセッサ４３６のそれぞれは、自分自身内部のLSのそれぞれからデータおよびプログラムを読み込み、読み込んだデータおよびプログラムを基に、各種の処理を実行する。

DMAC４３２は、図示せぬキー管理テーブル記録部（情報処理コントローラ４２１に設けられることが多い）に記録されている、メインプロセッサキー、サブプロセッサキー、およびアクセスキーを基に、メインCPU４３１およびサブプロセッサ４３４乃至サブプロセッサ４３６からのメインメモリ４２２に記憶されているプログラムおよびデータへのアクセスを管理する。

DC４３３は、メインCPU４３１およびサブプロセッサ４３４乃至サブプロセッサ４３６からの外部記録装置４２３へのアクセスを管理する。

メインメモリ４２２は、例えばRAM（Random Access Memory）から構成される。メインメモリ４２２は、メインCPU４３１およびサブプロセッサ４３４乃至サブプロセッサ４３６が実行する各種のプログラムおよびデータを一時的に記憶している。

外部記録装置４２３は、例えばハードディスクなどにより構成される。外部記録装置４２３は、メインCPU４３１およびサブプロセッサ４３４乃至サブプロセッサ４３６が実行する各種のプログラムおよびデータを記録している。また、外部記録装置４２３は、情報処理コントローラ４２１から供給されたデータを記録する。さらに、外部記録装置４２３には、映像データ記憶部４５１が設けられている。この映像データ記憶部４５１には、上述した他の実施の形態の映像データ記憶部（例えば図１の映像データ記憶部１１等）と同様に、映像ソースデータが記憶される。

また、情報処理コントローラ４２１には、バス４３７とバス４２４とを介して、映像出力I/F４２５、映像出力I/F４２６、UI入力I/F４２７、および、ネットワーク入出力I/F４２８が接続されている。なお、I/Fとは、インタフェースの略記である。

映像出力I/F４２５には、全画面表示装置４１２が接続されている。全画面表示装置４１２は、上述した他の実施の形態の全画面表示装置（例えば図１の全画面表示装置１３）と基本的に同様に機能と構成を有しているので、ここではその説明については省略する。

映像出力I/F４２６には、部分画面拡大表示装置４１３が接続されている。部分画面拡大表示装置４１３は、上述した他の実施の形態の部分画面拡大表示装置（例えば図１の部分画面拡大表示装置１４）と基本的に同様に機能と構成を有しているので、ここではその説明については省略する。

UI入力I/F４２７には、UI４１１が接続されている。UI４１１は、上述した他の実施の形態のUI（例えば図１のUI１２）と基本的に同様に機能と構成を有しているので、ここではその説明については省略する。

ネットワーク入出力I/F４２８は、情報処理コントローラ４２１から供給されたソフトウエアセルを、ネットワーク４０２を介して映像処理装置４０１Ｂまたは映像処理装置４０１Ｃに送信する。また、ネットワーク入出力I/F４２８は、映像処理装置４０１Ｂまたは映像処理装置４０１Ｃからネットワーク４０２を介して送信されてきたデータを受信し、バス４２４とバス４３７とを介して、情報処理コントローラ４２１に供給する。

さらに、情報処理コントロール４２１には、バス４３７とバス４２４を介してドライブ４２９が必要に応じて接続され、磁気ディスク、光ディスク、光磁気ディスク、或いは半導体メモリなどよりなるリムーバブル記録媒体４１４が適宜装着され、それらから読み出されたコンピュータプログラムが、必要に応じて外部記録装置４２３等にインストールされる。

なお、映像処理装置４０１Ｂと映像処理装置４０１Ｃのそれぞれは、映像処理装置４０１Ａと同様に構成されるので、その説明は省略する。映像処理装置４０１Ａ乃至映像処理装置４０１Ｃのそれぞれは、上述した構成に限らず、必要に応じて、機能を追加したり削除したりすることは可能であり、その機能に対応した構成をもつことが可能である。

このような映像処理装置４０１Ａの情報処理コントローラ４２１で処理するソフトウエアの構成例が図１５に示されている。そこで、以下、図１５を参照して、情報処理コントローラ４２１で処理するソフトウエアについて説明する。

図１５に示されるように、情報処理コントローラ４２１で処理するソフトウエアは、制御プログラム５０１、機能プログラム５０２、および、デバイスドライバ５０３に大別できる。

制御プログラム５０１は、情報処理コントローラ４２１のメインCPU４３１が実行するプログラムであって、能力交換プログラム６０１とＭＳ（マスタ／スレーブ）マネージャ６０２とを含むプログラムである。なお、能力交換プログラム６０１とMSマネージャ６０２については後述する。

機能プログラム５０２は、復号処理６１１乃至表示装置適合処理６１５を含むプログラムである。デバイスドライバ５０３は、映像出力６２１乃至UI入力処理６２５を含むプログラムである。

以下、機能プログラム５０２に含まれる復号処理６１１乃至表示装置適合処理６１５と、デバイスドライバ５０３に含まれる映像出力６２１乃至UI入力処理６２５とについて順不同に個別に説明していく。

データ入出力処理６２３は、情報処理コントローラ４２１の外部に接続されている外部記録装置４２３に対するデータの読出しや書込みの制御をDC４３３を介して行う。即ち、データ入出力処理６２３は、例えば、ユーザにより選択された映像ソースデータ（圧縮符号化データ）を外部記録装置４２３の映像データ記憶部４５１から読み出し、後述する復号処理６１１へ供給する。換言すると、データ入出力処理６２３とは、上述した他の実施の形態のデータ入出力処理部（例えば図１のデータ入出力処理部３１）の機能を有するプログラムであると言える。

復号処理６１１は、データ入出力処理６２３から供給された映像ソースデータ（圧縮符号化データ）をデコード（復号）し、その結果得られる映像ストリーム（データ）を表示装置適合処理６１２や表示装置適合処理６１５へ供給する。換言すると、復号処理６１１とは、上述した他の実施の形態の復号処理部（例えば図１の復号処理部３２）の機能を有するプログラムであると言える。

表示装置適合処理６１２は、全画面表示装置４１２の表示解像度に関する情報を保持しており、復号処理６１１から供給された映像ストリームを構成する各フレーム、即ち、オリジナル画面のビットマップイメージデータの解像度を、オリジナル解像度から、全画面表示装置１３の表示解像度に変換して、後述する映像データ重畳６１３に供給する。換言すると、表示装置適合処理６１２とは、上述した他の実施の形態の全画面表示装置（例えば図１の全画面表示装置１３）に対する表示装置適合処理部（例えば図１の表示装置適合処理部３３）の機能を有するプログラムであると言える。

映像データ重畳６１３には、表示適合処理６１２から出力されるフレーム（ビットマップイメージデータ）の他、部分画面枠（即ち部分領域）の設定情報も後述する表示設定６１４から供給される。そこで、映像データ重畳６１３は、表示設定６１４から供給された設定情報に基づいて、部分画面拡大表示装置４１３で再現される部分領域（表示範囲）と同形状の部分画面枠（ビットマップイメージデータ）を生成する。そして、映像データ重畳６１３は、生成された部分画面枠を、表示適合処理６１２から供給されたフレーム（ビットマップイメージデータ）の対応する位置の上に重ね合わせ、その結果得られるフレーム（ビットマップイメージデータ）を後述する映像出力６２１に供給する。換言すると、映像データ重畳６１３とは、上述した他の実施の形態の映像データ重畳部（例えば図１の映像データ重畳部３４）の機能を有するプログラムであると言える。

映像出力６２１は、映像データ重畳６１３から供給されたフレームを、全画面表示装置４１２の入力形式に適する映像信号に変換して全画面表示装置４１２に供給する。換言すると、映像出力６２１とは、上述した他の実施の形態の全画面表示装置（例えば図１の全画面表示装置１３）に対する映像出力処理部（例えば図１の映像出力処理部３５）の機能を有するプログラムであると言える。

UI入力処理６２５は、UI４１１からの出力コードを受け、次のような２つのユーザ要求に対する処理を行う。一つは、所望の映像ソースを選択し、その再生を開始させたり、終了させたりする要求である。もう一つは、各表示画面（各表示フレーム）全体の中から所望のオブジェクトを含む部分領域を別モニタ（図１４の例では部分画面拡大表示装置４１３）に表示させる要求である。換言すると、UI入力処理６２５とは、上述した他の実施の形態のUI入力処理部（例えば図１のUI入力処理部２２）の機能を有するプログラムであると言える。従って、図１のUI入力処理部２２には、図２に示されるコマンド解析部７１乃至部分画面設定処理部７３が設けられていたように、UI入力処理６２５にも、図１６に示されるような、コマンド解析６２５１乃至部分画面設定処理６２５３が設けられる。即ち、コマンド解析６２５１乃至部分画面設定処理６２５３とは、コマンド解析部７１乃至部分画面設定処理部７３のそれぞれの機能を有するプログラムであると言えるので、ここでは、それらの詳細な説明については省略する。

図１５に戻り、表示設定６１４は、全画面表示装置４１２の現在の表示画面（表示フレーム）における部分画面枠（部分画面拡大表示装置４１３に表示させるべき表示範囲）の設定情報、即ち、部分画面枠の表示のon/off 情報、部分画面枠の位置情報、および、部分画面枠のサイズ情報を保持する。そして、次のフレームにおける部分画面枠についてのコマンド（上述した第１実施形態と同様の第１のコマンド乃至第３のコマンド）がUI入力処理６２５の図１６の部分画面設定処理６２５３から供給されてくると、表示設定６１４は、部分画面枠の表示のon/off 情報、部分画面枠の位置情報、および、部分画面枠のサイズ情報を更新し、それらの更新された情報を、次のフレームにおける部分画面枠の設定情報として保持するとともに、映像データ重畳６１３と表示装置適合処理６１５に供給する。換言すると、表示設定６１４とは、上述した第１実施の形態の図１の表示設定部２３の機能を有するプログラムであると言える。

表示装置適合処理６１５は、復号処理６１１から順次出力されてくる各オリジナルフレーム（ビットマップイメージデータ）の中から、表示設定６１４により配置位置とサイズが設定（更新）された部分画面枠内の部分領域（ビットマップイメージデータ）を抽出し、その部分領域に対して表示装置適合処理６１２と同様の処理を実行する。換言すると、表示装置適合処理６１５とは、上述した他の実施の形態の部分画面拡大表示装置（例えば図１の部分画面拡大表示装置１４）に対する表示装置適合処理部（例えば図１の表示装置適合処理部３６）の機能を有するプログラムであると言える。

映像出力６２２は、上述した映像出力６２１と同様の機能を有している。即ち、映像出力６２２は、表示装置適合処理６１５から供給された部分領域（全画面表示装置４１２にほぼ同時に表示されるフレーム内のうちの、ユーザが着目するオブジェクトを含む部分領域）を、部分画面拡大表示装置４１３の入力形式に適する映像信号に変換して部分画面拡大表示装置４１３に供給する。換言すると、映像出力６２２とは、上述した他の実施の形態の部分画面拡大表示装置（例えば図１の部分画面拡大表示装置１４）に対する映像出力処理部（例えば図１の映像出力処理部３７）の機能を有するプログラムであると言える。

このように、機能プログラム５０２とデバイスドライバ５０３とは、第１実施形態の映像処理装置１の映像主処理部２１乃至表示設定部２３の全てをソフトウエアとハードウエアの組合せで構成した場合におけるソフトウエアの構成例を示しているとも言える。そして、図１４の映像処理装置４０１Ａがハードウエアの構成例を示しているとも言える。従って、映像処理装置４０１Ａが、後述するように映像処理装置４０１Ｂや映像処理装置４０１Ｃと分散処理を行わずに、単独で全ての処理を実行する場合の実施の形態が、上述した第１実施形態に他ならないと言える。

以上、図１４の映像処理装置４０１Ａの情報処理コントローラ４２１で処理するソフトウエアの構成例について説明した。

次に、図１７を参照して、映像処理装置４０１Ｂまたは映像処理装置４０１Ｃの図示せぬ情報コントローラで処理するソフトウエアの構成例について説明する。即ち、図１７は、映像処理装置４０１Ｂまたは映像処理装置４０１Ｃの図示せぬ情報コントローラで処理するソフトウエアの構成例を示している。

図１７に示されるように、映像処理装置４０１または映像処理装置４０１Ｃの図示せぬ情報処理コントローラで処理するソフトウエアは、制御プログラム５０４、機能プログラム５０５、および、デバイスドライバ５０６に大別できる。

なお、ここでは、映像処理装置４０１Ｂと映像処理装置４０１Ｃとのそれぞれには、制御プログラム５０４とデバイスドライバ５０６のうちのデータ入出力処理７０５のみが予め設けられており（インストールされており）、機能プログラム５０５とデバイスドライバ５０６のうちのネットワーク入出力処理７０６については、映像処理装置４０１Ａから必要に応じてソフトウエアセルとして供給されるとする。即ち、機能プログラム５０５に含まれる復号処理７０３および自動追尾アルゴリズム７０４、並びに、デバイスドライバ５０６に含まれるネットワーク入出力処理７０６を含むソフトウエアセルが映像処理装置４０１Ａから供給され、映像処理装置４０１Ｂまたは映像処理装置４０１Ｃの図示せぬメインメモリ等にロードされた段階で、図１７に示されるプログラムの構成が完成されるとする。

制御プログラム５０４は、図１５の制御プログラム５０１と同様の機能を有するプログラムである。このため、制御プログラム５０４にも、能力交換プログラム７０１とＭＳマネージャ７０２とが含まれている。なお、能力交換プログラム７０１とＭＳマネージャ７０２については後述する。

機能プログラム５０５は、復号処理７０３と自動追尾アルゴリズム７０４を含むプログラムである。デバイスドライバ５０６は、データ入出力処理７０５とネットワーク入出力処理７０６を含むプログラムである。

以下、機能プログラム５０５に含まれる復号処理７０３および自動追尾アルゴリズム７０４、並びに、デバイスドライバ５０６に含まれるデータ入出力処理７０５およびネットワーク入出力処理７０６について順不同に個別に説明していく。

データ入出力処理７０５は、映像処理装置４０１Ｂまたは映像処理装置４０１Ｃの情報処理コントローラの外部に接続されている図示せぬ外部記録装置（図１４の外部記録装置４２３に相当）に対するデータの読出しや書込みの制御を図示せぬDC（図１４のＤＣ４３３に相当）を介して行う。

具体的には例えばいま、ユーザにより選択された映像ソースデータ（圧縮符号化データ）が映像処理装置４０１Ａの外部記録装置４２３から読み出されてネットワーク４０２を介して映像処理装置４０１Ｂに供給されてきたとする（後述するように、ソフトウエアセルの一部として供給されてくる場合もある）。この場合、この映像ソースデータは、映像処理装置４０１Ｂの後述するネットワーク入出力処理７０６により受信されデータ入出力処理７０５に供給されてくる。そこで、データ入出力処理７０５は、その映像ソースデータを図示せぬ外部記録装置に記憶させる。さらに、データ入出力処理７０５は必要に応じて、その映像ソースデータを図示せぬ外部記録装置から読み出し、後述する復号処理７０３に供給する。

復号処理７０３は、データ入出力処理７０５から供給された映像ソースデータ（圧縮符号化データ）をデコード（復号）し、その結果得られる映像ストリーム（データ）を、時刻情報（各フレームの基準時刻に対する相対表示時刻を示す情報）とともに自動追尾アルゴリズム７０４に供給する。

自動追尾アルゴリズム７０４は、第２実施形態の図９の表示設定/自動追尾アルゴリズム実行部１２３の自動追尾モードを実現する機能を有するプログラムである。

具体的には例えばいま、部分画面枠の初期値としての位置情報やサイズ情報が、映像処理装置４０１Ａからネットワーク４０２を介して映像処理装置４０１Ｂに送信されてきたとする。この場合、部分画面枠の初期値としての位置情報やサイズ情報は、映像処理装置４０１Ｂの後述するネットワーク入出力処理７０６により受信され自動追尾アルゴリズム７０４に供給されてくる。

自動追尾アルゴリズム７０４は、部分画面枠の初期値としての位置情報やサイズ情報を受け取った後は、その動作モードを第２実施形態で説明した自動追尾モードに推移させ、自動追尾アルゴリズムを動作させる。即ち、自動追尾アルゴリズム７０４は、復号処理７０３から供給された映像ストリームを構成する各フレームの中で、ユーザが着目するオブジェクトの動きを追尾し、その追尾結果に基づいて、部分画面枠の配置位置とサイズを順次決定（更新）し、順次決定（更新）される情報を、部分画面枠についての設定情報（更新情報）として後述するネットワーク入出力処理７０６に供給する。

ネットワーク入出力処理７０６は、映像処理装置４０１Ａとの間でネットワーク４０２を介してやり取りされる上述した各種情報の送受信を制御する。

以上、図１４の映像処理装置４０１Ｂや映像処理装置４０１Ｃの情報処理コントローラで処理するソフトウエアの構成例について説明した。

次に、図１８のフローチャートを参照して、以上のようなプログラムにより実現される、映像処理装置４０１Ａの２画面表示制御処理、映像処理装置４０１Ｂの対応する処理、および、映像処理装置４０１Ｃの対応する処理の一例について説明する

ステップＳ１０１において、映像処理装置４０１Ａは、前準備処理を実行する。同様に、映像処理装置４０１Ｂと映像処理装置４０１Ｃのそれぞれも、ステップＳ２０１とステップＳ３０１のそれぞれにおいて、前準備処理を実行する。

このような前準備処理の詳細例が図１９のフローチャートに示されている。そこで、以下、図１９のフローチャートを参照して、映像処理装置４０１Ａ乃至映像処理装置４０１Ｃのそれぞれの前準備処理について説明する。

はじめに、ステップＳ１１１において、映像処理装置４０１Ａは、図１５のＭＳマネージャ６０２を実行する。同様に、映像処理装置４０１Ｂと映像処理装置４０１Ｃのそれぞれも、ステップＳ２１１とＳ３１１のそれぞれにおいて、自分自身が保持する図１７のＭＳマネージャ７０２のそれぞれを実行する。

即ち、ステップＳ１１１、Ｓ２１１、およびＳ３１１の処理で、各ＭＳマネージャ（ＭＳマネージャ６０２またはＭＳマネージャ７０２）が実行され、その結果として、映像処理装置４０１Ａ乃至映像処理装置４０１Ｃのうちのいずれの装置がマスタ装置になって、いずれの装置がスレーブ装置になるのかが決定される。

ここでは、図１８乃至図１９に示されるように、映像処理装置４０１Ｂがマスタ装置となり、その他の映像処理装置４０１Ａと映像処理装置４０１Ｃとがスレーブ装置となったとする。

次に、ステップＳ１１２において、映像処理装置４０１Ａは、図１５の能力交換プログラム６０１を実行する。同様に、映像処理装置４０１Ｂと映像処理装置４０１Ｃのそれぞれも、ステップＳ２１２とＳ３１２のそれぞれにおいて、自分自身が保持する図１７の能力交換プログラム７０１のそれぞれを実行する。

即ち、ステップＳ１１２、Ｓ２１２、およびＳ３１２の処理で、各能力交換プログラム（能力交換プログラム６０１または能力交換プログラム７０１）が実行されることで、マスタ装置およびスレーブ装置における装置情報の取得がそれぞれ行われる。

以上の処理により、映像処理装置４０１Ａ乃至映像処理装置４０１Ｃでの分散処理の実行が可能になる。

ところで、例えばここでは、第２実施形態の映像処理装置が実行する２画面表示制御処理と同様の処理が映像処理システム全体で分散されて実行されるとする。詳細には、その処理全体のうちの自動追尾モードに対応する処理（以下、部分画面追尾処理と称する）が、映像処理装置４０１Ｂまたは映像処理装置４０１Ｃにより実行され、それ以外の処理が、映像処理装置４０１Ａにより実行されるとする。

従って、その後、UI４１１から部分画面追尾処理依頼コマンドが発行されると、映像処理装置４０１Ａは、ステップＳ１１３において、それを受信し、ステップＳ１１４において、部分画面追尾処理確保コマンドを映像処理装置４０１Ｂ（マスタ）に送信する。

すると、映像処理装置４０１Ｂは、ステップＳ２１３において、部分画面追尾処理確保コマンドを受信し、ステップＳ２１４において、部分画面追尾処理を実行するスレーブを確定する。

なお、映像処理装置４０１Ａ自身が部分画面追尾処理を実行するスレーブとして決定されてもよいが、この場合、第２実施形態の映像処理装置が実行する２画面表示制御処理と同様の処理の全てが、映像処理装置４０１Ａのみにより実行されることになる。即ち、そのような処理は、第２実施形態の処理そのものであり、第４実施形態の特徴である分散処理は実現されない。そこで、ここでは、映像処理装置４０１Ｃが、部分画面追尾処理を実行するスレーブとして決定されるとする。

この場合、映像処理装置４０１Ｂは、ステップＳ２１５において、部分画面追尾返信コマンドを情報処理装置４０１Ａに送信し、また、ステップＳ２１６において、部分画面追尾処理決定コマンドを映像処理装置４０１Ｃにより送信する。

すると、映像処理装置４０１Ａは、ステップＳ１１５において、部分画面追尾返信コマンドを受信し、また、映像処理装置４０１Ｃは、ステップＳ３１３において、部分画面追尾処理決定コマンドを受信する。

その後、映像処理装置４０１Ａは処理を待機する一方、映像処理装置４０１Ｃは処理をステップＳ３１４に進める。

映像処理装置４０１Ｃは、ステップＳ３１４において、部分画面追尾処理の実行に必要となる資源を確保すると、ステップＳ３１５において、部分画面追尾処理決定返信コマンドを映像処理装置４０１Ｂに送信する。

すると、映像処理装置４０１Ｂは、ステップＳ２１７において、部分画面追尾処理決定返信コマンドを受信し、ステップＳ２１８において、その部分画面追尾処理決定返信コマンドを映像処理装置４０１Ａに送信する。即ち、映像処理装置４０１Ｃから送信された部分画面追尾処理決定返信コマンドは、映像処理装置４０１Ｂを介して映像処理装置４０１Ａに供給される。これにより、映像処理装置４０１ＢのステップＳ２０１の前準備処理は終了となる。

ステップＳ１１６において、映像処理装置４０１Ａは、部分画面追尾処理決定返信コマンドを受信する。

その後、UI４１１から映像ソース選択コマンドが発行されると、映像処理装置４０１Ａは、ステップＳ１１７においてそれを受信し、映像ソース選択コマンドで指定された映像ソース（圧縮符号化データ）を図１４の映像データ記憶部４５１から取得する。

そして、映像処理装置４０１Ａは、ステップＳ１１８において、取得された映像ソース（符号化データ）、図１７の自動追尾アルゴリズム（プログラム）７０４、復号処理（プログラム）７０３、ネットワーク入出力処理（プログラム）７０６を含むソフトウエアセルを生成し、ステップＳ１１９において、そのソフトウエアセルを映像処理装置４０１Ｃに送信する。

すると、映像処理装置４０１Ｃは、ステップＳ３１６において、そのソフトウエアセルを受信し、ステップＳ３１７において、そのソフトウエアセルに含まれるプログラムを図示せぬメインメモリ等へロードする。これにより、映像処理装置４０１Ｃにおいて、上述した図１７のプログラム構成が完成するので、部分画面追尾処理の実行が何時でも可能になる。そこで、映像処理装置４０１Ｃは、ステップＳ３１８において、部分画面追尾処理レディコマンドを映像処理装置４０１Ａに送信する。これにより、映像処理装置４０１ＣのステップＳ３０１の前準備処理は終了となる。

また、映像処理装置４０１Ａは、ステップＳ１２０において、部分画面追尾処理レディコマンドを受信すると、ステップＳ１０１の前準備処理を終了させる。

図１８に戻り、このようにして、ステップＳ１０１、Ｓ２０１、およびＳ３０１の前準備処理が終了すると、映像処理装置４０１Ａにおいては、処理はステップＳ１０２に進められ、映像処理装置４０１Ｂにおいては、全体の処理が終了し、映像処理装置４０１Ｃにおいては、処理が待機される。

ステップＳ１０２において、映像処理装置４０１Ａは、再生コマンドがUI４１１から発行されたか否かを判定する。

ステップＳ１０２において、再生コマンドがUI４１１から発行されていないと判定されると、処理はステップＳ１０２に戻され、再生コマンドがUI４１１から発行されたか否かが再度判定される。

その後、再生コマンドがUI４１１から発行されると、ステップＳ１０２でYESであると判定され、処理はステップＳ１０３に進む。

ステップＳ１０３において、映像処理装置４０１Ａは、上述した図１５の機能プログラム５０２とデバイスドライバ５０３とを利用して、第２実施形態の情報処理装置が実行する２画面表示制御処理と同様の処理のうちの部分画面追尾処理を除く処理を実行する。なお、以下、このようなステップＳ１０３の処理を映像表示制御処理と称する。

この間、映像処理装置４０１Ｃは、上述した図１７の機能プログラム５０５とデバイスドライバ５０６とを利用して、部分画面追尾処理を実行する。なお、以下、このようなステップＳ３０２の部分画面追尾処理は、ステップＳ１０３の映像表示制御処理の補助処理であると言える。そこで、以下、ステップＳ３０２の処理を映像表示補助処理と称する。

このようなステップＳ１０３の映像表示制御処理とステップＳ３０２の映像表示補助処理の詳細例、換言すると、映像処理装置４０１Ａと映像処理装置４０１Ｃとの分散処理の詳細例が、図２０のフローチャートに示されている。そこで、以下、図２０のフローチャートを参照して、映像処理装置４０１ＡのステップＳ１０３の映像表示制御処理と、映像処理装置４０１ＣのステップＳ３０２の映像表示補助処理の一例について説明する。

はじめに、映像処理装置４０１Ａは、Ｓ１４１において、映像ソースの再生を開始する。即ち、図１４の全画面表示装置４１２への映像ソースの表示が開始される。

その後、UI４１１から部分画面枠表示コマンドが発行されると、映像処理装置４０１Ａは、ステップＳ１４２において、それを受信し、ステップＳ１４３において、全画面表示装置４１２に表示されているフレーム内の所定の位置に所定のサイズで部分画面枠を表示させる。

その後、ユーザは、UI４１１を手動操作することで、部分画面枠の配置位置とサイズを変更させる。即ち、映像処理装置４０１Ａは、第２実施形態で説明した表示設定モードで動作することになる。

そして、ユーザが着目するオブジェクトを囲むような部分画面枠が全画面表示装置４１２に表示され、ユーザが、UI４１１を利用して、その部分画面枠を決定する指示操作を行うと、UI４１１は、部分画面枠決定コマンドを映像処理装置４０１Ａに対して発行する。

すると、映像処理装置４０１Ａは、ステップＳ１４４において、その部分画面枠決定コマンドを受信し、その動作モードを自動追尾モードに遷移させる。

ただし、上述したように、第４実施形態においては分散処理が行われるので、自動追尾モードに対応する部分画面追尾処理は、映像処理装置４０１Ａ自身ではなく映像処理装置４０１Ｃにより実行される。

そこで、映像処理装置４０１Ａは、ステップＳ１４５において、決定された部分画面枠の配置位置とサイズの初期値、および時刻情報（そのフレームの基準時刻に対する相対時刻を示す情報）を含む自動追尾アルゴリズム開始コマンドを映像処理装置４０１Ｃに送信する。

映像処理装置４０１Ｃは、ステップＳ３４１において、部分画面枠の配置位置とサイズの初期値、および時刻情報を含む自動追尾アルゴリズム開始コマンドを受信すると、ステップＳ３４２において、ソフトウエアセルとして既に供給されている映像ソース（図１９のステップＳ３１６参照）の復号処理と自動追尾処理（部分画面追尾処理であって、ユーザが着目するオブジェクトを追尾する処理）を開始する。

映像処理装置４０１Ｃは、ステップＳ３４３において、自動追尾処理の結果に基づいて、表示対象フレームにおける、直前フレームに対する部分画面枠の移動量および拡大量を決定する。

なお、表示対象フレームとは、全画面表示装置４１２にこれから表示される所定のフレームを指す。ただし、表示対象フレームは、必ずしも現在の表示フレームの１つ後のフレーム（33msec後に表示予定のフレーム）とはならない。また、直前フレームとは、部分画面枠の更新間隔（時間間隔）だけ前に全画面表示装置４１２に表示されたフレームであって、必ずしも表示対象フレームの１つ前のフレームとはならない。

そして、ステップＳ３４４において、映像処理装置４０１Ｃは、表示対象フレームにおける部分画面枠の移動量および拡大量、並びに、時刻情報（表示対象フレームの基準時刻に対する相対表示時刻）を映像処理装置４０１Ａに送信する。

すると、映像処理装置４０１Ａは，ステップＳ１４６において、部分画面枠の移動量および拡大量、並びに時刻情報を受信し、ステップＳ１４７において、部分画面枠の移動量および拡大量、並びに時刻情報に基づき、表示対象フレームにおける部分画面枠の配置位置とサイズを決定する。

そして、映像処理装置４０１Ａは、ステップＳ１４７において、部分画面枠を含む表示対象フレームを全画面表示装置４１２に全画面表示させ、また、ステップＳ１４８において、部分画面枠内の拡大映像（部分領域）を部分画面拡大表示装置４１３に全画面表示させる。

ステップＳ１４９において、映像処理装置４０１Ａは、部分画面停止コマンドがUI４１１より発行されたか否かを判定する。

ステップＳ１４９において、部分画面停止コマンドがUI４１１より発行されていないと判定されると、処理はステップＳ１４６に戻され、それ以降の処理が繰り返される。

ところで、この間、映像処理装置４０１Ｃも、ステップＳ３４５において、部分画面停止コマンドが受信されたか否かを判定している。従って、映像処理装置４０１Ａ側で、部分画面停止コマンドがUI４１１より発行されない限り、映像処理装置４０１Ｃ側でも、ステップＳ３４５において、部分画面停止コマンドが受信されていないと判定され、処理はステップＳ３４３に戻され、それ以降の処理が繰り返される。

即ち、映像処理装置４０１Ｃ側で復号された映像ストリーム（映像ソース）を構成する各フレームが順次表示対象フレームに設定され、継続して実行されている自動追尾処理の結果に基づいて、その表示対象フレームにおける部分画面枠の移動量と拡大量が決定され、それが映像処理装置４０１Ａに順次送信される。

映像処理装置４０１Ａ側では、映像ソースを構成する各フレームを全画面表示装置４１２に表示させていく。このとき、それらの各フレーム上に表示される部分画面枠は、オブジェクトに追従して移動したりサイズが変化されていくのである。また、各フレームのそれぞれの部分画面枠に対応する部分領域のそれぞれも、部分画面拡大表示装置４１３に表示される。即ち、部分画面拡大表示装置４１３には、ユーザが着目するオブジェクトがユーザに適する大きさで表示され続けるのである。

その後、UI４１１から部分画面停止コマンドが発行されると、ステップＳ１４９において、YESであると判定され、処理はステップＳ１５０に進む。

ステップＳ１５０において、映像処理装置４０１Ａは、部分画面停止コマンドを映像処理装置４０１Ｃに送信する。

すると、映像処理装置４０１Ｃは、ステップＳ３４５において、部分画面停止コマンドを受信したと判定し、ステップＳ３４６において、映像ソースの復号処理と自動追尾処理を停止させる。そして、映像処理装置４０１Ｃは、ステップＳ３４７において、部分画面停止返信コマンドを映像処理装置４０１Ａに送信する。これにより、映像処理装置４０１Ｃ側のステップＳ３０２の映像表示補助処理は終了となり、さらに、図１８に示されるように、全体の処理も終了となる。

映像処理装置４０１Ａも、ステップＳ１５１において、部分画面停止返信コマンドを受信すると、ステップＳ１５２において、全画面表示装置４１２における部分画面枠を消去し、また、部分画面拡大表示装置４１３の映像表示も停止させる。これにより、映像処理装置４０１Ａ側のステップＳ１０３の映像表示制御処理は終了となり、さらに、図１８に示されるように、２画面表示制御処理自体も終了となる。

以上、図面を参照して、第１実施形態乃至第４実施形態のそれぞれについて、その順番に個別に説明した。

ところで、上述した一連の処理は、上述したようにハードウエアにより実行させることもできるが、ソフトウエアにより実行させることができる。

この場合、図１の映像処理装置１は、上述したように図１４の映像処理装置４０１Ａと同様のハードウエア構成とすることができる。同様に、図１０の映像処理装置２０１、図１１のメタデータ生成装置２０２、並びに、図１４の映像処理装置４０１Ｂおよび映像処理装置４０１Ｃのそれぞれも、図１４の映像処理装置４０１Ａと同様のハードウエア構成とすることができる。

一連の処理をソフトウエアにより実行させる場合には、そのソフトウエアを構成するプログラムが、専用のハードウエアに組み込まれているコンピュータ、または、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどに、ネットワークや記録媒体からインストールされる。

このようなプログラムを含む記録媒体は、図１４に示されるように、装置本体とは別に、ユーザにプログラムを提供するために配布される、プログラムが記録されている磁気ディスク（フロッピディスクを含む）、光ディスク（CD-ROM(Compact Disk-Read Only Memory),DVD(Digital Versatile Disk)を含む）、光磁気ディスク（ＭＤ（Mini-Disk）を含む）、もしくは半導体メモリなどよりなるリムーバブル記録媒体（パッケージメディア）４１４により構成されるだけでなく、装置本体に予め組み込まれた状態でユーザに提供される、プログラムが記録されているメインメモリ４２２や、外部記録装置４２３に含まれるハードディスクなどで構成される。

なお、本明細書において、記録媒体に記録されるプログラムを記述するステップは、その順序に沿って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的あるいは個別に実行される処理をも含むものである。

また、本明細書において、システムとは、複数の装置や処理部により構成される装置全体を表すものである。

本発明が適用される映像処理装置の機能的構成の一例を示すブロック図である。 図１のＵＩ入力処理部の機能的構成の詳細例を示す機能ブロック図である。 図１の表示設定部の処理結果例を説明する図である。 図１の表示装置適合処理部が実行する処理のうちのサンプリングレートコンバート処理を説明する図である。 図１の表示装置適合処理部が実行する処理のうちのサンプリングレートコンバート処理を説明する図である。 図１の表示装置適合処理部が実行する処理のうちのサンプリングレートコンバート処理を説明する図である。 図１の表示装置適合処理部が実行する処理のうちのサンプリングレートコンバート処理を説明する図である。 図１の映像処理装置の２画面表示制御処理例を説明するフローチャートである。 図１の表示設定部の代わりに、図１の映像処理装置に搭載可能な表示設定/自動追尾アルゴ 本発明が適用される映像処理システムと、その一構成要素である映像処理装置の機能的構成の一例を示すブロック図である。 図１０の映像処理システムの一構成要素であるメタデータ生成装置の機能的構成の一例を示すブロック図である。 図１１のメタデータ生成装置により生成されるメタデータの例を示す図である。 図１０の映像処理システムにおいて、映像処理装置の２画面表示制御処理例と、それに対応するメタデータ生成装置の処理例とを説明するフローチャートである。 本発明が適用される映像処理システムの構成と、その一構成要素である映像処理装置のハードウエア構成の一例を示すブロック図である。 図１４の映像処理装置の情報コントローラが実行するプログラムの構成例を示す図である。 図１５のＵＩ入力（プログラム）の詳細な構成例を示す図である。 図１４の他の映像処理装置（図１５に対応する映像処理装置とは異なる映像処理装置）が実行するプログラムの構成例を示す図である。 図１４の映像処理システムにおいて、映像処理装置の２画面表示制御処理例と、２台の他の映像処理装置の対応する処理例とを説明するフローチャートである。 図１８の前準備処理の詳細例を説明するアローフローチャートである。 図１８の映像表示制御処理例と映像表示補助処理例とを説明するアローフローチャートである。

符号の説明

１ 映像処理装置， １１ 映像データ記憶部， １２ ＵＩ， １３ 全画面表示装置， １４ 部分画面拡大表示装置， ２１ 映像主処理部， ２２ ＵＩ入力処理部， ２３ 表示設定部， ３１ データ入出力処理部， ３２ 復号処理部， ３３ 表示装置適合処理部， ３４ 映像データ重畳部， ３５ 映像出力処理部， ３６ 表示装置適合処理部， ３７ 映像出力処理部， ５１ フレーム， ５２ 部分領域， ５３ 部分画面枠， ６１ オブジェクト， ７１ コマンド解析部， ７２ ストリーム制御処理部， ７３ 部分画面設定処理部， １２３ 表示設定/自動追尾アルゴリズム， ２０１ 映像処理装置， ２０２ メタデータ生成装置， ２１１ 映像データ記憶部， ２１２ ＵＩ， ２１３ 全画面表示装置， ２１４ 部分画面拡大表示装置， ２２１ 映像主処理部， ２２２ ＵＩ入力処理部， ２２３ メタデータ解析部， ２２４ ネットワーク入出力処理部， ２３１ データ入出力処理部， ２３２ 復号処理部， ２３３ 表示装置適合処理部， ２３４ 映像データ重畳部， ２３５ 映像出力処理部， ２３６ 表示装置適合処理部， ２３７ 映像出力処理部， ２５１ フレーム， ２５２ 部分領域， ２５３ 部分画面枠， ２６１ オブジェクト， ３１１ 映像データ記憶部， ３１２ ＵＩ， ３１３ 全画面表示装置， ３１４ 部分画面拡大表示装置， ３２１ 映像主処理部， ３２２ ＵＩ入力処理部， ３２３ 表示設定部２３４ オブジェクトメタデータ生成部， ３２５ ネットワーク入出力部， ３３１ データ入出力処理部， ３３２ 復号処理部， ３３３ 表示装置適合処理部， ３３４ 映像データ重畳部， ３３５ 映像出力処理部， ３３６ 表示装置適合処理部， ３３７ 映像出力処理部， ４０１Ａ乃至４０１Ｃ 映像処理装置， ４１１ ＵＩ， ４１２ 全画面表示装置， ４１３ 部分画面表示装置， ４１４ リムーバブル記録媒体， ４２１ 情報処理コントローラ， ４２２ メインメモリ， ４２３ 外部記録装置， ４２９ ドライブ， ５０１ 制御プログラム， ５０２ 機能プログラム， ５０３ デバイスドライバ， ５０４ 制御プログラム， ５０５ 機能プログラム， ５０６ デバイスドライバ， ６０１ 能力交換プログラム， ６０２ ＭＳマネージャ， ６１１ 復号処理， ６１２ 表示装置適合処理， ６１３ 映像データ重畳， ６１４ 表示設定， ６１５ 表示装置適合処理， ６２１ 映像出力， ６２２ 映像出力， ６２３ データ入出力処理， ６２４ ネットワーク入出力処理， ６２５ ＵＩ入力処理， ７０１ 能力交換プログラム， ７０２ ＭＳマネージャ， ７０３ 復号処理， ７０４ 自動追尾アルゴリズム， ７０５ データ入出力処理， ７０６ ネットワーク入出力処理， ６２５１ コマンド解析， ６２５２ ストリーム制御処理， ６２５３ 部分画面設定処理

Claims (8)

1. 複数のアクセスユニットから構成される動画像の表示を制御する情報処理装置において、
   前記動画像を構成する複数の前記アクセスユニットのそれぞれを第１の表示装置に順次表示させることを制御する第１の表示制御手段と、
   複数の前記アクセスユニットのそれぞれについて、対応するアクセスユニットのうちの第２の表示装置に表示させるべき表示範囲を設定する設定手段と、
   複数の前記アクセスユニットのそれぞれから、前記設定手段により設定された前記表示範囲で特定される部分領域を順次切り出し、切り出された複数の前記部分領域のそれぞれに対して、前記第２の表示装置の表示形式に対応する画像に変換させる画像処理を順次施す画像処理手段と、
   前記画像処理手段により前記画像処理が施された複数の前記部分領域のそれぞれを前記第２の表示装置に順次表示させることを制御する第２の表示制御手段と
   を備えることを特徴とする情報処理装置。
2. 前記複数の前記アクセスユニットのそれぞれについて、前記設定手段により設定された前記表示範囲で特定される前記部分領域の上に、その部分領域を囲む枠を合成させる合成手段をさらに備え、
   前記第１の表示制御手段は、前記合成手段により前記枠がそれぞれ合成された複数の前記アクセスユニットのそれぞれを前記第１の表示装置に順次表示させることを制御する
   ことを特徴とする請求項１に記載の情報処理装置。
3. 前記第１の表示制御手段の制御により前記第１の表示装置に実際に表示されている前記枠の配置位置とサイズとのうちの少なくとも一方を更新するユーザからの指令を入力する入力手段をさらに備え、
   前記設定手段は、前記入力手段により入力された前記指令に基づいて、複数の前記アクセスユニットのそれぞれのうちの前記第１の表示装置にこれから表示されるアクセスユニットについての前記表示範囲を設定する
   ことを特徴とする請求項２に記載の情報処理装置。
4. 前記設定手段は、
   さらに、前記第１の表示制御手段の制御により前記第１の表示装置に所定の時点で表示される前記枠内に存在するオブジェクトを追尾対象とし、複数の前記アクセスユニットのうちの前記第１の表示装置にこれから表示されるアクセスユニット間での前記オブジェクトの動きを追尾する追尾処理を実行し、
   前記第１の表示装置にこれから表示される前記アクセスユニットのそれぞれについて、対応するアクセスユニットの中から前記オブジェクトを含む所定の範囲を前記追尾処理の結果に基づいて特定し、特定された前記所定の範囲を前記表示範囲として設定する
   ことを特徴とする請求項２に記載の情報処理装置。
5. 前記第１の表示制御手段の制御により前記第１の表示装置に所定の時点で表示される前記枠内に存在するオブジェクトを追尾対象とし、複数の前記アクセスユニットのうちの前記第１の表示装置にこれから表示されるアクセスユニット間での前記オブジェクトの動きを追尾する追尾処理を実行するために必要なソフトウエアと情報を他の情報処理装置に送信し、前記他の情報処理装置により前記追尾処理が実行されその結果が送信されてきた場合、前記追尾処理の結果を受信する通信手段をさらに備え、
   前記設定手段は、前記第１の表示装置にこれから表示される前記アクセスユニットのそれぞれについて、前記通信手段に受信された前記追尾処理の結果に基づいて、対応するアクセスユニットの中から前記オブジェクトを含む所定の範囲を特定し、特定された前記所定の範囲を前記表示範囲として設定する
   ことを特徴とする請求項２に記載の情報処理装置。
6. 所定のオブジェクトのメタデータとして、複数の前記アクセスユニットのそれぞれにおける前記所定のオブジェクトの配置位置とサイズを特定可能な情報を保持している他の情報処理装置との間で通信を行い、前記所定のオブジェクトの前記メタデータを取得する取得手段をさらに備え、
   前記設定手段は、複数の前記アクセスユニットのそれぞれについて、前記取得手段により取得された前記所定のオブジェクトの前記メタデータに基づいて、対応するアクセスユニットの中から前記所定のオブジェクトを含む所定の範囲を特定し、特定された前記所定の範囲を前記表示範囲として設定する
   ことを特徴とする請求項１に記載の情報処理装置。
7. 複数のアクセスユニットから構成される動画像の表示を制御する情報処理装置の情報処理方法において、
   前記動画像を構成する複数の前記アクセスユニットのそれぞれを第１の表示装置に順次表示させることを制御する第１の表示制御ステップと、
   複数の前記アクセスユニットのそれぞれについて、対応するアクセスユニットのうちの第２の表示装置に表示させるべき表示範囲を設定する設定ステップと、
   複数の前記アクセスユニットのそれぞれから、前記設定ステップの処理により設定された前記表示範囲で特定される部分領域を順次切り出し、切り出された複数の前記部分領域のそれぞれに対して、前記第２の表示装置の表示形式に対応する画像に変換させる画像処理を順次施す画像処理ステップと、
   前記画像処理ステップの処理により前記画像処理が施された複数の前記部分領域のそれぞれを前記第２の表示装置に順次表示させることを制御する第２の表示制御ステップと
   を含むことを特徴とする情報処理方法。
8. 複数のアクセスユニットから構成される動画像の表示を制御する処理をコンピュータに実行させるプログラムであって、
   前記動画像を構成する複数の前記アクセスユニットのそれぞれを第１の表示装置に順次表示させることを制御する第１の表示制御ステップと、
   複数の前記アクセスユニットのそれぞれについて、対応するアクセスユニットのうちの第２の表示装置に表示させるべき表示範囲を設定する設定ステップと、
   複数の前記アクセスユニットのそれぞれから、前記設定ステップの処理により設定された前記表示範囲で特定される部分領域を順次切り出し、切り出された複数の前記部分領域のそれぞれに対して、前記第２の表示装置の表示形式に対応する画像に変換させる画像処理を順次施す画像処理ステップと、
   前記画像処理ステップの処理により前記画像処理が施された複数の前記部分領域のそれぞれを前記第２の表示装置に順次表示させることを制御する第２の表示制御ステップと
   を含むことを特徴とするプログラム。

Images