WO2001005144A1 - Procede de commande d'affichage video, systeme de traitement d'affichage video, dispositif de traitement d'affichage video, et dispositif d'affichage sur ecran - Google Patents

Description

明 細 書 映像表示制御方法、 映像表示処理システム、 映像表不処理装置、 及び画面表示装

技術分野

本発明は、 複数の入力映像を 1つの伝送路を介して伝送し、 同一の表示画面に 混在させて出力表示する映像表示処理システム、 映像表示制御方法、 及び画像表 示処理装置に関するものであり、 さらに、 丄 つのディスプレイ上に複数のチャン ネル画面映像等を同時表示する画像表示装置に関すろものである。 背景技術

マルチメディア社会と呼ばれる現在、 D V D、 C A T V , S T B、 デジタル丁 Vなど、 様々な映像信号を取り扱う機会が多くなつている。 そして、 これら複数 の映像信号をパーソナルコンピュータ （以下、 P Cと^す） などの映像表示装置 へ伝送し、 P Cのグラフィックスシステムと統合的に取り扱うための環境が開発 されつつある。

このように不特定の複数の映像信号を向時に映像表示装置へ伝送する必要が生 じる場合、 それぞれの映像信 に対応できるよう複数の伝送路をあらかじめ設け ることは現実的ではない。 そのためこれら複数の映像信号を多重化あるいは時分 割して伝送する方法がとられることが多い。 しかしな ら一方で、 伝送される複 数の映像信号の総データ量が大きくなると、 伝送路に ける伝送能力の不足が問 題となってくる。 そのため従来では、 特開平 6— 3 2 6 6 2号公報に提案され ているように、 複数の呋像信号のそれぞれに対するユーザの関心度を推定し、 そ の関心度が高い映像には高画質な画像圧縮をかけ、 関' t、度が低い映像には低画質 な画像圧縮をかけ、 それらを伝送するようにすることで、 映像信号の総データ量 を減らしながら、 効果的な画質を得られるようにしている。

しかし、 前記従来技術では、 圧縮 '伸張回路が複数 要となる。 また、 P C上 あるいは P Cのグラフィックスシステムを応用した映像表示装置上で、 グラフィ ックスチップの映像入力ボ一トが通常 1つしか用意さ:^ていないという点に対す る考慮がなされていない、 という問題があつた。

また、 昨今のデジタル映像信号処理技術の性能向上や低コスト化を背景に、 複 数の縮小したチャンネル画面映像を 2次元平面上に行歹 |J状に配置して一画面に表 示するマルチチャンネル画面表示がある。 これにより锋数チャンネルの一覧を手 軽に見ることが可能となるため、チャンネルの選択にも応用されている。一方で、 コンピュータなどを用いた; 3次元画像処理技術もここ最近飛躍的に性能向上や低 コス ト化が進んでおり、 より現実感のある映像が可能となり、 あたかも自分がそ の中に存在しているかのように錯覚させる 3次元仮想空間を実現するなどの視覚 的効果を可能とし、 より人問の感覚に近づける技術として注目されている。

現在ケーブルテレビゃデジタル衛星放送など、 従来の地上波によるテレビ放送 とは比較にならないほど大量のチヤンネルを送受信することが可能なテレビ放送 システムが実現されており、 ユーザが所望のチャンネルを探し当てるための手段 の一つとして、 前記 2つの技術を応用した、 3次元視覚効果を利用したマルチチ ヤンネノレ画面表示システムが存在する。

第 1 9図は従来の 3次元視覚効果を利用したマルチチヤンネル画面表示の 3次 元処理のイメージを^す図である。

従来の 3次元視覚効果を利用したマルチチヤンネル 面表示では、 第 1 9図に 示すように、 仮想 3次元空間内に配 Sした仮想平面 7 0 1上に複数のチャンネル 両面を貼り付け、 この複数のチャンネル幽囱を貼り付けた平面に対する視点 7 0

2を仮想 3次元空間内で上下左右前後に移動させることによる 3次元視覚効果を 用いることによって、ディスプレイ画面上にマルチチャンネル全体を表示したり、 特定のチヤンネノレをディスプレイ画面いつぱレ、に表示したりすることが可能であ る。

第 2 0図はマルチチャンネル画面表示を行なう画像表示装置でチャンネル選択 をするのに用いるリモコン装置の入力キーの構成の一例を示す図である。 ュ一ザ がリモコン装置の 「マルチ画面表示」 の入力キーが押下されると、 画像表示装置 は、複数のチャンネルの番組画面が第 2 1 (a)図に すように 4 X 4のマトリック ス状に配置されたマルチチャンネル両面を表示する。 リモコン装置に設けられた 「左上 J , 「右上 ^ 「左下」， 「右下」 の入力キーは、 ディ;スプレイ画面を 「左上」， 「右上」， 「左下」， 「右下」 の 4つの領域に分割したときの各位置を示すものであ り、 第 2 1 (a)図に示すようにマルチチャンネル表示面面が表示された状態で 「左 上」 のキーが押されるとディスプレイ画面の左上部分 （チャンネル 1 , 2 , 5 , 6の画面を含む部分） が選択され、 ディスプレイ画而ヒでは例えばこの部分の色 を変える等して、 当該部分が選択されていることを示す。 そして、 この状態で、 リモコン装置の 「選択」 キーが押下されると、 第 1 9 中に示す視点 7 0 2が仮 想 3次元空間內で仮想平面 7 0 1に向かって左上前方^移動し、 ディスプレイ画 面が第 2 1 (b)図に示すもの （チャンネル 1， 2 , 5 , 6の画面を含むマルチチヤ ンネル画面表示） に切り替わる。 さらに、 第 2 1 (b)図のマルチチャンネル画面表 示が表示された状態で、 「左下」のキーが押されるとディスプレイ画面の左下部分 (チャンネル 5の画面） が選択され、 「選択」 キ一が押下されると、 第 1 9図中に 示す視点 7 0 2が仮想 3次元空間内で仮想平面 7 0 1に向かって左下^方に移動 し、 表示画面が第 2 1 (c)図に示すものに切り替わる。

しかしながら、 このようなマルチチャンネル画面表示を行なう画像表示装置で は、 マルチチャンネル画面の一部の領域を選択して表示するときに、 視点を仮想 3次兀空間内で、 複数のチャンネル画面を貼り付けた仮想平面に近づけることに よりディスプレイ画面上に透視変換されて表示される仮想平面の領域を狭めるよ うにしており、選択後のディスプレイ画面には、選択された画面のみが表示され、 マルチチャンネル画面の全体像はもはや表示されないため、 選択された画面はマ ルチチャンネル画面のどのあたりに配置表示されていたものであるといった、 マ ルチチャンネル画面と選択両面との位置関係は、 デイスプレイ画面上で確認でき ない。 また、 特定のチャンネル画面を見ている状態からマルチチャンネル画面全 体に表示を切り替える場合も、 今まで見ていたチャンネル画面がマルチチャンネ ル画面のどこに表示されているかを容易には認識することができない。 さらに、 従来の画像表示装置では、 視点だけが仮想 3次元空間内を移動し、 マルチチャン ネル画面は実質 2次元平面であるため、 3次元視覚効果を十分に生かしていると は言い難い。

本発明は、 かかる問題点を解消するためになされたものであり、 P C上あるい は P Cのグラフィックスシステムを応用した映像表示装置上で、 伝送路の伝送能 力を効率よく利用しながら、 複数の映像を表示処理できる映像制御方法、 映像表 示処理システムおよび映像処理装置を提供するとともに、 3次元視覚効果を十分 に生かして、 マルチチャンネル画面と選択画面との位置関係を確認し易い画面表 示を行えろ画像表示装置を提供することを目的とする。 発明の開示

本発明 （請求の範囲第 1項） に記載の映像表示制御方法は、 複数の映像信号源 の映像を同一の画面に混在させて表示する映像表示制御方法において、 吠像表示 部において、 前記画面に表示された各映像の表示状態に応じて、 各映像の表示優 先度を決定し、 前記表示優先度に基づいて各映像の解像度変換における解像度及 び各映像の合成方法を決定し、 伝送路を介して、 前記決定された解像度及び合成 方法情報を映像入力部へ伝送し、 映像入力部において、 前記決定された解像度に 基づき各映像の解像度を変換し、 前記解像度変換がされた映像を前記決定された 合成方法に基づき 1枚の映像に合成し、 伝送路を介して、 前記合成された映像を 伝送し、 前記映像表示部において、 前記伝送された合成映像を前記決定した解像 度及び合成方法に基づいて分離し、 前記分離された各映像を表 することを特徴 とする。

このような映像表示制御方法によれば、 複数の映像を一枚に合成するので伝送 する映像データ量を削減できる。 また、 表示優先度を自動的に決定し、 ユーザの 関心度が高いと推定される映像を高画質に表示できる。

本発明 （請求の筘囲第 2項） に記載の映像表示制御方法は、 請求の範囲第 1項 に記載の呋像表示制御方法において、 前記表示優先度は、 前記各映像の表示状態 における各映像の表示サイズの大きさにより決定されることを特徴とする。

このような映像表示制御方法によれば、表示サイズの大きい映像は高解像度に、 表不サイズの小さい映像は低解像度に解像度変換して合成することで、 ユーザの 関心度が高いと推定される表示サイズの大きい映像を高画質に表示できる。

本発明 （請求の範囲第 3項） に記載の映像表示制御方法は、 請求の範囲第 1項 に記載の映像表示制御方法において、 前記表示優先度は、 前記各映像の表示状態 における各映像の表示の重なりの深さにより決定されることを特徴とする。

このような映像表示制御方法によれば、 表示の重なりが手前にある呋像は高解 像度に、 表示の重なりが奥にある映像は低解像度に解像度変換して合成すること で ーザの関心度が高いと推定される表示の重なりが手前にある映像を高画質 に表示できる。

本発明 （請求の範囲第 4項） に記載の映像表示制御方法は、 請求の範囲第 1項 に記載の映像表示制御方法において、 前記表示優先度は、 前記各映像の表示状態 における各映像の表示の可視面積の大きさにより決定されることを特徴とする。 このような映像表示制御方法によれば、 表示の可視面積が大きい映像は卨解像 度に、表示の可視面積が小さい は 像度に解像度変換して合成することで、 ユーザの関心度が高いと推定される表示の ¾視[&'積が大きい映像を高画質に表示 できる。

本発明 （請求の範囲笫 5項） に記載の映像表示制御方法は、 請求の範囲第 1項 に記載の映像表示制御方法において、 前記表示優先度は、 前記各映像の表示状態 における各映像の表示の、 フォーカスされている状態か否か、 により決定される ことを特徴とする。

このような吠像表示制御方法によれば、 フォーカスされている映像は高解像度 に、 それ以外の映像は低解像度に解像度変換して合成することで、 ユーザの関心 度が高いと推定されるフォーカスされている状態の映像を高画質に表示できる。 本発明 （請求の範囲第 6項） に記載の映像表示制御方法は、 請求の範囲第 1項 に記載の映像表 制御方法において、 前記表示優先度は、 前記各映像の表示状態 における各映像の表示時間の長さにより決定されることを特徴とする。

このような映像表示制御方法によれば、 表示時間の: ^い映像は高解像度に、 表 示時間の短い映像は低解像度に解像度変換して合成することで、 ユーザの関心度 が高いと推定される表示時間の βい映像を高画質に表示できる。

本発明 （請求の範囲第 7項） に記載の映像表示制御方法は、 請求の範囲第 1項 に記載の映像表示制御方法において、 前記表示優先度は、 前記各映像の表示状態 における各映像の表示された順番により決定されることを特徴とする。

このような映像表示制御方法によれば、 最近に表示された映像を高解像度に、 以前に表示された映像を低解像度に解像度変換して合成することで、 ユーザの関 心度が高レ、と推定される新しく表示された映像を高画質に表示できる。

本発明 （請求の範囲第 8項） に記載の映像表示制御方法は、 請求の範囲第 1項 に記載の映像表示制御方法において、 前記表示優先度は、 前記各映像の表示状態 における各映像の表示の形により決定されることを特徴とする。

このような映像表示制御方法によれば、 縦横のそれぞれの解像度変換および合 成方法を映像の表示の形に合わせることで、 ユーザの関心度の卨いと推定される 炚像を β画質に表示できる。

本発明 （青求の範囲第 9項） に記載の映像表示制御;†法は、 複数の映像信号源 の映像を同一の画面に混在させて表示する映像表示制御方法において、 映像表示 部において、 外部からのユーザ操作によって各映像の表示優先度を決定し、 前記 表示優先度に基づいて各映像の解像度変換における解像度及び各映像の合成方法 を決定し、 伝送路を介して、 前記決定された解像度及び合成方法情報を映像入力 部へ伝送し、 映像入力部において、 前記決定された解像度に基づき各映像の解像 度を変換し、 前記解像度変換がされた映像を前記決定された合成方法に基づき 1 枚の映像に合成し、 伝送路を介して、 前記合成された映像を伝送し、 前記映像表 示部において、 前記伝送された合成映像を前記決定した解像度及び合成方法に基 づいて分離し、 前記分離された各映像を表示することを特徴とする。

このような映像表示制御方法によれば、 ユーザが所望の映像を、 高面質に表示 するように操作入力することで、 ユーザの要望に応じた表示画面とすることがで さる。

本発明 （請求の範囲第 1 ϋ項） に記載の映像表示制御方法は、 請求の範囲第 1 項ないし請求の範囲第 9項のいずれかに記載の映像表示制御方法において、 前記 合成方法は、 前記表示優先度に基づき解像度が変換された各映像の縦横のァスぺ クト比を固定して合成することを特徴とする。

このような映像表示制御方法によれば、 分離あるいは表示の際にァスぺク ト比 補正をせずに、 分離した映像をそのまま使用できる。

本発明 （請求の範囲第 1 1項） に記載の映像表示制御方法は、 請求の範囲第 1 項ないし請求の範囲第 9項のいずれかに記載の映像表示制御方法において、 前記 合成方法は、 前記表示優先度に基づき解像度が変換された各映像の縦横のァスぺ ク ト比を変化させて合成することを特徴とする。

このような映像表示制御方法によれば、 各映像を無駄なく伝送して表示できる という作用を有する。

本癸明 （請求の範囲第 1 2項） に記載の映像表示制御方法は、 請求の範囲第 1 項に記載の映像表示制御方法において、 前記映像表示部において、 複数の各映像 の画面上への仮想 3次元表示に必要なパラメ一タを計算し、 前記分離された各映 像を前記算出したパラメータに従って 3次元処理し表示することを特徴とする。 このような映像表示制御方法によれば、 効率的に映像を伝送して、 仮想 3次兀 表示を行うことができる。

本発明 （請求の範囲第 1 3項） に記載の映像表示制御方法は、 請求の範囲第 1 項ないし請求の範囲第 1 2項のいずれかに記載の映像表示制御方法において、 前 記映像入力部において、前記合成された映像を圧縮し、前記映像表示部において、 前記圧縮された合成映像を伸張する、 ことを特徴とする。

このような映像表示制御方法によれば、 伝送する映像データ量を削減すること ができる。

本発明 （請求の範囲第 1 4項） に記載の映像表示制御方法は、 請求の範囲第 1 項ないし請求の範囲第 1 3項のいずれかに記載の映像表示制御方法において、 前 記映像入力部において、 前記合成後の映像データに解像度変換および合成方法情 報をヘッダーとして付加し、 前記映像表示部において、 前記ヘッダーを付加した 合成映像のヘッダーを解読し、 前記解読した情報をもとに前記合成映像を分離す ることを特徴とする。

このような映像表示制御方法によれば、 伝送遅延が発生した場合においても、 分離する際に確実なタイミングで解像度変換 ·合成方法情報が伝わるので、 映像 の乱れがなくなる。

本発明 （請求の範囲第 1 5項） に記載の映像表示処理システムは、 複数の映像 信号源の映像を同一の画面に混在させて表示する映像表示処理システムにおいて、 複数の映像信号源からの映像の入力を受ける映像入力部と、 表示画面に対し表示 すべき映像の出力を行う映像表示部と、 前記映像入力部と前記,表示部とを接 続する伝送路とが設けられ、 前記映像入力部は、 前記映像表示部から前記伝送路 を介して 信した解像度 ·合成方法情報信号に基づいて前記複数の映像信号源の 各映像の解像度変換および合成方法を制御する解像度変換 ·合成方法制御部と、 複数の各映像を必要に応じて前記解像度変換■合成方法制御部により指定された 解像度に変換する解像度変換部と、 前記解像度変換後の複数の映像を必要に応じ て前記解像度変換 ·合成方法制御部により指定された方法で 1枚の映像に合成す る合成部とを有し、 前記映像表示部は、 前記映像入力部より受信した合成映像を 元の複数の各映像に分離する分離部と、 前記分離された複数の を同時に前記 1≤J面に表示する表示制御部と、複数の各映像の表示状態を取得する状態取得部と、 取得した表示状態から解像度 ·合成方法情報信号を決定し、 前記分離部および前 記映像入力部へ出力する解像度 ·合成方法決定部とを有することを特徴とする。 このような構成の映像表示処理システムによれば、 1系統の映像伝送路上で複 数の映像を合成して伝送するので、伝送する映像データ量を削減できる。 さらに、 必要に応じて表示優先度基づき各映像の解像度及び合成方法を決定するので、 ュ 一ザの要望に応じた表示画面とすることができる。

本発明 （請求の範囲第 1 6項） に記載の映像表示処理システムは、 複数の映像 信号源の映像を同一の画面に混在させて表示する映像表示処理システムにおいて、 複数の映像信号源からの映像の入力を受ける映像入力部と、 表示画面に対し表示 すべき映像の出力を行う映像表示部と、 前記映像入力部と前記映像表示部とを接 続する伝送路とが設けられ、 前記映像入力部は、 前記咪像表示部から前記伝送路 を介して受信した解像度 ·合成方法情報信号に基づいて前記複数の映像信号源の 各映像の解像度変換および合成方法を制御する解像度変換 ·合成方法制御部と、 複数の各映像を必要に応じて前記解像度変換 ·合成方法制御部により指定された 解像度に変換する解像度変換部と、 前記解像度変換後の複数の映像を必要に応じ て前記解像度変換■合成方法制御部により指定された方法で 1枚の映像に合成す る合成部とを有し、 前記映像表示部は、 前記映像入力部より受信した合成映像を 元の複数の各映像に分離する分離部と、 ユーザが操作入力する操作入力部と、 前 記分離された複数の吠像を同時に前記画面に表示する¾示制御部と、 前記入力さ れた操作により解像度 ·合成方法情報信号を決定し、 前記分離部および前記映像 入力部へ出力する解像度 ·合成方法決定部を有したことを特徴とする。

このような構成の映像表示処理システムによれば、 1系統の映像伝送路上で複 数の映像を合成して伝送するので、伝送する映像データ量を削減できる。 さらに、 ユーザが所望の映像を高画質にするための操作を入力 るので、 ユーザの要望に 応じた表示画面にすることができる。

本発明 （請求の範囲笫 1 7項） に記載の映像表示処理システムは、 請求の範囲 第 1 5項に記載の映像表示処理システムにおいて、 前記映像表示部は、 さらに、 複数の各映像の画面上への仮想 3次元表示に必要なパラメ一タを計算する 3次元 計算部と、 前記分離された複数の各映像を 3次元計算部で算出されたパラメータ に従って 3次元処理し表示する 3次元表示部とを有し、 前記状態取得部が、 前記 3次元計算部から複数の各映像の表示状態を取得することを特徴とする。

このような構成の映像表示処理システムによれば、 伝送能力に制限がある伝送 路を用いても、 効率的な映像伝送と仮想 3次元表示を行うことができる。

本発明 （請求の範囲第 1 8項） に記載の映像表示処理システムは、 請求の範囲 第 1 5項ないし請求の範囲第 1 7項のいずれかに記載の映像表示処理システムに おいて、 前記映像入力部は、 前記合成映像を圧縮する圧縮部をさらに有し、 前記 映像表示部は、 前記映像入力部より受信した圧縮された合成映像を伸張する伸張 部をさらに有することを特徴とする。

このような構成の映像表示処理システムによれば、 送する映像データ量をさ らに削減することができるので、 効率的な伝送路の利用が可能である。

本発明 （請求の範囲第 1 9項） に記載の映像表示処理システムは、 請求の範囲 第 1 5項ないし請求の範囲第 1 8項のいずれかに記載の映像表示処理システムに おいて、 前記映像入力部は、 前記解像度 ·合成方法情報信号から特定のフォーマ ットを生成し、 合成後の映像信号に付加するヘッダー付加部をさらに有し、 前記 映像表示部は、 前記映像入力部より受信した合成映像信号に付加されたヘッダー から解像度■合成方法情報を取り出すへッダー解析部をさらに有することを特徴 とする。

このような構成の映像表示処理システムによれば、 映像入力部から^表示部 への伝送路において、 伝送遅延が発生した場合においても、 分離部に確実なタイ ミングで解像度変換 ·合成方法情報が伝わるので、 映像の乱れがなくなる。 本発明 （請求の範囲第 2 0項） に記載の映像表示処理装置は、 複数の映像信号 源の映像を同一の画面に混在させて表示する映像表不システムにおいて用いられ る、 上記複数の映像信号源を接続可能な炚像表示処理装置であって、 前記映像表 示部から伝送路を介して受信した解像度 ·合成方法情報信号に基づいて前記複数 の映像信号源の各映像の解像度変換および合成方法を制御する解像度変換 '合成 方法制御部と、 複数の各映像を必要に応じて前記解像度変換 ·合成方法制御部に より指定された解像度に変換する解像度変換部と、 前記解像度変換後の複数の映 像を必要に応じて前記解像度変換 ·合成方法制御部により指定された方法で 1枚 の映像に合成する合成部とを有することを特徴とする。

このような構成の映像表示処理装置によれば、 P Cの拡張カードとして実装す ることで、 P Cと組み合わせて実現することが可能である。

本発明 （請求の範囲第 2 1項） に記載の画像表示装置は、 画像が貼り付けられ た単数又は複数の仮想平面が配置された仮想 3次元空問を前記仮想 3次元空間内 に配置される視点に対して透視変換して表示面面上に表示する表示手段と、 第 1 の仮想平面に画像を貼り付け、 該第 1の仮想平而を前記視点に対し正面が向くよ うに前記仮想 3次元空間内に配置するとともに、 前記第 1の仮想甲面の一部の領 域が選択されたときに、 前記第 1の仮想平面の選択された領域に貼り付けられた 画像を前記第 1の仮想平面とは異なる第 2の仮想平面に貼り付け、 該第 2の仮想 平面を、 前記仮想 3次元空間内において前記第 1の fe:想平面よりも前記視点に近 い位置であって、 前記第 1 , 第 2の仮想平面が配置さ†Lた前記仮想 3次元空間を 透視変換したときに前記第 2の仮想平面が前記第 1の仮想平面全体の大きさより も小さく前記表示画面上に表示される位置に、 前記視点に対し正面が向くように 配置する画像配 β手段とを含むことを特徴とする。

このような構成の画像表示装置によれば、 全体画面と選択画面との位置関係を 確認し易い画 表示を行なえる画像表示装置を実現できる効果がある。

本発明 （請求の範囲第 2 2項） に記載の画像表示装置は、 第 1の仮想平面に画 像を貼り付けて、 該第 1の仮想平面を仮想 3次元空間内に配置するとともに、 前 記第 1の仮想平面の一部の領域が選択されたときに、 前記第 1の仮想平面の選択 された領域に貼り付けられた画像を前記第 1の仮想平面とは異なる第 2の仮想平 面に貼り付け、 該第 2の仮想平面を、 前記仮想 3次元空問内において前記第 1の 仮想平面の正面とほぼ同じ方向に正面が向くように配置する画像配置手段と、 前 記仮想 3次元空間内で、 前記第 1， 及び第 2の仮想平面の仝体が見える眺望視点 位置を計算する眺望視点位置計算手段と、 複数の仮想平面が配置された仮想 3次 元空間を前記眺望視点位置に配置された視点に対して透視変換して表示する眺望 表示手段とを含むことを特徴とする。

このような構成の画像表示装置によれば、 全体画面と選択画面の全休を俯瞰す ることができ、 全体画面と選択画[¾との位置関係を容易に確認することができる 画像表示装置を実現できる効果がある。

本発明 （請求の範囲第 2 3項） に記載の画像表示装置は、 請求の範囲第 2 1項 に記載の画像表示装置において、 前記画像配置手段が、 前記第 2の仮想平面に貼 り付けられる画像に透過効果を与える処理をするものである。

このような構成の画像表示装置によれば、 選択画面の背後に表示される全体画 面を確認しやすくできる効果がある。

本発明 （請求の範囲第 2 4項） に記載の画像表示装置は、 請求の範囲第 2 1項 ないし請求の範囲第 2 3項のいずれかに記載の画像表示装置において、 前記第 1 の仮想平面に貼り付けられる画像が、 複数のチヤンネル画面映像を含むマルチチ ャンネル表示画像であり、 前記第 1の仮想平面のうち前記複数のチヤンネル画面 映像のうちの 1または複数のチヤンネル画面映像の画像が貼り付けられた領域が 選択されるものである。

このような構成の画像表示装笸によれば、 3次元視覚効果を十分に生かして、 マルチチヤンネル画面と選択面面との位置関係を確認し易い画面表示を行なうこ とができる画像表示装置を実現できる効果がある。

本発明 （請求の範囲第 2 5項） に記載の画像表示装置は、 請求の範囲第 2 4項 に記載の画像表示装置において、 マルチチャンネル表示面像に表示される複数の チャンネルのそれぞれの選択頻度を記憶するチャンネル選択頻度記憶手段と、 マ ルチチヤンネル表示画像に表示される複数のチヤンネルのそれぞれの選択頻度に 基づいて前記第 1の仮想平面に貼り付けられるマルチチヤンネル表示画像の複数 のチャンネル画面映像の配 Sを決定する配置決定手段を備えたものである。 このような構成の画像表示装置によれば、 選択頻度に応じたチャンネル画像配 置でマルチチャンネル画面表示でき、 マルチチャンネル表示を用いたチャンネル 選択操作において使い勝手の良い画像表示装置を実現できる効果がある。

本発明 （請求の範囲第 2 6項） に記載の画像表示装置は、 請求の範囲第 2 1項 に記載の画像表示装置において、 前記第 1 , 第 2の仮想平面の仮想 3次元空問內 におけろ配置情報、 および各仮想平面に貼り付けられ，画像の仮想平面上におけ る配置情報を記憶する配置情報記憶手段と、 該配置情報記憶手段に記憶された配 置情報を用いて、 前記第 1 , 第 2の仮想平面の仮想 3次元空間内における配置、 および各仮想平面に貼り付けられる画像の仮想平面上における配置を再現する画 像配置再現手段とを備えたものである _n

このような構成の画像表示装置によれば、 以前の表示を再現して全体画像と選 択画像の関係を確認できる効果がある。

本発明 （請求の範囲第 2 7項） に記載の画像表示装置は、 請求の範囲第 2 1項 に記載の画像表示装置において、 所定の時間間隔で前記第 1の仮想平面の一部の 領域を順に領域を変えて選択、 および選択解除する領域選択手段を備えたもので ある。

このような構成の画像表示装置によれば、 全体面面の一部を順に自動的に拡大 表示できる画像表示装置を実現できる効果がある。

木発明 （請求の範囲第 2 8項） に記載の画像表示装廣は、 請求の範囲第 2 1項 に記載の画像表示装置において、 前記画像配置手段が、 前記第 2の仮想平面を前 記仮想 3次元空間内の前記位置に配置する際に、 前記第 2の仮想平面に貼り付け る画像に応じて前記第 2の仮想平面に特定のアニメーション動作をさせた後に前 記仮想 3次元空間內の前記位置に配置するものである。

このような構成の画像表示装置によれば、 選択画面表示時の画面のアニメ一シ ョン動作によってユーザが、 選択画面に関する付加的な情報を認識できる画像表 示装置を実現できる効果がある。 図面の簡単な説明 第 1図は、本発明の実施の形態 1に係る映像表示処理システムの構成図である。 第 2図は、 本発明の実施の形態 1に係る映像表示処理システムの解像度変換及 び合成方法の例を示す図であろ" 第 2 (a)図は解像度変換'合成前の元の映像であ る。第 2 (b)図は、第 2 (a)図の各映像のァスぺク ト比を維持したまま問引き合成し た場合の例を示す図である。 第 2 (c)図は、 第 2 (a)図の各映像の縦横のァスぺク ト 比を変化させて間引き合成した場合の例を示す図である。

第 3図は、 本発明の実施の形態 1に係る映像表示処理システムの画面表示の例 と、 各画面表 に対応す 解像度変换 '合成方法の例を示す図である。 第 3 (a) 図は、 ユーザが画面上の特定の映像を注目せず均等に見ている場合の画面表示例 を示す図である。 第 3 (b)図は、 画面上の 1から 4の映像のうち、 1が最も大きい ウィンドウサイズである場合の凼面表示例を示す図である。 第 3 (c)図は、 画面の 上の 1から 4の炚像のうち、 1の映像の重なりが最も手前にある場合の画面表示 例を示す図である。 第 3 (d)図は、 第 3 (a)図のような場合の解像度変換 ·合成方法 の例を示す図である。 第 3 (e)図は、 第 3 (b)図や第 3 (c)図のような場合の解像度 変換 ·合成方法の例を不す図である。

第 4図は、本癸明の実施の形態 2に係る映像表示処理システムの構成図である。 第 5図は、本発明の実施の形態 3に係る映像表; Γ、処理ンステムの構成図である。 第 6図は、 本発明の実施の形態 3に係る映像表示処理システムの付加するへッ ダ一の例を示す図である。

第 7図は、本発明の実施の形態 4に係る映像表示処理システムの構成図である。 第 8図は、本発明の実施の形態 5に係る映像表示処理システムの構成図である。 第 9図は、 本発明の実施の形態 5に係る映像表示処埤システムの面面表示の例 と、 各画面表示に対応する解像度変換 ·合成方法の^を示す図である。 第 9 (a) 図は、 画面上の映像 1から 4のうち、 ¾^ 1、 4が大きく均等で、 映像 2、 3力- 小さく均等である場合の画面表示例である。 第 9 (b)図は、 画面上の映像 1から 4 のうち、 映像 1が大きく、 映像 2、 4、 が小さく均等で、 映像 3が背後にある場 合の画面表示の例である。 第 9 (c)図は、 第 9 (a)図の場合の各映像の解像度変換 - 合成方法の例を示す図である。第 9 (d)図は、第 3 (b)図の場合の各映像の解像度変 換 -合成方法の例を示す図である。 第 1 0図は、本発明の実施の形態 6に係る画像表示装置の構成を示す図である。 第 1 1図は、 本発明の実施の形態 6に係る画像表示装置におけるマルチチャン ネル画面表示の 3次元処理のィメ一ジを示す闵である。

第 1 2図は、 本発明の実施の形態 Gに係る画像表示装置における仮想 3次元空 問内での画像配置及び表示画面の具体例を示す図である。 第 1 2 (a)図は、 マルチ チャンネル画面表示でチヤンネル 1から 1 6の番組画面をマルチ表示した時の家 蔵平面と視点の関係を示す図である 第 1 2 (b)図は、第 1 2 (a)図の場合にデイス プレイ画面上に表示されるマルチチヤンネル画面表示を示す図である。

第 1 3図は、 本発明の実施の形態 6に係る画像表示装置における仮想 3次元空 間内での画像配置及び表示画面の具体例を示す図である。第 1 3 (a)図はマルチチ ヤンネル画面表示で 「左上 の領域 （チャンネル 1 , 2 , 5， 6の画面を含む領 域） を選択して表示したときの仮想平面 6 0 1 , 6 0 2と視点 6 0 4の関係を示 す^、第 1 3 (b)図はこのときにディスプレイ画面上に表示されるマルチチヤンネ ノレ画面表示を示す図である。

第 1 4図は、 本発明の実施の形態 6に係る画像表 装置における仮想 3次元空 問内での画像配置及び表示画面の具体例を示す図である。 第 1 4 (a)!]は、 第 1 3 (b)図に示すマルチチャンネル面面表' で 「左下」 の領域 （チャンネル 5の画面を 含む領域） を選択して表示したときの仮想平而 6 0 1 , 6 0 2 , 6 0 3と視点 6 0 4の関係を示す図、第 1 4 (b)図はこのときにディスプレイ画面上に表示される 画面表示を示す図である。

第 1 5図は、 眺望視点位置に配置された視点に対する透視視点を行う本発明の 画像表示装置によおる表示画面の一例を示す図である。

第 1 6図は、本発明の実施の形態 7に係る画像表示装置の構成を示す図である _u 第 1 7図は、本発明の実施の形態 8に係る画像表示装置の構成を示す図である。 第 1 8図は、 本発明の実施の形態 8に係る画像表示装置におけるアニメーショ ン動作の意味付けの例を示す図である。

第 1 9図は、 従来の 3次元視覚効果を利用した画像表示装置におけるマルチチ ャンネル画面表示の 3次元処理を説明するための図である。

第 2 0図は、 マルチチャンネル画面表示を用いてチャンネル選択を行うために 使用するリモコン S置の入力キーの構成の一例を示す図である。

第 2 1図は、 従来の 3次元視覚効果を利用した画面表示装置による表示画像の 一例を示す図である。 第 2 1 (a)図は、 4 X 4のマトリ ックス状に配置されたマル チチャンネル画面の表示を示す図である。第 2 1 (b)図は、第 2 1 (a)図に示すよう にマルチチャンネル表示画面が表示された状態で 「左ト」 と 「選択」 キ一を順に 押した場合に切り替わるディスプレイ画面を示す図である。 第 2 1 (c)図は、 第 2 1 ( )図のマルチチャンネル画面表示が表示された状態で'、 「左下」 のキ一が押し た場合に切り替わる表示画面の例を示す図である。 発明を実施するための最良の形態

以下、 本発明の実施の形態について図面を参照しながら説明する。 なお、 ここ で示す実施の形態はあくまでも一例であって、 必ずしもこの実施の形態に限定さ れるものではない。

実施の形態 1 .

以下に、 本発明の実施の形態 1に係る映像表示処理システムについて、 図面を 参照しながら説明する。

第 1図は、 本発明の実施の形態 1に係る映像表示処理システムの全体構成図で ある。 第 1図において、 本実施の形態に係る映像表示処理システムは、 複数の映 像 f 号源 1 0 1 (本実施例では、 アナログ 2系統、 デジタル 2系統で計 4系統） からの映像の入力を受けろ映像入力部 1 0 0と、 表示 ϊΐί而 2 0 1に対し表示すベ き映像の出力を行う映像表 部 2 0 0と、 映像入力部 1 0 0と映像表示部 2 0 0 を接続する伝送路とが設けられた映像表示処理システ+である。

複数の映像を 1枚に合成して出力する映像入力部 1 0 0は、 アナログ映像信号 をデジタル映像信号に変換する A Dコンバータ 1 0 2と、 デジタル映像信号に 対し、 複数の各映像を必要に応じて解像度変換 ·合成方法制御部 1 0 6により指 定された解像度に変換する解像度変換部 1 0 3と、 前記解像度変換後の複数の映 像を必要に応じて前記解像度変換 ·合成方法制御部 1 0 6により指定された方法 で 1枚の映像に合成する合成部 1 0 4と、 合成されたデジタル映像信号を伝送路 3 0 0を介して映像表示部 2 0 0に送信し、 また映像表示部 2 0 0から伝送路 3 00を介して解像度 ·合成方法情報信号を受信する送 信部 105と、 映像表示 部 200から受信した解像度 ·合成方法情報信号に基づいて解像度変換及び合成 方法を制御する解像度変換 '合成方法制御部 106とから構成される。

受信した合成映像を各映像に分離して表示する映像表示部 200は、 映像入力 部 100から伝送路 300を介して合成映像のデジタル映像信号を受信し、 また 解像度 · ^成方法情報信号を伝送路 300を介して映像入力部 100に送信する 送受信部 202と、 映像入力部 100より受信した合成映像から元の 4系統の映 像を分離する分離部 203と、 4系統の映像を独立にユーザの表示操作による任 意の表不状態で、 前記分離された 4系統の各映像を同時に前記画面 201に表示 する表示制御部 204と、 複数の各映像の表示状態を取得する状態取得部 205 と、 状態取得部 205から取得した表示状態から解像碑 ·合成方法情報信号を決 定する解像度 ·合成方法決定部 206とから構成される。 このような構成の映像 表示部 200の例としては、 ウィンドウシステムベースの OSが実行している P Cのグラフィックスシステムがある。 画面 201は PCに接続されたディスプレ ィであり、 例として CR丁、 LCD、 ヘッドマウント^ ^イスプレイなどがある。 伝送路 300は、 映像入力部 1 00と映像表示部 200の間を接続し、 合成映 像の映像信号および解像度 · 合成方法情報信号を伝送する。

以下に、 実施の形態"！に係る映像表示処理システムの動作について説明する。 まず、 映像信号源 101は、 アナログ信号あるいはデジタル信号を映像入力部 100に送信する。 アナログの映像信号源の例としてほ NTS Cのビデオカセッ 卜レコーダ、 DVDプレーヤ、 レ一ザ一ディスク、 テ ビチューナなど、 デジタ ルの映像信号源の例としては P C用デジタル TV受信ボード、 PC用 MP EGデ コ一ダボ一ド、 P C用ビデオキャプチヤボードなどがある。

映像信号源丄 01から受信した信号がアナログ映像 号の場合、 A/Dコンパ ータ 102は、 アナ πグ映像信号をサンプリングし、 デジタルの映像信号を解像 度変換部 103に送信する。 映像信号源 101が NTS Cや PALなどのフォー マットであれば、 さらに NTS CZPALデコード処理なども行う。 出力するデ ジタルの映像信号形式の例としては Y/C 8ビット、 YZC 1 6ビット、 RGB 2 ビットなどがある。 そして、 解像度変換部 1 0 3は、 受信したデジタル映像信号を送信する。 合成 部 1 0 4は、 ； S信した 4系統のデジタル映像信号データをそれぞれフレームシン クロナイズしながら 1枚の映像に合成し、 合成デジタル映像信号を送受信部 1 0 5に送信する。 送受信部 1 0 5は、 合成部 1 0 4からの合成後のデジタル映像信 号データを伝送路 3 0 0を介して送受信部 2 0 2に送信する。送受信部 2 0 2は、 受信したデジタル映像信号データを分離部 2 0 3に送信し、 分離部 2 0 3は、 受 信したデジタル映像信号を元の 4つの映像に分離する。 そして、 表示制御部 2 0 4は、 通常の P Cのコンピュータ画像にこれらの 4つの映像を独立にォ一バーレ ィ処理し、 これを表示するための画面 2 0 1を駆動する。

状態取得部 2 0 5は、 P Cで実行されてレ、る O Sの機能であり、 画面 2 0 1に 表示された各映像のウィンドウのサイズ、 重なり、 表示時問などの表示状態を表 示制御部 2 0 4から取得し、 前記表示状態に応じて各映像の表示優先度を決定す る。 そして、 解像度 ·合成方法決定部 2 0 6は、 決定した前記表示優先度に基づ いて各映像の解像度変換における解像度及び各映像の合成方法をソフトウェアで 計算して決定し、 解像度■合成方法情報信号を送受信部 2 0 2および分離部 2 0 3へ送信する。 受信部 2 0 2は、 受信した解像度 '合成方法情報信号を伝送路 3 0 0を介して送受信部 1 0 5へ送信する。 送受信部 1 0 5は、 解像度 ·合成方法 情報信号を受信し、 解像度変換 ·合成方法制御部 1 0 6に伝える。 解像度変換 - 合成方法制御部 1 0 6は、 受信した解像度変換 ·合成方法情報信号のうち、 4系 統の映像の解像度変換情報をそれぞれの解像度変換部 1 0 3へ伝えるとともに、 4系統の映像の合成パターンを指示する合成方法情報信号を合成部 1 0 4へ伝え る。

解像度変換部 1 0 3は、 受信したデジタル映像信号 対し解像度変換 ·合成方 法制御部 1 ϋ tiからの解像度変換信号に基づいて解像度の変換を行い、 解像度変 換後のデジタル映像信号を送信する。 この際， 画像の歪みを防ぐためのフィルタ 処理も施す。 解像度変換の例として、 縦横をそれぞれ 1 2、 1ノ4、 3ノ4に 間引く変換や、縦は 1ノ1を維持し横を 1ノ2、 1 / 4、 3ノ 4に間引く変換や、 横は丄 1を維持し縦を 1 2、 1 / 4 , 3ノ 4に間引く変換など、 複数の変換 パターンがあらかじめ用意されており、 フィルタ処理にはその変換パターンごと に割り当てられた適切なフィルタ係数を使用する。

そして、 合成部 1 0 4は、 解像度変换部 1 0 3で解像度変換がされた 4系統の 映像をそれぞれフ レームシンクロナイズしながら、 解像度変換 ·合成方法制御部 1 0 6からの合成方法信号による指定のパターンで 1枚の映像に合成して、 送受 信部 1 0 5へ送信し、 伝送路 3 0 0を介して送受信部 2 0 2へ伝える。

送受信部 1 0 5は、 合成部 1 0 4からの合成後のデジタル映像信号データを伝 送路 3 0 0に送信し、 あるいは、 伝送路 3 0 0から受信した解像度 '合成方法情 報信 ¾を、 解像度変換 '合成方法制御部 1 0 6へ伝える通信インターフェースで あり、 例として P Cのグラフィックスシステムにおけ ¾映像入力ポートの標準仕 様である V I P (V^eo Interface Port) や、 P C内部の P C Iノ A G Pバス、 L AN/インタ一ネッ トなどのネッ トワークのインターフェースなどがある。 送受信部 2 0 2は、 伝送路 3 0 0からのデジタル映像信号データを受信し、 分 離部 2 0 3に伝える。 分離部 2 0 3は、 送受信部 2 0 2から入力された合成デジ タル映像信号を元の 4つの映像に分離する。 このとき、 解像度 ·合成方法決定部 2 0 6からの解像度 '合成方法情報により、 合成映像上における各映像の座標等 を決定し、 適切な分離動作を行う。 表示制御部 2 0 4は、 通常の P Cのコンビュ ータ画像にこれらの 4つの映像を独立にオーバーレイ処理し、 これを表示するた め画面 2 0 1を駆動する。 なお、 分離部 2 0 3および表不制御部 2 0 4は、 P C のグラフィックスチンプ内部の機能である。

なお、 本発明の映像処理システムにおいて、 画面に表示された各映像の表示優 先度に応じて表示優先度を決定し、 各映像の解像度を変換するが、 各映像の表示 優先度は、 各映像の表示サイズ、 表示の重なり状態、 表示の可視面積、 表示のフ オーカスされている状態か否か、 表示時間の長さ、 表示された順番、 表示の形に 応じて決定される。

ここで、 表示優先度とは、 各映像に対するユーザの関心度、 すなわち、 各映像 をユーザが見たいと思っていると推定される度合レ、に基づき決定される表示され るべき画像の順位をいい、 その順位に従って表示映像の品質 （大きさ、 画質等） を調整するためのものである。

次に、 木発明の実施の形態 1に係る映像表示処理システムにおいて、 前記解像 度変換から得られる合成方法の例について第 2図を参照して説明する。

第 2図において、第 2 ( a )図は、表示画面に表示された'元の映像である。第 2 (b ) 図は、 第 2(a)図の各映像のアスペク ト比を固定し、 間引き合成した場合の例で ある。 第 2(c)図は、 第 2(a)図の各映像のァスぺク ト比を変化させて、 問引き合 成した場合の例である。

笫 2(b)図のように、第 2(a)図の各映像の縦横のァスぺク ト比を維持したまま 間引きして合成する場合、 映像表示部 2 ϋ 0において分離した各映像をそのまま 使用することが可能であるが、 合成画面に隙問ができるため伝送路 300の使用 効率が下がってしまう。 一方、 第 2(c)図のように、 第 (a)図の各映像の縦横の ァスぺク ト比を維持しない問引きをして合成する場合、，伝送路 300の使用効率 は良好であるが、 映像表示部 200における各映像の分離処理または表示制御処 理の際に縦横のァスぺク ト比補正処理が必要となる _u

次に、 本発明の実施の形態 1に係る映像表示処理システムにおいて、 画面 20 1における表示と、 その表示状態を取得した状態取得部 205からの情報をもと に解像度 ·合成方法決定部 206が各映像の解像度 ·合成方法を計算する例につ いて第 3図を用いて説明する。

第 3 (a)図、 第 3(b)図、 笫 3(c)図は、 画面上に 1から 4の各映像の表示例であ る。 第 3(d)図、 第 3(e)図は、 第 3 (a)図、 第 3(b)図、 第 3 (c)図に対応する映像の 解像度変換 ·合成方法の例である。

第 3 (a)図では、 ユーザは特定の映像に注目せず均等に見ていると判断し、 第 3 (d)図のように解像度'合成方法を決定した例である。 第 3(b)図では、最も大きい ウィンドウサイズの 1の映像が最もユーザに注目されていると判断し、 第 3(e)図 のように縦横のァスぺク ト比を維持して解像度 ·合成方法を決定した例である。 第 3 (c)図では、 最も重なりが手前にあるウィンドウの 1の映像がもっともユーザ に注目されていると判断し、 同様に第 3(e)図のように解像度 ·合成方法を決定し た例である。

次に、 以上のように構成される映像表示処理システムにおいて、 ュ一ザが画面 上に表示されている映像を第 3 (a)図と第 3(b)図のように操作した場合の動作の 例について説明する。 簡単化のため、 ここでは 4系統の入力映像と合成後の映像のサイズが同じであ るとする。 現在、 画面 20 1上で各映像が第 3(a)図のような表示状態に見える よう表示制御部 204が動作している。 状態取得部 205は各映像の表示サイズ が均等かつ重なりがない状態であることを取得しているので、 解像度 '合成方法 決定部 20 6は各映像の解像度を縦横のァスぺク ト比を I維持したまま縦横をそれ ぞれ 1 Z 2に縮小して第 3 (d)図のように 1枚の映像に合成するよう指示してい る。 この指示は映像入力部 1 00の解像度変換 '合成方法制御部 1 06に伝えら れている。 各映像の解像度変換部 1 03はそれぞれの映像の解像度を縦横のァス ぺク ト比を維持したまま縦横をそれぞれ 1 Z 2に縮小するよう指示されるので、 1 2閒引き用のフィルタ係数を用いてフィルタ処理をした後、 間引き処理をす る。合成部 1 04では均等に縦横 1/2に縮小された映像を第 3 ( 図のパターン で合成し、 出力する。 映像表示部 200の分離部 203では、 解像度 ·合成方法 決定部 205により、伝送路 300を介して伝送され きた映像が第 3(d)図のよ うに合成されていることを既に知っているため、 各映像を適切な領域で分離処理 し、 表示制御部 204に出力することが可能である。

さて、 ここでユーザが表示制御部 204を操作し、 画面 20 1上での各映像が 第 3(b)図のような表示状態に見えるようにしたとする。 状態取得部 205は第 3(b)図の 1の映像が他の 3つの映像より大きなウィンドウで表示されている状 態を取得する。 解像度 '合成方法決定部 206は状態取得部 205から取得した 各映像のウィンドウサイズ情報から、 第 3(b)図の 1の映像の解像度は縦横のァ スぺク ト比を維持したまま縦横をそれぞれ 3 4に縮 /[!、するにとどめ、 その他 3 つの映像の解像度は縦横のアスペク ト比を維持したま 縦横をそれぞれ 1 / 4に 縮小し、 第 3(e)図のように 1枚の映像に合成するよう指示する。 この指示は映 像入力部 1 00の解像度変換■合成方法制御部 1 06に伝えられる。 各映像の解 像度変換部 1 0 3のうち、 第 3(b)図の 1の映像に対応する映像の解像度変換部 1 03は映像の解像度を縦横のァスぺク ト比を維持したまま縦横をそれぞれ 3/ 4に縮小するよう指示されるので、 3ノ4問引き用のフィルタ係数を用いてフィ ルタ処 ¾をした後、 間引き処理をする。 また他の 3つの映像に対/^する解像度変 換部 1 0 3はそれぞれの映像の解像度を縦横のァスぺク ト比を維持したまま縦横 をそれぞれ 1ノ 4に縮小するよう指示されるので、 1 Z 4間引き用のフィルタ係 数を用いてフィルタ処理をした後、 間引き処理をする。 合成部 1 0 4では異なる 解像度に変換された映像を第 3 ( e )図のパターンで合成し、 出力する。 映像表示 咅 P 2 0 0の分離部 2 0 3では、 解像度 ·合成方法決定部 2 0 5により、 伝送路 3 0 0を介して伝送されてきた映像は、 第 3 ( e )図のように合成されていることを 既に知っているため、 各映像を適切な領域で分離処理し、 表示制御部 2 0 4に送 信することが可能である。

以上のように、 本発明の実施の形態 1に係る映像表示処置システムによれば、 複数の映像信^源の映像を同一の画面に混在させて表示する映像表示処理システ ムにおいて、 複数の映像信号源からの映像の入力を受^る映像入力部と、 表示画 面に対し表示すべき映像の出力を行う映像表示部と、 記映像入力部と前記映像 表示部とを接続する伝送路とが設けられ、 前記映像入力部は、 前記映像表示部か ら伝送路を介しての受信した解像度 ·合成方法情報信 §に基づいて前記複数の映 像信号源の各映像の解像度変換および合成方法を制御する解像度変換 ·合成方法 制御部と、 複数の各映像を前記解像度変換 ·合成方法制御部により指定された解 像度に変換する解像度变換部と、 前記解像度変換後の複数の映像を前記解像度変 換 ·合成方法制御部により指定された方法で 1枚の映像に合成する合成部とを有 し、 前記映像表示部は、 前記映像入力部より受信した合成映像を元の複数の各映 像に分離する分離部と、 前記分離された複数の映像を同時に前記画面に表示する 表示制御部と、 複数の各映像の表示状態を取得する状 取得部と、 取得した表示 状態から解像度■合成方法情報信号を決定し、 前記分離部および前記映像入力部 へ出力する解像度 ·合成方法決定部を有することにより、 各映像の表示優先度を 決定し、 前記表示優先度に基づレ、て各映像の各映像の解像度変換における解像度 を変換するとともに、 伝送する映像データの総量を伝送路の能力に見合うように 維持しながら表示するので、 伝送能力に制限がある伝送路を用いても効率的な映 像伝送と表示を行うことができる。 また、 複数の映像を 1枚の^に合成してか ら伝送することから、 映像入力ポートを通常 1つしか持たない P Cのグラフィッ クシステムに対して親和性が高い。

実施の形態 2 . 以下に、 実施の形態 2に係る映像表示処理システムについて説明する。

第 4図は、 本発明の実施の形態 2に係る映像 S示処理システムの全体構成図で ある _u 第 4図において、 2 0 7は操作入所部であり、 ユーザが操作を入力する。 なお、 笫 4図において、 第 1図と同 または相当する構成要素については同じ 符号を用い、 その説明を省略する。

以下に、 実施の形態 2に係る吹像表示処理システムの動作について説明する。 映像表示部 2 0 0において、 凼 ώに表示されている複数の映像のうち、 ユーザ が所望の炚像を ¾画質にしたい場合、 各映像の解像度を変換するための操作を操 作入力部 2 0 7へ入力する。 そして、 解像度 '合成方法決定部 2 0 6は、 入力さ れた操作から解像度 ·合成方法を決定し、 分離部 2 0 3及び送受信部 2 0 2へ解 像度 ·合成方法情報信号を送信する。

なお、 実施の形態 2は、 実施の形態 1とほとんど同じであるので、 共通する部 分についての説明は省略する。

以上のように、 実施の形態 2に係る映像表示処理システムによれば、 複数の映 像信号源の映像を同一の面 ®に混在させて表示する,表示処理システムにおい て、 複数の映像信号源からの映像の入力を受ける映像入力部と、 表示画面に対し 表示すべき映像の出力を行う映像表示部と、 前記映像入力部と前記映像表示部と を接続する伝送路とが設けられ、 前記 ,入力部は、 前記映像表示部から伝送路 を介しての受信した解像度■合成方法情報信号に基づいて前記複数の映像信号源 の各映像の解像度変換および合成方法を制御する解像率変換'合成方法制御部と、 複数の各映像を前記解像度変換 ·合成方法制御部により指定された解像度に変換 する解像度変換部と、 前言 ci解像度変換後の複数の映像 ^記解像度変換 ·合成方 法制御部により指定された方法で 1枚の映像に合成する合成部とを有し、 前記映 像表示部は、 前記映像入力部より受^した合成映像を元の複数の各映像に分離す る分離部と、 ユーザが操作入力する操作入力部と、 前記分離された複数の映像を 同時に前記画面に表示する表示制御部と、 前記入力された操作により解像度 -合 成方法情報信号を決定し、 前記分離部および前記映像†力部へ出力する解像度 . 合成方法決定部を有したことにより、 ユーザが所望の映像を高画質に表示するた めの操作を入力して、 ユーザの要望に応じた表示 i面とすることができる。 実施の形態 3 .

以下に、 実施の形態 3に係る映像表示処理システムについて説明する。 第 5図 は、 木発明の実施の形態 3に係る映像表示処理システムの全体構成^である。 第 5図において、 1 0 7はへッダー付加部であり、 受信した解像度 ·合成方法情報 信号から、 解像度 ·合成方法信号を一定のフォーマツ 卜で生成し、 受信したデジ タル映像信号のブランキングデータ部分に付加する。 2 0 8はヘッダ一解析部で あり、 受信したヘッダ一^つきのデジタル映像信号の中からヘッダー部分のみを解 釈し、 合成された映像の各映像の解像度 ·合成方法情報を取り出す。

なお、 第 5図において、 第 1図と同一または相当する構成要素については同じ 符号を用い、 その説明を省略する。

第 6図は、 本発明の実施の形態 3に係る映像表示処理システムのヘッダー付加 部 1 0 7が付加するヘッダ一 4 0 0の一例である。 第 6図のように、 ヘッダ一 4 0〇には各吠像の縦横のサイズ、 合成後の映像上における各映像の最も左上の点 座標情報が含まれており、 各映像別に連続して並べられている。

以 Πこ、 実施の形態 3に係る映像表示処理しシステムの動作について説明する。 映像入力部 1 0 0において、 ヘッダー付加部 1 0 7は、 解像度変換 ·合成方法 制御部 1 0 6から合成部 1 0 4を介して受信した解像度-合成方法情報信号から、 解像度 '合成方法信号を一定のフォーマツ 卜で生成し、 合成部 1 0 4から受信し たデジタル映像信号のブランキングデータ部分にヘッダー 4 0 0を付加し、 送受 信部 1 0 5へ出力する。

映像表示部 2 0 0において、 ヘッダ一解析部 2 0 8は、 受信したヘッダ一 4 0 0つきのデジタル映像信号の中からヘッダー 4 0 0部 のみを解釈し、 合成され た映像の各映像の解像度 ·合成方法情報を取り出し、 分離部 2 0 3へ出力する。 分離部 2 0 3は、 受信した解像度 ·合成方法情報により各映像の適切な分離動作 を行う一方、 ヘッダ一つきのデジタル 信号を受信するが、 ヘッダーはブラン キングデータ部分に付加されているので、 元の映像に何ら影響を与えることはな レ、。

実施の形態 1 との違いは、 映像表示部 2 0 0において解像度 ·合成方法決定部 2 0 6から分離部 2 0 3への解像度 ·合成方法情報信号をなくした点、 映像入力 部 1 0 0において映像表示部 2 Π 0から伝送路 3 0 0を介して受信した解像度変 换■合成方法情報信号をへンダ一付加部 1◦ 7へ渡す点、 映像表示部 2 0 0にお いて送受信都 2 0 2からの合成された映像のデジタル映像信号をヘッダー解析部 2 0 8にも出力し、 解析結果を分離部 2 0 3 出力するようにした点である なお、 本実施の形態 3は、 実施の形態 1に付加する形態で実施されるので、 实 施の形態 1と共通する部分についての説明は省略する。

以上のように、 本発明の実施の形態 3に係る映像表示処置システムによれば、 実施の形態】に記載の映像表示処理システムにおいて、前記映像入力部において、 前記合成後の映像データに解像度変換および合成方法情報をへッダーとして付加 し、 前記映像表示部において、 前記ヘッダーを付加した合成映像のヘッダーを解 読し、 前 解読した情報をもとに前記合成映像を分離するようにしたことから、 映像入力郜は複数の映像の解像度や合成方法の変更の発生と同時にその解像度 · 合成方法情報を合成後のデジタル映像信号に付加して映像衷示部に伝送し、 映像 表示部では付加された解像度 ·合成方法情報の解読と同時に適切な各映像の切り 取り領域制御が可能となるため、 伝送路における映像データの伝送遅延が生じて も確実なタイミングで映像入力部と映像表示部の制御ができる。

実施の形態 4 .

以下に、 実施の形態 4に係る映像表示処理システムについて説明する。

第 7図は、 本発明の実施の形態 4に係る映像表示処理システムの全体構成図で ある。 第 7図において、 1 0 8は圧縮部であり、 合成された映像を圧縮する。 2 0 9は伸張部であり、 圧縮された合成映像を伸張する。

なお、 第 7図において、 第丄図と同一または相当す 構成要素については同じ 符号を用い、 その説明を省略する。

以下に、実施の形態 4に係る映像表示処理しシステム:の動作について説明する。 映像入力部 1 0 0において、 圧縮部 1 0 8は、 合成部 1 0 4から受信した合成 映像のデジタル映像信号を M P E Gのような映像データ圧縮技術を用いて圧縮し、 圧縮データを送受信部 1 0 5に出力する。 映像表示部 2 0 0において、 伸張部 2 0 9は、 送受信部 2 0 2から S:信した圧縮データを伸張し、 分離部 2 0 3 出力 する _u なお、 木実施の形態 4は， 実施の形態 1に付加する形態で実施されるので、 実 施の形態 1と共通する部分についての説明は省略する。

以上のように、 本発明の実施の形態 4に係る映像表示処置システムによれば、 実施の形態 1ないし実施の形態 3のいずれかに記載の映像表示処理システムにお いて， 前記映像入力部は、 前記合成映像を圧縮する圧縮部をさらに有し、 前記映 像表示部は、 前記映像入力部より受信した圧縮された合成映像を伸張する伸張部 をさらに有したことにより、 合成映像を丄枚の映像に圧縮 '伝送'伸張するため、 合成映像の縦横サイズが同じであれば合成映像の総データ量を削減し、 より効率 的な伝送が可能であり、 また合成映像の総データ量が同じであれば解像度変換時 に解像度を高く維持し、 より高解像度な映像を伝送することが可能である。

実施の形態 5.

以下に、 実施の形態 5に係る映像表示処理システムについて説明する。

第 8図は、 本発明の実施の形態 5に係る映像表示処理システムの全体構成図で ある。 第 8図において、 2 1 0は 3次元計算部であり、 面面 2 0 1上への各映像 の仮想 3次元表示に必要なパラメータを計算する。 2 1 1は 3次元表示処理部で あり、 各映像を 3次元計算部 2 1 0が算出したパラメータに従って 3次兀処理す る。

なお、 第 8図において、 第 1図と同一または相当する構成要素については同じ 符号を用い、 その説明を省略する。

以下に、実施の形態 5に係る映像表示処理しシステムの動作にっレ、て説明する。 映像表示部 2 0 0において、 三次元 （3 D ) 計算部 2 1 0が各映像の画面 2 0 1 tへの仮想 3 D表示に必要なパラメータを計算し、 分離部 2 0 3から受信した 各映像の映像データは前記 3 D計算部 2 1 0が算出したパラメータに従って 3 D 表示処理部 2 1 1で 3 D処理され、 表示制御部 2 0 3に出力する。 状態取得部 2 0 5が各映像の表示状態を 3 D計算部 2 1 0から取得し、 解像度 ·合成方法決定 部 2 0 6に送信する。

第 9図は、 本発明の実施の形態 5に係る映像表示処理システムにおいて、 各映 像の画面 2 0 1における仮想 3次元表示と、 その表示状態を取得した状態取得部 2 0 5からの情報をもとに解像度 ·合成方法決定部 2 0 6が各映像の解像度 ·合 成方法を計算する例である。 第 9図において、 第 9 (a)図、 第 9 (b)図は、 豳面表示 の例である。 第 9 (c)図、 第 9 (d)図は、 それぞれ第 9 (a)図、 第 9 (b)図に対応する 各映像の解像度変換 '合成方法の例である。

第 9 (a)図は各映像が仮想 3次元空間内を軸中心に自動的に回転しているとき のある瞬間の画面 2 0 1の例である。 映像「 1」 「4 1カ大きく均等に、映像「2」 「3」 が小さく均等に表示されている。 解像度 -合成方法決定部 2 0 6は、 この 表示状態を状態取得部 2 0 5から取得すると、 映像 「1」 「⁴」 は映像 「2」 「3」 に比べて注目度が髙いと推定し、 第 9 (c)図のように映像 「1」 「4」 は比較的高 解像度に、 映像 「2」 「3」 は比較的低解像度に解像度 換 '合成するよう決定す る。 この画面表示では各映像の表示状態が縦に長く横に短いため， 縦方向には間 引きせず、 横方向のみを間引き、 合成する処理をしている。

次に各映像が仮想 3次元空間内を軸中心にさらに回転し、第 9 (b)図のように画 面 2 0 1に表示されたとする。 映像 「1」 は大きく均等に、 映像 「2」 「4」 は小 さく均等に表示されている。 映像「3」は背後に隠れてしまい表示されていない。 解像度 ·合成方法決定部 2 0 ⁶は、 この表示状態を状態取得部 2 0 5から取得す ると、 映像 「1」 は映像 「2」 「4」 に比べて注目度が高く、 映像 「3」 は画面 2 0 1に表示されないため映像 「3」 のデータは不耍であると推定し、 第 9 (d)図の ように映像 「1」 は高解像度に、 映像 「2」 「4」 は比較的低解像度に、 映像 「3」 はデ一タがなくなるように解像度変換 ·合成するよう決定する。

なお、 本実施の形態 5は、 実施の形態 1に付加する形態で実施されるので、 実 施の形態 1と共通する部分についての説明は省略する。

以上のように、 本発明の実施の形態 5に係る映像表 :処置システムによれば、 実施の形態 1ないし実施の形態 4のいずれかに記載の映像表示処理システムにお いて、 前記映像表示部は、 さらに、 複数の各映像の画面上への仮想 3次元表示 に必要なパラメータを計算する 3次元計算部と、 前記分離された複数の各映像を 3次元計算部で算出されたパラメータに従って 3次元処理し表示する 3次元表示 部とを有し、 前記状態取得部が、 前記 3次元計算部から複数の各映像の表示状態 を取得するようにしたので、 伝送能力に制限がある伝送路を用いても効率的な映 像伝送と仮想 3次元表示を行うことができる。 また、 複数の映像を 1枚の映像に 合成してから伝送することから、 P Cのグラフィックシステムが映像入力ポ一ト を通常 1つしか持たない点、 グラフィックチップが 3 D表示処理を行う際にテク スチヤを任意の領域から分離して仮想： 次兀画面上に貼り付ける点において、 P Cのグラフィ ックシステムと親和性が高い。

実施の形態 6 .

以下に、 実施の形態 6に係る画像表示装置について説明すろ。

第 1 0図は実施の形態 6に係る画像表示装置の構成 ¾示す図である。

実施の形態 6に係る画像表示装置は、 マルチチャン ル表示が可能なテレビジ ヨン受信装置を構成するものであり、 従来例に示したものと同様、 複数のチャン ネルの番組画面をディスプレイ表示画面上に並べて表示できるものである。 第 1 0図において、 5 0 1はユーザによる操作を受け付ける操作部、 5 0 2は 画像を表示する表示部、 5 0 3は複数のチヤンネル表示画像の配置制御を行なう マルチチャンネル配置制御部、 5 0 4はマルチチャンネルチューナ一制御部、 5 0 5は複数のチューナ一を有し、 マルチチャンネルチューナー制御部 5 0 4から の指示に従って各チャンネルを選 するチューナ一部、 5 0 6はマルチチャンネ ル配置制御部 5 0 3からの情報に基づいて各チヤンネル表示凼像を仮想 3次元空 間内に配置し、 陰影処理や視点移動処理などを行なった上で、 2次元の表示部 5 0 2に表示可能とするための透視変換を行なう 3次元処理部である。

次に、 実施の形態 6に係る画像表示装置の各部の動作について説明する。 操作部 5 0 1は、 例えば第 2 ϋ図に示すようなリモコン装置とリモコン装匿か らの操作信号受信手段で構成され、 マルチチャンネル ίί面表示におけるプロック の選択. 解除操作， 別角度からの視点への切り替え操作， あるいはマルチチャン ネル画面を用いない画面でのチャンネル選択操作など、 ユーザによる両像表示装 置に対する操作を受け付け、 マルチチャンネル配置制御部 5 0 3に伝える。

表示部 5 0 2は、 3次元処理部 5 0 6により処理された画像を画面表示する。 マルチチャンネル配置制御部 5 0 3は、 操作部 5 0 1が受け付けた操作入力に 応じて、 表示部 5 0 2内に表示するべきチャンネルを選出してマルチチャンネル チューナ一制御部 5 0 4に選出チャンネル情報を通知するとともに、 複数のチヤ ンネル表示画像の仮想 3次元空間内での配置情報と視点位僮情報を 3次元処理部 5 0 6に対して出力する。

マルチチャンネルチューナー制御部 5 0 4は、 マルチチャンネル配置制御部 5 0 3から選出チャンネル情報を受け、 選出チャンネル情報で示されるチャンネル を受信するようにチューナ一部 5 0 5の制御を行なう。

チュ一ナ一部 5 0 5は、 複数のチューナ一を有し、 マルチチャンネルチューナ —制御部 5 0 4からの指示に従って、 各チャンネルを選局する。

3次元処理部 5 0 6は、 マルチチヤンネル配置制御部 5 0 3から伝えられたチ ャンネル画面配置情報を元に、 各チャンネル画面を仮 3次元空間内に配置し、 陰影処理や視点移動処理などを行なった上で、 2次元の表示部 5 0 2に表示可能 とするための透視変換を行なう。

第 1 1図は実施の形態 6に係る画面表示装置におけるマルチチャンネル画面表 示の 3次元処理のイメージを示す図であり、 第 1 1図において、 6 0 1は第 1の 仮想平面、 6 0 2は第 2の仮想平面、 6 0 3は第 3の仮想平面、 6 0 4は視点で ある。 3次元処理部 5 0 6は本実施の形態による画像表示装置では、 画面上に表 示された幽—像の一部を選択して拡大表示を行なう際に、 従来例で示した 3次元処 理のように仮想 3次元空間内に配置された仮想平面に対する視点の位置を仮想 3 次兀空間内において移動させるのではなく、 第 1 1図に示すように、 第 1の仮想 平面のうちの選択された領域に貼り付けられた画像だけを貼り付けた第 2の仮想 平面を作成し、 この第 2の仮想平面を仮想 3次元空間内において第 1の仮想平面 よりも視点に近い位置に配置することにより、 選択された画像だけが仮想 3次元 空間内で視点に近づいてくるように表示される 3次元視覚効果を用いて画像表示 を行う。

次に、 実施の形態 6に係る画像表示装置の具体的な画面表示動作について説明 する。

ユーザにより第 2 0図に示すリモコン装置の 「マルチ画面表示」 の入力キーが 押下されると、 マルチチャンネル配置制御部 5 0 3は、 表示部 5 0 2内に表示す るべきチャンネルとして例えばチャンネル 1〜チャンネル 1 6を選出し、 選出し たチャンネルをマルチチャンネルチューナ一制御部 5 0 4に通知する。 マルチチ ヤンネルチューナー制御部 5 0 4は、 マルチチャンネル配置制御部 5 0 3から潠 出チャンネル情報を受け， 選出チャンネル情報で示されるチャンネル （チャンネ ノレ 1〜チャンネル 1 6 ) を受信するようにチューナー咅 5 0 5の制御を行なう。 3次元処理部 5 0 6は、 マルチチャンネル配置制御部 5 0 3から伝えられたチヤ ンネル画面配置情報を元に、 チューナ一部 5 0 5から； Η力される各チャンネル画 面を第 1の仮想平面 6 0 1に 4 X 4のマトリ ックス状 貼り付け、 仮想 3次元空 間内に配置し、 仮想平面 6 0 1の正面に配置される視点 6 0 ⁴に対して透視変換 する。 表示部 5 0 2は 3次元処理部 5 0 6で透視変換された画像をディスプレイ 面面上に表示する。第 1 2 (a)図はマルチチャンネル画面表示でチャンネル 1〜チ ヤンネル 1 6の番組画面をマルチ表示したときの仮想平面 6 0 1と視点 6 0 4の 関係を示す図、第 1 2 (b)図はこのときにディスプレイ画面上に表示されるマルチ チャンネル幽— [6J表示を示す図である。 第 2 0図のリモ ン装置に設けられた 「左 上」， 「右上」， 「左下」， 「右下」 の入力キーは、 ディスプレイ画面を 「左上」， 「右 上」， 「左下」， 「右下」 の 4つの領域に分割したときの各位置を示すものであり、 第 1 2 (b)図に示すようにマルチチャンネル表示画面が表示された状態で 「左上」 のキーが押されるとディスプレイ画面の左上部分 （チャンネル 1， 2 , 5 , 6の 画面を含む部分） が選択され、 ディスプレイ面面上では例えばこの部分の色を変 える等して、 当該部分が選択されていることを示す。 そして、 この状態で、 リモ コン装置の 「選択」 キーが押下されると、 3次元処理部 5 0 6は、 マルチチャン ネル配置制御部 5 0 3から伝えられたチャンネル画面 E置情報を元に、 新たな第 2の仮想平面 fi 0 2に第 1の仮想平面 6 ϋ 1のうちの選択された領域に貼り付け られた画像 （チャンネル 1， 2 , 5 , 6の番組画面） を 2 X 2のマトリ ックス状 に貼り付け、 視点 6 0 4の位置はそのままで、 第 2の仮想平面 6 0 2を仮想 3次 元空間内において第 1の仮想平面 6 0 1よりも視点 6 0 4に近い位置であって第 1 , 第 2の仮想平面が配置された仮想 3次元空間を透視変換したときに第 2の仮 想平面 6 0 2が第 1の仮想平面 6 0 1全体の大きさよりも小さく表示される位置 に視点 6 0 4に対し正面 （画像が貼り付けられた面） が向くように配置し、 この 状態で仮想 3次元空間全体を視点 6 0 4に対して透視変換する。 第 1の仮想平面 6 0 1の選択された領域の画像が貼り付けられていた箇所は白抜き， 黒塗り， あ るいは背景色表示等とする。 表示部 5 0 2は 3次元処理部 5 0 6で透視変換され た画像をディスプレイ画面上に表示する。第 1 3 (a)図はマルチチャンネル画面表 示で 「左上」 の領域 （チャンネル 1 , 2 , 5 , 6の画面を含む領域） を選択して 表示したときの仮想平面 6 0 1 , 6 0 2と視点 6 0 4の関係を示す図、 第 1 3 (b) 図はこのときにディスプレイ画面上に表示されるマルチチャンネル画面表示を示 す図である。 第 2の仮想平面 6 0 2を仮想 3次元空間内において上述のように配 置して透視変換することにより、 ディスプレイ両面上^は第 1の仮想平面 6 0 1 のうちの選択された領域に貼り付けられていた画像が第 1の仮想平面 6 0 1の前 面に拡大表示され、 また、 第 2の仮想平面 6 0 2の周囲には後ろに配置された第 1の仮想平面 6 0 丄の一部が表示される。 このように、 選択された画面を拡大表 示したときに、 マルチチャンネル画面の全体像の一部をディスプレイ面面上に表 示することにより、 ユーザはマルチチャンネル画面と選択画面との位置関係を容 易に確認できる。 さらに第 1 3 (b)図に示すようにマルチチャンネル表示画面が表 示された状態で、 「左下」のキーが押されるとディスプレイ画面中で手前に表示さ れた 2 X 2のマトリ ックス状のマルチチヤンネル画面表示の左下部分 （チャンネ ノレ 5の画面） が選択され、 「選択」 キーが押下されると、 3次元処理部 5 0 6は、 マルチチャンネル配置制御部 5 0 3から伝えられたチャンネル画面配笸情報を元 に、 新たな第 3の仮想平面 6 0 3に第 2の仮想平面 6 0 2のうちの選択された領 域に貼り付けられた画像 （チャンネル 5の番組画面） を貼り付け、 視点 6 0 4の 位置はそのままで、 第 3の仮想平面 6 0 3を仮想 3次 空間内において第 2の仮 想平面 6 0 2よりも視点 6 0 4に近い位置であって第 第 2， 第 3の仮想平面 が配置された仮想 3次元空問を透視変換したときに第 の仮想平面 6 0 3が第 2 の仮想平面 6 0 2全体の大きさよりも小さく表示画面 に表 される位置に視点 6 0 4に対し正面 （画像が貼り付けられた面） が向くように配置し、 この状態で 仮想 3次元空間全体を視点 6 0 4に対して透視変換する。 第 2の仮想平面 6 0 2 の選択された領域の画像が貼り付けられていた箇所は [^抜き， 黒塗り， あるいは 背景色表示等とする。 表示部 5 0 2は 3次元処理部 5 0 6で透視変換された画像 をディスプレイ画面上に表示する。第 1 4 (a)図は、第 1 3 (b)図に示すマルチチヤ ンネル画面表示で 「左下」 の領域 （チャンネル 5の画面を含む領域） を選択して 表示したときの仮想平面 6 0 1 , fi 0 2 , 6 0 3と視点 6 0 4の関係を示す図、 第 1 4 (b)図はこのときにディスプレイ画面上に表 される画面表示を示す図で ある。

このように実施の形態 6に係る画像表示装置では、 画像が貼り付けられた単数 又は複数の仮想平面が配置された仮想 3次元空間を前記仮想 3次元空間内に配置 される視点に対して透視変換して表示画面上に表示する表示手段と、 第 1の仮想 平面に画像を貼り付け、 該第 1の仮想甲-面を前記視点 対し正面が向くように前 記仮想 3次元空間内に 置するとともに、 '記第 1の仮想平面の一部の領域が選 択されたときに、 前記第 1の仮想平面の選択された領域に貼り付けられた画像を 前記第 1の仮想平面とは異なる第 2の仮想平面に貼り付け、該第 2の仮想平面を、 前記仮想 3次元空問内において前記第 1の仮想平面よりも前記視点に近い位置で あって、 前記第 1， 第 2の仮想平面が配置された前記仮想 3次元空間を透視変換 したときに前記第 2の仮想平面が前記第 1の仮想平面全体の大きさよりも小さく 前記表示画面上に表示される位置に、 前記視点に対し正面が向くように配置する 画像配置手段とを含むようにしたので、 3次元視覚効果を十分に生かして、 マル チチヤンネル画面と選択画面との位置関係を確認し易い面面表示を行うことがで きる。

なお、 実施の形態 6において、 視点に近い側に配置される仮想平面に貼り付け られる画像に透過効果を与える処理をするようにすれぱ、 選択画面の背後に表示 される全体画面を確認しやすくできる。

また、 実施の形態 6ないし実施の形態 8では、 第 2わ仮想平面を、 仮想 3次元 空間内において第 1の仮想平面よりも視点に近い位置に、視点に対しその正面（両 像が貼り付けられた面） が向くように配置し、 第 1 , 第 2の仮想平面が配置され た仮想 3次元空間をこれら仮想平面の正面に配置された視点に対して透視変換し た画像を表示するようにしたが、 第 2の仮想平面を、 仮想 3次元空間内において 第 1の仮想平面の正面とほぼ同じ方向に正面が向くように配置し、 前記仮想 3次 元空間内で、 前記第 1 , 及び第 2の仮想平面の全体が見える眺望視点位置を求め て、 第 1， 第 2の仮想平面が配置された仮想 3次元空間をこの眺望視点位置に配 置された視点に対して透視変換した画像を表示するようにしてもよレ、。

第 1 5図はこのような眺望視点位置に配置された視点に対する透視変換を行な う画像表示装匿による表示画像の -例を示す図である。 ：第 1 5図に示す例では、 実施の形態 6に係る配置と同様、 第 2の仮想平面を、 仮想 3次元空問内において 第 1の仮想平面よりも視点に近い位置に、 視点に対し止面 （画像が貼り付けられ た面） が向くように配置し、 笫 1 , 第 2， および第 3の仮想軍面が配置された仮 想 3次元空間を、 仮想平面の正面ではなく仮想平面の斜め前方の眺望視点位置に 配置された視点に対して透視変換してディスプレイ表示している。 このような表 示を行う構成とすることにより、 ユーザは、 マルチチャンネル表示画面， および 選択画面の全体を俯瞰することができ、 マルチチャンネル画面と選択画面との位 鬣関係を容易に確認することができる。

実施の形態 7 .

以下に、 実施の形態 7に係る画像表示装置について説明する。

第 1 6図は実施の形態つに係る画像表示装置の構成を示す [S1である。

第 1 6図において、 5 0 1はユーザによる操作を受け付ける操作部、 5 0 2は 画像を表示する表示部、 5 0 3は複数のチャンネル表示画像の配置制御を行なう マルチチャンネル配置制御部、 5 0 4はマルチチャンネルチューナー制御部、 5 0 5は複数のチューナ一を有し、 マルチチャンネルチューナ一制御部 5 0 4から の指示に従って各チヤンネルを選局するチューナ一部、 5 0 6はマルチチヤンネ ル配置制御部 5 0 3からの情報に基づいて各チャンネル表示画像を仮想 3次元空 間内に配置し、 陰影処理や視点移動処理などを行なった上で、 2次元の表示部 5 0 2に表示可能とするための透視変換を行なう 3次元処理部、 5 0 7はマルチチ ャンネル配置制御記憶部である。

次に実施の形態 7に係る画像表示装置の動作につい t説明する。 実施の形態 7 に係る画像表示装置におけるマルチチャンネル画面表示動作、 および選択領域の 拡大表示動作等の基本的な動作は、 実施の形態 6に係る画像表示装置におけるマ ルチチャンネル画面表示動作、 および選択領域の拡大表示動作と同じである。 マルチチャンネル配笸制御部 5 0 3は、 操作部 5 0 1が受け付けた操作入力に 応じて、 表示部 5 0 2内に表示すろべきチャンネルを選出してマルチチャンネル チューナー制御部 5 0 4に選出チャンネル情報を通知するとともに、 複数のチヤ ンネル表示画像の仮想 3次元空間内での配置情報と視点位置情報を 3次兀処理部 5 0 6に対して出力する。 マルチチャンネルチューナ一制御部 5 0 4は、 マルチ チャンネル配置制御部 5 0 3から選出チャンネル情報を受け、 選出チャンネル情 報で示されるチャンネルを受信するようにチューナ一部 5 0 5の制御を行なう。 チューナ一部 5 0 5は、 マルチチャンネルチューナー^御部 5 0 4からの指示に 従って、 各チャンネルを選局する。 3次元処理部 5 0 6'は、 マルチチャンネル配 置制御部 5 0 3から伝えられたチャンネル画面配置情報 （仮想平面の仮想 3次元 空間内における配置情報、 仮想平面に貼り付けられる画像の仮想平面上における 配置情報、 および視点位置情報） を元に、 画像を貼り付けた仮想平面を実施の形 態 6の説明で述べたように仮想 3次元空間内に配置し、 これを所定の視点に対し て透視変換し、 表示部 5 0 2はこれをディスプレイ画面上に表示する。

マルチチャンネル配置制御記憶部 5 0 7は、 システムの電源を切っても記憶内 容を保持する記憶手段で構成され、 マルチチャンネル配置制御部 5 0 3における マルチチャンネル配置制御に関する情報を蓄積する。 具体的には、 選択領域の拡 大表示動作を行なったときの選出チャンネル情報、 仮想平面の仮想 3次元空間内 における配置情報、 仮想平面に貼り付けられる画像の仮想甲面上における配置情 報、 および視点位置情報等が記憶される。

実施の形態 7に係る画像表示装置において、 ユーザ;^マルチチャンネル画面表 示を用いてチャンネル選択を行なう場合、例えば第 1 4 (b)図に示すように拡大表 示をした後、 ユーザによる操作 （「選択」 キーの再押下等） により、 あるレ、は自動 的にディスプレイ表示を選択チャンネルの全画面表示に切り替えることが考えら れるが、 選択チャンネルの全画面表示の後にユーザが再度マルチチャンネル画面 表示を用いてチャンネル選択を行なおうとする場合に、 リモコン装置の 「マルチ 画面表示」 の入力キーの押下によるマルチチャンネル画面表示を行なうと今まで 見ていたチャンネル画面がマルチチャンネル画面のどこに表示されているかを容 易には認識することができない。

実施の形態 7に係る画像表示装置では、 マルチチヤンネル配置制御記憶部 5 0 7に選択領域の拡大表示動作を行なったときの選出チャンネル情報、 仮想平面の 仮想 3次元空間内における配置情報、 仮想平面に貼り付けられる画像の仮想平面 上における配置情報、 および視点位置情報等が記憶されている。 また、 リモコン 装置が 「戻る」 等のキーを備えており、 この 「戻る」 等のキーの押下に応じてマ ルチチヤンネル配置制御部 5 0 3は、 マルチチヤンネル配置制御記億部 5 0 7力 ら直前の選出チャンネル情報、 仮想平面の仮想 3次元 ¾間内における配置情報、 仮想平面に貼り付けられる画像の仮想平面上における S置情報、 および視点位置 情報を読み出し、 選出チャンネル情報をマルチチャンネルチューナー制御部 5 0 4に、 仮想平面の仮想 3次元空問内における配置情報、 仮想平面に貼り付けられ る画像の仮想平面上における配置情報、 およぴ視点位置情報を 3次元処理部 5 0 6に対して出力する。 マルチチャンネルチューナー制御部 5 0 4は、 マルチチヤ ンネル配置制御部 5 0 3から選出チャンネル情報を受け、 選出チャンネル情報で 示されるチャンネルを受信するようにチューナ一部 5 0 5の制御を行なう。 チュ —ナ一部 5 0 5は、 マルチチャンネルチューナー制御部 5 0 4からの指示に従つ て、 各チャンネルを選局する。 3次元処理部 5 0 6は、 マルチチャンネル配置制 御部 5 0 3から伝えられたチャンネル画面配置情報 （仮想平面の仮想 3次元空問 内における配置情報、 仮想平面に貼り付けられる画像の仮想平面上における配置 情報、 および視点位置情報） を元に、 画像を貼り付けた仮想平面を仮想 3次元空 問内に配置し、 これを所定の視点に対して透視変換し、 表示部 5 0 2はこれをデ イスプレイ画面上に表示する。 これにより、 選択チャンネルの全画面表示に切り 替わる以前の選択領域の拡大表示画而を再現表示することができ、 ユーザは今ま で見ていたチヤンネル画面がマルチチャンネル画面のどこに表示されているかを 容易に認識することができる。

このように、 実施の形態 7に係る画像表示装置では、 実施の形態 6に係る画像 表示装置の構成に加えて、 仮想平面の仮想 3次元空間内における配置情報、 およ び仮想平面に貼り付けられる画像の仮想平面上における配置情報を記憶するマル チチャンネル配置制御記憶部を備え、 このマルチチヤンネル配置制御記憶部に記 憶された配置情報を用いて、 前記仮想平面の仮想 3次元空間内における配置、 お よび仮想平面に貼り付けられる画像の仮想平面上における配置を再現するように したから、 以前の表示を再現して全体画像と選択画像の関係を確認できる画像表 示装置を実現できる。

なお、 前記の説明では、 選択チャンネルの全画面表示の後にユーザが再度マル チチャンネル画面表示を用いてチャンネル選択を行なう!際に、 選択チヤンネルの 全画面表示に切り替わる以前の選択領域の拡大表示画面を再現表示するものにつ いて示したが、 マルチチャンネル配笸制御記憶部 5 0 7が、 画像表示装置の電源 を切断する直前の選出チャンネル情報、 仮想平面の仮想 3次元空間内における配 置情報、 仮想平面に貼り付けられる画像の仮想平面上における配置情報、 および 視点位笸情報等を記憶するものとし、 次回の電源投入時に、 マルチチャンネル配 置制御部 5 0 3が自動的またはユーザの操作に応じて、 マルチチャンネル配置制 御記憶部 5 0 7から電源切断直前の選出チヤンネル情報、 仮想平面の仮想 3次元 空間内における配置情報、 仮想平面に貼り付けられる画像の仮想平面上における 配置情報、 および視点位置情報を読み出して、 電源切断直前の表示画面を再現表 示するようにしても良い。

また、 実施の形態 7に係る画像表示装置では、 マルチチャンネル配 制御記憶 部に選出チャンネル情報、 視点位置情報を記憶するものとしたが、'視点位置が固 定である場合は視点位置情報を記憶する必要はないものであり、 また、 マルチチ ャンネル画面表示における選出チヤンネルが固定の場食は選出チャンネル情報を 記憶する必要はないものである。

また、 実施の形態 7に係る画像表示装置では、 マルチチャンネル配置制御記憶 部が、 選出チャンネル情報、 仮想平面の仮想 3次兀空間內における配置情報、 仮 想平面に貼り付けられる画像の仮想平面上における配置情報、 および視点位置情 報等を記憶し、マルチチヤンネル配置制御記憶部に記 された配置情報を用いて、 前記仮想平面の仮想 3次元空問内における配置、 および仮想平面に貼り付けられ る画像の仮想平面上における配置を再現する構成としたが、 マ^^チチャンネル配 置制御記憶部が、 マルチチャンネル表示画像に表示される複数のチャンネルのそ れぞれの選択頻度を記憶するものとし、 マルチチャンネル表示画像に表示される 複数のチャンネルのそれぞれの選択頻度に基づいて第 1の仮想平面に貼り付けら れるマルチチヤンネル表示画像の複数のチヤンネル画面映像の配置を決定する構 成としても良い。 例えば、 表示すろマルチチャンネル表示画像が第 1 2 (b)図に示 すような 4 X 4のマトリンクス状配 の画像であれば、 最も選択頻度の高いチヤ ンネルを第 1 2 (b)図中でチャンネル 1が表示されている位置に配置し、その次に 選択頻度の高いチャンネルをチャンネル 2 , 5 , 6が ^示されている位置に配置 するといつたように選択頻度の高いチャンネルを集めで'配置するようにマルチチ ヤンネル配置制御部で制御する。 このように選択頻度に応じたチヤンネル画像配 置でマルチチャンネル画面表示できる構成とすることにより、 マルチチャンネル 表示を用いたチャンネル選択操作においてユーザの使い勝手を向上できる画像表 示装置を実現できる。

実施の形態 8 .

以下に実施の形態 8に係る画像表示装置について説明する。

第 1 7図は実施の形態 8に係る画像表示装置の構成を示す図である。

第 1 7図において、 5 0 1は操作部、 5 0 2は表示部、 5 0 3はマルチチャン ネル配置制御部、 5 0 4はマルチチャンネルチューナ一制御部、 5 0 5はチュー ナ一部、 5 0 6は 3次元処理部、 5 0 7はマルチチャンネル配 ¾制御記憶部、 5 0 8はアニメーション制御部、 5 0 9はアニメ一ション記憶部である。

チューナ一部 5 0 5で受信された放送信号には放送番組に関する種々の情報、 例えば、 地上波放送 衛星放送の種別、 モノラル放送 ステレオ放送ノ 2か国語 放送の種別、 無料番組ノ有料番組の種別、 新番組/再率送番組の種別、 視聴制限 (パレンタルロック） レベルなどの情報が含まれており、 これらの特殊情報がァ ニメ一ション制御部 5 0 8に伝えられる。 また、 マルチチヤンネル配置制御記憶 部 5 0 7からはアニメーション制御部 5 0 8に対し、 過去に見たチャンネルや、 チャンネル選択頻度等の統計情報が与えられる。

アニメーション IE憶部 5 0 9は、 選択されたチャンネルに関して画面上で表現 するべき意味に対応するアニメーション動作を実現する式や座標などのデータを 記憶している。 第 1 8図は画面上で表現するべき意味に対応するアニメーション 動作の例を示す図である。 操作部 5 0 1からマルチチャンネル表 面面丄に表示 されているチヤンネルのうちのいずれかのチヤンネルを選択する操作入力がある と、 アニメーション制御部 5 0 8は、 チューナ一部 5 0 5， およびマルチチャン ネル配置制御記憶部 5 0 7から受けた情報をもとに表現するべき意味（「選択され た番組は衛星放送である」 という情報や、 「選択されたチャンネルは本日すでに 2 回以上選択されたチャンネルである」 という情報等） を判断し、 アニメーション 記憶部 5 0 9に登録されている表現するべき意味に対 するアニメ—ション動作 を行うための式や座標などのデータを読み出し、 それ 3次元処理部 5 0 6に伝 える。 3次元処理部 5 0 6は、 選択されたチャンネルめ画像を貼り付けた仮想平 面を、 アニメ一ション制御部 5 0 8からのデータを用いてアニメーション動作さ せた後に、 マルチチャンネル配置制御部 5 0 3より与えられる配置情報に示され る仮想 3次元空間内の位置に配置する。

このように、 実施の形態 8に係る画像表示装置では、 第 2の仮想平面を仮想 3 次元空間内の所定位置に配置する際に、 第 2の仮想平面に貼り付ける画像に応じ て第 2の仮想平面に特定のアニメーション動作をさせた後に仮想 3次元空間內の 所定位置に配置するようにしたから、 選択画面表示時 画面のアニメーション動 作によってユーザが、 選択画面に関する付加的な情報を認識できる。

なお、 実施の形態 6ないし実施の形態 8では、 操作部がリモコン装置とリモコ ン装笸からの操作信号受信手段で構成されたものについて示したが、 操作部とし ては、 リモコン装置に限らず、本体の操作ボタン、マウスなどが使用可能である。 また、 表示部としては、 内蔵の CRT (Cathode Ray Tube) , 液晶モニター， PDP (Plasma Display Panel) など、 どのようなディスプレイ装置であっても良い。 あるいは NTSC信号に変換するなどして、外付けの表示装置に接続することも可 能である。 また、 チューナ一部としては、 マルチチヤ：^ネル画面上の複数のチヤ ンネルと 1対 1に対応するよう複数チューナ一を用意してもよいし、 1つのチュ —ナ一を時分割で複数のチャンネルに切り替え、 チューナ一が現在選択している チャンネル以外のチャンネルは静止画で表示することによって、 1 つのチューナ 一に複数のチャンネル画面表示を割り当てることで、 チューナ一の数よりも多く のチャンネル画面を表示可能な構成としてもよい。

また、 実施の形態 6ないし実施の形態 8では、 ユーザによる操作入力によって 選択された画面を拡大表示するものについて示したが、 所定の時問問隔で前記第 1の仮想平面の一部の領域を順に領域を変えて選択， および選択解除する領域選 択手段を備えた構成とし、 複数のチャンネルを、 例えばチャンネルの選択頻度の 順に選択して自動的に拡大表示できるようにしてもよレ、。 画像選択の順序は、 チ ヤンネルの選択頻度の順に限らず、 乱数発生手段を用いて選択順序を決定しても よく、 また、 単にチャンネル番号順に選択するようにしても良い。

また、 本発明の実施の形態 Gないし実施の形態 8に係る画像表示装置で扱う映 像ソースとしては， 前記実施の形態で示した、 チューナ一で受信したテレビジョ ン番組等の放送信号に限られるものではなく、 外部映像機器の映像出力や、 パソ コンの VGA出力なども使用可能である。 産業上の利用可能性

本発明の映像表示制御方法、映像表示処理システム、映像表示処理装置は、様々 な複数の映像信号を映像表示装置へ伝送して、 パーソナルコンピュータのグラフ イツクシステム等との総合的な取り扱いに利用でき、 伝送する映像データ量を削 減しながら、 ユーザの関心度に応じた画像表示の実現が可能である。

本発明の画像表示装置は、 ケーブルテレビやデジタル放送等のように大量のチ ヤンネルを送受信し、 ユーザが所望のチャンネルを探せるマルチチャンネル画像 表示システムにおいて、 ユーザが全体画面と選択画面との位置関係を確認し易い 3次元視覚効果を利用した画面表示の実現が可能である。

Claims

請 求 の 範 囲 1 . 複数の映像信号源の映像を同一の I面に混在させて表示する映像表示制 御方法において、

映像表示部において、 前記画面に表示された各映像の表示状態に応じて、 各映 像の表示優先度を決定し、 前記表示優先度に基づいて各映像の解像度変換におけ る解像度及び各映像の合成方法を決定し、

伝送路を介して、 前記決定された解^^及び合成方法情報を映像入力部へ伝送 し、

映像入力部において、前記決定された解像度に基づき各映像の解像度を変換し、 前記解像度変換がされた映像を前記決定された合成方法に基づき〗枚の映像に合 成し、

伝送路を介して、 前記合成された映像を伝送し、

前記映像表示部において、 前記伝送された合成映像を前記決定した解像度及び 合成方法に基づいて分離し、 前記分離された各映像を表示する、

ことを特徴とする映像表示制御方法。

2 . 請求の範囲第 1項に記載の映像表示制御方法において、

前記表示優先度は、 的記各映像の表示状態における各映像の表示サイズの大き さにより決定される、

ことを特徴とする映像表示制御方法 _u

3 . 請求の範囲第 1項に Ϊ己載の映像表示制御方法において、

前記表示優先度は、 前記各映像の表示状態における各映像の表示の重なりの深 さにより決定される、

ことを特徴とする映像表示制御方法。

4 . 請求の範囲第 1項に記載の映像表示制御方法において、

前記表示優先度は、 前記各映像の表示状態における各映像の表示の可視面積の 大きさにより決定される、

ことを特徴とする吠像表示制御方法。

5 . 請求の範囲第 1項に記載の映像表示制御方法において、 前記表示優先度は、 前記各映像の表示状態における各映像の表示の、 フォー力 スされている状態か否か、 により決定される、

ことを特徴とする映像表示制御方法。

6 . 請求の範囲第 1項に記載の映像表示制御 法において、

前記表示優先度は、 前記各映像の表示状態における各映像の表示時間の長さに より決定される、

ことを特徵とすろ映像表示制御方法 _u

7 . 請求の範囲第 1項に ¾載の映像表示制御方法 おいて、

前記表示優先度は、 前記各映像の表示状態における各映像の表示された順番に より決定される、

ことを特徴とする映像表示制御方法。

8 . 請求の範囲第 1項に記載の吠像表示制御方法において、

前記表示優先度は、 ^記各映像の表示状態における各映像の表示の形により決 定される、

ことを特徴とする映像表示制御方法。

9 . 複数の映像信号源の映像を同一の画面に混在きせて表示する映像表示制 御力法において、

映像表示部にぉレ、て、 外部からのユーザ操作によつて各映像の表示優先度を決 定し、 前記表示優先度に基づいて各映像の解像度変換における解像度及び各映像 の合成方法を決定し、

伝送路を介して、 前記決定された解像度及び合成力 情報を映像入力部へ伝送 し、

映像入力部において、前記決定された解像度に基づき各映像の解像度を変換し、 前記解像度変換がされた映像を前記決定された合成方法に基づき 1枚の映像に 合成し、

伝送路を介して、 前記合成された映像を伝送し、

前記吹像表示部において、 前記伝送された合成映像を前記決定した解像度及び 合成方法に基づいて分離し、 前記分離された各映像を表示する、

ことを特徴とする映像表示制御方法。

1 0 . 請求の範囲第 1項ないし請求の範囲第 9項のいずれかに記載の映像表示 制御方法において、

前記合成方法は， 前記表示優先度に基づき解像度変換がされた各炚像の縦横の ァスぺク ト比を固定して合成する、

ことを特徴とする映像表示制御方法。

1 1 . 請求の範囲第 1項ないし請求の範囲第 9項のいずれかに記載の映像表不 制御方法において、

前記合成方法は、 前記表示優先度に基づき解像度変換がされた各映像の縦横の ァスぺク 卜比を変化させて合成する、

ことを特徴とする映像表示制御方法。

丄 2 . 請求の範囲第 1項に記載の映像表示制御方法において、

前記映像表示部において、 複数の各映像の画面上への仮想 3次元表示に必要な パラメータを計算し、 前記分離された各映像を前記算出したパラメータに従って 3次元処理し表示する、

ことを特徴とする映像表不制御方法。

1 3 . 請求の範囲第 1項ないし請求の範囲第 1 2項のレ、ずれかに記載の映像表 示制御方法において、

前記映像入力部において、 前記合成された映像を圧縮し、

前記映像表示部において、 前記圧縮された合成映像を伸張する、

ことを特徴とする映像表示制御方法。

1. 4 . 請求の範囲第 1項ないし請求の範囲第 1 3項のいずれかに記載の映像表 示制御方法において、

前記映像入力部において、 前記合成後の映像データに解像度変換および合成方 法情報をヘッダーとして付加し、

前記映像表示部において、 前記ヘッダ一を付加した合成映像のヘッダーを解読 し、 前記解読した情報をもとに前記合成映像を分離すろ、

ことを特徴とする映像表示制御方法。

1 5 . 複数の映像信号源の映像を同一の画面に混在させて表示する映像表示処 理システムにおいて、 複数の映像信号源からの映像の入力を受ける映像入力部と、 表示画面に対し ¾ 示すべき映像の出力を行う映像表示部と、 前記映像人力部と前記映像表示部とを 接続する伝送路とが設けられ、

前記映像入力部は、

前記映像表示部から前記伝送路を介して受信した解像度 ·合成方法情報信号に 基づいて前記複数の呋像信号源の各映像の解像度変換および合成方法を制御する 解像度変換■合成方法制御部と、 複数の各映像を必要 応じて前記解像度変換 · 合成方法制御部により指定された解像度に変換する解 度変換部と、 前 f己解像度 変換後の複数の映像を必要に応じて前記解像度変換 ' ^成方法制御部により指定 された方法で 1枚の映像に合成する合成部とを有し、

前記映像表示部は、

前記映像入力部より受信した合成映像を元の複数の各映像に分離する分離部と、 前記分離された複数の映像を同時に前記画面に表示すろ表示制御部と、 複数の各 映像の表示状態を取得する状態取得部と、 取得した表示状態から解像度 ·合成方 法情報信号を決定し、 前記分離部および前記映像入力部へ出力する解像度 ·合成 方法決定部とを有する、

ことを特徴とする映像表示処理システム。

1 6 . 複数の映像信号源の映像を同一の画面に混在させて表示する映像表示処 理システムにおいて、

複数の映像信号源からの映像の入力を受ける映像入力部と、 表不画面に対し表示 すべき映像の出力を行う映像表示部と、 前記映像入力部と前記 表示部とを接 続すろ伝送路とが設けられ、

前記映像入力部は、

前記映像表示部から前記伝送路を介して受信した解像度 ·合成方法情報信号に 基づいて前記複数の映像信 ¾源の各映像の解像度変換および合成方法を制御する 解像度変換 ·合成方法制御部と、 複数の各映像を必要に応じて前記解像度変換 - 合成方法制御部により指定された解像度に変換する解像度変換部と、 前記解像度 変換後の複数の映像を必要に応じて前記解像度変換 ·合成方法制御部により指定 された方法で 1枚の映像に合成する合成部とを有し、 前記映像表示部は、

前記映像入力部より前記伝送路を介して受信した合成映像を兀の複数の各映像 に分離する分離部と、 ユーザが操作入力する操作入力部と、 前記分離された複数 の映像を同時に前記画面に表示する表示制御部と、 前記入力された操作により解 像度 ·合成方法情報信号を決定し、 前記分離部および前記映像入力部へ出力する 解像度 ·合成方法決定部とを有する、

ことを特徴とする映像表示処理システム。

1 7 . 請求の範囲第 1 5項に記載の映像表示処垤システムにおいて、

前記映像表示部は、 さらに、 複数の各映像の画面上への仮想 3次元表示に必要 なパラメータを計算する 3次元計算部と、 前記分離された複数の各映像を 3次元 計算部で算出されたパラメータに従って 3次元処理し表示する 3次元表示部とを 有し、

前記状態取得部が、前記 3次元計算部から複数の各映像の表示状態を取得する、 ことを特徴とする映像表示処理システム。

1 8 . 請求の範囲第 1 5項ないし請求の範囲第 1 7項のいずれかに記載の映像 表示処理システムにおいて、

前記映像入力部は、 前記合成映像を圧縮する圧縮部をさらに有し、

前記映像表示部は、 前記映像入力部より受信した圧縮された合成映像を伸張す る伸張部をさらに有する、

ことを特徴とする映像表示処理システム。

1 9 . 請求の範囲第 1 5項ないし請求の範囲第丄 8項のいずれかに記載の映像 表示処理システムにおいて、

前記映像入力部は、 前記解像度■合成方法情報信号から特定のフォーマツトを 生成し、 合成後の映像信号に付加するヘッダ一付加部をさらに有し、

前記炚像表示部は、 前記映像入力部より受信した合成映像信号に付加されたへ ッダ一から解像度 ·合成方法情報を取り出すヘッダ一解析部をさらに有する、 ことを特徴とする映像表示処理システム。

U . 複数の映像信号源の映像を同一の画面に混在させて表示する映像表示シ ステムにおいて用いられる、 上記複数の映像信号源を接続可能な映像表示処理装 置であって、

記炚像表示部から伝送路を介して受信した解像度 ·合成方法情報信号に基づ レ、て前記複数の映像信号源の各映像の解像度変換および合成方法を制御する解像 度変換 ·合成方法制御部と、 複数の各^を必要に応じて前記解像度変換■合成 方法制御部により指定された解像度に変換する解像度変換部と、 前記解像度変換 後の複数の映像を必要に応じて^記解像度変換 '合成方法制御部により指定され た方法で 1枚の映像に合成すろ合成部とを有する、

ことを特徴とする映像表示処理装置。

2 1 . 画像が貼り付けられた単数又は複数の仮想平 ffiが配置された仮想 3次元 空間を前記仮想 3次元空間內に配置される視点に対し 透視変換して表示画面上 に表示する表示手段と、

第 1の仮想平面に画像を貼り付け、 該第〗の仮想平面を前記視点に対し正面が 向くように前言ヒ仮想 3次元空間内に配笸するとともに、 前記第 1の仮想平面の一 部の領域が選択されたときに、 前記第 1の仮想平面の選択された領域に貼り付け られた画像を前記第 1の仮想平面とは異なる第 2の仮想平而に貼り付け、 該第 2 の仮想 Ψ·面を、 前記仮想 3次元空間内において前記笫 1の仮想平面よりも前記視 点に近い位置であって、 前記第 1 , 第 2の仮想半面が配笸された前記仮想 3次元 空間を透視変換したときに前記第 2の仮想 ψ面が前記第 1の仮想平面全体の大き さよりも小さく前記表示画面上に表示される位置に、 前記視点に対し止 ώが向く ように配置する画像配置手段と、

を含むことを特徴とする画像表示装置。

2 2 . 第 1の仮想平面に画像を貼り付けて、 該第 1の仮想平 ώを仮想 3次元空 間内に配置するとともに、前記第 1の仮想平面の一部の領域が選択されたときに、 前記第 1の仮想平面の選択された領域に貼り付けられだ画像を前記第 1の仮想平 面とは異なる第 2の仮想平面に貼り付け、 該第 2の仮想平面を、 前記仮想 3次元 空間内において前記第 1の仮想平面の正面とほぼ同じ方向に正面が向くように配 置する画像配置手段と、

前記仮想 3次元空閒内で、 前記第 1， 及び第 2の仮想平面の全体が見える眺望 視点位置を計算する眺望視点位置計算手段と、 複数の仮想平面が配置された仮想 3次元空間を前記眺望視点位置に配置された 視点に対して透視変換して表示する眺望表示手段と、

を含むことを特徴とする画像表示装置。

2 3 . 請求の範囲第 2 1項に記載の画像表示装置において、

前記画像配置手段は、 前記第 2の仮想平面に貼り付けられる画像に透過効果を 与える処理をするものである、

ことを特徴とする画像表示装置。

2 4 . 請求の範囲第 2 1项ないし請求の範囲第 2 3項のいずれかに記載の画像 表示装置において、

前記第 1の仮想平面に貼り付けられる画像は、 複数のチヤンネル画面映像を含 むマルチチャンネル表示画像であり、 前記第 1の仮想平面のうち前 ¾複数のチヤ ンネル画面映像のうちの 1つまたは複数のチヤンネル画面映像の画像が貼り付け られた領域が選択されるものである、

ことを特徴とする画像表示装置。

2 5 . 請求の範囲第 2 4項に記載の画像表示装笸において、

マルチチャンネル表示画像に表示される複数のチヤンネルのそれぞれの選択頻 度を記憶するチヤンネル選択頻度記憶手段と、

マルチチヤンネル表示画像に表示される複数のチャンネルのそれぞれの選択頻 度に基づいて前記第 1の仮想平面に貼り付けられるマルチチャンネル表示画像の 複数のチャンネル画面映像の配置を决定する配置決定手段と、

を含むことを特徴とする画像表示装置

2 6 . 請求の範囲第 2 1項に記載の画像表示装置において、

仮想平面の仮想 3次元空間内における配置情報、 および仮想平面に貼り付けら れる画像の仮想平面上における配置情報を記憶する配置情報記憶手段と、 該配置情報記憶于段に記憶された配置情報を用いて、 前記仮想早面の仮想 3次 元空間内における配置、 および該仮想平面に貼り付けられる画像の、 該仮想平面 上における配置を再現する画像配置再現手段と、

を含むことを特徴とする画像表示装置。

2 7 . 請求の範囲第 2 1項に記載の画像表示装置において、 所定の時問間隔で前記第 1の仮想平面の一部の領域を順に領域を変えて選択， および選択解除する領域選択手段、

を含むことを特徴とする画像表示装置。

2 8 . 請求の範囲第 2 1項に記載の画像表示装置にお:いて、

前記両像配置手段は、 前記第 2の仮想平面を前記仮想 3次元空間内の前記位置 に配置する際に、 前記笫 2の仮想平面に貼り付ける画像に応じて訪記第 2の仮想 平面に特定のァニメーション動作をさせた後に前記仮想 3次元空間内の前記位置 に配置するものである、

ことを特徴とする画像表示装置。