JP2001022335A

JP2001022335A - 映像表示制御方法、映像表示処理システム、映像表示処理装置

Info

Publication number: JP2001022335A
Application number: JP11194000A
Authority: JP
Inventors: Hideaki Kobayashi; 秀明小林; Kenjiro Tsuda; 賢治郎津田; Yoshihisa Nishigori; 義久錦織
Original assignee: Matsushita Electric Industrial Co Ltd
Current assignee: Panasonic Holdings Corp
Priority date: 1999-07-08
Filing date: 1999-07-08
Publication date: 2001-01-26

Abstract

(57)【要約】【課題】ＰＣ上あるいはＰＣのグラフィックスシステ
ムを応用した映像表示装置上で、伝送路の伝送能力を効
率よく利用しながら、複数の映像を表示処理できる映像
処理方法、映像表示処理システムおよび映像処理装置を
提供する。【解決手段】画面２０１における各映像の表示状態を
状態取得部２０５が取得し、該表示状態により複数の映
像信号源１０１からの各映像を解像度変換部１０３にお
いて解像度変換し、合成部１０４において１枚の映像と
して合成し、伝送路３００を通じて伝送し、分離部２０
３によって各映像に分離し、表示制御部２０４によって
各映像を表示する。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、複数の入力映像を
１つの伝送路を介して伝送し、同一の表示画面に混在さ
せて出力表示する映像表示処理システム、映像表示制御
方法に関する。

【０００２】

【従来の技術】マルチメディア社会と呼ばれる現在、Ｄ
ＶＤ、ＣＡＴＶ、ＳＴＢ、デジタルＴＶなど、様々な映
像信号を取り扱う機会が多くなっている。そして、これ
ら複数の映像信号をパーソナルコンピュータ（以下、Ｐ
Ｃと略す）などの映像表示装置へ伝送し、ＰＣのグラフ
ィックスシステムと統合的に取り扱うための環境が開発
されつつある。

【０００３】このように不特定の複数の映像信号を同時
に映像表示装置へ伝送する必要が生じる場合、それぞれ
の映像信号に対応できるよう複数の伝送路をあらかじめ
設けることは現実的ではない。そのためこれら複数の映
像信号を多重化あるいは時分割して伝送する方法がとら
れることが多い。しかしながら一方で、伝送される複数
の映像信号の総データ量が大きくなると、伝送路におけ
る伝送能力の不足が問題となってくる。そのため従来で
は、特開平６−３２４６６２号公報に提案されているよ
うに、複数の映像信号のそれぞれに対するユーザの関心
度を推定し、その関心度が高い映像には高画質な画像圧
縮をかけ、関心度が低い映像には低画質な画像圧縮をか
け、それらを伝送するようにすることで、映像信号の総
データ量を減らしながら、効果的な画質を得られるよう
にしている。

【０００４】

【発明が解決しようとする課題】しかし、上記従来技術
では、圧縮・伸張回路が複数必要となる、また、ＰＣ上
あるいはＰＣのグラフィックスシステムを応用した映像
表示装置上で、グラフィックスチップの映像入力ポート
が通常１つしか用意されていないという点に対する考慮
がなされていない、という問題があった。

【０００５】本発明の目的は、ＰＣ上あるいはＰＣのグ
ラフィックスシステムを応用した映像表示装置上で、伝
送路の伝送能力を効率よく利用しながら、複数の映像を
表示処理できる映像処理方法、映像表示処理システムお
よび映像処理装置を提供することにある。

【０００６】

【課題を解決するための手段】上記課題を解決するため
に本発明の映像表示処理システムでは、複数の映像信号
源と、そられの映像の解像度を変換する解像度変換部
と、解像度変換後の映像を１枚の映像として合成する合
成部と、合成された映像を伝送する伝送路と、伝送路を
介して伝送された合成映像を各映像に分離する分離部
と、分離後の映像をそれぞれ画面に表示させる表示制御
部と、表示制御部における各映像のサイズや重なりなど
の表示状態を取得する状態取得部と、それら映像の表示
状態から解像度・合成方法を決定する解像度・合成方法
決定部を備えている。

【０００７】それによると、映像入力側では複数の映像
を１つの映像として合成してから伝送路を伝送し、映像
表示側では合成された映像から元の映像をそれぞれ切り
出して独立に表示することで、１映像分のみの伝送路を
用いながら、複数の映像を伝送し、表示することが可能
となる。

【０００８】また、一般に画面上に複数の映像が表示さ
れている場合、ユーザは関心度の高い特定の映像は見や
すい表示状態に操作して見る場合が多い。よって各映像
の表示状態からユーザの関心度を推定し、関心度が高い
と推定された映像は高解像度に解像度変換し、関心度が
低いとされた映像は低解像度に解像度変換した後、適切
な配置で合成することで、伝送路をより効率的に利用す
ることが可能となる。

【０００９】

【発明の実施の形態】本発明の請求項１に記載の発明
は、接続した複数の映像信号源の映像を、指定した表示
状態で同一の画面に混在させて表示する映像表示制御方
法において、前記画面に表示された各映像の少なくとも
表示状態の違いに基づいて各映像の解像度を変換し、該
解像度変換後の映像を１枚の映像として合成し、該合成
後の映像を伝送し、該伝送された前記合成映像を分離
し、該分離された各映像を表示することを特徴とする映
像表示制御方法であり、１系統の映像伝送路上で複数の
映像を伝送でき、かつユーザの関心度の高い映像を高画
質に表示できるという作用を有する。本発明の請求項２
に記載の発明は、請求項１において、映像の表示状態の
違いが、各映像の少なくとも表示サイズの違いにある場
合、解像度変換および映像合成、映像分離を各映像の表
示サイズの大きさに相関させることを特徴とする映像表
示制御方法であり、表示サイズの大きい映像は高解像度
に、表示サイズの小さい映像は低解像度に解像度変換し
て合成することで、ユーザの関心度が高いと推定される
表示サイズの大きい映像を高画質に表示できるという作
用を有する。本発明の請求項３に記載の発明は、請求項
１において、映像の表示状態の違いが、各映像の少なく
とも表示の重なり状態にある場合、解像度変換および映
像合成、映像分離を各映像の重なりの深さに相関させる
ことを特徴とする映像表示制御方法であり、表示の重な
りが手前にある映像は高解像度に、表示の重なりが奥に
ある映像は低解像度に解像度変換して合成することで、
ユーザの関心度が高いと推定される表示の重なりが手前
にある映像を高画質に表示できるという作用を有する。
本発明の請求項４に記載の発明は、請求項１において、
映像の表示状態の違いが、各映像の少なくとも表示の可
視面積にある場合、解像度変換および映像合成、映像分
離を各映像の可視面積の大きさに相関させることを特徴
とする映像表示制御方法であり、表示の可視面積が大き
い映像は高解像度に、表示の可視面積が小さい映像は低
解像度に解像度変換して合成することで、ユーザの関心
度が高いと推定される表示の可視面積が大きい映像を高
画質に表示できるという作用を有する。本発明の請求項
５に記載の発明は、請求項１において、映像の表示状態
の違いが、各映像の少なくとも表示がフォーカスされて
いる状態か否かにある場合、解像度変換および映像合
成、映像分離を各映像のフォーカスされているか否かに
相関させることを特徴とする映像表示制御方法であり、
フォーカスされている映像は高解像度に、それ以外の映
像は低解像度に解像度変換して合成することで、ユーザ
の関心度が高いと推定されるフォーカスされている映像
を高画質に表示できるという作用を有する。本発明の請
求項６に記載の発明は、請求項１において、映像の表示
状態の違いが、各映像の少なくとも表示時間の長さにあ
る場合、解像度変換および映像合成、映像分離を各映像
の表示時間の長さに相関させることを特徴とする映像表
示制御方法であり、表示時間の長い映像は高解像度に、
表示時間の短い映像は低解像度に解像度変換して合成す
ることで、ユーザの関心度が高いと推定される表示時間
の長い映像を高画質に表示できるという作用を有する。
本発明の請求項７に記載の発明は、請求項１において、
映像の表示状態の違いが、各映像の少なくとも表示され
た順番にある場合、解像度変換および映像合成、映像分
離を各映像の表示された順番に相関させることを特徴と
する映像表示制御方法であり、最近に表示された映像を
高解像度に、以前に表示された映像を低解像度に解像度
変換して合成することで、ユーザの関心度が高いと推定
される新しく表示された映像を高画質に表示できるとい
う作用を有する。本発明の請求項８に記載の発明は、請
求項１において、映像の表示状態の違いが、各映像の少
なくとも表示の形にある場合、解像度変換および映像合
成、映像分離を各映像の表示の形に相関させることを特
徴とする映像表示制御方法であり、縦横のそれぞれの解
像度変換をおよび合成方法を映像の表示の形に合わせる
ことで、各映像を高画質に表示できるという作用を有す
る。本発明の請求項９に記載の発明は、接続した複数の
映像信号源の映像を、指定した表示状態で同一の画面に
混在させて表示する映像表示制御方法において、外部か
らのユーザ操作によって各映像の解像度を変換し、該解
像度変換後の映像を１枚の映像として合成し、該合成後
の映像を伝送し、該伝送された前記合成映像を分離し、
該分離された各映像を表示することを特徴とする映像表
示制御方法であり、ユーザが外部からの入力手段を用い
て自由に指定した映像を高画質に表示できるという作用
を有する。本発明の請求項１０に記載の発明は、請求項
１から９のいずれかにおいて、解像度変換および映像合
成が、複数の映像信号源の各映像の縦横のアスペクト比
を維持しながら解像度変換し、１枚の映像として合成す
ることを特徴とする映像表示制御方法であり、分離部あ
るいは表示制御部においてアスペクト比補正をせずに、
分離した映像をそのまま使用できるという作用を有す
る。本発明の請求項１１に記載の発明は、請求項１から
９のいずれかにおいて、解像度変換および映像合成が、
合成後の映像に隙間のないよう、複数の映像信号源の各
映像を解像度変換し、１枚の映像として合成することを
特徴とする映像表示制御方法であり、各映像を無駄なく
伝送できるという作用を有する。本発明の請求項１２に
記載の発明は、請求項１から１１のいずれかにおいて、
伝送前に合成後の映像を圧縮し、前記伝送後に前記圧縮
後の合成映像を伸張することを特徴とする映像表示制御
方法であり、伝送する映像データ量を削減することで効
率的に伝送路を利用可能であるという作用を有する。本
発明の請求項１３に記載の発明は、請求項１から１２の
いずれかにおいて、伝送前に解像度変換の情報および合
成の情報を、前記合成後の映像データにヘッダーとして
付加し、前記伝送後に前記ヘッダーを解読し、前記解読
した情報を元に前記合成映像を分離することを特徴とす
る映像表示制御方法であり、映像入力部から映像表示部
への伝送路において伝送遅延が発生した場合において
も、分離部には確実なタイミングで解像度変換・合成方
法情報が伝わるので、映像の乱れがないという作用を有
する。本発明の請求項１４に記載の発明は、複数の映像
源を接続した映像入力部と、画面を接続した映像表示部
と、前記映像入力部と前記映像表示部を接続する伝送路
とを備えてなり、前記映像入力部では、前記映像出力部
から受信した解像度・合成方法情報信号に従って接続さ
れた前記複数の映像源の各映像の解像度変換および合成
方法を制御する解像度変換・合成方法制御部と、各映像
を前記解像度変換・合成方法制御部により指定された解
像度に変換する解像度変換部と、解像度変換後の複数の
映像を前記解像度変換・合成方法制御部により指定され
た方法で１つの映像として合成し出力する合成部とを有
し、前記映像表示部では、前記映像入力部より受信した
合成映像を各映像に分離する分離部と、分離された映像
を同時に前記画面に表示する表示制御部と、各映像の表
示状態を取得する状態取得部と、取得した表示状態から
決定した解像度・合成方法情報信号を前記分離部および
前記映像入力部へ出力する解像度・合成方法決定部を有
したこと特徴とする、請求項１から請求項８、請求項１
０および請求項１１の方法を実現可能とする映像表示処
理システムである。

【００１０】本発明の請求項１５に記載の発明は、複数
の映像源を接続した映像入力部と、画面を接続した映像
表示部と、前記映像入力部と前記映像表示部を接続する
伝送路とを備えてなり、前記映像入力部では、前記映像
出力部から受信した解像度・合成方法情報信号に従って
接続された前記複数の映像源の各映像の解像度変換およ
び合成方法を制御する解像度変換・合成方法制御部と、
各映像を前記解像度変換・合成方法制御部により指定さ
れた解像度に変換する解像度変換部と、解像度変換後の
複数の映像を前記解像度変換・合成方法制御部により指
定された方法で１つの映像として合成し出力する合成部
とを有し、前記映像表示部では、前記映像入力部より受
信した合成映像を各映像に分離する分離部と、分離され
た映像を同時に前記画面に表示する表示制御部と、外部
からのユーザ操作を入力する操作入力部と、入力された
操作から決定した解像度・合成方法情報信号を前記分離
部および前記映像入力部へ出力する解像度・合成方法決
定部を有したこと特徴とする、請求項９の方法を実現可
能とする映像表示処理システムである。本発明の請求項
１６に記載の発明は、複数の映像源を接続した映像入力
部と、画面を接続した映像表示部と、前記映像入力部と
前記映像表示部を接続する伝送路とを備えてなり、前記
映像入力部では、前記映像出力部から受信した解像度・
合成方法情報信号に従って接続された前記複数の映像源
の各映像の解像度変換および合成方法を制御する解像度
変換・合成方法制御部と、各映像を前記解像度変換・合
成方法制御部により指定された解像度に変換する解像度
変換部と、解像度変換後の複数の映像を前記解像度変換
・合成方法制御部により指定された方法で１つの映像と
して合成する合成部と、合成された映像に圧縮をかけて
出力する圧縮部とを有し、前記映像表示部では、前記映
像入力部より受信した圧縮された合成映像を伸張する伸
張部と、伸張された合成映像を各映像に分離する分離部
と、分離された映像を同時に前記画面に表示する表示制
御部と、各映像の表示状態を取得する状態取得部と、取
得した表示状態から決定した解像度・合成方法情報信号
を前記映像入力部へ出力する解像度・合成方法決定部を
有したこと特徴とする、請求項１２の方法を実現可能と
する映像表示処理システムである。本発明の請求項１７
に記載の発明は、複数の映像源を接続した映像入力部
と、画面を接続した映像表示部と、前記映像入力部と前
記映像表示部を接続する伝送路とを備えてなり、前記映
像入力部では、前記映像出力部から受信した解像度・合
成方法情報信号に従って接続された前記複数の映像源の
各映像の解像度変換および合成方法を制御する解像度変
換・合成方法制御部と、各映像を前記解像度変換・合成
方法制御部により指定された解像度に変換する解像度変
換部と、解像度変換後の複数の映像を前記解像度変換・
合成方法制御部により指定された方法で１つの映像とし
て合成する合成部と、前記解像度・合成方法情報信号か
ら特定のフォーマットを生成し、合成後の映像信号に付
加するヘッダー付加部とを有し、前記映像表示部では、
前記映像入力部より受信した合成映像信号に付加された
ヘッダーから解像度・合成方法情報を取り出すヘッダー
解析部と、前記映像入力部より受信した合成映像を各映
像に分離する分離部と、分離された映像を同時に前記画
面に表示する表示制御部と、各映像の表示状態を取得す
る状態取得部と、取得した表示状態から決定した解像度
・合成方法情報信号を前記映像入力部へ出力する解像度
・合成方法決定部を有したこと特徴とする、請求項１３
の方法を実現可能とする映像表示処理システムである。
本発明の請求項１８に記載の発明は、複数の映像源を接
続可能な映像表示処理装置であって、受信した解像度・
合成方法情報信号に従って接続された前記複数の映像源
の各映像の解像度変換および合成方法を制御する解像度
変換・合成方法制御部と、各映像を前記解像度変換・合
成方法制御部により指定された解像度に変換する解像度
変換部と、解像度変換後の複数の映像を前記解像度変換
・合成方法制御部により指定された方法で１つの映像と
して合成し出力する合成部とを有した映像表示処理装置
であり、ＰＣの拡張カードとして実装することで、ＰＣ
と組み合わせて実現することが可能である。

【００１１】以下、本発明の実施の形態を図１から図８
を用いて詳細に説明する。

【００１２】（実施の形態１）図１は、本発明の実施の
形態１に係る映像表示処理システムの全体構成図であ
る。図１に示すように、本映像表示処理システムは大き
く分けて３つの部分から構成される。つまり複数の映像
（ここではアナログ２系統、デジタル２系統で計４系
統）を入力し、１つの合成映像として出力する映像入力
部１００、入力された合成映像をそれぞれの映像に分離
して表示する映像表示部２００、映像入力部１００と映
像出力部２００の間を接続し、合成映像の映像信号およ
び解像度・合成方法情報信号を伝送する伝送路３００で
ある。さらに映像を発生する複数のアナログおよびデジ
タルの映像信号源１０１を映像入力部１００に接続し、
表示装置となる画面２０１を映像表示部２００に接続す
る。

【００１３】映像入力部１００は、アナログ映像信号を
デジタル映像信号に変換するＡ／Ｄコンバータ１０２
と、デジタル映像信号に対し解像度変換を行う解像度変
換部１０３と、解像度変換部１０３からの４系統のデジ
タル映像信号を１つの映像として合成し、そのデジタル
映像信号を出力する合成部１０４と、合成部１０４から
のデジタル映像信号を伝送路３００を介して映像表示部
２００に送信し、また映像表示部２００からの解像度・
合成方法情報信号を伝送路３００を介して受信する送受
信部１０５と、送受信部１０５が受信した解像度・合成
方法情報信号をもとに解像度変換部１０３と合成部１０
４の動作を制御する信号を発する解像度変換・合成方法
制御部１０６とから構成される。

【００１４】映像出力部２００は、映像入力部１００か
らの合成映像のデジタル映像信号を伝送路３００を介し
て受信し、また解像度・合成方法情報信号を伝送路３０
０を介して映像入力部１００に送信する送受信部２０２
と、送受信部２０２が受信した合成映像のデジタル映像
信号から元の４系統の映像を切り出して出力する分離部
２０３と、分離部２０３からの４系統の映像を独立にユ
ーザの表示操作による任意の表示状態で生成する表示制
御部２０４と、表示制御部２０４の各映像の表示状態を
取得する状態取得部２０５と、状態取得部２０５からの
情報に基づき、各映像の解像度と合成パターンを計算し
決定し、送受信部２０２および分離部２０３へ解像度・
合成方法情報信号を発する解像度・合成方法決定部２０
６とから構成される。

【００１５】以下各部を詳細に説明する。

【００１６】映像信号源１０１はアナログ信号あるいは
デジタル信号を発する映像信号源であり、アナログの映
像信号源の例としてはＮＴＳＣのビデオカセットレコー
ダ、ＤＶＤプレーヤ、レーザーディスク、テレビチュー
ナなど、デジタルの映像信号源の例としてはＰＣ用デジ
タルＴＶ受信ボード、ＰＣ用ＭＰＥＧデコーダボード、
ＰＣ用ビデオキャプチャボードなどがある。

【００１７】映像入力部１００のうち、Ａ／Ｄコンバー
タ１０２は、映像信号源１０１がアナログ映像信号の場
合に使用し、アナログ映像信号をサンプリングし、デジ
タルの映像信号を出力する。映像信号源１０１がＮＴＳ
ＣやＰＡＬなどのフォーマットであれば、さらにＮＴＳ
Ｃ／ＰＡＬデコード処理なども行う。出力するデジタル
の映像信号形式の例としてはＹ／Ｃ８ビット、Ｙ／Ｃ１
６ビット、ＲＧＢ２４ビットなどがある。

【００１８】解像度変換部１０３は、入力されたデジタ
ル映像信号に対し解像度変換・合成方法制御部１０６か
らの解像度変換信号に従って解像度変換をかけ、解像度
変換後のデジタル映像信号を出力する。この際、画像の
歪みを防ぐためのフィルタ処理も施す。解像度変換の例
として、縦横をそれぞれ１／２、１／４、３／４に間引
く変換や、縦は１／１を維持し横を１／２、１／４、３
／４に間引く変換や、横は１／１を維持し縦を１／２、
１／４、３／４に間引く変換など、複数の変換パターン
があらかじめ用意されており、フィルタ処理にはその変
換パターンごとに割り当てられた適切なフィルタ係数を
使用する。

【００１９】合成部１０４は、解像度変換部１０３によ
って解像度変換された４系統の映像をそれぞれフレーム
シンクロナイズしながら、解像度変換・合成方法制御部
１０６からの合成方法信号による指定のパターンで１枚
の映像として合成して出力する。

【００２０】ここで図２は本発明の実施の形態１に係る
映像表示処理システムにおいて、前記解像度変換から得
られる合成方法の例である。図２の４０１のように各映
像の縦横のアスペクト比を維持したまま間引きして合成
する場合、映像表示部２００において切り出した各映像
をそのまま使用することが可能であるが、合成画面に隙
間ができるため伝送路３００の使用効率が下がってしま
う。一方、図２の４０２のように各映像の縦横のアスペ
クト比を維持しない間引きをして合成する場合、伝送路
３００の使用効率は良好であるが、映像表示部２００に
おける各映像の切り出し処理または表示制御処理の際に
縦横のアスペクト比補正処理が必要となる。

【００２１】送受信部１０５は、合成部１０４からの合
成後のデジタル映像信号データを伝送路３００に送信
し、あるいは伝送路３００からの解像度・合成方法情報
信号を受信し、解像度変換・合成方法制御部１０６に伝
える通信インターフェースであり、例としてＰＣのグラ
フィックスシステムにおける映像入力ポートの標準仕様
であるＶＩＰ（ＶｉｄｅｏＩｎｔｅｒｆａｃｅＰｏ
ｒｔ）や、ＰＣ内部のＰＣＩ／ＡＧＰバス、ＬＡＮ／イ
ンターネットなどのネットワークのインターフェースな
どがある。

【００２２】解像度変換・合成方法制御部１０６は、送
受信部１０５が伝送路３００を介して受信した映像表示
部２００からの解像度変換・合成方法情報信号のうち、
４系統の映像の解像度変換情報をそれぞれの解像度変換
部１０３へ伝えるとともに、４系統の映像の合成パター
ンを指示する合成方法情報信号を合成部１０４へ伝え
る。

【００２３】映像出力部２００の例としては、ウィンド
ウシステムベースのＯＳが実行しているＰＣのグラフィ
ックスシステムがある。画面２０１はＰＣに接続された
ディスプレイであり、例としてＣＲＴ、ＬＣＤ、ヘッド
マウントディスプレイなどがある。

【００２４】送受信部２０２は、伝送路３００からのデ
ジタル映像信号データを受信し、分離部３００に伝え、
また解像度・合成方法決定部２０６からの解像度・合成
方法情報信号を伝送路３００へ送信する通信インターフ
ェースであり、その例としては映像入力部１００の送受
信部１０５と同様である。

【００２５】分離部２０３および表示制御部２０４は、
ＰＣのグラフィックスチップ内部の機能である。分離部
２０３は、送受信部２０２から入力された合成デジタル
映像信号を元の４つの映像に切り出す処理を行う。この
とき、解像度・合成方法決定部２０６からの解像度・合
成方法情報により、合成映像上における各映像の座標等
を決定し適切な切り出し動作を行う。表示制御部２０
４は、通常のＰＣのコンピュータ画像にこれらの４つの
映像を独立にオーバーレイ処理し、これを表示するため
画面２０１を駆動する。

【００２６】状態取得部２０５は、ＰＣで実行されてい
るＯＳの機能であり、各映像を表示しているウィンドウ
のサイズ、重なり、表示時間などの状態を取得し、何ら
かの変動があれば解像度・合成方法決定部２０６に伝え
る。

【００２７】解像度・合成方法決定部２０６は、状態取
得部２０５から取得した各映像の表示状態から、各映像
の解像度・合成方法をソフトウェアで計算、決定し、解
像度・合成方法情報信号を送受信部２０２および分離部
２０３へ出力する。

【００２８】ここで図３は本発明の実施の形態１に係る
映像表示処理システムにおいて、画面２０１における表
示と、その表示状態を取得した状態取得部２０５からの
情報をもとに解像度・合成方法決定部２０６が各映像の
解像度・合成方法を計算する例である。図３の５００で
は、ユーザは特定の映像に注目せず均等に見ていると判
断し、図３の５０３のように解像度・合成方法を決定し
た例である。図３の５０１では、最も大きいウィンドウ
サイズの映像が最もユーザに注目されていると判断し、
図３の５０４のように縦横のアスペクト比を維持して解
像度・合成方法を決定した例である。図３の５０２で
は、最も重なりが手前にあるウィンドウの映像がもっと
もユーザに注目されていると判断し、同様に解像度・合
成方法を決定した例である。

【００２９】以上のように構成された映像表示処理シス
テムにおいて、ユーザが画面上に表示されている映像を
図３の５００から図３の５０１のように操作した場合の
動作の例を以下に説明する。

【００３０】簡単のため、ここでは４系統の入力映像と
合成後の映像のサイズが同じであるとする。現在、画面
２０１上で各映像が図３の５００のような表示状態に見
えるよう表示制御部２０４が動作している。状態取得部
２０５は各映像の表示サイズが均等かつ重なりがない状
態であることを取得しているので、解像度・合成方法決
定部２０６は各映像の解像度を縦横のアスペクト比を維
持したまま縦横をそれぞれ１／２に縮小して図３の５０
３のように１つの映像として合成するよう指示してい
る。この指示は映像入力部１００の解像度変換・合成方
法制御部１０６に伝えられている。各映像の縮小部１０
３はそれぞれの映像の解像度を縦横のアスペクト比を維
持したまま縦横をそれぞれ１／２に縮小するよう指示さ
れるので、１／２間引き用のフィルタ係数を用いてフィ
ルタ処理をした後、間引き処理をする。合成部１０４で
は均等に縦横１／２に縮小された映像を図３の５０３の
パターンで合成し、出力する。映像出力部２００の分離
部２０３では、解像度・合成方法決定部２０５により、
伝送路３００を介して伝送されてきた映像が図３の５０
３のように合成されていることを既に知っているため、
各映像を適切な領域で切り出し処理し、表示制御部２０
４に出力することが可能である。

【００３１】さて、ここでユーザが表示制御部２０４を
操作し、画面２０１上での各映像が図３の５０１のよう
な表示状態に見えるようにしたとする。状態取得部２０
５は図３の５０５の映像が他の３つの映像より大きなウ
ィンドウで表示されている状態を取得する。解像度・合
成方法決定部２０６は状態取得部２０５から取得した各
映像のウィンドウサイズ情報から、図３の５０５の映像
の解像度は縦横のアスペクト比を維持したまま縦横をそ
れぞれ３／４に縮小するにとどめ、その他３つの映像の
解像度は縦横のアスペクト比を維持したまま縦横をそれ
ぞれ１／４に縮小し、図３の５０４のように１つの映像
として合成するよう指示する。この指示は映像入力部１
００の解像度変換・合成方法制御部１０６に伝えられ
る。各映像の縮小部１０３のうち、図３の５０５に対応
する映像の縮小部１０３は映像の解像度を縦横のアスペ
クト比を維持したまま縦横をそれぞれ３／４に縮小する
よう指示されるので、３／４間引き用のフィルタ係数を
用いてフィルタ処理をした後、間引き処理をする。また
他の３つの映像に対応する縮小部１０３はそれぞれの映
像の解像度を縦横のアスペクト比を維持したまま縦横を
それぞれ１／４に縮小するよう指示されるので、１／４
間引き用のフィルタ係数を用いてフィルタ処理をした
後、間引き処理をする。合成部１０４では異なる解像度
に変換された映像を図３の５０４のパターンで合成し、
出力する。映像出力部２００の分離部２０３では、解像
度・合成方法決定部２０５により、伝送路３００を介し
て伝送されてきた映像は、図３の５０４のように合成さ
れていることを既に知っているため、各映像を適切な領
域で切り出し処理し、表示制御部２０４に出力すること
が可能である。

【００３２】上述したように、本発明の実施の形態１に
よれば、映像入力部に接続された複数の映像を伝送路を
介して映像表示部に伝送するにあたり、各映像に対する
ユーザの関心度に従って伝送する映像データの総量を伝
送路の能力に見合うように維持しながら、各映像をダイ
ナミックに解像度変換していることから、伝送能力に制
限がある伝送路を用いても効率的な映像伝送と表示を行
うことができる。

【００３３】また、伝送は複数の映像を１つの映像とし
て合成することから、映像入力ポートを通常１つしか持
たないＰＣのグラフィックシステムに対して親和性が高
い。

【００３４】（実施の形態２）図４は、本発明の実施の
形態２に係る映像表示処理システムの全体構成図であ
る。図１と比較して、映像入力部１００にヘッダー付加
部１０７が追加、映像出力部２００にヘッダー解析部２
０７が追加された構成となっている。

【００３５】本発明の実施の形態１との違いは、映像表
示部２００において解像度・合成方法決定部２０６から
分離部２０３への解像度・合成方法情報信号をなくした
点、映像入力部１００において映像表示部２００から伝
送路３００を介して受信した解像度変換・合成方法情報
信号をヘッダー付加部１０７へ渡す点、映像表示部２０
０において送受信部２０２からの合成された映像のデジ
タル映像信号をヘッダー解析部２０７にも出力し、解析
結果を分離部２０３へ出力するようにした点である。

【００３６】以下、ヘッダー付加部１０７とヘッダー解
析部２０７を詳細に説明する。ヘッダー付加部１０７は
入力された解像度・合成方法情報信号から、解像度・合
成方法信号を一定のフォーマットで生成し、合成部１０
４から入力されたデジタル映像信号のブランキングデー
タ部分に付加し、送受信部へ出力する。

【００３７】ヘッダー解析部２０７では入力されたヘッ
ダーつきのデジタル映像信号の中からヘッダー部分のみ
を解釈し、合成された映像の各映像の解像度・合成方法
情報を取り出し、分離部２０３へ出力する。分離部２０
３では入力された解像度・合成方法情報により各映像の
適切な切り出し動作を行う一方、ヘッダーつきのデジタ
ル映像信号が入力されるが、ヘッダーはブランキングデ
ータ部分に付加されているので、元の映像に何ら影響を
与えることはない。

【００３８】図５は本発明の実施の形態２に係る映像表
示処理システムのヘッダー付加部１０７が付加するヘッ
ダーの一例である。図５のように、ヘッダー６００には
各映像の縦横のサイズ、合成後の映像上における各映像
の最も左上の点の座標情報が含まれており、各映像別に
連続して並べられている。

【００３９】上述したように、本発明の実施の形態２に
よれば、映像入力部は複数の映像の解像度や合成方法の
変更の発生と同時にその解像度・合成方法情報を合成後
のデジタル映像信号に付加して映像表示部に伝送し、映
像表示部では付加された解像度・合成方法情報の解読と
同時に適切な各映像の切り取り領域制御が可能となるた
め、伝送路における映像データの伝送遅延が生じても確
実なタイミングで映像入力部と映像表示部の制御ができ
る。

【００４０】（実施の形態３）図６は、本発明の実施の
形態３に係る映像表示処理システムの全体構成図であ
る。図１と比較して、映像入力部１００に圧縮部１０８
が追加、映像出力部２００に伸張部２０８が追加された
構成となっている。

【００４１】本発明の実施の形態１との違いは、映像入
力部１００において、合成部１０４からの合成映像のデ
ジタル映像信号をＭＰＥＧのような映像データ圧縮技術
を用いて圧縮した圧縮データを出力する点、映像出力部
２００において、送受信部２０２から受信した圧縮デー
タを伸張し、分離部２０３へ出力する点である。

【００４２】本発明の実施の形態３によれば、合成映像
を１つの映像として圧縮・伝送・伸張するため、合成映
像の縦横サイズが同じであれば合成映像の総データ量を
削減し、より効率的な伝送が可能であり、また合成映像
の総データ量が同じであれば解像度変換時に解像度を高
く維持し、より高解像度な映像を伝送することが可能で
ある。

【００４３】（実施の形態４）図７は、本発明の実施の
形態４に係る映像表示処理システムの全体構成図であ
る。図１と比較して、映像入力部２００に３Ｄ計算部２
０９、３Ｄ表示処理部２１０が追加された構成となって
いる。

【００４４】本発明の実施の形態１との違いは、映像表
示部２００において、３Ｄ計算部２０９が各映像の画面
２０１上への仮想３次元表示に必要なパラメータを計算
する点、分離部２０３からの各映像は前記３Ｄ計算部２
０９が算出したパラメータに従って３Ｄ表示処理部２１
０で３Ｄ処理され表示制御部２０３に出力される点、状
態取得部２０５が各映像の表示状態を３Ｄ計算部２０９
から取得する点である。

【００４５】図８は本発明の実施の形態４に係る映像表
示処理システムにおいて、各映像の画面２０１における
仮想３次元表示と、その表示状態を取得した状態取得部
２０５からの情報をもとに解像度・合成方法決定部２０
６が各映像の解像度・合成方法を計算する例である。図
８の７００は各映像が仮想３次元空間内を軸中心に自動
的に回転しているときのある瞬間の画面２０１の例であ
る。映像「１」「４」が大きく均等に、映像「２」
「３」が小さく均等に表示されている。解像度・合成方
法決定部２０６は、この表示状態を状態取得部２０５か
ら取得すると、映像「１」「４」は映像「２」「３」に
比べて注目度が高いと推定し、図８の７０２のように映
像「１」「４」は比較的高解像度に、映像「２」「３」
は比較的低解像度に解像度変換・合成するよう決定す
る。この画面表示では各映像の表示状態が縦に長く横に
短いため、縦方向には間引きせず、横方向のみを間引
き、合成する処理をしている。

【００４６】次に各映像が仮想３次元空間何を軸中心に
さらに回転し、図８の７０１のように画面２０１に表示
されたとする。映像「１」は大きく均等に、映像「２」
「４」は小さく均等に表示されている。映像「３」は背
後に隠れてしまい表示されていない。解像度・合成方法
決定部２０６は、この表示状態を状態取得部２０５から
取得すると、映像「１」は映像「２」「４」に比べて注
目度が高く、映像「３」は画面２０１に表示されないた
め映像「３」のデータは不要であると推定し、図８の７
０３のように映像「１」は高解像度に、映像「２」
「４」は比較的低解像度に、映像「３」はデータがなく
なるように解像度変換・合成するよう決定する。

【００４７】上述したように、本発明の実施の形態４に
よれば、映像入力部に接続された複数の映像を伝送路を
介して映像表示部に伝送するにあたり、各映像の仮想３
次元表示の状態に従って伝送する映像データの総量を伝
送路の能力に見合うように維持しながら、各映像をダイ
ナミックに解像度変換していることから、伝送能力に制
限がある伝送路を用いても効率的な映像伝送と仮想３次
元表示を行うことができる。

【００４８】また、伝送は複数の映像を１つの映像とし
て合成することから、ＰＣのグラフィックシステムが映
像入力ポートを通常１つしか持たない点、グラフィック
チップが３Ｄ表示処理を行う際にテクスチャを任意の領
域から切り出して仮想３次元画面上に貼り付ける点にお
いて、ＰＣのグラフィックシステムと親和性が高い。

【００４９】

【発明の効果】以上詳述したように、本発明によれば次
の効果を生ずる。

【００５０】複数の映像を１つの映像として合成した後
に伝送することから、伝送路は通常の映像一系統をその
まま利用することが可能であり、比較的低コストかつ容
易に実施可能である。

【００５１】また、画面上での各映像の表示状態によっ
て各映像の解像度を変換することが可能であることか
ら、伝送路の伝送能力の制限に見合った効果的な伝送が
可能である。

【００５２】さらに、コンピュータシステムおよびグラ
フィックチップの映像入力ポートとの親和性が高いこと
から、ＰＣ上、あるいはＰＣのグラフィックスシステム
を応用した映像表示装置上で複数の映像を同時に扱うこ
とが容易に可能となる。

【図面の簡単な説明】

【図１】本発明の実施の形態１に係る映像表示処理シス
テムの構成図

【図２】本発明の実施の形態１に係る映像表示処理シス
テムの解像度変換および合成方法の例を示す図

【図３】本発明の実施の形態１に係る映像表示処理シス
テムの画面表示の例と対応する解像度変換・合成方法の
例を示す図

【図４】本発明の実施の形態２に係る映像表示処理シス
テムの構成図

【図５】本発明の実施の形態２に係る映像表示処理シス
テムの付加するヘッダーの例を示す図

【図６】本発明の実施の形態３に係る映像表示処理シス
テムの構成図

【図７】本発明の実施の形態４に係る映像表示処理シス
テムの構成図

【図８】本発明の実施の形態４に係る映像表示処理シス
テムの画面表示の例と対応する解像度変換・合成方法の
例を示す図

【符号の説明】

１００映像入力部１０１映像信号源１０２Ａ／Ｄコンバーター１０３解像度変換部１０４合成部１０５送受信部１０６解像度変換・合成方法制御部２００映像表示部２０１画面２０２送受信部２０３分離部２０４表示制御部２０５状態取得部２０６解像度・合成方法決定部３００伝送路

───────────────────────────────────────────────────── フロントページの続き (51)Int.Cl.⁷ 識別記号ＦＩテーマコート゛(参考）Ｇ０９Ｇ 5/377 (72)発明者錦織義久大阪府門真市大字門真1006番地松下電器産業株式会社内Ｆターム(参考） 5B057 BA29 CD05 CE06 CE08 CG01 5C082 AA01 AA27 BA20 BB01 BB44 CA32 CA36 CA55 CB01 DA26 DA87 MM02 MM05

Claims

【特許請求の範囲】

【請求項１】接続した複数の映像信号源の映像を、指定
した表示状態で同一の画面に混在させて表示する映像表
示制御方法において、前記画面に表示された各映像の少
なくとも表示状態の違いに基づいて各映像の解像度を変
換し、該解像度変換後の映像を１枚の映像として合成
し、該合成後の映像を伝送し、該伝送された前記合成映
像を分離し、該分離された各映像を表示することを特徴
とする映像表示制御方法。
【請求項２】映像の表示状態の違いが、各映像の少なく
とも表示サイズの違いにある場合、解像度変換および映
像合成、映像分離を各映像の表示サイズの大きさに相関
させることを特徴とする請求項１に記載の映像表示制御
方法。
【請求項３】映像の表示状態の違いが、各映像の少なく
とも表示の重なり状態にある場合、解像度変換および映
像合成、映像分離を各映像の重なりの深さに相関させる
ことを特徴とする請求項１に記載の映像表示制御方法。
【請求項４】映像の表示状態の違いが、各映像の少なく
とも表示の可視面積にある場合、解像度変換および映像
合成、映像分離を各映像の可視面積の大きさに相関させ
ることを特徴とする請求項１に記載の映像表示制御方
法。
【請求項５】映像の表示状態の違いが、各映像の少なく
とも表示がフォーカスされている状態か否かにある場
合、解像度変換および映像合成、映像分離を各映像のフ
ォーカスされているか否かに相関させることを特徴とす
る請求項１に記載の映像表示制御方法。
【請求項６】映像の表示状態の違いが、各映像の少なく
とも表示時間の長さにある場合、解像度変換および映像
合成、映像分離を各映像の表示時間の長さに相関させる
ことを特徴とする請求項１に記載の映像表示制御方法。
【請求項７】映像の表示状態の違いが、各映像の少なく
とも表示された順番にある場合、解像度変換および映像
合成、映像分離を各映像の表示された順番に相関させる
ことを特徴とする請求項１に記載の映像表示制御方法。
【請求項８】映像の表示状態の違いが、各映像の少なく
とも表示の形にある場合、解像度変換および映像合成、
映像分離を各映像の表示の形に相関させることを特徴と
する請求項１に記載の映像表示制御方法。
【請求項９】接続した複数の映像信号源の映像を、指定
した表示状態で同一の画面に混在させて表示する映像表
示制御方法において、外部からのユーザ操作によって各
映像の解像度を変換し、該解像度変換後の映像を１枚の
映像として合成し、該合成後の映像を伝送し、該伝送さ
れた前記合成映像を分離し、該分離された各映像を表示
することを特徴とする映像表示制御方法。
【請求項１０】解像度変換および映像合成が、複数の映
像信号源の各映像の縦横のアスペクト比を維持しながら
解像度変換し、１枚の映像として合成することを特徴と
する請求項１から請求項９のいずれかに記載の映像表示
制御方法。
【請求項１１】解像度変換および映像合成が、合成後の
映像に隙間のないよう、複数の映像信号源の各映像を解
像度変換し、１枚の映像として合成することを特徴とす
る請求項１から請求項９のいずれかに記載の映像表示制
御方法。
【請求項１２】伝送前に合成後の映像を圧縮し、前記伝
送後に前記圧縮後の合成映像を伸張することを特徴とす
る請求項１から請求項１１のいずれかに記載の映像表示
制御方法。
【請求項１３】伝送前に解像度変換の情報および合成の
情報を、前記合成後の映像データにヘッダーとして付加
し、前記伝送後に前記ヘッダーを解読し、前記解読した
情報を元に前記合成映像を分離することを特徴とする請
求項１から請求項１２のいずれかに記載の映像表示制御
方法。
【請求項１４】複数の映像源を接続した映像入力部と、
画面を接続した映像表示部と、前記映像入力部と前記映
像表示部を接続する伝送路とを備えてなり、前記映像入
力部では、前記映像出力部から受信した解像度・合成方
法情報信号に従って接続された前記複数の映像源の各映
像の解像度変換および合成方法を制御する解像度変換・
合成方法制御部と、各映像を前記解像度変換・合成方法
制御部により指定された解像度に変換する解像度変換部
と、解像度変換後の複数の映像を前記解像度変換・合成
方法制御部により指定された方法で１つの映像として合
成し出力する合成部とを有し、前記映像表示部では、前
記映像入力部より受信した合成映像を各映像に分離する
分離部と、分離された映像を同時に前記画面に表示する
表示制御部と、各映像の表示状態を取得する状態取得部
と、取得した表示状態から決定した解像度・合成方法情
報信号を前記分離部および前記映像入力部へ出力する解
像度・合成方法決定部を有したこと特徴とする映像表示
処理システム。
【請求項１５】複数の映像源を接続した映像入力部と、
画面を接続した映像表示部と、前記映像入力部と前記映
像表示部を接続する伝送路とを備えてなり、前記映像入
力部では、前記映像出力部から受信した解像度・合成方
法情報信号に従って接続された前記複数の映像源の各映
像の解像度変換および合成方法を制御する解像度変換・
合成方法制御部と、各映像を前記解像度変換・合成方法
制御部により指定された解像度に変換する解像度変換部
と、解像度変換後の複数の映像を前記解像度変換・合成
方法制御部により指定された方法で１つの映像として合
成し出力する合成部とを有し、前記映像表示部では、前
記映像入力部より受信した合成映像を各映像に分離する
分離部と、分離された映像を同時に前記画面に表示する
表示制御部と、外部からのユーザ操作を入力する操作入
力部と、入力された操作から決定した解像度・合成方法
情報信号を前記分離部および前記映像入力部へ出力する
解像度・合成方法決定部を有したこと特徴とする映像表
示処理システム。
【請求項１６】複数の映像源を接続した映像入力部と、
画面を接続した映像表示部と、前記映像入力部と前記映
像表示部を接続する伝送路とを備えてなり、前記映像入
力部では、前記映像出力部から受信した解像度・合成方
法情報信号に従って接続された前記複数の映像源の各映
像の解像度変換および合成方法を制御する解像度変換・
合成方法制御部と、各映像を前記解像度変換・合成方法
制御部により指定された解像度に変換する解像度変換部
と、解像度変換後の複数の映像を前記解像度変換・合成
方法制御部により指定された方法で１つの映像として合
成する合成部と、合成された映像に圧縮をかけて出力す
る圧縮部とを有し、前記映像表示部では、前記映像入力
部より受信した圧縮された合成映像を伸張する伸張部
と、伸張された合成映像を各映像に分離する分離部と、
分離された映像を同時に前記画面に表示する表示制御部
と、各映像の表示状態を取得する状態取得部と、取得し
た表示状態から決定した解像度・合成方法情報信号を前
記映像入力部へ出力する解像度・合成方法決定部を有し
たこと特徴とする映像表示処理システム。
【請求項１７】複数の映像源を接続した映像入力部と、
画面を接続した映像表示部と、前記映像入力部と前記映
像表示部を接続する伝送路とを備えてなり、前記映像入
力部では、前記映像出力部から受信した解像度・合成方
法情報信号に従って接続された前記複数の映像源の各映
像の解像度変換および合成方法を制御する解像度変換・
合成方法制御部と、各映像を前記解像度変換・合成方法
制御部により指定された解像度に変換する解像度変換部
と、解像度変換後の複数の映像を前記解像度変換・合成
方法制御部により指定された方法で１つの映像として合
成する合成部と、前記解像度・合成方法情報信号から特
定のフォーマットを生成し、合成後の映像信号に付加す
るヘッダー付加部とを有し、前記映像表示部では、前記
映像入力部より受信した合成映像信号に付加されたヘッ
ダーから解像度・合成方法情報を取り出すヘッダー解析
部と、前記映像入力部より受信した合成映像を各映像に
分離する分離部と、分離された映像を同時に前記画面に
表示する表示制御部と、各映像の表示状態を取得する状
態取得部と、取得した表示状態から決定した解像度・合
成方法情報信号を前記映像入力部へ出力する解像度・合
成方法決定部を有したこと特徴とする映像表示処理シス
テム。
【請求項１８】複数の映像源を接続可能な映像表示処理
装置であって、受信した解像度・合成方法情報信号に従
って接続された前記複数の映像源の各映像の解像度変換
および合成方法を制御する解像度変換・合成方法制御部
と、各映像を前記解像度変換・合成方法制御部により指
定された解像度に変換する解像度変換部と、解像度変換
後の複数の映像を前記解像度変換・合成方法制御部によ
り指定された方法で１つの映像として合成し出力する合
成部とを有した映像表示処理装置。