JP2005033763A - 送信装置、画像処理システム、画像処理方法、プログラム、及び記録媒体 - Google Patents

送信装置、画像処理システム、画像処理方法、プログラム、及び記録媒体 Download PDF

Info

Publication number
JP2005033763A
JP2005033763A JP2004070692A JP2004070692A JP2005033763A JP 2005033763 A JP2005033763 A JP 2005033763A JP 2004070692 A JP2004070692 A JP 2004070692A JP 2004070692 A JP2004070692 A JP 2004070692A JP 2005033763 A JP2005033763 A JP 2005033763A
Authority
JP
Japan
Prior art keywords
video signal
block
area
predetermined
rectangular area
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
JP2004070692A
Other languages
English (en)
Inventor
Takashi Watanabe
崇 渡辺
Tsuyoshi Maeda
剛志 前田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Panasonic Holdings Corp
Original Assignee
Matsushita Electric Industrial Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Matsushita Electric Industrial Co Ltd filed Critical Matsushita Electric Industrial Co Ltd
Priority to JP2004070692A priority Critical patent/JP2005033763A/ja
Publication of JP2005033763A publication Critical patent/JP2005033763A/ja
Withdrawn legal-status Critical Current

Links

Images

Landscapes

  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Projection Apparatus (AREA)

Abstract

【課題】 PC等の画面をプロジェクター等の表示装置との間をネットワークを介して映像信号を高速に、正確に伝送する手段、システムを供給する。
【解決手段】
所定の数のブロックに区域分けされた各フレームで構成された映像信号の所定のフレームの各ブロック毎に、それらのブロックと、それらのブロックに対応する、所定のフレームの直前のフレームの各ブロックとを比較し、異なる画素値の領域を含む矩形領域を決定する領域決定手段15と、(1)その決定された矩形領域(2)またはその決定された矩形領域から所定の規則を適用して得られる矩形領域に含まれる映像信号を取り出す取り出し手段16と、取り出し手段により取り出された映像信号を出力する出力手段17とを備える。
【選択図】 図3

Description

本発明は、映像信号を画像処理して出力する送信装置、画像処理システム、画像処理方法、プログラム、及び記録媒体に関するものである。
近年、PCの普及とともにインターネットやイントラネットによるワイヤード/ワイヤレスのLANの普及と環境の整備が進んだ。液晶プロジェクターや大型ディスプレイ等にPCの画面を表示を行い、プレゼンテーション等が盛んに行われている。ところが、PCと液晶プロジェクター等を接続する映像信号ケーブルは一般に太くて取り扱いが面倒である。また、プレゼンテーションを行う上でノートPCをプレゼンテーションを行うホールまで運んでから行うことが多かった。このため、イントラネット等のネットワークを使用し、PCの持ち運びや環境の再構築を必要としない、ワイヤレス/ワイヤードのLAN通信によるPC画面のリアルタイム伝送が求められている。
PCの画面を液晶プロジェクターへワイヤレスで伝送するシステムとしては特許文献1で開示されたシステムがある。このシステムはPCからの映像信号を符号化を行い送信装置から信号の送信を行い、受信部で受信した信号を復号し、復号化された映像信号をプロジェクターから投影を行う。この時、フレーム間で比較を行い前フレームから変わった部分のみを伝送する。
図15は従来の問題を示したモデル図である。61は画面データ持っているPC(パーソナルコンピュータ)である。62はPCの画面データそのものである。63は前フレームとの比較の結果、差分値が検出された領域と見なされ、その中に含まれる映像信号が全て伝送される伝送領域である。この領域内の画像データが伝送される。64は前フレームとの比較の結果、差分値が検出された差分領域である。
前フレームとの差分値が検出された領域(以降、差分領域とする)を算出した後、算出された差分領域64を全て含む最小の矩形領域を伝送領域63として求め、この伝送領域63に含まれる部分の映像信号を全て伝送する。
また、図16は、図15の画面データ62の別の例である。図16において、62aは、画面データそのものである。64aは、前フレームとの比較の結果、差分値が検出された差分領域である。63aは、前フレームとの比較の結果、差分値が検出された領域と見なされ、その中に含まれる映像信号が全て伝送される伝送領域である。
前フレームとの差分値が検出された領域すなわち差分領域64aは、図16に×印で示すように点状に分布しているが、このように点状に分布している場合でも差分領域64aと呼ぶことにする。画面62aの場合も、画面62の場合と同様に処理される。すなわち、差分領域64aを算出した後、 算出された差分領域64aを全て含む最小の矩形領域を伝送領域63aとして求め、この伝送領域63aに含まれる部分の映像信号を全て伝送する。
特開平10−145796号公報
しかしながら上記の構成では、前フレームと比較して画素値が異なる差分領域を算出するために、前フレームと画素が変わった領域の座標を差分領域とする場合、これらの座標の最大値と最小値の間の領域が伝送領域となる。このとき、図15や図16に示すように、差分領域が2つ以上存在し、離れた場所にあるとき、差分領域ではない領域、つまり、前のフレームと画素が同じ画像も伝送領域として捕らえてしまう。例えば、図15では、伝送領域63が、差分領域64以外のかなり広い領域を含んでいる。このことにより、伝送する画像データの量が増えてしまい、トラフィックによる負荷が増大し、リアルタイム伝送に必要な即時性が損なわれる、と言う問題点を有していた。
すなわち、従来のシステムでは、伝送する画像データの量が増えてしまい、トラフィックによる負荷が増大し、リアルタイム伝送に必要な即時性が損なわれるという課題がある。
本発明は上記課題を考慮し、伝送する画像データの量が増えることなく、トラフィックによる負荷が増大せず、リアルタイム伝送に必要な即時性が損なわれない送信装置、画像処理システム、画像処理方法、プログラム、及び記録媒体を提供することを目的とするものである。
上述した課題を解決するために、第1の本発明は、所定の数のブロックに区域分けされた各フレームで構成された映像信号の所定のフレームの各ブロック毎に、それらのブロックと、それらのブロックに対応する、前記所定のフレームの直前のフレームの各ブロックとを比較し、異なる画素値の領域を含む矩形領域を決定する領域決定手段と、
(1)その決定された矩形領域(2)またはその決定された矩形領域から所定の規則を適用して得られる矩形領域に含まれる映像信号を取り出す取り出し手段と、
前記取り出し手段により取り出された映像信号を出力する出力手段とを備えた、送信装置である。
また、第2の本発明は、所定の数のブロックに区域分けされた各偶数フィールド及び奇数フィールドで構成された映像信号の所定の偶数フィールドまたは奇数フィールドの各ブロック毎に、それらのブロックと、それらのブロックに対応する、前記所定の偶数フィールドまたは奇数フィールドの直前の偶数フィールドまたは奇数フィールドの各ブロックとを比較し、異なる画素値の領域を含む矩形領域を決定する領域決定手段と、
(1)その決定された矩形領域(2)またはその決定された矩形領域から所定の規則を適用して得られる矩形領域に含まれる映像信号を取り出す取り出し手段と、
前記取り出し手段により取り出された映像信号を出力する出力手段とを備えた、送信装置である。
また、第3の本発明は、前記所定の規則とは、横または縦方向に隣接する前記所定のブロックがともに前記領域決定手段で決定された矩形領域を有する場合、その横または縦方向に隣接する前記所定のブロックの矩形領域がともに含まれるような矩形領域を生成する規則である、第1また2の本発明の送信装置である。
また、第4の本発明は、前記横または縦方向に隣接する前記所定のブロックの矩形領域がともに含まれるような領域とは、前記横または縦方向に隣接する前記所定のブロックの矩形領域をともに含む最小の矩形領域である、第3の本発明の送信装置である。
また、第5の本発明は、前記所定の規則とは、横または縦方向に隣接する前記所定のブロックがともに前記領域決定手段で決定された矩形領域を有し、それらの矩形領域が横または縦方向で接している場合、その横または縦方向に隣接する前記所定のブロックの矩形領域がともに含まれるような矩形領域を生成する規則である、第1または2の本発明の送信装置である。
また、第6の本発明は、前記横または縦方向に隣接する前記所定のブロックの矩形領域がともに含まれるような矩形領域とは、前記横または縦方向に隣接する前記所定のブロックの矩形領域をともに含む最小の矩形領域である、第5の本発明の送信装置である。
また、第7の本発明は、前記取り出し手段は、取り出された前記映像信号を符号化する符号化手段を有し、
前記出力手段は、符号化された前記映像信号を出力する、第1または2の本発明の送信装置である。
また、第8の本発明は、前記各所定のブロックは、前記送信された映像信号を受信する受信装置がその映像信号を表示する際に走査する方向に直交する方向を区域分けするように構成されている、第1または2の本発明の送信装置である。
また、第9の本発明は、前記映像信号は、映像信号発生装置によって発生されたものであり、
前記各所定のブロックのサイズは、前記映像信号発生装置の画面解像度に応じて変更される、第1または2の本発明の送信装置である。
また、第10の本発明は、前記映像信号は、映像信号発生装置によって発生されたものであり、
前記映像信号発生装置は、パーソナルコンピュータである、第1または2の本発明の送信装置である。
また、第11の本発明は、所定の数のブロックに区域分けされた各フレームで構成された映像信号を発生する映像信号発生装置と、
前記映像信号発生装置が発生した映像信号の所定のフレームの各ブロック毎に、それらのブロックと、それらのブロックに対応する、前記所定のフレームの直前のフレームの各ブロックとを比較し、異なる画素値の領域を含む矩形領域を決定する領域決定手段と、(1)その決定された矩形領域(2)またはその決定された矩形領域から所定の規則を適用して得られる矩形領域に含まれる映像信号を取り出す取り出し手段と、前記取り出し手段により取り出された映像信号を送信する送信手段とを有する送信装置と、
前記送信装置から送信された映像信号を出力する出力手段を有する受信装置とを備えた、画像処理システムである。
また、第12の本発明は、所定の数のブロックに区域分けされた各偶数フィールド及び奇数フィールドで構成された映像信号を発生する映像信号発生装置と、
前記映像信号発生装置が発生した映像信号の所定の偶数フィールドまたは奇数フィールドの各ブロック毎に、それらのブロックと、それらのブロックに対応する、前記所定の偶数フィールドまたは奇数フィールドの直前の偶数フィールドまたは奇数フィールドの各ブロックとを比較し、異なる画素値の領域を含む矩形領域を決定する領域決定手段と、(1)その決定された矩形領域(2)またはその決定された矩形領域から所定の規則を適用して得られる矩形領域に含まれる映像信号を取り出す取り出し手段と、前記取り出し手段により取り出された映像信号を送信する送信手段とを有する送信装置と、
前記送信装置から送信された映像信号を出力する出力手段を有する受信装置とを備えた、画像処理システムである。
また、第13の本発明は、前記取り出し手段は、取り出された前記映像信号を符号化する符号化手段を有し、
前記送信手段は、符号化された前記映像信号を送信し、
前記受信装置は、前記送信装置から送信された符号化された映像信号を前記符号化手段の符号化方式に対応する方式で復号する復号化手段を有し、
前記出力手段は、前記復号化手段により復号化された映像信号を出力する、第11または12の本発明の画像処理システムである。
また、第14の本発明は、前記復号化手段と、前記出力手段とは、同時に実行される、第13の本発明の画像処理システムである。
また、第15の本発明は、前記送信装置は、前記映像信号発生装置を兼ねており、
前記映像信号発生装置及び前記送信装置は、パーソナルコンピュータであり、
前記受信装置は、液晶プロジェクターである、第11または12の本発明の画像処理システムである。
また、第16の本発明は、前記送信装置は、前記映像信号発生装置を兼ねており、
前記映像信号発生装置及び前記送信装置は、パーソナルコンピュータであり、前記受信装置は、ネットワーク機能を搭載したDLPプロジェクターである、第11または12の本発明の画像処理システムである。
また、第17の本発明は、所定の数のブロックに区域分けされた各フレームで構成された映像信号の所定のフレームの各ブロック毎に、それらのブロックと、それらのブロックに対応する、前記所定のフレームの直前のフレームの各ブロックとを比較し、異なる画素値の領域を含む矩形領域を決定する領域決定ステップと、
(1)その決定された矩形領域(2)またはその決定された矩形領域から所定の規則を適用して得られる矩形領域に含まれる映像信号を取り出す取り出しステップと、
前記取り出しステップにより取り出された映像信号を出力する出力ステップとを備えた、画像処理方法である。
また、第18の本発明は、所定の数のブロックに区域分けされた各偶数フィールド及び奇数フィールドで構成された映像信号の所定の偶数フィールドまたは奇数フィールドの各ブロック毎に、それらのブロックと、それらのブロックに対応する、前記所定の偶数フィールドまたは奇数フィールドの直前の偶数フィールドまたは奇数フィールドの各ブロックとを比較し、異なる画素値の領域を含む矩形領域を決定する領域決定ステップと、
(1)その決定された矩形領域(2)またはその決定された矩形領域から所定の規則を適用して得られる矩形領域に含まれる映像信号を取り出す取り出しステップと、
前記取り出しステップにより取り出された映像信号を出力する出力ステップとを備えた、画像処理方法である。
また、第19の本発明は、第1の本発明の送信装置の、所定の数のブロックに区域分けされた各フレームで構成された映像信号の所定のフレームの各ブロック毎に、それらのブロックと、それらのブロックに対応する、前記所定のフレームの直前のフレームの各ブロックとを比較し、異なる画素値の領域を含む矩形領域を決定する領域決定手段と、
(1)その決定された矩形領域(2)またはその決定された矩形領域から所定の規則を適用して得られる矩形領域に含まれる映像信号を取り出す取り出し手段としてコンピュータを機能させるためのプログラムである。
また、第20の本発明は、第2の本発明の送信装置の、所定の数のブロックに区域分けされた各偶数フィールド及び奇数フィールドで構成された映像信号の所定の偶数フィールドまたは奇数フィールドの各ブロック毎に、それらのブロックと、それらのブロックに対応する、前記所定の偶数フィールドまたは奇数フィールドの直前の偶数フィールドまたは奇数フィールドの各ブロックとを比較し、異なる画素値の領域を含む矩形領域を決定する領域決定手段と、
(1)その決定された矩形領域(2)またはその決定された矩形領域から所定の規則を適用して得られる矩形領域に含まれる映像信号を取り出す取り出し手段としてコンピュータを機能させるためのプログラムである。
また、第21の本発明は、第19または20の本発明のプログラムを担持した記録媒体であって、コンピュータにより処理可能な記録媒体である。
本発明によれば、離れた位置に存在する差分領域を別々の領域と捕えることができるため、差分領域ではない領域を伝送することが少なくなると言う効果が得られる。
本発明は、伝送する画像データの量が増えることなく、トラフィックによる負荷が増大せず、リアルタイム伝送に必要な即時性が損なわれない送信装置、画像処理システム、画像処理方法、プログラム、及び記録媒体を提供することが出来る。
以下に、本発明の実施の形態を図面を参照して説明する。
(実施の形態1)
図1は、本発明の画像処理方法を実施するシステムの形態を示す図である。11はワイヤアレスLANのインターフェースにより信号の伝送を行うことのできるPC(パーソナルコンピュータ)である。12は信号を受信するワイヤレスLANインターフェースを持ち、受信した信号を復号化し、得られた画像データを投影できる液晶プロジェクターである。13は、液晶プロジェクターにより投影された画像を表示するスクリーンである。すなわち、本実施の形態は、映像信号を発生させるPC等の映像信号発生装置、及びプロジェクターやディスプレイ等の表示装置を備えた映像表示システムに係り、特にワイヤレスLAN(Local Area Network)等によってPCやカメラ等で発生した映像信号を表示装置へ送信して表示を行う、ネットワーク入力方式の映像表示システムに関する。
このシステムでは、PC11はPC11のディスプレイに表示されている画面データの取得を行る。ここで、画面データは、複数のフレームで構成された映像信号である。そして、PC11は、この画面データを動画像と見なし直前のフレームと比較して差分が生じる領域(以降、差分領域と言う)の検出を行い、検出された差分領域を含む最小の矩形領域である伝送領域を求める。そして、画面データからその伝送領域の画像データの抽出を行う。ここで抽出された画像データを圧縮等の符号化を行い、符号化されたデータの送信をLANインターフェースを介して行う。この動作をPC11が行う。
また、プロジェクター12はLANのインターフェースを介して信号を受信し、受信した信号を復号化し画像データを取得し、その画像データにより更新された画像データの投影を行う。
また、ここではプロジェクター12を例にしているが、CRTディスプレイやプラズマディスプレイ、液晶ディスプレイやDLPプロジェクター等の表示機器での代用ができる。
また、この例ではLANインターフェースとしているが、このLANの形態はワイヤレスでもワイヤードでも対応できる。また、ワイヤレスLANの場合、ピアツーピアのアドホックモードでもインフラストラクチャーモードでも動作する。
また、ここではPC11を例にしているが、LANのインターフェースを持ち画面データを持つ端末や携帯電話のような小型の携帯端末でも良い。
また、映像信号を発生させる装置として、TVやVTR等から画像データを取得し直前のフレームとの差分領域を検出、抽出を行い、その差分領域を含む最小の矩形領域である伝送領域を求めその伝送領域内の画像データを取得し、符号化を行いネットワークへ送信を行う機能を持った小型のアタッチメントパーツでも良い。また、これらの機能を有したTVやVTRでも良い。
また、ここではLANのインターフェースを例にしているが、Bluetoothなどのようにネットワークを構築できるシステムへのインターフェースでも良い。
図3は、PC11の構成を示すブロック図である。
14は、PC11の画面データを取得する画面データ取得手段である。15は、各ブロック毎に伝送領域を算出する領域決定手段15である。16は、決定された伝送領域に含まれる映像信号を取り出す取り出し手段16である。17は、取り出された映像信号を送信する出力手段である。なお、これらの手段は、PC11のメモリに格納されたプログラムとそのプログラムを実行するCPUによって実現されても構わない。
このシステムのPC11の画面を転送する方法について説明する。図2では、本発明の実施の形態の画像信号の送信の方法の手順を示すフローチャートである。STEP11は、画面データ取得手段14がPC11の画面データを一括でキャプチャし、表示されている画面を映像データとしてメモリ内に取得するステップである。
STEP12は、領域決定手段15が取得した画像データをブロック単位に区域分けを行うステップである。
STEP13は、領域決定手段15が各ブロック内で直前のフレームとの差分値を求め差分領域の検出を行い、検出された差分領域を含む最小の矩形領域である伝送領域を求めるステップである。
STEP14は、取り出し手段16が検出された伝送領域内の画像データを抽出し、抽出された画像データを可逆符号化形式、または、不可逆符号化形式により画像データを圧縮し、転送に最適な符号化を行うステップである。
STEP15は、出力手段17が符号化された信号データの送信を行うステップである。
STEP16は、領域決定手段15が、現在伝送領域を算出したブロックが画面中の最後のブロックであるか、全てのブロックで伝送領域の算出を行ったかを判別するステップである。このステップで全ブロックの伝送領域の検出が行われていない場合はSTEP13へ処理を戻す。
STEP17は、転送の終わった画面データの破棄を行うステップである。
STEP18は、この画面転送システムを用いた処理を終了させるかの判定を行うステップである。
STEP11では、画面データ取得手段14がPC11の画面データの取得を行っている。通常、PC11の画面のデータを持つメモリ領域からOS(Operating System)に対応したAPI(Application Programming Interface)を用いて画面データをメインメモリへコピーする。
この時、画面データの取得(STEP11)では、画面を一括で取得する。よって、画面を分割して取り込んだときに発生する画面ワレを防ぐことができる。また、デバイスドライバやカーネルから表示デバイスへ画面の変更を行うために送られる信号を検出するまで、画面の取り込み処理を待つ処理を入れて、画面の変更が無い場合のPC11の負荷を下げることもできる。また、OSへ依存するAPIのみでなくグラフィックドライバから画面データの新しく書き換えられた所の情報を取得してその領域の画面データのみを取得しても有用である。また、複数のモニターが存在する場合、そのうちの一つのモニターの画像データか、そのうちのいくつかのモニターの画像データか、もしくはそ全ての画像データの情報を取得するのか、ユーザーからの設定によって変更できる。
STEP12では、領域決定手段15がブロック単位での区域分けを行う。抽出した画像データの符号化方式にもよるが、例えばJPEG(Joint Photographic Experts Group)方式の様にDCT(Discrete Cosine Transform)のような行列による8×8の直行変換を行う場合、最低でも8ピクセル×8ピクセルの大きさが必要となる。したがって、この場合ではブロックの大きさは最小単位が8ピクセルで8の倍数の大きさのブロックでの検出を行った方が効率は良い。
また、画像を出力するプロジェクター等の表示形式にもよるが復号化された画像が走査ライン順に表示されるデバイスの場合、横方向のみのブロック区域分けを行った方が画面の切り替わりがスムーズとなる。なお、横方向のみのブロック区域分けを行う場合については、後述する。
しかし、ブロックのサイズを小さくしブロックによる区域分けを多く行う場合、転送でのオーバーヘッドが増えるため転送に時間を要し、即時性を損なう。そして、ブロックのサイズが大きくブロックによる区域分けを少なく行う場合、従来と同じように差分領域ではない画像データを転送することが増え、即時性を損なう恐れがある。
例えば、PC11の画面解像度が縦768ピクセル横1024ピクセルの場合、区域分けを行うブロックの大きさは横1024ピクセル縦96ピクセルが最適である。また、PC11の画面解像度が縦600ピクセル横800ピクセルの場合、ブロックの大きさは縦150ピクセル横800ピクセルが最適である。また、それ以外の画面解像度の場合、画面解像度の縦のピクセル数が8×8で割り切れるものはブロックサイズの縦が画面解像度の縦の1/8とする。
また、PC11の画面解像度の縦が、先ほど例で述べたように縦600ピクセル×横800ピクセルのようにが8×8で割り切れなかった場合、8×5で割り切れる場合、ブロックのサイズ1/5とする。また、それ以外の場合はリサイズを行い、アスペクト比を変更しないように割り切れる値までリサイズを行う、または、黒のラインでサイズの変更を行う等の処理を行う。
また、画面解像度の縦、横のサイズが8で割り切れない場合、同じようにリサイズ等の処理を行う。この処理を行わないと、JPEGのDCTにおける処理について画素補完の処理が加わるため処理に時間を要するようになり即時性を損なう。
STEP13では、領域決定手段15が画面データをブロックによる区域分けを行ったブロック毎に直前のフレームとの差分領域の検出を行い、検出された差分領域から伝送領域を算出する。以下に、伝送領域の算出について図を用いて説明を行う。
図4では実施の形態の画面のブロックの区域分けによる伝送領域の検出方法についてのモデルを示す。11は画面を持つPCである。22はPCの画面である。23はPCの画面の区域分けをこのブロックのサイズで行うブロックである。この例ではブロックのサイズを縦が画面解像度の縦の1/4、横が画面解像度の横の1/4である。25は直前のフレームと比較したとき差分が検出される差分領域である。なお、図4では、差分領域25は、×印で示されるように点状に分布しているが、差分領域25は点状に分布していても構わないし、隣接する複数の画素から構成されて面積を有するように分布していても構わない。26は、一つのブロック23内の差分領域を全て含む最小の矩形領域である伝送領域である。
画面22をブロック23単位で処理する。すなわち、領域決定手段15は、ブロック23毎に、ブロック23内で直前のフレームの画像データと現在の画面データとを比較し、差分が検出される領域すなわち差分領域25を検出する。そして、一つのブロック23内の検出した差分領域25を含む最小の矩形領域である伝送領域26を導き出す。すなわち、伝送領域26は、差分領域25の最小のX座標と最大のX座標を求め、また同時に差分領域25の最小のY座標と最大のY座標とを求め、最小のX座標と最小のY座標で決まる点と最大のX座標と最大のY座標とで決まる点とを結ぶ線分を対角線とする矩形領域として求める。
この際、ブロック23による区域分けを行わない場合、差分領域の右上と左下の座標から転送を行う伝送領域を算出した場合、差分領域では無い、つまり、伝送する必要のない画像データまで転送してしまい、即時性を損ない、ネットワークリソースの無駄遣いになる恐れがある。
また、検出された差分領域の輪郭を抽出し、各差分領域でのグループ化、組み合わせ処理を行う場合、これらの処理を行う上での演算に時間がかなりかかるため、リアルタイム性、即時性が損なわれる。
従って、本実施の形態では、領域決定手段15が画面22をブロック23単位で処理するために、上記のような問題は発生しない。
STEP14は、取り出し手段16が検出された差分領域25を含む最小の矩形である伝送領域26の画像データを抽出し、抽出された画像データの符号化を行う。まず、取り出し手段16は、ブロック23内の検出された差分領域25を含む最小の矩形領域である伝送領域26を取得し、その伝送領域26の画像データの抽出を行う。
ここで抽出された画像データは転送に適した形で符号化される。ホワイトボードのデータ(圧縮前の元のデータ)をそのまま転送した場合、データが非常に大きくなるため転送に時間が必要であるのと、ネットワークリソースを占有するため、ネットワークへの負荷が重くなる。そのため、データを圧縮することで転送するデータを減らすことで、転送にかかる時間とネットワークへの負荷を少なくすることができる。
圧縮の形態に関しては、ブロック23毎に状況に応じて画像の可逆圧縮、不加逆圧縮を使い分け、アプリケーションを提供することができる。また、JPEG符号化の場合、JPEGの圧縮率を変えることができ、用途に応じて変更させる、または、自動的に状況を判別し圧縮率を変えることが有用である。
STEP15では、出力手段17が伝送領域26から抽出された画面データを符号化されたデータをネットワークを介して転送を行う。
STEP16では、現在、伝送領域26の検索、抽出、符号化、転送を行ったブロック23が最後のブロックであるかの判断を行っている。まだ、転送を行っていないブロック23が存在した場合は、そのブロック23へ処理を移してSTEP13から処理を行う。このブロックの操作順序は左上からラスタ順に走査していく方式が最適と考える。
STEP17では取得した画像データを保存していたメモリ領域や抽出してきた画像データ、送信が終わったデータ領域を開放する。この処理を行うことによって、PC21側のシステムリソースの枯渇を防ぐことができ、メモリを有効に使うことができる。STEP18では、ユーザーから終了のシグナルがあったかどうかを判別する。ユーザーから終了のシグナルがあった場合、アプリケーション終了させなければいけないため、終了する処理へと移る。終了のシグナルが無かった場合、処理を続行させなければいけないため、次の画面データの取得を行い、順次繰り返す。シグナルが無い場合はSTEP11へ処理を移し、実行する。また、ブロックでの伝送領域の算出を全ブロックで行ってから、抽出、符号化、転送を行っても良い。この抽出処理の際、隣接するブロック間でブロック間にまたがる伝送領域があった場合、ブロック間の相関関係を用いて1つの伝送領域とすることができる。なお、この点については、後述する実施の形態3で詳細に説明する。
このように本実施の形態では、画面をブロック単位で区域分けを行い、そのブロック単位で前フレームとの差分領域を求める。このため、離れた位置に存在する差分領域を別々の領域と捕えることができるため、差分領域ではない領域を伝送することが少なくなる。
なお、上述したように、画像を出力するプロジェクター等の表示形式にもよるが復号化された画像が走査ライン順に表示されるデバイスの場合、横方向のみのブロックの区域分けを行った方が画面の切り替わりがスムーズとなる。図5にこのような横方向のみのブロックの区域分けを行った場合の画面例を示す。
図5において、画面22aの左から右への方向が走査ラインの方向である。この場合各ブロック23は、送信された映像信号を受信するプロジェクター12がその映像信号を表示する際に走査する方向に直交する方向を区域分けするように構成されている。すなわちブロック23の横方向の長さは、画面22aの横方向の幅と一致し、ブロック23の縦方向の長さは、画面22aの縦方向幅を8等分に区域分けした長さになっている。また、図5において、25aは、差分領域であり、26aは伝送領域である。
さらに、本実施の形態では、画面データは、複数のフレームで構成された映像信号であるとして説明したが、これに限らず、複数の偶数フィールド及び奇数フィールドで構成された映像信号であってもかまわない。画面データが複数の偶数フィールド及び奇数フィールドで構成された映像信号の場合には、領域決定手段15は、各偶数フィールド及び奇数フィールドで構成された映像信号の所定の偶数フィールドまたは奇数フィールドの各ブロック毎に、それらのブロックと、それらのブロックに対応する、所定の偶数フィールドまたは奇数フィールドの直前の偶数フィールドまたは奇数フィールドの各ブロックとを比較し、異なる画素値の領域を含む矩形領域を決定すればよい。
さらに、本実施の形態では、画面データは、PC11の画面に表示されている映像信号を画面データ取得手段14によって取得されたものであるとして説明したが、PC11に外部から入力されてくる映像信号であってもかまわない。
さらに、本実施の形態では、取り出し手段16は、伝送領域26の画像データを抽出し、抽出された画像データの符号化を行うとして説明したが、これに限らない。取り出し手段16が、伝送領域26の画像データを抽出し、抽出した画像データをそのまま出力手段17に出力してもかまわない。すなわち、画像データを符号化せずにプロジェクター12に送信してもかまわない。
さらに、本実施の形態では、出力手段17が伝送領域26の画像データをプロジェクター12に送信するとして説明したが、これに限らず、出力手段17がハードディスクなどの記録メディアに伝送領域26の画像データを出力しても構わない。
さらに、本実施の形態では、伝送領域26が一つのブロック23に含まれる差分領域25を全て含む最小の矩形領域であるとして説明したが、これに限らず、伝送領域26が一つのブロック23に含まれる差分領域25を全て含む矩形領域でありさえすれば、最小の矩形領域でなくても構わない。
さらに、本実施の形態の画像データは本発明の映像信号の例であり、本実施の形態の差分領域は、本発明の領域の例であり、本実施の形態の伝送領域は本発明の矩形領域の例である。
(実施の形態2)
図1では、本発明のシステムの実施の形態を示す図である。11はワイヤアレスLANのインターフェースにより信号の伝送を行うことのできるPCである。12は信号を受信するワイヤレスLANインターフェースを持ち、受信した信号を復号化し、得られた画像データを投影できる液晶プロジェクターである。13は、液晶プロジェクターにより投影された画像を表示するスクリーンである。なお、PC11、液晶プロジェクター12は、第1の実施の形態と同様のものである。また、PC11の構成は、実施の形態1と同様に図3で示される。
このシステムでは、PC11はPC11のディスプレイに表示されている画面データ、または、セカンダリモニターが存在する場合は、プライマリモニターまたはセカンダリモニター、もしくは、その両方の画面データの取得を行い、取得した映像信号をブロックに区域分けし、この画面データを動画像と見なし直前のフレームと比較して差分が生じる領域(以降、差分領域と言う)の検出を行い、一つのブロック内の差分領域を全て含む最小の矩形領域である伝送領域を算出し、画面データからその伝送領域の画像データの抽出を行う。ここで抽出された画像データを圧縮等の符号化を行い、符号化されたデータの送信をLANインターフェースを介して行う。この動作をPC11が行う。
また、プロジェクター12はLANのインターフェースを介して信号を受信し、受信した信号を復号化し画像データを取得し、その画像データにより更新された画像データの投影を行う。
また、ここではプロジェクター12を例にしているが、CRTディスプレイやプラズマディスプレイ、液晶ディスプレイやDLPプロジェクター等の表示機器での代用ができる。
また、この例ではLANインターフェースとしているが、このLANの形態はワイヤレスでもワイヤードでも対応できる。また、ワイヤレスLANの場合、ピアツーピアのアドホックモードでもインフラストラクチャーモードでも動作する。
また、ここではPC11を例にしているが、LANのインターフェースを持ち画面データを持つ端末や携帯電話のような小型の携帯端末でも良い。
また、映像信号を発生させる装置として、TVやVTR等から画像データを取得し直前のフレームとの差分領域を検出、抽出を行い、抽出された差分領域を含む最小の矩形領域である伝送領域を算出し、その伝送領域内の画像データを取得し、符号化を行いネットワークへ送信を行う機能を持った小型のアタッチメントパーツでも良い。また、これらの機能を有したTVやVTRでも良い。また、ここではLANのインターフェースを例にしているが、Bluetoothなどのようにネットワークを構築できるシステムへのインターフェースでも良い。
本実施の形態では、領域決定手段15が動画像の直前のフレームとの差分の存在する差分領域を検出及び抽出し、抽出した差分領域を含む最小の矩形領域である伝送領域を算出することをブロック単位で行い、抽出された伝送領域に含まれる映像信号のみを出力手段17がワイヤレス/ワイヤードのLANを用いて伝送する。
画面データの取得に関しては、画面データ取得手段14がPC11で表示されている画面データをメインメモリ上にコピーする。このとき、分割して画面データを取得するのではなく、一括して画面データの取得を行う。このことにより、動画像のように動いている画面の区域分け領域の境目で画像が変化してしまう画面ワレを防ぐことができる。PC11ではこれらの処理を行う。
また、PC11ではなく映像信号を発生させるTVチューナーやDVDプレーヤー、VTRでもかまわないが、この際、映像信号をブロックによる区域分けを行い、前後のフレーム間の差分領域を検出し、一つのブロックに含まれる差分領域を全て含む最小の矩形領域である伝送領域を算出し、その算出した伝送領域内の画像データを抽出し、符号化を行い送信する、と言う処理を実行するための装置を内蔵、または、付属させることが必要となる。
図7はPC11からネットワークを介して転送されたデータを表示するプロジェクター12のブロック図である。12がプロジェクター本体である。32Aは転送されてきたデータ、処理を行うプログラム等を保持、保存するためのメモリである。32Bは符号化されて伝送されてきたデータを復号化するためのデコーダーである。32Cはデコーダーが復号した画像データをスクリーンに向けて投射するための投影部である。32DはLANを介した信号を受信するためのLANインターフェースである。
このプロジェクター12での処理の手順を図6に示す。
STEP21では、LANインターフェース32DがLANを介して送信されてくるデータを受信しメモリ32Aへ蓄える。
STEP22では、メモリ32Aに蓄えられた受信したデータをデコーダー32Bへ送りデコーダー32Bが、そのデータを復号化する。
STEP23では、投影部32Cが復号化された画像データを表示デバイスによる表示を行う。
このシステムでは、LANインターフェース32Dから信号が伝送されてくる。この時点では符号化が行われており、伝送時のヘッダー情報により画像の情報、エンコード形式等を判別し、そのデータを次の処理へ渡す。エンコード形式については細かい値については画像データのヘッダーに情報があるが、この信号をどのデコーダー32Bで復号化すればよいのか、の情報があればよい。受信データのヘッダー情報が示す形式のデコーダー32Bでの復号化を行う。
また、受信ステップ(STEP21)と復号化ステップ(STEP22)とをパラレルで処理を進めることのできるシステムであることが好ましい。表示ステップ(STEP21)では復号化された信号をビデオメモリとして確保したメモリ領域に復号化して取得できた画像データを書き込む。この書き込みが終了した時点で表示デバイスへシグナルを送り、表示デバイスはビデオメモリ内のデータの表示を行う。
図8では画面データをブロック単位で区域分けした処理の例を示す。このシステムでは受信ステップ(STEP21)を行っている間にデコーダー32Bによる処理を同時に行うことができる。これは、デコーダー32Bを司るチップとLANによる受信を司るチップが異なるからである。また、同一のチップにより処理を行う場合でも、TSS(Time Sharing System)等の時分割処理によるマルチプロセッシング処理を行うことにより、解決ができる。
画面を4ブロックによって区域分けした場合、送信側では1/4の画面データでの差分領域の検出、検出された差分領域からの伝送領域の算出、及び検出された画像データの符号化、伝送を行う。このため、受信側の処理は随時処理となる。
51Aは1つ目のブロックの画像データの受信動作である。51Bは1つ目のブロックの復号化処理である。復号化処理は信号を全て受信しなければ行うことはできない。また、ストリーミングムービー形式での伝送処理場合、受信しながら、受信したデータを即座にデコーダーに送り復号化を行う。
52Aは2つめのブロックの受信処理である。この時、51Bの処理とは同時に行うことができる。52Bは2つめのブロックの復号化処理である。
53Aは3つ目のブロックの受信処理である。この時、53Aの処理は52Bの処理と同時に行われる。
54Aは4つ目のブロックの画像データの受信処理である。この時、53Bの処理と同時に行われる。54Bは4つ目のブロックの復号化処理である。
この例では受信処理の方が復号化処理よりも処理時間が長かったが、逆の場合、受信したデータをバッファに貯めておくことで受信処理を止めることなく処理を行うことができる。このシステムでは上記のような処理を行うことのできる装置が必要となる。
なお、本実施の形態のプロジェクター12は、上記のような構成及び動作をするものに限らず、従来の技術で用いられるプロジェクターを用いることも可能である。本実施の形態では、伝送領域が1フレームにつき複数現れるだけであって、従来の技術で用いられるような決まった伝送領域の符号化された映像信号を受信する機能を持っているプロジェクターであれば、本実施の形態に適用可能である。
(実施の形態3)
図9において、101はPC(パーソナルコンピュータ)である。PCはディスプレイ装置を持ち、ディスプレイ装置の中に画面を表示する。102は表示された画面である。そして、連続で画面を表示している時、103a、103b、103c、103d、103e、103f、103g、103hは、それぞれ、直前のフレームと比較した結果、直前のフレームから変化のあった部分を含む最小の矩形領域である。この領域を実施の形態3でも伝送領域と呼ぶ。画面を任意の数に区切ったブロック内で伝送領域を検出し、それぞれで伝送した場合、伝送時のオーバーヘッドがかかり効率が良くない。そのため、隣接するブロック内の伝送領域のグループ化を行い、グループ単位で行う。このことにより伝送時のオーバーヘッド削減だけではなく、受信側での画面の表示時に表示ズレを防ぐこともできる。111、112は、伝送領域103a、103b、103c、103d、103e、103f、103g、103hをこのようにしてグループ化することによって生成したグループ化された伝送領域である。以下に、グループ化された伝送領域111、112を生成するためのグループ化のアルゴリズムについて、説明する。なお、グループ化アルゴリズムは、図3の領域決定手段15が実行するアルゴリズムである。
図10のように、画面をブロックに区域分けし、各ブロックに名前を付ける。左上から(0,0)、(1,0)・・・とする。そして、このブロック毎に伝送領域を検索し、上隣のブロックと左隣のブロックに伝送領域領域が存在した場合、隣の伝送領域とグループとする。この際の矩形座標の決定方法は、左上の座標を各矩形の左上の座標のうち最小の座標とし、右下の座標は各矩形の最大の座標とする。なお、図9で画面102に設けられた座標系の原点は、画面102の左上端であり、X軸は、画面102の左から右向きが正の向きであり、Y軸は、画面102の上から下向きが正の向きである。
図11は、この処理のフローチャートである。前提条件として、ブロックの区域分け数を横方向n、縦方向m とする(図10では簡単のため横方向4、縦方向4の区域分け数とした)。各ブロックは差分領域の有無を示すsig_flagと、現在、そのブロックが属しているグループのナンバーのパラメータを持つ。グローバルパラメータとして、GroupNoとして、伝送を行うグループの数を持つ。このGroupNoが0の時は、変化領域が存在しないため、伝送を行う必要な無い。
STEP301は、各ブロックのsig_flagパラメータとグループのナンバーを初期化を行うステップである。この時、XとYパラメータは、現在指し示すブロックの位置を示すパラメータである。
STEP302は、現在指し示しているブロック内で直前のフレームとの差分領域の検出を行い検出した差分領域から伝送領域を算出するステップである。
STEP303は、STEP302の実行結果からパラメータ判別を行うステップである。このブロック内に伝送領域が存在する場合はSTEP303へ、伝送領域の存在しない場合はSTEP310へ処理を送る。
STEP304はSTEP302での処理結果が「伝送領域あり」だったので、sig_flagにTRUEの値を入力するステップである。
STEP305は、右側に隣接するブロックのパラメータの判別を行うステップである。このとき、画面の右端に位置するブロックにおいては、この処理は行われない。右隣のブロックのsig_flagがTRUEであればSTEP306、FALSEであればSTEP307へ処理を送る。
STEP306は、現在注目しているブロックと左隣のブロックとをグループ化するステップである。そして、グループ化時の処理は、左隣のブロックと同じグループナンバーをブロックが持つパラメータに登録し、グループの矩形を、現在のブロック内の伝送領域と比較し、左上の座標を最小、右下の座標を最大、とする値をセットする。
STEP307では上側に隣接するブロックのパラメータ判別を行うステップである。このステップは左隣のブロックに伝送領域を存在する時と、画面の上端に位置するブロックでは行わない。上隣のブロックのsig_flagパラメータがTRUEであればSTEP309へ、FALSEであればSTEP310へ処理を送る。STEP308は、現在注目しているブロックと上隣のブロックとを、グループ化を行うステップである。このとき、そして、グループ化時の処理は、上隣のブロックと同じグループナンバーをブロックが持つパラメータに登録し、グループの矩形を、現在のブロック内の伝送領域と比較し、左上の座標を最小、右下の座標を最大、とする値をセットする。
STEP309は、隣接するブロックに伝送領域が存在しないため、新しいグループを生成するステップである。新しいグループを生成し、GroupNoパラメータをインクリメントする。そして、新しく生成したグループに現在注目しているグループの伝送領域を登録する。
STEP310は、注目するブロックを右隣のブロックへ移すステップである。
STEP311は注目するブロックが右端であったかを判別するステップである。変更前の注目ブロックが左端だった場合は、パラメータをインクリメントした結果が横方向の区域分け数以上になった場合は、右側に隣接するブロックが存在しないため、以前、注目していたブロックが左端に位置していたと判断することができる。このとき、パラメータ変更前の注目ブロックが、右端に位置していた場合はSTEP312へ、左端ではない場合はSTEP302へ、それぞれ処理を送る。
STEP312では、注目するブロックを1つ下の左端のブロックとするステップである。 STEP313では現在STEP312でパラメータを変更する前の注目ブロックが下端に位置していたかを判別するステップである。インクリメントした結果が縦方向の区域分け数以上の場合、パラメータ変更前の注目ブロックが下端に位置すると分かる。この時、パラメータ変更前の注目ブロックが下端に位置する場合は終了、下端ではない場合はSTEP302へ処理を送る。
図12を例にして説明する。図12において、102は図9に示したものと同じ画面である。この画面を今回は4×4のブロックに区域分けを行い、それぞれのブロックに名前をつける。初期化処理を行い、グループ化アルゴリズムを実施する。まず、(0,0)ブロックの伝送領域103aを算出する。このとき、このブロックの伝送領域矩形は(X1-1,Y1-1)-(X1-2,Y)となる。このブロックは、上方向と左方向に隣接するブロックが無いため、1つ目のグループを生成する。このグループを「グループ1」と呼ぶ。このグループ1に矩形(X1-1,Y1-1)-(X1-2,Y)を登録する。次に、(1,0)ブロックに注目する。このブロックの伝送領域103dは(X2-1,Y2-1)-(X2-2,Y2-2)である。左隣のブロックには伝送領域103aが存在するため、左隣のブロックの伝送領域が含まれるグループ1に、(1,0)ブロックの伝送領域を加える。左上の座標は、X1-1 < X2-2、Y1-1 > Y2-1なので(X1-1,Y2-1)となる。また、右下の座標は、X1-2<X2-2、Y>Y2-2なので(X2-2,Y)となる。
(2,0)ブロック、(3,0)ブロックにも同様の処理を行う。これらのブロックには伝送領域が存在しないため、グループ化処理は行われない。(0,1)(1,1)(2,1)(3,1)(0,2)(1,2)の順で同様の処理を行う。(2,2)ブロックの場合の処理では、このブロックには伝送領域103eが存在する。しかし、上方向、左方向に隣接するブロックには伝送領域が存在しないので、新しいグループ、「グループ2」を生成する。そして、全てのブロックの処理が終了した段階で、グループは2つ生成される。そして、伝送矩形は、グループ1がグループされた伝送領域111である(X1-1,Y2-1)-(X2-2,Y1-2)と、グループ2がグループ化された伝送領域112である(X3-1,Y3-1)-(Y3-2,Y3-2)となる。
このように、横または縦方向に隣接するブロックがともに領域決定手段15で決定された伝送領域を有する場合、その横または縦方向に隣接するブロックの伝送領域がともに含まれるような矩形領域をグループ化された伝送領域とすれば、伝送時のオーバーヘッドを小さくすることが出来る。
また、上記の方法では図12にあるような、伝送領域103a、103b、103cと伝送領域103dとは、繋がっていないが、同じグループであるグループ化された伝送領域111として伝送される。このとき、伝送領域103a、103b、103cと伝送領域103dとの間の領域は伝送する必要が無いが伝送されてしまう。この問題を解決するため、次の方式を行っても良い。
その方式とは、隣り合ったブロックの境界線を伝送領域が跨いでいるかを判別する方式である。このアルゴリズムのシーケンスを図13に示す。図13において、STEP501は初期化処理を行うステップである。X, Y, GroupNoのパラメータを全て0にして、各ブロックのパラメータを初期化する。
STEP502は、ブロック内で直前のフレームとの伝送領域を算出するステップである。
STEP503は、STEP502の処理結果から伝送領域の有無を検出し判別を行うステップである。注目ブロック内に伝送領域が存在する場合はSTEP504へ、存在しない場合はSTEP515へ処理を送る。
STEP504は注目しているブロック内の伝送領域が右隣のブロックとの境界線に接しているかを判別するステップである。このとき、伝送領域が右側に隣接するブロックとの境界線に接している場合はSTEP505へ、接していない場合はSTEP506へ処理を送る。
STEP505は注目ブロックの伝送領域が右側の境界線に接している事を示すパラメータを持たせる処理を行うステップである。このブロックが持つRight_sig_flagにTRUEのパラメータをセットする。
STEP506は、このブロック内の伝送領域が下方向に隣接するブロックとの境界線に接しているかを判別するステップである。このとき、このブロック内の伝送領域が下方向に隣接するブロックとの境界線に接している場合STEP507へ、接していない場合STEP508へ処理を送る。
STEP507は注目ブロックの伝送領域が下側の境界線に接している事を示すパラメータを持たせる処理を行うステップである。このブロックが持つBottom_sig_flagにTRUEのパラメータをセットする。
STEP508は注目ブロックの伝送領域が上方向に隣接するブロックとの境界線に接しているかどうかを判別するステップである。このとき、注目しているブロック内の伝送領域が下方向に隣接するブロックとの境界線に接している場合STEP509へ、接していない場合STEP511へ処理を送る。
STEP509は、このブロックが左端に位置していない、かつ、左隣のブロックの伝送領域が注目ブロックとの境界線に接しているかを判別するステップである。このとき、このブロックが左端に位置している場合、左隣のブロックは存在しないためパラメータの判別は行わずにSTEP511へ処理を送る。また、左隣のブロックの伝送領域が注目ブロックとの境界線に接しているかどうかは、左隣のブロックのRight_sig_flagパラメータをチェックし、このパラメータの値がTRUEであればSTEP510へ、このパラメータがFALSEならばSTEP511へ処理を送る。
STEP510は、注目しているブロック内の伝送領域を左隣のブロック内の伝送領域が属するグループへ追加するステップである。グループへの追加方法は前の方式と同様である。
STEP511は注目ブロック内の伝送領域が上方向に隣接するブロックとの境界線に接しているかをチェックするステップである。このとき、このブロック内の伝送領域が上隣のブロックとの境界線に接している場合はSTEP512へ、接していない場合はSTEP514へ処理を送る。
STEP512は現在、注目しているブロックが上端に位置していない、かつ、上隣のブロック内の伝送領域が現在の注目ブロックとの境界線に接しているかどうかを判別するステップである。現在、注目するブロックが上端に位置する場合、上方向に隣接するブロックは存在しないため、パラメータをチェックする必要は無い。この時はSTEP514へ処理を送る。また、このブロックが上端に位置していない場合、上方向に隣接するブロック内の差分領域が注目ブロックとの境界線に接しているかどうかを、上隣のBottom_sig_flagパラメータを用いて判別を行う。このとき、Bottom_sig_flagパラメータがTRUEの場合はSTEP513へ、FALSEの場合はSTEP514へそれぞれ処理を送る。
STEP513は上方向に隣接するブロック内の伝送領域が属するグループへ注目ブロック内の伝送領域を追加する。追加処理については、前方式と同様である。
STEP515は、注目ブロックを右のブロックへ移すステップである。Xパラメータをインクリメントする。
STEP516はXの値が横方向の区域分け数以上になっているかを判別するステップである。このとき、Xをインクリメントした値が横方向の区域分け数以上になる場合、パラメータを変更する前の注目していたブロックは右端に位置するブロックであることから、処理を右隣へ渡すことができない。このとき、パラメータの値が横方向区域分け数以上の場合STEP517へ、パラメータの値が横方向の区域分け数未満の場合STEP502へ処理を送る。
STEP517は、最右端まで行った処理を次のカラムの左端のブロックへ移す処理を行うステップである。Yパラメータの値をインクリメントし、Xパラメータの値を0にする。
STEP518はインクリメントしたYパラメータが縦方向の区域分け数以上になっているかを判別するステップである。このとき、Yパラメータの値が、縦方向の区域分け数以上になる場合は、最下端に位置していることから、これ以上下のブロックへ処理を移すことはできなくなるため、この判別を行う。Yパラメータの値が縦方向の区域分け数未満の場合はSTEP502へ、以上の場合は終了へ処理を送る。
図14を用いてこのアルゴリズムの例を示す。まず、初期化処理を行い、(0,0)ブロックから差分検索、グループ化処理を行う。(0,0)ブロックは伝送領域103aとして伝送領域(X1-1,Y1-1)-(X1-2,Y)を持つ。この伝送領域103aは右方向に隣接するブロック103dとの境界線には接していないが、下方向に隣接するブロック103bとの境界線には接している。このため、このグループのBottom_sig_flagパラメータにTRUEの値をセットする。また、このブロックは左方向、上方向に接しているブロックを持たないため、新しくグループ(グループ1)を生成し、このブロックが持つ伝送領域の矩形をグループの矩形とする。そして、次のブロックへ処理を送る。(1,0)ブロックは伝送領域103dとして伝送領域(X2-1,Y2-1)-(X2-2,Y2-2)を持つ。このブロック内の伝送領域103dは右方向、下方向と隣接するブロックとの境界線には接していないため、パラメータの変化は無い。そして、この伝送領域103dは上方向、左方向に隣接するブロックとの境界線とも接していないため、新しいグループ(グループ2)を生成し、このグループに注目グループの伝送領域103dを登録する。(0,2)ブロック、(0,3)ブロックは伝送領域が存在しないため、グループ化処理は行われない。(1,0)ブロックは、伝送領域103bとして伝送領域(X1-1,Y)-(X1-2,Y)を持つ。この伝送領域103bは下方向の隣接ブロックとの境界線に接しているため、Bottom_sig_flagパラメータの値をTRUEにする。また、この伝送領域103bは上隣のブロックとの境界線に接している。そして、上隣のブロックのBottom_sig_flagパラメータはTRUEなので、上隣のブロック内の伝送領域103aが属しているグループ1に注目しているブロックの伝送領域を追加する。以降、最後の(3,3)ブロックまでこの処理を行う。このような処理を行うことにより、3つのグループ化された伝送領域113、114、115を得ることができる。
このように横または縦方向に隣接するブロックがともに領域決定手段15で決定された伝送領域を有し、それらの伝送領域が横または縦方向で接している場合、その横または縦方向に隣接するブロックの伝送領域がともに含まれるような伝送領域をグループ化された伝送領域とすれば、伝送時のオーバーヘッドを小さくすることが出来る。
本実施の形態によれば、PC画面をプロジェクター等の表示機器へ画面データをリアルタイムに伝送するシステムについて、画面データを区域分けして処理することで直前フレームとの差分領域を詳細に検出することができるため、不必要な情報を伝送することが無くなる。このため、伝送に要する時間の短縮、リアルタイム伝送における全般の処理時間の短縮を行うことができ、ネットワークにかかる負荷の軽減、ネットワークへの伝送におけるPCの負荷の軽減、また、ネットワークからの受信を行う表示システム側のネットワーク処理の軽減を行うことができる。
また、本実施の形態によれば、画面データを分割しパラレルに伝送することによって、受信しながら復号化を行うことができる。このため、処理時間を大幅に短縮することができ、リアルタイム性、即時性を保つことができる。
なお、本実施の形態のグループ化された伝送領域は、本発明のその決定された矩形領域から所定の規則を適用して得られる矩形領域の例である。
尚、本発明のプログラムは、上述した本発明の送信装置の全部又は一部の手段の機能をコンピュータにより実行させるためのプログラムであって、コンピュータと協働して動作するプログラムである。
又、本発明の記録媒体は、上述した本発明の送信装置の全部又は一部の手段の機能をコンピュータにより実行させるためのプログラムを担持した記録媒体であり、コンピュータにより読み取り可能且つ、読み取られた前記プログラムが前記コンピュータと協動して前記機能を実行する記録媒体である。
尚、本発明の上記「一部の手段」とは、それらの複数の手段の内の、一つ又は幾つかの手段を意味する。
又、本発明の上記「手段の機能」とは、前記手段の全部又は一部の機能を意味する。
又、本発明のプログラムの一利用形態は、コンピュータにより読み取り可能な記録媒体に記録され、コンピュータと協働して動作する態様であっても良い。
又、本発明のプログラムの一利用形態は、伝送媒体中を伝送し、コンピュータにより読みとられ、コンピュータと協働して動作する態様であっても良い。
又、記録媒体としては、ROM等が含まれ、伝送媒体としては、インターネット等の伝送媒体、光・電波・音波等が含まれる。
又、上述した本発明のコンピュータは、CPU等の純然たるハードウェアに限らず、ファームウェアや、OS、更に周辺機器を含むものであっても良い。
尚、以上説明した様に、本発明の構成は、ソフトウェア的に実現しても良いし、ハードウェア的に実現しても良い。
本発明に係る送信装置、画像処理システム、画像処理方法、プログラム、及び記録媒体は、伝送する画像データの量が増えることなく、トラフィックによる負荷が増大せず、リアルタイム伝送に必要な即時性が損なわれないという効果を有し、映像信号を画像処理して出力する送信装置、画像処理システム、画像処理方法、プログラム、及び記録媒体などに有用である。
本発明の実施の形態1及び2のシステムの形態を示す図である。 本発明の実施の形態1の画像信号の送信側の手法の手順を示すフローチャート図である。 本発明の実施の形態1及び2のPCの構成を示すブロック図である。 本発明の実施の形態1及び2の画面のブロック区域分けによる差分領域の検出方法についてのモデル図である。 本発明の実施の形態1及び2の画面のブロック区域分けによる差分領域の検出方法についての別のモデル図である。 本発明の実施の形態2のプロジェクターでの処理の手順を示すフローチャート図である。 本発明の実施の形態2のPCからネットワークを介して転送されたデータを表示するプロジェクターのモデル図である。 本発明の実施の形態2における画面データをブロック単位で区域分けした処理の例のモデル図である。 本発明の実施の形態3の画面のブロック区域分けによる伝送領域の算出方法についてのモデル図である。 本発明の実施の形態3の各ブロックの名前の付けかたを示す説明図である。 本発明の実施の形態3のブロック区域分けによる伝送領域の算出方法を示すフローチャート図である。 本発明の実施の形態3のブロック区域分けによる伝送領域の算出方法を示す説明図である。 本発明の実施の形態3のブロック区域分けによる伝送領域の算出方法を示す別のフローチャート図である。 本発明の実施の形態3のブロック区域分けによる伝送領域の算出方法を示す別の説明図である。 従来システムの差分領域検出のモデル図である。 従来のシステムの画面データの別の例を示す図である。
符号の説明
11 パーソナルコンピュータ
12 プロジェクター
13 スクリーン
STEP11 画像データの取得を行うステップ
STEP12 画像データをブロックによる区域分けを行うステップ
STEP13 前後のフレームから差分領域を検出するステップ
STEP14 差分領域の画像データを抽出し、符号化を行うステップ
STEP15 符号化された画像データのネットワークを介した送信を行うステップ
STEP16 最後のブロックであるかの判定を行うステップ
STEP17 取得した画像データ領域の解放を行うステップ
STEP18 このアプリケーションの終了を判別するステップ
21 パーソナルコンピュータ
22 画面
23 ブロック
24 差分検出ブロック
25 フレーム間差分領域
STEP21 ネットワークを介した信号の受信を行うステップ
STEP22 受信した信号を符号化方式に対応した形式での復号化を行うステップ
STEP23 復号化された画像データの表示を行うステップ
31 プロジェクター
32A メモリ
32B デコーダー
32C 投影部
32D LANインターフェース
41 パーソナルコンピュータ
42 プロジェクター
43 スクリーン
51A 1つ目のブロックの画像データの受信ステップ
51B 1つ目のブロックの画像データの復号化ステップ
52A 2つ目のブロックの画像データの受信ステップ
52B 2つ目のブロックの画像データの復号化ステップ
53A 3つ目のブロックの画像データの受信ステップ
53B 3つ目のブロックの画像データの復号化ステップ
54A 4つ目のブロックの画像データの受信ステップ
54B 4つ目のブロックの画像データの復号化ステップ
61 パーソナルコンピュータ
62 画面
63 伝送領域
64 差分領域

Claims (21)

  1. 所定の数のブロックに区域分けされた各フレームで構成された映像信号の所定のフレームの各ブロック毎に、それらのブロックと、それらのブロックに対応する、前記所定のフレームの直前のフレームの各ブロックとを比較し、異なる画素値の領域を含む矩形領域を決定する領域決定手段と、
    (1)その決定された矩形領域(2)またはその決定された矩形領域から所定の規則を適用して得られる矩形領域に含まれる映像信号を取り出す取り出し手段と、
    前記取り出し手段により取り出された映像信号を出力する出力手段とを備えた、送信装置。
  2. 所定の数のブロックに区域分けされた各偶数フィールド及び奇数フィールドで構成された映像信号の所定の偶数フィールドまたは奇数フィールドの各ブロック毎に、それらのブロックと、それらのブロックに対応する、前記所定の偶数フィールドまたは奇数フィールドの直前の偶数フィールドまたは奇数フィールドの各ブロックとを比較し、異なる画素値の領域を含む矩形領域を決定する領域決定手段と、
    (1)その決定された矩形領域(2)またはその決定された矩形領域から所定の規則を適用して得られる矩形領域に含まれる映像信号を取り出す取り出し手段と、
    前記取り出し手段により取り出された映像信号を出力する出力手段とを備えた、送信装置。
  3. 前記所定の規則とは、横または縦方向に隣接する前記所定のブロックがともに前記領域決定手段で決定された矩形領域を有する場合、その横または縦方向に隣接する前記所定のブロックの矩形領域がともに含まれるような矩形領域を生成する規則である、請求項1または請求項2に記載の送信装置。
  4. 前記横または縦方向に隣接する前記所定のブロックの矩形領域がともに含まれるような領域とは、前記横または縦方向に隣接する前記所定のブロックの矩形領域をともに含む最小の矩形領域である、請求項3記載の送信装置。
  5. 前記所定の規則とは、横または縦方向に隣接する前記所定のブロックがともに前記領域決定手段で決定された矩形領域を有し、それらの矩形領域が横または縦方向で接している場合、その横または縦方向に隣接する前記所定のブロックの矩形領域がともに含まれるような矩形領域を生成する規則である、請求項1または請求項2に記載の送信装置。
  6. 前記横または縦方向に隣接する前記所定のブロックの矩形領域がともに含まれるような矩形領域とは、前記横または縦方向に隣接する前記所定のブロックの矩形領域をともに含む最小の矩形領域である、請求項5記載の送信装置。
  7. 前記取り出し手段は、前記取り出された映像信号を符号化する符号化手段を有する、請求項1または2に記載の送信装置。
  8. 前記各所定のブロックは、前記送信された映像信号を受信する受信装置がその映像信号を表示する際に走査する方向に直交する方向を区域分けするように構成されている、請求項1または2に記載の送信装置。
  9. 前記映像信号は、映像信号発生装置によって発生されたものであり、
    前記各所定のブロックのサイズは、前記映像信号発生装置の画面解像度に応じて変更される、請求項1または2に記載の送信装置。
  10. 前記映像信号は、映像信号発生装置によって発生されたものであり、
    前記映像信号発生装置は、パーソナルコンピュータである、請求項1または2に記載の送信装置。
  11. 所定の数のブロックに区域分けされた各フレームで構成された映像信号を発生する映像信号発生装置と、
    前記映像信号発生装置が発生した映像信号の所定のフレームの各ブロック毎に、それらのブロックと、それらのブロックに対応する、前記所定のフレームの直前のフレームの各ブロックとを比較し、異なる画素値の領域を含む矩形領域を決定する領域決定手段と、(1)その決定された矩形領域(2)またはその決定された矩形領域から所定の規則を適用して得られる矩形領域に含まれる映像信号を取り出す取り出し手段と、前記取り出し手段により取り出された映像信号を送信する送信手段とを有する送信装置と、
    前記送信装置から送信された映像信号を出力する出力手段を有する受信装置とを備えた、画像処理システム。
  12. 所定の数のブロックに区域分けされた各偶数フィールド及び奇数フィールドで構成された映像信号を発生する映像信号発生装置と、
    前記映像信号発生装置が発生した映像信号の所定の偶数フィールドまたは奇数フィールドの各ブロック毎に、それらのブロックと、それらのブロックに対応する、前記所定の偶数フィールドまたは奇数フィールドの直前の偶数フィールドまたは奇数フィールドの各ブロックとを比較し、異なる画素値の領域を含む矩形領域を決定する領域決定手段と、(1)その決定された矩形領域(2)またはその決定された矩形領域から所定の規則を適用して得られる矩形領域に含まれる映像信号を取り出す取り出し手段と、前記取り出し手段により取り出された映像信号を送信する送信手段とを有する送信装置と、
    前記送信装置から送信された映像信号を出力する出力手段を有する受信装置とを備えた、画像処理システム。
  13. 前記取り出し手段は、前記取り出された映像信号を符号化する符号化手段を有し、
    前記送信手段は、前記符号化された映像信号を送信し、
    前記受信装置は、前記送信装置から送信された符号化された映像信号を前記符号化手段の符号化方式に対応する方式で復号する復号化手段を有し、
    前記出力手段は、前記復号化手段により復号化された映像信号を出力する、請求項11または12に記載の画像処理システム。
  14. 前記復号化手段と、前記出力手段とは、同時に実行される、請求項13記載の画像処理システム。
  15. 前記送信装置は、前記映像信号発生装置を兼ねており、
    前記映像信号発生装置及び前記送信装置は、パーソナルコンピュータであり、
    前記受信装置は、液晶プロジェクターである、請求項11または12に記載の画像処理システム。
  16. 前記送信装置は、前記映像信号発生装置を兼ねており、
    前記映像信号発生装置及び前記送信装置は、パーソナルコンピュータであり、前記受信装置は、ネットワーク機能を搭載したDLPプロジェクターである、請求項11または12に記載の画像処理システム。
  17. 所定の数のブロックに区域分けされた各フレームで構成された映像信号の所定のフレームの各ブロック毎に、それらのブロックと、それらのブロックに対応する、前記所定のフレームの直前のフレームの各ブロックとを比較し、異なる画素値の領域を含む矩形領域を決定する領域決定ステップと、
    (1)その決定された矩形領域(2)またはその決定された矩形領域から所定の規則を適用して得られる矩形領域に含まれる映像信号を取り出す取り出しステップと、
    前記取り出しステップにより取り出された映像信号を出力する出力ステップとを備えた、画像処理方法。
  18. 所定の数のブロックに区域分けされた各偶数フィールド及び奇数フィールドで構成された映像信号の所定の偶数フィールドまたは奇数フィールドの各ブロック毎に、それらのブロックと、それらのブロックに対応する、前記所定の偶数フィールドまたは奇数フィールドの直前の偶数フィールドまたは奇数フィールドの各ブロックとを比較し、異なる画素値の領域を含む矩形領域を決定する領域決定ステップと、
    (1)その決定された矩形領域(2)またはその決定された矩形領域から所定の規則を適用して得られる矩形領域に含まれる映像信号を取り出す取り出しステップと、
    前記取り出しステップにより取り出された映像信号を出力する出力ステップとを備えた、画像処理方法。
  19. 請求項1記載の送信装置の、所定の数のブロックに区域分けされた各フレームで構成された映像信号の所定のフレームの各ブロック毎に、それらのブロックと、それらのブロックに対応する、前記所定のフレームの直前のフレームの各ブロックとを比較し、異なる画素値の領域を含む矩形領域を決定する領域決定手段と、
    (1)その決定された矩形領域(2)またはその決定された矩形領域から所定の規則を適用して得られる矩形領域に含まれる映像信号を取り出す取り出し手段としてコンピュータを機能させるためのプログラム。
  20. 請求項2記載の送信装置の、所定の数のブロックに区域分けされた各偶数フィールド及び奇数フィールドで構成された映像信号の所定の偶数フィールドまたは奇数フィールドの各ブロック毎に、それらのブロックと、それらのブロックに対応する、前記所定の偶数フィールドまたは奇数フィールドの直前の偶数フィールドまたは奇数フィールドの各ブロックとを比較し、異なる画素値の領域を含む矩形領域を決定する領域決定手段と、
    (1)その決定された矩形領域(2)またはその決定された矩形領域から所定の規則を適用して得られる矩形領域に含まれる映像信号を取り出す取り出し手段としてコンピュータを機能させるためのプログラム。
  21. 請求項19または20記載のプログラムを担持した記録媒体であって、コンピュータにより処理可能な記録媒体。
JP2004070692A 2003-06-19 2004-03-12 送信装置、画像処理システム、画像処理方法、プログラム、及び記録媒体 Withdrawn JP2005033763A (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2004070692A JP2005033763A (ja) 2003-06-19 2004-03-12 送信装置、画像処理システム、画像処理方法、プログラム、及び記録媒体

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2003174332 2003-06-19
JP2004070692A JP2005033763A (ja) 2003-06-19 2004-03-12 送信装置、画像処理システム、画像処理方法、プログラム、及び記録媒体

Publications (1)

Publication Number Publication Date
JP2005033763A true JP2005033763A (ja) 2005-02-03

Family

ID=34220010

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2004070692A Withdrawn JP2005033763A (ja) 2003-06-19 2004-03-12 送信装置、画像処理システム、画像処理方法、プログラム、及び記録媒体

Country Status (1)

Country Link
JP (1) JP2005033763A (ja)

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009194627A (ja) * 2008-02-14 2009-08-27 Nec Corp 動き補償に伴う更新領域検出装置
JP2009194626A (ja) * 2008-02-14 2009-08-27 Nec Corp 動き補償に伴う更新領域検出装置
JP2009268089A (ja) * 2008-04-04 2009-11-12 Fujifilm Corp 画像処理システム、画像処理方法、およびプログラム
JP2010061686A (ja) * 2009-12-02 2010-03-18 Seiko Epson Corp 画像処理装置、画像処理方法及びそれらの機能を実現するためのコンピュータプログラム並びにそのコンピュータプログラムを記録した記録媒体
US8081826B2 (en) 2007-02-01 2011-12-20 Seiko Epson Corporation Change image detecting device, change image detecting method, computer program for realizing change image detecting function, and recording medium recorded with the computer program
US8170348B2 (en) 2007-10-11 2012-05-01 Seiko Epson Corporation Image processing apparatus, image processing method, computer program for realizing functions thereof, and recording medium having the computer program recorded thereon
JP2013069344A (ja) * 2013-01-21 2013-04-18 Seiko Epson Corp 変化画像検出装置、変化画像転送方法、及びそれらの機能を実現するためのコンピュータープログラム並びにそのコンピュータープログラムを記録した記録媒体
WO2014149558A1 (en) * 2013-03-15 2014-09-25 Intel Corporation Data transmission for display partial update
JP2014236352A (ja) * 2013-05-31 2014-12-15 富士通株式会社 画像データ処理装置及び画像データ処理プログラム
US9633414B2 (en) 2012-07-25 2017-04-25 Nec Corporation Update region detection device

Cited By (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8081826B2 (en) 2007-02-01 2011-12-20 Seiko Epson Corporation Change image detecting device, change image detecting method, computer program for realizing change image detecting function, and recording medium recorded with the computer program
US8295612B2 (en) 2007-02-01 2012-10-23 Seiko Epson Corporation Change image detecting device, change image detecting method, computer program for realizing change image detecting function, and recording medium recorded with the computer program
US8170348B2 (en) 2007-10-11 2012-05-01 Seiko Epson Corporation Image processing apparatus, image processing method, computer program for realizing functions thereof, and recording medium having the computer program recorded thereon
JP2009194627A (ja) * 2008-02-14 2009-08-27 Nec Corp 動き補償に伴う更新領域検出装置
JP2009194626A (ja) * 2008-02-14 2009-08-27 Nec Corp 動き補償に伴う更新領域検出装置
JP2009268089A (ja) * 2008-04-04 2009-11-12 Fujifilm Corp 画像処理システム、画像処理方法、およびプログラム
JP2010061686A (ja) * 2009-12-02 2010-03-18 Seiko Epson Corp 画像処理装置、画像処理方法及びそれらの機能を実現するためのコンピュータプログラム並びにそのコンピュータプログラムを記録した記録媒体
US9633414B2 (en) 2012-07-25 2017-04-25 Nec Corporation Update region detection device
JP2013069344A (ja) * 2013-01-21 2013-04-18 Seiko Epson Corp 変化画像検出装置、変化画像転送方法、及びそれらの機能を実現するためのコンピュータープログラム並びにそのコンピュータープログラムを記録した記録媒体
WO2014149558A1 (en) * 2013-03-15 2014-09-25 Intel Corporation Data transmission for display partial update
US9177534B2 (en) 2013-03-15 2015-11-03 Intel Corporation Data transmission for display partial update
JP2014236352A (ja) * 2013-05-31 2014-12-15 富士通株式会社 画像データ処理装置及び画像データ処理プログラム

Similar Documents

Publication Publication Date Title
US7173635B2 (en) Remote graphical user interface support using a graphics processing unit
US9756328B2 (en) System, terminal, and method for dynamically adjusting video
US7889974B2 (en) Method and apparatus for editing images, and method and apparatus for reproducing the edited images
CN111290725B (zh) 一种投屏方法、设备及存储介质
JP6026443B2 (ja) ビデオ・ビットストリーム中の描画方向情報
JP4116006B2 (ja) 画面転送装置、画面転送システム、画面転送方法、およびプログラム
CN109040792B (zh) 一种视频重定向的处理方法、云终端和云桌面服务器
US20040086186A1 (en) Information providing system and method, information supplying apparatus and method, recording medium, and program
CN104469383A (zh) 用于像素内插的系统及方法
TW201411556A (zh) 影像處理方法、影像輸出處理方法及影像接收處理方法
JP2012028950A (ja) 情報処理装置及びその制御方法、表示装置及びその制御方法、及び、画像転送システム
JP2010079550A (ja) 指示システム、指示装置、指示プログラム
JP2005033763A (ja) 送信装置、画像処理システム、画像処理方法、プログラム、及び記録媒体
US20150188972A1 (en) Methods and systems for improving error resilience in video delivery
US20130093913A1 (en) Information processing apparatus, display method, and information processing system
JP2009194760A (ja) 画像符号化装置、画像復号化装置、画像符号化プログラム及び画像復号化プログラム
TWI526050B (zh) 擷取多個視訊頻道以供視訊分析及編碼之技術
CN111246208B (zh) 视频处理方法、装置及电子设备
JP2019149785A (ja) 映像変換装置及びプログラム
US20070098277A1 (en) Transmitting apparatus, image processing system, image processing method, program, and recording medium
JP2004312584A (ja) 画像処理方法および画像表示システム
JP2010109637A (ja) 通信装置、画像送信方法、画像送信プログラム、表示装置、通信方法、および通信プログラム
JP2009044456A (ja) 画像符号化装置および画像符号化方法
JP2003069832A (ja) 画像処理装置及び方法及びプログラム及びコンピュータ読み取り可能な記録媒体
KR20060107072A (ko) 알파 평면을 이용한 영상 데이터 처리 장치 및 방법

Legal Events

Date Code Title Description
A761 Written withdrawal of application

Free format text: JAPANESE INTERMEDIATE CODE: A761

Effective date: 20061102