JP2006262116A - 画像送信装置及び画像伝送方法 - Google Patents

画像送信装置及び画像伝送方法 Download PDF

Info

Publication number
JP2006262116A
JP2006262116A JP2005077173A JP2005077173A JP2006262116A JP 2006262116 A JP2006262116 A JP 2006262116A JP 2005077173 A JP2005077173 A JP 2005077173A JP 2005077173 A JP2005077173 A JP 2005077173A JP 2006262116 A JP2006262116 A JP 2006262116A
Authority
JP
Japan
Prior art keywords
screen
image
data
image transmission
unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2005077173A
Other languages
English (en)
Other versions
JP4394595B2 (ja
Inventor
Eisaku Ishii
栄作 石井
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sharp NEC Display Solutions Ltd
Original Assignee
NEC Viewtechnology Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by NEC Viewtechnology Ltd filed Critical NEC Viewtechnology Ltd
Priority to JP2005077173A priority Critical patent/JP4394595B2/ja
Priority to US11/376,326 priority patent/US8154596B2/en
Publication of JP2006262116A publication Critical patent/JP2006262116A/ja
Application granted granted Critical
Publication of JP4394595B2 publication Critical patent/JP4394595B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/85Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
    • H04N19/87Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression involving scene cut or scene change detection in combination with video compression
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/14Picture signal circuitry for video frequency region
    • H04N5/147Scene change detection

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Image Analysis (AREA)
  • Facsimiles In General (AREA)
  • Closed-Circuit Television Systems (AREA)

Abstract

【課題】 画像送信装置のCPUの負荷を軽減し、アプリケーションソフトウェアの動作速度を改善する。
【解決手段】 画面記憶部131に記憶されている最新の画面とビデオメモリ12に記憶されているその後の画面とが、画面変化監視部111によって監視され、最新の画面が変化したと判断された場合、画面キャプチャ部112によってビデオメモリ12に記憶されている画面がキャプチャされ、画面がキャプチャされた画面データから作成された画像データが画像送信部14からネットワーク300を介して画像受信装置200へ送信される。
【選択図】図1

Description

本発明は、画像データを有線または無線技術を用いてネットワークを介して伝送する画像送信装置及び画像伝送方法に関する。
従来の画像送信装置においては、表示された画面について定期的に画面キャプチャを行い、画面キャプチャにより得られた画像データを画像受信装置へ送信している。しかし、画面が変化しない場合や、画面が局所的に変化した場合は、変化していない部分についても処理を行うため、無駄な処理が生じてしまう。そのため、画面上の座標情報等を用いて変化点を抽出し、抽出された変化点についてのみ処理する方法が考えられている。
しかし、画面が局所的に変化したことを座標情報等により取得する手段を有しない場合は、上述した処理を行うことが不可能である。そのため、他の方法として、画面全体の画面キャプチャを定期的に行い、画面キャプチャによって得られた画像データと前回送信された画像データとを比較し、その差分を検出し、差分のあった場合のみ画像受信装置へ画像データを送信する方法が考えられている(例えば、特許文献1参照。)。
特開2004−242152号公報
しかしながら、特許文献1に記載された方法においては、前回送信された画面から変化がまったく無かった場合においても、定期的に現在の画面について全画面キャプチャを行っている。昨今の画像デバイスの著しい向上により高速に画像を描画することが可能になってきているが、一般的にビデオメモリに書き込まれた画像をキャプチャするための時間は、ビデオメモリに画像を描画するための時間に比べて非常に長い時間であるため、画面変化を検出する目的で全画面キャプチャを行うことは適切な方法ではなく、また、画面変化の無い場合にも全画面キャプチャしてしまうことにより画像送信装置のCPU(Central Processing Unit)には大きな無駄な負荷がかかってしまい、そのため他のアプリケーションソフトウェアの動作を妨げてしまうという問題点がある。
本発明は、上述したような従来の技術が有する問題点に鑑みてなされたものであって、画像送信装置のCPUの負荷を軽減し、アプリケーションソフトウェアの動作速度を改善することができる画像送信装置及び画像伝送方法を提供することを目的とする。
上記目的を達成するために本発明は、
ネットワークを介して画像受信装置と接続可能に構成され、画面の画面データから作成された画像データを前記画像受信装置へ送信する画像送信装置であって、
前記画像データの作成に用いた最新の画面とその後の画面とを監視し、前記最新の画面が変化したかどうかを判断する画面変化監視手段と、
前記画面変化監視手段によって前記最新の画面が変化したと判断された場合に、変化後の画面の画面キャプチャを行って画面データを得る画面キャプチャ手段とを有する。
また、前記画面変化監視手段は、前記画面を横方向のラインで間引くことにより監視する領域を設定し、前記領域を順次ずらして前記画面の監視を行うことを特徴とする。
また、ネットワークを介して前記画像受信装置への前記画像データが送信されている間は、前記変化後の画面の画面キャプチャを行わないことを特徴とする。
また、画面の画面データから作成された画像データを送信する画像送信装置と、該画像送信装置とネットワークを介して接続可能に構成された画像受信装置とを有してなる画像伝送システムにおける画像伝送方法であって、
前記画像送信装置において、前記画像データの作成に用いた最新の画面とその後の画面とを監視し、前記最新の画面が変化したかどうかを判断する処理と、
前記最新の画面が変化したと判断した場合に、変化後の画面の画面キャプチャを行って画面データを得る処理と、
得られた画面データから作成された画像データを前記画像送信装置からネットワークを介して前記画像受信装置へ送信する処理とを有する。
また、前記画面を横方向のラインで間引くことにより監視する領域を設定し、前記領域を順次ずらして前記画面の監視を行うことを特徴とする。
また、ネットワークを介して前記画像送信装置から前記画像受信装置への前記画像データが送信されている間は、前記変化後の画面の画面キャプチャを行わないことを特徴とする。
上記のように構成された本発明においては、画像送信装置において送信された画像データの作成に用いた最新の画面とその後の画面とが監視され、最新の画面が変化したかどうかが判断され、最新の画面が変化したと判断された場合に、変化後の画面が画面キャプチャされ、画面キャプチャされた画面データから作成された画像データがネットワークを介して画像受信装置へ送信される。
これにより、最新の画面が変化した場合のみ画面キャプチャを行うこととなり、画面キャプチャを常時行う必要が無くなるため、画像送信装置のCPUの負荷を軽減することができ、また、画面の変化が無いときにアプリケーションソフトウェアの処理等、画面キャプチャ以外の別の処理を行うことができる。
以上説明したように本発明においては、画像送信装置において送信された画像データの作成に用いた最新の画面とその後の画面とが監視され、最新の画面が変化したかどうかが判断され、最新の画面が変化したと判断された場合に、変化後の画面が画面キャプチャされ、画面キャプチャされた画面データから作成された画像データがネットワークを介して画像受信装置へ送信される構成としたため、画像送信装置のCPUの負荷を軽減し、アプリケーションソフトウェアの動作速度を改善することができる。
以下に、本発明の実施の形態について図面を参照して説明する。
図1は、本発明の画像送信装置を用いた画像伝送システムの実施の一形態を示す図である。
本形態は図1に示すように、画像データを送信する画像送信装置100と、画像送信装置100とネットワーク300を介して接続され、画像送信装置100から送信された画像データをネットワーク300を介して受信する画像受信装置200とから構成されている。
さらに、画像送信装置100は、画面が記憶されているビデオメモリ12と、ネットワーク300を介して画像受信装置200へ送信された画像データ及び画像データの作成に用いた画面データが記憶されている記憶部13と、ネットワーク300を介して画像受信装置200へ送信された画像データの作成に用いた最新の画面とビデオメモリ12に記憶されているその後の画面とを監視し、比較して画像データを作成する画像処理部11と、画像処理部11にて作成された画像データをネットワーク300へ送信する画像送信部14と、これらを制御する制御手段であるCPU15とから構成されている。
さらに、画像処理部11は、ネットワーク300を介して画像受信装置200へ送信された画像データの作成に用いた最新の画面とビデオメモリ12に記憶されているその後の画面とを一定周期で監視し、比較する画面変化監視部111と、ビデオメモリ12に記憶されている画面の画面キャプチャを行う画面キャプチャ部112と、記憶部13に記憶されているネットワーク300を介して画像受信装置200へ送信された画像データの作成に用いた画面データと画面キャプチャ部112によって画面キャプチャされた画面データとを比較して差分を抽出する画面差分抽出部113と、画面差分抽出部113によって抽出された差分データに従って画面データを圧縮して送信するための画像データである画像圧縮データを得る画像圧縮部114とから構成されている。
また、記憶部13は、ネットワーク300を介して画像受信装置200へ送信された画像データの作成に用いた画面データ及び画面キャプチャ部112によって画面キャプチャされた画面データが記憶されている画面記憶部131と、画像圧縮部114にて圧縮された画像圧縮データを記憶する画像圧縮データ記憶部132とから構成されている。
また、画像受信装置200は、画像送信装置100からネットワーク300を介して送信された画像データを受信する画像受信部21と、画像受信部21にて受信された画像データを記憶する画像圧縮データ記憶部23と、画像圧縮データ記憶部23に記憶されている画像データを読み出し、画面上に表示可能なデータ形式に展開する画像展開表示部22と、画像展開表示部22によって展開された画面データを記憶するビデオメモリ24と、これらを制御する制御手段であるCPU25とから構成されている。
以下に、上記のように構成された画像伝送システムにおける画像伝送方法についてフローチャートを参照して説明する。
図2は、図1に示した画像伝送システムにおける画像伝送方法のうち、図1に示した画面変化監視部111の処理を説明するためのフローチャートである。
まず、画面変化監視部111が、例えば100ms等の周期で起動する(ステップS1)。すると、画面変化監視部111において画面キャプチャ部112が画面キャプチャの要求待ち状態になっているかどうかが判断される(ステップS2)。
画面変化監視部111において画面キャプチャ部112が画面キャプチャの要求待ち状態にはなっていないと判断された場合、ステップS1の処理に戻る。
一方、画面キャプチャ部112が画面キャプチャの要求待ち状態になっていると判断された場合、画面変化監視部111において、ネットワーク300を介して画像受信装置200へ送信された画像データの作成に用いた最新の画面とビデオメモリ12に記憶されているその後の画面とのそれぞれの局所領域が一致しているかどうかが比較される(ステップS3)。
比較された局所領域が一致していないと判断された場合、つまり一致しない箇所が検出された場合、最新の画面が変化したとみなされ、ステップS3の比較処理が終了し、画面変化監視部111から画面キャプチャ部112に画面キャプチャ要求が通知される(ステップS4)。
一方、比較された局所領域が一致したと判断された場合、画面変化監視部111において比較すべき全ての局所領域についての比較処理が終了したかどうかが判断され(ステップS5)、終了していないと判断された場合、つまり、比較すべき局所領域がまだ残っていると判断された場合、ステップS3の処理に戻り、次の局所領域について比較が行われる。
以上の処理が、画面キャプチャ処理を行う上での前処理となる。
以下に、図1に示した画面変化監視部111において設定され、比較対象とされる局所領域について図を参照して説明する。
図3は、図1に示した画面変化監視部111の1回目の周期起動の際に比較される局所領域の一例を示す図である。
図3に示すように、局所領域を表示画面500を構成する1ライン(表示画面500の横幅×高さ1)とし、ΔL分、間引いた領域(図3に示した実線の部分)が、1回目の周
期起動の際に比較される局所領域501−1〜501−4となる。ここで、図2のフローチャートも参照しながら説明する。ステップS3にて最初の局所領域501−1についての比較が行われ、比較された局所領域501−1について一致したと判断された場合、次のステップS5にて比較すべき全ての局所領域についての比較処理が終了したかどうかが判断されるが、図3に示す例においては、局所領域501−2〜501−4についてはまだ比較が行われていないため、次の局所領域501−2についてステップS3の処理に戻り、比較が行われることとなる。これらの処理が局所領域501−2から局所領域501−4まで繰り返され、一致しない箇所が検出された場合は、その時点で比較処理が終了し、また、全ての局所領域501−1〜501−4について一致したと判断された場合は、次の周期起動による処理が行われる。
図4は、図1に示した画面変化監視部111の2回目の周期起動の際に比較される局所領域の一例を示す図である。
図4に示すように2回目の周期では、図3に示した局所領域501−1〜501−4よりもΔL/2だけ下方にずらした位置にそれぞれ局所領域502−1〜502−4が設定
される(図4に示した実線の部分)。1回目の周期起動による処理と同様の比較処理が局所領域502−1から局所領域502−4まで繰り返され、一致しない箇所が検出された場合は、その時点で比較処理が終了し、また、全ての局所領域502−1〜502−4について一致したと判断された場合は、次の周期起動による処理が行われる。
図5は、図1に示した画面変化監視部111の3回目の周期起動の際に比較される局所領域の一例を示す図である。
図5に示すように3回目の周期では、図4に示した局所領域502−1〜502−4よりもΔL/4だけ上方にずらした位置にそれぞれ局所領域503−1〜503−4が設定
される(図5に示した実線の部分)。1回目及び2回目の周期起動による処理と同様の比較処理が局所領域503−1から局所領域503−4まで繰り返され、一致しない箇所が検出された場合は、その時点で比較処理が終了し、また、全ての局所領域503−1〜503−4について一致したと判断された場合、次の周期起動による処理が行われる。
図6は、図1に示した画面変化監視部111の4回目の周期起動の際に比較される局所領域の一例を示す図である。
図6に示すように4回目の周期では、図4に示した局所領域502−1〜502−4よりもΔL/4だけ下方にずらした位置にそれぞれ局所領域504−1〜504−4が設定
される(図6に示した実線の部分)。1回目、2回目及び3回目の周期起動による処理と同様の比較処理が局所領域504−1から局所領域504−4まで繰り返され、一致しない箇所が検出された場合は、その時点で比較処理が終了し、また、全ての局所領域504−1〜504−4について一致したと判断された場合は、次の周期起動による処理が行われる。
このように、局所領域について一致しない箇所が検出されるまで、上述の処理がΔL回
繰り返される。
なお、一致しない箇所が検出された場合はその時点で比較処理が終了するが、その際、次回の画面変化監視部111における比較処理を初期化するために、次回の比較処理の対象となる局所領域が図3に示した局所領域501−1〜501−4に戻される。
ここで、一般的にアドレスが連続しているエリアへのメモリアクセスが高速であるといった点を利用して、比較処理にて設定される局所領域については画面上におけるライン単位としている。
図7は、図1に示した画像伝送システムにおける画像伝送方法のうち、図1に示した画面キャプチャ部112、画面差分抽出部113及び画像圧縮部114の処理を説明するためのフローチャートである。
まず、画面キャプチャ部112において、画像送信部14から送信完了が通知されているかどうかが判断される(ステップS11)。画像送信部14から送信完了が通知されていると判断された場合、画面キャプチャ部112にて画面変化監視部111から画面キャプチャ要求が通知されているかどうかが判断される(ステップS12)。なお、起動後の最初の処理においては、画像送信部14から送信完了が通知されているとみなされて、ステップS12の処理が行われる。
画面変化監視部111から画面キャプチャ要求が通知されていないと判断された場合、画面キャプチャ部112から画面変化監視部111に画面キャプチャ要求待ちが通知される(ステップS13)。なお、この通知が、図2にて説明したステップS2における画面変化監視部111において画面キャプチャ部112が画面キャプチャの要求待ち状態になっているかどうかが判断される判断材料となる。
その後、画面変化監視部111から画面キャプチャ部112に画面キャプチャ要求が通知されるまで、画面キャプチャ部112にて画面変化監視部111から画面キャプチャ要求が通知されているかどうかが判断される(ステップS14)。
ステップS12またはステップS14において、画面キャプチャ部112にて画面変化監視部111から画面キャプチャ要求が通知されたと判断されると、画面キャプチャ部112において、ビデオメモリ12に記憶されている画面が全画面キャプチャされ(ステップS15)、画面キャプチャ部112によって全画面キャプチャされた画面データが新しくキャプチャされた画面データとして画面記憶部131に書き込まれる。
また、ステップS15にて全画面キャプチャされた画面データが、画面差分抽出部113へ出力され、画面差分抽出部113にて入力された画面データ、つまり変化後の画面データと画面記憶部131に記憶されている最新の画面データ、つまり変化前の画面データとが画面差分抽出部113において比較され、比較された結果、変化があった画素の差分データが抽出され(ステップS16)、抽出された差分データが画面差分抽出部113から画像圧縮部114へ出力される。
すると、画像圧縮部114にて入力された差分データに基づいて画面データが圧縮され(ステップS17)、圧縮された画面データが画像圧縮部114によって画面データから作成された画像データとして画像圧縮データ記憶部132へ書き込まれる。同時に、画像圧縮部114から画像送信部14に画像データの送信開始要求が通知される(ステップS18)。
図8は、図1に示した画像伝送システムにおける画像伝送方法のうち、図1に示した画像送信部14の処理を説明するためのフローチャートである。
まず、画像送信部14において、画像圧縮部114から送信開始要求が通知されているかどうかが判断される(ステップS21)。画像圧縮部114から送信開始要求が通知されていると判断された場合、画像送信部14によって画像圧縮データ記憶部132から送信すべき画像データが読み出され、ネットワーク300へ送信される(ステップS22)。さらに、画像送信部14において送信すべき画像データが画像圧縮データ記憶部132に残っているかどうかが判断され(ステップS23)、送信すべき画像データが全て送信されたと判断されると、送信完了が画面キャプチャ部112に通知される(ステップS24)。なお、この通知が、図7にて説明したステップS11における画面キャプチャ部112において画像送信部14から送信完了が通知されているかどうかが判断される判断材料となる。つまり、送信完了が画像送信部14から画面キャプチャ部112に通知されないと、画面キャプチャ部112において図7にて説明したステップS11よりも先の処理が行われず、また、これにより画面キャプチャ部112から画面変化監視部111に画面キャプチャ待ちが通知されないため、画面変化監視部111において図2にて説明したステップS2よりも先の処理が行われないことになり、画像送信部14から画像データが送信されている間は、画面変化監視部111における画面の監視処理も、画面キャプチャ部112における画面キャプチャ処理も行われないこととなる。
したがって、画像データの送信完了までは次の処理が行われないため、ネットワーク300が混雑している場合や使用できる帯域が狭い場合等であっても、無駄な処理が行われずにCPU15の無駄な負荷が削減できる。
なお、図2、図7及び図8にて説明したそれぞれの処理は、互いに並行して行われる。
以下に、画像送信装置100から送信された画像データがネットワーク300を介して画像受信装置200において受信される処理について説明する。
画像送信装置100からネットワーク300を介して画像受信装置200へ画像データが送信されると、画像受信部21にて画像データが受信され、受信された画像データが画像受信部21によって画像圧縮データ記憶部23に記憶される。
その後、画像展開表示部22によって、画像圧縮データ記憶部23に記憶されている画像データが読み出され、読み出された画像データが表示可能なデータ形式に展開され、ビデオメモリ24に書き込まれて画面上に表示される。
以下に、図1に示したCPU15における画面キャプチャ処理の負荷について従来の処理と比較しながら説明する。
図9は、図1に示した画像伝送システムにおいてCPU15における1秒間に占める画面キャプチャ処理の負荷を示す図であり、(a)は従来のキャプチャ処理が行われた場合の画面キャプチャの負荷を示す図であり、(b)は本発明の画面キャプチャの前処理が行われた場合の画面キャプチャの負荷を示す図である。
図9(a)に示すように、画面キャプチャ間隔を200ms、全画面キャプチャに要する時間を100msとすると、従来のキャプチャ処理については画面変化の有無に関わらず画面キャプチャ処理が1秒間に5回行われ、画面キャプチャ処理によるCPU15の処理時間は、100ms×5回=500msとなり、画面キャプチャ処理が占める割合は50%となる。
一方、図9(b)に示すように、図1に示した画面変化監視部111が起動する起動周期を100msとし、間引き間隔ΔLを8とすると、画面変化監視部111によってビデ
オメモリ12がアクセスされる時間は、100ms÷8=12.5msとなる。図9(b)に示す例では、画面変化が1秒間に2回検出されており、画面キャプチャ部112によって2回の画面キャプチャが行われている。
また、画面キャプチャ部112によって画面キャプチャが行われている間は、画面変化監視部111によるビデオメモリ12へのアクセスがなくなるため、画面変化監視部111及び画面キャプチャ部112によるCPU15の処理時間は、12.5ms×(10回−2回)+100ms×2回=300msとなり、画面変化監視部111及び画面キャプチャ部112の処理が占める割合は30%に削減される。
また、画面変化が全く無い場合は、12.5ms×10回=125msとなり、画面変化監視部111の処理が占める割合は12.5%に削減される。
なお、上述した計算では、画面変化監視部111において、ビデオメモリ12に記憶されている画面と記憶部13に記憶されている最新の画面とが比較される時間については、画面キャプチャ部112によってビデオメモリ12から画面データが読み出される時間(キャプチャ時間)よりも十分に小さな値のため、無視している。
また、ネットワーク300を介して画像送信装置100と接続される画像受信装置200が複数存在する形態が考えられる。
図10は、図1に示した画像伝送システムにおいて、ネットワーク300を介して画像送信装置100と接続される画像受信装置200が複数存在する一形態を示す図である。
本形態は図10に示すように、画像データを送信する画像送信装置100と、画像送信装置100とネットワーク300を介して接続され、画像送信装置100から送信された画像データをネットワーク300を介して受信する複数の画像受信装置200−1〜200−nとから構成されている。なお、画像処理部11、ビデオメモリ12、記憶部13及びCPU15については、図1に示した形態ものと同一の構成を持ち、同一の処理を行う。また、画像受信装置200−1〜200−nについても、図1に示した画像受信装置200と同一の構成を持ち、同一の処理を行う。また、画像受信装置200−1〜200−nは、複数のプロジェクタまたはコンピュータ及びディスプレイの組み合わせが考えられる。
図10に示した画像送信部141においては、複数の画像受信装置200−1〜200−nに対して同時に画像データが送信され、各画像受信装置200−1〜200−nの処理能力や伝送路の使用状態が異なるために画像データの送信完了までの時間が様々な時間になったり、送信完了までの時間が図1に示した形態に比べて長くかかったりした場合であっても、図1に示した形態にて説明したように、画像データの送信完了までは次の処理が行われないため、無駄な処理が行われずにCPU15の無駄な負荷が削減できる。
なお、図1または図10に示した形態における処理においては、画像送信装置100にて画面変化した部分の高さがΔLを超える場合は、特にその画面変化が検出されるために
要する時間が短時間で済むため、CPU15の負荷が軽減される。したがって、画像送信装置100にて動作しているアプリケーションソフトウェアがプレゼンテーションを行うためのものや一般的な画像やテキストを表示するものである場合においては、上述したような効果が十分に期待できる。
また、ステップS1にて説明した起動周期をネットワークの帯域幅またはネットワーク上のトラフィック量に応じて調整することができ、そのためネットワークに過大な負荷をかける恐れがある場合は、起動周期を長く設定することにより、ネットワークに過大な負荷をかけることを回避することができる。また、これにより、画面をキャプチャする頻度も少なくなり、CPUの負荷を低減することができる。さらに、上述した画像圧縮処理は画面のキャプチャ処理の後の処理となるため、画面のキャプチャの頻度が少なくなると、必然的に画像圧縮処理の頻度も少なくなり、それにより、ネットワークの帯域幅に見合わない画像変化に対する画像圧縮処理に伴う無駄なCPUの負荷を削減する防ぐことができる。
また、上述した例では、画面を監視する局所領域について画面を横方向のラインで間引く場合について述べたが、縦方向のラインで間引くことも考えられる。さらに、画面を監視できる形態であれば、画面の監視は縦方向や横方向のラインを単位で必ずしも行う必要は無い。
また、局所領域を均一にずらして設定する場合を例に挙げて説明したが、不均一にずらして設定するものも考えられる。
また、画像送信装置100は、表示画面を有するものであっても良いし、サーバ専用機等のように表示画面を有しないものであっても良い。
また、本発明においては、画像送信装置100内の処理は上述の専用のハードウェアにより実現されるもの以外に、その機能を実現するためのプログラムを画像送信装置100にて読取可能な記録媒体に記録し、この記録媒体に記録されたプログラムを画像送信装置100に読み込ませ、実行するものであっても良い。画像送信装置100にて読取可能な記録媒体とは、フロッピーディスク、光磁気ディスク、DVD、CDなどの移設可能な記録媒体の他、画像送信装置100に内蔵されたHDD等を指す。この記録媒体に記録されたプログラムは、例えば、制御ブロックにて読み込まれ、制御ブロックの制御によって、上述したものと同様の処理が行われる。
本発明の画像送信装置を用いた画像伝送システムの実施の一形態を示す図である。 図1に示した画像伝送システムにおける画像伝送方法のうち、図1に示した画面変化監視部の処理を説明するためのフローチャートである。 図1に示した画面変化監視部の1回目の周期起動の際に比較される局所領域の一例を示す図である。 図1に示した画面変化監視部の2回目の周期起動の際に比較される局所領域の一例を示す図である。 図1に示した画面変化監視部の3回目の周期起動の際に比較される局所領域の一例を示す図である。 図1に示した画面変化監視部の4回目の周期起動の際に比較される局所領域の一例を示す図である。 図1に示した画像伝送システムにおける画像伝送方法のうち、図1に示した画面キャプチャ部、画面差分抽出部及び画像圧縮部の処理を説明するためのフローチャートである。 図1に示した画像伝送システムにおける画像伝送方法のうち、図1に示した画像送信部の処理を説明するためのフローチャートである。 図1に示した画像伝送システムにおいてCPU15における1秒間に占める画面キャプチャ処理の負荷を示す図であり、(a)は従来のキャプチャ処理が行われた場合の画面キャプチャの負荷を示す図であり、(b)は本発明の画面キャプチャの前処理が行われた場合の画面キャプチャの負荷を示す図である。 図1に示した画像伝送システムにおいて、ネットワークを介して画像送信装置と接続される画像受信装置が複数存在する一形態を示す図である。
符号の説明
11 画像処理部
12,24 ビデオメモリ
13 記憶部
14,141 画像送信部
15,25 CPU
21 画像受信部
22 画像展開表示部
23,132 画像圧縮データ記憶部
100 画像送信装置
111 画面変化監視部
112 画面キャプチャ部
113 画面差分抽出部
114 画像圧縮部
131 画面記憶部
200,200−1〜200−n 画像受信装置
300 ネットワーク
500 表示画面
501−1〜501−4,502−1〜502−4,503−1〜503−4,504−1〜504−4 局所領域

Claims (8)

  1. ネットワークを介して画像受信装置と接続可能に構成され、画面の画面データから作成された画像データを前記画像受信装置へ送信する画像送信装置であって、
    前記画像データの作成に用いた最新の画面とその後の画面とを監視し、前記最新の画面が変化したかどうかを判断する画面変化監視手段と、
    前記画面変化監視手段によって前記最新の画面が変化したと判断された場合に、変化後の画面の画面キャプチャを行って画面データを得る画面キャプチャ手段とを有する画像送信装置。
  2. 請求項1に記載の画像送信装置において、
    前記画面変化監視手段は、前記画面を横方向のラインで間引くことにより監視する領域を設定し、前記領域を順次ずらして前記画面の監視を行うことを特徴とする画像送信装置。
  3. 請求項1または請求項2に記載の画像送信装置において、
    ネットワークを介して前記画像受信装置への前記画像データが送信されている間は、前記変化後の画面の画面キャプチャを行わないことを特徴とする画像送信装置。
  4. 画面の画面データから作成された画像データを送信する画像送信装置と、該画像送信装置とネットワークを介して接続可能に構成された画像受信装置とを有してなる画像伝送システムにおける画像伝送方法であって、
    前記画像送信装置において、前記画像データの作成に用いた最新の画面とその後の画面とを監視し、前記最新の画面が変化したかどうかを判断する処理と、
    前記最新の画面が変化したと判断した場合に、変化後の画面の画面キャプチャを行って画面データを得る処理と、
    得られた画面データから作成された画像データを前記画像送信装置からネットワークを介して前記画像受信装置へ送信する処理とを有する画像伝送方法。
  5. 請求項4に記載の画像伝送方法において、
    前記画面を横方向のラインで間引くことにより監視する領域を設定し、前記領域を順次ずらして前記画面の監視を行うことを特徴とする画像伝送方法。
  6. 請求項4または請求項5に記載の画像伝送方法において、
    ネットワークを介して前記画像送信装置から前記画像受信装置への前記画像データが送信されている間は、前記変化後の画面の画面キャプチャを行わないことを特徴とする画像伝送方法。
  7. コンピュータに、
    前記コンピュータに取り込まれた画面の画面データから作成された画像データの作成に用いた最新の画面とその後の画面とを監視し、前記最新の画面が変化したかどうかを判断する手順と、
    前記最新の画面が変化したと判断した場合に、変化後の画面の画面キャプチャを行って画面データを得る手順と、
    得られた画面データから作成された画像データを、前記画像データを送信する画像送信装置からネットワークを介して、前記画像送信装置とネットワークを介して接続可能に構成された画像受信装置へ送信する手順とを実行させるためのプログラム。
  8. 請求項7に記載のプログラムにおいて、
    前記コンピュータに、
    前記画面を横方向のラインで間引くことにより監視する領域を設定し、前記領域を順次ずらして前記画面の監視を行う手順を実行させるためのプログラム。


JP2005077173A 2005-03-17 2005-03-17 画像送信装置及び画像伝送方法 Expired - Fee Related JP4394595B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2005077173A JP4394595B2 (ja) 2005-03-17 2005-03-17 画像送信装置及び画像伝送方法
US11/376,326 US8154596B2 (en) 2005-03-17 2006-03-16 Reduction in load of image transmission

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2005077173A JP4394595B2 (ja) 2005-03-17 2005-03-17 画像送信装置及び画像伝送方法

Publications (2)

Publication Number Publication Date
JP2006262116A true JP2006262116A (ja) 2006-09-28
JP4394595B2 JP4394595B2 (ja) 2010-01-06

Family

ID=37009982

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2005077173A Expired - Fee Related JP4394595B2 (ja) 2005-03-17 2005-03-17 画像送信装置及び画像伝送方法

Country Status (2)

Country Link
US (1) US8154596B2 (ja)
JP (1) JP4394595B2 (ja)

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012027953A (ja) * 2011-11-07 2012-02-09 Seiko Epson Corp 変化画像検出装置、変化画像検出方法、及びそれらの機能を実現するためのコンピュータプログラム並びにそのコンピュータプログラムを記録した記録媒体
US8350779B2 (en) 2008-12-19 2013-01-08 Canon Kabushiki Kaisha Display controlling apparatus and image processing apparatus
JP2013069344A (ja) * 2013-01-21 2013-04-18 Seiko Epson Corp 変化画像検出装置、変化画像転送方法、及びそれらの機能を実現するためのコンピュータープログラム並びにそのコンピュータープログラムを記録した記録媒体
JP2014167711A (ja) * 2013-02-28 2014-09-11 Nippon Telegr & Teleph Corp <Ntt> 画面変化検知装置、その方法およびプログラム
WO2015011757A1 (ja) * 2013-07-22 2015-01-29 富士通株式会社 情報処理装置、方法、及びプログラム
JP2019509548A (ja) * 2016-01-27 2019-04-04 ハネウェル・インターナショナル・インコーポレーテッドHoneywell International Inc. 光学文字認識とインテリジェント文字認識とを使用したプロセス工業におけるトリップされたフィールドデバイスのポストモーテム分析のための方法およびツール
US10365881B2 (en) 2016-04-25 2019-07-30 Seiko Epson Corporation Image supplying apparatus, method for controlling image supplying apparatus, and program
JP2022527873A (ja) * 2020-05-01 2022-06-07 ユーアイパス,インコーポレイテッド テキスト検出、キャレット追跡、及びアクティブ要素検出
JP2022531026A (ja) * 2020-05-01 2022-07-06 ユーアイパス,インコーポレイテッド テキスト検出、キャレット追跡、及びアクティブ要素検出
US11461164B2 (en) 2020-05-01 2022-10-04 UiPath, Inc. Screen response validation of robot execution for robotic process automation
US11594007B2 (en) 2020-05-01 2023-02-28 UiPath, Inc. Text detection, caret tracking, and active element detection

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9380256B2 (en) 2007-06-04 2016-06-28 Trover Group Inc. Method and apparatus for segmented video compression

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6839452B1 (en) * 1999-11-23 2005-01-04 California Institute Of Technology Dynamically re-configurable CMOS imagers for an active vision system
JP2004007089A (ja) 2002-05-30 2004-01-08 Nippon Advantage Corp 状態変化判定装置
JP3680059B2 (ja) * 2003-02-07 2005-08-10 株式会社東芝 情報処理装置および画面イメージデータ送信方法

Cited By (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8350779B2 (en) 2008-12-19 2013-01-08 Canon Kabushiki Kaisha Display controlling apparatus and image processing apparatus
US8547296B2 (en) 2008-12-19 2013-10-01 Canon Kabushiki Kaisha Display controlling apparatus and image processing apparatus
US8878747B2 (en) 2008-12-19 2014-11-04 Canon Kabushiki Kaisha Display controlling apparatus and image processing apparatus
US9311042B2 (en) 2008-12-19 2016-04-12 Canon Kabushiki Kaisha Display controlling apparatus and image processing apparatus
JP2012027953A (ja) * 2011-11-07 2012-02-09 Seiko Epson Corp 変化画像検出装置、変化画像検出方法、及びそれらの機能を実現するためのコンピュータプログラム並びにそのコンピュータプログラムを記録した記録媒体
JP2013069344A (ja) * 2013-01-21 2013-04-18 Seiko Epson Corp 変化画像検出装置、変化画像転送方法、及びそれらの機能を実現するためのコンピュータープログラム並びにそのコンピュータープログラムを記録した記録媒体
JP2014167711A (ja) * 2013-02-28 2014-09-11 Nippon Telegr & Teleph Corp <Ntt> 画面変化検知装置、その方法およびプログラム
WO2015011757A1 (ja) * 2013-07-22 2015-01-29 富士通株式会社 情報処理装置、方法、及びプログラム
JP5994944B2 (ja) * 2013-07-22 2016-09-21 富士通株式会社 情報処理装置、方法、及びプログラム
JP2019509548A (ja) * 2016-01-27 2019-04-04 ハネウェル・インターナショナル・インコーポレーテッドHoneywell International Inc. 光学文字認識とインテリジェント文字認識とを使用したプロセス工業におけるトリップされたフィールドデバイスのポストモーテム分析のための方法およびツール
US10365881B2 (en) 2016-04-25 2019-07-30 Seiko Epson Corporation Image supplying apparatus, method for controlling image supplying apparatus, and program
JP2022527873A (ja) * 2020-05-01 2022-06-07 ユーアイパス,インコーポレイテッド テキスト検出、キャレット追跡、及びアクティブ要素検出
JP2022531026A (ja) * 2020-05-01 2022-07-06 ユーアイパス,インコーポレイテッド テキスト検出、キャレット追跡、及びアクティブ要素検出
JP7114157B2 (ja) 2020-05-01 2022-08-08 ユーアイパス,インコーポレイテッド テキスト検出、キャレット追跡、及びアクティブ要素検出
JP7115804B2 (ja) 2020-05-01 2022-08-09 ユーアイパス,インコーポレイテッド テキスト検出、キャレット追跡、及びアクティブ要素検出
US11461164B2 (en) 2020-05-01 2022-10-04 UiPath, Inc. Screen response validation of robot execution for robotic process automation
US11594007B2 (en) 2020-05-01 2023-02-28 UiPath, Inc. Text detection, caret tracking, and active element detection
US11625138B2 (en) 2020-05-01 2023-04-11 UiPath, Inc. Text detection, caret tracking, and active element detection
US11630549B2 (en) 2020-05-01 2023-04-18 UiPath, Inc. Text detection, caret tracking, and active element detection
US11734104B2 (en) 2020-05-01 2023-08-22 UiPath, Inc. Screen response validation of robot execution for robotic process automation

Also Published As

Publication number Publication date
US20060209340A1 (en) 2006-09-21
JP4394595B2 (ja) 2010-01-06
US8154596B2 (en) 2012-04-10

Similar Documents

Publication Publication Date Title
JP4394595B2 (ja) 画像送信装置及び画像伝送方法
JP6523330B2 (ja) 表示制御装置
JP2007158552A (ja) ネットワークカメラシステムおよびネットワークカメラ制御プログラム
JP5154341B2 (ja) 画像監視装置およびプログラム
JP2008100814A (ja) エスカレータ監視装置、エスカレータ監視方法、エスカレータシステムおよびプログラム
JP4186520B2 (ja) 多視点画像記録装置、および多視点画像フレーム同期処理方法、並びにコンピュータ・プログラム
JP4011082B2 (ja) 情報処理装置、グラフィックプロセッサ、制御用プロセッサおよび情報処理方法
JP2007013697A (ja) 画像受信装置及び画像受信方法
JP4327221B2 (ja) データ記録装置
JP2009060168A (ja) 画像処理装置、画像処理方法、画像処理プログラム
JP5200979B2 (ja) 画像転送装置、方法及びプログラム
JP2004312584A (ja) 画像処理方法および画像表示システム
CN109417585B (zh) 图像传输、图像压缩和图像复原的方法、系统及计算机可读存储介质
CN115878379A (zh) 一种数据备份方法、主服务器、备份服务器及存储介质
JP2011095979A (ja) スクリーン記録装置
JP6598726B2 (ja) 表示端末装置、表示装置、データ処理方法及びデータ処理プログラム
JP4116604B2 (ja) データ記録装置
CN111918125B (zh) 一种视频播放方法、装置及系统
JP2003061080A (ja) ネットワーク対応監視システム
US20070098277A1 (en) Transmitting apparatus, image processing system, image processing method, program, and recording medium
JP6607948B2 (ja) 転送制御装置、端末装置及び転送制御方法
JP2010161670A (ja) 画像送信装置及び画像表示システム
JP6229315B2 (ja) 情報通信装置及びデータ連携プログラム
JP2003271282A (ja) 表示指示装置、表示システム、表示指示プログラム、端末、及びプログラム
JP6603984B2 (ja) 画像供給装置、画像供給方法およびプログラム

Legal Events

Date Code Title Description
A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20080303

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20080326

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20080519

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20080702

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20091015

R150 Certificate of patent or registration of utility model

Ref document number: 4394595

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20121023

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20121023

Year of fee payment: 3

S531 Written request for registration of change of domicile

Free format text: JAPANESE INTERMEDIATE CODE: R313531

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20121023

Year of fee payment: 3

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20131023

Year of fee payment: 4

S533 Written request for registration of change of name

Free format text: JAPANESE INTERMEDIATE CODE: R313533

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

LAPS Cancellation because of no payment of annual fees