JP2018110404A - 画面画像転送方法、画像復元方法、画面画像転送システム、画像復元システム、画面画像転送プログラム、画像復元プログラム、画像圧縮方法、画像圧縮システム、画像圧縮プログラム - Google Patents

Abstract

【課題】パーソナルコンピュータのディスプレイの画面画像を、画質の劣化を防止し効率的に転送でき、処理を行うＰＣの負荷を低減することを可能とする画面画像転送方法を提供すること。
【解決手段】分割されたブロック画像毎に連続時刻のブロック画像を比較し差分の有無とそれぞれのブロックの連続数で差分の位置情報を示す位置情報データを作成し算出された値が等しくないブロックを差分ブロックとし同時刻の差分ブロックの数から同時刻の差分ブロックのブロック画像を全て並べて余白が最小となる矩形を形成するために横に並べる並列ブロック数を算出し差分ブロックの画像を並列数算出ステップで算出された並列ブロック数分の差分ブロックの画像を横に並べる毎に下段に並べていくことを繰り返し余白を空白として矩形に作成した画像集合体を１つの画像としてＪＰＥＧで圧縮して圧縮画像を作成して蓄積する圧縮画像作成ステップを含むものとする。
【選択図】図８

Description

本発明は、コンピュータの画面に表示された画像を転送する画面画像転送方法及び転送した画面画像について元の画像に復元する画面画像復元方法に関する。

従来、使用等により時間変化するパーソナルコンピュータ（ＰＣ）のディスプレイの画面の内容を他の装置（例えば録画サーバ）にリアルタイムで転送する画面画像転送方法としては、ビットマップ形式で転送するとデータ量が大きくなるため、ＪＰＥＧ形式に変えて転送したり、差分だけを転送したり、差分をＪＰＥＧ形式に変えて転送する等によって、解像度の縮小、色の階調を落とす、映像を粗くするなどの画像の加工が知られている（例えば、特許文献１参照）。

特開２００９−１０８７１号公報

しかし、従来の画面画像転送方法で、ビットマップ形式での転送では容量がけた違いに大きくなるという問題があり、この問題を回避するためＪＰＥＧ形式に変える転送では、ＪＰＥＧ圧縮率を上げたり解像度を小さくしたりすることにより容量は小さくなるが解像度が落ちる等の問題があった。

解像度が起きる問題を回避するために、解像度を変えずに変化のあった部分（差分）だけを検出し、転送する方法では、色数を減らしたりデータの持ち方を工夫する等して容量を減らせるが、処理を行うＰＣの負荷が大きくなることがあり、また容量を十分には減らせていないという問題があった。

すなわち、従来の画面画像転送方法では、圧縮・解凍すると解像度が低くなって画像が劣化したり、あるいは転送するデータ量が大きかったり、処理を行うＰＣの負荷が大きくなるという問題があった。

したがって、本発明の目的は、上記した課題を解決し、パーソナルコンピュータのディスプレイの画面画像を、画質の劣化を防止し効率的に転送でき、処理を行うＰＣの負荷を低減することを可能とする画面画像転送方法を提供することにある。

本発明の第１の態様は、上記目的を達成するため、ネットワークを介してサーバと接続されたパーソナルコンピュータが、ディスプレイの画面に表示した全画面の画像データを一定間隔時間毎に取得する全画面画像取得ステップ、
所定の録画時間毎に前記全画面画像取得ステップで取得した全画面画像をＪＰＥＧに圧縮して圧縮全画面画像を作成して蓄積し、圧縮全画面画像を作成する毎に所定の録画時間経過までは圧縮全画面画像を作成せず次のステップに進む圧縮全画面画像作成ステップ、
前記全画面画像作成ステップで作成した圧縮全画面画像を含む全画面データファイルを作成してサーバに転送する全画面画像転送ステップ、
前記全画面画像取得ステップで取得した全画面の画像データを画面領域の一端から縦８画素×横８画素のブロック画像に分割する分割ステップ、
前記分割ステップで分割されたブロック画像毎に、連続する２つの時刻におけるブロック画像を比較し、差分の有無とそれぞれのブロックの連続数で差分の位置情報を示す位置情報データを作成する位置情報作成ステップ、
前記位置情報作成ステップで差分ありとされたブロックを差分ブロックとし、同時刻の差分ブロックの数から、同時刻の差分ブロックのブロック画像を全て並べて余白が最小となる矩形を形成するために横に並べる並列ブロック数を算出する並列数算出ステップ、
前記差分ブロックのブロック画像を、前記並列数算出ステップで算出された並列ブロック数分の前記差分ブロックのブロック画像を横に並べる毎に下段に並べていくことを繰り返し、余白を空白として矩形に作成した画像集合体を１つの画像としてＪＰＥＧに圧縮して圧縮差分画像を作成して蓄積する圧縮差分画像作成ステップ、
前記圧縮差分画像と各位置情報データとを含む差分データファイルを作成してサーバに転送する差分画像転送ステップ、
を含むことを特徴とする画面画像転送方法を提供する。

本発明の第１の態様によれば、差分画像だけで１つの画像にしてＪＰＥＧ圧縮して転送するので、パーソナルコンピュータのディスプレイの画面画像を、画質の劣化を防止し効率的に転送でき、処理を行うＰＣの負荷を低減することを可能とする。

なお、「画像」は、静止画像と動画像の両方の意味を含む言葉であるが、本願においては、静止画像を「画像」、動画像を「映像」と表示して、区別するものとする。

縦８画素×横８画素のブロック画像は、ＪＰＥＧ構成要素の最小単位の画像であり、圧縮転送解凍の各ステップで最も効率的なサイズとなる。

さらに、前記位置情報作成ステップにおいて、前記比較は、それぞれのブロック画像についてハッシュ値を生成して比較し、算出された値が等しくないブロックを差分あり、算出された値が等しいブロックを差分なしとするものであって、
前記位置情報データが、差分の有無を示す先頭の１ビットと差分の有無が同じである連続ブロック数を７ビット又は１５ビットで示す１バイト又は２バイトのデータであることが好ましい。

転送する位置情報のデータ量を極めて小さくできる。なお、前記位置情報データは、前記ディスプレイにおける座標データであってもよい。データ量は大きいが、データを見ただけで位置が分かるというメリットがある。

前記所定の録画時間経過までは、前記全画面画像転送ステップを除き全画面画像取得ステップから圧縮差分画像作成ステップまでを繰り返し、その後、前記圧縮差分画像転送ステップの代わりに、前記圧縮全画面画像と所定の録画時間経過までに蓄積された前記圧縮差分画像と各位置情報データとを含む蓄積データファイルを作成してサーバに転送する蓄積画像転送ステップを含むことが好ましい。

無駄なヘッダ情報を減らすことができ、最小限の情報量で済む。

あるいは、画面画像取得ステップから差分画像転送ステップまで一定間隔時間毎に繰り返すものであってもよい。

差分データファイルを毎回転送するため、ヘッダ情報分は情報量が増えるが、リアルタイムでの閲覧が可能となる。

本発明の第２の態様は、上述した本発明の第１の態様の画面画像転送方法によってサーバに転送された画像の復元方法であって、
前記圧縮差分画像から前記画像集合体を復元して差分ブロックのブロック画像を復元する差分ブロック復元ステップ、
１つ前の時刻の全画面画像に、前記差分ブロックのブロック画像を前記位置情報データに基づいて配置して、次の時刻の全画面画像を作成することを前記所定の録画時間分まで繰り返す全画面画像復元ステップ、
を含むことを特徴とする画面画像転送方法を提供する。

本発明の第２の態様によれば、解像度の高い画像を復元できるので、高解像度の動画を再生できる。

本発明において、「ネットワーク」には、ＬＡＮやインターネット、Ｗｉ−Ｆｉ回線、３Ｇ／ＬＴＥ回線、専用線等の通信網及びそれらの組合せから構成されるネットワークを含む。録画される側のパーソナルコンピュータのディスプレイ（録画ＰＣ）の群は、前記録画サーバとＬＡＮネットワークで接続される必要がなく、３Ｇ／ＬＴＥ回線を介してインターネットに接続された録画ＰＣであっても、復元して解像度の高い動画を再生できるデータを、情報量を極めて小さくして録画サーバに転送でき、監視できるＰＣの範囲が広くなる。なお、録画サーバはクラウドサーバであってもよい。録画ＰＣの群から取得した画像について、動画への圧縮形式は、現時点で高圧縮であるＨ．２６４であることがさらに好ましい。軽量で、ハードウェア、ソフトウェアいずれであっても実装が容易である。

本発明によれば、パーソナルコンピュータのディスプレイの画面画像を、画質の劣化を防止し効率的に転送でき、処理を行うＰＣの負荷を低減することを可能とする。

本発明の画面画像転送方法の実施例１を利用するＰＣ画面監視システムのシステム構成の一例を示す図である。 本発明の画面画像転送方法の実施例１における録画ＰＣの構成図である。 本発明の画面画像転送方法の実施例１における録画ＰＣの差分画像作成のイメージ図である。 本発明の画面画像転送方法の実施例１における録画サーバの構成図である。 本発明の画面画像転送方法の実施例１のフローにおける録画ＰＣから録画サーバまでの転送方法と録画サーバでの保存方法の説明図である。 本発明の画面画像転送方法の実施例１における端末（モバイル）の構成図である。 本発明の画面画像転送方法の実施例１における端末（ＰＣ）の構成図である。 本発明の画面画像転送方法の実施例１における録画ＰＣの画面撮影から録画サーバでの蓄積までの手順概要を示すフロー図である。 本発明の画面画像転送方法の実施例２における録画ＰＣの画面撮影から録画サーバでの蓄積までの手順概要を示すフロー図である。

以下、本発明について、実施例を用いて本発明を具体的に説明するが、本発明はこれらに限定されるものではない。

｛構成｝
パーソナルコンピュータ（ＰＣ）のディスプレイの画面は、ユーザによるＰＣの使用やプログラムの実行等によって、時々刻々変化する。本発明の実施例１の画面画像転送方法及び実施例１の画面画像転送方法は、このようなＰＣの画面を１又は複数モニターして監視するＰＣ画面監視システムに利用可能な方法である。

本実施例において、ネットワークを介して接続された録画サーバに画面の画像を転送してモニターされる対象となるパーソナルコンピュータを「録画ＰＣ」とする。

本発明の実施例１の画面画像転送方法は、ネットワークを介して録画サーバと接続された録画ＰＣから録画サーバに画面画像を、所定の録画時間分まとめて転送する画面画像転送方法である。本発明の実施例１の画像復元方法は、本発明の実施例１の画面画像転送方法により録画サーバに収集された画像を録画サーバが編集して画像を復元する方法である。本発明の実施例１の画像復元方法によって復元された画像を録画サーバが保存し、録画サーバからモニターする側のユーザの端末に、ネットワークを介してモニターする録画ＰＣの画像を送信しうる。

上記ＰＣ画面監視システムは、実施例１の画像復元方法によって復元された画像を圧縮して保存し、復元された画像を端末等に送信して、過去の画像の再生・巻戻し・早送りも行うものである。本実施例では、録画ＰＣの画面の画像について、一定時間分ずつ、しかも差分画像を極めて小さいサイズとすることができるため、転送する情報量を最小限に減らすことができ、録画ＰＣから録画サーバへの転送容量を少なくでき、現地に録画サーバを設置せずにクラウドサーバ等での録画ＰＣの画面画像収集が可能となる。また、単純な録画ＰＣの画面の画像収集に比べて、通信上のデータ量を減らすことができ、ネットワークへの負担が少ないことに加え、画像復元したときに解像度の高い画像でのモニターが可能となる。

本発明の実施例１の画面画像転送方法は、画像をブロック単位で圧縮・解凍する際に隣り合ったブロックの画像に影響を受けないというＪＰＥＧの特性を生かすことで、画像の劣化を最小限にとどめ、ＪＰＥＧとすることですなわち圧縮がされるので、別途の圧縮工程を設けなくてすむこと、すなわち、どのようにデータ量を少なくするか、少なくなったデータをどう圧縮するかという問題をＪＰＥＧに収めることで今までの工程を失くすことができることを発見し、色数やデータの持ち方を変えずに差分をそのままＪＰＥＧ画像にすることによって自動的に最短で差分データを作成でき、しかも高圧縮な状態になっているという状態を実現したものである。

図１は、本発明の画面画像転送方法の実施例１を利用するＰＣ画面監視システムのシステム構成の一例を示す図である。ＬＡＮやインターネット、Ｗｉ−Ｆｉ回線、３Ｇ／ＬＴＥ回線、専用線等の通信網の組み合わせから構成されるネットワーク５００上には、（１）モニター対象として、複数台の録画ＰＣ４００Ａ〜Ｆ、（２）録画ＰＣ４００Ａ〜Ｆにネットワーク５００を介して接続され、録画ＰＣ４００から画像データを取得し蓄積し端末に送信する録画サーバ１００、（３）録画サーバ１００にネットワーク５００を介して接続され、録画サーバ１００からの画像データを受信して表示する端末として、スマートフォンなどのモバイル端末２００Ａ、Ｂや、デスクトップＰＣ（パーソナルコンピュータ）やノートＰＣなどの閲覧ＰＣ３００Ａ〜Ｃが接続されている。図１中では、録画ＰＣで撮影された画像データの流れの例を点線矢印で図示している。なお、以下、モバイル端末と閲覧ＰＣとをまとめるときは、「端末」又は「Ｖｉｅｗｅｒ」という。

録画サーバ１００は、モニター対象の録画ＰＣ４００Ｂ〜Ｄとは、インターネットを含むネットワーク５００を介して接続されている。本実施例では、録画サーバ１００と同じ
ＬＡＮ以外のネットワーク上にも、録画ＰＣ４００Ａ、Ｅ、Ｆのようにモニター対象の録画ＰＣを設けることができる。録画サーバ１００が接続されたＬＡＮとルータ６００Ａを介して接続されたインターネット網には、３Ｇ／ＬＴＥ回線が接続され、またルータ６００Ｃを介して別のＬＡＮが接続されている。録画ＰＣ４００Ｂは、ルータ６００Ｂと３Ｇ／ＬＴＥ回線を介してインターネット網に接続されている。録画ＰＣ４００Ｃ、Ｄは、録画サーバ１００とは異なるＬＡＮに接続されている。図１は、録画ＰＣや閲覧ＰＣやモバイル端末を、録画サーバと複数のネットワークを介して接続した接続例を示すものであり、これに限定されない。本実施例では、録画ＰＣ４００と録画サーバ１００との通信は、セッションを確立してから通信を開始する信頼性の高いＴＣＰで行う。

録画ＰＣだけでなく、画像表示用の端末である閲覧ＰＣ３００も、録画サーバ１００と同じＬＡＮ内に存在する場合に限らず、インターネットやＬＡＮやＷｉ-Ｆｉ回線等、複
数のネットワークを介して録画サーバ１００と接続されていてもよい。画像表示用の端末であるモバイル端末２００についても、ＬＡＮ、インターネット、携帯電話用ネットワーク（Ｗｉ−Ｆｉ回線や３Ｇ／ＬＴＥ回線等）等、複数のネットワークを介して録画サーバ１００と接続されていてもよい。なお、ＬＡＮとインターネット間や、録画ＰＣとインターネット間は、ルータ６００を介する。

１台の録画サーバ１００は、複数台の録画ＰＣ４００から、録画ＰＣ４００のディスプレイ４０３に表示された画面の画像を連続して取得することができる。本実施例では、録画ＰＣ４００側から所定のタイミングで画像データが録画サーバ１００に転送されるため、通信が不通になったときに録画サーバ側で状況把握できないが、転送される情報量が小さくネットワークトラフィックにかかる負担は小さく、ルータのポート変更の必要がない。

なお、本実施例では、録画ＰＣが起動状態となると、録画サーバと接続の認証処理を行うことにより録画ＰＣが起動状態となったことを通知し、録画サーバがその応答で録画開始指示を録画ＰＣに行うと、録画ＰＣにおいて画面の画像の取得をし、あとは録画ＰＣのタイマーによって所定間隔で画面の画像を取得する。本実施例では、録画ＰＣ内のタイマーで、一定間隔時間毎、例えば１秒、５秒などのタイミングで画像取得を行い、最初の１回でＪＰＥＧの圧縮全画面画像を作成する以外は全てＪＰＥＧの圧縮差分画像を作成し、所定の録画時間、例えば１０分間など、を経過するまで繰り返したら、所定の録画時間分の圧縮全画面画像と圧縮差分画像をまとめて一つのファイルとして録画サーバに転送することを、繰り返す。ＪＰＥＧに圧縮するとき、画質の劣化を０とすることが可能である。また、人の目の許す範囲でＪＰＥＧの圧縮率を上げることも可能である。

従来の画面画像転送方法を用いたＰＣ画面監視システムでは、容量が大きかったり、圧縮工程が別途必要となったり、画質の劣化が生じたりしたが、本実施例では、パーソナルコンピュータのディスプレイの画面画像を、画質の劣化を防止し効率的に転送でき、処理を行うＰＣの負荷を低減することを可能とするので、容量が十分小さく、インターネット上、また、携帯端末等、３Ｇ／ＬＴＥ回線上にもモニター対象となる録画ＰＣを設けることができるため、自由度が非常に高くなる。

図２は、本発明の画面画像転送方法の実施例１における録画ＰＣの構成図である。録画ＰＣ４００は、キャッシュメモリであるメモリ４０２を伴うＣＰＵ４０１やデバイスドライバ等を有する制御・演算装置と、ＤＲＡＭ等の主記憶装置やハードディスク等の補助記憶装置を有する記憶装置４１０と、ネットワークインターフェース４０４等の通信制御装置や表示装置としてのディスプレイ４０３、キーボード４０５、マウス４０６等で構成される入出力装置とを備えている。記憶装置４１０には、蓄積フォルダ４１１や環境設定フォルダやプログラム４１３やオペレーティングシステム４１４が格納されている。プログ
ラム４１３は、通常、記憶装置４１０の補助記憶装置に格納されており、実行時には主記憶装置にロードされる。

蓄積フォルダ４１１は、画像を保存するフォルダであって、蓄積フォルダ４１１には、録画ＰＣのディスプレイ４０３のスクリーンショットの撮影によって取得した全画面の全画像をＪＰＥＧで圧縮した圧縮全画面画像と、先に撮影した全画像と次に撮影した全画像との差分によって作成した画像集合体と、を蓄積する。環境設定フォルダには、画像集合体作成条件、撮影間隔条件、録画時間条件、圧縮率条件等が蓄積されている。

プログラム４１３には、画像録画・送信プログラム等、各種プログラムを含む。録画ＰＣ４００は、録画サーバ１００から画像要求を受けると、接続認証処理（アクティベーション）を行う。かかる認証でお互いに暗号化キー等を持ち合い、それをもって接続を行う。暗号化キー等が異なれば、接続自体できない。これにより無関係なサーバへ録画ＰＣの情報が流出することを防止できる。

録画ＰＣ４００は、本実施例では、録画ＰＣが起動状態となると、録画サーバと接続の認証処理が開始され、これにより、録画サーバに、録画ＰＣが起動状態となったことが通知され、録画サーバ１００によって録画開始指示が行われると、録画ＰＣ４００において、まず最初の画面の画像の取得を行い、あとは録画ＰＣのタイマーによって一定間隔毎に画面の画像を取得し、所定のファイルを作成して録画サーバ１００に送信する。

録画ＰＣ４００は、ＣＰＵ４０１が、画像録画・送信プログラム４１３をメモリ４０２にロードして実行することにより本実施例の画面画像転送方法を利用する監視方法における画像取得から編集保存、そして録画サーバへの送信までが可能なコンピュータの機能を実現する。ＣＰＵ４０１は、通常のコンピュータに搭載する演算処理装置であり、各種プログラムを実行し、各種制御等を行う。

本実施例では、画像録画・送信プログラム４１３は、コンピュータに、（１）ネットワークを介して接続された録画サーバからの録画ＰＣとの接続要求を受信する接続機能、（２）ディスプレイの画面に表示した全画面の画像データを一定間隔時間毎に取得する全画面画像取得機能、（３）所定の録画時間毎に全画面画像取得機能によって取得した全画面画像をＪＰＥＧに圧縮して圧縮全画面画像を作成して蓄積し、圧縮全画面画像を作成する毎に所定の録画時間経過までは圧縮全画面画像を作成せず次のステップに進む圧縮全画面画像作成機能、（４）全画面画像取得機能によって取得した全画面の画像データを画面領域の一端から縦横所定画素数であるブロック画像に分割する分割機能、（５）分割機能によって分割されたブロック画像毎に、連続する２つの時刻におけるブロック画像を比較し、差分の有無とそれぞれのブロックの連続数で差分の位置情報を示す位置情報データを作成する位置情報作成機能、（６）位置情報作成機能によって差分有とされたブロックを差分ブロックとし、同時刻の差分ブロックの数から、同時刻の差分ブロックのブロック画像を全て並べて余白が最小となる矩形を形成するために横に並べる並列ブロック数を算出する並列数算出機能、（７）差分ブロックのブロック画像を、並列数算出機能によって算出された並列ブロック数分の差分ブロックのブロック画像を横に並べる毎に下段に並べていくことを繰り返し、余白を空白として矩形に作成した画像集合体を１つの画像としてＪＰＥＧに圧縮して圧縮差分画像を作成して蓄積する圧縮差分画像作成機能、（８）所定の録画時間経過までは、全画面画像取得から圧縮差分画像作成までを繰り返すリピート機能、（９）圧縮全画面画像と所定の録画時間経過までに蓄積された前記圧縮差分画像と各位置情報データとを含む蓄積データファイルを作成してサーバに転送する蓄積画像転送機能、を実現させるためのプログラムである。

上述した一定間隔時間は、例えば、１秒、５秒等とすることができ、所定の録画時間は
、例えば、１０分等とすることができる。したがって、圧縮全画面画像（Ｉフレーム）が作成されるのは、所定の録画時間の開始時、例えば１０分毎であって、その間の一定間隔時間毎、例えば１秒毎に作成されるのは、圧縮差分画像（Ｊフレーム）である。本実施例では、所定の録画時間分まとめて、すなわち１枚の圧縮全画面画像と、多数の圧縮差分画像及び位置情報データを含む１つのファイルとして、蓄積データファイルが作成される。なお、蓄積データファイルには、ヘッダ等必要な情報が付加される。

本実施例においては、分割機能では、ブロック画像は縦８画素×横８画素とする。ＪＰＥＧにおける最小の単位であり、したがって、情報量を最低限とすることと解像度を低下させないことを両立する。

本実施例では、位置情報作成機能は、さらに、それぞれのブロック画像についてハッシュ値を生成して比較し、算出された値が等しくないブロックを差分あり、算出された値が等しいブロックを差分なしとするものであって、位置情報データが、差分の有無を示す先頭の１ビットと差分の有無が同じである連続ブロック数を７ビット又は１５ビットで示す１バイト又は２バイトのデータである。１バイトの場合は１２７まで連続数を表現でき、２バイトの場合は、３２７６７まで連続数を表現できる。

それぞれのブロック画像についてハッシュ値を生成して比較する際、１つ前に取得した画像の縦８画素×横８画素（ドット又はピクセル）に対して、６４ビットのハッシュ値（１）を生成する。次に今回取得した画像の縦８画素×横８画素（ドット又はピクセル）に対して、６４ビットのハッシュ値（２）を生成する。ハッシュ値（１）とハッシュ値（２）とを比較して値が同じであれば、差分（変化）がないと判断し、ハッシュ値（１）とハッシュ値（２）とを比較して値が異なる場合は、差分（変化）があると判断する。

図３は、本発明の画面画像転送方法の実施例１における録画ＰＣの差分画像作成のイメージ図である。１つ前に取得した画像（Ａ画像）と今回取得した画像（Ｂ画像）についてそれぞれ縦８画素×横８画素のブロックに分割したうえで、Ａ画像とＢ画像の同じ位置のブロックにおいて画像が異なるブロック（差分ブロック）のみを順番に並べる。並べるとき、全て並べて余白が最小となる矩形を形成させる。そのために横に並べる並列ブロック数を算出する。算出された並列ブロック数分の差分ブロックのブロック画像を横に並べる毎に所定画素数分、本実施例では、８画素分、下段に改行して並べて、すなわち、算出された並列ブロック数分毎に下段に並べていくことを繰り返し、余白を空白として矩形に作成した画像集合体を１つの画像としてＪＰＥＧに圧縮して圧縮差分画像を作成する。例えば、時刻ｔ１における差分ブロックの数が１１個であった場合、余白が最小となる矩形とするには、縦３個×横４個となるため、一つ目から４つ目までを１段目に左から順に並べ、５つ目から８つ目までをその下の２段目、９つ目から１１個目までを３段目で左から順に並べる。三段目の一番右側が余白の空白となる。したがって、差分ブロックと余白で縦２４画素×横３２画素の一つの画像集合体を１つの画像としてＪＰＥＧに圧縮する。縦８画素×横８画素というＪＰＥＧの最小単位を用いるため、解凍した際に、隣り合ったブロックに影響されず元の差分ブロックを得ることができる。

元の差分ブロックが得られても、どの位置のブロックか分からないと元の画像にならないため、録画サーバに転送する際、それぞれの画像集合体に対して位置情報を付加してある。例えば、１バイトの場合、ブロックが差分（変化）なし１２０、差分（変化）あり３００となったとき、差分ありを１、差分なしを２として、位置情報は、０:１２０、１:３００であるので、差分の有無を先頭のビットとして、ビットで表現すると、０１１１１０００（１つめの位置情報：変化なし（０）が１２０）、１１１１１１１１（２つ目の位置情報：変化あり（１）が１２７個）、１１１１１１１１（３つ目の位置情報：変化あり（１）が１２７個）、１０１０１１１０（４つ目の位置情報：変化あり（１）が４６個（＝
３００-１２７-１２７））となる。２バイトにした場合、管理できる数を増やすことができる。

録画ＰＣと録画サーバとの接続はＴＣＰ／ＩＰ方式で行い、録画ＰＣを特定するため、録画サーバ側で設定したユーザＩＤとパスワードで認証を行ってからカメラ画像の撮影等の要求を行う。認証は、録画サーバ上の認証用データベースによる認証が好ましい。

録画サーバが録画ＰＣと同じＬＡＮ上になくてもルータを介してネットワークで繋がっていれば、録画サーバのＩＰアドレス、ポート番号に、録画ＰＣから接続する。

図４は、本発明の画面画像転送方法の実施例１における録画サーバの構成図である。録画サーバ１００は、キャッシュメモリであるメモリ１０２を伴うＣＰＵ１０１やデバイスドライバ等を有する制御・演算装置と、ＤＲＡＭ等の主記憶装置やハードディスク等の補助記憶装置を有する記憶装置１１０と、ネットワークインターフェース１０４等の通信制御装置や表示装置としてのディスプレイ１０３、キーボード１０５、マウス１０６等で構成される入出力装置とを備えている。記憶装置１１０には、蓄積フォルダ１１１と一次映像フォルダ１１５と二次映像フォルダ１１２とプログラム１１３と認証用データベースと環境設定フォルダ等の他、オペレーティングシステム１１４が格納されている。プログラム１１３は、通常、記憶装置１１０の補助記憶装置に格納されており、実行時には主記憶装置にロードされる。

蓄積フォルダ１１１は、画像を保存するフォルダであって、蓄積フォルダ１１１には、録画ＰＣ４００から取得した、圧縮全画面画像と圧縮差分画像とを含む蓄積データファイルを蓄積し、一次映像フォルダ１１５には、蓄積フォルダ１１１に蓄積された圧縮全画面画像と圧縮差分画像から復元した全画面画像で構成される全画像のみからなる動画、すなわち全てＩフレームのみからなる動画を一次映像データとして蓄積し、二次映像フォルダには、一次映像フォルダ１１５内に蓄積された一定時間分の一次映像データを、動画圧縮変換して二次映像データとして蓄積する。

圧縮差分画像から全画面画像を復元する方法は、例えば、図３のＢ画像を復元する場合、画像集合体に付加された位置情報の１つ目（０１１１１０００）から、変化なしのブロック数（１２０個）分について、ひとつ前の画像（図３ではＡ画像）の左上から同数（１２０個）のブロック画像とし、次に位置情報の２つ目から４つ目（１１１１１１１１、１１１１１１１１、１０１０１１１０）から、変化ありのブロック数（３００個）分については、画像集合体の左上から順に同数（３００個）のブロック画像とする。次に、５つ目以降の、０から始まる連続した１又は複数の位置情報から、変化なしのブロック数（仮に１００個とする）分について、Ａ画像における４２１個目のブロック画像から同数（１００個）のブロック画像とし、次に１から始まる連続した１又は複数の位置情報から、変化ありのブロック数（仮に５０個とする）分について、画像集合体の左上から３０１個目のブロック画像から同数（５０個）のブロック画像とする。これを繰り返してＢ画像を復元する。ＰＣ画面は、光の揺らぎや風などが吹く自然環境のカメラ画像と異なり、画面内で変化のある部分が小さいことが多いので、画像集合体は極めて小さい容量とすることができる。

図５は、本発明の画面画像転送方法の実施例１のフローにおける録画ＰＣから録画サーバまでの転送方法と録画サーバでの保存方法の説明図である。図５において、圧縮全画面画像をＩフレーム、圧縮差分画像をＪフレームとして表現している。二次映像データに動画圧縮変換する際は、Ｉフレームを減らし、例えば、１つのファイルにまとめて転送される録画時間を１０分として、１０分当たり３枚程度まで減らし、Ｐフレームのほか、Ｂフレームを多く挿入して、劣化せずに容量を削減する。その場合、録画ＰＣから録画サーバ
へ転送するＪフレームの数は、Ｊフレームの撮影間隔は１秒毎であるので、１０分当たり、５９９枚となる。一次映像データでは全てＩフレームとするので、録画時間１０分で、Ｉフレームが６００枚となる。録画時間１０分で、二次映像データでは、例えば、Ｉフレーム３枚、Ｐフレーム１９７枚、Ｂフレーム４００枚のように圧縮できる。

プログラム１１３には、収集・編集プログラムや送信プログラム等、各種プログラムを含む。認証用データベースには、ＩＤ、パスワード、各画面ＰＣ４００、７０１やモバイル端末２００や閲覧ＰＣ３００の接続端末を個体識別情報（ＵＩＤ）として蓄積している。本実施例では、録画サーバ１００は、録画サーバと端末が一体となっており、自ら画像を表示する端末の役割も果たすため、また、メンテナンスや管理のため、ディスプレイ１０３、また入力手段としてのキーボード１０５やマウス１０６を有している。録画サーバで録画ＰＣの画像の再生を要しない場合は、画像表示装置としての端末機能はなくてもよい。環境設定フォルダには、各録画ＰＣとの認証条件、一次映像データや二次映像データの作成間隔、圧縮条件等が蓄積されている。録画サーバ１００は、設置型のサーバであるが、クラウドサーバであってもよい。

録画ＰＣ４００は、録画サーバ１００に接続し、その通信の応答により、画像要求された場合に画像の送信が行われる。録画ＰＣのタイマーは、画像の送信（１秒、５秒、１０分など）の間隔で設置される。

録画サーバ１００は、ＣＰＵ１０１が、収集・編集プログラムをメモリ１０２にロードして実行することにより本実施例の画面画像転送方法を利用するＰＣ画面監視方法における録画ＰＣからの画像取得から編集保存までが可能なコンピュータの機能を実現する。録画サーバ１００は、ＣＰＵ１０１が、送信プログラムをメモリ１０２にロードして実行することにより端末への画像送出処理が可能なコンピュータの機能を実現する。ＣＰＵ１０１は、通常のコンピュータに搭載する演算処理装置であり、各種プログラムを実行し、各種制御等を行う。

録画サーバ１００は、１台のサーバとする他、複数の録画サーバからなるサーバ群であってもよい。例えば、二次映像フォルダについて、一定期間（例えば２４時間）経過後の二次映像データについては、保存先を、圧縮全画面画像と圧縮差分画像を取得する録画サーバと別の録画サーバに設けた二次映像フォルダとしてもよい。頻繁には再生しない過去の保存データを別にすることで、さらに多くの台数の録画ＰＣを同一ネットワーク上で監視可能となる。

収集・編集プログラムは、コンピュータに、（１）録画ＰＣとの接続を行う録画ＰＣ接続機能、（２）接続した録画ＰＣから転送される蓄積データファイルを録画サーバに受信させる画像取得機能、（３）録画ＰＣから取得した蓄積データファイルを蓄積フォルダに蓄積する蓄積機能、（４）蓄積された蓄積データファイルに含まれる圧縮差分画像それぞれから画像集合体を復元して差分ブロックのブロック画像を復元する差分ブロック復元機能、（５）１つ前の時刻の全画面画像に、差分ブロックのブロック画像を位置情報データに基づいて配置して、次の時刻の全画面画像を作成することを圧縮差分画像全てについて行う全画面画像復元機能、（６）復元した全画面画像の集合から蓄積データファイル単位で１つの動画とした一次映像データを作成して一次映像データフォルダに保存する一次映像データ保存機能を実現させるためのプログラムである。

本実施例では、収集・編集プログラムは、より好ましい態様として、さらに、コンピュータに、一次映像データを、一定時間分（例えば１０分分）毎に結合させタイムスタンプを付して動画形式で圧縮した、すなわち一次映像データを最適化した、二次映像データに変換する二次映像データ作成機能をも実現させるためのプログラムである。一次映像デー
タは、全て全画像（Ｉフレーム（イントラフレーム））であり、二次映像データは、動画形式に圧縮し、例えば、Ｉフレームを１０分当たり３枚程度の割合とし、Ｐフレーム（予測インターフレーム）だけでなくＢフレーム（双方向予測インターフレーム）を組み合わせて挿入し、劣化せずに容量を削減する。本実施例では、未来のＩフレームを参照することができるので、Ｂフレームを挿入できる。Ｂフレームは前後比較差分であるので、Ｐフレームよりも小さくなる。

本実施例においては、送信プログラムは、コンピュータに、端末との接続を行う端末接続機能、端末に録画ＰＣ一覧を表示して端末からの録画ＰＣの選択を受け付ける画像選択受付機能、選択された録画ＰＣについて二次映像データの画像を端末に送信する再生画像送信機能、端末より再生画像からの巻戻しや早送りの要求を受け付ける再生画像巻戻し・早送り受付機能、巻戻し・早送り要求毎に、端末に前回送信した画像より一定時間分（例えば１秒分）過去又は未来の時点の二次映像データを抽出して巻戻し画像又は早送り画像として端末に送信する巻戻し・早送り画像送信機能をも実現させるためのプログラムである。なお、二次映像データと同様にして一次映像データの画像を端末に送信して、再生、巻戻し、早送りを行うこともできる。

本実施例では、端末２００、３００と録画サーバ１００との接続もＴＣＰ／ＩＰ方式で行い、ユーザＩＤとパスワードで認証を行って、端末が録画サーバに登録してある端末であることを確認してから画像送信を行う。認証は、録画サーバ上の認証用データベースによる認証が好ましい。

録画サーバが端末と同じＬＡＮ上になくてもルータを介してネットワークで繋がっていれば、録画サーバのＩＰアドレス、ポート番号に、端末から接続する。端末の接続には、端末認証時に登録したＵＩＤを利用して端末の認証を行う。

録画サーバ１００は、モバイル端末２００の接続開始時にＵＩＤを用いた端末固有情報を元に端末を特定するため、ユーザＩＤとパスワードの認証及び端末固有情報の一致により画像表示を可能とする。

図６は、本発明の画面画像転送方法の実施例１における端末（モバイル）の構成図である。モバイル端末２００は、メモリ２０２を伴うＣＰＵ２０１やデバイスドライバ等を有する制御・演算装置と、記憶装置２１０、データの送受信等を行う通信制御装置、表示装置としてのディスプレイ２０３、操作ボタンあるいはタッチパネル等の入出力装置を備えている。記憶装置２１０には、画像表示プログラム２１３やオペレーティングシステム２１４が格納されている。モバイル端末２００は、例えばスマートフォン等の携帯電話等であり、ＣＰＵ２０１が画像表示プログラム２１３をメモリ２０２にロードして実行することにより本発明の画像表示が可能なコンピュータの機能を実現する。ＣＰＵ２０１は、通常のモバイル端末に搭載する演算処理装置であり、各種プログラムを実行し、各種制御等を行う。

図７は、本発明の画面画像転送方法の実施例１における端末（ＰＣ）の構成図である。閲覧ＰＣ３００は、メモリ３０２を伴うＣＰＵ３０１やデバイスドライバ等を有する制御・演算装置と、ＤＲＡＭ等の主記憶装置やハードディスク等の補助記憶装置を有する記憶装置３１０と、ネットワークインターフェース３０４等の通信制御装置や表示装置としてのディスプレイ３０３、キーボード３０５、マウス３０６等で構成される入出力装置とを備えている。記憶装置３１０には、画像表示プログラム３１３やオペレーティングシステム３１４が格納されている。閲覧ＰＣ３００は、例えばデスクトップＰＣやノートＰＣ、タブレット端末等であり、ＣＰＵ３０１が画像表示プログラム３１３をメモリ３０２にロードして実行することにより本発明の画像表示が可能なコンピュータの機能を実現する。
ＣＰＵ３０１は、通常のＰＣに搭載する演算処理装置であり、各種プログラムを実行し、各種制御等を行う。

画像表示プログラムは、コンピュータに、録画サーバとの接続を行う録画サーバ接続機能、録画サーバから送信された画像を表示する画像表示機能を実現させるためのプログラムである。

画像表示プログラムは、より好ましい態様として、さらに、コンピュータに、再生画像表示中に、巻戻し要求の入力を受け付け、巻戻し画像を録画サーバに要求する巻戻し開始要求機能、巻戻し画像表示中に、再生画像の要求間隔より短い一定時間（例えば０．２秒）毎に、巻戻し画像を録画サーバに要求する巻戻し継続要求機能、巻戻し画像表示中に、ユーザからの早送り要求の入力を受け付け、早送り画像を録画サーバに要求する巻戻し画像早送り開始要求機能、早送り画像表示中に、再生画像の要求間隔より短い一定時間（例えば０．２秒）毎に、早送り画像を録画サーバに要求する巻戻し画像早送り継続要求機能をも実現させるためのプログラムである。

本実施例においては、録画サーバ１００と閲覧ＰＣ３００と録画ＰＣ４００とは、ともにパーソナルコンピュータとして構成され、通常のパーソナルコンピュータが有するクロック機能等を備えている。モバイル端末２００もクロック機能等を備えている。

実施例１における録画ＰＣ４００は、ネットワークを介して録画サーバ１００と接続されたパーソナルコンピュータであって、（１）録画サーバ１００からの録画ＰＣとの接続要求を受信する接続手段、（２）ディスプレイ４０３の画面に表示した全画面の画像データを一定間隔時間毎に取得する全画面画像取得手段、（３）所定の録画時間毎に全画面画像取得手段によって取得した全画面画像をＪＰＥＧに圧縮して圧縮全画面画像を作成して蓄積し、圧縮全画面画像を作成する毎に所定の録画時間経過までは圧縮全画面画像を作成せず次のステップに進む圧縮全画面画像作成手段、（４）全画面画像取得手段によって取得した全画面の画像データを画面領域の一端から縦横所定画素数であるブロック画像に分割する分割手段、（５）分割手段によって分割されたブロック画像毎に、連続する２つの時刻におけるブロック画像を比較し、差分の有無とそれぞれのブロックの連続数で差分の位置情報を示す位置情報データを作成する位置情報作成手段、（６）位置情報作成手段によって差分有とされたブロックを差分ブロックとし、同時刻の差分ブロックの数から、同時刻の差分ブロックのブロック画像を全て並べて余白が最小となる矩形を形成するために横に並べる並列ブロック数を算出する並列数算出手段、（７）差分ブロックのブロック画像を、並列数算出手段によって算出された並列ブロック数分の差分ブロックのブロック画像を横に並べる毎に下段に並べていくことを繰り返し、余白を空白として矩形に作成した画像集合体を１つの画像としてＪＰＥＧに圧縮して圧縮差分画像を作成して蓄積する圧縮差分画像作成手段、（８）所定の録画時間経過までは、全画面画像取得から圧縮差分画像作成までを繰り返すリピート手段、（９）圧縮全画面画像と所定の録画時間経過までに蓄積された圧縮差分画像と各位置情報データとを含む蓄積データファイルを作成してサーバに転送する蓄積画像転送手段、を設けてある。

録画ＰＣ４００は、前述のハードウェア構成と画像録画・送信プログラムによって、（１）〜（９）の手段として機能する。

実施例１における録画サーバ１００は、（１）録画ＰＣとの接続を行う録画ＰＣ接続手段、（２）接続した録画ＰＣから転送される蓄積データファイルを録画サーバ１００に受信させる画像取得手段、（３）録画ＰＣ４００から取得した蓄積データファイルを蓄積フォルダ１１１に蓄積する蓄積手段、（４）蓄積された蓄積データファイルに含まれる圧縮差分画像それぞれから画像集合体を復元して差分ブロックのブロック画像を復元する差分
ブロック復元手段、（５）１つ前の時刻の全画面画像に、差分ブロックのブロック画像を位置情報データに基づいて配置して、次の時刻の全画面画像を作成することを圧縮差分画像全てについて行う全画面画像復元手段、（６）復元した全画面画像の集合から蓄積データファイル単位で１つの動画とした一次映像データを作成して一次映像データフォルダ１１５に保存する一次映像データ保存手段を設けてある。

録画サーバ１００は、前述のハードウェア構成と収集・編集プログラムによって、（１）〜（６）の手段として機能する。また、録画サーバ１００は、前述のハードウェア構成と送信プログラムによって、端末への再生画像や巻戻し再生や早送り再生の画像の送信手段として機能する。

また、端末２００、３００に、（１）録画サーバ１００との接続を行う録画サーバ接続手段、（２）録画サーバ１００から送信された画像を表示する画像表示手段、（３）再生画像表示中に、巻戻し要求の入力を受け付け、巻戻し画像を録画サーバに要求する巻戻し開始要求手段、（４）巻戻し画像表示中に、再生画像の要求間隔より短い一定時間（例えば０．２秒）毎に、巻戻し画像を録画サーバに要求する巻戻し継続要求手段、（５）巻戻し画像表示中に、ユーザからの早送り要求の入力を受け付け、早送り画像を録画サーバに要求する巻戻し画像早送り開始要求手段、（６）早送り画像表示中に、再生画像の要求間隔より短い一定時間（例えば０．２秒）毎に、早送り画像を録画サーバに要求する巻戻し画像早送り継続要求手段を設けてある。端末は、前述のハードウェア構成と画像表示プログラム２１３、３１３によって、（１）〜（６）の手段として機能する。

なお、全画像（Ｉフレーム）のみで作成された一次映像データは、一定時間毎に録画サーバで二次映像データに変換されているので、端末は、録画して１０分後等、短期間での再生、巻戻し再生、早送り再生の他、１日以上経過した過去の録画ＰＣの画面の画像の再生や、巻戻し、早送りも可能である。録画ＰＣから録画サーバへの転送時のデータ量が小さいにもかかわらず、再生画像、巻戻し画像、早送り画像は、全てＩフレームであり、動画として再生した際に高画質である。頻繁には使用しない、二次映像データ作成単位以上に過去分の再生や早送り巻戻しは、圧縮変換した動画ファイルである二次映像データを使用するため、動画ながら保存に要するデータ量が小さくて済む。

上述した録画ＰＣと録画サーバと端末とによって構成されるＰＣ画面監視システムは、実施例１の画面画像転送方法と、実施例１の画像復元方法を実現するシステムであり、ＰＣ画面の差分をＪＰＥＧ単位で検出して、その差分で別画像を生成したうえで画像の転送を行うことで、転送容量を少なくできる。圧縮処理を行う録画ＰＣへの負担も小さく、録画ＰＣから録画サーバへの送信データ量が小さく、ローカル環境以外に録画ＰＣを設けてもデータ遅延等の問題が生じにくく、また、録画サーバから端末への送信データ量も小さく、解像度が高く高画質ながらネットワークにかかる負荷が小さい監視システムを実現できる。すなわち、パーソナルコンピュータのディスプレイの画面画像を、画質の劣化を防止し効率的に転送でき、処理を行うＰＣの負荷を低減することを可能とする。ネットワーク上に同時に流れるデータ量が少なくなるので、一般のインターネット回線などを通じてＰＣ画面の画像を録画サーバに流すことができ、また、一般のインターネット回線などにも、ＰＣ画面の情報を流すことができる。さらに、インターネット回線（ＷＡＮ）越しのクラウドサーバでのデータ蓄積を可能にする。

｛手順｝
本発明の画面画像転送方法の実施例１の手順について図を用いて具体的に説明する。本手順では、上述した録画ＰＣと録画サーバと端末とによって構成されるＰＣ画面監視システムを使用する。

図８は、本発明の画面画像転送方法の実施例１における録画ＰＣの画面撮影から録画サーバでの蓄積までの手順概要を示すフロー図である。

録画ＰＣは、ＴＣＰ／ＩＰ方式で録画サーバに接続を要求する。録画ＰＣは１又は複数台で構成され、各録画ＰＣは、録画サーバとユーザＩＤ及びパスワードで認証を行う。録画サーバは、録画ＰＣからの接続応答を受けて、認証用データベースを参照して認証に成功すると、接続状態となる。

本実施例の画面画像転送方法では、録画ＰＣを起動状態となると、録画ＰＣは上述した録画サーバと接続の認証処理を行い、録画サーバから録画ＰＣへの録画開始要求を行った後、録画ＰＣが、ディスプレイの画面に表示した全画面の画像データを取得し、取得した全画面画像をＪＰＥＧに圧縮して圧縮全画面画像を作成して蓄積する。圧縮全画面画像の作成は、所定の録画時間毎、例えば１０分ごとである。

圧縮全画面画像の作成後、一定間隔時間（例えば１秒あるいは５秒）毎に、ディスプレイの画面に表示した全画面の画像データを取得して圧縮差分画像を作成することを、所定の録画時間（例えば１０分）経過まで繰り返す。例えば録画時間が１０分（６００秒）、間隔時間が１秒であった場合、最初の１枚が圧縮全画面画像で、圧縮差分画像は最大で５９９枚となる。差分がなかった場合、その時刻分については画像集合体がないため圧縮差分画像はない。

上述した１枚の圧縮全画面画像と、圧縮差分画像（上記ケースにおいては最大５９９枚）と、圧縮差分画像毎の位置情報データとを含む蓄積データファイルを作成して録画サーバに転送する。

所定の録画時間経過後、また、録画ＰＣが、ディスプレイの画面に表示した全画面の画像データを取得し、圧縮全画面画像を作成して蓄積し、一定間隔時間毎に、ディスプレイの画面に表示した全画面の画像データを取得して圧縮差分画像を作成して蓄積し、その後、蓄積データファイルを作成して録画サーバに転送することを繰り返す。

圧縮差分画像の作成には、取得した全画面の画像データを画面領域の一端から縦横所定画素数であるブロック画像に分割し、分割されたブロック画像毎に、連続する２つの時刻におけるブロック画像を比較し、差分の有無とそれぞれのブロックの連続数で差分の位置情報を示す位置情報データを作成し、差分ありとされたブロックを差分ブロックとし、同時刻の差分ブロックの数から、同時刻の差分ブロックのブロック画像を全て並べて余白が最小となる矩形を形成するために横に並べる並列ブロック数を算出し、差分ブロックのブロック画像を、算出された並列ブロック数分の差分ブロックのブロック画像を横に並べる毎に下段に並べていくことを繰り返し、余白を空白として矩形に作成した画像集合体を１つの画像としてＪＰＥＧに圧縮して圧縮差分画像を作成する。

すなわち、本実施例においては、（１）ネットワークを介してサーバと接続されたパーソナルコンピュータが、ディスプレイの画面に表示した全画面の画像データを一定間隔時間毎に取得する全画面画像取得ステップ、（２）所定の録画時間毎に全画面画像取得ステップで取得した全画面画像をＪＰＥＧに圧縮して圧縮全画面画像を作成して蓄積し、圧縮全画面画像を作成する毎に所定の録画時間経過までは圧縮全画面画像を作成せず次のステップに進む圧縮全画面画像作成ステップ、（３）全画面画像取得ステップで取得した全画面の画像データを画面領域の一端から縦横所定画素数であるブロック画像に分割する分割ステップ、（４）分割ステップで分割されたブロック画像毎に、連続する２つの時刻におけるブロック画像を比較し、差分の有無とそれぞれのブロックの連続数で差分の位置情報を示す位置情報データを作成する位置情報作成ステップ、（５）位置情報作成ステップで
差分ありとされたブロックを差分ブロックとし、同時刻の差分ブロックの数から、同時刻の差分ブロックのブロック画像を全て並べて余白が最小となる矩形を形成するために横に並べる並列ブロック数を算出する並列数算出ステップ、（６）差分ブロックのブロック画像を、並列数算出ステップで算出された並列ブロック数分の前記差分ブロックのブロック画像を横に並べる毎に下段に並べていくことを繰り返し、余白を空白として矩形に作成した画像集合体を１つの画像としてＪＰＥＧに圧縮して圧縮差分画像を作成して蓄積する圧縮差分画像作成ステップ、（７）（１）から（６）の各ステップを所定の録画時間経過まで繰り返し、（８）その後、圧縮全画面画像と所定の録画時間経過までに蓄積された前記圧縮差分画像と各位置情報データとを含む蓄積データファイルを作成してサーバに転送する蓄積画像転送ステップを含む。（１）から（８）のステップは、録画ＰＣの電源が切れるか録画サーバとの接続が切れるまで連続して行う。

本実施例では、分割ステップにおいて、ブロック画像は、縦８画素×横８画素である。また、位置情報作成ステップにおいて、連続する２つの時刻におけるブロック画像の比較は、それぞれのブロック画像についてハッシュ値を生成して比較し、算出された値が等しくないブロックを差分あり、算出された値が等しいブロックを差分なしとするものであって、位置情報データが、差分の有無を示す先頭の１ビットと差分の有無が同じである連続ブロック数を７ビット又は１５ビットで示す１バイト又は２バイトのデータである。

ＪＰＥＧでは、画像を縦８画素×横８画素の固定サイズのブロックに分割し、そのブロック単位で、離散コサイン変換（ＤＣＴ：ｄｉｓｃｒｅｔｅ ｃｏｓｉｎｅ ｔｒａｎｓｆｏｒｍ）を用いて変換し、量子化によって情報量を落とし、圧縮が行われる。ＪＰＥＧ以外の一般的画像をそのまま量子化すると大きな画質劣化が生じるが、ＪＰＥＧ化による圧縮では、元の画像の性質を残したまま量子化が可能とされている。すなわち、ＪＰＥＧは、どんな大きな画像であっても、固定サイズのブロックに分割され各ブロックごとに圧縮がされ、ブロック単位に全く異なる画像が隣り合っていても影響を受けることがない。本実施例では、このＪＰＥＧ特性を用いてＪＰＥＧの圧縮利用をする。本実施例では、差分の抽出から圧縮、復元展開に至るまでをＪＰＥＧのブロックサイズを基準とすることで、最小の容量で差分情報を管理し、処理を行うＰＣの負荷を最小限にする。

位置情報は、ビット配列の他、座標管理でもよい。画像集合体をそのままＪＰＥＧ圧縮することで、高速に最小のＣＰＵ負荷でＪＰＥＧ画像を生成すなわち圧縮する。

画像録画・送信プログラムを有するＰＣ画面監視システムのプログラムは、これらのステップをコンピュータに実行させるものである。

録画サーバは、録画ＰＣから画像を取得すると、画像復元を行う。まずは、蓄積データファイルの有無を判断し、蓄積データファイルがなかった場合、録画時間経過までスリープしてかかる判断を繰り返し、蓄積データファイルがあった場合、圧縮差分画像から画像集合体を復元して差分ブロックのブロック画像を復元する差分ブロック復元ステップ、次に、１つ前の時刻の全画面画像に、差分ブロックのブロック画像を位置情報データに基づいて配置して、次の時刻の全画面画像を作成することを所定の録画時間分まで繰り返す全画面画像復元ステップを行う。

復元された画像は全て全画面画像（Ｉフレーム）であるので録画時間単位のＩフレームのみからなる動画の一次映像データとして一次映像フォルダに蓄積する。その後、一次映像データを動画圧縮変換して時に二次映像データを作成して二次映像フォルダに蓄積する。二次映像データは、具体的にはＩフレームを減らしてＰフレームとＢフレームを含むＨ．２６４形式の圧縮動画となる。

本実施例は、管理等のための録画ＰＣ監視システムに利用できる画面画像転送方法であって、撮影したＰＣ画面の画像をサーバに転送し、蓄積させる。録画サーバに転送されたデータは、上述した画像復元方法により、端末で表示できる画像に復元される。ＪＰＥＧ圧縮された圧縮差分画像は、前の時刻の全画像にビット配列又は座標情報をもとに差分ブロックを配置し、差分ブロックを全て配置し終わると、次の時刻の全画像となる。

｛効果｝
本実施例によれば、パーソナルコンピュータのディスプレイの画面画像を、画質の劣化を防止し効率的に転送でき、処理を行うＰＣの負荷を低減することを可能とする。

また、画像の劣化を最小限にとどめ、ＪＰＥＧとすることですなわち圧縮がされるので、別途の圧縮工程を設けなくてすむ。色数やデータの持ち方を変えずに差分をそのままＪＰＥＧ画像にすることによって自動的に最短で差分データを作成でき、しかも高圧縮な状態にすることができる。

図９は、本発明の画面画像転送方法の実施例２における録画ＰＣの画面撮影から録画サーバでの蓄積までの手順概要を示すフロー図である。実施例２の画面画像転送方法及び画像復元方法では、下記以外の点は、上述した実施例１と同様である。

本実施例では、所定の録画時間分まとめて録画ＰＣから録画サーバに転送するのではなく、録画ＰＣ内のタイマーで、一定間隔時間毎、例えば１秒、５秒などのタイミングで画像取得を行い、録画サーバから画像要求があって最初の１回で圧縮全画面画像を作成する以外は圧縮差分画像を作成し、圧縮全画面画像を含む全画面データファイルでも圧縮差分画像及び位置情報データを含む差分データファイルでも、作成したらそれぞれ録画サーバに転送し、転送した画像を削除するというステップを繰り返す。なお、全画面データファイル、差分データファイルには、それぞれ、ヘッダ等必要な情報が付加される。圧縮全画面画像が作成されるのは、所定の録画時間の開始時であって、その間の一定間隔時間毎に作成されるのは、圧縮差分画像である点は実施例１と同じである。

本実施例においては、（１）ネットワークを介してサーバと接続されたパーソナルコンピュータが、ディスプレイの画面に表示した全画面の画像データを一定間隔時間毎に取得する全画面画像取得ステップ、（２）所定の録画時間毎に全画面画像取得ステップで取得した全画面画像をＪＰＥＧに圧縮して圧縮全画面画像を作成して蓄積し、圧縮全画面画像を作成する毎に所定の録画時間経過までは圧縮全画面画像を作成せず次のステップに進む圧縮全画面画像作成ステップ、（３）全画面画像作成ステップで作成した圧縮全画面画像を含む全画面データファイルを作成してサーバに転送する全画面画像転送ステップ、（４）全画面画像取得ステップで取得した全画面の画像データを画面領域の一端から縦横所定画素数であるブロック画像に分割する分割ステップ、（５）分割ステップで分割されたブロック画像毎に、連続する２つの時刻におけるブロック画像を比較し、差分の有無とそれぞれのブロックの連続数で差分の位置情報を示す位置情報データを作成する位置情報作成ステップ、（６）位置情報作成ステップで差分ありとされたブロックを差分ブロックとし、同時刻の差分ブロックの数から、同時刻の差分ブロックのブロック画像を全て並べて余白が最小となる矩形を形成するために横に並べる並列ブロック数を算出する並列数算出ステップ、（７）差分ブロックのブロック画像を、並列数算出ステップで算出された並列ブロック数分の前記差分ブロックのブロック画像を横に並べる毎に下段に並べていくことを繰り返し、余白を空白として矩形に作成した画像集合体を１つの画像としてＪＰＥＧに圧縮して圧縮差分画像を作成して蓄積する圧縮差分画像作成ステップ、（８）圧縮差分画像と各位置情報データとを含む差分データファイルを作成してサーバに転送する差分画像転送ステップを含む。（１）から（８）のステップは、録画ＰＣの電源が切れるか録画サー
バとの接続が切れるまで連続して行う。

本実施例においては、録画ＰＣの画像録画・送信プログラム４１３は、実施例１の画面画像転送方法における画像録画・送信プログラムとほぼ同じであるが、コンピュータに、全画面画像作成機能で作成した圧縮全画面画像を含む全画面データファイルを作成してサーバに転送する全画面画像転送機能をも実現させ、蓄積画像転送機能の代わりに、圧縮差分画像と各位置情報データとを含む差分データファイルを作成してサーバに転送する差分画像転送機能、を実現させるためのプログラムである点が異なる。

実施例１における録画ＰＣ４００は、実施例１の画面画像転送方法における録画ＰＣとほぼ同じであるが、全画面画像作成手段で作成した圧縮全画面画像を含む全画面データファイルを作成してサーバに転送する全画面画像転送手段をも設けてあり、蓄積画像転送手段の代わりに、圧縮差分画像と各位置情報データとを含む差分データファイルを作成してサーバに転送する差分画像転送手段、を設けてある点が異なる。

本実施例では、録画ＰＣの画面の静止画像の差分画像を所定の方法で圧縮して転送することにより、情報量を最小限に減らすことができ、録画ＰＣから録画サーバへの転送容量を少なくでき、現地に録画サーバを設置せずにクラウドサーバ等での録画ＰＣの画面画像収集が可能となる。また、単純な録画ＰＣの画面の画像収集に比べて、通信上のデータ量を減らすことができ、ネットワークへの負担が少ないことに加え、画像復元したときに解像度の高い画像でのモニターが可能となる。なお、差分をリアルタイムに転送する上述した実施例２に蓄積してから転送する上述した実施例１を組み合わせて複合した画像転送方法としてもよい。

本実施例においては、録画サーバ１００の収集・編集プログラムは、コンピュータに、（１）録画ＰＣとの接続を行う録画ＰＣ接続機能、（２）接続した録画ＰＣから転送される全画面データファイル及び差分データファイルを録画サーバに受信させる画像取得機能、（３）録画ＰＣから取得した全画面データファイル及び差分データファイルを蓄積フォルダに蓄積する蓄積機能、（４）蓄積された差分データファイルに含まれる圧縮差分画像それぞれから画像集合体を復元して差分ブロックのブロック画像を復元する差分ブロック復元機能、（５）１つ前の時刻の全画面画像に、差分ブロックのブロック画像を位置情報データに基づいて配置して、次の時刻の全画面画像を作成することを圧縮差分画像全てについて行う全画面画像復元機能、（６）復元した全画面画像をメモリに展開し、復元した全画面画像の集合から所定の録画時間単位で１つの動画とした一次映像データを作成して一次映像データフォルダに保存する一次映像データ保存機能を実現させるためのプログラムである。さらに、本実施例では、収集・編集プログラムは、上述した実施例１と同様に一次映像データを最適化し、二次映像データを作成して二次映像データフォルダに保存する二次映像データ保存機能をも実現させるためのプログラムである。

蓄積フォルダ１１１には、録画ＰＣ４００から取得した、圧縮全画面画像を含む全画面データファイルや圧縮差分画像を含む差分データファイルを蓄積し、一次映像フォルダ１１５には、蓄積フォルダ１１１に蓄積された圧縮全画面画像と圧縮差分画像から復元した全画面画像で構成される全画像のみからなる動画、すなわち全てＩフレームのみからなる動画を一次映像データとして蓄積する。一次映像データは全て１枚絵（全画像）であるため、再生時に非常に簡単に処理が組める。本実施例によれば、モニターする側の端末にリアルタイムで動画として送信できるので、利便性が高い。また、二次映像フォルダには、一次映像フォルダ１１５内に蓄積された一定時間分の一次映像データを、動画圧縮変換して二次映像データとして蓄積する。二次映像データに動画圧縮変換する際は、Ｉフレームを減らし、例えば１０分当たり３枚程度まで減らし、Ｐフレームのほか、Ｂフレームを多く挿入して、劣化せずに容量を削減する。

上記ＰＣ画面監視システムは、実施例１の画像復元方法によって復元された画像を端末等に送信して、ライブ画像の再生・巻戻し・早送りもリライブ再生も行うものである。また、上記監視カメラシステムは、復元された画像を圧縮して保存し、画像を端末等に送信して、過去の画像の再生・巻戻し・早送りも行うものである。

本実施例においては、送信プログラムは、コンピュータに、端末との接続を行う端末接続機能、端末に録画ＰＣ一覧を表示して端末からの録画ＰＣの選択を受け付ける画像選択受付機能、選択された録画ＰＣについて一次映像データの画像をライブ画像として端末に送信するライブ画像送信機能、端末よりライブ画像からの巻戻し要求を受け付けるライブ画像巻戻し受付機能、巻戻し要求毎に、端末に前回送信した画像より一定時間分（例えば１秒分）過去の時点の一次映像データを抽出して巻戻しライブ画像として端末に送信する巻戻しライブ画像送信機能、端末より巻戻しライブ画像からの早送り要求を受け付ける巻戻しライブ画像早送り受付機能、早送り要求毎に、現時点の画像に達するまでは、端末に前回送信した画像より一定時間分（例えば１秒分）未来の時点の一次映像データを抽出して早送りライブ画像として端末に送信する早送りライブ画像送信機能をも実現させるためのプログラムである。「現時点の画像」とは、録画ＰＣから取得した最新の画像を意味する。したがって、現時点の画像は、録画ＰＣからの画像が録画サーバに入力される度に、新しい画像に変わる。

送信プログラムは、さらに、コンピュータに、端末より巻戻しライブ画像からのリライブ画像要求を受け付けるリライブ画像受付機能、リライブ画像要求毎に、端末に前回送信した画像より一定時間分、詳細には、録画ＰＣ４００から録画サーバ１００への画像取得間隔分、未来の時点の一次映像データを抽出して早送りライブ画像として端末に送信するリライブ画像送信機能をも実現させるためのプログラムである。なお、ここで「リライブ画像」は、ライブ画像から過去へ巻き戻しての再生画像を指す。二次映像データを利用した再生・巻戻し・早送りは上述した実施例１と同様である。

本実施例によれば、パーソナルコンピュータのディスプレイの画面画像を、画質の劣化を防止し効率的に転送でき、処理を行うＰＣの負荷を低減することを可能とする。また、実施例１よりも情報量は大きくなるが、リアルタイムでの監視にも適する。

なお、本発明は、上記実施の形態に限定されず、その発明の趣旨を逸脱しない範囲で種々と変形実施が可能である。また、上記各実施の形態の構成要素を発明の趣旨を逸脱しない範囲で任意に組み合わせることができる。

１００ 録画サーバ
１０１ ＣＰＵ
１０２ メモリ
１０３ ディスプレイ
１０４ ネットワークインターフェース
１０５ キーボード
１０６ マウス
１１０ 記憶装置
１１１ 蓄積フォルダ
１１２ 二次映像フォルダ
１１３ プログラム
１１４ オペレーティングシステム
１１５ 一次映像フォルダ
２００ モバイル端末
２０１ ＣＰＵ
２０２ メモリ
２０３ ディスプレイ
２１０ 記憶装置
２１３ 画像表示プログラム
２１４ オペレーティングシステム
３００ 閲覧ＰＣ
３０１ ＣＰＵ
３０２ メモリ
３０３ ディスプレイ
３０４ ネットワークインターフェース
３０５ キーボード
３０６ マウス
３１０ 記憶装置
３１３ 画像表示プログラム
３１４ オペレーティングシステム
４００ 録画ＰＣ
４０１ ＣＰＵ
４０２ メモリ
４０３ ディスプレイ
４０４ ネットワークインターフェース
４０５ キーボード
４０６ マウス
４１０ 記憶装置
４１１ 蓄積フォルダ
４１３ 画像録画・送信プログラム
４１４ オペレーティングシステム
５００ ネットワーク
６００ ルータ

Claims (11)

1. ネットワークを介して画像復元装置と接続された端末装置が、ディスプレイの画面に表示した全画面の画像データを一定間隔時間毎に取得する全画面画像取得ステップ、
   所定の録画時間毎に前記全画面画像取得ステップで取得した全画面画像を設定サイズのブロック毎に圧縮する方式で圧縮して圧縮全画面画像を作成して蓄積し、圧縮全画面画像を作成する毎に所定の録画時間経過までは圧縮全画面画像を作成せず次のステップに進む圧縮全画面画像作成ステップ、
   前記全画面画像作成ステップで作成した圧縮全画面画像を含む全画面データファイルを作成して画像復元装置に転送する全画面画像転送ステップ、
   前記全画面画像取得ステップで取得した全画面の画像データを前記設定サイズのブロック画像に分割する分割ステップ、
   前記分割ステップで分割されたブロック画像毎に、２つの時刻におけるブロック画像を比較し、差分の有無と差分の位置情報を示す位置情報データを作成する位置情報作成ステップ、
   前記位置情報作成ステップで差分ありとされたブロックを差分ブロックとし、同時刻の差分ブロックの数から、同時刻の差分ブロックのブロック画像を全て並べて余白が最小となる矩形を形成するために横に並べる並列ブロック数を算出する並列数算出ステップ、
   前記差分ブロックのブロック画像を、前記並列数算出ステップで算出された並列ブロック数分の前記差分ブロックのブロック画像を横に並べることを繰り返し、余白を空白として矩形に作成した画像集合体を１つの画像として前記設定サイズのブロック毎に圧縮する方式で圧縮して圧縮差分画像を作成して蓄積する圧縮差分画像作成ステップ、
   前記圧縮差分画像と各位置情報データとを含む差分データファイルを作成して画像復元装置に転送する差分画像転送ステップ、
   を含むことを特徴とする画面画像転送方法。
2. 前記位置情報作成ステップにおいて、前記比較は、それぞれのブロック画像についてハッシュ値を生成して比較し、算出された値が等しくないブロックを差分あり、算出された値が等しいブロックを差分なしとするものであって、
   前記位置情報データが、差分の有無を示す先頭の１ビットと差分の有無が同じである連続ブロック数を７ビット又は１５ビットで示す１バイト又は２バイトのデータであることを特徴とする請求項１記載の画面画像転送方法。
3. 前記所定の録画時間経過までは、前記全画面画像転送ステップを除き全画面画像取得ステップから圧縮差分画像作成ステップまでを繰り返し、その後、前記圧縮差分画像転送ステップの代わりに、前記圧縮全画面画像と所定の録画時間経過までに蓄積された前記圧縮差分画像と各位置情報データとを含む蓄積データファイルを作成して画像復元装置に転送する蓄積画像転送ステップを含むことを特徴とする請求項１又は請求項２記載の画面画像転送方法。
4. 請求項１から請求項３のいずれかに記載の画面画像転送方法によって画像復元装置に転送された画像の復元方法であって、
   前記圧縮差分画像から前記画像集合体を復元して差分ブロックのブロック画像を復元する差分ブロック復元ステップ、
   １つ前の時刻の全画面画像に、前記差分ブロックのブロック画像を前記位置情報データに基づいて配置して、次の時刻の全画面画像を作成することを前記所定の録画時間分まで繰り返す全画面画像復元ステップ、
   を含むことを特徴とする画像復元方法。
5. ネットワークを介して画像復元装置と接続された端末装置が、ディスプレイの画面に表
   示した全画面の画像データを一定間隔時間毎に取得する全画面画像取得部、
   所定の録画時間毎に前記全画面画像取得部で取得した全画面画像を設定サイズのブロック毎に圧縮する方式で圧縮して圧縮全画面画像を作成して蓄積し、圧縮全画面画像を作成する毎に所定の録画時間経過までは圧縮全画面画像を作成せず次のステップに進む圧縮全画面画像作成部、
   前記全画面画像作成部で作成した圧縮全画面画像を含む全画面データファイルを作成して画像復元装置に転送する全画面画像転送部、
   前記全画面画像取得部で取得した全画面の画像データを前記設定サイズのブロック画像に分割する分割部、
   前記分割部で分割されたブロック画像毎に、２つの時刻におけるブロック画像を比較し、差分の有無と差分の位置情報を示す位置情報データを作成する位置情報作成部、
   前記位置情報作成部で差分ありとされたブロックを差分ブロックとし、同時刻の差分ブロックの数から、同時刻の差分ブロックのブロック画像を全て並べて余白が最小となる矩形を形成するために横に並べる並列ブロック数を算出する並列数算出部、
   前記差分ブロックのブロック画像を、前記並列数算出部で算出された並列ブロック数分の前記差分ブロックのブロック画像を横に並べることを繰り返し、余白を空白として矩形に作成した画像集合体を１つの画像として前記設定サイズのブロック毎に圧縮する方式で圧縮して圧縮差分画像を作成して蓄積する圧縮差分画像作成部、
   前記圧縮差分画像と各位置情報データとを含む差分データファイルを作成して画像復元装置に転送する差分画像転送部、
   を含むことを特徴とする画面画像転送システム。
6. 請求項５に記載の画面画像転送システムによって転送された画像を復元する画像復元システムであって、
   前記圧縮差分画像から前記画像集合体を復元して差分ブロックのブロック画像を復元する差分ブロック復元部と、
   １つ前の時刻の全画面画像に、前記差分ブロックのブロック画像を前記位置情報データに基づいて配置して、次の時刻の全画面画像を作成することを前記所定の録画時間分まで繰り返す全画面画像復元部と、
   を含むことを特徴とする画像復元システム。
7. ネットワークを介して画像復元装置と接続された端末装置が、ディスプレイの画面に表示した全画面の画像データを一定間隔時間毎に取得する全画面画像取得ステップ、
   所定の録画時間毎に前記全画面画像取得ステップで取得した全画面画像を設定サイズのブロック毎に圧縮する方式で圧縮して圧縮全画面画像を作成して蓄積し、圧縮全画面画像を作成する毎に所定の録画時間経過までは圧縮全画面画像を作成せず次のステップに進む圧縮全画面画像作成ステップ、
   前記全画面画像作成ステップで作成した圧縮全画面画像を含む全画面データファイルを作成して画像復元装置に転送する全画面画像転送ステップ、
   前記全画面画像取得ステップで取得した全画面の画像データを前記設定サイズのブロック画像に分割する分割ステップ、
   前記分割ステップで分割されたブロック画像毎に、２つの時刻におけるブロック画像を比較し、差分の有無と差分の位置情報を示す位置情報データを作成する位置情報作成ステップ、
   前記位置情報作成ステップで差分ありとされたブロックを差分ブロックとし、同時刻の差分ブロックの数から、同時刻の差分ブロックのブロック画像を全て並べて余白が最小となる矩形を形成するために横に並べる並列ブロック数を算出する並列数算出ステップ、
   前記差分ブロックのブロック画像を、前記並列数算出ステップで算出された並列ブロック数分の前記差分ブロックのブロック画像を横に並べることを繰り返し、余白を空白として矩形に作成した画像集合体を１つの画像として前記設定サイズのブロック毎に圧縮する
   方式で圧縮して圧縮差分画像を作成して蓄積する圧縮差分画像作成ステップ、
   前記圧縮差分画像と各位置情報データとを含む差分データファイルを作成して画像復元装置に転送する差分画像転送ステップ、
   をコンピュータに実行させるための画面画像転送プログラム。
8. 請求項７に記載の画面画像転送プログラムが実行されることによって画像復元装置に転送された画像の復元プログラムであって、
   前記圧縮差分画像から前記画像集合体を復元して差分ブロックのブロック画像を復元する差分ブロック復元ステップと、
   １つ前の時刻の全画面画像に、前記差分ブロックのブロック画像を前記位置情報データに基づいて配置して、次の時刻の全画面画像を作成することを前記所定の録画時間分まで繰り返す全画面画像復元ステップと、
   をコンピュータに実行させるための画像復元プログラム。
9. ディスプレイの画面に表示された全画面の画像データが分割されたブロック画像毎に２つの時刻におけるブロック画像が比較された結果差分ありとされたブロックを差分ブロックとして、同時刻の差分ブロックの数から、同時刻の差分ブロックのブロック画像を全て並べて余白が最小となる矩形を形成するために横に並べる並列ブロック数を算出する並列数算出ステップと、
   前記差分ブロックのブロック画像を、前記並列数算出ステップで算出された並列ブロック数分の前記差分ブロックのブロック画像を横に並べることを繰り返し、余白を空白として矩形に作成した画像集合体を１つの画像として圧縮して圧縮差分画像を作成する圧縮差分画像作成ステップと、
   を含む画像圧縮方法。
10. ディスプレイの画面に表示された全画面の画像データが分割されたブロック画像毎に２つの時刻におけるブロック画像が比較された結果差分ありとされたブロックを差分ブロックとして、同時刻の差分ブロックの数から、同時刻の差分ブロックのブロック画像を全て並べて余白が最小となる矩形を形成するために横に並べる並列ブロック数を算出する並列数算出部と、
    前記差分ブロックのブロック画像を、前記並列数算出部で算出された並列ブロック数分の前記差分ブロックのブロック画像を横に並べることを繰り返し、余白を空白として矩形に作成した画像集合体を１つの画像として圧縮して圧縮差分画像を作成する圧縮差分画像作成部と、
    を含む画像圧縮システム。
11. ディスプレイの画面に表示された全画面の画像データが分割されたブロック画像毎に２つの時刻におけるブロック画像が比較された結果差分ありとされたブロックを差分ブロックとして、同時刻の差分ブロックの数から、同時刻の差分ブロックのブロック画像を全て並べて余白が最小となる矩形を形成するために横に並べる並列ブロック数を算出する並列数算出ステップと、
    前記差分ブロックのブロック画像を、前記並列数算出ステップで算出された並列ブロック数分の前記差分ブロックのブロック画像を横に並べることを繰り返し、余白を空白として矩形に作成した画像集合体を１つの画像として圧縮して圧縮差分画像を作成する圧縮差分画像作成ステップと、
    をコンピュータに実行させるための画像圧縮プログラム。

Images