JP2010224995A - 操作画面記録装置 - Google Patents

Abstract

【課題】操作画面の記録データ量の低減化を図り得る操作画面記録装置を提供する。
【解決手段】コンピュータ装置１の操作者Ｍによる操作状態を撮影するカメラ装置12と、コンピュータ本体２からの操作画面の画像データを入力して画像の変動が大きいデータを検出するデータ変動検出部15と、この変動検出部で検出された場合に撮影された画像データ及びそれに対応する操作画面の画像データを選択するデータ選択部16と、この選択部で選択された両画像データを入力して圧縮するデータ圧縮部17と、この圧縮部にて圧縮されたデータを時刻データと共に記録する記録装置18と、この記録装置内のデータを時刻に基づき検索するデータ検索部19と、この検索部で得られたデータを伸長するデータ伸長部20と、この伸長部で伸長された両データを表示装置４に出力し得る画像切替部22とを具備したもの。
【選択図】図１

Description

本発明は、例えばコンピュータ装置を操作したときの操作画面および操作状態を映像として記録し得る操作画面記録装置に関するものである。

従来、コンピュータ装置で不正操作などが行われた場合のトラブルに対応するために、コンピュータ装置（コンピュータ端末ともいう）での操作内容がログとして保存されていた。

しかし、ログによる情報だけでは実際に画面にどのような表示がされたのかが把握できないため、コンピュータ装置のモニタに表示されている画面を保存するようにしたコンピュータ操作画面記録装置が提案されている（例えば、特許文献１参照）。

この記録装置は、キーボードなどの入力部での操作に基づいて画面に表示される操作画面情報を中央演算処理部すなわちＣＰＵを用い、繰り返し主記憶部に取得し、取得の度につまり連続的に、画像データにおける画素データの時間変化（更新）の有無を検出し、時間変化が検出された部分の操作画面およびその更新に係る時刻データを記憶部に記録するようにしたものである。

特開２００３−３３０７６１号公報

上述した特許文献１によると、常に、操作画面を記録し続けるのでは、記録データ量が膨大になるとともに、記録を行うＣＰＵに対する負荷が問題となるため、操作画面上で時間変化が、すなわち画像データに更新（変更）が生じた場合に、その部分だけを記録することにより、データ量の削減およびＣＰＵに対する負荷の低減化を図るようにしたものである。

しかしながら、画像データに更新が生じた場合に、その部分だけを記録するようにしているが、操作画面上での画像データ、すなわち画素数が非常に多いため、どうしても画像データの更新が頻繁に生じ、したがって記録に要するデータ量の低減化は十分になされていないのが現状である。

そこで、本発明は、操作画面の記録データ量の低減化を図り得る操作画面記録装置を提供することを目的とする。

上記課題を解決するため、本発明の請求項１に係る操作画面記録装置は、コンピュータ本体と、コンピュータ本体にデータを入力する入力手段と、コンピュータ本体からの出力データを画面に表示する表示装置とを有するコンピュータ装置における操作画面の画像データを記録する記録装置であって、
コンピュータ装置の操作者による操作状態を撮影するカメラ装置と、
このカメラ装置により撮影された画像データを入力して当該画像データの変動の有無を検出するデータ変動検出部と、
このデータ変動検出部にて画像データの変動が検出された場合に、その画像データおよび当該画像データに対応する操作画面の画像データを選択するデータ選択部と、
このデータ選択部で選択された両画像データを入力して圧縮処理を行うデータ圧縮部と、
このデータ圧縮部で圧縮処理された圧縮データを少なくとも時刻データとともに記録する記録装置と、
この記録装置に記録された圧縮データを少なくとも時刻に基づき検索し取り出すデータ検索部と、
このデータ検索部で取り出された圧縮データを入力して伸長処理を行うデータ伸長部とを具備するとともに、
上記データ伸長部で伸長された両画像データを上記表示装置に出力し得るように構成したものである。

また、請求項２に係る操作画面記録装置は、コンピュータ本体と、コンピュータ本体にデータを入力する入力手段と、コンピュータ本体からの出力データを画面に表示する表示装置とを有するコンピュータ装置における操作画面の画像データを記録する記録装置であって、
コンピュータ装置の操作者による操作状態を撮影するカメラ装置と、
このカメラ装置により撮影された操作状態の画像データを入力して当該画像データの変動の有無を検出するデータ変動検出部と、
上記操作画面の画像データおよび操作状態の画像データを入力して圧縮処理を行うデータ圧縮部と、
上記データ変動検出部にて操作状態に係る画像データの変動が検出された場合に、その検出された画像データに対応する圧縮された両画像データを選択するデータ選択部と、
このデータ選択部で選択された圧縮データを少なくとも時刻データとともに記録する記録装置と、
この記録装置に記録された圧縮データを少なくとも時刻に基づき検索し取り出すデータ検索部と、
このデータ検索部で取り出された圧縮データを入力して伸長処理を行うデータ伸長部とを具備するとともに、
上記データ伸長部で伸長された両画像データを上記表示装置に出力し得るように構成したものである。

上記各構成によると、コンピュータ装置を操作した場合、その操作画面とともに操作状態をカメラ装置により撮影し、しかも、この操作状態を撮影した画像データが変動した場合に、例えば操作者の所定部位の動作が大きく変動したことを検出した場合に、その撮影に係る画像データおよびその操作画面に係る画像データを一緒に圧縮しまたは一緒に圧縮された画像データに、時刻データを付与して、記録装置に記録するようにしたので、従来のように、撮影された画像データの画素データの時間的変化に基づいて画像データを記録する場合に比べて、その記録データ量を少なくすることができる。

本発明の実施の形態１に係る操作画面記録装置の概略構成を示すブロック図である。 同操作画面記録装置におけるデータ変動検出部での検出動作を説明する図である。 本発明の実施の形態２に係る操作画面記録装置の概略構成を示すブロック図である。

［実施の形態１］
以下、本発明の実施の形態１に係るコンピュータ装置における操作画面記録装置を図１および図２に基づき説明する。

この操作画面記録装置は、コンピュータ装置（コンピュータ端末ともいう）の操作画面と操作者の操作状態を映像として記録するものである。
図１に示すように、コンピュータ装置１には、少なくとも、コンピュータ本体２と、データなどをコンピュータ本体２に入力するキーボードなどの入力手段３と、出力データを表示する表示手段である表示装置（モニターともいう）４とが具備されている。勿論、このコンピュータ本体２には、中央演算処理部（ＣＰＵである）が設けられるとともに、主記憶部であるメモリ、データを記録するハードディスクなどの記録装置が具備されている。

そして、この操作画面録画装置１１には、コンピュータ装置１の操作者Ｍによる操作状態（操作状況）を撮影するカメラ装置１２と、コンピュータ本体２から出力されるアナログ信号の画像データを入力してデジタル信号の画像データ（操作画面に係る画像データであり、以下、操作画像データともいう）に変換する第１データ用Ａ／Ｄ変換部１３と、カメラ装置１２にて撮影されたアナログ信号の画像データを入力してデジタル信号の画像データ（操作状態を撮影した画像データであり、以下、撮影画像データともいう）に変換する第２データ用Ａ／Ｄ変換部１４と、上記第１データ用Ａ／Ｄ変換部１３でデジタル信号に変換された画像データを入力して画像データにおける変動の有無（具体的には、変動が大きいか否か）を検出するデータ変動検出部１５と、このデータ変動検出部１５にて画像データに変動が検出された場合にその旨を入力するとともにその画像データおよび第２データ用Ａ／Ｄ変換部１３でデジタル信号に変換された画像データを入力して当該変動があった撮影画像データおよびそれに対応する操作画像データを選択するデータ選択部１６と、このデータ選択部１６で選択された両画像データを入力して圧縮処理を行うデータ圧縮部（データ圧縮処理部ともいえる）１７と、このデータ圧縮部１７で圧縮処理された圧縮データ（つまり、操作画像データと撮影画像データの両圧縮データである）を少なくとも時刻データ（タイムスタンプともいい、日付けのデータも含まれている）とともに記録するハードディスク（メモリであってもよい）などの記録装置１８と、この記録装置１８に記録された圧縮データを少なくとも時刻に基づき検索し取り出すデータ検索部１９と、このデータ検索部１９で検索された圧縮データを入力して伸長処理を行うデータ伸長部（データ伸長処理部ともいえる）２０と、このデータ伸長部２０で伸長された両画像データをデジタル信号からアナログ信号に変換して出力し得るデータ用Ｄ／Ａ変換部２１と、コンピュータ本体２から出力される画像データおよびデータ用Ｄ／Ａ変換部２１から出力される画像データのいずれかを選択するとともに表示装置４に出力するための画像切替部（映像切替部ともいえる）２２とが具備されている。

次に、上記データ変動検出部１５での検出動作について簡単に説明する。
この検出動作は、図２に示すように、画像領域Ｓを複数に、例えば１６分割（４×４）するとともに、これら分割された分割領域部ΔＳのうち、所定位置（または所定個数）の複数の分割領域部ΔＳを選択し、この選択された複数の、例えば８個の分割領域部ΔＳに対して行われる。図２において、丸印（○）は選択された分割領域部を示し、ばつ印（×）は選択されない分割領域部を示している。

そして、変動の有無の検出に関しては、或る時点での画像データと、その次の画像データとが比較されることになる。
次に、具体的な変動の有無を検出する方法について説明する。

この検出方法は、前後一対の画像データ（所謂、前後２枚の画像フレームである）における同一の分割領域部の各画素同士間で輝度値の差分をとり、この差分値が予め設定された設定値（閾値）以上となる画素数を求め、次にこの求められた画素数がやはり予め設定された設定値（閾値）以上となった場合に、画像データが変動していると判断され、つまり、画像に動きがあったことが検出される。

このように、画像データに変動があったことが検出されると、この変動があった時点での画像データを特定して記録することができ、勿論、この時点から所定時間分の画像データについても記録することができる。

ここで、データ変動検出部１５の構成を簡単に説明しておく。
このデータ変動検出部１５は、少なくとも、或る時点における画像データとその後の画像データとを記憶する記憶部と、この記憶部に記憶された両画像データを入力しそれぞれの領域を複数に分割する分割部と、この分割部で分割された複数の分割領域部の中から所定の分割領域部を選択する分割領域選択部と、この分割領域選択部で選択された分割領域部同士の画素における輝度値同士の差分値を求める輝度値差分演算部と、この輝度値差分演算部で求められた差分値が設定値以上の個数を求める個数算出部と、この個数算出部で求められた個数が設定値以上であるか否かを判断する個数判断部とから構成されている。

なお、この構成は機能的に理解し得るように説明したもので、通常、これらの各部は、操作画面記録装置（つまり、コンピュータ）上で作動するソフトウエアにより実現されるものであり、また上記各設定値（閾値）については任意の値、例えば最適な値に設定することができる。

上記構成において、操作者Ｍがコンピュータ装置１を操作しているとき、当然ながら、その操作結果は、表示装置４の画面に表示されているとともに、カメラ装置１２により、操作者Ｍが操作している状態が撮影されている。

そして、表示装置４に送られ操作画像データについては、コンピュータ本体２から第１データ用Ａ／Ｄ変換部１３に入力されており、アナログ信号からデジタル信号に変換されるとともに、カメラ装置１２により撮影された撮影画像データも第２データ用Ａ／Ｄ変換部１４に入力されて、アナログ信号からデジタル信号に変換される。

次に、この撮影画像データはデータ変動検出部１５に入力されて、ここで、操作者Ｍの動作が予め登録された部位、例えば手の動作（具体的には、キーボードの入力操作、マウスのクリック操作など）が大きく変化しているか否かが検出される。

そして、変動していることが検出された場合にはその旨がデータ選択部１６に出力され、ここで、データ変動検出部１５を介して送られた撮影画像データおよび当該画像データに対応する操作画像データが選択されて出力される。

このデータ選択部１６から出力された両画像データは、所定の圧縮方式、例えばＪＰＥＧ２０００圧縮方式にて圧縮処理が行われる。
この圧縮された圧縮データが記録装置１８に送られるとともにここで時刻データが付与されて記録される。勿論、この時刻データは、記録装置自体に具備されたタイマー（例えば、コンピュータに内蔵された電子回路）から得られるものである。

そして、後で、操作者Ｍによる操作の適否を判断する場合には、データ検索部１９にて、判断に係る時刻データを入力して記録装置１８内の圧縮データを検索する。そして、その時刻データに係る圧縮データが検索されて取り出されると、当該圧縮データはデータ伸長部２０に送られ、ここでデータの伸長（所謂、解凍である）が行われる。

この伸長された画像データは、画像切替部２２を介して表示装置４に送られ、両画像データまたはそれぞれ別個に画像データが表示される。したがって、操作者Ｍの操作が適当であったか否かを検証することができる。

このように、コンピュータ装置１を操作した場合、その操作画面とともに操作状態をカメラ装置１２により撮影し、しかも、この操作状態の画像データに対して、操作者の所定部位の動作が大きく変化したか否かを判断し、大きく変化している、つまり大きく変動していると判断した場合に、その操作状態の画像データおよびその操作画面の画像データを一緒に圧縮するとともに時刻データを付与して、記録装置１８に記録するようにしたので、従来のように、撮影された撮影画像における画素データの時間的変化に基づいて画像データを記録する場合に比べて、その記録データ量を少なくすることができる。
［実施の形態２］
次に、本発明の実施の形態２に係る操作画面記録装置を図３に基づき説明する。

上記実施の形態１においては、データ選択部をデータ圧縮部の前に配置したが、本実施の形態２においては、データ選択部をデータ圧縮部の後に配置したものである。
図３に示すように、この操作画面記録装置３１には、コンピュータ装置１の操作者Ｍによる操作状態（操作状況）を撮影するカメラ装置３２と、コンピュータ本体２から出力されるアナログ信号の画像データを入力してデジタル信号の画像データ（操作画面に係る画像データであり、以下、操作画像データともいう）に変換する第１データ用Ａ／Ｄ変換部３３と、カメラ装置３２にて撮影されたアナログ信号の画像データを入力してデジタル信号の画像データ（操作状態を撮影した画像データであり、以下、撮影画像データともいう）に変換する第２データ用Ａ／Ｄ変換部３４と、この第２データ用Ａ／Ｄ変換部３４でデジタル信号に変換された画像データを入力して画像データにおける変動の有無（具体的には、変動が大きいか否か）を検出するデータ変動検出部３５と、上記第１データ用Ａ／Ｄ変換部３３からの操作画像データおよび第２データ用Ａ／Ｄ変換部３４からの撮影画像データを一緒に入力して圧縮処理を行うデータ圧縮部（データ圧縮処理部ともいえる）３６と、このデータ圧縮部３６で圧縮された画像データを入力するとともに上記データ変動検出部３５にて撮影画像データに変動が検出された場合にその旨を入力して当該変動に係る両画像データを選択するデータ選択部３７と、このデータ選択部３７で選択された両画像データを少なくとも時刻データ（タイムスタンプともいい、日付けのデータも含まれている）とともに記録するハードディスク（メモリであってもよい）などの記録装置３８と、この記録装置３８に記録された圧縮データを少なくとも時刻に基づき検索し取り出すデータ検索部３９と、このデータ検索部３９で検索された圧縮データを入力して伸長処理を行うデータ伸長部（データ伸長処理部ともいえる）４０と、このデータ伸長部４０で伸長された両画像データをデジタル信号からアナログ信号に変換して出力し得るデータ用Ｄ／Ａ変換部４１と、コンピュータ本体２から出力される画像データおよびデータ用Ｄ／Ａ変換部４１から出力される画像データのいずれかを選択するとともに表示装置４に出力するための画像切替部（映像切替部ともいえる）４２とが具備されている。

このような構成にすると、操作状態を撮影した画像データおよび操作画面の画像データを一緒に圧縮したものに対して、操作者による操作状態が変動したことを検出した場合に、その変動に係る圧縮された両画像データに時刻データを付与して記録装置に記録することにより、上述した実施の形態１の場合と同様の効果が得られる。

この構成を簡単に説明すると、コンピュータ本体と、コンピュータ本体にデータを入力する入力手段と、コンピュータ本体からの出力データを画面に表示する表示装置とを有するコンピュータ装置における操作画面の画像データを記録する記録装置であって、
コンピュータ装置の操作者による操作状態を撮影するカメラ装置と、
このカメラ装置により撮影された操作状態の画像データを入力して当該画像データの変動の有無を検出するデータ変動検出部と、
このデータ選択部で選択された両画像データを入力して圧縮処理を行うデータ圧縮部と、
上記データ変動検出部にて操作状態に係る画像データの変動が検出された場合に、その検出された画像データに対応する圧縮された両画像データを選択するデータ選択部と、
このデータ選択部で選択された圧縮データを少なくとも時刻データとともに記録する記録装置と、
この記録装置に記録された圧縮データを少なくとも時刻に基づき検索し取り出すデータ検索部と、
このデータ検索部で取り出された圧縮データを入力して伸長処理を行うデータ伸長部とを具備するとともに、
上記データ伸長部で伸長された両画像データを上記表示装置に出力し得るように構成したものである。

ところで、上記各実施の形態においては、コンピュータ本体からの操作画像データおよびカメラ装置からの撮影画像データがアナログ信号である場合について説明したが、勿論、コンピュータ本体からの画像データおよび／またはカメラ装置からの画像データがデジタル信号であってもよい。この場合、データ用Ａ／Ｄ変換部およびデータ用Ｄ／Ａ変換部を設ける必要はない。

１ コンピュータ装置
２ コンピュータ本体
３ 入力手段
４ 表示装置
１１ 操作画面記録装置
１２ カメラ装置
１３ 第１データ用Ａ／Ｄ変換部
１４ 第２データ用Ａ／Ｄ変換部
１５ データ変動検出部
１６ データ選択部
１７ データ圧縮部
１８ 記録装置
１９ データ検索部
２０ データ伸長部
２１ データ用Ｄ／Ａ変換部
２２ 画像切替部
３１ 操作画面記録装置
３２ カメラ装置
３３ 第１データ用Ａ／Ｄ変換部
３４ 第２データ用Ａ／Ｄ変換部
３５ データ変動検出部
３６ データ圧縮部
３７ データ選択部
３８ 記録装置
３９ データ検索部
４０ データ伸長部
４１ データ用Ｄ／Ａ変換部
４２ 画像切替部

Claims (2)

1. コンピュータ本体と、コンピュータ本体にデータを入力する入力手段と、コンピュータ本体からの出力データを画面に表示する表示装置とを有するコンピュータ装置における操作画面の画像データを記録する記録装置であって、
   コンピュータ装置の操作者による操作状態を撮影するカメラ装置と、
   このカメラ装置により撮影された画像データを入力して当該画像データの変動の有無を検出するデータ変動検出部と、
   このデータ変動検出部にて画像データの変動が検出された場合に、その画像データおよび当該画像データに対応する操作画面の画像データを選択するデータ選択部と、
   このデータ選択部で選択された両画像データを入力して圧縮処理を行うデータ圧縮部と、
   このデータ圧縮部で圧縮処理された圧縮データを少なくとも時刻データとともに記録する記録装置と、
   この記録装置に記録された圧縮データを少なくとも時刻に基づき検索し取り出すデータ検索部と、
   このデータ検索部で取り出された圧縮データを入力して伸長処理を行うデータ伸長部とを具備するとともに、
   上記データ伸長部で伸長された両画像データを上記表示装置に出力し得るように構成したことを特徴とする操作画面記録装置。
2. コンピュータ本体と、コンピュータ本体にデータを入力する入力手段と、コンピュータ本体からの出力データを画面に表示する表示装置とを有するコンピュータ装置における操作画面の画像データを記録する記録装置であって、
   コンピュータ装置の操作者による操作状態を撮影するカメラ装置と、
   このカメラ装置により撮影された操作状態の画像データを入力して当該画像データの変動の有無を検出するデータ変動検出部と、
   上記操作画面の画像データおよび操作状態の画像データを入力して圧縮処理を行うデータ圧縮部と、
   上記データ変動検出部にて操作状態に係る画像データの変動が検出された場合に、その検出された画像データに対応する圧縮された両画像データを選択するデータ選択部と、
   このデータ選択部で選択された圧縮データを少なくとも時刻データとともに記録する記録装置と、
   この記録装置に記録された圧縮データを少なくとも時刻に基づき検索し取り出すデータ検索部と、
   このデータ検索部で取り出された圧縮データを入力して伸長処理を行うデータ伸長部とを具備するとともに、
   上記データ伸長部で伸長された両画像データを上記表示装置に出力し得るように構成したことを特徴とする操作画面記録装置。

Images