JP2008033736A - 端末装置、ログ保存システム、その方法およびプログラム - Google Patents

Abstract

【課題】使用する端末のうちのいずれかの端末で簡易、少量のデータのログをとることにより、メモリ資源を無駄にせず通信機構にも負担をかけないこと。
【解決手段】ディスプレイ部２０５全体の映像をハードコピーとして読み取り、画面イメージデータを生成して記憶部２０７に記憶する画面イメージ読み取り部３０６、音声として例えばスピーカ２０６に出力した音声データを記憶部２０７に記憶する音声記憶部３０７、および定期的に記憶部２０７に記憶されたログデータをデータベース１０５に保存するためインターネットを介してデータベースサーバ１０４に送信するデータベース保存部３０８などのモジュールがある。本実施形態では、以上の構成によりログ採取保存処理が実行される。
【選択図】図３

Description

本発明は、端末装置、ログ保存システム、その方法およびプログラムに関し、より詳細にはネットワークにより接続された端末装置の操作のログを保存する端末装置、ログ保存システム、その方法およびプログラム。

近年、金融取引等の一部はインターネット、ＦＡＸなどを用いて店舗外でも行うことができるようになってきており、相談員あるいはオペレータと顧客とが直接対話して取引を進める場合などを考慮して、遠隔の顧客と取引をするための種々の改良されたシステムが提案されている。そのようなシステムとしては、遠隔地等の顧客に対して専門の担当者が効率的に情報を提供することができるようにするため、顧客が使用する顧客端末及び専門担当者が使用する本部端末に、それぞれカメラ及びマイクを設け、それらによって得られた画像及び音声を各々の表示部及びスピーカを介して再生するものがあるが、このようなシステムでは、種々の理由により端末間のやり取りを記録して保存する機能が組み込まれている（例えば、特許文献１参照）。

特開２００３−３１６８８２号公報

しかしながら、このような端末間で送受信されるデータをすべて記録するのは、特に顧客や担当者の映像といったイメージデータが含まれる場合、保存しなければならないデータ量が膨大となって、多くのメモリ資源が消費されるだけでなく、保存データベースとの間の通信を輻輳させるという問題がある。

本発明は、このような問題に鑑みてなされたもので、使用する端末のうちのいずれかの端末で簡易、少量のデータのログをとることにより、メモリ資源を無駄にせず通信機構にも負担をかけない端末装置、ログ保存システム、その方法およびプログラムを提供することを目的とする。

このような目的を達成するために、請求項１に記載の発明は、端末操作者の映像を撮影する映像撮影手段と、端末操作者の音声データを取得する音声取得手段と、ネットワークを介して撮影された他の端末操作者の映像および取得した他の端末操作者の音声データを送受信する送受信手段と、撮影された端末操作者の映像および受信した他の端末操作者の映像を表示画面に表示する表示手段と、受信した他の端末操作者の音声データを出力する音声出力手段とを備えた端末装置であって、所定の時間間隔で表示画面に表示されたイメージを読み取って画面イメージデータを生成し、読み取った時刻とともに記憶手段に記憶する画面イメージ読取手段と、取得した端末操作者の音声データおよび受信した他の端末操作者の音声データを取得した時刻とともに記憶手段に記憶する音声記憶手段と、記憶手段に記憶された画面イメージデータと、音声データとをネットワークを介してデータベースサーバに送信するデータベース保存手段とを備えたことを特徴とする。

請求項２に記載の発明は、請求項１に記載の端末装置において、画面イメージ読取手段および音声記憶手段は、表示手段および音声出力手段が処理を開始すると処理を開始し、終了すると処理を終了することを特徴とする。

請求項３に記載の発明は、請求項１または２に記載の端末装置において、ネットワークはインターネットであり、表示手段は撮影された端末操作者の映像および受信した他の端末操作者の映像をブラウザにより表示することを特徴とする。

請求項４に記載の発明は、端末ログ保存システムであって、端末操作者の映像を撮影する映像撮影手段と、端末操作者の音声を取得する音声取得手段と、ネットワークを介して撮影された他の端末操作者の映像および取得した他の端末操作者の音声を送受信する送受信手段と、撮影された端末操作者の映像および受信した他の端末操作者の映像を表示画面に表示する表示手段と、受信した他の端末操作者の音声出力する音声出力手段とを含む２つ以上の端末装置と、ネットワークに接続され、データを保存するデータベースを含むデータベースサーバと、データベースに保存されたデータを閲覧する閲覧端末装置とを備え、２つ以上の端末装置のうちの１つの端末装置は、所定の時間間隔で表示画面に表示されたイメージを読み取って画面イメージデータを生成し、読み取った時刻とともに記憶手段に記憶する画面イメージ読取手段と、取得した端末操作者の音声および受信した他の端末操作者の音声を取得した時刻とともに記憶手段に記憶する音声記憶手段と、記憶手段に記憶された画面イメージデータと、音声データとをネットワークを介してデータベースに送信するデータベース保存手段とを含み、データベースサーバは、データベース保存手段からネットワークを介して送信された画面イメージデータと、音声データとを受信してデータベースに保存することを特徴とする。

請求項５に記載の発明は、請求項４に記載の端末ログ保存システムにおいて、画面イメージ読取手段および音声記憶手段は、表示手段および音声出力手段が処理を開始すると処理を開始し、終了すると処理を終了することを特徴とする。

請求項６に記載の発明は、請求項４または５に記載の端末ログ保存システムにおいて、ネットワークはインターネットであり、表示手段は撮影された端末操作者の映像および受信した他の端末操作者の映像をブラウザにより表示することを特徴とする。

請求項７に記載の発明は、請求項４、５または６に記載の端末ログ保存システムにおいて、閲覧端末は、データベースに保存された画面イメージデータを閲覧する際に、ともに保存されている読み取った時刻により音声データと表示タイミングを合致させて音声データの出力を行うことを特徴とする。

請求項８に記載の発明は、請求項４ないし７のいずれかに記載の端末ログ保存システムにおいて、画面イメージ読取手段、音声記憶手段、およびデータベース保存手段は、２つ以上の端末装置のうちの１つの端末装置以外の１つ以上の端末装置にも含まれることを特徴とする。

請求項９に記載の発明は、端末操作者の映像を撮影する映像撮影手段と、端末操作者の音声データを取得する音声取得手段と、ネットワークを介して撮影された他の端末操作者の映像および取得した他の端末操作者の音声データを送受信する送受信手段と、撮影された端末操作者の映像および受信した他の端末操作者の映像を表示画面に表示する表示手段と、受信した他の端末操作者の音声データを出力する音声出力手段とを備えた端末装置のログを保存するログ保存方法であって、所定の時間間隔で表示画面に表示されたイメージを読み取って画面イメージデータを生成し、読み取った時刻とともに記憶ステップに記憶する画面イメージ読取ステップと、取得した端末操作者の音声データおよび受信した他の端末操作者の音声データを取得した時刻とともに記憶ステップに記憶する音声記憶ステップと、記憶ステップに記憶された画面イメージデータと、音声データとをネットワークを介してデータベースサーバに送信するデータベース保存ステップとを備えたことを特徴とする。

請求項１０に記載の発明は、請求項９に記載のログ保存方法において、画面イメージ読取ステップおよび音声記憶ステップは、表示手段および音声出力手段が処理を開始すると実行を開始し、終了すると実行を終了することを特徴とする。

請求項１１に記載の発明は、請求項９または１０に記載のログ保存方法において、ネットワークはインターネットであり、表示手段は撮影された端末操作者の映像および受信した他の端末操作者の映像をブラウザにより表示することを特徴とする。

請求項１２に記載の発明は、端末操作者の映像を撮影する映像撮影手段と、端末操作者の音声を取得する音声取得手段と、ネットワークを介して撮影された他の端末操作者の映像および取得した他の端末操作者の音声を送受信する送受信手段と、撮影された端末操作者の映像および受信した他の端末操作者の映像を表示画面に表示する表示手段と、受信した他の端末操作者の音声出力する音声出力手段とを含む２つ以上の端末装置と、ネットワークに接続され、データを保存するデータベースを含むデータベースサーバと、データベースに保存されたデータを閲覧する閲覧端末装置とを備えたシステムにおいて、端末装置のログを保存する端末ログ保存方法であって、２つ以上の端末装置のうちの１つの端末装置において、所定の時間間隔で表示画面に表示されたイメージを読み取って画面イメージデータを生成し、読み取った時刻とともに記憶手段に記憶する画面イメージ読取ステップと、取得した端末操作者の音声および受信した他の端末操作者の音声を取得した時刻とともに記憶手段に記憶する音声記憶ステップと、記憶手段に記憶された画面イメージデータと、音声データとをネットワークを介してデータベースに送信するデータベース保存ステップと、データベースサーバにおいて、データベース保存ステップにおいてネットワークを介して送信された画面イメージデータと、音声データとを受信して前記データベースに保存するステップとを備えたことを特徴とする。

請求項１３に記載の発明は、請求項１２に記載の端末ログ保存方法において、画面イメージ読取ステップおよび音声記憶ステップは、表示手段および音声出力手段が処理を開始すると実行を開始し、終了すると実行を終了することを特徴とする。

請求項１４に記載の発明は、請求項１２または１３に記載の端末ログ保存方法において、ネットワークはインターネットであり、表示手段は撮影された端末操作者の映像および受信した他の端末操作者の映像をブラウザにより表示することを特徴とする。

請求項１５に記載の発明は、請求項１２、１３または１４に記載の端末ログ保存方法において、閲覧端末において、データベースに保存された画面イメージデータを閲覧する際に、ともに保存されている読み取った時刻により音声データと表示タイミングを合致させて音声データの出力を行うステップをさらに備えたことを特徴とする。

請求項１６に記載の発明は、請求項１２ないし１５のいずれかに記載の端末ログ保存方法において、画面イメージ読取ステップ、音声記憶ステップ、およびデータベース保存ステップは、２つ以上の端末装置のうちの１つの端末装置以外の１つ以上の端末装置においても実行されることを特徴とする。

請求項１７に記載の発明は、端末操作者の映像を撮影する映像撮影手段と、端末操作者の音声データを取得する音声取得手段と、ネットワークを介して撮影された他の端末操作者の映像および取得した他の端末操作者の音声データを送受信する送受信手段と、撮影された端末操作者の映像および受信した他の端末操作者の映像を表示画面に表示する表示手段と、受信した他の端末操作者の音声データを出力する音声出力手段とを備えた端末装置にログを保存するログ保存方法を実行させるプログラムであって、所定の時間間隔で表示画面に表示されたイメージを読み取って画面イメージデータを生成し、読み取った時刻とともに記憶ステップに記憶する画面イメージ読取ステップと、取得した端末操作者の音声データおよび受信した他の端末操作者の音声データを取得した時刻とともに記憶ステップに記憶する音声記憶ステップと、記憶ステップに記憶された画面イメージデータと、音声データとをネットワークを介してデータベースサーバに送信するデータベース保存ステップとを備えたことを特徴とする。

請求項１８に記載の発明は、請求項１７に記載のプログラムにおいて、画面イメージ読取ステップおよび音声記憶ステップは、表示手段および音声出力手段が処理を開始すると実行を開始し、終了すると実行を終了することを特徴とする。

請求項１９に記載の発明は、請求項１７または１８に記載のプログラムにおいて、ネットワークはインターネットであり、表示手段は撮影された端末操作者の映像および受信した他の端末操作者の映像をブラウザにより表示することを特徴とする。

以上説明したように、本発明によれば、所定の時間間隔で表示画面に表示されたイメージを読み取って画面イメージデータを生成し、読み取った時刻とともに記憶手段に記憶する画面イメージ読取手段と、取得した端末操作者の音声データおよび受信した他の端末操作者の音声データを取得した時刻とともに記憶手段に記憶する音声記憶手段と、記憶手段に記憶された画面イメージデータと、音声データとをネットワークを介してデータベースサーバに送信するデータベース保存手段とを備えているので、使用する端末のうちのいずれかの端末で簡易、少量のデータのログをとることにより、メモリ資源を無駄にせず通信機構にも負担をかけないようにすることが可能となる。

（第１実施形態）
以下、図面を参照して本発明の一実施形態について詳細に説明する。
本実施形態は、２台以上の端末をネットワークを介して接続し、相互に対話をしながら一定の処理を行うシステムを想定している。このようなシステムは、何らかの取引に用いられたり、金融商品や口座開設などの取引や相談などに用いられたりすることができるが、特に重要な業務にかかる取引の場合、システム上で取引が成立しても、その取引の経過を記録していないと成立した取引に疑義が生じたときに問題が生じる。すなわち、取引をしている当事者間で取引内容に見解の相違があった場合、双方の記憶だけを頼りにしていては公正で的確な解決は望めないから、バックログを取ったり、確認した内容をプリントアウトしたりして記録を残しておく必要がある。本実施形態によれば、処理を行っている端末装置の画面や音声のログを取ることにより、その後問題が発生する等、実際に行われた処理の確認が必要となった場合に取得したログに基づいて処理内容を再現する等種々の要求に対応することができる。

本実施形態は、より具体的に金融機関の店舗内に設置された顧客端末と、遠隔のオペレータセンタに配置されたオペレータ端末とを接続して、顧客とオペレータとが相互の映像や音声をリアルタイムでやり取りすることにより金融商品や口座開設などの取引や相談を進めていくといったシステムを想定することもできる。このようなシステムを構築する場合、後述するように本発明の原理を実装した相談窓口提供サーバが各端末を接続してサービスを提供することもできる。

（本実施形態の構成）
図１は、本発明にかかるログ保存システムのシステム構成を示す図である。本実施形態のログ保存システムは、端末装置１０１、１０２、データベースサーバ１０４および閲覧端末１０６を備え、これらはインターネット１０３を介して接続されるが、特に本実施形態では取引のセキュリティを確保するためＶＰＮ等を使用することもできる。本システムにおいて閲覧端末１０６は別に示されているが、端末装置１０１、１０２により代行することもでき、基本的に設置する必要もない。すなわち、システムによっては、単にログを取って保存しておくだけで良いといった、すぐにログ内容を閲覧する必要がない運用を行う場合もあり、そのような場合は敢えて定常的に閲覧端末１０６を設置しておく必要はないのである。端末装置１０１および１０２はともに、映像・音声を各々入力するための映像撮影手段であるカメラおよび音声取得手段であるマイクも備えられており、インターネット１０３に接続して情報のやり取りを行うことができれば通常の機能を有するパーソナルコンピュータとすることができるが、取引内容によっては種々の書類の出力のためのプリンタ、資料の読み取りのためのスキャナを備えることもできる。ここで、本実施形態では端末装置１０１と１０２とは、インターネット１０３を介して直接情報の通信を行うことができるが、例えば別途端末装置間を仲介し、あるいは付加情報を提供するサーバを設けることもできる。その場合、後述する図７を参照して説明する実施形態のように端末装置１０１および１０２は、各々そのようなサーバに接続して情報を送受信することとなるが、ここでは詳細な説明は省略する。

また、インターネット１０３に同じく接続されたデータベースサーバ１０４は、データベース１０５を備え、端末装置１０１、１０２のいずれかから定期的に送信されるログ情報を受信しデータベース１０５に保存する。ここで、データベース１０５はデータを保存できる記憶装置であれば、ハードディスクドライブのような固定記憶装置やＤＶＤのような取外し可能な記憶装置等いずれのものを使用することもでき、システムに必要な記憶容量を持っていればよい。

次に、端末装置１０１の構成について説明するが、基本的に端末装置１０２も本実施形態の目的を達成するためには同様とすることができるが、業務内容やシステムの性質などにより、機能・性能は必ずしも同一である必要はない。図２は、端末装置１０１の構成を示す図である。端末装置１０１は、通常の端末機能を持つ装置、例えばパーソナルコンピュータやワークステーションを使用することができ、これらの装置が一般に備えている、ＣＰＵ等の制御部２０１、液晶やＣＲＴのディスプレイ部２０５、記憶部２０７およびインターネットを介してデータの送受信をするためのネットワークインタフェース２０４を備える。端末装置１０１は、本実施形態の操作者の映像や音声に関する処理を行うため、カメラ２０２、マイク２０３およびスピーカ２０６をさらに備えるが、これらはその機能を達成することができれば、いずれの形態とすることもでき、例えばマイク２０３およびスピーカ２０６に変えてヘッドセット（不図示）を使用することもできる。

このような端末装置１０１は、基本的にソフトウェアプログラムが制御部２０１上で実行されて種々の処理が行われる。図３は、端末装置１０１の機能モジュールの構成を示す図である。本実施形態では、ソフトウェアプログラムは各主要な処理ごとに、モジュール化されており、図３に示すような各処理モジュールが実行されて全体として端末装置１０１が機能するが、ここに示すモジュール分けに限られるわけではなく、種々の組み合わせやさらなる機能の分割など、端末装置１０１が全体としてその機能を達成することができれば、どのように機能モジュールを定めることもできる。

各機能モジュールは、大きく分けて端末装置１０１の基本的機能を達成するモジュール群と、本願発明のログ採取保存機能を達成するモジュール群とに分けることができる。基本的機能モジュールとしては、操作者の映像を撮影して映像データを生成する映像撮影部３０１、操作者の音声を集音して音声データを生成する音声取得部３０２、得られた映像や音声を他の端末装置と送受信する送受信部３０３、操作者の映像などをディスプレイ部２０５に表示する画面表示部３０４および操作者の音声などをスピーカ２０６に出力する音声出力部３０５などのモジュールがある。図５および６に、金融機関の取引業務として本実施形態のシステムを使用したときの顧客側およびオペレータ側のディスプレイ部に表示される画面イメージをそれぞれ示す。

また、ログ採取保存機能を達成するモジュールとしては、ディスプレイ部２０５全体の映像をハードコピーとして読み取り画面イメージデータを生成して記憶部２０７に記憶する画面イメージ読み取り部３０６、音声として例えばスピーカ２０６に出力した音声データを記憶部２０７に記憶する音声記憶部３０７、および定期的に記憶部２０７に記憶されたログデータをデータベース１０５に保存するためインターネットを介してデータベースサーバ１０４に送信するデータベース保存部３０８などのモジュールがある。

本実施形態では、以上の構成によりログ採取保存処理が実行されるが、以下にその処理について説明する。
（本実施形態の処理）
図４は、本実施形態のログ採取保存処理を示すフローチャートである。本実施形態で、画面イメージ読取部３０６と音声記憶部３０７とは、端末装置１０１の本来の業務である他端末との情報交換、例えば双方の操作者の映像、音声を確認しながらの取引などが開始されると起動され、終了すると停止される。これは、端末装置が立ちあげられ、何の業務も行っていないアイドルの状態でログをとっても価値がないだけでなくその分記憶部２０７やデータベース１０５を消費してしまうことから必要な分だけログを採取しようとしたものである。ただし、システム的に何の制約もない場合は、このような起動法にとらわれる必要はない。以上のことから、本実施形態では、先ず操作者が操作を開始したか否かをチェックして、開始した場合には次の処理に移行する（Ｓ４０１）。

操作者の操作、あるいは対象の業務処理が開始されると、音声データおよび画面イメージデータが記憶され、音声についてはマイクから取得した音声データや他の端末から受信した相手方の音声データをタイムスタンプして単に記憶部２０７に記憶すればよい（Ｓ４０２）が、画面イメージはこれとは別の方法で読み取り、記憶する。すなわち、所定の時間間隔ごと（Ｓ４０５）、例えば１秒間に２、３回ディスプレイ部２０５に表示された画面のハードコピーが取られて画面イメージデータが生成され記憶部２０７に記憶される（Ｓ４０４）。ここで、所定の時間間隔は１秒に２、３回（約０．３〜０．５秒間隔）としたが、これに限られることなく、システムにあわせてより短くまたは長くすることもできる。例えば、より重要な業務であってメモリ資源も十分にある場合はより短い間隔とし、重要性が低くメモリ資源がより限られている場合はより長くする等、システムや業務の特性に合わせて時間間隔を調整することができる。

以上のように、本実施形態では操作画面を動画としてすべて記録する場合に比べ、所定の時間間隔で画面全体のハードコピーをとっているため、より簡易により少量のログデータとすることができるので膨大なメモリ資源が消費されることを回避することができる。

このようにして、映像データ、音声データの処理を行い、操作、あるいは業務が終了したことが検出されると、画面イメージ読取部３０６および音声記憶部３０７の処理を停止させる（Ｓ４０３，Ｓ４０５）。このようにして採取されたログデータは記憶部２０７に記録されることとなるが、本実施形態では操作あるいは業務終了後すなわち一連のログ採取が完了すると、データベース保存部３０８によりこのデータを最終的にデータベース１０５に保存する（Ｓ４０６）。本実施形態では、このようなタイミングで保存を行うが、これに限られることなく記憶部２０７の容量やシステムの状況等により、例えば一定間隔で保存するといった他の任意のタイミングでデータベースサーバ１０４に送信してデータベース１０５に保存することができる。

（保存ログ閲覧処理）
採取保存されたログデータは、例えば法的に一定期間保存を義務付けられる等、単に保存しているだけでも価値のある場合が少なくないが、一定の状況で取引を確認する場合、またはより積極的にログを定期的に評価して業務改善につなげる等する場合には、閲覧端末１０６等のディスプレイ部に表示し、スピーカに音声出力したり、プリンタ（不図示）に出力したりする必要がある。本実施形態では、ログデータにおいて、操作者の音声は連続した音声データとして操作開始から終了まで採取されているので、単にスピーカから再生すれば実際の音声を再現することができる。

一方、映像データについては、上述の通りメモリ資源等を節約するため、不連続な画面イメージデータとなっているが、本技術分野で知られたいずれかの技術を利用して画像間を補完する等不連続な画面イメージデータを連続的な画像データとして再生する。この際、画面イメージデータ記憶時に一緒に記憶した時刻情報も使用する。すなわち、この画面イメージの時刻情報と、音声データで付されたタイムスタンプとを参照して映像データの再生と音声データの再生との同期を取って、自然な再生を行う必要がある。本実施形態では、このため、例えばログデータの開始時点で先ず映像と音声とを同期をあわせて再生を開始し、途中画面イメージが切り替わるタイミングを音声のタイムスタンプを参照しながら、決定することにより同期がずれないように制御するといった本技術分野で知られたいずれかの方法で同期を取って再生することができる。なお、画像を再生する場合の連続性は、動画のような滑らかさを常に要求されるわけではなく、システムで必要なレベルの連続性を持って再生されれば足りる。例えば、極端な場合、システムによっては撮影された時間間隔で再生することもできる。

以上のように音声データと映像データとの同期を取って再生することにより、簡易に採取された少量のログデータでも閲覧端末において違和感なく再生することができ、端末における操作の正確な再現が可能となるので、一定の状況で取引を確認したり、より積極的にログを定期的に評価して業務改善につなげたりすることができる。
（第２実施形態）
本実施形態では、上述の第１実施形態で若干言及したように端末装置同士を直接接続するのではなく、いわゆる仲介サーバ（本実施形態では相談窓口提供サーバ）を介して接続するシステムを使用する。図７は、本実施形態のシステムの構成を示す図である。本実施形態では、金融機関の店舗内に設置された顧客端末７０１と、遠隔のオペレータセンタに配置されたオペレータ端末７０２とを接続して、顧客とオペレータとが相互の映像や音声をリアルタイムでやり取りすることにより金融商品や口座開設などの取引や相談を進めていくといったシステムを想定する。このようなシステムを構築する場合、本発明の原理を実装した相談窓口提供サーバ７３１が各端末を接続してサービスを提供することとなる。

本実施形態の情報提供サーバ群７４０は、各種情報提供サーバ、たとえばホームページサーバ（図示せず）などを備えるが、本実施形態ではこれらのサーバは元々インターネットを介して直接端末に情報を提供するよう構築されたものである。したがって、本実施形態では、本来顧客が単独で利用できるが、操作が比較的難しいサービスについて、オペレータの補助を加えて提供する。

情報提供サーバ群７４０の各サーバから提供される情報（コンテンツ）は、一度相談窓口提供サーバ７３１に送信され、後述するように端末の表示画面の分割されたうち共用画面部分に表示されるように画面が生成されて各端末に送信される。端末７０１、７０２は、情報提供サーバから提供される情報を表示する共用画面のほかに、端末の操作者、すなわち顧客およびオペレータの相互の映像を表示したり、制御関係の表示等を表示する制御画面を分割表示したりして相談窓口サービスの提供に供される。ここで、本実施形態では相談窓口提供サーバ７３１は、基本的に情報をＨＴＭＬあるいはＸＭＬ等のインターネットで使用される言語により提供し、端末ではブラウザでその情報を閲覧できるように情報提供する。したがって、本実施形態の相談窓口提供サーバは、端末のブラウザで閲覧した場合に制御画面と共用画面とに分割されて表示されるように画面イメージを生成して、その共用画面部分に情報提供サーバ群７４０のいずれかのサーバから提供された情報が表示されるようにして各端末に送信するが、情報提供サーバから別の形態で情報が提供される場合は、そのようなシステムに適合する形で各端末において情報が提供されるようにすることができる。たとえば、事前に画面パターンを送信しておいて、情報を提供するとその部分だけで画面を書き換えるような手法で情報が提供されるような場合は、相談窓口提供サーバ７３１でも同様の形でデータを生成して各端末に送信することができる。

相談窓口提供サーバ７３１は、上述した端末の画面上で閲覧される共用画面と制御画面とに分割された画面イメージを生成し、オペレータ端末７０２からの情報提供要求を処理して関連する情報提供サーバにさらに情報提供を要求し、各情報提供サーバから受信した情報を使用して共用画面部に表示させることにより、共用画面に同一のコンテンツ等を表示させる。さらに、相談窓口提供サーバ７３１は、制御画面に表示する各端末の操作者の映像を処理し、およびオペレータ端末の制御画面だけに表示するオペレータに対する指示を例えばポップアップにより表示し、オペレータからの入力フィールドなどを表示するなどの処理を行う。本実施形態では、情報提供の要求は、顧客端末の初期処理（たとえば、オペレータに接続されるまでの処理）以降は基本的にオペレータ端末からのみ送信できるようにする。すなわち、ブラウズされるサーバが提供する画面はオペレータ端末からしか変更することができず、顧客端末は単に画面を表示するのみとなるので、顧客はオペレータの誘導に従って入力する手間をなくすことができるが、これに限られることなく、ある程度顧客端末にも入力権限を与えて、よりよい操作性を提供するようにすることもできる。なお、このような目的で顧客端末にキーボード等の入力機器を設けないようにすることもできる。

（本実施形態の処理）
図７は、本実施形態の基本業務の処理の流れを説明するフロー図である。図７に示すフローに沿って本実施形態の処理は行われるが、その際顧客端末にはオペレータの映像を含む顧客画面７１２が表示され、オペレータ端末には顧客の映像を含むオペレータ画面７１１が表示される。

本実施形態の処理の開始は、顧客端末７０１からのシステムの呼び出しにより行われる（ステップ（１））。顧客端末７０１は通常の待機画面を表示させて、顧客の操作が行われるまで待機している。本実施形態では顧客端末７０１の画面にはタッチパネルが張られており、画面に表示されたボタンに顧客が触れると、その指示がサーバ側に送信されて定められた処理が動作するようになっている。したがって、顧客が顧客端末７０１の操作を開始してボタンに触れるとサーバは取引メニューを端末に表示させ、顧客がいずれかの取引を選択するとその取引の処理が開始される。

顧客端末７０１からいずれかのメニューを指定する旨のメッセージを受信すると、相談窓口提供サーバ７３１は予め定められた方法で接続すべき端末を決定して決定したオペレータ端末７０２に接続要求を送信する（ステップ（２））。本実施形態では、オペレータ端末の振り分け方法の詳細は特に説明しないが、本技術分野で知られたいずれのものも使用することができる。例えば、顧客により選択された取引業務ごとに、あるいはランダムに空きオペレータ端末を検索して割り振ることもできるし、または何らかの優先順位をもって割り振ることもできる。なお、顧客端末７０１の画面には、決定したオペレータ端末７０２と接続されるまで、所定の画面が表示されシステムが正常に動作していることを示すことができる。

決定されたオペレータ端末７０２の準備ができると、応答が送信され（ステップ（３））、相談窓口提供サーバ７３１は、各端末から送信された操作者の映像を制御画面に埋め込み、および音声を相互にリアルタイムで、あるいは一定のサンプリング間隔で各端末に送信する。すなわち、映像について言うと、オペレータ端末７０２のカメラで撮影され送信された映像を顧客端末に表示する画面７１２の制御画面に表示するようにし、オペレータ端末についても同様にする。

本実施形態では、図５、６に示すように基本的には相手方の映像を中心に表示し、参考に自己の映像も小さく表示するようにしているが、これに限られることなくオペレータの映像のみ表示する等映像はシステムに適合させて自由に配置することができる。また、本実施形態では、端末に表示される画面パターンは、操作者の映像のみ大きく表示するものと、共用画面に取引業務の画像を表示させて左側の狭い制御画面の部分に操作者の映像を表示するものの２種類を用意しているが、これに限られることなく、他の情報表示画面を設定したり、各画面の配置や面積比を任意に変えてより多くの画面パターンを使用したりすることもできる。

オペレータが本実施形態のシステムを使用して、例えば住宅ローンや資産運用の相談を行うこととなった場合、オペレータ端末７０２からこれらの取引のコンテンツを呼び出すよう相談窓口提供サーバ７３１を介して情報提供サーバ群７４０の関連するサーバに要求が届けられ、コンテンツの呼び出しを要求されたサーバは、コンテンツ情報を送信する（ステップ（４））。コンテンツ情報を受け取った相談窓口提供サーバ７３１は、各端末に送信するコンテンツの同期を取って（ステップ（５））、前述の制御画面に加え、共用画面に受信したコンテンツ情報を表示するようにした画面データ（例えば、オペレータ画面７１１、顧客画面７１２として表示されるデータ）を端末ごとに生成する（ステップ（６））。生成された画面データはオペレータ端末７０２および顧客端末７０１に送信されて、それぞれオペレータ画面７１１、顧客画面７１２が表示される（ステップ（７））。

以上の処理が行われる結果、本実施形態の顧客端末７０１には所定の取引画面が表示され、顧客は共用画面に示されたこのような取引画面を見ながらオペレータに相談を行い、あるいは取引を進めることができる。この際、オペレータ端末７０２の共用画面にも同じ取引画面が表示されるので、オペレータと顧客とは同一の画面を共有して取引、あるいは相談を進めることができるので、あたかも店舗内において対面で顧客サービスが提供されているような効果を得ることができる。なお、オペレータ端末７０２に表示される画面は、顧客端末７０１と同様なものであるが、オペレータとして顧客を誘導する等の操作が必要なため、所定の制御画面には、相互の操作者の映像以外にリモートシステム操作ボタンや、その他顧客に提示する必要のある関連するサービスなどを表示する領域が確保されている。このように、オペレータ画面の制御画面部分はシステムに適合させて、必要な情報を表示したり、データ入力を可能にしたりすることができる。

なお、上述の通り本実施形態では、取引の進行はオペレータが中心に行うようにされているため、基本的にはコンテンツの呼び出しはオペレータ端末７０２のキーボードやマウス（不図示）からの入力により行われ、データ入力もオペレータが顧客から音声あるいは映像で伝えられ、オペレータ端末７０２の入力機器から入力する。すなわち、顧客はオペレータに入力すべきデータを伝え、オペレータがデータ入力をすると上述のように同じ画面が顧客端末７０１にも表示されるので、顧客もともに確認することができるが、これに限られることなく、システムによってはある程度顧客端末７０１からもデータ入力ができるようにすることもできる。

（本実施形態のログ採取保存）
本実施形態では、上述の第１実施形態とは２つの端末装置の双方でログの採取保存を行う点で異なる。すなわち、オペレータ端末７０２および顧客端末７０１の双方とも記憶部７５２および７５１を備え、画面イメージ読み取り部３０６、音声記憶部３０７、およびデータベース保存部３０８の各モジュールの動作が可能である。すなわち、本実施形態では、オペレータ端末７０２および顧客端末７０１の双方とも、上述の第１実施形態の端末装置１０１と同様にログ採取保存を行う。オペレータ端末７０２および顧客端末７０１とも、ログ採取保存の動作は、第１実施形態における端末装置１０１と同様であるが、それぞれの記憶部７５２及び７５１に採取されたログデータを相談窓口提供サーバ７３１を介してデータベース７５０に保存される点で異なる。

従って、本実施形態では、ログ採取保存はいずれかの端末ではなく、使用されるすべての端末について行われることとなるが、これは取引等の業務を行っている端末すべてが同一の画面を表示していないことから、取引にかかわった画面の流れをすべてログ採取しておけるという点で有効である。例えば、本実施形態で想定している金融機関の取引の場合、既に説明している通り、オペレータ端末７０２に表示される画面７１１は、顧客端末７０１と同様なものであるが、オペレータとして顧客を誘導する等の操作が必要なため、所定の制御画面をもつことから双方の端末のログを採取しておかなければ、正確には取引状況を再現できない。さらに、オペレータに自動的に指示を出すため、オペレータ端末７０２のみ図８に示すような表示画面の一部を覆うポップアップ画面が表示されることがあり、そのような場合にオペレータ端末７０１しかログ採取保存していないと、そのポップアップ画面で隠された部分に表示された内容を再現することができない。このような場合には、双方の端末で採取したログデータを両方閲覧することによって、取引内容を確認することもできるし、双方のログデータから再現される画面を処理して、ポップアップ画面に隠された部分を抽出し１つの画面を閲覧することにより取引内容を把握することもできる。なお、このような隠された部分を抽出する技術として、本技術分野で知られたいずれの方法を用いることもできる。

本発明にかかる一実施形態のログ保存システムのシステム構成を示す図である。 本実施形態の端末装置の構成を示す概念図である。 本実施形態の端末装置の機能ブロックの構成を示す図である。 本実施形態のログ採取保存の処理の流れを説明するフローチャートである。 本実施形態の顧客画面に表示される画面の一例を示す図である。 本実施形態のオペレータ画面に表示される画面の一例を示す図である。 本発明の一実施形態のログ採取保存の処理の流れを説明するフロー図である。 本実施形態のオペレータ画面に表示されるポップアップを含む画面の一例を示す図である。

符号の説明

１０１、１０２ 端末装置
１０３ ネットワーク
１０４ データベースサーバ
１０５ データベース
２０１ 制御部
２０２ カメラ
２０３ マイク
２０４ ネットワークインタフェース
２０５ ディスプレイ部
２０６ スピーカ
２０７ 記憶部
３０１ 映像撮影部
３０２ 音声取得部
３０３ 送受信部
３０４ 画面表示部
３０５ 音声出力部
３０６ 画面イメージ読み取り部
３０７ 音声記憶部
３０８ データベース保存部
７０１ 顧客端末
７０２ オペレータ端末
７１１、７１２ 端末画面
７３１ 相談窓口提供サーバ
７４０ 情報提供サーバ群
７５０ データベース
７５１、７５２ 記憶部

Claims (19)

1. 端末操作者の映像を撮影する映像撮影手段と、端末操作者の音声データを取得する音声取得手段と、ネットワークを介して撮影された他の端末操作者の映像および取得した他の端末操作者の音声データを送受信する送受信手段と、前記撮影された端末操作者の映像および当該受信した他の端末操作者の映像を表示画面に表示する表示手段と、前記受信した他の端末操作者の音声データを出力する音声出力手段とを備えた端末装置であって、
   所定の時間間隔で前記表示画面に表示されたイメージを読み取って画面イメージデータを生成し、当該読み取った時刻とともに記憶手段に記憶する画面イメージ読取手段と、
   前記取得した端末操作者の音声データおよび前記受信した他の端末操作者の音声データを取得した時刻とともに前記記憶手段に記憶する音声記憶手段と、
   前記記憶手段に記憶された画面イメージデータと、音声データとをネットワークを介してデータベースサーバに送信するデータベース保存手段と
   を備えたことを特徴とする端末装置。
2. 前記画面イメージ読取手段および前記音声記憶手段は、前記表示手段および前記音声出力手段が処理を開始すると処理を開始し、終了すると処理を終了することを特徴とする請求項１に記載の端末装置。
3. 前記ネットワークはインターネットであり、前記表示手段は前記撮影された端末操作者の映像および当該受信した他の端末操作者の映像をブラウザにより表示することを特徴とする請求項１または２に記載の端末装置。
4. 端末操作者の映像を撮影する映像撮影手段と、端末操作者の音声を取得する音声取得手段と、ネットワークを介して撮影された他の端末操作者の映像および取得した他の端末操作者の音声を送受信する送受信手段と、前記撮影された端末操作者の映像および当該受信した他の端末操作者の映像を表示画面に表示する表示手段と、前記受信した他の端末操作者の音声出力する音声出力手段とを含む２つ以上の端末装置と、
   前記ネットワークに接続され、データを保存するデータベースを含むデータベースサーバと、
   前記データベースに保存されたデータを閲覧する閲覧端末装置と
   を備え、
   前記２つ以上の端末装置のうちの１つの端末装置は、所定の時間間隔で前記表示画面に表示されたイメージを読み取って画面イメージデータを生成し、当該読み取った時刻とともに記憶手段に記憶する画面イメージ読取手段と、前記取得した端末操作者の音声および前記受信した他の端末操作者の音声を取得した時刻とともに前記記憶手段に記憶する音声記憶手段と、前記記憶手段に記憶された画面イメージデータと、音声データとをネットワークを介してデータベースに送信するデータベース保存手段とを含み、
   前記データベースサーバは、前記データベース保存手段からネットワークを介して送信された画面イメージデータと、音声データとを受信して前記データベースに保存することを特徴とする端末ログ保存システム。
5. 前記画面イメージ読取手段および前記音声記憶手段は、前記表示手段および前記音声出力手段が処理を開始すると処理を開始し、終了すると処理を終了することを特徴とする請求項４に記載の端末ログ保存システム。
6. 前記ネットワークはインターネットであり、前記表示手段は前記撮影された端末操作者の映像および当該受信した他の端末操作者の映像をブラウザにより表示することを特徴とする請求項４または５に記載の端末ログ保存システム。
7. 前記閲覧端末は、前記データベースに保存された画面イメージデータを閲覧する際に、ともに保存されている前記読み取った時刻により音声データと表示タイミングを合致させて音声データの出力を行うことを特徴とする請求項４、５または６に記載の端末ログ保存システム。
8. 前記画面イメージ読取手段、前記音声記憶手段、および前記データベース保存手段は、前記２つ以上の端末装置のうちの１つの端末装置以外の１つ以上の端末装置にも含まれることを特徴とする請求項４ないし７のいずれかに記載の端末ログ保存システム。
9. 端末操作者の映像を撮影する映像撮影手段と、端末操作者の音声データを取得する音声取得手段と、ネットワークを介して撮影された他の端末操作者の映像および取得した他の端末操作者の音声データを送受信する送受信手段と、前記撮影された端末操作者の映像および当該受信した他の端末操作者の映像を表示画面に表示する表示手段と、前記受信した他の端末操作者の音声データを出力する音声出力手段とを備えた端末装置のログを保存するログ保存方法であって、
   所定の時間間隔で前記表示画面に表示されたイメージを読み取って画面イメージデータを生成し、当該読み取った時刻とともに記憶ステップに記憶する画面イメージ読取ステップと、
   前記取得した端末操作者の音声データおよび前記受信した他の端末操作者の音声データを取得した時刻とともに前記記憶ステップに記憶する音声記憶ステップと、
   前記記憶ステップに記憶された画面イメージデータと、音声データとをネットワークを介してデータベースサーバに送信するデータベース保存ステップと
   を備えたことを特徴とするログ保存方法。
10. 前記画面イメージ読取ステップおよび前記音声記憶ステップは、前記表示手段および前記音声出力手段が処理を開始すると実行を開始し、終了すると実行を終了することを特徴とする請求項９に記載のログ保存方法。
11. 前記ネットワークはインターネットであり、前記表示手段は前記撮影された端末操作者の映像および当該受信した他の端末操作者の映像をブラウザにより表示することを特徴とする請求項９または１０に記載のログ保存方法。
12. 端末操作者の映像を撮影する映像撮影手段と、端末操作者の音声を取得する音声取得手段と、ネットワークを介して撮影された他の端末操作者の映像および取得した他の端末操作者の音声を送受信する送受信手段と、前記撮影された端末操作者の映像および当該受信した他の端末操作者の映像を表示画面に表示する表示手段と、前記受信した他の端末操作者の音声出力する音声出力手段とを含む２つ以上の端末装置と、前記ネットワークに接続され、データを保存するデータベースを含むデータベースサーバと、前記データベースに保存されたデータを閲覧する閲覧端末装置とを備えたシステムにおいて、端末装置のログを保存する端末ログ保存方法であって、
    前記２つ以上の端末装置のうちの１つの端末装置において、
    所定の時間間隔で前記表示画面に表示されたイメージを読み取って画面イメージデータを生成し、当該読み取った時刻とともに記憶手段に記憶する画面イメージ読取ステップと、
    前記取得した端末操作者の音声および前記受信した他の端末操作者の音声を取得した時刻とともに前記記憶手段に記憶する音声記憶ステップと、
    前記記憶手段に記憶された画面イメージデータと、音声データとをネットワークを介してデータベースに送信するデータベース保存ステップと、
    前記データベースサーバにおいて、前記データベース保存ステップにおいてネットワークを介して送信された画面イメージデータと、音声データとを受信して前記データベースに保存するステップと
    を備えたことを特徴とする端末ログ保存方法。
13. 前記画面イメージ読取ステップおよび前記音声記憶ステップは、前記表示手段および前記音声出力手段が処理を開始すると実行を開始し、終了すると実行を終了することを特徴とする請求項１２に記載の端末ログ保存方法。
14. 前記ネットワークはインターネットであり、前記表示手段は前記撮影された端末操作者の映像および当該受信した他の端末操作者の映像をブラウザにより表示することを特徴とする請求項１２または１３に記載の端末ログ保存方法。
15. 前記閲覧端末において、前記データベースに保存された画面イメージデータを閲覧する際に、ともに保存されている前記読み取った時刻により音声データと表示タイミングを合致させて音声データの出力を行うステップをさらに備えたことを特徴とする請求項１２、１３または１４に記載の端末ログ保存方法。
16. 前記画面イメージ読取ステップ、前記音声記憶ステップ、および前記データベース保存ステップは、前記２つ以上の端末装置のうちの１つの端末装置以外の１つ以上の端末装置においても実行されることを特徴とする請求項１２ないし１５のいずれかに記載の端末ログ保存方法。
17. 端末操作者の映像を撮影する映像撮影手段と、端末操作者の音声データを取得する音声取得手段と、ネットワークを介して撮影された他の端末操作者の映像および取得した他の端末操作者の音声データを送受信する送受信手段と、前記撮影された端末操作者の映像および当該受信した他の端末操作者の映像を表示画面に表示する表示手段と、前記受信した他の端末操作者の音声データを出力する音声出力手段とを備えた端末装置にログを保存するログ保存方法を実行させるプログラムであって、
    所定の時間間隔で前記表示画面に表示されたイメージを読み取って画面イメージデータを生成し、当該読み取った時刻とともに記憶ステップに記憶する画面イメージ読取ステップと、
    前記取得した端末操作者の音声データおよび前記受信した他の端末操作者の音声データを取得した時刻とともに前記記憶ステップに記憶する音声記憶ステップと、
    前記記憶ステップに記憶された画面イメージデータと、音声データとをネットワークを介してデータベースサーバに送信するデータベース保存ステップと
    を備えたことを特徴とするプログラム。
18. 前記画面イメージ読取ステップおよび前記音声記憶ステップは、前記表示手段および前記音声出力手段が処理を開始すると実行を開始し、終了すると実行を終了することを特徴とする請求項１７に記載のプログラム。
19. 前記ネットワークはインターネットであり、前記表示手段は前記撮影された端末操作者の映像および当該受信した他の端末操作者の映像をブラウザにより表示することを特徴とする請求項１７または１８に記載のプログラム。
    

Images