JP2016009932A

JP2016009932A - 電話端末装置、情報処理方法及び情報処理システム

Info

Publication number: JP2016009932A
Application number: JP2014128486A
Authority: JP
Inventors: 智大今井; Tomohiro Imai; 村上　雅彦; Masahiko Murakami; 雅彦村上; 松井　一樹; Kazuki Matsui; 一樹松井
Original assignee: Fujitsu Ltd
Current assignee: Fujitsu Ltd
Priority date: 2014-06-23
Filing date: 2014-06-23
Publication date: 2016-01-18
Anticipated expiration: 2034-06-23
Also published as: US9369853B2; JP6340949B2; US20150373512A1

Abstract

【課題】画像表示部を有する電話端末装置において、当該電話端末装置の有する電話機能を用いて通話している、画像表示部を目視することができない期間に、ユーザーに画像の更新を認識させる、方法を提供する。【解決手段】電話端末装置１００は、画像表示部１６５と、音出力部１５５と、検出部１７０とを有し、電話端末装置が通話に使用されていることが検出部によって検出されている状態において、画像表示部に表示される画像が更新されたことに応じて、音出力部が画像の更新を通知する音を出力する。【選択図】図２

Description

本開示は、電話端末装置、情報処理方法及び情報処理システムに関する。

スマートフォン等の携帯電話端末装置においては、ユーザがタッチパネルディスプレイ等を操作することで、スマートフォン内のプロセッサ回路等の情報処理部に対して操作信号を入力することができる。情報処理部は、操作信号に応じたデータ処理を行って所定の画像データを作成し、画像を携帯電話端末装置のディスプレイに表示させる。

ところで、ユーザがディスプレイに表示された画像を見ている際に、携帯電話端末装置の電話機能もしくは通話用のアプリケーションソフトウェア（以下、両者を併せて通話機能と呼ぶ。またアプリケーションソフトウェアをアプリと呼ぶ）を使用する場合がある。例えばディスプレイに、ある特定アプリによる画像が表示されている状態で、他のユーザからの通話要求を受信した場合等である。なお、ユーザによる通話機能の使用を可能とするため、携帯電話端末装置はスピーカとマイクを有する。このような状況において、当該特定アプリを起動させたままで通話機能を起動させ、通話が開始された後は通話機能をバックグランドで動作させ、画像の表示を行う特定アプリをフォアグランドで動作させたとする。この場合、携帯電話端末装置のユーザは、スピーカから発せられる他のユーザの通話音を聞き取るために携帯電話端末装置を耳の付近へ保持することになり、ディスプレイの表示内容を目視することができない。そのため、通話中に当該特定アプリの処理による表示の内容が変わったとしても、ユーザはそのことを認識することができない。

特開２００８−１６７３７３号公報

画像表示部を有する電話端末装置において、ユーザが、電話端末装置の有する通話機能を用いて通話している期間は、ユーザは画像表示部を目視することができず、その期間に生じた画像の更新を認識することができない。同様の問題は、通話音以外にスピーカから再生される音声や音楽等の音を聞くために、ユーザが電話端末装置を耳の付近に保持する場合にも生じる。

開示の電話端末装置は、画像表示部と、音出力部と、電話端末装置が通話に用いられていることを検出する検出部を有し、電話端末装置が通話に用いられていることが検出部によって検出されている状態において、画像表示部に入力される画像が更新されたことに応じて、音出力部が画像の更新を通知する音を出力することを特徴とする。

画像表示部を有する電話端末装置のユーザが、通話機能を使用している期間においても、画像内容が更新されたことを認識することができる。

電話端末装置の主な構成を示す図である。第１実施例における電話端末装置のハードウェア構成図である。第１実施例におけるプロセッサの機能ブロック図である。第１実施例において、操作信号を受信した際のプロセッサの処理フローチャートである。第１実施例において、検出信号を受信した際のプロセッサの処理フローチャートである第１実施例における画像の更新種別の推定方法を説明する図である。第１実施例における画像の更新種別の推定方法を説明する図である。第１実施例における差分抽出及び通知音データの生成に関するプロセッサの処理フローチャートである。第２実施例におけるシンクライアントシステムの構成図である。第２実施例における情報処理装置のハードウェア構成図である。第２実施例における電話端末装置が有するプロセッサの機能ブロック図である。第２実施例における情報処理装置が有するプロセッサの機能ブロック図である。第２実施例において、操作信号を受信した際の情報処理装置が有するプロセッサの処理フローチャートである。第２実施例において、検出信号を受信した際の情報処理装置が有するプロセッサの処理フローチャートである第３実施例におけるシンクライアントシステムの構成図である。第３実施例における端末装置のハードウェア構成図である。第３実施例における画像の更新種別の推定方法を説明する図である。

＜第１実施例＞
本実施例では、画像表示部を有するスマートフォン等の電話端末装置に、当該電話端末装置が通話に使用されていることを検出する検出手段を設ける。検出手段が、電話端末装置が通話に使用されていることを検出した場合、すなわち電話端末装置が電話ツールとして使用されている状態では、ユーザは電話端末装置を自身の耳の近傍に保持しているために画像表示部を見ることができないと考えられる。このような場合であって、画像表示部に表示されている画像内容が更新された場合は、電話端末装置はユーザに対して、画像内容の更新の様子を音で通知する。これによりユーザは、画像表示部の表示内容を目視にて確認することが困難であっても、音通知により画像が更新されたことを認識することができる。例えばユーザが電話端末装置を用いて通話している最中に、メールを受信した旨の通知が画面に表示されると、画面表示の更新に対応する通知音が電話端末装置のスピーカから発せられる。

尚、本明細書において「画像」とは、事象を視覚的に表現した動画像や静止画像だけでなく、テキストデータとしてディスプレイ上に表示される文字の像も含むものとする。また本明細書において「音」には、音声や擬音、機械音も含まれる。

図１は、スマートフォン等の電話端末装置の主な構成を示す図である。電話端末装置１００は、筐体の一の面に設けられた、画像を表示するディスプレイである画像表示部１６５と、通話音声等を出力するスピーカである音声出力部１５５を有する。電話端末装置１００は、ユーザからの入力を受け付ける操作入力装置として、画像表示部１６５内にタッチパネル方式のキーボードを設けてもよく、もしくは画像表示部１６５とは別に物理的なキーボードを電話端末装置１００の何れかの部位に実装してもよい。電話端末装置１００として、スマートフォン以外の携帯電話端末装置や、通信機能が付随されたタブレット型のＰｅｒｓｏｎａｌＣｏｍｐｕｔｅｒ（ＰＣ）、ＰｅｒｓｏｎａｌＤｉｇｉｔａｌＡｓｓｉｓｔａｎｔ（ＰＤＡ）等を用いてもよい。

図２は、電話端末装置１００のハードウェア構成図である。電話端末装置１００は、プロセッサ１１０、揮発性メモリ１３０、不揮発性メモリ１３５、通信モジュール１４０、増幅回路１５０、音出力部１５５、音入力部１５６、ドライバー回路１６０、画像表示部１６５、近接センサ１７０、操作入力装置１７５、バッテリ１８０、電源制御回路１８５及びバス１９０を有する。プロセッサ１１０は、電話端末装置１００全体の制御や、画像データや音データの生成処理等を行う。プロセッサ１１０は、ＣｅｎｔｒａｌＰｒｏｃｅｓｓｉｎｇＵｎｉｔ（ＣＰＵ）、Ｍｉｃｒｏ−ＰｒｏｃｅｓｓｉｎｇＵｎｉｔ（ＭＰＵ）、ＤｉｇｉｔａｌＳｉｇｎａｌＰｒｏｃｅｓｓｏｒ（ＤＳＰ）、Ｆｉｅｌｄ−ＰｒｏｇｒａｍｍａｂｌｅＧａｔｅＡｒｒａｙ（ＦＰＧＡ）等の電子回路部品である。揮発性メモリ１３０は、プロセッサ１１０が所定の処理を行うために必要なデータ等を格納する。また揮発性メモリ１３０を、プロセッサ１１０が作成した画像データを格納するフレームバッファとして機能させてもよい。揮発性メモリ１３０は、ＤｙｎａｍｉｃＲａｎｄｏｍＡｃｃｅｓｓＭｅｍｏｒｙ（ＤＲＡＭ）、ＳｔａｔｉｃＲａｎｄｏｍＡｃｃｅｓｓＭｅｍｏｒｙ（ＳＲＡＭ）等の電子回路部品である。不揮発性メモリ１３５は、プロセッサ１１０が実行するコンピュータプログラム等を格納する。不揮発性メモリ１３５は、ＭａｓｋＲｅａｄＯｎｌｙＭｅｍｏｒｙ（マスクＲＯＭ）や、ＰｒｏｇｒａｍａｂｌｅＲＯＭ（ＰＲＯＭ）、又はフラッシュメモリ等の電子回路部品である。

通信モジュール１４０は、他の端末装置やサーバ等の情報処理装置と、音データや画像データのデータ通信を行う。データ通信は無線による通信と有線による通信の何れであってもよい。無線通信の場合、通信モジュール１４０は例えば無線回路、ベースバンド回路、増幅回路、アンテナ等を含む。通信モジュール１４０として、電話端末装置１００の通話機能を実現する通信モジュール部と、その他のデータ通信を実現する通信モジュール部を別個に設けてもよい。増幅回路１５０は、音データに関する信号を増幅する回路であり、増幅された信号を音出力部１５５へ送信する。増幅回路１５０は、作動増幅回路等の電子回路部品である。音出力部１５５は、増幅回路１５０から受けた信号に基づき音出力を行う。音出力部１５５は例えば電話端末装置１００の前面に設けられたスピーカである。音入力部１５６は、ユーザが電話端末装置１００を電話ツールとして用いる場合に、音入力を行う入力デバイスであり、例えば電話端末装置１００の前面に設けられたマイクである。

ドライバー回路１６０は、揮発性メモリ１３０等に格納された画像データを画像表示部１６５へ出力するドライバー回路である。画像表示部１６５はドライバー回路１６０から受けた画像データを表示するディスプレイである。近接センサ１７０は、電話端末装置１００の例えば音出力部１５５の近傍に設けられ、ユーザが電話端末装置１００を耳に近づけたことを検知するセンサであり、近接センサ１７０から所定距離以内に存在する物体を検知して検出信号を出力する。所定距離は、例えば５センチメートルである。この距離はあくまでも例示であり、ユーザによる電話端末装置１００の使い易さを考慮して適宜設定されるものである。近接センサ１７０は、ユーザが電話端末装置１００の通話機能を使用していることを検出する手段の一例である。近接センサ１７０としては、静電容量型、超音波型、電磁波型、誘導型、赤外線型等のセンサを用いることが可能である。また検出手段の他の例としては、光センサや照度センサ、又は、ジャイロや加速度センサ等を用いて電話端末装置１００が保持されている状態等を把握する手段が挙げられる。

バッテリ１８０は、電話端末装置１００の電力供給源であり、電話端末装置１００が電源アダプタに接続されている際に電荷をチャージし、電話端末装置１００が電源アダプタから切り離されている場合には電荷をディスチャージし、電話端末装置１００内の回路に対して必要な電荷の供給を行う。電源制御回路１８５は、バッテリ１８０の制御回路であり、例えば電荷のチャージ速度の制御を行い、またプロセッサ１１０からの指示に基づき、電話端末装置１００の消費電力を抑制するために、電荷のディスチャージ量を制御する。電源制御回路１８５は例えばＤｉｒｅｃｔＣｕｒｒｅｎｔ−ＤｉｒｅｃｔＣｕｒｒｅｎｔ（ＤＣ−ＤＣ）変換回路である。バス１９０はプロセッサ１１０や揮発性メモリ１３０等の回路を接続し、互いのデータ送信の経路として機能する。

図３は、プロセッサ１１０の機能ブロック図である。プロセッサ１１０は、不揮発性メモリ１３５等に格納された所定のコンピュータプログラムを実行することにより、図３に示される各機能を実現する。プロセッサ１１０は検出信号受信部１１１、操作信号受信部１１２、制御部１１３、応答音データ生成部１１４、フレームデータ生成部１１５、フレームバッファ１１６、差分抽出部１１７、通知音データ生成部１１８、通話音信号受信部１１９、通話音信号デコード部１２０、音データ合成部１２１として機能する。検出信号受信部１１１は、近接センサ１７０が対象物を検出した際、近接センサ１７０からの検出信号を受信する。操作信号受信部１１２は、ユーザが電話端末装置１００に対して操作入力装置１７５を操作して入力を行った場合に、操作信号を受信する。例えばユーザがキーボード等の操作入力装置１７５を用いて入力したデータや、表示中のウェブサイトの特定のコンテンツにアクセスするためにユーザがブラウズ操作によって入力した操作信号が、操作信号受信部１１２で受信される。

制御部１１３は、操作信号受信部１１２が受信した操作信号に基づき、後述の応答音データ生成部１１４やフレームデータ生成部１１５を用いて所定のデータ処理を行う。また制御部１１３は、操作信号に対する応答として画像表示部１６５に表示させるフレームデータや、操作信号に対する応答として音出力部１５５に再生させる応答音の音データ等を生成する。制御部１１３は例えばカーネル層で実現される。

応答音データ生成部１１４は、制御部１１３からの指示に従い、応答音データを生成し、音データ合成部１２１へ送信する。本明細書では、電話端末装置１００に入力されたユーザからの操作入力に対する応答として出力される音を「応答音」と呼び、電話端末装置１００の通話機能が通話先から受信する音を「通話音」と呼ぶ。更に後述するように、画像内容の更新に伴い、画像更新の様子をユーザに通知するための音を「通知音」と呼ぶ。

フレームデータ生成部１１５は、制御部１１３からの指示、例えばＧｒａｐｈｉｃｓＤｅｖｉｃｅＩｎｔｅｒｆａｃｅ（ＧＤＩ）命令等に従い、画像表示部１６５に表示させる画像のフレームデータを生成する。フレームデータ生成部１１５によって生成されたフレームデータはフレームバッファ１１６に格納される。フレームバッファ１１６に格納されたフレームデータは、ドライバー回路１６０により画像表示部１６５上に表示される。差分抽出部１１７はデータバッファを有し、フレームバッファ１１６に入力されたフレームデータ（先のフレームデータ）を取得し、次のフレームのフレームデータ（次のフレームデータ）がフレームバッファ１１６に入力されるまで保持する。差分抽出部１１７は、自身が保持する先のフレームデータと、フレームバッファ１１６に入力された次のフレームデータとの相違（差分）を抽出する。すなわち、一のフレームと、当該一のフレームの次に表示されるフレームとの間で表示内容に更新のあった部分に相当するデータを抽出する。差分抽出部１１７は、差分を抽出した後、自身が保持する先のフレームデータを、フレームバッファ１１６に保持された次のフレームデータで上書きする。通知音データ生成部１１８は、差分抽出部１１７にて抽出された差分に基づいて、画像内容にどのような変化が生じたのかを推定し、推定結果に応じた通知音を選択する。フレームデータの差分に基づいて画像内容の更新の種別を推定する方法の詳細については後述する。通知音データ生成部１１８は、選択した通知音に相当する通知音データ生成し、音データ合成部１２１へ送信する。

通話音信号受信部１１９はユーザが電話端末装置１００の通話機能を用いて他の電話端末装置との間で通話を行う際に、他の電話端末装置から受信した通話音の音信号を受信する。通話音信号デコード部１２０は、通話音信号受信部１１９が受信した通話音信号をデコードし、通話音データを生成する。通話音信号デコード部１２０が生成した通話音データは音データ合成部１２１へ送信される。

音データ合成部１２１は、入力される複数の音データの合成（ミキシング）を行う。例えば応答音データ生成部１１４から応答音データが入力され、かつ通話音信号デコード部１２０から通話音データが入力された場合には、これらの音データを音データ合成部１２１は合成する。また、例えば通話音信号デコード部１２０から通話音データが入力され、かつ通知音データ生成部１１８から通知音データが入力された場合には、これらの音データを音データ合成部１２１は合成する。合成された音データは、増幅回路１５０を介して音出力部１５５にて再生される。この場合ユーザは、通話音に加えて通知音を聞くことができ、通話機能を用いた通話中であっても、画像の更新の様子を認識することができる。

尚、図３に示す機能ブロックの全てが、プロセッサ１１０にて実現される必要はない。例えば、フレームバッファ１１６は、プロセッサ１１０の外部デバイスである揮発性メモリ１３０を用いて実現されてもよく、通話音信号受信部１１９及び通話音信号デコード部１２０は、通信モジュール１４０のベースバンド回路や、専用の音コーデック回路を用いて実現されてもよい。更に音データ合成部１２１は、増幅回路１５０を加算増幅回路として用いて、複数のアナログ音信号を合成することにより実現されてもよい。具体的には、応答音データ等の複数の音データをアナログ変換した電圧信号を各々、抵抗素子を介して並列に増幅回路１５０に入力させる。この場合、各々の抵抗素子の抵抗値を制御することにより、各音の音量を適宜調節することができる。

図４は、操作信号受信部１１２がユーザからの操作信号を受けた際にプロセッサ１１０によって実行される処理のフローチャートである。処理１０００にて処理が開始され、処理１００１において操作信号受信部１１２がユーザからの操作信号を受信する。処理１００２においてフレームデータ生成部１１５が、操作信号に応じて画像表示部１６５に表示させる画像のフレームデータを生成する。処理１００３においてフレームバッファ１１６が、生成されたフレームデータを格納する。処理１００４においてフレームバッファ１１６が、格納されているフレームデータをドライバー回路１６０へ送信する。

また、処理１００１において操作信号受信部１１２が操作信号を受信した後、処理１００５において応答音データ生成部１１４が、応答音データを生成する。処理１００６において音データ合成部１２１は、生成された応答音データを増幅回路１５０へ送信する。処理１００４及び処理１００６の後、処理１００７で処理が終了する。図４では、ユーザからの操作信号を受信したプロセッサ１１０がフレームデータに加えて応答音データも生成する場合を想定して説明した。しかし、プロセッサ１１０がフレームデータだけを生成し、応答音データを生成しない場合は、処理１００５及び処理１００６の実行は省略される。

図５は、検出信号受信部１１１が、近接センサ１７０等の通話状態検出手段から検出信号を受信した場合に、プロセッサ１１０によって実行される処理のフローチャートである。処理１１００にて処理が開始され、処理１１０１において検出信号受信部１１１が検出信号を受信する。処理１１０２において差分抽出部１１７が、フレームバッファ１１６に格納されている少なくとも２枚のフレームに対応するフレームデータに基づき、フレームデータ間の差分を抽出する。処理１１０３において通知音データ生成部１１８が、差分抽出部１１７が抽出したフレームデータ間の差分に基づいて、画像の更新の種別を推定する。画像の更新の種別の例としては、メールを受信した旨の通知表示がポップアップで画像表示部１６５に表示されることや、動画が再生されることにより連続的に画像が更新されることなどが挙げられる。

処理１１０４において通知音データ生成部１１８が、推定された画像の更新の種別に基づいて通知音を選択し、選択された通知音に対応する通知音データを生成する。処理１１０５において音データ合成部１２１が、応答音データ生成部１１４で生成された応答音データや通話音信号デコード部１２０で生成された通話音データに、通知音データ生成部１１８で生成された通知音データを合成する。処理１１０６において音データ合成部１２１は、合成された音データを増幅回路１５０へ送信する。応答音データや通話音データが生成されない場合は、音データ合成部１２１は通知音データのみを増幅回路１５０へ送信する。また、処理１１０１の後、処理１１０７において制御部１１３は、画像表示部１６５をオフにする。これにより、ユーザが電話端末装置１００を用いて通話を行っている期間、画像表示部１６５の表示に要する電力を削減することができる。画像表示部１６５をオフにする方法としては、画像表示部１６５への電力供給を停止する方法や、画像表示部１６５が液晶画面である場合は、バックライトの照度を低下もしくは消灯する方法が挙げられる。また、画像表示部１６５をオフにすることに加え、ドライバー回路１６０の処理を停止させてもよい。尚、処理１１０７は、本実施例を行ううえで必須の処理ではなく、電話端末装置１００の電力管理の手段の一つとして適宜実施するものである。但し、画像表示部１６５やドライバー回路１６０の電源をオフにする場合であっても、画像データに関する処理、例えばフレームデータの生成、フレームデータ間の差分抽出の処理は継続して実行する。これらの処理により、画像の更新が生じたことを通知音データ生成部１１８が認識でき、ユーザに通知することが可能となるからである。

また、音データ合成部１２１が行う複数の音データの合成は、それぞれの音が重なって同時に再生されるように行われてもよく、又は、それぞれの音が交互に再生されるよう時分割方式で行われてもよい。また、音データ合成部１２１は、各音データの音量が適切なものとなるよう、各データに音量の重み付けを行ってもよい。例えば、通話音を聞こえ易くするように、通話音の音量に比べて応答音もしくは通知音の音量が小さくなるように制御してもよい。

図６は、フレームバッファ１１６に格納されたフレームデータに基づいて、画像の更新の種別を選定するための方法を説明する図である。差分抽出部１１７によるフレーム間の差分データの抽出は、フレームをメッシュ状に配置される複数の単位領域に分割したマップを用いて行われる。図６（ａ）は、フレームをメッシュ状に配置された複数の単位領域に分割した様子を示している。フレームは例えば１６行及び１６列の単位領域に分割されるが、ここではその一部の６行及び９列の単位領域群を示す。各単位領域は複数の画素（ピクセル）を含むものである。一つの単位領域は例えば８行及び８列の画素を含む。図中の１ａは単位領域を示し、１ｂは画素を示し、１ｃは更新矩形領域を示す。図６（ａ）において、ハッチングされた複数の矩形領域は、連続して表示される二つのフレーム間で表示内容が相違する領域を示している。本明細書ではこの矩形領域を更新矩形領域と呼ぶ。尚、表示内容が更新された領域が矩形形状であることは本実施例の本質ではなく、表示内容の更新領域が矩形以外の形状を有していてもよい。

差分抽出部１１７は、単位領域毎に、何個の更新矩形領域と重なりを有しているかをカウントする。図６（ｂ）は、図６（ａ）に示された例において、単位領域毎のカウント数を示したものである。何れの更新矩形領域とも重なりを有していない単位領域については、カウント数は「０」となる。また複数の、例えば２つの更新矩形領域と重なる単位領域については、カウント数は「２」となる。

次に、単位領域毎に更新矩形領域との重なりの数をカウントする動作を一定期間、例えば１秒間実行し、その間にフレーム更新が複数回行われた場合は、カウントされた数を累積加算する。１秒間に３０フレームが表示される場合は、３０回分のカウント結果が累積加算される。図６（ｃ）は、一定期間に累積加算された、単位領域毎のカウント数を例示するものである。

次に、図６（ｃ）に示した結果に基づいて、通知音データ生成部１１８が行う画像の更新の種別の推定方法について説明する。図７は、単位領域毎の累積カウント数と、累積カウント数が所定値以上となった単位領域数と、種別の推定内容と、通知音の種類との関係を例示する表である。この表の第１欄に示した例では、累積カウント数が「３以上」という条件に合致する単位領域数が「２５以上、５０以下」である場合には、画像の更新の種別は、例えばメール受信に基づいて画像表示部１６５上にポップアップで表示されたメール受信通知メッセージであると判定する。これは、フレームデータのうち、データ内容が更新された範囲が一定の領域に限られているという判断に基づくものである。図６（ｃ）に示した例では、累積カウント数が「３」以上を示す単位領域は２８個存在するため、上述の条件に合致する。そして、通知音としては、「ピン」という機械音が選択される。

また、図７の第２欄に示した例では、累積カウント数が「１０以上」という条件に合致する単位領域数が「２００以上」である場合には、画像の更新の種別は、例えば動画再生に基づく連続的なフレームの更新であると判定する。これは、フレームデータのうち、データ内容が更新される範囲が比較的広く、また更新回数も比較的多いという判断に基づくものである。この場合は、通知音として「カラカラ」という映写機が回る様子を描写した機械音が選択される。図７に示す通知音はいずれも一例であり、他の音であってもよい。

このように、累積カウント数と単位領域数との関係を用いて推定種別を予め定めておくことにより、差分抽出部１１７で取得された差分に関するデータに基づいて画像の更新種別を推定することができる。

図８は、フレームデータ間の差分抽出及び通知音データの生成に関する処理のフローチャートである。処理１２００にて処理が開始され、処理１２０１においてフレームバッファ１１６が、新たなフレームデータを受信する。処理１２０２において差分抽出部１１７が、前回に受信したフレームデータと新たに受信したフレームデータとの差分を抽出し、更新矩形領域があるか否かを判定する。処理１２０２において更新矩形領域がないと判定された場合は処理１２０１へ戻り、次に新しいフレームデータがフレームバッファ１１６に格納されるまで処理を待つ。処理１２０２において更新矩形領域があると判定された場合は処理１２０３へ進む。処理１２０３において差分抽出部１１７が、更新矩形領域と重なりを有する単位領域について、重なりを有する更新矩形領域の数をカウントし、加算する。処理１２０４において差分抽出部１１７が、所定時間として例えば１秒が経過したか否かを判定する。処理１２０４において所定時間が経過していないと判定された場合は処理１２０１へ戻り、所定時間が経過するまで、処理１２０１、処理１２０２及び処理１２０３を繰り返す。この所定時間は、画像の更新の種別を推定する精度を考慮して適切に設定される。例えば所定時間が短い場合は、推定のために使用するデータ蓄積量が少ないため、適切に更新の種別を判定することができない場合がある。また所定時間が長い場合は、所定期間内に複数の異なる種別の画像更新が発生し、適切な通知音を選定することができない場合がある。従って、画像の更新の種別を推定する精度を考慮して、所定時間は、例えば「３０フレーム分のデータを取得する時間」や「１秒」等として設定される。

処理１２０４において所定時間が経過したと判定された場合は、処理１２０５へ進む。処理１２０５において通知音データ生成部１１８が、差分抽出部１１７のカウント結果に基づき、画像の更新の種別を推定する。具体的には、図７に示すような判定テーブルを例えば揮発性メモリ１３０に格納しておき、処理１２０３で得られたカウント結果に基づき判定テーブルを参照することにより、更新の種別を特定する。処理１２０６において差分抽出部１１７が、推定した更新の種別に対応する通知音を選定する。処理１２０７において通知音データ生成部１１８が、選定された通知音に対応する通知音データを生成して音データ合成部１２１へ送信し、処理１２０８において処理が終了する。

このように、第１実施例では、電話端末装置１００のユーザが電話端末装置１００の通話機能を使用し、電話端末装置１００を耳の近傍に保持している場合には、画像表示部１６５に表示される画像内容の更新に基づき、更新の種別に応じた通知音が電話端末装置１００の音出力部１５５から再生される。これにより、画像表示部１６５を目視することができないユーザが、画像表示部１６５に表示される画像の更新を音により認識することができる。この通知音によって画像内容が更新されたことを認識したユーザは、一度電話端末装置１００を耳から離して画像表示部１６５の表示内容を目視にて確認することができるようになり、電話端末装置１００の利便性を向上させることができる。また本実施例に開示された技術は、ユーザが電話端末装置１００の通話機能を利用するケース以外においても効果を奏する。例えば音出力部１５５から再生される音楽や、通話音以外の音、例えば応答音を聞くために、ユーザが電話端末装置１００を耳の付近に保持した場合にも、画像表示部１６５に表示される画像の更新が音によりユーザに通知される。

ここで、通知音の種類について追記する。通知音は、機械音でも人語の音声であってもよい。例えば、メール受信を通知する表示がポップアップされた場合には、「ピン」という機械音を通知音としてもよく、「メールが受信されました」という音声を通知音としてもよい。また、例えば動画が再生される場合の通知音として、映写機が回る「カラカラカラ」という機械音を通知音としてもよく、「動画再生中です」という音声を通知音としてもよい。

尚、画像が更新されたことを認識する方法として、フレームバッファ１１６に格納されたフレームデータの差分を抽出する方法を例として示したが、他の方法を用いて画像の更新を認識してもよい。例えば、画像表示部１６５に表示させるテキストデータなどのコンテンツの差分を抽出することにより、画像表示部１６５に表示される画像が更新されることを推定する方法を用いてもよい。

＜第２実施例＞
第２実施例では、電話端末装置１００と、電話端末装置１００からの操作信号を受けて所定の画像データや音データを電話端末装置１００へ送信するサーバを含むシンクラインントシステムを例とし、電話端末装置１００のユーザに、画像の更新の種別を通知する手法について説明する。図９に示すように、電話端末装置１００は、ネットワーク５００を介してサーバ等の情報処理装置３００に接続されている。ネットワーク５００は、有線または無線を問わず、インターネット、ＬｏｃａｌＡｒｅａＮｅｔｗｏｒｋ（ＬＡＮ）やＶｉｒｔｕａｌＰｒｉｖａｔｅＮｅｔｗｏｒｋ（ＶＰＮ）などの任意の種類の通信網を採用できる。

情報処理装置３００は、電話端末装置１００からのアクセスに応じ、電話端末装置１００に表示させる画像データをリモート制御するサービスを提供する機能を有する。シンクライアントシステムでは、電話端末装置１００に対してユーザからの操作入力がなされると、当該操作入力がネットワーク５００を介して情報処理装置３００へ送信される。そしてユーザの操作入力に従い、情報処理装置３００が実際のデータ処理を実行し、処理結果や情報処理装置３００が保持するデータを、ネットワーク５００を介して電話端末装置１００へ送信する。電話端末装置１００は、情報処理装置３００から送信された処理結果やデータを画像表示部１６５に表示させる。これによりユーザは、あたかも電話端末装置１００が主体となってデータ処理を実行したり、データを保持したりしているかのように、電話端末装置１００を使用することができる。一例として、シンクライアントシステムは、情報処理装置３００で資料作成やメールなどの業務に関するアプリを実行し、そのアプリの処理結果を電話端末装置１００に表示させることができる。

第２実施例では、シンクライアントシステムにおいて、情報処理装置３００から配信された画像データが電話端末装置１００にて表示させている状態で、ユーザが通話機能を使用した場合に画像内容が更新されたことを音でユーザに通知するための技術を開示する。例えばｅラーニングシステムにおいて情報処理装置３００から所定の教育資料の画像データが電話端末装置１００に配信されている状態で、ｅラーニングを実施中のユーザが通話機能を使用して通話を行った場合を想定する。この場合、ｅラーニングシステム上で提供される教育資料のページが更新されると、ページが更新されたことを通知する音が、電話端末装置１００の音出力部から出力される。

図１０は、情報処理装置３００のハードウェア構成図である。情報処理装置３００は、プロセッサ３１０、揮発性メモリ３３０、不揮発性メモリ３３５、通信モジュール３４０、及びバス３９０を有する。プロセッサ３１０は、情報処理装置３００全体の制御や、ネットワーク５００を介して電話端末装置１００から受け付けた操作信号に基づく画像データの作成処理や音データの作成処理を行う。プロセッサ３１０は、ＣＰＵ、ＭＰＵ、ＤＳＰ、ＦＰＧＡ等の電子回路部品である。揮発性メモリ３３０は、プロセッサ３１０が処理を行うために必要なデータを格納する。また揮発性メモリ３３０を、プロセッサ３１０が作成した表示データを格納するフレームバッファとして用いてもよい。揮発性メモリ３３０は、ＤＲＡＭ、ＳＲＡＭ等の電子回路部品である。不揮発性メモリ３３５は、プロセッサ３１０が実行するコンピュータプログラム等を格納する。不揮発性メモリ３３５は、ＨａｒｄＤｉｓｃＤｒｉｖｅ（ＨＤＤ）やマスクＲＯＭ、ＰＲＯＭ、フラッシュメモリ等の電子回路部品である。通信モジュール３４０は、情報処理装置３００と電話端末装置１００との間でのデータ通信を制御する。通信モジュールは例えばＮｅｔｗｏｒｋＩｎｔｅｒｆａｃｅＣａｒｄ（ＮＩＣ）である。バス３９０は、プロセッサ３１０、揮発性メモリ３３０、不揮発性メモリ３３５、通信モジュール３４０を互いに接続し、相互にデータの送受信を行うための通信経路として機能する。

図１１は、第２実施例における電話端末装置１００の有するプロセッサ１１０の機能ブロック図である。プロセッサ１１０は、不揮発性メモリ１３５等に格納された所定のコンピュータプログラムを実行することにより、図１１に示す各機能を実現する。図３にて説明した機能ブロックと同内容の機能ブロックについては、同一の参照符号を付し、説明を適宜省略する。プロセッサ１１０は、検出信号受信部１１１、操作信号受信部１１２、フレームバッファ１１６、通話音信号受信部１１９、通話音信号デコード部１２０、音データ合成部１２１、配信音信号デコード部１２２及びフレーム信号デコード部１２３として機能する。検出信号受信部１１１は、近接センサ１７０からの検出信号を受信する。本実施例では、検出信号受信部１１１にて受信された検出信号は、通信モジュール１４０を介して情報処理装置３００に対して転送される。操作信号受信部１１２は、ユーザが電話端末装置１００に対して入力した操作信号を受信する。本実施例では、操作信号受信部１１２にて受信された操作信号は、通信モジュール１４０を介して情報処理装置３００に対して転送される。シンクライアントシステムでは、実際のデータ処理の少なくとも一部が情報処理装置３００にて処理されるためである。

配信音信号デコード部１２２は、操作信号受信部１１２から転送された操作信号に対して情報処理装置３００から配信された音データを、通信モジュール１４０を介して受信し、デコードする。情報処理装置３００から電話端末装置１００へ配信される音データは、後述するように、電話端末装置１００から送信される操作信号に応じて生成された応答音データと、画像内容の更新の種別に応じて生成された通知音データとを合成した音データである。本明細書では、情報処理装置３００から電話端末装置１００へ送信された音データを「配信音データ」と呼ぶ。フレーム信号デコード部１２３は、情報処理装置３００から配信された画像信号を、通信モジュール１４０を介して受信し、デコードする。デコードされた画像データは、フレームバッファ１１６へ格納され、画像表示部１６５に表示される。

図１２は、情報処理装置３００のプロセッサ３１０の機能ブロック図である。プロセッサ３１０は、不揮発性メモリ３３５等に格納された所定のコンピュータプログラムを実行することにより、図１２に示す各機能を実現する。プロセッサ３１０は、検出信号受信部３１１、操作信号受信部３１２、制御部３１３、応答音データ生成部３１４、フレームデータ生成部３１５、フレームバッファ３１６、差分抽出部３１７、通知音データ生成部３１８、音データ合成部３２１、画像データ圧縮部３２４及び情報付加部３２５として機能する。検出信号受信部３１１は、電話端末装置１００の検出信号受信部１１１から転送された、近接センサ１７０が対象物を検出した旨を通知する検出信号を、ネットワーク５００を経由して受信する。操作信号受信部３１２は、電話端末装置１００の操作信号受信部３１２から転送された、電話端末装置１００に入力された操作信号を、ネットワーク５００を経由して受信する。

制御部３１３は、操作信号受信部３１２が受信した操作信号に基づき、後述の応答音データ生成部３１４やフレームデータ生成部３１５を制御し、操作信号に対する応答として電話端末装置１００に表示又は再生させる画像データや音データ等を生成する。また制御部３１３は検出信号の受信に基づき、電話端末装置１００がユーザの耳の近くに保持されていると判断し、後述の差分抽出部３１７や通知音データ生成部３１８の制御を行う。応答音データ生成部３１４は、制御部３１３からの指示に従い、電話端末装置１００への音応答データ、例えばＰｕｌｓｅＣｏｄｅＭｏｄｕｌａｔｉｏｎ（ＰＣＭ）形式の音データを生成し、音データ合成部３２１へ送信する。

フレームデータ生成部３１５は、制御部３１３からの指示に従い、電話端末装置１００に表示させる画像のフレームデータを生成する。フレームデータ生成部３１５によって生成されたフレームデータはフレームバッファ３１６に格納される。差分抽出部３１７はデータバッファを有し、フレームバッファ３１６に入力されたフレームデータ（先のフレームデータ）を取得し、次のフレームのフレームデータ（次のフレームデータ）がフレームバッファ３１６に入力されるまで保持する。差分抽出部３１７は、自身が保持する先のフレームデータと、フレームバッファ３１６に入力された次のフレームデータとの相違（差分）を抽出する。すなわち、一のフレームと、当該一のフレームの次に表示されるフレームとの間で表示内容に更新のあった部分に相当するデータを抽出する。通知音データ生成部３１８は差分抽出部３１７にて抽出された差分に基づいて、画像内容の更新の種別を推定し、推定結果に応じた通知音を選択する。通知音データ生成部３１８は、選択した通知音に相当する通知音データを音データ合成部３２１へ送信する。音データ合成部３２１は、応答音データ生成部３１４が生成した応答音データと、通知音データ生成部３１８が生成した通知音データを合成し、電話端末装置１００へ送信するための配信音データを、例えばＭＰ３（ＭＰＥＧ−１ＡｕｄｉｏＬａｙｅｒ−３）やＯｇｇＶｏｒｂｉｓ（登録商標）等の方式により圧縮して生成する。

画像データ圧縮部３２４は、差分抽出部３１７によって抽出された差分データを、例えばＪｏｉｎｔＰｈｏｔｏｇｒａｐｈｉｃＥｘｐｅｒｔｓＧｒｏｕｐ（ＪＰＥＧ）やＰｏｒｔａｂｌｅＮｅｔｗｏｒｋＧｒａｆｉｃ（ＰＮＧ）等の画像圧縮コードを用いて圧縮し、電話端末装置１００へ送信する圧縮画像データを作成する。情報付加部３２５は、例えばフレーム番号等の、デコードに必要な付加情報を生成し、画像データ圧縮部３２４が作成した圧縮画像データにヘッダ等として付加し、送信パケットを生成する。また情報付加部３２５は、音データ合成部３２１が生成した配信音データに対しても、必要な付加情報を付加し、送信パケットを生成する。尚、図１２に示す機能ブロックの全てをプロセッサ３１０で実現する必要はない。例えば、フレームバッファ３１６を、プロセッサ３１０の外部デバイスである揮発性メモリ３３０を用いて実現してもよい。

図１３は、情報処理装置３００が電話端末装置１００から操作信号を受信した際の、プロセッサ３１０の処理フローチャートである。処理１３００にて処理が開始され、処理１３０１において操作信号受信部３１２が、操作信号をネットワーク５００経由で電話端末装置１００から受信する。処理１３０２においてフレームデータ生成部３１５が、操作信号の内容に応じて、電話端末装置１００の画像表示部１６５に表示させるフレームデータを生成する。処理１３０３においてフレームバッファ３１６が、生成されたフレームデータを格納する。処理１３０４において差分抽出部３１７が、フレームバッファ３１６に格納されたフレームデータから、前回のフレームデータの内容と相違する部分のデータを抽出する。処理１３０５において画像データ圧縮部３２４が、抽出された相違する部分のデータを圧縮して圧縮画像データを生成する。このように、前回のフレームデータの内容と相違する部分のデータを抽出して圧縮することにより、情報処理装置３００から電話端末装置１００へ送信するデータ量を削減することができる。処理１３０６において情報付加部３２５が、生成された圧縮画像データに、電話端末装置１００へのデータ送信及び電話端末装置１００における画像データの再生に必要な付加情報を、例えば送信パケットのヘッダとして付加する。処理１３０７において情報付加部３２５が、生成された圧縮画像データを通信モジュール３４０へ送信し、処理１３０９において処理が終了する。その後、通信モジュール３４０が、生成された圧縮画像データを、ネットワーク５００を介して電話端末装置１００へ送信する。

また、操作信号に基づいて生成され、電話端末装置１００へ送信されるデータが、画像データ以外に音データもある場合は、処理１３０１の後、処理１３０８において応答音データ生成部３１４が、応答音データを生成する。処理１３０８で生成された応答音データに対しても、処理１３０６において情報付加部３２５が、電話端末装置１００へのデータ送信及び電話端末装置１００における応答音データの再生に必要な付加情報を、例えば送信パケットのヘッダとして付加する。

図１４は、電話端末装置１００から送信された検出信号を情報処理装置３００が受信した際の、プロセッサ３１０が行う処理フローチャートである。処理１４００において処理が開示され、処理１４０１において検出信号受信部３１１が、電話端末装置１００から送信された検出信号を受信する。これによりプロセッサ３１０は、ユーザが電話端末装置１００の通話機能を使用中であると認識する。処理１４０２において差分抽出部３１７が、フレームバッファ３１６に格納されているフレームデータと、差分抽出部３１７が保持するフレームデータの差分を抽出する。処理１４０３において通知音データ生成部３１８が、差分抽出部３１７が抽出したフレームデータの差分に基づき、画像内容の更新の種別を推定する。処理１４０４において通知音データ生成部３１８が、推定された画像内容の更新の種別に応じて、更新の種別をユーザに通知するための通知音を選定し、通知音データを生成する。処理１４０５において音データ合成部３２１が、応答音データ生成部３１４にて生成された応答音データと、通知音データ生成部３１８にて生成された通知音データを合成（ミキシング）し、配信音データを生成する。処理１４０６において情報付加部３２５が、生成された配信音データに、電話端末装置１００への送信や電話端末装置１００での再生に必要な付加情報を付加して送信パケットを生成する。処理１４０７において通信モジュール３４０が、生成された送信パケットを、ネットワーク５００を介して電話端末装置１００へ送信し、処理１４０９にて処理が終了する。

尚、処理１４０８において制御部３１３が、画像データ圧縮部３２４の処理を停止させることにより、圧縮画像データの生成を停止させてもよい。検出信号が電話端末装置１００から送信されている状態においては、ユーザは画像表示部１６５を見ることができない状態であると考えられる。そのため、画像データの圧縮処理を停止し、画像データの送信を行わないようにすることで、通信モジュール３４０の送信負荷及びネットワーク５００の通信負荷を軽減することができる。また、電話端末装置１００においても表示に関する処理を停止させることで、電話端末装置１００の消費電力を削減することもできる。

また、検出信号が電話端末装置１００から送信されている状態において、情報処理装置３００から電話端末装置１００への圧縮画像データの送信頻度を低下させる処理を行うことにより、通信モジュール３４０の送信負荷及びネットワーク５００の通信負荷を軽減することができる。この場合、検出信号受信部３１１が検出信号を受信したことに基づき制御部３１３は、通信モジュール３４０に対して、例えば通常時の毎秒３０回の圧縮画像データの送信頻度を毎秒５回に低下させる制御を行う。１秒間に３０フレームの更新が行われる場合に送信頻度を毎秒５回とすると、１回の送信で６フレーム分の差分データを圧縮して送信する。

尚、第２実施例におけるフレームデータ間の差分抽出及び通知音データの生成に関する処理のフローチャートは、図８に示した内容と同一であり、ここでは図示及び説明を省略する。但し、各処理の処理主体に関しては、図８の説明において「フレームバッファ１１６」を「フレームバッファ３１６」と、「差分抽出部１１７」を「差分抽出部３１７」と、「通知音データ生成部１１８」を「通知音データ生成部３１８」とそれぞれ読み替えるものとする。

このように第２実施例においては、シンクライアントシステムを利用した情報処理を例として説明した。第２実施例も第１実施例と同様に、ユーザが電話端末装置１００の通話機能を使用している状態においては、画像内容が更新されたことを音でユーザに通知することにより、画像表示部１６５を見ることができないユーザの利便性を向上させることができる。

＜第３実施例＞
次に、複数のユーザがシンクライアントシステムを利用したコラボレーション作業を行うシーンを想定した実施例を説明する。図１５は、ネットワーク５００を介して電話端末装置１００と端末装置２００が情報処理装置３００に接続されるシンクライアントシステムを示す。端末装置２００には、電話端末装置１００と同様に、スマートフォン等の電話端末装置や、その他の携帯電話端末装置、タブレット型ＰＣ、ＰＤＡ等が適用可能である。尚、本実施例において端末装置２００は、通話機能を有することは必須ではない。

図１５において、電話端末装置１００及び端末装置２００は、ネットワーク５００を介して情報処理装置３００の共通のソースにアクセスしているものとする。また電話端末装置１００と端末装置２００は、情報処理装置３００から提供される共通の画像データをそれぞれの画像表示部に表示させているものとする。また電話端末装置１００のユーザと端末装置２００のユーザはそれぞれ情報処理装置３００の共通のソースに対して、データやコメント等の入力を行うことができるものとする。このようなシーンにおいて、電話端末装置１００のユーザが、情報処理装置３００の共通のソースの内容について、端末装置２００のユーザと音通話で質問や議論を行うために、電話端末装置１００の通話機能を使用したとする。そして端末装置２００のユーザが、電話端末装置１００のユーザとの通話中に、電話端末装置１００からのコメントに関して共通ソースに何等かの情報入力を行うために、端末装置２００のキーボードやマウスを用いて入力を行ったとする。この場合、端末装置２００のユーザの入力に応じて情報処理装置３００の共通ソースの表示内容が更新される。しかし電話端末装置１００のユーザは、電話端末装置１００を通話手段として用いており、電話端末装置１００の画像表示部１６５を見ることができない。そのため、端末装置２００のユーザからどのような情報が共通ソースに書込まれたのか、もしくはその情報によって情報処理装置３００の共通ソースの表示がどのように更新されたのかを、認識することができない。

本実施例では、情報処理装置３００を介して電話端末装置１００のユーザと端末装置２００のユーザがコラボレーション作業を行う際、相手の入力状況（端末装置の操作状況）の認識を可能とし、コラボレーション作業をよりスムーズに行うためのものである。本実施例では、端末装置２００においてキーボードやマウスの入力操作が行われた際に、操作信号を情報処理装置３００へ通知する。操作信号には、端末装置２００のユーザが、どのような入力操作を行ったかを示す操作情報が含まれる。操作情報には、例えば、キーボード入力、マウス移動、マウスホイール、マウスドラッグ等が含まれる。情報処理装置３００は受信した操作情報と、第２実施例で説明したフレームデータの差分とに基づき、通知音を選択する。例えば、キーボード操作により端末装置２００のユーザから入力があり、表示が更新された場合には、例えばキーボードを押す「カチカチ」という音が通知音として選択され、電話端末装置１００に送信される。これにより、電話端末装置１００のユーザは、コラボレーション作業の相手が、キーボード操作により共通ソースに何等かの情報入力を行っていることを音により認識することができる。よって電話端末装置１００のユーザは、必要に応じてディスプレイを目視で確認し、より効率的にコラボレーション作業を遂行することができる。本実施例では、情報処理装置３００の操作信号受信部３１２は、端末装置２００から受信した操作信号を記録し、一定期間保持する。そして通知音データ生成部３１８は、通知音を選択する際、差分抽出部３１７によって抽出されたフレームデータ間の差分のみならず、端末装置２００から受信した操作情報を参照して、適切な通知音を選定する。

図１６は、端末装置２００のハードウェア構成図である。端末装置２００は、電話端末装置１００と同様の構成を有する電話端末装置であってもよいが、端末装置２００自体が通話機能を有することは必須でなく、それ故、通話検出手段も必須ではない。よって本実施例では、端末装置２００がＰＣである場合を例として説明する。端末装置２００はプロセッサ２１０、揮発性メモリ２３０、不揮発性メモリ２３５、通信モジュール２４０、ドライバー回路２６０、画像表示部２６５、操作入力装置２７５、バス２９０を有する。
プロセッサ２１０は、端末装置２００全体の制御や、画像データや音データに関する処理等を行う。プロセッサ２１０は、ＣＰＵ、ＭＰＵ、ＤＳＰ、ＦＰＧＡ等の電子回路部品である。揮発性メモリ２３０は、プロセッサ２１０が処理を行うために必要なデータ等を格納する。揮発性メモリ２３０は、ＤＲＡＭ、ＳＲＡＭ等の電子回路部品である。不揮発性メモリ２３５は、プロセッサ２１０が実行するプログラム等を格納する。不揮発性メモリ２３５は、マスクＲＯＭ、ＰＲＯＭ、フラッシュメモリ等の電子回路部品である。通信モジュール２４０は、電話端末装置１００や情報処理装置３００との間でデータ通信を行う。ドライバー回路２６０は、揮発性メモリ２３０等に格納されたフレームデータを画像表示部２６５へ出力するドライバー回路である。画像表示部２６５はドライバー回路２６０から受けたフレームデータを表示するディスプレイである。バス２９０はプロセッサ２１０や揮発性メモリ２３０等の回路を接続し、互いのデータ送信の経路として機能する。操作入力装置２７５は、キーボードやマウス等の入力装置である。

端末装置２００のユーザがキーボードやマウス等の操作入力装置２７５を用いて入力を行った場合、当該入力はネットワーク５００を介して情報処理装置３００に操作信号として送信される。操作信号は操作信号受信部３１２にて受信される。操作信号受信部３１２は、操作信号に含まれる操作情報を記録し、一定期間保持する。通知音データ生成部３１８は、フレームバッファ３１６に格納されているフレームデータ間の差分の抽出に加え、操作信号受信部３１２に記録されている操作情報に基づき、通知音を選定する。

図１７は、通知音データ生成部３１８が通知音を選択する際に用いる条件の例を示すものである。例えば第１欄は、所定期間内の累積カウント数が２以上となる単位領域数が２００以上あり、かつ、記録されている操作情報がマウスドラッグ操作又はマウスホイール操作を示す場合は、画像内容の更新が、ブラウズ操作によるものであると判定する。そして、ブラウズ操作に相当する通知音が選択される。また第２欄は、所定期間内の累積カウント数が１以上となる単位領域数が１以上３以下であり、かつ、操作情報がキーボード操作を示す場合は、画像内容の更新が、テキストの更新であると判定する。そして、テキストの更新に相当する通知音が選択される。

尚、第３実施例におけるフレームデータ間の差分抽出及び通知音データの生成に関する処理のフローチャートは、図８に示した内容と同一であり、ここでは図示及び説明を省略する。但し、各処理の処理主体に関しては、図８の説明において「フレームバッファ１１６」を「フレームバッファ３１６」と、「差分抽出部１１７」を「差分抽出部３１７」と、「通知音データ生成部１１８」を「通知音データ生成部３１８」とそれぞれ読み替えるものとする。更に処理１２０５については、通知音データ生成部３１８が、差分抽出部３１７のカウント結果及び操作信号受信部３１２に記録された操作情報に基づいて、画像の更新の種別を推定する、と図８の説明を読み替えるものとする。

このように第３実施例では、シンクライアントシステムを利用した複数ユーザによるポラボレーション作業において、電話端末装置１００を耳に当てている状態のユーザに対して、フレームデータの更新及び相手ユーザの入力操作に関する情報に基づいて選択された通知音を通知する。これにより、コラボレーション作業をよりスムーズに行うことができる。

以上、第１実施例乃至第３実施例を説明したが、本発明は第１実施例乃至第３実施例にて開示した適用例に限定されるものではない。例えば、画像の更新をユーザに通知する手段として、更新種別に対応する音を、電話端末装置１００の音出力部１５５から出力させる例を示したが、通知する手段として他の代替手段もしくは追加手段も考えられる。例えば電話端末装置１００の有するバイブレーション機能を利用し、画像が更新された際に、バイブレーション動作を実行させることにより、画像の更新をユーザに通知してもよい。この際、電話端末装置１００が震動する時間を適宜選択したり、電話端末装置１００を間欠的に振動させる場合にはその間隔等を適宜選択することにより、画像の更新種別をユーザに区別させることが可能となる。

また、シンクライアントシステムを用いたコラボレーション作業において、他の端末装置から入力された操作情報がキーボードによるテキストデータである場合は、画像の更新種別を通知する音に加え、もしくは通知する音に代えて、入力されたテキストデータを音に変換して、電話端末装置１００の音出力部１５５から出力させてもよい。これにより、電話端末装置１００のユーザに、コラボレーション作業の相手である端末装置２００のユーザの入力を、より詳細に正確に認識することが可能となり、コラボレーション作業を効率的に進めることができる。テキストデータの音への変換としては、例えば電話端末装置１００に音変換アプリをダウンロードし、検出信号受信部１１１が検出信号を受信したことに基づき、プロセッサ１１０が音変換アプリを実行することで、入力されたテキストデータを音に変換する方法が適用可能である。

開示の実施例に基づき、更に以下の付記を開示する。
（付記１）
画像表示部と音出力部を有する電話端末装置であって、前記電話端末装置が通話に用いられていることを検出する検出部を有し、前記電話端末装置が通話に用いられていることが前記検出部によって検出されている状態において、前記画像表示部に入力される画像が更新されたことに応じて、前記音出力部が前記画像の更新を通知する音を出力することを特徴とする電話端末装置。
（付記２）
前記画像のフレームデータを格納するフレームバッファを有し、前記フレームバッファに格納された前記フレームデータの更新内容に基づき、前記音を決定することを特徴とする付記１に記載の電話端末装置。
（付記３）
前記画像のフレームに含まれる複数の単位領域のうち、前記フレームデータが更新された領域を含む単位領域数と、前記複数の単位領域の各々において所定期間に前記フレームデータが更新された回数とに基づいて、前記画像の更新種別を推定し、推定された前記更新種別に応じて、前記音を決定することを特徴とする付記１又は２に記載の電話端末装置。
（付記４）
前記電話端末装置が通話に用いられていることが前記検出部によって検出されている期間の少なくとも一部において、前記フレームバッファに格納された前記フレームデータの、前記画像表示部への表示を停止することを特徴とする付記１乃至３何れか一つに記載の電話端末装置。
（付記５）
前記検出部は近接センサであることを特徴とする付記１乃至４何れか一つに記載の電話端末装置。
（付記６）
前記音出力部は、前記音に通話音を重畳させて出力することを特徴とする付記１乃至５何れか一つに記載の電話端末装置。
（付記７）
画像表示部と、音出力部と、検出部とを有する電話端末装置を用いた情報処理方法において、前記検出部が、前記電話端末装置が通話に使用されていることを検出する工程と、前記電話端末装置が通話に使用されていることが前記検出部によって検出されている状態において、前記画像表示部に入力される画像が更新された場合に、前記音出力部に前記画像の更新を通知する音を出力させる工程とを有することを特徴とする情報処理方法。
（付記８）
前記電話端末装置は、前記画像のフレームデータを格納するフレームバッファを有し、前記音出力部に前記音を出力させる工程は、前記フレームバッファに格納された前記フレームデータの更新内容に基づき、前記音を決定する工程を含むことを特徴とする付記７に記載の情報処理方法。
（付記９）
前記音出力部に前記音を出力させる工程は、フレームに含まれる複数の単位領域のうち、前記フレームデータが変更された領域を含む単位領域数と、前記複数の単位領域の各々において所定期間に前記フレームデータが更新された回数とに基づいて、前記画像の更新種別を推定する工程と、推定された前記更新種別に応じて、前記音を決定する工程とを含むことを特徴とする付記７又は８に記載の情報処理方法。
（付記１０）
前記検出部が、前記電話端末装置が通話に使用されていることを検出している期間の少なくとも一部において、前記フレームバッファに格納された前記フレームデータの前記画像表示部への表示を停止させる工程を更に有することを特徴とする付記７乃至９何れか一つに記載の情報処理方法。
（付記１１）
前記電話端末装置が情報処理装置へ操作信号を送信する工程と、前記情報処理装置が、前記操作信号に応じて前記フレームデータの前記電話端末装置への送信を実行する工程と、前記電話端末装置が通話に使用されていることが前記検出部によって検出された場合、前記電話端末装置から前記情報処理装置へ通知を送信する工程と、前記情報処理装置が、前記通知に基づき、前記音に対応する音データを前記電話端末装置へ送信する工程と、を更に有することを特徴とする付記７乃至１０何れか一つに記載の情報処理方法。
（付記１２）
前記情報処理装置が、前記通知に基づき、前記フレームデータの送信を停止する工程を更に有することを特徴とする付記１１に記載の情報処理方法。
（付記１３）
前記音を決定する工程において、前記フレームに含まれる複数の単位領域のうち前記データが更新された領域を含む単位領域数と、前記複数の単位領域の各々において所定期間に前記データが更新された回数と、他の端末装置から前記情報処理装置に入力された操作情報とに基づいて、前記画像の前記更新種別を判定し、判定された前記更新種別に応じて、前記音が決定されることを特徴とする付記１１又は１２に記載の情報処理方法。
（付記１４）
前記情報処理装置が、前記通知に基づき、前記フレームデータの送信の頻度を低下させる工程を更に有することを特徴とする付記１１乃至１３何れか一つに記載の情報処理方法。
（付記１５）
前記検出部は近接センサであることを特徴とする付記７乃至１４何れか一つに記載の情報処理方法。
（付記１６）
前記音出力部は、前記音に通話音を重畳させて出力することを特徴とする付記７乃至１５何れか一つに記載の情報処理方法。
（付記１７）
情報処理装置と、画像表示部と音出力部と検出部とを有する電話端末装置と、を有し、前記情報処理装置は、前記電話端末装置からの指示に応じて前記画像表示部に入力させる画像のフレームデータの前記端末装置への送信を実行し、前記電話端末装置は、前記フレームデータに基づいて前記画像を前記画像表示部に表示し、前記検出部が、前記電話端末装置が通話に使用されていることを検出した場合、前記電話端末装置から前記情報処理装置へ通知を送信し、前記情報処理装置は、前記通知に基づき、前記画像の更新に関する音データを前記電話端末装置へ送信し、前記電話端末装置は、前記音データに基づく音を、前記音出力部を用いて出力することを特徴とする情報処理システム。
（付記１８）
前記情報処理装置は、前記フレームデータを格納するフレームバッファを有し、前記フレームバッファに格納された前記フレームデータの更新に基づき、前記音を決定することを特徴とする付記１７に記載の情報処理システム。
（付記１９）
前記情報処理装置は、前記画像のフレームに含まれる複数の単位領域のうち、前記フレームデータが更新された領域を含む単位領域数と、前記複数の単位領域の各々において所定期間に前記フレームデータが更新された回数とに基づいて、前記フレームデータの更新種別を推定し、推定された前記更新種別に応じて、前記音を決定することを特徴とする付記１７又は１８に記載の情報処理システム。
（付記２０）
前記情報処理装置は、前記画像のフレームに含まれる複数の単位領域のうち、前記フレームデータが更新された領域を含む単位領域数と、前記複数の単位領域の各々において所定期間に前記フレームデータが更新された回数と、他の端末装置から前記情報処理装置へ入力された操作情報とに基づいて、前記更新種別を推定し、推定された前記更新種別に応じて、前記音を決定することを特徴とする付記１７又は１８に記載の情報処理システム。
（付記２１）
前記情報処理装置は、前記通知に基づき、前記フレームデータの送信を停止するか、もしくは前記フレームデータの送信の頻度を低下させることを特徴とする付記１７乃至２０何れか一つに記載の情報処理システム。
（付記２２）
前記検出部は近接センサであることを特徴とする付記１７乃至２１何れか一つに記載の情報処理システム。
（付記２３）
前記音出力部は、前記音に通話音を重畳させて出力することを特徴とする付記１７乃至２２何れか一つに記載の情報処理システム。
（付記２４）
筐体の第１の面に設けられ、画面を有する表示部と、
前記第１の面に近接する物体を検出するセンサと、
前記センサが前記物体を検出している間、前記画面の表示内容の変更を音で通知する出力部と
を有する電話端末装置。

１００、２１０、３１０電話端末装置
２００端末装置
３００情報処理装置
５００ネットワーク
１１０、２１０、３１０プロセッサ
１３０、２３０、３３０揮発性メモリ
１３５、２３５、３３５不揮発性メモリ
１４０、２４０、３４０通信モジュール
１５０増幅回路
１５５音出力部
１５６音入力部
１６０、２６０ドライバー回路
１６５、２６５画像表示部
１７０近接センサ
１７５、２７５操作入力装置
１８０バッテリ
１８５電源制御回路
１９０、２９０、３９０バス
１１１、３１１検出信号受信部
１１２、３１２操作信号受信部
１１３、３１３制御部
１１４、３１４応答音データ生成部
１１５、３１５フレームデータ生成部
１１６、３１６フレームバッファ
１１７、３１７差分抽出部
１１８、３１８通知音データ生成部
１１９通話音信号受信部
１２０通話音信号デコード部
１２１、３２１音データ合成部
１２２配信音信号デコード部
１２３フレーム信号デコード部
３２４画像データ圧縮部
３２５情報付加部
１ａ単位領域
１ｂ画素
１ｃ更新矩形領域

Claims

画像表示部と音出力部を有する電話端末装置であって、
前記電話端末装置が通話に用いられていることを検出する検出部を有し、
前記電話端末装置が通話に用いられていることが前記検出部によって検出されている状態において、前記画像表示部に入力される画像が更新されたことに応じて、前記音出力部が前記画像の更新を通知する音を出力することを特徴とする電話端末装置。
前記画像のフレームデータを格納するフレームバッファを有し、前記フレームバッファに格納された前記フレームデータの更新内容に基づき、前記音を決定することを特徴とする請求項１に記載の電話端末装置。
前記画像のフレームに含まれる複数の単位領域のうち、前記フレームデータが更新された領域を含む単位領域数と、前記複数の単位領域の各々において所定期間に前記フレームデータが更新された回数とに基づいて、前記画像の更新種別を推定し、推定された前記更新種別に応じて、前記音を決定することを特徴とする請求項１又は２に記載の電話端末装置。
前記検出部は近接センサであることを特徴とする請求項１乃至３何れか一項に記載の電話端末装置。
前記音出力部は、前記音に通話音を重畳させて出力することを特徴とする請求項１乃至４何れか一項に記載の電話端末装置。
画像表示部と、音出力部と、検出部とを有する電話端末装置を用いた情報処理方法において、
前記検出部が、前記電話端末装置が通話に使用されていることを検出する工程と、
前記電話端末装置が通話に使用されていることが前記検出部によって検出されている状態において、前記画像表示部に入力される画像が更新された場合に、前記音出力部に前記画像の更新を通知する音を出力させる工程と
を有することを特徴とする情報処理方法。
前記電話端末装置は、前記画像のフレームデータを格納するフレームバッファを有し、
前記音出力部に前記音を出力させる工程は、前記フレームバッファに格納された前記フレームデータの更新内容に基づき、前記音を決定する工程を含むことを特徴とする請求項６に記載の情報処理方法。
前記音出力部に前記音を出力させる工程は、フレームに含まれる複数の単位領域のうち、前記フレームデータが変更された領域を含む単位領域数と、前記複数の単位領域の各々において所定期間に前記フレームデータが更新された回数とに基づいて、前記画像の更新種別を推定する工程と、推定された前記更新種別に応じて、前記音を決定する工程とを含むことを特徴とする請求項６又は７に記載の情報処理方法。
前記電話端末装置が情報処理装置へ操作信号を送信する工程と、
前記情報処理装置が、前記操作信号に応じて前記データの前記電話端末装置への送信を実行する工程と、
前記電話端末装置が通話に使用されていることが前記検出部によって検出された場合、前記電話端末装置から前記情報処理装置へ通知を送信する工程と、
前記情報処理装置が、前記通知に基づき、前記音データを前記電話端末装置へ送信する工程と、
を更に有することを特徴とする請求項６乃至８何れか一項に記載の情報処理方法。
前記音出力部は、前記音に通話音を重畳させて出力することを特徴とする請求項６乃至９何れか一項に記載の情報処理方法。
情報処理装置と、
画像表示部と、音出力部と、検出部とを有する電話端末装置と、を有し、
前記情報処理装置は、前記電話端末装置からの指示に応じて前記画像表示部に入力させる画像のフレームデータの前記端末装置への送信を実行し、
前記電話端末装置は、前記フレームデータに基づいて前記画像を前記画像表示部に表示し、
前記検出部が、前記電話端末装置が通話に使用されていることを検出した場合、前記電話端末装置から前記情報処理装置へ通知を送信し、
前記情報処理装置は、前記通知に基づき、前記画像の更新に関する音データを前記電話端末装置へ送信し、
前記電話端末装置は、前記音データに基づく音を、前記音出力部を用いて出力する
ことを特徴とする情報処理システム。
前記情報処理装置は、前記フレームデータを格納するフレームバッファを有し、前記フレームバッファに格納された前記フレームデータの更新に基づき、前記音を決定することを特徴とする請求項１１に記載の情報処理システム。
前記音出力部は、前記音に通話音を重畳させて出力することを特徴とする請求項１１又は１２に記載の情報処理システム。
筐体の第１の面に設けられ、画面を有する表示部と、
前記第１の面に近接する物体を検出するセンサと、
前記センサが前記物体を検出している間、前記画面の表示内容の変更を音で通知する出力部と
を有する電話端末装置。