JP2009230541A - 携帯端末装置 - Google Patents

Abstract

【課題】アプリケーションの状態を好適に通知する携帯端末装置を提供する。
【解決手段】アプリケーションプログラムの実行に伴う表示画面を表示領域に表示する表示手段１７と、アプリケーションプログラム５０ａの状態が更新されたことを通知する更新通知手段と、表示手段１７における操作者が注視していると推測される注視領域を取得する注視領域取得手段と、注視領域取得手段により取得された注視領域から、状態の更新の内容を示す画像５３が表示される画像表示領域を決定する画像表示領域決定手段と、更新通知手段によりアプリケーションプログラム５０ａの状態の更新が通知された場合、通知された状態の更新の内容を示す画像５３を画像表示領域に表示するように表示手段１７を制御する表示制御手段とを備えた。
【選択図】 図６

Description

本発明は、携帯端末装置に係り、特にアプリケーションプログラムの状態を好適に通知する携帯端末装置に関する。

今日、携帯電話機などの携帯端末装置がごく一般的に使用されるようになった。この携帯端末装置には、電子メール機能やテレビ視聴機能、インターネット閲覧機能、ゲーム機能などを実現するアプリケーションプログラム（アプリケーション）が備えられる。アプリケーションが起動されると、携帯端末装置はアプリケーションの実行に伴う表示画面を表示し、ユーザからの操作入力をこの表示画面上にて受け付けて動作を行う。

特に、複数のアプリケーションを同時に起動して表示画面に分割表示し、ユーザが意図した操作入力が受付可能な状態であるアクティブな状態であるアプリケーション（アクティブなアプリケーション）を適宜切り替えながら操作を行う、マルチウィンドウシステムを備えた携帯端末装置がある。このマルチウィンドウシステムは、例えば、テレビ視聴アプリケーションと電子メールアプリケーションを同時に起動させて表示画面に分割表示する。ユーザはこのマルチウィンドウシステムを利用することで、テレビ視聴を行いながら電子メールの作成や確認を行うことが可能となる。

マルチウィンドウシステムの実行時において、起動中のアプリケーションのうち、アクティブなアプリケーション以外のアプリケーションであるインアクティブな状態であるアプリケーション（インアクティブなアプリケーション）の状態も更新される場合が発生しうる。

ここで、携帯端末装置には、アプリケーションの状態が更新されたことを通知する機能が備えられる。例えば、電子メールアプリケーションが電子メールを受信したことを知らせる通知アイコンが、画面最上行であるピクト行に表示される。

インアクティブなアプリケーションの状態の更新についても、通知アイコンをピクト行に表示することでユーザに通知することが考えられる。しかし、上述した状態の更新を確認するためには、ユーザによって注視されていると推測されるアクティブなアプリケーションの表示領域外であるピクト行に頻繁に視線を移動する必要がある。このため、ユーザにとっては視線を移動するたびに作業を中断する必要が生じる。または、ピクト行に表示された通知アイコンを即座に認識できないため、インアクティブなアプリケーションの状態の更新に気づかない可能性がある。

マルチウィンドウシステムにおいて複数のアプリケーションを表示する場合に、このアプリケーションの状態の更新の通知は、一例として、音声を出力できない環境下において、音声の内容を字幕で表示する機能を備えたテレビ視聴アプリケーションが、インアクティブなアプリケーションとして起動している場合に特に必要とされる。具体的には、数秒以上の間隔で不定期に字幕が更新されるため、アクティブなアプリケーションから字幕が更新されたことをユーザが逐一確認する煩雑さが生じる。

本発明はこのような事情を考慮してなされたもので、アプリケーションの状態の更新を即座に視認できる携帯端末装置を提供することを目的とする。

本発明に係る携帯端末装置は、上述した課題を解決するために、少なくとも一のアプリケーションプログラムの実行に伴う表示画面を割り当てられた表示領域に表示する表示手段と、前記アプリケーションプログラムの状態が更新されたことを通知する更新通知手段と、前記表示手段の表示領域における操作者が注視していると推測される注視領域を取得する注視領域取得手段と、前記注視領域取得手段により取得された注視領域から、前記状態の更新の内容を示す画像が表示される前記画像表示領域を決定する画像表示領域決定手段と、前記更新通知手段により前記アプリケーションプログラムの状態の更新が通知された場合、通知された前記状態の更新の内容を示す画像データに基づく画像を前記画像表示領域に表示するように前記表示手段を制御する表示制御手段とを備えたことを特徴とする。

本発明に係る携帯端末装置は、アプリケーションプログラムの状態の更新を即座に視認できる。

本発明に係る電子機器の実施形態を添付図面に基づいて説明する。

図１は、本発明に係る電子機器の一例である折りたたみ式の携帯電話機１の外観の構成を表している。なお、図１（Ａ）は、携帯電話機１を約１８０度に開いた開状態のときの正面から見た外観の構成を表しており、図１（Ｂ）は、携帯電話機１を開状態としたときの側面から見た外観の構成を表している。

図１（Ａ）および（Ｂ）に示されるように、携帯電話機１は、中央のヒンジ部１１を境に第１の筐体１２と第２の筐体１３とがヒンジ結合されており、ヒンジ部１１を介して矢印Ｘ方向に折り畳み可能に形成される。携帯電話機１の内部の所定の位置には、送受信用のアンテナが設けられており、内蔵されたアンテナを介して基地局（図示せず）との間で電波を送受信する。

第１の筐体１２には、その表面に「０」乃至「９」の数字キー、発呼キー、終話・電源キー、クリアキー、およびメニューキーなどの操作キー１４が設けられており、操作キー１４を用いて各種指示を入力することができる。

第１の筐体１２には、操作キー１４として上部に十字キーと確定キーが設けられており、ユーザが十字キーを上下左右方向に操作することにより当てられたカーソルを上下左右方向に移動させることができる。具体的には、第２の筐体１３に設けられたメインディスプレイ１７に表示される電話帳リストや電子メール、簡易ホームページのスクロール動作、および画像の送り動作などの種々の動作を実行する。

また、確定キーを押下することにより、種々の処理を選択することができる。例えば第１の筐体１２は、ユーザによる十字キーの操作に応じてメインディスプレイ１７に表示された電子メール一覧の中からメール本文の確認を所望する電子メールが選択され、確定キーが第１の筐体１２の内部方向に押下されると、選択された電子メールを確定してメール本文の表示を行う。

さらに、第１の筐体１２には、十字キーと確定キーの右隣にメニューキーが設けられており、このメニューキーが第１の筐体１２の内部方向に押下されると、メニュー選択画面を起動させることができる。

第１の筐体１２には、携帯電話機１の操作を行うサイドキー１５が設けられる。サイドキー１５は、携帯電話機１が開状態および閉状態のときに第１の筐体１２の内部方向に押下されることによって、それぞれ処理が割り当てられている。

第１の筐体１２には、操作キー１４の下部にマイクロフォン１６が設けられており、マイクロフォン１６によって通話時のユーザの音声を集音する。

なお、第１の筐体１２は、背面側に図示しないバッテリパックが挿着されており、終話・電源キーを押下してオン状態になると、バッテリパックから各回路部に対して電力が供給されて動作可能な状態に起動する。

一方、第２の筐体１３には、その正面にメインディスプレイ１７が設けられている。メインディスプレイ１７は、ＬＣＤ（Ｌｉｑｕｉｄ Ｃｒｙｓｔａｌ Ｄｉｓｐｌａｙ）、有機ＥＬディスプレイ（ＥｌｅｃｔｒｏＬｕｍｉｎｅｓｃｅｎｃｅ Ｄｉｓｐｌａｙ）などにより構成されるディスプレイである。

メインディスプレイ１７には、電波の受信状態、電池残量、電話帳として登録されている相手先名や電話番号および送信履歴などの他、電子メールの内容、簡易ホームページ、外部のコンテンツサーバ（図示せず）より受信したコンテンツが表示される。

メインディスプレイ１７の上部の所定の位置にはレシーバ（受話器）１８が設けられており、これにより、ユーザは音声通話することが可能である。なお、携帯電話機１の所定の位置には、レシーバ１８以外の音声出力部としてのスピーカ（図示せず）も設けられている。また、携帯電話機１にイヤホンなどの外部装置を接続することで音声を出力することも可能である。

図２は、本発明に係る携帯電話機の一例である折りたたみ式の携帯電話機１の他の外観の構成を表している。図２の携帯電話機１は、図１の携帯電話機１の状態から矢印Ｘ方向に回動させた閉状態であり、この状態を第１の筐体１２と第２の筐体１３とがほぼ重なり合う状態とする。なお、図２（Ａ）は、携帯電話機１が閉状態のときの正面から見た外観の構成を表しており、図２（Ｂ）は、携帯電話機１が閉状態のときの側面から見た外観の構成を表している。

第２の筐体１３には、例えば液晶ディスプレイにより構成されるサブディスプレイ１９が設けられており、現在のアンテナの感度のレベルを示すアンテナピクト、携帯電話機１の現在の電池残量を示す電池ピクト、現在の時刻などが表示される。

図３は、本実施形態における携帯電話機１の内部の構成を表している。

携帯電話機１は、ハードウェアとして、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）３０、メモリ３１、入力処理装置３２、表示処理装置３３、音声処理装置３４、記録媒体３５、通信処理装置３６およびテレビ視聴処理装置３７がバスによって相互に通信可能に接続されて構成されている。

ＣＰＵ３０は、種々の制御信号を生成し各部に供給することにより携帯電話機１を統括的に制御する。ＣＰＵ３０は、メモリ３１を使用してＦｌａｓｈメモリなどの記録媒体３５に保存されたソフトウェアを実行する。また、ＣＰＵ３０は、入力処理装置３２から取得した入力に基づいて、表示処理装置３３および音声処理装置３４を介して出力する映像および音声を生成する。映像音声の処理能力を向上する目的でＣＰＵ３０とは別にＤＳＰ（Ｄｉｇｉｔａｌ Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｏｒ）などの専用のハードウェアを併用してもよい。

メモリ３１は、ＣＰＵ３０が処理を行う際に使用されるデータを一時的に記憶するＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）などから構成される。

入力処理装置３２は、操作キー１４やサイドキー１５からなる入力装置３８に対する入力インタフェースを備える。この入力処理装置３２は、操作キー１４やサイドキー１５の押下を検出すると、その押下された操作キー１４やサイドキー１５を示す信号を生成してＣＰＵ３０に伝送する。

表示処理装置３３は、グラフィックチップなどから構成され、メインディスプレイ１７やサブディスプレイ１９からなる表示装置３９に対する表示インタフェースを備える。この表示処理装置３３は、ＣＰＵ３０の制御に基づいて文書や映像などを含んだ表示情報をメインディスプレイ１７やサブディスプレイ１９に出力する。

音声処理装置３４は、音源チップなどから構成され、ＣＰＵ３０の制御に基づいてマイクロフォン１６で集音された音声からアナログ音声信号を生成し、このアナログ音声信号をデジタル音声信号に変換する。また音声処理装置３４は、デジタル音声信号を取得すると、ＣＰＵ３０の制御に基づいてこのデジタル音声信号をアナログ音声信号に変換し、レシーバ１８やスピーカからなる音声出力装置４０から音声として出力する。

記録媒体３５は、ＣＰＵ３０が行う処理の処理プログラムや処理に必要なデータなどを格納するＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）やハードディスク、不揮発性メモリなどから構成される。記録媒体３５は、ＣＰＵ３０により実行される電子メールアプリケーションプログラム（アプリケーション）やテレビ視聴アプリケーションなどの種々のアプリケーションや、種々のデータ群を格納している。

通信処理装置３６は、ＣＰＵ３０の制御に基づいて、基地局（図示せず）からアンテナ３６ａを介して受信した受信信号をスペクトラム逆拡散処理してデータを復元する。このデータは、ＣＰＵ３０の指示により、音声処理装置３４に伝送されてレシーバ１８から出力されたり、表示処理装置３３に伝送されてメインディスプレイ１７に表示されたり、または記録媒体３５に記録されたりする。また通信処理装置３６は、ＣＰＵ３０の制御に基づいて、マイクロフォン１６で集音された音声データや操作キー１４を介して入力されたデータや記録媒体３５に記憶されたデータを取得すると、これらのデータに対してスペクトラム拡散処理を行い、基地局に対してアンテナ３６ａを介して送信する。

テレビ視聴処理装置３７は、放送波を受信して映像音声信号を取得するためにアンテナ３７ａ、チューナおよび復調器から構成される。テレビ視聴処理装置３７は、アンテナ３７ａおよびチューナを介して図示せぬ放送局からテレビ放送波を受信する。テレビ視聴処理装置３７は、受信した放送波に基づく信号から映像データおよび音声データを復調器にて復調し、表示処理装置３３および音声処理装置３４に伝送する。

図４は携帯電話機１のＣＰＵ３０の制御に基づき実行されるソフトウェア構成の概略を示す図である。携帯電話機１のソフトウェアは、少なくともアプリケーションプログラム（アプリケーション）５０、ウィンドウシステム５１とカーネルおよびデバイスドライバ５２で構成される。

アプリケーション５０は、入力装置３８で受け付けた入力を処理して表示画面を生成するソフトウェアである。アプリケーション５０は、テレビ視聴アプリケーション５０ａや、電子メールアプリケーション５０ｂ、ゲームアプリケーションなど種々のアプリケーションを備えている。なお、図４には、アプリケーション５０の一例として、テレビ視聴アプリケーション５０ａおよび電子メールアプリケーション５０ｂを示す。

テレビ視聴アプリケーション５０ａは、ユーザが操作キー１４を介して入力を行うことにより選局を行うと、入力に対応するテレビ視聴処理装置３７から取得したテレビ放送の映像、音声、字幕、データ放送などを表示する。また、電子メールアプリケーション５０ｂにおいては、ユーザが操作キー１４を介して入力を行うことにより、送信予定のメールの編集をメインディスプレイ１７などの表示装置３９上で行う。

ウィンドウシステム５１によって実現される分割表示機能（マルチウィンドウシステム）によって、アプリケーション５０は、ユーザが操作を行うことを意図した操作入力の受付が可能なアクティブな状態であるアプリケーションプログラム（アクティブなアプリケーション）と、それ以外のインアクティブな状態であるアプリケーションプログラム（インアクティブなアプリケーション）とに割り当てられる。アクティブなアプリケーションとインアクティブなアプリケーションは、適宜操作キー１４などを介して切り替えられる。また、入力装置３８が受け付けた入力は、ウィンドウシステム５１によってアクティブなアプリケーションのみに通知される。

アプリケーション５０は、インアクティブなアプリケーションとして起動している際に状態の更新が行われた場合、更新通知手段として機能し、状態の更新を通知するアイコンを表示する指示をウィンドウシステム５１に対して行う。なお、状態の更新に応じて通知する内容に対応したアイコンの画像データは、アプリケーション５０によってあらかじめウィンドウシステム５１に登録される。

また、アプリケーション５０は、アクティブなアプリケーションとして起動している場合、メインディスプレイ１７におけるユーザが注視していると推測される領域である注視領域をウィンドウシステム５１に設定する機能を有する。

図４のウィンドウシステム５１は、並行する複数のタスクに固有の領域（ウィンドウ）を割り当てて、出力を多重化するソフトウェアである。ウィンドウシステム５１は、メインディスプレイ１７を複数に分割して、それぞれに起動中のアプリケーション５０の画面出力を表示させマルチウィンドウシステムを実現する。また、アクティブなアプリケーション５０のみに対して受け付けた入力を通知する機能も備える。

本実施形態においては、ウィンドウシステム５１は、インアクティブなアプリケーションから受け付けた状態の更新を通知するアイコンを表示する指示を受けた後に、アイコンを一定時間表示する表示制御手段としての機能を有する。また、アクティブなアプリケーションから設定された注視領域を取得する注視領域取得手段、およびこの注視領域からアイコンを表示する表示領域を決定する画像表示領域決定手段としての機能を有する。

図４のカーネルおよびデバイスドライバ５２におけるカーネルは、ウィンドウシステム５１、アプリケーション５０などの実行環境である。カーネルに組み込まれたデバイスドライバは、ウィンドウシステム５１から送信された指示に基づいて、表示処理装置３３および音声処理装置３４を制御することにより、表示装置３９に映像を表示し、また音声出力装置４０から音声を再生する。

本実施形態においては、カーネルおよびデバイスドライバ５２は、ウィンドウシステム５１から送信された描画指示に基づいて、所定のアイコンをメインディスプレイ１７に表示する。

なお、携帯電話機１は、アプリケーション５０によって行われる、受信した画像データおよび音声データを復号して出力するなどの処理を、アプリケーション５０からの指示によりミドルウェアやＤＳＰなどの専用ハードウェアに実行させるという構成も取り得る。

ここで、マルチウィンドウシステムの詳細について説明する。

図５は携帯電話機１のメインディスプレイ１７にアプリケーション５０をマルチウィンドウシステムを利用して表示する場合の画面構成例を示す図である。図５では、テレビ視聴アプリケーション５０ａと電子メールアプリケーション５０ｂとが起動している例を示しており、ウィンドウシステム５１はメインディスプレイ１７を中央から上下に分割し、上半分にテレビ視聴アプリケーション５０ａ、下半分に電子メールアプリケーション５０ｂを表示させている。ウィンドウシステム５１は、現在時刻や電池残量などの表示を行う画面最上行のピクト行６０ａおよび状態に応じて入力の用途が変わるキーであるソフトキーの操作表示６０ｂには、それぞれアプリケーション５０とは別の専用の表示領域を割り当てる。ユーザはこのマルチウィンドウシステムを利用することで、複数のアプリケーションの表示を同時に確認することが可能であり、例えば、テレビ視聴を行いながら電子メールの編集や確認を行うことが可能である。

メインディスプレイ１７の表示状態の遷移の一例について説明する。なお、電子メールアプリケーション５０ｂをアクティブなアプリケーション、テレビ視聴アプリケーション５０ａをインアクティブなアプリケーションとして説明する。

テレビ視聴アプリケーション５０ａは、テレビ視聴処理装置３７によって受信されたテレビ映像を、表示処理装置３３を介してメインディスプレイ１７に表示する。テレビ視聴アプリケーション５０ａは、公共の場などテレビ音声を再生することが望ましくない状況においては、音声出力の代わりに字幕を表示させることができる。テレビ映像および字幕はユーザの操作とは独立に放送内容に応じて逐次更新される。

電子メールアプリケーション５０ｂは、操作キー１４が受け付けた入力を元に、メインディスプレイ１７でメール編集を行う。なお、操作キー１４が受け付けた入力は、ウィンドウシステム５１によってアクティブなアプリケーションである電子メールアプリケーション５０ｂに対して通知される。

従来、起動中のアプリケーション５０のうち、インアクティブなアプリケーションの状態が更新されたことをユーザに好適に通知する手段は存在しなかった。

例えば、字幕つきのテレビ視聴アプリケーション５０ａにおいては、字幕が更新されたことはユーザに対して特に通知がされていなかった。字幕の更新は一般的に最小数秒間隔かつ不定期と考えられるため、ユーザがすべての字幕を読む、すなわち字幕が更新されたことを確実に知るためには、テレビの字幕を常時監視する必要があった。このことはテレビ視聴アプリケーション５０ａ以外のアプリケーション５０、例えば電子メールアプリケーション５０ｂを同時に起動させてメールの編集が行われている場合には、字幕に対して頻繁に視線を移動する必要があり、状態の更新を確認する動作が煩雑であった。

本発明においては、アクティブなアプリケーションの表示領域にアイコンを表示させることによって、インアクティブなアプリケーションの状態が更新されたことをユーザに好適に通知することができる。具体的には、図５のアクティブなアプリケーションである電子メールアプリケーション５０ｂのメール編集画面内に、インアクティブなアプリケーションであるテレビ視聴アプリケーション５０ａに表示された字幕が更新されたことをアイコンを表示して通知を行う。

アクティブなアプリケーション５０ｂが、異なるアプリケーションの状態が変化したことを関知する必要がないよう、アイコンを表示することによる通知はウィンドウシステム５１によって統括的に管理される。そのため、テレビ視聴アプリケーション５０ａとは異なるインアクティブなアプリケーション５０の場合であっても、ウィンドウシステム５１によってアクティブなアプリケーション５０ｂ上にアイコンを表示してユーザに通知を行うことが可能である。

図６は、ＣＰＵ３０の処理に基づいて実行されるウィンドウシステム５１によって行われるアイコン表示制御処理を説明するフローチャートである。このアイコン表示制御処理について、図５に示すようにテレビ視聴アプリケーション５０ａと電子メールアプリケーション５０ｂとがマルチウィンドウシステムによって同時に起動された場合を適用して説明する。ユーザが操作を行うことを意図したアクティブなアプリケーションを電子メールアプリケーション５０ｂ、またインアクティブなアプリケーションをテレビ視聴アプリケーション５０ａとして説明する。なお、テレビ視聴アプリケーション５０ａは、テレビ映像および字幕の表示を実行しており、電子メールアプリケーション５０ｂは、送信予定の電子メールの編集を実行しているとする。

ステップＳ１において、ウィンドウシステム５１は、アイコンを表示する指示をインアクティブなアプリケーション５０から受け付けたか否かの判定を行う。アイコンを表示する指示は、インアクティブなアプリケーション５０の状態が更新された際に、ユーザに対して状態の更新の通知を行うためにインアクティブなアプリケーションによって送信される。例えば、インアクティブなアプリケーション５０であるテレビ視聴アプリケーション５０ａが、テレビ視聴処理装置３７から字幕の表示の更新を受け付けたことに伴い、ウィンドウシステム５１がテレビ視聴アプリケーション５０ａよりアイコンを表示する指示を受け付けたか否かの判定を行う。ウィンドウシステム５１は、アイコンを表示する指示を受け付けていないと判定した場合、指示を受け付けるまで待機する。

一方、ウィンドウシステム５１はアイコンを表示する指示を受け付けたと判定した場合、ステップＳ２において、注視領域の取得を行う。注視領域は、表示装置３９としてのメインディスプレイ１７において、ユーザが注視していると推測される領域である。注視領域は、アクティブなアプリケーションによってウィンドウシステム５１に予め設定され、これに基づきウィンドウシステム５１は注視領域を取得する。例えば、注視領域は、図５のアクティブなアプリケーションである電子メールアプリケーション５０ｂによってメール編集画面におけるカーソル５３が表示された文字入力領域が設定され、ウィンドウシステム５１はこれを注視領域として取得する。

アクティブなアプリケーションにより実行される注視領域設定処理の詳細については、後述する。

ステップＳ３において、ウィンドウシステム５１は、所定のアイコンを表示する表示領域を決定する。表示領域は、注視領域決定ステップＳ２において取得された注視領域のほぼ中心部にアイコンのほぼ中心部が表示されるように決定される。例えば、図５の電子メールアプリケーション５０ｂのメール編集画面で、カーソル５３が表示された付近の領域が注視領域として登録された場合、アイコンを表示する表示領域は、注視領域のほぼ中心部にアイコンのほぼ中心部が表示されるように決定される。

ステップＳ４において、ウィンドウシステム５１は、カーネルおよびデバイスドライバ５２に対して表示領域決定ステップＳ３において決定された表示領域に所定のアイコンを描画して表示させる。これに伴い、カーネルおよびデバイスドライバ５２は、表示処理装置３３にアイコンの表示を指示する。指示を受け付けた表示処理装置３３は、表示装置３９であるメインディスプレイ１７におけるアイコンを表示する表示領域の画面表示を更新してアイコンを表示させる。例えば、アクティブなアプリケーションである電子メールアプリケーション５０ｂが管理を行うカーソル５３付近が表示領域と決定された場合、カーソル５３の上に重畳的にテレビ型のアイコンを表示することにより、ユーザに字幕が更新されたことを通知する。図７は、インアクティブなアプリケーションの状態が更新されたことを通知するため、決定された表示領域にアイコン５４を表示した一例を示す図である。

なお、アイコン５４の表示時間は、例えば０．２秒程度の短時間が好ましい。アイコン５４を継続的に表示すると、アイコン５４によってアクティブなアプリケーションの表示が隠されることに伴い、ユーザの操作に支障が出ることを抑制するためである。

ウィンドウシステム５１は、表示指示受付判定ステップＳ１においてアプリケーション５０から受け付けたアイコン５４の表示指示に応じて、アプリケーションの状態の更新に対応したアイコンを表示する。

このアプリケーションの種々の状態の更新に対応したアイコン５４の画像データは、ステップＳ１以前にアプリケーションによってあらかじめウィンドウシステム５１に登録しておくことが可能である。例えば、テレビ視聴アプリケーション５０ａは、音声を字幕で表示する場合、字幕の更新の通知を意味するテレビ型のアイコン５４の画像データをあらかじめウィンドウシステム５１に登録しておく。これにより、アイコン５４の表示指示を行うたびに、テレビ視聴アプリケーション５０ａとウィンドウシステム５１の間でアイコン５４の画像データが交換されることによる負荷を軽減する。

なお、ウィンドウシステム５１は、アイコン５４の画像データおよびカーソル５３の画像データと、アプリケーション５０の画像データを重ね合わせることによって一枚のビットマップを合成している場合がある。その場合、ウィンドウシステム５１が行うアイコン５４およびカーソル５３の描画処理には、それらの合成処理も含むものとする。

ステップＳ５において、ウィンドウシステム５１は、所定時間が経過した後にアイコン表示ステップＳ４において表示されたアイコン５４を消去する。これに伴い、カーネルおよびデバイスドライバ５２は、表示処理装置３３にアイコン５４の消去を指示する。指示を受け付けた表示処理装置３３は、表示装置３９であるメインディスプレイ１７の画面表示を更新してアイコン５４を消去させる。例えば、ウィンドウシステム５１は、図７のようにアクティブなアプリケーションである電子メールアプリケーション５０ｂが管理を行うカーソル５３付近に表示されたテレビ型のアイコン５４を消去する。これにより、メインディスプレイ１７上には、図５に示すように再びカーソル５３が表示される。

以上でアイコン表示制御処理の説明を終了する。

次に、図６に示すアイコン表示制御処理の注視領域取得ステップＳ２において、ウィンドウシステム５１が注視領域を取得するため、アクティブなアプリケーションによって予め行われる注視領域設定処理について説明する。

注視領域は、メインディスプレイ１７において、アプリケーション５０によって管理されるカーソルが表示されている領域に応じて決定される。例えば、図５の電子メールアプリケーション５０ｂのメール編集画面におけるカーソル５３が表示された文字入力領域や、Ｗｅｂブラウザアプリケーションの簡易ホームページ閲覧画面において反転表示された選択領域を注視領域とする。

図８は、アクティブなアプリケーションにより実行される注視領域設定処理を説明するフローチャートである。

この注視領域設定処理は、表示装置３９としてのメインディスプレイ１７におけるユーザが注視していると推測される領域である注視領域を、アクティブなアプリケーション（電子メールアプリケーション５０ｂ）の表示領域内から取得し、ウィンドウシステム５１に設定する例を説明する。なお、電子メールアプリケーション５０ｂは、送信予定の電子メールの編集を実行しており、電子メールの文字挿入位置を表示するカーソル５３が表示されている。電子メールアプリケーション５０ｂは、ユーザによってこのカーソル５３が注視されていると推測して処理を実行する。

ステップＳ１１において、ＣＰＵ３０は、カーソル５３を移動させる入力を受け付けたか否かの判定を行う。カーソル５３を移動させる入力は、入力処理装置３２が操作キー１４などの入力装置３８を介して受け付けた後、ＣＰＵ３０に通知される。ＣＰＵ３０は、カーネルおよびデバイスドライバ５２およびウィンドウシステム５１に受け付けた入力を順次通知する。また、ウィンドウシステム５１は、受け付けた入力をアクティブなアプリケーションに対して通知することで、アクティブなアプリケーションは入力を受け付ける。ＣＰＵ３０は、カーソルを移動させる入力を受け付けない場合、入力を受け付けるまで処理を待機する。

例えば、ＣＰＵ３０は、図５の電子メールアプリケーション５０ｂにより表示されたカーソル５３が、ユーザによって操作キー１４の十字キーが右方向に押下されることによって、右方向に移動させる入力を受け付けたか否かの判定を行う。

入力指示受付判定ステップＳ１１において、ＣＰＵ３０が入力を受け付けた場合、ステップＳ１２において、アクティブなアプリケーションはカーネルおよびデバイスドライバ５２、ウィンドウシステム５１を順次介して受け付けた入力に基づき、カーソル５３を移動させる描画指示をウィンドウシステム５１に対して通知する。具体的には、アクティブなアプリケーションは、入力指示受付判定ステップＳ１１において受け付けた入力に基づいて、カーソル５３の位置を変更する。また、アクティブなアプリケーションは、ウィンドウシステム５１に対して、更新前のカーソル５３の位置を示す画像を消去して、更新後の文字挿入位置にカーソル５３を表示する画像を構成し、更新が必要な表示領域の描画指示を通知する。

さらにウィンドウシステム５１は、アクティブなアプリケーションから受け付けた描画指示に基づいて、カーネルおよびデバイスドライバ５２、表示処理装置３３を介して順次更新が必要な表示領域の描画処理の指示を通知する。表示処理装置３３は、メインディスプレイ１７などの表示装置３９におけるアクティブなアプリケーションの表示領域の表示画像を更新する。

例えば、図５の電子メールアプリケーション５０ｂは、カーソル５３を右方向に移動させる指示を受け付けた場合、現在のカーソル５３を示す画像を消去して、カーソル５３が右方向に移動された画像を構成して、ウィンドウシステム５１に対して更新が必要な表示領域の描画指示を通知する。

ステップＳ１３において、アクティブなアプリケーションは、移動後のカーソル５３のアクティブなアプリケーションの表示領域における座標を、注視領域としてウィンドウシステム５１に設定する。例えば、図５の電子メールアプリケーション５０ｂは、カーソル５３が右方向に移動させた後の表示領域における座標を、注視領域としてウィンドウシステム５１に設定する。

以上で注視領域設定処理の説明を終了する。

なお、アプリケーション５０が管理を行うカーソルが存在する場合において実行される注視領域設定処理について説明したが、アプリケーション５０が管理を行うカーソルが存在しない場合や、ユーザが注視していると推測される領域が特定しにくいアプリケーション５０である場合には、例えばアプリケーション５０の表示領域全体を注視領域としてウィンドウシステム５１に設定する。例えば、カーソルが存在しないゲームアプリケーションのゲーム実行画面では表示領域全体を注視領域とする。

また、注視領域の設定は、必要に応じて適宜行われる。例えば、アプリケーション５０が表示画面の構成を変更するたびに設定を行ってもよいし、所定時間毎に設定を行ってもよい。

図６のアイコン表示制御処理における注視領域取得ステップＳ２において、ウィンドウシステム５１が注視領域を取得する方法として、図８の注視領域設定処理における注視領域設定ステップＳ１３においてアクティブなアプリケーションにより設定された注視領域から取得する方法を適用して説明した。

これに対し、ウィンドウシステム５１が自ら注視領域を推測して注視領域を取得することにより、アプリケーション５０によって行われるアイコン５４の注視領域設定処理を省略することが可能である。また、注視領域設定処理を実行する機能を備えていないアプリケーション５０においても、ウィンドウシステム５１が注視領域を取得する機能を提供することが可能である。

この注視領域取得処理は、ウィンドウシステム５１が、アクティブなアプリケーションの表示領域における最新更新領域を注視領域とみなして取得する方法である。

例えば、ユーザが操作キー１４を押下することによって、アプリケーション５０の表示領域において何らかの更新が必要な領域が発生した場合、アプリケーション５０の表示領域全体を常に更新して描画処理を行うことはアプリケーション５０およびウィンドウシステム５１にとって負荷が高い。このため、負荷軽減の目的から更新が必要な表示領域のみの描画処理を行い、更新が不要な表示領域については新たに描画処理を行わない方法が取られている。この注視領域取得処理は、ウィンドウシステム５１によって更新された最新の領域をユーザが注視していると推測し、注視領域として取得する処理である。

図９は、ＣＰＵ３０の処理に基づいて実行されるウィンドウシステム５１によって行われる注視領域取得処理を説明するフローチャートである。

ステップＳ２１において、ウィンドウシステム５１は、アクティブなアプリケーション５０より描画指示を受け付けたか否かの判定を行う。描画指示は、アクティブなアプリケーションがカーネルおよびデバイスドライバ５２、ウィンドウシステム５１を順次介して受け付けた入力指示に基づき、アクティブなアプリケーションよりウィンドウシステム５１が受け付けた描画指示が該当する。例えば、図５の電子メールアプリケーション５０ｂが、カーソル５３を右方向に移動させる指示を受け付けた場合、現在のカーソル５３を示す画像を消去して、カーソル５３が右方向に移動された画像を構成し、ウィンドウシステム５１に対して更新が必要な表示領域の描画指示を受け付けたか否かの判定を行う。

なお、ウィンドウシステム５１は、負荷軽減の目的から、アクティブなアプリケーションより更新が必要な表示領域のみの描画指示を受け付け、更新が不要な表示領域については新たに描画指示を受け付ける必要はない。

ウィンドウシステム５１は描画指示を受け付けない場合、処理を待機する。

一方、ウィンドウシステム５１は描画指示を受け付けた場合、ステップＳ２２において、描画指示を受けた更新が必要な表示領域の描画処理を行う。例えば、ウィンドウシステム５１は、アクティブなアプリケーションから更新前の位置に表示されたカーソル５３の画像を消去して、カーソル５３が右方向に移動された画像を構成する描画処理を行う。ウィンドウシステム５１は、実行した描画処理によって構成された表示画像に基づいて、カーネルおよびデバイスドライバ５２、表示処理装置３３を介して順次更新が必要な表示領域の描画指示を通知する。表示処理装置３３は、メインディスプレイ１７などの表示装置３９におけるアクティブなアプリケーションの表示領域の表示画像を更新する。

ステップＳ２３において、ウィンドウシステム５１は、アクティブなアプリケーションの表示領域において更新された表示領域の座標を、注視領域として保持する。例えば、図５のカーソル５３が右方向に移動された場合、カーソル５３が消去される移動前の表示位置から、右方向に移動した表示位置によって決定される領域の座標を注視領域として取得する。

以上で注視領域取得処理の説明を終了する。

図９の注視領域取得処理によりウィンドウシステム５１によって取得された注視領域は、図６のアイコン表示制御処理における注視領域取得ステップＳ２において、ウィンドウシステム５１によって参照される。これによりウィンドウシステム５１は、注視領域を取得し、図６のアイコン制御処理における注視領域取得ステップＳ３以降の処理を実行可能とする。

次に、ウィンドウシステム５１が自ら注視領域を推測して注視領域を取得することにより、アプリケーション５０によって行われるアイコン５４の他の注視領域取得処理を説明する。また、この注視領域取得処理を用いて取得された注視領域に基づき実行される他のアイコン表示制御処理について説明する。

この注視領域取得処理およびアイコン表示制御処理は、各アプリケーション５０がそれぞれ管理するカーソルとは別に、ウィンドウシステム５１が全てのアプリケーション５０で共有するカーソルを管理するカーソル表示手段を備える場合に適用することができる。例えば、ブラウザなど主にカーソルによって表示領域の操作対象を選択するユーザインタフェースにおいて有効である。

図１０は、ＣＰＵ３０の処理に基づいて実行されるウィンドウシステム５１によって行われる他のアイコン表示制御処理を説明するフローチャートである。なお、図１０のアイコン表示制御処理は、図７のアイコン表示制御処理とほぼ同様であるため、重複する処理についての詳細な説明は省略し、相違点のみ詳細に説明する。

表示指示受付判定ステップＳ３１は、図６のアイコン表示制御処理における表示指示受付判定ステップＳ１とほぼ同様の処理が行われるため、説明を省略する。

ウィンドウシステム５１はアイコンを表示する指示を受け付けたと判定した場合、ステップＳ３２において、注視領域の取得を行う。

ここでウィンドウシステム５１は、注視領域取得処理を実行する。ウィンドウシステム５１は、ウィンドウシステム５１によって管理される全てのアプリケーション５０で共有するカーソルの表示領域を注視領域として取得する。この注視領域取得処理は、図８の注視領域設定処理で説明した、アプリケーション５０が管理するカーソル５３の表示領域をユーザが注視していると推測される領域である注視領域として取得する処理を、アプリケーション５０に代わってウィンドウシステム５１が実行するため、具体的な処理の説明を省略する。この時、ウィンドウシステム５１は、カーソルがアクティブなアプリケーションの表示領域外に位置していても、カーソルの表示領域を注視領域として取得してもよい。

ステップＳ３３において、ウィンドウシステム５１は、所定のアイコン５４を表示する表示領域を決定する。表示領域は、注視領域決定ステップＳ３２においてウィンドウシステム５１が取得した注視領域のほぼ中心部に、アイコン５４のほぼ中心部が表示されるように決定される。つまり、カーソルの表示領域のほぼ中心部にアイコン５４のほぼ中心部が表示されるように決定される。

ステップＳ３４において、ウィンドウシステム５１は、表示領域決定ステップＳ３３において決定された表示領域に所定のアイコン５４を表示する。この場合、ウィンドウシステム５１は、ウィンドウシステム５１が管理するカーソルを所定のアイコン５４に変更する描画処理を行う。

ステップＳ３５において、ウィンドウシステム５１は、所定時間が経過した後にアイコン表示ステップＳ３４において表示されたアイコン５４を消去する。この場合、ウィンドウシステム５１は、表示されたアイコン５４をウィンドウシステム５１が管理するカーソルに変更する描画処理を行う。以上で他のアイコン表示制御処理の説明を終了する。

この携帯電話機１によれば、ユーザが注視していると推測されるアクティブなアプリケーションの注視領域に、インアクティブなアプリケーションの状態の変更を通知するアイコン５４を表示することで、ユーザは少ない視線移動で好適に状態の更新を認識することができる。

具体的には、ユーザは、アクティブなアプリケーションである電子メールアプリケーション５０ｂのメール編集画面に注視したまま、インアクティブなアプリケーションであるテレビ視聴アプリケーション５０ａによって表示された字幕が更新されたことを好適に認識することができる。

また、アイコン５４の描画処理はウィンドウシステム５１によって実行されるため、アクティブなアプリケーションは注視領域を必要に応じて設定するのみでありアイコン５４の描画処理そのものは行わない。このため、アクティブなアプリケーションが異なるアプリケーション５０であってもウィンドウシステム５１によって統括的に管理することができる。

さらに、アイコン５４は所定時間が経過した後に自動的に消去されるため、アクティブなアプリケーションの表示領域が狭くなることによる支障も抑制することができる。

なお、本実施形態においては、アクティブなアプリケーションを電子メールアプリケーション５０ｂ、インアクティブなアプリケーションをテレビ視聴アプリケーション５０ａとして説明したが、これに限らずゲームアプリケーション、Ｗｅｂブラウザアプリケーションなどの他のアプリケーション５０を適用することもできる。

また、インアクティブなアプリケーションの状態の更新に限らず、アクティブなアプリケーションや携帯電話機１に備えられた起動中のアプリケーション以外のアプリケーションの状態が更新された場合においても、この状態の変更をアクティブなアプリケーションの表示領域にアイコンを表示して通知することも可能である。

図１１は、電子メールの受信をアイコンを表示して通知する場合の画面構成例を示す図であり、（Ａ）は従来の電子メールの受信を通知する画面構成例を示す図、（Ｂ）は本実施形態における電子メールの受信を通知する画面構成例を示す図である。なお、上半分にインアクティブなアプリケーションとしてのテレビ視聴アプリケーション５０ａ、下半分にアクティブなアプリケーションとしての電子メールアプリケーション５０ｂが表示される。

従来、図１１（Ａ）に示すように、電子メールを受信したことを示すアイコン６１をメインディスプレイ１７の最上位行のピクト行６０ａに表示していた。しかし、このピクト行６０ａは、ユーザが注視していると推測されるアクティブなアプリケーションである電子メールアプリケーション５０ｂから視線が離れているため、アイコン６１を見落とす可能性があった。

これに対し本実施形態における携帯電話機１は、図１１（Ｂ）に示すように、アクティブなアプリケーションである電子メールアプリケーション５０ｂの表示領域に電子メールの受信を通知するアイコン５４を表示するため、ユーザは電子メールを受信したことを即座に知ることができる。

また、本実施形態においては、ウィンドウシステム５１により実現されるマルチウィンドウシステムを利用して複数のアプリケーション５０が同時にメインディスプレイ１７に表示される場合に適用して説明したが、一のアプリケーション５０がメインディスプレイ１７に表示された場合に適用してもよい。

図１２は、一のアプリケーション５０として表示される電子メールアプリケーション５０ｂが、電子メールの受信をアイコンを表示して通知する場合の画面構成例を示す図であり、（Ａ）は従来の電子メールの受信を通知する画面構成例を示す図、（Ｂ）は本実施形態における電子メールの受信を通知する画面構成例を示す図である。

従来、図１２（Ａ）に示すように、電子メールを受信したことを示すアイコン６１をメインディスプレイ１７の最上位行のピクト行６０ａに表示していた。しかし、このピクト行６０ａは、ユーザが注視していると推測されるアクティブなアプリケーション５０から視線が離れているため、アイコン６１を見落とす可能性があった。

これに対し本実施形態における携帯電話機１は、図１２（Ｂ）に示すように、アクティブなアプリケーションである電子メールアプリケーション５０ｂの表示領域に電子メールの受信を通知するアイコン５４を表示するため、ユーザは電子メールを受信したことを即座に知ることができる。

図１２（Ｂ）に示すように、メインディスプレイ１７に表示されるアプリケーション５０が一のアプリケーション５０であっても、ユーザはメールを受信したことをすばやく知ることができる。

なお、本発明は、携帯電話機１以外にも、ＰＤＡ（Ｐｅｒｓｏｎａｌ Ｄｉｇｉｔａｌ Ａｓｓｉｓｔａｎｔ）、パーソナルコンピュータ、携帯型ゲーム機、携帯型音楽再生機、携帯型動画再生機、その他の電子機器にも適用することができる。

また、本実施形態において説明した一連の処理は、ソフトウェアにより実行させることもできるが、ハードウェアにより実行させることもできる。

さらに、本発明の実施形態では、フローチャートのステップは、記載された順序に沿って時系列的に行われる処理の例を示したが、必ずしも時系列的に処理されなくとも、並列的あるいは個別実行される処理をも含むものである。

本発明に係る携帯端末装置に適用可能な携帯電話機の外観の構成を示す図。 本発明に係る携帯端末装置に適用可能な携帯電話機の他の外観の構成を示す図。 本発明に係る携帯端末装置に適用可能な携帯電話機の内部の構成を示すブロック図。 携帯電話機のＣＰＵの制御に基づき実行されるソフトウェア構成の概略を示す図。 メインディスプレイにアプリケーションをマルチウィンドウシステムを利用して表示する場合の画面構成例を示す図。 ウィンドウシステムによって行われるアイコン表示制御処理を説明するフローチャート。 表示領域にアイコンを表示した場合の画面構成例を示す図。 アクティブなアプリケーションによって行われる注視領域設定処理を説明するフローチャート。 ウィンドウシステムによって行われる注視領域取得処理を説明するフローチャート。 ウィンドウシステムによって行われる他のアイコン表示制御処理を説明するフローチャート。 電子メールの受信をアイコンを表示して通知する場合の画面構成例を示す図であり、（Ａ）は従来の電子メールの受信を通知する画面構成例を示す図、（Ｂ）は本実施形態における電子メールの受信を通知する画面構成例を示す図。 一の電子メールアプリケーションが表示されている場合の電子メールの受信をアイコンを表示して通知する場合の画面構成例を示す図であり、（Ａ）は従来の電子メールの受信を通知する画面構成例を示す図、（Ｂ）は本実施形態における電子メールの受信を通知する画面構成例を示す図。

符号の説明

１ 携帯電話機
１１ ヒンジ部
１２ 第１の筐体
１３ 第２の筐体
１４ 操作キー
１５ サイドキー
１６ マイクロフォン
１７ メインディスプレイ
１８ レシーバ
１９ サブディスプレイ
３０ ＣＰＵ
３１ メモリ
３２ 入力処理装置
３３ 表示処理装置
３４ 音声処理装置
３５ 記録媒体
３６ 通信処理装置
３６ａ アンテナ
３７ テレビ視聴処理装置
３７ａ アンテナ
３８ 入力装置
３９ 表示装置
４０ 音声出力装置
５０ アプリケーション
５０ａ テレビ視聴アプリケーション
５０ｂ 電子メールアプリケーション
５１ ウィンドウシステム
５２ カーネルおよびデバイスドライバ
５３ カーソル
５４ アイコン
６０ａ ピクト行
６０ｂ ソフトキーの操作表示
６１ アイコン

Claims (10)

1. 少なくとも一のアプリケーションプログラムの実行に伴う表示画面を割り当てられた表示領域に表示する表示手段と、
   前記アプリケーションプログラムの状態が更新されたことを通知する更新通知手段と、
   前記表示手段の表示領域における操作者が注視していると推測される注視領域を取得する注視領域取得手段と、
   前記注視領域取得手段により取得された注視領域から、前記状態の更新の内容を示す画像が表示される前記画像表示領域を決定する画像表示領域決定手段と、
   前記更新通知手段により前記アプリケーションプログラムの状態の更新が通知された場合、通知された前記状態の更新の内容を示す画像データに基づく画像を前記画像表示領域に表示するように前記表示手段を制御する表示制御手段とを備えたことを特徴とする携帯端末装置。
2. 前記注視領域取得手段は、前記注視領域を前記アプリケーションプログラムのうち、入力の受付が可能なアクティブな状態であるアプリケーションプログラムの実行に伴う表示画面が表示される表示領域において、前記アクティブな状態であるアプリケーションプログラムによって設定された注視領域より取得することを特徴とする請求項１記載の携帯端末装置。
3. 前記アクティブな状態であるアプリケーションプログラムは、前記アクティブな状態であるアプリケーションプログラムの実行に伴う表示画面が表示される表示領域において管理するカーソルを備え、前記アクティブな状態のアプリケーションプログラムが管理する前記カーソルが表示された領域を前記注視領域として設定することを特徴とする請求項２記載の携帯端末装置。
4. 前記注視領域取得手段は、前記アクティブな状態であるアプリケーションプログラムの実行に伴う表示画面が表示される表示領域における最新更新領域を前記注視領域として取得することを特徴とする請求項１記載の携帯端末装置。
5. 前記アプリケーションプログラムに対して共有されるカーソルを管理するカーソル管理手段をさらに備え、
   前記注視領域取得手段は、前記カーソル管理手段により前記カーソルが表示された領域を前記注視領域として取得することを特徴とする請求項１記載の携帯端末装置。
6. 前記画像表示領域取得手段は、前記注視領域のほぼ中心部が前記画像のほぼ中心部となるように前記画像表示領域を決定することを特徴とする請求項１記載の携帯端末装置。
7. 前記アプリケーションプログラムは、前記状態の更新の内容を示す画像に係る画像データを前記表示制御手段にあらかじめ登録することを特徴とする請求項１記載の携帯端末装置。
8. 複数のアプリケーションプログラムを同時に動作させるウィンドウシステムを備えた携帯端末装置において、
   複数のアプリケーションプログラムが同時に動作する場合に、前記アプリケーションプログラムの実行に伴う表示画面を前記アプリケーションプログラムごとに異なる表示領域に表示する表示手段と、
   前記アプリケーションプログラムの状態が更新されたことを通知する更新通知手段と、
   前記表示手段の表示領域における操作者が注視していると推測される注視領域を取得する注視領域取得手段と、
   前記注視領域取得手段により取得された注視領域から、前記状態の更新の内容を示す画像が表示される前記画像表示領域を決定する画像表示領域決定手段と、
   前記更新通知手段により前記アプリケーションプログラムの状態が更新された場合、通知された前記状態の更新の内容を示す画像データに基づく画像を前記画像表示領域に表示するように前記表示手段を制御する表示制御手段とを備えたことを特徴とする携帯端末装置。
9. 前記更新通知手段は、前記アプリケーションプログラムにより実行させることを特徴とする請求項８記載の携帯端末装置。
10. 前記注視領域取得手段、画像表示領域決定手段および表示制御手段は、前記ウィンドウシステムにより実行させることを特徴とする請求項８記載の携帯端末装置。

Images