JP2010224589A - ユーザインタフェース装置 - Google Patents
ユーザインタフェース装置 Download PDFInfo
- Publication number
- JP2010224589A JP2010224589A JP2009067833A JP2009067833A JP2010224589A JP 2010224589 A JP2010224589 A JP 2010224589A JP 2009067833 A JP2009067833 A JP 2009067833A JP 2009067833 A JP2009067833 A JP 2009067833A JP 2010224589 A JP2010224589 A JP 2010224589A
- Authority
- JP
- Japan
- Prior art keywords
- user
- image
- prediction
- state
- screen
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Landscapes
- Control Of Indicators Other Than Cathode Ray Tubes (AREA)
- Controls And Circuits For Display Device (AREA)
- User Interface Of Digital Computer (AREA)
Abstract
【解決手段】ユーザが操作を入力する入力部と、ユーザ操作に対応した画像を表示する表示部と、前記入力された操作の次のユーザ操作をユーザの操作履歴に基づいて予測する予測部と、次のユーザ操作に先立って、前記予測されたユーザ操作に対応する画像を生成するための処理を行う生成部と、実際の次のユーザ操作が予測と一致した場合は、前記生成部が行った処理に基づいて画像を生成し表示部に出力する制御部とを備えることを特徴とするユーザインタフェース装置を用いる。
【選択図】図1
Description
る表示部と、前記入力された操作の次のユーザ操作をユーザの操作履歴に基づいて予測する予測部と、次のユーザ操作に先立って、前記予測されたユーザ操作に対応する画像を生成するための処理を行う生成部と、実際の次のユーザ操作が予測と一致した場合は、前記生成部が行った処理に基づいて画像を生成し表示部に出力する制御部とを備えることを特徴とするユーザインタフェース装置である。
れに対応する画像を生成するための処理を行う構成を取ることができる。
以下に図面を参照して、この発明の好適な実施の形態を例示的に詳しく説明する。
図1のフローチャートを用いて、本実施形態の処理の概要を説明する。ステップS101ではユーザに対して画面を表示する。この画面はユーザの操作により後続画面が分岐するような画面である。ステップS102では、過去の操作履歴に基づいてユーザの操作を予測する。ステップS103では投機的実行を行う。すなわち、予測したユーザの操作に対応する画面を生成するための処理を行う。ステップS104では、ユーザが実際に操作を入力する。そしてステップS105で、予測と実際の操作が一致したかどうか判定する。予測と操作が一致した場合(S105=Y)はステップS106に進み、S103の前処理に基づいて、操作に対応する画面を生成する。一方予測が外れた場合(S105=N)はステップS107に進み、操作に対応する画面を生成する。ステップS108では生成した画面を表示する。ステップS109では操作履歴を更新する。
続いて、ステップS102におけるユーザの操作予測がどのように行われるかの例として、推移確率行列を参照して予測を行う方法を説明する。次に表示され得る画面は現在の画面のみに依存するとした場合、画面遷移は単純マルコフ過程ととらえることができる。ここで、画面の種類、すなわち状態がn種類ある場合について、状態遷移行列Tと推移確
率行列Pというものを考える。式(1)に示した状態遷移行列Tはn×n行列であり、ある状態から別の状態に遷移した回数を記録するために用いられる。例えば、今までに状態rから状態sへの遷移が5回起こっていた場合、Trs=5である。式(2)に示した推移確率行列Pもn×n行列であり、ある状態から別の状態に遷移する確率を表す。例えばPrs=0.20であれば、状態rから状態sへ遷移する確率は20%となる。このように、推移確率行列Pを参照して次のユーザ操作を予測することができる。
続いて、ステップS103における画面生成のための処理について説明する。この処理は投機的実行であり、時間のかかる画像処理を行うことで応答時間を効率的に短縮することができる。ユーザインタフェース装置においてはさまざまな画像処理がある。例えば、メモリカードや外部ネットワークから画像データを取得する処理はアクセス速度の問題から時間がかかる。また、取得した画像を表示するときに縮小等の加工を施す場合は更に時間がかかる。また、表示される画面のフレームやアイコン、文字列等のパーツが圧縮され格納されている場合は、データを解凍し、メモリに展開する処理にも時間を要する。
必ずしも表示する画面全体でなくても、一部分を作成できればある程度の応答時間短縮効果は得られる。また、メモリカード等からの画像データ取得、縮小画像等の加工処理、あるいはフレーム等のパーツの展開を投機的に実行しておくことでも、応答時間の短縮効果は得られる。
続いて、ステップS109において操作履歴がどのように更新されるかを説明する。遷移が1度も起こっていない初期状態では、状態遷移行列Tの要素はすべて0である。また推移確率行列Pには、何らかの初期値、例えば全要素に等しい値を入れておけば良い。そしてユーザが実際に操作を行い画面が遷移するたびに、行列TおよびPを更新していく。式(1)と式(2)で言えば、状態rにおいてユーザが状態sへの遷移を選択した場合、状態遷移行列のTrsに1をプラスし、推移確率行列Pのr行目のPr1〜Prnを再計算して更新する。
以下に、複合機のユーザインタフェース装置の画像表示方法を例として説明する。複合機はスキャナ、コピー、ファクシミリおよびカード印刷(ユーザが接続したメモリカードから画像データを読み込み、必要に応じて画像補正して印刷する機能)の各機能を備えている。ここではカード印刷の実行中にユーザに表示する画像を投機的実行により生成する方法について説明する。
図2のブロック図を用いて、複合機1に用いられるユーザインタフェース装置の各ブロックについて説明する。ユーザインタフェース装置2は複合機1に接続されている。タッチパネルディスプレイ3はユーザが触れた位置を検出できる液晶ディスプレイ等で作られている。タッチパネルディスプレイ3はユーザの入力を受け付ける入力部であり、かつ、ユーザに画像を表示する表示部でもある。タッチパネルディスプレイ3が入力を受け付ける際には画像の中にボタン等を表示して待機し、ユーザがボタンを押した場所の位置情報を入力制御部101に送る。入力制御部101は画像中のボタンの位置と、タッチパネルディスプレイ3から受け取った位置情報に基づいてどのボタンが押されたか判断し、ユーザの操作の内容として制御部102に送る。
に応じてバッファメモリ105またはタッチパネルディスプレイ3に出力する。バッファメモリ3は書き換え可能な記憶装置であり、生成部104から受け取った画像を格納し、制御部102から出力指示があればタッチパネルディスプレイ3に出力する。
図3の画面遷移図を用いて、タッチパネルディスプレイに表示される画面の遷移とその条件、遷移時に行われる処理について説明する。画面遷移図における一つの画面は、後述する図4(a)における一つの状態に対応している。(状態1)はトップメニューであり、複合機が待機状態であるときに表示されている。ユーザはまずここで利用する機能を選択し、対応するボタンを押す。本実施形態では必ず「カード印刷」を選択するものとし、以下カード印刷の機能に限定して説明する。ユーザが「カード印刷」ボタンを押すと、(状態2)に移行する。
P24=0.20であるので、(状態3)に遷移する確率が高い。
図5を用いて、投機的実行がなされる際のブロック間の制御を説明する。図中の縦のラインは処理を行うブロックを示し、横の矢印は制御の流れを示す。矢印の上に書かれた文字列は制御の種類を、カッコ内の文字列は受け渡されるデータを表す。
性能に制約があり画像処理に時間のかかる装置であっても、実際にユーザが操作をしてから画像が表示されるまでの応答時間が短縮される。一方予測とは異なる操作がされた場合であっても、投機的実行による画面生成はユーザの操作を待つ間になされているので、応答時間の延長にはならない。したがって、結果的に平均応答時間を短くすることが可能である。
ここでは、実施例1とは異なる方法でユーザの操作を予測する例について説明する。実施形態1では、画面の遷移は単純マルコフ過程によって表されるものととらえている。すなわち、直前のユーザ操作のみに依存して次の操作を予測するような構成を取っている。また、予測部が予測するのは次のユーザの操作のみとし、投機的実行により生成する画面は1つとしている。しかし、これらの条件を必要に応じて適宜変更しても良い。
ここでは、ユーザ個々の操作の傾向を考慮した上で精度の高い予測を行う方法について説明する。ユーザインタフェース装置を使用する人数が増えるほど、行われる操作の傾向は多様になる。たとえば実施例1の複合機であれば、オフィス内の特定の人だけが使うときはユーザ操作の傾向が一定になるが、学校に置かれ様々な研究室の人が利用するときは操作の傾向が定まらず、予測精度がなかなか向上しない。
でき、ユーザ特性に応じた精度の高い操作予測を行って平均応答時間を短縮することができるようになる。
ここでは、操作履歴に基づいて予測をする際に、最近の操作履歴を重視する方法について説明する。もしもユーザの操作の傾向が一定であれば、操作履歴を蓄積するほど予測精度が向上するし、最近の操作を重視する必要もない。しかし、ユーザの操作の傾向は変わり得るし、装置を使用するのが別のユーザになる場合もある。そのような場合に最近の操作と過去の操作を同等の重みで評価することは、かえって柔軟な予測の妨げになる可能性がある。
ここでは、初期状態、すなわちユーザの操作履歴が蓄積されていない段階であってもある程度の予測精度を得られるように、状態遷移行列Tおよび推移確率行列Pを設定する方法について説明する。
102 制御部
103 予測部
104 生成部
Claims (5)
- ユーザが操作を入力する入力部と、
ユーザ操作に対応した画像を表示する表示部と、
前記入力された操作の次のユーザ操作をユーザの操作履歴に基づいて予測する予測部と、
次のユーザ操作に先立って、前記予測されたユーザ操作に対応する画像を生成するための処理を行う生成部と、
実際の次のユーザ操作が予測と一致した場合は、前記生成部が行った処理に基づいて画像を生成し表示部に出力する制御部と
を備えることを特徴とするユーザインタフェース装置。 - 前記予測部は、ユーザが操作を入力するたびに前記操作履歴を更新するものである
ことを特徴とする請求項1に記載のユーザインタフェース装置。 - 前記予測部は、前記予測したユーザ操作の次のユーザ操作を更に予測し、
前記生成部は、前記更に予測したユーザ操作に対応する画像を生成するための処理を行うものである
ことを特徴とする請求項1または2に記載のユーザインタフェース装置。 - 前記予測部は、前記入力された操作の次のユーザ操作を複数個予測し、
前記生成部は、前記複数個の予測されたユーザ操作のそれぞれに対応する画像を生成するための処理を行うものである
ことを特徴とする請求項1または2に記載のユーザインタフェース装置。 - 前記予測部は、前記操作履歴のうち、より最近に行われた操作を重視して前記予測を行うものである
ことを特徴とする請求項2に記載のユーザインタフェース装置。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2009067833A JP5340774B2 (ja) | 2009-03-19 | 2009-03-19 | ユーザインタフェース装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2009067833A JP5340774B2 (ja) | 2009-03-19 | 2009-03-19 | ユーザインタフェース装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2010224589A true JP2010224589A (ja) | 2010-10-07 |
JP5340774B2 JP5340774B2 (ja) | 2013-11-13 |
Family
ID=43041753
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2009067833A Expired - Fee Related JP5340774B2 (ja) | 2009-03-19 | 2009-03-19 | ユーザインタフェース装置 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP5340774B2 (ja) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP5635672B1 (ja) * | 2013-12-05 | 2014-12-03 | 株式会社 ディー・エヌ・エー | 画像処理装置及び画像処理プログラム |
JP2021515949A (ja) * | 2018-03-13 | 2021-06-24 | イングラム マイクロ インコーポレーテッド | Gui応答時間を改善するために予測ベースのguiを生成するシステム及び方法 |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH09319538A (ja) * | 1996-05-30 | 1997-12-12 | Mitsubishi Electric Corp | グラフィカルユーザインタフェース |
JP2002175142A (ja) * | 2000-12-08 | 2002-06-21 | Fuji Xerox Co Ltd | Gui装置およびgui画面表示プログラムを記録した記憶媒体 |
JP2007265330A (ja) * | 2006-03-30 | 2007-10-11 | Casio Hitachi Mobile Communications Co Ltd | 携帯型小型電子機器、および、プログラム |
-
2009
- 2009-03-19 JP JP2009067833A patent/JP5340774B2/ja not_active Expired - Fee Related
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH09319538A (ja) * | 1996-05-30 | 1997-12-12 | Mitsubishi Electric Corp | グラフィカルユーザインタフェース |
JP2002175142A (ja) * | 2000-12-08 | 2002-06-21 | Fuji Xerox Co Ltd | Gui装置およびgui画面表示プログラムを記録した記憶媒体 |
JP2007265330A (ja) * | 2006-03-30 | 2007-10-11 | Casio Hitachi Mobile Communications Co Ltd | 携帯型小型電子機器、および、プログラム |
Cited By (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP5635672B1 (ja) * | 2013-12-05 | 2014-12-03 | 株式会社 ディー・エヌ・エー | 画像処理装置及び画像処理プログラム |
JP2021515949A (ja) * | 2018-03-13 | 2021-06-24 | イングラム マイクロ インコーポレーテッド | Gui応答時間を改善するために予測ベースのguiを生成するシステム及び方法 |
JP7087098B2 (ja) | 2018-03-13 | 2022-06-20 | クラウドブルー エルエルシー | Gui応答時間を改善するために予測ベースのguiを生成するシステム及び方法 |
JP2022095655A (ja) * | 2018-03-13 | 2022-06-28 | クラウドブルー エルエルシー | Gui応答時間を改善するために予測ベースのguiを生成するシステム及び方法 |
US11669345B2 (en) | 2018-03-13 | 2023-06-06 | Cloudblue Llc | System and method for generating prediction based GUIs to improve GUI response times |
JP7416845B2 (ja) | 2018-03-13 | 2024-01-17 | クラウドブルー エルエルシー | Gui応答時間を改善するために予測ベースのguiを生成するシステム及び方法 |
Also Published As
Publication number | Publication date |
---|---|
JP5340774B2 (ja) | 2013-11-13 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN1873692B (zh) | 图像处理装置和方法 | |
CN1873690B (zh) | 图像处理设备和方法 | |
CN1873687B (zh) | 图像处理装置和方法 | |
CN1873688B (zh) | 图像处理设备、方法和存储有程序的存储介质 | |
EP2515222A1 (en) | Display control apparatus, method for controlling display, and program therefore | |
JP5760888B2 (ja) | 表示制御装置と画像形成装置とプログラム | |
JP6003832B2 (ja) | 画像表示装置、画像表示装置の制御方法、および画像表示装置の制御プログラム | |
US8970860B2 (en) | Image processing device that displays process sequence, display device and non-transitory computer readable recording medium | |
CN1873686B (zh) | 图像处理装置、方法以及存储程序的存储介质 | |
JP5825937B2 (ja) | 画像処理装置、その制御方法、及びプログラム | |
JP2021107988A (ja) | 情報処理装置及びプログラム | |
JP5340774B2 (ja) | ユーザインタフェース装置 | |
US20060204144A1 (en) | Image processing apparatus | |
JP2006078872A (ja) | 地図データ処理システム | |
JP4880414B2 (ja) | 入力表示装置、電子機器及び入力表示プログラム | |
JP5765364B2 (ja) | 画像処理装置、プレビュー画像を表示する方法、およびプログラム | |
JP2007115189A (ja) | 帳票処理装置、制御方法、およびプログラム | |
WO2012023318A1 (ja) | 画像処理装置、画像処理方法、画像処理プログラム及び記録媒体 | |
JP6512062B2 (ja) | 選択肢情報の提示システム、方法、及びプログラム | |
CN103731579B (zh) | 可设定多个设定项目的装置 | |
JP5321519B2 (ja) | 携帯端末、プログラム、解析処理方法 | |
JP6700965B2 (ja) | 画像処理装置、その制御方法、およびプログラム | |
JP4412550B2 (ja) | 画像表示装置および方法並びにプログラム | |
JP6274469B1 (ja) | 情報提供システム | |
US9088701B2 (en) | Image forming apparatus, jobs display and execution method, and recording medium |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20120224 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20121019 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20121211 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20130130 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20130507 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20130703 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20130723 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20130807 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 5340774 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
S111 | Request for change of ownership or part of ownership |
Free format text: JAPANESE INTERMEDIATE CODE: R313111 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
LAPS | Cancellation because of no payment of annual fees |