JP2008090454A - Gui generation device - Google Patents
Gui generation device Download PDFInfo
- Publication number
- JP2008090454A JP2008090454A JP2006268584A JP2006268584A JP2008090454A JP 2008090454 A JP2008090454 A JP 2008090454A JP 2006268584 A JP2006268584 A JP 2006268584A JP 2006268584 A JP2006268584 A JP 2006268584A JP 2008090454 A JP2008090454 A JP 2008090454A
- Authority
- JP
- Japan
- Prior art keywords
- gui
- user
- screen
- display
- remote control
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Withdrawn
Links
Images
Landscapes
- Details Of Television Systems (AREA)
- User Interface Of Digital Computer (AREA)
Abstract
Description
本発明は、グラフィカルユーザインタフェース(GUI:Graphical User Interface)を用いて操作する機器におけるGUIを提供するGUI生成装置に関する。 The present invention relates to a GUI generation apparatus that provides a GUI in a device operated using a graphical user interface (GUI).
近年、PC(Personal Computer:パーソナルコンピュータ)やデジタル家電と呼ばれる機器が急速に普及している。これらの機器は、GUIを用いて操作できるように構成されている場合が多い。GUIの採用は、機器本体やリモコン(リモートコントローラ)に設けられている機能ダイレクトボタンだけでは多機能機器を操作することが不可能になっていることが要因の1つであると言える。 In recent years, devices called PCs (Personal Computers) and digital home appliances are rapidly spreading. In many cases, these devices are configured to be operated using a GUI. It can be said that the adoption of the GUI is one of the reasons that it is impossible to operate a multifunction device only with a function direct button provided on the device main body or a remote controller (remote controller).
例えば、多機能化が進んでいる機器では、なるべくリモコンのボタンを減らして、見た目が使いやすそうなリモコンを目指しているものが多い。ボタンの少ないリモコンによる多機能機器の操作は、例えば、ディスプレイなどの画面上に表示された機能メニューGUIによって行われる。具体的には、画面上の機能メニューGUIにおいて、リモコンの上下左右ボタン、決定ボタン、戻るボタンによるGUIカーソルの移動が行われて、機能選択や機能実行などの操作が行われる。 For example, many multifunctional devices are aimed at remote controls that seem to be easy to use by reducing the buttons on the remote control as much as possible. The operation of the multi-function device by the remote controller with few buttons is performed by, for example, a function menu GUI displayed on a screen such as a display. Specifically, in the function menu GUI on the screen, the GUI cursor is moved by the up / down / left / right buttons, the enter button, and the return button of the remote controller, and operations such as function selection and function execution are performed.
しかしながら、上記の場合、リモコンはボタンが減って一見使いやすく見えるが、その分、画面上に多くの機能GUI部位(例えば、GUI画面上に表示される機能選択ボタン)が表示されたり、メニューが多階層によって構成されたりすることになる。その結果、ユーザによるGUI画面の操作が複雑かつ難しくなるという問題(すなわち、GUIの利便性が低下するという問題)が生じる。 However, in the above case, the remote control has a reduced number of buttons and looks easy to use. However, many function GUI parts (for example, function selection buttons displayed on the GUI screen) are displayed on the screen, and the menu is displayed. It will be composed of multiple layers. As a result, there arises a problem that the operation of the GUI screen by the user is complicated and difficult (that is, a problem that the convenience of the GUI is lowered).
また、ユーザが複雑なGUI画面操作を習得できたとしても、1画面上に表示される機能GUI部位数が多い場合や、メニュー階層が非常に深い位置にユーザの利用頻度の高い機能が存在する場合には、ユーザに多数のリモコンボタン押下回数を強いることになり、ユーザに多大なストレスをかけるという問題がある。これは、ユーザビリティ上の問題があるGUIを搭載した機器を使い続ける以上、避けることのできない問題である。 Also, even if the user can learn complicated GUI screen operations, there are a large number of function GUI parts displayed on one screen, or there are functions frequently used by the user at a very deep menu hierarchy. In this case, the user is forced to press a large number of remote control buttons, and there is a problem that a great stress is placed on the user. This is an unavoidable problem as long as a device equipped with a GUI having a usability problem is used continuously.
また、例えば下記の特許文献1には、ユーザの機器利用状況に基づいて、画面上の表示部位を適応的に変化させる方法が開示されている。この特許文献1では、ディスプレイへのユーザの視線(ユーザがディスプレイ上のどこを見ているか)を追跡することが可能な凝視追跡装置を設置し、ユーザによる画面上の凝視エリアを監視して、ユーザの凝視エリアをユーザが関心を持っているエリアと判断し、凝視エリアを拡大表示することで、表示コンテンツの視認性を確保できるようにしている。
しかしながら、特許文献1に開示されている方法によれば、コンテンツ情報の一部を拡大することによってユーザの視認性を確保することが可能である一方、ユーザの操作に対する利便性の向上(GUIのユーザビリティの向上)に関しては言及されていない。すなわち、特許文献1に開示されている方法では、視認性に優れたコンテンツ表示は実現可能であるが、GUIの操作性及び利便性を向上させることは不可能である。 However, according to the method disclosed in Patent Document 1, it is possible to ensure the visibility of the user by enlarging a part of the content information, while improving the convenience for the user's operation (GUI There is no mention of (enhancing usability). That is, with the method disclosed in Patent Document 1, it is possible to display content with excellent visibility, but it is impossible to improve the operability and convenience of the GUI.
上記の問題に鑑み、本発明は、ユーザによるGUIの操作を支援するため、操作性及び利便性に優れたGUIを生成するGUI生成装置を提供することを目的とする。 In view of the above problems, an object of the present invention is to provide a GUI generation apparatus that generates a GUI excellent in operability and convenience in order to assist a user in operating a GUI.
上記目的を達成するため、本発明によれば、表示画面に表示されるGUI画面を用いて所定の装置に対してユーザによって行われる操作、又は操作しているユーザの行動を検知する行動検知手段と、
前記検知手段による検知結果に基づいて、ユーザが前記GUI画面上で注目しているGUI部位を特定し、特定された前記GUI部位が強調して表示されるように、前記GUI部位の配列、前記GUI部位のサイズ、前記GUI部位の文字サイズ、前記GUI部位の文字フォントのいずれか1つ又は複数の表示パラメータを変更する状況判断手段と、
前記状況判断手段によって変更された表示パラメータに基づいて、前記GUI部位を含む前記GUI画面を生成するGUI生成手段と、
前記GUI生成手段によって生成された前記GUI画面を前記表示画面に表示する表示手段とを、
有するGUI生成装置が提供される。
In order to achieve the above object, according to the present invention, an operation performed by a user on a predetermined device using a GUI screen displayed on a display screen, or a behavior detection means for detecting the behavior of a user who is operating When,
Based on the detection result by the detection means, the GUI part that the user is paying attention on the GUI screen is specified, and the GUI part array is arranged so that the specified GUI part is highlighted and displayed. A situation determination means for changing one or more display parameters of the size of the GUI part, the character size of the GUI part, and the character font of the GUI part;
GUI generation means for generating the GUI screen including the GUI part based on the display parameter changed by the situation determination means;
Display means for displaying the GUI screen generated by the GUI generation means on the display screen;
A GUI generation apparatus is provided.
また、上記の目的を達成するため、本発明によれば、上記のGUI生成装置とネットワークを介して接続可能であり、前記請求項1に記載のGUI生成装置の前記状況判断手段によって変更された前記表示パラメータを取得することが可能なネットワーク接続手段と、
前記ネットワーク接続手段で取得された前記表示パラメータに基づいて、前記GUI部位を含む前記GUI画面を生成するGUI生成手段と、
前記GUI生成手段によって生成された前記GUI画面を前記表示画面に表示する表示手段とを、
有するGUI生成装置が提供される。
In order to achieve the above object, according to the present invention, the GUI generation device can be connected via a network, and has been changed by the situation determination unit of the GUI generation device according to claim 1. Network connection means capable of acquiring the display parameters;
GUI generating means for generating the GUI screen including the GUI part based on the display parameter acquired by the network connecting means;
Display means for displaying the GUI screen generated by the GUI generation means on the display screen;
A GUI generation apparatus is provided.
また、上記の目的を達成するため、本発明によれば、表示画面に表示されるGUI画面を用いて所定の装置に対してユーザによって行われるリモコン操作及びユーザの視線を検知する行動検知手段と、
時間の情報を含む時間信号を出力するタイマと、
前記タイマから供給される前記時間信号に基づいて前記ユーザによるリモコン操作が行われない時間が所定の無操作設定時間を超え、かつ前記ユーザが前記表示画面の特定の箇所を注視している時間が所定の注視設定時間に満たないと判断された場合に、前記ユーザが前記GUI画面の操作に迷っているか否かを判定し、ユーザが前記GUI画面の操作に迷っている場合には、前記表示画面上のGUI画面の操作方法の説明を行う旨を決定する状況判断手段と、
前記状況判断手段によって前記表示画面上のGUI画面の操作方法の説明を行う旨が決定された場合、前記表示画面上のGUI画面の操作方法を説明するGUIガイド情報を作成するGUIガイド手段と、
前記GUIガイド手段によって作成された前記GUIガイド情報を報知する報知手段とを、
有するGUI生成装置が提供される。
In order to achieve the above object, according to the present invention, a remote control operation performed by a user on a predetermined device using a GUI screen displayed on a display screen, and a behavior detection unit that detects a user's line of sight ,
A timer that outputs a time signal including time information;
Based on the time signal supplied from the timer, a time during which the user does not perform a remote control operation exceeds a predetermined no-operation setting time, and a time during which the user is gazing at a specific part of the display screen When it is determined that the predetermined gaze setting time is not reached, it is determined whether or not the user is confused about the operation of the GUI screen. If the user is confused about the operation of the GUI screen, the display A situation determination means for deciding to explain the operation method of the GUI screen on the screen;
GUI guide means for creating GUI guide information for explaining the operation method of the GUI screen on the display screen when the situation determination means determines to explain the operation method of the GUI screen on the display screen;
Informing means for informing the GUI guide information created by the GUI guide means,
A GUI generation apparatus is provided.
また、上記の目的を達成するため、本発明によれば、表示画面に表示されるGUI画面を用いて所定の装置に対してユーザによって行われるリモコン操作を検知する行動検知手段と、
時間の情報を含む時間信号を出力するタイマと、
前記GUI画面の操作に置いて行われる通常の操作の流れを示す操作パターン情報があらかじめ格納されている操作パターン格納手段と、
前記タイマから供給される前記時間信号に基づいて前記ユーザによるリモコン操作が行われない時間が所定の無操作設定時間を超えたと判断された場合に、前記ユーザによるリモコン操作が、前記操作パターン格納手段に格納されている前記操作パターン情報によって示される前記通常の操作の流れから逸脱していないか否かを判断し、前記ユーザによるリモコン操作が前記通常の操作の流れから逸脱している場合には、前記表示画面上のGUI画面の操作方法の説明を行う旨を決定する状況判断手段と、
前記状況判断手段によって前記表示画面上のGUI画面の操作方法の説明を行う旨が決定された場合、前記表示画面上のGUI画面の操作方法を説明するGUIガイド情報を作成するGUIガイド手段と、
前記GUIガイド手段によって作成された前記GUIガイド情報を報知する報知手段とを、
有するGUI生成装置が提供される。
In order to achieve the above object, according to the present invention, behavior detecting means for detecting a remote control operation performed by a user on a predetermined device using a GUI screen displayed on a display screen,
A timer that outputs a time signal including time information;
An operation pattern storage means in which operation pattern information indicating a normal operation flow performed in the operation of the GUI screen is stored in advance;
Based on the time signal supplied from the timer, when it is determined that a time during which the user does not perform a remote control operation exceeds a predetermined no-operation set time, the remote control operation by the user is performed by the operation pattern storage unit. If the remote control operation by the user deviates from the normal operation flow, it is determined whether or not the normal operation flow indicated by the operation pattern information stored in the , A situation determination means for determining to explain the operation method of the GUI screen on the display screen;
GUI guide means for creating GUI guide information for explaining the operation method of the GUI screen on the display screen when the situation determination means determines to explain the operation method of the GUI screen on the display screen;
Informing means for informing the GUI guide information created by the GUI guide means,
A GUI generation apparatus is provided.
本発明のGUI生成装置は、ユーザによるGUIの操作を支援するため、操作性及び利便性に優れたGUIを生成することができるという効果を有している。また、ユーザの機器操作に適応したGUIを生成、表示することによって、ユーザに適したGUI操作環境を提供できるという効果を有している。また、特に、ユーザの行動履歴(操作履歴)に応じたGUIを生成したり、ユーザが操作に迷っているときにはGUI操作の説明を行ったりすることによって、GUI操作の操作性及び利便性を向上させるという効果を有している。 The GUI generation apparatus of the present invention has an effect of generating a GUI that is excellent in operability and convenience because it supports the GUI operation by the user. In addition, by generating and displaying a GUI adapted to the user's device operation, there is an effect that a GUI operation environment suitable for the user can be provided. In particular, it improves the operability and convenience of GUI operations by generating a GUI according to the user's behavior history (operation history) or explaining the GUI operation when the user is at a loss. Has the effect of
以下、図面を参照しながら、本発明の第1〜第5の実施の形態について説明する。なお、本発明の第1〜第5の実施の形態におけるGUI生成装置は、任意のGUIに係るユーザの利便性を向上させるためのものである。本発明の第1〜第5の実施の形態におけるGUI生成装置は、例えば、放送番組を記録するレコーダやPCに組み込まれて、レコーダやPCの操作を行うためのGUIに係る処理を行うことが可能である。 Hereinafter, first to fifth embodiments of the present invention will be described with reference to the drawings. In addition, the GUI production | generation apparatus in the 1st-5th embodiment of this invention is for improving the convenience of the user who concerns on arbitrary GUI. The GUI generation apparatus according to the first to fifth embodiments of the present invention is incorporated in, for example, a recorder or PC that records a broadcast program, and performs processing related to a GUI for operating the recorder or the PC. Is possible.
<第1の実施の形態>
まず、本発明の第1の実施の形態について説明する。最初に、本発明の第1の実施の形態におけるGUI生成装置の構成について説明する。図3は、本発明の第1の実施の形態におけるGUI生成装置の一例を示すブロック図である。
<First Embodiment>
First, a first embodiment of the present invention will be described. Initially, the structure of the GUI production | generation apparatus in the 1st Embodiment of this invention is demonstrated. FIG. 3 is a block diagram illustrating an example of a GUI generation device according to the first embodiment of this invention.
図3に図示されているGUI生成装置は、行動検知部8、状態判断部9、GUI生成部10、GUI表示部11、パラメータ格納部20を有している。行動検知部8は、ユーザによるGUI生成装置の操作に関連するユーザの行動を検知する機能を有している。行動検知部8は、例えば、リモコン操作、顔の向き、視線、瞬目、発話などのユーザの行動を検知する機能を有している。なお、ユーザの行動は、上記のリモコン操作、顔の向き、視線、瞬目、発話などに限定されるものではなく、その他の任意のユーザ動作であってもよい。
The GUI generation device illustrated in FIG. 3 includes a
行動検知部8は、例えば、ユーザの操作によってリモコンから発せられた信号(GUI生成装置本体のリモコン受光部で受ける信号)と、それに伴って遷移するGUI表示部10の画面の状態から、リモコン操作の操作ログを記録することが可能である。
For example, the
また、行動検知部8において、視線、瞬目や発話などのユーザの行動を検知するためには、図1や図2に示すように、GUI生成装置が組み込まれた機器(あるいは、GUI生成装置本体)やリモコンに設置されたカメラ3やマイク4を利用することが可能である。例えば視線に関しては、公知の視線検出技術を用いて、ユーザが画面上のどこを見ているかを検出することが可能である。また、視線検出技術や単純なカメラ映像の処理によって、ユーザの瞬目を検出することも可能である。
In addition, in order to detect a user's behavior such as a line of sight, a blink or an utterance in the
また、ユーザの発話音声に関しては、公知の能動制御技術を用いて、マイク4に入力された信号からテレビ音声をキャンセルすることで得ることが可能である。あるいは、公知の音声認識技術を用いて、マイク4に入力された信号からユーザの発話音声を検出も可能である。また、ユーザの顔の向きやその他のユーザの行動を検知する方法に関しても、それぞれの行動に応じた従来の検知方法を利用することが可能である。 The user's voice can be obtained by canceling the television voice from the signal input to the microphone 4 using a known active control technique. Alternatively, it is possible to detect the user's uttered voice from the signal input to the microphone 4 using a known voice recognition technique. In addition, regarding the method of detecting the orientation of the user's face and other user's actions, it is possible to use a conventional detection method corresponding to each action.
また、状況判断部9は、行動検知部8から供給されたデータから、ユーザの特徴的な行動を抽出し、抽出されたユーザの特徴的な行動に基づいて、それまで表示されていたGUIを再構成するかどうかを判断する機能を有している。さらに、状況判断部9は、GUIを再構成する場合の変更内容(再構成されたGUIを設定する変更パラメータ)について決定する。状況判断部9で決定された変更内容は、GUI生成部10に供給される。なお、状況判断部9は、ユーザの特徴的な行動に基づいてGUIの再構成用の変更パラメータをパラメータ格納部20に記録することも可能である。
Further, the
また、GUI生成部10は、状況判断部9によってGUIの再構成が決定された場合に、その変更内容に基づいてGUIを変更、生成する機能を有している。また、GUI表示部11は、GUI生成部10によって生成されたGUIを表示する機能を有している。
Further, the
次に、本発明の第1の実施の形態におけるGUI生成装置の動作について説明する。図4は、本発明の第1の実施の形態におけるGUI生成装置の動作の一例を示すフローチャートである。 Next, the operation of the GUI generation device according to the first embodiment of the present invention will be described. FIG. 4 is a flowchart showing an example of the operation of the GUI generation device according to the first embodiment of the present invention.
図4において、まず行動検知部8によって、ユーザの行動の検知処理が開始される(ステップS101)。次に、GUI表示部11にGUI操作画面が映っており、GUI生成装置がユーザによってGUI操作可能な状態か否かが判断される(ステップS102)。
In FIG. 4, first, the
GUI表示部11にGUI操作画面が映っている場合には、状況判断部9によって、ユーザがGUI操作画面上の特定部位に注目しているか否かの判断が行われる(ステップS103)。ユーザによるGUI操作画面上の注目部位が特に存在しない場合には、引き続きユーザの行動(ユーザ操作やユーザの視線、顔の向きなど)の検知処理が継続される。
When the GUI operation screen is displayed on the
一方、ユーザがGUI操作画面のある部位に注目していると判断された場合には、状況判断部9によって、注目部位を強調して表示するように、GUI部位の再配列、GUI部位サイズ、文字サイズ、文字フォント(例えば文字飾り)などの変更パラメータが決定され、GUI生成部10によって、決定された変更パラメータに基づくGUIが生成される(ステップS104)。そして、GUI生成部10によって生成されたGUIはGUI表示部11に渡されて、GUI表示部11によってGUI再表示が行われる(ステップS105)。
On the other hand, when it is determined that the user is paying attention to a certain part on the GUI operation screen, the
なお、GUI生成部10及びGUI表示部11の処理は、ユーザの操作中にリアルタイムに行われてもよいが、ユーザの操作中にGUI操作画面が次々と変化してしまうとユーザの混乱を招くおそれがあるので、いったんユーザの操作が終了した後に、新たに生成されたGUIが反映されるようにしてもよい。この場合、例えば、状況判断部9で決定された変更パラメータがパラメータ格納部20に記録され、GUI操作画面がいったん閉じられて再度同一のGUI操作画面が表示されたときに、この変更パラメータに基づく変更GUI(新たに生成されたGUI)が反映されて表示されるようにすることも可能である。また、所定のタイミング(例えば翌日)で、変更GUI(新たに生成されたGUI)が反映されて表示されるようにすることも可能である。
Note that the processing of the
また、上述の動作では、1回のユーザ操作におけるユーザの行動に基づいてGUIの再構成が行われているが、複数回のユーザ操作に係るユーザの行動を蓄積しておき、ユーザ操作におけるユーザの行動の傾向を判断して、GUIを変更することも可能である。これにより、例えばユーザが選択する頻度が高いGUI部位が、ユーザによって選択しやすくなるように、GUI部位の配置や変更が行われる。 In the above-described operation, the GUI is reconfigured based on the user's action in one user operation. However, the user's action related to a plurality of user operations is accumulated, and the user in the user operation is stored. It is also possible to change the GUI by judging the tendency of the action. Thereby, for example, the GUI part is arranged or changed so that a GUI part that is frequently selected by the user can be easily selected by the user.
次に、図12及び図13を参照しながら、GUI表示の変更に関する具体例について説明する。図12は、本発明の第1の実施の形態に係る再構成前のGUI操作画面の一例を示す図であり、図13は、本発明の第1の実施の形態に係る再構成後のGUI操作画面の一例を示す図である。なお、図12及び図13には、番組予約に係る詳細設定を行うための画面(予約−詳細設定画面)が図示されている。この予約−詳細設定画面によって、録画先の設定、上書き録画の設定、録画モードの設定、二ヶ国語音声(主音声/副音声)の設定、ディスク互換の設定、ジャンルの設定、スポーツ延長及びドラマ延長の設定が可能である。 Next, a specific example relating to the change of the GUI display will be described with reference to FIGS. FIG. 12 is a diagram showing an example of a GUI operation screen before reconfiguration according to the first embodiment of the present invention, and FIG. 13 is a GUI after reconfiguration according to the first embodiment of the present invention. It is a figure which shows an example of an operation screen. 12 and 13 show a screen (reservation-detail setting screen) for making detailed settings related to program reservation. This reservation-detail setting screen allows you to set the recording destination, overwrite recording setting, recording mode setting, bilingual audio (main audio / sub audio) setting, disc compatibility setting, genre setting, sports extension and drama. Extension can be set.
図12に図示されている画面は、特定のユーザの行動が反映されていない予約−詳細設定画面であり、出荷時の初期設定に基づいて各機能を選択するための機能GUI部位が画面に均等に配置されている。 The screen shown in FIG. 12 is a reservation-detail setting screen in which the action of a specific user is not reflected, and the function GUI part for selecting each function based on the initial setting at the time of shipment is even on the screen. Is arranged.
一方、図13に図示されている画面は、図12に図示されている画面において、ユーザの行動を考慮して利便性の向上が図られた画面である。図13に図示されている画面では、ユーザの操作において選択される傾向の高い機能GUI部位(録画先の設定、二ヶ国語音声の設定、上書き録画の設定、スポーツ延長及びドラマ延長の設定に関連した5つの機能GUI部位)が、他の機能GUI部位に比べてユーザによって選択しやすい表示を有している。具体的には、ユーザの操作において選択される傾向の高い5つの機能GUI部位は、ユーザの目に留まりやすい画面の左側(さらには上側)に配置され、GUI部位サイズも変更前に比べて大きくなっている。さらに、これらの5つの機能GUI部位内の文字サイズも大きくなっており、文字のスタイルも太字に変更されることによって、ユーザの目に留まりやすい表示設定に変更されている。これによって、ユーザの操作において選択される傾向の高い機能GUI部位がユーザの目に留まりやすい表示となるように、GUIの再構成を行うことが可能となる。 On the other hand, the screen illustrated in FIG. 13 is a screen in which convenience is improved in consideration of user behavior in the screen illustrated in FIG. 12. In the screen shown in FIG. 13, a function GUI part (a recording destination setting, a bilingual voice setting, an overwrite recording setting, a sports extension and a drama extension setting, which are likely to be selected by a user operation, is displayed. The five functional GUI parts) have a display that can be easily selected by the user as compared with the other functional GUI parts. Specifically, the five function GUI parts that are likely to be selected in the user's operation are arranged on the left side (and the upper side) of the screen that is easily noticed by the user, and the GUI part size is also larger than before the change. It has become. Furthermore, the character size in these five function GUI parts is also increased, and the character style is also changed to bold so that the display settings are easily changed by the user. This makes it possible to reconfigure the GUI so that a functional GUI part that tends to be selected in the user's operation is easily displayed to the user's eyes.
以上、説明したように、本発明の第1の実施の形態によれば、ユーザの行動(ユーザの興味の対象やユーザによる機器操作)を監視し、GUI操作画面上でユーザが注目している部位がある場合には、その注目部位を強調して表示するようにGUIを再生成することで、ユーザの操作傾向や癖に基づいたGUIが自動的に生成され、より利便性に優れたGUIをユーザに提供することが可能となる。特に、本発明の第1の実施の形態によれば、GUI部位に表示されるテキストの視認性を向上することができる、ユーザに適した(ユーザの操作癖に合わせた)GUI部位を構成要素としたGUI操作画面を構成することができる、ユーザに適した(ユーザの操作癖に合わせた)GUI部位の配置を有するGUI操作画面を構成することができるなどの効果を実現することが可能であり、GUIの操作効率が向上されるようになる。 As described above, according to the first embodiment of the present invention, the user's behavior (object of interest of the user and device operation by the user) is monitored, and the user pays attention on the GUI operation screen. If there is a part, a GUI based on the user's operation tendency and habit is automatically generated by regenerating the GUI so that the target part is highlighted and displayed, and the GUI is more convenient. Can be provided to the user. In particular, according to the first embodiment of the present invention, it is possible to improve the visibility of text displayed on the GUI part, and to make the GUI part suitable for the user (according to the user's operation stick) as a component. The GUI operation screen can be configured, and a GUI operation screen having a GUI part arrangement suitable for the user (according to the user's operation habit) can be configured. Yes, the GUI operation efficiency is improved.
<第2の実施の形態>
次に本発明の第2の実施の形態について説明する。まず、本発明の第2の実施の形態におけるGUI生成装置の構成について説明する。図5は、本発明の第2の実施の形態におけるGUI生成装置の一例を示すブロック図である。
<Second Embodiment>
Next, a second embodiment of the present invention will be described. First, the configuration of the GUI generation device according to the second embodiment of the present invention will be described. FIG. 5 is a block diagram illustrating an example of a GUI generation apparatus according to the second embodiment of the present invention.
図5に図示されているGUI生成装置は、行動検知部8、状態判断部9、GUI生成部10、GUI表示部11、タイマ12、GUIガイド部13、パラメータ格納部20を有している。
The GUI generation device illustrated in FIG. 5 includes a
図5に図示されている行動検知部8、GUI生成部10、GUI表示部11、パラメータ格納部20は、図3に図示されている行動検知部8と同一の機能を有しており、ここでは説明を省略する。
The
一方、図5に図示されている状況判断部9は、基本的には図3に図示されている状況判断部9と同一の機能を有しているが、さらに、タイマ12によって計測された時間に基づいてユーザの行動に関する時間(ユーザ操作に関する時間)を判断基準としてGUIを再構成するかどうかを判断する機能を有している。
On the other hand, the
例えば、状況判断部9は、行動検知部8から供給されるユーザの行動とタイマ12による計時とに基づいて、ユーザがリモコンを操作していない時間(無操作時間)を計測し、無操作時間が所定の時間を超えた場合には、GUIガイド部13に対して、ユーザが注目しているGUI部位の説明や操作方法の説明などのガイド情報を作成するように指示することが可能である。
For example, the
また、タイマ12は、状況判断部9がユーザの行動検知によって得られたデータからユーザの状況を判断するための時間計測を行う機能を有している。例えば、タイマ12は、時間を計測して、その計時情報を状況判断部9に供給する機能を有している。また、GUIガイド部13は、各GUI部位の説明や操作方法の説明など、ユーザの操作を支援するためのガイド情報を生成する機能を有している。このガイド情報は、例えば、GUI表示部11上に表示されるテキストであってもよく、また、テキスト表示に加えて出力されるテキスト読み上げ音声であってもよい。さらには、ガイド情報は、例えば、GUI表示部11上に表示される静止画像や動画像であってもよい。
The
次に、本発明の第2の実施の形態におけるGUI生成装置の動作について説明する。図6は、本発明の第2の実施の形態におけるGUI生成装置の動作の一例を示すフローチャートである。なお、ここでは、状況判断部9がユーザの無操作時間を判断基準として、ユーザに対してGUIのガイド情報を報知するか否かを決定する場合の動作について説明する。
Next, the operation of the GUI generation device according to the second embodiment of the present invention will be described. FIG. 6 is a flowchart showing an example of the operation of the GUI generation device according to the second embodiment of the present invention. Here, an operation in the case where the
図6において、まず行動検知部8によって、ユーザの行動の検知処理が開始される(ステップS201)。次に、GUI表示部11にGUI操作画面が映っており、GUI生成装置がユーザによってGUI操作可能な状態か否かが判断される(ステップS202)。
In FIG. 6, first, the
GUI表示部11にGUI操作画面が映っている場合には、状況判断部9は、ユーザの無操作時間を監視し、ユーザの無操作時間が所定の設定時間を超えたか否かを判断する(ステップS203)。そして、無操作時間が所定の設定時間を超えた場合には、状況判断部9によって、ユーザがGUI操作画面上の特定部位に注目しているか否かの判断が行われる(ステップS204)。
When the GUI operation screen is displayed on the
ユーザがGUI操作画面のある部位に注目していると判断された場合には、例えばユーザは特定のコンテンツを熟読しているとみなされ、状況判断部9によって、注目部位を強調して表示するように、GUI部位の再配列、GUI部位サイズ、文字サイズ、文字フォント(例えば文字飾り)などの変更パラメータが決定され、GUI生成部10によって、決定された変更パラメータに基づくGUIが生成される(ステップS205)。そして、GUI生成部10によって生成されたGUIはGUI表示部11に渡されて、GUI表示部11によってGUI再表示が行われる(ステップS206)。なお、ステップS206におけるGUI再表示は、上述のように、リアルタイムに行われてもよく、あるいは後に同一のGUI操作画面が表示された際に、変更パラメータに基づくGUI再構成が行われてもよい。
When it is determined that the user is paying attention to a certain part on the GUI operation screen, for example, the user is considered to have read the specific content, and the
また、ユーザによるGUI操作画面上の注目部位が特に存在しない場合には、ユーザはGUI操作に迷っており、所定の設定時間よりも長い間、操作できずに目が泳いでいる状態になっているとみなされ、ユーザに対してGUI操作画面を説明するためのガイド情報の作成及び報知(GUI操作ガイド処理)を行う(ステップS207)。 In addition, when there is no particular area of interest on the GUI operation screen by the user, the user is lost in the GUI operation, and is unable to operate for a longer time than the predetermined set time, and the eyes are swimming. Therefore, the guide information is created and notified (GUI operation guide processing) for explaining the GUI operation screen to the user (step S207).
ステップS207のGUI操作ガイド処理において、各GUI部位の説明を行う順序は、例えば、ユーザの視線移動の情報に基づいて、視線の停留時間が長いGUI部位から順にGUI部位の説明を行うようにしてもよい。また、GUI操作ガイド処理を開始した場合であっても、ユーザによって機能GUI部位の選択などの操作が行われた場合には、GUI操作ガイド処理を途中で終了して、ユーザのGUI操作に従った処理を行うことが望ましい。 In the GUI operation guide process in step S207, the GUI parts are described in the order in which the GUI parts are described in order from the GUI part having a long gaze stop time based on the information of the user's eye movement, for example. Also good. Even when the GUI operation guide process is started, if the user performs an operation such as selection of a function GUI part, the GUI operation guide process is terminated halfway and the user's GUI operation is followed. It is desirable to perform processing.
以上、説明したように、本発明の第2の実施の形態によれば、ユーザの行動(ユーザの興味の対象やユーザによる機器操作)を監視し、例えば、ユーザがリモコン操作をしていない時間が長い場合には、ユーザがGUI操作に迷っていると判断し、さらに、GUI操作画面上でユーザが特に注目している部位がない場合には、ユーザの目が泳いでいると判断することが可能である。そして、例えば、ユーザがGUI操作に迷っており、かつユーザの目が泳いでいるような場合には、GUI操作画面や各GUI部位などの説明をユーザに提供することでGUI操作の支援を行い、GUIの操作効率を向上させることが可能となる。 As described above, according to the second embodiment of the present invention, the user's behavior (object interest of the user or device operation by the user) is monitored, for example, the time when the user is not performing the remote control operation. If the user's eye is long, it is determined that the user is confused by the GUI operation, and further, if there is no part that the user is particularly interested in on the GUI operation screen, it is determined that the user's eyes are swimming Is possible. For example, when the user is lost in the GUI operation and the user's eyes are swimming, the GUI operation is supported by providing the user with an explanation of the GUI operation screen and each GUI part. It is possible to improve the GUI operation efficiency.
<第3の実施の形態>
次に、本発明の第3の実施の形態について説明する。まず、本発明の第3の実施の形態におけるGUI生成装置の構成について説明する。図7は、本発明の第3の実施の形態におけるGUI生成装置の一例を示すブロック図である。
<Third Embodiment>
Next, a third embodiment of the present invention will be described. First, the configuration of the GUI generation device according to the third embodiment of the present invention will be described. FIG. 7 is a block diagram illustrating an example of a GUI generation apparatus according to the third embodiment of the present invention.
図7に図示されているGUI生成装置は、図5に図示されているGUI生成装置に加えて、さらにパターン格納部21を有している。このパターン格納部21には、任意のGUI操作画面のそれぞれにおける典型的な操作パターン(通常行われ得る操作の流れを示す情報)があらかじめ格納されており、状況判断部9は、この操作パターンを参照することが可能である。
The GUI generation apparatus illustrated in FIG. 7 further includes a
また、状況判断部9は、さらに、行動検知部8から得られる特定のGUI操作画面におけるユーザの行動履歴(例えば、視線移動履歴やリモコン操作履歴など)と、パターン格納部21から得られる特定のGUI操作画面における操作パターンとのマッチングを行い、ユーザの行動が典型低な操作パターンから大きく外れている場合には、GUIガイド部13にガイド情報の作成及び報知を行うように指示する機能を有している。
Further, the
次に、本発明の第3の実施の形態におけるGUI生成装置の動作について説明する。図8は、本発明の第3の実施の形態におけるGUI生成装置の動作の一例を示すフローチャートである。 Next, the operation of the GUI generation device according to the third embodiment of the present invention will be described. FIG. 8 is a flowchart showing an example of the operation of the GUI generation device according to the third embodiment of the present invention.
図8において、まず行動検知部8によって、ユーザの行動の検知処理が開始される(ステップS301)。次に、GUI表示部11にGUI操作画面が映っており、GUI生成装置がユーザによってGUI操作可能な状態か否かが判断される(ステップS302)。
In FIG. 8, first, the
GUI表示部11にGUI操作画面が映っている場合には、状況判断部9は、ユーザの無操作時間を監視し、ユーザの無操作時間が所定の設定時間を超えたか否かを判断する(ステップS303)。そして、無操作時間が所定の設定時間を超えた場合には、状況判断部9によって、ユーザがGUI操作画面上の特定部位に注目しているか否かの判断が行われる(ステップS304)。
When the GUI operation screen is displayed on the
ユーザがGUI操作画面のある部位に注目していると判断された場合には、例えばユーザは特定のコンテンツを熟読しているとみなされ、状況判断部9によって、注目部位を強調して表示するように、GUI部位の再配列、GUI部位サイズ、文字サイズ、文字フォント(例えば文字飾り)などの変更パラメータが決定され、GUI生成部10によって、決定された変更パラメータに基づくGUIが生成される(ステップS305)。そして、GUI生成部10によって生成されたGUIはGUI表示部11に渡されて、GUI表示部11によってGUI再表示が行われる(ステップS306)。なお、ステップS306におけるGUI再表示は、上述のように、リアルタイムに行われてもよく、あるいは後に同一のGUI操作画面が表示された際に、変更パラメータに基づくGUI再構成が行われてもよい。
When it is determined that the user is paying attention to a certain part on the GUI operation screen, for example, the user is considered to have read the specific content, and the
また、ユーザによるGUI操作画面上の注目部位が特に存在しない場合には、ユーザはGUI操作に迷っており、所定の設定時間よりも長い間、操作できずに目が泳いでいる状態になっているとみなされ、ユーザに対してGUI操作画面を説明するためのガイド情報の作成及び報知(GUI操作ガイド処理)を行う(ステップS307)。 In addition, when there is no particular area of interest on the GUI operation screen by the user, the user is lost in the GUI operation, and is unable to operate for a longer time than the predetermined set time, and the eyes are swimming. Therefore, the guide information is generated and notified (GUI operation guide processing) for explaining the GUI operation screen to the user (step S307).
一方、ステップS303で無操作時間が所定の設定時間以下である場合には、それまでのユーザのリモコン操作の履歴やユーザの視線移動の履歴などから得られるユーザの操作パターンと、パターン格納部21に格納されている通常の操作に係る操作パターンとを比較してこれらの適合の程度を検証する(ステップS308)。そして、ユーザの操作パターンと、パターン格納部21に格納されている一般的な操作パターンとが適合している場合には、ユーザの操作がスムーズに行われているとみなされ、特にGUIの再構成は行われずに処理は終了となる。なお、このとき、ステップS305に進んで、例えば次に行われることが予想される操作に係る機能GUI部位を強調するようなGUIを再構成してもよい。
On the other hand, if the no-operation time is equal to or shorter than the predetermined set time in step S303, the user's operation pattern obtained from the user's remote control operation history, the user's line-of-sight movement history, and the like, and the
また、ユーザの操作パターンと、パターン格納部21に格納されている操作フローパターンとが適合しない場合には、ユーザがGUI操作に迷って試行錯誤している状態にあるとみなして、ユーザに対してGUI操作画面を説明するためのガイド情報の作成及び報知(GUI操作ガイド処理)を行う(ステップS307)。
If the user's operation pattern and the operation flow pattern stored in the
以上、説明したように、本発明の第3の実施の形態によれば、ユーザの行動(ユーザの興味の対象やユーザによる機器操作)を監視し、例えばユーザがリモコン操作をしていない時間が短い場合(ユーザがリモコン操作を行っている場合)には、ユーザのリモコン操作や視線移動の履歴(ユーザの操作パターン)を収集し、これらのユーザの操作パターンが一般的な操作パターンから大きく逸脱した場合に、ユーザが試行錯誤しながら操作に迷っていると判断することが可能である。そして、ユーザが試行錯誤しながら操作に迷っているような場合には、GUI操作画面や各GUI部位などの説明をユーザに提供することでGUI操作の支援を行い、GUIの操作効率を向上させることが可能となる。 As described above, according to the third embodiment of the present invention, the user's behavior (the object of interest of the user and the device operation by the user) is monitored, for example, the time when the user is not performing the remote control operation. If it is short (when the user is performing remote control operations), the user's remote control operations and eye movement history (user operation patterns) are collected, and these user operation patterns deviate significantly from general operation patterns. In such a case, it is possible to determine that the user is confused with the operation through trial and error. If the user is confused about the operation through trial and error, the GUI operation is supported by providing the user with an explanation of the GUI operation screen and each GUI part, and the GUI operation efficiency is improved. It becomes possible.
<第4の実施の形態>
次に、本発明の第4の実施の形態について説明する。まず、本発明の第4の実施の形態におけるGUI生成装置の構成について説明する。図9は、本発明の第4の実施の形態におけるGUI生成装置の一例を示すブロック図である。
<Fourth embodiment>
Next, a fourth embodiment of the present invention will be described. First, the configuration of the GUI generation device according to the fourth embodiment of the present invention will be described. FIG. 9 is a block diagram showing an example of a GUI generation apparatus according to the fourth embodiment of the present invention.
図9に図示されているGUI生成装置は、図7に図示されているGUI生成装置に加えて、さらに個別ユーザ行動蓄積部22を有している。この個別ユーザ行動蓄積部22には、GUI操作における各ユーザのリモコン操作、顔の向き、視線、瞬目、発話などの行動データを蓄積する機能を有しており、状況判断部9は、蓄積された各ユーザの行動データを参照することが可能である。なお、GUI生成装置が組み込まれた機器を利用するユーザが複数存在する場合には、例えば、各ユーザを識別情報(ID)で管理し、各ユーザの行動データがそれぞれ独立して蓄積されることが望ましい。
The GUI generation device illustrated in FIG. 9 further includes an individual user
また、状況判断部9は、さらに、個別ユーザ行動蓄積部22に格納されているユーザの行動データに基づいて、GUIの再構成を行う機能を有している。
Further, the
次に、本発明の第4の実施の形態におけるGUI生成装置の動作について説明する。図10は、本発明の第4の実施の形態におけるGUI生成装置の動作の一例を示すフローチャートである。 Next, the operation of the GUI generation device according to the fourth embodiment of the present invention will be described. FIG. 10 is a flowchart showing an example of the operation of the GUI generation device according to the fourth embodiment of the present invention.
図10において、まず行動検知部8によって、ユーザの行動の検知処理が開始される(ステップS401)。次に、GUI表示部11にGUI操作画面が映っており、GUI生成装置がユーザによってGUI操作可能な状態か否かが判断される(ステップS402)。
In FIG. 10, first, the
GUI表示部11にGUI操作画面が映っている場合には、状況判断部9は、ステップS401で検知されたユーザの行動を個別ユーザ行動蓄積部22に蓄積する(ステップS403)。また、状況判断部9は、ユーザの無操作時間を監視し、ユーザの無操作時間が所定の設定時間を超えたか否かを判断する(ステップS404)。そして、無操作時間が所定の設定時間を超えた場合には、状況判断部9によって、ユーザがGUI操作画面上の特定部位に注目しているか否かの判断が行われる(ステップS405)。
When the GUI operation screen is displayed on the
ユーザがGUI操作画面のある部位に注目していると判断された場合には、例えばユーザは特定のコンテンツを熟読しているとみなされ、状況判断部9によって、注目部位を強調して表示するように、GUI部位の再配列、GUI部位サイズ、文字サイズ、文字フォント(例えば文字飾り)などの変更パラメータが決定され、GUI生成部10によって、決定された変更パラメータに基づくGUIが生成される(ステップS406)。このとき、状況判断部9は、ステップS403で蓄積されたユーザの行動を反映したGUIの生成を行う。
When it is determined that the user is paying attention to a certain part on the GUI operation screen, for example, the user is considered to have read the specific content, and the
例えば、図9に図示されているGUI生成装置がレコーダに組み込まれており、レコーダに録画されている番組を記録媒体にダビングする方法が複数存在しているとする。具体的には、番組をダビングする際に複数の設定を行う必要があり、これらの複数の設定項目の組み合わせによって、複数のダビング設定が存在することになる。一方、各ユーザは、このような設定項目に関しては、通常は自分の好みの設定が存在しており、実際には、常に同一の設定を行い、すなわち、ユーザは、常にある1つの操作フローのみを行う傾向がある。 For example, it is assumed that the GUI generation apparatus illustrated in FIG. 9 is incorporated in a recorder, and there are a plurality of methods for dubbing a program recorded in the recorder onto a recording medium. Specifically, it is necessary to perform a plurality of settings when dubbing a program, and a plurality of dubbing settings exist depending on a combination of these plurality of setting items. On the other hand, with respect to such setting items, each user usually has his or her favorite setting, and in practice, the user always performs the same setting. That is, the user always has only one operation flow. Tend to do.
個別ユーザ行動蓄積部22に格納されたユーザの行動を参照することによって、上述のようなユーザが常に使用している特定の操作フローを誘導するように、各GUI部位の再配列、GUI部位サイズ、文字サイズ、文字フォントなどの変更処理を行うことが可能で有る。具体的には、次にあるGUI操作画面で次に選択される傾向にあるGUI部位を強調表示したり、あるいは、過去の操作においてにまったく使用されていない操作フロー(機能GUI部位)に関しては、GUI操作画面上で目立たなくするか非表示にしたりすることが可能である。
By referring to the user's behavior stored in the individual user
なお、機器を利用するユーザが複数存在する場合には、各ユーザの行動データを管理して、個別ユーザ行動蓄積部22に蓄積することが望ましい。これによって、各ユーザの行動に基づいて、各ユーザの使用に合わせて、各ユーザに適したGUIを再構成し提供することが可能となる。また、例えば、複数ユーザが同時に機器を利用する場合などには、各ユーザの行動データを参照して、各ユーザに共通する操作フロー(機能GUI部位)に関してのみ強調されるようにGUIの変更を行ってもよい。
When there are a plurality of users who use the device, it is desirable to manage the behavior data of each user and store it in the individual user
そして、GUI生成部10によって生成されたGUIはGUI表示部11に渡されて、GUI表示部11によってGUI再表示が行われる(ステップS407)。なお、ステップS407におけるGUI再表示は、上述のように、リアルタイムに行われてもよく、あるいは後に同一のGUI操作画面が表示された際に、変更パラメータに基づくGUI再構成が行われてもよい。
Then, the GUI generated by the
また、ユーザによるGUI操作画面上の注目部位が特に存在しない場合には、ユーザはGUI操作に迷っており、所定の設定時間よりも長い間、操作できずに目が泳いでいる状態になっているとみなされ、ユーザに対してGUI操作画面を説明するためのガイド情報の作成及び報知(GUI操作ガイド処理)を行う(ステップS408)。 In addition, when there is no particular area of interest on the GUI operation screen by the user, the user is lost in the GUI operation, and is unable to operate for a longer time than the predetermined set time, and the eyes are swimming. Thus, the guide information is generated and notified (GUI operation guide process) for explaining the GUI operation screen to the user (step S408).
一方、ステップS404で無操作時間が所定の設定時間以下である場合には、それまでのユーザのリモコン操作の履歴やユーザの視線移動の履歴などから得られるユーザの操作パターンと、パターン格納部21に格納されている通常の操作に係る操作パターンとを比較してこれらの適合の程度を検証する(ステップS409)。そして、ユーザの操作パターンと、パターン格納部21に格納されている一般的な操作パターンとが適合している場合には、ユーザの操作がスムーズに行われているとみなされ、特にGUIの再構成は行われずに処理は終了となる。なお、このとき、ステップS406に進んで、例えば次に行われることが予想される操作に係る機能GUI部位を強調するようなGUIを再構成してもよい。
On the other hand, if the no-operation time is less than or equal to the predetermined set time in step S404, the user operation pattern obtained from the user's remote control operation history, the user's line-of-sight movement history, and the like, and the
また、ユーザの操作パターンと、パターン格納部21に格納されている操作フローパターンとが適合しない場合には、ユーザがGUI操作に迷って試行錯誤している状態にあるとみなして、ユーザに対してGUI操作画面を説明するためのガイド情報の作成及び報知(GUI操作ガイド処理)を行う(ステップS408)。
If the user's operation pattern and the operation flow pattern stored in the
以上、説明したように、本発明の第4の実施の形態によれば、ユーザの行動や機器操作データを蓄積することで、ユーザの習慣や嗜好(癖)、さらには生活環境などの情報を含む機器利用データを得ることができ、ユーザの使い方に適したGUIを提供することが可能となる。また、機器を利用するユーザが複数存在する場合は、各ユーザの行動データ(操作履歴など)をユーザ個別に独立して蓄積することで、各ユーザに適したGUIを提供することが可能となる。また、各ユーザの行動データの共通する行動(操作フロー)に係る部分のみを変更したGUIを提供することも可能である。 As described above, according to the fourth embodiment of the present invention, by accumulating user behavior and device operation data, information such as user habits and preferences (癖) and living environment can be obtained. Device usage data can be obtained, and a GUI suitable for the user's usage can be provided. In addition, when there are a plurality of users who use the device, it is possible to provide a GUI suitable for each user by storing each user's action data (operation history, etc.) independently for each user. . It is also possible to provide a GUI in which only the part related to the common behavior (operation flow) of the behavior data of each user is changed.
<第5の実施の形態>
次に、本発明の第5の実施の形態について説明する。以下、本発明の第5の実施の形態におけるGUI生成装置の構成について説明する。図11は、本発明の第5の実施の形態におけるGUI生成装置の一例を示すブロック図である。
<Fifth embodiment>
Next, a fifth embodiment of the present invention will be described. The configuration of the GUI generation apparatus according to the fifth embodiment of the present invention will be described below. FIG. 11 is a block diagram showing an example of a GUI generation apparatus according to the fifth embodiment of the present invention.
図11に図示されているGUI生成装置は、図9に図示されているGUI生成装置に加えて、さらに表示選択部23を有しており、また、ネットワーク24を介して個別ユーザ行動蓄積部22に行動データが蓄積できるように構成されている。
The GUI generation device illustrated in FIG. 11 further includes a
表示選択部23は、GUI生成部10によって生成されたGUIを表示するか否か(変更されたGUIを利用するか否か)の判断をユーザに決定させるためのインタフェースである。これにより、自動的に再構成されたGUIがGUI表示部11に表示された際に、ユーザはこのGUIに対して評価を与えることができるようになる。この評価は、例えば、個別ユーザ行動蓄積部22に蓄積されている行動データにフィードバックされ、よりユーザにとって最適なGUIを生成するために活用されてもよい。
The
また、ネットワーク24を経由して、個別ユーザ行動蓄積部22にユーザの行動データが蓄積可能である。ネットワーク24が、例えばユーザのホームネットワーク(プライベートネットワーク)の場合には、例えば、ユーザの他の機器との間でユーザの行動データを共有することが可能となる。また、ネットワーク24がインターネットに接続されている場合には、膨大なユーザの行動データが集約されている人間工学データベースからデータを取り込んで蓄積することが可能となる。また、ネットワーク24を通じて、GUI操作画面に関する一般人や専門家のデザイン画面データを取り込むことによって、これらのデータをGUI生成に利用することも可能である。
In addition, user action data can be stored in the individual user
また、ネットワーク24を通じて、当該GUI生成装置で生成されるGUI(ユーザに適したGUI)の表示パラメータやその他の設定を外部に出力することが可能である。これによって、外部の任意の機器(例えば、ホームネットワーク環境においてホームネットワークに接続しているユーザ所有の機器)においても、当該GUI生成装置で得られたGUIに係る設定を取り込むことで、ユーザに適したGUIを容易に実現することが可能となる。
In addition, display parameters and other settings of a GUI (GUI suitable for the user) generated by the GUI generation apparatus can be output to the outside through the
以上、説明したように、本発明の第5の実施の形態によれば、自動的に再構成されたGUIにユーザの評価を加えることで、不必要なGUIの変更を防ぐことができ、ユーザの使い方と好みに合ったGUIを提供することが可能となる。また、個別ユーザ行動蓄積部22をネットワーク24と接続することで、ホームネットワーク環境において、ユーザの行動データの共有が可能であり、例えば、ネットワーク24内の他の機器におけるGUIの再構成に適用することも可能となる。これにより、ホームネットワーク環境下でユーザが利用するすべての機器に関して、ユーザに適したGUI環境に統一することが可能となり、新たに機器の使用方法を習得する負担を軽減できるようになる。また、ネットワーク24としてインターネットに接続することにより、人間工学データベースやGUI操作性に関する情報などを広く取り込んで、GUI生成処理時に利用することで、GUIのユーザビリティ上の問題点を軽減することができ、少なくともユーザビリティ上の問題があるGUIが生成されることを防ぐことが可能となる。さらに、インターネット上に配置されている一般人や専門家によるGUI画面のデザインや斬新な操作フローなどのデータを取り込むことで、ユーザの好みに適した親しみやすいGUIを提供することが可能となる。
As described above, according to the fifth embodiment of the present invention, unnecessary user changes can be prevented by adding a user's evaluation to the automatically reconfigured GUI. It is possible to provide a GUI that suits the usage and preference of. Further, by connecting the individual user
なお、ここでは、本発明の第1〜第5の実施の形態に基づいて本発明の概要を説明しているが、本発明は、これらの実施の形態に限定されるものではない。また、ここでは、本発明に係る適用GUI生成装置を機能ブロック図によって表しているが、各ブロックによって表されている機能は、ハードウェア及び/又はソフトウェア(プログラム)によって実現可能である。さらに、ここでは、本発明に係る適用GUI生成装置の動作をフローチャートで表しているが、これらのフローチャートの一部又は全部をソフトウェア(プログラム)によって実現することが可能である。 In addition, although the outline | summary of this invention is demonstrated based on the 1st-5th embodiment of this invention here, this invention is not limited to these embodiment. Here, the applied GUI generation apparatus according to the present invention is represented by a functional block diagram, but the function represented by each block can be realized by hardware and / or software (program). Furthermore, although the operation of the applied GUI generation apparatus according to the present invention is represented by a flowchart here, part or all of these flowcharts can be realized by software (program).
本発明は、ユーザによるGUIの操作を支援するため、操作性及び利便性に優れたGUIを生成することができるという効果を有しており、GUIの生成技術に適用可能である。また、本発明にGUI生成装置によって生成されたGUIは、GUI操作を必要とする任意の機器に適用可能であり、GUIの操作性及び利便性を向上させることが可能である。 The present invention supports the operation of the GUI by the user, and thus has the effect of being able to generate a GUI that is excellent in operability and convenience, and can be applied to a GUI generation technique. In addition, the GUI generated by the GUI generation apparatus according to the present invention can be applied to any device that requires a GUI operation, and can improve the operability and convenience of the GUI.
1 テレビ
2 レコーダ
3 カメラ
4 マイク
5 液晶パネル
6 リモコン
8 行動検知部
9 状況判断部
10 GUI生成部
11 GUI表示部
12 タイマ
13 GUIガイド部
20 パラメータ格納部
21 パターン格納部
22 個別ユーザ行動蓄積部
23 表示選択部
24 ネットワーク
DESCRIPTION OF SYMBOLS 1 Television 2 Recorder 3 Camera 4 Microphone 5 Liquid crystal panel 6
Claims (4)
前記検知手段による検知結果に基づいて、ユーザが前記GUI画面上で注目しているGUI部位を特定し、特定された前記GUI部位が強調して表示されるように、前記GUI部位の配列、前記GUI部位のサイズ、前記GUI部位の文字サイズ、前記GUI部位の文字フォントのいずれか1つ又は複数の表示パラメータを変更する状況判断手段と、
前記状況判断手段によって変更された表示パラメータに基づいて、前記GUI部位を含む前記GUI画面を生成するGUI生成手段と、
前記GUI生成手段によって生成された前記GUI画面を前記表示画面に表示する表示手段とを、
有するGUI生成装置。 Action detecting means for detecting an operation performed by a user on a predetermined device using a GUI screen displayed on the display screen, or an action of the user who is operating;
Based on the detection result by the detection means, the GUI part that the user is paying attention on the GUI screen is specified, and the GUI part array is arranged so that the specified GUI part is highlighted and displayed. A situation determination means for changing one or more display parameters of the size of the GUI part, the character size of the GUI part, and the character font of the GUI part;
GUI generation means for generating the GUI screen including the GUI part based on the display parameter changed by the situation determination means;
Display means for displaying the GUI screen generated by the GUI generation means on the display screen;
A GUI generation device.
前記ネットワーク接続手段で取得された前記表示パラメータに基づいて、前記GUI部位を含む前記GUI画面を生成するGUI生成手段と、
前記GUI生成手段によって生成された前記GUI画面を前記表示画面に表示する表示手段とを、
有するGUI生成装置。 A network connection that can be connected to the GUI generation device according to claim 1 via a network and that can acquire the display parameter changed by the status determination unit of the GUI generation device according to claim 1. Means,
GUI generating means for generating the GUI screen including the GUI part based on the display parameter acquired by the network connecting means;
Display means for displaying the GUI screen generated by the GUI generation means on the display screen;
A GUI generation device.
時間の情報を含む時間信号を出力するタイマと、
前記タイマから供給される前記時間信号に基づいて前記ユーザによるリモコン操作が行われない時間が所定の無操作設定時間を超え、かつ前記ユーザが前記表示画面の特定の箇所を注視している時間が所定の注視設定時間に満たないと判断された場合に、前記ユーザが前記GUI画面の操作に迷っているか否かを判定し、ユーザが前記GUI画面の操作に迷っている場合には、前記表示画面上のGUI画面の操作方法の説明を行う旨を決定する状況判断手段と、
前記状況判断手段によって前記表示画面上のGUI画面の操作方法の説明を行う旨が決定された場合、前記表示画面上のGUI画面の操作方法を説明するGUIガイド情報を作成するGUIガイド手段と、
前記GUIガイド手段によって作成された前記GUIガイド情報を報知する報知手段とを、
有するGUI生成装置。 Action detecting means for detecting a remote control operation performed by a user on a predetermined device and a user's line of sight using a GUI screen displayed on a display screen;
A timer that outputs a time signal including time information;
Based on the time signal supplied from the timer, a time during which the user does not perform a remote control operation exceeds a predetermined no-operation setting time, and a time during which the user is gazing at a specific part of the display screen When it is determined that the predetermined gaze setting time is not reached, it is determined whether or not the user is confused about the operation of the GUI screen. If the user is confused about the operation of the GUI screen, the display A situation determination means for deciding to explain the operation method of the GUI screen on the screen;
GUI guide means for creating GUI guide information for explaining the operation method of the GUI screen on the display screen when the situation determination means determines to explain the operation method of the GUI screen on the display screen;
Informing means for informing the GUI guide information created by the GUI guide means,
A GUI generation device.
時間の情報を含む時間信号を出力するタイマと、
前記GUI画面の操作に置いて行われる通常の操作の流れを示す操作パターン情報があらかじめ格納されている操作パターン格納手段と、
前記タイマから供給される前記時間信号に基づいて前記ユーザによるリモコン操作が行われない時間が所定の無操作設定時間を超えたと判断された場合に、前記ユーザによるリモコン操作が、前記操作パターン格納手段に格納されている前記操作パターン情報によって示される前記通常の操作の流れから逸脱していないか否かを判断し、前記ユーザによるリモコン操作が前記通常の操作の流れから逸脱している場合には、前記表示画面上のGUI画面の操作方法の説明を行う旨を決定する状況判断手段と、
前記状況判断手段によって前記表示画面上のGUI画面の操作方法の説明を行う旨が決定された場合、前記表示画面上のGUI画面の操作方法を説明するGUIガイド情報を作成するGUIガイド手段と、
前記GUIガイド手段によって作成された前記GUIガイド情報を報知する報知手段とを、
有するGUI生成装置。 Action detecting means for detecting a remote control operation performed by a user on a predetermined device using a GUI screen displayed on the display screen;
A timer that outputs a time signal including time information;
An operation pattern storage means in which operation pattern information indicating a normal operation flow performed in the operation of the GUI screen is stored in advance;
Based on the time signal supplied from the timer, when it is determined that a time during which the user does not perform a remote control operation exceeds a predetermined no-operation set time, the remote control operation by the user is performed by the operation pattern storage unit. If the remote control operation by the user deviates from the normal operation flow, it is determined whether or not the normal operation flow indicated by the operation pattern information stored in the , A situation determination means for determining to explain the operation method of the GUI screen on the display screen;
GUI guide means for creating GUI guide information for explaining the operation method of the GUI screen on the display screen when the situation determination means determines to explain the operation method of the GUI screen on the display screen;
Informing means for informing the GUI guide information created by the GUI guide means,
A GUI generation device.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2006268584A JP2008090454A (en) | 2006-09-29 | 2006-09-29 | Gui generation device |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2006268584A JP2008090454A (en) | 2006-09-29 | 2006-09-29 | Gui generation device |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2008090454A true JP2008090454A (en) | 2008-04-17 |
Family
ID=39374558
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2006268584A Withdrawn JP2008090454A (en) | 2006-09-29 | 2006-09-29 | Gui generation device |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2008090454A (en) |
Cited By (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US8285756B2 (en) | 2009-06-12 | 2012-10-09 | Seiko Epson Corporation | Operation support program |
JP2013037463A (en) * | 2011-08-05 | 2013-02-21 | Nippon Steel & Sumitomo Metal | Planning support device, planning support method, and computer program |
JP2013200723A (en) * | 2012-03-26 | 2013-10-03 | Fuji Xerox Co Ltd | Electronic apparatus and program |
JP2014109916A (en) * | 2012-12-03 | 2014-06-12 | Fujitsu Ltd | User operation terminal device and user operation terminal program |
JP2014197779A (en) * | 2013-03-29 | 2014-10-16 | 株式会社ニコン | Electronic device |
CN104731455A (en) * | 2015-03-31 | 2015-06-24 | 努比亚技术有限公司 | Application identification display method and device |
US10503355B2 (en) | 2017-11-03 | 2019-12-10 | Hyundai Motor Company | UI management server and method of controlling the same |
JP7542226B2 (en) | 2020-02-27 | 2024-08-30 | パナソニックIpマネジメント株式会社 | Control method, program, and control system |
-
2006
- 2006-09-29 JP JP2006268584A patent/JP2008090454A/en not_active Withdrawn
Cited By (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US8285756B2 (en) | 2009-06-12 | 2012-10-09 | Seiko Epson Corporation | Operation support program |
JP2013037463A (en) * | 2011-08-05 | 2013-02-21 | Nippon Steel & Sumitomo Metal | Planning support device, planning support method, and computer program |
JP2013200723A (en) * | 2012-03-26 | 2013-10-03 | Fuji Xerox Co Ltd | Electronic apparatus and program |
JP2014109916A (en) * | 2012-12-03 | 2014-06-12 | Fujitsu Ltd | User operation terminal device and user operation terminal program |
JP2014197779A (en) * | 2013-03-29 | 2014-10-16 | 株式会社ニコン | Electronic device |
CN104731455A (en) * | 2015-03-31 | 2015-06-24 | 努比亚技术有限公司 | Application identification display method and device |
US10503355B2 (en) | 2017-11-03 | 2019-12-10 | Hyundai Motor Company | UI management server and method of controlling the same |
JP7542226B2 (en) | 2020-02-27 | 2024-08-30 | パナソニックIpマネジメント株式会社 | Control method, program, and control system |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP2008090454A (en) | Gui generation device | |
KR101891803B1 (en) | Method and apparatus for editing screen of mobile terminal comprising touch screen | |
US9507418B2 (en) | Eye tracker based contextual action | |
JP4382155B2 (en) | Operation support apparatus and method | |
US20070300188A1 (en) | Method and apparatus for displaying information about external devices and computer readable recording medium storing program executing the method | |
JP5955299B2 (en) | Display control apparatus, display control method, program, and information storage medium | |
MX2015004841A (en) | Display apparatus and control method thereof. | |
KR20140088820A (en) | Display apparatus and control method thereof | |
WO2007012996A3 (en) | Revolutionary series control for medical imaging archive manager | |
JP2007264701A (en) | Information processor, selection item priority application program and selection item priority application method | |
JP2010108070A (en) | User interface control device, user interface control method, and program | |
WO2015131531A1 (en) | Widget display method, apparatus, and terminal | |
US20090315807A1 (en) | Multi-display operating system and method thereof | |
JP2009230468A (en) | Reproduction device, method of controlling reproduction device and control program | |
JP5539692B2 (en) | Operation guidance display device, operation guidance display system, and medical device | |
EP2595045A2 (en) | Display apparatus and control method thereof | |
US11219491B2 (en) | Centralized control apparatus and method of controlling one or more controlled apparatuses including medical device | |
JP2010192004A (en) | Operation state determination device | |
JP2008097466A (en) | Gui changer and gui change processing program | |
JP2007104630A (en) | Video surveillance system | |
KR101102242B1 (en) | Patient information display device | |
JP2006338233A (en) | State detector and state detecting method | |
KR102640281B1 (en) | Method of controlling surveillance camera and surveillance system adopting the method | |
CN106687900A (en) | Actionable item switcher view | |
JP2019028563A (en) | Display program, information processing unit and display method |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A300 | Application deemed to be withdrawn because no request for examination was validly filed |
Free format text: JAPANESE INTERMEDIATE CODE: A300 Effective date: 20091201 |