JP2006309448A - User interface device and method - Google Patents

User interface device and method Download PDF

Info

Publication number
JP2006309448A
JP2006309448A JP2005130242A JP2005130242A JP2006309448A JP 2006309448 A JP2006309448 A JP 2006309448A JP 2005130242 A JP2005130242 A JP 2005130242A JP 2005130242 A JP2005130242 A JP 2005130242A JP 2006309448 A JP2006309448 A JP 2006309448A
Authority
JP
Grant status
Application
Patent type
Prior art keywords
part
operating
operation
user
element
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2005130242A
Other languages
Japanese (ja)
Inventor
Nobuya Otani
伸弥 大谷
Original Assignee
Sony Corp
ソニー株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date

Links

Images

Abstract

<P>PROBLEM TO BE SOLVED: To provide a user interface device and method, capable of operating or preparing for operation while estimating a user's operation intention in advance. <P>SOLUTION: A sensor part 21 regularly continues to sense the user's state even when the user does not operate a mouse 11, and supplies the sensed information to an operation intention estimation part 22. The estimation part 22 estimates the user's operation intention based on the multidimentional sensed information in advance, and supplies information related to the estimated operation intention to an operator selection part 23. The operating element selection part 23 selects an operating element corresponding to the estimated operation intention and reports the selected operating element in response to an inquiry from a display control part 12. The display control part 12 fits, upon receipt of the report of the operating element from the selection part 23, the position of a mouse cursor displayed on a display 13 to the position of the reported operating element. <P>COPYRIGHT: (C)2007,JPO&INPIT

Description

本発明は、ユーザの操作意図を事前に推定して動作し、又は動作準備を行うことが可能なユーザインターフェース装置及びその方法に関する。 The present invention operates by estimating the operation intention of the user in advance, or the operation preparation relating to the user interface apparatus and method capable of performing.

ユーザが操作可能なユーザインターフェース装置においては、例えばポインティングデバイスによるポインティング操作など、ユーザの手を使った物理的な操作に応じて動作するのが通常である。 In user user interface device operable such as, for example, a pointing operation by the pointing device, it is usual to operate in accordance with the physical operation using the hand of the user. しかしながら、特に四肢麻痺等の重度の障害者にとってはポインティングデバイスの表示位置をディスプレイ上のアイコン等の操作子に合わせることが困難であることから、ユーザの操作負担の軽減が求められていた。 However, it was especially since for the severely handicapped quadriplegic such it is difficult to adjust the display position of the pointing device operator such as an icon on the display, reduces the user's operation burden is required.

そこで、従来、ポインティングデバイスの1つであるマウスを用いたポインティング操作に、ユーザの視線情報を利用することが提案されている。 Therefore, conventionally, the pointing operation of the mouse, one of the pointing device, it has been proposed to utilize the line of sight information of the user. 具体的に、下記非特許文献1では、完全にユーザの視線によりポインティング操作を行うAuto方式や、視線による大まかなポインティングを行った後でポインティングデバイスをマウスに切り替えるManual方式などが提案されている。 Specifically, the following Non-Patent Document 1, fully Auto mode and performing a pointing operation by a user's line of sight, such as Manual method of switching a pointing device to a mouse after performing a rough pointing by line-of-sight is proposed. また、下記特許文献1では、ポインティング操作にユーザの視線情報を利用すると共に、ポインティングデバイスの表示位置に最も近い操作子との間に、ポインティングデバイスを操作子に引き寄せる吸着機能を持たせることが提案されている。 Further, proposed in Patent Document 1, while using the user's line of sight information to the pointing operation, between the closest operator to the display position of the pointing device, be provided with a suction function to draw the pointing device operator It is. このようなポインティングデバイスを備えたユーザインターフェース装置によれば、ポインティング操作に際して、ユーザは基本的に視線を動かすのみでよいため、ユーザの操作負担を軽減することができる。 According to the user interface device provided with such a pointing device, upon pointing operation, the user since it is essentially only move the line of sight, it is possible to reduce the operation burden on the user.

特開2000−47823号公報 JP 2000-47823 JP

しかしながら、上記非特許文献1におけるAuto方式では、視線認識の精度に起因してアイコンやメニュー等の選択に長時間を要しており、Manual方式でも、視線を移動させてからでなければ視線の場所を計算できないため、実際にポインティングデバイスの表示位置、すなわちマウスカーソルの位置が初期移動するまでには多少の時間を要していた。 However, in the Auto method in Non-Patent Document 1, due to the accuracy of the gaze recognition and takes a long time to select such icons or menus, in Manual mode, the line of sight of unless the move the line of sight You can not calculate the location, the up actually pointing device of the display position, i.e. the position of the mouse cursor is initially moves it takes some time. また、上記特許文献1のポインティングデバイスは、吸着機能を有しているものの、実際にマウスカーソルの位置が初期移動するまでには多少の時間を要していた。 Further, the pointing device of Patent Document 1, although has a suction function, the up actual position of the mouse cursor is initially moves it takes some time.

さらに、あらゆる従来のポインティングデバイスでは、ユーザは現在行っている作業にとって大切な意識・意図を必ずポインティング操作に向けなければならず、ポインティング操作を行おうとする度に、現在の作業に対する注意を反らすこととなっていた。 Furthermore, all in the conventional pointing device, the user always must be directed to the pointing operation an important awareness and intention for the work you are performing now, every time you attempt to pointing operation, can divert the attention on the current working It had become.

このような問題は、マウス等のポインティングデバイスを備えたユーザインターフェース装置の場合に限らず、他のユーザインターフェース装置においても同様である。 This problem is not limited to the case of a user interface device having a pointing device such as a mouse, it is the same for the other user interface device.

本発明は、このような従来の実情に鑑みて提案されたものであり、ユーザの操作意図を事前に推定して動作し、又は動作準備を行うことが可能なユーザインターフェース装置及びその方法を提供することを目的とする。 The present invention has such a proposed in view of the conventional circumstances, operates to estimate the operation intention of the user in advance, or provides a user interface apparatus and method capable of performing operation preparation an object of the present invention is to.

上述した目的を達成するために、本発明に係るユーザインターフェース装置は、ユーザによる操作が可能なインターフェース手段と、上記インターフェース手段を介したユーザの操作に応じて所定の処理を行う処理手段と、ユーザの状態をセンシングするセンサ手段と、上記センサ手段によってセンシングされた上記ユーザの状態に基づき、推論モデルを用いて該ユーザの操作意図を事前に推定する操作意図推定手段と、上記操作意図推定手段によって推定された操作意図に応じて上記処理手段を制御する制御手段とを備えることを特徴とする。 To achieve the above object, the user interface device according to the present invention, an interface means operable by a user, a processing means for performing predetermined processing in accordance with a user operation through the interface unit, the user sensor means for sensing the state, based on the status of the user which is sensed by the sensor means, an operation intention estimating means for estimating in advance the operation intention of the user using the inference model, by the operation intention estimating means and a controlling means for controlling the processing means in accordance with the estimated operation intended.

また、上述した目的を達成するために、本発明に係るユーザインターフェース方法は、ユーザによる操作が可能なインターフェース手段と、上記インターフェース手段を介したユーザの操作に応じて所定の処理を行う処理手段とを備えたユーザインターフェース装置におけるユーザインターフェース方法であって、ユーザの状態をセンシングするセンシング工程と、上記センシング工程にてセンシングされた上記ユーザの状態に基づき、推論モデルを用いて該ユーザの操作意図を事前に推定する操作意図推定工程と、上記操作意図推定工程にて推定された操作意図に応じて上記処理手段を制御する制御工程とを有することを特徴とする。 Further, in order to achieve the object described above, the user interface method according to the present invention, an interface means operable by a user, a processing means for performing predetermined processing in accordance with a user operation through the interface means a user interface method in a user interface device and a sensing step of sensing the state of the user, based on the state of the user which is sensed by the sensing step, an operation intention of the user using the inference model an operation intention estimation step of estimating in advance, and having a control step of controlling the processing means in accordance with the estimated operation intended by the operation intention estimating process.

本発明に係るユーザインターフェース装置及びその方法によれば、センシングしたユーザの状態に基づき、推論モデルを用いて該ユーザの操作意図を事前に推定し、推定された操作意図に応じて動作し、又は動作準備を行うことが可能であるため、ユーザが意図してから操作するまでの時間を短縮することができる。 According to the user interface apparatus and method according to the present invention, based on the state of the user who sensed in advance by estimating the operation intention of the user using an inference model operates in accordance with the estimated operation intended, or since it is possible to perform the operation preparation, it is possible to shorten the time until the user operates the intended. また、この際、ユーザインターフェース装置のユーザがあまり意識しない初期状態について動作又は動作準備を行うようにすれば、誤動作した場合であっても大した問題とは認識されず、ユーザは利便性のみを享受することができる。 At this time, if to perform the operations or operation ready for the initial state in which the user is not much aware of the user interface device is not recognized as much even when the malfunction problem, the user only convenience it is possible to enjoy.

以下、本発明を適用した具体的な実施の形態について、図面を参照しながら詳細に説明する。 Hereinafter, specific embodiments to which the present invention is applied will be described in detail with reference to the drawings.

以下では先ず、本発明を、ディスプレイとポインティングデバイスとしてのマウスとを備えたユーザインターフェース装置に適用した例について説明する。 In the following first, the present invention, an example of application to a user interface device and a mouse as a display and a pointing device. 図1に示すように、ユーザインターフェース装置1は、インターフェース部10と、ユーザ意図推定モジュール部20とに大別される。 As shown in FIG. 1, the user interface device 1 includes an interface unit 10 is roughly divided into a user intention estimating module 20. このうち、インターフェース部10は、マウス11と、表示制御部12と、ディスプレイ13とを有し、ユーザ意図推定モジュール部20は、センサ部21と、操作意図推定部22と、操作子選択部23とを有している。 Among them, the interface unit 10 includes a mouse 11, a display control unit 12, and a display 13, a user intention estimating module unit 20 includes a sensor unit 21, an operation intention estimation unit 22, operator selection section 23 and it has a door.

このようなユーザインターフェース装置1において、ユーザがディスプレイ13に表示されたマウスカーソルを所望の位置に移動させるためにマウス11を操作すると、その操作に応じた操作信号がマウス11から表示制御部12に供給される。 In such a user interface device 1, the user operates the mouse 11 to move the displayed cursor to a desired position on the display 13, an operation signal corresponding to the operation to the display control unit 12 from the mouse 11 It is supplied. 表示制御部12は、この操作信号に基づいて、ディスプレイ13に表示されたマウスカーソルの位置を変更する。 The display control unit 12, based on the operation signal, to change the position of the displayed cursor on the display 13. また、ユーザがマウスカーソルの位置をアイコン等の操作子に合わせた状態でマウス11をクリック等すると、その操作に応じた操作信号がマウス11から表示制御部12に供給される。 When the user clicks like the mouse 11 in a state in which the combined position of the mouse cursor operators icons, the operation signal corresponding to the operation is supplied to the display control unit 12 from the mouse 11. 表示制御部12は、この操作信号に基づいて、ディスプレイ13の表示内容を変更する。 The display control unit 12, based on the operation signal, changes the display content of the display 13.

一方、センサ部21は、ユーザがマウス11を操作していない場合であっても、ユーザの状態を常時センシングし続け、センシングした情報を操作意図推定部22に供給する。 Meanwhile, the sensor section 21, even if the user does not operate the mouse 11, continued continuously sensing the state of the user, and supplies the sensed information to the operation intention estimator 22. このセンサ部21としては、例えば、CCD(Charge Coupled Device)カメラ、赤外線カメラ、マイクロホン、発汗検出器、視線検出器、温度検出器など、ユーザの状態をセンシングできる種々のデバイスを用いることができるが、ユーザが特別な装置を装着する必要のないものが好ましい。 As the sensor unit 21, for example, CCD (Charge Coupled Device) camera, an infrared camera, a microphone, sweating detector line of sight detector, such as a temperature detector, it is possible to use various devices that can sense the state of the user , that there is no need to mount a special device users preferred. また、センシングする情報としては、例えば下記の表1のようなものが挙げられるが、ユーザが意図しなくとも発せられる情報が特に好ましい。 As the information to be sensed, for example, but are not limited to, those shown in Table 1 below, the information to be emitted without intended user is particularly preferred. なお、この表1において、「落ち着き具合」は、例えばユーザの顔の動き量から判断することができ、「熱中度合い」は、例えばユーザの顔とディスプレイ13との距離から判断することができる。 Incidentally, in Table 1, "calm condition", for example can be determined from the amount of movement of the user's face, "enthusiasm degree", for example can be determined from the distance between the user's face and the display 13.

操作意図推定部22は、このセンシングした多次元の情報に基づいてユーザの操作意図を事前に推定し、推定した操作意図に関する情報を操作子選択部23に供給する。 Operation intention estimation unit 22 supplies the information to the operation intention of the user is estimated in advance, regarding estimated operation intended on the basis of the sensing by the multidimensional information to the operator selection unit 23. 操作子選択部23は、推定された操作意図に対応する操作子を選択し、上述した表示制御部12からの問い合わせに応じて、選択した操作子を通知する。 Operator selection unit 23 selects the operator corresponding to the estimated operation intended, in response to an inquiry from the display control unit 12 described above, and notifies the selected operator. 表示制御部12は、操作子選択部23から操作子が通知されると、ディスプレイ13に表示されたマウスカーソルの位置を通知された操作子の位置に合わせる。 The display control unit 12, the operator from the operator selection unit 23 is notified, align the mouse cursor displayed on the display 13 to the position of the notified operator.

ここで、ユーザインターフェース装置1における操作子とは、ディスプレイ13上でマウス11によるクリック等が可能な箇所であり、各操作子にはユーザの操作意図が対応付けられている。 Here, the operator of the user interface device 1, a portion that can be clicked or the like by mouse 11 on the display 13, the operation intended by the user are associated with each operator. 例えば、ディスプレイ13に表示されたウィンドウの場合、図2に示すような操作子30〜38が存在し、操作子30は、ウィンドウを最小化したいという操作意図に、操作子31は、ウィンドウを最大化したいという操作意図に、操作子32は、ウィンドウを閉じたい(クローズ)という操作意図にそれぞれ対応している。 Maximum For example, if a window displayed on the display 13, there is the operating element 30 to 38 as shown in FIG. 2, the operation element 30, the operation intention to minimize the window, operator 31, the window the operation intention to turned into operating element 32 respectively correspond to the operation intention to close the window (closed). また、操作子33〜36は、それぞれ表示領域を上、下、左、右にスクロールさせたいという操作意図に対応しており、操作子37,38は、それぞれ表示領域を上下、左右にスライドさせたいという操作意図に対応している。 Further, operator 33 to 36, on a display area, respectively, down, left, corresponds to the operation intention to be scrolled to the right, the operating element 37 and 38, respectively display area vertically slid to the left and right It corresponds to the operation intention to.

上述した操作意図推定部22は、センサ部21でセンシングした多次元の情報を入力とし、推論モデルを用いてユーザの操作意図を推定する。 Operation intention estimation unit 22 described above, as input multidimensional information sensed by the sensor unit 21, estimates the operation intention of the user using the inference model. 推論モデルとしては、例えば、ベイジアンネットワーク、ダイナミックベイジアンネットワーク、サポートベクタマシン、ブースティング、隠れマルコフモデル、ニューラルネットワーク等を用いることができる。 The inference model, for example, can be used Bayesian networks, dynamic Bayesian networks, support vector machine, boosting, hidden Markov model, a neural network or the like. また、単なるif〜then・・・といった決定論的なモデルを用いることもできる。 It is also possible to use a deterministic model such mere if~then ···. つまり、センシングした多次元の情報と相関の高い操作意図を1つ選択できる推論モデルであればよい。 That is, the multi-dimensional information and high operating intention of correlation sensed may be any one selected may inference model.

以下、操作意図推定部22における推論モデルとしてベイジアンネットワークを用いる場合について説明する。 Hereinafter, the case of using the Bayesian network as inference model in operation intention estimation unit 22.

ベイジアンネットワークのネットワーク構造を構築するには、先ず「操作意図」のノードと、操作意図と相関があると思われるセンシング可能なノードとを決定し、各ノードの状態を定義する。 To build a network structure of the Bayesian network, first the node of "Operation intention" to determine a sensing node capable thought to be correlated with the operation intended to define the state of each node. 例えば図3に示すように、「操作意図」のノードに加えて、「発汗量」、「手の場所」、及び「熱中度合い」の各ノードを定義することができる。 For example, as shown in FIG. 3, in addition to the node "Operation intent", it is possible to define each node of the "sweating", "hand place", and "enthusiasm degree". このうち、「操作意図」のノードの状態としては、「最大化」、「最小化」、「クローズ」、「上スクロール」、「下スクロール」など、各操作子の種類を定義する。 Among them, the state of the node of "Operation intent", "maximize", "minimize", "close", "scroll up", and "scroll down", defines the type of each operator. また、「発汗量」のノードの状態としては、例えば「多い」、「少ない」、「無い」といった状態を定義し、「手の場所」のノードの状態としては、例えば「マウス」、「顔」、「キーボード」といった状態を定義し、「熱中度合い」のノードの状態としては、例えば「熱中」、「普通」、「飽き」といった状態を定義する。 As the states of the nodes of the "sweating", for example "high", "low", it defines a state such as "no", the states of the nodes of the "hand of place", such as "mouse", "face "defines a state such as" keyboard ", as the status of the node" enthusiasm degree ", such as" enthusiasm "," normal ", define the state such as" tired ".

続いて、このような各ノードを繋ぎ、例えば図4に示すようなネットワーク構造を定義する。 Subsequently, connecting each such node, defining the network structure as shown in FIG. 4, for example. このネットワーク構造は、例えばK2アルゴリズムを用いて学習データから自動定義してもよく、因果関係を考慮して知識から定義してもよい。 The network structure may for example be automatically defined from the learning data using K2 algorithm may be defined from the knowledge and consideration of the causality. その後、例えば図5に示すように、各ノードのパラメータを定義する。 Thereafter, as shown in FIG. 5, to define the parameters for each node. このパラメータも、学習データから自動定義してもよく、知識から定義してもよい。 This parameter also may be automatically defined from the learning data may be defined from the knowledge.

このようにしてベイジアンネットワークのネットワーク構造が構築された後、操作意図推定部22にセンサ部21でセンシングした多次元の情報が入力されると、操作意図推定部22は、入力された多次元の情報に基づいてユーザの操作意図を推定する。 After being constructed network structure of the Bayesian network in this manner, the multidimensional information sensed by the sensor unit 21 to the operation intention estimating portion 22 is input, the operation intention estimation unit 22, multi-dimensional input estimating the operation intention of the user based on the information. 例えば図6(A)に示すように、「発汗量」は「多い」、「熱中度合い」は「飽き」、「手の場所」は「顔」という情報が操作意図推定部22に入力されると、操作意図推定部22は、同図(B)に示すように各操作意図についての値を生成する。 For example, as shown in FIG. 6 (A), the input "sweating" is "large", "enthusiasm degree" is "bored", "hand place" The information the operation intention estimation unit 22 as "face" When the operation intention estimation unit 22 generates a value for each operation intended, as shown in FIG. (B). この結果、「クローズ」の値が最も大きいため、操作意図推定部22は、ユーザの操作意図を「クローズ」と推定し、「クローズ」に関する情報を操作子選択部23に供給する。 As a result, since the value of the "close" is the largest, the operation intention estimation unit 22, an operation intention of the user is estimated as "close", and supplies information about the "close" to the operator selection unit 23.

その後、操作子選択部23は、「クローズ」に対応する操作子、例えば図2における操作子32を選択し、表示制御部12からの問い合わせに応じて、操作子32に関する情報を通知する。 Thereafter, operator selection unit 23, the operation element corresponding to "close", select the operator 32 in FIG. 2, for example, in response to an inquiry from the display control unit 12, and notifies the information about the operating element 32. 表示制御部12は、操作子選択部23から操作子32に関する情報が通知されると、ディスプレイ13に表示されたマウスカーソルの位置を操作子32の位置に合わせる。 The display control unit 12, the information from the operator selection unit 23 about the operator 32 is notified, align the mouse cursor displayed on the display 13 in the position of the operator 32.

このように、上述したユーザインターフェース装置1では、センシングしたユーザの状態からユーザの操作意図を事前に推定し、ディスプレイ13に表示されたマウスカーソルの位置をその操作意図に対応した操作子の位置に合わせるようにしているため、ユーザは、視線は勿論のこと、意識・意図すら拘束されることなく、マウスカーソルの位置を決定することができる。 Thus, the user interface device 1 described above, the state of the user who sensed to estimate the operation intention of the user in advance, the position of the mouse cursor displayed on the display 13 to the position of the operator corresponding to the operation intention due to the way match, the user gaze, of course, without even awareness and intended to be bound, it is possible to determine the position of the mouse cursor. したがって、ユーザは、マウスカーソルを所望の位置に移動させる間にも現在行っている作業を継続することができ、操作子の確認の瞬間だけ視線や意図・意識を奪われるのみですむ。 Therefore, the user, the mouse cursor can also be used to continue the work currently performed while moving to a desired position, need only deprived of the only line-of-sight and intentions and awareness moment of confirmation of the operator.

なお、上述の説明では、推定した操作意図に対応した操作子の位置にマウスカーソルの位置を合わせて表示するものとしたが、本発明はこれに限定されるものではなく、現在のマウスカーソルの位置と推定した操作意図に対応した操作子の位置との間にマウスカーソルを移動させるようにしても構わない。 In the above description, it is assumed that the position of the operator corresponding to the estimated operating intended to display to align the mouse cursor, the present invention is not limited thereto, the current mouse cursor position and may be moved the mouse cursor between the position of the operator corresponding to the estimated operation intended.

また、このユーザインターフェース装置1においては、ユーザがマウスを操作していないときにはディスプレイ上にマウスカーソルを表示しないようにしてもよい。 Further, in this user interface device 1, may not display the mouse cursor on the display when the user is not operating the mouse. この場合には、ディスプレイ上にマウスカーソルが表示されていない間にユーザの操作意図を推定し、ユーザがマウスを僅かに動かした瞬間に、推定した操作意図に対応した操作子の位置にマウスカーソルの位置を合わせて表示することになる。 In this case, to estimate the user's operation intention while not the mouse cursor is displayed on the display, at the moment the user slightly moves the mouse, the mouse cursor to the position of the operator corresponding to the estimated operating intended It will be displayed together in the position. したがって、仮に操作意図の推定を誤ってしまい、ユーザの操作意図とは異なる位置にマウスカーソルを表示させてしまった場合であっても、ユーザはそもそもマウスカーソルの初期位置を気にしないため、大した誤動作とは認識されない。 Therefore, it would be if wrong operation intention of estimation, for even if you've to display the mouse cursor to a position different from the operation intended by the user, the user is the first place does not care about the initial position of the mouse cursor, large not recognized and the malfunction.

次に、本発明を、チューナやCD(Compact Disk)再生部,MD(Mini-Disk:商標)再生部を備えたオーディオ再生装置としてのユーザインターフェース装置に適用した例について説明する。 Next, the present invention, a tuner or CD (Compact Disk) reproduction unit, MD (Mini-Disk: trademark) describes an example of application to a user interface device as an audio reproduction apparatus having a reproduction unit. 図7に示すように、ユーザインターフェース装置2は、インターフェース部40と、ユーザ意図推定モジュール部50とに大別される。 As shown in FIG. 7, the user interface device 2 includes an interface unit 40, is classified into a user intention estimation module unit 50. このうち、インターフェース部40は、操作用ボタン41と、操作制御部42とを有し、ユーザ意図推定モジュール部50は、センサ部51と、操作意図推定部52と、操作子選択部53とを有している。 Of these, the interface unit 40 includes an operation button 41, and an operation control unit 42, the user intention estimating module 50 includes a sensor unit 51, an operation intention estimation unit 52, and a operator selection section 53 It has.

このようなユーザインターフェース装置2において、ユーザが操作用ボタン41を押圧操作すると、その操作に応じた操作信号が操作用ボタン41から操作制御部42に供給される。 In such a user interface device 2, the user operation button 41 is pressed, an operation signal corresponding to the operation is supplied from the operation button 41 on the operation control unit 42. 操作制御部42は、この操作信号に基づいて、ラジオ番組を再生したり、CDやMD(商標)を再生したりする。 Operation control unit 42, based on the operation signal, and reproduces the radio program, and reproduces CD and MD (TM).

一方、センサ部51は、ユーザが操作用ボタン41を操作していない場合であっても、ユーザの状態を常時センシングし続け、センシングした情報を操作意図推定部52に供給する。 Meanwhile, the sensor section 51, even if the user does not operate the operation button 41 continues continuously sensing the state of the user, and supplies the sensed information to the operation intention estimating portion 52. このセンサ部51としては、上述と同様に、CCDカメラ、赤外線カメラ、マイクロホン、発汗検出器、視線検出器、温度検出器など、ユーザの状態をセンシングできる種々のデバイスを用いることができる。 As the sensor section 51, in the same manner as described above, it can be used a CCD camera, an infrared camera, a microphone, sweating detector line of sight detector, such as a temperature detector, a variety of devices that can sense the state of the user.

操作意図推定部52は、このセンシングした多次元の情報に基づいてユーザの操作意図を推定し、推定した操作意図に関する情報を操作子選択部53に供給する。 Operation intention estimating portion 52 supplies information about the estimated operation intention of the user, estimated operation intended on the basis of the sensing by the multidimensional information to the operator selection unit 53. 操作子選択部53は、推定された操作意図に対応する操作子を選択し、上述した操作制御部42からの問い合わせに応じて、選択した操作子を通知する。 Operator selection unit 53 selects the operator corresponding to the estimated operation intended, in response to an inquiry from the operation control unit 42 described above, and notifies the selected operator. 操作制御部42は、操作子選択部53から操作子が通知されると、その操作子に応じた制御を行う。 Operation control unit 42, when the operator is notified from the operator selection unit 53 performs control corresponding to the operator.

ここで、ユーザインターフェース装置2における操作子とは、上述した操作用ボタン41に近い概念であり、各操作子にはユーザの操作意図が対応付けられている。 Here, the operator at the user interface device 2, a concept close to the operation button 41 described above, the operation intended by the user are associated with each operator. 例えばオーディオ再生装置の場合、図8に示すような操作用ボタン60〜66が存在し、操作用ボタン60は、電源を入れたいという操作意図に、操作用ボタン61は、音量を調節したいという操作意図に、操作用ボタン62は、MD(商標)の再生を停止したいという操作意図に、操作用ボタン63は、MD(商標)を再生したいという操作意図に、操作用ボタン64は、選曲したいという操作意図に、操作用ボタン65は、MD(商標)を取り出したいという操作意図にそれぞれ対応している。 For example, in the case of an audio reproduction apparatus, there are operation buttons 60 to 66 as shown in FIG. 8, the operation button 60, the operation intention to turn, the operation button 61, the operation would like to adjust the volume the intention, the operation button 62, the operation intention to stop playback of the MD (TM), the operation button 63, the operation intention to play an MD (trademark), the operation button 64 is desire to music selection the operation intention, the operation button 65 respectively correspond to the operation intention to take out the MD (trademark). これらの操作用ボタン60〜65は、操作子として把握することができる。 These operations for the buttons 60 to 65 can be grasped as the operator. 一方、操作用ボタン66は、モードを選択するためのものであるが、これはその押圧操作回数により、MD(商標)再生モードにしたい、CD再生モードにしたい、ラジオモードにしたい、AUXモードにしたいという複数の操作意図に対応する。 On the other hand, the operation button 66 is of the order of selecting the mode, which is the number of the pressing operation, want to MD (TM) playback mode, want to CD playback mode, want to radio mode, the AUX mode corresponding to a plurality of operation intention want to. この操作用ボタン66においては、MD(商標)再生モード、CD再生モード、ラジオモード、AUXモードといった各モードを操作子として把握することができる。 In this operation button 66 may be grasped MD (TM) playback mode, CD playback mode, radio mode, each mode such AUX mode as operator.

上述した操作意図推定部52は、センサ部41でセンシングした多次元の情報を入力とし、推論モデルを用いてユーザの操作意図を推定する。 Operation intention estimation unit 52 described above, as input multidimensional information sensed by the sensor unit 41, estimates the operation intention of the user using the inference model. 推論モデルとしては、上述したように、例えばベイジアンネットワークなど、センシングした多次元の情報と相関の高い操作意図を1つ選択できる推論モデルを用いることができる。 The inference model, as described above, such as Bayesian networks, sensing the multi-dimensional information and high correlation operation intended may use one selectable inference model.

以下、操作意図推定部52における推論モデルとしてベイジアンネットワークを用いる場合について説明する。 Hereinafter, the case of using the Bayesian network as inference model in operation intention estimation unit 52.

ベイジアンネットワークのネットワーク構造を構築するには、先ず「操作意図」のノードと、操作意図と相関があると思われるセンシング可能なノードとを決定し、各ノードの状態を定義する。 To build a network structure of the Bayesian network, first the node of "Operation intention" to determine a sensing node capable thought to be correlated with the operation intended to define the state of each node. 例えば図9に示すように、「操作意図」のノードに加えて、「操作の時刻」、「手の移動」、及び「環境音スペクトル」の各ノードを定義することができる。 For example, as shown in FIG. 9, it is possible to define each node in addition to the node "Operation intent", "Time of Operation", "movement of the hand", and "environmental sound spectrum". このうち、「操作意図」のノードの状態としては、「MD再生モード」、「CD再生モード」、「ラジオモード」、「AUXモード」など、各操作子の種類を定義する。 Among them, the state of the node of "Operation intent", "MD play mode", "CD reproduction mode", "Radio Mode", and "AUX mode", defines the type of each operator. また、「操作の時刻」のノードの状態としては、例えば「朝」、「昼」、「夜」、「深夜」といった状態を定義し、「手の移動」のノードの状態としては、例えば「手の甲を上にして近づく」、「親指を上にして近づく」、「手が近づかない」といった状態を定義し、「環境音スペクトル」のノードの状態としては、例えば「高域」、「中域」、「低域」といった状態を定義する。 In addition, as the state of the node of the "time of operation", for example "morning", "noon", "night", defines the state such as "midnight", as the state of the node of the "movement of the hand", for example " closer to the back of the hand on "to define a state such as" approaching face up thumb "," hand does not approach ", the states of the nodes of the" ambient sound spectrum ", for example" high range "," midrange ", to define the state, such as" low-frequency ".

続いて、このような各ノードを繋ぎ、例えば図10に示すようなネットワーク構造を定義する。 Subsequently, connecting each such node, defining the network structure shown in FIG. 10 for example. このネットワーク構造は、例えばK2アルゴリズムを用いて学習データから自動定義してもよく、因果関係を考慮して知識から定義してもよい。 The network structure may for example be automatically defined from the learning data using K2 algorithm may be defined from the knowledge and consideration of the causality. その後、例えば図11に示すように、各ノードのパラメータを定義する。 Thereafter, as shown in FIG. 11, to define the parameters for each node. このパラメータも、学習データから自動定義してもよく、知識から定義してもよい。 This parameter also may be automatically defined from the learning data may be defined from the knowledge.

このようにしてベイジアンネットワークのネットワーク構造が構築された後、操作意図推定部52にセンサ部51でセンシングした多次元の情報が入力されると、操作意図推定部52は、入力された多次元の情報に基づいてユーザの操作意図を推定する。 After being constructed network structure of the Bayesian network in this manner, the multidimensional information sensed by the sensor unit 51 to the operation intention estimating portion 52 is input, the operation intention estimation unit 52, multi-dimensional input estimating the operation intention of the user based on the information. 例えば図12(A)に示すように、「操作の時刻」は「夜」、「手の移動」は「手の甲を上にして近づく」、「環境音スペクトル」は「中域」という情報が操作意図推定部52に入力されると、操作意図推定部52は、同図(B)に示すように各操作意図についての値を生成する。 For example, as shown in FIG. 12 (A), the "time of operation" "Night", "movement of the hand" is "closer to the top back of the hand", "environmental sound spectrum" information "midrange" operation is input to the intention estimation unit 52, the operation intention estimation unit 52 generates a value for each operation intended, as shown in FIG. (B). この結果、「CD再生モード」の値が最も大きいため、操作意図推定部52は、ユーザの操作意図を「CD再生モード」と推定し、「CD再生モード」に関する情報を操作子選択部53に供給する。 As a result, since the value of the "CD reproduction mode" is the largest, the operation intention estimation unit 52, an operation intention of the user is estimated as "CD reproduction mode", the information on the "CD play mode" to operator selection section 53 supplies.

その後、操作子選択部23は、「CD再生モード」に対応する操作子を選択し、操作制御部42からの問い合わせに応じて、操作子に関する情報を通知する。 Then, the operator selection unit 23, select the operator that corresponds to the "CD playback mode", in response to an inquiry from the operation control unit 42, and notifies the information related to the operator. 操作制御部42は、操作子選択部53から操作子に関する情報が通知されると、モードを「CD再生モード」に変更する。 Operation control unit 42 changes the information about the operator from the operator selection unit 53 is notified, the mode to "CD reproduction mode".

このように、上述したユーザインターフェース装置2では、センシングしたユーザの状態からユーザの操作意図を事前に推定し、推定した操作意図に応じて操作制御するようにしているため、例えばCD再生に用いた場合には、ユーザがCD再生ボタンを押圧操作する前にCDが回転し始めることになり、ユーザが意図してから操作するまでの時間を短縮することができる。 Thus, the user interface device 2 described above, since as estimated from the state of the user by sensing in advance the operation intention of the user, to operate the control according to the estimated operation intended, for example, used in CD playback in this case, the user can now start to rotate CD before pressing the CD play button, to shorten the time until the user operates the intended.

なお、本発明は上述した実施の形態のみに限定されるものではなく、本発明の要旨を逸脱しない範囲において種々の変更が可能であることは勿論である。 The present invention is not limited to the embodiment described above, it is of course made without departing from the scope of the present invention and various modifications are possible.

本実施の形態におけるユーザインターフェース装置の概略構成の一例を示す図である。 Is a diagram illustrating an example of a schematic configuration of a user interface device in this embodiment. ディスプレイ上の操作子の一例を示す図である。 Is a diagram illustrating an example of operating elements on the display. ベイジアンネットワークで定義されるノードとその状態の一例を示す図である。 Is a diagram illustrating an example of a node and its state defined by the Bayesian network. ノード同士を繋いだネットワーク構造の一例を示す図である。 Is a diagram illustrating an example of a network structure by connecting the nodes together. 各ノードについて定義されるパラメータの一例を示す図である。 Is a diagram showing an example of parameters to be defined for each node. ユーザの操作意図の推定例を示す図である。 Is a diagram illustrating an example of estimating the user's operation intention. 本実施の形態におけるユーザインターフェース装置の概略構成の他の例を示す図である。 It is a diagram showing another example of a schematic configuration of a user interface device of the present embodiment. オーディオ再生装置における操作子を説明するための図である。 It is a diagram for explaining an operator in the audio reproducing apparatus. ベイジアンネットワークで定義されるノードとその状態の一例を示す図である。 Is a diagram illustrating an example of a node and its state defined by the Bayesian network. ノード同士を繋いだネットワーク構造の一例を示す図である。 Is a diagram illustrating an example of a network structure by connecting the nodes together. 各ノードについて定義されるパラメータの一例を示す図である。 Is a diagram showing an example of parameters to be defined for each node. ユーザの操作意図の推定例を示す図である。 Is a diagram illustrating an example of estimating the user's operation intention.

符号の説明 DESCRIPTION OF SYMBOLS

1,2 ユーザインターフェース装置、10 インターフェース部、11 マウス、12 表示制御部、13 ディスプレイ、20 ユーザ意図推定モジュール部、21 センサ部、22 操作意図推定部、23 操作子選択部、40 インターフェース部、41 操作用ボタン、42 操作制御部、50 ユーザ意図推定モジュール部、51 センサ部、52 操作意図推定部、53 操作子選択部 1,2 user interface device, 10 interface unit, 11 mice, 12 display control unit, 13 display, 20 user intention estimation module unit, 21 sensor unit, 22 operation intention estimating unit, 23 operator selection unit 40 interface unit, 41 operation buttons, 42 operation control section, 50 user intention estimation module unit, 51 sensor unit, 52 operation intention estimating unit, 53 operator selection section

Claims (4)

  1. ユーザによる操作が可能なインターフェース手段と、 And interface means operable by a user,
    上記インターフェース手段を介したユーザの操作に応じて所定の処理を行う処理手段と、 And processing means for performing predetermined processing in accordance with user's operation via said interface means,
    ユーザの状態をセンシングするセンサ手段と、 Sensor means for sensing the state of the user,
    上記センサ手段によってセンシングされた上記ユーザの状態に基づき、推論モデルを用いて該ユーザの操作意図を事前に推定する操作意図推定手段と、 An operation intention estimating means based on the state of the sensed the user to estimate in advance an operation intention of the user using the inference model by the sensor means,
    上記操作意図推定手段によって推定された操作意図に応じて上記処理手段を制御する制御手段と を備えることを特徴とするユーザインターフェース装置。 The user interface device, characterized in that it comprises a control means for controlling the processing means in accordance with the the operation intention estimating by the operation intention estimating means.
  2. 上記インターフェース手段は、ポインティングデバイスを有し、 The interface means includes a pointing device,
    上記制御手段は、上記ポインティングデバイスによるポインティング位置を、推定された操作意図に応じた位置とするように上記処理手段を制御する ことを特徴とする請求項1記載のユーザインターフェース装置。 The control means, the pointing position of the pointing device, the estimated operating user interface apparatus according to claim 1, wherein controlling the processing means to the corresponding position on the intended characterized.
  3. 上記推論モデルは、ベイジアンネットワーク、ダイナミックベイジアンネットワーク、サポートベクタマシン、ブースティング、隠れマルコフモデル、ニューラルネットワーク、又は決定論的なモデルであることを特徴とする請求項1記載のユーザインターフェース装置。 The above reasoning model, Bayesian network, a dynamic Bayesian network, support vector machine, boosting, hidden Markov models, neural network user interface device of claim 1, wherein the, or deterministic models.
  4. ユーザによる操作が可能なインターフェース手段と、上記インターフェース手段を介したユーザの操作に応じて所定の処理を行う処理手段とを備えたユーザインターフェース装置におけるユーザインターフェース方法であって、 And capable interface means operated by a user, a user interface method in a user interface device that includes a processing means for performing predetermined processing in accordance with a user operation through the interface unit,
    ユーザの状態をセンシングするセンシング工程と、 A sensing step of sensing the state of the user,
    上記センシング工程にてセンシングされた上記ユーザの状態に基づき、推論モデルを用いて該ユーザの操作意図を事前に推定する操作意図推定工程と、 Based on the state of the user which is sensed by the sensing step, an operation intention estimating step of estimating beforehand the operation intention of the user using the inference model,
    上記操作意図推定工程にて推定された操作意図に応じて上記処理手段を制御する制御工程と を有することを特徴とするユーザインターフェース方法。 The user interface method characterized by a control step for controlling the processing means in accordance with the estimated operation intended by the operation intention estimating process.
JP2005130242A 2005-04-27 2005-04-27 User interface device and method Pending JP2006309448A (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2005130242A JP2006309448A (en) 2005-04-27 2005-04-27 User interface device and method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2005130242A JP2006309448A (en) 2005-04-27 2005-04-27 User interface device and method

Publications (1)

Publication Number Publication Date
JP2006309448A true true JP2006309448A (en) 2006-11-09

Family

ID=37476270

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2005130242A Pending JP2006309448A (en) 2005-04-27 2005-04-27 User interface device and method

Country Status (1)

Country Link
JP (1) JP2006309448A (en)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008140268A (en) * 2006-12-04 2008-06-19 Denso Corp Operation estimation device and program
US7987147B2 (en) 2006-05-18 2011-07-26 Sony Corporation Information processing apparatus, information processing method, and program based on operator probability using sensors
JP2016507112A (en) * 2013-03-05 2016-03-07 インテル コーポレイション Interaction of complex perceptual-sensitive input

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH11203006A (en) * 1998-01-20 1999-07-30 Fujitsu Ltd User environment estimation device
JPH11288342A (en) * 1998-02-09 1999-10-19 Toshiba Corp Device and method for interfacing multimodal input/ output device
JP2000187553A (en) * 1991-06-20 2000-07-04 Fuji Xerox Co Ltd Input device and head mount display for input device
JP2005011037A (en) * 2003-06-18 2005-01-13 National Institute Of Advanced Industrial & Technology Pointing device

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000187553A (en) * 1991-06-20 2000-07-04 Fuji Xerox Co Ltd Input device and head mount display for input device
JPH11203006A (en) * 1998-01-20 1999-07-30 Fujitsu Ltd User environment estimation device
JPH11288342A (en) * 1998-02-09 1999-10-19 Toshiba Corp Device and method for interfacing multimodal input/ output device
JP2005011037A (en) * 2003-06-18 2005-01-13 National Institute Of Advanced Industrial & Technology Pointing device

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7987147B2 (en) 2006-05-18 2011-07-26 Sony Corporation Information processing apparatus, information processing method, and program based on operator probability using sensors
JP2008140268A (en) * 2006-12-04 2008-06-19 Denso Corp Operation estimation device and program
JP4670803B2 (en) * 2006-12-04 2011-04-13 株式会社デンソー Operation estimating apparatus and program
JP2016507112A (en) * 2013-03-05 2016-03-07 インテル コーポレイション Interaction of complex perceptual-sensitive input

Similar Documents

Publication Publication Date Title
US20100277337A1 (en) Directional touch remote
US20110134032A1 (en) Method for controlling touch control module and electronic device thereof
US20130326583A1 (en) Mobile computing device
US8311838B2 (en) Devices and methods for identifying a prompt corresponding to a voice input in a sequence of prompts
US20090315827A1 (en) Generation of graphical feedback in a computer system
US20100005421A1 (en) Terminal Device and Program
US20030046557A1 (en) Multipurpose networked data communications system and distributed user control interface therefor
US20110265003A1 (en) Pushing a user interface to a remote device
US20080079604A1 (en) Remote control unit for a programmable multimedia controller
US20100060586A1 (en) Portable touch screen device, method, and graphical user interface for providing workout support
US20110126094A1 (en) Method of modifying commands on a touch screen user interface
US20150286360A1 (en) Selectively coordinated audio player system
US20150074528A1 (en) User Interfaces for Controlling Audio Playback Devices and Related Systems and Devices
US20140365895A1 (en) Device and method for generating user interfaces from a template
US20060066716A1 (en) Integrated remote control device and method for controlling multiple devices
US20020018074A1 (en) System for browsing a collection of information units
US20090153495A1 (en) Input method for use in an electronic device having a touch-sensitive screen
US20050197843A1 (en) Multimodal aggregating unit
US8054294B2 (en) Touch screen remote control system for use in controlling one or more devices
US20100017715A1 (en) Universal media bar for controlling different types of media
US20100064255A1 (en) Contextual menus in an electronic device
CN102750099A (en) Terminal and terminal control method
US20070279389A1 (en) Method of task-oriented universal remote control user interface
CN104020936A (en) Terminal and controlling method thereof
CN101770331A (en) Method and device for managing computer icon arrangement, device and computer

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20080317

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20100212

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20100223

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20100419

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20110308