JP2017174036A - Output control device, output control method, and program - Google Patents

Output control device, output control method, and program Download PDF

Info

Publication number
JP2017174036A
JP2017174036A JP2016057842A JP2016057842A JP2017174036A JP 2017174036 A JP2017174036 A JP 2017174036A JP 2016057842 A JP2016057842 A JP 2016057842A JP 2016057842 A JP2016057842 A JP 2016057842A JP 2017174036 A JP2017174036 A JP 2017174036A
Authority
JP
Japan
Prior art keywords
unit
distance
output control
user
type
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2016057842A
Other languages
Japanese (ja)
Inventor
和真 川原
Kazuma Kawahara
和真 川原
俊彦 吉田
Toshihiko Yoshida
俊彦 吉田
洋一 村山
Yoichi Murayama
洋一 村山
剛 川上
Takeshi Kawakami
剛 川上
隆司 川下
Takashi Kawashita
隆司 川下
裕晃 下田
Hiroaki Shimoda
裕晃 下田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Casio Computer Co Ltd
Original Assignee
Casio Computer Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Casio Computer Co Ltd filed Critical Casio Computer Co Ltd
Priority to JP2016057842A priority Critical patent/JP2017174036A/en
Publication of JP2017174036A publication Critical patent/JP2017174036A/en
Pending legal-status Critical Current

Links

Images

Landscapes

  • Position Input By Displaying (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

PROBLEM TO BE SOLVED: To provide an output control device and the like which can output operation information easy to be seen by a user.SOLUTION: An output control device 300 includes a distance acquisition unit 311, a selection unit 312, and an output control unit 313. The distance acquisition unit 311 acquires a distance between a display surface displaying an operational object and a user's hand operating the operational object. The selection unit 312 selects, in accordance with the distance acquired by the distance acquisition unit 311, at least one kind of an operation from plural kinds of operations allowed by the user's hand to the operational object. The output control unit 313 outputs operation information indicative of the kind of the operation selected by the selection unit 312 to an output device.SELECTED DRAWING: Figure 3

Description

本発明は、出力制御装置、出力制御方法及びプログラムに関する。   The present invention relates to an output control device, an output control method, and a program.

従来から、カメラでユーザの動きを検出し、検出された動きに応じて、画面に表示された操作対象を操作する表示システムがある。このような表示システムにおいて、ユーザへの操作補助として、例えば、特許文献１には、ユーザの手の形状に応じて、様々な操作が可能な表示システムであって、操作に対応する手の形状を操作ガイドとして画面に表示する技術が開示されている。   Conventionally, there is a display system that detects a user's movement with a camera and operates an operation target displayed on a screen in accordance with the detected movement. In such a display system, for example, Patent Document 1 discloses a display system that can perform various operations according to the shape of the user's hand as a user's operation assistance. Has been disclosed on the screen as an operation guide.

特開２０１３−２１０７２３号公報JP 2013-210723 A

しかしながら、特許文献１では、画面上で可能な全ての操作の操作ガイドを表示しているため、可能な操作が多いと表示される操作ガイドの数も多くなり、画面が煩雑になる。そのため、ユーザにとって、自身が必要な操作ガイド等の操作情報を視認しづらいという問題がある。   However, in Patent Document 1, since operation guides for all possible operations are displayed on the screen, the number of operation guides to be displayed increases when there are many possible operations, and the screen becomes complicated. Therefore, there is a problem that it is difficult for the user to visually recognize operation information such as an operation guide that the user needs.

本発明は、上述のような事情に鑑みてなされたものであり、ユーザにとって見やすい操作情報を出力可能な出力制御装置等を提供することを目的とする。   The present invention has been made in view of the above-described circumstances, and an object thereof is to provide an output control device and the like that can output operation information that is easy for a user to see.

上記目的を達成するため、本発明に係る出力制御装置は、
操作対象を表示する表示面と、前記操作対象を操作する操作部との距離を取得する距離取得部と、
前記距離取得部により取得された距離に応じて、前記操作対象に対して前記操作部が可能な複数の操作の種類のうちから、少なくとも１つの操作の種類を選択する選択部と、
前記選択部により選択された操作の種類を示す操作情報を出力装置に出力する出力制御部と、
を備えることを特徴とする。 In order to achieve the above object, an output control device according to the present invention provides:
A distance acquisition unit that acquires a distance between a display surface that displays the operation target and an operation unit that operates the operation target;
A selection unit that selects at least one type of operation from among a plurality of types of operations that can be performed on the operation target by the operation unit according to the distance acquired by the distance acquisition unit;
An output control unit that outputs operation information indicating the type of operation selected by the selection unit to an output device;
It is characterized by providing.

本発明によれば、ユーザにとって見やすい操作情報を出力することができる。   According to the present invention, it is possible to output operation information that is easy for the user to see.

実施形態１に係る出力制御システムの外観構成を示す図である。It is a figure which shows the external appearance structure of the output control system which concerns on Embodiment 1. FIG. 表示装置が表示するコンテンツの一例を示す図である。It is a figure which shows an example of the content which a display apparatus displays. 実施形態１に係る出力制御装置の構成を示す概略図である。1 is a schematic diagram illustrating a configuration of an output control device according to a first embodiment. 操作情報ＤＢに格納されるデータの一例を示す図である。It is a figure which shows an example of the data stored in operation information DB. 設定された距離範囲の一例を示す図である。It is a figure which shows an example of the set distance range. （ａ）及び（ｂ）は、実施形態１に係る表示面の一例を示す図である。(A) And (b) is a figure which shows an example of the display surface which concerns on Embodiment 1. FIG. （ａ）及び（ｂ）は、実施形態１に係る表示面の一例を示す図である。(A) And (b) is a figure which shows an example of the display surface which concerns on Embodiment 1. FIG. 実施形態１に係る出力制御処理のフローチャートの一例を示す図である。It is a figure which shows an example of the flowchart of the output control process which concerns on Embodiment 1. FIG. 実施形態２に係る出力制御装置の構成を示す概略図である。FIG. 4 is a schematic diagram illustrating a configuration of an output control device according to a second embodiment. 実施形態２に係る表示面の一例を示す図である。10 is a diagram illustrating an example of a display surface according to Embodiment 2. FIG. 実施形態２に係る出力制御処理のフローチャートの一例を示す図である。FIG. 10 is a diagram illustrating an example of a flowchart of output control processing according to a second embodiment.

以下、本発明の実施形態について図面を参照して説明する。   Embodiments of the present invention will be described below with reference to the drawings.

（実施形態１）
図１は、本発明の実施形態１に係る出力制御システム１の外観構成を示す図である。出力制御システム１は、店頭や公共施設などに設置され、視聴者であるユーザに案内や広告などのコンテンツを表示するデジタル・サイネージ（いわゆる電子看板）を制御するシステムである。 (Embodiment 1)
FIG. 1 is a diagram showing an external configuration of an output control system 1 according to Embodiment 1 of the present invention. The output control system 1 is a system that is installed in a storefront, public facility, or the like, and controls digital signage (so-called electronic signage) that displays content such as guidance and advertisements to users who are viewers.

図１に示すように、出力制御システム１は、モーションセンサ１００と、表示装置２００と、出力制御装置３００とから構成される。出力制御システム１では、表示装置２００に表示された操作対象を操作するために、いわゆるジェスチャインタフェースが採用されている。ここで、ジェスチャインタフェースとは、ユーザからコンピュータへの情報の伝達を、手や指の動き（ジェスチャ）で行うユーザインタフェースである。本実施形態では、出力制御システム１では、出力制御装置３００が、モーションセンサ１００により、本実施形態１において操作部として機能するユーザの手２の動きを検出し、その動きに応じて表示装置２００に表示される操作対象への処理を実行する。そして、出力制御装置３００は、その実行結果を表示装置２００に表示する。   As shown in FIG. 1, the output control system 1 includes a motion sensor 100, a display device 200, and an output control device 300. In the output control system 1, a so-called gesture interface is employed to operate the operation target displayed on the display device 200. Here, the gesture interface is a user interface that transmits information from the user to the computer by movement of a hand or a finger (gesture). In the present embodiment, in the output control system 1, the output control device 300 detects the movement of the user's hand 2 that functions as the operation unit in the first embodiment by the motion sensor 100, and the display device 200 according to the movement. Execute the process for the operation target displayed on the screen. Then, the output control device 300 displays the execution result on the display device 200.

モーションセンサ１００は、例えば、赤外線やレーザを利用した距離画像センサから構成される。モーションセンサ１００は、その画角内にユーザの手２が入るように、ユーザの前方やユーザの手２の下方等に設置され、距離画像データを取得する。距離画像データには、測定対象物の形状と、その測定対象物までの距離と、測定対象物の位置を表すデータが含まれる。モーションセンサ１００は、取得された距離画像データを出力制御装置３００に送信する。   The motion sensor 100 is composed of a distance image sensor using infrared rays or a laser, for example. The motion sensor 100 is installed in front of the user or below the user's hand 2 so that the user's hand 2 falls within the angle of view, and acquires the distance image data. The distance image data includes data representing the shape of the measurement object, the distance to the measurement object, and the position of the measurement object. The motion sensor 100 transmits the acquired distance image data to the output control device 300.

上記のような距離画像データの取得方法として、例えば、モーションセンサ１００は、２台の撮像装置を備える。この場合、一般的なステレオ画像処理技術により、２台の撮像装置がそれぞれ撮像した画像の視差から距離画像データを取得することができる。   As a method for acquiring distance image data as described above, for example, the motion sensor 100 includes two imaging devices. In this case, the distance image data can be acquired from the parallax of the images captured by the two imaging devices by a general stereo image processing technique.

表示装置２００は、出力制御装置３００が出力するコンテンツを表示する装置であって、例えば、ＬＣＤ（Liquid Crystal Display）、ＥＬ（Electroluminescence）ディスプレイなどによって構成される。本実施形態では、表示装置２００は、操作対象を含むコンテンツを表示面２０１に表示する。表示装置２００が表示するコンテンツの一例を図２に示す。図２に示す例では、タブＴ１〜Ｔ５、ページＰ１、ボタンＢ１，Ｂ２が、操作対象として表示面２０１に表示されている。   The display device 200 is a device that displays the content output by the output control device 300, and includes, for example, an LCD (Liquid Crystal Display), an EL (Electroluminescence) display, or the like. In the present embodiment, the display device 200 displays content including an operation target on the display surface 201. An example of content displayed on the display device 200 is shown in FIG. In the example shown in FIG. 2, tabs T1 to T5, page P1, and buttons B1 and B2 are displayed on the display surface 201 as operation targets.

出力制御装置３００は、モーションセンサ１００から取得した距離画像データが表すユーザの手２までの距離に応じて、表示装置２００にユーザの手２が操作可能な操作の種類を示す操作情報を出力する。   The output control device 300 outputs operation information indicating the type of operation that can be operated by the user's hand 2 to the display device 200 according to the distance to the user's hand 2 represented by the distance image data acquired from the motion sensor 100. .

次に、出力制御装置３００の構成について詳細に説明する。   Next, the configuration of the output control device 300 will be described in detail.

図３は、出力制御装置３００の構成を示す概略図である。図３に示すように、出力制御装置３００は、制御部３０１と、記憶部３０２と、通信部３０３と、入力部３０４とから構成され、各部は、バス３０５により接続されている。   FIG. 3 is a schematic diagram showing the configuration of the output control device 300. As illustrated in FIG. 3, the output control device 300 includes a control unit 301, a storage unit 302, a communication unit 303, and an input unit 304, and each unit is connected by a bus 305.

制御部３０１は、ＣＰＵ（Central Processing Unit）、ＲＯＭ（Read Only Memory)、ＲＡＭ（Random Access Memory）によって構成される。制御部３０１は、ＲＯＭに記憶されたプログラム（例えば、後述する出力制御処理に係るプログラム）を実行することにより、後述する距離取得部３１１、選択部３１２、出力制御部３１３、操作検出部３１４、処理実行部３１５の機能を実現する。   The control unit 301 includes a CPU (Central Processing Unit), a ROM (Read Only Memory), and a RAM (Random Access Memory). The control unit 301 executes a program stored in the ROM (for example, a program related to an output control process described later), whereby a distance acquisition unit 311, a selection unit 312, an output control unit 313, an operation detection unit 314, which will be described later, The function of the process execution unit 315 is realized.

記憶部３０２は、ＨＤＤ（Hard Disk Drive）などの不揮発性メモリである。記憶部３０２は、表示装置２００に出力する様々なコンテンツを記憶する。また、記憶部３０２は、後述する操作情報データベース（ＤＢ）３２１を記憶する。   The storage unit 302 is a non-volatile memory such as an HDD (Hard Disk Drive). The storage unit 302 stores various contents to be output to the display device 200. The storage unit 302 also stores an operation information database (DB) 321 described later.

通信部３０３は、出力制御装置３００をモーションセンサ１００及び表示装置２００と通信可能に接続するための通信インターフェースから構成される。   The communication unit 303 includes a communication interface for connecting the output control device 300 to the motion sensor 100 and the display device 200 so as to communicate with each other.

入力部３０４は、ボタン、キーボード、タッチパネル等の入力装置から構成される。入力部３０４は、出力制御装置３００のユーザからの操作入力を受け付け、受け付けた操作入力に対応する信号を制御部３０１に出力する。   The input unit 304 includes input devices such as buttons, a keyboard, and a touch panel. The input unit 304 receives an operation input from a user of the output control device 300 and outputs a signal corresponding to the received operation input to the control unit 301.

次に、出力制御装置３００の制御部３０１の機能構成について説明する。図３に示すように、制御部３０１は、距離取得部３１１、選択部３１２、出力制御部３１３、操作検出部３１４、処理実行部３１５として機能する。   Next, a functional configuration of the control unit 301 of the output control apparatus 300 will be described. As illustrated in FIG. 3, the control unit 301 functions as a distance acquisition unit 311, a selection unit 312, an output control unit 313, an operation detection unit 314, and a process execution unit 315.

距離取得部３１１は、表示面２０１とユーザの手２との距離を取得する。本実施形態では、距離取得部３１１は、モーションセンサ１００から距離画像データを取得する。そして、距離取得部３１１は、例えば、取得された距離画像データから、現実空間におけるユーザの手２と表示面２０１との距離を取得する。なお、ユーザの手２の位置とは、例えば、ユーザの手２が伸ばしている指先の位置としてもよいし、ユーザの手２の最も表示面２０１に近い部分の位置としてもよい。   The distance acquisition unit 311 acquires the distance between the display surface 201 and the user's hand 2. In the present embodiment, the distance acquisition unit 311 acquires distance image data from the motion sensor 100. For example, the distance acquisition unit 311 acquires the distance between the user's hand 2 and the display surface 201 in the real space from the acquired distance image data. The position of the user's hand 2 may be, for example, the position of the fingertip that the user's hand 2 extends, or may be the position of the portion of the user's hand 2 that is closest to the display surface 201.

選択部３１２は、距離取得部３１１により取得された距離に応じて、操作対象に対してユーザの手２が可能な複数の操作の種類のうちから、少なくとも１つの操作の種類を選択する。本実施形態では、選択部３１２は、操作情報ＤＢ３２１を参照して、距離取得部３１１により取得された距離に対応する操作の種類を選択する。   The selection unit 312 selects at least one operation type from among a plurality of operation types that the user's hand 2 can perform on the operation target, according to the distance acquired by the distance acquisition unit 311. In the present embodiment, the selection unit 312 refers to the operation information DB 321 and selects an operation type corresponding to the distance acquired by the distance acquisition unit 311.

ここで、操作情報ＤＢ３２１に格納されるデータについて説明する。図４は、操作情報ＤＢ３２１に格納されるデータの一例を示す図である。図４に示すように、操作情報ＤＢ３２１は、距離範囲と、操作領域と、操作の種類と、操作情報とを対応付けて格納する。   Here, data stored in the operation information DB 321 will be described. FIG. 4 is a diagram illustrating an example of data stored in the operation information DB 321. As illustrated in FIG. 4, the operation information DB 321 stores a distance range, an operation area, an operation type, and operation information in association with each other.

距離範囲は、ユーザの手２が操作対象を操作可能な距離の範囲である。本実施形態１では、表示面２０１から表示方向（表示面２０１の前方）の距離を所定の距離で区切ることにより、２つの距離範囲（所定の範囲）が設定されている。図５に、設定された距離範囲の一例を示す。図５は、表示面２０１と直行する方向から見た図であり、表示面２０１の位置をｄ＝０として、表示面２０１から前方に向かって距離ｄが規定されている。そして、ｄ１＜ｄ≦ｄ２を距離範囲Ｄ１、０＜ｄ≦ｄ１を距離範囲Ｄ２として設定されている。 The distance range is a distance range in which the user's hand 2 can operate the operation target. In the first embodiment, two distance ranges (predetermined ranges) are set by dividing the distance from the display surface 201 in the display direction (in front of the display surface 201) by a predetermined distance. FIG. 5 shows an example of the set distance range. FIG. 5 is a view as viewed from a direction perpendicular to the display surface 201. The position d of the display surface 201 is defined as d = 0, and a distance d is defined from the display surface 201 to the front. D 1 <d ≦ d 2 is set as the distance range D 1 , and 0 <d ≦ d 1 is set as the distance range D 2 .

操作領域は、表示面２０１上において操作対象を操作可能な領域である。本実施形態１では、図２に示すように、操作対象であるタブＴ１〜Ｔ５、ページＰ１、ボタンＢ１，Ｂ２に対応して、操作領域Ａ１〜Ａ３がそれぞれ設定されている。 The operation area is an area where the operation target can be operated on the display surface 201. In the first embodiment, as shown in FIG. 2, operation areas A 1 to A 3 are set corresponding to the tabs T 1 to T 5, the page P 1, and the buttons B 1 and B 2 that are the operation targets.

操作の種類は、ユーザの手２が可能な操作の種類を示す。図２に示す操作対象の例では、フリック、ピンチ、タップの３種類の操作が可能である。フリックは、ユーザが手２をスライドさせる操作である。フリックは、さらに、手２を縦方向にスライドさせる縦フリックと、横方向にスライドさせる横フリックとの２種類の操作を含む。ピンチは、ユーザが２本の指を近づける、または遠ざけるように動かす操作である。タップは、ユーザが手２を表示面２０１に対して前後する、もしくは表示面２０１に向けて近づけるように動かす操作である。   The type of operation indicates the type of operation that the user's hand 2 can perform. In the example of the operation target shown in FIG. 2, three types of operations, flick, pinch and tap, are possible. The flick is an operation in which the user slides the hand 2. The flick further includes two types of operations: a vertical flick that slides the hand 2 in the vertical direction and a horizontal flick that slides the hand 2 in the horizontal direction. The pinch is an operation in which the user moves the two fingers closer or away from each other. The tap is an operation in which the user moves the hand 2 back and forth with respect to the display surface 201 or moves closer to the display surface 201.

本実施形態１では、距離範囲（所定の範囲）毎に、各操作領域において可能な操作の種類が予め設定されている。例えば、図４に示すように、距離範囲Ｄ１内の操作領域Ａ１では、横フリックが可能である。従って、ユーザは、距離範囲Ｄ１内の操作領域Ａ１において横フリックをすることにより、タブＴ１〜Ｔ５のいずれかを選択することができる。また、距離範囲Ｄ２内の操作領域Ａ１では、タップが可能である。従って、ユーザは、距離範囲Ｄ２の操作領域Ａ１においてタップをすることにより、タップされたタブを決定することができる。本実施形態１では、どのタブをユーザがタップしているかを判別するため、ユーザの手２が伸ばしている指の本数に応じたタブを決定してもよい。例えば、ユーザが２本の指でタップを行った場合は、タブＴ２が決定される。また、距離範囲Ｄ１またはＤ２内の操作領域Ａ２では、ピンチが可能である。従って、ユーザは、距離範囲Ｄ１またはＤ２内の操作領域Ａ２においてピンチをすることにより、ページを拡大または縮小して表示することができる。また、距離範囲Ｄ１内の操作領域Ａ３では、縦フリックが可能である。従って、ユーザは、距離範囲Ｄ１内の操作領域Ａ３において縦フリックをすることにより、ボタンＢ１及びＢ２のいずれかを選択することができる。また、距離範囲Ｄ２内の操作領域Ａ３では、タップが可能である。従って、ユーザは、距離範囲Ｄ２の操作領域Ａ３においてタップをすることにより、タップされたボタンＢ１またはＢ２を決定することができる。 In the first embodiment, for each distance range (predetermined range), the types of operations that can be performed in each operation region are set in advance. For example, as shown in FIG. 4, a horizontal flick is possible in the operation area A 1 within the distance range D 1 . Therefore, the user, by the lateral flick in the operation area A 1 of the distance range D 1, it is possible to select one of the tabs T1T5. Further, in the operation area A 1 within the distance range D 2, it is possible to tap. Therefore, the user, by a tap in the operation area A 1 of the distance range D 2, it is possible to determine the tapped tab. In the first embodiment, in order to determine which tab the user is tapping, a tab corresponding to the number of fingers that the user's hand 2 is extending may be determined. For example, when the user taps with two fingers, the tab T2 is determined. In addition, the operation area A 2 within the distance range D 1 or D 2 can be pinched. Therefore, the user, by a pinch in the distance range D 1 or the operation area A 2 in D 2, can be displayed in an enlarged or reduced page. In the operation area A 3 within the distance range D 1 , vertical flicking is possible. Therefore, the user, by a vertical flick in the operation area A 3 of the distance range D 1, it is possible to select one of the buttons B1 and B2. Further, in the operation area A 3 within a distance range D 2, it is possible to tap. Therefore, the user, by a tap in the operation area A 3 of the distance range D 2, can determine the button B1 or B2 tapped.

操作情報は、操作の種類を示す情報である。図４に示す例では、縦フリック、横フリック、及びピンチを示す操作情報は、それぞれ、操作可能な方向に延びる両矢印と手のアイコンを含む画像データである。また、タップを示す操作情報は、操作対象の強調表示である。   The operation information is information indicating the type of operation. In the example illustrated in FIG. 4, the operation information indicating the vertical flick, the horizontal flick, and the pinch is image data including a double arrow extending in an operable direction and a hand icon. Further, the operation information indicating the tap is a highlighted display of the operation target.

次に、選択部３１２による、取得された距離に対応する操作の種類の選択方法について説明する。まず、選択部３１２は、距離取得部３１１により取得された距離が、どの距離範囲内であるかを特定する。次に、選択部３１２は、操作情報ＤＢ３２１を参照して、特定した距離範囲に対応する操作の種類を選択する。例えば、図５に示すように、ユーザの手２がＰａに位置し、距離取得部３１１により取得された距離が、ｄ＝ｄａのとき、選択部３１２はユーザの手２が距離範囲Ｄ１内にあると特定する。そして、選択部３１２は、操作情報ＤＢ３２１を参照して、距離範囲Ｄ１に対応する操作の種類である横フリック、ピンチ、縦フリックを選択する。また、例えば、ユーザの手２がＰｂに位置し、距離取得部３１１により取得された距離が、ｄ＝ｄｂのとき、選択部３１２はユーザの手２が距離範囲Ｄ２内にあると特定する。そして、選択部３１２は、操作情報ＤＢ３２１を参照して、距離範囲Ｄ２に対応する操作の種類であるタップ及びピンチを選択する。 Next, a method for selecting the type of operation corresponding to the acquired distance by the selection unit 312 will be described. First, the selection unit 312 identifies which distance range the distance acquired by the distance acquisition unit 311 is within. Next, the selection unit 312 refers to the operation information DB 321 and selects the type of operation corresponding to the identified distance range. For example, as shown in FIG. 5, the hand 2 of a user located in P a, the distance obtained by the distance obtaining unit 311, d = d when a, selection unit 312 hands 2 distance range of the user D Identified as being within 1 . Then, selecting section 312 refers to the operation information DB 321, the distance range horizontal flick is a type of operation corresponding to D 1, selects pinch vertical flick. Further, for example, a hand 2 of a user located in P b, the distance obtained by the distance obtaining unit 311, when d = d b, selection unit 312 when the hand 2 of a user is within a distance range D 2 Identify. Then, selecting section 312 refers to the operation information DB 321, selects a tap and pinch a type of operation corresponding to the distance range D 2.

出力制御部３１３は、選択部３１２により選択された操作の種類を示す操作情報を表示装置２００に出力する。本実施形態では、出力制御部３１３は、操作情報ＤＢ３２１を参照して、選択部３１２により選択された操作の種類に対応する操作情報を特定する。そして、出力制御部３１３は、特定された操作情報が画像データである場合、その画像データが対応する操作領域Ａ１〜Ａ３内に表示されるように、表示装置２００に出力する。また、出力制御部３１３は、特定された操作情報が強調表示である場合、対応する操作領域Ａ１〜Ａ３内の操作対象を強調表示する。 The output control unit 313 outputs operation information indicating the type of operation selected by the selection unit 312 to the display device 200. In the present embodiment, the output control unit 313 refers to the operation information DB 321 and identifies operation information corresponding to the type of operation selected by the selection unit 312. When the specified operation information is image data, the output control unit 313 outputs the image data to the display device 200 so that the image data is displayed in the corresponding operation area A 1 to A 3 . Further, when the specified operation information is highlighted, the output control unit 313 highlights the operation target in the corresponding operation area A 1 to A 3 .

例えば、選択部３１２により距離範囲Ｄ１に対応する操作の種類である横フリック、ピンチ、縦フリックが選択された場合、出力制御部３１３は、操作情報ＤＢ３２１を参照して、各操作の種類に対応する画像データを表示装置２００に出力する。この場合の表示装置２００の表示面２０１の一例を図６（ａ）に示す。図６（ａ）に示すように、選択された横フリック、ピンチ、縦フリックにそれぞれ対応する画像データが示す画像Ｉ１〜Ｉ３が、対応する操作領域Ａ１〜Ａ３内に表示されている。 For example, horizontal flicks of the type of operation corresponding to the distance range D 1 by the selection unit 312, a pinch, if the vertical flick is selected, the output control unit 313 refers to the operation information DB 321, the type of each operation Corresponding image data is output to the display device 200. An example of the display surface 201 of the display device 200 in this case is shown in FIG. As shown in FIG. 6 (a), selected horizontal flick, pinch, image I1~I3 represented by the image data corresponding respectively to the vertical flick is displayed in the corresponding operation area A 1 to A 3.

また、例えば、選択部３１２により距離範囲Ｄ２に対応する操作の種類であるタップ及びピンチが選択された場合、出力制御部３１３は、操作情報ＤＢ３２１を参照して、タップに対応する操作領域Ａ１及びＡ３内の操作対象を強調表示するとともに、ピンチに対応する画像データを表示装置２００に出力する。この場合の表示装置２００の表示面２０１の一例を図６（ｂ）に示す。図６（ｂ）に示すように、選択されたタップに対応する操作領域Ａ１内の操作対象であるタブＴ１〜Ｔ５のそれぞれは、その見出しのフォントを大きくかつ太くすることにより、強調表示されている。また、選択されたタップに対応する操作領域Ａ３内の操作対象であるボタンＢ１及びＢ２のそれぞれは、その輪郭線を太くすることにより、強調表示されている。また、選択されたピンチに対応する画像データが示す画像Ｉ２が対応する操作領域Ａ２内に表示されている。 For example, when the tap and the pinch of the type of operation corresponding to the distance range D 2 by the selection unit 312 is selected, the output control unit 313 refers to the operation information DB 321, the operation area A, corresponding to the tap with highlight operation target in 1 and a 3, and it outputs the image data corresponding to the pinch at the display 200. An example of the display surface 201 of the display device 200 in this case is shown in FIG. As shown in FIG. 6 (b), each of the tabs T1~T5 is an operation target of the operation area A 1 corresponding to the tap selected by large and thick fonts that heading, is highlighted ing. Also, each of the buttons B1 and B2 to be operated in the operation region A 3 corresponding to the tap selected by thickening the outline are highlighted. Further, the image I2 represented by the image data corresponding to the selected pinch is displayed in the corresponding operation region A 2.

図３に戻って、操作検出部３１４は、ユーザの手２の動作に対応する操作の種類を検出する。本実施形態では、操作検出部３１４は、モーションセンサ１００から距離画像データを取得する。そして、操作検出部３１４は、例えば、取得された距離画像データにおいて、予め設定されたユーザの手のパターンとのパターンマッチングにより、ユーザの手２と、その位置を特定する。そして、操作検出部３１４は、連続的に取得された距離画像データから、予め設定された、操作の種類に対応するユーザの手の動作パターンと、特定されたユーザの手２の動作とのパターンマッチングにより、ユーザの手２の動作に対応する操作の種類を検出する。さらに、操作検出部３１４は、特定された距離画像データ上の手２の位置に基づいて、手２により操作されている操作対象を特定する。例えば、操作検出部３１４は、連続的に取得された距離画像データに基づいて、図７（ａ）に示す点Ｐｂ１に対応する位置から図７（ｂ）に示す点Ｐｂ２に対応する位置まで手２が右方向に移動する動作を取得した場合、操作検出部３１４は、この動作に対応する操作の種類として横フリックを検出し、操作対象としてタブＴ１〜Ｔ４を順に特定する。 Returning to FIG. 3, the operation detection unit 314 detects the type of operation corresponding to the movement of the user's hand 2. In the present embodiment, the operation detection unit 314 acquires distance image data from the motion sensor 100. Then, for example, the operation detection unit 314 specifies the user's hand 2 and its position by pattern matching with the preset user's hand pattern in the acquired distance image data. The operation detection unit 314 then sets a pattern of the user's hand motion pattern corresponding to the type of operation and the identified motion of the user's hand 2 from the distance image data acquired continuously. The type of operation corresponding to the movement of the user's hand 2 is detected by matching. Further, the operation detection unit 314 specifies an operation target operated by the hand 2 based on the position of the hand 2 on the specified distance image data. For example, the operation detection unit 314, based on the successively acquired range image data, corresponding to the P b2 point shown in FIG. 7 (b) from a position corresponding to P b1 point shown in FIG. 7 (a) position When the operation of moving the hand 2 to the right is acquired, the operation detection unit 314 detects a horizontal flick as the type of operation corresponding to this operation, and sequentially specifies the tabs T1 to T4 as operation targets.

処理実行部３１５は、距離取得部３１１により取得された距離と、操作検出部３１４により検出された操作の種類及びその操作領域と、操作対象とに基づいて、予め定められた処理を実行する。例えば、距離取得部３１１が距離ｄ＝ｄａを取得し、操作検出部３１４が、操作の種類として横フリック、操作対象としてタブＴ１〜Ｔ４、及び操作領域Ａ１を特定したとする。この場合、処理実行部３１５は、操作情報ＤＢ３２１を参照して、横フリックが距離ｄ＝ｄａを含む距離範囲Ｄ１であって、操作領域Ａ１において可能な操作であると判定する。そして、処理実行部３１５は、タブＴ１からＴ４を順に選択し、選択されたタブＴ１〜Ｔ４に対応するページを表示する。本実施形態では、図７（ａ）に示すタブＴ１に対応するページＰ１から、図７（ｂ）に示すタブＴ４に対応するページＰ４に表示を変更する。 The process execution unit 315 executes a predetermined process based on the distance acquired by the distance acquisition unit 311, the type and operation area of the operation detected by the operation detection unit 314, and the operation target. For example, the distance obtaining unit 311 obtains a distance d = d a, the operation detection unit 314, horizontal flicks as the type of operation, and to identify the tab T1-T4, and the operation area A 1 as the operation target. In this case, the processing execution unit 315 refers to the operation information DB 321, a distance range D 1 horizontal flick comprises a distance d = d a, determines that possible in the operation area A 1 operation. Then, the process execution unit 315 sequentially selects the tabs T1 to T4 and displays pages corresponding to the selected tabs T1 to T4. In the present embodiment, the display is changed from the page P1 corresponding to the tab T1 shown in FIG. 7A to the page P4 corresponding to the tab T4 shown in FIG.

次に、本実施形態１に係る出力制御装置３００の制御部３０１が実行する出力制御処理について説明する。図８は、本実施形態１に係る出力制御処理のフローチャートの一例である。この出力制御処理は、例えば、出力制御装置３００の電源がＯＮされたことを契機に開始される。また、表示装置２００には、図２に示すような操作対象が表示されているものとする。また、理解を容易にするために、モーションセンサ１００が測定するユーザの数は１人であることを前提に説明する。   Next, output control processing executed by the control unit 301 of the output control device 300 according to the first embodiment will be described. FIG. 8 is an example of a flowchart of output control processing according to the first embodiment. This output control process is started, for example, when the power source of the output control device 300 is turned on. Further, it is assumed that the operation target as shown in FIG. 2 is displayed on the display device 200. In order to facilitate understanding, description will be made on the assumption that the number of users measured by the motion sensor 100 is one.

まず、距離取得部３１１は、モーションセンサ１００から距離画像データを取得する（ステップＳ１０１）。本実施形態では、距離取得部３１１は、所定の時間間隔おきに距離画像データを取得し、取得された距離画像データをＲＡＭ等に記録する。そして、距離取得部３１１は、距離画像データを取得する度に以降の処理を実行する。   First, the distance acquisition unit 311 acquires distance image data from the motion sensor 100 (step S101). In the present embodiment, the distance acquisition unit 311 acquires distance image data at predetermined time intervals, and records the acquired distance image data in a RAM or the like. And the distance acquisition part 311 performs the subsequent process, whenever it acquires distance image data.

次に、距離取得部３１１は、ステップＳ１０１において取得された距離画像データから、距離画像データ上のユーザの手２の位置を特定し、特定されたユーザの手２の位置から、現実空間におけるユーザの手２と表示装置２００の表示面２０１との距離を取得する（ステップＳ１０２）。   Next, the distance acquisition unit 311 identifies the position of the user's hand 2 on the distance image data from the distance image data acquired in step S101, and the user in the real space from the position of the identified user's hand 2 The distance between the hand 2 and the display surface 201 of the display device 200 is acquired (step S102).

次に、選択部３１２は、ステップＳ１０２において取得された距離に基づいて、距離範囲Ｄ１またはＤ２内（所定の範囲内）にユーザの手２があるか否かを判定する（ステップＳ１０３）。本実施形態では、選択部３１２は、図５に示すように距離範囲Ｄ１及びＤ２が設定されている場合において、取得された距離ｄが、ｄ２よりも大きい場合、すなわち、距離範囲Ｄ１の外側である場合、距離範囲Ｄ１またはＤ２内にユーザの手２がないと判定する。また、選択部３１２は、取得された距離ｄが、ｄ２以下である場合、すなわち、距離範囲Ｄ１またはＤ２内である場合、距離領域Ｄ１またはＤ２内にユーザの手２があると判定する。 Next, the selection unit 312, based on the distance obtained in step S102, the distance range D 1 or D within 2 determines whether there is a user's hand 2 into (within a predetermined range) (Step S103) . In the present embodiment, the selection unit 312 has the distance range D 1 and D 2 set as shown in FIG. 5, and when the acquired distance d is larger than d 2 , that is, the distance range D. If one is outside, it determines that there is no user's hand 2 to a distance range D 1 or D 2. In addition, when the acquired distance d is equal to or less than d 2 , that is, within the distance range D 1 or D 2 , the selection unit 312 has the user's hand 2 in the distance region D 1 or D 2 . Is determined.

選択部３１２が距離範囲Ｄ１またはＤ２内にユーザの手２がないと判定した場合（ステップＳ１０３；Ｎｏ）、ステップＳ１０１に戻って処理を繰り返す。 If the selection unit 312 determines that there is no user's hand 2 to a distance range D 1 or D in 2 (step S103; No), the process returns to step S101.

選択部３１２が距離範囲Ｄ１またはＤ２内にユーザの手２があると判定した場合（ステップＳ１０３；Ｙｅｓ）、選択部３１２は、ステップＳ１０１において取得した距離が含まれる距離範囲Ｄ１またはＤ２を特定する（ステップＳ１０４）。 If the selection unit 312 determines that there is a user's hand 2 to a distance range D 1 or D in 2 (step S103; Yes), the selection unit 312, the distance range D 1 or D include distance acquired in step S101 2 is identified (step S104).

次に、選択部３１２は、ステップＳ１０４において特定された距離範囲Ｄ１またはＤ２に対応する操作の種類を操作情報ＤＢ３２１を参照して選択する（ステップＳ１０５）。 Next, the selection unit 312, referring to select the operation information DB321 kinds of operations corresponding to the distance range D 1 or D 2 identified in step S104 (step S105).

そして、出力制御部３１３は、操作情報ＤＢ３２１を参照して、ステップＳ１０５において選択された操作の種類に対応する操作情報を表示装置２００に出力する（ステップＳ１０６）。   Then, the output control unit 313 refers to the operation information DB 321 and outputs operation information corresponding to the type of operation selected in step S105 to the display device 200 (step S106).

次に、操作検出部３１４は、ステップＳ１０１において取得された距離画像データに基づいて、ユーザの手２による操作を検出したか否かを判定する（ステップＳ１０７）。本実施形態では、操作検出部３１４は、直近において連続的に取得された複数の距離画像データに基づいて、ユーザの手２の動作を取得し、取得された動作と、操作の種類に対応する動作パターンとを比較することにより、その動作に対応する操作の種類があるか否かを判定する。操作検出部３１４が、ユーザの手２による操作を検出していないと判定した場合（ステップＳ１０７；Ｎｏ）、ステップＳ１０１に戻って処理を繰り返す。   Next, the operation detection unit 314 determines whether an operation with the user's hand 2 has been detected based on the distance image data acquired in step S101 (step S107). In the present embodiment, the operation detection unit 314 acquires the operation of the user's hand 2 based on the plurality of distance image data acquired continuously most recently, and corresponds to the acquired operation and the type of operation. By comparing with the operation pattern, it is determined whether there is an operation type corresponding to the operation. When the operation detection unit 314 determines that the operation by the user's hand 2 is not detected (step S107; No), the process returns to step S101 and the process is repeated.

操作検出部３１４が、ユーザの手２による操作を検出したと判定した場合（ステップＳ１０７；Ｙｅｓ）、処理実行部３１５は、ステップＳ１０７において検出された操作の種類が、検出された操作の操作領域と距離範囲において可能な操作であるか否かを判定する（ステップＳ１０８）。処理実行部３１５が、検出された操作の種類が、検出された操作の操作領域と距離範囲において可能な操作でないと判定した場合（ステップＳ１０８；Ｎｏ）、ステップＳ１０１に戻って処理を繰り返す。   When the operation detection unit 314 determines that an operation with the user's hand 2 has been detected (step S107; Yes), the process execution unit 315 determines that the type of operation detected in step S107 is the operation region of the detected operation. It is determined whether the operation is possible in the distance range (step S108). If the process execution unit 315 determines that the detected operation type is not an operation that is possible within the operation area and distance range of the detected operation (step S108; No), the process execution unit 315 returns to step S101 and repeats the process.

処理実行部３１５は、ステップＳ１０７において検出された操作の種類が、検出された操作の操作領域と距離範囲において可能な操作であると判定した場合（ステップＳ１０８；Ｙｅｓ）、検出された操作の種類とその操作対象に対応する処理を実行する（ステップＳ１０９）。そして、処理実行部３１５は、その実行結果を表示装置２００に出力する。そして、ステップＳ１０１に戻って処理を繰り返す。   If the process execution unit 315 determines that the type of operation detected in step S107 is an operation that can be performed within the operation area and distance range of the detected operation (step S108; Yes), the type of operation detected And processing corresponding to the operation target is executed (step S109). Then, the process execution unit 315 outputs the execution result to the display device 200. And it returns to step S101 and repeats a process.

以上の処理は、例えば、出力制御装置３００の電源がＯＦＦになる、または入力部３０４を介して、ユーザから出力処理の終了を示す操作入力を受け付けるまで繰り返し実行される。   The above process is repeatedly executed until, for example, the power of the output control apparatus 300 is turned off or an operation input indicating the end of the output process is received from the user via the input unit 304.

以上説明したように、本実施形態１に係る出力制御装置３００は、操作対象を表示する表示面２０１と、操作対象を操作するユーザの手２との距離を取得し、その取得された距離において可能な操作の種類を示す操作情報を表示装置２００に表示する。従って、表示された操作情報を見たユーザは、その距離で可能な操作を容易に認識することができる。   As described above, the output control apparatus 300 according to the first embodiment acquires the distance between the display surface 201 that displays the operation target and the user's hand 2 that operates the operation target, and at the acquired distance. Operation information indicating possible operation types is displayed on the display device 200. Therefore, the user who sees the displayed operation information can easily recognize the operations that can be performed at that distance.

また、距離に応じて異なる操作を可能とすることにより、操作対象に対して多くの種類の操作が可能であっても、表示すべき操作情報の数を抑えることができるため、ユーザは容易に操作情報を視認することができる。   In addition, by enabling different operations depending on the distance, even if many types of operations can be performed on the operation target, the number of pieces of operation information to be displayed can be reduced, so that the user can easily Operation information can be visually recognized.

（実施形態２）
上記の実施形態１に係る出力制御装置３００では、表示面２０１とユーザの手２との距離に応じて、操作の種類を選択し、選択された操作の種類を示す操作情報を出力した。本実施形態２に係る出力制御装置３００は、表示面２０１とユーザの手２との距離だけでなく、さらに表示面２０１におけるユーザの手２の位置に応じて操作の種類を選択する。以下、本実施形態２に係る出力制御装置３００について説明する。なお、実施形態１と同様の構成については、同様の符号を用い、その詳細な説明を省略する。 (Embodiment 2)
In the output control apparatus 300 according to the first embodiment, the type of operation is selected according to the distance between the display surface 201 and the user's hand 2, and operation information indicating the type of the selected operation is output. The output control apparatus 300 according to the second embodiment selects an operation type according to not only the distance between the display surface 201 and the user's hand 2 but also the position of the user's hand 2 on the display surface 201. Hereinafter, the output control apparatus 300 according to the second embodiment will be described. In addition, about the structure similar to Embodiment 1, the same code | symbol is used and the detailed description is abbreviate | omitted.

図９に、本実施形態２に係る出力制御装置３００の構成を示す。図９に示すように、実施形態２に係る出力制御装置３００の制御部３０１は、位置取得部３１６としてさらに機能し、実施形態１の選択部３１２に代わって選択部３１７として機能する点で、実施形態１の制御部３０１と異なる。   FIG. 9 shows a configuration of the output control apparatus 300 according to the second embodiment. As shown in FIG. 9, the control unit 301 of the output control device 300 according to the second embodiment further functions as a position acquisition unit 316 and functions as a selection unit 317 instead of the selection unit 312 of the first embodiment. Different from the control unit 301 of the first embodiment.

位置取得部３１６は、モーションセンサ１００により取得された距離画像データから、表示面２０１におけるユーザの手２の位置を取得する。例えば、モーションセンサ１００が備える２台の撮像装置のそれぞれが撮像した画像から得られる視差に基づいて、表示面２０１におけるユーザの手２の位置を取得することが出来る。本実施形態では、モーションセンサ１００により取得された距離画像データ上の位置と、表示装置２００の表示面２０１上の位置とが予め対応付けられており、位置取得部３１６は、取得された距離画像データ上において特定されたユーザの手２の位置に対応する表示面２０１上の位置を、表示面２０１におけるユーザの手２の位置として取得する。   The position acquisition unit 316 acquires the position of the user's hand 2 on the display surface 201 from the distance image data acquired by the motion sensor 100. For example, the position of the user's hand 2 on the display surface 201 can be acquired based on the parallax obtained from the images captured by the two imaging devices included in the motion sensor 100. In the present embodiment, the position on the distance image data acquired by the motion sensor 100 and the position on the display surface 201 of the display device 200 are associated in advance, and the position acquisition unit 316 acquires the acquired distance image. The position on the display surface 201 corresponding to the position of the user's hand 2 specified on the data is acquired as the position of the user's hand 2 on the display surface 201.

選択部３１７は、距離取得部３１１により取得された距離と、位置取得部３１６により取得された位置に応じて、操作対象に対してユーザの手２が可能な複数の操作の種類のうちから、少なくとも１つの操作の種類を選択する。本実施形態では、選択部３１７は、取得された距離が含まれる距離範囲を特定する。また、選択部３１７は、取得された位置が含まれる操作領域を特定する。そして、選択部３１７は、操作情報ＤＢ３２１を参照して、特定された距離範囲及び操作領域に対応する操作の種類を選択する。例えば、図５に示す点Ｐａにユーザの手２が位置するとき、距離取得部３１１により距離ｄ＝ｄａが取得され、位置取得部３１６により図１０に示す位置Ｐａ１が取得されたとする。この場合、選択部３１７は、操作情報ＤＢ３２１を参照して、距離ｄａを含む距離範囲Ｄ１、及び位置Ｐａ１を含む操作領域Ａ３を特定する。そして、選択部３１７は、図４に示す操作情報ＤＢ３２１を参照して、距離範囲Ｄ１及び操作領域Ａ３に対応する操作の種類である縦フリックを選択する。 The selection unit 317 is based on the distance acquired by the distance acquisition unit 311 and the position acquired by the position acquisition unit 316. Select at least one type of operation. In the present embodiment, the selection unit 317 specifies a distance range that includes the acquired distance. In addition, the selection unit 317 specifies an operation region including the acquired position. Then, the selection unit 317 refers to the operation information DB 321 and selects an operation type corresponding to the specified distance range and operation area. For example, when a user's hand 2 is located in the P a point shown in FIG. 5, the distance obtaining unit 311 a distance d = d a is obtained, and the position P a1 of FIG. 10 by the position acquiring unit 316 is acquired . In this case, the selection unit 317 refers to the operation information DB 321 and specifies the distance range D 1 including the distance d a and the operation area A 3 including the position P a1 . Then, selecting section 317 refers to the operation information DB321 shown in FIG. 4, selects the vertical flick is a type of operation corresponding to the distance range D 1 and the operation area A 3.

出力制御部３１３は、実施形態１と同様に、選択部３１７により選択された操作の種類に対応する操作情報を表示装置２００に出力する。例えば、選択部３１７により距離範囲Ｄ１及び操作領域Ａ３に対応する操作の種類である縦フリックが選択された場合、出力制御部３１３は、操作情報ＤＢ３２１を参照して、縦フリックに対応する画像データを表示装置２００に出力する。この場合の表示装置２００の表示面２０１の一例を図１０に示す。図１０に示すように、選択された縦フリックにそれぞれ対応する画像データが示す画像Ｉ３が対応する操作領域Ａ３内に表示されている。 As in the first embodiment, the output control unit 313 outputs operation information corresponding to the type of operation selected by the selection unit 317 to the display device 200. For example, when the selection unit 317 selects a vertical flick that is the type of operation corresponding to the distance range D 1 and the operation region A 3 , the output control unit 313 refers to the operation information DB 321 and corresponds to the vertical flick. The image data is output to the display device 200. An example of the display surface 201 of the display device 200 in this case is shown in FIG. As shown in FIG. 10, the image I3 represented by the image data corresponding respectively to the vertical flick selected is displayed in the corresponding operation area A 3.

次に、本実施形態２係る出力制御装置３００の制御部３０１が実行する出力制御処理について説明する。図１１は、本実施形態２に係る出力制御処理のフローチャートの一例である。この出力制御処理は、例えば、出力制御装置３００の電源がＯＮされたことを契機に開始される。また、表示装置２００には、図２に示すような操作対象が表示されているものとする。また、理解を容易にするために、モーションセンサ１００が測定するユーザの数は１人であることを前提に説明する。   Next, output control processing executed by the control unit 301 of the output control apparatus 300 according to the second embodiment will be described. FIG. 11 is an example of a flowchart of output control processing according to the second embodiment. This output control process is started, for example, when the power source of the output control device 300 is turned on. Further, it is assumed that the operation target as shown in FIG. 2 is displayed on the display device 200. In order to facilitate understanding, description will be made on the assumption that the number of users measured by the motion sensor 100 is one.

まず、ステップＳ２０１〜Ｓ２０４において、制御部３０１は、図８に示す実施形態１に係る出力制御処理のステップＳ１０１〜Ｓ１０４と同様に処理を実行する。   First, in steps S201 to S204, the control unit 301 executes processing similar to steps S101 to S104 of the output control processing according to the first embodiment illustrated in FIG.

次に、位置取得部３１６は、ステップＳ２０１において取得された距離画像データから、表示面２０１におけるユーザの手２の位置を取得する（ステップＳ２０５）。   Next, the position acquisition unit 316 acquires the position of the user's hand 2 on the display surface 201 from the distance image data acquired in step S201 (step S205).

そして、選択部３１７は、ステップＳ２０５において取得した距離が含まれる操作領域Ａ１〜Ａ３を特定する（ステップＳ２０６）。 Then, the selection unit 317 specifies the operation areas A 1 to A 3 including the distance acquired in step S205 (step S206).

次に、選択部３１７は、ステップＳ２０４において特定された距離範囲Ｄ１またはＤ２及びステップＳ２０６において特定された操作領域Ａ１〜Ａ３に対応する操作の種類を操作情報ＤＢ３２１を参照して選択する（ステップＳ２０７）。 Next, the selection unit 317 selects an operation type corresponding to the distance range D1 or D2 specified in step S204 and the operation areas A 1 to A 3 specified in step S206 with reference to the operation information DB 321 ( Step S207).

そして、ステップＳ２０８〜Ｓ２１１において、制御部３０１は、図８に示す実施形態１に係る出力制御処理のステップＳ１０６〜Ｓ１０９と同様に処理を実行する。   In steps S208 to S211, the control unit 301 performs the same process as in steps S106 to S109 of the output control process according to the first embodiment illustrated in FIG.

以上説明したように、本実施形態２に係る出力制御装置３００は、操作対象を表示する表示装置２００と、操作対象を操作するユーザの手２との距離と、さらにユーザの手２の表示面２０１上の位置を取得し、その取得された距離及び位置において可能な操作の種類を示す操作情報を表示装置２００に表示する。一般的に、ユーザは、自身が操作を希望する操作対象の前に自身の手２を持ってくると考えられる。従って、出力制御装置３００は、ユーザの手２の位置に対応する操作領域Ａ１〜Ａ３内の操作対象に対応する操作情報を出力することにより、ユーザが希望する操作の操作情報を出力することができる。また、出力制御装置３００は、ユーザの手２の位置に対応しない操作領域Ａ１〜Ａ３内の操作対象に対応する操作情報を出力しないため、ユーザは、自身が希望する操作の操作情報を容易に視認することができる。 As described above, the output control device 300 according to the second embodiment includes the distance between the display device 200 that displays the operation target and the user's hand 2 that operates the operation target, and the display surface of the user's hand 2. A position on 201 is acquired, and operation information indicating the types of operations that can be performed at the acquired distance and position is displayed on the display device 200. Generally, it is considered that the user brings his / her hand 2 in front of the operation target he / she wishes to operate. Therefore, the output control device 300 outputs operation information of an operation desired by the user by outputting operation information corresponding to an operation target in the operation areas A 1 to A 3 corresponding to the position of the user's hand 2. be able to. Further, since the output control device 300 does not output the operation information corresponding to the operation target in the operation areas A 1 to A 3 not corresponding to the position of the user's hand 2, the user can provide the operation information of the operation desired by the user. It can be easily visually recognized.

以上で実施形態の説明を終了するが、上記実施形態は一例であり、出力制御装置３００の具体的な構成や出力制御処理の内容などが上記実施形態で説明したものに限られず、以下のような変形も可能である。   Although the description of the embodiment has been completed above, the above embodiment is an example, and the specific configuration of the output control device 300 and the content of the output control processing are not limited to those described in the above embodiment, and are as follows. Various modifications are possible.

上記の実施形態１及び２に係る出力制御システム１において、モーションセンサ１００により距離画像データを取得し、取得された距離画像データにより、表示面２０１とユーザの手２との距離を取得する例について説明した。しかし、表示面２０１とユーザの手２との距離を取得する方法はこれに限られない。例えば、以下の２つの方法のうちいずれかを採用することができる。１つは、パターン照射方式（Light Coding方式）と呼ばれ、予め既知の光学パターンを画角内に照射し、その反射パターンの歪みから画角内にある測定対象物の距離画像データを取得する。また、別の方法であるＴＯＦ（Time of Flight）方式では、照射した光が測定対象物に反射して戻ってくるまでの時間を画素毎に測定することにより、測定対象物の距離画像データを取得する。   In the output control system 1 according to the first and second embodiments, the distance image data is acquired by the motion sensor 100, and the distance between the display surface 201 and the user's hand 2 is acquired from the acquired distance image data. explained. However, the method of acquiring the distance between the display surface 201 and the user's hand 2 is not limited to this. For example, one of the following two methods can be employed. One is called a pattern irradiation method (Light Coding method), which irradiates a known optical pattern in advance within the angle of view, and acquires distance image data of the measurement object within the angle of view from the distortion of the reflection pattern. . In addition, in the TOF (Time of Flight) method, which is another method, the distance image data of the measurement object is obtained by measuring the time until the irradiated light is reflected back to the measurement object for each pixel. get.

また、上記の実施形態１及び２において、表示装置２００が、ＬＣＤ、ＥＬディスプレイなどによって構成される例について説明したが、本発明に係る表示装置２００はこれに限られない。例えば、表示装置２００は、画像や映像を投影するプロジェクタであってもよい。この場合、表示面２０１は、例えば、画像や映像が投影されるスクリーンである。   In the first and second embodiments, examples in which the display device 200 is configured by an LCD, an EL display, or the like have been described. However, the display device 200 according to the present invention is not limited to this. For example, the display device 200 may be a projector that projects an image or video. In this case, the display surface 201 is, for example, a screen on which an image or video is projected.

また、上記の実施形態１及び２において、操作情報が画像データまたは文字の強調表示である例について説明した。また、出力制御装置３００が、操作情報を表示装置２００に出力する例を説明した。しかし、操作情報、及び操作情報を出力する出力装置はこれに限られない。例えば、操作情報は、操作の種類を示す音声データであってもよい。このような音声データの例としては、「フリック操作ができます。」といった音声メッセージがある。この場合、出力制御装置３００は、操作情報である音声データを、スピーカに出力することで、上記の実施形態１及び２と同様の効果を得ることができる。また、操作情報は、画像データ、文字の強調表示、及び音声データのいずれか、またはこれらの組み合わせであってもよい。   In the first and second embodiments, the example in which the operation information is image data or character highlighting has been described. Further, the example in which the output control device 300 outputs the operation information to the display device 200 has been described. However, the output information which outputs operation information and operation information is not restricted to this. For example, the operation information may be audio data indicating the type of operation. As an example of such voice data, there is a voice message such as “Flick operation is possible”. In this case, the output control apparatus 300 can obtain the same effects as those of the first and second embodiments by outputting audio data as operation information to the speaker. The operation information may be any of image data, character highlighting, and audio data, or a combination thereof.

さらに、操作情報が音声データを含む場合であって、複数の操作の種類が選択された場合、出力制御装置３００は、選択された複数の操作の種類に対応する操作情報を、予め定められた順にスピーカに出力してもよい。   Further, in a case where the operation information includes audio data and a plurality of operation types are selected, the output control device 300 determines operation information corresponding to the selected plurality of operation types in advance. You may output to a speaker in order.

また、上記の実施形態１及び２において、操作の種類として、フリック（縦フリック及び横フリック）、ピンチ、タップの３種類を例として挙げたが、操作の種類及びその数はこれに限定されず、操作対象に対して可能な操作であれば任意に適用可能である。   In the first and second embodiments described above, three types of flicks (vertical flick and horizontal flick), pinch, and tap are given as examples of operations. However, the types and number of operations are not limited thereto. Any operation that can be performed on the operation target can be arbitrarily applied.

また、上記の実施形態１及び２において、操作可能な距離範囲として２つの距離範囲Ｄ１，Ｄ２が設定されている例について説明した。しかし、距離範囲の数はこれに限られず、より多くの距離範囲が設定されていてもよい。距離範囲の数は、例えば、表示面２０１の大きさや、操作の種類の数に応じて設定される。 In the first and second embodiments, the example in which the two distance ranges D 1 and D 2 are set as the operable distance ranges has been described. However, the number of distance ranges is not limited to this, and more distance ranges may be set. The number of distance ranges is set according to the size of the display surface 201 and the number of types of operations, for example.

また、上記の実施形態１及び２において、操作情報が操作対象の強調表示を示す場合に、操作対象であるボタンＢ１，Ｂ２の輪郭線を太くすることにより、強調表示する例について説明した。しかし、操作対象の強調表示方法は、これに限られない。例えば、操作対象を点滅させる、または操作対象の色を変更することにより強調表示してもよい。また、操作対象がテキストを含む場合、そのテキストのフォントを変更する、または太字にすることにより、強調表示してもよい。また、表示面２０１上のユーザの手２の位置に表示されている操作対象の上にポインタを表示することにより、操作対象を強調してもよい。   Further, in the first and second embodiments described above, an example has been described in which, when the operation information indicates the highlighted display of the operation target, the outlines of the buttons B1 and B2 that are the operation targets are thickened to be highlighted. However, the method for highlighting the operation target is not limited to this. For example, the operation target may be highlighted by blinking or changing the color of the operation target. Further, when the operation target includes text, it may be highlighted by changing the font of the text or making it bold. Further, the operation target may be emphasized by displaying a pointer on the operation target displayed at the position of the user's hand 2 on the display surface 201.

また、上記の実施形態１及び２において、表示面２０１におけるユーザの手２の位置、またはその位置に対応する操作領域Ａ１〜Ａ３が所定の時間（例えば、１０秒間）変化しないとき、操作情報の出力を停止してもよい。所定の時間、操作情報を出力しておくことにより、ユーザは操作対象に対応する操作情報を認識できるとともに、その所定時間経過後は操作情報が出力されないため、表示面２０１に表示された操作対象を含むコンテンツをより容易に視認することができる。 In the first and second embodiments, the operation is performed when the position of the user's hand 2 on the display surface 201 or the operation areas A 1 to A 3 corresponding to the position do not change for a predetermined time (for example, 10 seconds). Information output may be stopped. By outputting the operation information for a predetermined time, the user can recognize the operation information corresponding to the operation target, and since the operation information is not output after the predetermined time has elapsed, the operation target displayed on the display surface 201 is displayed. It is possible to visually recognize content including

また、上記の実施形態１及び２において、ユーザの手２が操作対象を操作する操作部として機能する例を説明した。しかし、操作部は、ユーザの手に限られず、ユーザの体の他の部分であってもよく、操作対象を操作可能であれば任意に適用可能である。例えば、ユーザの手により把持されるリモートコントローラであってもよい。   Moreover, in said Embodiment 1 and 2, the user's hand 2 demonstrated the example which functions as an operation part which operates an operation target. However, the operation unit is not limited to the user's hand, and may be another part of the user's body, and can be arbitrarily applied as long as the operation target can be operated. For example, a remote controller held by the user's hand may be used.

また、本発明に係る出力制御装置３００は、専用の装置によらず、通常のコンピュータを用いて実現可能である。例えば、コンピュータがプログラムを実行することで、出力装置３００を実現してもよい。出力制御装置３００の機能を実現するためのプログラムは、ＵＳＢ（Universal Serial Bus）メモリ、ＣＤ−ＲＯＭ（Compact Disc Read Only Memory）、ＤＶＤ（Digital Versatile Disc）、ＨＤＤ等のコンピュータ読み取り可能な記録媒体に記憶されてもよいし、ネットワークを介してコンピュータにダウンロードされてもよい。   Further, the output control apparatus 300 according to the present invention can be realized by using a normal computer without using a dedicated apparatus. For example, the output device 300 may be realized by a computer executing a program. A program for realizing the function of the output control apparatus 300 is stored on a computer-readable recording medium such as a USB (Universal Serial Bus) memory, a CD-ROM (Compact Disc Read Only Memory), a DVD (Digital Versatile Disc), and an HDD. It may be stored or downloaded to a computer via a network.

以上、本発明の好ましい実施形態について説明したが、本発明は係る特定の実施形態に限定されるものではなく、本発明には、特許請求の範囲に記載された発明とその均等の範囲が含まれる。以下に、本願出願の当初の特許請求の範囲に記載された発明を付記する。   As mentioned above, although preferable embodiment of this invention was described, this invention is not limited to the specific embodiment which concerns, This invention includes the invention described in the claim, and its equivalent range It is. Hereinafter, the invention described in the scope of claims of the present application will be appended.

（付記１）
操作対象を表示する表示面と、前記操作対象を操作する操作部との距離を取得する距離取得部と、
前記距離取得部により取得された距離に応じて、前記操作対象に対して前記操作部が可能な複数の操作の種類のうちから、少なくとも１つの操作の種類を選択する選択部と、
前記選択部により選択された操作の種類を示す操作情報を出力装置に出力する出力制御部と、
を備えることを特徴とする出力制御装置。 (Appendix 1)
A distance acquisition unit that acquires a distance between a display surface that displays the operation target and an operation unit that operates the operation target;
A selection unit that selects at least one type of operation from among a plurality of types of operations that can be performed on the operation target by the operation unit according to the distance acquired by the distance acquisition unit
An output control unit that outputs operation information indicating the type of operation selected by the selection unit to an output device;
An output control device comprising:

（付記２）
前記選択部は、前記距離が所定の範囲内に含まれるか否かを判定し、前記距離が前記所定の範囲内であるとき、前記所定の範囲に応じた前記操作部により可能な操作の種類を選択する、
ことを特徴とする付記１に記載の出力制御装置。 (Appendix 2)
The selection unit determines whether or not the distance is included in a predetermined range, and when the distance is within the predetermined range, the types of operations that can be performed by the operation unit according to the predetermined range Select
The output control apparatus according to Supplementary Note 1, wherein:

（付記３）
前記表示面における前記操作部の位置を取得する位置取得部をさらに備え、
前記選択部は、前記距離取得部により取得された距離と、前記位置取得部により取得された位置に応じて、前記操作対象に対して前記操作部が可能な複数の操作の種類のうちから、少なくとも１つの操作の種類を選択する、
ことを特徴とする付記１または２に記載の出力制御装置。 (Appendix 3)
A position acquisition unit that acquires the position of the operation unit on the display surface;
The selection unit includes a plurality of types of operations that can be performed on the operation target by the operation unit according to the distance acquired by the distance acquisition unit and the position acquired by the position acquisition unit. Select at least one type of operation,
The output control device according to appendix 1 or 2, characterized by the above.

（付記４）
前記操作部が行う操作を取得し、予め定められた処理を行う処理実行部をさらに備え、
前記処理実行部は、取得した前記操作部が行う操作が前記選択部により選択された操作の種類である場合に前記予め定められた処理を行う、
ことを特徴とする付記１から３のいずれか１つに記載の出力制御装置。 (Appendix 4)
It further includes a process execution unit that acquires an operation performed by the operation unit and performs a predetermined process,
The process execution unit performs the predetermined process when the operation performed by the acquired operation unit is the type of operation selected by the selection unit.
The output control device according to any one of Supplementary notes 1 to 3, wherein

（付記５）
前記出力制御部は、前記操作部により選択された操作の種類を示す操作情報を所定の時間の間前記出力装置に出力する、
ことを特徴とする付記１から４のいずれか１つに記載の出力制御装置。 (Appendix 5)
The output control unit outputs operation information indicating a type of operation selected by the operation unit to the output device for a predetermined time;
The output control device according to any one of appendices 1 to 4, wherein

（付記６）
前記複数の操作の種類は、フリック、ピンチ、及びタップのうち少なくともいずれかを含む、
ことを特徴とする付記１から５のいずれか１つに記載の出力制御装置。 (Appendix 6)
The types of the plurality of operations include at least one of flick, pinch, and tap.
The output control device according to any one of appendices 1 to 5, characterized in that:

（付記７）
前記操作部は、ユーザの一部である、
ことを特徴とする付記１から６のいずれか１つに記載の出力制御装置。 (Appendix 7)
The operation unit is a part of a user.
The output control device according to any one of supplementary notes 1 to 6, wherein:

（付記８）
前記距離取得部は、撮像装置により撮像された前記操作部の撮像画像に基づいて、前記距離を取得する、
ことを特徴とする付記１から７のいずれか１つに記載の出力制御装置。 (Appendix 8)
The distance acquisition unit acquires the distance based on a captured image of the operation unit captured by an imaging device.
The output control device according to any one of appendices 1 to 7, characterized in that:

（付記９）
操作対象を表示する表示面と、前記操作対象を操作する操作部との距離を取得する距離取得ステップと、
前記距離取得ステップにおいて取得された距離に応じて、前記操作対象に対して前記操作部が可能な複数の操作の種類のうちから、少なくとも１つの操作の種類を選択する選択ステップと、
前記選択ステップにおいて選択された操作の種類を示す操作情報を出力装置に出力する出力制御ステップと、
を備えることを特徴とする出力制御方法。 (Appendix 9)
A distance acquisition step of acquiring a distance between a display surface that displays the operation target and an operation unit that operates the operation target;
A selection step of selecting at least one operation type from among a plurality of operation types that can be performed by the operation unit on the operation target according to the distance acquired in the distance acquisition step;
An output control step of outputting operation information indicating the type of operation selected in the selection step to an output device;
An output control method comprising:

（付記１０）
コンピュータを
操作対象を表示する表示面と、前記操作対象を操作する操作部との距離を取得する距離取得手段、
前記距離取得手段により取得された距離に応じて、前記操作対象に対して前記操作部が可能な複数の操作の種類のうちから、少なくとも１つの操作の種類を選択する選択手段、
前記選択手段により選択された操作の種類を示す操作情報を出力装置に出力する出力制御手段、
として機能させるためのプログラム。 (Appendix 10)
Distance acquisition means for acquiring a distance between a display surface for displaying an operation target on the computer and an operation unit for operating the operation target;
Selection means for selecting at least one operation type from among a plurality of operation types that can be performed by the operation unit on the operation target according to the distance acquired by the distance acquisition unit;
Output control means for outputting operation information indicating the type of operation selected by the selection means to an output device;
Program to function as.

１…出力制御システム、２…手、１００…モーションセンサ、２００…表示装置、２０１…表示面、３００…出力制御装置、３０１…制御部、３０２…記憶部、３０３…通信部、３０４…入力部、３０５…バス、３１１…距離取得部、３１２，３１７…選択部、３１３…出力制御部、３１４…操作検出部、３１５…処理実行部、３１６…位置取得部、３２１…操作情報ＤＢ DESCRIPTION OF SYMBOLS 1 ... Output control system, 2 ... Hand, 100 ... Motion sensor, 200 ... Display apparatus, 201 ... Display surface, 300 ... Output control apparatus, 301 ... Control part, 302 ... Memory | storage part, 303 ... Communication part, 304 ... Input part 305: Bus, 311 ... Distance acquisition unit, 312, 317 ... Selection unit, 313 ... Output control unit, 314 ... Operation detection unit, 315 ... Processing execution unit, 316 ... Position acquisition unit, 321 ... Operation information DB

Claims (10)

操作対象を表示する表示面と、前記操作対象を操作する操作部との距離を取得する距離取得部と、
前記距離取得部により取得された距離に応じて、前記操作対象に対して前記操作部が可能な複数の操作の種類のうちから、少なくとも１つの操作の種類を選択する選択部と、
前記選択部により選択された操作の種類を示す操作情報を出力装置に出力する出力制御部と、
を備えることを特徴とする出力制御装置。 A distance acquisition unit that acquires a distance between a display surface that displays the operation target and an operation unit that operates the operation target;
A selection unit that selects at least one type of operation from among a plurality of types of operations that can be performed on the operation target by the operation unit according to the distance acquired by the distance acquisition unit
An output control unit that outputs operation information indicating the type of operation selected by the selection unit to an output device;
An output control device comprising: 前記選択部は、前記距離が所定の範囲内に含まれるか否かを判定し、前記距離が前記所定の範囲内であるとき、前記所定の範囲に応じた前記操作部により可能な操作の種類を選択する、
ことを特徴とする請求項１に記載の出力制御装置。 The selection unit determines whether or not the distance is included in a predetermined range, and when the distance is within the predetermined range, the types of operations that can be performed by the operation unit according to the predetermined range Select
The output control apparatus according to claim 1. 前記表示面における前記操作部の位置を取得する位置取得部をさらに備え、
前記選択部は、前記距離取得部により取得された距離と、前記位置取得部により取得された位置に応じて、前記操作対象に対して前記操作部が可能な複数の操作の種類のうちから、少なくとも１つの操作の種類を選択する、
ことを特徴とする請求項１または２に記載の出力制御装置。 A position acquisition unit that acquires the position of the operation unit on the display surface;
The selection unit includes a plurality of types of operations that can be performed on the operation target by the operation unit according to the distance acquired by the distance acquisition unit and the position acquired by the position acquisition unit. Select at least one type of operation,
The output control apparatus according to claim 1 or 2, wherein 前記操作部が行う操作を取得し、予め定められた処理を行う処理実行部をさらに備え、
前記処理実行部は、取得した前記操作部が行う操作が前記選択部により選択された操作の種類である場合に前記予め定められた処理を行う、
ことを特徴とする請求項１から３のいずれか１項に記載の出力制御装置。 It further includes a process execution unit that acquires an operation performed by the operation unit and performs a predetermined process,
The process execution unit performs the predetermined process when the operation performed by the acquired operation unit is the type of operation selected by the selection unit.
The output control device according to any one of claims 1 to 3, wherein 前記出力制御部は、前記操作部により選択された操作の種類を示す操作情報を所定の時間の間前記出力装置に出力する、
ことを特徴とする請求項１から４のいずれか１項に記載の出力制御装置。 The output control unit outputs operation information indicating a type of operation selected by the operation unit to the output device for a predetermined time;
The output control apparatus according to any one of claims 1 to 4, wherein the output control apparatus includes: 前記複数の操作の種類は、フリック、ピンチ、及びタップのうち少なくともいずれかを含む、
ことを特徴とする請求項１から５のいずれか１項に記載の出力制御装置。 The types of the plurality of operations include at least one of flick, pinch, and tap.
The output control device according to claim 1, wherein 前記操作部は、ユーザの一部である、
ことを特徴とする請求項１から６のいずれか１項に記載の出力制御装置。 The operation unit is a part of a user.
The output control device according to any one of claims 1 to 6, wherein 前記距離取得部は、撮像装置により撮像された前記操作部の撮像画像に基づいて、前記距離を取得する、
ことを特徴とする請求項１から７のいずれか１項に記載の出力制御装置。 The distance acquisition unit acquires the distance based on a captured image of the operation unit captured by an imaging device.
The output control device according to claim 1, wherein 操作対象を表示する表示面と、前記操作対象を操作する操作部との距離を取得する距離取得ステップと、
前記距離取得ステップにおいて取得された距離に応じて、前記操作対象に対して前記操作部が可能な複数の操作の種類のうちから、少なくとも１つの操作の種類を選択する選択ステップと、
前記選択ステップにおいて選択された操作の種類を示す操作情報を出力装置に出力する出力制御ステップと、
を備えることを特徴とする出力制御方法。 A distance acquisition step of acquiring a distance between a display surface that displays the operation target and an operation unit that operates the operation target;
A selection step of selecting at least one operation type from among a plurality of operation types that can be performed by the operation unit on the operation target according to the distance acquired in the distance acquisition step;
An output control step of outputting operation information indicating the type of operation selected in the selection step to an output device;
An output control method comprising: コンピュータを
操作対象を表示する表示面と、前記操作対象を操作する操作部との距離を取得する距離取得手段、
前記距離取得手段により取得された距離に応じて、前記操作対象に対して前記操作部が可能な複数の操作の種類のうちから、少なくとも１つの操作の種類を選択する選択手段、
前記選択手段により選択された操作の種類を示す操作情報を出力装置に出力する出力制御手段、
として機能させるためのプログラム。 Distance acquisition means for acquiring a distance between a display surface for displaying an operation target on the computer and an operation unit for operating the operation target;
Selection means for selecting at least one operation type from among a plurality of operation types that can be performed by the operation unit on the operation target according to the distance acquired by the distance acquisition unit;
Output control means for outputting operation information indicating the type of operation selected by the selection means to an output device;
Program to function as.
JP2016057842A 2016-03-23 2016-03-23 Output control device, output control method, and program Pending JP2017174036A (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2016057842A JP2017174036A (en) 2016-03-23 2016-03-23 Output control device, output control method, and program

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2016057842A JP2017174036A (en) 2016-03-23 2016-03-23 Output control device, output control method, and program

Publications (1)

Publication Number Publication Date
JP2017174036A true JP2017174036A (en) 2017-09-28

Family

ID=59973062

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2016057842A Pending JP2017174036A (en) 2016-03-23 2016-03-23 Output control device, output control method, and program

Country Status (1)

Country Link
JP (1) JP2017174036A (en)

Similar Documents

Publication Publication Date Title
US8042044B2 (en) User interface with displaced representation of touch area
EP2715499B1 (en) Invisible control
US8413075B2 (en) Gesture movies
CN105814522B (en) Device and method for displaying user interface of virtual input device based on motion recognition
US9335899B2 (en) Method and apparatus for executing function executing command through gesture input
WO2016169343A1 (en) Touch operation response method and apparatus based on wearable device
US20130212515A1 (en) User interface for text input
US11706476B2 (en) User terminal apparatus, electronic apparatus, system, and control method thereof
US9880721B2 (en) Information processing device, non-transitory computer-readable recording medium storing an information processing program, and information processing method
US20120218307A1 (en) Electronic device with touch control screen and display control method thereof
US9507516B2 (en) Method for presenting different keypad configurations for data input and a portable device utilizing same
US20230291955A1 (en) User terminal apparatus, electronic apparatus, system, and control method thereof
WO2016107462A1 (en) Information input method and device, and smart terminal
WO2014042247A1 (en) Input display control device, thin client system, input display control method, and recording medium
WO2015045676A1 (en) Information processing device and control program
US20120179963A1 (en) Multi-touch electronic device, graphic display interface thereof and object selection method of multi-touch display
JP5736005B2 (en) Input processing device, information processing device, information processing system, input processing method, information processing method, input processing program, and information processing program
CN107967091B (en) Human-computer interaction method and computing equipment for human-computer interaction
WO2015090092A1 (en) Method and device for generating individualized input panel
JP2017174036A (en) Output control device, output control method, and program
JP6315443B2 (en) Input device, input detection method for multi-touch operation, and input detection program
JP2017174037A (en) Display control device, display control method, and program
JP2015200977A (en) Information processing unit, computer program and recording medium
US20110161860A1 (en) Method and apparatus for separating events
JP2018194801A (en) Display, display method, and program