JP2020064414A - Operation support device, method, and program - Google Patents
Operation support device, method, and program Download PDFInfo
- Publication number
- JP2020064414A JP2020064414A JP2018195313A JP2018195313A JP2020064414A JP 2020064414 A JP2020064414 A JP 2020064414A JP 2018195313 A JP2018195313 A JP 2018195313A JP 2018195313 A JP2018195313 A JP 2018195313A JP 2020064414 A JP2020064414 A JP 2020064414A
- Authority
- JP
- Japan
- Prior art keywords
- operation information
- user
- information
- unit
- electronic device
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Landscapes
- Position Input By Displaying (AREA)
- User Interface Of Digital Computer (AREA)
Abstract
Description
本開示は、操作支援装置、方法及びプログラムに関する。 The present disclosure relates to an operation support device, a method, and a program.
従来、スマートフォンやタブレット端末等の電子機器において、入力装置として液晶ディスプレイ等の表示部の前面（視野側）にタッチパネルが用いられ、ユーザの指やスタイラスペン等によるタッチ操作を可能とする技術が知られている。 BACKGROUND ART Conventionally, in electronic devices such as smartphones and tablet terminals, a touch panel is used as an input device on the front surface (viewing side) of a display unit such as a liquid crystal display, and a technology that enables a touch operation with a user's finger or a stylus pen is known. Has been.
また、近年では、プロジェクタ等の画像投映装置により投映される投映面に対する操作を、画像認識により検出し、指示操作や描画操作等を可能とするインタラクティブ技術も知られている（特許文献１参照）。 In addition, in recent years, an interactive technique has also been known in which an operation on a projection surface projected by an image projection device such as a projector is detected by image recognition and an instruction operation, a drawing operation, or the like can be performed (see Patent Document 1). .
しかしながら、上記のような従来技術では、同じ操作面に対して複数のユーザが操作可能である場合、どのユーザによる操作であったかを区別して検出することが難しいという課題があった。 However, in the above-described conventional technique, when a plurality of users can operate the same operation surface, there is a problem that it is difficult to distinguish and detect which user has performed the operation.
そこで、本発明は、複数のユーザにより操作が可能な操作面に対する操作情報を、複数のユーザのうちのどのユーザに対応付けるかを決定することを目的とする。 Therefore, an object of the present invention is to determine which of a plurality of users the operation information on the operation surface that can be operated by a plurality of users is associated.
上記目的を達成するために、本発明の１つの側面では、ユーザ端末をそれぞれ付帯した複数のユーザにより操作が可能な操作面に対する操作情報を受信する受信手段と、
前記ユーザ端末の動きを表す動作情報を取得する取得手段と、
前記取得手段により取得された複数の前記ユーザ端末に係る動作情報と、前記受信手段により受信された前記操作情報とに基づいて、前記複数のユーザのうちの前記操作情報に対応付けるユーザを、決定する決定手段とを備える、操作支援装置が提供される。
In order to achieve the above-mentioned object, in one aspect of the present invention, a receiving unit that receives operation information for an operation surface that can be operated by a plurality of users, each of which has a user terminal.
Acquisition means for acquiring motion information indicating the movement of the user terminal,
The user to be associated with the operation information among the plurality of users is determined based on the operation information related to the plurality of user terminals acquired by the acquisition unit and the operation information received by the reception unit. An operation support device including a determination unit is provided.
１つの側面では、本発明によれば、複数のユーザにより操作が可能な操作面に対する操作情報を、複数のユーザのうちのどのユーザに対応付けるかを決定することが可能となる。 In one aspect, according to the present invention, it is possible to determine which of the plurality of users the operation information on the operation surface that can be operated by the plurality of users is associated.
以下、添付図面を参照しながら各実施例について詳細に説明する。 Hereinafter, each embodiment will be described in detail with reference to the accompanying drawings.
図１は、一実施例による操作支援装置が適用されるユーザインターフェース用システム１０の構成を概略的に示す図である。
ユーザインターフェース用システム１０は、電子機器１と、プロジェクタ２と、データ転送端末３（操作支援装置の一例）とを含む。
FIG. 1 is a diagram schematically showing a configuration of a
The
電子機器１は、プロジェクタ２及びデータ転送端末３に対してそれぞれ双方向通信が可能である。この双方向の通信の形態は、無線通信である。また、プロジェクタ２及びデータ転送端末３は、互いに双方向通信が可能である。この双方向の通信の形態は、無線通信であってもよいし、有線通信であってもよい。
The
（電子機器）
図２は、一実施例による電子機器１の概略図である。図２に示すように、本実施例の電子機器１は、ウエアラブル端末（ユーザ端末の一例）であり、腕時計型の装置（スマートウォッチ等）として構成されている。なお、変形例では、電子機器１は、ユーザに付帯可能な他の形態であってもよい。
(Electronics)
FIG. 2 is a schematic diagram of the
電子機器１は、第１表示部１８及び第２表示部２４（後述）を備えており、第１表示部１８の上に第２表示部２４が積層されている。さらに、第２表示部２４の上には、後述するタッチパネル１７が設けられている。このため、電子機器１においては、第１表示部１８の表示に第２表示部２４の表示を重ね合わせて表示することが可能であるとともに、表示内容にタッチ操作することが可能となっている。以下では、ユーザとは、電子機器１のユーザであるものとする。ユーザは、典型的には、電子機器１を腕に装着して使用する。
The
図３は、電子機器１のハードウェア構成を示すブロック図である。図３に示すように、電子機器１は、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）１１と、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）１２と、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）１３と、記憶部１４と、ＲＴＣ（Ｒｅａｌ Ｔｉｍｅ Ｃｌｏｃｋ）部１５と、ドライブ１６と、タッチパネル１７と、第１表示部１８と、第１入力部１９と、ブルートゥース（登録商標）用アンテナ２０と、ブルートゥースモジュール２１と、無線ＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）アンテナ２２と、無線ＬＡＮモジュール２３と、第２表示部２４と、脈拍センサ２５と、地磁気センサ２６と、加速度センサ２７と、ジャイロセンサ２８と、照度センサ２９と、第２入力部３０と、ＧＰＳ（Ｇｌｏｂａｌ Ｐｏｓｉｔｉｏｎｉｎｇ Ｓｙｓｔｅｍ）アンテナ３１と、ＧＰＳモジュール３２と、を備えている。
FIG. 3 is a block diagram showing the hardware configuration of the
ＣＰＵ１１は、第１ＣＰＵ１１Ａと、第２ＣＰＵ１１Ｂとによって構成される。第１ＣＰＵ１１Ａは、各種演算処理を行い、ＯＳ（Ｏｐｅｒａｔｉｎｇ Ｓｙｓｔｅｍ）の処理を実行することにより、電子機器１におけるスマートフォンに類する機能を制御する。本実施例において、第１ＣＰＵ１１Ａは、ブルートゥースモジュール２１あるいは無線ＬＡＮモジュール２３を介して受信した電子メールの着信や気象情報に関するメッセージ等を第１表示部１８に表示させたり、タッチパネル１７を介して入力される操作を受け付けたりする。また、第１ＣＰＵ１１Ａは、第１入力部１９を介して入力される音声を認識したり、その他、スマートフォンに類する機能として実装された各種機能に係る処理を行ったりする。
The
また、本実施例において、第１ＣＰＵ１１Ａは、ＲＴＣ部１５から所定タイミングで時刻信号を取得する。
Further, in the present embodiment, the
第２ＣＰＵ１１Ｂは、特定のプログラムの処理を実行することにより、第２表示部２４に対する表示の指示を行ったり、各種センサの検出結果を取得したり、その他、腕時計の機能として実装された各種機能に係る処理を行ったりする。本実施例において、第２ＣＰＵ１１Ｂは、第１ＣＰＵ１１Ａから入力された時刻信号を基準として、時刻を計算したり、時刻、曜日あるいは日付等を第２表示部２４に表示させたりする。第２ＣＰＵ１１Ｂが実行する特定のプログラムの処理（時刻の計算等）は、第１ＣＰＵ１１Ａが実行するＯＳの処理に比べて単純な動作であることから処理負荷が小さく、低消費電力で実行可能である。また、そのため、第２ＣＰＵ１１Ｂに要求されるハードウェアのスペックは、第１ＣＰＵ１１Ａに比べて低いもので足りる。
The
ＲＯＭ１２は、第１ＣＰＵ１１Ａ及び第２ＣＰＵ１１Ｂそれぞれからデータの読み出しが可能であり、第１ＣＰＵ１１Ａ及び第２ＣＰＵ１１Ｂが実行する種々のプログラムや初期設定データを格納する。例えば、ＲＯＭ１２は、第１ＣＰＵ１１Ａが実行するＯＳのプログラムやＯＳの管理下で実行される各種プログラム、あるいは、第２ＣＰＵ１１Ｂが実行する特定のプログラム（ここでは、腕時計の機能を実現する組み込み用プログラム）のプログラムを格納する。
The
ＲＡＭ１３は、第１ＣＰＵ１１Ａ及び第２ＣＰＵ１１Ｂそれぞれからデータの読み出し及び書き込みが可能であり、第１ＣＰＵ１１Ａ及び第２ＣＰＵ１１Ｂに作業用のメモリ空間を提供し、作業用の一時データを記憶する。例えば、ＲＡＭ１３は、第１ＣＰＵ１１ＡがＯＳを実行する際のシステム領域やワークエリアを提供したり、第２ＣＰＵ１１Ｂが特定のプログラムを実行する際の記憶領域を提供したりする。
The
記憶部１４は、第１ＣＰＵ１１Ａ及び第２ＣＰＵ１１Ｂそれぞれからデータの読み出し及び書き込みが可能な不揮発性のメモリであり、例えば、フラッシュメモリやＥＥＰＲＯＭ（Ｅｌｅｃｔｒｉｃａｌｌｙ Ｅｒａｓａｂｌｅ ａｎｄ Ｐｒｏｇｒａｍｍａｂｌｅ Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）である。記憶部１４には、スマートフォンに類する各種機能や腕時計の機能等において生成された各種データ（各種設定内容のデータ等）が記憶される。
The
ＲＴＣ部１５は、時刻信号を生成する。
The
ドライブ１６には、磁気ディスク、光ディスク、光磁気ディスク、あるいは半導体メモリ等よりなる、リムーバブルメディア４１が適宜装着される。リムーバブルメディア４１は、各種センサによって検出されたデータ等の各種データを記憶することができる。
A
タッチパネル１７は、第２表示部２４の表示画面上に設けられた静電容量方式または抵抗膜式等のタッチパネルである。タッチパネル１７は、操作面に対するユーザのタッチ操作位置と操作内容とを検出して当該操作に応じた信号を発生させて、入力信号として第１ＣＰＵ１１Ａに出力する。
The
第１表示部１８は、有機ＥＬディスプレイ（ＯＬＥＤ）によって構成され、第１ＣＰＵ１１Ａの制御に従って、各種情報を表示画面に表示する。
The
第１入力部１９は、音声を電気信号に変換するマイクを備え、入力された音声（操作のための音声コマンド等）を示す信号を第１ＣＰＵ１１Ａに出力する。
The
ブルートゥース用アンテナ２０は、ブルートゥースの規格に基づく電磁波を送受信するアンテナであり、例えばモノポールアンテナ等によって構成される。ブルートゥース用アンテナ２０は、ブルートゥースモジュール２１から入力された無線通信の電気信号を電磁波として送信したり、受信した電磁波を電気信号に変換してブルートゥースモジュール２１に出力したりする。
The
ブルートゥースモジュール２１は、第１ＣＰＵ１１Ａの指示に従って、ブルートゥース用アンテナ２０を介して他の装置に信号を送信する。また、ブルートゥースモジュール２１は、他の装置から送信された信号を受信し、受信した信号が示す情報を第１ＣＰＵ１１Ａに出力する。無線ＬＡＮアンテナ２２は、無線ＬＡＮモジュール２３によって利用される無線通信に対応した周波数の電波を受信可能なアンテナであり、例えばループアンテナやロッドアンテナによって構成される。無線ＬＡＮアンテナ２２は、無線ＬＡＮモジュール２３から入力された無線通信の電気信号を電磁波として送信したり、受信した電磁波を電気信号に変換して無線ＬＡＮモジュール２３に出力したりする。
The Bluetooth module 21 transmits a signal to another device via the
無線ＬＡＮモジュール２３は、第１ＣＰＵ１１Ａの指示に従って、無線ＬＡＮアンテナ２２を介して他の装置に信号を送信する。また、無線ＬＡＮモジュール２３は、他の装置から送信された信号を受信し、受信した信号が示す情報を第１ＣＰＵ１１Ａに出力する。
The
第２表示部２４は、部分的にまたは全体的に光を透過可能なＰＮ（Ｐｏｌｙｍｅｒ Ｎｅｔｗｏｒｋ）液晶ディスプレイから構成され、第２ＣＰＵ１１Ｂの制御に従って、各種情報を表示画面に表示（ここではセグメント表示）する。
The
本実施例において、第２表示部２４であるＰＮ液晶ディスプレイは、例えば、上述した第１表示部１８である有機ＥＬディスプレイの表示画面上に積層されている。このＰＮ液晶ディスプレイは、電位が掛けられていない部位では液晶分子が不規則に並び、光を反射するようになっている。つまり、この電位が掛けられていない部位において、ＰＮ液晶ディスプレイによる表示がなされることとなる。一方、電位が掛けられた部位では、液晶分子が表示画面に対して垂直に整列するので、光を透過可能となっている。つまり、この電位が掛けられた部位では、上述の有機ＥＬディスプレイからの光を透過可能となるので、当該ＰＮ液晶ディスプレイを介して当該有機ＥＬディスプレイによる表示を視認することができる。すなわち、電子機器１の表示領域では、第１表示部１８による表示に第２表示部２４による表示を重ね合わせた状態で表示することができるようになっている。
In this embodiment, the PN liquid crystal display that is the
脈拍センサ２５は、電子機器１の裏面側（ユーザの腕に面する側）に設置され、電子機器１が装着されたユーザの脈拍を検出する。脈拍センサ２５は、検出した脈拍を第２ＣＰＵ１１Ｂに出力する。
The
地磁気センサ２６は、地磁気の方向を検出し、検出した地磁気の方向を示す情報を第２ＣＰＵ１１Ｂに出力する。
The
加速度センサ２７は、電子機器１における３軸方向の加速度を検出し、検出した加速度を示す情報を第２ＣＰＵ１１Ｂに出力する。
The
ジャイロセンサ２８は、電子機器１における３軸方向の角速度を検出し、検出した角速度を示す情報を第２ＣＰＵ１１Ｂに出力する。
The
照度センサ２９は、第１表示部１８の裏面側の所定箇所に設置され、電子機器１の表示領域における明るさ（照度）を検出し、検出した明るさを示す情報を第２ＣＰＵ１１Ｂに出力する。
The
第２入力部３０は、各種ボタンで構成され、ユーザの指示操作に応じて各種情報を入力する。
The
ＧＰＳアンテナ３１は、ＧＰＳにおける衛星から発信される電波を受信して電気信号に変換し、変換した電気信号（以下、「ＧＰＳ信号」と称する）をＧＰＳモジュール３２に出力する。
The
ＧＰＳモジュール３２は、ＧＰＳアンテナ３１から入力されたＧＰＳ信号に基づいて、電子機器１の位置（緯度、経度、高度）及びＧＰＳによって示される現在時刻を検出する。また、ＧＰＳモジュール３２は、検出した位置及び現在時刻を示す情報を第２ＣＰＵ１１Ｂに出力する。
The
なお、図３に示す構成は、あくまで一例であり、多様な変更が可能である。例えば、電子機器１は第１表示部１８と第２表示部２４とを備えるものとしたが、それに限らず、電子機器１は第１表示部１８のみを備えるものであってもよい。また、表示内容が表示される第１表示部１８がＯＬＥＤで構成されるが、液晶ディスプレイ等の他の表示手段で構成されてもよい。また、電子機器１のＣＰＵ１１は第１ＣＰＵ１１Ａと第２ＣＰＵ１１Ｂとからなるものとしたが、それに限らず、ＣＰＵ１１は第１ＣＰＵ１１Ａの機能と第２ＣＰＵ１１Ｂの機能の両方を備える１つのＣＰＵであってもよい。また、無線ＬＡＮモジュール２３、ジャイロセンサ２８、照度センサ２９、ＧＰＳモジュール３２等が省略されてもよい。
The configuration shown in FIG. 3 is merely an example, and various changes can be made. For example, although the
本実施例では、以下でも詳説するが、電子機器１は、データ転送端末３からの要求に応じて、加速度センサ２７からの加速度情報を、ブルートゥースモジュール２１を介してデータ転送端末３に送信する。この際、電子機器１は、データ転送端末３が他の電子機器１から送られてくる加速度情報と区別できるように、加速度情報と機器ＩＤ等の識別子とを含む送信データをデータ転送端末３に送信する。
In the present embodiment, as will be described in detail below, the
（プロジェクタ）
プロジェクタ２は、図示しない処理部（例えばマイクロコンピュータにより形成）を有し、処理部が画像を生成し投映する。プロジェクタ２は、画像が投映された投映面を操作面として機能させる。
(projector)
The
プロジェクタ２は、電子機器１を装着（付帯の一例）した複数のユーザが存在する空間内の適切な対象（例えば壁面や机の表面）に操作面を形成するように、配置される。
The
プロジェクタ２により形成可能な操作面は、電子機器１を装着した複数のユーザにより操作が可能な操作面（以下、「複数ユーザにより操作可能な操作面」とも称する）を含む。なお、プロジェクタ２により形成可能な操作面は、複数ユーザにより操作可能な操作面に加えて、単一のユーザにより操作可能な操作面を含んでもよい。例えば、プロジェクタ２は、複数の電子機器１のブルートゥースモジュール２１との間で通信状態が確立されている場合、複数ユーザにより操作可能な操作面を出力し、単一の電子機器１のブルートゥースモジュール２１との間で通信状態が確立されている場合、単一のユーザにより操作可能な操作面を出力してもよい。あるいは、プロジェクタ２は、所定の切り替えスイッチ（図示せず）の操作状態に応じて、複数ユーザにより操作可能な操作面と、単一のユーザにより操作可能な操作面とを切り替えてもよい。
The operation surface that can be formed by the
図４は、プロジェクタ２による投映画像の２つの例を示す図である。
FIG. 4 is a diagram showing two examples of images projected by the
投映画像Ｇ４０は、投映されることで操作面を形成し、当該操作面において複数のスイッチ（ボタン）ＳＷ１〜ＳＷ６として機能する画像部を有する。各スイッチＳＷ１〜ＳＷ６には、それぞれに割り当てられる機能（当該スイッチを操作して実現される機能）の内容を示唆する表記等が描画される。例えば、図４に示す例では、スイッチＳＷ１には、「画像転送」の表記が描画されている。この場合、ユーザは、画像転送を行いたい場合は、スイッチＳＷ１を指で押す（タップ）又は指す等の操作を行う。以下、このように、スイッチＳＷ１〜ＳＷ６のいずれか（後出の特定用スイッチＳＷ７についても同様）に対してユーザが指を指す又は押す操作を行うことを、単に「タップ操作」とも称する。投映画像Ｇ４０により形成される操作面は、複数ユーザにより操作可能な操作面の一例である。 The projected image G40 forms an operation surface by being projected, and has an image portion that functions as a plurality of switches (buttons) SW1 to SW6 on the operation surface. A notation or the like suggesting the content of the function (function realized by operating the switch) assigned to each of the switches SW1 to SW6 is drawn. For example, in the example shown in FIG. 4, the notation "image transfer" is drawn on the switch SW1. In this case, when the user wants to transfer an image, he or she presses (tap) or points the switch SW1 with a finger. Hereinafter, the user's operation of pointing or pushing the finger on any of the switches SW1 to SW6 (the same applies to the specifying switch SW7 described later) is also simply referred to as “tap operation”. The operation surface formed by the projected image G40 is an example of the operation surface that can be operated by a plurality of users.
投映画像Ｇ４１は、投映画像Ｇ４０に係る操作面においてスイッチＳＷ１〜ＳＷ６のいずれかに対してタップ操作がなされると出力される。投映画像Ｇ４１は、投映されることで、操作者を特定するための操作面を形成し、当該操作面において特定用スイッチＳＷ７として機能する画像部を有する。なお、スイッチＳＷ７には、☆マークのような特定の表記が描画されてもよい。また、投映画像Ｇ４１は、操作面においてガイダンスとして機能するガイダンス表示ＧＤ１を含んでよい。ガイダンス表示ＧＤ１は、図４に示すように、「操作者は右下のスイッチを押してください」といった趣旨のメッセージを含む。 The projected image G41 is output when a tap operation is performed on any of the switches SW1 to SW6 on the operation surface related to the projected image G40. The projected image G41 forms an operation surface for specifying an operator by being projected, and has an image portion that functions as a specifying switch SW7 on the operation surface. Note that a specific notation such as a star mark may be drawn on the switch SW7. Further, the projected image G41 may include a guidance display GD1 that functions as guidance on the operation surface. As shown in FIG. 4, the guidance display GD1 includes a message to the effect that "the operator presses the switch on the lower right".
以下では、前提として、ユーザとは、電子機器１を装着しているユーザを指し、ユーザは、電子機器１を装着している方の手で、以下で説明するタップ操作を行うものとする。
Hereinafter, as a premise, the user refers to a user wearing the
ここで、複数ユーザにより操作可能な操作面に対しては、複数のユーザのうちの、どのユーザがタップ操作を行ったのかを精度良く判定することが難しい。このため、本実施例では、投映画像Ｇ４１による操作面を形成することで、タップ操作を行ったユーザ（操作者）に対して、特定の手の動きを発生させる。すなわち、投映画像Ｇ４１により形成される操作面は、スイッチＳＷ１〜ＳＷ６のいずれかに対するタップ操作に後続して、スイッチＳＷ７に対するタップ操作を行わせるように機能する。更に換言すると、投映画像Ｇ４１により形成される操作面は、ユーザにより一連の動きを伴う２つ以上の操作（スイッチＳＷ１〜ＳＷ６のいずれかに対するタップ操作と、それに後続するスイッチＳＷ７に対するタップ操作）が実行されるように形成される。以下では、このようなユーザにより一連の動きを伴う２つ以上の操作を、「一連のタップ操作」とも称する。 Here, it is difficult to accurately determine which of the plurality of users has performed the tap operation on the operation surface that can be operated by the plurality of users. Therefore, in the present embodiment, by forming the operation surface by the projected image G41, a specific hand movement is generated for the user (operator) who performed the tap operation. That is, the operation surface formed by the projected image G41 functions to perform the tap operation on the switch SW7 subsequent to the tap operation on any of the switches SW1 to SW6. In other words, the operation surface formed by the projected image G41 has two or more operations (a tap operation on any of the switches SW1 to SW6 and a subsequent tap operation on the switch SW7) involving a series of movements by the user. Formed to be executed. Hereinafter, two or more operations involving a series of movements by such a user are also referred to as “a series of tap operations”.
プロジェクタ２の処理部は、タップ操作を検出すると、操作情報を生成し、データ転送端末３に送信する。操作情報は、どのスイッチが操作されたかを表す情報である。なお、操作情報は、データ転送端末３が当該操作情報に基づいてどのスイッチが操作されたかを導出できる情報であればよく、例えば操作面におけるタッチ位置情報であってもよい。
When the processing unit of the
なお、タップ操作の検出方法は、任意であり、例えば画像認識による方法（すなわち操作面を撮像する画像に捕捉される操作指の像に基づいて、操作指の指す位置やスイッチを特定する方法）や、赤外線等を利用する方法等であってよい。 It should be noted that the method of detecting the tap operation is arbitrary, for example, a method by image recognition (that is, a method of identifying the position and the switch pointed by the operating finger based on the image of the operating finger captured in the image capturing the operation surface) Alternatively, a method using infrared rays or the like may be used.
なお、プロジェクタ２の処理部による上述した機能の一部は、後述のデータ転送端末３の処理部により実現されてもよい。
Note that some of the above-described functions of the processing unit of the
（データ転送端末３）
データ転送端末３は、任意の電子機器であり、例えばスマートフォンやタブレットのような携帯可能な端末であってもよいし、パーソナルコンピュータのような固定の端末であってもよい。また、他の実施例では、データ転送端末３は、サーバの形態であってよい。この場合、データ転送端末３と電子機器１及びプロジェクタ２とは、ネットワーク（図示せず）を介して接続される。この場合、ネットワークは、無線通信網を含み、その他、インターネット、ＶＰＮ（Ｖｉｒｔｕａｌ Ｐｒｉｖａｔｅ Ｎｅｔｗｏｒｋ）、ＷＡＮ（Ｗｉｄｅ Ａｒｅａ Ｎｅｔｗｏｒｋ）、有線ネットワーク、又はこれらの任意の組み合わせ等を含んでもよい。
(Data transfer terminal 3)
The
データ転送端末３は、電子機器１にデータを転送する機能を有する。例えば、データ転送端末３は、電子機器１のブルートゥースモジュール２１との間で通信を介して、電子機器１にデータを転送する。転送するデータは、任意であるが、上述したプロジェクタ２からの操作情報に基づいて決定されてもよい。例えば、スイッチＳＷ１に対するタップ操作を表す操作情報が受信されると、所定の画像データを転送する。なお、この場合、操作情報は、更に所定の画像データを指定する情報を含んでもよい。
The
図５は、データ転送端末３の処理装置１００のハードウェア構成の一例を示す図である。
FIG. 5 is a diagram illustrating an example of a hardware configuration of the
図５に示す例では、処理装置１００は、制御部１０１、主記憶部１０２、補助記憶部１０３、ドライブ装置１０４、ネットワークＩ／Ｆ部１０６、及び入力部１０７を含む。
In the example illustrated in FIG. 5, the
制御部１０１は、主記憶部１０２や補助記憶部１０３に記憶されたプログラムを実行する演算装置であり、入力部１０７や記憶装置からデータを受け取り、演算、加工した上で、記憶装置などに出力する。
The
主記憶部１０２は、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）やＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）などである。主記憶部１０２は、制御部１０１が実行する基本ソフトウェアであるＯＳ（Ｏｐｅｒａｔｉｎｇ Ｓｙｓｔｅｍ）やアプリケーションソフトウェアなどのプログラムやデータを記憶又は一時保存する記憶装置である。
The
補助記憶部１０３は、ＨＤＤ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）やＳＳＤ（Ｓｏｌｉｄ Ｓｔａｔｅ Ｄｒｉｖｅ）などであり、アプリケーションソフトウェアなどに関連するデータを記憶する記憶装置である。
The
ドライブ装置１０４は、記録媒体１０５、例えばフレキシブルディスクからプログラムを読み出し、記憶装置にインストールする。
The
記録媒体１０５は、所定のプログラムを格納する。この記録媒体１０５に格納されたプログラムは、ドライブ装置１０４を介して処理装置１００にインストールされる。インストールされた所定のプログラムは、処理装置１００により実行可能となる。
The
ネットワークＩ／Ｆ部１０６は、有線及び／又は無線回線などのデータ伝送路により構築されたネットワークを介して接続された通信機能を有する周辺機器と処理装置１００とのインターフェースである。
The network I /
入力部１０７は、カーソルキー、数字入力及び各種機能キー等を備えたキーボード、マウスやタッチパッド等を有する。
The
なお、図５に示す例において、以下で説明する各種処理等は、プログラムを処理装置１００に実行させることで実現することができる。また、プログラムを記録媒体１０５に記録し、このプログラムが記録された記録媒体１０５を処理装置１００に読み取らせて、以下で説明する各種処理等を実現させることも可能である。なお、記録媒体１０５は、様々なタイプの記録媒体を用いることができる。例えば、記録媒体１０５は、ＣＤ（Ｃｏｍｐａｃｔ Ｄｉｓｃ）−ＲＯＭ、フレキシブルディスク、光磁気ディスク等のように情報を光学的、電気的あるいは磁気的に記録する記録媒体、ＲＯＭ、フラッシュメモリ等のように情報を電気的に記録する半導体メモリ等であってよい。
In the example shown in FIG. 5, various processes described below can be realized by causing the
図６は、データ転送端末３の処理装置１００の機能構成の一例を示す図である。
FIG. 6 is a diagram showing an example of a functional configuration of the
データ転送端末３の処理装置１００は、操作情報受信部３０１（受信手段の一例）と、動作情報取得部３０２（取得手段の一例）と、操作者特定部３０３（決定手段の一例）と、マスタ動作情報記憶部３０４を含む。操作情報受信部３０１、動作情報取得部３０２、及び操作者特定部３０３は、図５の制御部１０１が記憶装置（例えば図５の主記憶部１０２）内の１つ以上のプログラムを実行することで実現できる。マスタ動作情報記憶部３０４は、図５の主記憶部１０２又は補助記憶部１０３により実現できる。
The
操作情報受信部３０１は、プロジェクタ２から操作情報を受信する。操作情報は、上述のとおりである。なお、複数ユーザにより操作可能な操作面に対して、電子機器１をそれぞれ装着した複数のユーザが上述したタップ操作を行うことが可能な状況（以下、「複数のユーザがタップ操作可能な状況」と称する）では、操作情報受信部３０１は、複数の電子機器１のいずれかからも操作情報を受信しうる状況となる。
The operation
動作情報取得部３０２は、電子機器１の動きを表す動作情報を取得する。本実施例では、一例として、動作情報取得部３０２は、動作情報として、電子機器１の加速度センサ２７からの加速度情報を取得する。動作情報取得部３０２は、電子機器１のブルートゥースモジュール２１との通信を介して加速度情報を取得してよい。
The motion
なお、複数のユーザがタップ操作可能な状況では、動作情報取得部３０２は、複数の電子機器１のいずれかからでも動作情報を取得可能な状況となる。
Note that in a situation where a plurality of users can perform tap operations, the motion
操作者特定部３０３は、複数のユーザがタップ操作可能な状況で機能する。なお、データ転送端末３において、複数のユーザがタップ操作可能な状況は、ブルートゥースモジュール２１との通信が確立されている電子機器１の数に基づいて検出できる。
The
操作者特定部３０３は、動作情報取得部３０２により取得された複数の電子機器１に係る動作情報と、操作情報受信部３０１により受信された操作情報とに基づいて、複数の電子機器１のうちの操作情報に対応付ける電子機器１、又は、複数のユーザのうちの操作情報に対応付けるユーザを、決定する。
The
ここで、複数のユーザがタップ操作可能な状況では、操作情報受信部３０１が操作情報を受信したとしても、当該操作情報だけからは、どのユーザ（どの電子機器１を装着したユーザ）が当該操作情報を発生させたか（すなわちタップ操作を行ったか）を特定することができない。操作情報は、上述のように、プロジェクタ２から送信されてくる情報であり、どのユーザ（どの電子機器１を装着したユーザ）に係る操作情報であるかを示す情報が付加されていないためである。
Here, in a situation in which a plurality of users can perform a tap operation, even if the operation
この点、本実施例では、操作者特定部３０３は、動作情報取得部３０２により取得された複数の電子機器１に係る動作情報を利用することで、どのユーザ（どの電子機器１を装着したユーザ）が当該操作情報を発生させたか（すなわちタップ操作を行ったか）を特定する。
In this regard, in the present embodiment, the
上述のように、ユーザは、電子機器１を装着した手でタップ操作を行うので、タップ操作を行う際に、それに応じた加速度が電子機器１には発生する。すなわち、タップ操作を行ったユーザの電子機器１からの動作情報と、タップ操作を行っていないユーザの電子機器１からの動作情報とは、時系列波形（例えば、各軸に係る加速度の時系列波形）において特徴が明確に異なる。本実施例では、この点を利用することで、どのユーザ（どの電子機器１を装着したユーザ）が当該操作情報を発生させたか（すなわちタップ操作を行ったか）を精度良く特定できる。
As described above, since the user performs the tap operation with the hand wearing the
具体的には、操作者特定部３０３は、動作情報取得部３０２により取得された複数の電子機器１に係る動作情報のうちに、タップ操作を行う際に現れる動きを表す動作情報があれば、当該動作情報を送信してきた電子機器１（送信データに含まれる識別子に基づき特定可能）を、当該操作情報を発生させた電子機器１（すなわちタップ操作を行ったユーザ）として特定できる。
Specifically, the
例えば、操作者特定部３０３は、タップ操作を行った際に得られるはずの動作情報であるマスタ動作情報と、動作情報取得部３０２により取得された複数の電子機器１に係る動作情報とを対比し、最もマスタ動作情報に整合する動作情報を特定する。この場合、操作者特定部３０３は、最もマスタ動作情報に整合する動作情報を送信してきた電子機器１を、当該操作情報を発生させた電子機器１（すなわちタップ操作を行ったユーザ）として特定してもよい。
For example, the
ここで、マスタ動作情報は、あらかじめ用意され、マスタ動作情報記憶部３０４に記憶される。なお、マスタ動作情報は、学習等を介して取得されてもよい。
Here, the master operation information is prepared in advance and stored in the master operation
マスタ動作情報は、好ましくは、一連のタップ操作ごとに用意される。図７は、マスタ動作情報記憶部３０４内のマスタ動作情報の説明図である。図７では、図４に示した操作面に係る一連のタップ操作に対するマスタ動作情報が示されている。この場合、一連のタップ操作として、例えば、「スイッチＳＷ１へのタップ操作＋スイッチＳＷ７に対するタップ操作」に対してはマスタ動作情報として加速度情報Ａ１が対応付けられ、「スイッチＳＷ２へのタップ操作＋スイッチＳＷ７に対するタップ操作」に対してはマスタ動作情報として加速度情報Ａ２が対応付けられ、以下同様である。なお、加速度情報Ａ１は、電子機器１を装着した手でスイッチＳＷ１へのタップ操作を行った後にスイッチＳＷ７に対するタップ操作を行ったときに得られる加速度センサ２７からの加速度情報に基づいて生成されてよい。加速度情報Ａ２は、電子機器１を装着した手でスイッチＳＷ２へのタップ操作を行った後にスイッチＳＷ７に対するタップ操作を行ったときに得られる加速度センサ２７からの加速度情報に基づいて生成されてよい。
The master operation information is preferably prepared for each series of tap operations. FIG. 7 is an explanatory diagram of master operation information in the master operation
ここで、一連のタップ操作について、例えば「スイッチＳＷ１へのタップ操作＋スイッチＳＷ７に対するタップ操作」と、「スイッチＳＷ２へのタップ操作＋スイッチＳＷ７に対するタップ操作」とは、図４に示すように、スイッチＳＷ１及びスイッチＳＷ２が異なる位置にあるので、加速度情報Ａ１と加速度情報Ａ２とは異なる特徴を有する。従って、一連のタップ操作ごとにマスタ動作情報を用意することで、操作情報を発生させた電子機器１（すなわちタップ操作を行ったユーザ）を精度良く特定できる。
Here, regarding a series of tap operations, for example, “tap operation on switch SW1 + tap operation on switch SW7” and “tap operation on switch SW2 + tap operation on switch SW7” are as shown in FIG. Since the switches SW1 and SW2 are at different positions, the acceleration information A1 and the acceleration information A2 have different characteristics. Therefore, by preparing the master operation information for each series of tap operations, it is possible to accurately specify the
この場合、操作者特定部３０３は、操作情報受信部３０１により受信された操作情報が表す一連のタップ操作に応じたマスタ動作情報をマスタ動作情報記憶部３０４から抽出し、抽出したマスタ動作情報と、動作情報取得部３０２により取得された複数の電子機器１に係る動作情報とを対比し、最もマスタ動作情報に整合する動作情報を特定する。そして、操作者特定部３０３は、最もマスタ動作情報に整合する動作情報を送信してきた電子機器１を、当該操作情報を発生させた電子機器１（すなわちタップ操作を行ったユーザ）として特定してもよい。このようにして、操作者特定部３０３は、操作情報受信部３０１により受信された操作情報と、動作情報取得部３０２により取得された複数の電子機器１に係る動作情報との関係に基づいて、当該操作情報を発生させた電子機器１（すなわちタップ操作を行ったユーザ）として特定することができる。なお、操作情報を発生させた電子機器１（すなわちタップ操作を行ったユーザ）を特定することは、「複数の電子機器１のうちの操作情報に対応付ける電子機器１を決定すること、又は、複数のユーザのうちの操作情報に対応付けるユーザを決定すること」の一態様である。
In this case, the
操作者特定部３０３は、操作情報を発生させた電子機器１を特定すると、当該電子機器１に対して所定処理を実行する。所定処理は、操作情報に基づいて決定されてもよい。例えば、スイッチＳＷ１を表す操作情報の場合、所定処理は、画像転送処理となる。
When the
（動作例）
次に、ユーザインターフェース用システム１０の動作例をついて、図８以降の概略フローチャートを参照して説明する。以降の処理フロー図（フローチャート）においては、各ステップの入力と出力の関係を損なわない限り、各ステップの処理順序を入れ替えてもよい。
(Operation example)
Next, an operation example of the
図８は、データ転送端末３により実行される処理の一例を示す概略フローチャートである。図８に示す処理は、データ転送端末３と複数の電子機器１との間で通信（ブルートゥースモジュール２１による通信）が確立された状態において実行される。ここでは、Ｎ１個の電子機器１との間で通信が確立されているものとする。
FIG. 8 is a schematic flowchart showing an example of processing executed by the
ステップＳ８００では、データ転送端末３は、プロジェクタ２を介してファイル転送スイッチを含む操作画面（図４の画像Ｇ４０参照）を出力する。例えば、データ転送端末３は、プロジェクタ２に対して、ファイル転送スイッチを含む操作画面（図４の画像Ｇ４０参照）を出力するように指令を送信する。
In step S800, the
ステップＳ８０２では、データ転送端末３は、ファイル転送スイッチに対するタップ操作を示す操作情報をプロジェクタ２から受信したか否かを判定する。判定結果が“ＹＥＳ”の場合、ステップＳ８０４に進み、それ以外の場合は、ファイル転送スイッチに対する操作待ち状態となる。なお、ファイル転送スイッチに対する操作待ち状態が所定時間以上継続した場合は、終了してもよい。
In step S802, the
ステップＳ８０４では、データ転送端末３は、プロジェクタ２を介して特定用スイッチを含む操作画面（図４の画像Ｇ４１参照）を出力する。
In step S804, the
ステップＳ８０６では、データ転送端末３は、特定用スイッチに対するタップ操作を示す操作情報をプロジェクタ２から受信したか否かを判定する。判定結果が“ＹＥＳ”の場合、ステップＳ８０８に進み、それ以外の場合は、特定用スイッチに対する操作待ち状態となる。なお、特定用スイッチに対する操作待ち状態が所定時間以上継続した場合は、終了してもよい。
In step S806, the
ステップＳ８０８では、データ転送端末３は、複数の電子機器１に対して動作情報を要求する。
In step S808, the data transfer terminal 3 requests operation information from the plurality of
ステップＳ８１０では、データ転送端末３は、複数の電子機器１から動作情報を受信したか否かを判定する。判定結果が“ＹＥＳ”の場合、ステップＳ８１２に進み、それ以外の場合は、複数の電子機器１からの動作情報の受信待ち状態となる。
In step S810, the
ステップＳ８１２では、データ転送端末３は、ステップＳ８０２及びステップＳ８０６で受信した操作情報に基づいて、今回の一連のタップ操作を特定し、特定した一連のタップ操作に応じたマスタ動作情報をマスタ動作情報記憶部３０４内から抽出する。
In step S812, the
ステップＳ８１４では、データ転送端末３は、複数の電子機器１のうちから特定の１つの電子機器１を選択する。
In step S814, the
ステップＳ８１５では、特定の１つの電子機器１の動作情報と、ステップＳ８１２で得たマスタ動作情報記憶部３０４内のマスタ動作情報とに基づいて、特定の１つの電子機器１の動作情報がマスタ動作情報と整合するか否かを判定する。特定の１つの電子機器１の選択方法は、任意であり、例えば動作情報の先着順等であってよい。整合するか否かは、例えばマスタ動作情報に係る波形と特定の１つの電子機器１の動作情報に係る波形間の相関係数を導出し、相関係数が所定閾値以上となるか否かに基づいて判定されてもよい。判定結果が“ＹＥＳ”の場合、ステップＳ８１６に進み、それ以外の場合は、ステップＳ８１８に進む。
In step S815, the operation information of the specific one
ステップＳ８１６では、データ転送端末３は、今回選択した特定の１つの電子機器１（又は当該電子機器１を装着するユーザ）に対して、ステップＳ８０２及びステップＳ８０６で受信した操作情報を対応付ける。例えば、データ転送端末３は、今回選択した特定の１つの電子機器１に対して、ステップＳ８０２で受信した操作情報に係るファイル転送処理を実行する。
In step S816, the data transfer terminal 3 associates the operation information received in steps S802 and S806 with the specific one electronic device 1 (or the user wearing the electronic device 1) selected this time. For example, the
ステップＳ８１８では、データ転送端末３は、他の未選択の電子機器１が存在するか否かを判定する。すなわち、データ転送端末３は、Ｎ１個の電子機器１のうち、ステップＳ８１４の判定処理を行っていない電子機器１が存在するか否かを判定する。判定結果が“ＹＥＳ”の場合、ステップＳ８２０に進み、それ以外の場合は、終了する。なお、判定結果が“ＮＯ”の場合、再度操作するようにユーザに促すためのメッセージ等をプロジェクタ２を介して通知してもよい。
In step S818, the
ステップＳ８２０では、データ転送端末３は、他の未選択の電子機器１のうちから、次の特定の１つの電子機器１を選択する。ステップＳ８２０が終了すると、新たに選択された特定の１つの電子機器１からの動作情報に基づいてステップＳ８１５の判定処理が実行される。
In step S820, the
図９は、図８に示す処理に関連して電子機器１により実行される処理の一例を示す概略フローチャートである。図９に示す処理は、Ｎ１個の電子機器１のそれぞれにおいて実行される。
FIG. 9 is a schematic flowchart showing an example of processing executed by the
ステップＳ９００では、電子機器１は、動作情報の要求（図８のステップＳ８０８参照）があったか否かを判定する。判定結果が“ＹＥＳ”の場合、ステップＳ９０２に進み、それ以外の場合は、当該要求の受信待ち状態となる。
In step S900, the
ステップＳ９０２では、電子機器１は、所定時間前から現時点までの加速度センサ２７からの加速度情報を、データ転送端末３に送信する。所定期間は、一連のタップ操作に要する時間に対応し、試験等により適合されてよい。なお、変形例では、図８において、データ転送端末３は、ステップＳ８０２の判定結果が“ＹＥＳ”の場合に、電子機器１に、加速度情報の記録開始指示を送信してもよい。この場合、本ステップＳ９０２では、電子機器１は、当該記録開始指示の受信時から現時点までの加速度センサ２７からの加速度情報を、データ転送端末３に送信する。
In step S902, the
ここで、Ｎ１個の電子機器１のうちの、図８のステップＳ８０２及びステップＳ８０６でデータ転送端末３が受信した操作情報を発生させた電子機器１には、図８のステップＳ８１６に基づいてファイルが転送されてくる。従って、Ｎ１個の電子機器１のうちの、図８のステップＳ８０２及びステップＳ８０６でデータ転送端末３が受信した操作情報を発生させた電子機器１は、ステップＳ９０２の後に、ファイルを受信することになる。
Here, among the N1
なお、上述した一連の処理は、ハードウェアにより実行させることもできるし、ソフトウェアにより実行させることもできる。 The series of processes described above can be executed by hardware or software.
換言すると、上記のような機能的構成は例示に過ぎず、特に限定されない。すなわち、上述した一連の処理を全体として実行できる機能が電子機器１に備えられていれば足り、この機能を実現するためにどのような機能ブロックを用いるのかは、特に上記のような機能的構成に限定されない。また、１つの機能ブロックは、ハードウェア単体で構成してもよいし、ソフトウェア単体で構成してもよいし、それらの組み合わせで構成してもよい。
In other words, the functional configuration as described above is merely an example and is not particularly limited. That is, it is sufficient if the
本実施例における機能的構成は、演算処理を実行するプロセッサによって実現され、本実施例に用いることが可能なプロセッサには、シングルプロセッサ、マルチプロセッサ及びマルチコアプロセッサ等の各種処理装置単体によって構成されるものの他、これら各種処理装置と、ＡＳＩＣ（Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ）やＦＰＧＡ（Ｆｉｅｌｄ‐Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）等の処理回路とが組み合わせられたものを含む。 The functional configuration according to the present embodiment is realized by a processor that executes arithmetic processing, and a processor that can be used in the present embodiment is configured by a single processing device such as a single processor, a multiprocessor, and a multicore processor. In addition to the above, it includes those in which these various processing devices are combined with a processing circuit such as an ASIC (Application Specific Integrated Circuit) or an FPGA (Field-Programmable Gate Array).
一連の処理をソフトウェアにより実行させる場合には、そのソフトウェアを構成するプログラムが、コンピュータ等にネットワークや記録媒体からインストールされる。コンピュータは、専用のハードウェアに組み込まれているコンピュータであってもよい。また、コンピュータは、各種のプログラムをインストールすることで、各種の機能を実行することが可能なコンピュータ、例えば汎用のパーソナルコンピュータであってもよい。 When the series of processes is executed by software, a program forming the software is installed in a computer or the like from a network or a recording medium. The computer may be a computer embedded in dedicated hardware. Further, the computer may be a computer capable of executing various functions by installing various programs, for example, a general-purpose personal computer.
このようなプログラムを含む記録媒体は、ユーザにプログラムを提供するために装置本体とは別に配布される図３のリムーバブルメディア４１により構成されるだけでなく、装置本体に予め組み込まれた状態でユーザに提供される記録媒体等で構成される。リムーバブルメディア４１は、例えば、磁気ディスク（フロッピディスクを含む）、光ディスク、または光磁気ディスク等により構成される。光ディスクは、例えば、ＣＤ−ＲＯＭ（Ｃｏｍｐａｃｔ Ｄｉｓｋ−Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、ＤＶＤ（Ｄｉｇｉｔａｌ Ｖｅｒｓａｔｉｌｅ Ｄｉｓｋ）、Ｂｌｕ−ｒａｙ（登録商標） Ｄｉｓｃ（ブルーレイディスク）等により構成される。光磁気ディスクは、ＭＤ（Ｍｉｎｉ−Ｄｉｓｋ）等により構成される。また、装置本体に予め組み込まれた状態でユーザに提供される記録媒体は、例えば、プログラムが記録されている図３のＲＯＭ１２や、図３の記憶部１４に含まれる半導体メモリ等で構成される。
The recording medium including such a program is not only configured by the
なお、本明細書において、記録媒体に記録されるプログラムを記述するステップは、その順序に沿って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくても、並列的あるいは個別に実行される処理をも含むものである。 In the present specification, the steps for writing the program recorded on the recording medium are not limited to the processing performed in time series according to the order, but may be performed in parallel or individually even if the processing is not necessarily performed in time series. It also includes the processing executed in.
以上、各実施例について詳述したが、特定の実施例に限定されるものではなく、特許請求の範囲に記載された範囲内において、種々の変形及び変更が可能である。また、前述した実施例の構成要素を全部又は複数を組み合わせることも可能である。 Although the respective embodiments have been described in detail above, the present invention is not limited to the specific embodiments, and various modifications and changes can be made within the scope of the claims. Further, it is possible to combine all or a plurality of the constituent elements of the above-described embodiments.
例えば、上述した実施例において、データ転送端末３の機能の一部の機能は、各電子機器１により実現されてもよい。例えば、各電子機器１は、データ転送端末３の機能であった操作情報受信部３０１、及び操作者特定部３０３の一部を実現してもよい。この場合、各電子機器１は、マスタ動作情報記憶部３０４に対応する記憶部を有し、操作者特定部３０３に対応する機能に基づいて、加速度センサ２７からの加速度情報に基づいて、操作情報を自身の電子機器１が発生させたか否かを判定する。そして、各電子機器１は、その判定結果をデータ転送端末３に送信する。この場合、データ転送端末３は、各電子機器１からの判定結果に基づいて、複数の電子機器１のうちの、ファイル転送先となるべき電子機器１を特定できる。
For example, in the above-described embodiment, some of the functions of the
また、上述した実施例では、複数ユーザにより操作可能な操作面は、プロジェクタ２により形成されているが、これに限られない。例えば、複数ユーザにより操作可能な操作面は、タッチパネルを備える入力装置により実現されてもよい。すなわち、プロジェクタ２に代えて、タッチパネルを備える入力装置が利用されてもよい。この場合、入力装置は、図４に示したような画像を出力することで、複数ユーザにより操作可能な操作面を形成できる。また、この場合、入力装置は、データ転送端末３と通信可能に接続され、データ転送端末３の操作情報受信部３０１が受信できるように、操作情報をデータ転送端末３に送信してもよい。あるいは、入力装置はデータ転送端末３の一部として実現されてもよい。例えば入力装置は、データ転送端末３のタッチパネルにより実現されてもよい。この場合、入力装置が操作情報受信部３０１を実現してもよい。
Further, in the above-described embodiment, the operation surface operable by a plurality of users is formed by the
以下に、この出願の願書に最初に添付した特許請求の範囲に記載した発明を付記する。付記に記載した請求項の項番は、この出願の願書に最初に添付した特許請求の範囲の通りである。
＜請求項１＞
ユーザ端末をそれぞれ付帯した複数のユーザにより操作が可能な操作面に対する操作情報を受信する受信手段と、
前記ユーザ端末の動きを表す動作情報を取得する取得手段と、
前記取得手段により取得された複数の前記ユーザ端末に係る動作情報と、前記受信手段により受信された前記操作情報とに基づいて、前記複数のユーザのうちの前記操作情報に対応付けるユーザを、決定する決定手段とを備える、操作支援装置。
＜請求項２＞
前記決定手段は、前記取得手段により取得された複数の前記ユーザ端末に係る動作情報と、前記受信手段により受信された前記操作情報とに基づいて、前記複数のユーザのうちの前記操作情報に対応付けるユーザとして、複数の前記ユーザ端末のうちの前記操作情報に対応付けるユーザ端末を決定する、請求項１に記載の操作支援装置。
＜請求項３＞
前記決定手段は、前記取得手段により取得された複数の前記ユーザ端末に係る動作情報のそれぞれと、前記受信手段により受信された前記操作情報との関係に基づいて、前記操作情報に対応付けるユーザを決定する、請求項１又は２に記載の操作支援装置。
＜請求項４＞
前記操作面は、ユーザにより一連の動きを伴う２つ以上の操作が実行されるように形成され、
前記決定手段は、前記取得手段により取得された複数の前記ユーザ端末に係る動作情報のうちの、前記一連の動きに最も整合する動作情報を特定し、複数の前記ユーザ端末のうちの、特定した前記動作情報に係るユーザ端末を、前記操作情報に対応付ける前記ユーザとして決定する、請求項３に記載の操作支援装置。
＜請求項５＞
前記決定手段により決定された前記ユーザに、該ユーザに対応付けられた前記操作情報に応じた情報を送信する処理手段を更に備える、請求項１〜４のうちのいずれか１項に記載の操作支援装置。
＜請求項６＞
前記ユーザ端末は、ユーザに装着されるウエアラブル端末である、請求項１〜５のうちのいずれか１項に記載の操作支援装置。
＜請求項７＞
前記操作面は、プロジェクタにより操作画面が投映される投映面、又は、タッチパネル面により形成される、請求項１〜６のうちのいずれか１項に記載の操作支援装置。
＜請求項８＞
ユーザごとに付帯されるユーザ端末の動きを表す動作情報を取得し、
表示される操作面に対する操作情報を受信し、
取得した複数の前記ユーザ端末に係る動作情報と、受信した前記操作情報とに基づいて、複数の前記ユーザのうちの前記操作情報に対応付けるユーザを、決定することを含む、コンピュータにより実行される操作支援方法。
＜請求項９＞
ユーザごとに付帯されるユーザ端末の動きを表す動作情報を取得し、
表示される操作面に対する操作情報を受信し、
取得した複数の前記ユーザ端末に係る動作情報と、受信した前記操作情報とに基づいて、複数の前記ユーザのうちの前記操作情報に対応付けるユーザを、決定する
処理をコンピュータに実行させる操作支援プログラム。
Hereinafter, the inventions described in the claims attached to the application of this application will be additionally described. The claim numbers listed in the appendices are as set forth in the claims initially attached to the application for this application.
<Claim 1>
Receiving means for receiving operation information on an operation surface that can be operated by a plurality of users, each of which is provided with a user terminal,
Acquisition means for acquiring motion information indicating the movement of the user terminal,
The user to be associated with the operation information among the plurality of users is determined based on the operation information related to the plurality of user terminals acquired by the acquisition unit and the operation information received by the reception unit. An operation support device, comprising: determining means.
<Claim 2>
The determining unit associates the operation information of the plurality of users with the operation information of the plurality of user terminals acquired by the acquiring unit and the operation information received by the receiving unit. The operation support device according to
<Claim 3>
The determining unit determines a user to be associated with the operation information, based on the relationship between each of the operation information related to the plurality of user terminals acquired by the acquiring unit and the operation information received by the receiving unit. The operation support device according to
<Claim 4>
The operation surface is formed so that a user can perform two or more operations involving a series of movements.
The determining means specifies the operation information most matching the series of movements among the operation information related to the plurality of user terminals acquired by the acquiring means, and specifies the operation information among the plurality of user terminals. The operation support device according to
<Claim 5>
The operation according to any one of
<Claim 6>
The operation support device according to
<Claim 7>
The operation support device according to
<Claim 8>
Acquires motion information indicating the movement of the user terminal attached to each user,
Receives operation information for the displayed operation surface,
An operation executed by a computer, including determining a user to be associated with the operation information among the plurality of users based on the acquired operation information about the plurality of user terminals and the received operation information. How to help.
<Claim 9>
Acquires motion information indicating the movement of the user terminal attached to each user,
Receives operation information for the displayed operation surface,
An operation support program that causes a computer to execute a process of determining a user to be associated with the operation information among the plurality of users based on the acquired operation information about the plurality of user terminals and the received operation information.
１ 電子機器
２ プロジェクタ
３ データ転送端末
１１Ａ 第１ＣＰＵ
１１Ｂ 第２ＣＰＵ
１４ 記憶部
１５ ＲＴＣ部
１６ ドライブ
１７ タッチパネル
１８ 第１表示部
１９ 第１入力部
２０ ブルートゥース用アンテナ
２１ ブルートゥースモジュール
２２ 無線ＬＡＮアンテナ
２３ 無線ＬＡＮモジュール
２４ 第２表示部
２５ 脈拍センサ
２６ 地磁気センサ
２７ 加速度センサ
２８ ジャイロセンサ
２９ 照度センサ
３０ 第２入力部
３１ ＧＰＳアンテナ
３２ ＧＰＳモジュール
４１ リムーバブルメディア
３０１ 操作情報受信部
３０２ 動作情報取得部
３０３ 操作者特定部
３０４ マスタ動作情報記憶部
1
11B Second CPU
14
Claims (9)
前記ユーザ端末の動きを表す動作情報を取得する取得手段と、
前記取得手段により取得された複数の前記ユーザ端末に係る動作情報と、前記受信手段により受信された前記操作情報とに基づいて、前記複数のユーザのうちの前記操作情報に対応付けるユーザを、決定する決定手段とを備える、操作支援装置。 Receiving means for receiving operation information on an operation surface that can be operated by a plurality of users, each of which is provided with a user terminal,
Acquisition means for acquiring motion information indicating the movement of the user terminal,
The user to be associated with the operation information among the plurality of users is determined based on the operation information related to the plurality of user terminals acquired by the acquisition unit and the operation information received by the reception unit. An operation support device, comprising: determining means.
前記決定手段は、前記取得手段により取得された複数の前記ユーザ端末に係る動作情報のうちの、前記一連の動きに最も整合する動作情報を特定し、複数の前記ユーザ端末のうちの、特定した前記動作情報に係るユーザ端末を、前記操作情報に対応付ける前記ユーザとして決定する、請求項３に記載の操作支援装置。 The operation surface is formed so that a user can perform two or more operations involving a series of movements.
The determining unit specifies the operation information most matching the series of movements among the operation information related to the plurality of user terminals acquired by the acquiring unit, and specifies the operation information among the plurality of user terminals. The operation support device according to claim 3, wherein a user terminal related to the operation information is determined as the user associated with the operation information.
表示される操作面に対する操作情報を受信し、
取得した複数の前記ユーザ端末に係る動作情報と、受信した前記操作情報とに基づいて、複数の前記ユーザのうちの前記操作情報に対応付けるユーザを、決定することを含む、コンピュータにより実行される操作支援方法。 Acquires motion information indicating the movement of the user terminal attached to each user,
Receives operation information for the displayed operation surface,
An operation performed by a computer, which includes determining a user to be associated with the operation information among the plurality of users based on the acquired operation information about the plurality of user terminals and the received operation information. How to help.
表示される操作面に対する操作情報を受信し、
取得した複数の前記ユーザ端末に係る動作情報と、受信した前記操作情報とに基づいて、複数の前記ユーザのうちの前記操作情報に対応付けるユーザを、決定する
処理をコンピュータに実行させる操作支援プログラム。 Acquires motion information indicating the movement of the user terminal attached to each user,
Receives operation information for the displayed operation surface,
An operation support program that causes a computer to execute a process of determining a user to be associated with the operation information among the plurality of users based on the acquired operation information related to the plurality of user terminals and the received operation information.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2018195313A JP7331345B2 (en) | 2018-10-16 | 2018-10-16 | Operation support device, method and program |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2018195313A JP7331345B2 (en) | 2018-10-16 | 2018-10-16 | Operation support device, method and program |
Publications (3)
| Publication Number | Publication Date |
|---|---|
| JP2020064414A true JP2020064414A (en) | 2020-04-23 |
| JP2020064414A5 JP2020064414A5 (en) | 2021-11-18 |
| JP7331345B2 JP7331345B2 (en) | 2023-08-23 |
Family
ID=70387243
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2018195313A Active JP7331345B2 (en) | 2018-10-16 | 2018-10-16 | Operation support device, method and program |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP7331345B2 (en) |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2013130982A (en) * | 2011-12-21 | 2013-07-04 | Sharp Corp | Information display device |
| JP2016165099A (en) * | 2015-02-27 | 2016-09-08 | 株式会社リコー | Information processing apparatus, information processing system, and program |
| US20160291704A1 (en) * | 2013-11-08 | 2016-10-06 | University Of Newcastle Upon Tyne | Disambiguation of styli by correlating acceleration on touch inputs |
-
2018
- 2018-10-16 JP JP2018195313A patent/JP7331345B2/en active Active
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2013130982A (en) * | 2011-12-21 | 2013-07-04 | Sharp Corp | Information display device |
| US20160291704A1 (en) * | 2013-11-08 | 2016-10-06 | University Of Newcastle Upon Tyne | Disambiguation of styli by correlating acceleration on touch inputs |
| JP2016165099A (en) * | 2015-02-27 | 2016-09-08 | 株式会社リコー | Information processing apparatus, information processing system, and program |
Also Published As
| Publication number | Publication date |
|---|---|
| JP7331345B2 (en) | 2023-08-23 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US10677596B2 (en) | Image processing device, image processing method, and program | |
| KR102537922B1 (en) | Method for measuring angles between displays and Electronic device using the same | |
| CN109284001B (en) | Method for performing a function of a device and device for performing the method | |
| CN109154858B (en) | Intelligent electronic device and operation method thereof | |
| KR102479052B1 (en) | Method for controlling display of electronic device using a plurality of controllers and device thereof | |
| CN107491177B (en) | Method for recognizing rotation of rotating body and electronic device for processing the same | |
| US9874448B2 (en) | Electric device and information display method | |
| US10712167B2 (en) | Methods, systems, and devices for displaying maps | |
| JP2017146749A (en) | Control program, control method, and computer | |
| US20170220137A1 (en) | User interfacing method and electronic device for performing the same | |
| CN108235234B (en) | Electronic device and method for providing location data | |
| JP6377950B2 (en) | Mobile device and information processing system | |
| US20130103723A1 (en) | Information processing apparatus, information processing method, program, and recording medium | |
| CN110163296B (en) | Image recognition method, device, equipment and storage medium | |
| EP3540584A1 (en) | Method for adjusting screen size and electronic device therefor | |
| EP2709005B1 (en) | Method and system for executing application, and device and recording medium thereof | |
| US20230284000A1 (en) | Mobile information terminal, information presentation system and information presentation method | |
| KR102526959B1 (en) | Electronic device and method for operating the same | |
| EP3447673A1 (en) | Electronic device and control method therefor | |
| CN111753606A (en) | Intelligent model upgrading method and device | |
| CN110377914B (en) | Character recognition method, device and storage medium | |
| JP7331345B2 (en) | Operation support device, method and program | |
| CN110163192B (en) | Character recognition method, device and readable medium | |
| CN113432620B (en) | Error estimation method and device, vehicle-mounted terminal and storage medium | |
| CN112882094B (en) | First-arrival wave acquisition method and device, computer equipment and storage medium |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20211005 |
|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20211005 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20220728 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20220823 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20221019 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20230214 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20230407 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20230711 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20230724 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 7331345 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |