JP2010277176A - Apparatus, system, and method for processing information - Google Patents
Apparatus, system, and method for processing information Download PDFInfo
- Publication number
- JP2010277176A JP2010277176A JP2009126759A JP2009126759A JP2010277176A JP 2010277176 A JP2010277176 A JP 2010277176A JP 2009126759 A JP2009126759 A JP 2009126759A JP 2009126759 A JP2009126759 A JP 2009126759A JP 2010277176 A JP2010277176 A JP 2010277176A
- Authority
- JP
- Japan
- Prior art keywords
- information processing
- shape
- operator
- processing apparatus
- operation right
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- User Interface Of Digital Computer (AREA)
Abstract
Description
本発明は、情報処理装置、情報処理システム、及び、情報処理方法に関する。 The present invention relates to an information processing apparatus, an information processing system, and an information processing method.
従来から、コントローラを用いることなく操作を行う画像表示装置等のユーザーインタフェースとして、手や指を用いる技術がある。例えば、国際公開第ＷＯ２００６／１０４１３２号（特許文献１）には、指の位置座標を検出し、指の動きや各指に予め割り当てられたコマンドを実行させるユーザインタフェイスシステムの発明が開示されている。 2. Description of the Related Art Conventionally, there is a technique using a hand or a finger as a user interface of an image display apparatus or the like that performs an operation without using a controller. For example, International Publication No. WO2006 / 104132 (Patent Document 1) discloses an invention of a user interface system that detects finger position coordinates and executes a finger movement or a command assigned in advance to each finger. Yes.
また、特開２００４−２５８７１４号公報（特許文献２）には、一人に操作権を付与することにより、複数人が同時に操作を行った場合に、操作権を有する者の手の動きに対応する制御を行う画像表示装置の発明が開示されている。 Japanese Patent Laid-Open No. 2004-258714 (Patent Document 2) provides an operation right to one person, and responds to the movement of the hand of the person having the operation right when a plurality of people perform the operation simultaneously. An invention of an image display device that performs control is disclosed.
しかしながら、上記特許文献１及び２に開示のユーザインタフェイスシステム等の発明では、操作者又は操作権を有する者が、操作の意志無く手や指等を動かした場合については考慮されていない。そこで、例えば、画像表示装置等の前にいる操作者又は操作権を有する者が、無意識なジェスチャや、装置の操作とは異なる意図に基づくジェスチャを行った際に、画像表示装置が動作してしまう問題が生じる。 However, in the inventions such as the user interface system disclosed in Patent Documents 1 and 2, no consideration is given to a case where an operator or a person having an operation right moves a hand, a finger, or the like without intention of operation. Therefore, for example, when the operator in front of the image display device or the like or who has the operation right performs an unconscious gesture or a gesture based on an intention different from the operation of the device, the image display device operates. Problem arises.
本発明は、上記の点に鑑みて、これらの問題を解消するために発明されたものであり、操作者の手や指等によるユーザーインタフェースにおいて誤動作を防ぐ情報処理装置、情報処理システム、及び、情報処理方法を提供することを目的としている。 The present invention has been invented to solve these problems in view of the above points, and is an information processing apparatus, an information processing system, and an information processing apparatus that prevent malfunctions in a user interface such as an operator's hand or finger. The object is to provide an information processing method.
上記目的を達成するために、本発明の情報処理装置は次の如き構成を採用した。
本発明の情報処理装置は、操作者の手の形状を検出する形状検出手段と、前記形状検出手段によって検出された前記操作者の手の形状が第１の所定形状の場合に被制御装置を操作する権利である操作権を当該操作者に付与する操作権管理手段と、前記操作権が付与された操作者の視点方向を検出する視点方向検出手段と、前記視点方向検出手段によって検出される前記操作者の視点方向が所定の範囲の場合に、前記操作権管理手段によって前記操作権が付与された操作者の手の形状に対応する前記被制御装置の制御を実行する制御手段と、を有する構成とすることができる。
In order to achieve the above object, the information processing apparatus of the present invention employs the following configuration.
An information processing apparatus according to the present invention includes a shape detection unit that detects a shape of an operator's hand, and a controlled device when the shape of the operator's hand detected by the shape detection unit is a first predetermined shape. Detected by an operation right management unit that grants an operation right, which is an operation right, to the operator, a viewpoint direction detection unit that detects a viewpoint direction of the operator who is given the operation right, and the viewpoint direction detection unit Control means for executing control of the controlled device corresponding to the shape of the operator's hand to which the operation right is given by the operation right management means when the viewpoint direction of the operator is within a predetermined range; It can be set as the structure which has.
なお、上記課題を解決するため、本発明は、上記情報処理装置における情報処理方法、又は、上記情報処理装置等が接続された情報処理システムとしてもよい。 In order to solve the above problem, the present invention may be an information processing method in the information processing apparatus or an information processing system to which the information processing apparatus or the like is connected.
本発明の情報処理装置、情報処理システム、及び、情報処理方法によれば、操作者の手や指等によるユーザーインタフェースにおいて誤動作を防ぐ情報処理装置、情報処理システム、及び、情報処理方法を提供することが可能になる。 According to the information processing apparatus, the information processing system, and the information processing method of the present invention, there are provided an information processing apparatus, an information processing system, and an information processing method for preventing a malfunction in a user interface using an operator's hand or finger. It becomes possible.
以下、本実施の形態を図面に基づき説明する。 Hereinafter, the present embodiment will be described with reference to the drawings.
〔本実施の形態〕
図１は、手や指等の動作によるユーザーインタフェースを有する画像表示装置において、誤動作が発生するケースの一例を示す図である。動作によるユーザーインタフェースでは、操作権を有する者が、操作意志を持って手や指を動かしているのか、単に画像表示装置周辺にいる人とのコミュニケーションの補助手段等として手や指を動かしているのかが判定される、画像表示装置等の誤動作の原因となり得る。
[Embodiment]
FIG. 1 is a diagram illustrating an example of a case in which a malfunction occurs in an image display apparatus having a user interface based on the operation of a hand or a finger. In the user interface by operation, the person who has the operation right moves the hand or finger with the will of operation, or simply moves the hand or finger as an auxiliary means for communication with people around the image display device This may cause malfunction of the image display device or the like.
図１中、○が付された項が、操作者の意図に反する制御が起こらないケース、×が付された項が、操作者の意図に反する制御が起こり得るケースである。なお、操作の意図があるにも関わらず手や指等を動かさないことはないため、それらの項には−を付す。付された項は、操作権を有しない者の動作は、画像表示装置等の操作には影響しない。 In FIG. 1, a term marked with ○ is a case where control contrary to the intention of the operator does not occur, and a term marked with × is a case where control contrary to the intention of the operator can occur. In addition, although there is no intention of operation, a hand, a finger, or the like is not moved, and thus − is added to those terms. In the attached item, the operation of a person who does not have the operation right does not affect the operation of the image display device or the like.
ユーザーインタフェースにおいて、操作権の有無による区別を行うことにより、操作権を有しない者の動作は制御に関わらない。そこで、誤動作が発生するケースは、図１中（＊）を付した項となる。 By making a distinction based on the presence or absence of the operation right in the user interface, the actions of those who do not have the operation right are not involved in the control. Therefore, a case where a malfunction occurs is a term with (*) in FIG.
図２は、本実施の形態における情報処理装置１のハードウェア構成の一例を示す図である。図２の情報処理装置１は、制御部１０、形状検出部２１、視点方向検出部２２、記憶部８０、インタフェース９０を有する。
FIG. 2 is a diagram illustrating an example of a hardware configuration of the information processing apparatus 1 according to the present embodiment. The information processing apparatus 1 in FIG. 2 includes a
形状検出部２１は、撮像装置等から入力される画像中から、操作者の手や指等の形状を検出する。視点方向検出部２２は、操作権者の視点方向を検出する。
The
制御部１０は、例えば、プログラム等を実行することにより、情報処理装置１が実行する形状認識及び制御要求の生成等の各機能を実現する。制御部１０は、また、情報処理装置１が有する各部の制御を行う。
The
制御部１０は、形状検出部２１が検出した操作者の手や指等の形状が所定の形状の場合には、当該操作者に操作権の付与を行う。制御部１０は、また、形状検出部２１が検出した操作権を付与された者（以下、「操作権者」という。）の手や指等の形状が所定の形状の場合に、当該操作者から操作権の解除を行う。制御部１０は、さらに、操作権者の手や指が所定の形状であり、かつ、操作権者の視点方向が所定の範囲の場合に、検出された形状に対応する制御要求を生成する。
When the shape of the operator's hand or finger detected by the
図３は、所定形状の例を示す図である。図３（ａ）は、例えば、操作権を取得する際の所定形状である。また、図３（ｂ）は、例えば、操作権を解除する際の所定形状である。本実施の形態では、操作権を取得する際の所定形状を「所定形状１」といい、操作権を解除する際の所定形状を「所定形状２」という。 FIG. 3 is a diagram illustrating an example of a predetermined shape. FIG. 3A shows, for example, a predetermined shape when acquiring the operation right. FIG. 3B shows a predetermined shape when the operation right is canceled, for example. In the present embodiment, the predetermined shape when acquiring the operation right is referred to as “predetermined shape 1”, and the predetermined shape when releasing the operation right is referred to as “predetermined shape 2”.
本実施の形態では、さらに、スクロールに対応する動作として、両手を用いてスクロールしたい方向に両手を動かす動作、マウスクリック、ダブルクリックに対応する動作として、人差し指を１回、２回動かす動作等を画面操作前に、設定してもよい。 In the present embodiment, as an operation corresponding to scrolling, an operation of moving both hands in the direction of scrolling using both hands, an operation of moving the index finger once or twice as an operation corresponding to mouse click or double click, etc. It may be set before the screen operation.
インタフェース９０は、情報処理装置１により制御される各装置へのインタフェースである。情報処理装置１により制御される装置（以下、「被制御装置」ともいう。）は、例えば、表示装置、スピーカー、又は、録画／録音等の装置である。そこで、インタフェース９０には、例えば、表示制御部９１、音量制御部９２、及び、情報記録装置制御部９３等が接続される。
The
表示制御部９１は、制御部１０によって生成される制御要求により図示しない画像表示装置を制御する。音量制御部９２は、制御部１０によって生成される制御要求により、図示しないスピーカー等の音声出力装置を制御する。情報記録装置制御部９３は、制御部１０によって生成される制御要求により、図示しない情報記録装置を制御する。
The
記憶部８０は、操作権を確保する際、及び、操作権を解除する際の、操作者の手等の所定形状等のデータを保持する。記憶部８０は、また、被制御装置を制御する際の制御要求に対応する手等の形状のデータを保持する。
The
図４は、情報処理装置１００の機能構成の例を示す図である。図４の情報処理装置１００は、撮像装置３００、ディスプレイ６１ａ、スピーカー６１ｂ、レコーダー６１ｃ、及び、記憶部８００に接続される。情報処理装置１００は、また、他の情報処理装置である情報処理装置２００に接続されてもよい。
FIG. 4 is a diagram illustrating an example of a functional configuration of the
ディスプレイ６１ａは、例えば、透過型画像表示装置、自発光型画像表示装置、及び、反射型画像表示装置の何れか一つであるとよい。これらの表示装置は、撮像装置３００による撮像を好適に行う環境下での表示に適している。
The display 61a may be, for example, any one of a transmissive image display device, a self-luminous image display device, and a reflective image display device. These display devices are suitable for display in an environment where imaging by the
情報処理装置１００は、撮像装置３００から入力される画像から、操作者の手等の所定形状を検出し、さらに、操作者の視点方向を検出する。情報処理装置１００は、検出された情報に基づいて、接続されたディスプレイ６１ａ等の被制御装置を制御する。
The
情報処理装置１００は、検出部１２０、及び、制御部１３０を有する。検出部１２０は、形状検出部１２１、視点方向検出部１２２、及び、位置検出部１２３を有する。形状検出部１２１は、操作者等の手又は指等の所定形状を検出する。視点方向検出部１２２は、操作権者の視点方向を検出する。位置検出部１２３は、操作者の位置を検出する。
The
形状検出手段１２１、及び、位置検出手段１２３は、ＣＣＤカメラ等の撮像装置からの映像処理、サーモグラフィー等により実現されてもよい。サーモグラフィーは、体温を検知する。体温は、一般には室温より高いため、室内にいる人・指等の位置を、より正確に検出することができる。また、位置検出手段１２３は、赤外線レーザー等、指向性のある電磁波を画像表示装置の前でスキャンして、その反射を検出することで、操作者の位置を検出してもよい。また、視点方向検出部１２２は、例えば、撮像装置からの映像処理を用いてもよい。
The
制御部１３０は、操作権管理部１３１、制御要求生成部１３３、及び、通信部１３５を有する。操作権管理部１３１は、形状検出部１２１が、第１の所定の形状を検出した際に、その第１の所定の形状に対応する操作者に対し、操作権を付与する。これにより、操作者が操作権者となる。操作権管理部１３１は、また、形状検出部１２１が、第２の所定の形状を検出した際に、その第２の所定の形状に対応する操作者が操作権者の場合に、操作権を解除する。
The
制御要求生成部１３３は、形状検出部１２１が、操作権者から検出した手等の所定形状が、被制御装置の制御要求に対応する形状であり、かつ、視点方向検出部１２２が検出した操作権者の視点方向が所定の範囲内の場合に、被制御装置に対する制御要求を生成する。これにより、被制御装置に対する、画面の更新、音量の変更等の制御等が行われる。
The control
通信部１３５は、他の情報処理装置等に対する通信を行う。通信部１３５は、例えば、情報処理装置２００等に対する通信を行う。通信部１３５により送信される情報は、例えば、検出部１２０により検出された各種の情報である。
The communication unit 135 performs communication with other information processing apparatuses and the like. For example, the communication unit 135 performs communication with the
撮像装置３００は、操作者及び操作権者の映像又は画像を撮影し、情報処理装置１００に対して入力する。なお、撮像装置は、一つに限らず、複数の撮像装置が情報処理装置１００に対して映像等を入力する構成でもよい。
The
ディスプレイ６１ａ、スピーカー６１ｂ、及び、レコーダー６１ｃは、情報処理装置１００により制御される被制御装置である。これらの被制御装置は、それぞれ、画像の表示、音声の出力、及び、情報の記録等を行う。
The display 61a, the
記憶部８００は、情報処理装置１００が用いる所定形状等のデータを保持する。所定形状のデータは、操作権を取得する際の第１の所定の形状のデータ、操作権者が操作権を解除する際の第２の所定の形状のデータを含む。所定形状のデータは、また、被制御装置の制御要求に対応する一以上の形状のデータを含むとよい。
The
情報処理装置２００は、情報処理装置１００と同様の構成を有する。情報処理装置２００は、例えば、ディスプレイ６２ａ、スピーカー６２ｂ、及び、レコーダー６２ｃに接続される。情報処理装置２００は、情報処理装置１００の検出部１２０により検出された各種の情報に基づいて、被制御装置に対する制御要求を生成する。
The
図５は、本実施形態に係る情報処理方法の一例を示すフロー図である。図５の処理は、情報処理装置１００により実行される。図５では、情報処理装置１００は、ＰＣ又はサーバーであり、被制御装置は、画像表示装置である。図５では、操作者等の動作に基づいて、操作権の設定、操作権の解除、及び、画像表示装置の制御が行われる。画像表示装置の制御は、画面上のマウスカーソルを表示し、操作権者の手又は指等の形状を検出することにより実行される。
FIG. 5 is a flowchart showing an example of the information processing method according to the present embodiment. The process of FIG. 5 is executed by the
図５のステップＳ１０１では、ＰＣ又はサーバーの電源が投入される。この際に、記憶部８００から、所定形状１及び２の画像又は動画の情報が読み込まれる。さらに、スクロール、クリック、ダブルクリック、及び、ドラッグ等の動作に対応する形状の動画の情報が読み込まれる。
In step S101 of FIG. 5, the power of the PC or server is turned on. At this time, information on images or moving images of the predetermined shapes 1 and 2 is read from the
図５のステップＳ１０２では、位置検出部１２３が、画像表示装置の前にいる人の位置を検出し、形状検出部１２１が、その人の動作を検出する。ステップＳ１０２に続いてステップＳ１０３に進み、ＰＣ又はサーバーの電源がＯＦＦされているか否かを判断する。ＰＣ又はサーバーの電源がＯＦＦされている場合には、処理を終了し、ＯＦＦされていない場合には、ステップＳ１０４に進む。
In step S102 of FIG. 5, the
ステップＳ１０３に続くステップＳ１０４では、形状検出部１２１が、ステップＳ１０２で検出された形状が、所定形状１か否かを判断する。所定形状１の場合には、ステップＳ１０５に進む。所定形状１ではない場合には、ステップＳ１０３に戻って処理を繰り返す。
In step S104 following step S103, the
ステップＳ１０４に続くステップＳ１０５では、操作権管理部１３１が、操作権取得者を画像表示装置の前にいる人に設定する。ステップＳ１０５に続いてステップＳ１０６に進み、視点方向検出部１２２が、操作権者の視点方向を検出する。ステップＳ１０６に続いてステップＳ１０７に進み、視点方向検出部１２２が、ステップＳ１０６で検出された視点方向が、所定の範囲か否かを判断する。所定の範囲の場合、すなわち、視点が画面方向に向いている場合には、ステップＳ１０８に進み、所定の範囲でない場合、すなわち、視点が画面方向に向いていない場合には、ステップＳ１１５に進む。
In step S105 following step S104, the operation
ステップＳ１０７に続くステップＳ１１５では、形状検出部１２１が、操作権者以外の人から、所定形状１が検出されたか否かを判断する。所定形状１が検出された場合には、ステップＳ１１６に進み、所定形状１が検出されない場合には、ステップＳ１０７に戻って処理を繰り返す。
In step S115 following step S107, the
ステップＳ１１５に続くステップＳ１１６では、操作権管理部１３１が、所定形状１を検出した操作者を、新たな操作権者とすることにより、操作権者を変更する。ステップＳ１１６の処理の後、ステップＳ１０６に戻って処理を繰り返す。
In step S116 following step S115, the operation
一方、ステップＳ１０７に続くステップＳ１０８では、画像表示装置が、表示画面上に、マウスカーソルを表示する。 On the other hand, in step S108 following step S107, the image display device displays a mouse cursor on the display screen.
ステップＳ１０８に続いてステップＳ１０９に進み、形状検出部１２１が、操作権者の手又は指等の動きを検出したか否かを判断する。検出されている場合には、ステップＳ１１０に進み、検出されていない場合には、ステップＳ１１７に進む。
Proceeding to step S109 following step S108, the
ステップＳ１０９に続くステップＳ１１７では、操作権管理部１３１が、所定時間が経過したか否かを判断する。所定時間が経過している場合には、ステップＳ１１８に進む。所定時間が経過していない場合には、ステップＳ１０９に戻って処理を繰り返す。なお、所定時間は、例えば、マウスカーソルが表示されてから２０秒経過した時でもよい。これにより、所定時間の間に、操作権者がマウス操作を行わなかった場合に、操作権を解除することができる。
In step S117 following step S109, the operation
ステップＳ１０９に続くステップＳ１１０では、形状検出部１２１が、所定形状２を検出したか否かを判断する。所定形状２を検出している場合には、ステップＳ１１８に進み、所定形状２を検出していない場合には、ステップＳ１１１に進む。
In step S110 following step S109, the
ステップＳ１１０又はステップＳ１１７に続くステップＳ１１８では、操作権管理部１３１が、操作権者の操作権を解除する。これにより、操作権を有するものがいない状態になる。ステップＳ１１８の後、ステップＳ１０３に戻って処理を繰り返す。
In step S118 following step S110 or step S117, the operation
一方、ステップＳ１１０に続くステップＳ１１１では、操作権者の手や指の動き又は形状に応じた、画像表示装置の画面の操作を行う。画面の操作は、例えば、画面のスクロール、カーソル移動、クリック、又は、ダブルクリックである。 On the other hand, in step S111 following step S110, the screen of the image display device is operated in accordance with the movement or shape of the hand or finger of the operator. The screen operation is, for example, screen scrolling, cursor movement, click, or double click.
ステップＳ１１１に続いてステップＳ１１２に進み、位置検出部１２３が、操作権者の位置が移動しているか否かを判断する。位置を移動している場合には、ステップＳ１１３に進み、位置を移動していない場合には、ステップＳ１０６に戻って処理を繰り返す。
Proceeding to step S112 following step S111, the
ステップＳ１１２に続くステップＳ１１３では、位置検出部１２３が、操作権者の位置を検出する。ステップＳ１１３に続いてステップＳ１１４に進み、位置検出部１２３が、操作権者が、操作位置を検出する範囲の外に出たか否かを判断する。外に出ている場合には、ステップＳ１０３に進み、外に出ていない場合には、ステップＳ１０６に戻って処理を繰り返す。
In step S113 following step S112, the
図６は、本実施形態に係る情報処理方法の、図５とは異なる例を示すフロー図である。図６の処理は、情報処理装置１００により実行される。図６では、情報処理装置１００と被制御装置が一体となったテレビに対する操作が行われる。被制御装置は、テレビ画面、すなわち、画像表示装置である。図６では、操作者等の動作に基づいて、操作権の設定、操作権の解除、及び、被制御装置の制御等が実行される。
FIG. 6 is a flowchart showing an example of the information processing method according to this embodiment, which is different from FIG. The process of FIG. 6 is executed by the
なお、図６の処理では、テレビ電源のＯＮとは、テレビチューナーや画像表示装置の電源をＯＮすることを指す。これらの電源のＯＮは、操作者の手の形状を検出することにより行われる。 In the processing of FIG. 6, turning on the TV power refers to turning on the power of the TV tuner and the image display device. These power supplies are turned on by detecting the shape of the operator's hand.
図６のステップＳ２０１では、位置検出部１２３が、画像表示装置の前にいる人の位置を検出する。ステップＳ２０１の処理に続いて、記憶部８００から、所定形状１及び２の画像又は動画の情報が読み込まれる。さらに、テレビ電源をＯＮする際、テレビ電源をＯＦＦする際、及び、チャンネル切替を行う際、のそれぞれの操作に対応する、手又は指等の動作の画像又は動画の情報が読み込まれる。
In step S201 in FIG. 6, the
ステップＳ２０１に続いてステップＳ２０２に進み、形状検出部１２１が、画像表示装置の前にいる人の動作を検出する。ステップＳ２０２に続いてステップＳ２０３に進み、形状検出部１２１が、ステップＳ２０２で検出された動作が、所定形状１か否かを判断する。所定形状１の場合には、ステップＳ２０４に進み、所定形状１ではない場合には、ステップＳ２０３の処理を繰り返す。
Progressing to step S202 following step S201, the
ステップＳ２０３に続くステップＳ２０４では、操作権管理部１３１が、画像表示装置の前にいる人に、操作権を付与する。ステップＳ２０４に続いてステップＳ２０５に進み、視点方向検出部１２２が、操作権者の視点方向を検出する。ステップＳ２０５に続いてステップＳ２０６に進み、視点方向検出部１２２が、ステップＳ２０５で検出された視点方向が、所定の範囲か否かを判断する。視点方向が所定の範囲、すなわち画面方向を向いている場合には、ステップＳ２０７に進み、画面方向を向いていない場合には、ステップＳ２１６に進む。
In step S204 following step S203, the operation
ステップＳ２０６に続くステップＳ２１６では、形状検出部１２１が、操作権者ではない者から所定形状１を検出したか否かを判断する。他の人から所定形状１が検出された場合には、ステップＳ２１７に進み、検出されない場合には、ステップＳ２０６に戻って処理を繰り返す。
In step S216 following step S206, the
ステップＳ２０６に続くステップＳ２０７では、形状検出部１２１が、操作権者の手又は指等の動き等を検出したか否かを判断する。検出された場合には、ステップＳ２０８に進み、検出されない場合には、ステップＳ２１８に進む。
In step S207 subsequent to step S206, the
ステップＳ２０７に続くステップＳ２１８では、過去に所定形状を検出された時から、所定時間が経過したか否かの判断がなされる。所定時間が経過している場合には、ステップＳ２１９に進み、所定時間が経過していない場合には、ステップＳ２０７に戻って処理を繰り返す。なお、所定時間は、過去に所定形状が検出された時からの経過時間の他に、過去に操作権者が設定された時からの経過時間でもよい。 In step S218 following step S207, it is determined whether or not a predetermined time has elapsed since the predetermined shape was detected in the past. If the predetermined time has elapsed, the process proceeds to step S219. If the predetermined time has not elapsed, the process returns to step S207 to repeat the process. Note that the predetermined time may be an elapsed time from the time when the right of operation is set in the past, in addition to the elapsed time from when the predetermined shape was detected in the past.
ステップＳ２０７に続くステップＳ２０８では、形状検出部１２１が、ステップＳ２０７で検出された形状が所定形状２か否かを判断する。所定形状２の場合は、ステップＳ２１９に進み、所定形状２ではない場合には、ステップＳ２０９に進む。
In step S208 following step S207, the
ステップＳ２０８又はステップＳ２１８に続くステップＳ２１９では、操作権管理部１３１が、操作権者から操作権を解除する。これにより、誰も操作権を有しない状態となる。ステップＳ２１９の処理の後、ステップＳ２０３に戻って処理を繰り返す。
In step S219 following step S208 or step S218, the operation
ステップＳ２０８に続くステップＳ２０９では、形状検出部１２１が検出した形状が、テレビ電源のＯＮに対応するものか否かの判断がなされる。テレビ電源をＯＮする動作の場合にはステップＳ２１０に進み、そうではない場合には、ステップＳ２２０に進む。
In step S209 following step S208, it is determined whether or not the shape detected by the
ステップＳ２０９に続くステップＳ２２０では、操作権管理部１３１が、所定時間が経過したか否かを判断する。所定時間が経過している場合には、処理を終了する。これにより、テレビ電源がＯＦＦの場合には、制御のための操作を行わないようにすることができる。所定時間が経過していない場合には、ステップＳ２０９に戻って処理を繰り返す。なお、所定時間は、例えば、マウスカーソルが表示されてから２０秒経過した時でもよい。これにより、所定時間の間に、操作権者がマウス操作を行わなかった場合に、操作権を解除することができる。
In step S220 following step S209, the operation
ステップＳ２０９に続くステップＳ２１０では、テレビ電源をＯＮし、画像表示装置の表示画面に、指示の入力を促すＧＵＩを表示する。ステップＳ２１０に続いてステップＳ２１１に進み、形状検出部１２１が検出した、操作権者の手又は指等の動き、形等に対応した制御を行う。より詳細には、制御要求生成部１３３が、テレビ電源のＯＮ又はＯＦＦ、チャンネル切替操作等の制御要求を生成し、画像表示装置に対して出力する。
In step S210 following step S209, the television power is turned on, and a GUI for prompting input of instructions is displayed on the display screen of the image display device. Proceeding to step S211 following step S210, the control corresponding to the movement, shape, etc. of the hand or finger of the operation right person detected by the
ステップＳ２１１に続いてステップＳ２１２に進み、形状検出部１２１が検出した形状が、テレビ電源のＯＦＦに対応するものか否かの判断がなされる。テレビ電源をＯＦＦする動作の場合には処理を終了し、そうではない場合には、ステップＳ２１３に進む。
Progressing to step S212 following step S211, it is determined whether or not the shape detected by the
ステップＳ２１３に続いてステップＳ２１４に進み、位置検出部１２３が、操作権者が場所を移動したか否かを判断する。場所を移動した場合には、ステップＳ２１４に進み、移動していない場合には、ステップＳ２０５に戻って処理を繰り返す。
Proceeding to step S214 following step S213, the
ステップＳ２１３に続くステップＳ２１４では、位置検出部１２３が、権利権者の位置を検出する。ステップＳ２１４に続いてステップＳ２１５に進み、位置検出部１２３が、ステップＳ２１４で検出された操作権者の位置が、操作位置を検出する範囲の外か否かを判断する。範囲の外の場合には、ステップＳ２０３に戻って処理を繰り返す。一方、範囲の外ではない場合には、ステップＳ２０５に戻って処理を繰り返す。
In step S214 following step S213, the
図７は、本実施形態に係る情報処理装置が接続された情報処理システムの例を示す図である。図７では、制御部１０に、画像表示部６０及び撮像部３０が取り付けられ、さらに、記憶部８０が接続されている。
FIG. 7 is a diagram illustrating an example of an information processing system to which an information processing apparatus according to the present embodiment is connected. In FIG. 7, an
制御部１０は、操作者の操作意志を、視点方向により判断する。さらに、操作権者の決定、及び、操作権の解除を行う。画像表示部６０は、画像情報を表示する他に、画像表示部６０の制御に用いられるＧＵＩを表示する。ＧＵＩを表示は、マウスカーソル等を含む。
The
撮像部３０は、操作者等の映像を撮像する。撮像された映像により、操作者の位置、操作者の手等の形状、及び、操作権者の視点方向等が検出される。
The
記憶部８０は、所定形状等の情報を記録する他に、例えば、映像の録画装置の機能を有しても良い。記憶部８０が録画装置の機能を有する場合には、画像表示部６０は、さらに、記憶部８０を制御するためのＧＵＩを表示する。
In addition to recording information such as a predetermined shape, the
図８は、画像表示部６０に付随するスピーカーの音量制御の例を示す図である。図８では、ＧＵＩａ１は、音量を示すＧＵＩである。操作権者の手等の形状を検出することにより、音量を制御する制御要求が生成される。音量が増加した場合には、ＧＵＩａ２の表示となり、音量が減少した場合には、ＧＵＩａ３の表示となる。
FIG. 8 is a diagram illustrating an example of speaker volume control associated with the
図８の構成により、音声出力装置及び音声の制御を行うことができる。これにより、テレビやＰＣ等で音声情報を含むコンテンツを閲覧する際に、画面に触れることなく、かつ、コントローラー等を用いることなく、音量又は音質等を制御することができる。 With the configuration of FIG. 8, the audio output device and the audio can be controlled. Thus, when browsing content including audio information on a television or PC, the volume or sound quality can be controlled without touching the screen and without using a controller or the like.
なお、音量を増加させる手の形状は、例えば、掌を上に向け、上下に手を移動させる動きであり、音量を減少させる手の形状は、例えば、掌を下に向け、上下に手を移動させる動きである。 The shape of the hand that increases the volume is, for example, a movement that moves the hand up and down with the palm up. The shape of the hand that decreases the volume is, for example, the hand up and down with the palm facing down. It is a movement to move.
図９は、複数の情報処理装置が、ネットワーク等を介して接続される情報処理システムの例を示す図である。図９では、地点Ａに設けられた制御部１０に対し、画像表示装置ｂないしｅがネットワークを介して接続されている。画像表示装置ｂないしｅは、それぞれ、地点ＢないしＥに設けられている。
FIG. 9 is a diagram illustrating an example of an information processing system in which a plurality of information processing apparatuses are connected via a network or the like. In FIG. 9, image display devices b to e are connected to the
図９では、各地点の画像表示装置に設けられている撮像部３０ｂないし３０ｅが、それぞれの地点にいる操作者の映像を取得し、地点Ａに送信する。例えば、地点Ｂの操作者の映像が撮像部３０ｂにより撮像され、形状検出等が行われることにより、地点Ｂの操作者が地点Ａの制御部１０の操作権を取得して、表示される画像等を制御することができる。
In FIG. 9, the
なお、撮像部３０ｂないし３０ｅにより撮像された映像を、各地点に設けられる図示しない制御部が処理することにより、操作者の位置検出、手等の形状検出、及び、操作権者の視点方向検出を行い、それらの情報を地点Ａに送信する構成でもよい。
It should be noted that the video imaged by the
なお、図９において図示されていないが、地点毎に、制御部１０ｂないし１０ｅ及び記憶部８０ｂないし８０ｅが設けられてもよい。これにより、各地点において、操作者の動作及び視点方向等を検出し、地点毎の画像表示装置又は、地点Ａの画像表示装置を制御することができる。 Although not shown in FIG. 9, the control units 10b to 10e and the storage units 80b to 80e may be provided for each point. Thereby, an operator's operation | movement, a viewpoint direction, etc. can be detected in each point, and the image display apparatus for every point or the image display apparatus of the point A can be controlled.
図９の構成により、遠隔地間における会議において、画面情報を共有することができ、さらに、会議に参加している操作者が、共有された画面を操作し、又は、カーソル等を利用して画面の特定の場所を示すことが可能となる。これにより、遠隔地間における会議の円滑な進行が可能となる。 With the configuration of FIG. 9, screen information can be shared in a conference between remote locations, and an operator participating in the conference operates the shared screen or uses a cursor or the like. It is possible to indicate a specific place on the screen. Thereby, smooth progress of the conference between remote locations is possible.
図９の構成では、地点間の接続は、光ファイバーや電線等による有線の電子伝達手段、又は、無線ＬＡＮ等のケーブルを用いない無線の電子伝達手段でよい。これらの電子伝達手段は、デジタル情報を送受信できればよい。なお、光ファイバーは、高速に情報を送信することができる。また、無線ＬＡＮも高速化されており、図９の構成を実現するのに好適である。 In the configuration of FIG. 9, the connection between points may be a wired electronic transmission means such as an optical fiber or an electric wire, or a wireless electronic transmission means that does not use a cable such as a wireless LAN. These electron transmission means only need to be able to transmit and receive digital information. The optical fiber can transmit information at high speed. Further, the wireless LAN is also increased in speed, which is suitable for realizing the configuration of FIG.
（コンピュータ等による実現）
なお、本発明の実施の形態に係る情報処理装置は、例えばパーソナルコンピュータ（ＰＣ）等で実現されてもよい。また、本発明の実施形態に係る情報処理方法は、例えば、ＣＰＵがＲＯＭやハードディスク装置等に記憶されたプログラムに従い、ＲＡＭ等のメインメモリをワークエリアとして使用し、実行される。
(Realization by computer etc.)
Note that the information processing apparatus according to the embodiment of the present invention may be realized by, for example, a personal computer (PC). The information processing method according to the embodiment of the present invention is executed by using, for example, a main memory such as a RAM as a work area according to a program stored in a ROM, a hard disk device, or the like by the CPU.
以上、発明を実施するための最良の形態について説明を行ったが、本発明は、この最良の形態で述べた実施の形態に限定されるものではない。本発明の主旨をそこなわない範囲で変更することが可能である。 Although the best mode for carrying out the invention has been described above, the present invention is not limited to the embodiment described in the best mode. Modifications can be made without departing from the spirit of the present invention.
以上のように、本発明にかかる情報処理装置は、家庭用テレビ、及び、プレゼンテーション、ミーティング、リモートミーティング等において情報を共有化する表示装置等の画面操作に適している。 As described above, the information processing apparatus according to the present invention is suitable for screen operations of a home television and a display device that shares information in presentations, meetings, remote meetings, and the like.
１０、１０ｂ、１０ｃ、１０ｄ、１０ｅ 制御部
２１ 形状検出部
２２ 視点方向検出部
３０、３０ｂ、３０ｃ、３０ｄ、３０ｅ 撮像部
６０ 画像表示部
６１ａ、６２ａ ディスプレイ
６１ｂ、６２ｂ スピーカー
６１ｃ、６２ｃ レコーダー
８０ 記憶部
９０ インタフェース
９１ 表示制御部
９２ 音量制御部
９３ 情報記録装置制御部
１００ 情報処理装置
１２０ 検出部
１２１ 形状検出部
１２２ 視点方向検出部
１２３ 位置検出部
１３０ 制御部
１３１ 操作権管理部
１３３ 制御要求生成部
１３５ 通信部
２００ 情報処理装置
３００ 撮像装置
８００ 記憶部
10, 10b, 10c, 10d,
Claims (8)
前記形状検出手段によって検出された前記操作者の手の形状が第１の所定形状の場合に被制御装置を操作する権利である操作権を当該操作者に付与する操作権管理手段と、
前記操作権が付与された操作者の視点方向を検出する視点方向検出手段と、
前記視点方向検出手段によって検出される前記操作者の視点方向が所定の範囲の場合に、前記操作権管理手段によって前記操作権が付与された操作者の手の形状に対応する前記被制御装置の制御を実行する制御手段と、
を有することを特徴とする情報処理装置。 A shape detection means for detecting the shape of the operator's hand;
An operation right management means for granting the operator an operation right that is a right to operate the controlled device when the shape of the hand of the operator detected by the shape detection means is a first predetermined shape;
Viewpoint direction detecting means for detecting the viewpoint direction of the operator who is given the operation right;
When the viewpoint direction of the operator detected by the viewpoint direction detection unit is within a predetermined range, the control device corresponding to the shape of the operator's hand to which the operation right is given by the operation right management unit. Control means for performing control;
An information processing apparatus comprising:
前記画像表示装置に表示する該画像表示装置の操作画面を生成する画面生成手段をさらに有することを特徴とする請求項１記載の情報処理装置。 The controlled device is an image display device,
The information processing apparatus according to claim 1, further comprising a screen generation unit configured to generate an operation screen of the image display device to be displayed on the image display device.
前記第１の情報処理装置は、
操作者の手の形状を検出する形状検出手段と、
前記形状検出手段によって検出された前記操作者の手の形状が第１の所定形状の場合に、被制御装置を操作する権利である操作権を当該操作者に付与する操作権者管理手段と、
前記操作権が付与された操作者の視点方向を検出する視点方向検出手段と、
前記手の形状の情報、及び、前記視点方向の情報を前記第２の情報処理装置に対して送信する第１の通信手段と、
を有し、
前記第２の情報処理装置は、
前記手の形状の情報、及び、前記視点方向の情報を前記第１の情報処理装置から受信する第２の通信手段と、
前記視点方向検出手段によって検出される前記操作者の視点方向が所定の範囲の場合に、前記操作権管理手段によって前記操作権が付与された操作者の手の形状に対応する前記被制御装置の制御要求を生成する制御手段と、
を有することを特徴とする情報処理システム。 An information processing system in which a first information processing device and a second information processing device are connected,
The first information processing apparatus includes:
A shape detection means for detecting the shape of the operator's hand;
When the shape of the operator's hand detected by the shape detection means is the first predetermined shape, the operation right person management means for giving the right to operate the controlled device to the operator,
Viewpoint direction detecting means for detecting the viewpoint direction of the operator who is given the operation right;
First communication means for transmitting information on the shape of the hand and information on the viewpoint direction to the second information processing apparatus;
Have
The second information processing apparatus
Second communication means for receiving information on the shape of the hand and information on the viewpoint direction from the first information processing apparatus;
When the viewpoint direction of the operator detected by the viewpoint direction detection unit is within a predetermined range, the control device corresponding to the shape of the operator's hand to which the operation right is given by the operation right management unit. Control means for generating a control request;
An information processing system comprising:
前記形状検出ステップにおいて検出された前記操作者の手の形状が第１の所定形状の場合に、被制御装置を操作する権利である操作権を当該操作者に付与する操作権者設定ステップと、
前記操作権が付与された操作者の視点方向を検出する視点方向検出ステップと、
前記視点方向検出ステップにおいて検出される前記操作者の視点方向が所定の範囲の場合に、前記操作権管理ステップにおいて前記操作権が付与された操作者の手の形状に対応する前記被制御装置の制御要求を生成する制御ステップと、
を有することを特徴とする情報処理方法。 A shape detection step for detecting the shape of the operator's hand;
When the shape of the operator's hand detected in the shape detection step is a first predetermined shape, an operation authority setting step for giving the operator an operation authority that is the right to operate the controlled device;
A viewpoint direction detecting step of detecting a viewpoint direction of the operator to whom the operation right is given;
When the viewpoint direction of the operator detected in the viewpoint direction detection step is within a predetermined range, the control device corresponding to the shape of the operator's hand to which the operation right is granted in the operation right management step. A control step for generating a control request;
An information processing method characterized by comprising:
前記第１の情報処理装置が、操作者の手の形状を検出する形状検出ステップと、
前記第１の情報処理装置が、前記形状検出ステップにおいて検出された前記操作者の手の形状が第１の所定形状の場合に、被制御装置を操作する権利である操作権を当該操作者に付与する操作権者管理ステップと、
前記第１の情報処理装置が、前記操作権が付与された操作者の視点方向を検出する視点方向検出ステップと、
前記第１の情報処理装置が、前記手の形状の情報、及び、前記視点方向の情報を前記第２の情報処理装置に対して送信する第１の通信ステップと、
前記第２の情報処理装置が、前記手の形状の情報、及び、前記視点方向の情報を前記第１の情報処理装置から受信する第２の通信ステップと、
前記第２の情報処理装置が、前記視点方向検出ステップにおいて検出される前記操作者の視点方向が所定の範囲の場合に、前記操作権管理ステップにおいて前記操作権が付与された操作者の手の形状に対応する前記被制御装置の制御要求を生成する制御ステップと、
を有することを特徴とする情報処理方法。 An information processing method in an information processing system in which a first information processing apparatus and a second information processing apparatus are connected,
A shape detecting step in which the first information processing apparatus detects a shape of an operator's hand;
When the shape of the operator's hand detected in the shape detection step is the first predetermined shape, the first information processing device gives the operator the right to operate the controlled device. Operation right person management step to be granted,
A viewpoint direction detecting step in which the first information processing apparatus detects a viewpoint direction of the operator to whom the operation right is given;
A first communication step in which the first information processing apparatus transmits information on the shape of the hand and information on the viewpoint direction to the second information processing apparatus;
A second communication step in which the second information processing apparatus receives information on the shape of the hand and information on the viewpoint direction from the first information processing apparatus;
When the second information processing apparatus detects that the operator's viewpoint direction detected in the viewpoint direction detection step is within a predetermined range, the operator's hand to which the operation right is granted in the operation right management step A control step for generating a control request for the controlled device corresponding to a shape;
An information processing method characterized by comprising:
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2009126759A JP2010277176A (en) | 2009-05-26 | 2009-05-26 | Apparatus, system, and method for processing information |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2009126759A JP2010277176A (en) | 2009-05-26 | 2009-05-26 | Apparatus, system, and method for processing information |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JP2010277176A true JP2010277176A (en) | 2010-12-09 |
Family
ID=43424112
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2009126759A Pending JP2010277176A (en) | 2009-05-26 | 2009-05-26 | Apparatus, system, and method for processing information |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP2010277176A (en) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US9195312B2 (en) | 2012-06-08 | 2015-11-24 | Ricoh Company, Limited | Information processing apparatus, conference system, and information processing method |
| WO2016132480A1 (en) * | 2015-02-18 | 2016-08-25 | 日立マクセル株式会社 | Video display device and video display method |
| JP2018041164A (en) * | 2016-09-05 | 2018-03-15 | 東芝テック株式会社 | Operation input device and program |
-
2009
- 2009-05-26 JP JP2009126759A patent/JP2010277176A/en active Pending
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US9195312B2 (en) | 2012-06-08 | 2015-11-24 | Ricoh Company, Limited | Information processing apparatus, conference system, and information processing method |
| WO2016132480A1 (en) * | 2015-02-18 | 2016-08-25 | 日立マクセル株式会社 | Video display device and video display method |
| JP2018041164A (en) * | 2016-09-05 | 2018-03-15 | 東芝テック株式会社 | Operation input device and program |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11029770B2 (en) | Image display apparatus and method, image display system, and program | |
| US20200226501A1 (en) | Device, method, and graphical user interface for meeting space management and interaction | |
| KR101541561B1 (en) | User interface device, user interface method, and recording medium | |
| US8982066B2 (en) | Automatic ending of interactive whiteboard sessions | |
| JP6094550B2 (en) | Information processing apparatus and program | |
| KR101885295B1 (en) | Electronic device and method for controlling thereof | |
| US20150035746A1 (en) | User Interface Device | |
| JP6803581B2 (en) | Display control device, display control method, and display control system | |
| CN104065883B (en) | Image pickup method and device | |
| US10754446B2 (en) | Information processing apparatus and information processing method | |
| JP2016085748A (en) | Automatic operation execution at the time of log-in | |
| JP2008118301A (en) | Electronic blackboard system | |
| CN106293563B (en) | Control method and electronic equipment | |
| JP7298302B2 (en) | Information processing device, information processing system, information processing method and program | |
| JP2015060592A (en) | Image processing system, and information processor | |
| JP2009251896A (en) | Information processor and information processing method | |
| JP2010277176A (en) | Apparatus, system, and method for processing information | |
| JP2019117483A (en) | Information processing device, control method, and program | |
| JP7398945B2 (en) | Augmented reality document editing method, program and system | |
| JP7279425B2 (en) | DISPLAY DEVICE, DISPLAY SYSTEM, OPERATING MODE CONTROL METHOD, AND PROGRAM | |
| JP2020197865A (en) | Information processing apparatus, information processing method, information processing system, and program | |
| JP7459629B2 (en) | Display device, display method, and program | |
| US20180077218A1 (en) | Remote operation method and remote operation device | |
| TWI598807B (en) | Controlling method for remote device and remote controlling system | |
| TWI523486B (en) | Method for enlarging display picture |