JP2006252037A - Specifying operation detector, program, specifying operation detecting method, and operation detecting system - Google Patents
Specifying operation detector, program, specifying operation detecting method, and operation detecting system Download PDFInfo
- Publication number
- JP2006252037A JP2006252037A JP2005065845A JP2005065845A JP2006252037A JP 2006252037 A JP2006252037 A JP 2006252037A JP 2005065845 A JP2005065845 A JP 2005065845A JP 2005065845 A JP2005065845 A JP 2005065845A JP 2006252037 A JP2006252037 A JP 2006252037A
- Authority
- JP
- Japan
- Prior art keywords
- data
- sound
- image
- designated
- user
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- Position Input By Displaying (AREA)
Abstract
Description
本発明は、ユーザによる指定操作の有無を検出する指定操作検出装置、プログラム、指定操作検出方法及び操作検出システムに関する。 The present invention relates to a designated operation detection device, a program, a designated operation detection method, and an operation detection system that detect the presence or absence of a designated operation by a user.
非特許文献1(Hiroshi Ishii, Craiq Wisneski, Julian Orbanes, Ben Chun, Joe Paradiso, “PingPongPlus: design of an athletic-tangible interface for computer-supported cooperative play”, Proceedings of the SIGCHI conference on Human factors in computing systems, 1999年5月, pp.394-401)には、音を測定し、その音の発生源の位置を検出する技術が開示されている。この非特許文献1では、ピンポン球が落下した位置を検出するために、4つのマイクが設置される。
Non-Patent Document 1 (Hiroshi Ishii, Craiq Wisneski, Julian Orbanes, Ben Chun, Joe Paradiso, “PingPongPlus: design of an athletic-tangible interface for computer-supported cooperative play”, Proceedings of the SIGCHI conference on Human factors in computing systems, (May 1999, pp.394-401) discloses a technique for measuring sound and detecting the position of the sound source. In
非特許文献2(綾塚祐二,暦本純一,“簡易なノック位置検出装置を用いた実世界アプリケーション”in WISS2001,Dec.2001,インタラクティブシステムとソフトウェアIX,近代科学社pp.191-196)には、振動センサを用いて壁や机などに対するノック位置を検出する手法が提案されている。 Non-Patent Document 2 (Yuji Ayatsuka, Junichi Kyokumoto, “Real-world application using a simple knock position detection device” in WISS2001, Dec.2001, Interactive System and Software IX, Modern Science pp.191-196) Has proposed a method of detecting a knock position with respect to a wall or a desk using a vibration sensor.
上記非特許文献1は、ピンポン球の落下位置を検出するものであり、ボタン操作の有無までは検出されない。また、この非特許文献1では、4箇所にマイクを設置する必要があり、機器の調整、キャリブレーションの必要があるため、導入時に労力がかかる。
The
上記非特許文献2は、ノックではない要因による振動、反射音などによる誤動作を防止するために、3回のノックを検出することとしている。したがって、この非特許文献2の技術を、例えば表示されたボタン画像に対するユーザの1回の押下操作の検出に用いることは困難である。
In
本発明は、以上のような実情に鑑みてなされたもので、表示された画像に対するユーザの指定操作の有無とこの指定操作のなされた位置とを、容易かつ精度よく検出する指定操作検出装置、プログラム、指定操作検出方法及び操作検出システムを提供することを目的とする。 The present invention has been made in view of the above circumstances, and a designated operation detection device that easily and accurately detects the presence / absence of a user's designated operation on a displayed image and the position where the designated operation has been performed, It is an object to provide a program, a designated operation detection method, and an operation detection system.
本発明の態様において、画像出力装置と画像入力装置と音入力装置とに接続される指定操作検出装置は、画像出力装置の表示領域内においてユーザから指定操作を受け付ける位置を表す操作受付位置データを記憶する操作記憶手段と、ユーザに指定操作を促す画像出力データを作成し、画像出力データを画像出力装置に提供する画像作成手段と、画像入力装置によって入力された表示領域の画像入力データに基づいて、ユーザの指定位置を示す指定位置データを作成する指定位置検出手段と、音入力装置によって測定された音入力データに基づいて、ユーザによって発生された指定操作音を検出する操作音検出手段と、指定操作音が検出されるとともに、操作受付位置データと指定位置データとが整合する場合に、ユーザによって操作受付位置データの示す位置に応じた指定操作が実行されたと判断する操作判断手段とを具備する。 In the aspect of the present invention, the designation operation detection device connected to the image output device, the image input device, and the sound input device has operation reception position data representing a position where the designation operation is received from the user in the display area of the image output device. Based on operation storing means for storing, image output data for prompting a user to perform a designation operation, image creating means for providing the image output data to the image output apparatus, and image input data of the display area input by the image input apparatus A designated position detecting means for creating designated position data indicating a designated position of the user, and an operation sound detecting means for detecting a designated operation sound generated by the user based on the sound input data measured by the sound input device; When the specified operation sound is detected and the operation reception position data matches the specified position data, the operation reception position is determined by the user. Comprising an operation determining means for determining a designated operation corresponding to the position indicated by the data has been executed.
これにより、ユーザの指定操作の有無が指定操作音から検出され、ユーザによって指定操作のなされた位置が撮影された画像から検出される。
この結果、ユーザによる少なくとも一回の指定操作で、指定操作の有無とその指定操作のなされた位置とを容易かつ精度よく検出することができる。
Thereby, the presence / absence of the user's designation operation is detected from the designation operation sound, and the position where the designation operation is performed by the user is detected from the photographed image.
As a result, it is possible to easily and accurately detect the presence / absence of the designation operation and the position where the designation operation is performed by at least one designation operation by the user.
上記指定操作検出装置において、画像出力装置は、プロジェクタであるとしてもよい。
上記指定操作検出装置において、画像出力データは、操作ボタンを表示するデータであり、操作受付位置データは、操作ボタンの表示位置を示すデータであり、画像入力データは、画像入力装置によって撮影された操作ボタンの表示位置周辺の画像を示すデータであり、指定位置データは、ユーザの手領域の位置を検出した結果を示すデータであり、指定操作音は、画像出力装置によって表示された操作ボタンの表示面とユーザの手との接触音であり、操作判断手段は、操作ボタンの表示面とユーザの手との接触音を検出するとともに、ユーザの手領域の位置と操作ボタンの表示位置とが重なっている場合に、操作ボタンに対する指定操作が実行されたと判断するとしてもよい。
In the specified operation detection device, the image output device may be a projector.
In the specified operation detection device, the image output data is data indicating an operation button, the operation reception position data is data indicating a display position of the operation button, and the image input data is captured by the image input device. This is data indicating an image around the display position of the operation button, the specified position data is data indicating the result of detecting the position of the user's hand region, and the specified operation sound is the data of the operation button displayed by the image output device. The contact sound between the display surface and the user's hand, and the operation determining means detects the contact sound between the display surface of the operation button and the user's hand, and the position of the user's hand region and the display position of the operation button are If they overlap, it may be determined that the designation operation for the operation button has been executed.
上記指定操作検出装置において、操作記憶手段は、操作受付位置データと出力データとを関連付けた状態で記憶しており、画像作成手段は、操作判断手段によって操作受付位置データの示す位置に応じた指定操作が実行されたと判断された場合に、出力データの出力を実行するとしてもよい。また、この場合の指定操作検出装置において、画像作成手段は、出力データのデータ種別を判断し、出力データが画像データの場合に、出力データを含む画像出力データを作成し、出力データを含む画像出力データを画像出力装置に提供し、出力データが音データの場合に、出力データを音出力装置に提供する音提供手段をさらに具備するとしてもよい。 In the above-described designation operation detection device, the operation storage means stores the operation reception position data and the output data in association with each other, and the image creation means designates according to the position indicated by the operation reception position data by the operation determination means. When it is determined that the operation has been executed, output of the output data may be executed. Further, in the designation operation detecting device in this case, the image creating means determines the data type of the output data, and when the output data is image data, creates image output data including the output data, and includes an image including the output data. Sound output means may be further provided for providing the output data to the image output device and providing the output data to the sound output device when the output data is sound data.
上記指定操作検出装置において、操作音検出手段は、所定周期ごとに音入力データの平均値を算出し、平均値が操作音検出用しきい値より大きい場合に、ユーザによって指定操作音が発生された旨を検出するとしてもよい。
なお、上記の態様は装置として表現されている。しかしながら、これに限らず、上記の態様は、方法、プログラム、コンピュータ読み取り可能な記憶媒体、画像出力装置と画像入力装置と音入力装置と上記態様の装置とを具備するシステムなどで表現されるとしてもよい。
In the specified operation detecting device, the operation sound detecting means calculates an average value of the sound input data every predetermined period, and when the average value is larger than the operation sound detection threshold, the specified operation sound is generated by the user. It may be detected.
In addition, said aspect is expressed as an apparatus. However, the present invention is not limited to this, and the above aspect is expressed by a method, a program, a computer-readable storage medium, a system including an image output apparatus, an image input apparatus, a sound input apparatus, and the apparatus of the above aspect. Also good.
本発明により、表示された画像に対するユーザの指定操作の有無とこの指定操作のなされた位置とを、容易かつ精度よく検出すことができる。 According to the present invention, it is possible to easily and accurately detect the presence / absence of a user's designation operation on the displayed image and the position where the designation operation has been performed.
以下、図面を参照しながら本発明の実施の形態について説明する。なお、以下の各図において同一の部分については同一の符号を付して説明を省略する。
図1は、本実施の形態に係る操作検出システムの構成の例を示すブロック図である。
また、図2は、本実施の形態に係る操作検出システムの適用例を示す図である。
Hereinafter, embodiments of the present invention will be described with reference to the drawings. In addition, the same code | symbol is attached | subjected about the same part in each following figure, and description is abbreviate | omitted.
FIG. 1 is a block diagram showing an example of the configuration of the operation detection system according to the present embodiment.
FIG. 2 is a diagram illustrating an application example of the operation detection system according to the present embodiment.
本実施の形態では、画像出力装置をプロジェクタ、画像入力装置をカメラ、音入力装置をマイク、音出力装置をスピーカとして説明を行う。なお、画像出力装置は、CRT、液晶ディスプレイなど、他の表示装置であってもよい。本実施の形態において、画像出力装置による表示範囲と画像入力装置による撮影範囲とは整合させる。 In this embodiment, the image output device is described as a projector, the image input device as a camera, the sound input device as a microphone, and the sound output device as a speaker. Note that the image output device may be another display device such as a CRT or a liquid crystal display. In the present embodiment, the display range by the image output device and the shooting range by the image input device are matched.
本実施の形態に係る操作検出システム1は、まず、プロジェクタ2を用いて実空間上に操作ボタン3を投影し、また、この操作ボタン3の投影領域をカメラ4で撮影し、投影された操作ボタン3をたたいた時の音の認識結果と、操作ボタン領域に手5が重なっているか否かを判断する画像認識結果との組み合わせに基づいて、操作ボタン3に対する押下操作がなされたことを検出し、この操作ボタン3の押下に応じた機器操作、処理を行う。
The
操作検出システム1は、プロジェクタ2、カメラ4、マイク6、スピーカ7、指定操作検出装置8を具備する。
プロジェクタ2は、指定操作検出装置8によって作成された画像出力データ9を受け付け、この画像出力データ9に基づいて実空間に対して画像を投影し、画像表示を行う。
The
The
カメラ4は、実空間において、ユーザの指示状態及び操作状態、プロジェクタ2によって投影された画像の状態など、実空間の状態を撮影し、この実空間の状態を示す画像入力データ10を指定操作検出装置8に渡す。
本実施の形態において、プロジェクタ2の投影位置とカメラ4の撮影位置とは整合させる。
The
In the present embodiment, the projection position of the
マイク6は、ユーザが指定操作を行った際に発する指定操作音を入力し、音入力データ11を指定操作検出装置8に渡す。
スピーカ7は、ユーザの指定操作に応じた音出力データ12を指定操作検出装置8から受け付け、音出力データ12にしたがって音を出力する。
The
The speaker 7 receives
指定操作検出装置8は、画像認識部13、音認識部14、操作データベース15、操作判断部16、画像作成部17、音出力データ記憶部18、音提供部19を具備する。
画像認識部13は、画像取得部20、画像入力データ記憶部21、手領域検出部22、手領域データ記憶部23、重心算出部24、重心データ記憶部25を具備する。このうち、手領域検出部22、手領域データ記憶部23、重心算出部24、重心データ記憶部25により、指定位置検出部26が構成される。
The designated
The
なお、画像認識部13は、手領域の検出のみではなく、例えば指示棒の先端やポインタデバイスの指示位置など、様々なユーザの指示位置を検出するとしてもよい。
画像取得部20は、プロジェクタ2によって投影された操作ボタン3周辺の空間の画像入力データ10をカメラ4から取得し、画像入力データ10を画像入力データ記憶部21に記憶する。
Note that the
The
手領域検出部22は、画像入力データ記憶部21から画像入力データ10を読み出し、この画像入力データ10に対する画像解析により作業者の手5を示す肌色領域を手領域として検出する。そして、手領域検出部22は、手領域検出結果を示す手領域データ27を作成し、手領域データ記憶部23に記憶する。
The hand
なお、指定操作を行うものが手5ではない場合においても、投影された操作ボタン3と接触するものを検出すればよい。作業者が手袋等を装着する場合は、この手袋を検出する。例えば、レーザポインタや指示棒の先端などで操作ボタン3を指定する場合、このレーザポインタの照射位置や指示棒の先端位置を検出する。
Note that even when the specified operation is not performed by the
重心算出部24は、手領域データ記憶部23から手領域データ27を読み出し、この手領域データ27における手領域の重心の位置(座標値)を算出し、重心の位置を示す重心データ28を作成し、重心データ記憶部25に記憶する。そして、重心算出部24は、重心データ28を含む手領域検出イベントEcapを発する。
The center-of-
音認識部14は、音取得部29、音入力データ記憶部30、操作音検出部31を具備する。
音取得部29は、プロジェクタ2によって投影された操作ボタン3周辺の空間についての音入力データ11をマイク6から取得し、音入力データ11を音入力データ記憶部30に記憶する。
The
The
操作音検出部31は、音入力データ記憶部30から音入力データ11を読み出し、この音入力データ11に対する振幅解析などの音解析によりユーザの指定操作音(例えばノック音)を検出する。そして、操作音検出部31は、指定操作音を検出した場合に、操作音検出イベントEmを発する。
The operation
操作データベース15は、操作ボタンごとに、操作ボタンID、ボタン名、形状データ、サイズデータ、操作受付位置に相当する操作ボタンの表示位置データ(X座標値、Y座標値)、属性データを関係付けた操作ボタンデータ32を記憶する。
また、操作データベース15は、操作ボタンに対応する出力データ331〜33Nを記憶する。
The
The
図3は、操作データベース15の記憶内容の例を示す図である。
操作ボタンデータ32では、複数の操作ボタンごとに、操作ボタンID、ボタン名、形状データ、サイズデータ、表示位置データ、属性データがテーブル形式で管理されている。なお、サイズデータは、形状データが円を示す場合は半径、形状データが四角形、三角形を示す場合は外接円の半径で表されるとする。
FIG. 3 is a diagram illustrating an example of the contents stored in the
In the
表示位置データとしては、それぞれの操作ボタンを表示する位置を示すX座標の値、Y座標の値が管理されている。
属性データには、各操作ボタンが押下された際に、出力(例えば画像として表示、音として出力)される出力データ331〜33Nへのパス(画像データへのパス、動画データへのパス、音データへのパス、テキストデータへのパスなど)が記憶されている。なお、属性データとして、例えば操作ボタンに対応する注意事項、特徴、操作方法、次の操作などが記憶されるとしてもよい。また、属性データ自体が出力データ331〜33Nであるとしてもよい。また、属性データは、プログラムやスクリプトへのパスあるいはリンク情報でもよい。
As the display position data, an X-coordinate value and a Y-coordinate value indicating the position where each operation button is displayed are managed.
The attribute data includes a path to
操作判断部16は、操作データベース15から操作ボタン3の操作ボタンID、位置データ、形状データ、サイズデータなどの各種データを読み出す。
また、操作判断部16は、重心データ28を含む手領域検出イベントEcapと操作音検出イベントEmとを受け付けた場合に、重心データ28の示す手領域の重心の位置が操作ボタン3の投影範囲内(表示位置)か判断し、操作ボタン3の投影範囲内に手領域の重心の位置が含まれる場合、操作発生イベントを発生するとともに押下操作の発生した操作ボタン3の操作ボタンIDを画像作成部17に提供する。
The
Further, when the
画像作成部17は、応答データ作成部34、画像出力データ記憶部35、画像提供部36を具備する。
応答データ作成部34は、画像出力データ作成機能34a、データ種別判断機能34b、音出力データ作成機能34cを具備する。
応答データ作成部34の画像出力データ作成機能34aは、操作データベース15をアクセスし、表示位置データの示す位置に操作ボタン3を表示する画像出力データ9を作成し、画像出力データ記憶部35に記憶する。
The
The response
The image output
応答データ作成部34のデータ種別判断部34bは、操作発生イベントが発生し、操作判断部16から押下操作の発生した操作ボタン3の操作ボタンIDを受け付けた場合に、操作データベース15からこの操作ボタンIDに対応する出力データを読み出し、この出力データのデータ種別を判断する。
The data
出力データが画像データ又は動画像データの場合、応答データ作成部34の画像出力データ作成機能34aは、操作ボタン3と出力データである画像データ又は動画像データとを表示するための画像出力データ9を作成し、画像出力データ記憶部35に記憶する。
When the output data is image data or moving image data, the image output
出力データが音データの場合、応答データ作成部34の音出力データ作成機能34cは、出力データである音データを音出力データ12として音出力データ記憶部18に記憶する。
画像提供部36は、画像出力データ記憶部35に記憶されている画像出力データ9をプロジェクタ2に提供する。
When the output data is sound data, the sound output data creation function 34 c of the response
The
音提供部19は、音出力データ記憶部18に記憶されている音出力データ12をスピーカ7に提供する。
上記のような操作検出システム1は、プロジェクタ2によって空間の投影面に投影された操作ボタン3周辺の音をマイク6で入力するとともに、投影面に投影された操作ボタン3周辺の画像をカメラ4で撮影する。
The
The
そして、操作検出システム1は、ユーザの手5が投影面に投影された操作ボタン3に接触した際に発する音を検出するとともに、操作ボタン3の投影位置とユーザの手5とが重なっている状態を検出した場合、この操作ボタン3に対するユーザによる指定操作が行われたものと判断する。
And the
操作ボタン3に対するユーザによる指定操作が行われた場合、操作検出システム1は、指定操作された操作ボタン3に対応する出力データのデータ種別を判断する。
操作検出システム1は、出力データが画像データの場合はその画像データの内容をプロジェクタ2で投影し、音データの場合はその音データの内容をスピーカ7から出力する。
When a designation operation by the user for the
When the output data is image data, the
上述したように、本実施の形態に係る操作検出システム1は、プロジェクタ2、カメラ4、マイク6、スピーカ7、指定操作検出装置8を具備する。指定操作検出装置8は、画像認識及び音声認識等の処理を行う。指定操作検出装置8としてコンピュータを用いてもよい。プロジェクタ2の投影範囲とカメラ4の撮影範囲とは一致させる。投影される操作ボタン3とこの操作ボタン3に関係付けされた各種データ(例えばテキストデータ、音データ、画像データ、処理スクリプトなど)は、指定操作検出装置8によって管理される。プロジェクタ2によって投影面に操作ボタン3が投影される。ユーザによってこの投影された操作ボタン3が押下された場合、操作ボタン3に関連付けされた各種データがユーザに提示される。
As described above, the
図4は、本実施の形態に係る指定操作検出装置8の画像認識部13の処理の例を示すフローチャートである。
ステップS1において、画像取得部20は、画像取得周期Tcapを設定する。
ステップS2において、画像取得部20は、カメラ4から画像入力データ10を取得し、画像入力データ記憶部21に記憶する。
FIG. 4 is a flowchart showing an example of processing of the
In step S1, the
In step S <b> 2, the
ステップS3において、手領域検出部22は、画像入力データ記憶部21の画像入力データ10に対して画像解析を実行し、作業者の手5を示す肌色領域を手領域として検出し、手領域検出結果を示す手領域データ27を手領域データ記憶部23に記憶する。
In step S <b> 3, the hand
ステップS4において、重心算出部24は、手領域データ記憶部23の手領域データ27について、手領域があるか否か判断する。
手領域がない場合、ステップS5において、画像認識部13は、画像取得周期Tcap経過するまで待ち状態となり、その後処理はステップS2に戻る。
In step S <b> 4, the center-of-
If there is no hand area, in step S5, the
一方、手領域がある場合、ステップS6において、重心算出部24は、手領域データ記憶部23の手領域データ27について、手領域の重心の位置を算出し、重心の位置を示す重心データ28を重心データ記憶部25に記憶する。
ステップS7において、重心算出部24は、重心の位置を示す手領域重心の座標値を引数に持つ手領域検出イベントEcapを発生させ、その後処理はステップS5に移る。
On the other hand, when there is a hand area, in step S6, the center-of-
In step S7, the center-of-
図5は、本実施の形態に係る指定操作検出装置8の音認識部14の処理の例を示すフローチャートである。
ステップT1において、操作音検出部31は、操作音検出用しきい値Mtを設定する。
ステップT2において、音取得部29は、平均値算出用周期Tmを設定する。
FIG. 5 is a flowchart showing an example of processing of the
In step T1, the
In step T2, the
なお、ステップT1,T2の実行順序は逆でもよく、並列に実行されるとしてもよい。
ステップT3において、音取得部29は、操作ボタン3周辺の空間について、平均値算出用周期Tm間の音入力データ11をマイク6から取得し、音入力データ11を音入力データ記憶部30に記憶する。
Note that the execution order of steps T1 and T2 may be reversed or may be executed in parallel.
In step T <b> 3, the
ステップT4において、操作音検出部31は、音入力データ記憶部30における平均値算出用周期Tm間の音入力データ11の平均値mを算出する。
ステップT5において、操作音検出部31は、平均値算出用周期Tm間の音入力データ11の平均値mが操作音検出用しきい値Mtより大きいか否か判断する。
In step T4, the operation
In step T5, the operation
平均値mが操作音検出用しきい値Mt以下の場合、処理は、ステップT3に戻る。
平均値mが操作音検出用しきい値Mtより大きい場合、ステップT6において、操作音検出部31は、操作音検出イベントEmを発生させ、その後処理はステップT3に戻る。
If the average value m is less than or equal to the operation sound detection threshold Mt, the process returns to step T3.
When the average value m is larger than the operation sound detection threshold Mt, in step T6, the operation
図6は、本実施の形態に係る指定操作検出装置8の操作判断部16の処理の例を示すフローチャートである。
ステップU1において、操作判断部16は、操作データベース15から操作ボタン3の表示位置データ、形状データ、サイズデータを取得する。
FIG. 6 is a flowchart showing an example of processing of the
In step U <b> 1, the
ステップU2において、操作判断部16は、操作音検出部31において操作音検出イベントEmが発生したか否かを判断する。
操作音検出イベントEmが発生していない場合、処理はステップU2を繰り返し、操作音検出イベントEmの発生待ち状態となる。
In step U <b> 2, the
If the operation sound detection event Em has not occurred, the process repeats step U2 and enters a state of waiting for the operation sound detection event Em to be generated.
操作音検出イベントEmが発生した場合、ステップU3において、操作判断部16は、重心算出部24において手領域検出イベントEcapが発生したか否かを判断する。
手領域検出イベントEcapが発生していない場合、処理はステップU2に戻る。
When the operation sound detection event Em occurs, in step U3, the
If the hand region detection event Ecap has not occurred, the process returns to step U2.
なお、上記ステップU2とステップU3とは、それぞれ逆にしてもよく、並列に実行してもよい。
手領域検出イベントEcapが発生した場合、ステップU4において、操作判断部16は、重心データ28の示す手領域の重心の位置(座標値)が操作ボタン3の投影範囲内か判断する。
The steps U2 and U3 may be reversed or executed in parallel.
When the hand region detection event Ecap occurs, in step U4, the
手領域の重心の位置が操作ボタン3の投影範囲内でない場合、処理はステップU2に戻る。
手領域の重心の位置が操作ボタン3の投影範囲内の場合、ステップU5において、操作判断部16は、操作ボタン3の投影範囲内に手領域の重心の位置が含まれている状態の操作ボタンIDと操作発生イベントとを画像作成部17に発し、その後処理はステップU2に戻る。なお、操作ボタンIDは、操作発生イベントに含まれるとしてもよい。
If the position of the center of gravity of the hand region is not within the projection range of the
If the position of the center of gravity of the hand region is within the projection range of the
図7は、本実施の形態に係る指定操作検出装置8の画像作成部17と音提供部19との処理の例を示すフローチャートである。この図7では、操作ボタンIDがkの操作ボタン3についての処理について説明するが、他の操作ボタンIDの操作ボタンについても同様である。また、この図7では、出力データが出力される場合を例として説明するが、例えば属性データなどが出力される場合においても同様である。
FIG. 7 is a flowchart illustrating an example of processing performed by the
この図7では、投影面に投影された操作ボタン3が押下されるとこの操作ボタン3に対応する出力データが出力され、再度この操作ボタン3が押下されるとこの操作ボタン3に対応する出力データの出力が中止される。
ステップV1において、応答データ作成部34は、操作ボタンIDがkの操作ボタン3について、出力データを提供するか否かを示す出力データ提供フラグFlag(k)に、出力データを提供しない状態を示すFalseを設定する。
In FIG. 7, when the
In step V1, the response
ステップV2において、応答データ作成部34は、操作データベース15から操作ボタン3の表示位置データ、形状データ、サイズデータを取得する。
ステップV3において、応答データ作成部34は、操作データベース15から取得したデータに基づいて、形状データ及びサイズデータに応じた操作ボタン3を、表示位置データに応じた位置に表示するための画像出力データ9を作成し、画像出力データ記憶部35、画像提供部36経由でプロジェクタ2に提供する。これにより、投影面に、操作ボタン3が表示される。
In step V <b> 2, the response
In step V <b> 3, the response
ステップV4において、応答データ作成部34は、操作判断部16から操作発生イベントが発生したか否か判断する。
操作発生イベントが発生していない場合、処理はステップV4を繰り返し、操作発生イベントの発生待ち状態となる。
操作発生イベントが発生した場合、ステップV5において、応答データ作成部34は、操作判断部16から受けた操作ボタンID=kに関連する出力データを操作データベース15から取得する。
In step V <b> 4, the response
If an operation occurrence event has not occurred, the process repeats step V4 and enters an operation occurrence event waiting state.
When an operation occurrence event has occurred, in step V5, the response
ステップV6において、応答データ作成部34は、出力データの種別を判断する。
出力データが画像データ又は動画データの場合、ステップV7において、応答データ作成部34は、出力データ提供フラグFlag(k)に、Falseが設定されているか否か判断する。
In step V6, the response
When the output data is image data or moving image data, in step V7, the response
出力データ提供フラグFlag(k)にFalseが設定されている場合、ステップV8において、応答データ作成部34は、操作ボタン3と出力データとを表示するための画像出力データ9を作成し、画像出力データ記憶部35、画像提供部36経由でプロジェクタ2に提供し、出力データ提供フラグFlag(k)にtrueを設定し、その後処理はステップV4に戻る。
When False is set in the output data provision flag Flag (k), in step V8, the response
出力データ提供フラグFlag(k)にTrueが設定されている場合、ステップV9において、応答データ作成部34は、表示されている出力データを非表示とするとともに操作ボタン3を表示するための画像出力データ9を作成し、画像出力データ記憶部35、画像提供部36経由でプロジェクタ2に提供し、出力データ提供フラグFlag(k)にfalseを設定し、その後処理はステップV4に戻る。
When the output data provision flag Flag (k) is set to True, in step V9, the response
出力データが音データの場合、ステップV10において、応答データ作成部34は、出力データ提供フラグFlag(k)に、Falseが設定されているか否か判断する。
出力データ提供フラグFlag(k)にFalseが設定されている場合、ステップV11において、応答データ作成部34は、出力データを、音出力データ記憶部18、音提供部19経由でスピーカ7に提供し、出力データ提供フラグFlag(k)にtrueを設定し、その後処理はステップV4に戻る。
When the output data is sound data, in step V10, the response
When the output data provision flag Flag (k) is set to False, in step V11, the response
出力データ提供フラグFlag(k)にTrueが設定されている場合、ステップV12において、応答データ作成部34は、再生中の出力データの出力を中止し、出力データ提供フラグFlag(k)にfalseを設定し、その後処理はステップV4に戻る。
When the output data provision flag Flag (k) is set to True, in step V12, the response
なお。出力データのデータ種別がテキストデータの場合は、このテキストデータの内容を表示してもよいし、音声に変換して出力してもよい。
図8は、本実施の形態に係る指定操作検出方法の処理例を示すフローチャートである。
ステップW1において、応答データ作成部34は、操作データベース15をアクセスし、操作ボタン3を表示位置データの示す位置に表示する画像出力データ9を作成する。
Note that. When the data type of the output data is text data, the content of the text data may be displayed or may be converted into sound and output.
FIG. 8 is a flowchart illustrating a processing example of the designation operation detection method according to the present embodiment.
In step W1, the response
ステップW2において、画像提供部36は、画像出力データ9をプロジェクタ2に提供する。
ステップW3において、画像取得部20は、カメラ4によって撮影された画像入力データ10を取得する。
ステップW4において、手領域検出部22は、例えば肌色検出などの手法により画像入力データ10のうち手領域を検出する。
In step W <b> 2, the
In step W <b> 3, the
In step W4, the hand
手領域が検出されない場合、処理はステップW3に戻る。
手領域が検出された場合、処理はステップW5に移る。
ステップW5において、重心算出部24は、手領域の重心Hの位置(座標値)を算出し、処理はステップW8に移る。
また、ステップW6において、音取得部29は、マイク6によって操作ボタン3の投影位置周辺の音入力データ11を取得する。
If no hand area is detected, the process returns to step W3.
If a hand area is detected, the process proceeds to step W5.
In step W5, the center of
In step W <b> 6, the
ステップW7において、操作音検出部31は、音入力データ11に対する音解析によりユーザの指定操作音を検出する。
指定操作音が検出されない場合、処理はステップ6に戻る。
指定操作音が検出された場合、処理はステップW8に移る。
ステップW8において、操作判断部16は、重心算出部24によって手領域が検出されるとともに操作音検出部31によって指定操作音が検出されたか判断する。
In step W <b> 7, the operation
If the designated operation sound is not detected, the process returns to step 6.
If the designated operation sound is detected, the process proceeds to step W8.
In step W <b> 8, the
手領域と指定操作音とが検出されていない場合、処理は上記ステップW3及びステップW6に戻る。
手領域と指定操作音とが検出された場合、ステップW9において、操作判断部16は、手領域の重心の位置が操作ボタン3の投影範囲内か判断する。
手領域の重心の位置が操作ボタン3の投影範囲内でない場合、処理は上記ステップW3及びステップW6に戻る。
If the hand area and the designated operation sound are not detected, the process returns to step W3 and step W6.
When the hand region and the designated operation sound are detected, in step W9, the
If the position of the center of gravity of the hand region is not within the projection range of the
手領域の重心の位置が操作ボタン3の投影範囲内の場合、ステップW10において、応答データ作成部34は、操作データベース15において操作ボタン3に対応する出力データのデータ種別を判断する。
出力データが画像データ又は動画データの場合、ステップW11において、応答データ作成部34は、出力データについての画像が表示状態か否か判断する。
When the position of the center of gravity of the hand region is within the projection range of the
When the output data is image data or moving image data, in step W11, the response
出力データについての画像が表示されていない状態の場合、ステップW12において、応答データ作成部34は、出力データと操作ボタン3とを表示するための画像出力データ9を作成する。
出力データについての画像が表示状態の場合、ステップW13において、応答データ作成部34は、出力データの表示を中止するとともに操作ボタン3を表示する画像出力データ9を作成する。
In the state where the image for the output data is not displayed, in step W12, the response
When the image for the output data is in the display state, in step W13, the response
ステップW14において、画像提供部36は、画像出力データ9をプロジェクタ2に提供し、処理はステップW3及びステップW6に戻る。
出力データが音データの場合、ステップW15において、応答データ作成部34は、出力データについての音が出力状態か否か判断する。
In step W14, the
When the output data is sound data, in step W15, the response
出力データについての音が出力していない状態の場合、ステップW16において、音提供部19は、音出力データ12をスピーカ7に提供し、処理はステップW3及びステップW6に戻る。
出力データについての音が出力状態の場合、ステップW17において、応答データ作成部34は、出力データの出力を中止し、処理はステップW3及びステップW6に戻る。
In the state where the sound for the output data is not output, in step W16, the
If the sound for the output data is in the output state, in step W17, the response
本実施の形態に係る操作検出システム1の利用態様の例について説明する。
例えば、プラントなどの作業現場において、実際の操作ボタンを設置しなくても操作データベース15の内容を設定するのみで操作ボタン3を投影し、この投影された操作ボタン3に対する指定操作が行われると、その操作ボタン3に応じたデータを出力できる。したがって、プラントの保守や情報提供を容易に実現できる。また、操作検出システム1を用いることにより、操作データベース15の内容に応じて設備の取り扱い方法、注意項目、操作マニュアルなどを出力することができ、出力状態の変更に容易に対処できる。
The example of the utilization aspect of the
For example, in a work site such as a plant, when the
また、サポートセンタで操作データベース15を更新し、このサポートセンタで作成された操作データベース15の内容を迅速に作業現場に反映できる。これにより、現場とサポートセンタとで協調した作業を実現できる。
以上説明した本実施の形態において、マイク6は音の強弱によるユーザの指定操作の有無の検出に用いられ、操作位置の検出には画像解析が用いられる。したがって、特別のキャリブレーション、導入時の装置の調整が不要となり、導入容易である。
Further, the
In the present embodiment described above, the
また、本実施の形態では、音認識処理と画像解析処理とを組み合わせることで、ユーザによって指定操作がなされた際に発する音と他の音とを区別して精度を向上させることができ、投影された画像に対するユーザの指定操作の有無とこの指定操作のなされた位置とを、容易かつ精度よく検出すことができる。 Further, in the present embodiment, by combining the sound recognition processing and the image analysis processing, it is possible to distinguish between the sound emitted when the user performs the designation operation and the other sound to improve accuracy, and to project the sound. It is possible to easily and accurately detect the presence / absence of the user's designation operation on the displayed image and the position where the designation operation has been performed.
本実施の形態では、ユーザによる一回の指定操作により、指定操作の有無と指定された内容とを検出でき、指定操作に応じた処理を実行することができる。
本実施の形態では、操作ボタン3の配置状態、操作ボタン3が押下された場合に提供するデータの内容を容易に変更・更新・追加でき、設置労力及びコストを大幅に低減させることができる。
In the present embodiment, the presence / absence of the designation operation and the designated content can be detected by a single designation operation by the user, and processing according to the designation operation can be executed.
In the present embodiment, the arrangement state of the
なお、本実施の形態において、各構成要素は同様の動作を実現可能であれば配置を変更させてもよく、また各構成要素を自由に組み合わせてもよく、各構成要素を自由に分割してもよく、いくつかの構成要素を削除してもよい。すなわち、本実施の形態については、上記の構成そのままに限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化できる。 In this embodiment, each component may be rearranged as long as the same operation can be realized, each component may be freely combined, and each component may be freely divided. Alternatively, some components may be deleted. That is, the present embodiment is not limited to the above-described configuration as it is, and can be embodied by modifying the constituent elements without departing from the scope of the invention in the implementation stage.
例えば、上述したように、投影された操作ボタン3に対するユーザの押下操作の検出のみではなく、レーザポインタや指示棒の先端などで位置を指定するとともに指定操作音を発することにより、ユーザの指定操作を受け付けるとしてもよい。
また、本実施の形態では、操作ボタン3が表示されるとしているが、例えば、プラントの概略構成図、工場内の地図、領域区分された画像、色分けされた画像、各種記号又はマークなどのようなユーザの指定操作を促す様々な画像が表示され、ユーザに指定操作された位置に対応する詳細情報が表示されるとしてもよい。この場合、操作データベース15には、上記の操作ボタン3の表示位置データに代えて、ユーザからの指定操作を受け付ける操作受付位置データが記憶される。
For example, as described above, not only the detection of the user's pressing operation on the projected
In the present embodiment, the
また、例えば、本実施の形態では、操作音検出部31は、操作ボタン3の投影面とユーザの手5との接触音を指定操作音として検出しているが、ユーザによって発せられる電子音などを指定操作音として検出するとしてもよい。
また、例えば、各記憶部21,23,25,30,35,18及び操作データベース15は、自由に組み合わせることができる。各記憶部21,23,25,30,35,18及び操作データベース15に記憶されている各データも自由に組み合わせることができる。
Further, for example, in the present embodiment, the operation
Further, for example, the
図9は、本実施の形態に係る操作検出システム1の指定操作検出装置8を、コンピュータとソフトウェアとを用いて実現するための構成の例を示すブロック図である。
コンピュータ37は、プロセッサ38、例えば内部メモリなどの記憶装置39、内部バス40を具備する。プロセッサ38と記憶装置39とは、内部バス40経由で接続されている。
FIG. 9 is a block diagram showing an example of a configuration for realizing the designated
The computer 37 includes a
記憶媒体41に記憶されているプログラム42は、コンピュータ37に読み込まれ、プロセッサ38により実行される。これにより、コンピュータ37は、上記指定操作検出装置8の具備する各構成要素としての機能を実現する。記憶装置39は、各記憶部21,23,25,30,35,18及び操作データベース15として機能する。
The
本実施の形態において、プログラム42は、例えば磁気ディスク(フレキシブルディスク、ハードディスク等)、光ディスク(CD−ROM、DVD等)、半導体メモリなどの記憶媒体41に書き込んで、指定操作検出装置8として動作するコンピュータ37に適用可能である。また、上記プログラム42は、通信媒体により伝送してコンピュータ37に適用することも可能である。コンピュータ37は、上記プログラム42を読み込み、このプログラム42によって動作が制御されることにより、指定操作検出装置8としての機能を実現する。プログラム42は、複数のコンピュータに分散して配置され、複数のコンピュータ間で互いに連携しつつ処理が実行されるとしてもよい。
In the present embodiment, the
本発明は、プロジェクタを用いて情報を提示する分野に有効である。 The present invention is effective in the field of presenting information using a projector.
1…操作検出システム、2…プロジェクタ、3…操作ボタン、4…カメラ、5…手、6…マイク、7…スピーカ、8…指定操作検出装置、9…画像出力データ、10…画像入力データ、11…音入力データ、12…音出力データ、13…画像認識部、14…音認識部、15…操作データベース、16…操作判断部、17…画像作成部、18…音出力データ記憶部、19…音提供部、20…画像取得部、21…画像入力データ記憶部、22…手領域検出部、23…手領域データ記憶部、24…重心算出部、25…重心データ記憶部、26…指定位置検出部、27…手領域データ、28…重心データ、29…音取得部、30…音入力データ記憶部、31…操作音検出部、32…操作ボタンデータ、331〜33N…出力データ、34…応答データ作成部、34a…画像出力データ作成機能、34b…データ種別判断機能、34c…音出力データ作成機能、35…画像出力データ記憶部、36…画像提供部、37…コンピュータ、38…プロセッサ、39…記憶装置、40…内部バス、41…記憶媒体、42…プログラム
DESCRIPTION OF
Claims (9)
前記画像出力装置の表示領域内においてユーザから指定操作を受け付ける位置を表す操作受付位置データを記憶する操作記憶手段と、
前記ユーザに指定操作を促す画像出力データを作成し、前記画像出力データを前記画像出力装置に提供する画像作成手段と、
前記画像入力装置によって入力された前記表示領域の画像入力データに基づいて、前記ユーザの指定位置を示す指定位置データを作成する指定位置検出手段と、
前記音入力装置によって測定された音入力データに基づいて、前記ユーザによって発生された指定操作音を検出する操作音検出手段と、
前記指定操作音が検出されるとともに、前記操作受付位置データと前記指定位置データとが整合する場合に、前記ユーザによって前記操作受付位置データの示す位置に応じた指定操作が実行されたと判断する操作判断手段と
を具備する指定操作検出装置。 In the designated operation detection device connected to the image output device, the image input device, and the sound input device,
Operation storage means for storing operation reception position data representing a position for receiving a designation operation from a user in a display area of the image output device;
Creating image output data for prompting the user to perform a designation operation, and providing the image output data to the image output device;
Designated position detection means for creating designated position data indicating the designated position of the user based on the image input data of the display area input by the image input device;
Operation sound detection means for detecting a designated operation sound generated by the user based on sound input data measured by the sound input device;
When the designated operation sound is detected and the operation reception position data matches the designated position data, an operation for determining that the designation operation corresponding to the position indicated by the operation reception position data has been executed by the user A designated operation detection device comprising: a determination unit;
前記画像出力装置は、プロジェクタであることを特徴とする指定操作検出装置。 In the designation | designated operation detection apparatus of Claim 1,
The designation operation detection device, wherein the image output device is a projector.
前記画像出力データは、操作ボタンを表示するデータであり、
前記操作受付位置データは、前記操作ボタンの表示位置を示すデータであり、
前記画像入力データは、前記画像入力装置によって撮影された前記操作ボタンの表示位置周辺の画像を示すデータであり、
前記指定位置データは、前記ユーザの手領域の位置を検出した結果を示すデータであり、
前記指定操作音は、前記画像出力装置によって表示された前記操作ボタンの表示面と前記ユーザの手との接触音であり、
前記操作判断手段は、前記操作ボタンの表示面と前記ユーザの手との接触音を検出するとともに、前記ユーザの手領域の位置と前記操作ボタンの表示位置とが重なっている場合に、前記操作ボタンに対する指定操作が実行されたと判断する
ことを特徴とする指定操作検出装置。 In the designation | designated operation detection apparatus of Claim 1 or Claim 2,
The image output data is data for displaying an operation button,
The operation reception position data is data indicating a display position of the operation button,
The image input data is data indicating an image around the display position of the operation button photographed by the image input device,
The designated position data is data indicating a result of detecting the position of the user's hand area;
The designated operation sound is a contact sound between the display surface of the operation button displayed by the image output device and the user's hand,
The operation determining means detects a contact sound between the display surface of the operation button and the user's hand, and when the position of the user's hand region and the display position of the operation button overlap, A designation operation detecting device characterized in that it is determined that a designation operation for a button has been executed.
前記操作記憶手段は、前記操作受付位置データと出力データとを関連付けて記憶しており、
前記画像作成手段は、前記操作判断手段によって前記操作受付位置データの示す位置に応じた指定操作が実行されたと判断された場合に、前記出力データの出力を実行する
ことを特徴とする指定操作検出装置。 In the designation | designated operation detection apparatus of any one of Claim 1 thru | or 3,
The operation storage means stores the operation reception position data and output data in association with each other,
The image creating means executes the output of the output data when the operation determining means determines that the specifying operation corresponding to the position indicated by the operation reception position data has been executed. apparatus.
前記画像作成手段は、前記出力データのデータ種別を判断し、前記出力データが画像データの場合に、前記出力データを含む画像出力データを作成し、前記出力データを含む画像出力データを前記画像出力装置に提供し、
前記出力データが音データの場合に、前記出力データを音出力装置に提供する音提供手段をさらに具備する
ことを特徴とする指定操作検出装置。 In the designation | designated operation detection apparatus of Claim 4,
The image creation means determines the data type of the output data, and creates image output data including the output data when the output data is image data, and outputs the image output data including the output data to the image output Providing to the device,
The designated operation detecting device further comprising sound providing means for providing the output data to a sound output device when the output data is sound data.
前記操作音検出手段は、所定周期ごとに音入力データの平均値を算出し、前記平均値が操作音検出用しきい値より大きい場合に、前記ユーザによって指定操作音が発生された旨を検出する
ことを特徴とする指定操作検出装置。 In the designation | designated operation detection apparatus of any one of Claim 1 thru | or 5,
The operation sound detection means calculates an average value of sound input data for each predetermined period, and detects that the specified operation sound is generated by the user when the average value is larger than the operation sound detection threshold value. A designated operation detecting device characterized in that:
画像出力装置の表示領域内においてユーザから指定操作を受け付ける位置を表す操作受付位置データを記憶する操作記憶手段、
前記ユーザに指定操作を促す画像出力データを作成し、前記画像出力データを前記画像出力装置に提供する画像作成手段、
画像入力装置によって入力された前記表示領域の画像入力データに基づいて、前記ユーザの指定位置を示す指定位置データを作成する指定位置検出手段、
音入力装置によって測定された音入力データに基づいて、前記ユーザによって発生された指定操作音を検出する操作音検出手段、
前記指定操作音が検出されるとともに、前記操作受付位置データと前記指定位置データとが整合する場合に、前記ユーザによって前記操作受付位置データの示す位置に応じた指定操作が実行されたと判断する操作判断手段
として機能させるためのプログラム。 Computer
Operation storage means for storing operation reception position data representing a position for receiving a designation operation from the user in the display area of the image output device;
Image creation means for creating image output data for prompting the user to perform a designation operation, and providing the image output data to the image output device;
Designated position detection means for creating designated position data indicating the designated position of the user based on image input data of the display area input by an image input device;
An operation sound detecting means for detecting a designated operation sound generated by the user based on sound input data measured by the sound input device;
When the designated operation sound is detected and the operation reception position data matches the designated position data, an operation for determining that the designation operation corresponding to the position indicated by the operation reception position data has been executed by the user A program for functioning as a determination means.
前記画像出力装置の表示領域内においてユーザから指定操作を受け付ける位置を表す操作受付位置データを操作記憶手段に記憶し、
前記ユーザに指定操作を促す画像出力データを作成し、前記画像出力データを前記画像出力装置に提供し、
前記画像入力装置によって入力された前記表示領域の画像入力データに基づいて、前記ユーザの指定位置を示す指定位置データを作成するとともに、前記音入力装置によって測定された音入力データに基づいて、前記ユーザによって発生された指定操作音を検出し、
前記指定操作音が検出されるとともに、前記操作受付位置データと前記指定位置データとが整合する場合に、前記ユーザによって前記操作受付位置データの示す位置に応じた指定操作が実行されたと判断する
ことを特徴とする指定操作検出方法。 In a designated operation detection method using an image output device, an image input device, and a sound input device,
Storing operation reception position data representing a position for receiving a designation operation from a user in a display area of the image output device in an operation storage unit;
Creating image output data that prompts the user to specify, providing the image output data to the image output device;
Based on the image input data of the display area input by the image input device, creating specified position data indicating the specified position of the user, and based on the sound input data measured by the sound input device, Detect specified operation sound generated by the user,
When the designated operation sound is detected and the operation reception position data matches the designated position data, it is determined that a designation operation corresponding to the position indicated by the operation reception position data has been executed by the user. Designated operation detection method characterized by
前記画像出力装置の表示領域を撮影する画像入力装置と、
前記画像出力装置の表示領域周辺の音を測定する音入力装置と、
前記画像出力装置の表示領域内においてユーザから指定操作を受け付ける位置を表す操作受付位置データを記憶する操作記憶手段と、
前記ユーザに指定操作を促す画像出力データを作成し、前記画像出力データを前記画像出力装置に提供する画像作成手段と、
前記画像入力装置によって撮影された前記表示領域の画像入力データに基づいて、前記ユーザの指定位置を示す指定位置データを作成する指定位置検出手段と、
前記音入力装置によって測定された音入力データに基づいて、前記ユーザによって発生された指定操作音を検出する操作音検出手段と、
前記指定操作音が検出されるとともに、前記操作受付位置データと前記指定位置データとが整合する場合に、前記ユーザによって前記操作受付位置データの示す位置に応じた指定操作が実行されたと判断する操作判断手段と
を具備する操作検出システム。 An image output device;
An image input device for photographing a display area of the image output device;
A sound input device for measuring sound around a display area of the image output device;
Operation storage means for storing operation reception position data representing a position for receiving a designation operation from a user in a display area of the image output device;
Creating image output data for prompting the user to perform a designation operation, and providing the image output data to the image output device;
Designated position detection means for creating designated position data indicating the designated position of the user based on image input data of the display area photographed by the image input device;
Operation sound detection means for detecting a designated operation sound generated by the user based on sound input data measured by the sound input device;
When the designated operation sound is detected and the operation reception position data matches the designated position data, an operation for determining that the designation operation corresponding to the position indicated by the operation reception position data has been executed by the user An operation detection system comprising a determination unit.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2005065845A JP2006252037A (en) | 2005-03-09 | 2005-03-09 | Specifying operation detector, program, specifying operation detecting method, and operation detecting system |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2005065845A JP2006252037A (en) | 2005-03-09 | 2005-03-09 | Specifying operation detector, program, specifying operation detecting method, and operation detecting system |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2006252037A true JP2006252037A (en) | 2006-09-21 |
Family
ID=37092480
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2005065845A Pending JP2006252037A (en) | 2005-03-09 | 2005-03-09 | Specifying operation detector, program, specifying operation detecting method, and operation detecting system |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2006252037A (en) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2011253255A (en) * | 2010-05-31 | 2011-12-15 | Canon Inc | Information processor and operating method therefor |
US10474292B2 (en) | 2015-03-17 | 2019-11-12 | Megachips Corporation | Information reception system, recording medium, and information input method |
-
2005
- 2005-03-09 JP JP2005065845A patent/JP2006252037A/en active Pending
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2011253255A (en) * | 2010-05-31 | 2011-12-15 | Canon Inc | Information processor and operating method therefor |
US10474292B2 (en) | 2015-03-17 | 2019-11-12 | Megachips Corporation | Information reception system, recording medium, and information input method |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
KR101930657B1 (en) | System and method for immersive and interactive multimedia generation | |
US10257423B2 (en) | Method and system for determining proper positioning of an object | |
US8395673B2 (en) | Shooting device and method with function for guiding an object to be shot | |
JP6075122B2 (en) | System, image projection apparatus, information processing apparatus, information processing method, and program | |
US7377650B2 (en) | Projection of synthetic information | |
WO2017120068A1 (en) | Active speaker location detection | |
US20180088676A1 (en) | Gesture interface | |
CN109491924B (en) | Code detection method, device, terminal and storage medium | |
RU2009116262A (en) | THREE-DIMENSIONAL SHADOW MOUSE | |
JP2006189712A (en) | Information presenting apparatus, information presenting method and program | |
JP2018033365A (en) | Information processing device, information processing method, and program | |
JP2017162103A (en) | Inspection work support system, inspection work support method, and inspection work support program | |
WO2017221720A1 (en) | Information processing device, information processing method, and program | |
JP6207764B2 (en) | Work support system, work support device, and work support method | |
JP2006252036A (en) | Projection image creating device, program, projection image creating method, and image projection system | |
EP3594794A1 (en) | Information processing device and information processing method | |
JP2006252037A (en) | Specifying operation detector, program, specifying operation detecting method, and operation detecting system | |
JP2011137905A (en) | Projection system, projection processing program and control method of projection system | |
JP5664215B2 (en) | Augmented reality display system, augmented reality display method used in the system, and augmented reality display program | |
US20230244318A1 (en) | Program, head-mounted display, and information processing device | |
JP2016139199A (en) | Image processing device, image processing method, and program | |
US20130106689A1 (en) | Methods of operating systems having optical input devices | |
TW202005407A (en) | System for displaying hint in augmented reality to play continuing film and method thereof | |
KR20140089220A (en) | Apparatus and method for control military strategy | |
JP2005078291A (en) | Image projecting and displaying device, pointing position detecting method, program and recording medium |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20080819 |
|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20081216 |