JP2018045349A - 処理装置、処理方法及びプログラム - Google Patents

Abstract

【課題】表示面に表示されているコンテンツを操作する操作部の特徴に応じた処理を実行可能な処理装置等を提供する。
【解決手段】処理装置３００は、操作検出部３１１と、画像取得部３１２と、特徴抽出部３１３と、処理実行部３１４とを含む。操作検出部３１１は、投影面に投影されているコンテンツを操作するユーザの足部の操作を検出する。画像取得部３１２は、操作検出部３１１により操作が検出されたとき、ユーザの足部を撮像して、撮像画像を取得する。特徴抽出部３１３は、画像取得部３１２により取得された撮像画像内のユーザの足部の特徴を抽出する。処理実行部３１４は、特徴抽出部３１３により抽出された特徴に基づいて、操作検出部３１１により検出された操作に対応する所定の処理を実行する。
【選択図】図３

Description

本発明は、処理装置、処理方法及びプログラムに関する。

従来から、コンテンツをスクリーンに投影することにより、ユーザにコンテンツを提供するシステムがある。例えば、特許文献１には、人感センサによって人を検出した際に、コンテンツの輪郭の形状に形成されたスクリーンにコンテンツを投影する技術が開示されている。

特開２０１１−１５０２２１号公報

しかしながら、特許文献１のような技術では、ユーザの在・不在に応じてコンテンツを出力することができるが、一方的なコンテンツの出力しかできず、投影されているコンテンツを操作する操作部の特徴に応じた処理を実行することが困難である。

本発明は、上述のような事情に鑑みてなされたものであり、表示面に表示されているコンテンツを操作する操作部の特徴に応じた処理を実行可能な処理装置等を提供することを目的とする。

上記目的を達成するため、本発明に係る処理装置は、
表示面に表示されているコンテンツを操作する操作部の操作を検出する操作検出手段と、
前記操作検出手段により前記操作が検出されたとき、前記操作部を撮像して、撮像画像を取得する画像取得手段と、
前記画像取得手段により取得された前記撮像画像内の前記操作部の特徴を抽出する特徴抽出手段と、
前記特徴抽出手段により抽出された前記特徴に基づいて、前記操作検出手段により検出された前記操作に対応する所定の処理を実行する処理実行手段と、
を備えることを特徴とする。

本発明によれば、表示面に表示されているコンテンツを操作する操作部の特徴に応じた処理を実行できる。

本発明の実施形態に係る処理システムの外観構成を示す図である。 投影装置が投影するコンテンツの一例を示す図である。 実施形態に係る処理装置の構成を示す概略図である。 特徴ＤＢに格納されるデータの一例を示す図である。 実施形態に係る順番管理処理のフローチャートの一例を示す図である。 実施形態に係る登録処理のフローチャートの一例を示す図である。 実施形態に係る照合処理のフローチャートの一例を示す図である。

以下、本発明の実施形態について図面を参照して説明する。

図１は、本発明の実施形態に係る処理システム１の外観構成を示す図である。処理システム１は、店頭や公共施設などに設置され、視聴者であるユーザに案内や広告などのコンテンツを表示するデジタル・サイネージ（いわゆる電子看板）を利用して所定の処理を実行するシステムである。

本実施形態では、処理システム１は、所定の処理の一例として、管理対象領域へ入場するユーザの順番待ちを管理する処理（順番管理処理）を実行する。例えば、順番管理処理は、ユーザの足部２による操作を受け付けて、そのユーザの順番を登録する登録処理と、ユーザの足部２による操作を受け付けて、そのユーザの順番が入場可能な番号か否か照合する照合処理と、から構成される。

図１に示すように、処理システム１は、投影装置１００と、投影面２００と、処理装置３００とから構成される。

投影装置１００は、投影面２００にコンテンツを投影する装置であって、画像や映像を投影するプロジェクタから構成される。投影装置１００が投影面２００に投影するコンテンツの一例を図２に示す。図２に示す例において、コンテンツは、登録処理または照合処理のいずれかを選択するための操作を受け付ける操作受付画面２０１である。操作受付画面２０１は、ユーザの足部２により操作されるボタンＢ１，Ｂ２と、ユーザにボタンＢ１，Ｂ２を操作するよう促すメッセージＭと、を含む。ボタンＢ１は、登録処理を選択するための画像である。また、ボタンＢ２は、照合処理を選択するための画像である。ユーザは、投影面２００に投影されたボタンＢ１，Ｂ２を足部２で蹴ることにより、登録処理または照合処理を選択する。

投影面２００は、投影装置１００により投影された画像や映像が投影される面である。投影面２００は、例えば、建物の壁面である。

処理装置３００は、投影装置１００と有線または無線により通信可能に接続され、投影装置１００が投影するコンテンツを投影装置１００に出力する。また、処理装置３００は、投影面２００に投影されたコンテンツへのユーザの足部２による操作を検出すると、検出された操作に対応する順番管理処理を実行する。

次に、処理装置３００の構成について詳細に説明する。

図３は、処理装置３００の構成を示す概略図である。図３に示すように、処理装置３００は、制御部３０１と、記憶部３０２と、通信部３０３と、入力部３０４、センサ部３０５、撮像部３０６とから構成され、各部は、バス３０７により接続されている。

制御部３０１は、ＣＰＵ（Central Processing Unit）、ＲＯＭ（Read Only Memory)、ＲＡＭ（Random Access Memory）によって構成される。制御部３０１は、ＲＯＭに記憶されたプログラム（例えば、後述する順番管理処理に係るプログラム）を実行することにより、後述する操作検出部３１１、画像取得部３１２、特徴抽出部３１３、処理実行部３１４の機能を実現する。

記憶部３０２は、ＨＤＤ（Hard Disk Drive）などの不揮発性メモリである。記憶部３０２は、投影装置１００に出力する様々なコンテンツを記憶する。また、記憶部３０２は、後述する特徴データベース（ＤＢ）３２１を記憶する。

通信部３０３は、処理装置３００を投影装置１００と通信可能に接続するための通信インターフェースから構成される。

入力部３０４は、ボタン、キーボード、タッチパネル等の入力装置から構成される。入力部３０４は、処理装置３００のユーザからの操作入力を受け付け、受け付けた操作入力に対応する信号を制御部３０１に出力する。

センサ部３０５は、レーザと受光センサを利用した距離画像センサから構成される。センサ部３０５は、その画角内にユーザの足部２が入るように、投影面の下方付近に設置され、距離画像データを取得する。距離画像データには、測定対象物の形状と、その測定対象物までの距離と、測定対象物の位置を表すデータが含まれる。センサ部３０５は、取得された距離画像データを制御部３０１に出力する。

上記のような距離画像データを取得するため、例えば、投光した対象物に当たって戻る時間を測定することにより距離画像データを取得することができる。

撮像部３０６は、ＣＣＤ（Charge Coupled Device）やＣＭＯＳ（Complementary Metal Oxide Semiconductor）等のイメージセンサを含む撮像装置から構成される。撮像部３０６は、ユーザの足部２を含む撮像画像を取得し、制御部３０１に出力する。

次に、処理装置３００の制御部３０１の機能構成について説明する。図３に示すように、制御部３０１は、操作検出部３１１、画像取得部３１２、特徴抽出部３１３、処理実行部３１４として機能する。

操作検出部３１１は、投影面２００に表示されている操作受付画面２０１を操作するユーザの足部２の操作を検出する。例えば、操作検出部３１１は、センサ部３０５から距離画像データを取得する。そして、操作検出部３１１は、例えば、取得された距離画像データから、現実空間におけるユーザの足部２と投影面２００との距離を取得する。なお、ユーザの足部２の位置とは、例えば、ユーザの足部２が伸ばしている足先の位置としてもよいし、ユーザの足部２の最も投影面２００に近い部分の位置としてもよい。

そして、操作検出部３１１は、例えば、取得された距離画像データから、現実空間におけるユーザの足部２と投影面２００との距離が所定の距離以下になったとき、すなわち、ユーザの足部２の位置を取得する。そして、操作検出部３１１は、取得した位置が、ボタンＢ１，Ｂ２の位置に対応するとき、ユーザの足部２の操作を検出したと判定する。例えば、図２において、操作検出部３１１は、取得した位置が領域Ａ１内である場合、ボタンＢ１（登録処理）を選択する操作を検出したと判定する。また、操作検出部３１１は、取得した位置が領域Ａ２内である場合、ボタンＢ２（照合処理）を選択する操作を検出したと判定する。

画像取得部３１２は、操作検出部３１１により操作が検出されたとき、ユーザの足部２を撮像して、撮像画像を取得する。例えば、画像取得部３１２は、操作検出部３１１が、ユーザの足部２による操作を検出したと判定すると、撮像部３０６を制御して、ユーザの足部２を被写体として撮像し、その撮像画像を撮像部３０６から取得する。

特徴抽出部３１３は、画像取得部３１２により取得された撮像画像内のユーザの足部２の特徴を抽出する。例えば、特徴抽出部３１３は、撮像画像に含まれるユーザの足部２の色、大きさ、及び形状を、特徴として抽出する。例えば、ユーザの足部２は、靴や、ズボン、スカート、靴下などの衣服を含み、特徴抽出部３１３は、これらの色、大きさ、及び形状を特徴として抽出してもよい。撮像画像からユーザの足部２の特徴を抽出する方法としては、一般的な画像特徴抽出技術を用いることができる。

処理実行部３１４は、特徴抽出部３１３により抽出された特徴に基づいて、操作検出部３１１により検出された操作に対応する順番管理処理を実行する。例えば、処理実行部３１４は、登録処理を実行する登録部３１５と、照合処理を実行する照合部３１６と、を含む。

登録部３１５は、操作検出部３１１により検出された操作が、登録処理の選択を表すとき、特徴抽出部３１３により抽出された特徴を、特徴パターンとして特徴ＤＢ３２１に登録する登録処理を実行する。

ここで、特徴ＤＢ３２１に格納されるデータについて説明する。図４は、特徴ＤＢ３２１に格納されるデータの一例を示す図である。図４に示すように、特徴ＤＢ３２１は、順番と、特徴パターンと、入場可能時間とを対応付けて格納する。順番は、登録部３１５に登録された順番を表す。特徴パターンは、特徴抽出部３１３により抽出された特徴であって、ユーザの足部２の色、大きさ、及び形状を含む。入場可能時間は、管理対象領域に入場可能な時間を表す。本実施形態では、管理対象領域には、３０分おきに、２人のユーザが入場可能であるとする。

登録部３１５は、操作検出部３１１により検出された操作が、登録処理の選択を表すとき、特徴抽出部３１３により抽出された特徴を特徴パターンとして、順番と、入場可能時間を割り当てて、特徴ＤＢ３２１に登録する。

照合部３１６は、操作検出部３１１により検出された操作が、照合処理の選択を表すとき、特徴抽出部３１３により抽出された特徴が、予め特徴ＤＢ３２１に登録されている特徴パターンとマッチするかを判定する照合処理を実行する。例えば、照合部３１６は、特徴抽出部３１３により抽出された特徴が、予め特徴ＤＢ３２１に登録されている特徴パターンとマッチし、かつ、現在時刻がその特徴パターンに対応付けられた入場可能時間内である場合、入場許可を表す画面を投影装置１００に出力する。また、例えば、照合部３１６は、特徴抽出部３１３により抽出された特徴が、予め特徴ＤＢ３２１に登録されている特徴パターンとマッチしない場合、または、現在時刻がマッチした特徴パターンに対応付けられた入場可能時間外である場合、入場不可を表す画面を投影装置１００に出力する。また、照合部３１６は、抽出された特徴とマッチする特徴パターンが特徴ＤＢ３２１に登録されていない場合、登録を促す旨のメッセージを出力してもよい。

次に、本実施形態に係る処理装置３００の制御部３０１が実行する順番管理処理について説明する。図５は、本実施形態に係る順番管理処理のフローチャートの一例である。この順番管理処理は、例えば、入力部３０４を介して、本処理の開始を指示する操作を受け付けたことを契機として開始される。

まず、操作検出部３１１は、図２に示す操作受付画面２０１を投影装置１００に出力する（ステップＳ１０１）。

次に、操作検出部３１１は、センサ部３０５から距離画像データを取得する（ステップＳ１０２）。

そして、操作検出部３１１は、ステップＳ１０２において取得された距離画像データから、投影面２００とユーザの足部２との距離を取得する（ステップＳ１０３）。

そして、操作検出部３１１は、ステップＳ１０３において取得された距離が所定の距離以下か否かを判定する（ステップＳ１０４）。操作検出部３１１は、取得された距離が所定の距離以下でないと判定した場合（ステップＳ１０４；Ｎｏ）、ステップＳ１０２に戻ってその後の処理を繰り返す。

操作検出部３１１は、取得された距離が所定の距離以下であると判定した場合（ステップＳ１０４；Ｙｅｓ）、ステップＳ１０２において取得された距離画像データから、ユーザの足部２が登録処理を選択する操作を検出したか否かを判定する（ステップＳ１０５）。

操作検出部３１１が、ユーザの足部２が登録処理を選択する操作を検出したと判定した場合（ステップＳ１０５；Ｙｅｓ）、制御部３０１は、登録処理を実行する（ステップＳ１０６）。

図６は、本実施形態に係る登録処理のフローチャートの一例である。制御部３０１は、登録処理を開始すると、画像取得部３１２は、撮像部３０６から、ユーザの足部２を含む撮像画像を取得する（ステップＳ２０１）。

次に、特徴抽出部３１３は、ステップＳ２０１において取得された撮像画像から、ユーザの足部２の特徴を抽出する（ステップＳ２０２）。

そして、登録部３１５は、ステップＳ２０２において抽出された特徴を特徴パターンとして、順番及び入場可能時間とともに特徴ＤＢ３２１に登録する（ステップＳ２０３）。そして、制御部３０１は、図５のステップＳ１０１に戻って、その後の処理を繰り返す。

図５に戻って、操作検出部３１１が、ユーザの足部２が登録処理を選択する操作を検出していないと判定した場合（ステップＳ１０５；Ｎｏ）、ユーザの足部２が照合処理を選択する操作を検出したか否かを判定する（ステップＳ１０７）。操作検出部３１１が、ユーザの足部２が照合処理を選択する操作を検出していないと判定した場合（ステップＳ１０７；Ｎｏ）、制御部３０１は、ステップＳ１０２に戻って、その後の処理を繰り返す。

操作検出部３１１が、ユーザの足部２が照合処理を選択する操作を検出したと判定した場合（ステップＳ１０７；Ｙｅｓ）、制御部３０１は、照合処理を実行する（ステップＳ１０８）。

図７は、本実施形態に係る照合処理のフローチャートの一例である。制御部３０１は、照合処理を開始すると、図６に示す登録処理のステップＳ２０１〜Ｓ２０２と同様に、ステップＳ３０１〜Ｓ３０２の処理を実行する。

そして、照合部３１６は、ステップＳ３０２において抽出された特徴とマッチする特徴パターンが特徴ＤＢ３２１に登録されているか否かを判定する（ステップＳ３０３）。

照合部３１６は、ステップＳ３０２において抽出された特徴とマッチする特徴パターンが特徴ＤＢ３２１に登録されていると判定した場合（ステップＳ３０３；Ｙｅｓ）、現在時刻が、その特徴パターンに対応付けられている入場可能時間内か否かを判定する（ステップＳ３０４）。

照合部３１６は、現在時刻が入場可能時間内であると判定した場合（ステップＳ３０４；Ｙｅｓ）、入場許可を表す画面を投影装置１００に出力する（ステップＳ３０５）。そして、制御部３０１は、図５のステップＳ１０１に戻って、その後の処理を繰り返す。

また、照合部３１６は、ステップＳ３０２において抽出された特徴とマッチする特徴パターンが特徴ＤＢ３２１に登録されていないと判定した場合（ステップＳ３０３；Ｎｏ）、または現在時刻が入場可能時間内でないと判定した場合（ステップＳ３０４；Ｎｏ）、入場不可を表す画面を投影装置１００に出力する（ステップＳ３０６）。そして、制御部３０１は、図５のステップＳ１０１に戻って、その後の処理を繰り返す。

以上の処理は、例えば、処理装置３００の電源がＯＦＦになる、または入力部３０４を介して、ユーザから出力処理の終了を示す操作入力を受け付けるまで繰り返し実行される。

以上説明したように、本実施形態に係る処理装置３００は、コンテンツを表示する投影面２００へのユーザの足部２による操作を検出すると、ユーザの足部２を撮像する。そして、処理装置３００は、撮像画像から、ユーザの足部２の特徴を抽出し、抽出された特徴に基づいて、検出された操作に対応する順番管理処理を実行する。従って、処理装置３００は、ユーザの足部２の特徴に応じた処理を実行することができる。

また、処理装置３００は、投影面２００としての壁面に投影されているコンテンツへのユーザの足部２の操作を検出する。そのため、両手に荷物をもっているなど、手での操作が困難なユーザであっても、容易にコンテンツを操作することができる。また、コンテンツは壁面に投影されているため、液晶パネルなどの表示装置と異なり、ユーザが蹴っても破損しにくい。

また、処理装置３００は、ユーザの足部２の特徴を順番管理処理におけるユーザの認証に利用するため、整理券の発券や、人手での順番管理に必要な手間やコストを削減することができる。

以上で実施形態の説明を終了するが、上記実施形態は一例であり、処理装置３００の具体的な構成や出力制御処理の内容などが上記実施形態で説明したものに限られず、以下のような変形も可能である。

例えば、上記の実施形態において、処理装置３００は、ユーザの足部２の操作を検出する例について説明した。しかし、処理装置３００が検出する操作は、ユーザの足部２の操作に限られない。すなわち、本発明に係る操作部は、ユーザの足部２に限られず、例えば、ユーザの手であってもよい。

また、上記の実施形態において、投影面２００が、壁面である例について説明した。しかし、投影面２００は、床面であってもよい。

また、上記の実施形態において、投影装置１００がコンテンツを投影面２００に投影する例について説明したが、本発明に係る表示面へのコンテンツの表示方法はこれに限られない。例えば、コンテンツは、例えば、ＬＣＤ（Liquid Crystal Display）、ＥＬ（Electroluminescence）ディスプレイなどの表示装置の表示面に表示されてもよい。

また、上記の実施形態において、操作検出部３１１は、センサ部３０５から取得した距離画像データに基づいて、ユーザの足部２の操作を検出したが、操作の検出方法はこれに限られない。例えば、処理装置３００のセンサ部３０５は、投影面２００の振動を検出する振動センサを含んでもよい。この場合、操作検出部３１１は、振動センサから、投影面２００の振動を表す振動データを取得する。そして、例えば、操作検出部３１１は、距離画像データから取得された距離が０であり、かつ、振動データが表す振幅が所定の閾値よりも大きいときに、ユーザの足部２が投影面に接触したと判定する。これにより、処理装置３００は、ユーザの足部２の投影面２００への接触をさらに精度よく検出することができる。

また、上記の実施形態において、特徴抽出部３１３は、ユーザの足部２の色、大きさ、及び形状を、特徴として抽出したが、特徴抽出部３１３が抽出する特徴はこれに限られず、このうち少なくとも１つであってもよい。

また、上記の実施形態において、照合部３１６は、登録部３１５により登録された特徴パターンと、特徴抽出部３１３により抽出された特徴とがマッチするか判定する例について説明した。しかし、照合部３１６が、登録部３１５により登録された特徴パターンではなく、予め記憶部３０２に記録された所定の特徴パターンと、特徴抽出部３１３により抽出された特徴とがマッチするか判定してもよい。

上記の実施形態において、処理装置３００は、順番を管理する順番管理処理を実行したが、処理装置３００が実行する所定の処理はこれに限られず、様々な処理を実行可能である。例えば、処理装置３００は、公共交通機関での料金精算において、支払い済みのユーザの登録、及び支払い済みの確認に用いられても良い。

また、本発明に係る処理装置３００は、専用の装置によらず、通常のコンピュータを用いて実現可能である。例えば、コンピュータがプログラムを実行することで、処理装置３００を実現してもよい。処理装置３００の機能を実現するためのプログラムは、ＵＳＢ（Universal Serial Bus）メモリ、ＣＤ−ＲＯＭ（Compact Disc Read Only Memory）、ＤＶＤ（Digital Versatile Disc）、ＨＤＤ等のコンピュータ読み取り可能な記録媒体に記憶されてもよいし、ネットワークを介してコンピュータにダウンロードされてもよい。

以上、本発明の好ましい実施形態について説明したが、本発明は係る特定の実施形態に限定されるものではなく、本発明には、特許請求の範囲に記載された発明とその均等の範囲が含まれる。以下に、本願出願の当初の特許請求の範囲に記載された発明を付記する。

（付記１）
表示面に表示されているコンテンツを操作する操作部の操作を検出する操作検出手段と、
前記操作検出手段により前記操作が検出されたとき、前記操作部を撮像して、撮像画像を取得する画像取得手段と、
前記画像取得手段により取得された前記撮像画像内の前記操作部の特徴を抽出する特徴抽出手段と、
前記特徴抽出手段により抽出された前記特徴に基づいて、前記操作検出手段により検出された前記操作に対応する所定の処理を実行する処理実行手段と、
を備えることを特徴とする処理装置。

（付記２）
前記処理実行手段は、前記特徴抽出手段により抽出された前記特徴が、予め記憶部に登録されている特徴パターンとマッチするかを判定する照合処理を、前記所定の処理として実行する、
ことを特徴とする付記１に記載の処理装置。

（付記３）
前記処理実行手段は、前記特徴抽出手段により抽出された前記特徴を、前記特徴パターンとして前記記憶部に登録する登録処理を、前記所定の処理として実行する、
ことを特徴とする付記２に記載の処理装置。

（付記４）
前記操作検出手段は、前記操作部としてのユーザの足部による、投影装置により前記表示面としての壁面または床面に投影されている前記コンテンツへの操作を、前記操作として検出する、
ことを特徴とする付記１乃至３のいずれか１つに記載の処理装置。

（付記５）
前記操作検出手段は、前記操作部と前記表示面との距離を取得し、取得された前記距離に基づいて、前記操作部による操作を検出する、
ことを特徴とする付記１乃至４のいずれか１つに記載の処理装置。

（付記６）
前記操作検出手段は、さらに前記表示面の振動を表す振動データを取得し、取得された振動データと、取得された前記距離に基づいて、前記操作部による操作を検出する、
ことを特徴とする付記５に記載の処理装置。

（付記７）
前記特徴抽出手段は、前記操作部の色、大きさ、及び形状のうち少なくとも１つを、前記特徴として抽出する、
ことを特徴とする付記１乃至６のいずれか１つに記載の処理装置。

（付記８）
表示面に表示されているコンテンツを操作する操作部の操作を検出する操作検出ステップと、
前記操作検出ステップにおいて前記操作が検出されたとき、前記操作部を撮像して、撮像画像を取得する画像取得ステップと、
前記画像取得ステップにおいて取得された前記撮像画像内の前記操作部の特徴を抽出する特徴抽出ステップと、
前記特徴抽出ステップにおいて抽出された前記特徴に基づいて、前記操作検出ステップにおいて検出された前記操作に対応する所定の処理を実行する処理実行ステップと、
を備えることを特徴とする処理方法。

（付記９）
コンピュータを
表示面に表示されているコンテンツを操作する操作部の操作を検出する操作検出手段、
前記操作検出手段により前記操作が検出されたとき、前記操作部を撮像して、撮像画像を取得する画像取得手段、
前記画像取得手段により取得された前記撮像画像内の前記操作部の特徴を抽出する特徴抽出手段、
前記特徴抽出手段により抽出された前記特徴に基づいて、前記操作検出手段により検出された前記操作に対応する所定の処理を実行する処理実行手段、
として機能させることを特徴とするプログラム。

１…処理システム、２…足部、１００…投影装置、２００…投影面、２０１…操作受付画面、３００…処理装置、３０１…制御部、３０２…記憶部、３０３…通信部、３０４…入力部、３０５…センサ部、３０６…撮像部、３０７…バス、３１１…操作検出部、３１２…画像取得部、３１３…特徴抽出部、３１４…処理実行部、３１５…登録部、３１６…照合部、３２１…特徴ＤＢ、Ａ１，Ａ２…領域、Ｂ１，Ｂ２…ボタン、Ｍ…メッセージ

Claims (9)

1. 表示面に表示されているコンテンツを操作する操作部の操作を検出する操作検出手段と、
   前記操作検出手段により前記操作が検出されたとき、前記操作部を撮像して、撮像画像を取得する画像取得手段と、
   前記画像取得手段により取得された前記撮像画像内の前記操作部の特徴を抽出する特徴抽出手段と、
   前記特徴抽出手段により抽出された前記特徴に基づいて、前記操作検出手段により検出された前記操作に対応する所定の処理を実行する処理実行手段と、
   を備えることを特徴とする処理装置。
2. 前記処理実行手段は、前記特徴抽出手段により抽出された前記特徴が、予め記憶部に登録されている特徴パターンとマッチするかを判定する照合処理を、前記所定の処理として実行する、
   ことを特徴とする請求項１に記載の処理装置。
3. 前記処理実行手段は、前記特徴抽出手段により抽出された前記特徴を、前記特徴パターンとして前記記憶部に登録する登録処理を、前記所定の処理として実行する、
   ことを特徴とする請求項２に記載の処理装置。
4. 前記操作検出手段は、前記操作部としてのユーザの足部による、投影装置により前記表示面としての壁面または床面に投影されている前記コンテンツへの操作を、前記操作として検出する、
   ことを特徴とする請求項１乃至３のいずれか１項に記載の処理装置。
5. 前記操作検出手段は、前記操作部と前記表示面との距離を取得し、取得された前記距離に基づいて、前記操作部による操作を検出する、
   ことを特徴とする請求項１乃至４のいずれか１項に記載の処理装置。
6. 前記操作検出手段は、さらに前記表示面の振動を表す振動データを取得し、取得された振動データと、取得された前記距離に基づいて、前記操作部による操作を検出する、
   ことを特徴とする請求項５に記載の処理装置。
7. 前記特徴抽出手段は、前記操作部の色、大きさ、及び形状のうち少なくとも１つを、前記特徴として抽出する、
   ことを特徴とする請求項１乃至６のいずれか１項に記載の処理装置。
8. 表示面に表示されているコンテンツを操作する操作部の操作を検出する操作検出ステップと、
   前記操作検出ステップにおいて前記操作が検出されたとき、前記操作部を撮像して、撮像画像を取得する画像取得ステップと、
   前記画像取得ステップにおいて取得された前記撮像画像内の前記操作部の特徴を抽出する特徴抽出ステップと、
   前記特徴抽出ステップにおいて抽出された前記特徴に基づいて、前記操作検出ステップにおいて検出された前記操作に対応する所定の処理を実行する処理実行ステップと、
   を備えることを特徴とする処理方法。
9. コンピュータを
   表示面に表示されているコンテンツを操作する操作部の操作を検出する操作検出手段、
   前記操作検出手段により前記操作が検出されたとき、前記操作部を撮像して、撮像画像を取得する画像取得手段、
   前記画像取得手段により取得された前記撮像画像内の前記操作部の特徴を抽出する特徴抽出手段、
   前記特徴抽出手段により抽出された前記特徴に基づいて、前記操作検出手段により検出された前記操作に対応する所定の処理を実行する処理実行手段、
   として機能させることを特徴とするプログラム。

Images