JP2011053990A - 外部機器連携装置及び方法及び外部機器連携制御プログラム - Google Patents

Abstract

【課題】ユーザの身体の一部を使用して電子広告等を表示するインタラクティブ・デジタル・サイネージの分野において、提示した情報をユーザが簡便に取得できる外部機器連携システムを提供する。
【解決手段】外部機器として、カメラ１０、プロジェクタ２０、プリンタ３０を備えている場合に、画像認識部１１０で撮像画像から任意の指定位置での特定オブジェクト、例えば掌を抽出、映像表示部１３０を介してプロジェクタで映像コンテンツを掌に投影する。ジェスチャ認識部１２０で掌が所定時間に亘って滞留したことを検出するとトリガを発生し、外部インタフェース部１４０がトリガに基づいて映像コンテンツに対応する印刷コンテンツを取得してプリンタ３０に対し出力を指示する。
【選択図】図３

Description

本発明は、外部機器連携装置及び方法及び外部機器連携制御プログラムに係り、特に、撮影手段を用いて撮影した画像を元にしてジェスチャを認識し、外部機器を操作するための外部機器連携装置及び方法及び外部機器連携制御プログラムに関する。

インタラクティブデジタルサイネージなどの分野において、物体や人の変化を検出し、その変化を元にインタラクティブに提示されている情報を変化させるシステムに注目が集まっている。そういったシステムは一般的に、人の手足の動作に応じて情報表示を変化させることで人にその場での体験に対して興味を持たせ、結果として提示する情報へ興味を引きつける手法をとる（例えば、特許文献１参照）。そのため、常に新しい刺激が要求され、ユーザへ興味を持たせるためのアクションやそれに対してシステム側が提供するエフェクトを、絶えず進化させる必要がある。

特開２００５６−２１５８６３号公報

しかしながら、インタラクティブデジタルサイネージシステムが提供する体験はその場に限られ、情報への興味を持続させることは人の記憶に頼るしかなく、システム利用後の長期間にわたって継続して情報への興味を持続させることは困難であった。ショッピングモールなどのインタラクティブデジタルサイネージを利用し終わったユーザに対し、継続して提示された情報に対して興味を持たせることが課題であった。

本発明は、上記の点に鑑みなされたもので、長期間にわたって提示した情報をユーザに訴求し続けることができる外部機器連携装置及び方法及び外部機器連携制御プログラムを提供することを目的とする。

図１は、本発明の原理構成図である。

本発明（請求項１）は、撮像手段１０で撮像された画像中から特定オブジェクト領域をリアルタイムに抽出する画像認識手段１１０を有し、外部機器を制御する外部機器連携装置であって、
画像認識手段１１０によって認識された任意の指定位置での特定オブジェクトが任意の指定時間に亘って滞留したことを検出し、その時点でトリガを発生させるジェスチャ認識手段１２０と、
ジェスチャ認識手段１２０によるトリガに基づいて、任意の外部機器の任意の指定動作を実行するためのデータを送受信する外部インタフェース手段１４０と、を有する。

また、本発明（請求項２）は、上記の画像認識手段１１０において、
接続されたカラーカメラから画像を取得して、特定オブジェクトを抽出し、該特定オブジェクトに対して映像の投影を指示する手段を含み、
予め映像コンテンツ、映像コンテンツが格納されている記憶手段と、
画像認識手段から特定オブジェクトに対する映像の投影が指示されると、記憶手段から表示すべきコンテンツを取得して、該特定オブジェクト上に表示する映像表示手段を更に有する。

また、本発明（請求項３）は、上記のジェスチャ認識手段１２０において、
それぞれの特定オブジェクトに対して異なるトリガを発生させる手段を含み、
外部インタフェース手段１４０において、
ジェスチャ認識手段が異なる複数のトリガを発生させた場合には、それぞれ異なる外部機器に異なるアクションを実行させる手段を含む。

また、本発明（請求項４）は、上記の記憶手段において、特定オブジェクト上に投影表示する映像コンテンツと関連付けられた任意の形態のコンテンツを格納する。

図２は、本発明の原理を説明するための図である。

本発明（請求項５）は、画像認識手段において撮像手段で撮像された画像中から特定オブジェクト領域をリアルタイムに抽出し（ステップ１）、外部機器を制御する外部機器連携方法であって、
画像認識手段、及び、予め映像コンテンツ及び該映像コンテンツに対応する印刷コンテンツが格納されている記憶手段を有する装置が、
画像認識手段によって認識された任意の指定位置での特定オブジェクトが任意の指定時間に亘って滞留したことを検出し、その時点でトリガを発生させるジェスチャ認識ステップ（ステップ２）と、
ジェスチャ認識ステップで発生したトリガに基づいて、任意の外部機器の任意の指定動作を実行するためのデータを外部機器との間で送受信する送受信ステップ（ステップ３）と、を行う。

また、本発明（請求項６）は、上記の画像認識手段により特定オブジェクト領域を抽出する際に（ステップ１）、
接続されたカラーカメラから画像を取得して、特定オブジェクトを抽出し、該特定オブジェクトに対して映像の投影を指示し、
画像認識ステップにおいて特定オブジェクトに対する映像の投影が指示されると、記憶手段から表示すべきコンテンツを取得して、該特定オブジェクト上に表示する映像表示ステップを更に行う。

また、本発明（請求項７）は、ジェスチャ認識ステップ（ステップ２）において、
それぞれの特定オブジェクトに対して異なるトリガを発生させ、
送受信ステップ（ステップ３）において、
ジェスチャ認識手段が異なる複数のトリガを発生させた場合には、それぞれ異なる外部機器に異なるアクションを実行させる。

また、本発明（請求項８）は、送受信ステップ（ステップ３）において、
特定オブジェクト上に投影表示する映像コンテンツと関連付けられた任意の形態のコンテンツを格納した記憶手段を参照して、外部機器に任意の形態のコンテンツを送信する。

本発明（請求項９）は、請求項１乃至５のいずれか１項に記載の外部機器連携装置を構成する各手段としてコンピュータを機能させるための外部機器連携制御プログラムである。

上記のように本発明によれば、手のひらの上に表示した映像コンテンツのようなバーチャルなオブジェクトを、印刷されたカードのような物理的なオブジェクトへ変換して持ち帰るようにすることで、インタラクティブデジタルサイネージを利用したユーザが、体験の記憶を呼び起こせるようになり、長期間にわたって提示した情報をユーザに訴求し続けることができるようになる。

本発明の原理構成図である。 本発明の原理を説明するための図である。 本発明の一実施の形態における外部機器連携装置の構成図である。 本発明の一実施の形態における映像コンテンツと印刷コンテンツの関係を示す図である。 本発明の一実施の形態における処理のフローチャートである。 本発明の一実施の形態における印刷の様子を示す図である。

以下、図面と共に本発明の実施の形態を説明する。

本発明は、バーチャルなオブジェクトでの体験から、実体を持つ物理的オブジェクトを出力し、持ち帰りできるようにする。具体的には、手のひらに表示されている映像コンテンツに対応する画像コンテンツを印刷媒体（例えば、紙）に印刷できるようにする。

図３は、本発明の一実施の形態における外部機器連携装置の構成を示す。

同図に示す外部機器連携装置１００はパーソナルコンピュータ（ＰＣ）であり、外部機器として、カメラ１０などの撮像手段、プリンタ２０やプロジェクタ３０などの出力手段が接続されている。

外部機器連携装置１００は、画像認識部１１０、ジェスチャ認識部１２０、映像表示部１３０、外部インタフェース部１４０、記憶部１５０を有する。記憶部１５０は、ハードディスク等の記憶媒体であり、映像コンテンツが格納されている。

画像認識部１１０は、カメラ１０などの撮像手段を用いて撮影した画像中から、例えば、手の平のような特定オブジェクト領域をリアルタイムに抽出し続ける。

映像表示部１３０は、記憶部１５０から取り出した映像コンテンツを手のひら上へ継続して投影する。

ジェスチャ認識部１２０は、画像認識部１１０によって、例えば、「プリント」と記載された指定位置へ手のひらが移動したことが検出されると、例えば、２秒間の指定時間にわたって滞留したことを検出して、外部機器（例えば、プリンタ３０）と連動するためのトリガを発生させる。

外部インタフェース部１４０は、例えば、プリンタ３０などの外部機器へ任意の指定動作を実行するためのデータを送受信する。これにより、手のひらなどの特定オブジェクト上で投影表示したバーチャル名オブジェクトが、実体を持つ物理的オブジェクトとして取り出すことができる。

以下に具体的に説明する。

具体的な例として、図４に示すように、手のひらと映像と１対１で対応する印刷用コンテンツファイル名を取得して、設定されたプリンタ３０より出力するものとする。表示中の映像コンテンツと印刷用コンテンツ、出力先プリンタの対応付けは印刷コンテンツ定義ファイルで行う。また、コンテンツの印刷処理を実行中は効果音の再生と共に印刷実行中を示す映像が手のひらに投影されるようにしてもよい。印刷コンテンツを印刷するプリンタは、複数設定可能であるものとする。対象とするプリンタは、対応するドライバがインストールされ、ＯＳにプリンタデバイスとして認識されているものとする。

印刷コンテンツ定義ファイルには、プリンタごとの用紙サイズと向き（縦、横）を予め記述する。また、プリンタの機種に依存する設定（用紙種別、給紙方法，全画面印刷等）の設定は行わず、プリンタのデフォルト設定をそのまま使用するものとする。印刷は設定された用紙の印刷可能な領域に、縦横比を保った最大サイズにて印刷されるものとする。

上記の設定が行われていることを前提に、外部インタフェース部１４０からの通知によりプリンタ３０は印刷処理を実行する。また、実行可能な印刷ジョブ数をアクション定義ファイルに設定し、ジョブ数が設定数を超える場合は処理しないようにしてもよい。

また、手のひらへの表示中の映像コンテンツに対応する印刷用コンテンツが定義されていない場合は処理しない。

プリンタ３０による印刷開始時には、処理の状況に応じたアイコンが手のひらに投影されるものとする。投影される印刷状況は、例えば次の３パターンとする。

・印刷スプール中
−印刷ジョブがスプールされ印刷待ちの場合；
・印刷処理実行中
−印刷処理実行中の場合；
・エラー
−印刷エラーが発生した場合（任意の指定時間が経過したら消去する）
印刷終了後は終了用の効果音を再生し、表示されていた元の映像コンテンツを手のひら上に再度表示する。

上記の処理の流れを図５に示し、印刷の様子を図６に示す。なお、以下の例では、図６に示すように、外部機器は、カメラ１０、プロジェクタ２０、プリンタ３０が同一の筐体に具備されているものとする。

ステップ１０１） 手のひらを任意の時間に渡って外部機器１０上に滞留させると、それを外部機器のカメラ１０がそれを撮影し、画像認識部１１０において、撮影された手のひらの画像を特定オブジェクトとしてトラッキングする。これによりジェスチャ認識部１２０は、手のひらの滞留を検知し、外部インタフェース１４０にトリガを発生させる。手の平画像の撮影はビデオカメラによって行う。例えば、IEEE1394接続のカラーカメラを用いて、秒間約３０フレーム程度の画像を得る。また、映像表示部１３０は、記憶部１５０から当該状況に対応する映像コンテンツがあれば取得してプロジェクタ２０を用いて、ユーザがかざしている手のひらに映像を出力する。なお、ＸＭＬ形式の設定ファイルに変換テーブルを記述しておくことにより、記憶部１５０から当該状況に対応する映像コンテンツを取得することが可能である。

具体的に、図６の例では、「ＰＲＩＮＴ」と記載されているマークの上に手のひらを任意の時間（例えば、２秒間）以上かざすものとし、画像認識部１１０は、その手のひらを特定オブジェクトとして抽出する。そして、ジェスチャ認識部１２０が、抽出された特定オブジェクトが所定時間（例えば、２秒以上）滞留していることを検出すると、トリガを発生させる。

ステップ１０２） 外部インタフェース１４０は、ジェスチャ認識部１２０からのトリガを受けて、プロジェクタ２０により投影表示されているコンテンツに対応する印刷コンテンツが記憶部１５０に存在するかを判定し、ない場合は当該処理を終了する。

ステップ１０３） ステップ１０２において表示されているコンテンツに対応する印刷コンテンツがある場合は、印刷ジョブをスプールする。

ステップ１０４） 映像表示部１３０は、スプール中のアイコンを手のひらに表示する。具体的には、外部インタフェース１４０がプリンタへ状況を問い合わせて、実行中の印刷ジョブがある場合はスプールし、アイコンもスプール中のものを表示する。実行中の印刷ジョブが無くなれば、通常と同じ処理（プリンタのアイコンを表示して印刷ジョブを発行し、ジョブの転送が完了したら元の映像コンテンツに戻る）を行う。

ステップ１０５） 外部インタフェース１４０は、記憶部１５０から取得した印刷コンテンツの印刷を外部機器のプリンタ３０に指示する。これによりプリンタ３０は、指定されたコンテンツの印刷を開始する。印刷されると、図５に示すように、プリンタ３０の下部の方からコンテンツに関連する画像がカードに印刷され、ユーザは当該カードを持ち帰ることができる。

ステップ１０６） 印刷中アイコンを表示する。

ステップ１０７） 印刷に成功したかを判定し、成功した場合はステップ１０８に、失敗した場合はステップ１０９に移行する。

ステップ１０８） 印刷エラーアイコンを表示し、処理を終了する。

ステップ１０９） 元のコンテンツを表示し、処理を終了する。

また、上記の図３に示す外部機器連携装置１００の各構成要素の動作をプログラムとして構築し、外部機器連携装置として利用されるコンピュータにインストールして実行させる、または、ネットワークを介して流通させることが可能である。

また、構築されたプログラムをハードディスクや、フレキシブルディスク・ＣＤ−ＲＯＭ等の可搬記憶媒体に格納し、コンピュータにインストールする、または、配布することが可能である。

なお、本発明は、上記の実施の形態に限定されることなく、特許請求の範囲内において種々変更・応用が可能である。

本発明は、物体や人の動作の変化に基づいて、インタラクティブに提供する情報を変化させる技術に適用可能である。具体的には、商品ＰＲイベントなどで、ノベルティグッズを配布するような場合に適用可能である。本発明を適用することで、自分のオリジナルのノベルティグッズを配布でき、企業がユーザへ伝えたいメッセージの訴求性を高めることができる。

１０ 撮影手段、カメラ（外部機器）
２０ プロジェクタ（外部機器）
３０ プリンタ（外部機器）
１００ 外部機器連携装置
１１０ 画像認識手段、画像認識部
１２０ ジェスチャ認識手段、ジェスチャ認識部
１３０ 映像表示部
１４０ 外部インタフェース手段、外部インタフェース部
１５０ 記憶部

Claims (9)

1. 撮像手段で撮像された画像中から特定オブジェクト領域をリアルタイムに抽出する画像認識手段を有し、外部機器を制御する外部機器連携装置であって、
   前記画像認識手段によって認識された任意の指定位置での特定オブジェクトが任意の指定時間に亘って滞留したことを検出し、その時点でトリガを発生させるジェスチャ認識手段と、
   前記ジェスチャ認識手段による前記トリガに基づいて、任意の外部機器の任意の指定動作を実行するためのデータを送受信する外部インタフェース手段と、
   を有することを特徴とする外部機器連携装置。
2. 前記画像認識手段は、
   接続されたカラーカメラから画像を取得して、前記特定オブジェクトを抽出し、該特定オブジェクトに対して映像の投影を指示する手段を含み、
   予め映像コンテンツ、映像コンテンツが格納されている記憶手段と、
   前記画像認識手段から前記特定オブジェクトに対する映像の投影が指示されると、前記記憶手段から表示すべきコンテンツを取得して、該特定オブジェクト上に表示する映像表示手段を更に有する
   請求項１記載の外部機器連携装置。
3. 前記ジェスチャ認識手段は、
   それぞれの特定オブジェクトに対して異なるトリガを発生させる手段を含み、
   前記外部インタフェース手段は、
   前記ジェスチャ認識手段が異なる複数のトリガを発生させた場合には、それぞれ異なる外部機器に異なるアクションを実行させる手段を含む
   請求項１または２記載の外部機器連携装置。
4. 前記記憶手段は、
   特定オブジェクト上に投影表示する映像コンテンツと関連付けられた任意の形態のコンテンツを格納する
   請求項１記載の外部機器連携装置。
5. 画像認識手段において撮像手段で撮像された画像中から特定オブジェクト領域をリアルタイムに抽出し、外部機器を制御する外部機器連携方法であって、
   前記画像認識手段、及び、予め映像コンテンツ及び該映像コンテンツに対応する印刷コンテンツが格納されている記憶手段を有する装置が、
   前記画像認識手段によって認識された任意の指定位置での特定オブジェクトが任意の指定時間に亘って滞留したことを検出し、その時点でトリガを発生させるジェスチャ認識ステップと、
   前記ジェスチャ認識ステップで発生した前記トリガに基づいて、任意の外部機器の任意の指定動作を実行するためのデータを外部機器との間で送受信する送受信ステップと、
   を行うことを特徴とする外部機器連携方法。
6. 前記画像認識手段により前記特定オブジェクト領域を抽出する際に、
   接続されたカラーカメラから画像を取得して、前記特定オブジェクトを抽出し、該特定オブジェクトに対して映像の投影を指示し、
   前記画像認識ステップにおいて前記特定オブジェクトに対する映像の投影が指示されると、前記記憶手段から表示すべきコンテンツを取得して、該特定オブジェクト上に表示する映像表示ステップを更に行う
   請求項５記載の外部機器連携方法。
7. 前記ジェスチャ認識ステップにおいて、
   それぞれの特定オブジェクトに対して異なるトリガを発生させ、
   前記送受信ステップにおいて、
   前記ジェスチャ認識手段が異なる複数のトリガを発生させた場合には、それぞれ異なる外部機器に異なるアクションを実行させる
   請求項５または６記載の外部機器連携方法。
8. 前記送受信ステップにおいて、
   特定オブジェクト上に投影表示する映像コンテンツと関連付けられた任意の形態のコンテンツを格納した記憶手段を参照して、前記外部機器に任意の形態のコンテンツを送信する
   請求項５記載の外部機器連携方法。
9. 請求項１乃至５のいずれか１項に記載の外部機器連携装置を構成する各手段としてコンピュータを機能させるための外部機器連携制御プログラム。