JP2017078915A - 情報特定装置、方法、及びプログラム - Google Patents

情報特定装置、方法、及びプログラム Download PDF

Info

Publication number
JP2017078915A
JP2017078915A JP2015205822A JP2015205822A JP2017078915A JP 2017078915 A JP2017078915 A JP 2017078915A JP 2015205822 A JP2015205822 A JP 2015205822A JP 2015205822 A JP2015205822 A JP 2015205822A JP 2017078915 A JP2017078915 A JP 2017078915A
Authority
JP
Japan
Prior art keywords
gesture
user
code
display position
gesture code
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2015205822A
Other languages
English (en)
Inventor
洋平 関
Yohei Seki
洋平 関
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujitsu Ltd
Original Assignee
Fujitsu Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujitsu Ltd filed Critical Fujitsu Ltd
Priority to JP2015205822A priority Critical patent/JP2017078915A/ja
Publication of JP2017078915A publication Critical patent/JP2017078915A/ja
Pending legal-status Critical Current

Links

Images

Landscapes

  • User Interface Of Digital Computer (AREA)

Abstract

【課題】ユーザへのジェスチャを指示するジェスチャコードとして、類似するジェスチャコードが複数表示されている場合でも、ユーザが行ったジェスチャに対応するジェスチャコードを特定する。【解決手段】取得部11が、ユーザにより行われたジェスチャの軌跡、ユーザとジェスチャが行われた位置との距離、及びユーザの位置を取得する。記憶部には、複数のジェスチャコードの各々に、ジェスチャコードの表示位置、及びジェスチャコードの表示位置における所定の形状のサイズの各々が対応付けて記憶される。特定部12が、ジェスチャの軌跡と、ジェスチャコードが指示する形状との類似度が所定値以上となるジェスチャコードから、ユーザ−ジェスチャコード間の距離、ジェスチャコードのサイズ、ユーザ−ジェスチャ間の距離、及びジェスチャのサイズに基づいて、ユーザにより行われたジェスチャに対応するジェスチャコードを特定する。【選択図】図1

Description

開示の技術は、情報特定装置、情報特定方法、及び情報特定プログラムに関する。
加速度センサやジャイロセンサ付きの指輪型やグローブ型のウェアラブルデバイスを用いて、指先や腕などのジェスチャを認識するシステムがある。このようなシステムで認識されるジェスチャを利用して、例えば、広告、ポスター、表示装置等に表示された情報の指定や、機器の操作を行うサービスや製品が提供され始めている。
例えば、現実世界において評価者が対象に能動的に評価を与える際に、対象を選別可能な評価システムが提案されている。このシステムでは、特定の操作を検知した場合に操作情報を記憶部に記憶し、複数の評価の対象から評価の対象の識別情報及び評価の対象が記憶している操作情報を取得し、記憶部に記憶する。また、取得された複数の操作情報のうち、検知された操作情報と一致する操作情報を決定し、一致した操作情報と共に取得した識別情報を、評価の対象の評価情報を集計する外部装置に送信する。
特開2014−26468号公報
ここで、ジェスチャコードが示す図形等の表示に従ってユーザがジェスチャを行う場合、ジェスチャコードが示す図形等が複雑であると、ユーザの負担になったり、ジェスチャの認識精度が低下したりするという問題がある。そのため、ジェスチャコードは簡易な図形等を示すものであることが望ましい。しかし、ジェスチャコードを簡易なものとしてしまうと、ジェスチャを行うユーザの視認範囲に複数のジェスチャコードが表示される場合に、これらのジェスチャコードが示す図形等がお互いに類似したものとなってしまう可能性が高くなる。この場合、ユーザが意図しないジェスチャコードに対応するジェスチャが行われたと判定されてしまう場合がある。したがって、ユーザが指定したジェスチャコードに応じたコンテンツを取得するサービスの場合、ユーザは、意図しないコンテンツを取得することになってしまう。
開示の技術は、一つの側面として、ユーザへのジェスチャを指示するジェスチャコードとして、類似するジェスチャコードが複数表示されている場合でも、ユーザが行ったジェスチャに対応するジェスチャコードを特定することを目的とする。
開示の技術は、一つの側面として、ユーザにより行われたジェスチャの軌跡、前記ユーザと前記ジェスチャが行われた位置との距離、及び前記ユーザの位置を取得する取得部を備える。また、開示の技術は、所定の形状を描くジェスチャを指示する複数のジェスチャコードの各々に、該ジェスチャコードの表示位置、及び該ジェスチャコードの表示位置における前記所定の形状のサイズの各々を対応付けて記憶した記憶部を備える。さらに、開示の技術は、前記記憶部に記憶された複数のジェスチャコードから、前記ユーザにより行われたジェスチャに対応するジェスチャコードを特定する特定部を備える。特定部は、前記取得部により取得されたジェスチャの軌跡と、該ジェスチャコードが指示する前記所定の形状との類似度が所定値以上となるジェスチャコードから、ジェスチャに対応するジェスチャコードを特定する。特定には、前記ユーザの位置と前記ジェスチャコードの表示位置との距離、前記ジェスチャコードの表示位置における前記所定の形状のサイズ、及び前記ユーザと前記ジェスチャが行われた位置との距離が用いられる。また、特定には、前記ジェスチャの軌跡から得られるジェスチャのサイズが用いられる。
一つの側面として、ユーザへのジェスチャを指示するジェスチャコードとして、類似するジェスチャコードが複数表示されている場合でも、ユーザが行ったジェスチャに対応するジェスチャコードを特定することができる、という効果を有する。
第1及び第2実施形態に係るコンテンツ提供システムの概略構成を示すブロック図である。 ジェスチャコードデータベースの一例を示す図である。 ジェスチャコードが示す図形又はジェスチャの軌跡の幅を説明するための図である。 距離に応じたジェスチャコードの見え方の違いを説明するための図である。 ジェスチャコードの見かけ上の幅を説明するための図である。 ジェスチャコードの見かけ上の幅を説明するための図である。 情報特定装置として機能するコンピュータの概略構成を示すブロック図である。 ユーザ端末として機能するコンピュータの概略構成を示すブロック図である。 第1実施形態におけるユーザ端末側処理の一例を示すフローチャートである。 第1実施形態における情報特定処理の一例を示すフローチャートである。 第2実施形態におけるユーザ端末側処理の一例を示すフローチャートである。 第2実施形態における情報特定処理の一例を示すフローチャートである。 文字、記号、又は図形以外を示すジェスチャコードの一例を示す図である。 文字、記号、又は図形以外を示すジェスチャコードの一例を示す図である。
以下、図面を参照して開示の技術に係る実施形態の一例を詳細に説明する。
<第1実施形態>
図1に示すように、第1実施形態に係るコンテンツ提供システム100は、情報特定装置10と、ユーザ端末20と、ジェスチャ検出装置30と、複数の表示媒体40とを含む。コンテンツ提供システム100では、表示媒体40に表示されたジェスチャコードに応じたジェスチャを、ジェスチャ検出装置30を装着したユーザが行い、ユーザが行ったジェスチャに対応するジェスチャコードに紐付いたコンテンツがユーザに提供される。なお、本実施形態では、表示媒体40に表示された文字、記号、図形等を示すジェスチャコードをなぞるようなジェスチャをユーザが行うことを想定している。
表示媒体40は、ユーザが行うべきジェスチャを示すジェスチャコードが表示される媒体である。表示媒体40には、例えば、店舗のカウンター等に設置されたモニターや、建物の壁面に設置された大型ディスプレイ等の電子表示媒体、及び店舗の壁面等に貼られたポスター等の紙媒体が含まれる。
ジェスチャ検出装置30は、ジャイロセンサ、加速度センサ、地磁気センサ等を含み、ユーザにより行われたジェスチャに応じた各センサのセンサ値を検出する。例えば、ジェスチャ検出装置30は、指輪型、リスト型、グローブ型等のウェアラブルデバイスで、ユーザの指又は手に装着され、ユーザの指又は手によって行われたジェスチャを検出する。また、ジェスチャ検出装置30は、ユーザ端末20との間でBluetooth(登録商標)、Wi−Fi(登録商標)、キャリアの通信回線等を利用して通信を確立し、検出したセンサ値をユーザ端末20に送信する。
なお、ユーザ端末20にジャイロセンサ、加速度センサ、地磁気センサ等が搭載されている場合には、ユーザ端末20自体をジェスチャ検出装置30として機能させてもよい。
ユーザ端末20は、スマートフォンやタブレット端末等の情報処理装置である。ユーザ端末20は、機能的には、図1に示すように、位置検出部21と、ジェスチャ認識部22と、要求部23と、表示制御部24とを含む。
位置検出部21は、ユーザ端末20に搭載された測位システムを利用して、ユーザ端末20の経度、緯度、高度、又はそれに相当する位置座標情報を検出する。測位システムとしては、例えば、GPS(Global Positioning System)、IMES(Indoor MEssaging System)、Wi−Fi(登録商標)やBluetooth(登録商標)等の電波測位システム等を利用することができる。
ジェスチャ認識部22は、ジェスチャ検出装置30から送信された各センサのセンサ値を取得し、センサ値が示すジェスチャの軌跡を算出する。例えば、ジェスチャ認識部22は、所定の鉛直平面内の2次元座標値(x,y)の系列として、ジェスチャの軌跡を算出する。
要求部23は、ユーザの位置からジェスチャが行われた位置、すなわちジェスチャ検出装置30の位置までの距離Xfを取得する。距離Xfとして、ユーザがジェスチャを行うときのユーザの視点からジェスチャする指先までの距離を事前に計測して登録しておき、要求部23は、この登録された距離を取得すればよい。また、デプスカメラ付きのウェアラブル眼鏡をユーザが装着し、ジェスチャを行う毎に指先までの距離を計測し、要求部23は、この計測された距離を距離Xfとして取得してもよい。また、指先にマーカーを付け、そのマーカーの大きさから距離を計測するなどしてもよい。この場合、デプスカメラではなく、普通のカメラを用いることができる。
また、要求部23は、取得した距離Xf、位置検出部21で検出されたユーザ端末20の位置座標情報、及びジェスチャ認識部22で計算されたジェスチャの軌跡の座標値を含むコンテンツ要求を作成し、情報特定装置10に送信する。
また、要求部23は、コンテンツ要求に応じて、情報特定装置10から送信されるコンテンツを受信し、受信したコンテンツを表示制御部24へ受け渡す。
表示制御部24は、要求部23から受け渡されたコンテンツが、ユーザ端末20が備える表示部に表示されるように、表示部を制御する。
情報特定装置10は、パーソナルコンピュータ、サーバ装置等の情報処理装置である。情報特定装置10は、機能的には、図1に示すように、取得部11と、特定部12と、送信部13とを含む。また、情報特定装置10の所定の記憶領域には、ジェスチャコードデータベース(DB)15が記憶される。
取得部11は、ユーザ端末20から送信されるコンテンツ要求を取得し、特定部12へ受け渡す。
ジェスチャコードDB15には、例えば、図2に示すように、複数のジェスチャコードの各々に関するジェスチャコード情報の各々が記憶される。図2の例では、各行が1つのジェスチャコード情報に相当する。各ジェスチャコード情報は、「ジェスチャコードID」、「形状」、「表示位置」、「サイズ」、及び「コンテンツ」の項目を含む。「ジェスチャコードID」は、ジェスチャコードの識別情報である。「形状」は、ジェスチャコードが示す文字、記号、又は図形の形状を表す2次元座標値(x,y)の系列である。「表示位置」は、ジェスチャコードが表示される表示媒体40が設置されている位置の緯度、経度、及び高度の情報である。
「サイズ」は、表示媒体40に表示されたジェスチャコードが示す文字、記号、又は図形の幅Gcである。ジェスチャコードの幅Gcは、例えば、図3に示すように、ジェスチャコードが示す文字、記号、又は図形の形状の外接四角形の縦幅又は横幅としてもよいし、所定の頂点間の距離としてもよい。表示媒体40が電子表示媒体の場合には、表示媒体40の表示画面の幅の比率に応じて、ジェスチャコードの幅Gcを算出して登録しておく。また、「サイズ」の項目には、ジェスチャコードの形状のどの部分の幅をGcとしているかを示す情報も合わせて記憶する。また、1つのジェスチャコードに対して、複数のGcを定めてもよい。「コンテンツ」は、ユーザに提供される画像、映像、音楽等のコンテンツのデータである。
特定部12は、取得部11から受け渡されたコンテンツ要求に含まれるジェスチャの軌跡の座標値が示すジェスチャの軌跡と、ジェスチャコードDB15に記憶された各ジェスチャコードの「形状」が示す形状とのパターンマッチングを行う。パターンマッチングは従来既知の手法を用いることができる。また、特定部12は、ジェスチャの軌跡及びジェスチャコードの形状の各々のサイズを正規化した上で、パターンマッチングを行う。特定部12は、ジェスチャの軌跡とのパターンマッチングの結果、マッチング度が所定値以上となるジェスチャコードを抽出する。
また、特定部12は、取得部11から受け渡されたコンテンツ要求に含まれるユーザ端末20の位置座標情報、及びジェスチャコードDB15に記憶された「表示位置」を用いて、ユーザの位置とジェスチャコードの表示位置との距離Xgを算出する。また、特定部12は、取得部11から受け渡されたコンテンツ要求に含まれるジェスチャの軌跡の座標値が示すジェスチャの軌跡の幅Gbを算出する。具体的には、特定部12は、ジェスチャコードの幅Gcの場合と同様に、図3に示すように、ジェスチャの軌跡の外接四角形の縦幅又は横幅や、頂点間の距離を幅Gbとして算出する。
特定部12は、ユーザのジェスチャに対応するジェスチャコードを特定するに当たり、ジェスチャコードの見かけ上の幅Yの概念を導入する。幅Yは、取得部11から受け渡されたコンテンツ要求に含まれる距離Xf、並びに算出した距離Xg及び幅Gbを用いて、表される。ジェスチャコードの見かけ上の幅Yとは、ユーザの視点から距離Xgの位置における、ユーザの視点から距離Xfの位置で行われたジェスチャに相当するジェスチャコードの幅である。
ここで、ジェスチャコードの見かけ上の幅Yを導入する理由について説明する。
本実施形態では、上述したように、表示媒体40に表示されたジェスチャコードが示す文字、記号、図形等をなぞるようなジェスチャをユーザが行うことを想定している。例えば、図4に示すように、表示媒体40Aにジェスチャコード90Aが表示され、表示媒体40Aとは離れた距離に存在する表示媒体40Bにジェスチャコード90Bが表示されているとする。ジェスチャコード90Aとジェスチャコード90Bとは形状が同一又は類似しており、幅Gcは同一又は略同一(ここでは、30cm)であるとする。この場合において、ユーザ35がジェスチャ検出装置30を用いて、ジェスチャコード90Aをなぞるようにジェスチャを行ったとする。情報特定装置10では、特定部12が、ユーザが行ったジェスチャの軌跡とマッチするジェスチャコードを抽出するが、図4の例では、ジェスチャコード90Aと形状が同一又は類似であるジェスチャコード90Bも抽出されてしまう。このジェスチャコード90Aとジェスチャコード90Bとを区別するために、ジェスチャコードの見かけ上の幅Yを用いて、ユーザのジェスチャの軌跡の幅と同等(近い)のジェスチャコードを選択する。これにより、ユーザが意図した方のジェスチャコードを特定できるようにする。
具体例を示して説明すると、図5に示すように、ユーザの視点から50cmの距離で、幅10cmのジェスチャをユーザが行ったとする。このジェスチャは、ユーザの視点から200cmの距離にある幅40cmのジェスチャコードをなぞったジェスチャに相当する。すなわち、ユーザによる幅10cmのジェスチャに相当するジェスチャコードの距離50cmの位置における見かけ上の幅Yは40cmである。同様に、ユーザのジェスチャは、ユーザの視点から500cmの距離にある幅100cmのジェスチャコードをなぞったジェスチャに相当する。すなわち、ユーザによる幅10cmのジェスチャに相当するジェスチャコードの距離200cmの位置における見かけ上の幅Yは100cmである。
人が物体を視認する際、人の視点から物体までの距離の違いによって、人が視認する物体の大きさは変化する。例えば、配置距離の異なる同じ大きさの物体が2つあるとき、近い物体は大きく、遠い物体は小さく見える。ここでは、上述したように、それぞれユーザの視点から異なる距離に表示されているジェスチャコード90A及びジェスチャコード90Bの実際の幅は共に30cmである。この実際のジェスチャコードの幅と見かけ上の幅との一致度合いが高いほど、ユーザが行ったジェスチャに対応するジェスチャコードである可能性が高い。
したがって、特定部12は、ジェスチャの軌跡とのパターンマッチングにより複数のジェスチャコードが抽出された場合に、実際のジェスチャコードの幅と見かけ上の幅との一致度合いに基づいて、ジェスチャコードを区別する。
図6に、ユーザからジェスチャまでの距離Xfと、ジェスチャの幅Gbと、ジェスチャコードの幅Gcと、ユーザからジェスチャコードまでの距離Xgと、ジェスチャコードの見かけ上の幅Yとの関係を示す。図6から、三角形の相似を利用して、下記(1)式の関係が成り立つ。
Xf:Gb=Xg:Y (1)
(1)式より、ジェスチャコードの見かけ上の幅Yは、下記(2)式により算出することができる。
Y=XgGb/Xf (2)
したがって、実際のジェスチャコードの幅Gcと見かけ上の幅Yとの比は、下記(3)式で表される。
Gc/(XgGb/Xf)=XfGc/XgGb (3)
特定部12は、パターンマッチングによりジェスチャコードDB15から抽出したジェスチャコードのうち、(3)式の値が最も「1」に近いジェスチャコードを、ユーザが行ったジェスチャに対応するジェスチャコードとして特定する。
なお、ジェスチャコードの特定方法は、上記の(3)式を用いる場合に限定されず、図6、及び(1)式の関係を利用した方法であればよい。
また、特定部12は、ジェスチャの軌跡とのパターンマッチングによりジェスチャコードを抽出する前に、ジェスチャコードDB15に含まれるジェスチャコードのうち、ユーザの視認範囲に存在するとみなされるジェスチャコードを絞り込んでもよい。例えば、特定部12は、ユーザ端末20の位置座標情報と、ジェスチャコードの表示位置との距離が所定範囲内のジェスチャコードに絞り込んだ後で、ジェスチャの軌跡とのパターンマッチングによりジェスチャコードを抽出してもよい。
送信部13は、特定部12により特定されたジェスチャコードに対応するコンテンツをジェスチャコードDB15から取得し、コンテンツ要求に対する応答として、ユーザ端末20に送信する。
情報特定装置10は、例えば図7に示すコンピュータ50で実現することができる。コンピュータ50はCPU51、一時記憶領域としてのメモリ52、及び不揮発性の記憶部53を備える。また、コンピュータ50は、入出力装置54と、記録媒体59に対するデータの読み込み及び書き込みを制御するread/write(R/W)部55と、インターネット等のネットワークに接続されるネットワークインターフェース(I/F)56とを備える。CPU51、メモリ52、記憶部53、入出力装置54、R/W部55、及びネットワークI/F56は、バス57を介して互いに接続される。
記憶部53は、HDD(Hard Disk Drive)、SSD(solid state drive)、フラッシュメモリ等によって実現できる。記憶媒体としての記憶部53には、コンピュータ50を情報特定装置10として機能させるための情報特定プログラム60が記憶される。情報特定プログラム60は、取得プロセス61と、特定プロセス62と、送信プロセス63とを有する。また、記憶部53は、ジェスチャコードDB15を構成するジェスチャコード情報が記憶されるジェスチャコード情報記憶領域65を有する。
CPU51は、情報特定プログラム60を記憶部53から読み出してメモリ52に展開し、情報特定プログラム60が有するプロセスを順次実行する。CPU51は、取得プロセス61を実行することで、図1に示す取得部11として動作する。また、CPU51は、特定プロセス62を実行することで、図1に示す特定部12として動作する。また、CPU51は、送信プロセス63を実行することで、図1に示す送信部13として動作する。また、CPU41は、ジェスチャコード情報記憶領域65からジェスチャコード情報を読み出して、ジェスチャコードDB15としてメモリ52に展開する。これにより、情報特定プログラム60を実行したコンピュータ50が、情報特定装置10として機能することになる。
ユーザ端末20は、例えば図8に示すコンピュータ70で実現することができる。コンピュータ70はCPU71、一時記憶領域としてのメモリ72、及び不揮発性の記憶部73を備える。また、コンピュータ70は、入出力装置74と、記録媒体79に対するデータの読み込み及び書き込みを制御するR/W部75と、インターネット等のネットワークに接続されるネットワークI/F76とを備える。CPU71、メモリ72、記憶部73、入出力装置74、R/W部75、及びネットワークI/F76は、バス77を介して互いに接続される。
記憶部73は、HDD、SSD、フラッシュメモリ等によって実現できる。記憶媒体としての記憶部73には、コンピュータ70をユーザ端末20として機能させるためのユーザ端末側プログラム80が記憶される。ユーザ端末側プログラム80は、位置検出プロセス81と、ジェスチャ認識プロセス82と、要求プロセス83と、表示制御プロセス84とを有する。
CPU71は、ユーザ端末側プログラム80を記憶部73から読み出してメモリ72に展開し、ユーザ端末側プログラム80が有するプロセスを順次実行する。CPU71は、位置検出プロセス81を実行することで、図1に示す位置検出部21として動作する。また、CPU81は、ジェスチャ認識プロセス82を実行することで、図1に示すジェスチャ認識部22として動作する。また、CPU71は、要求プロセス83を実行することで、図1に示す要求部23として動作する。また、CPU71は、表示制御プロセス84を実行することで、図1に示す表示制御部24として動作する。これにより、ユーザ端末側プログラム80を実行したコンピュータ70が、ユーザ端末20として機能することになる。
なお、情報特定プログラム60及びユーザ端末側プログラム80の各々により実現される機能は、例えば半導体集積回路、より詳しくはASIC(Application Specific Integrated Circuit)等で実現することも可能である。
次に、第1実施形態に係るコンテンツ提供システム100の作用について説明する。ユーザ端末20において、コンテンツ提供システム100により提供されるサービスを利用するためのアプリケーションが起動されると、ユーザ端末20が、図9に示すユーザ端末側処理を実行する。
図9に示すユーザ端末側処理のステップS11で、ジェスチャ認識部22が、ジェスチャ検出装置30に、ジェスチャに応じた各センサのセンサ値の検出を開始するよう指示する。ユーザは、自身の視認範囲に存在する表示媒体40に表示されたジェスチャコードが示す図形等をなぞるジェスチャを行う。ジェスチャ検出装置30では、ジャイロセンサ、加速度センサ、地磁気センサ等の各センサが、ユーザにより行われたジェスチャに応じたセンサ値を検出する。そして、ジェスチャ検出装置30は、検出したセンサ値をユーザ端末20に送信する。ジェスチャ認識部22が、ジェスチャ検出装置30から送信された各センサのセンサ値を取得する。次に、ステップS12で、ジェスチャ認識部22が、取得したセンサ値が示すジェスチャの軌跡を算出する。
次に、ステップS13で、位置検出部21が、ユーザ端末20に搭載された測位システムを利用して、ユーザ端末20の経度、緯度、高度、又はそれに相当する位置座標情報を検出する。
次に、ステップS14で、要求部23が、ユーザの位置からジェスチャが行われた位置までの距離Xfを取得する。そして、要求部23は、取得した距離Xf、位置検出部21で検出されたユーザ端末20の位置座標情報、及びジェスチャ認識部22で計算されたジェスチャの軌跡の座標値を含むコンテンツ要求を作成し、情報特定装置10に送信する。
情報特定装置10において、詳細を後述する情報特定処理が実行され、コンテンツ要求に応じたコンテンツが送信される。
次に、ステップS15で、要求部23が、コンテンツ要求に応じて、情報特定装置10から送信されるコンテンツを受信したか否かを判定する。コンテンツを受信した場合には、処理はステップS16へ移行し、受信していない場合には、本ステップの判定を繰り返す。
ステップS16では、要求部23が、受信したコンテンツを表示制御部24へ受け渡す。そして、表示制御部24が、要求部23から受け渡されたコンテンツが、ユーザ端末20が備える表示部に表示されるように、表示部を制御し、ユーザ端末側処理は終了する。
なお、上記ステップS15において、所定時間経過してもコンテンツを受信しない場合には、ユーザ端末側処理を終了してもよいし、表示制御部24が、コンテンツの取得に失敗した旨の表示や、再度ジェスチャを行うことを促す旨の表示を行ってもよい。
次に、図10を参照して、情報特定処理について説明する。
ステップS21で、取得部11が、ユーザ端末20から送信されたコンテンツ要求を取得し、特定部12へ受け渡す。
次に、ステップS22で、特定部12が、取得部11から受け渡されたコンテンツ要求に含まれるユーザ端末20の位置座標情報と、ジェスチャコードの表示位置との距離が所定範囲内のジェスチャコードを、ジェスチャコードDB15から抽出する。
次に、ステップS23で、特定部12が、上記ステップS22でジェスチャコードが抽出されたか否かを判定する。ジェスチャコードが1つでも抽出されている場合には、処理はステップS24へ移行し、ジェスチャコードが抽出されなかった場合には、情報特定処理は終了する。
ステップS24では、特定部12が、コンテンツ要求に含まれるジェスチャの軌跡の座標値が示すジェスチャの軌跡と、ジェスチャコードDB15から抽出された各ジェスチャコードの「形状」が示す形状とのパターンマッチングを行う。そして、特定部12は、ジェスチャの軌跡とのマッチング度が予め定めた閾値以上となるジェスチャコードを抽出する。
次に、ステップS25で、特定部12が、上記ステップS24で抽出されたジェスチャコードが複数存在するか否かを判定する。抽出されたジェスチャコードが複数存在する場合には、処理はステップS26へ移行する。抽出されたジェスチャコードが1つだけの場合には、特定部12は、そのジェスチャコードを、ユーザのジェスチャに対応するジェスチャコードとして特定し、処理はステップS29へ移行する。
ステップS26では、特定部12が、上記ステップS24で抽出されたジェスチャコードの各々について、ユーザの位置とジェスチャコードの表示位置との距離Xgを算出する。距離Xgの算出には、コンテンツ要求に含まれるユーザ端末20の位置座標情報、及びジェスチャコードDB15に記憶された「表示位置」を用いる。また、特定部12が、コンテンツ要求に含まれるジェスチャの軌跡の座標値が示すジェスチャの軌跡の幅Gbを算出する。
次に、ステップS27で、特定部12が、上記ステップS24で抽出されたジェスチャコードの各々について、例えば、(3)式に示す実際のジェスチャコードの幅Gcと見かけ上の幅Yとの比を算出する。距離Xfは、コンテンツ要求に含まれ、ジェスチャコードの幅Gcは、ジェスチャコードDB15の項目「サイズ」に記憶されており、距離Xg及びジェスチャの幅Gbは、上記ステップS26で算出した値である。
次に、ステップS28で、特定部12が、上記ステップS27で算出した比が最も「1」に近いジェスチャコードを、ユーザが行ったジェスチャに対応するジェスチャコードとして特定する。
次に、ステップS29で、送信部13が、特定部12により特定されたジェスチャコードに対応するコンテンツをジェスチャコードDB15から取得し、コンテンツ要求に対する応答として、ユーザ端末20に送信し、情報特定処理は終了する。
以上説明したように、第1実施形態に係るコンテンツ提供システム100によれば、情報特定装置10が、ジェスチャコードの見かけ上の幅の概念を導入する。ジェスチャコードの見かけ上の幅は、ユーザとジェスチャとの距離、ジェスチャの幅、及びユーザとジェスチャコードの表示位置との距離から得られる。そして、情報特定装置10は、実際のジェスチャコードの幅と見かけ上の幅との比が最も1に近いジェスチャコードを、ユーザのジェスチャに対応するジェスチャコードとして特定する。これにより、類似するジェスチャコードが複数表示されている場合でも、ユーザが行ったジェスチャに対応するジェスチャコードを特定することができる。
<第2実施形態>
次に、第2実施形態について説明する。なお、第2実施形態に係るコンテンツ提供システムについて、第1実施形態に係るコンテンツ提供システムと同様の部分については、同一符号を付して、詳細な説明を省略する。
図1に示すように、第2実施形態に係るコンテンツ提供システム200は、情報特定装置210と、ユーザ端末220と、ジェスチャ検出装置30と、複数の表示媒体40とを含む。
ユーザ端末220は、機能的には、図1に示すように、位置検出部221と、ジェスチャ認識部22と、要求部223と、表示制御部24とを含む。
位置検出部221は、第1実施形態における位置検出部21と同様に、ユーザ端末220の位置座標情報を検出する。さらに、位置検出部221は、ジェスチャ検出装置30から取得した地磁気センサのセンサ値から、ユーザがジェスチャを開始した際の指又は身体の方向を、ユーザが向いている方向として検出する。ユーザが向いている方向とは、ユーザの視点からジェスチャが行われた位置へ向かう方向である。なお、ユーザ端末220が地磁気センサを搭載している場合には、そのセンサ値を利用してもよい。
要求部223は、第1実施形態における要求部23と同様に、ユーザの位置からジェスチャが行われた位置までの距離Xf、ユーザ端末20の位置座標情報、及びジェスチャの軌跡の座標値を含むコンテンツ要求を作成する。さらに、要求部223は、位置検出部221で検出されたユーザが向いている方向を、コンテンツ要求に含める。そして、要求部223は、作成したコンテンツ要求を情報特定装置210に送信する。
情報特定装置210は、機能的には、図1に示すように、取得部11と、特定部212と、送信部13とを含む。また、情報特定装置210の所定の記憶領域には、ジェスチャコードDB15が記憶される。
特定部212は、第1実施形態における特定部12と同様に、ジェスチャコードDB15に記憶されたジェスチャコードから、ユーザが行ったジェスチャに対応するジェスチャコードを特定する。この際、特定部212は、ユーザが向いている方向も考慮して、ジェスチャコードを特定する。
これは、ユーザからの距離が同じで、ユーザから見た方向がそれぞれ異なる位置に複数の同一又は類似するジェスチャコードが表示されている場合に対応するためである。例えば、ユーザから北100mの位置に表示されているジェスチャコードと、南100mの位置の表示されているジェスチャコードとでは、北と南と違う方向に位置するが、距離は100mで同じである。そのため、第1実施形態のように、ジェスチャコードの見かけ上の幅Yを用いてジェスチャコードを特定しようとしても、ユーザが行ったジェスチャに対応するジェスチャコードがどちらかを特定することができない。
そこで、特定部212は、ジェスチャコードの幅Gcと見かけ上の幅Yとの比が1に近いジェスチャコードのうち、ユーザからジェスチャコードへ向かう方向が、ユーザが向いている方向に最も近いジェスチャコードを特定する。なお、幅Gcと幅Yとの比が1に近いジェスチャコードとしては、幅Gcと幅Yとの比が1を中心とした所定範囲に含まれるジェスチャコードや、幅Gcと幅Yとの比が1に近い順に選択した所定個のジェスチャコードとすることができる。
情報特定装置210は、例えば図7に示すコンピュータ50で実現することができる。コンピュータ50の記憶部53には、コンピュータ50を情報特定装置210として機能させるための情報特定プログラム260が記憶される。情報特定プログラム260は、取得プロセス61と、特定プロセス262と、送信プロセス63とを有する。
CPU51は、情報特定プログラム60を記憶部53から読み出してメモリ52に展開し、情報特定プログラム260が有するプロセスを順次実行する。CPU51は、特定プロセス262を実行することで、図1に示す特定部212として動作する。他のプロセスについては、第1実施形態における情報特定プログラム60と同様である。これにより、情報特定プログラム260を実行したコンピュータ50が、情報特定装置210として機能することになる。
ユーザ端末20は、例えば図8に示すコンピュータ70で実現することができる。コンピュータ70の記憶部73には、コンピュータ70をユーザ端末220として機能させるためのユーザ端末側プログラム280が記憶される。ユーザ端末側プログラム280は、位置検出プロセス281と、ジェスチャ認識プロセス82と、要求プロセス283と、表示制御プロセス84とを有する。
CPU71は、ユーザ端末側プログラム280を記憶部73から読み出してメモリ72に展開し、ユーザ端末側プログラム280が有するプロセスを順次実行する。CPU71は、位置検出プロセス281を実行することで、図1に示す位置検出部221として動作する。また、CPU71は、要求プロセス283を実行することで、図1に示す要求部223として動作する。他のプロセスについては、第1実施形態におけるユーザ端末側プログラム80と同様である。これにより、ユーザ端末側プログラム280を実行したコンピュータ70が、ユーザ端末220として機能することになる。
なお、情報特定プログラム260及びユーザ端末側プログラム280の各々により実現される機能は、例えば半導体集積回路、より詳しくはASIC等で実現することも可能である。
次に、第2実施形態に係るコンテンツ提供システム200の作用について説明する。ユーザ端末220において、コンテンツ提供システム200により提供されるサービスを利用するためのアプリケーションが起動されると、ユーザ端末220が、図11に示すユーザ端末側処理を実行する。なお、図11に示すユーザ端末側処理において、第1実施形態におけるユーザ端末側処理(図9)と同様の処理については、同一符号を付して、詳細な説明を省略する。
図11に示すユーザ端末側処理のステップS13の次のステップS213で、位置検出部221が、ジェスチャ検出装置30から取得した地磁気センサのセンサ値から、ユーザが向いている方向を検出する。
次に、ステップS214で、要求部223が、ユーザの位置からジェスチャが行われた位置までの距離Xf、ユーザ端末20の位置座標情報、ジェスチャの軌跡の座標値、及びユーザが向いている方向を含むコンテンツ要求を作成する。そして、要求部223は、作成したコンテンツ要求を情報特定装置10に送信する。
情報特定装置210では、図12に示す情報特定処理が実行される。なお、図12に示す情報特定処理において、第1実施形態における情報特定処理(図10)と同様の処理については、同一符号を付して、詳細な説明を省略する。
図12に示す情報特定処理のステップS27の次のステップS227で、特定部212が、上記ステップS27で算出したジェスチャコードの実際の幅Gcと見かけ上の幅Yとの比が1に近いジェスチャコードを抽出する。次に、ステップS228で、特定部212が、上記ステップS227で抽出したジェスチャコードのうち、ユーザからジェスチャコードへ向かう方向が、ユーザが向いている方向に最も近いジェスチャコードを特定する。
以上説明したように、第2実施形態に係るコンテンツ提供システム200によれば、情報特定装置210が、ユーザがジェスチャを行った際に向いている方向も考慮して、ジェスチャコードを特定する。これにより、ユーザが行ったジェスチャに対応するジェスチャコードを、より適切に特定することができる。
なお、第2実施形態では、ジェスチャコードの幅Gcと見かけ上の幅Yとの比が1に近く、かつユーザが向いている方向に存在するジェスチャコードを特定する場合について説明したが、これに限定されない。例えば、第1実施形態における情報特定処理(図10)のステップS22において、特定部が、ユーザから視認可能なジェスチャコードを抽出する際に、ユーザが向いている方向も考慮して抽出するようにしてもよい。具体的には、特定部が、ユーザ端末20の位置座標情報と、ジェスチャコードの表示位置との距離が所定範囲内のジェスチャコードを、ジェスチャコードDB15から抽出する。さらに、特定部は、ユーザの位置から見たジェスチャコードの表示位置の方向が、ユーザが向いている方向を中心とした所定範囲の方向に含まれるジェスチャコードを抽出する。
また、上記各実施形態では、形状が同一又は類似でサイズが同じ又は略同じジェスチャコードが、ユーザから異なる距離に存在する場合に、これらのジェスチャコードを区別する場合を例に説明したが、これに限定されない。形状が同一又は類似でサイズが異なるジェスチャコードが、ユーザから同じ又は略同じ距離に存在する場合にも、開示の技術を適用することができる。
また、上記各実施形態では、ユーザ端末20(又は220)のジェスチャ認識部22で、ユーザが行ったジェスチャの軌跡を算出する場合について説明したが、ジェスチャの軌跡の算出は、情報特定装置10(又は210)で行ってもよい。この場合、ユーザ端末は、ジェスチャ検出装置30から取得した各センサのセンサ値を情報特定装置へ送信する。そして、情報特定装置にジェスチャ認識部22を設け、ジェスチャ認識部22が、ユーザ端末から取得したセンサ値に基づいて、ジェスチャの軌跡を算出すればよい。この場合、ユーザ端末へインストールするアプリケーションのプログラムを簡略化することができる。
また、上記各実施形態では、表示媒体40に表示されたジェスチャコードが示す文字、記号、又は図形の形状をなぞるジェスチャを行う場合について説明したが、これに限定されない。例えば、図13に示すように、表示媒体40に、「このディスプレイの縁をなぞるジェスチャを行ってください。」のような、ユーザが行うべきジェスチャをメッセージで表示してもよい。この場合、ジェスチャコードDB15に、表示するメッセージを登録しておくと共に、項目「形状」には、ディスプレイの縁をなぞった形状(長方形)を登録しておけばよい。また、ディスプレイの縦幅又は横幅を、ジェスチャコードの幅Gcとして、ジェスチャコードDB15の項目「サイズ」に登録しておけばよい。
また、例えば、「表示されるマークを順番にタッチするジェスチャを行ってください。」のようなメッセージと共に、図14に示すようなマーク(図14の例では丸)1〜6を、ジェスチャコードとして順番に表示してもよい。この場合、ユーザは、図14に破線で示すように、星型を描くようなジェスチャを行うことになる。すなわち、ジェスチャコードとしては、星型の形状を表示するわけではないが、ユーザのジェスチャの軌跡としては、星型の軌跡が得られることになる。この場合、ジェスチャコードDB15に、メッセージ及びマークの情報(形状、表示位置座標、表示順など)を登録しておくと共に、項目「形状」には、最終的に描かれる星型の形状を登録しておけばよい。また、図3で説明したように、いずれかの頂点間の幅、すなわち、表示するマークのうちのいずれか2つの間の幅を、ジェスチャコードの幅Gcとして、ジェスチャコードDB15の項目「サイズ」に登録しておけばよい。
また、上記各実施形態における情報特定装置により実現される機能を、ユーザ端末に搭載してもよい。すなわち、コンピュータ70に情報特定プログラム60(又は260)もインストールし、コンピュータ70のCPU71により、情報特定プログラム60(又は260)の各プロセスを実行してもよい。
例えば、あるイベント用にユーザ端末にインストールするアプリケーションを作り、そのアプリケーションの中に、ジェスチャコードDB15を入れておく。そのイベント限定のジェスチャコードDB15であれば、ジェスチャコードDB15のために必要なメモリ容量を抑えることができる。そして、ユーザ端末内で、情報特定処理を実行して、ユーザが行ったジェスチャに対応するジェスチャコードを特定し、対応するコンテンツを表示部に表示させればよい。この場合、情報特定装置へのコンテンツ要求、及び情報特定装置からのコンテンツ取得を行う必要がないため、ユーザ端末の通信量を抑制することができる。
また、情報特定装置の全ての機能をユーザ端末に搭載する場合に限定されず、例えば、特定部12(又は212)、及びジェスチャコードDB15のみをユーザ端末に搭載してもよい。なお、この場合のジェスチャコードDB15の項目「コンテンツ」には、コンテンツ自体のデータではなく、情報特定装置に記憶されたコンテンツを特定するための情報を記憶する。この場合、ユーザ端末内で、ユーザが行ったジェスチャに対応するジェスチャコードを特定し、特定したジェスチャコードに紐付いたコンテンツを特定するための情報を情報特定装置へ送信する。情報特定装置は、受信した情報が示すコンテンツを、所定の記憶領域に記憶されたコンテンツ群から探索して取得し、ユーザ端末へ送信する。これにより、情報特定装置での処理負荷を軽減することができる。
なお、上記各実施形態では、情報特定プログラム60、260及びユーザ端末側プログラム80、280が記憶部53、73に予め記憶(インストール)されている態様を説明したが、これに限定されない。開示の技術に係る情報特定プログラム、及びユーザ端末側プログラムは、CD−ROM、DVD−ROM、USBメモリ等の記録媒体に記録された形態で提供することも可能である。
以上の各実施形態に関し、更に以下の付記を開示する。
(付記1)
ユーザにより行われたジェスチャの軌跡、前記ユーザと前記ジェスチャが行われた位置との距離、及び前記ユーザの位置を取得する取得部と、
所定の形状を描くジェスチャを指示する複数のジェスチャコードの各々に、該ジェスチャコードの表示位置、及び該ジェスチャコードの表示位置における前記所定の形状のサイズの各々を対応付けて記憶した記憶部と、
前記記憶部に記憶された複数のジェスチャコードのうち、前記取得部により取得されたジェスチャの軌跡と、該ジェスチャコードが指示する前記所定の形状との類似度が所定値以上となるジェスチャコードから、前記ユーザの位置と前記ジェスチャコードの表示位置との距離、前記ジェスチャコードの表示位置における前記所定の形状のサイズ、前記ユーザと前記ジェスチャが行われた位置との距離、及び前記ジェスチャの軌跡から得られるジェスチャのサイズに基づいて、前記ユーザにより行われたジェスチャに対応するジェスチャコードを特定する特定部と、
を含む情報特定装置。
(付記2)
前記特定部は、前記類似度が所定値以上となるジェスチャコードから、前記ジェスチャの軌跡のサイズに相当する前記ジェスチャコードの表示位置における見かけ上のサイズと、前記ジェスチャコードの表示位置における前記所定の形状のサイズとの一致度に基づいて、前記ユーザにより行われたジェスチャに対応するジェスチャコードを特定する付記1記載の情報特定装置。
(付記3)
前記ジェスチャコードの表示位置における見かけ上のサイズは、前記ユーザと前記ジェスチャが行われた位置との距離に対する前記ユーザの位置と前記ジェスチャコードの表示位置との距離の比に、前記ジェスチャのサイズを乗算した値である付記2記載の情報特定装置。
(付記4)
前記特定部は、前記類似度が所定値以上となるジェスチャコードから、前記ジェスチャの軌跡に相当する前記ジェスチャコードの表示位置における見かけ上のサイズと、前記ジェスチャコードの表示位置における前記所定の形状のサイズとが、最も近似するジェスチャコードを特定する付記2又は付記3記載の情報特定装置。
(付記5)
前記取得部は、さらに、ジェスチャを行った際に前記ユーザが向いている方向を取得し、
前記特定部は、前記ユーザが向いている方向、及び前記ユーザの位置から前記ジェスチャコードの表示位置へ向かう方向に基づいて、前記ユーザにより行われたジェスチャに対応するジェスチャコードを特定する
付記1〜付記3のいずれか1項記載の情報特定装置。
(付記6)
前記特定部は、前記類似度が所定値以上となるジェスチャコードであって、前記ジェスチャの軌跡のサイズに相当する前記ジェスチャコードの表示位置における見かけ上のサイズと、前記ジェスチャコードの表示位置における前記所定の形状のサイズとの一致度が所定値以上のジェスチャコードのうち、前記ユーザが向いている方向と、前記ユーザの位置から前記ジェスチャコードの表示位置へ向かう方向とが最も近似するジェスチャコードを特定する付記5記載の情報特定装置。
(付記7)
前記特定部は、前記類似度が所定値以上となるジェスチャコードであって、前記ユーザの位置から前記ジェスチャコードの表示位置へ向かう方向が、前記ユーザが向いている方向を中心とした所定範囲の方向に含まれるジェスチャコードのうち、前記ジェスチャの軌跡に相当する前記ジェスチャコードの表示位置における見かけ上のサイズと、前記ジェスチャコードの表示位置における前記所定の形状のサイズとが、最も近似するジェスチャコードを特定する付記5記載の情報特定装置。
(付記8)
前記ジェスチャコードが示す前記所定の形状は、文字、記号、図形、及び該ジェスチャコードの表示位置における特定の部分の形状の少なくとも1つである付記1〜付記7のいずれか1項記載の情報特定装置。
(付記9)
前記記憶部に、前記複数のジェスチャコードの各々に、前記ユーザへ提供するコンテンツがさらに対応付けて記憶され、
前記特定部により特定されたジェスチャコードに対応するコンテンツを、前記ユーザが使用する端末へ送信する送信部を含む
付記1〜付記8のいずれか1項記載の情報特定装置。
(付記10)
コンピュータに、
ユーザにより行われたジェスチャの軌跡、前記ユーザと前記ジェスチャが行われた位置との距離、及び前記ユーザの位置を取得し、
所定の形状を描くジェスチャを指示する複数のジェスチャコードの各々に、該ジェスチャコードの表示位置、及び該ジェスチャコードの表示位置における前記所定の形状のサイズの各々を対応付けて記憶した記憶部に記憶された複数のジェスチャコードのうち、取得されたジェスチャの軌跡と、該ジェスチャコードが指示する前記所定の形状との類似度が所定値以上となるジェスチャコードから、前記ユーザの位置と前記ジェスチャコードの表示位置との距離、前記ジェスチャコードの表示位置における前記所定の形状のサイズ、前記ユーザと前記ジェスチャが行われた位置との距離、及び前記ジェスチャの軌跡から得られるジェスチャのサイズに基づいて、前記ユーザにより行われたジェスチャに対応するジェスチャコードを特定する
ことを含む処理を実行させる情報特定方法。
(付記11)
前記ユーザにより行われたジェスチャに対応するジェスチャコードの特定において、前記類似度が所定値以上となるジェスチャコードから、前記ジェスチャの軌跡に相当する前記ジェスチャコードの表示位置における見かけ上のサイズと、前記ジェスチャコードの表示位置における前記所定の形状のサイズとの一致度に基づいて、前記ユーザにより行われたジェスチャに対応するジェスチャコードを特定する付記10記載の情報特定方法。
(付記12)
前記ジェスチャコードの表示位置における見かけ上のサイズは、前記ユーザと前記ジェスチャが行われた位置との距離に対する前記ユーザの位置と前記ジェスチャコードの表示位置との距離の比に、前記ジェスチャのサイズを乗算した値である付記11記載の情報特定方法。
(付記13)
前記ユーザにより行われたジェスチャに対応するジェスチャコードの特定において、前記類似度が所定値以上となるジェスチャコードから、前記ジェスチャの軌跡のサイズに相当する前記ジェスチャコードの表示位置における見かけ上のサイズと、前記ジェスチャコードの表示位置における前記所定の形状のサイズとが、最も近似するジェスチャコードを特定する付記11又は付記12記載の情報特定方法。
(付記14)
前記ジェスチャの軌跡、前記ユーザと前記ジェスチャが行われた位置との距離、及び前記ユーザの位置を取得する際に、さらに、ジェスチャを行った際に前記ユーザが向いている方向を取得し、
前記ユーザにより行われたジェスチャに対応するジェスチャコードの特定において、前記ユーザが向いている方向、及び前記ユーザの位置から前記ジェスチャコードの表示位置へ向かう方向に基づいて、前記ユーザにより行われたジェスチャに対応するジェスチャコードを特定する
付記10〜付記12のいずれか1項記載の情報特定方法。
(付記15)
前記ユーザにより行われたジェスチャに対応するジェスチャコードの特定において、前記類似度が所定値以上となるジェスチャコードであって、前記ジェスチャの軌跡に相当する前記ジェスチャコードの表示位置における見かけ上のサイズと、前記ジェスチャコードの表示位置における前記所定の形状のサイズとの一致度が所定値以上のジェスチャコードのうち、前記ユーザが向いている方向と、前記ユーザの位置から前記ジェスチャコードの表示位置へ向かう方向とが最も近似するジェスチャコードを特定する付記14記載の情報特定方法。
(付記16)
前記ユーザにより行われたジェスチャに対応するジェスチャコードの特定において、前記類似度が所定値以上となるジェスチャコードであって、前記ユーザの位置から前記ジェスチャコードの表示位置へ向かう方向が、前記ユーザが向いている方向を中心とした所定範囲の方向に含まれるジェスチャコードのうち、前記ジェスチャの軌跡に相当する前記ジェスチャコードの表示位置における見かけ上のサイズと、前記ジェスチャコードの表示位置における前記所定の形状のサイズとが、最も近似するジェスチャコードを特定する付記14記載の情報特定方法。
(付記17)
前記ジェスチャコードが示す前記所定の形状は、文字、記号、図形、及び該ジェスチャコードの表示位置における特定の部分の形状の少なくとも1つである付記10〜付記16のいずれか1項記載の情報特定方法。
(付記18)
前記記憶部に、前記複数のジェスチャコードの各々に、前記ユーザへ提供するコンテンツがさらに対応付けて記憶され、
前記コンピュータに、特定されたジェスチャコードに対応するコンテンツを、前記ユーザが使用する端末へ送信する
ことをさらに含む処理を実行させる付記10〜付記17のいずれか1項記載の情報特定方法。
(付記19)
コンピュータに、
ユーザにより行われたジェスチャの軌跡、前記ユーザと前記ジェスチャが行われた位置との距離、及び前記ユーザの位置を取得し、
所定の形状を描くジェスチャを指示する複数のジェスチャコードの各々に、該ジェスチャコードの表示位置、及び該ジェスチャコードの表示位置における前記所定の形状のサイズの各々を対応付けて記憶した記憶部に記憶された複数のジェスチャコードのうち、取得されたジェスチャの軌跡と、該ジェスチャコードが指示する前記所定の形状との類似度が所定値以上となるジェスチャコードから、前記ユーザの位置と前記ジェスチャコードの表示位置との距離、前記ジェスチャコードの表示位置における前記所定の形状のサイズ、前記ユーザと前記ジェスチャが行われた位置との距離、及び前記ジェスチャの軌跡から得られるジェスチャのサイズに基づいて、前記ユーザにより行われたジェスチャに対応するジェスチャコードを特定する
ことを含む処理を実行させる情報特定プログラム。
(付記20)
前記ユーザにより行われたジェスチャに対応するジェスチャコードの特定において、前記類似度が所定値以上となるジェスチャコードから、前記ジェスチャの軌跡に相当する前記ジェスチャコードの表示位置における見かけ上のサイズと、前記ジェスチャコードの表示位置における前記所定の形状のサイズとの一致度に基づいて、前記ユーザにより行われたジェスチャに対応するジェスチャコードを特定する付記19記載の情報特定プログラム。
(付記21)
前記ジェスチャコードの表示位置における見かけ上のサイズは、前記ユーザと前記ジェスチャが行われた位置との距離に対する前記ユーザの位置と前記ジェスチャコードの表示位置との距離の比に、前記ジェスチャのサイズを乗算した値である付記20記載の情報特定プログラム。
(付記22)
前記ユーザにより行われたジェスチャに対応するジェスチャコードの特定において、前記類似度が所定値以上となるジェスチャコードから、前記ジェスチャの軌跡のサイズに相当する前記ジェスチャコードの表示位置における見かけ上のサイズと、前記ジェスチャコードの表示位置における前記所定の形状のサイズとが、最も近似するジェスチャコードを特定する付記20又は付記21記載の情報特定プログラム。
(付記23)
前記ジェスチャの軌跡、前記ユーザと前記ジェスチャが行われた位置との距離、及び前記ユーザの位置を取得する際に、さらに、ジェスチャを行った際に前記ユーザが向いている方向を取得し、
前記ユーザにより行われたジェスチャに対応するジェスチャコードの特定において、前記ユーザが向いている方向、及び前記ユーザの位置から前記ジェスチャコードの表示位置へ向かう方向に基づいて、前記ユーザにより行われたジェスチャに対応するジェスチャコードを特定する
付記19〜付記21のいずれか1項記載の情報特定プログラム。
(付記24)
前記ユーザにより行われたジェスチャに対応するジェスチャコードの特定において、前記類似度が所定値以上となるジェスチャコードであって、前記ジェスチャの軌跡に相当する前記ジェスチャコードの表示位置における見かけ上のサイズと、前記ジェスチャコードの表示位置における前記所定の形状のサイズとの一致度が所定値以上のジェスチャコードのうち、前記ユーザが向いている方向と、前記ユーザの位置から前記ジェスチャコードの表示位置へ向かう方向とが最も近似するジェスチャコードを特定する付記23記載の情報特定プログラム。
(付記25)
前記ユーザにより行われたジェスチャに対応するジェスチャコードの特定において、前記類似度が所定値以上となるジェスチャコードであって、前記ユーザの位置から前記ジェスチャコードの表示位置へ向かう方向が、前記ユーザが向いている方向を中心とした所定範囲の方向に含まれるジェスチャコードのうち、前記ジェスチャの軌跡に相当する前記ジェスチャコードの表示位置における見かけ上のサイズと、前記ジェスチャコードの表示位置における前記所定の形状のサイズとが、最も近似するジェスチャコードを特定する付記23記載の情報特定プログラム。
(付記26)
前記ジェスチャコードが示す前記所定の形状は、文字、記号、図形、及び該ジェスチャコードの表示位置における特定の部分の形状の少なくとも1つである付記19〜付記25のいずれか1項記載の情報特定プログラム。
(付記27)
前記記憶部に、前記複数のジェスチャコードの各々に、前記ユーザへ提供するコンテンツがさらに対応付けて記憶され、
前記コンピュータに、特定されたジェスチャコードに対応するコンテンツを、前記ユーザが使用する端末へ送信する
ことをさらに含む処理を実行させる付記19〜付記26のいずれか1項記載の情報特定プログラム。
(付記28)
コンピュータに、
ユーザにより行われたジェスチャの軌跡、前記ユーザと前記ジェスチャが行われた位置との距離、及び前記ユーザの位置を取得し、
所定の形状を描くジェスチャを指示する複数のジェスチャコードの各々に、該ジェスチャコードの表示位置、及び該ジェスチャコードの表示位置における前記所定の形状のサイズの各々を対応付けて記憶した記憶部に記憶された複数のジェスチャコードのうち、取得されたジェスチャの軌跡と、該ジェスチャコードが指示する前記所定の形状との類似度が所定値以上となるジェスチャコードから、前記ユーザの位置と前記ジェスチャコードの表示位置との距離、前記ジェスチャコードの表示位置における前記所定の形状のサイズ、前記ユーザと前記ジェスチャが行われた位置との距離、及び前記ジェスチャの軌跡から得られるジェスチャのサイズに基づいて、前記ユーザにより行われたジェスチャに対応するジェスチャコードを特定する
ことを含む処理を実行させる情報特定プログラムを記憶した記憶媒体。
10、210 情報特定装置
11 取得部
12、212 特定部
13 送信部
15 ジェスチャコードデータベース
20、220 ユーザ端末
21、221 位置検出部
22 ジェスチャ認識部
23、223 要求部
24 表示制御部
30 ジェスチャ検出装置
40 表示媒体
50、70 コンピュータ
51、71 CPU
52、72 メモリ
53、73 記憶部
59、79 記録媒体
60、260 情報特定プログラム
80、280 ユーザ端末側プログラム
100、200 コンテンツ提供システム

Claims (11)

  1. ユーザにより行われたジェスチャの軌跡、前記ユーザと前記ジェスチャが行われた位置との距離、及び前記ユーザの位置を取得する取得部と、
    所定の形状を描くジェスチャを指示する複数のジェスチャコードの各々に、該ジェスチャコードの表示位置、及び該ジェスチャコードの表示位置における前記所定の形状のサイズの各々を対応付けて記憶した記憶部と、
    前記記憶部に記憶された複数のジェスチャコードのうち、前記取得部により取得されたジェスチャの軌跡と、該ジェスチャコードが指示する前記所定の形状との類似度が所定値以上となるジェスチャコードから、前記ユーザの位置と前記ジェスチャコードの表示位置との距離、前記ジェスチャコードの表示位置における前記所定の形状のサイズ、前記ユーザと前記ジェスチャが行われた位置との距離、及び前記ジェスチャの軌跡から得られるジェスチャのサイズに基づいて、前記ユーザにより行われたジェスチャに対応するジェスチャコードを特定する特定部と、
    を含む情報特定装置。
  2. 前記特定部は、前記類似度が所定値以上となるジェスチャコードから、前記ジェスチャの軌跡のサイズに相当する前記ジェスチャコードの表示位置における見かけ上のサイズと、前記ジェスチャコードの表示位置における前記所定の形状のサイズとの一致度に基づいて、前記ユーザにより行われたジェスチャに対応するジェスチャコードを特定する請求項1記載の情報特定装置。
  3. 前記ジェスチャコードの表示位置における見かけ上のサイズは、前記ユーザと前記ジェスチャが行われた位置との距離に対する前記ユーザの位置と前記ジェスチャコードの表示位置との距離の比に、前記ジェスチャのサイズを乗算した値である請求項2記載の情報特定装置。
  4. 前記特定部は、前記類似度が所定値以上となるジェスチャコードから、前記ジェスチャの軌跡に相当する前記ジェスチャコードの表示位置における見かけ上のサイズと、前記ジェスチャコードの表示位置における前記所定の形状のサイズとが、最も近似するジェスチャコードを特定する請求項2又は請求項3記載の情報特定装置。
  5. 前記取得部は、さらに、ジェスチャを行った際に前記ユーザが向いている方向を取得し、
    前記特定部は、前記ユーザが向いている方向、及び前記ユーザの位置から前記ジェスチャコードの表示位置へ向かう方向に基づいて、前記ユーザにより行われたジェスチャに対応するジェスチャコードを特定する請求項1〜請求項3のいずれか1項記載の情報特定装置。
  6. 前記特定部は、前記類似度が所定値以上となるジェスチャコードであって、前記ジェスチャの軌跡のサイズに相当する前記ジェスチャコードの表示位置における見かけ上のサイズと、前記ジェスチャコードの表示位置における前記所定の形状のサイズとの一致度が所定値以上のジェスチャコードのうち、前記ユーザが向いている方向と、前記ユーザの位置から前記ジェスチャコードの表示位置へ向かう方向とが最も近似するジェスチャコードを特定する請求項5記載の情報特定装置。
  7. 前記特定部は、前記類似度が所定値以上となるジェスチャコードであって、前記ユーザの位置から前記ジェスチャコードの表示位置へ向かう方向が、前記ユーザが向いている方向を中心とした所定範囲の方向に含まれるジェスチャコードのうち、前記ジェスチャの軌跡に相当する前記ジェスチャコードの表示位置における見かけ上のサイズと、前記ジェスチャコードの表示位置における前記所定の形状のサイズとが、最も近似するジェスチャコードを特定する請求項5記載の情報特定装置。
  8. 前記ジェスチャコードが示す前記所定の形状は、文字、記号、図形、及び該ジェスチャコードの表示位置における特定の部分の形状の少なくとも1つである請求項1〜請求項7のいずれか1項記載の情報特定装置。
  9. 前記記憶部に、前記複数のジェスチャコードの各々に、前記ユーザへ提供するコンテンツがさらに対応付けて記憶され、
    前記特定部により特定されたジェスチャコードに対応するコンテンツを、前記ユーザが使用する端末へ送信する送信部を含む
    請求項1〜請求項8のいずれか1項記載の情報特定装置。
  10. コンピュータに、
    ユーザにより行われたジェスチャの軌跡、前記ユーザと前記ジェスチャが行われた位置との距離、及び前記ユーザの位置を取得し、
    所定の形状を描くジェスチャを指示する複数のジェスチャコードの各々に、該ジェスチャコードの表示位置、及び該ジェスチャコードの表示位置における前記所定の形状のサイズの各々を対応付けて記憶した記憶部に記憶された複数のジェスチャコードのうち、取得されたジェスチャの軌跡と、該ジェスチャコードが指示する前記所定の形状との類似度が所定値以上となるジェスチャコードから、前記ユーザの位置と前記ジェスチャコードの表示位置との距離、前記ジェスチャコードの表示位置における前記所定の形状のサイズ、前記ユーザと前記ジェスチャが行われた位置との距離、及び前記ジェスチャの軌跡から得られるジェスチャのサイズに基づいて、前記ユーザにより行われたジェスチャに対応するジェスチャコードを特定する
    ことを含む処理を実行させる情報特定方法。
  11. コンピュータに、
    ユーザにより行われたジェスチャの軌跡、前記ユーザと前記ジェスチャが行われた位置との距離、及び前記ユーザの位置を取得し、
    所定の形状を描くジェスチャを指示する複数のジェスチャコードの各々に、該ジェスチャコードの表示位置、及び該ジェスチャコードの表示位置における前記所定の形状のサイズの各々を対応付けて記憶した記憶部に記憶された複数のジェスチャコードのうち、取得されたジェスチャの軌跡と、該ジェスチャコードが指示する前記所定の形状との類似度が所定値以上となるジェスチャコードから、前記ユーザの位置と前記ジェスチャコードの表示位置との距離、前記ジェスチャコードの表示位置における前記所定の形状のサイズ、前記ユーザと前記ジェスチャが行われた位置との距離、及び前記ジェスチャの軌跡から得られるジェスチャのサイズに基づいて、前記ユーザにより行われたジェスチャに対応するジェスチャコードを特定する
    ことを含む処理を実行させる情報特定プログラム。
JP2015205822A 2015-10-19 2015-10-19 情報特定装置、方法、及びプログラム Pending JP2017078915A (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2015205822A JP2017078915A (ja) 2015-10-19 2015-10-19 情報特定装置、方法、及びプログラム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2015205822A JP2017078915A (ja) 2015-10-19 2015-10-19 情報特定装置、方法、及びプログラム

Publications (1)

Publication Number Publication Date
JP2017078915A true JP2017078915A (ja) 2017-04-27

Family

ID=58666914

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2015205822A Pending JP2017078915A (ja) 2015-10-19 2015-10-19 情報特定装置、方法、及びプログラム

Country Status (1)

Country Link
JP (1) JP2017078915A (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2020509444A (ja) * 2017-06-13 2020-03-26 アリババ グループ ホウルディング リミテッド データ記憶及び呼出の方法及び装置
CN113316443A (zh) * 2019-01-20 2021-08-27 航空电机有限责任公司 医疗稳定器束带方法和设备

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2020509444A (ja) * 2017-06-13 2020-03-26 アリババ グループ ホウルディング リミテッド データ記憶及び呼出の方法及び装置
US11334632B2 (en) 2017-06-13 2022-05-17 Advanced New Technologies Co., Ltd. Data storage and calling methods and devices
US11386166B2 (en) 2017-06-13 2022-07-12 Advanced New Technologies Co., Ltd. Data storage and calling methods and devices
CN113316443A (zh) * 2019-01-20 2021-08-27 航空电机有限责任公司 医疗稳定器束带方法和设备

Similar Documents

Publication Publication Date Title
US11587297B2 (en) Virtual content generation
US10984547B2 (en) Systems and methods for simulatenous localization and mapping
US10677596B2 (en) Image processing device, image processing method, and program
KR102038638B1 (ko) 가상 현실에서 핸드 헬드 디바이스를 트랙킹하는 시스템
JP6424601B2 (ja) 表示制御方法、情報処理プログラム、及び情報処理装置
US11776256B2 (en) Shared augmented reality system
JP2017538224A (ja) 注目の中心点に基づく案内による指紋登録
EP2903256B1 (en) Image processing device, image processing method and program
US11598643B2 (en) Augmented reality guidance interface
JP2015179493A (ja) ジェスチャ入力システム
JP2014179097A (ja) ポインティングによる情報クエリ
CN113227941A (zh) 用于识别用户的真正的手的方法以及用于该方法的可穿戴设备
KR101793607B1 (ko) 수화교육 시스템, 방법 및 프로그램
JP2017078915A (ja) 情報特定装置、方法、及びプログラム
US10701999B1 (en) Accurate size selection
JP5605281B2 (ja) 書込情報表示システム、書込情報表示装置、及び書込情報表示方法
KR20140103043A (ko) 전자 장치, 전자 장치를 동작하는 방법 및 컴퓨터 판독 가능한 기록 매체
JP2019181214A (ja) ゲームプログラム、方法、および情報処理装置
JP2019177001A (ja) ゲームプログラム、方法、および情報処理装置
CN113776553A (zh) Ar数据展示方法、装置、电子设备及存储介质
US20150286812A1 (en) Automatic capture and entry of access codes using a camera
Sausman et al. Digital Graffiti: An Augmented Reality Solution for Environment Marking