JP2014157595A - メディアもしくは機能識別方法及びプログラム、マーカを含む物品、及びマーカ配置方法 - Google Patents

メディアもしくは機能識別方法及びプログラム、マーカを含む物品、及びマーカ配置方法 Download PDF

Info

Publication number
JP2014157595A
JP2014157595A JP2013124927A JP2013124927A JP2014157595A JP 2014157595 A JP2014157595 A JP 2014157595A JP 2013124927 A JP2013124927 A JP 2013124927A JP 2013124927 A JP2013124927 A JP 2013124927A JP 2014157595 A JP2014157595 A JP 2014157595A
Authority
JP
Japan
Prior art keywords
marker
media
content
visible
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2013124927A
Other languages
English (en)
Other versions
JP5983540B2 (ja
Inventor
Lynn D Wilcox
ディー.ウィルコックス リン
Qiong Liu
リュウ チョン
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujifilm Business Innovation Corp
Original Assignee
Fuji Xerox Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fuji Xerox Co Ltd filed Critical Fuji Xerox Co Ltd
Publication of JP2014157595A publication Critical patent/JP2014157595A/ja
Application granted granted Critical
Publication of JP5983540B2 publication Critical patent/JP5983540B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/40Document-oriented image-based pattern recognition
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10Character recognition
    • G06V30/14Image acquisition
    • G06V30/1444Selective acquisition, locating or processing of specific regions, e.g. highlighted text, fiducial marks or predetermined fields
    • G06V30/1448Selective acquisition, locating or processing of specific regions, e.g. highlighted text, fiducial marks or predetermined fields based on markings or identifiers characterising the document or the area
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10Character recognition

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • User Interface Of Digital Computer (AREA)
  • Image Processing (AREA)

Abstract

【課題】埋め込みメディア・マーカの視認的な干渉を低減する。
【解決手段】物品の表面に提供されるコンテンツの第1の部分にマーカが関連付けられており、前記マーカは前記物品のコンテンツの第1の部分の外側に配置され、プロセッサが、第1の視認可能な構成要素及びライブ・ビデオ部分を含むグラフィカル・ユーザ・インターフェイスを生成し、前記第1の視認可能な構成要素と前記マーカとが位置揃えされると、カメラの視野内の前記コンテンツの第2の部分の画像を前記カメラに取得させ、取得した前記画像から複数の画像特徴を抽出し、抽出した前記複数の画像特徴を使用して、前記マーカに関連する第1のメディアもしくは機能を識別する。
【選択図】図17

Description

本発明は、埋め込みメディア・マーカを具体化するドキュメント及び物品の一部に関連するメディアもしくは機能の存在を示す埋め込みメディア・マーカに関し、詳細には、オフ・センタ埋め込みメディア・マーカ及び埋め込みメディア・マーカを含む物品を実装し、及び、使用するシステム及び方法に関する。
従来の埋め込みメディア・マーカ、すなわち、シンプルなEMMは、ドキュメントの特定の部分と関連付けられたメディアの存在を示すペーパ・ドキュメントもしくはその他の実体を有する物品上に印刷される透過性を有するアイコン状のマークであることが多い。例えば、特許文献1は埋め込みメディア・マーカを生成し、使用するシステム及び方法を開示している。十分に視認可能な特徴を有する、示されたドキュメント・パッチを囲む半透過性の境界を使用することによって、従来の埋め込みメディア・マーカは、メディアを取り出すためのユーザによるカメラ操作を支援することができる。スマートフォンのカメラを用いて、埋め込みメディア・マーカが示されるドキュメント・パッチの写真をユーザが撮影し、埋め込みメディア・マーカが示されたドキュメントの位置に関連付けられているメディアがスマートフォンの表示装置に自動的に表示される。すなわち、埋め込みメディア・マーカを具体化する物品もしくはその任意の特定の部分に関連するローカルもしくは外部のメディア・オブジェクトへのリンクと実質的に同様に埋め込みメディア・マーカは動作する。しかし、従来の埋め込みメディア・マーカは邪魔である(視認的に干渉する)。なぜなら、埋め込みメディア・マーカはドキュメントの特徴上に印刷されなければならず、影響を受けるドキュメントの特徴の外観と視認的に干渉するかもしれない。したがって、従来の埋め込みメディア・マーカを代替することができるあまり邪魔にならない(視認的に干渉しない)埋め込みメディア・マーカが必要とされている。
米国特許出願公開第2011/0154174号 米国特許出願公開第2012/0269439号
埋め込みメディア・マーカの視認的な干渉を低減する。
本発明の第1の態様は、メディアもしくは機能識別方法であって、物品の表面に提供されるコンテンツの第1の部分にマーカが関連付けられており、前記マーカは前記物品のコンテンツの第1の部分の外側に配置され、プロセッサが、第1の視認可能な構成要素及びライブ・ビデオ部分を含むグラフィカル・ユーザ・インターフェイスを生成し、前記第1の視認可能な構成要素と前記マーカとが位置揃えされると、カメラの視野内の前記コンテンツの第2の部分の画像を前記カメラに取得させ、取得した前記画像から複数の画像特徴を抽出し、抽出した前記複数の画像特徴を使用して、前記マーカに関連する第1のメディアもしくは機能を識別する。
本発明の第2の態様は、第1の態様のメディアもしくは機能識別方法であって、前記プロセッサが、前記第1の視認可能な構成要素と前記マーカとの位置揃えを自動的に検出する、ことをさらに含む。
本発明の第3の態様は、第1または第2の態様のメディアもしくは機能識別方法であって、前記第1の視認可能な構成要素が矢印の形状を有する。
本発明の第4の態様は、第1または第2の態様のメディアもしくは機能識別方法であって、前記第1の視認可能な構成要素がライン・セグメントの形状を有する。
本発明の第5の態様は、第1〜第4のいずれかの態様のメディアもしくは機能識別方法であって、生成された前記グラフィカル・ユーザ・インターフェイスが第2の視認可能な構成要素を有し、前記第2の視認可能な構成要素が前記第1の視認可能な構成要素とは異なる向きを有する。
本発明の第6の態様は、第5の態様のメディアもしくは機能識別方法であって、前記第2の視認可能な構成要素が前記第1の視認可能な構成要素とは異なる大きさを有する。
本発明の第7の態様は、第5または第6の態様のメディアもしくは機能識別方法であって、前記第2の視認可能な構成要素が前記第1の視認可能な構成要素とは異なる境界形状を有する。
本発明の第8の態様は、第5〜第7のいずれかの態様のメディアもしくは機能識別方法であって、前記第2の視認可能な構成要素が前記第1の視認可能な構成要素とは異なる色を有する。
本発明の第9の態様は、第5〜第8のいずれかの態様のメディアもしくは機能識別方法であって、前記第1の視認可能な構成要素が、前記第1の視認可能な構成要素に関連するメディアもしくは機能の第1の種類を示す第1の指標を含み、前記第2の視認可能な構成要素が、前記第2の視認可能な構成要素に関連するメディアもしくは機能の第2の種類を示す第2の指標を含み、前記第1の指標が前記第2の指標とは異なる。
本発明の第10の態様は、第5〜第9のいずれかの態様のメディアもしくは機能識別方法であって、前記第1の視認可能な構成要素が前記第1のメディアもしくは機能と関連し、前記第2の視認可能な構成要素が第2のメディアもしくは機能と関連し、前記第1のメディアもしくは機能と、前記第2のメディアもしくは機能と、は抽出された前記複数の画像特徴によって識別可能である。
本発明の第11の態様は、第1〜第10のいずれかの態様のメディアもしくは機能識別方法であって、識別された前記第1のメディアもしくは機能のメディアを取り出すこと、及び、識別された前記第1のメディアもしくは機能の機能を実行すること、の少なくとも一方をさらに含む。
本発明の第12の態様は、メディアもしくは機能識別方法であって、物品の表面に提供されるコンテンツの第1の部分にマーカが関連付けられており、前記マーカは前記物品のコンテンツの第1の部分の外側に配置され、プロセッサが、視認可能な構成要素及びライブ・ビデオ部分を含むグラフィカル・ユーザ・インターフェイスを生成し、前記視認可能な構成要素と前記マーカとが位置揃えされると、カメラの視野内の前記コンテンツの第2の部分の画像を前記カメラに取得させ、取得した前記画像を解析するために、前記画像を計算処理サーバ・システムに送信し、前記マーカに関連するメディアもしくは機能の識別に関する情報を、前記計算処理サーバ・システムから受信する。
本発明の第13の態様は、第12の態様のメディアもしくは機能識別方法であって、前記計算処理サーバ・システムから前記マーカに関連するメディアを受信する、ことをさらに含む。
本発明の第14の態様は、物品であって、物品の表面に提供されたコンテンツと、前記物品の表面に提供された第1のマーカと、を含み、前記第1のマーカは前記物品の表面に提供された前記コンテンツの第1の部分に関連付けられており、前記第1のマーカは前記物品の表面の前記コンテンツの第1の部分の外側に配置されており、前記第1のマーカの大きさ及び向きは、カメラを含む電子機器のグラフィカル・ユーザ・インターフェイスの構成要素と前記第1のマーカとが位置揃えされた場合に、複数の画像特徴を抽出し、抽出された前記複数の画像特徴を前記第1のマーカ及び前記コンテンツの第1の部分を識別するために使用することによって、前記第1のマーカ及び前記コンテンツの第1の部分を自動的に識別させるために適切な前記複数の画像特徴を前記コンテンツの第2の部分が含むような、大きさ及び向きであり、前記電子機器のカメラは前記物品の表面に提供された前記コンテンツの前記第2の部分の画像を取得するように位置付けられる。
本発明の第15の態様は、第14の態様の物品であって、前記コンテンツの第1の部分が前記コンテンツの第2の部分と同一である。
本発明の第16の態様は、第14または第15の態様の物品であって、前記第1のマーカが、前記第1のマーカ及び前記コンテンツの第1の部分に関連するメディアもしくは機能の種類を示す指標を含む。
本発明の第17の態様は、第14〜第16のいずれかの態様の物品であって、前記物品は2次元の面媒体である。
本発明の第18の態様は、第14〜第17のいずれかの態様の物品であって、前記第1のマーカは前記コンテンツの第1の部分を指し示す矢印を含む。
本発明の第19の態様は、第14〜第17のいずれかの態様の物品であって、前記第1のマーカは、ライン・セグメントの形状を有する。
本発明の第20の態様は、第14〜第19のいずれか態様の物品であって、前記コンテンツの第1の部分に関連する第2のマーカをさらに含む。
本発明の第21の態様は、第20の態様の物品であって、前記第1のマーカの第1の境界形状が前記第2のマーカの第2の境界形状とは異なる。
本発明の第22の態様は、第20または第21の態様の物品であって、前記第1のマーカの第1の境界の色が前記第2のマーカの第2の境界の色とは異なる。
本発明の第23の態様は、第20〜第22のいずれかの態様の物品であって、前記第1のマーカは第1のメディアもしくは機能に関連し、前記第2のマーカは第2のメディアもしくは機能に関連する。
本発明の第24の態様は、第20〜第23のいずれかの態様の物品であって、前記第1のマーカは前記第1のマーカに関連するメディアもしくは機能の第1の種類を示す第1の指標を有し、前記第2のマーカは前記第2のマーカに関連するメディアもしくは機能の第2の種類を示す第2の指標を有し、前記第1の指標と前記第2の指標とは異なる。
本発明の第25の態様は、マーカ配置方法であって、物品の表面にコンテンツが提供されており、a.前記コンテンツの第1の部分の選択を受信し、b.マーカの位置の選択を受信し、c.前記マーカの大きさ及び向きを決定し、d.決定された前記マーカの大きさ及び向きを用いて、受信した前記マーカの位置に、前記マーカを配置し、e.カメラを含む電子機器のグラフィカル・ユーザ・インターフェイスの視認可能な構成要素と前記マーカとが位置揃えされると前記コンテンツの第2の部分の画像が取得される場合の前記コンテンツの第2の部分を推定し、f.前記コンテンツの第2の部分の視認可能な特徴を計数し、g.計数された前記視認可能な特徴の数が前記マーカを識別するために適切であるか否かを判断する。
本発明の第26の態様は、第25の態様のマーカ配置方法であって、前記コンテンツの第1の部分が前記コンテンツの第2の部分と同一である。
本発明の第27の態様は、第25または第26の態様のマーカ配置方法であって、前記物品が2次元面媒体である。
本発明の第28の態様は、第25〜第27のいずれかの態様のマーカ配置方法であって、前記マーカが、前記コンテンツの第1の部分を指し示す矢印を含む。
本発明の第29の態様は、第25〜第27のいずれかの態様のマーカ配置方法であって、前記マーカが、ライン・セグメントの形状を有する。
本発明の第30の態様は、第25〜第29のいずれかの態様のマーカ配置方法であって、前記マーカの大きさ及び向きを変更してd〜fを繰り返し、前記コンテンツに対するマーカの視認的な干渉がもっとも少ない最小のマーカを選択する。
本発明の第31の態様は、第25〜第30のいずれかの態様のマーカ配置方法であって、前記電子機器はさらに表示装置を備え、eにおいて、前記グラフィカル・ユーザ・インターフェイスの視認可能な構成要素の相対的な大きさ及び前記表示装置の大きさに基づいて、前記コンテンツの第2の部分が推定される。
本発明の第32の態様は、第25〜第30のいずれかの態様のマーカ配置方法であって、eにおいて、前記グラフィカル・ユーザ・インターフェイスの視認可能な構成要素の相対的な大きさ及び前記電子機器のカメラの画像取得領域の大きさに基づいて、前記コンテンツの第2の部分が推定される。
本発明の第33の態様は、プログラムであって、物品の表面にコンテンツが提供されており、マーカが前記物品の表面に提供されるコンテンツの第1の部分に関連付けられており、前記マーカが前記物品の表面のコンテンツの第1の部分の外側に配置されており、視認可能な構成要素及びライブ・ビデオ部分を含むグラフィカル・ユーザ・インターフェイスを生成し、前記視認可能な構成要素と前記マーカとが位置揃えされると、カメラの視野内の前記コンテンツの第2の部分の画像を前記カメラに取得させ、取得した前記画像から複数の画像特徴を抽出し、抽出した前記複数の画像特徴を用いて、前記マーカに関連するメディアもしくは機能を識別する、ことをコンピュータに実行させる。
埋め込みメディア・マーカの視認的な干渉を低減することができる。
オフ・センタ埋め込みメディア・マーカと関連して使用される計算処理システムの実施例を示す。 本発明の一つもしくは複数の実施例の態様の少なくともいくつかが展開する計算処理サーバ・システムの実施例を示す。 グラフィカル・ユーザ・インターフェイス生成モジュールによって生成されるグラフィカル・ユーザ・インターフェイスの実施例を示す。 オフ・センタ埋め込みメディア・マーカの実施例に関連する図3のグラフィカル・ユーザ・インターフェイスの使用方法を例示する。 グラフィカル・ユーザ・インターフェイス生成モジュールによって生成されるグラフィカル・ユーザ・インターフェイスの別の実施例を示す。 オフ・センタ埋め込みメディア・マーカの別の実施例に関連する図5のグラフィカル・ユーザ・インターフェイスの使用方法を例示する。 メディアもしくは機能指標によって装飾されているオフ・センタ埋め込みメディア・マーカの実施例を示す。 グラフィカル・ユーザ・インターフェイス生成モジュールによって生成される視認可能な構成要素の異なるタイプの実施例を示す。 オフ・センタ埋め込みメディア・マーカの別の実施例に関連するグラフィカル・ユーザ・インターフェイス生成モジュールによって生成されるグラフィカル・ユーザ・インターフェイスの別の実施例の使用方法を例示する。 オフ・センタ埋め込みメディア・マーカの別の実施例に関連するグラフィカル・ユーザ・インターフェイス生成モジュールによって生成されるグラフィカル・ユーザ・インターフェイスのさらに別の実施例の使用方法を例示する。 グラフィカル・ユーザ・インターフェイス生成モジュールによって生成されるグラフィカル・ユーザ・インターフェイスのさらに別の実施例を示す。 オフ・センタ埋め込みメディア・マーカのさらに別の実施例に関連する図11のグラフィカル・ユーザ・インターフェイスの使用方法を例示する。 グラフィカル・ユーザ・インターフェイス生成モジュールによって生成されるグラフィカル・ユーザ・インターフェイスのさらに別の実施例を示す。 オフ・センタ埋め込みメディア・マーカのさらに別の実施例に関連する図13のグラフィカル・ユーザ・インターフェイスの使用方法を例示する。 グラフィカル・ユーザ・インターフェイス生成モジュールによって生成されるグラフィカル・ユーザ・インターフェイスのさらに別の実施例を示す。 オフ・センタ埋め込みメディア・マーカのさらに別の実施例に関連する図15のグラフィカル・ユーザ・インターフェイスの使用方法を例示する。 オフ・センタ埋め込みメディア・マーカ・アプリケーションの動作シーケンスを例示する。 本発明のオフ・センタ埋め込みメディア・マーカを生成するための反復処理の実施例を示す。
以下の詳細な記述において、添付の図面を参照する。添付の図面において、同様の機能を有する構成要素は同様の参照符号を付されている。添付の図面は例示のためのものであり、限定を意図するものではない。特定の実施例及び実装は本発明の原理と矛盾しない。これらの実装は当業者が実施できる程度に十分詳細に記述される。その他の実装が使用されてもよく、様々な構成要素の構造の変更及び/もしくは置き換えが本発明の範囲及び思想から逸脱することなく可能であることは理解されるだろう。したがって、以下の詳細な記述は、限定的に解釈されるべきではない。さらに、記述される本発明の様々な実施例は、汎用計算機上で稼働するソフトウェアの形態によって、専用ハードウェアの形態によって、ソフトウェア及びハードウェアの組み合わせによって、実装可能である。
一つもしくは複数の実施例において、オフ・センタ(中心からはずれた、すなわち、特徴の上に配置されず視認的に干渉しない)埋め込みメディア・マーカ(OCEMMあるいは単にマーカ)が提供される。OCEMMはドキュメントもしくはその他の物品の関心領域の境界の外側に印刷されたアイコン状のマーカの形態を有することができ、関心領域に関連付けられた利用可能なメディア・オブジェクトもしくは機能を示す。このマーカは、表示手段の視認可能な部分のエッジの近くにマーカの境界形状を有する視認可能な構成要素を定義し、視認可能な構成要素はマーカと位置揃えされ、ハードコピー・ドキュメント上の視認可能な領域境界を使用することなく、ドキュメントの所定の領域の画像を取得することによって使用される。従来の埋め込みメディア・マーカと関連して開発された技術と同様に、取得画像の特徴ベース解析を実行することによって、マーカに関連付けられたメディアもしくは機能は判断される。
以下でペーパ・ドキュメントに配置されている埋め込みメディア・マーカへの参照が頻繁に行われるが、任意の種類の実体を有する物品もしくは様々な電子装置の表示ユニット上に表示される画像でさえもが、埋め込みメディア・マーカを表示するためのペーパ・ドキュメントの代わりに使用されてもよいことが理解されるべきである。電子装置の表示手段としては、電子ペーパ(eペーパとも呼ばれる)もしくは電子インクに基づく装置などが当業者によく知られているが、これらに限定されるものではない。記述されるオフ・センタ埋め込みメディア・マーカを有する物品は、ペーパ・ドキュメント、製品パッケージ、製品、ポスター、広告掲示板、衣類、電子装置の表示手段などを含むことができるが、これらに限定されるものではない。したがって、ここに記述される発明の概念は記述されるオフ・センタ埋め込みメディア・マーカを具体化する物品の特定の種類に限定されるものではない。
さらに、多くの場合において、記述されるオフ・センタ埋め込みメディア・マーカは、多くの場合、メディア・オブジェクトと関連付けられているが、本発明のマーカはその他のコンテンツ、ツール、もしくは計算処理システム100によって実行可能な機能に結び付けられていてもよいことに留意すべきである。したがって、ここで記述される本発明の技術は、オフ・センタ埋め込みメディア・マーカに関連する対象物の種類によって限定されるものではない。
図1は、オフ・センタ埋め込みメディア・マーカに関連付けられているメディアを取り出し、取り出したメディアをユーザに提供する計算処理システム100の実施例を示す。一つもしくは複数の実施例において、計算処理システム100は、市販されており、当業者によく知られているスマートフォン、PDA(personal digital assistant)、もしくは、タブレット・コンピュータなどの携帯型計算処理装置の形態の制限内で実装されてもよい。代替的な実施例において、計算処理システム100は、ラップトップもしくはノートブック・コンピュータに基づいて実装されてもよい。代替的な実施例において、計算処理システム100は、埋め込みシステムであってよく、電子ブック(あるいは、eブック)・リーダなどの所定の専用機能を有する電子装置に組み込まれていてもよい。代替的な実施例において、計算処理システム100は、当業者によく知られている、Google glass(眼鏡型コンピュータ)などの拡張現実ヘッド−マウント・ディスプレイ(HMD)・システムの一部として実装されてもよい。
計算処理システム100はデータ・バス104あるいは計算処理システム100の様々なハードウェアの間で情報を伝達するためのその他の相互接続機構もしくは通信機構を含むことができる。中央処理ユニット(CPUあるいは単にプロセッサ)101はデータ・バス104に接続され、情報を処理し、その他の計算処理タスク及び制御タスクを実行する。計算処理システム100は、ランダム・アクセス・メモリ(RAM)もしくはその他の動的記憶装置などのメモリ112を含む。メモリ112は、データ・バス104に接続され、様々な情報及びプロセッサ101によって実行される指示を記憶する。メモリ112は、磁気ディスク、光ディスク、半導体フラッシュ・メモリ・デバイス、もしくは、その他の不揮発性記憶デバイスなどの永久記憶装置を含んでいてもよい。
一つもしくは複数の実施例において、プロセッサ101によって指示を実行する間、一時的な変数もしくはその他の中間的な情報を記憶するために、メモリ112が使用されてもよい。計算処理システム100は、さらに、リード・オンリー・メモリ(ROMもしくはEPROM)102もしくはその他の半導体記憶装置を含んでもよいが、含むか否かは任意である。リード・オンリー・メモリ(ROMもしくはEPROM)102もしくはその他の半導体記憶装置は、データ・バス104に接続され、計算処理システム100の操作に必要なファームウェア、BIOS(basic input-output system)、計算処理システムの様々な構成パラメータなどの静的情報及びプロセッサ101への指示を記憶する。
一つもしくは複数の実施例において、計算処理システム100は、表示装置109を備えていてもよく、表示装置109は、データ・バス104に接続され、計算処理システム100のユーザに様々な情報を表示する。代替的な実施例において、表示装置109は、(図示しない)グラフィック・コントローラ及び/もしくはグラフィック・プロセッサと関連付けられていてもよい。表示装置109は、例えば、当業者にはよく知られているTFT(thin-film transistor)技術もしくは有機LED(organic light emitting diode)技術を用いたLCD(liquid crystal display)として実装されていてもよい。異なる実施例において、表示装置109は、計算処理システム100のその他の構成要素と同じ一般的な筐体に含まれていてもよい。代替的な実施例において、表示装置109はそのような筐体の外側に配置されていてもよい。
一つもしくは複数の実施例において、表示装置109は、ユーザが装着している眼鏡のような様々なオブジェクトに情報を投影するプロジェクタもしくはミニ−プロジェクタの形態で実装されていてもよい。一つもしくは複数の実施例において、表示装置109はユーザの頭部に装着されてもよい。この場合、表示装置109は、(図示しない)装着に適したハードウェアを備えていてもよい。
一つもしくは複数の実施例において、計算処理システム100はデータ・バス104に接続されている音声再生装置125をさらに備えていてもよい。音声再生装置125は、MPEG−3ファイルなどの様々な音声ファイルを再生し、MPEG−4ファイルのような様々なビデオ・ファイルの音声トラックを再生することができる。MPEG−3ファイル、MPEG−4ファイルなどは当業者にはよく知られている。この場合、計算処理システム100は、(図示しない)波形プロセッサ(すなわち、音声プロセッサ)もしくは同様の装置を備えていてもよい。
一つもしくは複数の実施例において、計算処理システム100は、ユーザのタッチによる命令を受信するタッチスクリーン・インターフェイス110、様々なオブジェクトの静止画像及びビデオを取得するカメラ111、キーボード106のような、一つもしくは複数の入力装置を備えていてもよい。これらの入力装置の全てはデータ・バス104に接続され、画像及びビデオ、ユーザが選択した命令を含む情報をプロセッサ101に伝達する。しかし、伝達される情報は画像及びビデオ、ユーザが選択した命令に限定されるものではない。代替的な実施例では、入力装置には、(図示しない)ユーザの目の動きを追跡するシステムが含まれていてもよい。このシステムは、ユーザによって選択された命令を計算処理システム100に示すために使用することができる。
一つもしくは複数の実施例において、計算処理システム100は、データ・バス104を介して、プロセッサ101に、計算処理システム100の現在の地理的な位置及び空間上の向きに関するデータを供給する位置/向きモジュール103を、さらに備えていてもよい。地理的な位置情報は、例えば、GPS(global positioning system)技術、及び/もしくは、近接した携帯電話基地局及び/もしくはWiFiホットスポットによって提供される情報を用いることによるその他の位置検出技術を用いて、位置/向きモジュール103によって取得されてもよい。向き情報は、重力を含む3軸の全てにおける加速度計測値を用いて取得されてもよい。
一つもしくは複数の実施例において、計算処理システム100は、データ・バス104に接続されているネットワーク・インターフェイス105などの通信インターフェイスをさらに備えていてもよい。ネットワーク・インターフェイス105は、WiFiアダプタ107及びGSM(登録商標)/CDMA(携帯電話ネットワーク)アダプタ108の少なくとも一方を用いて、計算処理システム100とインターネット124との間での通信を確立することができる。ネットワーク・インターフェイス105は、計算処理システム100とインターネット124との間で、双方向データ通信を提供してもよい。WiFiアダプタ107は、当業者にはよく知られている802.11a、802.11b、802.11g及び/もしくは802.11n、Bluetooth(登録商標)プロトコルに従って動作することができる。例示的な実装において、WiFiアダプタ107及びGSM(登録商標)/CDMAアダプタ108は、様々な種類の情報を示すデジタル・データ・ストリームを搬送する電気信号もしくは電磁信号を送受信する。
一つもしくは複数の実施例において、一般的に、インターネット124は、一つもしくは複数のサブ−ネットワークを介して、その他のネットワーク資源へのデータ通信を提供する。したがって、計算処理システム100は、遠隔メディア・サーバ、ウェブ・サーバ、その他のコンテンツ・サービス、その他のネットワーク・データ・ストレージ資源などの、インターネット124のいずれかの位置に置かれている様々なネットワーク資源にアクセスすることができる。一つもしくは複数の実施例において、計算処理システム100はメッセージ、メディア、及び、アプリケーション・プログラム・コードを含むその他のデータを、ネットワーク・インターフェイス105によって、インターネット124を含む様々なネットワークを介して、送受信する。例示的なインターネットにおいて、計算処理システム100がネットワーク・クライアントとして動作する場合、計算処理システム100上で稼働しているアプリケーション・プログラムのコードもしくはデータを計算処理システム100は要求することができる。同様に、計算処理システム100は、その他のネットワーク資源へ様々なデータもしくは計算処理コードを送信することができる。
一つもしくは複数の実施例において、ここで記述される機能は、メモリ112に含まれる一つもしくは複数の指示の一つもしくは複数のシーケンスを実行するプロセッサ101に応じて、計算処理システム100によって実装される。指示は、他のコンピュータ読取可能媒体からメモリ112に読み込まれてもよい。メモリ112に含まれている指示のシーケンスを実行することによって、ここで記述されている様々な処理のステップがプロセッサ101によって実行される。代替的な実施例において、本発明の実施例を実装するために、ソフトウェアの指示に代えて、もしくは、ソフトウェアの指示と組み合わせて、ハードウェアによって実現されている回路が使用されてもよい。すなわち、本発明の実施例は、ハードウェア回路及びソフトウェアの任意の特定の組み合わせに限定されるものではない。
ここで使用される用語「コンピュータ読取可能媒体」は、プロセッサ101へ実行するための指示を提供する際に関与する任意の媒体であってよい。コンピュータ読取可能媒体は、機械読取可能媒体の単なる一例であり、ここで記述される方法及び/もしくは技術の何れかを実装するための指示を搬送することができる。このような媒体は、不揮発媒体、揮発媒体などを含むが、これらに限定されない、多くの形態を採ることができる。
非一時コンピュータ読取可能媒体の一般的な形態は、例えば、フロッピー(登録商標)・ディスク、フレキシブル・ディスク、ハード・ディスク、磁気テープ、もしくは、任意のその他の磁気媒体、CD−ROM、任意のその他の光媒体、パンチカード、紙テープ、孔パターンを有する任意のその他の物理的な媒体、RAM、PROM、EPROM、フラッシュEPROM、フラッシュ・ドライブ、メモリ・カード、任意のその他のメモリ・チップ、もしくはカートリッジ、もしくは、コンピュータがそこから読み取ることができる任意のその他媒体を含む。コンピュータ読取可能媒体の様々な形態は、プロセッサ101への、一つもしくは複数の実行する指示の一つもしくは複数のシーケンスの搬送に関連してもよい。例えば、指示は、遠隔コンピュータから磁気ディスクにまず搬送されてもよい。代替的に、遠隔コンピュータは、遠隔コンピュータのダイナミック・メモリに指示をロードし、インターネット124によって指示を送信してもよい。詳細には、コンピュータの指示は、当業者にはよく知られている様々なネットワーク・データ通信プロトコルを用いて、インターネット124を介して、遠隔コンピュータから計算処理システム100のメモリ112へ、ダウンロードされてもよい。
一つもしくは複数の実施例において、計算処理システム100のメモリ112は、以下のソフトウェア・プログラム、アプリケーション、もしくは、モジュールのいずれかを記憶してもよい。
1.オペレーティング・システム(OS)113。オペレーティング・システム(OS)113は、基本システム・サービスを実装し、計算処理システム100の様々なハードウェア構成要素を管理する携帯型装置用オペレーティング・システムであってもよい。実施例のオペレーティング・システム113は、当業者には全てがよく知られているAndroid、iOS、Windows(登録商標)、Windows(登録商標) Mobile、Linux(登録商標)、その他の現在知られている、もしくは、今後開発されるオペレーティング・システムであってよいが、これらに限定されるものではない。
2.ネットワーク通信モジュール114。ネットワーク通信モジュール114は、例えば、計算処理システム100とインターネット124の様々なネットワーク・エンティティとの間のネットワーク接続を確立するために使用される一つもしくは複数のネットワーク・プロトコル・スタックを含むことができる。ネットワーク通信モジュール114は、例えば、ネットワーク・インターフェイス105、WiFiアダプタ107及び/もしくはGSM(登録商標)/CDMAアダプタ108を用いて、計算処理システム100と図2に示す計算処理サーバ・システム200との間のネットワーク接続を確立する。
3.アプリケーション115。アプリケーション115は、例えば、処理システム100のプロセッサ101によって実行されるソフトウェア・アプリケーションのセットを含むことができる。ソフトウェア・アプリケーションは、カメラ111を用いてデジタル画像を取得する機能(カメラ・アプリケーション116)、もしくは、表示装置109及び/もしくは(図示しない)音声再生装置を用いてメディア・ファイルを再生する機能などの所定の機能を、計算処理システム100に実行させる。一つもしくは複数の実施例において、アプリケーション115は本発明のオフ・センタ埋め込みメディア・マーカ(OCEMM)・アプリケーション117を含んでいてもよい。
4.データ・ストレージ122。データ・ストレージ122は、例えば、メディア・ファイル、インターネット124を介して、計算処理システム100によって受信されるその他のデータを記憶するために使用されてもよい。
一つもしくは複数の実施例において、本発明のオフ・センタ埋め込みメディア・マーカ・アプリケーション117は、計算処理システム100の表示装置109上に本発明のグラフィカル・ユーザ・インターフェイスを生成するグラフィカル・ユーザ・インターフェイス(UI)生成モジュール118を含んでいてもよい。本発明のオフ・センタ埋め込みメディア・マーカ・アプリケーション117は、さらに、物品の少なくとも一部の画像を取得する画像取得モジュール119、画像処理モジュール120、メディア取り出しモジュール121を含んでいてもよい。本発明のオフ・センタ埋め込みメディア・マーカ・アプリケーション117に含まれるモジュールの動作は、以下で詳細に記述される。
一つもしくは複数の実施例において、画像取得モジュール119によって取得される物品の少なくとも一部の画像は、計算処理システム100の画像処理モジュール120によって、すなわち、計算処理システム100内で解析される。しかしながら、当業者には明らかであるように、計算処理システム100内で画像解析を行うことは、計算処理システム100では提供できないかもしれない程の画像処理のための実質的なパワーを要求することがある。それゆえ、代替的な実施例において、取得された画像は、図2に示す実施例の計算処理サーバ・システム200などの遠隔サーバに解析のために送信されてもよい。
一つもしくは複数の実施例において、計算処理サーバ・システム200はデータ・バス204を含むことができる。データ・バス204は図1に示す計算処理システム100のデータ・バス104と実質的に同様であり、実質的に同様の機能を有する。様々な実施例において、データ・バス204は、データ・バス104と同様のもしくは異なる、内部の構成要素間の及び/もしくは通信のプロトコルを使用してもよい。計算処理サーバ・システム200の、一つもしくは複数のプロセッサ(CPU)201、ネットワーク・インターフェイス205、EPROM/ファームウェア・ストレージ202、表示装置209、及び、キーボード206は、これらの構成要素がサーバ・プラットフォームの構成で展開されていることを除けば、計算処理システム100のプロセッサ101、ネットワーク・インターフェイス105、EPROM/ファームウェア・ストレージ102、表示装置109、キーボード106と実質的に同様である。様々な実装において、一つもしくは複数のプロセッサ201は、プロセッサ101と比較して、実質的に大きな処理パワーを有していてもよい。
入力装置(キーボード206)に加えて、計算処理サーバ・システム200は、さらに、方向情報及び命令の選択をプロセッサ201に伝達し、表示装置209上のカーソルの動きを制御するマウス、トラックボール、カーソル方向キーなどのカーソル制御装置210を備えていていもよい。このカーソル制御装置は、一般に、第一の軸(例えば、x)及び第二の軸(例えば、y)の二軸に二つの自由度を有し、平面上の位置を特定することができる。
計算処理サーバ・システム200のLAN/ISDNアダプタ207は、例えば、(図示しない)インターネット・サービス・プロバイダのハードウェアを用いてインターネットとインターフェイスで接続する、対応する種類の電話線とのデータ通信接続を提供するために、ISDN(Integrated Services Digital Network)カードもしくはモデムを用いて、実装されてもよい。他の例として、LAN/ISDNアダプタ207は、互換性のあるLAN及びインターネット124とのデータ通信接続を提供する、LAN NIC(Local Area Network Interface Card)であってもよい。様々なメディア・ファイルを記憶するために、計算処理サーバ・システム200は、ストレージ制御手段203によって、データ・バス204に接続されているメディア・ストレージ208を備えていてもよい。
一つもしくは複数の実施例において、計算処理サーバ・システム200のメモリ212は、以下のソフトウェア・プログラム、アプリケーション、もしくは、モジュールのいずれかを記憶していてもよい。
1.サーバ用オペレーティング・システム(OS)213。サーバ用オペレーティング・システム213は、基本システム・サービスを実装し、計算処理サーバ・システム200の様々なハードウェア構成要素を管理するためのオペレーティング・システムであってよい。実施例のサーバ用オペレーティング・システム213は、当業者には全てよく知られているLinux(登録商標)、Unix(登録商標)、Windows(登録商標) Server、FreeBSD、NetBSD、Mac OSX Server、HP−UX、AIX、Solaris及びその他の現在知られている、もしくは、今後開発されるオペレーティング・システムであってよいが、これらに限定されるものではない。
2.ネットワーク通信モジュール214。ネットワーク通信モジュール214は、LAN/ISDNアダプタ207と共に働くネットワーク・インターフェイス205を用いて、計算処理サーバ・システム200と計算処理システム100のような、インターネット124の様々なネットワーク・エンティティとの間のネットワーク接続を確立するために使用される、例えば、一つもしくは複数のネットワーク・プロトコル・スタックを含むことができる。
3.サーバ用アプリケーション215。サーバ用アプリケーション215は、例えば、計算処理サーバ・システム200の一つもしくは複数のプロセッサ201によって実行されるソフトウェア・アプリケーションのセットであってよく、所定の機能もしくはタスクを計算処理サーバ・システム200に実行させる。一つもしくは複数の実施例において、サーバ用アプリケーション215は、データベースの様々なデータを記憶し、変更し、データベースから様々なデータを取り出すことを可能とするソフトウェア・プログラムのセットを含む、データベース(DB)管理システム(DBMS)216を含むことができる。一つもしくは複数の実施例において、サーバ用アプリケーション215は、さらに、本発明のオフ・センタ埋め込みメディア・マーカ(OCEMM)・サーバ・アプリケーション217を含んでいてもよい。データベース管理システム216は、当業者にはよく知られているMySQL、Oracle、SQL Server、DB2、SQL Anywhere、PostgreSQL、SQLite、Firebird及び/もしくはMaxDBを含むリレーショナル・データベース管理システムなどの、現在知られているもしくは今後開発される任意の種類のデータベース・ソフトウェアに基づいて実装されてもよいが、リレーショナル・データベース管理システムはこれらに限定されるものではない。代替的な実施例において、当業者にはよく知られているAmazon RDS(Amazon Relational Database Service)などのクラウド・ベース分散型データベースがデータベース管理システム216を実装するために使用されてもよい。
4.データ・ストレージ221。データ・ストレージ221は、例えば、データベース管理システム216によって管理されるデータベース・テーブル及びメディア・ストレージ208に記憶されているメディア・オブジェクト・ファイルに関連付けられているメディア管理メタデータを記憶するために使用されてもよい。このようなメディア管理メタデータの一例は、メディア・ストレージ208からメディア・ファイルを迅速に取り出すために使用することができるメディア・オブジェクト・ファイルのインデックス情報である。
一つもしくは複数の実施例において、本発明のオフ・センタ埋め込みメディア・マーカ・サーバ・アプリケーション217は、計算処理システム100によって解析のために送信される特定のオフ・センタ埋め込みメディア・マーカと関連する画像を受信し、計算処理システム100に応答データを返信するオフ・センタ埋め込みメディア・マーカ・サーバ・モジュール218を含んでいてもよい。画像解析モジュール219は、受信した画像の解析を実行し、画像解析に基づいて、特定のオフ・センタ埋め込みメディア・マーカに関連付けられているメディア・オブジェクトを識別するために提供されてもよい。一つもしくは複数の実施例において、メディア・オブジェクト識別情報はオフ・センタ埋め込みメディア・マーカ・サーバ・モジュール218によって、計算処理システム100に戻される。一つもしくは複数の実施例において、メディア・オブジェクト識別情報はメディア・オブジェクトのURL(Uniform Resource Locator)である。計算処理システム100が計算処理サーバ・システム200からメディア・オブジェクト識別情報を受信した後、受信したメディア・オブジェクト識別情報を用いて、(図示しない)別個のインターネット・ストレージの場所からメディア・オブジェクトを取り出すことができる。一つもしくは複数の実施例において、計算処理システム100と計算処理サーバ・システム200との間の通信は、当業者にはよく知られているHTTPプロトコルに従って実行される。
代替的な実施例において、メディア・オブジェクトが、メディア・オブジェクト識別情報に代えて、計算処理サーバ・システム200によって計算処理システム100に提供されてもよい。この場合、計算処理サーバ・システム200は、メディア・ストレージ208から特定のオフ・センタ埋め込みメディア・マーカに関連するメディア・オブジェクトを取り出すことができる。この実装において、サーバ・アプリケーション215はメディア・ストレージ208に記憶されているメディア・オブジェクト・ファイルを管理するメディア管理モジュール220を含んでいてもよい。
図3は、計算処理システム100の表示装置109上の、本発明のグラフィカル・ユーザ・インターフェイス生成モジュール118によって生成されるGUI(Graphical User Interface)300の実施例を示す。図3に示されるように、GUI300は視認可能な構成要素301を含むことができる。様々な実施例において、視認可能な構成要素301は、様々な形状、大きさ、色、及び、向きで実装されることができる。一つもしくは複数の実施例において、視認可能な構成要素301は、その形状、大きさ、色(テクスチャを含む)及び向きによって特徴付けられる。一つもしくは複数の実施例において、視認可能な構成要素301の形状は、一般的に、ドキュメントもしくはその他の物品に印刷されているオフ・センタ埋め込みメディア・マーカの形状に従う。一つもしくは複数の実施例において、視認可能な構成要素301は、オフ・センタ埋め込みメディア・マーカと全く同じ形状を有する。様々な実施例において、視認可能な構成要素301は、表示装置109の視認可能な領域内の異なる位置に配置されることができる。一つもしくは複数の実施例において、視認可能な構成要素301は、表示装置109の視認可能な領域の境界の近辺に位置する。
一つもしくは複数の実施例において、図3に示すように、本発明のグラフィカル・ユーザ・インターフェイス生成モジュール118によって生成されたGUI300は、計算処理システム100のカメラ111によって撮影されるライブ・ビデオを、領域302に表示する。オフ・センタ埋め込みメディア・マーカを含む物品にユーザがカメラ111を向けると、カメラ111の視野内の物品の少なくとも一部のライブ・ビデオが、GUI300の領域302に示される。ユーザは、物品のオフ・センタ埋め込みメディア・マーカと視認可能な構成要素301とを位置揃えさせることができる。
さらに、一つもしくは複数の実施例において、本発明のグラフィカル・ユーザ・インターフェイス生成モジュール118によって生成されたGUI300は画像取得ボタン303を含んでいてもよい。視認可能な構成要素301と物品上のオフ・センタ埋め込みメディア・マーカとを位置揃えさせた後、ユーザがこのボタン303を動作させると、本発明のオフ・センタ埋め込みメディア・マーカ・アプリケーション117の画像取得モジュール119は、カメラ111の視野内(画像取得領域としても参照される)の物品の一部の画像を取得する。代替的な実施例において、計算処理システム100は、視認可能な構成要素301とオフ・センタ埋め込みメディア・マーカ401(図4)との位置揃えを自動的に検出し、適切な位置揃えが検出されると、カメラ111を用いて物品の画像を取得するように、画像取得モジュール119に指示を出してもよい。様々な実施例において、画像取得領域は関心領域と一致してもよいし、一致しなくてもよい。
オフ・センタ埋め込みメディア・マーカと関連するGUI300の使用方法とオフ・センタ埋め込みメディア・マーカの実施例を図4に示す。図示される実施例において、オフ・センタ埋め込みメディア・マーカはペーパ・ドキュメント400もしくはその他の適切な物品の関心領域402の境界の外側に、一般的には、印刷されるアイコン状のマーカ401であり、関心領域402に関連付けられている利用可能なメディア・オブジェクトをユーザに示す。GUI300のライブ・ビデオ領域302のオフ・センタ埋め込みメディア・マーカのライブ・ビデオを見て、位置揃えを達成するためにカメラを適切に移動させることにより、視認可能な構成要素301とオフ・センタ埋め込みメディア・マーカ401とをユーザが位置揃えさせると、カメラ111の視野403は関心領域402をカバーし、カメラ111がこの領域の画像を取得することが可能となる。
当業者には明らかであるように、表示装置109の視認可能な部分の境界近くのオフ・センタ埋め込みメディア・マーカ401の境界の形状によって視認可能な構成要素301を定義し、視認可能な構成要素301と対応するオフ・センタ埋め込みメディア・マーカ401とを位置揃えすることにより、ハード・コピー・ドキュメント400上もしくはその他の物品上の視認可能な領域境界を使用することなく、カメラ111はカメラ111の視野403内で所定の領域402を正確に検出し、取得することができる。カメラ111の視野の境界403が図4には示されているが、ドキュメント400上もしくはその他の物品上に印刷されるものではなく、現実にはユーザには見えないものであることを強調しておく。したがって、上記画像取得方法は、邪魔になる視認可能な境界を印刷することなく、所定の関心領域402と関連するマルチメディア情報を取り出すことを可能とする。すなわち、本発明の視認可能な構成要素301を使用し、視認可能な構成要素301とオフ・センタ埋め込みメディア・マーカ401とを位置揃えさせることにより、カメラ111の視野403は、視認可能な領域境界を使用する必要なく、所定の関心領域402に自動的に結び付けられる。
従来の埋め込みメディア・マーカとは異なり、本発明のオフ・センタ埋め込みメディア・マーカは関連する関心領域に非常に近く印刷される必要がないことが理解されるべきである。さらに、オフ・センタ埋め込みメディア・マーカは、通常、従来のメディア・マーカの取得境界よりもたいへん小さいので、同じ比率によってマーカのサイズを変更することは、従来の埋め込みメディア・マーカの場合に比べ、ドキュメントの非常に小さい領域にしか影響を与えないことになる。したがって、本発明のオフ・センタ埋め込みメディア・マーカは、従来の埋め込みメディア・マーカに比べ、邪魔ではない(視認的に干渉しない)。
様々な実施例において、画像取得を促進するために、表示装置109の視認可能な部分に視認可能な構成要素301を配置する複数の方法がある。例えば、視認可能な構成要素301は、任意の角度で配置されてもよい。一つもしくは複数の実施例において、視認可能な構成要素301及びオフ・センタ埋め込みメディア・マーカ401は双方とも形状、色、向き及び大きさによって特徴付けられる。この実施例において、ドキュメント400上に置かれた本発明のオフ・センタ埋め込みメディア・マーカ401の位置、大きさ及び向きは、ドキュメント400の領域を一意に決定する。適切な画像取得を促進するように、視認可能な構成要素301とマーカ401とが位置揃えされると、ドキュメント400の画像は計算処理システム100のカメラ111によって取得される。一つもしくは複数の実施例において、ドキュメントに印刷されるオフ・センタ埋め込みメディア・マーカは、例えば、図4に示す、関心領域の方向を示す矢印状のマーカ401のように、方向を有する、もしくは、非対称のマーカであってよい。このようなマーカが、関心領域を迅速に識別させるように、ユーザの能力を支援することは理解されるであろう。上記したように、視認可能な構成要素301は、一般に、図4に示される矢印形状のマーカ401のように、マーカ401の形状に従い、方向を有する、もしくは、非対称の形状であってよい。
図5は、計算処理システム100の表示装置109上に本発明のグラフィカル・ユーザ・インターフェイス生成モジュール118によって生成されるGUI500の他の実施例を示す。実施例は、GUI500の異なる位置に異なる向きで配置される視認可能な構成要素501、502、503、504を含む。例えば、図6に示されるように、適合する向きを有するマーカと、視認可能な501、502、503、504の一つと、をユーザは位置揃えさせることができる。図に示すように、視認可能な構成要素504は、該視認可能な構成要素504の向きと同様の向きを有し、ドキュメント600に印刷されているオフ・センタ埋め込みメディア・マーカ601と、位置揃えされる。一方、矢印状のマーカ601は関心領域602の方向を示し、マーカ601の大きさ及び向きは、計算処理システム100のカメラ111の視野の境界603(実際には見えない)を一意に決定する。ユーザが視認可能な構成要素504とマーカ601とを位置揃えさせると、カメラ111は関心領域602の画像を取得する。一つもしくは複数の実施例において、オフ・センタ埋め込みメディア・マーカによって示される関心領域に関連付けられたメディア、その他のコンテンツ、ツールもしくは機能の種類をユーザに知らせるために、ここでは、メディア種類指標もしくは機能種類指標と呼ばれる、関連付けられている対象物の種類を示すアイコンもしくはその他の図形的な構成要素によってマーカが装飾されてもよい。例えば、図7に示すマーカ701は、カメラを描画するアイコンを含むメディア種類指標702によって装飾され、マーカに関連するある画像コンテンツを見るために使用可能であることをユーザに示している。一方で、マーカ703は、電話を描画するアイコンを含む機能種類指標704によって装飾され、視認可能な構成要素とこのマーカ703とを位置揃えすると、マーカ703によって示される関心領域に関連する電話番号を、ユーザの携帯電話が自動的にダイアルすることをユーザに示している。本発明は、メディア種類指標もしくは機能種類指標に限定されず、図形情報のその他の多くの種類が、関連するメディア、その他のコンテンツ、ツールもしくは機能を示すために、マーカに使用されてもよいし、マーカと関連して使用されてもよい。一つもしくは複数の実施例において、モジュール118によって生成されるGUIの視認可能な構成要素が同じように装飾される必要はない。視認可能な構成要素は、境界の位置揃えのためにだけ使用され、マーカ境界の形状と同様な視認可能な構成要素の境界形状を必要とするだけだからである。
グラフィカル・ユーザ・インターフェイス生成モジュール118によって生成される視認可能な構成要素の全てが同様の形状もしくは色を有さなくてもよい。マーカも同様に異なる形状及び色を有してもよい。一つもしくは複数の実施例は、異なる形状、色、メディア種類指標もしくは機能種類指標、その他の適切な属性を有する複数種類の視認可能な構成要素及びマーカを提供することによって、異なる種類のメディアをユーザが見ることを可能とし、同一の関心領域に関連付けられている異なるツールもしくは機能を動作させることを可能とする。
図8は、グラフィカル・ユーザ・インターフェイス生成モジュール118によって生成される、異なる種類の視認可能な構成要素801、802、803、804の実施例を示す。同一のもしくは実質的に同一のデザインが、オフ・センタ埋め込みメディア・マーカを印刷するために使用されてもよい。様々な実施例において、視認可能な構成要素、マーカ、もしくは双方は、利用可能なメディアもしくはその他のコンテンツの異なる種類、もしくは、利用可能なツールもしくは機能の異なる種類をユーザに示すメディア種類指標もしくは機能種類指標805、806、807、808によって装飾されていてもよい。さらに、視認可能な構成要素801、802、803、804の境界の形状及び対応するマーカは相互に異なってもよく、利用可能なメディアもしくはその他のコンテンツの種類、もしくは、利用可能なツールもしくは機能の種類をユーザに示すために使用されてもよい。最後に、視認可能な構成要素及び対応するマーカの色が異なってもよい。
図7に示す実施例と同様に、図8に示す異なる視認可能な構成要素801、802、803、804及び対応するオフ・センタ埋め込みメディア・マーカが、同一の関心領域に関連する異なる種類のメディアを見るために、もしくは、異なるツールもしくは機能を動作させるために、ユーザによって使用されてもよい。例えば、図9に示されるように、適合する境界形状を有する、ドキュメント900のマーカ901と視認可能な構成要素801とを、ユーザは位置揃えさせる。示される例では、メディア指標もしくは機能種類指標805は、マーカ901に印刷されているが、視認可能な構成要素801の中には含まれていない。一つもしくは複数の実施例において、計算処理システム100は、適合する境界を有する視認可能な構成要素801とマーカ901との位置揃えを自動的に検出し、カメラ111によってカメラ111の視野903内の画像の取得を自動的に開始する。代替的に、取得ボタン303がユーザによって使用されてもよい。ユーザによって選択された利用可能なメディア、その他のコンテンツ、ツールもしくは機能が、以下に詳細に記述されるように、カメラ111によって取得される画像の特徴に基づいて決定される。さらに、計算処理システム100は、対応する視認可能な構成要素801との位置揃えに応じて、ユーザの選択を判断するために、カメラ111によって取得されるマーカ901の境界の画像を使用してもよい。
図10はGUI1001のその他の実施例を示す。視認可能な構成要素1001、1002、1003、1004は全て同一の境界形状を有するが、境界の色は異なる。図9の実施例とは異なり、図10に示される視認可能な構成要素1001、1002、1003、1004は、メディア種類指標もしくは機能種類指標1005、1006、1007、1008によって装飾されており、マーカ1011、1014は装飾されていない。ユーザは、境界の色が同じである視認可能な構成要素1001とマーカ1011とを位置揃えする。一つもしくは複数の実施例において、計算処理システム100は、境界の色が同じであるマーカ1011と適合する境界を有する視認可能な構成要素1001との位置揃えを自動的に検出し、カメラ111によってカメラ111の視野1013内の画像の取得を自動的に開始してもよい。代替的に、ユーザは、同じ色を有する視認可能な構成要素1004とマーカ1014とを位置揃えさせてもよい。この場合、ドキュメント1000におけるカメラ111の視野は、参照符号1015によって示される。計算処理システム100は、カメラ111によって撮影される画像の特徴に基づいてユーザの選択を判断する。さらに、カメラの画像のマーカの境界の形状及び色がユーザの選択を判断するために使用されてもよい。
一つもしくは複数の実施例において、オフ・センタ埋め込みメディア・マーカのハード・コピー・ドキュメントもしくはその他の物品への印刷が空間的に制限される場合、計算処理システム100は取得スケールを補償してもよい。この補償は、異なる色及び形状を有する視認可能な構成要素を用いてなされる。図11は、画像取得スケールを調整するための異なる大きさ及び色を有する2つの異なる視認可能な構成要素1102及び1103を用いるGUI1100の実施例を示す。この実施例の使用は、図12と関連して示される。視認可能な構成要素1102が同じ色を有するマーカ1201と位置揃えすると、カメラ111の視野、すなわち、取得される画像は矩形1203となる。一方、マーカ1201が(大きい)視認可能な構成要素1103と同じ色を有する場合、位置揃えを達成するために、ユーザはドキュメント1200にカメラ111を近付けなければならず、取得される画像の領域は、矩形1203より小さい矩形1204となる。すなわち、視認可能な構成要素が大きいと取得される画像領域は小さくなり、視認可能な構成要素が小さいと取得される画像領域は大きくなる。一つもしくは複数の実施例において、視認可能な構成要素1103及び1102は、2つの異なるユーザの選択に関連付けられており、計算処理システム100はカメラ111による画像取得によって取得される画像を用いてユーザの選択を判断してもよい。
ここで記述される本発明の技術の実施例は視認可能な構成要素と印刷されたメディア・マーカとを組み合わせているが、本発明のオフ・センタ埋め込みメディア・マーカの実施例は視認可能な構成要素及びメディア・マーカと異なっていてもよい。当業者には明らかであるように、従来の照準器を使用すると一つの線に3つの点を位置揃えするように焦点が合わせられる。したがって、このような位置合わせは、一次元位置揃えタスクとして捉えることができる。従来の埋め込みメディア・マーカは取得領域とカメラ・ビューとの位置揃えを強調し、したがって、埋め込みメディア・マーカの使用が二次元位置揃えの問題とされていた。一方、本発明のオフ・センタ埋め込みメディア・マーカの実施例は、形状、色、大きさ、向きおよびその他の特徴を含む、複数の特徴空間へ位置揃えを拡張する。このような拡張は、一つの特徴空間が適用のシナリオによって制限される場合に、より多くの自由をユーザに提供する。
一つもしくは複数の実施例において、オフ・センタ埋め込みメディア・マーカによって占められる印刷空間を低減するために、マーカ及び対応する視認可能な構成要素は、図13に示されるように、色を有する一次元のライン・セグメントとして配置されてもよい。詳細には、図13に示されるGUI1300の実施例は、各々が異なる色及び長さを有する4つの視認可能な構成要素1302、1303、1304、1305を含む。一つもしくは複数の実施例において、視認可能な構成要素1302、1303、1304、1305の各々は、異なるメディア、その他のコンテンツ、ツールもしくは機能と関連付けられていてもよい。この実施例の使用は図14と関連して示される。図14に示されるように、視認可能な構成要素1304と、視認可能な構成要素1304と同じ形状及び色を有するマーカ1404とが位置揃えされる。この位置揃えによって、カメラ111の視野1403に含まれるドキュメント1400の一部の画像がカメラ111によって取得され、続いて、視認可能な構成要素1302、1303、1304、1305の何れがマーカ1404と位置揃えされたのかを判断し、対応するユーザの選択を判断するために、アプリケーション117によって使用される。メディア種類指標もしくは機能種類指標が、ペーパ・ドキュメント1400上、マーカ1404の近辺、もしくはGUI1300の内部の対応する視認可能な構成要素1304に隣接して配置されてもよい。
一つもしくは複数の実施例において、空間が非常に制限されている適用において、埋め込みメディア・マーカによって占められる印刷空間をさらに低減するために、メディア種類指標もしくは機能種類指標は、ハード・コピー・ドキュメント上に配置されず、例えば図15に示すように、計算処理システム100の表示装置109にだけ示されてもよい。この図に示されるように、メディア種類指標もしくは機能種類指標1506、1507、1508がGUI1501の対応する視認可能な構成要素1503、1504、1505に隣接して配置されている。(視認可能な構成要素1502はメディア種類指標を有さない。)視認可能な構成要素1502、1503、1504、1505の各々は異なる色を有する。GUI1501の実施例の使用を図16に示す。詳細には、視認可能な構成要素1505が同じ色を有するマーカ1605と位置揃えされる。このような位置揃えがされると、視野1603に含まれるドキュメント1600の一部の画像がカメラ111によって取得される。
当業者には明らかであるように、ここで記述されるオフ・センタ埋め込みメディア・マーカの様々な実施例は、当業者にはよく知られている拡張現実の視認可能な追跡に使用される位置合わせマーカに関連する。コンピュータ・ベースの視認可能な追跡のために設計されている位置合わせマーカとは異なり、上記された視認可能な構成要素及び印刷されたマーカは、詳細には、人間であるユーザのメディア・マーカ取得をガイドするために設計されている。人間であるユーザは、データを符号化せずに小さな形状を位置揃えする非常に優れた能力を有するので、通常、オフ・センタ埋め込みメディア・マーカの様々な実施例は機械によって使用される位置合わせマーカよりも邪魔にならないように(視認的に干渉しないように)設計されることができる。さらに、拡張現実に使用される位置合わせマーカは、同一のオブジェクトを追跡するために主に使用されるが、ここで記述されるマーカと視認可能な構成要素の対は、多くの異なるメディアのリンクもしくは機能のリンクに使用される。さらに、従来の位置合わせマーカは機械のために設計されているため、人間にとって、通常、意味を有さない。一方、オフ・センタ埋め込みメディア・マーカの様々な実施例は、視認可能であり、人間にとって意味を有するように詳細に設計される。
図17は、オフ・センタ埋め込みメディア・マーカ・アプリケーション117の例示的な動作シーケンス1700を示す。まず、ステップ1701において、グラフィカル・ユーザ・インターフェイス生成モジュール118は計算処理システム100の表示装置109のGUIを生成する。生成されたGUIは、例えば、図3及び図5に示すように、少なくとも一つの視認可能な構成要素及びカメラ111によって撮影されるリアル・タイム・ビデオを表示する少なくとも一つの部分を含む。ステップ1702において、ユーザによる取得ボタン303の選択などのような、ユーザによって行われるイベントの検出に応じて、画像取得モジュール119はカメラ111の視野に含まれる画像を取得する。代替的な実施形態において、視認可能な構成要素とオフ・センタ埋め込みメディア・マーカとの適切な位置揃えの検出に応じて、画像が自動的に取得されてもよい。
取得画像は、ステップ1703において、計算処理システム100によって、画像を解析する画像処理パワーをより多く有する計算処理サーバ・システム200に送信されてもよいが、ステップ1703を実行するか否かは任意である。ステップ1704において、取得画像から複数の特徴が抽出される。様々な実施例において、当業者にはよく知られているように、抽出される特徴はエッジ、コーナー、リッジ、単語境界ボックス、もしくは、SIFT(scale-invariant feature transform)キーポイントなどの画像のキーポイントを含むことができる。ある実施例において、単一のマーカだけが特定の領域もしくは関心に対応する場合、回転非依存画像特徴が取得画像を識別するために使用されてもよい。その他の代替的な実施例においては、回転依存画像特徴が使用されるべきである。抽出される画像特徴は、選択されたオフ・センタ埋め込みメディア・マーカに関連するメディア、その他のコンテンツ、ツールもしくは機能を識別するために、ステップ1705において使用されてもよい。さらに、もしくは代替的に、例えば、特許文献2に記述される技術を用いて、データベースに記憶されるインデックス付けされた候補画像のセットと取得画像とを比較することによって、上記識別が実行されてもよい。詳細には、低解像度における第一のおおまかな比較と高解像度における第二の精細な比較とを含む、二段階の比較が使用されてもよい。データベースに記憶されている候補画像の各々は、特定のメディア、その他のコンテンツ、ツール、もしくは、機能と関連付けられてもよく、候補画像と取得画像との画像の照合が肯定されることによって、そのようなメディア、その他のコンテンツ、ツールもしくは機能を一意に識別する。
画像解析が計算処理サーバ・システム200で実行されたならば、識別された対象物に関する情報が、計算処理サーバ・システム200によって、計算処理システム100に送り返されてもよい。計算処理システム100では、対応するメディアもしくはコンテンツがメディア(画像)取り出しモジュール121によって取り出されてもよいし、選択された機能が計算処理システム100のその他のモジュールによって実行されてもよい。代替的な実施例において、計算処理サーバ・システム200は、計算処理システム100に、対応するメディア・オブジェクトを送信してもよい。
その他の実施例において、適切な数の視認可能な特徴を有する所定の領域のユーザによる画像取得に適切なガイダンスを提供するために、オフ・センタ埋め込みメディア・マーカが適切な色、大きさ(サイズ)及び向きで印刷されてもよい。マーカの色は、対応する視認可能な構成要素の色に基づいて、容易に選択することができる。しかしながら、マーカの大きさ及び向きを、人間が決定することは容易ではない。図18は、本発明のオフ・センタ埋め込みメディア・マーカを作成するための反復処理1800の実施例を示す。まず、ステップ1801で、関心領域の選択がパブリッシャ(埋め込みメディア・マーカの発行者)から受信される。さらに、ステップ1802で、オフ・センタ埋め込みメディア・マーカの位置も受信される。処理は、マーカの大きさ及び向きを推定し、ステップ1803で、推定された大きさ及び向きを有する仮定マーカ(仮マーカ)を配置する。ステップ1804で、表示装置109上の視認可能な構成要素の位置及び大きさ、推定されたマーカの大きさ及び向きに基づいて、処理は画像取得領域を推定する。次に、推定される取得領域の視認可能な特徴の数が、ステップ1805で、計数される。反復処理は、オリジナル・ドキュメント上のマーカがもっとも邪魔にならない(視認的に干渉しない)ようにしながら、対応する目には見えない画像取得領域における特徴の必要数すなわち区別可能な特徴の必要数が得られるように、ステップ1806で、マーカの大きさ及び向きを変更する。最後に、もっとも小さく、もっとも邪魔にならない(視認的に干渉しない)マーカが、ステップ1807で採用される。
代替的な実施例で、パブリッシャは関心領域を特定してもよい。次に、実施例の作成システムは、特定された関心領域の周囲のブランク・スペースを自動的に検出し、当業者にはよく知られているように、従来の埋め込みメディア・マーカのために必要とされるのと同様の要求を満たす適切な目に見えない画像取得境界を決定するために、マーカの位置、向き及び大きさを調整する。
スマートフォンの展開に適した一つもしくは複数の実施例において、視認可能な構成要素は48画素×64画素の大きさを有していてもよい。480画素×640画素の解像度を有するスマートフォンの表示装置のエッジ近辺に、上記視認可能な構成要素を位置させることができる。適切な視認可能な特徴数を達成するために意図される取得領域に依存して、マーカの大きさ、位置、及び、向きが、上記オフ・センタ埋め込みメディア・マーカの作成ツールによって調整される。実施例の一つにおいて、ペーパ・ドキュメント上の意図される画像取得領域は4インチ×3インチ(約10cm×7.5cm)である。上記入力パラメータに基づいて、ペーパ上のマーカの大きさは以下の通り計算される。
4インチ×(64画素/640画素)=0.4インチ(約1cm)
3インチ×(48画素/480画素)=0.3インチ(約0.75cm)
マーカの大きさは0.4インチ(約1cm)×0.3インチ(約0.75cm)=
0.12インチ(約0.75cm
しかしながら、本発明の技術は、マーカもしくは視認可能な構成要素の任意の特定の大きさによって限定されるものではない。
当業者には明らかであるように、図4に示すマーカ401のような、本発明のオフ・センタ埋め込みメディア・マーカは、ドキュメントの視認可能な重要な特徴に重畳されないように、ドキュメント内の位置に配置することができる。したがって、これらの本発明のマーカは、透過性もしくは半透過性である必要がないので、例えば、上記特許文献1に記述されるように、ドキュメントの視認可能な特徴に重畳されることを要求する従来の埋め込みメディア・マーカと比較して、マーカの印刷をシンプルにすることができる。例えば、本発明のオフ・センタ埋め込みメディア・マーカの使用は、黒及び白のドキュメント上のマーカの使用を許容する。
当業者によれば明らかなように、異なる装置のカメラは、画像取得に関連する異なる特性を有していてもよい。したがって、一つもしくは複数の実施例において、特定のカメラ111の視野403に含まれる適切な数の視認可能な特徴を有する領域を保証するために、特定のシステム100のカメラ111の特定のパラメータに基づいて、視認可能な構成要素301の大きさが調整されてもよい。この場合、様々な種類のカメラ111及び/もしくはシステム100のための適切な調整係数がデータ・ストレージ122に記憶されていてもよい。
最後に、ここで記述される処理及び技術は特定の装置の何れかに固有に関連するものではなく、適切に組み合わせられた構成要素の何れかによって実装されてもよいことが理解されるべきである。さらに、様々な種類の汎用目的装置がここに記述される技術に従って使用されてもよい。ここに記述される方法ステップを実行するために専用装置を構築することは有利であるかもしれない。本発明は、特定の例示に関連して記述されているが、この記述は、限定ではなく、例示を意図している。多くの異なるハードウェア、ソフトウェア及びファームウェアの組み合わせが本発明を実行するために適切であることは、当業者には明らかである。例えば、記述されるソフトウェアは、アセンブラ、C/C++、Objective−C、perl、shell、PHP、Java(登録商標)、現在知られているもしくは今後開発されるプログラミング言語もしくはスクリプト言語の何れかなどの様々なプログラミング言語もしくは記述言語によって実装されてもよい。
さらに、ここに記述された詳細及び実行を考慮すれば、本発明のその他の実装が当業者には明らかであろう。記述された実装の様々な態様及び/もしくは構成要素は、オフ・センタ埋め込みメディア・マーカを実装する及び使用するシステム及び方法を個別に、もしくは、任意に組み合わせて使用することができる。詳細及び例は例示としてのみ考慮されることを意図し、本発明の真の範囲及び思想は特許請求の範囲の記載によって示される。
100 計算処理システム
109 表示装置
111 カメラ
300 グラフィカル・ユーザ・インターフェイス
301 視認可能な構成要素
401 埋め込みメディア・マーカ

Claims (23)

  1. 物品の表面に提供されるコンテンツの第1の部分にマーカが関連付けられており、
    前記マーカは前記物品のコンテンツの第1の部分の外側に配置され、
    プロセッサが、
    第1の視認可能な構成要素及びライブ・ビデオ部分を含むグラフィカル・ユーザ・インターフェイスを生成し、
    前記第1の視認可能な構成要素と前記マーカとが位置揃えされると、カメラの視野内の前記コンテンツの第2の部分の画像を前記カメラに取得させ、
    取得した前記画像から複数の画像特徴を抽出し、
    抽出した前記複数の画像特徴を使用して、前記マーカに関連する第1のメディアもしくは機能を識別する、
    メディアもしくは機能識別方法。
  2. 前記プロセッサが、
    前記第1の視認可能な構成要素と前記マーカとの位置揃えを自動的に検出する、
    ことをさらに含む、
    請求項1に記載のメディアもしくは機能識別方法。
  3. 前記第1の視認可能な構成要素が矢印の形状を有する、請求項1または2に記載のメディアもしくは機能識別方法。
  4. 前記第1の視認可能な構成要素がライン・セグメントの形状を有する請求項1または2に記載のメディアもしくは機能識別方法。
  5. 生成された前記グラフィカル・ユーザ・インターフェイスが第2の視認可能な構成要素を有し、
    前記第2の視認可能な構成要素が前記第1の視認可能な構成要素とは異なる向きを有する、
    請求項1〜4のいずれか1項に記載のメディアもしくは機能識別方法。
  6. 前記第2の視認可能な構成要素が前記第1の視認可能な構成要素とは異なる大きさを有する、
    請求項5に記載のメディアもしくは機能識別方法。
  7. 前記第2の視認可能な構成要素が前記第1の視認可能な構成要素とは異なる境界形状を有する、
    請求項5または6に記載のメディアもしくは機能識別方法。
  8. 前記第2の視認可能な構成要素が前記第1の視認可能な構成要素とは異なる色を有する、
    請求項5〜7のいずれか1項に記載のメディアもしくは機能識別方法。
  9. 前記第1の視認可能な構成要素が、前記第1の視認可能な構成要素に関連するメディアもしくは機能の第1の種類を示す第1の指標を含み、
    前記第2の視認可能な構成要素が、前記第2の視認可能な構成要素に関連するメディアもしくは機能の第2の種類を示す第2の指標を含み、
    前記第1の指標が前記第2の指標とは異なる、
    請求項5〜8のいずれか1項に記載のメディアもしくは機能識別方法。
  10. 前記第1の視認可能な構成要素が前記第1のメディアもしくは機能と関連し、
    前記第2の視認可能な構成要素が第2のメディアもしくは機能と関連し、
    前記第1のメディアもしくは機能と、前記第2のメディアもしくは機能と、は抽出された前記複数の画像特徴によって識別可能である、
    請求項5〜9のいずれか1項に記載のメディアもしくは機能識別方法。
  11. 識別された前記第1のメディアもしくは機能のメディアを取り出すこと、及び、識別された前記第1のメディアもしくは機能の機能を実行すること、
    の少なくとも一方をさらに含む、請求項1〜10のいずれか1項に記載のメディアもしくは機能識別方法。
  12. 物品の表面に提供されるコンテンツの第1の部分にマーカが関連付けられており、
    前記マーカは前記物品のコンテンツの第1の部分の外側に配置され、
    プロセッサが、
    視認可能な構成要素及びライブ・ビデオ部分を含むグラフィカル・ユーザ・インターフェイスを生成し、
    前記視認可能な構成要素と前記マーカとが位置揃えされると、カメラの視野内の前記コンテンツの第2の部分の画像を前記カメラに取得させ、
    取得した前記画像を解析するために、前記画像を計算処理サーバ・システムに送信し、
    前記マーカに関連するメディアもしくは機能の識別に関する情報を、前記計算処理サーバ・システムから受信する、
    メディアもしくは機能識別方法。
  13. 前記計算処理サーバ・システムから前記マーカに関連するメディアを受信する、
    ことをさらに含む、
    請求項12に記載のメディアもしくは機能識別方法。
  14. 物品の表面に提供されたコンテンツと、
    前記物品の表面に提供された第1のマーカと、
    を含み、
    前記第1のマーカは前記物品の表面に提供された前記コンテンツの第1の部分に関連付けられており、
    前記第1のマーカは前記物品の表面の前記コンテンツの第1の部分の外側に配置されており、
    前記第1のマーカの大きさ及び向きは、
    カメラを含む電子機器のグラフィカル・ユーザ・インターフェイスの構成要素と前記第1のマーカとが位置揃えされた場合に、
    複数の画像特徴を抽出し、抽出された前記複数の画像特徴を前記第1のマーカ及び前記コンテンツの第1の部分を識別するために使用することによって、前記第1のマーカ及び前記コンテンツの第1の部分を自動的に識別させるために適切な前記複数の画像特徴を前記コンテンツの第2の部分が含むような、
    大きさ及び向きであり、
    前記電子機器のカメラは前記物品の表面に提供された前記コンテンツの前記第2の部分の画像を取得するように位置付けられる、
    前記物品。
  15. 物品の表面にコンテンツが提供されており、
    a.前記コンテンツの第1の部分の選択を受信し、
    b.マーカの位置の選択を受信し、
    c.前記マーカの大きさ及び向きを決定し、
    d.決定された前記マーカの大きさ及び向きを用いて、受信した前記マーカの位置に、前記マーカを配置し、
    e.カメラを含む電子機器のグラフィカル・ユーザ・インターフェイスの視認可能な構成要素と前記マーカとが位置揃えされると前記コンテンツの第2の部分の画像が取得される場合の前記コンテンツの第2の部分を推定し、
    f.前記コンテンツの第2の部分の視認可能な特徴を計数し、
    g.計数された前記視認可能な特徴の数が前記マーカを識別するために適切であるか否かを判断する、
    マーカ配置方法。
  16. 前記コンテンツの第1の部分が前記コンテンツの第2の部分と同一である、請求項15に記載のマーカ配置方法。
  17. 前記物品が2次元面媒体である請求項15または16に記載のマーカ配置方法。
  18. 前記マーカが、前記コンテンツの第1の部分を指し示す矢印を含む、請求項15〜17のいずれか1項に記載のマーカ配置方法。
  19. 前記マーカが、ライン・セグメントの形状を有する、請求項15〜17のいずれか1項に記載のマーカ配置方法。
  20. 前記マーカの大きさ及び向きを変更してd〜fを繰り返し、
    前記コンテンツに対するマーカの視認的な干渉がもっとも少ない最小のマーカを選択する、
    請求項15〜19のいずれか1項に記載のマーカ配置方法。
  21. 前記電子機器はさらに表示装置を備え、
    eにおいて、前記グラフィカル・ユーザ・インターフェイスの視認可能な構成要素の相対的な大きさ及び前記表示装置の大きさに基づいて、前記コンテンツの第2の部分が推定される、
    請求項15〜20のいずれか1項に記載のマーカ配置方法。
  22. eにおいて、前記グラフィカル・ユーザ・インターフェイスの視認可能な構成要素の相対的な大きさ及び前記電子機器のカメラの画像取得領域の大きさに基づいて、前記コンテンツの第2の部分が推定される、
    請求項15〜20のいずれか1項に記載のマーカ配置方法。
  23. 物品の表面にコンテンツが提供されており、
    マーカが前記物品の表面に提供されるコンテンツの第1の部分に関連付けられており、
    前記マーカが前記物品の表面のコンテンツの第1の部分の外側に配置されており、
    視認可能な構成要素及びライブ・ビデオ部分を含むグラフィカル・ユーザ・インターフェイスを生成し、
    前記視認可能な構成要素と前記マーカとが位置揃えされると、カメラの視野内の前記コンテンツの第2の部分の画像を前記カメラに取得させ、
    取得した前記画像から複数の画像特徴を抽出し、
    抽出した前記複数の画像特徴を用いて、前記マーカに関連するメディアもしくは機能を識別する、
    ことをコンピュータに実行させるためのプログラム。
JP2013124927A 2013-02-15 2013-06-13 メディアもしくは機能識別方法及びプログラム、マーカを含む物品、及びマーカ配置方法 Active JP5983540B2 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US13/769,270 US9275278B2 (en) 2013-02-15 2013-02-15 Systems and methods for implementing and using off-center embedded media markers
US13/769,270 2013-02-15

Publications (2)

Publication Number Publication Date
JP2014157595A true JP2014157595A (ja) 2014-08-28
JP5983540B2 JP5983540B2 (ja) 2016-08-31

Family

ID=51351187

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2013124927A Active JP5983540B2 (ja) 2013-02-15 2013-06-13 メディアもしくは機能識別方法及びプログラム、マーカを含む物品、及びマーカ配置方法

Country Status (2)

Country Link
US (1) US9275278B2 (ja)
JP (1) JP5983540B2 (ja)

Families Citing this family (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2015088096A (ja) * 2013-11-01 2015-05-07 株式会社ソニー・コンピュータエンタテインメント 情報処理装置および情報処理方法
US9208301B2 (en) 2014-02-07 2015-12-08 Bank Of America Corporation Determining user authentication requirements based on the current location of the user in comparison to the users's normal boundary of location
US9286450B2 (en) 2014-02-07 2016-03-15 Bank Of America Corporation Self-selected user access based on specific authentication types
US9647999B2 (en) 2014-02-07 2017-05-09 Bank Of America Corporation Authentication level of function bucket based on circumstances
US9223951B2 (en) 2014-02-07 2015-12-29 Bank Of America Corporation User authentication based on other applications
US9721268B2 (en) 2014-03-04 2017-08-01 Bank Of America Corporation Providing offers associated with payment credentials authenticated in a specific digital wallet
JP6432182B2 (ja) * 2014-07-02 2018-12-05 富士通株式会社 サービス提供装置、方法、及びプログラム
US20180133593A1 (en) * 2014-08-07 2018-05-17 Fove, Inc. Algorithm for identifying three-dimensional point-of-gaze
CN107092348B (zh) * 2017-03-20 2020-03-17 重庆邮电大学 一种沉浸式虚拟现实漫游系统中的视觉定位标识布局方法
US10524165B2 (en) 2017-06-22 2019-12-31 Bank Of America Corporation Dynamic utilization of alternative resources based on token association
US10313480B2 (en) 2017-06-22 2019-06-04 Bank Of America Corporation Data transmission between networked resources
US10511692B2 (en) 2017-06-22 2019-12-17 Bank Of America Corporation Data transmission to a networked resource based on contextual information

Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004282708A (ja) * 2003-02-28 2004-10-07 Fuji Photo Film Co Ltd 印刷物生成装置および方法、情報検出装置および方法並びにプログラム
JP2005020727A (ja) * 2003-06-05 2005-01-20 Ntt Docomo Inc 2次元バーコードに埋め込まれた情報の読取りおよび復号を行う方法および装置
JP2005275530A (ja) * 2004-03-23 2005-10-06 Matsushita Electric Ind Co Ltd 光学的情報読取装置および情報読取システムおよび記録媒体の読取方法
JP2005293409A (ja) * 2004-04-02 2005-10-20 Fujitsu Ltd 特定画像位置推定装置,特定画像位置推定方法,特定画像位置推定プログラム及び特定画像位置推定プログラムを記録したコンピュータ読取可能な記録媒体並びに媒体
JP2006319416A (ja) * 2005-05-10 2006-11-24 Nec Corp 情報読取装置、対象物、情報処理装置、情報通信システム、情報読取方法、及びプログラム
JP2007207010A (ja) * 2006-02-02 2007-08-16 Denso Wave Inc 携帯型二次元コード読取装置
JP2011135556A (ja) * 2009-12-23 2011-07-07 Fuji Xerox Co Ltd 表示物の生成方法、デジタルメディア提供システム、それらのためのコンピュータプログラムおよび表示物体
JP2011180711A (ja) * 2010-02-26 2011-09-15 Fujitsu Ltd 画像表示装置、画像表示方法、および画面表示プログラム
WO2011161803A1 (ja) * 2010-06-25 2011-12-29 富士通株式会社 画像処理装置および画像処理方法
WO2012061760A2 (en) * 2010-11-04 2012-05-10 Digimarc Corporation Smartphone-based methods and systems
US20120218444A1 (en) * 2011-02-24 2012-08-30 John Stach Methods and systems for dealing with perspective distortion in connection with smartphone cameras
JP2012185591A (ja) * 2011-03-04 2012-09-27 Fuji Xerox Co Ltd 画像処理装置、情報提供システム及びプログラム

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4240293B2 (ja) * 2003-05-27 2009-03-18 株式会社ソニー・コンピュータエンタテインメント マルチメディア再生装置およびマルチメディア再生方法
EP1613060A1 (en) * 2004-07-02 2006-01-04 Sony Ericsson Mobile Communications AB Capturing a sequence of images
US8949287B2 (en) * 2005-08-23 2015-02-03 Ricoh Co., Ltd. Embedding hot spots in imaged documents
US8861864B2 (en) * 2010-03-11 2014-10-14 Qualcomm Incorporated Image feature detection based on application of multiple feature detectors
US8424751B2 (en) * 2010-08-12 2013-04-23 Fuji Xerox Co., Ltd. Embedded media barcode links and systems and methods for generating and using them
CA2818718C (en) * 2010-09-21 2014-10-28 King Jim Co., Ltd. Image processing system and imaging object used for same
US8855421B2 (en) 2011-04-25 2014-10-07 Fuji Xerox Co., Ltd. Methods and apparatuses for Embedded Media Marker identification
CA2790799C (en) * 2011-09-25 2023-03-21 Mathieu Audet Method and apparatus of navigating information element axes

Patent Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004282708A (ja) * 2003-02-28 2004-10-07 Fuji Photo Film Co Ltd 印刷物生成装置および方法、情報検出装置および方法並びにプログラム
JP2005020727A (ja) * 2003-06-05 2005-01-20 Ntt Docomo Inc 2次元バーコードに埋め込まれた情報の読取りおよび復号を行う方法および装置
JP2005275530A (ja) * 2004-03-23 2005-10-06 Matsushita Electric Ind Co Ltd 光学的情報読取装置および情報読取システムおよび記録媒体の読取方法
JP2005293409A (ja) * 2004-04-02 2005-10-20 Fujitsu Ltd 特定画像位置推定装置,特定画像位置推定方法,特定画像位置推定プログラム及び特定画像位置推定プログラムを記録したコンピュータ読取可能な記録媒体並びに媒体
JP2006319416A (ja) * 2005-05-10 2006-11-24 Nec Corp 情報読取装置、対象物、情報処理装置、情報通信システム、情報読取方法、及びプログラム
JP2007207010A (ja) * 2006-02-02 2007-08-16 Denso Wave Inc 携帯型二次元コード読取装置
JP2011135556A (ja) * 2009-12-23 2011-07-07 Fuji Xerox Co Ltd 表示物の生成方法、デジタルメディア提供システム、それらのためのコンピュータプログラムおよび表示物体
JP2011180711A (ja) * 2010-02-26 2011-09-15 Fujitsu Ltd 画像表示装置、画像表示方法、および画面表示プログラム
WO2011161803A1 (ja) * 2010-06-25 2011-12-29 富士通株式会社 画像処理装置および画像処理方法
WO2012061760A2 (en) * 2010-11-04 2012-05-10 Digimarc Corporation Smartphone-based methods and systems
US20120218444A1 (en) * 2011-02-24 2012-08-30 John Stach Methods and systems for dealing with perspective distortion in connection with smartphone cameras
JP2012185591A (ja) * 2011-03-04 2012-09-27 Fuji Xerox Co Ltd 画像処理装置、情報提供システム及びプログラム

Also Published As

Publication number Publication date
US9275278B2 (en) 2016-03-01
US20140233789A1 (en) 2014-08-21
JP5983540B2 (ja) 2016-08-31

Similar Documents

Publication Publication Date Title
JP5983540B2 (ja) メディアもしくは機能識別方法及びプログラム、マーカを含む物品、及びマーカ配置方法
US10121099B2 (en) Information processing method and system
Grasset et al. Image-driven view management for augmented reality browsers
US9245043B2 (en) Embedded media markers and systems and methods for generating and using them
US20200334906A9 (en) Sharing links in an augmented reality environment
US10650264B2 (en) Image recognition apparatus, processing method thereof, and program
US10147399B1 (en) Adaptive fiducials for image match recognition and tracking
JP2023520786A (ja) 複数の光学パターンを追跡し、復号し、位置決めするための画像解析
JP6493471B2 (ja) ビデオ再生方法、計算処理システム、及びビデオ再生プログラム
US11134193B2 (en) Information processing system, information processing method, and non-transitory computer-readable storage medium
JP2015001875A (ja) 画像処理装置、画像処理方法、プログラム、印刷媒体及び印刷媒体のセット
CN111290931B (zh) 用于可视化展示埋点数据的方法及装置
JP2017163195A (ja) 画像処理システム、プログラム、画像処理方法
JP2014164572A (ja) 情報処理装置およびプログラム
CN109074204B (zh) 补充信息的显示
TW201923549A (zh) 結合地圖服務的數位內容系統與數位內容產生方法
CN111986332A (zh) 展示留言板的方法、装置、电子设备及存储介质
JP2013206288A (ja) 情報管理方法及び情報管理システム
TWI327299B (en) Electronic map positioning and route planning system
KR20150125417A (ko) 이미지 기반 오브젝트 정보 제공 방법
KR101481271B1 (ko) 텍스트 마커를 이용한 증강 현실시스템
US20120256955A1 (en) System and method for enabling augmented reality in reports
US20180219957A1 (en) Media hotspot payoffs with alternatives lists

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20150819

TRDD Decision of grant or rejection written
A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20160630

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20160705

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20160718

R150 Certificate of patent or registration of utility model

Ref document number: 5983540

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

S533 Written request for registration of change of name

Free format text: JAPANESE INTERMEDIATE CODE: R313533

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350