JP2017108401A5 - スマートフォンベースの方法、スマートフォン及びコンピュータ可読媒体 - Google Patents

Description

オブジェクトの姿勢が決定されると、任意のオーバーレイされる情報は、例えば、ページのスマートフォンのビューにマッチする回転、スケール、変換、及び／又は、アフィンワープ若しくは遠近ワープを用いて、下にある画像に幾何学的に位置合わせされ得る。

以前に引用した米国特許出願第１３／０７９３２７号は、印刷された文書（例えば、新聞）から取り込まれた画像が、スマートフォン画面上に補助情報とともにレンダリングされ、補助情報が、幾何学的に位置合わせされた方式でオーバーレイされる構成を、詳述している。公開された出願２００８０３０００１１は、関連技術を詳述している。

（情報を画像上に、顕著点に基づいて、幾何学的に位置合わせされる方式でオーバーレイすることは、拡張現実から知られている。例えば、特許文献７，６１６，８０７、７，３５９，５２６、２００３００１２４１０、及び２０１００２３２７２７、並びに、記事、Ｒｅｉｔｍａｙｒ、「Ｇｏｉｎｇ Ｏｕｔ：Ｒｏｂｕｓｔ Ｍｏｄｅｌ−ｂａｓｅｄ Ｔｒａｃｋｉｎｇ ｆｏｒ Ｏｕｔｄｏｏｒ Ａｕｇｍｅｎｔｅｄ Ｒｅａｌｉｔｙ」、Ｐｒｏｃ． ５^ｔｈ ＩＥＥＥ／ＡＣＭ Ｉｎｔ． Ｓｙｍｐ． ｏｎ Ｍｉｘｅｄ ａｎｄ Ａｕｇｍｅｎｔｅｄ Ｒｅａｌｉｔｙ、２００６年、１０９〜１１８ページ、及び、Ｇｅｎｃ、「Ｍａｒｋｅｒ−ｌｅｓｓ Ｔｒａｃｋｉｎｇ ｆｏｒ ＡＲ：Ａ Ｌｅａｒｎｉｎｇ−Ｂａｓｅｄ Ａｐｐｒｏａｃｈ、Ｐｒｏｃ． １ｓｔ ＩＥＥＥ／ＡＣＭ Ｉｎｔ． Ｓｙｍｐ． ｏｎ Ｍｉｘｅｄ ａｎｄ Ａｕｇｍｅｎｔｅｄ Ｒｅａｌｉｔｙ、２００２年、２９５〜３０４ページを参照されたい。）

例えば、全体としてポスターに一般的である応答データを提示する（すなわち、典型的なＮＦＣ使用モデルの）代わりに、ユーザは、スマートフォンカメラで、ポスターの異なるエリアを撮像することができる。電話は、取り込まれた画像内の顕著点を識別し、識別した顕著点を、ＮＦＣポスター識別データの提出に応答してデータベースから返された顕著点とマッチングする。そのような構成によって、スマートフォンは、ポスターのどのような抜粋が撮像されているか（及び、望むなら、ポスターに対する電話の姿勢）を見極める。そのような抜粋に特に対応する補助情報が次いで、ユーザに（望むなら、幾何学的に位置合わせされた画面オーバーレイとして）提示される。このようにして、そのようなユーザは、ポスターの第１の部分を見ている場合、ある応答が提示され、ポスターの第２の部分を見ている場合、異なる応答が提示されうる。

拡張現実の技法は、画像特徴を認識し、ラベルなどの情報をオーバーレイするために知られている。重ね合わせられたオーバーレイは、画像特徴（複数可）とともに幾何学的に位置合わせされうるので、画像特徴が視野内で動くにつれて、オーバーレイが対応する動きで動くようになる。

Claims (11)

1. スマートフォンのカメラにより、印刷されたページ又は他のオブジェクト上のアートワークを描く画像を取り込む動作であって、前記アートワークがマシン可読コードを含む、動作と、
   ペイロードデータを取得するために前記マシン可読コードを復号する動作と、
   前記ペイロードデータをリモートデータベースに送信し引き換えに前記オブジェクトについての情報を受信することによって前記アートワークに関する顕著点にアクセスする動作であって、受信された前記情報が前記アートワークに関する前記顕著点を含む、動作と、
   前記スマートフォンの前記オブジェクトに対する３Ｄ姿勢を決定するために前記顕著点を使用する動作と、
   前記スマートフォンの画面において、取り込まれた前記画像の上に、補助情報を提示する動作であり、前記補助情報は、前記３Ｄ姿勢に応じて前記補助情報のアフィンワープ若しくは遠近ワープを用いて、取り込まれた該画像に幾何学的に位置合わせされる、動作と、
   を含み、
   前記３Ｄ姿勢は、取り込まれた前記画像に描かれた前記マシン可読コードから復号された前記ペイロードデータを使用して前記データベースからアクセスされた前記顕著点に基づいて決定される、方法。
2. 前記マシン可読コードが正方形２Ｄバーコードである、請求項１に記載の方法。
3. 物理的な前記オブジェクトがポスターである、請求項１に記載の方法。
4. 前記顕著点の各々は、前記アートワーク内のそのロケーションを示すデータと、そのロケーションに関連付けられた情報を表す特徴ベクトルと、によって表わされる、請求項１に記載の方法。
5. 前記特徴ベクトルは、前記点の周りに配列された複数の正方形ピクセルブロックの各々についての輝度勾配情報の値を詳述する、請求項４に記載の方法。
6. 前記顕著点は、輝度、色、テクスチャ又はガウス差分の有意な局所的変化がある、前記アートワーク内のロケーションを特定する、請求項１に記載の方法。
7. 前記顕著点はＳＩＦＴ又はＳＵＲＦの点を含む、請求項１に記載の方法。
8. 取り込まれた前記画像において前記オブジェクトのどのような抜粋が描かれているかを見極めるために前記顕著点を使用する動作と、
   そのような抜粋に特に対応する補助情報を提示する動作であって、ユーザが、前記オブジェクトの第１の部分を見ている場合にある応答を提示され、前記オブジェクトの第２の部分を見ている場合に第２の応答を提示されることを可能にする、動作と、
   をさらに含む、請求項１に記載の方法。
9. カメラと、ディスプレイと、プロセッサと、ソフトウェア命令を含むメモリと、を含むスマートフォンであって、前記ソフトウェア命令は前記スマートフォンに動作を実行させるように該スマートフォンを構成し、前記動作は、
   ペイロードデータを取得するために物理的なオブジェクト上のアートワークに含まれるマシン可読コードを復号する動作であって、前記マシン可読コードが前記スマートフォンのカメラによって取り込まれた画像に描かれている、動作と、
   前記ペイロードデータをリモートデータベースに送信し引き換えに前記オブジェクトについての情報を受信することによって前記アートワークに関する顕著点にアクセスする動作であって、受信された前記情報が前記アートワークに関する前記顕著点を含む、動作と、
   前記スマートフォンの前記オブジェクトに対する３Ｄ姿勢を決定するために前記顕著点を使用する動作と、
   前記スマートフォンの前記ディスプレイにおいて、取り込まれた前記画像の上に、補助情報を提示する動作であり、前記補助情報は、前記３Ｄ姿勢に応じて前記補助情報のアフィンワープ若しくは遠近ワープを用いて、取り込まれた該画像に幾何学的に位置合わせされる、動作と、
   を含み、
   前記３Ｄ姿勢は、取り込まれた前記画像に描かれた前記マシン可読コードから復号された前記ペイロードデータを使用して前記データベースからアクセスされた前記顕著点に基づいて決定される、スマートフォン。
10. ソフトウェア命令を含むコンピュータ可読媒体であって、前記ソフトウェア命令は、カメラ及びディスプレイを具備するスマートフォンに動作を実行させるように該スマートフォンを構成し、前記動作は、
    ペイロードデータを取得するために物理的なオブジェクト上のアートワークに含まれるマシン可読コードを復号する動作であって、前記マシン可読コードが前記スマートフォンのカメラによって取り込まれた画像に描かれている、動作と、
    前記ペイロードデータをリモートデータベースに送信し引き換えに前記オブジェクトについての情報を受信することによって前記アートワークに関する顕著点にアクセスする動作であって、受信された前記情報が前記アートワークに関する前記顕著点を含む、動作と、
    前記スマートフォンの前記オブジェクトに対する３Ｄ姿勢を決定するために前記顕著点を使用する動作と、
    前記スマートフォンの前記ディスプレイにおいて、取り込まれた前記画像の上に、補助情報を提示する動作であり、前記補助情報は、前記３Ｄ姿勢に応じて前記補助情報のアフィンワープ若しくは遠近ワープを用いて、取り込まれた該画像に幾何学的に位置合わせされる、動作と、
    を含み、
    前記３Ｄ姿勢は、取り込まれた前記画像に描かれた前記マシン可読コードから復号された前記ペイロードデータを使用して前記データベースからアクセスされた前記顕著点に基づいて決定される、コンピュータ可読媒体。
11. 前記リモートデータベースが、第２のスマートフォンから前記アートワークに関する前記顕著点を前もって受信し、前記第２のスマートフォンが、前もって前記アートワークの画像を取り込み、前記画像内の顕著点を識別するとともに、格納のために前記リモートデータベースに前記識別された顕著点の情報を転送する、請求項１に記載の方法。