JP2014510958A - テキストベース３ｄ拡張現実 - Google Patents

Abstract

特定の方法は、撮像装置から画像データを受信することと、画像データ内のテキストを検出することとを含む。テキストを検出したことに応答して、そのテキストに関連する少なくとも１つの拡張現実特徴を含む拡張画像データを生成する。

Description

本開示は、一般に画像処理に関する。

技術の進歩により、コンピュータ機器は、より小型でより強力になった。例えば、現在、小型で、軽量で、ユーザが容易に持ち運べる、ポータブルワイヤレス電話、携帯情報端末（ＰＤＡ）、及びページング装置など、ワイヤレスコンピュータ機器を含む、様々なポータブルパーソナルコンピュータ機器が存在する。より具体的には、セルラー電話やインターネットプロトコル（ＩＰ）電話などのポータブルワイヤレス電話は、ボイス及びデータパケットをワイヤレスネットワークを介して伝達することができる。更に、多くのそのようなワイヤレス電話は、その中に組み込まれた他のタイプの機器を含む。例えば、ワイヤレス電話は、デジタルスチルカメラ、デジタルビデオカメラ、デジタルレコーダ、及びオーディオファイルプレーヤをも含むことができる。

テキスト（文字列）ベース拡張現実（ＡＲ）技法について説明する。テキストベースＡＲ技法は、実世界シーン中で生じるテキストから情報を取り出し、関係するコンテンツを実シーン中に埋め込むことによってその関係するコンテンツを示すために使用され得る。例えば、カメラと表示スクリーンとをもつポータブル機器は、カメラによって撮影されたシーン中で生じるテキストを検出し、そのテキストに関連する３次元（３Ｄ）コンテンツの位置を特定するためにテキストベースＡＲを実行することができる。３Ｄコンテンツには、画像プレビューモードでスクリーンに表示されたときなど、表示されたときに、シーンの一部として現れるようにカメラからの画像データが埋め込まれ得る。機器のユーザは、タッチスクリーン又はキーボードなどの入力機器を介して３Ｄコンテンツと対話し得る。

特定の実施形態では、方法は、撮像装置から画像データを受信することと、画像データ内のテキストを検出することとを含む。本方法は、テキストを検出したことに応答して、テキストに関連する少なくとも１つの拡張現実特徴を含む拡張画像データを生成することをも含む。

別の特定の実施形態では、装置は、撮像装置から受信した画像データ内のテキストを検出するように構成されたテキスト検出器を含む。本装置は、拡張画像データを生成するように構成されたレンダリング装置(renderer)をも含む。拡張画像データは、テキストに関連する少なくとも１つの拡張現実特徴をレンダリングするための拡張現実データを含む。

開示する実施形態の少なくとも１つによって提供される特定の利点は、データベース中に登録された自然画像に基づいてシーン内の所定のマーカーを識別すること又はシーンを識別することに基づいて、限られた数のシーン中のＡＲコンテンツを提供することと比較して、シーン中の検出されたテキストに基づいて任意のシーン中のＡＲコンテンツを提示する能力を含む。

本開示の他の態様、利点、及び特徴は、図面の簡単な説明、発明を実施するための形態、及び特許請求の範囲を含む、本出願全体の検討の後に明らかになろう。

テキストベース３次元（３Ｄ）拡張現実（ＡＲ）を提供するためのシステムの特定の実施形態を示すブロック図。 図１Ａのシステムの画像処理装置の第１の実施形態を示すブロック図。 図１Ａのシステムの画像処理装置の第２の実施形態を示すブロック図。 図１Ａのシステムのテキスト検出器の特定の実施形態と、テキスト検出器のテキスト認識器の特定の実施形態とを示すブロック図。 図１Ａのシステムによって実行され得る画像内のテキスト検出の例示的な例を示す図。 図１Ａのシステムによって実行され得るテキスト配向検出の例示的な例を示す図。 図１Ａのシステムによって実行され得るテキスト領域検出の例示的な例を示す図。 図１Ａのシステムによって実行され得るテキスト領域検出の例示的な例を示す図。 図１Ａのシステムによって実行され得るテキスト領域検出の例示的な例を示す図。 図２の画像内の検出されたテキスト領域の例示的な例を示す図。 遠近歪み除去後の検出されたテキスト領域からのテキストを示す図。 図１Ａのシステムによって実行され得るテキスト検証プロセスの特定の実施形態を示す図。 図１Ａのシステムによって実行され得るテキスト領域追跡の例示的な例を示す図。 図１Ａのシステムによって実行され得るテキスト領域追跡の例示的な例を示す図。 図１Ａのシステムによって実行され得るテキスト領域追跡の例示的な例を示す図。 図１Ａのシステムによって実行され得るテキスト領域追跡の例示的な例を示す図。 図１Ａのシステムによって実行され得るテキスト領域追跡に基づいて、カメラ姿勢を決定する例示的な例を示す図。 図１Ａのシステムによって実行され得るテキスト領域追跡の例示的な例を示す図。 図１Ａのシステムによって生成され得るテキストベース３次元（３Ｄ）拡張現実（ＡＲ）コンテンツの例示的な例を示す図。 テキストベース３次元（３Ｄ）拡張現実（ＡＲ）を提供する方法の第１の特定の実施形態を示す流れ図。 画像データ中のテキストを追跡する方法の特定の実施形態を示す流れ図。 画像データの複数のフレーム中のテキストを追跡する方法の特定の実施形態を示す流れ図。 撮像装置の姿勢を推定する方法の特定の実施形態を示す流れ図。 テキストベース３次元（３Ｄ）拡張現実（ＡＲ）を提供する方法の第２の特定の実施形態を示す流れ図。 テキストベース３次元（３Ｄ）拡張現実（ＡＲ）を提供する方法の第３の特定の実施形態を示す流れ図。 テキストベース３次元（３Ｄ）拡張現実（ＡＲ）を提供する方法の第４の特定の実施形態を示す流れ図。 テキストベース３次元（３Ｄ）拡張現実（ＡＲ）を提供する方法の第５の特定の実施形態を示す流れ図。

図１Ａは、テキストベース３次元（３Ｄ）拡張現実（ＡＲ）を提供するシステム１００の特定の実施形態のブロック図である。システム１００は、画像処理装置１０４に結合された撮像装置１０２を含む。画像処理装置１０４はまた、表示装置１０６と、メモリ１０８と、ユーザ入力機器１８０とに結合される。画像処理装置１０４は、着信画像データ又は着信ビデオデータ中のテキストを検出し、表示のための３Ｄ ＡＲデータを生成するように構成される。

特定の実施形態では、撮像装置１０２は、テキスト１５２をもつシーンの画像１５０を表す入射光を画像センサ１１２に向けるように構成されたレンズ１１０を含む。画像センサ１１２は、検出された入射光に基づいてビデオデータ又は画像データ１６０を生成するように構成され得る。撮像装置１０２は、１つ以上のデジタルスチルカメラ、１つ以上のビデオカメラ、又はそれらの任意の組合せを含み得る。

特定の実施形態では、画像処理装置１０４は、図１Ｂ、図１Ｃ、及び図１Ｄに関して説明するように、着信ビデオ／画像データ１６０中のテキストを検出し、表示のための拡張画像データ１７０を生成するように構成される。撮像装置１０４は、撮像装置１０２から受信したビデオ／画像データ１６０内のテキストを検出するように構成される。撮像装置１０４は、検出されたテキストに基づいて、拡張現実（ＡＲ）データとカメラ姿勢データとを生成するように構成される。ＡＲデータは、ビデオ／画像データ１６０と合成され、拡張画像１５１内に埋め込まれて表示される、ＡＲ特徴１５４などの少なくとも１つの拡張現実特徴を含む。撮像装置１０４は、表示装置１０６に提供される拡張画像データ１７０を生成するために、カメラ姿勢データに基づいてビデオ／画像データ１６０にＡＲデータを埋め込む。

特定の実施形態では、表示装置１０６は、拡張画像データ１７０を表示するように構成される。例えば、表示装置１０６は、画像プレビュースクリーン又は他の視覚表示装置を含み得る。特定の実施形態では、ユーザ入力機器１８０は、表示装置１０６に表示された３次元物体のユーザ制御を可能にする。例えば、ユーザ入力機器１８０は、１つ以上のスイッチ、ボタン、ジョイスティック又はキーなどの１つ以上の物理制御を含み得る。他の例として、ユーザ入力機器１８０は、表示装置１０６のタッチスクリーン、音声インターフェース、エコーロケータ又はジェスチャー認識器、別のユーザ入力機構、又はそれらの任意の組合せを含むことができる。

特定の実施形態では、画像処理装置１０４の少なくとも一部分は、専用回路を介して実装され得る。他の実施形態では、画像処理装置１０４の少なくとも一部分は、画像処理装置１０４によって実行されるコンピュータ実行可能コードの実行によって実装され得る。例示のために、メモリ１０８は、画像処理装置１０４によって実行可能であるプログラム命令１４２を記憶する非一時的コンピュータ可読記憶媒体を含み得る。プログラム命令１４２は、ビデオ／画像データ１６０内のテキストなど、撮像装置から受信した画像データ内のテキストを検出するためのコードと、拡張画像データを生成するためのコードとを含み得る。拡張画像データは、拡張画像データ１７０など、テキストに関連する少なくとも１つの拡張現実特徴をレンダリングするための拡張現実データを含む。

テキストベースＡＲのための方法は、図１Ａの画像処理装置１０４によって実行され得る。テキストベースＡＲとは、（ａ）実世界シーン中のテキストから情報を取り出し、（ｂ）関係するコンテンツを実シーン中に埋め込むことによって関係するコンテンツを示すための技法を意味する。マーカーベースＡＲとは異なり、この手法は、予め定義されたマーカーを必要とせず、既存の辞書（英語、韓国語、ウィキペディア、．．．）を使用することができる。また、様々な形態（重ね合せテキスト、画像、３Ｄ物体、音声、及び／又はアニメーション）で結果を示すことによって、テキストベースＡＲは、多くの適用例（例えば、観光事業、教育）に対して非常に有用であり得る。

使用事例の特定の例示的な実施形態はレストランメニューである。外国を旅行しているときに、旅行者は、旅行者が辞書で調べることができないことがある外国語を見ることがあり得る。また、辞書中でその外国語が見つけられた場合でも、外国語の意味を理解することが困難であることがある。

例えば、「Jajangmyeon」は、中華料理「Zha jjang mian」から派生した人気がある韓国料理である。「Jajangmyeon」は、Chunjang（塩辛い黒い大豆ペースト）と、さいの目に切られた肉及び野菜と、ときには更に魚介類とで作られた濃厚なソースがトッピングされた小麦麺からなる。この説明は助けにはなるが、この料理が個人の味覚を満足させるかどうかを知ることは依然として困難である。しかしながら、Jajangmyeonの調理された料理の画像を個人が見ることができる場合、その個人はJajangmyeonを理解することがより容易になるであろう。

Jajangmyeonの３Ｄ情報が利用可能であった場合、個人は、それの様々な形状を見ると、Jajangmyeonをよりよく理解することができる。テキストベース３Ｄ ＡＲシステムは、それの３Ｄ情報から外国語を理解するのを助けることができる。

特定の実施形態では、テキストベース３Ｄ ＡＲはテキスト領域検出を実行することを含む。２値化と投影プロファイル分析とを使用することによって、画像の中心の周りのＲＯＩ（関心領域：region of interest）内のテキスト領域が検出され得る。例えば、２値化と投影プロファイル分析とは、図１Ｄに関して説明したように、テキスト領域検出器１２２などのテキスト認識検出器によって実行され得る。

図１Ｂは、テキスト検出器１２０と、追跡／姿勢推定モジュール１３０と、ＡＲコンテンツ生成器１９０と、レンダリング装置１３４とを含む図１Ａの画像処理装置１０４の第１の実施形態のブロック図である。画像処理装置１０４は、着信ビデオ／画像データ１６０を受信し、画像処理装置１０４のモードに応答するスイッチ１９４の動作を介して、ビデオ／画像データ１６０をテキスト検出器１２０に選択的に与えるように構成される。例えば、検出モードでは、スイッチ１９４は、ビデオ／画像データ１６０をテキスト検出器１２０に与え得、追跡モードでは、スイッチ１９４は、ビデオ／画像データ１６０の処理によって、テキスト検出器１２０をバイパスさせ得る。追跡／姿勢推定モジュール１３０によって提供された検出／追跡モードインジケータ１７２を介して、モードはスイッチ１９４に示され得る。

テキスト検出器１２０は、撮像装置１０２から受信した画像データ内のテキストを検出するように構成される。テキスト検出器１２０は、所定のマーカーの位置を特定するためにビデオ／画像データ１６０を検査することなしに、及び登録自然画像のデータベースにアクセスすることなしに、ビデオ／画像データ１６０のテキストを検出するように構成され得る。テキスト検出器１２０は、図１Ｄに関して説明するように、検証されたテキストデータ１６６とテキスト領域データ１６７とを生成するように構成される。

特定の実施形態では、ＡＲコンテンツ生成器１９０は、検証されたテキストデータ１６６を受信することと、ビデオ／画像データ１６０と合成され、拡張画像１５１内に埋め込まれて表示される、ＡＲ特徴１５４などの少なくとも１つの拡張現実特徴を含む拡張現実（ＡＲ）データ１９２を生成することとを行うように構成される。例えば、ＡＲコンテンツ生成器１９０は、意味、翻訳、又は図１６に示すメニュー翻訳使用事例に関して説明するような検証されたテキストデータ１６６の他の態様に基づいて、１つ以上の拡張現実特徴を選択し得る。特定の実施形態では、少なくとも１つの拡張現実特徴は３次元物体である。

特定の実施形態では、追跡／姿勢推定モジュール１３０は、追跡構成要素１３１と、姿勢推定構成要素１３２とを含む。追跡／姿勢推定モジュール１３０は、テキスト領域データ１６７とビデオ／画像データ１６０とを受信するように構成される。追跡／姿勢推定モジュール１３０の追跡構成要素１３１は、追跡モードにある間、ビデオデータの複数のフレーム中に、画像１５０中の少なくとも１つの他の顕著な特徴（salient feature）に関係するテキスト領域を追跡するように構成され得る。追跡／姿勢推定モジュール１３０の姿勢推定構成要素１３２は、撮像装置１０２の姿勢を決定するように構成され得る。追跡／姿勢推定モジュール１３０は、姿勢推定構成要素１３２によって決定された撮像装置１０２の姿勢に少なくとも部分的に基づいて、カメラ姿勢データ１６８を生成するように構成される。テキスト領域は３次元で追跡され得、ＡＲデータ１９２は、追跡されるテキスト領域の位置と撮像装置１０２の姿勢とに従って複数のフレームに配置され得る。

特定の実施形態では、レンダリング装置１３４は、ＡＲコンテンツ生成器１９０からのＡＲデータ１９２と追跡／姿勢推定モジュール１３０からのカメラ姿勢データ１６８とを受信することと、拡張画像データ１７０を生成することとを行うように構成される。拡張画像データ１７０は、元の画像１５０のテキスト１５２及び拡張画像１５１のテキスト１５３に関連する拡張現実特徴１５４など、テキストに関連する少なくとも１つの拡張現実特徴をレンダリングするための拡張現実データを含み得る。レンダリング装置１３４はまた、ＡＲデータ１９２のプレゼンテーションを制御するために、ユーザ入力機器１８０から受信したユーザ入力データ１８２に応答し得る。

特定の実施形態では、テキスト検出器１２０、ＡＲコンテンツ生成器１９０、追跡／姿勢推定モジュール１３０、及びレンダリング装置１３４のうちの１つ以上の少なくとも一部分は、専用回路を介して実装され得る。他の実施形態では、テキスト検出器１２０、ＡＲコンテンツ生成器１９０、追跡／姿勢推定モジュール１３０、及びレンダリング装置１３４のうちの１つ以上は、画像処理装置１０４中に含まれるプロセッサ１３６によって実行されるコンピュータ実行可能コードの実行によって実装され得る。例示のために、メモリ１０８は、プロセッサ１３６によって実行可能であるプログラム命令１４２を記憶する非一時的コンピュータ可読記憶媒体を含み得る。プログラム命令１４２は、ビデオ／画像データ１６０内のテキストなど、撮像装置から受信した画像データ内のテキストを検出するためのコードと、拡張画像データ１７０を生成するためのコードとを含み得る。拡張画像データ１７０は、テキストに関連する少なくとも１つの拡張現実特徴をレンダリングするための拡張現実データを含む。

動作中、ビデオ／画像データ１６０は、画像１５０を表すデータを含むビデオデータのフレームとして受信され得る。画像処理装置１０４は、テキスト検出モードでは、ビデオ／画像データ１６０をテキスト検出器１２０に与え得る。テキスト１５２は位置を特定され得、検証されたテキストデータ１６６とテキスト領域データ１６７とが生成され得る。ＡＲデータ１９２は、カメラ姿勢データ１６８に基づいて、レンダリング装置１３４によってビデオ／画像データ１６０中に埋め込まれ、表示装置１０６に拡張画像データ１７０が与えられる。

テキスト検出モードにおいてテキスト１５２を検出したことに応答して、画像処理装置１０４が追跡モードに入り得る。追跡モードでは、テキスト検出器１２０がバイパスされ得、図１０〜図１５に関して説明するように、ビデオ／画像データ１６０の連続フレーム間の関心点の動きを決定したことに基づいて、テキスト領域が追跡され得る。テキスト領域追跡が、シーン中にテキスト領域がもはやないことを示す場合、検出／追跡モードインジケータ１７２は検出モードを示すように設定され得、テキスト検出器１２０においてテキスト検出が開始され得る。テキスト検出は、図１Ｄに関して説明するような、テキスト領域検出、テキスト認識、又はそれらの組合せを含み得る。

図１Ｃは、テキスト検出器１２０と、追跡／姿勢推定モジュール１３０と、ＡＲコンテンツ生成器１９０と、レンダリング装置１３４とを含む図１Ａの画像処理装置１０４の第２の実施形態のブロック図である。画像処理装置１０４は、着信ビデオ／画像データ１６０を受信することと、ビデオ／画像データ１６０をテキスト検出器１２０に与えることとを行うように構成される。図１Ｂとは対照的に、図１Ｃに示した画像処理装置１０４は、着信ビデオ／画像データ１６０のあらゆるフレーム中でテキスト検出を実行し得、検出モードと追跡モードとの間で遷移しない。

図１Ｄは、図１Ｂ及び図１Ｃの画像処理装置１０４のテキストデコーダ１２０の特定の実施形態のブロック図である。テキスト検出器１２０は、撮像装置１０２から受信したビデオ／画像データ１６０内のテキストを検出するように構成される。テキスト検出器１２０は、所定のマーカーの位置を特定するためにビデオ／画像データ１６０を検査することなしに、及び登録自然画像のデータベースにアクセスすることなしに、着信画像データ中のテキストを検出するように構成され得る。テキスト検出は、テキストの領域を検出することと、その領域内のテキストの認識とを含み得る。特定の実施形態では、テキスト検出器１２０は、テキスト領域検出器１２２とテキスト認識器１２５とを含む。ビデオ／画像データ１６０は、テキスト領域検出器１２２とテキスト認識器１２５とに与えられ得る。

テキスト領域検出器１２２は、ビデオ／画像データ１６０内のテキスト領域の位置を特定するように構成される。例えば、テキスト領域検出器１２２は、画像の中心の周りの関心領域を探索するように構成され得、図２に関して説明したように、２値化技法を使用してテキスト領域の位置を特定し得る。テキスト領域検出器１２２は、図３〜図４に関して説明した投影プロファイル分析又はボトムアップクラスタリング方法などに従って、テキスト領域の配向を推定するように構成され得る。テキスト領域検出器１２２は、図５〜図７に関して説明するように、１つ以上の検出されたテキスト領域を示す初期テキスト領域データ１６２を提供するように構成される。特定の実施形態では、テキスト領域検出器１２２は、図７に関して説明するように、２値化技法を実行するように構成された２値化構成要素を含み得る。

テキスト認識器１２５は、ビデオ／画像データ１６０と初期テキスト領域データ１６２とを受信するように構成される。テキスト認識器１２５は、図８に関して説明するように、遠近歪みを低減するように初期テキスト領域データ１６２中で識別されたテキスト領域を調整するように構成され得る。例えば、テキスト１５２は、撮像装置１０２の遠近感による歪みを有し得る。テキスト認識器１２５は、提案されたテキストデータを生成するために、テキスト領域の境界ボックスのコーナーを矩形のコーナーにマッピングする変換を適用することによって、テキスト領域を調整するように構成され得る。テキスト認識器１２５は、光学文字認識を介して、提案されたテキストデータを生成するように構成され得る。

テキスト認識器１２５は、提案されたテキストデータを検証するために辞書にアクセスするように更に構成され得る。例えば、テキスト認識器１２５は、代表的な辞書１４０など、図１Ａのメモリ１０８に記憶された１つ以上の辞書にアクセスし得る。提案されたテキストデータは、複数のテキスト候補と、複数のテキスト候補に関連する信頼性データとを含み得る。テキスト認識器１２５は、図９に関して説明するように、テキスト候補に関連する信頼性値に従って辞書１４０の項目に対応するテキスト候補を選択するように構成され得る。テキスト認識器１２５は、検証されたテキストデータ１６６とテキスト領域データ１６７とを生成するように更に構成される。図１Ｂ及び図１Ｃに記載したように、検証されたテキストデータ１６６はＡＲコンテンツ生成器１９０に与えられ得、テキスト領域データ１６７は追跡／姿勢推定１３０に与えられ得る。

特定の実施形態では、テキスト認識器１２５は、遠近歪み除去構成要素１９６と、２値化構成要素１９７と、文字認識構成要素１９８と、誤り訂正構成要素１９９とを含み得る。遠近歪み除去構成要素１９６は、図８に関して説明するように、遠近歪みを低減するように構成される。２値化構成要素１９７は、図７に関して説明するように、２値化技法を実行するように構成される。文字認識構成要素１９８は、図９に関して説明するように、テキスト認識を実行するように構成される。誤り訂正構成要素１９９は、図９に関して説明するように、誤り訂正を実行するように構成される、
図１Ｂ、図１Ｃ、及び図１Ｄの実施形態のうちの１つ以上に従って図１Ａのシステム１００によってイネーブルにされるテキストベースＡＲは、他のＡＲ方式に勝る有意な利点を提供する。例えば、マーカーベースＡＲ方式は、コンピュータが画像中で識別し、復号することが比較的単純である別個の画像である「マーカー」のライブラリを含み得る。例示のために、マーカーは、外観と機能の両方においてクイックレスポンス（ＱＲ：Quick Response）コードなどの２次元バーコードに似ていることがある。マーカーは、画像中で容易に検出可能であるように、及び他のマーカーとは容易に区別されるように設計され得る。画像中でマーカーが検出されたとき、そのマーカー上に関連情報が挿入され得る。しかしながら、検出可能であるように設計されたマーカーは、シーン中に埋め込まれたときに不自然に見える。幾つかのマーカー方式実装形態では、指定されたマーカーがシーン内で可視であるかどうかを検証するために、境界マーカーも必要とされ、更に、追加のマーカーでシーンの自然な品質を低下させるかもしれない。

マーカーベースＡＲ方式の別の欠点は、拡張現実コンテンツが表示されるべきあらゆるシーン中にマーカーを埋め込まなければならないことである。従って、マーカー方式は非効率的である。更に、マーカーは予め定義され、シーン中に挿入されなければならないので、マーカーベースＡＲ方式は比較的融通が利かない。

テキストベースＡＲはまた、自然特徴ベースＡＲ方式と比較して利益を提供する。例えば、自然特徴ベースＡＲ方式は、自然特徴のデータベースを必要とすることがある。スケール不変特徴変換（ＳＩＦＴ）アルゴリズムは、データベース中の自然特徴のうちの１つ以上がシーン中にあるかどうかを決定するために各ターゲットシーンを探索するために使用され得る。データベース中の十分に類似する自然特徴がターゲットシーン中で検出されると、ターゲットシーンに対して関連情報が重ね合わされ得る。しかしながら、そのような自然特徴ベース方式は画像全体に基づき得、検出すべき多くのターゲットがあり得るので、非常に大きいデータベースが必要とされることがある。

そのようなマーカーベースＡＲ方式及び自然特徴ベースＡＲ方式とは対照的に、本開示のテキストベースＡＲ方式の実施形態は、マーカーを挿入するために任意のシーンの事前変更を必要とせず、また、比較のための画像の大きいデータベースを必要としない。代わりに、テキストがシーン内で位置を特定され、位置を特定されたテキストに基づいて関連情報が取り出される。

一般に、シーン内のテキストは、そのシーンに関する重要な情報を具現する。例えば、映画ポスターに現れるテキストはしばしば、映画のタイトルを含み、タグライン、映画の公開日時、俳優の名前、監督、プロデューサー、又は他の関連情報をも含み得る。テキストベースＡＲシステムでは、少量の情報を記憶するデータベース（例えば、辞書）は、映画ポスターに関連する情報（例えば、映画タイトル、男優／女優の名前）を識別するために使用され得る。対照的に、自然特徴ベースＡＲ方式は、数千枚の異なる映画ポスターに対応するデータベースを必要とすることがある。更に、テキストベースＡＲシステムは、マーカーを含めるために前に変更されたシーンがある場合のみ有効であるマーカーベースＡＲ方式とは反対に、シーン内で検出されたテキストに基づいて関連情報を識別するので、テキストベースＡＲシステムは、任意のタイプのターゲットシーンに適用され得る。テキストベースＡＲは、従って、マーカーベース方式と比較して、優れたフレキシビリティ及び効率を提供することができ、また、自然特徴ベース方式と比較して、より詳細なターゲット検出と低減されたデータベース要件とを提供することができる。

図２は、画像内のテキスト検出の例示的な例２００を示す。例えば、図１Ｄのテキスト検出器１２０は、テキストが黒になり、他の画像コンテンツが白くなるように、ビデオ／画像データ１６０の入力フレームに対して２値化を実行し得る。左画像２０２は入力画像を示し、右画像２０４は、入力画像２０２の２値化結果を示す。左画像２０２は、カラー画像又はカラースケール画像（例えば、グレースケール画像）を表す。カメラ撮影画像に対するロバストな２値化のために、適応閾値ベースの２値化方法又はカラークラスタリングベースの方法などの任意の２値化方法が実装され得る。

図３に、図１Ｄのテキスト検出器１２０によって実行され得るテキスト配向検出の例示的な例３００を示す。２値化結果が与えられれば、テキスト配向は、投影プロファイル分析を使用することによって推定され得る。投影プロファイル分析の基本概念は、ライン方向がテキスト配向と一致するときに、「テキスト領域（黒画素）」が最小数のラインでカバーされ得るということである。例えば、第１の配向３０２を有するラインの第１の数は、下にあるテキストの配向によりぴったりとマッチする第２の配向３０４を有するラインの第２の数よりも多い。幾つかの方向をテストすることによって、テキスト配向が推定され得る。

テキストの配向が与えられれば、テキスト領域が発見され得る。図４に、図１Ｄのテキスト検出器１２０によって実行され得るテキスト領域検出の例示的な例４００を示す。代表的なライン４０４など、図４の幾つかのラインは、黒画素（テキスト中の画素）を通過しないラインであり、代表的なライン４０６などの他のラインは黒画素を横断するラインである。黒画素を通過しないラインを発見することによって、テキスト領域の垂直境界が検出され得る。

図５は、図１Ａのシステムによって実行され得るテキスト領域検出の例示的な例を示す図である。テキスト領域は、テキスト５０２に関連する境界ボックス又は境界領域を決定することによって検出され得る。境界ボックスは、テキスト５０２を実質的に囲む複数の交差するラインを含み得る。

境界ボックスの上側ライン５０４は、第１の式ｙ＝ａｘ＋ｂによって記述され得、境界ボックスの下側ライン５０６は、第２の式ｙ＝ｃｘ＋ｄによって記述され得る。第１の式についての値と第２の式についての値とを発見するために、以下の基準が課され得る。

特定の実施形態では、この条件は、上側ライン５０４と下側ライン５０６との間のエリアを低減する（例えば、最小限に抑える）方式で、上側ライン５０４と下側ライン５０６とが決定されることを直観的に示し得る。

テキストの垂直境界（例えば、テキストの上側境界と下側境界とを少なくとも部分的に区別するライン）が検出された後、水平境界（例えば、テキストの左境界と右境界とを少なくとも部分的に区別するライン）も検出され得る。図６は、図１Ａのシステムによって実行され得るテキスト領域検出の例示的な例を示す図である。図６に、図５を参照しながら説明する方法などによって、上側ライン６０４及び下側ライン６０６が発見された後、境界ボックスを完成するために水平境界（例えば、左側ライン６０８及び右側ライン６１０）を発見するための方法を示す。

左側ライン６０８は第３の式ｙ＝ｅｘ＋ｆによって記述され得、右側ライン６１０は第４の式ｙ＝ｇｘ＋ｈによって記述され得る。境界ボックスの左側及び右側に比較的少数の画素があることがあるので、左側ライン６０８及び右側ライン６１０の傾斜は固定され得る。例えば、図６に示すように、左側ライン６０８と上ライン６０４とによって形成された第１の角度６１２は、左側ライン６０８と下ライン６０６とによって形成された第２の角度６１４に等しくなり得る。同様に、右側ライン６１０と上ライン６０４とによって形成された第３の角度６１６は、右側ライン６１０と下ライン６０６とによって形成された第４の角度６１８に等しくなり得る。上ライン６０４と下ライン６０６とを発見するために使用される手法と同様の手法が、ライン６０８、６１０を見つけるために使用され得るが、この手法は、ライン６０８、６１０の傾斜を不安定にすることがあることに留意されたい。

境界ボックス又は境界領域は、標準境界領域の遠近歪みに少なくとも部分的に対応する歪んだ境界領域に対応し得る。例えば、標準境界領域は、テキストを囲み、カメラ姿勢により歪み、その結果、図６に示す歪んだ境界領域を生じる、矩形であり得る。テキストが平面物体上に位置を特定され、矩形境界ボックスを有すると仮定することによって、１つ以上のカメラパラメータに基づいて、カメラ姿勢が決定され得る。例えば、カメラ姿勢は、焦点距離、主点、スキュー係数(skew coefficient)、画像歪み係数（径方向歪み及び接線方向歪みなど）、１つ以上の他のパラメータ、又はそれらの任意の組合せに少なくとも部分的に基づいて決定され得る。

図４〜図６を参照しながら説明した境界ボックス又は境界領域は、単に読者の便宜のために、上ライン、下ライン、左側ライン、及び右側ライン、及び水平及び垂直ライン又は境界を参照しながら説明してきた。図４〜図６を参照しながら説明した方法は、水平方向又は垂直方向に配列されたテキストの境界を発見することに限定されない。更に、図４〜図６を参照しながら説明した方法は、直線によって容易には境界を画定されないテキスト、例えば、湾曲して配列されたテキストに関連する境界領域を発見するために使用され得るか、又はそのような境界領域を発見するように適応され得る。

図７は、図２の画像内の検出されたテキスト領域７０２の例示的な例７００を示す。特定の実施形態では、テキストベース３Ｄ ＡＲはテキスト認識を実行することを含む。例えば、テキスト領域を検出した後、テキスト領域は、遠近感(perspective)によるテキストの１つ以上の歪みが除去又は低減されるように修正され得る。例えば、図１Ｄのテキスト認識器１２５は、初期テキスト領域データ１６２によって示されたテキスト領域を修正し得る。テキスト領域の境界ボックスの４つのコーナーを矩形の４つのコーナーにマッピングする変換が決定され得る。（消費者のカメラ中で一般に利用可能であるような）レンズの焦点距離は、遠近歪みを除去するために使用され得る。代替的に、カメラ撮影画像のアスペクト比が使用され得る（シーンが垂直に撮影された場合、手法間に大きい差は生じ得ない）。

図８に、遠近歪みを低減するために、遠近歪み除去を使用して「テキスト」を含むテキスト領域を調整する例８００を示す。例えば、テキスト領域を調整することは、テキスト領域の境界ボックスのコーナーを矩形のコーナーにマッピングする変換を適用することを含み得る。図８に示す例８００では、「テキスト」は、図７の検出されたテキスト領域７０２からのテキストであり得る。

修正された文字の認識のために、１つ以上の光学文字認識（ＯＣＲ：optical character recognition）技法が適用され得る。従来のＯＣＲ方法は、カメラ画像ではなく走査画像とともに使用するように設計されていることがあるので、そのような従来の方法は、（フラットスキャナとは反対に）ユーザ動作型カメラによって撮影された画像中の外観歪み（appearance distortion）を十分には処理しないことがある。図１Ｄのテキスト認識器１２５によって使用され得るような、外観歪み影響（appearance distortion effects）を処理するための幾つかの歪みモデルを組み合わせることによって、カメラベースＯＣＲのためのトレーニングサンプルが生成され得る。

特定の実施形態では、テキストベース３Ｄ ＡＲは辞書検索を実行することを含む。ＯＣＲ結果は誤っていることがあり、辞書を使用することによって訂正され得る。例えば、一般的な辞書が使用され得る。ただし、コンテキスト情報の使用は、より高速な検索とより適切な結果とのために、一般的な辞書よりも小さいことがある好適な辞書の選択を支援することができる。例えば、ユーザが韓国の中華レストランにいるという情報を使用することは、約１００ワードから構成され得る辞書の選択を可能にする。

特定の実施形態では、ＯＣＲエンジン（例えば、図１Ｄのテキスト認識器１２５）は、各文字についての幾つかの候補と、候補の各々に関連する信頼性値を示すデータとを戻し得る。図９に、テキスト検証プロセスの例９００を示す。画像９０２内の検出されたテキスト領域からのテキストは遠近歪み除去動作９０４を受け、その結果、修正されたテキスト９０６を生じ得る。ＯＣＲプロセスは、第１の文字に対応する第１のグループ９１０、第２の文字に対応する第２のグループ９１２、及び第３の文字に対応する第３のグループ９１４として示される、各文字についての５つの最も可能性がある候補を戻し得る。

例えば、複数の候補ワードが辞書９１６中で発見され得るとき、信頼性値に従って、検証された候補ワード９１８（例えば、辞書中で発見されたそれらの候補ワードの最高信頼性値を有する候補ワード）が決定され得る。

特定の実施形態では、テキストベース３Ｄ ＡＲは追跡及び姿勢推定を実行することを含む。例えば、ポータブル電子機器（例えば、図１Ａのシステム１００）のプレビューモードでは、毎秒約１５〜３０個の画像が存在し得る。あらゆるフレームに対してテキスト領域検出とテキスト認識とを適用することは時間がかかり、モバイル機器の処理リソースの負担となり得る。あらゆるフレームについてのテキスト領域検出とテキスト認識とは、プレビュービデオ中の幾つかの画像が正しく認識される場合、目に見えるちらつき効果を時々生じることがある。

追跡方法は、関心点を抽出することと、連続する画像間の関心点の動きを計算することとを含むことができる。計算された動きを分析することによって、実平面（例えば、実世界におけるメニュープレート）と撮影された画像との間の幾何学的関係が推定され得る。推定されたジオメトリからカメラの３Ｄ姿勢が推定され得る。

図１０に、図１Ｂの追跡／姿勢推定モジュール１３０によって実行され得るテキスト領域追跡の例示的な例を示す。代表的な関心点１００２の第１のセットは、検出されたテキスト領域に対応する。代表的な関心点１００４の第２のセットは、検出されたテキスト領域と同じ平面内の（例えば、メニューボードの同じ面上の）顕著な特徴に対応する。代表的なポイント１００６の第３のセットは、メニューボードの前のボウルなど、シーン内の他の顕著な特徴に対応する。

特定の実施形態では、テキストベース３Ｄ ＡＲにおけるテキスト追跡は、（ａ）テキストが、ロバストな物体追跡を提供するコーナーポイントに基づくテキストベース３Ｄ ＡＲにおいて追跡され得、（ｂ）テキストベース３Ｄ ＡＲでは、同じ平面中の顕著な特徴（例えば、テキストボックス中の顕著な特徴だけでなく、代表的な関心点１００４の第２のセットなどの周囲領域中の顕著な特徴）も使用され得、（ｃ）信頼できない顕著な特徴が廃棄され、新しい顕著な特徴が追加されるように顕著な特徴が更新されるので、従来の技法とは異なる。従って、図１Ｂの追跡／姿勢推定モジュール１３０において実行されるようなテキストベース３Ｄ ＡＲにおけるテキスト追跡は、視点変化とカメラ動きとに対してロバストであり得る。

３Ｄ ＡＲシステムは、リアルタイムビデオフレーム上で動作し得る。リアルタイムビデオでは、あらゆるフレーム中でテキスト検出を実行する実装形態は、ちらつきアーティファクトなどの信頼できない結果を生成することがある。信頼性と性能とは、検出されたテキストを追跡することによって改善され得る。図１Ｂの追跡／姿勢推定モジュール１３０などの追跡モジュールの動作は、初期化と、追跡と、カメラ姿勢推定と、停止基準を評価することとを含み得る。追跡動作の例について、図１１〜図１５に関して説明する。

初期化中、追跡モジュールは、図１Ｂのテキスト検出器１２０などの検出モジュールからの幾つかの情報で開始され得る。初期情報は、検出されたテキスト領域と初期カメラ姿勢とを含み得る。追跡について、コーナー、ライン、ブロブ、又は他の特徴などの顕著な特徴は、追加情報として使用され得る。追跡は、図１１〜図１２に記載するように、抽出された顕著な特徴の動きベクトルを計算するために光学フローベースの方法を最初に使用することを含み得る。顕著な特徴は、光学フローベースの方法のための適用可能な形態に変更され得る。幾つかの顕著な特徴は、フレーム間マッチング中、それらの対応を失うことがある。顕著な特徴が対応を失った場合、対応は、図１３に記載するような復元方法を使用して推定され得る。初期マッチと訂正マッチとを組み合わせることによって、最終動きベクトルが取得され得る。カメラ姿勢推定は、平面物体の仮定の下で、観測された動きベクトルを使用して実行され得る。カメラ姿勢を検出することは、３Ｄ物体の自然埋め込みを可能にする。カメラ姿勢推定と物体埋め込みについて、図１４及び図１６に関して説明する。停止基準は、追跡される顕著な特徴の対応の数又はカウントが閾値を下回ったことに応答して、追跡モジュールを停止することを含み得る。後続の追跡のための着信ビデオフレーム中のテキストを検出するために、検出モジュールがイネーブルされ得る。

図１１及び図１２は、図１Ａのシステムによって実行され得るテキスト領域追跡の特定の実施形態を示す図である。図１１に、図１Ａの撮像装置１０２などの撮像装置によって撮影された、実世界シーンの第１の画像１１０２の一部分を示す。第１の画像１１０２中で、テキスト領域１１０４が識別されている。カメラ姿勢（例えば、撮像装置の相対位置、及び実世界シーンの１つ以上の要素）を決定することを可能にするために、テキスト領域は、矩形であると仮定され得る。更に、テキスト領域１１０４中で、関心点１１０６〜１１１０が識別されている。例えば、関心点１１０６〜１１１０は、高速コーナー認識技法を使用して選択された、テキストのコーナー又は他の輪郭などのテキストの特徴を含み得る。

第１の画像１１０２は、図１Ｂに関して説明するように、画像処理システムが追跡モードに入ったとき、カメラ姿勢の追跡をイネーブルにするための参照フレームとして記憶され得る。カメラ姿勢が変化した後、実世界シーンの第２の画像１２０２などの１つ以上の後続の画像が、撮像装置によって撮影され得る。第２の画像１２０２中で、関心点１２０６〜１２１０が識別され得る。例えば、コーナー検出フィルタを第１の画像１１０２に適用することによって、関心点１１０６〜１１１０が位置を特定され得、同じコーナー検出フィルタを第２の画像１２０２に適用することによって、関心点１２０６〜１２１０が位置を特定され得る。図示のように、図１２の関心点１２０６、１２０８及び１２１０は、図１１の関心点１１０６、１１０８及び１１１０にそれぞれ対応する。しかしながら、ポイント１２０７（文字「Ｌ」の上部）は、ポイント１１０７（文字「Ｋ」の中心）には対応せず、（文字「Ｒ」中の）ポイント１２０９は、（文字「Ｆ」中の）ポイント１１０９に対応しない。

カメラ姿勢が変化した結果、第２の画像１２０２中の関心点１２０６、１２０８、１２１０の位置は、第１の画像１１０２中の対応する関心点１１０６、１１０８、１１１０の位置とは異なることがある。光学フロー（例えば、第２の画像１２０２中の関心点１２０６〜１２１０の位置と比較した第１の画像１１０２中の関心点１１０６〜１１１０の位置間の変位又は位置差）が決定され得る。第１の画像１１０２と比較した第２の画像１２０２中の第１の関心点１１０６／１２０６の位置変化に関連する第１のフローライン１２１６など、関心点１２０６〜１２１０にそれぞれ対応するフローライン１２１６〜１２２０によって、図１２に光学フローが示される。（例えば、図３〜６を参照しながら説明した技法を使用して）第２の画像１２０２中のテキスト領域の配向を計算するのではなく、第２の画像１２０２中のテキスト領域の配向は、光学フローに基づいて推定され得る。例えば、関心点１１０６〜１１１０の相対位置の変化は、テキスト領域の次元の配向を推定するために使用され得る。

特定の状況では、第１の画像１１０２中に存在しなかった歪みが、第２の画像１２０２にもたらされることがある。例えば、カメラ姿勢の変化が歪みをもたらすことがある。更に、ポイント１１０７〜１２０７、及びポイント１１０９〜１２０９など、第２の画像１２０２中で検出された関心点が第１の画像１１０２中で検出された関心点に対応しないことがある。統計的技法（ランダムサンプルコンセンサスなど）は、残りのフローラインに対する外れ値である１つ以上のフローラインを識別するために使用され得る。例えば、図１２に示したフローライン１２１７は、他のフローラインのマッピングとは著しく異なるので、外れ値であり得る。別の例では、フローライン１２１９も他のフローラインのマッピングと著しく異なるので、フローライン１２１９は外れ値であり得る。サンプルのサブセット（例えば、ポイント１２０６〜１２１０のサブセット）がランダムに、又は擬似ランダムに選択され、選択されたサンプルの少なくとも幾つかの変位に対応するテストマッピング（例えば、光学フロー１２１６、１２１８、１２２０に対応するマッピング）が決定された場合、ランダムサンプルコンセンサスを介して外れ値が識別され得る。マッピングに対応しないと決定されたサンプル（例えば、ポイント１２０７及び１２０９）が、テストマッピングの外れ値として識別され得る。複数のテストマッピングが決定され得、選択されたマッピングを識別するために比較され得る。例えば、選択されたマッピングは、最も少数の外れ値を生じるテストマッピングであり得る。

図１３に、ウィンドウマッチング手法に基づく外れ値の訂正を示す。キーフレーム１３０２は、現在フレーム１３０４などの１つ又は後続のフレーム（即ち、キーフレームの後に捕捉され、受信され、及び／又は処理される１つ以上のフレーム）中で関心点とテキスト領域とを追跡するための参照フレームとして使用され得る。例示的なキーフレーム１３０２は、図１１のテキスト領域１１０４と関心点１１０６〜１１１０とを含む。関心点１１０７の予測位置の周りの領域１３０８内のウィンドウ１３１０などの現在フレーム１３０４のウィンドウを検査することによって、現在フレーム１３０４中で関心点１１０７が検出され得る。例えば、キーフレーム１３０２と現在フレーム１３０４との間のホモグラフィ１３０６は、図１１〜図１２に関して説明したような外れてない値の点（non-outlier points）に基づくマッピングによって推定され得る。ホモグラフィは、実行列（例えば、３×３実行列）によって表され得る、２つの平面物体間の幾何学的変換である。マッピングを関心点１１０７に適用した結果、現在フレーム１３０４内に関心点の予測位置を生じる。関心点が領域１３０８内にあるかどうかを決定するために、領域１３０８内のウィンドウ（即ち、画像データのエリア）が探索され得る。例えば、正規化相互相関（ＮＣＣ）などの類似性測度は、キーフレーム１３０２の部分１３１２を、図示のウィンドウ１３１０などの領域１３０８内の現在フレーム１３０４の複数の部分と比較するために使用され得る。ＮＣＣは、幾何学的変形と照明変化とを補償するためのロバストな類似性測度として使用され得る。ただし、他の類似性測度も使用され得る。

関心点１１０７及び１１０９などのそれらの対応を失った顕著な特徴は、従って、ウィンドウマッチング手法を使用して回復され得る。その結果、関心点の変位（例えば、動きベクトル）の初期推定と、外れ値を回復するためのウィンドウマッチングとを含む、予め定義されたマーカーを使用しないテキスト領域追跡が行われ得る。フレームごとの追跡は、それらの対応を維持している追跡された顕著な特徴の数が、シーン変化、ズーム、照明変化、又は他のファクタにより閾値を下回ったときなど、追跡が失敗するまで続き得る。テキストは、予め定義されたマーカー又は自然マーカーよりも少数の関心点（例えば、より少数のコーナー又は他の別個の特徴）を含み得るので、外れ値の回復は、追跡を改善し、テキストベースＡＲシステムの動作を向上させ得る。

図１４に、カメラ１４０２などの撮像装置の姿勢１４０４の推定を示す。現在フレーム１４１２は図１２の画像１２０２に対応し、関心点１４０６〜１４１０は、ポイント１２０７及び１２０９に対応する外れ値が図１３に記載したようにウィンドウベースマッチングによって訂正された後の関心点１２０６〜１２１０に対応する。（図１３のキーフレーム１３０２のテキスト領域１１０４に対応する）歪んだ境界領域が平面標準境界領域にマッピングされた場合、修正された画像１４１６に対するホモグラフィ１４１４に基づいて姿勢１４０４が決定される。標準境界領域は矩形として示されているが、他の実施形態では、標準境界領域は、三角形、正方形、円形、楕円形、六角形、又は他の規則形状であり得る。

カメラ姿勢１４０４は、３×３回転行列Ｒと３×１変換行列Ｔとから構成される剛体変換によって表され得る。（ｉ）カメラの内部パラメータと、（ｉｉ）キーフレーム中のテキスト境界ボックスと現在フレーム中の境界ボックスとの間のホモグラフィとを使用すると、姿勢は、以下の式によって推定され得る。

式中、各数１、２、３は、ターゲット行列の１列ベクトル、２列ベクトル、３列ベクトルをそれぞれ示し、Ｈ’は、内部カメラパラメータによって正規化されたホモグラフィを示す。カメラ姿勢１４０４を推定した後、３Ｄコンテンツがシーンの自然な部分として見えるように、３Ｄコンテンツが画像に埋め込まれ得る。

カメラ姿勢の追跡の精度は、処理すべき十分な数の関心点及び／又は正確な光学フロー結果を有することによって改善され得る。処理するために利用可能である関心点の数が閾値数を下回ったとき（例えば、検出された関心点が少なすぎた結果として）、追加の関心点が識別され得る。

図１５は、図１Ａのシステムによって実行され得るテキスト領域追跡の例示的な例を示す図である。特に、図１５は、図１１の関心点１１０６〜１１１０などの画像中の関心点を識別するために使用され得るハイブリッド技法を示す。図１５は、テキスト文字１５０４を含む画像１５０２を含む。説明しやすいように、単一のテキスト文字１５０４のみが示されているが、画像１５０２は任意の数のテキスト文字を含み得る。

図１５において、テキスト文字１５０４の（ボックスとして示される）幾つかの関心点がハイライトされている。例えば、第１の関心点１５０６は、テキスト文字１５０４の外側コーナーに関連し、第２の関心点１５０８は、テキスト文字１５０４の内側コーナーに関連し、第３の関心点１５１０は、テキスト文字１５０４の湾曲部分に関連する。関心点１５０６〜１５１０は、高速コーナー検出器などによるコーナー検出プロセスによって識別され得る。例えば、高速コーナー検出器は、画像中の交差するエッジを識別するために１つ以上のフィルタを適用することによって、コーナーを識別し得る。しかしながら、丸められた文字又は湾曲した文字などにおいては、テキストのコーナーポイントは、しばしば、希薄であるか、又は信頼できないので、検出されたコーナーポイントは、ロバストなテキスト追跡には十分でないことがある。

追加の関心点を識別するための技法の詳細を示すために、第２の関心点１５０８の周りのエリア１５１２が拡大される。第２の関心点１５０８は、２つのラインの交点として識別され得る。例えば、２つのラインを識別するために、第２の関心点１５０８の近くの画素のセットが検査され得る。ターゲット画素又はコーナー画素ｐの画素値が決定され得る。例示のために、画素値は、画素強度値又はグレースケール値であり得る。閾値ｔは、ターゲット画素からラインを識別するために使用され得る。例えば、リング１５１４に沿ったＩ（ｐ）−ｔよりも暗い画素とＩ（ｐ）＋ｔよりも明るい画素との間の変化ポイントを識別するために、コーナーｐ（第２の関心点１５０８）の周りのリング１５１４中の画素を検査することによってラインのエッジが区別され得、ただし、Ｉ（ｐ）は位置ｐの強度値を示す。コーナー（ｐ）１５０８を形成するエッジがリング１５１４と交差する場合、変化ポイント１５１６及び１５２０が識別され得る。第１のライン又は位置ベクトル（ａ）１５１８は、コーナー（ｐ）１５０８で始まり、第１の変化ポイント１５１６を通って延びているとして識別され得る。第２のライン又は位置ベクトル（ｂ）１５２２は、コーナー（ｐ）１５０８で始まり、第２の変化ポイント１５２０を通って延びているとして識別され得る。

弱コーナー（例えば、約１８０度の角度を形成するように交差するラインによって形成されたコーナー）は消去され得る。例えば、２つのラインの内積を計算することによって、以下の式を使用する。

式中、ａ、ｂ及びｐ∈Ｒ²は、不均一位置ベクトルを指す。νが閾値よりも低いとき、コーナーが消去され得る。例えば、２つの位置ベクトルａ、ｂによって形成されたコーナーは、２つのベクトル間の角度が約１８０度であるときに追跡点として消去され得る。

特定の実施形態では、画像のホモグラフィＨは、コーナーのみを使用して計算される。例えば、以下の式を使用する。

式中、ｘは、（図１３のキーフレーム１３０２などの）キーフレーム中の同種位置ベクトル∈Ｒ³であり、ｘ’は、（図１３の現在フレーム１３０４などの）現在フレーム中のそれの対応するポイントの同種位置ベクトル∈Ｒ³である。

別の特定の実施形態では、画像のホモグラフィＨは、コーナーとラインなどの他の特徴とを使用して計算される。例えば、Ｈは、以下の式を使用して計算され得る。

式中、ｌは、キーフレーム中のライン特徴であり、ｌ’は、現在フレーム中のそれの対応するライン特徴である。

特定の技法は、ハイブリッド特徴を介したテンプレートマッチングを使用し得る。例えば、ウィンドウベースの相関方法（正規化相互相関（ＮＣＣ）、２乗差分和（ＳＳＤ）、絶対値差分和（ＳＡＤ）など）は、以下の式を使用して、コスト関数として使用され得る。

コスト関数は、ｘの周りの（キーフレーム中の）ブロックとｘ’の周りの（現在フレーム中の）ブロックとの間の類似度を示し得る。

ただし、精度は、図１５において識別されたライン（ａ）１５１８及びライン（ｂ）１５２２などの追加の顕著な特徴の幾何学的情報を含む、例示的な例として以下の式のようなコスト関数を使用することによって改善され得る。

幾つかの実施形態では、キーフレーム中の検出されたコーナーの数がコーナーの閾値数よりも小さいときなど、少数のコーナーが追跡のために利用可能であるとき、追加の顕著な特徴（即ち、ラインなど、非コーナー特徴）がテキスト追跡のために使用され得る。他の実施形態では、追加の顕著な特徴が常に使用され得る。幾つかの実装形態では、追加の顕著な特徴はラインであり得るが、他の実装形態では、追加の顕著な特徴は、円、輪郭、１つ以上の他の特徴、又はそれらの任意の組合せを含み得る。

テキスト、テキストの３Ｄ位置、及びカメラ姿勢情報が知られているか、又は推定されるので、コンテンツは、現実的な様式でユーザに与えられ得る。コンテンツは、自然に配置され得る３Ｄ物体であり得る。例えば、図１６に、図１Ａのシステムによって生成され得るテキストベース３次元（３Ｄ）拡張現実（ＡＲ）コンテンツの例示的な例１６００を示す。カメラからの画像又はビデオフレーム１６０２が処理され、拡張画像又はビデオフレーム１６０４が表示のために生成される。拡張フレーム１６０４はビデオフレーム１６０２を含み、画像の中心に位置を特定されたテキストは英訳１６０６と交換され、（ティーポットとして示された）３次元物体１６０８がメニュープレートの表面上に配置され、検出されたテキストに対応する調理された料理の画像１６１０が上側コーナーに示されている。拡張特徴１６０６、１６０８、１６１０のうちの１つ以上は、図１Ａのユーザ入力機器１８０などを介して、ユーザインターフェースを介したユーザ対話又は制御のために利用可能であり得る。

図１７は、テキストベース３次元（３Ｄ）拡張現実（ＡＲ）を提供する方法１７００の第１の特定の実施形態を示す流れ図である。特定の実施形態では、方法１７００は、図１Ａの画像処理装置１０４によって実行され得る。

１７０２において、撮像装置から画像データを受信する。例えば、撮像装置は、ポータブル電子機器のビデオカメラを含み得る。例示のために、図１Ａの撮像装置１０２からのビデオ／画像データ１６０は、画像処理装置１０４において受信される。

１７０４において、画像データ内でテキストを検出する。テキストは、所定のマーカーの位置を特定するために画像データを検査することなしに、及び登録自然画像のデータベースにアクセスすることなしに検出され得る。テキストを検出することは、図３〜図４に関して説明したような投影プロファイル分析又はボトムアップのクラスタリング方法に従って、テキスト領域の配向を推定することを含み得る。テキストを検出することは、図５〜図７を参照しながら説明したようなテキストの少なくとも一部分を囲んでいる境界領域（又は境界ボックス）を決定することを含み得る。

テキストを検出することは、図８に関して説明したような遠近歪みを低減するようにテキスト領域を調整することを含み得る。例えば、テキスト領域を調整することは、テキスト領域の境界ボックスのコーナーを矩形のコーナーにマッピングする変換を適用することを含み得る。

テキストを検出することは、光学文字認識を介して、提案されたテキストデータを生成することと、提案されたテキストデータを検証するために辞書にアクセスすることとを含み得る。提案されたテキストデータは、複数のテキスト候補と、複数のテキスト候補に関連する信頼性データとを含み得る。辞書の項目に対応するテキスト候補は、図９に関して説明したように、テキスト候補に関連する信頼性値に従って、検証されたテキストとして選択され得る。

１７０６において、テキストを検出したことに応答して、そのテキストに関連する少なくとも１つの拡張現実特徴を含む拡張画像データを生成する。図１６の拡張現実特徴１６０６及び１６０８などの少なくとも１つの拡張現実特徴は、画像データ内に組み込まれ得る。拡張画像データは、図１Ａの表示装置１０６などのポータブル電子機器の表示装置に表示され得る。

特定の実施形態では、画像データは、画像データを含むビデオデータのフレームに対応し得、テキストを検出したことに応答して、テキスト検出モードから追跡モードへの遷移が実行され得る。ビデオデータの少なくとも１つの他の顕著な特徴に関係するテキスト領域は、図１０〜図１５を参照しながら説明したように、ビデオデータの複数のフレーム中に追跡モードで追跡され得る。特定の実施形態では、撮像装置の姿勢が決定され、図１４を参照しながら説明したように、テキスト領域は３次元で追跡される。拡張画像データは、テキスト領域の位置と姿勢とに従って複数のフレームに配置される。

図１８は、画像データ中のテキストを追跡する方法１８００の特定の実施形態を示す流れ図である。特定の実施形態では、方法１８００は、図１Ａの画像処理装置１０４によって実行され得る。

１８０２において、撮像装置から画像データを受信する。例えば、撮像装置は、ポータブル電子機器のビデオカメラを含み得る。例示のために、図１Ａの撮像装置１０２からのビデオ／画像データ１６０は、画像処理装置１０４において受信される。

画像はテキストを含み得る。１８０４において、テキストのコーナー特徴の位置を特定するために、画像データの少なくとも一部分を処理する。例えば、方法１８００は、テキスト内のコーナーを検出するために、テキストエリアを囲んでいる検出された境界ボックス内で、図１５を参照しながら説明したようなコーナー識別方法を実行し得る。

１８０６において、位置を特定されたコーナー特徴のカウントが閾値を満たしていないことに応答して、画像データの第１の領域を処理する。処理される画像データの第１の領域は、テキストの追加の顕著な特徴の位置を特定するために、第１のコーナー特徴を含み得る。例えば、第１の領域は第１のコーナー特徴を中心とし得、第１の領域は、図１５の領域１５１２を参照しながら説明したように、第１の領域内のエッジ及び輪郭のうちの少なくとも１つの位置を特定するためにフィルタを適用することによって処理され得る。位置を特定された追加の顕著な特徴と位置を特定されたコーナー特徴とのカウントが閾値を満たすまで、位置を特定されたコーナー特徴のうちの１つ以上を含む画像データの領域が反復的に処理され得る。特定の実施形態では、位置を特定されたコーナー特徴と位置を特定された追加の顕著な特徴とは、画像データの第１のフレーム内で位置を特定される。画像データの第２のフレーム中のテキストは、図１１〜図１５を参照しながら説明したように、位置を特定されたコーナー特徴と位置を特定された追加の顕著な特徴とに基づいて追跡され得る。「第１」よび「第２」という用語は、本明細書では、要素を特定の連続した順序に制限することなしに要素間を区別するためのラベルとして使用される。例えば、幾つかの実施形態では、第２のフレームは、画像データ中の第１のフレームの直後に続き得る。他の実施形態では、画像データは、第１のフレームと第２のフレームとの間の１つ以上の他のフレームを含み得る。

図１９は、画像データ中のテキストを追跡する方法１９００の特定の実施形態を示す流れ図である。特定の実施形態では、方法１９００は、図１Ａの画像処理装置１０４によって実行され得る。

１９０２において、撮像装置から画像データを受信する。例えば、撮像装置は、ポータブル電子機器のビデオカメラを含み得る。例示のために、図１Ａの撮像装置１０２からのビデオ／画像データ１６０は、画像処理装置１０４において受信される。

画像データはテキストを含み得る。１９０４において、画像データの第１のフレーム中のテキストの顕著な特徴のセットを識別する。例えば、顕著な特徴のセットは、第１の特徴セットと第２の特徴とを含み得る。一例として図１１を使用すると、特徴のセットは、検出された関心点１１０６〜１１１０に対応し得、第１の特徴セットは、関心点１１０６、１１０８及び１１１０に対応し得、第２の特徴は、関心点１１０７又は１１０９に対応し得る。特徴のセットは、図１１に示すように、テキストのコーナーを含み得、場合によっては、図１５を参照しながら説明したようなテキストの交差するエッジ又は輪郭を含み得る。

１９０６において、第１のフレーム中の第１の特徴セットと比較した画像データの現在フレーム中の第１の特徴セットの変位に対応するマッピングを識別する。例示のために、第１の特徴セットは、図１１〜図１５を参照しながら説明したような追跡方法を使用して追跡され得る。一例として図１２を使用すると、現在フレーム（例えば、図１２の画像１２０２）は、第１のフレーム（例えば、図１１の画像１１０２）が受信されてからしばらく後に受信され、２つのフレーム間の特徴変位を追跡するために、テキスト追跡モジュールによって処理されるフレームに対応し得る。第１の特徴セットの変位は、第１の特徴セットの特徴１１０６、１１０８及び１１１０の各々の変位をそれぞれ示す光学フロー１２１６、１２１８及び１２２０を含み得る。

１９０８において、マッピングが、第１のフレーム中の第２の特徴と比較した現在フレーム中の第２の特徴の変位に対応していないと決定したことに応答して、第２の特徴が領域内で位置を特定されるかどうかを決定するために、マッピングに従って現在フレーム中の第２の特徴の予測位置の周りの領域を処理する。例えば、点１１０６、１１０８及び１１１０を点１２０６、１２０８及び１２１０にそれぞれマッピングするマッピングは、点１１０７を点１２０７にマッピングすることができないので、図１１の関心点１１０７は外れ値に対応する。従って、マッピングによる点１１０７の予測位置の周りの領域１３０８は、図１３に関して説明したように、ウィンドウマッチング技法を使用して処理され得る。特定の実施形態では、領域を処理することは、第１のフレーム（例えば、図１３のキーフレーム１３０２）と現在フレーム（例えば、図１３の現在フレーム１３０４）との間の幾何学的変形及び照明変化のうちの少なくとも１つを補償するために、類似性測度を適用することを含む。例えば、類似性測度は正規化相互相関を含み得る。マッピングは、領域内で第２の特徴の位置を特定したことに応答して調整され得る。

図２０は、画像データ中のテキストを追跡する方法２０００の特定の実施形態を示す流れ図である。特定の実施形態では、方法２０００は、図１Ａの画像処理装置１０４によって実行され得る。

２００２において、撮像装置から画像データを受信する。例えば、撮像装置は、ポータブル電子機器のビデオカメラを含み得る。例示のために、図１Ａの撮像装置１０２からのビデオ／画像データ１６０は、画像処理装置１０４において受信される。

画像データはテキストを含み得る。２００４において、テキストの少なくとも一部分を囲む歪んだ境界領域を識別する。歪んだ境界領域は、テキストの一部分を囲む標準境界領域の遠近歪みに少なくとも部分的に対応し得る。例えば、境界領域は、図３〜図６に関して説明するような方法を使用して識別され得る。特定の実施形態では、歪んだ境界領域を識別することは、テキストの一部分に対応する画像データの画素を識別することと、識別された画素を含む実質的に最も小さいエリアを定義するために、歪んだ境界領域の境界を決定することとを含む。例えば、標準境界領域は矩形であり得、歪んだ境界領域の境界は区画（quadrangle）を形成し得る。

２００６において、歪んだ境界領域と撮像装置の焦点距離とに基づいて、撮像装置の姿勢を決定する。２００８において、表示装置に表示されるべき少なくとも１つの拡張現実特徴を含む拡張画像データを生成する。少なくとも１つの拡張現実特徴は、図１６を参照しながら説明したように、撮像装置の姿勢に従って拡張画像データ内に配置され得る。

図２１Ａは、テキストベース３次元（３Ｄ）拡張現実（ＡＲ）を提供する方法の第２の特定の実施形態を示す流れ図である。特定の実施形態では、図２１Ａに示す方法は、検出モードを決定することを含み、図１Ｂの画像処理装置１０４によって実行され得る。

カメラモジュール２１０２から入力画像２１０４を受信する。２１０６において、電流処理モードが検出モードであるかどうかの決定を行う。電流処理モードが検出モードであることに応答して、２１０８において、入力画像２１０４の粗いテキスト領域２１１０を決定するためにテキスト領域検出を実行する。例えば、テキスト領域検出は、図２〜図４に関して説明したように、２値化と投影プロファイル分析とを含み得る。

２１１２において、テキスト認識を実行する。例えば、テキスト認識は、図８に関して説明したように、遠近感修正されたテキストの光学文字認識（ＯＣＲ）を含むことができる。

２１１６において、辞書検索を実行する。とえば、辞書検索は、図９に関して説明したように実行され得る。検索障害に応答して、図２１Ａに示した方法は、カメラモジュール２１０２からの次の画像を処理することに戻る。例示のために、検索障害は、ＯＣＲエンジンによって与えられた信頼性データに従って所定の信頼性閾値を超えるワードが辞書中で見つからないときに生じ得る。

検索の成功に応答して、２１１８において、追跡を初期化する。翻訳されたテキスト、３Ｄ物体、ピクチャ、又は他のコンテンツなど、検出されたテキストに関連するＡＲコンテンツが選択され得る。電流処理モードは、検出モードから（例えば、追跡モードに）遷移し得る。

２１２０において、カメラ姿勢推定を実行する。例えば、カメラ姿勢は、図１０〜図１４に関して説明したように、面内関心点及びテキストコーナー、ならびに面外関心点を追跡することによって決定され得る。ＡＲコンテンツをもつ画像２１２４を生成するためにＡＲコンテンツを入力画像２１０４に埋め込むか、又は場合によっては追加するために、カメラ姿勢とテキスト領域データとが３Ｄレンダリングモジュールによるレンダリング演算２１２２に与えられ得る。２１２６において、表示モジュールを介してＡＲコンテンツをもつ画像２１２４を表示し、図２１Ａに示した方法は、カメラモジュール２１０２からの次の画像を処理することに戻る。

２１０６において、後続の画像を受信するときに電流処理モードが検出モードでないとき、関心点追跡２１２８を実行する。例えば、テキスト領域及び他の関心点が追跡され得、追跡された関心点についての動きデータが生成され得る。２１３０において、ターゲットテキスト領域が失われたかどうかの決定を行う。例えば、テキスト領域がシーンを出たか、又は１つ以上の他の物体によって実質的に閉塞されたとき、テキスト領域が失われ得る。キーフレームと現在フレームとの間の対応を維持する追跡点の数が閾値よりも少ないとき、テキスト領域は失われ得る。例えば、ハイブリッド追跡は、図１５に関して説明したように実行され得、ウィンドウマッチングは、図１３に関して説明したように、対応を失った追跡点の位置を特定するために使用され得る。追跡点の数が閾値を下回ったとき、テキスト領域が失われ得る。テキスト領域が失われなかったとき、処理は、２１２０においてカメラ姿勢推定を続ける。テキスト領域が失われたこと応答して、電流処理モードは検出モードに設定され、図２１Ａに示した方法は、カメラモジュール２１０２からの次の画像を処理することに戻る。

図２１Ｂは、テキストベース３次元（３Ｄ）拡張現実（ＡＲ）を提供する方法の第３の特定の実施形態を示す流れ図である。特定の実施形態では、図２１Ｂに示す方法は、図１Ｂの画像処理装置１０４によって実行され得る。

カメラモジュール２１０２は入力画像を受信し、２１０６において、電流処理モードが検出モードであるかどうかの決定を行う。電流処理モードが検出モードであることに応答して、２１０８において、入力画像の粗いテキスト領域を決定するためにテキスト領域検出を実行する。例えば、テキスト領域検出は、図２〜図４に関して説明したように、２値化と投影プロファイル分析とを含み得る。

２１０９において、テキスト認識を実行する。例えば、テキスト認識２１０９は、図８に関して説明したような遠近感修正されたテキストの光学文字認識（ＯＣＲ）と、図９に関して説明したような辞書検索とを含むことができる。

２１２０において、カメラ姿勢推定を実行する。例えば、カメラ姿勢は、図１０〜図１４に関して説明したように、面内関心点及びテキストコーナー、ならびに面外関心点を追跡することによって決定され得る。ＡＲコンテンツをもつ画像を生成するためにＡＲコンテンツを入力画像に埋め込むか、又は場合によっては追加するために、カメラ姿勢とテキスト領域データとが３Ｄレンダリングモジュールによるレンダリング演算２１２２に与えられ得る。２１２６において、表示モジュールを介してＡＲコンテンツをもつ画像を表示する。

２１０６において、後続の画像を受信するときに電流処理モードが検出モードでないとき、テキスト追跡２１２９を実行する。処理は、２１２０においてカメラ姿勢推定を続ける。

図２１Ｃは、テキストベース３次元（３Ｄ）拡張現実（ＡＲ）を提供する方法の第４の特定の実施形態を示す流れ図である。特定の実施形態では、図２１Ｃに示す方法は、テキスト追跡モードを含まず、図１Ｃの画像処理装置１０４によって実行され得る。

カメラモジュール２１０２は入力画像を受信し、２１０８において、テキスト領域検出を実行する。２１０８におけるテキスト領域検出の結果として、２１０９において、テキスト認識を実行する。例えば、テキスト認識２１０９は、図８に関して説明したような遠近感修正されたテキストの光学文字認識（ＯＣＲ）と、図９に関して説明したような辞書検索とを含むことができる。

テキスト認識の後に、２１２０において、カメラ姿勢推定を実行する。例えば、カメラ姿勢は、図１０〜図１４に関して説明したように、面内関心点及びテキストコーナー、並びに面外関心点を追跡することによって決定され得る。ＡＲコンテンツをもつ画像を生成するためにＡＲコンテンツを入力画像２１０４に埋め込むか、又は場合によっては追加するために、カメラ姿勢とテキスト領域データとが３Ｄレンダリングモジュールによるレンダリング演算２１２２に与えられ得る。２１２６において、表示モジュールを介してＡＲコンテンツをもつ画像を表示する。

図２１Ｄは、テキストベース３次元（３Ｄ）拡張現実（ＡＲ）を提供する方法の第５の特定の実施形態を示す流れ図である。特定の実施形態では、図２１Ｄに示す方法は、図１Ａの画像処理装置１０４によって実行され得る。

カメラモジュール２１０２は入力画像を受信し、２１０６において、電流処理モードが検出モードであるかどうかの決定を行う。電流処理モードが検出モードであることに応答して、２１０８において、入力画像の粗いテキスト領域を決定するためにテキスト領域検出を実行する。テキスト領域検出２１０８の結果として、２１０９において、テキスト認識を実行する。例えば、テキスト認識２１０９は、図８に関して説明したような遠近感修正されたテキストの光学文字認識（ＯＣＲ）と、図９に関して説明したような辞書検索とを含むことができる。

テキスト認識の後に、２１２０において、カメラ姿勢推定を実行する。例えば、カメラ姿勢は、図１０〜図１４に関して説明したように、面内関心点及びテキストコーナー、ならびに面外関心点を追跡することによって決定され得る。ＡＲコンテンツをもつ画像を生成するためにＡＲコンテンツを入力画像２１０４に埋め込むか、又は場合によっては追加するために、カメラ姿勢とテキスト領域データとが３Ｄレンダリングモジュールによるレンダリング演算２１２２に与えられ得る。２１２６において、表示モジュールを介してＡＲコンテンツをもつ画像を表示する。

２１０６において、後続の画像を受信するときに電流処理モードが検出モードでないとき、３Ｄカメラ追跡２１３０を実行する。処理は、２１２２において、３Ｄレンダリングモジュールにおけるレンダリングに進む。

更に、本明細書で開示した実施形態に関して説明した様々な例示的な論理ブロック、構成、モジュール、回路、及びアルゴリズムステップは、電子ハードウェア、ハードウェアプロセッサなどの処理機器によって実行されるコンピュータソフトウェア、又は両方の組合せとして実装され得ることを、当業者は諒解されよう。様々な例示的な構成要素、ブロック、構成、モジュール、回路、及びステップを、上記では概して、それらの機能に関して説明した。そのような機能をハードウェアとして実装するか、実行可能ソフトウェアとして実装するかは、特定の適用例及び全体的なシステムに課される設計制約に依存する。当業者は、説明した機能を特定の適用例ごとに様々な方法で実装し得るが、そのような実装の決定は、本開示の範囲からの逸脱を生じるものと解釈すべきではない。

本明細書で開示する実施形態に関して説明する方法又はアルゴリズムのステップは、直接ハードウェアで実施されるか、プロセッサによって実行されるソフトウェアモジュールで実施されるか、又はその２つの組合せで実施され得る。ソフトウェアモジュールは、ランダムアクセスメモリ（ＲＡＭ）、磁気抵抗ランダムアクセスメモリ（ＭＲＡＭ）、スピントルクトランスファーＭＲＡＭ（ＳＴＴ−ＭＲＡＭ）、フラッシュメモリ、読取り専用メモリ（ＲＯＭ）、プログラマブル読取り専用メモリ（ＰＲＯＭ）、消去可能プログラマブル読取り専用メモリ（ＥＰＲＯＭ）、電気消去可能プログラマブル読取り専用メモリ（ＥＥＰＲＯＭ）、レジスタ、ハードディスク、リムーバブルディスク、コンパクトディスク読取り専用メモリ（ＣＤ−ＲＯＭ）、又は当技術分野で知られている任意の他の形態の記憶媒体などの非一時的記憶媒体中に常駐し得る。例示的な記憶媒体は、プロセッサが記憶媒体から情報を読み取り、記憶媒体に情報を書き込むことができるように、プロセッサに結合される。代替として、記憶媒体はプロセッサに一体化され得る。プロセッサ及び記憶媒体は特定用途向け集積回路（ＡＳＩＣ）中に常駐し得る。ＡＳＩＣは、コンピュータ機器又はユーザ端末中に常駐し得る。代替として、プロセッサ及び記憶媒体は、コンピュータ機器又はユーザ端末中に個別構成要素として常駐し得る。

開示した実施形態の上記の説明は、開示した実施形態を当業者が作成又は使用できるように行ったものである。これらの実施形態への様々な変更は当業者にはすぐに明らかになり、本明細書で定義された原理は本開示の範囲から逸脱することなく他の実施形態に適用され得る。従って、本開示は、本明細書に示した実施形態に限定されるものではなく、特許請求の範囲によって定義される原理及び新規の特徴と合致することが可能な最も広い範囲が与えられるべきものである。

Claims (38)

1. 撮像装置から画像データを受信することと、
   前記画像データ内のテキストを検出することと、
   前記テキストを検出したことに応答して、前記テキストに関連する少なくとも１つの拡張現実特徴を含む拡張画像データを生成することと
   を備える方法。
2. 前記テキストが、所定のマーカーの位置を特定するために前記画像データを検査することなしに、及び登録自然画像のデータベースにアクセスすることなしに検出される、請求項１に記載の方法。
3. 前記撮像装置がポータブル電子機器のビデオカメラを備える、請求項１に記載の方法。
4. 前記ポータブル電子機器の表示装置に前記拡張画像データを表示することを更に備える、請求項３に記載の方法。
5. 前記画像データが、前記画像データを含むビデオデータのフレームに対応し、前記テキストを検出したことに応答して、テキスト検出モードから追跡モードに遷移することを更に備える、請求項１に記載の方法。
6. 前記ビデオデータの複数のフレーム中に、前記ビデオデータの少なくとも１つの他の顕著な特徴に関係するテキスト領域が前記追跡モードで追跡される、請求項５に記載の方法。
7. 前記撮像装置の姿勢を決定することであって、前記テキスト領域が３次元で追跡され、前記拡張画像データが前記テキスト領域の位置と前記姿勢とに従って前記複数のフレーム中に配置される、決定することを更に備える、請求項６に記載の方法。
8. 前記テキストを検出することが、投影プロファイル分析に従ってテキスト領域の配向を推定することを含む、請求項１に記載の方法。
9. 前記テキストを検出することが、遠近歪みを低減するようにテキスト領域を調整することを含む、請求項１に記載の方法。
10. 前記テキスト領域を調整することが、前記テキスト領域の境界ボックスのコーナーを矩形のコーナーにマッピングする変換を適用することを含む、請求項９に記載の方法。
11. 前記テキストを検出することが、
    光学文字認識を介して、提案されたテキストデータを生成することと、
    前記提案されたテキストデータを検証するために辞書にアクセスすることと
    を含む、請求項９に記載の方法。
12. 前記提案されたテキストデータが、複数のテキスト候補と前記複数のテキスト候補に関連する信頼性データとを含み、前記辞書の項目に対応するテキスト候補が、前記テキスト候補に関連する信頼性値に従って、検証されたテキストとして選択される、請求項１１に記載の方法。
13. 前記少なくとも１つの拡張現実特徴が前記画像データ内に組み込まれる、請求項１に記載の方法。
14. 撮像装置から受信した画像データ内のテキストを検出するように構成されたテキスト検出器と、
    拡張画像データを生成するように構成されたレンダリング装置と、
    を具備し、前記拡張画像データが、前記テキストに関連する少なくとも１つの拡張現実特徴をレンダリングするための拡張現実データを含む、装置。
15. 前記テキスト検出器が、所定のマーカーの位置を特定するために前記画像データを検査することなしに、及び登録自然画像のデータベースにアクセスすることなしに前記テキストを検出するように構成された、請求項１４に記載の装置。
16. 前記撮像装置を更に備え、前記撮像装置がビデオカメラを備える、請求項１４に記載の装置。
17. 前記拡張画像データを表示するように構成された表示装置と、
    ユーザ入力機器と、
    を更に具備し、前記少なくとも１つの拡張現実特徴が３次元物体であり、前記ユーザ入力機器が、前記表示装置に表示された前記３次元物体のユーザ制御を可能にする、請求項１６に記載の装置。
18. 前記画像データが、前記画像データを含むビデオデータのフレームに対応し、前記装置が、前記テキストを検出したことに応答して、テキスト検出モードから追跡モードに遷移するように構成された、請求項１４に記載の装置。
19. 前記追跡モードにある間に、前記ビデオデータの複数のフレーム中に、前記ビデオデータの少なくとも１つの他の顕著な特徴に関係するテキスト領域を追跡するように構成された追跡モジュールを更に備える、請求項１８に記載の装置。
20. 前記追跡モジュールが、前記撮像装置の姿勢を決定するように更に構成され、前記テキスト領域が３次元で追跡され、前記拡張画像データが、前記テキスト領域の位置と前記姿勢とに従って前記複数のフレーム中に配置される、請求項１９に記載の装置。
21. 前記テキスト検出器が、投影プロファイル分析に従ってテキスト領域の配向を推定するように構成された、請求項１４に記載の装置。
22. 前記テキスト検出器が、遠近歪みを低減するようにテキスト領域を調整するように構成された、請求項１４に記載の装置。
23. 前記テキスト検出器が、前記テキスト領域の境界ボックスのコーナーを矩形のコーナーにマッピングする変換を適用することによって、前記テキスト領域を調整するように構成された、請求項２２に記載の装置。
24. 前記テキスト検出器が、
    光学文字認識を介して、提案されたテキストデータを生成するように構成されたテキスト認識器と、
    前記提案されたテキストデータを検証するために辞書にアクセスするように構成されたテキスト検証器と
    を更に備える、請求項２２に記載の装置。
25. 前記提案されたテキストデータが、複数のテキスト候補と前記複数のテキスト候補に関連する信頼性データとを含み、前記テキスト検証器が、前記辞書の項目に対応するテキスト候補を、前記テキスト候補に関連する信頼性値に従って、検証されたテキストとして選択するように構成された、請求項２４に記載の装置。
26. 撮像装置から受信した画像データ内のテキストを検出するための手段と、
    拡張画像データを生成するための手段と、
    を具備し、前記拡張画像データが、前記テキストに関連する少なくとも１つの拡張現実特徴をレンダリングするための拡張現実データを含む、装置。
27. プロセッサによって実行可能であるプログラム命令を記憶するコンピュータ可読記憶媒体であって、前記プログラム命令が、
    撮像装置から受信した画像データ内のテキストを検出するためのコードと、
    拡張画像データを生成するためのコードと、
    を含み、前記拡張画像データが、前記テキストに関連する少なくとも１つの拡張現実特徴をレンダリングするための拡張現実データを含む、コンピュータ可読記憶媒体。
28. 画像データ中のテキストを追跡する方法であって、前記方法が、
    撮像装置から、テキストを含む画像データを受信することと、
    前記テキストのコーナー特徴の位置を特定するために、前記画像データの少なくとも一部分を処理することと、
    前記位置を特定されたコーナー特徴のカウントが閾値を満たしていないことに応答して、前記テキストの追加の顕著な特徴の位置を特定するために、第１のコーナー特徴を含む前記画像データの第１の領域を処理することと
    を備える方法。
29. 前記位置を特定された追加の顕著な特徴と前記位置を特定されたコーナー特徴とのカウントが前記閾値を満たすまで、前記位置を特定されたコーナー特徴のうちの１つ以上を含む前記画像データの領域を反復的に処理することを更に備える、請求項２８に記載の方法。
30. 前記位置を特定されたコーナー特徴と前記位置を特定された追加の顕著な特徴とが前記画像データの第１のフレーム内で位置を特定され、前記位置を特定されたコーナー特徴と前記位置を特定された追加の顕著な特徴とに基づいて前記画像データの第２のフレーム中のテキストを追跡することを更に備える、請求項２８に記載の方法。
31. 前記第１の領域が前記第１のコーナー特徴を中心とし、前記第１の領域を処理することが、前記第１の領域内のエッジ及び輪郭のうちの少なくとも１つの位置を特定するためにフィルタを適用することを含む、請求項２８に記載の方法。
32. 画像データの複数のフレーム中のテキストを追跡する方法であって、前記方法が、
    撮像装置から、テキストを含む画像データを受信することと、
    前記画像データの第１のフレーム中の前記テキストの、第１の特徴セットと第２の特徴とを含む特徴のセットを識別することと、
    前記第１のフレーム中の前記第１の特徴セットと比較した前記画像データの現在フレーム中の前記第１の特徴セットの変位に対応するマッピングを識別することと、
    前記マッピングが、前記第１のフレーム中の前記第２の特徴と比較した前記現在フレーム中の前記第２の特徴の変位に対応していないと決定したことに応答して、前記第２の特徴が前記領域内で位置を特定されるかどうかを決定するために、前記マッピングに従って前記現在フレーム中の前記第２の特徴の予測位置の周りの領域を処理することと
    を備える方法。
33. 前記領域を処理することが、前記第１のフレームと前記現在フレームとの間の幾何学的変形及び照明変化のうちの少なくとも１つを補償するために、類似性測度を適用することを含む、請求項３２に記載の方法。
34. 前記類似性測度が正規化相互相関を含む、請求項３３に記載の方法。
35. 前記領域内の前記第２の特徴の位置を特定したことに応答して、前記マッピングを調整することを更に備える、請求項３２に記載の方法。
36. 撮像装置の姿勢を推定する方法であって、前記方法が、
    前記撮像装置から、テキストを含む画像データを受信することと、
    前記テキストの少なくとも一部分を囲む歪んだ境界領域を識別することと、
    前記歪んだ境界領域と前記撮像装置の焦点距離とに基づいて前記撮像装置の姿勢を決定することと、
    表示装置に表示されるべき少なくとも１つの拡張現実特徴を含む拡張画像データを生成することと、
    を含み、前記歪んだ境界領域が、前記テキストの前記一部分を囲む標準境界領域の遠近歪みに少なくとも部分的に対応し、前記少なくとも１つの拡張現実特徴が、前記撮像装置の前記姿勢に従って前記拡張画像データ内に配置される、方法。
37. 前記歪んだ境界領域を識別することが、
    前記テキストの前記一部分に対応する前記画像データの画素を識別することと、
    前記識別された画素を含む実質的に最も小さいエリアを定義するために、前記歪んだ境界領域の境界を決定することと
    を含む、請求項３６に記載の方法。
38. 前記標準境界領域が矩形であり、前記歪んだ境界領域の前記境界が区画を形成する、請求項３７に記載の方法。

Images