JP5802997B2 - 隠された画像のシグナリング - Google Patents

Description

この技術は、主に、画像−印刷された物体に見られるような−とのスマートフォンのインタラクションに関する。

［関連出願データ］
この技術は、米国特許第６，１２２，４０３号、第６，４０８，０８２号、及び第６，５９０，９９６号、並びに公開された出願第２００６０１１５１１０号、第２００７０１８９５３３号、第２００８０１１２５９６号、第２００８０３０００１１号、第２００９０１１６６８３号、第２０１０００４６８４２号、第２０１０００４８２４２号、第２０１００１５０４３４号、第２０１００３１７３９９号、第２０１００２６１４６５号、第２０１１００９８０２９号、第２０１００１６５１５８号、第２０１１００９８０５６号、及び第２０１００２２８６３２号に詳述された譲受人の以前の成果に対する改良を含み、さまざまな実施形態においてそれらを利用する。読者は、そのような従来の成果に精通しており、ここで詳細に説明される技術を利用する実装にそのような教示を組み込むことができるものと想定される。

スマートフォンが、ますます「ビジュアル検索（ｖｉｓｕａｌ ｓｅａｒｃｈ）」アプリケーションで使用されつつある。１つのビジュアル検索アプリケーションは、印刷された画像に（雑誌又は製品パッケージなどに）ステガノグラフィにより符号化された（すなわち、隠された）デジタルウォーターマークデータを復号し、電話が関連する情報及びサービスにつながるか、又はその他のアクションを行うことを可能にする。例示的なデジタルウォーターマーク技術及びビジュアル検索アプリケーションは、上に挙げた特許文献に詳述されている。

米国特許第６，１２２，４０３号

遠近の歪み（ｐｅｒｓｐｅｃｔｉｖｅ ｄｉｓｔｏｒｔｉｏｎ）が、デジタルウォーターマークデータの適切な復号を妨げる場合がある可能性がある。つまり、ウォーターマークが付けられた物体が（例えば、１５度又は３０度を超える）比較的大きな軸外れの（ｏｆｆ−ａｘｉｓ）角度でスマートフォンにより撮像される場合、隠されたウォーターマークデータは、復号アルゴリズムがその隠されたウォーターマークデータを認識できないほど視点の向いている角度（ｐｅｒｓｐｅｃｔｉｖｅ ｖｉｅｗｉｎｇ ａｎｇｌｅ）によって、歪められる可能性がある。

関連する問題は、消費者の混乱である。消費者がスマートフォンを使用して雑誌のページを撮像し、ウォーターマークが即座に検出されない場合、それはページがスマートフォンが反応すべきウォーターマークを含まないからであろうか。それとも、それは雑誌のページが不適当な遠近感で示されるからであろうか。

こうしたことから、正確なスマートフォンの配置を必要とせずにウォーターマークデータの存在を消費者に知らせることが望ましい。

消費者が遠近の歪みが比較的少ない（例えば、１５度又は３０度未満）画像を撮ることを補助することも望ましい。

この技術の一態様によれば、隠されたデータの存在が、３０度、４５度、若しくは６０度、又はそれらよりも大きな角度を超える視点の角度（ｐｅｒｓｐｅｃｔｉｖｅ ａｎｇｌｅ）に妨げられることなく信頼性高く検出される。

この技術の別の態様によれば、スマートフォンが、撮影された画像が比較的小さな遠近の歪みしか持たないようにユーザがスマートフォンを位置付けるのを補助する（例えば、ディスプレイスクリーン上の）フィードバックを提供する。

この技術の上述の及び多くのその他の特徴及び利点は、添付の図面を参照することによって進行する以下の詳細な説明からより容易に明らかになるであろう。

さまざまなキーによって符号化された複数のホットスポット領域を含む画像を示す図である。これらは、ＹＢ−ドーム空間クロマキー（ＹＢ−Ｄｏｍｅ ｓｐａｔｉａｌ ｃｈｒｏｍａｋｅｙ）とみなされることができる。示されているのは、空間的に重なり合う「アナログの」クロマ符号化をされた（ｃｈｒｏｍａ−ｅｎｃｏｄｅｄ）領域である。これらは、人の目には実質的に「不可視」であるが、デジタルウォーターマーク検出器によって見られる。 スマートフォンがインタラクションして異なる楽音を生成することができる図１と同様の別の画像を示す図である。 図１Ａの画像と併せて使用され得る方法の流れ図である。 図１の画像内の１つ又は複数のホットスポット領域の検出によってスマートフォンにおいてトリガされ得るさまざまな挙動のうちの一部を示す図である。示されているのは、オーディオモードとＨｏｔＭａｐ（ＧＬＯ）モードの両方である。 この技術にしたがって符号化された画像とのユーザのインタラクションが動きを使用することができることを示す図である。 空間周波数ドメインにおける画像の輝度及び２つの色差（ｃｈｒｏｍｉｎａｎｃｅ）チャネルへの分解と、Ｙ−Ｂチャネルにおけるキーの埋め込みとを示す図である。特に詳細に示されているのは、そのような信号がどのようにして特定の周波数帯域を−既に存在する図版と分け合う必要なしに−占有することができるのかを含めた、ＹＢ−ドーム信号空間（ＹＢ−Ｄｏｍｅ ｓｉｇｎａｌ ｓｐａｃｅ）の割り当てである。 画像の空間周波数に応じた、図５の３つのチャネルに対する人間の視覚系の感度を示すグラフである。 単一の色差チャネル内に符号化され得る複数の異なるキーを示す図である。 スマートフォンの視野の部分的領域が画像内のキーを検出するために使用され得ることを示す図である。 キーが画像の遠近の歪み又はその他の歪みによってどのようにワープされ（ｗａｒｐｅｄ）、そのような歪みが判定されることを可能にすることができるのかを示す図である。 キーが画像の遠近の歪み又はその他の歪みによってどのようにワープされ（ｗａｒｐｅｄ）、そのような歪みが判定されることを可能にすることができるのかを示す図である。 キーを表すために使用され得る、フーリエ空間における区分けされた弧の中の異なるスペクトルの信号エネルギーを示す図である。 キーを表すために使用され得る、フーリエ空間における区分けされた弧の中の異なるスペクトルの信号エネルギーを示す図である。 キーが、調波関係（ｈａｒｍｏｎｉｃ ｒｅｌａｔｉｏｎｓｈｉｐ）を持つことができ、２進符号化に関連して使用されることができることを示す図である。 キーが、調波関係（ｈａｒｍｏｎｉｃ ｒｅｌａｔｉｏｎｓｈｉｐ）を持つことができ、２進符号化に関連して使用されることができることを示す図である。 キーが、調波関係（ｈａｒｍｏｎｉｃ ｒｅｌａｔｉｏｎｓｈｉｐ）を持つことができ、２進符号化に関連して使用されることができることを示す図である。 フーリエ空間における別のキーの表現を示す図である。 空間周波数ドメインにおけるさらにその他のマーカー信号を示す図である。 図１３のマーカー信号を含む印刷された物体の混合したドメインの図である。

図１に示されるように、画像１０は、適切な装備が整ったモバイルデバイス（例えば、スマートフォン／セル電話）によって感知され得るが、人間には感知不可能である１つ又は複数の領域（ＣＫ１、ＣＫ２など）を定義するようにこの技術の一態様にしたがって符号化される。そのようなモバイルデバイスがこれらの領域のうちの１つを感知するとき、そのようなモバイルデバイスは、それに応じてアクションを行う。

画像１０の内容は、任意であることができる。（隠された領域を除く）詳細は、説明を明瞭にするために図示されていない。

領域は任意の形状である可能性があり、ほんの数個だけが示されている。示されるように、それらの領域は、階層化されるようにして重なり合うことができる。各領域は、その領域に関連するキー（例えば、ＣＫ１、ＣＫ２など）を有する。好ましい実施形態は色差に基づく埋め込みの構成を使用するので、これらのキーは、クロマキーと呼ばれることがある。しかし、その他の埋め込みの構成が、代替的に使用され得る。

（図面の表題の「ＹＢ」は、黄−青を指す。「ドーム」は、以下でさらに詳述されるように、キーが明示されるフーリエ空間内の弧状領域を指す）。

図１Ａは、象徴的な硫黄島の写真に隠されているが、しかし、説明の目的で目に見えるように示される７つの領域を使用する例示的な図を示す。最も左の領域がスマートフォンによって感知されるとき、そのスマートフォンは、Ｃの高さの音符を鳴らす。隣接する領域は、電話が「Ｅ」の高さを鳴らすようにする。隣の領域は、同様に「Ｇ」の高さを鳴らすようにする。

最も上の領域は、同様に、電話が「Ｃ」の高さの音符を鳴らすようにする。しかし、その下は、電話が音符Ｅ♭を鳴らすようにする領域である。その下は、上述の「Ｇ」の領域である。

ユーザが適切にプログラムされたスマートフォンを左から右に画像を水平に横切って電話をさっと動かし、したがって、電話のカメラが領域の水平な行を順に「見る」場合、Ｃメジャーコード進行が、鳴らされる。反対に、ユーザが画像内の示された領域を垂直に下に向かって横切って電話をさっと動かす場合、Ｃマイナーコード進行が、鳴らされる。

より具体的には、この例において、領域は、４つの異なるキーを用いて符号化される。最も左の領域及び最も上の領域は両方とも同じ音符に対応するので、同じキー（ＣＫ１）が、それらの領域の両方に対して使用される。異なるキーＣＫ２、ＣＫ３、及びＣＫ４が、その他の３つの領域に対して使用される。

示された例において、画像１０は、補助データの複数ビットのペイロード（例えば、３２ビット又は１２８ビット）をステガノグラフィにより伝達するために−ただし、これは常に必要とされるわけではない−知られている方法でデジタルウォーターマーク（ＤＷＭ）も付けられる。これらの複数のビットは、どの応答がどのキーに関連付けられるべきかを決定する際にスマートフォンによって調べられるデータ構造を識別することができる。

複数ビットの補助データによるデータ構造の識別は、さまざまな手段による可能性がある。１つの手段は、ローカルの若しくはリモートのテーブル、又はデータベースのレコードへのポインタ（例えば、アドレス）である。この場合、データ構造は、ＣＫ１が検出される場合、電話が「Ｃ」の音符（すなわち、２６２Ｈｚ）を鳴らすべきであることを示す。完全なテーブルは、以下のように電話に異なるキーに応答するように命じることができる。

このテーブルは例示的であるに過ぎず、例示的な応答は、−単に説明の都合で−よく起こる可能性がある応答よりも基本的である。

音は、対応するキー領域の最初の検出から始まる決まった継続時間、例えば、１秒間鳴る可能性があり、又は音は、領域がスマートフォンのカメラの視野の中にある限り続く可能性がある。後者の場合、カメラが示された領域の一部−又はすべて−を見ることができるようにカメラを位置付けることによって、複数の音のコード（ｃｈｏｒｄ）が鳴らされることができる。コードは、カメラが画像から離れるように動かされるときにより多くの音で拡大され、カメラがより近くに動かされるときにより少ない音に分解する。

どの応答が異なるキーに関連付けられるべきかを示すための補助データの使用は、「決まった」画像を用いる場合でさえも、ユーザエクスペリエンスの簡単で動的な再プログラミングを可能にする。例えば、単純に、例示的な補助データ（ウォーターマーク）が指すテーブル内のデータを変更することによって、画像は、全く異なる応答の組を−すべて画像の修正なしに−トリガすることができる。

たった今説明された方法を詳細に示す流れ図が、図２に示される。

図３及び図４は、スマートフォンのカメラが画像内の異なる隠された領域を検出し、電話が動かされるときに異なる出力を生成することができるたった今検討された特徴をさらに示す。

図３の「ＧＬＯ」は、Ｇｒａｐｈｉｃ Ｌａｔｅｎｔ Ｏｖｅｒｌａｙの頭字語である。この技術は、公開された特許明細書第２００８０３０００１１号及び第２００９０１１６６８３号を含む文献に詳述されており、携帯電話で撮影された画像内の第１の特徴（通常はステガノグラフィにより符号化された特徴）の検出が、電話のスクリーン上の第２のグラフィカルな特徴の表示−第１の特徴が検出された画像上に重ねられる−をトリガする構成を指す。場合によっては、重ねられる特徴は、スクリーン上で、電話の視野内の第１の特徴の位置に依存する位置に示される。重ねられる特徴は、第１の特徴の明らかなワープに対応してワープされる可能性もある。

関連する技術が、特許公報第２０１１００９８０２９号及び第２０１１００９８０５６号に詳述されており、これらの特許公報において、そのような重ねられる特徴は「飾り（ｂａｕｂｌｅ）」と呼ばれる（並びに撮影された画像の可視の特徴及び／又はステガノグラフィによる特徴に基づく可能性がある）。

したがって、キー領域が感知されるときに音符を奏でる代わりに、電話は、撮影された画像にグラフィカルな表示を重ねることによって応答することができる。

もちろん、音符を奏でることと、グラフィカルな表示を重ねることとは、キー領域の検出がトリガすることができる無数の挙動のうちの数個である。任意の考え得るアクション又はスクリプトが、（「ホットスポット」とみなされ得る）隠された領域のうちの１つ又は複数が感知されるときに同様にトリガされることができる。

ホッケーチームのメンバーの写真を特定の例として考える。各選手の顔の楕円形領域が、異なる隠されたキーＣＫ１〜ＣＫ２０によって印を付けられる。ユーザがスマートフォンのカメラを特定の選手の顔に向けるとき、対応するキーが検出される。ウォーターマークも、画像から検出される（及び画像全体に広がる可能性がある）。ウォーターマークのペイロードは、キーＣＫ１〜ＣＫ２０のそれぞれに関するエントリを有する、上の表１のようなテーブルを指す。そして今度は、このテーブルが、ＮＨＬのウェブサーバ又はクラウドに存在する、そのそれぞれの選手に関するシーズンハイライトを示すＦｌａｓｈビデオの表示へのリンクを記憶することができる。ユーザがチームの写真の中の異なる顔を見るためにスマートフォンのカメラを動かすとき、昨シーズンからの異なるビデオの再生が、ユーザの電話で実行される。

（ウォーターマークのペイロードは、その他の目的で働く可能性もある。例えば、ペイロードは、複数のキーが撮影された画像内で検出される場合に応答をしないようにスマートフォンに命令する１つ又は複数のフラグビットを含み得る。代替的に、それらは、カメラを画像内の１つの特定の特徴（顔）にもっと近づけるように向けるようにユーザに促すようにスマートフォンに命じることができる。すべての従来技術のウォーターマークのシグナリングの使用も、この構成と併せて使用され得る）。

通常、画像は空間（又はピクセル）ドメインで知覚されるが、当業者によく知られているように、いくつかのその他の表現も有用である。概して、これらのその他の表現は、「変換ドメイン（ｔｒａｎｓｆｏｒｍ ｄｏｍａｉｎ）」と呼ばれる。１つのよく知られている変換ドメインは、フーリエ空間（画像で使用されるときは、通常、空間周波数ドメインと呼ばれる）である。例えば、画像（全体か、又はより普通には正方形の領域、例えば、８×８ピクセル若しくは３２×３２ピクセルに分割されるかのいずれか）に、例えば、離散フーリエ変換（ＤＦＴ）又は離散コサイン変換（ＤＣＴ）を適用することによって、画像は、係数−それぞれが対応する空間周波数成分の振幅を示す−の組に分解される。結果として生じる情報の組が、図５の複素半平面の座標系に示され得る。

図５の左の部分は、サンプル画像（例えば、既に示された硫黄島）の代表的な空間周波数ドメインの表現を示す。この画像は、補助データを伝達する従来技術のデジタルウォーターマークによって符号化される。（好適なウォーターマークが特許第６，５９０，９９６号に詳述されている）。ウォーターマーク信号のエネルギーは、画像のエネルギーの残りの間に散在させられ、図５においては別々に識別できない。

画像は、輝度並びに２つの色差チャネル：Ｒ−Ｇ（赤−緑）及びＹ−Ｂ（黄−青）−それらのチャネルのそれぞれがそのチャネル独自のフーリエ空間表現を持つ−などの成分画像平面に分割されることができる。フーリエ空間内のこれらの３つのチャネルが、図５の右側に示される。

示された実施形態において、画像の領域へのキーの符号化は、色差チャネルのうちの１つ（例えば、Ｙ−Ｂ）にエネルギーを追加することによって行われる。これは、人間の視覚系（ＨＶＳ）が輝度に対してよりも色に対して感度が低いので、好ましくない可視的影響なしに行われることができる。

これは、周期／度（ｃｙｃｌｅｓ ｐｅｒ ｄｅｇｒｅｅ）で表された、空間周波数に応じた、輝度、赤−緑の色差、及び黄−青の色差に対するＨＶＳの感度をプロットする図６に示される。（このグラフは、１２インチの距離から見て集められたデータに基づく）。見て分かるように、ＨＶＳの感度は、１０周期／度（ｃｐｄ）を超える色差の空間周波数で急激に落ち込み、２０周期／度で劇的に下がっている。２５又は３０周期／度をよりも上の感度は、実質的に０である。

対照的に、カメラで使用されるイメージセンサーは、通常、そのような空間周波数の色差の特徴を区別することができる。

したがって、図１又は図１ＡにおけるＣＫ１などのキーを画像領域に符号化するために、エネルギーが、望ましくは、−概して、影響が人間の観察者には分からないが、光学式センサーのデータからは容易に検出され得る−１０、２０、２５、又は３０ｃｐｄを超える周波数で、黄−青の色差チャネルに追加されることができる。

好ましい実施形態において、追加されるエネルギーは、示された周波数以下が除外される必要はない。しかし、追加されるエネルギーのほとんど（例えば、５０％、７５％、９５％、又は９８％を超える）が、その範囲内にあることが望ましい。

この実施形態において、及びその他の実施形態において、追加されるエネルギーの大きさ（ｍａｇｎｉｔｕｄｅ）は、所望の可視性（又は不可視性）のレベルを達成するように調整されることもできる。その他の実施形態において、追加されるエネルギーの大きさが視覚的に問題にならないほど十分に低い場合は、主に１０ｃｐｄ未満の周波数の信号エネルギーが使用され得る。

フーリエ空間における好適な符号化の一例が、黒い帯によって図５の右下に示される。この追加される信号エネルギーは、（位相を含む）これらのスペクトルの周波数の既に存在する画像のエネルギーよりも支配的になるが、通常、その影響は人間の観察者には実質的に感知不可能である。影響は、色差空間の領域を切り出して、それを隠されたキーを表すことに割り当てることである。このように符号化されるので、適切な装備が整ったスマートフォンの検出器が、画像内の隠された領域の存在を素早く発見し、その範囲を判定し、そのような発見に応答することができる。

多くの場合、図１のＣＫ１、ＣＫ２などの異なるキーを区別することができることが望ましい。これは、（位相を含む）選択された（例えば、Ｙ−Ｂ）色差チャネルの信号エネルギーの異なるフーリエドメインの区域で異なるキーを表すことによって行われ得る。そのような構成が、図７の右上に示される。

特に、この空間ドメインのプロットは、１０個のキー１５０ａ〜１５０ｊを示す。図１において、領域ＣＫ１は、キーストーン形状のフーリエ区域１５０ａに対応する信号エネルギーをその画像領域に追加することによって符号化されることができる。同様に、画像領域ＣＫ２〜ＣＫ５は、キーストーンの区域１５０ｂ〜１５０ｅによって示される空間周波数のエネルギーを追加することによって符号化されることができる。５つの追加的なキーが、１５０ｆ〜１５０ｊとラベル付けされた空間周波数の区域に対応するエネルギーを追加することによって表され得る。（検討されたプロットは１０個の異なる鍵を包含することが認識されるであろう。画像の特定の領域は、必ずしも、フーリエ空間内のこの示された信号の構成を有するとは限らない。むしろ、キーストーンの特徴のうちの１つ又は数個だけが存在する可能性が高い）。

やはり、図面は、これらの隠された信号の役に立つ次元（ｄｉｍｅｎｓｉｏｎ）である位相を示さない。位相成分は、これらのキー（すなわち、増加する信号対雑音比）の検出に確実性を与える。

１つの特定の実施形態において、異なるキーは、（＋１／−１に類似する）反対の位相の極性である可能性がある。１つのキーＣＫ−ａが、キーストーンの区域１５０ａにわたる特定の位相プロファイル（ｐｈａｓｅ ｐｒｏｆｉｌｅ）を伴ってその区域によって表される可能性があり、別のキーＣＫ−ｂは、同じキーストーンの区域１５０ａ内であるが、キーＣＫ−ａに対して位相が１８０度ずれた位相プロファイルを有するエネルギーによって表される可能性がある。これは、キー空間を２倍にする結果となる（例えば、１０個の区域１５０ａ〜１５０ｊが２０個の区別可能なキーを表すことができる）。

さらなる複数キー構成が、図７の右下に示される。ここでは、フーリエ空間内のＮ個の互いに直交する信号が、使用される。例示を目的として、簡単な例は、１つの信号が画像周波数（ｉｍａｇｅ ｆｒｅｑｕｅｎｃｙ）ｆの正弦波であることである。別の信号は、同じ周波数の余弦信号を含み得る。第３の信号は、周波数２ｆの正弦信号を含み得るなどである。（フーリエ空間内の直交信号は簡単な図面に表すのが難しいが、そのような信号の設計は、当業者の能力のうちである。１つの見解によれば、２つのキーは、それらのキーの位相プロファイルの積が０になる場合、直交している）。

概して、画像内のすべてのキーは、通常、描画された画像においてキーが人間に感知されないようにするレベルの同じ大きさで符号化される。すべてのキーにわたって一様な大きさを有することは、１つのキーの検出が、その他のキーの存在を見分けるのを助けるために使用され得る大きさの情報を提供するので、検出において有用である可能性がある。

一部の実施形態において、特定のキーが、異なる大きさを有する可能性がある（例えば、それらのキーが、部分的に「オン（ｏｎ）」である可能性がある）。これは、符号化する空間をさらに拡張するために使用され得る。例えば、キーＣＫ−ｃが、キーＣＫ−ｄの大きさの半分である大きさを有する可能性があるが、それらのキーは、スペクトルの周波数の内容及び位相プロファイルにおいてその他の点では同じである。単一のキーの２値（例えば、＋の位相及び−の位相）の代わりに、４値及びその他の多値シンボルが、使用され得る。

異なる大きさの間の関係が検出器によって知られている（例えば、一部のキーが１００％「オン」であり、その他のキーが５０％「オン」であり、さらにその他のキーが２５％「オン」である）場合、この知識は、キーを区別する際に基礎としてやはり使用され得る。（これらは、「アナログキー」とみなされることができる）。

複数のキーを使用するシステムにおいては、それぞれのキーが、異なるアクション（例えば、図１Ａの例における異なる音）をトリガすることができる。さらなるアクションが、複数のキーが画像領域に重ねられるときに（例えば、図１においてＣＫ５がＣＫ１に重なり合う場合に）トリガされ得る。したがって、１０個のキーのシステムにおいて、１０個の個々のキーに対応する１０個の応答が存在する可能性がある。９個のさらなる応答が、キー１がキー２〜１０のうちの１つを重ねられる領域に対応する可能性がある。８個のさらなる応答が、キー２がキー３〜１０を重ねられる領域に対応する可能性がある。７個のさらなる応答が、キー３がキー４〜１０と共存する領域に対応する可能性があり、以下同様である。したがって、最大２つのキーの階層だけを想定するシステムにおいては、５５個の異なる状態が定義され得る。（３つ以上のキーが重ねられる場合、当然、あり得る状態の幾何級数的増加が起こる）。

キーが異なる大きさを有する場合、キーによってトリガされる応答は、それに応じて変わり得る。例えば、図１Ａの音の例において、キーＣＫ３がその他のキーの半分の大きさである場合、そのキーＣＫ３の対応する音は、その他のキーによってトリガされる音の半分のボリュームで鳴らされることができる。

スマートフォンの検出器は、その検出器が遭遇すると予測する異なるキーに関するフーリエドメインのテンプレートを適用する−隠された信号の存在を探す−ことができる。これは、それぞれのキーのテンプレートのそれぞれとの乗算を実行する−結果として得られる出力信号が閾値を超えるかどうかを判定する−相関検出器を含み得る。

（１つ又は複数の）テンプレートは、探索される（１つ又は複数の）キーの正確な境界よりもフーリエ空間の多くを包含することができ、画像が歪んでいる（その結果、フーリエ空間内のキーが歪んでいる）場合のキーの検出を可能にする。

概して、スマートフォンのカメラは、長方形の視野（例えば、２０４８×１５３６ピクセル）を有する。場合によっては、スマートフォンのカメラがこの視野の部分的領域内のキーにのみ応答することが望ましい。そのような構成が図８に示され、この構成においては、カメラの視野全体は画像フレーム１９０であるが、応答は、部分的領域１９２内で見つかったキーによってのみトリガされる。部分的領域の形状は任意であることができ、（幅約２５０ピクセル×高さ約９００ピクセルの）示された長方形は例示的であるに過ぎない。

別の構成において、区域１９２は円又は楕円である。さらに、領域１９２からのサンプリングされた画像データの使用を制御するソフトウェアが、最も鋭敏な検出のために領域の中央ではすべてのピクセルを用い、領域１９２の周辺近くではピクセルのより密度の低いサンプリングを使用し、したがって、感度又は鋭敏さが次第に弱まる中心フィルタ（ｆｏｖｅａｌ ｆｉｌｔｅｒ）を適用する可能性がある。（より遠いピクセルを考慮から外す代わりに、中心から離れたピクセルのグループが平均されて、中心効果（ｆｏｖｅａｌ ｅｆｆｅｃｔ）、すなわち、区域の中心の密なピクセル情報及びより遠い距離のより低解像度のピクセル情報を生じることができる）。

（そのような中心フィルタリングは、特徴及び物体認識、マシンビジョン、ウォーターマークの復号、フィンガープリントの計算、画像に基づく文脈の決定、並びに上に挙げた特許公報で詳述されたその他の種類の処理を含む多くの異なる種類の画像処理の前置きである可能性がある）。

この技術を使用するカメラを備えた検出器は、キー領域の空間的広がりを識別することができ、例えば、１０個の撮像されたピクセル以下（例えば、５〜１０「ワクセル（ｗａｘｅｌ）」−ウォーターマーク信号の要素）の精度で領域の境界を識別する。したがって、検出器は、隠されたキーを「撮像」することができ、例えば、画像内のそれらの隠されたキーの位置の仮想的なマップを生成する。

キーの幾何学形状が前もって分かっている場合（例えば、キーが円、又は正方形、又は正三角形である場合）、撮影された画像におけるそれらのキーの形状が、画像の任意の軸外れの観察を特徴づけるために使用されることができる。そして今度は、この情報が、画像内に符号化された任意のウォーターマーク信号の検出を支援するために使用されることができる。

例えば、デバイスのプロセッサは、知られているキーの形状の歪みに対応して画像データを再サンプリングすることができる。キーが同じ長さの２つの平行な辺を含むことが分かっているが、第１の辺が撮影された画像においては第２の辺よりも５０％短いように見える場合、第１の辺に沿った画像の点が、第２の辺に沿って２倍の空間周波数でプロセッサによって再サンプリングされることができる−補間されたサンプリングレートが中間の平行な線に沿って使用される。次に、ウォーターマークの復号プロセスが、再サンプリングされた画像に対して適用されることができる−この再サンプリングされた画像からは、遠近のワープ（ｐｅｒｓｐｅｃｔｉｖｅ ｗａｒｐ）のこの態様が実質的に取り除かれる。

遠近感を扱うことに対するより洗練されたアプローチは、幾何学的なキーの形状の知識を必要としない。むしろ、そのアプローチは、キーのフーリエドメインの表現の知識に依存する。

説明するために、元の画像が、図９Ａに示されるフーリエドメインの形状を有するキーを含み得る。画像が軸外れの視点から撮影される場合、キーの形状は、膨らむ可能性があり、例えば、図９Ｂに示されるフーリエドメインの表現をもたらす。図９Ａから図９Ｂへの変形は、カメラによって見られる画像の明白な変形（例えば、アフィンワープ及び遠近のワープ）を明らかにする。

（例えば、スマートフォンの）プログラムされたプロセッサは、フーリエ空間において弧状の特徴の力まかせ探索を実行し、次に、発見された弧の形状から画像の対応するワープパラメータを探ることができる。別のアプローチは、特許第６，４０８，０８２号及び第６，５９０，９９６号で詳述された技術と同種の技術を用いて、フーリエ−メリンに基づく処理を使用してフーリエドメインの画像データ内の歪んだ弧の区域を見つける。

詳細に説明されたキーは、通常、フーリエ空間内で目立ち、−少なくとも大雑把に−そのような方法によってワープパラメータを容易に決定することを可能にする。画像を見る視点の大まかな感覚がそれによって識別され（例えば、５度又は１０度以内まで）、画像データが、それに応じて、例えば、軸が合ったカメラの視点から撮影されたかのように再サンプリングされることができる。次に、（例えば、たった今挙げられた特許に示されたとおりに）通常はデジタルウォーターマーク信号に見られるキャリブレーション信号が、再サンプリングされた画像内の残りの小さな歪みを取り除き、大きなペイロードのウォーターマークデータの正確な読み取りを可能にするために使用されることができる。

当業者は、挙げられたウォーターマーク技術のキャリブレーション信号が、探索空間アクセラレータ（ｓｅａｒｃｈ−ｓｐａｃｅ ａｃｃｅｌｅｒａｔｏｒ）として働くことを認めるであろう。本明細書において詳述されるキー技術は、補足的なキャリブレーション信号とみなされることができ、検出器は、軸外れのカメラアングルを探索するように調整されることができる。この目的のキーは、フーリエＹ−Ｂ大きさ空間（Ｆｏｕｒｉｅｒ Ｙ−Ｂ ｍａｇｎｉｔｕｄｅ ｓｐａｃｅ）において対にされた互い違いの真珠の首飾り状の特徴（すなわち、図１２に示されるような、フーリエドメインにおけるピークの２つの同心の輪）の形態をとる可能性がある。そのとき、検出器は、テンプレート−画像が軸外れの段階的な角度で（例えば、０度〜４５度まで５度刻みで）見られる場合にこれらのキーの特徴がフーリエドメインに現れるときにこれらのキーの特徴（又はその他の知られているキーの特徴）に対応し、フーリエ−メリン分析を使用する−の群を適用することができる。

このオペレーションは、クラウドに基づくプロセッサによる、例えば、２５０ｍｓ以下の高速な実行に好適である。スマートフォンは、カメラの視野の中心から３２×３２ピクセルの領域をクラウドのプロセッサに（ピクセルドメインでか、又はフーリエ空間への変換後かのいずれかで−おそらくは、ウォーターマーク信号を壊さない圧縮をして）送信することができる。そして今度は、クラウドのプロセッサが、上述のテンプレートを受け取られたデータに適用してキー信号を見つけ、見ている角度の推定値を電話に返す。次に、電話は、推定された見ている角度に応じて画像を再サンプリングし、上述のウォーターマークの復号プロセスを適用してウォーターマークのペイロードを抽出する。

（電話とクラウドの間の処理のその他の分担が同様に可能であり、例えば、クラウドが、ウォーターマークのペイロードの抽出を含む処理のすべてを行う）。

一部の実施形態において、キーは、画像／文書の認証を補助するために「壊れやすい」性質を持つように設計される可能性がある。例えば、隠されたキーが、検出するための撮像センサーの高周波数の限界にあるか、又はその近くにあるスペクトルの周波数によって構成される可能性がある。これらの信号の大きさは、キーが元の画像内でかろうじて検出可能であるように調整されることもできる。そのような元の画像がスキャン及び再印刷される場合、この小さな振幅及び／又は高い周波数のデータは、劣化する可能性が高く、したがって、そのデータはもはや検出可能ではない。ＣＣＤ、ＣＭＯＳ、及びその他のイメージセンサーが、組み合わされるシステムにおいて所望の性質を実現するために、そのような技術を意識して設計されることができる。

この技術の１つの応用は、例えば、金庫を開けること、アラームを設定することなどに通常使用される種類のものに類似したキーパッドである。例えば、スマートフォンは、印刷媒体又はその他のスクリーンから１枚の画像を撮影し、その画像から復号されたウォーターマーク又はその他の補助データを参照することにより、タッチパッドを示すグラフィックを重ねることができる。ユーザは、スクリーン上に表示されたさまざまなボタンに触れることができる。タッチセンシティブスクリーンは、これらのタッチに対応する撮影された画像内のピクセル領域が判定されることができる出力座標データを提供する。撮影された画像内のこれらの領域で検出された隠されたキーが認識され、一連のそのようなキーが、ユーザによって入力された「組み合わせ」又はその他の符号（例えば、ＣＫ４、ＣＫ２、ＣＫ５、ＣＫ９）を定義する。入力された符号が記憶されたシーケンスに一致する場合、アクションが行われる可能性がある。又はその他のアクションが、キーストロークに応じて行われることができる（例えば、公開された出願第２０１００２６１４６５号で詳述されたように、サーモスタットを再プログラミングする）。

変更実施形態においては、隠されたキーの輪郭が、撮影された画像から識別され、グラフィックの重なりとして目に見えるようにされる。やはり、これらは、所望の順序で触れられることができる。ウォーターマークと併せてキーを参照することによって、応答のアクションが行われ得る。

さらなる変更形態においては、グラフィックの重なりが、さらなるキーが触れられるときに変化することができる。

詳述された構成は、デジタルウォーターマークを用いて、感知されたキー領域に対応するアクションが決定されることができる補助情報を伝達するが、これは必須ではない。その他の伝達手段、例えば、ＲＦＩＤチップ、バーコード、ヘッダデータなどが、利用され得る。代替的に、画像のフィンガープリントが計算され、画像を識別するためにデータベース内の基準情報とマッチングされることができ、この識別は、キーと適切な応答の間の関連付けを決定することができるメタデータを識別するためにも役立つことができる。（画像／映像のフィンガープリンティングの例は、特許出願第７，０２０，３０４号（Ｄｉｇｉｍａｒｃ）、第７，４８６，８２７号（Ｓｅｉｋｏ−Ｅｐｓｏｎ）、第２００７０２５３５９４号（Ｖｏｂｉｌｅ）、第２００８０３１７２７８号（Ｔｈｏｍｓｏｎ）、及び第２００２００４４６５９号（ＮＥＣ）に詳述されている）。

さらにその他の構成においては、補助データは必要でない。その代わりに、異なるキーが、スマートフォン又はその他の場所に記憶された−補助データによって指し示されるか、又はその他の方法で示されるのではない−データテーブルなどの知られている基準によって意味を与えられる可能性がある。キーが検出されるとき、どの挙動が実行されるべきかを決定するために基準が調べられる。

詳述された構成は、概して、フーリエ変換（例えば、ＦＦＴ）を使用するが、任意の数のその他の画像変換が、代替的に使用され得る。例は、ＤＣＴ、ウェーブレット、ハール、ハフなどを含む。

図１Ａに示されたコード進行などの音のシグネチャ（ｔｏｎａｌ ｓｉｇｎａｔｕｒｅ）が、画像の信頼性又はその他の属性の迅速な検査として使用され得ることを認識されたい。

キーは隠されるか又は不可視であると言及されたが、これはすべて、特定の用途のニーズを満たすように調整され得る程度の問題である。例えば、一部の用途では、ある程度の可視性が許容される。

本明細書において使用されるとき、「主に」は、半分（５０％）を超えることを意味する。「大部分は」は、７５％を超えることを意味する。「実質的に」は、９５％を超えることを意味する。「ほぼ完全に」は、９８％を超えることを意味し、「完全に」は、１００％を意味する。

区分けされた弧領域の例は、図５及び図６にて黒一色に示された領域である。これらの区域は、複素平面の原点を含まない−したがって、軸のまわりの鏡像を得る場合、中心に隙間が存在する。言い換えれば、区分けされた弧領域は、概して、原点から非ゼロの距離離れた−最小の画像周波数に対応する−境界の部分となる弧のセグメントによって部分的に特徴づけられる。実際には、区分けされた弧領域は、同様に、原点からの有限の半径である−最大の画像周波数を示す−外周によって境界を定められる。同様に、区分けされた弧領域は、概して、横（ｕ）軸又は縦（ｖ）軸のいかなる部分も含まない。特定の実装においては、１つの区分けされた弧領域が存在する可能性があり、又はいくつかの区分けされた弧領域が存在する可能性がある。（多くの場合、そのような領域は、ｖ軸などの軸のまわりに鏡像を得ることができる）。

加えられる／減じられる信号エネルギーは、通常、区分けされた弧領域内に配される。しかし、その信号エネルギーは、領域を完全に占有する必要はない。例が、図１０Ａの変換ドメイン平面１００に示される。弧領域１０２は、内周１０４及び外周１０６によって定義される。領域１０２は、原点１０８を含まない。領域１０２は、横軸１１０又は縦軸１１２も含まない。この区分けされた弧領域１０２内にあるのは、スペクトルのエネルギーが増やされた１つ又は複数の空間周波数の区域１１４である。変更実施形態においては単一の周波数が使用される可能性があるが、概して、それぞれのそのような区域は、２つ以上の周波数（例えば、インパルス関数）を含む。通常、各区域は、変換平面において少なくとも１つの、そして通常は２つの方向に広がりを持つ。

図１０Ａに示される変換ドメインの信号エネルギーの区域は、（例えば、軸１１６のまわりに）特定の対称性を持つが、これは必須ではない。例えば、図１０Ｂは、別の構成を示す。さまざまな場合に、非対称の構成が望ましい。

場合によっては、画像を符号化する際に使用されるさまざまな空間周波数の区域は、調波関係を有する可能性がある。図１１Ａ及び１１Ｂは、１つのそのような構成を示す。図１１Ａは、第１の区域１３０を示す。図１１Ｂは、第２の区域１３２を示す。区域１３２は、区域１３０の周波数の２倍である周波数を含む。さらなる調波が、同様に使用され得る。

同様に、異なる区域の使用が、２進信号符号化のために使用され得る。区域１３０が、例えば、１０進数の「１」に対応する最下位ビットを表す可能性があり。区域１３２が、例えば、１０進数の「２」に対応する最下位から１つ上のビットを表す可能性があり。したがって、図１１Ｃのように両方の区域に信号エネルギーを追加することは、１０進数の「３」に対応する。

変形実施形態において、１つの色差チャネルに追加された信号エネルギーは、その他の色差チャネルから信号エネルギーを減じることによって相補的な方法で釣り合わされる。そのような形態の埋め込みは、公開された特許出願第２０１００１５０４３４号にさらに詳述されている。このアプローチは、可視的な劣化なしにより低い周波数の色差信号の使用を可能にし、上述の教示にしたがって処理されるときに検出器における増大された信号対雑音比をもたらす。（この技法による映像においては、相補的に減じるオペレーションは、同じフレームに対して、又は映像シーケンスの次のフレームに対して適用され得る）。

画像全体に単一のキーで印を付けることができるが、画像の一部がそのように印を付けられることがより典型的である。通常、画像領域の２０％未満が、任意の特定のキーで印を付けられる。より典型的には（例えば、図１及び図１Ａに示されるように）、連続的なキー領域は、画像フレーム全体の１０％、５％、３％、又は１．５％未満を含む。

実際の応用においては、Ａｄｏｂｅ Ｉｌｌｕｓｔｒａｔｏｒなどの図版オーサリングツールが、画像にキーを追加するためにおそらく使用される。隠されたキーは、ユーザに形状を示すために、破線の輪郭、区別のつくクロスハッチングなどによってユーザのスクリーン上に可視的に表され得る。これらは、Ａｄｏｂｅによって普及されたようなツールを用いて知られている方法でドラッグされ、サイズ変更されることができる。オーサリングソフトウェアは、隠された形態のキーを含め、スクリーン上に画像を描画する−任意の色空間の変換、及び印刷のワークフローに固有のその他の歪みを近似する−印刷プレビュー機能をさらに含む可能性がある。（印刷プロセスの種類又は忠実度、例えば、高解像度／最高の彩度、低解像度／低い彩度などに応じて、異なる印刷プレビューオプションが提供され得る）。ソフトウェアは、２つのビュー（オーサリング及び印刷プレビュー）が横に並んで表示される表示モードを含み得る。

追加されたキーを画像から感知し、定量的データをアーティストに返す対応する試験アプリケーションソフトウェアが、アーティストによって使用されるスマートフォン用に提供され得る。図版に対して変更がなされるとき、このソフトウェアアプリケーションは、即座にフィードバックを提供することができる。診断ウィンドウが、スマートフォンのスクリーン又は（電話が無線で又はＵＳＢなどによってリンクされ得る）オーサリング端末に表示されることができる。これらの診断ウィンドウは、キー信号の強度、キー領域の外見上のサイズ、キーの検出の信頼のレベルなどを示すことができる。

混合したドメインの表示
この技術の別の態様によれば、スマートフォンは、カメラによって撮影された未処理の画像と、カメラで撮影された画像に基づく（例えば、空間周波数又はフーリエドメインの）変換ドメインの情報との両方を含む表示を示す。

上の検討は、ステガノグラフィによるウォーターマークの検出器がウォーターマークが存在するかどうかを判定するのを支援するために画像に符号化され得る例示的な基準信号を詳細に示した。それらの基準信号は、それらの基準信号を普通の人間の観察者には感知できないようにする−十分に高い周波数及び／又は色差で−空間周波数ドメインに符号化される。

この技術のさらなる態様によれば、特定のそのような変換ドメインに基づく情報が、観察者に見えるようにされる。

図１３は、印刷されたホスト画像に追加される基準信号２１０の例示的な空間周波数ドメインの図を示し、実数成分が横軸によって示され、虚数成分が縦軸によって示される（いわゆる「ｕ、ｖ」平面）。示される基準信号は、高過ぎて人間は知覚できないが、スマートフォンのカメラのイメージセンサーによって生成されるデータ内で検出可能である周波数（すなわち、原点からの距離）の空間ドメインのインパルスの五角形配置２１２を含む。（ホスト画像の対応する空間周波数ドメインの図は図１３には示されないが、概して、ｕ、ｖ平面中に散らばった−多くは横軸及び縦軸に沿って集まった−信号を含む）。

図１３の図において、マーカー２１２は、円２１５上に中心が置かれる。（使用されている特定の色のドメインにおける）人間の視覚の限界が、より小さな円２１７によって示される。円２１７の外側の空間周波数成分で構成される特徴（例えば、マーカー２１２）は、周波数が高過ぎるので人間の観察者には識別できない。（マーカー２１２が空間周波数がより低いならば、それらのマーカー２１２は、細かな杉綾織に似ているピクセルパターンに対応するであろう。しかし、より高い周波数においては、目は、織り目のパターンを見分けることはできない。むしろ、織り目が消えて見た目には模様がなくなる）。

４つの五角形マーカー２１２が示されているが、もちろん、より少ない又はより多い数も、使用され得る。同様に、マーカーは、形状が五角形である必要はない。

スマートフォンのカメラが基準パターン２１０を検出するとき、スマートフォンのカメラは、それによって、カメラと印刷された物体の間の相対的な距離と、物体に対するカメラのあらゆる回転及び傾きとを認識することができる。例えば、カメラが物体に近づくように動かされるとき、拡大された画像の構成要素は、より低い成分の空間周波数を有するように感知される。したがって、五角形マーカーは、原点に近づくように移動する。カメラが（基準信号がホスト画像内にもともと符号化されていた向きに対して）回転される場合、五角形マーカーは、同様に回転されたように見える。カメラが−印刷された画像の一部が、印刷された画像のその他の部分よりもセンサーに近づくように−傾けられる場合、五角形のパターンは、歪められる。（五角形マーカーの中心２１４は、もはやｕ、ｖの原点付近に中心が置かれる円２１５上に位置せず、そうではなく、それらの中心は、楕円上に位置する）。

図１４は、例示的なスマートフォンの表示２２０を示す。この図において、スマートフォンは、シリアルの箱の一部−その図版２２２がスクリーンのほとんどを占めている−を撮像している。スクリーン上に重ね合わされているのは、上２つの五角形基準マーカーを含む検出された基準信号の半平面の描写である。示された表示は、２つの決まった目標領域２２４−円形の破線で境界が示される−も含む。電話をシリアルの箱に向かって、又はシリアルの箱から遠ざかるように動かすこと、及び必要に応じて傾けること／回転することによって、ユーザは、五角形マーカー２１２を２つの照準領域２２４内に移動させることができる。この位置で、シリアルの箱からのウォーターマーク信号の読み取りが、最適化される（すなわち、スマートフォンのカメラが、箱の平面図を撮影するように位置付けられる）。スマートフォンは、ウォーターマークを即座に（おそらくはマーカーが照準領域に合わせられる前に）読み取り、電話は、検出されたデータに応答して対応するアクションを行う。

望ましくは、変換ドメインの重なりが、検出された基準信号の強度とともに変化する可視性（強度）で示される。（例えば、パターン検出器の検出測定尺度の出力によって）基準信号が検出されない場合、重なりは表示されない。より強い信号ほど、重ねられるマーカー信号は、より大きなコントラスト−背景画像２２２と比較して−で表示される。一部の実施形態において、マーカーは、検出された基準信号の強度に応じて色差又は明度が変わる色合いで表示される。

１つの特定の実装においては、撮影された画像の空間周波数の表現は、閾値未満のいかなる空間周波数成分も表示されないように閾値を決められる。これは、撮影されたシリアルの箱の図版２２２のフーリエドメインの表現によって表示が劣化させられることを防ぐ。そうではなく、重ねられる信号だけが、マーカー信号に対応する。

同様に、空間周波数データは、高域通過スペクトルフィルタリングされることができ、したがって、閾値の空間周波数（例えば、図１３の円２１７によって示された空間周波数）を超える画像の構成要素だけが、示される。

円形の目標領域２２４は、必須ではない。その他の視覚的手引きが表示される可能性があり、又はそれらはすべて省略される可能性がある。後者の場合、ユーザは、マーカー２２４が同じ高さである（すなわち、水平に横切る）ように電話を位置付けるように指示される可能性がある。（先の段落で説明されたように）変換されたデータがスペクトルフィルタリングされる場合、ユーザは、マーカーがちょうど現れるまで電話を対象物に向かって、又は対象物から離して位置付けるように指示される可能性がある。（実際には、マーカー２１２の５つの点は、少し、小さな妖精の姿−特にカラーで描画されるときに頭、２本の腕、及び２本の脚−のように見える）。したがって、ユーザは、「妖精を探せ」と指示される可能性がある。それらの見た目は、各マーカーの５つの構成要素に異なる色を与えることによって特に目立つようにされ、時間とともに色を変える−人目を引く、ちらちら光る効果をもたらす−ことができる。

図１４に示される特定の実施形態において、空間周波数情報は、長方形のボックス２２６に示される。空間周波数情報のフレームの役割をすることに加えて、このボックスは、変換ドメインの分析が実行される、図版２２２内のピクセルの長方形の部分的領域を定義するようにも働く。言い換えると、画像のフレーム全体をフーリエドメインに変換する代わりに、ボックス２２６内のそれらのピクセルのみをそのように変換する。これは、電話のプロセッサの負担を軽減する。（ボックス２２６は、中心領域（ｆｏｖｅａ ｒｅｇｉｏｎ）−プロセッサがユーザが電話を最適に位置付けるのを補助するときに、プロセッサがその注意を集中するピクセルの部分的領域−とみなされ得る）。領域２２６のピクセルの輝度は、−ユーザに対してその領域をさらに目立たせるために−若干上げられるか、又は下げられる可能性がある。

結言
本明細書の前の部分は、譲受人の以前の特許出願との本明細書の関連を示したが、それは繰り返すに値する。これらの開示の内容は、一緒に併せて読まれ、全体として理解されるべきである。出願人は、各開示の特徴がその他の開示の特徴と組み合わせられることを意図し、本明細書によって明示的に教示する。したがって、例えば、本明細書において説明された構成及び詳細は、公開された出願第２０１１００９８０２９号、第２０１１００９８０５６号、及び２０１００２２８６３２号に記載のシステム及び方法のさまざまな実装で使用されることができ、一方、それらの特許出願の構成及び詳細が、本明細書に記載のシステム及び方法の実装で使用されることができる。その他の上述の文献に関しても同様である。したがって、本出願において開示された方法、要素、及び概念は、それらの挙げられた文献に詳述された方法、要素、及び概念と組み合わされることを理解されたい。一部が本明細書において特に詳細に説明されたが、多くは−順序の入れ替え及び組み合わせの数が多いこと、並びに簡潔さが必要であることが理由で−説明されなかった。しかし、すべてのそのような組み合わせの実装は、これらの教示から当業者に容易に理解できる。

本明細書に開示されたさまざまな実施形態の中の要素及び教示は、交換され、組み合わされるようにやはり意図される。

例示的な例を参照して出願人の発明の成果の原理を説明し、示したが、この技術はそのように限定されないことが認められるであろう。

例えば、スマートフォンについて繰り返し言及がなされたが、任意のデバイスが使用され得ることが理解されるであろう。上に挙げられた文献は、そのようなシステムで使用され得るさまざまなデバイス及び多様なハードウェア構成の一部を詳述する。

特に想定されるスマートフォンは、ＡｐｐｌｅのｉＰｈｏｎｅ４と、ＧｏｏｇｌｅのＡｎｄｒｏｉｄの仕様にしたがうスマートフォン（例えば、ＨＴＣ Ｃｏｒｐ．によって製造されたＶｅｒｉｚｏｎのＤｒｏｉｄ Ｅｒｉｓ電話、及びＭｏｔｏｒｏｌａのＤｒｏｉｄ２電話）とを含む。用語「スマートフォン」（又は「セル電話」）は、すべてのそのようなデバイスを含み、厳密に言ってセルラでなく、電話でもないデバイスさえも含むと理解されるべきである。

（ｉＰｈｏｎｅの、そのタッチインターフェースを含む詳細は、Ａｐｐｌｅの公開された特許出願第２００８０１７４５７０号に示されている）。

本開示において参照されたスマートフォン及びその他のコンピュータの設計は、当業者によく知られている。大まかに言えば、それぞれは、１つ又は複数のプロセッサ、１つ又は複数のメモリ（例えば、ＲＡＭ）、ストレージ（例えば、ディスク又はフラッシュメモリ）、ユーザインターフェース（例えば、キーパッド、ＴＦＴ ＬＣＤ又はＯＬＥＤディスプレイスクリーン、タッチセンサー又はその他のジェスチャーセンサー、カメラ又はその他の光学式センサー、コンパスセンサー、３Ｄ磁力計、３軸加速度計、１つ又は複数のマイクロホンなどをグラフィカルユーザインターフェースを提供するためのソフトウェア命令と一緒に含み得る）、これらの要素の間の相互接続（例えば、バス）、並びにその他のデバイスとの通信のためのインターフェース（ＧＳＭ（登録商標）、ＣＤＭＡ、Ｗ−ＣＤＭＡ、ＣＤＭＡ２０００、ＴＤＭＡ、ＥＶ−ＤＯ、ＨＳＤＰＡ、ＷｉＦｉ、ＷｉＭａｘ、若しくはＢｌｕｅｔｏｏｔｈ（登録商標）などの無線、及び／又はイーサネット（登録商標）ローカルエリアネットワーク、Ｔ−１インターネット接続などによる有線である可能性がある）を含む。

本明細書において詳述されたプロセス及びシステムのコンポーネントは、マイクロプロセッサ（例えば、Ａｔｏｍ及びＡ４）、グラフィックス処理ユニット（ＧＰＵ、ｎＶｉｄｉａのＴｅｇｒａ ＡＰＸ２６００など）、並びにデジタル信号プロセッサ（例えば、Ｔｅｘａｓ ＩｎｓｔｒｕｍｅｎｔｓのＴＭＳ３２０シリーズのデバイス）などを含むさまざまなプログラム可能なプロセッサ用の汎用プロセッサ命令を含むコンピューティングデバイス用の命令として実装され得る。これらの命令は、ソフトウェア、ファームウェアなどとして実装され得る。これらの命令は、プログラマブルロジックデバイス、フィールドプログラマブルゲートアレイ（例えば、ＸｉｌｉｎｘのＶｉｒｔｅｘシリーズのデバイス）、フィールドプログラマブルオブジェクトアレイ（ｆｉｅｌｄ ｐｒｏｇｒａｍｍａｂｌｅ ｏｂｊｅｃｔ ａｒｒａｙ）、並びに特定用途向け回路−デジタル、アナログ、及びアナログ／デジタル混合回路を含む−を含むさまざまな形態のプロセッサ回路で実装されることもできる。命令の実行は、プロセッサの間に分散される、及び／又はデバイス内のプロセッサにまたがって、若しくはデバイスのネットワーク中に並列化される可能性がある。コンテンツ信号データの処理も、異なるプロセッサ及びメモリデバイスの間に分散され得る。「クラウド」コンピューティングリソースも、使用され得る。「プロセッサ」、「コンポーネント」などの言及は、特定の形態の実装を必要とするということではなく、機能を指すと理解されるべきである。

詳述された機能を実装するためのソフトウェア命令は、本明細書で与えられた説明から当業者によって容易に書かれる、例えば、Ｃ、Ｃ＋＋、Ｖｉｓｕａｌ Ｂａｓｉｃ、Ｊａｖａ（登録商標）、Ｐｙｔｈｏｎ、Ｔｃｌ、Ｐｅｒｌ、Ｓｃｈｅｍｅ、Ｒｕｂｙなどで記述されることができる。この技術の特定の実装によるセル電話及びその他のデバイスは、さまざまな機能及び動作を実行するためのソフトウェアモジュールを含み得る。

知られているブラウザソフトウェア、通信ソフトウェア、及びメディア処理ソフトウェアが、本明細書において詳細に説明された使用のうちの多くのために構成され得る。

コンテンツの所有者が（例えば、ウォーターマークによってトリガされる特定のアクションの呼び出しによって）特定の属性及び体験をコンテンツに割り当てるサービスは、概して、ユーザデバイスの−ＯＳ内にあるか、又はアプリケーションソフトウェアとしての−ソフトウェアを使用する。代替的に、このサービスは、−部分的に−リモートのリソースを用いて実装され得る。

通常、ソフトウェア及びハードウェアの構成データ／命令は、ネットワークを介してアクセスされ得る磁気ディスク又は光ディスク、メモリカード、ＲＯＭなどの有形の媒体によって運ばれる１つ又は複数のデータ構造で命令として記憶される。一部の実施形態は、組み込みシステム−（例えば基本的なセル電話によくあるように）オペレーティングシステムのソフトウェアとアプリケーションソフトウェアがユーザには判別できない専用コンピュータシステム−として実装され得る。本明細書で詳述された機能は、オペレーティングシステムのソフトウェア、アプリケーションソフトウェア、及び／又は組み込みシステムのソフトウェアで実装され得る。

機能のうちの異なるものは、異なるデバイスに実装され得る。例えば、スマートフォンがリモートのサービスプロバイダのサーバと通信するシステムにおいては、異なるタスクは、完全に一方のデバイス又は他方のデバイスによって実行される可能性があり、又は実行は、デバイスの間に分散される可能性がある。コンテンツからのウォーターマークデータの抽出は、そのようにして分散され得るプロセスの一例である。したがって、オペレーションが特定のデバイス（例えば、スマートフォン）によって実行されるという説明は限定的ではなく例示的であり、別のデバイス（例えば、リモートのサーバ）によるオペレーションの実行、又はデバイス間で分担されたオペレーションの実行も、はっきりと想定されることを理解されたい。

（同様にして、データが特定のデバイスに記憶されるという説明も例示的であり、データは、任意の場所に記憶されること、すなわち、ローカルのデバイスに記憶されること、リモートのデバイスに記憶されること、クラウドに記憶されること、分散して記憶されることなどが可能である）。

本開示は特定の動作の順序及び特定の要素の組み合わせを詳細に説明したが、その他の想定される方法は、動作の順序を変える（場合によっては一部の動作を省略し、その他の動作を追加する）ことができ、その他の想定される組み合わせは、一部の要素を省略し、その他の要素を追加することなどができることが認められるであろう。

完全なシステムとして開示されたが、詳述された構成の部分的組み合わせも、個別的に想定される。

この技術が静止画との関連で説明されたが、この技術は、例えば、多くの連続的なフレーム又はフィールド（ｆｉｅｌｄ）を含む映像での使用に同様に適している。（静止画は、任意の知られている形態、例えば、印刷された形態、又は電子的なディスプレイスクリーンに表示された形態をとり得る）。

本明細書を過度に冗長にすることなく包括的な開示を提供するために、出願人は、本明細書において参照される特許出願及びその他の文献を参照により援用する。（そのような資料は、その教示の詳細に関連して上で挙げられたとしても、その全体が援用される）。これらの参考文献は、本明細書において詳述された構成に組み込まれることができ、本明細書において詳述された技術及び教示が組み込まれることができる技術及び教示を開示する。読者は、そのような従来の成果に精通していると想定される。

認識されるであろうように、本明細書は、多くの新規性のある構成を詳細に説明した。実務上の制約により、多くのそのような構成は、本出願の元の出願において請求されていないが、出願人は、優先権を主張するその後の出願においてそのようなその他の主題を請求するように意図する。発明の構成のうちの一部の不完全な抜粋が、以下の段落で精査される。

１つの構成は、メモリに記憶されたソフトウェアによって構成されるプロセッサを有するデバイスを用いてカラー画像に印を付ける方法である。方法は、−空間又はピクセルドメインの画像内で−少なくとも１つの２次元の画像の部分的領域を識別するステップを含む。次いで、１つ又は複数のクロマキーが、その部分的領域の変換ドメインの表現を変更することによってその部分的領域に符号化され、この変更は、変換ドメイン空間において主に区分けされた弧領域内に位置する画像信号エネルギーを追加することを含む。

さらなる構成において、そのような変更された画像は、異なる補助情報と一緒に送信されるか、又は記憶される。そのようなさらなる構成において、補助情報と併せた符号化された（１つ又は複数の）クロマキーは、部分的領域がイメージセンサーを含むモバイルデバイスによって感知されるときの画像の部分的領域に対する応答を協力して定義する働きをする。

別の構成は、プロセッサ部分及びカメラ部分を含む可搬型のユーザデバイスを使用する方法である。方法は、カメラ部分によって撮影された画像を変換して、変換ドメインの対応するデータを生成するステップを含む。次いで、この変換ドメインの情報が、変換ドメインの区分けされた弧領域の信号エネルギー（「キー」）の存在を検出するために分析される。

さらなる構成において、方法は、複数ビットの補助データを受け取るステップと、そのような複数ビットの補助データの使用によって、検出されたキーに対応する応答を決定するステップとをさらに含む。

さらに別の構成は、（例えば、スマートフォンのカメラの）センサーを用いてシーンから画像データを撮影するステップと、前記シーンの少なくとも一部の変換ドメインの表現を計算するステップと、前記変換ドメインの表現に基づく表現をスクリーン上に表示するステップとを含む。（そのような表現は、ピクセル−それらのピクセルの位置は、撮影された画像データの空間周波数属性に基づく−を含み得る。同様に、そのような表現は、ピクセル−それらのピクセルの輝度又は色は、変換された画像データの空間周波数の係数の振幅に基づく−を含み得る）。

さらに別の構成は、（例えば、スマートフォンのカメラの）センサーを用いて物体から画像データを撮影するステップと、撮影された画像データの少なくとも一部に基づいて変換ドメインの表現を計算するステップと、前記変換ドメインの表現に基づく表示をスクリーン上に表示するステップと、前記表示された変換ドメインの表現を参照することによって、ユーザが物体に対してセンサーを動かすのを手引きするステップとを含む。

さらに別の構成は、２Ｄイメージセンサーを含むデバイスを用いてシーンから画像データを撮影するステップであり、センサーが、（例えば、通常のＣＭＯＳ又はＣＣＤセンサーのように）そのセンサー中に一様な密度の感知素子を有する、ステップと、画像データに中心フィルタリング関数を適用するステップであり、（中心区域（ｆｏｖｅａｌ ｚｏｎｅ）内で維持される画像データのより密度の高いサンプリングと比較して）画像データのより密度の低いサンプリングが、中心区域の外で維持される、ステップと、中心フィルタリングされた画像データをさらに処理するステップと、を含む。

上述の方法を具現化する又は使用する装置、部分的組み合わせ、及びコンピュータ可読媒体も、はっきりと想定される。

この技術の原理が適用され得る多くの実施形態に鑑みて、詳細に説明された実施形態は例示的であるに過ぎず、出願人の発明の成果の範囲を限定するとみなされるべきでないことが認識されるべきである。むしろ、出願人は、以下の特許請求の範囲及びその均等物の範囲及び趣旨の中にあるすべての実施形態を請求する。（この特許請求の範囲は、本開示において出願人が進歩的であるとみなすものの一部のみを含む。出願人は、将来、追加的な特許請求の範囲を提出する権利を留保するので、請求されなかった主題を放棄することは意図されていない）。

Claims (19)

1. 画像データを受け取るステップと、
   受け取られた画像データにしたがって可搬型のデバイスのスクリーン上に画像を表示するステップと、
   前記受け取られた画像データの少なくとも一部を変換して、前記少なくとも一部に対応するフーリエドメインのデータを得るステップと、
   前記表示された画像と一緒に、前記スクリーン上に前記フーリエドメインのデータの視覚的表現を表示するステップと、
   を含む、方法。
2. 前記デバイスのカメラ部分を用いて、物体から前記画像データを撮影するステップ、
   を含む請求項１に記載の方法。
3. 可搬型のデバイスの位置付け補助を前記スクリーン上に表示するステップであって、前記位置付け補助が目標領域を含み、前記カメラ部分がユーザにより前記物体に対し動かされることにより、前記視覚的表現が前記目標領域の中に配置可能となる、当該ステップ、
   をさらに含む請求項２に記載の方法。
4. 閾値の空間周波数を超える前記フーリエドメインのデータの成分に関してのみ前記視覚的表現を表示するステップ、
   を含む請求項１に記載の方法。
5. 前記視覚的表現が、フーリエドメインのインパルスの五角形配置を含む請求項１に記載の方法。
6. 前記フーリエドメインのデータの前記視覚的表現が、人間の知覚にとっては周波数が高過ぎる感知不能な画像細部を表す請求項１に記載の方法。
7. 前記フーリエドメインのデータの前記視覚的表現が、前記感知不能な画像細部の強度とともに変化する可視性で表示される請求項６に記載の方法。
8. 前記可視性が、前記感知不能な画像細部の強度とともに非線形に変化し、前記感知不能な画像細部の強度が閾値未満である場合、前記フーリエドメインのデータの視覚的表現が表示されない請求項７に記載の方法。
9. 前記フーリエドメインのデータの前記視覚的表現が、前記感知不能な画像細部の強度とともに変化する色で表示される請求項６に記載の方法。
10. 前記受け取られた画像データの一部のみを変換するステップ、
    を含む請求項１に記載の方法。
11. 前記可搬型のデバイスのスクリーン上に表示される前記フーリエドメインのデータの視覚的表現が、実数成分が横軸によって示され虚数成分が縦軸によって示される平面であるｕ、ｖ平面の一部の描写を含む請求項１に記載の方法。
12. カメラ、スクリーン及び処理回路を含む可搬型のデバイスであって、
    前記処理回路が、
    物体から画像データを撮影する動作と、
    撮影された画像データにしたがって前記スクリーン上に画像を表示する動作と、
    前記撮影された画像データを変換して、前記撮影された画像データに対応するフーリエドメインのデータを得る動作と、
    前記表示された画像と一緒に、前記スクリーン上に前記フーリエドメインのデータの視覚的表現を表示する動作と、
    を含む動作を、当該デバイスに実行させるように構成される、
    当該デバイス。
13. 前記処理回路が、
    メモリ内の命令によって構成されるプロセッサ、
    を備える、請求項１２に記載のデバイス。
14. 可搬型のデバイスのカメラのセンサーを用いて物体から画像データを撮影するステップと、
    撮影された画像データの少なくとも一部に基づいて変換ドメインの表現を計算するステップと、
    前記変換ドメインの表現を含む表示を可搬型のデバイスのスクリーン上に表示するステップと、
    前記表示された変換ドメインの表現を参照することによって、ユーザが前記物体に対して前記可搬型のデバイスを動かすのを手引きするステップと、
    を含む、方法。
15. 前記変換ドメインが、空間周波数ドメインを含む請求項１４に記載の方法。
16. 前記手引きするステップが、
    （ａ）前記変換ドメインの表現と、（ｂ）前記カメラが前記物体の特定の図を有するときに前記変換ドメインの表現が位置合わせされる視覚的手引きと、の両方を含む表示を、前記可搬型のデバイスのスクリーン上に表示するサブステップ、
    を含む請求項１４に記載の方法。
17. 前記特定の図が、前記物体の平面図を含む請求項１６に記載の方法。
18. 一様な密度の感知素子を有する２Ｄイメージセンサーを含む可搬型のデバイスを用いて、あるシーンから画像データを撮影するステップと、
    前記画像データに中心フィルタリング関数を適用し、中心区域外の比較的低い解像度の画像データの組、及び前記中心区域内の比較的高い解像度の画像データの組を生成するステップと、
    中心フィルタリングされた画像データをさらに処理するステップであって、前記中心フィルタリングされた画像データの変換ドメインの表現を計算するサブステップ、及び、前記変換ドメインの表現を含む表示を前記デバイスのスクリーン上に表示するサブステップを含む、当該ステップと、
    を含む、方法。
19. コンピューティングデバイスに、
    空間周波数ドメインではなく空間ドメインの画像データを受け取る動作と、
    受け取られた画像データを変換して、前記受け取られた画像データに対応するフーリエドメインのデータを得る動作と、
    ディスプレイスクリーン上に表示するためのデータを生成する動作であって、生成されるデータが、前記画像データの視覚的表現を伴う、前記フーリエドメインのデータの視覚的表現に対応する、当該動作と、
    を含む複数の動作を実行させるための命令を記憶した、
    コンピュータ読み取り可能な記録媒体。

Images