JP2017510910A - 行動イベント計測システム及び関連する方法 - Google Patents

Abstract

幾つかのセンサ、任意的にウエアラブル技術を使用することによって、１つ以上のディジタルデバイスを通してユーザーの行動、ディジタル取引、及びディジタルコンテンツ及びサービスに対する露出、及び外部露出、及びユーザーと環境との間の関連するイベントに関するデータを取得するための電子システムであって、関連するディジタル投影、又はディジタルコンテンツ又はオブジェクトに特有の特性を通して、又は環境において、デバイスに装着された１つ以上のディジタルスクリーン上に表示されたものとして少なくともユーザーが知覚する可能性のあるコンテンツ及びオブジェクトを反映するデータを収集し、収集されたデータに基づいて、少なくとも知覚される可能性のある視覚的景観を再構築し、再構築、及びその中で検出された関連する露出イベントに照らしてユーザーの注目の対象及び／又はレベルを判定するように構成され、システムは、視覚的景観を再キャプチャする再構築によって反映されるような収集済みデータ、及びユーザーのアクション、ディジタルコンテンツ、又は外部オブジェクトのタイプ又は同一性の検証を含む、ルール又はフィンガープリントに関する前記１つ以上のデバイスにローカルに格納された情報をディジタルオブジェクト認識処理に適用するように構成される。例えば、スクリーンキャプチャリングはデータ収集するために使用され得る。対応する方法、及びコンピュータプログラム製品が提示される。

Description

本発明は一般に、ディジタルデバイス、通信、及び、ユーザーが、これらのデバイスを日常生活で携行し、デバイス内部から生じる、又は、例えば野外広告に関して外部で生じるコンテンツに露出される（コンテンツを体験する）場合の使用コンテキスト（使用状況）のモニタリングに関する。特に、本発明は、それに限らないが、ワイヤレスデバイス、又は装着されるウエアラブル技術による画像キャプチャリングであって、その成果物が例えばディジタルグーグル、又はその他のウエアラブル技術及び関連するカメラ、又はより広くは撮像技術によってキャプチャされる場合のように、いずれかのコンテンツをスクリーン又は外部オブジェクトに表示する画像キャプチャリングのサンプリング及び収集に関する。

今日の消費者は、他のスマートデバイスやウエアラブル技術も含めて、スマートフォン、タブレット、スマートウオッチ、ディジタルグーグルなどの新たなディジタルデバイスを採り入れることが多くなっている。これらのデバイスのすべてではないが、その多くは、複雑なデータ処理と統計動作を実行し、またより本格的な複雑な計算を行う能力などのフィーチャを有し始めている。さらに、デバイスはスクリーンのコンテンツ（内容）を画像に取り込み易くする技術、並びにそれぞれディジタルカメラ及びマイクなどの様々な画像及び音声キャプチャリング技術を組み込み得る。このようなフィーチャ及び技術は、スマートフォン、タブレット、及びファブレットを含む今日のワイヤレスデバイスに広く備えられている。また、スマートウオッチ、ディジタルヘッドセット、ディジタルグーグル、及び他のウエアラブル技術などの次世代デバイスにもこれらの同じフィーチャが含まれている。これらのウエアラブル技術の幾つかはスマートフォンなどのいわゆるマスターデバイスを経てインターネットに接続され、マスターデバイスの処理能力を利用することさえ可能である。それにも関わらず、１つ又は多くのスマートデバイスとディジタルキャプチャリング技術を組み合わせるシステムはますます普及している。

さらに、ディジタルデバイスによる取引や支払いに関して、これらのデバイスは、例えば電子商取引やゲーム産業の分野で膨大な数のプレーヤーの重要な収入源になってきている。このような取引を達成するためのコンピュータやスマートワイヤレスデバイスの使用は増加中である。これに関連する手順には、スマートでの、又はウエアラブル技術によるユーザーインターフェースでのいくつかのステップとアクションも含まれている。

実際に現在、人々がスマートデバイスでコンテンツを消費し、これにアクセスするために使用する技術手段の数が増えている。従来は、例えばインターネットの利用はウエブの閲覧と特定のサイト訪問のためであった。最近は、少しの例を挙げるだけでも、人々はネーティブアプリ、ＨＴＭＬ５ベースのウィジェット、異なる種類の告知及びポップアップベースのウィザード、背景にリアルタイムのカメラ画像を示す拡張現実アプリ、又は例えばスマートウオッチ、又はディジタルゴーグルに投影されるテキストベース又は告知ベースのダイアローグセットでプレーする。このようなイベントの特定はもはや、サイト訪問、又はデバイスへのページロードの計測に基づく様々な方法などの、デバイスとインターネットとのトラフィックのような単純なアクションに基づいて行うことができない。

人々はオンデバイスの（デバイス上での）アクティビティの他に、明らかにスマートデバイスやディジタルデバイスの外部のメディアイベントに露出されている。これらのアクティビィティが何であるのか、また人々はこれらの何に注意を払うのか／人々がこれらにどのように反応する可能性があるのかは些細な情報の検索及び解析の問題ではない。

本発明の目的は、先行技術の問題点を少なくとも軽減し、デバイスを通して、又は少なくともデバイスと並行してユーザーによって知覚されるような、ディジタルデバイスの利用、及び現実世界、すなわち環境におけるアクティビィティから生じる行動イベント及びユーザー露出のモニタリングと解析に関する課題の多くを克服することにある。

一態様では、幾つかのセンサ、任意的にウエアラブル技術を使用することによって、１つ以上のディジタルデバイスを通してユーザーの行動、ディジタル取引、及びディジタルコンテンツ及びサービスに対する露出、又は、外部露出、及びユーザーと環境との間の関連するイベントに関するデータを取得するための電子システムであって、
環境において、又は、ディジタルコンテンツ又はオブジェクトに特有の特性、又は、関連するディジタル投影を通して、デバイスに装着された１つ以上のディジタルスクリーン上に表示されたものとしてユーザーが少なくとも潜在的に知覚するコンテンツ及びオブジェクトを反映するデータを収集し、
収集されたデータに基づいて、その少なくとも潜在的に知覚される視覚的景観を再構築し、
再構築、及びその中で検出された関連する露出イベントに照らしてユーザーの注目のレベル及び／又は対象を判定するように構成され、
このようなシステムは、視覚的景観を再キャプチャする再構築によって反映されるような収集されたデータ、及びユーザーのアクション、ディジタルコンテンツ、又は外部オブジェクトのタイプ又は同一性の検証を含む、ルール又はフィンガープリントに関する前記１つ以上のデバイスにローカルに格納された情報をディジタルオブジェクト認識処理において適用するように構成される。

別の態様では、１つ以上のディジタルデバイスを通して、幾つかのセンサ、任意的にウエアラブル技術の使用を介して、外部の露出、及び、ユーザーと環境との間の関連するイベント、又は、ユーザーの行動、ディジタル取引、及び、ディジタルコンテンツ及びサービスに対する露出についてのデータを取得するための方法は、
環境において、又は、ディジタルコンテンツ又はオブジェクトに特有の特性、又は、関連するディジタル投影を通して、デバイスに装着された１つ以上のディジタルスクリーン上に表示されたものとしてユーザーが少なくとも潜在的に知覚するコンテンツ及びオブジェクトを反映するデータを収集するステップと、
収集されたデータに基づいて、その少なくとも潜在的に知覚される視覚的景観を再構築するステップと、
この再構築、及びその中で検出された関連する露出イベントに照らしてユーザーの注目のレベル及び／又は対象を判定するステップと、を含み、
視覚的景観を再キャプチャする再構築によって反映されるようなユーザーのアクション、ディジタルコンテンツ、又は外部オブジェクトのタイプ又は同一性の検証及び収集されたデータを含めて、ルール又はフィンガープリントに関する前記１つ以上のデバイスにローカルに格納された情報をディジタルオブジェクト認識処理において適用される。

さらに別の態様では、非一時的キャリア媒体上のコンピュータプログラム製品は、コンピュータに上記の方法のアイテムを実行させる命令を含むものが提供される。キャリア媒体は、例えばメモリカード、光ディスク、又は磁気記憶媒体を含み得る。

本発明の異なる実施形態が提供し得る多くの有用性に関して、１つの明白な利点はメディア露出イベント、このような露出のコンテンツ及び対象、その継続期間、及びさらにはユーザーによって経験される他の特性を認識し、解釈する能力にある。したがって、本発明は、次世代のディジタルエンドユーザーサービス及び拡張現実アプリケーション、又はメディア調査目的のための１つの実現の鍵を提供する。ソリューションの汎用性の更なる例を考慮すると、ディジタルデバイスのユーザーがデバイスと相互作用（やりとり）したり、又はスクリーンイベントを調べたりしなくても、提案されるソリューションは、ユーザーの露出及び／又は注意を判定するためにカメラ（１つ以上）などのセンサ（１つ以上）を利用できるように構成され得る。センサはデータ収集／処理デバイスと一体化されてもよく、又は少なくともこれに機能的に接続されてもよい。

より詳細には、本発明の実施形態は、例えばユーザーが開始するディジタルデバイスでのアクションに関する視覚的データを収集し、かつ検証し、コンテキスト要素（例えばユーザーが屋内に居るか屋外に居るか、すなわちユーザーの相対的及び／又は絶対的位置コンテキスト）を認識し、さらにはユーザーが所定位置で４秒間屋外広告を見たこと、又は注意を向けたことなどの様々な屋外のオブジェクト及びイベントを認識し、追跡するための技術的に実施可能なソリューションを提供する。以下の例は、本発明の効果的な追加使用例を記載するものである。

第１に、人々が自分のディジタルデバイスで支払いや購入、又はその他の類似のイベントなどの取引をどのように実行し、完了するかの追跡と解析が可能である。このようなイベントに関する視覚的情報が収集され、最終的にはこのようなアクティビティのタイプとコンテンツが検索され、解釈されることが可能である。

第２に、ディジタルコンテンツへの露出、及びその継続期間が計測され得る。モニタされるアクティビティは、ユーザーとデバイスとのやりとりを通して、又は少なくとも、搭載され、又は機能的に接続されたセンサ（１つ以上）によって検出できる態様で起こり得る。このようなアクティビティは、モバイルアプリケーションの使用、任意のディジタルデバイスでのウエブサイトへの訪問、スマートフォンのホームスクリーン上の、又は例えば外部であるが、機能的に接続されたディジタルゴーグル型のデバイスのスクリーン上の、又は例えばユーザーの腕に装着されたスマートウオッチデバイス上のウィジェット又は告知タイプのサービス又はコンテンツへの露出又はその使用を含み得る。

提案されているソリューションは、コンテンツに関する情報制御（例えばユーザーの注意がこのようなイベントを対象にしているか否か、及びコンテンツがユーザーに技術的に目視できるか否か）と共に、露出された（体験した）コンテンツ及びサービスの視覚的トレースを取得して、今日のサービス及びコンテンツへの真の露出（コンテンツの実際の体験）を追跡するように構成され得る。ウエアラブルデバイスの物理的スクリーン、又は投影されるオーバーレイに関する鍵となる特性及び視覚的情報は、ユーザーのこのようなアクティビティを認識するためにキャプチャされ使用され得る。

既に上に示唆したように、本発明はユーザー外部のメディア、コンテンツ、オブジェクト及びイベントの露出を追跡するために利用され得る。確かな実施例は、例えばこのようなイベントをキャプチャし、さらに処理でスマートディジタルデバイスの処理能力を活用するために、例えばユーザーに装着されたディジタルゴーグルのカメラを使用して屋外広告への露出のモニタリングを組み込むことができよう。

このようにして、ディジタルデバイス自体の外部の任意のアクティビティへの露出／注意又はメディアイベントの追跡は一般に、例えばスマートウオッチやディジタルゴーグルに装着されたカメラを使用し、新規の方法でデータをサンプリングして実行され得る。画像認識技術は、ユーザーが環境（外部の現実世界）に露出されるオブジェクトの同一性とタイプに関する有益な情報を導き出すために適用され得る。システムは、例えば何人のユーザーがどの位長く選択されたタイプの屋外広告、又はさらには特定されたある広告に露出されたかを追跡し得る。

第４に、本発明は、（例えば、タッチインターフェース、眼の位置と動き、及び／又は計測された心拍数又は身体／皮膚の温度などの全体的な身体状態の利用を含む、ユーザーとディジタルデバイスとの相互作用でキャプチャされた利用できる情報を用いて）ユーザーの注意又は状態などのコンテキスト状態、又は周囲光、ノイズ、温度、位置データ及び加速度又は速度ベースのデータポイントを解釈して、ユーザーが何をしているか、又は一般的にユーザー又は携行しているディジタルデバイスのコンテキストが何であるかを判定するように構成され得る。

コンテキスト状態、又は「変数」は、これらが他のユーザーの中でコンテンツ、サービス又は外部オブジェクトを考慮して露出、又はユーザーのアクティビティのタイプを特徴付けるので関連性がある。ユーザーの注意は、任意的に同時に、異なるレベルでモニタされてもよい。１つのタスクは、ユーザーの注意がどこにあるか、又はそもそも注意が向けられているかを判定し、このデータを露出、又はログされたディジタルアクションにオーバーレイし、ユーザーが実際に意図的にそのようなアクションを行ったか否かを確かめ、これをノイズ、及びユーザーが開始したのではない不慮である可能性のある、又はその他の誤ったアクションから分離することを暗示し得る。さらに、適用されるコンテキスト論理は、前記のアクティビティが拡張オーバーレイ環境で起こったか否か、広告が暗い、又は明るい背景で目視されたか否か、前記アクティビティが観察されたときにユーザーが目視できるコンテンツで満たされた複数の、又は単一のみの（スクリーン）ウインドウがあったか否かなどの、ユーザー行動又は露出のコンテキストに関する情報を導き出すように構成され得る。

その結果、広範なエンドユーザー向けサービス及びアプリケーションは、本発明によって提供されることの上に構築され得る。さらなる例として、次世代の拡張現実（ＡＲ）アプリケーションがユーザーに提供されることができ、これはユーザーが特定のタイプの外部オブジェクト（例えば特別な小売店）に露出される可能性があり、任意的に、その小売店で現在利用できる特別の値下げなどの情報があるか否かをユーザーに告知するときに、ユーザーのプロフィルに関するマッチング情報を認識する。別の例は、サービスの技術的配布に関わりなく、人々がスマートウオッチ、ディジタルゴーグル、又は例えば、スマートフォンでどのような種類のコンテンツ及びサービスをどの程度長く使用するかを追跡し、これらのデータで、関連のあるユーザーにとって特別な興味又は価値があるかもしれない幾つかの他のアプリケーション及びサービスに関する正確な推奨が提供され得る。

また本発明には、メディア追跡アプリケーションに関連する多くの用途がある。メディア調査産業の目的に合致して、提案されるシステムは、到達、関与、及びアクティビティのタイプに関する情報を数値化し、特定のプロパティの評判はどうか、ユーザーがこのようなプロパティをどのように利用するか、プロパティへの関与レベル、どのような種類の屋外又はスクリーン上の広告、又は販促メッセージにユーザーが露出されたのかなどを理解するための調査目的でこのようなデータを提供するために、特定のサービを利用し、コンテンツを消費し、イベントに露出されるユーザーのサンプル（又は分野）から収集するように配置され得る。実際に、異なる複数の産業分野で本発明の実施形態から利点が得られる極めて多様なアプリケーションがある。

本明細書における「幾つかの」という表現は、例えば１、２又は３など１から始まる任意の整数を指す。

本明細書における「複数の」という表現は、例えば２、３又は４など２から始まる任意の整数を指す。

「データ転送」という表現は、データ転送アクションに対する解析中の特定のエンティティの役割（１つ又は複数）、すなわち送信者の役割、受信者の役割、又はその両方に応じてデータの送信、データの受信、又は両方を指し得る。

用語「ａ」及び「ａｎ」は量の制限を意味するではなく、参照されたアイテムの少なくとも１つの存在を意味する。

本発明の異なる実施形態が従属請求項に開示されている。本発明の様々な他の実施形態、及び本発明のさらなる利点は、以下の詳細な説明に基づいて当業者に明らかになる。

添付図面を参照して本発明の異なる態様をより詳細に説明する。

本発明による包括的概念の種々の要因と、その潜在的な実施形態の種々の要素を示す高レベル略図である。 機能的な態様を強調して本発明によるシステムの実施形態をより詳細に示す図である。 実施可能な一実施形態によるパネルタイプの調査における本発明の利用を示す図である。 ハードウエアと本発明によるデータ計測及び通信のためにハードウエアを制御するソフトウエアとをホストする、少なくとも１つのデバイスによって実施されるディジタルシステムの実施形態を示す図である。 本発明による方法の高レベル流れ図である。 一対のスクリーンショット、及び関連する差分画像による差分撮像方法の実施形態の機能を示す図である。 スクリーンキャプチャリングの実施形態、及び特に関連するレート（速度）調整手順の流れ図である。 本発明によるスクリーンキャプチャ解析の実施形態により検出されるメニューインジケータを有するディジタルユーザー端末から取得された幾つかのスクリーンキャプチャリングを示す図である。 メニューインジケータ検索アルゴリズム用の可能性のあるスクリーン（ショット）対象エリアを示す図である。 メニュインジケータテンプレートの４つの例を示す図である。 メニュー／ホーム、及びアプリ内スクリーンショット識別手順を示す流れ図である。 本発明に関連して適用される包括的スクリーンキャプチャ解析のフレームワークの実施形態を示す図である。 提供されるフレームワークのアプリケーションの実施形態を示す図である。 スクリーンキャプチャ画像（スクリーンショット画像）の表示を圧縮し、サーバなどのリモートエンティティに転送する方法の実施形態の流れ図である。 メモリ及びデータ転送リソースの消費を低減するための原画像の圧縮及び符号化に基づく２つのスクリーンショット画像及びその再構築を示す図である。 購入追跡の実施形態を示す図である。 ウインドウ形状検出の実施形態を示す図である。 ウィジェットなどのデイスプレービュー（又はスクリーンショット）フィーチャに対するコンテンツ解析の実施形態を示す図である。 画像セグメンテーションの実施形態を示す図である。 本発明の実施形態によるビューから検出された関心エリア（ＲＯＩ）の表示で補足された、例えばスマートゴーグルを介して示された拡張現実ビューを示す図である。

本発明は一般に、一体型の、又は機能的に接続された（例えばディジタル（スマート）ゴーグル）１つ以上のユーザーインターフェース（ＵＩ）を組み込んだワイヤレス、又はワイヤードディジタルデバイスで使用するように一般的に設計されたアプリ、ウエブサイト、告知、ポップアップ及びウィジェットなどの様々なエンティティに関連して行動イベントを計測するように構成され得るシステムを提供する。ソリューションは、実質的にデバイス及び技術（ネーティブアプリ、ＨＴＭＬ５、ウィジェットなど）にアゴニスティック（agonistic）であり、明らかに本明細書に記載のようなメディア／インターネット利用行動の追跡に関する幾つかの業務で主な用途がある。

さらには、本発明は、例えばスマートフォンなどのスマートディジタルデバイスの一体型（固定的に装着された）スクリーンを介してユーザーが消費するコンテンツ及びディジタルサービスの識別に関する同様のアプローチを用いて、ユーザーによって目視され、又は少なくとも目視される可能性があり、任意的にウエアラブル技術（ゴーグル、スマート衣類など）によって収集される物理的オブジェクト、又はデバイス外部のイベント又はオブジェクトへの露出を追跡するための実施可能なプラットフォームを産出する。

図１は、１００で本発明による包括的な概念及びシステム、及び可能性のあるその実施形態の様々な要素の異なる要因を示す高レベル略図を示している。ユーザー１０２は、ユーザー行動、ディジタル取引、スクリーン上、又は外部のアクティビティへのユーザーの露出（関与）、ユーザーの注意などに関するデータを収集し、処理し、配信するために本発明に関連して利用されるように、データ収集及び解析論理１０５を搭載し得るコンピュータ、スマートフォンなどの携帯電話、タブレットコンピュータ、及ぶスマートＴＶなどの異なるディジタル（ユーザー）デバイス１０４にアクセスし、これらを携行することが多い。

デバイス１０４はさらに、自律的なデータロギング及びクランチング（crunching）のための必要な処理、メモリまたはデータ転送能力を持っていない場合は、解析のためにこれにデータを提供し得る、例えばディジタル（スマート）ゴーグル１０４ａ又はスマートウオッチなどのウエアラブル技術／デバイスなどの他のデバイスに少なくとも機能的に接続され得る。オンデバイス（スクリーンキャプチャ１１２を参照）、及び外部（ユーザー１０２が居る現実世界の環境の抜粋１１０を参照）の両方のアクティビティ、及びユーザーの注意などの関連する現象は、以下により詳細に記載される本発明によって計測され得る。

計測ディジタル（ユーザー）デバイス１０４、１０４ａの外部のエンティティは、各々が例えばディジタルデバイス１０４によって提供されるデータを格納し、処理のための論理を処理し、充実化し、データを集約するための幾つかのデータベースと、データを転送し、配信するためのデータ転送インターフェースとを含む少なくとも１つのサーバを含む１つ以上の配置１１０に編成される異なるリモートサーバを含み得る。これらのエンティティには、インターネットなどの通信ネットワーク（１つ又は複数）を介してアクセスし得る。

図２は、ブロック図と流れ図との組み合わせで、オンデバイス（デバイス上）と外部環境（現実世界）の両方のイベントの測定に適合された場合の本発明の実施形態を開示している。幾つかの実装形態では、多くの場合、又は極端な場合は、図示したすべてのエンティティが単一のディジタルデバイスで実現され得る。

本発明は幾つかのコンテキスト（状況・場面）で利用され得る。１つのコンテキストでは、視覚的（再）キャプチャリング（例えばスクリーンショット）などの視覚データが取り込まれる。このデータは、ユーザーが特定の任意の時間に見ることができるデイスプレースクリーンのコンテンツを反映する。デイスプレーは例えば、例えばスマートフォン又はタブレットなどのＯＬＥＤ（有機ＬＥＤ）デイスプレーでよい。１つの別の技術的コンテキストは、ディジタルスマートデバイス、ウエアラブルデバイス（スマートウオッチ又はディジタルゴーグル）などに装着されたカメラ及び任意の他のセンサと併用する技術の応用を含み、そこで視覚データは現実世界のオブジェクト（例えば小売店、屋外広告）及び／又は現実世界の、又は仮想のコンテンツの背景にオーバーレイされた幾つかのディジタルコンテンツを反映する。

例えば、ユーザーはディジタルゴーグルを使用してビジュアルに露出される（を見る）ことができ、その際、幾つかの告知が拡張して（重ね合わせて）示される一方、背景画像は実質的にユーザーが目視できる現実の物理的背景から成っている。背景画像は、ユーザーがそれを通して目視可能であり、しかも追加データがＨＵＤ（ヘッドアップデイスプレー）方式で投影され得ることで集合スクリーンを形成する、例えばガラス又はプラスチックの光透過表面によって実装されてもよく、又は背景（ビデオ）画像はまた、ユーザーの眼の前に配置され、ゴーグルのフレームに装着された小型ディジタルデイスプレースクリーン（１つ又は複数）を介して提供されてもよい。後者の場合は、画像はゴーグル上に取り付けられた幾つかのカメラを使用して提供されてもよい。

外部デバイス及びオブジェクト２０２は、例えば屋外広告、又は環境中で感知できる他のオブジェクト／イベントへの露出を指してもよい。告知及びポッポアップ２０８は、投影された仮想（表面）又は現実の物理的スクリーン上でモニタされ得る。さらに、ウエブブラウザ、ウィジェットなどのアプリケーションでユーザー開始がするアクション２１２もモニタされ得る。

視覚キャプチャリング論理２０４は、カメラ（１つ又は複数）、スクリーンスクレイピング、及び拡張現実オーバーレイロギングなどのデータ入力のために利用される技術及び技法を指す。

コンテキストデータ及び検証２０６は、利用可能でかつ起動された場合に、適宜なセンサ（１つ以上）による、例えばユーザーの注意、周囲音、光（すなわち所望の環境パラメータ）、速度、加速度などを示すデータの取得及びロギングを指す。これは、データを視覚的キャプチャリング論理２０４に提供し、論理２０４による関連要求をモニタし、処理（満足させ）し得る。

アイテム２１０に含まれるメタデータのデータベース、フィンガープリントライブラリ、及びルールライブラリは当業者にはむしろ自明である。アイテム２１０は、例えば、アイコン、ウインドウ、テキスト、又は関連アプリケーションなどのオブジェクトを同定又は分類し、適宜の確認を返送するための要求を処理し（満足させ）得る。メタデータのデータベースは、ユーザー（デバイス）により作成、維持されてもよく、これは、ディジタルユーザーデバイスが新たなオンデイスプレー又は外部の（例えばカメラを介した）オブジェクトを同定し、その表示を、任意的な処理及びそこへの追加のために、データベース又はデータベースをホストするエンティティに提供し得ることを意味する。

マスターコントロール（コントローラ）２１６は、２０４に含まれるサンプリング又はそのパフォーマンスなどのセンサの制御、及び他方ではキャプチャされたデータ及び関連する解釈ルールの視覚キャプチャリング論理２０４からの受信を指す。

データ処理、充実化及び（サーバなどの可能性のある外部エンティティとの）同期は２１８で実行される。したがって、ローカル及び／又は外部データベース２１４及び他のエンティティは、任意的にはその目的のためにユニバーサルメタデータ・データベースをさらに活用しつつ、ロギングされたアクティビティ及び露出イベントを格納するために使用される。エンティティ２１４はブロック２１８からロギングされた情報を受信しつつ、ロギングルールの更新、様々な設定などの制御情報をこのブロックに返送し得る。

図３は、コンテンツ認識、アプリケーション／トラフィックのトレース（経緯）の検出、関与又は注意の計測の判定、及びコンテキスト認識３０３の態様を組み込んだパネルタイプ調査における本発明の利用の一般的洞察を示している。前述したように、本発明は一般に、ワイヤレス通信ネットワークに接続されたモバイルデバイス及びその他の類似のデバイス３０２に関するものであるが、デスクトップコンピュータ、及びその他のディジタル端末にも応用可能である。本発明は、例えばオンデバイスでのクライアント側計測３０８を可能にするために、ユーザーのオンライン及び／又はモバイルデバイスに配信されるアプリ／サービスに埋め込まれたＳＤＫ（ソフトウエア開発キット）の使用を介した例えば異なるパネルベース調査方法によく適している。

例えばアプリ、又はアプリ埋込型フィーチャなどの応用可能な視聴者獲得技術３０４、及びパネル化／視聴者管理ツール３０６は、応答者（パネリスト）を雇い、関連するパネルを制御するために利用され得る。データロギングのために利用されるクライアント側のディジタルデバイス、並びにサーバなどの外部エンティティは両方とも、データ用データベースをホストし、データを実際に処理する（３１０）ために活用され得る。任意的に、例えばクラウドベースの分類エンジン、及び関連するロボット工学／自動化工学３１１を含む複数のエンティティが手順に関与し得る。報告及びビジネスインテリジェンスプラットフォーム３１２は、収集され、解析され、集約され、洗練されたデータを、所望のタイプの処理後フィーチャと、報告、データベースビュー、ダッシュボードなど３１４などの出力要素ととともにエンドユーザーに提供し得る。

図４を参照すると、本発明の好適な一実施形態が４００で示されており、計測ソフトウエア／アプリケーション対インターネットサーバなどのリモートエンティティ、及びモニタされるべき異なるＵＩの機能性が強調されている。開示されているシステムは、ユーザーの経験のための不要な変更を避けるためにバッテリ及びＣＰＵ最適化を用いた（例えばスマートフォン、タブレット、又は他のコンピューティングデバイスなどの）ホスティングディジタルデバイスの背景でスマートに動作可能なオンデバイスにダウンロード可能なソフトウエアを含んでいる。このソフトウエアは、（例えばマイクロプロセッサ、マイクロコントローラ、及び／又は信号プロセッサを含む）中央処理ユニット４０２で有利に動作し、したがってデバイスの動作上の心臓部に近く、関連するユーザーインターフェース４０４はこの集中点ですべてキャプチャされ得る。デバイスは、異なる複数のユーザーインターフェース（ヘッドセット、ディジタルゴーグル、スマートウオッチなど）、又はタッチスクリーンなどの単一のユーザーインターフェースのみを有してもよいであろう。スクリーン及び／又は様々なセンサなどのユーザーインターフェースは、デバイスに固定的に（一体型ソリューション）、又は取り外し可能／機能的に装着され得る。デバイスは、例えば幾つかのメモリチップの形態のメモリ４０６を備えてもよく、及び／又は計測ソフトウエアをホスティングし、収集されたデータ、設定、様々なアプリケーションなどを格納する処理要素などの他の要素と一体化されてもよい。メモリ４０６は、任意的に、スクリーン画像（スクリーンショット又は他の視覚データ）の生成、それに続くそこからの特性の再キャプチャリング／再構築など４０８ａ、及びデータの解析に基づく行動ログのデータ分類／生成４０８ｂに関する手順によって実行されるローカルＳＷ動作４１２によって使用され得る。さらに、メモリ４０６に格納されたデータは、インターネットを介して到達可能な外部エンティティに提供されることができ、そこから受信されたデータ４１０も同様である。

計測ソフトウエアは好適には、ユーザーが所有又は使用するかもしれない他のディジタルデバイスとシステムレベルで通信可能にされ、これらの他のデバイスには計測ソフトウエアがインストールされている。

図のアイテム４０８ａを特に参照すると、デバイスが他のアクションを実行し、ユーザーが潜在的にはこれと相互作用するときに背景で動作するこのソフトウエアは、任意的に周期的にスクリーン画像をキャプチャし、オンデバイスの論理で、例えば圧縮、ディジタルフィンガープリント（例えば特定の画素、画素群、構成）、又は一般的にその中のテキスト、色及び記号（例えばアプリ又は会社のロゴ）、特定のスクリーン／デイスプレーのビューエリアの同定、及び／又は所望の詳細レベルでコンテンツの同定（カテゴリーの、又は例えばアプリの特異性）を記載する圧縮された特性ベクトル（これを「プロパティ／サービス／アプリのＤＮＡと呼ぶことができよう）のセットの提供を含んでこれらを再構築するように構成されている。

有利には、ソフトウエアはさらに、ＨＴＴＰトレース及びアプリのアクティビティロゴなどの幾つかの（他の）ログファイルを利用して決定をサポートし、スクリーンキャプチャリングによってスクリーンコンテンツの計測論理を制御するように構成されている。さらに別の実施形態では、ソリューションは、利用できるオーディオチャネル（オーディオ再生、マイクロフォン信号（１つ又は複数）など）を追跡し、オーディオマッチング目的でオーディオサンプルを記録するように構成され得る。

さらに、図のアイテム４０８ｂを特に参照すると、メーター（計測部）は有利には、他の関連データポイントを収集し、これらをユーザーの特定のアクションに関連付け、又はリンクするように構成されている。さらに、計測アプリは、（デバイスがオンである場合にそのことを示す）ハートビート信号を生成し、（例えばスクリーンがオンであることを確認する）関与、又は他の露出（例えばディジタルゴーグル内に何かが見え、ユーザーが移動していること、又はヘッドセット内で何かが聴こえ、ユーザーがヘッドセットをオンにしていること）を反映する信号を生成するように構成され得る。

計測ソフトウエアは、例えばどのデバイスが使用されているか、ユーザーがどのコンテキストで、どのモードで及び／又は何とインターフェースしているかを示す認識されたアイテム又はイベントのログファイルを作成するように構成され得る。

これらのデータベクトルは、（分類エンジン内の）参照ライブラリと統計的にマッチングされて、更にメタデータ及び分類情報を追加し得る。

実際には、選択された一連の人々が、特別に構成されたデータ収集アプリケーションをスマートフォン、タブレット、ウエアラブル技術（スマートウオッチ、ベルトコンピュータ、ディジタルゴーグル）、ラップトップ、デスクトップコンピュータ、ＴＶセットの１つ又は多くにダウンロードすることを許容され得る。

このアプリケーションは少なくとも２つの主要要素から構成され得る。第１に、計測アプリの状態などの基本情報をユーザーに示すことができ、しかもユーザーとアプリとの対話（相互作用）（例えばメーターからのデータをボタン又は他のトリガフィーチャを介してインターネットと同期させるオプション）も提供するユーザーインターフェースがあり得る。

第２に、１つ又は別個のスレッドでのデータの収集に関与し、好適には最適化されたデータの前処理を行い、かつ／又はネットワークベースのサーバと通信してそこにデータを転送するように構成された、バックグランド（背景）実行論理とも呼ばれるメインアプリケーションがあり得る。加えて、メインアプリケーションは、ネットワークからの構成メッセージを受信し、アプリが最初にインストールされる際にユーザーの登録を容易にするように構成され得る。

メインアプリケーションは好適には、さもなければメインアプリケーションが非アクティブに切り換わる可能性があるいずれかの技術的処理又はユーザーの行動に耐性があるように設計される。したがって、メインアプリケーションは、メインアプリケーションが実行中であるかとうかをチェックし、実行中でない場合は、それを再初期化してメインアプリケーションがバックグランド（背景）でのアクティビティに戻り得るようにする別個の処理を開始できるウオッチドッグのようなフィーチャを含み得る。メインアプリケーションは好適には、デバイスがオフに切り換えられ、再びオンに戻されたことを確認するフィーチャ（１つ又は複数）を含んでおり、その場合にはメインアプリケーションは常にデフォルトとして開始される。

メータアプリケーションの最適化の実際の一例は、例えばモバイル支払いを含む、スクリーン上で行われるアクティビティ／取引の検証に関するものである。画像キャプチャリング及び関連データのさらなる再構築／認識は、特定のハードコードされた（hard-coded）、又は動的に定義されたイベントが最初に行われた場合にのみ実行され得る（例えば、支払いはすべてのアプリ及び／又はウエブサイトではなく、特定のアプリ及び／又はウエブサイトのみで追跡及び認識される）。

最適化の別の実用的な例は、ディジタルゴーグル又は他のカメラベースのアプローチで使用される場合のユーザーが所定の瞬間に何を見ることができるのかを再構築するためのデータサンプリングに関するものである。このような場合は、周囲光に関する情報（暗い場合は、サンプリングは低周波に制限されるべきである）、又はユーザーの注意（ユーザーの眼が閉じており、眠っている可能性があることが観察されると、サンプリングは低レートに制限され、かつ／又は露出に関してログされた任意のイベントが無効にされることができよう）に関する情報は、ユーザーのアクション及び実際の露出に関する情報のリアルストリームを構築するのに役立つ。

計測アプリケーションはまた、デバイスＡＰＩの動的かつ構成可能な使用によってバッテリの消費を最適化することもできる。例えば、より低い粗さのデータが必要な場合は、本発明は、これらのリアルタイムのビューを提供せずに以前のアクティビティの反映を提供するローカルにキャッシュされたデータフィールドを介して、アプリ使用特性及びアプリ名、又はウエブサイトのＵＲＬ及びサイト名を追跡し得る。 同様に、ネットワークベースのサーバ、例えば仮想プライベートネットワークが、必要なデータの幾つかを収集するために動的に利用することができ、よってそのデータをディジタルユーザーデバイスからローカルに収集する必要なくなる。

それにも関わらず、スクリーン上で起きたことを明確に追跡できるメインアプリケーションの一体的な部分があり得る。この一般的な追跡タスクは、例えば以下の３つの態様を含むと考え得る。

第１に、スクリーン電力が観察され得る。スクリーンがオフに切り換えられると、メインアプリケーションは、ユーザーが何もしておらず、又は少なくとも視覚的に、又はスクリーンに集中しては何もしていないことのログエントリを提供し得る。今日のコンピューティングデバイスは、ユーザーは実際にはこれらを使用せず、又はこれらに関与しないが、それでもなお任意の所与の瞬間に背景上で幾つかのアプリケーションを実行し得る。スクリーン電力のオブザーバは、この関与を確認し、好適には実際の関与に関わらないアクティビティをフィルタリングで除去するために使用され得る。

第２に、アクティブなアプリケーション、又はスクリーン上の他のエンティティに関する直接的な情報を提供するアプリケーションプログラミングインターフェース（ＡＰＩ）は、任意的に実質的に連続してアクセスされ得る。この情報は、前述のスクリーン電力オブザーバと共に、人々がスクリーン上で行うアクティビティのタイプ及び同定に関する、最良の場合は極めて精緻な情報を与え得る。

第３に、メインアプリケーションは、所定の頻度でスクリーンサンプリングを実行し、又はスクリーンショットを撮像するように構成され得る。これらのスクリーンショットは、デバイス内で少なくとも事前解析されることができ、幾つかの既知の形状、色、アイコン、記号、ライン、又は他の特性が観察され得る。特定の条件が満たされると、スクリーンショットは、メインアプリケーションでのローカルな、又はネットワークサーバ内でのさらなる解析のために提供される。

スクリーンキャプチャリングの使用は、幾つかの革新技術の使用を含み得る。特性ベクトルのライブラリの別個のカタログが任意的にデバイスに周期的にダウンロードされ、メインアプリケーションがこの情報にアクセスでき、例えば、選択されたアプリケーションが開かれている場合だけ動作するように、次いで例えば、スクリーンショットを周期的に実行し、例えば広く知られている画像認識ツール及びアプローチによってその主要な特性を再構築するようにスクリーンキャプチャのオブザーバを構成する処理を組み込み得る。特性のセットが出力され、これらのいずれかがライブラリと一致すると、さらに更なるアクションが行われ得る。この更なるアクションは、スクリーン上で目視できるテキストのスクレイピング（scraping）を含み得る。例えば、モバイル支払いの追跡の場合、規格化されたポップアップの検索がなされることができ、認識されると、取引の価格及び内容が抽出され、ログファイルに書き込まれ得る。

他のアプローチは、より連続的なスクリーンキャプチャリングの使用と特性の生成を含み得る。これは、例えば事前定義された幾つかの形状が任意的に実質的に連続して（その際の実際のサンプリング頻度がどうであるかは、当業者が了解するように実施形態によって異なり得る）追跡され、スクリーンキャプチャから検出され、ログされ、又はアプリケーションが各スクリーンショットから簡単な、圧縮された特性のセットを生成することを示唆する。これらのスクリーンショット及び／又はその圧縮バージョンはローカルに格納され、さらに実質的に直ちに、又は（例えばスケジュールに応じて）後で、例えばさらに解析するためにサーバに送信され得る。検出された特性又はフィンガープリントは次いで、例えば事前定義されたフィンガープリントとマッチングさせるために連続的に転送され得る。処理ユニットがコンテンツを解釈できる場合は、言い換えると、検出された特性を既知の何かとマッチングし得る場合は、その時点で、ユーザーが実際に何をしていたかを反映するようログファイルが生成される。

スクリーンキャプチャリング論理は好適には幾つかのフィンガープリントライブラリ、すなわち「ＤＮＡ」を含んでいる。これらのライブラリは、カスタムビルドされてもよく（マネージャは特定のアプリを起動し、画像認識及びフィンガープリンティング処理を実行し、使用されたアプリに関する情報／メタデータと共に、結果及び出力として、何がライブラリに書き込まれるかを確かめる）、かつ／又は生成手順は自動化されてもよく、これは、幾つかのネットワークからのロボットによるアプリ及びコンテンツのダウンロードと、それと同時的なそれらの同一性及びコンテンツの分類などの他の情報のロギング、それらの開始、及び次いでアプリケーション又はサービスの画像フィンガープリントの構築、及びメタデータとフィンガープリントのデータベースへの書き込みを意味し得る。１つのアプリケーション又はサービスは、通常はフィンガープリントとして蓋然性の高い幾つかの特性（例えば反復パターン）を有することができ、これらは後にマッチングする目的で使用され得る。

したがって、スクリーンキャプチャ技術は、(事前定義されたフィンガープリントのライブラリを用いた）ローカルモードとネットワークモード（マッチングは少なくとも部分的にネットワークサイド／ネットワークサーバ（１つ又は複数）で行われる）の両方で動作する。システム全体は好適には、計測の一部として、メインアプリケーションが好適には光計量処理のみを、又は主としてこれを実行するように設計されており、ローカルデバイス内のバッチワークを通して、又は次いでネットワークサーバ内のオンデマンド又はバッチワークを通して、マッチングアルゴリズム及び他のより精緻なスクレイピング技術を適時に、及び第１レベルのデータ収集及び画像再キャプチャリングとは物理的に別個に実行され得る。

ユーザーアクティビティの最も包括的かつ詳細なログファイルを再構築するために、プロセススレッドオブザーバのような追加のいわゆる技術的計測及び／又はそこからのデータがスクリーンベースの観測（オブザベーション）と組み合せられ得る。例えば、スクリーンオブザーバは、ユーザーが関与したか、及び／又はアクティビティ名が何であるかの検証のみ行い得るが、アクティビティの期間やタイプなどの事柄に関するより多くの情報の取得に詳細な技術的観察が必要なこともある。

上に説明したスクリーンキャプチャ技術は、例えばアプリ内、及びゲーム内取引及び支払い、広範に使用されるモバイルアプリケーションの使用及びそれらのフィーチャ（認証、支払い、アクション）などの反復的、かつ規格化された形状を迅速に認識するように特別に調整され得る。この技術はまた、例えばウエブベースの技術（ＨＴＭＬ５ウィジェット）に基づくが、従来のＨＴＴＰ要求を生成せず、例えばアプリケーション処理のスレッドを実行する技術的オブザーバによって観察されることができないアプリケーションにも有効である。

フィンガープリントの作成は比較的精緻な処理であり、特定のサービス又はアプリケーションを使用する処理から生じるスクリーンショット変更の観察を含んでいる。所定の基準に従って大幅な変更が生じると、何が変更されたのか、及び何が変更せずに保たれたのかがより徹底して調査される。静止した／変化しないオブジェクト、色、形状は、好適にはサービス又はアプリのフィンガープリントとして格納されるべきものである。これらは場合によってはテキストストリングであり、場合によってはロゴなどの簡略化された形状であり、場合によっては色のセットであり得る。機械学習アプローチを使用して効率的にフィンガープリントを作成し、シミュレートされたテストラン（又は手動テストケース）からそこに供給される大量のデータから学習するようにしてもよい。

有利には、スクリーンキャプチャと、結果として生じるフィンガープリントのライブラリとのマッチングは、エラー修正とともに、またフィンガープリントのコンテンツ内の所定量の変化を許容する処理によって実行される。フィンガープリント、特に複雑なフィンガープリントは、一致を見つけるスクリーンフィーチャと同一である必要はない。システムは、マッチングを達成するために所定の閾値を有する「最高の相関」などの決定ルールを適用し得る。

スクリーンキャプチャ技術の実施形態は好適には、デバイス内で提供され、又は開かれ／アクティブなウインドウ、又はフレームが幾つあるかを観察し、かつ各ウインドウについて別個に各々のアプリケーション又はサービスの同一性を再構築するように構成される。スクリーンキャプチャを解釈することによって、どれがアクティブなウインドウであったか（どれがアクティブでなかったか）を識別することもできる。アクティブなウインドウは、カーソル又はポインタを有し、又は他のウインドウとは異なるようにされ／異なるように見えるトップバーなどの何らかの図形識別子を有し得る。（ディジタルゴーグルなどの）機能的に装着された他のユーザーインターフェースのスクリーンキャプチャを得ることによって、大幅に変化する可能性のあるコンテンツの上にオーバーレイされるサービス及びアプリケーションについて通信する類似の反復的オブジェクトが再び同定され得る（例えばディジタルゴーグルで、システムは、人が眼で見る通常の景観上で進行する反復的コマンド及びアプリケーションの特性を観察する）。

デバイス、又はそのユーザーインターフェースの１つの状態を同定、又は検証する計測において、又はその計測により、システムは他の計測をタグ付けし、利用計測の分類を充実化するようにも構成され得る。例えば、スクリーンキャプチャ技術が、デイスプレー上に目視できるアクティビティが観察さらないことを認識できれば、本発明の選択された他のモジュール（１つ又は複数）に対して、他のすべての計測データを対応する期間について「背景の利用」としてタグ付けするように指示し得る。

同様に、本発明のスクリーンキャプチャは、「単一ウインドウのスクリーン」と「複数ウインドウのスクリーン」とを区別し、（それ単独で行うのでなければ）他のデータと共に、特定のアプリ／サービスがスクリーン上でいつアクティブに使用されて可視であるか、又は、何かを目視はできるがアクティブに使用されていないのかを記述し得る。同様に、本発明は好適には、ＨＴＭＬ５ベースのウィジェットをネーティブアプリとは別個にタグ付けすることができ、ウエブブラウザベースの利用状況を他の種類の利用状況とを区別し得る。

本発明の特定の実施形態は、異なるタイプのデータストリームを（関係の追加によって）データ収集デバイスでローカルに、又は代替としてサーバで、又は双方で、集約することを取り扱う。例えば、スクリーンキャプチャベースの観察をアプリの利用状況又は処理のスレッドログと組み合わせてもよく、又はデバイスベースの計測データがネットワークベースのデータと共に収集されてもよく、関連する関係及びタイムスタンプの利用を介して、異なるデータソースがまとめられ、又はデータストリームが集約され得る。幾つかの解析及び分類処理を適用することによって、元のデータストリームに基づいて第２レベルの、又は一般により高レベルのデータストリームが再生され得る。例えば、オンラインのプロパティレベルのユーザーアクティビティを記述するログファイルは、アプリケーション処理のスレッドログ、ＨＴＴＰデータストリーム、及び画像再キャプチャベースのイベントのログファイルの組み合わせによって生成され得る。データの組み合わせでは、互いに対比可能な別個のデータストリームを作成する意図をもってデータの動的なオンデマンド処理、又は様々な処理後アクティビティが実施され得る。

図５は、本発明による方法の実施形態の高レベルアイテムを示す流れ図５００である。

方法の開始５０２は、ディジタルデバイス（１つ又は複数）への計測ソフトウエアのインストール、及び、データ収集又は解析のために、例えばフィンガープリント又はメタデータデータベースをホスティングし、かつ、収集済みデータを格納、集約、解析、及び／又は配信のためにディジタルデバイス（１つ又は複数）から受信するための、１つ又は複数のサーバのネットワークサービス／サーバのランプアップ（強化）を組み込み得る。

データ収集手順は５０４で開始される。取得されたデータは好適には、例えば、ディジタルデバイスのデイスプレー上に示され、環境に投影され又は提示されるコンテンツ及びオブジェクトを反映するデータである視覚データを含む。視覚データは、例えば、スクリーンショットデータ、又は、デバイスのスクリーン上、又は環境中でユーザーが知覚し得る要素及びエンティティをなお反映する様々な技術データなどの他のデータを含み得る。ユーザーは、このような画像、及び可視データを自身の目で実際に知覚する可能性があり、また多くの場合は実際に知覚する公算が高いが、ユーザーの注意がどこか他に向けられ、又は様々な異なる事柄に拡散することもあるため、必ずしもそうでない場合もあり得る。データは、スクリーンキャプチャリング（スクリーンショットなど）、ユーザーのデバイス（例えばタッチスクリーン又はボタン（１つ又は複数）／キー（１つ又は複数）、受動性／入力なし、例えば視線追跡などのフィーチャに基づく焦点（カメラ）、音声／マイクロフォンデータ、移動／加速データなどのユーザー入力デバイス）との相互作用のモニタリングにより、及び、一般には、カメラ（１つ又は複数）、マイクロフォン（１つ又は複数）、加速度計（１つ又は複数）、温度計（１つ又は複数）、圧力計（１つ又は複数）、光／照明センサ（１つ又は複数）、タッチセンサ（１つ又は複数）などの入手できる様々なセンサを介して取得され得る。

５０６で、知覚された（又は実際には知覚される公算が高い、又は少なくとも可能性のある）視覚的景観は、収集された視覚データ、そしてさらには、視覚データ及び関連するパラメータ、メタデータ、様々なセンサデータ、及び、例えば、視覚データ中で検出又は同定可能な異なるフィーチャ又はアイテムを表すフィンガープリントデータのための処理ルール方法などの他のデータに基づいて再構築される。例えば、支払い／購入、広告インタラクション、ウィジェットの利用などのアクションを示すアイコン及びテキストストリングが検出され得る。本明細書で十分に説明されるように、画像認識の様々な技術が活用され得る。

したがって、ユーザーの露出、及び好適にはオンデバイス又は外部（例えばポスター又は電子看板など）広告、ウィジェット、アプリなどの見られるアイテムに対するユーザーの注意の対象（１つ又は複数）／レベルなどのあり得るユーザーの注意の様々な特性が５０８で判定される。判定結果は明らかに、入手可能な情報に基づく露出と注意の推定ではあるが、経験的テストに基づいて概して正確な結果をもたらす。

解析されたデータは、５１０で幾つかのローカル及び／又は外部ログ内に選択的に格納される。収集ディジタルデバイスの外部のデータの提供は、例えば破線を用いて示されている任意的な方法アイテム５１２によって示されているサーバエンティティによる、リモートストレージのためのワイヤレス通信／コンピュータネットワークなどの利用可能なデータ転送技術を使用した、例えば連続的／実質的に即時の、又は日程に沿ったデータ転送、集約、処理／解析、及び／又は配信を組み込むであろう。

ループバックの矢印は、ユーザーの露出及び注意の連続的、又は断続的なモニタリングを可能にするための様々な方法の実行にあり得る反復的性質を強調している。

若干の実施可能な実施形態によるスクリーンキャプチャ画像の解析の一般的フレームワークのより包括的な説明に切り換えると、多くのあるなかでブラウザ又はアプリでの支払いの追跡、ウィジェット利用状況の追跡、及びアプリ内広告の追跡などの特定のタスクに特有のスクリーンショットなどから有益な情報を抽出するための技術的基盤が提供される。

スマートデバイスのスクリーンショットを解析するアイデアは、他の代替手段の中でも特に、スマートデバイス上で視覚的場面（シーン／scene）解析（ＶＳＡ）を実施する方法として分類可能であろう。視覚的場面解析は、そのルーツを機械知覚又はコンピュータビジョンに持つ主題であり、目的はパターン認識と同様であるが、範囲は異なっている。

目標は、画像からパターンだけではなく場面（シーン）全体の高レベル情報を抽出することである。スマートディジタルデバイスのスクリーンショットのコンテキストでは、このような情報は、スクリーンが視聴者に何を表示しているのかを自動的に、押しつけ（intrusion）無しで理解するために、スクリーンに提示されるテキスト及びアイコン、又はその他の図形の取得を組み込み得る。このような情報は、様々な種類のデバイス−ユーザーの相互作用を表現するのに有用であり、多くの会社、及び多様な部門にわたって高い技術的、商業的価値を持ち得る。

このフレームワーク使用ケースの一例は、特にアプリ内でユーザーがどの分類の広告をクリックするか、及び（例えば「×」ボタンを押して）ユーザーが閉じ、又は無視した広告はどれかをアクティブに追跡することによって、ユーザーの好みに関するアクティブなフィードバック提供することを含んでいる。このフレームワークの多様性を説明するための別の例は、アプリ内でなされた支払いがゲーム内での購入を意味するのか、又は例えばオンラインウオレットによって支払いがなされたのかの追跡及び確認を含み得る。したがって、本発明が有用であると判るシナリオ（状況）の数は多く、スマートデバイスのタイプの数の実際上の増加とともにのみ増加するであろう。

スクリーンキャプチャ画像からの有用な情報抽出の一般的な手順は、例えば、実行されるべき分析及び／又はユーザのアクティビティのタイプにより決定されるレート（速度）でのスマートデバイスからのスクリーンショットの取得で開始され得る。したがって、スクリーンキャプチャリングのレートは、利用基準に従ってオンライン支払いなどの重要なアクティビティを追跡すべき場合は、ユーザーがスマートデバイスで無為にブラウジングしている場合、又はスクリーンはオン状態にあるが、ユーザーがデバイスと全く相互作用していない場合のレートと比較して高くし得る。レートは、各々が追跡されるべき特定の事例又は行為に対応する所定の価値のセットから選択されることができ、又はオンラインで決定され得る。

オンラインへの適応には、変化のために連続する画像間の絶対差が取られ、変化について閾値比較され、解析される、「差分撮像」として知られるやや直感的な技術が用いられてもよい。（例えば低いデフォルト値として初期設定された）スクリーンキャプチャのレートが、連続する２つの画像間の差がほぼブランクである（すなわちスクリーンショット間の差が極めて僅かである）場合は、現行のレートが保たれ、又は低減され、そうでない場合は、レートは上昇され、解析が反復される。（適応アルゴリズムによって）レートが上昇されると、バッテリ使用量を最適化し、消費を最小限にする低いデフォルト値に戻る前に、所定時間だけ同じ状態を保つ。図６に幾つかの例示的画像が示されており、図では各段６０２、６０４に３つの画像があり、最初の２つは連続的なスクリーンキャプチャであり、３つ目の画像は差分画像である。

最初の段６０２は、スクリーンは実質上アイドル状態であるがオンである場合を示しており、ここでは２つのスクリーンショット６０６、６０８間の差は最小である（この場合の唯一の変化はクロックデータの変化によるものである）。一方、第２の段６０４は、ユーザーがアクティブであり、スクリーンショット６１２、６１４間の差が多い場合を示している。計測基準は、
Ｃ＝（＃ｐｉｘｅｌ＞Ｔ）／（＃ｒｏｗ＊＃ｃｏｌｕｍｎ） (1)
などの分数変化を査定するように決定され得る。

Ｃが有意に大きい場合は（閾値、例えばＣ_{ｌａｒｇｅ}を越えている）、変化は２つの画像間で変化が生じたと言え、そうでない場合は変化が生じたとは言えない。

Ｃ及びＣ_{ｌａｒｇｅ}の定義に沿って、スクリーンショットを介するスクリーンキャプチャリングのレートＲは、例えば秒で定義され得るｂ＋ｄであり得る。最初は、Ｒ＝Ｒ_{ｄｅｆａｕｌｔ}であり、△Ｒのステップで上昇する。また、レートをＲとすると、連続するスクリーンショット間の時間差は（１／Ｒ）秒である。閾値Ｃ_{ｌａｒｇｅ}及びＴ、並びにＲ_{ｄｅｆａｕｌｔ}と△Ｒの値はテスト画像を用いて実験的に決定され得る。

これらの定義を念頭に置いて、次にスクリーンキャプチャリング制御のための図７の流れ図に示されているより完全なアルゴリズムが精査され得る。

このように、アルゴリズム７００は７０２でＲをデフォルト値Ｒ_{ｄｅｆａｕｌｔ}と整合（又は一致）させるように設定することによって始まる。この値は、ユーザーのアクティビティに関する十分な情報を取得し、しかも（スクリーンショットの取得はデバイスのバッテリを消費するので）例えばバッテリへの要求過多とならないように適宜に構成されるべきである。スクリーンショットが７０６、７１２で異なる後続のサンプリング点でキャプチャされると、７１１で連続的なスクリーンショット７１０、７１２から差分画像７１４が構築され、７１６で解析される。差が有意である場合（すなわち、例えばパラメータＣの値が高い場合）は、レートＲは７０８で値△Ｒだけ増分され、処理は新たな値に固定された値Ｒで反復される。そうでない場合は、７０４で古い値又はデフォルト値が使用されてもよく、すなわち、用いられる基準に従って差分値がもはや有意ではない場合は、レートＲは増分されない。

購入／支払いが行われたことを確認するために順次スクリーンショットを迅速にキャプチャすることが重要な購入／支払いのようなかなり重要な様々の行動イベントの追跡は数秒だけしか持続しないことが予測され得るため、大幅に上昇する可能性のあるレートＲは、過度のバッテリ消費を防止するため、プリセットされた期間を置いた後、デフォルトレートに戻される。

スクリーンキャプチャリングのレートを適応的に決定するオプションとは別に、電力をより節減するオプションは、様々な異なるシナリオでプリセットされたレートの値を用い、かつ検出された各々の特定のシナリオに応じた適宜のレートを選択することであり得る。例えば、ユーザーによるアイドルブラウジング、購入の追跡、及び／又はアプリの性質に応じたアプリ内相互作用などの異なるシナリオに、スクリーンキャプチャレートの専用のプリセット値があってもよいであろう。

ユーザーとデバイスとの様々な形態の相互作用を追跡するため、例えばスクリーンキャプチャ画像がホームスクリーン又はメニューの画像なのか、又は何らかのアプリから取得された画像なのかを知ることが必要であり得る。この情報が判明すると、画像解析処理は、特定のフィーチャの存在を探すために極めて特定の方向で継続し得る。例えば、ホームスクリーン上では、支払い追跡メカニズムは起動されず、アプリ内では、ウィジェット利用の追跡は開始されず、何らかの他の検出処理が開始される。

この情報は例えば二通りで取得されることができ、第１の方法は（計測ソフトウエアを使用した）ディジタルデバイスから取得されたメタデータによるものである。このタイプのアプローチに加えて、スクリーンショットがホーム／メニュー画像であるか、又はアプリ内画像であるかを簡単に判定する新規のアルゴリズムが利用されてもよい。以下に図８を参照してこのようなアルゴリズムの実施形態を概観する。

ホーム／メニュースクリーンは典型的には、アプリ内からのスクリーンショットが可変的プロパティを有するかもしれないのに対して、ホーム／メニューのスクリーンショットのプロパティはより限定的で定義されており、したがって学習され、後に検出され得るため、アプリ内スクリーンショットとは異なっている。

ホーム／メニュービューは、例えばバッテリバーの存在とは別に観察され得る多くのアイコンの存在を示すことが多い。さらに、ユーザーがどれだけ多くのメニューウインドウを検索できるかを示すために、例えば以下に「メニューインジケータ」と呼ばれる小さく、白く（埋められた、又は埋められていない）、そして丸いオブジェクトなどの専用の要素が、例えばスクリーンの上部又は底部の中央に表示され得る。異なるデバイスの及びプラットフォームから様々なスクリーンキャプチャを観察すると、アイコン及び／又はメニューインジケータの存在が適応されてもよく、メニュー／ホームスクリーン画像の一般化可能な特性プロパティが利用され得る。したがって、次にホーム／メニューとアプリ内のスクリーンキャプチャとを区別するためにメニューインジケータの位置を特定し、マッチングさせる方法が提示されるが、その理由は、通常はそれがアイコンの位置特定及びマッチングよりも大幅に迅速で、コンピュータ的に軽いからである。

図８は、メニューインジケータ８０２ａ、８０２ｂ、８０２ｃ、８０２ｄの存在をそれぞれ明確に示す、異なるデバイス（モバイル、タブレット）及びブランド（ソニー（登録商標）、サムソン（登録商標））から撮影された４つのスクリーンキャプチャ８０２、８０４、８０６及び８０８を含んでいる。

勿論、現代のデバイス上のホーム／メニュースクリーンは通常、幾つかのメニューインジケータを含んでいる。メニューインジケータは、通常は画像内の４つのエリアのうちの１つに位置しているが、例えば丸、又は（エッジに丸みが付けられ、又は付けられていない）矩形であり得るオブジェクトからなり、又は少なくともこれを含み得る。

図９は、スクリーンキャプチャ９０２からのメニューインジケータの位置の特定に関する関心対象である可能性のある４つのエリア９０４、９０６、９０８、９０１を示している。これらのエリアは基本的に水平方向の中央にあり、スクリーンの絶対的中央部は除かれる。

図１１は、メニューインジケータの追跡などの形状のためのアルゴリズムの実施形態の流れ図を示している。このアルゴリズムは、取得１１０２されたスクリーンショット画像のこれらの各エリア９０４、９０６、９０８、９０１内の特定の形状（丸又は矩形）を追跡し、これらを報告するように構成され得る。形状がメニューインジケータ用に設定された基準に適合する１つのエリアが存在している場合は、スクリーンショットがホーム／メニュースクリーンショットである公算が極めて高い。

スクリーンショットが利用できるようになるので、処理は、例えばフィルタリングを介した前述の画像エリアからのエッジの抽出１１０４を介して、その後、エッジ画像を形態学的事後処理１１０６（例えば閉鎖、穴埋め）にかけ、接続コンポーネント解析を用いて境界ボックスを抽出し、このような各境界ボックス内の形状が、その例が図１０に１０００で示されている一般に生じるメニューインジケータの形状のテンプレートのいずれかに適合するか否かをチェックするステップに進み得る。

形状マッチング１１１０は、コンピュータビジョンで比較的に広く研究された分野であり、良好なマッチングを達成するために自由に使える多くの方法がある。この場合、形状は記述が比較的単純で容易であるため、この場合に合理的に選択される１つの実施可能な方法は、境界ボックス内の形状のフーリエ記述子をテンプレートのそれにマッチングさせることであり得よう。フーリエ記述子は、高速フーリエ変換を用いて高速計算され、スケーリングに不変であるようにし得る。潜在的マッチングの形状の位置は１１１２で格納される。

さもなければテンプレートに間違えられるかもしれない文字「Ｏ」などの多かれ少なかれ類似した形状に対してアルゴリズムをよりロバストにするため、以下のように１つ以上の追加のチェックが行われてもよい。すなわち、メニューインジケータ内のオブジェクトのようなオブジェクトが（形状マッチングにより）検出されると、メニューインジケータは単一オブジェクトであることが稀でで、等間隔であることは極めて多いため、オブジェクトの数が１（又は２）を越えるか否か１１１４、規則的間隔であるか１１１６、そして、互いに接近しているか／同じスクリーンエリア内か１１１８がチェックされる。これらのチェックが満たされると、１１２０で関連エリアがメニューインジケータを含んでいると言える。そうでない場合は、スクリーンショットは、１１２２で通常はアプリ内である別のタイプを表すと見なされる。

本発明による全体的なスクリーンキャプチャ解析フレームワークが、本明細書で考案された方法に基づく図１２に示されている。「コンテンツ解析」と呼ばれる最終的なステップ１２０２は、実施される解析のタイプに依存する。現在世界中で使用されているスマートディジタルデバイス（電話、タブレット）の場合は、これらのタスクは、流れ図で明示されているいくつかのタスク（すなわち、支払い／購入の追跡など）の１つであってよい。（グーグルグラスなどの）将来有望なデバイスの場合は、モデルは、（グーグルガラスを通して見て）ユーザーがどの物理的広告に焦点を当てているか、及びこれらの広告の位置決めがどのような差を生じるのかなどのユーザーの行為を計測するためのアイ−トラッキング（eye-tracking）にからのユーザーの注視情報などの情報を容易に統合ことができる。他のいずれかの形態の統合可能な情報を用いて、又は用いずに、あらゆる種類の入力キャプチャ画像を解析するための一般的フレームワークの示唆は、現在と将来のメディア調査及び他のアプリケーションにとって有益である。

フレームワークをどのように使用するかを実証的に説明するため、図１３を参照してより特定された例を以下に示す。提案されているフレームワークとそのアルゴリズムを使用して、ユーザー‐デバイスの相互作用の特定の様相、すなわち例えばアプリ内及びブラウザベースの購入の追跡、モバイル支払いの追跡、及びウィジェット利用状況の追跡などをモニタしたいとする。いろいろな目的の中で、ソフトウエア開発キット（ＳＤＫ）の侵入なく、購入を追跡し、行われた購入の出力ログを作成／送信するためにスクリーンショットを撮り、これらを処理するカスタムビルドのアプリを使用するだけで、例えば一般に１００万ドル産業であるユーザーによって行われるアプリ内購入を追跡し得る。

スクリーンショットが取得され、１３０２で（ホーム）メニュー又はアプリ内／ブラウザ画像に分類されると、スクリーンショットは、アプリ内で、又はｅＢａｙ（登録商標）及びアマゾン（登録商標）などの人気ウエブサイト内で行われる購入又は支払いをアクティブに追跡するアルゴリズムを使用して処理される。

１つの基本的なアイデアは、ユーザーを手引きする視覚化された特定のフィーチャがあることが多いため、購入／支払手順の開始で利用できるようになる情報を用いることである。これらのフィーチャは、ポップアップウィンドウの出現、ボタン又は「購入」又は「買う」の様なワード（通常は、ユーザの選択した原語）を含む。これらのフィーチャは、テンプレートのマッチング、輝度レベル、エッジ抽出、及び／又は光学文字認識などの利用できる画像処理ツールを使用して極めて迅速に、かつ高い精度でスポッティング及び分離されることができる。

このようなフィーチャが１３０４で検出され、支払い／購入処理が確認されると、アイデアは、支払い／購入処理の完了に続くスクリーンショットを観察することである。ユーザーが成功裏に処理を完了すると、支払い属性のログ（例えば集約ログ内の新たなエントリ）が確立／更新され、そうでない場合は、購入は中止したとみなされる。

スクリーンキャプチャ画像がメニュー／ホームスクリーンの画像である他の場合は、ウィジェットの追跡メカニズム１３０８が起動され得る。場面解析アルゴリズムが取り組まなければならない検索空間が広いため、ウィジェット利用状況の追跡は困難である。追跡は特に、ユーザーのホームスクリーンショット内に存在するウィジェット又はアプリに関する追跡であることがわかっているが、可能性のあるウィジェット又はアプリの数は、数百又は数千程度であり、したがって探すべきフィーチャは少なくともその数程度ある。

一般に、図１３の流れ図は、購入、ウィジェット利用パターン、及びユーザーのアイコンの好みを追跡する方法を開示している。処理は、画像スクリーンショット内のいわゆる「キーポイント」の検出によって始まる。キーポイントは本質的に画像内の重要領域である。これらの領域が検出されると、アルゴリズムは各領域をテキスト部分と、図形部分とにセグメント化する（存在する場合は）。テキスト部分は、光学文字認識を用いて解読され、一方（アイコンである可能性があり、又はアイコンを含み得る）図形部分はアイコンのレポジトリとマッチングされる。

１３０８ａでウィジェットがスクリーンショット内に存在するか否かを判定するために、テキスト／図形に関する情報が用いられる。ここで異なるウィジェットについてのデータが適用され、他の決定基準に加えて、又はその代わりに判定結果と比較されてもよい。ウィジェットが存在する場合は、ユーザーがウィジェットで費やした時間（又はウィジェットへの関与）がログされ得る。

ウィジェットが存在しない場合は、１３１０でユーザーの好みに関する関心情報がなおログされ得る。詳細には、スマートフォンのメニューは、ユーザーの好みによって、又は利用量に応じてアルファベット順に並べられたアプリアイコンを有している。アプリアイコンの順序（順序付け）をチェックすることが可能であり、順序がアルファベット順ではない場合は、順序は特定のアプリへのユーザーの好みにかなり一致するとほぼ想定できる。この場合は、どのアプリがユーザーに人気があり／どのアプリをユーザーが好むかが分かる。

フレームワークは、例えばスクリーンキャプチャリングを実行するクライアントのデバイスのバッテリ寿命が重要である場合に、パフォーマンスに関して最適化され得る。詳細には、フレームワークは、スクリーンショットがクライアントのデバイスから撮られ、次いで処理されるように進行する。処理は、デバイスと、クライアントのネットワーク、通常はインターネット接続を用いて画像がクライアントのデバイスから送信され得るサーバの両方で可能である。これらの可能性の各々には利点と欠点がある。デバイスでの処理は、計算のためにデバイスのメモリの使用を意味し、使用されるアルゴリズムがデバイスメモリに最小限のストレスしかかけないように最適化されてもなお、バッテリは消費され得る。逆に、サーバでの処理は迅速でフレキシブルであり、スクリーンキャプチャ画像を解析するための多くの高度のアルゴリズムが利用（紐付け）され得る。しかし、これはサーバへの過度の画像送信が必要になることがあり、それによって、例えばユーザー（デバイス）のインターネット帯域幅を消費することになろう。

中間的なソリューションは、圧縮され、符号化された形態のスクリーンキャプチャ画像をクライアントのデバイスからサーバに送信することによって達成可能であろう。ここで実行されるアルゴリズムは、例えば図１４に示されているフィーチャを有し得る。

処理／解析は、より大きい入力画像１４０２を、例えばその元のサイズの半分にダウンサンプリングすることによって始まり得る。このステップ１４０４は、有益情報を保存するために入念に実験される。着信するスクリーンキャプチャ画像１４０２解像度が極めて高いことがあるため（例えばスマートフォンでは約１９２０×１２００、またテブレットでは２１００×１９２０）、適正なダウンサンプリングは有用な情報のほとんどを依然としてほぼ無傷のままに保つ。用いられる基準に従って当初から解像度が低いスクリーンショットについては、このステップは回避されてもよい。

次いで、可能な２５６^３の色がここで数が大幅に減少された色中心、例えば２０の色中心によって表されるように画像が量子化１４０６される。色中心がすくなすぎると、画像は偽輪郭を生じる場合があり、大きすぎるクラスタアルゴリズムは収束するのに時間がかかり過ぎる。実験により、２０の中心が多くの使用で満足できる妥協であることが判明した。処理結果の例が図１５に示されており、左側には元のスクリーンキャプチャ画像１４０２が示される一方、右側には再構築画像１５０４が示されている。重要な輪郭は、再構成画像１５０４において、色中心の数が減少してもなお無傷である。

量子化され、再構築された画像が取得１４０８されると、この画像はランレングス符号化１４１０（ＲＬＥ）などの符号化がなされ、例えば（テキスト）ファイル１４１２として格納され得る。

したがって、スクリーンキャプチャ画像は、本来必要な帯域幅の一部だけを使用してディジタルクライアント／ユーザーからサーバなどのリモートエンティティに送信され得る。同様に、ストレージ（記憶）能力の必要性が低減する一方、本フレームワークの情報抽出能力は失われない。

購入追跡１３０９に関するより詳細な例に切り換えて、そのタスクについての１つの実施可能な実施形態を開示している図１６を参照する。

図面は、場合によってはローカルとサーバサイドのデータ処理能力との組み合わせで、特別に構成された背景実行計測ソフトウエアが、購入時間、購入のコンテキスト、購入に関する金額、及び購入取引の対象を含むモバイル及びインライン支払い取引を認識し、スクレイプし、解釈するためにどのように構成されているかを説明している。

追跡の観点から、例えばモバイルアプリケーションでの支払いは、少なくとも２つの範疇、すなわちアプリ内購入と非標準の購入とに区分され得る。アプリ内購入は、販売者に関わりなく同じ方法で検出され得る標準化されたイベントをデイスプレー上に常に生成するオペレーティングシステムのマーケットプレースを介してアプリケーション内で行われる支払いである。

他の購入は、例えばウエブサイトを介して、アプリケーション内で、又はＳＭＳ（ショートメッセージ）を介してさえ行われ得る。これらの購入は、通常はデイスプレー上に標準化されたイベントを生成しないが、それでも特定の販売業者からの購入、又は購入一般の外観やキーワードに関する知識を用いて検出され、ログされ得る。

支払い追跡システムは、計測アプリケーションが、購入することを含むかもしれないアプリケーション又はウエブサイトがデイスプレー上にあることを認識したときに実行されるように設計され得る。システムはまた、関連するイベントを見失わないように、購入がデイスプレー上で見られることを何かが示唆すると、計測アプリケーションに対してスクリーンショット間の時間間隔を短縮するように要求することもできる。

アプリ内購入によって生成されるデイスプレー上のイベントは、例えば購入される製品の名称及び価格、及び購入するために押す必要があるボタンを含むデイスプレーの中央の特別の外観のウインドウなどからなり、又は少なくともこれを含み得る。オペレーティングシステムに応じて、ボタンを押した後、パスワードが要求され、購入を確認するテキストが表示され得る。ボタンが押されないと、取引はキャンセルされ、ウインドウは消える。ウインドウの外観は、例えばウインドウの透明性によりアプリケーション間で異なることがあり、少なくともウインドウ外のデイスプレーのコンテンツは変化する。

少なくともアプリ内購入を検出するシステムは、例えば以下の２つのモジュール、すなわち、セグメンテーションモジュール１６０１とＯＣＲ（光学文字認識）モジュール１６０５とを組み込み得る。第１のモジュールであるセグメンテーションモジュール１６０１の目的は、アプリ内購入に関連するウインドウがスクリーン上にあるかを検出し、その寸法を判定することである。ウインドウが検出されると、第２のモジュールであるＯＣＲモジュール１６０５は、検出されたウインドウが実際に購入ウインドウであるかを検出し、購入された製品の名称と価格を抽出する。

購入は同様に確認され得る。すなわち、最初に検出されるウインドウの形状が検出され、次いで確認ウインドウに関連するキーワードが検索される。したがって、システムの構造は以下を導入している：

セグメンテーションモジュール：輝度テスト１６０２：購入は、スクリーン上にウインドウが存在し得るかを迅速に判定するサニティテストから始まる。この部分のための入力は、スクリーンキャプチャを含んでもよく、少なくとも１つの出力は、購入ウインドウがありそうか否かを示す真理値であってよい。

セグメンテーションモジュール：ウインドウの形状検出１６０４：この部分は、スクリーン上にウインドウの形状があるかを検出し、その寸法を判定する。入力はスクリーンキャプチャを含み、出力は２セットのポイント、すなわち第１のセットでのウインドウの位置と寸法、及び第２のセットでキーワードを含むボタンの位置を含む。

ＯＣＲ：キーワード検出１６０１：この部分は検出されたウインドウの形状内のキーワードを検索し、例えば入力としてボタンだけを含むサブ画像を取得し、キーワードが見つかったか否かを示す真理値を出力する。

ＯＣＲ：名称及び価格抽出１６０８：ここでは、製品の名称と価格とが抽出される。入力は、購入ウインドウを含むサブ画像を含み、出力は製品の名称及び価格を含み得る。

購入の認証１６１０は、購入が完了したか、又はキャンセルされたが判定されるまで、異なるキーワードに焦点を当てたプログラムフローを介して、例えばさらなるスクリーンショットを取得することによって購入が完了したことを認証する。

セグメンテーションモジュール１６０１に関しては、例えばデイスプレーの中央のエリアの平均強度値とデイスプレー全体の平均強度値を設定された閾値と比較することによって輝度テスト１６０２が実施され得るが、それはウインドウがデイスプレー上に存在すればこれらの値がある特定範囲内にあると考えられるからである。例えばアンドロイド（登録商標）のプラットフォームなどの場合のように、ウインドウが透明ではなく、異なる購入ウインドウ間の見かけに変化がない場合は、デイスプレーの中央の平均強度値を計算するだけで充分である。

輝度テスト１６０２は、エネルギ節減にも利用可能である。信頼できる輝度テストにある特定の画素からの統計を計算するだけで充分である場合は、先ずこれらの画素がシステムに理解可能なフォーマットに変換され得る。次いで輝度テストにパスすると、残りのスクリーンキャプチャが変換され、処理され得る。

ウインドウの形状検出１６０４は多くの方法で実装されることができ、例えばｉＯＳ６（登録商標）でのウインドウの形状検出方法は、図１７を参照すると、閾値処理の後に接続コンポーネント解析が行われる；閾値処理１７０４の前に、フレームの輝度をより高め、フレーム外の画素をより暗くするために、１７０２でスクリーンキャプチャがアンシャープマスクで好適に鮮鋭化される。閾値処理１７０４の後、強度値が高いスクリーンキャプチャ内で、ウインドウのフレームは二値画像に留まり、購入ウインドウ外のエリア内の他のどの二値オブジェクトにも装着されない。次いで、二値オブジェクトの境界がトレースされ、好適にはオブジェクトごとに以下の記述子の１つ以上が計算１７０６される：
・矩形性：輪郭の面積と境界矩形の面積の比；
・伸長度：境界矩形のより長い頂点とより短い頂点の長さの比率；
・スクリーンの中央への水平及び垂直距離。

次いでこれらの記述子は、設定閾値と比較される：例えば矩形性は所定の閾値よりも大きくなければならず、伸長度は他の所定の閾値よりも小さくなければならない。ウインドウは通常は水平方向ではスクリーンの中央に位置しており、よって、スクリーンの中央までの水平距離は所定限度以下である必要がある。垂直では、距離は、例えばスクリーンの高さの特定のパーセンテージ未満である必要がある。また、境界矩形の幅は、スクリーンの幅よりも狭い必要がある。これらの条件のすべて又はほとんどを満たす形状が見つかると、前述したと同様に、例えばキャニーエッジ検出及び接続コンポーネント解析によって形状の右下エリアから購入ボタンが検索１７０８され得よう。

アンドロイド（登録商標）プラットフォームでは、ウインドウの形状を検出する１つの効率的な方法は、領域成長の形態を用いることを示唆している。購入ウインドウの背景の強度は通常は高く、ほぼ均一であり、ウインドウはデイスプレーの中央に位置しているため、ウインドウは以下の方法を用いて検出され得る：

スクリーンの中央から出発して、強度が所定限度（例えば１）を超えて変化するまで画素が左右にトラバース（測定／掃引）される。見つかった強度の不連続性が対称位置にある場合は、次いで５又は他の所望の数の画素だけ中央により近い画素の上下の画素が、強度が再び変化するまでトラバースされる。位置が再びほぼ／実質的に対称で、ボタンが以前の方法でウインドウ内から見つかった場合は、ウインドウの形状が検出される。

図１６のＯＣＲモジュール１６０５に戻ると、また、今日のスマートデバイス、すなわちアンドロイド（登録商標）及びｉＯＳ（登録商標）の両方の主流のオペレーティングシステムの観点から、ウインドウの形状検出１６０４で検出されたウインドウの形状が、ウインドウの形状が実際の購入ウインドウ１６０６であることを示す語について検索され得る。これは、ボタン内の領域でＯＣＲを実行し、その結果を購入取引に関連するキーワード、例えば英語の「Ｂｕｙ」とマッチングさせることによって行うことができよう。正しいキーワードを知ることができるよう、オペレーティングシステムの言語は、メタデータとしてスクリーンキャプチャに添付され得る。幾つかの実施形態では、領域は好適には、非テキスト画素を抑制し、テキストを強調するために高い強度値で閾値処理される。

ｉＯＳ（登録商標）などの幾つかのオペレーティングシステムでは、購入された製品の名称及び価格は、ウインドウ内のより長いストリングのサブストリングである。例えば、英語のオペレーティングシステムでは、ストリングは「Do you want to buy one N.N for XＸ?（Ｘで１つのＮ．Ｎを購入したいですか）」の形式のものである場合が、ここでＮ．Ｎは名称を、またＸは価格を意味する。このようにして、最初のストリング「buy one」の出現と、最後のストリング「for」の出現を検索し、これらの２つのサブストリング間のサブストリングを抽出することによって名称が抽出され得る。値段は、同様に、最後の「for」と「?」の出現の間から検出され得る。

例えばアンドロイド（登録商標）では、製品の名称はウインドウの左上エリアに、また価格は右上エリアに見つけることができる。したがって、これらはこれらの領域で別個にＯＣＲを実行することによって簡単に抽出され得る。

名称と価格の抽出１６０８に続く購入認証１６１０に関しては、プラットフォームに依存するスクリーンのコンテンツだけを使用して購入が完了したことを確認する絶対的な特定の手順がないかもしれない。ユーザーが、購入前にパスワードが要求されるように設定した場合は、後続のスクリーンキャプチャがパスワード要求されるウインドウを含んでいれば何かが推論され得る。このウインドウは、それがスクリーンの上半部を占め、下半部は仮想キーボードのために確保されていることを除けば、外見は購入ウインドウと極めて類似している。したがって、前述した方法は、このウインドウを検出するために使用され得る。しかし、購入は、ユーザーがボタンを含むデイスプレーエリアをタップするか否かを観察することによって確認され得る。

しかし、例えばアンドロイド（登録商標）では、購入はスクリーン上の情報を用いるだけで確認され得る。ユーザーは再び、パスワードが要求されるオプションを有効にしていることがあるが、その後、又はそれがない場合でさえも、購入が完了したことを示すテキストを含むウインドウがスクリーン上に表示され得る。それに加えて、確認ウインドウの前に、購入処理を示す小さいアニメーションだけを含む空のウインドウが表示され得る。パスワードが要求されている時に、仮想キーボードはスクリーンの下半部を占め、購入認証処理に関連する残りの種類のウインドウでは関連する情報が存在しないため、購入を認証する際に、スクリーンの上半部だけで通常検索に十分である。

購入が認証されると、１６１２で以下の情報がログに書き込まれ得る：
・アプリケーション名
・製品名
・製品の価格
・通貨、及び／又は
・時間と場所

非標準の支払いに関して、非標準の支払いの検出には、特定の販売業者に関する、又は一般の購入イベントに関連するオブジェクト及びキーワードのライブラリを用いる必要がある場合がある。購入イベントの外観が経時と共に変化し、新たな販売者が出現し／古い販売者が消え得ることを考慮すれば、ライブラリは設定可能でなければならない。

ライブラリは、異なる種類のオブジェクト用記述子を組み込むことができ、又は場合によってはテンプレートマッチングに使用されるオブジェクト自体のテンプレートが格納され得る。キーボードは、別個に格納され、又は何らかのオブジェクトとリンクされ得る。例えば、何らかのキーワードが特定の形状内、又はその近辺に見出されるべき場合は、そのキーワードが形状の記述子とリンクされ得る。次いで、形状が見つかればキーワードの存在が判定され得る。

例えばインターネットショップを介して非標準の購入を行う際にユーザーによってなされる行為は、通常は特定のパターンを辿る：先ず、ユーザーは販売業者の販売製品をブラウジングし、仮想ショッピングのカートに購入予定のアイテムを追加する。ユーザーの準備ができると、ユーザーはカートの内容が示されるレジに進み、ユーザーが購入手続きを続行して終了させるか否かが質問される。次いでユーザーは連絡先及び支払い情報を入力し、購入を確認し、その後に販売業者からの確認メッセージが続く。確認は、購入製品、その価格及び配送の住所を含む購入の概要も含むみ得る。

上記のパターンを考慮に入れて、インターネットショップでの購入の追跡は、基本的な場合は、ユーザーがデイスプレー上で購入の概要を見ているときを検出することによって行われ得る。これは、デイスプレー上の特定のイベントに関連する特定のオブジェクトとキーワードとを検出し、次いでＯＣＲを用いて購入製品とその価格を含むデイスプレー上のテキストを抽出することによって行われ得る。別の方法は、ユーザーがデイスプレー上の仮想ショッピングのカートの内容を見ているときを検出し、次いでその後ユーザーが確認メッセージを見るか、ウエブサイトから退出し、又はアプリケーションを閉じるまでにユーザーが何を見ているかを観察することである。

勿論、販売者のなかには、購入が一回のクリック／コマンドだけで行うことができ、又は購入イベントが前述したものと非常に異なる特殊化された購入環境を有しているため、幾つかの特定の場合に別のアプローチが必要になる。

システムの複雑性を高めることによってユーザーの消費行動からのより多くの情報が抽出され得る。例えば、ユーザーがどの製品に目を留めたか、どの部門を訪れたか、及びカタログを検索する際にどのキーワードを用いたかが認識され、ログされ得る。さらに、ユーザーが購入を行う前に類似製品の競合するインターネットショップをブラウジングしていたかがログされ得る。これらの追加には、製品を分類する必要があり、それには別個の参照ライブラリが必要である。

スクリーンキャプチャリングのフレームワーク全体を拡張することによってより多くの情報が抽出され得る。例えば、ユーザーが何らかのデバイス上で、又は、例えばディジタルゴーグル、又は他のウエアラブル技術のカメラを用いて現実世界の広告への露出もが追跡されれば、現実世界においてさえ、購入製品の広告を見たか否かが判定され得る。さらに、ユーザーがソーシャルメディア、又は従来の電子メディア、又はさらには現実世界で製品について読み、又は見たか否かも判定され得よう。

購入の追跡を特に目標にしないコンテンツ解析の分野に移ると、以下にウィジェット追跡１３０８の単なる例示的な観点から実施可能な実施形態が提示される。ウィジェットは現在使用されている従来のツールキット、又は方法によっては十分に追跡できないため、全面的に記載される実施例はウィジェット利用状況のモニタリングに関するものであるが、列挙される方法は、現在（電話、タブレットのスクリーンショットなど）、及びおそらくは将来（例えばグーグルグラス（登録商標）のスクリーンショット）の基本的にすべての種類の画像のコンテンツの記述に容易に拡張され得る。

「ウィジェット」は、ユーザーがアプリケーション及びオペレーティングシステムとインターフェースできるようにするＧＵＩ（グラフィカルユーザーインターフェース）の一部のための総称である。ウィジェットは情報を表示し、ユーザーが幾つかの方法で行動するように誘い、それによって相互作用を促進する。例えば画像解析（Image Analysis）を用いたウィジェットの利用の追跡によって、クライアント毎のウィジェット利用の継続時間を推定することが可能になる。

図１８に、後に認識のためにフィーチャのライブラリとマッチングするために、任意の着信入力スクリーンショット画像のフィーチャ、又は「フィンガープリント」を抽出するために使用され得る画像コンテンツ解析処理全体の概要が示されている。特にウィジェットの同定及び追跡を考慮に入れると、抽出されたフィーチャがウィジェット特有のフィーチャだけのライブラリとマッチングされる最後のステップ以外は、ステップ（複数）は同じままでよい。

スクリーンショットからフィーチャを抽出する手順は複数の段階、すなわち、（ｉ）撮影されたスクリーンキャプチャ画像１８０２の関心領域１８０４へのセグメンテーション、（ｉｉ）（必要な場合は）処理全体のスピードアップのためにテキストエリアの非テキストエリアからの分離、（ｉｉｉ）光学的文字認識（ＯＣＲ）及びストリングのマッチング１８１０、１８１４、１８１６、（ｉｖ）アイコン認識１８０８、１８１２．及び（ｖ）コンテンツ検出１８１８及びロギング１８２０（すなわちこの特定の例ではウィジェットの同定）を含んでいる。

異なるタイプの追跡では、最後から二番目のステップ以外は、ステップのすべてが実際に同じままでよいことに留意されたい。

コンピュータビジョンのパラダイムでは、可能性のある関心領域のセグメンテーション１８０４に関して、画像又は「場面」に含まれる情報は、画像全体ではなく、少数の「関心」エリアにローカライズされるものと想定されることが多い。これによって「背景」と「前景」の二分化が生じる。「背景」エリアは関心のないエリアであり、「前景」エリアはそこに有用な情報があるエリアである。スクリーンキャプチャ解析の場合でも、この二分化は保たれる（有益）と見なされ得る。例えば、ホーム／メニュースクリーンキャプチャ画像では壁紙が背景と呼ばれるのに対して、アイコン、ウィジェット及びそれにオーバーレイされた他の図形は情報が豊富な前景を形成し得る。次いで、前景を背景から分離するタスクは、背景画素と様々なタイプの前景画素との類似性がモデリングされ、次いで２つの主要グループを分離するために用いられるセグメンテーションのタスクである。

これらの「関心」エリア（又は、コンピュータビジョンで呼ばれるように「ブロブ」）を検出する幾つかの方法があり、各々の方法には独自の一連の利点と欠点がある。目の前のタスクに応じてそれらのうちの様々な方法が本発明に関連して利用され得る。ある好適な方法は、スクリーンキャプチャ画像上でエッジ検出及びガウシアン差分（ＤｏＧ）を行う方法を含み得る。ＲＯＩセグメンテーションの出力例は下記のとおりである：

最適化の目的のためのテキスト／非テキストのセグメンテーションに関して、上記の処理が完了すると、スクリーンキャプチャ画像内の重要なエリア、又は関心領域（ＲＯＩ）だけが残される。このようなＲＯＩは各々、アイコン又は図形、テキスト情報、又は図形とテキスト情報の両方に関する情報を含み得る。このような各々のＲＯＩが（光学的文字認識によって）アイコン１８０８ａ又は１８０８ｂを検出する異なるパイプラインに送られ得るため、各々のＲＯＩが両方のパイプラインを通るのは無駄であろう。したがって、最適には、テキストエリアは一般にアイコン検出フレームワーク内を通されるべきではなく、アイコンのあるエリアは光学的文字認識（ＯＣＲ）パイプラインを通されるべきではない。

上記の原理に従うために、各ＲＯＩは先ずテキスト情報についてスキャンされ、これが見つかると親ＲＯＩから独自のＲＯＩに分離される。ＲＯＩについて１８０４でこれが行われると、分離されたＲＯＩがテキスト又は図形／アイコンのどちらに対応するかどうかをチェックするために１８０６で別のアルゴリズムが設定され得る。図形に対応するならば、そのＲＯＩは１８０８ａでアイコンのマッチングのために送られ、そうではない場合は１８０７で示される１８０８ｂで、ＯＣＲルートを通って送られる。

ブロックベースのアルゴリズムは、テキストエリアを良好に記述することが知られているフィーチャの組み合わせを使用する非テキスト領域からテキスト領域を分離するために適用され得る。これらのフィーチャ、すなわちデルタＤＣＴ（離散コサイン変換）、ＤＣＴ−１８、及び分散フィーチャは迅速に計算されることができ、これらは互いによく補完し合う。このアルゴリズムは、画像を小ブロックに分割し、各ブロックについて前述のフィーチャを計算するように動作する。これらのフィーチャのそれぞれの値が特定の閾値を超える場合は、そのブロックはテキストブロックとして分類され、それ以外の場合は非テキストブロックとして分類される。ＲＯＩがほぼテキストから成っている場合は、テキストＴＯＩとして分類される。

図１９では、上段１９０４はいくつかの元の画像を示すのに対して、下段１９０６は白で示された、そこでテキストセグメント化されたエリアを示している。元の３つの画像は、図形とテキストの両方（左上）、図形のみ（上中央）及びテキストのみ（右上）を有する領域の代表的な例である。

テキストエリアは、テキストを自動的に文字にセグメント化し、各文字を認識する光学的文字認識（ＯＣＲ）パイプライン１８０８ｂに送られ得る。テキストの迅速な検出と同定を行うために、極めて基本的なＯＣＲ１８１０を行うことができ、したがってノイズ、解像度、及びフォントのトレーニングに対するロバスト性がないことがある。したがって、領域のなかには部分的な変換しかなされないものもあり、間違った文字で変換されるものもある。これを補正するために、ＯＣＲ処理されたテキストのために、１８１４で例えばレーベンシュタイン距離、又は他の選択されたストリングメトリクスに基づきストリングマッチングアルゴリズムが実行され得る。

検出は、アプリ名及び共通語などのスマートデバイスで通常現れることが分かっているキーワードのレポジトリ（repository）とマッチングされる。例えば、検出とレポジトリ内のキーワードとのレーベンシュタイン距離が、元のキーワードの長さに基づく閾値距離未満ならば、マッチングが生じたといえる。

次にアイコン認識１８０８ａを説明する。図形／アイコンを含むＲＯＩは、より大きいエリアはおそらく複数の異なる図形／アイコンを包含し、一方、小さいエリアは単一の関心アイコン／図形だけを有するという想定で、「大きい」、又は「小さい」エリアにサイズで分類され得る。各々のＲＯＩは次いで、用例に応じて様々なタイプのフィーチャ／特性を抽出するフィーチャ記述フレームワークを通される。抽出されたフィーチャは次いで、レジストリからのアイコンのフィーチャとマッチングされ、最近接のマッチングがリターンされる。

小さいエリアについては、単一のアイコンしか含んでおらず、最近接のマッチングがリターンされ、一方、大きいエリアについては事前設定された距離の閾値を満たす最近接のマッチングのすべてがリターンされると想定され得る。このような区別を行うために用いられるフィーチャは、小さいエリアの場合のグローバルフィーチャから、大きいエリアのアイコンをローカライズするローカルフィーチャまでの範囲に及ぶ。好適な幾つかのフィーチャは、例えばＧａｂｏｒ、ＬＢＰ、ＢＲＩＳＫ及びＦＲＥＡＫフィーチャを含んでいる。

コンテンツ検出に関しては、これは目の前の特定のタスクに適合された段階である。スクリーンキャプチャ画像上に存在するアイコンとテキストが検出されると、タスクは、画像解析システムによってスクリーンキャプチャから検索されたキーワードで示される、スクリーン上に存在するコンテンツを推測することである。

特にウィジェット検出であるこの場合は、ステップは本質的に、検出されたキーワードを、その各々が特定のウィジェットの特性を示すキーワードのライブラリとマッチングさせることを意味する。より多数のマッチがあれば、ウィジェットが正確に検出される公算がより高いことになる。

ウィジェットは、同じエンティティ（例えばフェースブック（登録商標）のアイコン対フェースブック（登録商標）のウィジェット）に関するものであっても「単なる」アイコンと区別されることもできる。アイコンはおそらく特性（文字）としてアイコン名しか有していないであろうから、ＲＯＩからのキーワードより多数の検出は、対象がウィジェットであり、アイコンではない公算が高いと解釈され得る。

さらに別の用例の観点から、スマートゴーグルは普及し、より実際的でいつでも利用できるようになるため、本発明の実施形態をユーザーの行動、及び現実世界のコンテンツとの相互作用の検出でスマートゴーグルに関連して適用することには実質的な価値があろう。ユーザーが自分のデバイスを使用して見ているかもしれない自然のシーンに重ね合わされた人工的なテキスト又は図形は、ユーザーのディジタル露出、及びユーザーがこのようなスマートで着用可能な拡張現実デバイスとどのように相互作用するかの理解を得るために検出され得る。

図２０は、画像についてのＲＯＩ検出の結果の表示２００２を伴うグーグルグラス（登録商標）からキャプチャされた画像を示している。このように、オーバーレイ図形及び／又はテキストは、例えばグーグルグラス（登録商標）からキャプチャされた自然のシーンの画像上で検出され得る。

ステップをさらに続け、検出された図形及びテキストをレジストリとマッチングさせると、本発明は、スクリーン上の図形及びテキストのコンテキストを記述するように構成され得よう。図示した空港のシナリオでは、例えばフライト（航空機）のアイコンと、関連するテキスト（例えば航空会社、フライトコード、時間データ）の検出によって、フライト時間を示すアプリケーションの問題であることを判定できよう。

前述の本発明のアプリケーション及び実装ガイドラインは、新タイプのディジタルデバイスの追跡にも適用できる。例えば、外部の現実世界に関するユーザーのビジョンを再構築することによって、屋外広告への露出をモニタし、又はユーザーが例えば有名な景観を見た場合に自動的にそれを認識することが可能になる。前者の場合はメディア調査目的に特に関連性があるが、後者はむしろに自動化された、受動的な拡張現実のアプリを提供する際に有益であろう。

視覚特性を観察する論理（例えば、スマートデバイスのスクリーンのスクリーンショット、スマートウオッチのスクリーン上のポップアップのコンテンツ及び告知を記述するログファイルの生成、又は、ディジタルゴーグルのような装着されたウエアラブル技術を用いたカメラのスチール写真のサンプリング）は、このような観察の制御と別個であってもよく（例えばユーザーのポケットの中のセトラルスマートフォンデバイスは、ディジタルゴーグルを制御し得よう）、必要なフィンガープリントライブラリ、又はメタデータデータベースは、情報が本明細書に記載の処理論理に利用できる限り、クラウド内に存在し、又はローカルに格納され得る。

上に本発明の様々な実施形態が詳細に説明された。これらの実施形態は一般に、インターネットデバイス、スマートワイヤレスデバイス、ウエアラブルデバイス又は技術、及びワイヤレス又はワイヤード通信ネットワークに接続された他の類似のデバイスに関するものであり、ユーザー、及びスクリーン上の、又は外部のコンテンツ、サービス、又は広告への露出のコンテキストで、自動的、かつ受動的にデータを収集するために、一般に入手可能なモバイル及びインターネットデバイスがどのように利用され得るかを示した。取得された情報は、例えば収集されたデータに基づいてメディア調査目的、又は他の用途で派生情報を生成するユーザーの注意、周囲光及び音声及びその解釈に関するコンテキストデータと組み合わされることができ、そのデータは他のデバイスからのデータ、又は例えばメディア調査ユーザーパネルを通して収集された他の人々に関するデータと統合され得る。最終的には、洗練されたデータが様々なアプリケーションを通してユーザー（一人又は複数）又は他の受領者に戻され得る。

本発明はさらに、（例えば他の人々が存在するか否かなど）ユーザーのコンテキストをよりよく特定するために音声データ及び他の同類のデータを組み込み、場合によっては任意的に、ユーザーの注意の対象が実際に道路に向いている可能性のある間に、ユーザーの注意を視覚的にピンポイントで特定することによって（ウエアラブル）デバイスが例えばナビゲーションアプリを実行中で、かつ音声ガイダンスを提供しているか否かをピンポイントで特定し、ユーザーが使用しているサービスをより正確に確認することができる。一般に、視覚的コンテンツは、音声信号又は音声露出のデータを充実化させることができると共に、例えば画像認識に基づく視覚的景観の再構築が、有益な音声出力を提供するために利用され得る。出力は、これに関する音声告知、又はユーザーが関心を持ち得る関連情報などの認識された視覚データに関連付けされ得る。

したがって当業者は、請求の範囲が明確に開示された実施形態に限定されるのではなく、クレームの表現の範囲に含まれる他の多くの実現にも及ぶことを理解するであろう。

（付記）以下は、本願の当初記載の発明を付記する。
＜請求項１＞
幾つかのセンサを使用することによって、１つ以上のディジタルデバイスを通して、ユーザーの行動、ディジタル取引、及びディジタルコンテンツ及びサービスに関連する露出、又はユーザーと環境との間の外部露出及び関連するイベントに関するデータを取得するための電子システムであって、
環境において、又は、ディジタル投影、又は、ディジタルコンテンツ又はオブジェクトに特有の特性を介して、前記デバイスに装着された１つ以上のディジタルスクリーン上に表示されたと少なくともユーザーが知覚する可能性のあるコンテンツ及びオブジェクトを反映するデータを収集し、
収集されたデータに基づいて、少なくとも知覚される可能性のある視覚的景観を再構築し、
前記再構築、及びその中で検出された関連する露出イベントに照らしてユーザーの注意のターゲット及び／又はレベルを判定するように構成され、
前記システムが、収集したデータ、及び、潜在的な視覚的景観を再キャプチャする前記再構築によって反映される外部オブジェクト、ディジタルコンテンツ又はユーザーのアクションのタイプ又は同一性の検証を含めて、ディジタルオブジェクト認識処理に、ルール又はフィンガープリントに関する少なくとも何らかのローカルに格納された情報を適用するように構成された電子システム。
＜請求項２＞
スクリーンキャプチャリングによって視覚データを収集するように構成される請求項１に記載のシステム。
＜請求項３＞
差分画像の使用を介して、視覚データを収集するためのデータサンプリング、特にスクリーンキャプチャリングのレートを適合するように構成され、処理及びメモリの要求及び電力消費量を低減するため、引き続いてキャプチャされる画像の差が少ないとレートが低下し、及び、その逆の場合は逆になる、請求項１に記載のシステム。
＜請求項４＞
少なくとも１つのディジタルデバイスに組み込まれ、又は少なくともこれに機能的に接続された１つ以上のカメラによって視覚データを収集するように構成される請求項１に記載のシステム。
＜請求項５＞
アイコン、図形、画像、テキストストリング、アプリ、サービス、支払い、購入、広告、メニューアイテム、メニューインジケータ、及びウインドウ要素からなるグループから選択される少なくとも１つの要素に関して、認識及び景観再構築処理に前記ルール及びフィンガープリントを使用するように構成される請求項１に記載のシステム。
＜請求項６＞
画像認識を行って視覚的景観を再構築するためにユーザーデバイス由来のメタデータデータベースを適用するように構成され、該データベースは、ユーザーがスクリーン上又は周囲環境において目視できる新たなオブジェクトを同定し、前記オブジェクトを分類するためにその表示をメタデータデータベースに提供するように構成された前記ディジタルデバイスによって形成又は更新される請求項１に記載のシステム。
＜請求項７＞
ユーザーの行動、取引又は露出に関する収集されたデータへのフィードバックとして、ディジタルデバイスのユーザーに、データの解析に基づいてユーザーが関心を持つコンテンツ、告知又は他の視覚情報を提供するように構成される請求項１に記載のシステム。
＜請求項８＞
視覚的注意と任意的に心拍を認識するために眼の動き及び状態を含むユーザーの身体的状態の情報を特に収集し、ユーザーが目覚めてある状況にいることを確認し、及び／又は、所定のタイプの露出へのユーザーの注意のレベルを確認するよう構成される請求項１に記載のシステム。
＜請求項９＞
検出された音声露出又は信号のデータで視覚コンテンツを充実化するように構成される請求項１に記載のシステム。
＜請求項１０＞
収集され、再構築された視覚データに基づいて、ユーザーが現実世界で露出する１つ以上のオブジェクトと、このようなオブジェクトの意味論的な意味とを特に認識するように構成される請求項１に記載のシステム。
＜請求項１１＞
取得された視覚スクリーンキャプチャデータからホームスクリーン、又はメニュースクリーンを検出するように構成される請求項１に記載のシステム。
＜請求項１２＞
取得された視覚スクリーンキャプチャデータからホームスクリーン、又はメニュースクリーンを検出し、視覚データから前記フィンガープリントによって定義された視覚的なスクリーン上のメニュー要素の外見、数及び／又は位置、任意的には、スクリーンエリア及び／又は相互の位置の検出に基づいて、ホーム又はメニュースクリーンを認識するように構成される請求項１に記載のシステム。
＜請求項１３＞
ランレングス符号化により取得されたスクリーンキャプチャデータを圧縮して、画像の解像度及び／又は色量子化を低減するように構成される請求項１に記載のシステム。
＜請求項１４＞
アイコンのマッチング及び光学的文字認識の利用を介して、取得された視覚スクリーンデータからのコンテンツ関連の図形又はテキスト情報の抽出又は認識に基づいて、ウィジェットなどの既定の視覚コンテンツへの露出を追跡し、ログするように構成される請求項１に記載のシステム。
＜請求項１５＞
エンティティ関連アイコン又は他の図形表現のスクリーン上の順序の検出に基づいて、アプリケーション、ユーザーの好み、又は利用状況ランキングなどのエンティティを判定するように構成される請求項１に記載のシステム。
＜請求項１６＞
前景エリア及び背景エリアなどの異なるエリアを互いに分離するために、取得された視覚データに関心領域のセグメンテーションを施すように構成される請求項１に記載のシステム。
＜請求項１７＞
任意的にブロックベースのアルゴリズムによって、取得された視覚データにテキスト／非テキスト分離を施すように構成される請求項１に記載のシステム。
＜請求項１８＞
取引ウインドウの検出、購入ボタン又はアイコンなどの取引記号の検出、及び／又は、ＯＣＲベースの取引テキストの検出に基づいて支払い又は購入取引を認識するように構成される請求項１に記載のシステム。
＜請求項１９＞
認識された露出イベント、ユーザーの注意、及び／又は取引の１つ以上のログを前記ディジタルデバイス内、及び／又は少なくとも１つのサーバの機能的に接続されたリモートサーバ構成内で維持するように構成される請求項１に記載のシステム。
＜請求項２０＞
前記視覚データを取得し、任意的に解析するために前記１つ以上のディジタルデバイスを備える請求項１に記載のシステム。
＜請求項２１＞
前記視覚データを取得し、任意的に解析するために前記１つ以上のディジタルデバイスを備え、前記ディジタルデバイスからの前記視覚データを少なくとも示す、収集され、任意的に解析されたデータを受信し、前記データを処理し、前記データを格納し、前記データを配信し、及び／又は、応答データを任意的に視覚又は音声再生するために前記ディジタルデバイスに戻すように構成された、少なくとも１つのネットワークアクセス可能な、任意的にクラウドに位置するサーバのサーバ構成をさらに備える請求項１に記載のシステム。
＜請求項２２＞
１つ以上のディジタルデバイスを介して、ユーザーの行動、ディジタル取引及びディジタルコンテンツ及びサービスに対する露出についての、又は、外部露出及び幾つかのセンサ、任意的にはウエアラブル技術を介したユーザーと環境との間の関連イベントについてのデータを取得する方法であって、
環境において、又は、ディジタル投影、又は、ディジタルコンテンツ又はオブジェクトに特有の特性を介して、前記デバイスに装着された１つ以上のディジタルスクリーン上に表示されたと少なくともユーザーが知覚する可能性のあるコンテンツ及びオブジェクトを反映するデータを収集することと、
収集されたデータに基づいて、少なくとも知覚される可能性のある視覚的景観を再構築することと、
前記再構築、及びその中で検出された関連する露出イベントに照らしてユーザーの注意のターゲット及び／又はレベルを判定することを含み、
収集したデータ、及び、視覚的景観を再キャプチャする再構築によって反映される外部オブジェクト、ディジタルコンテンツ又はユーザーのアクションのタイプ又は同一性の検証を含めて、ディジタルオブジェクト認識処理に、ルール又はフィンガープリントに関する前記１つ以上のデバイスにローカルに格納された情報が適用される方法。
＜請求項２３＞
コンピュータに、
環境において、又は、ディジタル投影、又は、ディジタルコンテンツ又はオブジェクトに特有の特性を介して、前記デバイスに装着された１つ以上のディジタルスクリーン上に表示されたと少なくともユーザーが知覚する可能性のあるコンテンツ及びオブジェクトを反映するデータを収集させ、
収集されたデータに基づいて、少なくとも知覚される可能性のある視覚的景観を再構築させ、
前記再構築、及びその中で検出された関連する露出イベントに照らしてユーザーの注意のターゲット及び／又はレベルを判定させる命令を含む、非一時的キャリア媒体上に記憶されたコンピュータプログラム製品であって、
収集したデータ、及び、視覚的景観を再キャプチャする前記再構築によって反映される外部オブジェクト、ディジタルコンテンツ又はユーザーのアクションのタイプ又は同一性の検証を含めて、ディジタルオブジェクト認識処理に、ルール又はフィンガープリントに関する前記１つ以上のデバイスにローカルに格納された情報が適用されるコンピュータプログラム製品。

Claims (23)

1. 幾つかのセンサを使用することによって、１つ以上のディジタルデバイスを通して、ユーザーの行動、ディジタル取引、及びディジタルコンテンツ及びサービスに関連する露出、又はユーザーと環境との間の外部露出及び関連するイベントに関するデータを取得するための電子システムであって、
   環境において、又は、ディジタル投影、又は、ディジタルコンテンツ又はオブジェクトに特有の特性を介して、前記デバイスに装着された１つ以上のディジタルスクリーン上に表示されたと少なくともユーザーが知覚する可能性のあるコンテンツ及びオブジェクトを反映するデータを収集し、
   収集されたデータに基づいて、少なくとも知覚される可能性のある視覚的景観を再構築し、
   前記再構築、及びその中で検出された関連する露出イベントに照らしてユーザーの注意のターゲット及び／又はレベルを判定するように構成され、
   前記システムが、収集したデータ、及び、潜在的な視覚的景観を再キャプチャする前記再構築によって反映される外部オブジェクト、ディジタルコンテンツ又はユーザーのアクションのタイプ又は同一性の検証を含めて、ディジタルオブジェクト認識処理に、ルール又はフィンガープリントに関する少なくとも何らかのローカルに格納された情報を適用するように構成された電子システム。
2. スクリーンキャプチャリングによって視覚データを収集するように構成される請求項１に記載のシステム。
3. 差分画像の使用を介して、視覚データを収集するためのデータサンプリング、特にスクリーンキャプチャリングのレートを適合するように構成され、処理及びメモリの要求及び電力消費量を低減するため、引き続いてキャプチャされる画像の差が少ないとレートが低下し、及び、その逆の場合は逆になる、請求項１に記載のシステム。
4. 少なくとも１つのディジタルデバイスに組み込まれ、又は少なくともこれに機能的に接続された１つ以上のカメラによって視覚データを収集するように構成される請求項１に記載のシステム。
5. アイコン、図形、画像、テキストストリング、アプリ、サービス、支払い、購入、広告、メニューアイテム、メニューインジケータ、及びウインドウ要素からなるグループから選択される少なくとも１つの要素に関して、認識及び景観再構築処理に前記ルール及びフィンガープリントを使用するように構成される請求項１に記載のシステム。
6. 画像認識を行って視覚的景観を再構築するためにユーザーデバイス由来のメタデータデータベースを適用するように構成され、該データベースは、ユーザーがスクリーン上又は周囲環境において目視できる新たなオブジェクトを同定し、前記オブジェクトを分類するためにその表示をメタデータデータベースに提供するように構成された前記ディジタルデバイスによって形成又は更新される請求項１に記載のシステム。
7. ユーザーの行動、取引又は露出に関する収集されたデータへのフィードバックとして、ディジタルデバイスのユーザーに、データの解析に基づいてユーザーが関心を持つコンテンツ、告知又は他の視覚情報を提供するように構成される請求項１に記載のシステム。
8. 視覚的注意と任意的に心拍を認識するために眼の動き及び状態を含むユーザーの身体的状態の情報を特に収集し、ユーザーが目覚めてある状況にいることを確認し、及び／又は、所定のタイプの露出へのユーザーの注意のレベルを確認するよう構成される請求項１に記載のシステム。
9. 検出された音声露出又は信号のデータで視覚コンテンツを充実化するように構成される請求項１に記載のシステム。
10. 収集され、再構築された視覚データに基づいて、ユーザーが現実世界で露出する１つ以上のオブジェクトと、このようなオブジェクトの意味論的な意味とを特に認識するように構成される請求項１に記載のシステム。
11. 取得された視覚スクリーンキャプチャデータからホームスクリーン、又はメニュースクリーンを検出するように構成される請求項１に記載のシステム。
12. 取得された視覚スクリーンキャプチャデータからホームスクリーン、又はメニュースクリーンを検出し、視覚データから前記フィンガープリントによって定義された視覚的なスクリーン上のメニュー要素の外見、数及び／又は位置、任意的には、スクリーンエリア及び／又は相互の位置の検出に基づいて、ホーム又はメニュースクリーンを認識するように構成される請求項１に記載のシステム。
13. ランレングス符号化により取得されたスクリーンキャプチャデータを圧縮して、画像の解像度及び／又は色量子化を低減するように構成される請求項１に記載のシステム。
14. アイコンのマッチング及び光学的文字認識の利用を介して、取得された視覚スクリーンデータからのコンテンツ関連の図形又はテキスト情報の抽出又は認識に基づいて、ウィジェットなどの既定の視覚コンテンツへの露出を追跡し、ログするように構成される請求項１に記載のシステム。
15. エンティティ関連アイコン又は他の図形表現のスクリーン上の順序の検出に基づいて、アプリケーション、ユーザーの好み、又は利用状況ランキングなどのエンティティを判定するように構成される請求項１に記載のシステム。
16. 前景エリア及び背景エリアなどの異なるエリアを互いに分離するために、取得された視覚データに関心領域のセグメンテーションを施すように構成される請求項１に記載のシステム。
17. 任意的にブロックベースのアルゴリズムによって、取得された視覚データにテキスト／非テキスト分離を施すように構成される請求項１に記載のシステム。
18. 取引ウインドウの検出、購入ボタン又はアイコンなどの取引記号の検出、及び／又は、ＯＣＲベースの取引テキストの検出に基づいて支払い又は購入取引を認識するように構成される請求項１に記載のシステム。
19. 認識された露出イベント、ユーザーの注意、及び／又は取引の１つ以上のログを前記ディジタルデバイス内、及び／又は少なくとも１つのサーバの機能的に接続されたリモートサーバ構成内で維持するように構成される請求項１に記載のシステム。
20. 前記視覚データを取得し、任意的に解析するために前記１つ以上のディジタルデバイスを備える請求項１に記載のシステム。
21. 前記視覚データを取得し、任意的に解析するために前記１つ以上のディジタルデバイスを備え、前記ディジタルデバイスからの前記視覚データを少なくとも示す、収集され、任意的に解析されたデータを受信し、前記データを処理し、前記データを格納し、前記データを配信し、及び／又は、応答データを任意的に視覚又は音声再生するために前記ディジタルデバイスに戻すように構成された、少なくとも１つのネットワークアクセス可能な、任意的にクラウドに位置するサーバのサーバ構成をさらに備える請求項１に記載のシステム。
22. １つ以上のディジタルデバイスを介して、ユーザーの行動、ディジタル取引及びディジタルコンテンツ及びサービスに対する露出についての、又は、外部露出及び幾つかのセンサ、任意的にはウエアラブル技術を介したユーザーと環境との間の関連イベントについてのデータを取得する方法であって、
    環境において、又は、ディジタル投影、又は、ディジタルコンテンツ又はオブジェクトに特有の特性を介して、前記デバイスに装着された１つ以上のディジタルスクリーン上に表示されたと少なくともユーザーが知覚する可能性のあるコンテンツ及びオブジェクトを反映するデータを収集することと、
    収集されたデータに基づいて、少なくとも知覚される可能性のある視覚的景観を再構築することと、
    前記再構築、及びその中で検出された関連する露出イベントに照らしてユーザーの注意のターゲット及び／又はレベルを判定することを含み、
    収集したデータ、及び、視覚的景観を再キャプチャする再構築によって反映される外部オブジェクト、ディジタルコンテンツ又はユーザーのアクションのタイプ又は同一性の検証を含めて、ディジタルオブジェクト認識処理に、ルール又はフィンガープリントに関する前記１つ以上のデバイスにローカルに格納された情報が適用される方法。
23. コンピュータに、
    環境において、又は、ディジタル投影、又は、ディジタルコンテンツ又はオブジェクトに特有の特性を介して、前記デバイスに装着された１つ以上のディジタルスクリーン上に表示されたと少なくともユーザーが知覚する可能性のあるコンテンツ及びオブジェクトを反映するデータを収集させ、
    収集されたデータに基づいて、少なくとも知覚される可能性のある視覚的景観を再構築させ、
    前記再構築、及びその中で検出された関連する露出イベントに照らしてユーザーの注意のターゲット及び／又はレベルを判定させる命令を含む、非一時的キャリア媒体上に記憶されたコンピュータプログラム製品であって、
    収集したデータ、及び、視覚的景観を再キャプチャする前記再構築によって反映される外部オブジェクト、ディジタルコンテンツ又はユーザーのアクションのタイプ又は同一性の検証を含めて、ディジタルオブジェクト認識処理に、ルール又はフィンガープリントに関する前記１つ以上のデバイスにローカルに格納された情報が適用されるコンピュータプログラム製品。

Images