JP2007509392A - 遠隔ファンクション呼び出しを起動するための画像または音声を使用するサーバと関連して使用される方法、システムおよび機械可読媒体 - Google Patents

Abstract

画像、音声、バイオメトリック情報、および他のデータはユーザデバイスによってキャプチャされる。そのキャプチャされたデータは、サーバに送信され、前処理され、そのキャプチャされたデータをデコードし、その内容を識別する。いったん識別されると、そのキャプチャデバイスはファンクションストリングに関連され、そのキャプチャされたデータに対応するファンクションおよびパラメータを特定する。そのファンクションはコールされ、そのキャプチャされたデータに関連するユーザデバイスに情報を提供し、または、他の動作を起動する。ユーザデバイスに返答される関連情報は、製品情報、翻訳、オークションデータ、電子機器設定、オーディオ、および他の情報を含み得る。起動され得る動作は、ソフトウェア登録、人探し、または、制限されたサービスへのアクセスを許可するユーザ認証などを含み得る。

Description

本開示は一般に、画像キャプチャおよび画像処理、ならびにネットワークを介したデータ通信に関する。より詳細には、例えばユーザデバイスを介した、１次元（１Ｄ）または２次元（２Ｄ）の画像、または音声のキャプチャおよび通信、その画像／音声に関連する情報を得るための、サーバにおける遠隔ファンクション呼び出しの使用、ならびに、その得られた情報をユーザデバイスに返すこと、および／または、そのユーザデバイスを認証することに関する。

インターネットは、実質的に、任意の主題についての情報を得るための、広く行き渡った、最も良く知られている手段の一つである。例えば、インターネットのユーザ（ウェブ「サーファ（ｓｕｒｆｅｒ」とも呼ばれる）は、ユーザが購入したい製品についての情報（例えば、価格、製品の詳細、製造者情報、など）、お気に入りのスポーツチームまたは選手に関連する統計、観光目的地についての情報コンテンツなどを得ることができる。実際、従来の印刷された媒体を介して情報を検索する代わりに、インターネットをサーフィンするほうが、人々にとって、どこにでも存在する一般的なものとなっている。

しかしながら、情報の広範な使用および豊かさにもかかわらず、インターネットはしばしば、気の利かない、不便な手段でもありえる。例えば、店の買い物客がセールの製品を知る場合、買い物客は通常、その製品に伴う、現場での印刷された文字という限られた量を獲得できるだけに限定されてしまう。多くの場合、そのような現場での印刷された文字は不十分な情報を提供するのであり、買い物客は、中に含まれ得る(または、含まれ得ない）さらなる詳細な製品の印刷物を検討するために、店にいる間に、その製品のパッケージを開封することは許されない。その代わり、その特定の製品の保証書、製造者、特徴の記載、関連するアクセサリ、製品の評価、などについてのより詳細な情報を得るために、ユーザは通常、家に帰り、インターネットに接続し、次いで、インターネットの検索エンジンの一部のタイプを使用し、関連情報の位置を突き止める。

この例示的なシナリオは、一部の明白な弱点を強調する。第１に、買い物客は、家に帰ってインターネットの検索エンジンに、適切にサーチクエリを入力するために、店を去る前に、製品の名前および製造者を覚える必要がある。これは、買い物客が記憶し得ない状況、および／または、買い物客が店を去った後に、製品についてのもともとの興味が無くなり始めるような状況（特に、買い物客がインターネットでオンラインになる前に、数日が経過してしまった場合など）において問題になり得る。それゆえ、重要なセールの機会、および、必要な製品を買い物客が買う機会は、製造者および店によって失わされ得る。

第２に、この例示的なシナリオは、買い物客がコンピュータを良く知っており、および／または、家で技術的な資源を有していることが想定されている。いつもそうとはかぎらない。すなわち、一方で、多くの人がインターネットの基本的な動作を理解し、多くの人が、オンラインの検索スキルに磨きをかけて、そのスキルは向上しているが、他方で、しばしば、検索クエリを用いて、最も妥当で有用な情報の位置を突き止めるのに失敗する。多くの人はまた、家にコンピュータを持っておらず（その代わり、仕事でコンピュータに依存しており、そのような人々は平日の仕事時間の間のみ使用している）、または遅いインターネット接続であったりする。

第３に、情報は単に、インターネットでは利用できない場合である。例えば、一部の製品の製造者はウェブサイトを持っておらず、それにより、消費者に、電話、郵便の手紙、ｅメール、などを介して、サービスの販売員に直接にコンタクトすることを要求する。他の場合においては、製造者または他の組織は、インターネットとは異なるチャンネルを介して情報を提供するが、潜在的な消費者は、そのような別の情報チャンネルを容易に突き止めることは可能ではない。

上記されたシナリオは、製品や買い物といったものの関連であるが、個人の終わりのない情報への必要性に関連する、より広い含みが存在することは理解されよう。例えば、町を通る観光客がその地域の公園の彫像を見、その彫像の歴史的意義をさらに知りたいと望んだと想定する。観光客がホテルの部屋に戻り、コンピュータを接続する場合、ユーザは、インターネットを介して、彫像についての情報を検索することができる。しかしながら、インターネットの検索エンジンは、テキストベースの検索クエリを提供するゆえ、ユーザは、最も「ヒット」しそうなクエリにおける適当なキーワードを選択することにおいて、試行錯誤による方法に限定される。言葉／テキストにおいて、その彫像、または他の任意の物理的な物体の像を表現することは極めて難しいのであり、それにより、検索エンジンが、妥当でない情報をユーザに返答するので、フラストレーションが溜まる結果となる。

同様な問題は、個人が曲や音声を聴く状況などの、音声が存在するが、タイトルおよび／または人を、その音声に関連付けることはできない。テキストのクエリのために、言葉で音声を表現することは扱いにくく、多くの場合、非常に困難である。

一局面は、デバイスの現在のユーザに関連する、キャプチャされた情報を受信することを含む方法を提供する。キャプチャされた情報は、その内容を決定するためにデコードされ、その決定された内容は、ユーザを認証するために、格納された内容と比較される。そのユーザが認証される場合、その方法は、パラメータを有するファンクションをコールし、そのファンクションを実行し、認証されたユーザが、そのデバイスを介して利用可能なサービスにアクセスすることを許可する。

別の局面は、デバイスによってキャプチャされた主題に関連するメディアを受信することを含む。その受信されたメディアは、その内容を決定するためにデコードされる。その決定された内容は、ファンクションストリングを関連される。その方法は、ファンクションストリングを介して識別されたファンクションをコールおよび実行し、キャプチャされた主題に関連するデバイスに、情報を返答する。

非限定および非網羅的な実施形態が以下の図面に関連して記載され、同じ数字は、指定されないかぎり、様々な見方を通して同じ部分を示す。

キャプチャされた画像（および音声）に関連する情報を得るための、遠隔ファンクション呼び出しを実行するサーバを使用する技術の実施形態がここに記載される。以下の記載において、多くの特定の詳細は、実施形態の完全な理解を提供するために与えられる。しかしながら、本発明は一つ以上の特定の詳細なしで、または、他の方法、構成要素、材料などを用いて、実施され得ることを、当業者は理解されたい。他の場合において、既知の構造、材料、または動作は、本発明の局面を曖昧になるのを避けるために、示されず、または記載されない。

「一実施形態（ｏｎｅ ｅｍｂｏｄｉｍｅｎｔ）」または「一つの実施形態（ａｎ ｅｍｂｏｄｉｍｅｎｔ）」に対する本明細書を通しての参照は、実施形態に関連して記載された特定の特徴、構造、または特性が、本発明の少なくとも一実施形態に含まれることを意味する。従って、本明細書を通して様々な所における「一実施形態において」または「一つの実施形態において」という言い回しの体裁は、必ずしも同一の実施形態を参照するとは限らない。さらに、特定の特徴、構造、または特性は、一つ以上の実施形態において、任意の適切な方法において組み合わされ得る。

概説として、一つの実施形態は、妥当な情報がモバイル無線機器などの電気機器のユーザに返される技術を提供する。例えば、カメラ機能を有する携帯電話を持つユーザが、自動車販売店の駐車場にて、車の写真／画像の撮影をすることができ、その画像をサーバに送信することができる。サーバはそのイメージをデコードし、その画像の題材を識別し、次いで、その題材に妥当な情報（例えば、製造者、モデル、製品評価、価格、競合製品など）を得る。この情報はサーバによって、携帯電話から返され、その情報はユーザが検討するために表示される。携帯電話が例示的なユーザの電子機器として使用され得る一方で、画像および／または音声をキャプチャする性能を有する任意の適切なデバイスとともに使用され得る実施形態が提供されることに注意されたい。

様々な実施形態に従い、ユーザによってキャプチャされた画像は、１Ｄまたは２Ｄの画像であり得る。１Ｄの画像の例は、バーコードまたは人間には認知不可能（ｎｏｎ−ｈｕｍａｎ−ｒｅｃｏｇｎｉｚａｂｌｅ）な他の画像を含む。２Ｄの画像の例は、英数字の文字列、ロゴ、スローガン、ブランド名、シリアル番号、テキスト、バイオメトリックス（例えば、指紋または顔の特徴など）、様々な対象の画像（例えば、ランドマーク、動物、無生物など）、または、２Ｄ形式で表され得る、実質的に人間に認知可能な画像の任意のタイプを含むが、それらに限定されるわけではない。一実施形態において、３次元（３Ｄ）の画像（またはその外観）はまた、ホログラムなどのような２Ｄ形式においてキャプチャされ得、および表され得る。一実施形態に従い、音声はまた、キャプチャ（例えば、音声認識の実施を含む）され得、ファイルへ変換され得、および、処理のために、サーバに送信され得る。

一実施形態において、サーバは、受信された画像を識別するために、複数のプラグインのプログラムのうちの少なくとも一つを使用する。画像が識別された後、ファンクションマスクを有するファンクション列が、識別された画像と関連される。ファンクション列は、呼び出すファンクションのＩＤ、および、そのファンクションに対して、パスされるパラメータおよび／またはパラメータ値を含む。パラメータおよび／またはパラメータ値は、ユーザの携帯電話（例えば）に返されるメディア情報と関連される。従って、ファンクションは呼び出され、実行される場合、メディア情報は、読み出され、処理され、および、ユーザの携帯電話へと返される。特に呼び出しする特定のファンクションを識別し得る（し得ない）、キャプチャされた画像、音声、または他のメディアは、ときどき、「シンボル」として参照される。

様々な実施の例が以下で記載される。例えば、モジュールの実施形態は、製品情報の提供、ソフトウェアの登録、クーポンの処理、電子的設定の実行、競合製品の情報の受信、ユーザの認証、外国語の翻訳、オークションの検索、バイオメトリック処理などのために使用され得る。これらは単に例としてあるだけであり、本発明は上記された、任意の特定の一つ以上の実施に限定されることを意図されていないことは理解されたい。

受信された画像の識別を補助するために、一実施形態が、画像前処理システムを提供する。画像前処理システムは、悪い画質または悪い解像度の画像からのシンボルを抽出するために、画像処理技術を適用し、それによって、識別の成功率を増加させる。

図１は、様々な実施形態が実施され得る様々な電子機器を表す。図１は、音声または画像（映像を含む）をキャプチャ可能である電子機器の一部の例、および、音声または画像を、他の実施形態によってもまた使用され得るサーバに送信する性能を有する他のタイプの電子機器のみを表すことは理解されたい。さらに、図１の電子機器は、カメラ、マイクロフォン、ネットワーク接続構成要素、バイオメトリックスキャナ、ディスプレイスクリーン、ウェブブラウザ、などの一部の例において共通な特徴を有し得ることは理解されたい。というのは、これらの電子機器の様々な特徴は、本開示の利益を有する当業者にとって既知だからであり、従ってそのような特徴は、ここでさらに詳細には記載されない。

携帯電話１００はカメラ１０２を含み、ユーザは写真を撮ることができ、あるいは、携帯電話１００を当の被写体に適切に向けることによって画像（映像を含む）をキャプチャすることが可能である。デスクトップパーソナルコンピュータ（ＰＣ）またはラップトップなどのコンピュータ１０４はウェブカメラ１０６を含み、音声および画像を、ネットワーク（インターネットなど）を介して送信され得るか、またはローカルに保存され得る。他の例はスキャナ１０８を含み、スキャナ１０８は、もともとはハードコピーのフォーマットである電子画像を作成するために使用され得る。

インターネットプロトコル（ＩＰ）電話１１０によって、ユーザは、ＩＰ電話ネットワークを介して、電話での会話を行ったり、またはファクシミリを送信したりできる。一実施形態におけるＩＰ電話１１０（および、図に表された他の任意の電子機器）は、ユーザの認証およびマイクロフォン１１４のための、バイオメトリックスキャン１１２（指紋、顔の画像、網膜スキャン、など）を含み得る。

他の可能な例としての電気機器は、ファックス１１６、および携帯用情報端末（ＰＤＡ）１１８または他の無線デバイスを含む。他の画像キャプチャデバイス１２０および／または音声映像１２２もまた、様々な実施形態とともに使用され得る。

図１の電子機器は、無線および／または有線接続１２４を介して、ネットワーク１２６と通信することができる。ネットワーク１２６は、インターネット、ローカルエリアネットワーク（ＬＡＮ）、バーチャルＬＡＮ、公衆交換電話網（ＰＳＴＮ）、ＩＰ電話ネットワーク、衛星通信ネットワーク、光学式ネットワーク、バーチャルプライベートネットワーク（ＶＰＮ）、他の無線または有線ネットワーク、または、それらの任意の組み合わせを含むことができる。一実施形態において、ネットワーク１２６を介して電子機器と通信することが可能なサーバ（以下でさらに詳細に説明される）が提供され、サーバは、その電子機器に、キャプチャされた音声または画像に関連する妥当な情報を提供し、所定の使用のために電子機器を認証などをする。

図２は、様々な実施形態に従い、図１の電子機器によってキャプチャされ得る画像（対象の）または音声の例を図示する。さらに、図２は例を示すことのみを意図しているのであり、限定を意図しているわけではないことは理解されたい。図２を説明するために、携帯電話１００が例示的な電子機器として使用され得、画像または音声（例えば、カメラ１０２を介してなど）をキャプチャすることができる。携帯電話１００はディスプレイスクリーン２００を含み、ユーザがキャプチャされた画像をプレビューし、サーバから返答され得る妥当な情報をみることが可能となるように、使用され得る。

バーコード２０２（または人間には認知不可能な他の１Ｄまたは２Ｄ画像）の画像は携帯電話１００によってキャプチャされ得る。バーコード２０２は、製品のパッケージ、または他の任意のバーコードを付された製品に存在し得る。バーコード２０２の画像をキャプチャし、その画像をサーバに送信することによって、製品の価格、製品の詳細、関連するＵＲＬアドレスなどの情報、または競合製品に関連する情報が、携帯電話１００へと返され得る。

外国語のオブジェクト２０４の画像もまたキャプチャされ処理され得る。この例において、外国語のオブジェクトはスペイン語で書かれた記号である。サーバ１００は、「Ｈａｃｉｅｎｄａ」または他の任意の外国語の語彙の英語への翻訳を、携帯電話１００に提供することができる。

ユーザは携帯電話１００を使用して、ソフトウェア製品２０６（例えば、そのパッケージデザイン、バーコード、シリアル番号、登録商標、製品名、または他の関連する人間に認知可能な２Ｄの画像）の画像をキャプチャし得る。これをすることによって、ユーザは、ソフトウェア製品２０６を登録し得（および、携帯電話のディスプレイスクリーン２００を介して、コンファメーションを受信し得る）、製品情報および価格を受信し、競合製品についての情報を受信し、製品のプレビューを受信することなどができる。

ユーザが自動車販売代理店に行き、車２０８を見る場合、ユーザは、車２０８（または、窓のステッカー２１０）の写真を撮ることができ、車両のレビューを受信することができる。レビューまたは他の関連情報は、ストリーミング映像、グラフィック、またはテキストファイル、ＵＲＬリンク、音声など、携帯電話１００によって受信され得る。

観光客または他のユーザにとって、史跡２１２（例えば、ワシントン州のシアトルにあるＳｐａｃｅ Ｎｅｅｄｌｅなど）の画像がキャプチャされ得る。次いでユーザは、歴史的情報、入場料、営業時間、または、地方観光事務所、地方自治体、オンライン資料、および他のソースから発信された他の関連する情報を受け取ることが可能である。画像がキャプチャされる任意のオブジェクトを用いて、携帯電話１００へインターネットのサーチエンジンの結果を返答することも可能である。例えば、いったんサーバが史跡２１２の画像を、Ｓｐａｃｅ Ｎｅｅｄｌｅとして識別すると、サーバは、検索結果のヒットリスト（ｈｉｔ ｌｉｓｔ）を得るために、Ｇｏｏｇｌｅ（登録商標）、または他のインターネット検索エンジン上で、画像またはテキスト検索を開始することができ、次いで、ユーザが精読するために、携帯電話１００へ搬送され得る。

たとえば、ユーザが大学のフットボールゲームを見に来ており、スコアボード２１４のグラフィックを見る場合、ユーザは、スコアボード２１４の写真を撮ることができ、その写真をサーバに送信することができる。いったん、サーバがその画像からの情報（学校のチームの名前など）を引き出すと、サーバは、その携帯電話１００の着信音を、その学校の戦闘歌（ｆｉｇｈｔ ｓｏｎｇ）にさせることができる。これは、画像および／または音声をキャプチャおよび処理することに応じてなされ得る、他の情報や機能のほんの一例である。

追加的な例を続けて挙げると、携帯電話１００はクーポン２１６をスキャンするために使用され得る。クーポン２１６の画像は、次いで、サーバによって処理され得、ウェブサイトにて利用可能な製品のディスカウントを適用し、あるいは、クーポン２１６を商品と引き換えることが可能である。コンパクトディスク（ＣＤ）のカバー、デジタルビデオディスク（ＤＶＤ）のカバー、または映画ポスター２１８の画像が撮られ得、次いで、ユーザは、映画予告編のストリーミング、曲のサンプル、購入可能な着信音、上映スケジュール、アーティスト情報、レビュー、映画館または店の場所などを受信することができる。

ユーザは、ワインボトル２２０などの物体の写真を撮ることができる。携帯電話でユーザが受信できる情報は、お勧めのおかずの提案、地元の商人からの価格リスト、ワイナリーおよびビンテージ情報などを含み得る。別の例として、ユーザは収集品（例えば郵便切手２２２など）の写真を撮ることができ、その写真をサーバに投稿することができる。次いで、サーバは、Ｅｂａｙ（登録商標）または他のオークションサイトでのオークションで利用可能な郵便切手のリストなどといった、オークション情報をユーザに返答するために、その写真を処理することができる。

一実施形態は、認証およびセキュリティの目的のために使用され得る。例えば、携帯電話１００またはＩＰ電話１１０のユーザは、顔の認識２２４または音声認識２２６を使用することによって、ネットワーク上での任意の電話へのアクセス権を提供され得る。代替的に、または追加的に、指紋画像２２８または網膜画像などのバイオメトリック情報もまた、認証のために使用され得る。

第１の例として、会社におけるＩＰ電話ネットワークは、その従業員に接続を提供し得る。しかしながら、一部の従業員は、他の従業員とは異なる権利、またはアクセス権（近距離、長距離、または国際電話機能など）を有し得る。また、あるオフィスからＩＰ電話をするだけに制限されるよりも、会社において、任意の電話または位置から、これらのＩＰ電話を設置することができることが所望され得る。

従って、一実施形態によって、ユーザは、任意の電話および／または位置から認証を得ることができる。この認証は、音声認識２２６、顔の認識２２４、指紋２２８、または、バイオメトリックスキャナ１１２を使用する、バイオメトリック・ベースの認証、あるいはＩＰ電話１１０における他の入力デバイスを介して実行され得る。キャプチャされた情報はサーバに送信され、認証を実行する。認証された場合、サーバは、ＩＰ電話の接続の完了を開始し得る。異なるユーザは、認証または権利の異なるレベルを与えられ得る。

第２の例として、緊急の場合、連邦政府または州政府、地方自治体、国土安全保障省、あるいは他の機関または団体は、一部の無線周波数が、認証された人（例えば、警察職員、緊急対応要員、都市の先導者（ｃｉｔｙ ｌｅａｄｅｒ）、軍隊などによってのみ使用されるために取っておくことを命令し得る。このように、これらの周波数が、緊急時に、認証された人に利用可能であり、ハッカーまたは認証されていないユーザがこれらの周波数の利用可能性およびその使用を危険に晒さないようなシステムが重要である。

従って、バックエンドサーバの一実施形態は、バイオメトリック情報（例えば、指紋または顔の特徴の画像、あるいは、音声またはユーザの電子機器によってキャプチャされた音声など）を、バックエンド画像および／または音声、あるいは認証に利用され得る他の情報とを比較することによって、ユーザを認証する。ユーザを認証し、サーバは、ユーザの電子機器を制限された周波数へ接続することを開始する。

図２の別の例として、人物の画像２３０または他の人（あるいは動物）の画像が撮られ得る。次いで、画像２３０は、サーバに送信され得、例えば、有名な人または動物の瓜二つを検索し、類似した外観を有するデータの検索を実行し、モーフィング（ｍｏｒｐｈｉｎｇ）などを実行する。別の可能な応用としては、警察職員または調査官は、個別に、容疑者の画像をキャプチャし得、次いで、これらの画像を、犯罪者記録に関連する逃亡者または人物のバックエンド画像ファイルと比較させることができる。

音声２３２の任意のタイプは、サーバによって識別され得、あるいは処理され得る。例えば、ユーザは、ラジオで演奏される、覚え易い曲の音声または音声バイトをキャプチャすることができ、サーバは、曲名、アーティスト、アルバムのタイトル、そのアルバムを販売する店の位置などのデータを返答する。多くの異なる応用が、音声２３２のキャプチャおよび処理を用いて可能である。

図３Ａおよび図３Ｂは、システム３００の構成要素および一実施形態の関連する動作を図示したフローブロック図である。簡潔な説明のために、一実施形態の動作の理解に密接に関連する処理および構成要素のみが、ここで示され、記述される。一実施形態において、少なくとも一部の処理および構成要素が、ソフトウェアまたは機械可読媒体上に格納された機械可読命令において実施され得、一つ以上のプロセッサによって実行可能である。図３Ａおよび図３Ｂ、ならびに他の図にて表された様々な方向の矢印は、可能なデータの流れまたは命令を厳密に規定することを意図されているわけではない。その代わり、そのような方向の矢印は、可能なデータまたは処理の流れを一般的に図示することを意図されており、他の流れまたは構成要素が、追加され、取り除かれ、修正され、または、図３Ａおよび図３Ｂ（または他の図）において表される図と必ずしも同一である必要はない方法において組み合わされることは理解されたい。

メールゲートウェイ３０２は、ネットワーク１２６と通信するように結合され、そこからの通信を受信する。一実施形態に従い、より詳細には、メールゲートウェイ３０２は、画像／音声をキャプチャしたユーザデバイス１０２〜１２２のうちの一つから送信されたｅメールまたは他の通信を受信することができる。ｅメール通信の場合、画像または音声は、ｅメールの一つ以上の添付ファイルという形式にて可能である。その画像の可能な形式は、ＪＰＥＧ、ＧＩＦ、ＭＰＥＧなどであり得、他方、音声は例えば、ｍｐ３、ｗａｖなどであり得る。メールゲートウェイ３０２はメールユニット３０４を含み、メールユニット３０４はｅメールを受信し、キャプチャされた画像および音声を有する添付または他の情報を取り除き、あるいは抽出するように動作する。メールユニット３０４はまた、サーバ３０６を用いてインターフェースを提供する。例えば、受信されたｅメールから添付を抽出した後、メールユニット３０４は、その抽出された情報をサーバ３０６に提供する。

一実施形態に従い、メールゲートウェイ３０２は、デコード要求（例えば、デコードのために、メディアをサーバ３０６にパスする）を提供するために、単体で動作可能なシンプルメールトランスファープロトコル（ＳＭＴＰ）サーバとして実行される。再び、メールゲートウェイ３０２は、任意の適切なメールプロトコルまたはプラットフォームに従って動作可能であることは理解されたい。メールゲートウェイ３０２は、セッション毎に、多数の画像の添付をデコード（サーバ３０６によって）する能力を提供し、入ってくるメッセージの全ての関連する詳細（例えば、ｅメールの行間の内容、主題領域、添付など）が自動的に構文解析（ｐａｒｓｅ）され、サーバ３０６にパスされる。

サーバ３０６は、処理、通信、格納などのための、様々なソフトウェアおよびハードウェア構成要素を含む。一つ以上のプロセッサ３０８は、一つ以上の格納媒体３１０に通信するように結合される。格納媒体３１０は、データベース、ランダムアクセスメモリ（ＲＡＭ）、読出し専用メモリ（ＲＯＭ）、ファイルシステム、ハードディスク、光学式媒体、または他のタイプの任意の格納媒体またはそれらの組み合わせを含み得る。一実施形態において、格納媒体３１０は、ソフトウェア、オブジェクト、スタティックまたはダイナミックコード、データ、および、プロセッサ３０８がここで記載された様々な機能を行動するために協働することができる、他の機械可読のコンテンツを格納し得る。説明のために、図３のサーバ３０６は多数の構成要素を有するものとして示されており、ソフトウェアにて実施され得、格納媒体３１０からは分離されている。少なくとも一部のソフトウェア構成要素は、格納媒体３１０において存在し得ることは理解されたい。

これらのソフトウェア（またはハードウェア）構成要素のうちの一つは、前処理およびデコードユニット３１２である。ユニット３１２は、メールユニット３０４から、抽出されたメディア（画像または音声ファイルなど）を受信し、その品質を向上させるため、および／または、適切な形式においてデコードするために媒体を配置するために前処理し、そこからの情報を識別するために受信されたメディアをデコードするように動作する。

デコードに関して、一実施形態のユニット３１２は、複数のデコーダプラグインプログラム３１４〜３２０（または、他の適切なデコーダモジュール）を使用する。プラグインプログラム３１４は１Ｄバーコードをデコードするために使用される、プラグインプログラム３１６は２Ｄバーコードをデコードするために使用される、プラグインプログラム３１８は画像（映像フレームを含む）をデコード、あるいは識別（ＩＤ）するために使用される、プラグインプログラム３２０は音声をデコードするために使用される。図３Ａにおいて明示されたものよりも、多かれ少なかれプラグインプログラムが存在し得る。一実施形態において、プラグインプログラムは、画像、音声、または他のメディアのための、任意の適切な、商業的に利用可能であるメディアデコーダプログラムを含み得る。

一実施形態において、ユニット３１２は、これらのプラグインプログラムのうちの一つがメディアファイルの内容を首尾良くデコードおよび識別すること（例えば、シリアル番号、画像のオブジェクト、音声ファイルにおける人の声などを識別できる）ができ、その結果をユニット３１２に返すまで、繰り返し、各受信されたメディアファイル（画像や音声ファイルなど）を各プラグインプログラム３１４〜３２０に送信する。別の実施形態において、ユニット３１２は、特に、受信されたメディアファイルをそれらのうちのそれぞれに繰り返し送信するよりもむしろ、受信されたファイルを、プログラム３１４〜３２０におけるプラグインの一つ（またはほんの２，３）に導かれるようにプログラムされ得る。１Ｄまたは２Ｄバーコードまたは他のデータ搬送画像を首尾良くデコードした場合において、プラグインプログラム３１４または３１６は、その画像によって搬送された英数字テキストまたは他のデータを返す。一つ以上のサードパーティデコードエンジン３２２は、プラグインプログラム３１４または３１６によって使用され得、１Ｄまたは２Ｄのバーコードをデコードし、あるいは解釈することを支援し、そこに搬送されるデータを得ることが可能である。

必ずしもデータを搬送し得ない画像または音声のために、プラグインプログラム３１８または３２０は、個々に、ファンクションルックアップモジュール３２４にアクセス可能であり、画像／音声、およびそれに関連するファンクションストリングを識別するのを支援する。例えば、受信された画像が、図２の史跡２１２の画像である場合、次いで、ファンクションルックアップモジュールは、図３Ｂにおいて、メディア−ファンクションルックアップユニット３２４（ファンクションストリングが史跡２１２と関連されることを決定する）、または、メディア格納位置３２８（史跡２１２をＳｐａｃｅ Ｎｅｅｄｌｅと識別する）のいずれか、または両方にアクセスする。ファジー論理またはチェックサムは、照合の位置を決める必要がある場合、使用され得る。

メディア−ファンクションルックアップユニット３２６および／またはメディア格納位置３２８は、サーバ３０６または外部格納ユニット３３０に存在し得る。一実施形態において、メディア−ファンクションルックアップユニット３２６は、識別されたメディアの内容に関連されたファンクション（またはファンクションストリング、後に以下で説明する）をリストしたルックアップテーブルまたはデータベースを含み、メディアの内容は、メディア格納位置３２８にアクセスすることによって識別され得る。メディア格納位置３２８は、データベース、ルックアップテーブル、ファイルシステム、または他の適切なデータ構造であり得、他の適切なデータ構造は、ファイル画像、音声、指紋、音声クリップ、テキスト、グラフィック、あるいは、プラグインプログラム３１８〜３２０または他のプラグインプログラムの受信されたメディアの内容を識別するために、その受信されたメディアの内容と関連付けられ、比較され得る、実質的に任意のタイプの情報を格納することができる。

一実施形態に従い、受信されたメディアは、デコードされるのに先立って、フォーマットされるか、または「クリーンアップ（ｃｌｅａｎｅｄ−ｕｐ）」され得、首尾良いデコードの可能性を向上させ得る。２Ｄバーコードデコーダプラグイン３１６との関連で、例えば、そのプラグインプログラムはデコードするイメージが８ビットのビットマップ形式であることを要求し得る。従って、一実施形態は、受信された画像を適切な形式にするための、および／または、デコードに先立って画像／音声の質を向上させる（例えば、荒い、または滲んだ画像または音声を鮮明にするなど）ために、メディアフィルタとして動作する動作セットの形式において、デコードに先立って、メディア前処理能力を提供する。

図３Ａの例において、１Ｄバーコードデコーダプラグインプログラム３１４は二つの動作セット（１Ｄ画像フィルタ３３２および３３４）を有する。フィルタ３３２は、コントラスト調整３３６およびスムージング３３８を実行する。フィルタ３３４は白黒（ＢＷ）変換３４０を実行する。一実施形態において、全ての動作セットがデコードに先立って適用される必要はない。例えば、第１の動作セット（フィルタ３３２）の適用が首尾良くデコードした場合、次いで、第２の動作セット（フィルタ３３４）は適用される必要はなく、逆もまた然りである。しかしながら、初期動作セットの適用が首尾良くデコードしなかった場合、次いで、追加的な動作セットが、首尾良い結果が達成されるまで適用され得る。

図３Ａにおいて、動作セットの他の例は、２Ｄ画像フィルタ３４２を含み、２Ｄ画像フィルタ３４２は、ＢＷ変換３４４およびコントラスト調整３４６の動作のいずれかかまたは両方を実行することができる。画像識別（ＩＤ）フィルタはサイズ変更３５０動作または他の動作を実行し得、他方、音声フィルタ３５２は、音質および形式を向上または変更するための他の動作３５４を実行し得る。図３Ａにおいて表された様々な動作は単に例示であり、網羅することを意図されてはおらず、または、プラグインプログラム３１４〜３２０のうちの任意の一つに制限されることも意図されてない。

首尾良くデコードし、プラグインプログラム３１４〜３２０は、結果として、ファンクションストリングを生成または返す。１Ｄおよび２Ｄバーコード（または、画像を搬送する他のデータ）を用いて、返された結果は、通常、英数字文字の列である。他の画像および音声を用いて、返された結果はまた、メディア−ファンクションルックアップユニット３２６と同様に、英数字のファンクションストリングであり得る。後に以下で記載されるように、ファンクションストリングはファンクションマスクと関連され、そのファンクション、パラメータ、および、パラメータ値を特定する。

ファンクションストリングは、前処理およびデコードユニット３１２によって、ファンクションおよびパラメータ要求ユニット３５６に提供される。要求ユニット３５６は、特定のファンクションのＩＤを得るために、ファンクションストリングを構文解析し、そのファンクションのパラメータ、および図３Ｂの格納ユニット３３０からのパラメータの値を得る。一実施形態の格納ユニット３３０は、ファンクション名およびファンクション自体（例えば、公式、コード、スクリプト、論理関係、オブジェクトなど）を格納するファンクション格納位置３５８を含む。格納ユニット３３０はまた、パラメータ名および値格納位置３６０を含む。この格納位置３６０はパラメータ名、関連された値、および、独立変数（ａｒｇｕｍｅｎｔ）として使用可能な他の情報または対応するファンクションによって使用される他のデータを格納する。

いったんファンクション、パラメータ、およびパラメータ値がコールされるか、あるいは、要求ユニット３５６によって得られた場合、ファンクション実行および返答ユニット３６２は、特定されたファンクションを実行し、その結果を対応するユーザデバイス１０２〜１２２に返す。一実施形態において、ファンクションは、実行されるビジネスロジックまたは他の知能を実施することによって、サーバ３０６にて実行され得る。サーバ３０６にて実行されるこれらのファンクションは、図３Ａにおける３６４にて示される。

代替的に、または追加的に、ファンクションは、遠隔にてコールまたは実行され得る。例えば、図３Ｂを参照すると、複数のサーバユニット３６６〜３７０は、サーバ３０６から、遠隔で通信するように結合され得る。これらのサーバユニット３６６〜３７０は、個々のファンクション３７２〜３７６をホスト（ｈｏｓｔ）（および実行）することができる。それぞれのファンクション３７２〜３７６は、次に、パラメータ、パラメータ値、および、実行中に使用可能な他のデータを得るために、他のネットワーク構成要素と協働することができる。例として、ファンクション３７２は、レガシーアプリケーションを実行するサードパーティサーバ３７８からデータを得ることができ、ファンクション３７４は、アプリケーションサーバ３８０からデータを得ることができ、および、ファンクション３７６は、外部データベース３８２または他のソースからデータを得ることができる。

一実施形態において、ファンクション実行および返答ユニット３６２は、ネットワーク１２６などを経由して、メールゲートウェイ３０２に返答情報をルートすることなく、返答情報を直接に、オリジネートの（ｏｒｉｇｉｎａｔｉｎｇ）ユーザデバイス１０２〜１２２に返答することができる。代替的に、または追加的に、ファンクション実行および返答ユニット３６２は、メールユニット３０４によって受信されるために、そのリターン情報をメールゲートウェイ３０２に送信することができる。メールユニット３０４は、次いで、その返答情報を、オリジネートのユーザデバイス１０２〜１２２に導くことができ、あるいは、メールゲートウェイ３０２の返答ユニット３８４へのそのリターン情報をルートすることができる。

一実施形態において、返答ユニット３８４は、ユーザデバイスへの返答を調べ、形成するために、サーバ３０６から受信された返答情報を使用する。例えば、対応するファンクションの実行の結果として、サーバ３０６から受信された返答情報は、メッセージおよびＵＲＬが生成され、ユーザデバイスに送信されることを命令し得る。返答ユニット３８４は、メールゲートウェイ３０２のメディアデータベース３８６からメッセージおよび／またはＵＲＬ（あるいは他のメディアまたはデータ）を得ることによって、この動作を実行し、適切な返答フォーマットにおいて、そこから返答を生成し、オリジネートのユーザデバイス１０２〜１２２に送信するために、生成された返答をメールユニット３０４へ提供する。

もちろん、他の実施形態において、サーバ３０６の要素は、この返答の生成およびメディア探索を実行し得、それによって、メールゲートウェイ３０２において、別個の構成要素（例えば、返答ユニット３８４およびメディアデータベース３８６など）の必要をなくすか、または低減させ、そのような動作を実行する。さらに他の実施形態において、返答ユニット３８４およびメディアデータベース３８６のいずれかまたは両方は、サーバ３０６に配置され得る。

図４は、図３Ｂの格納ユニット３３０のためのスキーム４００の一実施形態の図表であり、例えば、格納ユニット３３０がデータベース形式にて実施される場合である。このスキームおよびその内容は単に例示するためであり、他のスキーム、データ構造、またはデータ関係が使用され得ることは理解されたい。

ファンクションテーブル４０２は、ファンクションに関連されたエントリを含む。これらのエントリは、ファンクションＩＤ、ファンクションマスクストリング、パラメータの数、ファンクション名、ＵＲＬ、ユーザ名、およびパスワードを含み得るが、それらに限定されるわけではない。ファンクションＩＤは英数字のコードであり、それぞれのファンクションを独自に識別する。ファンクションマスクストリングはそれぞれのファンクションストリングの長さを特定する（後に以下で説明される）。それぞれのファンクションおよびファンクション名は、任意の数のパラメータ（または独立変数）を特定させることができる。ＵＲＬ、ユーザ名、およびパスワードはエントリであり、ファンクションが、特定のサーバユニット３６６〜３７０（またはサーバ３０６）および他の基準上でコールされる場所を規定する。

ファンクションテーブル４０２におけるエントリは、ファンクションパラメータテーブル４０６にリンクされる（４０４として表される）。ファンクションパラメータテーブル４０６は、それぞれのファンクションのパラメータに関連されるエントリを含む。たとえば、それぞれのファンクションＩＤのために、そのファンクションによって使用される個々のパラメータ名に関連されるスロットＩＤ（例えば、ファンクションストリングにおけるスロット）が存在する。

ファンクションパラメータテーブル４０６におけるエントリは、ファンクションパラメータ値テーブル４１２にリンクされる（４０８および４１０として表される）。例えば、リンク４０８は、対応するファンクションをファンクションパラメータテーブル４０６にリンクさせ、その一方で、リンク４１０は、そのファンクションのパラメータ（または、より詳細には、パラメータが特定されるスロットＩＤ）を、ファンクションパラメータテーブル４１２におけるパラメータの値のエントリにリンクさせる。ファンクションパラメータテーブル４１２は、ファンクションＩＤ、スロットＩＤ、値ＩＤ（つまり、それぞれのパラメータに割り当てられた値のＩＤ）、値、および値名を含む領域を有し得る。

テーブル４１４〜４１８は返答チェーン、返答、および返答メディアに関連する。例えば、特定の返答がサーバ３０６（代替的に、メールゲートウェイ３０２にて集められた返答を有することに付け加えて）から送信される場合、テーブル４１４〜４１８は、特定のファンクションストリングを、特定の返答内容に関連付けるために使用され得る。メディア−ファンクションルックアップユニット３２６およびメディア格納位置３２８に関しては、テーブル４１４〜４１８は、メディアの特定の部分にインデックスを付けるために、および、メディアのこれらの部分を特定のファンクションに関連付けるために、使用され得る。メディア、返答、および返答チェーンのそれぞれの部分は、それら自体の関連された名前およびＩＤを有し得る。

図５は、一実施形態に従ったファンクションストリングの図である。例示的なファンクションストリングが５００にて示される。ファンクションストリング５００のこの実施形態は、９桁の数字、１０１００２００１を含み、ファンクションストリング５００は任意の適切な長さ、文字形式（数字、アルファベット、バイナリなど）、内容などであり得る。数字、１０１００２００１はバーコードから搬送され得、および抽出され得、あるいは、例えば、識別された画像（メディア−ファンクションルックアップユニット３２６の使用を介して）に関連付けられる。

ファンクションストリング５００は、ファンクションマスク５０２に関連される。ファンクションマスク５０２は、ファンクションストリングの形式、およびそのファンクションストリングが、対応するファンクションおよびそのパラメータを識別するために構文解析される方法を規定するように動作する。この例において、ファンクションマスク５０２は、パイプシンボル「｜」によって分離された一連の＃シンボルを含む。パイプシンボル「｜」はそのファンクションストリングを、三つの＃シンボル群に別け、第１の三つの＃シンボルはファンクションの数を規定し、第２の三つの＃シンボルはスロット１に関連され、第３の三つの＃シンボルはスロット２に関連されるなど、である。それぞれの＃シンボルは０〜９の数を表し、それゆえ、それぞれのグループの３つの＃シンボルは、０００〜９９９の間の数を表し得る。ファンクションマスク５０２におけるトータルの＃シンボルの数は、任意の適切な固定された、またはダイナミックな長さであり得、パイプシンボル「｜」は、そのファンクションストリングを、３つの＃シンボルのグループに別ける必要はない。

この例において、ファンクションストリング５００における第１の３つの数は、１０１という数であり、それは、１０１という数を有するファンクション格納位置において識別される一部のファンクションに対応する。例示のために、ファンクション１０１は、ＷＡＰＰＵＳＨという名前のファンクションであり、それは、無線アプリケーションプロトコル（ＷＡＰ）を使用して、情報を無線ユーザデバイスに提供／プッシュ（ｐｕｓｈ）するファンクションに関連される。ファンクションストリング５００のスロット１における次の３つの数は００２であり、それは、格納位置３６０において見出される一部のパラメータに対応する。この例において、００２に対応するパラメータの名前はＭＥＳＳＡＧＥである。ファンクションストリング５００は、３つの残りの数（００１）を有するゆえ、これは、ファンクション１０１へパスされ得る別のパラメータが存在することを意味する。この例において、追加的なパラメータは指定されたＵＲＬであり、それは、格納位置３６０における００１のエントリによって識別される。

したがって、ストリング５００に対応するファンクションは、ＷＡＰＰＵＳＨ（ＭＥＳＳＡＧＥ、ＵＲＬ）である。例示的な実施において、画像をキャプチャおよび送信した後、およびファンクションが実行された後、ユーザは、ＵＲＬに競合製品の情報を提供するリンクとともに、ユーザの携帯電話１００にてＭＥＳＳＡＧＥ（例えば、「競合製品を調べたいか？調べたいなら、ここをクリック」など）を受け取る。「競合製品を調べたいか？調べたいなら、ここをクリック」というＭＥＳＳＡＧＥ、および、リンクを提供する特定のＵＲＬは、ファンクション１０１へパスされる二つのパラメータの値であり、格納位置３６０に格納され得るか、または、格納位置３６０から得られ得る。

図５の例は、ファンクションストリング５００がファンクションＩＤ、および、次いで、それぞれの続くスロットにおけるパラメータＩＤに従って別けられる実施を記載する一方で、他のデータ構成技術が使用され得る。例えば、スロットの一部は、使用するパラメータの数、それぞれのパラメータに対応する値の数、値ＩＤの数、または、パラメータ名、値名、あるいは値それ自体またはそれらの組み合わせを特定し得る。それぞれの画像または音声部分に関連された多数のファンクションマスクが存在し得、異なるレベルにおいて、ファンクションマスク（可能ならば、異なる長さ）のネスティング（ｎｅｓｔｉｎｇ）を含む。

図６Ａおよび図６Ｂは、一実施形態に従った全体の対象モデルを示す。その対象モデルの要素は、ソフトウェア、コード、モジュール、または、機械可読媒体上に格納される他の機械可読命令において実施され得る。例えば、図６Ａおよび図６Ｂの対象モデルは、格納媒体３１０に格納されたソフトウェア、および／または格納ユニット３３０を表し得、プロセッサ３０８によって実行可能である。図６Ａおよび図６Ｂ（または、その一部分）における要素または動作の少なくとも一部は、図３Ａおよび図３Ｂに表される要素または動作と一致し得る。

メインまたは中央処理オブジェクト６００はメインファンクションとして動作し、デコードプロセスを開始し、構成データをロードし、デコードメディア、およびユーザデバイスへの返答に関連される他のプロセスを実行するために、サーバ３０６がコールされる。開始プロセスに関連して、処理オブジェクト６００は構成情報をロードし、シンボルデコーダオブジェクト６０２をコールする。

シンボルデコーダオブジェクト６０２は、それぞれのデコーダプラグインプログラム３１４〜３２０をメモリにロードする。次いで、それぞれのデコーダプラグインプログラム３１４〜３２０は、その構成動作セット（例えば、メディアフィルタ３３２〜３５２）をロードする。その動作セットは、一つ以上のオブジェクト６０４を含み得、動作セット名、動作の数などを特定する。オブジェクト６０４は、次いで、動作６０６をメモリにロードすることによって、動作セットを備える。

サーバ３０６が、デコードする画像または他のメディアファイルを受信する場合、一実施形態は、メディアファイルを、メディアオブジェクト６０８にロードし、メディアファイルのための「ラッパー（ｗｒａｐｐｅｒ）」のタイプとして動作する。受信された音声または画像メディアはまた、バッファにおいてオブジェクト６１０を格納し得る。代替的に、または、デコードされるメディアファイルに付け加えて、オブジェクト６０８および６１０はまた、メディア、および、ユーザデバイスに応じてパッケージされた他の情報を示し得る。

デコードするメディアファイルは、次いで、シンボルデコーダオブジェクト６０２へパスされ、それは「デコードメディア」ファンクション／動作と呼ばれ、メディアファイル上にて、デコードプラグインプログラム３１４〜３２０をロードされた動作セットを実行する。つまり、動作セットは、「クリーンアップ（ｃｌｅａｎ ｉｔ ｕｐ）」するか、または適切な形式にメディアをするために、メディアを処理し、次いで、このメディアがデコードされる。必要である場合、サードパーティデコーダがまた、受信されたメディアを識別するためにデコードメディアファンクションによってコールされ得る。

首尾良くデコードされた場合、次いで、処理オブジェクト６００は、デコードされたシンボルオブジェクト６１２を作成する。デコードされたシンボルオブジェクト６１２は、処理オブジェクト６００にデータを戻し、シンボルの内容（例えば、画像または音声の内容の識別）、ファンクションストリング（ファンクションストリングがデコードされたバーコードから直接得られる場合など）、状態情報または、エラーメッセージ（デコードがメディアを識別することにおいて成功しなかった場合など）を示す。

次に、処理オブジェクト６００は、ファンクションオブジェクト６１４において、「シンボルからファンクションを作成する」方法をコールする。この方法が実行される場合、識別されたシンボルは、対応するファンクションストリングを要求するために使用され、その対応するファンクションストリングは、ファンクション名、ファンクションＩＤ、およびパラメータ名、値、ならびに、パラメータオブジェクト６１６からのＩＤに関連される。

処理オブジェクト６００は次に、ファンクションをコールおよび実行するために、ファンクションオブジェクト６１４において、「ファンクションを実行する」方法をコールする。ファンクション返答オブジェクト６１８は、ファンクションが首尾良くコールされ実行されたかどうかに関する状態情報を提供し、実行されたファンクションの出力をメールゲートウェイ３０２（または出力をユーザデバイスの送信を担う他のユニット）に返答する。

図６Ｂは一実施形態によって使用される他のオブジェクトを示す。例えば、返答チェーンオブジェクト６２０、返答オブジェクト６２２、および返答メディアオブジェクト６２４が存在し得る。これらのオブジェクト６２０〜６２４は、実行されたファンクション、およびユーザデバイスに送信された返答メディアの利用可能性に基づいて、返答をフォーマットおよびパッケージするように動作する。

少なくとも一部が任意であり得る他の例示的なオブジェクトが図６Ａに表される。バージョンオブジェクト６２６は、サーバ３０６によって使用されるソフトウェアバージョンを示す。サーブレット（例えば、フロッドサーブレット（Ｆｌｏｏｄ Ｓｅｒｖｌｅｔ））６２８は、処理オブジェクト６００とともに動作する。ログオブジェクト６３０は、エラーまたは、目的（または他の使用）をデバックするための他の情報を記録するために使用される。バッチデコーダオブジェクト６３２は、デコーダする画像のバッチを提供することによって、シンボルデコーダオブジェクト６０２を試験するために使用され得る。データソースオブジェクト６３４は、データベース接続およびアクセスを含む動作とともに使用される。

図７は、一実施形態に従い、認証プロセスを図示するフローチャート７００であり、以前の図に関連して記載された原理において、少なくとも一部分に基づいている。ブロック７０２において、画像、音声、またはユーザ（例えば、携帯電話またはＩＰ電話ユーザ）の他のバイオメトリックの特徴は、キャプチャされ、サーバ３０６に送信される。一例として、ユーザは、緊急状態時、所定の携帯電話周波数の使用の認証または認可を得ようとするか、長距離電話をするために誰かのＩＰ電話を使用しようとする。

ブロック７０４において、サーバ３０６は、キャプチャデータを受信し、必要に応じて前処理を実行し、キャプチャされたデータをデコードしようとする。この例においてより詳細には、サーバ３０６は、データの内容の性質を識別しようとする（例えば、画像に顔があること、音声に声があること、画像に指紋があることなどを決定する）。これらの動作は、プラグインプログラム３１８および／または３２０、ならびにフィルタ３４８〜３５２のうちの適切な一つを使用し実行される。

データが、顔、音声、指紋などを含むことを識別した上で、ブロック７０６におけるサーバ３０６は、ユーザを認証するために、デコードされたデータと格納されているデータを比較する（例えば、識別された画像、音声、またはユーザに属するバイオメトリックが、認証された人物に対応するかどうかを決定することなど）。この動作は、例えば、プラグインプログラム３１８および／または３２０に、デコードされたデータと、図６Ｂのメディア格納位置３２８における、格納された参照データとを比較させることによって、実行され得る。

一致しない場合、ユーザが認可されたユーザとして認証されないことを意味し、次いで、対応するファンクションは、ブロック７１０にてコールされ、ユーザがアクセスするのを拒否する。このファンクションがコールされる場合、そのパラメータおよびパラメータ値はパスし、次いで実行され、返答はパッケージされ、ブロック７１２においてユーザへ送信される。その返答は、例えば、「申し訳ありません（ｓｏｒｒｙ）が、今回、あなたはこのデバイスを使用することが許可されていません」などのメッセージ（パラメータ値を介して提供される）で表示される。

しかしながら、ユーザがブロック７０８にて認証された場合、次いで、ファンクションはブロック７１４にてコールされ、ユーザにアクセスを許可する。このファンクションがコールされる場合、そのパラメータおよびパラメータ値はパスし、次いで、実行され、返答はパッケージされ、ブロック７１６にてユーザに送信される。その返答は、例えば、「あなたは認証されました。続けるには、任意のキーを押してください」などのメッセージで表示される。アクセスを許可するために、サーバ７１８は、ユーザのデバイスのために周波数を開放するために、適切なネットワーク（例えば、携帯電話またはＩＰ電話ネットワーク）を起動するその同様のファンクションまたは別のファンクションを実行する。

図８は、メディアキャプチャ、デコードされたメディアをデコードすること、遠隔ファンクションコール、および、一実施形態に従った情報の返答を表すフローチャート８００であり、上記された図の少なくとも一部に関連する部分に基づいてもいる。フローチャート８００は、一例として、「２クリック」アプローチをしようする製品の購入に関連され得る動作を示す。

ブロック８０２において、メディアの一部のタイプは、店での製品の画像など、ユーザデバイスによってキャプチャされる。これは、ユーザが、携帯電話１００（または他の第１のユーザアクション）上のボタンの「第１のクリック」を実行し、製品の写真を撮り、その結果の画像をメールゲートウェイ３０２に送信することを起動する。

ブロック８０４〜８０６にて、キャプチャされた画像はサーバ３０６に送信され、前処理され、デコードされて、そのキャプチャされた画像に対応するファンクションストリングを得る。この特定の例において、この画像のタイプのために構成され得るファンクションストリングは、「競合製品」情報（キャプチャされた画像に関連される特定の製品についての情報と比較するように）の提供に関連するファンクションストリングであり得る。

ブロック８０８において、ファンクションストリングにおいて特定されるファンクションはコールされ、そのパラメータおよびパラメータ値を得ることを含む。パラメータ値は、競合相手のウェブサイトにリンクされるＵＲＬ、競合製品の画像、「他の類似した製品をみたいですか？Ｙｅｓ／Ｎｏ」などの一つ以上のメッセージ、あるいは他の情報のアイテムを含み得る。

ファンクションがブロック８１０にて実行される場合、競合製品に関連される返答が生成される。このファンクションは、返答を生成するためにサーバ３０６にて実行され得、または、遠隔サーバユニット３６６〜３７０にて実行され得る。代替的に、または追加的に、返答はメールゲートウェイ３０２にて生成され得る。生成された返答は、ブロック８１２にて、ユーザデバイスに返答される。

生成され、ユーザデバイスに返された返答は、競合製品情報、競合製品の画像、情報のウェブサイトなどを含み得る。ブロック８１４にて、ユーザは、メールゲートウェイ３０２に送信された元々の画像に関連する製品、または、返答にて返された競合製品のうちの一つを購入することができる。２クリック購入方法の一実施形態に従い、ユーザは、製品を購入するために、ブロック８１４にて、第２のクリック（または他のユーザアクション）を実行することができる。

第２のクリックに関連された情報は、メールゲートウェイ３０２、またはオンライン注文を処理する一部の他のネットワークに送信される。その注文はブロック８１６にて処理され、ユーザに注文フォームを送信し、ユーザに選択メニューを提供し、または、ユーザフォームを完成させることに関連する他のアクティビティなどのアクティビティを含み得る。

本明細書にて参照され、および／または出願データシートにリストされた、上記の米国特許、米国特許出願刊行物、米国特許出願、外国特許、外国特許出願、および非特許刊行物の全ては、その全体においてここに援用される。

上記の例示された実施形態の記載は、要約における記載を含み、網羅的であることを意図されたわけでもなく、開示された正確な形式に本発明を限定することも意図されていない。特定の実施形態および例が図示のためにここで記載されている一方で、様々な均等物の修正が、本発明の範囲内で可能であり、本発明の趣旨および範囲から逸脱することなくなされ得る。

例えば、メールゲートウェイ３０２およびサーバ３０６は、別個の構成要素として、図３Ａに示される。一実施形態において、単一の構成要素が、同様の機能を提供するために使用され得る。例えば、ｅメール受信、画像／音声の抽出、返答の生成、および他の動作が、サーバ３０６によって全体にか、または部分的に実行され得る。同様に、一部のデコードはまた、サーバ３０６によって排他的に実行される代わりに、メールゲートウェイ３０２によって実行され得る。

これらおよび他の修正は、詳細な上記を考慮した本発明になされ得る。上の請求項にて使用された用語は、本明細書および請求項にて開示された特定の実施形態に、本発明を限定するように構成されるべきではない。むしろ、本発明の範囲は、上の請求項全体によって決定されるべきものであり、請求項解釈の確立された原理に従って構成されるべきものである。

様々な実施形態が実施され得る様々な電子機器を表す。 様々な実施形態に従い、図１の電子機器によってキャプチャされ得る例示的な画像または音声を例示する。 システム構成要素および一実施形態の関連する動作のフローブロック図である。 システム構成要素および一実施形態の関連する動作のフローブロック図である。 図３Ａおよび図３Ｂのシステムの格納ユニットのためのスキームの一実施形態のグラフ図である。 一実施形態に従ったファンクションストリングの概略図である。 一実施形態に従ったオブジェクトモデルを例示する。 一実施形態に従ったオブジェクトモデルを例示する。 一実施形態に従った認証プロセスを表すフローチャートである。 一実施形態に従い、メディアキャプチャ、デコード、遠隔ファンクションコール、および、情報の返答を表すフローチャートである。

Claims (49)

1. デバイスの現在のユーザに関連するキャプチャされた情報を受信することと、
   該キャプチャされた情報をデコードし、その内容を決定することと、
   該決定された内容と格納された内容とを比較し、該ユーザを認証することと、
   該ユーザが認証された場合、パラメータを有するファンクションをコールし、そのファンクションを実行し、該認証されたユーザが該デバイスを介して利用可能なサービスにアクセスすることを許可することと
   を包含する、方法。
2. 前記ファンクションを実行して前記認証されたユーザが前記サービスにアクセスすることを許可することが、該認証されたユーザが、ＩＰ電話サービスにアクセスすることを許可するために該ファンクションを実行することを含む、請求項１に記載の方法。
3. 前記ファンクションを実行して前記認証されたユーザが前記サービスにアクセスすることを許可することが、該認証されたユーザが、制限された無線チャンネルにアクセスすることを許可するために該ファンクションを実行することを含む、請求項１に記載の方法。
4. 前記決定された内容と、前記ファンクションおよび、該ファンクションにパスされる少なくとも一つのパラメータを特定するファンクションストリングとを関連付けることをさらに包含する、請求項１に記載の方法。
5. 前記ファンクションをコールすることおよび実行することが、遠隔で、該ファンクションをコールすることおよび実行することを含む、請求項１に記載の方法。
6. 前記キャプチャされた情報を受信することが、画像、音声、および、前記デバイスの前記現在のユーザに関連されたバイオメトリックデータのうちの少なくとも一つを受信することを含む、請求項１に記載の方法。
7. アクセスを拒否する別のファンクションをコールすること、および、前記ユーザが認証されない場合、対応する返答メッセージを前記デバイスに送信することをさらに包含する、請求項１に記載の方法。
8. その情報の質を向上することおよびその情報のフォーマットを変更することのうちの少なくとも一つをするために、デコードに先立って、前記受信され、キャプチャされた情報を前処理することをさらに包含する、請求項１に記載の方法。
9. 前記キャプチャされた情報をデコードすることが、複数の異なるデコーダのうちの少なくとも一つが首尾良くデコードするまで、該キャプチャされた情報をデコードすることを企てるために、該複数の異なるデコーダを使用することを含む、請求項１に記載の方法。
10. デバイスによってキャプチャされた主題に関連するメディアを受信することと、
    前記受信されたメディアをデコードし、その内容を決定することと、
    該決定された内容をファンクションストリングに関連付けることと、
    該ファンクションストリングを介して識別されたファンクションをコールおよび実行し、該キャプチャされた主題に関連する該デバイスに情報を返すことと
    を包含する、方法。
11. 前記メディアを受信することが、前記主題の人間に認知可能な画像、該主題に関連された音声、バイオメトリック情報、および、人間には認知不可能な画像のうちの少なくとも一つを受信することを含む、請求項１０に記載の方法。
12. 前記人間には認知不可能な画像を受信することが、１Ｄおよび２Ｄバーコードのうちの少なくとも一つを受信することを含む、請求項１１に記載の方法。
13. 前記受信されたメディアをデコードすることが、複数の異なるデコーダのうちの少なくとも一つが首尾良くデコードするまで、該複数の異なるデコーダを介して、繰り返し前記メディアをデコードすることを企てることを含む、請求項１０に記載の方法。
14. デコードに先立って、前記受信されたメディアを前処理することをさらに包含する、性１０に記載の方法。
15. 前記決定された内容を前記ファンクションストリングに関連付けることが、該決定された内容を、前記ファンクションおよびそのパラメータのうちの少なくとも一つを識別する該ファンクションストリングの部分を規定するファンクションマスクに関連付けることを含む、請求項１０に記載の方法。
16. 前記決定された内容を前記ファンクションストリングに関連付けることが、該決定された内容を、前記ファンクションのＩＤおよび該ファンクションに関連するパラメータデータを提供する英数字ストリングに関連付けることを含む、請求項１０に記載の方法。
17. 前記ファンクションをコールすることが、前記キャプチャされたメディアを受信するサーバから遠隔のサーバユニットから、前記ファンクションをコールすることを含む、請求項１０に記載の方法。
18. 前記ファンクションを実行することが、前記デバイスの認証されたユーザに制限されたサービスへのアクセスを提供することを含む、請求項１０に記載の方法。
19. 前記キャプチャされた主題に関連する前記デバイスに情報を返すことが、キャプチャされたバーコード、外国語の翻訳、ソフトウェア登録情報、製品情報、履歴データ、電子デバイス設定、クーポン処理、映画情報、競合製品データ、メニュー提示、顔または音声認識の認証、オークションリスト、バイオメトリック認証情報、人探しデータ、および音声データに関連するデータのうちの少なくとも一つを返すことを含む、請求項１０に記載の方法。
20. 前記メディアを受信することが、該メディアをｅメールの一部として受信することを含み、該方法が、該ｅメールから該メディアを抽出すること、および該抽出されたメディアを少なくとも一つのデコーダにパスすることをさらに包含する、請求項１０に記載の方法。
21. 機械可読媒体であってそこに格納された命令を有する機械可読媒体を備える、製造品であって、
    該命令は、
    デバイスの現在のユーザに関連するキャプチャされた情報を前処理するための、
    その内容を決定するために、前記キャプチャされた情報をデコードするための、
    該ユーザを認証するために、該決定された内容と格納された内容とを比較するための、および、
    前記ユーザが認証される場合、ファンクションをコールするためであって、該ファンクションが、該認証されたユーザの認可に関連する値を特定し、および、該認可されたユーザが、該デバイスを介して利用可能なサービスにアクセスすることを許可する該ファンクションを実行するパラメータを有する、該ファンクションをコールするための、
    命令である、製造品。
22. 前記キャプチャされた情報を前処理する命令が、音声、画像、現在のユーザによって提供されたバイオメトリックデータのうちの少なくとも一つを前処理する命令を含む、請求項２１に記載の製造品。
23. 前記ファンクションを実行する命令が、前記認証されたユーザが制限された無線周波数およびＩＰ電話サービスのうちの少なくとも一つにアクセスすることを許可する命令を含む、請求項２１に記載の製造品。
24. 前記キャプチャされた情報をデコードする命令が、複数の異なるデコーダのうちの一つが首尾良いデコードを提供するまで、該複数の異なるデコーダを用いて、該キャプチャされた情報を繰り返しデコードすることを企てる命令を含む、請求項２１に記載の製造品。
25. 前記機械可読媒体が、前記決定された内容を、ファンクションマスクによって示され、前記ファンクションおよび、該ファンクションにパスさせるための前記パラメータを特定するファンクションストリングに関連付けるために、該機械可読媒体に格納された命令をさらに含む、請求項２１に記載の製造品。
26. デバイスにキャプチャされた主題に関連するメディアを受信する手段と、
    該受信されたメディアをデコードし、その内容を決定する手段と、
    該決定された内容をファンクションストリングに関連付ける手段と、
    、該ファンクションストリングを介して識別されたファンクションをコールおよび実行し、該キャプチャされた主題に関連する該デバイスに情報を返す手段と
    を備える、システム。
27. 前記受信されたメディアをデコードする手段が、人間に認知可能な、または人間には認知不可能なメディアをデコードする手段を含む、請求項２６に記載のシステム。
28. 前記デバイスから受信された通信から前記受信されたメディアを抽出する手段と、前記関連する情報を有する返答を生成する手段とをさらに備える、請求項２６に記載のシステム。
29. 前記デバイスのユーザを認証する手段をさらに備える、請求項２６に記載のシステム。
30. 前記主題をキャプチャする手段と、デコードされる該キャプチャされた主題を送信する手段とをさらに備える、請求項２６に記載のシステム。
31. 前記ファンクションおよびそのパラメータに関連されるファンクションストリングを規定する手段をさらに備える、請求項２６に記載のシステム。
32. ファンクション、参照データ、および、前記デバイスに返されるメディアに関連する情報を格納する手段をさらに備える、請求項２６に記載のシステム。
33. 前記主題をキャプチャすることに関連された第１のユーザアクションを処理する手段と、
    該キャプチャされた主題に関連された製品の購入に関連された第２のユーザアクションを処理する手段と
    をさらに備える、請求項２６に記載のシステム。
34. キャプチャされたメディアを受信する第１のユニットと、
    該キャプチャされたメディアをデコードするために、該第１のユニットに結合される少なくとも一つの第２のユニットと、
    該デコードされたメディアに対応するファンクションおよびそのパラメータを要求するために、該第２のユニットに結合される第３のユニットと、
    該要求されたファンクションを実行し、および、該キャプチャされたメディアに関連された、該実行されたファンクションの結果を返すために、該第３のユニットに結合される第４のユニットと
    を備える、装置。
35. デコードに先立って、前記キャプチャされたメディアを前処理するための、少なくとも一つの第２のユニットに結合される、少なくとも一つの第５のユニットをさらに備える、請求項３４に記載の装置。
36. 前記少なくとも一つの第５のユニットが、その質を向上させ、あるいはそのフォーマットを変更するために、動作を前記キャプチャされたメディアに適用する、動作セットを有する複数のフィルタを備える、請求項３５に記載の装置。
37. 前記少なくとも一つの第２のユニットが、異なるメディアタイプに使用可能な複数の異なるデコーダを含む、請求項３４に記載の装置。
38. ファンクションストリングを、前記デコードされたメディアに関連付ける別のユニットをさらに備える、請求項３４に記載の装置。
39. 少なくとも一つのプロセッサおよび格納媒体をさらに備え、前記ユニットの少なくとも一部が、該格納媒体上に格納されるソフトウェアにおいて具現化され、および、該プロセッサによって実行可能である、請求項３４に記載の装置。
40. ファンクション情報、パラメータおよびパラメータ値、ならびにメディアを格納するために、格納ユニットをさらに備える、請求項３４に記載の装置。
41. 前記格納ユニットが、前記デコードされたメディアをファンクションに関連付けるために、メディア−ファンクションルックアップユニットを含む、請求項４０に記載の装置。
42. 前記ファンクションが実行される少なくとも別のユニットをさらに備える、請求項３４に記載の装置。
43. 前記少なくとも別のユニットが、他のユニットの少なくとも一部から遠隔に配置される、請求項４２に記載の装置。
44. ユーザデバイスから受信された通信から、前記キャプチャされたメディアを抽出するために、および、該キャプチャされたメディアを前記第１のユニットに提供するために、メールユニットをさらに備える、請求項３４に記載の装置。
45. 前記ユーザデバイスへの返答として、前記実行されたファンクションの結果をパッケージするために、返答ユニットをさらに備える、請求項４４に記載の装置。
46. 前記メールユニットおよび返答ユニットの一つか、または両方が、他のユニットからは遠隔にあるメールゲートウェイデバイスに配置される、請求項４５に記載の装置。
47. 前記第２のユニットの一つが、ユーザ認証ユニットを含む、請求項３４に記載の装置。
48. 前記第２のユニットが、デコーダプラグインプログラムを備える、請求項３４に記載の装置。
49. 前記ユニットの少なくとも一部の要素が、オブジェクトとして具現化される、請求項３４に記載の装置。

Images