JP2014531664A - モバイル環境における漸進的パターンマッチングのための方法および装置 - Google Patents

モバイル環境における漸進的パターンマッチングのための方法および装置 Download PDF

Info

Publication number
JP2014531664A
JP2014531664A JP2014531834A JP2014531834A JP2014531664A JP 2014531664 A JP2014531664 A JP 2014531664A JP 2014531834 A JP2014531834 A JP 2014531834A JP 2014531834 A JP2014531834 A JP 2014531834A JP 2014531664 A JP2014531664 A JP 2014531664A
Authority
JP
Japan
Prior art keywords
features
match
local
matched
additional
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2014531834A
Other languages
English (en)
Other versions
JP5989781B2 (ja
Inventor
チャンドーク、ラビンダー・ピー.
クロッケット、ダグラス・エム.
バプスト、マーク
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Qualcomm Inc
Original Assignee
Qualcomm Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Qualcomm Inc filed Critical Qualcomm Inc
Publication of JP2014531664A publication Critical patent/JP2014531664A/ja
Application granted granted Critical
Publication of JP5989781B2 publication Critical patent/JP5989781B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/51Indexing; Data structures therefor; Storage structures
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/94Hardware or software architectures specially adapted for image or video understanding

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Multimedia (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Information Transfer Between Computers (AREA)
  • Telephonic Communication Services (AREA)
  • Image Analysis (AREA)

Abstract

クライアントサーバネットワークにおいて効率的なパターンマッチングを実行するための方法および装置について本明細書で説明する。通信デバイスは、マッチされるべきオブジェクトを収集する。マッチされるべきオブジェクトから特徴の少なくとも1つの低減セットが抽出され、マッチされるべきオブジェクトが通信デバイスに記憶されたローカルライブラリ中の複数の既知のオブジェクトのうちの1つにマッチするかどうかに関する判断が生成される。ローカルマッチがローカルライブラリ中に存在することを判断が示した場合、オブジェクトのマッチを表す指示が提示される。ローカルマッチがローカルライブラリ中に存在しないことを判断が示したときは、リモートマッチング判断のために特徴の少なくとも1つの低減セットを含むマッチ要求が送信される。いくつかの態様によれば、リモートマッチング判断のために一連の1つまたは複数のマッチ要求が送信され得る。

Description

米国特許法第119条に基づく優先権の主張
本特許出願は、本出願の譲受人に譲渡され、参照により明確に本明細書に組み込まれる、2011年9月20日に出願された「Methods and Apparatus for Progressive Pattern Matching in Mobile Environment」と題する仮出願第61/536,905号の優先権を主張する。
本出願は、一般にパターンマッチングに関し、より詳細には、モバイル環境におけるパターンマッチングに関連する計算作業負荷および/または通信作業負荷を分散させることに関する。
拡張現実(augmented reality)、ビジュアル探索、画像認識など、パターン認識に依拠するモバイルアプリケーションは、大量の計算能力を必要とする。さらに、通信デバイス、たとえばクライアントデバイス上、またはインターネット上のサーバなどのリモートコンピューティングデバイス内のいずれかで、ターゲットパターンのライブラリがアクセス可能でなければならない。計算制限およびターゲットライブラリ制限は、そのようなアプリケーションの有用性およびユーザエクスペリエンスを制限することがある。さらに、これらの制限は、クライアントとサーバとの間の通信ネットワークに過度の負担をかけることがある。
以下で、1つまたは複数の態様の基本的理解を与えるために、そのような態様の簡略化された概要を提示する。この概要は、すべての企図された態様の包括的な概観ではなく、すべての態様の主要または重要な要素を識別するものでも、いずれかまたはすべての態様の範囲を定めるものでもない。その唯一の目的は、後で提示するより詳細な説明の導入として、1つまたは複数の態様のいくつかの概念を簡略化された形で提示することである。
いくつかの態様によれば、クライアントサーバネットワークにおいてパターンマッチングを効率的に実行する方法は、通信デバイスが、マッチされるべきオブジェクトを収集することを含む。本方法は、マッチされるべきオブジェクトから特徴の少なくとも1つの低減セットを抽出することと、マッチされるべきオブジェクトが通信デバイスに記憶されたローカルライブラリ中の複数の既知のオブジェクトのうちの1つにマッチするかどうかに関する判断を収集することとをさらに含む。本方法は、ローカルマッチがローカルライブラリ中に存在することを判断が示した場合、オブジェクトのマッチを表す指示を提示することをさらに含む。さらに、本方法は、ローカルマッチがローカルライブラリ中に存在しないことを判断が示したとき、リモートマッチング判断のために特徴の少なくとも1つの低減セットを含むマッチ要求を送信することを含む。いくつかの態様によれば、リモートマッチング判断のために一連の1つまたは複数のマッチ要求が送信され得る。
いくつかの態様によれば、コンピュータプログラム製品は、マッチされるべきオブジェクトを収集することをコンピュータに行わせるための少なくとも1つの命令を備えるコンピュータ可読媒体を備える。本コンピュータ可読媒体は、マッチされるべきオブジェクトから特徴の少なくとも1つの低減セットを抽出することをコンピュータに行わせるための少なくとも1つの命令をさらに備える。本コンピュータ可読媒体はまた、マッチされるべきオブジェクトがローカルライブラリ中の複数の既知のオブジェクトのうちの1つにマッチするかどうかに関する判断を生成することをコンピュータに行わせるための少なくとも1つの命令を含む。ローカルマッチがローカルライブラリ中に存在することを判断が示した場合、オブジェクトのマッチを表す指示を提示することをコンピュータに行わせるための少なくとも1つの命令も、本コンピュータ可読媒体中に含まれる。さらに、本コンピュータ可読媒体は、ローカルマッチがローカルライブラリ中に存在しないことを判断が示したとき、リモートマッチング判断のために特徴の少なくとも1つの低減セットを含むマッチ要求を送信することをコンピュータに行わせるための少なくとも1つの命令を含む。
いくつかの態様によれば、装置は、マッチされるべきオブジェクトを収集するための手段を備える。本装置はまた、マッチされるべきオブジェクトから特徴の少なくとも1つの低減セットを抽出するための手段を含む。さらに、本装置は、マッチされるべきオブジェクトがローカルライブラリ中の複数の既知のオブジェクトのうちの1つにマッチするかどうかに関する判断を生成するための手段を含み得る。本装置はまた、ローカルマッチがローカルライブラリ中に存在することを判断が示した場合、オブジェクトのマッチを表す指示を提示するための手段を含む。さらに、本装置は、ローカルマッチがローカルライブラリ中に存在しないことを判断が示したとき、リモートマッチング判断のために特徴の少なくとも1つの低減セットを含むマッチ要求を送信するための手段を含む。
いくつかの態様によれば、クライアントサーバネットワークにおいてパターンマッチングを効率的に実行するための装置は、マッチされるべきオブジェクトを収集することと、マッチされるべきオブジェクトから特徴の少なくとも1つの低減セットを抽出することと、マッチされるべきオブジェクトがローカルライブラリ中の複数の既知のオブジェクトのうちの1つにマッチするかどうかに関する判断を生成することと、ローカルマッチがローカルライブラリ中に存在することを判断が示した場合、オブジェクトのマッチを表す指示を提示することと、ローカルマッチがローカルライブラリ中に存在しないことを判断が示したとき、リモートマッチング判断のために特徴の少なくとも1つの低減セットを含むマッチ要求を送信することとを行うように構成された少なくとも1つのプロセッサを備える。本装置はまた、少なくとも1つのプロセッサに結合されたメモリを含み得る。
いくつかの態様によれば、情報を提示するためにパターン認識を使用する方法は、リモートに位置する計算構成要素における通信デバイスから、マッチされるべきオブジェクトから抽出された特徴の初期低減セットを受信することを備える。本方法はまた、マッチされるべきオブジェクトから抽出された特徴の追加の低減セットを漸進的に(progressively)受信することを含む。さらに、本方法は、信頼性ファクタを満たす潜在的なマッチが見つかるまで、特徴の初期低減セットおよび特徴の追加の低減セットのいずれかまたは両方にマッチするオブジェクトについてライブラリを探索することを含む。本方法はまた、オジェクトのための潜在的なマッチを判断すると、マッチしたオブジェクトの識別情報を送信することを含む。
いくつかの態様によれば、コンピュータプログラム製品は、リモートに位置する通信デバイスから、マッチされるべきオブジェクトから抽出された特徴の初期低減セットを受信することをコンピュータに行わせるための少なくとも1つの命令を備えるコンピュータ可読媒体を備える。本コンピュータ可読媒体はまた、マッチされるべきオブジェクトから抽出された特徴の追加の低減セットを漸進的に受信することをコンピュータに行わせるための少なくとも1つの命令を含む。本コンピュータ可読媒体は、信頼性ファクタを満たす潜在的なマッチが見つかるまで、特徴の初期低減セットおよび特徴の追加の低減セットのいずれかまたは両方にマッチするオブジェクについてライブラリを探索することをコンピュータに行わせるための少なくとも1つの命令をさらに含む。さらに、本コンピュータ可読媒体は、オブジェクトのための潜在的なマッチを判断すると、マッチしたオブジェクトの識別情報を送信することをコピュータに行わせるための少なくとも1つの命令を含む。
いくつかの態様によれば、装置は、リモートに位置する通信デバイスから、マッチされるべきオブジェクトから抽出された特徴の初期低減セットを受信するための手段を備える。本装置はまた、マッチされるべきオブジェクトから抽出された特徴の追加の低減セットを漸進的に受信するための手段を含む。さらに、本装置は、信頼性ファクタを満たす潜在的なマッチが見つかるまで、特徴の初期低減セットおよび特徴の追加の低減セットのいずれかまたは両方にマッチするオブジェクトについてライブラリを探索するための手段を含む。本装置はまた、オブジェクトのための潜在的なマッチを判断すると、マッチしたオブジェクトの識別情報を送信するための手段を含む。
いくつかの態様によれば、情報を提示するためにパターン認識を使用するための装置は、リモートに位置する通信デバイスから、マッチされるべきオブジェクトから抽出された特徴の初期低減セットを受信することと、マッチされるべきオブジェクトから抽出された特徴の追加の低減セットを漸進的に受信することと、信頼性ファクタを満たす潜在的マッチが見つかるまで、特徴の初期低減セットおよび特徴の追加の低減セットのいずれかまたは両方にマッチするオブジェクトについてライブラリを探索することと、オブジェクトのための潜在的なマッチを判断すると、マッチしたオブジェクトの識別情報を送信することとを行うように構成されたプロセッサを備える。本装置はまた、少なくとも1つのプロセッサに結合されたメモリを含む。
上記および関係する目的を達成するために、1つまたは複数の態様は、以下で十分に説明し、特に特許請求の範囲で指摘する特徴を備える。以下の説明および添付の図面に、1つまたは複数の態様のうちのいくつかの例示的な特徴を詳細に記載する。ただし、これらの特徴は、様々な態様の原理が採用され得る様々な方法のほんのいくつかを示すものであり、この説明は、すべてのそのような態様およびそれらの均等物を含むものとする。
以下で、開示する態様を説明するために、および開示する態様を限定しないように提供された添付の図面とともに、開示する態様について説明する。図中、同様の表示は同様の要素を示す。
様々な態様を実装するための例示的なシステムの図。 いくつかの態様による例示的な通信デバイスを示す図。 いくつかの態様による例示的なコンピューティングデバイスを示す図。 いくつかの態様による、パターンマッチングを実行するための方法を示す図。 いくつかの態様による、情報を提示するためにパターン認識を使用するための方法を示す図。 いくつかの態様による、例示的なオブジェクトと特徴の低減セットとを示す図。 いくつかの態様による、パターンマッチングを実行するための装置を示す図。 いくつかの態様による、情報を提示するためにパターン認識を使用するための装置を示す図。
次に、図面を参照しながら様々な態様について説明する。以下の説明では、説明のために、1つまたは複数の態様の完全な理解を与えるために多数の具体的な詳細を記載する。ただし、そのような(1つまたは複数の)態様は、これらの具体的な詳細なしに実施できることは明らかであろう。
本明細書で説明する装置および方法は、モバイル環境においてパターンマッチングを実行するときに計算コストおよび通信コストを低減することを可能にする。通信デバイスは、識別が望まれるオブジェクトに対して初期処理を実行するように構成され得る。オブジェクトは、たとえば、画像、ビデオクリップ、オーディオクリップ、テキストなどを含み得る。通信デバイスは、ローカルオブジェクトライブラリを維持し得、ローカルオブジェクトライブラリを探索することによって、識別されるべきオブジェクトをマッチさせようという1つまたは複数の初期試みを行い得る。ローカル探索が不成功であった場合、通信デバイスは、オブジェクトから特徴の1つまたは複数の低減セットを抽出し、識別情報を要求するために特徴の低減セットをサーバに漸進的に送ることによって、オブジェクトのサイズを低減し得る。サーバは、特徴の漸進的に受信された低減セットに基づいてオブジェクトのためのマッチを見つけようと試み、各々それぞれの信頼性ファクタを有する複数の可能なマッチを与え得る。通信デバイスは、オブジェクトから抽出された特徴の初期低減セットをサーバに送ることによって開始し得、信頼性ファクタを満たすマッチが見つかるまで、オブジェクトに関係する特徴の追加の低減セットを漸進的に送り得、特徴の追加の低減セットの各々は漸進的により高い解像度を有するか、またはオブジェクトに関する異なる情報を与える。
図1は、いくつかの態様による、漸進的パターンマッチングを実行するために使用され得る例示的なクライアントサーバシステム100を示す。システム100は、通信デバイス102など、1つまたは複数のクライアントデバイスと、1つまたは複数のアクセスネットワーク106と、1つまたは複数のサーバまたはコンピューティングデバイス108とを含み得る。通信デバイス102は、たとえば、アクセスネットワーク106に接続し得るデータデバイスまたはセルラーデバイスを含み得る。通信デバイス102はまた、メディアコンテンツ、たとえば、メディアコンテンツの中でも、ピクチャ、ビデオ、およびサウンドファイルをキャプチャすることが可能なデータデバイスまたはセルラーデバイスを含み得る。通信デバイス102は、たとえば、デバイスの中でも、セルラー電話、ナビゲーションシステム、コンピューティングデバイス、カメラ、PDA、音楽デバイス、またはワイヤードまたはワイヤレス接続機能を有するハンドヘルドデバイスであり得る。図1に示すように、通信デバイス102は、要求されたオブジェクトを識別することを可能にするためにオブジェクト識別構成要素104を含み得る。アクセスネットワーク106は、通信デバイス102およびコンピューティングデバイス108に、様々なタイプの通信接続、たとえばワイヤードおよび/またはワイヤレス通信接続を与え得る。一態様では、たとえば、通信デバイス102は、限定はしないが、様々な形態のメディアコンテンツなど、オブジェクトをキャプチャし、アクセスネットワーク106を介してコンピューティングデバイス108に送り得る。コンピューティングデバイス108はリモートオブジェクト識別構成要素110を含み得る。たとえば、通信デバイス102は、接続されたカメラを使用して画像の形態のオブジェクトをキャプチャし得、オブジェクトを識別したいという要求とともに、アクセスネットワーク106を介してコンピューティングデバイス108にキャプチャされたオブジェクトを送信し得る。オブジェクトを識別するために漸進的パターンマッチングが使用され得、オブジェクト識別構成要素104は、最初に、オブジェクトから特徴の複数の低減セットを漸進的に抽出し得、たとえば、通信デバイス102がオブジェクトを識別することができなかったとき、リモートオブジェクト識別構成要素110を使用してオブジェクトを識別する際に使用するために特徴の抽出された低減セットをサーバに漸進的に送り得る。オブジェクトをキャプチャすることの他の例としては、たとえば、オーディオレコーダを使用してオーディオクリップをキャプチャすること、テキストスキャニングアプリケーションによってテキストをキャプチャすること、および/または他のオブジェクストキャプチャがある。
一態様による、通信デバイス102が図2により詳細に示されている。通信デバイス102は、本明細書で説明する構成要素および機能のうちの1つまたは複数に関連する処理機能を実行するためのプロセッサ202を含み得る。プロセッサ202は、プロセッサまたはマルチコアプロセッサの単一または複数のセットを含むことができる。さらに、プロセッサ202は統合処理システムおよび/または分散処理システムとして実装され得る。
通信デバイス102は、本明細書で使用されるデータ、および/または、プロセッサ202によって実行されるアプリケーションのローカルバージョンを記憶するなどのために、メモリ204をさらに含む。メモリ204は、ランダムアクセスメモリ(RAM)、読取り専用メモリ(ROM)、テープ、磁気ディスク、光ディスク、揮発性メモリ、不揮発性メモリ、およびそれらの任意の組合せなど、コンピュータによって使用可能な任意のタイプのメモリを含むことができる。アプリケーションは、たとえば、1つまたは複数のコンテキスト固有パターンマッチングアプリケーションを含み得る。
さらに、通信デバイス102は、本明細書で説明するように、ハードウェア、ソフトウェア、およびサービスを利用して、1つまたは複数の相手との通信を確立し、維持することを行う通信構成要素206を含み得る。通信構成要素206は、通信デバイス102上の構成要素間、ならびに通信デバイス102と、通信ネットワーク上に位置するデバイスおよび/あるいは通信デバイス102に直列またはローカルに接続されたデバイスなどの外部デバイスとの間の通信を伝え得る。たとえば、通信構成要素206は、1つまたは複数のバスを含み得、それぞれ送信機および受信機に関連する、外部デバイスとインターフェースするように動作可能な送信チェーン構成要素および受信チェーン構成要素をさらに含み得る。
さらに、通信デバイス102は、データストア208をさらに含み得、データストア208は、本明細書で説明する態様に関連して採用される情報、データベース、およびプログラムの大容量記憶を与えるハードウェアおよび/またはソフトウェアの任意の適切な組合せであり得る。たとえば、データストア208は、プロセッサ202によって現在実行されていないアプリケーションのためのデータリポジトリ(data repository)であり得る。
通信デバイス102は、さらに、通信デバイス102のユーザから入力を受けるように動作可能であり、ユーザへの提示のための出力を生成するようにさらに動作可能なユーザインターフェース構成要素210を含む。ユーザインターフェース構成要素210は、限定はしないが、キーボード、ナンバーパッド、マウス、タッチセンシティブディスプレイ、ナビゲーションキー、ファンクションキー、マイクロフォン、ボイス認識構成要素、スチールカメラ、ビデオカメラ、オーディオレコーダ、および/または入力を受信することが可能な他の機構、またはそれらの任意の組合せを含む、1つまたは複数の入力デバイスを含み得る。1つまたは複数の入力デバイスは、パターンマッチングが望まれるオブジェクトをキャプチャするために使用され得る。さらに、ユーザインターフェース構成要素210は、限定はしないが、ディスプレイ、スピーカ、触覚フィードバック機構、プリンタ、出力を提示することが可能な他の機構、またはそれらの任意の組合せを含む、1つまたは複数の出力デバイスを含み得る。
通信デバイス102は、オブジェクト識別構成要素104を含み得、オブジェクト識別構成要素104は、パターンマッチングが望まれるオブジェクトから特徴の低減セットを作成するように構成された特徴抽出モジュール212を含み得る。特徴の低減セットは、元のオブジェクトよりもメモリまたはデータサイズが小さく、それにより通信コストおよび/または処理コストが低減される。通信デバイス102は、たとえば、静止画像、動画像、オーディオ、テキスト、ビデオ、マトリックス、バーコード、単語、文字、手話ジェスチャ、曲など、複数のタイプのオブジェクトのためにパターンマッチングを要求するように構成され得る。たとえば、元のオブジェクトは、比較的大きい量のデータによって定義されまたは表され得、比較的大きい量のデータは、相応して、ストレージのための比較的大きい量のメモリスペース、ならびにパターン認識を実行するための計算電力および通信電力を必要とする。したがって、いくつかの態様では、特徴抽出モジュール212は、サイズがより小さい、たとえば、元の量のデータと比較して相対的により小さい量のデータを使用してオブジェクトまたはオブジェクトの一部を表す、オブジェクトから抽出された特徴の1つまたは複数の低減セットを作成する。特徴を抽出するための技法は、たとえば、切り抜き、エッジ検出、順次走査、コーナー検出などを含み得る。
いくつかの態様によれば、オブジェクト識別構成要素104はまた、サーバなどにおいてリモートに記憶され得る既知のオブジェクトを表す比較的大きい量または数の共通パターンと比較して相対的に小さい量または数の共通パターンを記憶するためのローカルパターンマッチングライブラリ214を含む。これは、通信デバイス102が、一例ではオブジェクト識別コンポーネント104の一部であり得るマッチ管理モジュール216の実行などによって、外部サーバと通信することなしに、マッチされるべきオブジェクトとローカルパターンマッチングライブラリ214中に表されたオブジェクトとの間の共通パターンを迅速に検出することを可能にする。たとえば、一態様では、マッチ管理モジュール216は、1つまたは複数のマッチング機能を含み得、マッチング機能は、マッチされるべきオブジェクトの1つまたは複数の特徴を、ローカルパターンマッチングライブラリ214中に表されたオブジェクトの1つまたは複数の特徴と比較し、たとえば、類似度のレベルに基づいて、マッチを判断する。したがって、いくつかの態様では、マッチ管理モジュール216は、マッチされるべきオブジェクトの全体に基づいて、マッチをローカルパターンマッチングライブラリ214中で見つけようと試み、他の態様では、マッチ管理モジュール216は、特徴抽出モジュール212によって生成されたマッチされるべきオブジェクトの特徴の低減セットのうちの1つまたは複数に基づいて、漸進的にマッチをローカルパターンマッチングライブラリ214中で見つけようと試みる。ローカルパターンマッチングライブラリ214によってマッチされ得ないオブジェクトについて、マッチ管理モジュール216は、外部サーバに、特徴抽出モジュール212によって作成された特徴の低減セットのうちの1つまたは複数を漸進的に送り得る。マッチ管理モジュール216は、パターンマッチングのために、コンピューティングデバイス108など、外部サーバに特徴の初期低減セットを漸進的に送るように構成された送信機能を含み得る。漸進的送信アルゴリズムを実行するマッチ管理モジュール216は、マッチが見つかるまで、オブジェクトから抽出された特徴の追加の低減セットを漸進的に送り得る。特徴の追加の低減セットは、オブジェクトを識別するために使用され得るオブジェクトから抽出された追加情報および/または異なる情報を与える。いくつかの態様では、マッチ管理モジュール216は、マッチが受信されるまで実質的に連続的に特徴の追加の低減セットを送り得る。他の態様では、特徴の追加の低減セットは、マッチを待つ間周期的に送られ得る。
マッチ管理モジュール216はまた、サーバから潜在的なマッチの指示を受信するように構成され得る。指示は、たとえば、潜在的マッチングオブジェクトのテキスト識別情報、潜在的マッチングオブジェクトに関する情報を含んでいるウェブサイトへのリンクなどを含み得る。マッチ管理モジュール216は、ユーザインターフェースを介してユーザに潜在的なマッチを提示し得る。ユーザからの応答は、潜在的なマッチのうちの1つが実際のマッチであるかどうかを示し得る。したがって、ユーザ入力を受信すると、マッチ管理モジュール216は、ユーザ入力がマッチを示さなかった場合、漸進的送信を続け得るか、またはマッチが示された場合、漸進的通信を終了し得る。
たとえば、一態様では、特徴の初期低減セットは、オブジェクトに対してエッジ検出動作を実行することによって作成され得、オブジェクトのエッジのみが送信され得る。通信デバイス102が、エッジ検出動作によって生成された特徴の初期低減セットに基づくマッチを受信しなかった場合、マッチ管理モジュール216は、特徴の初期低減セットよりも多い特徴または異なる特徴を有する特徴の別の低減セットを送り得る。たとえば、一態様では、特徴の漸進的に送信された低減セットは、特徴の初期低減セットによって定義されたエッジ内の漸進的に増加する数の追加または異なる特徴を含み得る。いくつかの態様では、マッチ管理モジュール216は、マッチが見つかるまで、特徴の追加の低減セットを自動的に送り得る(たとえば、クライアント主導型マッチ要求)。他の態様では、マッチ管理モジュール216は、パターンマッチを実行するサーバによって要求されると、特徴の追加の低減セットを送り得る(たとえば、サーバ主導型要求)。
いくつかの態様では、マッチ管理モジュール216は、特徴の低減セットのうちの1つまたは複数とともにコンテキスト情報を送るように構成され得る。コンテキスト情報は、たとえば、ロケーション情報、ユーザ選好情報、時間、および/またはマッチを見つける際にサーバを助けることができる他のコンテキスト情報を含み得る。コンテキスト情報は、ユーザ提供され得るか、または通信デバイス102の1つまたは複数の構成要素との対話によって導出され得る。たとえば、通信デバイス102が、全地球測位システム(GPS)モジュールなど、ロケーションモジュールを含む場合、マッチ管理モジュール216は、オブジェクトに関連するロケーション情報を取得するためにロケーションモジュールに連絡し得る。
図3に、コンピューティングデバイス108をより詳細に示す。コンピューティングデバイス108は、プロセッサ302と、メモリ304と、通信構成要素306と、データストア308と、アプリケーションプログラミングインターフェース(API)など、ユーザインターフェース310とを含み得る。これらの構成要素は、通信デバイス102の対応する構成要素と同様の方法で動作し、さらなる説明は行わない。コンピューティングデバイス108はまた、リモートオブジェクト識別構成要素110を含み得、リモートオブジェクト識別構成要素110は、通信デバイス102などのクライアントデバイスから受信したオブジェクトについてパターンマッチングを行うように構成されたパターンマッチングモジュール312を含み得る。パターンマッチングモジュール312は、受信されたオブジェクトについて1つまたは複数の可能なマッチを計算するために1つまたは複数の部分マッチング関数(F(x))を実装し得、各可能なマッチに関連する信頼性ファクタを与え得る。たとえば、信頼性ファクタは、パターンのある割合が既知のパターンにマッチすることを示し得る。信頼性ファクタは、オブジェクトと可能なマッチとの間の相関の程度を表し得る。いくつかの態様では、コンピューティングデバイス108上の部分マッチング関数(F(x))は、通信デバイス102上の1つまたは複数のマッチング関数と同じであり得、他の態様では、通信デバイス102上のマッチング関数は、部分マッチング関数(F(x))よりも単純なバージョンであり得る。パターンマッチングモジュール312は、処理されるべき特徴の初期低減セットを受信し得、特徴のこの初期低減セットを使用してマッチを与えようと試み得る。あらかじめ定義された最小信頼性ファクタを満たすマッチが見つからなかった場合、パターンマッチングモジュール312は、特徴の追加の受信された低減セット、たとえば、通信デバイス102によって漸進的に送られる特徴の追加の低減セットを用いて探索を繰り返し得る。
いくつかの態様では、リモートオブジェクト識別構成要素110は、特徴の受信された低減セットにマッチするオブジェクトについて探索するためのパターンマッチングライブラリ314を含み得る。パターンマッチングライブラリ314は、オブジェクトに関する識別情報、たとえば既知のオブジェクト、ならびにマッチしたオブジェクトに関連するショッピングウェブサイトまたは情報ウェブサイトへのユニバーサルリソースロケータ(URL)、ロケーション情報、広告など、他の情報を記憶し得る。潜在的なマッチを与えるとき、パターンマッチングモジュール312はまた、オブジェクトに対応する追加情報を与え得る。
図4に、クライアントサーバネットワークにおいてパターンマッチングを効率的に実行するための例示的な方法400を示す。いくつかの態様では、方法400は、図1および図2に示された通信デバイス102によって実行され得る。402に示すように、マッチされるべきオブジェクトを収集する。たとえば、通信デバイス102は、スチールカメラ、ビデオカメラ、オーディオレコーダ、文字認識モジュールなど、それの入力デバイスのうちの1つによってオブジェクトを収集し得る。オブジェクトは、次いで、404に示すように、マッチされるべきオブジェクトから特徴の少なくとも1つの低減セットを抽出するために特徴抽出モジュール212(図2)などによって実行される、特徴抽出プロセスを経る。406に示すように、マッチされるべきオブジェクトが通信デバイスに記憶されたローカルライブラリ中の複数の既知のオブジェクトのうちの1つにマッチするかどうかに関する判断を生成する。いくつかの態様では、たとえば、マッチ管理モジュール216は、マッチされるべき完全オブジェクトを使用してローカルパターンマッチングライブラリ214を探索し得る。他の態様では、ローカルパターンマッチングライブラリは、特徴の1つまたは複数の低減セットを使用して探索され得る。408に示すように、ローカルマッチがローカルライブラリ中に存在することを判断が示したとき、オブジェクトのマッチを表す指示を提示する。410に示すように、ローカルマッチが見つからなかった場合、リモートマッチングのために特徴の少なくとも1つの低減セットを含むマッチ要求を送信する。たとえば、マッチ要求は、図1および図3に示されたコンピューティングデバイス108など、外部計算デバイスに送信され得る。いくつかの態様によれば、特徴の初期低減セットは、マッチされるべきオブジェクトの元のデータおよび/またはメモリサイズと比較してより小さいデータおよび/またはメモリサイズを有する特徴の低減セットであり得る。いくつかの態様では、信頼性ファクタを満たすマッチが戻されるまで、特徴の追加の低減セットがサーバに送信され得る。たとえば、特徴の追加の低減セットは、実質的に連続的にまたは周期的に送信され得る。一態様では、特徴の各追加の低減セットは、特徴の前に送信された低減セットよりもわずかに大きくなり、および/またはより多くの情報または異なる情報を含み得る。いくつかの態様では、特徴の1つまたは複数の低減セットはそれぞれ、ローカルライブラリの探索を実行することより前に、または処理のためにサーバに特徴の低減セットを送信することより前に抽出される。他の態様では、特徴の初期低減セットが抽出され、必要に応じて特徴の追加の低減セットが抽出される。
図4は、リモート計算構成要素にマッチ要求を送信することより前にローカルライブラリが探索される例示的な方法を示すが、いくつかの態様では、ローカル探索は実行され得ない。たとえば、通信デバイス102は、マッチされるべき特定のオブジェクトに関してローカルマッチの可能性が低いと判断するように構成され得る。したがって、マッチされるべきオブジェクトから抽出された特徴の1つまたは複数の低減セットが、最初にローカル探索を実行することなしにリモート計算構成要素に直接送信され得る。
いくつかの態様によれば、通信デバイス102は、1つまたは複数のコンテキスト固有パターンマッチングアプリケーションを含み得る。たとえば、製品またはサービスプロバイダは、いくつかのタイプのオブジェクトを識別するためのアプリケーションを提供し得る。たとえば、音楽クリップをマッチさせるため、道路標識、花、バグ、手話ジェスチャ、バーコードを認識するためなどに特定のパターンマッチングアプリケーションが提供され得る。これらのアプリケーションは、たとえば、メモリ204および/またはデータストア208(図2)に記憶され得る。したがって、特徴抽出モジュール212および/またはマッチ管理モジュール216は、1つまたは複数のコンテキスト固有パターンマッチングアプリケーションの起動によって実装され得る。いくつかの態様では、特徴の抽出された低減セットに関連するコンテキスト情報は、コンテキスト固有パターンマッチングアプリケーションに固有であり得る。
図5に、情報を提示するためにパターン認識を使用するための例示的な方法500を示す。いくつかの態様では、方法500は、図1および図3に示されたコンピューティングデバイス108によって実装され得る。502に示すように、マッチされるべきオブジェクトからの特徴の初期低減セットを受信する。504に示すように、特徴の追加の低減セットを漸進的に受信する。506に示すように、信頼性ファクタを満たす潜在的なマッチが見つかるまで、特徴の初期低減セットおよび特徴の追加の低減セットのいずれかまたは両方にマッチするオブジェクトについてライブラリを探索する。いくつかの態様では、コンピューティングデバイスは、各潜在的なマッチについて信頼性ファクタを計算し、マッチを示すための最小信頼性レベルを割り当てる。506に示すように、オブジェクトのための潜在的なマッチを判断すると、マッチしたオブジェクトの識別情報とマッチしたオブジェクトに関する追加情報とを送信する。いくつかの態様では、複数の潜在的なマッチが送信され得る。他の態様では、最も高い信頼性ファクタを有する単一のオプションのみが送信される。いくつかの態様によれば、コンピューティングデバイス108は、マッチしたオブジェクトに関する追加情報を送信し得る。たとえば、追加情報は、マッチしたオブジェクト関連するショッピングウェブサイトまたは情報ウェブサイトへのURLリンク、ロケーション情報、広告などを含み得る。
説明する装置および方法が実装され得る一例は、拡張現実(AR)である。たとえば、デバイスが、パンクしたタイヤのピクチャをサーバに送信する場合、サーバは、タイヤを交換するための段階的な命令を与える、デバイスのディスプレイ上に重ねられるべき情報を与え得る。低解像度パターンから開始する漸進的パターン認識が有益である別の例は、リモートコンピュータベースのアメリカ手話言語(ASL:American Sign Language)翻訳機である。意味をテキストまたは音声に変換するために、ASLジェスチャを表す指および手の動きのビデオをリモートコンピュータ、たとえばインターネット上のサーバに送るのではなく、ジェスチャはデバイス上で検出され得、画像の低減データセットバージョンがアップロードされ得、関係するデータの量をしばしば2桁または3桁だけ低減する。
図6に、元のオブジェクトと、本明細書で説明する漸進的探索が適用され得る画像の例示的なセットの形態で元のオブジェクトから抽出された特徴の一連の低減セットとの一態様を示す。602に示すように、カエデの葉の元の画像がキャプチャされている。元の画像は、近似された245kBの画像データを送ることを必要とするであろう。604に示すように、バックグラウンドデータが切り抜きによって元の画像から削除された。単に背景情報を削除することにより、著しくより小さい、約80kBの画像が生じる。606に示すように、JPEGプログレッシブ符号化などのプログレッシブ符号化方式を使用して、さらなる処理が元の画像に対して行われる。この画像は、サイズが40kBまでさらに低減される。最後に、608に示すように、エッジ検出が実行され、サイズがわずか4kBであるオブジェクトの輪郭が生じる。
説明する装置および方法の一態様による漸進的パターンマッチングを実行するために、通信デバイス102などのクライアントデバイスは、最初に、602に示された元の画像、および/または604、606、および608に示された特徴の低減セットのうちの1つまたは複数に基づいて、マッチされるべきオブジェクトを識別するためにローカルライブラリを探索し得る。ローカルマッチが見つからなかった場合、通信デバイス102は、608に示された特徴の低減セットをサーバに送信し得る。この場合、そのようなはっきりした輪郭をもつカエデの葉のようなオブジェクトについて、この最小情報は、高度の信頼性をもってオブジェクトを認識するのに十分であり得、元の画像の60分の1のデータしか送る必要がない。しかしながら、サーバが承認された信頼性レベルを満たすマッチを見つけることができなかった場合、通信デバイスは、次に、606に示された特徴の低減セットを送信し得る。通信デバイスは、次いで、信頼レベルを満たすマッチが発見されるまで、特徴の追加の低減セット、たとえば604における特徴の低減セット、次いで602における特徴の低減セットを漸進的に送り続け得、最後の手段としてのみ602における元の画像を送る。
図7を参照すると、クライアントサーバネットワークにおいてパターンマッチングを効率的に実行する装置700は、少なくとも部分的に通信デバイス102内に常駐することができる。装置700は、機能ブロックを含むものとして表されており、その機能ブロックは、プロセッサ、ソフトウェア、またはそれらの組合せ(たとえば、ファームウェア)によって実装される機能を表すことができることを諒解されたい。したがって、装置700は、連携して動作することができる電気的構成要素の論理グルーピング702を含む。たとえば、論理グルーピング702は、マッチされるべきオブジェクトを収集するための手段を含み得る(704)。たとえば、一態様では、手段704はユーザインターフェース構成要素210および/またはプロセッサ202を含むことができる。論理グルーピング702、マッチされるべきオブジェクトから特徴の少なくとも1つの低減セットを抽出するための手段を含むことができる(706)。たとえば、一態様では、手段706は特徴抽出モジュール212および/またはプロセッサ202含むことができる。さらに、論理グルーピング702は、マッチされるべきオブジェクトが通信デバイスに記憶されたローカルライブラリ中の複数の既知のオブジェクトのうちの1つにマッチするかどうかに関する判断を生成する手段を含むことができる(708)。一態様では、手段708は、ローカルパターンマッチングライブラリ214、ユーザインターフェース構成要素210、および/またはプロセッサ202を含み得る。また、論理グルーピング702は、ローカルマッチがローカルライブラリ中に存在することを判断が示した場合、オブジェクトのマッチを表す指示を提示するための手段を含むことができる(710)。一態様では、手段708は、ローカルパターンマッチングライブラリ214、ユーザインターフェース構成要素210、および/またはプロセッサ202を含み得る。さらに、論理グルーピング702は、ローカルマッチがローカルライブラリ中に存在しないことを判断が示したとき、リモートマッチング判断のために特徴の少なくとも1つの低減セットを含むマッチ要求を送信するための手段を含むことができる(712)。一態様では、手段712は、通信構成要素206、特徴抽出モジュール212、および/またはプロセッサ202を含み得る。
さらに、装置700は、モジュール704〜712に関連する機能を実行するための命令を保持するメモリ714を含むことができる。メモリ714の外部にあるものとして示されているが、704〜712のうちの1つまたは複数は、メモリ714の内部に存在することができることを理解されたい。一態様では、たとえば、メモリ714は、メモリ204またはデータストア208(図2)と同じまたは同様であり得る。
図8は、情報を提示するためにパターン認識を効率的に使用する装置800を示す。システム800は、少なくとも部分的にコンピューティングデバイス108内に常駐することができる。装置800は、機能ブロックを含むものとして表されており、その機能ブロックは、プロセッサ、ソフトウェア、またはそれらの組合せ(たとえば、ファームウェア)によって実装される機能を表すことができることを諒解されたい。したがって、装置800は、連携して動作することができる電気的構成要素の論理グルーピング802を含む。たとえば、論理グルーピング802は、マッチされるべきオブジェクトから特徴の初期低減セットを受信するための手段を含むことができる(804)。たとえば、一態様では、手段804は、パターンマッチングモジュール312、通信構成要素306および/またはプロセッサ302含み得る。さらに、論理グルーピング802は、特徴の追加の低減セットを漸進的に受信するための手段を含むことができる(806)。たとえば、一態様では、手段806は、パターンマッチングモジュール312、通信構成要素306および/またはプロセッサ302を含むことができる。また、論理グルーピング802は、信頼性ファクタを満たす潜在的なマッチが見つかるまで、特徴の初期低減セットおよび特徴の追加の低減セットのいずれかまたは両方にマッチするオブジェクトについてライブラリを探索するための手段を含むことができる(808)。たとえば、一態様では、手段808は、パターンマッチングモジュール312、パターンマッチングライブラリ314、および/またはプロセッサ302を含むことができる。論理グルーピング802はまた、オブジェクトのための潜在的マッチを判断すると、マッチしたオブジェクトの識別情報を送信するための手段を含み得る(810)。たとえば、一態様では、手段810は、パターンマッチングモジュール312、通信構成要素306および/またはプロセッサ302含むことができる。
さらに、装置800は、804、806、808、および810に関連する機能を実行するための命令を保持するメモリ812を含むことができる。メモリ812の外部にあるものとして示されているが、804、806、808、および810のうちの1つまたは複数は、メモリ812の内部に存在することができることを理解されたい。一態様では、たとえば、メモリ812は、メモリ304またはデータストア308(図3)と同じまたは同様であり得る。
本開示では、「例示的」という単語は、例、事例、または例示の働きをすることを意味するために使用する。「例示的」として本明細書で説明するいかなる態様または設計も、必ずしも他の態様または設計よりも好ましいまたは有利なものと解釈すべきではない。むしろ、例示的という単語の使用は、概念を具体的な形で提示するものである。
本出願で使用する「構成要素」、「モジュール」、「システム」などの用語は、限定はしないが、ハードウェア、ファームウェア、ハードウェアとソフトウェアの組合せ、ソフトウェア、または実行中のソフトウェアなど、コンピュータ関連のエンティティを含むものとする。たとえば、構成要素は、限定はしないが、プロセッサ上で実行されるプロセス、プロセッサ、オブジェクト、実行ファイル、実行スレッド、プログラム、および/またはコンピュータであり得る。例として、コンピューティングデバイス上で実行されるアプリケーションと、そのコンピューティングデバイスの両方が構成要素であり得る。1つまたは複数の構成要素がプロセスおよび/または実行スレッド内に常駐することができ、1つの構成要素を1つのコンピュータ上に配置され得、および/または2つ以上のコンピュータ間に分散され得る。さらに、これらの構成要素は、様々なデータ構造を記憶している様々なコンピュータ可読媒体から実行することができる。これらの構成要素は、信号を介して、ローカルシステム、分散システム内の別の構成要素と相互作用し、ならびに/あるいはインターネットなどのネットワーク上で他のシステムと相互作用する1つの構成要素からのデータのような、1つまたは複数のデータパケットを有する信号に従うことなどによって、ローカルプロセスおよび/またはリモートプロセスを介して通信し得る。
さらに、本明細書では、ワイヤード通信デバイスまたはワイヤレス通信デバイスであり得る通信デバイスに関する様々な態様について説明する。通信デバイスは、システム、デバイス、クライアントデバイス、加入者ユニット、加入者局、移動局、モバイル、モバイルデバイス、リモート局、リモート端末、アクセス端末、ユーザ端末、端末、通信デバイス、ユーザエージェント、ユーザデバイス、またはユーザ機器(UE)と呼ばれることもある。通信デバイスは、セルラー電話、衛星電話、コードレス電話、セッション開始プロトコル(SIP)電話、ワイヤレスローカルループ(WLL)局、携帯情報端末(PDA)、ワイヤレス接続機能を有するハンドヘルドデバイス、コンピューティングデバイス、またはワイヤレスモデムに接続された他の処理デバイスであり得る。さらに、本明細書では基地局に関する様々な態様について説明する。基地局は、(1つまたは複数の)通信デバイスと通信するために利用され得、アクセスポイント、ノードB、または何らかの他の用語で呼ばれることもある。
さらに、「または」という用語は、排他的な「または」ではなく、包括的な「または」を意味するものとする。すなわち、別段に規定されていない限り、または文脈から明らかでない限り、「XはAまたはBを使用する」という句は、自然包括的並べ替えのいずれかを意味するものとする。つまり、「XはAまたはBを使用する」という句は、以下の場合、すなわち、XがAを使用する場合、XがBを使用する場合、またはXがAとBの両方を使用する場合のうちのいずれかによって満足される。その上、本出願と添付の特許請求の範囲とで使用されるとき、冠詞「a」と「an」とは、別段に規定されていない限り、または単数形を対象とすべきであると文脈から明らかでない限り、通常、「1つまたは複数」を意味すると解釈されるべきである。
本明細書で説明した技法は、Bluetooth(登録商標)、WiFi(登録商標)、CDMA、TDMA、FDMA、OFDMA、SC−FDMAおよび他のシステムなど、様々なパーソナル、ローカル、またはワイドエリア通信システムに使用され得る。「システム」および「ネットワーク」という用語は、しばしば互換的に使用される。CDMAシステムは、Universal Terrestrial Radio Access(UTRA)、cdma2000などの無線技術を実装し得る。UTRAは、Wideband−CDMA(W−CDMA)(登録商標)およびCDMAの他の変形態を含む。さらに、cdma2000は、IS−2000、IS−95およびIS−856規格をカバーする。TDMAシステムは、Global System for Mobile Communications(GSM)(登録商標)などの無線技術を実装し得る。OFDMAシステムは、Evolved UTRA(E−UTRA)、Ultra Mobile Broadband(UMB)、IEEE802.11(Wi−Fi)、IEEE802.16(WiMAX)、IEEE802.20、Flash−OFDM(登録商標)などの無線技術を実装することができる。UTRAおよびE−UTRAは、Universal Mobile Telecommunication System(UMTS)の一部である。3GPP Long Term Evolution(LTE)は、ダウンリンク上ではOFDMAを採用し、アップリンク上ではSC−FDMAを採用するE−UTRAを使用するUMTSのリリースである。UTRA、E−UTRA、UMTS、LTEおよびGSMは、「3rd Generation Partnership Project」(3GPP)と称する団体からの文書に記載されている。さらに、cdma2000およびUMBは、「3rd Generation Partnership Project 2」(3GPP2)と称する団体からの文書に記載されている。さらに、そのようなワイヤレス通信システムは、不対無資格スペクトル、802.xxワイヤレスLAN、BLUETOOTH(登録商標)および任意の他の短距離または長距離ワイヤレス通信技法をしばしば使用するピアツーピア(たとえば、モバイルツーモバイル)アドホックネットワークシステムをさらに含み得る。
様々な態様または特徴が、いくつかのデバイス、構成要素、モジュールなどを含み得るシステムに関して提示される。様々なシステムは、追加のデバイス、構成要素、モジュールなどを含み得、および/または各図に関連して論じるデバイス、構成要素、モジュールなどのすべてを含まないことがあることを理解および諒解されたい。これらの手法の組合せも使用され得る。
本明細書で開示した実施形態に関して説明した様々な例示的な論理、論理ブロック、モジュール、および回路は、汎用プロセッサ、デジタル信号プロセッサ(DSP)、特定用途向け集積回路(ASIC)、フィールドプログラマブルゲートアレイ(FPGA)または他のプログラマブル論理デバイス、個別ゲートまたはトランジスタ論理、個別ハードウェア構成要素、あるいは本明細書で説明した機能を実行するように設計されたそれらの任意の組合せを用いて実装または実行され得る。汎用プロセッサはマイクロプロセッサであり得るが、代替として、プロセッサは、任意の従来のプロセッサ、コントローラ、マイクロコントローラ、または状態機械であり得る。プロセッサはまた、コンピューティングデバイスの組合せ、たとえば、DSPとマイクロプロセッサとの組合せ、複数のマイクロプロセッサ、DSPコアと連携する1つまたは複数のマイクロプロセッサ、あるいは任意の他のそのような構成として実装され得る。さらに、少なくとも1つのプロセッサは、上記で説明したステップおよび/またはアクションのうちの1つまたは複数を実行するように動作可能な1つまたは複数のモジュールを備え得る。
さらに、本明細書で開示する態様に関して説明する方法またはアルゴリズムのステップおよび/またはアクションは、直接ハードウェアで実施され得るか、プロセッサによって実行されるソフトウェアモジュールで実施され得るか、またはその2つの組合せで実施され得る。ソフトウェアモジュールは、RAMメモリ、フラッシュメモリ、ROMメモリ、EPROMメモリ、EEPROM(登録商標)メモリ、レジスタ、ハードディスク、リムーバブルディスク、CD−ROM、または当技術分野で知られている任意の他の形態の記憶媒体中に常駐し得る。例示的な記憶媒体は、プロセッサが記憶媒体から情報を読み取り、記憶媒体に情報を書き込むことができるようにプロセッサに結合され得る。代替として、記憶媒体はプロセッサに一体化され得る。さらに、いくつかの態様では、プロセッサおよび記憶媒体はASIC中に常駐することができる。さらに、ASICはユーザ端末中に常駐し得る。代替として、プロセッサおよび記憶媒体は、ユーザ端末内に個別構成要素として常駐し得る。さらに、いくつかの態様では、方法またはアルゴリズムのステップおよび/またはアクションは、コンピュータプログラム製品に組み込まれ得る、機械可読媒体および/またはコンピュータ可読媒体上のコードおよび/または命令の1つまたは任意の組合せ、あるいはそのセットとして常駐し得る。
1つまたは複数の態様では、説明した機能は、ハードウェア、ソフトウェア、ファームウェア、またはそれらの任意の組合せで実装され得る。ソフトウェアで実装した場合、機能は、1つまたは複数の命令またはコードとしてコンピュータ可読媒体上に記憶され得るか、あるいはコンピュータ可読媒体上で送信され得る。コンピュータ可読媒体は、ある場所から別の場所へのコンピュータプログラムの転送を容易にする任意の媒体を含む、コンピュータ記憶媒体と通信媒体の両方を含む。記憶媒体は、コンピュータによってアクセスされ得る任意の利用可能な媒体であり得る。限定ではなく例として、そのようなコンピュータ可読媒体は、RAM、ROM、EEPROM、CD−ROMまたは他の光ディスクストレージ、磁気ディスクストレージまたは他の磁気ストレージデバイス、あるいは命令またはデータ構造の形態の所望のプログラムコードを搬送または記憶するために使用され得、コンピュータによってアクセスされ得る、任意の他の媒体を備えることができる。また、いかなる接続もコンピュータ可読媒体と呼ばれ得る。たとえば、ソフトウェアが、同軸ケーブル、光ファイバーケーブル、ツイストペア、デジタル加入者回線(DSL)、または赤外線、無線、およびマイクロ波などのワイヤレス技術を使用して、ウェブサイト、サーバ、または他のリモートソースから送信される場合、同軸ケーブル、光ファイバーケーブル、ツイストペア、DSL、または赤外線、無線、およびマイクロ波などのワイヤレス技術は、媒体の定義に含まれる。本明細書で使用するディスク(disk)およびディスク(disc)は、コンパクトディスク(disc)(CD)、レーザーディスク(登録商標)(disc)、光ディスク(disc)、デジタル多用途ディスク(disc)(DVD)、フロッピー(登録商標)ディスク(disk)およびブルーレイディスク(disc)を含み、ディスク(disk)は、通常、データを磁気的に再生し、ディスク(disc)は、データをレーザー光学的に再生する。上記の組合せもコンピュータ可読媒体の範囲内に含めるべきである。
上記の開示は、例示的な態様および/または実施形態について論じたが、添付の特許請求の範囲によって定義された説明した態様および/または実施形態の範囲から逸脱することなく、様々な変更および改変を本明細書で行い得ることに留意されたい。さらに、説明した態様および/または実施形態の要素は、単数形で説明または請求されていることがあるが、単数形への限定が明示的に述べられていない限り、複数形が企図される。さらに、任意の態様および/または実施形態の全部または一部は、別段に記載されていない限り、任意の他の態様および/または実施形態の全部または一部とともに利用され得る。
上記の開示は、例示的な態様および/または実施形態について論じたが、添付の特許請求の範囲によって定義された説明した態様および/または実施形態の範囲から逸脱することなく、様々な変更および改変を本明細書で行い得ることに留意されたい。さらに、説明した態様および/または実施形態の要素は、単数形で説明または請求されていることがあるが、単数形への限定が明示的に述べられていない限り、複数形が企図される。さらに、任意の態様および/または実施形態の全部または一部は、別段に記載されていない限り、任意の他の態様および/または実施形態の全部または一部とともに利用され得る。
以下に、出願当初の特許請求の範囲に記載された発明を付記する。
[C1]
クライアントサーバネットワークにおいてパターンマッチングを効率的に実行する方法であって、
通信デバイスが、マッチされるべきオブジェクトを収集することと、
マッチされるべき前記オブジェクトから特徴の少なくとも1つの低減セットを抽出することと、
マッチされるべき前記オブジェクトが前記通信デバイスに記憶されたローカルライブラリ中の複数の既知のオブジェクトのうちの1つにマッチするかどうかに関する判断を生成することと、
ローカルマッチが前記ローカルライブラリ中に存在することを前記判断が示した場合、前記オブジェクトのマッチを表す指示を提示することと、
ローカルマッチが前記ローカルライブラリ中に存在しないことを前記判断が示したとき、リモートマッチング判断のために特徴の前記少なくとも1つの低減セットを含むマッチ要求を送信することと
を備える、方法。
[C2]
前記判断を生成することは、マッチされるべき前記オブジェクトの完全表現に基づいてローカルマッチが前記ローカルライブラリ中に存在するかどうかを判断することを備える、C1に記載の方法。
[C3]
前記判断を生成することは、マッチされるべき前記オブジェクトからの特徴の前記少なくとも1つの低減セットに基づいてローカルマッチが前記ローカルライブラリ中に存在するかどうかを判断することを備える、C1に記載の方法。
[C4]
リモートマッチの指示が戻されるまで、リモートマッチング判断のためにマッチされるべき前記オブジェクトから抽出された特徴の複数の低減されたセットからの特徴の追加の低減セットを漸進的に送ることをさらに備える、C1に記載の方法。
[C5]
特徴の追加の低減セットを漸進的に送ることが、実質的に連続的に送ることをさらに含む、前記C4に記載の方法。
[C6]
特徴の追加の低減セットを漸進的に送ることが、周期的に送ることをさらに含む、前記C4に記載の方法。
[C7]
特徴の前記追加の低減セットを前記漸進的に送ることより前に、前記マッチされるべきオブジェクトに関する追加情報についてのサーバ主導型要求を受信することをさらに備える、C4に記載の方法。
[C8]
ローカルマッチが前記ローカルライブラリ中に存在しないとき、特徴の追加の低減セットを含む1つまたは複数のクライアント主導型マッチ要求を送信することをさらに備える、C1に記載の方法。
[C9]
特徴の前記少なくとも1つの低減セットまたは特徴の前記追加の低減セットのうちの少なくとも1つをもつコンテキスト情報を送信することと、
マッチされるべき前記オブジェクトのための1つまたは複数の潜在的なマッチを受信することと
をさらに備える、C4に記載の方法。
[C10]
前記コンテキスト情報が、ロケーション情報、ユーザ選好情報、または時間のうちの少なくとも1つを備える、C9に記載の方法。
[C11]
コンテキスト固有パターンマッチングアプリケーションを起動することと、
前記コンテキスト固有パターンマッチングアプリケーションの実行によって前記オブジェクトを取得することであって、前記コンテキスト情報が前記コンテキスト固有パターンマッチングアプリケーションに固有であるか、またはそれから導出される、取得することと
をさらに備える、C9に記載の方法。
[C12]
ローカルマッチが前記ローカルライブラリ中で見つからなかったことを前記判断が示したとき、特徴の1つまたは複数の追加の低減セットに基づいて前記オブジェクトのローカルマッチについて前記ローカルライブラリを漸進的に探索することをさらに備える、C1に記載の方法。
[C13]
ローカルマッチが前記ローカルライブラリ中に存在しないことを前記判断が示した場合、マッチされるべき前記オブジェクトから特徴の1つまたは複数の追加の低減セットを抽出することと、
特徴の前記少なくとも1つの低減セットおよび前記特徴の1つまたは複数の追加の低減セットが前記ローカルライブラリ中の前記複数の既知のオブジェクトのうちの1つにマッチするかどうかに関する1つまたは複数の追加の判断のうちの1つが、ローカルマッチが存在することを示すまで、前記1つまたは複数の追加の判断を生成することと、
ローカルマッチが存在しないことを1つまたは複数の追加の判断が示す場合、特徴の前記少なくとも1つの低減セットまたは特徴の前記1つまたは複数の追加の低減セットのうちの対応する1つをそれぞれ含むマッチ要求をサーバに漸進的に送ることと、
前記マッチ要求への応答を漸進的に受信することと
をさらに備え、
前記特徴の1つまたは複数の追加の低減セットを前記抽出すること、前記1つまたは複数の追加の判断を前記生成すること、および前記マッチ要求を前記漸進的に送ることは、前記応答のうちの1つがリモートマッチングオブジェクトを識別するときに終了する、C12に記載の方法。
[C14]
前記マッチ要求への応答を受信することであって、前記応答が、マッチされるべき前記オブジェクトのための1つまたは複数の潜在的なマッチを備える、受信することをさらに備える、C1に記載の方法。
[C15]
マッチングオブジェクトであるとして前記1つまたは複数の潜在的なマッチのうちの選択された1つを示すユーザ入力を受信することをさらに備える、C14に記載の方法。
[C16]
マッチングオブジェクトを探索し続けることを示すユーザ入力を受信することをさらに備える、C14に記載の方法。
[C17]
前記マッチ要求への応答を受信することであって、前記応答が、信頼性レベルしきい値を超えるマッチ信頼性レベルを有するマッチングオブジェクトを備える、受信することをさらに備える、C1に記載の方法。
[C18]
抽出することが、背景情報を削除すること、または前記オブジェクトに対してエッジ検出動作を実行することのうちの少なくとも1つを備える、C1に記載の方法。
[C19]
前記オブジェクトが、静止画像、動画像、またはオーディオ記録のうちの少なくとも1つを備える、C1に記載の方法。
[C20]
前記オブジェクトが、画像、マトリックスバーコード、単語、文字、手話ジェスチャ、または歌のうちの少なくとも1つを備える、C1に記載の方法。
[C21]
マッチされるべきオブジェクトを収集することをコンピュータに行わせるための少なくとも1つの命令と、
マッチされるべき前記オブジェクトから特徴の少なくとも1つの低減セットを抽出することを前記コンピュータに行わせるための少なくとも1つの命令と、
マッチされるべき前記オブジェクトがローカルライブラリ中の複数の既知のオブジェクトのうちの1つにマッチするか否かに関する判断を生成することを前記コンピュータに行わせるための少なくとも1つの命令と、
ローカルマッチが前記ローカルライブラリ中に存在することを前記判断が示した場合、前記オブジェクトのマッチを表す指示を提示することを前記コンピュータに行わせるための少なくとも1つの命令と、
ローカルマッチが前記ローカルライブラリ中に存在しないことを前記判断が示したとき、リモートマッチング判断のために特徴の前記少なくとも1つの低減セットを含むマッチ要求を送信することを前記コンピュータに行わせるための少なくとも1つの命令と
を備える、コンピュータ可読媒体
を備える、コンピュータプログラム製品。
[C22]
マッチされるべきオブジェクトを収集するための手段と、
マッチされるべき前記オブジェクトから特徴の少なくとも1つの低減セットを抽出するための手段と、
マッチされるべき前記オブジェクトがローカルライブラリ中の複数の既知のオブジェクトのうちの1つにマッチするか否かに関する判断を生成するための手段と、
ローカルマッチが前記ローカルライブラリ中に存在することを前記判断が示した場合、前記オブジェクトのマッチを表す指示を提示するための手段と、
ローカルマッチが前記ローカルライブラリ中に存在しないことを前記判断が示したとき、リモートマッチング判断のために特徴の前記少なくとも1つの低減セットを含むマッチ要求を送信するための手段と
を備える、装置。
[C23]
クライアントサーバネットワークにおいてパターンマッチングを効率的に実行するための装置であって、
マッチされるべきオブジェクトを収集することと、
マッチされるべき前記オブジェクトから特徴の少なくとも1つの低減セットを抽出することと、
マッチされるべき前記オブジェクトがローカルライブラリ中の複数の既知のオブジェクトのうちの1つにマッチするか否かに関する判断を生成することと、
ローカルマッチが前記ローカルライブラリ中に存在することを前記判断が示した場合、前記オブジェクトのマッチを表す指示を提示することと、
ローカルマッチが前記ローカルライブラリ中に存在しないことを前記判断が示したとき、リモートマッチング判断のために特徴の前記少なくとも1つの低減セットを含むマッチ要求を送信することと
を行うように構成された少なくとも1つのプロセッサと、
前記少なくとも1つのプロセッサに結合されたメモリと
を備える、装置。
[C24]
前記判断を生成することは、マッチされるべき前記オブジェクトの完全表現に基づいてローカルマッチが前記ローカルライブラリ中に存在するかどうかを判断することを備える、C23に記載の装置。
[C25]
前記判断を生成することは、マッチされるべき前記オブジェクトからの特徴の前記少なくとも1つの低減セットに基づいてローカルマッチが前記ローカルライブラリ中に存在するかどうかを判断することを備える、C23に記載の装置。
[C26]
前記プロセッサがさらに、
リモートマッチの指示が戻されるまで、リモートマッチング判断のためにマッチされるべき前記オブジェクトから抽出された特徴の複数の低減されたセットからの特徴の追加の低減セットを漸進的に送ること
を行うように構成された、C23に記載の装置。
[C27]
特徴の追加の低減セットを漸進的に送ることが、実質的に連続的に送ることをさらに含む、前記C26に記載の装置。
[C28]
特徴の追加の低減セットを漸進的に送ることが、周期的に送ることをさらに含む、前記C26に記載の装置。
[C29]
前記プロセッサがさらに、
特徴の前記追加の低減セットを前記漸進的に送ることより前に、前記マッチされるべきオブジェクトに関する追加情報についてのサーバ主導型要求を受信すること
を行うように構成された、C26に記載の装置。
[C30]
前記プロセッサがさらに、
ローカルマッチが前記ローカルライブラリ中に存在しないとき、特徴の追加の低減セットを含む1つまたは複数のクライアント主導型マッチ要求を送信すること
を行うように構成された、C23に記載の装置。
[C31]
前記プロセッサがさらに、
特徴の前記少なくとも1つの低減セットまたは特徴の前記追加の低減セットのうちの少なくとも1つをもつコンテキスト情報を送信することと、
マッチされるべき前記オブジェクトのための1つまたは複数の潜在的なマッチを受信することと
を行うように構成された、C26に記載の装置。
[C32]
前記コンテキスト情報が、ロケーション情報、ユーザ選好情報、または時間のうちの少なくとも1つを備える、C31に記載の装置。
[C33]
前記プロセッサがさらに、
コンテキスト固有パターンマッチングアプリケーションを起動することと、
前記コンテキスト固有パターンマッチングアプリケーションの実行によって前記オブジェクトを取得することであって、前記コンテキスト情報が前記コンテキスト固有パターンマッチングアプリケーションに固有であるか、またはそれから導出される、取得することと
を行うように構成された、C31に記載の装置。
[C34]
前記プロセッサがさらに、
ローカルマッチが前記ローカルライブラリ中で見つからなかったことを前記判断が示したとき、特徴の1つまたは複数の追加の低減セットに基づいて前記オブジェクトのローカルマッチについて前記ローカルライブラリを漸進的に探索すること
を行うように構成された、C23に記載の装置。
[C35]
前記プロセッサがさらに、
ローカルマッチが前記ローカルライブラリ中に存在しないことを前記判断が示した場合、マッチされるべき前記オブジェクトから特徴の1つまたは複数の追加の低減セットを抽出することと、
特徴の前記少なくとも1つの低減セットおよび前記特徴の1つまたは複数の追加の低減セットが前記ローカルライブラリ中の前記複数の既知のオブジェクトのうちの1つにマッチするかどうかに関する1つまたは複数の追加の判断のうちの1つが、ローカルマッチが存在することを示すまで、前記1つまたは複数の追加の判断を生成することと、
ローカルマッチが存在しないことを1つまたは複数の追加の判断が示す場合、特徴の前記少なくとも1つの低減セットまたは特徴の前記1つまたは複数の追加の低減セットのうちの対応する1つをそれぞれ含むマッチ要求をサーバに漸進的に送ることと、
前記マッチ要求への応答を漸進的に受信することと
を行うように構成され、
特徴の前記1つまたは複数の追加の低減セットを前記抽出すること、前記1つまたは複数の追加の判断を前記生成すること、および前記マッチ要求を前記漸進的に送ることは、前記応答のうちの1つがリモートマッチを識別するときに終了する、
C34に記載の装置。
[C36]
前記プロセッサがさらに、
前記マッチ要求への応答を受信することであって、前記応答が、マッチされるべき前記オブジェクトのための1つまたは複数の潜在的なマッチを備える、受信すること
を行うように構成された、C23に記載の装置。
[C37]
前記プロセッサがさらに、
マッチングオブジェクトであるとして前記1つまたは複数の潜在的なマッチのうちの選択された1つを示すユーザ入力を受信すること
を行うように構成された、C36に記載の装置。
[C38]
前記プロセッサがさらに、
マッチングオブジェクトを探索し続けることを示すユーザ入力を受信すること
を行うように構成された、C36に記載の装置。
[C39]
前記プロセッサがさらに、
前記マッチ要求への応答を受信することであって、前記応答が、信頼性レベルしきい値を超えるマッチ信頼性レベルを有するマッチングオブジェクトを備える、受信すること
を行うように構成された、C23に記載の装置。
[C40]
抽出することが、背景情報を削除すること、または前記オブジェクトに対してエッジ検出動作を実行することのうちの少なくとも1つを備える、C23に記載の装置。
[C41]
前記オブジェクトが、静止画像、動画像、またはオーディオ記録のうちの少なくとも1つを備える、C23に記載の装置。
[C42]
前記オブジェクトが、画像、マトリックスバーコード、単語、文字、手話ジェスチャ、または歌のうちの少なくとも1つを備える、C23に記載の装置。
[C43]
情報を提示するためにパターン認識を使用するための方法であって、
リモートに位置する通信デバイスから、マッチされるべきオブジェクトから抽出された特徴の初期低減セットを受信することと、
マッチされるべき前記オブジェクトから抽出された特徴の追加の低減セットを漸進的に受信することと、
信頼性ファクタを満たす潜在的なマッチが見つかるまで、特徴の前記初期低減セットおよび特徴の前記追加の低減セットのいずれかまたは両方にマッチするオブジェクトについてライブラリを探索することと、
前記オブジェクトのための前記潜在的なマッチを判断すると、前記オブジェクトの識別情報を送信することと
を備える、方法。
[C44]
特徴の前記初期低減セットまたは特徴の前に受信した追加の低減セットに基づいて前記信頼性ファクタを満たす潜在的なマッチが見つからないとき、特徴の追加の低減セットについての要求を生成することをさらに備える、C43に記載の方法。
[C45]
前記オブジェクトに関する追加情報を送信することをさらに備える、C43に記載の方法。
[C46]
前記オブジェクトに関する前記追加情報が、前記オブジェクトに関連するユニバーサルリソースロケータ(URL)、ロケーション情報、コンテキスト関係情報、または追加のサービスのための広告のうちの1つまたは複数を備える、C45に記載の方法。
[C47]
リモートに位置する通信デバイスから、マッチされるべきオブジェクトから抽出された特徴の初期低減セットを受信することをコンピュータに行わせるための少なくとも1つの命令と、
マッチされるべき前記オブジェクトからから抽出された特徴の追加の低減セットを漸進的に受信することを前記コンピュータに行わせるための少なくとも1つの命令と、
信頼性ファクタを満たす潜在的なマッチが見つかるまで、特徴の前記初期低減セットおよび特徴の前記追加の低減セットのいずれかまたは両方にマッチするオブジェクトについてライブラリを探索することを前記コンピュータに行わせるための少なくとも1つの命令と、
前記オブジェクトのための前記潜在的なマッチを判断すると、前記オブジェクトの識別情報を送信することを前記コンピュータに行わせるための少なくとも1つの命令と
を備える、コンピュータ可読媒体
を備える、コンピュータプログラム製品。
[C48]
リモートに位置する通信デバイスから、マッチされるべきオブジェクトから抽出された特徴の初期低減セットを受信するための手段と、
マッチされるべき前記オブジェクトから抽出された特徴の追加の低減セットを漸進的に受信するための手段と、
信頼性ファクタを満たす潜在的なマッチが見つかるまで、特徴の前記初期低減セットおよび特徴の前記追加の低減セットのいずれかまたは両方にマッチするオブジェクトについてライブラリを探索するための手段と、
前記オブジェクトのための前記潜在的なマッチを判断すると、前記オブジェクトの識別情報を送信するための手段と
を備える、装置。
[C49]
情報を提示するためにパターン認識を使用するための装置であって、
リモートに位置する通信デバイスから、マッチされるべきオブジェクトから抽出された特徴の初期低減セットを受信することと、
マッチされるべき前記オブジェクトから抽出された特徴の追加の低減セットを漸進的に受信することと、
信頼性ファクタを満たす潜在的なマッチが見つかるまで、特徴の前記初期低減セットおよび特徴の前記追加の低減セットのいずれかまたは両方にマッチするオブジェクトについてライブラリを探索することと、
前記オブジェクトのための前記潜在的なマッチを判断する際に、前記オブジェクトの識別情報を送信することと
を行うように構成された少なくとも1つのプロセッサと、
前記少なくとも1つのプロセッサに結合されたメモリと
を備える、装置。
[C50]
前記プロセッサがさらに、
特徴の前記初期低減セットまたは特徴の前に受信した追加の低減セットに基づいて前記信頼性ファクタを満たす潜在的なマッチが見つからないとき、特徴の追加の低減セットについての要求を生成すること
を行うように構成された、C49に記載の装置。
[C51]
前記プロセッサがさらに、前記オブジェクトに関する追加情報を送信するように構成された、C49に記載の装置。
[C52]
前記オブジェクトに関する前記追加情報が、前記オブジェクトに関連するユニバーサルリソースロケータ(URL)、ロケーション情報、コンテキスト関係情報、または追加のサービスのための広告のうちの1つまたは複数を備える、C49に記載の装置。

Claims (52)

  1. クライアントサーバネットワークにおいてパターンマッチングを効率的に実行する方法であって、
    通信デバイスが、マッチされるべきオブジェクトを収集することと、
    マッチされるべき前記オブジェクトから特徴の少なくとも1つの低減セットを抽出することと、
    マッチされるべき前記オブジェクトが前記通信デバイスに記憶されたローカルライブラリ中の複数の既知のオブジェクトのうちの1つにマッチするかどうかに関する判断を生成することと、
    ローカルマッチが前記ローカルライブラリ中に存在することを前記判断が示した場合、前記オブジェクトのマッチを表す指示を提示することと、
    ローカルマッチが前記ローカルライブラリ中に存在しないことを前記判断が示したとき、リモートマッチング判断のために特徴の前記少なくとも1つの低減セットを含むマッチ要求を送信することと
    を備える、方法。
  2. 前記判断を生成することは、マッチされるべき前記オブジェクトの完全表現に基づいてローカルマッチが前記ローカルライブラリ中に存在するかどうかを判断することを備える、請求項1に記載の方法。
  3. 前記判断を生成することは、マッチされるべき前記オブジェクトからの特徴の前記少なくとも1つの低減セットに基づいてローカルマッチが前記ローカルライブラリ中に存在するかどうかを判断することを備える、請求項1に記載の方法。
  4. リモートマッチの指示が戻されるまで、リモートマッチング判断のためにマッチされるべき前記オブジェクトから抽出された特徴の複数の低減されたセットからの特徴の追加の低減セットを漸進的に送ることをさらに備える、請求項1に記載の方法。
  5. 特徴の追加の低減セットを漸進的に送ることが、実質的に連続的に送ることをさらに含む、前記請求項4に記載の方法。
  6. 特徴の追加の低減セットを漸進的に送ることが、周期的に送ることをさらに含む、前記請求項4に記載の方法。
  7. 特徴の前記追加の低減セットを前記漸進的に送ることより前に、前記マッチされるべきオブジェクトに関する追加情報についてのサーバ主導型要求を受信することをさらに備える、請求項4に記載の方法。
  8. ローカルマッチが前記ローカルライブラリ中に存在しないとき、特徴の追加の低減セットを含む1つまたは複数のクライアント主導型マッチ要求を送信することをさらに備える、請求項1に記載の方法。
  9. 特徴の前記少なくとも1つの低減セットまたは特徴の前記追加の低減セットのうちの少なくとも1つをもつコンテキスト情報を送信することと、
    マッチされるべき前記オブジェクトのための1つまたは複数の潜在的なマッチを受信することと
    をさらに備える、請求項4に記載の方法。
  10. 前記コンテキスト情報が、ロケーション情報、ユーザ選好情報、または時間のうちの少なくとも1つを備える、請求項9に記載の方法。
  11. コンテキスト固有パターンマッチングアプリケーションを起動することと、
    前記コンテキスト固有パターンマッチングアプリケーションの実行によって前記オブジェクトを取得することであって、前記コンテキスト情報が前記コンテキスト固有パターンマッチングアプリケーションに固有であるか、またはそれから導出される、取得することと
    をさらに備える、請求項9に記載の方法。
  12. ローカルマッチが前記ローカルライブラリ中で見つからなかったことを前記判断が示したとき、特徴の1つまたは複数の追加の低減セットに基づいて前記オブジェクトのローカルマッチについて前記ローカルライブラリを漸進的に探索することをさらに備える、請求項1に記載の方法。
  13. ローカルマッチが前記ローカルライブラリ中に存在しないことを前記判断が示した場合、マッチされるべき前記オブジェクトから特徴の1つまたは複数の追加の低減セットを抽出することと、
    特徴の前記少なくとも1つの低減セットおよび前記特徴の1つまたは複数の追加の低減セットが前記ローカルライブラリ中の前記複数の既知のオブジェクトのうちの1つにマッチするかどうかに関する1つまたは複数の追加の判断のうちの1つが、ローカルマッチが存在することを示すまで、前記1つまたは複数の追加の判断を生成することと、
    ローカルマッチが存在しないことを1つまたは複数の追加の判断が示す場合、特徴の前記少なくとも1つの低減セットまたは特徴の前記1つまたは複数の追加の低減セットのうちの対応する1つをそれぞれ含むマッチ要求をサーバに漸進的に送ることと、
    前記マッチ要求への応答を漸進的に受信することと
    をさらに備え、
    前記特徴の1つまたは複数の追加の低減セットを前記抽出すること、前記1つまたは複数の追加の判断を前記生成すること、および前記マッチ要求を前記漸進的に送ることは、前記応答のうちの1つがリモートマッチングオブジェクトを識別するときに終了する、請求項12に記載の方法。
  14. 前記マッチ要求への応答を受信することであって、前記応答が、マッチされるべき前記オブジェクトのための1つまたは複数の潜在的なマッチを備える、受信することをさらに備える、請求項1に記載の方法。
  15. マッチングオブジェクトであるとして前記1つまたは複数の潜在的なマッチのうちの選択された1つを示すユーザ入力を受信することをさらに備える、請求項14に記載の方法。
  16. マッチングオブジェクトを探索し続けることを示すユーザ入力を受信することをさらに備える、請求項14に記載の方法。
  17. 前記マッチ要求への応答を受信することであって、前記応答が、信頼性レベルしきい値を超えるマッチ信頼性レベルを有するマッチングオブジェクトを備える、受信することをさらに備える、請求項1に記載の方法。
  18. 抽出することが、背景情報を削除すること、または前記オブジェクトに対してエッジ検出動作を実行することのうちの少なくとも1つを備える、請求項1に記載の方法。
  19. 前記オブジェクトが、静止画像、動画像、またはオーディオ記録のうちの少なくとも1つを備える、請求項1に記載の方法。
  20. 前記オブジェクトが、画像、マトリックスバーコード、単語、文字、手話ジェスチャ、または歌のうちの少なくとも1つを備える、請求項1に記載の方法。
  21. マッチされるべきオブジェクトを収集することをコンピュータに行わせるための少なくとも1つの命令と、
    マッチされるべき前記オブジェクトから特徴の少なくとも1つの低減セットを抽出することを前記コンピュータに行わせるための少なくとも1つの命令と、
    マッチされるべき前記オブジェクトがローカルライブラリ中の複数の既知のオブジェクトのうちの1つにマッチするか否かに関する判断を生成することを前記コンピュータに行わせるための少なくとも1つの命令と、
    ローカルマッチが前記ローカルライブラリ中に存在することを前記判断が示した場合、前記オブジェクトのマッチを表す指示を提示することを前記コンピュータに行わせるための少なくとも1つの命令と、
    ローカルマッチが前記ローカルライブラリ中に存在しないことを前記判断が示したとき、リモートマッチング判断のために特徴の前記少なくとも1つの低減セットを含むマッチ要求を送信することを前記コンピュータに行わせるための少なくとも1つの命令と
    を備える、コンピュータ可読媒体
    を備える、コンピュータプログラム製品。
  22. マッチされるべきオブジェクトを収集するための手段と、
    マッチされるべき前記オブジェクトから特徴の少なくとも1つの低減セットを抽出するための手段と、
    マッチされるべき前記オブジェクトがローカルライブラリ中の複数の既知のオブジェクトのうちの1つにマッチするか否かに関する判断を生成するための手段と、
    ローカルマッチが前記ローカルライブラリ中に存在することを前記判断が示した場合、前記オブジェクトのマッチを表す指示を提示するための手段と、
    ローカルマッチが前記ローカルライブラリ中に存在しないことを前記判断が示したとき、リモートマッチング判断のために特徴の前記少なくとも1つの低減セットを含むマッチ要求を送信するための手段と
    を備える、装置。
  23. クライアントサーバネットワークにおいてパターンマッチングを効率的に実行するための装置であって、
    マッチされるべきオブジェクトを収集することと、
    マッチされるべき前記オブジェクトから特徴の少なくとも1つの低減セットを抽出することと、
    マッチされるべき前記オブジェクトがローカルライブラリ中の複数の既知のオブジェクトのうちの1つにマッチするか否かに関する判断を生成することと、
    ローカルマッチが前記ローカルライブラリ中に存在することを前記判断が示した場合、前記オブジェクトのマッチを表す指示を提示することと、
    ローカルマッチが前記ローカルライブラリ中に存在しないことを前記判断が示したとき、リモートマッチング判断のために特徴の前記少なくとも1つの低減セットを含むマッチ要求を送信することと
    を行うように構成された少なくとも1つのプロセッサと、
    前記少なくとも1つのプロセッサに結合されたメモリと
    を備える、装置。
  24. 前記判断を生成することは、マッチされるべき前記オブジェクトの完全表現に基づいてローカルマッチが前記ローカルライブラリ中に存在するかどうかを判断することを備える、請求項23に記載の装置。
  25. 前記判断を生成することは、マッチされるべき前記オブジェクトからの特徴の前記少なくとも1つの低減セットに基づいてローカルマッチが前記ローカルライブラリ中に存在するかどうかを判断することを備える、請求項23に記載の装置。
  26. 前記プロセッサがさらに、
    リモートマッチの指示が戻されるまで、リモートマッチング判断のためにマッチされるべき前記オブジェクトから抽出された特徴の複数の低減されたセットからの特徴の追加の低減セットを漸進的に送ること
    を行うように構成された、請求項23に記載の装置。
  27. 特徴の追加の低減セットを漸進的に送ることが、実質的に連続的に送ることをさらに含む、前記請求項26に記載の装置。
  28. 特徴の追加の低減セットを漸進的に送ることが、周期的に送ることをさらに含む、前記請求項26に記載の装置。
  29. 前記プロセッサがさらに、
    特徴の前記追加の低減セットを前記漸進的に送ることより前に、前記マッチされるべきオブジェクトに関する追加情報についてのサーバ主導型要求を受信すること
    を行うように構成された、請求項26に記載の装置。
  30. 前記プロセッサがさらに、
    ローカルマッチが前記ローカルライブラリ中に存在しないとき、特徴の追加の低減セットを含む1つまたは複数のクライアント主導型マッチ要求を送信すること
    を行うように構成された、請求項23に記載の装置。
  31. 前記プロセッサがさらに、
    特徴の前記少なくとも1つの低減セットまたは特徴の前記追加の低減セットのうちの少なくとも1つをもつコンテキスト情報を送信することと、
    マッチされるべき前記オブジェクトのための1つまたは複数の潜在的なマッチを受信することと
    を行うように構成された、請求項26に記載の装置。
  32. 前記コンテキスト情報が、ロケーション情報、ユーザ選好情報、または時間のうちの少なくとも1つを備える、請求項31に記載の装置。
  33. 前記プロセッサがさらに、
    コンテキスト固有パターンマッチングアプリケーションを起動することと、
    前記コンテキスト固有パターンマッチングアプリケーションの実行によって前記オブジェクトを取得することであって、前記コンテキスト情報が前記コンテキスト固有パターンマッチングアプリケーションに固有であるか、またはそれから導出される、取得することと
    を行うように構成された、請求項31に記載の装置。
  34. 前記プロセッサがさらに、
    ローカルマッチが前記ローカルライブラリ中で見つからなかったことを前記判断が示したとき、特徴の1つまたは複数の追加の低減セットに基づいて前記オブジェクトのローカルマッチについて前記ローカルライブラリを漸進的に探索すること
    を行うように構成された、請求項23に記載の装置。
  35. 前記プロセッサがさらに、
    ローカルマッチが前記ローカルライブラリ中に存在しないことを前記判断が示した場合、マッチされるべき前記オブジェクトから特徴の1つまたは複数の追加の低減セットを抽出することと、
    特徴の前記少なくとも1つの低減セットおよび前記特徴の1つまたは複数の追加の低減セットが前記ローカルライブラリ中の前記複数の既知のオブジェクトのうちの1つにマッチするかどうかに関する1つまたは複数の追加の判断のうちの1つが、ローカルマッチが存在することを示すまで、前記1つまたは複数の追加の判断を生成することと、
    ローカルマッチが存在しないことを1つまたは複数の追加の判断が示す場合、特徴の前記少なくとも1つの低減セットまたは特徴の前記1つまたは複数の追加の低減セットのうちの対応する1つをそれぞれ含むマッチ要求をサーバに漸進的に送ることと、
    前記マッチ要求への応答を漸進的に受信することと
    を行うように構成され、
    特徴の前記1つまたは複数の追加の低減セットを前記抽出すること、前記1つまたは複数の追加の判断を前記生成すること、および前記マッチ要求を前記漸進的に送ることは、前記応答のうちの1つがリモートマッチを識別するときに終了する、
    請求項34に記載の装置。
  36. 前記プロセッサがさらに、
    前記マッチ要求への応答を受信することであって、前記応答が、マッチされるべき前記オブジェクトのための1つまたは複数の潜在的なマッチを備える、受信すること
    を行うように構成された、請求項23に記載の装置。
  37. 前記プロセッサがさらに、
    マッチングオブジェクトであるとして前記1つまたは複数の潜在的なマッチのうちの選択された1つを示すユーザ入力を受信すること
    を行うように構成された、請求項36に記載の装置。
  38. 前記プロセッサがさらに、
    マッチングオブジェクトを探索し続けることを示すユーザ入力を受信すること
    を行うように構成された、請求項36に記載の装置。
  39. 前記プロセッサがさらに、
    前記マッチ要求への応答を受信することであって、前記応答が、信頼性レベルしきい値を超えるマッチ信頼性レベルを有するマッチングオブジェクトを備える、受信すること
    を行うように構成された、請求項23に記載の装置。
  40. 抽出することが、背景情報を削除すること、または前記オブジェクトに対してエッジ検出動作を実行することのうちの少なくとも1つを備える、請求項23に記載の装置。
  41. 前記オブジェクトが、静止画像、動画像、またはオーディオ記録のうちの少なくとも1つを備える、請求項23に記載の装置。
  42. 前記オブジェクトが、画像、マトリックスバーコード、単語、文字、手話ジェスチャ、または歌のうちの少なくとも1つを備える、請求項23に記載の装置。
  43. 情報を提示するためにパターン認識を使用するための方法であって、
    リモートに位置する通信デバイスから、マッチされるべきオブジェクトから抽出された特徴の初期低減セットを受信することと、
    マッチされるべき前記オブジェクトから抽出された特徴の追加の低減セットを漸進的に受信することと、
    信頼性ファクタを満たす潜在的なマッチが見つかるまで、特徴の前記初期低減セットおよび特徴の前記追加の低減セットのいずれかまたは両方にマッチするオブジェクトについてライブラリを探索することと、
    前記オブジェクトのための前記潜在的なマッチを判断すると、前記オブジェクトの識別情報を送信することと
    を備える、方法。
  44. 特徴の前記初期低減セットまたは特徴の前に受信した追加の低減セットに基づいて前記信頼性ファクタを満たす潜在的なマッチが見つからないとき、特徴の追加の低減セットについての要求を生成することをさらに備える、請求項43に記載の方法。
  45. 前記オブジェクトに関する追加情報を送信することをさらに備える、請求項43に記載の方法。
  46. 前記オブジェクトに関する前記追加情報が、前記オブジェクトに関連するユニバーサルリソースロケータ(URL)、ロケーション情報、コンテキスト関係情報、または追加のサービスのための広告のうちの1つまたは複数を備える、請求項45に記載の方法。
  47. リモートに位置する通信デバイスから、マッチされるべきオブジェクトから抽出された特徴の初期低減セットを受信することをコンピュータに行わせるための少なくとも1つの命令と、
    マッチされるべき前記オブジェクトからから抽出された特徴の追加の低減セットを漸進的に受信することを前記コンピュータに行わせるための少なくとも1つの命令と、
    信頼性ファクタを満たす潜在的なマッチが見つかるまで、特徴の前記初期低減セットおよび特徴の前記追加の低減セットのいずれかまたは両方にマッチするオブジェクトについてライブラリを探索することを前記コンピュータに行わせるための少なくとも1つの命令と、
    前記オブジェクトのための前記潜在的なマッチを判断すると、前記オブジェクトの識別情報を送信することを前記コンピュータに行わせるための少なくとも1つの命令と
    を備える、コンピュータ可読媒体
    を備える、コンピュータプログラム製品。
  48. リモートに位置する通信デバイスから、マッチされるべきオブジェクトから抽出された特徴の初期低減セットを受信するための手段と、
    マッチされるべき前記オブジェクトから抽出された特徴の追加の低減セットを漸進的に受信するための手段と、
    信頼性ファクタを満たす潜在的なマッチが見つかるまで、特徴の前記初期低減セットおよび特徴の前記追加の低減セットのいずれかまたは両方にマッチするオブジェクトについてライブラリを探索するための手段と、
    前記オブジェクトのための前記潜在的なマッチを判断すると、前記オブジェクトの識別情報を送信するための手段と
    を備える、装置。
  49. 情報を提示するためにパターン認識を使用するための装置であって、
    リモートに位置する通信デバイスから、マッチされるべきオブジェクトから抽出された特徴の初期低減セットを受信することと、
    マッチされるべき前記オブジェクトから抽出された特徴の追加の低減セットを漸進的に受信することと、
    信頼性ファクタを満たす潜在的なマッチが見つかるまで、特徴の前記初期低減セットおよび特徴の前記追加の低減セットのいずれかまたは両方にマッチするオブジェクトについてライブラリを探索することと、
    前記オブジェクトのための前記潜在的なマッチを判断する際に、前記オブジェクトの識別情報を送信することと
    を行うように構成された少なくとも1つのプロセッサと、
    前記少なくとも1つのプロセッサに結合されたメモリと
    を備える、装置。
  50. 前記プロセッサがさらに、
    特徴の前記初期低減セットまたは特徴の前に受信した追加の低減セットに基づいて前記信頼性ファクタを満たす潜在的なマッチが見つからないとき、特徴の追加の低減セットについての要求を生成すること
    を行うように構成された、請求項49に記載の装置。
  51. 前記プロセッサがさらに、前記オブジェクトに関する追加情報を送信するように構成された、請求項49に記載の装置。
  52. 前記オブジェクトに関する前記追加情報が、前記オブジェクトに関連するユニバーサルリソースロケータ(URL)、ロケーション情報、コンテキスト関係情報、または追加のサービスのための広告のうちの1つまたは複数を備える、請求項49に記載の装置。
JP2014531834A 2011-09-20 2012-08-27 モバイル環境における漸進的パターンマッチングのための方法および装置 Expired - Fee Related JP5989781B2 (ja)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US201161536905P 2011-09-20 2011-09-20
US61/536,905 2011-09-20
US13/406,518 US9208392B2 (en) 2011-09-20 2012-02-27 Methods and apparatus for progressive pattern matching in a mobile environment
US13/406,518 2012-02-27
PCT/US2012/052529 WO2013043318A1 (en) 2011-09-20 2012-08-27 Methods and apparatus for progressive pattern matching in a mobile environment

Publications (2)

Publication Number Publication Date
JP2014531664A true JP2014531664A (ja) 2014-11-27
JP5989781B2 JP5989781B2 (ja) 2016-09-07

Family

ID=47880719

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2014531834A Expired - Fee Related JP5989781B2 (ja) 2011-09-20 2012-08-27 モバイル環境における漸進的パターンマッチングのための方法および装置

Country Status (7)

Country Link
US (1) US9208392B2 (ja)
EP (1) EP2758912B1 (ja)
JP (1) JP5989781B2 (ja)
KR (1) KR101619979B1 (ja)
CN (1) CN103814383B (ja)
TW (1) TW201327203A (ja)
WO (1) WO2013043318A1 (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2016218760A (ja) * 2015-05-20 2016-12-22 株式会社日立製作所 物体検出システム、物体検出方法、poi情報作成システム、警告システム、及び誘導システム
JP2020013556A (ja) * 2019-06-12 2020-01-23 Zホールディングス株式会社 情報処理装置、情報処理方法、プログラム、およびアプリケーションプログラム

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104541300B (zh) * 2012-09-28 2019-01-22 英特尔公司 增强现实信息的确定
TWI560627B (en) * 2014-05-09 2016-12-01 Happy Ray Co Ltd Method and system for matching graphics
US20190244276A1 (en) * 2014-05-09 2019-08-08 Happy Ray Co. Ltd. Method and System for Matching Graphics
JP6375775B2 (ja) * 2014-08-19 2018-08-22 日本電気株式会社 特徴点入力支援装置、特徴点入力支援方法及びプログラム
CN111078924B (zh) * 2018-10-18 2024-03-01 深圳云天励飞技术有限公司 图像检索方法、装置、终端及存储介质
CN114567632B (zh) * 2022-02-23 2023-09-19 中煤能源研究院有限责任公司 渐进式编码的边缘智能图像传输方法、系统、设备及介质

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002007432A (ja) * 2000-06-23 2002-01-11 Ntt Docomo Inc 情報検索システム
JP2003007432A (ja) * 2001-06-21 2003-01-10 Nhk Spring Co Ltd セラミックスヒータ
JP2005208761A (ja) * 2004-01-20 2005-08-04 Olympus Corp 情報呈示システム
WO2007004522A1 (ja) * 2005-06-30 2007-01-11 Olympus Corporation 検索システム及び検索方法
JP2007208761A (ja) * 2006-02-03 2007-08-16 Hitachi Ltd 記録再生装置

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5546471A (en) * 1994-10-28 1996-08-13 The National Registry, Inc. Ergonomic fingerprint reader apparatus
US7127106B1 (en) 2001-10-29 2006-10-24 George Mason Intellectual Properties, Inc. Fingerprinting and recognition of data
US20040096107A1 (en) 2002-11-14 2004-05-20 Lockheed Martin Corporation Method and computer program product for determining an efficient feature set and an optimal threshold confidence value for a pattern recogniton classifier
US20040174434A1 (en) 2002-12-18 2004-09-09 Walker Jay S. Systems and methods for suggesting meta-information to a camera user
WO2004100019A2 (en) * 2003-05-12 2004-11-18 Philips Intellectual Property & Standards Gmbh Method of searching for media objects
KR100596498B1 (ko) 2004-06-30 2006-07-03 전자부품연구원 다중 프레임 기반 온라인 얼굴 인식 시스템
US8521737B2 (en) 2004-10-01 2013-08-27 Ricoh Co., Ltd. Method and system for multi-tier image matching in a mixed media environment
US9020966B2 (en) 2006-07-31 2015-04-28 Ricoh Co., Ltd. Client device for interacting with a mixed media reality recognition system
JP2009193187A (ja) 2008-02-13 2009-08-27 Casio Comput Co Ltd 画像検索方法、画像検索システム、画像検索端末および検索用サーバー
TW200951832A (en) 2008-04-15 2009-12-16 Novafora Inc Universal lookup of video-related data
US8391609B2 (en) * 2009-02-24 2013-03-05 Stephen G. Huntington Method of massive parallel pattern matching against a progressively-exhaustive knowledge base of patterns
KR101335617B1 (ko) 2009-04-16 2013-12-02 주식회사 제니텀 모바일 환경에서의 증강 현실 구현 방법 및 이를 위한 장치
US8063797B1 (en) * 2010-07-31 2011-11-22 ParkMe LLC Parking information collection system and method
US8639034B2 (en) * 2010-11-19 2014-01-28 Ricoh Co., Ltd. Multimedia information retrieval system with progressive feature selection and submission

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002007432A (ja) * 2000-06-23 2002-01-11 Ntt Docomo Inc 情報検索システム
JP2003007432A (ja) * 2001-06-21 2003-01-10 Nhk Spring Co Ltd セラミックスヒータ
JP2005208761A (ja) * 2004-01-20 2005-08-04 Olympus Corp 情報呈示システム
WO2007004522A1 (ja) * 2005-06-30 2007-01-11 Olympus Corporation 検索システム及び検索方法
JP2007208761A (ja) * 2006-02-03 2007-08-16 Hitachi Ltd 記録再生装置

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2016218760A (ja) * 2015-05-20 2016-12-22 株式会社日立製作所 物体検出システム、物体検出方法、poi情報作成システム、警告システム、及び誘導システム
JP2020013556A (ja) * 2019-06-12 2020-01-23 Zホールディングス株式会社 情報処理装置、情報処理方法、プログラム、およびアプリケーションプログラム
JP7160763B2 (ja) 2019-06-12 2022-10-25 ヤフー株式会社 情報処理装置、情報処理システム、情報処理方法、プログラム、およびアプリケーションプログラム

Also Published As

Publication number Publication date
CN103814383A (zh) 2014-05-21
KR20140063859A (ko) 2014-05-27
JP5989781B2 (ja) 2016-09-07
EP2758912A1 (en) 2014-07-30
US20130071035A1 (en) 2013-03-21
EP2758912B1 (en) 2021-10-20
KR101619979B1 (ko) 2016-05-11
CN103814383B (zh) 2017-03-15
WO2013043318A1 (en) 2013-03-28
TW201327203A (zh) 2013-07-01
US9208392B2 (en) 2015-12-08

Similar Documents

Publication Publication Date Title
JP5989781B2 (ja) モバイル環境における漸進的パターンマッチングのための方法および装置
US11630974B2 (en) Prioritized device actions triggered by device scan data
JP6105094B2 (ja) アプリケーションへの状態リンクを含む検索結果の生成
KR102197364B1 (ko) 모바일 비디오 서치 기법
US20170161382A1 (en) System to correlate video data and contextual data
US20150031398A1 (en) Zone-Based Information Linking, Systems and Methods
US8788762B2 (en) Methods and apparatuses for data resource provision
WO2017097075A1 (zh) 一种关键词模糊匹配的方法及装置
WO2017143930A1 (zh) 一种搜索结果排序方法及其设备
US10380267B2 (en) System and method for tagging multimedia content elements
WO2018188373A1 (zh) 页面分享方法、装置、服务器及存储介质
CN108491715B (zh) 终端指纹库的生成方法、装置和服务器
KR100896336B1 (ko) 영상 정보 기반의 동영상 연관 검색 시스템 및 방법
WO2015154682A1 (zh) 一种网络请求处理方法、网络服务器和网络系统
WO2019127660A1 (zh) 一种基于用户id识别有害图片的方法及其系统
CN112148962B (zh) 用于推送信息的方法和装置
US10503773B2 (en) Tagging of documents and other resources to enhance their searchability
JP4825717B2 (ja) 文書収集方法、文書収集プログラム及び文書収集装置
KR101498920B1 (ko) 오프라인 실행을 위한 웹 페이지 사전 캐싱 시스템 및 방법
WO2019127659A1 (zh) 一种基于用户id识别有害视频的方法及其系统
JP2007129683A (ja) 圧縮データ送信方法
WO2019127662A1 (zh) 一种基于用户ip识别有害图片的方法及其系统
WO2019127655A1 (zh) 基于用户id和视频拷贝的识别有害视频的方法及系统
CN114089997A (zh) 页面栈的处理方法和装置、存储介质及电子装置
WO2019127661A1 (zh) 一种基于用户ip识别有害视频的方法及其系统

Legal Events

Date Code Title Description
A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20150220

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20150310

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20150610

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20160119

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20160413

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20160712

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20160810

R150 Certificate of patent or registration of utility model

Ref document number: 5989781

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

LAPS Cancellation because of no payment of annual fees