JP2011525664A - 購入のための画像取り込み - Google Patents

購入のための画像取り込み Download PDF

Info

Publication number
JP2011525664A
JP2011525664A JP2011514889A JP2011514889A JP2011525664A JP 2011525664 A JP2011525664 A JP 2011525664A JP 2011514889 A JP2011514889 A JP 2011514889A JP 2011514889 A JP2011514889 A JP 2011514889A JP 2011525664 A JP2011525664 A JP 2011525664A
Authority
JP
Japan
Prior art keywords
user
image
article
vendor
information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
JP2011514889A
Other languages
English (en)
Inventor
ジェン・ユェン
ユシ・ジン
Original Assignee
グーグル・インコーポレーテッド
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by グーグル・インコーポレーテッド filed Critical グーグル・インコーポレーテッド
Publication of JP2011525664A publication Critical patent/JP2011525664A/ja
Withdrawn legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G06Q30/06—Buying, selling or leasing transactions
    • G06Q30/0601—Electronic shopping [e-shopping]
    • G06Q30/0641—Shopping interfaces
    • G06Q30/0643—Graphical representation of items or shoppers
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G06Q30/06—Buying, selling or leasing transactions
    • G06Q30/0601—Electronic shopping [e-shopping]
    • G06Q30/0603—Catalogue ordering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G06Q30/06—Buying, selling or leasing transactions
    • G06Q30/0601—Electronic shopping [e-shopping]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G06Q30/06—Buying, selling or leasing transactions
    • G06Q30/0601—Electronic shopping [e-shopping]
    • G06Q30/0623—Item investigation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G06Q30/06—Buying, selling or leasing transactions
    • G06Q30/0601—Electronic shopping [e-shopping]
    • G06Q30/0633—Lists, e.g. purchase orders, compilation or processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection

Abstract

本明細書の発明対象は、とりわけ、コンピュータによって実施される物品識別方法において実現することが可能であり、この方法は、リモート電子デバイスから受信した画像中の物品を識別するステップと、その物品の1つまたは複数のベンダに関して、その物品に関する情報を含む検索結果を送信するステップと、その物品の1つまたは複数のベンダが提供している物品の注文を実行するためのコードをリモートデバイスに送信するステップとを含む。

Description

本明細書は、一般に、モバイルデバイスなどから取り込んだ画像を利用し、それらの画像から物品を購入するのを補助するステップを説明するものである。
買い物は、ほとんど国民的娯楽である。人々は、週末をショッピングモールで過ごし、大安売を見つけに何マイルも遠回りをする。買い物はまた、少なくとも従来型の店では、なんと言ってもローテク（low tech）である。買い物客は、製品を手にとって確かめ、値札を見て、レジへ行き、それらの商品の支払いを現金、小切手、またはクレジットカードで済ます。
一般的に、買い物客は、物品を見て買うかどうかを思案しているときに、自分は何が欲しいのか、それが安い買い物かどうかを考えている。買い物客は、買い物に行く前にオンラインでリサーチをある程度済ませて付加的情報を入手している可能性があるか、またはウェブブラウザを搭載したスマートフォンなどのモバイルデバイスを使用して、付加的情報を見つけることも考えられる。
Mikolajczyk, K.、Schmid, C.、「A performance evaluation of local descriptors」、IEEE Transactions on Pattern Analysis and Machine Intelligence、27(10)、2005年10月、1615〜1630頁 Lowe, D.G.、「Distinctive image features from scale-invariant keypoints」、International Journal of Computer Vision、60(2)、2004年11月、91〜110頁(Springer Netherlands) Lowe, D.、「Local Feature view Clustering for 3D Object Recognition」、IEEE Computer Society Conference on Computer Vision and Pattern Recognition (CVPR'01)、第1巻、2001年、682頁 Rothganger, F.、Lazebnik, S.、Schmid, C.、Ponce, J.、「3D Object Modeling and Recognition Using Local Affine-Invariant Image Descriptors and Multi-View Spatial Constraints」、IEEE Computer Society Conference on Computer Vision and Pattern Recognition (CVPR'03)、第2巻、272〜277頁、2003年 Grauman, K.、Darrell, T.、「The Pyramid Match Kernel: Discriminative Classification with Sets of Image Features」、Tenth IEEE International Conference on Computer Vision、第2巻、1458〜1465頁、2005年
本明細書は、物理的な物品を識別し、その物品をオンラインで購入するための技術を説明する。一般に、買い物客は、購入対象として興味を抱いている物品の電子画像を取得し、その画像を製品関連情報を受け取ることに関心があることを示す指示と共にリモートサーバにサブミットすることができる。サーバは、この画像を、オブジェクトの識別を手助けするさまざまなオブジェクトに関するメタデータに順にリンクされる製品のさまざまな格納済みの画像と照合することを試みることができる。次いで、このような識別情報を手に入れると、サーバは、その情報を製品検索システムにサブミットし、モバイルデバイスに対して、ユーザの前にある物品と一致する販売中の物品に対する検索結果のリストを返すことができる。サーバは、検索結果に示されているベンダの1つから、ユーザが製品を直ちに購入することができるように、決済システムからのデータを統合することもできる。
この方法では、ユーザは、さまざまなオンラインベンダの物品の価格を比較するだけでなく、従来型の店の物品の価格とオンラインベンダの物品の価格とを比較することができて都合がよい。ユーザは、そのような比較結果を、完了した買い物に容易に変換することもできる。このような買い物は、Yahoo! Shoppingなど、これらのベンダとは異なるサードパーティを通じて行うことも可能なので、ユーザは、クレジットカードまたは他の類似のデータをベンダに送信する必要がない。
第1の一般的な態様では、コンピュータによって実施される識別方法が説明される。この方法は、リモート電子デバイスから受信した画像中の物品を識別するステップと、その物品の1つまたは複数のベンダに関して、その物品に関する情報を含む検索結果を送信するステップと、その物品の1つまたは複数のベンダが提供している物品の注文を実行するためのコードをリモートデバイスに送信するステップとを含む。
第2の一般的な態様では、コンピュータによって実施される物品識別方法が説明される。この方法は、リモートサーバに、物理的な物品を含む画像をサブミットするステップと、それに対する応答として、1つまたは複数のベンダが提供している販売中の物品のリストを、物理的な物品に対応する物品を購入するためのコントロール（control）と共に受信するステップと、これらのベンダのうちの1つのベンダから物品を購入するためのコマンドを送信するステップとを含む。
第3の一般的な態様では、コンピュータによって実施される物品識別システムが説明される。システムは、リモートデバイスによってサブミットされるデジタル画像を受信するためのインターフェイスと、受信された画像の特徴を格納されている画像の特徴と比較して受信された画像内の製品を識別するための画像比較器と、格納されている画像に関連する検索語に対応する検索結果を生成するための製品検索エンジンとを備える。
さらに他の一般的な態様では、コンピュータによって実施される物品識別システムが説明される。システムは、リモートデバイスによってサブミットされるデジタル画像を受信するためのインターフェイスと、複数のベンダによって販売されている製品を含む複数の画像を格納するメモリと、リモートデバイスのユーザに対し、そのユーザによる選択に応答して、複数のベンダのうちから選択されたベンダによる販売を仲介するための手段とを備える。
1つまたは複数の実施形態の詳細は、添付の図面および以下の説明で述べられる。本開示の他の特徴、目的、および利点は、説明および図面、さらに請求項から明白になるであろう。
物品を購入するための画像を取り込むためのシステムの概念図である。 物品を購入するための画像を取り込むためのシステムの略図である。 製品を購入する際に比較する画像を送信するために実行される動作を示す流れ図である。 画像を使用してユーザに対して購入オプションを提供するためのプロセスの例を示す流れ図である。 クライアントがさまざまな画像処理サーバおよびコマースサーバを使用することによって画像中の製品に関する情報を取得するために使用できるプロセスを示すシーケンス線図である。 クライアントがさまざまな画像処理サーバおよびコマースサーバを使用することによって画像中の製品に関する情報を取得するために使用できるプロセスを示すシーケンス線図である。 本明細書で説明されている技術を実装するために使用され得るコンピュータデバイスおよびモバイルコンピュータデバイスの一例を示す図である。
さまざまな図面内の類似の参照記号は、類似の要素を示す。
「どこで買ったんですか?」は、多くの社会的な集まりにおいてよく聞く言葉である。多くの場合、所有者は、その物品をどこで手に入れたかを知らず、その物品が贈り物である場合もあれば、所有者がその物品を購入してから、購入先がどこであったかを覚えていないくらい年月が経っていることもある。店が閉店してしまっていたり、所有者が、仲間内で自分だけのものにしておきたい場合もある。探し求めている人は、インターネット検索を試すことができるが、物品を説明することが難しいときもある。「メタリックスカーフ」と打ち込むと数千ものウェブサイトが呼び出されるのに、どれも、探し求めている人がメタリックスカーフとはこういうものだと考えるものに一致しない。探し求めている人がメタリックスカーフを1つ見つけたとしても、値段が高すぎたり、供給元が不明であったりすることがある。他の供給元の物品とある程度比較できないと、探し求めている人がそれを購入する可能性は低くなる。
同様に、製品の買い物をしている消費者は、店舗にある製品を見て、技術仕様、原産国、および他のそのような情報など、その製品に関する詳細を知りたくなることがある。ユーザは、商品価格を比較して、どこの店の商品が最良価格であるかを確認したい場合もある。
一般に、ユーザは、スマートフォンまたは類似のデバイスに内蔵されているカメラなどのデジタルカメラで、物品の写真を撮り、その写真をマルチメディアメッセージングサービス(MMS)を使用して送信することができる。画像は、画像処理サーバに送信され、識別され得る。いったん識別されると、この写真は、さまざまなベンダによって販売されている物品を見つけるために使用することができ、またユーザは所望の供給元から物品を購入することができる。例えば、ユーザは、友人のスカーフの写真を撮ることができる。スカーフの写真は、画像処理サーバによって識別され、さまざまな売り手が、他のサーバによって識別される。ユーザは、「1ボタンで購入」アプリケーションを通じて売り手を選択することができる。1ボタンで購入アプリケーションでは、ユーザは、さまざまな売り手と、売り手のウェブサイトを訪問することなく、安全に取り引きすることができる。有利には、説明されているシステムは、所望の物品を見つけるまでの時間を短縮するなどの、1つまたは複数の利点を提供することができる。
図1は、物品を購入するための画像を取り込むためのプロセス100の概念図である。一般に、プロセス100を使用することで、ユーザは物品の画像を検索エンジンに送信して、複数の売り手を見つけ、その物品に対する価格設定を比較することができる。ユーザは、どの製品を買いたいかを決めた後、GOOGLE CHECKOUTなどのチェックアウトサービスを通じて物品を購入することができる。
図1を参照すると、ユーザは最初に、自分の買いたい物品102を識別することができる。ここでは、物品は、ステレオヘッドホン一式を収納するボックス、またはヘッドホンそれ自体の形態をとっている。モバイルデバイス104を使用するユーザは、物品102の画像106を取り込むことができる。次いで、モバイルデバイス104は、分析のために、インターネットなどを経由してその画像をサーバに送信することができるが、これは取り込まれた画像106によって示されているとおりである。
サーバまたは他の構造は、さまざまな方法で画像106内の物品が何であるかを識別することができる。例えば、サーバは、画像106内の特徴点を識別することができる。特徴点は、物品が終わり、物品の背後の背景が開始する場所など、画像中のデータが急に変化する(例えば、ピクセル色または輝度の急な変化が生じる)領域とすることができる。これらの特徴点は、実際には、一緒に画像中の対象物のある種のデジタル線画を表し得る。
同じ物品および類似の物品の他の画像は、これらの画像に対し生成された特徴点により、システムによってすでにアクセスされている可能性がある。このような他の画像は、それらの物品に対する製造者およびモデル名などの、それらの物品に関するメタデータと共に取得されている可能性がある。例えば、製造者が、メタデータと共に画像をサブミットしているか、またはシステムが、さまざまなベンダのウェブページを動き回って、まだ構造化されていないウェブページからそのような情報を抽出して、それを構造化されたデータに転換している可能性がある。次いで、ユーザによって取得された画像中の特徴点を、すでに格納されている画像中の特徴点と比較して、最も近い“一致物（一致する物）”を見つけ、次いで、一致する画像に対するメタデータを使用して、ユーザが提供する画像中の物品を識別することができる。
例えば、特徴点は、周囲点からの不連続または差異に基づくものとされ得る。計算できる種類の特徴の例は、例えば、Mikolajczyk, K.、Schmid, C.、「A performance evaluation of local descriptors」、IEEE Transactions on Pattern Analysis and Machine Intelligence、27(10)、2005年10月、1615〜1630頁、およびLowe, D.G.、「Distinctive image features from scale-invariant keypoints」、International Journal of Computer Vision、60(2)、2004年11月、91〜110頁(Springer Netherlands)に記載されている。他の実装について、以下でさらに説明する。
物品が識別されると、物品に関連付けられているタグ108も識別され得る。例えば、物品は、最初に、物品番号またはあまり説明的でない識別子によって識別され得ると共に、タグは、物品のモデルの名前など、より説明的なものになり得る。次いで、このような説明的なタグは、検索エンジン110に送信され得る。検索エンジンは、GOOGLE PRODUCT SEARCHサービス(f/k/a FROOGLE)などの、製品固有のインデックスを対象とし得る。
次いで、検索エンジンは、販売中の製品を現在有しているベンダが提供する製品のリストを、それらのベンダへのリンクおよび価格設定情報と共に、見慣れた形にフォーマットして返すことができる。このような情報は、検索エンジンにより、ベンダから直接的に(例えば、事前に承認されているフォーマットでデータをサブミットするベンダによって)、または手動で(例えば、ベンダページから情報をコピーするエージェントによって)、または半手動で(例えば、ページの一部を構成するエージェントと類似フォーマットページから製品データを抽出するシステムとによって)、または自動的に(例えば、さまざまな知られている機械学習技術による学習データセットでの学習などにより製品および価格設定データを認識するクローラプログラマ（crawler programmer）によって)、すでに読み出されている可能性がある。
次いで、検索エンジン110の結果は、コマースモジュールに渡され得ると共に、コマースモジュールは、タグ108および/または検索結果データを使用して、検索結果中のさまざまなベンダに対する“1ボタンで購入表示”112を生成することができる。例えば、モジュールは、特定のベンダおよびそのベンダに関連付けられている価格設定情報を識別し、視覚的な「購入」コントロール、例えば、選択可能なボタンの形態のコントロールを表示させるマークアップコードを生成することができる。ユーザによる「購入」コントロールの選択で、デバイスによって送信された検索結果コードに関連付けられているJava（登録商標）Scriptまたは他のコードがトリガーされ、これにより、選択された物品がショッピングカートに追加されるか、またはユーザは、GOOGLE CHECKOUTからのチェックアウト画面などの、チェックアウトに直接誘導され得る。一般的に、このような状況においては、ベンダはすでにサービスに関連付けられている必要があり、したがって、購入ボタンは、そのような事前承認されたベンダに対する結果の隣にのみ表示される。
図示されているように、1ボタンで購入表示112は、忠実な一致物114および類似の一致物116などのさまざまな製品をユーザに提供するように、モバイルデバイス104に送信され得る。表示112は、画像変更ボタン118を備えており、同じ写真に基づいて異なる検索結果を与えることができる。1ボタンで購入表示112は、現在の検索結果から他の一致物をユーザが表示できるようにする“もっと見るボタン”120を含む場合もある。
それぞれの検索結果に関連付けられている情報も、特定のベンダに対するウェブページに接続するハイパーリンクの形態で提示され得る。ユーザは、このハイパーリンクを選択すると、ベンダのウェブページに移動することができる。このような選択により、ユーザは、技術仕様などの製品に関する追加詳細を見て、提供される製品がユーザの前にある製品と同じであるか、または同等であることを確認し、ベンダが本物であることを確認し、表示価格が正確であることを確認することができる。
一致物は、1ボタンで購入表示112内のソート選択肢122からソートすることができる。例えば、一致物は、最も近い視覚的一致物からより遠い視覚的一致物へとソートするか、またはとりわけ、価格でソートすることができる。ユーザは、自分のモバイルデバイス104上で一致物を選択することができる。モバイルデバイス104は、選択結果をチェックアウトサーバ124に送信し、チェックアウトサーバは、ユーザに確認表示126を見せるための表示を生成することができる。
表示112は、ユーザが自分のモバイルデバイス104を通じて物品を安全に購入する効率的な手段をユーザに提供することができる。いくつかの実装では、ユーザは、自分のモバイルデバイス104を通じてデータを格納しておき、このデータにより、個人情報を入力することなく購入を行うことができる。例えば、ユーザは、GOOGLE CHECKOUTアカウントを通じてデータを格納しておくことができる。表示112を使用すると、ユーザは、このような状況において売り手のウェブサイトに直接入らずに購入を行うこともできる。その結果、ユーザは、クレジット情報を単一の信頼できるソースに提供していた可能性があるが、多数の未知のベンダと、これらのベンダにクレジット情報を与えることなく取り引きすることができる。
他の実装では、ユーザは、売り手のウェブサイトに移動して、売り手から直接購入することができる。同様に、ユーザは、購入を行うために自分の個人情報を売り手に提供することができる。また、表示112は、以下でさらに説明されるように、さまざまな表示構成をとることができる。
いくつかの実装では、検索エンジン110は、好ましいベンダを表示するか、または検索エンジンに登録されているベンダのみを表示することができる。他の実装では、タグ108は、オークション検索エンジンに送信されることができる。同様に、ユーザが購入を行うためにどの検索エンジン110を使用したいかを選べるオプションを、ユーザに与えることができる。さらに他の実装では、プロセス100は、複数の検索エンジンを使用して一致物をユーザに表示することができる。
上述のように、検索エンジン110は、忠実な一致物114と類似の一致物116を供給することができる。図1は、忠実な一致物114を、物品102と同じモデル番号およびブランドであるものとして示している。いくつかの実装では、忠実な一致物114は、物品102と同じ製品でない一致物とすることも可能である。例えば、忠実な一致物114は、物品102と同じ特徴を有する製品とすることができるが、同じブランドではない。忠実な一致物は、サブミットされる画像に忠実ではあるが、十分に忠実ではない一致物であった、画像に対応する物品とすることもできる。図1に示されているように、類似の一致物116は、物品102と同じブランドであるが、異なるモデルである。いくつかの実装では、類似の一致物116は、物品102と同じブランドまたは同じ製品でないが、物品102に関係する製品である、一致物とすることも可能である。例えば、物品102は、図1に示されているヘッドホンとすることができ、類似の一致物116は、一般バージョンのヘッドホンおよびヘッドホンケースなどの製品を含むことができる。他の実装では、検索エンジン110は、忠実な一致物114のみを返すことができる。
格納されている画像が、ユーザによってサブミットされた画像106と十分に一致していない場合、システムは、もっとよい画像を入手するようユーザに要求することがある。例えば、画像106は、照度が不十分であると判定されることがある。システムは、このような状況では、照度の高い画像106が再サブミットされた場合にのみ、十分な一致物があり得ると決定することができる。そのようなものとして、システムは、フラッシュを使用するか、代替光源を使用するかして、もう一度撮像するようユーザに指示するメッセージをデバイス104に返すか、または同様の方法でユーザに指示することができる。同様に、画像は、解像度が不十分であると判定されることがある。そのようなものとして、システムは、高解像度を使用するか、物品102にさらに一歩近づくか、物品102をズームインするかして、もう一度撮像するようユーザに指示するメッセージをデバイス104に返すか、または同様の方法でユーザに指示することができる。システムは、単純に結果を見つけられず、異なる設定を使用してもう一度撮像することをユーザに要求することもある。その後の画像の処理および比較は、元の画像106の場合と似た方法で実行され得る。一致物が見つからなければ、システムはその旨をユーザに通知することができる。
いくつかの実装では、画像変更ボタン118によって、異なるタグ108を生成するために画像106を再び評価させるオプションをユーザに提示することができる。例えば、ユーザがヘッドホンを欲しいと思っているが、画像106がmp3プレーヤの画像も含んでいた場合、画像変更ボタン118で、mp3プレーヤがユーザの望む物品102でないことを示すデータを供給することができる。他の実装では、画像106をモバイルデバイス104上に表示し、物品102が配置されている画像106内の領域をユーザに指定させることができる。さらに他の実装では、物品がイヤーマフであり、初期結果がヘッドホンを示していた場合、画像変更操作は、画像処理サーバが初回の結果と実質的に異なる結果を生成するように、画像処理サーバに、それがその画像比較プロセスにおいて使用するパラメータを、変更させることができる。
もっと見るボタン120は、物品が一致のレベルでソートされたときに、最初の1ボタンで購入表示112に示されているものと比べて物品との関連性が低い一致物か、または物品が価格でソートされた場合に価格が高くなる一致物を、ユーザに提示することができる。他の実装では、もっと見るボタン120は、異なる検索エンジンオプションをユーザに提示することができる。例えば、表示112に複数の忠実な一致物114が入っていて、最初に、ユーザになじみのないベンダの一覧を表示している場合、ユーザは、高評価の売り手から購入することを望み、さらに多くの結果を表示するように要求することができる。ソート選択肢122の評価オプションを使用することで、ユーザは、最高評価の売り手を一覧表のトップに移動することもできる。
すでに説明されているように、画像マッチングは、さまざまな方法を用いて計算され得る。パッチベースの特徴については、例えば、一番上で常に最も明るくなるように部分画像を回転することにより、または上記先行技術文献においても説明されているさまざまな他のスキームを通じて、パッチは、標準方向に正規化されることができる。他の手法では、パッチをスケール不変にするか、またはアフィン変換に対して不変にすることができる。いくつかの実装では、視覚的類似度を使用して画像中の物品を識別することができる。一手法では、特徴点に対し類似度関数を定義することができる。比較関数は、単純なものから複雑なものまでさまざまなものがある。2つの画像を比較するための方法が当技術分野では知られており、幾何学的情報を使用して特徴点の2つの集合の妥当性を確認する複合マッチング関数が、例えば、Lowe, D.、「Local Feature view Clustering for 3D Object Recognition」、IEEE Computer Society Conference on Computer Vision and Pattern Recognition (CVPR'01)、第1巻、2001年、682頁、Lowe, D.、「Distinctive Image Features from Scale-Invariant Keypoints」、International Journal of Computer Vision、60(2)、2004年、91〜110頁、Rothganger, F.、Lazebnik, S.、Schmid, C.、Ponce, J.、「3D Object Modeling and Recognition Using Local Affine-Invariant Image Descriptors and Multi-View Spatial Constraints」、IEEE Computer Society Conference on Computer Vision and Pattern Recognition (CVPR'03)、第2巻、272〜277頁、2003年、およびGrauman, K.、Darrell, T.、「The Pyramid Match Kernel: Discriminative Classification with Sets of Image Features」、Tenth IEEE International Conference on Computer Vision、第2巻、1458〜1465頁、2005年において説明されている。
他の実装では、画像106は、光学式文字認識(OCR)を使用して全部または一部が判定され得る。例えば、物品102が本であるとすると、表紙にタイトルが付けられているか、または国際標準図書番号(ISBN)が付けられている。あるいは、物品は、箱表面に識別情報が印刷されている段ボール箱の中にあり得る。例えば、OCR情報を使用して、画像間比較結果に基づく結果を精密化することができる。上記の例を使用すると、画像間比較によってヘッドホンとイヤーマフに対し近い評価が得られる場合、「ステレオ」、「ヘッドホン」、または他のそのような語を参照する画像中のテキストを使用して均衡を破ることができる。同様に、物品が矩形の箱の中にあるとの判定がなされ、ヘッドホンに関係する格納されている画像は矩形の箱の画像を含んでいるが、イヤーマフの格納されている画像はそうでない可能性がある。他の指標が確定できないときなどに、このような情報を考慮することもできる。
いくつかの実装では、表示112は、ユーザが英数字検索語を入力して一致する物品の大きな一覧表を絞り込むことができる領域を提供するために、検索領域を備えることができる。例えば、プロセス100が青色の帽子に対し5,000を越える一致物の一覧表を返す場合、ユーザは、「ウール」という語で検索を絞り込むことができる。同様に、表示112は、特定の価格範囲またはベンダもしくは製造者の名前を表示することができ、これにより、ユーザは自分の検索を絞り込み、自分が写真を撮った物品102を、より正確に適合させることができる。他の実装では、デバイス104は、システムにさらなるデータを供給するために、GPS対応デバイスとすることができる。例えば、ユーザがTARGET内に存在する場合、画像は、TARGETによって供給されるカタログと照合されることができる。さらに他の実装では、画像106は、ランドマークを含み、これにより、システムはその画像を旅行関係の画像と照合することができる。例えば、画像106が金門橋の一部を含んでいれば、システムはその画像をストリートビューデータと照合することができる。
ユーザは、さまざまな状況において自分が買いたいと思う物品102を探すことができる。ユーザが買いたい物品102は、ユーザが日常生活で見かける物品であり得る。例えば、ユーザは、ヘッドホン、本、衣類、または自動車などの物品を検索することができる。あるいは、ユーザは、テレビ番組また雑誌などのメディアを通じて、物品102を探すことができる。ユーザが公共消費に利用できない物品を探している場合について、以下でさらに説明する。ユーザが複数の画像を撮像してコレクションとしてサブミットすることについても、以下でさらに説明する。
画像106は、典型的には、ユーザにより、モバイルデバイス104を使って撮像されることができるが、画像106は、他のさまざまな方法で入手されることができる。いくつかの実装では、ユーザは、インターネットなどのさまざまなソース、カメラ、および友人からの写真付きメッセージから、画像をダウンロードすることができる。例えば、娘がスカーフの写真を母親に送信して、自分の誕生日にスカーフが欲しいと頼むことができる。母親は、システム内のこの写真を使用して、娘にスカーフを買うことができる。
モバイルデバイス104は、携帯情報端末、携帯電話、スマートフォン、および他の類似のコンピューティングデバイスなどのさまざまな形態のデバイスを表すことが意図されている。一般に、デバイスは、MMS通信を行うことができ、他の通信モードにも対応できる。モバイルデバイス104は内蔵カメラを備えていて、これで画像106を取り込むか、またはモバイルデバイスはSDカードなどのデバイスを通じて、またはBLUETOOTH対応デバイスを介して、またはインターネット経由で画像106をアップロードすることができる。
物品の購入について説明されているが、このシステムは他の活動向けにも実装することができる。例えば、ユーザは映画に関して印刷された広告を見ることができる。プロセス100は、広告の写真によって、映画を判定し、ユーザにその映画のレビューを提供し、モバイルデバイス104の位置を基準として使用するか、またはそのユーザの格納されている「ホーム」位置を基準として使用して、近くにある映画館の一覧表を提供することができる。他の実装では、プロセス100は、食品の材料を判定するために使用され得る。例えば、ユーザがレストランで出される一皿の料理のレシピを見つけたい場合、ユーザは、その料理の写真を撮り、その写真に一致するものを返してくれる検索を実行することができる。この実装は、食物アレルギーを持っているユーザ、または食事制限を行っているユーザにとって有益なものと思われる。
すでに説明されているように、ユーザが、公共消費に利用できない物品を探している場合もある。例えば、ユーザは、映画の画像を格納しておき、数ヶ月後に発売されたときにDVDを購入することができる。同様に、ユーザは、売り物に利用可能な画像を格納しておき、後日検索することもできる。例えば、ユーザは、休日に数人の人々のために買い物をする場合、ショッピングモールを歩き回って、いくつかの画像106を撮像することができる。一日が終わった後、ユーザは、画像106をソートして、どれを買いたいかを決め、次いで、それらの画像をシステムにサブミットし、それらの画像中にある物品に関する詳細を知ることができる。
すでに説明されているように、ユーザは、システムに複数の画像を供給するが、その際に、それらをコレクションとしてサブミットすることができる。一つの実装において、ユーザは、ニコンD40カメラおよびソニーのカメラの画像を送ることができる。システムは、一方の画像を使用して、他方の画像の絞り込みをしやすくすることができる。例えば、システムが第2の画像をソニーのカメラと明確に識別したが、ニコンD40カメラの第1の画像は容易に判定されない場合、システムは、第2の画像およびその特性を使用して、第1の画像に対する検索を明確にすることができる。他の実装では、ユーザは、複数の特定の画像をコレクションとして保存し、新しい画像をそのコレクションの一部であるものとしてサブミットすることができる。新しい画像は、すでに保存されているコレクションの保存済みパラメータの範囲内で検索されることができる。例えば、ユーザは、ニコンD40カメラの画像およびソニーのカメラの画像を保存しておき、キャノンのカメラの画像を取得することができる。新しい画像は、前のパラメータを使用して検索を絞り込むことで判定することができる。
図2は、物品を購入するための画像を取り込むためのシステム200の略図である。システム200は、コンピューティングデバイス202、画像処理/コマースサーバ204、決済サーバ206、および認証サーバ208を備える。ここで、コンピューティングデバイス202は、インターネット210を介して所望の物品の画像を画像処理/コマースサーバ204に送信することができる。画像処理/コマースサーバ204は、コンピューティングデバイス202によって供給される画像を使用することで、その物品と一致する製品を見つけることができる。画像処理/コマースサーバ204は、ユーザが一致する製品のいずれかを購入することを希望するかどうかを決定できるように、一致する製品のリストをコンピューティングデバイス202に送信することができる。
ユーザが、一致する製品のうちの1つを選択すると、コンピューティングデバイス202は、ユーザの選択結果を決済サーバ206に送信することができる。決済サーバ206は、ユーザの購入を処理するために、ユーザ情報をベンダに提供し、ベンダ情報をユーザに提供することができる。決済サーバ206は、決済情報に関して、認証サーバ208にユーザ認証を要求することができる。決済サーバ206が、認証情報を受信した後、決済サーバ206は、確認データをコンピューティングデバイス202に送信することができる。例えば、ユーザは、地下鉄で見たスカーフを購入したいと思う。ユーザは、スカーフの写真を撮り、それを画像処理/コマースサーバ204にアップロードして、決済サーバ206を通じてスカーフを購入するベンダを見つけることができる。
画像処理/コマースサーバ204は、画像内の物品を識別し、一致する製品を検索するために使用され得る複数のコンポーネントを有する。例えば、画像処理/コマースサーバ204は、特徴点生成器212、画像比較器214、検索エンジン216、製品画像データソース218、製品データソース220、およびベンダデータソース222を有することができる。
特徴点生成器212は、画像を分析して特徴点を決定することができる。さらに上と下で説明されているように、特徴点生成器212は、さまざまな方法を使用して、画像内の物品を判定することができる。画像比較器214は、特徴点生成器212からの特徴点を使用して、画像を表すタグを決定するか、またはすでにタグ付けされている一致する形を識別することができる。一致する製品を見つけるために、検索エンジン216は、特徴点から導出されたタグを使用することができる。
画像処理/コマースサーバ204内のデータソースは、さらによく一致するデータを提供するための比較情報を提供することができる。製品画像データソース218は、特徴点がすでに付与された既知の製品を提示することができる。例えば、画像は製品画像データソース218における製品画像と同じ特徴点を有する場合、画像比較器214は、一致物を識別し、次いで、一致した画像から製品タグを決定することができる。製品タグを決定するために、製品データソース220は、製品画像に対する特徴点と一致する特徴タグを含むことができる。以下でさらに説明されるように、タグは、さまざまな実装を介して決定され得る。
決済サーバ206は、ユーザが物品を購入できるようにするために使用され得る複数のコンポーネントを有する。決済サーバ206は、支払い認証器226、取引モジュール228、およびチェックアウトインターフェイス230を備える決済モジュール224を有することができる。決済サーバは、ベンダデータソース232および購入者データソース234を含むことができる。決済サーバ206の一例は、GOOGLE CHECKOUT機能を提供するサーバのグループである。このような例では、標準のCHECKOUTインターフェイスを使用することができ、画像処理/コマースサーバ204は、デバイス202上で実行されたときにデバイス202を決済サーバ206にリダイレクトして取引を完了させるマークアップコードをデバイス202に単に受け渡すだけである。
決済モジュール224は、コンピューティングデバイス202から製品を購入する要求を受け取ることができる。決済を処理するために、決済モジュールは、決済認証器226を使用して安全な取引を決定することができる。いくつかの実装では、決済認証器226は、認証サーバ208が提供する認証を要求することができる。このような認証は、例えば、ユーザが取引を要求する前または取引を要求した後に、認証サーバ208によってシステムにログインする場合に実行され得る。取引が認証されると、取引モジュール228は、ユーザの決済を処理し、製品をユーザの望む発送先住所に発送するために必要な情報をベンダに提供することができる。チェックアウトインターフェイス230は、データを使用してコンピューティングデバイス202がユーザ用に購入確認ページを作成するための表示を生成することができる。以下でさらに説明されるように、決済モジュール224は、コンピューティングデバイス202を通じてユーザにさらに多くの情報を要求することなく取引を完了することができる。
決済サーバ206におけるデータソースは、ユーザと売り手との間の通信のための情報を提供することができる。ベンダデータソース232は、ベンダと取り引きするための情報を提供することができる。例えば、ベンダデータソース232は、連絡先情報および決済のための銀行支店コードを格納することができる。購入者データソース234は、ユーザからの情報をベンダに提供するための情報を格納することができる。例えば、購入者データソース234は、発送先および請求先住所を含むことができ、発送先住所情報は、ベンダに物品の発送先がわかるように、ベンダに渡され得る。いくつかの実装では、ベンダは、クレジットカード情報を決して直接受け取ることはなく、購入者が認証されたという確認書を受け取るだけである。他の実装では、購入者データソース234は、ベンダに直接送信されるクレジットカード情報を含むことができる。
認証サーバ208は、安全な取引ができるようにユーザの決済情報を認証するために使用され得る複数のコンポーネントを有する。認証サーバ208は、認証器236とユーザデータソース238を有することができる。認証サーバ208は、決済サーバ206から認証要求を受け取り、製品を購入するようにコンピューティングデバイス202を認証することができる。例えば、ユーザは、ユーザのすでに入力されている銀行取引情報にアクセスできるコンピューティングデバイス202上のアカウントにサインインすることができる。
認証サーバ208用のデータソースは、ユーザ固有の決済情報をシステム200に提供することができる。ユーザデータソース238は、クレジットカード情報、銀行口座の銀行支店コード情報、およびセキュリティ情報などの情報を提供することができる。例えば、ユーザが取引をするたび毎に情報を入力しなくても済むように、ユーザのクレジットカード番号およびセキュリティコードをユーザデータソース238に格納しておくことができる。
すでに説明されているように、製品タグは、さまざまな実装を介して決定され得る。例えば、特徴点生成器は、周囲の特徴から対象となる特徴の差異を見つけることによって画像上の特徴点を決定することができる。他の実装では、特徴点生成器212は、OCRを使用して、検索エンジン216用のテキストベースのタグを決定することができる。例えば、画像が図1の画像106の場合と同様に「ヘッドセット」、「スーパーフォン」、および「VX-1」という語を付けた輸送容器（packaging：パッケージング）を含む場合、検索エンジン216は、これらの語をタグとして使用することができる。さらに他の実装では、特徴点生成器212、画像比較器214、または検索エンジン216は、統一商品コード(UPC)またはISBNなどの、画像上の製品に対する一意的なコードを判定することができる。
いくつかの実装では、決済モジュール224は、コンピューティングデバイス202から購入要求を受け取り、ユーザから他の情報を受け取ることなく購入を処理することができる。このタイプの取引は、製品を購入する効率的で安全な手段となり得る。他の実装では、ユーザは、すでに利用可能な方法と異なる決済方法で物品を購入したい場合がある。例えば、妻が夫の誕生日に新しいテレビを購入したいが、オンライン購入に共同の銀行口座を設定している場合、妻は、このプレゼントで驚かせたいので、その口座を使用したくないと考える。決済認証器は、コンピューティングデバイス202から要求を受け取り、購入者データソース234を通じて利用可能な情報と異なる決済情報を使用することができる。このような場合、決済サーバ206は、取引を直接処理するか、またはベンダに決済情報の処理を任せることができる。
すでに説明されているように、認証サーバ208は、ユーザが取引毎に自分の個人情報を入力しなくても購入に対して安全な取引を実行することができる。いくつかの実装では、認証サーバ208は、特定のユーザアカウントに関するユーザデータソース238からデータを提供することができる。例えば、ユーザは、GOOGLE CHECKOUTなどの、クレジットカード情報が格納されているアカウントを持ち、ベンダにクレジットカード番号または他の極秘データを提供することなくベンダに対する決済を行うことができる。他の実装では、認証サーバ208は、情報をベンダに直接提供することができる。
図3Aは、製品を購入する際に比較する画像を送信するためにプロセス300において実行される動作を示す流れ図である。プロセス300は、一般に、画像を受信するステップと、画像中の対象物を識別するステップと、関連するベンダを対象とする物品を検索するステップと、ユーザの物品パラメータを確認するステップと、ユーザの口座に請求を行うステップと、ベンダに取引を報告するステップと、ベンダの口座に入金を行うステップとを伴う。
初期ステップでは、プロセス300は、画像を受け取る(ボックス302)。例えば、ユーザは、購入したい物品の写真を撮ることができる。作成された画像は、分析され得るように、プロセス300を使用して、アップロードされることができる。一例として、ユーザは、友人が身につけているスカーフを目にしたときに、そのスカーフの写真を撮ることができる。スカーフの画像は、画像に関する情報が決定されるように、受信され得る。
次いで、プロセス300は、画像中の対象物を識別する(ボックス304)。例えば、画像は、スカーフを含むことができる。スカーフは、周囲の特徴からの物品の差異を使用して識別され得る、特定の特徴点を有することができる。例えば、スカーフの布地は、布地を形成するように円板がつながれている金属メッシュから作られているかもしれない。材料から反射する光は、光反射の大きな偏移が利用可能なので、特徴点に対する情報源となり得る。特徴点は、以下でさらに説明されるように、数学的にさまざまな方法で識別され得る。
次いで、関連するベンダを対象として物品を検索する(ボックス306)。例えば、特定の物品の取引に先立って、優先的ベンダが識別され得る。他の実装では、その物品に関して、すべてのベンダが検索され得る。一例として、上述のスカーフのあるサイトが判定され得ると共に、スカーフを販売することができるサイトが読み出され得る。いくつかの実装では、そのスカーフは、スカーフとして識別され得るが、特定のスカーフが置かれていない可能性がある。このような状況では、検索は、一般に、複数のスカーフについて単純に行われるだけであり、ユーザは、関心を持っているスカーフのように見えるものについて返された結果の範囲内で閲覧する（browse）ことができる。
次いで、プロセス300は、ユーザによる物品パラメータを確認する(ボックス308)。例えば、画像中のスカーフに最も忠実な一致物が、ユーザに対し表示され、これにより、ユーザは、購入したいスカーフのベンダを決定することができる。いくつかの実装では、ユーザは、新規画像をアップロードすることを要求することができる。他の実装では、ユーザは、画像中の対象物が再び識別されるように要求することができる。さらに他の実装では、ユーザは、元の検索からさらに多くの一致物を求めることができる。
ここで説明されている例では、ユーザは、「1ボタンで購入」アプリケーションを使用してミネアポリスのReGiftsからスカーフを購入することができるが、ReGiftsは、例えば、GOOGLE CHECKOUTの登録ベンダである。(ReGiftsが登録されていない場合、取引は暫定的に記帳され、決済システムは、注文のあったことをReGiftsに連絡し、ReGiftsのマネージャは、注文のサインアップと完了を行うかどうかを決定することができる。)このアプリケーションでは、ユーザは、後述のように、さらに情報を提供しなくてもスカーフを購入することができる。1ボタンで購入アプリケーションは、ユーザが異なるベンダ同士を比較して、ベンダのウェブサイトのどれをも閲覧せずにスカーフを購入することを可能にする。
ボックス310で、ユーザの口座に請求がなされる。例えば、ReGiftsからスカーフを購入したいとユーザが決心すると、さらなる情報を提供するようユーザに要求することなくユーザの口座に請求がなされ得る。すでに説明されているように、課金情報は、Google Checkoutアカウントなどのユーザアカウントから取得できる。ユーザアカウントは、クレジットカード情報または当座預金口座情報などの情報を含み得る。
いくつかの実装では、ユーザが国外の購入者と取り引きすることができる場合、ユーザの言語または通貨とは異なる言語または通貨を使用するサイトを表示することができる。例えば、望んでいる物品が、ハローキティーのハンドバッグである場合、日本語ウェブサイトでそのハンドバッグを売っている可能性がある。いくつかの実装では、ベンダは、物品をさまざまな国に販売するのを望むかどうかを、あらかじめ決定しておくことができる。他の実装では、プロセス300は、ベンダのウェブサイト内のデータから(例えば、通貨記号を識別することによって)ベンダが取引を完了できるかどうかを判定することができる。
図3Bは、画像を使用してユーザに対して購入オプションを提示するためのプロセス320の例を示す流れ図である。一般に、プロセス320は、画像を受け取ってそれを(またはより具体的には、それからの特徴点を)画像中の物品を識別するタグにすでに関連付けられている事前に分析されている画像の画像ライブラリと比較するステップを伴う。一致した場合、タグは、受信された画像に関連付けられ、ユーザに送信され得る結果を生成するために、検索エンジンに適用され得る。以下でさらに詳しく説明されるように、ユーザは、結果との対話操作のための多数のオプションを与えられ得る。
初期ステップで、プロセス320は、画像を受け取る(ボックス322)。例えば、画像メッセージを通じて受信される画像が受信され得る。画像は、ユーザが購入を希望する特製品（specialty item）であり得る。いくつかの実施例では、画像は、チョコレートカップケーキをチョコレートガナッシュおよびバタークリームフロスティングと一緒に示し得る。
次いで、プロセス320は、画像中の特徴点を識別する(ボックス324)。例えば、カップケーキの包装紙上の特徴点は、画像中の影と光を使用してアコーディオン形状から判定され得る。画像のカラーパレットも、カップケーキ内の潜在的な一致する風味を判定するために使用され得る(例えば、チョコレートとレモン)。この時点で、特定の物品が画像中に見つかるかどうかを判定するために、予備検査を実行することもできる−例えば、画像がかなりピンぼけである場合、連続的な点群を見つけられず、ユーザはより良好な画像をサブミットするよう指示を受ける可能性がある。
次いで、プロセス320は、画像と画像ライブラリを比較する(ボックス326)。例えば、カップケーキの画像は、ピッツバーグのDozen CupcakesのEast End Chocolate Stoutカップケーキと一致する可能性がある。この画像は、ピッツバーグのCoco's Cupcakesのクッキーアンドクリームカップケーキとも一致する可能性がある。他の実装では、ネーミングフィルタを通じて比較を決定することができる。例えば、画像ファイルが、「カップケーキ」などの名前を持っている場合、画像ライブラリは、フィルタ処理されて、その中にカップケーキを持つ画像に絞り込まれ得る。それどころか、さまざまなカップケーキが互いにそれほど異ならないので、画像は、「チョコレートカップケーキ」または「レモンカップケーキ」または同様のタグに関連付けられ、カップケーキの特定のブランドには関連付けられていない画像と単純に一致する可能性がある。
次いで、ベンダ識別子メタデータとの比較の結果が送信される(ボックス328)。このような結果は、一致する形に関連付けられているタグを、標準APIを介して製品検索システムにサブミットすることによって生成される検索結果であり得る。例えば、それぞれのベンダの一致するカップケーキに対する画像、説明、数量、および価格設定が送信され得る。(タグが単純に「カップケーキ」を示している場合、カップケーキという語を使用するか、またはベーカリーなどの関連語を使用してローカル検索が実行され得る。)いくつかの実装では、ユーザがベンダおよび製品を比較できるように、最も忠実な一致物が表示され得る。他の実装では、結果は、価格別に表示され得る。さらに他の実装では、物品が正しく識別されたことをユーザが確認できるように、最初に最良一致物が表示され得る。また、一致物は、ローカル検索モードのときに、地図上にピンとして表示され得ると共に、適切なピンを選択すると、ユーザに対して現地ベンダに関する詳細が表示され得る。
ボックス330で、ベンダ識別子と共に購入コマンドを受け取る。例えば、4つのEast End Chocolate Stoutカップケーキに対する購入コマンドを受け取ることができる。購入コマンドは、単一ステップで購入を開始する、“1ボタンで購入”コマンドとすることができる。他の実装では、購入コマンドは、ユーザに対し税金情報、発送情報、および計算された他の情報を含むチェックアウト画面を表示することによって、ユーザがカップケーキを購入する意志のあることを確認するための確認ステップを有することができる。それに加えて、ボタンを選択することで、物品をショッピングカートに追加することができ、またユーザは後でショッピングカートからその物品を削除するか、またはそれ以降にショッピングカートに追加された他の物品と共に購入することを選択することができる。
次いで、プロセス320は、ユーザを認証する(ボックス344)。例えば、ユーザは、GOOGLE CHECKOUTアカウントなどの、財務情報を伴うオンライン口座を持つことができる。この認証では、ユーザの口座へのアクセスを行い、プロセス320に決済情報へのアクセスを許すことができる。
次いで、プロセス320は、ベンダを識別し(ボックス346)、その物品を確認する。例えば、Dozen Cupcakesは、4つのEast End Chocolate Stoutカップケーキに対する識別されたベンダとすることができる。プロセス320は、Dozen Cupcakesがインターネット経由でEast End Chocolate Stoutカップケーキを4個単位で販売することを確認することができる。
ボックス348で、チェックアウトページがユーザのデバイスに送信される。例えば、チェックアウトページは、この取引に対するベンダ、物品、物品の数量、物品の価格、税金、および合計、受渡日、ならびに発送および課金の情報を入れることができる。チェックアウトページは、ユーザにために領収書を用意することができる。あるいは、チェックアウトページは、ユーザに対して、取引を確認または拒絶する機会を提供することができる。
ユーザから確認書を受け取る(ボックス350)。例えば、ユーザは、発送、税金、および課金の情報を検討して、チェックアウトページに載っているすべての物品を購入する(そして対価を支払う)ことを望んでいることを確認することができる。この後、このような確認は、通常はユーザの口座からの出金およびベンダの口座への入金を行わせることを伴う、取引の履行を開始させ得る。当事者同士の事前の合意に従って、取引手数料をユーザの価格に加えたり、またはベンダの売買価格から差し引いたりすることもできる。
次いで、プロセス320は、取引を履行し、報告する(ボックス352)。例えば、取引は、ベンダが注文および注文に対する決済を受けるように送信され得る。ユーザへの報告は、追跡調査要求のための、または発送の進行状況を調べるための確認番号などの情報を提示することができる。他の例では、ベンダは、物品、数量、望む受渡日、および発送先住所の情報を受け取ることができる。
次にプロセスの他の分岐を参照すると、いくつかの実装では、プロセスは、ベンダ識別子メタデータと共に、さらに多くの結果を読み出す(ボックス333)ための「もっと見る」コマンドを受け取ることができる(ボックス332)。例えば、ユーザが、カップケーキを購入したいベンダを見つけられない場合、「もっと見る」コマンドを使用すると、他の購入オプションに対する異なるベンダを読み出すことができる。いくつかの実装では、もっと見るコマンドは、読み出された他の製品を提示することができる。いくつかの場合において、「もっと見る」コマンドは、初期結果の場合ほど忠実な一致物ではなかった結果を返すことがあり、他の場合には、「もっと見る」コマンドを実行すると、異なるパラメータを使用する異なる検索が実行され得る。
他の分岐では、プロセス320は、新しい画像を受け取り、特徴点を識別することができる(ボックス334)。例えば、ユーザは、プロほどではない写真家であり、プロセスが第1の画像中で物品を識別しようとした後に、その画像から望む物品の半分が欠落していることを認識することができる。新しい画像が、識別され、そして検索されるように、受け取られることができる。または、ユーザの最初のサブミットに返された結果が不適切であった場合、ユーザは、自力で、またはシステムから出されるプロンプトで、新しい画像をサブミットすることができる。
他の分岐では、プロセス320は、送信された結果からの物品の情報を要求する情報コマンドを、任意選択により受け取ることもできる(ボックス336)。例えば、特定のカップケーキの材料などの、列挙されている特定の物品に関する情報が要求され得る。情報コマンドを受け取った後、プロセス320は、物品タイプを識別する(338)。例えば、物品タイプは、カップケーキ中の材料であり得るか、または電子的物品の技術仕様であり得るか、または単に、そのページが特定の物品中心になっているベンダのウェブサイトのURLに関係する可能性がある。任意選択のステップ340で、プロセス320は、物品情報を検索する。例えば、プロセスは、材料情報についてベンダのウェブサイトを検索することができる。他の実装では、ベンダは、ユーザが材料、営業時間、配送費、または在庫量などの情報を検索することができる所定の物品を供給することができる。この情報は、必要に応じて、または定期的に更新され得る。最後のステップ342として、プロセス320は物品情報を送信する。例えば、ユーザが購入を続けたいかどうかを決められるように、カップケーキの材料情報を送信することができる。他の物品情報としては、アルバムから抜粋した楽曲のクリップ、または映画の予告編が挙げられる。
ここで例示されている例に示されている4つの経路に加えて、他のオプションも、ユーザから利用できるようにすることが可能である。例えば、ユーザは、示されているのと異なる色の物品を要求することができる。画像は、ウォルナット仕上げの椅子を示しているが、ユーザは、チェリー仕上げの同じデザインの椅子を望んでいる可能性がある。このようなオプションがユーザに対して示され得ると共に、ユーザは、特定の結果を入力するか、またはユーザは、望むオプションを持つ別の画像、ここでは、チェリー仕上げの画像を入力することができる。
図4Aおよび4Bは、それにより、クライアントがさまざまな画像処理サーバおよびコマースサーバを使用することによって画像中の製品に関する情報を取得できるプロセスを示すシーケンス線図である。全般的に、図4Aは、ユーザがクライアントデバイスを介して画像をサブミットし、次いで、システム内のサーバによって返される結果集合のうちから物品を注文する際の基本的インタラクションを示している。図4Bは、全般的に、類似のプロセスを示しているが、この場合、ユーザは、システムによって最初に返された結果に加えてさらに結果を要求する。
次に図4Aを参照すると、最初に、ボックス402において、クライアントデバイス401は、画像を取得する。デバイス401は、デバイス搭載カメラによる撮像、画像付きメッセージの受信、またはインターネットからの画像のダウンロードなど、さまざまな方法を通じて画像を取得することができる。また、デバイス401のユーザがウェブページ上の画像を単純に右クリックするだけで、画像に含まれる物品について学習するためのオプションが表示され、メニューコントロールをクリックするとそのような情報を表示することができる。
次いで、デバイス401は、画像404を画像処理サーバ403に送信する。画像処理サーバ403は、例えば、アップロードされた画像に一致する画像を認識し提示するように構成されているGOOGLEなどのオンライン情報プロバイダの一部である1つまたは複数のサーバを含み得る。
ボックス408で、画像処理サーバ403は、テキスト、コード、形状、または写真などの画像データからタグを抽出する。例えば、画像は、「ヘッドセット」、「スーパーフォン」、および「VX-1」という単語、UPCコード、および物理的な対象物の形状を伴う図1に示されているようなヘッドセットを含み得る。画像処理サーバ403は、ボックス410で一致物を判定することができる。いくつかの実装では、画像処理サーバ403は、関連付けられている特徴点を含む画像のすでに分析されているグループを有することができる。タグは、これらの画像に関連付けられ(例えば、画像がタグを含むウェブページから抽出された場合)、タグは、サブミットされた画像に対して、画像同士が十分な一致度で互いに一致する場合に割り当てられ得る。画像に対する一致物に関する情報と共に、画像処理サーバ403は、一致物をコマースサーバ405にサブミットすることができる(ボックス412)。
次いで、コマースサーバ405は、ボックス414で、関連するベンダを検索する。いくつかの実装では、コマースサーバ405は、特定の1つまたは複数の物品を検索することができる所定のベンダリストを有することができる。例えば、これは、(すべての検索結果が決済システムを通じて取引を確実に生じさせ得るように)決済サーバ407を運用する決済システムにすでに登録されているベンダを検索することができる。他の実装では、コマースサーバ405は、インターネット上のすべてのベンダまたはベンダの何らかの大きな部分集合を検索することができる。このタイプの検索システムの例として、GOOGLE PRODUCT SEARCHが挙げられる。コマースサーバ405がリストを有している場合、コマースサーバ405は、ボックス416において最上位の一致物を識別する。最上位の一致物は、物品への類似度または価格設定のような特徴によって決定される。他の実装では(例えば、製品検索がローカル検索と組み合わされる場合)、最上位の一致物は、クライアント401の所在地住所に対するベンダの所在地住所の近接度によって決定され得る。次いで、ボックス418で、コマースサーバ405は、物品データをクライアント401に送信する。
コマースサーバ405からの最上位の一致物リストによって、クライアントデバイス401は、ボックス420で、データを使用して物品データの表示を生成する。例えば、クライアントデバイス401は、画像内にあるのと同じ製品、または異なる製造者もしくは製品タイプであり得る、さまざまな製品を含む、画像との上位5つの一致物を含む表示を生成することができる。他の実装では、クライアントデバイス401は、正確な一致物のみを有する表示を生成することができる。さらに他の実装では、生成される表示は、正しい物品が識別されたという確認をクライアントデバイス401に要求するための1つの結果を有することができる。
次いで、クライアントデバイス401は、ステップ422で、そのユーザから、特定の物品を購入するための注文確認書を受け取る。例えば、ユーザは、1ボタンで購入アプリケーションを使用して、特定のベンダから物品を購入するボタンを選択することができる。他の実装では、クライアントデバイス401は、その物品、数量、ならびに発送先および請求先住所に関する情報をユーザから受け取ることができる。同様に、クライアントデバイス401は、ベンダのウェブサイトの表示を生成することもできる。注文確認書が受信された後、ボックス424において、クライアントデバイス401は確認書を送信する。
クライアントデバイス401からの確認書は、決済サーバへ直接送信するか、またはコマースサーバ405を通じて受け渡すことができる。例えば、個人データがクライアントデバイス401から送信される安全な取引において、暗号化を使用してユーザを保護することができ、また注文は、直接決済サーバ407に達することができる(例えば、コマースサーバ405は検索結果に対するマークアップコードをフォーマットすることができ、結果の選択により、クライアントデバイス401が適切にフォーマットされたメッセージを決済サーバ407に送信する)。
確認書が、決済サーバ407に到達する前に、コマースサーバ405によって中継されたかどうかに関係なく、決済サーバ407は、確認書を受け取り、ボックス428で、その確認書に記述されているユーザおよびベンダを識別する。例えば、ベンダは、図1に示されているように、HeadPhones, Inc.とすることができる。決済サーバ407は、HeadPhones, Inc.とユーザに対する連絡先情報および決済情報を識別することができる。
ユーザおよびベンダが識別された後、決済サーバ407は、ボックス407におけるチェックアウト情報をクライアントに送信する。いくつかの実装では、チェックアウト情報は、GOOGLE CHECKOUTなどの、オンライン口座からの情報とすることができる。チェックアウト情報は、例えば、消費税額および発送手数料を含むことができる。決済サーバ407は、ユーザおよびベンダに関して決済サーバ407に収められている情報を使用して、例えば、物品の発送に要する距離を決定することができ、またユーザに注文の確認を求める前に、標準送料またはベンダ固有の手数料を適用することができる。
次いで、クライアントデバイス401は、チェックアウト情報を受け取り、ユーザが「注文」コントロールまたは同様のものを選択することなどによって、チェックアウト情報を確認する(ボックス432)。確認書が、決済サーバ407に送信され、次いで、ボックス434で、ユーザの口座からの引き落としおよびベンダの口座への入金を行い、ベンダ409に通知する。ボックス436で、ベンダ409は、決済サーバ407から発送および物品情報を受け取る。クライアント401は、ボックス438で、注文確認書を受け取る。
次に、図4Bを参照すると、クライアントデバイス441は、最初に、上述のさまざまな方法などによって、画像を取得し、その画像を画像処理サーバ442に送信する。ボックス449で、画像処理サーバ442は、画像から特徴点を抽出する。いくつかの実装において、画像の特徴点は、周囲の特徴からの物品の差異を使用して抽出され得る。特徴点が決定された後、画像処理サーバ442は、次いで、ボックス450で、それらの特徴点をライブラリと比較することができる。例えば、撮像された物品の特徴点が、上述の方法と同様の方法で格納済み画像の特徴点と比較され、一致する画像に関連付けられているタグが、コマースサーバ443に送信され得る(ボックス451)。
比較結果を用いて、コマースサーバ443は、さまざまなベンダからの物品のインデックスを検索し(ボックス452)、検索結果から最上位の一致物を識別する(ボックス453)。次いで、コマースサーバ443は、ボックス454で、最上位の一致物からのデータをクライアントデバイス441に送信することができ、クライアントデバイスは、データを表示することができる(ボックス455)。
写真例では、ユーザは、結果が気に入らず、物品の購入をしないことに決めるか、または別の写真を撮ることに決めると、クライアントデバイス441は、ボックス456で、新しい画像を送信し、画像の照合と物品の検索が繰り返され得る。ユーザは、標準検索エンジンから検索結果の第2のページを選択するステップと非常によく似たステップで、追加の一致物を取得するために最初にサブミットされた画像の比較の結果を使用する「もっと見る」コマンドを送信することもできる。別のオプションとして、ユーザは、「情報」コマンドを選択することができ、これにより、コマースサーバ443に、物品に関連付けられているタイプを識別させ(ボックス459)、次いで、タイプ判定結果を使用して物品情報の検索を行わせる(ボックス460)ことができる。例えば、物品のタイプが食品である場合、栄養成分情報を収集するように検索をチューニングすることができるが、物品が家電製品の場合、検索は、その物品の技術仕様を取得することを目的とするようにできる。次いで、コマースサーバ443は、特定された物品の情報を送信することができ(ボックス461)、その表示において、ユーザに、コマースサーバ443がそれらの注文を確認することを望んでいることを示すことができる。
ユーザによる注文確認は、表示されている「購入」ボタンまたは同様のものをユーザが選択するステップを伴い、また物品をショッピングカートに追加し、ショッピングカート内のすべての物品がチェックアウトプロセスにサブミットされなければならないことを示す動作を伴い得る。
中継のため確認書がコマースサーバ444(ボックス464)に送信され(ボックス463)、決済サーバ444に転送されるか(ボックス464)、または直接決済サーバ444に転送されると、決済サーバ444は、取引の精算を開始することができる。例えば、決済サーバ444は、ユーザがすでに、現在のセッションにおいて、1回のサインオンでさまざまなGOOGLEサービスにログインするなど、中央サービスにログインしているかどうかをチェックして調べることができる。このようなチェックは、ユーザの認証、およびたぶんベンダの認証を、認証サーバ445に要求することによって行うことができる(ボックス465)。次いで、認証サーバ445は、ユーザが現在サインオンしていることを確認することにより、またはユーザがログオンするダイアログを起動することにより、ユーザを認証し(ボックス466)、次いで、ユーザが認証されていることを示す指標を決済サーバ444に送り返し(ボックス467)、これにより、ユーザとベンダとを識別することができる。このような識別によって、決済サーバ444は、引き落としを行う口座、入金を行う口座、ベンダに指示する商品の発送先を決定するステップなど、多数の動作を完了することができる。
物品、ユーザ、およびベンダに関するこのような収集された情報から、決済サーバ444は、チェックアウト情報をクライアントデバイス441に送信する。このような情報は、選択された物品、費用小計、ならびに送料および消費税などの費用要素を考慮する費用合計の一覧表などのおなじみの形態をとることができる(ボックス469)。
チェックアウトページを提示された後、ユーザは、注文したいことを確認し(ボックス470)、決済サーバ444は、ユーザの口座から引き落としを行い、ユーザに、例えば、注文確認書、発送最新情報、および同様のものを返して通知することができる。決済サーバは、同様に、発送先の名称および住所、発送する商品の説明および数量、ならびに商品が発送された場合にベンダの口座に適切に入金がなされるという確認書をベンダに送るなどにより、ベンダ446にも通知することができる(ボックス472)。
上では少数の実現方法が詳細に説明されているが、他の修正形態も可能である。さらに、物品を購入するために画像を取り込む他のメカニズムも使用可能である。それに加えて、図に示されている論理の流れは、所望の結果を得るために、図示されている特定の順序、またはシーケンシャルな順序を必要としない。説明されている流れに他のステップを与えるか、または説明されている流れからステップを取り除くこともでき、また他のコンポーネントを説明されているシステムに追加するか、または説明されているシステムから取り除くことができる。したがって、他の実装は、請求項の範囲内に収まる。
図5は、本明細書で説明されている技術と共に使用され得る一般的なコンピュータデバイス500および一般的なモバイルコンピュータデバイス550の一例を示している。コンピューティングデバイス500は、ラップトップ、デスクトップ、ワークステーション、携帯情報端末、サーバ、ブレードサーバ、メインフレーム、および他の適切なコンピュータなどのさまざまな形態のデジタルコンピュータを表すことが意図されている。コンピューティングデバイス550は、携帯情報端末、携帯電話、スマートフォン、および他の類似のコンピューティングデバイスなどのさまざまな形態のモバイルデバイスを表すことが意図されている。ここに示されているコンポーネント、それらの接続および関係、ならびにそれらの機能は、例示することのみを意図されており、本明細書において説明され、および/または請求されている発明の実装を制限することを意図されていない。
コンピューティングデバイス500は、プロセッサ502、メモリ504、記憶装置デバイス506、メモリ504および高速拡張ポート510に接続する高速インターフェイス508、ならびに低速バス514および記憶装置デバイス506に接続する低速インターフェイス512を備える。コンポーネント502、504、506、508、510、および512のそれぞれは、さまざまなバスを使用して相互接続され、共通マザーボード上に取り付けられるか、または適宜他の仕方で取り付けられ得る。プロセッサ502は、高速インターフェイス508に結合されているディスプレイ516などの外部入力/出力デバイス上にGUIに関するグラフィック情報を表示するために、メモリ504内に、または記憶装置デバイス506上に格納されている命令を含む、コンピューティングデバイス500内で実行するための命令を処理することができる。他の実装では、複数のプロセッサおよび/または複数のバスが、適宜、複数のメモリおよび複数のタイプのメモリと共に使用され得る。また、複数のコンピューティングデバイス500が、(例えばサーババンク、ブレードサーバのグループ、またはマルチプロセッサシステムのような、)必要な動作の一部を行うそれぞれのデバイスに接続され得る。
メモリ504は、コンピューティングデバイス500内に情報を格納する。一つの実装において、メモリ504は、1つまたは複数の揮発性メモリユニットである。他の実装では、メモリ504は、1つまたは複数の不揮発性メモリユニットである。メモリ504は、磁気ディスクまたは光ディスクなどの、他の形態のコンピュータ可読媒体であり得る。
記憶装置デバイス506は、コンピューティングデバイス500用の大容量記憶装置を構成することもできる。一つの実装において、記憶装置デバイス506は、ストレージエリアネットワーク内のデバイスまたは他の構成のデバイスを含む、フロッピー（登録商標）ディスクデバイス、ハードディスクデバイス、光ディスクデバイス、またはテープデバイス、フラッシュメモリもしくは他の類似のソリッドステートメモリデバイス、またはデバイスアレイなどのコンピュータ可読媒体であるか、またはそのようなコンピュータ可読媒体を含むことができる。コンピュータプログラム製品は、情報担体で明確に具現化され得る。コンピュータプログラム製品は、実行されると上述のような1つまたは複数の方法を実行する命令も格納することができる。情報担体は、メモリ504、記憶装置デバイス506、プロセッサ502上のメモリ、または伝搬信号などのコンピュータ可読媒体もしくは機械可読媒体である。
高速コントローラ508は、コンピューティングデバイス500に対する帯域幅を集中的に使用する操作を管理するが、低速コントローラ512は、帯域幅を集中的に使用する程度の低い操作を管理する。機能のこのような割り振りは例示的なものにすぎない。一つの実装において、高速コントローラ508は、メモリ504、(例えば、グラフィックスプロセッサまたはアクセラレータを通じて)ディスプレイ516、およびさまざまな拡張カード(図示せず)を受け入れることができる高速拡張ポート510に結合される。この実装では、低速コントローラ512は、記憶装置デバイス506および低速拡張ポート514に結合される。さまざまな通信ポート(例えば、USB、Bluetooth（登録商標）、Ethernet（登録商標）、無線Ethernet（登録商標）)を含み得る低速拡張ポートは、例えばキーボード、ポインティングデバイス、スキャナのような1つまたは複数の入力／出力装置に、あるいは例えばネットワークアダプタを通してスイッチまたはルータのようなネットワーク装置に、結合され得る。
コンピューティングデバイス500は、図に示されているように、数多くの異なる形態で実装され得る。例えば、標準サーバ520として、またはそのようなサーバのグループで複数回実施され得る。これは、ラックサーバシステム524の一部としても実装することができる。それに加えて、ラップトップコンピュータ522などのパーソナルコンピューターに実装することもできる。あるいは、コンピューティングデバイス500が提供するコンポーネントをデバイス550などのモバイルデバイス(図示せず)内の他のコンポーネントと組み合わせることができる。このようなデバイスのそれぞれは、コンピューティングデバイス500、550のうちの1つまたは複数を含むことができ、システム全体は、互いに通信する複数のコンピューティングデバイス500、550で構成され得る。
コンピューティングデバイス550は、数ある中でもとりわけ、プロセッサ552、メモリ564、ディスプレイ554などの入力/出力デバイス、通信インターフェイス566、およびトランシーバ568を備える。デバイス550は、追加の記憶装置を構成するためにマイクロドライブまたは他のデバイスなどの記憶装置デバイスを備えることもできる。コンポーネント550、552、564、554、566、および568のそれぞれは、さまざまなバスを使用して相互接続され、これらのコンポーネントのうちのいくつかは、共通マザーボード上に取り付けられるか、または適宜他の仕方で取り付けられ得る。
プロセッサ552は、メモリ564内に格納されている命令を含む、コンピューティングデバイス550内の命令を実行することができる。プロセッサは、個別の、および複数の、アナログおよびデジタルプロセッサを備えるチップのチップセットとして実装することができる。プロセッサは、例えば、ユーザインタフェース、デバイス550によって実行されたアプリケーション、及びデバイス550による無線通信の制御のような、デバイス550の他のコンポーネントの調整を行うことができる。
プロセッサ552は、制御インターフェイス558およびディスプレイ556に結合されているディスプレイインターフェイス554を通じてユーザと通信することができる。ディスプレイ554は、例えば、TFT LCD(薄膜トランジスタ液晶ディスプレイ)またはOLED(有機発光ダイオード)ディスプレイまたは他の適切なディスプレイ技術とすることができる。ディスプレイインターフェイス556は、グラフィックおよび他の情報をユーザに提示するようにディスプレイ554を駆動するための適切な回路を備えることができる。制御インターフェイス558は、ユーザからコマンドを受け取り、それらをプロセッサ552に送るために変換することができる。それに加えて、外部インターフェイス562は、デバイス550と他のデバイスとの近距離通信を可能にするために、プロセッサ552との通信に提供され得る。外部インターフェイス562は、例えば、いくつかの実装における有線通信、または他の実装における無線通信を提供し得ると共に、複数のインタフェースが同様に使用され得る。
メモリ564は、コンピューティングデバイス550内に情報を格納する。メモリ564は、1つまたは複数のコンピュータ可読媒体、1つまたは複数の揮発性メモリユニット、または1つまたは複数の不揮発性メモリユニットのうちの1つまたは複数として実装され得る。更に、拡張メモリ574が提供されて、拡張インターフェイス572を通じてデバイス550に接続されると共に、拡張インターフェイス572は、例えばSIMM(Single In Line Memory Module：シングルインラインメモリモジュール)カードインターフェイスを含み得る。このような拡張メモリ574は、デバイス550に対する付加的な記憶領域を提供し得るか、またはデバイス550用のアプリケーションまたは他の情報を同様に格納し得る。特に、拡張メモリ574は、上述のプロセスを実行するか、または補助する命令を格納することができ、またセキュア情報も格納することができる。したがって、例えば、拡張メモリ574は、デバイス550に対するセキュリティモジュールとして提供され得ると共に、デバイス550の安全な使用を可能にする命令によってプログラムされ得る。それに加えて、例えばハッキング不可能な方法で識別情報をSIMMカード上に配置するように、安全なアプリケーションが、追加の情報と共に、SIMMカードによって提供され得る。
メモリは、例えば、後述のように、フラッシュメモリおよび/またはNVRAMを含み得る。一つの実装において、コンピュータプログラム製品は、情報担体で明確に具現化される。コンピュータプログラム製品は、実行されると上述のような1つまたは複数の方法を実行する命令を格納する。情報担体は、メモリ564、拡張メモリ574、プロセッサ552上のメモリ、または例えば、トランシーバ568もしくは外部インターフェイス562上で受信され得る伝搬信号などの、コンピュータ可読媒体もしくは機械可読媒体である。
デバイス550は、通信インターフェイス566を通じて無線で通信することができると共に、通信インターフェイス566は、必要ならばデジタル信号処理回路構成を備えることができる。通信インターフェイス566は、とりわけ、GSM音声電話、SMS、EMS、またはMMSメッセージング、CDMA、TDMA、PDC、WCDMA、CDMA2000、またはGPRSなどの、さまざまなモードもしくはプロトコルの下で通信を行うことができる。このような通信は、例えば、無線周波トランシーバ568を通じて行うことができる。それに加えて、Bluetooth、WiFi、または他のトランシーバ(図示せず)などを使用して、短距離通信を実行することができる。それに加えて、GPS(全地球測位システム)受信機モジュール570は、追加のナビゲーションおよび位置関係無線データをデバイス550に提供することができ、これはデバイス550上で実行するアプリケーションによって適宜使用され得る。
デバイス550は、オーディオコーデック560を使用して音声で通信することもでき、ユーザから話された情報を受け取り、それを使用可能なデジタル情報に変換することができる。オーディオコーデック560は、例えば、デバイス550のハンドセットのスピーカなどを通じて、ユーザ向けに可聴音を発生することができる。このような音声は、音声電話からの音声を含み、記録された音声を含み(例えば、音声メッセージ、音楽ファイルなど)、またデバイス550上で動作するアプリケーションによって生成される音声を含み得る。
コンピューティングデバイス550は、図に示されているように、数多くの異なる形態で実施され得る。例えば、携帯電話580として実施され得る。また、更に、スマートフォン582、携帯情報端末、または他の類似のモバイルデバイスの一部として実施され得る。
本明細書で説明されているシステムおよび技術のさまざまな実装は、デジタル電子回路、集積回路、専用設計ASIC(特定用途向け集積回路)、コンピュータのハードウェア、ファームウェア、ソフトウェア、および/またはこれらの組み合わせで実現されることが可能である。さまざまな実装は、少なくとも1つのプログラム可能なプロセッサを備えるプログラム可能なシステム上で実行可能であるか、および/または解釈可能である、1つまたは複数のコンピュータプログラムによる実装を含むことができると共に、少なくとも1つのプログラム可能なプロセッサは、記憶装置システム、少なくとも1つの入力デバイス、および少なくとも1つの出力デバイスからデータおよび命令を受け取り、記憶装置システム、少なくとも1つの入力デバイス、および少なくとも1つの出力デバイスにデータおよび命令を送るように結合された、専用または汎用のプロセッサであり得る。
これらのコンピュータプログラム(プログラム、ソフトウェア、ソフトウェアアプリケーション、またはコードとも呼ばれる)は、プログラム可能なプロセッサ用の機械語命令を含み、高水準手続き型および/またはオブジェクト指向プログラミング言語で、および/またはアセンブリ/機械語で実装され得る。本明細書で使用されているように、「機械可読媒体」、「コンピュータ可読媒体」という用語は、機械可読信号として機械語命令を受け取る機械可読媒体を含む、機械語命令および/またはデータをプログラム可能なプロセッサに供給するために使用されるコンピュータプログラム製品、装置、および/またはデバイス(例えば、磁気ディスク、光ディスク、メモリ、プログラム可能論理デバイス(PLD))のことを指す。「機械可読信号」という用語は、機械語命令および/またはデータをプログラム可能なプロセッサに供給するために使用される信号のことを指す。
ユーザとのインタラクションを行うために、本明細書で説明されているシステムおよび技術は、ユーザに情報を表示するための表示デバイス(例えば、CRT(陰極線管)またはLCD(液晶ディスプレイ)モニタ)およびキーボードおよびユーザがコンピュータに入力を送るために使用できるポインティングデバイス(例えば、マウスもしくはトラックボール)を有するコンピュータ上で実施されることができる。他の種類のデバイスも、ユーザとのインタラクションを行うために使用することができ、例えば、ユーザに返されるフィードバックは、任意の形態の感覚フィードバック(例えば、視覚フィードバック、聴覚フィードバック、または触覚フィードバック)とすることができ、ユーザからの入力は、音響、話し声、または触覚入力を含む、任意の形態で受け取られることができる。
本明細書で説明されているシステムおよび技術は、(例えば、データサーバのような)バックエンドコンポーネントを含むか、または(例えば、アプリケーションサーバのような)ミドルウェアコンポーネントを含むか、または(例えば、それを通してユーザがここで説明されたシステム及び技術の実装と対話することができる、グラフィカルユーザインタフェースまたはウェブブラウザを有するクライアントコンピュータのような)フロントエンドコンポーネントを含むコンピューティングシステム、またはそのようなバックエンド、ミドルウェア、またはフロントエンドコンポーネントの任意の組み合わせで実施することができる。システムのコンポーネントは、デジタルデータ通信の任意の形態または媒体(例えば、通信ネットワーク)によって相互接続することができる。通信ネットワークの例としては、ローカルエリアネットワーク(「LAN」)、ワイドエリアネットワーク(「WAN」)、およびインターネットが挙げられる。
コンピューティングシステムは、クライアントおよびサーバを備えることができる。クライアントおよびサーバは、一般に、互いに隔てられており、典型的には、通信ネットワークを通じてインタラクションを行う。クライアントとサーバとの関係は、コンピュータプログラムが各コンピュータ上で実行され、互いとの間にクライアント-サーバ関係を有することによって発生する。
多数の実施形態が説明された。しかしながら、本発明の精神および範囲から逸脱することなく、さまざまな修正が実行され得ることが理解されるであろう。例えば、製品を説明する単語の画像を光学式文字認識ソフトウェアと共に使用し、検索語を構成することができる。それに加えて、図に示されている論理の流れは、所望の結果を得るために、図示されている特定の順序、またはシーケンシャルな順序を必要としない。それに加えて、他のステップを与えるか、または説明されている流れからステップを取り除くこともでき、また他のコンポーネントを説明されているシステムに追加するか、または説明されているシステムから取り除くことができる。したがって、他の実施形態は、請求項の範囲内にある。
100 プロセス
102 物品
104 モバイルデバイス
106 画像
108 タグ
110 検索エンジン
112 1ボタンで購入表示
114 忠実な一致物
116 類似の一致物
118 画像変更ボタン
120 もっと見るボタン
122 ソート選択肢
124 チェックアウトサーバ
126 確認表示
200 システム
202 コンピューティングデバイス
204 画像処理/コマースサーバ
206 決済サーバ
208 認証サーバ
210 インターネット
212 特徴点生成器
214 画像比較器
216 検索エンジン
218 製品画像データソース
220 製品データソース
222 ベンダデータソース
224 決済モジュール
226 支払い認証器
228 取引モジュール
230 チェックアウトインターフェイス
232 ベンダデータソース
234 購入者データソース
236 認証器
238 ユーザデータソース
300 プロセス
320 プロセス
401 クライアントデバイス
403 画像処理サーバ
404 画像
405 コマースサーバ
407 決済サーバ
409 ベンダ
441 クライアントデバイス
442 画像処理サーバ
443 コマースサーバ
444 決済サーバ、コマースサーバ
445 認証サーバ
446 ベンダ
500 コンピュータデバイス
502 プロセッサ
504 メモリ
506 記憶装置デバイス
508 高速インターフェイス
510 高速拡張ポート
512 低速インターフェイス
514 低速バス
516 ディスプレイ
520 標準サーバ
522 ラップトップコンピュータ
524 ラックサーバシステム
550 モバイルコンピュータデバイス
552 プロセッサ
554 ディスプレイ
556 ディスプレイインターフェイス
558 制御インターフェイス
560 オーディオコーデック
562 外部インターフェイス
564 メモリ
566 通信インターフェイス
568 無線周波トランシーバ
570 GPS受信機モジュール
572 拡張インターフェイス
574 拡張メモリ
580 携帯電話
582 スマートフォン

Claims (20)

  1. コンピュータによって実施される物品識別方法であって、
    リモート電子デバイスから受信した画像中の物品を識別するステップと、
    前記物品の1つまたは複数のベンダに関して、前記物品に関する情報を含む検索結果を送信するステップと、
    前記物品の前記1つまたは複数のベンダが提供している前記物品の注文を実行するためのコードを前記リモートデバイスに送信するステップとを含む方法。
  2. 物品を識別するステップは、前記受信された画像からの要素と1つまたは複数の事前に格納されている画像とを比較して前記画像間の一致度を判定するステップを含む請求項1に記載の方法。
  3. 前記1つまたは複数の事前に格納されている画像に関連付けられているテキストメタデータを識別すると共に、前記テキストメタデータに対応する情報を製品検索エンジンにサブミットするステップをさらに含む請求項2に記載の方法。
  4. 前記テキストメタデータは、前記事前に格納されている画像が得られるウェブページから取得される請求項3に記載の方法。
  5. 前記要素は、特徴点を含む請求項2に記載の方法。
  6. 前記コードは、前記リモートデバイス上で選択されたときに、前記デバイスに、前記ベンダから分離している決済システムを通じてベンダへ発注を行わせるコントロールを生成する請求項1に記載の方法。
  7. 前記リモートデバイスのユーザに関する機密情報を選択されたベンダに提供することなく、前記選択されたベンダの金融口座に入金を行うと共に、前記ユーザの金融口座から引き落としを行うステップをさらに含む請求項1に記載の方法。
  8. 前記選択されたベンダに前記ユーザに関する発送情報を送信するステップをさらに含む請求項7に記載の方法。
  9. コンピュータによって実施される物品識別方法であって、
    リモートサーバに、物理的な物品を含む画像をサブミットするステップと、
    それに対する応答として、1つまたは複数のベンダが提供している販売中の物品のリストを、前記物理的な物品に対応する前記物品を購入するためのコントロールと共に受信するステップと、
    前記ベンダのうちの1つのベンダから前記物品を購入するためのコマンドを送信するステップとを含む方法。
  10. 前記物品のリストは、前記物品に対する製品検索結果を含む請求項9に記載の方法。
  11. 前記物品を購入するための複数のコントロールが、ベンダに関する検索結果と共にそれぞれ表示される請求項9に記載の方法。
  12. 購入確認画面を表示するためデータを受信すると共に、確認書を決済サーバに送信して、選択されたベンダとの取引を完了させるステップをさらに含む請求項9に記載の方法。
  13. 前記画像内の前記物品の前記地理的位置に基づいて、前記販売中の物品のリストを絞り込むステップをさらに含む請求項9に記載の方法。
  14. コンピュータによって実施される物品識別システムであって、
    リモートデバイスによってサブミットされるデジタル画像を受信するためのインターフェイスと、
    前記受信された画像の特徴を格納されている画像の特徴と比較して、前記受信された画像内の製品を識別するための画像比較器と、
    前記格納されている画像に関連する検索語に対応する検索結果を生成するための製品検索エンジンとを備えるシステム。
  15. 前記格納されている画像は、前記製品検索エンジンにサブミットするための対応するテキストタグを含む請求項14に記載のシステム。
  16. 前記リモートデバイスのユーザと識別された製品のベンダとの間の金融取引を完了するための決済システムをさらに備える請求項14に記載のシステム。
  17. 前記製品検索エンジンからの検索結果を、前記検索結果内の製品を購入するためにユーザによって選択可能なコントロールを含むようにフォーマットするための結果フォーマッタをさらに備える請求項14に記載のシステム。
  18. 前記デジタル画像をサブミットする前記リモートデバイスの位置は、検索結果を生成するための検索語として使用される請求項14に記載のシステム。
  19. コンピュータによって実施される物品識別システムであって、
    リモートデバイスによってサブミットされるデジタル画像を受信するためのインターフェイスと、
    複数のベンダによって販売されている製品を含む複数の画像を格納するメモリと、
    前記リモートデバイスのユーザに対して、前記ユーザによる選択に応答して、前記複数のベンダのうちから選択されたベンダによる販売を仲介するための手段とを備えるシステム。
  20. 前記受信されたデジタル画像中の物品を識別するための手段をさらに備える請求項19に記載のシステム。
JP2011514889A 2008-06-20 2009-06-22 購入のための画像取り込み Withdrawn JP2011525664A (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US12/143,233 US20090319388A1 (en) 2008-06-20 2008-06-20 Image Capture for Purchases
US12/143,233 2008-06-20
PCT/US2009/048161 WO2009155604A2 (en) 2008-06-20 2009-06-22 Image capture for purchases

Publications (1)

Publication Number Publication Date
JP2011525664A true JP2011525664A (ja) 2011-09-22

Family

ID=41432217

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2011514889A Withdrawn JP2011525664A (ja) 2008-06-20 2009-06-22 購入のための画像取り込み

Country Status (7)

Country Link
US (2) US20090319388A1 (ja)
EP (1) EP2313856A4 (ja)
JP (1) JP2011525664A (ja)
KR (1) KR20110031346A (ja)
CN (1) CN102124479A (ja)
CA (1) CA2728175A1 (ja)
WO (1) WO2009155604A2 (ja)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2016535356A (ja) * 2013-08-28 2016-11-10 上海合合信息科技発展有限公司ＩＮＴＳＩＧ Ｉｎｆｏｒｍａｔｉｏｎ Ｃｏ．，Ｌｔｄ． 製品説明の照会方法、装置、システムおよびクライアント
JP2018152075A (ja) * 2013-05-31 2018-09-27 日本電気株式会社 画像認識装置、その処理方法、およびプログラム
JP2018528530A (ja) * 2016-01-20 2018-09-27 ベイジン バイドゥ ネットコム サイエンス アンド テクノロジー カンパニー リミテッド ピクチャによる情報検索方法及び装置
JP2020126678A (ja) * 2015-05-12 2020-08-20 ピンタレスト，インコーポレイテッド ユーザが提供する商品の表示を当該商品の販売者にマッチングさせること
JP7417597B2 (ja) 2018-10-02 2024-01-18 メルカリ，インコーポレイテッド 確率的アイテムマッチングおよび検索
US11935102B2 (en) 2015-05-12 2024-03-19 Pinterest, Inc. Matching user provided representations of items with sellers of those items
WO2024070028A1 (ja) * 2022-09-27 2024-04-04 パナソニックＩｐマネジメント株式会社 サーバ装置及びプログラム

Families Citing this family (122)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8595214B1 (en) * 2004-03-31 2013-11-26 Google Inc. Systems and methods for article location and retrieval
US20100092093A1 (en) * 2007-02-13 2010-04-15 Olympus Corporation Feature matching method
US20080267504A1 (en) * 2007-04-24 2008-10-30 Nokia Corporation Method, device and computer program product for integrating code-based and optical character recognition technologies into a mobile visual search
KR20100121690A (ko) 2008-03-05 2010-11-18 이베이 인크. 이미지 인식 서비스 방법, 시스템 및 컴퓨터 판독가능한 매체
US9495386B2 (en) 2008-03-05 2016-11-15 Ebay Inc. Identification of items depicted in images
US8494909B2 (en) * 2009-02-09 2013-07-23 Datalogic ADC, Inc. Automatic learning in a merchandise checkout system with visual recognition
US20110096135A1 (en) * 2009-10-23 2011-04-28 Microsoft Corporation Automatic labeling of a video session
US8121618B2 (en) 2009-10-28 2012-02-21 Digimarc Corporation Intuitive computing methods and systems
US9197736B2 (en) * 2009-12-31 2015-11-24 Digimarc Corporation Intuitive computing methods and systems
US8407155B2 (en) * 2009-12-11 2013-03-26 Pitney Bowes Inc. On-line mail processing system and mobile device application therefor
US9164577B2 (en) 2009-12-22 2015-10-20 Ebay Inc. Augmented reality system, method, and apparatus for displaying an item image in a contextual environment
US9143603B2 (en) 2009-12-31 2015-09-22 Digimarc Corporation Methods and arrangements employing sensor-equipped smart phones
US9002924B2 (en) 2010-06-17 2015-04-07 Microsoft Technology Licensing, Llc Contextual based information aggregation system
US10127606B2 (en) 2010-10-13 2018-11-13 Ebay Inc. Augmented reality system and method for visualizing an item
WO2012065128A1 (en) * 2010-11-11 2012-05-18 Ebay Inc. Quick payment using mobile device binding
CN103282927B (zh) 2011-01-04 2018-11-23 Aq株式会社 广告信息提供系统
EP2652638B1 (en) 2011-01-18 2020-07-29 Hsni, Llc System and method for recognition of items in media data and delivery of information related thereto
US20120233076A1 (en) * 2011-03-08 2012-09-13 Microsoft Corporation Redeeming offers of digital content items
US8548878B1 (en) * 2011-03-11 2013-10-01 Google Inc. Aggregating product information for electronic product catalogs
US20140089781A1 (en) * 2011-03-17 2014-03-27 Designin, Inc. Color-based designs
US20150039994A1 (en) * 2011-03-17 2015-02-05 Designln, Inc. Color-based designs
US8634654B2 (en) * 2011-04-15 2014-01-21 Yahoo! Inc. Logo or image recognition
WO2013003571A1 (en) * 2011-06-29 2013-01-03 The Johns Hopkins University System for a three-dimensional interface and database
JP6399280B2 (ja) * 2011-07-29 2018-10-03 日本電気株式会社 照合・検索システム、照合・検索サーバ、画像特徴抽出装置、照合・検索方法及びプログラム
US9020833B2 (en) * 2011-08-23 2015-04-28 Aic Innovations Group, Inc. Method and apparatus for social network updates by activity recognition
KR102008930B1 (ko) 2011-08-29 2019-08-08 에이아이바이, 인크. 하나의 종단점으로부터 다른 종단점으로의 바이러스성 복사를 위한 컨테이너화된 소프트웨어
US8336761B1 (en) * 2011-09-15 2012-12-25 Honeywell International, Inc. Barcode verification
US9449342B2 (en) 2011-10-27 2016-09-20 Ebay Inc. System and method for visualization of items in an environment using augmented reality
WO2013072647A1 (en) * 2011-11-15 2013-05-23 Robinson Fraser Aldan Interactive image tagging
TWI451347B (zh) 2011-11-17 2014-09-01 Univ Nat Chiao Tung 物品資料查詢系統及方法
US9240059B2 (en) 2011-12-29 2016-01-19 Ebay Inc. Personal augmented reality
US8971644B1 (en) * 2012-01-18 2015-03-03 Google Inc. System and method for determining an annotation for an image
WO2013120064A1 (en) * 2012-02-10 2013-08-15 Augme Technologies Inc. System and method for sending messages to a user in a capture environment
US8620021B2 (en) 2012-03-29 2013-12-31 Digimarc Corporation Image-related methods and arrangements
US8605189B2 (en) * 2012-05-01 2013-12-10 Xerox Corporation Product identification using mobile device
US9652654B2 (en) 2012-06-04 2017-05-16 Ebay Inc. System and method for providing an interactive shopping experience via webcam
US10789631B2 (en) 2012-06-21 2020-09-29 Aibuy, Inc. Apparatus and method for peer-assisted e-commerce shopping
US9607330B2 (en) * 2012-06-21 2017-03-28 Cinsay, Inc. Peer-assisted shopping
US10846766B2 (en) 2012-06-29 2020-11-24 Ebay Inc. Contextual menus based on image recognition
US20140032320A1 (en) * 2012-07-24 2014-01-30 Ebay, Inc. Right Click Electronic Commerce Transactions
US8922662B1 (en) * 2012-07-25 2014-12-30 Amazon Technologies, Inc. Dynamic image selection
US9336541B2 (en) 2012-09-21 2016-05-10 Paypal, Inc. Augmented reality product instructions, tutorials and visualizations
US10929904B1 (en) 2012-10-23 2021-02-23 Protolabs, Inc. Automated fabrication price quoting and fabrication ordering for computer-modeled structures
US20140149306A1 (en) * 2012-11-24 2014-05-29 Mark Olsen Method and System for Providing a Remote Shipping Cost Estimate Based on Image Data of Goods to be Shipped
CN104871197A (zh) * 2012-12-21 2015-08-26 Sca卫生用品公司 用于辅助定位和选择存储位置中的期望物品的系统和方法
CN107360379B (zh) * 2012-12-27 2020-06-30 松下电器（美国）知识产权公司 信息通信方法
US20140188731A1 (en) * 2012-12-28 2014-07-03 Wal-Mart Stores, Inc. Sign in based on recognition instead of password
US9256637B2 (en) 2013-02-22 2016-02-09 Google Inc. Suggesting media content based on an image capture
US20140379604A1 (en) * 2013-03-13 2014-12-25 Shiphawk Methods and systems for item shipment based on an item image
US20140279646A1 (en) * 2013-03-13 2014-09-18 Jeremy Bodenhamer Methods and systems for shipment coordination of insufficiently described items
US9892447B2 (en) * 2013-05-08 2018-02-13 Ebay Inc. Performing image searches in a network-based publication system
US9123111B2 (en) 2013-08-15 2015-09-01 Xerox Corporation Methods and systems for detecting patch panel ports from an image in which some ports are obscured
AU2014318709A1 (en) 2013-09-11 2016-03-10 Aibuy, Inc. Dynamic binding of live video content
US20160217112A1 (en) * 2013-09-25 2016-07-28 Chartspan Medical Technologies, Inc. User-Initiated Data Recognition and Data Conversion Process
JP6531105B2 (ja) 2013-09-27 2019-06-12 アイバイ，インコーポレイテッド 補足コンテンツのｎレベル複製
WO2015048377A1 (en) 2013-09-27 2015-04-02 Cinsay, Inc. Apparatus and method for supporting relationships associated with content provisioning
US9606701B1 (en) 2013-10-14 2017-03-28 Benko, LLC Automated recommended joining data with presented methods for joining in computer-modeled structures
US10373183B1 (en) 2013-10-16 2019-08-06 Alekhine, Llc Automatic firm fabrication price quoting and fabrication ordering for computer-modeled joining features and related structures
US20150112832A1 (en) * 2013-10-23 2015-04-23 Wal-Mart Stores, Inc. Employing a portable computerized device to estimate a total expenditure in a retail environment
US10877629B2 (en) * 2016-10-13 2020-12-29 Tung Inc. Conversion and display of a user input
US10528219B2 (en) 2015-08-10 2020-01-07 Tung Inc. Conversion and display of a user input
US10515110B2 (en) 2013-11-12 2019-12-24 Pinterest, Inc. Image based search
US9311639B2 (en) 2014-02-11 2016-04-12 Digimarc Corporation Methods, apparatus and arrangements for device to device communication
US11537765B1 (en) 2014-02-20 2022-12-27 Benko, LLC Placement and pricing of part marks in computer-modeled structures
US11410224B1 (en) * 2014-03-28 2022-08-09 Desprez, Llc Methods and software for requesting a pricing in an electronic marketplace using a user-modifiable spectrum interface
US10096051B2 (en) * 2014-03-31 2018-10-09 Ebay Inc. Method and system to facilitate transactions
US20150278853A1 (en) * 2014-04-01 2015-10-01 DoubleVerify, Inc. System And Method For Identifying Hidden Content
US9672280B2 (en) * 2014-04-10 2017-06-06 Google Inc. Methods, systems, and media for searching for video content
US10552882B1 (en) 2014-05-20 2020-02-04 Desprez, Llc Methods and software for enabling custom pricing in an electronic commerce system
US10713394B1 (en) 2014-06-12 2020-07-14 Benko, LLC Filtering components compatible with a computer-modeled structure
US10025805B1 (en) 2014-06-24 2018-07-17 Benko, LLC Systems and methods for automated help
US11392396B1 (en) 2014-06-24 2022-07-19 Desprez, Llc Systems and methods for automated help
US11151630B2 (en) 2014-07-07 2021-10-19 Verizon Media Inc. On-line product related recommendations
US10373231B2 (en) * 2014-07-22 2019-08-06 Snap+Style, Inc System and method for social style mapping
US10460342B1 (en) 2014-08-12 2019-10-29 Benko, LLC Methods and software for providing targeted advertising to a product program
US11599086B2 (en) 2014-09-15 2023-03-07 Desprez, Llc Natural language user interface for computer-aided design systems
US9613020B1 (en) 2014-09-15 2017-04-04 Benko, LLC Natural language user interface for computer-aided design systems
US10095217B2 (en) 2014-09-15 2018-10-09 Desprez, Llc Natural language user interface for computer-aided design systems
US10162337B2 (en) 2014-09-15 2018-12-25 Desprez, Llc Natural language user interface for computer-aided design systems
US11276095B1 (en) 2014-10-30 2022-03-15 Desprez, Llc Methods and software for a pricing-method-agnostic ecommerce marketplace for manufacturing services
US11023934B1 (en) 2014-10-30 2021-06-01 Desprez, Llc Business variable optimization for manufacture or supply of designed products
US10836110B2 (en) 2014-10-31 2020-11-17 Desprez, Llc Method and system for ordering expedited production or supply of designed products
US10235009B1 (en) 2014-10-31 2019-03-19 Desprez, Llc Product variable optimization for manufacture or supply of designed products
US10073439B1 (en) 2014-10-31 2018-09-11 Desprez, Llc Methods, systems, and software for processing expedited production or supply of designed products
US11415961B1 (en) 2014-10-31 2022-08-16 Desprez, Llc Automated correlation of modeled product and preferred manufacturers
WO2016103287A1 (en) * 2014-12-24 2016-06-30 Datalogic Ip Tech S.R.L. Intelligent interactive shopping assistance system and method
US10346876B2 (en) * 2015-03-05 2019-07-09 Ricoh Co., Ltd. Image recognition enhanced crowdsourced question and answer platform
US10803501B1 (en) 2015-03-17 2020-10-13 Desprez, Llc Systems, methods, and software for generating, customizing, and automatedly e-mailing a request for quotation for fabricating a computer-modeled structure from within a CAD program
US11004126B1 (en) 2016-03-17 2021-05-11 Desprez, Llc Systems, methods, and software for generating, customizing, and automatedly e-mailing a request for quotation for fabricating a computer-modeled structure from within a CAD program
US10269055B2 (en) 2015-05-12 2019-04-23 Pinterest, Inc. Matching user provided representations of items with sellers of those items
EP3331227A4 (en) * 2015-07-30 2018-12-26 LG Electronics Inc. Mobile terminal and method for controlling same
US10360480B2 (en) 2015-09-25 2019-07-23 Lg Electronics Inc. Terminal device and control method
US11055343B2 (en) 2015-10-05 2021-07-06 Pinterest, Inc. Dynamic search control invocation and visual search
US11609946B2 (en) 2015-10-05 2023-03-21 Pinterest, Inc. Dynamic search input selection
US10748116B2 (en) 2015-10-16 2020-08-18 Dell Products L.P. Test vector generation from documentation
US10608879B2 (en) 2015-10-16 2020-03-31 Dell Products L.P. Validation using natural language processing
US10725800B2 (en) 2015-10-16 2020-07-28 Dell Products L.P. User-specific customization for command interface
US20170186076A1 (en) * 2015-12-28 2017-06-29 Mastercard International Incorporated Product tracking and management using image recognition
US10043102B1 (en) * 2016-01-20 2018-08-07 Palantir Technologies Inc. Database systems and user interfaces for dynamic and interactive mobile image analysis and identification
KR101671449B1 (ko) * 2016-01-22 2016-11-01 장윤수 위치 기반 상품 검색 방법 및 그 장치
US11423449B1 (en) 2016-03-23 2022-08-23 Desprez, Llc Electronic pricing machine configured to generate prices based on supplier willingness and a user interface therefor
US10556309B1 (en) 2016-03-24 2020-02-11 Proto Labs Inc. Methods of subtractively manufacturing a plurality of discrete objects from a single workpiece using a removable fixating material
US10401824B2 (en) 2016-04-14 2019-09-03 The Rapid Manufacturing Group LLC Methods and software for reducing machining equipment usage when machining multiple objects from a single workpiece
US11704692B2 (en) * 2016-05-12 2023-07-18 Pinterest, Inc. Promoting representations of items to users on behalf of sellers of those items
US20180005294A1 (en) * 2016-06-30 2018-01-04 Chrissey Hunt Product identification based on image matching
US10929913B2 (en) 2016-07-12 2021-02-23 United Parcel Service Of America, Inc. Systems, methods, and computer program products for intelligently processing and manipulating a subject image according to consumer data
US9900645B1 (en) * 2016-11-18 2018-02-20 Panasonic Avionics Corporation Methods and systems for executing functions associated with objects on a transportation vehicle
US11032523B2 (en) * 2016-11-30 2021-06-08 Ncr Corporation Automated image metadata processing
US10545481B2 (en) 2016-12-28 2020-01-28 Proto Labs Inc Methods and software for providing graphical representations of a plurality of objects in a central through opening
CN107256216A (zh) * 2017-04-17 2017-10-17 捷开通讯(深圳)有限公司 移动终端、管理图片的方法以及存储装置
CN109032810A (zh) * 2017-06-09 2018-12-18 阿里巴巴集团控股有限公司 业务过程的启动方法和装置
US11841735B2 (en) 2017-09-22 2023-12-12 Pinterest, Inc. Object based image search
US11126653B2 (en) * 2017-09-22 2021-09-21 Pinterest, Inc. Mixed type image based search results
US10942966B2 (en) 2017-09-22 2021-03-09 Pinterest, Inc. Textual and image based search
US10818031B2 (en) 2017-11-22 2020-10-27 Blynk Technology Systems and methods of determining a location of a mobile container
US10885336B1 (en) * 2018-01-13 2021-01-05 Digimarc Corporation Object identification and device communication through image and audio signals
DE102018103449A1 (de) * 2018-02-15 2019-08-22 Tkr Spezialwerkzeuge Gmbh Verfahren zur Identifikation eines Gegenstandes und Bereitstellung von Informationen
JP6548771B1 (ja) * 2018-04-05 2019-07-24 和則 藤沢 消費財調達支援システム
US11915288B2 (en) * 2018-04-20 2024-02-27 Noww, Inc. Useful and novel shopping application
US10776619B2 (en) 2018-09-27 2020-09-15 The Toronto-Dominion Bank Systems and methods for augmenting a displayed document
US10687374B1 (en) 2019-01-02 2020-06-16 International Business Machines Corporation Peer-to-peer attribution in internet of things environment
US11386485B2 (en) * 2019-09-09 2022-07-12 Ebay Inc. Capture device based confidence indicator

Family Cites Families (28)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5845263A (en) * 1995-06-16 1998-12-01 High Technology Solutions, Inc. Interactive visual ordering system
US6941323B1 (en) * 1999-08-09 2005-09-06 Almen Laboratories, Inc. System and method for image comparison and retrieval by enhancing, defining, and parameterizing objects in images
US6901378B1 (en) * 2000-03-02 2005-05-31 Corbis Corporation Method and system for automatically displaying an image and a product in a page based on contextual interaction and metadata
US7680324B2 (en) * 2000-11-06 2010-03-16 Evryx Technologies, Inc. Use of image-derived information as search criteria for internet and other search engines
US20030200152A1 (en) * 2002-04-19 2003-10-23 Computer Associates Think, Inc. Wireless shopping system and method
US20050177463A1 (en) * 2004-02-10 2005-08-11 Crutchfield William G.Jr. Virtual showroom for interactive electronic shopping
US20040148226A1 (en) * 2003-01-28 2004-07-29 Shanahan Michael E. Method and apparatus for electronic product information and business transactions
US7118026B2 (en) * 2003-06-26 2006-10-10 International Business Machines Corporation Apparatus, method, and system for positively identifying an item
US7734729B2 (en) * 2003-12-31 2010-06-08 Amazon Technologies, Inc. System and method for obtaining information relating to an item of commerce using a portable imaging device
US20050160006A1 (en) * 2004-01-20 2005-07-21 Bancot Global Technologies Corporation Model and process of assimilating, transmitting and disseminating an internet based comparative shopping tool for local grocery stores
US7309015B2 (en) * 2004-07-14 2007-12-18 Scanbuy, Inc. Mobile device gateway providing access to instant information
US7765231B2 (en) * 2005-04-08 2010-07-27 Rathus Spencer A System and method for accessing electronic data via an image search engine
US8732025B2 (en) * 2005-05-09 2014-05-20 Google Inc. System and method for enabling image recognition and searching of remote content on display
US7945099B2 (en) * 2005-05-09 2011-05-17 Like.Com System and method for use of images with recognition analysis
US20080177640A1 (en) * 2005-05-09 2008-07-24 Salih Burak Gokturk System and method for using image analysis and search in e-commerce
US7542610B2 (en) * 2005-05-09 2009-06-02 Like.Com System and method for use of images with recognition analysis
US20070133947A1 (en) * 2005-10-28 2007-06-14 William Armitage Systems and methods for image search
US20070143217A1 (en) * 2005-12-15 2007-06-21 Starr Robert J Network access to item information
US20070208629A1 (en) * 2006-03-02 2007-09-06 Jung Edward K Y Shopping using exemplars
GB2440375A (en) * 2006-07-21 2008-01-30 Clearswift Ltd Method for detecting matches between previous and current image files, for files that produce visually identical images yet are different
US20080040277A1 (en) * 2006-08-11 2008-02-14 Dewitt Timothy R Image Recognition Authentication and Advertising Method
US20080091552A1 (en) * 2006-09-29 2008-04-17 Aas Eric F Methods and systems for providing product information to a user
US8548856B2 (en) * 2006-10-30 2013-10-01 Marie Maruszak Apparatus, system and method for providing a signal to request goods and/or services
WO2008055204A2 (en) * 2006-10-31 2008-05-08 Dotted Pair, Inc. System and method for interacting with item catalogs
US20080267504A1 (en) * 2007-04-24 2008-10-30 Nokia Corporation Method, device and computer program product for integrating code-based and optical character recognition technologies into a mobile visual search
US20090265251A1 (en) * 2007-11-30 2009-10-22 Nearbynow Systems and Methods for Searching a Defined Area
US20090170483A1 (en) * 2007-12-28 2009-07-02 General Electric Company System and method for transmitting information using a mobile phone
US8126858B1 (en) * 2008-01-23 2012-02-28 A9.Com, Inc. System and method for delivering content to a communication device in a content delivery system

Cited By (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2018152075A (ja) * 2013-05-31 2018-09-27 日本電気株式会社 画像認識装置、その処理方法、およびプログラム
US10650264B2 (en) 2013-05-31 2020-05-12 Nec Corporation Image recognition apparatus, processing method thereof, and program
JP2016535356A (ja) * 2013-08-28 2016-11-10 上海合合信息科技発展有限公司ＩＮＴＳＩＧ Ｉｎｆｏｒｍａｔｉｏｎ Ｃｏ．，Ｌｔｄ． 製品説明の照会方法、装置、システムおよびクライアント
JP2020126678A (ja) * 2015-05-12 2020-08-20 ピンタレスト，インコーポレイテッド ユーザが提供する商品の表示を当該商品の販売者にマッチングさせること
JP2021184287A (ja) * 2015-05-12 2021-12-02 ピンタレスト，インコーポレイテッド ユーザが提供する商品の表示を当該商品の販売者にマッチングさせること
JP7038880B2 (ja) 2015-05-12 2022-03-18 ピンタレスト，インコーポレイテッド ユーザが提供する商品の表示を当該商品の販売者にマッチングさせること
JP2022071168A (ja) * 2015-05-12 2022-05-13 ピンタレスト，インコーポレイテッド ユーザが提供する商品の表示を当該商品の販売者にマッチングさせること
JP7350919B2 (ja) 2015-05-12 2023-09-26 ピンタレスト，インコーポレイテッド ユーザが提供する商品の表示を当該商品の販売者にマッチングさせること
US11935102B2 (en) 2015-05-12 2024-03-19 Pinterest, Inc. Matching user provided representations of items with sellers of those items
JP2018528530A (ja) * 2016-01-20 2018-09-27 ベイジン バイドゥ ネットコム サイエンス アンド テクノロジー カンパニー リミテッド ピクチャによる情報検索方法及び装置
JP7417597B2 (ja) 2018-10-02 2024-01-18 メルカリ，インコーポレイテッド 確率的アイテムマッチングおよび検索
WO2024070028A1 (ja) * 2022-09-27 2024-04-04 パナソニックＩｐマネジメント株式会社 サーバ装置及びプログラム

Also Published As

Publication number Publication date
WO2009155604A2 (en) 2009-12-23
EP2313856A4 (en) 2013-03-06
KR20110031346A (ko) 2011-03-25
CA2728175A1 (en) 2009-12-23
EP2313856A2 (en) 2011-04-27
US20090319388A1 (en) 2009-12-24
US20110320317A1 (en) 2011-12-29
WO2009155604A3 (en) 2010-05-06
CN102124479A (zh) 2011-07-13

Similar Documents

Publication Publication Date Title
JP2011525664A (ja) 購入のための画像取り込み
US11341563B2 (en) 3D printing: marketplace with federated access to printers
US11282120B2 (en) Digital rights management in three-dimensional (3D) printing
US20240087003A1 (en) User interface using tagged media, 3d indexed virtual reality images, and global positioning system locations, for electronic commerce
US20180300491A1 (en) 3d printing in marketplace environments
US20130054335A1 (en) Mobile platform for generating and distributing deals
JP7194876B2 (ja) 情報処理装置、情報処理方法、及びプログラム
US20150221053A1 (en) 3d printing: managing digital rights and fulfilment in online marketplace environments
EP3847604A1 (en) Payment system for augmented, mixed, or virtual reality platforms integrated with cryptocurrency wallet
US20150066679A1 (en) Methods and systems for generating merchandise leads
JP7350919B2 (ja) ユーザが提供する商品の表示を当該商品の販売者にマッチングさせること
KR20180046205A (ko) 정보 처리 시스템 및 방법

Legal Events

Date Code Title Description
A300 Application deemed to be withdrawn because no request for examination was validly filed

Free format text: JAPANESE INTERMEDIATE CODE: A300

Effective date: 20120904