JP2015529369A - 画像からのラベルの検出 - Google Patents

Abstract

【解決手段】画像からのラベルの決定は、画像を取得し（３０２）、特殊マークに関連付けられている画像の第１の部分を決定し（３０４）、特殊マークに関連付けられている画像の第１の部分に少なくとも部分的に基づいて、ラベルに関連付けられている画像の第２の部分を決定し、ラベルに関連付けられている画像の第２の部分に文字認識を適用して、ラベルに関する値を決定すること（３０８）を含む。【選択図】図３

Description

他の出願の相互参照
本願は、すべての目的のために参照により本明細書に組み込まれる、２０１２年９月２１日に出願された、発明の名称を「Ａ ＭＯＢＩＬＥ ＴＥＲＭＩＮＡＬ−ＢＡＳＥＤ ＬＡＢＥＬ ＲＥＣＯＧＮＩＴＩＯＮ ＡＮＤ ＰＲＯＣＥＳＳＩＮＧ ＭＥＴＨＯＤ ＡＮＤ ＳＹＳＴＥＭ」とする中国特許出願第２０１２１０３６０７７４．６号に基づく優先権を主張する。

本願は、文字認識の分野に関し、特に、ラベル認識のための技術に関する。

光学式文字認識（ＯＣＲ）技術は、電子機器（例えば、スキャナまたはデジタルカメラ）が、画像の明暗のパターンを検出し、パターンの形状を決定し、文字認識技術を用いてコンピュータに認識される文字に形状を変換することによって、印刷画像を分析する処理を意味する。高いレベルでは、ＯＣＲは、テキスト素材を取得し、テキスト素材の画像を処理して文字およびレイアウト情報を決定する処理を指す。テキスト素材の取得は、走査（スキャン）、撮影、および、その他のこれらのような光学入力を含みうる。テキストの形態的特徴を分析して、漢字の標準コードを決定するために、様々なパターン認識アルゴリズムが利用されうる。例えば、テキストソースがデバイスによってスキャンされ、画像ファイルが生成される。画像ファイルは、画像処理を受けて、その間に、画像ファイルのレイアウトは、別個の順次処理に向けて画像ファイルを異なるセクションに分離するために分画される（例えば、レイアウト解釈、文字切り出し、正規化などを含むレイアウト分析が実行される）。例えば、画像ファイルは、様々な部分に分離され、各部分は認識されるべき文字を含む。次いで、文字は、画像ファイルの各部分から認識される。例えば、文字は、中国語（「Ｃ１」（漢字））または英語を含みうる。認識されたテキストは、編集および修正されてよい。なお、本明細書において簡体字を含む用語についてはＣｎの符号に置き換えて表し（ｎは自然数）、Ｃｎの符号と簡体字を含む用語との対応関係は明細書の末尾に表として示す。

ＯＣＲ認識システムの目的は、テキストの文字を画像から認識できるように、画像を変換することである。画像から文字を認識できれば、画像は、コンピュータテキストに変換されるため、格納される画像情報の量が減少して格納スペースが削減され、また、認識されたテキストの再利用、分析などが可能になり、人的努力および入力時間が節約される。

図１は、従来のテキスト認識システムの一例を示す図である。この例において、システム１００は、画像変換・入力モジュール１０１、画像前処理モジュール１０３、文字特徴抽出モジュール１０５、比較認識モジュール１０７、および、補正・結果出力モジュール１０９を含む。

画像変換・入力モジュール１０１は、対象物を画像ファイルとして取り込むよう構成されている。画像ファイルは、黒白の二値画像またはグレースケールまたはカラー画像を含みうる。対象物は、スキャナ、ファックス、または、任意の撮影装置などの光学デバイスによって取り込まれうる。取り込まれた画像ファイルは、コンピュータに入力される。技術の進歩と共に、スキャナ、カメラ、および、その他の入力デバイスは、より精巧かつコンパクト、高品質になり、インストールが容易になっている。さらに、かかる入力デバイスの高解像度の結果、画像が鮮明になると共に速度が上がってきたため、ＯＣＲ処理効率の向上に拍車が掛かっている。

画像前処理モジュール１０３は、入力画像ファイルを個々の独立した画像に処理するよう構成されており、各画像は文字を含む。画像前処理モジュール１０３は、さらに、画像正規化、ノイズ除去、画像補正、および、その他の画像処理と、画像テキスト分析ならびにテキストラインおよび文字の分離を伴うファイル前処理とを実行するよう構成されている。画像処理は、すでに成熟した技術であるが、様々な種類の画像ファイル前処理に、利点および不利点がある。一般に、画像の写真、フォーム、および、テキストの領域が、まず、互いに分離される。記事のレイアウト方向、記事のアウトライン、および、テキスト本文までもが分離されうる。さらに、文字のフォントおよびサイズが決定される。

文字特徴抽出モジュール１０５は、画像ファイルの特徴を抽出するよう構成されている。どの特徴が抽出され、どのように用いられるかが、文字認識の質に直接影響する。「特徴」は、認識される文字を区別するために用いられる。例えば、２つの異なるタイプの特徴が用いられうる。第１のタイプの特徴は、統計的特徴（例えば、画像内の黒白ピクセル比）である。テキスト領域がいくつかの部分に分割されると、画像ファイルの異なる部分に対応する黒白ピクセル比の組み合わせが、空間数値ベクトルを構成する。第２のタイプの特徴は、構造的特徴である。例えば、文字に関連する画像の部分を細線に変換した後、システムは、文字ストロークの終点および交差点の量および位置（例えば、ストロークセグメント）を取得して、特徴として用いる。

特徴が入力テキストから抽出された後、これらの（統計的および／または構造的）特徴は、比較データベースまたは特徴データベースに格納された特徴と比較される。データベースは、画像ファイルから認識される文字に関連する特徴情報を含む。データベースに含まれる特徴情報は、画像ファイルに対して実行されたのと同じ抽出方法によって決定されたものである。

比較認識モジュール１０７は、画像ファイルから抽出された特徴と、比較データベースに格納された文字の特徴情報との間の比較を行うよう構成されている。画像ファイルの一部について抽出された特徴とデータベースに格納された特徴情報との間に一致が見いだされた場合、画像のその部分は、一致する格納特徴情報セットに対応する文字として認識される。いくつかの例において、比較の際に、数学演算が特徴に対して実行されてもよい。例えば、画像ファイルから抽出された特徴と、データベースに格納された文字に対応する特徴情報セットとの間の数学的距離が決定されてもよい。以下は、比較技術のタイプのいくつかの例である：ユークリッド空間比較技術、緩和法比較技術、動的計画法（ＤＰ）比較技術、アナログニューラルネットワークに従ったデータベース確立・対比技術、および、ＨＭＭ（隠れマルコフモデル）技術。さらに、熟練者が比較を手助けしてもよい。１または複数のタイプの比較技術が、最適な結果を達成するために用いられてよい。

補正・結果出力モジュール１０９は、画像ファイルから認識された文字をユーザインターフェースでユーザに提示するよう構成されている。

商品を購入する際、商品のバーコードは、肉眼では認識できず、特殊な読み取り装置によってのみ認識できる。別の例において、通例は、商品またはその他の対象物にインデックスをつけるため、ならびに、カタログ、シリーズ、コード／番号、および、その他のかかるラベルを形成するために、デジタルまたはテキストコードが用いられる。例えば、商品は、商品コード（または商品番号などと呼んでもよい）を有する。商品コードは、数字およびテキストなどの文字と、画像（例えば、製造者のロゴ）とを含みうる。商品コードは、特定の商品を一意的に識別するために利用されうる。商品コードは、インターネット広告または携帯電話広告もしくは市販の物理的商品に表示される一般的な商品画像の周囲、近く、または、上に位置しうる。従来のシステムは、画像に含まれる商品コードを直接認識できない。携帯電話またはその他の携帯デバイスなどのモバイルプラットフォームを用いて、商品コードを取り込んで認識する需要も起きている。一般に、スキャンまたは撮影された広告に基づく画像に関しては、従来のＯＣＲ技術を用いて、文字のいくつかを認識することが可能である。しかしながら、従来、既存の画像前処理モジュール１０３は、一般に、レイアウト分析技術を用いて、画像内の画像部分とテキスト部分とを区別する。この技術は、或る程度の構造的情報を備えたテキストレイアウトに適用される。しかしながら、商品コードが１または複数のグラフィックの近く、周囲、または、上に位置する商品広告などの画像では、従来のＯＣＲ技術を用いてテキストおよびグラフィックを分離することはより難しいため、画像からテキストを認識することがより困難になる。

以下の詳細な説明と添付の図面において、本発明の様々な実施形態を開示する。

従来のテキスト認識システムの一例を示す図。

画像からラベルを検出するためのシステムの一実施形態を示す図。

画像からラベルを検出するための処理の一実施形態を示すフローチャート。

画像内の特殊マークの一例を示す図。

画像内の特殊マークを検出する処理の一例を示すフローチャート。

画像内の特殊マークを検出する処理の一例を示すフローチャート。

各ピクセルが図面内の正方形（正方形７０４など）によって表される画像の部分７０２を示す図。

画像からラベルを検出するためのシステムの一実施形態を示す図。

本発明は、処理、装置、システム、物質の組成、コンピュータ読み取り可能な格納媒体上に具現化されたコンピュータプログラム製品、および／または、プロセッサ（プロセッサに接続されたメモリに格納および／またはそのメモリによって提供される命令を実行するよう構成されたプロセッサ）を含め、様々な形態で実装されうる。本明細書では、これらの実装または本発明が取りうる任意の他の形態を、技術と呼ぶ。一般に、開示された処理の工程の順序は、本発明の範囲内で変更されてもよい。特に言及しない限り、タスクを実行するよう構成されるものとして記載されたプロセッサまたはメモリなどの構成要素は、ある時間にタスクを実行するよう一時的に構成された一般的な構成要素として、または、タスクを実行するよう製造された特定の構成要素として実装されてよい。本明細書では、「プロセッサ」という用語は、１または複数のデバイス、回路、および／または、コンピュータプログラム命令などのデータを処理するよう構成された処理コアを指すものとする。

以下では、本発明の原理を示す図面を参照しつつ、本発明の１または複数の実施形態の詳細な説明を行う。本発明は、かかる実施形態に関連して説明されているが、どの実施形態にも限定されない。本発明の範囲は、特許請求の範囲によってのみ限定されるものであり、多くの代替物、変形物、および、等価物を含む。以下の説明では、本発明の完全な理解を提供するために、多くの具体的な詳細事項が記載されている。これらの詳細事項は、例示を目的としたものであり、本発明は、これらの具体的な詳細事項の一部または全てがなくとも特許請求の範囲に従って実施可能である。簡単のために、本発明に関連する技術分野で周知の技術要素については、本発明が必要以上にわかりにくくならないように、詳細には説明していない。

ラベル検出の実施形態について本明細書に記載する。画像が受信される。例えば、画像は商品に関連している。画像は、例えば、商品の広告に関連している。様々な実施形態において、画像は、ラベルの近くに配置された特殊マークを含むよう特別に設計されたものである。したがって、画像上の特殊マークの位置が特定されると、特殊マークの位置は、その近くでラベルを見つけることができる基準として利用できる。ラベルの一例は、画像に関連する商品を一意的に識別するために用いることができる商品ラベルである。商品ラベルは、ラベルの一例にすぎず、ラベルは、任意のタイプの識別情報（例えば、コード、名称、または、身分証明書のＩＤ）を含みうる。特殊マークを含む画像の部分が、所定の特殊マークパターンに少なくとも部分的に基づいて決定される。画像の特殊マークが決定されると、特殊マークの位置の近くの画像の領域で、ラベルに関連する画像の部分が検索される。光学式文字認識が、ラベルに関連する１または複数の文字／グラフィックを決定するために、ラベルに関連する画像の部分に実行されてよい。例えば、商品ラベルに関連する画像の部分から認識された内容は、画像に関連する商品に関するさらなる情報のための検索クエリとして用いられてよい。

図２は、画像からラベルを検出するためのシステムの一実施形態を示す図である。この例において、システム２００は、デバイス２０２、画像２０４、ネットワーク２０６、および、サーバ２０８を備える。ネットワーク２０６は、高速データネットワークおよび／または遠隔通信ネットワークを含む。デバイス２０２は、ネットワーク２０６を介してサーバ２０８と通信するよう構成されている。

デバイス２０２は、デバイス２０２で受信した画像（画像２０４など）からラベルを認識するよう構成されている。デバイス２０２の例としては、デスクトップコンピュータ、ラップトップコンピュータ、スマートフォン、携帯デバイス、および／または、その他のタイプのコンピュータデバイスが挙げられる。デバイス２０２は、物理的表面（例えば、広告）の写真をカメラ機能で撮影する、物理的表面の走査を行う、（例えば、サーバ２０８がホストとなるウェブサイトに関連する）ウェブページから画像２０４のダウンロードする、または、その他の適切な技術を用いることにより、画像２０４を受信してよい。画像２０４（すなわち、その画像が由来する物理的表面）は、特殊マーク（図１の例では図示せず）およびラベル（図１の例では図示せず）を含むよう設計されたものである。特殊マークは、所定の特殊マークパターンに一致する任意のグラフィックを含んでよく、また、画像２０４上でラベルの位置の近くに配置されるように設計されている。デバイス２０２を用いるユーザは、画像２０４のラベルの値を認識して、デバイス２０２が、認識された値を処理できる（例えば、サーバ２０８によってサポートされる検索エンジンで検索クエリとしてかかる値を用いて検索を実行できる）ようにしたいと考えうる。

画像２０４は、ラベルの位置が容易に確かめられないようなグラフィックおよび／またはテキストの組み合わせを含みうる。しかしながら、後に詳述するように、デバイス２０２（または、デバイス２０２で実行されるアプリケーション）は、最初に、特殊マークに関連する画像２０４の部分を見つけ、その後、ラベルに関連する画像２０４の部分の検索を開始するために特殊マークを基準として用いるよう構成されている。画像２０４の特殊マークを最初に見つけるための技術を用いて、次いで、ラベルを見つけるための基準として特殊マークを用いることにより、画像２０４のラベルを効率的に見つけて認識することができる。

図３は、画像からラベルを検出するための処理の一実施形態を示すフローチャートである。いくつかの実施形態において、処理３００は、図２のデバイス２０２で実施される。

処理２００は、ラベルの近くに配置された特殊マークを含むよう設計された画像からのラベルの検出を可能にする。

工程３０２では、画像が取得される。画像は、ウェブサイトからダウンロードされてよい、メッセージからダウンロードされてよい、および／または、デバイスを介して取り込まれてよい。例えば、画像は、スキャナ、カメラを通して取り込まれてよい。様々な実施形態において、取得された画像は、１または複数の商品に関連し、商品ラベルを含むよう設計されている。例えば、画像は、広告であってよく、商品ラベルは、商品を（一意的に）識別する商品コードを含んでよい。例えば、商品コードは、英数字および／またはその他の記号を含む。画像は、グラフィックおよびテキストの組み合わせを含んでよく、その内の少なくとも第１の部分は特殊マークを含み、第２の部分はラベルを含む。ラベルが認識されると、ラベルは、画像に関連するさらなる情報を取得するために、検索に用いられてよい。

工程３０４では、特殊マークに関連する画像の第１の部分が決定される。様々な実施形態で、画像の一部／位置に含まれる特殊マークがまず決定される。特殊マークが決定されると、特殊マークの位置の近くの画像の領域で、ラベルが検索される。特殊マークは、ラベルに関係ない様々なグラフィックおよび／またはテキストを含みうる画像からラベルを識別できるように、画像上のラベルのおおよその位置を示すために用いられる。画像（本明細書に記載の画像など）は、ラベルと共に特殊マークを有するよう設計されるので、ラベルが画像に含まれる場合、特殊マークも含まれる（例えば、ラベルのそば、ラベルの上方、ラベルの下方、および／または、特殊マークの位置と相対的な別の位置に）。例えば、特殊マークおよびラベルは、画像のその他の内容と一体化されてもよいし、画像の上に（例えば、画像のその他の内容を覆って）印刷されてもよい。

特殊マークは、１または複数の特殊マークパターンに基づいて作成された任意のグラフィックであってよい。様々な実施形態において、１または複数の特殊マークパターンは、特殊マークおよび／または画像のデザイナによって設定される。図４は、画像内の特殊マークの一例を示す。この例において、画像４００は、商品ラベルの近くに配置された特殊マークを含むよう設計された画像である。画像４００は、「ＡＢＣインスタントコーヒー」という商品の広告を含む。例に示すように、特殊マーク４０２は、画像４００の第１の部分に関連しており、黒い境界線を持つ長方形と、長方形に囲まれた「ｔ」の文字とを含むグラフィックである。商品ラベル４０４は、画像４００の第２の部分に関連しており、「１２３４５６７」の値を持つ商品コードを含む。画像４００は、分離が容易でないテキストおよびグラフィックの組み合わせを含むので、商品ラベル４０４を容易に識別することはできない。しかしながら、処理３００などの処理を用いれば、特殊マーク４０２の画像内での位置を最初に決定し、次いで、特殊マーク４０２の位置を用いて近くの商品ラベル４０４を見つけることができる。

図３の処理３００に戻ると、特殊マークは、１または複数の特殊マークパターンに基づいて、画像内で検出されうる。いくつかの実施形態において、１または複数の特殊マークパターンは、特殊マークが黒い境界線を持つ形状（例えば、長方形）を含むこと、および／または、指定された内容を囲むことを規定する。例えば、図４の特殊マーク４０２は、黒い境界線を持つ形状（例えば、長方形）を備えると共に、指定された内容（文字「ｔ」）を囲む特殊マークの例である。いくつかの実施形態において、１または複数の特殊マークパターンは、特殊マークが、黒い境界線を持つ形状（例えば、長方形）を含むと共に、所定の黒白ピクセル比に一致する黒白ピクセル比を有する少なくとも１本のピクセルライン（例えば、行または列）を有する、画像の部分を備えることを規定する。本明細書で用いられているように、「黒白ピクセル比」とは、黒ピクセル数の白ピクセル数に対する比を含む。いくつかの実施形態において、１または複数の特殊マークパターンは、特殊マークが、黒い境界線を持つ形状を含む画像の一部を含み、黒の境界が、指定の内容を囲み、形状が、１または複数の所定の黒白ピクセル比の各々に一致する少なくとも１本のピクセルライン（例えば、行または列）を有する黒い境界線を含むことを規定する。さらに、１または複数の特殊マークパターンは、特殊マークが、例えば、特殊マークに関連する文字、特殊マークに関連するコード（例えば、デジタルコード、テキストコード、および、画像コード（商業ロゴなど））のテキストまたは画像の構造および／または特徴（例えば、長さ、幅、サイズ、寸法、方向、位置、色、グレースケール、明るさなど）などの任意の指定の属性に一致することを規定する。特殊マークは、１または複数の特殊マークパターンに少なくとも部分的に基づいて設計されるので、画像の特殊マークは、かかる特殊マークパターンを満たす／に一致する画像の一部として決定されうる。

第１の例において、特殊マークが、黒い境界線の形状（例えば、長方形）を含むおよび／または指定の内容を囲むことを、１または複数の特殊マークパターンが規定している場合、画像の特殊マークは、特殊マークパターンと一致する黒い境界線に関連する形状を画像内で最初に検出することによって決定されうる。次いで、黒い境界線を持つ形状が検出されると、黒い境界線で囲まれた領域が、特殊マークパターンと一致する指定の内容についてチェックされる。１または複数の特殊マークパターンと一致する囲まれた内容を持つ黒い境界線が画像内で見つかると、黒い境界線および囲まれた内容を含む画像の部分が、特殊マークを含むと決定される。次いで、特殊マークを含むと決定された画像の部分は、画像上の近くにあるラベルを含む画像の別の部分を見つけるために用いられる。黒い境界線を持つ形状（例えば、長方形）を含むおよび／または指定された内容を囲む特殊マークに関連する１または複数の特殊マークパターンと一致する特殊マークの検出に関するさらなる詳細については、上述の図４および後述の図５の例を用いて説明する。

第２の例において、特殊マークが、黒い境界線を有する形状（例えば、長方形）を含むと共に、１または複数の所定の黒白ピクセル比の各々に一致する少なくとも１本のピクセルライン（例えば、行または列）を有する、画像の部分を備えることを、１または複数の特殊マークパターンが規定する場合、画像の特殊マークは、特殊マークパターンに一致する黒い境界線に関連する形状を画像内でまず検出することによって決定されうる。次いで、黒い境界線を持つ形状が検出されると、（黒い境界線を含む）形状に関連する画像の部分の中の１または複数のピクセルラインが所定の黒白ピクセル比の内の対応するピクセル比に一致する黒白ピクセル比を有するか否かが判定される。例えば、所定の黒白ピクセル比に一致する形状内のピクセルラインは、連続的または不連続的なピクセルを含みうる。所定の黒白ピクセル比に一致する形状内のピクセルラインは、（ライン内の黒ピクセル対白ピクセルの比が所定の黒白ピクセル比に一致する限りは）黒白以外の色のピクセルを含んでもよい。いくつかの実施形態において、特殊マークに一致する黒い境界線を持つ形状が決定されると、特殊マーク検出処理は、形状に含まれるピクセルをラインごとに走査して、１または複数のかかるピクセルラインのいずれかが特殊マークパターンの所定の黒白ピクセル比に一致するか否かを判定する工程に進む。いくつかの実施形態において、特殊マークパターンは、１または複数のピクセルラインの各々について異なる所定の黒白ピクセル比を含んでもよい。黒い境界線を持つ形状（例えば、長方形）を含むと共に、所定の黒白ピクセル比に一致する少なくとも１本のピクセルライン（例えば、行または列）を有する、特殊マークに関連する１または複数の特殊マークパターンに一致する特殊マークの検出に関するさらなる詳細については、後述の図６および図７の例を用いて説明する。

工程３０６では、ラベルに関連する画像の第２の部分が、特殊マークに関連する画像の第１の部分に少なくとも部分的に基づいて見つけられる。上述のように、特殊マークは、画像内でラベルの近くに位置するよう設計される。検出された特殊マークの位置を基準として用いて、その近くでラベルを検索することにより、（画像全体でラベルを検索する、および／または、かかる基準なしにラベルの検索を始める場合と比較して）、ラベルの検索を円滑にすることができる。いくつかの実施形態では、検出された特殊マークから離れる１または複数の方向の画像の領域で、ラベルが検索される。例えば、エッジ検出、直線フィッティング、および、テンプレートマッチングという周知の技術が、特殊マークに関連する画像の部分の近くでラベルに関連する画像の部分を見つけるために用いられてよい。例えば、検出された特殊マークの近くの領域（例えば、特殊マークから所定の半径内または特殊マークの周りの特定の正方形領域）で、ラベルのテンプレートに一致する画像の部分が検索されてよい（例えば、テンプレートは、ラベルの寸法および／またはラベルに含まれる値の数を示しうる）。テンプレートに一致する画像の部分は、ラベルの文字を含むと決定される。

工程３０８では、ラベルに関連する値を決定するために、ラベルに関連する画像の第２の部分に文字認識が適用される。ラベルを含むと決定された検出済み特殊マーク近くの画像の部分に、文字認識処理が施される。画像のこの部分からラベル値を決定するために、任意の周知のＯＣＲ技術が用いられてよい。数字、テキスト、および／または、その他のタイプの文字または記号が認識されうる。いくつかの実施形態において、ラベルに関連する画像の部分（例えば、ラベルテンプレートに一致する画像の部分）は、最初に画像から抽出され、その後、抽出された部分に文字認識処理が施される。ラベルに関連する画像の部分の抽出は、画像由来のその他の内容からラベルを分離し、潜在的に文字認識結果を改善するよう機能する。例えば、ラベルは、データベース内で商品を一意的に識別するために用いられる商品コードを含みうる。いくつかの実施形態において、認識されたラベル値（例えば、文字および／または記号を含む）は、画像に関するさらなる情報を取得するために検索クエリとして送信される。検索結果は、ユーザインターフェースを介してユーザに提示されてよい。

いくつかの実施形態において、工程３０８の後、別のラベルが画像から認識されるか否かが判定される。例えば、処理３００は、画像から見つかった任意の他のマークとは異なる別の特殊マークが見つかるか否かを判定するために、再び実行されてよい。その場合、処理３００が繰り返されてよく、別の対応するラベルが同じ画像内で見つけられて認識されてよい。

図５は、画像内の特殊マークを検出する処理の一例を示すフローチャートである。いくつかの実施形態において、処理５００は、図２のデバイス２０２で実施される。

処理５００は、黒い境界線を持つ形状（例えば、長方形）を規定するおよび／または指定された内容を囲む特殊マークパターンに一致するよう設計された特殊マークを画像内で検出するために利用できる処理の一例である。画像は、そこからラベルを認識したい画像である。

工程５０２では、特殊マークパターンに関連する黒い境界線の形状が画像内で検出される。例えば、画像内で、黒い境界線によって画像内の他の内容から分画された形状が、（例えば、エッジ検出を用いて）見つけられる。図４の例を参照すると、特殊マーク４０２は、黒い境界線を有する長方形を含む。処理５００が図４の画像４００に適用されると、黒い境界線の長方形が、工程５０２において検出される。

図５に戻ると、工程５０４では、黒い境界線によって囲まれた内容が、特殊マークパターンに関連付けられている指定された内容と比較される。黒い境界線で囲まれた内容（例えば、文字、数字、または、記号）が抽出（例えば、認識）され、特殊マークパターンに関連付けられている指定されたコンテンツと比較される。

工程５０６では、黒い境界線によって囲まれた内容が、指定された内容と一致した場合に、黒い境界線の形状を含む画像の部分が特殊マークを含むと決定される。黒い境界線で囲まれた内容と特殊マークパターンに関連する指定されたコンテンツとの間で一致がある場合、黒い境界線の形状を含む画像の部分は、特殊マークであると決定される。しかしながら、黒い境界線で囲まれた内容と特殊マークパターンに関連する指定されたコンテンツとの間に一致がない場合、黒い境界線の形状を含む画像の部分は、特殊マークではないと決定される。図４の例を参照すると、特殊マーク４０２は、文字「ｔ」が長方形の黒い境界線の中に囲まれていることを示す。処理５００が図４の画像４００に適用されると、特殊マーク４０２の黒い境界線の長方形は、文字「ｔ」が特殊マークパターンの指定された内容に一致した場合に、特殊マークであると決定される。特殊マークが決定されると、画像のラベルが、特殊マークの周囲の領域で検索される。

図６は、画像内の特殊マークを検出する処理の一例を示すフローチャートである。いくつかの実施形態において、処理６００は、図２のデバイス２０２で実施される。

処理６００は、特殊マークが、黒い境界線を有する形状（例えば、長方形）を含むと共に、所定の黒白ピクセル比に一致する少なくとも１本のピクセルライン（例えば、行または列）を有する、画像の部分を備えることを規定する特殊マークパターンに一致するよう設計された特殊マークを、画像内で検出するために利用できる処理の一例である。画像は、そこからラベルを認識したい画像である。

工程６０２では、特殊マークパターンに関連する黒い境界線の形状が画像内で検出される。例えば、画像内で、黒い境界線によって画像内の他の内容から分画された形状が、（例えば、エッジ検出を用いて）見つけられる。

工程６０４では、黒い境界線の範囲内のピクセルラインが特殊マークパターンに関連付けられている黒白ピクセル比と一致するか否かが判定される。特殊マークパターンは、特殊マークに関連付けられている画像の部分内の１または複数のピクセルラインの各々のための黒白ピクセル比を規定しうる。ピクセルラインは、ピクセル行またはピクセル列のことであってよく、それらは、特殊マークパターン内で規定されうる。例えば、黒い境界線が工程６０２において検出された場合、検出された黒い境界線の範囲内の各ピクセルライン（境界線自体を含む）は、かかるピクセルラインの少なくとも１つが特殊マークパターンに関連付けられている各黒白ピクセル比と一致するか否かを判定するためにチェックされうる。例えば、複数の黒白ピクセル比が特殊マークパターンについて規定されている場合、黒白ピクセル比の内のそれぞれに一致する検出された黒い境界線内のピクセルラインは、互いに隣接していても隣接していなくてもよい。

工程６０６では、黒い境界線の範囲内のピクセルラインが、特殊マークパターンに関連付けられている黒白ピクセル比に一致すると判定された場合に、黒い境界線の形状を含む画像の部分が特殊マークを含むと決定される。

処理６００の適用例について、図７の例を参照して説明する。図７は、各ピクセルが図面内の正方形（正方形７０４など）によって表される画像の部分７０２を含む。この例において、特殊マークパターンは、特殊マークが、黒い境界線の正方形の形状と、第１のピクセルラインに関する第１の黒白ピクセル比と、第２のピクセルラインに関する第２黒白ピクセル比とを含むことを規定している。上述のように、「黒白ピクセル比」とは、黒ピクセル数の白ピクセル数に対する比のことである。図６の処理６００の工程６０２を適用すると、黒い境界線を持つ正方形形状を含むので、画像の部分７０２が検出される。この例の第１の黒白ピクセル比は、１：１：３：１：１を含んでおり、これは、処理６００の工程６０２において検出された形状の黒い境界線内の１つのピクセルラインが、１黒ピクセル、１白ピクセル、３黒ピクセル、１白ピクセル、および、１黒ピクセルというピクセル比を含まなければならないことを意味する。この例の第２の黒白ピクセル比は、１：２：１：２：１を含んでおり、これは、処理６００の工程６０２において検出された形状の黒い境界線内の別のピクセルラインが、１黒ピクセル、２白ピクセル、１黒ピクセル、２白ピクセル、および、黒１ピクセルというピクセル比を含まなければならないことを意味する。第１および第２の黒白ピクセル比に対応する２つのピクセルラインは、互いに隣接していてもよいし、隣接していなくてもよい。図６の処理６００の工程６０２を適用すると、画像の部分７０２の各ピクセル行は、第１のピクセル行が特殊マークパターンの第１の黒白ピクセル比（１：１：３：１：１）と一致するか否か、および、第２のピクセル行が特殊マークパターンの第２の黒白ピクセル比（１：２：１：２：１）と一致するか否かを判定するために（例えば、ラインごとに）調べられる。この例に示すように、画像の部分７０２の黒い境界線内のピクセルラインＡ（境界線も含む）は、ラインＡ内で左から右（または右から左）に、１黒ピクセル、１白ピクセル、３黒ピクセル、１白ピクセル、１黒ピクセルが並んでいるので、特殊マークパターンの第１の黒白ピクセル比（１：１：３：１：１）に一致する。ピクセルラインＢは、ラインＢ内で左から右（または右から左）に、１黒ピクセル、２白ピクセル、１黒ピクセル、２白ピクセル、１黒ピクセルが並んでいるので、特殊マークパターンの第２の黒白ピクセル比（１：２：１：２：１）に一致する。画像の部分７０２のラインＡおよびラインＢが、特殊マークパターンで規定された２つの黒白ピクセル比にそれぞれ一致することがわかったので、図６の処理６００の工程６０６に従って、画像の部分７０２が特殊マークであると決定される。

黒い境界線を含むピクセルの２以上のピクセルラインが、特殊マークパターンの１つの黒白ピクセル比に一致してもよいが、少なくとも１つのピクセルラインが、特殊マークパターンを満たすように一致する必要がある。黒白ピクセル比は、例えば、５黒ピクセル、５白ピクセル、１５黒ピクセル、５白ピクセル、５黒ピクセルの順にピクセルを含むピクセルライン（図示せず）であっても１：１：３：１：１の比と一致するように単純化される。

上述の特殊マークパターンの例は、２つのピクセルラインに対応する２つの黒白ピクセル比を含むが、特殊マークパターンは、同じ数のピクセルラインに対応する０以上の黒白ピクセル比を含んでよい。

図８は、画像からラベルを検出するためのシステムの一実施形態を示す図である。この例において、システム８００は、取り込みモジュール８０１、画像特殊マークマッチングモジュール８０３、ラベル位置特定モジュール８０５、および、画像文字認識モジュール８０７を備える。

モジュールは、１または複数のプロセッサ上で実行されるソフトウェアコンポーネントとして、設計されたプログラム可能論理デバイスおよび／または特定用途向け集積回路などのハードウェアとして実装されてよく、要素は、コンピュータデバイス（パーソナルコンピュータ、サーバ、ネットワーク装置など）に本発明の実施形態に記載された方法を実行させるための複数の命令など、不揮発性記憶媒体（光学ディスク、フラッシュ記憶装置、携帯用ハードディスクなど）に格納することができるソフトウェア製品の形態で具現化されてよい。モジュールは、単一のデバイス上に実装されてもよいし、複数のデバイスにわたって分散されてもよい。

画像取り込みモジュール８０１は、に関連付けられている画像を決定するよう構成されている。例えば、画像取り込みモジュール８０１は、カメラ、スキャナを介して、メッセージおよび／またはウェブページからの画像のダウンロードを介して、もしくは、任意のその他の適切な技術によって、画像を受信できる。例えば、取り込みモジュール８０１は、商品の広告の写真を撮るよう構成されており、この場合、取り込まれる画像は、生成された写真である。

画像特殊マークマッチングモジュール８０３は、特殊マークに関連する画像の第１の部分を決定するよう構成されている。画像特殊マークマッチングモジュール８０３は、１または複数の特殊マークパターンに基づいて、存在する場合に、画像上の特殊マークを見つけるよう構成される。画像特殊マークマッチングモジュール８０３は、上述のように、１または複数のマークパターンを満たす画像の部分を特定するよう構成されている。画像特殊マークマッチングモジュール８０３は、特殊マークに関連する画像の部分を特定するために、エッジ検出および直線フィッティングの技術例を用いてよい。

ラベル位置特定モジュール８０５は、特殊マークに関連する画像の第１の部分に基づいて、ラベルに関連する画像の第２の部分を見つけるよう構成されている。ラベルは、検出された特殊マークに関連する画像の領域内で検索されてよい。例えば、ラベルに関連するテンプレートが、ラベルに関連する画像の部分を見つけるために用いられてよい。いくつかの実施形態において、ラベル位置特定モジュール８０５は、ラベルに関連する画像の部分を画像から抽出するよう構成されている。

画像文字認識モジュール８０７は、ラベル位置特定モジュール８０５によって決定されたラベルに関連する画像の部分に対して文字認識を実行するよう構成されている。いくつかの実施形態において、画像文字認識モジュール８０７は、ラベルに関連する抽出済みの画像の部分を受信し、文字認識を実行するよう構成されている。文字認識は、周知のＯＣＲ技術を用いて実行されてよい。いくつかの実施形態において、画像文字認識モジュール８０７は、ラベルから認識された文字を用いて検索を実行し、（ラベルに関連する商品に関する）検索結果をユーザインターフェースを介してユーザに表示するよう構成されている。いくつかの実施形態において、画像文字認識モジュール８０７は、さらなる処理のために、ラベルから認識された文字を別のシステムに対して入力するよう構成されている。

この記載における様々な実施形態は、一般に、漸進的に記載されている。各実施形態の説明は、他の実施形態と異なる領域に焦点を当てており、実施形態の記載は、実施形態の同一または類似の部分について相互に参照できる。

本願は、コンピュータによって実行されるコンピュータ実行可能なコマンド（プログラムモジュールまたはユニットなど）の一般的なコンテキストで記述されてよい。一般に、プログラムモジュールまたはユニットは、特定のタスクの実行または特定の抽象データ型の実施のためのルーチン、プログラム、オブジェクト、コンポーネント、データ構造などを備える。一般に、プログラムモジュールまたはユニットは、ソフトウェア、ハードウェア、または、それら２つの組み合わせで実現されうる。本願は、分散型コンピュータ環境で実施されてもよく、かかる分散型コンピュータ環境では、通信ネットワークを介して接続されたリモート処理装置によってタスクが実行される。分散型コンピュータ環境において、プログラムモジュールまたはユニットは、記憶装置を備えるローカルまたはリモートコンピュータの記憶媒体に格納されうる。

本明細書は、具体的な例を用いて、本願の実施例の原理および形態を説明している。上記の実施形態の説明は、単に、本願の方法およびその主要概念の理解を助けるよう意図されたものである。さらに、当業者は、本願の概念に基づいて、具体的な実装の形態および応用範囲に対して修正を加えることができる。要するに、本記載の内容は、本願を限定するものとして理解されるべきではない。

上述の実施形態は、理解しやすいようにいくぶん詳しく説明されているが、本発明は、提供された詳細事項に限定されるものではない。本発明を実施する多くの代替方法が存在する。開示された実施形態は、例示であり、限定を意図するものではない。

上述の実施形態は、理解しやすいようにいくぶん詳しく説明されているが、本発明は、提供された詳細事項に限定されるものではない。本発明を実施する多くの代替方法が存在する。開示された実施形態は、例示であり、限定を意図するものではない。
適用例１：システムであって、
１または複数のプロセッサであって、
画像を取得し、
特殊マークに関連付けられている前記画像の第１の部分を決定し、
前記特殊マークに関連付けられている前記画像の前記第１の部分に少なくとも部分的に基づいて、ラベルに関連付けられている前記画像の第２の部分を決定し、
前記ラベルに関連付けられている前記画像の前記第２の部分に文字認識を適用して、前記ラベルに関する値を決定するよう構成されている、１または複数のプロセッサと、
前記１または複数のプロセッサに接続され、前記１または複数のプロセッサに命令を提供するよう構成されている１または複数のメモリと、
を備える、システム。
適用例２：適用例１に記載のシステムであって、前記画像は、カメラを介した前記画像の受信、スキャナを介した前記画像の受信、および、前記画像のダウンロードの内の一つまたは複数に少なくとも部分的に基づいて取得される、システム。
適用例３：適用例１に記載のシステムであって、前記画像は、１または複数の商品に関連付けられている、システム。
適用例４：適用例３に記載のシステムであって、前記ラベルは、前記１または複数の商品に関連付けられている識別情報を含む、システム。
適用例５：適用例１に記載のシステムであって、前記特殊マークに関連付けられている前記画像の前記第１の部分を決定することは、
特殊マークパターンに関連する黒い境界線の形状を前記画像内で検出し、
前記黒い境界線によって囲まれた内容を前記特殊マークパターンに関連付けられている指定された内容と比較し、
前記黒い境界線によって囲まれた前記内容が、前記指定された内容と一致する場合に、前記黒い境界線の前記形状を含む前記画像の部分が、前記特殊マークに関連付けられている前記画像の前記第１の部分を含むと決定することを含む、システム。
適用例６：適用例１に記載のシステムであって、前記特殊マークに関連付けられている前記画像の前記第１の部分を決定することは、
特殊マークパターンに関連する黒い境界線の形状を前記画像内で検出し、
前記黒い境界線の範囲内のピクセルラインが前記特殊マークパターンに関連付けられている黒白ピクセル比と一致するか否かを判定し、
前記黒い境界線の範囲内の前記ピクセルラインが、前記特殊マークパターンに関連付けられている前記黒白ピクセル比に一致すると判定された場合に、前記黒い境界線の前記形状を含む前記画像の部分が、前記特殊マークに関連付けられている前記画像の前記第１の部分を含むと決定することを含む、システム。
適用例７：適用例１に記載のシステムであって、前記特殊マークに関連付けられている前記画像の前記第１の部分に少なくとも部分的に基づいて、前記ラベルに関連付けられている前記画像の前記第２の部分を決定することは、前記特殊マークに関連付けられている前記画像の前記第１の部分の位置の近くの前記画像の領域内で、前記ラベルに関連付けられている前記画像の前記第２の部分を検索することを含む、システム。
適用例８：適用例１に記載のシステムであって、前記１または複数のプロセッサは、さらに、前記ラベルに関連付けられている前記画像の前記第２の部分に文字認識を適用する前に、前記ラベルに関連付けられている前記画像の前記第２の部分を前記画像から抽出するよう構成されている、システム。
適用例９：方法であって、
画像を取得し、
１または複数のプロセッサを用いて、特殊マークに関連付けられている前記画像の第１の部分を決定し、
前記特殊マークに関連付けられている前記画像の前記第１の部分に少なくとも部分的に基づいて、ラベルに関連付けられている前記画像の第２の部分を決定し、
前記ラベルに関連付けられている前記画像の前記第２の部分に文字認識を適用して、前記ラベルに関する値を決定すること、
を備える、方法。
適用例１０：適用例９に記載の方法であって、前記画像は、カメラを介した前記画像の受信、スキャナを介した前記画像の受信、および、前記画像のダウンロードの内の一つまたは複数に少なくとも部分的に基づいて取得される、方法。
適用例１１：適用例９に記載の方法であって、前記画像は、１または複数の商品に関連付けられている、方法。
適用例１２：適用例１１に記載の方法であって、前記ラベルは、前記１または複数の商品に関連付けられている識別情報を含む、方法。
適用例１３：適用例９に記載の方法であって、前記特殊マークに関連付けられている前記画像の前記第１の部分を決定することは、
特殊マークパターンに関連する黒い境界線の形状を前記画像内で検出し、
前記黒い境界線によって囲まれた内容を前記特殊マークパターンに関連付けられている指定された内容と比較し、
前記黒い境界線によって囲まれた前記内容が、前記指定された内容と一致する場合に、前記黒い境界線の前記形状を含む前記画像の部分が、前記特殊マークに関連付けられている前記画像の前記第１の部分を含むと決定すること、
を含む、方法。
適用例１４：適用例９に記載の方法であって、前記特殊マークに関連付けられている前記画像の前記第１の部分を決定することは、
特殊マークパターンに関連する黒い境界線の形状を前記画像内で検出し、
前記黒い境界線の範囲内のピクセルラインが前記特殊マークパターンに関連付けられている黒白ピクセル比と一致するか否かを判定し、
前記黒い境界線の範囲内の前記ピクセルラインが、前記特殊マークパターンに関連付けられている前記黒白ピクセル比に一致すると判定された場合に、前記黒い境界線の前記形状を含む前記画像の部分が、前記特殊マークに関連付けられている前記画像の前記第１の部分を含むと決定すること、
を含む、方法。
適用例１５：適用例９に記載の方法であって、前記特殊マークに関連付けられている前記画像の前記第１の部分に少なくとも部分的に基づいて、前記ラベルに関連付けられている前記画像の前記第２の部分を決定することは、前記特殊マークに関連付けられている前記画像の前記第１の部分の位置の近くの前記画像の領域内で、前記ラベルに関連付けられている前記画像の前記第２の部分を検索することを含む、方法。
適用例１６：適用例９に記載の方法であって、さらに、前記ラベルに関連付けられている前記画像の前記第２の部分に文字認識を適用する前に、前記ラベルに関連付けられている前記画像の前記第２の部分を前記画像から抽出することを備える、方法。
適用例１７：コンピュータプログラム製品であって、持続性のコンピュータ読み取り可能な記憶媒体内に具現化され、
画像を取得するためのコンピュータ命令と、
特殊マークに関連付けられている前記画像の第１の部分を決定するためのコンピュータ命令と、
前記特殊マークに関連付けられている前記画像の前記第１の部分に少なくとも部分的に基づいて、ラベルに関連付けられている前記画像の第２の部分を決定するためのコンピュータ命令と、
前記ラベルに関連付けられている前記画像の前記第２の部分に文字認識を適用して、前記ラベルに関する値を決定するためのコンピュータ命令と、
を備える、コンピュータプログラム製品。
適用例１８：適用例１７に記載のコンピュータプログラム製品であって、前記画像は、カメラを介した前記画像の受信、スキャナを介した前記画像の受信、および、前記画像のダウンロードの内の一つまたは複数に少なくとも部分的に基づいて取得される、コンピュータプログラム製品。
適用例１９：適用例１７に記載のコンピュータプログラム製品であって、前記画像は、１または複数の商品に関連付けられている、コンピュータプログラム製品。
適用例２０：適用例１９に記載のコンピュータプログラム製品であって、前記ラベルは、前記１または複数の商品に関連付けられている識別情報を含む、コンピュータプログラム製品。

Claims (20)

1. システムであって、
   １または複数のプロセッサであって、
   画像を取得し、
   特殊マークに関連付けられている前記画像の第１の部分を決定し、
   前記特殊マークに関連付けられている前記画像の前記第１の部分に少なくとも部分的に基づいて、ラベルに関連付けられている前記画像の第２の部分を決定し、
   前記ラベルに関連付けられている前記画像の前記第２の部分に文字認識を適用して、前記ラベルに関する値を決定するよう構成されている、１または複数のプロセッサと、
   前記１または複数のプロセッサに接続され、前記１または複数のプロセッサに命令を提供するよう構成されている１または複数のメモリと、
   を備える、システム。
2. 請求項１に記載のシステムであって、前記画像は、カメラを介した前記画像の受信、スキャナを介した前記画像の受信、および、前記画像のダウンロードの内の一つまたは複数に少なくとも部分的に基づいて取得される、システム。
3. 請求項１に記載のシステムであって、前記画像は、１または複数の商品に関連付けられている、システム。
4. 請求項３に記載のシステムであって、前記ラベルは、前記１または複数の商品に関連付けられている識別情報を含む、システム。
5. 請求項１に記載のシステムであって、前記特殊マークに関連付けられている前記画像の前記第１の部分を決定することは、
   特殊マークパターンに関連する黒い境界線の形状を前記画像内で検出し、
   前記黒い境界線によって囲まれた内容を前記特殊マークパターンに関連付けられている指定された内容と比較し、
   前記黒い境界線によって囲まれた前記内容が、前記指定された内容と一致する場合に、前記黒い境界線の前記形状を含む前記画像の部分が、前記特殊マークに関連付けられている前記画像の前記第１の部分を含むと決定することを含む、システム。
6. 請求項１に記載のシステムであって、前記特殊マークに関連付けられている前記画像の前記第１の部分を決定することは、
   特殊マークパターンに関連する黒い境界線の形状を前記画像内で検出し、
   前記黒い境界線の範囲内のピクセルラインが前記特殊マークパターンに関連付けられている黒白ピクセル比と一致するか否かを判定し、
   前記黒い境界線の範囲内の前記ピクセルラインが、前記特殊マークパターンに関連付けられている前記黒白ピクセル比に一致すると判定された場合に、前記黒い境界線の前記形状を含む前記画像の部分が、前記特殊マークに関連付けられている前記画像の前記第１の部分を含むと決定することを含む、システム。
7. 請求項１に記載のシステムであって、前記特殊マークに関連付けられている前記画像の前記第１の部分に少なくとも部分的に基づいて、前記ラベルに関連付けられている前記画像の前記第２の部分を決定することは、前記特殊マークに関連付けられている前記画像の前記第１の部分の位置の近くの前記画像の領域内で、前記ラベルに関連付けられている前記画像の前記第２の部分を検索することを含む、システム。
8. 請求項１に記載のシステムであって、前記１または複数のプロセッサは、さらに、前記ラベルに関連付けられている前記画像の前記第２の部分に文字認識を適用する前に、前記ラベルに関連付けられている前記画像の前記第２の部分を前記画像から抽出するよう構成されている、システム。
9. 方法であって、
   画像を取得し、
   １または複数のプロセッサを用いて、特殊マークに関連付けられている前記画像の第１の部分を決定し、
   前記特殊マークに関連付けられている前記画像の前記第１の部分に少なくとも部分的に基づいて、ラベルに関連付けられている前記画像の第２の部分を決定し、
   前記ラベルに関連付けられている前記画像の前記第２の部分に文字認識を適用して、前記ラベルに関する値を決定すること、
   を備える、方法。
10. 請求項９に記載の方法であって、前記画像は、カメラを介した前記画像の受信、スキャナを介した前記画像の受信、および、前記画像のダウンロードの内の一つまたは複数に少なくとも部分的に基づいて取得される、方法。
11. 請求項９に記載の方法であって、前記画像は、１または複数の商品に関連付けられている、方法。
12. 請求項１１に記載の方法であって、前記ラベルは、前記１または複数の商品に関連付けられている識別情報を含む、方法。
13. 請求項９に記載の方法であって、前記特殊マークに関連付けられている前記画像の前記第１の部分を決定することは、
    特殊マークパターンに関連する黒い境界線の形状を前記画像内で検出し、
    前記黒い境界線によって囲まれた内容を前記特殊マークパターンに関連付けられている指定された内容と比較し、
    前記黒い境界線によって囲まれた前記内容が、前記指定された内容と一致する場合に、前記黒い境界線の前記形状を含む前記画像の部分が、前記特殊マークに関連付けられている前記画像の前記第１の部分を含むと決定すること、
    を含む、方法。
14. 請求項９に記載の方法であって、前記特殊マークに関連付けられている前記画像の前記第１の部分を決定することは、
    特殊マークパターンに関連する黒い境界線の形状を前記画像内で検出し、
    前記黒い境界線の範囲内のピクセルラインが前記特殊マークパターンに関連付けられている黒白ピクセル比と一致するか否かを判定し、
    前記黒い境界線の範囲内の前記ピクセルラインが、前記特殊マークパターンに関連付けられている前記黒白ピクセル比に一致すると判定された場合に、前記黒い境界線の前記形状を含む前記画像の部分が、前記特殊マークに関連付けられている前記画像の前記第１の部分を含むと決定すること、
    を含む、方法。
15. 請求項９に記載の方法であって、前記特殊マークに関連付けられている前記画像の前記第１の部分に少なくとも部分的に基づいて、前記ラベルに関連付けられている前記画像の前記第２の部分を決定することは、前記特殊マークに関連付けられている前記画像の前記第１の部分の位置の近くの前記画像の領域内で、前記ラベルに関連付けられている前記画像の前記第２の部分を検索することを含む、方法。
16. 請求項９に記載の方法であって、さらに、前記ラベルに関連付けられている前記画像の前記第２の部分に文字認識を適用する前に、前記ラベルに関連付けられている前記画像の前記第２の部分を前記画像から抽出することを備える、方法。
17. コンピュータプログラム製品であって、持続性のコンピュータ読み取り可能な記憶媒体内に具現化され、
    画像を取得するためのコンピュータ命令と、
    特殊マークに関連付けられている前記画像の第１の部分を決定するためのコンピュータ命令と、
    前記特殊マークに関連付けられている前記画像の前記第１の部分に少なくとも部分的に基づいて、ラベルに関連付けられている前記画像の第２の部分を決定するためのコンピュータ命令と、
    前記ラベルに関連付けられている前記画像の前記第２の部分に文字認識を適用して、前記ラベルに関する値を決定するためのコンピュータ命令と、
    を備える、コンピュータプログラム製品。
18. 請求項１７に記載のコンピュータプログラム製品であって、前記画像は、カメラを介した前記画像の受信、スキャナを介した前記画像の受信、および、前記画像のダウンロードの内の一つまたは複数に少なくとも部分的に基づいて取得される、コンピュータプログラム製品。
19. 請求項１７に記載のコンピュータプログラム製品であって、前記画像は、１または複数の商品に関連付けられている、コンピュータプログラム製品。
20. 請求項１９に記載のコンピュータプログラム製品であって、前記ラベルは、前記１または複数の商品に関連付けられている識別情報を含む、コンピュータプログラム製品。

Images