JP2004178560A - デジタル画像を選択的に処理するためのシステムおよび方法 - Google Patents

Abstract

【課題】 デジタル画像から選択した画像情報を入手し、その選択した画像情報を選択的処理のために供給するシステムおよび方法を提供する。
【解決手段】 一態様の場合には、本発明は、デジタル・カメラにより捕捉した画像から自動的に品目識別子の位置を発見し、セグメントに分割し、処理のために品目識別子に関連する画像情報を提供する。別の方法としては、ユーザは、画像のどの領域が、さらに表示または処理のために興味のある品目識別子を含んでいるのかを指定することができる。
【選択図】 図１

Description

本発明は、デジタル画像のすべての画像情報よりは少ない情報を選択的に処理するためのシステムおよび方法に関する。より詳細に説明すると、本発明は、ユーザ入力により、または、その向きおよび位置とは無関係にある画像内のバーコードのような画像情報の位置を自動的に入手することにより画像情報を識別するための、および識別した画像情報を選択的に処理するためのシステムを提供する。

品目識別子は、バーコード、画像自身の周辺のコード化された領域、または画像自身に内蔵されているコード化された領域、および品目または画像の主題を識別または分類するのに役に立つ、コード化されていないが一意の画像成分のような視覚的に検出することができる一意の画像情報からなる。情報は、例えば、光学式スキャナにより自動的に抽出することもできるし、またはユーザが読み取ることもできるし、または他の方法で検出することもできる。小売店は、独立して生成された品目識別子を、在庫品目を識別し、追跡し、また管理するために使用する。データベースに入力した場合には、品目識別子を、価格、在庫、購入条件等の他の関連品目情報と相互参照することができる。

バーコードは、品目識別子の１つのユビキタス形式である。１９７０年代の後半に、ＵＰＣが食料品店用の標準として採用されたので、バーコードは、高速で、簡単で、正確なデータ入力方法になった。バーコードは、バーコードが関連するある品目に関する情報をコード化する。通常、バーコードは、バーコードのコード化されたパターンを品目または品目のパッケージに貼付することによりある品目と関連を持つことになる。ある品目と関連するバーコードを使用するために、小売店は、最初にバーコード・スキャナによりバーコードからコード化された情報を抽出する。ある場合には、抽出された情報は、在庫商品識別番号（ＳＫＵ）のような識別コードからなる。もちろん、バーコードを走査する代わりに、バーコード自身の下に印刷することができる識別コードを手動で読み取り、キーボードによりデバイスに入力することもできる。どちらの場合でも、次に、検出したコードを、データベースから保証またはその品目に関する他の情報等を入手し、データベース内のその品目の位置を更新する目的で、データベースからその品目の小売価格を検索するために使用することができる。

バーコードが広く使用されていて便利なものであるので、バーコードから情報を抽出するための多くのデバイスが小売店用および消費者用に開発されてきた。これらのデバイスとしては、食料品店のチェックアウト・スキャナ、手持ち式のスキャナ、および走査ペン等がある。バーコードを解読することができる周辺モジュールも、携帯情報端末（ＰＤＡ）および移動電話のようなデバイス用に開発されている。これらのデバイスの中のあるものは、いくつかの異なるフォーマットのバーコードから情報を抽出することができる。あるシステム、すなわち、Digital:Convergence社のＣｕｅ Ｃａｔ（商標）システムは、コードを抽出するために製品または広告上のバーコードをペンで走査し、次にワールド・ワイド・ウェブ（「Ｗｅｂ」）ブラウザに、その製品または広告に関連するウェブ・ページにアクセスさせると動作する。入手できるバーコード解読デバイスの数が多く、タイプも多種多様であるので、これらのデバイスの開発および購入は、メーカーにとっても消費者にとってもかなりの投資になる。

従来の大部分のデバイスは、バーコードを読み取るためのレーザをベースとする技術を使用している。基本的なバーコード・リーダは、レーザ・スキャナと、デコーダと、デコーダをコンピュータまたは端末にインタフェースするケーブルとからなる。動作中、スキャナは、バーコード・パターンを走査し、走査したパターンのバーとスペースに対応する電気出力を生成する。次に、デコーダは、デジタル化したバーとスペースのパターンをキャッチし、このパターンを正しいデータに解読し、そのデータを直ちにまたはバッチとしてまとめて、有線接続または無線接続を通してコンピュータに送る。大部分のレーザをベースとするバーコード・リーダは、スキャナのレーザ・システムが大きな電力を必要とするので消費電力が大きい。このように消費電力が大きいために、携帯情報端末（ＰＤＡ）または携帯電話のような小型で消費電力が低いデバイスには、レーザをベースとするバーコード・リーダをうまく内蔵させることができない。さらに、現在まで、走査デバイスの使用は、バーコードの読取りだけに制限されていて、読取り／抽出情報を利用することができない。

抽出した品目識別子および関連する品目情報の使用に関する現在の技術の詳細については、２００１年５月２日付けの「品目識別子を解釈するためのシステム」（SYSTEM TO INTERPRET ITEM IDENTIFIERS）（ＹＯＲ９０１０１１８）という名称の米国特許出願番号０９／８４７，７７９を参照されたい。この米国特許出願においては、品目識別子の画像を捕捉し、画像を中央サーバに送信するためにデジタル・カメラが使用されている。上記送信に応じて、中央サーバから品目情報が受信される。従来は大きなファイルであった画像情報を送信するために、ＪＰＥＧ、ＴＩＦＦおよびＧＩＦのような画像圧縮機構が開発されてきた。下記の参照文献は、従来技術レベルの例を記述している。その文献とは、１９９６年、カリフォルニア州所在のO’Reilly &Associates,Inc.社発行の、Ｊ．Ｄ．ＭｕｒｒａｙおよびＷ．ＶａｎＲｙｐｅｒｓの“Encyclopedia of Graphics File Formats”第２版である。

デジタル・カメラの出力は、通常、ＪＰＥＧ圧縮カラー画像である。主要な工業画像圧縮機構の１つであるＪＰＥＧは、自然の現実の世界のシーンの全カラーまたはグレイ・スケール画像を圧縮するために開発されたものである。ＪＰＥＧは、写真、自然主義のアートワークおよび類似の素材には非情に適しているが、レタリング、シンプルなマンガまたは線画の場合には最善の結果が得られない。ＪＰＥＧ圧縮プロセスは、「省略プロセス（lossy）」である。すなわち、解凍した画像は、元の画像と全く同じというわけではない。（省略を行わない画像圧縮アルゴリズムもあるが、省略を行わない圧縮方法と比較すると、ＪＰＥＧは遥かに大きな圧縮を行うことができる。）ＪＰＥＧは、人間の目の既知の限界、特に、輝度の小さな変化と比較すると、色の少しの変化に対する感度が低いという限界を利用するように設計されている。それ故、デジタル・カメラで捕捉した画像のような、人間が見る画像の圧縮の場合には、ＪＰＥＧは、デジタル画像を圧縮するために最も広く使用されている規格の１つである。

ＪＰＥＧの１つの有用な特性は、圧縮パラメータを調整することにより省略の程度を変化させることができることである。それ故、画像生成者は、例えば、画像アーカイブを索引付けする場合のように、画像の品質が低くてもかまわない場合には、非常に小さなファイルを生成することにより、出力画像品質に対してファイルのサイズのバランスをとることができる。逆に、もっと高い出力品質が必要な場合には、出力画像の品質を満足できるレベルに高めるために圧縮を調整することができる。

画像抽出のさらにもう１つの態様は、画像に追加される独立して生成された品目識別子であろうと、画像内容情報を含む品目識別子であろうと、ユーザが、興味のある画像情報を、以降の表示であれ、画像送信であれ、または画像処理であれ、このような以降の処理のための品目識別子としてどの情報が興味のある情報であるかを識別することができる選択権である。移動商取引の場合には、画像は通信の不可分な部分になってきている。しかし、各画像に含まれている情報のすべてが、移動用途の実行に対して、および／またはユーザ間での情報の共有（すなわち、例えば、ビデオ会議用途での共有画像の提示）にとって興味のあるものではない。大部分の画像圧縮技術は、用途に特有の要件に対して調整されていないので、これらの技術は、多くの場合、移動商取引用途に対して役に立たない。現在必要なのは、移動デバイスのユーザに対して、ある画像のどの部分が、その用途にとって重要な品目識別子であるのかを表示し、それにより、選択的処理（例えば、圧縮）を行うことができる方法であり、必要な画像データの送信をサポートするために、乏しい帯域幅リソースに優先順位をつける方法である。

移動画像デバイスのもう１つの問題は、現在の帯域幅は、ほとんどの場合、標準デジタル・カメラで捕捉した完全な品質画像を送信するのに不十分であるという問題である。圧縮していないこのような画像の大きさは、２ＭＢにもなることがあるが、圧縮すれば、２００ＫＢにすることができる。エラーのない送信をうまく行う９６００バイト／秒の普通に入手できる移動体通信接続を使用する場合でも、２００ＫＢの写真画像を送信するのに２２秒かかる。ビデオ・データを選択的に低減するための従来技術の方法としては、「画像内の重要性に基づいて可変サンプリングレートを使用するビデオ・データの選択的低減」（SELECTIVE REDUCTION OF VIDEO DATA USING VARIABLE SAMPLING RATESBASED ON IMPORTANCE WITHIN THE IMAGE）という名称の米国特許第６，３５６，６６４号などがある。上記米国特許の場合、可変サンプリングレートにより領域が選択的に低減される。しかし、従来の方法は、ユーザと会話するタイプのものではなく、画像データを除去したり、セグメントに分割したりしない。
米国特許出願番号０９／８４７，７７９ 米国特許第６，３５６，６６４号 O’Reilly & Associates,Inc.社発行の、Ｊ．Ｄ．ＭｕｒｒａｙおよびＷ．ＶａｎＲｙｐｅｒｓの"Encyclopedia ofGraphics File Formats"第２版

それ故、本発明の望ましい１つの目的は、選択した画像情報を選択的画像処理のための品目識別子として抽出するためのシステムおよび方法を提供することである。

本発明のもう１つの目的は、ＪＰＥＧ圧縮および送信の前に、低コストの低消費電力手段により、埋め込まれた画像情報を抽出することができる自動品目識別子抽出を提供することである。

本発明のさらにもう１つの目的は、ユーザがある画像内の関心のある画像領域を以降の処理のための品目識別子として指定することができるシステムおよび方法を提供することである。

上記およびその他の目的は、デジタル画像から選択した画像情報を入手し、その選択した画像情報を選択的処理のために供給するシステムおよび方法を提供する本発明により実現することができる。

ある態様の場合には、本発明は、デジタル・カメラにより捕捉した画像から自動的に品目識別子の位置を発見し、セグメントに分割する。位置が発見されセグメントに分割された品目識別子は、送信の前に予め処理することができる。画像内の品目識別子の位置が決定されると、ネットワークを通して送信する必要な実際の画像の大きさが小さくなる。その結果、抽出した画像情報、すなわち、抽出した画像情報の圧縮バージョンを、ネットワークを通して転送するために必要な時間も最低限度まで短くなる。一実施形態によれば、抽出された品目識別子画像は圧縮された画像であり、識別子をセグメントに分割した後で、ネットワークを通して（例えば、サーバに）送信する前に、もっと小さくなった識別子画像がさらにＪＰＥＧ圧縮される。

他の実施形態の場合には、本発明は、デジタル・カメラで捕捉した画像から意味のある情報を自動的に抽出するためのシステムを提供する。抽出した画像情報は、ある場所で（すなわち、デジタル・カメラのところで）処理することもできるし、または解釈および／または処理のために送信することもできる。それ故、次に、高価なカスタマイズされたレーザをベースとするリーダを使用しないで、バーコードのような品目識別子を解釈するために一般的デジタル・デバイスを使用することができる。このシステムは、画像内にいくつかのバーコードが存在する場合には、複数のバーコードの位置も抽出することができるという利点を持つ。画像内のバーコードの向きはどちらを向いていてもよく、システムはバーコードの向きを検出する。

さらに他の実施形態の場合には、より詳細な表示、処理、分析、送信等を容易に行うことができるようにする目的で、画像情報を抽出するために画像内の品目識別子をユーザの命令で識別することができる。バーコードまたは他の品目識別子は、送信のための画像からセグメントに分割することができるので、同様に、選択的圧縮および／または選択的送信のために、識別した画像領域識別情報もセグメントに分割されるか、またはメタデータとして追加される。

以下の説明を読めば明らかになるこれらおよび他の利点および機能により、また、下記の詳細な説明および添付の図面を参照すれば、本発明の性質をもっと完全に理解することができるだろう。

図１は、本発明用の処理環境のトポロジー的な図面である。画像１１０は、携帯電話１２１、または他のデジタル通信デバイス（例えば、ＰＤＡ）に取り付けられているか、または内蔵（図示せず）されているデジタル・カメラ１２０により捕捉することができる。画像１１０から抽出された画像情報は、携帯電話１２１または他のデジタル通信デバイスからサーバ１３０に送られる。図では、接続は直接接続になっているが、接続はネットワークを通しても、インターネットを通しても、また、ＩＳＰ等を通しても確立することができる。デジタル・カメラは、携帯電話または、他のデジタル通信デバイス内に追加部品として配置することができる。図の例の場合には、画像１１０は、図形画像構成要素１１１、テキスト画像構成要素１１３、およびバーコード画像構成要素１１５を含む３つの種類の画像情報を有する文書からなる。デジタル・カメラ１２０は、画像１１０から画像情報の全部または選択した部分を捕捉することができる。本発明のある実施形態の場合には、バーコード１１５のような、独立して生成され、追加された品目識別子である「選択した」画像情報は自動的に位置決めされ、画像から抽出される。他の実施形態の場合には、ユーザは、画像領域（例えば、図形画像構成要素１１１の一部）を以降の処理のために選択した品目識別子画像情報として識別する。選択した品目識別子画像情報の処理は、カメラ／通信デバイスのところでも、通信デバイスからサーバに選択した画像情報を送った後で、サーバ１３０のところでも、選択した画像情報または上記の組合わせの位置を識別するための座標または他の情報を送った後で、サーバのところでも実行することができる。処理は、コード化された情報の解読、座標処理、送信のための圧縮のような画像処理、対象物の識別、用途依存処理（例えば、データベース参照および応答）等を含むことができる。図２〜図１１を参照しながら、画像構成要素の異なる処理について詳細に説明する。

図２は、デジタル・カメラで捕捉することができる画像に内蔵されているか、そうでない場合には画像に添えられているか、画像の一部である品目識別子画像構成要素を処理するためのプロセス・ステップの流れ図である。最初に、ステップ２２１において、品目識別子の画像が捕捉される。品目識別子は、無線デバイスに内蔵されているデジタル・カメラ、または、任意のフォーマット（例えば、ＪＰＥＧ、ＲＧＢ（赤、緑、青）などのカラーをベースとするフォーマット、および輝度をベースとするフォーマット）でデジタル画像を捕捉するための任意の現在のまたは将来の周知のデバイスにより捕捉することができる。品目識別子は、すでに説明したように、バーコード、画像、または画像の一部、品目の一部、顔、パターン、カラー、またはテクスチャを含むが、これらに限定されない品目対象物、または画像対象物を識別するために使用することができる任意の他の検出することができるテキストでない画像情報を含むことができる。品目識別子は、品目上、品目の包装上または内部、品目に対する販売促進申込み、巡回印刷物、製品表示、または識別子の画像を捕捉することができる任意の他の媒体上に位置させることができる。この点に関して、本発明による品目は、製品、サービス、イベント、画像、ウェブサイト、位置、生物（例えば、動物または人物）、またはそれに対する情報を入手することができる任意の他のエンティティを含むことができる。

ステップ２２２において、品目識別子の位置が、以下に詳細に説明するように、自動的にまたはユーザの指定により検出される。品目識別子の位置を検出した後で、ステップ２２３において、品目識別子は選択的に処理される。選択的処理は、抽出を含むことができ、この抽出により、識別子全体を含む最小の画像を、画像から抽出することができる。図３〜図６を参照しながら、代表的な抽出技術について以下に詳細に説明する。画像情報は、ステップ２２３において、サーバに送信することにより処理することができる。例えば、ステップ２２１において使用するデジタル・カメラは、抽出した画像を画像処理のために遠隔装置、サーバ１３０に送ることができる。このような処理は、また、製品識別子に関連する品目情報を決定するための品目識別子の解読、または品目に関する追加情報を入手するための、サーバ１３０からの遠隔ウェブサイトへのアクセスを含むことができる。追加の処理は、関連のない（または、ユーザが指定したのではない）画像情報の除去、画像情報の整合、関連画像情報の先鋭化、および黒白変換を含むことができる。さらに、処理は、品目識別子画像部分と一緒に、座標、注釈付け（例えば、品目識別子を丸で囲む）、支配的な向きに関する情報等のようなメタデータの関連付けを含むことができる。メタデータは、品目識別子画像部分に内蔵させることもできるし、重畳させることもできるし、透かしとして追加することもできるし、画像ファイルに付け加えることもできるし、または他の方法としては、品目識別子に関連付けることもできる。

デジタル・カメラに関連するデジタル通信デバイスのところで使用することができる処理機能により、抽出した画像のある処理を送信の前に行うことができる。例えば、ＪＰＥＧ圧縮技術または他の圧縮技術は、サーバに抽出した画像を送信するために必要な帯域幅を低減するために適用することができる。ある場所での品目識別子の全部または一部の解読も、そのような機能を使用できる場合には、カメラまたはデジタル通信デバイスにより行うことができる。デジタル通信デバイスが、接触情報を入手するために抽出した品目識別子を解読できる場合には、デジタル通信デバイスは、品目に関する追加情報を入手するために、連絡先と直接通信することができる。

図３は、画像からの周知のタイプの品目識別子、すなわち、バーコードに対して、ステップ２２２の位置発見および抽出を行うためのある方法に対するプロセス・ステップの流れ図である。もちろん、任意の他のタイプの自動検出可能な識別子に対して類似のプロセスを使用することができる。ステップ３３１において、バーコード識別子構成要素／ソフトウェアがバーコードの画像を受信する。バーコード識別子構成要素は、捕捉デバイス（例えば、カメラ）に内蔵させることもできるし、デジタル通信デバイス（例えば、電話またはＰＤＡ）に内蔵させることもできるし、または追加の周辺機器（図示せず）に内蔵させることもできる。画像は、図２のステップ２２１により画像を捕捉するデジタル・カメラのようなデバイスから受信され、次に、バーコード識別子システム／ソフトウェアによる処理のために捕捉した画像を供給する。この画像は、任意の方向を向いているバーコードを任意の倍率で含むことができる。ある実施形態の場合には、図４を参照しながら以下にさらに詳細に説明するように、１つの画像内に複数のバーコードが存在する。さらにもう１つの可能性としては、画像内または上の１つまたはそれ以上の位置に部分バーコードを置くことができる。

ステップ３３２において、所定の固定角に対するバーコードの向きが決定される。ある実施形態の場合には、固定の向きは、垂直方向に維持されるので、向きが決定された後で、バーコードのバーは垂直方向を向くことになる。もちろん、バーコードは、任意の他の固定の方向に向けることもできる。異なる向きの品目識別子を解読する品目認識装置、すなわち、デコーダの機能により、バーコードを必要な方向に向けることができる。品目デコーダの周知の実施形態は、垂直方向から品目識別子を認識する。複数のバーコードが存在し、異なる方向を向いている場合には、画像をそれぞれを別々に処理して、小さな部分に分割することができる。別の方法としては、各バーコードの位置を識別し、画像をもっと小さな部分に分割するために使用することができる。各プロセスが、特定の角度のバーコードを探すように、各向きの角度に対して専用プロセスにより並列処理を行うことができる。図５を参照しながら、向きを決定するための代表的なプロセスの流れについて以下に詳細に説明する。

向きが決定すると、ステップ３３３においてバーコードの位置が発見される。バーコードは、捕捉した画像内の任意の場所に位置することができる。すでに説明したように、ある実施形態の場合には、１つの画像内に複数のバーコードが存在する場合がある。図６は、識別子／バーコードの位置を決定するための代表的なプロセスの流れである。１つの方法は、バーと、バーコードの位置を決定するために、バーコード全体内に入れることができる最小境界長方形の向きを使用する方法である。他の方法の場合には、バーコードの左上の縁部を、バーコードの位置を決定するファインダ内のガイド・マークと整合させて、特定の整合に沿ってバーコード画像を捕捉することができる。さらに他の実施形態の場合には、バーコードの中心が、バーコードの位置を決定するためのファインダ（例えば、中央のバーコードだけが識別される）の中心と整合している。さらに他の実施形態の場合には、捕捉した画像上の縁部検出を使用し、それにより、最初検出した長い垂直縁部が、バーコードに対する位置マーカとして使用される。

ステップ３３４において、捕捉した画像からバーコードがセグメントに分割される。セグメントへの分割は、新しい画像を生成する目的で、元の画像の最小境界長方形（ＭＢＲ）内に含まれている部分をコピーするために、位置情報およびＭＢＲを使用することにより行うことができる。セグメント分割の結果として、新しい画像は、背景から除去した必要なバーコードだけを含む。そのため、ネットワークの端部に転送するために必要な画像の大きさは最小になる。セグメント分割の後で、セグメント分割されたバーコードを含む新しい画像を、ステップ３３５において、サーバ１３０に送ることができる。すでに説明したように、デジタル通信デバイスは、圧縮するか、または、そうでない場合には、送信の前に画像情報をコード化するなどして、セグメントに分割された画像を予め処理することができる。追加としてすでに説明したのは、外部のエンティティと通信する前に、任意のコード化された情報の全体または部分的なある場所での解読を行うためのオプションである。このようなことが可能であることはハッキリしているが、現在の携帯デジタル通信デバイスにおいては、制限された処理機能が与えられることはまずない。

図４は、ある画像での複数のバーコード識別子を識別し、セグメントに分割するための代表的なプロセスの流れである。ステップ４３１において、デジタル画像捕捉デバイスからバーコードを含む画像を受信する。図３の処理のように、画像内のバーコードの向きがステップ４３２において決定される。バーコードの位置はステップ４３３において決定される。バーコードはステップ４３４においてセグメントに分割され、情報がステップ４３５において送信される。しかし、この時点では、バーコード識別子構成要素は、画像の処理を止めない。ステップ４４０において、処理するバーコードが他にあるかどうかの判断が行われる。システムは、ステップ４３２において計算した縁部情報を分析することにより、他にバーコードがあるかどうかを判断することができる。他のバーコードがない場合には、システムは抜け出す。しかし、他のバーコードを検出した場合には、バーコード識別子構成要素は、最初に、連続している画像を生成するために、もとの画像から前にセグメントに分割されたバーコードを除去し、次に、ステップ４３２〜４３５を反復することにより、連続している画像を処理する。ローカル構成要素の記憶機能および送信機能により、図４のプロセスの流れを、バーコードのすべてが処理されるまでセグメントに分割されたバーコードをセーブし、次に、ステップ４４０において他にセグメントに分割されていないバーコードが画像内に残っていないと判断された場合、すべてのバーコードを送信するように変更することができる。

図５は、向きを判断するステップ３３２の特定の実施形態である。カメラから受信した画像は、デジタル・カメラ・デフォールト圧縮オプションにより、例えば、ＪＰＥＧフォーマットに圧縮することができる。この圧縮は、ＪＰＥＧでも、ＴＩＦＦでも、ＧＩＦでも、または、任意の他の規格または専用の圧縮技術であってもよい。

画像を圧縮モードで受信した場合、好適な実施形態の場合には、解凍は、処理を行うことができるようになる前に行わなければならない。この解凍を行うアルゴリズムは、移動デバイス上のライブラリの一部とすることもできるし、構成時に移動デバイス内にロードすることもできるし、または必要な時にロードすることもできる。アルゴリズムへのアクセスは、ネットワーク（例えば、無線ＬＡＮまたはＷＡＮ）を通して行うこともできるし、または取外し可能な媒体（例えば、メモリ・スティック、フラッシュ・カード）により行うこともできる。もう１つの好適な実施形態の場合には、画像は単に圧縮された形で分析される。

ステップ５５１において、受信した画像は、解凍され、グレイのシェードだけを含むグレイ・スケール・ラスタ・イメージに変換される。図７においては、バーコードを含むグレイ・スケール画像の１つの表示を画像７１０として示してある。グレイ・スケール画像が入手することができるようになると、ステップ５５２において、所与の画像から縁部が抽出される。縁部は、縁部画像と呼ばれる別の画像内に記憶され、以降の処理のために使用される図７の品目７２０により表示される。縁部抽出プロセスの一例は、画像から縁部を抽出するためのキャニ・フィルタ（Canny filter）のような縁部抽出フィルタの適用を含む。もちろん、ステップ５５２において縁部を抽出するために、任意の他の画像処理アルゴリズムを使用することもできる。ステップ５５３において、これら縁部の支配的な向きが計算される。支配的な向きの計算は、縁部の画像を周波数領域に投影し、縁部の画像からハフ空間（Hough space）を生成するか、または他の周知の画像処理技術により行うことができる。ハフ変換による支配的な向きの抽出に対する代表的なステップについてここで説明する。同じ長さのまっすぐなラインからなるバーコード内のバーの規則性および一貫した向きが、識別子画像構成要素の支配的な向きを発見するために使用される。縁部は、ｒ−θハフ空間内に投影され、バーコード・パターンに非常に適している新規なアプローチが使用される。縁部を抽出した画像内の各点は、直線変換によりハフ空間内に曲線を描く。バーコードの１本のバーの縁部を形成しているような、縁部を抽出した画像のバー内のすべての対応する部分が同一線形順序で並んでいる点の場合には、これらの曲線はハフ空間内の特定の点のところで交差する。すべての曲線のこの交点は、縁部画像内のすべての対応する部分が同一線形順序で並んでいる点が存在する直線の共通の勾配・切片形式に対応する。その結果、画像内の各直線または縁部は、ハフ空間内の一点にマッピングし、その点の輝度は、その直線上に位置する点の数の基準になる。ハフ空間は、それぞれｒ軸およびθ軸上の単位ピクセル切片および単位度の量子化によりサンプリングされる。このハフ空間内のサンプリングした各セル内の点の数は維持される。画像の個々の性質によるノイズを平滑にするために、勾配（すなわち、θ）軸を横切るハフ空間には、ガウスかすみ関数（Gaussian blurring function）が適用される。それ故、勾配がθの直線の始めになる縁部の点も、θ±δという勾配を持つ直線の数に入る。ハフ変換セルの数のピークは、縁部抽出画像内の支配的な直線に対応する。ピークの上の部分８０％だけが、支配的な向きを決定するために保持される。向きを発見するための簡単なアプローチは、異なる角度に対するピークの合計の最大値を発見するという方法である。合計の最大値に対応する角度が支配的な向きであると予測される。画像が他の直線を含む散乱した背景を持つ場合には、上記アプローチは大体正確であるが、アルゴリズムにより、バーコードの支配的な向きではなく、もっと支配的な背景に関連する向きを計算することができる。バーコードの規則的なパターンは、この問題を軽減するために使用される。

バーコードの正確な向きを推定するために、一連の決定ステップが使用される。ピークの合計の最大値を発見する他に、角度ピークの規則性の良さの基準も特定の角度に対して計算される。所与の向きに対する隣接ピーク間の分離距離が計算され、最も頻繁に現れる分離距離の頻度数が、特定の向きの信頼性の基準として使用される。このことはバーコード設計を念頭において行われる。バーコードの隣接する実線のバー間の距離は、それらの間のある最小の共通の距離の倍数であるので、この距離が角度ピーク間の空間として現れるものと予想される。ピークの合計およびこの信頼性の基準は、もとの画像の規則的な構造に対応する画像要素の支配的な向きを発見するために使用される。

図６の場合には、図３のステップ３３３が、画像内のバーコードの正確な位置を決定するために念入りに調整される。ある実施形態は、ステップ６６１に示すように、向きを決定する際にどのピクセルが貢献したのかを決定するために、ステップ５５３において計算した支配的な向きに関する情報を使用する。これらは、図８の品目８１０に示すように、バーコードの位置を決定するために、以降のステップにおいて考慮に入れなければならないピクセルである。システムのある実施形態の場合には、連鎖プロセスにより、ステップ６６１において識別したピクセルから隣接するピクセルが選択される。連鎖プロセスにより、すべてが同じ直線に沿って位置するステップ６６１において識別したピクセルに対する隣接する縁部ピクセルを決定することができる。ある実施形態の場合には、同じ縁部に沿って位置する隣接ピクセルを決定するために、縁部追跡プロセスを使用することができる。ステップ６６２において、残りのピクセルから直線縁部が選択され、規則的なパターンを形成していないバーコードの縁部以外の縁部から孤立ピクセルが除去される。画像８１０を形成するために、このステップにおいて直線バーを含むすべての１つの次元のバーコードがふるい落とされる。

ハフ変換による画像内のバーコードの向きを決定するための詳細なステップについて説明すると、バーコードの位置を発見するために、その近隣情報（バー間の空間）と一緒にバーの垂直方向の冗長性（反復）が使用される。

縁部抽出画像により、その点が、ハフ空間内の正しい向きのピークに貢献したかどうかによりマスクが生成される。それ故、バーコードの縁部に貢献したすべての点もマスク内に含まれる。目的は、最終的に、残りの点上に境界ボックスを生成することにより、容易にセグメントに分割できるバーコードだけが残るように、連続ステップによりマスクから点を除去することである。

多くのバーコードは、テキスト文字の縁部の誤った検出を行うその周囲のテキストと一緒に印刷される。バーコードと一緒にテキストを含む最も可能性の高い例は、ＵＰＣコードの場合の製品ラベル、およびＩＳＢＮコードが、ＥＡＮ１３によりコード化される本の裏表紙上の文字による説明からのものである。バーコードの長さは、背景のテキストの縁部からバーコードの縁部を区別するために使用される。バーコード・パターンは、特定の方向を向いている複数の垂直なラインからなる。画像の向きを決定した後で、連鎖アルゴリズムにより、しきい値より長い直線の発生が発見される。マスク上の所与の任意の点には、推定した向きと同じ方向のその近隣のものと対応する部分が同一線形順序で並んでいる点のある最小の数が存在しなければならない。これらの最小同一線形順序で並んでいる近隣基準を満足しない点は、マスクから除去される。一般的に、バーコードは、対象物の面境界付近に位置していて、縁部の長さはバーコードの長さより長いので、多くの場合、縁部は、連結ステップにおいてバーコードと一緒にふるい落とされる。しかし、これらの縁部は、多くの場合、独立していて、バーコードとは異なり、近隣にもう１つの類似の縁部を持たない。バーコードの向きと同じ方向を向いていないすべての縁部は、すでに除去されている。しかし、除去しなければならない、バーコードに平行ないくつかの長い縁部が依然として残っている。この問題を軽減するために、近隣基準により特異（孤立）縁部を除去することができる。バーコードの向きに直角な方向に十分な数の近隣を持っていない場合には、マスクからの点は除去される。

ステップ６６３において、バーコード全体を含むことができる最も小さい長方形が、図９の品目９１０で示すように計算される。これは、また、バーコードを含むことができるセグメントに分割された画像の最小の大きさでもある。この計算を行う１つの方法は、最小境界長方形を発見するために、ステップ３３２において計算した支配的な向き情報、および隣接ピクセル位置を使用する方法である。最小境界長方形の縁部の中の１つは、ステップ３３２において計算した支配的な向きの方向と同じ方向を向くことができることに留意されたい。ステップ６６３においてこのようにして入手した最小境界長方形は、バーコード全体を含むもっと小さな画像を生成するために使用することができる。縁部を抽出した画像の大きさは、正確にもとの捕捉した画像に対応する。最小境界長方形の位置も、元の画像内の実際のバーコードの位置と同じである。図９の品目９２０により示すように、もとの画像からのバーコードをもっと小さな画像にセグメント分割するために補間を使用することができる。ステップ６６４において、バーコードがもとの画像からセグメント分割され、以降の処理のために使用できるようになる。ある実施形態の場合には、バーコードの一番左のバーおよび一番右のバーを識別することができ、そのｘおよびｙ座標を、バーコードが占める最小領域を計算するために決定することができ、領域情報をバーコードをセグメント分割するために使用することができる。バーコードの向きおよび位置が決定されると、マスクの残りの点上の最大境界および最小境界が計算され、バーコードの中心が計算される。バーコードと同じ方向を向いている正確な境界ボックスを決定するために、水平方向を向いている境界ボックスの向きの角度および大きさにより、アフィン変換を行うことができる。これは、バーコードに対する最小境界長方形である。計算済みの最小境界長方形によりバーコードをセグメント分割するために、もとの画像上で２本の線の補間を使用することができる。頭部を切除したバーコードは、ファイルの大きさを最も小さくするためにＪＰＥＧ圧縮され、次に、バーコード認識エンジンによるバーコード記号識別のために必要な場合には、ネットワークを通して送信することができる。

図７は、本発明の一実施形態で使用する、図５のところで説明した縁部抽出プロセスの代表的な図面である。縁部抽出の前に、ステップ７１０において、最初のグレイ・スケール画像が表示される。キャニ・フィルタまたは他の縁部抽出技術を通過した後で、ステップ７２０に示す結果として得られる画像が支配的な向きを決定し、次に、バーコードの位置または他の識別子画像構成要素を決定するために分析される。図８は、図５のところで詳細に説明した本発明のある実施形態で使用する支配的な向きを決定するためのプロセスの代表的な図面である。縁部抽出ステップが画像７２０を出力した後で、縁部の支配的な向きを決定するために、結果として得られた画像が分析される。バーコードの図の例の場合には、縁部が規則的であり、コンパクトであるので、支配的な向きを容易に決定することができ、また、グレイ・スケール画像を、ステップ８１０に示す画像に容易にすることができる。この場合、支配的な方向を向いている隣接縁部ピクセルだけを図示してある。図を見ればハッキリ分かるように、同様に、支配的な向きに沿って位置する縁部抽出グレイ・スケール画像７２０のテキスト部分には多数の縁部構成要素が存在する。これらのいわゆる孤立縁部は、品目識別子の位置を発見するための情報を含んでいるとは見なされない。品目識別子がバーコードでなく顔である場合には、顔のＭＢＲの位置を発見し決定するために、また、顔だけを含むもっと小さな画像を得る目的で、画像内の顔をセグメント分割するために周知の顔抽出アルゴリズムが使用される。最後に、バーコードに対する最小境界長方形（ＭＢＲ）の代表的な図面である、図９の画像９１０内に示すように、位置を発見したバーコードに対する最小境界長方形が決定される。ＭＢＲを決定した場合には、画像の残りの部分からバーコードを抽出またはセグメント分割するために、バーコード・セグメント分割プロセスを実行することができる。

すでに説明したように、もとの画像からバーコードまたは他の品目識別子が抽出されると、ソース、コスト、連絡情報等のような品目情報を決定するためのバーコードの解読のような処理のために、そのセグメント分割された情報をサーバに送信することができる。サーバは、品目情報を解読し、次にその情報を表示のためにデジタル通信デバイスのユーザに送ることができる。解読した品目識別子が、さらに、ウェブ・アドレスのような連絡情報を含んでいる場合には、サーバは、ユーザ用のウェブ・アドレスに連絡することができるし、または単にユーザにその連絡情報を返送することができる。その後で、ユーザは、追加の品目情報を直接入手するために、その連絡情報を使用する。デジタル・カメラまたはデジタル通信デバイスが強化処理機能を持っている場合には、ローカル的にユーザに対して品目識別子を解読することができる。デジタル・カメラが、ＪＰＥＧのようないくつかの画像圧縮機能を持っている場合には、セグメントに分割された品目識別子を、利用できる帯域幅により送信するために圧縮することができる。別の方法としては、またはさらに、デジタル通信デバイスは、送信の前に画像情報を前処理するための、およびサーバから受信した情報を解読するための圧縮ソフトウェアを持つことができる。

場合によっては、入手できる画像が、バーコードまたは他の検出できる構造の品目識別子を含んでいないこともある。これらの場合には、デジタル・カメラは、どの画像情報が、ユーザまたはユーザ・グルーブに対して興味のあるものなのか、またはさらに使用できるものなのかを区別できない場合がある。このような場合、本発明は、さらに、ユーザに対して、画像と相互作用を行う機能、およびどの画像情報が以降の表示および／または処理に対する品目識別子として興味があるのかを指定するための機能を供給する。簡単な例としては、複数のバーコードにより複数の品目が表示される例がある。図４のところですでに詳細に説明したように、画像の再帰的な処理ではなく、ユーザが、どの画像構成要素（例えば、製品のカタログのページ上のどの事務製品）に興味があるのかを指定することができれば、計算上さらに効率的である。もう１つの例は、複数のユーザが遠隔地からの画像を全員で表示し、「ホワイトボード」に丹念に変更を行う会議がある。ユーザの中の１人がさらに、表示、変更、圧縮、送信、解読等（以後、まとめて「処理」と呼ぶ）を行うために、特定の画像情報を分離したい場合には、ユーザは、以降の処理のために興味がある画像領域を表示することができる。通常、限られた帯域幅を持つ接続を通して送信するには、画像ファイルの量が非常に多いということが分かっているので、ユーザが指定した品目識別子だけを選択的に圧縮すれば、関連画像情報の送信の品質および速度は改善する。

図１０は、選択的画像処理のための品目識別子として選択した画像領域のユーザ指定識別のためのプロセス・ステップの流れ図である。デジタル・カメラおよびデジタル通信デバイスが設置されている送信側においては、ステップ１０２１おいて、画像が最初自動的にまたはユーザの指示により捕捉される。次に、ステップ１０２２において、画像が、すでに説明したように、再度ユーザまたは恐らく走査／抽出デバイスによりチェックされる。ステップ１０２３において、画像内の興味のある領域が指定される。自動抽出の場合であって、画像内に検出可能な画像構成要素または品目識別子が位置している場合には、このステップは上記の処理を含むことができる。このような検出可能な画像構成要素が存在しない場合には、ユーザは興味のある領域を表示することができる。ユーザ入力は、ワンド・アタッチメント、タッチスクリーン、トラックポイント、マウス、トラックボール、キーボード、または座標情報を受信するためのタッチパッド、音声認識システム、画像認識システム等のような種々の方法で供給することができる。選択領域は画像に内蔵させることもできるし（例えば、ラインを引くことができるし、強調を追加することができる等）、画像ファイルに関連する別のメタデータ・ファイル（例えば、画像座標を含む）として生成することもできる。興味のある領域が指定されると、ユーザが座標を供給していない場合には、指定の品目識別子領域に対して座標を決定することができる。それ故、座標を決定し、メタデータを生成し、指定の画像情報をセグメント分割し、指定されなかった情報を除去し、画像を圧縮する等を行うために、デジタル・カメラ、表示構成要素、またはデジタル通信デバイスのところで、オプションとしての処理ステップまたは一連のステップ（図示せず）を実行することができる。最後に、ステップ１０２５において、品目識別子画像情報が送信される。送信される品目識別子画像情報は、もとの画像からの興味のある圧縮されていない指定の領域であってもよいし、画像の興味のある指定領域の圧縮バージョンであってもよいし、指定された画像の領域に関する座標情報であってもよいし、指定領域に関するメタデータであってもよいし、または上記の組合わせであってもよい。

圧縮プロセスが必要な場合には、もとの画像の選択部分および選択しなかった部分を異なる方法で処理することができる。ユーザが興味のある選択領域だけを必要とし、選択しなかった画像情報をこれ以上必要としない場合には、選択しなかった部分を除去し、選択した部分を送信のために圧縮することができる。別の方法としては、選択した部分に、所定のまたは選択の時点でユーザが指定したある割合で、リソースの使用に対する優先順位を与えることができる。例えば、帯域幅のリソースの８０％を、選択した品目識別子画像部分の送信のために割り当て、残りの画像部分をもっと低い優先順位に基づいて送ることができる。また、選択したおよび選択しなかった画像部分に異なる圧縮レベル、または技術を適用することができる。一例としては、バーコード認識を行う移動用途の場合には、カラー・カメラがその画像を捕捉した場合でも、白および黒を保存する圧縮を使用することができる。その結果、画像から突出した情報が認識のために保持される。

図１１は、システムの受信側（すなわち、サーバ１３０）のところの移動商取引用途（例えば、ビデオ会議）のための選択的画像処理のプロセス・ステップの流れ図である。ステップ１１０１において、サーバは、デジタル通信デバイスから品目識別子画像情報を受信し、ステップ１１０２において、指示された興味のある領域と一緒に画像を表示する。このステップの後で、確認ステップ（図示せず）を行うことができる。この場合、ユーザは、表示された画像をチェックし、興味のある表示領域が、ユーザが指定しようとした興味のある領域であることを確認する。その後で、ステップ１１０３において、サーバは、修正した画像をセーブし、ステップ１１０４において、興味のある領域の表示をセーブし、必要な場合には、それを将来の検索のために画像と関連付ける。選択しなかった領域は、そうしたい場合には除去することができる。

本発明を使用すれば、いくつかの新しいビジネスの方法が可能になる。最初のビジネスの実施としては、本発明を、連続している共同ヘルプ・デスクを動作するために使用することができる。画像がヘルプ・デスクの一部である場合、または他の呼出しセンター用途の一部である場合には、本発明を使用すれば、ヘルプ・デスクは、共有画像との相互作用ヘルプのサービスを提供することができる。すなわち、発呼者側および呼出しセンター代表は、ある画像について議論し、画像上の興味のある領域に焦点を当てたり、またはズームしたり、または相互作用により画像を変更することができる。

相互作用テキストおよび画像チャットも、本発明により強化することができる。ＳＭＳを通してのテキスト・チャットは、音声化を行わないでより完全な通信および共有を行うために、相互作用画像を追加することにより増大することができる。画像は、言語障壁および他の通信の問題を克服する助けになることができる。さらに、ホワイトボードの共同機能の相互作用により当事者間の通信が豊かになる。

本発明のさらにもう１つの用途は、サービス・プロバイダが画像の選択的圧縮を供給することができるようにすることである。例えば、小売り環境においては、このサービスを提供するサーバをキオスクに設置することもできるし、ブルートゥース（Bluetooth）（商標）接続により、カメラまたはデジタル通信デバイスに画像サービスを供給することもできる。それ故、会議の出席者は、販売業者の製品のバーコードの画像を捕捉し、ファインダ上の興味のある領域（コンベンション・センターの背景とは別のバーコードなど）を表示し、それを（圧縮して、または圧縮しないで）中央のバーコード認識エージェントに送ることができる。

いくつかの好適な実施形態を参照しながら本発明を説明してきたが、当業者であれば、添付の特許請求の範囲に記載する本発明の精神および範囲から逸脱することなしに、他の種々の変更および実施を行うことができることを理解することができるだろう。

まとめとして、本発明の構成に関して以下の事項を開示する。

（１）デジタル画像捕捉デバイスのところで画像を処理するための方法であって、
少なくとも１つの品目識別子を含む画像を捕捉するステップと、
前記少なくとも１つの品目識別子の位置を発見するステップと、
前記少なくとも１つの品目識別子を選択的に処理するステップとを含む方法。
（２）前記位置を発見するステップが、前記少なくとも１つの品目識別子の位置を自動的に決定するステップを含む、上記（１）に記載の方法。
（３）前記位置を発見するステップが、前記画像から少なくとも１つの品目識別子を抽出するステップをさらに含む、上記（２）に記載の方法。
（４）前記少なくとも１つの品目識別子がバーコード情報を含む、上記（２）に記載の方法。
（５）前記選択的処理が、前記バーコード情報を解読するステップを含む、上記（４）に記載の方法。
（６）前記位置を発見するステップが、前記バーコード情報の支配的な向きを決定するステップをさらに含む、上記（４）に記載の方法。
（７）前記位置を発見するステップが、前記バーコード情報の位置を発見するために、前記画像から縁部を抽出するステップをさらに含む、上記（４）に記載の方法。
（８）前記画像から前記品目識別子をセグメントとして分割するステップをさらに含む、上記（２）に記載の方法。
（９）前記セグメント分割ステップが、前記品目識別子に対して最小境界長方形を計算するステップを含む、上記（８）に記載の方法。
（１０）前記画像からセグメントに分割されていない情報を除去するステップをさらに含む、上記（８）に記載の方法。
（１１）前記選択的処理が、前記品目識別子を遠隔地に送信するステップを含む、上記（３）に記載の方法。
（１２）前記選択的処理が、前記品目識別子の座標を決定するステップを含む、上記（２）に記載の方法。
（１３）前記選択的処理が、前記座標を遠隔地に送信するステップをさらに含む、上記（１２）に記載の方法。
（１４）前記選択的処理が、前記少なくとも１つの品目識別子を選択的に圧縮するステップを含む、上記（３）に記載の方法。
（１５）前記選択的に圧縮した少なくとも１つの品目識別子を送信するステップをさらに含む、上記（１４）に記載の方法。
（１６）前記選択的処理が、前記少なくとも１つの品目識別子に関するメタデータを生成するステップを含む、上記（１）に記載の方法。
（１７）前記選択的処理が、前記メタデータを前記少なくとも１つの品目識別子と関連付けるステップをさらに含む、上記（１６）に記載の方法。
（１８）前記選択的処理が、前記少なくとも１つの前記メタデータ、および前記少なくとも１つの品目識別子を遠隔地に送信するステップをさらに含む、上記（１７）に記載の方法。
（１９）前記位置を発見するステップが、前記少なくとも１つの品目識別子の位置に関するユーザ入力を受信するステップを含む、上記（１）に記載の方法。
（２０）前記ユーザ入力が、座標情報、向き情報、および複数の品目識別子の中からの少なくとも１つの品目識別子の指定のうちの少なくとも１つを含む、上記（１９）に記載の方法。
（２１）前記選択的処理が、前記座標情報を遠隔地に送信するステップをさらに含む、上記（２０）に記載の方法。
（２２）前記ユーザ入力が、ワンド・アタッチメント、タッチスクリーン、トラックポイント、マウス、トラックボール、キーボード、タッチパッド、および音声認識システムのうちの少なくとも１つにより前記品目識別子を表示するステップを含む、上記（１９）に記載の方法。
（２３）前記位置を発見するステップが、前記画像から少なくとも１つの品目識別子をセグメントとして分割するステップをさらに含む、上記（１９）に記載の方法。
（２４）前記少なくとも１つの品目識別子がバーコード情報を含む、上記（２３）に記載の方法。
（２５）前記選択的処理が、前記バーコード情報を解読するステップを含む、上記（２４）に記載の方法。
（２６）セグメントに分割されていない画像情報を除去するステップをさらに含む、上記（２３）に記載の方法。
（２７）前記選択的処理が、前記少なくとも１つのセグメント分割された品目識別子を遠隔地に送信するステップを含む、上記（２３）に記載の方法。
（２８）前記選択的処理が、送信の前に前記少なくとも１つの品目識別子を圧縮するステップをさらに含む、上記（２７）に記載の方法。
（２９）デジタル画像を処理するためのシステムであって、
少なくとも１つの品目識別子を含むデジタル画像を捕捉するための画像捕捉デバイスと、
処理構成要素とを備え、該処理構成要素が、
前記少なくとも１つの品目識別子の位置を決定するための品目識別子位置発見構成要素と、
前記少なくとも１つの品目識別子を選択的処理するための少なくとも１つの品目識別子処理構成要素とを備えるシステム。
（３０）前記品目識別子位置発見構成要素が、前記少なくとも１つの品目識別子の位置を自動的に発見する手段を備える、上記（２９）に記載のシステム。
（３１）前記品目識別子位置発見構成要素が、前記少なくとも１つの品目識別子を指定するユーザ入力を受信するための少なくとも１つのユーザ入力受信機を備える、上記（２９）に記載のシステム。
（３２）前記少なくとも１つの品目識別子処理構成要素が、前記少なくとも１つの品目識別子を遠隔地に送信するための送信機を備える、上記（２９）に記載のシステム。
（３３）前記少なくとも１つの品目識別子処理構成要素が、前記少なくとも１つの品目識別子を送信のために圧縮するための圧縮手段を備える、上記（２９）に記載のシステム。
（３４）前記少なくとも１つの品目識別子処理構成要素が、前記少なくとも１つの品目識別子に対するメタデータを生成するためのメタデータ生成構成要素を備える、上記（２９）に記載のシステム。
（３５）デジタル画像を処理するためのデジタル・カメラであって、
少なくとも１つの品目識別子を含むデジタル画像を捕捉するための画像捕捉デバイスと、
処理構成要素とを備え、該処理構成要素が、
前記少なくとも１つの品目識別子の位置を決定するための品目識別子位置発見構成要素と、
前記少なくとも１つの品目識別子を選択的処理するための少なくとも１つの品目識別子処理構成要素とを備えるデジタル・カメラ。
（３６）デジタル通信デバイスであって、
少なくとも１つの品目識別子を含むデジタル画像を捕捉するための画像捕捉デバイスと、
処理構成要素とを備え、該処理構成要素が、
前記少なくとも１つの品目識別子の位置を決定するための品目識別子位置発見構成要素と、
前記少なくとも１つの品目識別子を選択的処理するための少なくとも１つの品目識別子処理構成要素とを備え、さらに、
画像情報を遠隔地に送るための送信機手段を備えるデジタル通信デバイス。
（３７）機械に、デジタル画像捕捉デバイスのところで画像を処理するための方法を実行させるために、命令のプログラムを明白に実施する前記機械が読むことができるプログラム記憶装置であって、前記方法が、
少なくとも１つの品目識別子を含む画像を捕捉するステップと、
前記少なくとも１つの品目識別子の位置を発見するステップと、
前記少なくとも１つの品目識別子を選択的に処理するステップとを含むプログラム記憶装置。

本発明の実施形態による環境の図面である。 本発明による画像内の品目識別子を処理するためのプロセス・ステップの流れ図である。 画像内に存在するバーコード識別子をセグメントに分割するためのプロセス・ステップの流れ図である。 画像内の複数のバーコード識別子をセグメントに分割するためのプロセス・ステップの流れ図である。 本発明の実施形態による識別子の向きを決定するためのプロセス・ステップの流れ図である。 本発明の実施形態による識別子の位置を決定するためのプロセス・ステップの流れ図である。 本発明の実施形態で使用する縁部抽出プロセスの図である。 本発明の実施形態で使用する支配的な向きを決定するプロセスの図である。 バーコードおよびバーコードセグメント分割プロセスのための最小境界長方形（ＭＢＲ）の図である。 選択的に画像を処理するための品目識別子としての選択した画像領域の、ユーザの命令による識別のためのプロセス・ステップの流れ図である。 移動商取引用途のための選択的画像処理のためのプロセス・ステップの流れ図である。

符号の説明

１１０ 画像
１１１ 図形画像構成要素
１１３ テキスト画像構成要素
１１５ バーコード画像構成要素
１２０ デジタル・カメラ
１２１ 携帯電話
１３０ サーバ

Claims (37)

1. デジタル画像捕捉デバイスのところで画像を処理するための方法であって、
   少なくとも１つの品目識別子を含む画像を捕捉するステップと、
   前記少なくとも１つの品目識別子の位置を発見するステップと、
   前記少なくとも１つの品目識別子を選択的に処理するステップとを含む方法。
2. 前記位置を発見するステップが、前記少なくとも１つの品目識別子の位置を自動的に決定するステップを含む、請求項１に記載の方法。
3. 前記位置を発見するステップが、前記画像から少なくとも１つの品目識別子を抽出するステップをさらに含む、請求項２に記載の方法。
4. 前記少なくとも１つの品目識別子がバーコード情報を含む、請求項２に記載の方法。
5. 前記選択的処理が、前記バーコード情報を解読するステップを含む、請求項４に記載の方法。
6. 前記位置を発見するステップが、前記バーコード情報の支配的な向きを決定するステップをさらに含む、請求項４に記載の方法。
7. 前記位置を発見するステップが、前記バーコード情報の位置を発見するために、前記画像から縁部を抽出するステップをさらに含む、請求項４に記載の方法。
8. 前記画像から前記品目識別子をセグメントとして分割するステップをさらに含む、請求項２に記載の方法。
9. 前記セグメント分割ステップが、前記品目識別子に対して最小境界長方形を計算するステップを含む、請求項８に記載の方法。
10. 前記画像からセグメントに分割されていない情報を除去するステップをさらに含む、請求項８に記載の方法。
11. 前記選択的処理が、前記品目識別子を遠隔地に送信するステップを含む、請求項３に記載の方法。
12. 前記選択的処理が、前記品目識別子の座標を決定するステップを含む、請求項２に記載の方法。
13. 前記選択的処理が、前記座標を遠隔地に送信するステップをさらに含む、請求項１２に記載の方法。
14. 前記選択的処理が、前記少なくとも１つの品目識別子を選択的に圧縮するステップを含む、請求項３に記載の方法。
15. 前記選択的に圧縮した少なくとも１つの品目識別子を送信するステップをさらに含む、請求項１４に記載の方法。
16. 前記選択的処理が、前記少なくとも１つの品目識別子に関するメタデータを生成するステップを含む、請求項１に記載の方法。
17. 前記選択的処理が、前記メタデータを前記少なくとも１つの品目識別子と関連付けるステップをさらに含む、請求項１６に記載の方法。
18. 前記選択的処理が、前記少なくとも１つの前記メタデータ、および前記少なくとも１つの品目識別子を遠隔地に送信するステップをさらに含む、請求項１７に記載の方法。
19. 前記位置を発見するステップが、前記少なくとも１つの品目識別子の位置に関するユーザ入力を受信するステップを含む、請求項１に記載の方法。
20. 前記ユーザ入力が、座標情報、向き情報、および複数の品目識別子の中からの少なくとも１つの品目識別子の指定のうちの少なくとも１つを含む、請求項１９に記載の方法。
21. 前記選択的処理が、前記座標情報を遠隔地に送信するステップをさらに含む、請求項２０に記載の方法。
22. 前記ユーザ入力が、ワンド・アタッチメント、タッチスクリーン、トラックポイント、マウス、トラックボール、キーボード、タッチパッド、および音声認識システムのうちの少なくとも１つにより前記品目識別子を表示するステップを含む、請求項１９に記載の方法。
23. 前記位置を発見するステップが、前記画像から少なくとも１つの品目識別子をセグメントとして分割するステップをさらに含む、請求項１９に記載の方法。
24. 前記少なくとも１つの品目識別子がバーコード情報を含む、請求項２３に記載の方法。
25. 前記選択的処理が、前記バーコード情報を解読するステップを含む、請求項２４に記載の方法。
26. セグメントに分割されていない画像情報を除去するステップをさらに含む、請求項２３に記載の方法。
27. 前記選択的処理が、前記少なくとも１つのセグメント分割された品目識別子を遠隔地に送信するステップを含む、請求項２３に記載の方法。
28. 前記選択的処理が、送信の前に前記少なくとも１つの品目識別子を圧縮するステップをさらに含む、請求項２７に記載の方法。
29. デジタル画像を処理するためのシステムであって、
    少なくとも１つの品目識別子を含むデジタル画像を捕捉するための画像捕捉デバイスと、
    処理構成要素とを備え、該処理構成要素が、
    前記少なくとも１つの品目識別子の位置を決定するための品目識別子位置発見構成要素と、
    前記少なくとも１つの品目識別子を選択的処理するための少なくとも１つの品目識別子処理構成要素とを備えるシステム。
30. 前記品目識別子位置発見構成要素が、前記少なくとも１つの品目識別子の位置を自動的に発見する手段を備える、請求項２９に記載のシステム。
31. 前記品目識別子位置発見構成要素が、前記少なくとも１つの品目識別子を指定するユーザ入力を受信するための少なくとも１つのユーザ入力受信機を備える、請求項２９に記載のシステム。
32. 前記少なくとも１つの品目識別子処理構成要素が、前記少なくとも１つの品目識別子を遠隔地に送信するための送信機を備える、請求項２９に記載のシステム。
33. 前記少なくとも１つの品目識別子処理構成要素が、前記少なくとも１つの品目識別子を送信のために圧縮するための圧縮手段を備える、請求項２９に記載のシステム。
34. 前記少なくとも１つの品目識別子処理構成要素が、前記少なくとも１つの品目識別子に対するメタデータを生成するためのメタデータ生成構成要素を備える、請求項２９に記載のシステム。
35. デジタル画像を処理するためのデジタル・カメラであって、
    少なくとも１つの品目識別子を含むデジタル画像を捕捉するための画像捕捉デバイスと、
    処理構成要素とを備え、該処理構成要素が、
    前記少なくとも１つの品目識別子の位置を決定するための品目識別子位置発見構成要素と、
    前記少なくとも１つの品目識別子を選択的処理するための少なくとも１つの品目識別子処理構成要素とを備えるデジタル・カメラ。
36. デジタル通信デバイスであって、
    少なくとも１つの品目識別子を含むデジタル画像を捕捉するための画像捕捉デバイスと、
    処理構成要素とを備え、該処理構成要素が、
    前記少なくとも１つの品目識別子の位置を決定するための品目識別子位置発見構成要素と、
    前記少なくとも１つの品目識別子を選択的処理するための少なくとも１つの品目識別子処理構成要素とを備え、さらに、
    画像情報を遠隔地に送るための送信機手段を備えるデジタル通信デバイス。
37. 機械に、デジタル画像捕捉デバイスのところで画像を処理するための方法を実行させるために、命令のプログラムを明白に実施する前記機械が読むことができるプログラム記憶装置であって、前記方法が、
    少なくとも１つの品目識別子を含む画像を捕捉するステップと、
    前記少なくとも１つの品目識別子の位置を発見するステップと、
    前記少なくとも１つの品目識別子を選択的に処理するステップとを含むプログラム記憶装置。

Images