JP2022552251A

JP2022552251A - 関心要素を有する画像を前処理する装置及び方法

Info

Publication number: JP2022552251A
Application number: JP2022521188A
Authority: JP
Inventors: アール．ヤンガース，クリストファー; エー．クリストパーソン，ナサン; ディー．ガンドラッド，ジョナサン; エム．ジョンソン，ジャスティン; エム．ファルクノール，サブハラシュミ
Original assignee: 3M Innovative Properties Co
Current assignee: 3M Innovative Properties Co
Priority date: 2019-10-11
Filing date: 2020-10-08
Publication date: 2022-12-15
Also published as: CN114402334A; EP4042367A1; WO2021070111A1; US20220343092A1; US12026862B2

Abstract

本開示の少なくともいくつかの実施形態は、埋め込み要素を有する入力画像を処理する方法を対象とし、方法は、入力画像の１つ以上のヒストグラムを計算することと、１つ以上のヒストグラムのうちの１つにおいて関心範囲を識別することと、プロセッサによって関心範囲に基づいて閾値を判定することと、からなるステップを含む。いくつかの実施形態では、コンピューティングデバイスは、閾値を使用して入力画像を処理して、出力画像を生成する。

Description

本開示は、関心要素を有する画像の前処理に関する。

本開示の少なくともいくつかの実施形態は、埋め込み要素を有する入力画像を処理する方法を対象とし、方法は、プロセッサによって、入力画像の１つ以上のヒストグラムを計算することであって、１つ以上のヒストグラムの各々が色空間内の色平面上で計算される、ことと、色空間内の色平面を選択することと、１つ以上のヒストグラムのうちの１つにおいて関心範囲を識別することであって、１つ以上のヒストグラムのうちの１つが選択された色平面上で計算される、ことと、プロセッサによって、関心範囲に基づいて閾値を判定することと、プロセッサによって、閾値を使用して入力画像を処理して、出力画像を生成することと、からなるステップを含み、関心範囲は、埋め込み要素の既知の色強度に少なくとも部分的に基づいて識別される。

本開示の少なくともいくつかの実施形態は、デバイスを対象とし、デバイスは、プロセッサと、プロセッサに結合され、かつプロセッサが実行するために記憶されたプログラムを有して、動作を実行するメモリデバイスであって、その動作が、入力画像の１つ以上のヒストグラムを計算することであって、１つ以上のヒストグラムの各々が色空間内の色平面上で計算される、ことと、色空間内の色平面を選択することと、１つ以上のヒストグラムのうちの１つにおいて関心範囲を識別することであって、１つ以上のヒストグラムのうちの１つが選択された色平面上で計算される、ことと、関心範囲に基づいて閾値を判定することと、閾値を使用して入力画像を処理して、出力画像を生成することと、を含む、メモリデバイスと、を備え、関心範囲は、埋め込み要素の既知の色強度に少なくとも部分的に基づいて識別される。

添付図面は、本明細書に組み込まれ、本明細書の一部を構成するものであり、明細書本文と共に、本発明の利点及び原理を説明する。図面は以下のとおりである。

画像前処理システムの一例のシステム図を示す。

画像前処理システムのフロー図の一例である。

画像前処理システムのフロー図の別の例である。

画像前処理システムの一例のフロー図を示す。画像前処理システムの一例のフロー図を示す。

画像前処理システムの１つの例示的なプロセスを示す。画像前処理システムの１つの例示的なプロセスを示す。画像前処理システムの１つの例示的なプロセスを示す。画像前処理システムの１つの例示的なプロセスを示す。画像前処理システムの１つの例示的なプロセスを示す。画像前処理システムの１つの例示的なプロセスを示す。画像前処理システムの１つの例示的なプロセスを示す。画像前処理システムの１つの例示的なプロセスを示す。画像前処理システムの１つの例示的なプロセスを示す。

関心要素を有する画像を前処理する画像前処理システムの一例を示し、図４Ａ、図４Ｄ、及び図４Ｇは各々、ワークスペース写真の単一平面画像である。関心要素を有する画像を前処理する画像前処理システムの一例を示し、図４Ａ、図４Ｄ、及び図４Ｇは各々、ワークスペース写真の単一平面画像である。関心要素を有する画像を前処理する画像前処理システムの一例を示し、図４Ａ、図４Ｄ、及び図４Ｇは各々、ワークスペース写真の単一平面画像である。関心要素を有する画像を前処理する画像前処理システムの一例を示し、図４Ａ、図４Ｄ、及び図４Ｇは各々、ワークスペース写真の単一平面画像である。関心要素を有する画像を前処理する画像前処理システムの一例を示し、図４Ａ、図４Ｄ、及び図４Ｇは各々、ワークスペース写真の単一平面画像である。関心要素を有する画像を前処理する画像前処理システムの一例を示し、図４Ａ、図４Ｄ、及び図４Ｇは各々、ワークスペース写真の単一平面画像である。関心要素を有する画像を前処理する画像前処理システムの一例を示し、図４Ａ、図４Ｄ、及び図４Ｇは各々、ワークスペース写真の単一平面画像である。関心要素を有する画像を前処理する画像前処理システムの一例を示し、図４Ａ、図４Ｄ、及び図４Ｇは各々、ワークスペース写真の単一平面画像である。関心要素を有する画像を前処理する画像前処理システムの一例を示し、図４Ａ、図４Ｄ、及び図４Ｇは各々、ワークスペース写真の単一平面画像である。

図面では、同様の参照符号は、同様の要素を示す。正確な縮尺で描かれていない場合がある、上記で特定されている図面は、本開示の様々な実施形態を明示するものであるが、「発明を実施するための形態」で注記されるように、他の実施形態もまた企図される。全ての場合において、本開示は、本明細書で開示される開示内容を、明示的な限定によってではなく、例示的な実施形態を表現することによって説明する。本開示の範囲及び趣旨に含まれる、数多くの他の修正形態及び実施形態を、当業者によって考案することができる点を理解されたい。

タグに埋め込まれた単一及び多次元コードは、世界中に遍在する。小売、出荷、及び識別における用途は、いたるところにある。タグをデコードするために必要とされるハードウェア及びソフトウェアは、カスタム機器（例えば、ＰＯＳレーザスキャナ）からカメラが内蔵されたスマートフォンまで多岐にわたる。タグをデコードするために必要とされる画像処理ソフトウェアは、１）乱雑な可能性のある画像内の単一又は複数のタグ識別、２）タグの向き（例えば、回転及び並進）、及び３）埋め込みコードのデコード及びエラー検出／訂正、を含む、様々なタスクを実行する必要がある。

所与の画像がより乱雑になると、画像を処理するためにより多くの計算リソースが必要とされる。多くの場合（例えば、携帯型バッテリ給電デバイスの場合）、コンピューティングリソースは限られているため、処理時間は大きな問題になる。この問題は、ビデオストリームを扱う際に複合され、そこで、処理時間がフレームレートによって制約されるか、又はコンピューティングリソースが複数の同時タスク（例えば、画像処理及びレンダリング）を実行している。本開示のいくつかの実施形態は、出力画像内の埋め込み要素がより少ない時間及びコンピューティングリソース消費で抽出され得るように、埋め込み要素を有する画像を処理して出力画像を生成するシステム及び方法を記載する。本開示のいくつかの実施形態は、要素がデコードソフトウェアによって、より速くかつより効率的にデコードされ得るように、単一又は多次元コード化要素（例えば、２Ｄコード）を含む画像を前処理する方法を記載する。いくつかの実施形態では、方法は、画像のシーケンス又は静止画像であり得る、１つ以上の埋め込み要素を有する入力から色チャネルを選択することと、入力の色チャネルを処理してデータ分布情報を生成し、埋め込み要素（単数又は複数）を入力の他の要素から分離することと、処理されたデータに基づいて閾値を判定することと、閾値に基づいて出力画像を生成することと、からなるステップを含む。いくつかの実施形態では、方法は、画像をそのＮ個の構成色に分離することと、Ｎ色のうちの１つを選択することと、その色構成を処理して、埋め込み要素（単数又は複数）を最大化し、全ての他の要素を最小化することと、次いで、埋め込み要素（単数又は複数）から情報を抽出するための画像処理ソフトウェア、例えば、デコードソフトウェアに提供されることになる出力画像を生成することと、からなるステップを含む。

本明細書に記載される機能、アルゴリズム、及び方法論は、一実施形態ではソフトウェアに実装され得る。ソフトウェアは、ローカル又はネットワーク上のいずれかの、１つ以上の非一時的メモリ又は他の種類のハードウェアベースのストレージデバイスなどの、コンピュータ可読媒体又はコンピュータ可読ストレージデバイス上に記憶されたコンピュータ実行可能命令で構成することができる。更に、そのような機能は、ソフトウェア、ハードウェア、ファームウェア、又はそれらの任意の組み合わせであり得る、モジュール又はプロセッサに対応する。複数の機能は、所望により１つ以上のモジュール又はプロセッサで実行することができ、記載される実施形態は、単なる例に過ぎない。ソフトウェアは、パーソナルコンピュータ、サーバ、又は他のコンピュータシステムなどのコンピュータシステム上で動作する、デジタル信号プロセッサ、ＡＳＩＣ、マイクロプロセッサ、又は他の種類のプロセッサ上で実行することができ、そのようなコンピュータシステムを、専用にプログラムされた機械に変えることができる。

場合によっては、埋め込み要素は、区別可能な記号的意味を有する一次元又は二次元要素である。場合によっては、埋め込み要素は、グラフィック要素である。いくつかの実施形態では、埋め込み要素は、一次元又は多次元コードであり得るコードである。場合によっては、埋め込み要素は、不明瞭なコードである。不明瞭なコードは、人間の眼に通常は見えないコードを指すが、特殊な機器を使用すれば、人間の眼に見えるようにレンダリングされるか、又は特殊な機器によって読み取り可能になり得る。不明瞭なコードの例は、人間の眼に見えない波長、例えば、光偏光の操作に依存する赤外線コード、紫外線コード、又はコードにおいて見えるコードである。

図１は、画像前処理システム１００の一例のシステム図を示している。図示の例では、システム１００は、埋め込み要素１１２及び他の要素１１４を含む画像データ１１０、画像キャプチャデバイス１３０、及びコンピューティングデバイス１２０、並びに任意選択の照明デバイス１４０を含む。画像前処理システム１００は、例えば、コード抽出、デコードなどの更なる処理のために、画像処理ソフトウェア１５０に出力画像を提供する。

いくつかの実施形態では、画像キャプチャデバイス１３０は、画像データ、例えば、ビデオストリーム、シーケンシャル画像、又は静止画像をキャプチャするように構成されたカメラ又は他の構成要素である。いくつかの例では、画像キャプチャデバイス１３０は、モバイルデバイスのカメラであり得る。場合によっては、画像キャプチャデバイス１３０は、ビデオレコーダ、赤外線カメラ、ＣＣＤ（電荷結合デバイス）又はＣＭＯＳアレイ、レーザスキャナなどの、画像データをキャプチャすることができる他の構成要素を備え得る。更に、キャプチャされた画像データ１１０は、少なくとも１つの画像、ビデオ、画像のシーケンス（すなわち、ある期間内及び／又はある順序で撮影された複数の画像）、画像の集合などを含むことができ、入力画像という用語は、本明細書では、様々な例示的なタイプの画像データを指すために使用される。

いくつかの実施形態では、照明デバイス１４０（例えば、カメラフラッシュユニット）は、２以上の同時波長を発することができ、コンピューティングデバイス１２０及び／又は撮像キャプチャデバイス１３０によって制御可能である。場合によっては、照明デバイス１４０は、撮像キャプチャデバイス１３０が選択された波長に敏感であることを前提として、人間の眼の可視波長及び不可視波長（例えば、赤外線又は紫外線）を出力することができる。

いくつかの実施形態では、埋め込み要素１１２、及び／又は他の要素１１４のうちの少なくとも１つは、既知の画像属性を有し、それによって、コンピューティングデバイス１２０は、既知の画像属性に基づいて前処理アプローチを選択することができる。画像属性とは、画像内で識別可能な属性、例えば、色強度、テクスチャなどを指す。

コンピューティングデバイス１２０は、回路、コンピュータ、プロセッサ、処理ユニット、モバイルデバイス、マイクロプロセッサ、タブレットコンピュータなどを含むがこれらに限定されない、コンピューティングパワーを有する任意のデバイス、サーバ、又は機器であり得る。場合によっては、コンピューティングデバイス１２０は、共有コンピューティングデバイス上に実装され得る。或いは、コンピューティングデバイス１２０の構成要素は、複数のコンピューティングデバイス上に実装され得る。いくつかの実装態様では、コンピューティングデバイス１２０の様々なモジュール及び構成要素は、ソフトウェア、ハードウェア、ファームウェア、又はそれらの組み合わせとして実装され得る。

いくつかの実施形態では、前処理システム１００は、高可視性材料、特に、照明デバイス１４０によって照明される再帰反射材料を有するそれらのタグを利用する、単一及び多次元コード化画像（例えば、ＱＲコード）の標準的なデコードソフトウェア用の出力画像を生成するために画像を前処理するように設計される。本開示のいくつかの実施形態は、多波長（例えば、白色又はＲＧＢ光）照明源を装備した、埋め込まれた又は接続されたカラーカメラ／撮像装置を有するスマートフォン又は埋め込みシステムなどの、リソースが限られたハードウェア上のソフトウェアデコードと併せて使用することができる。場合によっては、前処理システム１００は、画像内の埋め込み関心要素（単数又は複数）を拡張し、かつ背景を含む他の要素を抑制することによって、キャプチャされた画像内の乱雑さを低減することができる。場合によっては、前処理システム１００は、ビデオストリーム、シーケンシャル画像（例えば、チケットスキャン）、又はパノラマ静的画像（例えば、壁上のタグ）をスキャンするのを有用にするオブジェクト識別ではなく、速度に対して最適化される。

図２Ａは、画像前処理システムのフロー図の一例である。場合によっては、フロー図のステップのシーケンスは、正確な順序を有し得ない。画像前処理システムは、最初に入力画像を受信し（ステップ２１０Ａ）、入力画像は、ビデオストリーム、画像のシーケンス、又は静止画像であり得る。場合によっては、入力画像は、画像キャプチャデバイスによってキャプチャされる。場合によっては、前処理システムは、単一平面画像を生成し（ステップ２１５Ａ）、各単一平面画像は、入力画像の色空間内における色平面に対応する。適用可能な色空間には、ＲＧＢ（赤色、緑色、及び青色）、ＬＡＢ（例えば、Ｈｕｎｔｅｒ１９４８Ｌ、ａ、ｂ色空間、ＣＩＥ１９７６（Ｌ＊、ａ＊、ｂ＊）色空間）、ＣＭＹＫ（シアン、マゼンタ、黄色、及びキー色（黒色））、ＨＳＶ（色相、彩度、及び値）、ＨＳＬ（色相、彩度、明度）、ＨＳＩ（色相、彩度、及び強度）、ｓＲＧＢ（標準赤色、緑色、及び青色）色空間が含まれるが、それらに限定されない。一例では、単一平面画像は、各ピクセルが３つの原色（例えば、赤色、緑色、及び青色）サブピクセルの組み合わせで構成されるように、入力画像上のベイヤーフィルタを利用することによって生成され、色平面は、ピクセルの長方形アレイにわたって同じ色のサブピクセルで構成されている。

特定の色平面に対して、Ｐ－Ｉｍａｇｅと呼ばれる新しい画像が、色平面データを用いて生成される。一例では、Ｐ－Ｉｍａｇｅは、次いでＰ－Ｉｍａｇｅが３つの色平面を有する色空間内の元の入力画像のサイズの３分の１になるように、選択された色平面データのみを含む。別の例として、Ｐ－Ｉｍａｇｅは、Ｐ－Ｉｍａｇｅサイズが元の画像サイズに等しくなるように、選択された色平面データを残りの色平面内に複製することによって構築され得る。ＲＧＢ色空間内の入力画像の一例として、赤色平面が選択された場合、緑色平面及び青色平面には、対応する赤色データが入力される。Ｐ－Ｉｍａｇｅは、元の画像の３分の１の画像解像度を有することになる。Ｐ－Ｉｍａｇｅを構築する別の例として、関数Ｆ１（選択された平面）及びＦ２（選択された平面）を選択された単一平面画像データに適用して、残りの色平面のデータを生成し、Ｐ－Ｉｍａｇｅサイズは元の画像サイズに等しくなる。関数の例は、線形関数（例えば、Ｆｎ（ピクセル）＝Ｋ＊ピクセル）又は非線形関数（例えば、Ｆｎ（ピクセル）＝Ｉｆ（ピクセル＝＜Ｋ）Ｔｈｅｎピクセル＝０Ｅｌｓｅピクセル＝１）であり得るが、これらに限定されない。

Ｐ－Ｉｍａｇｅが生成された後、例えば、計算を簡素化し、かつ時間量及び／又はコンピューティングリソースを低減するために、グレースケール画像に変換される。Ｐ－Ｉｍａｇｅは、いくつかの方法でグレースケールに変換され得る。
ｉ．Ｐ－Ｉｍａｇｅが選択された単一平面データのみを使用する場合、それはすでに多ビットグレースケールであり、
ｉｉ．Ｐ－Ｉｍａｇｅが選択された平面データを有するＲＧＢフォーマットにある場合、変換関数ＧＳ（Ｒ、Ｇ、Ｂ）を適用してグレースケール画像を生成することによって、グレースケールフォーマットに変換することができる。いくつかの例示的な関数には、以下のように赤色チャネル内のＲ、緑色チャネル内のＧ、及び青色チャネル内のＢの値を有する各ピクセルが含まれるが、これらに限定されない。
ＧＳ（Ｒ，Ｇ，Ｂ）＝［ｍａｘ（Ｒ，Ｇ，Ｂ）＋ｍｉｎ（Ｒ，Ｇ，Ｂ）］／２（１）
ＧＳ（Ｒ，Ｇ，Ｂ）＝（Ｒ＋Ｇ＋Ｂ）／３（２）
ＧＳ（Ｒ，Ｇ，Ｂ）＝０．２１＊Ｒ＋０．７２＊Ｇ＋０．０７＊Ｂ（３）

Ｐ－Ｉｍａｇｅはまた、閾値処理によって１ビットのグレースケールに変換することができ、グレースケールピクセル値は、Ｐ－Ｉｍａｇｅピクセル値が所定の閾値よりも大きいかどうかに応じて１又は０である。多ビットデータが望ましい場合では、閾値処理されたピクセルに値０又は［（２＾Ｒｅｓ）－１］を割り当てることができ、ここでＲｅｓはビットでのピクセル解像度である。例えば、Ｒｅｓ＝８ビットの場合、値は０～２５５である。

次に、システムは、入力画像の１つ以上のヒストグラムを計算し、各ヒストグラムは画像の単一平面に対応する（２２０Ａ）。いくつかの実施形態では、システムは、入力画像の色空間内の色平面を選択する（ステップ２２５Ａ）。場合によっては、色平面は、入力画像内でキャプチャされた埋め込み関心要素、及び／又は入力画像内でキャプチャされた他の要素に基づいて選択される。場合によっては、色平面は、入力画像内でキャプチャされた埋め込み関心要素の既知の色特性、及び／又は入力画像内でキャプチャされた他の要素の既知の色特性に基づいて選択される。例えば、背景にモニタを有するＲＧＢ色空間における入力画像の場合、緑色平面又は赤色平面が選択されることになる。場合によっては、色平面は、画像キャプチャデバイス、照明デバイス、埋め込み関心要素、及び画像背景情報の知識に基づいて選択することができ、又は任意選択的に、単一平面画像データに関数（例えば、画像平均又は標準偏差）を適用して、最良の候補を計算することによって選択してもよい。可能な選択基準には、データ分布（すなわち、ヒストグラム）、画像ノイズ、画像コントラスト、画像統計、及びダイナミックレンジが含まれ得るが、これらに限定されない。

場合によっては、ステップ２２０Ａは、ステップ２２５Ａの前に行われる。場合によっては、ステップ２２５Ａは、ステップ２２０Ａの前に行われる。次に、システムは、１つ以上のヒストグラムのうちの１つにおける複数のピーク値又は関心範囲を識別し（ステップ２３０Ａ）、ここで１つのヒストグラムは、選択された色平面に対応する。場合によっては、ヒストグラムをフィルタリングして、高周波ノイズを除去する。場合によっては、畳み込みマトリックスフィルタリングが、高周波ノイズを平滑化するために使用される。一例では、フィルタのカーネル（Ｋ）は、３×３マトリックスＫ［０：２、０：２］であり、ここで、Ｋ［１，１］＝０及びＫ［ｘ＜＞１，ｙ＜＞１］＝１であり、この結果、フィルタを適用する際の計算が簡略化される。上記の例では、カーネルは、忠実度ではなく速度のために選択される。フィルタリング用の他のフィルタ及びカーネルを使用することができる。場合によっては、システムは、埋め込み要素の既知の色強度及び／又は入力画像の他の要素に基づいて、選択された色平面のヒストグラム内の関心範囲を選択する。場合によっては、システムは、後で詳細に説明される局所最大値を判定することによって、ヒストグラム内の２つ以上のピーク値を選択する。

システムは、関心範囲の複数のピーク値又は値に基づいて閾値を判定する（２４０Ａ）。いくつかの例では、埋め込み要素は、高い色強度を有する要素である。例えば、埋め込み要素は、再帰反射タグである。高い強度要素は、多くの場合、入力画像内の最も明るいオブジェクト、例えば、最大ピクセル画像値に近いピクセル値を有する要素である。いくつかの実施形態では、閾値は、複数のピーク値の関数として計算される。場合によっては、閾値は、関心範囲におけるヒストグラム値の関数として計算される。

システムは、閾値を使用して入力画像を更に処理して、出力画像を生成する（２５０Ａ）。ＴｈｒｅｓｈｏｌｄＶａｌｕｅを設定した後、閾値画像ファイルＴ－Ｉｍａｇｅ［Ｎ，Ｍ］＝Ｔｈｒｅｓｈｏｌｄ（Ｌ－Ｉｍａｇｅ［Ｎ，Ｍ］，Ｔｈｒｅｓｈｏｌｄ－Ｖａｌｕｅ）が生成される。閾値画像ファイルＴ－Ｉｍａｇｅ［Ｎ，Ｍ］は、他の画像処理ソフトウェア、例えば、デコードソフトウェアに渡され得る。

図２Ｂは、画像前処理システムのフロー図の別の例である。第１に、システムは、タグ、関心要素の一例を選択された色で照明する（ステップ２１０Ｂ）。場合によっては、選択された色は、原色である。システムは、単一平面画像をキャプチャする（ステップ２１５Ｂ）。場合によっては、システムは、タグを他の色（単数又は複数）で照明し、他の単一平面画像（単数又は複数）をキャプチャしてもよい。システムは、入力画像（単数又は複数）の１つ以上のヒストグラムを計算する（ステップ２２０Ｂ）。他のステップは、図２Ａのステップと同じである。

図２Ｃ－１及び図２Ｃ－２は、画像前処理システムの一例のフロー図を示している。ステップのいくつかは任意選択であり、いくつかのステップは、異なる順序で配置され得る。この例では、システムは、画像をキャプチャするか又は画像を受信する（ステップ２１０Ｃ）。次に、システムは、画像をＭ個の構成平面画像に分離する（ステップ２１５Ｃ）。例えば、システムは、ＲＧＢ画像を、赤色平面画像、緑色平面画像、及び青色平面画像に分離する。システムは、各平面画像のヒストグラムを生成し（ステップ２２０Ｃ）、次いで、本明細書に記載の選択基準を適用することによって平面Ｐを選択する（ステップ２２５Ｃ）。システムは、平面画像Ｐのヒストグラムを評価することによって及び／又は構成パラメータによってのいずれかで、フィルタを適用する必要があるかどうかを決定し（ステップ２３０Ｃ）、「はい」の場合は、ノイズフィルタを適用する（２３５Ｃ）。更に、システムは、ヒストグラムＰ（２４０Ｃ）の局所ピーク値からピークアレイ［１：Ｎ］を構築し、ピークアレイ［１：Ｎ］の関数として閾値ＴＢを計算する（ステップ２４５Ｃ）。

システムは、出力画像がバイナリ画像であるべきかどうかを評価し（ステップ２５０Ｃ）、「はい」の場合は、Ｍｉｎ＿ｖａｌｕｅ＝０及びＭａｘ＿ｖａｌｕｅ＝１を設定し（ステップ２５１Ｃ）、「いいえ」の場合は、Ｍｉｎ＿ｖａｌｕｅ＝０及びＭａｘ＿ｖａｌｕｅ＝Ｉｍａｇｅ＿ｍａｘを設定し、ここで、Ｒビットピクセルを有する画像に対してＩｍａｇｅ＿ｍａｘ＝２＾Ｒ－１である（ステップ２５２Ｃ）。システムは、Ｐｉｘｅｌ＜＝ＴＶの場合はＰｉｘｅｌ＝Ｍｉｎ＿Ｖａｌｕｅ、そうでない場合はＰｉｘｅｌ＝Ｍａｘ＿Ｖａｌｕｅとなるように平面Ｐの全てのピクセルを閾値処理することによって、閾値処理された画像Ｔを構築する（ステップ２５５Ｃ）。システムは、出力画像が単一平面画像であるべきかどうかに関する入力を受信する（ステップ２６０Ｃ）。入力は、出力画像を受信するための画像処理ソフトウェアに依存し得る。出力画像が単一平面画像ではない場合、システムは、平面Ｔの関数として全ての画像平面［１：Ｍ］を計算し（ステップ２６５Ｃ）、全ての平面に基づいて出力Ｉｍａｇｅ－Ｔを作成することができる（ステップ２８５Ｃ）。出力画像が単一平面である場合、出力Ｉｍａｇｅ－Ｔ＝ＰｌａｎｅＴである（ステップ２７０Ｃ）。任意選択的に、システムは、デコードソフトウェア又は別の処理ソフトウェア用にＩｍａｇｅ－Ｔをフォーマットする（ステップ２７５Ｃ）。更に、システムは、デコードソフトウェア又は別の処理ソフトウェアにＩｍａｇｅ－Ｔを送信又は提供する（ステップ２８０Ｃ）。

図３Ａ～図３Ｉは、画像前処理システムの１つの例示的なプロセスを示している。図３Ａは、その３つの構成色平面（下部で左から右に示される赤色、緑色、及び青色）に分離されているＲＧＢ画像（図の上部）のヒストグラムの例を示している。各色平面において、関心要素の可能性の高い値範囲に対応する関心範囲（ＲＯＩ）がアウトラインされる。場合によっては、ＲＯＩは、最大ピクセル値のパーセンテージ、例えば、値の範囲のトップ２５％（最大値に対する最大値の７５％）として定義される。各色平面のＲＯＩは検査され、特性に応じて、１つ又は２つの平面が選択される。図３Ａの例では、青色平面ＲＯＩは、多くのサンプルを用いて均一に集められているため、良好な候補ではない。関心要素が画像内の最も明るいオブジェクトである例では、赤色平面は、関心要素を見出すことをより困難にし得るＲＯＩの下端において非常に大きなピークを有する。緑色平面は、より少ない高周波数ノイズがより疎に集まっているため、この例の最良の候補である。

平面が選択されると、システムは、平面データ又はヒストグラムデータがフィルタリングを必要とするかどうかに関する選択を行うことができる。図３Ｂは、図３Ａの例示的なＲＧＢ画像から選択された緑色平面ヒストグラムを示している。図３Ｄは、フィルタリングされていないヒストグラムを示し、図３Ｅは、ローパスフィルタ（ＬＰＦ）を用いてフィルタリングされたヒストグラムを示し、図３Ｆは、ＬＰＦによってフィルタリングされた緑色平面データから生成されたヒストグラムを示している。この例では、平面データをフィルタリングすることにより、結果のヒストグラムは改善されないが、ヒストグラムデータをフィルタリングすることにより、特にＲＯＩにおいて、一部のノイズが低減されている。

図３Ｂは、ＲＯＩが点線で区切られた、図３Ａからの例示的な緑色平面ヒストグラムを示している。前述のように、ＲＯＩは、関心要素画像データを含む可能性が最も高い値の範囲である。閾値処理された画像はデコードがより容易であるが、許容可能な結果を生じることができ、計算的に高速であり、かつ閾値処理を必要としない方法は、ＲＯＩ内の最低値に対応するカットオフ値を確立して、そのカットオフ値を以下の規則に従って緑色平面ピクセルデータを変換するために使用することである。
Ｉｆ（ＣＰｉｘ［Ｘ，Ｙ］＜Ｃｕｔｏｆｆ）
ＴｈｅｎＴＰｉｘ［Ｘ，Ｙ］＝０
ＥｌｓｅＴＰｉｘ［Ｘ，Ｙ］＝ＣＰｉｘ［Ｘ，Ｙ］
ここで、ＣＰｉｘ［Ｘ，Ｙ］は、選択された平面（例えば、緑色平面）からのピクセル値であり、ＴＰｉｘ［Ｘ，Ｙ］は、画像処理ソフトウェア、例えばデコードソフトウェアに送信される平面用のピクセル値である。変換された例示的な緑色平面のヒストグラムが、図３Ｃの底部に示されている。

閾値処理が望まれる場合に対して、図３Ｇ～図３Ｉは、閾値（「ＴｈｒｅｓｈｏｌｄＶａｌｕｅ」）をどのように計算できるかの３つの例を示している。図３Ｇは、図３Ａの例示的な緑色平面のＲＯＩを示している。このヒストグラムでは、ＲＯＩの平均値ｍｅａｎは、通常の方法で計算される。平均値は、ヒストグラム（すなわち、Ｒｅｓｏｌｕｔｉｏｎがビットでのピクセル解像度である［２＾Ｒｅｓｏｌｕｔｉｏｎ－１］）において、「Ｍａｘ」と呼ばれる最大値から減算される。この差を２で除算し、次いで以下のようにＭｅａｎ値に加算してＴｈｒｅｓｈｏｌｄＶａｌｕｅを得る。
ＴｈｒｅｓｈｏｌｄＶａｌｕｅ＝（Ｍａｘ－Ｍｅａｎ）／２＋Ｍｅａｎ（６）

図３Ｈは、図３Ａの例示的な緑色平面のＲＯＩを示している。このヒストグラムでは、ＲＯＩに対して、「ＳＤ」と呼ばれる標準偏差と共に平均値が再び計算される。ＴｈｒｅｓｈｏｌｄＶａｌｕｅは、以下のように計算される。
ＴｈｒｅｓｈｏｌｄＶａｌｕｅ＝Ｍｅａｎ＋Ｎ＊ＳＤ（７）
ここで、Ｎは１～２の数である。

図３Ｉは、図３Ａの例示的な緑色平面のＲＯＩを示している。このヒストグラムでは、ピークを示す垂直線がヒストグラムに追加されている。この例では、ピークの検査は、それらが３つの値の周りにクラスタ化されている（円で示されている）ことを示し、他の場合には、ピークはより明確であり得る。この場合のＴｈｒｅｓｈｏｌｄＶａｌｕｅを計算するために、第１のピーク最小エッジ（又はクラスタ化されていない場合の中心）、Ｐｋ１と、第２のピーク最大エッジ（又はクラスタ化されていない場合の中心）、Ｐｋ２との差を計算し、その差をＧと名付ける。ＴｈｒｅｓｈｏｌｄＶａｌｕｅは、以下のように計算される。
Ｇ＝Ｐｋ１－Ｐｋ２
ＴｈｒｅｓｈｏｌｄＶａｌｕｅ＝Ｐｋ２＋Ｍ＊Ｇ（８）
ここで、Ｍは０．２５～０．７５の数であり、Ｐｋ１＞Ｐｋ２である。

いったん選択された平面（単数又は複数）が処理される（例えば、閾値処理又は変換される）と、出力画像は、前述のように組み立てられ、次いで、更なる処理のためにソフトウェア又は処理ユニットに渡される。

図４Ａ～図４Ｉは、関心要素４００で画像を前処理する画像前処理システムの一例を示している。システムは、（図４Ａ、図４Ｄ、及び図４Ｇに示されるように）各色平面画像のヒストグラムを計算し、このヒストグラムは、図４Ｂ、図４Ｅ、図４Ｈに示されている。システムは、その比較的滑らかなデータ分布、及び白色ピーク（約２５５にクラスタ化されたデータ）と暗いピーク（約７５～１１５）と間の大きな差のために、赤い平面画像を選択する。色平面画像を検査することにより、システムは、青色平面が赤色及び緑色平面よりも高い輝度のオブジェクト（例えば、モニタ画面）を有することを見出す。これはヒストグラムにおいてアンダースコア化され、ここで青色ヒストグラムは、ヒストグラムの最右側の象限（すなわち、最高輝度値）にはるかに多くの密度を示す。緑色及び赤色ヒストグラムは、第４の象限密度でほぼ等しい。

システムは、上述の実施形態のうちの１つを使用して閾値を選択し、関心要素４００が拡大された図４Ｃ、図４Ｆ、及び図４Ｉに示されるように、閾値画像を生成する。システムは、閾値色平面を評価し、たとえ３つの平面全てが読み取り可能なタグ画像を生じる場合でも、赤色平面及び緑色平面内の関心要素を容易に分離することができるが、青色平面内ではそうはできないことを示す。閾値処理された緑色平面は、赤色平面よりもアーチファクトが（わずかに）少ないが、ヒストグラムの最大値（赤色ヒストグラムの右端）からの第１のピークが緑色平面内でより良好に定義され、かつソフトウェアの位置特定が（例えば、微分を使用して極大値及び最小値を位置特定して）より容易であるため、赤色平面は、閾値処理に対してより良好な選択であることになる。

本発明は、上記で説明された特定の実施例及び実施形態に限定されると考えられるべきではなく、なぜならば、そのような実施形態は、本発明の様々な態様の解説を容易にするために詳細に説明されているからである。むしろ、本発明は、添付の特許請求の範囲及びそれらの等価物により定義されるような、本発明の趣旨及び範囲に該当する、様々な修正、等価なプロセス、及び代替的なデバイスを含む、本発明の全ての態様に及ぶと理解されるべきである。

Claims

埋め込み要素を有する入力画像を処理する方法であって、
プロセッサによって、前記入力画像の１つ以上のヒストグラムを計算することであって、前記１つ以上のヒストグラムの各々が色空間内の色平面上で計算される、ことと、
前記色空間内の色平面を選択することと、
前記１つ以上のヒストグラムのうちの１つにおいて関心範囲を識別することであって、前記１つ以上のヒストグラムのうちの前記１つが前記選択された色平面上で計算される、ことと、
前記プロセッサによって、前記関心範囲に基づいて閾値を判定することと、
前記プロセッサによって、前記閾値を使用して前記入力画像を処理して、出力画像を生成することと、
を含み、
前記関心範囲が、前記埋め込み要素の既知の色強度に少なくとも部分的に基づいて識別される、方法。
前記入力画像が、画像のシーケンス又は静止画像である、請求項１に記載の方法。
前記１つ以上のヒストグラムのうちの前記１つが、前記埋め込み要素の既知の色特性に基づいて選択される、請求項１に記載の方法。
前記１つ以上のヒストグラムのうちの前記１つが、前記画像内の前記埋め込み要素とは異なる要素の既知の色特性に基づいて選択される、請求項１に記載の方法。
プロセッサによって、前記出力画像から前記埋め込み要素を抽出すること、
を更に含む、請求項１に記載の方法。
前記埋め込み要素からコード化された情報を解釈することであって、前記埋め込み要素がコードを含む、こと、
を更に含む、請求項１に記載の方法。
前記コードが二次元コードである、請求項６に記載の方法。
前記コードが一次元コードである、請求項６に記載の方法。
前記関心範囲を識別する前に、前記１つ以上のヒストグラムのうちの前記１つをフィルタでフィルタリングすること、
を更に含む、請求項１に記載の方法。
前記フィルタがローパスフィルタを含む、請求項９に記載の方法。
前記ローパスフィルタのカーネルが、３×３マトリックスＫ［０：２，０：２］であり、ここで、Ｋ［１，１］＝０及びＫ［ｘ＜＞１，ｙ＜＞１］＝１である、請求項１０に記載の方法。
前記出力画像が、前記閾値に基づくバイナリ画像であり、前記出力画像内のピクセルが、前記ピクセルが前記閾値よりも大きい色強度値を有する場合に最大値を有し、前記出力画像内のピクセルが、前記ピクセルが前記閾値以下の色強度値を有する場合に最小値を有する、請求項１に記載の方法。
前記最大値が、２＾ｒ－１の式で計算され、ここで、ｒが前記画像のピクセル解像度であり、前記最小値が０である、請求項１２に記載の方法。
前記閾値が、前記関心範囲内のヒストグラム値の関数である、請求項１に記載の方法。
前記埋め込み要素の前記既知の色強度が、前記１つ以上のヒストグラムのうちの前記１つにおける最高ピーク値に近接している、請求項１に記載の方法。
デバイスであって、
プロセッサと、
前記プロセッサに結合され、かつ前記プロセッサが実行するためのプログラムを記憶して、動作を実行するメモリデバイスであって、前記動作が、
前記入力画像の１つ以上のヒストグラムを計算することであって、前記１つ以上のヒストグラムの各々が色空間内の色平面上で計算される、ことと、
前記色空間内の色平面を選択することと、
前記１つ以上のヒストグラムのうちの１つにおいて関心範囲を識別することであって、前記１つ以上のヒストグラムのうちの前記１つが前記選択された色平面上で計算される、ことと、
前記関心範囲に基づいて閾値を判定することと、
前記閾値を使用して前記入力画像を処理して、出力画像を生成することと、を含む、メモリデバイスと、を備え、
前記関心範囲が、前記埋め込み要素の既知の色強度に少なくとも部分的に基づいて識別される、デバイス。
前記入力画像が、画像のシーケンス又は静止画像である、請求項１６に記載のデバイス。
前記１つ以上のヒストグラムのうちの前記１つが、前記埋め込み要素の既知の色特性に基づいて選択される、請求項１６に記載のデバイス。
前記１つ以上のヒストグラムのうちの前記１つが、前記画像内の前記埋め込み要素とは異なる要素の既知の色特性に基づいて選択される、請求項１６に記載のデバイス。
前記関心範囲を識別する前に、前記１つ以上のヒストグラムのうちの前記１つをフィルタでフィルタリングすること、
を更に含む、請求項１６に記載のデバイス。