JP2004522228A - ディジタル画像を表現し比較する方法 - Google Patents
ディジタル画像を表現し比較する方法 Download PDFInfo
- Publication number
- JP2004522228A JP2004522228A JP2002580262A JP2002580262A JP2004522228A JP 2004522228 A JP2004522228 A JP 2004522228A JP 2002580262 A JP2002580262 A JP 2002580262A JP 2002580262 A JP2002580262 A JP 2002580262A JP 2004522228 A JP2004522228 A JP 2004522228A
- Authority
- JP
- Japan
- Prior art keywords
- cell
- image
- cells
- digital
- representation
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/90—Determination of colour characteristics
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20021—Dividing image into blocks, subimages or windows
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Multimedia (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
- Image Analysis (AREA)
- Investigating Or Analysing Biological Materials (AREA)
Abstract
ディジタル画像の簡潔な表現を発生する方法が記述されている。ディジタル画像は正方形ビットマップに変換され、複数個のセルに分割される。各セルは複数個の領域に副分割される。複数個のセルの各組で各セルの最小明暗度領域と最大明暗度領域とが認識される。セルの最小明暗度領域と最大明暗度領域の位置を基にセルの各組中の各セルに対してセル表現データが発生される。画像のセルの各組のセル表現データの全てを組合わせて、元のディジタル画像の簡潔な表現を作成する。セル表現データを比較する方法も説明されている。ソース画像の集合のセル表現データがデータベースに構成される。データベースの探索は、ターゲット画像に少なくとも最小に同様である候補画像を識別する。次いでターゲット画像が各識別された候補画像と直接比較され、各候補画像の同様性スコアが計算され記録される。
Description
【技術分野】
【0001】
(関連出願との相互参照)なし
本発明は、異なる画像を互いに比較することを可能とする方法でディジタル画像を表現する方法に関係する。ディジタル画像を画像データベースに記憶する時、どの画像を記憶したか、そして各々をどこに配置したかを覚えるのは困難である。個人が新たな画像を追加する時、新たな画像を記憶画像と迅速に比較し、データベースが既に同様の画像またはこれと似たものを含んでいるかどうかを決定できると有用である。
【背景技術】
【0002】
同様な似た画像はいくつかの異なるソースから発生する。例えば、画像ソフトウェアを使用して、ディジタル写真のテキストを追加したり、トリミングしたり、またはコントラストを増加できる。さらに、わずかに異なった視点から、または異なった露出設定で2つの画像が同じ対象を表示しても良い。このような場合、同一ではないが互いに同様な似た画像が生じる。ユーザーに同様な画像が既にデータベースに記憶されているかどうかを知らせて、ユーザーの時間と記憶空間を節約するシステムがあると有用である。さらに、関連画像を識別することにより、前記システムは関連画像を互いに自動的に構成しグループ分けすることにより画像管理処理を補助できる。
【発明の開示】
【発明が解決しようとする課題】
【0003】
多数の画像管理アプリケーションが、ユーザーがデータベース中の画像にテキストを、通常コメントまたは説明欄に手動で関連付けることを可能としている。ユーザーはこの記憶テキストを基に画像を検索可能である(例えば「バラ」コメントを有する全ての画像を表示する)。複雑な画像処理技術により同様な画像を識別するコンテンツベースの画像検索システムが開発されてきた。これらの画像比較アルゴリズムはしばしば計算量が膨大であり、その結果を返すまでに相当な時間が掛かる。これらのシステムで使用される方法は、色、形状、及びテキスチャ計算としばしば関係し、ユーザーによる膨大なパラメータ調節を必要とし、時間のかかるデータ処理技術を使用している。同様な画像を見出すため、ディジタル画像を互いに比較する簡単で高速な方法の必要がある。
【課題を解決するための手段】
【0004】
(発明の要約)
本発明によるディジタル画像の表現を発生する方法は、元の画像を正方形のビットマップに変換し、次いでビットマップを複数個の正方形セルに分割する段階を含む。各セルはさらに複数個の正方形領域に副分割される。各セルで最小明暗度(intensity)(輝度:brightness)を有する領域と最大明暗度を有する領域の両方を見出す。最小明暗度値、最大明暗度値、及び最大明暗度領域に対する最小明暗度領域の相対位置が各セルの表現データを構成する。元のディジタル画像の簡潔な表現を作成するために、本方法は正方形ビットマップ中の各セルの表現データを組合わせる。
【0005】
本発明の方法の重要な関係式は、視覚的に同様な画像は同様なセル表現データを発生する点である。画像を比較し画像ライブラリ中の同様な画像を検索するために本方法により相対的に少量の情報が使用される。本発明の方法は、ディジタル画像を表現し互いに比較する従来技術より複雑でなく、かつより効率的である。画像は少量の情報により正確に表現され、相対的に迅速で堅牢な方法で互いに比較できる。
【0006】
(発明の詳細な説明)
開示の都合上、ソース画像を、セル表現データを計算する画像または大画像の一部として定義する。ターゲット画像は現在の同様な画像検索の対象であるソース画像を一般的に識別する。候補画像は、現在のターゲット画像との同様性を決定するために検査されている画像である。ターゲット及び候補画像の表現データを含む画像の集団を画像ライブラリまたは画像データベースと呼ぶ。
【0007】
画像を本方法で表現する時、そのセル表現データが計算され、必要に応じて、ユーザーのデータベースの同様の画像を探索する。または、本方法を使用して、ユーザーが探索を実行したい時にターゲット及び候補画像のセル表現データを計算し、これによりユーザーが永続的な画像データベースを保持することをオプションとしてもよい。
【0008】
図1は、本発明の方法を矩形(1021x739ピクセル)ソース画像に適用することにより発生された正方形ビットマップ画像28Aを示す。(本発明により操作されるビットマップを一般的に指す時、参照番号「28」を使用し、特定のビットマップを指す時には、番号「28」に文字を追加する。)ビットマップ28Aは本方法によりたまたま9個のセル30に分割された。いくつかのセルをマーク付けして、その最小明暗度(最も暗い)領域32Aとその最大明暗度(最も明るい)領域32Bと相対位置を示す。これらの領域32Aと32Bは最暗領域から最明領域へ引かれた線36により接続される。(一般的に明暗度領域を参照する時、参照番号「32」を使用し、最小及び最大明暗度領域を参照する時、文字「A」と「B」を各々参照番号「32」に添付する。)セル明暗度角度38は、線36が水平基準線40に対して形成する角度(0から359)として示される。明確な最明及び最暗領域を決定するセル中の十分なコントラストがない場合、そのセルの明暗度角度値は「低コントラスト」定数値に設定される。図1の上右隅に示すように、この値は−1が望ましいが、他の値を使用してもよい。
【0009】
本発明の方法は、明暗度以外の画像属性にも、単独でまたは明暗度値と組合わせて、組み込むようにできることも理解すべきである。このような属性には、以下には限定されないが、色、色相、彩度、バリュー、輝度、及びクロミナンスを含む。さらに、本方法が画像明暗度を使用してセル表現データを計算していて、低コントラスト・セル30が優勢な画像に出会った時に、ビットマップ画像28のセルのコントラストを動的に増強し、当該画像のセル表現データを再計算する。これは、「ぼやけ(washed out)」画像が実際には顕著な相違がある時に互いに同様なものとして誤って分類されることを防止する助けとなる。
【0010】
図2は、本発明によるディジタル画像の表現を発生する望ましい方法を図示する流れ図である。ディジタル画像はその本来のファイル形式(.jpg、.bmp、.tifまたはその他の形式)で本方法に提供され、次いで「装置独立なビットマップ」に変換されてマイクロソフト(R)・ウィンドウズ(R)画像プログラム技術を使用する(図2のブロック10)。ソース画像が正方形ビットマップ28に変換されると、これは元のソース画像の正方形表現を作成するために引伸ばされる、及び/または圧縮される。例えば、942x617ピクセルのソース画像を500x500ピクセルのビットマップ(他の寸法を使用してもよい)に圧縮し、垂直方向より水平方向により短縮する。この結果、元のソース画像が、その寸法に係わらず、本方法には正方形ビットマップ28として提示される。望ましい実施例では、このビットマップ変換にウィンドウズ(R)・オペレーティングシステムの「ビット伸張(StretchBit)」画像関数を使用するが、同様の作業を他の画像処理ルーティンが実行することも可能である。
【0011】
正方形ビットマップ28は次いで以後の解析用に多数のセル30に分割される(ブロック12)。ビットマップ28は、多分3かける3格子(9格子)から開始して多分9かける9格子(81格子)まで、連続的により細かいセル格子に分割することが望ましい。各格子はセルの2次元アレイを近似し、アレイの各寸法は都合上セル寸法と呼ぶ。各格子のセルは、格子の左上隅のセルをセル(1、1)と識別できるよう番号付けされることが望ましい。残りのセルも同様に番号付けられ、各セルはその行と列を識別子として使用して格子の位置を識別する。ビットマップ28の各連続した分割から発生される追加データは比較過程で繰返し的に使用されることが望ましく、各格子寸法の同様性スコアが集められてより正確な結果を生成する。
【0012】
図2のブロック14では、ビットマップ28のセル30の各々がさらに正方形領域32に副分割される。領域32は6かける6格子、各セル30中で全体で36領域として実装されることが望ましいが、この領域数は変更してもよい。
【0013】
ブロック16では、領域32の各々が処理されて当該領域に含まれるピクセルの全体明暗度を合計する。24ビット色深度を使用する実装では、各ピクセルの赤、青、及び緑成分を表す3バイトを加算する段階を含む。ピクセル明暗度を計算するために定義された各種の公式に従って、オプションの重み付けを適用して赤、青及び緑値を調節する。この過程は各領域32の全体明暗度(輝度)を表す整数値を計算する。上述したように、ピクセル明暗度の代わりに、またはこれに加えてその他の画像属性を使用してもよいことに注意されたい。各領域32の全体ピクセル明暗度をセル30の現在の最小及び最大ピクセル明暗度と比較する。領域32のピクセル明暗度がセル30の新たな最小または最大である場合、その値を当該セルの新たな最小または最大明暗度値として保存する。セル30の当該領域32の相対X及びY座標も保存され、従ってセル30の最暗32Aと最輝32B領域の位置も容易に検索される。各セル30の全ての領域32の全ピクセル明暗度を計算するまでこの段階が続行する。明確な最暗領域32Aと最輝領域32Bを決定するのに十分なコントラストがセル30にない場合、当該セル30の値は任意に定義された「低コントラスト」定数値ブロック20に設定される。
【0014】
明確な最暗領域32Aと明確な最輝領域32Bがセル30に見出された場合、セル30の最暗領域32Aから最輝領域32Bへの線36と水辺基準線40との間に形成された角度が計算される。この角度はセル30ブロック22の明暗度角度と呼ばれる。角度計算は、ブロック18により表される段階で各セル30に見出された最小明暗度領域32Aと最大明暗度領域32BのX及びY座標を使用する。水平基準線40は最小明暗度領域32Aを通過する。明暗度角度は、基準線40から開始して最小明暗度領域32Aから最大明暗度領域32Bへ反時計回り方向に移動することにより計算することが望ましい。角度は0から359までの範囲の整数として表現されることが望ましいが、計測単位はこの代わりに、整数でコード化されたまたは浮動小数点数として表現されたラディアン値も可能である。
【0015】
本発明の方法は元のソース画像の特定のコンピュータ・ファイル形式に依存しない。本方法はツルーカラー画像(1670万色、24ビット色深度)と共に、画像のピクセルの相対明暗度(輝度)が決定可能である限り、他の全ての色深度も解析可能である。同様に、本方法は、望ましい実施例ではその色ではなく画像のピクセルの明暗度を主に問題にしているため、カラー画像と白黒画像の両方を処理可能である。本方法はマイクロソフト(R)・ウィンドウズ(R)を使用したパーソナルコンピュータで実行されることが望ましいが、その他の計算装置やオペレーティングシステムを使用してもよい。
【0016】
上述したように、本発明の方法は正方形ビットマップ28中の複数個のセルの各々に対して明暗度角度を計算するか、または「低コントラスト」定数を割当てる。これらの明暗度角度値が、本発明が画像の比較用に使用する重要なセル表現データであるが、各セルからの最小及び最大領域明暗度和も明暗度角度に加えて記憶し使用してもよい。画像比較及び検索システムでその他の画像データも収集し、その他の値も計算し、その他の処理段階を実行してもよい。
【0017】
視覚的に同様なディジタル画像に対して、本発明の方法は画像間の対応するセルに対して同様の似た明暗度角度値を計算することが示されている。画像が画像エディタにより変更され(例えば、全体の赤色バランスを増加する)、データ圧縮の各種レベルで保存され(従って各種サイズのディジタル画像ファイルを生成)、または異なる画像寸法に再形成されたとしてもこれは正しい。本方法はディジタル画像の比較過程を自動化し、画像データベースから同様の似た画像を検索することを可能とする。
【0018】
図3Aから3Cは、ソース画像の異なる3つの版に本発明を適用することにより発生された3つの正方形ビットマップ画像28を図示する。図3Aに示した、ビットマップ画像28Bは元の316、047バイトjpeg(.jpg)ソース画像から得られる。図3Bは、図3Aのソース画像と、ファイルサイズと画像寸法の両方が小さい、圧縮版である67、210バイトjpegソース画像から得られる。図3Cは、図3Aのソース画像の他の版である2、850、954バイト・ビットマップ画像(.jpgではなく.bmpファイル)から得られる。画像寸法を増大し、テキストを追加し、ファイル型式を変更し、コントラストを減少し、赤色バランスを増加することを含む、各種の変更を加えて図3Cのソース画像を作成している。
【0019】
図3A、3B、3Cの3つの異なるビットマップ画像28B、28C、28Dの対応するセルの比較から、対応するセルのセル表現データは大体同一であるかまたは同様であることが分かる。様々な技術を使用して整合画像を検出し、ターゲット画像と候補画像の集合との間で同様性の程度を決定する。例えば、角度範囲を設定して整合セルを識別可能である(例えば、ターゲット画像の各セルの明暗度角度、プラスマイナス10度)。次いで候補画像の対応するセルの明暗度角度が指定した角度範囲内である場合、2つのセル30は整合セルであるものと見なす。整合画像を指示するために、整合しなければならないセル数の最小閾値を指定してもよい(例えば、25の内の21整合セルが必要)。以下に記述する同様の画像を見出す別の技術は、ターゲット画像と各候補画像の対応するセル間の相違を加算することにより各画像の「同様性スコア」を計算する段階を含む。セル表現データを解析することにより同様の画像を識別するその他の技術も使用してもよい。セル表現データのデータベースは探索を実行する度に発生されてもよいが、画像ライブラリ自体を作成する時にデータベースを作成し、画像ライブラリから画像を追加または削除した時にセル表現データベースを更新することが望ましい。
【0020】
画像を比較する時、画像のある部分に焦点を当てることも有用である。例えば、多くの写真プロセッサは顧客の注文で全寸法の画像の小さな「サムネール(thumbnail:親指の爪)」画像のアレイから構成されるインデックス画像を提供する。サムネール画像の一つをターゲット画像として選択することにより、ユーザーはインデックス画像の選択部分と同様な画像を画像ライブラリから検索できる。検索用にターゲット画像を選択することは、ソース画像に他の型式のトリミングを適用し、これによりビットマップ画像28の定義をソース画像の丁度選択した部分に限定することにより達成される。さらに、セル表現データ値の相違を同等に扱うのではなく、比較過程がターゲット画像と各候補画像間のある相違の重要性を増減するよう、ビットマップ画像28のセル表現データ38を重み付けしてもよい。
【0021】
図4を参照して、ターゲットと候補画像の同様性を計算する1つの処理過程を説明する。図2と関連して説明したように得られたセル表現データ38を使用して比較過程が実行される。この処理では、同様画像検索ブロック40を実行するのに必要な時間とメモリを削減するため、画像の明暗度角度を他のより小さなスケールに置き換えるのが有用である。本発明の方法の1つの例示実施例では、0から359の範囲の元の明暗度角度を4のモジュラスを使用して置き換えて、0から89の明暗度角度インデックス範囲の値に縮める。さらに、「低コントラスト」値を90の明暗度角度インデックス値に置き換える。この置き換え段階は必ずしも必要な段階ではなく、必要ならば除いてもよいことに注意されたい。
【0022】
ユーザーの画像データベースは、ソース画像の各セルの明暗度角度値に従って構成されるのが望ましく、さらには、上述した置換明暗度角度インデックスに従って構成されるのが望ましい。本発明のこの特定の例では、91の角度インデックス分類50が、0から90の各明暗度角度インデックスに対して1つづつデータベースに保持される(図5参照)。各角度インデックス分類50は1つ以上の2次元アレイ52を含む。最大で、ソース画像が分割される各セル寸法に対して1つのこれらのアレイがあってもよいが、より少ないアレイを使用してもよい。アレイ52は画像セル格子と同様な方法で指標付けされ、従って、例えば、あるセル寸法のアレイの位置1、1は関係するセル格子の上左隅に対応する。画像データベースを構成するこの段階は本発明の方法を実装する際に有用であるが、画像を比較する度に全セル表現データのデータベースをアクセスし検索してもよいという点でオプションであることを理解すべきである。
【0023】
各アレイ52は、アレイ52と対応するセル格子中のそのセル表現データから同じ与えられた明暗度角度インデックスを計算したデータベース中の全てのソース画像を識別する。例えば、図5を参照すると、角度インデックス分類0のアレイ位置(1、1)は、ビットマップ画像28格子のセル(1、1)に0の明暗度角度インデックスを有するデータベース中の各画像を識別する。図5の例では、画像ライブラリ中の画像の中で、ソース画像img3、img5及びimg8がセル(1、1)の明暗度角度インデックス0を有する。認められるように、このようなデータ構造は、与えられたターゲット画像のそれと同一または同様な明暗度角度インデックスを有する少なくとも1つのセルを含む候補画像を識別するよう迅速に検索できる。
【0024】
本発明の方法を効率的に実装するため、同様な画像を探索する時に全画像ライブラリを走査することを避けるのが望ましい。しかしながら、同時に、同様な画像探索を実行する時に、多分同様な画像の脱落を避けることもきわめて重要である。従って、セル表現データのデータベースを探索する1つの方法の第1段階は、現在のターゲット画像と少なくともある程度の同様性を有する候補画像の識別を含む。この段階は、ターゲット画像と少なくとも1点の同様性を有するデータベース中の全ての画像を候補画像として選択する。この検査に合格した全ての画像は、ターゲット画像中の対応するセル30のセル表現データ38と同様であるか、または指定した偏差内であるセル表現データ38を有するセル30を有している。
【0025】
上記した探索アルゴリズムを使用して、セル表現データベースを走査し、現在のターゲット画像の候補画像のリストを作成する。この段階は図4の44に示している。この比較的制限のゆるいベンチマーク作業に合格した候補画像の各々に対して、ターゲット及び候補画像を分割した全てのセル寸法に渡って完全なセル対セル比較を実行する(図4の段階46)。個々のセル同様性を加算すると、各候補画像の全体画像同様性スコアを作成する。候補画像は次いでその同様性スコアによりソートされてどの画像がターゲット画像と一番似ているかを示す。通常、ターゲット画像自体が第1の同様画像としてリストされ、これに基本の同様性スコアが割当てられ、これに対して全ての候補画像のスコアが比較される。望ましい実施例では、完全な同様性は任意に零に初期化され、従ってこの同様性スコアが各探索の開始時に各ターゲット画像に割当てられる。この例では、ターゲット画像と同一ではない各候補画像の同様性スコアは零より大きい。この例では、同様性スコアが高くなればなるほど、ターゲットと候補画像間の相違が大きくなる。この過程を高速化する1つの方法は、同様性スコアの計算に上限を設定することである。画像が上限を越えた時、可能な同様画像としてのその画像への考慮は停止する。
【0026】
ターゲット画像の対応するセルに対する候補画像の各セルの同様性は、対応するセル明暗度角度間のコサイン差とサイン差を決定することにより計算される。望ましい実装では、コサイン及びサイン差が次いで2乗され、互いに加算され、任意のスケーリング因子を乗算される。このスケールされたセル同様性は次いで、対応する候補画像セルと比較したターゲット画像セルの相対輝度とコントラスト間の差異を考慮するためオプションとして調節される。言い換えると、明暗度角度差のみにより計算された個々のセル同様性は、各セルの相対輝度とコントラストに関してスケールされる、または重み付けされる。この最後の相対輝度とコントラストを基にしたセル同様性の調整操作は除いてもよいことに注意されたい。
【0027】
本発明を望ましい実施例を参照して記述してきたが、当業者は、本発明の要旨と範囲から逸脱することなく形式と詳細に変更を加えうることを認める。
【図面の簡単な説明】
【0028】
【図1】本発明により正方形ビットマップに変換され、次いでセルに分割されたディジタル画像で、最小及び最大明暗度領域を強調してある。
【図2】本発明によりディジタル画像の表現を発生する望ましい方法を図示する流れ図。
【図3A】ソース画像の第1版に本発明を適用することにより発生されたビットマップ画像を図示する。
【図3B】ソース画像の第2版に本発明を適用することにより発生されたビットマップ画像を図示する。
【図3C】ソース画像の第3版に本発明を適用することにより発生されたビットマップ画像を図示する。
【図4】ターゲット及び候補画像の表現を比較する方法を図示する流れ図。
【図5】画像データベースの1実施例の構成構造を図示する概略線図。
【0001】
(関連出願との相互参照)なし
本発明は、異なる画像を互いに比較することを可能とする方法でディジタル画像を表現する方法に関係する。ディジタル画像を画像データベースに記憶する時、どの画像を記憶したか、そして各々をどこに配置したかを覚えるのは困難である。個人が新たな画像を追加する時、新たな画像を記憶画像と迅速に比較し、データベースが既に同様の画像またはこれと似たものを含んでいるかどうかを決定できると有用である。
【背景技術】
【0002】
同様な似た画像はいくつかの異なるソースから発生する。例えば、画像ソフトウェアを使用して、ディジタル写真のテキストを追加したり、トリミングしたり、またはコントラストを増加できる。さらに、わずかに異なった視点から、または異なった露出設定で2つの画像が同じ対象を表示しても良い。このような場合、同一ではないが互いに同様な似た画像が生じる。ユーザーに同様な画像が既にデータベースに記憶されているかどうかを知らせて、ユーザーの時間と記憶空間を節約するシステムがあると有用である。さらに、関連画像を識別することにより、前記システムは関連画像を互いに自動的に構成しグループ分けすることにより画像管理処理を補助できる。
【発明の開示】
【発明が解決しようとする課題】
【0003】
多数の画像管理アプリケーションが、ユーザーがデータベース中の画像にテキストを、通常コメントまたは説明欄に手動で関連付けることを可能としている。ユーザーはこの記憶テキストを基に画像を検索可能である(例えば「バラ」コメントを有する全ての画像を表示する)。複雑な画像処理技術により同様な画像を識別するコンテンツベースの画像検索システムが開発されてきた。これらの画像比較アルゴリズムはしばしば計算量が膨大であり、その結果を返すまでに相当な時間が掛かる。これらのシステムで使用される方法は、色、形状、及びテキスチャ計算としばしば関係し、ユーザーによる膨大なパラメータ調節を必要とし、時間のかかるデータ処理技術を使用している。同様な画像を見出すため、ディジタル画像を互いに比較する簡単で高速な方法の必要がある。
【課題を解決するための手段】
【0004】
(発明の要約)
本発明によるディジタル画像の表現を発生する方法は、元の画像を正方形のビットマップに変換し、次いでビットマップを複数個の正方形セルに分割する段階を含む。各セルはさらに複数個の正方形領域に副分割される。各セルで最小明暗度(intensity)(輝度:brightness)を有する領域と最大明暗度を有する領域の両方を見出す。最小明暗度値、最大明暗度値、及び最大明暗度領域に対する最小明暗度領域の相対位置が各セルの表現データを構成する。元のディジタル画像の簡潔な表現を作成するために、本方法は正方形ビットマップ中の各セルの表現データを組合わせる。
【0005】
本発明の方法の重要な関係式は、視覚的に同様な画像は同様なセル表現データを発生する点である。画像を比較し画像ライブラリ中の同様な画像を検索するために本方法により相対的に少量の情報が使用される。本発明の方法は、ディジタル画像を表現し互いに比較する従来技術より複雑でなく、かつより効率的である。画像は少量の情報により正確に表現され、相対的に迅速で堅牢な方法で互いに比較できる。
【0006】
(発明の詳細な説明)
開示の都合上、ソース画像を、セル表現データを計算する画像または大画像の一部として定義する。ターゲット画像は現在の同様な画像検索の対象であるソース画像を一般的に識別する。候補画像は、現在のターゲット画像との同様性を決定するために検査されている画像である。ターゲット及び候補画像の表現データを含む画像の集団を画像ライブラリまたは画像データベースと呼ぶ。
【0007】
画像を本方法で表現する時、そのセル表現データが計算され、必要に応じて、ユーザーのデータベースの同様の画像を探索する。または、本方法を使用して、ユーザーが探索を実行したい時にターゲット及び候補画像のセル表現データを計算し、これによりユーザーが永続的な画像データベースを保持することをオプションとしてもよい。
【0008】
図1は、本発明の方法を矩形(1021x739ピクセル)ソース画像に適用することにより発生された正方形ビットマップ画像28Aを示す。(本発明により操作されるビットマップを一般的に指す時、参照番号「28」を使用し、特定のビットマップを指す時には、番号「28」に文字を追加する。)ビットマップ28Aは本方法によりたまたま9個のセル30に分割された。いくつかのセルをマーク付けして、その最小明暗度(最も暗い)領域32Aとその最大明暗度(最も明るい)領域32Bと相対位置を示す。これらの領域32Aと32Bは最暗領域から最明領域へ引かれた線36により接続される。(一般的に明暗度領域を参照する時、参照番号「32」を使用し、最小及び最大明暗度領域を参照する時、文字「A」と「B」を各々参照番号「32」に添付する。)セル明暗度角度38は、線36が水平基準線40に対して形成する角度(0から359)として示される。明確な最明及び最暗領域を決定するセル中の十分なコントラストがない場合、そのセルの明暗度角度値は「低コントラスト」定数値に設定される。図1の上右隅に示すように、この値は−1が望ましいが、他の値を使用してもよい。
【0009】
本発明の方法は、明暗度以外の画像属性にも、単独でまたは明暗度値と組合わせて、組み込むようにできることも理解すべきである。このような属性には、以下には限定されないが、色、色相、彩度、バリュー、輝度、及びクロミナンスを含む。さらに、本方法が画像明暗度を使用してセル表現データを計算していて、低コントラスト・セル30が優勢な画像に出会った時に、ビットマップ画像28のセルのコントラストを動的に増強し、当該画像のセル表現データを再計算する。これは、「ぼやけ(washed out)」画像が実際には顕著な相違がある時に互いに同様なものとして誤って分類されることを防止する助けとなる。
【0010】
図2は、本発明によるディジタル画像の表現を発生する望ましい方法を図示する流れ図である。ディジタル画像はその本来のファイル形式(.jpg、.bmp、.tifまたはその他の形式)で本方法に提供され、次いで「装置独立なビットマップ」に変換されてマイクロソフト(R)・ウィンドウズ(R)画像プログラム技術を使用する(図2のブロック10)。ソース画像が正方形ビットマップ28に変換されると、これは元のソース画像の正方形表現を作成するために引伸ばされる、及び/または圧縮される。例えば、942x617ピクセルのソース画像を500x500ピクセルのビットマップ(他の寸法を使用してもよい)に圧縮し、垂直方向より水平方向により短縮する。この結果、元のソース画像が、その寸法に係わらず、本方法には正方形ビットマップ28として提示される。望ましい実施例では、このビットマップ変換にウィンドウズ(R)・オペレーティングシステムの「ビット伸張(StretchBit)」画像関数を使用するが、同様の作業を他の画像処理ルーティンが実行することも可能である。
【0011】
正方形ビットマップ28は次いで以後の解析用に多数のセル30に分割される(ブロック12)。ビットマップ28は、多分3かける3格子(9格子)から開始して多分9かける9格子(81格子)まで、連続的により細かいセル格子に分割することが望ましい。各格子はセルの2次元アレイを近似し、アレイの各寸法は都合上セル寸法と呼ぶ。各格子のセルは、格子の左上隅のセルをセル(1、1)と識別できるよう番号付けされることが望ましい。残りのセルも同様に番号付けられ、各セルはその行と列を識別子として使用して格子の位置を識別する。ビットマップ28の各連続した分割から発生される追加データは比較過程で繰返し的に使用されることが望ましく、各格子寸法の同様性スコアが集められてより正確な結果を生成する。
【0012】
図2のブロック14では、ビットマップ28のセル30の各々がさらに正方形領域32に副分割される。領域32は6かける6格子、各セル30中で全体で36領域として実装されることが望ましいが、この領域数は変更してもよい。
【0013】
ブロック16では、領域32の各々が処理されて当該領域に含まれるピクセルの全体明暗度を合計する。24ビット色深度を使用する実装では、各ピクセルの赤、青、及び緑成分を表す3バイトを加算する段階を含む。ピクセル明暗度を計算するために定義された各種の公式に従って、オプションの重み付けを適用して赤、青及び緑値を調節する。この過程は各領域32の全体明暗度(輝度)を表す整数値を計算する。上述したように、ピクセル明暗度の代わりに、またはこれに加えてその他の画像属性を使用してもよいことに注意されたい。各領域32の全体ピクセル明暗度をセル30の現在の最小及び最大ピクセル明暗度と比較する。領域32のピクセル明暗度がセル30の新たな最小または最大である場合、その値を当該セルの新たな最小または最大明暗度値として保存する。セル30の当該領域32の相対X及びY座標も保存され、従ってセル30の最暗32Aと最輝32B領域の位置も容易に検索される。各セル30の全ての領域32の全ピクセル明暗度を計算するまでこの段階が続行する。明確な最暗領域32Aと最輝領域32Bを決定するのに十分なコントラストがセル30にない場合、当該セル30の値は任意に定義された「低コントラスト」定数値ブロック20に設定される。
【0014】
明確な最暗領域32Aと明確な最輝領域32Bがセル30に見出された場合、セル30の最暗領域32Aから最輝領域32Bへの線36と水辺基準線40との間に形成された角度が計算される。この角度はセル30ブロック22の明暗度角度と呼ばれる。角度計算は、ブロック18により表される段階で各セル30に見出された最小明暗度領域32Aと最大明暗度領域32BのX及びY座標を使用する。水平基準線40は最小明暗度領域32Aを通過する。明暗度角度は、基準線40から開始して最小明暗度領域32Aから最大明暗度領域32Bへ反時計回り方向に移動することにより計算することが望ましい。角度は0から359までの範囲の整数として表現されることが望ましいが、計測単位はこの代わりに、整数でコード化されたまたは浮動小数点数として表現されたラディアン値も可能である。
【0015】
本発明の方法は元のソース画像の特定のコンピュータ・ファイル形式に依存しない。本方法はツルーカラー画像(1670万色、24ビット色深度)と共に、画像のピクセルの相対明暗度(輝度)が決定可能である限り、他の全ての色深度も解析可能である。同様に、本方法は、望ましい実施例ではその色ではなく画像のピクセルの明暗度を主に問題にしているため、カラー画像と白黒画像の両方を処理可能である。本方法はマイクロソフト(R)・ウィンドウズ(R)を使用したパーソナルコンピュータで実行されることが望ましいが、その他の計算装置やオペレーティングシステムを使用してもよい。
【0016】
上述したように、本発明の方法は正方形ビットマップ28中の複数個のセルの各々に対して明暗度角度を計算するか、または「低コントラスト」定数を割当てる。これらの明暗度角度値が、本発明が画像の比較用に使用する重要なセル表現データであるが、各セルからの最小及び最大領域明暗度和も明暗度角度に加えて記憶し使用してもよい。画像比較及び検索システムでその他の画像データも収集し、その他の値も計算し、その他の処理段階を実行してもよい。
【0017】
視覚的に同様なディジタル画像に対して、本発明の方法は画像間の対応するセルに対して同様の似た明暗度角度値を計算することが示されている。画像が画像エディタにより変更され(例えば、全体の赤色バランスを増加する)、データ圧縮の各種レベルで保存され(従って各種サイズのディジタル画像ファイルを生成)、または異なる画像寸法に再形成されたとしてもこれは正しい。本方法はディジタル画像の比較過程を自動化し、画像データベースから同様の似た画像を検索することを可能とする。
【0018】
図3Aから3Cは、ソース画像の異なる3つの版に本発明を適用することにより発生された3つの正方形ビットマップ画像28を図示する。図3Aに示した、ビットマップ画像28Bは元の316、047バイトjpeg(.jpg)ソース画像から得られる。図3Bは、図3Aのソース画像と、ファイルサイズと画像寸法の両方が小さい、圧縮版である67、210バイトjpegソース画像から得られる。図3Cは、図3Aのソース画像の他の版である2、850、954バイト・ビットマップ画像(.jpgではなく.bmpファイル)から得られる。画像寸法を増大し、テキストを追加し、ファイル型式を変更し、コントラストを減少し、赤色バランスを増加することを含む、各種の変更を加えて図3Cのソース画像を作成している。
【0019】
図3A、3B、3Cの3つの異なるビットマップ画像28B、28C、28Dの対応するセルの比較から、対応するセルのセル表現データは大体同一であるかまたは同様であることが分かる。様々な技術を使用して整合画像を検出し、ターゲット画像と候補画像の集合との間で同様性の程度を決定する。例えば、角度範囲を設定して整合セルを識別可能である(例えば、ターゲット画像の各セルの明暗度角度、プラスマイナス10度)。次いで候補画像の対応するセルの明暗度角度が指定した角度範囲内である場合、2つのセル30は整合セルであるものと見なす。整合画像を指示するために、整合しなければならないセル数の最小閾値を指定してもよい(例えば、25の内の21整合セルが必要)。以下に記述する同様の画像を見出す別の技術は、ターゲット画像と各候補画像の対応するセル間の相違を加算することにより各画像の「同様性スコア」を計算する段階を含む。セル表現データを解析することにより同様の画像を識別するその他の技術も使用してもよい。セル表現データのデータベースは探索を実行する度に発生されてもよいが、画像ライブラリ自体を作成する時にデータベースを作成し、画像ライブラリから画像を追加または削除した時にセル表現データベースを更新することが望ましい。
【0020】
画像を比較する時、画像のある部分に焦点を当てることも有用である。例えば、多くの写真プロセッサは顧客の注文で全寸法の画像の小さな「サムネール(thumbnail:親指の爪)」画像のアレイから構成されるインデックス画像を提供する。サムネール画像の一つをターゲット画像として選択することにより、ユーザーはインデックス画像の選択部分と同様な画像を画像ライブラリから検索できる。検索用にターゲット画像を選択することは、ソース画像に他の型式のトリミングを適用し、これによりビットマップ画像28の定義をソース画像の丁度選択した部分に限定することにより達成される。さらに、セル表現データ値の相違を同等に扱うのではなく、比較過程がターゲット画像と各候補画像間のある相違の重要性を増減するよう、ビットマップ画像28のセル表現データ38を重み付けしてもよい。
【0021】
図4を参照して、ターゲットと候補画像の同様性を計算する1つの処理過程を説明する。図2と関連して説明したように得られたセル表現データ38を使用して比較過程が実行される。この処理では、同様画像検索ブロック40を実行するのに必要な時間とメモリを削減するため、画像の明暗度角度を他のより小さなスケールに置き換えるのが有用である。本発明の方法の1つの例示実施例では、0から359の範囲の元の明暗度角度を4のモジュラスを使用して置き換えて、0から89の明暗度角度インデックス範囲の値に縮める。さらに、「低コントラスト」値を90の明暗度角度インデックス値に置き換える。この置き換え段階は必ずしも必要な段階ではなく、必要ならば除いてもよいことに注意されたい。
【0022】
ユーザーの画像データベースは、ソース画像の各セルの明暗度角度値に従って構成されるのが望ましく、さらには、上述した置換明暗度角度インデックスに従って構成されるのが望ましい。本発明のこの特定の例では、91の角度インデックス分類50が、0から90の各明暗度角度インデックスに対して1つづつデータベースに保持される(図5参照)。各角度インデックス分類50は1つ以上の2次元アレイ52を含む。最大で、ソース画像が分割される各セル寸法に対して1つのこれらのアレイがあってもよいが、より少ないアレイを使用してもよい。アレイ52は画像セル格子と同様な方法で指標付けされ、従って、例えば、あるセル寸法のアレイの位置1、1は関係するセル格子の上左隅に対応する。画像データベースを構成するこの段階は本発明の方法を実装する際に有用であるが、画像を比較する度に全セル表現データのデータベースをアクセスし検索してもよいという点でオプションであることを理解すべきである。
【0023】
各アレイ52は、アレイ52と対応するセル格子中のそのセル表現データから同じ与えられた明暗度角度インデックスを計算したデータベース中の全てのソース画像を識別する。例えば、図5を参照すると、角度インデックス分類0のアレイ位置(1、1)は、ビットマップ画像28格子のセル(1、1)に0の明暗度角度インデックスを有するデータベース中の各画像を識別する。図5の例では、画像ライブラリ中の画像の中で、ソース画像img3、img5及びimg8がセル(1、1)の明暗度角度インデックス0を有する。認められるように、このようなデータ構造は、与えられたターゲット画像のそれと同一または同様な明暗度角度インデックスを有する少なくとも1つのセルを含む候補画像を識別するよう迅速に検索できる。
【0024】
本発明の方法を効率的に実装するため、同様な画像を探索する時に全画像ライブラリを走査することを避けるのが望ましい。しかしながら、同時に、同様な画像探索を実行する時に、多分同様な画像の脱落を避けることもきわめて重要である。従って、セル表現データのデータベースを探索する1つの方法の第1段階は、現在のターゲット画像と少なくともある程度の同様性を有する候補画像の識別を含む。この段階は、ターゲット画像と少なくとも1点の同様性を有するデータベース中の全ての画像を候補画像として選択する。この検査に合格した全ての画像は、ターゲット画像中の対応するセル30のセル表現データ38と同様であるか、または指定した偏差内であるセル表現データ38を有するセル30を有している。
【0025】
上記した探索アルゴリズムを使用して、セル表現データベースを走査し、現在のターゲット画像の候補画像のリストを作成する。この段階は図4の44に示している。この比較的制限のゆるいベンチマーク作業に合格した候補画像の各々に対して、ターゲット及び候補画像を分割した全てのセル寸法に渡って完全なセル対セル比較を実行する(図4の段階46)。個々のセル同様性を加算すると、各候補画像の全体画像同様性スコアを作成する。候補画像は次いでその同様性スコアによりソートされてどの画像がターゲット画像と一番似ているかを示す。通常、ターゲット画像自体が第1の同様画像としてリストされ、これに基本の同様性スコアが割当てられ、これに対して全ての候補画像のスコアが比較される。望ましい実施例では、完全な同様性は任意に零に初期化され、従ってこの同様性スコアが各探索の開始時に各ターゲット画像に割当てられる。この例では、ターゲット画像と同一ではない各候補画像の同様性スコアは零より大きい。この例では、同様性スコアが高くなればなるほど、ターゲットと候補画像間の相違が大きくなる。この過程を高速化する1つの方法は、同様性スコアの計算に上限を設定することである。画像が上限を越えた時、可能な同様画像としてのその画像への考慮は停止する。
【0026】
ターゲット画像の対応するセルに対する候補画像の各セルの同様性は、対応するセル明暗度角度間のコサイン差とサイン差を決定することにより計算される。望ましい実装では、コサイン及びサイン差が次いで2乗され、互いに加算され、任意のスケーリング因子を乗算される。このスケールされたセル同様性は次いで、対応する候補画像セルと比較したターゲット画像セルの相対輝度とコントラスト間の差異を考慮するためオプションとして調節される。言い換えると、明暗度角度差のみにより計算された個々のセル同様性は、各セルの相対輝度とコントラストに関してスケールされる、または重み付けされる。この最後の相対輝度とコントラストを基にしたセル同様性の調整操作は除いてもよいことに注意されたい。
【0027】
本発明を望ましい実施例を参照して記述してきたが、当業者は、本発明の要旨と範囲から逸脱することなく形式と詳細に変更を加えうることを認める。
【図面の簡単な説明】
【0028】
【図1】本発明により正方形ビットマップに変換され、次いでセルに分割されたディジタル画像で、最小及び最大明暗度領域を強調してある。
【図2】本発明によりディジタル画像の表現を発生する望ましい方法を図示する流れ図。
【図3A】ソース画像の第1版に本発明を適用することにより発生されたビットマップ画像を図示する。
【図3B】ソース画像の第2版に本発明を適用することにより発生されたビットマップ画像を図示する。
【図3C】ソース画像の第3版に本発明を適用することにより発生されたビットマップ画像を図示する。
【図4】ターゲット及び候補画像の表現を比較する方法を図示する流れ図。
【図5】画像データベースの1実施例の構成構造を図示する概略線図。
Claims (30)
- ディジタル画像の簡潔な表現を発生する方法であって、
ディジタル画像を複数個のセルに分割する段階と、
複数個のセルの各組中で各セルの最小明暗度領域を識別する段階と、
複数個のセルの各組中で各セルの最大明暗度領域を識別する段階と、
当該セル中の最小明暗度領域と最大明暗度領域の位置を基にセルの各組で各セルに対してセル表現データを発生する段階と、
ディジタル画像の表現を発生する段階であって、該表現はセル表現データを含む前記発生段階と、
を含む方法。 - 請求項1記載の方法において、ディジタル画像を複数個のセルに分割する前に元のディジタル画像を正方形ビットマップに変換する段階をさらに含む方法。
- 請求項1記載の方法において、各セルを複数個の領域に副分割する段階をさらに含む方法。
- 請求項3記載の方法において、各領域のピクセル明暗度和を計算する段階をさらに含み、各領域のピクセル明暗度和は当該領域に含まれるピクセルの明暗度の和を表す方法。
- 請求項4記載の方法において、最小及び最大明暗度領域は計算されたピクセル明暗度和を基に識別される方法。
- 請求項1記載の方法において、低コントラストを有するセルを識別する段階をさらに含み、低コントラスト識別子を各識別されたセルに関連付ける方法。
- 請求項6記載の方法において、低コントラストのセルが優勢である画像を検出した時に、画像のコントラストを動的に増加して、そのセル表現データを再計算する方法。
- 請求項6記載の方法において、低コントラスト識別子は負の整数である方法。
- 請求項6記載の方法において、ディジタル画像の表現はセル表現データを含む方法。
- 請求項1記載の方法において、各セルの明暗度角度は、水平基準線とセルの最小明暗度領域とその最大明暗度領域との間で形成された線との間の角度を基にして発生される方法。
- 請求項10記載の方法において、各セルのセル表現データは、セルの明暗度角度の値または低コントラスト識別子のどちらかを表す整数である方法。
- 第1及び第2のディジタル画像を比較し、比較した画像の同様性の程度を決定する方法であって、
画像内の最小及び最大明暗度領域の相対位置を基に第1及び第2ディジタル画像の表現を発生する段階と、
第1及び第2のディジタル画像の表現を比較し、比較を基にして同様性スコアを発生する段階であって、同様性スコアは画像間の同様性の程度を表す前記発生段階と、
を含む方法。 - 請求項12記載の方法において、第1及び第2のディジタル画像の各々の表現は、
第1及び第2ディジタル画像を複数個のセルに分割する段階と、
複数個のセルの各組で各セル中の最小明暗度領域を識別する段階と、
複数個のセルの各組で各セル中の最大明暗度領域を識別する段階と、
当該セル中の最小明暗度領域と最大明暗度領域との位置を基にセルの各組で各セルのセル表現データを発生する段階と、
第1及び第2ディジタル画像の表現を発生する段階であって、表現はセル表現データを含む前記発生段階と、
により発生される方法。 - 請求項13記載の方法において、第1及び第2ディジタル画像の各々を複数個のセルに分割する前に、第1及び第2ディジタル画像の各々を正方形ビットマップに変換する段階をさらに含む方法。
- 請求項13記載の方法において、各セルを複数個の領域にさらに副分割する段階をさらに含む方法。
- 請求項15記載の方法において、各領域のピクセル明暗度和を計算する段階をさらに含み、ピクセル明暗度和は当該領域に含まれるピクセルの明暗度の和を表す方法。
- 請求項16記載の方法において、最小及び最大明暗度領域は計算されたピクセル明暗度和を基に識別される方法。
- 請求項13記載の方法において、低コントラストを有するセルを識別し、各識別されたセルに低コントラスト識別子を関連付ける段階をさらに含む方法。
- 請求項18記載の方法において、第1及び第2ディジタル画像の各々の表現はセル表現データを含む方法。
- 請求項13記載の方法において、各セルの明暗度角度は、基準線とセルの最小明暗度領域とその最大明暗度領域との間で形成された線との間の角度を基に発生される方法。
- 請求項20記載の方法において、各セルのセル表現データは、そのセルの明暗度角度かまたは低コントラスト識別子のどちらかを表す整数である方法。
- ディジタル・ターゲット画像と同様であるディジタル画像のライブラリ中の候補画像を識別し、ターゲット画像に対する候補画像の同様性の程度を決定する方法であって、
ディジタル・ターゲット画像とディジタル画像のライブラリ中のディジタル・ソース画像を複数個のセルに分割する段階と、
ディジタル・ターゲット及びライブラリ中のソース画像の各セル中の最小明暗度領域を識別する段階と、
ディジタル・ターゲット及びライブラリ中のソース画像の各セル中の最大明暗度領域を識別する段階と、
各ディジタル・ソース及びターゲット画像の各セル中の最小明暗度領域と最大明暗度領域の位置を基に、各ディジタル・ターゲット及びライブラリ中のソース画像中の各々のセルに対してセル表現データを発生する段階と、
各ソース画像のセル表現データに従って画像を組織する候補画像データベースを発生する段階と、
候補画像データベースを探索して、ターゲット画像と同様な少なくとも1つのセルを有する候補画像を識別する段階と、
ターゲット画像と同様の少なくとも1つのセルを有するものとして識別された候補データベースからの各画像をターゲット画像と比較する段階と、
ターゲット画像と比較したディジタル画像の同様性スコアを計算する段階と、
を含む方法。 - 請求項22記載の方法において、候補データベースは複数個の角度インデックス分類に構成され、分類の数は可能なセル表現データ値の数の置換されたカウントに対応し、各分類は一連のアレイにさらに副分割され、アレイの数は各ディジタル画像が分割されたセル数までの数に対応し、該アレイは角度インデックス分類と関係するアレイに対応するセルの現在の角度インデックス分類に割当てた値に対応するセル表現データを有する画像の識別子を含む、方法。
- ターゲット画像と同様のソース画像のライブラリ中の候補画像を識別する方法であって、
ターゲット及びソース画像内の最小及び最大明暗度領域の相対位置を基にターゲット画像とソース画像の各々の表現を発生する段階と、
候補画像リストを発生する段階であって、各候補画像はターゲット画像との少なくとも所定の同様性の程度を有する前記発生段階と、
ターゲット画像と候補画像の表現を比較し、この比較を基に同様性スコアを発生する段階であって、同様性スコアはディジタル画像の同様性の程度を表す前記発生段階と、
を含む方法。 - 請求項24記載の方法において、第1及び第2ディジタル画像の表現は複数個の明暗度角度を含む方法。
- 請求項24記載の方法において、第1及び第2ディジタル画像からのセル表現はセルの複数個の組間でセル毎に比較される方法。
- 請求項25記載の方法において、ターゲット及び候補ディジタル画像の表現を含む複数個の明暗度角度を置き換える段階をさらに含む方法。
- 請求項24記載の方法において、ターゲット及び候補ディジタル画像の各々の表現は、明暗度、色、色相、彩度、バリュー、輝度、及びクロミナンスを含むリストから選択された1つ以上の画像属性を基にしている方法。
- ディジタル画像の簡潔な表現を発生する方法であって、
ディジタル画像を複数個のセルに分割する段階と、
複数個のセルの各組の各セル中で最小画像データ値領域を認識する段階と、
複数個のセルの各組の各セル中で最大画像データ値領域を認識する段階と、
当該セルの最小画像データ値領域と最大画像データ値領域の位置を基にセルの各組中の各セルに対してセル表現データを発生する段階と、
ディジタル画像の表現を発生する段階であって、この表現はセル表現データを含む前記発生段階と、
を含む方法。 - 請求項29記載のディジタル画像の簡潔な表現を発生する方法において、画像データ値は、明暗度、色、色相、彩度、バリュー、輝度、及びクロミナンスを含むグループのうちの1つから得られる方法。
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US09/829,145 US6690828B2 (en) | 2001-04-09 | 2001-04-09 | Method for representing and comparing digital images |
PCT/US2002/010607 WO2002082373A2 (en) | 2001-04-09 | 2002-04-05 | A method for representing and comparing digital images |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2004522228A true JP2004522228A (ja) | 2004-07-22 |
Family
ID=25253650
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2002580262A Pending JP2004522228A (ja) | 2001-04-09 | 2002-04-05 | ディジタル画像を表現し比較する方法 |
Country Status (6)
Country | Link |
---|---|
US (1) | US6690828B2 (ja) |
EP (1) | EP1390912A4 (ja) |
JP (1) | JP2004522228A (ja) |
AU (1) | AU2002248750A1 (ja) |
CA (1) | CA2444329A1 (ja) |
WO (1) | WO2002082373A2 (ja) |
Families Citing this family (194)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US8645137B2 (en) | 2000-03-16 | 2014-02-04 | Apple Inc. | Fast, language-independent method for user authentication by voice |
KR100843112B1 (ko) * | 2000-09-07 | 2008-07-02 | 코닌클리케 필립스 일렉트로닉스 엔.브이. | 이미지 매칭 |
JP4366886B2 (ja) * | 2001-05-24 | 2009-11-18 | コニカミノルタビジネステクノロジーズ株式会社 | 画像認識のための装置と方法 |
US7369685B2 (en) * | 2002-04-05 | 2008-05-06 | Identix Corporation | Vision-based operating method and system |
US20040052418A1 (en) * | 2002-04-05 | 2004-03-18 | Bruno Delean | Method and apparatus for probabilistic image analysis |
US7039505B1 (en) * | 2002-07-19 | 2006-05-02 | Avidyne Corporation | Method for digital transmission and display of weather imagery |
JP4135945B2 (ja) * | 2003-01-14 | 2008-08-20 | 国立大学法人東京工業大学 | 画像のサブピクセルマッチングにおける多パラメータ高精度同時推定処理方法及び多パラメータ高精度同時推定処理プログラム |
GB2398446B (en) * | 2003-02-12 | 2006-06-07 | Snell & Wilcox Ltd | Image processing |
JP4279083B2 (ja) * | 2003-08-18 | 2009-06-17 | 富士フイルム株式会社 | 画像処理方法および装置、並びに画像処理プログラム |
US7460737B2 (en) | 2004-02-12 | 2008-12-02 | Hoshiko Llc | Method and apparatus for photograph finding |
US7724943B2 (en) * | 2004-04-21 | 2010-05-25 | Siemens Medical Solutions Usa, Inc. | Rapid and robust 3D/3D registration technique |
US8521737B2 (en) | 2004-10-01 | 2013-08-27 | Ricoh Co., Ltd. | Method and system for multi-tier image matching in a mixed media environment |
US8600989B2 (en) | 2004-10-01 | 2013-12-03 | Ricoh Co., Ltd. | Method and system for image matching in a mixed media environment |
US8156115B1 (en) | 2007-07-11 | 2012-04-10 | Ricoh Co. Ltd. | Document-based networking with mixed media reality |
US8825682B2 (en) | 2006-07-31 | 2014-09-02 | Ricoh Co., Ltd. | Architecture for mixed media reality retrieval of locations and registration of images |
US8838591B2 (en) | 2005-08-23 | 2014-09-16 | Ricoh Co., Ltd. | Embedding hot spots in electronic documents |
US8856108B2 (en) | 2006-07-31 | 2014-10-07 | Ricoh Co., Ltd. | Combining results of image retrieval processes |
US8385589B2 (en) | 2008-05-15 | 2013-02-26 | Berna Erol | Web-based content detection in images, extraction and recognition |
US7812986B2 (en) * | 2005-08-23 | 2010-10-12 | Ricoh Co. Ltd. | System and methods for use of voice mail and email in a mixed media environment |
US9171202B2 (en) | 2005-08-23 | 2015-10-27 | Ricoh Co., Ltd. | Data organization and access for mixed media document system |
US8276088B2 (en) | 2007-07-11 | 2012-09-25 | Ricoh Co., Ltd. | User interface for three-dimensional navigation |
US7970171B2 (en) | 2007-01-18 | 2011-06-28 | Ricoh Co., Ltd. | Synthetic image and video generation from ground truth data |
US8868555B2 (en) | 2006-07-31 | 2014-10-21 | Ricoh Co., Ltd. | Computation of a recongnizability score (quality predictor) for image retrieval |
US8369655B2 (en) | 2006-07-31 | 2013-02-05 | Ricoh Co., Ltd. | Mixed media reality recognition using multiple specialized indexes |
US7702673B2 (en) | 2004-10-01 | 2010-04-20 | Ricoh Co., Ltd. | System and methods for creation and use of a mixed media environment |
US9384619B2 (en) | 2006-07-31 | 2016-07-05 | Ricoh Co., Ltd. | Searching media content for objects specified using identifiers |
US9373029B2 (en) | 2007-07-11 | 2016-06-21 | Ricoh Co., Ltd. | Invisible junction feature recognition for document security or annotation |
US8156116B2 (en) | 2006-07-31 | 2012-04-10 | Ricoh Co., Ltd | Dynamic presentation of targeted information in a mixed media reality recognition system |
US8156427B2 (en) | 2005-08-23 | 2012-04-10 | Ricoh Co. Ltd. | User interface for mixed media reality |
US8335789B2 (en) | 2004-10-01 | 2012-12-18 | Ricoh Co., Ltd. | Method and system for document fingerprint matching in a mixed media environment |
US8332401B2 (en) | 2004-10-01 | 2012-12-11 | Ricoh Co., Ltd | Method and system for position-based image matching in a mixed media environment |
US8005831B2 (en) | 2005-08-23 | 2011-08-23 | Ricoh Co., Ltd. | System and methods for creation and use of a mixed media environment with geographic location information |
US8184155B2 (en) | 2007-07-11 | 2012-05-22 | Ricoh Co. Ltd. | Recognition and tracking using invisible junctions |
US8965145B2 (en) | 2006-07-31 | 2015-02-24 | Ricoh Co., Ltd. | Mixed media reality recognition using multiple specialized indexes |
US8949287B2 (en) | 2005-08-23 | 2015-02-03 | Ricoh Co., Ltd. | Embedding hot spots in imaged documents |
US9530050B1 (en) | 2007-07-11 | 2016-12-27 | Ricoh Co., Ltd. | Document annotation sharing |
US8086038B2 (en) | 2007-07-11 | 2011-12-27 | Ricoh Co., Ltd. | Invisible junction features for patch recognition |
US8144921B2 (en) | 2007-07-11 | 2012-03-27 | Ricoh Co., Ltd. | Information retrieval using invisible junctions and geometric constraints |
US8195659B2 (en) | 2005-08-23 | 2012-06-05 | Ricoh Co. Ltd. | Integration and use of mixed media documents |
US9405751B2 (en) | 2005-08-23 | 2016-08-02 | Ricoh Co., Ltd. | Database for mixed media document system |
US8176054B2 (en) | 2007-07-12 | 2012-05-08 | Ricoh Co. Ltd | Retrieving electronic documents by converting them to synthetic text |
US8510283B2 (en) | 2006-07-31 | 2013-08-13 | Ricoh Co., Ltd. | Automatic adaption of an image recognition system to image capture devices |
US7991778B2 (en) | 2005-08-23 | 2011-08-02 | Ricoh Co., Ltd. | Triggering actions with captured input in a mixed media environment |
US8677377B2 (en) | 2005-09-08 | 2014-03-18 | Apple Inc. | Method and apparatus for building an intelligent automated assistant |
US7505069B2 (en) * | 2005-10-26 | 2009-03-17 | Hewlett-Packard Development Company, L.P. | Method and apparatus for maintaining consistent white balance in successive digital images |
US8031950B2 (en) * | 2006-01-23 | 2011-10-04 | Microsoft Corporation | Categorizing images of software failures |
US7668405B2 (en) * | 2006-04-07 | 2010-02-23 | Eastman Kodak Company | Forming connections between image collections |
US8243999B2 (en) * | 2006-05-03 | 2012-08-14 | Ut-Battelle, Llc | Method and system for the diagnosis of disease using retinal image content and an archive of diagnosed human patient data |
US9063952B2 (en) | 2006-07-31 | 2015-06-23 | Ricoh Co., Ltd. | Mixed media reality recognition with image tracking |
US8073263B2 (en) | 2006-07-31 | 2011-12-06 | Ricoh Co., Ltd. | Multi-classifier selection and monitoring for MMR-based image recognition |
US9020966B2 (en) | 2006-07-31 | 2015-04-28 | Ricoh Co., Ltd. | Client device for interacting with a mixed media reality recognition system |
US8676810B2 (en) | 2006-07-31 | 2014-03-18 | Ricoh Co., Ltd. | Multiple index mixed media reality recognition using unequal priority indexes |
US8201076B2 (en) | 2006-07-31 | 2012-06-12 | Ricoh Co., Ltd. | Capturing symbolic information from documents upon printing |
US8489987B2 (en) | 2006-07-31 | 2013-07-16 | Ricoh Co., Ltd. | Monitoring and analyzing creation and usage of visual content using image and hotspot interaction |
US9176984B2 (en) | 2006-07-31 | 2015-11-03 | Ricoh Co., Ltd | Mixed media reality retrieval of differentially-weighted links |
US9318108B2 (en) | 2010-01-18 | 2016-04-19 | Apple Inc. | Intelligent automated assistant |
US8103102B2 (en) * | 2006-12-13 | 2012-01-24 | Adobe Systems Incorporated | Robust feature extraction for color and grayscale images |
US8977255B2 (en) | 2007-04-03 | 2015-03-10 | Apple Inc. | Method and system for operating a multi-function portable electronic device using voice-activation |
CN101334780A (zh) * | 2007-06-25 | 2008-12-31 | 英特维数位科技股份有限公司 | 人物影像的搜寻方法、系统及存储影像元数据的记录媒体 |
US9330720B2 (en) | 2008-01-03 | 2016-05-03 | Apple Inc. | Methods and apparatus for altering audio output signals |
US9495386B2 (en) | 2008-03-05 | 2016-11-15 | Ebay Inc. | Identification of items depicted in images |
KR20100121690A (ko) | 2008-03-05 | 2010-11-18 | 이베이 인크. | 이미지 인식 서비스 방법, 시스템 및 컴퓨터 판독가능한 매체 |
US8996376B2 (en) | 2008-04-05 | 2015-03-31 | Apple Inc. | Intelligent text-to-speech conversion |
US10496753B2 (en) | 2010-01-18 | 2019-12-03 | Apple Inc. | Automatically adapting user interfaces for hands-free interaction |
US8300953B2 (en) | 2008-06-05 | 2012-10-30 | Apple Inc. | Categorization of digital media based on media characteristics |
US8229230B2 (en) * | 2008-07-30 | 2012-07-24 | Konica Minolta Laboratory U.S.A., Inc. | Method of digital image comparison for imaging software development |
US20100030549A1 (en) | 2008-07-31 | 2010-02-04 | Lee Michael M | Mobile device having human language translation capability with positional feedback |
US8818978B2 (en) | 2008-08-15 | 2014-08-26 | Ebay Inc. | Sharing item images using a similarity score |
US8218838B2 (en) * | 2008-11-03 | 2012-07-10 | Ut-Battelle, Llc | Method and system for assigning a confidence metric for automated determination of optic disc location |
US9959870B2 (en) | 2008-12-11 | 2018-05-01 | Apple Inc. | Speech recognition involving a mobile device |
US8825660B2 (en) * | 2009-03-17 | 2014-09-02 | Ebay Inc. | Image-based indexing in a network-based marketplace |
US10241752B2 (en) | 2011-09-30 | 2019-03-26 | Apple Inc. | Interface for a virtual digital assistant |
US10255566B2 (en) | 2011-06-03 | 2019-04-09 | Apple Inc. | Generating and processing task items that represent tasks to perform |
US9858925B2 (en) | 2009-06-05 | 2018-01-02 | Apple Inc. | Using context information to facilitate processing of commands in a virtual assistant |
US10241644B2 (en) | 2011-06-03 | 2019-03-26 | Apple Inc. | Actionable reminder entries |
US8385660B2 (en) | 2009-06-24 | 2013-02-26 | Ricoh Co., Ltd. | Mixed media reality indexing and retrieval for repeated content |
US9431006B2 (en) | 2009-07-02 | 2016-08-30 | Apple Inc. | Methods and apparatuses for automatic speech recognition |
US8620078B1 (en) | 2009-07-14 | 2013-12-31 | Matrox Electronic Systems, Ltd. | Determining a class associated with an image |
GB2474281A (en) * | 2009-10-09 | 2011-04-13 | Snell Ltd | Defining image features using local spatial maxima and minima |
US8503733B2 (en) * | 2009-11-16 | 2013-08-06 | Xerox Corporation | Show-through measurement system and method for inks on media |
US9164577B2 (en) | 2009-12-22 | 2015-10-20 | Ebay Inc. | Augmented reality system, method, and apparatus for displaying an item image in a contextual environment |
US10553209B2 (en) | 2010-01-18 | 2020-02-04 | Apple Inc. | Systems and methods for hands-free notification summaries |
US10705794B2 (en) | 2010-01-18 | 2020-07-07 | Apple Inc. | Automatically adapting user interfaces for hands-free interaction |
US10276170B2 (en) | 2010-01-18 | 2019-04-30 | Apple Inc. | Intelligent automated assistant |
US10679605B2 (en) | 2010-01-18 | 2020-06-09 | Apple Inc. | Hands-free list-reading by intelligent automated assistant |
DE202011111062U1 (de) | 2010-01-25 | 2019-02-19 | Newvaluexchange Ltd. | Vorrichtung und System für eine Digitalkonversationsmanagementplattform |
US8682667B2 (en) | 2010-02-25 | 2014-03-25 | Apple Inc. | User profiling for selecting user specific voice input processing information |
US10127606B2 (en) | 2010-10-13 | 2018-11-13 | Ebay Inc. | Augmented reality system and method for visualizing an item |
US10762293B2 (en) | 2010-12-22 | 2020-09-01 | Apple Inc. | Using parts-of-speech tagging and named entity recognition for spelling correction |
US8472726B2 (en) * | 2011-01-07 | 2013-06-25 | Yuval Gronau | Document comparison and analysis |
US8472727B2 (en) * | 2011-01-07 | 2013-06-25 | Yuval Gronau | Document comparison and analysis for improved OCR |
US9262612B2 (en) | 2011-03-21 | 2016-02-16 | Apple Inc. | Device access using voice authentication |
US10057736B2 (en) | 2011-06-03 | 2018-08-21 | Apple Inc. | Active transport based notifications |
US9058331B2 (en) | 2011-07-27 | 2015-06-16 | Ricoh Co., Ltd. | Generating a conversation in a social network based on visual search results |
US8994660B2 (en) | 2011-08-29 | 2015-03-31 | Apple Inc. | Text correction processing |
US9449342B2 (en) | 2011-10-27 | 2016-09-20 | Ebay Inc. | System and method for visualization of items in an environment using augmented reality |
US9977992B2 (en) | 2012-02-28 | 2018-05-22 | Snell Advanced Media Limited | Identifying points of interest in an image |
GB2499799B (en) * | 2012-02-28 | 2019-06-26 | Snell Advanced Media Ltd | Identifying points of interest in an image |
US10134385B2 (en) | 2012-03-02 | 2018-11-20 | Apple Inc. | Systems and methods for name pronunciation |
US9483461B2 (en) | 2012-03-06 | 2016-11-01 | Apple Inc. | Handling speech synthesis of content for multiple languages |
US9934522B2 (en) | 2012-03-22 | 2018-04-03 | Ebay Inc. | Systems and methods for batch- listing items stored offline on a mobile device |
US9280610B2 (en) | 2012-05-14 | 2016-03-08 | Apple Inc. | Crowd sourcing information to fulfill user requests |
US9721563B2 (en) | 2012-06-08 | 2017-08-01 | Apple Inc. | Name recognition system |
US9495129B2 (en) | 2012-06-29 | 2016-11-15 | Apple Inc. | Device, method, and user interface for voice-activated navigation and browsing of a document |
US10846766B2 (en) | 2012-06-29 | 2020-11-24 | Ebay Inc. | Contextual menus based on image recognition |
JP6057629B2 (ja) * | 2012-09-07 | 2017-01-11 | キヤノン株式会社 | 画像処理装置、その制御方法、および制御プログラム |
US9576574B2 (en) | 2012-09-10 | 2017-02-21 | Apple Inc. | Context-sensitive handling of interruptions by intelligent digital assistant |
US9547647B2 (en) | 2012-09-19 | 2017-01-17 | Apple Inc. | Voice-based media searching |
US9007394B2 (en) | 2012-12-21 | 2015-04-14 | Wipro Limited | Method and system for dynamic brightness correction in digital images |
KR20150104615A (ko) | 2013-02-07 | 2015-09-15 | 애플 인크. | 디지털 어시스턴트를 위한 음성 트리거 |
US9368114B2 (en) | 2013-03-14 | 2016-06-14 | Apple Inc. | Context-sensitive handling of interruptions |
CN105027197B (zh) | 2013-03-15 | 2018-12-14 | 苹果公司 | 训练至少部分语音命令系统 |
WO2014144579A1 (en) | 2013-03-15 | 2014-09-18 | Apple Inc. | System and method for updating an adaptive speech recognition model |
US9530072B2 (en) * | 2013-03-15 | 2016-12-27 | Dropbox, Inc. | Duplicate/near duplicate detection and image registration |
WO2014197336A1 (en) | 2013-06-07 | 2014-12-11 | Apple Inc. | System and method for detecting errors in interactions with a voice-based digital assistant |
US9582608B2 (en) | 2013-06-07 | 2017-02-28 | Apple Inc. | Unified ranking with entropy-weighted information for phrase-based semantic auto-completion |
WO2014197334A2 (en) | 2013-06-07 | 2014-12-11 | Apple Inc. | System and method for user-specified pronunciation of words for speech synthesis and recognition |
WO2014197335A1 (en) | 2013-06-08 | 2014-12-11 | Apple Inc. | Interpreting and acting upon commands that involve sharing information with remote devices |
CN105264524B (zh) | 2013-06-09 | 2019-08-02 | 苹果公司 | 用于实现跨数字助理的两个或更多个实例的会话持续性的设备、方法、和图形用户界面 |
US10176167B2 (en) | 2013-06-09 | 2019-01-08 | Apple Inc. | System and method for inferring user intent from speech inputs |
KR101809808B1 (ko) | 2013-06-13 | 2017-12-15 | 애플 인크. | 음성 명령에 의해 개시되는 긴급 전화를 걸기 위한 시스템 및 방법 |
DE112014003653B4 (de) | 2013-08-06 | 2024-04-18 | Apple Inc. | Automatisch aktivierende intelligente Antworten auf der Grundlage von Aktivitäten von entfernt angeordneten Vorrichtungen |
US9620105B2 (en) | 2014-05-15 | 2017-04-11 | Apple Inc. | Analyzing audio input for efficient speech and music recognition |
US10592095B2 (en) | 2014-05-23 | 2020-03-17 | Apple Inc. | Instantaneous speaking of content on touch devices |
US9502031B2 (en) | 2014-05-27 | 2016-11-22 | Apple Inc. | Method for supporting dynamic grammars in WFST-based ASR |
US10170123B2 (en) | 2014-05-30 | 2019-01-01 | Apple Inc. | Intelligent assistant for home automation |
US9633004B2 (en) | 2014-05-30 | 2017-04-25 | Apple Inc. | Better resolution when referencing to concepts |
US9430463B2 (en) | 2014-05-30 | 2016-08-30 | Apple Inc. | Exemplar-based natural language processing |
US9734193B2 (en) | 2014-05-30 | 2017-08-15 | Apple Inc. | Determining domain salience ranking from ambiguous words in natural speech |
EP3149728B1 (en) | 2014-05-30 | 2019-01-16 | Apple Inc. | Multi-command single utterance input method |
US9715875B2 (en) | 2014-05-30 | 2017-07-25 | Apple Inc. | Reducing the need for manual start/end-pointing and trigger phrases |
US9760559B2 (en) | 2014-05-30 | 2017-09-12 | Apple Inc. | Predictive text input |
US9842101B2 (en) | 2014-05-30 | 2017-12-12 | Apple Inc. | Predictive conversion of language input |
US10289433B2 (en) | 2014-05-30 | 2019-05-14 | Apple Inc. | Domain specific language for encoding assistant dialog |
US9785630B2 (en) | 2014-05-30 | 2017-10-10 | Apple Inc. | Text prediction using combined word N-gram and unigram language models |
US10078631B2 (en) | 2014-05-30 | 2018-09-18 | Apple Inc. | Entropy-guided text prediction using combined word and character n-gram language models |
US9338493B2 (en) | 2014-06-30 | 2016-05-10 | Apple Inc. | Intelligent automated assistant for TV user interactions |
US10659851B2 (en) | 2014-06-30 | 2020-05-19 | Apple Inc. | Real-time digital assistant knowledge updates |
US10446141B2 (en) | 2014-08-28 | 2019-10-15 | Apple Inc. | Automatic speech recognition based on user feedback |
US9818400B2 (en) | 2014-09-11 | 2017-11-14 | Apple Inc. | Method and apparatus for discovering trending terms in speech requests |
US10789041B2 (en) | 2014-09-12 | 2020-09-29 | Apple Inc. | Dynamic thresholds for always listening speech trigger |
US9668121B2 (en) | 2014-09-30 | 2017-05-30 | Apple Inc. | Social reminders |
US10127911B2 (en) | 2014-09-30 | 2018-11-13 | Apple Inc. | Speaker identification and unsupervised speaker adaptation techniques |
US9886432B2 (en) | 2014-09-30 | 2018-02-06 | Apple Inc. | Parsimonious handling of word inflection via categorical stem + suffix N-gram language models |
US10074360B2 (en) | 2014-09-30 | 2018-09-11 | Apple Inc. | Providing an indication of the suitability of speech recognition |
US9646609B2 (en) | 2014-09-30 | 2017-05-09 | Apple Inc. | Caching apparatus for serving phonetic pronunciations |
US10552013B2 (en) | 2014-12-02 | 2020-02-04 | Apple Inc. | Data detection |
US9711141B2 (en) | 2014-12-09 | 2017-07-18 | Apple Inc. | Disambiguating heteronyms in speech synthesis |
US9865280B2 (en) | 2015-03-06 | 2018-01-09 | Apple Inc. | Structured dictation using intelligent automated assistants |
US9886953B2 (en) | 2015-03-08 | 2018-02-06 | Apple Inc. | Virtual assistant activation |
US10567477B2 (en) | 2015-03-08 | 2020-02-18 | Apple Inc. | Virtual assistant continuity |
US9721566B2 (en) | 2015-03-08 | 2017-08-01 | Apple Inc. | Competing devices responding to voice triggers |
US9899019B2 (en) | 2015-03-18 | 2018-02-20 | Apple Inc. | Systems and methods for structured stem and suffix language models |
US9842105B2 (en) | 2015-04-16 | 2017-12-12 | Apple Inc. | Parsimonious continuous-space phrase representations for natural language processing |
US10083688B2 (en) | 2015-05-27 | 2018-09-25 | Apple Inc. | Device voice control for selecting a displayed affordance |
US10127220B2 (en) | 2015-06-04 | 2018-11-13 | Apple Inc. | Language identification from short strings |
US9578173B2 (en) | 2015-06-05 | 2017-02-21 | Apple Inc. | Virtual assistant aided communication with 3rd party service in a communication session |
US10101822B2 (en) | 2015-06-05 | 2018-10-16 | Apple Inc. | Language input correction |
US10186254B2 (en) | 2015-06-07 | 2019-01-22 | Apple Inc. | Context-based endpoint detection |
US10255907B2 (en) | 2015-06-07 | 2019-04-09 | Apple Inc. | Automatic accent detection using acoustic models |
US11025565B2 (en) | 2015-06-07 | 2021-06-01 | Apple Inc. | Personalized prediction of responses for instant messaging |
US10671428B2 (en) | 2015-09-08 | 2020-06-02 | Apple Inc. | Distributed personal assistant |
US10747498B2 (en) | 2015-09-08 | 2020-08-18 | Apple Inc. | Zero latency digital assistant |
US9697820B2 (en) | 2015-09-24 | 2017-07-04 | Apple Inc. | Unit-selection text-to-speech synthesis using concatenation-sensitive neural networks |
US11010550B2 (en) | 2015-09-29 | 2021-05-18 | Apple Inc. | Unified language modeling framework for word prediction, auto-completion and auto-correction |
US10366158B2 (en) | 2015-09-29 | 2019-07-30 | Apple Inc. | Efficient word encoding for recurrent neural network language models |
US11587559B2 (en) | 2015-09-30 | 2023-02-21 | Apple Inc. | Intelligent device identification |
US10691473B2 (en) | 2015-11-06 | 2020-06-23 | Apple Inc. | Intelligent automated assistant in a messaging environment |
US10049668B2 (en) | 2015-12-02 | 2018-08-14 | Apple Inc. | Applying neural network language models to weighted finite state transducers for automatic speech recognition |
US10223066B2 (en) | 2015-12-23 | 2019-03-05 | Apple Inc. | Proactive assistance based on dialog communication between devices |
JP6590690B2 (ja) * | 2015-12-25 | 2019-10-16 | 富士フイルム株式会社 | 細胞画像検索装置および方法並びにプログラム |
US10446143B2 (en) | 2016-03-14 | 2019-10-15 | Apple Inc. | Identification of voice inputs providing credentials |
US9934775B2 (en) | 2016-05-26 | 2018-04-03 | Apple Inc. | Unit-selection text-to-speech synthesis based on predicted concatenation parameters |
US9972304B2 (en) | 2016-06-03 | 2018-05-15 | Apple Inc. | Privacy preserving distributed evaluation framework for embedded personalized systems |
US10249300B2 (en) | 2016-06-06 | 2019-04-02 | Apple Inc. | Intelligent list reading |
US10049663B2 (en) | 2016-06-08 | 2018-08-14 | Apple, Inc. | Intelligent automated assistant for media exploration |
DK179309B1 (en) | 2016-06-09 | 2018-04-23 | Apple Inc | Intelligent automated assistant in a home environment |
US10067938B2 (en) | 2016-06-10 | 2018-09-04 | Apple Inc. | Multilingual word prediction |
US10509862B2 (en) | 2016-06-10 | 2019-12-17 | Apple Inc. | Dynamic phrase expansion of language input |
US10586535B2 (en) | 2016-06-10 | 2020-03-10 | Apple Inc. | Intelligent digital assistant in a multi-tasking environment |
US10490187B2 (en) | 2016-06-10 | 2019-11-26 | Apple Inc. | Digital assistant providing automated status report |
US10192552B2 (en) | 2016-06-10 | 2019-01-29 | Apple Inc. | Digital assistant providing whispered speech |
DK179415B1 (en) | 2016-06-11 | 2018-06-14 | Apple Inc | Intelligent device arbitration and control |
DK179049B1 (en) | 2016-06-11 | 2017-09-18 | Apple Inc | Data driven natural language event detection and classification |
DK179343B1 (en) | 2016-06-11 | 2018-05-14 | Apple Inc | Intelligent task discovery |
DK201670540A1 (en) | 2016-06-11 | 2018-01-08 | Apple Inc | Application integration with a digital assistant |
US10043516B2 (en) | 2016-09-23 | 2018-08-07 | Apple Inc. | Intelligent automated assistant |
US10593346B2 (en) | 2016-12-22 | 2020-03-17 | Apple Inc. | Rank-reduced token representation for automatic speech recognition |
DK201770439A1 (en) | 2017-05-11 | 2018-12-13 | Apple Inc. | Offline personal assistant |
DK179496B1 (en) | 2017-05-12 | 2019-01-15 | Apple Inc. | USER-SPECIFIC Acoustic Models |
DK179745B1 (en) | 2017-05-12 | 2019-05-01 | Apple Inc. | SYNCHRONIZATION AND TASK DELEGATION OF A DIGITAL ASSISTANT |
DK201770431A1 (en) | 2017-05-15 | 2018-12-20 | Apple Inc. | Optimizing dialogue policy decisions for digital assistants using implicit feedback |
DK201770432A1 (en) | 2017-05-15 | 2018-12-21 | Apple Inc. | Hierarchical belief states for digital assistants |
DK179560B1 (en) | 2017-05-16 | 2019-02-18 | Apple Inc. | FAR-FIELD EXTENSION FOR DIGITAL ASSISTANT SERVICES |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH0478972A (ja) * | 1990-07-23 | 1992-03-12 | Nippon Telegr & Teleph Corp <Ntt> | 濃淡画像識別装置 |
JPH0528366A (ja) * | 1991-07-24 | 1993-02-05 | Brother Ind Ltd | クレジツト取引処理装置 |
JPH07334673A (ja) * | 1994-06-13 | 1995-12-22 | Mitsubishi Electric Corp | 目標検出方法及び目標検出装置 |
JPH09293082A (ja) * | 1996-04-26 | 1997-11-11 | Toshiba Corp | 画像検索装置及び画像検索方法 |
JPH10269355A (ja) * | 1997-03-27 | 1998-10-09 | Monorisu:Kk | 多重解像度フィルタ処理方法およびその方法を利用することのできる画像マッチング方法 |
JP2001319232A (ja) * | 2000-05-11 | 2001-11-16 | Fuji Xerox Co Ltd | 類似画像検索装置および類似画像検索方法 |
Family Cites Families (14)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2564959B2 (ja) * | 1990-03-07 | 1996-12-18 | 富士ゼロックス株式会社 | 画像処理装置の絵文字領域識別方式 |
US5329379A (en) * | 1992-10-22 | 1994-07-12 | International Business Machines Corporation | System and method of measuring fidelity of decompressed video signals and images |
JP3636332B2 (ja) * | 1993-12-24 | 2005-04-06 | セイコーエプソン株式会社 | 画像処理方法および画像処理装置 |
US5982926A (en) * | 1995-01-17 | 1999-11-09 | At & T Ipm Corp. | Real-time image enhancement techniques |
JPH08285799A (ja) * | 1995-04-11 | 1996-11-01 | Jeol Ltd | 面分析装置 |
JP3380660B2 (ja) * | 1995-10-25 | 2003-02-24 | 大日本スクリーン製造株式会社 | 画像処理装置 |
US5963670A (en) * | 1996-02-12 | 1999-10-05 | Massachusetts Institute Of Technology | Method and apparatus for classifying and identifying images |
US6061471A (en) * | 1996-06-07 | 2000-05-09 | Electronic Data Systems Corporation | Method and system for detecting uniform images in video signal |
JP3935548B2 (ja) * | 1997-02-27 | 2007-06-27 | オリンパス株式会社 | 画像信号処理装置 |
JP3585703B2 (ja) * | 1997-06-27 | 2004-11-04 | シャープ株式会社 | 画像処理装置 |
JP3237582B2 (ja) * | 1997-08-28 | 2001-12-10 | 富士ゼロックス株式会社 | 画像処理装置及び画像処理方法 |
JP3512604B2 (ja) * | 1997-09-11 | 2004-03-31 | シャープ株式会社 | 画像処理装置、および、そのプログラムを記録した記録媒体 |
US6389169B1 (en) * | 1998-06-08 | 2002-05-14 | Lawrence W. Stark | Intelligent systems and methods for processing image data based upon anticipated regions of visual interest |
US6249603B1 (en) * | 1998-06-16 | 2001-06-19 | Xerox Corporation | Efficient search for a gray-level pattern in an image |
-
2001
- 2001-04-09 US US09/829,145 patent/US6690828B2/en not_active Expired - Fee Related
-
2002
- 2002-04-05 CA CA002444329A patent/CA2444329A1/en not_active Abandoned
- 2002-04-05 EP EP02717768A patent/EP1390912A4/en not_active Withdrawn
- 2002-04-05 AU AU2002248750A patent/AU2002248750A1/en not_active Abandoned
- 2002-04-05 JP JP2002580262A patent/JP2004522228A/ja active Pending
- 2002-04-05 WO PCT/US2002/010607 patent/WO2002082373A2/en active Application Filing
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH0478972A (ja) * | 1990-07-23 | 1992-03-12 | Nippon Telegr & Teleph Corp <Ntt> | 濃淡画像識別装置 |
JPH0528366A (ja) * | 1991-07-24 | 1993-02-05 | Brother Ind Ltd | クレジツト取引処理装置 |
JPH07334673A (ja) * | 1994-06-13 | 1995-12-22 | Mitsubishi Electric Corp | 目標検出方法及び目標検出装置 |
JPH09293082A (ja) * | 1996-04-26 | 1997-11-11 | Toshiba Corp | 画像検索装置及び画像検索方法 |
JPH10269355A (ja) * | 1997-03-27 | 1998-10-09 | Monorisu:Kk | 多重解像度フィルタ処理方法およびその方法を利用することのできる画像マッチング方法 |
JP2001319232A (ja) * | 2000-05-11 | 2001-11-16 | Fuji Xerox Co Ltd | 類似画像検索装置および類似画像検索方法 |
Also Published As
Publication number | Publication date |
---|---|
WO2002082373A2 (en) | 2002-10-17 |
CA2444329A1 (en) | 2002-10-17 |
EP1390912A2 (en) | 2004-02-25 |
US20020146176A1 (en) | 2002-10-10 |
US6690828B2 (en) | 2004-02-10 |
EP1390912A4 (en) | 2005-10-12 |
AU2002248750A1 (en) | 2002-10-21 |
WO2002082373A3 (en) | 2002-12-12 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP2004522228A (ja) | ディジタル画像を表現し比較する方法 | |
CN110348294B (zh) | Pdf文档中图表的定位方法、装置及计算机设备 | |
JP2776295B2 (ja) | 画像インデックス生成方法及び画像インデックス生成装置 | |
CN111524137B (zh) | 基于图像识别的细胞识别计数方法、装置和计算机设备 | |
US8391593B2 (en) | Image processing methods and systems | |
JP4559437B2 (ja) | デジタルカラー画像における空の検出 | |
US20120251003A1 (en) | Image processing system and method | |
JP2006338313A (ja) | 類似画像検索方法,類似画像検索システム,類似画像検索プログラム及び記録媒体 | |
CN110598715A (zh) | 图像识别方法、装置、计算机设备及可读存储介质 | |
CN113033516A (zh) | 对象识别统计方法及装置、电子设备、存储介质 | |
CN111666442A (zh) | 一种图像检索方法、装置及计算机设备 | |
CN111612004A (zh) | 一种基于语义内容的图像裁剪方法及装置 | |
JPH10260983A (ja) | 画像検索装置及び方法 | |
KR20190044761A (ko) | 이미지 처리 장치 및 방법 | |
JP2004021430A (ja) | 画像検索装置、画像検索方法及び画像検索プログラム | |
KR100312331B1 (ko) | 내용기반영상검색방법및장치 | |
JP3661287B2 (ja) | 画像登録装置および方法 | |
JP2005141776A (ja) | 画像抽出装置および方法 | |
JPH06318256A (ja) | 画像検索装置 | |
US20220414393A1 (en) | Methods and Systems for Generating Composite Image Descriptors | |
JP2002183732A (ja) | パターン認識方法及びパターン認識を行わせるプログラムを記憶したコンピュータ読み取り可能な記憶媒体 | |
JP2001319232A (ja) | 類似画像検索装置および類似画像検索方法 | |
CN115082999A (zh) | 合影图像人物分析方法、装置、计算机设备和存储介质 | |
JP2011141664A (ja) | 文書比較装置、文書比較方法、及びプログラム | |
JP2004192121A (ja) | 画像検索装置、画像分類方法、画像検索方法、及びプログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20050330 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20070518 |
|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20071102 |