JP2004522228A - ディジタル画像を表現し比較する方法 - Google Patents

ディジタル画像を表現し比較する方法 Download PDF

Info

Publication number
JP2004522228A
JP2004522228A JP2002580262A JP2002580262A JP2004522228A JP 2004522228 A JP2004522228 A JP 2004522228A JP 2002580262 A JP2002580262 A JP 2002580262A JP 2002580262 A JP2002580262 A JP 2002580262A JP 2004522228 A JP2004522228 A JP 2004522228A
Authority
JP
Japan
Prior art keywords
cell
image
cells
digital
representation
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2002580262A
Other languages
English (en)
Inventor
メイアーズ、ゲーリー、エリオット
Original Assignee
メイアーズ、ゲーリー、エリオット
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by メイアーズ、ゲーリー、エリオット filed Critical メイアーズ、ゲーリー、エリオット
Publication of JP2004522228A publication Critical patent/JP2004522228A/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/90Determination of colour characteristics
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/40Extraction of image or video features
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20021Dividing image into blocks, subimages or windows

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Image Analysis (AREA)
  • Investigating Or Analysing Biological Materials (AREA)

Abstract

ディジタル画像の簡潔な表現を発生する方法が記述されている。ディジタル画像は正方形ビットマップに変換され、複数個のセルに分割される。各セルは複数個の領域に副分割される。複数個のセルの各組で各セルの最小明暗度領域と最大明暗度領域とが認識される。セルの最小明暗度領域と最大明暗度領域の位置を基にセルの各組中の各セルに対してセル表現データが発生される。画像のセルの各組のセル表現データの全てを組合わせて、元のディジタル画像の簡潔な表現を作成する。セル表現データを比較する方法も説明されている。ソース画像の集合のセル表現データがデータベースに構成される。データベースの探索は、ターゲット画像に少なくとも最小に同様である候補画像を識別する。次いでターゲット画像が各識別された候補画像と直接比較され、各候補画像の同様性スコアが計算され記録される。

Description

【技術分野】
【0001】
(関連出願との相互参照)なし
本発明は、異なる画像を互いに比較することを可能とする方法でディジタル画像を表現する方法に関係する。ディジタル画像を画像データベースに記憶する時、どの画像を記憶したか、そして各々をどこに配置したかを覚えるのは困難である。個人が新たな画像を追加する時、新たな画像を記憶画像と迅速に比較し、データベースが既に同様の画像またはこれと似たものを含んでいるかどうかを決定できると有用である。
【背景技術】
【0002】
同様な似た画像はいくつかの異なるソースから発生する。例えば、画像ソフトウェアを使用して、ディジタル写真のテキストを追加したり、トリミングしたり、またはコントラストを増加できる。さらに、わずかに異なった視点から、または異なった露出設定で2つの画像が同じ対象を表示しても良い。このような場合、同一ではないが互いに同様な似た画像が生じる。ユーザーに同様な画像が既にデータベースに記憶されているかどうかを知らせて、ユーザーの時間と記憶空間を節約するシステムがあると有用である。さらに、関連画像を識別することにより、前記システムは関連画像を互いに自動的に構成しグループ分けすることにより画像管理処理を補助できる。
【発明の開示】
【発明が解決しようとする課題】
【0003】
多数の画像管理アプリケーションが、ユーザーがデータベース中の画像にテキストを、通常コメントまたは説明欄に手動で関連付けることを可能としている。ユーザーはこの記憶テキストを基に画像を検索可能である(例えば「バラ」コメントを有する全ての画像を表示する)。複雑な画像処理技術により同様な画像を識別するコンテンツベースの画像検索システムが開発されてきた。これらの画像比較アルゴリズムはしばしば計算量が膨大であり、その結果を返すまでに相当な時間が掛かる。これらのシステムで使用される方法は、色、形状、及びテキスチャ計算としばしば関係し、ユーザーによる膨大なパラメータ調節を必要とし、時間のかかるデータ処理技術を使用している。同様な画像を見出すため、ディジタル画像を互いに比較する簡単で高速な方法の必要がある。
【課題を解決するための手段】
【0004】
(発明の要約)
本発明によるディジタル画像の表現を発生する方法は、元の画像を正方形のビットマップに変換し、次いでビットマップを複数個の正方形セルに分割する段階を含む。各セルはさらに複数個の正方形領域に副分割される。各セルで最小明暗度(intensity)(輝度:brightness)を有する領域と最大明暗度を有する領域の両方を見出す。最小明暗度値、最大明暗度値、及び最大明暗度領域に対する最小明暗度領域の相対位置が各セルの表現データを構成する。元のディジタル画像の簡潔な表現を作成するために、本方法は正方形ビットマップ中の各セルの表現データを組合わせる。
【0005】
本発明の方法の重要な関係式は、視覚的に同様な画像は同様なセル表現データを発生する点である。画像を比較し画像ライブラリ中の同様な画像を検索するために本方法により相対的に少量の情報が使用される。本発明の方法は、ディジタル画像を表現し互いに比較する従来技術より複雑でなく、かつより効率的である。画像は少量の情報により正確に表現され、相対的に迅速で堅牢な方法で互いに比較できる。
【0006】
(発明の詳細な説明)
開示の都合上、ソース画像を、セル表現データを計算する画像または大画像の一部として定義する。ターゲット画像は現在の同様な画像検索の対象であるソース画像を一般的に識別する。候補画像は、現在のターゲット画像との同様性を決定するために検査されている画像である。ターゲット及び候補画像の表現データを含む画像の集団を画像ライブラリまたは画像データベースと呼ぶ。
【0007】
画像を本方法で表現する時、そのセル表現データが計算され、必要に応じて、ユーザーのデータベースの同様の画像を探索する。または、本方法を使用して、ユーザーが探索を実行したい時にターゲット及び候補画像のセル表現データを計算し、これによりユーザーが永続的な画像データベースを保持することをオプションとしてもよい。
【0008】
図1は、本発明の方法を矩形(1021x739ピクセル)ソース画像に適用することにより発生された正方形ビットマップ画像28Aを示す。(本発明により操作されるビットマップを一般的に指す時、参照番号「28」を使用し、特定のビットマップを指す時には、番号「28」に文字を追加する。)ビットマップ28Aは本方法によりたまたま9個のセル30に分割された。いくつかのセルをマーク付けして、その最小明暗度(最も暗い)領域32Aとその最大明暗度(最も明るい)領域32Bと相対位置を示す。これらの領域32Aと32Bは最暗領域から最明領域へ引かれた線36により接続される。(一般的に明暗度領域を参照する時、参照番号「32」を使用し、最小及び最大明暗度領域を参照する時、文字「A」と「B」を各々参照番号「32」に添付する。)セル明暗度角度38は、線36が水平基準線40に対して形成する角度(0から359)として示される。明確な最明及び最暗領域を決定するセル中の十分なコントラストがない場合、そのセルの明暗度角度値は「低コントラスト」定数値に設定される。図1の上右隅に示すように、この値は−1が望ましいが、他の値を使用してもよい。
【0009】
本発明の方法は、明暗度以外の画像属性にも、単独でまたは明暗度値と組合わせて、組み込むようにできることも理解すべきである。このような属性には、以下には限定されないが、色、色相、彩度、バリュー、輝度、及びクロミナンスを含む。さらに、本方法が画像明暗度を使用してセル表現データを計算していて、低コントラスト・セル30が優勢な画像に出会った時に、ビットマップ画像28のセルのコントラストを動的に増強し、当該画像のセル表現データを再計算する。これは、「ぼやけ(washed out)」画像が実際には顕著な相違がある時に互いに同様なものとして誤って分類されることを防止する助けとなる。
【0010】
図2は、本発明によるディジタル画像の表現を発生する望ましい方法を図示する流れ図である。ディジタル画像はその本来のファイル形式(.jpg、.bmp、.tifまたはその他の形式)で本方法に提供され、次いで「装置独立なビットマップ」に変換されてマイクロソフト(R)・ウィンドウズ(R)画像プログラム技術を使用する(図2のブロック10)。ソース画像が正方形ビットマップ28に変換されると、これは元のソース画像の正方形表現を作成するために引伸ばされる、及び/または圧縮される。例えば、942x617ピクセルのソース画像を500x500ピクセルのビットマップ(他の寸法を使用してもよい)に圧縮し、垂直方向より水平方向により短縮する。この結果、元のソース画像が、その寸法に係わらず、本方法には正方形ビットマップ28として提示される。望ましい実施例では、このビットマップ変換にウィンドウズ(R)・オペレーティングシステムの「ビット伸張(StretchBit)」画像関数を使用するが、同様の作業を他の画像処理ルーティンが実行することも可能である。
【0011】
正方形ビットマップ28は次いで以後の解析用に多数のセル30に分割される(ブロック12)。ビットマップ28は、多分3かける3格子(9格子)から開始して多分9かける9格子(81格子)まで、連続的により細かいセル格子に分割することが望ましい。各格子はセルの2次元アレイを近似し、アレイの各寸法は都合上セル寸法と呼ぶ。各格子のセルは、格子の左上隅のセルをセル(1、1)と識別できるよう番号付けされることが望ましい。残りのセルも同様に番号付けられ、各セルはその行と列を識別子として使用して格子の位置を識別する。ビットマップ28の各連続した分割から発生される追加データは比較過程で繰返し的に使用されることが望ましく、各格子寸法の同様性スコアが集められてより正確な結果を生成する。
【0012】
図2のブロック14では、ビットマップ28のセル30の各々がさらに正方形領域32に副分割される。領域32は6かける6格子、各セル30中で全体で36領域として実装されることが望ましいが、この領域数は変更してもよい。
【0013】
ブロック16では、領域32の各々が処理されて当該領域に含まれるピクセルの全体明暗度を合計する。24ビット色深度を使用する実装では、各ピクセルの赤、青、及び緑成分を表す3バイトを加算する段階を含む。ピクセル明暗度を計算するために定義された各種の公式に従って、オプションの重み付けを適用して赤、青及び緑値を調節する。この過程は各領域32の全体明暗度(輝度)を表す整数値を計算する。上述したように、ピクセル明暗度の代わりに、またはこれに加えてその他の画像属性を使用してもよいことに注意されたい。各領域32の全体ピクセル明暗度をセル30の現在の最小及び最大ピクセル明暗度と比較する。領域32のピクセル明暗度がセル30の新たな最小または最大である場合、その値を当該セルの新たな最小または最大明暗度値として保存する。セル30の当該領域32の相対X及びY座標も保存され、従ってセル30の最暗32Aと最輝32B領域の位置も容易に検索される。各セル30の全ての領域32の全ピクセル明暗度を計算するまでこの段階が続行する。明確な最暗領域32Aと最輝領域32Bを決定するのに十分なコントラストがセル30にない場合、当該セル30の値は任意に定義された「低コントラスト」定数値ブロック20に設定される。
【0014】
明確な最暗領域32Aと明確な最輝領域32Bがセル30に見出された場合、セル30の最暗領域32Aから最輝領域32Bへの線36と水辺基準線40との間に形成された角度が計算される。この角度はセル30ブロック22の明暗度角度と呼ばれる。角度計算は、ブロック18により表される段階で各セル30に見出された最小明暗度領域32Aと最大明暗度領域32BのX及びY座標を使用する。水平基準線40は最小明暗度領域32Aを通過する。明暗度角度は、基準線40から開始して最小明暗度領域32Aから最大明暗度領域32Bへ反時計回り方向に移動することにより計算することが望ましい。角度は0から359までの範囲の整数として表現されることが望ましいが、計測単位はこの代わりに、整数でコード化されたまたは浮動小数点数として表現されたラディアン値も可能である。
【0015】
本発明の方法は元のソース画像の特定のコンピュータ・ファイル形式に依存しない。本方法はツルーカラー画像(1670万色、24ビット色深度)と共に、画像のピクセルの相対明暗度(輝度)が決定可能である限り、他の全ての色深度も解析可能である。同様に、本方法は、望ましい実施例ではその色ではなく画像のピクセルの明暗度を主に問題にしているため、カラー画像と白黒画像の両方を処理可能である。本方法はマイクロソフト(R)・ウィンドウズ(R)を使用したパーソナルコンピュータで実行されることが望ましいが、その他の計算装置やオペレーティングシステムを使用してもよい。
【0016】
上述したように、本発明の方法は正方形ビットマップ28中の複数個のセルの各々に対して明暗度角度を計算するか、または「低コントラスト」定数を割当てる。これらの明暗度角度値が、本発明が画像の比較用に使用する重要なセル表現データであるが、各セルからの最小及び最大領域明暗度和も明暗度角度に加えて記憶し使用してもよい。画像比較及び検索システムでその他の画像データも収集し、その他の値も計算し、その他の処理段階を実行してもよい。
【0017】
視覚的に同様なディジタル画像に対して、本発明の方法は画像間の対応するセルに対して同様の似た明暗度角度値を計算することが示されている。画像が画像エディタにより変更され(例えば、全体の赤色バランスを増加する)、データ圧縮の各種レベルで保存され(従って各種サイズのディジタル画像ファイルを生成)、または異なる画像寸法に再形成されたとしてもこれは正しい。本方法はディジタル画像の比較過程を自動化し、画像データベースから同様の似た画像を検索することを可能とする。
【0018】
図3Aから3Cは、ソース画像の異なる3つの版に本発明を適用することにより発生された3つの正方形ビットマップ画像28を図示する。図3Aに示した、ビットマップ画像28Bは元の316、047バイトjpeg(.jpg)ソース画像から得られる。図3Bは、図3Aのソース画像と、ファイルサイズと画像寸法の両方が小さい、圧縮版である67、210バイトjpegソース画像から得られる。図3Cは、図3Aのソース画像の他の版である2、850、954バイト・ビットマップ画像(.jpgではなく.bmpファイル)から得られる。画像寸法を増大し、テキストを追加し、ファイル型式を変更し、コントラストを減少し、赤色バランスを増加することを含む、各種の変更を加えて図3Cのソース画像を作成している。
【0019】
図3A、3B、3Cの3つの異なるビットマップ画像28B、28C、28Dの対応するセルの比較から、対応するセルのセル表現データは大体同一であるかまたは同様であることが分かる。様々な技術を使用して整合画像を検出し、ターゲット画像と候補画像の集合との間で同様性の程度を決定する。例えば、角度範囲を設定して整合セルを識別可能である(例えば、ターゲット画像の各セルの明暗度角度、プラスマイナス10度)。次いで候補画像の対応するセルの明暗度角度が指定した角度範囲内である場合、2つのセル30は整合セルであるものと見なす。整合画像を指示するために、整合しなければならないセル数の最小閾値を指定してもよい(例えば、25の内の21整合セルが必要)。以下に記述する同様の画像を見出す別の技術は、ターゲット画像と各候補画像の対応するセル間の相違を加算することにより各画像の「同様性スコア」を計算する段階を含む。セル表現データを解析することにより同様の画像を識別するその他の技術も使用してもよい。セル表現データのデータベースは探索を実行する度に発生されてもよいが、画像ライブラリ自体を作成する時にデータベースを作成し、画像ライブラリから画像を追加または削除した時にセル表現データベースを更新することが望ましい。
【0020】
画像を比較する時、画像のある部分に焦点を当てることも有用である。例えば、多くの写真プロセッサは顧客の注文で全寸法の画像の小さな「サムネール(thumbnail:親指の爪)」画像のアレイから構成されるインデックス画像を提供する。サムネール画像の一つをターゲット画像として選択することにより、ユーザーはインデックス画像の選択部分と同様な画像を画像ライブラリから検索できる。検索用にターゲット画像を選択することは、ソース画像に他の型式のトリミングを適用し、これによりビットマップ画像28の定義をソース画像の丁度選択した部分に限定することにより達成される。さらに、セル表現データ値の相違を同等に扱うのではなく、比較過程がターゲット画像と各候補画像間のある相違の重要性を増減するよう、ビットマップ画像28のセル表現データ38を重み付けしてもよい。
【0021】
図4を参照して、ターゲットと候補画像の同様性を計算する1つの処理過程を説明する。図2と関連して説明したように得られたセル表現データ38を使用して比較過程が実行される。この処理では、同様画像検索ブロック40を実行するのに必要な時間とメモリを削減するため、画像の明暗度角度を他のより小さなスケールに置き換えるのが有用である。本発明の方法の1つの例示実施例では、0から359の範囲の元の明暗度角度を4のモジュラスを使用して置き換えて、0から89の明暗度角度インデックス範囲の値に縮める。さらに、「低コントラスト」値を90の明暗度角度インデックス値に置き換える。この置き換え段階は必ずしも必要な段階ではなく、必要ならば除いてもよいことに注意されたい。
【0022】
ユーザーの画像データベースは、ソース画像の各セルの明暗度角度値に従って構成されるのが望ましく、さらには、上述した置換明暗度角度インデックスに従って構成されるのが望ましい。本発明のこの特定の例では、91の角度インデックス分類50が、0から90の各明暗度角度インデックスに対して1つづつデータベースに保持される(図5参照)。各角度インデックス分類50は1つ以上の2次元アレイ52を含む。最大で、ソース画像が分割される各セル寸法に対して1つのこれらのアレイがあってもよいが、より少ないアレイを使用してもよい。アレイ52は画像セル格子と同様な方法で指標付けされ、従って、例えば、あるセル寸法のアレイの位置1、1は関係するセル格子の上左隅に対応する。画像データベースを構成するこの段階は本発明の方法を実装する際に有用であるが、画像を比較する度に全セル表現データのデータベースをアクセスし検索してもよいという点でオプションであることを理解すべきである。
【0023】
各アレイ52は、アレイ52と対応するセル格子中のそのセル表現データから同じ与えられた明暗度角度インデックスを計算したデータベース中の全てのソース画像を識別する。例えば、図5を参照すると、角度インデックス分類0のアレイ位置(1、1)は、ビットマップ画像28格子のセル(1、1)に0の明暗度角度インデックスを有するデータベース中の各画像を識別する。図5の例では、画像ライブラリ中の画像の中で、ソース画像img3、img5及びimg8がセル(1、1)の明暗度角度インデックス0を有する。認められるように、このようなデータ構造は、与えられたターゲット画像のそれと同一または同様な明暗度角度インデックスを有する少なくとも1つのセルを含む候補画像を識別するよう迅速に検索できる。
【0024】
本発明の方法を効率的に実装するため、同様な画像を探索する時に全画像ライブラリを走査することを避けるのが望ましい。しかしながら、同時に、同様な画像探索を実行する時に、多分同様な画像の脱落を避けることもきわめて重要である。従って、セル表現データのデータベースを探索する1つの方法の第1段階は、現在のターゲット画像と少なくともある程度の同様性を有する候補画像の識別を含む。この段階は、ターゲット画像と少なくとも1点の同様性を有するデータベース中の全ての画像を候補画像として選択する。この検査に合格した全ての画像は、ターゲット画像中の対応するセル30のセル表現データ38と同様であるか、または指定した偏差内であるセル表現データ38を有するセル30を有している。
【0025】
上記した探索アルゴリズムを使用して、セル表現データベースを走査し、現在のターゲット画像の候補画像のリストを作成する。この段階は図4の44に示している。この比較的制限のゆるいベンチマーク作業に合格した候補画像の各々に対して、ターゲット及び候補画像を分割した全てのセル寸法に渡って完全なセル対セル比較を実行する(図4の段階46)。個々のセル同様性を加算すると、各候補画像の全体画像同様性スコアを作成する。候補画像は次いでその同様性スコアによりソートされてどの画像がターゲット画像と一番似ているかを示す。通常、ターゲット画像自体が第1の同様画像としてリストされ、これに基本の同様性スコアが割当てられ、これに対して全ての候補画像のスコアが比較される。望ましい実施例では、完全な同様性は任意に零に初期化され、従ってこの同様性スコアが各探索の開始時に各ターゲット画像に割当てられる。この例では、ターゲット画像と同一ではない各候補画像の同様性スコアは零より大きい。この例では、同様性スコアが高くなればなるほど、ターゲットと候補画像間の相違が大きくなる。この過程を高速化する1つの方法は、同様性スコアの計算に上限を設定することである。画像が上限を越えた時、可能な同様画像としてのその画像への考慮は停止する。
【0026】
ターゲット画像の対応するセルに対する候補画像の各セルの同様性は、対応するセル明暗度角度間のコサイン差とサイン差を決定することにより計算される。望ましい実装では、コサイン及びサイン差が次いで2乗され、互いに加算され、任意のスケーリング因子を乗算される。このスケールされたセル同様性は次いで、対応する候補画像セルと比較したターゲット画像セルの相対輝度とコントラスト間の差異を考慮するためオプションとして調節される。言い換えると、明暗度角度差のみにより計算された個々のセル同様性は、各セルの相対輝度とコントラストに関してスケールされる、または重み付けされる。この最後の相対輝度とコントラストを基にしたセル同様性の調整操作は除いてもよいことに注意されたい。
【0027】
本発明を望ましい実施例を参照して記述してきたが、当業者は、本発明の要旨と範囲から逸脱することなく形式と詳細に変更を加えうることを認める。
【図面の簡単な説明】
【0028】
【図1】本発明により正方形ビットマップに変換され、次いでセルに分割されたディジタル画像で、最小及び最大明暗度領域を強調してある。
【図2】本発明によりディジタル画像の表現を発生する望ましい方法を図示する流れ図。
【図3A】ソース画像の第1版に本発明を適用することにより発生されたビットマップ画像を図示する。
【図3B】ソース画像の第2版に本発明を適用することにより発生されたビットマップ画像を図示する。
【図3C】ソース画像の第3版に本発明を適用することにより発生されたビットマップ画像を図示する。
【図4】ターゲット及び候補画像の表現を比較する方法を図示する流れ図。
【図5】画像データベースの1実施例の構成構造を図示する概略線図。

Claims (30)

  1. ディジタル画像の簡潔な表現を発生する方法であって、
    ディジタル画像を複数個のセルに分割する段階と、
    複数個のセルの各組中で各セルの最小明暗度領域を識別する段階と、
    複数個のセルの各組中で各セルの最大明暗度領域を識別する段階と、
    当該セル中の最小明暗度領域と最大明暗度領域の位置を基にセルの各組で各セルに対してセル表現データを発生する段階と、
    ディジタル画像の表現を発生する段階であって、該表現はセル表現データを含む前記発生段階と、
    を含む方法。
  2. 請求項1記載の方法において、ディジタル画像を複数個のセルに分割する前に元のディジタル画像を正方形ビットマップに変換する段階をさらに含む方法。
  3. 請求項1記載の方法において、各セルを複数個の領域に副分割する段階をさらに含む方法。
  4. 請求項3記載の方法において、各領域のピクセル明暗度和を計算する段階をさらに含み、各領域のピクセル明暗度和は当該領域に含まれるピクセルの明暗度の和を表す方法。
  5. 請求項4記載の方法において、最小及び最大明暗度領域は計算されたピクセル明暗度和を基に識別される方法。
  6. 請求項1記載の方法において、低コントラストを有するセルを識別する段階をさらに含み、低コントラスト識別子を各識別されたセルに関連付ける方法。
  7. 請求項6記載の方法において、低コントラストのセルが優勢である画像を検出した時に、画像のコントラストを動的に増加して、そのセル表現データを再計算する方法。
  8. 請求項6記載の方法において、低コントラスト識別子は負の整数である方法。
  9. 請求項6記載の方法において、ディジタル画像の表現はセル表現データを含む方法。
  10. 請求項1記載の方法において、各セルの明暗度角度は、水平基準線とセルの最小明暗度領域とその最大明暗度領域との間で形成された線との間の角度を基にして発生される方法。
  11. 請求項10記載の方法において、各セルのセル表現データは、セルの明暗度角度の値または低コントラスト識別子のどちらかを表す整数である方法。
  12. 第1及び第2のディジタル画像を比較し、比較した画像の同様性の程度を決定する方法であって、
    画像内の最小及び最大明暗度領域の相対位置を基に第1及び第2ディジタル画像の表現を発生する段階と、
    第1及び第2のディジタル画像の表現を比較し、比較を基にして同様性スコアを発生する段階であって、同様性スコアは画像間の同様性の程度を表す前記発生段階と、
    を含む方法。
  13. 請求項12記載の方法において、第1及び第2のディジタル画像の各々の表現は、
    第1及び第2ディジタル画像を複数個のセルに分割する段階と、
    複数個のセルの各組で各セル中の最小明暗度領域を識別する段階と、
    複数個のセルの各組で各セル中の最大明暗度領域を識別する段階と、
    当該セル中の最小明暗度領域と最大明暗度領域との位置を基にセルの各組で各セルのセル表現データを発生する段階と、
    第1及び第2ディジタル画像の表現を発生する段階であって、表現はセル表現データを含む前記発生段階と、
    により発生される方法。
  14. 請求項13記載の方法において、第1及び第2ディジタル画像の各々を複数個のセルに分割する前に、第1及び第2ディジタル画像の各々を正方形ビットマップに変換する段階をさらに含む方法。
  15. 請求項13記載の方法において、各セルを複数個の領域にさらに副分割する段階をさらに含む方法。
  16. 請求項15記載の方法において、各領域のピクセル明暗度和を計算する段階をさらに含み、ピクセル明暗度和は当該領域に含まれるピクセルの明暗度の和を表す方法。
  17. 請求項16記載の方法において、最小及び最大明暗度領域は計算されたピクセル明暗度和を基に識別される方法。
  18. 請求項13記載の方法において、低コントラストを有するセルを識別し、各識別されたセルに低コントラスト識別子を関連付ける段階をさらに含む方法。
  19. 請求項18記載の方法において、第1及び第2ディジタル画像の各々の表現はセル表現データを含む方法。
  20. 請求項13記載の方法において、各セルの明暗度角度は、基準線とセルの最小明暗度領域とその最大明暗度領域との間で形成された線との間の角度を基に発生される方法。
  21. 請求項20記載の方法において、各セルのセル表現データは、そのセルの明暗度角度かまたは低コントラスト識別子のどちらかを表す整数である方法。
  22. ディジタル・ターゲット画像と同様であるディジタル画像のライブラリ中の候補画像を識別し、ターゲット画像に対する候補画像の同様性の程度を決定する方法であって、
    ディジタル・ターゲット画像とディジタル画像のライブラリ中のディジタル・ソース画像を複数個のセルに分割する段階と、
    ディジタル・ターゲット及びライブラリ中のソース画像の各セル中の最小明暗度領域を識別する段階と、
    ディジタル・ターゲット及びライブラリ中のソース画像の各セル中の最大明暗度領域を識別する段階と、
    各ディジタル・ソース及びターゲット画像の各セル中の最小明暗度領域と最大明暗度領域の位置を基に、各ディジタル・ターゲット及びライブラリ中のソース画像中の各々のセルに対してセル表現データを発生する段階と、
    各ソース画像のセル表現データに従って画像を組織する候補画像データベースを発生する段階と、
    候補画像データベースを探索して、ターゲット画像と同様な少なくとも1つのセルを有する候補画像を識別する段階と、
    ターゲット画像と同様の少なくとも1つのセルを有するものとして識別された候補データベースからの各画像をターゲット画像と比較する段階と、
    ターゲット画像と比較したディジタル画像の同様性スコアを計算する段階と、
    を含む方法。
  23. 請求項22記載の方法において、候補データベースは複数個の角度インデックス分類に構成され、分類の数は可能なセル表現データ値の数の置換されたカウントに対応し、各分類は一連のアレイにさらに副分割され、アレイの数は各ディジタル画像が分割されたセル数までの数に対応し、該アレイは角度インデックス分類と関係するアレイに対応するセルの現在の角度インデックス分類に割当てた値に対応するセル表現データを有する画像の識別子を含む、方法。
  24. ターゲット画像と同様のソース画像のライブラリ中の候補画像を識別する方法であって、
    ターゲット及びソース画像内の最小及び最大明暗度領域の相対位置を基にターゲット画像とソース画像の各々の表現を発生する段階と、
    候補画像リストを発生する段階であって、各候補画像はターゲット画像との少なくとも所定の同様性の程度を有する前記発生段階と、
    ターゲット画像と候補画像の表現を比較し、この比較を基に同様性スコアを発生する段階であって、同様性スコアはディジタル画像の同様性の程度を表す前記発生段階と、
    を含む方法。
  25. 請求項24記載の方法において、第1及び第2ディジタル画像の表現は複数個の明暗度角度を含む方法。
  26. 請求項24記載の方法において、第1及び第2ディジタル画像からのセル表現はセルの複数個の組間でセル毎に比較される方法。
  27. 請求項25記載の方法において、ターゲット及び候補ディジタル画像の表現を含む複数個の明暗度角度を置き換える段階をさらに含む方法。
  28. 請求項24記載の方法において、ターゲット及び候補ディジタル画像の各々の表現は、明暗度、色、色相、彩度、バリュー、輝度、及びクロミナンスを含むリストから選択された1つ以上の画像属性を基にしている方法。
  29. ディジタル画像の簡潔な表現を発生する方法であって、
    ディジタル画像を複数個のセルに分割する段階と、
    複数個のセルの各組の各セル中で最小画像データ値領域を認識する段階と、
    複数個のセルの各組の各セル中で最大画像データ値領域を認識する段階と、
    当該セルの最小画像データ値領域と最大画像データ値領域の位置を基にセルの各組中の各セルに対してセル表現データを発生する段階と、
    ディジタル画像の表現を発生する段階であって、この表現はセル表現データを含む前記発生段階と、
    を含む方法。
  30. 請求項29記載のディジタル画像の簡潔な表現を発生する方法において、画像データ値は、明暗度、色、色相、彩度、バリュー、輝度、及びクロミナンスを含むグループのうちの1つから得られる方法。
JP2002580262A 2001-04-09 2002-04-05 ディジタル画像を表現し比較する方法 Pending JP2004522228A (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US09/829,145 US6690828B2 (en) 2001-04-09 2001-04-09 Method for representing and comparing digital images
PCT/US2002/010607 WO2002082373A2 (en) 2001-04-09 2002-04-05 A method for representing and comparing digital images

Publications (1)

Publication Number Publication Date
JP2004522228A true JP2004522228A (ja) 2004-07-22

Family

ID=25253650

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2002580262A Pending JP2004522228A (ja) 2001-04-09 2002-04-05 ディジタル画像を表現し比較する方法

Country Status (6)

Country Link
US (1) US6690828B2 (ja)
EP (1) EP1390912A4 (ja)
JP (1) JP2004522228A (ja)
AU (1) AU2002248750A1 (ja)
CA (1) CA2444329A1 (ja)
WO (1) WO2002082373A2 (ja)

Families Citing this family (194)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8645137B2 (en) 2000-03-16 2014-02-04 Apple Inc. Fast, language-independent method for user authentication by voice
KR100843112B1 (ko) * 2000-09-07 2008-07-02 코닌클리케 필립스 일렉트로닉스 엔.브이. 이미지 매칭
JP4366886B2 (ja) * 2001-05-24 2009-11-18 コニカミノルタビジネステクノロジーズ株式会社 画像認識のための装置と方法
US7369685B2 (en) * 2002-04-05 2008-05-06 Identix Corporation Vision-based operating method and system
US20040052418A1 (en) * 2002-04-05 2004-03-18 Bruno Delean Method and apparatus for probabilistic image analysis
US7039505B1 (en) * 2002-07-19 2006-05-02 Avidyne Corporation Method for digital transmission and display of weather imagery
JP4135945B2 (ja) * 2003-01-14 2008-08-20 国立大学法人東京工業大学 画像のサブピクセルマッチングにおける多パラメータ高精度同時推定処理方法及び多パラメータ高精度同時推定処理プログラム
GB2398446B (en) * 2003-02-12 2006-06-07 Snell & Wilcox Ltd Image processing
JP4279083B2 (ja) * 2003-08-18 2009-06-17 富士フイルム株式会社 画像処理方法および装置、並びに画像処理プログラム
US7460737B2 (en) 2004-02-12 2008-12-02 Hoshiko Llc Method and apparatus for photograph finding
US7724943B2 (en) * 2004-04-21 2010-05-25 Siemens Medical Solutions Usa, Inc. Rapid and robust 3D/3D registration technique
US8521737B2 (en) 2004-10-01 2013-08-27 Ricoh Co., Ltd. Method and system for multi-tier image matching in a mixed media environment
US8600989B2 (en) 2004-10-01 2013-12-03 Ricoh Co., Ltd. Method and system for image matching in a mixed media environment
US8156115B1 (en) 2007-07-11 2012-04-10 Ricoh Co. Ltd. Document-based networking with mixed media reality
US8825682B2 (en) 2006-07-31 2014-09-02 Ricoh Co., Ltd. Architecture for mixed media reality retrieval of locations and registration of images
US8838591B2 (en) 2005-08-23 2014-09-16 Ricoh Co., Ltd. Embedding hot spots in electronic documents
US8856108B2 (en) 2006-07-31 2014-10-07 Ricoh Co., Ltd. Combining results of image retrieval processes
US8385589B2 (en) 2008-05-15 2013-02-26 Berna Erol Web-based content detection in images, extraction and recognition
US7812986B2 (en) * 2005-08-23 2010-10-12 Ricoh Co. Ltd. System and methods for use of voice mail and email in a mixed media environment
US9171202B2 (en) 2005-08-23 2015-10-27 Ricoh Co., Ltd. Data organization and access for mixed media document system
US8276088B2 (en) 2007-07-11 2012-09-25 Ricoh Co., Ltd. User interface for three-dimensional navigation
US7970171B2 (en) 2007-01-18 2011-06-28 Ricoh Co., Ltd. Synthetic image and video generation from ground truth data
US8868555B2 (en) 2006-07-31 2014-10-21 Ricoh Co., Ltd. Computation of a recongnizability score (quality predictor) for image retrieval
US8369655B2 (en) 2006-07-31 2013-02-05 Ricoh Co., Ltd. Mixed media reality recognition using multiple specialized indexes
US7702673B2 (en) 2004-10-01 2010-04-20 Ricoh Co., Ltd. System and methods for creation and use of a mixed media environment
US9384619B2 (en) 2006-07-31 2016-07-05 Ricoh Co., Ltd. Searching media content for objects specified using identifiers
US9373029B2 (en) 2007-07-11 2016-06-21 Ricoh Co., Ltd. Invisible junction feature recognition for document security or annotation
US8156116B2 (en) 2006-07-31 2012-04-10 Ricoh Co., Ltd Dynamic presentation of targeted information in a mixed media reality recognition system
US8156427B2 (en) 2005-08-23 2012-04-10 Ricoh Co. Ltd. User interface for mixed media reality
US8335789B2 (en) 2004-10-01 2012-12-18 Ricoh Co., Ltd. Method and system for document fingerprint matching in a mixed media environment
US8332401B2 (en) 2004-10-01 2012-12-11 Ricoh Co., Ltd Method and system for position-based image matching in a mixed media environment
US8005831B2 (en) 2005-08-23 2011-08-23 Ricoh Co., Ltd. System and methods for creation and use of a mixed media environment with geographic location information
US8184155B2 (en) 2007-07-11 2012-05-22 Ricoh Co. Ltd. Recognition and tracking using invisible junctions
US8965145B2 (en) 2006-07-31 2015-02-24 Ricoh Co., Ltd. Mixed media reality recognition using multiple specialized indexes
US8949287B2 (en) 2005-08-23 2015-02-03 Ricoh Co., Ltd. Embedding hot spots in imaged documents
US9530050B1 (en) 2007-07-11 2016-12-27 Ricoh Co., Ltd. Document annotation sharing
US8086038B2 (en) 2007-07-11 2011-12-27 Ricoh Co., Ltd. Invisible junction features for patch recognition
US8144921B2 (en) 2007-07-11 2012-03-27 Ricoh Co., Ltd. Information retrieval using invisible junctions and geometric constraints
US8195659B2 (en) 2005-08-23 2012-06-05 Ricoh Co. Ltd. Integration and use of mixed media documents
US9405751B2 (en) 2005-08-23 2016-08-02 Ricoh Co., Ltd. Database for mixed media document system
US8176054B2 (en) 2007-07-12 2012-05-08 Ricoh Co. Ltd Retrieving electronic documents by converting them to synthetic text
US8510283B2 (en) 2006-07-31 2013-08-13 Ricoh Co., Ltd. Automatic adaption of an image recognition system to image capture devices
US7991778B2 (en) 2005-08-23 2011-08-02 Ricoh Co., Ltd. Triggering actions with captured input in a mixed media environment
US8677377B2 (en) 2005-09-08 2014-03-18 Apple Inc. Method and apparatus for building an intelligent automated assistant
US7505069B2 (en) * 2005-10-26 2009-03-17 Hewlett-Packard Development Company, L.P. Method and apparatus for maintaining consistent white balance in successive digital images
US8031950B2 (en) * 2006-01-23 2011-10-04 Microsoft Corporation Categorizing images of software failures
US7668405B2 (en) * 2006-04-07 2010-02-23 Eastman Kodak Company Forming connections between image collections
US8243999B2 (en) * 2006-05-03 2012-08-14 Ut-Battelle, Llc Method and system for the diagnosis of disease using retinal image content and an archive of diagnosed human patient data
US9063952B2 (en) 2006-07-31 2015-06-23 Ricoh Co., Ltd. Mixed media reality recognition with image tracking
US8073263B2 (en) 2006-07-31 2011-12-06 Ricoh Co., Ltd. Multi-classifier selection and monitoring for MMR-based image recognition
US9020966B2 (en) 2006-07-31 2015-04-28 Ricoh Co., Ltd. Client device for interacting with a mixed media reality recognition system
US8676810B2 (en) 2006-07-31 2014-03-18 Ricoh Co., Ltd. Multiple index mixed media reality recognition using unequal priority indexes
US8201076B2 (en) 2006-07-31 2012-06-12 Ricoh Co., Ltd. Capturing symbolic information from documents upon printing
US8489987B2 (en) 2006-07-31 2013-07-16 Ricoh Co., Ltd. Monitoring and analyzing creation and usage of visual content using image and hotspot interaction
US9176984B2 (en) 2006-07-31 2015-11-03 Ricoh Co., Ltd Mixed media reality retrieval of differentially-weighted links
US9318108B2 (en) 2010-01-18 2016-04-19 Apple Inc. Intelligent automated assistant
US8103102B2 (en) * 2006-12-13 2012-01-24 Adobe Systems Incorporated Robust feature extraction for color and grayscale images
US8977255B2 (en) 2007-04-03 2015-03-10 Apple Inc. Method and system for operating a multi-function portable electronic device using voice-activation
CN101334780A (zh) * 2007-06-25 2008-12-31 英特维数位科技股份有限公司 人物影像的搜寻方法、系统及存储影像元数据的记录媒体
US9330720B2 (en) 2008-01-03 2016-05-03 Apple Inc. Methods and apparatus for altering audio output signals
US9495386B2 (en) 2008-03-05 2016-11-15 Ebay Inc. Identification of items depicted in images
KR20100121690A (ko) 2008-03-05 2010-11-18 이베이 인크. 이미지 인식 서비스 방법, 시스템 및 컴퓨터 판독가능한 매체
US8996376B2 (en) 2008-04-05 2015-03-31 Apple Inc. Intelligent text-to-speech conversion
US10496753B2 (en) 2010-01-18 2019-12-03 Apple Inc. Automatically adapting user interfaces for hands-free interaction
US8300953B2 (en) 2008-06-05 2012-10-30 Apple Inc. Categorization of digital media based on media characteristics
US8229230B2 (en) * 2008-07-30 2012-07-24 Konica Minolta Laboratory U.S.A., Inc. Method of digital image comparison for imaging software development
US20100030549A1 (en) 2008-07-31 2010-02-04 Lee Michael M Mobile device having human language translation capability with positional feedback
US8818978B2 (en) 2008-08-15 2014-08-26 Ebay Inc. Sharing item images using a similarity score
US8218838B2 (en) * 2008-11-03 2012-07-10 Ut-Battelle, Llc Method and system for assigning a confidence metric for automated determination of optic disc location
US9959870B2 (en) 2008-12-11 2018-05-01 Apple Inc. Speech recognition involving a mobile device
US8825660B2 (en) * 2009-03-17 2014-09-02 Ebay Inc. Image-based indexing in a network-based marketplace
US10241752B2 (en) 2011-09-30 2019-03-26 Apple Inc. Interface for a virtual digital assistant
US10255566B2 (en) 2011-06-03 2019-04-09 Apple Inc. Generating and processing task items that represent tasks to perform
US9858925B2 (en) 2009-06-05 2018-01-02 Apple Inc. Using context information to facilitate processing of commands in a virtual assistant
US10241644B2 (en) 2011-06-03 2019-03-26 Apple Inc. Actionable reminder entries
US8385660B2 (en) 2009-06-24 2013-02-26 Ricoh Co., Ltd. Mixed media reality indexing and retrieval for repeated content
US9431006B2 (en) 2009-07-02 2016-08-30 Apple Inc. Methods and apparatuses for automatic speech recognition
US8620078B1 (en) 2009-07-14 2013-12-31 Matrox Electronic Systems, Ltd. Determining a class associated with an image
GB2474281A (en) * 2009-10-09 2011-04-13 Snell Ltd Defining image features using local spatial maxima and minima
US8503733B2 (en) * 2009-11-16 2013-08-06 Xerox Corporation Show-through measurement system and method for inks on media
US9164577B2 (en) 2009-12-22 2015-10-20 Ebay Inc. Augmented reality system, method, and apparatus for displaying an item image in a contextual environment
US10553209B2 (en) 2010-01-18 2020-02-04 Apple Inc. Systems and methods for hands-free notification summaries
US10705794B2 (en) 2010-01-18 2020-07-07 Apple Inc. Automatically adapting user interfaces for hands-free interaction
US10276170B2 (en) 2010-01-18 2019-04-30 Apple Inc. Intelligent automated assistant
US10679605B2 (en) 2010-01-18 2020-06-09 Apple Inc. Hands-free list-reading by intelligent automated assistant
DE202011111062U1 (de) 2010-01-25 2019-02-19 Newvaluexchange Ltd. Vorrichtung und System für eine Digitalkonversationsmanagementplattform
US8682667B2 (en) 2010-02-25 2014-03-25 Apple Inc. User profiling for selecting user specific voice input processing information
US10127606B2 (en) 2010-10-13 2018-11-13 Ebay Inc. Augmented reality system and method for visualizing an item
US10762293B2 (en) 2010-12-22 2020-09-01 Apple Inc. Using parts-of-speech tagging and named entity recognition for spelling correction
US8472726B2 (en) * 2011-01-07 2013-06-25 Yuval Gronau Document comparison and analysis
US8472727B2 (en) * 2011-01-07 2013-06-25 Yuval Gronau Document comparison and analysis for improved OCR
US9262612B2 (en) 2011-03-21 2016-02-16 Apple Inc. Device access using voice authentication
US10057736B2 (en) 2011-06-03 2018-08-21 Apple Inc. Active transport based notifications
US9058331B2 (en) 2011-07-27 2015-06-16 Ricoh Co., Ltd. Generating a conversation in a social network based on visual search results
US8994660B2 (en) 2011-08-29 2015-03-31 Apple Inc. Text correction processing
US9449342B2 (en) 2011-10-27 2016-09-20 Ebay Inc. System and method for visualization of items in an environment using augmented reality
US9977992B2 (en) 2012-02-28 2018-05-22 Snell Advanced Media Limited Identifying points of interest in an image
GB2499799B (en) * 2012-02-28 2019-06-26 Snell Advanced Media Ltd Identifying points of interest in an image
US10134385B2 (en) 2012-03-02 2018-11-20 Apple Inc. Systems and methods for name pronunciation
US9483461B2 (en) 2012-03-06 2016-11-01 Apple Inc. Handling speech synthesis of content for multiple languages
US9934522B2 (en) 2012-03-22 2018-04-03 Ebay Inc. Systems and methods for batch- listing items stored offline on a mobile device
US9280610B2 (en) 2012-05-14 2016-03-08 Apple Inc. Crowd sourcing information to fulfill user requests
US9721563B2 (en) 2012-06-08 2017-08-01 Apple Inc. Name recognition system
US9495129B2 (en) 2012-06-29 2016-11-15 Apple Inc. Device, method, and user interface for voice-activated navigation and browsing of a document
US10846766B2 (en) 2012-06-29 2020-11-24 Ebay Inc. Contextual menus based on image recognition
JP6057629B2 (ja) * 2012-09-07 2017-01-11 キヤノン株式会社 画像処理装置、その制御方法、および制御プログラム
US9576574B2 (en) 2012-09-10 2017-02-21 Apple Inc. Context-sensitive handling of interruptions by intelligent digital assistant
US9547647B2 (en) 2012-09-19 2017-01-17 Apple Inc. Voice-based media searching
US9007394B2 (en) 2012-12-21 2015-04-14 Wipro Limited Method and system for dynamic brightness correction in digital images
KR20150104615A (ko) 2013-02-07 2015-09-15 애플 인크. 디지털 어시스턴트를 위한 음성 트리거
US9368114B2 (en) 2013-03-14 2016-06-14 Apple Inc. Context-sensitive handling of interruptions
CN105027197B (zh) 2013-03-15 2018-12-14 苹果公司 训练至少部分语音命令系统
WO2014144579A1 (en) 2013-03-15 2014-09-18 Apple Inc. System and method for updating an adaptive speech recognition model
US9530072B2 (en) * 2013-03-15 2016-12-27 Dropbox, Inc. Duplicate/near duplicate detection and image registration
WO2014197336A1 (en) 2013-06-07 2014-12-11 Apple Inc. System and method for detecting errors in interactions with a voice-based digital assistant
US9582608B2 (en) 2013-06-07 2017-02-28 Apple Inc. Unified ranking with entropy-weighted information for phrase-based semantic auto-completion
WO2014197334A2 (en) 2013-06-07 2014-12-11 Apple Inc. System and method for user-specified pronunciation of words for speech synthesis and recognition
WO2014197335A1 (en) 2013-06-08 2014-12-11 Apple Inc. Interpreting and acting upon commands that involve sharing information with remote devices
CN105264524B (zh) 2013-06-09 2019-08-02 苹果公司 用于实现跨数字助理的两个或更多个实例的会话持续性的设备、方法、和图形用户界面
US10176167B2 (en) 2013-06-09 2019-01-08 Apple Inc. System and method for inferring user intent from speech inputs
KR101809808B1 (ko) 2013-06-13 2017-12-15 애플 인크. 음성 명령에 의해 개시되는 긴급 전화를 걸기 위한 시스템 및 방법
DE112014003653B4 (de) 2013-08-06 2024-04-18 Apple Inc. Automatisch aktivierende intelligente Antworten auf der Grundlage von Aktivitäten von entfernt angeordneten Vorrichtungen
US9620105B2 (en) 2014-05-15 2017-04-11 Apple Inc. Analyzing audio input for efficient speech and music recognition
US10592095B2 (en) 2014-05-23 2020-03-17 Apple Inc. Instantaneous speaking of content on touch devices
US9502031B2 (en) 2014-05-27 2016-11-22 Apple Inc. Method for supporting dynamic grammars in WFST-based ASR
US10170123B2 (en) 2014-05-30 2019-01-01 Apple Inc. Intelligent assistant for home automation
US9633004B2 (en) 2014-05-30 2017-04-25 Apple Inc. Better resolution when referencing to concepts
US9430463B2 (en) 2014-05-30 2016-08-30 Apple Inc. Exemplar-based natural language processing
US9734193B2 (en) 2014-05-30 2017-08-15 Apple Inc. Determining domain salience ranking from ambiguous words in natural speech
EP3149728B1 (en) 2014-05-30 2019-01-16 Apple Inc. Multi-command single utterance input method
US9715875B2 (en) 2014-05-30 2017-07-25 Apple Inc. Reducing the need for manual start/end-pointing and trigger phrases
US9760559B2 (en) 2014-05-30 2017-09-12 Apple Inc. Predictive text input
US9842101B2 (en) 2014-05-30 2017-12-12 Apple Inc. Predictive conversion of language input
US10289433B2 (en) 2014-05-30 2019-05-14 Apple Inc. Domain specific language for encoding assistant dialog
US9785630B2 (en) 2014-05-30 2017-10-10 Apple Inc. Text prediction using combined word N-gram and unigram language models
US10078631B2 (en) 2014-05-30 2018-09-18 Apple Inc. Entropy-guided text prediction using combined word and character n-gram language models
US9338493B2 (en) 2014-06-30 2016-05-10 Apple Inc. Intelligent automated assistant for TV user interactions
US10659851B2 (en) 2014-06-30 2020-05-19 Apple Inc. Real-time digital assistant knowledge updates
US10446141B2 (en) 2014-08-28 2019-10-15 Apple Inc. Automatic speech recognition based on user feedback
US9818400B2 (en) 2014-09-11 2017-11-14 Apple Inc. Method and apparatus for discovering trending terms in speech requests
US10789041B2 (en) 2014-09-12 2020-09-29 Apple Inc. Dynamic thresholds for always listening speech trigger
US9668121B2 (en) 2014-09-30 2017-05-30 Apple Inc. Social reminders
US10127911B2 (en) 2014-09-30 2018-11-13 Apple Inc. Speaker identification and unsupervised speaker adaptation techniques
US9886432B2 (en) 2014-09-30 2018-02-06 Apple Inc. Parsimonious handling of word inflection via categorical stem + suffix N-gram language models
US10074360B2 (en) 2014-09-30 2018-09-11 Apple Inc. Providing an indication of the suitability of speech recognition
US9646609B2 (en) 2014-09-30 2017-05-09 Apple Inc. Caching apparatus for serving phonetic pronunciations
US10552013B2 (en) 2014-12-02 2020-02-04 Apple Inc. Data detection
US9711141B2 (en) 2014-12-09 2017-07-18 Apple Inc. Disambiguating heteronyms in speech synthesis
US9865280B2 (en) 2015-03-06 2018-01-09 Apple Inc. Structured dictation using intelligent automated assistants
US9886953B2 (en) 2015-03-08 2018-02-06 Apple Inc. Virtual assistant activation
US10567477B2 (en) 2015-03-08 2020-02-18 Apple Inc. Virtual assistant continuity
US9721566B2 (en) 2015-03-08 2017-08-01 Apple Inc. Competing devices responding to voice triggers
US9899019B2 (en) 2015-03-18 2018-02-20 Apple Inc. Systems and methods for structured stem and suffix language models
US9842105B2 (en) 2015-04-16 2017-12-12 Apple Inc. Parsimonious continuous-space phrase representations for natural language processing
US10083688B2 (en) 2015-05-27 2018-09-25 Apple Inc. Device voice control for selecting a displayed affordance
US10127220B2 (en) 2015-06-04 2018-11-13 Apple Inc. Language identification from short strings
US9578173B2 (en) 2015-06-05 2017-02-21 Apple Inc. Virtual assistant aided communication with 3rd party service in a communication session
US10101822B2 (en) 2015-06-05 2018-10-16 Apple Inc. Language input correction
US10186254B2 (en) 2015-06-07 2019-01-22 Apple Inc. Context-based endpoint detection
US10255907B2 (en) 2015-06-07 2019-04-09 Apple Inc. Automatic accent detection using acoustic models
US11025565B2 (en) 2015-06-07 2021-06-01 Apple Inc. Personalized prediction of responses for instant messaging
US10671428B2 (en) 2015-09-08 2020-06-02 Apple Inc. Distributed personal assistant
US10747498B2 (en) 2015-09-08 2020-08-18 Apple Inc. Zero latency digital assistant
US9697820B2 (en) 2015-09-24 2017-07-04 Apple Inc. Unit-selection text-to-speech synthesis using concatenation-sensitive neural networks
US11010550B2 (en) 2015-09-29 2021-05-18 Apple Inc. Unified language modeling framework for word prediction, auto-completion and auto-correction
US10366158B2 (en) 2015-09-29 2019-07-30 Apple Inc. Efficient word encoding for recurrent neural network language models
US11587559B2 (en) 2015-09-30 2023-02-21 Apple Inc. Intelligent device identification
US10691473B2 (en) 2015-11-06 2020-06-23 Apple Inc. Intelligent automated assistant in a messaging environment
US10049668B2 (en) 2015-12-02 2018-08-14 Apple Inc. Applying neural network language models to weighted finite state transducers for automatic speech recognition
US10223066B2 (en) 2015-12-23 2019-03-05 Apple Inc. Proactive assistance based on dialog communication between devices
JP6590690B2 (ja) * 2015-12-25 2019-10-16 富士フイルム株式会社 細胞画像検索装置および方法並びにプログラム
US10446143B2 (en) 2016-03-14 2019-10-15 Apple Inc. Identification of voice inputs providing credentials
US9934775B2 (en) 2016-05-26 2018-04-03 Apple Inc. Unit-selection text-to-speech synthesis based on predicted concatenation parameters
US9972304B2 (en) 2016-06-03 2018-05-15 Apple Inc. Privacy preserving distributed evaluation framework for embedded personalized systems
US10249300B2 (en) 2016-06-06 2019-04-02 Apple Inc. Intelligent list reading
US10049663B2 (en) 2016-06-08 2018-08-14 Apple, Inc. Intelligent automated assistant for media exploration
DK179309B1 (en) 2016-06-09 2018-04-23 Apple Inc Intelligent automated assistant in a home environment
US10067938B2 (en) 2016-06-10 2018-09-04 Apple Inc. Multilingual word prediction
US10509862B2 (en) 2016-06-10 2019-12-17 Apple Inc. Dynamic phrase expansion of language input
US10586535B2 (en) 2016-06-10 2020-03-10 Apple Inc. Intelligent digital assistant in a multi-tasking environment
US10490187B2 (en) 2016-06-10 2019-11-26 Apple Inc. Digital assistant providing automated status report
US10192552B2 (en) 2016-06-10 2019-01-29 Apple Inc. Digital assistant providing whispered speech
DK179415B1 (en) 2016-06-11 2018-06-14 Apple Inc Intelligent device arbitration and control
DK179049B1 (en) 2016-06-11 2017-09-18 Apple Inc Data driven natural language event detection and classification
DK179343B1 (en) 2016-06-11 2018-05-14 Apple Inc Intelligent task discovery
DK201670540A1 (en) 2016-06-11 2018-01-08 Apple Inc Application integration with a digital assistant
US10043516B2 (en) 2016-09-23 2018-08-07 Apple Inc. Intelligent automated assistant
US10593346B2 (en) 2016-12-22 2020-03-17 Apple Inc. Rank-reduced token representation for automatic speech recognition
DK201770439A1 (en) 2017-05-11 2018-12-13 Apple Inc. Offline personal assistant
DK179496B1 (en) 2017-05-12 2019-01-15 Apple Inc. USER-SPECIFIC Acoustic Models
DK179745B1 (en) 2017-05-12 2019-05-01 Apple Inc. SYNCHRONIZATION AND TASK DELEGATION OF A DIGITAL ASSISTANT
DK201770431A1 (en) 2017-05-15 2018-12-20 Apple Inc. Optimizing dialogue policy decisions for digital assistants using implicit feedback
DK201770432A1 (en) 2017-05-15 2018-12-21 Apple Inc. Hierarchical belief states for digital assistants
DK179560B1 (en) 2017-05-16 2019-02-18 Apple Inc. FAR-FIELD EXTENSION FOR DIGITAL ASSISTANT SERVICES

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0478972A (ja) * 1990-07-23 1992-03-12 Nippon Telegr & Teleph Corp <Ntt> 濃淡画像識別装置
JPH0528366A (ja) * 1991-07-24 1993-02-05 Brother Ind Ltd クレジツト取引処理装置
JPH07334673A (ja) * 1994-06-13 1995-12-22 Mitsubishi Electric Corp 目標検出方法及び目標検出装置
JPH09293082A (ja) * 1996-04-26 1997-11-11 Toshiba Corp 画像検索装置及び画像検索方法
JPH10269355A (ja) * 1997-03-27 1998-10-09 Monorisu:Kk 多重解像度フィルタ処理方法およびその方法を利用することのできる画像マッチング方法
JP2001319232A (ja) * 2000-05-11 2001-11-16 Fuji Xerox Co Ltd 類似画像検索装置および類似画像検索方法

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2564959B2 (ja) * 1990-03-07 1996-12-18 富士ゼロックス株式会社 画像処理装置の絵文字領域識別方式
US5329379A (en) * 1992-10-22 1994-07-12 International Business Machines Corporation System and method of measuring fidelity of decompressed video signals and images
JP3636332B2 (ja) * 1993-12-24 2005-04-06 セイコーエプソン株式会社 画像処理方法および画像処理装置
US5982926A (en) * 1995-01-17 1999-11-09 At & T Ipm Corp. Real-time image enhancement techniques
JPH08285799A (ja) * 1995-04-11 1996-11-01 Jeol Ltd 面分析装置
JP3380660B2 (ja) * 1995-10-25 2003-02-24 大日本スクリーン製造株式会社 画像処理装置
US5963670A (en) * 1996-02-12 1999-10-05 Massachusetts Institute Of Technology Method and apparatus for classifying and identifying images
US6061471A (en) * 1996-06-07 2000-05-09 Electronic Data Systems Corporation Method and system for detecting uniform images in video signal
JP3935548B2 (ja) * 1997-02-27 2007-06-27 オリンパス株式会社 画像信号処理装置
JP3585703B2 (ja) * 1997-06-27 2004-11-04 シャープ株式会社 画像処理装置
JP3237582B2 (ja) * 1997-08-28 2001-12-10 富士ゼロックス株式会社 画像処理装置及び画像処理方法
JP3512604B2 (ja) * 1997-09-11 2004-03-31 シャープ株式会社 画像処理装置、および、そのプログラムを記録した記録媒体
US6389169B1 (en) * 1998-06-08 2002-05-14 Lawrence W. Stark Intelligent systems and methods for processing image data based upon anticipated regions of visual interest
US6249603B1 (en) * 1998-06-16 2001-06-19 Xerox Corporation Efficient search for a gray-level pattern in an image

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0478972A (ja) * 1990-07-23 1992-03-12 Nippon Telegr & Teleph Corp <Ntt> 濃淡画像識別装置
JPH0528366A (ja) * 1991-07-24 1993-02-05 Brother Ind Ltd クレジツト取引処理装置
JPH07334673A (ja) * 1994-06-13 1995-12-22 Mitsubishi Electric Corp 目標検出方法及び目標検出装置
JPH09293082A (ja) * 1996-04-26 1997-11-11 Toshiba Corp 画像検索装置及び画像検索方法
JPH10269355A (ja) * 1997-03-27 1998-10-09 Monorisu:Kk 多重解像度フィルタ処理方法およびその方法を利用することのできる画像マッチング方法
JP2001319232A (ja) * 2000-05-11 2001-11-16 Fuji Xerox Co Ltd 類似画像検索装置および類似画像検索方法

Also Published As

Publication number Publication date
WO2002082373A2 (en) 2002-10-17
CA2444329A1 (en) 2002-10-17
EP1390912A2 (en) 2004-02-25
US20020146176A1 (en) 2002-10-10
US6690828B2 (en) 2004-02-10
EP1390912A4 (en) 2005-10-12
AU2002248750A1 (en) 2002-10-21
WO2002082373A3 (en) 2002-12-12

Similar Documents

Publication Publication Date Title
JP2004522228A (ja) ディジタル画像を表現し比較する方法
CN110348294B (zh) Pdf文档中图表的定位方法、装置及计算机设备
JP2776295B2 (ja) 画像インデックス生成方法及び画像インデックス生成装置
CN111524137B (zh) 基于图像识别的细胞识别计数方法、装置和计算机设备
US8391593B2 (en) Image processing methods and systems
JP4559437B2 (ja) デジタルカラー画像における空の検出
US20120251003A1 (en) Image processing system and method
JP2006338313A (ja) 類似画像検索方法,類似画像検索システム,類似画像検索プログラム及び記録媒体
CN110598715A (zh) 图像识别方法、装置、计算机设备及可读存储介质
CN113033516A (zh) 对象识别统计方法及装置、电子设备、存储介质
CN111666442A (zh) 一种图像检索方法、装置及计算机设备
CN111612004A (zh) 一种基于语义内容的图像裁剪方法及装置
JPH10260983A (ja) 画像検索装置及び方法
KR20190044761A (ko) 이미지 처리 장치 및 방법
JP2004021430A (ja) 画像検索装置、画像検索方法及び画像検索プログラム
KR100312331B1 (ko) 내용기반영상검색방법및장치
JP3661287B2 (ja) 画像登録装置および方法
JP2005141776A (ja) 画像抽出装置および方法
JPH06318256A (ja) 画像検索装置
US20220414393A1 (en) Methods and Systems for Generating Composite Image Descriptors
JP2002183732A (ja) パターン認識方法及びパターン認識を行わせるプログラムを記憶したコンピュータ読み取り可能な記憶媒体
JP2001319232A (ja) 類似画像検索装置および類似画像検索方法
CN115082999A (zh) 合影图像人物分析方法、装置、计算机设备和存储介质
JP2011141664A (ja) 文書比較装置、文書比較方法、及びプログラム
JP2004192121A (ja) 画像検索装置、画像分類方法、画像検索方法、及びプログラム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20050330

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20070518

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20071102