JP2004508639A - 画像のマッチング - Google Patents
画像のマッチング Download PDFInfo
- Publication number
- JP2004508639A JP2004508639A JP2002525573A JP2002525573A JP2004508639A JP 2004508639 A JP2004508639 A JP 2004508639A JP 2002525573 A JP2002525573 A JP 2002525573A JP 2002525573 A JP2002525573 A JP 2002525573A JP 2004508639 A JP2004508639 A JP 2004508639A
- Authority
- JP
- Japan
- Prior art keywords
- image
- digital image
- pixels
- matching
- penalty function
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
Landscapes
- Engineering & Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
Abstract
Description
[発明の分野]
本発明は、デジタル画像のマッチングに関する。
【0002】
[発明の分野]
画像処理において、2つ以上の画像のマッチングが使用されており、このマッチングは、本質的に、連続する画像におけるマッチングセクションを決定することからなる。画像のマッチングは、奥行き再構成、画像データ圧縮及び動き分析のような画像処理の幾つかの分野では本質的なステップである。
【0003】
マッチングプロセスは、第1の画像における第1の位置において画像特徴を決定し、第2の画像におけるこれら画像特徴の位置を決定することを含んでいる。変換又は回転のような、第1の画像における特徴と第2の画像における特徴の間の位置における差の情報は、更なる処理において使用することができる。たとえば、2つの連続する画像間の画像の特徴の変換は、画像特徴に関連する物体のスピードの測定値を得るために使用することができる。
【0004】
画像のマッチングは、たとえば、MPEG符(復)号化及びテレビジョンスキャンレート変換のような、一般的な画像処理ハードウェア又はソフトウェアで実現される処理に独立な環境により実行することができる。これらのアプリケーションでは、ビデオストリームを構成する連続したデジタル画像が整合される。かかる処理で使用される一般的な方法は、以下に示される。
【0005】
ビデオストリームから、2つの連続する画像が整合されることになる。これらの画像を2次元のデジタル画像I1(x,y)及びI2(x,y)とする。これら2つの画像のマッチングは、I2(x,y)=I1(x+Mx(x,y),y+My(x,y))に従い、理想的に画像I1における各画素を画像I2における画素にマッピングする関数M=Mx(x,y)及びM=My(x,y)のペアの計算を含む。
【0006】
関数Mは、2つの画像間でどの位の画素又は特徴が移動したかに関する情報を含んでいる。たとえば、Mは、ビデオストリームにおける画素の見かけ上の動きとして解釈することができる。たとえば、この動きベクトルは、テレビジョン及びMPEG圧縮におけるスキャンレートのアップコンバージョンのための自然な動きにおける、2次元画像からの奥行き再構成において使用することができる。画像のマッチングは、したがって、関数Mを見つけることからなる。
【0007】
関数としてのMについての定義は、全ての画素について独立に定義され、Mを見つけることの問題が不良設定問題であることを引き起こす。Mの構築は、Mを卑しくも決定することができる場合に、非常に問題があり、時間及び計算パワーの両者において大幅なコストを被る。
【0008】
関数Mを見つける問題を簡単にするために、関数Mの規則化が提案されている。米国特許第5072293号から、画像内の予め定義されたブロックにわたり関数Mが一定となるように設定され、関数Mは画像フレームに関して固定される方法が知られている。このアプローチは、関数Mを見つける問題を簡単にし、関数Mを見つけるために必要なコストを減少する。この方法の欠点は、計算がなお高価であることである。
【0009】
[発明の概要]
本発明の目的は、公知の方法よりも効率的で著しく高速な、連続する画像のセクションを整合するための方法を提供することにある。
上記目的を達成するために、本発明は、独立な請求項に定義されたような画像をセグメント化する方法及び装置、有形の媒体、信号及び表示装置を提供することにある。
【0010】
本発明の第1の実施の形態では、セグメンテーションにより第1の画像を規則化し、第1の画像の画素の少なくとも1部をそれぞれのセグメントに割当てることを含み、セグメントの画素の少なくとも1部について確実性パラメータを決定し、及び確実性パラメータに基づいて、マッチングペナルティ関数を確立すること、により画像が整合される。
【0011】
セグメンテーションによる第1の画像の規則化、及びセグメントへの確実性パラメータの提供により、本発明による整合処理は、効率的及び高速に実行することができる。擬似セグメンテーションが使用される場合、画像をセグメント化するために必要とされる労力は、大幅に低減することができる。擬似セグメンテーションは、係属中の特許出願“Segmentation of digital images”に記載されている(PHNL000493)。
【0012】
本発明の当に有効な詳細は、従属の請求項に記載されている。本発明の更なる目的、変形例、作用及び詳細は、添付図面が参照されて、以下の記載から明らかとなる。
【0013】
[発明の実施の形態]
本発明の実施の形態の以下の例では、2つの画像のマッチングが説明される。これらの画像は、ビデオストリームからの連続する画像とすることができるが、これに限定されるものではない。画像は、画素からなるデジタル画像であり、2次元のデジタル画像I1(x,y)及びI2(x,y)として定義される。ここで、x及びyは、画像の個々の画素を示す座標である。
【0014】
これら2つの画像のマッチングは、関数M=Mx(x,y)及びM=My(x,y)のペアを計算することを含む。関数Mは、I2(x,y)=I1(x+Mx(x,y),y+My(x,y))に従い、画像I1における各画素を画像I2における画素にマッピングするように定義される。
【0015】
本発明の実施の形態によれば、関数Mの構築は、
I2(x,y)=I1(x+Mx(G(x,y)),y+My(G(x,y)))
により、Mの前の定義を修正することにより、同じ動きを有する画素のグループについて一定の関数として再定義することにより修正される。
【0016】
関数Gは、同じ動きを有する画素の集合体について、Mを一定に保持するために導入される。関数Gの導入は、整合問題を規則化(regularization)することであり、その修正は、関数Mを見つけるために必要とされる労力を大幅に減少する。Mが一定であるといわれる画素の集合体は、同じ動きを有すると思われる画素からなる。
【0017】
かかる集合体を見つけるために、セグメンテーションにより画像はセグメントに分割される。画像のセグメンテーションは、画像における各画素について、セグメントからなる有限のセットのうちの1つに対するメンバシップを決定することになる。ここで、セグメントは、画素の集合体に関連されている。
【0018】
セグメンテーションの有効な方法は、部分的なセグメンテーションであり、ここでは、セグメントに対する画素のメンバシップは、色、輝度及びテクスチャのような画素の属性に関連した画像に基づいて決定される。部分的なセグメンテーションから生じるセグメントは、画像の対象と必ずしも直接対応していないが、あるセグメントにおける画素は、同じ動きを有する非常に高い確率を有している。
【0019】
セグメンテーションの特に有効な方法は、いわゆる擬似セグメンテーションであり、出願人による継続中の特許出願“Segmentation of digital images”(PHNL000493)に記載されており、その内容は、参照により本明細書に組込まれる。擬似セグメンテーションにより、画像は非常に迅速かつ効果的に分割することができる。
【0020】
画像I1は、上述した方法である擬似セグメンテーションにより、セグメントに分割され、それぞれのセグメントを定義する境界により拘束される画素からなるセグメントになる。擬似セグメンテーションの結果として、セグメントは、ハードボーダーセクションとソフトボーダーセクションとにより定義される。
【0021】
ハードボーダーセクションは、画像特徴の分析から生じ、関連するセグメントの境界である高い確実性を有している。ソフトボーダーセクションは、検出されたハードボーダーセクションへの距離の計算により決定され、したがって、関連するセグメントの境界である低い確実性を有している。
【0022】
境界のセクションが画像の内容により一致すると、その境界のセクションはより関連性が高くなる。本発明の実施の形態によれば、マッチングセグメントの形式における画像のマッチングは、それぞれのセグメントの高い確実性の特徴のマッチングについてよりも優先される。
【0023】
図1では、画像I1のセグメント10は、擬似セグメンテーションにより決定され、ハードボーダーセクション11により拘束され(実線により図示)、及びソフトボーダーセクション12により拘束されている(破線により図示)。画像I1と画像I2の間のセグメント10についての移動を決定するために、画像I2におけるセグメント10の投影は、セグメント10を整合し、これにより、結果的に移動関数Mとなることが見つけられることが必要である。
【0024】
このことは、セグメント10との整合について画像I2の可能性のある整合の候補の数を選択し、それぞれの候補についての整合基準を計算し、最良の整合結果を有する候補を選択することにより行われる。整合基準は、第1の画像のセグメントが第2の画像の投影と整合する確実性の測度である。
【0025】
セグメント10との整合のための画像I2の候補は、画像I2の投影20,30,40、ハードボーダーセクション21,31,41及びソフトボーダーセクション22,32,42として図1に示されている。
【0026】
それぞれの投影20,30,40について、それぞれの矢印M1、M2、M3により関数Mが示されている。結果的に、M1、M2及びM3は、関数Mについての候補値と考えることができる。投影20,30,40がセグメント10と最も整合するのはどの候補かを判定するために、整合の基準がそれぞれの投影20,30,40について計算されなければならない。
【0027】
本発明によれば、整合の基準は、関数Mについての候補の投影及び候補値の評価において、高い基準のハードボーダーセクションにより大きな重みが与えられる。したがって、セグメントのハードボーダーセクションと投影のソフトボーダーセクションの間の整合は、セグメントのソフトボーダーセクションの整合についてよりも高い確実性を与える。
【0028】
整合の基準は、デジタル画像処理で使用され、整合誤差を最小にする実現、すなわちマッチングペナルティ関数において知られている。かかる関数、及び整合関数それ自体を最小にすることによる整合の方法は、当該技術分野において知られており、たとえば、Signal Processing: Image Communication6 (1994)229−239で発行されているDe Haan及びBiezenによる“Sub−pixel motion estimation with 3−D recursive search block−matching”がある。
【0029】
i個の候補Mx及びMyからなる有限のセットは、x及びy座標における関数であり、以下のように定義される。
{(Mx;i,My;i)|i=1,2,3,...}
候補Mx及びMy自身からなる有限のセットの選択は、De Haan及びBiezenの上述した出版物から、当該技術分野において知られている。好ましくは、候補のセットは、小さく保持され、それぞれの候補を評価するために必要とされる計算数が低減される。それぞれの候補により、候補の投影が関連付けられる。
【0030】
セグメントにおける画素の集合体は、Ωにより示される。i番目の候補についてのマッチングペナルティPiは、以下のように定義される。
【数1】
このマッチングペネルティ関数は、同じ重みをセグメントにおける各画素に与える。上述したように、セグメントの画素は、セグメントに属するために同じ確実性を有さない。このことを考慮して、マッチングペナルティ関数は、以下のように修正される。
【数2】
重み付け関数w(x,y)は、確実性の重み要素を各画素に割当てる関数であり、これにより、高い確実性を有する画素は、ペナルティ関数の評価に対して一層寄与する。本実施の形態では、w(x,y)の値は、セグメントのハードボーダーセクションへの画素の距離d(x,y)に関連し、ハードボーダーセクションからの距離につれて減少する。ユークリッド、「シティブロック」、「チェスボード」、又は係属中の出願PHNL000493で記載されているような距離変換のような、距離についての適切な定義を使用することができる。
【0031】
w(x,y)について、関数の値がセグメントの境界からの距離につれて減少する限り、適切な関数を選択することができる。例として、w(x,y)が1次元の場合について、多数の関数が次に示される。2次元の関数は、当業者であれば明らかであろう。限定することのない例は、以下である。
w(x)=1/d(x),
w(x)=1/d(x)2,
d(x)<1.5の場合、w(x)=1;d(x)≧1.5の場合、w(x)=0,
x<5の場合、w(x)=(5−d(x))/4;x≧5の場合、d(x)=0,
d(x)<5の場合、w(x)=(52−d(x)2)/(52−1);d(x)≧5の場合、w(x)=0及び
d(x)<1.5の場合、w(x)=(152−d(x)2)/(152−1);d(x)≧1.5の場合、w(x)=0。
【0032】
なお、全ての関数は、ハードボーダーセクションへの距離が増加するにつれて、値が減少する。関数IIIの場合、所定の距離にわたり値は一定であり、その距離を越えると値がゼロになる。したがって、距離の増加につれて値が減少する。関数III−VIは、固定された多数の閉じた画素のみに対して計算を制限する。これは、必要とされる計算量をさらに減少させる。
【0033】
画像のセグメンテーションが擬似セグメンテーションという好適な方法を使用する場合、画素が属するセグメントに最も近いハードボーダーセクションへの距離は、距離の配列における情報の形式で、セグメンテーション処理から既に知られている。これは、整合処理についての計算が大幅に減少されるという利点となる。
【0034】
図示される実施の形態では、確実性の関数は、ハードボーダーセクションへの画素の距離に関連する。しかし、本発明は、この例に限定されない。確実性の値を各画素に割当てる他の方法もまた使用することができる。その場合、確実性の配列w(x,y)は、それぞれの画素が属するセグメントに関連する、各画素について重み要素で満たされなければならない。
【0035】
本発明は、たとえば、パターン認識又は画像認識における使用向けに、1つの画像内の画像セクションを整合するために使用することもできる。
本発明は、コンピュータで実行するときに、本発明の方法のステップを実行するためのコンピュータプログラムコードセクションを含んだコンピュータプログラムプロダクトに関する。本発明のコンピュータプログラムプロダクトは、ハードディスク又はフロッピー(R)ディスク、又はCD−ROMのような適切な情報キャリアに記憶することができ、又はコンピュータのメモリセクションに記憶することもできる。
【0036】
本発明は、デジタル画像を整合するための、図2に示される装置100にさらに関連する。装置100には、上述したような方法に従い、デジタル画像を整合するための処理ユニット110が設けられている。処理ユニット110は、デジタル画像を受信して、処理ユニット110に接続する入力セクション120と接続されている。
【0037】
処理ユニット110は、画像間で結果的に見つけられた整合を出力することができる出力セクション130に更に接続されている。装置100は、表示装置200に含まれる場合がある。表示装置200は、たとえば、(3次元)テレビジョンプロダクトである。
【0038】
なお、上述した実施の形態は、本発明を限定するよりはむしろ例示するものである。当業者であれば、特許請求の範囲から逸脱することのない多くの代替的な実施の形態を設計することができる。請求項において、括弧内の参照符号は請求項を制限するもおとして解釈されるべきではない。単語「備える」は、請求項に列挙された構成要素又はステップ以外のステップの存在を排除するものではない。
【0039】
本発明は、幾つかの固有の要素を備えるハードウェア、適切にプログラムされたコンピュータにより実現することができる。幾つかの手段を列挙している装置の請求項では、これら手段のうちの幾つかは、1つのハードウェア及び同じ項目のハードウェアにより実現することができる。ある手段が相互に異なる従属項に述べられているという単なる事実は、これら手段の結合が利益を生むために使用することができないことを示すものではない。
【0040】
要するに、本発明は、デジタル画像のマッチングを提供する。本方法は、画素からなる第1のデジタル画像の画像特徴を規則化すること、第1のデジタル画像の画像特徴と第2のデジタル画像の画像特徴の間の可能性のある整合のための候補を表す候補値からなる有限のセットを定義すること、候補値の評価のためのマッチングペナルティ関数を確立すること、各候補値についてマッチングペナルティ関数を評価すること、マッチングペナルティ関数の評価の結果に基づいて、候補値を選択することを含んでいる。本方法は、更に、第1の画像の画素の少なくとも1部をそれぞれのセグメントに割当てること、セグメントの画素の少なくとも1部についての確実性のパラメータを決定すること、及び確実性のパラメータに基づいて、マッチングペナルティ関数を確立することをさらに備えている。
【図面の簡単な説明】
【図1】
セグメントの整合処理の例を示す図である。
【図2】
デジタル画像を整合するための装置を示す図である。
Claims (8)
- デジタル画像を整合するための方法であって、
画素からなる第1のデジタル画像の画像特徴を規則化するステップと、
画像からなる第2のデジタル画像を供給するステップと、
前記第1のデジタル画像の画像特徴と前記第2のデジタル画像の画像特徴の間の可能な整合についての候補を表す候補値からなる有限のセットを定義するステップと、
前記候補値を評価するためのマッチングペナルティ関数を確立するステップと、
前記候補値のそれぞれについて、前記マッチングペナルティ関数を評価するステップと、
前記マッチングペナルティ関数の評価の結果に基づいて、候補値を選択するステップとを備え、
前記第1のデジタル画像の画素の少なくとも1部をそれぞれのセグメントに割当てることを含めて、前記第1のデジタル画像のセグメンテーションにより前記第1のデジタル画像を規則化するステップと、
セグメントの画素の少なくとも一部について確実性パラメータを決定するステップと、
前記確実性パラメータに基づいて、前記マッチングペナルティ関数を確立するステップとをさらに備える、
ことを特徴とする方法。 - 前記確実性パラメータは、セグメントのハードボーダーセクションへの画素の距離に基づく、
請求項1記載の方法。 - 前記セグメンテーションは、擬似セグメンテーションにより達成される、
請求項1記載の方法。 - プロセッサに、請求項1記載の方法を実行させることを可能にするためのコンピュータプログラム。
- 請求項4記載のコンピュータプログラムを実行するための有形の媒体。
- 請求項4記載のコンピュータプログラムを実行するための信号。
- デジタル画像を整合するための装置であって、
デジタル画像を受信するための入力セクションと、
整合結果を出力するための出力セクションと、
画素からなる第1のデジタル画像の画像特徴を規則化するための手段と、
画素からなる第2のデジタル画像を供給するための手段と、
前記第1のデジタル画像の画像特徴と前記第2のデジタル画像の画像特徴の間の可能性のある整合についての候補を表す候補値からなる有限のセットを定義するための手段と、
前記候補値の評価のためにマッチングペナルティ関数を確立するための手段と、
前記候補値のそれぞれについて前記マッチングペナルティ関数を評価するための手段と、
前記マッチングペナルティ関数の評価の結果に基づいて、候補値を選択するための手段とを備え、
前記第1のデジタル画像の画素の少なくとも1部をそれぞれのセグメントに割当てることを含めて、前記第1のデジタル画像のセグメンテーションにより前記第1のデジタル画像を規則化するための手段と、
セグメントの画素の少なくとも1部について確実性パラメータを決定するための手段と、
前記確実性パラメータに基づいて前記マッチングペナルティ関数を確立するための手段とをさらに備える、
ことを特徴とする装置。 - 請求項7記載の装置を備える表示装置。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
EP00203080.7 | 2000-09-07 | ||
EP00203080 | 2000-09-07 | ||
PCT/EP2001/009992 WO2002021438A2 (en) | 2000-09-07 | 2001-08-27 | Image matching |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2004508639A true JP2004508639A (ja) | 2004-03-18 |
JP4700892B2 JP4700892B2 (ja) | 2011-06-15 |
Family
ID=8171984
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2002525573A Expired - Fee Related JP4700892B2 (ja) | 2000-09-07 | 2001-08-27 | 画像のマッチング |
Country Status (6)
Country | Link |
---|---|
US (1) | US7046850B2 (ja) |
EP (1) | EP1374174A2 (ja) |
JP (1) | JP4700892B2 (ja) |
KR (1) | KR100843112B1 (ja) |
CN (1) | CN1307599C (ja) |
WO (1) | WO2002021438A2 (ja) |
Families Citing this family (123)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US8645137B2 (en) | 2000-03-16 | 2014-02-04 | Apple Inc. | Fast, language-independent method for user authentication by voice |
WO2004061765A2 (en) * | 2003-01-06 | 2004-07-22 | Koninklijke Philips Electronics N.V. | Method and apparatus for depth ordering of digital images |
US8677377B2 (en) | 2005-09-08 | 2014-03-18 | Apple Inc. | Method and apparatus for building an intelligent automated assistant |
KR20090052889A (ko) * | 2006-09-04 | 2009-05-26 | 코닌클리케 필립스 일렉트로닉스 엔.브이. | 이미지들로부터 깊이 맵을 결정하기 위한 방법 및 깊이 맵을 결정하기 위한 디바이스 |
US9318108B2 (en) | 2010-01-18 | 2016-04-19 | Apple Inc. | Intelligent automated assistant |
CN100463002C (zh) * | 2006-12-07 | 2009-02-18 | 北京航空航天大学 | 基于像素跳跃的图像匹配方法 |
US8977255B2 (en) | 2007-04-03 | 2015-03-10 | Apple Inc. | Method and system for operating a multi-function portable electronic device using voice-activation |
CN101340811B (zh) * | 2007-07-06 | 2010-12-08 | 鸿富锦精密工业(深圳)有限公司 | 影像最优匹配系统及方法 |
KR100827849B1 (ko) | 2007-08-08 | 2008-06-10 | (주)올라웍스 | 화상 데이터에 나타난 인물에 부착된 상품 정보를 획득하기위한 방법 및 장치 |
US9330720B2 (en) | 2008-01-03 | 2016-05-03 | Apple Inc. | Methods and apparatus for altering audio output signals |
US8996376B2 (en) | 2008-04-05 | 2015-03-31 | Apple Inc. | Intelligent text-to-speech conversion |
US10496753B2 (en) | 2010-01-18 | 2019-12-03 | Apple Inc. | Automatically adapting user interfaces for hands-free interaction |
US20100030549A1 (en) | 2008-07-31 | 2010-02-04 | Lee Michael M | Mobile device having human language translation capability with positional feedback |
US9959870B2 (en) | 2008-12-11 | 2018-05-01 | Apple Inc. | Speech recognition involving a mobile device |
US10241752B2 (en) | 2011-09-30 | 2019-03-26 | Apple Inc. | Interface for a virtual digital assistant |
US10241644B2 (en) | 2011-06-03 | 2019-03-26 | Apple Inc. | Actionable reminder entries |
US10706373B2 (en) | 2011-06-03 | 2020-07-07 | Apple Inc. | Performing actions associated with task items that represent tasks to perform |
US9858925B2 (en) | 2009-06-05 | 2018-01-02 | Apple Inc. | Using context information to facilitate processing of commands in a virtual assistant |
CN102822864B (zh) * | 2009-06-16 | 2016-01-13 | 日本电气株式会社 | 图像签名匹配设备 |
US9431006B2 (en) | 2009-07-02 | 2016-08-30 | Apple Inc. | Methods and apparatuses for automatic speech recognition |
US10679605B2 (en) | 2010-01-18 | 2020-06-09 | Apple Inc. | Hands-free list-reading by intelligent automated assistant |
US10705794B2 (en) | 2010-01-18 | 2020-07-07 | Apple Inc. | Automatically adapting user interfaces for hands-free interaction |
US10553209B2 (en) | 2010-01-18 | 2020-02-04 | Apple Inc. | Systems and methods for hands-free notification summaries |
US10276170B2 (en) | 2010-01-18 | 2019-04-30 | Apple Inc. | Intelligent automated assistant |
WO2011089450A2 (en) | 2010-01-25 | 2011-07-28 | Andrew Peter Nelson Jerram | Apparatuses, methods and systems for a digital conversation management platform |
US8682667B2 (en) | 2010-02-25 | 2014-03-25 | Apple Inc. | User profiling for selecting user specific voice input processing information |
US10762293B2 (en) | 2010-12-22 | 2020-09-01 | Apple Inc. | Using parts-of-speech tagging and named entity recognition for spelling correction |
US9262612B2 (en) | 2011-03-21 | 2016-02-16 | Apple Inc. | Device access using voice authentication |
US8582821B1 (en) * | 2011-05-23 | 2013-11-12 | A9.Com, Inc. | Tracking objects between images |
US10057736B2 (en) | 2011-06-03 | 2018-08-21 | Apple Inc. | Active transport based notifications |
US8994660B2 (en) | 2011-08-29 | 2015-03-31 | Apple Inc. | Text correction processing |
US10134385B2 (en) | 2012-03-02 | 2018-11-20 | Apple Inc. | Systems and methods for name pronunciation |
US9483461B2 (en) | 2012-03-06 | 2016-11-01 | Apple Inc. | Handling speech synthesis of content for multiple languages |
US9280610B2 (en) | 2012-05-14 | 2016-03-08 | Apple Inc. | Crowd sourcing information to fulfill user requests |
US9721563B2 (en) | 2012-06-08 | 2017-08-01 | Apple Inc. | Name recognition system |
US9495129B2 (en) | 2012-06-29 | 2016-11-15 | Apple Inc. | Device, method, and user interface for voice-activated navigation and browsing of a document |
US9576574B2 (en) | 2012-09-10 | 2017-02-21 | Apple Inc. | Context-sensitive handling of interruptions by intelligent digital assistant |
US9547647B2 (en) | 2012-09-19 | 2017-01-17 | Apple Inc. | Voice-based media searching |
DE112014000709B4 (de) | 2013-02-07 | 2021-12-30 | Apple Inc. | Verfahren und vorrichtung zum betrieb eines sprachtriggers für einen digitalen assistenten |
US9368114B2 (en) | 2013-03-14 | 2016-06-14 | Apple Inc. | Context-sensitive handling of interruptions |
WO2014144949A2 (en) | 2013-03-15 | 2014-09-18 | Apple Inc. | Training an at least partial voice command system |
WO2014144579A1 (en) | 2013-03-15 | 2014-09-18 | Apple Inc. | System and method for updating an adaptive speech recognition model |
WO2014197334A2 (en) | 2013-06-07 | 2014-12-11 | Apple Inc. | System and method for user-specified pronunciation of words for speech synthesis and recognition |
WO2014197336A1 (en) | 2013-06-07 | 2014-12-11 | Apple Inc. | System and method for detecting errors in interactions with a voice-based digital assistant |
US9582608B2 (en) | 2013-06-07 | 2017-02-28 | Apple Inc. | Unified ranking with entropy-weighted information for phrase-based semantic auto-completion |
WO2014197335A1 (en) | 2013-06-08 | 2014-12-11 | Apple Inc. | Interpreting and acting upon commands that involve sharing information with remote devices |
KR101922663B1 (ko) | 2013-06-09 | 2018-11-28 | 애플 인크. | 디지털 어시스턴트의 둘 이상의 인스턴스들에 걸친 대화 지속성을 가능하게 하기 위한 디바이스, 방법 및 그래픽 사용자 인터페이스 |
US10176167B2 (en) | 2013-06-09 | 2019-01-08 | Apple Inc. | System and method for inferring user intent from speech inputs |
KR101809808B1 (ko) | 2013-06-13 | 2017-12-15 | 애플 인크. | 음성 명령에 의해 개시되는 긴급 전화를 걸기 위한 시스템 및 방법 |
US10791216B2 (en) | 2013-08-06 | 2020-09-29 | Apple Inc. | Auto-activating smart responses based on activities from remote devices |
US9620105B2 (en) | 2014-05-15 | 2017-04-11 | Apple Inc. | Analyzing audio input for efficient speech and music recognition |
US10592095B2 (en) | 2014-05-23 | 2020-03-17 | Apple Inc. | Instantaneous speaking of content on touch devices |
US9502031B2 (en) | 2014-05-27 | 2016-11-22 | Apple Inc. | Method for supporting dynamic grammars in WFST-based ASR |
TWI566107B (zh) | 2014-05-30 | 2017-01-11 | 蘋果公司 | 用於處理多部分語音命令之方法、非暫時性電腦可讀儲存媒體及電子裝置 |
US9633004B2 (en) | 2014-05-30 | 2017-04-25 | Apple Inc. | Better resolution when referencing to concepts |
US9430463B2 (en) | 2014-05-30 | 2016-08-30 | Apple Inc. | Exemplar-based natural language processing |
US10170123B2 (en) | 2014-05-30 | 2019-01-01 | Apple Inc. | Intelligent assistant for home automation |
US9785630B2 (en) | 2014-05-30 | 2017-10-10 | Apple Inc. | Text prediction using combined word N-gram and unigram language models |
US9734193B2 (en) | 2014-05-30 | 2017-08-15 | Apple Inc. | Determining domain salience ranking from ambiguous words in natural speech |
US9842101B2 (en) | 2014-05-30 | 2017-12-12 | Apple Inc. | Predictive conversion of language input |
US9715875B2 (en) | 2014-05-30 | 2017-07-25 | Apple Inc. | Reducing the need for manual start/end-pointing and trigger phrases |
US9760559B2 (en) | 2014-05-30 | 2017-09-12 | Apple Inc. | Predictive text input |
US10078631B2 (en) | 2014-05-30 | 2018-09-18 | Apple Inc. | Entropy-guided text prediction using combined word and character n-gram language models |
US10289433B2 (en) | 2014-05-30 | 2019-05-14 | Apple Inc. | Domain specific language for encoding assistant dialog |
US10659851B2 (en) | 2014-06-30 | 2020-05-19 | Apple Inc. | Real-time digital assistant knowledge updates |
US9338493B2 (en) | 2014-06-30 | 2016-05-10 | Apple Inc. | Intelligent automated assistant for TV user interactions |
US10446141B2 (en) | 2014-08-28 | 2019-10-15 | Apple Inc. | Automatic speech recognition based on user feedback |
US9818400B2 (en) | 2014-09-11 | 2017-11-14 | Apple Inc. | Method and apparatus for discovering trending terms in speech requests |
US10789041B2 (en) | 2014-09-12 | 2020-09-29 | Apple Inc. | Dynamic thresholds for always listening speech trigger |
US10074360B2 (en) | 2014-09-30 | 2018-09-11 | Apple Inc. | Providing an indication of the suitability of speech recognition |
US9886432B2 (en) | 2014-09-30 | 2018-02-06 | Apple Inc. | Parsimonious handling of word inflection via categorical stem + suffix N-gram language models |
US9668121B2 (en) | 2014-09-30 | 2017-05-30 | Apple Inc. | Social reminders |
US10127911B2 (en) | 2014-09-30 | 2018-11-13 | Apple Inc. | Speaker identification and unsupervised speaker adaptation techniques |
US9646609B2 (en) | 2014-09-30 | 2017-05-09 | Apple Inc. | Caching apparatus for serving phonetic pronunciations |
US10552013B2 (en) | 2014-12-02 | 2020-02-04 | Apple Inc. | Data detection |
US9711141B2 (en) | 2014-12-09 | 2017-07-18 | Apple Inc. | Disambiguating heteronyms in speech synthesis |
US9865280B2 (en) | 2015-03-06 | 2018-01-09 | Apple Inc. | Structured dictation using intelligent automated assistants |
US9721566B2 (en) | 2015-03-08 | 2017-08-01 | Apple Inc. | Competing devices responding to voice triggers |
US10567477B2 (en) | 2015-03-08 | 2020-02-18 | Apple Inc. | Virtual assistant continuity |
US9886953B2 (en) | 2015-03-08 | 2018-02-06 | Apple Inc. | Virtual assistant activation |
US9899019B2 (en) | 2015-03-18 | 2018-02-20 | Apple Inc. | Systems and methods for structured stem and suffix language models |
US9842105B2 (en) | 2015-04-16 | 2017-12-12 | Apple Inc. | Parsimonious continuous-space phrase representations for natural language processing |
US10083688B2 (en) | 2015-05-27 | 2018-09-25 | Apple Inc. | Device voice control for selecting a displayed affordance |
US10127220B2 (en) | 2015-06-04 | 2018-11-13 | Apple Inc. | Language identification from short strings |
US10101822B2 (en) | 2015-06-05 | 2018-10-16 | Apple Inc. | Language input correction |
US9578173B2 (en) | 2015-06-05 | 2017-02-21 | Apple Inc. | Virtual assistant aided communication with 3rd party service in a communication session |
US10186254B2 (en) | 2015-06-07 | 2019-01-22 | Apple Inc. | Context-based endpoint detection |
US10255907B2 (en) | 2015-06-07 | 2019-04-09 | Apple Inc. | Automatic accent detection using acoustic models |
US11025565B2 (en) | 2015-06-07 | 2021-06-01 | Apple Inc. | Personalized prediction of responses for instant messaging |
US10747498B2 (en) | 2015-09-08 | 2020-08-18 | Apple Inc. | Zero latency digital assistant |
US10671428B2 (en) | 2015-09-08 | 2020-06-02 | Apple Inc. | Distributed personal assistant |
US9697820B2 (en) | 2015-09-24 | 2017-07-04 | Apple Inc. | Unit-selection text-to-speech synthesis using concatenation-sensitive neural networks |
US10366158B2 (en) | 2015-09-29 | 2019-07-30 | Apple Inc. | Efficient word encoding for recurrent neural network language models |
US11010550B2 (en) | 2015-09-29 | 2021-05-18 | Apple Inc. | Unified language modeling framework for word prediction, auto-completion and auto-correction |
US11587559B2 (en) | 2015-09-30 | 2023-02-21 | Apple Inc. | Intelligent device identification |
US10691473B2 (en) | 2015-11-06 | 2020-06-23 | Apple Inc. | Intelligent automated assistant in a messaging environment |
US10049668B2 (en) | 2015-12-02 | 2018-08-14 | Apple Inc. | Applying neural network language models to weighted finite state transducers for automatic speech recognition |
US10223066B2 (en) | 2015-12-23 | 2019-03-05 | Apple Inc. | Proactive assistance based on dialog communication between devices |
US10446143B2 (en) | 2016-03-14 | 2019-10-15 | Apple Inc. | Identification of voice inputs providing credentials |
US9934775B2 (en) | 2016-05-26 | 2018-04-03 | Apple Inc. | Unit-selection text-to-speech synthesis based on predicted concatenation parameters |
US9972304B2 (en) | 2016-06-03 | 2018-05-15 | Apple Inc. | Privacy preserving distributed evaluation framework for embedded personalized systems |
US10249300B2 (en) | 2016-06-06 | 2019-04-02 | Apple Inc. | Intelligent list reading |
US10049663B2 (en) | 2016-06-08 | 2018-08-14 | Apple, Inc. | Intelligent automated assistant for media exploration |
DK179588B1 (en) | 2016-06-09 | 2019-02-22 | Apple Inc. | INTELLIGENT AUTOMATED ASSISTANT IN A HOME ENVIRONMENT |
US10509862B2 (en) | 2016-06-10 | 2019-12-17 | Apple Inc. | Dynamic phrase expansion of language input |
US10586535B2 (en) | 2016-06-10 | 2020-03-10 | Apple Inc. | Intelligent digital assistant in a multi-tasking environment |
US10192552B2 (en) | 2016-06-10 | 2019-01-29 | Apple Inc. | Digital assistant providing whispered speech |
US10067938B2 (en) | 2016-06-10 | 2018-09-04 | Apple Inc. | Multilingual word prediction |
US10490187B2 (en) | 2016-06-10 | 2019-11-26 | Apple Inc. | Digital assistant providing automated status report |
DK179049B1 (en) | 2016-06-11 | 2017-09-18 | Apple Inc | Data driven natural language event detection and classification |
DK179343B1 (en) | 2016-06-11 | 2018-05-14 | Apple Inc | Intelligent task discovery |
DK179415B1 (en) | 2016-06-11 | 2018-06-14 | Apple Inc | Intelligent device arbitration and control |
DK201670540A1 (en) | 2016-06-11 | 2018-01-08 | Apple Inc | Application integration with a digital assistant |
US10043516B2 (en) | 2016-09-23 | 2018-08-07 | Apple Inc. | Intelligent automated assistant |
US10593346B2 (en) | 2016-12-22 | 2020-03-17 | Apple Inc. | Rank-reduced token representation for automatic speech recognition |
DK201770439A1 (en) | 2017-05-11 | 2018-12-13 | Apple Inc. | Offline personal assistant |
DK179496B1 (en) | 2017-05-12 | 2019-01-15 | Apple Inc. | USER-SPECIFIC Acoustic Models |
DK179745B1 (en) | 2017-05-12 | 2019-05-01 | Apple Inc. | SYNCHRONIZATION AND TASK DELEGATION OF A DIGITAL ASSISTANT |
DK201770432A1 (en) | 2017-05-15 | 2018-12-21 | Apple Inc. | Hierarchical belief states for digital assistants |
DK201770431A1 (en) | 2017-05-15 | 2018-12-20 | Apple Inc. | Optimizing dialogue policy decisions for digital assistants using implicit feedback |
DK179549B1 (en) | 2017-05-16 | 2019-02-12 | Apple Inc. | FAR-FIELD EXTENSION FOR DIGITAL ASSISTANT SERVICES |
CN113272800A (zh) * | 2018-12-31 | 2021-08-17 | 谷歌有限责任公司 | 使用贝叶斯推理来预测匹配图中的评审决策 |
US10771867B1 (en) | 2019-03-08 | 2020-09-08 | Shutterstock, Inc. | Video-generating systems and methods |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH08280026A (ja) * | 1994-04-27 | 1996-10-22 | Matsushita Electric Ind Co Ltd | 動き及び奥行き推定方法及びその装置 |
JPH10255049A (ja) * | 1997-03-11 | 1998-09-25 | Sharp Corp | ブロックマッチングを用いた画像処理方法 |
Family Cites Families (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US5072293A (en) * | 1989-08-29 | 1991-12-10 | U.S. Philips Corporation | Method of estimating motion in a picture signal |
JPH04290186A (ja) * | 1991-03-19 | 1992-10-14 | Eastman Kodak Japan Kk | 画像処理方法 |
DE69421404T2 (de) * | 1994-12-30 | 2000-02-10 | Daewoo Electronics Co., Ltd. | Blockübereinstimmungsbewegungsauswertung mit einer gewichteten Funktion |
US6445822B1 (en) * | 1999-06-04 | 2002-09-03 | Look Dynamics, Inc. | Search method and apparatus for locating digitally stored content, such as visual images, music and sounds, text, or software, in storage devices on a computer network |
US6751363B1 (en) * | 1999-08-10 | 2004-06-15 | Lucent Technologies Inc. | Methods of imaging based on wavelet retrieval of scenes |
US6738518B1 (en) * | 2000-05-12 | 2004-05-18 | Xerox Corporation | Document image decoding using text line column-based heuristic scoring |
US6775410B1 (en) * | 2000-05-25 | 2004-08-10 | Xerox Corporation | Image processing method for sharpening corners of text and line art |
US6690828B2 (en) * | 2001-04-09 | 2004-02-10 | Gary Elliott Meyers | Method for representing and comparing digital images |
-
2001
- 2001-08-27 JP JP2002525573A patent/JP4700892B2/ja not_active Expired - Fee Related
- 2001-08-27 WO PCT/EP2001/009992 patent/WO2002021438A2/en active Application Filing
- 2001-08-27 KR KR1020027005910A patent/KR100843112B1/ko not_active IP Right Cessation
- 2001-08-27 EP EP01969670A patent/EP1374174A2/en not_active Withdrawn
- 2001-08-27 CN CNB018026427A patent/CN1307599C/zh not_active Expired - Fee Related
- 2001-09-04 US US09/945,954 patent/US7046850B2/en not_active Expired - Fee Related
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH08280026A (ja) * | 1994-04-27 | 1996-10-22 | Matsushita Electric Ind Co Ltd | 動き及び奥行き推定方法及びその装置 |
JPH10255049A (ja) * | 1997-03-11 | 1998-09-25 | Sharp Corp | ブロックマッチングを用いた画像処理方法 |
Also Published As
Publication number | Publication date |
---|---|
JP4700892B2 (ja) | 2011-06-15 |
CN1547725A (zh) | 2004-11-17 |
US7046850B2 (en) | 2006-05-16 |
KR100843112B1 (ko) | 2008-07-02 |
KR20020067514A (ko) | 2002-08-22 |
CN1307599C (zh) | 2007-03-28 |
US20020064310A1 (en) | 2002-05-30 |
EP1374174A2 (en) | 2004-01-02 |
WO2002021438A2 (en) | 2002-03-14 |
WO2002021438A3 (en) | 2003-10-09 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP4700892B2 (ja) | 画像のマッチング | |
EP3367334B1 (en) | Depth estimation method and depth estimation apparatus of multi-view images | |
US20190332883A1 (en) | Perceptual importance maps for image processing | |
KR20050084442A (ko) | 세그먼트 기반 움직임 추정 | |
JP2006012166A (ja) | カラーセグメンテーションに基づくステレオ3次元再構成システムおよびプロセス | |
JP2006094494A (ja) | グラフィックス処理装置を使用した加速ビデオ符号化 | |
US20150016717A1 (en) | Opacity Measurement Using A Global Pixel Set | |
JP2019194821A (ja) | 目標認識装置、目標認識方法及びプログラム | |
KR20050090000A (ko) | 디지털 이미지들의 깊이 오더링을 위한 방법 및 장치 | |
US8175160B1 (en) | System, method, and computer program product for refining motion vectors | |
CN111179173B (zh) | 一种基于离散小波变换和坡度融合算法的图像拼接方法 | |
EP2966613A1 (en) | Method and apparatus for generating a super-resolved image from an input image | |
JP2004508641A (ja) | ディジタル画像のセグメンテーション | |
JP3979768B2 (ja) | デジタル映像分割方法及びその装置 | |
JP3537616B2 (ja) | ビデオシーケンスの時間的に順次連続する画像の画素に対する、計算機による動き予測方法 | |
CN114663315B (zh) | 基于语义融合生成对抗网络的图像比特增强方法及装置 | |
Li et al. | Video flickering removal using temporal reconstruction optimization | |
EP1487194B1 (en) | Method of real-time correction of non-functioning pixels in digital radiography | |
CN114782239A (zh) | 一种基于卷积神经网络的数字水印添加方法及系统 | |
JP2004531012A (ja) | セグメント照合における優先順位付け | |
JP2001169112A (ja) | 不十分な階調精度を有する画像をフィルタリングするための方法および装置 | |
JP2980810B2 (ja) | 動きベクトル探索方法と装置 | |
CN111108528A (zh) | 用于评估图像的方法和设备、运行辅助方法和运行设备 | |
JP6563964B2 (ja) | 映像生成装置、映像生成方法、プログラム | |
KR102056218B1 (ko) | 특징점 기반 움직임 벡터를 이용한 움직임 추정 방법 및 장치 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20080825 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20100622 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20100922 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20101019 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20110117 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20110208 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20110307 |
|
LAPS | Cancellation because of no payment of annual fees |