JP2012505457A - マルチメディアシグネチャのための符号化及び復号の方法及び装置 - Google Patents

マルチメディアシグネチャのための符号化及び復号の方法及び装置 Download PDF

Info

Publication number
JP2012505457A
JP2012505457A JP2011530574A JP2011530574A JP2012505457A JP 2012505457 A JP2012505457 A JP 2012505457A JP 2011530574 A JP2011530574 A JP 2011530574A JP 2011530574 A JP2011530574 A JP 2011530574A JP 2012505457 A JP2012505457 A JP 2012505457A
Authority
JP
Japan
Prior art keywords
components
descriptor
decoding
encoding
multimedia content
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2011530574A
Other languages
English (en)
Other versions
JP5706824B2 (ja
JP2012505457A5 (ja
Inventor
ブラスネット、ポール
ボバー、ミロスロー
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Mitsubishi Electric R&D Centre Europe BV Netherlands
Original Assignee
Mitsubishi Electric R&D Centre Europe BV Netherlands
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Mitsubishi Electric R&D Centre Europe BV Netherlands filed Critical Mitsubishi Electric R&D Centre Europe BV Netherlands
Publication of JP2012505457A publication Critical patent/JP2012505457A/ja
Publication of JP2012505457A5 publication Critical patent/JP2012505457A5/ja
Application granted granted Critical
Publication of JP5706824B2 publication Critical patent/JP5706824B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/83Generation or processing of protective or descriptive data associated with content; Content structuring
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90Details of database functions independent of the retrieved data types
    • G06F16/907Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46Embedding additional information in the video signal during the compression process

Abstract

マルチメディアコンテンツの記述子を符号化するための方法であって、記述子はマルチメディアコンテンツのそれぞれの部分を記述する複数の構成要素を含む、方法が、記述子を処理することであって、複数の構成要素の優先度を求める、処理すること、及び求められた優先度に基づいて記述子の構成要素を符号化することを含む。記述子を復号する方法が、所定の数の複数の構成要素を、該構成要素のそれぞれを優先度順で復号することによって復号することを含む。有利には、符号化及び復号技法は、高速でスケーリング可能な検索を可能にする。

Description

本発明は、マルチメディアコンテンツを表すシグネチャの処理に関し、より詳細には、そのようなシグネチャの符号化及び復号のための方法及び装置に関する。
マルチメディアコンテンツのアイテムは、「シグネチャ」(「ロバストハッシュ」又は「フィンガープリント」としても知られる)によって表すことができる。シグネチャは、コンテンツに基づいて、小型で、一意で、かつロバストな記述を提供する。たとえば、同時係属の欧州特許出願第06255239.3号、英国特許出願第0700468.2号、英国特許出願第0712388.8号、英国特許出願第0719833.6号、及び英国特許出願第0800364.2号は、「画像記述子」又は「画像識別子」としても知られる画像のシグネチャについて記載している。欧州特許出願公開第1550297号はオーディオコンテンツ用のシグネチャについて記載し、米国特許出願公開第2007/0253594号はビデオコンテンツ用のシグネチャについて記載している。
マルチメディアシグネチャは通常、数字を含む複数の構成要素を含み、多くの場合、これらの数字はバイナリ空間にある。シグネチャは同一又はほぼ同じコンテンツを識別、検索、及び位置特定するのに用いることができる。
大量のマルチメディアデータが生成されているため、検索が低複雑度で非常に迅速に実行されることが明らかに要求されている。
本発明は、高速検索をサポートする、シグネチャを符号化及び記憶するための方法、並びに符号化されたシグネチャを復号するための対応する方法に関する。
第1の態様によれば、本発明は、マルチメディアコンテンツの記述子を符号化するための方法であって、
マルチメディアコンテンツのそれぞれの部分を記述する複数の構成要素を含む、前記マルチメディアコンテンツの記述子を受信すること、
前記受信した記述子を処理して前記複数の構成要素の優先度を求める、処理すること、及び
前記求められた優先度に基づいて前記記述子の前記構成要素を符号化すること、
を含む、方法を提供する。
実施の形態において、前記複数の構成要素の前記優先度は、優先順序付け発見的方法(apriority ordering heuristic)を用いて求めることができる。たとえば、前記複数の構成要素の前記優先度は、該複数の構成要素のそれぞれ又はそれらのサブセットのエントロピーを考慮することによって求めることができる。
1つの実施の形態では、前記記述子内の前記複数の構成要素のそれぞれ又はそれらのサブセットについて、対応する記述子のデータセットの少なくとも1つの確率分布を用いて、推定エントロピー値が求められる。
1つの実施の形態では、前記記述子内の前記複数の構成要素のそれぞれ又はそれらのサブセットについて優先度スコアが求められ、前記優先度スコア及び/又は関連する構成要素を連続した順序で配列することによって前記構成要素の優先順序が導出される。
この符号化方法は、好ましくは前記記述子の前記構成要素又はそれらのサブセットを前記求められた優先順序で符号化することをさらに含む。
1つの実施の形態では、前記記述子の前記構成要素の優先順序を求めた後、
前記方法は、
前記記述子の前記複数の構成要素のそれぞれ又はそれらのサブセットの相互依存を求めること、及び
前記求められた相互依存に基づいて前記求められた優先順序を更新すること
をさらに含む。
前記記述子の前記複数の構成要素のそれぞれ又はそれらのサブセットの相互依存を求めるステップは、前記求められた優先順序においてより高い優先度を有する全ての他の構成要素との、各構成要素の相関を考慮することを含むことができる。
そのような実施の形態による符号化方法は、好ましくは、前記記述子の前記構成要素又はそれらのサブセットを、前記更新された優先順序で符号化することをさらに含む。
第2の態様によれば、本発明は、マルチメディアコンテンツの記述子を復号するための方法であって、
マルチメディアコンテンツの符号化された記述子の複数の構成要素を受信することであって、該記述子の該構成要素は前記マルチメディアコンテンツのそれぞれの部分を記述し、該構成要素は、符号化されていない記述子における対応する構成要素の順序とは異なる優先順序で受信される、受信すること、及び
所定の数の構成要素が受信される順序で該所定の数の構成要素のそれぞれを復号することによって、該所定の数の前記複数の構成要素を復号すること、
を含む、方法を提供する。
通常、前記記述子の前記所定の数の複数の構成要素は、前記記述子の前記複数の構成要素の総数よりも少ない。
第3の態様によれば、本発明は、画像検索のための方法であって、
クエリ画像の符号化された記述子を受信すること、
本発明の第2の態様による方法を用いて前記クエリ画像の前記記述子を復号すること、
前記クエリ画像の前記記述子の前記復号された所定の数の前記複数の構成要素と、1つ又は複数の基準画像の前記記述子の対応する構成要素との間の距離、好ましくはハミング距離を求めること、及び
前記求められた距離が所定の閾値を下回る基準画像を選択すること、
を含む、方法を提供する。
実施の形態において、本方法は好ましくは、
前記クエリ画像の前記記述子の残りの構成要素を復号すること、及び
前記選択された基準画像ごとに、前記クエリ画像の前記記述子の前記復号された全ての前記構成要素を、前記選択された基準画像の前記記述子の全ての前記構成要素と比較することをさらに含む。
他の態様によれば、本発明は、
本発明の第1の態様による方法を実行するように構成される、マルチメディアコンテンツの記述子を符号化するための符号化器と、
プロセッサによって実行されると、本発明の第1の態様による符号化方法を実行する命令を含むコンピューター可読媒体と、
本発明の第2の態様による方法を実行するように構成される、マルチメディアコンテンツの記述子を復号するための復号器と、
プロセッサによって実行されると、本発明の第2の態様による復号方法を実行する命令を含むコンピューター可読媒体と、
本発明の第3の態様による画像検索方法を実行するための装置と、
プロセッサによって実行されると、本発明の第3の態様による方法を実行する命令を含むコンピューター可読媒体とを提供する。
1つの実施の形態では、欧州特許出願第06255239.3号に記載されるようなバイナリシグネチャが、マルチメディアコンテンツを一意に表す。
欧州特許出願第06255239.3号に記載されるように、シグネチャはバイナリストリングとして表すことができる。
シグネチャは、ビットストリームとして、又はXML等の何らかの他の適切なフォーマットで符号化、記憶、及び/又は送信することができる。
シグネチャを含む符号化されたビットストリーム(又は他のデータ構造)は、受信されて、コンテンツ検索及びマッチングにおける使用のために復号され得る。
本発明の態様は、1つ又は複数のコンテンツベースのシグネチャを含むビットストリーム(又は他のデータ構造)を符号化及び復号するための方法に関する。
シグネチャの符号化に重要な態様は、シグネチャの構成要素の優先順序付けである。
1つの実施の形態では、最も高い優先度を有するシグネチャビットがビットストリーム等の符号化されたデータ構造の最初に配置されるように、所定の数のビットを含むシグネチャが符号化される。
好ましくは、シグネチャのビット等の構成要素の優先順序付けは、それらのエントロピーに基づく。
シグネチャの構成要素を優先順序で順序付けるための適切な技法、及びそこから生じる技術的利点が以下に説明される。
有利には、本発明の符号化及び復号技法は高速でスケーリング可能な検索及びハッシングをサポートする。
本発明の一実施形態において実施することができる技法を用いて求められる、例示的な512ビットの画像シグネチャの構成要素のビットが1に等しい確率を示す図である。 本発明の一実施形態において実施することができる技法を用いて求められる、図1の512ビットの画像シグネチャのビット間の相関を示す図である。 例示的な512ビットのシグネチャのエントロピーを示す図である。 本発明の一実施形態による、マルチメディアシグネチャを符号化するための方法を示す流れ図である。 本発明の実施形態による、マルチメディアシグネチャを符号化及び復号するためのシステムの概略図である。
以下の説明は、上述した方法のうちの1つ又は複数を用いて導出される画像のシグネチャの符号化及び復号に関する。しかしながら、符号化及び復号技法は、任意の適切な技法を用いて導出することができる、他のタイプのマルチメディアコンテンツから導出されるシグネチャと共に用いることができることが理解されよう。
したがって、以下の説明は、バイナリストリングから構成される画像のシグネチャの符号化及び復号に関する。
特に、画像I(x、y)のシグネチャSは、0からn−1までのインデックスを有するnビットのセットから構成される:
S(I(x,y))={s0,s1,...sn-1
通常、画像シグネチャSにおける各ビット(s0〜sn-1)は、期待値、独立性、及びロバスト性に関する個々の特性を有する。各ビット(si)の特性は、データのセットから抽出されるシグネチャ(すなわち複数の画像のシグネチャ)を評価することによって、実験的に求めることができる。この実験データセットが大きくなることが望ましい。
これらの特性に基づいて、シグネチャにおけるビットを評価して、ビット(s0〜sn-1)ごとの優先度スコアを得ることができ、最も高いスコアが最も情報性のあるビット(the most informative bits)に与えられる。このために、発見的方法(heuristic)を用いて、実験的評価に基づいてビットの優先順序を求めることができる。
1つの好ましい実施形態では、ビットごとのエントロピー値に基づいて優先度スコアを求めるために、関数fを用いることができる。
f(si)=−p1(si)log21(si)−p0(si)log20(si
ここで、p1(si)はsiが1である確率p(si=1)であり、p0(si)=1−p1(si)はSiが0である確率である。エントロピーは0〜1の範囲にあり、より高い値はより高いエントロピーを意味し、該値は
p(si=1)=p(si=0)=0.5
のとき最大値に達する。
シグネチャのビットの確率p(si=1)は、M個の画像のより大きなデータセットからシグネチャを抽出及び評価することによって推定することができる。
Figure 2012505457
図1は、例として、実験的に求められる、512ビットの画像シグネチャにおける各ビットの確率p(si=1)の推定値を示している。他の関数を用いてシグネチャの構成要素を評価してそれらのエントロピーを求めることができることが理解されよう。図3は、同じ例示的な512ビットの画像シグネチャの対応する優先度スコアf(si)を示している。
シグネチャビット(s0〜sn-1)の優先度スコアf(si)は、降順(descending order)に配列される。すなわち、Sにおけるビットのインデックスを保ちながら、最も高いスコアが最初にくる。
f(si)≧f(sj)≧・・・≧f(sk
次に、後述するように、この優先順序付けは、画像シグネチャSのビット(s0〜sn-1)の符号化に用いることができる。
代替的な実施形態では、ビット間依存性(たとえば相関によって表される)も、優先順序付け発見的方法の一部と見なすことができる。たとえば上述した実施形態に従って初期順序付けf(si)≧f(sj)≧・・・≧f(sk)が取得されると、より高い優先度ビットを有する全てのビットとの、全てのビットの相関が考慮される。
データのセットに対し、相関c∈(0,1]を実験的に求めることができる。ここで、0は相関していないビットを表し、1は相関しているビットを表す。次に全てのより高い優先度のビットとの相関の最大値が求められ、
max(sj
新たな優先度スコアを得ることができる。
g(sj)=f(sj)+αcmax(sj
ここで、αは順序付けの相関の影響を求める設計パラメーターである。次に、更新された優先順序付けが得られる。
g(si)≧g(sj)≧・・・≧g(sk
最初のビットはこの第2の優先順序付けの後、常に同じであることに留意されたい。
このため、この代替的な実施形態では、次に、更新された優先順序付けを、後述するように、画像シグネチャSのビット(s0〜sn-1)の符号化に用いることができる。
特に、ここで、関連のある優先順序付けから、Sにおけるビット(s0〜sn-1)のインデックスが得られる。
i,j,...,k
これらのインデックスを用いて、シグネチャのビットが、求められた優先順序付けのビットストリーム(又は他の構造)に符号化される。
Figure 2012505457
例として、英国特許出願第0807411.4号の方法を用いて導出される、3つの画像優先順序付けされた画像シグネチャを含むビットストリーム構文が以下に与えられる。
Figure 2012505457
ビットストリームに対応するXMLスキーマは以下に与えられる。
<complexType name="ImageSignatureType" final="#all">
<complexContent>
<extension base="mpeg7 : VisualDType">
<sequence>
<element name="GlobalSignatureA">
<simpleType>
<restriction>
<simpleType>
<list itemType="mpeg7 : unsigned1" />
</simpleType>
<length value="512" />
</restriction>
</simpleType>
</element>
</sequence>
<sequence>
<element name="GlobalSignatureB">
<simpleType>
<restriction>
<simpleType>
<list itemType="mpeg7 : unsigned1" />
</simpleType>
<length value="512" />
</restriction>
</simpleType>
</element>
<element name="LocalSignature">
<complexType>
<sequence>
<element name="FeaturePointCount">
<simpleType>
<restriction base="nonNegativeInteger">
<minInclusive value="32" />
<maxInclusive value="80" />
</restriction>
</simpleType>
</element>
<element name="FeaturePoint" minOccurs="32" maxOccurs="80">
<complexType>
<sequence>
<element name="XCoord" type="mpeg7 : unsigned8"/>
<element name="YCoord" type="mpeg7 : unsigned8"/>
<element name="Direction" type="mpeg7 : unsigned4 "/>
<element name="Localsignature">
<simpleType>
<restriction>
<simpleType>
<list itemType="mpeg7 : unsigned1 "/>
</simpleType>
<length value="60" />
</restriction>
</simpleType>
</element>
</sequence>
</complexType>
</element>
</sequence>
</complexType>
</element>
</sequence>
</extension>
</complexContent>
</complexType>
ビットストリーム(又は他の構造)は、優先順序付けされたシグネチャにおいて所望のビット数まで読み出すことによって復号される。特に、復号方法は、符号化されたビットストリーム(又は他のデータ構造)を受信し、画像検索及びマッチングにおいて用いるために、ビットストリーム内のnビットシグネチャから最初のmビットのみを復号する。
符号化されたビットストリームにおける優先順序付けされたシグネチャは、最も情報性のあるビットを最初に記憶するので、復号技法は、最も関連しているビットを最初に復号し、それによって、高速検索及びマッチングを可能にする。これは、2つのシグネチャを比較するとき、最も関連しているmビットしか用いられないためである。さらに、復号技法は、スケーリング可能なシグネチャを提供する。以下の利点はそのようなシステムから生じる。
最初に、2つのシグネチャ間の距離(たとえばハミング距離)を求めることが可能であり、これは全nビットに対して計算される距離よりもロバスト性が低く、かつ/又は独立性が低くなる粗いレベルの距離である。距離計算の複雑性は、ビット数に線形に関連するため、より少ないビットmを用いることによってより低い計算要件がもたらされる。
第2に、検索空間をk最近傍に高速に縮小するためのシグネチャの構造のハッシュテーブルをmビットに基づいて作成することが可能である。好ましい実施形態ではmは8であり、256要素のハッシュテーブルが得られ、kは1であり、したがって検索空間は元のサイズの約8/256に縮小される。
最後に、確率の低いマッチを除去することによって検索回数を低減することが可能である。クエリシグネチャから閾値T1を下回る正規化された距離を有する全てのシグネチャを見つけるために検索が実行される場合、好ましい実施形態では、最初のmビットが比較され、正規化された距離がT2を下回る場合のみ全nビットが抽出され比較される。正規化された距離がT2を上回る場合、2つのシグネチャは異なると宣言される。
好ましい実施形態では、T2=T1+εであり、ε≧0である。そのような検索方法において、最初のmビット及び/又は全てのnビットの比較に基づいて類似であると宣言される画像は、検索結果として(たとえば対応する画像をディスプレイ画面に表示することによって)提供され得る。
図4は、本発明の一実施形態によるマルチメディアシグネチャを符号化するための方法を示す流れ図である。
方法はステップ100において開始し、ステップ100は、符号化されるマルチメディアコンテンツを受信する。
ステップ200において、別個に符号化されるマルチメディアコンテンツの部分ごと(たとえば画像ごと)に、所定のコンテンツに基づくシグネチャが抽出される。上述したように、シグネチャは、複数のバイナリビット等の所定の数のシグネチャ構成要素を含む。
受信したマルチメディアコンテンツからそのようなシグネチャを抽出するための任意の適切な技法を用いることができる。たとえば、マルチメディアコンテンツが静止画を含む場合、各画像に対するシグネチャは、上述した特許出願である、欧州特許出願第06255239.3号、英国特許出願第0700468.2号、英国特許出願第0712388.8号、英国特許出願第0719833.6号、及び英国特許出願第0800364.2号において記載される技法のうちの1つ又は複数を用いて画像を処理することによって導出することができる。
ステップ300において、優先順序付けは所定のシグネチャの構成要素のうちの少なくともいくつかに関して導出される。優先順序付けは、実施形態の上述した技法又は任意の他の適切な技法のうちの1つを用いて求めることができる。
ステップ400において、各シグネチャは、ステップ300において求められた優先順序付けに従って符号化される。
最後に、ステップ500において、符号化されたシグネチャは、復号器による使用のために送信又は記憶することができるビットストリーム(又は他のデータ構造)として提供される。データ構造は、上述したようなバイナリフォーマット若しくはXMLフォーマット、又は任意の他の適切なフォーマットで送信又は記憶することができる。
上述した符号化方法は、図5に示すような、プロセッサ20を備える符号化装置10において実行することができる。通常、この方法は、上述した方法ステップを実行するためにプロセッサ20によって実行可能な命令を含むコンピュータープログラムの形式で実装される。
対応する復号方法を、図5に示すような、プロセッサ60を備える復号装置50において実行することができる。通常、復号方法は、プロセッサ60によって実行可能な命令を含むコンピュータープログラムの形式で実装される。復号方法は、受信したデータ構造(たとえばビットストリーム)における各符号化されたシグネチャの最初のm個の構成要素(たとえばビット)を受信及び復号することを含み、これは次に、上述したような画像検索及びマッチングに用いることができる。
図5を詳細に参照すると、符号化器10は、画像受信機モジュール90において、カメラ110等の画像キャプチャデバイスから画像を受信する。符号化器プロセッサ20は、上述した技法に従って、画像を処理し、画像に対応するシグネチャを符号化する。オプションで、符号化器プロセッサ20は符号化された画像シグネチャ及び対応する画像をメモリ30内に記憶する。
符号化器プロセッサ20は、符号化された画像シグネチャ(たとえば符号化されたビットストリームとして)、及びオプションで対応する画像を(and optionally the corresponding image)、通信リンク40を介して復号器50の受信機80にさらに送信することができる。復号器プロセッサ60は、上述した技法に従って、受信した画像シグネチャを復号する。オプションで、復号器プロセッサ60は復号された画像シグネチャ及び対応する画像をメモリ70に記憶する。復号器プロセッサは、上述した技法に従って、メモリ70に記憶された復号された画像シグネチャを用いて画像検索及びマッチングをさらに実行することができる。
代替的な実施態様
代替的な実施形態では、シグネチャは非バイナリデータ構成要素から構成されてもよい。これもまた、優先順序で配列されビットストリーム又は他のデータ構造に符号化されてもよい。
説明した実施形態は、シグネチャ内の全てのビットをそれらの優先度によって順序付ける。当業者であれば理解するように、全てのビットをそのように順序付けることは必要でないか又は望ましくない場合がある。このため、代替的な実施形態は、部分的に優先順序付けされた符号化を含み、ここで、最も高いmビットは優先順序付けに基づいて符号化され、次に、残りのビットはそれらの元の順序で符号化される。
優先順序は、静止画、動画、オーディオコンテンツ等を含む任意のタイプのマルチメディアコンテンツから抽出される任意のタイプのシグネチャから形成することができる。
当業者であれば理解するように、説明した実施形態に対し多数の変形及び変更を行うことができる。本発明の精神及び範囲内に入る全てのそのような変形、変更、及び均等物を含むことが意図される。

Claims (22)

  1. マルチメディアコンテンツの記述子を符号化するための方法であって、
    マルチメディアコンテンツのそれぞれの部分を記述する複数の構成要素を含む、前記マルチメディアコンテンツの記述子を受信すること、
    前記受信した記述子を処理して、前記複数の構成要素の優先度を求める、処理すること、及び
    前記求められた優先度に基づいて前記記述子の前記構成要素を符号化すること、
    を含む、方法。
  2. 前記複数の構成要素の前記優先度は優先順序付け発見的方法を用いて求められる、請求項1に記載の方法。
  3. 前記複数の構成要素の前記優先度は、該複数の構成要素のそれぞれ又はそれらのサブセットのエントロピーを考慮することによって求められる、請求項1又は2に記載の方法。
  4. 前記複数の構成要素のそれぞれ又はそれらのサブセットのエントロピーを考慮することは、前記構成要素ごとにエントロピー値を求めることを含む、請求項1、2又は3に記載の方法。
  5. 前記記述子内の前記複数の構成要素のそれぞれ又はそれらのサブセットについて、対応する記述子のデータセットの少なくとも1つの確率分布を用いて、推定エントロピー値を求めることをさらに含む、請求項1〜4のいずれか1項に記載の方法。
  6. 前記記述子内の前記複数の構成要素のそれぞれ又はそれらのサブセットについて優先度スコアを求めること、及び
    前記優先度スコア及び/又は関連する構成要素を連続した順序で配列することによって前記構成要素の優先順序を導出すること、
    を含む、請求項1〜5のいずれか1項に記載の方法。
  7. 前記求められた優先順序で、前記記述子の前記構成要素又はそれらのサブセットを符号化することを含む、請求項6に記載の方法。
  8. 前記記述子の前記複数の構成要素のそれぞれ又はそれらのサブセットの相互依存を求めること、及び
    前記求められた相互依存に基づいて前記求められた優先順序を更新すること、
    をさらに含む、請求項1〜6のいずれか1項に記載の方法。
  9. 前記記述子の前記複数の構成要素のそれぞれ又はそれらのサブセットの相互依存を求めることは、前記求められた優先順序においてより高い優先度を有する全ての他の構成要素との、各構成要素の相関を考慮することを含む、請求項8に記載の方法。
  10. 前記記述子の前記構成要素又はそれらのサブセットを、前記更新された優先順序で符号化することを含む、請求項8又は9に記載の方法。
  11. 前記記述子はバイナリシグネチャであり、各構成要素は該バイナリシグネチャの1つ又は複数のビットを含む、請求項1〜10のいずれか1項に記載の方法。
  12. 前記符号化された記述子を所定のフォーマットで送信又は記憶することをさらに含む、請求項1〜11のいずれか1項に記載の方法。
  13. 請求項1〜12のいずれか1項に記載の方法を実行するように構成される、マルチメディアコンテンツの記述子を符号化するための符号化器。
  14. プロセッサによって実行されると、請求項1〜12のいずれか1項に記載の符号化方法を実行する命令を含むコンピューター可読媒体。
  15. マルチメディアコンテンツの記述子を復号するための方法であって、
    マルチメディアコンテンツの符号化された記述子の複数の構成要素を受信することであって、該記述子の該構成要素は前記マルチメディアコンテンツのそれぞれの部分を記述し、該構成要素は符号化されていない記述子における対応する構成要素の順序とは異なる優先順序で受信される、受信すること、及び
    所定の数の前記複数の構成要素を、該所定の数の構成要素が受信される順序で該所定の数の構成要素のそれぞれを復号することによって復号すること、
    を含む、方法。
  16. 前記記述子の前記所定の数の複数の構成要素は、前記記述子の前記複数の構成要素の総数よりも少ない、請求項15に記載の方法。
  17. 請求項15又は16に記載の方法を実行するように構成される、マルチメディアコンテンツの記述子を復号するための復号器。
  18. プロセッサによって実行されると、請求項15又は16に記載の復号方法を実行する命令を含む、コンピューター可読媒体。
  19. 画像検索のための方法であって、
    クエリ画像の符号化された記述子を受信すること、
    請求項15又は16に記載の方法を用いて前記クエリ画像の前記記述子を復号すること、
    前記クエリ画像の前記記述子の前記復号された所定の数の前記複数の構成要素と、1つ又は複数の基準画像の前記記述子の対応する構成要素との間の距離、好ましくはハミング距離を求めること、及び
    前記求められた距離が所定の閾値を下回る基準画像を選択すること、
    を含む、方法。
  20. 前記クエリ画像の前記記述子の残りの構成要素を復号すること、及び
    前記選択された基準画像ごとに、前記クエリ画像の前記記述子の前記復号された全ての前記構成要素を、前記選択された基準画像の前記記述子の全ての前記構成要素と比較すること、
    をさらに含む、請求項19に記載の方法。
  21. 請求項19又は20に記載の画像検索方法を実行するための装置。
  22. プロセッサによって実行されると、請求項19又は20に記載の方法を実行する命令を含むコンピューター可読媒体。
JP2011530574A 2008-10-08 2009-10-08 マルチメディアシグネチャのための符号化及び復号の方法及び装置 Active JP5706824B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
GBGB0818463.2A GB0818463D0 (en) 2008-10-08 2008-10-08 Encoding and decoding method and apparatus for multimedia signatures
GB0818463.2 2008-10-08
PCT/GB2009/051341 WO2010041074A1 (en) 2008-10-08 2009-10-08 Encoding and decoding method and apparatus for multimedia signatures

Publications (3)

Publication Number Publication Date
JP2012505457A true JP2012505457A (ja) 2012-03-01
JP2012505457A5 JP2012505457A5 (ja) 2012-10-11
JP5706824B2 JP5706824B2 (ja) 2015-04-22

Family

ID=40042506

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2011530574A Active JP5706824B2 (ja) 2008-10-08 2009-10-08 マルチメディアシグネチャのための符号化及び復号の方法及び装置

Country Status (6)

Country Link
EP (1) EP2347350B1 (ja)
JP (1) JP5706824B2 (ja)
KR (1) KR20110069845A (ja)
CN (1) CN102177516A (ja)
GB (1) GB0818463D0 (ja)
WO (1) WO2010041074A1 (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105900401B (zh) * 2014-01-07 2020-03-06 佳能株式会社 用于对层间依赖性进行编码的方法、装置和计算机程序

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH07152779A (ja) * 1993-11-29 1995-06-16 Toshiba Corp 動画インデックス検出処理方法及び動画インデックス検出処理機能を持つ動画処理装置
JPH09282461A (ja) * 1996-04-18 1997-10-31 Atsushi Matsushita カラー画像の重要な構成要素の分割選別方法及びシステム
JP2001045484A (ja) * 1999-07-30 2001-02-16 Mitsubishi Electric Corp 画像符号化装置、画像復号装置、画像符号化方法及び画像復号方法
JP2001312514A (ja) * 2000-03-18 2001-11-09 Hynix Semiconductor Inc ベクトル記述子表現並びにマルチメディアデータ検索装置及びその方法
WO2006073116A1 (ja) * 2005-01-07 2006-07-13 Nippon Telegraph And Telephone Corporation 映像符号化方法及び装置、映像復号方法及び装置、それらのプログラムおよびそれらプログラムを記録した記録媒体

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7801893B2 (en) * 2005-09-30 2010-09-21 Iac Search & Media, Inc. Similarity detection and clustering of images
US7860308B2 (en) * 2005-12-01 2010-12-28 Yahoo! Inc. Approach for near duplicate image detection

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH07152779A (ja) * 1993-11-29 1995-06-16 Toshiba Corp 動画インデックス検出処理方法及び動画インデックス検出処理機能を持つ動画処理装置
JPH09282461A (ja) * 1996-04-18 1997-10-31 Atsushi Matsushita カラー画像の重要な構成要素の分割選別方法及びシステム
JP2001045484A (ja) * 1999-07-30 2001-02-16 Mitsubishi Electric Corp 画像符号化装置、画像復号装置、画像符号化方法及び画像復号方法
JP2001312514A (ja) * 2000-03-18 2001-11-09 Hynix Semiconductor Inc ベクトル記述子表現並びにマルチメディアデータ検索装置及びその方法
WO2006073116A1 (ja) * 2005-01-07 2006-07-13 Nippon Telegraph And Telephone Corporation 映像符号化方法及び装置、映像復号方法及び装置、それらのプログラムおよびそれらプログラムを記録した記録媒体

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
CSND199700182002; 'Q&A:マルチメディアと情報圧縮●技術基礎編' エレクトロニクス 第41巻第3号, 19960301, 32-65ページ, 株式会社オーム社 *
CSND200500457001; 山本 博資: '符号化理論の新時代' 数理科学 第42巻 第11号, 20041101, 13-18ページ, 株式会社サイエンス社 *
JPN6014013991; 'Q&A:マルチメディアと情報圧縮●技術基礎編' エレクトロニクス 第41巻第3号, 19960301, 32-65ページ, 株式会社オーム社 *
JPN6014013994; 山本 博資: '符号化理論の新時代' 数理科学 第42巻 第11号, 20041101, 13-18ページ, 株式会社サイエンス社 *

Also Published As

Publication number Publication date
GB0818463D0 (en) 2008-11-12
EP2347350A1 (en) 2011-07-27
WO2010041074A1 (en) 2010-04-15
EP2347350B1 (en) 2020-02-12
JP5706824B2 (ja) 2015-04-22
CN102177516A (zh) 2011-09-07
KR20110069845A (ko) 2011-06-23

Similar Documents

Publication Publication Date Title
US11151145B2 (en) Tag selection and recommendation to a user of a content hosting service
US9785708B2 (en) Scalable, adaptable, and manageable system for multimedia identification
US8712216B1 (en) Selection of hash lookup keys for efficient retrieval
US8559516B2 (en) Video sequence ID by decimated scene signature
US9659094B2 (en) Storing fingerprints of multimedia streams for the presentation of search results
US20090313305A1 (en) System and Method for Generation of Complex Signatures for Multimedia Data Content
US20100070507A1 (en) Hybrid content recommending server, system, and method
CN105786857B (zh) 一种提高视频聚合效率的方法及系统
WO2009116856A2 (en) Generating statistics of popular content
WO2009061434A1 (en) System and method for processing digital media
KR100896336B1 (ko) 영상 정보 기반의 동영상 연관 검색 시스템 및 방법
US20110137896A1 (en) Information processing apparatus, predictive conversion method, and program
JP2010166154A (ja) コンテンツ推薦装置およびコンテンツ推薦方法
JP2009539190A (ja) コンテンツ・アイテムをアノテーションするための装置及び方法
JP2022542643A (ja) パーセプチュアルフレームハッシングを使用したビデオメタデータの識別および検索
EP2936348A1 (en) System and method for searching a labeled predominantly non-textual item
JP5706824B2 (ja) マルチメディアシグネチャのための符号化及び復号の方法及び装置
CN106937127B (zh) 一种智能搜索准备的显示方法及其系统
WO2021109850A1 (zh) 一种pdf文件去重存储方法及系统
WO2014026567A1 (zh) 一种网络协议电视iptv节目搜索方法、装置及系统
US20120265768A1 (en) Encoding and decoding method and apparatus for multimedia signatures
JP2009295054A (ja) 映像コンテンツ検索装置及びコンピュータプログラム
WO2014154086A1 (zh) 频道设置方法、装置、设备和计算机存储介质
CN103309865A (zh) 视频源聚类的实现方法及实现系统
KR20120042245A (ko) 수요자 기반 메타데이터를 이용한 영상 컨텐츠 창작 지원 시스템 및 방법

Legal Events

Date Code Title Description
A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20120823

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20120823

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20130802

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20130806

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20140408

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20140708

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20150203

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20150227

R150 Certificate of patent or registration of utility model

Ref document number: 5706824

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313113

S531 Written request for registration of change of domicile

Free format text: JAPANESE INTERMEDIATE CODE: R313531

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313113

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

S533 Written request for registration of change of name

Free format text: JAPANESE INTERMEDIATE CODE: R313533

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250