JP2009520408A - 場面変化検出のためのランダムサブサンプルパティション投票(rsvp)アルゴリズム - Google Patents

場面変化検出のためのランダムサブサンプルパティション投票(rsvp)アルゴリズム Download PDF

Info

Publication number
JP2009520408A
JP2009520408A JP2008545791A JP2008545791A JP2009520408A JP 2009520408 A JP2009520408 A JP 2009520408A JP 2008545791 A JP2008545791 A JP 2008545791A JP 2008545791 A JP2008545791 A JP 2008545791A JP 2009520408 A JP2009520408 A JP 2009520408A
Authority
JP
Japan
Prior art keywords
partitions
histogram
partition
current
current frame
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2008545791A
Other languages
English (en)
Inventor
ホフマン,マーク
シャン,ウェイ
ニング,ケー
Original Assignee
アナログ・デバイシズ・インコーポレーテッド
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by アナログ・デバイシズ・インコーポレーテッド filed Critical アナログ・デバイシズ・インコーポレーテッド
Publication of JP2009520408A publication Critical patent/JP2009520408A/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/14Picture signal circuitry for video frequency region
    • H04N5/147Scene change detection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/40Scenes; Scene-specific elements in video content
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136Incoming video signal characteristics or properties
    • H04N19/137Motion inside a coding unit, e.g. average field, frame or block difference
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136Incoming video signal characteristics or properties
    • H04N19/14Coding unit complexity, e.g. amount of activity or edge presence estimation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/85Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
    • H04N19/87Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression involving scene cut or scene change detection in combination with video compression

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

ビデオシーケンスにおける場面変化検出のためのシステム及び方法であって、ランダムサブサンプリングパティション投票(RSPV)アルゴリズムを利用したものが提供される。ビデオシーケンスにおいて、現在フレームが複数のパティションに分割される。それぞれのパティションはランダムにサブサンプリングされ、ピクセルの強度値のヒストグラムが、現在パティションがレファレンスフレームの対応するパティションから変化したかどうかを判定するために作成される。現在フレームのパティションとレファレンスフレームの同位置のパティションとのビン毎絶対ヒストグラム変化量が計算される。このヒストグラム変化量が、適応閾値と比較される。調べられたパティションの過半数が大きな変化を示せば、場面変化が検出される。RSPVアルゴリズムは運動不感応でありメモリアクセスコストと計算コストの目覚しい節約に特徴がある。

Description

関連出願への相互参照
本出願は、本明細書にその全体を参照として組み入れる、2005年12月15日に出願された「ランダムサブサンプルパティション投票(RSVP)超低コスト場面変化検出アルゴリズム」なる名称の米国特許仮出願シリアル番号No.60/750,658への米国特許法第119条(e)による優先権を主張するものである。
発明の分野
本発明は、一般的にデジタルビデオプロセッシングと解析に関し、より詳しくは、ランダムサブサンプルパティション投票アルゴリズムを用いた場面変化検出のための方法およびシステムに関する。
発明の背景
ビデオ圧縮(compression)および解凍(decompression)を可能にするデジタルビデオコーデック技術は、通信(telecommunication)産業、エンタテイメント産業および放送産業を総合した様相を有する技術である。多数の進歩したビデオ圧縮標準、たとえばISO/IEC MPEG−1、MPEG−2、MPEG−4、CCITT H.261、ITU−T H.263、ITU−T H.264、マイクロソフトWMV9/VC−1のような、高品質で低いビットレートのビデオストリーム(video stream)を供給するものが開発されてきている。
ビデオ圧縮においては、ビデオシーケンスが2種類のフレームを用いてエンコードされる:イントラフレームと予測フレームである。イントラフレームは、自己の内部の情報のみを利用し、これに対して予測フレームは、ビデオシーケンスの一時的な冗長性を利用する。かくして、一つのフレームが一つのレファレンスとして選択され、後に続く複数フレームは、そのレファレンスから予測される。隣り合うフレームが高い相関を有する場合、予測フレームの圧縮率はイントラフレームのそれよりもずっと高いものとなる。高い圧縮率を得るために、典型的には一つのビデオシーケンス内の予測フレームの割合は、95%またはそれ以上となる。
しかしながら、イントラフレームは、先行するフレームとの相関が殆ど無い場合には、予測フレームよりもより効率的にフレームをエンコードすることができる。さらにいえば、一連の予測フレームの中にイントラフレームを挿入することによって、先行する予測フレームに基づいてエンコードされる間に累積されるエラーの伝播を回避することが可能となる。
ビデオシーケンスは、異なったショットに分割することが可能である。2つのショットの間の遷移とは、場面変化である。場面変化のあとの最初のフレームは、先行するフレームとの相関が、仮にあるとしても非常に低いのであるから、イントラフレームとしてエンコードされるべきである。場面変化検出アルゴリズムは、ビデオシーケンスの場面内容の変化を同定するために必用であり、連続するフレームの中に、何時イントラフレームを挿入するべきかの決定を行うものであり、かくしてビデオを複数のショットにセグメント化するものである。
既存の低価格場面変化検出アルゴリズムは、空間相関ベースのものとヒストグラムベースのものに分けることができる。空間相関ベースのアルゴリズムは、運動に対して非常に敏感であり、ヒストグラムベースのアルゴリズムはその決定プロセスにおいて、殆どの空間的情報を失ってしまう。これら欠点に加えて、これら2タイプのアルゴリズムは、計算における複雑さの程度が通常非常に高い。それゆえにこれらは、リアルタイムの組み込みビデオエンコーダとしての要求、即ちメモリーアクセスバンド幅が小さいこと、計算の複雑さの程度が低いこと、レイテンシーが低いこと、に答えるために完全に適するとはいえない。
発明の概要
上記の観点から、本発明の実施の態様においては、ランダムサブサンプリングパティション投票(RSPV)アルゴリズムを利用した信頼できる低コスト場面変化検出のための方法を提供する。RSPVアルゴリズムは、空間相関ベースのアルゴリズムとヒストグラムベースのアルゴリズムの両者の利点を生かすものである。
本発明の実施の態様においては、現在フレーム(current frame)が複数のパティションに分割される。それぞれのパティションはそれからランダムにサブサンプリングされ、現在パティション(current partition)がレファレンスフレームにおける同位置のパティションと異なっているかどうかを判定するために、ピクセル強度値のヒストグラムが作られる。現在フレームにおけるパティションと、レファレンスフレームにおける対応位置のパティションとの、ビン毎の(bin-by-bin)絶対ヒストグラム変化量(absolute histogram difference)が計算される。
次にヒストグラム変化量が適応閾値(adaptive threshold)と比較される。調べられたパティションの過半数が大きな変化を示している場合、場面変化が検出されたとみなす。あるパティションが大きな変化をしたと報告できるかどうかを決めるために、多様な他の閾値をさらに加えて用いることができる。
ヒストグラム計算を行うことが、RSPVアルゴリズムを動きによる影響から独立なもの(motion independent)とする一方、パティション化は十分な空間的情報を利用する。ヒストグラムがサブサンプリングされたフレームについて計算されるので、このアルゴリズムは顕著なメモリーアクセスおよび計算の節約となるという特徴がある。
これに従って、幾つかの本発明の態様が、幾つかの説明のための態様とともに示されるが、これらは限定的であることを意図するものではない。
そのような態様の一つとして、ビデオシーケンスにおける場面変化検出のための方法が提供され、この方法は以下のステップを含む:
(a)現在フレームを、それぞれが複数のピクセルを含む複数のパティションに分割するステップ、
(b)該複数のパティションのそれぞれにおいて複数ピクセルをランダムにサブサンプリングするステップ、
(c)前記複数のパティションからの現在パティションのそれぞれについて、複数のピクセル値範囲のそれぞれのピクセル値範囲内に入るピクセルの数のヒストグラムを、そのヒストグラムが複数のビンを含むように作成するステップ、
(d)ビン毎に、現在パティションと、レファレンスフレームにおける対応するパティションとの、絶対ヒストグラム変化量を決定するステップ、
(e)ビン毎の絶対ヒストグラム変化量が、あらかじめ定めた第1の閾値よりも大きい場合には、現在パティションを、変化した、とラベル付けするステップ、
(f)現在フレームにおける複数のパティションのそれぞれについて、(b)から(e)までのステップを繰り返すステップ、および
(g)現在フレームにおける、変化したとラベル付けされたパティションの数が、あらかじめ定めた第2の閾値よりも大きい場合に、現在パティションに場面変化があったと報告するステップ。
別の態様に従えば、ビデオシーケンスにおける場面変化検出のための方法を実施する、コンピュータシステムにおいて実行するためのコンピュータ用命令によってエンコードされたコンピュータ可読記憶媒体が提供され、その方法は以下のステップを含む:
(a)現在フレームを、それぞれが複数のピクセルを含む複数のパティションに分割するステップ、
(b)該複数のパティションのそれぞれにおいて複数ピクセルをランダムにサブサンプリングするステップ、
(c)前記複数のパティションからの現在パティションのそれぞれについて、複数のピクセル値範囲のそれぞれのピクセル値範囲内に入るピクセルの数のヒストグラムを、そのヒストグラムが複数のビンを含むように作成するステップ、
(d)ビン毎に、現在パティションと、レファレンスフレームにおける対応するパティションとの、絶対ヒストグラム変化量を決定するステップ、
(e)ビン毎の絶対ヒストグラム変化量が、あらかじめ定めた第1の閾値よりも大きい場合には、現在パティションを、変化した、とラベル付けするステップ、
(f)現在フレームにおける複数のパティションのそれぞれについて、(b)から(e)までのステップを繰り返すステップ、および
(g)現在フレームにおける、変化したとラベル付けされたパティションの数が、あらかじめ定めた第2の閾値よりも大きい場合に、現在パティションに場面変化があったと報告するステップ。
さらに他の1つの態様に従えば、プロセッサおよびコンピュータ可読記憶媒体を含む装置が提供され、該記憶媒体には、プロセッサにより実行される、ビデオシーケンス中の場面変化検出方法を提供するためのコンピュータ命令が記憶され、その方法は以下のステップを含む:
(a)現在フレームを、それぞれが複数のピクセルを含む複数のパティションに分割するステップ、
(b)該複数のパティションのそれぞれにおいて複数ピクセルをランダムにサブサンプリングするステップ、
(c)前記複数のパティションからの現在パティションのそれぞれについて、複数のピクセル値範囲のそれぞれのピクセル値範囲内に入るそれぞれのピクセルの数のヒストグラムを、そのヒストグラムが複数のビンを含むように作成するステップ、
(d)ビン毎に、現在パティションと、レファレンスフレームにおける対応するパティションとの、絶対ヒストグラム変化量を決定するステップ、
(e)ビン毎の絶対ヒストグラム変化量が、あらかじめ定めた第1の閾値よりも大きい場合には、現在パティションを、変化した、とラベル付けするステップ、
(f)現在フレームにおける複数のパティションのそれぞれについて、(b)から(e)までのステップを繰り返すステップ、および
(g)現在フレームにおける、変化したとラベル付けされたパティションの数が、あらかじめ定めた第2の閾値よりも大きい場合に、現在パティションに場面変化があったと報告するステップ。
幾つかの実施の態様によれば、ピクセル値は対応するピクセルの色の輝度成分を表すものである。現在フレームにおけるパティションの数は16〜128の範囲であってもよい。
幾つかの実施の態様によれば、ヒストグラムは16ビンのヒストグラムであってもよい。第2のあらかじめ定めた閾値は現在フレームにおける過半数のパティションと定義してもよい。
上記に言及され、以下に説明される実施の態様は、論旨がそれと異なる場合をのぞき、互いに排他的なものであることを理解すべきである。
詳細な説明
図1は、ビデオフレームのシーケンスの一例を示し、ここにおいてイントラフレーム(I)は予測フレーム(P)の間に散らされて配置される。I−フレームは全く他のフレームのインターポーレーション無しにエンコードされており、他方P−フレームは、先行するIフレームまたはPフレームに対して相対的にエンコードされている。場面変化検出のゴールは、何処であれ場面変化が起こった場所にI−フレームを挿入することにある。
本発明の実施の態様においては、ビデオシーケンスにおけるフレームは複数のパティションに分割されている。それに従って図2は、現在フレーム200およびレファレンスフレーム202の双方が、N個のパティションに分割されている様子を示す模式図である。幾つかの実施の態様においては、1つのフレームは16個のパティションに分割され、これにより空間的分解能と運動許容性とのバランスがもたらされる。パティションの数は変化可能である。しかしながら、より多くのパティションを使用するということは、空間的分解能が高くなることを意味し、アルゴリズムが運動に対してより敏感になる、ということを理解すべきである。
図2は、パティション化が、フレーム200および202の上限および下限の境界領域を必ずしも包含するものでないことを示し、その理由はそれら領域のピクセルが通常場面変化に関して比較的情報量が少ないかまたは全く無い(例えば、フレームが「レターボックス」フレームの場合)からである。さらに、現在フレーム200におけるそれぞれのパティションはレファレンスフレーム202における対応するパティションと、図において矢印204、206で示すように、比較される。比較については、以下で詳細に解説する。
本発明の実施の態様において使用されているランダムサブサンプルパティション投票(RSPV)アルゴリズムは、パティション化されたフレームのそれぞれに対して適用される。図3は、現在フレームに適用されるRSPVアルゴリズム300のフローチャートを示す。このアルゴリズムは連続するフレームkのそれぞれに適用され、図2を用いて説明したように、フレームは、ステップ302において、N個のパティションに分割されるということを理解すべきである。本発明の実施の態様においては、パティションの数Nは16としたが、Nとして他の数も本発明の範囲内において使用可能である。
続いてそれぞれのパティションは、ステップ304において、適切な任意の技術を用いてランダムにサブサンプリングされる。ランダムサブサンプリングは、それぞれのサンプリングポイントが選択される確率が、互いに等しいということを保証するものである。幾つかの実施の態様においては、サブサンプリング比は、水平および垂直ともに、8:1または4:1である。RSPVアルゴリズムにおいては、ピクセルの輝度が使用されるということを認識すべきである。他の適切なピクセルの特性を使用しても良い。
図3は、N個のパティションのそれぞれについて、ステップ308においてピクセル強度値のヒストグラムが計算されるということを示している。ヒストグラムはM個のビンを有している。表現の明確化のために、パティションの番号を示すパラメータjは、ステップ306において値1に初期化される。現在フレームにおけるk番目のパティションと前回調べられたレファレンスフレームにおける対応するk番目のパティションとのビン毎の絶対ヒストグラム変化量を含む変数HistoDiffが、ステップ306において値0に初期化される。本発明の実施の態様においては、上記のように16ビンヒストグラムが使用され、これはパティションの周波数ドメイン解析のために十分なものである。ビデオシーケンス中の運動の状態に応じて、他の適切な数のビンを用いてヒストグラムを作ることもできる。
パティションの周波数ドメイン表現は、運動からの影響を受けない。それゆえ、たとえ運動が激しくても、ヒストグラムは、場面内容における運動と無関係な変化を検出することを可能とする。本発明の実施の態様に従って計算した16ビンヒストグラムの例が図4に示されており、ここにおいて16ビンのそれぞれはそれぞれのビンに割り振られた値の範囲内にある値を有するピクセルの数を含んでいる。
ビン毎の絶対ヒストグラム変化量が、図3のステップ310および312に示すように計算され、次の計算式が用いられる。
Figure 2009520408
ここにおいてCは現在フレーム、Rはレファレンスフレーム、kはパティションの番号、jはk番目のパティションについて計算されたヒストグラムにおける、ビンの番号である。
図3には、ステップ310において、現在フレームCのk番目のパティションについて計算されたヒストグラムにおけるM個のビンのうちのj番目のビンが、対応するレファレンスフレームRのk番目のパティションにおける対応するj番目のビンと比較される、ということが示されている。C(k,j)は現在フレームのk番目のパティションのj番目のビンに割り振られた値の範囲内にあるピクセルの数を意味し、次のフレームについて判定するためのPGDSアルゴリズムの繰り返しのために記憶されるものであり、それゆえにC(k、j)はR(k,j)として使用される。
ステップ312に規定されているように、現在フレームとレファレンスフレームとの間の、k番目のパティションについて作成されたそれぞれのヒストグラムにおけるM個のビンのそれぞれについて、ビン毎絶対ヒストグラム変化量が計算されると、得られたk番目のパティションについてのビン毎絶対ヒストグラム変化量、すなわちHistoDiff(k)が、ステップ314において、閾値1と名づけられた構成可能な閾値と比較される。計算されたビン毎絶対ヒストグラム変化量が閾値1を越えている場合、k番目のパティションは変化した、とステップ316においてラベル付けされる。さもなければk番目のパティションはステップ318において、変化なしとラベル付けされるか、変化したとのラベルづけがなされないかである。
図3のステップ320において、調べられるべきパティションが残っているかどうかが決定され、すべてのNが検査された状態でなければ、kは1だけ増加される。そして次のパティションk+1が、k番目のパティションについてと同様に調べられる。ステップ320において、現在フレームの全てのN個のパティションが調べられたと判定した場合、N個のパティションのうち変化したとマークされたパティションの数が決定され、ステップ322において閾値2と名づけられたあらかじめ定められた閾値と比較される。変化したパティションの数が閾値2よりも大きい場合には、ステップ324において場面変化の旨が報告される。変化したパティションの数が閾値2よりも小さい場合は、ステップ326に示すように、場面変化は報告されない。閾値2は如何なる適切な構成可能な閾値であってもよいことを理解すべきである。
本発明の実施の態様においては、閾値2は、変化したとマークされたパティションの数の50%と定義されている。かくして、過半数のフレームパティション(即ち、パティションの数が16である実施の態様においては、8個以上)が変化したと報告された場合、フレームは場面変化を含んでいると判断される。場面変化が発生すると、現在フレームパティションのヒストグラム分布が、対応するレファレンスフレームパティションのヒストグラム分布から、目だって変移する。ビン毎絶対ヒストグラム変化量は、分布の変移の大きさを表している。
RSPVアルゴリズムの計算コストは低い。仮にサブサンプリング比を水平方向も垂直方向も8:1とすると、処理されるピクセルは、フレームの全ピクセルの高々約2%に過ぎない。ヒストグラム計算の並列処理およびメモリーアクセスの性質を考慮にいれると、RSPVアルゴリズムは、パティションの全てのピクセルについてのヒストグラムを計算するアルゴリズムに比較して、場面変化検出に必用な時間が短いことを特徴とする。さらに、サブサンプリングであること、それゆえに調べられるピクセルの数は減らされているにも拘らず、検出結果は、本発明者らによる実験の結果が示すように、十分信頼性の高いものである。それぞれが1000個のフレームを有する、10個の良く知られたビデオシーケンスについて、場面変化検出のミス比率は3%以下であり、誤警報率は2%以下であった。
RSPVは、パティションの数およびサブサンプリングのレートを変化させることによって、いろいろなサイズのフレームに適するようにスケーリングすることが可能であることに注目すべきである。ビン毎絶対ヒストグラム変化量の閾値は適切に変更可能であり、多様なビデオコンテンツに対応して、リアルタイム調節を含め、調節可能である。
図5は、D1フレームサイズ(720×480ピクセル)でコーディングされた60秒間のビデオクリップについて、場面変化検出を行った典型的な実験結果を示す。横軸はフレーム番号を示し、縦軸は変化したパティションの数を示し、ここにおいてパティションの数は16である。パティションの数が8以上であるとき、場面変化が検出される。
かくして、RSPVアルゴリズムは、高い検出率と低い誤警報率を以って、成功裏に場面変化フレームを他のフレームから区別した。図5は、フレーム番号570のあたりで非常に大きな対象物が極めて速く移動し、それゆえにいくらかのノイズが発生していることを示している。しかしながら、アルゴリズムは運動に対して寛容であるので、信頼できる場面変化検出を提供する、即ち、大きな対象物が場面を横切っても、場面変化が誤って検出されることはない。
総括すれば、本発明の実施の態様においては、信頼性が高く、低価格であり、運動に対して敏感でない、画面変化検出方法を提供している。RSPVアルゴリズムは、スケーラブルであり、適応可能な多様な閾値を使用可能である。
本発明の実施の態様はソフトウエア、ハードウエア、ファームウエア、多様な種類のプロセッサやこれらの組み合わせにおいて実現可能である。したがって、或る態様においては、限定的ではなく次のもの、すなわちROM、RAM、フレキシブルディスク、CD−ROM、DVD等を含むコンピュータ可読媒体という態様でのコンピュータ可読命令として実施可能である。本発明の幾つかの実施の態様においては、コンピュータ可読命令を記憶したコンピュータ可読媒体、または、アナログ・デバイシズ・インコーポレーテッド(マサチューセッツ州ノーウッド)(Analog Devices, Inc., Norwood, MA)から入手可能な「ブラックフィン」(Blackfin)ファミリーの組み込みデジタルシグナルプロセッサの高性能製品群に含まれるビデオエンコーダのハードウエア部品として実施可能である。たとえば各々600MHzでの動作が可能な2個の独立コアを含むデジタルシグナルプロセッサADSP−BF561や、756MHzまでの動作を達成するシングルコアのADSP−BF533デジタルシグナルプロセッサが使用可能である。本発明の実施の態様に、他の多くの適切なデジタルシグナルプロセッサが同様に使用可能である。
図6は本発明の態様の実施のための典型的計算装置の図である。そのような装置は、それに限定されるものではないが、マイクロプロセッサ600、キャッシュメモリ602、内部メモリ604、DMAコントローラ606を含み、システムバス608で相互に繋がれている。図6の計算装置を利用する本発明の実施の態様においては、システムバス608は、外部メモリ612を制御する外部メモリコントローラ610と接続されている。
上記から解るように、上に説明した本発明の多くの態様は、独立に使用することもできるし、組み合わせて使用することもできる。特に、本発明の種々の態様は、単独で、または組み合わせて、または上記した実施の態様において特に説明したもの以外の多くのアレンジで使用可能であり、本明細書に記載された本発明の態様は、上記の説明または図において記述した要素の組み合わせ及び細部への適用に限られるものではない。本発明の態様は、他の実施態様においても可能であり、多様な方法によって実施可能である。本発明の多様な態様は、如何なるタイプの回路を用いても実施可能であり回路の適用において如何なる限定も付すものではない。従って、上記説明および図面は、単に例示のためのものである。
ここにおいて用いた用語法、用語は説明のためのものであって、限定するためのものではないことを理解すべきである。ここにおける「包含する」「含む」「有する」「内蔵する」またはこれらの多くの変形は、記載されたもの及びそれらと均等のものおよび追加のものを含む。
連続するイントラフレームおよび予測フレームを含むビデオシーケンスの模式図である。 フレームをパティションに分割することを示す模式図である。 本発明の実施の態様に従ったランダムサブサンプリングパティション投票アルゴリズムのフローチャートである。 ランダムサブサンプリングパティション投票アルゴリズムの一部として計算した16ビンヒストグラムの一例である。 ランダムサブサンプリングパティション投票アルゴリズムをビデオクリップに適用した動作の一例である。 本発明の実施の態様に従う場面変化検出方法を実施する計算装置を模式的に表現するブロックダイヤグラムである。

Claims (15)

  1. ビデオシーケンスにおける場面変化を検出する方法であって、次のステップを含む方法:
    (a)現在フレームを、それぞれが複数のピクセルを含む複数のパティションに分割するステップ、
    (b)該複数のパティションのそれぞれにおいて複数ピクセルをランダムにサブサンプリングするステップ、
    (c)前記複数のパティションからの現在パティションのそれぞれについて、複数のピクセル値範囲のそれぞれのピクセル値範囲内に入るピクセルの数のヒストグラムを、そのヒストグラムが複数のビンを含むように作成するステップ、
    (d)ビン毎に、現在パティションと、レファレンスフレームにおける対応するパティションとの、絶対ヒストグラム変化量を決定するステップ、
    (e)ビン毎の絶対ヒストグラム変化量が、あらかじめ定めた第1の閾値よりも大きい場合には、現在パティションを、変化した、とラベル付けするステップ、
    (f)現在フレームにおける複数のパティションのそれぞれについて、(b)から(e)までのステップを繰り返すステップ、および
    (g)現在フレームにおける、変化したとラベル付けされたパティションの数が、あらかじめ定めた第2の閾値よりも大きい場合に、現在パティションに場面変化があったと報告するステップ。
  2. ピクセル値が、対応するピクセル色の輝度を表すものである、請求項1に記載の方法。
  3. 現在フレームのパティションの数が、16〜128の範囲である、請求項1に記載の方法。
  4. ヒストグラムが、16ビンのヒストグラムである、請求項1に記載の方法。
  5. あらかじめ定めた第2の閾値が、現在フレームにおけるパティションの過半数と定められている、請求項1に記載された方法。
  6. コンピュータ可読記録媒体であって、コンピュータによる実行のためのコンピュータ命令がエンコードされており、命令は、実行されたときに、次のステップを含むビデオシーケンスにおける場面変化を検出する方法を実行するものである、前記記録媒体:
    (a)現在フレームを、それぞれが複数のピクセルを含む複数のパティションに分割するステップ、
    (b)該複数のパティションのそれぞれにおいて複数ピクセルをランダムにサブサンプリングするステップ、
    (c)前記複数のパティションからの現在パティションのそれぞれについて、複数のピクセル値範囲のそれぞれのピクセル値範囲内に入るピクセルの数のヒストグラムを、そのヒストグラムが複数のビンを含むように作成するステップ、
    (d)ビン毎に、現在パティションと、レファレンスフレームにおける対応するパティションとの、絶対ヒストグラム変化量を決定するステップ、
    (e)ビン毎の絶対ヒストグラム変化量が、あらかじめ定めた第1の閾値よりも大きい場合には、現在パティションを、変化した、とラベル付けするステップ、
    (f)現在フレームにおける複数のパティションのそれぞれについて、(b)から(e)までのステップを繰り返すステップ、および
    (g)現在フレームにおける、変化したとラベル付けされたパティションの数が、あらかじめ定めた第2の閾値よりも大きい場合に、現在パティションに場面変化があったと報告するステップ。
  7. ピクセル値が、対応するピクセル色の輝度を表すものである、請求項6に記載の記録媒体。
  8. 現在フレームのパティションの数が、16〜128の範囲である、請求項6に記載の記録媒体。
  9. ヒストグラムが、16ビンのヒストグラムである、請求項6に記載の記録媒体。
  10. あらかじめ定めた第2の閾値が、現在フレームにおけるパティションの過半数と定められている、請求項6に記載の記録媒体。
  11. プロセッサおよびコンピュータ可読記憶媒体を含む装置であって、該記憶媒体には、プロセッサにより実行される、ビデオシーケンスにおける場面変化を検出する方法のためのコンピュータ命令が記憶され、その方法は以下のステップを含む前記装置:
    (a)現在フレームを、それぞれが複数のピクセルを含む複数のパティションに分割するステップ、
    (b)該複数のパティションのそれぞれにおいて複数ピクセルをランダムにサブサンプリングするステップ、
    (c)前記複数のパティションからの現在パティションのそれぞれについて、複数のピクセル値範囲のそれぞれのピクセル値範囲内に入るそれぞれのピクセルの数のヒストグラムを、そのヒストグラムが複数のビンを含むように作成するステップ、
    (d)ビン毎に、現在パティションと、レファレンスフレームにおける対応するパティションとの、絶対ヒストグラム変化量を決定するステップ、
    (e)ビン毎の絶対ヒストグラム変化量が、あらかじめ定めた第1の閾値よりも大きい場合には、現在パティションを、変化した、とラベル付けするステップ、
    (f)現在フレームにおける複数のパティションのそれぞれについて、(b)から(e)までのステップを繰り返すステップ、および
    (g)現在フレームにおける、変化したとラベル付けされたパティションの数が、あらかじめ定めた第2の閾値よりも大きい場合に、現在パティションに場面変化があったと報告するステップ。
  12. ピクセル値が、対応するピクセル色の輝度を表すものである、請求項11に記載の装置。
  13. 現在フレームのパティションの数が、16〜128の範囲である、請求項11に記載の装置。
  14. ヒストグラムが、16ビンのヒストグラムである、請求項11に記載の装置。
  15. あらかじめ定めた第2の閾値が、現在フレームにおけるパティションの過半数と定められている、請求項11に記載の装置。
JP2008545791A 2005-12-15 2006-12-14 場面変化検出のためのランダムサブサンプルパティション投票(rsvp)アルゴリズム Pending JP2009520408A (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US75065805P 2005-12-15 2005-12-15
PCT/US2006/047643 WO2007078801A1 (en) 2005-12-15 2006-12-14 Randomly sub-sampled partition voting(rsvp) algorithm for scene change detection

Publications (1)

Publication Number Publication Date
JP2009520408A true JP2009520408A (ja) 2009-05-21

Family

ID=38051290

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2008545791A Pending JP2009520408A (ja) 2005-12-15 2006-12-14 場面変化検出のためのランダムサブサンプルパティション投票(rsvp)アルゴリズム

Country Status (6)

Country Link
US (1) US20070160288A1 (ja)
EP (1) EP1961210A1 (ja)
JP (1) JP2009520408A (ja)
CN (1) CN101352029A (ja)
TW (1) TW200803521A (ja)
WO (1) WO2007078801A1 (ja)

Families Citing this family (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20080234603A1 (en) * 2007-03-19 2008-09-25 Ethicon Endo-Surgery, Inc. Electrode dome and method of use
US20090109341A1 (en) 2007-10-30 2009-04-30 Qualcomm Incorporated Detecting scene transitions in digital video sequences
FR2940491B1 (fr) * 2008-12-23 2011-03-18 Thales Sa Systeme de procede interactif pour la transmission sur un reseau bas debit d'images clefs selectionnees dans un flux video
GB2471323B (en) * 2009-06-25 2014-10-22 Advanced Risc Mach Ltd Motion vector estimator
US20120051432A1 (en) * 2010-08-26 2012-03-01 Samsung Electronics Co., Ltd Method and apparatus for a video codec with low complexity encoding
US8917764B2 (en) * 2011-08-08 2014-12-23 Ittiam Systems (P) Ltd System and method for virtualization of ambient environments in live video streaming
US8947600B2 (en) 2011-11-03 2015-02-03 Infosys Technologies, Ltd. Methods, systems, and computer-readable media for detecting scene changes in a video
US9569878B2 (en) 2011-12-07 2017-02-14 Intel Corporation Sample culling based on linearized 5D edge equations
US9110626B2 (en) 2012-02-14 2015-08-18 Microsoft Technology Licensing, Llc Video detection in remote desktop protocols
CN103458155B (zh) * 2013-08-01 2016-10-19 北京邮电大学 视频场景变换检测方法和系统及体验质量检测方法和系统
GB2549074B (en) * 2016-03-24 2019-07-17 Imagination Tech Ltd Learned feature motion detection
CN108647098B (zh) * 2018-05-16 2022-03-04 北京因时机器人科技有限公司 一种确定数值变化速度的方法及装置
CN108766364B (zh) 2018-05-18 2020-07-07 京东方科技集团股份有限公司 图像显示处理方法及装置、显示装置及存储介质
JP2020170252A (ja) * 2019-04-01 2020-10-15 キヤノン株式会社 画像処理装置、情報処理方法及びプログラム
WO2020215227A1 (en) * 2019-04-23 2020-10-29 Guangdong Oppo Mobile Telecommunications Corp., Ltd. Method and system for non-false motion detection
CN112351285B (zh) * 2020-11-04 2024-04-05 北京金山云网络技术有限公司 视频编码、解码方法和装置、电子设备和存储介质

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001313956A (ja) * 2000-03-07 2001-11-09 Lg Electronics Inc Mpeg圧縮ビデオ環境における階層的混合型ショット変換検出方法
JP2003507796A (ja) * 1999-08-17 2003-02-25 ナショナル・インストゥルメンツ・コーポレーション ターゲット画像中で色およびパターンが一致する領域を突き止めるためのシステムおよび方法

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CA2196930C (en) * 1997-02-06 2005-06-21 Nael Hirzalla Video sequence recognition
FR2807902B1 (fr) * 2000-04-17 2002-10-25 Thomson Multimedia Sa Procede de detection de changement de plan dans une succession d'images video
KR100850935B1 (ko) * 2001-12-27 2008-08-08 주식회사 엘지이아이 장면 전환 검출 장치
US6993182B2 (en) * 2002-03-29 2006-01-31 Koninklijke Philips Electronics N.V. Method and apparatus for detecting scene changes in video using a histogram of frame differences
US6985623B2 (en) * 2002-06-10 2006-01-10 Pts Corporation Scene change detection by segmentation analysis
US7694318B2 (en) * 2003-03-07 2010-04-06 Technology, Patents & Licensing, Inc. Video detection and insertion
EP1557837A1 (en) * 2004-01-26 2005-07-27 Sony International (Europe) GmbH Redundancy elimination in a content-adaptive video preview system

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003507796A (ja) * 1999-08-17 2003-02-25 ナショナル・インストゥルメンツ・コーポレーション ターゲット画像中で色およびパターンが一致する領域を突き止めるためのシステムおよび方法
JP2001313956A (ja) * 2000-03-07 2001-11-09 Lg Electronics Inc Mpeg圧縮ビデオ環境における階層的混合型ショット変換検出方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
JPN6012022119; John S. Boreczky, Lawrence A. Rowe: 'Comparison of Video Shot Boundary Detection Techniques' Journal of Electronic Imaging Volume 5, Issue 2, 199604, p.122-128 *

Also Published As

Publication number Publication date
CN101352029A (zh) 2009-01-21
EP1961210A1 (en) 2008-08-27
WO2007078801A1 (en) 2007-07-12
TW200803521A (en) 2008-01-01
US20070160288A1 (en) 2007-07-12

Similar Documents

Publication Publication Date Title
JP2009520408A (ja) 場面変化検出のためのランダムサブサンプルパティション投票(rsvp)アルゴリズム
JP5508534B2 (ja) シーン切替検出
KR101695681B1 (ko) 상황-기반의 적응형 이진 산술 코딩(cabac)비디오 스트림 준수
US20070139552A1 (en) Unified approach to film mode detection
US20120027091A1 (en) Method and System for Encoding Video Frames Using a Plurality of Processors
JP2008141288A (ja) 動きベクトル検出装置および動きベクトル検出方法
KR20040099343A (ko) 프레임 차이들의 히스토그램을 이용하여 비디오내의 장면변경들을 검출하기 위한 방법 및 장치
JP4340532B2 (ja) 誤り隠蔽方法及び装置
US8611423B2 (en) Determination of optimal frame types in video encoding
US20080212719A1 (en) Motion vector detection apparatus, and image coding apparatus and image pickup apparatus using the same
KR101167645B1 (ko) 장면 전환 검출 방법 및 장치
US8401070B2 (en) Method for robust inverse telecine
JP2005318613A (ja) 状態情報訂正方法、動き補償画像処理方法及び画像状態情報訂正器
EP1584196A1 (en) Method of motion vector prediction and system thereof
JP2000324499A (ja) 画像処理装置及びシーンチェンジ検出方法
JP2006203597A (ja) ディジタル画像復号装置及び方法
JP5295089B2 (ja) 画像符号化装置
JP2005012641A (ja) ブロックノイズ検出装置及びそれを用いたブロックノイズ除去装置
JP2009290765A (ja) 動画像復号装置、動画像復号方法及び動画像復号プログラムを記憶した記憶媒体
JP5173946B2 (ja) 符号化前処理装置、符号化装置、復号装置及びプログラム
US10856002B2 (en) Method, device and system for method of encoding a sequence of frames in a video stream
JP2003533906A (ja) 圧縮ビデオ解析
CN112351282A (zh) 图像数据的传输方法及装置、非易失性存储介质及处理器
JP2003016454A (ja) 物体認識装置及び物体認識方法
JP3639624B2 (ja) 符号化装置及びその方法

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20091211

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20120425

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20120508

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20120808

A602 Written permission of extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A602

Effective date: 20120815

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20120910

A602 Written permission of extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A602

Effective date: 20120918

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20121009

A602 Written permission of extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A602

Effective date: 20121016

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20130115