JP2002305749A - 移動探知方法、ビデオ圧縮方法、並びに移動予測装置 - Google Patents

移動探知方法、ビデオ圧縮方法、並びに移動予測装置

Info

Publication number
JP2002305749A
JP2002305749A JP2002019906A JP2002019906A JP2002305749A JP 2002305749 A JP2002305749 A JP 2002305749A JP 2002019906 A JP2002019906 A JP 2002019906A JP 2002019906 A JP2002019906 A JP 2002019906A JP 2002305749 A JP2002305749 A JP 2002305749A
Authority
JP
Japan
Prior art keywords
search
memory
frame
dsp
point
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2002019906A
Other languages
English (en)
Inventor
Naiqian Lu
ナイキャン・ルー
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hitachi Ltd
Original Assignee
Hitachi Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hitachi Ltd filed Critical Hitachi Ltd
Publication of JP2002305749A publication Critical patent/JP2002305749A/ja
Pending legal-status Critical Current

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/42Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation
    • H04N19/43Hardware specially adapted for motion estimation or compensation
    • H04N19/433Hardware specially adapted for motion estimation or compensation characterised by techniques for memory access
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51Motion estimation or motion compensation

Abstract

(57)【要約】 【課題】 DSPの性能を向上させる必要がある。 【解決手段】 移動予測の計算を減らすビデオ圧縮技術
が提供される。デジタル信号処理システム(処理装置4
00)が外部メモリ(外部メモリ装置422)を利用し
ている。オンチップ内にロードされる改善されたサーチ
ウィンドウの連続をロードすることによって、検知速度
が向上される。それにより、サーチが、外部メモリ(4
22)へのアクセスをもっと少なくするので、もっと短
い時間で終了される。

Description

【発明の詳細な説明】
【0001】
【発明の属する技術分野】本発明は、ビデオの処理に関
し、特に、運動ベクトルを評価するウィンドウサーチ
(検索)技術に関するものである。
【0002】
【従来の技術】圧縮ビデオ技術は重要であり、実用的に
なっている。アナログ又はデジタルの「NTSC型」の
ビデオ送信は、およそ毎秒100メガビットのビット伝
送速度を必要としている。今日、圧縮技術は、必要とさ
れるビット伝送速度を毎秒5メガビット以下まで低下さ
せることができる。これは、一般に、デジタル信号処理
又はVLSI集積回路を使って達成される。
【0003】圧縮における異なるタイプ及びレベルは、
所望画像の最終ビット伝送速度と特質とに依存して利用
され得る。一般的に、圧縮は、異なるタイプの冗長を圧
縮されたビデオ画像から除去する。それにより、画像は
一般的に画素群にバラバラにされ、通常はおよそ16画
素×16画素のブロックにバラバラにされる。異なるブ
ロックを比較し、ブロック間の相違に関する情報だけを
伝送することによって、ビット伝送速度上での重要な減
少が達成される。
【0004】加えて、1ブロックの範囲内のある情報が
視聴者(ビューアー)に感知できないから、ベクトル量
子化又は不連続コサイン変換を使って感知できない又は
重要でない項目に対応するビットを除去できる。これに
より、必要とされるビット伝送速度を更に減少するが、
その結果生じた画質内に、ある劣化をもたらすことがあ
る。ビット伝送速度を減少させる第3の技術は、ここで
の主要な関心であり、静止画像又は移動対象が必ずしも
全ての項目の再伝送を必要としていないことである。移
動圧縮技術を使ってフレーム間での冗長を削除できる。
これは、通常、2つのフレーム間で「移動後」と考えら
れる1ブロックの画素を確認することによって達成され
る。それから、全ての画素データの代わりに運動ベクト
ル情報だけの伝送が、分解者(decomposer)で再構成す
るためのブロックの新しい場所を効果的に送る。
【0005】多くのビデオシーンでは、一つの対象が、
本質的に無変化の背景に対して移動する。そのような状
況では、必要とされるように前景の対象を移動修正した
状態で、背景データの大部分は、ビデオデータにおける
フレームの次から次に対して相変わらず同じままにする
ことが可能である。そのような一つの例は、テレビ会議
を行うことであり、その中では、テレビ会議用の全部屋
又は環境が本質的に依然として無変化のままである。し
かしながら、前景では、個々人が話したり、又は身振り
することができる。そのような適用に対して、移動予測
として公知である手続きを実施することが望まれる。移
動予測では、一つのビデオフレームの内容を別のビデオ
フレームの内容に関係させるベクトルが決定される。例
えば、ベクトルは、もっと初期のビデオフレームの内容
の一部分における移動方向を示すことができる。そのよ
うな移動予測の利用によって、ビデオレコーディングが
もっと少ないビットを使用可能となる。その理由は、シ
ーンの背景部分が先行フレームと同じ又は殆ど同じデー
タを有すると見なされることがあり、そして一方、前景
内の対象がもっと初期のフレームと本質的に同じである
と見なされることがあるが、新しい場所に移動されるこ
とがあるからである。
【0006】図3A及び図3Bは、移動予測プロセスを
示している。図3Bでは最新フレーム(画面)が示さ
れ、そして一方、図3Aは基準フレームを示している。
最新画面の内容を、基準画面の内容と同一であると見な
すことは望ましいが、最新画面の変更部分を使って、運
動ベクトル(u,v)と共に基準画面内のブロック(区
画)を指定することは望ましい。ブロックの場所は通
常、そのサイズに関する何らかの情報と共に、その上方
左角の座標によって与えられる。
【0007】基準ベクトルを決定する一つの計算上の集
中的な解決策は、最も適合する全てのフレームをサーチ
(探索)することである。そのような手続きを使って、
そのブロックに対して全ての可能な場所が決定され、結
果として運動ベクトルが計算される。選択された運動ベ
クトルは、予測画像と最新画像との間で最適合になるベ
クトルである。しかしながら、そのような解決策は、計
算上極度に費用がかかり、そして通常使用にとって本質
的に使い物にならならい。
【0008】しかしながら、移動予測のための様々な速
いサーチ方法がある。これらの方法は、サーチの計算コ
ストを著しく低減するが、制約を課している。これらの
解決策の本質は、ブロックサーチ動作の数を低減するこ
とである。これらの解決策は、2つの異なったグルー
プ、即ち、グローバルサーチとステップバイステップサ
ーチとで特徴づけられている。これらの技術の各々は、
個々に良く知られている。
【0009】基準ブロック用の運動ベクトルを決定する
ためのグローバルサーチの解決策では、システムは、多
くの広範囲に及ぶポイントでフレームの回りに移動し、
且つ、それらの場所でのブロックと基準のフレーム内の
ブロックとを比較することによって、ビデオ情報のフレ
ーム内で最高に適合するブロックを見付けようとする。
そのシステムは最初に微細領域に適合しようとし、次に
その領域内でサーチを改善する。一つの例がスリーステ
ップサーチである。そのシステムは、最初に微細ポイン
ト(最も誤差の少ないポイント)を発見するようにサー
チし、次にその微細ポイントから2画素離れたブロック
をサーチする。最後に、そのシステムは、新しい微細ポ
イントの隣のブロックをサーチする。もちろん、特別な
値は、異なったアプリケーションソフト用に調節可能で
ある。このようなグローバルサーチのタイプにおける動
作の平均数は、およそ40である。この方法では、サー
チエリア内で全ての可能な運動ベクトルがチェックさ
れ、そして比較される。2つの比較される画像ブロック
のうち、最小の絶対誤差合計(Sum of Absolute Differ
ence、SAD)の値を備えた運動ベクトルが選択され、
そしてコード化される。その結果、高い圧縮率が達成さ
れる。
【0010】このような解決策の利点は、微細領域に迅
速に接近する能力である。これは、速く移動しているビ
デオ画像にとって重要である。なぜならば、適合したブ
ロックが、以前のポイントから比較的長い距離、例え
ば、10画素離れているかもしれないからである。グロ
ーバルな解決策もまたサーチ時間をもっと予測可能にし
ている。なぜならば、たとえ適合が第1の試みで発見さ
れたとしても、グローバルサーチが常に同じ動作数を実
行するからである。
【0011】第2の速いサーチ技術が、ステップバイス
テップサーチである。多くのタイプのビデオ、例えば、
テレビ会議では、背景は移動せず、そして話し手は驚く
ほど移動しない。もしエンコーダ(符号器)が十分な計
算リソース(手段)を有し、そして十分な速度、例え
ば、毎秒10フレーム以上の速度で符号化するならば、
適合したブロックが、2又は3画素離れておそらく発見
されるだろう。こうして、中心からのステップバイステ
ップサーチがグローバルサーチよりも良好な結果を提供
できる。ステップバイステップサーチにおける典型的な
1例は、ダイヤモンドサーチである。それは、ウィンド
ウの中心からサーチし始め、4つの近くの場所(上、
下、左、及び右)を比較し、それから新しい中心として
最適合(ベストマッチ)を選択する。中心が更に変化し
なくなるまで、サーチすることが続く。
【0012】テレビ会議の環境では、対象は通常、フレ
ームからフレームへ少し移動する。一般的には、もしエ
ンコーダ上のフレーム速度が毎秒10フレームより速い
ならば、大抵の移動はCIF画像上で4画素よりも少な
いだろう。このステップバイステップサーチの方法は、
このような条件で、多くの他の速いサーチ方法よりもっ
と良好な結果をもたらす。その方法はまた背景画像ブロ
ックを処理するための最高の方法である。なぜならば、
そのようなブロックはビデオ会議中に移動しないであろ
うと考えられるからである。
【0013】MPEG(動画像専門組織)H.26Xな
どを含めてビデオ圧縮規格の大部分の中で移動予測が利
用されて映像の流れを圧縮する。理解されるように、上
述されたサーチプロセスは、時間を浪費する計算上集中
的なタスクである。そのプロセスは、CPU(中央処理
装置)における処理能力の大部分を浪費する。更に、メ
モリアクセスの多くの回数が、計算の性質から必要とさ
れている。
【0014】そのようなビデオ圧縮及び探知方法を利用
したシステムは、ナンバクランチ装置(number-crunchi
ng workhorse)としてデジタル信号処理プロセッサ(D
SP)を一般的に使用している。DSPは、一般的に、
DRAM(記憶保持動作が必要な随時読み出し書き込み
メモリ)及びSDRAM(同期式のDRAM)メモリを
使用している。SDRAMメモリは、システムコストを
低減するため、及び、低電力消費のために好適である。
読み出し及び書き込み用のこのメモリにアクセスするの
に必要とされる特別なクロック周波数を排除するため
に、このメモリを備えたキャッシュが利用されている。
【0015】
【発明が解決しようとする課題】しかしながら、キャッ
シュメモリはDSPの中の制限されたリソースである。
その結果、プログラムセグメント及びデータ用に非常に
多くの余裕だけが存在する。もしキャッシュがプログラ
ムコードを含み、そして1ブロックのデータが必要とさ
れるならば、キャッシュされたプログラムコードがフラ
ッシュされて入ってくるデータを受け入れる。その逆
に、コードのセグメントが必要とされる時に、キャッシ
ュ内に既に常駐している何らかのデータがフラッシュさ
れそうになる。一般的に、DSPはキャッシュ動作の制
御を持たないので、プログラム及びデータにおける一定
のキャッシング及び再キャッシングのため、ビデオデー
タを処理する時に、性能を激しく下げることができる。
【0016】従って、DSPの性能を向上させる必要が
ある。あるメモリ構成の中でキャッシングスキームの使
用から生じた性能ヒットを補う必要がある。
【0017】
【課題を解決するための手段】本発明によれば、方法及
び装置がビデオ圧縮用に提供される。デジタル信号処理
プロセッサ(DSP)はプログラムコードを与えられて
ビデオ情報の最新フレームを圧縮する。最新フレーム上
におけるサーチウィンドウの部分が、DSPの中に含ま
れたオンチップメモリ内にロードされる。オンチップメ
モリ内に含まれたサーチウィンドウの部分内で、サーチ
ポイントに対して基準ブロックを比較することにより、
第1レベルのサーチポイントのためサーチがなされる。
サーチウィンドウの第2部分は、第1レベルのサーチポ
イントの場所に依存してロードできる。改善されたサー
チが第2部分の上でなされる。
【0018】本発明は、初期のロードステップによって
実質上ビデオ圧縮プロセスを増加させる。その結果、ビ
デオ圧縮時間が本発明によって向上される。
【0019】本発明の教示することは、添付図面と共同
して、発明の実施の形態における説明に役立つ実例に関
して以下の詳細な記載を検討することによって、容易に
理解されるだろう。
【0020】
【発明の実施の形態】H.263は、テレビ会議規格
H.323及びH.324を満たす使用のために命じら
れるビデオコード化アルゴリズムである。これらの規格
は、国際電気通信連合(ITU)によって公表されてい
る。H.263を使ってビデオ(映像)の流れを圧縮す
ると、圧縮されたビデオ信号を伝送するための帯域幅要
件が実質的に減らされる。一般的な圧縮率は100:1
から200:1である。このような高い圧縮率を達成す
るために、エンコーダ上のコンピュータによるロードが
高くなる。
【0021】H.263アルゴリズムは二つの部分:コ
ード化と移動予測/補正とからなる。コンピュータによ
る能力のもっと大きな要求は、移動予測/補正から得ら
れる。コンピュータによるタスクの約70〜80%は、
一般的なエンコーダ内のこの部分に由来する。コンピュ
ータによるタスクを低減するために、後述される新しい
サーチプロセスが利用される。
【0022】100:1以上の圧縮率を達成するため
に、H.263は、二つのフレーム、即ち、先行フレー
ム及び最新フレームを構成するデータブロックを比較し
て差を決定する。その差だけがコード化され、そして送
られる;先行フレームが受像器(レシーバー)に既に存
在すると仮定されている。更に、そのアルゴリズムは、
画像が移動しているのか、どのくらい画像が移動した
か、そして、どの方向かを決定しようとする。その手続
きは移動予測と呼ばれている。もしこの方法がグローバ
ル的に適用されたならば、比較される二つの画像の全体
に渡って詳細に比較することにより、計算コストがばか
高くなる。全ての16×16の画像ブロックに対して、
48×48のウィンドウ内でサーチすると、961個の
絶対誤差合計の比較が必要になる。エンコード時間の9
5%以上がこの単一動作のために使われる。
【0023】一つの例はスリーステップサーチである。
そのシステムは、最初にサーチして微小ポイント(最も
少ない誤差をもつポイント)を見付け、それから、その
微小ポイントから2画素離れたブロックをサーチする。
最後に、システムは、新しい微小ポイントの隣に存在す
るブロックをサーチする。もちろん、特別な値を、異な
るアプリケーションソフト用に調節できる。この種のグ
ローバルサーチ内での動作平均回数はおよそ40回であ
る。
【0024】発明における一つの実施の形態では、全て
のサーチエリアを構成するフレームのデータブロック
は、DSPのオンチップメモリ内にロードされる。例え
ば、H.263に従って、9ブロックの画像(48×4
8)はDSPメモリ内にロードされる。平均的なサーチ
は30〜40ブロックにアクセスするだろう。DSPの
オンチップメモリの上に9ブロックのウィンドウデータ
をロードすることによって、必要とされる多くの外部メ
モリアクセスの回避により実質的な時間が節約される。
ユーザは、サーチオンチップの実行によって、サーチ速
度の点で70%以上の改善を期待することが可能とな
る。
【0025】低いシステムコストの要件と、もっと小さ
なパッケージサイズに対してますます高まる要求とによ
って、もっと小さなオンチップメモリを備えたDSPが
導入されている。例えば、DSPがそのX又はYスペー
ス内にオンチップメモリの2Kを有することは珍しいこ
とではない。しかしながら、48×48のサーチウィン
ドウがメモリ(1K=1024)の2.25Kワードを
必要としている。その結果、幾つかのDSP内では、全
てのサーチウィンドウをホストすることは実現不可能で
ある。そのようなDSPのオンチップメモリ内にロード
された単純な部分的ウィンドウは働かないだろう。なぜ
ならば、以前知られていなかった微小ポイントが、オン
チップメモリ内にロードされなかったウィンドウの部分
内に、ロードされ得るからである。
【0026】こうして、発明における別の面に従って、
ウィンドウサーチの技術は第1パスを含んでいる。その
第1パス内では、画像フレームの第1部分を構成するデ
ータブロックが、外部メモリからオンチップメモリ内
に、例えば、Xスペース内又はYスペース内の何れかに
ロードされている。第1部分は、サーチウィンドウの一
部分に対応している。サーチポイントの運動ベクトル
(例えば、SAD)を計算することを含めて、第1サー
チが、第1部分内に含まれたサーチポイント上でなされ
る。外部メモリ内に常駐しているサーチポイントの運動
ベクトルを計算することによって、サーチが、オンチッ
プメモリ内にロードされなかったウィンドウのうち残っ
ているサーチポイントで続けられる。次のステップで
は、サーチが、もっと小さなエリア内で改善される。こ
の一般的なアウトラインが、速い移動サーチ用の発明の
一面を記述し、そこではDSPのオンチップメモリが完
全なウィンドウサーチを提供できない。次に、もっと詳
細な説明をする。
【0027】図1及び図2は、発明の実施の形態におけ
る説明に役立つ実例を示している。フローチャート10
0は、ビデオ画像(ビデオ信号など)の最新フレーム2
00をサーチするための発明に従って、処理ステップを
示している。ステップ102で、基準フレームの基準ブ
ロック(例えば、図3Aの符号302)がDSP内にロ
ードされる。基準ブロックは、ビデオにおけるもっと初
期のフレームに一般的になろうとするが、このことは必
ずしもそうなる必要がない。ビデオ圧縮内には二つの基
本的な移動予測方法が存在する。Pフレーム方法は、基
準フレームとして先行フレームを使う。その時間の大部
分では、これは最終フレームになろうとする。しかしな
がら、もし誤差が最終フレーム内に発生したならば、そ
れはもっと初期フレームになる可能性がある。
【0028】基準ブロック302に関して運動ベクトル
(例えば、図3Bの符号304)は、最新フレーム内で
適切なブロック306のために計算される。これらの適
切なブロックは、最新フレーム内の座標と相互に関係す
るサーチポイント(例えば、図2の符号230)のパタ
ーンから成るサーチウィンドウに従って選択される。
【0029】ステップ104では、最新フレームから3
2×32の画像データを備えた第1部分212は、DS
Pのオンチップメモリ内にロードされる。図2で理解さ
れるように、従来のサーチウィンドウ202は、サーチ
ポイント230の全てを包み込めるほど十分に大きい最
新フレームのエリアから成る。しかしながら、第1部分
212は、サーチポイントの全てより少なく、第1部分
の外側に置かれているサーチポイントの幾つかを、例え
ばサーチポイント232及び234を含んでいる。好ま
しくは、第1部分は、サーチポイントの大部分が第1部
分の内側に置かれるようなサイズを有することである。
しかしながら、32×32のウィンドウを選択すること
は、発明の実施にとって重要ではない。そのサイズは、
オンチップメモリの利用可能なサイズに主に依存するの
で、もっと大きいかもしれないし、又はもっと小さいか
もしれない。もっと大きなウィンドウを持つことは好ま
しく、そして一方、もっと小さなウィンドウサイズを備
えて改善された性能を今でも発明が達成できることが示
されるだろう。
【0030】次に、運動ベクトルの計算(例えば、SA
D)が、ステップ106のグローバルサーチの間に行わ
れる。ここでは、初期の中心点222とサーチポイント
230の各点との間での運動ベクトルが計算される。第
1部分212内に含まれたこれらのサーチポイントに対
して、データがDSPのオンチップメモリ内に常駐して
いるので、計算が外部メモリのアクセス遅延を持たずに
続くだろう。その結果、その処理の一部分の間に、外部
メモリのアクセス動作が存在しない。終了するのに非常
に多くのクロックサイクルを外部メモリのアクセスが一
般的に必要とするのに対し、内部メモリのアクセスは1
クロックサイクルを消費する。これは、時間の点で、重
要な節約を示している。
【0031】サーチステップ106は、第1部分212
の外側に存在するサーチポイントのために継続する。最
後に、サーチポイント230の全てのうちから(第1部
分に対して外部及び内部の)微小ベクトルが決定され
る。微小運動ベクトルに関係されるサーチポイントは第
1レベルのサーチポイントと呼ばれる。外部サーチポイ
ント(例えば、符号232及び234)に対して運動ベ
クトルの計算を実行すると、DSPのオンチップメモリ
内にロードされなかったそれらのサーチポイントのため
に、ある遅延(例えば、メモリのアクセス遅延)が存在
するだろう。しかしながら、第1部分の内側のサーチポ
イントを処理している間に達成された時間節約で、遅延
が補われ、そこでは外部メモリのアクセスが必要とされ
なかった。
【0032】異なったサーチアルゴリズムは、サーチポ
イントの異なったパターンを有している。図2のサーチ
ポイントは、説明に役立つ目的のために単に示され、そ
して、好適なサーチパターンを示すように意図されてい
ない。利用可能なDSPのオンチップメモリ内で第1部
分が適合するように、任意の与えられたサーチパターン
に対して第1部分のサイズ212を選択しなければなら
ないことが理解できる。オンチップメモリ内にサーチウ
ィンドウの何らかの部分をロードし、そしてサーチを実
行することによって、データが格納されたオンチップを
使用することは、処理時間を改善することになるだろ
う。
【0033】図2に続いて、第1レベルのサーチポイン
トは、即ち、関連の最も少ない運動ベクトルを備えたサ
ーチポイントは、次の改善されたサーチウィンドウに対
して新しい中心点になる。改善されたウィンドウサーチ
は、もっと小さなウィンドウを使って次ぎのレベルサー
チを実施する。考慮されるべき三つの結果が存在する。
第1の場合には、第1レベルのサーチポイントが、第1
部分212のエリアの範囲内に完全に置かれている。こ
の場合には、改善されたサーチのために利用されるもっ
と小さなウィンドウが第1部分の範囲内に完全に置かれ
るように、第1レベルのサーチポイントが置かれてい
る。例えば、もし第1レベルのサーチポイントがサーチ
ポイント224Aであるならば、改善されたサーチのた
めにもっと小さなウィンドウ214Aがそれを中心とし
て置かれる。理解されるように、もっと小さなウィンド
ウが第1部分212の範囲内にすっかり置かれている。
こうして、改善されたサーチの間に必要とされる全ての
データポイントは、第1部分内に含まれる。第1部分が
オンチップメモリ内に既にロードされたならば、データ
がDSPの範囲内で既に利用可能となって改善されたサ
ーチを実行する。
【0034】第2の場合には、第1レベルのサーチポイ
ントが第1部分212の境界近くに置かれている。例え
ば、第1部分の境界近くに置かれているサーチポイント
224Bを考えてみる。改善されたサーチに対し、サー
チポイント224Bを中心としてもっと小さなウィンド
ウ214Bを置くことは、第1部分の外側に置かれてい
るデータポイントを必要とする。このデータポイントは
外部メモリ内に存在するので、改善されたサーチは外部
メモリにアクセスすることを必要とするだろう。
【0035】第3の場合には、第1レベルのサーチポイ
ントが第1部分212の外側に置かれている。サーチポ
イント224Cはこのような場合を例示している。第2
の場合と異ならずに、改善されたサーチに対してもっと
小さなウィンドウ214Cが、DSPのオンチップメモ
リ内にまだ格納されていない幾らかのデータを必要とす
る。
【0036】それから、図1に戻って、第2及び第3の
場合に記載されたように第1レベルのサーチポイントが
置かれている時には、ステップ108が与えられる。こ
のステップ内では、もっと小さなサーチウィンドウを備
えた最新フレームにおける部分が、外部メモリから内部
にロードされている。図3で示された例では、今現在新
しい中心点である第1レベルのサーチポイントを中心と
して置かれた24×24のウィンドウ214A(214
B、又は214C)用のデータが、外部メモリから内部
にロードされている。オンチップメモリ内に存在する第
1部分212から成るデータは、もっと小さなウィンド
ウのデータによってオーバーライトされ得るが、これは
必要ではない。32×32のウィンドウを使って、24
×24サイズのもっと小さなウィンドウを選択すること
は特に重要ではない。しかしながら、もっと小さなウィ
ンドウ用のウィンドウサイズは、使用時に特別のサーチ
アルゴリズムによって要求された範囲を覆うのに十分で
あるべきである。
【0037】最後に、ステップ110では、改善された
サーチが実行される。例えば、従来のスリーステップサ
ーチでは、新しい中心点を中心として置かれた四つの羅
針盤の方位目盛と同一の空間を占める四つのデータポイ
ントがサーチされて第2レベルのサーチポイントを確認
する。一般的に、新しい中心点から2画素離れたデータ
ポイントがサーチされる。次に、第2レベルのサーチポ
イントを中心として置かれた3画素×3画素の正方形を
構成する8ポイントがサーチされる。これにより、本発
明における完全な画素移動サーチを終了する。
【0038】図4に関して、ブロック図が、発明に従っ
て処理装置400の一つの実施の形態における説明に役
立つ実例を示している。DSPユニット402又は類似
の処理装置が外部メモリ装置422に接続されている。
DSPと外部メモリとの間でのデータ通信は、データバ
ス432の上で生じる。DSPは算術処理ユニット41
2を備えている。算術処理ユニット412は、DSPに
一般に関係される算術及びそれに類する演算を実行する
ための1ブロックの論理回路から成る。DSPは更に、
DSPを作動するためのファームウェア(プログラムコ
ード)を含めて、オンチップ読み出し専用メモリ(RO
M)418を備えることも可能である。従来、Xスペー
スメモリ414とYスペースメモリ416とがDSPの
オンチップ内に設けられている;しかしながら、他のメ
モリ構成が可能である。一組の内部バス401は様々な
構成要素を互いに連結している。
【0039】ビデオにおける最新フレーム200は、外
部メモリ422内に格納されている。発明に従って、最
新フレームの部分212又は214は、DSPのオンチ
ップメモリ内にロードされる。図4における説明に役立
つブロック図では、フレーム部分を提供するためにYス
ペースメモリ416が利用され得るけれども、Xスペー
スメモリ414内にロードされたフレーム部分が示され
ている。
【0040】ROM内に一般的に含まれたDSPはファ
ームウェア等を備え、ファームウェア等は、図1及び図
2に共同して記述された先行処理を実行するためにプロ
グラムコードを有している。開示された処理によって、
プログラミング及びビデオ処理技術を含めて関連分野に
おける通常技術の一つが、発明に従って利用するための
DSPを構成するのに適切なコード化を十分に提供でき
るようにしている。特定のコード化の従来例及びデータ
構造は、動作環境、開発環境、及び、ここで記載された
発明的な面を利用するであろう対象装置のような要因に
依存している。そのような詳細は、発明と密接な関係が
ないので、省略して説明を単純化している。
【0041】発明における特定の実施の形態が記述され
たけれども、様々な変形例、交替、代替の構造、及び、
等価物もまた発明の範囲内に包含される。例えば、発明
における開示された実施の形態はDSP技術に基づかれ
ている。DSPは、多くの消費製品の中のプロセッサか
ら好適に選んだ物である。DSPは、一般的に、ビデオ
処理のようなナンバークランチ・アプリケーションソフ
トに合うように作られている。しかしながら、開示され
た発明は、何らかの特定なデータ処理環境の範囲内での
動作に限定されないが、複数のデータ処理体制の範囲内
で自由に動作できる。本発明は、特定な実施の形態によ
って記述されたけれども、本発明の範囲が、記述された
特定な実施の形態に制限されないように、関連分野にお
ける当業者にとって明きらかであろう。
【0042】従って、明細書及び図面は、限定的な意味
よりもむしろ説明的な意味で考えられるべきである。し
かしながら、付加、削除、代用、及び、他の変形例が、
請求項の中で説明されたように、発明のもっと広い趣旨
及び範囲から逸脱することなくなされ得ることは明白で
あろう。
【0043】
【発明の効果】本発明は、初期のロードステップによっ
て実質上ビデオ圧縮プロセスを増加させる。その結果、
ビデオ圧縮時間が本発明によって向上される。
【0044】DSPのオンチップメモリの上に9ブロッ
クのウィンドウデータをロードすることによって、必要
とされる多くの外部メモリアクセスの回避により実質的
な時間が節約される。ユーザは、サーチオンチップの実
行によって、サーチ速度の点で70%以上の改善を期待
することが可能となる。
【図面の簡単な説明】
【図1】本発明の方法における好適な実施の形態を示す
フローチャートである。
【図2】本発明の方法の好適な実施の形態における一方
法の例を示す図である。
【図3A】従来の移動予測プロセスを示す図である。
【図3B】従来の移動予測プロセスを示す図である。
【図4】本発明に従ってDSP構成の説明に役立つ実例
を示す図である。
【符号の説明】
100 フローチャート 200 最新フレーム 202 従来のサーチポイント 212 第1部分 214A ウィンドウ 214B ウィンドウ 214C ウィンドウ 222 初期の中心点 224A サーチポイント 224B サーチポイント 224C サーチポイント 230 サーチポイント 232 サーチポイント 234 サーチポイント 302 基準ブロック 304 運動ベクトル 306 適切なブロック 400 処理装置 401 内部バス 402 DSPユニット 412 算術処理ユニット 414 Xスペースメモリ 416 Yスペースメモリ 418 オンチップ読み出し専用メモリ 422 外部メモリ装置 432 データバス
───────────────────────────────────────────────────── フロントページの続き Fターム(参考) 5C059 KK17 KK50 MA00 MA05 NN03 NN24 PP04 SS07 TA63 TB08 TC00 TC12 TD05 TD06 TD11 UA02 UA33 5J064 AA01 BB03 BC01 BC14

Claims (25)

    【特許請求の範囲】
  1. 【請求項1】 デジタル信号処理プロセッサ(DSP)
    の中で、ビデオ情報における最新フレーム内の移動探知
    方法であって、 前記最新フレームにおけるデータポイントのサーチエリ
    アを規定し、前記最新フレーム内に配置されたサーチポ
    イントのパターンを規定するサーチウィンドウを提供す
    るステップと、 前記DSPの第1メモリ部分内に基準ブロックをロード
    するステップと、 前記サーチポイントのうち少なくとも幾らかを含んだ前
    記サーチエリアの第1フレーム部分を、前記DSPの第
    2メモリ部分内に少なくともロードするステップと、 前記基準ブロックと前記第1フレーム部分のサーチポイ
    ントとの比較実行を含めて第1レベルのサーチポイント
    を決定するステップと、 前記第1レベルのサーチポイントの場所に基づいて前記
    DSPの第3メモリ部分内に、前記サーチエリアの第2
    フレーム部分を選択的にロードするステップと、 前記第1レベルのサーチポイントに関してローカルサー
    チを実行するステップとを有することを特徴とする移動
    探知方法。
  2. 【請求項2】 請求項1に記載の方法において、 前記決定するステップが更に、前記DSPに対して外部
    であるメモリ内に格納された少なくとも1つのサーチポ
    イントと前記基準ブロックとの比較実行を含むことを特
    徴とする移動探知方法。
  3. 【請求項3】 請求項1に記載の方法において、 前記ローカルサーチを実行するステップが、前記第1レ
    ベルのサーチポイントを中心として置かれた第2サーチ
    ウィンドウを含み、第2サーチウィンドウが、前記最新
    フレームにおける前記サーチエリアの範囲内に含まれる
    改善されたサーチエリアを規定することを特徴とする移
    動探知方法。
  4. 【請求項4】 請求項3に記載の方法において、 もし前記改善されたサーチフレームが、前記第1フレー
    ム部分内に含まれないデータポイントを含む場合に、前
    記第2フレーム部分のロードが実行されることを特徴と
    する移動探知方法。
  5. 【請求項5】 請求項1に記載の方法において、 前記第1、第2、及び第3メモリ部分が、前記DSPに
    おけるオンチップメモリの一部分であることを特徴とす
    る移動探知方法。
  6. 【請求項6】 請求項1に記載の方法において、 前記第3メモリ部分が、前記第2メモリ部分の範囲内に
    含まれることを特徴とする移動探知方法。
  7. 【請求項7】 請求項1に記載の方法において、 前記比較実行のステップが、運動ベクトルの生成を含む
    ことを特徴とする移動探知方法。
  8. 【請求項8】 請求項7に記載の方法において、 前記第1レベルのサーチポイントが、前記運動ベクトル
    に基づいて決定されることを特徴とする移動探知方法。
  9. 【請求項9】 請求項1に記載の方法において、 前記比較実行のステップが、絶対誤差合計の値の計算を
    含むことを特徴とする移動探知方法。
  10. 【請求項10】 請求項1に記載の方法において、 前記サーチエリアの全てが前記第2メモリ部分内にロー
    ドされることを特徴とする移動探知方法。
  11. 【請求項11】 ビデオ情報の第2フレームに対してビ
    デオ情報の第1フレームを比較することによってビデオ
    圧縮する方法であって、 前記第1フレーム内に含まれる基準フレームを確認する
    ステップと、 第1メモリ内に前記第2フレームを格納するステップ
    と、 前記第2フレーム内のデータポイントから成り、複数の
    サーチポイントを含んだサーチエリアを、前記第2フレ
    ーム内で規定するステップと、 前記サーチポイントの1つ又は複数を含めて前記サーチ
    エリアの少なくとも一部分を、第2メモリ内に格納する
    ステップと、 前記第2メモリ内に含まれるサーチポイントと前記基準
    ブロックとを比較するステップと、 比較する前記ステップに基づいて第1レベルのサーチポ
    イントを決定するステップと、 前記第1レベルのサーチポイントを中心として置かれ、
    前記サーチエリア内に含まれる改善されたサーチエリア
    を決定するステップと、 前記改善されたサーチエリア上でローカルサーチを実行
    するステップとを有することを特徴とするビデオ圧縮方
    法。
  12. 【請求項12】 請求項11に記載の方法において、 前記ローカルサーチを実行するステップが、前記改善さ
    れたサーチエリアから成るデータを、前記第2メモリ内
    に選択的にロードすることを含むことを特徴とするビデ
    オ圧縮方法。
  13. 【請求項13】 請求項12に記載の方法において、 前記改善されたサーチエリアが、前記第1フレーム部分
    内に含まれない場所を含む場合には、データを選択的に
    ロードする前記ステップが実行されることを特徴とする
    ビデオ圧縮方法。
  14. 【請求項14】 請求項11に記載の方法において、 前記第1メモリ内に含まれ、かつ前記第2メモリ内に含
    まれないサーチポイントと、前記基準ブロックとを比較
    する追加的なステップを更に含み、前記サーチポイント
    を決定するステップが、比較する前記追加的なステップ
    に更に基づくことを特徴とするビデオ圧縮方法。
  15. 【請求項15】 請求項11に記載の方法において、 前記ステップが、デジタル信号処理プロセッサ内で実行
    されることを特徴とするビデオ圧縮方法。
  16. 【請求項16】 請求項15に記載の方法において、 前記第1メモリが前記デジタル信号処理プロセッサに対
    して外部であり、前記第2メモリが前記デジタル信号処
    理プロセッサ内に含まれたオンチップメモリであること
    を特徴とするビデオ圧縮方法。
  17. 【請求項17】 請求項11に記載の方法において、 前記比較するステップが運動ベクトルの生成を含み、前
    記第1レベルのサーチポイントが前記運動ベクトルに基
    づいて決定されることを特徴とするビデオ圧縮方法。
  18. 【請求項18】 請求項11に記載の方法において、 前記比較するステップが、絶対誤差合計の値の計算を含
    むことを特徴とするビデオ圧縮方法。
  19. 【請求項19】 請求項11に記載の方法において、 前記サーチエリアの全てが、前記第2メモリ内に格納さ
    れることを特徴とするビデオ圧縮方法。
  20. 【請求項20】 デジタルビデオ画像圧縮システム内
    で、移動を予測する装置であって、 プロセッサ(DSP)と、 最新フレームを格納するために前記プロセッサに結合さ
    れた第1メモリと、 前記プロセッサに結合された第2メモリとを備え、 前記第2メモリによって格納された一連の命令が、前記
    プロセッサにより実行されると、前記プロセッサが、 (1)前記最新フレーム内でサーチエリアを規定し、前
    記最新フレーム内でサーチポイントのパターンを規定す
    るサーチウィンドウにアクセスするステップと、 (2)前記DSPの第1メモリ部分内に基準ブロックを
    ロードするステップと、 (3)前記サーチポイントの少なくとも幾らかを含んだ
    前記サーチエリアの第1フレーム部分を、前記DSPの
    第2メモリ部分内に少なくともロードするステップと、 (4)前記第1フレーム部分内のサーチポイントと前記
    基準ブロックとの比較実行を含めて第1レベルのサーチ
    ポイントを決定するステップと、 (5)前記第1レベルのサーチポイントの場所に基づい
    て前記DSPの第3メモリ部分内に、前記サーチエリア
    の第2フレーム部分を選択的にロードするステップと、 (6)前記第1レベルのサーチポイントの回りでローカ
    ルサーチを実行するステップとを実行することを特徴と
    する移動予測装置。
  21. 【請求項21】 請求項20に記載の装置において、 前記第1メモリが、前記DSPに対し外部であることを
    特徴とする移動予測装置。
  22. 【請求項22】 請求項21に記載の装置において、 前記第2メモリが、前記DSP内に含まれたオンチップ
    メモリであることを特徴とする移動予測装置。
  23. 【請求項23】 請求項20に記載の装置において、 前記ステップ(4)が更に、前記第1メモリ内に格納さ
    れた少なくとも1つのサーチポイントと前記基準ブロッ
    クとの比較実行を含んでいることを特徴とする移動予測
    装置。
  24. 【請求項24】 請求項23に記載の装置において、 前記第1メモリが、前記DSPに対して外部であること
    を特徴とする移動予測装置。
  25. 【請求項25】 請求項20に記載の装置において、 前記比較実行のステップが運動ベクトルの生成を含み、
    前記第1レベルのサーチポイントが前記運動ベクトルに
    基づいて決定されていることを特徴とする移動予測装
    置。
JP2002019906A 2001-03-21 2002-01-29 移動探知方法、ビデオ圧縮方法、並びに移動予測装置 Pending JP2002305749A (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US09/814344 2001-03-21
US09/814,344 US20020136302A1 (en) 2001-03-21 2001-03-21 Cascade window searching method and apparatus

Publications (1)

Publication Number Publication Date
JP2002305749A true JP2002305749A (ja) 2002-10-18

Family

ID=25214780

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2002019906A Pending JP2002305749A (ja) 2001-03-21 2002-01-29 移動探知方法、ビデオ圧縮方法、並びに移動予測装置

Country Status (2)

Country Link
US (1) US20020136302A1 (ja)
JP (1) JP2002305749A (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8019000B2 (en) 2005-02-24 2011-09-13 Sanyo Electric Co., Ltd. Motion vector detecting device

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004128585A (ja) * 2002-09-30 2004-04-22 Canon Inc 色補正テーブル作成方法及び制御プログラム及び記憶媒体及び装置
US7519115B2 (en) * 2003-03-31 2009-04-14 Duma Video, Inc. Video compression method and apparatus
US7983341B2 (en) * 2005-02-24 2011-07-19 Ericsson Television Inc. Statistical content block matching scheme for pre-processing in encoding and transcoding
US20110013852A1 (en) * 2009-07-17 2011-01-20 Himax Technologies Limited Approach for determining motion vector in frame rate up conversion
CN102970539B (zh) * 2012-11-22 2015-09-09 华为技术有限公司 数据载入方法及装置

Family Cites Families (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5801778A (en) * 1996-05-23 1998-09-01 C-Cube Microsystems, Inc. Video encoding with multi-stage projection motion estimation
US5973742A (en) * 1996-05-24 1999-10-26 Lsi Logic Corporation System and method for performing motion estimation with reduced memory loading latency
US6549575B1 (en) * 1996-11-07 2003-04-15 International Business Machines Corporation. Efficient, flexible motion estimation architecture for real time MPEG2 compliant encoding
US6016163A (en) * 1997-03-12 2000-01-18 Scientific-Atlanta, Inc. Methods and apparatus for comparing blocks of pixels
JPH10262258A (ja) * 1997-03-19 1998-09-29 Sony Corp 画像符号化装置及び方法
JP2897761B2 (ja) * 1997-07-18 1999-05-31 日本電気株式会社 ブロック・マッチング演算装置及びプログラムを記録した機械読み取り可能な記録媒体
US6014181A (en) * 1997-10-13 2000-01-11 Sharp Laboratories Of America, Inc. Adaptive step-size motion estimation based on statistical sum of absolute differences
US6108047A (en) * 1997-10-28 2000-08-22 Stream Machine Company Variable-size spatial and temporal video scaler
IL122299A (en) * 1997-11-25 2003-11-23 Broadcom Corp Video encoding device
US6195389B1 (en) * 1998-04-16 2001-02-27 Scientific-Atlanta, Inc. Motion estimation system and methods
KR100325253B1 (ko) * 1998-05-19 2002-03-04 미야즈 준이치롯 움직임벡터 검색방법 및 장치
US6259737B1 (en) * 1998-06-05 2001-07-10 Innomedia Pte Ltd Method and apparatus for fast motion estimation in video coding
JP4004653B2 (ja) * 1998-08-03 2007-11-07 カスタム・テクノロジー株式会社 動きベクトル検出方法および装置、記録媒体
US6411652B1 (en) * 1998-10-23 2002-06-25 International Business Machines Corp. Motion estimation
US6421698B1 (en) * 1998-11-04 2002-07-16 Teleman Multimedia, Inc. Multipurpose processor for motion estimation, pixel processing, and general processing
US6363117B1 (en) * 1998-12-31 2002-03-26 Sony Corporation Video compression using fast block motion estimation
US6421466B1 (en) * 1999-09-29 2002-07-16 Neomagic Corp. Hierarchical motion estimation with levels of varying bit width for digital video compression
US6483876B1 (en) * 1999-12-28 2002-11-19 Sony Corporation Methods and apparatus for reduction of prediction modes in motion estimation

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8019000B2 (en) 2005-02-24 2011-09-13 Sanyo Electric Co., Ltd. Motion vector detecting device

Also Published As

Publication number Publication date
US20020136302A1 (en) 2002-09-26

Similar Documents

Publication Publication Date Title
US6195389B1 (en) Motion estimation system and methods
US20230196503A1 (en) Upscaling Lower Resolution Image Data for Processing
US9800889B2 (en) Video decoding device, video decoding method, video decoding program, and video decoding integrated circuit
US5610658A (en) Motion vector detection using hierarchical calculation
US10735727B2 (en) Method of adaptive filtering for multiple reference line of intra prediction in video coding, video encoding apparatus and video decoding apparatus therewith
KR100952861B1 (ko) 디지털 비디오 데이터 처리
JPH10313459A (ja) ブロックを用いた動き補償によるビデオ信号の復号方法 及び装置
US20060002472A1 (en) Various methods and apparatuses for motion estimation
US8619862B2 (en) Method and device for generating an image data stream, method and device for reconstructing a current image from an image data stream, image data stream and storage medium carrying an image data stream
US20060239349A1 (en) Image coding unit and image coding method
JP2009509413A (ja) 不規則な動きベクトルのサンプルに対する時間予測フィルタのための適応動き推定
US20050276327A1 (en) Method and apparatus for predicting motion
CN109348234B (zh) 一种高效亚像素运动估计方法及系统
US7408989B2 (en) Method of video encoding using windows and system thereof
US8963809B1 (en) High performance caching for motion compensated video decoder
JP2006270683A (ja) 符号化装置と方法
US20020057744A1 (en) A method and apparatus for avoiding redundant data retrieval during video decoding
JP2002305749A (ja) 移動探知方法、ビデオ圧縮方法、並びに移動予測装置
US20080181310A1 (en) Motion search method and apparatus for minimizing off-chip memory access
US6665340B1 (en) Moving picture encoding/decoding system, moving picture encoding/decoding apparatus, moving picture encoding/decoding method, and recording medium
US7397856B2 (en) Method and apparatus for storing and processing picture information of temporally successive pictures
US7840080B1 (en) Motion estimator architecture for low bit rate image communication
CN111343465A (zh) 电子电路和电子设备
JP2001086447A (ja) 画像処理装置
JPH05260461A (ja) 動き補償予測装置