JP2008016903A - 動きベクトル信頼度測定方法,動フレーム判定方法,動画像符号化方法,およびそれらの装置,並びにそれらのプログラムおよびその記録媒体 - Google Patents

動きベクトル信頼度測定方法,動フレーム判定方法,動画像符号化方法,およびそれらの装置,並びにそれらのプログラムおよびその記録媒体 Download PDF

Info

Publication number
JP2008016903A
JP2008016903A JP2006182938A JP2006182938A JP2008016903A JP 2008016903 A JP2008016903 A JP 2008016903A JP 2006182938 A JP2006182938 A JP 2006182938A JP 2006182938 A JP2006182938 A JP 2006182938A JP 2008016903 A JP2008016903 A JP 2008016903A
Authority
JP
Japan
Prior art keywords
motion vector
frame
motion
reliability
block
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2006182938A
Other languages
English (en)
Inventor
Kazuya Hayase
和也 早瀬
Yukihiro Bando
幸浩 坂東
Kazuto Kamikura
一人 上倉
Yoshiyuki Yashima
由幸 八島
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nippon Telegraph and Telephone Corp
Original Assignee
Nippon Telegraph and Telephone Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nippon Telegraph and Telephone Corp filed Critical Nippon Telegraph and Telephone Corp
Priority to JP2006182938A priority Critical patent/JP2008016903A/ja
Publication of JP2008016903A publication Critical patent/JP2008016903A/ja
Pending legal-status Critical Current

Links

Images

Landscapes

  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

【課題】動きベクトルが真の動きの変位量と乖離していないかどうかを示す動きベクトルの信頼度を得る。
【解決手段】動き推定部111で動き推定して求めた動きベクトルの信頼度を算出するため,時間的逆方向動き推定部113では,推定された被参照ブロックに対して,動き推定部111での動き推定とは時間的逆方向となる現フレームからの動き推定を行い,信頼度判定動きベクトルを求める。動きベクトル信頼度値算出部115は,動き推定部111で求めた動きベクトルと,時間的逆方向動き推定部113で求めた信頼度判定動きベクトルとを照合することにより,整合性の度合いを求めて動きベクトルの信頼度とする。
【選択図】図5

Description

本発明は,動画像符号化のための技術に関し,特に動きベクトルの信頼度を算出し,動きの激しいフレームの検出を確実に行うことができるようにするための技術に関する。
従来より,動画像の符号化において,人間の視覚特性を利用することによって符号化効率を向上させる研究がなされている。例えば,MPEG−2の参照ソフトウェアTM5(非特許文献1参照)では,フレーム内において視覚的に劣化の目立ちにくい領域への符号量の割り当てを相対的に小さくすることで,符号化効率の向上を図っている。具体的には,空間方向のアクティビティを測定し,アクティビティが大きいところの量子化パラメータを相対的に大きくする,画面内領域に対する量子化パラメータの適応処理を行っている。
また,特許文献1に記載された高能率動画像符号化方式では,符号化の前段に空間フィルタを置き,入力動画像信号の動き量に応じて解像度を制御し,視覚的な劣化を最小限に抑えながら情報を削減するため,動きベクトルのノルムから動き量を算出し,動き量の値に応じて2次元空間フィルタにより空間解像度を制御することを行っている。
なお,本発明の適用対象となる基本的な符号化処理の技術が記載された文献としては,非特許文献1の他に,例えばH.264の参照ソフトウェアJM(非特許文献2,3参照)などがある。
特開平6−62392号公報 Test Model 5,ISO/IEC JTC1/SC29/WG11,MPEG93/457 Text Description of Joint Model Reference Encoding Methods and Decoding Conceament Methods Joint Video Team of ISO/IEC MPEG and ITU-T VCEG "Revised H.264/MPEG-4 AVC Reference Software Manual",ISO/IEC JTC1/SC29/WG11 and ITU-T SG16 Q.6 ,October ,2005
人間が時間方向に持つ視覚特性の一つとして,時間マスキング効果が知られている。高速のカメラパンなどによって生成される人間の目で追うことができないほど動きの激しいシーンは,通常のシーン(目で動きを追うことができるシーン)に比べて,ボケやノイズという画質劣化が目立ちにくい。つまり,符号化によって生じる原信号との誤差の影響も,動きの激しいシーンでは相対的に劣化として知覚されにくい。これは,時間マスキング効果を利用することで,効率的な符号量削減が見込めることを示唆している。
しかしながら,前述した非特許文献1のTM5では,人間が空間方向に持つ視覚特性は利用されているものの,時間方向の視覚特性の利用はなされておらず,符号化効率の向上に改良の余地を残す。
また,前述した特許文献1の動画像符号化方式では,動きベクトルのノルムから一意的に決定した動き量に応じて,入力動画像信号の解像度を制御することを行っているが,動きベクトルが必ずしも実際の撮像対象の真の動きを表しているとは限らないため,視覚的な劣化を引き起こしたり,適切な発生符号量の削減ができない場合がある。
すなわち,時間マスキング効果を有効に活用するためには,シーケンス中の動きの激しいシーンを正確に検出する必要がある。しかしながら,動きの激しいシーンでは,ブロックマッチング等により推定される変位量は,真の変位量から乖離する場合が多く,単純に推定変位量を用いたのでは,その検出は難しい。
本発明はかかる事情に鑑みてなされたものであって,動きベクトルが真の動きの変位量と乖離しているかどうかを示す動きベクトルの信頼度を取得し,その動きベクトルの信頼度の情報をもとにシーケンス中のフレームを動きの激しいフレーム(以下,動フレームという)であるか否かの2つに自動分類し,その分類結果に応じて各フレームに対する符号化の処理方式もしくは符号化処理に用いるパラメータの適応制御を施す動画像符号化器の設計法を確立することを目的とする。
[処理概要]
本発明の処理の概要を示す。本発明では,シーケンス中のフレームを「動フレーム」と「それ以外のフレーム」の2つに分類し,動フレームと判定されたフレームに対しては,動フレームではないフレームに比べて,より符号量削減に重きを置いた処理を行う。
フレームの分類には,フレーム間の動き推定により算出される動きベクトルが実際の変位量を反映しているかどうかを示す情報,つまり,その動きベクトルの信頼度を示す情報を利用する。動フレームにおいては,推定された変位量が真の変位量と乖離する場合が多い。そこで,1フレーム内において信頼度の低い動きベクトルを算出するブロックが,ある一定個数以上検出された場合には,そのフレームは動フレームとみなす。
動きベクトルの信頼度は,フレーム間の双方向の動き推定結果を用いて算出する。該ブロックにおける動き推定により算出した動きベクトルと,推定された被参照ブロックに対して前の動き推定とは時間的逆方向となる該フレームからの動き推定を行うことにより算出した動きベクトルとを照合することにより,動きベクトルの信頼度を算出する。
上記のようなフレーム間の双方向の動き推定により算出される両動きベクトルが大きく異なる場合,その動きベクトルは真の変位量から乖離している可能性が高いと考えられる。そこで,この両動きベクトルの整合度合いを,真の変位量をどれだけ反映できているかを示す評価尺度として解釈し,動きベクトルの信頼度として定義する。
すなわち,本発明に係る動きベクトル信頼度測定方法は,処理対象ブロックに対する動き推定により算出された動きベクトルの入力に対して,前記動き推定で推定された被参照ブロックを動き推定対象ブロックとして,前記動き推定とは時間的に逆方向に再度動き推定を行い導出された動きベクトルとの整合度によって,動きベクトルの信頼度を定めることを特徴とする。
また,本発明に係る動フレーム判定方法は,各ブロックにおける動きベクトルが真の変位量を反映しているかどうかを示す動きベクトルの信頼度の値の入力に対して,フレーム全体に対する信頼度の低い動きベクトルを算出した領域の割合に応じて,該フレームが動きの激しいフレームであるか否かを判定することを特徴とする。その動きベクトルの信頼度の算出方法として,前記動きベクトル信頼度測定方法により定めた信頼度を用いる。
また,本発明に係る動画像符号化方法は,映像信号の入力に対して,各フレームにおいて動きの激しいフレームであるか否かの判定処理を行い,その判定結果に従って,符号化の処理方式もしくは符号化処理に用いるパラメータをフレームごとに適応的に定めることを特徴とする。動きの激しいフレームであるか否かの判定には,前記動フレーム判定方法による判定結果を用いる。
本発明により,動きベクトルが真の動きの変位量と乖離しているかどうかを示す動きベクトルの信頼度の情報を得ることができ,正しい動きの推定が可能になる。これにより,例えば目で追うことのできないほど動きの激しいフレーム(動フレーム)の検出が可能になる。例えば動画像符号化に本発明を適用した場合,本発明を適用しない通常の符号化の場合と比較して,主観画質を劣化させることなく,符号量を削減することができる。
以降,本発明を用いた符号化処理を詳説する。
[処理詳細]
図1は,フレーム間における双方向の動き予測のイメージ図である。また,図2は,信頼度算出対象の動きベクトルとその信頼度判定動きベクトルのイメージ図である。
はじめに,本発明の処理の説明に使用する記号を整理する。動フレームか否かの判定対象となっている時間t0 のフレームをFt0とおく。また,フレームFt0の動き推定の対象となる時間t1 のフレーム(被参照フレーム)をFt1とおく。フレームFt に含まれるある1つのN×Mサイズの矩形ブロックの中央座標をpとしたとき,そのブロックをBp,t と表す。
フレームFt1からの動きベクトルをフレームFt0の各ブロックについて算出する。動きベクトルの算出方法は,外部より与えられる。ブロックBp,t0を動き推定対象ブロックとしたときの被参照ブロックであって,フレームFt1において中央座標p1を持つブロックをBp1,t1 とする。このpとp1との差分が,ブロックBp,t0における動きベクトルvp,t0となる。
〔動きベクトルの信頼度の算出〕
まず,前述した動き推定によって導出された被参照ブロックBp1,t1 を動き推定対象ブロックとして,時間t0 からの動き推定を行う。つまり,前の動き推定とは時間的に逆方向に再度動き推定を行う。この推定により,フレームFt0において被参照ブロックとして推定された中央座標p2を持つブロックをBp2,t0 とおく。ここで算出される動きベクトルv′p1,t1 の逆ベクトル−v′p1,t1 を,信頼度判定動きベクトルと呼ぶ。
動きベクトルvp,t0とその動きベクトルの信頼度判定動きベクトル−v′p1,t1 との整合度合いを,動きベクトルvp,t0の信頼度として定義する。cvp,t0 を動きベクトルvp,t0の信頼度としたとき,cvp,t0 は,外部より与えられる信頼度を算出するための関数,もしくは条件式fを用いて,
vp,t0 =f(cvp,t0 ,−v′p1,t1 ) (1)
として表す。
<fの一例>
関数もしくは条件式fの一例としては,両者の動きベクトルの内積
f(cvp,t0 ,−v′p1,t1 )=vp,t0・(−v′p1,t1 ) (2)
または,両者の動きベクトルを座標ベクトルとしたときの座標間の距離,
f(cvp,t0 ,−v′p1,t1 )=|vp,t0+v′p1,t1 | (3)
が考えられる。
〔動フレームの判定方法〕
前述のとおり,動フレームでは信頼度の低い動きベクトルが多くのブロックで検出される。この性質を利用することにより,動フレームの判定を行う。i番目のブロックの動きベクトルの信頼度をci とし,信頼度が低いか否かを決定する信頼度cのしきい値をαとすると,
i <α (4)
を満たすブロックは,信頼度の低い動きベクトルを検出したブロックとみなす。しきい値αは外部より与えられる。
動フレームか否かの判定は,フレーム内の総ブロック数に対する,信頼度の低い動きベクトルを検出したブロック数の比率で決定する。フレーム内の総ブロック数をM,信頼度が低い動きベクトルを検出したブロック数をmとしたときの両者の比率,
r=m/M (5)
の値が,
r>β (6)
を満たすフレームが動フレームとして判定される。ここでβは,動フレームとして判定するブロック数比率のしきい値であり,外部より与えられる。
〔符号化処理におけるフレーム適応制御〕
動フレームと判定されたフレームに対しては,判定されていないフレームに比べて,相対的に符号量の削減に重きを置いた処理を施すことで,符号化効率の向上を図る。符号量削減のための適応制御の例を以下に示す。
・あらかじめ動フレームに対してのみローパスフィルタを施し,空間高周波成分をカットする(プレフィルタ処理)
・動フレームのみ,予測残差信号に対する量子化パラメータを大きくする(量子化パラメータ調節)
[処理の流れ]
本発明の処理の実施形態について,図3を参照して説明する。
ステップS1:フレーム画像信号を読み込み,それをあらかじめ定められたサイズの矩形ブロックに分割し,そのブロック信号をレジスタに書き込む。
ステップS2:該フレームにおけるブロック信号を読み込み,例えばH.264符号化参照ソフトウェアJM(非特許文献2参照)に従った被参照フレームからの動き推定を行い,被参照フレームにおける被参照ブロックを推定する。
ステップS3:ステップS2で出力された被参照フレームにおける被参照ブロックの座標情報を入力として,該ブロックにおける動きベクトルを算出し,そのベクトル情報をレジスタに書き込む。
ステップS4:ステップS3で出力された動きベクトルを入力として,その動きベクトルの信頼度を算出し,その値をレジスタに書き込む。本処理の詳細は図4に示す(後述)。
ステップS5:すべてのブロックにおいて動きベクトルの信頼度の算出が完了したか否かの判定処理を行い,真の場合にはステップS6の処理に移り,偽の場合にはステップS2の処理に戻って,同様に次のブロックに対する動きベクトルの信頼度の算出を行う。
ステップS6:各ブロックの動きベクトルの信頼度の値を入力として,外部より与えられる関数または条件式(例えば,式5および式6など)に従って該フレームが動フレームであるか否かの判定処理を行い,その判定結果を示すフラグを出力し,符号化処理の入力とする。
ステップS4の処理の詳細,すなわち動きベクトルの信頼度の算出処理方法を,図4を用いて説明する。
ステップS41:ステップS2の処理によって推定された被参照フレームの被参照ブロックに対して,前の動き推定とは時間的逆方向となる該フレームからの動き推定を行い,該フレームにおける被参照ブロックを推定し,そのブロックの座標情報を出力する。
ステップS42:ステップS41で出力された該フレームにおける被参照ブロックの座標情報を入力として,該フレームにおける被参照ブロックからの動きベクトル(信頼度判定動きベクトル)を算出し,その情報をレジスタに書き込む。
ステップS43:ステップS3で出力された動きベクトル,およびステップS42で出力された信頼度判定動きベクトルの情報を入力として,ステップS3で出力された動きベクトルの信頼度を,外部より与えられる関数または条件式に従って算出し,その値をレジスタに書き込む。
[処理装置]
本発明における動フレーム判定装置の構成例を図5に示す。動フレーム判定装置100は,ブロック分割部101,ブロック信号記憶部102,動きベクトル信頼度測定装置110,動きベクトル信頼度値記憶部103,動フレーム判定部104,動フレーム判定フラグ記憶部105を備える。動きベクトル信頼度測定装置110は,動き推定部111,動きベクトル記憶部112,時間的逆方向動き推定部113,信頼度判定動きベクトル記憶部114,動きベクトル信頼度値算出部115を備える。各部は,次のような処理を行う。
ブロック分割部101は,フレーム画像信号を入力として,それをあらかじめ定められたサイズの矩形ブロックに分割し,そのブロック信号をブロック信号記憶部102に書き込む。
動きベクトル信頼度測定装置110の動き推定部111は,ブロック信号記憶部102から該フレームにおける動き推定対象ブロック信号を読み出し,被参照フレームからの動き推定を行い,被参照フレームの被参照ブロックからの動きベクトルを算出し,その情報を動きベクトル記憶部112に書き込む。
時間的逆方向動き推定部113は,被参照フレームの被参照ブロックの信号を入力として,動き推定部111の処理とは時間的逆方向となる該フレームからの動き推定を行い,該フレームの被参照ブロックからの動きベクトル(信頼度判定動きベクトル)を算出し,その情報を信頼度判定動きベクトル記憶部114に書き込む。
動きベクトル信頼度値算出部115は,動きベクトル記憶部112および信頼度判定動きベクトル記憶部114から,該フレームの動き推定対象ブロック信号における両情報を読み出し,外部より与えられる関数または条件式に従って,動きベクトル記憶部112から読み出した動きベクトルの信頼度を算出し,その値を動きベクトル信頼度値記憶部103に書き込む。
動フレーム判定部104は,動きベクトル信頼度値記憶部103から該フレームにおける各ブロックの動きベクトルの信頼度を読み込み,外部より与えられる関数または条件式に従って,該フレームが動フレームであるかどうかの判定処理を行い,その判定結果を動フレーム判定フラグとして動フレーム判定フラグ記憶部105に出力する。この動フレーム判定フラグを符号化処理に利用する。
本発明における符号化装置の一例を図6に示す。図6は,フレーム信号に対するプレフィルタ処理に,図5に示した動フレーム判定装置100より出力された動フレーム判定フラグを利用した場合の符号化装置200の例を示している。符号化装置200は,動フレーム判定装置100,フィルタ強度決定部201,フィルタ強度記憶部202,フィルタ処理部203,フィルタ信号記憶部204,符号化処理部205を備える。
フィルタ強度決定部201は,動フレーム判定装置100から出力された動フレーム判定フラグの値に従って,入力されるフレーム信号に対して施すプレフィルタの強度を決定し,その値をフィルタ強度記憶部202に書き込む。
フィルタ処理部203は,フィルタ強度記憶部202より,フィルタの強度パラメータを読み込み,そのパラメータに従って該フレームに対してプレフィルタ処理を施し,フィルタリングされたフレーム信号をフィルタ信号記憶部204に書き込む。
符号化処理部205は,フィルタ信号記憶部204よりフィルタリングされたフレーム信号を読み込み,符号化処理を施し,符号化ストリームを出力する。この符号化処理の一例としては,MPEG−2の参照ソフトウェアTM5(非特許文献1)や,H.264の参照ソフトウェアJM(非特許文献2)などが挙げられる。
動フレーム判定装置100の出力である動フレーム判定フラグは,図6の符号化装置200に示されるように,あらかじめ動フレームに対してのみローパスフィルタを施し,空間高周波成分をカットするためのプレフィルタ処理に用いることができるほか,符号化処理部205の量子化パラメータ制御部(図示省略)への入力とし,量子化パラメータ制御部において動フレームのみ予測残差信号に対する量子化パラメータを大きくするような量子化パラメータの調節に用いることもできる。
また,動フレーム判定装置100の出力は,動画像符号化の処理以外にも次のような利用が可能である。例えば,映像の再生や編集を目的としたとき,所望のシーンを呼び出すために,区切り(チャプター)をシーンに入れる。高速のカメラパンによって映像がチェンジした部分に区切りを入れたい場合には,シーケンス内の高速のカメラパンフレームの同定が必要になる。本発明を用いた動フレームの検出によって,上述のような高速のカメラパンフレームの同定が可能になる。
また,上記動きベクトル信頼度測定方法によって求めた動きベクトルの信頼度は,各フレームを動きの激しいフレームであるか否かに分類する場合に限らず,次のようなケースにも利用可能である。例えばロボットの歩行において,他物体との衝突を回避するために,動きベクトル情報を用いて動物体の検出を行うことが考えられている。これは,ブロックマッチングによって検出される動きベクトルが,実際の物体の動きを反映しているという前提に立ったものであるため,動きベクトルの信頼度が低い場合には,誤検出を招く。上記動きベクトル信頼度測定方法によって得られた動きベクトルの信頼度情報を利用すれば,信頼度の高い動きベクトルだけを用いて動物体の検出を試みることができ,誤検出の可能性は低減される。
以上の動きベクトル信頼度測定方法,動フレーム判定方法および動画像符号化方法の処理は,コンピュータとソフトウェアプログラムとによって実現することもでき,そのプログラムをコンピュータ読み取り可能な記録媒体に記録して提供することも,ネットワークを通して提供することも可能である。
フレーム間における双方向の動き予測のイメージ図である。 信頼度算出対象の動きベクトルとその信頼度判定動きベクトルのイメージ図である。 本発明の実施形態の処理フローチャートである。 動きベクトルの信頼度の算出処理方法を示す処理フローチャートである。 動フレーム判定装置の構成例を示す図である。 動フレーム判定装置を用いた符号化装置の構成例を示す図である。
符号の説明
100 動フレーム判定装置
101 ブロック分割部
102 ブロック信号記憶部
103 動きベクトル信頼度値記憶部
104 動フレーム判定部
105 動フレーム判定フラグ記憶部
110 動きベクトル信頼度測定装置
111 動き推定部
112 動きベクトル記憶部
113 時間的逆方向動き推定部
114 信頼度判定動きベクトル記憶部
115 動きベクトル信頼度値算出部
200 符号化装置
201 フィルタ強度決定部
202 フィルタ強度記憶部
203 フィルタ処理部
204 フィルタ信号記憶部
205 符号化処理部

Claims (12)

  1. 動画像のフレームを分割したブロックに対して被参照フレームからの動き推定によって算出された動きベクトルが,撮影対象の実際の動きにどの程度対応しているかを示す,動きベクトルの信頼度を算出する動きベクトル信頼度測定方法であって,
    処理対象フレームにおける動きベクトル検出対象ブロックに対して,被参照フレームからの動き推定を行う過程と,
    前記動き推定に基づき,前記動きベクトル検出対象ブロックにおける動きベクトルを算出する過程と,
    前記動きベクトルの算出元となった被参照フレームにおける被参照ブロックに対して,前記処理対象フレームからの動き推定を行う過程と,
    前記処理対象フレームからの動き推定に基づき,前記被参照ブロックにおける信頼度判定用の動きベクトルを算出する過程と,
    前記動きベクトル検出対象ブロックにおける動きベクトルと前記信頼度判定用の動きベクトルとから,あらかじめ定義された前記二つの動きベクトルの整合性の度合いを示す関数または条件式に従って,動きベクトルの信頼度を算出する過程とを有する
    ことを特徴とする動きベクトル信頼度測定方法。
  2. 動画像における撮影対象の動きの激しさに応じて各フレームを,動きの激しいフレームとそれ以外のフレームとに分類する動フレーム判定方法であって,
    判定対象フレームの各ブロックについて請求項1記載の動きベクトル信頼度測定方法によって,動きベクトルの信頼度を算出する過程と,
    算出された各ブロックの動きベクトルの信頼度と所定の閾値との比較により,前記各ブロックの動きベクトルを,信頼度の高い動きベクトルと信頼度が低い動きベクトルとに分類する過程と,
    前記分類した結果に基づき,前記判定対象フレームにおける全ブロックに対する信頼度の低い動きベクトルが算出されたブロックの割合を算出し,該割合が所定の閾値より大きいか否かによって,前記判定対象フレームを動きの激しいフレームとそれ以外のフレームとに分類する過程とを有する
    ことを特徴とする動フレーム判定方法。
  3. 動画像を符号化する動画像符号化方法であって,
    請求項2記載の動フレーム判定方法を用いて,各フレームを動きの激しいフレームとそれ以外のフレームとに分類する過程と,
    前記分類した結果に基づき,符号化の処理方式もしくは符号化処理に用いるパラメータを各フレームごとに適応的に定める過程とを有する
    ことを特徴とする動画像符号化方法。
  4. 動画像のフレームを分割したブロックに対して被参照フレームからの動き推定によって算出された動きベクトルが,撮影対象の実際の動きにどの程度対応しているかを示す,動きベクトルの信頼度を算出する動きベクトル信頼度測定装置であって,
    処理対象フレームにおける動きベクトル検出対象ブロックに対して,被参照フレームからの動き推定を行う手段と,
    前記動き推定に基づき,前記動きベクトル検出対象ブロックにおける動きベクトルを算出する手段と,
    前記動きベクトルの算出元となった被参照フレームにおける被参照ブロックに対して,前記処理対象フレームからの動き推定を行う手段と,
    前記処理対象フレームからの動き推定に基づき,前記被参照ブロックにおける信頼度判定用の動きベクトルを算出する手段と,
    前記動きベクトル検出対象ブロックにおける動きベクトルと前記信頼度判定用の動きベクトルとから,あらかじめ定義された前記二つの動きベクトルの整合性の度合いを示す関数または条件式に従って,動きベクトルの信頼度を算出する手段とを備える
    ことを特徴とする動きベクトル信頼度測定装置。
  5. 動画像における撮影対象の動きの激しさに応じて各フレームを,動きの激しいフレームとそれ以外のフレームとに分類する動フレーム判定装置であって,
    判定対象フレームの各ブロックについて請求項4記載の動きベクトル信頼度測定装置によって,動きベクトルの信頼度を算出する手段と,
    算出された各ブロックの動きベクトルの信頼度と所定の閾値との比較により,前記各ブロックの動きベクトルを,信頼度の高い動きベクトルと信頼度が低い動きベクトルとに分類する手段と,
    前記分類した結果に基づき,前記判定対象フレームにおける全ブロックに対する信頼度の低い動きベクトルが算出されたブロックの割合を算出し,該割合が所定の閾値より大きいか否かによって,前記判定対象フレームを動きの激しいフレームとそれ以外のフレームとに分類する手段とを備える
    ことを特徴とする動フレーム判定装置。
  6. 動画像を符号化する動画像符号化装置であって,
    請求項5記載の動フレーム判定装置を用いて,各フレームを動きの激しいフレームとそれ以外のフレームとに分類する手段と,
    前記分類した結果に基づき,符号化の処理方式もしくは符号化処理に用いるパラメータを各フレームごとに適応的に定める手段とを備える
    ことを特徴とする動画像符号化装置。
  7. 動画像のフレームを分割したブロックに対して被参照フレームからの動き推定によって算出された動きベクトルが,撮影対象の実際の動きにどの程度対応しているかを示す,動きベクトルの信頼度を算出する動きベクトル信頼度測定方法を,コンピュータに実行させめるための動きベクトル信頼度測定プログラムであって,
    処理対象フレームにおける動きベクトル検出対象ブロックに対して,被参照フレームからの動き推定を行う処理と,
    前記動き推定に基づき,前記動きベクトル検出対象ブロックにおける動きベクトルを算出する処理と,
    前記動きベクトルの算出元となった被参照フレームにおける被参照ブロックに対して,前記処理対象フレームからの動き推定を行う処理と,
    前記処理対象フレームからの動き推定に基づき,前記被参照ブロックにおける信頼度判定用の動きベクトルを算出する処理と,
    前記動きベクトル検出対象ブロックにおける動きベクトルと前記信頼度判定用の動きベクトルとから,あらかじめ定義された前記二つの動きベクトルの整合性の度合いを示す関数または条件式に従って,動きベクトルの信頼度を算出する処理とを,
    コンピュータに実行させるための動きベクトル信頼度測定プログラム。
  8. 動画像における撮影対象の動きの激しさに応じて各フレームを,動きの激しいフレームとそれ以外のフレームとに分類する動フレーム判定方法を,コンピュータに実行させるための動フレーム判定プログラムであって,
    判定対象フレームの各ブロックについて請求項1記載の動きベクトル信頼度測定方法によって,動きベクトルの信頼度を算出する処理と,
    算出された各ブロックの動きベクトルの信頼度と所定の閾値との比較により,前記各ブロックの動きベクトルを,信頼度の高い動きベクトルと信頼度が低い動きベクトルとに分類する処理と,
    前記分類した結果に基づき,前記判定対象フレームにおける全ブロックに対する信頼度の低い動きベクトルが算出されたブロックの割合を算出し,該割合が所定の閾値より大きいか否かによって,前記判定対象フレームを動きの激しいフレームとそれ以外のフレームとに分類する処理とを,
    コンピュータに実行させるための動フレーム判定プログラム。
  9. 動画像を符号化する動画像符号化方法をコンピュータに実行させるための動画像符号化プログラムであって,
    請求項2記載の動フレーム判定方法を用いて,各フレームを動きの激しいフレームとそれ以外のフレームとに分類する処理と,
    前記分類した結果に基づき,符号化の処理方式もしくは符号化処理に用いるパラメータを各フレームごとに適応的に定める処理とを,
    コンピュータに実行させるための動画像符号化プログラム。
  10. 動画像のフレームを分割したブロックに対して被参照フレームからの動き推定によって算出された動きベクトルが,撮影対象の実際の動きにどの程度対応しているかを示す,動きベクトルの信頼度を算出する動きベクトル信頼度測定方法を,コンピュータに実行させめるための動きベクトル信頼度測定プログラムを記録したコンピュータ読み取り可能な記録媒体であって,
    処理対象フレームにおける動きベクトル検出対象ブロックに対して,被参照フレームからの動き推定を行う処理と,
    前記動き推定に基づき,前記動きベクトル検出対象ブロックにおける動きベクトルを算出する処理と,
    前記動きベクトルの算出元となった被参照フレームにおける被参照ブロックに対して,前記処理対象フレームからの動き推定を行う処理と,
    前記処理対象フレームからの動き推定に基づき,前記被参照ブロックにおける信頼度判定用の動きベクトルを算出する処理と,
    前記動きベクトル検出対象ブロックにおける動きベクトルと前記信頼度判定用の動きベクトルとから,あらかじめ定義された前記二つの動きベクトルの整合性の度合いを示す関数または条件式に従って,動きベクトルの信頼度を算出する処理とを,
    コンピュータに実行させるための動きベクトル信頼度測定プログラムを記録した記録媒体。
  11. 動画像における撮影対象の動きの激しさに応じて各フレームを,動きの激しいフレームとそれ以外のフレームとに分類する動フレーム判定方法を,コンピュータに実行させるための動フレーム判定プログラムを記録したコンピュータ読み取り可能な記録媒体であって,
    判定対象フレームの各ブロックについて請求項1記載の動きベクトル信頼度測定方法によって,動きベクトルの信頼度を算出する処理と,
    算出された各ブロックの動きベクトルの信頼度と所定の閾値との比較により,前記各ブロックの動きベクトルを,信頼度の高い動きベクトルと信頼度が低い動きベクトルとに分類する処理と,
    前記分類した結果に基づき,前記判定対象フレームにおける全ブロックに対する信頼度の低い動きベクトルが算出されたブロックの割合を算出し,該割合が所定の閾値より大きいか否かによって,前記判定対象フレームを動きの激しいフレームとそれ以外のフレームとに分類する処理とを,
    コンピュータに実行させるための動フレーム判定プログラムを記録した記録媒体。
  12. 動画像を符号化する動画像符号化方法をコンピュータに実行させるための動画像符号化プログラムを記録したコンピュータ読み取り可能な記録媒体であって,
    請求項2記載の動フレーム判定方法を用いて,各フレームを動きの激しいフレームとそれ以外のフレームとに分類する処理と,
    前記分類した結果に基づき,符号化の処理方式もしくは符号化処理に用いるパラメータを各フレームごとに適応的に定める処理とを,
    コンピュータに実行させるための動画像符号化プログラムを記録した記録媒体。
JP2006182938A 2006-07-03 2006-07-03 動きベクトル信頼度測定方法,動フレーム判定方法,動画像符号化方法,およびそれらの装置,並びにそれらのプログラムおよびその記録媒体 Pending JP2008016903A (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2006182938A JP2008016903A (ja) 2006-07-03 2006-07-03 動きベクトル信頼度測定方法,動フレーム判定方法,動画像符号化方法,およびそれらの装置,並びにそれらのプログラムおよびその記録媒体

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2006182938A JP2008016903A (ja) 2006-07-03 2006-07-03 動きベクトル信頼度測定方法,動フレーム判定方法,動画像符号化方法,およびそれらの装置,並びにそれらのプログラムおよびその記録媒体

Publications (1)

Publication Number Publication Date
JP2008016903A true JP2008016903A (ja) 2008-01-24

Family

ID=39073553

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2006182938A Pending JP2008016903A (ja) 2006-07-03 2006-07-03 動きベクトル信頼度測定方法,動フレーム判定方法,動画像符号化方法,およびそれらの装置,並びにそれらのプログラムおよびその記録媒体

Country Status (1)

Country Link
JP (1) JP2008016903A (ja)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101990093A (zh) * 2009-08-06 2011-03-23 索尼株式会社 检测视频中的重放片段的方法和设备
JP2013030838A (ja) * 2011-07-26 2013-02-07 Jvc Kenwood Corp 動きベクトル導出装置および方法
CN103294811A (zh) * 2013-06-05 2013-09-11 中国科学院自动化研究所 考虑特征可靠性的视频分类器构造方法
WO2014194481A1 (zh) * 2013-06-05 2014-12-11 中国科学院自动化研究所 考虑特征可靠性的视频分类器构造方法

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH06311502A (ja) * 1993-02-26 1994-11-04 Toshiba Corp 動画像伝送装置
JPH0865677A (ja) * 1994-08-22 1996-03-08 Nec Corp 動画像符号化装置
JP2000032474A (ja) * 1998-07-08 2000-01-28 Sharp Corp 動画像符号化装置
JP2001076161A (ja) * 1999-09-02 2001-03-23 Canon Inc 画像処理方法及び装置並びに記憶媒体
JP2001326941A (ja) * 2000-05-16 2001-11-22 Matsushita Electric Ind Co Ltd 動画像符号化装置、動画像符号化方法、動画像符号化プログラムを記録している記録媒体、動きベクトル判定装置、動きベクトル判定方法及び動きベクトル判定プログラムを記録している記録媒体
JP2006079594A (ja) * 2004-08-13 2006-03-23 Sony Corp 移動物体検出装置及び方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH06311502A (ja) * 1993-02-26 1994-11-04 Toshiba Corp 動画像伝送装置
JPH0865677A (ja) * 1994-08-22 1996-03-08 Nec Corp 動画像符号化装置
JP2000032474A (ja) * 1998-07-08 2000-01-28 Sharp Corp 動画像符号化装置
JP2001076161A (ja) * 1999-09-02 2001-03-23 Canon Inc 画像処理方法及び装置並びに記憶媒体
JP2001326941A (ja) * 2000-05-16 2001-11-22 Matsushita Electric Ind Co Ltd 動画像符号化装置、動画像符号化方法、動画像符号化プログラムを記録している記録媒体、動きベクトル判定装置、動きベクトル判定方法及び動きベクトル判定プログラムを記録している記録媒体
JP2006079594A (ja) * 2004-08-13 2006-03-23 Sony Corp 移動物体検出装置及び方法

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101990093A (zh) * 2009-08-06 2011-03-23 索尼株式会社 检测视频中的重放片段的方法和设备
JP2013030838A (ja) * 2011-07-26 2013-02-07 Jvc Kenwood Corp 動きベクトル導出装置および方法
CN103294811A (zh) * 2013-06-05 2013-09-11 中国科学院自动化研究所 考虑特征可靠性的视频分类器构造方法
WO2014194481A1 (zh) * 2013-06-05 2014-12-11 中国科学院自动化研究所 考虑特征可靠性的视频分类器构造方法

Similar Documents

Publication Publication Date Title
US11546627B2 (en) Moving picture decoding method and moving picture encoding method
US10893283B2 (en) Real-time adaptive video denoiser with moving object detection
US9948943B2 (en) Image processing system for processing combined image data and depth data
EP2396768B1 (en) Quality evaluation of sequences of images
JP6016332B2 (ja) 画像処理装置、画像処理方法
US10536716B2 (en) Apparatus and method for video motion compensation
JP2010500818A (ja) 漫画アニメーション圧縮のためのシステムおよび方法
US7916791B2 (en) Method and system for non-linear motion estimation
JP2008016903A (ja) 動きベクトル信頼度測定方法,動フレーム判定方法,動画像符号化方法,およびそれらの装置,並びにそれらのプログラムおよびその記録媒体
CN110324636B (zh) 用于对视频流中的帧序列进行编码的方法、设备和系统
JP7072401B2 (ja) 動画像符号化装置、動画像符号化装置の制御方法及びプログラム
JP2006222975A (ja) 画像シーケンスを符号化する前に事前処理する装置及び方法
JP5913929B2 (ja) 動画像符号化装置及びその制御方法、コンピュータプログラム
JP4528255B2 (ja) 映像復号装置および映像復号プログラム
JPH1023421A (ja) 動画像処理方法
JP2017085496A (ja) 動画像符号化装置及びその制御方法、コンピュータプログラム
US20150124871A1 (en) Visual Perceptual Transform Coding of Images and Videos
KR101780444B1 (ko) 영상 신호의 노이즈 제거 방법
Yang et al. Flickering effect reduction for H. 264/AVC intra frames
KR20070056229A (ko) 영상 부호기 및 이의 관심 영역 검출방법
JP2007104515A (ja) 映像符号化プレフィルタリング方法、映像符号化プレフィルタリング装置、映像符号化プレフィルタリングプログラム及びそのプログラムを記録したコンピュータ読み取り可能な記録媒体
Coimbra et al. A new pedestrian detection system using mpeg-2 compressed domain information
JP2008079148A (ja) 符号化装置
JPH04336787A (ja) 動画像符号化装置
JP2010232829A (ja) 動画像符号化装置及びその方法

Legal Events

Date Code Title Description
RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20080529

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20080801

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20100331

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20100601

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20100608

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20100803

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20110222