JP2005175662A - 画像符号化および画像生成装置 - Google Patents

Abstract

【課題】前後のキーフレームから、中間画像を生成するために、対応する領域を、ユーザが指定しないといけない点である。
【解決手段】この課題を解決するために本発明の中間画像生成装置は、動きベクトルを求める画素の大きさを、大きいサイズのブロックから小さいサイズのブロックに順次求め、１画素の単位まで順次階層的に求めていき、前方の符号化されたフレームとの間の動きベクトル、または、後方のフレームとの間の動きベクトルとマッチングしない領域が検出された場合、該フレームをキーフレームとして符号化することにより、少ないデータ量で、中間画像を生成することができ、滑らかな動きの画像が得られる。
【選択図】図１

Description

本発明は、キーフレームと画素単位の動きベクトルを蓄積または伝送したり、または、キーフレームと画素単位の動きベクトルにより中間画像を生成する画像符号化、および、画像生成装置に関するものである。

従来、2つの画像を、滑らかに変化させる技術としてモーフィングが良く知られている。これは、2つの画像を人手によりメッシュに分割し、分割されたメッシュの格子点の関連付けを行い、2つの画像のメッシュを線形に補間する事により中間画像を生成している。ところが、メッシュの分割及び、その格子点の関連付けを人手によって行うため、多大な作業量が発生するといった問題があった。

この改善策として、画像の特異点を階層的に求めて、マッチングをとる方法がある。

図６は従来の中間画像生成装置の構成を示すものである。図６において、画像入力部６２は第１画像Ｉ１と第２画像Ｉ２を入力する。領域指定部６３は、それらのマッチングプロセッサ６４はそれらの画像間で画素マッチングを行い、第１画像上に取られたメッシュの格子点について、その対応点を第２画像上に求める。その結果が対応点ファイルＦとして記録される。中間画像生成部６６は、対応点ファイルＦをもとに第１画像と第２画像間の中間画像を生成する。ここで、画素マッチングを行う方法として、特異点を階層的に求めることにより、マッチングが計算されている。

この方式では、特異点を求めるために各階層で極大点、極小点、鞍点を求め、比較する画像間でマッチングが計算されるが、入力される画像によっては、ユーザによって、領域を指定する必要があった。
特開２００２−１９００２０号公報

解決しようとする問題点は、キーフレームによっては、中間画像を生成するために、対応する領域を、ユーザが指定しないといけない点である。

本発明は上記問題点に鑑み、キーフレーム及び、キーフレーム間の動きベクトルを符号化することにより、中間画像を生成することができ、滑らかな動きの画像が得られる画像符号化及び画像生成装置を提供することを目的とする。

この課題を解決するために本発明の中間画像生成装置は、動きベクトルを求める画素の大きさを、大きいサイズのブロックから小さいサイズのブロックに順次求め、１画素の単位まで順次階層的に求めていき、前方の符号化されたフレームとの間の動きベクトル、または、後方のフレームとの間の動きベクトルとマッチングしない領域が検出された場合、該フレームをキーフレームとして符号化することを最も主要な特徴とする。

本発明の画像符号化および画像生成装置はキーフレーム及び、キーフレーム間の動きベクトルを符号化することにより、中間画像を生成することができ、滑らかな動きの画像が得られる。

滑らかな動画像を伝送、蓄積したり生成するという目的を、少ないデータ量と処理量により実現した。

動きベクトルを求める画素の大きさを、大きいサイズのブロックから小さいサイズのブロックに順次求め、１画素の単位まで順次階層的に求めていく階層的画素単位動きベクトル符号化方式において、前方の符号化されたフレームとの間の動きベクトル、または、後方のフレームとの間の動きベクトルとマッチングしない領域が検出された場合、該フレームをキーフレームとして符号化することを特徴とする画像符号化および画像生成装置。

本発明の請求項１に記載の発明は、動きベクトルを求める画素の大きさを、大きいサイズのブロックから小さいサイズのブロックに順次求め、１画素の単位まで順次階層的に求めていく階層的画素単位動きベクトル符号化方式において、前方の符号化されたフレームとの間の動きベクトル、または、後方のフレームとの間の動きベクトルとマッチングしない領域が検出された場合、該フレームをキーフレームとして符号化することを特徴とする画素単位動きベクトル符号化方式としたものであり、画素単位の動きベクトルを正確に求めることができるという作用を有する。

請求項２に記載の発明は、キーフレームを符号化する場合において、マッチングしなかった領域のみを符号化することを特徴とする請求項１記載の画素単位動きベクトル符号化方式としたものであり、符号化する画像の符号量を少なくすることができるという作用を有する。

請求項３に記載の発明は、画素単位の動きベクトル検出のマッチングの程度によりキーフレームと判定して該フレームを符号化する場合において、マッチングの度合いが大きく外れた場合は、シーンの切り替わりと判定して１フレーム前のフレームと該フレームを符号化することを特徴とする請求項１記載の画素単位動きベクトル符号化方式としたものであり、シーンの切り替わり部分においても、中間画像を生成することができるという作用を有する。

以下本発明の実施の形態について、図１から図４を用いて説明する。

（実施の形態１）
図１は本発明の第１の実施の形態における画像符号化および画像生成装置のブロック図を示し、図１（ａ）において、１０６は入力画像を時間軸方向に遅延し現フレームを生成するフレーム遅延器、１０３は入力画像（後方フレーム）とフレームメモリ１０５からの前フレームとからフレーム遅延器１０６からの現フレームの動きベクトルを求める動きベクトル演算部、１０４は動きベクトル演算部１０３からの動きベクトル情報に基づき動きベクトルを計算するときに求められるブロック間の差分の絶対値が任意の値を超えたかどうかを判定するマッチング判定部、１０２はフレーム遅延器１０６からの現フレーム画像符号化処理部１０１に出力するか否かを切り換える画像符号化切替え器、１０１は画像符号化切り替え器１０２からの画像を符号化する画像符号化処理部、１０５は画像符号化切り替え器１０２からの画像を記憶するフレームメモリで、出力される画像は前フレームとなる。

図１（ｂ）において、１１０は画像符号化処理部１０１から出力された画像を復号化する画像復号化処理部、１０７は画像復号化処理部１１０で復号された画像を記憶するフレームメモリ、１０９はフレームメモリ１０７から出力される画像（前方フレーム）と画像復号化処理部１１０からの画像（後方フレーム）とから画素単位で動きベクトルを演算する画素単位動きベクトル演算部、１０８は画素単位動きベクトル演算部１０９からの動きベクトル情報に基づきフレームメモリ１０７からの前方フレームと画像復号化処理部１１０からの後方フレームとから中間フレームを生成する中間画像生成部で構成している。

以上のように構成された本実施の形態の画像符号化および画像生成装置について、以下その動作について説明する。

まず、図１（ａ）に示すように、現フレームと前方フレームと後方フレームが作られる。入力画像からフレーム遅延器１０６により1フレームまたは、数フレーム遅延した現フレームが作られる。また、フレームメモリ１０５により、以前に符号化されたフレームが蓄積され、前方フレームが作られる。そして、入力画像が、後方フレームとなる。次に、動きベクトル演算部１０３で、現フレームの動きベクトルが、前方フレームと後方フレームを参照フレームとして求められる。ここで、動きベクトルを求めるために比較するブロックの大きさは、複数の画素からなるブロックから１画素まで、順次、階層的に求められる。マッチング判定部１０４では、動きベクトルを計算するときに求められるブロック間の差分の絶対値が、任意の値を超えたかどうかが、判定される。該判定により、符号化処理フレームと判定されれば符号化切り替え器１０２により現フレームが符号化されるように、切替えられる。画像符号化処理部１０１により現フレームの画像が符号化され、符号化データが伝送または、蓄積される。

次に、図１（ｂ）に示すように、伝送および、蓄積されたデータは画像復号化処理部１１０により元のフレーム画像に戻される。フレーム画像は、フレームメモリ１０７により、前方フレームとして保持される。次に復号化されたフレームが後方フレームとして、画素単位動きベクトル演算部１０９により、画素単位の動きベクトルが計算される。中間画像生成処理部１０８では、前方および後方のフレームと画素単位の動きベクトルにより画素単位で、中間画像が作られる。

次に、画素単位の動きベクトルを求める方法について説明する。

図３において、ｍ×ｍのブロックの大きさの単位で、参照フレームと現フレームとの間で、マッチングを調べることにより動きベクトルが求められる。ここで、最初の動きベクトルの探索範囲は、広い範囲で探索される（図３(a))。一般的に、マッチングは、比較されるブロック間の差分の絶対値の総和が計算され、探索範囲内で最小値となるベクトルをそのブロックの動きベクトルとされる。いま、座標（ｘ、ｙ）における現フレームの画素値をＯＲＧ（ｘ、ｙ）、参照フレームの画素値をＯＲＧ（ｘ、ｙ）とすると、差分絶対値総和ＳＡＤ（ｍ，ｉ，ｊ，ｋ，ｌ）は、

となる。ここで、ｍは比較するブロックの大きさであり、ｉ及びｊは現フレームの基準座標、ｋ及びｌは参照フレームの探索ベクトルとなる。いま、参照フレームの探索範囲にわたって、差分絶対値総和ＳＡＤが計算され、最小となる探索ベクトルが求められる動きベクトル（Ｋ（ｍ，ｉ，ｊ）、Ｌ（ｍ，ｉ，ｊ））となる。

次に、あるブロックの大きさにおいて求められた動きベクトルを基準にして、さらに小さな大きさのブロック（図３（ｂ））を単位として動きベクトルが計算され、ブロックの大きさが１画素単位になるまで繰り返される（図３（ｃ））。ここで、（ｎ−１）番目のブロックの大きさをｍ（ｎ−１）、求められた動きベクトルを（Ｋ（ｍ（ｎ−１），ｉ，ｊ）、Ｌ（ｍ（ｎ−１），ｉ，ｊ））とし、ｎ番目のブロックの大きさｍ（ｎ）の動きベクトルを（Ｋ（ｍ（ｎ），ｉ，ｊ）、Ｌ（ｍ（ｎ），ｉ，ｊ））とすると、探索される範囲は、

となる。そして、順次、ブロックの大きさｍが１画素になるまで、繰り返し動きベクトルが求められる。ただし、求められた画素単位の動きベクトルの差分絶対値総和が、ある閾値以下の場合は、無効なベクトルとして判定される。また、前方向、後方向、共に無効ベクトルと判定された場合は、該フレームはキーフレームとして、無効ベクトルの領域部分、または、フレーム全体が符号化される。

次に、画素単位の動きベクトルの符号化方法について説明する。

図４において、上位階層の動きベクトルから下位階層の差分ベクトルが順次符号化される。ここで、下位階層の差分ベクトルは、上位階層で求められたベクトルとの差分ベクトルを指す。符号化方法は、上位の階層から、木構造で符号化され、上位から下位の階層に向けて、分岐される。ここで、下位の階層が全て零の場合は、非零の階層までが符号化され、非零の階層以下の符号化は打ち切られる。

次に、中間画像を生成する方法について説明する。

図５において、中間フレームは、前方フレームと後方フレーム間の画素単位の動きベクトルにより生成される。前方フレームと中間フレームのフレーム間距離をｌ、後方フレームと中間フレームのフレーム間距離をｋとすると、中間フレームの画素値Ｄｉは、
Ｄｉ＝（Ｄｆ×ｋ＋Ｄｂ×ｌ）÷（ｋ＋ｌ）
として、計算される。ここで、Ｄｆは対応する前方フレームの画素値、Ｄｂは対応する後方フレームの画素値を示す。また、任意の動きベクトルに対応する前方フレームの座標を（Ｘｆ，Ｙｆ）、後方フレームの座標を（Ｘｂ，Ｙｂ）とすると、中間フレームの座標（Ｘｉ，Ｙｉ）は、
Ｘｉ＝（Ｘｆ×ｋ＋Ｘｂ×ｌ）÷（ｋ＋ｌ）
Ｙｉ＝（Ｙｆ×ｋ＋Ｙｂ×ｌ）÷（ｋ＋ｌ）
となる。ここで、前後の動きベクトルによって求められなかった座標が存在した場合、その座標の値は、周囲の値によって補間される。

以上のように本実施の形態によれば、画素単位の動きベクトルによるマッチングによりキーフレームを挿入することにより、動きの滑らかな中間画像を生成することができることとなる。

（実施の形態２）
図２に、第２の実施の形態である画素単位の動きベクトルのデータを伝送または、蓄積する場合のブロック図を示す。基本的な動作は、前記実施の形態と同じであるが、第２の実施の形態では、画素単位動きベクトル演算部２０３により画素単位の動きベクトルが求められ、動きベクトル符号化処理部２０６により、動きベクトルが符号化される。符号化された動きベクトルの情報は、符号化された画像のデータと多重化処理部２０７により多重化され伝送または、蓄積される。伝送または、蓄積されたデータは、分離化処理部２０９により、画像データと動きベクトルのデータに分離される。分離された動きベクトルの符号化データは、画素単位動きベクトル復号化部２１２により、復号化され、中間画像生成処理部２１１に送られる。

以上のように本発明によれば、画素単位の動きベクトルによるマッチングによりキーフレームを挿入することにより、ユーザの領域指定無しで、動きの滑らかな中間画像を生成するすることができるという有利な効果が得られる。

本発明の一実施の形態による画像符号化および画像生成装置の構成図 本発明の一実施の形態による画像符号化および画像生成装置の構成図 本発明の一実施の形態による画素単位の動きベクトル探索方法の構成図 本発明の一実施の形態による画素単位の動きベクトル符号化方法理部の構成図 本発明の一実施の形態による中間画像生成方法の構成図 従来の画像符号化および画像生成装置の構成図

符号の説明

１０１ 画像符号化処理部
１０２ 画像符号化切替器
１０３ 動きベクトル演算器
１０４ マッチング判定部
１０５ フレームメモリ
１０６ フレーム遅延器
１０７ フレームメモリ
１０８ 中間画像生成処理部
１０９ 画素単位動きベクトル演算部
１１０ 画像復号化処理部
２０１ 画像符号化処理部
２０２ 画像符号化切替器
２０３ 画素単位動きベクトル演算部
２０４ マッチング判定部
２０５ フレームメモリ
２０６ 動きベクトル符号化処理部
２０７ 多重化処理部
２０８ フレーム遅延器
２０９ 分離化処理部
２１０ フレームメモリ
２１１ 中間画像生成処理部
２１２ 画素単位動きベクトル演算部

Claims (4)

1. 動きベクトルを求める画素の大きさを、大きいサイズのブロックから小さいサイズのブロックに順次求め、１画素の単位まで順次階層的に求めていく階層的画素単位動きベクトル符号化方式において、前方の符号化されたフレームとの間の動きベクトル、または、後方のフレームとの間の動きベクトルとマッチングしない領域が検出された場合、該フレームをキーフレームとして符号化することを特徴とする画像符号化および画像生成装置。
2. キーフレームを符号化する場合において、マッチングしなかった領域のみを符号化することを特徴とする請求項１記載の画像符号化および画像生成装置。
3. 画素単位の動きベクトル検出のマッチングの程度によりキーフレームと判定して該フレームを符号化する場合において、マッチングの度合いが大きく外れた場合は、シーンの切り替わりと判定して１フレーム前のフレームと該フレームを符号化することを特徴とする請求項１記載の画像符号化および画像生成装置。
4. 入力画像を時間軸方向に遅延し第１フレームを生成するフレーム遅延手段と、入力画像である第２フレームと後述するフレームメモリからの第３フレームとから動きベクトルを求める動きベクトル演算手段と、前記動きベクトル演算手段からの動きベクトル情報に基づき動きベクトルを計算するときに求められるブロック間の差分の絶対値が任意の値を超えたかどうかを判定するマッチング判定手段と、前記フレーム遅延手段からの第１フレームを後段に出力するか否かを切り換える切替手段と、前記切替手段からの画像を符号化する符号化手段と、前記切替手段からの画像を記憶する第１のフレームメモリと、前記符号化手段から出力された画像を復号化する復号化手段と、前記復号化手段で復号された画像を記憶する第２のフレームメモリと、前記第２のフレームメモリから出力される第１の画像と前記復号化手段からの第２の画像とから画素単位で動きベクトルを演算する画素単位動きベクトル演算手段と、前記画素単位動きベクトル演算手段からの動きベクトル情報に基づき前記第２のフレームメモリからの第１の画像と前記復号化手段からの第２の画像とから第３の画像を生成する中間画像生成手段とを備えたことを特徴とする画像符号化および画像生成装置。

Images