JP2005073280A - 圧縮動画像の動き客体分割方法 - Google Patents

Abstract

【課題】 圧縮動画像をＭＰＥＧ−４（Ｍｏｖｉｎｇ Ｐｉｃｔｕｒｅ Ｅｘｐｅｒｔｓ Ｇｒｏｕｐ ４）で変換符号化するために、圧縮動画像内の動く客体を自動で分割する圧縮動画像の動き客体分割方法を提供する。
【解決手段】 圧縮動画像の復号化であって、圧縮された動画像からローカル動きブロックを分割する段階と、前記分割されたローカル動きブロックの外郭ブロックを処理する段階と、前記処理された外郭ブロックから前記ローカル動きブロックの最終輪郭線を決定する段階と、前記決定された最終輪郭線内の色相を復元する段階と、を有することで、圧縮動画像の動き客体を分割する。
【選択図】図１

Description

本発明は、圧縮動画像の符号化に関するもので、詳しくは、圧縮動画像をＭＰＥＧ−４（Ｍｏｖｉｎｇ Ｐｉｃｔｕｒｅ Ｅｘｐｅｒｔｓ Ｇｒｏｕｐ ４）で変換及び符号化するための圧縮動画像の動き客体分割方法に関するものである。

一般に、マルチメディアデータは、容量が大きくて通信帯域幅は限定されている。従って、前記マルチメディアデータを送受信するためにはデータの圧縮が必須であり、マルチメディアデータの特性によって多様なデータ圧縮方法が提案されている。ここで、圧縮とは、同量の情報をより小さいサイズのデータに表現する技術をいい、復元とは、圧縮を解除する操作をいう。

ＭＰＥＧ−４は、マルチメディア通信を前提とする内容基盤（ｃｏｎｔｅｎｔ ｂａｓｅｄ）符号化の圧縮技法であって、非常に高い圧縮効率を得ると共に、非常に低いビット率でデータを伝送することができ、移動マルチメディア応用の実現を可能にした。最近、容量の大きいデジタルオーディオ／ビデオを伝送または保存するための動画像圧縮の標準としてＭＰＥＧ−４方式が多様な分野に広用されているが、ＭＰＥＧ−４の応用研究は、飛躍的に発展する他の研究技術に比べるとまだ微弱な状態である。

このようなＭＰＥＧ−４の特徴である客体基盤符号化は、ビデオ圧縮に客体分割を適用したもので、客体間の分割を通して重要度を設定し、重要な客体により多くのビットを割り当てることで、効率的なビデオ圧縮を実現しようとするものである。画像の客体分割情報は、互いに異なる客体の境界面または客体の輪郭線に関する情報であって、３次元モデルの表現単位を生成することができるが、このような客体間の同質性または異質性に基づいて画像内の所望の対象を分離することが画像の客体分割技術である。最近、動画像の構成において客体単位の複数のマルチメディア要素を合成するなど、多様な情報を含む動画像を符号化するに至った。

然るに、従来の圧縮動画像内の動く客体を分割するための方法は、大部分画像全体を復元した後に動き情報とカラー及び明暗情報などを複合する方式を用いるため、動く客体を分割することは可能であるが、画像全体を復元しなければならないため、圧縮を解除する過程で多くの時間が所要するだけでなく、画像全体に対する処理が行われるので多くの計算量が要求されるなど、非効率的であるという問題点があった。

また、圧縮動画像をＭＰＥＧ−４のような客体基盤符号化で変換するために、圧縮状態の動画像から客体の情報を效率的に得るための方法が活発に提案されているが、その中でも特に動く客体の形態を正確に分割及び抽出することは相変らず難しい解決課題として残っている。

本発明は、このような従来の課題に鑑みてなされたもので、圧縮動画像をＭＰＥＧ−４で変換符号化するために、圧縮動画像内の動く客体を自動で分割する圧縮動画像の動き客体分割方法を提供することを目的とする。

このような目的を達成するため、本発明に係る圧縮動画像の動き客体分割方法は、圧縮された動画像からローカル動きブロックを分割する段階と、前記分割されたローカル動きブロックの外郭ブロックを処理する段階と、前記処理された外郭ブロックから前記ローカル動きブロックの最終輪郭線（境界線）を決定する段階と、前記決定された最終輪郭線内の色相を復元して動き客体を分割する段階と、を有することを特徴とする。

また、前記ローカル動きブロックは、所定サイズ以上の動き領域であり、該動き領域は、圧縮動画像から特定間隔のフレームのみを復号化して求めた動きベクトルに前処理及びカメラ動き補償処理を行うことで抽出することを特徴とする。

また、前記最終輪郭線は、方向性エッジをＡＣＭ（Ａｃｔｉｖｅ Ｃｏｎｔｏｕｒ Ｍｏｄｅｌ）理論の初期点に選定してＡＣＭ近似化することで決定され、前記方向性エッジは、外郭ブロック間の連結関系を記述する外郭ブロック処理により抽出することを特徴とする。

本発明による圧縮動画像の動き客体分割方法は、圧縮動画像の復号化であって、圧縮された動画像からローカル動きブロックを分割する段階と、前記分割されたローカル動きブロックの外郭ブロックを処理する段階と、前記処理された外郭ブロックから前記ローカル動きブロックの最終輪郭線を決定する段階と、前記決定された最終輪郭線内の色相を復元する段階と、を有することを特徴とし、それにより上記目的が達成される。

前記符号化は、圧縮動画像をＭＰＥＧ−４（Ｍｏｖｉｎｇ Ｐｉｃｔｕｒｅ Ｅｘｐｅｒｔｓ Ｇｒｏｕｐ ４）で変換する符号化であることを特徴としてもよい。

前記ローカル動きブロックを分割する段階は、圧縮動画像のフレームを特定間隔で復号化して動きベクトルを抽出する段階と、前記抽出された動きベクトルに前処理及びカメラ動きによる補正処理を行って動き領域を検出する段階と、前記検出された動き領域でローカル動きブロックを決定して分割する段階と、を含むことを特徴としてもよい。

前記前処理は、ガウシアンフィルタ、またはＰｅｒｏｎａ−Ｍａｌｉｋにより提案された非等方拡散方式を用いることを特徴としてもよい。

前記補正処理は、動きベクトルの信頼性を高めるために、カメラの動きと客体の動きとの区分によって処理されることを特徴としてもよい。

前記外郭ブロックを処理する段階は、前記ローカル動きブロックの外郭ブロックを抽出する段階と、前記抽出されたブロック間の連結関系を記述する段階と、を含むことを特徴としてもよい。

前記連結関系は、前記外郭ブロックのみの元画像を復元して、垂直、水平、右上左下対角及び左上右下対角などで記述されることを特徴としてもよい。

前記各ブロックは、記述された連結関系によって鎖化されることを特徴としてもよい。

前記ローカル動きブロックの最終輪郭線を決定する段階は、前記外郭ブロック内の方向性エッジを抽出する段階と、前記抽出されたエッジをＡＣＭ（Ａｃｔｉｖｅ Ｃｏｎｔｏｕｒ Ｍｏｄｅｌ）理論の初期点に選定してＡＣＭ近似化を行う段階と、を含むことを特徴としてもよい。

前記方向性エッジは、前記外郭ブロック間の連結関系から抽出されることを特徴としてもよい。

前記最終輪郭線内の色相を復元する段階は、前記最終輪郭線の内部ブロックを復号化することで行われることを特徴としてもよい。

本発明に係る圧縮動画像の動き客体分割方法においては、特定間隔のフレームでの動きベクトル復号化、及びこれを通して得られた一部のブロックに対する画像処理だけで動く客体を分割することで、客体分割の処理時間を削減できるという効果がある。

また、ＡＣＭの初期点を選定するためのエッジ抽出段階でも、ブロックの連結方向を考慮して該当連結方向の方向性エッジのみを抽出することで、客体の輪郭抽出の正確度を向上できるという効果がある。

本発明は、圧縮された動画像内の動く客体を分割及び抽出するにおいて、圧縮を解除して画像全体を復元した後に動き情報やカラー情報を使用する従来の方法とは異なって、一次的に特定間隔のフレームの動きベクトルを動き客体として決定し、その後、動きブロックの一部のみを復号化することで輪郭線を決定する方法を提案する。

以下、本発明に係る圧縮動画像の動き客体分割方法を実施するための最良の形態を図面に基づいて説明する。

図１は、本発明に係る圧縮動画像の動き客体分割方法を概略的に示したフローチャートで、図示されたように、最初に動き客体を分割する段階として、まず、圧縮された動画像から特定間隔でフレームを復号化することで抽出された動きベクトルに、前処理及びカメラ動きによる補正処理を行うことで、動き領域及びローカル動きブロックを抽出する（ステップＳ１０）。

ここで、前記前処理は、過分割の抑制及びノイズ効果の低減のために画像を滑らかにする過程であって、ガウシアンフィルタやＰｅｒｏｎａ−Ｍａｌｉｋにより提案された非等方拡散を用いる。前記ガウシアンフィルタは、代表的な前処理過程であって、画像を滑らかにしてノイズ効果を低減することはできるが、境界線も滑らかにするため、境界線が消えるか、位置が変わることができるという欠点があった。また、Ｐｅｒｏｎａ−Ｍａｌｉｋの非等方拡散方式は、境界線が滑らかになる欠点を避けながら領域の内部を滑らかにし、ノイズを除去する方式である。

その後、ローカル動きブロックの外郭ブロックを処理する段階であって、前記ローカル動きブロックの外郭ブロックを抽出し、ブロック間の連結関系を記述する（ステップＳ２０）。ここで、前記ブロック間の連結関系は、垂直、水平、右上左下対角、左上右下対角などである。

その後、動き客体の輪郭線（境界線）を決定する段階であって、前記記述された外郭ブロック間の連結関系に基づいて、連結方向に該当する方向性エッジを抽出し、該抽出されたエッジをＡＣＭ理論の初期点に選定してＡＣＭ近似化することで最終輪郭線を決定する（ステップＳ３０）。

その後、前記決定された最終輪郭線の内部ブロックを復号化して輪郭線内の色相を復元することで、最終の客体を決定して分割する（ステップＳ４０）。

前記ＡＣＭは、検索される形態が蛇の動く様子と類似してスネークモデルともいわれ、このモデルは、物体の輪郭線を追跡できる可変型モデルである。この方法は、内部的力と外部的力とが釣り合うようにするエネルギー関数の形態を有し、所定の数式を用いてイメージの輪郭線を表現する点の集合により客体の輪郭線を表す。しかしながら、この方式では、初期に検出すべき領域を予め指定しなければならない。

図２は、図１の動き客体分割方法の手順によって処理される画像を示した例示図で、図示されたように、第１画像１０は、圧縮動画像の特定フレームを復号化して得られた画像から、動きのある領域の所定サイズ以上をローカル動きブロックとして分割したもので、最初に動き領域を分割することで、動きのない背景と動きのある人（客体）とにブロックが分割されている。

また、第２画像２０は、前記ローカル動きブロックの外郭ブロックを抽出したもので、外郭ブロック処理によって該外郭ブロックの連結関係である垂直、水平、右上左下対角及び左上右下対角がそれぞれ指定され、その結果、外郭ブロックが階段状をなすようになる。

また、第３画像３０は、前記外郭ブロックから抽出した輪郭線を示したもので、輪郭線が正確に人（客体）の形体を示している。

また、第４画像４０は、輪郭線内の色相を復元して得られた最終の客体であり、且つ、抽出しようとする目標動き客体である人を示す。即ち、最初の画像から動きのない背景を除いた人のみがそのまま抽出されて得られる。

図３は、本発明に係る圧縮動画像の動き客体分割方法を詳細に示したフローチャートで、図示されたように、まず、圧縮動画像から特定間隔のフレームを復号化して動きベクトルを抽出し（ステップＳ１００）、該抽出された動きベクトルに対し、前処理及びカメラ動きによる補正処理を行って動き領域を抽出する（ステップＳ１１０）。

このように、前記前処理は、ガウシアンフィルタや非等方拡散方式を用い、前記補正処理は、カメラの動きと客体の動きとを区分することでベクトルの信頼性を高める。

その後、所定サイズ以上の動き領域をローカル動きブロックとして決定し（ステップＳ１２０）、該決定されたローカル動きブロックの外郭ブロックを抽出する（ステップＳ１３０）。その後、前記抽出された外郭ブロックのみの元画像を復元してブロック間の連結関系を記述するが（ステップＳ１４０）、このとき、前記連結関系は、前述したように垂直、水平、右上左下対角及び左上右下対角などで記述されて、ブロック間の連結を鎖化することである。

前記鎖化とは、各ブロックが一つに連結されて外郭ブロック間の連結関系が設定されることをいい、連結された方向に該当するエッジを抽出できる基本を提供する。このような外郭ブロック処理だけでも客体の形態がある程度現れる。

ブロック間連結関系の記述は、該当ブロックに隣接した八個のブロックの連結方向を調べ、図４に示したように、外郭動きブロックがあると、各ブロックの連結情報を四つのビット値を組み合わせて記述する。

隣接したブロックの数及び方向が二つ以上の場合は、ビット組合を通して複数のブロックの連結方向の設定が可能であり、記述された情報は、該当ブロック内のエッジを求めるとき、記述された方向のエッジのみを検出するのに使用される。例えば、ブロック連結関系が０＊０６（０００００１１０）であると、そのブロックは、垂直及び右上左下対角の連結方向に隣接ブロックが連結されていることを示し、そのブロック内のエッジ検出時にも垂直及び右上左下対角のエッジのみを抽出するようになる。

その後、前述された外郭ブロック間の関係に基づいて、ブロックの連結方向に該当する方向性エッジを抽出し（ステップＳ１５０）、該抽出されたエッジをＡＣＭ理論の初期点に選定し、客体の輪郭線にＡＣＭ近似化を行うことで最終輪郭線を決定する（ステップＳ１６０）。最後に、前記決定された最終輪郭線の内部ブロックのみを復号化して最終輪郭線内の色相を復元することで、完全な形態及び色相を備えた動き客体を決定して分割する（ステップＳ１７０）。

以上のように、本発明の好ましい実施形態を用いて本発明を例示してきたが、本発明は、この実施形態に限定して解釈されるべきものではない。本発明は、特許請求の範囲によってのみその範囲が解釈されるべきであることが理解される。当業者は、本発明の具体的な好ましい実施形態の記載から、本発明の記載および技術常識に基づいて等価な範囲を実施することができることが理解される。本明細書において引用した特許、特許出願および文献は、その内容自体が具体的に本明細書に記載されているのと同様にその内容が本明細書に対する参考として援用されるべきであることが理解される。

本発明に係る圧縮動画像の動き客体分割方法を概略的に示したフローチャートである。 図１の動き客体分割方法の手順によって処理される画像を示した例示図である。 本発明に係る圧縮動画像の動き客体分割方法を詳細に示したフローチャートである。 本発明に係る圧縮動画像の動き客体分割方法におけるブロック間連結関系の記述を説明するための説明図である。

符号の説明

１０ 第１画像
２０ 第２画像
３０ 第３画像
４０ 第４画像

Claims (11)

1. 圧縮動画像の復号化であって、
   圧縮された動画像からローカル動きブロックを分割する段階と、
   前記分割されたローカル動きブロックの外郭ブロックを処理する段階と、
   前記処理された外郭ブロックから前記ローカル動きブロックの最終輪郭線を決定する段階と、
   前記決定された最終輪郭線内の色相を復元する段階と、
   を有することを特徴とする圧縮動画像の動き客体分割方法。
2. 前記符号化は、圧縮動画像をＭＰＥＧ−４（Ｍｏｖｉｎｇ Ｐｉｃｔｕｒｅ Ｅｘｐｅｒｔｓ Ｇｒｏｕｐ ４）で変換する符号化であることを特徴とする請求項１記載の圧縮動画像の動き客体分割方法。
3. 前記ローカル動きブロックを分割する段階は、
   圧縮動画像のフレームを特定間隔で復号化して動きベクトルを抽出する段階と、
   前記抽出された動きベクトルに前処理及びカメラ動きによる補正処理を行って動き領域を検出する段階と、
   前記検出された動き領域でローカル動きブロックを決定して分割する段階と、
   を含むことを特徴とする請求項１記載の圧縮動画像の動き客体分割方法。
4. 前記前処理は、ガウシアンフィルタ、またはＰｅｒｏｎａ−Ｍａｌｉｋにより提案された非等方拡散方式を用いることを特徴とする請求項３記載の圧縮動画像の動き客体分割方法。
5. 前記補正処理は、動きベクトルの信頼性を高めるために、カメラの動きと客体の動きとの区分によって処理されることを特徴とする請求項３記載の圧縮動画像の動き客体分割方法。
6. 前記外郭ブロックを処理する段階は、
   前記ローカル動きブロックの外郭ブロックを抽出する段階と、
   前記抽出されたブロック間の連結関系を記述する段階と、
   を含むことを特徴とする請求項１記載の圧縮動画像の動き客体分割方法。
7. 前記連結関系は、前記外郭ブロックのみの元画像を復元して、垂直、水平、右上左下対角及び左上右下対角などで記述されることを特徴とする請求項６記載の圧縮動画像の動き客体分割方法。
8. 前記各ブロックは、記述された連結関系によって鎖化されることを特徴とする請求項６記載の圧縮動画像の動き客体分割方法。
9. 前記ローカル動きブロックの最終輪郭線を決定する段階は、
   前記外郭ブロック内の方向性エッジを抽出する段階と、
   前記抽出されたエッジをＡＣＭ（Ａｃｔｉｖｅ Ｃｏｎｔｏｕｒ Ｍｏｄｅｌ）理論の初期点に選定してＡＣＭ近似化を行う段階と、
   を含むことを特徴とする請求項１記載の圧縮動画像の動き客体分割方法。
10. 前記方向性エッジは、前記外郭ブロック間の連結関系から抽出されることを特徴とする請求項９記載の圧縮動画像の動き客体分割方法。
11. 前記最終輪郭線内の色相を復元する段階は、前記最終輪郭線の内部ブロックを復号化することで行われることを特徴とする請求項１記載の圧縮動画像の動き客体分割方法。

Images