JP2009147911A

JP2009147911A - 映像データ圧縮前処理方法およびこれを用いた映像データ圧縮方法と映像データ圧縮システム

Info

Publication number: JP2009147911A
Application number: JP2008258436A
Authority: JP
Inventors: Jin Guk Jeong; 鎭國鄭; Eui-Hyeon Hwang; 義賢黄; Keitai Boku; 奎泰朴
Original assignee: Samsung Electronics Co Ltd
Current assignee: Samsung Electronics Co Ltd
Priority date: 2007-12-12
Filing date: 2008-10-03
Publication date: 2009-07-02
Anticipated expiration: 2028-10-03
Also published as: JP5478047B2; EP2071514A2; KR20090062049A; US20090154565A1

Abstract

【課題】映像データ圧縮方法を提供する。
【解決手段】入力される映像データに対して背景モデルデータを生成し、映像データから移動物体領域を決定し、移動物体領域の動き量を推定した後に、背景モデルデータまたは／および推定された動き量を参照して映像データを圧縮することで、背景と動きのある環境における映像圧縮効率を高めることができる効果がある。
【選択図】図１

Description

本発明は、映像データ圧縮方法に関し、より詳細には、映像データを効率的に圧縮するための映像データ圧縮方法とこの方法を採用した映像圧縮システムに関する。

最近、保安に対する関心が高まるにつれ、企業はもちろん住居地域でも保安監視映像システムが広く用いられている。特に保存媒体の高容量化に伴い、撮影された映像をデジタル方式で保存媒体に保存し、必要時に該当映像を保存媒体から読み出して分析することができるデジタル映像レコーディングシステム（ＤｉｇｉｔａｌＶｉｄｅｏＲｅｃｏｒｄｉｎｇ：ＤＶＲ）が広く普及している。

このようなデジタル映像レコーディングシステムは、撮影された映像データを多様な映像圧縮方法を用いて圧縮した後に保存媒体に記録する方式を採用しているが、これは保存媒体の容量を効率的に用いることによってシステム自体のコストを減らすためのものである。このような保安映像を圧縮する方法としては、現存する映像圧縮アルゴリズムをそのまま用いており、特に保安映像中の関心領域（ＲｅｇｉｏｎｏｆＩｎｔｅｒｅｓｔ：ＲＯＩ）の画質を高めるための圧縮方法に対する研究が進められている。

このような保安映像において、特定の法律などに基づき、撮影された保安映像を一定の期間以上保管する必要がある。したがって、広い地域をカバーするための保安映像のように、保存対象となる保安映像のサイズが大きいとかその種類が多い場合には、これに比例して容量が大きい保存媒体が要求される。しかしながら、デジタル映像レコーディングシステムの場合には、このような保存媒体の容量サイズによってシステムコスト自体が高くなるため、保存媒体の容量サイズを無制限に増やすことができない実情にある。さらに、今後の導入が活性化されるＩＰ（ＩｎｔｅｒｎｅｔＰｒｏｔｏｃｏｌ）監視システムでは、ネットワーク帯域幅に制限があるため、撮影された保安映像のサイズを減らすことが必要である。

したがって、保安映像システムを効率的に実現するために、保安映像を圧縮する際に標準化された映像圧縮方法を用いて互換性（ｃｏｍｐａｔｉｂｉｌｉｔｙ）を担保しながらも最大限に保安映像のサイズを減らすことができ、関心領域の画質が劣化しない圧縮スキームが必要となる。

本発明は、前記のような問題点を解決するために案出されたものであって、制限された帯域幅を有するネットワークを経由して送信されるリアルタイム監視映像のデータを圧縮することで、ネットワーク送信を最適化することを目的とする。

また、本発明は、標準化した映像圧縮方法を用いて映像システム間の互換性を提供することを他の目的とする。

さらに、本発明は、関心領域の画質が劣化しない映像圧縮方法を提供することをさらに他の目的とする。

本発明の一側に係る映像データ圧縮方法は、映像データの入力を受けるステップと、前記映像データに対して背景モデルデータを生成するステップと、前記映像データおよび前記背景モデルデータに基づいて移動物体領域を決定するステップと、前記移動物体領域の動き量を推定するステップと、前記背景モデルデータまたは前記推定された動き量のうちの少なくとも１つを参照して前記映像データを圧縮するステップとを含む。

また、本発明の他の一側に係る映像データ圧縮システムは、入力を受けた映像データに対して背景モデルデータを生成する背景モデル生成部と、前記映像データおよび前記背景モデルデータに基づいて移動物体領域を決定する移動物体決定部と、前記移動物体領域の動き量を推定する動き推定部と、前記背景モデルデータまたは前記推定された動き量のうちの少なくとも１つを参照して前記映像データを圧縮する圧縮部とを備える。

本発明によれば、制限された帯域幅を有するネットワークを経由して送信されるリアルタイム監視映像のデータを圧縮することで、ネットワーク送信を最適化することができる効果がある。

また、本発明によれば、標準化した映像圧縮方法を用いて映像システム間の互換性を提供することができる効果がある。

さらに、本発明によれば、関心領域の画質が劣化しない映像圧縮方法を提供することができる効果がある。

以下、添付の図面に基づいて本発明の好適な実施の形態を詳細に説明するが、本発明がこれらの実施形態によって制限または限定されることはない。図中、同じ参照符号は同じ部材を示す。

図１は、本発明の一実施形態に係る映像データ圧縮方法を示す図である。

図１を参照するに、本発明の一実施形態に係る映像データ圧縮方法が示されている。本発明の一実施形態に係る映像データ圧縮方法は、下記のようなステップを含む。

まず、圧縮対象となる映像データの入力を受ける（Ｓ１１０）。この映像データは、保安映像システムに含まれたカメラなどの撮像手段によって入力されたデータであると言える。

次に、入力された映像データに対して背景モデルデータを生成する（Ｓ１２０）。

保安カメラに撮影される映像の場合、背景となる画面は動きがなく一定である。このような点を用いて、本発明の映像データ圧縮方法は、一定数のフレームに基づいて背景をモデリングし、モデリングされたデータを背景モデルデータとして生成する。背景モデルデータとは、一定数のフレームに停止したままで継続して表れる部分を意味する。一度モデリングされた背景モデルデータは、この後に連続するフレームにおいて動きを検出する基準となる。

ステップＳ１２０については、図２を参照しながらより詳細に説明する。

図２は、本発明に係る映像データ圧縮方法において、背景モデルデータを生成するステップＳ１２０を説明するためのフローチャートである。図２を参照するに、入力された映像データに対して背景モデルデータを生成するために、入力された映像データに対して部分照明効果を除去する（Ｓ２１０）。本ステップは、部分的な照明または反射性質がある物体に反射する照明効果を除去するためのステップであり、レチネックス（Ｒｅｔｉｎｅｘ）フィルタやヒストグラム平坦化（ＨｉｓｔｏｇｒａｍＥｑｕａｌｉｚａｔｉｏｎ）などを用いることができる。下記の式（１）は、レチネックスフィルタを介して適用される関数の一例である。

前記の式（１）において、（ｘ，ｙ）は各フレームのピクセルの座標であり、Ｒ_ｉ（ｘ，ｙ）はｉ番目のフレームイメージの（ｘ，ｙ）ピクセルに対するレチネックス出力であり、Ｉ_ｉ（ｘ，ｙ）はｉ番目のフレームイメージの（ｘ，ｙ）ピクセルに対して入力された映像データであり、Ｆ（ｘ，ｙ）は（ｘ，ｙ）ピクセルに対するガウス核（ＧａｕｓｓｉａｎＫｅｒｎｅｌ）を意味し、

はＩ_ｉ（ｘ，ｙ）の平均である。

次に、背景モデルデータと部分照明効果が除去された映像データとの差値を計算する（Ｓ２２０）。差値を計算する際に、背景モデルデータと部分照明効果が除去された映像データピクセル単位のユークリッド距離の合計またはブロック差の合計を用いることができる。また、背景モデルのエッジマップ（ＥｄｇｅＭａｐ）と入力フレームのエッジマップとを用いて背景部分の差値を計算することができる。エッジマップを抽出する技法としては、類似演算子技法や差演算子技法などの公知された技法を用いることができる。

ステップＳ２２０で計算された差値に基づいて、差値を所定の閾値と比較する（Ｓ２３０）。比較した結果、差値が閾値よりも大きい場合は、背景自体が変化したものと判断して背景モデルデータに対してアップデートを実行し（Ｓ２４０）、差値が閾値よりも小さい場合は、背景に変化がないか変化が小さいと判断して背景モデルデータに対するアップデートを実行しない方法で背景モデルデータを決定する。

再び図１を参照するに、背景モデルデータが決定されれば、次に映像データ内の移動物体領域を決定する（Ｓ１３０）。

背景モデルデータが決定された後の映像フレームにおいて、背景モデルデータと差がある映像領域を移動物体領域として定義する。移動物体領域は、背景モデルデータと差がある映像領域すべてを指すこともできるし、一定の時間以上で継続して変化を起こす領域を指すこともできる。

移動物体領域は、１つの個体で管理することもできるし、複数のサブ領域に区分してそれぞれ管理することもできる。

ステップＳ１３０については、図３を参照しながらより詳細に説明する。

図３は、本発明に係る映像データ圧縮方法において、移動物体領域を決定するステップを説明するためのフローチャートである。図３を参照するに、入力された映像データに対して入力された映像データと図２で決定された背景モデルデータとの差値を計算する（Ｓ３１０）。映像データと背景モデルデータとの差値が所定の値以上である場合には、該当領域を移動物体候補領域として決定する。この後、決定された１つまたは１つ以上の移動物体候補領域に対して動きを分析する（Ｓ３２０）。

分析された動きから、入力された映像データから方向性があり所定の基準を満たす意味のある動きを検出し、該当する動きが検出された領域を抽出する。抽出された領域に対してフィルタリングなどを実行し、これらの領域を移動物体領域として決定する（Ｓ３３０）。一例として、抽出された領域のサイズが小さい場合には、映像ノイズによるものである可能性が高いため、このようなエラーをフィルタリングによって除去することができる。

図４は、図３に示す動き分析ステップを実行する構成モジュール４００の一例を示す図である。

構成モジュール４００は、区分機４１０と、区分動き顕著性（ｓａｌｉｅｎｃｙ）計算機４２０と、動きブロック検出器４３０と、動きブロックリンカ４４０とを備える。

区分機４１０は、入力映像から符号を有する差映像を生成する。区分機４１０は、遅延器（ｄｅｌａｙ）および遅延器を経由して遅延されたフレームおよび現在フレームを減算する減算器を介して実現することができる。このような実施形態で実現された区分機４１０は、実現が簡単である上に速度が早い。さらに、このような実施形態で実現された区分機４１０は、映像の前後関係の情報を消失せずに用いることができる。

区分動き顕著性計算機４２０は、入力される符号化差映像からブロック別に方向性を考慮した動き顕著性を計算する。すなわち、ｘ，ｙ軸それぞれの陽／陰の方向に対して動き顕著性計算をするのである。

動きブロック検出器４３０は、各ブロックの方向性動き顕著性（ｄｉｒｅｃｔｉｏｎａｌｍｏｔｉｏｎｓａｌｉｅｎｃｙ）値が大きい部分を動きブロックとして検出する。まず、動きブロック検出器４３０は、平均動き顕著性を計算し、全体ブロックの平均動き顕著性の分布から閾値の比率（例えば、上位２０％）に該当する閾値を求める。動きブロック検出器４３０で平均動き顕著性が閾値よりも大きいブロックを動きブロックとして選択する。

動きブロックリンカ４４０は、動きブロックを連結して動く物体の領域を検索する。動きブロックリンカ４４０が隣接したブロックＢ１およびＢ２を連結するか否かを判断する基準は、２つのブロックが連結した方向に応じて相違して適用される。

２つのブロックがｘ軸方向に連結しているときには、動きブロックリンカ４４０は、ｙ軸方向への方向性動き顕著性の類似性（ｓｉｍｉｌａｒｉｔｙ）を基準に閾値よりも大きい場合に２つのブロックを連結する。２つのブロックがｙ軸方向に連結しているときには、動きブロックリンカ４４０は、ｘ軸方向への方向性モーション顕著性の類似性を基準に閾値よりも大きい場合に２つのブロックを連結する。

再び図１を参照するに、図３のステップを介して決定された移動物体領域に対し、移動物体領域の動き量を推定する（Ｓ１４０）。移動物体領域の動き量を推定するための方法の一例として、入力された映像データのうちで移動物体領域の属するブロックに対して動きベクトルを計算することができる。すなわち、現在フレームの所定のブロックと以前フレームのブロックとの間で平均二乗誤差（ＭｅａｎＳｑｕａｒｅＥｒｒｏｒ:ＭＳＥ）を計算する方法を用いることで、最も類似するブロックを検出して動きベクトルを演算できるのである。このように演算された動きベクトルを用いて、移動物体領域の動き量を推定することができる。

上述したように、図２に示すステップを介して決定された背景モデルデータまたは／および図４に示すステップを介して演算された動きベクトルおよび／または推定された動き量を参照して映像データを圧縮する（Ｓ１５０）。まず、決定された背景モデルデータは、ＭＰＥＧ−１、２、４またはＨ．２６４の参照フレーム（Ｉ−ｆｒａｍｅ）として決定する。本発明を適用することができる一例の保安映像システムにおいて、映像データ撮像のためのカメラ手段は固定されている場合が多いため、背景映像も大部分は固定されるようになる。したがって、固定された背景映像は、大きい変化がない限り１つの参照フレームとして決定することで、圧縮効率を極大化することができる。

次に、図３で決定された移動物体領域は、動きベクトルを有するブロックの集合となり、このようなブロックはＭＰＥＧ−１、２、４またはＨ．２６４のマクロブロックに対応する。したがって、各ブロックの動きベクトルを計算し、計算された動きベクトルを用いて圧縮を実行する。すなわち、移動物体領域ではない残りのブロックは、以前フレームの同一ブロックのようなスキップ（ｓｋｉｐｐｅｄ）マクロブロックに圧縮されるため、圧縮効率を極大化することができる。

また、図４で推定された動き量を用いて映像データのフレーム率を調節することができる。すなわち、推定された動き量が所定の閾値以上である場合には、該当する動きが詳細事項を検討する必要があるため多数のフレームが要請され、このために所定数以上のフレームを割り当てる。また、動き量が所定の閾値以下である場合には、相対的に少数のフレームを割り当てることで圧縮効率を高めることができる。

図５は、本発明に係る映像データ圧縮方法を実行する映像データ圧縮システムの一例を示す図である。図５を参照するに、映像データ圧縮システム５００は、背景モデル生成部５１０と、移動物体決定部５２０と、動き推定部５３０と、圧縮部５４０とを備える。

背景モデル生成部５１０は、入力を受けた映像データに対して背景モデルデータを生成する。背景モデルデータとは、一定数のフレームに停止したままで継続して表れ、背景としてモデリングされる映像部分のデータを意味する。

移動物体決定部５２０は、映像データおよび背景モデルデータに基づいて移動物体領域を決定する。移動物体領域は、映像データおよび背景モデルデータの差映像から得られる。

動き推定部５３０は、移動物体領域の動き量を推定する。

圧縮部５４０は、背景モデルデータまたは推定された動き量のうちの少なくとも１つを参照して映像データを圧縮する。

なお、本発明に係る映像データ圧縮方法は、コンピュータにより実現される多様な動作を実行するためのプログラム命令を含むコンピュータ読取可能な記録媒体を含む。当該記録媒体は、プログラム命令、データファイル、データ構造などを単独または組み合わせて含むこともでき、記録媒体およびプログラム命令は、本発明の目的のために特別に設計されて構成されたものでもよく、コンピュータソフトウェア分野の技術を有する当業者にとって公知であり使用可能なものであってもよい。コンピュータ読取可能な記録媒体の例としては、ハードディスク、フロッピー（登録商標）ディスク及び磁気テープのような磁気媒体、ＣＤ−ＲＯＭ、ＤＶＤのような光記録媒体、フロプティカルディスクのような磁気−光媒体、およびＲＯＭ、ＲＡＭ、フラッシュメモリなどのようなプログラム命令を保存して実行するように特別に構成されたハードウェア装置が含まれる。また、記録媒体は、プログラム命令、データ構造などを保存する信号を送信する搬送波を含む光または金属線、導波管などの送信媒体でもある。プログラム命令の例としては、コンパイラによって生成されるような機械語コードだけでなく、インタプリタなどを用いてコンピュータによって実行され得る高級言語コードを含む。前記したハードウェア要素は、本発明の動作を実行するために一以上のソフトウェアモジュールとして作動するように構成することができ、その逆もできる。

上述したように、本発明の好ましい実施形態を参照して説明したが、該当の技術分野において熟練した当業者にとっては、特許請求の範囲に記載された本発明の思想および領域から逸脱しない範囲内で、本発明を多様に修正および変更させることができることを理解することができるであろう。すなわち、本発明の技術的範囲は、特許請求の範囲に基づいて定められ、発明を実施するための最良の形態により制限されるものではない。

本発明の一実施形態に係る映像データ圧縮方法を示す図である。本発明に係る映像データ圧縮方法において、背景モデルデータを生成するステップを説明するためのフローチャートである。本発明に係る映像データ圧縮方法において、移動物体領域を決定するステップを説明するためのフローチャートである。図３に示す動き分析ステップを実行する構成モジュールの一例を示す図である。本発明に係る映像データ圧縮方法を実行する映像データ圧縮システムの一例を示す図である。

符号の説明

５００映像データ圧縮システム
５１０背景モデル生成部
５２０移動物体決定部
５３０動き推定部
５４０圧縮部

Claims

前記映像データに対する背景モデルデータを生成するステップと、
前記映像データおよび前記背景モデルデータに基づいて移動物体領域を決定するステップと、
前記移動物体領域の動き量を推定するステップと、
前記背景モデルデータまたは前記推定された動き量のうちの少なくとも１つを参照して前記映像データを圧縮するステップと、
を含むことを特徴とする映像データ圧縮方法。
前記映像データの入力を受けるステップ、
をさらに含むことを特徴とする請求項１に記載の映像データ圧縮方法。
前記映像データを圧縮するステップは、
前記背景モデルデータおよび前記推定された動き量を参照して前記映像データを圧縮することを特徴とする請求項１に記載の映像データ圧縮方法。
前記背景モデルデータを生成する前記ステップは、
前記映像データに対して部分照明効果を除去するステップと、
前記部分照明効果が除去された映像データと以前に生成された第１背景モデルデータとの間の差値を演算するステップと、
前記差値を所定の閾値と比較して前記背景モデルデータを決定するステップと、
を含むことを特徴とする請求項１に記載の映像データ圧縮方法。
前記差値を所定の閾値と比較して前記背景モデルデータを決定する前記ステップは、
前記差値が前記所定の閾値よりも大きければ、前記部分照明効果が除去された映像データを前記背景モデルデータとして決定することを特徴とする請求項４に記載の映像データ圧縮方法。
前記背景モデルデータを決定するステップは、
前記差値が前記所定の閾値を満たさなければ、前記以前に生成された第１背景モデルデータを前記背景モデルデータと同じように設定するステップ、
をさらに含むことを特徴とする請求項４に記載の映像データ圧縮方法。
前記映像データに対して部分照明効果を除去する前記ステップは、
ヒストグラム平坦化技法またはレチネックスフィルタ技法によって前記部分照明効果を除去することを特徴とする請求項４に記載の映像データ圧縮方法。
前記映像データおよび前記背景モデルデータに基づいて前記移動物体領域を決定する前記ステップは、
前記映像データと前記背景モデルデータとの間の差値を演算するステップと、
前記差値を所定の閾値と比較するステップ、
を含むことを特徴とする請求項１に記載の映像データ圧縮方法。
前記映像データおよび前記背景モデルデータに基づいて前記移動物体領域を決定する前記ステップは、
前記差値が前記所定の閾値を満たすか否かに基づいて移動物体候補群のうち前記移動物体領域を決定するステップ、
をさらに含むことを特徴とする請求項８に記載の映像データ圧縮方法。
前記映像データおよび前記背景モデルデータに基づいて前記移動物体領域を決定する前記ステップは、
前記差値を参照して１つまたは２つ以上の移動物体候補群を選択するステップと、
前記移動物体候補群に対する動きを分析して前記移動物体領域を決定するステップと、
をさらに含むことを特徴とする請求項９に記載の映像データ圧縮方法。
前記移動物体領域は、所定サイズ以上であることを特徴とする請求項８に記載の映像データ圧縮方法。
前記移動物体領域の前記動き量を推定する前記ステップは、
前記移動物体領域に対する動きベクトル値を演算するステップ、
を含むことを特徴とする請求項１に記載の映像データ圧縮方法。
前記映像データを圧縮する前記ステップは、
前記背景モデルデータを参照フレームとして設定するステップ、
を含むことを特徴とする請求項１に記載の映像データ圧縮方法。
前記映像データを圧縮する前記ステップは、
前記推定された動き量が所定の閾値以上である場合に、所定数以上のフレームを割り当てるステップであることを特徴とする請求項１に記載の映像データ圧縮方法。
請求項１〜１４のうちのいずれか一項の方法を実行させるためのプログラムを記録したコンピュータ読み取り可能な記録媒体。
入力を受けた映像データに対して背景モデルデータを生成する背景モデル生成部と、
前記映像データおよび前記背景モデルデータに基づいて移動物体領域を決定する移動物体決定部と、
前記移動物体領域の動き量を推定する動き推定部と、
前記背景モデルデータまたは前記推定された動き量のうちの少なくとも１つを参照して前記映像データを圧縮する圧縮部と、
を備えることを特徴とする映像データ圧縮システム。
前記背景モデル生成部は、
前記映像データに対して部分照明効果を除去する補正部と、
前記部分照明効果が除去された映像データと以前に生成された第１背景モデルデータとの間の差値を演算する比較部と、
前記差値を所定の閾値と比較して前記背景モデルデータを決定する選択部と、
を備えることを特徴とする請求項１６に記載の映像データ圧縮システム。
前記移動物体決定部は、
前記映像データと前記背景モデルデータとの間の差値を演算し、前記差値を所定の閾値と比較して前記移動物体領域を決定することを特徴とする請求項１６に記載の映像データ圧縮システム。
前記移動物体決定部は、
前記差値を参照して１つまたは２つ以上の移動物体候補群を選択する候補群選択部と、
前記移動物体候補群に対する動きを分析して前記移動物体領域を決定する決定部と、
を備えることを特徴とする請求項１８に記載の映像データ圧縮システム。
前記動き推定部は、
前記移動物体領域に対する動きベクトル値を演算する演算部、
を備えることを特徴とする請求項１６に記載の映像データ圧縮システム。
監視された領域の第１フレームから背景モデルデータを生成するステップと、
前記背景モデルデータを考慮して前記第１フレームに続くフレームの物体の移動を検出するステップと、
前記検出された移動が所定の閾値を満たしていれば、前記物体を関心領域として符号化するステップと、
を含むことを特徴とする映像データ圧縮方法。
前記物体の前記検出された移動のモーションベクトルを推定するステップ、
をさらに含むことを特徴とする請求項２１に記載の映像データ圧縮方法。
前記背景モデルデータおよび前記推定されたモーションベクトルのうちの少なくとも１つをさらに用いて前記物体を符号化するステップ、
をさらに含むことを特徴とする請求項２２に記載のデータ圧縮方法。
前記背景モデルデータはＩ−フレームとして格納され、前記推定されたモーションベクトルはｎｏｎ−Ｉ−フレームとして格納されることを特徴とする請求項２２に記載の映像データ圧縮方法。
２以上の連続する映像間の差を計算して差映像を決定するステップと、
前記差映像のブロックのために区分動き顕著性を計算するステップと、
前記計算された区分動き顕著性が閾値を満たすように前記差映像のブロックの１集合を決定するステップと、
前記２連続する映像に相応する背景映像を除いた映像を符号化するために、前記決定された集合をリンクして移動物体領域を生成するステップと、
を含むことを特徴とする映像データ圧縮方法。
前記背景映像を示す前記背景モデルデータを用いて前記移動物体領域を符号化するステップ、
をさらに含むことを特徴とする請求項２５に記載のデータ圧縮方法。