JP2011055204A - 動画像の圧縮方法及び圧縮装置 - Google Patents

Abstract

【課題】映像監視や、長時間の映像の記録再生において、映像シーンの分析を客観的に行い、正常な動きと異常な動きを判断して、重要度の高い映像を取りこぼし無く、かつデータ量を削減して圧縮することを目的とする。
【解決手段】映像上で頻繁に起こる行動を立体高次局所自己相関により学習し、そこからの逸脱の度合いを重要度として算出して、シーンの重要度に応じて圧縮率を漸次変化させる。例えば、重要度が低いほどフレームレートを低くすることにより、データ量の削減効果を向上させる。
【選択図】図１

Description

本発明は、映像シーンを分析して重要度の高いシーンを取りこぼしなくかつデータ量を大きく削減して圧縮する動画像の圧縮方法及び圧縮装置に関する。

現在、動画像情報は様々な場面で活用されており、特に映像監視分野においては、これらの情報を記憶媒体等に保存している。例えば、街中や建物内の防犯対策に利用されている防犯カメラでは、設置場所付近の状況を長時間撮影して記憶媒体に保存している。また、常に稼動し続ける防犯カメラを複数台連携させた安全管理システムが導入され、保存すべきデータ量は、さらに膨大になっている。現存の記憶媒体を有効活用するためにも、より効率的な動画像圧縮技術が必要とされる。

映像監視分野の従来技術として、特許文献１のように、監視映像において、画面内の動き量を算出し、その動き量がある閾値を越えたときのみ「異常」として動画像を出力し、それ以外の正常時には静止画を出力するデータ圧縮方法が知られている。また、特許文献２のように、人感センサと連動させ、人の存在が検知されたときのみ映像を出力することで保存データ量を圧縮する方法が知られている。従来技術では、画面内に動きがあったときのみにデータを保存し、動きがないときのデータを削除することでデータ量の削減を図っている。しかしながら、画面内に動きがないときにはフレーム間の冗長性が高く、既存の動画像圧縮手法（ＭＰＥＧなど）により、すでにデータ量が少なくなった状態であるので、その部分を削除しても大きなデータ圧縮効果は得られない。また、動き量に閾値を設けて保存をするかしないかを判断する場合は、閾値の設定に圧縮結果が敏感となって、保存すべき重要なシーンを保存しそこねるリスクがある。

本発明者らは、高次局所自己相関特徴を拡張し、時間方向の相関も加えた特徴である、立体高次局所自己相関（Ｃｕｂｉｃ Ｈｉｇｈｅｒ−ｏｒｄｅｒ Ｌｏｃａｌ Ａｕｔｏ−Ｃｏｒｒｅｌａｔｉｏｎ。以下、ＣＨＬＡＣとも記す）特徴を用いて動作認識を行う技術を開発してきた（特許文献３〜５参照）。

また、本発明者らは、立体高次局所自己相関（ＣＨＬＡＣ）特徴を用いた動作認識技術を、コンテキストの重要度評価に応用した動画像圧縮法を非特許文献１において提案した。動画像のシーン内容にまで踏み込んだ圧縮処理であり、利便性の向上や動画像のデータ量削減の効果があった。

特開平７−１２１７８９号公報 特開平８−２７７０８０号公報 特開２００５−９２３４６号公報 特開２００６−７９２７２号公報 特開２００９−１４０２４７号公報

坂部史生、村川正宏他、"学習型シーン分析を用いた動画像圧縮保存法の検討"、映像情報メディア学会冬季大会１２−３，（２００８）

従来の映像監視技術のように、画面内に動きがあったときにのみデータを保存してデータ量の削減を図るようにする場合、既に指摘した問題点の他に、動きのある映像がすべて異常と判断されてしまいデータ量が多くなってしまう問題がある。また、人感センサを用いて異常を判断する場合は、感知エリアにセンサを設置する必要があり、また人が多い場所であるとデータ量が多くなってしまう問題がある。映像監視には、映像のシーン内容にまで踏み込んで異常を判断する必要がある。また、防犯カメラなどの監視映像のみに限らず、長時間に亘る膨大な映像データを記録再生するにあたり重要なシーンをもれなく高画質で保存し且つデータ量を少なくする必要がある。例えば、医療現場で手術内容の映像記録等がある。このように、映像シーンの分析技術として、正常な動きと異常な動きを判断して映像データ量を削減する手法が必要である。

本発明者らが非特許文献１で提案した手法においては、動画像の圧縮時に、重要ではないシーンに対して低フレームレートを採用することで、動画像全体のデータ量削減をねらった。図１２は、動画像と圧縮後のデータ量を横軸の長さとして示した比較図である。図１２の最上段Ａは、無圧縮の動画像のデータ量、中段Ｂは、既存圧縮法（ＭＰＥＧ、ＤｉｖＸ等）を用いて圧縮した圧縮動画像のデータ量、下段Ｃは、さらに重要でないシーンに対して低フレームレート採用した圧縮動画像のデータ量を示す。図中の星印部分は、利用者にとって重要なシーンを示している。下段Ｃの星印のない部分は、利用者側にとって重要ではないシーンが低フレームレートに圧縮されていることを示している。非特許文献１では、重要ではないシーンと重要なシーンとの切り替わり部分に、チャプターを入れて保存することで、視聴時の利便性を向上させることを行っていた。また、重要なシーンと重要ではないシーンの判別には、ＣＨＬＡＣ特徴による異常判別手法（特許文献４参照）を用いてシーン分析を行っていた。この手法では、監視の観点から、防犯カメラの設置場所において、異常行動が映っているシーンは重要であり、通常行動が映っているシーンは重要でないとしている。具体的には、重要ではないシーンのフレームレートを１／１０にしてデータ量を削減していた。

しかしながら、上記手法について研究を重ねた結果、本発明者らは次のような問題が生じていることに気がついた。上記手法のような方法では、重要度を「質的」に、つまり、重要か重要ではないかの二値として扱っている。図１３は、二値で判別する場合の具体的な例を示す図である。図１３の横軸は動画像のフレーム番号、縦軸は重要度を表す。図１３のように、動画像のフレームについて重要度を算出し、閾値を設定して、閾値を超えるフレーム番号を重要なシーン、閾値以下のフレーム番号を重要ではないシーンと判別して、重要ではないシーンに対して、大きな圧縮率で圧縮する。そうすると、重要度を「質的」に扱うこの手法には、閾値の決定が必要であり、この閾値によっては重要なシーンを取りこぼす可能性があるという問題がある。これは、閾値前後の重要度において極端な圧縮率の差が生じるためである。

本発明は、これらの問題を解決しようとするものであり、映像監視や、映像の記録再生、映像情報伝達等において、映像シーンの分析を行い、正常な動きと異常な動きを判断して重要度の高い映像を取りこぼし無くかつデータ量を削減して圧縮することを目的とするものである。

本発明は、上記目的を達成するために、以下の特徴を有するものである。

本発明の方法は、動画像を圧縮する方法であって、動画像上で頻繁に起こる行動からの逸脱の度合いを重要度とし、該重要度を立体高次局所自己相関特徴を用いて算出することを特徴とする。また、本発明の方法は、該重要度が高いシーンほど圧縮率を小さくし、重要度が低いシーンほど圧縮率を高くするように、重要度の値に応じて圧縮率を漸次変化させることを特徴とする。具体的には、前記圧縮率は、フレームレート、フレームサイズ、画質制御パラメータのいずれか１つ以上を変化させることにより、漸次変化させる。前記圧縮率を、フレームレートを変化させることにより漸次変化させ、前記重要度が高いシーンほど高フレームレートを採用し、前記重要度が低いシーンほど低フレームレートを採用することが好ましい。また、前記フレームレートの最大フレームレートを割り当てる重要度の下限ポイントを、可変にすることがより好ましい。さらに、前記下限ポイントを、目標とするデータ量に応じて自動調整するようにすると利便性が増す。

本発明の装置は、動画像を圧縮する装置であって、動画像上で頻繁に起こる行動からの逸脱の度合いを重要度とし、該重要度を立体高次局所自己相関特徴を用いて算出する重要度算出部を備えることを特徴とする。また、本発明の装置は、該重要度が高いシーンほど圧縮率を小さくし、重要度が低いシーンほど圧縮率を高くするように、重要度の値に応じて圧縮率を漸次変化させる圧縮処理部を備えることを特徴とする。具体的には、前記圧縮処理部は、フレームレート、フレームサイズ、画質制御パラメータのいずれか１つ以上を変化させることにより、圧縮率を漸次変化させる。前記圧縮処理部は、フレームレートを変化させることにより圧縮率を漸次変化させ、前記重要度が高いシーンほど高フレームレートを採用し、前記重要度が低いシーンほど低フレームレートを採用することが好ましい。また、前記圧縮処理部は、前記フレームレートの最大フレームレートを割り当てる重要度の下限ポイントが可変であるとより好ましい。さらに、前記圧縮処理部は、前記下限ポイントを、目標とするデータ量に応じて自動調整してもよい。なお、前記算出部や圧縮処理部は、算出処理や圧縮処理がプログラムにより実行される演算処理部を含む。

本発明では、動きの大小で保存の有無を判断するのではなく、動画像の内容にまで踏み込んでシーンの重要度を判断し、それに応じて圧縮率を変化させるので、重要ではないシーンには、低いフレームレートやフレームサイズを適用することができ、データ量を大きく削減できる。また、本発明では、重要度は、映像上で頻繁に起こる行動を立体高次局所自己相関により学習し、そこからの逸脱の度合いを重要度とするので、映像監視や手術シーン等において、異常な動きと正常な動きを的確に判断でき、重要度の高いシーを取りこぼしなく高画質で保存できる。

また、重要度に閾値を設けて重要か重要でないかの質的な判断をするのではなく、重要度を量的に扱い、重要度が高いほど圧縮率を小さくし、重要度が低いほど圧縮率を高くするように漸次変化させるので、重要度のわずかな差で圧縮率が大きく変わることがなくなり、重要なシーンの取りこぼしの問題を軽減する。具体的に、本発明では、圧縮率を変化させる際に、フレームレートを漸次変化させ、重要ではないシーンほど低フレームレートを採用することで、重要なシーンを取りこぼすことなく動画像全体のデータ量を削減できた。また、本発明のように、最大フレームレートを割り当てる重要度の下限ポイントを可変にした場合、最大６０％のデータ量削減効果が可能となった。また、最大フレームレートを割り当てる重要度の下限ポイントに応じて、割り当てられるフレームレートが変化し、圧縮後の動画像データ量が変化するので、下限ポイントを自動調整することにより、圧縮後の動画像データ量を、ユーザーが指定するデータ量に近づけることができる。よって、目標とするデータ量に応じたかつ重要シーンの取りこぼしがない圧縮ができる。

本発明の第１の実施の形態を説明する図。 本発明の第１の実施の形態の例の動画像の重要度を示す図。 本発明の第１の実施の形態の重要度に応じたフレームレートの対応付けを表す図。 本発明の第２の実施の形態の最大フレームレートを割り当てる下限ポイントを可変にすることを示す図。 本発明の第２の実施の形態の下限ポイントの設定例を示す図。 本発明の第２の実施の形態のフレームレートの割り当て方の例を示す図。 本発明の第２の実施の形態の例の代表重要度を示す図。 本発明の第２の実施の形態の例の代表重要度を示す図。 本発明の第２の実施の形態の例において割り当てられたフレームレートを示す図。 本発明の第２の実施の形態の例において割り当てられたフレームレートを示す図。 本発明のデータ量圧縮効果を示す図。 従来の圧縮法のデータ量を説明する図。 従来の圧縮法を説明する図。

本発明では、動画像の内容にまで踏み込んでシーンの重要度を判断し、それに応じて圧縮率を変化させる。特に重要度を量的に扱い、重要度が高いほど圧縮率を小さくし、重要度が低いほど圧縮率を高くするように、重要度の度合いに応じて反比例関係又は多段階的に、圧縮率を漸次変化させる。本発明では、映像上で頻繁に起こる行動を通常行動とし、それをＣＨＬＡＣと統計的手法を組み合わせることにより学習し、そこからの逸脱の度合いを重要度として算出する。

重要度の低い通常行動シーンは、異常行動シーンと比べると高画質保存を求められていない。本発明は、「量的」に算出される重要度に応じて動画像を圧縮するための適応型動画像圧縮方法である。図１は、圧縮率の割り当て方について、本発明の特徴を従来手法と対比して説明する図である。図１の横軸は重要度、縦軸は圧縮率を示す。従来の閾値を用いる手法では、「質的」と記載して点線に示すように、重要度の閾値以下の映像に対して圧縮率を大きくしていた。これに対して、本発明では、「量的」として実線で示すように、重要度が高いほど圧縮率を小さく高画質に残し、重要度が低いほど圧縮率を高くするので、動画像全体のデータ量を削減できる。図１の重要度と圧縮率の関係は、「反比例」の関係である。また、重要度と圧縮率の関係は、図１に限らず、広義の単調減少の関係であればよく、二値でなくおよそ漸次変化する関係であればよい。具体的な圧縮率は保存データ量等に応じて適宜算出することができる。また、本発明では、「量的」に算出される重要度をそのまま扱うことで、重要度のわずかな差で圧縮率が大きく変わることが無くなり、重要なシーンの取りこぼしの問題が軽減される。

（第１の実施の形態）
第１の実施の形態について、図２〜３を参照しながら説明する。動画像には様々なシーンが含まれており、ユーザーにとってシーンの重要さの度合が違う。ここで防犯カメラを例にすると、重要ではないシーンとしては、正常行動、つまり防犯カメラの設置場所において、頻繁に見受けられる通常行動が映っているシーンがあげられる。一方、重要なシーンとは、異常行動が映っているシーンとなる。本発明では、動画像に含まれる各行動に、頻度に応じて重要度を付加する。即ち、防犯カメラの設置場所において、頻繁に見受けられる頻度の高い通常行動シーンは、重要度が低く、一方、頻度の低いシーンは、異常行動（通常ではない行動）シーンであるとみて、重要度が高くなると仮定している。

（シーン分析について）
まず、本実施の形態において、動画像に含まれるシーンの重要度判断をするためのシーン分析技術について説明する。頻度に応じて重要度を量的に算出するには、統計的な定義に基づく手法をシーン分析に適用する。この統計的な定義により、主観によらない客観的なシーン分析が可能となる。例えば、「歩く」という行動は、一般的には重要なシーン（通常ではない行動）であるとは考えにくい。しかし、「走る」行動が常な環境下においては、「歩く」行動が重要なシーン（異常行動）になる可能性がある。このように、ユーザーが前もって異常行動を想定し、列挙する必要がないため、主観的な思い込みに起因する問題を避け、さらにユーザーの負担が軽減される。

具体的には、学習用動画像から特徴量を抽出し、この特徴量に統計的手法である主成分分析を用いることで、学習用の動画像に含まれる頻繁に起こる行動の特徴空間内での分布を学習する。次に、この分布に基づき圧縮対象動画像の特徴量を評価し、シーンの重要度を検出する。なお、学習用動画像を用いる例を説明したが、学習用動画像は、わざわざ学習用動画像を準備する代わりに、主に通常行動を撮影している動画像を学習用として利用してもよい。

本実施の形態では、動画像から抽出する特徴量に、立体高次局所自己相関（ＣＨＬＡＣ）特徴を用いる。ＣＨＬＡＣ特徴（２５１次元のベクトル）は、物の形と動き情報を表現できる特徴があり、形や動きを認識したい対象（例えば動画像に写っている人間や車など）の切り出し作業が不要で、かつモデルを用意する必要がなく、計算量が少ないという利点を持つ。この特徴を用いることにより、大規模な計算機を利用せずともシーン分析が行えるので、既存の防犯カメラシステムへ組み込むことができる。

本実施の形態におけるシーンの重要度の算出に関して、まず、通常部分空間の形成について説明する。動画像に含まれる正常行動は頻繁に起こるある種の行動であるため、抽出される特徴ベクトルは２５１次元の特徴空間内で、ある限定された領域に集中して分布することになる。ここでは、そのような分布を部分空間により近似し、正常（通常）部分空間を形成する。そのため、主成分分析により主成分ベクトルを求める。主成分ベクトルＵ（下記（数１））は、自己相関行列Ｒを用いて、下記（数２）の固有値問題より求まる。

固有値行列Λ＝ｄｉａｇ（λ_１，・・・，λ_２５１）に基づいて、累積寄与率η_ｋ（０以上1以下）は、下記（数３）と表され、累積寄与率η_ｋがＣ（例えばＣ＝０．９９）となる次元までの固有ベクトルｕ_１，・・・ｕ_ｋにより張られる空間を、頻繁に起こる行動の部分空間（以下、通常部分空間と呼ぶ）として採用する。

このようにして得られた直交基底Ｕ_ｋ＝［ｕ_１，・・・ｕ_ｋ］によって張られる部分空間への射影子は、Ｐ＝Ｕ_ｋＵ^’ _ｋとして表され、それに対する直交補空間への射影子は、Ｉ_２５１を単位行列として、Ｐ_⊥＝Ｉ_２５１−Ｐとなる。この時、入力Ｘの通常部分空間への垂直距離ｄ_⊥は、直交補空間への射影成分で表され、下記（数４）と表すことができる。

本実施の形態では、この垂直距離ｄ_⊥を、頻繁に起こる行動かどうかの指標として、重要度と呼ぶ。この重要度が大きいほど、そのシーンの頻度が低いことを意味し、重要なシーンと判断できる。

（重要度に応じた可変圧縮について）
本実施の形態では、上述した方法で算出される重要度を用いて、動画像の圧縮率を適応的に変化させる。実際に、学習用動画像として、建物内で複数人が歩いている動画像を用いて、通常部分空間を構成した後、圧縮対象動画像として、同じ場所で別の時間に撮影した動画像のフレームごとの重要度ｄ_⊥を検出した場合の例を、図２に示す。例えば、全ての人が歩く行動を取っている場合のフレームは、頻度が高い行動のため、低い重要度となる。一方、例えば、人が走る行動が含まれているフレームの場合は、頻度が低い行動のため、高い重要度が検出される。

本実施の形態では、重要度に応じて圧縮率を漸次変化させるために、重要度と圧縮率を「反比例」の関係とする。即ち、重要なシーンほど低い圧縮率、重要ではないシーンほど高い圧縮率を採用する。図３は、重要度に応じたフレームレートの対応付けを表す図である。例えば図３のように、検出される重要度の最大値には、最大フレームレート（３０ｆｐｓ）を採用し、重要度の最大値の半値には、最大フレームレートの半値（１５ｆｐｓ）を採用する。重要度に応じて圧縮率を変化させるために、フレームレートを重要度と比例関係にする。

本実施の形態の例として、重要度とフレームレートとの関係として図３の例を示したが、図３のように直線である必要はなく、重要度に対応してフレームレートが単調増加する関係であれば最適なデータ量になるよう適宜設定できる。

（第２の実施の形態）
第２の実施の形態は、第１の実施の形態において、重要度に応じたフレームレートの対応づけを変化させるものである。第２の実施の形態について、図４〜１１を参照して説明する。第１の実施の形態の図３のように、検出される重要度の最大値を最大フレームレートに固定すると、ユーザーの意図に反し、圧縮の掛け過ぎや掛けなさすぎが発生する可能性がある。例えば、突出して高い重要度が１ヶ所検出された場合や、すべて同じような低い重要度が検出された場合である。そこで、本実施の形態では、図４に示すように、最大フレームレートを割り当てる重要度の下限ポイントを可変にした。図４において、横軸は重要度、縦軸はフレームレートを示している。図４に左右の矢印で示されるように、下限ポイントを可変にして、実線から点線のように、重要度とフレームレートの対応付けを可変にする。これにより、閾値の決定なしに、フレームレートを重要度に対応づけることができ、なおかつ、ある程度の選択性をユーザーに与えることが可能となる。

実際に、２種類の屋外の道路で撮影したサンプル動画像（屋外動画像１、２）を用意して、本発明の有効性を検証した。学習用動画像には、頻度が高いと考えられる、人の歩行や、車の走行など日常風景が含まれている動画像を用いた。それに対し圧縮対象動画像には、頻度が低いと考えられる、柵の乗り越えや、人の転倒などが含まれている動画像を用いた。これらのサンプル動画像には既存圧縮法（ＭＰＥＧ４）が施されており、フレームレートは３０ｆｐｓ、フレームサイズは３２０×２４０である。シーン分析では、累積寄与率の上限Ｃを０．９９９９とした。下限ポイントの設定には図５のような３種類（小、中、大）を用意した。図５は、下限ポイント大（最大フレームレート３０ｆｐｓを割り当てる重要度の下限ポイントを、重要度の最大値に設定）、下限ポイント中（同じく下限ポイントを、重要度の最大値の３／４に設定）、下限ポイント小（同じく下限ポイントを、重要度の半値に設定）の場合の設定例である。図６は、下限ポイント大の場合の、重要度とフレームレートの例である。なお、実験プログラムの仕様上、割り当てられるフレームレートは、図６に示すように、元動画像のフレームレートの約数（整数）のみとなったが、適宜設定できる。

重要度に応じたフレームレートを動画像に施す具体的な処理としては、検出される重要度から１秒ごとの代表重要度として、１秒区間内の重要度の最大値を検出し、この代表重要度と前述したフレームレートの割り当て方により、１秒ごとにフレームレートを変化させた。屋外動画像１、２のシーン分析の結果から代表重要度を算出した結果をそれぞれ図７及び８に示す。そして、屋外動画像１、２の該代表重要度を用いてフレームレートを割り当てた結果をそれぞれ図９及び１０に示す。図９と図１０では、下限ポイント小の場合を実線、中の場合を破線、大の場合を点線で表す。この結果から、代表重要度に応じて割り当てられるフレームレートが変化していることが確認できる。また、下限ポイントに応じて、割り当てられるフレームレートが変化していることも確認できる。図９及び１０の結果をもとに動画像のデータ量を、元動画を基準にして図１１に示す。元動画とは、本実施の形態を施さず、その他の条件は同一にして再圧縮した動画像（既存の圧縮手法を施した動画像）のことである。図１１に示した割合は、元動画に対する、本実施の形態を施した屋外動画像１と２のデータ量の割合である。下限ポイントの設定を小にした場合は、元動画の５１％（屋外動画像１の場合）と６８％（屋外動画像２の場合）、下限ポイントの設定を中にした場合は、元動画の４４％（屋外動画像１の場合）と５５％（屋外動画像２の場合）、下限ポイントの設定を大にした場合は、元動画の４０％（屋外動画像１の場合）と４４％（屋外動画像２の場合）であった。このことから、下限ポイントの設定に応じて圧縮効果が変化したことが確認できる。屋外動画像１、２共に、下限ポイントが「大」の場合に最大のデータ量削減効果を得ることができ、屋外動画像１においては、６０％の削減効果が確認できた。

（比較例）
重要度を「質的」に扱う二値による従来の圧縮法を屋外動画像１に施したところ、データ量削減効果は約４２％であった。ここで、重要か重要でないかを判別するための閾値は、図５に示す下限ポイント「小」の位置（検出される重要度の最大値の半値）に設定し、重要なシーンを３０ｆｐｓ、重要ではないシーンを、視認性の観点から現実的であると考えられる５ｆｐｓとした。一方、重要度を「量的」に扱う本実施の形態を屋外動画像１に施したものは、上述のようにデータ量が５１％でありデータ量削減効果は約４９％（下限ポイント「小」の場合）である。このことから、重要度を「量的」に扱う本実施の形態１又は２の圧縮方法の方が、データ量削減効果が高いことが確認できた。

（第３の実施の形態）
第１及び２の実施の形態では、フレームレートを可変にして圧縮率を変化させたが、第３の実施の形態では、重要度に対応して、既存の圧縮手法において圧縮率を変化させることが可能な他のパラメータを可変にする。例えば、１枚の画像のピクセル数（解像度）に対応するフレームサイズを可変にすることにより、圧縮率を変える。または、各動画像の画質を可変にすることにより圧縮率を変えることができる。例えば量子化ビット数等の、既存圧縮手法における画質を制御する制御パラメータを変化させるとよい。さらには、フレームレート、フレームサイズ、画質を可変にする等の手法の組み合わせによって、重要度に対応して圧縮率を変化させ、重要なシーンほど低い圧縮率、重要ではないシーンほど高い圧縮率を採用することができる。

（第４の実施の形態）
第２の実施の形態では、最大フレームレートを割り当てる下限ポイントを選択性にしたが、第４の実施の形態では、最小フレームレートを割り当てる上限ポイントを選択性にする。また、第２の実施の形態の最大フレームレートを割り当てる下限ポイントを選択性にし、かつ、最小フレームレートを割り当てる上限ポイントを選択性にすることができる。

（第５の実施の形態）
映像の記録のための媒体容量や、保存可能なデータ量は限られるので、第５の実施の形態では、圧縮後の動画像のデータ量が所定の値に制限される場合の実施の形態を示す。図１１の結果から、下限ポイントが小さくなるほどデータ量は大きくなり、下限ポイントが大きくなるほどデータ量は小さくなることがいえる。そこで、本実施の形態では、圧縮後の目標データ量を指定して、最大フレームレート３０ｆｐｓを割り当てる重要度の下限ポイントを自動調整し、指定データ量に近づける。

具体的な工程を以下説明する。圧縮後の目標データ量を指定して、最大フレームレート３０ｆｐｓを割り当てる重要度の下限ポイントを探索し、探索された下限ポイントの位置で実際に動画像に圧縮をかける工程を１パス目とする。

まず１パス目を次のように行う。動画像をシーン分析し、フレームごとの重要度を算出する。圧縮後に残す総フレーム数と圧縮後のデータ量が比例の関係にあると仮定すれば、下限ポイントをある値に設定した場合の圧縮後データ量の予想値が求まる。例えば、シーン分析の結果、ある下限ポイントの設定値で、圧縮後の総フレーム数が、元動画の半分になったとすると、圧縮後のデータ量は、元動画の半分のデータ量になると予想できる。仮に、この予想値がユーザーの指定した目標データ量よりも大きな値であれば、より圧縮率を上げるために、下限ポイントの設定を上方修正する必要がある。逆に予想値が目標データ量よりも小さな値であれば、圧縮率を下げるために、下限ポイントの設定を下方修正する必要がある。そこでこの予想値が、ユーザーの指定した目標データ量にほぼ一致するように、最適な下限ポイントの位置を探索する。探索には、予想値と目標値との誤差を評価関数として、例えば２分法などの既存の探索手法を用いれば圧縮後のデータ量の計算回数（予想回数）が少なくてすむ。仮にこの探索時に圧縮後のデータ量の予想値ではなく、実際に圧縮をかけた際のデータ量を用いた場合は、探索点の移動毎に圧縮処理を伴うため非常に時間がかかることになるが、本実施の形態の方法によれば予想値を用いて探索を行うので、探索にかかる時間を大幅に短縮できる。次に最適な下限ポイントの位置（予想値を用いた探索なので実際には最適ではない）が探索により発見された後、発見された下限ポイントの位置で、実際に上記第１の実施の形態のように圧縮をかける。ここで、最適な下限ポイントの位置（ユーザーの指定した目標データ量を満たすと予想される下限ポイントの位置）が前記探索によって発見されない場合はユーザーに警告するとよい。

続いて２パス目を次のように行う。実際には「フレーム数とデータ量」は正確には比例の関係にはないことから、ユーザーの指定したデータ量から乖離する。そこで、圧縮後のデータ量の予想値と実際に圧縮処理の結果得られたデータ量との誤差を補正する。１パス目で得られたデータ量が予想値のＡ倍（つまりはユーザーの指定したデータ量のＡ倍）であったとすれば、２パス目のデータ量の目標値をＡ分の１とすることで再度探索を行う。１パス目と同様に再探索の際には、予想値のみを用いて圧縮処理は行わない。再探索の結果得られた新たな下限ポイントで再度圧縮をかけて終了する。２パス目の圧縮後でもユーザーの指定値からはずれている可能性があるが、１パス目で終了するよりも高い精度が得られる。また、さらに同様の下限ポイント位置探索及び圧縮を繰り返すことにより高精度が得られる。

圧縮率を可変にする方法として、フレームレートを可変にする場合で説明したが、フレームレート以外のフレームサイズや画質を可変にする等の制御パラメータを可変にする場合、解像度（ピクセル数）とデータ量が比例の関係にあるとの仮定や、画質の制御パラメータとデータ量が数式で表せるような単純な関係にあるとの仮定をおいて同様に実施できる。本実施の形態のように、下限ポイントをユーザーの要求するデータ量に応じて自動で調整するようにすれば、利便性が向上する。また自動調整するパラメータを最大フレームレートを割り当てる下限ポイントとして説明したが、第４の実施の形態で述べたように最小フレームレートを割り当てる上限ポイントを自動調整してもよく、さらに、下限ポイントと上限ポイントの二つを同時に自動調整してもよい。

上記実施の形態で示した例は、発明を理解しやすくするために記載したものであり、この形態に限定されるものではない。

本発明によれば、監視映像データの保存容量が大幅に削減可能となり、算出された重要度をインデックスとしてユーザーに提供することで、映像データ検証時の作業効率も向上させられる。これにより大規模の監視カメラシステム（１００台規模）においては特に大きな付加価値を与えられる。また監視映像保存の仕組みをネットワーク上（クラウドなど）で長期保存するサービスにおいても有用である。

Claims (10)

1. 動画像を圧縮する方法であって、
   動画像上で頻繁に起こる行動からの逸脱の度合いを重要度とし、該重要度を立体高次局所自己相関特徴を用いて算出し、
   該重要度が高いシーンほど圧縮率を小さくし、重要度が低いシーンほど圧縮率を高くするように、重要度の値に応じて圧縮率を漸次変化させることを特徴とする動画像圧縮方法。
2. 前記圧縮率は、フレームレート、フレームサイズ、画質制御パラメータのいずれか１つ以上を変化させることにより、漸次変化させることを特徴とする請求項１記載の動画像圧縮方法。
3. 前記圧縮率を、フレームレートを変化させることにより漸次変化させ、前記重要度が高いシーンほど高フレームレートを採用し、前記重要度が低いシーンほど低フレームレートを採用することを特徴とする請求項２記載の動画像圧縮方法。
4. 前記フレームレートの最大フレームレートを割り当てる重要度の下限ポイントを、可変にすることを特徴とする請求項３記載の動画像圧縮方法。
5. 前記下限ポイントを、目標とするデータ量に応じて自動調整することを特徴とする請求項４記載の動画像圧縮方法。
6. 動画像を圧縮する装置であって、
   動画像上で頻繁に起こる行動からの逸脱の度合いを重要度とし、該重要度を立体高次局所自己相関特徴を用いて算出する重要度算出部と、
   該重要度が高いシーンほど圧縮率を小さくし、重要度が低いシーンほど圧縮率を高くするように、重要度の値に応じて圧縮率を漸次変化させる圧縮処理部と、
   を備えることを特徴とする動画像圧縮装置。
7. 前記圧縮処理部は、フレームレート、フレームサイズ、画質制御パラメータのいずれか１つ以上を変化させることにより、圧縮率を漸次変化させることを特徴とする請求項６記載の動画像圧縮装置。
8. 前記圧縮処理部は、フレームレートを変化させることにより圧縮率を漸次変化させ、前記重要度が高いシーンほど高フレームレートを採用し、前記重要度が低いシーンほど低フレームレートを採用することを特徴とする請求項７記載の動画像圧縮装置。
9. 前記圧縮処理部は、前記フレームレートの最大フレームレートを割り当てる重要度の下限ポイントが可変であることを特徴とする請求項８記載の動画像圧縮装置。
10. 前記圧縮処理部は、前記下限ポイントを、目標とするデータ量に応じて自動調整することを特徴とする請求項９記載の動画像圧縮装置。

Images