JP2007235191A - 映像再生装置及び映像再生方法 - Google Patents

Abstract

【課題】低解像度の表示画面を有する映像再生装置において、高解像度の映像から、適切な一部の映像を切り出して再生できる映像再生装置を提供することにある。
【解決手段】ネットワーク１から配信された符号化映像データを復号化して再生する映像再生装置３である。映像再生装置３は、受信した符号化映像データを低フレームレートで復号化し、全画面領域の映像を表示画面上に再生する。映像再生装置３は、全画面領域の映像から選択された切り出し領域に対応する符号化映像データを抽出し、当該符号化映像データを復号化して前記表示画面上に再生する。
【選択図】 図１

Description

本発明は、例えば映像監視システムに適用し、高解像度の映像を再生する映像再生装置に関する。

近年、例えばネットワークを利用して、監視カメラにより撮影された映像データを受信し、監視対象の映像をディスプレイの表示画面上に表示する映像監視システムが開発されている。撮影された映像データは、符号化映像データに変換されて、ネットワークに配信される。一方、映像を再生する映像再生装置は、当該符号化映像データを復号化して、表示画面上に表示する。

このような映像監視システムの分野においては、高解像度化が進み、従来の標準であるＳＤ(Standard Definition)解像度の約６倍のドット数を持つ高解像度のＨＤ(High Definition)解像度の映像を取り扱うことが一般的になりつつある。しかしながら、ＨＤ解像度の映像は、大画面のディスプレイを有する再生装置を前提として、撮影されている場合が多い。低解像度の小型ディスプレイの画面上に、ＨＤ解像度の映像を表示した場合には、細部がつぶれて視認性が悪化し、逆に、映像監視機能が低下する。

ところで、映像の符号化方式としては、ＩＴＵ−ＴとＭＰＥＧ（ＩＳＯ）の２つの標準化団体の共同チームであるＪＶＴ(Joint Video Team)により策定されたＩＴＵ−Ｔ Ｈ.２６４(ISO/IEC14496 Part10 MPEG4 AVC)という規格（略して、Ｈ．２６４規格）が、飛躍的に符号化効率を向上させるために、ＨＤ映像の符号化方式として注目されている。

このＨ．２６４規格を用いることにより、従来のＭＰＥＧ２規格と比較して少ないデータ量に圧縮する事が可能であるが、一方で復号化に必要な演算量が増大するという問題がある。一般的に、低解像度の小型ディスプレイを有するパーソナルコンピュータを使用した再生装置では、ＨＤ解像度の映像を再生するための十分な性能がないことから、ＨＤ映像の再生に必要な演算量を削減したいという要求がある。これを実現するには、ＨＤ解像度の監視映像から一部の映像を切り出して、ディスプレイの表示画面上に表示する方法がある。

具体的には、低解像度ディスプレイに向けた映像の切り出し部分を決定する方法としては、映像の物理的特長を解析して自動的に判断する方法が提案されている（例えば、特許文献１を参照）。また、ユーザが監視映像を見ているときに、ユーザの視点を検出して、映像の切り出し部分として判断する方法も提案されている（例えば、特許文献２を参照）。
特開平６−２５３１９７号公報 特開２００４−１７３１０４号公報

前述の映像の物理的特長を解析する方法では、監視映像を表示する画面内で、複数の領域が判定されたときに、重要な場面を見逃す場合がある。また、ユーザの視点を検出する方法では、ユーザが監視映像を常時見ていない場合があるので、実用的ではない。

そこで、本発明の目的は、低解像度の表示画面を有する映像再生装置において、高解像度の映像から、適切な一部の映像を切り出して再生できる映像再生装置を提供することにある。

本発明の観点に従った映像再生装置は、再生対象の符号化映像データを受信する受信手段と、前記符号化映像データを復号化した映像を再生するための表示画面を有する表示装置と、前記受信手段により受信された前記符号化映像データを、設定されたフレームレートに対して相対的に低フレームレートで復号化し、全画面領域の映像を前記表示画面上に再生する第１の再生手段と、前記第１の再生手段により再生された全画面領域の映像から再生切り出し領域を選択する選択手段と、前記選択手段により選択された再生切り出し領域に対応する符号化映像データを前記符号化映像データから抽出し、当該符号化映像データを復号化して前記表示画面上に再生する第２の再生手段とを備えた構成である。

本発明の映像再生装置であれば、高解像度の映像から、適切な一部の映像を切り出して再生できるため、装置の再生性能に応じたフレームレートで、高解像度の映像に含まれる必要な映像領域を確実に再生することができる。

以下図面を参照して、本発明の実施形態を説明する。

［第１の実施形態］
図１は、本実施形態に関する映像監視システムの要部を示すブロック図である。

本システムは大別して、ネットワーク１と、監視対象の映像を送信する送信システム２と、監視対象の映像を受信して再生する再生システム３とからなる。ネットワーク１は、例えばインターネットや、ローカルエリアネットワーク（ＬＡＮ）である。

送信システム２は、ＨＤ解像度のカメラ２０により撮影された監視対象の映像を、ＭＰＥＧ２規格やＨ．２６４規格等の符号化方式のエンコーダ２１により、符号化映像データＰＤに変換して、ネットワーク１に送出する。

一方、再生システム３は、ネットワーク１から受信した符号化映像データＰＤを、復号化した映像（監視対象映像）をモニタに表示する。モニタは、映像を表示する表示画面を有する表示装置であり、映像再生装置に組み込まれている。ここで、本実施形態では、再生システム３として、２系統の映像再生装置を想定する。

第１系統の映像再生装置は、ネットワーク１から受信した符号化映像データＰＤを、ハードウェアのデコーダ４０により復号化して、大画面を有するモニタ４１に再生する。第２系統の映像再生装置３０は、例えば、小画面で低解像度の表示画面を有するモニタを装備したパーソナルコンピュータ（ＰＣ）から構成されている。この映像再生装置３０は、ＰＣ内のマイクロプロセッサ（ＣＰＵ）がソフトウェアのデコーダを実行することにより、符号化映像データＰＤを復号化して、モニタの表示画面上に再生する。以下、本実施形態としては、第２系統の映像再生装置３０について説明する。

（映像再生装置の構成）
図２は、映像再生装置３０の要部を示すブロック図である。

映像再生装置３０は機能構成として、データ受信部３１と、再生処理部３２と、映像表示部３３と、ディスプレイ（表示画面）３４とを有する。データ受信部３１は、ネットワーク１から受信した符号化映像データＰＤを一時的に格納するバッファ記憶部を含む。

再生処理部３２は、ＣＰＵとソフトウェアのデコーダにより実現される主要機能部である。再生処理部３２は、Ｉフレーム抽出部３２１、Ｉフレーム復号部３２２、表示切替部３２３、切り出し復号部３２４、及び注目点検出部３２５を有する。

Ｉフレーム抽出部３２１及びＩフレーム復号部３２２は、後述するように、低フレームレートでの全画面再生を行なうときの機能である。ここで、本実施形態では、符号化映像データＰＤは、図３に示すように、Ｉフレーム、Ｂフレーム、Ｐフレームから構成されるＭＰＥＧ２規格の符号化データである。Ｉフレームとは、他のフレームを予測画像として参照することなく、単独で復号化できるフレーム内符号化データである。Ｉフレーム抽出部３２１は、データ受信部３１で受信された符号化映像データＰＤからＩフレームのみを抽出する。Ｉフレーム復号部３２２は、抽出されたＩフレームを復号化する。

表示切替部３２３は、Ｉフレーム復号部３２２により復号化されたＩフレームのみの映像データ、または切り出し復号部３２４により復号化された映像データの一方を選択して、映像表示部３３に出力する。映像表示部３３は、復号化された映像データを映像表示信号に変換するなどの処理を実行し、表示画面３４に表示させる。

切り出し復号部３２４は、後述するように、注目点検出部３２５により検出された符号化映像データＰＤの領域を切り出して、当該切り出し領域を復号化する。

（映像再生動作）
本実施形態では、送信システム２は、カメラ２０により撮影したＨＤ解像度の映像を、エンコーダ２１により符号化映像データＰＤに変換して、ネットワーク１に送出する。

映像再生装置３０は、ネットワーク１から受信した符号化映像データＰＤを復号化して、表示画面３４に監視映像を再生する。映像再生装置３０は、パーソナルコンピュータ（ＰＣ）から構成されている。ここで、ＰＣの画面解像度は、一般的には、１０２４×７６８や、１２４０×１０２４である。一方、ＨＤ映像は、一般的には、最大解像度が１９２０×１０８０である。従って、映像再生装置３０は、縮小処理をしなければ、表示画面３４上に監視映像の画面全体を表示することはできない。また、現状のＰＣでは、Ｈ．２６４規格による映像の復号能力は、最大解像度が６４０×４８０で、フレームレートが３０ｆｐｓ程度までである。従って、全画面の再生を実現するには、現状のＰＣでは、ＣＰＵの処理能力が不足している。

そこで、本実施形態の映像再生装置３０は、図７のフローチャートに示すような処理を実行する。

まず、映像再生装置３０は、データ受信部３１で受信した符号化映像データＰＤを、低フレームで表示画面３４上に全画面再生を実行する（ステップＳ１）。具体的には、再生処理部３２は、Ｉフレーム抽出部３２１により、データ受信部３１で受信された符号化映像データＰＤから、独立して再生可能なＩフレームのみを抽出する（図３を参照）。Ｉフレーム復号部３２２は、抽出されたＩフレームを復号化する。

表示切替部３２３は、Ｉフレーム復号部３２２により復号化されたＩフレームのみの映像データを映像表示部３３に出力する。映像表示部３３は、復号化された映像データを表示画面３４に全画面表示する。即ち、Ｉフレームのみの再生であるため、ＣＰＵの演算能力が低いＰＣからなる映像再生装置３０でも、全画面の再生が可能となる。ここで、Ｉフレーム復号部３２２は、Ｉフレームの復号が次のＩフレームの到達までに間に合わなかった場合は、次のＩフレームを再生せずに廃棄する。

次に、映像再生装置３０は、表示画面３４上で再生された全画面の映像領域から、切り出し領域を選択する処理に移行する（ステップＳ２）。具体的には、ユーザが、映像再生装置３０の入力装置を操作して、表示画面３４上の全画面領域から、切り出し領域を選択する。ここで、例えば、ＭＰＥＧ２規格の符号化方式では、１６×１６ピクセルサイズのマクロブロックで画面を区切り、その単位で符号化するために、選択する縦横ピクセルサイズは１６の倍数となるように自動調整される。

再生処理部３２は、切り出し領域の選択処理が完了すると、Ｉフレーム抽出部３２１及びＩフレーム復号部３２２の動作を停止させて、選択された切り出し領域の再生処理に移行する（ステップＳ３）。即ち、再生処理部３２は、切り出し復号部３２４及び注目点検出部３２５の動作を開始させる。

切り出し復号部３２４は、注目点検出部３２５により検出された符号化映像データＰＤの一部のみを復号する。ここでは、注目点検出部３２５は、ユーザにより表示画面３４上の全画面領域から選択された切り出し領域を切り出し復号部３２４に指定する。表示切替部３２３は、Ｉフレーム復号部３２２の出力から切り出し復号部３２４の出力に切り替えて、復号化された切り出し領域の映像データを映像表示部３３に出力する（ステップＳ４）。映像表示部３３は、復号化された切り出し領域の映像データを表示画面３４に表示する。

ここで、切り出し領域の再生が開始して、全てのフレームの再生に間に合わない場合は、Ｂフレームの再生をスキップしてＩフレーム及びＰフレームのみを再生してもよい。さらに、それでも間に合わない場合は、Ｉフレームのみを再生し、さらに間に合わない場合はＩフレームの間引き再生を実行してもよい。

以上のように本実施形態による再生方法であれば、ＨＤ解像度の監視映像の全画面をＩフレームのみによる間引き再生し、当該全画面の映像から切り出し領域を選択する。換言すれば、監視対象の映像の中で、特に注目したい全画面映像の範囲指定を行なう。そして、選択された切り出し領域のみを、映像再生装置３０の能力に応じたフレームレートで再生する。

従って、低解像度の表示画面を有する映像再生装置３０の場合でも、その再生性能に応じたフレームレートで、高解像度の映像に含まれる必要な映像領域のみを確実に再生することができる。ユーザは、表示画面３４上の全画面映像領域から切り出し領域の選択を切り替えることにより、所望の切り出し領域の映像を求めて確認することができる。

［第２の実施形態］
図４及び図８は、第２の本実施形態を説明するための図である。なお、本実施形態においても、システムの構成及び映像再生装置３０の構成は、図１及び図２に示すものと同様であるため説明を省略する。

本実施形態では、映像再生装置３０は、データ受信部３１で受信した符号化映像データＰＤを低フレームで表示画面３４上に全画面再生（Ｉフレームのみの復号化）を実行したのちに、当該全画面領域から自動的に切り出し領域を移動（選択）させる。具体的には、図４に示すように、全画面映像領域から例えば領域５Ａ、領域５Ｂ、領域５Ｃへと、順次切り出し領域を自動的に移動させる。ここで、一度に移動する量は、例えばＭＥＰＥＧ２規格のマクロブロックサイズの制約により１６ピクセルとなる。

以下、このような自動切り出し処理を含む再生動作の手順を、図８のフローチャートを参照して説明する。

まず、映像再生装置３０は、データ受信部３１で受信した符号化映像データＰＤを、低フレームで表示画面３４上に全画面再生を実行する（ステップＳ１０）。即ち、前述したように、再生処理部３２は、データ受信部３１で受信された符号化映像データＰＤからＩフレームのみを復号化して、映像データを表示画面３４に全画面表示する。

次に、映像再生装置３０は、図４に示すように、表示画面３４上で再生された全画面の映像領域から、自動的に切り出し領域を移動させる自動切り出し処理に移行する（ステップＳ１１）。ここで、ユーザが、映像再生装置３０の入力装置を操作して、表示画面３４上の全画面領域から注目領域を指定するための設定条件を設定しておく。ここでは、ユーザが、自動的に移動する切り出し領域の中から注目領域を指定する。

注目点検出部３２５は、ユーザの指定に従って、切り出し領域の中から注目領域を検出すると、自動的に切り出し領域を移動させる処理を停止する（ステップＳ１２，Ｓ１３のＹＥＳ，Ｓ１４）。再生処理部３２は、自動切り出し処理による選択処理が完了すると、Ｉフレーム抽出部３２１及びＩフレーム復号部３２２の動作を停止させて、選択された切り出し領域の再生処理に移行する（ステップＳ１５）。即ち、再生処理部３２は、切り出し復号部３２４及び注目点検出部３２５の動作を開始させる。

切り出し復号部３２４は、注目点検出部３２５により検出された符号化映像データＰＤの一部である例えば領域５Ａのみを復号する。表示切替部３２３は、Ｉフレーム復号部３２２の出力から切り出し復号部３２４の出力に切り替えて、復号化された切り出し領域の映像データを映像表示部３３に出力する（ステップＳ１６）。映像表示部３３は、復号化された切り出し領域の映像データ（例えば、領域５Ａ）を表示画面３４に表示する。

なお、表示画面３４上の全画面領域から注目領域を検出できない場合には、再生処理部３２は、切り出し復号部３２４及び注目点検出部３２５の動作を停止させることになる（ステップＳ１３のＮＯ）。そして、次の符号化映像データＰＤの全画面再生から開始する（ステップＳ１７のＮＯ）。

以上のように本実施形態の再生方法であれば、ＨＤ解像度の監視映像の全画面をＩフレームのみによる間引き再生し、当該全画面の映像から自動的に切り出し領域を移動させる。従って、監視対象の映像全体を自動的に巡回監視することが可能となる。

（変形例）
図５及び図６は、第２の本実施形態の変形例を説明するための図である。

本変形例では、前述の自動切り出し処理において、注目点検出部３２５は、事前に注目すべき映像の特徴を設定条件として登録し、当該設定条件にマッチしたときに自動切り出し処理を一時停止する。具体的には、図５に示すように、例えば、映像の中に炎の色彩を含む領域６Ａや、画面内の人などの動きのある領域６Ｂに反応して、注目点検出部３２５は注目点領域として検出する。また、図６に示すように、注目点検出部３２５が検出した複数の事象を同時に表示できるように、注目領域７を拡大してもよい。

以上のように本変形例であれば、ユーザが、予め監視映像として注目すべき映像の特徴を設定条件として登録することにより、映像再生装置３０は、表示画面３４上で再生された全画面の映像領域から、自動的に設定条件に合致する注目領域を切り出して再生する。従って、ユーザは、指定の特徴を含む映像のみを抽出して、表示画面３４上で確認することができる。

なお、本発明は上記実施形態そのままに限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化できる。また、上記実施形態に開示されている複数の構成要素の適宜な組み合わせにより、種々の発明を形成できる。例えば、実施形態に示される全構成要素から幾つかの構成要素を削除してもよい。さらに、異なる実施形態にわたる構成要素を適宜組み合わせてもよい。

本発明の第１の実施形態に関する映像監視システムの要部を示すブロック図。 本実施形態に関する映像再生装置の要部を示すブロック図。 本実施形態に関する符号化映像データの構成を説明するための図。 第２の実施形態に関する切り出し領域の自動的移動の様子を示す図。 第２の実施形態の変形例を説明するための図。 第２の実施形態の変形例を説明するための図。 第１の実施形態に関する再生動作の手順を説明するためのフローチャート。 第２の実施形態に関する再生動作の手順を説明するためのフローチャート。

符号の説明

１…ネットワーク、２…送信システム、３…再生システム、
２０…カメラ、２１…エンコーダ、３０…映像再生装置、３１…データ受信部、
３２…再生処理部、３３…映像表示部、３４…ディスプレイ（表示画面）、
４０…デコーダ、４１…モニタ、３２１…Ｉフレーム抽出部、
３２２…Ｉフレーム復号部、３２３…表示切替部、３２４…切り出し復号部、
３２５…注目点検出部。

Claims (10)

1. 再生対象の符号化映像データを受信する受信手段と、
   前記符号化映像データを復号化した映像を再生するための表示画面を有する表示装置と、
   前記受信手段により受信された前記符号化映像データを、設定されたフレームレートに対して相対的に低フレームレートで復号化し、全画面領域の映像を前記表示画面上に再生する第１の再生手段と、
   前記第１の再生手段により再生された全画面領域の映像から再生切り出し領域を選択する選択手段と、
   前記選択手段により選択された再生切り出し領域に対応する符号化映像データを前記符号化映像データから抽出し、当該符号化映像データを復号化して前記表示画面上に再生する第２の再生手段と
   を具備したことを特徴とする映像再生装置。
2. 前記第１の再生手段は、
   前記低フレームレートで復号化として、前記符号化映像データを構成する符号化データの中で、他のフレームを予測画像として参照することなく、単独で復号化できるフレーム内符号化データのみを抽出して復号化する手段を含むことを特徴とする請求項１に記載の映像再生装置。
3. 前記第２の再生手段は、
   前記表示画面上に対して、前記第１の再生手段により再生された全画面領域の映像の表示から、前記再生切り出し領域に対応する映像の表示に切り替える手段を含むことを特徴とする請求項１または請求項２のいずれか１項に記載の映像再生装置。
4. 前記選択手段は、
   前記第１の再生手段により再生された全画面領域の映像から、再生切り出し領域の範囲を自動的に変化させて、前記表示画面上に表示する手段を含むことを特徴とする請求項１から請求項３のいずれか１項に記載の映像再生装置。
5. 前記選択手段は、
   前記全画面領域の映像から、設定の条件に従って注目すべき映像の特徴を含む注目領域を検出する検出手段と、
   前記検出手段により検出された注目領域を前記再生切り出し領域として選択する手段と
   を含むことを特徴とする請求項１から請求項３のいずれか１項に記載の映像再生装置。
6. 前記選択手段は、
   前記第１の再生手段により再生された全画面領域の映像から、再生切り出し領域の範囲を自動的に変化させて、前記表示画面上に表示する自動表示手段と、
   前記全画面領域の映像から、設定の条件に従って注目すべき映像の特徴を含む注目領域を検出する検出手段と、
   前記検出手段により注目領域が検出されたときに、前記自動表示手段の動作を停止させて、注目領域を前記再生切り出し領域として選択する手段と
   を含むことを特徴とする請求項１から請求項３のいずれか１項に記載の映像再生装置。
7. 前記第２の再生手段は、
   前記選択手段により、複数の再生切り出し領域を選択された場合に、当該複数の再生切り出し領域に対応する符号化映像データを復号化して、前記表示画面上に同時に再生する手段を含むことを特徴とする請求項１から請求項６のいずれか１項に記載の映像再生装置。
8. 前記受信手段は、
   ネットワークに接続し、当該ネットワークを介して配信された前記符号化映像データを受信する手段を含むことを特徴とする請求項１から請求項７のいずれか１項に記載の映像再生装置。
9. 再生対象の符号化映像データを受信して、設定されたフレームレートで復号化した映像を表示装置の表示画面上に再生する映像再生装置に適用する映像再生方法であって、
   受信された前記符号化映像データを、設定されたフレームレートに対して相対的に低フレームレートで復号化し、全画面領域の映像を前記表示画面上に再生するステップと、
   再生された前記全画面領域の映像から再生切り出し領域を選択するステップと、
   選択された前記再生切り出し領域に対応する符号化映像データを前記符号化映像データから抽出し、当該符号化映像データを復号化して前記表示画面上に再生するステップと
   を有する手順を実行することを特徴とする映像再生方法。
10. 再生対象の符号化映像データを受信して、設定されたフレームレートで復号化した映像を表示装置の表示画面上に再生する映像再生装置に適用する映像再生方法であって、
    受信された前記符号化映像データを、設定されたフレームレートに対して相対的に低フレームレートで復号化し、全画面領域の映像を前記表示画面上に再生するステップと、
    再生された前記全画面領域の映像から、再生切り出し領域の範囲を自動的に変化させて、前記表示画面上に表示するステップと、
    前記全画面領域の映像から、設定の条件に従って注目すべき映像の特徴を含む注目領域を検出するステップと、
    前記注目領域が検出されたときに、当該注目領域を前記再生切り出し領域として選択するステップと、
    選択された前記再生切り出し領域に対応する符号化映像データを前記符号化映像データから抽出し、当該符号化映像データを復号化して前記表示画面上に再生するステップと
    を有する手順を実行することを特徴とする映像再生方法。

Images