JP2005150808A - 監視映像記録システム - Google Patents

Abstract

【課題】 既存の監視映像記録システムで使用するカメラなどの装置をそのまま使い、処理時間を抑えながら被写体の詳細が確認可能な高画質な画像を生成する監視映像記録システムを提供する。
【解決手段】 カメラ１０１は監視映像を撮影して映像データをＭＰＥＧ処理部１０３へ出力する。ＭＰＥＧ処理部１０３は映像データを入力して圧縮処理を行い、圧縮処理途中に生成する動きベクトルやマクロブロックを超解像処理部１０４へ出力し、圧縮処理したＭＰＥＧデータを映像蓄積装置１０５へ出力する。超解像処理部１０４はデータを入力して超解像画像データを生成し、映像蓄積装置１０５へ出力する。映像蓄積装置１０５はデータを記憶領域へ格納し、ＭＰＥＧデータをモニタ１０６へ出力し、モニタ１０６は映像を表示する。
【選択図】 図１

Description

本発明は、企業等における防犯や防災のための監視映像記録システムに関するものである。

従来の監視映像記録システムでは、監視場所に設定されたカメラの映像をＭＰＥＧなどの圧縮技術を用いて圧縮し、それを蓄積する手段がとられている。

従来の監視映像記録システムでは、監視用に通常のテレビ規格のカメラを使用するケースが多く、こうしたカメラの解像度は最大でも６４０×４８０ピクセルであり、被写体の詳細の認識が困難なことがある問題点があった。そこで、カメラをＨＤＴＶベース（High Definition Television：ハイビジョン規格、通常のテレビの倍の解像度を持つ）にして高解像度にする方法もあるが、装置のコストがかかりすぎるため、現実的ではない。
また、画像データの解像度を向上させる方法として、超解像処理が知られているが、超解像処理におけるフレーム中の各画素のズレの計算には処理時間がかかる問題点があった。
なお、従来技術文献としてとして特許文献１が知られている。
特開平１１−２５２４２８号公報

本発明は上記の事情を考慮してなされたもので、その目的は、既存の監視映像記録システムで使用するカメラなどの装置をそのまま使い、処理時間を抑えながら被写体の詳細が確認可能な高画質な画像を生成する監視映像記録システムを提供することにある。

この発明は前述の課題を解決するためになされたもので、請求項１の発明は、映像を撮影して映像データを出力するカメラ部と、前記カメラ部から前記映像データを入力し、圧縮処理途中でマクロブロックと、フレームデータと、動きベクトルとを出力し、圧縮された映像データを出力するＭＰＥＧ処理部と、前記ＭＰＥＧ処理部から前記マクロブロックと、前記フレームデータと、前記動きベクトルとを入力し、超解像処理を行い、高精細画像データを出力する前記超解像処理部と、前記圧縮された映像データと、前記高精細画像データとを入力して記憶装置に書き込む映像蓄積処理部とを備えることを特徴とする監視映像記録システムである。

請求項２に記載の発明は、請求項１に記載の監視映像記録システムであって、前記ＭＰＥＧ処理部が、各々の前記マクロブロックに対応する前記動きベクトルを超解像処理部へ出力し、前記超解像処理部が、各々の前記マクロブロックごとに超解像処理を行うことを特徴とするものである。

請求項３に記載の発明は、請求項１または請求項２に記載の監視映像記録システムであって、前記ＭＰＥＧ処理部は前記フレームデータとしてＩフレームまたはＰフレームを出力することを特徴とするものである。

請求項４に記載の発明は、請求項１〜３のいずれかに記載の監視映像記録システムであって、前記ＭＰＥＧ処理部は前記マクロブロックをＰフレームまたはＢフレームから読み込んで出力することを特徴とするものである。

請求項５に記載の発明は、請求項１〜４のいずれかに記載の監視映像記録システムであって、前記ＭＰＥＧ処理部が、前記映像データの所定のフレーム数ごとに圧縮処理途中の前記映像データを出力することを特徴とするものである。

請求項１の発明によれば、ＭＰＥＧ処理部がマクロブロックと、フレームデータと、動きベクトルとを出力し、超解像処理部が動きベクトルの演算を行うことなく超解像処理を実行するため、システムに大きな処理負荷をかけずに短い時間で超解像画像データを出力することができる効果が得られる。

また、請求項２の発明によれば、ＭＰＥＧ処理部が動きベクトルをマクロブロックごとに出力するため、ユーザは精度の高い超解像画像データを得ることができる効果がある。

また、請求項３の発明によれば、ＭＰＥＧ処理途中のＩフレームまたはＰフレームを基準とすることにより、ＭＰＥＧ処理部がＢフレームを多く作成する場合には超解像処理におけるデータが増加するため、ユーザは解像度の高い超解像画像データを得ることができる効果がある。

また、請求項４の発明によれば、マクロブロックをＰフレーム、もしくはＢフレームから取り出している。ＭＰＥＧ形式のデータは多くの部分がＰフレームと、Ｂフレームとで構成される。このため、ＭＰＥＧ処理部はタイミングによらずにマクロブロックと、フレームデータと、動きベクトルとを出力することができるため、ほとんどのタイミングで超解像画像データが出力できる効果が得られる。

また、請求項５の発明によれば、ＭＰＥＧ処理部が、所定のフレーム数ごとに圧縮処理途中の前記映像データを出力するため、超解像画像データの出力頻度が抑制され、超解像画像データの映像蓄積処理部への出力と、超解像画像データの映像蓄積処理部での格納とに伴う処理負荷と、使用する記憶領域の大きさとを抑えることができる効果が得られる。

以下、図面を参照し、この発明の実施の形態を説明する。
図１はこの発明の実施の形態における監視映像記録システムの構成図である。カメラ１０１は監視対象の映像を撮影し、映像データを映像圧縮装置１０２へ出力する。ＭＰＥＧ処理部１０３はカメラ１０１から映像データを入力し、ＭＰＥＧ形式で圧縮処理し、圧縮処理中のデータを超解像処理部１０４へ出力し、ＭＰＥＧデータを映像蓄積装置１０５へ送信する。また、ＭＰＥＧ処理部１０３は圧縮処理で使用する作業領域として、フレームバッファを内部に備える。超解像処理部１０４はＭＰＥＧ処理部１０３から圧縮処理途中のデータを入力し、超解像処理し、超解像処理した超解像画像データを映像蓄積装置１０５へ送信する。映像蓄積装置１０５は映像圧縮装置１０２からＭＰＥＧデータを受信して内部の記憶部へ書き込み、モニタ１０６へ出力する。また、映像蓄積装置１０５は映像圧縮装置１０２から超解像処理された超解像画像データを受信して記憶部へ書き込む。モニタ１０６はＭＰＥＧデータを入力し、デコードして映像を表示する。

図４のＢ、Ｐフレーム４０１と、Ｉ、Ｐフレーム４０２とはカメラ１０１からの入力映像であり、ＭＰＥＧ処理部１０３の圧縮対象である。なお、ここでＩフレームとは単独で圧縮されるフレームであり、Ｐフレームとは直前のＩフレームまたはＰフレームとの差分で圧縮されるフレームであり、Ｂフレームとは、前後のＩフレームまたはＰフレームとの差分で圧縮されるフレームを指す。

次に、図２を参照して本実施形態の動作について説明する。
カメラ１０１は図３のように画像データを構成するフレームを時系列に映像圧縮装置１０２へ出力する（ステップＳ２０１）。ＭＰＥＧ処理部１０３はカメラ１０１からデータを入力し、図３のように既存のＭＰＥＧ形式に従い、Ｉフレームと、Ｐフレームと、Ｂフレームとを決定する。次に、ＭＰＥＧ処理部１０３は、Ｉ、Ｐフレーム４０２と、Ｂ、Ｐフレーム４０１とを図４のＢ、Ｐフレームのように、フレームを１６ピクセル四方の大きさのマクロブロックに分割する（ステップＳ２０２）。
まず、Ｉフレームに関しては、ＭＰＥＧ処理部１０３はＤＣＴ（Ｄｉｓｃｒｅｔｅ Ｃｏｓｉｎｅ Ｔｒａｎｓｆｏｒｍ）演算を行い（ステップＳ２０３）、次いで量子化し（ステップＳ２０４）、ＭＰＥＧ形式のストリームデータとして出力する（ステップＳ２０５）。さらに、内部処理として次のフレームの処理のために、逆量子化し、（ステップＳ２０９）、逆ＤＣＴ演算を行い（ステップＳ２１０）、フレームバッファに格納する（ステップＳ２１１）。

更に、Ｂ、Ｐフレームについては、ＭＰＥＧ処理部１０３は、マクロブロック４０３をもってＩ，Ｐフレーム４０２上でもっとも同じ内容とみなせる箇所を探索し、その結果をマクロブロック４０４として読み込む。次に、ＭＰＥＧ処理部１０３は、マクロブロック４０３と、マクロブロック４０４との間のフレーム上の位置に関するズレを表す動きベクトルを計算する（ステップＳ２１２）。

次に、ＭＰＥＧ処理部１０３はマクロブロック４０３を動きベクトルと、マクロブロック４０４とをもとに差分化し（ステップＳ２０６）、ＤＣＴ演算を行い（ステップＳ２０７）、量子化し（ステップＳ２０８）、先ほどのＭＰＥＧ形式のストリームデータに出力する（ステップＳ２０５）。さらに、内部処理として次のフレーム処理のために、逆量子化し（ステップＳ２０９）、逆ＤＣＴ演算を行い（ステップＳ２１０）、フレームバッファに格納する（ステップＳ２１１）。
ここまでのＭＰＥＧ形式のストリームデータの作成処理に関しては、既存の映像データのＭＰＥＧ圧縮処理と同様である。なお、ステップＳ２１１でフレームバッファに格納されるのは予測差分のデータであり、実際にはフレーム間での動きの補償の予測を行った結果、出力されるマクロブロックを加算することにより、もとの画像データが復元され、次のフレームとの間で動きベクトルが算出されることとなるが、これについても既存のＭＰＥＧ圧縮処理に含まれ、発明の本質ではないため、図示していない。

次に、映像圧縮装置１０２はＭＰＥＧ形式のストリームデータを映像蓄積装置１０５へネットワークを介して送信し、映像蓄積装置１０５は映像圧縮装置１０２からデータを受信し、記憶部にストリームデータを格納し、モニタ１０６へ出力する。モニタ１０６はストリームデータをデコードし、映像を表示する（ステップＳ２１３）。

次に、本実施の形態に固有の処理である高精細画像作成処理に関して説明する。ＭＰＥＧ処理部１０３は、ステップＳ２１２で作成した動きベクトルと、マクロブロック４０３と、Ｉ、Ｐフレーム４０２とを超解像処理部１０４へ出力する。
超解像処理部１０４はＭＰＥＧ処理部１０３からデータを入力し（ステップＳ２１４）、マクロブロック４０３と、Ｉ、Ｐフレーム４０２と、動きベクトルとをもとに、マクロブロック４０３に対して既存の方法で超解像処理を行い（ステップＳ２１５）、解像度の向上したマクロブロックを作成して記憶部に格納する。超解像処理部１０４は、この超解像処理をＢ、Ｐフレーム４０１中のすべてのマクロブロックに関して行う。Ｂ、Ｐフレーム４０１中のすべてのマクロブロックに対して超解像処理が完了すると、超解像処理部１０４は、超解像処理が完了したマクロブロックをもとにＢ、Ｐフレーム４０１の配置に組み合わせ、超解像画像データＳを作成する（ステップＳ２１６）。

ここで、超解像処理はすべてのフレームに対して行わず、例えば、ＭＰＥＧ処理部１０３は数百フレームごとに１フレームに関して超解像処理部１０４へデータを出力し、超解像処理部１０４が超解像処理を実行する方法がある。

次に、超解像処理部１０４は、超解像画像データＳを映像蓄積装置１０５へネットワークを経由して送信する。映像蓄積装置１０５は、超解像処理部１０４から超解像画像データＳを受信して記憶部に格納する（ステップＳ２１０）。

以上、図面を参照して本発明の実施形態について詳述してきたが、具体的な構成はこれらの実施の形態に限られるものではなく、この発明の要旨を逸脱しない範囲の設計変更等も含まれる。例えば、映像圧縮装置１０２と、映像蓄積装置１０５とは直接接続されていても、あるいは同じコンピュータの中にあってもよい。

この発明の実施形態による監視映像記録システムの構成を示すブロック図であるである。 同実施形態の処理の流れを示すフローチャートである。 同実施形態で処理するＭＰＥＧ形式のデータ構造を表す図である。 同実施形態で処理するフレームとマクロブロックのデータ構造を表す図である。

符号の説明

１０１…カメラ
１０２…映像圧縮装置
１０３…ＭＰＥＧ処理部
１０４…超解像処理部
１０５…映像蓄積装置
１０６…モニタ
４０１…Ｂ、Ｐフレーム
４０２…Ｉ、Ｐフレーム
４０３、４０４…マクロブロック

Claims (5)

1. 映像を撮影して映像データを出力するカメラ部と、
   前記カメラ部から前記映像データを入力し、圧縮処理途中でマクロブロックと、フレームデータと、動きベクトルとを出力し、圧縮された映像データを出力するＭＰＥＧ処理部と、
   前記ＭＰＥＧ処理部から前記マクロブロックと、前記フレームデータと、前記動きベクトルとを入力し、超解像処理を行い、高精細画像データを出力する前記超解像処理部と、
   前記圧縮された映像データと、前記高精細画像データとを入力して記憶装置に書き込む映像蓄積処理部と
   を備えることを特徴とする監視映像記録システム。
2. 前記ＭＰＥＧ処理部が、各々の前記マクロブロックに対応する前記動きベクトルを超解像処理部へ出力し、
   前記超解像処理部が、各々の前記マクロブロックごとに超解像処理を行う
   ことを特徴とする請求項１に記載の監視映像記録システム。
3. 前記ＭＰＥＧ処理部は前記フレームデータとしてＩフレームまたはＰフレームを出力することを特徴とする請求項１または請求項２に記載の監視映像記録システム。
4. 前記ＭＰＥＧ処理部は前記マクロブロックをＰフレームまたはＢフレームから読み込んで出力することを特徴とする請求項１〜３のいずれかに記載の監視映像記録システム。
5. 前記ＭＰＥＧ処理部が、前記映像データの所定のフレーム数ごとに圧縮処理途中の前記映像データを出力することを特徴とする請求項１〜４のいずれかに記載の監視映像記録システム。
   

Images