JP2021106374A - 再生効率を向上させるインテリジェント監視ビデオ再生方法 - Google Patents

Abstract

【課題】本発明は、再生効率を向上させるインテリジェント監視ビデオ再生方法である。【解決手段】本発明のインテリジェント監視ビデオ再生方法では、複数の監視ビデオの同じ時点で抽出された画像を画像グループとして形成し、各画像グループに対して視覚的注目度検出を行ってそのグループに対応する視覚的注目画像を取得し、各グループの視覚的注目画像をパノラマ画像に繋ぎ合わせ、全てのパノラマ画像を対応する仮想監視シーンに変換し、前記仮想監視シーンにおいてパノラマ表示により再生を行う。複数の監視ビデオを一つの仮想監視シーンに統合してパノラマとして見ることにより、複数の監視ビデオの同時再生、再生時間の減少、再生効率の向上を図ることができる。また、本発明では、抽出された画像を処理して視覚的注目画像を取得することにより、再生時にビデオにおける人の目が注目したビデオ情報やビデオの詳細を顕著化することに利し、同様に再生効率を向上させることができる。【選択図】図１

Description

本発明はインテリジェント監視技術分野に関し、より具体的には、本発明は再生効率を向上させるインテリジェント監視ビデオ再生方法に関する。

ビデオ監視は、各産業の主要部門や重要な場所でリアルタイム監視を行うための基礎であり、管理部門は、それを通して有効なビデオ情報を取得し、突発的な異常事象の経緯をタイムリーに監視して記憶し、効率的かつ即時的な指揮と派遣、警備の手配、事件の処理などに利用する。しかし、監視ビデオの再生は時間と手間がかかることが多い。例えば、ある場所のビデオ監視が６台の監視カメラによって行われる場合、監視ビデオを再生するには６本の監視ビデオを再生する必要があるため、６人に分けて見ても多くの時間を要し、しかも監視ビデオの中の多くの時間は無駄である。しかし、有効な手がかりを見つけるために、従来技術では、ビデオレビュー者は、手作業で細かいところをチェックしなければならず、多くの無駄な作業を費やしてきた。かつ、ビデオレビュー者は、６本の監視ビデオを同時にチェックすることができず、全体から監視場所の状況を把握することができない。また、ビデオレビュー者が長時間の視聴により、目が疲れてしまい、重要なビデオ情報やキーポイントとなるビデオの詳細を見落としがちである。

本発明の解決しようとする技術的課題は、複数の監視ビデオを同時に再生し、再生時間を減少させ、且つビデオの中で人の目が注目したビデオ情報やビデオの詳細を顕著化し、再生効率を向上させることができるインテリジェント監視ビデオ再生方法を提供することである。

上述した課題を解決するために、本発明は下記の構成を採用する。
再生効率を向上させるインテリジェント監視ビデオ再生方法は、
複数のビデオを含み、各ビデオが監視角度に対応している監視ビデオを取得し、
前記複数の監視ビデオに対して、同一の再生時間の始点で第１のフレーム画像を抽出し、且つ同一の所定の期間を置いた後に次のフレーム画像を抽出し、同一の再生時間の終点で最後のフレーム画像が抽出されるまで抽出を続け、
複数の監視ビデオの同じ時点で抽出された画像を画像グループとして形成し、各画像グループに対して視覚的注目度検出を行い、そのグループに対応する視覚的注目画像を取得し、
各グループの視覚的注目画像をパノラマ画像に繋ぎ合わせ、
全てのパノラマ画像を対応する仮想監視シーンに変換し、
前記仮想監視シーンにおいてパノラマ表示により再生を行うというステップを含む。

従来技術に比べて、本発明は以下のような有利な効果を有する。
本発明のインテリジェント監視ビデオ再生方法では、複数の監視ビデオの同じ時点で抽出された画像を画像グループとして形成し、各画像グループに対して視覚的注目度検出を行ってそのグループに対応する視覚的注目画像を取得し、各グループの視覚的注目画像をパノラマ画像に繋ぎ合わせ、全てのパノラマ画像を対応する仮想監視シーンに変換し、前記仮想監視シーンにおいてパノラマ表示により再生を行う。複数の監視ビデオを一つの仮想監視シーンに統合してパノラマとして見ることにより、複数の監視ビデオの同時再生、再生時間の減少、再生効率の向上を図ることができる。また、１秒間ないし数秒間内の監視画面は大きな違いがないため、本発明では、複数の監視ビデオに対して、すべての画像を抽出して再生するのではなく、同じ時点で１つのフレーム画像を抽出し、所定の期間を置いた後に次のフレーム画像を抽出することにより、同様に重要なビデオ情報を見逃すことなく再生効率を向上させることができる。また、本発明では、抽出された画像を処理して視覚的注目画像を取得することにより、再生時にビデオにおける人の目が注目したビデオ情報やビデオの詳細を顕著化することに利し、同様に再生効率を向上させることができる。

本発明の再生効率を向上させるインテリジェント監視ビデオ再生方法の一具体実施例のフローチャートである。 本発明の再生効率を向上させるインテリジェント監視ビデオ再生方法における視覚注目画像の取得に係る一具体実施例のフローチャートである。 本発明の再生効率を向上させるインテリジェント監視ビデオ再生方法におけるパノラマ画像繋ぎ合わせの一具体実施例のフローチャートである。

図１を参照すると、その図は本発明の再生効率を向上させるインテリジェント監視ビデオ再生方法の一具体実施例のフローチャートである。本実施例の方法は主に以下のようなステップを含む。

ステップＳ１０１：複数のビデオを含み、各ビデオが監視角度に対応している監視ビデオを取得する。具体的に実現する場合、各ビデオの監視範囲はクロスオーバーしていてもよく、クロスオーバーしていなくてもよい。本実施例では、クロスオーバーの場合を例として説明する。

ステップＳ１０２：前記複数の監視ビデオに対して、同一の再生時間の始点で第１のフレーム画像を抽出し、且つ同一の所定の期間を置いた後に次のフレーム画像を抽出し、同一の再生時間の終点で最後のフレーム画像が抽出されるまで抽出を続ける。具体的に実現する場合、監視ビデオの伝送プロトコルが異なれば、１秒間に伝送されるビデオフレームは異なる。例えば、１秒間に２４フレームの画像が伝送されるが、本発明では、２４フレームの画像をすべて抽出する必要がない。それは、１秒間に伝送される画像は、実際にビデオの内容があまり変わらず、ひいては数秒範囲内の画像でも類似しているからである。したがって、本発明では、実際の状況に応じて所定の期間を設定することができる。例えば、所定の期間を１秒に設定すると、つまり１秒間に１フレームの画像が抽出される。あるいは、所定の期間を３秒に設定すると、つまり３秒間に１フレームの画像が抽出される。また、抽出された時間がバラバラにならないように、画像を抽出する前に、各ビデオの時間を同期させて揃える必要があるが、ここでは説明を省略する。

ステップＳ１０３：複数の監視ビデオの同じ時点で抽出された画像を画像グループとして形成し、各画像グループに対して視覚的注目度検出を行ってそのグループに対応する視覚的注目画像を取得する。本実施例で得られた視覚的注目画像は、再生時に監視シートにおける目標の識別力を向上させるのに便利である。また、従来技術では、画像領域の周囲・近傍領域に対する特徴のコントラストを計算することにより視覚的注目度を取得するが、計算効率が低い。好ましい実施例として、図２を参照されたい。本実施例では、改良された方法によって検出し、具体的には、本実施例の各グループの視覚的注目画像は以下の方法により得られる。

まず、ステップＳ１０３１では、スパースコーディングにより各フレーム画像を特徴記述し、
ステップＳ１０３２では、そのフレーム画像のスパースコーディングに基づいて視覚的注目度の計算を行い、
ステップＳ１０３３では、視覚的注目度の計算結果に基づき、そのフレーム画像に対して視覚的注目領域の分割を行ってそのフレーム画像の視覚的注目画像を取得し、
ステップＳ１０３４では、そのグループの他のフレーム画像に対して前記処理を繰り返し、そのグループの他のフレーム画像に対応する視覚注目画像を取得する。本実施例では、画像のスパースコーディングを用いて視覚的顕著度を計算することで、計算効率を向上させることができる。ここでは説明を省略する。

また、ステップＳ１０４では、各グループの視覚的注目画像をパノラマ画像に繋ぎ合わせる。具体的に実現する場合、好ましい実施例として、図３を参照されたい。本実施例では、各グループの視覚的注目画像をパノラマ画像に繋ぎ合わせることは、具体的に以下のステップを含む。
ステップＳ１０４１：そのグループの視覚的注目画像における任意の２つの画像Ａ、Ｂに対してそれぞれウェーブレット分解を行い、低周波数成分と高周波数成分を取得する。
ステップＳ１０４２：低周波成分の場合、融合画像の低周波係数について、ソース画像の視覚的注目度の値が大きい位置に対応する低周波係数を選択する。
ステップＳ１０４３：高周波成分の場合、融合画像の高周波係数について、絶対値が大きい方を融合後の高周波係数として採用する。
ステップＳ１０４４：融合後の低周波部分と高周波部分に対してウェーブレット逆変換を行うことにより、最終画像Ａ、Ｂのスティッチング画像を取得する。
ステップＳ１０４５：前記方法に従い、各グループの他の視覚的注目画像と画像Ａ、Ｂとを繋ぎ合わせ続けて最終的なパノラマ画像を取得する。

なお、従来技術においてウェーブレット変換を用いて画像融合を行う場合、融合画像は各分解層で別々に行われるが、低周波部分については、分解層数が低いと画像コントラストが低下する。一方、本実施例では、低周波成分について、視覚的注目度に基づく融合アルゴリズムを採用するため、ソース画像の細部を融合させることができ、融合効果がより良好になる。ここでは説明を省略する。

ステップＳ１０５：全てのパノラマ画像を対応する仮想監視シーンに変換する。具体的に実現する場合、パノラマ画像は仮想監視シーンを構成する基本単位であり、従来技術では立方体モード、球体モード及び円柱モードを用いて対応する仮想監視シーンに変換することができる。本実施例では、円柱モードを使用している。すなわち、パノラマ画像を、カメラ視点を中心とした円柱に繋ぎ合わせることで、水平方向において視線の３６０度見渡しを実現できる一方、垂直方向において視線の回転角度が１８０度未満となる。ここでは説明を省略する。

ステップＳ１０６：前記仮想監視シーンにおいてパノラマ表示により再生を行う。具体的に実現する場合、前記仮想監視シーンにおいてパノラマ表示により再生を行うことは、設定された自動ローミング経路に沿ったパノラミック再生である。例えば、３６０度のパノラミック回転で再生した後は、引き続き次の仮想監視シーンを再生する。

上記実施例では、バーチャルリアリティ方式により、複数の監視ビデオを一つの仮想監視シーンに統合して再生することにより、複数の監視ビデオの同時再生、再生時間の減少、再生効率の向上を図ることができる。

また、監視ビデオにおいて、レビュー者が注目すべのは動く物体であり、静止している物体や微動だけしている物体にはあまり注目する必要がない。好ましい実施例として、本発明では、仮想監視シーンに用いる監視ビデオ画像をさらに次のように前処理する。つまり、複数の監視ビデオの同じ時点で抽出された画像を画像グループとして形成する前に、さらに以下のことを含む。
２１） 各監視ビデオから抽出された画像から、第１のフレーム画像によって背景画像ａ（ｘ，ｙ）を作成する。具体的に実現する場合、ガウスモデル法によってモデル化することができ、ｘはそのガウス座標系における横軸で、ｙはそのガウス座標系における縦軸である。
２２） 背景画像ａ（ｘ，ｙ）に対してメディアンフィルタリング、エッジ強調及び２値化を行って背景画像ａ（ｘ，ｙ）の演算後の画像Ａ（ｘ，ｙ）を取得する。
２３） 各監視ビデオから抽出された第２のフレーム画像に対して、同様にメディアンフィルタリング、エッジ強調及び２値化を行って第２のフレーム画像の演算後の画像Ｂ（ｘ，ｙ）を取得する。
２４） 前記画像Ａ（ｘ，ｙ）と画像Ｂ（ｘ，ｙ）に対して差分演算を行ってＤ（ｘ，ｙ） ＝ Ｂ（ｘ，ｙ）−Ａ（ｘ，ｙ）を取得する。
２５） Ｄ（ｘ，ｙ）において値が１である点の数Ｎが閾値Ｔより小さければ、移動目標が検出されなかったと判断し、その数Ｎが閾値Ｔ以上であれば、移動目標が検出されたと判断し、次にＤ（ｘ，ｙ）をトラバースして画素値が１である点を見つけ出し、Ｂ（ｘ，ｙ）の対応位置の画素値を０にして移動目標領域とし、その他の位置の画素値をそのままにして、その第２のフレーム画像に対応する、移動目標領域が顕著化された画像を取得する。具体的に実現する場合、Ｄ（ｘ，ｙ）の値が１であることは動き領域であることを表すが、本実施例では、閾値Ｔを１つ設定し、Ｄ（ｘ，ｙ）の値が１である点の個数Ｎが閾値Ｔより大きい場合のみ、移動目標が検出されたとする。一方、Ｄ（ｘ，ｙ）の値が１である点の個数Ｎが閾値Ｔより小さい場合は、移動目標があったものの、微動のみだったことを表し、移動目標が検出されなかったと見なしてもよい。実際には、監視の再生目的に応じて閾値Ｔの大きさを調整することができる。微細な動きの検出が必要とする場合、閾値Ｔを小さくし、微細な動きを無視してもよい場合、閾値Ｔを大きくすればよい。ここでは、閾値Ｔの値について特に限定しない。なお、本実施例では、Ｂ（ｘ，ｙ）は二値画像であり、Ｂ（ｘ，ｙ）の対応する位置の画素値を０に設定し、つまりハイライト部分又は前景部分を表し、対応する位置の画素値を２５５に設定し、つまり背景部分を表す。Ｂ（ｘ，ｙ）を原画像に重ね合わせれば、原画像において移動目標領域が顕著化された画像が得られる。ここでは説明を省略する。
２６） 各監視映像から抽出された他の残りの画像をステップ２３）〜２５）に従って処理して、他の残りの画像に対応する、移動目標領域が顕著化された画像を取得する。

以上のように、本発明の方法によれば、一方では、再生時間を減少することができる。例えば、レビュー者が駐車場で他の車を擦った事故車を確認するための場合、３本の監視ビデオで各ビデオが３時間だとすると、従来技術では９時間を要するのに対し、本発明では３時間、ひいては１時間又はそれ以下であればよい。他方、静止画面にあまり注意を払う必要がなく、本発明では、上述した画像の前処理によって、車両が動き出す時の移動画面を顕著化することによって、レビュー者は所要する肝心なビデオ情報を素早く発見でき、同様に再生効率を向上させることができる。

以上は、本発明の好ましい実施形態に過ぎず、本発明を限定するものではなく、本発明の精神及び原則内で行われたあらゆる修正、等価変換、改良などは、いずれも本発明の保護範囲内に含まれるべきである。

Claims (6)

1. 再生効率を向上させるインテリジェント監視ビデオ再生方法であって、
   複数のビデオを含み、各ビデオが監視角度に対応している監視ビデオを取得することと、
   前記複数の監視ビデオに対して、同一の再生時間の始点で第１のフレーム画像を抽出し、且つ同一の所定の期間を置いた後に次のフレーム画像を抽出し、同一の再生時間の終点で最後のフレーム画像が抽出されるまで抽出を続けることと、
   複数の監視ビデオの同じ時点で抽出された画像を画像グループとして形成し、各画像グループに対して視覚的注目度検出を行ってそのグループに対応する視覚的注目画像を取得することと、
   各グループの視覚的注目画像をパノラマ画像に繋ぎ合わせることと、
   全てのパノラマ画像を対応する仮想監視シーンに変換することと、
   前記仮想監視シーンにおいてパノラマ表示により再生を行うことと、
   を含むことを特徴とする再生効率を向上させるインテリジェント監視ビデオ再生方法。
2. 複数の監視ビデオの同じ時点で抽出された画像を画像グループとして形成する前に、さらに、
   ２１） 各監視ビデオから抽出された画像から、第１のフレーム画像によって背景画像ａ（ｘ，ｙ）を作成することと、
   ２２） 背景画像ａ（ｘ，ｙ）に対してメディアンフィルタリング、エッジ強調及び２値化を行って背景画像ａ（ｘ，ｙ）の演算後の画像Ａ（ｘ，ｙ）を取得することと、
   ２３） 各監視ビデオから抽出された第２のフレーム画像に対して、同様にメディアンフィルタリング、エッジ強調及び２値化を行って第２のフレーム画像の演算後の画像Ｂ（ｘ，ｙ）を取得することと、
   ２４）前記画像Ａ（ｘ，ｙ）と画像Ｂ（ｘ，ｙ）に対して差分演算を行ってＤ（ｘ，ｙ）＝ Ｂ（ｘ，ｙ）−Ａ（ｘ，ｙ）を取得することと、
   ２５） Ｄ（ｘ，ｙ）において値が１である点の数Ｎが閾値Ｔより小さければ、移動目標が検出されなかったと判断し、その数Ｎが閾値Ｔ以上であれば、移動目標が検出されたと判断し、次にＤ（ｘ，ｙ）をトラバースして画素値が１である点を見つけ出し、Ｂ（ｘ，ｙ）の対応位置の画素値を０にして移動目標領域とし、その他の位置の画素値をそのままにして、その第２のフレーム画像に対応する、移動目標領域が顕著化された画像を取得することと、
   ２６）各監視ビデオから抽出された他の残りの画像をステップ２３）〜２５）に従って処理して、他の残りの画像に対応する、移動目標領域が顕著化された画像を取得することと、
   を含むことを特徴とする請求項１に記載の方法。
3. 各グループの視覚的注目画像は、
   スパースコーディングにより各フレーム画像を特徴記述し、
   そのフレーム画像のスパースコーディングに基づいて視覚的注目度の計算を行い、
   視覚的注目度の計算結果に基づき、そのフレーム画像に対して視覚的注目領域の分割を行ってそのフレーム画像の視覚的注目画像を取得し、
   そのグループの他のフレーム画像に対して前記処理を繰り返し、そのグループの他のフレーム画像に対応する視覚注目画像を取得する、という方法によって得られることを特徴とする請求項１に記載の方法。
4. 各グループの視覚的注目画像をパノラマ画像に繋ぎ合わせることは、具体的に、
   そのグループの視覚的注目画像における任意の２つの画像Ａ、Ｂに対してそれぞれウェーブレット分解を行い、低周波数成分と高周波数成分を取得し、
   低周波成分の場合、融合画像の低周波係数について、ソース画像の視覚的注目度の値が大きい位置に対応する低周波係数を選択し、
   高周波成分の場合、融合画像の高周波係数について、絶対値が大きい方を融合後の高周波係数として採用し、
   融合後の低周波部分と高周波部分に対してウェーブレット逆変換を行うことにより、最終画像Ａ、Ｂのスティッチング画像を取得し、
   前記方法に従い、各グループの他の視覚的注目画像と画像Ａ、Ｂとを繋ぎ合わせ続けて最終的なパノラマ画像を取得することを含む、
   ことを特徴とする請求項１に記載の方法。
5. 前記仮想監視シーンにおいてパノラマ表示により再生を行うことは、設定された自動ローミング経路に沿ったパノラミック再生であることを特徴とする請求項１に記載の方法。
6. 前記所定の期間は、１秒であることを特徴とする請求項１に記載の方法。

Images