JP2005341197A - 映像再生装置、映像再生方法及び映像再生プログラム - Google Patents

Abstract

【課題】 画像再生時において、画像の閲覧に適した再生方向を自動的に選択する。
【解決手段】 複数のフレーム画像から成る映像を取得し、基準フレーム画像の前後の各フレーム画像について差分画像を生成し、生成した差分画像に基づいて、所定領域におけるフレーム画像間の動体の有無を検知し（Ｓ２４）、検知結果に基づいて、再生方向を決定し（Ｓ２５）、決定した方向に、前記基準フレーム画像からフレーム画像を順次再生させる（Ｓ２６，Ｓ２７）。
【選択図】 図６

Description

本発明は、映像を再生する為の映像再生装置、映像再生方法及び映像再生プログラムに関する。

犯罪防止を目的とした映像監視システムが知られている。映像監視システムは、所定の位置に設置されたカメラにより撮影された映像をリアルタイムに再生する機能や、異常を検知した映像のみを検索する機能を提供している。

監視映像は、テレビ番組や映画等のコンテンツと異なり、１台のカメラについて、数日に及ぶ長時間のコンテンツである。従って、監視領域を複数台のカメラで撮影する場合は、コンテンツのデータ量は膨大となる。このため、ユーザが必要とするコンテンツを効率良く閲覧する方法を提供することが、映像監視システムの主要な課題となっている。

ところで、ユーザが、画像再生装置のメモリに一時記憶させてある画像の中から特定画像を検索する場合には、図１０に示すように、まず、表示画面１上のリスト２に検索結果を一覧表示させる。ユーザは、表示画面のリスト２から閲覧したい画像を逐一選択し、表示画面１上に再生画像３として再生してディスプレイ上に表示させる。ところが、ユーザは、必ずしも画像を表示画面の経時的順方向に再生するとは限らない。

例えば、カメラが、ドア４付近を撮影領域５とするように通路側に設置されている場合、図１１に示すように、入室者Ａに関しては入室前を、逆に、図１２に示すように、退室者Ｂに関しては退室後をそれぞれ閲覧した方が、被写体を長い時間、かつ大きなサイズで閲覧することができるからである。

その意味で、前者の場合は入室の瞬間から逆方向に、後者の場合は退室の瞬間から順方向にそれぞれ画像再生すると、入室者Ａおよび退室者Ｂを特定し易いといえる。これらの被写体が入室者Ａであるか退室者Ｂであるかの判断は、例えば図１３に示すように行える。すなわち、シーンの変化点で認識した代表画像６とともに表示されるシーン中の概要（動き内容画像Ｃ１、Ｃ２、・・・Ｃｎ）７を、表示画面１上で閲覧して行うことができる（例えば、特許文献１参照）。

特許第３４３２３４８号公報

ところが、被写体が入室者Ａであるか退室者Ｂであるかの判断は、ユーザが表示画面を見て行うため、この判断およびこの判断に従って順方向あるいは逆方向に画像の再生を行うための手間が煩わしい。

本発明は、上記事情に鑑みてなされたものであって、画像再生時において、画像の閲覧に適した再生方向が自動的に選択される映像再生装置、映像再生方法及び映像再生プログラムを提供するものである。

本発明の映像再生装置は、複数のフレーム画像から成る映像を取得する手段と、基準フレーム画像の前後の各フレーム画像について差分画像を生成する手段と、生成した差分画像に基づいて、所定領域におけるフレーム画像間の動体の有無を検知する手段と、検知結果に基づいて、再生方向を決定する手段と、決定した方向に、前記基準フレーム画像から順次フレーム画像を再生させる手段と、を備える。上記構成によれば、検知結果に基づいて、再生方向を決定する手段を備えることにより、動体の有無に応じて映像の再生方向が決定される為、閲覧に適した方向に映像を再生できる。

また、本発明の映像再生方法は、複数のフレーム画像から成る映像を取得し、基準フレーム画像の前後の各フレーム画像について差分画像を生成し、生成した差分画像に基づいて、所定領域におけるフレーム画像間の動体の有無を検知し、検知結果に基づいて、再生方向を決定し、決定した方向に、前記基準フレーム画像からフレーム画像を順次再生させるものである。

また、本発明の映像再生プログラムは、コンピュータを、本発明の映像再生装置の各手段として機能させるためのプログラムである。

本発明によれば、検知結果に基づいて、再生方向を決定することにより、動体の有無に応じて映像の再生方向が決定される為、閲覧に適した方向に映像を再生できる。

［システム］
図１は、本発明の一実施形態を説明するための映像監視システムのシステム概要を示す図である。図１に示す通り、映像監視システムは、監視領域Ｅ１、Ｅ２、Ｅ３を撮影するカメラ１１ａ、１１ｂ、１１ｃと、コンピュータ１２と、ディスプレイ１３とから構成されている。カメラ１１ａ、１１ｂ、１1ｃは、個々の監視領域Ｅ１、Ｅ２、Ｅ３を撮影して、各撮影データをコンピュータ１２に入力するものである。コンピュータ１２は、各監視領域Ｅ１、Ｅ２、Ｅ３を撮影したカメラ１１ａ、１１ｂ、１１ｃからの画像をディスプレイ１３に表示させるように機能する。

［内部構成］
図２は、図１に示す映像監視システムのコンピュータの構成を示す図である。図２に示す通り、コンピュータ１２は、画像再生制御を実行するＣＰＵ（中央演算処理装置）２１と、主記憶装置２２と、ハードディスク等の二次記憶装置２３と、マウス２４と、ビデオキャプチャボード２５と、ビデオ出力ボード２６とを備えて構成される。

ＣＰＵ２１は、複数のフレーム画像から成る映像を取得する手段、基準フレーム画像の前後の各フレーム画像について差分画像を生成する手段、生成した差分画像に基づいて、所定領域におけるフレーム画像間の動体の有無を検知する手段、検知結果に基づいて、再生方向を決定する手段、決定した方向に、前記基準フレーム画像から順次フレーム画像を再生させる手段、として機能するものである。

ビデオキャプチャボード２５は、カメラ１１で撮影した画像を、コンピュータ１２に取り込むインタフェースの役割をするものである。二次記憶装置２３は、カメラ１１から取り込んだフレーム画像、およびこの取り込んだ複数枚のフレーム画像の差分から求めた動体分布の画像を、フレーム単位で格納する記憶手段である。ビデオ出力ボード２６は、二次記憶装置２３に格納されている画像を、ディスプレイ１３へ出力するインタフェースの役割をするものである。

［動作］
図３は、画像取得手順を示すフローチャートである。まず、ＣＰＵ２１は、カメラ１１からビデオキャプチャボード２５を通じて現フレーム画像を取得する（ステップＳ１１）。ＣＰＵ２１は、この現フレーム画像を受けて、この現フレーム画像と主記憶装置２２に記憶されている前フレーム画像との差分画像を生成する（ステップＳ１２）。さらに、ＣＰＵ２１は、生成された差分画像に対して閾値処理を行い、閾値以上の画素変化を有する領域は動き有り、閾値以下の領域は動き無し、と判定する（ステップＳ１３）。現フレーム画像は、次の差分画像生成のために、主記憶装置２２に一時的に記憶しておく。最後に、閾値処理の結果を、動体分布がある差分画像として二次記憶装置２３に格納する（ステップＳ１４）。以上の動作を、基準フレーム画像の前後、数フレーム分の各フレーム画像について行う。

図４は、差分画像の生成方法を説明するための図であり、図５は、他の差分画像の生成方法を説明するための図である。現フレームと前フレームとの差分画像生成のための動体分布の計算方法としては、図４に示すように、現フレーム画像３１と前フレーム画像３２との差分画像３３から動体検知するフレーム間差分法がある。また、図５に示すように、現フレーム画像３１と動体を含まない背景画像３４との差分画像３５から動体検知する背景差分法等がある。どちらの動体分布の計算方法を適用しても、差分画像を生成することができる。

図６は、画像再生手順を示すフローチャートである。最初に、ＣＰＵ２１は二次記憶装置２３に格納されている任意のフレーム画像（Ｘ）を、ビデオ出力ボード２６を介してディスプレイ１３上に表示する（ステップＳ２１）。なお、記号Ｘは、フレーム番号である。次に、表示画面１の再生画像３６上であって、入室者Ａや退室者Ｂ（の頭部等）の最も大きい画像が得られる部位付近に、動体検知窓３７を設定する。動体検知窓３７は、ユーザにより指定される。

さらに、探索幅を示す変数Ｎを１とする（ステップ２３）。そして、二次記憶装置２３に格納されている動体分布を持つ二枚のフレーム画像（Ｘ±Ｎ）を読み出し、動体検知窓３７内に動体を検知した動体検知画像が存在するか否かを確認する（ステップＳ２４、Ｓ２５）。この判定の結果、フレーム画像（Ｘ−Ｎ）が動体検知画像の場合には、過去方向に画像を再生する（ステップＳ２６）。これに対して、フレーム画像（Ｘ＋Ｎ）が動体検知画像の場合には、未来方向に画像を再生する（ステップＳ２７）。

図８は、動体検知画像と再生方向との関係を説明するための図であり、二次記憶装置２１内のフレーム画像Ｆ１〜Ｆ７のうち、表示されたフレーム画像である表示画像Ｆ４に対して、過去に動体検知画像Ｆ２が存在する場合を模式化して示す。この場合、ＣＰＵ２１は、表示画像Ｆ４から過去方向に順次フレーム画像を再生し、ディスプレイ１３上に表示させる。

図９は、動体検知画像と再生方向との関係を説明するための図であり、表示画像Ｆ４に対して、未来に動体検知画像Ｆ６が存在する場合を模式化して示す。この場合、ＣＰＵ２１は、表示画像Ｆ４から未来方向に順次フレーム画像を再生し、ディスプレイ１３上に表示させる。

ここで、例えばフレーム画像Ｆ２、Ｆ６といった、基準フレーム画像の前後２枚のフレーム画像で動体が検知された場合には、動体検知画像Ｆ２、Ｆ６の時刻情報を参照し、表示されたフレーム画像の時刻情報に近接したフレーム画像が存在する方向に、画像を再生する。

過去および未来の両方向で動体検知画像が存在しない場合には、変数Ｎをインクリメントして探索幅を広げる（ステップＳ２８）。探索幅を規定幅以上拡大しても、動体検知画像が存在しない場合には（ステップＳ２９）、処理を終了する。

次に、ドア利用者を撮影した映像を再生する場合の例を説明する。以下、公知の手法で検出したドア開閉時のフレーム画像を基準フレーム画像とする場合について説明する。図７に示すように、ドア４の脇に動体検知窓３７を設定する。入室者Ａの場合（図１１）は、ドア領域に進入する前のフレーム画像において、動体検知窓３７内で動体が検知されるため、ドアが開いた瞬間のフレーム画像から逆方向にフレーム画像が順次再生される。

一方、退室者Ｂの場合（図１２）は、ドア領域に進入した後のフレーム画像において、動体検知窓３７内で動体が検知されるため、ドアが閉じた瞬間のフレーム画像から順方向にフレーム画像が順次再生される。つまり、入室者Ａと退室者Ｂの両方の場合において、被写体を長い時間、そして、大きいサイズで閲覧することが可能となる。

なお、以上の説明では、ドアの開閉時のフレーム画像を基準フレーム画像としたが、画像を撮影した日時を用いて基準フレーム画像を特定する、所定の領域内で動体が検知された際のフレーム画像を基準フレーム画像とする等、基準フレーム画像を任意に定めることができる。

本発明は、検知結果に基づいて、再生方向を決定することにより、動体の有無に応じて映像の再生方向が決定される為、閲覧に適した方向に映像を再生できる効果を有し、映像を再生する為の映像再生装置、映像再生方法及び映像再生プログラム等に有用である。

本発明の一実施形態による映像監視システムのシステム概要を示す図 本発明の一実施形態による映像監視システムの構成を示す図 本発明の一実施形態による画像取得手順を示すフローチャート 本発明の一実施形態による差分画像の生成方法を説明するための図 本発明の一実施形態による他の差分画像の生成方法を説明するための図 本発明の一実施形態による画像再生手順を示すフローチャート 本発明の一実施形態による動体検知窓を示す図 本発明の一実施形態による動体検知画像と再生方向との関係を説明するための図 本発明の一実施形態による動体検知画像と再生方向との関係を説明するための図 従来の映像検索画面を示す図 従来の入室者の閲覧画面を示す図 従来の退室者の閲覧画面を示す図 従来の被写体が入室者か退室者かを判断するための閲覧画面を示す図

符号の説明

１１ カメラ
１２ コンピュータ
１３ ディスプレイ
２１ ＣＰＵ
２２ 主記憶装置
２３ 二次記憶装置
２５ ビデオキャプチャボード
２６ ビデオ出力ボード
３７ 動体検知窓

Claims (3)

1. 複数のフレーム画像から成る映像を取得する手段と、
   基準フレーム画像の前後の各フレーム画像について差分画像を生成する手段と、
   生成した差分画像に基づいて、所定領域におけるフレーム画像間の動体の有無を検知する手段と、
   検知結果に基づいて、再生方向を決定する手段と、
   決定した方向に、前記基準フレーム画像から順次フレーム画像を再生させる手段と、
   を備える映像再生装置。
2. 複数のフレーム画像から成る映像を取得し、
   基準フレーム画像の前後の各フレーム画像について差分画像を生成し、
   生成した差分画像に基づいて、所定領域におけるフレーム画像間の動体の有無を検知し、
   検知結果に基づいて、再生方向を決定し、
   決定した方向に、前記基準フレーム画像からフレーム画像を順次再生させる映像再生方法。
3. コンピュータを、請求項１記載の各手段として機能させるための映像再生プログラム。

Images