JP2004145564A - Image search system - Google Patents

Image search system Download PDF

Info

Publication number
JP2004145564A
JP2004145564A JP2002308755A JP2002308755A JP2004145564A JP 2004145564 A JP2004145564 A JP 2004145564A JP 2002308755 A JP2002308755 A JP 2002308755A JP 2002308755 A JP2002308755 A JP 2002308755A JP 2004145564 A JP2004145564 A JP 2004145564A
Authority
JP
Japan
Prior art keywords
video
information
classified
group
video information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2002308755A
Other languages
Japanese (ja)
Inventor
Shuji Inoue
井上 修二
Shengu Mei Shen
シェン シェング メイ
Chuck Joo Lee
リー チャック ジョー
Hai Rin Yan
ヤン ハイ リン
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Panasonic Holdings Corp
Original Assignee
Matsushita Electric Industrial Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Matsushita Electric Industrial Co Ltd filed Critical Matsushita Electric Industrial Co Ltd
Priority to JP2002308755A priority Critical patent/JP2004145564A/en
Publication of JP2004145564A publication Critical patent/JP2004145564A/en
Pending legal-status Critical Current

Links

Images

Landscapes

  • Television Signal Processing For Recording (AREA)
  • Image Analysis (AREA)
  • Processing Or Creating Images (AREA)
  • Image Processing (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

<P>PROBLEM TO BE SOLVED: To provide an image search system that can quickly search recorded image information for image information including a particular scene and display it. <P>SOLUTION: The image search system comprises at least one camera 110 for imaging a predetermined point to generate image information, image analyzing means 150 for analyzing the generated image information, image classifying means 161 for classifying the image information into different groups according to analysis results, recording means 162 for recording the classified classification image information in every group, and keyword information input means 170 for inputting keyword information for a search for classification image information; and further comprises searching means 163 for searching the classification image information recorded by the recording means 162 for classification image information corresponding to the input keyword information, reproducing means 171 for reproducing the classification image information searched for, and displaying means 172 for displaying the reproduced classification image information on a screen. <P>COPYRIGHT: (C)2004,JPO

Description

【0001】
【発明の属する技術分野】
本発明は、カメラで撮像して得られた映像情報を記録し、記録された映像を検索して表示する映像検索装置に関する。
【0002】
【従来の技術】
従来の映像検索装置は、監視カメラで撮像し出力された映像情報をネットワーク経由で受信する受信部、受信された映像情報をハードディスクに記録する記録部、記録された映像情報を編集する編集部、及び編集された映像情報を表示する表示部を備えていた(例えば、特許文献1参照。)。
また、監視カメラで撮像した映像を記録するための撮像録画装置と、撮像録画装置から送信された映像データをネットワーク経由で受信して監視する監視装置と、監視装置に接続され映像を表示するモニタ装置とを備え、監視装置は撮像録画装置から送信された映像データを記録しながら映像をモニタ装置へ表示し、映像の検証が必要なときには、所望の映像データを撮像録画装置からネットワーク経由で読み出し、モニタ装置へ映像を表示するものもある(例えば、特許文献2参照。)。
【0003】
【特許文献1】
特開平11−086517号公報(15段落目〜37段落目、図1)
【特許文献2】
特開平11−284987号公報(20段落目、図1)
【0004】
【発明が解決しようとする課題】
しかしながら、このような従来の映像検索装置では、監視カメラを用いて様々な地点から絶え間なく撮像する必要があり、監視カメラから得られた膨大な量の映像情報を記録しているため、記録した映像情報の中から異常事態発生時など特定の場面が含まれる映像情報を多大な時間を費やして検索しているという問題があった。
本発明は、このような従来の問題を解決するためになされたもので、記録した映像情報の中から特定の場面が含まれる映像情報を高速に検索して表示することができる映像検索装置を提供するものである。
【0005】
【課題を解決するための手段】
本発明の映像検索装置は、予め決められた地点を撮像して映像情報を生成する少なくとも1つのカメラと、前記カメラによって生成された前記映像情報を解析する映像解析手段と、前記映像解析手段によって解析された結果に基づいて前記映像情報を互いに異なるグループに分類する映像分類手段と、前記映像分類手段によって分類された分類映像情報を前記グループ毎に記録する記録手段と、前記分類映像情報を検索するためのキーワード情報を入力させるキーワード情報入力手段と、前記キーワード情報入力手段を介して入力された前記キーワード情報に応じた分類映像情報を前記記録手段によって記録された前記分類映像情報の中から検索する検索手段と、前記検索手段によって検索された分類映像情報を再生する再生手段と、前記再生手段によって再生された分類映像情報を画面に表示させる表示手段とを備えた構成を有している。
この構成により、解析した映像情報を互いに異なるグループに分類し、分類された分類映像情報をグループ毎に記録するため、記録した映像情報の中から特定の場面が含まれる映像情報を高速に検索して表示することができる。
【0006】
また、本発明の映像検索装置は、予め決められた地点を撮像して映像情報を生成する少なくとも1つのカメラと、前記カメラによって生成された前記映像情報を多重化する多重化手段と、前記多重化手段によって多重化された多重映像情報を送信する送信手段と、前記送信手段によって送信された多重映像情報を受信する受信手段と、前記受信手段によって受信された多重映像情報を前記映像情報に分割する分割手段と、前記分割手段によって分割され得られた前記映像情報を解析する映像解析手段と、前記映像解析手段によって解析された結果に基づいて前記映像情報を互いに異なるグループに分類する映像分類手段と、前記映像分類手段によって分類された分類映像情報を前記グループ毎に記録する記録手段と、前記分類映像情報を検索するためのキーワード情報を入力させるキーワード情報入力手段と、前記キーワード情報入力手段を介して入力された前記キーワード情報に応じた分類映像情報を前記記録手段によって記録された前記分類映像情報の中から検索する検索手段と、前記検索手段によって検索された分類映像情報を再生する再生手段と、前記再生手段によって再生された分類映像情報を画面に表示させる表示手段とを備えた構成を有している。
この構成により、カメラから撮像して得られた映像情報を多重化し、多重化された映像情報を記録手段側に送信するため、遠隔地で映像情報を検索することができる。
【0007】
また、本発明の映像検索装置は、予め決められた地点を撮像して映像情報を生成する複数のカメラと、前記複数のカメラによってそれぞれ生成された前記映像情報を解析する複数の映像解析手段と、前記複数の映像解析手段によってそれぞれ解析されて得られた解析結果情報を多重化する多重化手段と、前記多重化手段によって多重化された多重映像情報を送信する送信手段と、前記送信手段によって送信された多重映像情報を受信する受信手段と、前記受信手段によって受信された多重映像情報を前記解析結果情報に分割する分割手段と、前記分割手段によって分割され得られた前記解析結果情報に基づいて前記映像情報を互いに異なるグループに分類する映像分類手段と、前記映像分類手段によって分類された分類映像情報を前記グループ毎に記録する記録手段と、前記分類映像情報を検索するためのキーワード情報を入力させるキーワード情報入力手段と、前記キーワード情報入力手段を介して入力された前記キーワード情報に応じた分類映像情報を前記記録手段によって記録された前記分類映像情報の中から検索する検索手段と、前記検索手段によって検索された分類映像情報を再生する再生手段と、前記再生手段によって再生された分類映像情報を画面に表示させる表示手段とを備えた構成を有している。
この構成により、複数のカメラから撮像して得られた映像情報を映像解析手段がそれぞれ解析するため、映像情報を解析処理するための負荷分散を行うことができる。
【0008】
また、本発明の映像検索装置の前記映像分類手段によって複数のグループに分類された分類映像情報を木構造で1つのグループと他のグループとを関連付けて管理するデータベースを有している。
この構成により、分類映像情報を木構造で管理するため、特定の場面が含まれる映像情報をさらに高速に検索し、表示することができる。
【0009】
また、本発明の映像検索装置の前記映像解析手段は、前記カメラによって生成された前記映像情報が静止映像であることを検出する静止映像検出手段を有し、前記映像分類手段は、前記静止映像検出手段によって検出された前記静止映像を構成する静止映像グループおよび前記静止映像以外からなる動き映像を構成する動き映像グループに分類し、前記記録手段のデータベースは、前記映像分類手段によって分類された分類映像情報を前記静止映像グループと前記動き映像グループとに分けて管理する構成を有している。
この構成により、分類映像情報を静止映像グループと動き映像グループに分類して記録手段のデータベースに管理するため、映像情報を効率的に管理することができる。
【0010】
また、本発明の映像検索装置の映像解析手段は、前記カメラによって生成された前記映像情報が人の像であることを検出してさらに前記人の像を構成する顔の像を検出する顔検出手段を有し、前記映像分類手段は、前記顔検出手段によって検出された前記人の像を構成する人グループおよび前記顔の像を構成する顔グループに分類し、前記記録手段のデータベースは、前記映像分類手段によって分類された分類映像情報を前記動き映像グループと前記人グループと前記顔グループとに関連付けて管理する構成を有している。
この構成により、分類映像情報を動き映像グループ、人グループ、および顔グループに関連付けて管理するため、映像情報をより効率的に管理することができる。
【0011】
また、本発明の映像検索装置は、防犯装置から通知される警報情報および前記防犯装置がカードパスを検出したときのカードパス情報を含む通知情報を入力する通知情報入力手段を備え、前記映像分類手段は、前記通知情報が前記通知情報入力手段を介して入力されたとき前記通知情報に応じて前記映像情報を通知グループ、警報グループ、およびカードパスグループに分類し、前記記録手段のデータベースは、前記映像分類手段によって分類された分類映像情報を前記通知グループと前記警報グループと前記カードパスグループとに関連付けて管理する構成を有している。
この構成により、防犯装置から通知される警報情報および前記カードパス情報を含む通知情報にに応じて分類映像情報を通知グループ、警報グループ、およびカードパスグループに関連付けて管理するため、緊急度の高い映像情報を効率的に管理することができる。
【0012】
また、本発明の映像検索装置は、警告情報を通報する通報手段を備え、前記映像分類手段は、前記顔グループに分類された分類映像情報が所定の顔の像か否かを認証する顔認証手段を有し、前記顔認証手段によって所定の顔の像が検出されたとき、前記通報手段は、前記警告情報を通報する構成を有している。
この構成により、分類映像情報に基づいて所定の顔の像か否かを認証して通報するため、特定の被疑者を検出し、通報することができる。
【0013】
また、本発明の映像検索装置は、映像の早送り、巻き戻し、再生、停止、及び一時停止のうち少なくとも1つを含む再生の制御に関する再生制御情報を入力させる再生制御情報入力手段を備え、前記再生手段は、入力された前記再生制御情報に応じて前記分類映像情報の表示の早送り、巻き戻し、再生、停止、及び一時停止のうち少なくとも1つを含む再生の制御を行い、前記表示手段は、前記再生手段によって前記再生の制御がなされた前記分類映像情報を画面に表示させる構成を有している。
この構成により、再生制御情報に応じて分類映像情報の表示の早送り、巻き戻し、再生、停止、及び一時停止のうち少なくとも1つを含む再生の制御を行うため、操作の利便性を向上することができる。
【0014】
また、本発明の映像検索装置の前記表示手段は、前記分類映像の表示の早送り、巻き戻し、再生、停止、及び一時停止のうち少なくとも1つを含む再生の制御に関する再生制御情報を入力させるように表示させ、前記再生制御情報入力手段は、前記再生の制御に関する再生制御情報を入力させる構成を有している。
この構成により、分類映像を表示すると共に、分類映像の表示の早送り、巻き戻し、再生、停止、及び一時停止のうち少なくとも1つを含む再生の制御に関する再生制御情報を入力させるように表示させるため、操作の利便性をより向上することができる。
【0015】
また、本発明の映像検索装置は、端末とネットワークを介して接続されるウェブサーバを備え、前記キーワード情報入力手段は、前記端末から前記ウェブサーバを介して前記キーワード情報を入力させ、前記ウェブサーバは、前記検索手段によって検索された前記分類映像情報を前記ネットワーク介して前記端末に再生させる構成を有している。
この構成により、ネットワークを介してキーワード情報の入力と分類映像情報の再生を行うため、様々な場所から特定の場面が含まれる映像情報を高速に検索して表示することができる。
【0016】
また、本発明の映像検索装置の前記ウェブサーバは、前記複数のグループのうち少なくとも1つのグループを表す情報を入力させるようにブラウザを前記端末に表示させて、前記キーワード情報入力手段は、前記ウェブサーバを介して前記グループを表す情報に基づいて前記キーワード情報を入力させる構成を有している。
この構成により、複数のグループのうち少なくとも1つのグループを表す情報を入力させるようにブラウザを端末に表示してキーワード情報を入力するため、端末の操作の利便性を向上することができる。
【0017】
また、本発明の映像検索装置の前記記録手段は、前記映像分類手段によって分類された分類映像情報のうち所定の分類映像情報のみを記録する構成を有している。
この構成により、所定の分類映像情報以外を記録しないため、ハードディスクなどの記憶容量を削減することができる。
【0018】
【発明の実施の形態】
以下、本発明の実施の形態について、図面を参照して説明する。
(第1の実施の形態)
図1は、本発明の第1の実施の形態に係る映像検索装置のブロック構成図である。本発明の第1の実施の形態に係る映像検索装置100は、映像情報を送信する映像送信器101および映像送信器101によって送信された映像情報を受信する映像受信器102を含むように構成される。
【0019】
映像送信器101は、予め決められた地点を撮像して映像情報を生成するカメラ110、カメラ110によって生成された映像情報を符号化する符号化手段120、および符号化手段120によって符号化された映像情報を形式変換して映像受信器102に送信するトランスコーダ130を含むように構成される。
【0020】
映像受信器102は、映像送信器101によって送信された映像情報を受信するデータサーバ140、映像情報を解析する映像解析手段150、映像解析手段150によって解析された映像情報を分類し、分類された分類映像情報を記録する分類データベース160、分類映像情報を検索するためのキーワード情報を入力させるキーワード情報入力手段170、キーワード情報に応じた分類映像情報を再生する再生手段171、再生手段171によって再生された分類映像情報を画面に表示させる表示手段172、再生の制御に関する再生制御情報を入力させる再生制御情報入力手段173、防犯装置10から通知される警報情報および防犯装置10がカードパスを検出したときのカードパス情報を含む通知情報を入力する通知情報入力手段174、所定の顔の像を検出したとき通報する通報手段180、および端末20とネットワーク30介して接続されるウェブサーバ190を含むように構成される。なお、映像受信器102は、監視センタなどに設置される。
【0021】
カメラ110は、予め決められた地点を撮像して映像情報を生成し、生成された映像情報を符号化手段120に出力するようになっている。なお、図1では、映像検索装置100は、1から50台までのカメラ110を有するが、本発明によればカメラ110の台数は1つ以上設置するようになっている。
【0022】
符号化手段120には、カメラ110によって出力された映像情報が入力され、符号化手段120は、入力された映像情報を符号化し、符号化された映像情報をトランスコーダ130に出力するようになっている。また、符号化手段120は、カメラ110と1対に対応するように接続される。映像情報を符号化する方法に関しては、JPEG(Joint Photographic Expert Group)規格、MPEG(Moving Picture Coding Experts Group)規格、または国際電気通信連合によって標準化されたH.261規格などの公知の技術を用いる。
【0023】
トランスコーダ130は、符号化手段120によって符号化された映像情報を多重化する多重化手段131および多重化手段131によって多重化された多重映像情報を送信する送信手段132を含むように構成される。
【0024】
多重化手段131には、符号化手段120によって出力された映像情報が入力され、多重化手段131は、入力された映像情報をを多重化し、多重化された多重映像情報を送信手段132に出力するようになっている。
【0025】
送信手段132には、多重化手段131によって出力された多重映像情報が入力され、送信手段132は、入力された多重映像情報を映像受信器102に送信するようになっている。
【0026】
データサーバ140は、映像送信器101によって送信された多重映像情報を受信する受信手段141および受信手段141によって受信された多重映像情報を映像情報に分割する分割手段142を含むように構成される。なお、本発明によれば、映像送信器101とデータサーバ140との通信方法に関しては、IEEE(Institute of Electrical and Electronic Engineers)1394規格などの公知の技術を用いる。
【0027】
受信手段141は、映像送信器101によって送信された多重映像情報を受信し、受信された多重映像情報を分割手段142に出力するようになっている。
【0028】
分割手段142には、受信手段141によって出力された多重映像情報が入力され、分割手段142は、入力された多重映像情報を映像情報に分割し、分割された映像情報を出力するようになっている。
【0029】
本発明によれば、図2に示すように、符号化手段120によって符号化された一定時間区間T0のフレームT001からフレームT050は、1番目のカメラ110から50番目のカメラ110によって生成された映像情報をそれぞれ構成するものである。同様に、符号化手段120によって符号化された一定時間区間T1のフレームT101からフレームT150は、1番目のカメラ110から50番目のカメラ110によって生成された映像情報をそれぞれ構成するものである。
【0030】
例えば、分割手段142は、フレームT001からフレームT050、フレームT101からフレームT150、および他の一定時間区間のフレームによって構成される多重映像情報D1を複数のフレームに分割し、分割された複数のフレームを映像解析手段150に出力するようになっている。
【0031】
なお、本発明によれば、データサーバ140によって受信される多重映像情報の情報量が、データサーバ140が映像解析手段150に出力する映像情報の情報量よりも多いとき、データサーバ140は、多重映像情報または映像情報を一時的に蓄積するようにしてもよい。
【0032】
図2は、映像解析手段150のブロック構成図である。図2に示すように、映像解析手段150は、映像情報を復号化する復号化手段151、映像情報から静止映像を検出する静止映像検出手段152、映像情報から顔の像を検出する顔検出手段153、および映像情報を符号化する再符号化手段154を含むように構成される。また、映像解析手段150には、データサーバ140によって出力された映像情報を解析し、解析されて得られた解析結果情報を分類データベース160に出力するようになっている。なお、本発明によれば、データサーバ140と映像解析手段150との通信方法に関しては、IEEE1394規格などの公知の技術を用いる。
【0033】
復号化手段151には、データサーバ140によって出力された映像情報が入力され、復号化手段151は、入力された映像情報を復号化し、復号化された映像情報を静止映像検出手段152に出力するようになっている。
【0034】
静止映像検出手段152には、復号化手段151によって出力された映像情報が入力され、静止映像検出手段152は、入力された映像情報が静止映像であることを検出した場合、静止映像を表すインデックスを映像情報に付加し、付加された付加映像情報を再符号化手段154に出力するようになっている。また、静止映像検出手段152は、入力された映像情報が静止映像であることを検出しない場合、静止映像以外からなる動き映像を表すインデックスを映像情報に付加し、付加された付加映像情報を再符号化手段154に出力するようになっている。
【0035】
なお、本発明によれば、静止映像は、例えば一定時間間隔で得られた映像情報を構成するフレームに含まれる画素と次の時間間隔のフレームに含まれる画素とを比較して検出される。また、静止映像検出手段152は、入力された映像情報が静止映像であることを検出しない場合、映像情報を顔検出手段153に出力するようにしてもよい。静止映像検出手段152は、予め決められた映像、例えば、黒い帽子、赤いパンツ、緑のコートを着た特定の被疑者を写す映像であることを検出するようにしてもよい。
【0036】
顔検出手段153には、静止映像検出手段152によって出力された映像情報が入力され、顔検出手段153は、入力された映像情報が人の像、車両の像、またはその他の像であることを検出した場合、人の像、車両の像、またはその他の像を表すインデックスを映像情報に付加し、付加された付加映像情報を再符号化手段154に出力するようになっている。また、顔検出手段153は、入力された映像情報が人の像であることを検出した場合、さらに人の像を構成する顔の像を検出し、検出された顔の像を表すインデックスを映像情報に付加し、付加された付加映像情報を再符号化手段154に出力するようになっている。なお、本発明によれば、顔検出手段153は、入力された映像情報に含まれる被写体の像の移動速度を測定して、所定の範囲内の移動速度であったとき、移動速度の情報を表すインデックスを映像情報に付加し、付加された付加映像情報を再符号化手段154に出力するようにしてもよい。
【0037】
再符号化手段154は、静止映像検出手段152および顔検出手段153によって出力された付加映像情報を符号化し、符号化された付加映像情報を分類データベース160に出力するようになっている。
【0038】
分類データベース160は、映像情報を互いに異なるグループに分類する映像分類手段161、映像分類手段161によって分類された分類映像情報をグループ毎に記録する記録手段162、記録手段162によって記録された分類映像情報の中から検索する検索手段163を含むように構成される。
分類データベース160には、映像解析手段150によって解析されて得られた解析結果情報を構成する付加映像情報が入力され、分類データベース160は、入力された付加映像情報に基づいて映像情報を分類し、分類された分類映像情報を記録するようになっている。なお、本発明によれば、映像解析手段150と分類データベース160との通信方法に関しては、IEEE1394規格などの公知の技術を用いる。
【0039】
映像分類手段161には、映像解析手段150によって解析されて得られた解析結果情報を構成する付加映像情報が入力され、映像分類手段161は、入力された付加映像情報に基づいて映像情報を互いに異なるグループに分類し、分類された分類映像情報を記録手段162に出力するようになっている。例えば、映像分類手段161は、入力された付加映像情報に基づいて静止映像を構成する静止映像グループおよび静止映像以外からなる動き映像を構成する動き映像グループに分類し、分類された動き映像グループをさらに人の像を構成する人グループおよび顔の像を構成する顔グループに分類し、分類された分類映像情報を記録手段162に出力するようになっている。
【0040】
また、映像分類手段161は、通知情報入力手段174によって出力された通知情報が入力されたとき、映像分類手段161は、入力された通知情報に応じて映像情報を通知グループ、警報グループ、およびカードパスグループに分類し、分類された分類映像情報を記録手段162に出力するようになっている。なお、カードパスグループとは、映像分類手段161が通知情報を構成するカードパス情報を入力したときの映像情報を分類するためのグループである。
【0041】
図3は、映像分類手段161のブロック構成図である。図3に示すように、映像分類手段161は、所定の顔の像か否かを認証する顔認証手段164によって構成される。映像分類手段161が顔の像を構成する顔グループに分類したとき、顔認証手段164は、顔グループに分類された分類映像情報が所定の顔の像を認証するようになっており、所定の顔の像が検出された場合、警告情報を通報手段180に出力するようになっている。なお、本発明によれば、所定の顔の像か否かを認証する方法に関しては、公知の顔認証技術を用いる。
【0042】
記録手段162は、分類映像情報を記録するハードディスクなどの記憶媒体を有している。記録手段162には、映像分類手段161によって出力された分類映像情報が入力され、記録手段162は、入力された分類映像情報をグループ毎に記録するようになっている。また、記録手段162は、入力された分類映像情報のうち所定の分類映像情報のみをグループ毎に記録するようになっており、映像分類手段161によって複数のグループに分類された分類映像情報を木構造で1つのグループと他のグループとを関連付けて管理するデータベースを有している。
なお、本発明によれば、記録手段162が木構造で分類映像情報を管理する方法に関しては、XML(eXtensible Markup Language)、MPEG−7DDL(Moving Picture coding Experts Group 7 Description Definition Language)規格などの公知の技術を用いる。また、所定の分類映像情報は、例えば、動き映像グループで管理される分類映像情報でもよい。
【0043】
また、記録手段162のデータベースは、映像分類手段161によって分類された分類映像情報を静止映像グループと動き映像グループとに分けて管理し、さらに動き映像グループと人グループと顔グループとを関連付けて管理し、さらに通知グループと警報グループとカードパスグループとを関連付けて管理するようになっている。
【0044】
図4は、データベースの内部の木構造の一例を示す図である。例えば、1番目のカメラ110は、ビルのメインゲートに設置され、N番目のカメラ110は、ビル裏口ドアであるバックドアに設置されており、図4に示すように、1番目のカメラ110のカメラグループ401の配下には、1番目のカメラ110によって生成された分類映像情報を管理し、同様に、N番目のカメラ110のカメラグループ402の配下には、N番目のカメラ110によって生成された分類映像情報を管理するようになっている。なお、Nは自然数である。さらに、カメラグループ402の配下には、日時と関連付けた日時グループ411があり、日時グループ411の配下に、例えば1月1日の分類映像情報を管理するようになっている。さらに、日時グループ411の配下には、時刻と関連付けた時刻グループ421、時刻グループ422、時刻グループ423があり、例えば、時刻グループ422の配下に2時から3時までの分類映像情報を管理するようになっている。
【0045】
時刻グループ422の配下には、通知グループ431、動き映像グループ432、静止映像グループ433、低フレーム速度映像グループ434、高フレーム速度映像グループ435を有している。なお、低フレーム速度映像グループ434および高フレーム速度映像グループ435の配下には、所定のフレーム速度の分類映像情報を管理するようになっている。また、低フレーム速度映像グループ434および高フレーム速度映像グループ435は、時刻グループ422の配下になくてもよい。
さらに、通知グループ431の配下には、警報グループ441およびカードパスグループ442を有し、動き映像グループ432の配下には、人グループ443、車両グループ444、その他のグループ445を有しており、人グループ443の配下に高解像度映像グループ452、高解像度映像グループ452の配下に顔グループ461、顔グループ461の配下に関係者グループ471および非関係者グループ472を有しており、階層化して分類映像情報を管理するようになっている。なお、低解像度映像グループ451および高解像度映像グループ452は、所定の解像度をもつ分類映像情報を管理するが、人グループ443の配下になくてもよい。
例えば、本発明によれば、顔検出手段153が検出して、映像分類手段161が分類した分類映像情報は、日時、時刻と対応する顔グループ461の配下に管理されて、さらに分類映像情報が関係者の顔か否かを判別されたとき、映像分類手段161が分類した分類映像情報は、関係者グループ471または非関係者グループ472の配下に管理される。
【0046】
検索手段163には、キーワード情報入力手段170によって出力されたキーワード情報が入力され、検索手段163は、入力されたキーワード情報に応じた分類映像情報を記録手段162によって記録された分類映像情報の中から検索し、検索された分類映像情報を再生手段171またはウェブサーバ190に出力するようになっている。例えば、キーワード情報が「N番目のカメラ、1月1日、2時から3時、警報」を含む情報を表していたとき、検索手段163は、記録手段162のデータベース内の警報グループ441に管理されている分類映像情報を再生手段171またはウェブサーバ190に出力するようになっている。
【0047】
キーワード情報入力手段170は、外部の装置、例えば、キーボードなどからキーワード情報を入力させるようになっている。キーワード情報入力手段170には、分類映像情報を検索するためのキーワード情報が入力され、キーワード情報入力手段170は、入力されたキーワード情報を検索手段163に出力するようになっている。また、キーワード情報入力手段170には、ウェブサーバ190によって出力されたキーワード情報が入力され、キーワード情報入力手段170は、入力されたキーワード情報を検索手段163に出力するようになっている。
また、キーワード情報入力手段170には、ウェブサーバ190によって出力されたグループを表す情報が入力され、キーワード情報入力手段170は、入力されたグループを表す情報によって構成されるキーワード情報を検索手段163に出力するようになっている。
【0048】
再生手段171には、検索手段163によって出力された分類映像情報が入力され、再生手段171は、入力された分類映像情報を復号化するなどして再生するようになっている。また、再生手段171には、再生制御情報入力手段173によって出力された再生制御情報が入力され、再生手段171は、入力された再生制御情報に応じて分類映像情報の表示の早送り、巻き戻し、再生、停止、及び一時停止のうち少なくとも1つを含む再生の制御を行うようになっている。
【0049】
表示手段172は、モニタまたはディスプレイなどを含むように構成され、再生手段171によって再生された分類映像情報をモニタまたはディスプレイなどの画面に表示させると共に、分類映像の表示の早送り、巻き戻し、再生、停止、及び一時停止のうち少なくとも1つを含む再生の制御に関する再生制御情報を表示させ入力させるようになっている。表示手段172は、再生手段171によって早送り、巻き戻し、再生、停止、及び一時停止のうち少なくとも1つを含む再生の制御がなされた分類映像情報を画面に表示させるようになっている。なお、本発明によれば、再生の制御に関する再生制御情報を表示させ入力させる方法に関しては、タッチパネルなどの画面やウェブブラウザのウィンドから入力させるようにしてもよい。
【0050】
再生制御情報入力手段173は、例えば、ボタンまたはタッチパネルなどの画面やウェブブラウザのウィンドを構成する表示手段172を介してから映像の早送り、巻き戻し、再生、停止、一時停止のうち少なくとも1つを含む再生の制御に関する再生制御情報を入力させるようになっている。再生制御情報入力手段173には、映像の早送り、巻き戻し、再生、停止、及び一時停止のうち少なくとも1つを含む再生の制御に関する再生制御情報が入力され、再生制御情報入力手段173は、入力された再生制御情報を再生手段171に出力するようになっている。
【0051】
通知情報入力手段174には、防犯装置10から通知される警報情報および防犯装置10がカードパスを検出したときのカードパス情報を含む通知情報が入力され、通知情報入力手段174は、入力された通知情報を映像分類手段161に出力するようになっている。
【0052】
通報手段180には、顔認証手段164によって出力された警告情報が入力され、通報手段180は、入力された警告情報を通報するようになっている。なお、本発明によれば、通報する方法に関しては、顔の像を検出した旨の情報を表示するディスプレイ、プリンタなどに出力して、アラームなどを鳴動させるようにしてもよい。
【0053】
ウェブサーバ190は、複数のグループのうち少なくとも1つのグループを表す情報を入力させるブラウザを端末20に表示させるようになっている。ウェブサーバ190には、端末20を利用する利用者によってブラウザを介してグループを表す情報が入力され、ウェブサーバ190は、入力されたグループを表す情報をキーワード情報入力手段170に出力するようになっている。また、ウェブサーバ190には、検索手段163によって出力された分類映像情報が入力され、ウェブサーバ190は、入力された分類映像情報をネットワーク30を介して端末20に再生させるようになっている。
【0054】
以下、本発明の第1の実施の形態に係る映像検索装置100の動作について、図1を参照して説明する。
まず、カメラ110毎によって撮像され得られた映像情報は、符号化手段120によってそれぞれ符号化され、多重化手段131によって多重化される。多重映像情報は、多重化手段131によって送信手段132に出力され、送信手段132によって映像受信器102に送信される。
【0055】
次に、映像送信器101によって送信された多重映像情報は、受信手段141によって受信され、分割手段142によって映像情報に分割され、分割された映像情報は、復号化手段151によって復号化される。復号化された映像情報は、静止映像検出手段152によって静止映像であることが検出された場合、静止映像を表すインデックスが付加され、付加された付加映像情報は、映像分類手段161に出力さる。静止映像検出手段152によって静止映像であることが検出されない場合、復号化された映像情報は、顔検出手段153に出力される。顔検出手段153に出力された映像情報は、人の像、車両の像、またはその他の像であることを検出した場合、人の像、車両の像、またはその他の像を表すインデックスが付加され、付加された付加映像情報は、再符号化手段154に出力される。顔検出手段153に出力された映像情報は、さらに、映像情報が人の像であることが検出された場合、顔の像を表すインデックスが付加され、付加された付加映像情報は、再符号化手段154に出力される。静止映像検出手段152および顔検出手段153によって出力された付加映像情報は、再符号化手段154によって符号化され、映像分類手段161に出力される。インデックスが付加された付加映像情報は、映像分類手段161によって互いに異なるグループに分類され、分類された分類映像情報は、記録手段162によって記録される。
【0056】
一方、付加映像情報は、映像分類手段161によって顔の像を構成する顔グループに分類されたとき、所定の顔の像が顔認証手段164によって認証される。所定の顔の像が検出された場合、警告情報が通報手段180に出力され、通報手段180によって通報される。また、防犯装置10から通知される通知情報は、通知情報入力手段174によって映像分類手段161に出力され、通知情報に応じて映像情報が映像分類手段161によって所定のグループに分類される。
【0057】
キーワード情報は、キーワード情報入力手段170によって検索手段163に出力される。キーワード情報に応じた分類映像情報は、記録手段162のデータベース内の木構造400で管理されている分類映像情報の中から検索手段163によって検索され、再生手段171に出力される。再生制御情報は、表示手段172などを介して入力され、再生制御情報入力手段173によって再生手段171に出力されたとき、再生手段171によって再生制御情報に応じて分類映像情報の表示の早送り、巻き戻し、再生、停止、及び一時停止のうち少なくとも1つを含む再生の制御が行われ、表示手段172によって画面に表示される。
【0058】
また、キーワード情報は、端末20を利用する利用者によってウェブサーバ190を介してブラウザから入力される。キーワード情報を入力させる方法は、利用者がブラウザに所定のホームページのURLを入力して、例えば、ブラウザの画面に表1に示す第1の選択項目「警報検出場面」、「動き映像場面」、「関係者検出場面」、「カメラ識別子」、「日時」、「時刻」を表示させ、利用者は第1の選択項目の中から1つの項目を選択したとき、ブラウザの画面に表1に示す第2の選択項目がキーワード情報入力手段170によってウェブサーバ190を介して表示される。例えば、利用者は第1の選択項目で「警報検出場面」を選択したとき、次に、第2の選択項目「カメラ識別子」、「日時」、「時刻」が表示される。
【表1】

Figure 2004145564
【0059】
具体的には、第1の選択項目で「警報検出場面」を選択して、第2の選択項目で「カメラ識別子」をN番目のカメラ、「日時」を1月1日、「時刻」を2時から3時として選択したとき、キーワード情報は「N番目のカメラ、1月1日、2時から3時、警報」を含む情報を表し、キーワード情報入力手段170によって選択項目に応じて入力されて検索手段163に出力され、検索手段163によって記録手段162のデータベース内の警報グループ441に管理されている分類映像情報が検索される。検索された分類映像情報は、ウェブサーバ190を介して端末20によって再生される。
【0060】
以上説明したように、本発明の第1の実施の形態に係る映像検索装置は、解析した映像情報を互いに異なるグループに分類し、分類された分類映像情報をグループ毎に記録するため、記録した映像情報の中から特定の場面が含まれる映像情報を高速に検索して表示することができる。
また、カメラから撮像して得られた映像情報を多重化し、多重化された映像情報を記録手段側に送信するため、遠隔地で映像情報を検索することができる。
また、分類映像情報を木構造で管理するため、特定の場面が含まれる映像情報をさらに高速に検索し、表示することができる。
また、分類映像情報を静止映像グループと動き映像グループに分類して記録手段のデータベースに管理するため、映像情報を効率的に管理することができる。
また、防犯装置から通知される警報情報および防犯装置がカードパスを検出したときのカードパス情報を含む通知情報にに応じて分類映像情報を通知グループ、警報グループ、およびカードパスグループに関連付けて管理するため、緊急度の高い映像情報を効率的に管理することができる。
また、分類映像情報に基づいて所定の顔の像か否かを認証して通報するため、特定の被疑者を検出し、通報することができる。
また、再生制御情報に応じて分類映像情報の表示の早送り、巻き戻し、再生、停止、及び一時停止のうち少なくとも1つを含む再生の制御を行うため、操作の利便性を向上することができる。
また、分類映像を表示すると共に、分類映像の表示の早送り、巻き戻し、再生、停止、及び一時停止のうち少なくとも1つを含む再生の制御に関する再生制御情報を入力させるように表示させるため、操作の利便性をより向上することができる。
また、ネットワークを介してキーワード情報の入力と分類映像情報の再生を行うため、様々な場所から特定の場面が含まれる映像情報を高速に検索して表示することができる。
また、複数のグループのうち少なくとも1つのグループを表す情報を入力させるようにブラウザを端末に表示してキーワード情報を入力するため、端末の操作の利便性を向上することができる。
また、所定の分類映像情報以外を記録しないため、ハードディスクなどの記憶容量を削減することができる。
【0061】
(第2の実施の形態)
図5は、本発明の第2の実施の形態に係る映像検索装置のブロック構成図である。本発明の第1の実施の形態に係る映像検索装置200は、映像情報を送信する映像送信器201および映像送信器201によって送信された映像情報を受信する映像受信器202を含むように構成される。
【0062】
映像送信器201は、予め決められた地点を撮像して映像情報を生成する複数のカメラ110、カメラ110によって生成された映像情報を解析する映像解析手段150、映像解析手段150によって解析されて得られた解析結果情報を符号化する符号化手段220、および符号化手段220によって符号化された映像情報を形式変換して映像受信器202に送信するトランスコーダ130を含むように構成される。なお、本発明の第2の実施の形態に係る映像送信器201を構成する手段のうち、本発明の第1の実施の形態に係る映像送信器101を構成する手段と同一の手段には同一の符号を付し、それぞれの説明を省略する。
【0063】
映像受信器202は、映像送信器201によって送信された映像情報を受信するデータサーバ140、映像情報を分類し、分類された分類映像情報を記録する分類データベース160、分類映像情報を検索するためのキーワード情報を入力させるキーワード情報入力手段170、キーワード情報に応じた分類映像情報を再生する再生手段171、再生手段171によって再生された分類映像情報を画面に表示させる表示手段172、再生の制御に関する再生制御情報を入力させる再生制御情報入力手段173、防犯装置10から通知される警報情報および防犯装置10がカードパスを検出したときのカードパス情報を含む通知情報を入力する通知情報入力手段174、所定の顔の像を検出したとき通報する通報手段180、および端末20とネットワーク30介して接続されるウェブサーバ190を含むように構成される。なお、本発明の第2の実施の形態に係る映像受信器202を構成する手段のうち、本発明の第1の実施の形態に係る映像受信器102を構成する手段と同一の手段には同一の符号を付し、それぞれの説明を省略する。また、映像受信器202は、監視センタなどに設置される。
【0064】
複数の映像解析手段150には、複数のカメラ110によってそれぞれ生成された映像情報が入力され、複数の映像解析手段150は、入力された映像情報をそれぞれ解析し、解析されて得られた解析結果情報を符号化手段220に出力するようになっている。映像解析手段150のブロック構成を示す図であり、映像解析手段150は、復号化手段151、静止映像検出手段152、顔検出手段153、および再符号化手段154を含むように構成される。本発明の第2の実施の形態に係る映像解析手段150を構成する手段と本発明の第1の実施の形態に係る映像解析手段150は同一であるため、それぞれの説明を省略する。
【0065】
符号化手段220には、映像解析手段150によって出力された映像情報が入力され、符号化手段220は、入力された解析結果情報を符号化し、符号化された映像情報をトランスコーダ130に出力するようになっている。また、符号化手段220は、映像解析手段150と1対に対応するように接続される。
【0066】
以下、本発明の第2の実施の形態に係る映像検索装置200の動作について、図5を参照して説明する。なお、映像検索装置200の動作のうち、本発明の第1の実施の形態に係る映像検索装置100の動作と同一の部分については、その説明を省略する。
まず、カメラ110毎によって撮像され得られた映像情報は、映像解析手段150によってそれぞれ解析されてインデックスが付加され、付加された付加映像情報を構成する解析結果情報は、符号化手段220によってそれぞれ符号化され、多重化手段131によって多重化される。多重映像情報は、多重化手段131によって送信手段132に出力され、送信手段132によって映像受信器202に送信される。
【0067】
次に、映像送信器201によって送信された多重映像情報は、受信手段141によって受信され、分割手段142によって付加映像情報に分割され、分割された付加映像情報は、映像分類手段161に出力される。インデックスが付加された付加映像情報は、映像分類手段161によって互いに異なるグループに分類され、分類された分類映像情報は、記録手段162によって記録される。
【0068】
以上説明したように、本発明の第2の実施の形態に係る映像検索装置は、複数のカメラから撮像して得られた映像情報を映像解析手段がそれぞれ解析するため、映像情報を解析処理するための負荷分散を行うことができる。
【0069】
【発明の効果】
以上説明したように、本発明は、解析した映像情報を互いに異なるグループに分類し、分類された分類映像情報をグループ毎に記録するため、記録した映像情報の中から特定の場面が含まれる映像情報を高速に検索して表示することができる映像検索装置を提供するものである。
【図面の簡単な説明】
【図1】本発明の第1の実施の形態に係る映像検索装置のブロック構成図
【図2】映像解析手段のブロック構成図
【図3】映像分類手段のブロック構成図
【図4】データベースの内部の木構造の一例を示す図
【図5】本発明の第2の実施の形態に係る映像検索装置のブロック構成図
【符号の説明】
10 防犯装置
20 端末
30 ネットワーク
100、200 映像検索装置
101、201 映像送信器
102、202 映像受信器
110 カメラ
120、220 符号化手段
130 トランスコーダ
131 多重化手段
132 送信手段
140 データサーバ
141 受信手段
142 分割手段
150 映像解析手段
151 復号化手段
152 静止映像検出手段
153 顔検出手段
154 再符号化手段
160 分類データベース
161 映像分類手段
162 記録手段
163 検索手段
164 顔認証手段
170 キーワード情報入力手段
171 再生手段
172 表示手段
173 再生制御情報入力手段
174 通知情報入力手段
180 通報手段
190 ウェブサーバ
400 木構造
401 1番目のカメラのカメラグループ
402 N番目のカメラのカメラグループ
411 日時グループ
421、422、423 時刻グループ
431 通知グループ
432 動き映像グループ
433 静止映像グループ
434 低フレーム速度映像グループ
435 高フレーム速度映像グループ
441 警報グループ
442 カードパスグループ
443 人グループ
444 車両グループ
445 その他のグループ
451 低解像度映像グループ
452 高解像度映像グループ
461 顔グループ
471 関係者グループ
472 非関係者グループ[0001]
TECHNICAL FIELD OF THE INVENTION
The present invention relates to a video search device that records video information obtained by imaging with a camera, and searches and displays the recorded video.
[0002]
[Prior art]
A conventional video search device is a receiving unit that receives video information captured and output by a surveillance camera via a network, a recording unit that records received video information on a hard disk, an editing unit that edits the recorded video information, And a display unit for displaying the edited video information (for example, see Patent Document 1).
Also, an imaging and recording device for recording an image captured by a monitoring camera, a monitoring device for receiving and monitoring video data transmitted from the imaging and recording device via a network, and a monitor connected to the monitoring device and displaying the image. The monitoring device displays the video on the monitor device while recording the video data transmitted from the imaging and recording device, and when the video needs to be verified, reads the desired video data from the imaging and recording device via the network. There is also a device that displays an image on a monitor device (for example, see Patent Document 2).
[0003]
[Patent Document 1]
JP-A-11-086517 (paragraphs 15 to 37, FIG. 1)
[Patent Document 2]
JP-A-11-288787 (20th paragraph, FIG. 1)
[0004]
[Problems to be solved by the invention]
However, in such a conventional video search device, it is necessary to continuously capture images from various points using a monitoring camera, and a huge amount of video information obtained from the monitoring camera is recorded. There is a problem that video information including a specific scene such as when an abnormal situation occurs is searched from video information by spending a great deal of time.
SUMMARY OF THE INVENTION The present invention has been made to solve such a conventional problem, and an image search device capable of searching and displaying image information including a specific scene from recorded image information at high speed is provided. To provide.
[0005]
[Means for Solving the Problems]
The video search device of the present invention includes: at least one camera that captures a predetermined point to generate video information; a video analysis unit that analyzes the video information generated by the camera; Video classifying means for classifying the video information into different groups based on the analyzed result, recording means for recording the classified video information classified by the video classification means for each group, and searching for the classified video information Key word information inputting means for inputting keyword information for searching, and searching the classified video information recorded by the recording means for classified video information corresponding to the keyword information input through the keyword information input means. Searching means for reproducing the classified video information searched by the searching means; It has a configuration that includes a display means for displaying on the screen the classification video information reproduced by means.
With this configuration, the analyzed video information is classified into different groups, and the classified video information is recorded for each group. Therefore, video information including a specific scene is quickly searched from the recorded video information. Can be displayed.
[0006]
Further, the video search device of the present invention includes: at least one camera that captures a predetermined point to generate video information; multiplexing means that multiplexes the video information generated by the camera; Transmitting means for transmitting the multiplexed video information multiplexed by the converting means, receiving means for receiving the multiplexed video information transmitted by the transmitting means, and dividing the multiplexed video information received by the receiving means into the video information Dividing means, a video analyzing means for analyzing the video information obtained by division by the dividing means, and a video classifying means for classifying the video information into different groups based on a result analyzed by the video analyzing means. Recording means for recording classified video information classified by the video classification means for each group; and searching for the classified video information Keyword information inputting means for inputting keyword information for searching, and searching the classified video information recorded by the recording means for classified video information corresponding to the keyword information input through the keyword information inputting means. And a reproducing unit for reproducing the classified video information retrieved by the retrieving unit, and a display unit for displaying the classified video information reproduced by the reproducing unit on a screen.
With this configuration, the video information obtained by imaging from the camera is multiplexed, and the multiplexed video information is transmitted to the recording unit, so that the video information can be searched at a remote place.
[0007]
Further, the video search device of the present invention includes a plurality of cameras that generate video information by imaging a predetermined point, and a plurality of video analysis units that analyze the video information respectively generated by the plurality of cameras. Multiplexing means for multiplexing analysis result information obtained by being analyzed by the plurality of video analysis means, transmitting means for transmitting multiplexed video information multiplexed by the multiplexing means, A receiving unit that receives the transmitted multiplexed video information, a dividing unit that divides the multiplexed video information received by the receiving unit into the analysis result information, and based on the analysis result information obtained by the division unit. Video classification means for classifying the video information into different groups, and classifying the video information classified by the video classification means into the groups. Recording means for recording each time, keyword information input means for inputting keyword information for searching for the classified video information, and classified video information corresponding to the keyword information input via the keyword information input means. Searching means for searching from among the classified video information recorded by the recording means, reproducing means for reproducing the classified video information searched by the searching means, and displaying the classified video information reproduced by the reproducing means on a screen And a display means for causing the display to be turned on.
According to this configuration, the video information obtained by capturing images from the plurality of cameras is analyzed by the video analysis unit, so that it is possible to perform a load distribution for analyzing and processing the video information.
[0008]
In addition, the video search device of the present invention has a database for managing the classified video information classified into a plurality of groups by the video classification means in a tree structure in association with one group and another group.
With this configuration, since the classified video information is managed in a tree structure, video information including a specific scene can be searched for and displayed at higher speed.
[0009]
Further, the video analysis means of the video search device of the present invention has a still video detection means for detecting that the video information generated by the camera is a still video, and the video classification means comprises The still image group constituting the still image detected by the detecting means and the moving image group constituting the moving image other than the still image are classified, and the database of the recording means is classified by the image classifying means. The video information is divided and managed in the still video group and the motion video group.
With this configuration, the classified video information is classified into a still video group and a moving video group and managed in the database of the recording unit, so that the video information can be efficiently managed.
[0010]
Further, the image analysis means of the image search device of the present invention detects the image information generated by the camera as a person image, and further detects a face image constituting the person image. Means, the video classification means classifies into a person group constituting the image of the person detected by the face detection means and a face group constituting the image of the face, the database of the recording means, A configuration is provided in which the classified video information classified by the video classification means is managed in association with the motion video group, the human group, and the face group.
With this configuration, the classified video information is managed in association with the motion video group, the human group, and the face group, so that the video information can be managed more efficiently.
[0011]
The video search device of the present invention further includes a notification information input unit that inputs alarm information notified from the security device and notification information including card pass information when the security device detects a card pass, and The means, when the notification information is input via the notification information input means, classifies the video information into a notification group, an alarm group, and a card pass group according to the notification information, and the database of the recording means, A configuration is provided in which the classified video information classified by the video classification means is managed in association with the notification group, the alarm group, and the card pass group.
With this configuration, the classified video information is managed in association with the notification group, the alarm group, and the card path group according to the alarm information notified from the security device and the notification information including the card path information. Video information can be managed efficiently.
[0012]
Further, the video search device of the present invention includes a notifying unit for notifying warning information, wherein the video classification unit authenticates whether or not the classified video information classified into the face group is a predetermined face image. And a notifying means for notifying the warning information when a predetermined face image is detected by the face authentication means.
With this configuration, it is possible to detect and report a specific suspect because the user is authenticated and notified whether or not the image is a predetermined face based on the classified video information.
[0013]
Further, the video search device of the present invention further includes a reproduction control information input unit for inputting reproduction control information relating to reproduction control including at least one of fast forward, rewind, reproduction, stop, and pause of the video, The playback unit controls playback including at least one of fast-forward, rewind, playback, stop, and pause of the display of the classified video information according to the input playback control information. , The classified video information for which the reproduction is controlled by the reproduction means is displayed on a screen.
According to this configuration, control of playback including at least one of fast-forward, rewind, playback, stop, and pause of the display of the classified video information is performed according to the playback control information, so that the convenience of operation is improved. Can be.
[0014]
Also, the display means of the video search device of the present invention may be configured to input reproduction control information relating to reproduction control including at least one of fast-forward, rewind, reproduction, stop, and pause of display of the classified video. And the reproduction control information input means is configured to input reproduction control information relating to the reproduction control.
With this configuration, the classified video is displayed, and the display of the classified video is displayed so as to allow the user to input reproduction control information relating to reproduction control including at least one of fast-forward, rewind, playback, stop, and pause. Therefore, the convenience of the operation can be further improved.
[0015]
In addition, the video search device of the present invention includes a web server connected to a terminal via a network, and the keyword information input unit allows the keyword information to be input from the terminal via the web server; Has a configuration in which the terminal reproduces the classified video information retrieved by the retrieval means via the network.
With this configuration, since the input of the keyword information and the reproduction of the classified video information are performed via the network, it is possible to quickly search and display video information including a specific scene from various places.
[0016]
Further, the web server of the video search device of the present invention causes a browser to be displayed on the terminal so that information representing at least one group among the plurality of groups is input, and the keyword information input unit includes the web server. A configuration is provided in which the keyword information is input via a server based on information representing the group.
With this configuration, the browser is displayed on the terminal to input the keyword information so that the information representing at least one of the plurality of groups is input, so that the convenience of the terminal operation can be improved.
[0017]
Further, the recording means of the video search device of the present invention has a configuration in which only predetermined classification video information among the classification video information classified by the video classification means is recorded.
With this configuration, since the information other than the predetermined classified video information is not recorded, the storage capacity of the hard disk or the like can be reduced.
[0018]
BEST MODE FOR CARRYING OUT THE INVENTION
Hereinafter, embodiments of the present invention will be described with reference to the drawings.
(First Embodiment)
FIG. 1 is a block diagram of the video search device according to the first embodiment of the present invention. The video search device 100 according to the first embodiment of the present invention is configured to include a video transmitter 101 for transmitting video information and a video receiver 102 for receiving video information transmitted by the video transmitter 101. You.
[0019]
The video transmitter 101 captures a predetermined point to generate video information, a camera 110, an encoding unit 120 that encodes the video information generated by the camera 110, and an image encoded by the encoding unit 120. It is configured to include a transcoder 130 that converts video information into a format and transmits the video information to the video receiver 102.
[0020]
The video receiver 102 classifies the data server 140 that receives the video information transmitted by the video transmitter 101, the video analysis unit 150 that analyzes the video information, and the video information that is analyzed by the video analysis unit 150. A classification database 160 for recording the classification video information, a keyword information input unit 170 for inputting keyword information for searching the classification video information, a reproduction unit 171 for reproducing the classification video information according to the keyword information, and a reproduction unit 171 Display means 172 for displaying the classified video information on the screen, reproduction control information input means 173 for inputting reproduction control information relating to reproduction control, alarm information notified from the security device 10, and when the security device 10 detects a card pass. Notification information input means for inputting notification information including the card pass information of 74, configured to include notification means 180, and the terminal 20 and the web server 190 to be connected a network 30 via to the report when it detects the image of the predetermined face. Note that the video receiver 102 is installed in a monitoring center or the like.
[0021]
The camera 110 captures an image of a predetermined point to generate video information, and outputs the generated video information to the encoding unit 120. In FIG. 1, the video search device 100 has from 1 to 50 cameras 110, but according to the present invention, one or more cameras 110 are provided.
[0022]
The video information output by the camera 110 is input to the encoding unit 120, and the encoding unit 120 encodes the input video information and outputs the encoded video information to the transcoder 130. ing. The encoding means 120 is connected to the camera 110 so as to correspond to a pair. Regarding the method of encoding the video information, the Joint Photographic Expert Group (JPEG) standard, the Moving Picture Coding Experts Group (MPEG) standard, or the H.264 standardized by the International Telecommunication Union. A known technology such as the H.261 standard is used.
[0023]
The transcoder 130 is configured to include a multiplexing unit 131 that multiplexes the video information encoded by the encoding unit 120 and a transmission unit 132 that transmits the multiplexed video information multiplexed by the multiplexing unit 131. .
[0024]
The video information output by the encoding means 120 is input to the multiplexing means 131, which multiplexes the input video information and outputs the multiplexed multiplexed video information to the transmission means 132. It is supposed to.
[0025]
The multiplexed video information output by the multiplexing unit 131 is input to the transmitting unit 132, and the transmitting unit 132 transmits the input multiplexed video information to the video receiver 102.
[0026]
The data server 140 is configured to include a receiving unit 141 that receives the multiplexed video information transmitted by the video transmitter 101 and a dividing unit 142 that divides the multiplexed video information received by the receiving unit 141 into video information. According to the present invention, as for a communication method between the video transmitter 101 and the data server 140, a known technique such as IEEE (Institute of Electrical and Electronic Engineers) 1394 standard is used.
[0027]
The receiving unit 141 is configured to receive the multiplexed video information transmitted by the video transmitter 101 and output the received multiplexed video information to the dividing unit 142.
[0028]
The division unit 142 receives the multiplexed video information output by the reception unit 141, and the division unit 142 divides the input multiplexed video information into video information and outputs the divided video information. I have.
[0029]
According to the present invention, as shown in FIG. 2, the frames T001 to T050 of the fixed time interval T0 encoded by the encoding means 120 are images generated by the first camera 110 to the 50th camera 110. It constitutes information. Similarly, the frames T101 to T150 of the fixed time section T1 encoded by the encoding unit 120 constitute the video information generated by the first camera 110 to the 50th camera 110, respectively.
[0030]
For example, the dividing unit 142 divides the multiplexed video information D1 including the frames T001 to T050, the frame T101 to the frame T150, and the frames of another fixed time interval into a plurality of frames, and divides the plurality of divided frames. The data is output to the video analysis means 150.
[0031]
According to the present invention, when the information amount of the multiplexed video information received by the data server 140 is larger than the information amount of the video information output from the data server 140 to the video analysis unit 150, the data server 140 The video information or the video information may be temporarily stored.
[0032]
FIG. 2 is a block diagram of the video analyzing means 150. As shown in FIG. 2, the video analysis unit 150 includes a decoding unit 151 for decoding video information, a still video detection unit 152 for detecting a still video from video information, and a face detection unit for detecting a face image from video information. 153 and a re-encoding unit 154 for encoding video information. Further, the video analysis means 150 analyzes the video information output by the data server 140 and outputs the analysis result information obtained by the analysis to the classification database 160. According to the present invention, a known technique such as the IEEE 1394 standard is used for a communication method between the data server 140 and the video analyzing unit 150.
[0033]
The video information output by the data server 140 is input to the decoding unit 151, and the decoding unit 151 decodes the input video information and outputs the decoded video information to the still video detection unit 152. It has become.
[0034]
The video information output by the decoding unit 151 is input to the still video detection unit 152. When the still video detection unit 152 detects that the input video information is a still video, the still video detection unit 152 generates an index indicating the still video. Is added to the video information, and the added additional video information is output to the re-encoding unit 154. When the still image detecting unit 152 does not detect that the input image information is a still image, the still image detecting unit 152 adds an index representing a motion image other than the still image to the image information, and re-adds the added additional image information. The data is output to the encoding means 154.
[0035]
According to the present invention, a still image is detected, for example, by comparing a pixel included in a frame constituting video information obtained at a constant time interval with a pixel included in a frame at the next time interval. In addition, when the still image detection unit 152 does not detect that the input image information is a still image, the still image detection unit 152 may output the image information to the face detection unit 153. The still image detection unit 152 may detect a predetermined image, for example, an image of a specific suspect wearing a black hat, red pants, and a green coat.
[0036]
The image information output by the still image detection unit 152 is input to the face detection unit 153, and the face detection unit 153 determines that the input image information is an image of a person, an image of a vehicle, or another image. When it is detected, an index representing a person image, a vehicle image, or another image is added to the video information, and the added additional video information is output to the re-encoding unit 154. When detecting that the input video information is a human image, the face detecting means 153 further detects a facial image constituting the human image and adds an index representing the detected facial image to the video. The additional video information added to the information is output to the re-encoding unit 154. According to the present invention, the face detecting means 153 measures the moving speed of the image of the subject included in the input video information, and when the moving speed is within a predetermined range, the information of the moving speed is determined. An index representing the video information may be added to the video information, and the added additional video information may be output to the re-encoding unit 154.
[0037]
The re-encoding unit 154 encodes the additional video information output by the still video detection unit 152 and the face detection unit 153, and outputs the encoded additional video information to the classification database 160.
[0038]
The classification database 160 includes a video classification unit 161 that classifies video information into different groups, a recording unit 162 that records classified video information classified by the video classification unit 161 for each group, and a classification video information recorded by the recording unit 162. It is configured to include a search unit 163 for searching from among.
Additional video information constituting analysis result information obtained by being analyzed by the video analysis unit 150 is input to the classification database 160, and the classification database 160 classifies the video information based on the input additional video information, The classified video information is recorded. According to the present invention, a known technique such as the IEEE 1394 standard is used for a communication method between the video analysis unit 150 and the classification database 160.
[0039]
The additional video information constituting the analysis result information obtained by the analysis by the video analysis unit 150 is input to the video classification unit 161, and the video classification unit 161 separates the video information based on the input additional video information. The video data is classified into different groups, and the classified video information is output to the recording unit 162. For example, the video classifying unit 161 classifies a motion video group that forms a still video and a motion video group that forms a motion video other than a still video based on the input additional video information, and classifies the classified motion video group. Further, the image data is classified into a person group forming a person image and a face group forming a face image, and the classified video information is output to the recording means 162.
[0040]
When the notification information output by the notification information input unit 174 is input, the video classification unit 161 displays the video information according to the input notification information in the notification group, the alarm group, and the card. The video data is classified into pass groups, and the classified video information is output to the recording unit 162. Note that the card path group is a group for classifying the video information when the video classifying unit 161 inputs the card pass information constituting the notification information.
[0041]
FIG. 3 is a block diagram of the video classification unit 161. As shown in FIG. 3, the video classification unit 161 is configured by a face authentication unit 164 that authenticates whether or not the image is a predetermined face image. When the video classifying unit 161 classifies a face image into a face group, the face authenticating unit 164 is configured so that the classified video information classified into the face group authenticates a predetermined face image. When a face image is detected, warning information is output to the notifying unit 180. According to the present invention, a known face authentication technology is used for a method of authenticating whether or not the image is a predetermined face image.
[0042]
The recording means 162 has a storage medium such as a hard disk for recording classified video information. The recording unit 162 receives the classified video information output by the video classification unit 161, and the recording unit 162 records the input classified video information for each group. The recording means 162 records only predetermined classification video information among the input classification video information for each group, and stores the classification video information classified into a plurality of groups by the video classification means 161 as a tree. It has a database that manages one group in association with another group in structure.
In addition, according to the present invention, as for the method in which the recording unit 162 manages the classified video information in a tree structure, XML (extensible Markup Language), MPEG-7DDL (Moving Picture Coding Experts Group, Standard Edition, etc.) The technology of is used. Further, the predetermined classified video information may be, for example, classified video information managed in a motion video group.
[0043]
The database of the recording unit 162 manages the classified video information classified by the video classifying unit 161 into a still video group and a motion video group, and further manages the motion video group, the human group, and the face group in association with each other. In addition, the notification group, the alarm group, and the card pass group are managed in association with each other.
[0044]
FIG. 4 is a diagram illustrating an example of a tree structure inside the database. For example, the first camera 110 is installed at the main gate of the building, and the Nth camera 110 is installed at the back door that is the back door of the building. As shown in FIG. Under the camera group 401, the classified video information generated by the first camera 110 is managed. Similarly, under the camera group 402 of the Nth camera 110, the classified video information is generated by the Nth camera 110. Classified video information is managed. Note that N is a natural number. Further, under the camera group 402, there is a date and time group 411 associated with the date and time. Under the date and time group 411, for example, the classified video information of January 1 is managed. Further, under the date and time group 411, there are a time group 421, a time group 422, and a time group 423 associated with the time. For example, the subordinate of the time group 422 manages the classified video information from 2:00 to 3:00. It has become.
[0045]
Under the time group 422, there are a notification group 431, a motion video group 432, a still video group 433, a low frame rate video group 434, and a high frame rate video group 435. It is to be noted that, under the low frame rate video group 434 and the high frame rate video group 435, classified video information of a predetermined frame rate is managed. Also, the low frame rate video group 434 and the high frame rate video group 435 need not be under the time group 422.
Further, under the notification group 431, there are an alarm group 441 and a card path group 442, and under the motion video group 432, there are a person group 443, a vehicle group 444, and another group 445. The group 443 has a high-resolution video group 452, the high-resolution video group 452 has a face group 461, and the face group 461 has a related group 471 and a non-related group 472. It manages information. Note that the low-resolution video group 451 and the high-resolution video group 452 manage classified video information having a predetermined resolution, but do not need to be under the human group 443.
For example, according to the present invention, the classified video information detected by the face detection unit 153 and classified by the video classification unit 161 is managed under the face group 461 corresponding to the date and time, and the classified video information is further When it is determined whether the face is a related person's face, the classified video information classified by the video classifying unit 161 is managed under the related party group 471 or the non-related party group 472.
[0046]
The search unit 163 receives the keyword information output by the keyword information input unit 170, and the search unit 163 stores the classified video information corresponding to the input keyword information in the classified video information recorded by the recording unit 162. , And outputs the searched classified video information to the reproducing unit 171 or the web server 190. For example, when the keyword information indicates information including “Nth camera, January 1, 2:00 to 3:00, alarm”, the search unit 163 manages the alarm group 441 in the database of the recording unit 162. The classified video information is output to the reproducing means 171 or the web server 190.
[0047]
The keyword information input means 170 inputs keyword information from an external device, for example, a keyboard. Keyword information for searching for classified video information is input to the keyword information input means 170, and the keyword information input means 170 outputs the input keyword information to the search means 163. Also, the keyword information output by the web server 190 is input to the keyword information input means 170, and the keyword information input means 170 outputs the input keyword information to the search means 163.
The keyword information input unit 170 receives information representing the group output by the web server 190. The keyword information input unit 170 sends the keyword information constituted by the information representing the input group to the search unit 163. Output.
[0048]
The reproduction unit 171 receives the classified video information output by the search unit 163, and the reproduction unit 171 reproduces the input classified video information by decoding or the like. Further, the reproduction control information output from the reproduction control information input means 173 is input to the reproduction means 171, and the reproduction means 171 fast-forwards, rewinds, and displays the classified video information according to the input reproduction control information. Reproduction control including at least one of reproduction, stop, and pause is performed.
[0049]
The display unit 172 is configured to include a monitor or a display. The display unit 172 displays the classified video information reproduced by the reproduction unit 171 on a screen such as a monitor or a display. Reproduction control information relating to reproduction control including at least one of stop and pause is displayed and input. The display unit 172 displays the classified video information on which reproduction control including at least one of fast forward, rewind, reproduction, stop, and pause has been performed by the reproduction unit 171 is displayed on the screen. According to the present invention, the method of displaying and inputting the reproduction control information relating to the reproduction control may be input from a screen such as a touch panel or a window of a web browser.
[0050]
The playback control information input unit 173 performs, for example, at least one of fast-forward, rewind, playback, stop, and pause of the video via a screen such as a button or a touch panel or a display unit 172 configuring a window of a web browser. The reproduction control information relating to the reproduction control including the reproduction control information is input. The playback control information input means 173 receives playback control information relating to playback control including at least one of fast forward, rewind, playback, stop, and pause of the video. The playback control information thus output is output to the playback means 171.
[0051]
The notification information including the alarm information notified from the security device 10 and the card pass information when the security device 10 detects the card pass is input to the notification information input unit 174. The notification information is output to the video classifying unit 161.
[0052]
The warning information output by the face authentication unit 164 is input to the notification unit 180, and the notification unit 180 reports the input warning information. According to the present invention, as for the notification method, information indicating that a face image has been detected may be output to a display, a printer, or the like, and an alarm or the like may be sounded.
[0053]
The web server 190 causes the terminal 20 to display a browser for inputting information representing at least one of the plurality of groups. Information indicating a group is input to the web server 190 by a user using the terminal 20 via a browser, and the web server 190 outputs the information indicating the input group to the keyword information input unit 170. ing. In addition, the classified video information output by the search unit 163 is input to the web server 190, and the web server 190 reproduces the input classified video information on the terminal 20 via the network 30.
[0054]
Hereinafter, the operation of the video search device 100 according to the first embodiment of the present invention will be described with reference to FIG.
First, video information obtained by each camera 110 is encoded by the encoding unit 120 and multiplexed by the multiplexing unit 131. The multiplexed video information is output to the transmission unit 132 by the multiplexing unit 131 and transmitted to the video receiver 102 by the transmission unit 132.
[0055]
Next, the multiplexed video information transmitted by the video transmitter 101 is received by the receiving unit 141, divided into video information by the dividing unit 142, and the divided video information is decoded by the decoding unit 151. When the decoded video information is detected by the still video detection unit 152 to be a still video, an index indicating the still video is added, and the added additional video information is output to the video classification unit 161. When the still image is not detected by the still image detecting unit 152, the decoded image information is output to the face detecting unit 153. When the video information output to the face detection unit 153 is detected as a person image, a vehicle image, or another image, an index representing a person image, a vehicle image, or another image is added. Are added to the re-encoding means 154. The video information output to the face detection means 153 is further added with an index indicating a face image when the video information is detected as a human image, and the added additional video information is re-encoded. Output to means 154. The additional video information output by the still video detection unit 152 and the face detection unit 153 is encoded by the re-encoding unit 154 and output to the video classification unit 161. The additional video information to which the index has been added is classified into different groups by the video classification means 161, and the classified video information is recorded by the recording means 162.
[0056]
On the other hand, when the additional video information is classified by the video classification unit 161 into a face group forming a face image, a predetermined face image is authenticated by the face authentication unit 164. When a predetermined face image is detected, warning information is output to the notifying unit 180 and notified by the notifying unit 180. In addition, the notification information notified from the security device 10 is output to the video classification unit 161 by the notification information input unit 174, and the video information is classified into a predetermined group by the video classification unit 161 according to the notification information.
[0057]
The keyword information is output to the search unit 163 by the keyword information input unit 170. The classification video information according to the keyword information is searched by the search unit 163 from the classification video information managed by the tree structure 400 in the database of the recording unit 162, and is output to the reproduction unit 171. The reproduction control information is input via the display means 172 or the like, and when output to the reproduction means 171 by the reproduction control information input means 173, the reproduction means 171 fast-forwards or winds the display of the classified video information according to the reproduction control information. Playback control including at least one of return, playback, stop, and pause is performed, and is displayed on the screen by the display unit 172.
[0058]
The keyword information is input from a browser via a web server 190 by a user using the terminal 20. In the method of inputting the keyword information, the user inputs the URL of a predetermined homepage into the browser, and for example, displays the first selection items “alarm detection scene”, “moving video scene”, The "related person detection scene", "camera identifier", "date and time", and "time" are displayed. When the user selects one of the first selection items, the screen shown in Table 1 is displayed on the browser screen. The second selection item is displayed by the keyword information input means 170 via the web server 190. For example, when the user selects “alarm detection scene” in the first selection item, then the second selection items “camera identifier”, “date and time”, and “time” are displayed.
[Table 1]
Figure 2004145564
[0059]
Specifically, “alarm detection scene” is selected in the first selection item, “camera identifier” is the Nth camera, “date and time” is January 1, and “time” is When selected from 2:00 to 3:00, the keyword information represents information including “Nth camera, January 1, 2:00 to 3:00, alarm”, and is input by the keyword information input unit 170 according to the selected item. The output is output to the search unit 163, and the search unit 163 searches for the classified video information managed by the alarm group 441 in the database of the recording unit 162. The searched classified video information is reproduced by the terminal 20 via the web server 190.
[0060]
As described above, the video search device according to the first embodiment of the present invention classifies the analyzed video information into different groups and records the classified video information in order to record the classified video information for each group. Video information including a specific scene can be retrieved and displayed at high speed from the video information.
Further, since the video information obtained by imaging from the camera is multiplexed and the multiplexed video information is transmitted to the recording means, the video information can be searched at a remote place.
Further, since the classified video information is managed in a tree structure, video information including a specific scene can be searched for and displayed at higher speed.
Further, since the classified video information is classified into a still video group and a moving video group and managed in the database of the recording means, the video information can be efficiently managed.
Also, the classified video information is managed in association with the notification group, the alarm group, and the card path group according to the alarm information notified from the security device and the notification information including the card path information when the security device detects the card path. Therefore, video information having a high degree of urgency can be efficiently managed.
In addition, since a specific face image is authenticated and reported based on the classified video information, a specific suspect can be detected and reported.
In addition, since the playback control including at least one of fast-forward, rewind, playback, stop, and pause of the display of the classified video information is performed according to the playback control information, the convenience of the operation can be improved. .
Also, in order to display the classified video and to display so as to input reproduction control information relating to reproduction control including at least one of fast-forward, rewind, reproduction, stop, and pause of the display of the classified video, Can be further improved.
In addition, since the keyword information is input and the classified video information is reproduced via the network, it is possible to quickly search and display video information including a specific scene from various places.
In addition, since the browser is displayed on the terminal and the keyword information is input so that information representing at least one of the plurality of groups is input, the convenience of the terminal operation can be improved.
In addition, since information other than the predetermined classified video information is not recorded, the storage capacity of a hard disk or the like can be reduced.
[0061]
(Second embodiment)
FIG. 5 is a block diagram of a video search device according to the second embodiment of the present invention. The video search device 200 according to the first embodiment of the present invention is configured to include a video transmitter 201 for transmitting video information and a video receiver 202 for receiving video information transmitted by the video transmitter 201. You.
[0062]
The video transmitter 201 includes a plurality of cameras 110 that capture a predetermined point to generate video information, a video analysis unit 150 that analyzes video information generated by the camera 110, and a video image that is obtained by being analyzed by the video analysis unit 150. It is configured to include an encoding unit 220 that encodes the obtained analysis result information, and a transcoder 130 that converts the format of the video information encoded by the encoding unit 220 and transmits it to the video receiver 202. It should be noted that among the units constituting the video transmitter 201 according to the second embodiment of the present invention, the same units as those constituting the video transmitter 101 according to the first embodiment of the present invention are the same. And the description thereof is omitted.
[0063]
The video receiver 202 includes a data server 140 that receives the video information transmitted by the video transmitter 201, a classification database 160 that classifies the video information, and records the classified video information, and a search for the classified video information. Keyword information input means 170 for inputting keyword information, reproducing means 171 for reproducing classified video information according to the keyword information, display means 172 for displaying the classified video information reproduced by the reproducing means 171 on a screen, reproduction relating to reproduction control A reproduction control information input unit 173 for inputting control information; a notification information input unit 174 for inputting alarm information notified from the security device 10 and notification information including card pass information when the security device 10 detects a card pass; Notifying means 180 for notifying when an image of the face is detected, and terminal 20 Configured to include a web server 190 connected Ttowaku 30 through it. It should be noted that among the units constituting the video receiver 202 according to the second embodiment of the present invention, the same units as those constituting the video receiver 102 according to the first embodiment of the present invention are the same. And the description thereof is omitted. The video receiver 202 is installed in a monitoring center or the like.
[0064]
The video information generated by each of the plurality of cameras 110 is input to the plurality of video analysis units 150. The plurality of video analysis units 150 respectively analyze the input video information, and obtain an analysis result obtained by the analysis. The information is output to the encoding means 220. FIG. 3 is a diagram showing a block configuration of a video analysis unit 150, which is configured to include a decoding unit 151, a still video detection unit 152, a face detection unit 153, and a re-encoding unit 154. The means constituting the video analyzing means 150 according to the second embodiment of the present invention and the video analyzing means 150 according to the first embodiment of the present invention are the same, and the description thereof will be omitted.
[0065]
The video information output by the video analysis unit 150 is input to the encoding unit 220, and the encoding unit 220 encodes the input analysis result information and outputs the encoded video information to the transcoder 130. It has become. Further, the encoding unit 220 is connected to the video analysis unit 150 so as to correspond to a pair.
[0066]
Hereinafter, the operation of the video search device 200 according to the second embodiment of the present invention will be described with reference to FIG. Note that, among the operations of the video search device 200, the same portions as those of the video search device 100 according to the first embodiment of the present invention will not be described.
First, the video information obtained by each camera 110 is analyzed by the video analysis means 150 and added with an index, and the analysis result information constituting the added additional video information is encoded by the encoding means 220 respectively. And multiplexed by the multiplexing means 131. The multiplexed video information is output to the transmission unit 132 by the multiplexing unit 131 and transmitted to the video receiver 202 by the transmission unit 132.
[0067]
Next, the multiplexed video information transmitted by the video transmitter 201 is received by the receiving unit 141, divided into additional video information by the dividing unit 142, and the divided additional video information is output to the video classifying unit 161. . The additional video information to which the index has been added is classified into different groups by the video classification means 161, and the classified video information is recorded by the recording means 162.
[0068]
As described above, in the video search device according to the second embodiment of the present invention, the video information is analyzed by the video analysis means so that the video analysis means analyzes the video information obtained by imaging from the plurality of cameras. Load distribution can be performed.
[0069]
【The invention's effect】
As described above, according to the present invention, the analyzed video information is classified into different groups, and the classified video information is recorded for each group. It is an object of the present invention to provide a video search device capable of searching and displaying information at high speed.
[Brief description of the drawings]
FIG. 1 is a block configuration diagram of a video search device according to a first embodiment of the present invention.
FIG. 2 is a block diagram of a video analyzing unit.
FIG. 3 is a block diagram of a video classification unit.
FIG. 4 is a diagram showing an example of a tree structure inside a database.
FIG. 5 is a block diagram of a video search device according to a second embodiment of the present invention.
[Explanation of symbols]
10 Security equipment
20 terminals
30 Network
100, 200 video search device
101, 201 Video transmitter
102, 202 Video receiver
110 camera
120, 220 encoding means
130 Transcoder
131 multiplexing means
132 transmission means
140 data server
141 receiving means
142 division means
150 Image analysis means
151 Decoding means
152 Still image detecting means
153 Face detection means
154 re-encoding means
160 Classification Database
161 Video classification means
162 recording means
163 Search means
164 face authentication means
170 Keyword information input means
171 Reproduction means
172 display means
173 Reproduction control information input means
174 Notification information input means
180 Notification means
190 Web Server
400 tree structure
401 Camera group of the first camera
402 Camera group of Nth camera
411 Date and time group
421, 422, 423 Time group
431 Notification Group
432 Motion Picture Group
433 Still Image Group
434 Low Frame Rate Video Group
435 High Frame Rate Video Group
441 Warning Group
442 Card Pass Group
443 group
444 vehicle group
445 Other groups
451 Low Resolution Video Group
452 High Definition Video Group
461 face group
471 Stakeholder Group
472 non-related party group

Claims (13)

予め決められた地点を撮像して映像情報を生成する少なくとも1つのカメラと、前記カメラによって生成された前記映像情報を解析する映像解析手段と、前記映像解析手段によって解析された結果に基づいて前記映像情報を互いに異なるグループに分類する映像分類手段と、前記映像分類手段によって分類された分類映像情報を前記グループ毎に記録する記録手段と、前記分類映像情報を検索するためのキーワード情報を入力させるキーワード情報入力手段と、前記キーワード情報入力手段を介して入力された前記キーワード情報に応じた分類映像情報を前記記録手段によって記録された前記分類映像情報の中から検索する検索手段と、前記検索手段によって検索された分類映像情報を再生する再生手段と、前記再生手段によって再生された分類映像情報を画面に表示させる表示手段とを備えたことを特徴とする映像検索装置。At least one camera that captures an image of a predetermined point to generate video information, video analysis means that analyzes the video information generated by the camera, and based on a result analyzed by the video analysis means, Video classification means for classifying video information into different groups, recording means for recording classified video information classified by the video classification means for each group, and keyword information for searching for the classified video information are input. Keyword information input means, search means for searching the classified video information recorded by the recording means for classified video information corresponding to the keyword information input via the keyword information input means, and the search means Reproducing means for reproducing the classified video information retrieved by the reproducing means; Image retrieval apparatus characterized by comprising a display means for displaying the kind image information on a screen. 予め決められた地点を撮像して映像情報を生成する少なくとも1つのカメラと、前記カメラによって生成された前記映像情報を多重化する多重化手段と、前記多重化手段によって多重化された多重映像情報を送信する送信手段と、前記送信手段によって送信された多重映像情報を受信する受信手段と、前記受信手段によって受信された多重映像情報を前記映像情報に分割する分割手段と、前記分割手段によって分割され得られた前記映像情報を解析する映像解析手段と、前記映像解析手段によって解析された結果に基づいて前記映像情報を互いに異なるグループに分類する映像分類手段と、前記映像分類手段によって分類された分類映像情報を前記グループ毎に記録する記録手段と、前記分類映像情報を検索するためのキーワード情報を入力させるキーワード情報入力手段と、前記キーワード情報入力手段を介して入力された前記キーワード情報に応じた分類映像情報を前記記録手段によって記録された前記分類映像情報の中から検索する検索手段と、前記検索手段によって検索された分類映像情報を再生する再生手段と、前記再生手段によって再生された分類映像情報を画面に表示させる表示手段とを備えたことを特徴とする映像検索装置。At least one camera that captures a predetermined point to generate video information, multiplexing means for multiplexing the video information generated by the camera, and multiplexed video information multiplexed by the multiplexing means , Transmitting means for receiving the multiplexed video information transmitted by the transmitting means, dividing means for dividing the multiplexed video information received by the receiving means into the video information, and dividing by the dividing means Video analysis means for analyzing the obtained video information, video classification means for classifying the video information into different groups based on the results analyzed by the video analysis means, and video classification means Recording means for recording classified video information for each group, and keyword information for searching for the classified video information Keyword information inputting means, a search means for searching the classified video information recorded by the recording means for classified video information corresponding to the keyword information input via the keyword information input means, A video search device comprising: a reproducing unit that reproduces the classified video information retrieved by the unit; and a display unit that displays the classified video information reproduced by the reproducing unit on a screen. 予め決められた地点を撮像して映像情報を生成する複数のカメラと、前記複数のカメラによってそれぞれ生成された前記映像情報を解析する複数の映像解析手段と、前記複数の映像解析手段によってそれぞれ解析されて得られた解析結果情報を多重化する多重化手段と、前記多重化手段によって多重化された多重映像情報を送信する送信手段と、前記送信手段によって送信された多重映像情報を受信する受信手段と、前記受信手段によって受信された多重映像情報を前記解析結果情報に分割する分割手段と、前記分割手段によって分割され得られた前記解析結果情報に基づいて前記映像情報を互いに異なるグループに分類する映像分類手段と、前記映像分類手段によって分類された分類映像情報を前記グループ毎に記録する記録手段と、前記分類映像情報を検索するためのキーワード情報を入力させるキーワード情報入力手段と、前記キーワード情報入力手段を介して入力された前記キーワード情報に応じた分類映像情報を前記記録手段によって記録された前記分類映像情報の中から検索する検索手段と、前記検索手段によって検索された分類映像情報を再生する再生手段と、前記再生手段によって再生された分類映像情報を画面に表示させる表示手段とを備えたことを特徴とする映像検索装置。A plurality of cameras that image predetermined points to generate video information, a plurality of video analysis units that analyze the video information generated by the plurality of cameras, and a plurality of video analysis units that analyze the video information. Multiplexing means for multiplexing the obtained analysis result information, transmission means for transmitting the multiplexed video information multiplexed by the multiplexing means, and reception for receiving the multiplexed video information transmitted by the transmission means Means, dividing means for dividing the multiplexed video information received by the receiving means into the analysis result information, and classifying the video information into different groups based on the analysis result information obtained by the dividing means. Video classifying means, recording means for recording the classified video information classified by the video classifying means for each group, Keyword information input means for inputting keyword information for searching for similar image information; and the classified image recorded by the recording means with the classified image information corresponding to the keyword information input via the keyword information input means Search means for searching among the information, reproduction means for reproducing the classified video information retrieved by the search means, and display means for displaying the classified video information reproduced by the reproduction means on a screen. Characteristic video search device. 前記記録手段は、前記映像分類手段によって複数のグループに分類された分類映像情報を木構造で1つのグループと他のグループとを関連付けて管理するデータベースを有することを特徴とする請求項1乃至請求項3の何れかに記載の映像検索装置。4. The storage device according to claim 1, wherein the recording unit has a database that manages the classified video information classified into a plurality of groups by the video classification unit by associating one group with another group in a tree structure. Item 4. The video search device according to any one of Items 3. 前記映像解析手段は、前記カメラによって生成された前記映像情報が静止映像であることを検出する静止映像検出手段を有し、前記映像分類手段は、前記静止映像検出手段によって検出された前記静止映像を構成する静止映像グループおよび前記静止映像以外からなる動き映像を構成する動き映像グループに分類し、前記記録手段のデータベースは、前記映像分類手段によって分類された分類映像情報を前記静止映像グループと前記動き映像グループとに分けて管理することを特徴とする請求項4に記載の映像検索装置。The video analysis unit includes a still video detection unit that detects that the video information generated by the camera is a still video, and the video classification unit includes the still video detected by the still video detection unit. Are classified into motion video groups that compose a still video group and a motion video other than the still video, and the database of the recording unit stores the classified video information classified by the video classification unit as the still video group and the The video search device according to claim 4, wherein the video search device is managed separately from a motion video group. 前記映像解析手段は、前記カメラによって生成された前記映像情報が人の像であることを検出してさらに前記人の像を構成する顔の像を検出する顔検出手段を有し、前記映像分類手段は、前記顔検出手段によって検出された前記人の像を構成する人グループおよび前記顔の像を構成する顔グループに分類し、前記記録手段のデータベースは、前記映像分類手段によって分類された分類映像情報を前記動き映像グループと前記人グループと前記顔グループとに関連付けて管理することを特徴とする請求項5に記載の映像検索装置。The image analysis means includes face detection means for detecting that the image information generated by the camera is a person image, and further detecting a face image constituting the image of the person. Means for classifying into a person group constituting the image of the person detected by the face detecting means and a face group constituting the image of the face, and the database of the recording means comprises a classification classified by the video classifying means. The video search device according to claim 5, wherein video information is managed in association with the motion video group, the human group, and the face group. 前記映像検索装置は、防犯装置から通知される警報情報および前記防犯装置がカードパスを検出したときのカードパス情報を含む通知情報を入力する通知情報入力手段を備え、前記映像分類手段は、前記通知情報が前記通知情報入力手段を介して入力されたとき前記通知情報に応じて前記映像情報を通知グループ、警報グループ、およびカードパスグループに分類し、前記記録手段のデータベースは、前記映像分類手段によって分類された分類映像情報を前記通知グループと前記警報グループと前記カードパスグループとに関連付けて管理することを特徴とする請求項4乃至請求項6の何れかに記載の映像検索装置。The video search device includes notification information input means for inputting alarm information notified from the security device and notification information including card pass information when the security device detects a card pass, and the video classification unit includes When the notification information is input via the notification information input unit, the video information is classified into a notification group, an alarm group, and a card pass group according to the notification information, and the database of the recording unit includes the video classification unit. 7. The video search device according to claim 4, wherein the classified video information classified according to is managed in association with the notification group, the alarm group, and the card pass group. 前記映像検索装置は、警告情報を通報する通報手段を備え、前記映像分類手段は、前記顔グループに分類された分類映像情報が所定の顔の像か否かを認証する顔認証手段を有し、前記顔認証手段によって所定の顔の像が検出されたとき、前記通報手段は、前記警告情報を通報することを特徴とする請求項6に記載の映像検索装置。The video search device includes a reporting unit that reports warning information, and the video classification unit includes a face authentication unit that authenticates whether the classified video information classified into the face group is a predetermined face image. 7. The video search device according to claim 6, wherein when the face authentication unit detects a predetermined face image, the notification unit notifies the warning information. 前記映像検索装置は、映像の早送り、巻き戻し、再生、停止、及び一時停止のうち少なくとも1つを含む再生の制御に関する再生制御情報を入力させる再生制御情報入力手段を備え、前記再生手段は、入力された前記再生制御情報に応じて前記分類映像情報の表示の早送り、巻き戻し、再生、停止、及び一時停止のうち少なくとも1つを含む再生の制御を行い、前記表示手段は、前記再生手段によって前記再生の制御がなされた前記分類映像情報を画面に表示させることを特徴とする請求項1乃至請求項8の何れかに記載の映像検索装置。The video search device includes fast-forwarding, rewinding, playing, stopping, and stopping playback of video, and playback control information inputting means for inputting playback control information related to control of playback including at least one of pause. In accordance with the input reproduction control information, the display of the classified video information is controlled for reproduction including at least one of fast forward, rewind, reproduction, stop, and pause. The video search device according to any one of claims 1 to 8, wherein the classified video information on which the reproduction is controlled is displayed on a screen. 前記表示手段は、前記分類映像の表示の早送り、巻き戻し、再生、停止、及び一時停止のうち少なくとも1つを含む再生の制御に関する再生制御情報を入力させるように表示させ、前記再生制御情報入力手段は、前記再生の制御に関する再生制御情報を入力させることを特徴とする請求項9に記載の映像検索装置。The display means displays input of reproduction control information relating to control of reproduction including at least one of fast-forward, rewind, reproduction, stop, and pause of the display of the classified video, and displays the reproduction control information. 10. The video search device according to claim 9, wherein the means inputs reproduction control information relating to the reproduction control. 前記映像検索装置は、端末とネットワークを介して接続されるウェブサーバを備え、前記キーワード情報入力手段は、前記端末から前記ウェブサーバを介して前記キーワード情報を入力させ、前記ウェブサーバは、前記検索手段によって検索された前記分類映像情報を前記ネットワーク介して前記端末に再生させることを特徴とする請求項1乃至請求項8の何れかに記載の映像検索装置。The video search device includes a web server connected to a terminal via a network, the keyword information input unit causes the keyword information to be input from the terminal via the web server, and the web server performs the search. 9. The video search device according to claim 1, wherein the classified video information searched by the means is reproduced by the terminal via the network. 前記ウェブサーバは、前記複数のグループのうち少なくとも1つのグループを表す情報を入力させるようにブラウザを前記端末に表示させて、前記キーワード情報入力手段は、前記ウェブサーバを介して前記グループを表す情報に基づいて前記キーワード情報を入力させることを特徴とする請求項11に記載の映像検索装置。The web server causes a browser to be displayed on the terminal so that information representing at least one group of the plurality of groups is input, and the keyword information input unit outputs information indicating the group via the web server. The video search device according to claim 11, wherein the keyword information is input based on the keyword information. 前記記録手段は、前記映像分類手段によって分類された分類映像情報のうち所定の分類映像情報のみを記録することを特徴とする請求項1乃至請求項12の何れかに記載の映像検索装置。13. The video search device according to claim 1, wherein the recording unit records only predetermined classification video information among the classification video information classified by the video classification unit.
JP2002308755A 2002-10-23 2002-10-23 Image search system Pending JP2004145564A (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2002308755A JP2004145564A (en) 2002-10-23 2002-10-23 Image search system

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2002308755A JP2004145564A (en) 2002-10-23 2002-10-23 Image search system

Publications (1)

Publication Number Publication Date
JP2004145564A true JP2004145564A (en) 2004-05-20

Family

ID=32454812

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2002308755A Pending JP2004145564A (en) 2002-10-23 2002-10-23 Image search system

Country Status (1)

Country Link
JP (1) JP2004145564A (en)

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100721409B1 (en) * 2005-12-20 2007-05-23 엔에이치엔(주) Method for searching situation of moving picture and system using the same
JP2009055447A (en) * 2007-08-28 2009-03-12 Toshiba Corp System and device for searching video image
CN101459801A (en) * 2007-12-11 2009-06-17 索尼株式会社 Information processing apparatus, method, and program
JP2010041382A (en) * 2008-08-05 2010-02-18 Nikon Corp Imaging apparatus, image classification program and storage medium
JP2010074545A (en) * 2008-09-18 2010-04-02 Canon Inc Motion picture retrieval apparatus and motion picture retrieval method
WO2011074206A1 (en) * 2009-12-17 2011-06-23 Canon Kabushiki Kaisha Video information processing method and video information processing apparatus
CN103686451A (en) * 2012-09-21 2014-03-26 财团法人资讯工业策进会 Media scene playing system and method thereof
US10997239B2 (en) 2018-03-09 2021-05-04 Canon Kabushiki Kaisha Image search system, image search method and storage medium

Cited By (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100721409B1 (en) * 2005-12-20 2007-05-23 엔에이치엔(주) Method for searching situation of moving picture and system using the same
JP2009055447A (en) * 2007-08-28 2009-03-12 Toshiba Corp System and device for searching video image
CN101459801A (en) * 2007-12-11 2009-06-17 索尼株式会社 Information processing apparatus, method, and program
JP2010041382A (en) * 2008-08-05 2010-02-18 Nikon Corp Imaging apparatus, image classification program and storage medium
JP2010074545A (en) * 2008-09-18 2010-04-02 Canon Inc Motion picture retrieval apparatus and motion picture retrieval method
JP2011130204A (en) * 2009-12-17 2011-06-30 Canon Inc Video information processing method, and video information processing apparatus
WO2011074206A1 (en) * 2009-12-17 2011-06-23 Canon Kabushiki Kaisha Video information processing method and video information processing apparatus
CN102668548A (en) * 2009-12-17 2012-09-12 佳能株式会社 Video information processing method and video information processing apparatus
CN102668548B (en) * 2009-12-17 2015-04-15 佳能株式会社 Video information processing method and video information processing apparatus
CN103686451A (en) * 2012-09-21 2014-03-26 财团法人资讯工业策进会 Media scene playing system and method thereof
JP2014064263A (en) * 2012-09-21 2014-04-10 Shijin Kogyo Sakushinkai System and method for reproducing moving image scene of medium and recording medium of moving image scene reproducing method
US10997239B2 (en) 2018-03-09 2021-05-04 Canon Kabushiki Kaisha Image search system, image search method and storage medium
US11334621B2 (en) 2018-03-09 2022-05-17 Canon Kabushiki Kaisha Image search system, image search method and storage medium

Similar Documents

Publication Publication Date Title
US9807338B2 (en) Image processing apparatus and method for providing image matching a search condition
US20180027260A1 (en) Video analytics with pre-processing at the source end
US7843491B2 (en) Monitoring and presenting video surveillance data
US8224027B2 (en) Method and apparatus for managing video data
US8417090B2 (en) System and method for management of surveillance devices and surveillance footage
JP4343670B2 (en) Video storage system and video storage method
US9883193B2 (en) Coding scheme for identifying spatial locations of events within video image data
JP2003069987A (en) Event video recording/reproducing system, event management device, and local recorder
WO2004006572A1 (en) Video generation device, video generation method, and video storage device
JP2018129790A (en) Method and system for playing recorded video
JP4959592B2 (en) Network video monitoring system and monitoring device
US7451473B2 (en) Video distribution method and video distribution system
KR20110095113A (en) Digital video recorder system displaying sound fields and application method thereof
US8542981B2 (en) Manual voice annotations for CCTV reporting and investigation
JP2004145564A (en) Image search system
KR101033238B1 (en) Video surveillance system and recording medium recording in which video surveillance program is recorded
JP4361504B2 (en) VIDEO INFORMATION RECORDING / REPRODUCING METHOD, VIDEO INFORMATION PROCESSING METHOD, VIDEO INFORMATION RECORDING / REPRODUCING DEVICE, AND VIDEO INFORMATION PROCESSING DEVICE
US9812173B2 (en) Signal recording apparatus, camera recorder, and signal processing system
CN111104080A (en) Text remote preview method and device
JP2004326762A (en) Image distribution system and image distribution method
CN101971620A (en) A method of recording quality images
JP2003046989A (en) Apparatus and system for video monitoring
US20220286642A1 (en) Event-oriented multi-channel video backup apparatus and method, and network surveillance camera system including the same
JP4438945B2 (en) Monitoring system
KR100465129B1 (en) Broadcasting Security System