JP2007233495A - Distributed image processor - Google Patents

Distributed image processor Download PDF

Info

Publication number
JP2007233495A
JP2007233495A JP2006051463A JP2006051463A JP2007233495A JP 2007233495 A JP2007233495 A JP 2007233495A JP 2006051463 A JP2006051463 A JP 2006051463A JP 2006051463 A JP2006051463 A JP 2006051463A JP 2007233495 A JP2007233495 A JP 2007233495A
Authority
JP
Japan
Prior art keywords
image
image processing
processing apparatus
index
distributed
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2006051463A
Other languages
Japanese (ja)
Other versions
JP4793025B2 (en
Inventor
Kazuya Takahashi
一哉 高橋
Tadaaki Kitamura
忠明 北村
Tatsu Yumiba
竜 弓場
Masanori Miyoshi
雅則 三好
Kentaro Onose
健太郎 小野瀬
Tetsuya Yamazaki
徹也 山崎
Shigeki Nagaya
茂喜 長屋
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hitachi Ltd
Original Assignee
Hitachi Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hitachi Ltd filed Critical Hitachi Ltd
Priority to JP2006051463A priority Critical patent/JP4793025B2/en
Publication of JP2007233495A publication Critical patent/JP2007233495A/en
Application granted granted Critical
Publication of JP4793025B2 publication Critical patent/JP4793025B2/en
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Abstract

<P>PROBLEM TO BE SOLVED: To extract all pieces of necessary information, even in a case where cameras are distributed in a wide monitoring area, by image monitoring of the wide monitoring area. <P>SOLUTION: In this distributed image processor, images of a monitoring camera 101 are stored, image frames to be processed in detail thereof are indexed in real time in a first image processor 102, and only the image frames to be processed in detail of the stored images are processed in detail based on the indexes in a second image processor 105. <P>COPYRIGHT: (C)2007,JPO&INPIT

Description

本発明は画像監視に用いる画像処理装置に関する。   The present invention relates to an image processing apparatus used for image monitoring.

セキュリティや交通管制の分野でテレビ画像による監視の必要性が増している。更に監視領域の広域化と監視省力化を目的として多数の画像処理装置を中央で統合化するようになってきている。   There is an increasing need for surveillance with television images in the areas of security and traffic control. In addition, a large number of image processing apparatuses are integrated at the center for the purpose of widening the monitoring area and saving labor.

広域に散在する画像監視対象に画像処理装置を複数台設置して、前記画像処理装置の抽出する色成分データをネットワークで中央監視センターに集めて、前記中央監視センターにて前記画像監視対象間の色成分データの比較統合によって、前記画像監視対象間の物体の動きを把握する広域監視装置が〔特許文献1〕に開示されている。   A plurality of image processing devices are installed in image monitoring targets scattered in a wide area, color component data extracted by the image processing device is collected in a central monitoring center via a network, and the image monitoring targets are [Patent Document 1] discloses a wide area monitoring apparatus that grasps the movement of an object between the image monitoring objects by comparing and integrating color component data.

一方、〔特許文献2〕には開示の分散画像処理装置には監視カメラの画像をネットワークで中央監視センターに集めて画像処理することが開示されている。   On the other hand, [Patent Document 2] discloses that the disclosed distributed image processing apparatus collects images of a monitoring camera at a central monitoring center via a network and performs image processing.

特許3577895号Japanese Patent No. 3577795 特開平8−251573号公報JP-A-8-251573

〔特許文献1〕に開示の広域画像監視システムは、広域に散在する監視現場の画像処理装置で画像から情報を抽出して、後段のセンターでは既に抽出済みの情報を組み合わせるのみである。従って、監視現場における前記画像処理装置で必要な情報を全て引き出さねばならない。そのため、監視システムなど実時間性の要求されるシステムでは実時間処理と情報を高精度に抽出する高速画像処理装置が必要であるが、路上などの散在する監視現場では屋外の対環境性を考慮する必要性から十分な処理能力を有する処理装置を設置し難いという問題がある。
また、〔特許文献2〕に開示の構成は広域に散在する監視現場の画像をネットワークで中央監視センターに集めるものであるが、侵入物が存在せず情報抽出処理をする必要の無い画像フレームまで前記ネットワークに伝送するので、広帯域大規模なネットワークインフラを必要とする問題がある。
In the wide area image monitoring system disclosed in [Patent Document 1], information is extracted from an image by image processing devices at monitoring sites scattered in a wide area, and information already extracted is combined at a later center. Therefore, all information necessary for the image processing apparatus at the monitoring site must be extracted. For this reason, real-time processing and high-speed image processing devices that extract information with high accuracy are required for systems that require real-time performance, such as monitoring systems. Therefore, there is a problem that it is difficult to install a processing apparatus having sufficient processing capacity.
In addition, the configuration disclosed in [Patent Document 2] collects images of monitoring sites scattered over a wide area at a central monitoring center via a network, but there is no intruder and does not require information extraction processing. Since the data is transmitted to the network, there is a problem of requiring a broadband and large-scale network infrastructure.

また、広域に画像を監視する場合には、監視現場の画像処理装置又は後段のセンターで画像データを保持する必要が発生するが、従来のシステムではこのために膨大な容量の画像記憶装置を備える必要があった。   In addition, when monitoring an image over a wide area, it is necessary to store image data in an image processing apparatus at a monitoring site or a center in a later stage. However, in a conventional system, an image storage device having a huge capacity is provided for this purpose. There was a need.

本出願の第1の課題は、広域な監視領域内にカメラが散在する場合でも、この広域な監視領域を画像監視して必要な情報を全て引き出すことを実現するものである。   A first problem of the present application is to realize image monitoring of a wide monitoring area and to extract all necessary information even when cameras are scattered in the wide monitoring area.

また、本出願の第2の課題は、広帯域で大規模なネットワークインフラを用いなくても、中央の監視センターが広域な監視を行うことを出来るようにするものである。   The second problem of the present application is to enable a central monitoring center to perform wide-area monitoring without using a broadband and large-scale network infrastructure.

また、本出願の第3の課題は、広域な監視領域内にカメラが散在させて、この広域な監視領域を画像監視する場合でも、必要な画像のみを保存することを実現するものである。   A third problem of the present application is to realize that only necessary images are stored even when cameras are scattered in a wide monitoring area and image monitoring is performed on the wide monitoring area.

前述の第1の課題を達成するために、本発明はカメラからの画像を保存する画像保存手段と、前記画像を用いて処理を行う第一画像処理装置と、前記画像保存手段からの画像を処理する第二画像処理装置とを備えた分散型画像処理装置において、
前記カメラからの画像の特徴を示すメタデータ管理表と、前記第一画像処理装置は前記カメラからの画像を用いて、インデクスを作成すると共に、前記メタデータ管理表に記憶し、前記第二画像処理装置は前記メタデータ管理表に保持する前記インデクスに基づき前記画像保持手段から該当の画像データを用いて特徴抽出処理を行い、前記抽出された特徴データを前記インデクスに付加することを特徴とするものである。
In order to achieve the first object described above, the present invention relates to an image storage unit that stores an image from a camera, a first image processing device that performs processing using the image, and an image from the image storage unit. In a distributed image processing device comprising a second image processing device for processing,
The metadata management table showing the characteristics of the image from the camera, and the first image processing device creates an index using the image from the camera and stores it in the metadata management table, and stores the second image The processing device performs feature extraction processing using the corresponding image data from the image holding unit based on the index held in the metadata management table, and adds the extracted feature data to the index. Is.

また、前述の第2の課題を達成するために、本発明はカメラからの画像を保存する画像保存手段と、前記画像を用いて処理を行う第一画像処理装置と、前記画像保存手段からの画像をネットワークを介して処理する第二画像処理装置とを備えた分散型画像処理装置において、
前記カメラからの画像の特徴を示すメタデータ管理表を備え、前記第一画像処理装置は前記カメラからの画像を用いて、インデクスを作成すると共に、該インデクスを前記メタデータ管理表に前記ネットワークを介して記憶させ、前記第二画像処理装置は前記ネットワークを介して、前記画像保持手段から該当の画像データを用いて特徴抽出処理を行い、前記抽出された特徴データを前記インデクスに付加することを特徴とするものである。
In order to achieve the second problem described above, the present invention provides an image storage unit that stores an image from a camera, a first image processing device that performs processing using the image, and an image storage unit. In a distributed image processing apparatus comprising a second image processing apparatus that processes an image via a network,
A metadata management table indicating characteristics of images from the camera, wherein the first image processing apparatus creates an index using the image from the camera, and the network stores the index in the metadata management table; And the second image processing device performs feature extraction processing using the corresponding image data from the image holding means via the network, and adds the extracted feature data to the index. It is a feature.

また、前述の第2の課題を達成するために、本発明はカメラからの画像を保存する画像保存手段と、前記画像を用いて処理を行う第一画像処理装置と、前記画像保存手段からの画像をネットワークを介して処理する第二画像処理装置とを備えた分散型画像処理装置において、
前記画像保存手段が保存する画像を管理し、要求があれば前記ネットワークを介して出力する保存管理手段と、前記カメラからの画像の特徴を示すメタデータ管理表を備え、前記第一画像処理装置は前記カメラからの画像を用いて、インデクスを作成すると共に、該インデクスを前記メタデータ管理表に前記ネットワークを介して記憶させ、前記保存管理手段は、前記メタデータ管理表が示すインデクスに基づいて、前記画像保存手段が保存する画像を管理することを特徴とするものである。
In order to achieve the second problem described above, the present invention provides an image storage unit that stores an image from a camera, a first image processing device that performs processing using the image, and an image storage unit. In a distributed image processing apparatus comprising a second image processing apparatus that processes an image via a network,
The first image processing apparatus, comprising: a storage management unit that manages an image stored by the image storage unit and outputs it via the network when requested, and a metadata management table that indicates characteristics of the image from the camera. Creates an index using the image from the camera, stores the index in the metadata management table via the network, and the storage management means is based on the index indicated by the metadata management table. The image storage means manages the images stored.

本発明の分散型画像処理装置によれば、監視現場には、保存する画像に実時間(リアルタイム)でインデクスを入れる第一画像処理装置を配置し、中央のセンターでは、監視現場からの該当の画像データを用いて特徴抽出処理を行い、抽出された特徴データをインデクスに付加することで、監視現場のみで画像を処理する必要が無くなる。   According to the distributed image processing apparatus of the present invention, the first image processing apparatus that puts an index in real time (real time) into the image to be stored is arranged at the monitoring site, and the corresponding center from the monitoring site is arranged at the central center. By performing feature extraction processing using image data and adding the extracted feature data to the index, there is no need to process the image only at the monitoring site.

また、本発明の分散型画像処理装置によれば、第一画像処理で選別した画像フレームのみをネットワークを介して中央の監視センターの第二画像処理装置に送るので、ネットワークの負荷を軽くできる効果がある。   In addition, according to the distributed image processing apparatus of the present invention, only the image frames selected in the first image processing are sent to the second image processing apparatus in the central monitoring center via the network, so that the load on the network can be reduced. There is.

また、本発明の分散型画像処理装置によれば、広域に画像を監視する場合に、監視現場の画像処理装置又は後段のセンターで画像データを保持する必要が発生するが、必要な画像データのみを監視現場の装置に記憶することを実現しているので、従来と比較して膨大な容量の画像記憶装置を備える必要が無くなる効果がある。   Further, according to the distributed image processing apparatus of the present invention, when monitoring an image over a wide area, it is necessary to hold the image data in the image processing apparatus at the monitoring site or the center in the subsequent stage, but only the necessary image data is required. Is stored in the monitoring site apparatus, which eliminates the need to provide an image storage apparatus having a huge capacity compared to the conventional apparatus.

〔実施例1〕
図1は本発明の分散型画像処理装置の第1実施例の図であり、現場監視装置1と監視センター2からなる。現場監視装置1は監視現場に置かれて監視カメラ101と第一画像処理装置102と、画像保存機能103と、保存管理機能104を有し、監視センター2は第二画像処理装置105と、メタデータ管理表106とメタデータ管理機能107で構成される。そして、現場監視装置1と監視センター2は地理的に離れており、これらの装置は通信回線180で結ばれている。監視カメラ101の画像は画像保存機能103に保存されると同時に第一画像処理装置102で処理して発生事項を検出及び計測して画像保存機能103の保存画像を読み出す際のインデクスとし、メタデータ管理表106に書き込む。
[Example 1]
FIG. 1 is a diagram of a first embodiment of a distributed image processing apparatus according to the present invention, which comprises an on-site monitoring apparatus 1 and a monitoring center 2. The on-site monitoring device 1 is placed at a monitoring site and has a monitoring camera 101, a first image processing device 102, an image storage function 103, and a storage management function 104. The monitoring center 2 has a second image processing device 105, a meta It consists of a data management table 106 and a metadata management function 107. The on-site monitoring device 1 and the monitoring center 2 are geographically separated, and these devices are connected by a communication line 180. The image of the monitoring camera 101 is stored in the image storage function 103 and processed at the same time as the first image processing apparatus 102 to detect and measure occurrences, and is used as an index when the stored image of the image storage function 103 is read out. Write to the management table 106.

ここでは、監視カメラ101を特定するID番号と、撮像時刻と、該画像の画像保存機能103の格納場所に、第一画像処理装置で検出及び計測した発生事項データを一まとめにしてメタデータと呼ぶ。すなわち、第一画像処理装置102は前記発生事項を検出及び計測するたびに新たなメタデータを発生してメタデータ管理表106に書き込む。画像保存機能103の保存可能な容量は有限であるから原則的には古い画像から順に消去して新たな画像を書き込む必要があるが、保存管理機能104の要求に応じて古い画像でも一定期間保存したり、新しい画像でも直ちに消去することが可能である。保存管理機能104はメタデータ管理表106のメタデータに応じて画像保存機能103の画像の保存期間を規定している。メタデータ管理表106は保持できるメタデータ数は有限であり、原則的には古いメタデータから順に消去して新たなメタデータを書き込むが、メタデータ管理機能107の指令にしたがって該メタデータを直ちに消去したり、長期に保存したりする。メタデータ管理機能107はメタデータ管理表106に保存されているメタデータに応じて第二画像処理装置105に指令を出す。第二画像処理装置105はメタデータ管理機能107の指示に従って画像保存機能103の所定の場所に保存の画像を読み込んで所定の画像計測を施して、その結果をメタデータ管理表106の該当メタデータの該当箇所に追記する。操作員はユーザインタフェースを介してメタデータ管理表106に保存のメタデータを閲覧,操作することができる。   In this example, the ID number that identifies the surveillance camera 101, the imaging time, and the storage location of the image storage function 103 for the image, the generated item data detected and measured by the first image processing apparatus are collectively stored as metadata. Call. That is, the first image processing apparatus 102 generates new metadata and writes it in the metadata management table 106 every time the occurrence item is detected and measured. Since the storage capacity of the image storage function 103 is finite, in principle, it is necessary to erase the old image in order and write a new image. However, according to the request of the storage management function 104, the old image can be stored for a certain period. Or new images can be erased immediately. The storage management function 104 defines the image storage period of the image storage function 103 according to the metadata of the metadata management table 106. The metadata management table 106 has a finite number of metadata. In principle, the metadata is erased in order from the old metadata, and new metadata is written, but the metadata is immediately stored in accordance with a command from the metadata management function 107. Erase or store for a long time. The metadata management function 107 issues a command to the second image processing apparatus 105 according to the metadata stored in the metadata management table 106. The second image processing apparatus 105 reads an image stored in a predetermined location of the image storage function 103 in accordance with an instruction from the metadata management function 107, performs a predetermined image measurement, and uses the result as the corresponding metadata in the metadata management table 106. Add to the appropriate part of. The operator can browse and manipulate the metadata stored in the metadata management table 106 via the user interface.

図2にメタデータ管理表106の保存するメタデータ構成の例を示す。前記メタデータ管理項目はカメラIDと、撮像時刻と、保存場所と、保存期間と、発生事項と、発生事項計測品質と、画像特徴の要否と、画像特徴と、画像特徴の有無を有する。図2では既にメタデータの例として、メタデータ1からnまでが管理されていることを示している。画像保存機能103の保存する画像はデジタルデータであることを前提とし、監視カメラ101の画像が画像保存機能103に保存された時点で、画像フレーム毎に前記カメラIDと、前記撮像時刻と、前記保存場所と、前記保存期間が決定してこれに基づき画像保存機能
103に保存される。同時に第一画像処理装置102が発生事項を検出及び計測した場合には、第一画像処理装置102によって新たなメタデータがメタデータ管理表106に書き込まれ、図2に示すメタデータの例において、カメラIDと、撮像時刻と、保存場所と、発生事項と、あらかじめ決められている保存期間と、発生事項計測品質が決定している。以後これらメタデータの6項目をメタデータオンライン項目とし、これ以外のメタデータ項目をメタデータオフライン項目とする。
FIG. 2 shows an example of a metadata configuration stored in the metadata management table 106. The metadata management items include a camera ID, an imaging time, a storage location, a storage period, occurrence items, occurrence item measurement quality, necessity of image features, image features, and presence / absence of image features. FIG. 2 shows that metadata 1 to n are already managed as an example of metadata. Assuming that the image stored by the image storage function 103 is digital data, when the image of the monitoring camera 101 is stored in the image storage function 103, the camera ID, the imaging time, and the The storage location and the storage period are determined and stored in the image storage function 103 based on this. At the same time, when the first image processing apparatus 102 detects and measures an occurrence, new metadata is written into the metadata management table 106 by the first image processing apparatus 102. In the example of metadata shown in FIG. The camera ID, the imaging time, the storage location, the occurrence item, the predetermined storage period, and the occurrence item measurement quality are determined. Hereinafter, these six items of metadata are set as metadata online items, and other metadata items are set as metadata offline items.

メタデータ管理機能107はメタデータ管理表106に新たなメタデータが発生するたびに該メタデータの前記オンライン項目の発生事項と発生事項計測品質に基づいて、前記オフライン項目の画像特徴要否を判定して、否と判定する場合は前記オフライン項目の画像特徴要否項目を“否”にデータ入力する。一方、要と判定する場合は前記オフライン項目の画像特徴要否項目を“要”として、前記オフライン項目の画像特徴の有無を“無”とデータを初期化する。前記オンライン項目の保存期間は“延期”と書き換えることにより、第二画像処理装置105の処理が完了するまで該画像フレームは保存される。メタデータ管理機能107は第二画像処理装置105に対して、処理すべき画像の保存場所と抽出すべき画像特徴を伝えた上で処理を開始させる指令を出す。   Each time new metadata is generated in the metadata management table 106, the metadata management function 107 determines the necessity of image characteristics of the offline item based on the occurrence of the online item and the occurrence measurement quality of the metadata. If it is determined as NO, the image feature necessity item of the offline item is input as “NO”. On the other hand, if it is determined that it is necessary, the image feature necessity item of the offline item is set as “necessary”, and the data is initialized as “none” for the presence or absence of the image feature of the offline item. By rewriting the storage period of the online item as “postponed”, the image frame is stored until the processing of the second image processing apparatus 105 is completed. The metadata management function 107 issues a command to start processing after informing the second image processing apparatus 105 of the storage location of the image to be processed and the image feature to be extracted.

第二画像処理装置105はメタデータ管理機能107の前記指令によって所定の画像から所定の特徴を抽出してメタデータ管理表106の該メタデータについて、画像特徴を書き込み、画像特徴の有無の項目を“有”とデータ入力する。該当する画像特徴の抽出が不可能な場合は“不可”と入力するように動作する。   The second image processing apparatus 105 extracts a predetermined feature from a predetermined image according to the command of the metadata management function 107, writes an image feature for the metadata in the metadata management table 106, and sets an item of presence / absence of an image feature. Enter “Yes”. If the corresponding image feature cannot be extracted, the operation is performed to input “impossible”.

メタデータ管理機能107はメタデータ管理表106で、第二画像処理装置105が追記したメタデータを参照して、画像特徴の有無の項目が“有”または“不可”に書き換わっているものに対して保存期間を“延長”又は、所定の保存期間を指定して書き換える。   The metadata management function 107 refers to the metadata management table 106 in which the item of presence / absence of the image feature is rewritten as “present” or “impossible” with reference to the metadata added by the second image processing apparatus 105. On the other hand, the storage period is “extended” or rewritten by specifying a predetermined storage period.

ここで画像保存機能103の動作を説明する。画像保存機能103は動画像をデジタルで保存するが、各画像フレームにはあらかじめ保存期間が決まっていて自動的に消去される。しかしメタデータ管理表106に登録されたメタデータに対応する画像フレームの保存期間は保存管理機能104の管理下にあり、保存管理機能104により指定されたメタデータの保存期間に従って保存または消去される。   Here, the operation of the image storage function 103 will be described. The image storage function 103 stores a moving image digitally, but each image frame has a predetermined storage period and is automatically deleted. However, the storage period of the image frame corresponding to the metadata registered in the metadata management table 106 is under the management of the storage management function 104, and is stored or deleted according to the storage period of the metadata designated by the storage management function 104. .

図3は保存画像列のイメージを示す図で横軸が時間軸を表す。斜線の部分画像フレームは画像保存機能103であらかじめ決まっている保存期間で保存される。一方メタデータで規定される画像フレームに該当する部分は該メタデータの予め決められた保存期間に従って保存される。このように、メタデータで規定する保存期間も予め決められているが、前述したように該保存期間の項目が“延長”になっているときは、第二画像処理装置105の処理完了に伴って再び前記保存期間の項目に保存期間が書き込まれるまで無期限で保存し、又は、書き換えられた所定の期間に従って保存するようになる。   FIG. 3 is a diagram showing an image of the stored image sequence, and the horizontal axis represents the time axis. The hatched partial image frame is stored in a storage period predetermined by the image storage function 103. On the other hand, a portion corresponding to an image frame defined by the metadata is stored according to a predetermined storage period of the metadata. As described above, the storage period specified by the metadata is also determined in advance. However, when the storage period item is “extended” as described above, the second image processing apparatus 105 has completed the processing. Then, the data is stored indefinitely until the storage period is written in the storage period item, or stored according to the rewritten predetermined period.

図9は保存管理機能104の処理フローの図である。保存管理機能104はメタデータ管理表106のメタデータ情報の更新情報を受信(ステップ1)。各メタデータの保存期間項目を確認(ステップ2)。メタデータの保存項目が指定された保存期間内または“延長”表記の場合は画像保存機能103に対して該当フレームの保護指示を出力する。一方画像保存機能103はあらかじめ決められた保存期間を経過した画像フレームは消去するが、保存管理機能104より保護指示のある画像フレームについては消去を保留する。   FIG. 9 is a diagram of a processing flow of the storage management function 104. The storage management function 104 receives the update information of the metadata information in the metadata management table 106 (Step 1). Confirm the storage period item of each metadata (step 2). If the metadata storage item is within the designated storage period or “extended”, a protection instruction for the corresponding frame is output to the image storage function 103. On the other hand, the image storage function 103 deletes image frames that have passed a predetermined storage period, but suspends deletion of image frames for which a protection instruction is issued from the storage management function 104.

尚、操作員はユーザインタフェースを介してメタデータ管理表106に管理されるメタデータを閲覧,操作できる。   The operator can browse and operate the metadata managed in the metadata management table 106 via the user interface.

〔第1実施例による発明の効果〕
以上に説明の構成にして第一画像処理装置はオンラインで実時間処理を行い、第二画像処理装置は第一画像処理装置の処理結果を利用して効率良く更に複雑な計測処理を行える効果を有する。また、第一画像処理装置には単なる事象検知という単純処理を担わせて単純な構成とすることで、装置の頑健さを実現しやすくなり、様々な監視現場に置くことが可能になる。
[Effect of the invention according to the first embodiment]
With the configuration described above, the first image processing apparatus performs online real-time processing, and the second image processing apparatus can efficiently and more complicatedly perform measurement processing using the processing result of the first image processing apparatus. Have. In addition, since the first image processing apparatus has a simple configuration that performs simple processing of simple event detection, the robustness of the apparatus can be easily realized, and the first image processing apparatus can be placed at various monitoring sites.

これにより、第一画像処理装置では侵入物体の有無を検出するための動き検出機能のみを担わせ、第二画像処理装置で、侵入物体の属性たとえば、車両,人などを判別するためのパターンマッチング処理など複雑な処理を担わせることができる。従って、道路やビルなどの監視に用いる場合、第二画像処理装置を有る地域例えば全国を統括する中央のセンターに配置して、第一画像処理装置を地域毎として例えば、ビル毎や各市町村長の警察所等に配置することで、通信回線180の信号伝送量をなるべく減らしながら、必要とする画像フレームのデータを記録することが実現出来る。   As a result, the first image processing apparatus only has a motion detection function for detecting the presence or absence of an intruding object, and the second image processing apparatus performs pattern matching for discriminating attributes of the intruding object such as a vehicle or a person. Complex processing such as processing can be performed. Therefore, when used for monitoring roads, buildings, etc., the area where the second image processing device is located, for example, a central center that supervises the whole country, and the first image processing device as each region, for example, for each building or for each municipality It is possible to record necessary image frame data while reducing the signal transmission amount of the communication line 180 as much as possible.

〔実施例2〕
図4は本発明の分散型画像処理装置の第2実施例を示したものである。
[Example 2]
FIG. 4 shows a second embodiment of the distributed image processing apparatus of the present invention.

現場監視装置3と監視センター4からなる。現場監視装置3は監視現場に設置されて、監視カメラ101と車両ナンバー認識装置402と、画像保存機能103と、保存管理機能104からなり、監視センター4は車両形状判定装置405と、メタデータ管理表406とメタデータ管理機能407で構成される。そして、現場監視装置3と監視センター4は地理的に離れており、これらの装置は通信回線180で結ばれている。監視カメラ101の画像を画像保存機能103に保存すると同時に車両ナンバー認識装置402によって車両のフロント(以後車頭と表記)の写った画像フレームを特定して前記車頭のナンバーを認識する。メタデータ管理表406は車両ナンバー認識装置402が新たな車両ナンバーを認識するたびに該ナンバー認識結果でメタデータを生成する。   It consists of an on-site monitoring device 3 and a monitoring center 4. The on-site monitoring device 3 is installed at a monitoring site, and includes a monitoring camera 101, a vehicle number recognition device 402, an image storage function 103, and a storage management function 104. The monitoring center 4 has a vehicle shape determination device 405 and metadata management. It consists of a table 406 and a metadata management function 407. The on-site monitoring device 3 and the monitoring center 4 are geographically separated, and these devices are connected by a communication line 180. The image of the monitoring camera 101 is stored in the image storage function 103, and at the same time, the vehicle number recognizing device 402 identifies an image frame in which the front of the vehicle (hereinafter referred to as the vehicle head) is shown and recognizes the vehicle head number. The metadata management table 406 generates metadata with the number recognition result every time the vehicle number recognition device 402 recognizes a new vehicle number.

図5はメタデータ管理表406の保存するメタデータ管理項目の例を示す図であって、オンライン項目とオフライン項目に分類される項目からなる。前記オンライン項目にはカメラを特定するカメラIDと、車頭が画面視野内に到達した時刻と、該当画像フレームが画像保存機能103に保存されるときの保存場所と、あらかじめ決められている保存期間と、車両ナンバー認識装置402が認識した認識ナンバーと、認識率信頼度からなる。   FIG. 5 is a diagram illustrating an example of metadata management items stored in the metadata management table 406, and includes items classified into online items and offline items. The online item includes a camera ID for identifying the camera, a time when the vehicle head reaches the screen field of view, a storage location when the image frame is stored in the image storage function 103, and a predetermined storage period. It consists of the recognition number recognized by the vehicle number recognition device 402 and the recognition rate reliability.

認識率信頼度は車両ナンバー認識装置402の認識結果の信頼性を評価した結果を保持する。例えばナンバー認識の際の文字認識で文字候補の第一候補と第二候補の確からしさが所定の値よりも差が大きい場合は前記認識率信頼度の信頼性が“高い”と判断し入力され、あるいは、該車頭画像からプレートの文字が検出できたら前記認識率信頼度を“高い”と評価し、該車頭画像からプレートの文字が検出できなかったら前記認識率信頼度を
“低い”と評価、判断して入力する。一方、オフライン項目は車両形状特徴の要否項目と、車両形状項目と、計測終了フラグ項目から構成される。メタデータ管理表406は新規にメタデータを発生する際に、オンライン項目に応じて、前記車両形状特徴の要否項目の内容を決定する。例えば前記認識率信頼度が“低い”場合には前記車両形状特徴の要否項目には“要”と書き込み、前記認識率信頼度が“高い”場合には前記車両形状特徴の要否項目には“否”と書き込む。これは該メタデータの認識ナンバーに信頼がおけない場合にはオフラインの処理で車両形状を計測して信頼性を補うためである。あるいはメタデータ管理表406に登録車両ナンバーデータベース408を連結する構成とし、前記認識ナンバーが登録車両ナンバーデータベース408の登録ナンバーと一致する場合は前記車両形状特徴の要否項目には“否”と書き込む。これは認識ナンバーを参照して既に登録済みの車両と判別した場合には車両形状を新たに計測する必要が無いと考えられるからである。前記車両形状特徴の要否項目が“要”の場合は車両形状の計測が完了していないことを示すために、計測終了フラグ項目は“未完”と入力し、画像保存機能103の該当する画像が消去されないように、該メタデータの保存期間は“延長”とする。既に図3に示したように、画像保存機能103に保存のデータで、メタデータに対応する画像フレームは保存管理機能104の管理下にあり、該メタデータの保存期間に“延長”とある場合は永久的或いは所定の定められた期間保存する。
The recognition rate reliability holds the result of evaluating the reliability of the recognition result of the vehicle number recognition device 402. For example, if the difference between the first and second candidate probabilities is larger than a predetermined value in character recognition during number recognition, the reliability of the recognition rate reliability is judged to be “high” and input. Alternatively, if the character on the plate can be detected from the vehicle head image, the recognition rate reliability is evaluated as “high”, and if the character on the plate is not detected from the vehicle head image, the recognition rate reliability is evaluated as “low”. , Enter it. On the other hand, the offline item is composed of a vehicle shape feature necessity item, a vehicle shape item, and a measurement end flag item. When newly generating metadata, the metadata management table 406 determines the contents of the necessity / unnecessary items of the vehicle shape feature according to the online item. For example, when the recognition rate reliability is “low”, “necessary” is written in the necessity item of the vehicle shape feature, and when the recognition rate reliability is “high”, the necessity item of the vehicle shape feature is written. Writes “No”. This is because when the metadata recognition number is not reliable, the vehicle shape is measured by off-line processing to supplement the reliability. Alternatively, the registered vehicle number database 408 is connected to the metadata management table 406, and when the recognition number matches the registered number of the registered vehicle number database 408, “No” is written in the necessity item of the vehicle shape feature. . This is because it is considered that it is not necessary to newly measure the vehicle shape when it is determined that the vehicle has already been registered by referring to the recognition number. When the necessity item of the vehicle shape feature is “necessary”, the measurement end flag item is input “incomplete” to indicate that the measurement of the vehicle shape is not completed, and the corresponding image of the image storage function 103 is input. The storage period of the metadata is “extended” so that is not deleted. As already shown in FIG. 3, when data is stored in the image storage function 103, the image frame corresponding to the metadata is under the management of the storage management function 104, and “extension” is included in the storage period of the metadata Is stored permanently or for a predetermined period.

メタデータ管理機能407はメタデータ管理表406を閲覧してメタデータの前記車両形状特徴の要否項目に“要”とあり、前記メタデータの計測終了フラグ項目が“未完”の時は、車両形状判定装置405に該当する画像を示して車両形状の判定をさせる。車両形状判定装置405は判定処理が終了すると結果を前記メタデータの車両形状項目に記録して、計測終了フラグを完了とする。メタデータ管理機能407はメタデータ管理表406の該メタデータの計測終了フラグが完了であることを検出すると、該メタデータの保存期間項目に所定の保存期間を書き込む。   The metadata management function 407 browses the metadata management table 406 to indicate that the necessity item of the vehicle shape feature of the metadata is “necessary”, and when the measurement end flag item of the metadata is “incomplete”, the vehicle An image corresponding to the shape determination device 405 is shown to determine the vehicle shape. When the determination process ends, the vehicle shape determination device 405 records the result in the vehicle shape item of the metadata and completes the measurement end flag. When the metadata management function 407 detects that the measurement end flag of the metadata in the metadata management table 406 is complete, the metadata management function 407 writes a predetermined storage period in the storage period item of the metadata.

車両形状判定装置405では、輪郭強調のための各種積和演算フィルタを施して該車両前面の水平エッジの量を特徴量として該メタデータの車両形状項目に追記しても良い。また車両形状モデルパターンデータベース409が車両形状判定装置405と連結することで、該車頭画像をプレートの文字の大きさやプレートの大きさから規格化した上でパターンマッチング技術によって相関度を計測し、相関度の最も大きなモデルパターンを該車両の形状であるとして車両形状モデルパターンデータベース409に登録の該車両のモデルパターンを示す“番号”を前記メタデータの車両形状項目に書き込む。車両形状モデルパターンデータベース409に登録のモデルがビットマップ画像のような輝度分布パターンの場合は比較すべき車両画像も輝度分布パターンとして正規化相関などの相関演算処理で相関度を評価することができる。また、車両形状モデルパターンデータベース409に登録のモデルが車両の輪郭を表現するデータである場合は比較すべき車両画像にも輪郭検出フィルタを施した上で、高次局所自己相関演算を施して相関度を評価することが可能である。   The vehicle shape determination device 405 may perform various product-sum calculation filters for contour enhancement and add the amount of the horizontal edge on the front surface of the vehicle as a feature amount to the vehicle shape item of the metadata. In addition, the vehicle shape model pattern database 409 is connected to the vehicle shape determination device 405 so that the vehicle head image is normalized based on the character size of the plate and the size of the plate, and then the degree of correlation is measured by a pattern matching technique. A model number indicating the model pattern of the vehicle registered in the vehicle shape model pattern database 409 is written in the vehicle shape item of the metadata, assuming that the model pattern having the largest degree is the shape of the vehicle. When the model registered in the vehicle shape model pattern database 409 is a luminance distribution pattern such as a bitmap image, the vehicle image to be compared can also be evaluated as a luminance distribution pattern by correlation calculation processing such as normalized correlation. . In addition, when the model registered in the vehicle shape model pattern database 409 is data representing the contour of the vehicle, the vehicle image to be compared is subjected to a contour detection filter and then subjected to higher-order local autocorrelation calculation to perform correlation. It is possible to evaluate the degree.

〔第2実施例による発明の効果〕
以上に説明のように、この実施例では前述の実施例の効果に加えて、車両ナンバー認識と車両形状判定処理を分離することで、車両ナンバーの認識率信頼度や認識結果に応じて車両形状判定処理について、“実施”状態や“省略”状態を切り替えられるので、無駄な処理の無い効率的なシステムにできる効果がある。
[Effect of the invention according to the second embodiment]
As described above, in this embodiment, in addition to the effects of the above-described embodiments, the vehicle number recognition and the vehicle shape determination process are separated, so that the vehicle shape is determined according to the recognition rate reliability and the recognition result of the vehicle number. Since the determination process can be switched between the “execution” state and the “omitted” state, there is an effect that an efficient system without unnecessary processing can be achieved.

また、監視カメラの画像を保存しながら、前記監視カメラの画面内を車両が通過するたびにナンバー認識装置によって実時間処理でメタデータが発生するが、前記メタデータと前記保存画像を使って車両形状判定する構成になっているので、前記車両形状判定処理には実時間処理の必要が無く、したがって前記車両形状判定処理装置の処理を行うシステムの構成,能力について設計の自由度が増す効果がある。   Further, every time a vehicle passes through the screen of the surveillance camera while saving the image of the surveillance camera, metadata is generated in real time processing by the number recognition device. The vehicle using the metadata and the saved image Since it is configured to determine the shape, the vehicle shape determination process does not require real-time processing. Therefore, the configuration and capability of the system that performs the processing of the vehicle shape determination processing device has the effect of increasing the degree of design freedom. is there.

〔実施例3〕
図6は本発明の分散型画像処理装置の第3実施例の図であり、現場監視装置5と監視センター6からなる。現場監視装置5は監視現場に設置されて、監視カメラ101と侵入検知装置602と、画像保存機能103と、保存管理機能104からなり、監視センター6は顔認証装置605と、メタデータ管理表606とメタデータ管理機能607と人物データベース608で構成される。そして、現場監視装置5と監視センター6は地理的に離れており、これらの装置は通信回線180で結ばれている。監視カメラ101の画像を画像保存機能103に保存すると同時に侵入検知装置602によって侵入物の写った画像フレームを選別する。メタデータ管理表606は侵入検知装置602が新たな侵入物を検出するたびにメタデータを発生する。
Example 3
FIG. 6 is a diagram of a third embodiment of the distributed image processing apparatus according to the present invention, which comprises an on-site monitoring device 5 and a monitoring center 6. The on-site monitoring device 5 is installed at a monitoring site, and includes a monitoring camera 101, an intrusion detection device 602, an image storage function 103, and a storage management function 104. The monitoring center 6 includes a face authentication device 605 and a metadata management table 606. And a metadata management function 607 and a person database 608. The on-site monitoring device 5 and the monitoring center 6 are geographically separated, and these devices are connected by a communication line 180. The image of the surveillance camera 101 is stored in the image storage function 103, and at the same time, the intrusion detection device 602 selects an image frame in which an intruder is shown. The metadata management table 606 generates metadata every time the intrusion detection device 602 detects a new intruder.

図7はメタデータ管理表606の保存するメタデータ管理項目の例を示す図であって、オンライン項目とオフライン項目に分類される項目からなる。前記オンライン項目にはカメラを特定するカメラIDと、侵入物を検知した時刻と、該当時刻の画像フレームが画像保存機能103に保存されるときの保存場所と、該侵入物が人物である人物可能性からなる。前記人物可能性は移動領域の大きさや継続性や動き量の大きさを数値化して定めることが可能である。一方、オフライン項目は顔認証の要否項目と、認証結果項目と、認証終了フラグ項目を有している。メタデータ管理表606は新規にメタデータを発生する際に、オンライン項目に応じて、前記顔認証の要否項目の内容を決定する。例えば人物可能性が低い場合には前記顔認証の要否項目には“要”と書き込み、前記人物可能性が高い場合には前記顔認証の要否項目には“否”と書き込む。前記顔認証の要否項目が“要”の場合は顔認証処理が完了していないことを示すために、認証終了フラグ項目は“未完”とし、画像保存機能103の該当する画像が消去されないように、該メタデータの保存期間は
“延長”とする。既に図3に示したように、画像保存機能103に保存のデータで、メタデータに対応する画像フレームは保存管理機能104の管理下にあり、該メタデータの保存期間に“延長”とある場合は永久的或いは所定の定められた期間保存する。
FIG. 7 is a diagram illustrating an example of metadata management items stored in the metadata management table 606, and includes items classified into online items and offline items. The online item includes a camera ID for identifying a camera, a time when an intruder is detected, a storage location when an image frame at the corresponding time is stored in the image storage function 103, and a person whose intruder is a person It consists of sex. The person possibility can be determined by quantifying the size of the moving region, the continuity, and the amount of movement. On the other hand, the offline item includes a face authentication necessity item, an authentication result item, and an authentication end flag item. When newly generating metadata, the metadata management table 606 determines the contents of the necessity / unnecessary items of the face authentication according to the online item. For example, when the possibility of person is low, “Necessary” is written in the item for necessity of face authentication, and when the possibility of person is high, “No” is written in the item for necessity of face authentication. If the face authentication necessity item is “required”, the authentication end flag item is set to “incomplete” to indicate that the face authentication process is not completed, so that the corresponding image of the image storage function 103 is not deleted. In addition, the storage period of the metadata is “extended”. As already shown in FIG. 3, when data is stored in the image storage function 103, the image frame corresponding to the metadata is under the management of the storage management function 104, and “extension” is included in the storage period of the metadata Is stored permanently or for a predetermined period.

メタデータ管理機能607はメタデータ管理表606を閲覧してメタデータの前記顔認証の要否項目に“要”とあり、前記メタデータの認証終了フラグ項目が“未完”の時は、顔認証装置605に該当する画像を示して顔認証処理を実施させる。顔認証装置605認証が終了すると結果を前記メタデータの認証結果項目に記録して、認証終了フラグを“完了”とする。   The metadata management function 607 browses the metadata management table 606, and when the face authentication necessity item of the metadata is “necessary” and the authentication end flag item of the metadata is “incomplete”, the face authentication The image corresponding to the device 605 is shown and the face authentication process is performed. When the face authentication apparatus 605 authentication ends, the result is recorded in the authentication result item of the metadata, and the authentication end flag is set to “complete”.

〔第3実施例による発明の効果〕
以上に説明のように、この実施例では前述の実施例の効果に加えて、侵入物検知処理と顔認証処理を、画像保存機能を仲介して分離することで、監視現場には侵入物検知処理のみを実時間処理可能な画像処理装置を置いて、顔認証処理には実時間処理の必要が無くなるので、システム全体の構成,能力について設計の自由度を増す効果がある。
[Effect of the invention according to the third embodiment]
As described above, in this embodiment, in addition to the effects of the above-described embodiments, intruder detection processing and face authentication processing are separated by mediating an image storage function, so that intruder detection is not performed at the monitoring site. Since there is no need for real-time processing in face authentication processing by placing an image processing apparatus capable of processing only real-time processing, there is an effect of increasing the degree of design freedom with respect to the configuration and capability of the entire system.

〔実施例4〕
図8は本発明の分散型画像処理装置の第4実施例の図であり、現場監視装置7と監視センター8をワイドエリアネットワーク(WAN)811で接続した構成である。現場監視装置7は、監視カメラ801と末端画像処理装置802で構成される画像監視端末803と、画像監視端末803と同様の構成の他の画像監視端末と、画像保存機能806と保存管理機能807がローカルエリアネットワーク(LAN)809で連結した構成で、監視センター8は画像出力機能818と、メタデータ管理表814とセンター画像処理装置
815と、メタデータ管理表814およびセンター画像処理装置815を制御するメタデータ管理機能813からなり、画像出力機能818と、メタデータ管理表814とセンター画像処理装置815がローカルエリアネットワーク(LAN)812で接続した構成である。ローカルエリアネットワーク(LAN)809とローカルエリアネットワーク
(LAN)812はワイドエリアネットワーク(WAN)811を介して接続している。
Example 4
FIG. 8 is a diagram of a fourth embodiment of a distributed image processing apparatus according to the present invention, in which a site monitoring apparatus 7 and a monitoring center 8 are connected by a wide area network (WAN) 811. The on-site monitoring device 7 includes an image monitoring terminal 803 including a monitoring camera 801 and a terminal image processing device 802, another image monitoring terminal having the same configuration as the image monitoring terminal 803, an image storage function 806, and a storage management function 807. The monitoring center 8 controls the image output function 818, the metadata management table 814, the center image processing device 815, the metadata management table 814, and the center image processing device 815. The image output function 818, the metadata management table 814, and the center image processing device 815 are connected via a local area network (LAN) 812. The local area network (LAN) 809 and the local area network (LAN) 812 are connected via a wide area network (WAN) 811.

画像監視端末803の監視カメラ801の画像はLAN808を介して画像保存機能
806に保存されるとともに、末端画像処理装置802で処理されて実時間で監視画面内における車両のナンバー認識または侵入物検出を行い、この結果に基づきメタデータ管理表814に対応するメタデータを発生する。画像監視端末804や画像監視端末805などの他の画像監視端末もメタデータを発生するのでこれらのメタデータもメタデータ管理表814で保持される。このメタデータの構成は第1実施例と同様の構成である。複数の画像監視端末によるメタデータは、図2に基づき説明したカメラIDによって区別できる。画像保存機能806の画像はあらかじめ決められた保存期間を過ぎたものから消去されるが、メタデータ管理表814で保存するメタデータに対応する保存画像フレームの保存と消去は保存管理機能807の管理下で実施される。保存管理機能807の動作は第1実施例の保存管理機能104と同様である。メタデータ管理機能816はメタデータ管理表
814に保存のメタデータの画像特徴の要否に応じてセンター画像処理装置815を動作させて、LAN809とWAN811とLAN812を通して画像保存機能806の該当する画像から画像特徴を計測して結果をメタデータ管理表814の該当メタデータに追記する。以上の構成と動作によってメタデータ管理表814には図2の実施例に示すようにたとえばn個のメタデータが保存されていて、カメラIDと保存時刻意外に、発生事項と画像特徴をキーワードとして検索することができる。
The image of the monitoring camera 801 of the image monitoring terminal 803 is stored in the image storage function 806 via the LAN 808 and processed by the terminal image processing device 802 to perform vehicle number recognition or intrusion detection in the monitoring screen in real time. And metadata corresponding to the metadata management table 814 is generated based on the result. Since other image monitoring terminals such as the image monitoring terminal 804 and the image monitoring terminal 805 also generate metadata, these metadata are also held in the metadata management table 814. The configuration of this metadata is the same as that of the first embodiment. Metadata from a plurality of image monitoring terminals can be distinguished by the camera ID described with reference to FIG. The image stored in the image storage function 806 is deleted after a predetermined storage period, but the storage management function 807 stores and deletes the stored image frame corresponding to the metadata stored in the metadata management table 814. Implemented below. The operation of the storage management function 807 is the same as that of the storage management function 104 of the first embodiment. The metadata management function 816 operates the center image processing device 815 in accordance with the necessity of the image feature of the metadata stored in the metadata management table 814, and from the corresponding image of the image storage function 806 through the LAN 809, WAN 811, and LAN 812. The image feature is measured and the result is added to the corresponding metadata in the metadata management table 814. With the above configuration and operation, the metadata management table 814 stores, for example, n pieces of metadata as shown in the embodiment of FIG. 2, and the occurrence item and the image feature are used as keywords other than the camera ID and the storage time. You can search.

検索によってメタデータが検索されると対応する画像がLAN809とWAN811とLAN812を通して画像出力機能818にロードされて操作員820が確認することができる。また操作員820はユーザインタフェースを介してメタデータ管理表814にアクセスしてメタデータのキーワード検索を行うことができる。
〔第4実施例による発明の効果〕
以上の説明のように、この実施例では前述の実施例の効果に加えて、画像監視端末の画像は監視現場LANに接続の画像保存機能に置かれ、必要に応じて必要な画像のみをWANを経由して監視センターLANに送って処理を加えるために、広域ネットワークの混雑を回避する効果がある。
When the metadata is searched by the search, the corresponding image is loaded into the image output function 818 through the LAN 809, the WAN 811, and the LAN 812 and can be confirmed by the operator 820. The operator 820 can access the metadata management table 814 via the user interface and perform a metadata keyword search.
[Effect of the invention according to the fourth embodiment]
As described above, in this embodiment, in addition to the effects of the above-described embodiment, the image of the image monitoring terminal is placed in the image storage function connected to the monitoring site LAN, and only the necessary image is transferred to the WAN as necessary. In order to add processing to the monitoring center LAN via the network, there is an effect of avoiding congestion in the wide area network.

また、監視現場の末端画像処理手段には検出機能のみの画像処理機能を持たせて、必要に応じてセンターで詳細な計測処理を行うことで信頼性の高い広域監視システムを構築できる。   In addition, the terminal image processing means at the monitoring site is provided with an image processing function having only a detection function, and a detailed wide-area monitoring system can be constructed by performing detailed measurement processing at the center as necessary.

本発明によれば、河川,港湾,道路,鉄道など広範囲に、多地点にわたる画像監視を行う要求にこたえる分散型画像処理装置を提供することが実現出来る。   ADVANTAGE OF THE INVENTION According to this invention, it can implement | achieve providing the distributed image processing apparatus which responds to the request | requirement which performs image monitoring over many points, such as a river, a port, a road, and a railway.

本発明の分散型画像処理装置の第1実施例の図。1 is a diagram of a first embodiment of a distributed image processing apparatus according to the present invention. 本発明の分散型画像処理装置の第1実施例と第4実施例のメタデータの構成図。FIG. 6 is a configuration diagram of metadata of the first embodiment and the fourth embodiment of the distributed image processing apparatus of the present invention. 画像フレームとメタデータの対応付けを説明する図。The figure explaining matching of an image frame and metadata. 本発明の分散型画像処理装置の第2実施例の図。The figure of the 2nd Example of the distributed image processing apparatus of this invention. 本発明の分散型画像処理装置の第2実施例のメタデータの構成図。The block diagram of the metadata of 2nd Example of the distributed image processing apparatus of this invention. 本発明の分散型画像処理装置の第3実施例の図。The figure of 3rd Example of the distributed image processing apparatus of this invention. 本発明の分散型画像処理装置の第3実施例のメタデータの構成図。The block diagram of the metadata of 3rd Example of the distributed image processing apparatus of this invention. 本発明の分散型画像処理装置の第4実施例の図。The figure of 4th Example of the distributed image processing apparatus of this invention. 本発明の分散型画像処理装置の保存管理機能の処理フローの図。The figure of the processing flow of the preservation | save management function of the distributed image processing apparatus of this invention.

符号の説明Explanation of symbols

101,801…監視カメラ、102…第一画像処理装置、103,806…画像保存機能、104,807…保存管理機能、105…第二画像処理装置、106,406,
606,814…メタデータ管理表、107,407,607,816…メタデータ管理機能、402…ナンバー認識装置、405…車両形状判定装置、408…登録車両ナンバーデータベース、409…車両形状モデルパターンデータベース、602…侵入検知装置、605…顔認証装置、608…人物データベース、802…末端画像処理装置、803,804,805…画像監視端末、809,812…ローカルエリアネットワーク、811…ワイドエリアネットワーク、815…センター画像処理装置、818…画像出力機能。
101, 801 ... surveillance camera, 102 ... first image processing device, 103, 806 ... image storage function, 104, 807 ... storage management function, 105 ... second image processing device, 106, 406,
606, 814 ... metadata management table, 107, 407, 607, 816 ... metadata management function, 402 ... number recognition device, 405 ... vehicle shape determination device, 408 ... registered vehicle number database, 409 ... vehicle shape model pattern database, 602 ... Intrusion detection device, 605 ... Face authentication device, 608 ... Person database, 802 ... End image processing device, 803, 804, 805 ... Image monitoring terminal, 809, 812 ... Local area network, 811 ... Wide area network, 815 ... Center image processing device, 818... Image output function.

Claims (12)

カメラからの画像を保存する画像保存手段と、
前記画像を用いて処理を行う第一画像処理装置と、
前記画像保存手段からの画像を処理する第二画像処理装置とを備えた分散型画像処理装置において、
前記カメラからの画像の特徴を示すメタデータ管理表と、
前記第一画像処理装置は前記カメラからの画像を用いて、インデクスを作成すると共に、前記メタデータ管理表に記憶し、
前記第二画像処理装置は前記メタデータ管理表に保持する前記インデクスに基づき前記画像保持手段から該当の画像データを用いて特徴抽出処理を行い、前記抽出された特徴データを前記インデクスに付加することを特徴とする分散型画像処理装置。
Image storage means for storing images from the camera;
A first image processing device that performs processing using the image;
In a distributed image processing device comprising a second image processing device for processing an image from the image storage means,
A metadata management table showing the characteristics of the image from the camera;
The first image processing device creates an index using the image from the camera and stores it in the metadata management table,
The second image processing device performs feature extraction processing using the corresponding image data from the image holding unit based on the index held in the metadata management table, and adds the extracted feature data to the index. A distributed image processing apparatus.
請求項1に記載の分散型画像処理装置において、
前記第一画像処理装置はインデクスとして車両のナンバー認識処理結果を作成し、
前記第二画像処理装置では前記インデクスを基に前記画像保存手段のナンバー認識に用いた画像を読み込んで、車両形状を計測し、前記車両形状計測の結果を前記インデクスに付加することを特徴とする分散型画像処理装置。
The distributed image processing apparatus according to claim 1,
The first image processing device creates a vehicle number recognition processing result as an index,
The second image processing apparatus reads an image used for number recognition of the image storage unit based on the index, measures a vehicle shape, and adds the result of the vehicle shape measurement to the index. Distributed image processing device.
請求項1に記載の分散型画像処理装置において、
前記第一画像処理装置はインデクスとして侵入物の検出結果を作成し、
前記第二画像処理装置で前記インデクスを基に前記画像保存手段の侵入物のある画像を読み込んで顔認証処理し、前記顔認証の結果を前記インデクスに付加することを特徴とする分散型画像処理装置。
The distributed image processing apparatus according to claim 1,
The first image processing device creates an intruder detection result as an index,
Distributed image processing, wherein the second image processing apparatus reads an image with an intruder in the image storage unit based on the index, performs face authentication processing, and adds the face authentication result to the index apparatus.
請求項1の分散型画像処理装置において、
前記画像保持手段と第一画像処理装置をローカルエリアネットワークで接続し、
前記ローカルエリアネットワークに接続する他のネットワークにメタデータ管理表と、第二画像処理装置を有することを特徴とする分散型画像処理装置。
The distributed image processing apparatus according to claim 1,
Connecting the image holding means and the first image processing apparatus via a local area network;
A distributed image processing apparatus comprising a metadata management table and a second image processing apparatus in another network connected to the local area network.
請求項4に記載の分散型画像処理装置において、
第一画像処理装置で車両の検出とナンバー認識処理して画像保存手段のインデクスとし、
第二画像処理装置で前記インデクスを基に前記画像保存手段のナンバー認識に用いた画像を読み込んで車両形状計測し、前記車両形状計測の結果を前記インデクスに追記することを特徴とする分散型画像処理装置。
The distributed image processing apparatus according to claim 4,
The first image processing device detects the vehicle and performs number recognition processing to obtain an index for image storage means,
A distributed image characterized in that a second image processing apparatus reads an image used for number recognition of the image storage means based on the index, measures a vehicle shape, and adds the result of the vehicle shape measurement to the index. Processing equipment.
カメラからの画像を保存する画像保存手段と、
前記画像を用いて処理を行う第一画像処理装置と、
前記画像保存手段からの画像をネットワークを介して処理する第二画像処理装置とを備えた分散型画像処理装置において、
前記カメラからの画像の特徴を示すメタデータ管理表を備え、
前記第一画像処理装置は前記カメラからの画像を用いて、インデクスを作成すると共に、該インデクスを前記メタデータ管理表に前記ネットワークを介して記憶させ、
前記第二画像処理装置は前記ネットワークを介して、前記画像保持手段から該当の画像データを用いて特徴抽出処理を行い、前記抽出された特徴データを前記インデクスに付加することを特徴とする分散型画像処理装置。
Image storage means for storing images from the camera;
A first image processing device that performs processing using the image;
In a distributed image processing apparatus comprising: a second image processing apparatus that processes an image from the image storage unit via a network;
A metadata management table showing the characteristics of the image from the camera,
The first image processing device creates an index using an image from the camera, and stores the index in the metadata management table via the network,
The second image processing apparatus performs a feature extraction process using corresponding image data from the image holding unit via the network, and adds the extracted feature data to the index. Image processing device.
請求項6に記載の分散型画像処理装置において、
前記第一画像処理装置はインデクスとして車両のナンバー認識処理結果を作成し、
前記第二画像処理装置では前記インデクスを基に前記画像保存手段のナンバー認識に用いた画像を読み込んで、車両形状を計測し、前記車両形状計測の結果を前記インデクスに付加することを特徴とする分散型画像処理装置。
The distributed image processing apparatus according to claim 6,
The first image processing device creates a vehicle number recognition processing result as an index,
The second image processing apparatus reads an image used for number recognition of the image storage unit based on the index, measures a vehicle shape, and adds the result of the vehicle shape measurement to the index. Distributed image processing device.
請求項6に記載の分散型画像処理装置において、
前記第一画像処理装置はインデクスとして侵入物の検出結果を作成し、
前記第二画像処理装置で前記インデクスを基に前記画像保存手段の侵入物のある画像を読み込んで顔認証処理し、前記顔認証の結果を前記インデクスに付加することを特徴とする分散型画像処理装置。
The distributed image processing apparatus according to claim 6,
The first image processing device creates an intruder detection result as an index,
Distributed image processing, wherein the second image processing apparatus reads an image with an intruder in the image storage unit based on the index, performs face authentication processing, and adds the face authentication result to the index apparatus.
請求項6の分散型画像処理装置において、
前記画像保持手段と第一画像処理装置を第1のローカルエリアネットワークで接続し、
前記ネットワークを介して接続された第2のローカルエリアネットワークに前記メタデータ管理表と、第二画像処理装置が接続されていることを特徴とする分散型画像処理装置。
The distributed image processing apparatus according to claim 6.
Connecting the image holding means and the first image processing apparatus via a first local area network;
A distributed image processing apparatus, wherein the metadata management table and a second image processing apparatus are connected to a second local area network connected via the network.
カメラからの画像を保存する画像保存手段と、
前記画像を用いて処理を行う第一画像処理装置と、
前記画像保存手段からの画像をネットワークを介して処理する第二画像処理装置とを備えた分散型画像処理装置において、
前記画像保存手段が保存する画像を管理し、要求があれば前記ネットワークを介して出力する保存管理手段と、
前記カメラからの画像の特徴を示すメタデータ管理表を備え、
前記第一画像処理装置は前記カメラからの画像を用いて、インデクスを作成すると共に、該インデクスを前記メタデータ管理表に前記ネットワークを介して記憶させ、
前記保存管理手段は、前記メタデータ管理表が示すインデクスに基づいて、前記画像保存手段が保存する画像を管理することを特徴とする分散型画像処理装置。
Image storage means for storing images from the camera;
A first image processing device that performs processing using the image;
In a distributed image processing apparatus comprising: a second image processing apparatus that processes an image from the image storage unit via a network;
Managing images stored by the image storage means, and storage management means for outputting via the network if requested;
A metadata management table showing the characteristics of the image from the camera,
The first image processing device creates an index using an image from the camera, and stores the index in the metadata management table via the network,
The distributed image processing apparatus, wherein the storage management unit manages an image stored by the image storage unit based on an index indicated by the metadata management table.
請求項10の分散型画像処理装置において、
前記第1画像処理装置とは異なる前記第2画像処理装置を備え、
該第2画像処理装置による前記カメラからの画像の処理結果に基づいて、前記保存管理手段は前記画像保存手段が保存する画像を管理することを特徴とする分散型画像処理装置。
The distributed image processing apparatus according to claim 10.
The second image processing device different from the first image processing device;
The distributed image processing apparatus, wherein the storage management unit manages an image stored by the image storage unit based on a processing result of the image from the camera by the second image processing apparatus.
請求項10の分散型画像処理装置において、
前記保存管理手段は前記メタデータ管理表が示すインデクスに特にデータが存在しない場合は、前記カメラからの画像を保持することを特徴とする分散型画像処理装置。
The distributed image processing apparatus according to claim 10.
The distributed image processing apparatus, wherein the storage management unit holds an image from the camera when no data exists in the index indicated by the metadata management table.
JP2006051463A 2006-02-28 2006-02-28 Distributed image processing device Expired - Fee Related JP4793025B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2006051463A JP4793025B2 (en) 2006-02-28 2006-02-28 Distributed image processing device

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2006051463A JP4793025B2 (en) 2006-02-28 2006-02-28 Distributed image processing device

Publications (2)

Publication Number Publication Date
JP2007233495A true JP2007233495A (en) 2007-09-13
JP4793025B2 JP4793025B2 (en) 2011-10-12

Family

ID=38554061

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2006051463A Expired - Fee Related JP4793025B2 (en) 2006-02-28 2006-02-28 Distributed image processing device

Country Status (1)

Country Link
JP (1) JP4793025B2 (en)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009173251A (en) * 2008-01-28 2009-08-06 Mitsubishi Electric Corp Vehicle monitoring system and vehicle monitoring method
WO2012169232A1 (en) * 2011-06-08 2012-12-13 オムロン株式会社 Distributed image processing system
WO2014098336A1 (en) * 2012-12-21 2014-06-26 주식회사 엠티오메가 Image collection apparatus for vehicle and operating method therefor
US8938092B2 (en) 2010-11-09 2015-01-20 Canon Kabushiki Kaisha Image processing system, image capture apparatus, image processing apparatus, control method therefor, and program
WO2022259573A1 (en) * 2021-06-08 2022-12-15 日本電気株式会社 Processing device, processing method, and program

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0955929A (en) * 1995-08-17 1997-02-25 Sumitomo Metal Ind Ltd Picture recording and reproducing device
JP2001126157A (en) * 1999-10-29 2001-05-11 Ricoh Co Ltd Crime prevention system using moving picture retrieval
JP2002092789A (en) * 2000-09-20 2002-03-29 Omron Corp Vehicle monitoring device
JP2002165210A (en) * 2000-08-04 2002-06-07 Matsushita Electric Ind Co Ltd Data-transmitting source and data transmitter/receiver
JP2004343718A (en) * 2003-04-22 2004-12-02 Matsushita Electric Ind Co Ltd Monitoring apparatus with cameras cooperating
JP2005346545A (en) * 2004-06-04 2005-12-15 Nippon Telegr & Teleph Corp <Ntt> Monitoring device and program

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0955929A (en) * 1995-08-17 1997-02-25 Sumitomo Metal Ind Ltd Picture recording and reproducing device
JP2001126157A (en) * 1999-10-29 2001-05-11 Ricoh Co Ltd Crime prevention system using moving picture retrieval
JP2002165210A (en) * 2000-08-04 2002-06-07 Matsushita Electric Ind Co Ltd Data-transmitting source and data transmitter/receiver
JP2002092789A (en) * 2000-09-20 2002-03-29 Omron Corp Vehicle monitoring device
JP2004343718A (en) * 2003-04-22 2004-12-02 Matsushita Electric Ind Co Ltd Monitoring apparatus with cameras cooperating
JP2005346545A (en) * 2004-06-04 2005-12-15 Nippon Telegr & Teleph Corp <Ntt> Monitoring device and program

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009173251A (en) * 2008-01-28 2009-08-06 Mitsubishi Electric Corp Vehicle monitoring system and vehicle monitoring method
US8938092B2 (en) 2010-11-09 2015-01-20 Canon Kabushiki Kaisha Image processing system, image capture apparatus, image processing apparatus, control method therefor, and program
WO2012169232A1 (en) * 2011-06-08 2012-12-13 オムロン株式会社 Distributed image processing system
JPWO2012169232A1 (en) * 2011-06-08 2015-02-23 オムロン株式会社 Distributed image processing system
WO2014098336A1 (en) * 2012-12-21 2014-06-26 주식회사 엠티오메가 Image collection apparatus for vehicle and operating method therefor
WO2022259573A1 (en) * 2021-06-08 2022-12-15 日本電気株式会社 Processing device, processing method, and program

Also Published As

Publication number Publication date
JP4793025B2 (en) 2011-10-12

Similar Documents

Publication Publication Date Title
JP5500303B1 (en) MONITORING SYSTEM, MONITORING METHOD, MONITORING PROGRAM, AND RECORDING MEDIUM CONTAINING THE PROGRAM
US9141184B2 (en) Person detection system
US7978936B1 (en) Indicating a correspondence between an image and an object
CN103119595B (en) Shared by the automatic media hitting by shutter
EP2923487B1 (en) Method and system for metadata extraction from master-slave cameras tracking system
JP4569471B2 (en) Electronic image storage method, electronic image storage device, and electronic image storage system
RU2632473C1 (en) Method of data exchange between ip video camera and server (versions)
CN101751535A (en) Data loss protection through application data access classification
JP2011048668A (en) Image retrieval device
JP2008165701A (en) Image processing device, electronics equipment, image processing method, and program
CN113095132B (en) Neural network based gas field identification method, system, terminal and storage medium
JP4793025B2 (en) Distributed image processing device
CN101489073A (en) Information processing device, information processing method and computer readable medium
CN106534784A (en) Acquisition analysis storage statistical system for video analysis data result set
JP5671224B2 (en) Image processing apparatus and image processing method
CN106484580A (en) A kind of internal-memory detection method, apparatus and system
WO2014201891A1 (en) Multi-target tracking method and system, and computer storage medium
JP5202419B2 (en) Security system and security method
CN114049658A (en) Floating population management method and device based on face recognition, computer equipment and storage medium
TWI589158B (en) Storage system of original frame of monitor data and storage method thereof
JP2017118319A (en) Video retrieval system
US10783365B2 (en) Image processing device and image processing system
CN105045914B (en) Information reductive analysis method and device
WO2023005662A1 (en) Image processing method and apparatus, electronic device, program product and computer-readable storage medium
CN109698900A (en) A kind of data processing method, device and monitoring system

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20080312

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20101104

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20101109

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20101224

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20110301

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20110411

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20110628

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20110711

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140805

Year of fee payment: 3

LAPS Cancellation because of no payment of annual fees