JP2006229465A - Monitoring apparatus, monitoring method, and monitoring program - Google Patents
Monitoring apparatus, monitoring method, and monitoring program Download PDFInfo
- Publication number
- JP2006229465A JP2006229465A JP2005039459A JP2005039459A JP2006229465A JP 2006229465 A JP2006229465 A JP 2006229465A JP 2005039459 A JP2005039459 A JP 2005039459A JP 2005039459 A JP2005039459 A JP 2005039459A JP 2006229465 A JP2006229465 A JP 2006229465A
- Authority
- JP
- Japan
- Prior art keywords
- person
- unit
- monitoring
- video
- mark
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- Closed-Circuit Television Systems (AREA)
Abstract
Description
本発明は、複数台の監視カメラ等の撮像装置を用いて、監視者がマーキングした人物等の監視対象を監視する監視装置、監視方法、監視用プログラムに関するものである。 The present invention relates to a monitoring apparatus, a monitoring method, and a monitoring program for monitoring a monitoring target such as a person or the like marked by a monitoring person using an imaging device such as a plurality of monitoring cameras.
近年の犯罪件数の増加に伴い、監視カメラの映像を用いて不審人物の監視を行う映像監視システムの普及が進んでいる。また、監視カメラがIP化され、複数台の監視カメラにより広範囲を監視することも増えてきた。このような状況において、ある特定の人物に注目して監視を行おうとした場合、監視者は複数カメラの間を移動する人物を、カメラを切り替えながら追跡せねばならず、大変な労力を必要としていた。そこで、人物監視作業を確実かつ効率的に行うための技術が求められている。 With the recent increase in the number of crimes, video surveillance systems that monitor suspicious persons using video from surveillance cameras are becoming popular. In addition, surveillance cameras have been converted to IP, and more and more surveillance cameras have been monitored over a wide area. In such a situation, when monitoring is performed by paying attention to a specific person, the supervisor must track a person moving between multiple cameras while switching the cameras, which requires a great deal of labor. It was. Therefore, there is a need for a technique for reliably and efficiently performing person monitoring work.
従来の監視装置としては、モニタに映し出された人物の顔を含む画像を監視者がマーキングし、カメラ映像とマーキングされた人物の顔画像とを照合することで、特定人物を他の人物と差別化して表示するものがある(例えば、特許文献1参照)。
しかしながら、前述の従来の監視装置では、顔の傾きや角度等の条件によって顔照合で誤検出が発生すると、複数台のカメラが視野を共有しない間隔で配置されているような場合には、マーキングされた人物は一度に一台のカメラにのみ撮影されるはずであるが、複数のカメラ映像内の別の人物がそれぞれマーキングされた人物として認識してしまい、同時に複数の別の人物がマーク表示される、という問題がある。 However, in the above-described conventional monitoring device, if a false detection occurs in face matching due to conditions such as the tilt and angle of the face, marking is performed when multiple cameras are arranged at intervals that do not share the field of view. The person should be taken by only one camera at a time, but another person in multiple camera images will be recognized as a marked person, and several other persons will be marked at the same time There is a problem of being.
これに対して、顔照合以外に、色認識や形状認識等の複数の画像認識処理を組み合わせて人物同定を行うことにより、人物のマーク表示の精度を向上させる方法が考えられるが、依然として同時に複数の別の人物がマーク表示されてしまう恐れがある、という問題は残る。 On the other hand, in addition to face matching, a method for improving the accuracy of human mark display by combining a plurality of image recognition processes such as color recognition and shape recognition to perform person identification is conceivable. The problem remains that another person may be marked.
また、近年の監視カメラのIP化に伴い、ネットワークを経由して多くのカメラ映像を一箇所のサーバ等に集中させて監視する形態になってきており、顔認識や形状認識等の複数の認識処理を行うことにより、処理負荷がさらに増大する、という問題がある。 In addition, with the recent adoption of IP for surveillance cameras, it has become a form where many camera images are concentrated and monitored on a single server, etc. via a network, and multiple recognitions such as face recognition and shape recognition There is a problem that the processing load is further increased by performing the processing.
そこで、本発明は、複数のカメラがある場合でも、認識処理の処理負荷を増大させることなく、マーキングされた人物を簡単かつ確実に特定してマーク表示することができる監視装置、監視方法、監視用プログラムを提供することを目的とする。 Therefore, the present invention provides a monitoring device, a monitoring method, and a monitoring method that can easily and reliably identify a marked person and display the mark without increasing the processing load of recognition processing even when there are a plurality of cameras. The purpose is to provide a program.
前記従来の課題を解決するために、本発明は、マウス等の操作部から指示に基づいて複数の監視カメラにより撮影された映像中の監視対象に対しマーキングが行われ、前記監視カメラからの映像に対し複数の画像認識処理を行って前記マーキングされた監視対象を同定する際、前記画像認識処理結果に応じて前記複数の画像認識処理を制限する。 In order to solve the conventional problem, the present invention performs marking on a monitoring target in a video imaged by a plurality of monitoring cameras based on an instruction from an operation unit such as a mouse, and the video from the monitoring camera. When a plurality of image recognition processes are performed to identify the marked monitoring target, the plurality of image recognition processes are limited according to the image recognition process result.
本発明によれば、複数のカメラ映像において監視対象を同定する際、画像認識処理の結果に応じてその複数の画像認識処理を制限するようにしたので、複数のカメラ映像において監視対象を同定する際、画像認識処理の切り替え制御が可能となり、複数のカメラがある場合でも、認識処理の処理負荷を増大させることなく、マーキングされた人物を簡単かつ確実に特定してマーク表示することができる。つまり、例えば、あるカメラである認識処理によってマーキングした監視対象との一致があった場合、以降、その監視対象との比較については、他のカメラ映像に対してもより精度の高い認識処理のみを行い、他の精度が低い認識処理は行わないようにすれば、監視対象を特定するマークが余計に表示されることを防ぐ効果がある。また、例えば、大量のカメラの映像に対して画像認識処理を行う場合、監視対象のマーク表示ができた際、それ以降は、他のカメラ映像に対する認識処理を行わないようにすれば、画像認識処理の負荷を抑えることができるという効果がある。 According to the present invention, when a monitoring target is identified in a plurality of camera images, the plurality of image recognition processes are limited according to the result of the image recognition process. At this time, it is possible to control switching of the image recognition process, and even when there are a plurality of cameras, the marked person can be identified and displayed easily and reliably without increasing the processing load of the recognition process. In other words, for example, if there is a match with a monitoring target marked by a recognition process for a certain camera, only a more accurate recognition process will be performed for other camera images. However, if other recognition processing with low accuracy is not performed, there is an effect of preventing an unnecessary mark for specifying the monitoring target from being displayed. Also, for example, when image recognition processing is performed on a large number of camera images, when the target mark is displayed, if recognition processing for other camera images is not performed thereafter, image recognition is performed. There is an effect that the processing load can be suppressed.
以下、本発明の実施の形態について、図面を参照しながら説明する。 Hereinafter, embodiments of the present invention will be described with reference to the drawings.
なお、以下に説明する本発明の実施の形態では、複数の監視カメラ間を移動する人物を監視対象として追跡監視する監視装置に関するものであり、監視者があるカメラ映像内に不審人物を発見した際にマーキングしておくことで、不審人物が別のカメラ撮影範囲へ移動した後でも、モニタ上の不審人物にマーク表示を重畳させることで、不審人物を見失うことを防止するようにしている。 The embodiment of the present invention described below relates to a monitoring device that tracks and monitors a person who moves between a plurality of monitoring cameras as a monitoring target, and has found a suspicious person in a certain camera video. By marking in advance, the suspicious person can be prevented from losing sight by superimposing the mark display on the suspicious person on the monitor even after the suspicious person moves to another camera shooting range.
(実施の形態1)
本発明の実施の形態1における人物監視装置100について説明する。
(Embodiment 1)
The
図1は、本発明の実施の形態1における人物監視装置100の全体構成図である。
FIG. 1 is an overall configuration diagram of a
図1において、実施の形態1の人物監視装置100は、直接またはネットワークを介して複数台の監視カメラ(図上では、単にカメラと略す。)1と接続されており、映像処理部2と、操作部3と、マーキング部4と、マーキング情報記憶部5と、人物同定部6と、認識処理制限部7とを有している。
In FIG. 1, a
操作部3は、監視者がマウスやトラックボール等のポインティングデバイスを用いて行う操作を受け取るものである。
The
マーキング部4は、操作部3から監視者の操作を受け取り、監視者の指定した不審人物等の人物に対してマーキングを行うものである。
The marking unit 4 receives the operation of the monitor from the
マーキング情報記憶部5は、マーキング部4によりマーキングされた人物の特徴量を蓄積したものである。なお、マーキングされた人物の特徴量は、マーキング部4等が操作部3からの指示により不審人物に対してマーキングを行った際に抽出しても良いし、別の新たな手段を設けて、マーキング部4によりマーキングされた人物の特徴量を抽出するようにしても勿論よい。
The marking
人物同定部6は、監視カメラ1より得られる映像と、マーキング情報記憶部5より得られる人物特徴量とに基づき、複数の画像認識処理を用いて同一人物であるかの判定を行うものである。
The
認識処理制限部7は、人物同定部6の画像認識処理結果に応じて、人物同定部6で用いる画像認識処理を制限するものである。
The recognition process restriction unit 7 restricts the image recognition process used in the
映像処理部2は、監視カメラ1の映像上に、人物同定部6の画像認識処理結果に応じて、特徴量が一致する人物にマーク表示を重畳表示させるものである。
The
表示部8は、映像処理部2より撮影中の映像を受け取り、モニタやディスプレイ等の表示装置に映像を表示するものである。
The
図2は、図1に示す本実施の形態1の人物監視装置100の使用イメージを示す図である。
FIG. 2 is a diagram showing a usage image of the
監視者は、表示部8のカメラA161の映像表示画面21内に映っている不審者22を、ポインタ31を用いてマーキングする。その際、カメラB162の映像表示画面21内には、不審者22は写っていない。その後、不審者22は、カメラA161の撮影範囲外に出て、経路160を移動して、5分後にカメラC163の撮影範囲内に入ったとする。このとき、監視装置は現在映っている人物と監視者がマーキングした人物との比較を行う。同一人物として判定されたならば、表示部8のカメラC163の映像表示画面25では、人物22に対して確定マーク24によってマーク表示することにより、監視者に対してマーキングした人物であることが図示される。
The monitor uses the
以上のように構成された人物監視装置100において、以下その動作を説明する。
The operation of the
複数台の監視カメラ1は、それぞれ、複数台が直接的またはインターネットやLAN等のネットワークを介して間接的に人物監視装置100に接続されており、継続的に撮像中の映像を配信する。
Each of the plurality of
監視カメラ1の配信した映像は、人物監視装置100の映像処理部2と、人物同定部6とに渡される。映像処理部2は、通常時は、受け取った映像をそのまま表示部8に渡し、表示部8はリアルタイムにモニタ等の表示装置に表示する。
The video distributed by the
人物同定部6は、マーキング情報記憶部5に記憶されたマーキング部4によるマーキング情報に基づいて、人物同定処理を行う。
The
ここでは、まず、マーキング部4の動作について、図3を用いて説明する。 Here, first, the operation of the marking unit 4 will be described with reference to FIG.
監視者は、図3(a)において、映像表示画面21中に映っている人物22,23に対して、操作部3を操作し、追跡したい人物、例えば人物22をポインタ31により指定して選択する。そして、マーキングされた人物22の映像から、マーキング部4は画像認識処理を用いて人物特徴量を抽出し、マーキング情報記憶部5に蓄積する。
In FIG. 3A, the monitor operates the
なお、マーキング部4において人物毎にその特徴情報を抽出する方法は、公知の手法であり、例えば、「画像の処理と認識」(安居院猛、長尾智晴共著、昭晃堂出版)等に詳細に記載されている。そのため、人物特徴量を抽出する手順についての詳細な説明は、省略する。 Note that the method of extracting the feature information for each person in the marking unit 4 is a known method, and is described in detail in, for example, “Image Processing and Recognition” (authored by Takeshi Aoi, Tomoharu Nagao, Shoshodo Publishing). Are listed. Therefore, a detailed description of the procedure for extracting the person feature amount is omitted.
マーキング情報記憶部5は、記憶機器もしくはデータベースにより構成されており、マーキング部4により取得した人物特徴量を蓄積する。マーキング情報記憶部5に含まれる人物特徴量としては、例えば、顔特徴量、色特徴量、形状特徴量等があり、形状、色、大きさなどによりオブジェクトを特定する特徴情報として、例えば、顔特徴量の場合における目、鼻、口の形状や位置等を特定する情報等がある。
The marking
人物同定部6は、人物22が同一の映像表示画面21中に映っている期間中、当該人物を追跡し続ける。人物を追跡する方法としては、以下に述べるような公知の手法を用いて良い。
The
つまり、まず、監視カメラ1の映像中から背景差分を用いてオブジェクトの抽出を行い、前後のフレーム間でオブジェクト位置の相関を調べる。オブジェクト位置が近いものは同一オブジェクトであると判定し、オブジェクトの移動軌跡情報を生成して、当該人物を追跡する。そして、追跡中のマーク表示すべき人物の位置およびマークの種類を映像処理部2へ送信する。
That is, first, an object is extracted from the video of the
映像処理部2は、監視カメラ1より撮像中の映像を受けとり、人物同定部6より追跡中の人物の映像中での位置および、マーク表示する際のマークの種類を受け取る。そして、図3(b)に示すように、監視カメラ1の映像表示画面21の人物22の上に、確定マーク24を重畳した画面を生成し、表示部8に送信する。
The
人物22がカメラAから別のカメラに移動したときは、人物同定部6はマーキング情報記憶部5と監視カメラ1から取得した映像を基に、画像認識処理を用いて人物同定を行う。人物同定部6の詳細については、以降で詳しく述べるためここでは説明を省略する。
When the
図3(c)において、映像表示画面21とは別のカメラの映像表示画面25に映っている人物26が図3(a),(b)のマーキングされた人物22と同一人物であるならば、確定マーク24により特定された状態で表示される。
In FIG. 3C, if the
また、人物同定部6の判定結果が、精度が低く、マーキングされた人物22と同一人物であるかどうかが不確定である場合、図3(d)に示すような不確定マーク27により人物26をマーク表示する。
Further, when the determination result of the
次に、人物同定部6の詳細構成について、図4を用いて説明する。
Next, the detailed structure of the
図4は、本実施の形態1の人物監視装置100の人物同定部6の詳細な構成例を示している。
FIG. 4 shows a detailed configuration example of the
図4において、本実施の形態1の人物同定部6は、検出モード別認識切替処理部61と、顔認識処理部62と、色認識処理部63と、形状認識処理部64と、人物特定処理部65と、を有している。
In FIG. 4, the
検出モード別認識切替処理部61は、認識処理制限部7から取得した検出モードに基づき、監視カメラ1より受け取った画像に対して実行する複数の画像認識処理、すなわち顔認識処理部62、色認識処理部63、および形状認識処理部64を切り替えるものである。
The detection mode-specific recognition switching
顔認識処理部62は、検出モード別認識切替処理部61より受け取った画像から顔特徴量を抽出し、マーキング情報記憶部5中の顔特徴量と一致するか評価するものである。
The face
色認識処理部63は、検出モード別認識切替処理部61より受け取った画像から色特徴量を抽出し、マーキング情報記憶部5中の色特徴量と一致するか評価するものである。
The color
形状認識処理部64は、検出モード別認識切替処理部61より受け取った画像から形状特徴量を抽出し、マーキング情報記憶部5中の形状特徴量と一致するか評価するものである。
The shape
人物特定処理部65は、カメラ1から撮影映像を入力すると共に、顔認識処理部62,色認識処理部63,形状認識処理部64より評価結果を受け取り、評価結果が十分高ければ、映像処理部2に対して、マーキング情報記憶部5に記憶されたマーキング情報に基づき該当する人物をマーク表示させ、認識処理制限部7に対して、認識処理の評価結果をフィードバックし、また、マーク表示された人物および、マーキング部4がマーキングした人物が、カメラ撮影範囲外へ移動するまでの間追跡を続けるものである。
The person
本実施の形態1においては、顔認識処理部62は、他の認識処理よりも高精度な人物同定判定が可能であるとし、色認識処理部63、および形状認識処理部64は、顔認識処理部62よりも精度は劣るものの、顔が映っていない映像による人物同定判定が可能であるものとする。また、各認識処理の評価結果は、評価値を閾値によりランク分けし、一致、半一致、不一致とする。
In the first embodiment, the face
図5は、本実施の形態の認識処理制限部7における人物検出モードの遷移の一例を表で示した図である。 FIG. 5 is a table showing an example of transition of the person detection mode in the recognition processing restriction unit 7 of the present embodiment.
図5に示すように、認識処理制限部7は、認識結果判定処理として、A〜Eの5種類の判定出力があり、それぞれ、3種類の検出モードおよびマーク表示を用意している。 As shown in FIG. 5, the recognition processing restriction unit 7 has five types of determination outputs A to E as the recognition result determination processing, and prepares three types of detection modes and mark displays, respectively.
つまり、認識結果判定処理として、例えば「A;顔認識一致」を出力する場合は、遷移後の検出モードは「非検出モード」、マーク表示は「確定マーク表示」となる。 That is, for example, when “A; face recognition match” is output as the recognition result determination process, the detection mode after transition is “non-detection mode”, and the mark display is “confirmation mark display”.
同様に、認識結果判定処理として「B;顔認識半一致」を出力する場合は、遷移後の検出モードは「顔検出モード」、マーク表示は「不確定マーク表示」となり、認識結果判定処理として「C;色または形状認識一致」を出力する場合は、遷移後の検出モードは「顔検出モード」、マーク表示は「不確定マーク表示」となる。 Similarly, when “B; face recognition semi-match” is output as the recognition result determination process, the detection mode after the transition is “face detection mode”, the mark display is “indeterminate mark display”, and the recognition result determination process is performed. When “C; color or shape recognition coincidence” is output, the detection mode after the transition is “face detection mode”, and the mark display is “indeterminate mark display”.
また、同様に、認識結果判定処理として「D;顔不一致かつ色または形状認識半一致」を出力する場合は、遷移後の検出モードは「全検出モード」、マーク表示は「不確定マーク表示」となり、認識結果判定処理として「E;全て不一致」を出力する場合は、遷移後の検出モードは「全検出モード」、マーク表示しないとなる。 Similarly, when “D; face mismatch and color or shape recognition semi-match” is output as the recognition result determination process, the detection mode after transition is “all detection mode” and the mark display is “indeterminate mark display”. Thus, when “E; all mismatch” is output as the recognition result determination process, the detection mode after transition is “all detection mode”, and no mark is displayed.
図6は、本実施の形態の認識処理制限部7における人物検出モードの遷移を示す図である。 FIG. 6 is a diagram illustrating a transition of the person detection mode in the recognition processing restriction unit 7 of the present embodiment.
図6において、全検出モード701は初期状態であり、顔,色,形状すべての認識処理を行うものである。顔検出モード702は、顔認識処理部62のみを行うものである。さらに、非検出モード703は、すべての認識処理を行わないものである。
In FIG. 6, the all
上記3つの人物検出モードは、マーキング情報記憶部5に登録されている人物に対して個別に存在し、マーキングされた人物毎に異なる検出モードを取り得る。
The above three person detection modes exist individually for the person registered in the marking
人物同定部6は、各マーキングされた人物に対する検出モードに従い、複数の監視カメラ1の映像に映っている人物と、マーキングされた人物とを比較する際に実行する認識処理を制限する。
The
つまり、図6に示すように、全検出モード701において、顔認識の結果が不一致であり、かつ、顔以外の認識処理結果のいずれかが半一致であった場合は、経路710を経由して全検出モード701に戻る。このとき、人物特定処理部65は、映像処理部2に対して、図7(a)に示すように、当該人物に不確定マーク27を表示するよう指示する。また、このとき、すでに他カメラ映像においてマーキングされた人物と同一人物であると判定され、追跡表示されている人物の不確定マーク27がある場合は、評価値の高い方のみを表示したり、複数の人物に対して不確定マークを表示したりする(例えば、図5Dの認識結果判定処理の場合)。
That is, as shown in FIG. 6, in the all
全検出モード701において、顔認識処理の結果が半一致であるか、または、顔認識の結果が不一致であり顔以外の結果のいずれかが一致であった場合は、図6に示すように、経路711を経由して顔検出モードに遷移する。なぜなら、顔認識は他の認識処理よりも精度が高いので、顔認識により半一致が起きた場合は、顔認識よりも精度が低い他の認識処理により一致が起きたとしても、マーキングされた人物である可能性は低いため、顔以外の認識を継続して行う必要はないためである。同様に、顔以外の認識により一致が起きた場合は、色認識および形状認識よりも精度が高い処理である顔認識処理による判定のみを継続すれば良いからである。このとき人物特定処理部65は、映像処理部2に対して、図7(b)に示すように、当該人物に対して不確定マーク27を表示するよう指示する(例えば、図5Bまたは図5Cの認識結果判定処理の場合)。
In the all
全検出モード701において、顔認識処理の結果が一致であった場合は、図6に示すように、経路714を経由して非検出モード703に遷移する。このとき、人物特定処理部65は、映像処理部2に対して、図8に示すように、当該人物に対して確定マーク24を表示するよう指示する。また、他カメラ映像においてマーキングされた人物と同一人物であると判定され、追跡表示されている人物の不確定マークがあればそれをクリアし、追跡表示を中止する(例えば、図5Aの認識結果判定処理の場合)。
In the all
顔検出モード702において、顔認識処理の結果が半一致であった場合、図6に示すように、経路712を経由して顔検出モード702に戻る。このとき、人物特定処理部65は、映像処理部2に対して、図7(b)に示すように、当該人物に対して不確定マーク27を表示するよう指示する。また、このとき、すでに他カメラ映像においてマーキングされた人物と同一人物であると判定され、追跡表示されている人物の不確定マーク27がある場合は、評価値の高い方のみを表示したり、複数の不確定マークを表示したりする(例えば、図5Bの認識結果判定処理の場合)。
In the
顔検出モード702において、顔認識処理の結果が一致であった場合は、図6に示すように、経路713を経由して非検出モード703に遷移する。このとき人物特定処理部65は、映像処理部2に対して、図8に示すように、当該人物に対して確定マーク24を表示するよう指示する。また、このとき、すでに他カメラ映像中においてマーキングされた人物と同一人物であると判定され、追跡表示されている人物の不確定マークがあればそれをクリアし、追跡表示を中止する(例えば、図5Aの認識結果判定処理の場合)。
In the
なお、顔検出モード702および非検出モード703において、人物特定処理部65の追跡している確定マークおよび不確定マークが表示された人物が全て、カメラ外へ移動してしまったときは、図6に示すように、それぞれ経路716または経路715を経由して、全検出モード701へ遷移する(例えば、図5Eの認識結果判定処理の場合)。すなわち、初期状態へと戻る。
Note that in the
次に、人物同定部6の動作について、図9に示す人物同定部6の処理フローを用いて説明する。
Next, the operation of the
図9は、人物同定部6の処理手順を示すフローチャートである。
FIG. 9 is a flowchart showing a processing procedure of the
人物同定部6では、図4に示すように、まず、検出モード別認識切替処理部61が認識処理制限部7より全てのマーキングされた人物に対する検出モードを受け取り、人物検出を行う否かを判断する(S101)。ここで、全てのマーキングされた人物の検出モードが非検出モード703であった場合は、検出モード別認識切替処理部61は、人物検出を行わないと判断し(S101“NO”)、以降の認識処理は行わない。
In the
これに対し、検出モードが非検出モード703以外を含んでいる場合(S101“YES”)、検出モード別認識切替処理部61は、監視カメラ1よりカメラ映像を取得する(S102)。
On the other hand, when the detection mode includes a mode other than the non-detection mode 703 (S101 “YES”), the recognition mode-specific recognition switching
S102にて取得した映像中に人物が含まれない場合は(S103“人物無し”)、検出モード別認識切替処理部61は、フローの先頭へと戻る(S103)。
When a person is not included in the video acquired in S102 (S103 “no person”), the detection mode-specific recognition switching
S102にて取得した映像中に人物が含まれており(S103“人物有り”)、検出モードが全検出モード701を含んでいる場合(S104“全検出”)、検出モード別認識切替処理部61は、マーキング情報記憶部5より、検出モードが全検出モード701であるマーキングされた人物の色や形状などの特徴量を取得し(S105)、色認識処理部63および形状認識処理部64に対し、それぞれ、S102において取得した映像中の人物に対して取得した人物の色や形状などの特徴量に基づいて色認識処理または形状認識処理を実行させて、形状または色による人物同定判定処理を行わせ(S106)、S107へ移行する。
When a person is included in the video acquired in S102 (S103 “has a person”) and the detection mode includes the all detection mode 701 (S104 “all detection”), the recognition mode
また、S104の検出モードの判断で、検出モードが全て顔検出モード702である場合は(S104“顔検出”)、S105およびS106を行わずに、S107へ移行する。 If it is determined in S104 that the detection mode is all face detection mode 702 (S104 “face detection”), the process proceeds to S107 without performing S105 and S106.
そして、S107では、マーキング情報記憶部5より、検出モードが非検出モード703以外であるマーキングされた人物の顔特徴量を取得し、S102において取得した映像中の人物に対して顔認識処理部62により顔認識処理を実行させて、顔による人物同定判定処理を行わせる(S108)。
In S107, the facial feature amount of the marked person whose detection mode is other than the
人物特定処理部65では、S106およびS108の人物同定判定処理の認識処理結果を受け取り、一致,半一致,不一致のいずれの結果であるかを判定する(S109)。
The person
一致および半一致があった場合(S109“YES”)、人物特定処理部65は、認識処理制限部7に対して、マーキングされた人物と映像中の人物の間で、どの認識処理でどの一致があったかを通知し、認識処理制限部7は、現在の検出モードと人物特定処理部65より受け取った情報を基に、図6に示した状態遷移に従い、マーキングされた人物の検出モードを切り替える(S110)。
When there is a match and a semi-match (S109 “YES”), the person
そして、認識処理制限部7は、映像処理部2に対して、一致または半一致のあった映像中の人物に対し、マーキング表示を行うように、当該人物の画面中の位置および、マークの種類(確定マーク、不確定マーク)を通知して、人物にマーク表示をする(S111)。なお、不確定マークは、同時に複数の人物に表示されることがある。
The recognition processing restriction unit 7 then displays the position of the person on the screen and the type of the mark so that the
S109の判断で不一致の場合(S109“NO”)、および上記の処理が終了後は、再びS101に戻り、カメラ映像に対する認識処理を繰り返す。 If there is a mismatch in the determination in S109 (S109 “NO”) and after the above process is completed, the process returns to S101 again, and the recognition process for the camera video is repeated.
次に、人物へのマーク表示の具体例について説明する。 Next, a specific example of mark display on a person will be described.
図10は、人物へのマーク表示の具体例を示す図である。 FIG. 10 is a diagram illustrating a specific example of mark display on a person.
例えば、図10(a)に示す人物22が、マーキングされてマーキング情報記憶部5に登録されているとする。図10(b)のカメラAおよび図10(c)のカメラBにおいて、人物22と人物23について形状認識による一致があった場合、両方の人物について、同時に不確定マーク27が表示される。
For example, it is assumed that the
このとき、人物22および人物23は、どちらもマーキング情報記憶部5に登録されている可能性が高いものの、確定では無いということを表している。
At this time, although the
そして、その後の人物同定判定処理によりマーキングされた人物との一致が確定すると、他の不確定マーク27は消去される。
Then, when the coincidence with the person marked by the person identification determination process thereafter is confirmed, the other
図11は、人物へのマーク表示の他の具体例を示す図である。 FIG. 11 is a diagram illustrating another specific example of displaying a mark on a person.
例えば、図11(a)および図11(c)では、人物22および人物23について形状認識による一致があり、不確定マーク27が表示されている。このとき、検出モードが顔検出モードに遷移している。その後、人物22が移動して顔画像が取得でき、顔認識による一致が起こると、図11(b)に示すように、不確定マーク27は確定マーク24へと変化する。また、人物23はマーキングされた人物ではなかったので、図11(d)に示すように、人物23へと付けられていた不確定マーク27は消去される。このとき、検出モードは非検出モードへと遷移し、以降、人物22がカメラ内に存在する間は、カメラAおよびカメラBの人物同定部6において、人物22についての人物同定判定処理は行われない。
For example, in FIGS. 11A and 11C, the
なお、不確定マーク27は、画像認識結果の評価値に応じて、その形状や色等の表示方法を変化させても良い。
Note that the
図12は、人物へのマーク表示の他の具体例を示す図である。 FIG. 12 is a diagram showing another specific example of displaying a mark on a person.
例えば、図12(a)においては、評価値の高さに応じて、不確定マーク210の色の濃度を変化させている。つまり、色が薄いほど評価値が低く、色が濃いほどに評価値が高いことを表している。
For example, in FIG. 12A, the color density of the
また、例えば、図12(b)においては、評価値の高さに応じて、不確定マーク211の大きさを変化させている。つまり、サイズが小さいほど評価値が低く、サイズが大きいほどに評価値が高いことを表している。
Further, for example, in FIG. 12B, the size of the
図13は、人物へのマーク表示の他の具体例を示す図である。 FIG. 13 is a diagram showing another specific example of displaying a mark on a person.
また、図13においては、一致があった認識処理の種類に応じて、不確定マーク212の形状を変化させている。
Further, in FIG. 13, the shape of the
例えば、図13(a)の逆三角形の不確定マーク212は顔認識の半一致を示すものであり、図13(b)の菱形の不確定マーク213は色認識による一致を示すものであり、図13(c)の矢印形の不確定マーク214は形状認識による一致を示すものである。
For example, the inverted triangle
上記の表示方法を用いることにより、監視者は視覚的に、人物同定判定の評価値や一致が起きた認識の種類を知ることができる。 By using the above display method, the supervisor can visually know the evaluation value of the person identification determination and the type of recognition that coincides.
なお、確定マーク24および不確定マーク27には、図13(d)に示すように、マークの内部に数字を表示しても良い。数字の意味としては、例えば、不確定マーク27が複数表示されている場合のマークの総数であったり、マークの付けられた順番であったりしても良い。また、マーキングされた人物に割り当てられたID番号であったり、マーキングされた時に人物が撮影されていたカメラに割り当てられたID番号であったり、複数の監視者がマーキングできる場合においては監視者に割り当てられたID番号であったりしてもよい。
As shown in FIG. 13D, numerals may be displayed on the
上記の表示方法を用いることにより、人物に対しマーク表示をした際に、数字を参考にすることで、当該人物の情報を確認する作業を効率よく行える。 By using the above display method, when a mark is displayed on a person, the work for checking the information of the person can be performed efficiently by referring to the numbers.
なお、図1に示した構成のカメラ1の変わりに、HDD等の蓄積装置に録画した映像を読み出して、人物同定部6および映像処理部2に受け渡し、その映像に対して人物のマーキングを行い、追跡表示させても良い。その際、複数カメラの映像を蓄積装置より再生する場合は、各カメラ映像間で時刻同期をとって再生するのが望ましい。
Instead of the
また、あらかじめ蓄積映像に対して画像認識処理を行い、各人物の顔特徴量,色特徴量,形状特徴量をあわせて蓄積装置に記録しておくことにより、人物同定部6においては再生時に画像認識処理を行う必要は無く、マーキング情報記憶部5内の特徴量との比較のみによって人物同定が可能となる。そのため、処理負荷を抑えて人物追跡が可能となる。
In addition, image recognition processing is performed on the stored video in advance, and the face feature value, color feature value, and shape feature value of each person are recorded together in the storage device, so that the
また、あらかじめ人物の移動軌跡情報を蓄積しておけば、例えばある人物がカメラの撮影範囲に入ったときに、はじめは後ろ向きであり、10秒後に顔が映って顔特徴量が得られたとすると、このときに蓄積された移動軌跡情報を参照することにより、当該人物がカメラ撮影範囲に入った直後から、顔特徴量の比較による人物同定処理を行うことが可能であり、人物のマーク表示をすることができる。 Also, if the movement trajectory information of a person is accumulated in advance, for example, when a person enters the shooting range of the camera, it is initially facing backwards, and a face appears after 10 seconds and a facial feature amount is obtained. By referring to the movement trajectory information accumulated at this time, it is possible to perform person identification processing by comparing facial feature amounts immediately after the person enters the camera shooting range. can do.
以上、本発明の実施の形態1の人物監視装置100によれば、認識処理制限部7を設けることにより、各カメラ映像に対して検出モードに従った画像認識処理の切り替え制御が可能となる。
As described above, according to the
そのため、あるカメラである認識処理によって人物の一致があった際に、他のカメラ映像に対してより精度の高い認識処理のみを行い、他の精度が低い認識処理は行わないようにすることにより、人物を特定するマークが余計に表示されることを防ぐ効果がある。 For this reason, when there is a match between people in a certain camera recognition process, only a more accurate recognition process is performed on other camera images, and other low-accuracy recognition processes are not performed. This has the effect of preventing an unnecessary mark for identifying a person from being displayed.
また、大量のカメラの映像に対して画像認識処理を行う場合、マーキングされた人物のマーク表示ができた際、他カメラ映像に対する認識処理を行わないようにすることにより、複数カメラの映像を一つのサーバに集めて画像認識処理を行う構成では、画像認識処理の負荷を抑える効果が得られる。 Also, when image recognition processing is performed on a large number of camera images, when the marked person is displayed, the recognition processing for other camera images is not performed, so that the images of a plurality of cameras can be integrated. In the configuration in which the image recognition processing is performed by collecting the data in one server, an effect of suppressing the load of the image recognition processing can be obtained.
(実施の形態2)
次に、本発明の実施の形態2における人物監視装置200について説明する。
(Embodiment 2)
Next, the
図14は、実施の形態2における人物監視装置200の構成を示す図である。
FIG. 14 is a diagram illustrating a configuration of the
前述の実施の形態1の人物監視装置100では、図1に示すように、映像処理部2、マーキング情報記憶部5、人物同定部6、認識処理制限部7は全て、同一のサーバ上に構成されていたが、本実施の形態2の人物監視装置200は、映像処理部2および人物同定部6は、認識処理制限部7およびマーキング情報記憶部5等を持つサーバ93と異なる、複数のサーバ91,92を、LANやインターネット等のネットワークにより接続して構成されている。
In the
また、それぞれの人物同定部6は、それが含まれるサーバ91,92に接続された監視カメラ11,12からの映像に対して、人物同定を行うものとする。
In addition, each
以上のように構成された本実施の形態2の人物監視装置200において、以下、例を挙げてその動作を説明する。
The operation of the
図15は、実施の形態2における人物へのマーク表示の具体例を示す図である。 FIG. 15 is a diagram showing a specific example of mark display on a person in the second embodiment.
図15(a)に示す監視カメラ11の撮影範囲内の映像表示画面28中の人物22に対して、操作部3を操作してマーキングを行うと、サーバ93のマーキング情報記憶部5にマーキング情報が蓄積される。
When marking is performed on the
その後、サーバ93のマーキング情報記憶部5に蓄積されたマーキング情報を基に、サーバ91の人物同定部6は、監視カメラ11の映像中の人物との比較を行い、同時に、サーバ92の人物同定部6においても監視カメラ12の映像中の人物との比較を行う。このとき、サーバ91,92の人物同定部6は、ともに、サーバ93の認識処理制限部7の持つ検出モードに従い、人物同定に用いる認識処理を制御している。
Thereafter, based on the marking information stored in the marking
その後、人物22が監視カメラ12の撮影範囲の映像表示画面29内に移動したとする。人物22の顔画像が監視カメラ12によって撮影されると、サーバ92の人物同定部6において、人物22の顔特徴量とマーキング情報記憶部5の顔特徴量との一致が起こり、同一人物であると判定される。次に、サーバ92の映像処理部2において、監視カメラ12の映像中の人物22の上に、図15(b)に示すような確定マーク24が表示され、マーキングした人物がマーク表示される。また、サーバ93の認識処理制限部7の検出モードは、非検出モード703に遷移する。
Thereafter, it is assumed that the
そのため、サーバ91の人物同定部6は、サーバ92の人物同定部6が変更した検出モードに従い、人物22と監視カメラ11内の人物との比較処理を停止する。なぜなら、マーキングされた人物22は監視カメラ12の撮影範囲内にいることは確定しており、同時に監視カメラ11の撮影範囲内にいることはありえないからである。そのため、サーバ91では、人物同定部6の不要な処理が実行されることを防ぐことが可能となる。
Therefore, the
その後、人物22が監視カメラ12の撮影範囲外へ移動すると、サーバ92の人物同定部6は、サーバ93の認識処理制限部7内部の検出モードを、全検出モード701へと変更する。そのため、サーバ91の人物同定部6は再び、監視カメラ11内の人物との比較処理を再開する。
Thereafter, when the
なお、他の処理については、実施の形態1と等しいため、詳細な説明は省略する。 Since other processes are the same as those in the first embodiment, detailed description thereof is omitted.
なお、図16に示す人物監視装置300のように、映像処理部2および人物同定部6を、監視カメラ11および監視カメラ12の内部に構成してもよい。図16において、それぞれの人物同定部6は、それが含まれる監視カメラ11,12の撮像手段13からの映像に対して、人物同定を行う。このときの動作については、図14に示す構成における動作と同様であるため、説明は省略する。
Note that the
以上、本発明の実施の形態2の人物監視装置200,300によれば、監視システムが大規模化してカメラ台数が増加した際にも、複数のサーバに人物同定部6を登載し、サーバ間で協調動作しながら人物追跡を行うシステムを構築することが可能である。画像認識の負荷を分散することにより、高性能なサーバが不要となり、人物追跡システムの構築コストを低価格に抑えられる効果がある。
As described above, according to the
また、図16に示した構成によれば、各監視カメラ11,12に人物同定部6を登載することで、サーバ側の処理負荷を監視カメラ11,12側に分散させる効果がある。また、各人物同定部6は、登載された各監視カメラ11,12の映像に対してのみ画像認識処理を行えばよいため、高速なCPUを必要とせず、コストを抑えることが可能である。
Further, according to the configuration shown in FIG. 16, by installing the
また、上記のいずれの構成においても、認識処理制限部7は、各サーバ91,92,93または各監視カメラ11,12に搭載された人物同定部6の判定結果に応じた認識処理制御を行うことにより、不要な認識処理を中止することでシステム全体の処理負荷を抑える効果がある。
In any of the above configurations, the recognition processing restriction unit 7 performs recognition processing control according to the determination result of the
(実施の形態3)
次に、本発明の実施の形態3における、表示部8に対する操作部3の操作について説明する。
(Embodiment 3)
Next, the operation of the
図17は、監視者による不確定マーク27選択時の操作画面を示す図である。
FIG. 17 is a diagram illustrating an operation screen when the
監視者は、ポインタ31を操作して不確定マーク27を選択し、メニュー32を用いてマーキング情報記憶部5の変更や参照を行うことができる。
The monitor can operate the
メニュー32より、マーク解除321を選択すると、不確定マーク27は消去される。そして、人物22はマーキング情報記憶部5において、一致したと判定された人物とは異なる人物として登録される。以降では、この情報を不一致情報と呼ぶ。人物同定部6の人物特定処理部65は、不一致情報として登録されている人物と特徴量が一致、もしくは十分近い場合は、マーキングされた人物として判定することはしない。そのため、これ以降、人物22がマーク表示されることは無い。また、認識処理制限部7の検出モードは、全検出モード701へと遷移する。
When the
確定マーク化322を選択すると、不確定マーク27は確定マーク24へと変更される。この時、他に不確定マーク27が表示されている人物がいた場合、それは消去される。また、認識処理制限部7の検出モードは非検出モード703へと遷移する。
When the
人物検索323を選択すると、人物について、過去の記録された映像中から、その人物の映像を検索し、表示される。
When the
マーキング情報表示324を選択すると、マーキング情報記憶部5に蓄積されている、その人物の情報を参照することが可能である。例えば、その人物の顔画像が、例えば、顔画像表示325として表示される一方、監視者によりマーキングされた時刻や場所等の情報がマーキング場所326として表示される。
When the marking
また、優先認識変更327を選択すると、人物同定時に重視する認識処理の順番を変更することができる。例えば、マーキングした人物が着ている服の色が非常に特徴的であった場合に、顔認識よりも色認識の結果を重視するよう設定することで、その人物を追跡表示する精度が向上する。
Further, when the
図18は、監視者による確定マーク24選択時の操作画面を示す図である。
FIG. 18 is a diagram showing an operation screen when the
メニュー33より、マーク解除331を選択すると、確定マーク24は消去される。そして、人物22はマーキング情報記憶部5において、一致したと判定された人物とは異なる人物として登録される。以降では、この情報を不一致情報と呼ぶ。人物同定部6の人物特定処理部65は、不一致情報として登録されている人物と特徴量が一致、もしくは十分近い場合は、マーキングされた人物として判定することはしない。そのため、これ以降、人物22がマーク表示されることは無い。また、認識処理制限部7の検出モードは全検出モード701へと遷移する。
When the
不確定マーク化332を選択すると、確定マーク24は不確定マーク27へと変更される。このとき、認識処理制限部7の検出モードは顔検出モード702へと遷移する。
When the
また、人物検索333、マーキング情報表示334、顔画像表示335、マーキング場所336、優先認識変更337については、図17において説明した人物検索323、マーキング情報表示324、顔画像表示325、マーキング場所326、優先認識変更327と等しい。
The
図19は、マーク表示されていない人物を選択したときの操作画面を示す図である。 FIG. 19 is a diagram showing an operation screen when a person who is not marked is selected.
監視者は、ポインタ31を操作して人物22を選択し、メニュー34を用いて新規マーキングや人物検索を行うことができる。
The monitor can operate the
メニュー34より、新規マーキング341を選択すると、その人物はマーキング部4において、特徴量を取得され、マーキング情報記憶部5に登録される。
When a
マーキング変更343を選択すると、マーキング情報記憶部5に登録されている人物のマーキング情報344、例えば、“マーキング情報1”、“マーキング情報2”、“マーキング情報3”、・・・、というように表示される。監視者はこの中から、人物22と一致すると思われる人物のマーキング情報344を手動で選択し、人物22にマーク表示させることができる。このとき、人物22には確定マーク24が表示され、認識処理制限部7の検出モードは非検出モード703へと遷移する。また、このとき、既に別の人物について、人物同定部6により確定マーク24が表示されていた場合、監視者の手動操作が優先される。そのため、自動的に付けられた確定マーク24は消滅する。
When the marking
なお、人物検索342については、上記において説明したものと等しい。
The
以上、実施の形態3によれば、監視者は自身の操作により、監視装置の付けたマークを変更し、認識処理制限部7の検出モードを変更することが可能となる。そして、その操作結果を取得することにより、人物同定部6の精度が向上する効果がある。例えば、マーク解除によって不一致情報に登録された人物については、以降は誤ったマーク表示がされることは無くなる。また、優先認識変更を行うことで、色や形状に特徴のある人物について高精度な人物同定が可能となる。
As described above, according to the third embodiment, the monitor can change the mark attached to the monitoring device and change the detection mode of the recognition processing restriction unit 7 by his / her own operation. And by acquiring the operation result, there exists an effect which the precision of the
なお、前述の実施の形態1〜3では、人物監視装置100,200,300を、図1等に示すようにハードウエア(回路)的に構成して説明したが、本発明では、これに限らず、例えば、ソフトウエア的、つまり、監視用プログラムを人物監視装置100,200,300内のメモリやハードディスク等の記憶手段に格納しておき、CPU等がそのプログラムを読み出して実行するようにしても勿論よい。
In the first to third embodiments, the
また、前述の実施の形態1〜3では、人物を監視対象とし、人物に対しマーク表示を行うように説明したが、本発明では、これに限らず、監視対象として、人間だけでなく、動物や、ロボット等の動き回る機械等を含めても勿論良い。 In the first to third embodiments described above, a person is a monitoring target and a mark is displayed on the person. However, the present invention is not limited to this. Of course, a moving machine such as a robot may be included.
本発明に係る監視装置、監視方法、監視用プログラムによれば、複数のカメラ映像において監視対象を同定する際、画像認識処理の結果に応じてその複数の画像認識処理を制限するようにしたので、複数のカメラ映像に対して監視対象を同定する際、画像認識処理の切り替え制御が可能となり、複数のカメラがある場合でも、認識処理の処理負荷を増大させることなく、マーキングされた人物を簡単かつ確実に特定してマーク表示することができる、という有利な効果を奏し、例えば、デパートや、ショッピングモール、アミューズメントパーク等の広範囲に複数台の監視カメラを設置して、カメラで撮影した映像により、特定の人物の行動を追跡する監視装置に有効である。 According to the monitoring device, the monitoring method, and the monitoring program according to the present invention, when a monitoring target is identified in a plurality of camera images, the plurality of image recognition processes are limited according to the result of the image recognition process. When identifying the monitoring target for multiple camera images, it is possible to control the switching of the image recognition process, and even if there are multiple cameras, it is easy to identify a marked person without increasing the processing load of the recognition process It has the advantageous effect of being able to identify and display the mark reliably, for example, by installing multiple surveillance cameras in a wide range of department stores, shopping malls, amusement parks, etc. It is effective for a monitoring device that tracks the behavior of a specific person.
1,11,12 監視カメラ
2 映像処理部
3 操作部
4 マーキング部
5 マーキング情報記憶部
6 人物同定部
7 認識処理制限部
8 表示部
13 撮像手段
21,25,28,29 映像表示画面
22,23,26 人物
24 確定マーク
27 不確定マーク
100,200,300 人物監視装置
210,211,212,213,214 不確定マーク
31 ポインタ
32 不確定マーク選択時のメニュー
321,331 マーク解除ボタン
322 確定マーク化ボタン
323,333,342 人物検索ボタン
324,334 マーキング情報表示ボタン
325,335 顔画像表示ボタン
326,336 マーキング場所
327,337 優先認識変更
33 確定マーク選択時のメニュー
332 不確定マーク化ボタン
34 人物選択時のメニュー
341 新規マーキングボタン
343 マーキング変更ボタン
344 マーキング情報選択ボタン
61 検出モード別認識切替処理部
62 顔認識処理部
63 色認識処理部
64 形状認識処理部
65 人物特定処理部
701 全検出モード
702 顔検出モード
703 非検出モード
710,711,712,713,714,715,716 状態遷移経路
91,92,93 サーバ
DESCRIPTION OF
Claims (10)
前記監視カメラからの映像に対し複数の画像認識処理を行って前記マーキングされた監視対象を同定する同定部と、
前記同定部による画像認識処理結果に応じて前記同定部で用いる前記複数の画像認識処理を制限する認識処理制限部と、
前記監視カメラからの映像上に、前記同定部にて同定された前記監視対象を特定するマーク表示を重畳する映像処理部と、
を備えた監視装置。 A marking unit that performs marking on a monitoring target in a video from a plurality of monitoring cameras based on an instruction from an operation unit such as a mouse;
An identification unit for identifying the marked monitoring target by performing a plurality of image recognition processes on the video from the monitoring camera;
A recognition processing restriction unit for restricting the plurality of image recognition processes used in the identification unit according to an image recognition processing result by the identification unit;
A video processing unit that superimposes a mark display that identifies the monitoring target identified by the identification unit on the video from the monitoring camera;
Monitoring device.
前記同定部は、前記監視カメラからの映像に対し前記監視対象の特徴量に基づいて複数の画像認識処理を行って前記監視対象を同定する、
請求項1記載の監視装置。 Furthermore, a marking information storage unit that stores the feature quantity of the monitoring target marked by the marking unit,
The identification unit identifies the monitoring target by performing a plurality of image recognition processes on the video from the monitoring camera based on the feature amount of the monitoring target.
The monitoring device according to claim 1.
請求項1に記載の監視装置。 The identification unit and the video processing unit are provided in a device different from the recognition processing restriction unit, and these devices are connected by a network.
The monitoring apparatus according to claim 1.
複数の監視カメラからの映像毎に実行される前記同定部で用いる前記複数の画像認識処理を制限する場合に、ある監視カメラ映像における監視対象の同定時に一致のあった画像認識処理の精度を規準として、他の監視カメラ映像に対してより精度が高い画像認識処理は継続して実行し、他の監視カメラ映像に対してより精度の低い画像認識処理は中止するように制限し、既にマーク表示されていれば当該マーク表示を解除する、
請求項1〜請求項3のいずれかの請求項に記載の監視装置。 The recognition processing restriction unit
When restricting the plurality of image recognition processes used in the identification unit executed for each video from a plurality of monitoring cameras, the accuracy of the image recognition processing matched when the monitoring target is identified in a certain monitoring camera video is defined as a standard. As described above, the image recognition processing with higher accuracy is continuously executed for the other surveillance camera images, and the image recognition processing with lower accuracy for the other surveillance camera images is stopped to be stopped, and the mark is already displayed. If it is done, cancel the mark display,
The monitoring device according to any one of claims 1 to 3.
前記操作部から、監視者が前記表示部のモニタに表示された監視対象に対するマーク表示を解除する操作を受け取った場合に、前記同定部で用いる画像認識処理に対する制限を解除する、
請求項1〜請求項3のいずれかの請求項に記載の監視装置。 The recognition processing restriction unit
When the monitor receives an operation for releasing the mark display for the monitoring target displayed on the monitor of the display unit from the operation unit, the restriction on the image recognition process used in the identification unit is canceled.
The monitoring device according to any one of claims 1 to 3.
前記操作部から、監視者が前記表示部のモニタに表示された監視対象に対するマーク表示を解除する操作を受け取った場合に、マーク表示されていた監視対象の情報を不一致情報として前記マーキング情報記憶部に蓄積し、前記同定部に対して、前記不一致情報を監視対象の同定時に用いるように制御する、
請求項1〜請求項3のいずれかの請求項に記載の監視装置。 The recognition processing restriction unit
When the monitor receives an operation for canceling the mark display for the monitoring target displayed on the monitor of the display unit from the operation unit, the marking information storage unit uses the information of the monitoring target displayed as a mark as mismatch information. And controlling the identification unit to use the mismatch information when identifying the monitoring target.
The monitoring device according to any one of claims 1 to 3.
前記操作部から、監視者が前記表示部のモニタに表示された監視対象に対するマーク表示を指定して、優先する画像認識処理を選択する操作を受け取った場合に、前記同定部で用いる画像認識処理の優先順位を変更する、
請求項1〜請求項3のいずれかの請求項に記載の監視装置。 The recognition processing restriction unit
The image recognition process used in the identification unit when the monitor receives an operation for selecting a priority image recognition process by specifying a mark display for the monitoring target displayed on the monitor of the display unit from the operation unit Change the priority of
The monitoring device according to any one of claims 1 to 3.
前記操作部から、監視者が前記表示部のモニタに表示された監視対象を指定して、前記マーキング情報記憶部に登録されている監視対象情報と当該監視対象とを手動で対応付ける操作を受け取った場合に、前記同定部で用いる画像認識処理を中止するように制限する、
請求項1〜請求項3のいずれかの請求項に記載の監視装置。 The recognition processing restriction unit
From the operation unit, the monitor designated the monitoring target displayed on the monitor of the display unit, and received an operation of manually associating the monitoring target information registered in the marking information storage unit with the monitoring target In this case, the image recognition process used in the identification unit is limited to be stopped.
The monitoring device according to any one of claims 1 to 3.
マウス等の操作部から指示に基づいて複数の監視カメラにより撮影された映像中の監視対象に対しマーキングが行われ、前記監視カメラからの映像に対し複数の画像認識処理を行って前記マーキングされた監視対象を同定する場合に、前記画像認識処理結果に応じて前記複数の画像認識処理を制限させる監視用プログラム。 On the computer,
Marking is performed on a monitoring target in a video imaged by a plurality of monitoring cameras based on an instruction from an operation unit such as a mouse, and the marking is performed by performing a plurality of image recognition processes on the video from the monitoring camera. A monitoring program for restricting the plurality of image recognition processes in accordance with the image recognition process result when identifying a monitoring target.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2005039459A JP2006229465A (en) | 2005-02-16 | 2005-02-16 | Monitoring apparatus, monitoring method, and monitoring program |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2005039459A JP2006229465A (en) | 2005-02-16 | 2005-02-16 | Monitoring apparatus, monitoring method, and monitoring program |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2006229465A true JP2006229465A (en) | 2006-08-31 |
Family
ID=36990440
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2005039459A Pending JP2006229465A (en) | 2005-02-16 | 2005-02-16 | Monitoring apparatus, monitoring method, and monitoring program |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2006229465A (en) |
Cited By (30)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2009049797A (en) * | 2007-08-21 | 2009-03-05 | Sony Corp | Image generating device, display device, image generating method, program, and recording medium with program recorded thereon |
JP2009071732A (en) * | 2007-09-14 | 2009-04-02 | Fujifilm Corp | Image processor, image processing method, and program |
JP2009231921A (en) * | 2008-03-19 | 2009-10-08 | Toshiba Corp | Image processing apparatus, image processing method, and image processing system |
JP2010068120A (en) * | 2008-09-09 | 2010-03-25 | Toshiba Corp | Monitoring system |
JP2012053663A (en) * | 2010-09-01 | 2012-03-15 | Honda Motor Co Ltd | Object kind determination device |
JP2013235329A (en) * | 2012-05-07 | 2013-11-21 | Taiwan Colour & Imaging Technology Corp | Face identification monitoring/management method |
JP2014026662A (en) * | 2008-09-15 | 2014-02-06 | Ricoh Co Ltd | Retrieval system, retrieval method, and computer program |
WO2014045670A1 (en) * | 2012-09-19 | 2014-03-27 | 日本電気株式会社 | Image processing system, image processing method, and program |
US8892595B2 (en) | 2011-07-27 | 2014-11-18 | Ricoh Co., Ltd. | Generating a discussion group in a social network based on similar source materials |
US8949287B2 (en) | 2005-08-23 | 2015-02-03 | Ricoh Co., Ltd. | Embedding hot spots in imaged documents |
US8965145B2 (en) | 2006-07-31 | 2015-02-24 | Ricoh Co., Ltd. | Mixed media reality recognition using multiple specialized indexes |
US8989431B1 (en) | 2007-07-11 | 2015-03-24 | Ricoh Co., Ltd. | Ad hoc paper-based networking with mixed media reality |
US9020966B2 (en) | 2006-07-31 | 2015-04-28 | Ricoh Co., Ltd. | Client device for interacting with a mixed media reality recognition system |
US9063953B2 (en) | 2004-10-01 | 2015-06-23 | Ricoh Co., Ltd. | System and methods for creation and use of a mixed media environment |
US9063952B2 (en) | 2006-07-31 | 2015-06-23 | Ricoh Co., Ltd. | Mixed media reality recognition with image tracking |
US9087104B2 (en) | 2006-01-06 | 2015-07-21 | Ricoh Company, Ltd. | Dynamic presentation of targeted information in a mixed media reality recognition system |
US9092423B2 (en) | 2007-07-12 | 2015-07-28 | Ricoh Co., Ltd. | Retrieving electronic documents by converting them to synthetic text |
US9171202B2 (en) | 2005-08-23 | 2015-10-27 | Ricoh Co., Ltd. | Data organization and access for mixed media document system |
US9176984B2 (en) | 2006-07-31 | 2015-11-03 | Ricoh Co., Ltd | Mixed media reality retrieval of differentially-weighted links |
US9311336B2 (en) | 2006-07-31 | 2016-04-12 | Ricoh Co., Ltd. | Generating and storing a printed representation of a document on a local computer upon printing |
US9357098B2 (en) | 2005-08-23 | 2016-05-31 | Ricoh Co., Ltd. | System and methods for use of voice mail and email in a mixed media environment |
US9373029B2 (en) | 2007-07-11 | 2016-06-21 | Ricoh Co., Ltd. | Invisible junction feature recognition for document security or annotation |
US9384619B2 (en) | 2006-07-31 | 2016-07-05 | Ricoh Co., Ltd. | Searching media content for objects specified using identifiers |
US9405751B2 (en) | 2005-08-23 | 2016-08-02 | Ricoh Co., Ltd. | Database for mixed media document system |
JPWO2014045843A1 (en) * | 2012-09-19 | 2016-08-18 | 日本電気株式会社 | Image processing system, image processing method, and program |
US9530050B1 (en) | 2007-07-11 | 2016-12-27 | Ricoh Co., Ltd. | Document annotation sharing |
US9870388B2 (en) | 2006-07-31 | 2018-01-16 | Ricoh, Co., Ltd. | Analyzing usage of visual content to determine relationships indicating unsuccessful attempts to retrieve the visual content |
CN114979035A (en) * | 2022-05-11 | 2022-08-30 | 中国电信股份有限公司 | Monitoring video storage method and device, electronic equipment and storage medium |
CN116528043A (en) * | 2023-04-13 | 2023-08-01 | 荣耀终端有限公司 | Object marking method and electronic equipment |
WO2023203637A1 (en) * | 2022-04-19 | 2023-10-26 | 日本電気株式会社 | Monitoring system, information processing device, monitoring device, method, and non-transitory computer recording medium |
-
2005
- 2005-02-16 JP JP2005039459A patent/JP2006229465A/en active Pending
Cited By (36)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US9063953B2 (en) | 2004-10-01 | 2015-06-23 | Ricoh Co., Ltd. | System and methods for creation and use of a mixed media environment |
US9171202B2 (en) | 2005-08-23 | 2015-10-27 | Ricoh Co., Ltd. | Data organization and access for mixed media document system |
US8949287B2 (en) | 2005-08-23 | 2015-02-03 | Ricoh Co., Ltd. | Embedding hot spots in imaged documents |
US9357098B2 (en) | 2005-08-23 | 2016-05-31 | Ricoh Co., Ltd. | System and methods for use of voice mail and email in a mixed media environment |
US9405751B2 (en) | 2005-08-23 | 2016-08-02 | Ricoh Co., Ltd. | Database for mixed media document system |
US9087104B2 (en) | 2006-01-06 | 2015-07-21 | Ricoh Company, Ltd. | Dynamic presentation of targeted information in a mixed media reality recognition system |
US9020966B2 (en) | 2006-07-31 | 2015-04-28 | Ricoh Co., Ltd. | Client device for interacting with a mixed media reality recognition system |
US9063952B2 (en) | 2006-07-31 | 2015-06-23 | Ricoh Co., Ltd. | Mixed media reality recognition with image tracking |
US9870388B2 (en) | 2006-07-31 | 2018-01-16 | Ricoh, Co., Ltd. | Analyzing usage of visual content to determine relationships indicating unsuccessful attempts to retrieve the visual content |
US9176984B2 (en) | 2006-07-31 | 2015-11-03 | Ricoh Co., Ltd | Mixed media reality retrieval of differentially-weighted links |
US8965145B2 (en) | 2006-07-31 | 2015-02-24 | Ricoh Co., Ltd. | Mixed media reality recognition using multiple specialized indexes |
US9311336B2 (en) | 2006-07-31 | 2016-04-12 | Ricoh Co., Ltd. | Generating and storing a printed representation of a document on a local computer upon printing |
US9384619B2 (en) | 2006-07-31 | 2016-07-05 | Ricoh Co., Ltd. | Searching media content for objects specified using identifiers |
US8989431B1 (en) | 2007-07-11 | 2015-03-24 | Ricoh Co., Ltd. | Ad hoc paper-based networking with mixed media reality |
US9530050B1 (en) | 2007-07-11 | 2016-12-27 | Ricoh Co., Ltd. | Document annotation sharing |
US10192279B1 (en) | 2007-07-11 | 2019-01-29 | Ricoh Co., Ltd. | Indexed document modification sharing with mixed media reality |
US9373029B2 (en) | 2007-07-11 | 2016-06-21 | Ricoh Co., Ltd. | Invisible junction feature recognition for document security or annotation |
US9092423B2 (en) | 2007-07-12 | 2015-07-28 | Ricoh Co., Ltd. | Retrieving electronic documents by converting them to synthetic text |
JP2009049797A (en) * | 2007-08-21 | 2009-03-05 | Sony Corp | Image generating device, display device, image generating method, program, and recording medium with program recorded thereon |
JP2009071732A (en) * | 2007-09-14 | 2009-04-02 | Fujifilm Corp | Image processor, image processing method, and program |
JP2009231921A (en) * | 2008-03-19 | 2009-10-08 | Toshiba Corp | Image processing apparatus, image processing method, and image processing system |
JP2010068120A (en) * | 2008-09-09 | 2010-03-25 | Toshiba Corp | Monitoring system |
JP2014026662A (en) * | 2008-09-15 | 2014-02-06 | Ricoh Co Ltd | Retrieval system, retrieval method, and computer program |
JP2012053663A (en) * | 2010-09-01 | 2012-03-15 | Honda Motor Co Ltd | Object kind determination device |
US9058331B2 (en) | 2011-07-27 | 2015-06-16 | Ricoh Co., Ltd. | Generating a conversation in a social network based on visual search results |
US8892595B2 (en) | 2011-07-27 | 2014-11-18 | Ricoh Co., Ltd. | Generating a discussion group in a social network based on similar source materials |
JP2013235329A (en) * | 2012-05-07 | 2013-11-21 | Taiwan Colour & Imaging Technology Corp | Face identification monitoring/management method |
US9396538B2 (en) | 2012-09-19 | 2016-07-19 | Nec Corporation | Image processing system, image processing method, and program |
JPWO2014045843A1 (en) * | 2012-09-19 | 2016-08-18 | 日本電気株式会社 | Image processing system, image processing method, and program |
US9984300B2 (en) | 2012-09-19 | 2018-05-29 | Nec Corporation | Image processing system, image processing method, and program |
WO2014045670A1 (en) * | 2012-09-19 | 2014-03-27 | 日本電気株式会社 | Image processing system, image processing method, and program |
WO2023203637A1 (en) * | 2022-04-19 | 2023-10-26 | 日本電気株式会社 | Monitoring system, information processing device, monitoring device, method, and non-transitory computer recording medium |
CN114979035B (en) * | 2022-05-11 | 2024-01-12 | 中国电信股份有限公司 | Monitoring video storage method and device, electronic equipment and storage medium |
CN114979035A (en) * | 2022-05-11 | 2022-08-30 | 中国电信股份有限公司 | Monitoring video storage method and device, electronic equipment and storage medium |
CN116528043A (en) * | 2023-04-13 | 2023-08-01 | 荣耀终端有限公司 | Object marking method and electronic equipment |
CN116528043B (en) * | 2023-04-13 | 2024-03-29 | 荣耀终端有限公司 | Object marking method and electronic equipment |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP2006229465A (en) | Monitoring apparatus, monitoring method, and monitoring program | |
JP7173196B2 (en) | Image processing device, image processing method, and program | |
US10438360B2 (en) | Video processing apparatus, video processing method, and storage medium | |
EP2954499B1 (en) | Information processing apparatus, information processing method, program, and information processing system | |
JP5203281B2 (en) | Person detection device, person detection method, and person detection program | |
JP6674584B2 (en) | Video surveillance system | |
JP6631619B2 (en) | Video monitoring system and video monitoring method | |
JP2020013290A (en) | Video analyzing device, person searching system and person searching method | |
KR20180003304A (en) | System and method for video summary | |
JP2007280043A (en) | Video monitoring and search system | |
JP2008040781A (en) | Subject verification apparatus and subject verification method | |
JP2008009849A (en) | Person tracking device | |
JP2009027393A (en) | Image searching system and personal searching method | |
JP2008005208A (en) | Camera automatic control system for athletics, camera automatic control method, camera automatic control unit, and program | |
TWI601425B (en) | A method for tracing an object by linking video sequences | |
JP7314973B2 (en) | VIDEO MONITORING DEVICE, VIDEO MONITORING METHOD AND PROGRAM | |
JP2022117996A (en) | Information processing device, data generation method, and program | |
JP2005346425A (en) | Automatic tracking system and automatic tracking method | |
JP2019096062A (en) | Object tracking device, object tracking method, and object tracking program | |
JP7371764B2 (en) | Information registration device, information registration system, information registration method, and computer program | |
US10740623B2 (en) | Representative image generation device and representative image generation method | |
JP5051885B2 (en) | Person search device and person search method | |
JP4972013B2 (en) | Information presenting apparatus, information presenting method, information presenting program, and recording medium recording the program | |
KR20170127318A (en) | Object Tracking System | |
JP2004187116A (en) | Action monitoring system and program |