JP2009075802A - Personal activity retrieving apparatus - Google Patents

Personal activity retrieving apparatus Download PDF

Info

Publication number
JP2009075802A
JP2009075802A JP2007243307A JP2007243307A JP2009075802A JP 2009075802 A JP2009075802 A JP 2009075802A JP 2007243307 A JP2007243307 A JP 2007243307A JP 2007243307 A JP2007243307 A JP 2007243307A JP 2009075802 A JP2009075802 A JP 2009075802A
Authority
JP
Japan
Prior art keywords
person
image
behavior
recording
data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2007243307A
Other languages
Japanese (ja)
Other versions
JP4996404B2 (en
Inventor
Sojiro Morita
聡二郎 森田
Satoru Shibuya
覚 渋谷
Ichiro Okawa
一朗 大川
Toru Ono
透 小野
Original Assignee
Giken Torasutemu Kk
技研トラステム株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Giken Torasutemu Kk, 技研トラステム株式会社 filed Critical Giken Torasutemu Kk
Priority to JP2007243307A priority Critical patent/JP4996404B2/en
Publication of JP2009075802A publication Critical patent/JP2009075802A/en
Application granted granted Critical
Publication of JP4996404B2 publication Critical patent/JP4996404B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING; COUNTING
    • G06KRECOGNITION OF DATA; PRESENTATION OF DATA; RECORD CARRIERS; HANDLING RECORD CARRIERS
    • G06K9/00Methods or arrangements for reading or recognising printed or written characters or for recognising patterns, e.g. fingerprints
    • G06K9/00624Recognising scenes, i.e. recognition of a whole field of perception; recognising scene-specific objects
    • G06K9/00771Recognising scenes under surveillance, e.g. with Markovian modelling of scene activity
    • GPHYSICS
    • G06COMPUTING; CALCULATING; COUNTING
    • G06KRECOGNITION OF DATA; PRESENTATION OF DATA; RECORD CARRIERS; HANDLING RECORD CARRIERS
    • G06K9/00Methods or arrangements for reading or recognising printed or written characters or for recognising patterns, e.g. fingerprints
    • G06K9/00335Recognising movements or behaviour, e.g. recognition of gestures, dynamic facial expressions; Lip-reading

Abstract

<P>PROBLEM TO BE SOLVED: To provide a personal activity retrieving apparatus for easily retrieving a position where a person indicating a particular behavior is recorded from video image data and capable of quickly reproducing the image from that position. <P>SOLUTION: The personal activity retrieving apparatus X includes; an image processor 3 for acquiring activity information for the person from picked up image 1, a behavior judging unit 4 for judging the behavior of the person, a bookmark data creating part 54 for creating bookmark data indicating the behavior of the person from the behavior judging means, a movement locus recording part 52 for recording the tracked line of the person, a bookmark image creating part 53 for creating a bookmark image synthesizing the tracked line to a representative image of the person, a video recording position recording part 51 for recording a recorded position of the video image data with personal recognition, a personal key creating part 55 for creating a personal key relating the bookmark, the bookmark data and the recorded position, a retrieving part 61 for displaying a list of called bookmark images by having the personal key retrieved, and a display editing part 62 for reproducing the video image data recorded by a recording device 2 by selection of the bookmark image on a display part 8 from the recorded position related to the bookmark. <P>COPYRIGHT: (C)2009,JPO&INPIT

Description

本発明は、人物行動検索装置に関し、詳しくは、所定の監視場所を録画した動画データから人の行動を分析するに際して、人の挙動を示す人物キーを検索キーとして検索し、当該人が録画されている録画位置から素早く上記動画データを再生できるようにした人物行動検索装置に関するものである。   The present invention relates to a person behavior search device, and more specifically, when analyzing a person's behavior from moving image data recording a predetermined monitoring place, a person key indicating a person's behavior is searched as a search key, and the person is recorded. The present invention relates to a human behavior search apparatus that can quickly reproduce the moving image data from a recording position.
従来、現金自動預払機(ATM )、コンビニエンスストア、デパート、マンション、住宅等の監視場所には、監視カメラが設置されて撮像画像を録画装置によって記憶部に動画記録して、上記監視場所での人の行動を記録することが行われている。そして、録画装置によって録画した動画データは、再生装置によってモニター上に再生して監視場所での特定の人の行動を分析すること等に利用されている。
特開2006−331049号公報 特許第3406587号公報 特許第3390426号公報
Conventionally, surveillance cameras are installed in automatic teller machines (ATMs), convenience stores, department stores, condominiums, homes, etc., and the captured images are recorded in a storage unit by a recording device and recorded at the monitoring locations. It is done to record human behavior. Then, the moving image data recorded by the recording device is reproduced on the monitor by the reproducing device and used for analyzing the action of a specific person at the monitoring place.
JP 2006-331049 A Japanese Patent No. 3406587 Japanese Patent No. 3390426
ところが、上記動画データは、漫然と長時間に記録されているため、人が映し出されるまで再生装置を早送りする等の作業が必要となる。その際、特定の挙動を示す人を見つけ出すためには、巻き戻し、早送り等して人の行動が判断しやすい場面を探し、時には一時停止やコマ送り等して確認することとなる。しかも、複数の人が同時に画面に現れる場合は、巻き戻して個々の人を個別に確認する必要がある。   However, since the moving image data is recorded for a long time, it is necessary to perform operations such as fast-forwarding the playback device until a person is projected. At that time, in order to find a person who shows a specific behavior, a scene where the person's action can be easily judged is searched by rewinding or fast-forwarding, and sometimes it is confirmed by pausing or frame-by-frame. Moreover, when a plurality of people appear on the screen at the same time, it is necessary to rewind and confirm each individual person.
このように録画された動画データから人を見つけ出しその人の行動を分析するのは、非常に手間がかかる。本来、監視場所を常時動画記録するのは、人を対象とし、その行動を把握することにあり、そのため、長時間記録された動画データから人の行動を容易に且つ短時間で目視確認できるようにすることが望まれる。   It is very troublesome to find a person from the video data recorded in this way and analyze the action of the person. Originally, the video recording of the monitoring location is always for the purpose of grasping the behavior of the person, so that the behavior of the person can be easily and visually confirmed from the video data recorded for a long time. It is desirable to make it.
本発明は、上記事情に鑑みてなされたものであり、長時間記録された動画データから人の行動を分析するのに要する作業負担を軽減すべく、動画データから特定の挙動を示す人が録画された位置を容易に検索しその位置から素早い再生を可能とする人物行動検索装置を提供することを課題とする。   The present invention has been made in view of the above circumstances, and a person who shows a specific behavior is recorded from moving image data in order to reduce the work burden required to analyze human behavior from moving image data recorded for a long time. It is an object of the present invention to provide a human behavior search apparatus that easily searches for a position and makes it possible to quickly reproduce the position.
上記課題を解決するための本発明は、人の行動を監視し録画した動画データを、所定の挙動を示した人を検索し当該人が現われる場面から再生可能とするための人物行動検索装置を提供するものである。その手段は、以下のとおりである。
撮像装置により撮像される監視領域の撮像画像を動画データとして画像記録部に録画させる録画装置と、
上記撮像装置又は上記画像記録部から連続的に送られる撮像画像上で個々の人を認識して当該人の仮想重心点の移動を追跡し、当該人の行動情報を取得する画像処理装置と、
上記画像処理装置で取得した当該人の行動情報より、所定の挙動判定基準に基づいて当該人の挙動を判定する挙動判定装置と、
上記挙動判定装置で挙動判定された結果から当該人の挙動を示す栞データを作成する栞データ作成部と、
上記画像処理装置で追跡した当該人の仮想重心点の移動軌跡を示す追跡線を記録する移動軌跡記録部と、
上記画像処理装置での撮像画像の中から当該人の代表画像を抽出し、当該代表画像に上記移動軌跡記録部に記録された追跡線を合成した当該人の栞画像を作成する栞画像作成部と、
当該人が認識されている動画データの録画位置を記録する録画位置記録部と、
上記の当該人による栞画像と栞データと録画位置とを関連付ける人物キーを作成し、これを栞記憶部に記憶させる人物キー作成部と、
上記人物キーの栞データを検索させて上記栞記憶部から当該栞データと関連付けられた栞画像を呼び出し、当該栞画像を表示装置に一覧表示させる検索部と、
上記一覧表示された栞画像の選択により上記録画装置によって記録された動画データを当該栞画像と関連付けられた録画位置から上記表示装置に再生させる表示編集部とを備える。
In order to solve the above problems, the present invention provides a human behavior search apparatus for searching for a person who shows a predetermined behavior and reproducing the video data recorded by monitoring and monitoring the behavior of the person from a scene where the person appears. It is to provide. The means is as follows.
A recording device that causes the image recording unit to record the captured image of the monitoring area captured by the imaging device as moving image data;
An image processing device for recognizing an individual person on a captured image continuously sent from the imaging device or the image recording unit, tracking the movement of the virtual center of gravity of the person, and acquiring behavior information of the person;
From the behavior information of the person acquired by the image processing device, a behavior determination device that determines the behavior of the person based on a predetermined behavior determination criterion;
栞 data creation unit for creating 栞 data indicating the behavior of the person from the result of behavior determination by the behavior determination device,
A movement trajectory recording unit that records a tracking line indicating the movement trajectory of the virtual center of gravity of the person tracked by the image processing device;
A cocoon image creating unit that extracts a representative image of the person from the captured image in the image processing apparatus and combines the representative image with a tracking line recorded in the moving locus recording unit. When,
A recording position recording unit for recording the recording position of the moving image data in which the person is recognized;
A person key creating unit for associating the above-mentioned 栞 image, 栞 data and recording position by the person, and storing the person key in the 栞 storage unit;
A search unit for searching for the heel data of the person key, calling the heel image associated with the heel data from the heel storage unit, and displaying the list of the heel images on a display device;
And a display editing unit that causes the display device to reproduce the moving image data recorded by the recording device by selecting the thumbnail image displayed in the list from the recording position associated with the thumbnail image.
上記栞データは、
(1)当該人の複数の異なる計測領域間の移動があるかを示す移動順序、
(2)当該人が計測領域内を2人で並行して移動していたかを示す共連れ、
(3)当該人の計測領域内での平均速度を示す移動速度、
(4)当該人が計測領域内で停止していた時間を示す停止時間、
(5)当該人が計測領域内に滞在していた時間を示す滞在時間、及び
(6)当該人を含めて計測領域内に同時に存在していた人数を示す滞在人数
の各項目のうちの1つ又はこれら項目の適宜組み合わせにより構成することができる。
上記栞画像作成部は、当該人の顔が明瞭に写る位置で撮像された撮像画像から代表画像を抽出し栞画像を作成するようにしてもよい。
上記画像処理装置は、上記撮像画像において等間隔に配置する処理点ごとにその処理点を中心点とする円の円周上での各画素のピクセル値に対し基本波フーリエ変換を実行し、得られた位相より処理点ごとに人物画像の概略的な輪郭を法線ベクトルで認識し、当該法線ベクトルを基にその人物画像を上記仮想重心点として捉えるとともに、当該仮想重心点を経時的に追跡する人認識手段を含むことでもよい。
The above data is
(1) movement order indicating whether there is movement between the different measurement areas of the person,
(2) A companion showing whether the person was moving in parallel in the measurement area by two people,
(3) Movement speed indicating the average speed of the person in the measurement area,
(4) Stop time indicating the time the person was stopped in the measurement area,
(5) Stay time indicating the time the person stayed in the measurement area, and
(6) One of the items of the number of staying persons indicating the number of people who were present in the measurement area at the same time including the person or an appropriate combination of these items can be used.
The wrinkle image creating unit may extract a representative image from a captured image captured at a position where the person's face is clearly captured to create a wrinkle image.
The image processing apparatus performs a fundamental wave Fourier transform on pixel values of each pixel on the circumference of a circle having the processing point as a center point for each processing point arranged at equal intervals in the captured image. The outline of the person image is recognized by a normal vector for each processing point from the obtained phase, and the person image is recognized as the virtual centroid point based on the normal vector, and the virtual centroid point is determined over time. A person recognition means for tracking may be included.
以上の構成によれば、監視カメラ等の撮像装置から送られてくる撮像画像は、録画装置によって所定の記憶部に動画データとして録画される一方、画像処理装置によって常時処理し、撮像画像内の個々の人を個別に仮想重心点として捉えて追跡し、当該人の位置、速度、時間などの行動情報が取得される。そして、当該人の代表画像を抽出すると共に追跡線を記録してその人の栞画像を作成し、当該人の行動情報を挙動判定して栞データを作成し、当該人が認識されている動画データの録画位置が記録される。これら当該人の栞画像と栞データと録画位置とは、互いに関連付けられた人物キーとして記憶手段に記憶される。   According to the above configuration, a captured image sent from an imaging device such as a monitoring camera is recorded as moving image data in a predetermined storage unit by the recording device, while being always processed by the image processing device, Each individual person is individually captured and tracked as a virtual center of gravity, and action information such as the position, speed, and time of the person is acquired. Then, a representative image of the person is extracted and a tracking line is recorded to create a habit image of the person, behavior information of the person is determined to generate haze data, and the moving image in which the person is recognized The data recording position is recorded. The person's wrinkle image, wrinkle data, and recording position are stored in the storage unit as person keys associated with each other.
そして、録画装置によって録画された動画データを再生するに際して、まず、検索部によって上記人物キーを検索させることで該当する人の栞画像が表示装置に一覧表示される。次いで、所望の栞画像を選択すると、表示編集部によって選択された栞画像の人が現われる場面から上記動画データの再生が表示装置において行われる。
このように、特定の挙動を示す人が録画されている動画データの位置を容易に検索し、その人が現われる場面からの再生を簡易に且つ素早く行うことができる。
Then, when reproducing the moving image data recorded by the recording device, first, the search unit searches the person key to display a list of images of the corresponding person on the display device. Next, when a desired haze image is selected, the moving image data is reproduced on the display device from a scene where a person of the haze image selected by the display editing unit appears.
In this way, it is possible to easily search for the position of moving image data where a person exhibiting a specific behavior is recorded, and to easily and quickly reproduce the scene from which the person appears.
以上のように、本発明によれば、人物キーを作成しておくことで、長時間記録された動画データから特定の挙動を示した人が現われる場面を簡単に再生させることができ、その結果、録画装置によって録画された動画データに基づいて人の行動を分析するのに要する作業負担を大幅に軽減することができる。   As described above, according to the present invention, by creating a person key, it is possible to easily reproduce a scene in which a person showing a specific behavior appears from moving image data recorded for a long time. The work burden required for analyzing human behavior based on the moving image data recorded by the recording device can be greatly reduced.
以下に、本発明の実施の形態について図面を参照しながら説明する。
本実施の形態は、人物行動検索装置の一適用例として、銀行等の店舗内に設置したATM機(現金自動預払機)の利用者である人の行動を監視し録画した動画データから所定の挙動を示した人を検索し素早く再生表示可能としたものである。図1は、ATM機100を3台(M1〜M3)並べて設置したATM室S内(監視領域)を、1台のカメラ9によって上方から常時撮影している様子を模式的に示している。
Embodiments of the present invention will be described below with reference to the drawings.
In this embodiment, as an application example of the human behavior search apparatus, predetermined behavior is obtained from video data obtained by monitoring and recording the behavior of a person who is a user of an ATM machine (automated teller machine) installed in a store such as a bank. The person who showed the behavior is searched and can be quickly displayed. FIG. 1 schematically shows a state in which an ATM room S (monitoring area) in which three ATM machines 100 (M1 to M3) are installed side by side is always photographed from above by a single camera 9.
なお、図1中、Tは、ATM室Sの出入口の扉であり、A1〜A3は、撮像画像1内に設定される計測領域であり、hは、ATM機100の利用者の人物画像hであり、Gは、人物画像hの仮想重心点であり、R1は、図1中の右側のATM機100の利用者による人物画像hの挙動を示す移動軌跡であって不正常な挙動を示していた場合であり、R2は、図1中の中央のATM機100の利用者による人物画像hの挙動を示す移動軌跡であって正常な挙動を示していた場合である。また、Lは、この撮像画像1上に設定された代表画像抽出ラインである。   In FIG. 1, T is the door of the ATM room S, A1 to A3 are measurement areas set in the captured image 1, and h is a person image h of the user of the ATM machine 100. G is the virtual center of gravity of the person image h, and R1 is a movement trajectory indicating the behavior of the person image h by the user of the right ATM machine 100 in FIG. R2 is a movement trajectory indicating the behavior of the person image h by the user of the central ATM machine 100 in FIG. 1 and indicating a normal behavior. L is a representative image extraction line set on the captured image 1.
図2は、人物行動検索装置Xの構成図を示し、この人物行動検索装置Xは、カメラ(撮像装置)9、録画装置2、操作手段7、画像処理装置3、挙動判定装置4、栞生成装置5、栞記憶部50、再生制御装置6、表示装置8を備える。   FIG. 2 shows a configuration diagram of the human behavior search device X. The human behavior search device X includes a camera (imaging device) 9, a recording device 2, an operation means 7, an image processing device 3, a behavior determination device 4, and soot generation. A device 5, a bag storage unit 50, a reproduction control device 6, and a display device 8 are provided.
カメラ9は、例えば、1台のCCDカメラ等で構成され、上方からATM機100と床面が見える角度で天井や壁面に設置されて監視領域SであるATM室S内を上方から常時撮像し、その撮像画像1を連続的に画像処理装置3に送る。カメラ9を床面が写る角度に設置することで、人物画像hの移動軌跡を表示したときにその進路を把握しやすい情報が得られる。天井が低い場合などは、人物画像hの移動軌跡の範囲が狭まるため、広角レンズを装着したカメラ9を使用し、その撮影範囲を広げるようにしてもよい。   The camera 9 is composed of, for example, a single CCD camera or the like, and is installed on the ceiling or wall at an angle at which the ATM machine 100 and the floor surface can be seen from above, and always images the inside of the ATM room S, which is the monitoring area S, from above. The captured image 1 is continuously sent to the image processing device 3. By installing the camera 9 at an angle at which the floor surface is reflected, it is possible to obtain information that makes it easy to grasp the course when the movement locus of the person image h is displayed. When the ceiling is low, the range of the movement trajectory of the person image h is narrowed, so the camera 9 equipped with a wide-angle lens may be used to widen the shooting range.
録画装置2は、カメラ9により撮像されるATM室S内の撮像画像1を動画データとして所定の画像記録部21に録画させるものである。この録画装置2は、既知のレコーダやコンピュータのドライブ装置等が使用され、動画データを記憶させる画像記録部21としては、内蔵のハードディスクや、着脱可能なDVD、DVテープ等の各種の記憶媒体が使用される。   The recording device 2 records the captured image 1 in the ATM room S captured by the camera 9 in a predetermined image recording unit 21 as moving image data. The recording device 2 uses a known recorder, a computer drive device, or the like, and the image recording unit 21 for storing moving image data includes various types of storage media such as a built-in hard disk, a removable DVD, and a DV tape. used.
操作手段7は、例えば、キーボード、マウス等の入力装置で構成され、画像処理装置3に対してカメラ9で撮像する撮像画像1上に計測領域Aの設定を行ったり、挙動判定装置4に対して人の行動を分析するための挙動判定基準41を設定したり、再生制御装置6を操作して録画装置2によって録画された動画データを表示装置8に再生させる指示を行ったりする。また、この操作手段7は、撮像画像1上において当該撮像画像1に写される人物の代表画像を抽出する位置を示す代表画像抽出ラインLの設定も行う。   For example, the operation unit 7 includes an input device such as a keyboard and a mouse. The operation unit 7 sets the measurement area A on the captured image 1 captured by the camera 9 with respect to the image processing device 3 or the behavior determination device 4. Then, a behavior determination reference 41 for analyzing human behavior is set, or the playback control device 6 is operated to instruct the display device 8 to play back the moving image data recorded by the recording device 2. The operation means 7 also sets a representative image extraction line L that indicates a position on the captured image 1 where a representative image of a person imaged in the captured image 1 is extracted.
計測領域Aは、撮像画像1上に現われた人がこの計測領域A内に存在しているときに当該人の行動情報を取得するために設定される。例えば、無人のATM室Sを監視する場合、計測領域Aは、撮像画像1上でATM機100の前面位置の一定範囲内に設定される。これにより、ATM機100を操作する利用者の行動を把握することができ、ATM機100の利用者を装ってATM機100をいたずらしたり、他の利用者の操作を覗き見する等の不審な行動の有無が把握される。図1に示すATM室Sでは、計測領域Aは、3台のATM機100の各々の前面位置に四角形状に設定されているが、この計測領域Aは、監視目的に応じて位置、大きさ、形状等を適宜に設定することができる。   The measurement area A is set in order to acquire action information of the person when the person who appears on the captured image 1 exists in the measurement area A. For example, when monitoring an unattended ATM room S, the measurement area A is set within a certain range of the front position of the ATM machine 100 on the captured image 1. As a result, the behavior of the user operating the ATM machine 100 can be grasped, and the ATM machine 100 can be disguised as a user of the ATM machine 100, or suspicious such as peeping at the operation of other users. The presence or absence of proper behavior is grasped. In the ATM room S shown in FIG. 1, the measurement area A is set in a square shape at the front surface of each of the three ATM machines 100. The measurement area A is positioned and sized according to the monitoring purpose. The shape and the like can be set as appropriate.
画像処理装置3は、上記カメラ9から連続的に送られる撮像画像1上で個々の人を認識して当該人の仮想重心点Gの移動を追跡し、上記計測領域A内での当該人の仮想重心点Gの行動情報を取得するものである。この画像処理装置3は、人認識手段31、行動計測手段32により構成される。   The image processing device 3 recognizes each person on the captured image 1 continuously sent from the camera 9 and tracks the movement of the virtual center of gravity G of the person, and the person in the measurement area A The action information of the virtual center of gravity point G is acquired. The image processing apparatus 3 includes a person recognition unit 31 and a behavior measurement unit 32.
人認識手段31は、上記撮像画像1において等間隔に配置する処理点ごとにその処理点を中心点とする円の円周上での各ピクセル値に対し基本波フーリエ変換を実行し、得られた位相より処理点ごとに人物画像hの概略的な輪郭を法線ベクトルで認識し、当該法線ベクトルを基にその人物画像hの仮想重心点Gを捉えるとともに、当該仮想重心点Gを経時的に追跡するいわゆるベクトル焦点法による画像処理技術(特許第3406577号、特許第3406587号、特許第3390426号)を備える手段である。   The human recognition means 31 executes fundamental wave Fourier transform on each pixel value on the circumference of a circle having the processing point as the center point for each processing point arranged at equal intervals in the captured image 1 and obtained. From the phase, the outline of the person image h is recognized by a normal vector for each processing point, the virtual center of gravity G of the person image h is captured based on the normal vector, and the virtual center of gravity G is determined over time. The image processing technology (Patent No. 3406657, Patent No. 3406587, Patent No. 3390426) that tracks the image automatically is known.
上記ベクトル焦点法の画像処理としては、まず、図3に示すように、撮像画像1内の物体像Bと背景像Wとの濃度差を利用して、撮像画像1上で等間隔に配置した各処理点Pについてその処理点Pを中心点とする円11の円周上での各画素d1〜d12のピクセル値に対し、下記式(1)に示す基本波フーリエ変換を実行していく(円形フーリエ法)。なお、基本波とは、上記処理点Pを中心点とする円周の1周期分の長さとなる正弦波および余弦波を意味する。   As the image processing of the vector focus method, first, as shown in FIG. 3, the density difference between the object image B and the background image W in the captured image 1 is used and arranged at equal intervals on the captured image 1. For each processing point P, a fundamental wave Fourier transform represented by the following formula (1) is performed on the pixel values of the pixels d1 to d12 on the circumference of the circle 11 having the processing point P as the center point ( Circular Fourier method). The fundamental wave means a sine wave and a cosine wave having a length corresponding to one cycle of the circumference centering on the processing point P.
(式(1)中、SVは画素のピクセル値にフーリエ変換の正弦波を積和した積和値、CV
は画素のピクセル値にフーリエ変換の余弦波を積和した積和値、ATANはアークタンジェント、sitaはフーリエ変換で得られる位相値を示す。)
(In the formula (1), SV is a product-sum value obtained by multiplying the pixel value of a pixel by a sine wave of Fourier transform, CV
Denotes a product-sum value obtained by multiplying the pixel value of a pixel by a cosine wave of Fourier transform, ATRAN is an arctangent, and sita is a phase value obtained by Fourier transform. )
このフーリエ変換で得られる位相が、円周内に存在する画像の濃淡方向を示し、その中心点の処理点Pの画素における画像の濃淡方向となる。すなわち、この濃淡方向は、2次元の撮像画像1での物体Bとその周囲の背景Wとの境界、すなわち物体Bの輪郭部に対する法線ベクトルとして認識される。   The phase obtained by the Fourier transform indicates the light and shade direction of the image existing within the circumference, and becomes the light and shade direction of the image at the pixel at the processing point P at the center point. That is, this light and shade direction is recognized as a normal vector with respect to the boundary between the object B and the surrounding background W in the two-dimensional captured image 1, that is, the contour portion of the object B.
例えば、図4(a)に示すように円11が物体Bにかかった状態のとき、所定の基準位置から反時計方向に回転させて円形にフーリエ変換を実行し、正弦波および余弦波に円周上の各画素のピクセル値を積算すると、図4(b)に示すように、90度付近で波形のピークが現れる。その結果、上記の円形フーリエ法で得られた位相がちょうど物体Bの輪郭部に対する法線方向を示すものとなる。なお、図4(b)において、sinは正弦波、cosは余弦波、s・pは正弦波とピクセル値とを積算した波形、c・pは余弦波とピクセル値とを積算した波形を示している。   For example, when the circle 11 is on the object B as shown in FIG. 4A, it is rotated counterclockwise from a predetermined reference position, and Fourier transform is executed in a circle, and a sine wave and a cosine wave are circled. When the pixel values of the respective pixels on the circumference are integrated, a waveform peak appears near 90 degrees as shown in FIG. 4B. As a result, the phase obtained by the above circular Fourier method just indicates the normal direction with respect to the contour portion of the object B. In FIG. 4B, sin represents a sine wave, cos represents a cosine wave, s · p represents a waveform obtained by integrating the sine wave and the pixel value, and c · p represents a waveform obtained by integrating the cosine wave and the pixel value. ing.
但し、上記の円周内には物体像Bの輪郭部が入っておらず、円周内の画像がほとんど均一な濃度分布のところを除くため、下記式(2)に示す、上記SVおよび上記CVの二乗和の平方根の値(pow)が一定値以下のときはこの処理点Pには濃淡が無いとして扱う。   However, since the contour portion of the object image B is not included in the circumference and the image in the circumference has almost uniform density distribution, the above SV and the above formula (2) are excluded. When the square root value (pow) of the square sum of CVs is less than a certain value, the processing point P is treated as having no shading.
そして、人物画像hの抽出を行うには、図5(a)に示すように、まず、撮像画像1上の任意の配置点Qを基準に標準人型像oを配置し、上記円形フーリエ法により標準人型像oの輪郭部における法線ベクトル群bを求め、配置点Qから法線ベクトル群bまでの位置情報と法線ベクトル群bの角度情報を、当該配置点Qの標準データとして記憶する。   In order to extract the person image h, as shown in FIG. 5A, first, the standard human figure image o is arranged with reference to an arbitrary arrangement point Q on the captured image 1, and the circular Fourier method is used. Thus, the normal vector group b in the contour portion of the standard human figure image o is obtained, and the position information from the arrangement point Q to the normal vector group b and the angle information of the normal vector group b are used as standard data of the arrangement point Q. Remember.
次に、図5(b)に示すように、監視時に移動する人物画像hが写された撮像画像1に対して上記円形フーリエ法により人物画像hの輪郭部における法線ベクトル群b’を求め、上記標準データに基づいてこれら法線ベクトル群b’から上記配置点Qに相当する複数の正解点を求め、これら正解点が集まった所謂ベクトル焦点Gが一定値以上であれば、その人物画像hは人であると認識する。このベクトル焦点Gが、上記人の仮想重心点Gとなり、この重心点Gをカメラ9から送られてくる撮像画像1毎に追跡して行く。   Next, as shown in FIG. 5B, a normal vector group b ′ at the contour portion of the person image h is obtained by the circular Fourier method for the captured image 1 in which the person image h moving during monitoring is copied. Based on the standard data, a plurality of correct answer points corresponding to the arrangement point Q are obtained from the normal vector group b ′, and if the so-called vector focus G where these correct answer points are gathered is equal to or greater than a certain value, the person image Recognize that h is a person. This vector focus G becomes the virtual centroid G of the person, and the centroid G is tracked for each captured image 1 sent from the camera 9.
なお、上記仮想重心点Gの位置は、監視目的に応じて人物画像h上の適宜位置に設定することができるが、本実施の形態では、例えば、人物画像hの頭部に配置される。すなわち、ATM機100の利用者を装ってATM機100をいたずらしたり、他の利用者の操作を覗き見する等の場合、周りを見渡したりするのに頭部の移動が顕著となるからであり、そのため、本実施の形態では、人の行動を捉えるための仮想重心点Gを人物画像hの頭部に配置するのが好ましい。これにより、ATM室S内の人の行動を監視する場合、頭部の動きを観察することで、当該人の不審な挙動の有無を確実に把握することができ、人の行動分析の信頼性を向上することができる。   Note that the position of the virtual center of gravity G can be set to an appropriate position on the person image h in accordance with the monitoring purpose, but in the present embodiment, for example, it is arranged at the head of the person image h. That is, when the ATM machine 100 is disguised as a user of the ATM machine 100, or when looking at other user's operations, the head movement becomes noticeable to look around. For this reason, in the present embodiment, it is preferable to arrange a virtual center of gravity G for capturing human behavior on the head of the person image h. Thereby, when monitoring the behavior of a person in the ATM room S, by observing the movement of the head, it is possible to reliably grasp the presence or absence of the suspicious behavior of the person, and the reliability of the human behavior analysis Can be improved.
以上のベクトル焦点法による画像処理技術によれば、カメラ9から送られてくる撮像画像1を連続的に処理し、処理毎に人物画像hをベクトル焦点という仮想重心点Gで規定することができ、この仮想重心点Gの移動を追跡することができ、さらに、この追跡により仮想重心点Gの瞬間移動速度(停止を含む。)を計測することができるという特性を備えている。例えば、人認識において前後フレームの撮像画像1より差分画像を把握する方法では、人物画像hが停止すると差分がとれず人を見失うおそれがあるが、上記ベクトル焦点法による画像処理技術ではそのような不都合も無い。   According to the image processing technique based on the vector focus method described above, the captured image 1 sent from the camera 9 can be continuously processed, and the human image h can be defined by a virtual center of gravity G called a vector focus for each processing. The movement of the virtual center of gravity point G can be tracked, and the instantaneous movement speed (including stop) of the virtual center of gravity point G can be measured by this tracking. For example, in the method of recognizing a difference image from the captured images 1 of the preceding and following frames in human recognition, if the person image h stops, the difference may not be obtained and the person may be lost. However, in the image processing technique using the vector focus method, There is no inconvenience.
従って、上記人認識手段31によれば、撮像画像1に現われる個々の人物を一人ひとり認識することができ、例えば、肩を組んでいる2人について、その個々人をそれぞれ一人ひとりに区別して認識し、それぞれの仮想重心点Gを認識することができる。従って、2人が並走するような共連れも把握することができる。そして、人認識手段31は、当該人物画像hの仮想重心点Gの移動を、人物画像hの仮想重心点Gが撮像画像1内に現われてから撮像画像1外に消えるまで追跡する。   Therefore, according to the person recognition means 31, each person appearing in the captured image 1 can be recognized one by one. For example, regarding the two persons crossing the shoulder, the individual person can be distinguished and recognized. Can be recognized. Therefore, it is possible to grasp a companion that two people run in parallel. Then, the person recognition means 31 tracks the movement of the virtual center of gravity G of the person image h until the virtual center of gravity G of the person image h appears in the captured image 1 and disappears outside the captured image 1.
行動計測手段32は、人認識手段31で特定する人物画像hの仮想重心点Gが計測領域A内に進入してから計測領域A外へ退出するまでの行動情報を計測し、記録する。この行動情報としては、例えば、計測領域A内での人の位置、速度、時間などである。   The behavior measuring unit 32 measures and records behavior information from when the virtual center of gravity G of the person image h specified by the person recognizing unit 31 enters the measurement region A until it exits outside the measurement region A. This behavior information is, for example, the position, speed, time, etc. of the person in the measurement area A.
挙動判定装置4は、上記画像処理装置3で取得した当該人の行動情報より、所定の挙動判定基準41に基づいて当該人の挙動を判定するものである。挙動判定装置4には、挙動判定基準41が登録されている(図2参照)。この挙動判定基準41は、監視領域S内で人がどうような行動をとっていたかを判定するための基準であり、例えば、(1)移動順序、(2)共連れ、(3)移動速度、(4)停止時間、(5)滞在時間、及び(6)滞在人数、等の各挙動が設定される(図7参照)。   The behavior determination device 4 determines the behavior of the person based on a predetermined behavior determination reference 41 from the behavior information of the person acquired by the image processing device 3. A behavior determination standard 41 is registered in the behavior determination device 4 (see FIG. 2). This behavior determination criterion 41 is a criterion for determining how a person is taking action in the monitoring area S. For example, (1) movement order, (2) companion, (3) movement speed , (4) stop time, (5) stay time, and (6) number of visitors, etc. are set (see FIG. 7).
ここで、上記(1)の移動順序は、当該人の複数の異なる計測領域A間の移動があったかを判定する。すなわち、正常なATM機100の利用者は、通常、ATM機100の操作中に横側へ移動することもない(図1中、R2を参照)。一方、隣のATM機100を覗き見するような不審な行動を示すと、隣接するATM機100に対して設定された計測領域Aへの移動が発生することとなる(図1中、R1を参照)。従って、複数の異なる計測領域A間の行動を行った人の中には、不審人物が含まれ得ると判断できるからである。   Here, the movement order of (1) determines whether or not the person has moved between a plurality of different measurement areas A. That is, a normal user of the ATM machine 100 does not normally move to the side during the operation of the ATM machine 100 (see R2 in FIG. 1). On the other hand, when a suspicious action such as peeking at the adjacent ATM machine 100 is shown, movement to the measurement area A set for the adjacent ATM machine 100 occurs (in FIG. 1, R1 is set to R1). reference). Therefore, it can be determined that a person who performs an action between a plurality of different measurement areas A can include a suspicious person.
上記(2)の共連れは、当該人が計測領域A内を2人で並行して移動していたかを判定する。この場合、ATM機100の利用者を装ってATM機100をいたずら等した者が含まれ得ると判断できるからである。   In the above (2), it is determined whether or not the person has moved in the measurement area A in parallel. In this case, it can be determined that a person who pretend to be a user of the ATM machine 100 and mischief the ATM machine 100 can be included.
上記(3)の移動速度は、当該人の計測領域A内での平均速度を判定する。この場合、平均速度が異常に速いと、周辺をきょろきょろ見渡していたとも捉えることができ、その者の中には、ATM機100の利用者を装ってATM機100をいたずら等した者が含まれ得ると判断できるからである。   The movement speed of the above (3) determines the average speed in the measurement area A of the person. In this case, if the average speed is abnormally high, it can be understood that the surrounding area has been overlooked, and some of them include those who pretend to be a user of the ATM machine 100 and mischief the ATM machine 100. It is because it can be judged that it obtains.
上記(4)の停止時間は、当該人が計測領域A内で停止していた時間を判定する。この場合、停止時間が異常に長いと、ATM機100の利用者を装ってATM機100をいたずら等した者が含まれ得ると判断できるからである。   The stop time of the above (4) determines the time during which the person has stopped in the measurement area A. In this case, if the stop time is abnormally long, it can be determined that a person who pretend to be a user of the ATM machine 100 and mischief the ATM machine 100 can be included.
上記(5)の滞在時間は、当該人が計測領域A内に滞在していた時間を判定する。この場合も、滞在時間が異常に長いと、ATM機100の利用者を装ってATM機100をいたずら等した者が含まれ得ると判断できるからである。   The staying time of (5) above determines the time during which the person has stayed in the measurement area A. Also in this case, if the staying time is abnormally long, it can be determined that a person who pretends to be a user of the ATM machine 100 and mischief the ATM machine 100 can be included.
上記(6)の滞在人数は、当該人を含めて計測領域A内に同時に存在していた人数を判定する。この場合、例えば、3人以上の多数であると、ATM機100の利用者を装ってATM機100をいたずら等した者が含まれ得ると判断できるからである。
なお、この挙動判定基準41は、上記の各挙動に限らず、監視目的に応じてその挙動内容を適宜に決定することができる。
The number of stays in (6) above determines the number of people who were present in the measurement area A at the same time including the person. In this case, for example, if there are a large number of three or more, it can be determined that a person who pretends to be a user of the ATM machine 100 and mischief the ATM machine 100 can be included.
In addition, this behavior determination reference | standard 41 can determine the content of the behavior suitably not only according to each said behavior but according to the monitoring objective.
栞生成装置5は、上記録画装置2に長時間記録された動画データから特定の挙動を示した人が現われる場面を簡単に呼び出せるようにするための人物キーを生成するものである。この栞生成装置5は、録画位置記録部51と、移動軌跡記録部52、栞画像作成部53と、栞データ作成部54と、人物キー作成部55とを有する(図2参照)。   The bag generating device 5 generates a person key for easily calling a scene in which a person showing a specific behavior appears from moving image data recorded in the recording device 2 for a long time. The bag generating device 5 includes a recording position recording unit 51, a movement locus recording unit 52, a bag image generating unit 53, a bag data generating unit 54, and a person key generating unit 55 (see FIG. 2).
録画位置記録部51は、撮像画像1上で認識される個々の人が写されている動画データの録画位置を記録する。録画位置は、例えば、撮像画像1中にある人が初めて現われた時点の画像フレーム番号(開始フレーム)と、当該人物が撮像画像1外に出て消失した時点の1つ前の画像フレーム番号(終了フレーム)とで構成される(図11参照)。なお、この録画位置は、上記の画像フレーム番号に限らず、録画時間で構成することもできる。また、録画位置は、開始フレームだけで構成してもよい。   The recording position recording unit 51 records the recording position of moving image data in which individual persons recognized on the captured image 1 are captured. The recording position is, for example, an image frame number (start frame) at the time when a person in the captured image 1 first appears and an image frame number (one frame before the point at which the person disappears outside the captured image 1). End frame) (see FIG. 11). Note that this recording position is not limited to the above-described image frame number, and can also be configured with a recording time. Further, the recording position may be composed of only the start frame.
移動軌跡記録部52は、上記画像処理装置3で追跡した当該人の仮想重心点Gの移動軌跡を示す追跡線を記録する。すなわち、この移動軌跡記録部52は、撮像画像1において一人ひとり個別に、人物画像hの仮想重心点Gが撮像画像1内に現われてから撮像画像1外に消えるまでの移動軌跡を当該人物画像hの追跡線として記録する。   The movement trajectory recording unit 52 records a tracking line indicating the movement trajectory of the virtual centroid point G of the person tracked by the image processing device 3. That is, the movement trajectory recording unit 52 individually shows the movement trajectory from when the virtual center of gravity G of the person image h appears in the captured image 1 until it disappears outside the captured image 1 in the captured image 1. Record as tracking line.
栞画像作成部53は、上記画像処理装置3で撮像画像1上に人が認識されると当該人の代表画像を抽出し、当該代表画像に上記移動軌跡記録部52に記録された追跡線を合成した当該人の栞画像を作成する。この栞画像作成部53は、当該人の顔が明瞭に写る位置で撮像された撮像画像1から代表画像を抽出し栞画像を作成するが、このとき、代表画像抽出位置は、撮像画像1上に任意に設定することができる。例えば、図1のATM室S内を監視する場合、ATM室Sの出入口の扉Tから少し入ったところの位置が当該人の顔が比較的明瞭に写される。従って、この場合、ATM室Sの出入口から少し入ったところに代表画像抽出ラインLを設定し、このラインLを最初に通過した瞬間の画像フレーム(撮像画像1)を代表画像として抽出し、当該人の栞画像を作成する(図1、図11参照)。   When a person is recognized on the captured image 1 by the image processing device 3, the heel image creation unit 53 extracts a representative image of the person, and uses the tracking line recorded in the movement locus recording unit 52 as the representative image. Create a composite image of the person. The wrinkle image creation unit 53 extracts a representative image from the captured image 1 captured at a position where the person's face is clearly visible, and creates a wrinkle image. At this time, the representative image extraction position is on the captured image 1. Can be set arbitrarily. For example, when the inside of the ATM room S in FIG. 1 is monitored, the face of the person is relatively clearly shown at a position slightly entered from the door T at the entrance / exit of the ATM room S. Therefore, in this case, a representative image extraction line L is set at a position slightly entered from the entrance / exit of the ATM room S, and an image frame (captured image 1) at the moment of first passing through the line L is extracted as a representative image. A human eyelid image is created (see FIGS. 1 and 11).
栞データ作成部54は、上記挙動判定装置4で挙動判定された結果から当該人の挙動を示す栞データを作成する。この栞データは、特定の挙動を示した人を検索するための人の挙動別に分類された項目であり、各項目は、上記挙動判定基準41に設定される人の挙動の各項目と対応している。従って、この栞データの項目としては、例えば、(1)移動順序(当該人の複数の異なる計測領域A間の移動があったか)、(2)共連れ(当該人が計測領域A内を2人で並行して移動していたか)、(3)移動速度(当該人の計測領域A内での平均速度)、(4)停止時間(当該人が計測領域A内で停止していた時間)、(5)滞在時間(当該人が計測領域A内に滞在していた時間)、及び(6)滞在人数(当該人を含めて計測領域A内に同時に存在していた人数)等である(図7参照)。   The heel data creation unit 54 creates heel data indicating the behavior of the person from the result of the behavior determination performed by the behavior determination device 4. This trap data is an item classified according to a person's behavior for searching for a person showing a specific behavior, and each item corresponds to each item of the person's behavior set in the behavior determination criterion 41. ing. Therefore, the items of the trap data include, for example, (1) movement order (whether the person has moved between a plurality of different measurement areas A), (2) sharing (the person is within the measurement area A in two persons) (3) Movement speed (average speed of the person in the measurement area A), (4) Stop time (time the person has been stopped in the measurement area A), (5) Stay time (time during which the person stayed in the measurement area A) and (6) Number of stayers (number of people who were present in the measurement area A including the person), etc. 7).
人物キー作成部55は、上記の当該人による栞画像と栞データと録画位置とを関連付ける人物キーを作成し、この人物キーを栞記憶部50に記憶させるものである。この人物キーとしては、例えば、図8に示すような表形式のデータとすることができ、個人毎に人物ナンバー(図8中の「人物NO.」)が設定されて、この人物ナンバーによって当該人の栞画像、栞データ、録画位置が関連付けられている。   The person key creation unit 55 creates a person key for associating the above-mentioned person's heel image, heel data, and recording position, and stores the person key in the heel storage section 50. The person key can be, for example, tabular data as shown in FIG. 8, and a person number (“person No.” in FIG. 8) is set for each individual. Human habit images, habit data, and recording positions are associated.
栞記憶部50は、上述のとおり、栞生成装置5で作成された人物キーを記憶するものである。この栞記憶部50に記憶された人物キーは、この人物キーを作成する基となった動画データとの関連付けがなされている。   As described above, the bag storage unit 50 stores the person key created by the bag generation device 5. The person key stored in the bag storage unit 50 is associated with the moving image data on which the person key is created.
再生制御装置6は、上記録画装置2に長時間記録された動画データを、上記人物キーを参照して特定の挙動を示した人が現われる場面からジャンプ再生させるようにするものである。この再生制御装置6は、検索部61と、表示編集部62とを有する(図2参照)。
検索部61は、上記人物キーの栞データを検索キーとして検索させて上記栞記憶部50から当該人物キーと関連付けられた栞画像を呼び出し、当該栞画像を表示装置8に一覧表示させる。
表示編集部62は、上記一覧表示された栞画像の選択により上記録画装置2によって記録された動画データを当該栞画像と関連付けられた録画位置から上記表示装置8に再生させる。すなわち、栞画像が選択されると、この栞画像と関連付けられた動画位置が示す開始フレームから動画データがジャンプ再生され、そして、この動画位置が示す終了フレームで上記再生が停止される。これにより、選択された栞画像の人が現われる場面に対して、上記動画データの再生が表示装置8において行われる。
The playback control device 6 causes the moving image data recorded for a long time in the recording device 2 to jump-play from a scene where a person showing a specific behavior appears with reference to the person key. The reproduction control device 6 includes a search unit 61 and a display editing unit 62 (see FIG. 2).
The search unit 61 searches the wrinkle data of the person key as a search key, calls the wrinkle image associated with the person key from the wrinkle storage unit 50, and causes the display device 8 to display a list of the wrinkle images.
The display editing unit 62 causes the display device 8 to reproduce the moving image data recorded by the recording apparatus 2 from the recording position associated with the haze image by selecting the haze images displayed in the list. That is, when a habit image is selected, the moving image data is jump-reproduced from the start frame indicated by the moving image position associated with the eclipse image, and the reproduction is stopped at the end frame indicated by the moving image position. As a result, the moving image data is reproduced on the display device 8 for the scene in which the person of the selected bag image appears.
表示装置8は、既知のモニター装置が使用され、カメラ9で撮像されている撮像画像1を表示させたり、上記栞画像を一覧表示させたり、上記動画データを再生表示させたりするものである。   The display device 8 uses a known monitor device, and displays the picked-up image 1 picked up by the camera 9, displays a list of the saddle images, and reproduces and displays the moving image data.
次に、上記人物行動検索装置Xの動作を説明する。
まず、操作手段7によって、画像処理装置3に対してカメラ9で撮像する撮像画像1上に計測領域Aを設定すると共に、挙動判定装置4に対して挙動判定基準41を設定する。計測領域Aとしては、図1に示すように、ATM機100を操作している利用者が完全に包囲されるように、ATM機100の前面位置の一定範囲を四角形状に囲むように設定される。挙動判定基準41としては、上述した(1)移動順序、(2)共連れ、(3)移動速度、(4)停止時間、(5)滞在時間、及び(6)滞在人数の各項目が設定される。また、操作手段7によって、撮像画像1上の所定位置に代表画像抽出ラインLを引いて、カメラ9で撮像される一人ひとりの代表画像を抽出する位置を設定する。以上の設定が完了すると、ATM機100の利用者の行動分析のために、撮像画像1の録画とともに個人毎に人物キーが作成される。
Next, the operation of the person behavior search device X will be described.
First, the measurement unit A is set on the captured image 1 captured by the camera 9 with respect to the image processing apparatus 3 by the operation means 7 and the behavior determination reference 41 is set for the behavior determination apparatus 4. As shown in FIG. 1, the measurement area A is set so as to surround a certain range of the front position of the ATM machine 100 in a square shape so that the user operating the ATM machine 100 is completely surrounded. The As the behavior determination criteria 41, the above-mentioned items (1) order of movement, (2) companion, (3) movement speed, (4) stop time, (5) stay time, and (6) number of staying people are set. Is done. In addition, the operation means 7 draws a representative image extraction line L at a predetermined position on the captured image 1 to set a position for extracting each representative image captured by the camera 9. When the above setting is completed, a person key is created for each individual together with the recording of the captured image 1 in order to analyze the behavior of the user of the ATM machine 100.
人物キーを作成するときの動作は、図6に示した手順によって行われる。
すなわち、図6を参照して、カメラ9から撮像画像1が画像処理装置3に連続的に入力されると(S1)、録画装置2によって画像記録部21に動画データとして録画される一方、画像処理装置3では、撮像画像1内に人が存在するか人認識を行う。人の存在が認識されると、その画像フレーム番号を当該人が初めて撮像画像1中に現われた時点を示す開始フレームとして記録される(S2)。すなわち、図11に示すように、撮像画像1上に初めて人が認識されると、そのときの画像フレーム番号が録画されている動画データにおいて当該人が現われる録画位置を示す開始フレームとなる。
The operation for creating the person key is performed according to the procedure shown in FIG.
That is, referring to FIG. 6, when the captured image 1 is continuously input from the camera 9 to the image processing device 3 (S1), it is recorded as moving image data in the image recording unit 21 by the recording device 2, while the image The processing device 3 recognizes whether a person exists in the captured image 1. When the presence of a person is recognized, the image frame number is recorded as a start frame indicating the time when the person first appears in the captured image 1 (S2). That is, as shown in FIG. 11, when a person is recognized on the captured image 1 for the first time, the image frame number at that time becomes a start frame indicating the recording position where the person appears in the recorded moving image data.
引き続き、撮像画像1中に認識された当該人を仮想重心点Gとして捉え、連続的に入力される撮像画像1上で当該仮想重心点Gが経時的に追跡される(S3)。なお、上記人認識や仮想重心点Gの追跡は、上述したベクトル焦点法による画像処理技術が用いられる(図3〜図5を参照)。そして、追跡した当該人の仮想重心点Gが代表画像抽出ラインLを通過すると、そのときの撮像画像1(画像フレーム)が当該人の代表画像として抽出される(S4)。すなわち、出入口の扉TからATM室S内に少し入ったところで写された撮像画像1が当該人物の代表画像となる。   Subsequently, the person recognized in the captured image 1 is regarded as a virtual center of gravity G, and the virtual center of gravity G is tracked over time on the continuously input captured image 1 (S3). The person recognition and the tracking of the virtual center of gravity G are performed using the image processing technique based on the vector focus method described above (see FIGS. 3 to 5). When the tracked virtual centroid G of the person passes through the representative image extraction line L, the captured image 1 (image frame) at that time is extracted as the representative image of the person (S4). That is, the captured image 1 that has been photographed when entering the ATM room S through the door T at the entrance / exit becomes a representative image of the person.
そして、追跡した当該人の仮想重心点Gが計測領域Aに進入すると、その仮想重心点Gが計測領域Aに進入してから計測領域A外へ退出するまでの間の当該人の行動情報が上記画像処理装置3の行動計測手段32によって取得される(S5)。すなわち、実空間の人がATM機100を操作している間の位置、速度、時間が取得される。   When the tracked virtual centroid G of the person enters the measurement area A, the behavior information of the person from when the virtual centroid G enters the measurement area A and exits the measurement area A is obtained. Acquired by the behavior measuring means 32 of the image processing apparatus 3 (S5). That is, the position, speed, and time while a person in real space is operating the ATM machine 100 are acquired.
ここで取得された人の行動情報は、挙動判別基準に基づいて挙動判定され(S6)、その挙動判定結果から栞データが作成される(S7)(図11をも参照)。すなわち、上述したとおり、(1)移動順序、(2)共連れ、(3)移動速度、(4)停止時間、(5)滞在時間、及び(6)滞在人数の各挙動が判定され、その結果を栞データとして作成する(図7をも参照)。   The behavior information of the person acquired here is determined based on behavior determination criteria (S6), and wrinkle data is created from the behavior determination result (S7) (see also FIG. 11). That is, as described above, the behaviors of (1) movement order, (2) companion, (3) movement speed, (4) stop time, (5) stay time, and (6) number of staying people are determined, The result is created as bag data (see also FIG. 7).
次いで、仮想重心点Gが撮像画像1から消失した時点で、その画像フレームの1つ前の画像フレーム番号を当該人が監視領域SであるATM室Sから退室した時点を示す終了フレームとして記録される(S8)。すなわち、図11に示すように、撮像画像1上から当該人が消失すると、そのときの画像フレーム番号の1つ前の画像フレーム番号を録画されている動画データにおいて当該人が消失する直前の録画位置を示す終了フレームとする。この終了フレームと上記開始フレームとをペアにして当該人が撮像画像1中に写されている録画位置として記録される。   Next, when the virtual barycentric point G disappears from the captured image 1, the image frame number immediately before the image frame is recorded as an end frame indicating the time when the person leaves the ATM room S which is the monitoring area S. (S8). That is, as shown in FIG. 11, when the person disappears from the captured image 1, the recording immediately before the person disappears in the moving image data in which the image frame number immediately before the image frame number at that time is recorded. This is the end frame indicating the position. A pair of the end frame and the start frame is recorded as a recording position at which the person is captured in the captured image 1.
移動軌跡記録部52は、撮像画像1において一人ひとり個別に、人物画像hの仮想重心点Gが撮像画像1内に現われてから撮像画像1外に消えるまでの移動軌跡を当該人物画像hの追跡線として記録する。栞画像作成部53は、上記代表画像抽出ラインLの通過時に抽出した当該人の代表画像に上記移動軌跡記録部52に記録された追跡線を合成した当該人の栞画像を作成する(S9)。   The movement trajectory recording unit 52 traces the movement trajectory from when the virtual center of gravity G of the person image h appears in the captured image 1 until it disappears outside the captured image 1 for each individual person in the captured image 1. Record as. The heel image creation unit 53 creates a heel image of the person by combining the representative image extracted at the time of passing through the representative image extraction line L with the tracking line recorded in the movement locus recording unit 52 (S9). .
そして、人物キー作成部55によって、図8に示すような上記の当該人による栞画像と栞データと録画位置とを互いに関連付けた人物キーが作成され、この人物キーが栞記憶部50に記憶される(S10)。   Then, the person key creating unit 55 creates a person key associating the above-mentioned 栞 image, 栞 data, and recording position with the person as shown in FIG. 8, and this person key is stored in the 栞 storage unit 50. (S10).
以上の動作によってカメラ9から順次送られてくる撮像画像1を連続的に処理して動画データとして記録する一方、その撮像画像1中に写されている当該人の画像(栞画像)や行動(栞データ)を示すとともに当該人が現われる動画データの位置(録画位置)を示す人物キーが作成され、記録される。   The captured image 1 sequentially sent from the camera 9 by the above operation is continuously processed and recorded as moving image data, while the image (contrast image) or action (action image) of the person shown in the captured image 1 is recorded. A person key indicating the position (recording position) of the moving image data in which the person appears is created and recorded.
次に、上記人物キーを用いて動画データを再生するときの動作は、図9に示した手順によって行われる。
すなわち、図9を参照して、上記人物キーの栞データを検索キーとして検索すると(S20)、当該人物キーと関連付けられた全ての栞画像が上記栞記憶部50から呼び出され表示装置8に一覧表示される(S21)。この一覧表示は、例えば、図10に示すように、栞画像(追跡線付きの人物代表画像)をサムネイル表示することができる。
Next, the operation for reproducing moving image data using the person key is performed according to the procedure shown in FIG.
That is, referring to FIG. 9, when the heel data of the person key is searched as a search key (S 20), all the heel images associated with the person key are called from the heel storage unit 50 and listed on the display device 8. It is displayed (S21). For example, as shown in FIG. 10, this list display can display a thumbnail image (person representative image with a tracking line) as a thumbnail.
そして、上記一覧表示された栞画像のうち所望の栞画像を選択すると(S22)、上記録画装置2によって記録された動画データが当該栞画像と関連付けられた録画位置から上記表示装置8に再生される(S23)。すなわち栞画像が選択されると、この栞画像と関連付けられた動画位置が示す開始フレームから動画データがジャンプ再生され、そして、この動画位置が示す終了フレームで上記再生が停止される(図11参照)。これにより、選択された栞画像の人が現われる場面に対して、上記動画データの再生が表示装置8において行われる。   When a desired cocoon image is selected from the list-displayed cocoon images (S22), the moving image data recorded by the recording device 2 is reproduced on the display device 8 from the recording position associated with the cocoon image. (S23). In other words, when a habit image is selected, the moving image data is jumped and reproduced from the start frame indicated by the moving image position associated with the ivy image, and the reproduction is stopped at the end frame indicated by the moving image position (see FIG. 11). ). As a result, the moving image data is reproduced on the display device 8 for the scene in which the person of the selected bag image appears.
以上のように、本実施の形態による人物行動検索装置Xによれば、特定の挙動を示す人が録画されている動画データの位置を容易に検索し、その人が現われる場面からの再生を簡易に且つ素早く行うことができる。このように、人物キーを作成しておくことで、長時間記録された動画データから特定の挙動を示した人が現われる場面を簡単に再生させることができ、その結果、録画装置2に録画された動画データに基づいて人の行動を分析するのに要する作業負担を大幅に軽減することができる。   As described above, according to the human behavior search apparatus X according to the present embodiment, the position of moving image data in which a person exhibiting a specific behavior is recorded can be easily searched, and playback from a scene where the person appears can be easily performed. And can be done quickly. In this way, by creating a person key, it is possible to easily reproduce a scene in which a person who shows a specific behavior appears from moving image data recorded for a long time. Therefore, it is possible to greatly reduce the work load required to analyze human behavior based on the moving image data.
なお、本発明は、上記実施の形態のみに限定されず、各種の設計変更を施すことが可能である。
例えば、上記実施の形態では、カメラ9からの撮像画像1を画像処理装置3に入力し栞生成装置5によって人物キーを作成するようにしたが、録画装置2によって既に録画された動画データ(撮像画像1)を画像処理装置3に入力して、上記同様に、栞生成装置5によって人物キーを作成するようにしてもよい。
The present invention is not limited to the above embodiment, and various design changes can be made.
For example, in the above-described embodiment, the captured image 1 from the camera 9 is input to the image processing device 3 and the person key is created by the bag generating device 5. However, the moving image data (imaging image) already recorded by the recording device 2 is used. The person 1 may be generated by inputting the image 1) into the image processing apparatus 3 and using the bag generating apparatus 5 as described above.
また、上記録画装置2は、上記画像処理装置3の指令に基づいて、撮像画像1中に人が現われた時点から録画を開始し、当該人が撮像画像1外に出た時点で録画を停止させる構成としてもよい。この場合、動画データを記録する画像記録部21の記憶容量を低減することができる。   The recording device 2 starts recording when a person appears in the captured image 1 and stops recording when the person goes out of the captured image 1 based on a command from the image processing device 3. A configuration may be adopted. In this case, the storage capacity of the image recording unit 21 that records moving image data can be reduced.
また、上記栞画像は、1つ画像フレームから抽出した静止画であるが、連続した複数枚の画像フレームを抽出しこれを動画表示可能な栞画像としてもよい。この場合、例えば、上記した代表画像抽出ラインLを通過したときから所定フレーム数の撮像画像1を抽出して動画を作成するようにしてもよい。   In addition, although the above-described haze image is a still image extracted from one image frame, a plurality of continuous image frames may be extracted and used as a haze image that can be displayed as a moving image. In this case, for example, a moving image may be created by extracting a predetermined number of captured images 1 after passing through the representative image extraction line L.
また、録画位置は、開始フレームだけを記録し、栞画像を選択することでの動画データの再生をこの開始フレームからのジャンプ再生のみ行い停止は行わないようにし、操作者の意思で再生停止させるようにしてもよい。   In addition, only the start frame is recorded at the recording position, and the playback of the video data by selecting the 栞 image is performed only by jump playback from this start frame, and is not stopped, and the playback is stopped by the operator's intention. You may do it.
また、本発明に係る人物行動検索装置Xは、ATM室Sに限らず、コンビニエンスストア、デパート、マンション、住宅等のあらゆる監視場所における人の行動観察に適用することができる。   Moreover, the human behavior search device X according to the present invention is not limited to the ATM room S, but can be applied to human behavior observation in any monitoring place such as a convenience store, a department store, a condominium, and a house.
また、録画装置2、操作手段7、画像処理装置3、挙動判定装置4、栞生成装置5、栞記憶部50、再生制御装置6、表示装置8は、それぞれ独立の専用ユニットで構成されてもよいし、また、これらの全部又は一部が一台のパーソナルコンピュータ等の汎用コンピュータによって構成されてもよい。   In addition, the recording device 2, the operation means 7, the image processing device 3, the behavior determination device 4, the bag generation device 5, the bag storage unit 50, the playback control device 6, and the display device 8 may be configured by independent dedicated units. Alternatively, all or a part of these may be configured by a general-purpose computer such as a single personal computer.
ATM機を3台(M1〜M3)並べて設置したATM室内(監視領域)を1台のカメラによって上方から常時撮影している様子を示す模式図である。It is a schematic diagram which shows a mode that the ATM room (monitoring area | region) which installed 3 ATM machines (M1-M3) side by side is always image | photographed from the upper direction with one camera. 本実施の形態による人物行動検索装置の構成を示すブロック図である。It is a block diagram which shows the structure of the person action search apparatus by this Embodiment. 本実施の形態による人物行動検索装置において人認識の画像処理に際して用いられる円形フーリエ法を説明するための模式図である。It is a schematic diagram for demonstrating the circular Fourier method used in the image processing of person recognition in the human action search device by this Embodiment. 円形フーリエ法を実行することで画像の濃淡方向が示されることを説明するための図であり、同図(a)は人物画像の輪郭部に円形状に基本波フーリエ変換を実行する様子を示し、同図(b)はその基本波フーリエ変換を実行したときの波形グラフを示す。It is a figure for demonstrating that the shading direction of an image is shown by performing a circular Fourier method, The figure (a) shows a mode that fundamental wave Fourier transformation is performed to the outline part of a person image in circular shape. FIG. 5B shows a waveform graph when the fundamental wave Fourier transform is executed. 人認識の画像処理に際して用いられるベクトル焦点法を説明するための模式図であり、同図(a)は画像上に標準人型像を配置したときの様子を示し、同図(b)は画像上に識別対象の人が映されているときの様子を示す。It is a schematic diagram for demonstrating the vector focus method used at the time of the image processing of a human recognition, The figure (a) shows a mode when a standard human-type image is arrange | positioned on an image, The figure (b) is an image. The situation when the person to be identified is shown above is shown. 本実施の形態による人物行動検索装置において人物キーを作成するときの動作を示す流れ図である。It is a flowchart which shows operation | movement when producing a person key in the person action search device by this Embodiment. 本実施の形態による人物行動検索装置において栞データを作成するときの動作を説明するための模式図である。It is a schematic diagram for demonstrating operation | movement when creating eyelid data in the person action search device by this Embodiment. 本実施の形態による人物行動検索装置において作成された人物キーを示す模式図である。It is a schematic diagram which shows the person key produced in the person action search device by this Embodiment. 本実施の形態による人物行動検索装置において人物キーを用いて動画データを再生するときの動作を示す流れ図である。It is a flowchart which shows operation | movement when reproducing | regenerating moving image data using a person key in the person action search apparatus by this Embodiment. 本実施の形態による人物行動検索装置において人物キーを検索キーとして検索させたときに栞画像がサムネイルとして一覧表示された様子を示す模式図である。It is a schematic diagram which shows a mode that the haze image was displayed as a list as a thumbnail, when searching with a person key as a search key in the person action search device by this Embodiment. 本実施の形態による人物行動検索装置における撮像画像フレームと再生画像フレームとの関係を示す模式図である。It is a schematic diagram which shows the relationship between the captured image frame and the reproduction | regeneration image frame in the human action search device by this Embodiment.
符号の説明Explanation of symbols
1 撮像画像
2 録画装置
3 画像処理装置
4 挙動判定装置
5 栞生成装置
6 再生制御装置
7 操作手段
8 表示装置
9 カメラ(撮像装置)
21 画像記録部
31 人認識手段
32 行動計測手段
41 挙動判定基準
50 栞記憶部
51 録画位置記録部
52 移動軌跡記録部
53 栞画像作成部
55 人物キー作成部
54 栞データ作成部
61 検索部
62 表示編集部
100 ATM機
A 計測領域
G 仮想重心点
h 人物画像
L 代表画像抽出ライン
S ATM室(監視領域)
DESCRIPTION OF SYMBOLS 1 Captured image 2 Recording device 3 Image processing device 4 Behavior determination device 5 栞 Generation device 6 Playback control device 7 Operation means 8 Display device 9 Camera (imaging device)
21 Image recording unit 31 Human recognition unit 32 Behavior measuring unit 41 Behavior determination reference 50 栞 storage unit 51 recording position recording unit 52 movement locus recording unit 53 栞 image creation unit 55 person key creation unit 54 栞 data creation unit 61 search unit 62 display Editing unit 100 ATM machine A Measurement area G Virtual center of gravity h Person image L Representative image extraction line S ATM room (monitoring area)

Claims (4)

  1. 人の行動を監視し録画した動画データを、所定の挙動を示した人を検索し当該人が現われる場面から再生可能とするための人物行動検索装置であって、
    撮像装置により撮像される監視領域の撮像画像を動画データとして画像記録部に録画させる録画装置と、
    上記撮像装置又は上記画像記録部から連続的に送られる撮像画像上で個々の人を認識して当該人の仮想重心点の移動を追跡し、当該人の行動情報を取得する画像処理装置と、
    上記画像処理装置で取得した当該人の行動情報より、所定の挙動判定基準に基づいて当該人の挙動を判定する挙動判定装置と、
    上記挙動判定装置で挙動判定された結果から当該人の挙動を示す栞データを作成する栞データ作成部と、
    上記画像処理装置で追跡した当該人の仮想重心点の移動軌跡を示す追跡線を記録する移動軌跡記録部と、
    上記画像処理装置での撮像画像の中から当該人の代表画像を抽出し、当該代表画像に上記移動軌跡記録部に記録された追跡線を合成した当該人の栞画像を作成する栞画像作成部と、
    当該人が認識されている動画データの録画位置を記録する録画位置記録部と、
    上記の当該人による栞画像と栞データと録画位置とを関連付ける人物キーを作成し、これを栞記憶部に記憶させる人物キー作成部と、
    上記人物キーの栞データを検索させて上記栞記憶部から当該栞データと関連付けられた栞画像を呼び出し、当該栞画像を表示装置に一覧表示させる検索部と、
    上記一覧表示された栞画像の選択により上記録画装置によって記録された動画データを当該栞画像と関連付けられた録画位置から上記表示装置に再生させる表示編集部とを備える人物行動検索装置。
    A human behavior search apparatus for monitoring and recording video data of a person to search for a person who exhibits a predetermined behavior and to reproduce it from a scene where the person appears,
    A recording device that causes the image recording unit to record the captured image of the monitoring area captured by the imaging device as moving image data;
    An image processing apparatus for recognizing an individual person on a captured image continuously sent from the imaging apparatus or the image recording unit, tracking the movement of the virtual center of gravity of the person, and acquiring behavior information of the person;
    From the behavior information of the person acquired by the image processing device, a behavior determination device that determines the behavior of the person based on a predetermined behavior determination criterion;
    栞 data creation unit for creating 栞 data indicating the behavior of the person from the result of behavior determination by the behavior determination device,
    A movement trajectory recording unit that records a tracking line indicating the movement trajectory of the virtual center of gravity of the person tracked by the image processing device;
    A cocoon image creating unit that extracts a representative image of the person from the captured image in the image processing apparatus and combines the representative image with a tracking line recorded in the moving locus recording unit. When,
    A recording position recording unit for recording the recording position of the moving image data in which the person is recognized;
    A person key creating unit for associating the above-mentioned 栞 image, 栞 data and recording position by the person, and storing the person key in the 栞 storage unit;
    A search unit for searching for the heel data of the person key, calling the heel image associated with the heel data from the heel storage unit, and displaying the list of the heel images on a display device;
    A human behavior retrieval device comprising: a display editing unit that causes the display device to reproduce moving image data recorded by the recording device by selecting the hazy image displayed in the list from the recording position associated with the hazy image.
  2. 請求項1に記載の人物行動検索装置において、
    上記栞データは、
    (1)当該人の複数の異なる計測領域間の移動があるかを示す移動順序、
    (2)当該人が計測領域内を2人で並行して移動していたかを示す共連れ、
    (3)当該人の計測領域内での平均速度を示す移動速度、
    (4)当該人が計測領域内で停止していた時間を示す停止時間、
    (5)当該人が計測領域内に滞在していた時間を示す滞在時間、及び
    (6)当該人を含めて計測領域内に同時に存在していた人数を示す滞在人数
    の各項目のうちの1つ又はこれら項目の適宜組み合わせにより構成される人物行動検索装置。
    In the human action search device according to claim 1,
    The above data is
    (1) Movement order indicating whether there is movement between the different measurement areas of the person,
    (2) A companion showing whether the person was moving in parallel within the measurement area,
    (3) Movement speed indicating the average speed of the person in the measurement area,
    (4) Stop time indicating the time the person was stopped in the measurement area,
    (5) Stay time indicating the time the person stayed in the measurement area, and
    (6) A person behavior search device configured by one of the items of the number of staying persons indicating the number of persons who were present in the measurement area at the same time including the person or an appropriate combination of these items.
  3. 請求項1又は2に記載の人物行動検索装置において、
    上記栞画像作成部は、当該人の顔が明瞭に写る位置で撮像された撮像画像から代表画像を抽出し栞画像を作成する人物行動検索装置。
    In the human action search device according to claim 1 or 2,
    The above-described wrinkle image creation unit is a person behavior search device that creates a wrinkle image by extracting a representative image from a captured image captured at a position where the person's face is clearly visible.
  4. 請求項1乃至3のいずれかに記載の人物行動検索装置において、
    上記画像処理装置は、上記撮像画像において等間隔に配置する処理点ごとにその処理点を中心点とする円の円周上での各画素のピクセル値に対し基本波フーリエ変換を実行し、得られた位相より処理点ごとに人物画像の概略的な輪郭を法線ベクトルで認識し、当該法線ベクトルを基にその人物画像を上記仮想重心点として捉えるとともに、当該仮想重心点を経時的に追跡する人認識手段を含む人物行動検索装置。
    In the human action search device according to any one of claims 1 to 3,
    The image processing apparatus performs a fundamental wave Fourier transform on pixel values of each pixel on the circumference of a circle having the processing point as a center point for each processing point arranged at equal intervals in the captured image. The outline of the person image is recognized by a normal vector for each processing point from the obtained phase, and the person image is recognized as the virtual centroid point based on the normal vector, and the virtual centroid point is determined over time. A human behavior search device including a human recognition means for tracking.
JP2007243307A 2007-09-20 2007-09-20 Human behavior search device Active JP4996404B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2007243307A JP4996404B2 (en) 2007-09-20 2007-09-20 Human behavior search device

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2007243307A JP4996404B2 (en) 2007-09-20 2007-09-20 Human behavior search device

Publications (2)

Publication Number Publication Date
JP2009075802A true JP2009075802A (en) 2009-04-09
JP4996404B2 JP4996404B2 (en) 2012-08-08

Family

ID=40610714

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2007243307A Active JP4996404B2 (en) 2007-09-20 2007-09-20 Human behavior search device

Country Status (1)

Country Link
JP (1) JP4996404B2 (en)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009206962A (en) * 2008-02-28 2009-09-10 Sogo Keibi Hosho Co Ltd Retrieval apparatus and method
WO2012131816A1 (en) * 2011-03-28 2012-10-04 日本電気株式会社 Person tracking device, person tracking method, and non-temporary computer-readable medium storing person tracking program
KR101371892B1 (en) * 2011-09-06 2014-03-07 가시오게산키 가부시키가이샤 Video playback device capable of controlling playback speed
CN104881651A (en) * 2015-05-29 2015-09-02 南京信息工程大学 Figure behavior identification method based on random projection and Fisher vectors
JP2016526193A (en) * 2013-03-14 2016-09-01 エイ・アイ・キュア・テクノロジーズ・インコーポレイテッドAi Cure Technologies, Inc. Apparatus and method for recognition of suspicious behavior
US9734612B2 (en) 2014-09-24 2017-08-15 Fujifilm Corporation Region detection device, region detection method, image processing apparatus, image processing method, program, and recording medium
US11094408B2 (en) 2010-05-06 2021-08-17 Aic Innovations Group, Inc. Apparatus and method for recognition of inhaler actuation

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104966090B (en) * 2015-07-21 2018-08-14 公安部第三研究所 Realize the system and method that the vision word towards image understanding is generated and evaluated

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH04340178A (en) * 1991-03-11 1992-11-26 Mitsubishi Electric Corp Intrusion monitoring device
JP2001008197A (en) * 1999-06-24 2001-01-12 Nec Corp Device for analyzing human action and recording medium for recording human action analytic program
JP2002150304A (en) * 2000-08-30 2002-05-24 Giken Torasutemu Kk Method for identifying object image
JP2002344946A (en) * 2001-05-16 2002-11-29 Oki Electric Ind Co Ltd Monitoring system
JP2003022309A (en) * 2001-07-06 2003-01-24 Hitachi Ltd Device for managing facility on basis of flow line
JP2005148863A (en) * 2003-11-11 2005-06-09 Konica Minolta Holdings Inc Number of person counting system
JP2005210573A (en) * 2004-01-26 2005-08-04 Mitsubishi Electric Corp Video image display system
JP2007087150A (en) * 2005-09-22 2007-04-05 Matsushita Electric Ind Co Ltd Image reproduction method, machine, and program

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH04340178A (en) * 1991-03-11 1992-11-26 Mitsubishi Electric Corp Intrusion monitoring device
JP2001008197A (en) * 1999-06-24 2001-01-12 Nec Corp Device for analyzing human action and recording medium for recording human action analytic program
JP2002150304A (en) * 2000-08-30 2002-05-24 Giken Torasutemu Kk Method for identifying object image
JP2002344946A (en) * 2001-05-16 2002-11-29 Oki Electric Ind Co Ltd Monitoring system
JP2003022309A (en) * 2001-07-06 2003-01-24 Hitachi Ltd Device for managing facility on basis of flow line
JP2005148863A (en) * 2003-11-11 2005-06-09 Konica Minolta Holdings Inc Number of person counting system
JP2005210573A (en) * 2004-01-26 2005-08-04 Mitsubishi Electric Corp Video image display system
JP2007087150A (en) * 2005-09-22 2007-04-05 Matsushita Electric Ind Co Ltd Image reproduction method, machine, and program

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009206962A (en) * 2008-02-28 2009-09-10 Sogo Keibi Hosho Co Ltd Retrieval apparatus and method
US11094408B2 (en) 2010-05-06 2021-08-17 Aic Innovations Group, Inc. Apparatus and method for recognition of inhaler actuation
WO2012131816A1 (en) * 2011-03-28 2012-10-04 日本電気株式会社 Person tracking device, person tracking method, and non-temporary computer-readable medium storing person tracking program
US9235754B2 (en) 2011-03-28 2016-01-12 Nec Corporation Person tracking device, person tracking method, and non-transitory computer readable medium storing person tracking program
JP5870996B2 (en) * 2011-03-28 2016-03-01 日本電気株式会社 Person tracking device, person tracking method, and person tracking program
KR101371892B1 (en) * 2011-09-06 2014-03-07 가시오게산키 가부시키가이샤 Video playback device capable of controlling playback speed
US8705948B2 (en) 2011-09-06 2014-04-22 Casio Computer Co., Ltd. Video playback device capable of controlling playback speed
JP2016526193A (en) * 2013-03-14 2016-09-01 エイ・アイ・キュア・テクノロジーズ・インコーポレイテッドAi Cure Technologies, Inc. Apparatus and method for recognition of suspicious behavior
US9734612B2 (en) 2014-09-24 2017-08-15 Fujifilm Corporation Region detection device, region detection method, image processing apparatus, image processing method, program, and recording medium
CN104881651B (en) * 2015-05-29 2017-12-15 南京信息工程大学 A kind of personage's Activity recognition method based on accidental projection and Fisher vector
CN104881651A (en) * 2015-05-29 2015-09-02 南京信息工程大学 Figure behavior identification method based on random projection and Fisher vectors

Also Published As

Publication number Publication date
JP4996404B2 (en) 2012-08-08

Similar Documents

Publication Publication Date Title
JP4996404B2 (en) Human behavior search device
JP4760892B2 (en) Display control apparatus, display control method, and program
US7881505B2 (en) Video retrieval system for human face content
JP4168940B2 (en) Video display system
US20020175997A1 (en) Surveillance recording device and method
JP4939968B2 (en) Surveillance image processing method, surveillance system, and surveillance image processing program
CN104509097A (en) Monitoring camera control device and visual monitoring system
JP2003046911A (en) Monitoring recording system and method therefor
KR101484844B1 (en) Apparatus and method for privacy masking tool that provides real-time video
JP2006163527A (en) Image retrieval device and method
US10037467B2 (en) Information processing system
JP2004187115A (en) Monitoring system and program
WO2013069605A1 (en) Similar image search system
JPWO2014045843A1 (en) Image processing system, image processing method, and program
KR20180022568A (en) Information processing apparatus, method thereof, and computer readable storage medium
JP4492124B2 (en) Writing analysis apparatus, method, and program
JP4334898B2 (en) Database construction device, database construction program, image retrieval device, image retrieval program, and image recording / reproducing device
JP6292540B2 (en) Information processing system, information processing method, and program
US9767564B2 (en) Monitoring of object impressions and viewing patterns
JP3372096B2 (en) Image information access device
JP6214762B2 (en) Image search system, search screen display method
JP2017028688A (en) Image managing device, image managing method and program
JP5826513B2 (en) Similar image search system
JP4449483B2 (en) Image analysis apparatus, image analysis method, and computer program
Qu et al. ivisx: An integrated video investigation suite for forensic applications

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20100616

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20111108

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20120110

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A821

Effective date: 20120112

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20120207

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20120406

Free format text: JAPANESE INTERMEDIATE CODE: A821

Effective date: 20120406

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20120508

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20120511

R150 Certificate of patent or registration of utility model

Ref document number: 4996404

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20150518

Year of fee payment: 3

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250