JPH1169342A - Image processing system for tracking intruding object - Google Patents

Image processing system for tracking intruding object

Info

Publication number
JPH1169342A
JPH1169342A JP9226153A JP22615397A JPH1169342A JP H1169342 A JPH1169342 A JP H1169342A JP 9226153 A JP9226153 A JP 9226153A JP 22615397 A JP22615397 A JP 22615397A JP H1169342 A JPH1169342 A JP H1169342A
Authority
JP
Japan
Prior art keywords
image
intruding object
image signal
memory
signal
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP9226153A
Other languages
Japanese (ja)
Inventor
Toshimichi Okada
俊道 岡田
Miyuki Endo
幸 遠藤
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hitachi Denshi KK
Original Assignee
Hitachi Denshi KK
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hitachi Denshi KK filed Critical Hitachi Denshi KK
Priority to JP9226153A priority Critical patent/JPH1169342A/en
Priority to EP98108707A priority patent/EP0878965A3/en
Priority to US09/078,521 priority patent/US6404455B1/en
Publication of JPH1169342A publication Critical patent/JPH1169342A/en
Priority to US09/362,212 priority patent/US6445409B1/en
Pending legal-status Critical Current

Links

Landscapes

  • Closed-Circuit Television Systems (AREA)
  • Studio Devices (AREA)

Abstract

PROBLEM TO BE SOLVED: To control a photographing lens that can zoom to magnify an intruding object and to enable a monitoring person to easily confirm the intruding object on the screen of a video monitor by tracking and photographing automatically an object entering a required monitoring part. SOLUTION: An image processor 3 converts the position coordinates of an intruding object detected from an image signal having a wide visual field into a moved variable of a motor-driven pan head 18 which can turn in both vertical and horizontal directions. Thus, the processor 3 controls the head 18. A TV camera 17 containing a photographing lens 16 and put on the head 18 that is controlled toward the position of the intruding object outputs the image signals of the magnified intruding object to a video monitor 19. Thus, the magnified introducing object can always be monitored by the monitor 19. Therefore, a monitoring person can accurately confirm the expression, shape, etc., of the intruding object which are hitherto difficult to decide in an image of a wide visual field that is monitored by a video monitor 13.

Description

【発明の詳細な説明】DETAILED DESCRIPTION OF THE INVENTION

【0001】[0001]

【発明の属する技術分野】本発明は、テレビジョンカメ
ラで撮像され出力された画像信号から侵入物体を自動検
出し、侵入物体を追尾してビデオモニタ画面上で拡大さ
せ、侵入物体の監視を容易にする侵入物体追尾画像処理
システムに関するものである。
BACKGROUND OF THE INVENTION 1. Field of the Invention The present invention relates to a method for automatically detecting an intruding object from an image signal picked up and outputted by a television camera, tracking the intruding object and enlarging the invading object on a video monitor screen, thereby facilitating monitoring of the intruding object. The present invention relates to an intruding object tracking image processing system.

【0002】[0002]

【従来の技術】従来技術による、テレビジョンカメラを
使用した侵入物体の自動検出および追尾のシステムの構
成、動作を図6、図7を使用して説明をする。図6は、
従来技術による、侵入物体検出を目的とした自動検出お
よび追尾のシステムを示す系統図であり、図7は、従来
の侵入物体自動検出および追尾のシステムにおける処理
タイミングを説明する図である。侵入物体の自動検出お
よび追尾のシステムは、撮像レンズ601を備えたテレ
ビジョンカメラ602と画像処理装置603とビデオモ
ニタ614とで構成されている。
2. Description of the Related Art The configuration and operation of a system for automatically detecting and tracking an intruding object using a television camera according to the prior art will be described with reference to FIGS. FIG.
FIG. 7 is a system diagram illustrating a system for automatic detection and tracking for detecting an intruding object according to the related art, and FIG. 7 is a diagram illustrating processing timing in a conventional system for automatic detection and tracking of an intruding object. The system for automatically detecting and tracking an intruding object includes a television camera 602 having an imaging lens 601, an image processing device 603, and a video monitor 614.

【0003】図6に示す自動検出および追尾のシステム
の画像処理装置603の構成を詳しく説明すると、60
4は、テレビジョンカメラ602から入力された画像信
号をディジタルの画像信号に変換するA/D変換部、6
05は、A/D変換部604から入力されたディジタル
の画像信号を所要部分で切り換えて交互に2つの画像メ
モリへ出力するメモリコントロール部、606、607
は、メモリコントロール部605で切り換えられ入力さ
れたディジタルの画像信号を記録する画像メモリ、61
5は、2つの画像メモリ606、607から読み出され
た画像信号を演算して差分を出力する演算部、608
は、演算部615で得られた画像信号の差分を記憶する
画像メモリ、616は、画像メモリ608から読み出さ
れた差分の画像信号を2値化する2値化変換部、609
は、2値化変換部616で2値化された2値化信号を記
憶する画像メモリ、612は、メモリコントロール部6
05における2つの画像メモリへの画像信号の切り換
え、2値化信号にもとづく侵入物体の有無の判断等を行
なうCPU、611は、CPU612から入力されたデ
ータにより所要の文字を発生する文字発生部、610
は、A/D変換部604から入力されたディジタルの画
像信号と文字発生部611から入力された文字信号とを
合成してアナログの画像信号に変換し出力する画像信号
出力部、613は、CPU612からの侵入物体有の判
断信号により侵入物体検出信号を出力するI/O制御部
を示している。
The structure of the image processing device 603 of the automatic detection and tracking system shown in FIG.
An A / D converter 4 converts an image signal input from the television camera 602 into a digital image signal.
Reference numeral 05 denotes a memory control unit that switches the digital image signal input from the A / D conversion unit 604 at a required portion and outputs the digital image signal to two image memories alternately.
Reference numeral 61 denotes an image memory for recording a digital image signal switched and input by the memory control unit 605;
Reference numeral 5 denotes a calculation unit that calculates the image signals read from the two image memories 606 and 607 and outputs the difference, and 608.
Denotes an image memory for storing the difference between the image signals obtained by the arithmetic unit 615; 616, a binary conversion unit for binarizing the difference image signal read from the image memory 608;
Is an image memory for storing the binarized signal binarized by the binarization conversion unit 616, and 612 is a memory control unit 6
A CPU 611 for switching the image signal to the two image memories in 05 and determining the presence / absence of an intruding object based on the binarized signal; 611, a character generating unit for generating a required character based on data input from the CPU 612; 610
Is an image signal output unit that combines a digital image signal input from the A / D conversion unit 604 with a character signal input from the character generation unit 611, converts the image signal into an analog image signal, and outputs the analog image signal. 1 shows an I / O control unit that outputs an intruding object detection signal based on a judgment signal indicating that an intruding object is present.

【0004】テレビジョンカメラ602は、撮像レンズ
601を介して所要の監視箇所を撮像し、画像信号を画
像処理装置603へ出力している。監視箇所に侵入物体
の侵入があった場合、侵入した侵入物体は、撮像レンズ
601を介してテレビジョンカメラ602で撮像され、
侵入物体を含む監視箇所の画像信号がテレビジョンカメ
ラ602から画像処理装置603へ出力される。このテ
レビジョンカメラ602から画像処理装置603へ出力
される画像信号は、図7、701に示す1/30秒のフ
レーム周期を持つ画像信号である。
[0004] The television camera 602 captures an image of a required monitoring location via the imaging lens 601 and outputs an image signal to the image processing device 603. When an intruding object enters the monitoring location, the invading object is captured by the television camera 602 via the imaging lens 601,
An image signal of the monitoring location including the intruding object is output from the television camera 602 to the image processing device 603. The image signal output from the television camera 602 to the image processing device 603 is an image signal having a frame period of 1/30 second shown in 701 in FIG.

【0005】画像処理装置603に入力された画像信号
は、まず、A/D変換部604に入力され、ディジタル
の画像信号に変換された後、メモリコントロール部60
5と画像信号出力部610とへ出力される。メモリコン
トロール部605は、入力されたディジタルの画像信号
を、別途CPU612から入力された選択信号により所
要部分で切り換えて、交互に画像メモリ606と画像メ
モリ607とへ出力している。画像メモリ606と画像
メモリ607とは、メモリコントロール部605により
切り換えられ交互に入力された所要部分の画像信号をそ
れぞれ記憶する。このメモリコントロール部605に入
力された画像信号が、選択信号により切り換えられて画
像メモリ606と画像メモリ607とに交互に入力され
てそれぞれに記憶されるタイミングは、画像メモリ60
6に記憶されるタイミングが図7、702に、画像メモ
リ607に記憶されるタイミングが図7、703に示さ
れており、画像信号708が画像メモリ606に、画像
信号709が画像メモリ607に記憶される。
[0005] The image signal input to the image processing device 603 is first input to the A / D converter 604, where it is converted into a digital image signal.
5 and the image signal output unit 610. The memory control unit 605 switches the input digital image signal at a required portion according to a selection signal separately input from the CPU 612, and outputs the signal to the image memory 606 and the image memory 607 alternately. The image memory 606 and the image memory 607 store image signals of a required portion which are switched and alternately input by the memory control unit 605, respectively. The timing at which the image signal input to the memory control unit 605 is switched by the selection signal and alternately input to the image memory 606 and the image memory 607 and stored therein is determined by the image memory 60.
7 and 702, and the timings stored in the image memory 607 are shown in FIGS. 7 and 703. The image signal 708 is stored in the image memory 606, and the image signal 709 is stored in the image memory 607. Is done.

【0006】画像メモリ606と画像メモリ607とに
それぞれ記憶された画像信号は、タイミングを合わせそ
れぞれ読み出され演算部615へ出力される。演算部6
15は、入力された画像メモリ606からの画像信号と
画像メモリ607からの画像信号とで演算を行ない、2
つの画像信号の差分を算出し、画像メモリ608へ出力
する。この演算部615での演算は、図7、702に示
す画像信号708と図7、703に示す画像信号709
とで行なわれ、図7、704に示す2つの画像信号の差
分710が画像メモリ608へ出力される。次の演算
は、図7、703に示す画像信号709と図7、702
に示す画像信号711とで行なわれ、図7、704に示
す2つの画像信号の差分712が画像メモリ608へ出
力される。撮像している所要の監視箇所に侵入物体が無
く、変化が無ければ、もちろん2つの画像信号の差分7
10、712・・・は発生しない。
The image signals stored in the image memory 606 and the image memory 607 are read out at the same timing and output to the arithmetic unit 615. Arithmetic unit 6
Numeral 15 performs an operation on the input image signal from the image memory 606 and the image signal from the image memory 607, and
The difference between the two image signals is calculated and output to the image memory 608. The calculation by the calculation unit 615 is performed by the image signal 708 shown in FIGS. 7 and 702 and the image signal 709 shown in FIGS.
The difference 710 between the two image signals shown in FIGS. 7 and 704 is output to the image memory 608. The next operation is performed by using the image signal 709 shown in FIGS.
7, and the difference 712 between the two image signals 704 shown in FIGS. If there is no intruding object at the required monitoring location being imaged and there is no change, of course, the difference between the two image signals is 7
10, 712... Do not occur.

【0007】画像メモリ608は、入力された2つの画
像信号の差分の画像信号を記憶し、読み出した画像信号
を2値化変換部616へ出力する。2値化変換部616
は、画像メモリ608から読み出された2つの画像信号
の差分の画像信号を2値化し、2値化した画像信号を画
像メモリ609へ出力する。この画像メモリ609に記
憶される2値化した画像信号は、図7、705に示す2
値化した画像信号713、714・・として示す。な
お、図7、704の信号と図7、705の信号との時間
差は、信号が記憶される画像メモリにおいて発生する時
間差である。
[0007] The image memory 608 stores an image signal of the difference between the two input image signals, and outputs the read image signal to the binarization conversion unit 616. Binary conversion unit 616
Converts the difference between the two image signals read from the image memory 608 into a binary image signal and outputs the binarized image signal to the image memory 609. The binarized image signal stored in the image memory 609 is a binary image signal shown in FIGS.
.. Are shown as coded image signals 713, 714. The time difference between the signals in FIGS. 7 and 704 and the signal in FIGS. 7 and 705 is a time difference generated in the image memory in which the signals are stored.

【0008】画像メモリ609は、2値化した画像信号
を記憶し、読み出した2値化画像信号をCPU612へ
出力する。CPU612は、入力した2値化画像信号で
侵入物体の大きさを算出し侵入物体の有無判断を行な
い、判断結果に合わせたデータを文字発生部611へ出
力するとともに、侵入物体があった場合は、侵入物体検
出信号、例えば警報信号をI/O制御部613を介して
外部の機器へ出力する。文字発生部611は、CPU6
12から出力されたデータにより文字信号を発生し、画
像信号出力部610へ出力する。画像信号出力部610
は、入力されたディジタル画像信号と文字信号とを合成
し、アナログ画像信号に変換後、他の機器、例えばビデ
オモニタ614へ出力する。
The image memory 609 stores the binarized image signal and outputs the read binarized image signal to the CPU 612. The CPU 612 calculates the size of the intruding object based on the input binary image signal, determines whether or not there is an intruding object, outputs data according to the determination result to the character generating unit 611, and when there is an intruding object, Then, an intrusion object detection signal, for example, an alarm signal is output to an external device via the I / O control unit 613. The character generation unit 611 is
A character signal is generated based on the data output from 12, and output to the image signal output unit 610. Image signal output unit 610
Synthesizes an input digital image signal and a character signal, converts them into an analog image signal, and outputs the analog image signal to another device, for example, a video monitor 614.

【0009】このようにして検出された侵入物体の従来
の追尾方法を、図8に示す侵入物体検出システムを使用
して説明する。この侵入物体検出システムは、侵入物体
を検出するための複数のテレビジョンカメラ801、8
02、803、804と、複数のテレビジョンカメラ8
01、802、803、804から出力されるそれぞれ
の画像信号を切り換えるための画像信号切換器805
と、画像信号切換器805で切り換えた画像信号を画像
処理して侵入物体を検出するための画像処理装置806
と、所要の監視箇所に侵入した侵入物体を監視者が確認
をするためのビデオモニタ807とから構成されてい
る。
A conventional method for tracking an intruding object detected in this manner will be described using an intruding object detection system shown in FIG. This intruding object detection system includes a plurality of television cameras 801 and 8 for detecting an intruding object.
02, 803, 804 and a plurality of television cameras 8
01, 802, 803, 804 An image signal switch 805 for switching each image signal output from the image signal.
And an image processing device 806 for processing an image signal switched by the image signal switch 805 to detect an intruding object.
And a video monitor 807 for the observer to check the intruding object that has entered the required monitoring location.

【0010】複数のテレビジョンカメラ801、80
2、803、804は、所要の監視箇所を撮像し、侵入
物体の侵入を、各テレビジョンカメラの視野の連続とし
て監視できるように設置されており、テレビジョンカメ
ラ801、802、803、804で撮像した画像信号
が、画像信号切換器805へ出力されている。画像処理
装置806は、例えば監視者からの操作による画像処理
開始信号809を入力されると、所要の監視箇所の侵入
物体を監視している、例えばテレビジョンカメラ801
の画像信号を、ビデオモニタ807の画面で監視するた
めに、画像信号切換器805へ、切換制御信号810を
出力する。画像信号切換器805は、切換制御信号81
0により切り換えられたテレビジョンカメラ801の画
像信号を画像処理装置806へ出力する。画像処理装置
806は、入力されたテレビジョンカメラ801の画像
信号により画像処理を行ない侵入物体の検出を行なうと
ともに、侵入物体の画像信号をビデオモニタ807へ出
力する。侵入物体がテレビジョンカメラ801の視野を
外れた場合は、次のテレビジョンカメラ802の画像信
号に切り換えて、監視を継続する。
[0010] A plurality of television cameras 801, 80
Reference numerals 2, 803, and 804 are provided so as to capture images of required monitoring points and to monitor the intrusion of an intruding object as a continuation of the field of view of each television camera, and the television cameras 801, 802, 803, and 804 The captured image signal is output to the image signal switch 805. For example, when an image processing start signal 809 is input by an operation from a monitor, the image processing apparatus 806 monitors an intruding object at a required monitoring location, for example, a television camera 801.
A switching control signal 810 is output to the image signal switch 805 in order to monitor the image signal on the screen of the video monitor 807. The image signal switch 805 outputs the switching control signal 81
The image signal of the television camera 801 switched by 0 is output to the image processing device 806. The image processing device 806 performs image processing based on the input image signal of the television camera 801 to detect an intruding object, and outputs an image signal of the intruding object to the video monitor 807. When the intruding object goes out of the field of view of the television camera 801, the image signal of the next television camera 802 is switched to continue the monitoring.

【0011】[0011]

【発明が解決しようとする課題】従来技術による侵入物
体追尾画像処理システムにおいては、侵入物体の追尾を
行なう場合、複数のテレビジョンカメラを使用し、複数
のテレビジョンカメラから出力されるそれぞれの画像信
号を切り換えながら侵入物体の検出をしているが、テレ
ビジョンカメラの台数が多くなり、さらに、画像信号切
換器と切り換えるための制御器が必要であり、システム
の規模が大きくなってしまうという問題がある。システ
ムの規模を小さくするために、テレビジョンカメラの台
数を減らそうとすると、1台の撮像レンズおよびテレビ
ジョンカメラで撮像する視野を広くする必要があり、侵
入物体がビデオモニタの画面上に小さく写ることにな
り、例えば侵入物体が人間であった場合、侵入した人間
の人相などが判別困難であった。本発明は、前記問題を
解決し、侵入物体の自動検出を行なうとともに、検出し
演算したデータにより上下方向、左右方向へ回動する雲
台を制御して侵入物体の自動追尾、ズーミング可能な撮
像レンズを制御して侵入物体の拡大を行ない、ビデオモ
ニタの画面上で監視者に侵入物体の確認が容易となる侵
入物体追尾画像処理システムを提供することを目的とす
る。
In an intruding object tracking image processing system according to the prior art, when tracking an intruding object, a plurality of television cameras are used, and respective images output from the plurality of television cameras are used. Although the detection of an intruding object is performed while switching signals, the number of television cameras increases, and furthermore, a controller for switching with an image signal switch is required, thus increasing the scale of the system. There is. In order to reduce the number of television cameras in order to reduce the size of the system, it is necessary to widen the field of view taken by one imaging lens and the television camera. For example, when the intruding object is a human, it is difficult to determine the human phase of the intruding human. The present invention solves the above-mentioned problems, performs automatic detection of an intruding object, and controls a pan head rotating in the vertical and horizontal directions based on the detected and calculated data to automatically track the intruding object and perform imaging capable of zooming. It is an object of the present invention to provide an intruding object tracking image processing system which controls a lens to enlarge an intruding object and makes it easy for a monitor to check the intruding object on a video monitor screen.

【0012】[0012]

【課題を解決するための手段】前記目的を達成するため
に、本発明の侵入物体追尾画像処理システムは、侵入物
体の検出に使用する画像信号を出力する広域視野の撮像
レンズを備えたテレビジョンカメラと、電動雲台に搭載
され、侵入物体を追跡して画像監視に使用する画像信号
を出力するズーミング可能な撮像レンズを備えたテレビ
ジョンカメラと、前記広域視野の撮像レンズを備えたテ
レビジョンカメラから入力された画像信号を処理し演算
して前記電動雲台を所要量回動させるための回動制御信
号を出力する画像処理装置とを有し、所要の監視箇所に
侵入した侵入物体を、自動追尾して撮像するものであ
る。
In order to achieve the above object, an intruding object tracking image processing system according to the present invention comprises a television having a wide-field imaging lens for outputting an image signal used for detecting an intruding object. A television camera equipped with a camera, a zoomable imaging lens that is mounted on the electric pan head, tracks an intruding object, and outputs an image signal used for image monitoring, and a television equipped with the wide-field imaging lens An image processing device that processes and calculates an image signal input from a camera and outputs a rotation control signal for rotating the electric pan and head by a required amount, and detects an intruding object that has entered a required monitoring location. , And automatically captures an image.

【0013】また、本発明の侵入物体追尾画像処理シス
テムは、侵入物体の検出に使用する画像信号を出力する
広域視野の撮像レンズを備えたテレビジョンカメラと、
電動雲台に搭載され、侵入物体を追跡し拡大された画像
監視に使用する画像信号を出力するズーミング可能な撮
像レンズを備えたテレビジョンカメラと、前記広域視野
の撮像レンズを備えたテレビジョンカメラから入力され
た画像信号を処理し演算して前記電動雲台を所要量回動
させるための回動制御信号と前記ズーミング可能な撮像
レンズを所要量ズーミングさせるためのズーミング制御
信号とを出力する画像処理装置とを有し、所要の監視箇
所に侵入した侵入物体を、自動追尾し自動ズーミングし
て撮像するものである。
Further, the intruding object tracking image processing system according to the present invention comprises a television camera having a wide-field imaging lens for outputting an image signal used for detecting an intruding object;
A television camera equipped with a zoomable imaging lens that is mounted on an electric pan head and tracks an intruding object and outputs an image signal used for enlarged image monitoring, and a television camera equipped with the wide-field imaging lens An image which processes and calculates an image signal input from the CPU and outputs a rotation control signal for rotating the electric pan head by a required amount and a zooming control signal for zooming the zoomable imaging lens by a required amount. A processing device for automatically tracking and automatically zooming in on an intruding object that has entered a required monitoring location.

【0014】さらに詳しくは、本発明の侵入物体追尾画
像処理システムの画像処理装置は、広域視野の撮像レン
ズを備えたテレビジョンカメラからの画像信号と該画像
信号を処理した画像信号とを記憶する画像メモリと、前
記画像処理装置における処理、演算、制御、管理等を行
なうCPUと、該CPUを動作させるプログラムを記憶
するプログラムメモリと、検出した侵入物体の位置座
標、行動履歴等処理で得られたデータの解析を行なうた
めのデータを記憶するワークメモリと、演算されたデー
タにもとづき、電動雲台を所要量回動させるための回動
制御信号とズーミング可能な撮像レンズを所要量ズーミ
ングさせるためのズーミング制御信号とを出力する雲台
制御部とを有するものである。
More specifically, the image processing apparatus of the intruding object tracking image processing system of the present invention stores an image signal from a television camera having an imaging lens with a wide field of view and an image signal obtained by processing the image signal. An image memory, a CPU for performing processing, calculation, control, management, and the like in the image processing apparatus; a program memory for storing a program for operating the CPU; A work memory for storing data for analyzing the data obtained, and a rotation control signal for rotating the electric pan head by a required amount based on the calculated data and a required amount of zooming of the zoomable imaging lens. And a pan head controller for outputting the zooming control signal.

【0015】また、さらに詳しくは、本発明の侵入物体
追尾画像処理システムの画像処理装置の画像メモリは、
入力された画像信号を記憶する入力画像メモリと、侵入
物体検出に使用する背景画像信号を記憶する背景画像メ
モリと、画像の差を検出する演算を行なうための背景画
像信号と入力画像信号とをそれぞれ記憶する2つのワー
クメモリと、背景画像と入力画像との差を検出し演算し
た結果を記憶する画像間演算結果画像メモリと、画像の
差を検出し演算した結果を2値化した2値化画像信号を
記憶する2値化画像メモリとを備えたものである。
More specifically, the image memory of the image processing apparatus of the intruding object tracking image processing system according to the present invention comprises:
An input image memory for storing an input image signal, a background image memory for storing a background image signal used for detecting an intruding object, and a background image signal and an input image signal for performing an operation for detecting an image difference. Two work memories for storing the respective images, an inter-image operation result image memory for storing a result obtained by detecting and calculating the difference between the background image and the input image, and a binary obtained by detecting and calculating the difference between the images. And a binarized image memory for storing the digitized image signal.

【0016】本発明の侵入物体追尾画像処理システム
は、広域視野の撮像レンズを備えたテレビジョンカメラ
から画像処理装置に入力された画像情報を処理して侵入
物体を検出し、その検出した侵入物体の位置情報、大き
さ情報から、ズーミング可能な撮像レンズを備えたテレ
ビジョンカメラを搭載した電動雲台を侵入物体の方向へ
回動するように制御するとともに、ズーミング可能な撮
像レンズのズーミングを制御し、ビデオモニタを監視す
る監視者が侵入物体の判断を容易にする。
An intruding object tracking image processing system of the present invention processes image information input from a television camera having an imaging lens with a wide field of view to an image processing apparatus, detects an intruding object, and detects the detected intruding object. Based on the position information and size information of the camera, the electric pan head equipped with a television camera equipped with a zoomable imaging lens is controlled to rotate in the direction of the intruding object, and the zooming of the zoomable imaging lens is controlled. This makes it easier for the observer who monitors the video monitor to determine the intruding object.

【0017】[0017]

【発明の実施の形態】本発明による侵入物体追尾画像処
理システムの実施の形態を、図1、図2を使用して説明
をする。図1は、本発明による侵入物体追尾画像処理シ
ステムを示す系統図であり、図2は、システムを構成す
る撮像視野の異なる撮像レンズおよびテレビジョンカメ
ラにより撮像された画像の説明図である。本発明による
侵入物体追尾画像処理システムは、広域の視野の画像を
得るための撮像レンズ1を備えたテレビジョンカメラ2
と、電動雲台18に搭載され拡大された画像を得るため
のズーミング可能な撮像レンズ16を備えたテレビジョ
ンカメラ17と、入力された広域視野の画像信号を画像
処理することにより侵入物体を検出し拡大画像を得るた
め所要の制御を行なう画像処理装置3と、撮像視野の異
なる画像をそれぞれ監視するためのビデオモニタ13、
19とで構成されている。
DETAILED DESCRIPTION OF THE PREFERRED EMBODIMENTS An embodiment of an intruding object tracking image processing system according to the present invention will be described with reference to FIGS. FIG. 1 is a system diagram showing an intruding object tracking image processing system according to the present invention, and FIG. 2 is an explanatory diagram of images taken by an imaging lens and a television camera having different imaging fields of view, which constitute the system. An intruding object tracking image processing system according to the present invention includes a television camera 2 having an imaging lens 1 for obtaining an image of a wide field of view.
A television camera 17 equipped with a zoomable imaging lens 16 mounted on an electric pan head 18 for obtaining an enlarged image; and detecting an intruding object by performing image processing on an input image signal of a wide field of view. An image processing device 3 for performing necessary control to obtain an enlarged image, a video monitor 13 for monitoring images having different imaging fields of view,
19.

【0018】図1に示す侵入物体追尾画像処理システム
において、広域の視野の画像を得るための撮像レンズ1
を備えたテレビジョンカメラ2は、所要の監視箇所を撮
像した、例えば図2(a)に示すような広域の視野を有
する画像信号を、侵入物体を検出するための画像信号処
理用として画像処理装置3へ出力する。また、ズーミン
グ可能な撮像レンズ16を備えたテレビジョンカメラ1
7は、上下方向、左右方向に回動することができる電動
雲台18上に搭載されており、画像処理装置3により上
下方向、左右方向、ズーミングが所要量制御されて、所
要の監視箇所の侵入物体を撮像した、例えば図2(b)
に示すような拡大された画像の画像信号をビデオモニタ
19へ出力する。画像処理装置3は、撮像レンズ1を備
えたテレビジョンカメラ2から入力された広域の視野を
撮像した画像信号から、侵入物体を検出し、撮像した画
像上における侵入物体の位置座標を算出する。さらに、
画像処理装置3は、広域の視野を有する画像信号から検
出した侵入物体の位置座標を、上下方向、左右方向に回
動する電動雲台18の移動量に変換して電動雲台18を
制御する。侵入物体の位置方向に制御された電動雲台1
8上に搭載された撮像レンズ16を備えたテレビジョン
カメラ17で、侵入物体の拡大された画像の画像信号を
ビデオモニタ19へ出力し、ビデオモニタ19で常に拡
大された侵入物体を監視することができる。このビデオ
モニタ19で拡大された侵入物体を監視することで、ビ
デオモニタ13で監視される広域視野の画像では判断が
困難であった侵入物体の表情、形状等を、監視者は明確
に確認することができる。
In the intruding object tracking image processing system shown in FIG. 1, an imaging lens 1 for obtaining an image of a wide field of view.
The television camera 2 provided with the image processing unit converts an image signal obtained by capturing an image of a required monitoring location and having a wide field of view as shown in FIG. 2A for image signal processing for detecting an intruding object. Output to the device 3. In addition, the television camera 1 having the imaging lens 16 capable of zooming.
Reference numeral 7 is mounted on an electric pan / tilt head 18 that can rotate in the vertical and horizontal directions. The image processing device 3 controls the required amount of vertical and horizontal directions and zooming, and controls the required monitoring location. FIG. 2B shows an image of an intruding object, for example.
The image signal of the enlarged image as shown in FIG. The image processing device 3 detects an intruding object from an image signal of a wide field of view input from the television camera 2 including the imaging lens 1 and calculates the position coordinates of the intruding object on the captured image. further,
The image processing device 3 controls the electric pan head 18 by converting the position coordinates of the intruding object detected from the image signal having a wide field of view into the movement amount of the electric pan head 18 that rotates vertically and horizontally. . Electric head 1 controlled in the direction of the intruding object
A television camera 17 having an imaging lens 16 mounted on the camera 8 to output an image signal of an enlarged image of the intruding object to a video monitor 19, and the video monitor 19 constantly monitors the enlarged intruding object. Can be. By monitoring the intruded object enlarged by the video monitor 19, the observer clearly confirms the expression, shape, and the like of the intruded object, which were difficult to determine based on the image of the wide field of view monitored by the video monitor 13. be able to.

【0019】つぎに、画像処理装置3を構成する回路お
よびその動作について説明する。広域の視野の画像を得
るための撮像レンズ1を備えたテレビジョンカメラ2か
ら出力された画像信号が、画像処理装置3に入力され
る。画像処理装置3に入力された画像信号は、まず、画
像信号入力インタフェース(I/F)4に入力され、ア
ナログ信号から、例えば0から255までの256階調
のディジタル信号に変換されデータバス12へ出力され
る。このデータバス12には画像メモリ5が接続されて
おり、画像メモリ5は、入力画像信号を記録する入力画
像メモリ51、侵入物体検出に使用する背景画像信号を
記録する背景画像メモリ52、画像の差を検出する演算
を行なうための背景画像信号と入力画像信号とをそれぞ
れ記録して画像メモリ間の所要の演算を行なうためのワ
ーク画像メモリ53、54、画像の差を検出する所要の
演算の結果を記録する画像間演算結果画像メモリ55、
所要の演算の結果を2値化した2値化画像信号を記憶す
る2値化画像メモリ56と、6個の画像メモリが記憶で
きる容量を持っている。
Next, a circuit constituting the image processing apparatus 3 and its operation will be described. An image signal output from a television camera 2 having an imaging lens 1 for obtaining an image of a wide field of view is input to an image processing device 3. The image signal input to the image processing device 3 is first input to an image signal input interface (I / F) 4, and is converted from an analog signal to a digital signal of 256 tones from 0 to 255, for example, and the data bus 12 Output to An image memory 5 is connected to the data bus 12. The image memory 5 includes an input image memory 51 for recording an input image signal, a background image memory 52 for recording a background image signal used for detecting an intruding object, and an image memory. Work image memories 53 and 54 for respectively recording a background image signal and an input image signal for performing an operation for detecting a difference, and performing a required operation between image memories, and a required operation for detecting a difference between images. An image calculation result image memory 55 for recording the result,
It has a binarized image memory 56 for storing a binarized image signal obtained by binarizing a result of a required operation, and a capacity capable of storing six image memories.

【0020】また、データバス12には、演算、制御、
管理等を行なうCPU6、CPU6を動作させるプログ
ラムが記憶されているプログラムメモリ10、検出した
侵入物体の位置座標、行動履歴など画像信号処理で得ら
れたデータの解析を行なうためのワークメモリ9、検出
した侵入物体の位置座標からCPU6で電動雲台移動量
を算出しCPU6からの制御により電動雲台を所要量回
動させる回動制御信号の出力および侵入物体の大きさに
応じて所要の大きさの侵入物体画像となるように撮像レ
ンズ16を所要量ズーミング制御するズーミング制御信
号の出力を行なう電動雲台制御部8、侵入物体の検出を
した場合の警報信号、計測スタート信号、制御信号等の
入出力について外部機器とのインタフェースを行なう外
部I/F11、ディジタルの画像信号をアナログの画像
信号に変換してビデオモニタ等へ出力するビデオ出力I
/F7が接続されている。
The data bus 12 has arithmetic, control,
A CPU 6 for management and the like; a program memory 10 storing a program for operating the CPU 6; a work memory 9 for analyzing data obtained by image signal processing such as position coordinates of detected intruding objects, action history; The CPU 6 calculates the amount of movement of the electric camera platform from the position coordinates of the intruding object, and outputs a rotation control signal for rotating the motorized camera platform by a required amount under the control of the CPU 6 and the required size according to the size of the intruding object. A motorized pan head controller 8 for outputting a zooming control signal for controlling the required amount of zooming of the imaging lens 16 so as to obtain an intruding object image, an alarm signal when an intruding object is detected, a measurement start signal, a control signal, etc. An external I / F 11 that interfaces with external devices for input and output, converts digital image signals to analog image signals, and Video output I to be output to the Omonita, etc.
/ F7 is connected.

【0021】本発明による侵入物体追尾画像処理システ
ムの実施例ついての処理手順フローチャートを図4に示
し、処理手順を説明する。背景画像作成処理401で
は、テレビジョンカメラ2から出力された所要の監視箇
所の侵入物体の侵入が無い広域の視野を有する画像信号
を所定のフレーム間隔で背景画像メモリ52に記憶し、
記憶した画像信号の加重平均演算を行ない、例えば図3
(a)に示すような侵入物体が存在しない、あるいは、
何らかの物体があっても無視できる画像、すなわち背景
画像301を作成し、その背景画像信号を記憶する。画
像入力処理402では、テレビジョンカメラ2から出力
された所要の監視箇所の広域の視野を有する画像、例え
ば図3(b)に示すような入力画像302の画像信号
を、画像入力I/F4を介して入力画像メモリ51に入
力し記憶する。差分処理403では、入力画像メモリ5
1に記憶した画像信号をワーク画像メモリ53へコピー
し、背景画像メモリ52に記憶した画像信号をワーク画
像メモリ54へコピーし、ワーク画像メモリ53とワー
ク画像メモリ54とから画像信号を読み出し、演算する
ことにより、演算結果として図3(c)に示すような差
分画像303の差分画像信号を得て、この差分画像信号
を画像間演算結果画像メモリ55に入力し記憶する。
FIG. 4 is a flowchart showing a processing procedure for an embodiment of an intruding object tracking image processing system according to the present invention, and the processing procedure will be described. In the background image creation processing 401, the image signal having a wide field of view without the intrusion of the intruding object at the required monitoring point output from the television camera 2 is stored in the background image memory 52 at predetermined frame intervals,
A weighted average calculation of the stored image signals is performed.
There is no intruding object as shown in (a), or
An image that can be ignored even if there is any object, that is, a background image 301 is created, and the background image signal is stored. In the image input processing 402, an image having a wide field of view of a required monitoring location output from the television camera 2, for example, an image signal of an input image 302 as shown in FIG. The data is input to and stored in the input image memory 51 via the memory. In the difference processing 403, the input image memory 5
1 is copied to the work image memory 53, the image signal stored in the background image memory 52 is copied to the work image memory 54, the image signals are read out from the work image memory 53 and the work image memory 54, and the operation is performed. As a result, a difference image signal of the difference image 303 as shown in FIG. 3C is obtained as a calculation result, and this difference image signal is input to the inter-image calculation result image memory 55 and stored.

【0022】2値化処理404では、画像間演算結果画
像メモリ55から読み出した差分の画像信号を2値化
し、図3(d)に示すような2値化画像304の2値化
画像信号を得て、この2値化画像信号を2値化画像メモ
リ56へ入力し記憶する。ラベリング処理405では、
2値化画像メモリ56から読み出した2値化画像信号か
ら、それぞれ独立した白画素のかたまりの有無を検出
し、さらに白画素のかたまりの個数を計測する。物体認
識処理406では、ラベリング処理405で個数を計測
した白画素のかたまりそれぞれについて、図3(d)に
示すように、大きさ、例えばY方向の幅309、X方向
の幅310を計測し、あらかじめ設定された侵入物体の
外形データの範囲と比較して、検出すべき侵入物体の認
識を行ない、検出された侵入物体の画像メモリ位置、大
きさのデータ(例えばY方向の幅309、X方向の幅3
10)をワークメモリ9に記憶する。
In the binarization process 404, the difference image signal read from the inter-image operation result image memory 55 is binarized, and the binarized image signal of the binarized image 304 as shown in FIG. Then, the binarized image signal is input to the binarized image memory 56 and stored. In the labeling process 405,
From the binarized image signal read out from the binarized image memory 56, the presence or absence of a cluster of independent white pixels is detected, and the number of clusters of white pixels is further measured. In the object recognition process 406, as shown in FIG. 3D, the size, for example, the width 309 in the Y direction and the width 310 in the X direction are measured for each cluster of white pixels whose number has been measured in the labeling process 405. The intruding object to be detected is recognized by comparing with a preset range of the intruding object's outer shape data, and the image memory position and size data of the detected intruding object (for example, the width 309 in the Y direction, the X direction) Width 3
10) is stored in the work memory 9.

【0023】物体有無判断処理407では、ワークメモ
リ9に記憶したデータから侵入物体の有無を判断する。
物体有無判断処理407で検出すべき侵入物体と判断し
た場合、座標算出処理408では、ワークメモリ9に記
憶してある侵入物体について、図3(d)に示すよう
に、物体重心位置座標、例えばY方向305、X方向3
06を算出し、物体数および個々の物体重心位置座標を
ワークメモリ9に記憶する。このとき、検出された物体
数が複数ある場合、追跡判断処理409では、ワークメ
モリ9に記憶されている物体の物体重心位置座標、物体
の大きさと、前回処理までのワークメモリ9に記憶され
ている物体の物体重心位置座標、物体の大きさとから、
物体の移動速度からくる今回の入力画像の物体の物体重
心位置座標、物体の大きさの照合を行ない、前回までに
記憶された物体の限定を行なう。
In the object presence / absence determination process 407, the presence / absence of an intruding object is determined from the data stored in the work memory 9.
If it is determined that the intruding object is to be detected in the object presence / absence determining process 407, in the coordinate calculating process 408, for the intruding object stored in the work memory 9, as shown in FIG. Y direction 305, X direction 3
06 is calculated, and the number of objects and the coordinates of the position of the center of gravity of each object are stored in the work memory 9. At this time, if there are a plurality of detected objects, in the tracking determination process 409, the coordinates of the object's body weight and center, the size of the objects stored in the work memory 9, and the work memory 9 up to the previous process are stored. From the coordinates of the object's body weight and center, the size of the object,
The coordinates of the object's body weight and center position and the size of the object in the current input image obtained from the moving speed of the object are collated, and the object stored up to the previous time is limited.

【0024】電動雲台制御処理410では、得られた入
力画像の物体の物体重心位置座標を電動雲台18の絶対
位置データに変換し、現在電動雲台18が静止している
位置との差分を算出し、この差分だけ所要方向へ電動雲
台18を回動させるように、雲台制御部8から回動制御
信号を電動雲台18へ出力する。つぎに、背景画像更新
処理411では、作成されている背景画像に対して、下
記(1)式に示す加重平均演算式を使用して入力画像を
加重し、更新された背景画像を作成する。 背景更新画像=背景画像×加重係数+入力画像×(1−加重係数)・・(1) (1)式に示す加重係数は、今までに得られた背景画像
に対し、入力画像の変化分を取り入れ更新するためのも
ので、加重係数を小さくすると入力画像に対する背景画
像の追従性が良くなる。なお、前記背景画像更新処理以
外の背景画像更新方法として、侵入物体が存在していな
い場合の画像を認識して、背景画像を更新する方法でも
実現できる。アラーム出力処理412では、侵入物体検
出後、外部I/F11を介して警報信号を外部機器へ出
力し、監視者に警報を与える。
In the motorized head control process 410, the coordinates of the object's body weight and center position of the obtained input image are converted into absolute position data of the motorized head 18, and the difference from the position where the motorized head 18 is currently stationary is calculated. Is calculated, and a rotation control signal is output from the pan head controller 8 to the electric pan head 18 so as to rotate the electric pan head 18 in the required direction by this difference. Next, in the background image update process 411, the input image is weighted with respect to the created background image by using a weighted average calculation expression shown in the following equation (1), and an updated background image is created. Background updated image = background image × weighting factor + input image × (1−weighting factor) (1) The weighting factor shown in equation (1) is a change in the input image with respect to the background image obtained so far. The updating of the background image can be improved by reducing the weighting coefficient. In addition, as a background image updating method other than the background image updating process, a method of recognizing an image when no intruding object exists and updating the background image can also be realized. In the alarm output process 412, after detecting an intruding object, an alarm signal is output to an external device via the external I / F 11, and an alarm is given to a supervisor.

【0025】さらに、前記雲台制御処理410において
使用する検出画像の物体の位置座標と雲台制御データの
算出について、図5を使用して説明する。テレビジョン
カメラ2で撮像した、例えば図5(a)に示す検出画像
501のように、画面の左上方向に人間506が侵入し
ている画像の場合、このときの人間506の重心位置座
標Y方向503、X方向502を算出し求める。つぎ
に、拡大された画像を得るためのズーミング可能な撮像
レンズ16を備えたテレビジョンカメラ17を搭載した
電動雲台18を制御し、図5(b)に示す追尾画像50
8が入力される位置、すなわち侵入した人間506が拡
大され、かつ、ビデオモニタ19の画面中心部に写し出
されるように位置決めをして、そのときの電動雲台18
の上下方向、左右方向の位置データを読み取る。同様
に、図5(a)に示す検出画像501の画面の右下方向
の位置での人間507の重心位置座標Y505、X50
4を求め、図5(c)に示す追尾画像509が入力され
る位置の電動雲台18の上下方向、左右方向の位置デー
タを読み取る。得られた電動雲台18の位置データから
雲台制御用係数を算出する。
Further, the calculation of the position coordinates of the object of the detected image and the pan head control data used in the pan head control process 410 will be described with reference to FIG. In the case of an image in which a person 506 has invaded in the upper left direction of the screen, for example, as in a detected image 501 shown in FIG. 5A, which is captured by the television camera 2, the barycentric position coordinate Y direction of the person 506 at this time 503, X direction 502 is calculated and obtained. Next, the motor-driven pan head 18 equipped with the television camera 17 having the zoomable imaging lens 16 for obtaining an enlarged image is controlled, and the tracking image 50 shown in FIG.
8 is input, that is, the intruding person 506 is positioned so as to be enlarged and displayed at the center of the screen of the video monitor 19, and the electric pan head 18 at that time is positioned.
Read the position data in the vertical and horizontal directions. Similarly, the coordinates Y505 and X50 of the center of gravity of the person 507 at the lower right position on the screen of the detection image 501 shown in FIG.
4 is obtained, and the vertical and horizontal position data of the electric platform 18 at the position where the tracking image 509 shown in FIG. A head control coefficient is calculated from the obtained position data of the electric head 18.

【0026】雲台制御用係数は、下記(2)式、(3)
式より、求めることができる。 左右方向雲台制御係数=(画像509を得るための雲台の左右位置−画像50 6を得るための雲台の左右位置)/(画像507のX方向位置座標504−画像 506のX方向位置座標502)・・・(2) 上下方向雲台制御係数=(画像509を得るための雲台の上下位置−画像50 8を得るための雲台の上下位置)/(画像507のY方向位置座標505−画像 506のY方向位置座標503)・・・(3) (2)式、(3)式で求めた結果と検出位置とを積算す
ることにより、検出位置の電動雲台位置が算出可能とな
り、自動追尾のための制御が可能となる。
The head control coefficient is given by the following equation (2) and (3)
It can be obtained from the formula. Left-right direction pan head control coefficient = (left-right position of pan head to obtain image 509-left-right position of pan head to obtain image 506) / (X-direction position coordinate 504 of image 507-X-direction position of image 506) Coordinates 502) (2) Vertical head control coefficient = (vertical position of head to obtain image 509-vertical position of head to obtain image 508) / (Y-direction position of image 507) Coordinates 505—Y-direction position coordinates 503 of image 506) (3) The electric head position of the detection position is calculated by integrating the results obtained by Expressions (2) and (3) with the detection position. It becomes possible and control for automatic tracking becomes possible.

【0027】また、前記物体有無判断処理407におい
て、算出される侵入物体の大きさから雲台制御処理41
0では、自動追尾し自動拡大した画面を得るために、雲
台制御部8からズーミング可能な撮像レンズ16へズー
ミング制御信号を出力して焦点距離を変えることがで
き、ビデオモニタ19における画面上の侵入物体の大き
さを所定の大きさで得ることができる。このズーミング
可能な撮像レンズ16の焦点距離は、下記(4)式で算
出された値により制御される。 制御焦点距離=(Y方向の幅309のメモリ総画素数/検出物体Y方向のメモ リ上の検出幅309)×侵入物体検出画面201における焦点距離×視野係数・ ・・(4)
In the object presence / absence determination process 407, the camera platform control process 41 is performed based on the calculated size of the intruding object.
At 0, a zooming control signal can be output from the pan head controller 8 to the zoomable imaging lens 16 to change the focal length in order to obtain a screen that is automatically tracked and automatically enlarged. The size of the intruding object can be obtained in a predetermined size. The focal length of the zoomable imaging lens 16 is controlled by a value calculated by the following equation (4). Control focal length = (total number of pixels of memory in width 309 in Y direction / detection width 309 on memory in detection object Y direction) × focal length in intruding object detection screen 201 × viewing factor × (4)

【0028】なお、(4)式では、Y方向を使用して算
出したが、X方向を使用して算出しても同等の結果が得
られる。しかし、仮に侵入物体を人間とした場合は、X
方向の幅310とY方向の幅309とでは大きさはY方
向が大きいため、人間の全体を基準にズームアップする
制御では、Y方向で算出するが良い。また、侵入物体の
移動速度によっては、侵入物体が追従画面から外れてし
まうことも考えられるため、その場合は、視野係数によ
り視野を広げることで対応することができる。これによ
り、侵入物体がカメラに対して遠くから近くに移動して
くる場合でも、一定の大きさで侵入物体を撮像すること
が可能となる。また、上述の侵入物体追尾画像処理シス
テムの説明においては、ズーミング可能な撮像レンズ1
6を雲台制御部8から出力されるズーミング制御信号で
制御して自動拡大した画面を得る説明をしたが、監視者
に手動制御されたズーミング制御信号を、外部I/F1
1を介して雲台制御部8に入力することで、拡大画面を
手動で所要の大きさに調整できるようにしても良い。
In equation (4), the calculation is performed using the Y direction, but the same result can be obtained by using the X direction. However, if the intruding object is a human, X
Since the size of the width 310 in the direction and the width 309 in the Y direction is large in the Y direction, it is preferable to calculate in the Y direction in the control for zooming up on the basis of the entire human. Further, depending on the moving speed of the intruding object, the intruding object may deviate from the following screen. In such a case, it is possible to cope with the situation by expanding the field of view by the field factor. Thereby, even when the intruding object moves from far away to near to the camera, it is possible to image the intruding object with a fixed size. In the description of the intruding object tracking image processing system described above, the zoomable imaging lens 1 is used.
6 is controlled by the zooming control signal output from the pan head control unit 8 to obtain an automatically enlarged screen. However, the zooming control signal manually controlled by the observer is transmitted to the external I / F 1.
The enlarged screen may be manually adjusted to a required size by inputting the data to the pan head control unit 8 via the control unit 1.

【0029】[0029]

【発明の効果】本発明によれば、侵入物体の自動検出を
行なうとともに、検出し演算したデータにより上下方
向、左右方向へ回動する電動雲台を制御して侵入物体の
自動追尾、ズーミング可能な撮像レンズを制御して侵入
物体の拡大を行ない、ビデオモニタ画面上で監視者に侵
入物体の確認が容易となる侵入物体追尾画像処理システ
ムを提供することができる。
According to the present invention, automatic detection of an intruding object and automatic tracking and zooming of an intruding object by controlling an electric pan head rotating in the vertical and horizontal directions based on detected and calculated data are possible. It is possible to provide an intruding object tracking image processing system that controls a simple imaging lens to enlarge an intruding object and makes it easy for a monitor to check the intruding object on a video monitor screen.

【図面の簡単な説明】[Brief description of the drawings]

【図1】本発明による侵入物体追尾画像処理システムの
系統図。
FIG. 1 is a system diagram of an intruding object tracking image processing system according to the present invention.

【図2】本発明による侵入物体追尾画像処理システムを
説明するためのビデオモニタ画面。
FIG. 2 is a video monitor screen for explaining the intruding object tracking image processing system according to the present invention.

【図3】本発明による侵入物体追尾画像処理システムを
説明するためのビデオモニタ画面。
FIG. 3 is a video monitor screen for explaining the intruding object tracking image processing system according to the present invention.

【図4】本発明による侵入物体追尾画像処理システムの
処理手順フローチャート。
FIG. 4 is a flowchart of a processing procedure of the intruding object tracking image processing system according to the present invention.

【図5】本発明による侵入物体追尾画像処理システムを
説明するためのビデオモニタ画面。
FIG. 5 is a video monitor screen for explaining the intruding object tracking image processing system according to the present invention.

【図6】従来技術による侵入物体追尾画像処理システム
の系統図。
FIG. 6 is a system diagram of an intruding object tracking image processing system according to a conventional technique.

【図7】従来技術による侵入物体追尾画像処理システム
を説明するための処理タイミング説明図。
FIG. 7 is an explanatory diagram of processing timing for explaining an intruding object tracking image processing system according to a conventional technique.

【図8】従来技術による侵入物体追尾画像処理システム
の系統図。
FIG. 8 is a system diagram of an intruding object tracking image processing system according to the related art.

【符号の説明】[Explanation of symbols]

1…広域視野の撮像レンズ、2、17、602、80
1、802、803、804…テレビジョンカメラ、
3、603、806…画像処理装置、4…画像入力I/
F、5、606、607、608、609…画像メモ
リ、6…CPU、7…ビデオ出力I/F、8…雲台制御
部、9…ワークメモリ、10…プログラムメモリ、11
…外部I/F、12…データバス、13、19、61
4、807…ビデオモニタ、16…ズーミング可能な撮
像レンズ、18…電動雲台、51…入力画像メモリ、5
2…背景画像メモリ、53、54…ワーク画像メモリ、
55…画像間演算結果画像メモリ、56…2値化画像メ
モリ、601…撮像レンズ、604…A/D変換部、6
05…メモリコントロール部、610…画像信号出力
部、611…文字発生部、612…CPU、613…I
/O制御部、615…演算部、616…2値化変換部、
805…画像信号切換器。
1: wide-field imaging lens, 2, 17, 602, 80
1, 802, 803, 804 ... television camera,
3, 603, 806: Image processing device, 4: Image input I /
F, 5, 606, 607, 608, 609 image memory, 6 CPU, 7 video output I / F, 8 pan head controller, 9 work memory, 10 program memory, 11
... external I / F, 12 ... data bus, 13, 19, 61
4, 807: video monitor, 16: imaging lens capable of zooming, 18: electric pan head, 51: input image memory, 5
2. Background image memory 53, 54 Work image memory
55: Inter-image calculation result image memory, 56: Binary image memory, 601: Imaging lens, 604: A / D converter, 6
05: memory control unit, 610: image signal output unit, 611: character generation unit, 612: CPU, 613 ... I
/ O control unit, 615 ... calculation unit, 616 ... binarization conversion unit,
805: Image signal switch.

Claims (4)

【特許請求の範囲】[Claims] 【請求項1】 侵入物体の検出に使用する画像信号を出
力する広域視野の撮像レンズを備えたテレビジョンカメ
ラと、 電動雲台に搭載され、侵入物体を追跡して画像監視に使
用する画像信号を出力するズーミング可能な撮像レンズ
を備えたテレビジョンカメラと、 前記広域視野の撮像レンズを備えたテレビジョンカメラ
から入力された画像信号を処理し演算して前記電動雲台
を所要量回動させるための回動制御信号を出力する画像
処理装置とを有し、 所要の監視箇所に侵入した侵入物体を、自動追尾して撮
像することを特徴とする侵入物体追尾画像処理システ
ム。
1. A television camera provided with an imaging lens having a wide field of view for outputting an image signal used for detecting an intruding object, and an image signal mounted on a motor-driven platform for tracking an intruding object and used for image monitoring A television camera equipped with a zoomable imaging lens that outputs an image signal, and an image signal input from the television camera equipped with the wide-field-of-view imaging lens. And an image processing device for outputting a rotation control signal for automatically tracking and capturing an image of an intruding object that has entered a required monitoring location.
【請求項2】 侵入物体の検出に使用する画像信号を出
力する広域視野の撮像レンズを備えたテレビジョンカメ
ラと、 電動雲台に搭載され、侵入物体を追跡し拡大された画像
監視に使用する画像信号を出力するズーミング可能な撮
像レンズを備えたテレビジョンカメラと、 前記広域視野の撮像レンズを備えたテレビジョンカメラ
から入力された画像信号を処理し演算して前記電動雲台
を所要量回動させるための回動制御信号と前記ズーミン
グ可能な撮像レンズを所要量ズーミングさせるためのズ
ーミング制御信号とを出力する画像処理装置とを有し、 所要の監視箇所に侵入した侵入物体を、自動追尾し自動
ズーミングして撮像することを特徴とする侵入物体追尾
画像処理システム。
2. A television camera provided with an imaging lens having a wide field of view for outputting an image signal used for detecting an intruding object, and a motorized head mounted on a motor-driven platform for tracking an intruding object and monitoring the enlarged image. A television camera equipped with a zoomable imaging lens for outputting an image signal; and an image signal input from the television camera equipped with the imaging lens having a wide field of view. An image processing device that outputs a rotation control signal for moving the zoom lens and a zooming control signal for zooming the zoomable imaging lens by a required amount, and automatically tracks an intruding object that has entered a required monitoring location. An intruding object tracking image processing system characterized by performing automatic zooming and imaging.
【請求項3】 請求項1あるいは請求項2記載のものに
おいて、 画像処理装置は、 広域視野の撮像レンズを備えたテレビジョンカメラから
の画像信号と該画像信号を処理した画像信号とを記憶す
る画像メモリと、 前記画像処理装置における処理、演算、制御、管理等を
行なうCPUと、 該CPUを動作させるプログラムを記憶するプログラム
メモリと、 検出した侵入物体の位置座標、行動履歴等処理で得られ
たデータの解析を行なうためのデータを記憶するワーク
メモリと、 演算されたデータにもとづき、電動雲台を所要量回動さ
せるための回動制御信号とズーミング可能な撮像レンズ
を所要量ズーミングさせるためのズーミング制御信号と
を出力する雲台制御部とを有することを特徴とする侵入
物体追尾画像処理システム。
3. The image processing device according to claim 1, wherein the image processing device stores an image signal from a television camera having an imaging lens with a wide field of view and an image signal obtained by processing the image signal. An image memory; a CPU for performing processing, calculation, control, management, and the like in the image processing apparatus; a program memory for storing a program for operating the CPU; and position coordinates, detected action history, and the like of the detected intruding object. A work memory for storing data for analyzing the data obtained, and a rotation control signal for rotating the electric head by a required amount based on the calculated data, and a required amount of zooming of the zoomable imaging lens. And a pan head controller for outputting a zooming control signal.
【請求項4】 請求項1あるいは請求項2および請求項
3記載のものにおいて、 画像メモリは、 入力された画像信号を記憶する入力画像メモリと、 侵入物体検出に使用する背景画像信号を記憶する背景画
像メモリと、 画像の差を検出する演算を行なうための背景画像信号と
入力画像信号とをそれぞれ記憶する2つのワークメモリ
と、 背景画像と入力画像との差を検出し演算した結果を記憶
する画像間演算結果画像メモリと、 画像の差を検出し演算した結果を2値化した2値化画像
信号を記憶する2値化画像メモリとを備えたメモリであ
ることを特徴とする侵入物体追尾画像処理システム。
4. An image memory according to claim 1, wherein the image memory stores an input image signal and a background image signal used for detecting an intruding object. A background image memory, two work memories for respectively storing a background image signal and an input image signal for performing an operation for detecting a difference between images, and storing a result of detecting and calculating a difference between the background image and the input image. An intruding object, comprising: an image calculation result image memory for performing an operation, and a binarized image memory for storing a binarized image signal obtained by binarizing a result obtained by detecting and calculating a difference between images. Tracking image processing system.
JP9226153A 1997-05-14 1997-08-22 Image processing system for tracking intruding object Pending JPH1169342A (en)

Priority Applications (4)

Application Number Priority Date Filing Date Title
JP9226153A JPH1169342A (en) 1997-08-22 1997-08-22 Image processing system for tracking intruding object
EP98108707A EP0878965A3 (en) 1997-05-14 1998-05-13 Method for tracking entering object and apparatus for tracking and monitoring entering object
US09/078,521 US6404455B1 (en) 1997-05-14 1998-05-14 Method for tracking entering object and apparatus for tracking and monitoring entering object
US09/362,212 US6445409B1 (en) 1997-05-14 1999-07-28 Method of distinguishing a moving object and apparatus of tracking and monitoring a moving object

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP9226153A JPH1169342A (en) 1997-08-22 1997-08-22 Image processing system for tracking intruding object

Publications (1)

Publication Number Publication Date
JPH1169342A true JPH1169342A (en) 1999-03-09

Family

ID=16840699

Family Applications (1)

Application Number Title Priority Date Filing Date
JP9226153A Pending JPH1169342A (en) 1997-05-14 1997-08-22 Image processing system for tracking intruding object

Country Status (1)

Country Link
JP (1) JPH1169342A (en)

Cited By (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20030073490A (en) * 2002-03-07 2003-09-19 정영기 Wide Surveillance Camera using Panoramic View
US6819778B2 (en) 2000-03-30 2004-11-16 Nec Corporation Method and system for tracking a fast moving object
JP2008236783A (en) * 2008-04-28 2008-10-02 Sony Corp Control apparatus, control method, and monitoring system
US7684591B2 (en) 2005-02-28 2010-03-23 Sony Corporation Information processing system, information processing apparatus and information processing method, program, and recording medium
KR20120070126A (en) * 2010-12-21 2012-06-29 한국전자통신연구원 Apparatus and method for capturing object image
US8355046B2 (en) 2004-07-14 2013-01-15 Panasonic Corporation Object tracing device, object tracing system, and object tracing method
JP2013527998A (en) * 2010-03-19 2013-07-04 ユニバーシティ−インダストリ コーポレーション グループ オブ キュン ヘ ユニバーシティ Monitoring system
JP2016219949A (en) * 2015-05-18 2016-12-22 キヤノン株式会社 Imaging apparatus, and control method and control program of the same
US9924084B2 (en) 2014-02-18 2018-03-20 Fujifilm Corporation Auto-tracking imaging apparatus including wide-angle and telephoto optical systems
US10091408B2 (en) 2014-10-31 2018-10-02 Fujifilm Corporation Imaging apparatus and method of recognizing target object
US10244165B2 (en) 2014-06-27 2019-03-26 Fujifilm Corporation Imaging device
US10244166B2 (en) 2014-06-27 2019-03-26 Fujifilm Corporation Imaging device
CN111754477A (en) * 2020-06-19 2020-10-09 北京交通大学 Railway perimeter foreign matter intrusion detection method based on dynamic candidate area multi-scale images
JP2020192635A (en) * 2019-05-28 2020-12-03 オムロン株式会社 Safety monitoring system, safety monitoring control device and safety monitoring method
CN113329172A (en) * 2021-05-11 2021-08-31 维沃移动通信(杭州)有限公司 Shooting method and device and electronic equipment

Cited By (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6819778B2 (en) 2000-03-30 2004-11-16 Nec Corporation Method and system for tracking a fast moving object
KR20030073490A (en) * 2002-03-07 2003-09-19 정영기 Wide Surveillance Camera using Panoramic View
US8355046B2 (en) 2004-07-14 2013-01-15 Panasonic Corporation Object tracing device, object tracing system, and object tracing method
US7684591B2 (en) 2005-02-28 2010-03-23 Sony Corporation Information processing system, information processing apparatus and information processing method, program, and recording medium
JP2008236783A (en) * 2008-04-28 2008-10-02 Sony Corp Control apparatus, control method, and monitoring system
JP2013527998A (en) * 2010-03-19 2013-07-04 ユニバーシティ−インダストリ コーポレーション グループ オブ キュン ヘ ユニバーシティ Monitoring system
US9082278B2 (en) 2010-03-19 2015-07-14 University-Industry Cooperation Group Of Kyung Hee University Surveillance system
KR20120070126A (en) * 2010-12-21 2012-06-29 한국전자통신연구원 Apparatus and method for capturing object image
US9924084B2 (en) 2014-02-18 2018-03-20 Fujifilm Corporation Auto-tracking imaging apparatus including wide-angle and telephoto optical systems
US10244166B2 (en) 2014-06-27 2019-03-26 Fujifilm Corporation Imaging device
US10244165B2 (en) 2014-06-27 2019-03-26 Fujifilm Corporation Imaging device
US10091408B2 (en) 2014-10-31 2018-10-02 Fujifilm Corporation Imaging apparatus and method of recognizing target object
JP2016219949A (en) * 2015-05-18 2016-12-22 キヤノン株式会社 Imaging apparatus, and control method and control program of the same
JP2020192635A (en) * 2019-05-28 2020-12-03 オムロン株式会社 Safety monitoring system, safety monitoring control device and safety monitoring method
CN111754477A (en) * 2020-06-19 2020-10-09 北京交通大学 Railway perimeter foreign matter intrusion detection method based on dynamic candidate area multi-scale images
CN111754477B (en) * 2020-06-19 2024-02-09 北京交通大学 Railway perimeter foreign matter intrusion detection method based on dynamic candidate area multi-scale image
CN113329172A (en) * 2021-05-11 2021-08-31 维沃移动通信(杭州)有限公司 Shooting method and device and electronic equipment

Similar Documents

Publication Publication Date Title
EP1267313B1 (en) Image surveillance apparatus, image surveillance method, and image surveillance processing program
JPH1169342A (en) Image processing system for tracking intruding object
CN106488115B (en) For tracking and sensing the control device and method of the image sensing apparatus of tracking target
JP5055092B2 (en) Video processing apparatus and video processing method
US20020051057A1 (en) Following device
WO2011082185A1 (en) Confined motion detection for pan-tilt cameras employing motion detection and autonomous motion tracking
EP2449760A1 (en) Omni-directional intelligent autotour and situational aware dome surveillance camera system and method
JP2002374521A (en) Method and device for monitoring mobile object
KR20010043423A (en) Camera signal processing device and camera signal processing method
JPH0614698B2 (en) Automatic tracking camera
JPH09179984A (en) Video monitor device
JPH0793558A (en) Image monitoring device
WO2005088962A1 (en) Tracking device and motion capture device
JP4559043B2 (en) Image monitoring device
JP3429194B2 (en) Automatic tracking device
JPH10126766A (en) Monitoring camera equipment
JP2002092751A (en) Monitoring system
JP3875199B2 (en) Imaging device
KR100761817B1 (en) A ccd camera system for effectively tracking a motion of objects and a method thereof
JPH10188145A (en) Automatic zoom monitoring device
CN116457882A (en) Apparatus and method for controlling camera
JPH08265740A (en) Camera monitoring device
JP4407530B2 (en) Motion detection device
JP2003163929A (en) Image monitor
JP2004080128A (en) Method and apparatus for automatically tracking moving body image