JP2012010233A - Image processing apparatus, image processing system and image processing method - Google Patents

Image processing apparatus, image processing system and image processing method Download PDF

Info

Publication number
JP2012010233A
JP2012010233A JP2010146097A JP2010146097A JP2012010233A JP 2012010233 A JP2012010233 A JP 2012010233A JP 2010146097 A JP2010146097 A JP 2010146097A JP 2010146097 A JP2010146097 A JP 2010146097A JP 2012010233 A JP2012010233 A JP 2012010233A
Authority
JP
Japan
Prior art keywords
image
image analysis
analysis region
imaging device
display
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2010146097A
Other languages
Japanese (ja)
Other versions
JP5697369B2 (en
Inventor
Katsutoshi Tajiri
勝敏 田尻
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Priority to JP2010146097A priority Critical patent/JP5697369B2/en
Publication of JP2012010233A publication Critical patent/JP2012010233A/en
Application granted granted Critical
Publication of JP5697369B2 publication Critical patent/JP5697369B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Closed-Circuit Television Systems (AREA)

Abstract

PROBLEM TO BE SOLVED: To reduce the erroneous detection of a specific event during image analysis.SOLUTION: The present invention relates to a client terminal for receiving image data containing a monitor target from a camera server which images the monitor target and performs image analysis. An image analysis region is designated in an image displayed on a display device in response to a user operation, and information on the designated image analysis region is transmitted to the camera server. When setting information including the information on the image analysis region is acquired from the camera server, on the basis of the acquired setting information, the image and the designated image analysis region are then superimposed and displayed on the display device.

Description

本発明は、画像を解析して特定の事象を検知する画像処理装置、画像処理システム、画像処理方法及びプログラムに関する。   The present invention relates to an image processing apparatus, an image processing system, an image processing method, and a program that analyze an image to detect a specific event.

近年、インターネットなどIP(Internet Protocol)ネットワークを利用した配信システムが増加してきており、スキー場や動物園の状況を配信するインターネットサイトや、店舗やビルの監視などにも採用されている。例えば、店舗やビルの監視においては、撮像画像を解析して特定の事象を検知し、事象が発生した際に画像を蓄積したり、管理者が閲覧して確認したりすることが行われている。   In recent years, a distribution system using an IP (Internet Protocol) network such as the Internet has been increasing, and it is also used for an Internet site that distributes the state of a ski resort or a zoo, a store or a building, and the like. For example, in the monitoring of a store or a building, a captured event is analyzed to detect a specific event, and when the event occurs, an image is accumulated or an administrator browses and confirms the event. Yes.

画像解析する特定の事象としては、例えば、撮像画像上に物体が出現したかどうかを検知する物体検知や、カメラ制御と連動して検知した物体を追いかける物体追尾が存在する。また、不審物等が置かれたことを検知する置き去り検知、監視対象が持ち去られたことを検知する持ち去り検知、撮像画像からネットワークカメラに対していたずらがされたことを検知するいたずら検知等も存在する。   Specific events for image analysis include, for example, object detection for detecting whether an object has appeared on a captured image, and object tracking for tracking an object detected in conjunction with camera control. Also, leaving detection that detects that a suspicious object has been placed, removal detection that detects that a monitoring target has been removed, tampering detection that detects that a network camera has been tampered with from a captured image, etc. Exists.

例えば、特許文献1には、ネットワークカメラの追尾機能の設定方法が開示されている。特許文献1に記載の技術を用いると、ネットワークカメラが配信した画像データと、画像上の動きがあった領域とを重畳表示することにより、追尾機能を容易に設定することができる。   For example, Patent Document 1 discloses a method for setting a tracking function of a network camera. By using the technique described in Patent Document 1, the tracking function can be easily set by superimposing and displaying the image data distributed by the network camera and the area on the image that has moved.

特開2005−312018号公報Japanese Patent Laid-Open No. 2005-31018

上述の特許文献1に開示された従来技術では、ユーザが画面上で指定する領域は必ず矩形であることを前提とした技術であり、その領域はネットワークカメラ側で解析処理を行う領域と同一である。そして、ユーザが監視対象に合わせて矩形以外の検知対象領域を指定する場合であっても、ネットワークカメラが行う解析処理は撮像画像をある一定サイズに分割した領域毎に行う。ところが、ユーザが画面上で指定した領域と、ネットワークカメラ側で解析処理を行う領域とが一致せず、ユーザが意図した通りに設定することが難しく、特定事象を誤検知する場合がある。   In the prior art disclosed in Patent Document 1 described above, the area specified by the user on the screen is necessarily a rectangle, and the area is the same as the area where analysis processing is performed on the network camera side. is there. Even when the user designates a detection target area other than a rectangle in accordance with the monitoring target, the analysis process performed by the network camera is performed for each area obtained by dividing the captured image into a certain size. However, the area designated on the screen by the user and the area to be analyzed on the network camera side do not match, making it difficult to set as intended by the user, and a specific event may be erroneously detected.

本発明は前述の問題点に鑑み、画像解析における特定事象の誤検知を低減できるようにすることを目的としている。   The present invention has been made in view of the above-described problems, and an object thereof is to reduce erroneous detection of a specific event in image analysis.

本発明の画像処理装置は、監視対象を撮像して画像解析する撮像装置から、前記監視対象を含む画像データを受信する画像処理装置であって、前記画像データに基づく画像を表示装置に表示する表示制御手段と、ユーザの操作に応じて、前記表示装置に表示された画像において画像解析領域を指定する指定手段と、前記指定手段により指定された画像解析領域の情報を前記撮像装置に送信する送信手段と、前記撮像装置から画像解析領域の情報を含む設定情報を取得する取得手段とを備え、前記表示制御手段は、前記取得手段によって取得された設定情報に基づいて、前記画像と前記画像解析領域とを重畳して前記表示装置に表示することを特徴とする。   An image processing apparatus according to the present invention is an image processing apparatus that receives image data including a monitoring target from an imaging apparatus that images the monitoring target and analyzes the image, and displays an image based on the image data on a display device. Display control means, designation means for designating an image analysis area in an image displayed on the display device in accordance with a user operation, and information on the image analysis area designated by the designation means is transmitted to the imaging apparatus. A transmission unit; and an acquisition unit that acquires setting information including information on an image analysis region from the imaging device. The display control unit is configured to display the image and the image based on the setting information acquired by the acquisition unit. The analysis area is superimposed and displayed on the display device.

本発明によれば、ユーザは、カメラが画像解析を行う画像解析領域を確認することができるので、特定事象の誤検知を低減することができる。   According to the present invention, since the user can confirm the image analysis region where the camera performs image analysis, it is possible to reduce erroneous detection of specific events.

カメラサーバ及びクライアント端末のプログラム構成例を示す図である。It is a figure which shows the example of a program structure of a camera server and a client terminal. 画像処理システムのシステム構成例を示す図である。1 is a diagram illustrating a system configuration example of an image processing system. カメラサーバ及びクライアント端末のハード構成例を示す図である。It is a figure which shows the hardware structural example of a camera server and a client terminal. 画像解析領域を含む撮像画像の一例を示す図である。It is a figure which shows an example of the captured image containing an image analysis area | region. 画像解析領域が指定された撮像画像の一例を示す図である。It is a figure which shows an example of the captured image to which the image analysis area was designated. 設定管理に関する処理手順の一例を示すフローチャートである。It is a flowchart which shows an example of the process sequence regarding setting management. 画像解析領域を決定する処理手順の一例を示すフローチャートである。It is a flowchart which shows an example of the process sequence which determines an image analysis area | region. 画像解析領域を変更する際の表示例を示す図である。It is a figure which shows the example of a display at the time of changing an image analysis area | region. 画像解析領域を表示する処理手順の一例を示すフローチャートである。It is a flowchart which shows an example of the process sequence which displays an image analysis area | region. 画像解析領域を表示する処理手順の一例を示すフローチャートである。It is a flowchart which shows an example of the process sequence which displays an image analysis area | region. 画像解析領域を決定する処理手順の一例を示すフローチャートである。It is a flowchart which shows an example of the process sequence which determines an image analysis area | region. 解析領域リストの一例を示す図である。It is a figure which shows an example of an analysis area | region list. カメラサーバが画像解析処理する領域を重畳表示した例を示す図である。It is a figure which shows the example which superimposed and displayed the area | region which a camera server performs an image analysis process. 画像解析領域を決定する処理手順の一例を示すフローチャートである。It is a flowchart which shows an example of the process sequence which determines an image analysis area | region.

(第1の実施形態)
以下、本発明の実施形態に好適な画像処理システムの構成及び動作について、図面を参照しながら説明する。
図2は、本実施形態における画像処理システムのシステム構成例を示す図である。
図2に示すように、第1のカメラサーバ200、第2のカメラサーバ210、及びクライアント端末220がネットワーク230を介して相互に接続されている。第1のカメラサーバ200及び第2のカメラサーバ210は、撮影画角が固定もしくは変更可能なカメラを備え、撮影した画像データを、ネットワーク230を介して配信するものである。第1のカメラサーバ200及び第2のカメラサーバ210は独立に動作しており、クライアント端末220は、第1のカメラサーバ200、または第2のカメラサーバ210にアクセスし、画像データを取得する。なお、説明を簡略化するためにカメラサーバは2台としているが、3台以上であっても構わない。
(First embodiment)
Hereinafter, the configuration and operation of an image processing system suitable for an embodiment of the present invention will be described with reference to the drawings.
FIG. 2 is a diagram illustrating a system configuration example of the image processing system according to the present embodiment.
As shown in FIG. 2, the first camera server 200, the second camera server 210, and the client terminal 220 are connected to each other via a network 230. The first camera server 200 and the second camera server 210 are provided with a camera whose shooting angle of view can be fixed or changed, and the shot image data is distributed via the network 230. The first camera server 200 and the second camera server 210 operate independently, and the client terminal 220 accesses the first camera server 200 or the second camera server 210 and acquires image data. In order to simplify the description, two camera servers are used, but three or more camera servers may be used.

また、図2に示すクライアント端末220以外にも第1のカメラサーバ200、または第2のカメラサーバ210にアクセスして画像データの受信や蓄積を行う他のクライアント端末があっても構わない。ネットワーク230は、Ethernet(登録商標)等の通信規格を満足する複数のルータ、スイッチ、ケーブル等から構成されている。本実施形態においては、各サーバ・クライアント端末間の通信が支障なく行うことができるのであればその通信規格、規模、構成を問わず、インターネットや、LAN(Local Area Network)などが適用可能である。   In addition to the client terminal 220 shown in FIG. 2, there may be other client terminals that access the first camera server 200 or the second camera server 210 to receive and store image data. The network 230 includes a plurality of routers, switches, cables, and the like that satisfy a communication standard such as Ethernet (registered trademark). In the present embodiment, as long as communication between each server and client terminal can be performed without any problem, the Internet, a LAN (Local Area Network), or the like is applicable regardless of the communication standard, scale, and configuration. .

図3(A)は、本実施形態の第1のカメラサーバ200のハードウェア構成の一例を示すブロック図である。なお、第2のカメラサーバ210も同様の構成であるため、第2のカメラサーバ210のハードウェア構成の説明は省略する。
図3(A)に示すように、CPU300、1次記憶装置310、2次記憶装置320、画像キャプチャI/F330、及びネットワークI/F335が内部バス301を介して相互に接続されている。
FIG. 3A is a block diagram illustrating an example of a hardware configuration of the first camera server 200 of the present embodiment. Since the second camera server 210 has the same configuration, the description of the hardware configuration of the second camera server 210 is omitted.
As shown in FIG. 3A, a CPU 300, a primary storage device 310, a secondary storage device 320, an image capture I / F 330, and a network I / F 335 are connected to each other via an internal bus 301.

1次記憶装置310は、RAMなどの書き込み可能な高速の記憶装置であり、OSや各種プログラム及び各種データがロードされ、またOSや各種プログラムの作業領域としても使用される。2次記憶装置320は、FDDやHDD、フラッシュメモリ、CD−ROMドライブなどの不揮発性の記憶装置であり、OSや各種プログラム及び各種データの永続的な記憶領域として使用される他に、短期的な各種データの記憶領域としても使用される。なお、第1のカメラサーバ200の1次記憶装置310及び2次記憶装置320に展開される各種プログラム等の詳細については後述する。   The primary storage device 310 is a high-speed writable storage device such as a RAM, and is loaded with an OS, various programs, and various data, and is also used as a work area for the OS and various programs. The secondary storage device 320 is a nonvolatile storage device such as an FDD, HDD, flash memory, CD-ROM drive, etc., and is used as a permanent storage area for the OS, various programs, and various data, as well as a short-term storage device. It is also used as a storage area for various data. Details of various programs and the like developed in the primary storage device 310 and the secondary storage device 320 of the first camera server 200 will be described later.

画像キャプチャI/F330にはカメラ340が接続されており、カメラ340が撮影した画像データを所定のフォーマットに変換・圧縮して1次記憶装置310に転送する。ネットワークI/F335はネットワーク230と接続するためのI/Fであり、通信媒体を介してクライアント端末220等との通信を行う。   A camera 340 is connected to the image capture I / F 330, and the image data captured by the camera 340 is converted and compressed into a predetermined format and transferred to the primary storage device 310. The network I / F 335 is an I / F for connecting to the network 230, and communicates with the client terminal 220 and the like via a communication medium.

図3(B)は、クライアント端末220のハードウェア構成の一例を示すブロック図である。
図3(B)に示すように、CPU350、1次記憶装置360、2次記憶装置370、ユーザ入力I/F380、ユーザ出力I/F390、及びネットワークI/F395が内部バス351を介して相互に接続されている。
FIG. 3B is a block diagram illustrating an example of a hardware configuration of the client terminal 220.
As shown in FIG. 3B, a CPU 350, a primary storage device 360, a secondary storage device 370, a user input I / F 380, a user output I / F 390, and a network I / F 395 are mutually connected via an internal bus 351. It is connected.

1次記憶装置360は、RAMなどの書き込み可能な高速の記憶装置であり、OSや各種プログラム及び各種データがロードされ、またOSや各種プログラムの作業領域としても使用される。2次記憶装置370は、FDDやHDD、フラッシュメモリ、CD−ROMドライブなどの不揮発性の記憶装置であり、OSや各種プログラム及び各種データの永続的な記憶領域として使用される他に、短期的な各種データの記憶領域としても使用される。なお、クライアント端末220の1次記憶装置360及び2次記憶装置370に展開される各種プログラム等の詳細については後述する。   The primary storage device 360 is a high-speed writable storage device such as a RAM, and is loaded with an OS, various programs, and various data, and is also used as a work area for the OS and various programs. The secondary storage device 370 is a non-volatile storage device such as an FDD, HDD, flash memory, CD-ROM drive, etc. In addition to being used as a permanent storage area for the OS, various programs, and various data, It is also used as a storage area for various data. The details of various programs and the like developed in the primary storage device 360 and the secondary storage device 370 of the client terminal 220 will be described later.

ユーザ入力I/F380には、キーボード、マウスなどの入力機器381が接続されており、ユーザからの指示を入力する。ユーザ出力I/F390には、ディスプレイなどの出力機器391が接続されており、表示用の画像データなどが出力される。ネットワークI/F395は、前述のネットワーク230と接続するためのI/Fであり、通信媒体を介して第1のカメラサーバ200等との通信を行う。   The user input I / F 380 is connected to an input device 381 such as a keyboard and a mouse, and inputs an instruction from the user. An output device 391 such as a display is connected to the user output I / F 390, and image data for display is output. The network I / F 395 is an I / F for connecting to the network 230 described above, and performs communication with the first camera server 200 and the like via a communication medium.

図1(a)は、第1のカメラサーバ200のソフトウェア構成の一例を示すブロック図である。なお、第2のカメラサーバ200も同様の構成であるため、第2のカメラサーバ210のソフトウェア構成の説明は省略する。
1次記憶装置310上には、OS100、撮像処理プログラム110、画像解析プログラム111、配信処理プログラム112、及び一時記憶部113がロードされる。OS100は第1のカメラサーバ200全体を制御する基本プログラムである。
FIG. 1A is a block diagram illustrating an example of a software configuration of the first camera server 200. Since the second camera server 200 has the same configuration, the description of the software configuration of the second camera server 210 is omitted.
On the primary storage device 310, an OS 100, an imaging processing program 110, an image analysis program 111, a distribution processing program 112, and a temporary storage unit 113 are loaded. The OS 100 is a basic program that controls the entire first camera server 200.

撮像処理プログラム110は、画像キャプチャI/F330を経由して、カメラ340で生成された画像フレームを入力し、画像フレームを符号化して、一時記憶部113に保存する。画像解析プログラム111は、2次記憶装置320に保存されている画像解析に関連する設定情報を一時記憶部113にロードする。また、一時記憶部113に記憶された画像フレームを解析し、画像上のどこにどんな形の物体がどれぐらいの時間存在しているのか、といった内容を検出する。さらに、予め設定された1つまたは複数の閾値を超えたことにより特定の事象が発生したことを検出する。また、画像解析プログラム111は、クライアント端末220から新たな設定情報をネットワークI/F335を通して受信すると、一時記憶部113または2次記憶装置320に保存し、新しい設定情報により画像解析を開始する。   The imaging processing program 110 inputs an image frame generated by the camera 340 via the image capture I / F 330, encodes the image frame, and saves it in the temporary storage unit 113. The image analysis program 111 loads setting information related to image analysis stored in the secondary storage device 320 to the temporary storage unit 113. Further, the image frame stored in the temporary storage unit 113 is analyzed to detect the contents such as where and what form of the object exists on the image. Further, it detects that a specific event has occurred due to exceeding one or more preset thresholds. Further, when receiving new setting information from the client terminal 220 via the network I / F 335, the image analysis program 111 stores the new setting information in the temporary storage unit 113 or the secondary storage device 320, and starts image analysis using the new setting information.

配信処理プログラム112は、外部からの要求に応じ、ネットワークI/F335を制御することにより、一時記憶部113に記憶されている画像フレームを、ネットワーク230を介してクライアント端末220などへ送信する。また、各プログラム同士の連携は、必要に応じてOS100が提供する機能を用いる。   The distribution processing program 112 controls the network I / F 335 in response to an external request, thereby transmitting the image frame stored in the temporary storage unit 113 to the client terminal 220 or the like via the network 230. Further, the cooperation between the programs uses a function provided by the OS 100 as necessary.

図1(b)は、クライアント端末220のソフトウェア構成の一例を示すブロック図である。
1次記憶装置360上には、OS150、入力制御プログラム160、設定管理プログラム161、受信処理プログラム162、出力制御プログラム163、解析領域決定プログラム164、及び一時記憶部165がロードされる。OS150はクライアント端末220全体を制御する基本プログラムである。
FIG. 1B is a block diagram illustrating an example of a software configuration of the client terminal 220.
On the primary storage device 360, an OS 150, an input control program 160, a setting management program 161, a reception processing program 162, an output control program 163, an analysis area determination program 164, and a temporary storage unit 165 are loaded. The OS 150 is a basic program that controls the entire client terminal 220.

入力制御プログラム160は、ユーザがキーボードやマウスなど入力機器381を操作することにより、設定管理プログラム161を起動する。本実施形態では、ユーザがキーボードやマウスなどを直接操作する以外に、ネットワーク経由の操作や、自動実行プログラムでも実現可能である。設定管理プログラム161は、第1のカメラサーバ200または第2のカメラサーバ210が処理する解析領域を表示するために解析領域決定プログラム164を起動し、さらに画像フレームを取得するため受信処理プログラム162を起動する。また、設定管理プログラム161は、出力制御プログラム163を起動し、画像フレームを表示させたり、ユーザの操作により決定した解析領域の情報を第1のカメラサーバ200または第2のカメラサーバ210に送信させたりする。   The input control program 160 activates the setting management program 161 when the user operates an input device 381 such as a keyboard and a mouse. In this embodiment, in addition to the user directly operating the keyboard, mouse, and the like, the present invention can be realized by an operation via a network or an automatic execution program. The setting management program 161 starts the analysis region determination program 164 to display the analysis region processed by the first camera server 200 or the second camera server 210, and further executes the reception processing program 162 to acquire an image frame. to start. Also, the setting management program 161 activates the output control program 163 to display an image frame or transmit information on the analysis area determined by the user's operation to the first camera server 200 or the second camera server 210. Or

解析領域決定プログラム164は、第1のカメラサーバ200または第2のカメラサーバ210から画像解析領域等を含む設定情報を取得し、カメラサーバ内で実行される画像解析領域を決定する。そして、出力制御プログラム163により解析領域を表示させる。受信処理プログラム162は、ネットワークI/F395を制御することにより、ネットワーク230を介して第1のカメラサーバ200または第2のカメラサーバ210から画像フレームを受信し、一時記憶部165に保存する。出力制御プログラム163は、受信処理プログラム162や解析領域決定プログラム164の指示に従い、画像フレームや解析領域をディスプレイ等の出力機器391に表示制御する。なお、各プログラム同士の連携は、必要に応じてOS100が提供する機能を用いることとする。   The analysis area determination program 164 acquires setting information including an image analysis area from the first camera server 200 or the second camera server 210, and determines an image analysis area to be executed in the camera server. Then, the analysis area is displayed by the output control program 163. The reception processing program 162 receives the image frame from the first camera server 200 or the second camera server 210 via the network 230 by controlling the network I / F 395 and stores it in the temporary storage unit 165. The output control program 163 controls display of image frames and analysis areas on an output device 391 such as a display in accordance with instructions from the reception processing program 162 and the analysis area determination program 164. It should be noted that the functions provided by the OS 100 are used for cooperation between the programs as necessary.

図4(a)は、クライアント端末220が出力機器391であるディスプレイに表示する画像解析処理の設定画面の一例を示す図である。
図4(a)においては、監視対象410が映っている撮像画像400上に画像解析領域420を指定した時を示している。本実施形態では、クライアント端末220は第1のカメラサーバ200または第2のカメラサーバ210から取得した画像フレーム(解像度:640×480)を表示し、その画像上の4点A、B、C、Dからなる閉領域を指定する。
FIG. 4A is a diagram illustrating an example of a setting screen for image analysis processing displayed on the display which is the output device 391 by the client terminal 220.
FIG. 4A shows a case where the image analysis area 420 is designated on the captured image 400 in which the monitoring target 410 is shown. In this embodiment, the client terminal 220 displays an image frame (resolution: 640 × 480) acquired from the first camera server 200 or the second camera server 210, and four points A, B, C, Designate a closed region consisting of D.

図4(b)は、第1のカメラサーバ200及び第2のカメラサーバ210での画像解析処理ブロックの一例を示す図である。
図4(b)においては、図4(a)の画面における4点A、B、C、Dを指定した場合に、どの領域を画像処理対象とするのかを示している。クライアント端末220の出力機器391に表示される画像解析領域420に相当する画像解析領域470に対し、第1のカメラサーバ200及び第2のカメラサーバ210が解析処理を行う領域はブロック領域460となる。
FIG. 4B is a diagram illustrating an example of an image analysis processing block in the first camera server 200 and the second camera server 210.
In FIG. 4B, when four points A, B, C, and D on the screen of FIG. 4A are designated, which region is to be processed is shown. In contrast to the image analysis area 470 corresponding to the image analysis area 420 displayed on the output device 391 of the client terminal 220, the area where the first camera server 200 and the second camera server 210 perform analysis processing is a block area 460. .

本実施形態では、第1のカメラサーバ200及び第2のカメラサーバ210は、解像度が320×240の画像フレームに対し、8×8の単位で分割した40×30の粒度で画像解析処理を実施する。このように、クライアント端末220上では640×480の粒度で解析領域を指定するのに対し、第1のカメラサーバ200及び第2のカメラサーバ210上では40×30の粒度で画像解析処理を実施する。   In the present embodiment, the first camera server 200 and the second camera server 210 perform image analysis processing with a granularity of 40 × 30 divided in units of 8 × 8 on an image frame having a resolution of 320 × 240. To do. As described above, the analysis region is specified with a granularity of 640 × 480 on the client terminal 220, whereas the image analysis processing is performed with a granularity of 40 × 30 on the first camera server 200 and the second camera server 210. To do.

図5は、クライアント端末220のディスプレイに、カメラサーバが実際に画像解析処理する領域を重畳表示した例を示す図である。
図5においては、監視対象510が映っている撮像画像500上に画像解析領域520を指定した時のカメラサーバが画像解析処理を行う画像解析領域530を示している。
FIG. 5 is a diagram illustrating an example in which a region where the camera server actually performs image analysis processing is superimposed and displayed on the display of the client terminal 220.
FIG. 5 shows an image analysis area 530 in which the camera server performs image analysis processing when the image analysis area 520 is designated on the captured image 500 in which the monitoring target 510 is shown.

このように、クライアント端末220側にユーザが指定した領域に対して実際に画像解析する領域を重畳して表示することにより、ユーザが意図した領域に対して画像解析処理が行われるのか否かを確認することができる。本実施形態では、四角形の単位で解析領域を設けているが、監視対象に合わせて四角形以外の多角形で指定してもよい。また、図5では、カメラサーバが画像解析処理を行う領域をそのまま重畳表示しているが、画像解析領域が確認できるのであれば、枠表示など別の表示方法でもよい。   As described above, whether or not the image analysis processing is performed on the area intended by the user is displayed by superimposing and displaying the area to be actually analyzed on the area designated by the user on the client terminal 220 side. Can be confirmed. In the present embodiment, the analysis area is provided in units of a rectangle, but may be specified by a polygon other than a rectangle in accordance with the monitoring target. In FIG. 5, the area where the camera server performs image analysis processing is superimposed and displayed as it is. However, if the image analysis area can be confirmed, another display method such as frame display may be used.

図6は、クライアント端末220上の設定管理プログラム161により実行される処理手順の一例を示すフローチャートである。
まず、設定管理プログラム161は、ユーザによりキーボードやマウスなど入力機器381が操作され、画像解析処理を設定するときに起動される。そして、設定管理プログラム161は、解析領域決定プログラム164を起動し、解析領域決定処理を開始可能な状態にする(ステップS601)。次に、受信処理プログラム162を起動し、ネットワークI/F395を制御することにより、第1のカメラサーバ200または第2のカメラサーバ210から画像データの受信を開始可能な状態にする(ステップS602)。そして、設定管理プログラム161に対して何らかのイベントが発生するまで待機する(ステップS603)。
FIG. 6 is a flowchart illustrating an example of a processing procedure executed by the setting management program 161 on the client terminal 220.
First, the setting management program 161 is activated when an input device 381 such as a keyboard or a mouse is operated by a user to set image analysis processing. Then, the setting management program 161 activates the analysis region determination program 164 to make it possible to start the analysis region determination process (step S601). Next, the reception processing program 162 is activated and the network I / F 395 is controlled to enable the reception of image data from the first camera server 200 or the second camera server 210 (step S602). . And it waits until an event generate | occur | produces with respect to the setting management program 161 (step S603).

イベントが発生すると、設定管理プログラム161は、イベントの種別を判定する(ステップS604)。この判定の結果、画像データの受信を通知するイベントである場合は、出力制御プログラム163により受信した画像データ(画像フレーム)をディスプレイ等の出力機器391に表示させる(ステップS605)。この結果、図4(a)に示す撮像画像400を表示することになる。   When an event occurs, the setting management program 161 determines the type of event (step S604). If the result of this determination is an event notifying the reception of image data, the image data (image frame) received by the output control program 163 is displayed on the output device 391 such as a display (step S605). As a result, the captured image 400 shown in FIG. 4A is displayed.

一方、ステップS604の判定の結果、ユーザにより入力機器381が操作されたことによる設定情報を保存するイベントである場合は、現在表示している画像解析領域の情報を解析領域決定プログラム164により取得する(ステップS606)。そして、出力制御プログラム163によりネットワークI/F395を制御することによりカメラサーバに設定情報を送信させる(ステップS607)。ここで、画像解析領域の情報とは、図4(a)に示す画像解析領域420の各頂点(4点A、B、C、D)の座標のことである。また、ステップS604の判定の結果、ユーザにより入力機器381が操作され、設定処理の終了を通知するイベントである場合は、終了フラグをON状態にする(ステップS608)。   On the other hand, if it is determined in step S604 that the setting information is stored when the input device 381 is operated by the user, information on the currently displayed image analysis area is acquired by the analysis area determination program 164. (Step S606). Then, the setting information is transmitted to the camera server by controlling the network I / F 395 by the output control program 163 (step S607). Here, the information of the image analysis area is the coordinates of each vertex (four points A, B, C, D) of the image analysis area 420 shown in FIG. As a result of the determination in step S604, if the input device 381 is operated by the user and the event notifies the end of the setting process, the end flag is turned on (step S608).

次に、終了フラグがON状態になっているか否かを判定する(ステップS609)、この判定の結果、ON状態でない場合は、ステップS603に戻り、再度、イベントが発生するまで待機する。一方、ステップS609の判定の結果、終了フラグがON状態である場合は、受信処理プログラム162により終了イベントを発生させる(ステップS610)。そして、解析領域決定プログラム164により終了イベントを発生させ(ステップS611)、処理を終了する。   Next, it is determined whether or not the end flag is in the ON state (step S609). If the result of this determination is that it is not in the ON state, the process returns to step S603 and waits again until an event occurs. On the other hand, if the result of determination in step S609 is that the end flag is in the ON state, an end event is generated by the reception processing program 162 (step S610). Then, an end event is generated by the analysis region determination program 164 (step S611), and the process is ended.

図7は、クライアント端末220上の解析領域決定プログラム164により実行される処理手順の一例を示すフローチャートである。
図6のステップS601において設定管理プログラム161により解析領域決定プログラム164が起動され、まず第1のカメラサーバ200または第2のカメラサーバ210に対して現在の画像解析領域を含む設定情報の取得要求を送信する(ステップS701)。そして、解析領域決定プログラム164に対して何らかのイベントが発生するまで待機する(ステップS702)。
FIG. 7 is a flowchart illustrating an example of a processing procedure executed by the analysis area determination program 164 on the client terminal 220.
In step S601 in FIG. 6, the analysis area determination program 164 is started by the setting management program 161. First, a request for acquiring setting information including the current image analysis area is sent to the first camera server 200 or the second camera server 210. Transmit (step S701). And it waits until an event generate | occur | produces with respect to the analysis area | region determination program 164 (step S702).

イベントが発生すると、解析領域決定プログラム164はイベントの種別を判定する(ステップS703)。この判定の結果、設定情報の受信を通知するイベントである場合は、受信した設定情報から現在カメラサーバが画像解析している領域の情報を取得する。そして、出力制御プログラム163によりその画像解析領域をディスプレイ等の出力機器391に表示させる(ステップS704)。この結果、図5に示す撮像画像500を表示することになる。   When an event occurs, the analysis area determination program 164 determines the type of event (step S703). If the result of this determination is an event notifying the reception of the setting information, the information of the area currently analyzed by the camera server is acquired from the received setting information. Then, the output control program 163 displays the image analysis area on the output device 391 such as a display (step S704). As a result, the captured image 500 shown in FIG. 5 is displayed.

一方、ステップS703の判定の結果、ユーザにより入力機器381が操作されて画像解析領域の指定を通知するイベントである場合は、指定された全頂点を繋げて閉領域になったかどうかを判定(ステップS705)する。ここで、閉領域になった時とは、ユーザにより例えば図5に示すような頂点をA、B、C、D、Aの順に指定し、2回目のAを指定した時である。この判定の結果、閉領域になっていない場合は、次の機会に新たな頂点を指定されることに備え、指定された頂点座標の情報を一時記憶部165に記憶する(ステップS707)。また、ステップS705の判定の結果、閉領域になった場合は、出力制御プログラム163により指定された領域をカメラサーバが実施することになる画像解析領域としてディスプレイ等の出力機器391に表示させる(ステップS706)。なお、ステップS704とステップS706とでは、領域は異なるが処理内容は同じである。   On the other hand, as a result of the determination in step S703, if the input device 381 is operated by the user to notify the designation of the image analysis area, it is determined whether all the designated vertices are connected to form a closed area (step S705). Here, the closed region is when the user designates, for example, vertices as shown in FIG. 5 in the order of A, B, C, D, and A and designates A for the second time. If the result of this determination is that the region is not a closed region, information on the designated vertex coordinates is stored in the temporary storage unit 165 in preparation for a new vertex being designated at the next opportunity (step S707). If the result of determination in step S705 is a closed region, the region specified by the output control program 163 is displayed on the output device 391 such as a display as an image analysis region to be implemented by the camera server (step 705). S706). In step S704 and step S706, the area is different, but the processing content is the same.

一方、ステップS703の判定の結果、設定管理プログラム161からの終了を通知するイベントである場合は、終了フラグをON状態にする(ステップS708)。次に、終了フラグがON状態になっているか否かを判定する(ステップS709)。この判定の結果、終了フラグがON状態でない場合は、ステップS702に戻り、再度イベントが発生するまで待機する。一方、ステップS709の判定の結果、終了フラグがON状態である場合は、処理を終了する。   On the other hand, if the result of determination in step S703 is an event that notifies the end from the setting management program 161, the end flag is set to the ON state (step S708). Next, it is determined whether or not the end flag is in an ON state (step S709). If the result of this determination is that the end flag is not ON, the process returns to step S702 and waits until an event occurs again. On the other hand, as a result of the determination in step S709, if the end flag is ON, the process ends.

図8は、画像解析領域を変更する際の表示例を示す図である。図8(a)は、画像解析領域を変更する前の状態を示しており、マウスなどの入力機器381を用いて、点B(35、26)をドラッグして左に移動させることを示している。
一方、図8(b)は、点Bを座標(34、26)にドロップした後の状態を示しており、点Bを移動させたことによって、3つのブロックが画像解析の対象になったことがわかる。
FIG. 8 is a diagram illustrating a display example when changing the image analysis region. FIG. 8A shows a state before the image analysis area is changed, and shows that the point B (35, 26) is dragged and moved to the left by using the input device 381 such as a mouse. Yes.
On the other hand, FIG. 8B shows a state after the point B is dropped on the coordinates (34, 26). By moving the point B, three blocks are subjected to image analysis. I understand.

このように、クライアント側で自由な形の検知対象領域を指定し、カメラサーバが実施する画像解析領域を表示することにより、ユーザは容易に意図通りの設定を指定することができ、特定事象の誤検知を低減することができる。   In this way, by specifying a free-form detection target area on the client side and displaying an image analysis area implemented by the camera server, the user can easily specify the setting as intended, and the specific event False detection can be reduced.

(第2の実施形態)
以下、本発明の第2の実施形態による画像処理システムについて説明する。本実施形態では、図7のステップS701において取得要求を行う設定情報に画像解析領域決定アルゴリズムが加わっている。なお、その他については、第1の実施形態と同様であるため、説明は省略する。
(Second Embodiment)
The image processing system according to the second embodiment of the present invention will be described below. In the present embodiment, an image analysis region determination algorithm is added to the setting information for which an acquisition request is made in step S701 in FIG. Since the rest is the same as in the first embodiment, description thereof is omitted.

図9は、図7のステップS704及びS706で実施する画像解析領域を表示する処理手順の一例を示すフローチャートである。
まず、受信した第1のカメラサーバ200または第2のカメラサーバ210の設定情報から、カメラサーバの解析領域決定アルゴリズムを判定する(ステップS901)。そして、ステップS901で判定した解析領域決定アルゴリズムと、指定される領域情報とからカメラサーバが実際に画像解析を行う領域を算出する(ステップS902)。この算出処理は解析領域決定アルゴリズム毎に異なるものである。そして、出力制御プログラム163により算出した画像解析領域を表示させ(ステップS903)、処理を終了する。
FIG. 9 is a flowchart illustrating an example of a processing procedure for displaying the image analysis area performed in steps S704 and S706 of FIG.
First, the analysis region determination algorithm of the camera server is determined from the received setting information of the first camera server 200 or the second camera server 210 (step S901). Then, a region where the camera server actually performs image analysis is calculated from the analysis region determination algorithm determined in step S901 and the specified region information (step S902). This calculation process is different for each analysis region determination algorithm. Then, the image analysis area calculated by the output control program 163 is displayed (step S903), and the process is terminated.

このように本実施形態では、カメラサーバによって異なる解析領域決定アルゴリズムを採用している場合でも、設定情報に解析領域決定アルゴリズムを含め、そのアルゴリズムに従った画像解析領域を算出する。これにより、さまざまな種類のカメラサーバの画像解析領域を正しく表示することができる。   As described above, in the present embodiment, even when an analysis region determination algorithm that differs depending on the camera server is adopted, the analysis region determination algorithm is included in the setting information, and an image analysis region according to the algorithm is calculated. Thereby, the image analysis areas of various types of camera servers can be correctly displayed.

(第3の実施形態)
以下、本発明の第3の実施形態における画像処理システムについて説明する。本実施形態では、画像解析粒度に応じた画像解析領域の算出手順について説明する。なお、その他については、第1の実施形態と同様であるため、説明は省略する。
(Third embodiment)
The image processing system according to the third embodiment of the present invention will be described below. In the present embodiment, a procedure for calculating an image analysis area corresponding to the image analysis granularity will be described. Since the rest is the same as in the first embodiment, description thereof is omitted.

図10は、図7のステップS704及びS706で実施する画像解析領域を表示する処理手順の一例を示すフローチャートである。
まず、第1のカメラサーバ200または第2のカメラサーバ210の画像解析粒度とクライアント端末220の画像表示粒度とを比較する(ステップS1001)。なお、画像解析粒度の情報は、設定情報として受信したものとする。例えば、画像解析粒度は40×30で、画像表示粒度は640×480である場合は、画像解析粒度の方が大きい。このように画像解析粒度の方が大きい場合は、カメラサーバの画像解析領域を算出する(ステップS1002)。逆に、画像解析粒度が画像表示粒度以下の場合は、カメラサーバの画像解析粒度と画像表示粒度とを同一、つまりカメラサーバの画像解析領域は撮像画像500上でユーザが指定した領域と同じとみなす(ステップS1003)。そして、出力制御プログラム163により算出した画像解析領域を表示させ(ステップS1004)、処理を終了する。
FIG. 10 is a flowchart illustrating an example of a processing procedure for displaying the image analysis area performed in steps S704 and S706 of FIG.
First, the image analysis granularity of the first camera server 200 or the second camera server 210 is compared with the image display granularity of the client terminal 220 (step S1001). Note that the image analysis granularity information is received as setting information. For example, when the image analysis particle size is 40 × 30 and the image display particle size is 640 × 480, the image analysis particle size is larger. As described above, when the image analysis granularity is larger, the image analysis area of the camera server is calculated (step S1002). Conversely, when the image analysis granularity is equal to or smaller than the image display granularity, the image analysis granularity of the camera server is the same as the image display granularity, that is, the image analysis area of the camera server is the same as the area specified by the user on the captured image 500. Consider (step S1003). Then, the image analysis area calculated by the output control program 163 is displayed (step S1004), and the process ends.

このように、画像解析粒度と画像表示粒度とを比較し、小さい方の粒度に合わせて画像解析領域をユーザに指定させることにより、カメラサーバ及びクライアント端末の処理能力に合わせて、画像解析領域を表示することができる。   In this way, the image analysis granularity is compared with the image display granularity, and the image analysis area is matched with the processing capability of the camera server and the client terminal by allowing the user to specify the image analysis area according to the smaller granularity. Can be displayed.

(第4の実施形態)
以下、本発明の第4の実施形態における画像処理システムについて説明する。本実施形態では、第1の実施形態と比べて解析領域決定プログラム164により実行される処理が異なっており、カメラサーバに画像解析領域を計算させている。なお、その他については、第1の実施形態と同様であるため、説明は省略する。
(Fourth embodiment)
The image processing system according to the fourth embodiment of the present invention will be described below. In the present embodiment, the processing executed by the analysis region determination program 164 is different from that in the first embodiment, and the camera server is caused to calculate the image analysis region. Since the rest is the same as in the first embodiment, description thereof is omitted.

図11は、本実施形態における解析領域決定プログラム164により実行される処理手順の一例を示すフローチャートである。
図11において、ステップS1101〜S1105、S1107はそれぞれ、図7のステップS701〜S705、S707と同様である。
FIG. 11 is a flowchart illustrating an example of a processing procedure executed by the analysis region determination program 164 in the present embodiment.
11, steps S1101 to S1105 and S1107 are the same as steps S701 to S705 and S707 in FIG. 7, respectively.

ステップS1105の判定の結果、閉領域になった場合は、画像指定領域の情報を、設定情報を送信したカメラサーバに送信し、そのカメラサーバに実際に実施する画像解析領域の情報を要求する(ステップ1106)。また、ステップS1103の判定の結果、イベントとして画像解析領域の応答を受信した場合は、出力制御プログラム163により応答に含まれる解析領域リストが示す画像解析領域をディスプレイ等の出力機器391に表示させる(ステップS1108)。なお、ステップS1109及びS1110はそれぞれ、図7のステップS708及びS709である。   If the result of determination in step S1105 is that the region is a closed region, information on the image designation region is transmitted to the camera server that transmitted the setting information, and information on the image analysis region to be actually executed is requested from the camera server ( Step 1106). If the response of the image analysis area is received as an event as a result of the determination in step S1103, the output control program 163 displays the image analysis area indicated by the analysis area list included in the response on the output device 391 such as a display ( Step S1108). Steps S1109 and S1110 are steps S708 and S709 in FIG. 7, respectively.

図12は、本実施形態における解析領域リストの一例を示す図である。なお、本実施形態における第1のカメラサーバ200及び第2のカメラサーバ210の画像解析粒度は40×30であるものとする。そこで、撮像画像を40×30の1200個の領域に分割し、各分割領域に通し番号0から1199を割り振る。
図12においては、撮像画像を1200個のブロックに分割し、図5における閉領域ABCDを指定した場合を示している。図12に示すように、解析領域は番号996、番号1036、番号1037、番号1075、番号1076、番号1077、番号1116、番号1117、番号1118、番号1156、及び番号1157の合計11ブロックが画像解析領域である。この場合、カメラサーバが画像解析領域に対する応答で送信する解析領域リストは、番号996、番号1036、番号1037、番号1075、番号1076、番号1077、番号1116、番号1117、番号1118、番号1156、番号1157の情報となる。
FIG. 12 is a diagram showing an example of the analysis area list in the present embodiment. It is assumed that the image analysis granularity of the first camera server 200 and the second camera server 210 in this embodiment is 40 × 30. Therefore, the captured image is divided into 40 × 30 1200 areas, and serial numbers 0 to 1199 are assigned to the divided areas.
FIG. 12 shows a case where the captured image is divided into 1200 blocks and the closed region ABCD in FIG. 5 is designated. As shown in FIG. 12, the analysis area includes image analysis of a total of 11 blocks of number 996, number 1036, number 1037, number 1075, number 1076, number 1077, number 1116, number 1117, number 1118, number 1156, and number 1157. It is an area. In this case, the analysis area list transmitted by the camera server in response to the image analysis area is number 996, number 1036, number 1037, number 1075, number 1076, number 1077, number 1116, number 1117, number 1118, number 1156, number. 1157 information.

本実施形態では、画像を1200個の領域に分割してそれぞれの位置に通し番号を割り当てたが、座標値をそのまま使用することも可能である。また、解析領域リストは性質上、対象となるブロック領域が連番となることが多いため、開始番号と連続するブロック数とで表現する等、一般的なデータ圧縮技法を適用することも有効である。   In this embodiment, the image is divided into 1200 areas and serial numbers are assigned to the respective positions. However, the coordinate values can be used as they are. In addition, because the analysis area list is often characterized by the sequential number of block areas, it is also effective to apply general data compression techniques such as expressing the start number and the number of consecutive blocks. is there.

このように本実施形態では、クライアント端末220側で第1のカメラサーバ200及び第2のカメラサーバ210の画像解析領域を計算するのではなく、第1のカメラサーバ200及び第2のカメラサーバ210自身に画像解析領域を計算させている。これにより、クライアント端末を変更することなく新しい画像領域決定アルゴリズムを持ったカメラサーバにも対応することができる。   As described above, in this embodiment, instead of calculating the image analysis areas of the first camera server 200 and the second camera server 210 on the client terminal 220 side, the first camera server 200 and the second camera server 210 are calculated. The image analysis area is calculated by itself. Thereby, it is possible to deal with a camera server having a new image area determination algorithm without changing the client terminal.

(第5の実施形態)
以下、本発明の第5の実施形態における画像処理システムについて説明する。
本実施形態では、第1のカメラサーバ200または第2のカメラサーバ210の画像解析粒度がクライアント端末220の画像表示粒度の1/2、つまり画像解析粒度が1280×960、画像表示粒度が640×480の場合について説明する。なお、その他については、第1の実施形態と同様であるため、説明は省略する。
(Fifth embodiment)
Hereinafter, an image processing system according to a fifth embodiment of the present invention will be described.
In this embodiment, the image analysis granularity of the first camera server 200 or the second camera server 210 is ½ of the image display granularity of the client terminal 220, that is, the image analysis granularity is 1280 × 960, and the image display granularity is 640 ×. The case of 480 will be described. Since the rest is the same as in the first embodiment, description thereof is omitted.

図13は、本実施形態におけるクライアント端末220側で、カメラサーバが画像解析処理を行う領域を重畳表示した例を示す図である。
クライアント端末220側では、第1のカメラサーバ200または第2のカメラサーバ210の撮像画像1300を表示する。さらに、ユーザが指定した座標(図13の例では320、200)を頂点の1つとした拡大元画像1301を2倍に広げた拡大画像1302を表示する。このとき、拡大画像1302は第1のカメラサーバ200または第2のカメラサーバ210が画像解析できる単位で表示されているので、ユーザは拡大画像1302上で画像解析領域ABCDEFGHIJKを指定することができる。
FIG. 13 is a diagram illustrating an example in which a region where the camera server performs image analysis processing is superimposed and displayed on the client terminal 220 side in the present embodiment.
On the client terminal 220 side, the captured image 1300 of the first camera server 200 or the second camera server 210 is displayed. Further, an enlarged image 1302 is displayed in which the enlarged original image 1301 having the coordinates designated by the user (320 and 200 in the example of FIG. 13) as one vertex is doubled. At this time, since the enlarged image 1302 is displayed in units that can be analyzed by the first camera server 200 or the second camera server 210, the user can designate the image analysis area ABCDEFGHIJK on the enlarged image 1302.

図14は、本実施形態における解析領域決定プログラム164により実行される処理手順の一例を示すフローチャートである。
図6のステップS601において設定管理プログラム161により解析領域決定プログラム164が起動される。そして、第1のカメラサーバ200または第2のカメラサーバ210に対して現在の画像解析領域、画像解析粒度等を含む設定情報の取得要求を送信する(ステップS1401)。ステップS1402及びS1403はそれぞれ、図7のステップS702及びS703と同様である。
FIG. 14 is a flowchart illustrating an example of a processing procedure executed by the analysis region determination program 164 in the present embodiment.
In step S601 of FIG. 6, the analysis area determination program 164 is activated by the setting management program 161. Then, a setting information acquisition request including the current image analysis region, image analysis granularity, and the like is transmitted to the first camera server 200 or the second camera server 210 (step S1401). Steps S1402 and S1403 are the same as steps S702 and S703 in FIG. 7, respectively.

ステップS1403の判定の結果、設定情報の受信を通知するイベントである場合は、受信した設定情報から現在カメラサーバが画像解析している領域の情報を取得する。そして、受信した設定情報における画面表示粒度に合わせて変換する(ステップS1404)。本実施形態では、粒度の比は1/2なので値を1/2にする。そして、出力制御プログラム163により変換した画像解析領域をディスプレイ等の出力機器391に表示させる(ステップS1405)。この結果、図5に示す撮像画像500を表示することになる。   If the result of determination in step S1403 is an event notifying the reception of setting information, information on the area currently analyzed by the camera server is acquired from the received setting information. Then, conversion is performed according to the screen display granularity in the received setting information (step S1404). In the present embodiment, since the particle size ratio is 1/2, the value is set to 1/2. Then, the image analysis region converted by the output control program 163 is displayed on the output device 391 such as a display (step S1405). As a result, the captured image 500 shown in FIG. 5 is displayed.

一方、ステップS1403の判定の結果、ユーザにより入力機器381が操作されて拡大画像を作成するイベントである場合は、指定座標を頂点とした拡大画像を作成する。そして、出力制御プログラム163により拡大画像をディスプレイ等の出力機器391に表示させる(ステップS1409)。図13に示す例では、指定座標を(320、200)として拡大画像1302を作成し、表示する。そして、指定座標(320、200)を基準座標としてその情報を一時記憶部165に記憶する(ステップS1410)。本実施形態では、画像解析粒度は画像表示粒度の1/2なので、2倍した座標(640、400)を基準座標として記憶する。   On the other hand, if the result of determination in step S1403 is an event in which the user operates the input device 381 to create an enlarged image, an enlarged image with the designated coordinates as a vertex is created. Then, the enlarged image is displayed on the output device 391 such as a display by the output control program 163 (step S1409). In the example shown in FIG. 13, an enlarged image 1302 is created and displayed with the designated coordinates (320, 200). Then, the designated coordinates (320, 200) are stored as reference coordinates in the temporary storage unit 165 (step S1410). In this embodiment, since the image analysis granularity is ½ of the image display granularity, the doubled coordinates (640, 400) are stored as reference coordinates.

また、ステップS1403の判定の結果、ユーザにより入力機器381が操作されて画像解析領域の指定を通知するイベントである場合は、ステップS1406に進む。ステップS1406〜S1408はそれぞれ、図7のステップS705〜S707と同様である。ただし、ステップS1408においては、基準座標を考慮した座標値で記憶する。本実施形態では、拡大画像1302上の点(320、240)の場合、基準座標(640、400)を足した座標(960、640)を指定座標として記憶する。   If it is determined in step S1403 that the input device 381 is operated by the user to notify the designation of the image analysis area, the process advances to step S1406. Steps S1406 to S1408 are the same as steps S705 to S707 in FIG. However, in step S1408, the coordinates are stored in consideration of the reference coordinates. In the present embodiment, in the case of a point (320, 240) on the enlarged image 1302, coordinates (960, 640) obtained by adding the reference coordinates (640, 400) are stored as designated coordinates.

また、ステップS1403の判定の結果、ユーザにより入力機器381が操作され、設定管理プログラム161からの終了を通知するイベントである場合、終了フラグをON状態にする(ステップS1409)。なお、ステップS1412は、図7のステップS709と同様である。   If the input device 381 is operated by the user as a result of the determination in step S1403 and the event is an event for notifying the end from the setting management program 161, the end flag is turned on (step S1409). Note that step S1412 is the same as step S709 in FIG.

このように本実施形態によれば、第1のカメラサーバ200または第2のカメラサーバ210の画像解析粒度が画像表示粒度より小さい場合は、表示領域を拡大し、その領域に対して画像解析領域を指定する。これにより、処理能力の高いカメラサーバにも対応することができる。また、第3の実施形態と組み合わせ、画像解析粒度が画像表示粒度より大きい場合は、画像解析粒度に合わせて画像解析領域を指定するようにしてもよい。   As described above, according to the present embodiment, when the image analysis granularity of the first camera server 200 or the second camera server 210 is smaller than the image display granularity, the display area is enlarged and the image analysis area is compared with the area. Is specified. Thereby, it can respond also to a camera server with high processing capability. In combination with the third embodiment, when the image analysis particle size is larger than the image display particle size, the image analysis region may be designated according to the image analysis particle size.

(その他の実施形態)
また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア(プログラム)を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ(またはCPUやMPU等)がプログラムを読み出して実行する処理である。
(Other embodiments)
The present invention can also be realized by executing the following processing. That is, software (program) that realizes the functions of the above-described embodiments is supplied to a system or apparatus via a network or various storage media, and a computer (or CPU, MPU, or the like) of the system or apparatus reads the program. It is a process to be executed.

160 入力制御プログラム、161 設定管理プログラム、162 受信処理プログラム、163 出力制御プログラム、164 解析領域決定プログラム   160 input control program, 161 setting management program, 162 reception processing program, 163 output control program, 164 analysis area determination program

Claims (9)

監視対象を撮像して画像解析する撮像装置から、前記監視対象を含む画像データを受信する画像処理装置であって、
前記画像データに基づく画像を表示装置に表示する表示制御手段と、
ユーザの操作に応じて、前記表示装置に表示された画像において画像解析領域を指定する指定手段と、
前記指定手段により指定された画像解析領域の情報を前記撮像装置に送信する送信手段と、
前記撮像装置から画像解析領域の情報を含む設定情報を取得する取得手段とを備え、
前記表示制御手段は、前記取得手段によって取得された設定情報に基づいて、前記画像と前記画像解析領域とを重畳して前記表示装置に表示することを特徴とする画像処理装置。
An image processing device that receives image data including the monitoring target from an imaging device that images the monitoring target and analyzes the image,
Display control means for displaying an image based on the image data on a display device;
A designation means for designating an image analysis region in an image displayed on the display device in accordance with a user operation;
Transmitting means for transmitting information of the image analysis area designated by the designation means to the imaging device;
Obtaining means for obtaining setting information including information of an image analysis region from the imaging device;
The image processing apparatus, wherein the display control unit superimposes the image and the image analysis region on the display device based on the setting information acquired by the acquisition unit.
前記取得手段は、さらに前記撮像装置が画像解析する画像解析粒度の情報を取得し、
前記指定手段は、前記撮像装置の画像解析粒度が前記表示制御手段によって表示される際の表示粒度を超える場合は、前記撮像装置の画像解析粒度で前記画像解析領域を指定し、前記撮像装置の画像解析粒度が前記表示制御手段によって表示される際の表示粒度以下の場合は、前記表示粒度で前記画像解析領域を指定することを特徴とする請求項1に記載の画像処理装置。
The acquisition means further acquires image analysis particle size information for image analysis by the imaging device,
If the image analysis granularity of the imaging device exceeds the display granularity when displayed by the display control means, the designation means designates the image analysis region with the image analysis granularity of the imaging device, and 2. The image processing apparatus according to claim 1, wherein when the image analysis granularity is equal to or smaller than the display granularity when displayed by the display control means, the image analysis region is designated by the display granularity.
前記表示制御手段は、前記撮像装置の画像解析粒度が表示粒度以下の場合は前記表示装置に表示されている画像を拡大することを特徴とする請求項2に記載の画像処理装置。   The image processing apparatus according to claim 2, wherein the display control unit enlarges an image displayed on the display device when an image analysis granularity of the imaging device is equal to or smaller than a display granularity. 前記取得手段は、さらに前記画像データにおけるブロックの位置を示す番号のリストを取得することを特徴とする請求項1に記載の画像処理装置。   The image processing apparatus according to claim 1, wherein the acquisition unit further acquires a list of numbers indicating block positions in the image data. 前記指定手段は、前記画像解析領域の頂点を指定することを特徴とする請求項1〜4の何れか1項に記載の画像処理装置。   The image processing apparatus according to claim 1, wherein the specifying unit specifies a vertex of the image analysis region. 前記取得手段は、前記画像解析領域を決定するアルゴリズムの情報をも取得することを特徴とする請求項1に記載の画像処理装置。   The image processing apparatus according to claim 1, wherein the acquisition unit also acquires information on an algorithm for determining the image analysis region. 監視対象を撮像して画像解析する撮像装置と、前記撮像装置から前記監視対象を含む画像データを受信する画像処理装置とがネットワークに接続された画像処理システムであって、
前記撮像装置は、
監視対象を撮像して画像データを生成する撮像手段と、
前記撮像手段によって生成された画像データから前記監視対象の画像解析を行う画像解析手段と、
前記撮像手段によって生成された画像データを送信するとともに、前記画像解析手段によって解析される画像解析領域の情報を含む設定情報を前記画像処理装置に送信する通信手段とを備え、
前記画像解析手段は、前記画像処理装置から前記画像解析領域の情報を受信した場合は、前記受信した画像解析領域に従って画像解析を行い、
前記画像処理装置は、
前記画像データに基づく画像を表示装置に表示する表示制御手段と、
ユーザの操作に応じて、前記表示装置に表示された画像において画像解析領域を指定する指定手段と、
前記指定手段により指定された画像解析領域の情報を前記撮像装置に送信する送信手段と、
前記撮像装置から画像解析領域の情報を含む設定情報を取得する取得手段とを備え、
前記表示制御手段は、前記取得手段によって取得された設定情報に基づいて、前記画像と前記画像解析領域とを重畳して前記表示装置に表示することを特徴とする画像処理システム。
An image processing system in which an imaging device that images a monitoring target and analyzes the image, and an image processing device that receives image data including the monitoring target from the imaging device are connected to a network,
The imaging device
Imaging means for imaging a monitoring target and generating image data;
Image analysis means for performing image analysis of the monitoring target from image data generated by the imaging means;
A communication unit that transmits the image data generated by the imaging unit and transmits setting information including information on an image analysis region analyzed by the image analysis unit to the image processing apparatus;
When the image analysis unit receives the image analysis area information from the image processing device, the image analysis unit performs image analysis according to the received image analysis area,
The image processing apparatus includes:
Display control means for displaying an image based on the image data on a display device;
A designation means for designating an image analysis region in an image displayed on the display device in accordance with a user operation;
Transmitting means for transmitting information of the image analysis area designated by the designation means to the imaging device;
Obtaining means for obtaining setting information including information of an image analysis region from the imaging device;
The image processing system, wherein the display control unit superimposes the image and the image analysis region on the display device based on the setting information acquired by the acquisition unit.
監視対象を撮像して画像解析する撮像装置から、前記監視対象を含む画像データを受信する画像処理方法であって、
前記画像データに基づく画像を表示装置に表示する表示制御工程と、
ユーザの操作に応じて、前記表示装置に表示された画像において画像解析領域を指定する指定工程と、
前記指定工程において指定された画像解析領域の情報を前記撮像装置に送信する送信工程と、
前記撮像装置から画像解析領域の情報を含む設定情報を取得する取得工程とを備え、
前記表示制御工程においては、前記取得工程において取得された設定情報に基づいて、前記画像と前記画像解析領域とを重畳して前記表示装置に表示することを特徴とする画像処理方法。
An image processing method for receiving image data including the monitoring target from an imaging device that images the monitoring target and analyzes the image,
A display control step of displaying an image based on the image data on a display device;
A designation step of designating an image analysis region in an image displayed on the display device in accordance with a user operation;
A transmission step of transmitting information of the image analysis region designated in the designation step to the imaging device;
An acquisition step of acquiring setting information including information of an image analysis region from the imaging device,
In the display control step, based on the setting information acquired in the acquisition step, the image and the image analysis region are superimposed and displayed on the display device.
監視対象を撮像して画像解析する撮像装置から、前記監視対象を含む画像データを受信する画像処理装置を制御するためのプログラムであって、
前記画像データに基づく画像を表示装置に表示する表示制御工程と、
ユーザの操作に応じて、前記表示装置に表示された画像において画像解析領域を指定する指定工程と、
前記指定工程において指定された画像解析領域の情報を前記撮像装置に送信する送信工程と、
前記撮像装置から画像解析領域の情報を含む設定情報を取得する取得工程とをコンピュータに実行させ、
前記表示制御工程においては、前記取得工程において取得された設定情報に基づいて、前記画像と前記画像解析領域とを重畳して前記表示装置に表示することを特徴とするプログラム。
A program for controlling an image processing device that receives image data including the monitoring target from an imaging device that images the monitoring target and analyzes the image,
A display control step of displaying an image based on the image data on a display device;
A designation step of designating an image analysis region in an image displayed on the display device in accordance with a user operation;
A transmission step of transmitting information of the image analysis region designated in the designation step to the imaging device;
An acquisition step of acquiring setting information including information on an image analysis region from the imaging device is executed by a computer,
In the display control step, the image and the image analysis region are superimposed and displayed on the display device based on the setting information acquired in the acquisition step.
JP2010146097A 2010-06-28 2010-06-28 Image processing apparatus, image processing system, and image processing method Active JP5697369B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2010146097A JP5697369B2 (en) 2010-06-28 2010-06-28 Image processing apparatus, image processing system, and image processing method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2010146097A JP5697369B2 (en) 2010-06-28 2010-06-28 Image processing apparatus, image processing system, and image processing method

Publications (2)

Publication Number Publication Date
JP2012010233A true JP2012010233A (en) 2012-01-12
JP5697369B2 JP5697369B2 (en) 2015-04-08

Family

ID=45540241

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2010146097A Active JP5697369B2 (en) 2010-06-28 2010-06-28 Image processing apparatus, image processing system, and image processing method

Country Status (1)

Country Link
JP (1) JP5697369B2 (en)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103065519A (en) * 2012-12-28 2013-04-24 苏州苏迪智能系统有限公司 Detecting system of ramp fixed point stopping and starting and detecting method of ramp fixed point stopping and starting
CN103065520A (en) * 2012-12-28 2013-04-24 苏州苏迪智能系统有限公司 Detection system for backing car into storage and detection method thereof
JP2014236312A (en) * 2013-05-31 2014-12-15 キヤノン株式会社 Setting device and setting method
CN109413346A (en) * 2012-05-23 2019-03-01 杭州阿尔法红外检测技术有限公司 Thermal imagery camera and thermal imagery method for imaging

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000099705A (en) * 1998-09-25 2000-04-07 Hitachi Ltd Image processing system
JP2004248089A (en) * 2003-02-14 2004-09-02 Canon Inc Image change detection system
JP2004304556A (en) * 2003-03-31 2004-10-28 Toshiba Corp Imaging device, system for the same, and imaging method
JP2005051664A (en) * 2003-07-31 2005-02-24 Toshiba Corp Imaging apparatus and imaging method
JP2005128999A (en) * 2003-05-16 2005-05-19 Hitachi Kokusai Electric Inc Change detecting apparatus
JP2007531934A (en) * 2004-03-26 2007-11-08 イーストマン コダック カンパニー Discrimination of important areas in images
JP2010028608A (en) * 2008-07-23 2010-02-04 Sanyo Electric Co Ltd Image processor, image sensing device, reproducer and method for processing image

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000099705A (en) * 1998-09-25 2000-04-07 Hitachi Ltd Image processing system
JP2004248089A (en) * 2003-02-14 2004-09-02 Canon Inc Image change detection system
JP2004304556A (en) * 2003-03-31 2004-10-28 Toshiba Corp Imaging device, system for the same, and imaging method
JP2005128999A (en) * 2003-05-16 2005-05-19 Hitachi Kokusai Electric Inc Change detecting apparatus
JP2005051664A (en) * 2003-07-31 2005-02-24 Toshiba Corp Imaging apparatus and imaging method
JP2007531934A (en) * 2004-03-26 2007-11-08 イーストマン コダック カンパニー Discrimination of important areas in images
JP2010028608A (en) * 2008-07-23 2010-02-04 Sanyo Electric Co Ltd Image processor, image sensing device, reproducer and method for processing image

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109413346A (en) * 2012-05-23 2019-03-01 杭州阿尔法红外检测技术有限公司 Thermal imagery camera and thermal imagery method for imaging
CN109413346B (en) * 2012-05-23 2021-01-26 杭州阿尔法红外检测技术有限公司 Thermal image photographing device and thermal image photographing method
CN103065519A (en) * 2012-12-28 2013-04-24 苏州苏迪智能系统有限公司 Detecting system of ramp fixed point stopping and starting and detecting method of ramp fixed point stopping and starting
CN103065520A (en) * 2012-12-28 2013-04-24 苏州苏迪智能系统有限公司 Detection system for backing car into storage and detection method thereof
JP2014236312A (en) * 2013-05-31 2014-12-15 キヤノン株式会社 Setting device and setting method

Also Published As

Publication number Publication date
JP5697369B2 (en) 2015-04-08

Similar Documents

Publication Publication Date Title
JP6957215B2 (en) Information processing equipment, information processing methods and programs
CN106454065B (en) Information processing apparatus and control method thereof
JP5523027B2 (en) Information transmitting apparatus and information transmitting method
JP7023696B2 (en) Information processing equipment, information processing methods and programs
JP2020014159A (en) File generation device and video generation device on the basis of file
CN108063879A (en) Remote support system and its control method support device, information processing unit and medium
JP2019191989A (en) System for, method of, and program for generating virtual viewpoint image
WO2011145539A1 (en) Multiple-site drawn-image sharing apparatus, multiple-site drawn-image sharing system, method executed by multiple-site drawn-image sharing apparatus, program, and recording medium
JP5697369B2 (en) Image processing apparatus, image processing system, and image processing method
CN110557607B (en) Image processing apparatus, information processing method, and recording medium
KR20220007172A (en) Image synchronization method and device, device, computer storage medium
WO2015165023A1 (en) Screen sharing method, device and system
EP3156895A1 (en) Image processing apparatus and image processing system
JP2015197846A (en) Monitoring system for printer and control method of the same, and program
JP7208713B2 (en) Image analysis device and image analysis method
JP6261191B2 (en) Display control apparatus, display control method, and program
CN107423187A (en) A kind of screen monitor method, apparatus and system
JP7328849B2 (en) IMAGING DEVICE, SYSTEM, CONTROL METHOD OF IMAGING DEVICE, AND PROGRAM
CN113168706A (en) Object position determination in frames of a video stream
JP7073120B2 (en) Video transmitters, information processing devices, systems, information processing methods and programs
CN114339071A (en) Image processing circuit, image processing method and electronic device
JP2012220840A (en) Image display device and image display method
JP6362090B2 (en) How to display the preset position of the network camera
KR102608208B1 (en) Method, device and system for providing streaming service with improved visibility of image of interest
JP2014174643A (en) Image processing system, control method therefor, image processing device, and image processing method

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20130627

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20140318

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20140415

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20140616

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20140729

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20140925

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20150113

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20150210

R151 Written notification of patent or utility model registration

Ref document number: 5697369

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151