JP2021057835A - Imaging apparatus, control method thereof, and program - Google Patents

Imaging apparatus, control method thereof, and program Download PDF

Info

Publication number
JP2021057835A
JP2021057835A JP2019180967A JP2019180967A JP2021057835A JP 2021057835 A JP2021057835 A JP 2021057835A JP 2019180967 A JP2019180967 A JP 2019180967A JP 2019180967 A JP2019180967 A JP 2019180967A JP 2021057835 A JP2021057835 A JP 2021057835A
Authority
JP
Japan
Prior art keywords
imaging
sensor
image pickup
sensor device
person
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2019180967A
Other languages
Japanese (ja)
Other versions
JP7374692B2 (en
Inventor
敬介 松岡
Keisuke Matsuoka
敬介 松岡
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Priority to JP2019180967A priority Critical patent/JP7374692B2/en
Publication of JP2021057835A publication Critical patent/JP2021057835A/en
Application granted granted Critical
Publication of JP7374692B2 publication Critical patent/JP7374692B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Accessories Of Cameras (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Studio Devices (AREA)

Abstract

To provide a mechanism which can determine at least one of an imaging direction of imaging means to be associated with a sensor device and a zoom value without adding special control to the sensor device.SOLUTION: An imaging apparatus executes processing of acquiring predetermined information from a sensor device, and processing of identifying a position of a person included in image data which is obtained by a network camera which captures an image. The apparatus determines at least one of an imaging direction of the network camera to be associated with the sensor device and a zoom value, by use of the position information of the person identified after acquiring the predetermined information. The determined imaging direction of the network camera or the zoom value is then registered in association with the information of the sensor device.SELECTED DRAWING: Figure 3

Description

本発明は、撮像装置、撮像装置の制御方法、およびプログラムに関する。 The present invention relates to an image pickup apparatus, a control method for the image pickup apparatus, and a program.

IoT(Internet of Things)が普及するにつれて、センシング機能を有した無線通信機器(以降、センサデバイス)からセンサデータを収集するようなネットワークが構築されるようになってきた。IoT向けの無線通信規格としては、Z−WaveやZigBeeが存在し、用途に応じて使い分けられる(Z−Wave、およびZigBeeは登録商標)。 As IoT (Internet of Things) has become widespread, networks have been constructed that collect sensor data from wireless communication devices (hereinafter referred to as sensor devices) having a sensing function. There are Z-Wave and ZigBee as wireless communication standards for IoT, and they are used properly according to the application (Z-Wave and ZigBee are registered trademarks).

また、近年、ビルや工場といった設備室で、カメラと複数のセンサデバイスを設置し、カメラでセンサデータを収集して空間内を監視するような需要が増えてきている。 Further, in recent years, there is an increasing demand for installing a camera and a plurality of sensor devices in an equipment room such as a building or a factory, collecting sensor data with the camera, and monitoring the space.

センサデバイスが出力するセンサデータの異変値を検知した時に、そのセンサデバイスの設置位置周辺をカメラで撮影することで、管理者は、遠隔地より現場を視認でき、その結果、省人化や作業効率化につながると期待されている。 When an abnormal value of the sensor data output by the sensor device is detected, the administrator can visually recognize the site from a remote location by taking a picture of the area around the installation position of the sensor device, resulting in labor saving and work. It is expected to lead to efficiency.

センサデバイスの設置位置周辺を撮影するためには、カメラから見たセンサデバイスの設置位置を予め登録しておく必要がある。しかし、カメラの映像を見ながら手動で各センサデバイスの設置位置を登録する方法では、ユーザの作業負担が大きい。特に、センサデバイスの数が増えるに従い負担が増大する。そのため、センサデバイスの設置位置を簡易的に特定し登録する方法が求められている。 In order to photograph the area around the sensor device installation position, it is necessary to register the sensor device installation position as seen from the camera in advance. However, the method of manually registering the installation position of each sensor device while watching the image of the camera puts a heavy work load on the user. In particular, the burden increases as the number of sensor devices increases. Therefore, there is a demand for a method of simply identifying and registering the installation position of the sensor device.

特許文献1には、各センサデバイスにLED等の発光装置を取り付けた上で、起動時に発光するように制御する。そして、センサデバイスが起動したことをPC経由でカメラに伝え、発光箇所を撮影することで、センサデバイスの設置位置を特定することが開示されている。 In Patent Document 1, a light emitting device such as an LED is attached to each sensor device, and the sensor device is controlled so as to emit light at startup. Then, it is disclosed that the installation position of the sensor device is specified by notifying the camera via the PC that the sensor device has been activated and photographing the light emitting portion.

特開2007−223619号公報Japanese Unexamined Patent Publication No. 2007-223619

しかしながら、特許文献1に記載の技術を用いる場合、発光装置を有しないセンサデバイスについてはLED等の発光装置を取り付け、起動信号と連動して発光装置を発光させる制御が必要である。そのため、センサデバイスに対して改造が必要であり、手間がかかるという課題があった。 However, when the technique described in Patent Document 1 is used, it is necessary to attach a light emitting device such as an LED to a sensor device that does not have a light emitting device and control the light emitting device to emit light in conjunction with an activation signal. Therefore, there is a problem that the sensor device needs to be modified and it takes time and effort.

本発明は、センサデバイスに特別な制御を加えることなく、センサデバイスに対応づける撮像手段の撮像方向、またはズーム値の少なくともいずれか一方を決定可能な仕組みを提供することを目的とする。 An object of the present invention is to provide a mechanism capable of determining at least one of the imaging direction and the zoom value of the imaging means associated with the sensor device without applying special control to the sensor device.

本発明は、センサデバイスと接続可能な撮像装置であって、撮像手段と、前記センサデバイスから、所定の情報を取得する取得手段と、前記撮像手段により撮像することで得られる画像データに映る人物の位置を特定する特定手段と、前記取得手段により前記所定の情報を取得した後に前記特定手段により特定した人物の位置の情報を用いて、前記センサデバイスに対応づける前記撮像手段の撮像方向、またはズーム値の少なくともいずれか一方を決定する決定手段と、前記決定手段により決定された前記撮像手段の撮像方向、またはズーム値を前記センサデバイスの情報と対応づけて登録する登録手段とを備えることを特徴とする。 The present invention is an imaging device that can be connected to a sensor device, that is, an imaging means, an acquisition means that acquires predetermined information from the sensor device, and a person reflected in image data obtained by imaging with the imaging means. Using the specific means for specifying the position of the sensor and the information on the position of the person specified by the specific means after acquiring the predetermined information by the acquisition means, the imaging direction of the imaging means associated with the sensor device, or It is provided with a determination means for determining at least one of the zoom values and a registration means for registering the imaging direction of the imaging means determined by the determination means or the zoom value in association with the information of the sensor device. It is a feature.

本発明によれば、センサデバイスに特別な制御を加えることなく、センサデバイスに対応づける撮像手段の撮像方向、またはズーム値の少なくともいずれか一方を決定することができる。 According to the present invention, it is possible to determine at least one of the imaging direction and the zoom value of the imaging means associated with the sensor device without applying special control to the sensor device.

本発明の一実施形態におけるシステム構成図System configuration diagram in one embodiment of the present invention 本発明の一実施形態における機能ブロック図Functional block diagram in one embodiment of the present invention 本発明の一実施形態における処理の流れを示すフローチャートFlow chart showing the flow of processing in one embodiment of the present invention 本発明の一実施形態における登録要求時の操作を示す図The figure which shows the operation at the time of registration request in one Embodiment of this invention. 本発明の一実施形態におけるセンサの位置情報を管理するテーブルの一例を示す図The figure which shows an example of the table which manages the position information of a sensor in one Embodiment of this invention. 本発明の一実施形態における処理の流れを示すフローチャートFlow chart showing the flow of processing in one embodiment of the present invention 本発明の一実施形態におけるユーザ選択処理時の選択画面を示す図The figure which shows the selection screen at the time of the user selection process in one Embodiment of this invention. 本発明の一実施形態における処理の流れを示すフローチャートFlow chart showing the flow of processing in one embodiment of the present invention 本発明の一実施形態における補正処理時の画面を示す図The figure which shows the screen at the time of the correction processing in one Embodiment of this invention. 本発明の一実施形態における処理の流れを示すフローチャートFlow chart showing the flow of processing in one embodiment of the present invention 本発明の一実施形態におけるセンサの移動を監視する処理の概念図Conceptual diagram of the process of monitoring the movement of the sensor in one embodiment of the present invention. 各実施形態の各機能を実現するためのハードウェア構成を示す図The figure which shows the hardware configuration for realizing each function of each embodiment.

以下、本発明の実施形態について、図面を参照しながら説明する。尚、以下の実施形態は特許請求の範囲に関る本発明を限定するものではなく、また、本実施形態で説明されている特徴の組み合わせの全てが本発明の解決手段に必須のものとは限らない。なお、同一な構成については、同じ符号を付して説明する。 Hereinafter, embodiments of the present invention will be described with reference to the drawings. It should be noted that the following embodiments do not limit the present invention in terms of claims, and that all combinations of features described in the present embodiment are essential for the means for solving the present invention. Not exclusively. The same configuration will be described with the same reference numerals.

(実施形態1)
図1は、本実施形態におけるシステム構成の一例を示す図である。システム構成は主にネットワークカメラ101、クライアント装置102、センサデバイス103を含み、ネットワーク104と無線ネットワーク105によって構成される。
(Embodiment 1)
FIG. 1 is a diagram showing an example of a system configuration according to the present embodiment. The system configuration mainly includes a network camera 101, a client device 102, and a sensor device 103, and is composed of a network 104 and a wireless network 105.

ネットワークカメラ101は、有線または無線のネットワークを介して、映像配信や、外部装置からのネットワークカメラ101の制御が可能である。また、ネットワークカメラ101は、無線ネットワーク105を介してセンサデバイス103と接続可能である。 The network camera 101 can distribute video and control the network camera 101 from an external device via a wired or wireless network. Further, the network camera 101 can be connected to the sensor device 103 via the wireless network 105.

クライアント装置102は、ネットワーク104を介してネットワークカメラ101と接続されており、ブラウザによってネットワークカメラ101の情報の出力や、ネットワークカメラ101の制御を行う。 The client device 102 is connected to the network camera 101 via the network 104, and outputs information on the network camera 101 and controls the network camera 101 by a browser.

センサデバイス103は、無線ネットワーク105を介してネットワークカメラ101と接続される。センサデバイス103は、無線通信規格で規定されたプロファイルを使用して、温度や湿度といった数値データ、もしくはデバイスを制御するためのON、OFFの情報などの送受信が可能である。尚、センサデバイス103は、1台に限らず、複数台設置されていても良い。 The sensor device 103 is connected to the network camera 101 via the wireless network 105. The sensor device 103 can send and receive numerical data such as temperature and humidity, ON / OFF information for controlling the device, and the like by using a profile defined by a wireless communication standard. The number of sensor devices 103 is not limited to one, and a plurality of sensor devices 103 may be installed.

ネットワーク104は、ネットワークカメラ101によって撮影された映像を外部の録画サーバーなどへ配信するためのネットワークである。本実施例において、ネットワーク104の通信形態は有線LANとするが、無線LANであってもよい。 The network 104 is a network for distributing the video captured by the network camera 101 to an external recording server or the like. In this embodiment, the communication mode of the network 104 is a wired LAN, but it may be a wireless LAN.

無線ネットワーク105は、Z−Wave、Zigbee等の無線通信規格に則って、ネットワークカメラ101とセンサデバイス103の相互通信を可能にする。相互通信を行うためには、ネットワークカメラ101とセンサデバイス103の間で、事前に機器の登録処理(ペアリング)を行う必要がある。登録処理は、ネットワークカメラ101側で、センサデバイス103の登録を要請する通信メッセージ(以降、登録要求)を受けとることで開始される。 The wireless network 105 enables mutual communication between the network camera 101 and the sensor device 103 in accordance with wireless communication standards such as Z-Wave and Zigbee. In order to perform mutual communication, it is necessary to perform device registration processing (pairing) in advance between the network camera 101 and the sensor device 103. The registration process is started by receiving a communication message (hereinafter, registration request) requesting registration of the sensor device 103 on the network camera 101 side.

図2は、本実施形態におけるネットワークカメラ101及びクライアント装置102の機能構成の一例を示すブロック図である。 FIG. 2 is a block diagram showing an example of the functional configuration of the network camera 101 and the client device 102 in the present embodiment.

ネットワークカメラ101は、撮像部201、画像処理部202、システム制御部203、パン・チルト・ズーム制御部204、画像解析部205、記憶部206、無線通信処理部207、有線通信処理部208を備える。以下、ネットワークカメラ101が備える各機能部について説明する。 The network camera 101 includes an imaging unit 201, an image processing unit 202, a system control unit 203, a pan / tilt / zoom control unit 204, an image analysis unit 205, a storage unit 206, a wireless communication processing unit 207, and a wired communication processing unit 208. .. Hereinafter, each functional unit included in the network camera 101 will be described.

撮像部201は、レンズ及び撮像素子から構成され、被写体の撮像及び電気信号への変換を行う。 The image pickup unit 201 is composed of a lens and an image pickup element, and takes an image of a subject and converts it into an electric signal.

画像処理部202は、撮像部201によって変換された電気信号に画像処理、圧縮符号化処理を行い、画像データを生成し、システム制御部203へ伝達する。 The image processing unit 202 performs image processing and compression coding processing on the electric signal converted by the image pickup unit 201 to generate image data and transmit it to the system control unit 203.

システム制御部203は、有線通信処理部208を介して、生成された画像データをクライアント装置102に配信する。また、有線通信処理部208を介して伝達されたカメラ制御コマンドを解析し、コマンドに応じた処理を行う。例えば、画像処理部202に対して画質調整の設定や、パン・チルト・ズーム制御部204に対してパン・チルト・ズーム動作の設定といった撮影パラメータ設定の指示を行う。更に、カメラ内部パラメータの変化を検知し、検知動作をイベントトリガーとした処理を行う。 The system control unit 203 distributes the generated image data to the client device 102 via the wired communication processing unit 208. In addition, the camera control command transmitted via the wired communication processing unit 208 is analyzed, and processing is performed according to the command. For example, the image processing unit 202 is instructed to set image quality adjustment, and the pan / tilt / zoom control unit 204 is instructed to set shooting parameters such as pan / tilt / zoom operation settings. Further, the change in the internal parameters of the camera is detected, and the detection operation is used as an event trigger for processing.

また、システム制御部203は、センサデバイス103が出力するセンサデータが異変値を示した場合、後述する管理テーブル503に従い、センサデバイス103に対応する位置にカメラの撮像方向を変更するようパン・チルト・ズーム制御部204に指示する。すなわち、システム制御部203は、カメラの撮像方向に関する撮像制御を行う。 Further, when the sensor data output by the sensor device 103 shows an abnormal value, the system control unit 203 pan / tilts so as to change the imaging direction of the camera to a position corresponding to the sensor device 103 according to the management table 503 described later. -Instruct the zoom control unit 204. That is, the system control unit 203 controls the imaging with respect to the imaging direction of the camera.

パン・チルト・ズーム制御部204は、システム制御部203から伝達された指示信号に基づいて、非図示のパン駆動部、チルト駆動部、及びズーム駆動部を制御する。また、非図示のパン駆動部、チルト駆動部、ズーム駆動部のデバイス情報を解析し、パン角、チルト角、ズーム角を取得できる。 The pan / tilt / zoom control unit 204 controls the pan drive unit, the tilt drive unit, and the zoom drive unit (not shown) based on the instruction signal transmitted from the system control unit 203. In addition, the device information of the pan drive unit, tilt drive unit, and zoom drive unit (not shown) can be analyzed to obtain the pan angle, tilt angle, and zoom angle.

画像解析部205は、人体検出、動体検知、置き去り検知等の画像解析を行う処理部である。また検出した人を追尾する人体追尾機能も備える。人体検出は、例えば、人の頭部から両肩にかけての外形を特徴量として人体を検出する機能である。また、置き去り検知は、例えば動体として検知された物体が、所定時間以上静止した場合に、物体が置き去られたと検知する機能である。 The image analysis unit 205 is a processing unit that performs image analysis such as human body detection, motion detection, and abandonment detection. It also has a human body tracking function that tracks the detected person. The human body detection is, for example, a function of detecting the human body using the outer shape from the human head to both shoulders as a feature amount. Further, the abandonment detection is a function of detecting that an object has been left behind, for example, when an object detected as a moving object has stopped for a predetermined time or longer.

記憶部206は、画質調整のパラメータやネットワークの設定値に加え、無線通信に必要なセンサデバイスの識別IDの情報を記憶し、再起動した場合でも以前設定した値を参照することが可能である。また、センサデバイスの設置位置を登録した管理テーブル、及び参照先の各種データ等も記憶する。 The storage unit 206 stores information on the identification ID of the sensor device required for wireless communication in addition to the image quality adjustment parameters and network setting values, and can refer to the previously set values even when the device is restarted. .. In addition, the management table in which the installation position of the sensor device is registered, various data of the reference destination, and the like are also stored.

無線通信処理部207は、無線ネットワーク105を介して、センサデバイス103との間で無線通信の処理を行う。また、センサデバイス103を無線ネットワークに参加させるための登録処理を行う。 The wireless communication processing unit 207 processes wireless communication with the sensor device 103 via the wireless network 105. In addition, a registration process for joining the sensor device 103 to the wireless network is performed.

有線通信処理部208は、有線LANまたは無線LANによるネットワーク104を介して、クライアント装置102との間で、ネットワーク通信の処理を行う。 The wired communication processing unit 208 processes network communication with the client device 102 via the network 104 by the wired LAN or the wireless LAN.

クライアント装置102は、表示部211、入力部212、システム制御部213、通信部214、記憶部215を備える。以下、クライアント装置102が備える各機能部について説明する。 The client device 102 includes a display unit 211, an input unit 212, a system control unit 213, a communication unit 214, and a storage unit 215. Hereinafter, each functional unit included in the client device 102 will be described.

表示部211は、液晶表示装置等であり、通信部214を介して、ネットワークカメラ101から受信した画像データの表示や、ユーザに操作を促す特定の操作画面を表示する。また、ネットワークカメラ101のカメラ制御を行うためのグラフィカルユーザインターフェース(以下、GUI)等を表示する。カメラ制御とは、例えばネットワークカメラ101のズーム率の設定、パン・チルト方向の変更、あるいは無線通信に関する各種設定などである。 The display unit 211 is a liquid crystal display device or the like, and displays image data received from the network camera 101 or a specific operation screen prompting the user to operate the image data via the communication unit 214. In addition, a graphical user interface (hereinafter referred to as GUI) for controlling the camera of the network camera 101 is displayed. The camera control includes, for example, setting the zoom ratio of the network camera 101, changing the pan / tilt direction, and various settings related to wireless communication.

入力部212は、キーボード、マウス等のポインティング・デバイス等であり、クライアント装置102のユーザは、入力部212を介してGUIを操作する。 The input unit 212 is a pointing device such as a keyboard and a mouse, and the user of the client device 102 operates the GUI via the input unit 212.

システム制御部213は、ユーザからの操作に応じて、通信部214を介しカメラに設定された各種情報を要求したり、あるいはGUIから入力した制御コマンドをネットワークカメラ101へ送信したりする。 The system control unit 213 requests various information set in the camera via the communication unit 214, or transmits a control command input from the GUI to the network camera 101 in response to an operation from the user.

記憶部215は、カメラのIPアドレスなどの情報やネットワークの設定といった設定値を記憶し、再起動した場合でも以前設定した値を参照することが可能である。 The storage unit 215 stores information such as the IP address of the camera and set values such as network settings, and can refer to the previously set values even when the device is restarted.

次に図3に示すフローチャートを用いて、本実施例全体の処理の流れを説明する。尚、以降の説明において、簡易表現の都合上、センサと表現した場合には、特に言及しない限り、センサデバイス103を指すものとする。 Next, the flow of processing in the entire embodiment will be described with reference to the flowchart shown in FIG. In the following description, for convenience of simple expression, the term sensor refers to the sensor device 103 unless otherwise specified.

ステップS301において、ネットワークカメラ101に対するユーザからの所定のGUI操作をトリガとして、システム制御部203が無線通信処理部207と連携し、ネットワークカメラ101を、センサからの登録要求を取得可能な状態へと移行する。 In step S301, the system control unit 203 cooperates with the wireless communication processing unit 207 by triggering a predetermined GUI operation from the user on the network camera 101, and the network camera 101 is brought into a state where the registration request from the sensor can be acquired. Transition.

ここで、センサから登録要求を発行する際のユーザの操作例について、図4を用いて説明する。センサから登録要求を発行するためには、通常、センサに対してユーザが所定のUI操作を行う必要がある。 Here, an operation example of the user when issuing a registration request from the sensor will be described with reference to FIG. In order to issue a registration request from the sensor, it is usually necessary for the user to perform a predetermined UI operation on the sensor.

図4ではボタン401がユーザにより押下されることで、センサから登録要求を発行することを示すが、それに限らない。所定スイッチの入力操作、あるいは手をかざすジェスチャ操作等、センサの仕様に沿ったユーザ操作であればよい。 FIG. 4 shows that the sensor issues a registration request when the button 401 is pressed by the user, but the present invention is not limited to this. Any user operation that conforms to the specifications of the sensor, such as an input operation of a predetermined switch or a gesture operation of holding a hand, may be used.

このように、センサから登録要求を発行するためには、手動操作が必要になる。即ち、センサの付近には人物が存在することになる。 In this way, a manual operation is required to issue a registration request from the sensor. That is, there is a person in the vicinity of the sensor.

ステップS302において、システム制御部203は、センサからの登録要求を取得できたかを判断する。 In step S302, the system control unit 203 determines whether or not the registration request from the sensor has been acquired.

システム制御部203は、センサからの登録要求を取得できた場合(ステップS302でYES)には、ステップS303へ進む。システム制御部203は、センサからの登録要求を取得できていない場合(ステップS302でNO)には、ステップS310へ進む。 If the system control unit 203 can acquire the registration request from the sensor (YES in step S302), the system control unit 203 proceeds to step S303. If the system control unit 203 has not acquired the registration request from the sensor (NO in step S302), the system control unit 203 proceeds to step S310.

なお、本実施例では、センサからの登録要求の取得を条件として、ステップS303以降の処理を実行するが、センサからの登録要求に限らずとも良い。ステップS303以降の処理を実行する条件となる所定の情報を、センサと、ネットワークカメラ101との間で、予め決定しておけば、例えば、センサからの通信開始を示す情報や、センサが起動したことを示す情報でも良い。 In this embodiment, the processes after step S303 are executed on condition that the registration request is obtained from the sensor, but the registration request may not be limited to the sensor. If predetermined information that is a condition for executing the processing after step S303 is determined in advance between the sensor and the network camera 101, for example, information indicating the start of communication from the sensor or the sensor is activated. Information indicating that may be used.

ステップS303において、システム制御部203は、画像解析部205を介して、画像処理部202で生成された画像データに対し、人体検出を実行することで、人物を探索する。 In step S303, the system control unit 203 searches for a person by executing human body detection on the image data generated by the image processing unit 202 via the image analysis unit 205.

ステップS304において、システム制御部203は、人体検出を実行することにより、画像データ内で人物の位置を特定できたかを判断する。システム制御部203は、人物の位置を特定できた場合(ステップS304でYES)には、ステップS305へ進む。システム制御部203は、人物の位置を特定できていない場合(ステップS304でNO)には、ステップS306へ進む。 In step S304, the system control unit 203 determines whether or not the position of the person can be specified in the image data by executing the human body detection. If the system control unit 203 can specify the position of the person (YES in step S304), the system control unit 203 proceeds to step S305. If the system control unit 203 cannot specify the position of the person (NO in step S304), the system control unit 203 proceeds to step S306.

ステップS305において、システム制御部203は、検出した人物毎に、その人物の位置情報と、その人物を検出時のカメラ映像のスナップショット(以降、画像データ)とを記憶部206に記憶する。位置情報とは、カメラの駆動位置であり、例えば、パン・チルト・ズーム値で表される。本実施例では、システム制御部203は、センサに対して位置情報を紐づけて管理する管理テーブルにデータを登録する。管理テーブルは図5で後述する。 In step S305, the system control unit 203 stores the position information of the person and the snapshot (hereinafter, image data) of the camera image at the time of detecting the person in the storage unit 206 for each detected person. The position information is a drive position of the camera, and is represented by, for example, a pan / tilt / zoom value. In this embodiment, the system control unit 203 registers the data in the management table that manages the sensor by associating the position information with the sensor. The management table will be described later in FIG.

ステップS306において、システム制御部203は、パン・チルト・ズーム制御部204を介して、所定のパン・チルト駆動(PT駆動)を行って人物の探索を継続するか否かを判断する。 In step S306, the system control unit 203 determines whether or not to continue the search for the person by performing a predetermined pan / tilt drive (PT drive) via the pan / tilt / zoom control unit 204.

人物の探索の継続条件は、検出した人物がセンサの設置者と識別できるか否かであり、識別できれば探索を終了し、識別できなければPT駆動範囲内で予め設定した駆動方向へ所定量を駆動し、探索を継続する。 The condition for continuing the search for a person is whether or not the detected person can be identified as the installer of the sensor. If it can be identified, the search is terminated, and if it cannot be identified, a predetermined amount is applied in a preset drive direction within the PT drive range. Drive and continue exploration.

本実施例では、センサの設置者の識別手段として、事前に登録した識別情報を、撮影時に検出する手段を想定する。例えば、手を挙げる等のジェスチャ操作を登録し、その操作をする人物を検出する、あるいは設置者の顔を事前に登録し、その顔を検出する等によりセンサの設置者を識別する。このように、設置者の識別情報を事前に登録して、それらを検出することで、探索を完了するまでの時間を削減することが可能になる。 In this embodiment, as the identification means of the sensor installer, a means for detecting the identification information registered in advance at the time of photographing is assumed. For example, a gesture operation such as raising a hand is registered to detect a person who performs the operation, or a face of the installer is registered in advance and the face is detected to identify the installer of the sensor. In this way, by registering the identification information of the installer in advance and detecting them, it is possible to reduce the time required to complete the search.

システム制御部203は、探索を継続する場合(ステップS306でYES)には、ステップS303に戻る。システム制御部203は、探索を継続しない場合(ステップS306でNO)には、ステップS307へ進む。 When the system control unit 203 continues the search (YES in step S306), the system control unit 203 returns to step S303. If the system control unit 203 does not continue the search (NO in step S306), the system control unit 203 proceeds to step S307.

ステップS307において、システム制御部203は、センサに対応して人物の位置を一つに決定できたか否かを判断する。すなわち、ステップS307では、システム制御部203は、センサに対応する位置を決定できたかを判断する。センサに対応する位置は、当該センサでイベントを検知したときに、パン・チルト・ズーム制御部204が、パン・チルト・ズームする値を示す。 In step S307, the system control unit 203 determines whether or not the position of the person can be determined as one in response to the sensor. That is, in step S307, the system control unit 203 determines whether or not the position corresponding to the sensor can be determined. The position corresponding to the sensor indicates a value for the pan / tilt / zoom control unit 204 to pan / tilt / zoom when an event is detected by the sensor.

システム制御部203は、人物の位置を一つに決定できた場合(ステップS307でYES)には、ステップS308へ進む。システム制御部203は、人物の位置を一つに決定できていない場合(ステップS307でNO)には、ステップS309へ進む。ステップS307では、センサから登録要求を取得した後にステップS304〜ステップS306の処理を実行した結果、一人だけ検出した場合には、センサに対応する位置を決定できたと判断する。一方、ステップS304〜ステップS306を実行した結果、複数人検出した場合には、センサに対応する位置を決定できていないと、システム制御部203は判断する。 If the system control unit 203 can determine the position of the person as one (YES in step S307), the system control unit 203 proceeds to step S308. If the system control unit 203 cannot determine the position of the person as one (NO in step S307), the system control unit 203 proceeds to step S309. In step S307, as a result of executing the processes of steps S304 to S306 after acquiring the registration request from the sensor, if only one person is detected, it is determined that the position corresponding to the sensor can be determined. On the other hand, when a plurality of persons are detected as a result of executing steps S304 to S306, the system control unit 203 determines that the position corresponding to the sensor cannot be determined.

ステップS308において、システム制御部203は、センサの位置を決定したことを示す決定フラグを有効化(ON)し、記憶部206で記憶する管理テーブルを更新する。ここで、管理テーブルの一例を、図5を用いて説明する。図5(a)は、ステップS302で登録要求を取得した時点の人を検知した映像を示す模式図であり、映像のフレーム501内で人体を検出すると、人体枠502が表示される。 In step S308, the system control unit 203 activates (ON) the determination flag indicating that the position of the sensor has been determined, and updates the management table stored in the storage unit 206. Here, an example of the management table will be described with reference to FIG. FIG. 5A is a schematic view showing an image in which a person is detected at the time when the registration request is acquired in step S302, and when a human body is detected in the frame 501 of the image, the human body frame 502 is displayed.

図5(b)及び図5(c)は、図5(a)の結果の管理テーブルの一例であり、それぞれ、図5(b)はステップS305の後、図5(c)はステップS308の後の管理テーブルの状態を示す。 5 (b) and 5 (c) are examples of the management table of the result of FIG. 5 (a). FIG. 5 (b) is after step S305, and FIG. 5 (c) is of step S308. Shows the state of the management table later.

管理テーブル503は、センサ毎に、決定フラグ、位置情報、画像データを紐づけて登録する。決定フラグとは、センサの位置を決定できたか否かを示すフラグである。ステップS305の時点即ち、図5(b)の時点では、ステップS303の処理によって複数人検出されている可能性もあるため、センサの位置を決定できない。一方で、ステップS308の時点、即ち、図5(c)の時点では、センサの位置を一つに決定できているため、決定フラグを有効化(ON)に更新する。 The management table 503 registers the determination flag, the position information, and the image data in association with each sensor. The determination flag is a flag indicating whether or not the position of the sensor can be determined. At the time of step S305, that is, at the time of FIG. 5B, the position of the sensor cannot be determined because there is a possibility that a plurality of persons have been detected by the process of step S303. On the other hand, at the time of step S308, that is, at the time of FIG. 5C, since the positions of the sensors can be determined as one, the determination flag is updated to enable (ON).

尚、本実施例では、位置情報を、カメラの撮像方向を示すパン・チルト・ズーム値としたがそれに限らず、座標系における人の検出位置でもよい。その場合、カメラがセンサ設置位置周辺を向くためには、座標から撮像方向へ換算できるマップ情報が必要にある。 In this embodiment, the position information is a pan / tilt / zoom value indicating the imaging direction of the camera, but the position information is not limited to this, and may be a human detection position in the coordinate system. In that case, in order for the camera to face the vicinity of the sensor installation position, map information that can be converted from the coordinates to the imaging direction is required.

ステップS309において、システム制御部203は、決定フラグを無効化(OFF)した状態で、管理テーブルを更新する。 In step S309, the system control unit 203 updates the management table with the determination flag disabled (OFF).

ステップS310において、システム制御部203は、本実施例におけるセンサの設置位置の登録処理を終了するか否かを判断する。判断条件は、ユーザによる明示的な指示でもよいし、ステップS302の登録要求の取得を試みた結果、所定時間以上取得できなかった場合に終了すると判断してもよい。システム制御部203は、センサの設置位置の登録処理を終了する場合(ステップS310でYES)には、ステップS311へ進む。システム制御部203は、センサの設置位置の登録処理を継続する場合(ステップS310でNO)には、ステップS302へ戻る。 In step S310, the system control unit 203 determines whether or not to end the registration process of the sensor installation position in this embodiment. The determination condition may be an explicit instruction by the user, or may be determined to end when the acquisition of the registration request in step S302 cannot be acquired for a predetermined time or longer as a result of the attempt. When the system control unit 203 ends the process of registering the sensor installation position (YES in step S310), the system control unit 203 proceeds to step S311. When the system control unit 203 continues the registration process of the sensor installation position (NO in step S310), the system control unit 203 returns to step S302.

ステップS311において、システム制御部203は、ネットワークカメラ101を、センサからの登録要求を取得できる状態を解除して、本フローチャートを終了する。 In step S311 the system control unit 203 releases the state in which the network camera 101 can acquire the registration request from the sensor, and ends this flowchart.

尚、本実施例における人体検出(ステップS303)は、予め、広角にズーム制御した上で実行することを想定する。具体的には、パン・チルト・ズーム制御部204が、予め、人体検出可能な範囲で最もズームアウトしたときのズーム値を特定し、そのズーム値へズームアウトした上で人体検出を行う。 It is assumed that the human body detection (step S303) in this embodiment is executed after the zoom is controlled to a wide angle in advance. Specifically, the pan / tilt / zoom control unit 204 specifies in advance the zoom value at the time of zooming out most within the range in which the human body can be detected, zooms out to the zoom value, and then detects the human body.

ズーム値の算出例としては、ネットワークカメラ101の撮影範囲に事前に人を配置して、段階的にズームアウトしながら人体検出を行うことで特定する方法が考えられる。 As an example of calculating the zoom value, a method of arranging a person in advance in the shooting range of the network camera 101 and detecting the human body while zooming out stepwise can be considered.

そして、人物を検出できた場合(ステップS304でYES)には、パン・チルト・ズーム制御部204が、所定のルールに基づいて、パン・チルト・ズーム値を制御してから管理テーブルに登録する。 If a person can be detected (YES in step S304), the pan / tilt / zoom control unit 204 controls the pan / tilt / zoom value based on a predetermined rule and then registers the person in the management table. ..

例えば、検出した人物が、所定のサイズになるまでズームインした上で、人物が画角の中心になるように、パン・チルト・ズーム制御部204がPT制御した結果の位置情報と画像データを管理テーブルに登録する等である。一方で、人物を検出できなかった場合(ステップS304でNO)には、ステップS306において、パン・チルト・ズーム制御部204がまだ人体検出を行えていない画角までPT駆動した上で、人体検出を継続する。 For example, after the detected person zooms in until it reaches a predetermined size, the pan / tilt / zoom control unit 204 manages the position information and image data as a result of PT control so that the person is at the center of the angle of view. For example, register in the table. On the other hand, when the person cannot be detected (NO in step S304), in step S306, the pan / tilt / zoom control unit 204 PT drives the angle of view to the angle of view where the human body cannot be detected, and then detects the human body. To continue.

例えば、人物が存在する可能性のあるパン角度範囲が180度の場合に、人体検出時の画角が60度の場合には、論理的には最大2回の駆動の追加で、全ての範囲で人体検出を行える。 For example, if the pan angle range in which a person may exist is 180 degrees and the angle of view at the time of detecting a human body is 60 degrees, logically, a maximum of two drives can be added to cover the entire range. You can detect the human body with.

以上、人体検出時には、人体検出可能な範囲で最も広角に撮影することで、空間内の人物を見つける時間を短縮しつつも、管理テーブルに登録する位置情報や画像データは、ユーザが視認しやすい結果を登録できる。 As described above, when detecting a human body, by shooting at the widest angle within the range in which the human body can be detected, the time for finding a person in the space is shortened, and the position information and image data registered in the management table are easy for the user to see. You can register the result.

以上に説明した処理によって、空間内に人物が一人の場合、あるいは、設置者の識別情報を事前に登録することで、センサに対応する位置情報を自動的に決定できる。 By the process described above, when there is only one person in the space, or by registering the identification information of the installer in advance, the position information corresponding to the sensor can be automatically determined.

次に図6に示すフローチャートを用いて、センサに対して複数人を検出したことで位置を決定できなかった場合(ステップS307でNO)に、ユーザに選択させる処理の流れを説明する。 Next, using the flowchart shown in FIG. 6, a flow of processing for allowing the user to select a position when the position cannot be determined by detecting a plurality of people with respect to the sensor (NO in step S307) will be described.

図6の処理は、ステップS309の処理を実行後に、クライアント装置102を介したユーザからの指示に応じて実行しても良いし、ユーザからの指示を受け付けることなくネットワークカメラ101が実行しても良い。 The process of FIG. 6 may be executed in response to an instruction from the user via the client device 102 after executing the process of step S309, or may be executed by the network camera 101 without receiving the instruction from the user. good.

ステップS601において、システム制御部203は、管理テーブル503の決定フラグが無効化(OFF)のセンサに紐づけた複数の画像データを表示部211に表示するように表示制御を行い、画像データの選択をユーザに促す。 In step S601, the system control unit 203 performs display control so as to display a plurality of image data associated with the sensor whose determination flag of the management table 503 is invalid (OFF) on the display unit 211, and selects the image data. Prompt the user.

ここで、選択時のUIの一例を、図7で説明する。図7は、表示部211に表示した選択画面例である。 Here, an example of the UI at the time of selection will be described with reference to FIG. FIG. 7 is an example of a selection screen displayed on the display unit 211.

複数の画像データの中からセンサに対応する画像データを選択することで、システム制御部203は、センサの位置を決定できる。図7の例では、画像701及び画像702のうち、画像702を選択することを示す。 By selecting the image data corresponding to the sensor from the plurality of image data, the system control unit 203 can determine the position of the sensor. In the example of FIG. 7, it is shown that the image 702 is selected from the image 701 and the image 702.

基本的には、選択者は設置者であり、センサ設置後にクライアント装置102のところまで設置者が移動してから画像データを選択することを想定する。センサの設置場所の物理環境のみを手掛かりにして、センサの位置を特定するのではなく、自分の映る画像データを選べば良いため、画像データの選択は容易である。一方で、選択者が設置者と異なる人物であってもよい。その場合でも、画像データ上で設置者を確認しながら選べるため、画像データを容易に選択できる。 Basically, it is assumed that the selector is the installer, and the installer moves to the client device 102 after the sensor is installed before selecting the image data. It is easy to select the image data because it is sufficient to select the image data that oneself reflects instead of specifying the position of the sensor by using only the physical environment of the sensor installation location as a clue. On the other hand, the selecter may be a person different from the installer. Even in that case, the image data can be easily selected because the selection can be made while confirming the installer on the image data.

ステップS602において、システム制御部203は、画像データが選択されたかを判断する。システム制御部203は、画像データが選択された場合(ステップS602でYES)には、ステップS603へ進む。システム制御部203は、画像データが選択されていない場合(ステップS602でNO)には、ステップS602に戻る。 In step S602, the system control unit 203 determines whether the image data has been selected. When the image data is selected (YES in step S602), the system control unit 203 proceeds to step S603. When the image data is not selected (NO in step S602), the system control unit 203 returns to step S602.

ステップS603において、システム制御部203は、画像データに紐づいた決定フラグをONにし、ステップS602で未選択の画像データと位置情報を削除して、管理テーブル503を更新する。その結果、センサに対応して、位置情報と画像データが一意に決定できる。 In step S603, the system control unit 203 turns on the determination flag associated with the image data, deletes the unselected image data and the position information in step S602, and updates the management table 503. As a result, the position information and the image data can be uniquely determined according to the sensor.

ステップS604において、システム制御部203は、管理テーブル503に登録した全てのセンサの位置が決定されたかを判断する。システム制御部203は、全てのセンサの位置が決定された場合(ステップS604でYES)には、本フローチャートを終了する。システム制御部203は、位置が決定されていないセンサがある、即ち決定フラグがOFFのセンサがある場合(ステップS604でNO)には、ステップS601に戻る。 In step S604, the system control unit 203 determines whether the positions of all the sensors registered in the management table 503 have been determined. When the positions of all the sensors are determined (YES in step S604), the system control unit 203 ends this flowchart. The system control unit 203 returns to step S601 when there is a sensor whose position has not been determined, that is, there is a sensor whose determination flag is OFF (NO in step S604).

以上に説明した処理によって、複数人を検出した場合でも、センサの位置を一箇所に決定することができる。 By the process described above, even when a plurality of people are detected, the position of the sensor can be determined at one place.

続いて、図8に示すフローチャートを用いて、管理テーブルに登録したセンサに対する位置情報を、ユーザが補正するための処理の流れを説明する。図8の処理は、ステップS308、またはステップS309の処理を実行後に、クライアント装置102を介したユーザからの指示に応じて実行される。 Subsequently, the flow of processing for the user to correct the position information with respect to the sensor registered in the management table will be described with reference to the flowchart shown in FIG. The process of FIG. 8 is executed in response to an instruction from the user via the client device 102 after executing the process of step S308 or step S309.

ステップS801において、システム制御部203は、センサに紐づいた画像データを、システム制御部213を介して表示部211に表示させる。そして、システム制御部213を介してユーザによる補正対象の画像データの選択を検知する。 In step S801, the system control unit 203 causes the display unit 211 to display the image data associated with the sensor via the system control unit 213. Then, the selection of the image data to be corrected by the user is detected via the system control unit 213.

ステップS802において、ステップS801でユーザが選択した補正対象のセンサの位置情報を、管理テーブル503より読み込み、その位置へPT駆動した映像を、システム制御部213を介して表示部211に表示させる。 In step S802, the position information of the sensor to be corrected selected by the user in step S801 is read from the management table 503, and the image driven by PT to that position is displayed on the display unit 211 via the system control unit 213.

ここで、補正画面のUIの一例を、図9で説明する。図9(a)は、表示部211に表示した補正の画面例であり、ユーザは、映像のフレーム901を見て、パン・チルト・ズーム操作UI902を操作する。図9(b)は、操作後のフレーム901であり、四角の物体を中心にズームした結果が表示されている。 Here, an example of the UI of the correction screen will be described with reference to FIG. FIG. 9A is an example of a correction screen displayed on the display unit 211, and the user looks at the frame 901 of the image and operates the pan / tilt / zoom operation UI 902. FIG. 9B shows the frame 901 after the operation, and the result of zooming around the square object is displayed.

図9(a)では、補正対象のセンサに関連づいた位置情報を参照し、記憶したPTZ値にあわせてパン・チルト・ズーム制御を行って、駆動後の映像を取得し、表示している。ここで、ユーザが補正しやすいように、ズームに関しては、最も広角となるようにワイド端に移動してもよい。 In FIG. 9A, the position information associated with the sensor to be corrected is referred to, pan / tilt / zoom control is performed according to the stored PTZ value, and the image after driving is acquired and displayed. .. Here, the zoom may be moved to the wide end so as to have the widest angle so that the user can easily correct the zoom.

そして、図9(b)のように、パン・チルト・ズーム操作UI902を操作して、ユーザの所望の画角にし、最後にOKボタンが押下されると、システム制御部213を介してシステム制御部203は、操作完了を検知する。 Then, as shown in FIG. 9B, the pan / tilt / zoom operation UI902 is operated to obtain the desired angle of view of the user, and when the OK button is finally pressed, the system is controlled via the system control unit 213. The unit 203 detects the completion of the operation.

ステップS803において、システム制御部203は、センサに対する補正操作を完了したかを判断する。例えば、図9(a)におけるOKボタンが押されると、システム制御部203は、操作を完了したと判断し、(ステップS803でYES)には、ステップS804に進む。システム制御部203は、操作が完了していないと判断した場合(ステップS803でNO)には、ステップS803を継続する。 In step S803, the system control unit 203 determines whether the correction operation for the sensor has been completed. For example, when the OK button in FIG. 9A is pressed, the system control unit 203 determines that the operation has been completed, and proceeds to step S804 (YES in step S803). When the system control unit 203 determines that the operation has not been completed (NO in step S803), the system control unit 203 continues step S803.

ステップS804において、システム制御部203は、補正後の位置情報とその位置における画像データを取得し、管理テーブル503の位置情報と画像データを更新する。 In step S804, the system control unit 203 acquires the corrected position information and the image data at the position, and updates the position information and the image data in the management table 503.

ステップS805において、システム制御部203は、位置を補正したいセンサが他にあるかを判断する。判断方法は、例えば、補正する候補のセンサとして、表示部211上でユーザが選んだセンサのうち、まだ補正処理を完了していないセンサがある場合は、他のセンサも補正すると判断する。システム制御部203は、補正したいセンサが他にあると判断した場合(ステップS805でYES)には、ステップS801へ戻る。システム制御部203は、補正したいセンサが他にないと判断した場合(ステップS805でNO)には、本フローチャートを終了する。 In step S805, the system control unit 203 determines whether there is another sensor whose position is to be corrected. As a determination method, for example, if there is a sensor selected by the user on the display unit 211 as a candidate sensor for correction that has not yet completed the correction process, it is determined that other sensors are also corrected. When the system control unit 203 determines that there is another sensor to be corrected (YES in step S805), the system control unit 203 returns to step S801. When the system control unit 203 determines that there is no other sensor to be corrected (NO in step S805), the system control unit 203 ends this flowchart.

以上説明した処理によって、センサに対応して自動的に決定されたセンサの位置を、ユーザが所望する位置に補正することができる。 By the process described above, the position of the sensor automatically determined corresponding to the sensor can be corrected to the position desired by the user.

以上、本実施形態では、センサの登録要求をネットワークカメラが受信した時点の映像における人の位置に基づいて、センサの位置を決定する方法を示した。また、検出した人が1人の場合は自動的に決定し、複数人の場合はユーザが選択することで決定できることを示した。その結果、センサ自体に、特別な制御を施したり、発光装置の取り付けを行わなくても、センサ設置位置の大まかな位置を決定できる。そのため、最終的な位置の決定にユーザ操作が介在した場合でも、結果として、ネットワークカメラへのセンサの登録作業の負荷を軽減できる。 As described above, in the present embodiment, the method of determining the position of the sensor based on the position of the person in the image at the time when the network camera receives the registration request of the sensor has been shown. In addition, it was shown that when one person is detected, it is automatically determined, and when there are a plurality of people, it can be determined by the user's selection. As a result, the rough position of the sensor installation position can be determined without applying special control to the sensor itself or attaching a light emitting device. Therefore, even if the user operation is involved in the final position determination, as a result, the load of the sensor registration work on the network camera can be reduced.

(実施形態2)
実施形態1では、センサの登録要求をネットワークカメラが受信した時点の映像における人の位置に基づいて、センサの位置を特定し登録する方法について述べた。一方で、設置場所の制約等から、図4で説明したような手動操作をしづらい天井等にセンサが設置されることがある。その場合、手動操作による登録要求を発行した後に、センサが移動されることが考えられる。本実施形態では、人を検知した後にセンサが移動された場合でも、センサの位置を特定する方法を説明する。
(Embodiment 2)
In the first embodiment, a method of specifying and registering the position of the sensor based on the position of a person in the image at the time when the registration request of the sensor is received by the network camera has been described. On the other hand, due to restrictions on the installation location, the sensor may be installed on the ceiling or the like where manual operation is difficult as described in FIG. In that case, it is conceivable that the sensor is moved after issuing the registration request by manual operation. In the present embodiment, a method of specifying the position of the sensor even when the sensor is moved after detecting a person will be described.

図10に示すフローチャートを用いて、人を検知した後に、センサの移動を監視して、センサの位置を補正する処理の流れを説明する。尚、本フローチャートは、図3における人の位置に基づいて位置情報と画像情報を登録する処理(ステップS305)の後に行われ、処理後は、ステップS306に進む。 Using the flowchart shown in FIG. 10, a flow of processing for monitoring the movement of the sensor after detecting a person and correcting the position of the sensor will be described. This flowchart is performed after the process of registering the position information and the image information based on the position of the person in FIG. 3 (step S305), and proceeds to step S306 after the process.

ステップS1001において、システム制御部203は、所定時間の間、センサの移動を監視するかを判断する。センサの移動を監視するか否かは、予め初期設定時に決定するものとする。システム制御部203は、センサの移動を監視する場合(ステップS1001でYES)には、ステップS1002に進む。システム制御部203は、センサの移動を監視しない場合(ステップS1001でNO)には、本フローチャートを終了する。 In step S1001, the system control unit 203 determines whether to monitor the movement of the sensor for a predetermined time. Whether or not to monitor the movement of the sensor shall be decided in advance at the time of initial setting. When the system control unit 203 monitors the movement of the sensor (YES in step S1001), the system control unit 203 proceeds to step S1002. When the system control unit 203 does not monitor the movement of the sensor (NO in step S1001), the system control unit 203 ends this flowchart.

ステップS1002において、システム制御部203は、所定時間内に、追尾中の人物(ステップS303で検出した人物)の周辺で置き去り検知が発生したかを判断する。すなわち、ステップS1002において、システム制御部203は、追尾中の人物の所定範囲内で物体の置き去りが発生したかを特定する。 In step S1002, the system control unit 203 determines whether the abandonment detection has occurred around the person being tracked (the person detected in step S303) within a predetermined time. That is, in step S1002, the system control unit 203 identifies whether the object has been left behind within a predetermined range of the person being tracked.

ここで、置き去り検知を用いたセンサの移動に追従する処理の概念図を、図11で説明する。図11(a)は、センサからの登録要求時に検出した人1101が、センサを天井に設置する様子を示す。 Here, a conceptual diagram of a process of following the movement of the sensor using the abandonment detection will be described with reference to FIG. FIG. 11A shows a state in which the person 1101 detected at the time of the registration request from the sensor installs the sensor on the ceiling.

このとき、人1101の移動に伴って、置き去り検知を監視する範囲1102(所定範囲)を更新する。図11(b)は、図11(a)の結果、置き去り検知が発生し、検知枠1103を捉えた例である。人物と共に移動したセンサが、所定の場所に設置されることで、所定時間停止したときに、置き去りされたと検知することができる。 At this time, as the person 1101 moves, the range 1102 (predetermined range) for monitoring the abandonment detection is updated. FIG. 11B is an example in which the abandonment detection occurs as a result of FIG. 11A and the detection frame 1103 is captured. By installing the sensor that has moved with the person at a predetermined place, it is possible to detect that the sensor has been left behind when it is stopped for a predetermined time.

システム制御部203は、置き去り検知が発生した場合(ステップS1002でYES)には、ステップS1003に進む。システム制御部203は、置き去り検知が発生していない場合(ステップS1002でNO)には、本フローチャートを終了する。 When the abandonment detection occurs (YES in step S1002), the system control unit 203 proceeds to step S1003. The system control unit 203 ends this flowchart when the abandonment detection has not occurred (NO in step S1002).

ステップS1003において、システム制御部203は、置き去り検知した物体の位置の位置情報を、センサに対応する位置として、その位置を撮影した画像データとともに管理テーブル503へ記憶して、本フローチャートを終了する。 In step S1003, the system control unit 203 stores the position information of the position of the object detected left behind as the position corresponding to the sensor in the management table 503 together with the captured image data, and ends this flowchart.

以上説明した処理によって、登録要求時に人を検知した後、センサが移動した場合においても所定時間内であれば追従でき、センサの設置位置を補正することができる。 By the process described above, even if the sensor moves after detecting a person at the time of registration request, it can be followed within a predetermined time, and the installation position of the sensor can be corrected.

次に、図12を用いて、各実施形態の各機能を実現するためのハードウェア構成を説明する。なお、ネットワークカメラ101における201〜208の各機能部は、図12に示すハードウェア構成により実現可能である。また、クライアント装置102における211〜215の各機能部も図12に示すハードウェア構成により実現可能である。 Next, the hardware configuration for realizing each function of each embodiment will be described with reference to FIG. Each of the functional units of 201 to 208 in the network camera 101 can be realized by the hardware configuration shown in FIG. Further, each functional unit of 211 to 215 in the client device 102 can also be realized by the hardware configuration shown in FIG.

RAM(Random Access Memory)1202は、CPU(Central Processing Unit)1201が実行するコンピュータプログラムを一時的に記憶する。また、RAM1202は、通信インターフェイス1204を介して外部から取得したデータ(コマンドや画像データ)などを一時的に記憶する。また、RAM1202は、CPU1201が各種の処理を実行する際に用いるワークエリアを提供する。また、RAM1202は、例えば、フレームメモリとして機能したり、バッファメモリとして機能したりする。 The RAM (Random Access Memory) 1202 temporarily stores a computer program executed by the CPU (Central Processing Unit) 1201. Further, the RAM 1202 temporarily stores data (commands and image data) acquired from the outside via the communication interface 1204. The RAM 1202 also provides a work area used by the CPU 1201 to execute various processes. Further, the RAM 1202 functions as, for example, a frame memory or a buffer memory.

CPU1201は、RAM1202に格納されるコンピュータプログラムを実行する。CPU以外にも、DSP(Digital Signal Processor)等のプロセッサやASIC(Application Specific Integrated Circuit)を用いてもよい。 The CPU 1201 executes a computer program stored in the RAM 1202. In addition to the CPU, a processor such as a DSP (Digital Signal Processor) or an ASIC (Application Specific Integrated Circuit) may be used.

HDD(Hard Disk Drive)1203は、オペレーティングシステムのプログラムや画像データを記憶する。また、HDD1203は、コンピュータプログラムを記憶する。 The HDD (Hard Disk Drive) 1203 stores operating system programs and image data. The HDD 1203 also stores a computer program.

HDD1203に保存されているコンピュータプログラムやデータは、CPU1201による制御に従って、適宜、RAM1202にロードされ、CPU1201によって実行される。HDD以外にもフラッシュメモリ等の他の記憶媒体を用いてもよい。バス1205は、各ハードウェアを接続する。バス1205を介して各ハードウェアがデータをやり取りする。以上が各実施形態におけるハードウェア構成である。 The computer programs and data stored in the HDD 1203 are appropriately loaded into the RAM 1202 and executed by the CPU 1201 according to the control by the CPU 1201. In addition to the HDD, another storage medium such as a flash memory may be used. Bus 1205 connects each piece of hardware. Each hardware exchanges data via bus 1205. The above is the hardware configuration in each embodiment.

また、図2に示す各機能ブロックは、図12に示すハードウェアにより実現してもよいし、ソフトウェアにより実現することもできる。 Further, each functional block shown in FIG. 2 may be realized by the hardware shown in FIG. 12 or by software.

(その他の実施形態)
以上、実施形態を詳述したが、本発明は例えば、システム、装置、方法、プログラム若しくは記録媒体(記憶媒体)等としての実施態様をとることが可能である。具体的には、複数の機器(例えば、ホストコンピュータ、インターフェイス機器、撮像装置、Webアプリケーション等)から構成されるシステムに適用してもよいし、また、一つの機器からなる装置に適用してもよい。
(Other embodiments)
Although the embodiments have been described in detail above, the present invention can be implemented as, for example, a system, an apparatus, a method, a program, a recording medium (storage medium), or the like. Specifically, it may be applied to a system composed of a plurality of devices (for example, a host computer, an interface device, an imaging device, a Web application, etc.), or it may be applied to a device composed of one device. Good.

また、本発明は、以下の処理でも実現可能である。上述の実施形態の1以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給する。そして、そのシステム又は装置のコンピュータにおける1つ以上のプロセッサがプログラムを読出し実行する処理である。また、1以上の機能を実現する回路(例えば、ASIC)によっても実現可能である。 The present invention can also be realized by the following processing. A program that realizes one or more functions of the above-described embodiment is supplied to the system or device via a network or a storage medium. Then, one or more processors in the computer of the system or the device read and execute the program. It can also be realized by a circuit (for example, ASIC) that realizes one or more functions.

101 ネットワークカメラ
102 クライアント装置
103 センサデバイス
101 Network camera 102 Client device 103 Sensor device

Claims (11)

センサデバイスと接続可能な撮像装置であって、
撮像手段と、
前記センサデバイスから、所定の情報を取得する取得手段と、
前記撮像手段により撮像することで得られる画像データに映る人物の位置を特定する特定手段と、
前記取得手段により前記所定の情報を取得した後に前記特定手段により特定した人物の位置の情報を用いて、前記センサデバイスに対応づける前記撮像手段の撮像方向、またはズーム値の少なくともいずれか一方を決定する決定手段と、
前記決定手段により決定された前記撮像手段の撮像方向、またはズーム値を前記センサデバイスの情報と対応づけて登録する登録手段とを備えることを特徴とする撮像装置。
An imaging device that can be connected to a sensor device
Imaging means and
An acquisition means for acquiring predetermined information from the sensor device, and
A specific means for specifying the position of a person reflected in the image data obtained by imaging by the imaging means, and
After the predetermined information is acquired by the acquisition means, at least one of the imaging direction and the zoom value of the imaging means associated with the sensor device is determined by using the information on the position of the person specified by the specific means. The means of deciding what to do
An image pickup apparatus comprising: a registration means for registering an image pickup direction or a zoom value of the image pickup means determined by the determination means in association with information of the sensor device.
前記撮像手段の撮像方向、およびズーム値を制御する撮像制御手段を更に備え、
前記撮像制御手段は、前記登録手段で登録された前記撮像手段の撮像方向、またはズーム値となるように前記撮像手段の撮像方向、またはズーム値を制御することを特徴とする請求項1に記載の撮像装置。
An imaging control means for controlling the imaging direction and the zoom value of the imaging means is further provided.
The first aspect of claim 1, wherein the image pickup control means controls the image pickup direction or the zoom value of the image pickup means so as to be the image pickup direction or the zoom value of the image pickup means registered by the registration means. Imaging device.
前記特定手段で位置を特定した人物が複数人いる場合に、各人物の方向を撮像するように前記撮像手段の撮像方向を制御する撮像制御手段と、
前記撮像手段により各人物の方向を撮像した画像データに対し、ユーザからの選択を受け付ける選択画面を表示するように制御する表示制御手段とを更に備え、
前記決定手段は、前記選択画面を介して選択を受け付けた画像データを撮像したときの前記撮像手段の撮像方向を、前記センサデバイスに対応づける前記撮像手段の撮像方向として決定することを特徴とする請求項2に記載の撮像装置。
When there are a plurality of persons whose positions are specified by the specific means, an imaging control means that controls the imaging direction of the imaging means so as to image the direction of each person, and an imaging control means.
Further provided with a display control means for controlling the image data obtained by capturing the direction of each person by the image pickup means so as to display a selection screen that accepts a selection from the user.
The determining means is characterized in that the imaging direction of the imaging means when the image data whose selection is accepted via the selection screen is captured is determined as the imaging direction of the imaging means associated with the sensor device. The imaging device according to claim 2.
前記特定手段で特定した人物を追尾し、当該人物の所定範囲内で物体の置き去りが発生したかを特定する置き去り特定手段を更に備え、
前記決定手段は、前記置き去り特定手段により前記人物の所定範囲内で置き去り検知が発生したと特定された場合には、置き去りが発生した位置の情報を用いて、前記センサデバイスに対応づける撮像方向、またはズーム値の少なくともいずれか一方を決定することを特徴とする請求項1乃至3のいずれか1項に記載の撮像装置。
Further provided with an abandonment specifying means for tracking a person specified by the specific means and identifying whether or not an object has been left behind within a predetermined range of the person.
When the abandonment specific means identifies that the abandonment detection has occurred within a predetermined range of the person, the determination means uses the information of the position where the abandonment has occurred to correspond to the sensor device in the imaging direction. The imaging apparatus according to any one of claims 1 to 3, wherein at least one of the zoom values is determined.
ユーザからの指示に従って、前記決定手段で決定した前記撮像手段の撮像方向、またはズーム値を補正する補正手段を更に備えることを特徴とする請求項1乃至4のいずれか1項に記載の撮像装置。 The imaging apparatus according to any one of claims 1 to 4, further comprising a correction means for correcting the imaging direction or the zoom value of the imaging means determined by the determining means according to an instruction from the user. .. 前記撮像制御手段は、前記撮像手段をパン・チルト駆動させることで、撮像方向を段階的に変更し、
前記特定手段は、前記段階的に変更された撮像方向の画像データそれぞれから、人物の位置を特定することを特徴とする請求項2に記載の撮像装置。
The image pickup control means changes the image pickup direction stepwise by driving the image pickup means in a pan / tilt manner.
The imaging device according to claim 2, wherein the identifying means identifies the position of a person from each of the image data in the imaging direction changed stepwise.
前記所定の情報には、前記センサデバイスのペアリングの要求の情報を含むことを特徴とする請求項1乃至6のいずれか1項に記載の撮像装置。 The imaging device according to any one of claims 1 to 6, wherein the predetermined information includes information on a pairing request of the sensor device. 前記所定の情報には、前記センサデバイスの通信開始を示す情報を含むことを特徴とする請求項1乃至7のいずれか1項に記載の撮像装置。 The imaging device according to any one of claims 1 to 7, wherein the predetermined information includes information indicating the start of communication of the sensor device. 前記所定の情報には、前記センサデバイスが起動したことを示す情報を含むことを特徴とする請求項1乃至8のいずれか1項に記載の撮像装置。 The imaging device according to any one of claims 1 to 8, wherein the predetermined information includes information indicating that the sensor device has been activated. センサデバイスと接続可能であり、撮像手段を備える撮像装置の制御方法であって、
前記センサデバイスから、所定の情報を取得する取得工程と、
前記撮像手段により撮像することで得られる画像データに映る人物の位置を特定する特定工程と、
前記取得工程で前記所定の情報を取得した後に前記特定工程で特定した人物の位置の情報を用いて、前記センサデバイスに対応づける前記撮像手段の撮像方向、またはズーム値の少なくともいずれか一方を決定する決定工程と、
前記決定工程で決定された前記撮像手段の撮像方向、またはズーム値を前記センサデバイスの情報と対応づけて登録する登録工程とを備えることを特徴とする撮像装置の制御方法。
It is a control method of an image pickup device that can be connected to a sensor device and has an image pickup means.
An acquisition process for acquiring predetermined information from the sensor device, and
A specific step of specifying the position of a person reflected in the image data obtained by imaging by the imaging means, and
After acquiring the predetermined information in the acquisition step, the imaging direction of the imaging means associated with the sensor device or at least one of the zoom values is determined by using the information on the position of the person specified in the specific step. The decision process to do and
A control method for an image pickup apparatus, comprising: a registration step of registering an image pickup direction or a zoom value of the image pickup means determined in the determination step in association with information of the sensor device.
コンピュータを請求項1乃至9のいずれか1項に記載の撮像装置の各手段として機能させるためのプログラム。 A program for operating a computer as each means of the imaging device according to any one of claims 1 to 9.
JP2019180967A 2019-09-30 2019-09-30 Imaging device, imaging device control method, and program Active JP7374692B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2019180967A JP7374692B2 (en) 2019-09-30 2019-09-30 Imaging device, imaging device control method, and program

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2019180967A JP7374692B2 (en) 2019-09-30 2019-09-30 Imaging device, imaging device control method, and program

Publications (2)

Publication Number Publication Date
JP2021057835A true JP2021057835A (en) 2021-04-08
JP7374692B2 JP7374692B2 (en) 2023-11-07

Family

ID=75271215

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2019180967A Active JP7374692B2 (en) 2019-09-30 2019-09-30 Imaging device, imaging device control method, and program

Country Status (1)

Country Link
JP (1) JP7374692B2 (en)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005026916A (en) * 2003-06-30 2005-01-27 Casio Comput Co Ltd Photographing system and program
JP2005301850A (en) * 2004-04-15 2005-10-27 Konica Minolta Holdings Inc Monitor camera system
JP2012155531A (en) * 2011-01-26 2012-08-16 Secom Co Ltd Complex sensor
JP2015099966A (en) * 2013-11-18 2015-05-28 三菱電機株式会社 Imaging system and imaging apparatus
JP2018160822A (en) * 2017-03-23 2018-10-11 セコム株式会社 Monitoring system

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005026916A (en) * 2003-06-30 2005-01-27 Casio Comput Co Ltd Photographing system and program
JP2005301850A (en) * 2004-04-15 2005-10-27 Konica Minolta Holdings Inc Monitor camera system
JP2012155531A (en) * 2011-01-26 2012-08-16 Secom Co Ltd Complex sensor
JP2015099966A (en) * 2013-11-18 2015-05-28 三菱電機株式会社 Imaging system and imaging apparatus
JP2018160822A (en) * 2017-03-23 2018-10-11 セコム株式会社 Monitoring system

Also Published As

Publication number Publication date
JP7374692B2 (en) 2023-11-07

Similar Documents

Publication Publication Date Title
JP4928275B2 (en) Camera control apparatus and control method thereof
JP6179181B2 (en) Lighting control system and arrangement registration method
JP2008085874A (en) Person monitoring system, and person monitoring method
JP2015115839A5 (en)
US20160198093A1 (en) Information processing apparatus, imaging apparatus, imaging system, control method of information processing apparatus, control method of imaging apparatus, and program
US20170251139A1 (en) Image capturing apparatus, external device, image capturing system, method for controlling image capturing apparatus, method for controlling external device, method for controlling image capturing system, and program
JP5868128B2 (en) Information processing apparatus and control method thereof
CN111553196A (en) Method, system, device and storage medium for detecting hidden camera
JP2019211337A (en) Information processor, system, method for processing information, and program
JP2017526263A (en) Method and apparatus for mapping sensor position and event action using monitoring device
JP6624800B2 (en) Image processing apparatus, image processing method, and image processing system
JP2014206583A (en) Imaging device, focus adjustment system, focus instruction device, focus adjustment method and program
CN107230240B (en) Shooting method and mobile terminal
JP2014139745A (en) Equipment management system, equipment management device, equipment management method and program
JP2019212963A (en) Imaging apparatus, information processing apparatus, information processing method, and program
JP7374692B2 (en) Imaging device, imaging device control method, and program
JP5984704B2 (en) Tablet monitoring terminal
JP7237520B2 (en) Information processing device, information processing method and program
JP2015133020A (en) Management client device, management system, management method, and program
JP7191663B2 (en) IMAGING DEVICE, CONTROL METHOD AND PROGRAM
JP2022030859A (en) Monitoring information processing device, method and program
JP6875965B2 (en) Control devices, control methods, programs, and monitoring systems
JP2010055263A (en) Monitoring control system
JP6537459B2 (en) Security camera installation support device and program
US11812142B2 (en) Information processing apparatus, imaging apparatus, imaging system, control method of information processing apparatus, control method of imaging apparatus, and program

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20220915

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20230725

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20230801

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230915

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20230926

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20231025

R151 Written notification of patent or utility model registration

Ref document number: 7374692

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151