JP7085925B2 - Information registration device, information processing device, control method of information registration device, control method of information processing device, system, and program - Google Patents

Information registration device, information processing device, control method of information registration device, control method of information processing device, system, and program Download PDF

Info

Publication number
JP7085925B2
JP7085925B2 JP2018128566A JP2018128566A JP7085925B2 JP 7085925 B2 JP7085925 B2 JP 7085925B2 JP 2018128566 A JP2018128566 A JP 2018128566A JP 2018128566 A JP2018128566 A JP 2018128566A JP 7085925 B2 JP7085925 B2 JP 7085925B2
Authority
JP
Japan
Prior art keywords
person
image
information
imaging
image pickup
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2018128566A
Other languages
Japanese (ja)
Other versions
JP2020010145A (en
JP2020010145A5 (en
Inventor
いち子 黛
敦史 川野
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Priority to JP2018128566A priority Critical patent/JP7085925B2/en
Publication of JP2020010145A publication Critical patent/JP2020010145A/en
Publication of JP2020010145A5 publication Critical patent/JP2020010145A5/ja
Application granted granted Critical
Publication of JP7085925B2 publication Critical patent/JP7085925B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Studio Devices (AREA)
  • Details Of Cameras Including Film Mechanisms (AREA)
  • Camera Data Copying Or Recording (AREA)
  • Collating Specific Patterns (AREA)
  • Closed-Circuit Television Systems (AREA)

Description

本発明は、情報登録装置、情報処理装置、情報登録装置の制御方法、情報処理装置の制御方法、システム、及びプログラムに関する。 The present invention relates to an information registration device, an information processing device, a control method of the information registration device, a control method of the information processing device, a system, and a program.

監視カメラを用いた防犯システムを使った被写体の行動経路管理方法が提案されている。例えば監視対象となる被写体を入り口で認証し、通路やドア前に設置されたカメラにより当該被写体を追跡し行動経路管理を行うシステムが提案されている。 A method of managing the behavioral route of a subject using a crime prevention system using a surveillance camera has been proposed. For example, there has been proposed a system that authenticates a subject to be monitored at an entrance, tracks the subject with a camera installed in a passage or in front of a door, and manages an action route.

特許文献1に開示される行動経路管理システムでは、管理領域の出入り口には本人認証装置が設置され、管理領域内には人流計測装置と人物識別装置とが設置されている。これら装置により区画された管理領域内の区域ごとに、利用者の存在確率を求め、管理区域全体の人流、行動を管理している。 In the behavior route management system disclosed in Patent Document 1, a person authentication device is installed at the entrance / exit of the management area, and a person flow measuring device and a person identification device are installed in the management area. The existence probability of the user is obtained for each area in the controlled area partitioned by these devices, and the flow and behavior of the entire controlled area are managed.

特開2006-161501号公報Japanese Unexamined Patent Publication No. 2006-161501

しかしながら、特許文献1の構成では、人物登録は予めなされたものであり、登録されている情報でしか人物の行動管理ができない。そのため登録時から時間が経過して人物の見え方が変化した場合等に、認識精度が下がるおそれがあった。また、行動先のカメラ設定や照明の明るさ等の撮像条件が予め行われた人物登録時の撮像条件と異なる場合にも、人物の識別精度が下がるおそれがあった。 However, in the configuration of Patent Document 1, the person is registered in advance, and the behavior of the person can be managed only by the registered information. Therefore, there is a possibility that the recognition accuracy may decrease when the appearance of the person changes after a lapse of time from the time of registration. Further, even when the imaging conditions such as the camera setting of the action destination and the brightness of the lighting are different from the imaging conditions at the time of person registration performed in advance, there is a possibility that the identification accuracy of the person may be lowered.

本発明はこのような状況を鑑みてなされたものであり、被写体の認証において被写体の経年変化や撮像環境の変化に影響を受けにくくするための技術を提供することを目的とする。 The present invention has been made in view of such a situation, and an object of the present invention is to provide a technique for making the subject authentication less susceptible to changes over time of the subject and changes in the imaging environment.

上記目的を達成するために本発明は、情報登録装置であって、
登録対象の人物に関する情報であって、少なくとも目的地を含む情報を取得する取得手段と、
前記目的地に基づき前記人物の撮像条件を決定する決定手段と、
決定した前記撮像条件に基づいて、撮像部に前記人物を撮像させて登録画像を生成させる制御手段と、を備える。
In order to achieve the above object, the present invention is an information registration device.
Information about the person to be registered, and at least the acquisition method for acquiring information including the destination,
Determining means for determining the imaging conditions of the person based on the destination, and
A control means for causing an imaging unit to image the person and generate a registered image based on the determined imaging conditions is provided.

本発明によれば、被写体の認証において被写体の経年変化や撮像環境の変化に影響を受けにくくするための技術を提供することができる。 INDUSTRIAL APPLICABILITY According to the present invention, it is possible to provide a technique for making a subject authentication less susceptible to changes over time of the subject and changes in the imaging environment.

発明の実施形態に対応するシステムの構成例を示すブロック図。The block diagram which shows the structural example of the system corresponding to the embodiment of an invention. 発明の実施形態に対応する情報処理装置120等のハードウェア構成例を示すブロック図。The block diagram which shows the hardware configuration example of the information processing apparatus 120 and the like corresponding to the embodiment of an invention. 発明の実施形態1に対応するシステムが適用される監視領域の一例を示す図。The figure which shows an example of the monitoring area to which the system corresponding to Embodiment 1 of the invention is applied. 発明の実施形態1に対応する情報登録装置130における処理の一例を示すフローチャート。The flowchart which shows an example of the process in the information registration apparatus 130 corresponding to Embodiment 1 of the invention. 発明の実施形態1に対応する情報処理装置120における処理の一例を示すフローチャート。The flowchart which shows an example of the process in the information processing apparatus 120 corresponding to Embodiment 1 of the invention. 発明の実施形態2に対応するシステムが適用される監視領域の一例を示す図。The figure which shows an example of the monitoring area to which the system corresponding to Embodiment 2 of the invention is applied. 発明の実施形態2に対応する目的地と撮像装置との関連を示すテーブルの一例、監視対象の人物、目的地、撮像装置及び登録画像との関連を示すテーブルの一例、及び、カメラ毎の人物との関連を示すテーブルの一例をそれぞれ示す図。An example of a table showing the relationship between the destination and the image pickup device corresponding to the second embodiment of the invention, an example of a table showing the relationship between the person to be monitored, the destination, the image pickup device and the registered image, and a person for each camera. The figure which shows each example of the table which shows the relation with. 発明の実施形態2に対応する情報登録装置130における処理の一例を示すフローチャート。The flowchart which shows an example of the process in the information registration apparatus 130 corresponding to Embodiment 2 of the invention. 発明の実施形態2に対応する情報処理装置120における処理の一例を示すフローチャート。The flowchart which shows an example of the processing in the information processing apparatus 120 corresponding to Embodiment 2 of the invention. 発明の実施形態2に対応する撮像装置110における処理の一例を示すフローチャート。The flowchart which shows an example of the process in the image pickup apparatus 110 corresponding to Embodiment 2 of the invention.

以下、添付の図面を参照して、本発明をその好適な実施形態に基づいて詳細に説明する。なお、以下の実施形態において示す構成は一例に過ぎず、本発明は図示された構成に限定されるものではない。 Hereinafter, the present invention will be described in detail with reference to the accompanying drawings, based on its preferred embodiments. The configurations shown in the following embodiments are merely examples, and the present invention is not limited to the configurations shown.

<実施形態1>
まず、発明の第1の実施形態に係るシステムの構成について、図1のブロック図を用いて説明する。図1は、発明の実施形態1に係るシステムの構成例を示すブロック図である。図1において、システム100は、撮像装置110、情報処理装置120、情報登録装置130、及び、表示装置140がネットワーク150を介して相互に接続されて構成されている。図1に示したシステム100の構成要素は、あくまで一例であって、これら以外の構成要素が更に追加されても良い。以下、各構成要素について説明する。また、本実施形態では、検出対象の被写体として主に人物を想定した場合を説明するが、被写体には、人物以外の、例えば車両等も含むことができる。
<Embodiment 1>
First, the configuration of the system according to the first embodiment of the invention will be described with reference to the block diagram of FIG. FIG. 1 is a block diagram showing a configuration example of the system according to the first embodiment of the invention. In FIG. 1, the system 100 is configured such that an image pickup device 110, an information processing device 120, an information registration device 130, and a display device 140 are connected to each other via a network 150. The components of the system 100 shown in FIG. 1 are merely examples, and components other than these may be further added. Hereinafter, each component will be described. Further, in the present embodiment, the case where a person is mainly assumed as the subject to be detected will be described, but the subject may include a vehicle other than the person, for example, a vehicle or the like.

撮像装置110は、撮像部111、制御部112、及び通信部113を有することができる。撮像部111は、光学系、撮像センサ、現像処理部、符号化部等を含むことができ、光学系は、撮像センサに到達する被写体像の倍率やピント位置、あるいは光量を調整している。光学系は、レンズを移動させるためのモータ等の所定の駆動機構を含み、当該駆動機構は制御部112からの指示に応じて動作が制御される。撮像センサは、撮像面に結像された光像を光電変換して得られたアナログ画像信号をデジタル画像信号に変換して出力するようにA/D変換器を含んで構成することができる。現像処理部は、撮像センサから出力されたデジタル画像信号に対して、例えば、ディベイヤ処理、ホワイトバランス処理、階調変換処理等の現像処理を実施することができる。符号化部では、現像処理部が出力したデジタル画像信号を圧縮・符号化して、画像データを生成する。画像圧縮方式は、例えば、H.264、H.265、MJPEGまたはJPEGなどの規格に基づくことができる。さらに、mp4やavi形式などを含む任意の形式の画像データを生成しても良い。 The image pickup apparatus 110 can include an image pickup unit 111, a control unit 112, and a communication unit 113. The image pickup unit 111 can include an optical system, an image pickup sensor, a development processing unit, a coding unit, and the like, and the optical system adjusts the magnification, focus position, or amount of light of the subject image reaching the image pickup sensor. The optical system includes a predetermined drive mechanism such as a motor for moving the lens, and the operation of the drive mechanism is controlled according to an instruction from the control unit 112. The image pickup sensor can be configured to include an A / D converter so as to convert an analog image signal obtained by photoelectric conversion of an optical image formed on an image pickup surface into a digital image signal and output the signal. The development processing unit can perform development processing such as a divider process, a white balance process, and a gradation conversion process on the digital image signal output from the image pickup sensor. The coding unit compresses and encodes the digital image signal output by the development processing unit to generate image data. The image compression method can be based on, for example, a standard such as H.264, H.265, MJPEG or JPEG. Further, image data in any format including mp4 and avi formats may be generated.

撮像部111では、例えば、1秒間に30フレーム分の画像を取得して、監視領域の30fpsの動画像(ライブ映像)を取得することが可能である。制御部112は、撮像装置110の画角や撮像方向、フレームレート、取得する画像の種類等の撮像条件を調整する。撮像条件の調整は、ユーザからの指示に応じて実行することもできるし、撮像装置110に予め記憶された設定値に応じて行うこともできる。ユーザから指示を行う場合は、ネットワーク150を介して情報処理装置120や表示装置140から行なってもよいし、直接、撮像装置110に接続されたコンソール端末を介して行ってもよい。また、制御部112は、情報処理装置120や表示装置140から送信される命令に応じて、撮像開始/終了など撮像部111の制御を行うこともできる。 In the image pickup unit 111, for example, it is possible to acquire an image for 30 frames per second and acquire a moving image (live image) of 30 fps in the monitoring area. The control unit 112 adjusts imaging conditions such as the angle of view of the imaging device 110, the imaging direction, the frame rate, and the type of image to be acquired. The adjustment of the imaging conditions can be performed according to an instruction from the user, or can be performed according to a set value stored in advance in the imaging device 110. When the user gives an instruction, the instruction may be given from the information processing device 120 or the display device 140 via the network 150, or may be given directly via the console terminal connected to the image pickup device 110. Further, the control unit 112 can also control the image pickup unit 111 such as start / end of image pickup in response to a command transmitted from the information processing device 120 or the display device 140.

通信部113は、撮像部111が撮像して生成した画像や所定の処理結果をネットワーク150経由で、情報処理装置120、情報処理装置130、表示装置140等に送信するための通信インタフェースである。通信部113は、例えば、NFSやCIFSなどのネットワークファイルシステム、または、UDPやTCPなどのネットワーク通信プロトコルを使用して、通信相手との間でデータのやり取りの調整を行う。また、通信部113は、情報処理装置120や表示装置140から撮像装置110を制御するための設定情報や命令を受信し、制御部112に供給する。制御部112は、その設定情報や命令に従って撮像装置110の動作を制御する。 The communication unit 113 is a communication interface for transmitting an image imaged and generated by the image pickup unit 111 and a predetermined processing result to the information processing device 120, the information processing device 130, the display device 140, and the like via the network 150. The communication unit 113 coordinates the exchange of data with the communication partner by using, for example, a network file system such as NFS or CIFS, or a network communication protocol such as UDP or TCP. Further, the communication unit 113 receives setting information and commands for controlling the image pickup device 110 from the information processing device 120 and the display device 140, and supplies them to the control unit 112. The control unit 112 controls the operation of the image pickup apparatus 110 according to the setting information and the command.

情報処理装置120は、制御部121、カメラ管理部122、マップ管理部123、表示部124、記憶部125、人物情報管理部126、画像処理部127、操作部128、通信部129を含んで構成される。制御部121は、情報処理装置120の各部の動作を制御する。 The information processing device 120 includes a control unit 121, a camera management unit 122, a map management unit 123, a display unit 124, a storage unit 125, a person information management unit 126, an image processing unit 127, an operation unit 128, and a communication unit 129. Will be done. The control unit 121 controls the operation of each unit of the information processing apparatus 120.

カメラ管理部122は、システム100に接続されている撮像装置110の動作及び設定を管理する。システム100には複数台の撮像装置110を接続することができ、カメラ管理部122は、各撮像装置110の種類、設置場所、設置環境、撮像パラメータ等に関する情報を管理する。カメラ管理部122は、撮像装置110に対して設定する撮像パラメータを選択して、通信部129を介して撮像装置110に送信し、撮像条件を設定することができる。また、撮像装置110に対して設定した撮像パラメータや、設置場所、設置環境等の撮像条件に関する情報を、記憶部125に記憶して管理することができる。これらの撮像条件に関する情報は、一度取得して保存した後も、適宜更新することができる。例えば、撮像装置110から定期的に送信される画像を解析して、撮像装置110の設置場所における撮像条件(例えば、照度等)に変化があった場合には、カメラ管理部122は撮像条件に関する情報を更新することができる。 The camera management unit 122 manages the operation and settings of the image pickup apparatus 110 connected to the system 100. A plurality of image pickup devices 110 can be connected to the system 100, and the camera management unit 122 manages information regarding the type, installation location, installation environment, image pickup parameters, and the like of each image pickup device 110. The camera management unit 122 can select an imaging parameter to be set for the imaging device 110 and transmit it to the imaging device 110 via the communication unit 129 to set imaging conditions. Further, it is possible to store and manage the image pickup parameters set for the image pickup apparatus 110 and the information on the image pickup conditions such as the installation location and the installation environment in the storage unit 125. The information regarding these imaging conditions can be appropriately updated even after being acquired and saved once. For example, when an image periodically transmitted from the image pickup device 110 is analyzed and the image pickup conditions (for example, illuminance, etc.) at the installation location of the image pickup device 110 change, the camera management unit 122 relates to the image pickup conditions. Information can be updated.

マップ管理部123は、システム100による監視対象となる領域の物理的マップ、カメラの配置状況などの情報を管理する。これらの情報は記憶部125に格納しておくことができる。表示部124は、撮像装置110から取得した撮像画像を表示出力する他、情報処理装置120における各種処理の設定情報、情報処理装置120における処理結果を表示するための画面、あるいは、撮像装置110の設定情報や撮像パラメータ等を設定、変更するための設定用画面、通知出力のための画面の表示を行うことができる。また、表示部124は、画像出力の他、音声出力を行う機能を有していてもよい。表示部124は、ディスプレイ等の表示装置と、当該表示装置における表示を制御する表示制御部とで構成することができる。また、ディスプレイは情報処理装置120の外部に設置され、情報処理装置120と接続して利用する形態であってもよい。 The map management unit 123 manages information such as a physical map of an area to be monitored by the system 100 and the arrangement status of cameras. These information can be stored in the storage unit 125. In addition to displaying and outputting the captured image acquired from the image pickup device 110, the display unit 124 displays and outputs setting information of various processes in the information processing device 120, a screen for displaying the processing result in the information processing device 120, or the image pickup device 110. It is possible to display a setting screen for setting and changing setting information, imaging parameters, etc., and a screen for notification output. Further, the display unit 124 may have a function of outputting audio in addition to image output. The display unit 124 can be composed of a display device such as a display and a display control unit that controls the display on the display device. Further, the display may be installed outside the information processing apparatus 120 and may be used by connecting to the information processing apparatus 120.

記憶部125は、撮像装置110から受信した画像データを記憶したり、画像処理部127における処理に用いられる情報や、処理結果を記憶したりする。また、カメラ管理部122により管理される撮像条件に関する情報、マップ管理部123により管理される監視対象領域の情報、人物情報管理部126により管理される監視対象の人物に関する情報等を記憶することができる。 The storage unit 125 stores image data received from the image pickup apparatus 110, information used for processing in the image processing unit 127, and processing results. Further, it is possible to store information on the imaging conditions managed by the camera management unit 122, information on the monitored area managed by the map management unit 123, information on the monitored person managed by the person information management unit 126, and the like. can.

人物情報管理部126は、監視対象の人物に関する情報を管理する。具体的には、情報登録装置130から取得した監視対象の人物の情報(人物の登録画像、目的地(行き先)、その他の情報等)を記憶部125に記憶し、管理する。また、目的地に応じた撮像装置110を特定し、情報登録装置130に対して当該撮像装置110の撮像条件の情報を通信部129を介して提供する。 The person information management unit 126 manages information about the person to be monitored. Specifically, the information of the person to be monitored (registered image of the person, destination (destination), other information, etc.) acquired from the information registration device 130 is stored and managed in the storage unit 125. Further, the image pickup device 110 according to the destination is specified, and the information of the image pickup condition of the image pickup device 110 is provided to the information registration device 130 via the communication unit 129.

画像処理部127は、本実施形態に対応する画像解析処理を実行し、解析結果を出力する処理部である。当該解析処理には、例えば、撮像装置110から取得した撮像画像と、人物情報管理部126が管理する登録画像とを比較して、監視対象の人物を認証し追跡する処理が含まれる。 The image processing unit 127 is a processing unit that executes image analysis processing corresponding to the present embodiment and outputs an analysis result. The analysis process includes, for example, a process of comparing the captured image acquired from the image pickup apparatus 110 with the registered image managed by the person information management unit 126 to authenticate and track the person to be monitored.

操作部128は、情報処理装置120の操作者からの操作を受け付けることができる。具体的に、撮像装置110、情報処理装置120の設定を変更するための操作を受け付けることができ、キーボード、マウス、各種操作ボタン、タッチパネル等を含むことができる。撮像装置110がネットワーク150に複数台接続されている場合、操作部128により、1つの画面で複数台分の画像データを表示部124に表示するための指示入力を行うことができる。また、画面上で1つの画像データを選択して、その画像データを表示部124に表示するための指示入力を行うこともできる。また、各種設定情報を設定、変更するための指示入力を行うことができる。さらには、本実施形態に対応する画像解析処理の結果に対する評価を入力することができる。 The operation unit 128 can receive an operation from the operator of the information processing device 120. Specifically, it can accept operations for changing the settings of the image pickup device 110 and the information processing device 120, and can include a keyboard, a mouse, various operation buttons, a touch panel, and the like. When a plurality of image pickup devices 110 are connected to the network 150, the operation unit 128 can input instructions for displaying image data for the plurality of units on the display unit 124 on one screen. It is also possible to select one image data on the screen and input an instruction for displaying the image data on the display unit 124. In addition, it is possible to input instructions for setting and changing various setting information. Further, it is possible to input an evaluation for the result of the image analysis process corresponding to the present embodiment.

通信部129は、撮像装置110から送信される画像データを受信する。また、通信部129は、情報処理装置120のユーザが表示部124や操作部128を使用して設定した設定情報や制御情報、配信命令を撮像装置110に送信することができる。また、情報登録装置130が取得した監視対象の人物に関する情報を情報登録装置130から受信し、当該受信した人物に関する情報に基づき、情報登録装置130で人物画像を撮像する際の撮像条件を選択し、送信することができる。さらに、情報処理装置120で画像を解析処理した結果(上記通知を含む)をネットワーク150に接続された表示装置140に出力することができる。 The communication unit 129 receives the image data transmitted from the image pickup apparatus 110. Further, the communication unit 129 can transmit the setting information, the control information, and the distribution command set by the user of the information processing device 120 using the display unit 124 and the operation unit 128 to the image pickup device 110. Further, the information about the person to be monitored acquired by the information registration device 130 is received from the information registration device 130, and the imaging conditions for capturing the person image with the information registration device 130 are selected based on the received information about the person. , Can be sent. Further, the result of image analysis processing by the information processing device 120 (including the above notification) can be output to the display device 140 connected to the network 150.

情報登録装置130は、本システム100による監視対象の領域に入る被写体、特には人物の情報を登録するための装置である。情報登録装置130は、情報登録部131、カメラ部132、通信部133及び制御部134を含む。情報登録部131は、例えば情報登録用のユーザインタフェースを表示する画面及び入力装置として構成することができ、具体的にはタッチパネルであってもよい。カメラ部132は撮像装置110の撮像部111と同等の構成を含み、登録対象の人物を撮像し、画像を生成することができる。通信部133は、ネットワーク150を介して情報処理装置120と通信を行う。制御部134は、情報登録部131、カメラ部132及び通信部133の動作を含めて情報登録装置130の全体的な動作を制御するとともに、情報登録装置130に要求される各種の処理を実行する。 The information registration device 130 is a device for registering information on a subject, particularly a person, who enters the area to be monitored by the system 100. The information registration device 130 includes an information registration unit 131, a camera unit 132, a communication unit 133, and a control unit 134. The information registration unit 131 can be configured as, for example, a screen displaying a user interface for information registration and an input device, and may be specifically a touch panel. The camera unit 132 includes the same configuration as the image pickup unit 111 of the image pickup device 110, and can image a person to be registered and generate an image. The communication unit 133 communicates with the information processing device 120 via the network 150. The control unit 134 controls the overall operation of the information registration device 130 including the operations of the information registration unit 131, the camera unit 132, and the communication unit 133, and executes various processes required for the information registration device 130. ..

カメラ部132は、監視対象の領域内に配置され、ネットワーク150と接続される複数の撮像装置110のそれぞれの撮像条件と同様の撮像条件で撮像が可能に設定及び配置される。カメラ部132は1台の撮像装置だけでなく、複数台の撮像装置から構成されてもよい。その場合に、一部の撮像装置は情報登録装置130内に内蔵されていてもよいし、それ以外の撮像装置は情報登録装置130の外部に設置され、情報登録装置130と接続されていてもよい。また、カメラ部132を撮像装置110として構成してもよい。 The camera unit 132 is arranged in the area to be monitored, and is set and arranged so that imaging can be performed under the same imaging conditions as the imaging conditions of the plurality of imaging devices 110 connected to the network 150. The camera unit 132 may be composed of not only one image pickup device but also a plurality of image pickup devices. In that case, some image pickup devices may be built in the information registration device 130, and other image pickup devices may be installed outside the information registration device 130 and connected to the information registration device 130. good. Further, the camera unit 132 may be configured as the image pickup device 110.

情報登録装置130においては、情報登録部131において人物に対して監視対象の領域内のいずれかの目的地(行き先)の入力を促すとともに、カメラ部132で人物画像の撮像を行い、通信部133を介して情報処理装置120へこれらの情報を提供する。情報登録装置130は、人物が情報登録部131に対して目的地の入力を行うと、当該目的地の情報を情報処理装置120に送信し、当該目的地と関連する撮像装置110の撮像パラメータ等の撮像条件の情報を取得する。そして、人物画像の撮像を行う場合、情報処理装置120から取得した撮像条件の情報に従って撮像を行う。 In the information registration device 130, the information registration unit 131 prompts the person to input any destination (destination) in the monitored area, and the camera unit 132 captures the person image, and the communication unit 133. This information is provided to the information processing apparatus 120 via the above. When a person inputs a destination to the information registration unit 131, the information registration device 130 transmits the information of the destination to the information processing device 120, and the image pickup parameters of the image pickup device 110 related to the destination and the like. Acquires information on the imaging conditions of. Then, when the person image is captured, the image is captured according to the information of the imaging conditions acquired from the information processing apparatus 120.

表示装置140は、撮像装置110が撮像する画像を表示するとともに、情報処理装置120から受信した各種の画像解析結果を出力することができる。また、撮像装置110で撮像する撮像条件・撮像パラメータを指示・変更するためのユーザインタフェースを提供したり、配信された映像を表示することもできる。情報処理装置120の表示部124を表示装置140として構成してもよい。 The display device 140 can display the image captured by the image pickup device 110 and output various image analysis results received from the information processing device 120. In addition, it is possible to provide a user interface for instructing / changing the imaging conditions / imaging parameters to be captured by the imaging device 110, and to display the distributed video. The display unit 124 of the information processing device 120 may be configured as the display device 140.

ネットワーク150は、LANやインターネット等のIPベースの通信が可能な通信回線である。ネットワーク150は、有線/無線の形態を問わず、用途や目的に応じて、必要な形態の通信回線が実装される。撮像装置110は、指定された撮像条件に従ってライブ映像を撮像し、得られた画像データをネットワーク150経由で各装置に配信することができる。 The network 150 is a communication line capable of IP-based communication such as LAN and the Internet. In the network 150, regardless of the form of wired / wireless, a communication line in a required form is mounted according to the use and purpose. The image pickup device 110 can take a live image according to a designated picture pickup condition and distribute the obtained image data to each device via the network 150.

図1に示すシステム100構成において、撮像装置110の台数は1台以上の任意の数とすることができ、台数に限定はない。情報処理装置120、情報登録装置130及び表示装置140は、単一の装置により実現される場合だけでなく、それぞれ複数の装置が協働して各機能を実現してもよい。 In the system 100 configuration shown in FIG. 1, the number of image pickup devices 110 can be any number of one or more, and the number is not limited. The information processing device 120, the information registration device 130, and the display device 140 may be realized not only by a single device but also by a plurality of devices working together to realize each function.

次に、本実施形態に対応するシステム100を構成する情報処理装置120の概略構成を説明する。図2は、情報処理装置120のハードウェア構成の一例を示すブロック図である。上述した情報登録装置130、表示装置140も、同様或いは同等のハードウェア構成として構成しても良い。また、撮像装置110の撮像部111以外の構成について、当該ハードウェア構成と同様の構成を採用することができる。 Next, a schematic configuration of the information processing apparatus 120 constituting the system 100 corresponding to the present embodiment will be described. FIG. 2 is a block diagram showing an example of the hardware configuration of the information processing apparatus 120. The information registration device 130 and the display device 140 described above may be configured in the same or equivalent hardware configuration. Further, with respect to the configuration other than the imaging unit 111 of the imaging device 110, the same configuration as the hardware configuration can be adopted.

図2において、CPU200は、制御部121として動作することができ、ハードディスク装置(以下、HDと呼ぶ)205に格納されているアプリケーションプログラム、オペレーティングシステム(OS)や制御プログラム等を実行し、RAM202にプログラムの実行に必要な情報、ファイル等を一時的に格納する制御を行う。また、画像処理部127として動作することも可能であって、撮像装置110から提供された画像データの解析処理等を実行する。さらには、インタフェース(I/F)208を介した外部の情報登録装置130や表示装置140とのデータ送受信を制御する。なお、後述する図3及び図4における処理もCPU200が対応する処理プログラムを実行することにより装置全体を制御して実現することができる。 In FIG. 2, the CPU 200 can operate as a control unit 121, executes an application program, an operating system (OS), a control program, etc. stored in the hard disk device (hereinafter referred to as HD) 205, and is executed in the RAM 202. Controls to temporarily store information, files, etc. necessary for program execution. It is also possible to operate as the image processing unit 127, and execute analysis processing and the like of image data provided by the image pickup apparatus 110. Further, it controls data transmission / reception to / from the external information registration device 130 and the display device 140 via the interface (I / F) 208. The processes in FIGS. 3 and 4, which will be described later, can also be realized by controlling the entire device by executing the corresponding processing program by the CPU 200.

ROM201は、内部に基本I/Oプログラムの他、所定の処理を実行するアプリケーションプログラム等の各種データを記憶する。RAM202は各種データを一時記憶し、CPU200の主メモリ、ワーク領域等として機能する。また、撮像装置110から受信した情報を一時的に記憶する。外部記憶ドライブ203は、記録媒体へのアクセスを実現するための外部記憶ドライブであり、メディア(記録媒体)204に記憶されたプログラム等を本コンピュータシステムにロードすることができる。尚、メディア204は、例えば、CD-ROM、CD-R、CD-RW、DVD、Blu-ray(登録商標)、ICメモリカード、メモリスティック等を利用することができる。 The ROM 201 internally stores various data such as an application program that executes a predetermined process in addition to the basic I / O program. The RAM 202 temporarily stores various data and functions as a main memory, a work area, or the like of the CPU 200. In addition, the information received from the image pickup apparatus 110 is temporarily stored. The external storage drive 203 is an external storage drive for realizing access to the recording medium, and can load a program or the like stored in the media (recording medium) 204 into the computer system. As the media 204, for example, a CD-ROM, a CD-R, a CD-RW, a DVD, a Blu-ray (registered trademark), an IC memory card, a memory stick, or the like can be used.

ハードディスク装置205は、本実施形態では大容量メモリとして機能するHD(ハードディスク)を用いている。HD205には、アプリケーションプログラム、OS、制御プログラム、関連プログラム等が格納される。なお、ハードディスクの代わりに、フラッシュ(登録商標)メモリ等の不揮発性記憶装置を用いても良い。ハードディスク装置205を、記憶部125として機能するように構成することができる。 In the present embodiment, the hard disk device 205 uses an HD (hard disk) that functions as a large-capacity memory. The HD 205 stores an application program, an OS, a control program, a related program, and the like. A non-volatile storage device such as a flash (registered trademark) memory may be used instead of the hard disk. The hard disk device 205 can be configured to function as a storage unit 125.

指示入力装置206は、キーボードやポインティングデバイス(マウス等)、タッチパネル等がこれに相当する。出力装置207は、指示入力装置206から入力されたコマンドや、それに対する応答出力等を出力する。出力装置207にはディスプレイ、スピーカ、ヘッドフォン端子等を含むことができる。システムバス209は、情報処理装置120内のデータの流れを司る。 The instruction input device 206 corresponds to a keyboard, a pointing device (mouse or the like), a touch panel or the like. The output device 207 outputs a command input from the instruction input device 206, a response output to the command, and the like. The output device 207 may include a display, a speaker, a headphone terminal, and the like. The system bus 209 controls the flow of data in the information processing apparatus 120.

インタフェース(以下、I/Fという)208は、外部装置とのデータのやり取りを仲介する役割を果たす。具体的に、I/F208は、無線通信モジュールを含むことができ、当該モジュールはアンテナシステム、RF送受信器、1つ以上の増幅器、同調器、1つ以上の発振器、デジタル信号プロセッサ、CODECチップセット、加入者識別モジュールカード、メモリなどを含む、周知の回路機構を含むことができる。また、有線接続のための有線通信モジュールを含むことができる。有線通信モジュールは1つ以上の外部ポートを介して他のデバイスとの通信を可能とする。また、データを処理する様々なソフトウェアコンポーネントを含むことができる。外部ポートは、イーサーネット、USBやIEEE1394等を介して、直接的に、又はネットワークを介して間接的に他のデバイスと結合する。尚、以上の各装置と同等の機能を実現するソフトウェアにより、ハードウェア装置の代替として構成することもできる。 The interface (hereinafter referred to as I / F) 208 plays a role of mediating the exchange of data with an external device. Specifically, the I / F 208 can include a wireless communication module, which is an antenna system, an RF transmitter / receiver, one or more amplifiers, a tuner, one or more oscillators, a digital signal processor, a CODEC chipset. , A well-known circuit mechanism can be included, including a subscriber identification module card, memory, and the like. It can also include a wired communication module for a wired connection. Wired communication modules allow communication with other devices via one or more external ports. It can also include various software components that process the data. External ports connect to other devices directly or indirectly via a network via Ethernet, USB, IEEE 1394, etc. It should be noted that the software that realizes the same functions as each of the above devices can be configured as a substitute for the hardware device.

本実施形態に対応する処理を実行するために対応するプログラムを動作させる度に、既にプログラムがインストールされているHD205からRAM202にロードするようにしてもよい。また、本実施形態に係るプログラムをROM201に記録しておき、これをメモリマップの一部をなすように構成し、直接CPU200で実行することも可能である。さらに、メディア204から対応プログラム及び関連データを直接RAM202にロードして実行させることもできる。 Every time the corresponding program is operated in order to execute the process corresponding to the present embodiment, the program may be loaded from the HD 205 to the RAM 202 in which the program is already installed. It is also possible to record the program according to the present embodiment in the ROM 201, configure it to form a part of the memory map, and execute it directly on the CPU 200. Further, the corresponding program and related data can be directly loaded into the RAM 202 from the media 204 and executed.

本実施形態のシステム100は、例えば図3に示すような施設内を監視対象領域300とすることができる。当該監視対象領域には入退出口307があり、該領域に入る人物は、受付306で登録処理を行う。受付306には、情報登録装置130が設置されており、入退出口307から中に入った人物は情報登録装置130において登録手続きを行う。カメラ301は、情報登録装置130のカメラ部132として機能する。カメラ301は複数台が設置されていてもよい。 In the system 100 of the present embodiment, for example, the inside of the facility as shown in FIG. 3 can be set as the monitoring target area 300. The monitored area has an entrance / exit 307, and a person who enters the area performs registration processing at the reception 306. An information registration device 130 is installed at the reception 306, and a person who enters from the entrance / exit 307 performs a registration procedure at the information registration device 130. The camera 301 functions as a camera unit 132 of the information registration device 130. A plurality of cameras 301 may be installed.

また、監視対象領域には、複数の独立した空間(例えば、部屋)A1からA4が含まれており、各空間、あるいは、その入り口にはそれぞれ当該空間と関連付けられたカメラ302から305が設置されている。カメラ302から305は、図1に示した撮像装置110として機能することができ、ネットワーク150を介して情報処理装置120に撮像画像を送信することができる。また、カメラ301も図1の撮像装置110として構成することができ、その場合、ネットワーク150を介して情報登録装置130に撮像画像を送信するとともに、情報処理装置120にも送信することができる。 Further, the monitored area includes a plurality of independent spaces (for example, rooms) A1 to A4, and cameras 302 to 305 associated with the space are installed in each space or at the entrance thereof. ing. The cameras 302 to 305 can function as the image pickup apparatus 110 shown in FIG. 1, and can transmit the captured image to the information processing apparatus 120 via the network 150. Further, the camera 301 can also be configured as the image pickup device 110 of FIG. 1, in which case the captured image can be transmitted to the information registration device 130 and also to the information processing device 120 via the network 150.

また、図3に示すようなカメラ301から305の配置情報は、マップ管理部123によりマップ情報として生成されて記憶部125に保存される。さらに、本実施形態では、監視対象領域300に隣接して管理室310が設置されており、管理室310には情報処理装置120や表示装置140を設置することができる。よって、監視対象領域300における人物の監視を行う監視員や警備員は管理室310内に待機して、情報処理装置120や表示装置140を操作することができる。 Further, the arrangement information of the cameras 301 to 305 as shown in FIG. 3 is generated as map information by the map management unit 123 and stored in the storage unit 125. Further, in the present embodiment, the management room 310 is installed adjacent to the monitored area 300, and the information processing device 120 and the display device 140 can be installed in the management room 310. Therefore, a guard or a guard who monitors a person in the monitored area 300 can stand by in the management room 310 and operate the information processing device 120 and the display device 140.

次に図4を参照して、本実施形態に対応する情報登録装置130が実行する処理を説明する。該フローチャートに対応する処理は、例えば、各処理部として機能する1以上のプロセッサ(例えば、CPU200)が対応するプログラム(ROM201やHD205等に格納)を実行することにより実現できる。 Next, with reference to FIG. 4, a process executed by the information registration device 130 corresponding to the present embodiment will be described. The process corresponding to the flowchart can be realized, for example, by executing a program (stored in ROM 201, HD 205, etc.) corresponding to one or more processors (for example, CPU 200) functioning as each processing unit.

まず、監視対象候補の人物が監視対象領域300内に登場すると、S401において情報登録部131は、情報登録を行うための登録画面を表示する。続くS402において、情報登録部131は、登録画面において目的地(行き先)の選択を受け付ける。本実施形態の場合、図3で示した空間A1からA4のいずれか1つが目的地となるので、そのいずれかが選択されることとなる。S402において目的地の選択を受け付けると、S403において情報登録部131は、通信部133を介して、目的地を示す情報をネットワーク150経由で情報処理装置120に送信する。例えば、ここでは空間A1が選択されたものとする。このとき、情報登録装置130は、撮像条件を要求するメッセージに目的地を示す情報を添付して送信してもよい。 First, when a person who is a candidate for monitoring appears in the monitoring target area 300, the information registration unit 131 in S401 displays a registration screen for performing information registration. In the following S402, the information registration unit 131 accepts the selection of the destination (destination) on the registration screen. In the case of the present embodiment, since any one of the spaces A1 to A4 shown in FIG. 3 is the destination, any one of them will be selected. When the selection of the destination is accepted in S402, the information registration unit 131 in S403 transmits the information indicating the destination to the information processing apparatus 120 via the network 150 via the communication unit 133. For example, it is assumed that the space A1 is selected here. At this time, the information registration device 130 may send a message requesting imaging conditions with information indicating a destination attached.

情報処理装置120側では、情報登録装置130から送信されてきた目的地を示す情報を受信すると、当該目的地の空間A1に設置されている撮像装置110(カメラ302)の撮像条件の情報をネットワーク150経由で情報登録装置130に送信する。 On the information processing apparatus 120 side, when the information indicating the destination transmitted from the information registration apparatus 130 is received, the information on the imaging conditions of the imaging apparatus 110 (camera 302) installed in the space A1 of the destination is transmitted to the network. It is transmitted to the information registration device 130 via 150.

情報登録装置130では、S404において情報処理装置120が送信した撮像条件の情報を受信する。ここで受信する撮像条件には、大きく、カメラパラメータと環境パラメータとが含まれる。カメラパラメータは、撮像装置110の撮像動作を制御するためのパラメータであり、例えば、撮像解像度、露出、シャッタースピード、明るさ、ホワイトバランス等の少なくともいずれか含まれる。また環境パラメータは、撮像装置110の撮像環境に関するパラメータであって、撮像装置110が設置されている環境の照度、照明種別、照明色、撮像角度等の少なくともいずれかが含まれる。 The information registration device 130 receives the information on the imaging conditions transmitted by the information processing device 120 in S404. The imaging conditions received here largely include camera parameters and environmental parameters. The camera parameter is a parameter for controlling the imaging operation of the imaging device 110, and includes, for example, at least one of imaging resolution, exposure, shutter speed, brightness, white balance, and the like. Further, the environmental parameter is a parameter related to the imaging environment of the imaging device 110, and includes at least one of the illuminance, the illumination type, the illumination color, the imaging angle, and the like of the environment in which the imaging device 110 is installed.

次に、S405では、S404で受信した各種の撮像条件のうち、カメラパラメータをカメラ部132に適用する。例えば、シャッタースピードや解像度等を設定する。次いで、S406では、撮像条件のうちの環境パラメータをカメラ部132に適用する。例えば、カメラの角度等を設定する。これにより、監視対象候補の人物が目的地である空間A1に到着(到達)した際にカメラ302で撮像される場合の撮像条件に対応する撮像条件での登録画像の撮像が可能となる。続くS407では、カメラ部132により被写体である人物の撮像を行い、登録画像を生成する。続くS408において、通信部133は生成した登録画像を、目的地や、登録画面において入力されたその他の情報と共に情報処理装置120に送信する。 Next, in S405, among the various imaging conditions received in S404, the camera parameter is applied to the camera unit 132. For example, set the shutter speed, resolution, and the like. Next, in S406, the environmental parameters of the imaging conditions are applied to the camera unit 132. For example, set the angle of the camera. As a result, it becomes possible to capture the registered image under the imaging conditions corresponding to the imaging conditions when the person of the monitoring target candidate arrives (reaches) the space A1 which is the destination and is imaged by the camera 302. In the following S407, the camera unit 132 captures a person who is a subject and generates a registered image. In the following S408, the communication unit 133 transmits the generated registered image to the information processing apparatus 120 together with the destination and other information input on the registration screen.

情報処理装置120側では、情報登録装置130から登録画像等を受信すると、受信した情報を人物情報管理部126が記憶部125に保存して、登録が完了したことを情報登録装置130に通知する。S409では、情報登録装置130は当該通知を受信すると、情報登録部131が登録が完了した旨の表示を行い、所定の案内表示を行った後に処理を終了する。このような処理により登録された人物は、その後、目的地である空間A1へ向かうことになる。 On the information processing device 120 side, when a registered image or the like is received from the information registration device 130, the person information management unit 126 stores the received information in the storage unit 125 and notifies the information registration device 130 that the registration is completed. .. In S409, when the information registration device 130 receives the notification, the information registration unit 131 displays that the registration is completed, displays a predetermined guidance, and then ends the process. The person registered by such processing then heads for the destination space A1.

以上により、監視対象の人物の目的地において当該人物を認証する撮像装置110で当該人物を撮像する場合の撮像条件と、人物が登録を行う際の撮像条件とを一致、あるいは、可能な限り近づけることが可能となる。このように撮像条件を一致(あるいは、近づける、近似させる、合わせる、対応させる)ことにより、登録時に生成された登録画像における人物像と、目的地における人物認証時の人物像との乖離をできるだけ少なくすることができるので、人物認証の精度を高めることが可能となる。 As described above, the imaging conditions when the person is imaged by the imaging device 110 that authenticates the person at the destination of the person to be monitored and the imaging conditions when the person registers are matched or made as close as possible. It becomes possible. By matching (or approaching, approximating, matching, and matching) the imaging conditions in this way, the discrepancy between the person image in the registered image generated at the time of registration and the person image at the time of person authentication at the destination is minimized. Therefore, it is possible to improve the accuracy of person authentication.

本実施形態において、カメラパラメータや環境パラメータといった撮像条件の情報は、情報処理装置120が事前に情報として取得、保存しておいてもよいし、情報登録装置130からのパラメータ要求時、あるいは、目的地の受信時に新たに取得してもよい。 In the present embodiment, information on imaging conditions such as camera parameters and environmental parameters may be acquired and stored as information in advance by the information processing device 120, when a parameter is requested from the information registration device 130, or for the purpose. It may be newly acquired when the ground is received.

次に、発明の実施形態に対応する情報処理装置120における処理を図5のフローチャートを参照して説明する。該フローチャートに対応する処理は、例えば、各処理部として機能する1以上のプロセッサ(例えば、CPU200)が対応するプログラム(ROM201やHD205等に格納)を実行することにより実現できる。 Next, the process in the information processing apparatus 120 corresponding to the embodiment of the invention will be described with reference to the flowchart of FIG. The process corresponding to the flowchart can be realized, for example, by executing a program (stored in ROM 201, HD 205, etc.) corresponding to one or more processors (for example, CPU 200) functioning as each processing unit.

上述のようにして情報登録装置130において人物が登録されると、情報処理装置120は人物認証のための処理を開始する。まずS501において、制御部121は監視対象の人物が目的地に到着(あるいは到達)するまでの時間を予測し、一定時間以上人物が現れなかったときにアラームを発生するために、タイマーをセットする。ここでの目的地は、空間A1とする。空間A1の入口に設置されたカメラ302が撮像した撮像画像は、ネットワーク150を介して情報処理装置120に送信されている。画像処理部127は、受信した撮像画像を解析して人物の存在を検出する。人物の検出方法としては、背景差分法、あるいは、テンプレートマッチング等の公知の手法を採用することができ、詳細な説明は省略する。もし人物が検出された場合(S502で「YES」)、処理はS503に移行する。人物が検出されない場合、処理はS508に移行する。 When a person is registered in the information registration device 130 as described above, the information processing device 120 starts the process for person authentication. First, in S501, the control unit 121 predicts the time until the person to be monitored arrives (or reaches) the destination, and sets a timer to generate an alarm when the person does not appear for a certain period of time. .. The destination here is space A1. The captured image captured by the camera 302 installed at the entrance of the space A1 is transmitted to the information processing apparatus 120 via the network 150. The image processing unit 127 analyzes the received captured image to detect the presence of a person. As a method for detecting a person, a known method such as background subtraction method or template matching can be adopted, and detailed description thereof will be omitted. If a person is detected (“YES” in S502), the process proceeds to S503. If no person is detected, the process proceeds to S508.

S503では、画像処理部127は情報登録装置130から取得した登録画像との照合を行い、撮像画像に含まれる人物と、登録画像に含まれる人物とが一致するか否かを判定する。当該判定は、登録された人物が目的地に到着したか否かの判定に相当する。もし、登録画像に含まれる人物と、S502で検出された人物とが一致した場合には(S504において「YES」)、処理はS505に移行する。一方、人物が一致しない場合(S505において「NO」)、処理はS507に進む。ここでの人物が一致するかどうかの判定処理は、例えば、それぞれの画像に含まれる人物画像から特徴量を抽出して比較するなどの公知の手法により実施することができるので、詳細な説明は省略する。 In S503, the image processing unit 127 collates with the registered image acquired from the information registration device 130, and determines whether or not the person included in the captured image matches the person included in the registered image. The determination corresponds to a determination as to whether or not the registered person has arrived at the destination. If the person included in the registered image matches the person detected in S502 (“YES” in S504), the process proceeds to S505. On the other hand, if the persons do not match (“NO” in S505), the process proceeds to S507. The process of determining whether or not the persons match here can be performed by a known method such as extracting a feature amount from the person images included in each image and comparing them. Omit.

S505では、制御部121が画像処理部127における照合結果に基づき、S501でセットしたタイマーをストップする。続くS506において人物情報管理部126は監視対象であった人物の入室を記録する。例えば、人物の登録情報と関連付けて入室時刻を記憶部125に保存する。このとき、制御部121は、登録人物が正常に目的地に到着したことを表示部124に表示して報知することができる。その後、処理はS510に進む。また、S507では、検出された人物が登録画像と一致しない場合、制御部121は表示部124にアラート表示を行って、未登録の人物が存在する(入室しようとしている)ことを通知する。また、他の目的地(例えば、A2)に向かうはずの登録人物が誤って空間A1に到来した場合には、目的地を間違っている旨の通知を行ってもよい。その後、処理はS502に戻る。 In S505, the control unit 121 stops the timer set in S501 based on the collation result in the image processing unit 127. In the following S506, the person information management unit 126 records the entry of the person to be monitored. For example, the entry time is stored in the storage unit 125 in association with the registration information of the person. At this time, the control unit 121 can display on the display unit 124 that the registered person has normally arrived at the destination and notify the display unit. After that, the process proceeds to S510. Further, in S507, when the detected person does not match the registered image, the control unit 121 displays an alert on the display unit 124 to notify that an unregistered person exists (trying to enter the room). Further, when a registered person who is supposed to go to another destination (for example, A2) accidentally arrives at the space A1, a notification to the effect that the destination is wrong may be given. After that, the process returns to S502.

S508では、制御部121がタイマーセットから所定時間が経過したかを判定する。この判定処理は、登録人物が所定時間内に目的地に到着したかどうかを判断するためである。所定時間は、図3のマップにおいて受付311から目的地までの距離に応じて概算で決定することができる。所定時間の情報は、マップ管理部123により管理することができる。所定時間が経過していない場合(S508で「NO」)には処理はS502に戻る。所定時間が経過した場合(S508で「YES」)、処理はS509に進む。S509では、制御部121は登録人物が行方不明となっている旨のアラートを表示部124に表示する。その後処理はS510に進む。 In S508, the control unit 121 determines whether a predetermined time has elapsed from the timer set. This determination process is for determining whether or not the registered person has arrived at the destination within a predetermined time. The predetermined time can be roughly determined according to the distance from the reception desk 311 to the destination on the map of FIG. The information at the predetermined time can be managed by the map management unit 123. If the predetermined time has not elapsed (“NO” in S508), the process returns to S502. When the predetermined time has elapsed (“YES” in S508), the process proceeds to S509. In S509, the control unit 121 displays an alert to the effect that the registered person is missing on the display unit 124. After that, the process proceeds to S510.

S510では、登録人物が(全員)入室したかどうかを判定する。当該判定は、複数人からなるグループで監視対象領域を訪れた場合などにも対応するものであり、図4のフローチャートに従って人物登録処理を複数人が順番に行った場合には、それぞれの人物についてS501からS509までの処理を行い、全ての人物について入室が記録されたかどうかを判定する。全員の入室が記録されれば本処理を終了し、入室が記録されていない登録人物が残っている場合にはS502に戻って処理を継続する。 In S510, it is determined whether or not (all) the registered persons have entered the room. The determination also corresponds to the case where a group of a plurality of people visits the monitored area, and when a plurality of people perform the person registration process in order according to the flowchart of FIG. 4, each person is determined. The processes from S501 to S509 are performed, and it is determined whether or not the entry has been recorded for all the persons. If the entry of all the members is recorded, this process is terminated, and if there are any registered persons whose entry is not recorded, the process returns to S502 and continues.

上記の処理では、人物単位に登録画像を用いて処理を行う場合を説明した。しかし発明の実施形態はこれに限らず、人物情報管理部126が登録済みの人物の情報をリスト化して記憶部125に保存しておき、当該リストに含まれる登録画像の中から撮像画像一致する人物を特定することによって処理を行ってもよい。 In the above processing, the case where the processing is performed using the registered image for each person has been described. However, the embodiment of the invention is not limited to this, and the person information management unit 126 lists the registered person information and stores it in the storage unit 125, and the captured images match from the registered images included in the list. The process may be performed by identifying a person.

また、上記の処理では、目的地に配置された撮像装置110の撮像条件に合わせて登録画像を生成する場合を説明した。しかし発明の実施形態はこれに限らず、例えば、目的地までの経路上に配置された複数の撮像装置110の撮像条件を更に考慮して登録画像を各撮像装置用に生成することができる。例えば、目的地までの経路上に3台の撮像装置110が配置されている場合には、各撮像装置における撮像条件に基づき、図4のフローチャートに従って3台分の撮像装置110のための登録画像を生成することができる。その上で図5のフローチャートに従い、情報処理装置120は経路上の各撮像装置において人物検出が行われた場合に、対応する登録画像を用いて認証を行うことができる。これにより、人物が予定されている経路を正しく辿って目的地に到着したかどうかも監視することができる。 Further, in the above processing, a case where a registered image is generated according to the imaging conditions of the imaging apparatus 110 arranged at the destination has been described. However, the embodiment of the invention is not limited to this, and for example, a registered image can be generated for each image pickup device in consideration of the image pickup conditions of a plurality of image pickup devices 110 arranged on the route to the destination. For example, when three image pickup devices 110 are arranged on the route to the destination, the registered images for the three image pickup devices 110 are arranged according to the flowchart of FIG. 4 based on the image pickup conditions of each image pickup device. Can be generated. Then, according to the flowchart of FIG. 5, the information processing apparatus 120 can perform authentication using the corresponding registered image when the person is detected in each image pickup apparatus on the route. This makes it possible to monitor whether or not the person has correctly followed the planned route and arrived at the destination.

一般には監視システムを利用することで人物の監視を行う監視員や警備員の負担を軽減することができる。しかしながら、照合用の登録済み画像が古くなっていたり、人物の外見に変化があった場合等には、登録画像と照合時の撮像画像との整合性が低くなってしまう。その結果、人物認証精度が低下してアラートが多く発生し、警備員の負担が却って増加することにもなりかねない。これに対して上述の本実施形態に対応するシステム100では、人物登録時の撮像条件(カメラパラメータや環境パラメータ)を、人物照合時の撮像条件に近づけることが可能となる。具体的に、現在の本人の容姿を撮像し、かつ現在のカメラの設定及び撮像環境に合わせて、認証情報を登録することが可能になるため、照合用の登録済み画像と照合時の撮像画像との整合性が高まり、認証精度を高めより精度の高いシステムとして実現することができる。 Generally, by using a monitoring system, it is possible to reduce the burden on the guards and guards who monitor people. However, if the registered image for collation is out of date or the appearance of the person is changed, the consistency between the registered image and the captured image at the time of collation becomes low. As a result, the accuracy of person authentication deteriorates, many alerts are generated, and the burden on security guards may increase. On the other hand, in the system 100 corresponding to the above-described embodiment, it is possible to bring the imaging conditions (camera parameters and environmental parameters) at the time of person registration closer to the imaging conditions at the time of person matching. Specifically, since it is possible to capture the current appearance of the person and register the authentication information according to the current camera settings and imaging environment, the registered image for collation and the captured image at the time of collation It is possible to realize a system with higher accuracy by improving the consistency with and improving the authentication accuracy.

<実施形態2>
次に、発明の第2の実施形態を説明する。本実施形態のシステムも、図1のシステム100と同様に構成することができる。但し、本実施形態では、図6に示すような敷地600内を監視対象領域として監視を行う。図6では、敷地600内に複数のビルが存在する場合を想定している。敷地600内では、入退出ゲート601から敷地内に出入りすることができ、入退出ゲート601にはカメラ610が設置されている。また、入退室ゲート601からビル602、603、604及び605への各径路(歩道)上及び各ビルの入り口付近にカメラ611から619が設置されている。当該カメラ610から619により施設600内を通行する人物を撮像し撮像画像を生成することができる。
<Embodiment 2>
Next, a second embodiment of the invention will be described. The system of this embodiment can also be configured in the same manner as the system 100 of FIG. However, in the present embodiment, monitoring is performed in the site 600 as shown in FIG. 6 as a monitoring target area. In FIG. 6, it is assumed that a plurality of buildings exist in the site 600. Within the site 600, the entrance / exit gate 601 can be used to enter / exit the site, and a camera 610 is installed at the entrance / exit gate 601. In addition, cameras 611 to 619 are installed on each route (sidewalk) from the entrance / exit gate 601 to the buildings 602, 603, 604 and 605 and near the entrance of each building. The cameras 610 to 619 can capture a person passing through the facility 600 and generate an captured image.

また、入退出ゲート601に設置されたカメラ610により、敷地600内に入るための人物登録を行うことができる。また、カメラ611、617、618及び619はそれぞれビル602から605の入口に設置され、各ビルに入るための人物認証用カメラとしても使われる。 In addition, the camera 610 installed at the entrance / exit gate 601 can be used to register a person to enter the site 600. In addition, cameras 611, 617, 618 and 619 are installed at the entrances of buildings 602 to 605, respectively, and are also used as personal authentication cameras for entering each building.

本実施形態においては、情報登録装置130は入退出ゲート601付近に設定し、情報処理装置120は警備員等が待機する部屋、あるいは、入退場受付所等に設置することができる。図6では、当該部屋等は不図示であるが、入退出ゲート601付近に設置することができ、入退出ゲート601を通過しようとする人物に対して情報登録装置130による登録を求めることもできる。カメラ610から619はネットワーク150を介して情報処理装置120及び情報登録装置130と接続されているものとする。 In the present embodiment, the information registration device 130 can be set near the entrance / exit gate 601 and the information processing device 120 can be installed in a room where security guards or the like wait, or in an entrance / exit reception desk or the like. Although the room or the like is not shown in FIG. 6, it can be installed near the entrance / exit gate 601 and can request the person who is going to pass through the entrance / exit gate 601 to be registered by the information registration device 130. .. It is assumed that the cameras 610 to 619 are connected to the information processing device 120 and the information registration device 130 via the network 150.

本実施形態において、入退出ゲート601から、各目的地のビルへ向かう経路上に配置されたカメラをリストとして管理することができる。図7(A)のようにリストすることができる。例えば目的地がビル602である場合、ゲートからビル602へ向かうまでの経路上及びビル602と関連付けられて設置されたカメラは、カメラ616、613、612、611である。ある人物が入退出ゲート601からビル602へ向かうまでにこれらのカメラで撮像されることが予想される。情報処理装置120のマップ管理部123は、このような目的地までの経路ごとのカメラリストを保持、管理することができる。 In the present embodiment, the cameras arranged on the route from the entrance / exit gate 601 to the building at each destination can be managed as a list. It can be listed as shown in FIG. 7 (A). For example, if the destination is building 602, the cameras installed on the route from the gate to building 602 and associated with building 602 are cameras 616, 613, 612, 611. It is expected that a person will be imaged by these cameras from the entrance / exit gate 601 to the building 602. The map management unit 123 of the information processing apparatus 120 can maintain and manage a camera list for each route to such a destination.

また、例えば入退出ゲート601から人物Aが入り、ビル602へ向かうことが登録されると、図7(B)のように目的地とともに、経路上のカメラリスト及び人物を特定するために利用する画像が登録される。また人物Bが入退出ゲート601からビル603へ向かうことが登録されると、図7(B)のように、目的地とともに経路上のカメラがリストされ、更に登録画像が関連付けられる。図7(B)のリストから、カメラごとに、通過予定人物をリストした図が、図7(C)である。各カメラにおいて、通過予定の人物、通過予定がないなどの状況を把握することができる。通過予定人物リストは、認証処理のために各カメラに対応する撮像装置110内でも保持される。 Further, for example, when a person A enters from the entrance / exit gate 601 and is registered to head for the building 602, it is used to identify the camera list and the person on the route together with the destination as shown in FIG. 7B. The image is registered. Further, when the person B is registered to go from the entrance / exit gate 601 to the building 603, the cameras on the route are listed together with the destination as shown in FIG. 7B, and the registered image is further associated. FIG. 7 (C) is a diagram listing the persons scheduled to pass by each camera from the list of FIG. 7 (B). With each camera, it is possible to grasp the situation such as the person who is scheduled to pass and the person who is not scheduled to pass. The list of people scheduled to pass is also held in the image pickup apparatus 110 corresponding to each camera for the authentication process.

次に、図8を参照して本実施形態に対応する処理を説明する。図8は図4のフローチャートを変形したものであって、図8の各ステップのうち図4に含まれるステップに対応するものには同一の参照番号を付してある。図8のフローチャートにおいて、S401からS404、S408からS410における処理は実施形態1と同様である。 Next, the process corresponding to the present embodiment will be described with reference to FIG. FIG. 8 is a modification of the flowchart of FIG. 4, and among the steps of FIG. 8, the steps corresponding to the steps included in FIG. 4 are assigned the same reference numbers. In the flowchart of FIG. 8, the processes in S401 to S404 and S408 to S410 are the same as those in the first embodiment.

実施形態1では、情報登録装置130は、S404で受信した撮像条件に従ってカメラ部132のカメラパラメータ等を設定して撮像を行った。これに対し本実施形態では、カメラ部132の撮像画像を経路上に含まれる各撮像装置の撮像条件に従って処理(加工、補正)して登録画像を生成する。以下、図4のフローチャートと異なる部分について特に説明する。 In the first embodiment, the information registration device 130 sets the camera parameters of the camera unit 132 and the like according to the imaging conditions received in S404, and performs imaging. On the other hand, in the present embodiment, the captured image of the camera unit 132 is processed (processed and corrected) according to the imaging conditions of each imaging device included in the path to generate a registered image. Hereinafter, the parts different from the flowchart of FIG. 4 will be particularly described.

S401における登録画面表示の後、S402において目的地の選択を受け付けると、続くS403において情報処理装置120へ目的地を通知する。このとき、情報処理装置120側では、図7(A)を参照して目的地までの経路上に存在する撮像装置110を特定し、それぞれの撮像条件を情報登録装置130に送信する。例えば、目的地がビル602であった場合には、カメラ611、612、613及び616のそれぞれの撮像条件を情報登録装置130に送信する。 After the registration screen is displayed in S401, when the selection of the destination is accepted in S402, the destination is notified to the information processing apparatus 120 in the subsequent S403. At this time, on the information processing device 120 side, the image pickup device 110 existing on the route to the destination is specified with reference to FIG. 7A, and each image pickup condition is transmitted to the information registration device 130. For example, when the destination is the building 602, the imaging conditions of the cameras 611, 612, 613, and 616 are transmitted to the information registration device 130.

撮像条件の詳細は実施形態1と同様であり、例えばカメラパラメータおよび環境パラメータを含むことができる。これらの情報はカメラ管理部122により記憶部125に保存されたものであってもよいし、本処理の実行をトリガとして、ネットワーク150を介し、その時点でのパラメータを直接に各撮像装置110から取得してもよい。例えば経路上のカメラ616,613、612は屋外に設置されており、日照条件、天候などが時々刻々と変化するため、リアルタイムに撮像条件を取得しておくことも有効である。また、このように状況を考慮した登録画像をカメラ別に用意しておくことで、認証精度を上げることができる。 The details of the imaging conditions are the same as those in the first embodiment, and can include, for example, camera parameters and environmental parameters. These pieces of information may be stored in the storage unit 125 by the camera management unit 122, or the parameters at that time may be directly input from each image pickup device 110 via the network 150 with the execution of this process as a trigger. You may get it. For example, the cameras 616, 613, and 612 on the route are installed outdoors, and the sunshine conditions, the weather, and the like change from moment to moment, so it is also effective to acquire the imaging conditions in real time. In addition, by preparing registered images for each camera in consideration of the situation in this way, the authentication accuracy can be improved.

続くS404において情報処理装置120から撮像条件を受信すると、S801においてカメラ部132により人物を撮像して画像を生成する。次に、S802において、S404で受信した撮像条件に基づき、撮像画像に対して加工や補正といった必要な処理を行う。S404では、目的地までの経路上に存在する各撮像装置(上記の例では、カメラ611、612、613及び616)の撮像条件を受信しているので、S802では、取得した撮像条件(カメラパラメータ、環境パラメータ)に適した画像となるように、撮像画像の加工を行って、カメラ毎の登録画像を生成する。 When the image pickup condition is received from the information processing apparatus 120 in the subsequent S404, the camera unit 132 captures a person in S801 to generate an image. Next, in S802, necessary processing such as processing and correction is performed on the captured image based on the imaging conditions received in S404. In S404, the image pickup conditions of each image pickup device (cameras 611, 612, 613 and 616 in the above example) existing on the route to the destination are received. Therefore, in S802, the acquired image pickup conditions (camera parameters) are received. , Environmental parameters), the captured image is processed so that the image is suitable, and the registered image for each camera is generated.

次に、S408において通信部133は、生成した登録画像を、目的地や、登録画面において入力されたその他の情報と共に情報処理装置120に送信する。S409以降の処理は図4における処理と同様である。 Next, in S408, the communication unit 133 transmits the generated registration image to the information processing apparatus 120 together with the destination and other information input on the registration screen. The processing after S409 is the same as the processing in FIG.

上記においては、画像の加工を情報登録装置130側で行う場合を説明した。これに限らず、例えば、情報登録装置130側ではS403の目的地の通知、S404の撮像条件の受信、S802の画像の加工を省略し、主に目的地の選択受付と人物画像の撮像を行って、目的地の情報と加工前の撮像画像等を情報処理装置120に送信するだけでもよい。そして、情報処理装置120の画像処理部127において目的地までの経路に基づき、経路上の各撮像装置110の撮像条件に対応する画像処理を行ってもよい。 In the above, the case where the image processing is performed on the information registration device 130 side has been described. Not limited to this, for example, on the information registration device 130 side, notification of the destination of S403, reception of the imaging condition of S404, and processing of the image of S802 are omitted, and the selection reception of the destination and the imaging of the person image are mainly performed. Therefore, the information on the destination and the captured image before processing may be simply transmitted to the information processing apparatus 120. Then, the image processing unit 127 of the information processing apparatus 120 may perform image processing corresponding to the imaging conditions of each imaging apparatus 110 on the route based on the route to the destination.

このようにして情報処理装置120が登録人物の目的地と登録画像を取得すると、次に図9に対応する処理が実行される。図9は図5のフローチャートを変形したものであって、図9の各ステップのうち図5に含まれるステップに対応するものには同一の参照番号を付してある。図9のフローチャートにおいて、S501からS504、S505からS510における処理は、表現の違いを除けば実質的に実施形態1と同様である。 When the information processing apparatus 120 acquires the destination and the registered image of the registered person in this way, the process corresponding to FIG. 9 is executed next. FIG. 9 is a modification of the flowchart of FIG. 5, and the same reference number is assigned to each step of FIG. 9 corresponding to the step included in FIG. In the flowchart of FIG. 9, the processes in S501 to S504 and S505 to S510 are substantially the same as those in the first embodiment except for the difference in expression.

実施形態1では、登録画像との照合に基づく人物認証を情報処理装置120側で行った。これに対し本実施形態では、目的地までの経路上に設置された各撮像装置において撮像画像と登録画像との照合により人物認証を行い、その認証結果が情報処理装置120に通知されるものとする。以下、図5のフローチャートと異なる部分について特に説明する。 In the first embodiment, the person authentication based on the collation with the registered image is performed on the information processing apparatus 120 side. On the other hand, in the present embodiment, each image pickup device installed on the route to the destination performs person authentication by collating the captured image with the registered image, and the authentication result is notified to the information processing device 120. do. Hereinafter, the parts different from the flowchart of FIG. 5 will be particularly described.

S501において制御部121は監視対象の人物が目的地に到着するまでの時間を予測し、タイマーをセットする。ここでの目的地は、ビル602とする。該タイマーには、監視対象の人物がビル602へ到着するまでの十分な時間がセットされるものとする。続くS901では、ビル602までの経路上のカメラ616、613、612、611のいずれかから人物認証結果を受信したか否かを制御部121が判定する。カメラ側の処理については図10を参照して後述する。認証結果を受信した場合(S901で「YES」)、処理はS902に移行する。認証結果を受信しない場合、処理はS508に移行する。S508では、制御部121がタイマーセットから所定時間が経過したかを判定し、所定時間が経過した場合(S508で「YES」)、処理はS509に進む。S509では、制御部121は登録人物が行方不明となっている旨のアラートを表示部124に表示する。このとき、経路上のカメラの認証状況を表示部124に併せて表示することにより、監視対象の人物が目的地に対してどこまで進んでいたかを通知できる。 In S501, the control unit 121 predicts the time until the person to be monitored arrives at the destination, and sets a timer. The destination here is building 602. It is assumed that the timer is set to a sufficient time until the person to be monitored arrives at the building 602. In the following S901, the control unit 121 determines whether or not the person authentication result is received from any of the cameras 616, 613, 612, and 611 on the route to the building 602. The processing on the camera side will be described later with reference to FIG. When the authentication result is received (“YES” in S901), the process proceeds to S902. If the authentication result is not received, the process proceeds to S508. In S508, the control unit 121 determines whether or not a predetermined time has elapsed from the timer set, and if the predetermined time has elapsed (“YES” in S508), the process proceeds to S509. In S509, the control unit 121 displays an alert to the effect that the registered person is missing on the display unit 124. At this time, by displaying the authentication status of the camera on the route together with the display unit 124, it is possible to notify how far the person to be monitored has advanced to the destination.

S902では、S901で受信した認証結果が人物の一致を示しているかどうかを判定し、一致していない場合には(S902において「NO」)、処理はS507に進む。認証結果が一致を示している場合(S902において「YES」)、処理はS903に進む。 In S902, it is determined whether or not the authentication result received in S901 indicates the match of the person, and if they do not match (“NO” in S902), the process proceeds to S507. If the authentication result indicates a match (“YES” in S902), the process proceeds to S903.

S903では、制御部121が監視対象の人物が目的地に到着したか否かを判定する。当該判定は、例えば、S901で受信した認証結果に基づき、目的地のカメラ(上記の例では、カメラ611)から人物一致の認証結果が得られた場合には、目的地に到着したと判定することができる。目的地に到着したと判定された場合(S903で「YES」)、処理はS505に進み、目的地に到着していない場合には、S901に戻って処理を継続する。S505以降の処理については実施形態1で説明したものと実質的に同様であるのでここでの説明は省略する。 In S903, the control unit 121 determines whether or not the person to be monitored has arrived at the destination. The determination is, for example, based on the authentication result received in S901, when a person matching authentication result is obtained from the destination camera (camera 611 in the above example), it is determined that the user has arrived at the destination. be able to. If it is determined that the destination has arrived (“YES” in S903), the process proceeds to S505, and if the process has not arrived at the destination, the process returns to S901 to continue the process. Since the processing after S505 is substantially the same as that described in the first embodiment, the description here will be omitted.

次に、図10を参照して、目的地までの経路上に設置された各カメラに相当する撮像装置110における処理の詳細について説明する。例えば、目的地がビル602の場合には、カメラ611、612、613及び616のそれぞれの撮像装置110について図10のフローチャートに対応する処理がそれぞれ実行される。該フローチャートに対応する処理は、例えば、撮像装置110の制御部112として機能する1以上のプロセッサ(例えば、CPU200)が対応するプログラム(ROM201やHD205等に格納)を実行することにより実現できる。 Next, with reference to FIG. 10, the details of the processing in the image pickup apparatus 110 corresponding to each camera installed on the route to the destination will be described. For example, when the destination is the building 602, the processing corresponding to the flowchart of FIG. 10 is executed for each of the image pickup devices 110 of the cameras 611, 612, 613, and 616. The process corresponding to the flowchart can be realized, for example, by executing a program (stored in ROM 201, HD 205, etc.) corresponding to one or more processors (for example, CPU 200) that function as the control unit 112 of the image pickup apparatus 110.

まずS1001において、制御部112は通信部113を介してネットワーク150経由で、情報処理装置120から当該撮像装置110の撮像条件に基づいて生成された登録画像を受信する。登録画像を受信すると、撮像装置110は、図7(C)に示すようなカメラ毎に与えられる通過予定人物リストを更新する。例えば、カメラ616の場合にもともと人物Aが登録されていた場合に、人物Bの登録画像を受信すると、図7(C)に示すように人物Bが通過予定人物リストに追加される。登録画像は当該リストと関連付けて制御部112が管理する。 First, in S1001, the control unit 112 receives the registered image generated from the information processing device 120 based on the image pickup conditions of the image pickup device 110 via the network 150 via the communication unit 113. Upon receiving the registered image, the image pickup apparatus 110 updates the list of people scheduled to pass through, which is given to each camera as shown in FIG. 7 (C). For example, when the person A is originally registered in the case of the camera 616 and the registered image of the person B is received, the person B is added to the list of people scheduled to pass as shown in FIG. 7 (C). The registered image is managed by the control unit 112 in association with the list.

続くS1002では、撮像部111が撮像対象の空間を撮像して撮像画像を生成する。生成された撮像画像は制御部112に提供され、人物検出処理が行われる。制御部112が人物を検出すると(S1003において「YES」)、処理はS1004に進む。人物が検出されない場合(S1003において「NO」)、処理はS1001に戻り、登録画像の受信、及び撮像部111による撮像が継続して実行される。ここで、S1001及びS1002の処理は並列に実行されてもよい。また、撮像部111は、一定の時間間隔をおいて撮像を行って画像を生成することができる。あるいは、動画撮像により連続的に画像を生成してもよい。 In the following S1002, the image pickup unit 111 images the space to be imaged and generates an image to be captured. The generated captured image is provided to the control unit 112, and a person detection process is performed. When the control unit 112 detects a person (“YES” in S1003), the process proceeds to S1004. If no person is detected (“NO” in S1003), the process returns to S1001 and reception of the registered image and imaging by the imaging unit 111 are continuously executed. Here, the processes of S1001 and S1002 may be executed in parallel. In addition, the image pickup unit 111 can perform imaging at regular time intervals to generate an image. Alternatively, images may be continuously generated by imaging a moving image.

S1004では、制御部112は人物が検出された撮像画像とS1001で受信した登録画像とを比較し、撮像画像に含まれる人物が登録画像に含まれる人物と一致するか否かを判定することで、登録人物の認証処理を実施する。通過予定人物リストに複数の人物が登録されている場合には、それぞれの人物の登録画像と比較して判定を行う。もし、人物が一致した場合には(S1005で「YES」)、処理はS1006に進み、人物が一致しなかった場合には(S1005で「NO」)、処理はS1007に進む。S1006では、制御部112は、人物一致の認証結果の情報を、当該人物を特定する情報と判定対象の撮像画像と共に通信部113から情報処理装置120へ送信する。S1007では、通過予定人物リストに登録された人物とは別の人物が通過あるいは到着したことになるので、制御部112は、未登録の人物が通過または到着した旨を示す人物不一致の認証結果の情報を、判定対象の撮像画像と共に通信部113から情報処理装置120へ送信する。その後、S1001に戻って処理を継続する。また、上記において人物一致の認証結果が得られた場合には、通過予定人物リストから当該人物の情報を削除することができる。 In S1004, the control unit 112 compares the captured image in which a person is detected with the registered image received in S1001, and determines whether or not the person included in the captured image matches the person included in the registered image. , Perform the authentication process of the registered person. When a plurality of people are registered in the list of people scheduled to pass, the judgment is made by comparing with the registered images of each person. If the persons match (“YES” in S1005), the process proceeds to S1006, and if the persons do not match (“NO” in S1005), the process proceeds to S1007. In S1006, the control unit 112 transmits the information of the authentication result of the person match from the communication unit 113 to the information processing device 120 together with the information for identifying the person and the captured image to be determined. In S1007, a person other than the person registered in the planned passing person list has passed or arrived, so that the control unit 112 has the authentication result of the person mismatch indicating that the unregistered person has passed or arrived. Information is transmitted from the communication unit 113 to the information processing device 120 together with the captured image to be determined. After that, the process returns to S1001 and the process is continued. In addition, when the authentication result of person matching is obtained in the above, the information of the person can be deleted from the list of people scheduled to pass.

上記における本実施形態の説明では、登録画像と撮像画像とに基づく人物の認証処理を目的地までの経路上に設置された各撮像装置110において行う場合を説明した。しかし、発明の実施形態はこれに限定されるものではなく、実施形態1と同様に情報処理装置120側で行ってもよい。その場合、各撮像装置110は撮像画像を情報処理装置120に送信するだけでよい。また、情報処理装置120は、各撮像装置110の撮像条件に基づいて画像処理部127が加工や補正などの画像処理を行って得られた登録画像を各撮像装置110には送信せず、人物情報管理部126により自装置で保持する。そして、画像処理部127が、各撮像装置110から受信した撮像画像と比較することにより人物の認証を行う。 In the above description of the present embodiment, the case where the authentication process of the person based on the registered image and the captured image is performed by each imaging device 110 installed on the route to the destination has been described. However, the embodiment of the invention is not limited to this, and may be performed on the information processing apparatus 120 side as in the first embodiment. In that case, each image pickup device 110 need only transmit the captured image to the information processing device 120. Further, the information processing device 120 does not transmit the registered image obtained by performing image processing such as processing and correction by the image processing unit 127 based on the image pickup conditions of each image pickup device 110 to each image pickup device 110, and is a person. It is held by the own device by the information management unit 126. Then, the image processing unit 127 authenticates the person by comparing with the captured image received from each imaging device 110.

以上に説明した本実施形態によれば、経路上に設置された各撮像装置が人物の照合を行うことにより、目的地外へ向かう人物を監視することができる。このようなシステムの信頼性は、人物認証精度に大きく依存されている。たとえば人物認証の間違いが発生するごとに、複数の警備員が駆けつけたり、人物の行き先を探したりなどの人員がかかるなどコストを増大させてしまう。経路上に設置された各撮像装置は、屋外環境であったり、各カメラが設置されている場所の照度が異なったり、照明種類が異なることによりホワイトバランスが異なることなど、人物が撮像される環境はさまざまである。これらの環境をパラメータとして取得し、登録画像に加工、補正等の処理を行うことにより、本実施形態では認証精度を高めること可能となる。 According to the present embodiment described above, each image pickup device installed on the route collates a person, so that a person heading out of the destination can be monitored. The reliability of such a system depends largely on the accuracy of person authentication. For example, every time a mistake in person authentication occurs, multiple security guards rush in or search for the destination of the person, which increases the cost. Each image pickup device installed on the route is an environment in which a person is imaged, such as an outdoor environment, different illuminance of the place where each camera is installed, and different white balance due to different lighting types. Is various. By acquiring these environments as parameters and performing processing such as processing and correction on the registered image, it is possible to improve the authentication accuracy in this embodiment.

(その他の実施例)
本発明は、上述の実施形態の1以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける1つ以上のプロセッサがプログラムを読出し実行する処理でも実現可能である。また、1以上の機能を実現する回路(例えば、ASIC)によっても実現可能である。
(Other examples)
The present invention supplies a program that realizes one or more functions of the above-described embodiment to a system or device via a network or storage medium, and one or more processors in the computer of the system or device reads and executes the program. It can also be realized by the processing to be performed. It can also be realized by a circuit (for example, ASIC) that realizes one or more functions.

100:システム、110:撮像装置、120:情報処理装置、130:情報登録装置、140:表示装置、150:ネットワーク 100: System, 110: Imaging device, 120: Information processing device, 130: Information registration device, 140: Display device, 150: Network

Claims (18)

情報登録装置であって、
登録対象の人物に関する情報であって、少なくとも目的地を含む情報を取得する取得手段と、
前記目的地に基づき前記人物の撮像条件を決定する決定手段と、
決定した前記撮像条件に基づいて、撮像部に前記人物を撮像させて登録画像を生成させる制御手段と、
を備えることを特徴とする情報登録装置。
It is an information registration device
Information about the person to be registered, and at least the acquisition method for acquiring information including the destination,
Determining means for determining the imaging conditions of the person based on the destination, and
A control means for causing the imaging unit to image the person and generate a registered image based on the determined imaging conditions.
An information registration device characterized by being equipped with.
情報登録装置であって、
登録対象の人物に関する情報であって、少なくとも目的地を含む情報を取得する取得手段と、
前記目的地に基づき前記人物の撮像条件を決定する決定手段と、
撮像部が前記人物を撮像して生成した画像を、決定した前記撮像条件に基づいて処理して登録画像を生成する処理手段と、
を備えることを特徴とする情報登録装置。
It is an information registration device
Information about the person to be registered, and at least the acquisition method for acquiring information including the destination,
Determining means for determining the imaging conditions of the person based on the destination, and
A processing means for generating a registered image by processing an image generated by an imaging unit by imaging the person based on the determined imaging conditions.
An information registration device characterized by being equipped with.
前記目的地を外部装置に通知する通信手段をさらに備え、
前記決定手段は、前記目的地の通知に応じて前記通信手段が前記外部装置から受信した情報に基づき前記撮像条件を決定し、
前記通信手段は、前記外部装置に前記登録画像を送信することを特徴とする請求項1または2に記載の情報登録装置。
Further equipped with a communication means for notifying the external device of the destination,
The determination means determines the imaging condition based on the information received from the external device by the communication means in response to the notification of the destination.
The information registration device according to claim 1 or 2, wherein the communication means transmits the registration image to the external device.
前記通信手段が受信した情報には、前記目的地と関連付けられて設置された撮像装置により前記人物が撮像される場合の撮像条件の情報が含まれることを特徴とする請求項3に記載の情報登録装置。 The information according to claim 3, wherein the information received by the communication means includes information on imaging conditions when the person is imaged by an imaging device installed in association with the destination. Registration device. 前記通信手段が受信した情報には、前記目的地、及び、該目的地までの経路上に設置された撮像装置により前記人物が撮像される場合の複数の撮像条件の情報が含まれることを特徴とする請求項3に記載の情報登録装置。 The information received by the communication means includes information on the destination and a plurality of imaging conditions when the person is imaged by an imaging device installed on the route to the destination. The information registration device according to claim 3. 前記撮像条件には、前記撮像装置による撮像動作を制御するためのパラメータ及び前記撮像装置の撮像環境に関するパラメータが含まれることを特徴とする請求項4又は5に記載の情報登録装置。 The information registration device according to claim 4 or 5 , wherein the image pickup condition includes a parameter for controlling an image pickup operation by the image pickup device and a parameter related to the image pickup environment of the image pickup device. 前記撮像環境に関するパラメータには、前記撮像装置が設置された環境における照度、前記撮像装置による撮像角度、照明色、照明種別の少なくともいずれかを示す値が含まれることを特徴とする請求項6に記載の情報登録装置。 The sixth aspect of claim 6 is characterized in that the parameter relating to the image pickup environment includes a value indicating at least one of the illuminance in the environment in which the image pickup device is installed, the image pickup angle by the image pickup device, the illumination color, and the illumination type. The information registration device described. 前記撮像動作を制御するためのパラメータには、露出、シャッタースピード、解像度、ホワイトバランスの少なくともいずれかを示す値が含まれることを特徴とする請求項6または7に記載の情報登録装置。 The information registration device according to claim 6 or 7, wherein the parameter for controlling the imaging operation includes a value indicating at least one of exposure, shutter speed, resolution, and white balance. 情報処理装置であって、
監視対象の人物の目的地に基づいて、前記人物の情報を登録しようとする情報登録装置が前記人物を撮像する場合の第1の撮像条件を決定する決定手段と、
通信手段であって、
決定した前記第1の撮像条件を前記情報登録装置に送信し、該送信した前記第1の撮像条件に基づき撮像され生成された登録画像を前記情報登録装置から受信し、
複数の撮像装置と通信する通信手段と、
受信した前記登録画像と、前記複数の撮像装置のうち前記第1の撮像条件が設定された第1の撮像装置から前記通信手段が受信した撮像画像とに基づいて、前記人物の認証を行う処理手段と
を備えることを特徴とする情報処理装置。
It is an information processing device
A determination means for determining a first imaging condition when an information registration device for registering information on a person to be monitored has an image of the person based on the destination of the person to be monitored.
It ’s a means of communication,
The determined first imaging condition is transmitted to the information registration device, and the registered image imaged and generated based on the transmitted first imaging condition is received from the information registration device.
A communication means that communicates with multiple image pickup devices,
A process for authenticating the person based on the received registered image and the image captured by the communication means from the first image pickup device in which the first image pickup condition is set among the plurality of image pickup devices. An information processing device characterized by being provided with means.
情報処理装置であって、
複数の撮像装置と通信する通信手段と、
監視対象の人物の目的地に基づいて、前記人物が前記目的地に到着するまでに前記複数の撮像装置のいずれかにより撮像される場合の該撮像装置の撮像条件を決定する決定手段と、
前記人物の画像を、決定した前記撮像条件に基づいて処理して登録画像を生成する処理手段と
を備え、
前記通信手段は、前記登録画像を、前記複数の撮像装置のうち、前記登録画像の生成に使用された撮像条件が設定される撮像装置に送信する
ことを特徴とする情報処理装置。
It is an information processing device
A communication means that communicates with multiple image pickup devices,
A determination means for determining the imaging conditions of the imaging device when the person is imaged by any of the plurality of imaging devices by the time the person arrives at the destination based on the destination of the person to be monitored.
A processing means for processing an image of the person based on the determined imaging conditions to generate a registered image is provided.
The communication means is an information processing device characterized in that the registered image is transmitted to an image pickup device in which the image pickup conditions used for generating the registered image are set among the plurality of image pickup devices.
情報処理装置であって、
複数の撮像装置と通信する通信手段と、
監視対象の人物の目的地に基づいて、前記人物が前記目的地に到着するまでに前記複数の撮像装置のいずれかにより撮像される場合の該撮像装置の撮像条件を決定する決定手段と、
前記人物の画像を、決定した前記撮像条件に基づいて処理して登録画像を生成する処理手段と
前記登録画像と、前記複数の撮像装置のうち前記撮像条件が設定された第1の撮像装置が撮像し、前記通信手段が受信した撮像画像とに基づいて、前記人物の認証を行う認証手段と
を備えることを特徴とする情報処理装置。
It is an information processing device
A communication means that communicates with multiple image pickup devices,
A determination means for determining the imaging conditions of the imaging device when the person is imaged by any of the plurality of imaging devices by the time the person arrives at the destination based on the destination of the person to be monitored.
A processing means for processing an image of the person based on the determined imaging conditions to generate a registered image, the registered image, and a first imaging device in which the imaging conditions are set among the plurality of imaging devices. An information processing apparatus comprising: an information processing means for image-taking and authenticating the person based on the captured image received by the communication means.
情報登録装置の制御方法であって、
取得手段が、登録対象の人物に関する情報であって、少なくとも目的地を含む情報を取得する取得工程と、
決定手段が、前記目的地に基づき前記人物の撮像条件を決定する決定工程と、
制御手段が、決定した前記撮像条件に基づいて、撮像部に前記人物を撮像させて登録画像を生成させる制御工程と、
を含むことを特徴とする情報登録装置の制御方法。
It is a control method of the information registration device.
The acquisition means is information about the person to be registered, and at least the acquisition process for acquiring information including the destination, and
The determination means is a determination step of determining the imaging condition of the person based on the destination, and a determination step.
A control step in which the control means causes the imaging unit to image the person and generate a registered image based on the determined imaging conditions.
A method for controlling an information registration device, which comprises.
情報登録装置の制御方法であって、
取得手段が、登録対象の人物に関する情報であって、少なくとも目的地を含む情報を取得する取得工程と、
決定手段が、前記目的地に基づき前記人物の撮像条件を決定する決定工程と、
処理手段が、撮像部が前記人物を撮像して生成した画像を、決定した前記撮像条件に基づいて処理して登録画像を生成する処理工程と、
を含むことを特徴とする情報登録装置の制御方法。
It is a control method of the information registration device.
The acquisition means is information about the person to be registered, and at least the acquisition process for acquiring information including the destination, and
The determination means is a determination step of determining the imaging condition of the person based on the destination, and a determination step.
A processing step in which the processing means processes an image generated by the imaging unit by imaging the person based on the determined imaging conditions to generate a registered image.
A method for controlling an information registration device, which comprises.
情報処理装置の制御方法であって、
決定手段が、監視対象の人物の目的地に基づいて、前記人物の情報を登録しようとする情報登録装置が前記人物を撮像する場合の第1の撮像条件を決定する決定工程と、
通信手段が、決定した前記第1の撮像条件を前記情報登録装置に送信し、該送信した前記第1の撮像条件に基づき撮像され生成された登録画像を前記情報登録装置から受信する工程と、
前記通信手段が、複数の撮像装置と通信する通信工程と、
処理手段が、受信した前記登録画像と、前記複数の撮像装置のうち前記第1の撮像条件が設定された第1の撮像装置から前記通信工程において受信した撮像画像とに基づいて、
前記人物の認証を行う処理工程と
を含むことを特徴とする情報処理装置の制御方法。
It is a control method for information processing equipment.
A determination step in which the determination means determines the first imaging condition when the information registration device for registering the information of the person to image the person is based on the destination of the person to be monitored.
A step in which the communication means transmits the determined first imaging condition to the information registration device, and receives the registered image imaged and generated based on the transmitted first imaging condition from the information registration device.
A communication process in which the communication means communicates with a plurality of image pickup devices,
The processing means is based on the received registered image and the captured image received in the communication step from the first imaging device in which the first imaging condition is set among the plurality of imaging devices.
A method for controlling an information processing apparatus, which comprises a processing step for authenticating a person.
情報処理装置の制御方法であって、
決定手段が、監視対象の人物の目的地に基づいて、前記人物が前記目的地に到着するまでに複数の撮像装置のいずれかにより撮像される場合の該撮像装置の撮像条件を決定する決定工程と、
処理手段が、前記人物の画像を、決定した前記撮像条件に基づいて処理して登録画像を生成する処理工程と
通信手段が、前記登録画像を、前記複数の撮像装置のうち、前記登録画像の生成に使用された撮像条件が設定される撮像装置に送信する工程と
を含むことを特徴とする情報処理装置。
It is a control method for information processing equipment.
A determination step in which the determination means determines the imaging conditions of the image pickup device when the person is imaged by any of a plurality of image pickup devices by the time the person arrives at the destination based on the destination of the person to be monitored. When,
A processing step in which the processing means processes the image of the person based on the determined imaging conditions to generate a registered image, and the communication means obtains the registered image of the registered image among the plurality of imaging devices. An information processing device comprising a step of transmitting to an image pickup device in which an image pickup condition used for generation is set.
情報処理装置の制御方法であって、
決定手段が、監視対象の人物の目的地に基づいて、前記人物が前記目的地に到着するまでに複数の撮像装置のいずれかにより撮像される場合の該撮像装置の撮像条件を決定する決定工程と、
処理手段が、前記人物の画像を、決定した前記撮像条件に基づいて処理して登録画像を生成する処理工程と、
通信手段が前記複数の撮像装置のそれぞれと通信する通信工程と、
認証手段が、前記登録画像と、前記複数の撮像装置のうち前記撮像条件が設定された第1の撮像装置が撮像し、前記通信工程において受信した撮像画像とに基づいて、前記人物の認証を行う認証工程と
を含むことを特徴とする情報処理装置の制御方法。
It is a control method for information processing equipment.
A determination step in which the determination means determines the imaging conditions of the image pickup device when the person is imaged by any of a plurality of image pickup devices by the time the person arrives at the destination based on the destination of the person to be monitored. When,
A processing step in which the processing means processes the image of the person based on the determined imaging conditions to generate a registered image.
A communication process in which the communication means communicates with each of the plurality of image pickup devices,
The authentication means authenticates the person based on the registered image and the image captured by the first image pickup device in which the image pickup condition is set among the plurality of image pickup devices and received in the communication step. A control method for an information processing apparatus, which comprises an authentication process to be performed.
コンピュータを、請求項1から8のいずれか1項に記載の情報登録装置として機能させるためのプログラム。 A program for operating a computer as the information registration device according to any one of claims 1 to 8. コンピュータを、請求項9から11のいずれか1項に記載の情報処理装置として機能させるためのプログラム。 A program for causing a computer to function as the information processing apparatus according to any one of claims 9 to 11 .
JP2018128566A 2018-07-05 2018-07-05 Information registration device, information processing device, control method of information registration device, control method of information processing device, system, and program Active JP7085925B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2018128566A JP7085925B2 (en) 2018-07-05 2018-07-05 Information registration device, information processing device, control method of information registration device, control method of information processing device, system, and program

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2018128566A JP7085925B2 (en) 2018-07-05 2018-07-05 Information registration device, information processing device, control method of information registration device, control method of information processing device, system, and program

Publications (3)

Publication Number Publication Date
JP2020010145A JP2020010145A (en) 2020-01-16
JP2020010145A5 JP2020010145A5 (en) 2021-08-12
JP7085925B2 true JP7085925B2 (en) 2022-06-17

Family

ID=69152530

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2018128566A Active JP7085925B2 (en) 2018-07-05 2018-07-05 Information registration device, information processing device, control method of information registration device, control method of information processing device, system, and program

Country Status (1)

Country Link
JP (1) JP7085925B2 (en)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005339232A (en) 2004-05-27 2005-12-08 Toshiba Corp Visitor guiding system
JP2006053774A (en) 2004-08-12 2006-02-23 Kddi Corp Image processor and image recognition device
JP2009225097A (en) 2008-03-17 2009-10-01 Casio Hitachi Mobile Communications Co Ltd Image capturing device and program
JP2013114594A (en) 2011-11-30 2013-06-10 Toshiba Corp Individual image data acquisition device and individual image data acquisition method
JP2013167986A (en) 2012-02-15 2013-08-29 Hitachi Ltd Image recognition system and image recognition method

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005339232A (en) 2004-05-27 2005-12-08 Toshiba Corp Visitor guiding system
JP2006053774A (en) 2004-08-12 2006-02-23 Kddi Corp Image processor and image recognition device
JP2009225097A (en) 2008-03-17 2009-10-01 Casio Hitachi Mobile Communications Co Ltd Image capturing device and program
JP2013114594A (en) 2011-11-30 2013-06-10 Toshiba Corp Individual image data acquisition device and individual image data acquisition method
JP2013167986A (en) 2012-02-15 2013-08-29 Hitachi Ltd Image recognition system and image recognition method

Also Published As

Publication number Publication date
JP2020010145A (en) 2020-01-16

Similar Documents

Publication Publication Date Title
US8373755B2 (en) Network camera and system and method for operating the network camera and system
JP6094903B2 (en) Receiving apparatus and receiving side image processing method
JP6465600B2 (en) Video processing apparatus and video processing method
US20130293721A1 (en) Imaging apparatus, imaging method, and program
KR20190016900A (en) Information processing apparatus, information processing method, and storage medium
JP2019176306A (en) Monitoring system and control method therefor, and program
JP2022189835A (en) Imaging apparatus
JP2024056872A (en) Stay management device, stay management method, and program
US20200045242A1 (en) Display control device, display control method, and program
JP2006093955A (en) Video processing apparatus
JP2003199097A (en) Monitoring system center apparatus, monitoring system center program and recording medium for recording monitoring system center program
US20200226406A1 (en) Information processing system to obtain and manage images of a property
JP6589736B2 (en) Monitoring system
JP2013065971A (en) Imaging device and control method for imaging device
JP7085925B2 (en) Information registration device, information processing device, control method of information registration device, control method of information processing device, system, and program
JP7146416B2 (en) Information processing device, information processing system, information processing method, and program
JP4985742B2 (en) Imaging system, method and program
KR102077632B1 (en) Hybrid intellgent monitoring system suing local image analysis and cloud service
US10306185B2 (en) Network security system and method thereof
US20190342525A1 (en) Video summarization systems and methods
JP6483414B2 (en) Image confirmation system and center device
KR20120046509A (en) Method and for apparatus for adjusting camera focus
JP4367177B2 (en) Monitoring device
JP2018173913A (en) Image processing system, information processing device, and program
KR101332820B1 (en) System and Method for Tracking Object, Apparatus for Object Management and Driving Method Thereof, Image Device and Driving Method Thereof

Legal Events

Date Code Title Description
RD01 Notification of change of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7421

Effective date: 20210103

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210113

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210705

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20210705

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20220411

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20220509

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20220607

R151 Written notification of patent or utility model registration

Ref document number: 7085925

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151