JP5677055B2 - Surveillance video display device - Google Patents

Surveillance video display device Download PDF

Info

Publication number
JP5677055B2
JP5677055B2 JP2010268327A JP2010268327A JP5677055B2 JP 5677055 B2 JP5677055 B2 JP 5677055B2 JP 2010268327 A JP2010268327 A JP 2010268327A JP 2010268327 A JP2010268327 A JP 2010268327A JP 5677055 B2 JP5677055 B2 JP 5677055B2
Authority
JP
Japan
Prior art keywords
monitoring
information
video
photographing
map
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2010268327A
Other languages
Japanese (ja)
Other versions
JP2012119971A (en
Inventor
若林 正男
正男 若林
奥村 誠司
誠司 奥村
史生 五十嵐
史生 五十嵐
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Mitsubishi Electric Corp
Original Assignee
Mitsubishi Electric Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Mitsubishi Electric Corp filed Critical Mitsubishi Electric Corp
Priority to JP2010268327A priority Critical patent/JP5677055B2/en
Publication of JP2012119971A publication Critical patent/JP2012119971A/en
Application granted granted Critical
Publication of JP5677055B2 publication Critical patent/JP5677055B2/en
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Closed-Circuit Television Systems (AREA)

Description

この発明は、例えば映像監視システムに用いられ、監視カメラで撮影された監視対象区域の映像を表示する監視映像表示装置に関するものである。   The present invention relates to a monitoring video display device that is used in, for example, a video monitoring system and displays a video of a monitoring target area taken by a monitoring camera.

近年、映像監視システムと他のシステムとを連携させる技術が進んでいる。映像監視システムは、例えば、入退室管理システムと連携させることによって、入退室管理システムの通行情報と映像監視システムの映像を管理し、相互の情報へのアクセスを効率化するように構成されている。このような構成における監視映像表示装置は、映像に対応する通行情報を、リストによる一覧表示や入退室情報を示すアイコンをフロアマップ上に重ねて表示している。
一方、撮影映像に付加情報を重ねて表示する構成が開示されている。例えば、特許文献1の情報表示装置によれば、撮影位置、撮影方向、映像の特徴点を用いて対象とするオブジェクトの撮影映像内における位置を算出し、算出した撮影映像内の位置に付加情報を重畳している。また、特許文献2の景観ラベリング装置によれば、撮影位置、カメラ角、焦点距離、画像サイズ、映像の特徴点を用いて対象とするオブジェクトの撮影映像内における位置を算出し、算出した位置に付加情報を重畳することで、撮影映像内のオブジェクトに地図情報を重ねて表示している。
In recent years, techniques for linking a video surveillance system with other systems have been advanced. The video surveillance system is configured to manage the traffic information of the entrance / exit management system and the video of the video surveillance system, for example, in cooperation with the entrance / exit management system, and to improve the access to the mutual information efficiently. . The monitoring video display device having such a configuration displays the traffic information corresponding to the video on the floor map with icons indicating a list display by a list and entry / exit information.
On the other hand, a configuration is disclosed in which additional information is displayed superimposed on a captured video. For example, according to the information display device of Patent Document 1, the position of the target object in the captured video is calculated using the shooting position, the shooting direction, and the video feature point, and additional information is added to the calculated position in the captured video. Are superimposed. Further, according to the landscape labeling device of Patent Document 2, the position of the target object in the captured video is calculated using the shooting position, camera angle, focal length, image size, and video feature point, and the calculated position is set to the calculated position. By superimposing the additional information, the map information is superimposed on the object in the captured video.

特開2009−140402号公報JP 2009-140402 A 特開平10−267671号公報Japanese Patent Laid-Open No. 10-267671

しかしながら、従来の映像監視システムにおける監視映像表示装置は、画面上のオブジェクトの位置と情報の対応関係を直感的に監視できず、重畳された情報に対応する位置を認識するのが困難、もしくは誤認するという課題があった。
また、特許文献1,2の情報表示方法では、撮影映像内の特徴点が認識されない場合、対象オブジェクトも認識することができず、付加情報を撮影映像内の対象オブジェクトに重畳することができない。その結果、画面上には不確実な監視映像が表示され、閲覧者が正確な監視業務を行うことができないという課題があった。
However, the monitoring video display device in the conventional video monitoring system cannot intuitively monitor the correspondence between the position of the object on the screen and the information, and it is difficult to recognize the position corresponding to the superimposed information, or misidentification. There was a problem to do.
In addition, in the information display methods of Patent Documents 1 and 2, when a feature point in a captured video is not recognized, the target object cannot be recognized, and additional information cannot be superimposed on the target object in the captured video. As a result, an uncertain monitoring video is displayed on the screen, and there is a problem that the viewer cannot perform an accurate monitoring operation.

この発明は、上記のような課題を解決するためになされたもので、閲覧者が従来よりも正確に直感的な監視業務を行うことができる監視映像を表示する監視映像表示装置を提供することを目的とする。   The present invention has been made to solve the above-described problems, and provides a monitoring video display device that displays a monitoring video that enables a viewer to perform an intuitive monitoring task more accurately than before. With the goal.

この発明に係る監視映像表示装置は、旋回制御可能で撮影方向に応じて監視対象区域内を撮影する撮影手段からの映像を表示する映像表示手段と、撮影手段の撮影方向情報を取得する機器状態情報取得手段と、監視対象区域内の監視対象の位置情報と付加情報を外部の他システムから取得する付加情報取得手段と、撮影手段の撮影方向情報および監視対象区域内の監視対象の位置情報に基づき、撮影手段の撮影範囲の変化にしたがって、撮影手段で撮影された映像内の監視対象毎に紐付けた付加情報を追随させて映像表示手段の映像に重ねて表示する付加情報表示手段とを備えたものである。 The monitoring video display device according to the present invention includes a video display unit that displays a video from a photographing unit that is capable of turning control and images a monitoring target area according to a photographing direction, and a device state that acquires photographing direction information of the photographing unit an information acquisition unit, and the additional information acquisition unit that acquires position information and the additional information of the monitored subject to the area to be monitored from the outside of the other systems, the position of the monitoring target shooting direction information and the monitored zone of the imaging means Based on the information, according to the change of the photographing range of the photographing means, additional information display means for displaying additional information associated with each monitoring target in the video photographed by the photographing means so as to be superimposed on the video of the video display means It is equipped with.

また、この発明に係る監視映像表示装置は、旋回制御可能で撮影方向に応じて監視対象区域内を撮影する撮影手段からの映像を表示する映像表示手段と、撮影手段の撮影方向情報を取得する機器状態情報取得手段と、監視対象区域内の監視対象の位置情報と付加情報を外部の他システムから取得する付加情報取得手段と、撮影手段の撮影方向情報と監視対象区域内の監視対象の位置情報に基づき、撮影手段で撮影された映像内の監視対象に付加情報を紐付け映像表示手段の映像に重ねて表示する付加情報表示手段と、複数の撮影手段毎に設置位置情報を取得する設置位置情報取得手段とを備え、付加情報表示手段は、少なくとも一つの撮影手段で撮影された映像内の監視対象と別の撮影手段で撮影された映像内の監視対象が同一の場合、撮影手段毎の設置位置情報に基づき同一の監視対象に同一の付加情報を紐付け映像表示手段の映像に重ねて表示するものである。 The surveillance video display device according to the present invention obtains the video display means for displaying the video from the photography means for photographing the inside of the monitoring target area according to the photography direction and the photographing direction information of the photography means. Device status information acquisition means, additional information acquisition means for acquiring monitoring target position information and additional information in the monitoring target area from other external systems, shooting direction information of the shooting means and monitoring target position in the monitoring target area Based on the information, additional information display means for linking and displaying additional information on the image to be monitored in the video imaged by the imaging means, and installation for acquiring installation position information for each of the plurality of imaging means A position information acquisition unit, and the additional information display unit shoots when the monitoring target in the video shot by at least one shooting unit is the same as the monitoring target in the video shot by another shooting unit. The same monitored on the basis of the installation position information of each stage is for displaying overlapping the same additional information to the video tying image means.

この発明に係る監視映像表示装置によれば、付加情報を映像上の監視対象に紐付け、映像範囲の変化にしたがって付加情報を追随させて映像に重ねて表示するよう構成したことにより、撮影方向が変化する監視映像上の監視対象物に対応する位置に付加情報を確実に表示することができる。
また、この発明に係る監視映像表示装置によれば、複数の撮影手段で撮影された映像内の監視対象が同一の場合、同一の付加情報を紐付け映像表示手段の映像に重ねて表示するよう構成したことにより、複数の監視映像上の同一監視対象物に対応する付加情報を表示することができる。
の結果、閲覧者が従来よりも正確に直感的な監視業務を行うことができる。
According to the monitoring image display apparatus according to the present invention, tying the-added information to the monitoring subject to the image, by following the additional information in accordance with the change in the image range by constructing to display superimposed on the image, It is possible to reliably display the additional information at a position corresponding to the monitoring object on the monitoring video where the shooting direction changes .
According to the monitoring video display device of the present invention, when the monitoring target in the video shot by the plurality of shooting means is the same, the same additional information is displayed so as to be superimposed on the video of the linked video display means. By configuring, it is possible to display additional information corresponding to the same monitoring object on a plurality of monitoring images.
As a result, the viewer can perform accurate intuitive monitoring business than ever.

この発明の実施の形態1に係る監視映像表示装置の構成および監視映像表示装置を含む映像監視システムを示す図である。BRIEF DESCRIPTION OF THE DRAWINGS It is a figure which shows the structure of the monitoring video display apparatus concerning Embodiment 1 of this invention, and the video monitoring system containing a monitoring video display apparatus. この発明の実施の形態1の監視映像表示装置における処理動作を示す図である。It is a figure which shows the processing operation in the monitoring video display apparatus of Embodiment 1 of this invention. この発明の実施の形態1の監視映像表示装置で表示する監視映像の特徴を示す図である。It is a figure which shows the characteristic of the monitoring image | video displayed with the monitoring image display apparatus of Embodiment 1 of this invention. この発明の実施の形態2に係る監視映像表示装置の構成および監視映像表示装置を含む映像監視システムを示す図である。It is a figure which shows the structure of the monitoring video display apparatus which concerns on Embodiment 2 of this invention, and the video monitoring system containing a monitoring video display apparatus. この発明の実施の形態2の監視映像表示装置における処理動作を示す図である。It is a figure which shows the processing operation in the monitoring video display apparatus of Embodiment 2 of this invention. この発明の実施の形態2の監視映像表示装置で表示する監視映像の特徴を示す図である。It is a figure which shows the characteristic of the monitoring image | video displayed with the monitoring image display apparatus of Embodiment 2 of this invention. この発明の実施の形態3に係る監視映像表示装置の構成および監視映像表示装置を含む映像監視システムを示す図である。It is a figure which shows the structure of the monitoring video display apparatus which concerns on Embodiment 3 of this invention, and the video monitoring system containing a monitoring video display apparatus. この発明の実施の形態3の監視映像表示装置における処理動作を示す図である。It is a figure which shows the processing operation in the monitoring video display apparatus of Embodiment 3 of this invention. この発明の実施の形態3の監視映像表示装置で表示する監視映像の特徴を示す図である。It is a figure which shows the characteristic of the monitoring image | video displayed with the monitoring image display apparatus of Embodiment 3 of this invention.

以下、この発明の実施の形態を、図面を参照しながら詳細に説明する。
実施の形態1.
図1は、実施の形態1に係る監視映像表示装置の構成および監視映像表示装置を含む映像監視システムを示している。
映像監視システム1は、監視映像表示装置10と監視カメラ101がネットワーク200を介して通信可能に接続され構成されており、また、ネットワーク200を介して外部の他のシステム111も接続されている。ここでは、ネットワーク200が有線で構成されている例を示しているが無線で構成するものであってもよい。
Hereinafter, embodiments of the present invention will be described in detail with reference to the drawings.
Embodiment 1 FIG.
FIG. 1 shows a configuration of a monitoring video display device according to the first embodiment and a video monitoring system including the monitoring video display device.
The video surveillance system 1 is configured such that the surveillance video display device 10 and the surveillance camera 101 are communicably connected via a network 200, and another external system 111 is also connected via the network 200. Here, an example is shown in which the network 200 is configured by wire, but it may be configured by wireless.

監視カメラ101は、旋回制御可能で撮影方向に応じて監視対象区域内を撮影する撮影手段として構成されている。監視カメラ101は、例えば、外部の制御装置から与えられる制御値に応じて旋回動作を行って撮影方向を変更し、特定の監視対象区域のうち撮影方向に応じた範囲内を撮影しており、撮影した映像を出力する。ここでは、監視カメラ101が監視映像表示装置10とは別の構成で説明するが、監視カメラ101は監視映像表示装置10の内部に設けられる構成であってもよい。   The monitoring camera 101 is configured as an imaging unit that can control turning and images an area to be monitored in accordance with the imaging direction. The monitoring camera 101, for example, performs a turning operation according to a control value given from an external control device, changes the shooting direction, and takes a picture within a range corresponding to the shooting direction in a specific monitoring target area, Output the shot video. Here, although the monitoring camera 101 will be described with a configuration different from the monitoring video display device 10, the monitoring camera 101 may be configured to be provided inside the monitoring video display device 10.

他のシステム111は、監視対象区域内の監視対象物の状態を管理しており、監視対象物のイベント情報をネットワーク200を介して監視映像表示装置10へ送信する。他のシステム111が送信するイベント情報は、監視対象物の状態を示す状態情報(付加情報)に監視対象区域内における監視対象物毎の位置を示す位置情報が付加された情報である。このような他のシステム111には、例えば、プリンタの状態(トナー残量、動作)を管理するシステムや入退室を管理するシステムがある。なお、他のシステム111の機能を監視映像表示装置10の内部に設ける構成にしてもよい。   The other system 111 manages the state of the monitoring target in the monitoring target area, and transmits event information of the monitoring target to the monitoring video display device 10 via the network 200. The event information transmitted by the other system 111 is information in which position information indicating the position of each monitoring target in the monitoring target area is added to state information (additional information) indicating the state of the monitoring target. Such other systems 111 include, for example, a system that manages printer status (remaining toner amount and operation) and a system that manages entry / exit. In addition, you may make it the structure which provides the function of the other system 111 in the inside of the monitoring video display apparatus 10. FIG.

ここで、図1において、監視映像表示装置10と監視カメラ101と他のシステム111は1つずつ設けられている構成を示しているが、それぞれ複数設ける構成であってもよい。また、監視映像表示装置10は、パソコンで構成されることを想定しているが、映像レコーダやサーバであってもよい。さらに、監視映像表示装置10が監視カメラ101内に設けるよう構成してもよい。   Here, FIG. 1 shows a configuration in which one monitoring video display device 10, one monitoring camera 101, and another system 111 are provided, but a plurality of configurations may be provided. The surveillance video display device 10 is assumed to be configured by a personal computer, but may be a video recorder or a server. Furthermore, the monitoring video display device 10 may be provided in the monitoring camera 101.

監視映像表示装置10は、設置位置情報取得手段11、付加情報取得手段12、記録手段13、機器状態情報取得手段14、付加情報表示手段15、映像表示手段16で構成されている。   The monitoring video display device 10 includes an installation position information acquisition unit 11, an additional information acquisition unit 12, a recording unit 13, a device state information acquisition unit 14, an additional information display unit 15, and a video display unit 16.

設置位置情報取得手段11は、外部装置または監視カメラ101から、全監視対象区域に対する監視カメラ101の設置位置を示すカメラ設置位置情報を取得し、記録手段13に保存するよう構成されている。   The installation position information acquisition unit 11 is configured to acquire camera installation position information indicating the installation positions of the monitoring camera 101 for all the monitoring target areas from an external device or the monitoring camera 101 and store it in the recording unit 13.

付加情報取得手段12は、他のシステム111から、監視対象区域内の監視対象物のイベント情報(付加情報、位置情報)を取得し、記録手段13に保存するよう構成されている。   The additional information acquisition unit 12 is configured to acquire event information (additional information, position information) of the monitoring target in the monitoring target area from another system 111 and store it in the recording unit 13.

記録手段13は、設置位置情報取得手段11で取得されたカメラ設置位置情報13aを格納するとともに、付加情報取得手段12で取得されたイベント情報(状態情報、位置情報)13bを格納し、付加情報表示手段15からの要求に応じてカメラ設置位置情報13a、イベント情報13bを出力する。
機器状態情報取得手段14は、監視カメラ101の撮影方向を示す撮影方向情報を取得する。撮影方向情報は、例えば、監視カメラ101の旋回制御値を示す情報である。
The recording means 13 stores the camera installation position information 13a acquired by the installation position information acquisition means 11, and stores the event information (state information, position information) 13b acquired by the additional information acquisition means 12, and the additional information In response to a request from the display means 15, camera installation position information 13a and event information 13b are output.
The device state information acquisition unit 14 acquires shooting direction information indicating the shooting direction of the monitoring camera 101. The shooting direction information is information indicating a turning control value of the monitoring camera 101, for example.

付加情報表示手段15は、機器状態情報取得手段14で取得された監視カメラ101の撮影方向情報、設置位置情報取得手段11で取得されたカメラ設置位置情報、付加情報取得手段12で取得された監視対象物のイベント情報に基づき、監視カメラ101で撮影された映像内の監視対象物に付加情報としての状態情報を紐付け、映像表示手段16の映像に重ねて表示するよう機能する。
具体的には、付加情報表示手段15は、機器状態情報取得手段14から撮影方向情報を取得すると、記録手段13からカメラ設置位置情報13aとイベント情報13bを取得する。付加情報表示手段15は、カメラ設置位置情報13aと撮影方向情報に基づき、監視カメラ101の全監視対象区域内における撮影範囲を算出し、イベント情報13bの位置情報を用いて撮影範囲内の監視対象物に状態情報を紐付けるための座標(付加情報の表示座標)を算出する。付加情報表示手段15は、監視対象物の状態情報を表示可能な形態に加工処理し、算出した表示座標を用いて加工処理後の状態情報を映像表示手段16で表示された映像に重ねて表示する。
The additional information display unit 15 includes the shooting direction information of the monitoring camera 101 acquired by the device state information acquisition unit 14, the camera installation position information acquired by the installation position information acquisition unit 11, and the monitoring acquired by the additional information acquisition unit 12. Based on the event information of the target object, it functions to link the status information as additional information to the monitoring target object in the video imaged by the monitoring camera 101 and display it superimposed on the video of the video display means 16.
Specifically, when the additional information display unit 15 acquires the shooting direction information from the device state information acquisition unit 14, the additional information display unit 15 acquires camera installation position information 13 a and event information 13 b from the recording unit 13. The additional information display means 15 calculates the shooting range within the entire monitoring target area of the monitoring camera 101 based on the camera installation position information 13a and the shooting direction information, and uses the position information of the event information 13b to monitor the monitoring target within the shooting range. Coordinates for linking state information to an object (display coordinates of additional information) are calculated. The additional information display means 15 processes the status information of the monitored object into a displayable form, and displays the processed status information superimposed on the video displayed by the video display means 16 using the calculated display coordinates. To do.

映像表示手段16は、監視カメラ101から映像信号を入力し、図示しないディスプレイを介して映像を表示するよう機能する。   The video display means 16 functions to input a video signal from the monitoring camera 101 and display the video via a display (not shown).

次に、図2を用いて、実施の形態1における監視映像表示装置10の特徴的な処理動作を説明する。
監視映像表示装置10は、図示しない電源から電力が供給されると処理を開始し、監視カメラ101から映像信号を入力して、映像表示手段16が監視カメラ101からの映像を表示する。
Next, a characteristic processing operation of the monitoring video display device 10 according to the first embodiment will be described with reference to FIG.
The monitoring video display device 10 starts processing when power is supplied from a power source (not shown), inputs a video signal from the monitoring camera 101, and the video display unit 16 displays the video from the monitoring camera 101.

設置位置情報取得手段11は、監視カメラ101からの入力により、全監視対象区域に対するこの監視カメラ101の設置位置を示すカメラ設置位置情報を取得する。記録手段13は、設置位置情報取得手段11が取得した監視カメラ101のカメラ設置位置情報13aを保存する(ステップST101)。なお、ステップST101におけるカメラ設置位置情報13aは、管理者が外部装置から入力するものであってもよいし、GPSや無線等を利用して監視カメラ101自体から入力するものであってもよい。   The installation position information acquisition unit 11 acquires camera installation position information indicating the installation positions of the monitoring camera 101 in all the monitoring target areas based on an input from the monitoring camera 101. The recording unit 13 stores the camera installation position information 13a of the monitoring camera 101 acquired by the installation position information acquisition unit 11 (step ST101). Note that the camera installation position information 13a in step ST101 may be input from an external device by the administrator, or input from the monitoring camera 101 itself using GPS, radio, or the like.

付加情報取得手段12は、他のシステム111からネットワーク200を介して監視対象区域内における監視対象物のイベント情報(状態情報、位置情報)を取得する。記録手段13は、付加情報取得手段12が取得したイベント情報13bを保存する(ステップST102)。
機器状態情報取得手段14は、監視カメラ101からネットワーク200を介して、当該監視カメラ101の撮影方向を示す撮影方向情報を取得する(ステップST103)。
The additional information acquisition unit 12 acquires event information (state information, position information) of the monitoring target in the monitoring target area from the other system 111 via the network 200. The recording unit 13 stores the event information 13b acquired by the additional information acquisition unit 12 (step ST102).
The device state information acquisition unit 14 acquires shooting direction information indicating the shooting direction of the monitoring camera 101 from the monitoring camera 101 via the network 200 (step ST103).

付加情報表示手段15は、機器状態情報取得手段14で取得された撮影方向情報に基づき、全監視対象区域内における監視カメラ101の撮影範囲を算出する。付加情報表示手段15は、付加情報取得手段12で取得されたイベント情報13bに含まれる位置情報を用いて撮影範囲内の付加情報の表示座標を算出する(ステップST104)とともに、イベント情報13bに含まれる状態情報を表示可能な形態に加工処理する。   The additional information display unit 15 calculates the shooting range of the monitoring camera 101 in all the monitoring target areas based on the shooting direction information acquired by the device state information acquisition unit 14. The additional information display unit 15 calculates the display coordinates of the additional information within the shooting range using the position information included in the event information 13b acquired by the additional information acquisition unit 12 (step ST104) and is included in the event information 13b. The state information to be displayed is processed into a displayable form.

付加情報表示手段15は、映像表示手段16で表示された映像に対し、表示可能な形態に加工処理した状態情報を、算出した表示座標に重ねて表示する。(ステップST105)。
機器状態情報取得手段14は、続いて監視カメラ101から取得した撮影方向情報を取得し、撮影方向情報に基づき監視カメラ101の撮影方向が変化したかどうかを判定する(ステップST106)。機器状態情報取得手段14は、監視カメラ101の撮影方向が変化したと判定した場合(ステップST106“YES”)、ステップST103からの処理を繰り返す。一方、機器状態情報取得手段14は、監視カメラ101の撮影方向が変化していないと判定した場合(ステップST106“NO”)、監視カメラ101から撮影方向情報を取得して、ステップST106の処理を行う。
The additional information display means 15 superimposes and displays the state information obtained by processing the video displayed by the video display means 16 into a displayable form on the calculated display coordinates. (Step ST105).
The device state information acquisition unit 14 subsequently acquires the shooting direction information acquired from the monitoring camera 101, and determines whether or not the shooting direction of the monitoring camera 101 has changed based on the shooting direction information (step ST106). If the device state information acquisition unit 14 determines that the shooting direction of the monitoring camera 101 has changed (step ST106 “YES”), it repeats the processing from step ST103. On the other hand, when it is determined that the shooting direction of the monitoring camera 101 has not changed (step ST106 “NO”), the device state information acquisition unit 14 acquires shooting direction information from the monitoring camera 101 and performs the process of step ST106. Do.

ここで、実施の形態1の監視映像表示装置10で表示する監視映像の特徴について図3を用いて説明する。図3においては、監視対象物がプリンタである例について説明し、監視映像表示装置10は、他のシステム111からのイベント情報として、プリンタ17aのトナーの残量を示す状態情報と位置情報を入力するものとする。   Here, the characteristics of the monitoring video displayed on the monitoring video display device 10 according to the first embodiment will be described with reference to FIG. In FIG. 3, an example in which the monitoring target is a printer will be described. The monitoring video display apparatus 10 inputs status information and position information indicating the remaining amount of toner of the printer 17 a as event information from another system 111. It shall be.

図3に示す監視映像Aは、プリンタ17aにおいてトナー残量が少ないことを示すイベントが発生し、撮影映像内のイベントが発生したプリンタ17aに対応する位置に、吹き出し図形内にプリンタ17aの「トナー少」状態を示す付加情報を表示している。   In the monitoring video A shown in FIG. 3, an event indicating that the amount of remaining toner is low occurs in the printer 17a, and the “toner” of the printer 17a is displayed in the balloon graphic at a position corresponding to the printer 17a in which the event in the photographed video has occurred. Additional information indicating the “low” state is displayed.

このとき、監視カメラ101が右方向に旋回操作され撮影方向が変わると、映像も右方向に旋回する。監視映像表示装置10は、上述したステップST103からステップST105の処理を行い、撮影方向が変わる度に付加情報の表示座標を算出し、図3の監視映像A´に示すように状態情報を撮影映像範囲内の表示座標に重ねて表示する。このように監視カメラ101の撮影方向の変化にしたがって付加情報も移動して表示するようにしている。   At this time, when the monitoring camera 101 is turned to the right and the shooting direction is changed, the image also turns to the right. The monitoring video display device 10 performs the processing from step ST103 to step ST105 described above, calculates the display coordinates of the additional information every time the shooting direction changes, and captures the state information as shown in the monitoring video A ′ in FIG. Overlays the display coordinates within the range. As described above, the additional information is also moved and displayed in accordance with the change in the shooting direction of the monitoring camera 101.

上述したように、実施の形態1の監視映像表示装置10は、旋回制御可能で該撮影方向に応じた監視対象区域内を撮影する監視カメラ(撮影手段)101からの映像を表示する映像表示手段16と、監視カメラ101の撮影方向情報を取得する機器状態情報取得手段14と、監視対象区域内の監視対象物のイベント情報(位置情報と付加情報)を外部から取得する付加情報取得手段12と、機器状態情報取得手段14で取得された監視カメラ101の撮影方向情報と付加情報取得手段12で取得された監視対象区域内の監視対象物の位置情報に基づき、監視カメラ101で撮影された映像内の監視対象物に付加情報を紐付け、映像表示手段16の映像に重ねて表示する付加情報表示手段15とを備えるよう構成したことにより、映像の特徴量を用いずに撮影映像上の監視対象物に対応する位置に付加情報を確実に表示することができる。その結果、閲覧者が従来よりも正確に直感的な監視業務を行うことができるという効果が得られる。   As described above, the monitoring video display device 10 according to the first embodiment is capable of turning control, and the video display unit displays the video from the monitoring camera (imaging unit) 101 that captures an image of the monitoring target area according to the imaging direction. 16, device state information acquisition means 14 for acquiring shooting direction information of the monitoring camera 101, and additional information acquisition means 12 for acquiring event information (position information and additional information) of the monitoring target in the monitoring target area from the outside Based on the shooting direction information of the monitoring camera 101 acquired by the device state information acquisition unit 14 and the position information of the monitoring target in the monitoring target area acquired by the additional information acquisition unit 12, the video shot by the monitoring camera 101 Additional information display means 15 for associating additional information with the monitoring object in the display object and displaying it superimposed on the video of the video display means 16. Additional information at a position corresponding to the monitored object in the captured image without using can be reliably displayed. As a result, it is possible to obtain an effect that the viewer can perform intuitive monitoring work more accurately than in the past.

また、実施の形態1の監視映像表示装置10は、他のシステム111としての外部装置から監視対象区域内の監視対象物のイベント情報(位置情報と付加情報)を取得する付加情報取得手段12を備えるよう構成したので、他のシステム111と連携して監視対象物の状態を示す監視映像を表示することができるという効果が得られる。   The monitoring video display device 10 according to the first embodiment further includes additional information acquisition means 12 that acquires event information (position information and additional information) of the monitoring target in the monitoring target area from an external device as another system 111. Since it comprised so that it might comprise, the effect that the monitoring image | video which shows the state of the monitoring target object in cooperation with the other system 111 can be displayed is acquired.

実施の形態2.
実施の形態1においては、1つの監視カメラ101からの撮影映像に付加情報を重畳する構成について説明した。実施の形態2は、複数の監視カメラからの各撮影映像内に同一の監視対象物が表示される場合、撮影映像毎の同一監視対象物に同一の付加情報を重畳する構成について説明する。
Embodiment 2. FIG.
In the first embodiment, the configuration in which the additional information is superimposed on the captured video from one monitoring camera 101 has been described. Embodiment 2 describes a configuration in which the same additional information is superimposed on the same monitored object for each captured video when the same monitored object is displayed in each captured video from a plurality of surveillance cameras.

図4は、実施の形態2に係る監視映像表示装置の構成および監視映像表示装置を含む映像監視システムを示している。
映像監視システム2は、監視映像表示装置20と監視カメラ101と監視カメラ102がネットワーク200を介して通信可能に接続され構成されており、また、ネットワーク200を介して外部の他のシステム111も接続されている。ここでは、ネットワーク200が有線で構成されている例を示しているが無線で構成するものであってもよい。ここで、図4における監視カメラ101、他のシステム111は実施の形態1の構成と同様であり、監視カメラ102は監視カメラ101と同様の構成であるため、監視カメラ101,102、他のシステム111の構成の説明を省略する。
FIG. 4 shows a configuration of a monitoring video display device according to the second embodiment and a video monitoring system including the monitoring video display device.
The video surveillance system 2 is configured such that the surveillance video display device 20, the surveillance camera 101, and the surveillance camera 102 are communicably connected via the network 200, and other external systems 111 are also connected via the network 200. Has been. Here, an example is shown in which the network 200 is configured by wire, but it may be configured by wireless. Here, the monitoring camera 101 and the other system 111 in FIG. 4 have the same configuration as that of the first embodiment, and the monitoring camera 102 has the same configuration as the monitoring camera 101. Therefore, the monitoring cameras 101 and 102 and other systems The description of the configuration 111 is omitted.

監視映像表示装置20は、設置位置情報取得手段21、付加情報取得手段12、記録手段23、機器状態情報取得手段24、付加情報表示手段25、映像表示手段26で構成されている。図4において、付加情報取得手段12の構成は、実施の形態1と同様であるため、その説明を省略する。   The monitoring video display device 20 includes an installation position information acquisition unit 21, an additional information acquisition unit 12, a recording unit 23, a device state information acquisition unit 24, an additional information display unit 25, and a video display unit 26. In FIG. 4, the configuration of the additional information acquisition unit 12 is the same as that of the first embodiment, and thus the description thereof is omitted.

設置位置情報取得手段21は、外部装置または各監視カメラ101,102から、全監視対象区域に対する監視カメラ101の設置位置を示すカメラ設置位置情報と全監視対象区域に対する監視カメラ102の設置位置を示すカメラ設置位置情報を取得し、記録手段23に保存するよう構成されている。   The installation position information acquisition means 21 indicates camera installation position information indicating the installation position of the monitoring camera 101 with respect to all the monitoring target areas and the installation position of the monitoring camera 102 with respect to all the monitoring target areas from the external device or each of the monitoring cameras 101 and 102. The camera installation position information is acquired and stored in the recording means 23.

記録手段23は、設置位置情報取得手段21で取得された監視カメラ101のカメラ設置位置情報13aと監視カメラ102のカメラ設置位置情報23aを格納するとともに、付加情報取得手段12で取得されたイベント情報(状態情報、位置情報)13bを格納し、付加情報表示手段25からの要求に応じてカメラ設置位置情報13a、カメラ設置位置情報23a、イベント情報13bを出力する。
機器状態情報取得手段24は、監視カメラ101,102毎に撮影方向を示す撮影方向情報を取得する。
The recording unit 23 stores the camera installation position information 13 a of the monitoring camera 101 acquired by the installation position information acquisition unit 21 and the camera installation position information 23 a of the monitoring camera 102, and event information acquired by the additional information acquisition unit 12. (Status information, position information) 13b is stored, and camera installation position information 13a, camera installation position information 23a, and event information 13b are output in response to a request from the additional information display means 25.
The device state information acquisition unit 24 acquires shooting direction information indicating the shooting direction for each of the monitoring cameras 101 and 102.

付加情報表示手段25は、機器状態情報取得手段24で取得された監視カメラ101,102毎の撮影方向情報、設置位置情報取得手段21で取得された監視カメラ101,102毎のカメラ設置位置情報、付加情報取得手段12で取得された監視対象物のイベント情報に基づき、各監視カメラ101,102で撮影された映像内の監視対象物に付加情報としての状態情報を紐付け映像表示手段26の映像に重ねて表示するよう機能する。また、付加情報表示手段25は、監視カメラ101,102のうち一方(複数の監視カメラのうちの少なくとも一つ)の監視カメラ101で撮影された映像内の監視対象物と、他方(別の)監視カメラ102で撮影された映像内の監視対象物が同一の場合、設置位置情報取得手段21で取得された監視カメラ101,102毎の設置位置情報に基づき、同一の監視対象物に同一の付加情報を紐付け映像表示手段の映像に重ねて表示するよう機能する。   The additional information display unit 25 includes shooting direction information for each of the monitoring cameras 101 and 102 acquired by the device state information acquisition unit 24, camera installation position information for each of the monitoring cameras 101 and 102 acquired by the installation position information acquisition unit 21, Based on the event information of the monitoring target acquired by the additional information acquisition unit 12, the status information as the additional information is linked to the monitoring target in the video captured by each of the monitoring cameras 101 and 102, and the video of the video display unit 26 It functions to be displayed on top of each other. Further, the additional information display means 25 includes a monitoring object in the video imaged by one of the monitoring cameras 101 and 102 (at least one of the plurality of monitoring cameras) and the other (different). When the monitoring object in the video imaged by the monitoring camera 102 is the same, the same addition is made to the same monitoring object based on the installation position information for each of the monitoring cameras 101 and 102 acquired by the installation position information acquisition unit 21. It functions to display information superimposed on the video of the associated video display means.

具体的には、付加情報表示手段25は、機器状態情報取得手段24から監視カメラ101,102毎の撮影方向情報を取得すると、記録手段23からカメラ設置位置情報13a,23a、イベント情報13bを取得する。付加情報表示手段25は、カメラ設置位置情報13a,23aと監視カメラ101,102毎の撮影方向情報に基づき監視カメラ101,102毎に全監視対象区域内における撮影範囲を算出し、各監視カメラ101,102の撮影範囲とイベント情報13bの位置情報を比較して同一領域内の同一監視対象物が含まれるかを判定する。付加情報表示手段25は、同一監視対象物が含まれていないと判定した場合、イベント情報13bの位置情報を用いて監視カメラ101,102毎に撮影範囲内の監視対象物に状態情報を紐付けるための座標(付加情報の表示座標)を算出する。一方、付加情報表示手段25は、同一監視対象物が含まれていると判定した場合、一方の映像に表示されている付加情報の表示座標を他方の映像における付加情報の表示座標に変換する。付加情報表示手段25は、監視対象物の状態情報を表示可能な形態に加工処理し、算出または変換した表示座標を用いて加工処理後の状態情報を映像表示手段26で表示された各監視カメラ101,102の映像に重ねて表示する。   Specifically, when the additional information display unit 25 acquires the shooting direction information for each of the monitoring cameras 101 and 102 from the device state information acquisition unit 24, the additional information display unit 25 acquires the camera installation position information 13a and 23a and the event information 13b from the recording unit 23. To do. The additional information display means 25 calculates the shooting range in the entire monitoring target area for each of the monitoring cameras 101 and 102 based on the camera installation position information 13a and 23a and the shooting direction information of each of the monitoring cameras 101 and 102, and , 102 and the position information of the event information 13b are compared to determine whether the same monitoring object in the same region is included. If the additional information display unit 25 determines that the same monitoring object is not included, the additional information display unit 25 associates the state information with the monitoring object in the shooting range for each of the monitoring cameras 101 and 102 using the position information of the event information 13b. The coordinates (display coordinates for the additional information) are calculated. On the other hand, when it is determined that the same monitoring object is included, the additional information display unit 25 converts the display coordinates of the additional information displayed in one video to the display coordinates of the additional information in the other video. The additional information display means 25 processes the status information of the monitored object into a displayable form, and uses the calculated or converted display coordinates to display the status information after the processing by the video display means 26. 101 and 102 are superimposed on the video.

映像表示手段26は、各監視カメラ101,102から映像信号を入力し、各映像を図示しないディスプレイに表示させる。   The video display means 26 receives video signals from the monitoring cameras 101 and 102 and displays each video on a display (not shown).

次に、図5を用いて、実施の形態2における監視映像表示装置20の処理動作を説明する。図5の処理においては、監視カメラ101からの映像を先に表示しており、監視カメラ102からの映像を用いて監視映像を表示する際の処理について説明する。
監視映像表示装置20は、図示しない電源から電力が供給されると処理を開始し、監視カメラ101からの映像信号を入力して、上述した図2に示すステップST101からステップST104の処理を行い監視カメラ101の映像を用いた監視映像を表示する(ステップST201)。
Next, the processing operation of the monitoring video display device 20 according to the second embodiment will be described with reference to FIG. In the processing of FIG. 5, the video from the monitoring camera 101 is displayed first, and processing when the monitoring video is displayed using the video from the monitoring camera 102 will be described.
The monitoring video display device 20 starts processing when power is supplied from a power source (not shown), inputs a video signal from the monitoring camera 101, and performs processing from step ST101 to step ST104 shown in FIG. A monitoring video using the video of the camera 101 is displayed (step ST201).

設置位置情報取得手段21は、外部からの入力または監視カメラ102から、この監視カメラ102が設置されている監視対象区域内の位置を示すカメラ設置位置情報を取得する。記録手段23は、設置位置情報取得手段21が取得した監視カメラ102のカメラ設置位置情報23aを保存する(ステップST202)。   The installation position information acquisition unit 21 acquires camera installation position information indicating the position in the monitoring target area where the monitoring camera 102 is installed from an external input or the monitoring camera 102. The recording unit 23 stores the camera installation position information 23a of the monitoring camera 102 acquired by the installation position information acquisition unit 21 (step ST202).

機器状態情報取得手段24は、監視カメラ101と監視カメラ102からネットワーク200を介して、監視カメラ101,102毎に撮影方向を示す撮影方向情報を取得する(ステップST203)。   The device state information acquisition unit 24 acquires shooting direction information indicating a shooting direction for each of the monitoring cameras 101 and 102 from the monitoring camera 101 and the monitoring camera 102 via the network 200 (step ST203).

付加情報表示手段25は、カメラ設置位置情報13a,23aと監視カメラ101,102毎の撮影方向情報に基づき、監視カメラ101,102毎に全監視対象区域内における撮影範囲を算出し、各監視カメラ101,102の撮影範囲とイベント情報13bの位置情報を比較して監視カメラ102が別の監視カメラ101の撮影領域の同一監視対象物を撮影しているかを判定する(ステップST204)。
付加情報表示手段25は、ステップST204において、監視カメラ102が別の監視カメラ101の撮影領域の同一監視対象物を撮影していないと判定した場合(ステップST204“NO”)、ステップST101からステップST104の処理と同様の処理を行って監視映像を表示し、ステップST203からの処理を繰り返す。一方、付加情報表示手段25は、ステップST204において、監視カメラ102が別の監視カメラ101の撮影領域の同一監視対象物を撮影していると判定した場合(ステップST204“YES”)、監視カメラ101の映像に重ねて表示されている付加情報の表示座標を監視カメラ102の映像における付加情報の表示座標に変換する。
The additional information display means 25 calculates the shooting range in the entire monitoring target area for each of the monitoring cameras 101 and 102 based on the camera installation position information 13a and 23a and the shooting direction information for each of the monitoring cameras 101 and 102, and The imaging ranges of 101 and 102 and the position information of the event information 13b are compared to determine whether the monitoring camera 102 is imaging the same monitoring object in the imaging area of another monitoring camera 101 (step ST204).
If the additional information display means 25 determines in step ST204 that the monitoring camera 102 has not shot the same monitoring object in the shooting area of another monitoring camera 101 (step ST204 “NO”), the step ST101 to step ST104. The same processing as the above processing is performed to display the monitoring video, and the processing from step ST203 is repeated. On the other hand, when the additional information display unit 25 determines in step ST204 that the monitoring camera 102 is shooting the same monitoring object in the shooting area of another monitoring camera 101 (step ST204 "YES"), the monitoring camera 101 The display coordinates of the additional information displayed superimposed on the video of the above are converted into the display coordinates of the additional information in the video of the monitoring camera 102.

付加情報表示手段25は、監視対象物の状態情報を表示可能な形態に加工処理し、算出または変換した表示座標を用いて加工処理後の状態情報を映像表示手段26で表示された各監視カメラ102の映像に重ねて表示する(ステップST206)。   The additional information display means 25 processes the status information of the monitored object into a displayable form, and uses the calculated or converted display coordinates to display the status information after the processing by the video display means 26. The image is superimposed on the image 102 (step ST206).

機器状態情報取得手段24は、続いて監視カメラ101から取得した撮影方向情報と監視カメラ102から撮影方向情報を取得し、各撮影方向情報に基づき監視カメラ101または監視カメラ102の撮影方向が変化したかどうかを判定する(ステップST207)。
機器状態情報取得手段24は、監視カメラ101または監視カメラ102の撮影方向が変化したと判定した場合(ステップST207“YES”)、ステップST204からの処理を繰り返す。一方、機器状態情報取得手段24は、監視カメラ101または監視カメラ102の撮影方向が変化していないと判定した場合(ステップST207“NO”)、各監視カメラ101,102から撮影方向情報を取得して、ステップST207の処理を行う。
The device state information acquisition unit 24 subsequently acquires the shooting direction information acquired from the monitoring camera 101 and the shooting direction information from the monitoring camera 102, and the shooting direction of the monitoring camera 101 or the monitoring camera 102 has changed based on each shooting direction information. (Step ST207).
If it is determined that the shooting direction of the monitoring camera 101 or the monitoring camera 102 has changed (step ST207 “YES”), the device state information acquisition unit 24 repeats the processing from step ST204. On the other hand, when it is determined that the shooting direction of the monitoring camera 101 or the monitoring camera 102 has not changed (step ST207 “NO”), the device state information acquisition unit 24 acquires shooting direction information from each of the monitoring cameras 101 and 102. Then, the process of step ST207 is performed.

ここで、実施の形態2の監視映像表示装置20で表示する監視映像の特徴について図6を用いて説明する。図6においては、監視対象物がプリンタである例について説明し、監視映像表示装置20は、他のシステム111からのイベント情報として、プリンタ27aのトナーの残量を示す状態情報と位置情報を入力するものとする。   Here, the characteristics of the monitoring video displayed on the monitoring video display device 20 of the second embodiment will be described with reference to FIG. In FIG. 6, an example in which the monitoring target is a printer will be described. The monitoring video display device 20 inputs status information indicating the remaining amount of toner of the printer 27 a and position information as event information from another system 111. It shall be.

監視映像Bには、一方の監視カメラ101で撮影された映像上のプリンタ27aに対応する表示座標にプリンタ27aの「トナー少」状態を示す付加情報27が重ねて表示されている。ここで他方の監視カメラ102の撮影範囲にプリンタ27aが撮影されると、監視映像Bにおける付加情報27の表示座標が、監視カメラ101,102毎のカメラ設置位置情報に基づき監視映像B´における表示座標に変換され、監視映像B´にもプリンタ27aの「トナー少」状態を示す付加情報27が重ねて表示される。このように異なる監視カメラ101,102で撮影された映像内の同一監視対象物に同一の状態を示す付加情報27が重畳表示される。   In the monitoring video B, the additional information 27 indicating the “toner low” state of the printer 27 a is superimposed and displayed on the display coordinates corresponding to the printer 27 a on the video captured by one monitoring camera 101. Here, when the printer 27 a is photographed in the photographing range of the other monitoring camera 102, the display coordinates of the additional information 27 in the monitoring video B are displayed in the monitoring video B ′ based on the camera installation position information for each of the monitoring cameras 101 and 102. The additional information 27 indicating the “toner low” state of the printer 27a is also superimposed and displayed on the monitoring video B ′. In this manner, additional information 27 indicating the same state is superimposed and displayed on the same monitoring object in the images taken by the different monitoring cameras 101 and 102.

上述したように、実施の形態2の監視映像表示装置20は、実施の形態1の効果に加え、複数の監視カメラ101,102毎に設置位置情報を取得する設置位置情報取得手段21と、複数の監視カメラのうち一方(少なくとも一つ)の監視カメラ101で撮影された映像内の監視対象物と他方(別)の監視カメラ102で撮影された映像内の監視対象物が同一の場合、設置位置情報取得手段21で取得された監視カメラ101,102毎の設置位置情報に基づき同一の監視対象物に同一の付加情報を紐付け映像表示手段26の映像に重ねて表示する付加情報表示手段25とを備えるよう構成したことにより、複数の監視カメラ101,102毎の映像に同一監視対象物が表示されている場合、同一監視対象物に対して同一の付加情報を重畳し監視映像を表示することができる。その結果、監視映像において各監視カメラ101,102の映像間で付加情報の食い違いが無くなり、閲覧者が確認漏れをする危険性を軽減できるという効果が得られる。   As described above, in addition to the effects of the first embodiment, the monitoring video display device 20 according to the second embodiment includes the installation position information acquisition unit 21 that acquires the installation position information for each of the plurality of monitoring cameras 101 and 102, If the monitoring object in the video imaged by one (at least one) monitoring camera 101 and the monitoring object in the video image captured by the other (other) monitoring camera 102 are the same, the installation is performed. The additional information display unit 25 displays the same additional information on the same monitoring object on the video of the video display unit 26 based on the installation position information for each of the monitoring cameras 101 and 102 acquired by the position information acquisition unit 21. When the same monitoring object is displayed on the video for each of the plurality of monitoring cameras 101 and 102, the same additional information is superimposed on the same monitoring object. It is possible to display an image viewing. As a result, there is no discrepancy in additional information between the images of the monitoring cameras 101 and 102 in the monitoring video, and the effect of reducing the risk that the viewer may miss confirmation is obtained.

実施の形態3.
実施の形態1,2においては、監視カメラの撮影方向に応じた監視対象区域の映像を用いて監視映像を表示する構成について説明した。実施の形態3は、監視カメラがフロアマップ上で選択された位置に対応する撮影方向を撮影した映像を用いて監視映像を表示する構成について説明する。
Embodiment 3 FIG.
In the first and second embodiments, the configuration in which the monitoring video is displayed using the video of the monitoring target area corresponding to the shooting direction of the monitoring camera has been described. Embodiment 3 describes a configuration in which a monitoring video is displayed using a video obtained by shooting a shooting direction corresponding to a position selected by the monitoring camera on the floor map.

図7は、実施の形態3に係る監視映像表示装置の構成および監視映像表示装置を含む映像監視システムを示している。
映像監視システム3は、監視映像表示装置30と監視カメラ101がネットワーク200を介して通信可能に接続され構成されている。図7における監視カメラ101は実施の形態1の構成と同様であるため、監視カメラ101の構成の説明を省略する。
FIG. 7 shows a configuration of a monitoring video display device according to the third embodiment and a video monitoring system including the monitoring video display device.
The video surveillance system 3 includes a surveillance video display device 30 and a surveillance camera 101 that are communicably connected via a network 200. Since the monitoring camera 101 in FIG. 7 has the same configuration as that of the first embodiment, description of the configuration of the monitoring camera 101 is omitted.

監視映像表示装置30は、設置位置情報取得手段11、記録手段33、機器状態情報取得手段34、映像表示手段36、地図情報表示手段37、機器状態制御手段38で構成されている。図7において、設置位置情報取得手段11の構成は、実施の形態1と同様であるため、同一の符号を付して説明を省略する。   The monitoring video display device 30 includes an installation position information acquisition unit 11, a recording unit 33, a device state information acquisition unit 34, a video display unit 36, a map information display unit 37, and a device state control unit 38. In FIG. 7, the configuration of the installation position information acquisition unit 11 is the same as that of the first embodiment, and thus the same reference numerals are given and description thereof is omitted.

記録手段33は、設置位置情報取得手段11で取得された監視カメラ101のカメラ設置位置情報33aを格納し、機器状態制御手段38からの要求に応じてカメラ設置位置情報を出力する。   The recording unit 33 stores the camera installation position information 33 a of the monitoring camera 101 acquired by the installation position information acquisition unit 11, and outputs the camera installation position information in response to a request from the device state control unit 38.

機器状態情報取得手段34は、監視カメラ101の撮影方向を示す撮影方向情報を取得し、機器状態制御手段38へ出力する。撮影方向情報は、例えば、監視カメラ101の撮影方向制御値としてのパン、チルト、ズーム値を示す情報である。   The device state information acquisition unit 34 acquires shooting direction information indicating the shooting direction of the monitoring camera 101 and outputs it to the device state control unit 38. The shooting direction information is information indicating pan, tilt, and zoom values as shooting direction control values of the monitoring camera 101, for example.

映像表示手段36は、閲覧者の操作入力により後述する地図情報表示手段37のフロアマップ上が指定されると、監視カメラ101から指定座標に対応する監視対象区域内の位置が撮影された映像信号を入力し、図示しないディスプレイを介して映像を表示するよう機能する。   The video display means 36, when a floor map of the map information display means 37, which will be described later, is designated by a viewer's operation input, a video signal in which the position in the monitoring target area corresponding to the designated coordinates is photographed from the monitoring camera 101. To display an image through a display (not shown).

地図情報表示手段37は、予め記憶された所定の監視対象区域のフロアマップデータ(地図情報)を表示し、閲覧者の操作入力により外部の操作入力装置からフロアマップ上の位置を指定する操作信号を入力すると、フロアマップ上の指定された座標(指定座標)を機器状態制御手段38へ出力する。   The map information display means 37 displays floor map data (map information) of a predetermined monitoring target area stored in advance, and an operation signal for designating a position on the floor map from an external operation input device by a user's operation input Is input, the designated coordinates (designated coordinates) on the floor map are output to the device state control means 38.

機器状態制御手段38は、閲覧者の操作入力により外部の操作入力装置から地図情報表示手段37で表示されたフロアマップ上の座標が指定されると、指定された座標に対応する位置を撮影するよう監視カメラ101を旋回制御する。
具体的には、機器状態制御手段38は、地図情報表示手段37からフロアマップ上の指定座標を入力すると、記録手段33からカメラ設置位置情報33aを取得するとともに、機器状態情報取得手段34から撮影方向情報を取得する。機器状態制御手段38は、地図情報表示手段37からのフロアマップ上の指定座標に基づき、閲覧者が指定した座標に対応する監視対象区域内の位置(指定位置)を算出する。機器状態制御手段38は、設置位置情報取得手段11からの設置位置情報、機器状態情報取得手段からの撮影方向情報に基づき、算出した指定位置を撮影中心位置とする制御コマンド(制御信号)を監視カメラ101へ出力して監視カメラ101を旋回制御する。
なお、監視対象区域に対して複数の監視カメラが設けられている場合、機器状態制御手段38は、設置位置情報取得手段11からの設置位置情報、機器状態情報取得手段からの撮影方向情報に基づき、複数の監視カメラの中から指定位置を撮影可能な監視カメラ101を選択してから、監視カメラ101を旋回制御して撮影方向を変化させる。
When the coordinates on the floor map displayed by the map information display means 37 are designated from the external operation input device by the browser's operation input, the device state control means 38 captures a position corresponding to the designated coordinates. The surveillance camera 101 is controlled to turn.
Specifically, when the specified coordinates on the floor map are input from the map information display unit 37, the device state control unit 38 acquires the camera installation position information 33a from the recording unit 33 and also takes a picture from the device state information acquisition unit 34. Get direction information. Based on the designated coordinates on the floor map from the map information display means 37, the device state control means 38 calculates the position (designated position) in the monitoring target area corresponding to the coordinates designated by the viewer. The device state control unit 38 monitors a control command (control signal) having the calculated designated position as the shooting center position based on the installation position information from the installation position information acquisition unit 11 and the shooting direction information from the device state information acquisition unit. Output to the camera 101 to turn the surveillance camera 101.
When a plurality of monitoring cameras are provided for the monitoring target area, the device state control unit 38 is based on the installation position information from the installation position information acquisition unit 11 and the shooting direction information from the device state information acquisition unit. Then, after selecting the monitoring camera 101 capable of shooting the designated position from among the plurality of monitoring cameras, the monitoring camera 101 is controlled to turn to change the shooting direction.

次に、図8を用いて、実施の形態3における監視映像表示装置30の特徴的な処理動作を説明する。
監視映像表示装置30は、図示しない電源から電力が供給されると処理を開始する。
設置位置情報取得手段11は、監視カメラ101からの入力により、全監視対象区域に対するこの監視カメラ101の設置位置を示すカメラ設置位置情報を取得する。記録手段33は、設置位置情報取得手段11が取得した監視カメラ101のカメラ設置位置情報33aを保存する(ステップST301)。なおステップST301におけるカメラ設置位置情報33aは、管理者が外部装置から入力するものであってもよいし、GPSや無線等を利用して監視カメラ101自体から入力するものであってもよい。
Next, a characteristic processing operation of the monitoring video display device 30 according to the third embodiment will be described with reference to FIG.
The monitoring video display device 30 starts processing when power is supplied from a power source (not shown).
The installation position information acquisition unit 11 acquires camera installation position information indicating the installation positions of the monitoring camera 101 in all the monitoring target areas based on an input from the monitoring camera 101. The recording unit 33 stores the camera installation position information 33a of the monitoring camera 101 acquired by the installation position information acquisition unit 11 (step ST301). Note that the camera installation position information 33a in step ST301 may be input from the external device by the administrator, or may be input from the monitoring camera 101 itself using GPS, radio, or the like.

機器状態情報取得手段34は、監視カメラ101からネットワーク200を介して、当該監視カメラ101の撮影方向を示す撮影方向情報を取得する(ステップST302)。
地図情報表示手段37は、予め記憶された所定の監視対象区域のフロアマップデータ(地図情報)を図示しないディスプレイを介して表示する(ステップST303)。
The device state information acquisition unit 34 acquires shooting direction information indicating the shooting direction of the monitoring camera 101 from the monitoring camera 101 via the network 200 (step ST302).
The map information display unit 37 displays floor map data (map information) of a predetermined monitoring target area stored in advance via a display (not shown) (step ST303).

ここで、閲覧者は、地図情報表示手段37で表示されたフロアマップ上の監視したい位置を図示しない操作入力装置から指定する。地図情報表示手段37は、フロアマップ上の位置を指定する操作信号を入力すると、フロアマップ上の指定された座標(指定座標)を機器状態制御手段38へ出力する(ステップST304)。   Here, the viewer designates a position to be monitored on the floor map displayed by the map information display means 37 from an operation input device (not shown). When the map information display means 37 receives an operation signal for designating a position on the floor map, the map information display means 37 outputs the designated coordinates (designated coordinates) on the floor map to the equipment state control means 38 (step ST304).

機器状態制御手段38は、地図情報表示手段37からフロアマップ上の指定座標を入力すると、記録手段33からカメラ設置位置情報33aを取得するとともに、機器状態情報取得手段34から撮影方向情報を取得する。機器状態制御手段38は、地図情報表示手段37からのフロアマップ上の指定座標に基づき、フロアマップ上の指定座標に対応する監視対象区域内の位置(指定位置)を算出する。機器状態制御手段38は、算出した指定位置、設置位置情報取得手段11からの設置位置情報、機器状態情報取得手段からの撮影方向情報に基づき、指定位置を撮影可能な監視カメラ101を選択するとともに、指定位置を撮影中心位置とする制御値を算出する。機器状態制御手段38は、算出した制御値を含む制御コマンド(制御信号)を監視カメラ101へ出力して監視カメラ101を旋回制御して撮影方向を変化させ(ステップST305)、監視カメラ101に撮影した映像信号を出力させる。
映像表示手段36は、監視カメラ101から映像信号を入力すると、フロアマップ表示に変えて監視カメラ101で撮影された映像を表示する(終了)。
When the designated coordinates on the floor map are inputted from the map information display means 37, the equipment state control means 38 obtains the camera installation position information 33a from the recording means 33 and obtains the shooting direction information from the equipment state information obtaining means 34. . Based on the designated coordinates on the floor map from the map information display means 37, the device state control means 38 calculates a position (designated position) in the monitoring target area corresponding to the designated coordinates on the floor map. The device state control unit 38 selects the monitoring camera 101 capable of shooting the specified position based on the calculated specified position, the installation position information from the installation position information acquisition unit 11, and the shooting direction information from the device state information acquisition unit. Then, a control value with the designated position as the photographing center position is calculated. The device state control means 38 outputs a control command (control signal) including the calculated control value to the monitoring camera 101, controls the turning of the monitoring camera 101 to change the shooting direction (step ST305), and the monitoring camera 101 takes a picture. Output the video signal.
When the video signal is input from the monitoring camera 101, the video display means 36 displays the video shot by the monitoring camera 101 instead of the floor map display (end).

次に、実施の形態3の監視映像表示装置30で表示する監視映像の特徴について図9を用いて説明する。
監視映像Cは、地図情報表示手段37がディスプレイに表示するフロアマップを示しており、フロアマップで示される範囲を撮影可能な2つの監視カメラ301,302もフロアマップ上に表示されている。監視映像C上には、閲覧者の操作入力により位置を指定するためのマウスカーソル303が重ねて表示されている。
ここで、閲覧者の操作入力によりフロアマップ上の監視したい位置が指定されると、監視映像表示装置30では上述したステップST304からステップST305の処理が行われ、マウスカーソル303のフロアマップ上の指定座標に対応する実際の監視対象区域内の指定位置303´を算出し、指定位置303´を撮影中心位置とするよう監視カメラ301と監視カメラ302を制御し、監視カメラ301と監視カメラ302からの映像を監視映像Dとして表示する。
Next, features of the monitoring video displayed on the monitoring video display device 30 of the third embodiment will be described with reference to FIG.
The monitoring video C shows a floor map displayed on the display by the map information display means 37, and two monitoring cameras 301 and 302 capable of photographing the range indicated by the floor map are also displayed on the floor map. On the monitoring video C, a mouse cursor 303 for designating a position by a viewer's operation input is displayed in an overlapping manner.
Here, when the position to be monitored on the floor map is specified by the operation input of the viewer, the monitoring video display apparatus 30 performs the processing from step ST304 to step ST305 described above, and specifies the mouse cursor 303 on the floor map. The designated position 303 ′ in the actual monitoring target area corresponding to the coordinates is calculated, and the monitoring camera 301 and the monitoring camera 302 are controlled so that the designated position 303 ′ is the photographing center position. The video is displayed as monitoring video D.

上述したように、実施の形態3の監視映像表示装置30は、所定の監視対象区域の地図情報を表示する地図情報表示手段37と、旋回制御可能で該撮影方向に応じた監視対象区域内を撮影する監視カメラ101からの映像を表示する映像表示手段36と、監視カメラ101毎に設置位置情報を取得する設置位置情報取得手段11と、監視カメラ101毎に撮影方向情報を取得する機器状態情報取得手段34と、閲覧者の操作入力により地図情報表示手段37で表示された地図上が指定されると、設置位置情報取得手段11からの設置位置情報と機器状態情報取得手段34からの撮影方向情報に基づき、指定された地図上の座標に対応して監視対象区域内の位置を撮影するよう監視カメラ101毎に旋回制御する機器状態制御手段38を備えるよう構成したので、閲覧者がフロアマップ上を指定するだけで所望の監視映像を表示させることができる。その結果、閲覧者が従来よりも正確に直感的な監視業務を行うことができるという効果が得られる。   As described above, the monitoring video display device 30 according to the third embodiment includes the map information display unit 37 that displays the map information of a predetermined monitoring target area, and the inside of the monitoring target area that can be swiveled and that corresponds to the shooting direction. Video display means 36 for displaying video from the surveillance camera 101 to be photographed, installation position information acquisition means 11 for obtaining the installation position information for each monitoring camera 101, and equipment state information for obtaining the shooting direction information for each monitoring camera 101 When the acquisition unit 34 and a map displayed on the map information display unit 37 are designated by a browser operation input, the installation position information from the installation position information acquisition unit 11 and the shooting direction from the device state information acquisition unit 34 are specified. On the basis of the information, there is provided a device state control means 38 that performs turn control for each monitoring camera 101 so as to photograph a position in the monitoring target area corresponding to the coordinates on the specified map. Since the jar configuration, the viewer is able to display the desired monitoring the video simply by specifying on the floor map. As a result, it is possible to obtain an effect that the viewer can perform intuitive monitoring work more accurately than in the past.

なお、実施の形態3の監視映像表示装置30において、機器状態制御手段38が監視カメラ101の旋回制御を行わない構成であってもよい。その場合、機器状態制御手段38は、地図情報表示手段37からフロアマップ上の指定座標を入力すると、記録手段33からカメラ設置位置情報33aを取得するとともに、機器状態情報取得手段34から撮影方向情報を取得する。機器状態制御手段38は、地図情報表示手段37からのフロアマップ上の指定座標、設置位置情報取得手段11からの設置位置情報、機器状態情報取得手段34からの撮影方向情報に基づき、閲覧者が指定した座標に対応する監視対象区域内の位置を算出する。機器状態制御手段38は、例えば複数の監視カメラの中から、算出した監視対象区域内の位置を撮影する監視カメラ101から映像信号を出力するよう制御する。   In the monitoring video display device 30 according to the third embodiment, the device state control unit 38 may be configured not to perform the turning control of the monitoring camera 101. In that case, when the device state control unit 38 inputs the designated coordinates on the floor map from the map information display unit 37, the device state control unit 38 acquires the camera installation position information 33 a from the recording unit 33 and also the shooting direction information from the device state information acquisition unit 34. To get. The device state control means 38 is based on the designated coordinates on the floor map from the map information display means 37, the installation position information from the installation position information acquisition means 11, and the shooting direction information from the equipment state information acquisition means 34. Calculate the position in the monitored area corresponding to the specified coordinates. The device state control means 38 controls to output a video signal from the monitoring camera 101 that captures the calculated position in the monitoring target area, for example, from among a plurality of monitoring cameras.

なお、本願発明はその発明の範囲内において、各実施の形態の自由な組み合わせ、あるいは各実施の形態の任意の構成要素の変形、もしくは各実施の形態において任意の構成要素の省略が可能である。   In the present invention, within the scope of the invention, any combination of the embodiments, or any modification of any component in each embodiment, or omission of any component in each embodiment is possible. .

1,2,3 映像監視システム、10,20,30 監視映像表示装置、11,21 設置位置情報取得手段、12 付加情報取得手段、13,23,33 記録手段、13a,23a,33a カメラ設置位置情報、13b イベント情報、14,24,34 機器状態情報取得手段、15,25 付加情報表示手段、16,26,36 映像表示手段、17,27 付加情報、17a,27a プリンタ(監視対象物)、37 地図情報表示手段、38 機器状態制御手段、101,102 監視カメラ、111 他のシステム,200 ネットワーク、301 カメラA、302 カメラB、303 指定座標、303´ 指定座標に対応した監視対象区域内の指定位置。   1, 2, 3 Video monitoring system 10, 20, 30 Monitoring video display device, 11, 21 Installation position information acquisition means, 12 Additional information acquisition means, 13, 23, 33 Recording means, 13a, 23a, 33a Camera installation position Information, 13b Event information, 14, 24, 34 Device status information acquisition means, 15, 25 Additional information display means, 16, 26, 36 Video display means, 17, 27 Additional information, 17a, 27a Printer (monitoring object), 37 Map information display means, 38 Device status control means, 101, 102 Surveillance camera, 111 Other system, 200 Network, 301 Camera A, 302 Camera B, 303 Designated coordinates, 303 'In the monitoring target area corresponding to the designated coordinates The specified position.

Claims (5)

旋回制御可能で撮影方向に応じて監視対象区域内を撮影する撮影手段からの映像を表示する映像表示手段と、
上記撮影手段の撮影方向情報を取得する機器状態情報取得手段と、
上記監視対象区域内の監視対象の位置情報と付加情報を外部の他システムから取得する付加情報取得手段と、
記撮影手段の撮影方向情報および上記監視対象区域内の監視対象の位置情報に基づき、上記撮影手段の撮影範囲の変化にしたがって、上記撮影手段で撮影された映像内の監視対象毎に紐付けた上記付加情報を追随させて上記映像表示手段の映像に重ねて表示する付加情報表示手段と
を備えた監視映像表示装置。
Video display means for displaying a video from a photographing means capable of turning control and photographing the inside of the monitored area according to the photographing direction;
Device state information acquisition means for acquiring shooting direction information of the shooting means;
An additional information acquiring unit that acquires additional information and position information of the monitoring subject to the monitored zone from another external system,
Based on the monitoring versus position information elephant in the shooting direction information, and the upper Symbol monitored zone above Symbol photographing means, in accordance with the change in the shooting range of the photographing means, for each monitored in the image photographed by the photographing means by following the above additional information correlated monitoring image display device and an additional information display means for displaying superimposed on the image of the video display means.
旋回制御可能で撮影方向に応じて監視対象区域内を撮影する撮影手段からの映像を表示する映像表示手段と、
上記撮影手段の撮影方向情報を取得する機器状態情報取得手段と、
上記監視対象区域内の監視対象の位置情報と付加情報を外部の他システムから取得する付加情報取得手段と、
上記撮影手段の撮影方向情報と上記監視対象区域内の監視対象の位置情報に基づき、上記撮影手段で撮影された映像内の監視対象に上記付加情報を紐付け上記映像表示手段の映像に重ねて表示する付加情報表示手段と、
複数の上記撮影手段毎に設置位置情報を取得する設置位置情報取得手段を備え、
上記付加情報表示手段は、少なくとも一つの撮影手段で撮影された映像内の監視対象と別の撮影手段で撮影された映像内の監視対象が同一の場合、上記撮影手段毎の設置位置情報に基づき同一の監視対象に同一の付加情報を紐付け上記映像表示手段の映像に重ねて表示することを特徴とする監視映像表示装置。
Video display means for displaying a video from a photographing means capable of turning control and photographing the inside of the monitored area according to the photographing direction;
Device state information acquisition means for acquiring shooting direction information of the shooting means;
Additional information acquisition means for acquiring position information and additional information of the monitoring target in the monitoring target area from another external system;
Based on the shooting direction information of the shooting unit and the position information of the monitoring target in the monitoring target area, the additional information is linked to the monitoring target in the video shot by the shooting unit and superimposed on the video of the video display unit. Additional information display means for displaying;
And an installation position information acquiring means for acquiring installation position information for each of a plurality of the photographing means,
The additional information display means, at least when one of the monitoring subject to the image captured by the monitoring Target and another photographing means in captured images by photographing means are the same, the installation of each shadow means Taking above Symbol same monitoring Target to the same additional information tying said display means monitoring image display device you characterized in that displayed over the image of the basis of the position information.
上記監視対象区域の地図情報を表示する地図情報表示手段と、
記撮影手段毎に設置位置情報を取得する設置位置情報取得手段と、を備え、
上記映像表示手段は、閲覧者の操作入力により上記地図情報表示手段で表示された地図上が指定されると、上記撮影手段の設置位置情報と上記撮影手段の撮影方向情報に基づき、上記指定された地図上の座標に対応する位置を撮影する上記撮影手段からの映像を表示することを特徴とする請求項1記載の監視映像表示装置。
A map information display means for displaying the map information of the area to be monitored,
Comprising the installation position information acquiring means for acquiring installation position information for each upper Symbol photographing means, and
The video display means, when the map displayed by the map information display unit is designated by the viewer operation input, based on the shooting direction information of installation position information and the shooting means of the imaging means is the designated 2. The surveillance video display device according to claim 1, wherein the video from the photographing means for photographing the position corresponding to the coordinates on the map is displayed.
上記監視対象区域の地図情報を表示する地図情報表示手段を備え、Comprising map information display means for displaying the map information of the monitored area,
上記映像表示手段は、閲覧者の操作入力により上記地図情報表示手段で表示された地図上が指定されると、上記撮影手段の設置位置情報と上記撮影手段の撮影方向情報に基づき、上記指定された地図上の座標に対応する位置を撮影する上記撮影手段からの映像を表示することを特徴とする請求項2記載の監視映像表示装置。  The video display means is designated based on the installation position information of the photographing means and the photographing direction information of the photographing means when the map displayed on the map information display means is designated by a browser operation input. 3. The surveillance video display device according to claim 2, wherein the video from the photographing means for photographing the position corresponding to the coordinates on the map is displayed.
閲覧者の操作入力により上記地図情報表示手段で表示された地図上が指定されると、上記撮影手段の設置位置情報と上記撮影手段の撮影方向情報に基づき、上記指定された地図上の座標に対応する位置を撮影するよう上記撮影手段を旋回制御する機器状態制御手段を備えたことを特徴とする請求項3または請求項4記載の監視映像表示装置。 If on the map displayed by the map information display unit is designated by the viewer operation input, based on the shooting direction information of installation position information and the shooting means of the imaging means, the coordinates on the specified map monitoring video display device corresponding position comprising the device status control means for turning control the photographing means to photograph the claim 3 or claim 4, wherein.
JP2010268327A 2010-12-01 2010-12-01 Surveillance video display device Expired - Fee Related JP5677055B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2010268327A JP5677055B2 (en) 2010-12-01 2010-12-01 Surveillance video display device

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2010268327A JP5677055B2 (en) 2010-12-01 2010-12-01 Surveillance video display device

Publications (2)

Publication Number Publication Date
JP2012119971A JP2012119971A (en) 2012-06-21
JP5677055B2 true JP5677055B2 (en) 2015-02-25

Family

ID=46502319

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2010268327A Expired - Fee Related JP5677055B2 (en) 2010-12-01 2010-12-01 Surveillance video display device

Country Status (1)

Country Link
JP (1) JP5677055B2 (en)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104202556B (en) * 2014-09-24 2018-05-08 北京智谷睿拓技术服务有限公司 Information acquisition method, information acquisition device and user equipment
CN104539877B (en) * 2014-10-31 2018-08-07 苏州市吴江区公安局 Police electronic compass monitoring method
JP6197849B2 (en) * 2015-10-23 2017-09-20 カシオ計算機株式会社 Image display apparatus and program
JP2022178205A (en) 2021-05-19 2022-12-02 キヤノン株式会社 Control apparatus and method of controlling the same
WO2023224036A1 (en) * 2022-05-17 2023-11-23 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ Information processing method, information processing device, and information processing program

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3785033B2 (en) * 2000-08-29 2006-06-14 株式会社東芝 Surveillance camera control system and surveillance camera control device
JP3930298B2 (en) * 2001-11-16 2007-06-13 富士通株式会社 GIS integrated device
JP2005354367A (en) * 2004-06-10 2005-12-22 Matsushita Electric Ind Co Ltd Network camera system
JP4751442B2 (en) * 2008-12-24 2011-08-17 株式会社東芝 Video surveillance system

Also Published As

Publication number Publication date
JP2012119971A (en) 2012-06-21

Similar Documents

Publication Publication Date Title
JP6399356B2 (en) Tracking support device, tracking support system, and tracking support method
JP4098808B2 (en) Remote video display method, video acquisition device, method thereof, and program thereof
US7956891B2 (en) Camera control apparatus and method, and camera control system
US20160180599A1 (en) Client terminal, server, and medium for providing a view from an indicated position
JP2006333133A (en) Imaging apparatus and method, program, program recording medium and imaging system
JP2006333132A (en) Imaging apparatus and method, program, program recording medium and imaging system
WO2016147586A1 (en) Image-capturing device, recording device, and video output control device
US7684591B2 (en) Information processing system, information processing apparatus and information processing method, program, and recording medium
JP6465600B2 (en) Video processing apparatus and video processing method
KR20130130544A (en) Method and system for presenting security image
JP5677055B2 (en) Surveillance video display device
KR20110093040A (en) Apparatus and method for monitoring an object
KR101778744B1 (en) Monitoring system through synthesis of multiple camera inputs
JP2019054369A (en) Imaging device, control method of imaging device, and program
JP2015204525A (en) Information processing system, presentation method, and program
JP6396682B2 (en) Surveillance camera system
JP7271105B2 (en) Display control device, display control method, and program
JP2009049798A (en) Camera control method, camera control device, camera control program, and camera system
KR20210108691A (en) apparatus and method for multi-channel image back-up based on event, and network surveillance camera system including the same
JP2004088558A (en) Monitoring system, method, program, and recording medium
JP3969172B2 (en) Monitoring system and method, program, and recording medium
JP3838149B2 (en) Monitoring system and method, program and recording medium
KR20220003779A (en) apparatus and method for multi-channel image back-up based on event, and network surveillance camera system including the same
JP2020202503A (en) Imaging device, computer program, and recording medium
JP6836306B2 (en) Imaging control device, its control method, program and recording medium

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20130909

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20140606

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20140610

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20140801

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20141202

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20141226

R150 Certificate of patent or registration of utility model

Ref document number: 5677055

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees