JP2007221693A - Video monitor system and video concentrator - Google Patents
Video monitor system and video concentrator Download PDFInfo
- Publication number
- JP2007221693A JP2007221693A JP2006042728A JP2006042728A JP2007221693A JP 2007221693 A JP2007221693 A JP 2007221693A JP 2006042728 A JP2006042728 A JP 2006042728A JP 2006042728 A JP2006042728 A JP 2006042728A JP 2007221693 A JP2007221693 A JP 2007221693A
- Authority
- JP
- Japan
- Prior art keywords
- video
- priority
- monitoring
- surveillance
- area
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Abstract
Description
この発明は、複数の監視エリアを撮像し、複数の監視エリアの映像を表示端末に伝送して表示する映像監視システム及び映像集信装置に関するものである。 The present invention relates to a video monitoring system and a video concentrator that capture images of a plurality of monitoring areas and transmit and display videos of the plurality of monitoring areas to a display terminal.
従来の映像監視システムでは、広域エリアを隈なく監視したいというニーズから、監視カメラやセンサの設置台数が多くなってきている。
これにより、膨大な数の監視カメラにより撮影された映像が表示されるが、監視員が膨大な数の映像を監視する必要があるため、監視員の監視業務負荷が大きくなり、重要な映像を見落とす状況を招くことがある。また、監視センタに伝送する映像のデータ量も多くなるため、ネットワークコストも増大している。
In conventional video surveillance systems, the number of surveillance cameras and sensors installed is increasing due to the need to monitor a wide area.
As a result, images taken by a large number of surveillance cameras are displayed. However, since the surveillance personnel need to monitor a large number of images, the monitoring work load on the surveillance personnel increases and important images are displayed. It can lead to overlooked situations. In addition, since the amount of video data transmitted to the monitoring center increases, the network cost also increases.
そこで、複数の監視カメラにより撮影された映像に優先度を割り当て、優先度が高い映像だけを伝送する映像監視システムが開発されている(例えば、特許文献1を参照)。
また、映像の優先度に応じて表示端末の分割表示画面を制御する映像監視システムが開発されている(例えば、特許文献2,3を参照)。
複数の監視カメラにより撮影された映像の優先度を判定する判定方法として、例えば、監視カメラにより撮影された映像に対する動き検出処理を実施して動きの有無を検出し、動きの有無で優先度を判定する技術が以下の特許文献2,4に開示されている。
In view of this, a video monitoring system has been developed that assigns priority to videos taken by a plurality of surveillance cameras and transmits only videos with high priority (see, for example, Patent Document 1).
In addition, a video monitoring system that controls a split display screen of a display terminal according to video priority has been developed (see, for example,
As a determination method for determining the priority of videos taken by a plurality of surveillance cameras, for example, a motion detection process is performed on videos taken by surveillance cameras to detect the presence or absence of motion, and the priority is determined based on the presence or absence of motion. Techniques for determining are disclosed in
従来の映像監視システムは以上のように構成されているので、激しい動きをしている被写体が撮影されている映像の優先度を高める場合、激しい動きをしている被写体が撮影されている映像が優先的に伝送されるが(特許文献2,4)、そのような被写体が撮影されている映像が必ずしも重要な監視対象の映像であるとは限らず、本当に重要な監視対象の映像が表示されなくなることがある課題があった。
例えば、警備員や店員が巡回しているようなエリアを監視カメラが撮影している場合、警備員や店員の動きが検出されることにより、当該監視カメラにより撮影された映像に高い優先度が設定されるが、監視カメラでは、警備員や店員が存在しているエリアより、警備員や店員が存在していないエリアを監視する必要性が高く(警備員や店員が存在しているエリアでは、監視カメラにより撮影された映像を監視するまでもなく、警備員や店員が不審者や不正行為者を発見することができる)警備員や店員が存在していないエリアにいる不審者や不正行為者を見落とすことがある。
また、人や物が頻繁に動くエリアを監視する場合、ほとんどの監視カメラにより撮影された映像の優先度が高くなる。この場合、監視対象の映像の選択が困難になり、結局、監視員が多くの映像を監視する必要が生じる。
Since the conventional video surveillance system is configured as described above, when the priority of a video in which a subject that is moving violently is increased, the video in which the subject that is moving violently is shot. Although it is transmitted preferentially (
For example, when a surveillance camera is shooting an area where a security guard or a store clerk is traveling, a high priority is given to the video shot by the surveillance camera by detecting the movement of the security guard or the store clerk. However, in surveillance cameras, it is more necessary to monitor areas where there are no guards or clerk than areas where guards or clerk exist (in areas where guards or clerk exist) It is possible to detect a suspicious person or a fraudulent person without monitoring a video taken by a surveillance camera.) A suspicious person or a fraudulent act in an area where no security guard or a clerk exists. May be overlooked.
In addition, when monitoring an area where people and objects frequently move, the priority of the video taken by most surveillance cameras becomes high. In this case, it becomes difficult to select a video to be monitored, and eventually, it is necessary for the monitor to monitor many videos.
この発明は上記のような課題を解決するためになされたもので、不審者や不正行為者が撮影されている可能性が高い重要な監視エリアの映像を表示することができる映像監視システム及び映像集信装置を得ることを目的とする。 The present invention has been made to solve the above-described problems, and a video surveillance system and video capable of displaying a video of an important surveillance area in which a suspicious person or a fraudulent person is likely to be photographed. The purpose is to obtain a concentrator.
この発明に係る映像監視システムは、監視員が現在巡回している監視エリアを特定して、その監視エリアを撮影している監視カメラの優先度より、監視員が現在巡回していない監視エリアを撮影している監視カメラの優先度を高める優先度更新処理を実施する優先度更新手段と、複数の監視カメラの優先度を基準にして、複数の監視カメラにより撮影された監視エリアの映像の中から転送対象の映像を選択し、その映像を転送する映像転送手段とを有する映像集信装置を設けるようにしたものである。 The video surveillance system according to the present invention specifies a monitoring area that the supervisor is currently patroling, and determines a monitoring area that the supervisor is not currently patrol based on the priority of the surveillance camera that images the surveillance area. Priority update means for performing priority update processing for increasing the priority of the surveillance camera being photographed, and the video of the surveillance area captured by the surveillance cameras based on the priority of the surveillance cameras A video concentrator having video transfer means for selecting a video to be transferred from the video and transferring the video is provided.
この発明によれば、監視員が現在巡回している監視エリアを特定して、その監視エリアを撮影している監視カメラの優先度より、監視員が現在巡回していない監視エリアを撮影している監視カメラの優先度を高める優先度更新処理を実施する優先度更新手段と、複数の監視カメラの優先度を基準にして、複数の監視カメラにより撮影された監視エリアの映像の中から転送対象の映像を選択し、その映像を転送する映像転送手段とを有する映像集信装置を設けるように構成したので、不審者や不正行為者が撮影されている可能性が高い重要な監視エリアの映像を表示することができる効果がある。 According to the present invention, the monitoring area currently being visited by the monitoring person is identified, and the monitoring area that is not currently being visited by the monitoring person is photographed based on the priority of the monitoring camera that is shooting the monitoring area. Priority update means for performing priority update processing for increasing the priority of existing surveillance cameras, and transfer targets from videos of surveillance areas captured by multiple surveillance cameras based on the priorities of multiple surveillance cameras Since the video concentrator is provided with the video transfer means for selecting the video and transferring the video, the video of the important surveillance area where the suspicious person or the fraudulent person is likely to be photographed. There is an effect that can be displayed.
実施の形態1.
図1はこの発明の実施の形態1による映像監視システムを示す構成図であり、図において、監視カメラ1−1〜1−Nは監視エリアAに設置され、監視エリアAの映像を撮影する。
図2の例では、監視エリアAがメッシュ状に分割されており、監視カメラ1−1〜1−16が16個の分割エリアA−2〜A−5,A−8〜A−11,A−14〜A−17,A−20〜A−23に設置されて、個々の分割エリアの映像を撮影している。
なお、B1,B2は分割エリア間の壁である。
FIG. 1 is a block diagram showing a video surveillance system according to
In the example of FIG. 2, the monitoring area A is divided into a mesh shape, and the monitoring cameras 1-1 to 1-16 include 16 divided areas A-2 to A-5, A-8 to A-11, A. It is installed at -14 to A-17 and A-20 to A-23, and images of individual divided areas are taken.
B1 and B2 are walls between the divided areas.
映像集信装置3はネットワーク2を介して監視カメラ1−1〜1−Nと接続されており、例えば、警備員や店員などの監視員Mが現在巡回している分割エリア(監視エリア)を特定して、その分割エリアを撮影している監視カメラ1の優先度より、監視員が現在巡回していない分割エリアを撮影している監視カメラ1の優先度を高める優先度更新処理を実施するとともに、監視カメラ1−1〜1−Nの優先度を基準にして、監視カメラ1−1〜1−Nにより撮影された分割エリアの映像の中から転送対象の映像を選択し、その映像を転送する処理を実施する。
The
優先度解析装置5はネットワーク4を介して映像集信装置3と接続されており、監視員Mから監視カメラ1−1〜1−Nにより撮影された映像に対する優先度の設定を受け付け、その優先度の設定内容と監視員Mによる個々の分割エリアの巡回状況から、監視カメラ1−1〜1−Nの優先度を更新する際に使用する更新情報を生成する処理を実施する。
なお、詳細は後述するが、映像集信装置3は監視カメラ1−1〜1−Nの優先度を更新する際、優先度解析装置5により生成された更新情報にしたがって監視カメラ1−1〜1−Nの優先度を更新する。
The
Although details will be described later, when the
監視センタ6は監視カメラ1−1〜1−Nにより撮影された現在又は過去の映像や、監視員Mにより巡回された分割エリアの情報(監視員Mによる個々の分割エリアの巡回状況を示す情報)を蓄積しており、監視員Mが優先度解析装置5を使用して、監視カメラ1−1〜1−Nにより撮影された映像に対する優先度を設定する際、監視センタ6に蓄積されている映像や情報を見て、監視する必要性が高いと判断する重要な分割エリア(例えば、過去に不審者が発見された分割エリア)を決定する。
表示端末7はネットワーク4を介して映像集信装置3と接続されており、映像集信装置3により転送された映像を受信すると、その映像を表示する処理を実施する。
The
The
映像集信装置3の映像受信部11は監視カメラ1−1〜1−Nにより撮影された個々の分割エリアの映像を受信する処理を実施する。なお、映像受信部11は映像受信手段を構成している。
映像集信装置3のエリア情報DB12は個々の分割エリアに関するエリア情報(例えば、当該分割エリアが占有している領域の座標や、当該分割エリアに設置されているセンサの識別情報)を格納しているメモリである。
映像集信装置3のエリア情報管理部13はエリア情報DB12に格納されているエリア情報を管理し、エリア情報DB12に格納されているエリア情報を巡回エリア特定部14に出力する。
The
The
The area
映像集信装置3の巡回エリア特定部14は個々の分割エリアに設置されているセンサ(例えば、監視員の存在を検知する人感センサ、監視カメラ1の映像を画像処理して監視員の存在を検知する画像処理センサ、監視員が保持している無線タグから発信される電波を受信するタグリーダ)のセンサ情報とエリア情報管理部13より出力されるエリア情報から、監視員Mが現在巡回している分割エリアを特定し、その分割エリアを示す巡回情報を優先度更新部17に出力する。
映像集信装置3の更新情報受信部15は優先度解析装置5から送信された更新情報を受信し、その更新情報を更新情報DB16に格納して管理する。
映像集信装置3の更新情報DB16は更新情報を格納するメモリである。
The circulating
The update
The
映像集信装置3の優先度更新部17は監視員が現在巡回している分割エリアを撮影している監視カメラ1の優先度より、監視員が現在巡回していない分割エリアを撮影している監視カメラ1の優先度が高まるように、巡回エリア特定部14から出力された巡回情報と更新情報DB16に格納されている更新情報にしたがって監視カメラ1−1〜1−Nの優先度を更新する優先度更新処理を実施する。
なお、エリア情報DB12、エリア情報管理部13、巡回エリア特定部14、更新情報受信部15、更新情報DB16及び優先度更新部17から優先度更新手段が構成されている。
映像集信装置3の映像伝送制御部18は優先度更新部17により更新された監視カメラ1−1〜1−Nの優先度を基準にして、映像受信部11により受信された個々の分割エリアの映像の中から転送対象の映像を選択し、その映像を表示端末7に転送する処理を実施する。なお、映像伝送制御部18は映像転送手段を構成している。
The
The
The video
優先度解析装置5の優先度学習部21は監視員Mから監視カメラ1−1〜1−Nにより撮影された映像に対する優先度の設定を受け付け、その優先度の設定内容と監視員Mによる個々の分割エリアの巡回状況から、監視カメラ1−1〜1−Nの優先度を更新する際に使用する更新情報を生成する処理を実施する。
優先度解析装置5の更新情報送信部22は優先度学習部21により生成された更新情報を映像集信装置3に送信する処理を実施する。
The
The update
表示端末7の映像再生部31は映像集信装置3により転送された映像を受信すると、その映像を表示する処理を実施する。
なお、映像再生部31は画面の表示エリアを分割して、複数の映像を同時に表示することができ、また、優先度に応じて映像の表示位置を設定することができる機能を備えている。
表示端末7のリクエスト部32は監視対象の分割エリアを指定するリクエストを送信する処理を実施する。
図3はこの発明の実施の形態1による映像監視システムの映像集信装置の優先度更新処理を示すフローチャートであり、図4はこの発明の実施の形態1による映像監視システムの優先度解析装置の処理内容を示すフローチャートである。
また、図5はこの発明の実施の形態1による映像監視システムの映像集信装置の映像転送処理を示すフローチャートである。
When the
The
The
FIG. 3 is a flowchart showing the priority update processing of the video concentrator of the video surveillance system according to
FIG. 5 is a flowchart showing video transfer processing of the video concentrator of the video monitoring system according to
次に動作について説明する。
この実施の形態1では、パーラー向けの映像監視システムを例にして説明する。
パーラーでは、遊技台に不正な修正を施して一度に巨額のコインや玉を取り出すゴト師や、遊技に夢中になっている客からコイン/玉や貴重品を盗む窃盗犯を見つけ出すため、店員による巡回監視や監視カメラによる映像監視を実施している。
最近のパーラーでは、大型店舗が多くなり、監視カメラの設置台数が増加しているため、監視しなければならないカメラ映像が多くなり、監視員の負担が大きくなっている。
Next, the operation will be described.
In the first embodiment, a video monitoring system for a parlor will be described as an example.
In parlors, the shopkeepers try to find a thief who steals coins / balls and valuables from customers who are enthusiastic about the game, and a Goto who takes a huge amount of coins and balls at once by improperly modifying the game console. We perform patrol monitoring and video surveillance with surveillance cameras.
In recent parlors, the number of large-sized stores has increased and the number of installed surveillance cameras has increased, so the number of camera images that must be monitored has increased, and the burden on the surveillance staff has increased.
また、ゴト師による不正行為を未然に防止するため、遊技台には、様々なセンサ等が設置されている。しかし、ゴト師は、これらのセンサ等を掻い潜って不正行為をはたらいているのが現状である。
遊技台やセンサの数が増えることにより、頻繁にセンサアラームが報知されるようになり、これに伴って、センサアラームの誤報(不正ではなく、本来特に監視しなくてもよいもの)の数も増え、さらに監視員の負担が大きくなっている。
この実施の形態1では、監視員の負担の増大を招くことなく、効率的にゴト師や窃盗犯などを見つけ出すことができるようにするものである。
Also, various sensors and the like are installed on the game table in order to prevent illegal acts by Goto. However, the current situation is that Goto is fraudulently working with these sensors.
As the number of game consoles and sensors increases, sensor alarms are frequently reported, and along with this, the number of sensor alarm misreports (which are not fraudulent and do not need to be monitored in particular) Increasingly, the burden on observers is increasing.
In the first embodiment, it is possible to efficiently find a Goto or a thief without causing an increase in the burden on the supervisor.
図2の例では、パーラーのホールを監視エリアAとしており、監視エリアAをメッシュ状に分割している。
また、24個の分割エリアA−1〜A−24のうち、分割エリアA−2〜A−5,A−8〜A−11,A−14〜A−17,A−20〜A−23には、監視カメラ1−5〜1−16を設置している。
なお、図2の例では、監視員として、2人の店員M1,M2がホール内を巡回するようにしている。この例では、店員が2人であるが、店員の人数は何人でも構わない。
In the example of FIG. 2, the parlor hole is the monitoring area A, and the monitoring area A is divided into a mesh shape.
Of the 24 divided areas A-1 to A-24, divided areas A-2 to A-5, A-8 to A-11, A-14 to A-17, A-20 to A-23. Are provided with surveillance cameras 1-5 to 1-16.
In the example of FIG. 2, two store clerks M1 and M2 circulate in the hall as monitoring personnel. In this example, there are two clerk, but the number of clerks is not limited.
2人の店員M1,M2が、現在、何処の分割エリアを巡回しているかを検出することができるようにするために、例えば、個々の店員M1,M2の制服などに無線タグを貼り付けて、その無線タグから発信される電波を受信するタグリーダを各分割エリアA−1〜A−24に設置するようにしている。
この場合、無線タグから発信された電波を受信したタグリーダを特定すれば、店員M1,M2が巡回している分割エリアを検出することができる。
In order to be able to detect where the two salesclerks M1 and M2 are currently traveling around, for example, by attaching a wireless tag to the uniform of each salesclerk M1 and M2 A tag reader that receives radio waves transmitted from the wireless tag is installed in each of the divided areas A-1 to A-24.
In this case, if the tag reader that has received the radio wave transmitted from the wireless tag is specified, it is possible to detect the divided area in which the clerk M1 and M2 are traveling.
映像集信装置3の巡回エリア特定部14は、予め、エリア情報管理部13から個々の分割エリアA−1〜A−24に関するエリア情報を取得する。
巡回エリア特定部14は、個々の分割エリアA−1〜A−24に設置されている何れかのタグリーダが無線タグの電波を受信すると、例えば、分割エリアA−1〜A−24に関するエリア情報に含まれているタグリーダ(センサ)の識別情報を参照して、何処の分割エリアに設置されているタグリーダが無線タグの電波を受信したかを特定する。
図2の例では、店員M1が分割エリアA−7に存在し、店員M2が分割エリアA−15に存在するので、分割エリアA−7と分割エリアA−15に設置されているタグリーダが無線タグの電波を受信する。
The traveling
When any tag reader installed in each divided area A-1 to A-24 receives the radio wave of the wireless tag, the traveling
In the example of FIG. 2, the clerk M1 exists in the divided area A-7, and the clerk M2 exists in the divided area A-15. Therefore, the tag readers installed in the divided area A-7 and the divided area A-15 are wireless. Receive radio waves from the tag.
したがって、図2の例では、巡回エリア特定部14が、店員M1が分割エリアA−7を巡回しており、店員M2が分割エリアA−15を巡回しているものと認識する。
この場合、巡回エリア特定部14は、分割エリアA−7と分割エリアA−15に店員が1人ずつ存在するので、分割エリアA−7及び分割エリアA−15に係る巡回情報を“1”に設定し、店員が存在しない他の分割エリアに係る巡回情報を“0”に設定する。
なお、2人の店員M1,M2が分割エリアA−7に存在する場合には、分割エリアA−7に係る巡回情報を“2”に設定する。
巡回エリア特定部14は、上記のようにして、分割エリアA−1〜A−24に係る巡回情報を設定すると、分割エリアA−1〜A−24に係る巡回情報を優先度更新部17に出力する(図3のステップST1)。
Therefore, in the example of FIG. 2, the traveling
In this case, since there are one store clerk in each of the divided area A-7 and the divided area A-15, the traveling
When two salesclerks M1 and M2 exist in the divided area A-7, the traveling information related to the divided area A-7 is set to “2”.
When the traveling
ここでは、分割エリアに存在する店員の人数に応じて巡回情報を設定するものについて示したが、店員M1,M2の進行方向や進行速度を特定し、店員M1,M2の進行方向や進行速度を考慮して、分割エリアA−1〜A−24に係る巡回情報を設定するようにしてもよい。
具体的には、店員M1,M2が現在存在している分割エリアと、前回存在していた分割エリアとから店員M1,M2の進行方向を判定し、また、店員M1,M2が前回存在していた分割エリアから現在存在している分割エリアへの到達時間を測定して、店員M1,M2の進行速度を算出する。
Here, the travel information is set according to the number of salesclerks present in the divided areas. However, the traveling direction and traveling speed of the clerks M1 and M2 are specified, and the traveling direction and traveling speed of the clerks M1 and M2 are determined. Considering this, the traveling information related to the divided areas A-1 to A-24 may be set.
Specifically, the traveling direction of the clerk M1, M2 is determined from the divided area where the clerk M1, M2 currently exists and the previously existing divided area, and the clerk M1, M2 existed last time. The arrival time from the divided area to the currently existing divided area is measured, and the traveling speed of the clerk M1, M2 is calculated.
この実施の形態1では、説明の便宜上、予め、店員Mの進行速度が基準速度より遅ければ、店員の進行方向に位置する分割エリアに“0.2”(“1”以下の値であれば、“0.2”以外の値でもよい)を加算し、店員Mの進行速度が基準速度より速ければ、店員の進行方向に位置する分割エリアに“0.4”(“1”以下の値であれば、“0.4”以外の値でもよい)を加算するとともに、その分割エリアの先の分割エリアに“0.2”(“1”以下の値であれば、“0.2”以外の値でもよい)を加算する取り決めがなされているものとする。
図2の例では、店員M1が分割エリアA−7から分割エリアA−13の方向に進行しているので、仮に店員M1の進行速度が基準速度より遅いとする算出結果が得られると、分割エリアA−13に係る巡回情報“0”に“0.2”を加算する。
同様に、店員M2が分割エリアA−15から分割エリアA−14の方向に進行しているので、仮に店員M2の進行速度が基準速度より速いとする算出結果が得られると、分割エリアA−14に係る巡回情報“0”に“0.4を加算して、分割エリアA−13に係る巡回情報“0.2”に“0.2”を加算する。
In the first embodiment, for convenience of explanation, if the traveling speed of the clerk M is slower than the reference speed in advance, the division area located in the traveling direction of the clerk is set to “0.2” (“1” or less). , Which may be a value other than “0.2”), and if the traveling speed of the clerk M is faster than the reference speed, a value of “0.4” (“1” or less) is displayed in the divided area located in the traveling direction of the clerk. If this is the case, a value other than “0.4” may be added, and “0.2” (or “0.2” if the value is “1” or less) is added to the previous divided area of the divided area. It is assumed that an agreement is made to add a value other than.
In the example of FIG. 2, since the clerk M1 is moving in the direction from the divided area A-7 to the divided area A-13, if the calculation result that the traveling speed of the clerk M1 is slower than the reference speed is obtained, “0.2” is added to the cyclic information “0” related to the area A-13.
Similarly, since the clerk M2 is traveling in the direction from the divided area A-15 to the divided area A-14, if a calculation result is obtained that the traveling speed of the clerk M2 is faster than the reference speed, the divided area A- “0.4” is added to the cyclic information “0” related to 14, and “0.2” is added to the cyclic information “0.2” related to the divided area A-13.
これにより、分割エリアA−1〜A−24に係る巡回情報は、次のように設定される。
・分割エリアA−7 → 1
・分割エリアA−13 → 0.2+0.2=0.4
・分割エリアA−14 → 0.4
・分割エリアA−15 → 1
・その他の分割エリア → 0
Thereby, the traveling information related to the divided areas A-1 to A-24 is set as follows.
・ Division area A-7 → 1
・ Division area A-13 → 0.2 + 0.2 = 0.4
・ Division area A-14 → 0.4
・ Division area A-15 → 1
・ Other division areas → 0
一方、優先度解析装置5は、ネットワーク4を介して映像集信装置3と接続されており、監視員(監視員は、ホール内を巡回する店員でもよいし、監視カメラの映像を専門に監視する警備員でもよい)から監視カメラ1−1〜1−Nにより撮影された映像に対する優先度の設定を受け付け、その優先度の設定内容と店員M1,M2による個々の分割エリアA−1〜A−24の巡回状況から、映像集信装置3が監視カメラ1−1〜1−Nの優先度を更新する際に使用する更新情報を生成する処理を実施する。
具体的には、以下の通りである。
On the other hand, the
Specifically, it is as follows.
優先度解析装置5の優先度学習部21は、監視センタ6に蓄積されている映像データVi(k)(監視カメラ1−1〜1−Nにより撮影された現在又は過去の映像)を取得するとともに、店員M1,M2により巡回された分割エリアの情報(店員M1,M2による個々の分割エリアの巡回状況を示す情報として、現在又は過去における分割エリアA−1〜A−24に係る巡回情報Xj(k))を取得する(図4のステップST21)。
そして、優先度学習部21は、現在又は過去の映像を再生するとともに、店員M1,M2による個々の分割エリアA−1〜A−24の巡回状況を表示して、監視カメラ1−1〜1−Nにより撮影された映像に対する優先度の設定を監視員に促すメッセージ等を表示する(ステップST22〜ST23)。
The
Then, the
監視員は、現在又は過去の映像や個々の分割エリアの巡回状況に基づいて、監視する必要性が高い重要な分割エリア(例えば、過去に不審者が発見された分割エリア)の映像を判断し、優先度解析装置5を操作して(図示せぬキーボーやマウスなどのマンマシンインタフェースを使用する)、重要な分割エリアの映像には高い優先度を設定し、重要でない分割エリアの映像には低い優先度を設定する(ステップST24〜ST26)。
なお、監視員が優先度を設定するに際して、監視する必要性が高い重要な分割エリアの映像だけを選択して優先度を設定し、選択してない分割エリアの映像には、デフォルトで低い優先度を設定するようにしてもよい。
The surveillance staff judges the video of important divided areas (for example, divided areas where suspicious persons have been discovered in the past) that are highly necessary to be monitored based on the current or past video and the circulation status of each divided area. By operating the priority analysis device 5 (using a man-machine interface such as a keyboard or a mouse (not shown)), a high priority is set for an image of an important divided area, and an image of an unimportant divided area is set. A low priority is set (steps ST24 to ST26).
When setting the priority, the priority is set by selecting only the video of the important divided area that is highly necessary to be monitored. By default, the video of the divided area that is not selected is set to low priority. You may make it set a degree.
優先度解析装置5の優先度学習部21は、監視員が監視カメラ1−1〜1−Nにより撮影された映像に対する優先度Yi(k)を設定すると、その優先度Yi(k)を被説明変数、分割エリアA−1〜A−24に係る巡回情報Xj(k)を説明変数とする重回帰分析を実施して、監視カメラ1−1〜1−Nの回帰係数Bi(j)を算出する(ステップST27〜ST29)。
即ち、優先度学習部21は、以下のS個の連立多項式を解くことにより、監視カメラ1−1〜1−Nの回帰係数Bi(j)を算出する。
Yi(k)=Bi(0)+Bi(1)×X1(k)+Bi(2)×X2(k)
+・・・+Bi(M)×XM(k) (1)
ただし、k=1〜Sである。
The
That is, the
Yi (k) = Bi (0) + Bi (1) × X1 (k) + Bi (2) × X2 (k)
+ ... + Bi (M) × XM (k) (1)
However, k = 1 to S.
優先度解析装置5の更新情報送信部22は、優先度学習部21が監視カメラ1−1〜1−Nの回帰係数Bi(j)を算出すると、その回帰係数Bi(j)を更新情報として映像集信装置3に送信する(ステップST30)。
映像集信装置3の更新情報受信部15は、優先度解析装置5から送信された更新情報を受信し、その更新情報を更新情報DB16に格納して管理する。
When the
The update
映像集信装置3の優先度更新部17は、店員M1,M2が現在巡回している分割エリアを撮影している監視カメラ1の優先度より、店員M1,M2が現在巡回していない分割エリアを撮影している監視カメラ1の優先度が高まるように、巡回エリア特定部14から出力された巡回情報と更新情報DB16に格納されている更新情報にしたがって監視カメラ1−1〜1−Nの優先度を更新する。
具体的には、以下の通りである。
The
Specifically, it is as follows.
図6は映像集信装置3の優先度更新部17に管理されているセッションテーブルを示す説明図であり、図7は映像集信装置3の優先度更新部17に管理されている送信テーブルを示す説明図である。
図6のセッションテーブルは、監視カメラ1−1〜1−Nにより撮影された映像の転送状態と優先度を管理しているテーブルであり、図7の送信テーブルは、映像の優先度に対応する映像の送信先を管理しているテーブルである。
6 is an explanatory diagram showing a session table managed by the
The session table in FIG. 6 is a table that manages the transfer state and priority of the video captured by the monitoring cameras 1-1 to 1-N, and the transmission table in FIG. 7 corresponds to the priority of the video. It is a table for managing video transmission destinations.
図6では、監視カメラがN台ある場合、各監視カメラに対して、1からNまでの番号が割り当てられ、この番号を監視カメラ番号として取り扱われている。
また、図6では、監視対象の映像として、表示端末7に転送する必要がある映像を撮影している監視カメラには、転送状態として“転送中”という状態を割り当て、表示端末7に転送する必要がない映像を撮影している監視カメラには、転送状態として“転送中断”という状態を割り当てている。
また、図6の優先度は、映像集信装置3の優先度更新部17により優先度解析装置5から送信された更新情報に基づいて更新された監視カメラ1−1〜1−Nの優先度である。
図7の送信テーブルにおける送信先は、優先度1〜Vまでの監視カメラにより撮影された映像の送信先として、表示端末7のIPアドレスやポート番号を示している。
映像の送信先の数は、表示端末7が同時に表示可能な画面数分だけであるため、図7では、上位V個の優先度を管理している。
In FIG. 6, when there are N surveillance cameras,
Further, in FIG. 6, a state of “transferring” is assigned as a transfer state to a monitoring camera that is shooting a video that needs to be transferred to the
Moreover, the priority of FIG. 6 is the priority of the monitoring cameras 1-1 to 1-N updated based on the update information transmitted from the
The transmission destination in the transmission table of FIG. 7 indicates the IP address and port number of the
Since the number of video transmission destinations is the same as the number of screens that the
映像集信装置3の優先度更新部17は、巡回エリア特定部14から分割エリアA−1〜A−24に係る巡回情報Xjを取得し、更新情報受信部15から優先度解析装置5により生成された更新情報Bi(j)を取得すると(図3のステップST2〜ST3)、下記の式(2)を解くことにより、監視カメラiの優先度Yiを求める(ステップST4)。
Yi=Bi(0)+Bi(1)×X1+Bi(2)×X2
+・・・+Bi(M)×XM (2)
The
Yi = Bi (0) + Bi (1) × X1 + Bi (2) × X2
+ ... + Bi (M) × XM (2)
映像集信装置3の優先度更新部17は、全ての監視カメラ1−1〜1−Nの優先度Yiを求めると(ステップST5〜ST6)、その優先度Yiが大きい順に監視カメラ1−1〜1−Nをソートし(ステップST7)、ソート後の監視カメラの優先度YYeに順番eを付加する(ステップST8)。ただし、e=1〜Nである。
そして、優先度更新部17は、図6のセッションテーブルにおいて、優先度YYeの監視カメラに対応する監視カメラ番号iの優先度Piを順番eにセットすることにより、図6のセッションテーブルの優先度Piを更新する(ステップST9)。
When the
Then, the
映像集信装置3の優先度更新部17は、図6のセッションテーブルの優先度Piを更新すると、監視カメラの優先度YYeの順番eが、表示端末7の表示画面数V(表示端末7が同時に表示可能な画面数)を超えていれば(ステップST10)、優先度YYeの監視カメラに対応する監視カメラ番号iの転送状態Tiを“転送中断”にセットする(ステップST11)。
一方、監視カメラの優先度YYeの順番eが、表示端末7の表示画面数Vを超えていなければ(ステップST10)、優先度YYeの監視カメラに対応する監視カメラ番号iの転送状態Tiを“転送中”にセットする(ステップST12)。
ここでは、優先度更新部17が表示端末7の表示画面数Vだけ、転送状態Tiを“転送中”にセットするものについて示したが、監視カメラ1−1〜1−Nの優先度Yiを所定の閾値と比較し、その優先度Yiが閾値を超える監視カメラの転送状態Tiを“転送中”にセットするようにしてもよい。
When the
On the other hand, if the order e of the priority YYe of the monitoring camera does not exceed the display screen number V of the display terminal 7 (step ST10), the transfer state Ti of the monitoring camera number i corresponding to the monitoring camera of the priority YYe is set to “ “Transferring” is set (step ST12).
In this example, the
映像集信装置3の優先度更新部17は、全ての監視カメラ1−1〜1−Nに対して、セッションテーブルにおける優先度及び転送状態をセットすると、一連の優先度更新処理を終了する(ステップST13〜ST15)。
When the
監視カメラ1−1〜1−16は、16個の分割エリアA−2〜A−5,A−8〜A−11,A−14〜A−17,A−20〜A−23に設置されており、個々の分割エリアの映像を撮影すると、ネットワーク2を介して、個々の分割エリアの映像(映像データ)を映像集信装置3に配信する。
映像集信装置3の映像受信部11は、監視カメラ1−1〜1−Nにより撮影された個々の分割エリアの映像(映像データ)を受信する(図5のステップST31)。
The surveillance cameras 1-1 to 1-16 are installed in 16 divided areas A-2 to A-5, A-8 to A-11, A-14 to A-17, A-20 to A-23. When the video of each divided area is captured, the video (video data) of each divided area is distributed to the
The
映像集信装置3の映像伝送制御部18は、映像受信部11が監視カメラ1−1〜1−Nにより撮影された個々の分割エリアの映像(映像データ)を受信すると、優先度更新部17により更新された監視カメラ1−1〜1−Nの優先度を基準にして、映像受信部11により受信された個々の分割エリアの映像の中から転送対象の映像を選択し、その映像を表示端末7に転送する。
具体的には、以下の通りである。
The video
Specifically, it is as follows.
映像集信装置3の映像伝送制御部18は、図6のセッションテーブルから映像受信部11により受信された映像を撮影している監視カメラiの転送状態Tiを取得する(ステップST32)。
映像集信装置3の映像伝送制御部18は、その監視カメラiの転送状態Tiが“転送中断”であれば、その監視カメラiの映像の転送処理を実施しないが、その監視カメラiの転送状態Tiが“転送中”であれば(ステップST33)、図6のセッションテーブルからその監視カメラiの優先度Piを取得する(ステップST34)。
The
If the transfer state Ti of the monitoring camera i is “transfer interrupted”, the video
映像集信装置3の映像伝送制御部18は、その監視カメラiの優先度Piが表示端末7の表示画面数Vを超えていれば、その監視カメラiの映像の転送処理を実施しないが、その監視カメラiの優先度Piが表示端末7の表示画面数Vを超えていなければ(ステップST35)、図7の送信テーブルから優先度Piに対応する送信先Diを取得する(ステップST36)。
映像集信装置3の映像伝送制御部18は、優先度Piに対応する送信先Diを取得すると、その監視カメラiの映像を送信先Diに係る表示端末7に転送する(ステップST37〜ST38)。
If the priority Pi of the monitoring camera i exceeds the display screen number V of the
When the video
表示端末7の映像再生部31は、映像集信装置3から転送された映像を受信すると、その映像を送信先Diに対応する画面に表示する。
ここでは、映像再生部31が画面の表示エリアを分割して、複数の映像を同時に表示するものを想定しているが、表示画面数V分だけ表示端末7を用意して、送信先Diに対応する表示端末7が映像を表示するようにしてもよい。
When the
Here, it is assumed that the
以上で明らかなように、この実施の形態1によれば、店員M1,M2が現在巡回している分割エリアを特定して、その分割エリアを撮影している監視カメラ1の優先度より、店員M1,M2が現在巡回していない分割エリアを撮影している監視カメラ1の優先度を高める優先度更新処理を実施する優先度更新部17と、複数の監視カメラ1の優先度を基準にして、複数の監視カメラ1により撮影された分割エリアの映像の中から転送対象の映像を選択し、その映像を転送する映像伝送制御部18とを有する映像集信装置3を設けるように構成したので、ゴト師や窃盗犯が撮影されている可能性が高い重要な分割エリアの映像を表示することができる効果を奏する。
As is apparent from the above, according to the first embodiment, the salesclerk M1, M2 identifies the divided area that is currently circulating, and the salesclerk determines the priority of the
この実施の形態1によれば、複数の監視カメラ1により撮影された分割エリアの映像に対する優先度の設定を受け付け、その優先度の設定内容と店員M1,M2による個々の分割エリアの巡回状況から、複数の監視カメラ1の優先度を更新する際に使用する更新情報を生成する優先度解析装置5を設け、映像集信装置3の優先度更新部17が優先度解析装置5により生成された更新情報にしたがって複数の監視カメラ1の優先度を更新するように構成したので、例えば、過去に不審者が発見された分割エリアや死角の分割エリアを重点的に監視することができる効果を奏する。
According to the first embodiment, the priority setting for the video of the divided area photographed by the plurality of
この実施の形態1によれば、店員M1,M2が現在巡回している分割エリアの他に、店員M1,M2の進行方向及び進行速度を特定し、店員M1,M2の進行方向及び進行速度を考慮して、複数の監視カメラ1の優先度を更新するように構成したので、ゴト師や窃盗犯の検出確率を高めることができる効果を奏する。
According to the first embodiment, in addition to the divided areas currently being visited by the clerk M1, M2, the traveling direction and traveling speed of the clerk M1, M2 are specified, and the traveling direction and traveling speed of the clerk M1, M2 are determined. In consideration of this, since the priority of the plurality of
この実施の形態1によれば、複数の監視カメラ1の中から優先度が予め設定された閾値より高い監視カメラ1を選択し、その監視カメラ1により撮影された分割エリアの映像を表示端末7に転送するように構成したので、表示端末7の表示画面数が制限されている場合でも、ゴト師や窃盗犯が撮影されている可能性が高い重要な分割エリアの映像を表示することができる効果を奏する。
According to the first embodiment, a
この実施の形態1によれば、複数の監視カメラ1の優先度を比較して、優先度が高い監視カメラ1により撮影された監視エリアの映像を優先的に転送するように構成したので、表示端末7の表示画面数が制限されている場合でも、ゴト師や窃盗犯が撮影されている可能性が高い重要な分割エリアの映像を表示することができる効果を奏する。
According to the first embodiment, the priority of the plurality of
実施の形態2.
上記実施の形態1では、映像集信装置3の優先度更新部17が優先度解析装置5により生成された更新情報にしたがって複数の監視カメラ1の優先度を更新するものについて示したが、表示端末7が監視対象の分割エリアの設定を受け付け、映像集信装置3の優先度更新部17が上記分割エリアを撮影している監視カメラ1の優先度を最大値に更新するようにしてもよい。
具体的には、以下の通りである。
In the first embodiment, the
Specifically, it is as follows.
表示端末7のリクエスト部32は、監視員から監視対象の分割エリアの指定を受け付ける処理を実施し、監視員が監視対象の分割エリアを指定すると、その分割エリアを監視対象に設定する旨のリクエストを映像集信装置3に送信する。
映像集信装置3の優先度更新部17は、更新情報受信部15が表示端末7からリクエストを受信すると、当該分割エリアを撮影している監視カメラ1の優先度を最大値に更新する。
即ち、優先度更新部17は、図6のセションテーブルにおける当該監視カメラ1に係る優先度YYeを“1”に設定する。
これにより、監視員により指定された分割エリアの映像が表示端末7に表示されるようになる。
The
When the update
That is, the
As a result, the video of the divided area designated by the monitor is displayed on the
なお、表示端末7のリクエスト部32は、監視員が監視対象の分割エリアの指定を解除する設定を行うと、その旨のリクエストを映像集信装置3に送信する。
映像集信装置3の優先度更新部17は、更新情報受信部15が表示端末7からリクエストを受信すると、当該分割エリアを撮影している監視カメラ1の優先度を他の分割エリアを撮影している監視カメラ1の優先度と同様にして更新するようにする。
The
When the update
1−1〜1−N 監視カメラ、A 監視エリア、A−1〜A−24 分割エリア、B1,B2 壁、M1,M2 店員(監視員)、2 ネットワーク、3 映像集信装置、4 ネットワーク、5 優先度解析装置、6 監視センタ、7 表示端末、11 映像受信部(映像受信手段)、12 エリア情報DB(優先度更新手段)、13 エリア情報管理部(優先度更新手段)、14 巡回エリア特定部(優先度更新手段)、15 更新情報受信部(優先度更新手段)、16 更新情報DB(優先度更新手段)、17 優先度更新部(優先度更新手段)、18 映像伝送制御部(映像転送手段)、21 優先度学習部、22 更新情報送信部、31 映像再生部、32 リクエスト部。 1-1 to 1-N surveillance camera, A surveillance area, A-1 to A-24 division area, B1, B2 wall, M1, M2 clerk (monitorer), 2 networks, 3 video concentrators, 4 networks, 5 priority analysis device, 6 monitoring center, 7 display terminal, 11 video receiving unit (video receiving unit), 12 area information DB (priority updating unit), 13 area information management unit (priority updating unit), 14 traveling area Specific part (priority update means), 15 update information reception part (priority update means), 16 update information DB (priority update means), 17 priority update part (priority update means), 18 video transmission control part ( Video transfer means), 21 priority learning section, 22 update information transmission section, 31 video playback section, 32 request section.
Claims (9)
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2006042728A JP4813205B2 (en) | 2006-02-20 | 2006-02-20 | Video surveillance system and video concentrator |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2006042728A JP4813205B2 (en) | 2006-02-20 | 2006-02-20 | Video surveillance system and video concentrator |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2007221693A true JP2007221693A (en) | 2007-08-30 |
JP4813205B2 JP4813205B2 (en) | 2011-11-09 |
Family
ID=38498407
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2006042728A Active JP4813205B2 (en) | 2006-02-20 | 2006-02-20 | Video surveillance system and video concentrator |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP4813205B2 (en) |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2012029725A (en) * | 2010-07-28 | 2012-02-16 | Kita Denshi Corp | Game parlor monitoring system |
JP2015515840A (en) * | 2012-10-29 | 2015-05-28 | ホアウェイ・テクノロジーズ・カンパニー・リミテッド | Bandwidth management device, central management device, and bandwidth management method |
JP2018170574A (en) * | 2017-03-29 | 2018-11-01 | セコム株式会社 | Monitoring system |
US10721435B2 (en) | 2015-12-28 | 2020-07-21 | Nec Corporation | Video transmission apparatus, video transmission method, and program |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP6228550B2 (en) | 2011-12-22 | 2017-11-08 | ユニヴァーサル テクニカル リソース サービシーズ インコーポレイテッド | Apparatus and method for titanium extraction and refining |
US10400305B2 (en) | 2016-09-14 | 2019-09-03 | Universal Achemetal Titanium, Llc | Method for producing titanium-aluminum-vanadium alloy |
Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH10290447A (en) * | 1997-04-16 | 1998-10-27 | Omron Corp | Image output controller, monitoring system, image output control method and storage medium |
JP2000235660A (en) * | 1999-02-16 | 2000-08-29 | Yasuhiko Nakazato | Position confirmation system using non-contact identifying device |
JP2001273573A (en) * | 2000-03-24 | 2001-10-05 | Atsumi Electric Co Ltd | System for setting guard state |
JP2004005511A (en) * | 2002-03-26 | 2004-01-08 | Toshiba Corp | Monitoring system, monitoring method and monitoring program |
JP2004187167A (en) * | 2002-12-05 | 2004-07-02 | Hitachi Software Eng Co Ltd | Operation monitoring system |
JP2005011057A (en) * | 2003-06-19 | 2005-01-13 | Mitsubishi Electric Corp | Spatial information distribution device |
JP2005065238A (en) * | 2003-07-25 | 2005-03-10 | Hitachi Ltd | Surveillance information providing device and surveillance information providing method |
JP2005292879A (en) * | 2004-03-31 | 2005-10-20 | Fujitsu Ltd | Photographic information server and photographic information transmission system |
-
2006
- 2006-02-20 JP JP2006042728A patent/JP4813205B2/en active Active
Patent Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH10290447A (en) * | 1997-04-16 | 1998-10-27 | Omron Corp | Image output controller, monitoring system, image output control method and storage medium |
JP2000235660A (en) * | 1999-02-16 | 2000-08-29 | Yasuhiko Nakazato | Position confirmation system using non-contact identifying device |
JP2001273573A (en) * | 2000-03-24 | 2001-10-05 | Atsumi Electric Co Ltd | System for setting guard state |
JP2004005511A (en) * | 2002-03-26 | 2004-01-08 | Toshiba Corp | Monitoring system, monitoring method and monitoring program |
JP2004187167A (en) * | 2002-12-05 | 2004-07-02 | Hitachi Software Eng Co Ltd | Operation monitoring system |
JP2005011057A (en) * | 2003-06-19 | 2005-01-13 | Mitsubishi Electric Corp | Spatial information distribution device |
JP2005065238A (en) * | 2003-07-25 | 2005-03-10 | Hitachi Ltd | Surveillance information providing device and surveillance information providing method |
JP2005292879A (en) * | 2004-03-31 | 2005-10-20 | Fujitsu Ltd | Photographic information server and photographic information transmission system |
Cited By (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2012029725A (en) * | 2010-07-28 | 2012-02-16 | Kita Denshi Corp | Game parlor monitoring system |
JP2015515840A (en) * | 2012-10-29 | 2015-05-28 | ホアウェイ・テクノロジーズ・カンパニー・リミテッド | Bandwidth management device, central management device, and bandwidth management method |
US9641582B2 (en) | 2012-10-29 | 2017-05-02 | Huawei Techologies Co., Ltd. | Bandwidth management device, central management device and method of bandwidth management |
US10721435B2 (en) | 2015-12-28 | 2020-07-21 | Nec Corporation | Video transmission apparatus, video transmission method, and program |
US10721434B2 (en) | 2015-12-28 | 2020-07-21 | Nec Corporation | Video transmission apparatus, video transmission method, and program |
US10728495B2 (en) | 2015-12-28 | 2020-07-28 | Nec Corporation | Video transmission apparatus, video transmission method, and program |
US10785442B2 (en) | 2015-12-28 | 2020-09-22 | Nec Corporation | Video transmission apparatus, video transmission method, and program |
JP2018170574A (en) * | 2017-03-29 | 2018-11-01 | セコム株式会社 | Monitoring system |
Also Published As
Publication number | Publication date |
---|---|
JP4813205B2 (en) | 2011-11-09 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
Qureshi et al. | Surveillance camera scheduling: A virtual vision approach | |
US20090189984A1 (en) | Object verification device and object verification method | |
JP4813205B2 (en) | Video surveillance system and video concentrator | |
JP3989523B2 (en) | Automatic photographing method and apparatus | |
JP5790761B2 (en) | Distributed image processing system | |
WO2016147770A1 (en) | Monitoring system and monitoring method | |
JP2024032829A (en) | Monitoring system, monitoring method and monitoring program | |
JP2018032950A (en) | Information processing unit and information processing method, and computer program | |
CN110557603B (en) | Method and device for monitoring moving target and readable storage medium | |
US20240046701A1 (en) | Image-based pose estimation and action detection method and apparatus | |
JP2011060058A (en) | Imaging apparatus and monitoring system | |
JP2008117132A (en) | Security robot system, monitoring method using security robot, and warning method | |
US20210142045A1 (en) | Method Of And System For Recognising A Human Face | |
CN114913663A (en) | Anomaly detection method and device, computer equipment and storage medium | |
JP5088463B2 (en) | Monitoring system | |
KR102233679B1 (en) | Apparatus and method for detecting invader and fire for energy storage system | |
JP4279181B2 (en) | Monitoring system | |
JP6941458B2 (en) | Monitoring system | |
WO2023141381A1 (en) | Computer vision system and methods for anomalous event detection | |
JP2019153986A (en) | Monitoring system, management apparatus, monitoring method, computer program, and storage medium | |
WO2022059223A1 (en) | Video analyzing system and video analyzing method | |
JP2007208659A (en) | Cooperation camera system | |
CN115035543A (en) | Big data-based movement track prediction system | |
CN110262269B (en) | Operation control method, module, system, household appliance and readable storage medium | |
CN113597072A (en) | Lamp control method and device and electronic equipment |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
RD04 | Notification of resignation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7424 Effective date: 20070926 |
|
RD04 | Notification of resignation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7424 Effective date: 20080627 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20080908 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20101109 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20101116 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20101214 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20110614 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20110714 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20110816 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20110824 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 4813205 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140902 Year of fee payment: 3 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |