JP2006041779A - Monitoring apparatus and monitoring method - Google Patents

Monitoring apparatus and monitoring method Download PDF

Info

Publication number
JP2006041779A
JP2006041779A JP2004216821A JP2004216821A JP2006041779A JP 2006041779 A JP2006041779 A JP 2006041779A JP 2004216821 A JP2004216821 A JP 2004216821A JP 2004216821 A JP2004216821 A JP 2004216821A JP 2006041779 A JP2006041779 A JP 2006041779A
Authority
JP
Japan
Prior art keywords
area
camera
imaging
areas
coating
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2004216821A
Other languages
Japanese (ja)
Other versions
JP4219307B2 (en
Inventor
Tadashi Kamogawa
正 鴨川
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sanyo Electric Co Ltd
Original Assignee
Sanyo Electric Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sanyo Electric Co Ltd filed Critical Sanyo Electric Co Ltd
Priority to JP2004216821A priority Critical patent/JP4219307B2/en
Publication of JP2006041779A publication Critical patent/JP2006041779A/en
Application granted granted Critical
Publication of JP4219307B2 publication Critical patent/JP4219307B2/en
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Landscapes

  • Closed-Circuit Television Systems (AREA)
  • Studio Devices (AREA)

Abstract

<P>PROBLEM TO BE SOLVED: To provide a monitoring apparatus and a supervisory method for accurately sensing an imaging disturbance applied to the lens face or the like of a camera and continuing photographing even after imaging disturbance is received. <P>SOLUTION: A plurality of coating areas coated with a substance on which a disturbing material for disturbing an object light inputted to the camera is hardly adhered and which has an action of at least water repelling or water proofing or paint repelling, and non-coating areas provided to a position to which the disturbing material is hardly attached and which is not affected by the photographing by the camera are provided to a transparent cover. The photographing disturbance is sensed by comparing relationships of temporal changes in a luminance level being information on areas corresponding to the arbitrary coating area and the arbitrary non-coating area of an image imaged through the transparent cover. Thus, the monitoring apparatus and the monitoring method can be provided, with which the imaging disturbance such as adhesion of a disturbing material for shielding the object light such as a spray paint applied to the lens and the cover or the like of the camera is sensed and photographing can be continued even when the imaging is disturbed. <P>COPYRIGHT: (C)2006,JPO&NCIPI

Description

本発明は、監視カメラ等に対しての撮像妨害を感知し、撮像妨害をされたことを検出する監視装置および監視方法に関するものである。 The present invention relates to a monitoring apparatus and a monitoring method for detecting an imaging disturbance to a monitoring camera or the like and detecting that the imaging disturbance has occurred.

一般に、防犯の手段の一つとして監視カメラを設置することがある。設置場所としてはATMや貴金属店から家庭用まで広い範囲に及ぶ。しかし、犯罪目的でそのような場所へ侵入した侵入者は監視カメラ等に気がつくと、カメラのレンズ面等にスプレー塗料などを付着させて監視できないよう撮像妨害する場合がある。この場合、撮像が不可能になるため撮像妨害されたことが分かり、セキュリティシステム会社等に撮像妨害をされたことが通知されるが、その後撮像が不可能になるため、撮像妨害をされた後の侵入者の監視、つまり以後の撮像が不可能になることがある。また、半透明なスプレー塗料等で撮像妨害をされた場合、撮像妨害をされたことが検出しにくく、一方検出の感度を上げると何らかの影響によって撮像妨害をされていないのに、撮像妨害をされたと誤検出する場合が少なくない。従って、カメラのレンズ面若しくはレンズカバーに対して撮像妨害をされたか否かが判断できること、撮像妨害をされた後も撮像可能にするためにスプレー塗料などが付着しない監視装置が望ましい。 In general, a surveillance camera is sometimes installed as one of crime prevention means. The installation location covers a wide range from ATMs and precious metal stores to home use. However, if an intruder who has entered such a place for criminal purposes notices a surveillance camera or the like, the intruder may interfere with the image pickup by attaching spray paint or the like to the lens surface of the camera. In this case, since it is impossible to capture the image, it is known that the image has been disturbed, and the security system company is notified that the image has been obstructed. Intruder monitoring, that is, subsequent imaging may become impossible. In addition, when the image is disturbed by a translucent spray paint, it is difficult to detect that the image has been disturbed. On the other hand, if the sensitivity of detection is increased, the image is not disturbed due to some influence, but the image is disturbed. There are many cases of false detection. Therefore, it is desirable to be able to determine whether or not the imaging lens is obstructed on the lens surface or the lens cover of the camera, and a monitoring device in which spray paint or the like does not adhere to enable imaging even after the imaging is obstructed.

カメラのレンズ面等に存在する障害物を検知し、またその障害物と照度低下の違いにより検知できる監視カメラ装置の一例が、特許文献1に開示されている。この従来技術1では、カメラのレンズ面等に汚れが付着する監視画像の各画素について周辺画素との輝度値変化量に応じたエッジ(画像内の被写体同士の境界等の被写体の外縁を示す部分)量を算出し、あらかじめ判定基準値を設定し、その基準値と算出したエッジ量を基にカメラのレンズ面等の障害物を判定する。
また、カメラのレンズ面に水滴が付着しにくい光学部材の一例が、特許文献2に開示されている。この従来技術2では、カメラの外壁に撥水処理を施して、水滴が付着しにくくしている。
特開2003−189294号公報[H04N7/18,5/255] 特開平5−232566号公報[G03B17/08]
Patent Document 1 discloses an example of a monitoring camera device that can detect an obstacle present on a lens surface of a camera and the like, and can detect the obstacle based on a difference between the obstacle and a decrease in illuminance. In this prior art 1, for each pixel of the monitoring image where the lens surface or the like of the camera is contaminated, an edge (a part indicating the outer edge of the subject such as the boundary between subjects in the image) according to the amount of change in luminance value with the surrounding pixels. ) The amount is calculated, a determination reference value is set in advance, and an obstacle such as a lens surface of the camera is determined based on the reference value and the calculated edge amount.
Further, Patent Document 2 discloses an example of an optical member in which water droplets hardly adhere to the lens surface of the camera. In this prior art 2, water repellent treatment is applied to the outer wall of the camera to make it difficult for water droplets to adhere.
JP2003-189294A [H04N7 / 18, 5/255] JP-A-5-232565 [G03B17 / 08]

従来技術1では、カメラのレンズ面等に障害物を検知することが出来ても、その後の撮像が出来なかった。また、従来技術2では、レンズ部に撥水処理がされているため、塗料が付着しにくく、撮像妨害をされたかどうかの検知が難しかった。   In the prior art 1, even if an obstacle can be detected on the lens surface of the camera, the subsequent imaging cannot be performed. Further, in the prior art 2, since the lens portion is subjected to water repellent treatment, it is difficult for paint to adhere to it and it is difficult to detect whether or not the imaging has been disturbed.

本発明は、上記の問題点を解決するもので、カメラのレンズ面等の撮像妨害を正確に感知するとともに撮像妨害をされた後も撮影を続けることができる、監視装置および監視方法を提供することである。   The present invention solves the above-described problems, and provides a monitoring device and a monitoring method capable of accurately sensing an imaging disturbance such as a lens surface of a camera and continuing photographing even after the imaging disturbance has occurred. That is.

請求項1記載の発明は、カメラによる撮像に対し、妨害をされたことを検出する監視装置において、カメラと、カメラへ入力される被写体光を妨害する妨害物が付着しにくい第一のエリアとそうでない第二のエリアを設けたカバーと、カバーを通して撮像されたカメラからの画像のうち第一のエリアと第二のエリアからの情報の時間的変化の関係を比較して撮像妨害を検知する比較検知手段とを備えたことを特徴とする。 According to the first aspect of the present invention, in the monitoring device that detects that the image pickup by the camera is obstructed, the camera and the first area to which the obstruction that obstructs the subject light input to the camera is difficult to adhere are provided. Compare the temporal change in the information from the first area and the second area of the images from the camera provided through the cover and the cover provided with the second area that is not so as to detect imaging disturbance. And a comparison detection means.

第一のエリアは、カメラへ入力される被写体光を妨害する妨害物が付着しにくいエリアであり、第二のエリアは妨害物が付着しにくくないエリアである。カバーには、この二つのエリアが存在する。第一のエリアからの情報は妨害物が付着しにくい第一のエリアからの情報である。第二のエリアからの情報は妨害物が付着しにくくない第二のエリアからの情報である。比較検知手段では、第一のエリアと第二のエリアの情報の時間的変化の関係を比較して撮像妨害を検知する。   The first area is an area where obstructions that obstruct the subject light input to the camera are less likely to adhere, and the second area is an area where obstructions are less likely to adhere. The cover has these two areas. The information from the first area is information from the first area where obstructions are difficult to adhere. The information from the second area is information from the second area where obstructions are not easily attached. The comparison detection means detects imaging disturbance by comparing the relationship of temporal changes in information of the first area and the second area.

カバーに、カメラへ入力される被写体光を妨害する妨害物が付着しにくい第一のエリアと、妨害物が付着しにくくない第二のエリアを設けているため、そのカバーに対しスプレー塗料等の被写体光を遮る妨害物を付着させる等の撮像妨害をされても、カバーの第一のエリアには付着しないため、撮像を続けることが出来る。また、カバーの第二のエリアはスプレー塗料等が付着しにくくない、つまり付着する。カバーに対しスプレー塗料等の被写体光を遮る妨害物を付着させる等の撮像妨害がされていないときの第一のエリアと第二のエリアの情報と、カバーに対し上記のような撮像妨害等がされた後の第一のエリアと第二のエリアの情報の関係を比較することにより、撮像妨害を検知することができる。   The cover has a first area where obstructions that obstruct the subject light input to the camera are less likely to adhere, and a second area where obstructions are less likely to adhere. Even if an image obstruction such as an obstruction that blocks the subject light is attached, the image does not adhere to the first area of the cover, so the image can be continued. In addition, spray paint or the like is not difficult to adhere to the second area of the cover, that is, adheres. Information on the first area and the second area when there is no obstruction to the cover, such as spray paint and other obstructions that block subject light, and the above-mentioned image obstruction to the cover. The imaging disturbance can be detected by comparing the relationship between the information of the first area and the second area.

請求項2記載の発明は、請求項1に従属した監視装置において、第一のエリアとは、少なくとも撥水または防水もしくは塗料をはじく作用を有する物質がコーティングされたエリアであることを特徴とする。つまり、第一のエリアは、少なくとも撥水または防水もしくは塗料をはじく作用を有する物質にコーティングされていることによって、カメラへ入力される被写体光を妨害する妨害物質が付着しにくくなる。   According to a second aspect of the present invention, in the monitoring device according to the first aspect, the first area is an area coated with at least a water repellent or waterproof or paint repellent substance. . In other words, the first area is coated with a substance having at least water repellency or waterproofing or a paint repelling action, so that an obstructing substance that obstructs subject light input to the camera is less likely to adhere.

請求項3記載の発明は、請求項1ないし2のいずれかに従属した監視装置において、比較検知手段は、第一のエリアと第二のエリアの情報である輝度レベルの時間的変化の関係を比較することにより撮像妨害を検知することを特徴とする。つまり、カバーに対しスプレー塗料等の被写体光を遮る妨害物を付着させる等の撮像妨害をしたとき、妨害物が付着していない第一のエリアの情報である輝度レベルと、妨害物が付着された第二のエリアの情報である輝度レベルの関係と、カバーに何も撮像妨害がされていないときの第一のエリアの情報である輝度レベルと第二のエリアの情報である輝度レベルを比較すると、撮像妨害をされているときは輝度レベルが変化していることが分かり、撮像妨害をされたことを検知できる。   According to a third aspect of the present invention, in the monitoring device according to any one of the first and second aspects, the comparison and detection means has a relationship between temporal changes in the luminance level as information of the first area and the second area. It is characterized in that imaging disturbance is detected by comparison. In other words, when imaging obstructions such as spray paint or other obstructions that block subject light are attached to the cover, the luminance level that is information on the first area where obstructions are not attached and obstructions are attached. The relationship between the brightness level, which is information about the second area, and the brightness level, which is information about the first area, and the brightness level, which is information about the second area, when there is no image pickup interference on the cover Then, it can be seen that the luminance level is changed when the imaging is disturbed, and it can be detected that the imaging is disturbed.

請求項4記載の発明は、請求項1ないし3のいずれかに従属した監視装置において、第二のエリアは、カバーにカメラによる撮像に影響を受けない位置に設けることを特徴とする。つまり、カバーに撮像妨害として妨害物を付着させる行為をされたとき、第二のエリアがカメラによる撮像に妨害を受けない場所であれば、カメラに対し撮像妨害がされたことを感知することができ、その上その後の撮像に差支えがなくなる。   According to a fourth aspect of the present invention, in the monitoring device according to any one of the first to third aspects, the second area is provided in a position at which the cover is not affected by the image pickup by the camera. In other words, when an action to attach an obstruction to the cover as an imaging disturbance is made, if the second area is a place where the imaging by the camera is not disturbed, the camera can sense that the imaging has been disturbed. In addition, there is no problem in the subsequent imaging.

請求項5記載の発明は、請求項1ないし4のいずれかに従属した監視装置において、第二のエリアは、カバーに複数個設けることを特徴とする。つまり、カバーに撮像妨害としてスプレー塗料等の妨害物を付着させる行為がされたときに、偶然にカバーの一部分に妨害物が付着したときに、もしもその妨害物が付着した一部分ではない場所に、第二のエリアが設けられていた場合は、撮像妨害をされたことが感知できない。したがって、カバーに第二のエリアを複数個設けることによって、以上のことを防ぐことができる。   A fifth aspect of the present invention is the monitoring apparatus according to any one of the first to fourth aspects, wherein a plurality of second areas are provided in the cover. In other words, when an obstacle such as spray paint is attached to the cover as an image pickup obstruction, when an obstruction accidentally adheres to a part of the cover, if it is not a part where the obstruction adheres, When the second area is provided, it cannot be sensed that the imaging is disturbed. Therefore, the above can be prevented by providing a plurality of second areas on the cover.

請求項6記載の発明は、カメラによる撮像に対し、妨害をされたことを検出する監視装置において、カメラと、カメラへ入力される被写体光を妨害する妨害物が付着しにくい第一のエリアとそうでない第二のエリアを設けたレンズと、レンズを通して撮像されたカメラからの画像のうち第一のエリアと第二のエリアの情報の時間的変化の関係を比較して撮像妨害を検知する比較検知手段とを備えたことを特徴とする。   According to a sixth aspect of the present invention, in the monitoring device that detects that the image pickup by the camera is obstructed, the camera and the first area to which an obstruction that obstructs the subject light input to the camera is difficult to adhere are provided. A comparison that detects imaging disturbances by comparing the temporal change in information of the first area and the second area of the images from the lens provided with the second area and the camera imaged through the lens. And a detecting means.

請求項7記載の発明は、請求項6に従属した監視装置において、第一のエリアとは、少なくとも撥水または防水もしくは塗料をはじく作用を有する物質がコーティングされたエリアであることを特徴とする。   The invention according to claim 7 is the monitoring device according to claim 6, wherein the first area is an area coated with at least a water repellent or waterproof or paint repellent substance. .

請求項8記載の発明は、請求項6ないし7のいずれかに従属した監視装置において、比較検知手段は、第一のエリアと第二のエリアの情報である輝度レベルを比較することにより撮像妨害を検知することを特徴とする。 請求項9記載の発明は、請求項6ないし8のいずれかに従属した監視装置において、第二のエリアは、レンズにカメラによる撮像に影響を受けない位置に設けることを特徴とする。   According to an eighth aspect of the present invention, in the monitoring device according to any one of the sixth to seventh aspects, the comparison detection means compares the luminance levels as information of the first area and the second area, thereby preventing the image pickup disturbance. It is characterized by detecting. According to a ninth aspect of the present invention, in the monitoring device according to any of the sixth to eighth aspects, the second area is provided at a position where the lens is not affected by imaging by the camera.

請求項10記載の発明は、請求項6ないし9のいずれかに従属した監視装置において、第二のエリアは、レンズに複数個設けることを特徴とする。   According to a tenth aspect of the present invention, in the monitoring device according to any one of the sixth to ninth aspects, a plurality of second areas are provided in the lens.

請求項11記載の発明は、カメラによる撮像に対し、妨害をされたことを検出する監視方法において、カメラへ入力される被写体光を妨害する妨害物が付着しにくい第一のエリアとそうでない第二のエリアを設けたカバーもしくはレンズを通して撮像された該カメラからの画像のうち、前記第一のエリアと前記第二のエリアからの情報の時間的変化の関係を比較して撮像妨害を検知することを特徴とする。   According to the eleventh aspect of the present invention, there is provided a monitoring method for detecting that the image pickup by the camera is obstructed, wherein the obstruction obstructing the subject light input to the camera is difficult to adhere to the first area. Among the images from the camera imaged through a cover or lens provided with a second area, the imaging disturbance is detected by comparing the relationship of temporal changes in information from the first area and the second area. It is characterized by that.

請求項12記載の発明は、カメラによる撮像に対し、妨害されたことを検出する監視方法において、カメラへ入力される被写体光を妨害する妨害物が付着しにくい第一のエリアとそうでない第二のエリアを設けたカバーもしくはレンズを通して撮像された該カメラからの画像のうち、前記第一のエリアと前記第二のエリアからの情報である輝度レベルの時間的変化の関係を比較することにより撮像妨害を検知することを特徴とする。   According to a twelfth aspect of the present invention, there is provided a monitoring method for detecting that the image pickup by the camera is obstructed, wherein the obstruction obstructing the subject light input to the camera is less likely to adhere to the first area. Among the images from the camera imaged through the cover or lens provided with the area, the image is obtained by comparing the temporal change relationship of the luminance level as information from the first area and the second area. It is characterized by detecting interference.

請求項13記載の発明は、請求項11ないし12のいずれかに従属した監視方法において、第二のエリアとは、少なくとも撥水又は防水もしくは塗料をはじく作用を有する物質がコーティングされたエリアであることを特徴とする。   According to a thirteenth aspect of the present invention, in the monitoring method according to any one of the eleventh to twelfth aspects, the second area is an area coated with at least a water repellent or waterproof or paint repelling substance. It is characterized by that.

請求項14記載の発明は、第二のエリアは、カバーもしくはレンズにカメラによる被写体の映像に影響を受けない位置に設けることを特徴とする。   The invention according to claim 14 is characterized in that the second area is provided at a position where the cover or the lens is not affected by the image of the subject by the camera.

請求項1記載の発明による監視装置では、カバーに、カメラへ入力される被写体光を妨害する妨害物が付着しにくい第一のエリアと、妨害物が付着しにくくない第二のエリアを設けているため、そのカバーに対しスプレー塗料等の被写体光を遮る妨害物を付着させる等の撮像妨害をされても、カバーの第一のエリアには付着しないため、撮像を続けることが出来る。また、カバーの第二のエリアはスプレー塗料等が付着しにくくない、つまり付着する。カバーに対しスプレー塗料等の被写体光を遮る妨害物を付着させる等の撮像妨害がされていないときの第一のエリアと第二のエリアの情報と、カバーに対し上記のような撮像妨害等された後の第一のエリアと第二のエリアの情報の関係を比較することにより、撮像妨害を検知することができる。   In the monitoring device according to the first aspect of the present invention, the cover is provided with a first area where obstructions that obstruct subject light input to the camera are less likely to adhere, and a second area where obstructions are less likely to adhere. Therefore, even if imaging obstruction such as adhering obstruction to the subject light such as spray paint adheres to the cover, it does not adhere to the first area of the cover, so that imaging can be continued. In addition, spray paint or the like is not difficult to adhere to the second area of the cover, that is, adheres. Information on the first area and the second area when there are no obstructions such as spray paint on the cover that obstructs the subject light, and information on the first and second areas when the obstruction is not obstructed. The imaging disturbance can be detected by comparing the relationship between the information of the first area and the second area.

請求項2記載の発明による監視装置では、さらに、第一のエリアが少なくとも撥水または防水もしくは塗料をはじく作用を有する物質にコーティングされていることによって、カメラへ入力される被写体光を妨害する妨害物質が付着しにくくなる。   In the monitoring apparatus according to the second aspect of the present invention, the first area is coated with a substance having an action of at least water repellency or waterproofing or repelling paint, thereby obstructing subject light input to the camera. It becomes difficult for substances to adhere.

請求項3の発明による監視装置では、さらに、比較手段において、妨害物が付着していない第一のエリアの情報である輝度レベルと、妨害物が付着された第二のエリアの情報である輝度レベルの関係と、カバーに何も撮像妨害をされていないときの第一のエリアの情報である輝度レベルと第二のエリアの情報である輝度レベルを比較すると、カバーに撮像妨害をされたときは輝度レベルが変化していることが分かり、撮像妨害をされていることを検知できる。   In the monitoring device according to the third aspect of the present invention, the comparison means further includes a luminance level as information on the first area where the obstruction is not attached and luminance as information on the second area where the obstruction is attached. Comparing the relationship between the level and the brightness level, which is information of the first area when there is no interference with the cover, and the brightness level, which is the information of the second area, Shows that the luminance level has changed, and can detect that the imaging has been disturbed.

請求項4の発明による監視装置では、さらに、第二のエリアがカメラによる撮像に妨害を受けない場所であるので、撮像妨害を感知することができ、その上その後の撮像に差支えがなくなる。   In the monitoring device according to the fourth aspect of the present invention, since the second area is a place where the image pickup by the camera is not disturbed, the image pickup disturbance can be sensed, and the subsequent image pickup is not affected.

請求項5の発明による監視装置では、さらに、カバーに第二のエリアを複数個設けることによって、カバーの一部分にだけスプレー塗料を付着させる等の撮像妨害がされたときに、撮像妨害の検知の漏れを防ぐことができる。   In the monitoring apparatus according to the fifth aspect of the present invention, when a plurality of second areas are provided on the cover, the imaging disturbance is detected when the imaging disturbance such as spray paint is attached to only a part of the cover. Leakage can be prevented.

また、請求項6から請求項14の発明による監視装置および監視方法においても、上述した請求項1から請求項5の発明の監視装置と同様な効果が得られる。   Further, in the monitoring device and the monitoring method according to the inventions of claims 6 to 14, the same effects as those of the monitoring devices of the inventions of claims 1 to 5 described above can be obtained.

上記のように、本発明では、カメラのレンズやカバー等に対しスプレー塗料等の被写体光を遮る妨害物を付着させる等の撮像妨害を感知し、撮像妨害をされた後も撮像を続けることができる、監視装置および監視方法を提供することができる。   As described above, in the present invention, it is possible to detect an imaging disturbance such as adhering an obstacle that blocks subject light, such as spray paint, to a camera lens, a cover, etc., and to continue imaging even after the imaging disturbance has occurred. A monitoring device and a monitoring method that can be provided can be provided.

図1を参照して、本実施例の監視装置10は、透明カバー12、CCDイメージャを有するカメラ14、レンズ部16、処理部30、表示装置部62、記録部70、アラーム出力部74で構成される。カメラ14は絞り機構、固体撮像素子であるCCDを含む。透明カバー12はアクリル素材であり、レンズ部16との間の距離が、透明カバー12に細かい水滴などが存在しても撮像した撮像画像および映像に差支えがない焦点になるような位置に備え付けられている。撮像画像および映像は、レンズ部16およびカメラ14によって透明カバー12を通して撮像される。カメラ14は処理部30とケーブル32でつながれており撮像画像および映像は、ケーブル32を通して処理部30に送られ、処理部30によって様々な処理をされる。処理された撮像画像および映像は表示装置部62によって表示され、記録部70によって記録される。また処理部30によって撮像妨害検知が行われ、アラーム出力部74によって図示しないセキュリティシステム会社等にアラーム信号を送信する。なお、処理部30の詳細については後に説明する。   With reference to FIG. 1, the monitoring device 10 of this embodiment includes a transparent cover 12, a camera 14 having a CCD imager, a lens unit 16, a processing unit 30, a display device unit 62, a recording unit 70, and an alarm output unit 74. Is done. The camera 14 includes a diaphragm mechanism and a CCD that is a solid-state imaging device. The transparent cover 12 is made of an acrylic material and is provided at a position where the distance between the transparent cover 12 and the lens unit 16 is a focal point that does not interfere with the captured image and video even if fine water droplets or the like are present on the transparent cover 12. ing. The captured image and video are captured through the transparent cover 12 by the lens unit 16 and the camera 14. The camera 14 is connected to the processing unit 30 and the cable 32, and the captured image and video are sent to the processing unit 30 through the cable 32, and various processing is performed by the processing unit 30. The processed captured image and video are displayed by the display unit 62 and recorded by the recording unit 70. In addition, the processing unit 30 detects an imaging disturbance, and the alarm output unit 74 transmits an alarm signal to a security system company or the like (not shown). Details of the processing unit 30 will be described later.

図2、図3は透明カバー12の図解図である。図2を参照して、透明カバー12はレンズ部16の表側の面積よりも大きく、カメラ14により撮像される撮像エリア22よりも大きく構成される。また、透明カバー12は妨害物が付着しにくい防汚コーティングが加工されている第一のエリアであるコーティングエリア18(斜線部)と防汚コーティングされていない第二のエリアである非コーティングエリア20a、20b、20c、20dを有する。例えば、防汚コーティング材としてダイキン株式会社のオプツール(登録商標)DSX、東レ株式会社のSR2411等が塗布される。そして、透明カバー12を通してカメラ14によって撮像される撮像エリア22は、上記コーティングエリア18と非コーティングエリア20a、20b、20c、20dを含む。   2 and 3 are illustrations of the transparent cover 12. Referring to FIG. 2, the transparent cover 12 is configured to be larger than the area on the front side of the lens unit 16 and larger than the imaging area 22 captured by the camera 14. Further, the transparent cover 12 has a coating area 18 (shaded area) that is a first area in which an antifouling coating to which obstructions are difficult to adhere is processed and a non-coating area 20a that is a second area that is not antifouling coated. , 20b, 20c, 20d. For example, as an antifouling coating material, Daikin Corporation's OPTOOL (registered trademark) DSX, Toray Industries, Inc. SR2411, or the like is applied. And the imaging area 22 imaged with the camera 14 through the transparent cover 12 contains the said coating area 18 and the non-coating area 20a, 20b, 20c, 20d.

非コーティングエリア20a、20b、20c、20dは、透明カバー12の撮像エリア22の中の任意の4箇所に配置される。撮像エリア22にスプレー塗料を付着させたりすると、コーティングエリア18にはスプレー塗料が一瞬付着するが、数秒で細かい玉状になる。コーティングエリア18は撮像エリア22の大部分を占めており、また、細かい玉状のスプレー塗料が撮像エリア22に存在しても、撮像には影響を与えない。一方、非コーティングエリア20a、20b、20c、20dにはスプレー塗料が付着する。従って透明カバー22は、非コーティングエリア20a、20b、20c、20dにスプレー塗料が付着しても非コーティングエリア20a、20b、20c、20dによって撮像に影響を与えないような位置に配置される。   The non-coating areas 20 a, 20 b, 20 c, and 20 d are arranged at four arbitrary positions in the imaging area 22 of the transparent cover 12. When spray paint is attached to the imaging area 22, the spray paint adheres to the coating area 18 for a moment, but it becomes a fine ball shape within a few seconds. The coating area 18 occupies most of the imaging area 22, and even if a fine ball-shaped spray paint is present in the imaging area 22, the imaging is not affected. On the other hand, spray paint adheres to the non-coating areas 20a, 20b, 20c, and 20d. Accordingly, the transparent cover 22 is arranged at a position where the non-coating areas 20a, 20b, 20c, and 20d do not affect the imaging even if spray paint adheres to the non-coating areas 20a, 20b, 20c, and 20d.

図3に示すように、本実施例では撮像エリア22を30分割(全て同一面積)し、そのうち非コーティングエリア20a、20b、20c、20dを任意の4箇所に配置している。なお、撮像エリア22を分割した各々のエリアの大きさは、透明カバー12にスプレー塗料を付着させられた等の撮像妨害をされたとき、撮像エリア22の非コーティングエリア20a、20b、20c、20dの各々によって撮像に影響を与えない程度の大きさであればよいため、撮像エリア22は非コーティングエリア20a、20b、20c、20dがそのような大きさになるように分割されればよい。また本実施例では非コーティングエリア20a、20b、20c、20dを4個設けたが、撮影に差支えがなく、かつ撮像妨害を誤検出しない程度の個数を設ければよい。   As shown in FIG. 3, in this embodiment, the imaging area 22 is divided into 30 (all have the same area), and the non-coating areas 20a, 20b, 20c, and 20d are arranged at arbitrary four locations. Note that the size of each area obtained by dividing the imaging area 22 is the non-coating areas 20a, 20b, 20c, and 20d of the imaging area 22 when the imaging cover 22 is blocked by spray paint or the like. Therefore, the imaging area 22 may be divided so that the non-coating areas 20a, 20b, 20c, and 20d have such a size. In this embodiment, four non-coating areas 20a, 20b, 20c, and 20d are provided. However, it is only necessary to provide a number that does not interfere with imaging and does not erroneously detect imaging interference.

そして、30分割された撮像エリア22の30個のエリアは、各々位置を示すアドレスを持っている。一段目の一行目の左から右方向へ、Ad01、Ad02、・・・、Ad29、Ad30となっており、5段目の6行目までアドレスが定められている。この場合、4個の非コーティングエリア20aのアドレスをAd08、非コーティングエリア20bをアドレスAd11、非コーティングエリア20cをアドレスAd20、非コーティングエリア20dをアドレスAd23としている。30分割された撮像エリア22の30個のエリアのうち、4個のエリアは非コーティングエリア20a、20b、20c、20dであり、残りの26個のエリアを持つコーティングエリア18の中から任意に4個のエリアが選ばれる。任意に選ばれた4個のエリアをエリア18a、18b、18c、18dとする。そして、4個のエリアの各々のアドレスについて、エリア18aをアドレスAd07、エリア18bをアドレスAd12、エリア18cをアドレスAd19、エリア18dをアドレスAd24としている。   And 30 areas of the imaging area 22 divided into 30 each have an address indicating a position. From the left to the right in the first row of the first row, Ad01, Ad02,..., Ad29, Ad30 are provided, and addresses are determined up to the sixth row of the fifth row. In this case, the address of the four non-coating areas 20a is Ad08, the non-coating area 20b is the address Ad11, the non-coating area 20c is the address Ad20, and the non-coating area 20d is the address Ad23. Of the 30 areas of the 30-divided imaging area 22, four areas are non-coating areas 20a, 20b, 20c, and 20d, and any four of the coating areas 18 having the remaining 26 areas are arbitrarily selected. Areas are selected. The arbitrarily selected four areas are defined as areas 18a, 18b, 18c, and 18d. For each of the four areas, the area 18a is the address Ad07, the area 18b is the address Ad12, the area 18c is the address Ad19, and the area 18d is the address Ad24.

透明カバー22にスプレー塗料を付着させる等の撮像妨害がされた場合、第一のエリアであるコーティングエリア18から任意に選ばれた4個のエリア18a、18b、18c、18dの輝度レベルと第二のエリアである非コーティングエリア20a、20b、20c、20dの輝度レベルの各々の差の値と、記録部70に格納された所定時間前に同様に算出された各々の差の値とを比較してその変化量の大きさで撮像妨害を検知し、アラーム信号をセキュリティシステム等へ送る。   In the case where the image pickup is obstructed, for example, spray paint is applied to the transparent cover 22, the brightness levels of the four areas 18a, 18b, 18c, 18d arbitrarily selected from the coating area 18 as the first area and the second area. The difference values of the luminance levels of the non-coating areas 20a, 20b, 20c, and 20d, which are the areas of the above, are compared with the difference values calculated in the same manner before the predetermined time stored in the recording unit 70. The camera detects an imaging disturbance with the magnitude of the change and sends an alarm signal to a security system or the like.

監視装置10のブロック図を図4に示す。本実施例の監視装置10は、第一のエリアであるコーティングエリア18と第二のエリアである非コーティングエリア20a、20b、20c、20dを有する透明カバー12、図示しない被写体を撮像するカメラ14、カメラ14より出力されたアナログ撮像信号をデジタル撮像データに変換するA/D変換器52、デジタル撮像データを信号処理しデジタル画像データにする信号処理回路54、様々なデータを一時格納するSDRAM56、デジタル画像データをアナログ撮像信号に変換するD/A変換器58、アナログ撮像信号をNTSC信号に変換するビデオエンコーダ60、撮像映像を表示する表示装置62、デジタル画像データをJPEG(Joint Photographics Experts Group)で圧縮、伸張するJPEGコーデック回路68、JPEGで圧縮されたデジタル圧縮データを記録したり、データを保持するハードディスクレコーダ70、オペレータが監視装置10を操作する入力部である操作キー80、コーティングエリア18の中から任意に選ばれた4個のエリア18a、18b、18c、18dおよび非コーティングエリア20a、20b、20c、20d内の各画素の輝度レベルをデジタル積分する積分回路66、アラーム出力を行うアラーム出力回路74および時間をカウントするカウンタ73を有しSDRAM56、積分回路66、JPEGコーデック回路68、アラーム出力回路74、ハードディスクレコーダ70に制御信号を与えるCPU72で構成される。   A block diagram of the monitoring device 10 is shown in FIG. The monitoring apparatus 10 of the present embodiment includes a transparent cover 12 having a coating area 18 as a first area and non-coating areas 20a, 20b, 20c, and 20d as a second area, a camera 14 that captures a subject (not shown), An A / D converter 52 that converts an analog imaging signal output from the camera 14 into digital imaging data, a signal processing circuit 54 that processes the digital imaging data into digital image data, an SDRAM 56 that temporarily stores various data, a digital A D / A converter 58 that converts image data into an analog image signal, a video encoder 60 that converts an analog image signal into an NTSC signal, a display device 62 that displays the captured image, and digital image data in JPEG (Joint Photographics Experts Group) Compression, decompression Optional JPEG codec circuit 68, hard disk recorder 70 that records digital compressed data compressed by JPEG, holds data, operation key 80 that is an input unit for the operator to operate monitoring device 10, and coating area 18 An integration circuit 66 for digitally integrating the luminance levels of the respective pixels in the four areas 18a, 18b, 18c, 18d and the uncoated areas 20a, 20b, 20c, 20d, an alarm output circuit 74 for outputting an alarm, and It has a counter 73 that counts time, and is composed of an SDRAM 56, an integration circuit 66, a JPEG codec circuit 68, an alarm output circuit 74, and a CPU 72 that gives control signals to the hard disk recorder 70.

まず、透明カバー12の30分割された撮像エリア22に対し、非コーティングエリア20a、20b、20c、20dがどこに配置されたかを、操作キー80の図示しないメニューボタンにより配置設定を選択し、図示しないカーソルボタンによって30分割された撮像エリア22の30個のエリアから4個のエリアを指定する。同様に、撮像エリア22から非コーティングエリア20a、20b、20c、20dを除く、26個のコーティングエリア18の中から4個のエリア18a、18b、18c、18dを選び、指定する。この操作は、初めに設定する時や透明カバー12が破損等してしまったときに再度非コーティングエリア20a、20b、20c、20dを設定し直すときに行う。一度、指定されるとその内容は保持され、再度操作キー80により4個の非コーティングエリア20a、20b、20c、20dおよび4個のエリア18a、18b、18c、18dを指定しない限り有効である。   First, with respect to the 30-divided imaging area 22 of the transparent cover 12, the location setting of the non-coating areas 20a, 20b, 20c, and 20d is selected by a menu button (not shown) of the operation key 80, not shown. Four areas are designated from 30 areas of the imaging area 22 divided into 30 by the cursor button. Similarly, four areas 18a, 18b, 18c and 18d are selected from the 26 coating areas 18 excluding the non-coating areas 20a, 20b, 20c and 20d from the imaging area 22, and designated. This operation is performed when setting the non-coating areas 20a, 20b, 20c, and 20d again when initially setting or when the transparent cover 12 is damaged. Once designated, the contents are retained, and are valid unless the four non-coating areas 20a, 20b, 20c, 20d and the four areas 18a, 18b, 18c, 18d are designated by the operation key 80 again.

また、前述したように30分割された撮像エリア22の30個のエリアは、各々位置を示すアドレスを持っている。その30個のエリアのアドレスは、ハードディスクレコーダ70内の領域A1に格納されている。操作キー80によって30個のエリアのうち4個の非コーティングエリア20a、20b、20c、20dにカーソルで指定すると、CPU72は指定された4個の非コーティングエリア20a、20b、20c、20dのアドレスAd08、Ad11、Ad20、Ad23をハードディスクレコーダ70内の領域A1から取り出し、領域A2に格納する。また、同様にエリア18a、18b、18c、18dのアドレスAd07、Ad12、Ad19、Ad24についてもハードディスクレコーダ70内の領域A1から取り出し、領域A2に格納する。   Further, as described above, the 30 areas of the imaging area 22 divided into 30 have addresses indicating positions. The addresses of the 30 areas are stored in the area A1 in the hard disk recorder 70. When the cursor 72 is used to designate four uncoated areas 20a, 20b, 20c, and 20d among the 30 areas by the operation key 80, the CPU 72 addresses Ad08 of the designated four non-coated areas 20a, 20b, 20c, and 20d. , Ad11, Ad20, Ad23 are extracted from the area A1 in the hard disk recorder 70 and stored in the area A2. Similarly, the addresses Ad07, Ad12, Ad19, Ad24 of the areas 18a, 18b, 18c, 18d are taken out from the area A1 in the hard disk recorder 70 and stored in the area A2.

本実施例では、オペレータは、コーティングエリア18の26個のアドレスから4個のエリアを選び、CPU72によってアドレスAd07、Ad12、Ad19、Ad24は領域A1から領域A2に格納されるのであるが、CPU72によって、26個のエリアの26個のアドレスから4個のアドレスをランダムに領域A1から領域A2に格納しても良い。   In this embodiment, the operator selects four areas from the 26 addresses of the coating area 18, and the addresses Ad07, Ad12, Ad19, Ad24 are stored in the areas A1 to A2 by the CPU 72. , 4 addresses out of 26 addresses in 26 areas may be randomly stored in the area A1 to the area A2.

また、本実施例では後述するコーティングエリア18と非コーティングエリア20a、20b、20c、20d間の輝度データの差データの検出にあたって、コーティングエリア18中の4個のエリア18a、18b、18c、18dと非コーティングエリア20a、20b、20c、20dをそれぞれこの順番通りに輝度データの比較を行い、差データを検出しているが、順番通りに比較を行わなくても良い。例えば、エリア18bと非コーティングエリア20aとを比較をさせ、エリア18cと非コーティングエリア20bとを比較をさせ、エリア18dと非コーティングエリア20cとを比較させ、エリア18aと非コーティングエリア20dとを比較させても良い。   In this embodiment, when detecting difference data of luminance data between a coating area 18 and a non-coating area 20a, 20b, 20c, 20d, which will be described later, four areas 18a, 18b, 18c, 18d in the coating area 18 The luminance data is compared in the non-coating areas 20a, 20b, 20c, and 20d in this order, and the difference data is detected. However, the comparison may not be performed in the order. For example, the area 18b is compared with the uncoated area 20a, the area 18c is compared with the uncoated area 20b, the area 18d is compared with the uncoated area 20c, and the area 18a is compared with the uncoated area 20d. You may let them.

そして、図示しない操作キー80のリセットボタンにより非コーティングエリア20a、20b、20c、20dの場所を変更するときには、非コーティングエリア20a、20b、20c、20dのアドレスAd08、Ad11、Ad20、Ad23がリセットされ、エリア18a、18b、18c、18dのアドレスAd07、Ad12、Ad19、Ad24もリセットされる。   When the location of the non-coating areas 20a, 20b, 20c, and 20d is changed by the reset button of the operation key 80 (not shown), the addresses Ad08, Ad11, Ad20, and Ad23 of the non-coating areas 20a, 20b, 20c, and 20d are reset. The addresses Ad07, Ad12, Ad19, Ad24 of the areas 18a, 18b, 18c, 18d are also reset.

操作キー80によって撮像モードが設定されると、CPU72は、JPEGコーデック回路68、SDRAM56およびハードディスクレコーダ70に制御信号を与える。カメラ14から出力されるアナログ撮像信号は、A/D変換器52によってデジタル撮像データに変換され、この変換後のデジタル撮像データは、信号処理回路54に入力される。信号処理回路54は、A/D変換器52で生成されたデジタル撮像データを基に、3つの色信号であるR、G、B信号を作成し、次にこれらを輝度信号であるY信号、2つの色差信号であるU、V信号に変換するための処理を施す。こうしてCCDイメージャの画素毎に得られたY、U、V信号であるデジタル画像データはSDRAM56に一旦格納され、デジタル画像データは、JPEGコーデック回路68によりJPEGで圧縮される。圧縮されたデジタル圧縮データはSDRAM56をメモリバッファとして再度格納され、格納されたデジタル圧縮データは、ハードディスクレコーダ70に記録される。   When the imaging mode is set by the operation key 80, the CPU 72 gives a control signal to the JPEG codec circuit 68, the SDRAM 56, and the hard disk recorder 70. The analog imaging signal output from the camera 14 is converted into digital imaging data by the A / D converter 52, and the converted digital imaging data is input to the signal processing circuit 54. The signal processing circuit 54 creates R, G, and B signals that are three color signals based on the digital imaging data generated by the A / D converter 52, and then generates Y signals that are luminance signals, Processing for conversion into two color difference signals U and V is performed. The digital image data as Y, U, and V signals obtained for each pixel of the CCD imager is temporarily stored in the SDRAM 56, and the digital image data is compressed by JPEG by the JPEG codec circuit 68. The compressed digital compressed data is stored again using the SDRAM 56 as a memory buffer, and the stored digital compressed data is recorded in the hard disk recorder 70.

操作キー80により、記録された画像を表示装置62に再生する再生モードが設定されると、CPU72は、ハードディスクレコーダ70に記録されたデジタル圧縮データを読み出し、JPEGコーデック回路68によって圧縮されたデジタル圧縮データを伸張し、SDRAM56にデジタル画像データを一時格納する。そして、D/A変換器58によりデジタル画像データをアナログ撮像信号に生成し、ビデオエンコーダ60によってNTSC信号に変換して、画像データを表示装置62に表示する。   When a reproduction mode for reproducing the recorded image on the display device 62 is set by the operation key 80, the CPU 72 reads out the digital compressed data recorded in the hard disk recorder 70 and the digital compression compressed by the JPEG codec circuit 68. The data is expanded and the digital image data is temporarily stored in the SDRAM 56. The D / A converter 58 generates digital image data into an analog imaging signal, and the video encoder 60 converts the digital image data into an NTSC signal. The image data is displayed on the display device 62.

さて、上記のように操作キー80によって撮像モードが設定されると撮像動作と平行して、妨害検出も行われる。撮像操作が行われると同時に、CPU72は上記の動作に加えて積分回路66、アラーム出力回路74に制御信号を与える。CPU72は、ハードディスクレコーダ内70のメモリA2に格納された4個の非コーティングエリア20a、20b、20c、20dの各々のアドレスAd08、Ad11、Ad20、Ad23を取り出し、現在撮像モードによって撮像されたデジタル画像データが蓄えられているSDRAM56から、各々のアドレスに対応する非コーティングエリア20a、20b、20c、20d内に含まれる全画素の輝度レベルを抽出する。同様にメモリA2に格納されたコーティングエリア18中の4個のエリア18a、18b、18c、18dのアドレスAd07、Ad12、Ad19、Ad24をメモリA2から取り出し、SDRAM56から4個のアドレスAd07、Ad12、Ad19、Ad24に対応する4個のエリア18a、18b、18c、18d内の全画素の輝度レベルを抽出する。   Now, when the imaging mode is set by the operation key 80 as described above, disturbance detection is also performed in parallel with the imaging operation. Simultaneously with the imaging operation, the CPU 72 gives control signals to the integration circuit 66 and the alarm output circuit 74 in addition to the above-described operation. The CPU 72 takes out the addresses Ad08, Ad11, Ad20, Ad23 of each of the four non-coating areas 20a, 20b, 20c, 20d stored in the memory A2 in the hard disk recorder 70, and is a digital image captured in the current imaging mode. The brightness levels of all the pixels included in the non-coating areas 20a, 20b, 20c, and 20d corresponding to each address are extracted from the SDRAM 56 in which data is stored. Similarly, the addresses Ad07, Ad12, Ad19, Ad24 of the four areas 18a, 18b, 18c, 18d in the coating area 18 stored in the memory A2 are extracted from the memory A2, and the four addresses Ad07, Ad12, Ad19 are read from the SDRAM 56. , The luminance levels of all the pixels in the four areas 18a, 18b, 18c, 18d corresponding to Ad24 are extracted.

CPU72は、抽出されたコーティングエリア18中の4個のエリア18a、18b、18c、18dのエリア毎の全画素の各々の輝度レベルと非コーティングエリア20a、20b、20c、20dのエリア毎の全画素の輝度レベルを、エリア毎に全画素の輝度レベルを積分回路66でデジタル積分をしてエリア毎の輝度データとして抽出する。更にCPU72は、抽出されたエリア18a、18b、18c、18dの各々の輝度データと非コーティングエリア20a、20b、20c、20dの各々の輝度データとの輝度データの差データを検出する。   The CPU 72 determines the luminance levels of all the pixels in each of the four areas 18a, 18b, 18c, and 18d in the extracted coating area 18 and all the pixels in each of the uncoated areas 20a, 20b, 20c, and 20d. The luminance levels of all the pixels for each area are digitally integrated by the integrating circuit 66 and extracted as luminance data for each area. Further, the CPU 72 detects difference data between the luminance data of each of the extracted areas 18a, 18b, 18c, and 18d and the luminance data of each of the non-coating areas 20a, 20b, 20c, and 20d.

SDRAM56に格納されている前回撮像妨害と判断されなかった4個の各々の輝度データの差データと、今回の4個の各々の輝度データの差データの比較を行う。SDRAM56には、前回撮像妨害と判断されなかった4個の各々の輝度データの差データが格納されており、コーティングエリア18中のエリア18aと非コーティングエリア20aとの輝度レベルの差データY2aはSDRAM56内の領域a、エリア18bと非コーティングエリア20bとの輝度データの差データY2bは領域b、エリア18cと非コーティングエリア20cとの輝度データの差データY2cは領域c、エリア18dと非コーティングエリア20dとの輝度データの差データY2dは領域dに格納されている。   The difference data of each of the four pieces of luminance data that has not been determined to be the previous imaging disturbance stored in the SDRAM 56 is compared with the difference data of each of the four pieces of luminance data this time. The SDRAM 56 stores difference data of each of the four pieces of luminance data that has not been determined to be imaging disturbances last time. The luminance level difference data Y2a between the area 18a in the coating area 18 and the non-coating area 20a is stored in the SDRAM 56. The brightness data difference data Y2b between the area a, the area 18b and the non-coating area 20b is the area b, and the brightness data difference data Y2c between the area 18c and the non-coating area 20c is the area c, the area 18d and the non-coating area 20d. The luminance data difference data Y2d is stored in the area d.

そして、SDRAM56内の領域aに格納された前回撮像妨害と判断されなかったコーティングエリア18中のエリア18aと非コーティングエリア20aとの輝度データの差データY2aと、今回抽出したコーティングエリア18中のエリア18aと非コーティングエリア20aとの輝度データの差データY1aの比較を行う。同様に、他の3個のコーティングエリア18中の他の3個のエリア18b、18c、18dと非コーティングエリア20b、20c、20dとの輝度データの差データについても比較を行う。   Then, the difference data Y2a between the luminance data of the area 18a in the coating area 18 and the non-coating area 20a that was not determined as the previous imaging disturbance stored in the area a in the SDRAM 56, and the area in the coating area 18 extracted this time The difference data Y1a of the luminance data between 18a and the non-coating area 20a is compared. Similarly, the difference data of the brightness data of the other three areas 18b, 18c, 18d and the non-coated areas 20b, 20c, 20d in the other three coated areas 18 are also compared.

なお、本実施例では第一のエリアであるコーティングエリア18と第二のエリアである非コーティングエリア20a、20b、20c、20dの輝度データの差データの検出において、コーティングエリア18中の任意の4個のエリア18a、18b、18c、18dの輝度データと、非コーティングエリア20a、20b、20c、20dの各々の輝度データの差データをそれぞれ検出しているが、コーティングエリア18中の任意の4個のエリアの輝度レベルの平均値と非コーティングエリア20a、20b、20c、20dをそれぞれ比較しても良い。また、コーティングエリア18中の任意の1個のエリアの輝度データと非コーティングエリア20a、20b、20c、20dの輝度データをそれぞれ比較しても良い。   In this embodiment, in the detection of the difference data of the luminance data of the coating area 18 that is the first area and the non-coating areas 20a, 20b, 20c, and 20d that is the second area, any 4 in the coating area 18 is detected. The difference data between the luminance data of each of the areas 18a, 18b, 18c, and 18d and the luminance data of each of the non-coating areas 20a, 20b, 20c, and 20d is detected, but any four in the coating area 18 are detected. You may compare the average value of the luminance level of these areas with the non-coating areas 20a, 20b, 20c, and 20d, respectively. Further, the luminance data of any one area in the coating area 18 may be compared with the luminance data of the non-coating areas 20a, 20b, 20c, and 20d.

そして、4つの各々の輝度データの差データの比較によって撮像妨害をそれぞれ判断するのだが、一つでも撮像妨害されていると判断されればアラーム出力を行うようアラーム出力回路74を制御する。   Then, the image capturing disturbance is determined by comparing the difference data of each of the four luminance data. If it is determined that any one of the image capturing disturbances is detected, the alarm output circuit 74 is controlled to output an alarm.

以下、輝度データの差データ比較とアラーム出力判断について、図5および図6を参照して説明する。図5および図6は、現在のコーティングエリア中の4個のエリア18a、18b、18c、18dと非コーティングエリア20a、20b、20c、20d間の輝度データの差データY1a、Y1b、Y1c、Y1dと、前回コーティングエリア18中の4個のエリア18a、18b、18c、18dと非コーティングエリア20a、20b、20c、20d間の輝度データの差データY2a、Y2b、Y2c、Y2dとの比較処理およびアラーム出力判断処理を示すフロー図である。CPU72は輝度データ比較処理およびアラーム出力判断処理を実行する。   Hereinafter, difference data comparison of luminance data and alarm output determination will be described with reference to FIGS. 5 and 6. FIGS. 5 and 6 show luminance data difference data Y1a, Y1b, Y1c, Y1d between the four areas 18a, 18b, 18c, 18d in the current coating area and the non-coating areas 20a, 20b, 20c, 20d. Comparison processing and alarm output of difference data Y2a, Y2b, Y2c, Y2d of luminance data between the four areas 18a, 18b, 18c, 18d in the previous coating area 18 and the non-coating areas 20a, 20b, 20c, 20d It is a flowchart which shows a judgment process. The CPU 72 executes luminance data comparison processing and alarm output determination processing.

図5および図6を参照して、ステップS1では、コーティングエリア18a〜18dおよび非コーティングエリア20a〜20dの輝度データの検出を行う。   With reference to FIG. 5 and FIG. 6, in step S1, the luminance data of the coating areas 18a to 18d and the non-coating areas 20a to 20d are detected.

ステップS1のステップS1aでは、CPU72は、コーティングエリア18中のエリア18aに対応するアドレスAd07をメモリA2から取り出し、現在撮像モードによって撮像されたデジタル画像データが蓄えられているSDRAM56からエリア18a内の全画素の輝度レベルを抽出し、積分回路66に入力し、輝度レベルをデジタル積分して輝度データの検出を行う。同様に、非コーティングエリア20aのアドレスAd08もまたメモリA2から取り出し、エリア20a内の全画素の輝度レベルを抽出し、積分回路66に入力し、エリア内の全画素の輝度レベルをデジタル積分して輝度データの検出を行う。   In step S1a of step S1, the CPU 72 retrieves the address Ad07 corresponding to the area 18a in the coating area 18 from the memory A2, and stores all the digital image data in the area 18a from the SDRAM 56 in which digital image data imaged in the current imaging mode is stored. The luminance level of the pixel is extracted and input to the integrating circuit 66, and the luminance level is detected by digital integration. Similarly, the address Ad08 of the non-coating area 20a is also taken out from the memory A2, and the luminance level of all the pixels in the area 20a is extracted and input to the integrating circuit 66, and the luminance level of all the pixels in the area is digitally integrated. Luminance data is detected.

ステップS1aと同様に、ステップS1bでは、CPU72はコーティングエリア18中のエリア18bおよび非コーティングエリア20bの輝度データの検出を行う。
同様に、ステップS1cでは、CPU72はコーティングエリア18中のエリア18cおよび非コーティングエリア20cの輝度データの検出を行う。
同様に、ステップS1dでは、CPU72はコーティングエリア18中のエリア18dおよび非コーティングエリア20dの輝度データの検出を行う。
Similar to step S1a, in step S1b, the CPU 72 detects luminance data of the area 18b in the coating area 18 and the non-coating area 20b.
Similarly, in step S1c, the CPU 72 detects luminance data of the area 18c in the coating area 18 and the non-coating area 20c.
Similarly, in step S1d, the CPU 72 detects the luminance data of the area 18d in the coating area 18 and the non-coating area 20d.

次に、ステップS3において、CPU72は、ステップS1において検出したコーティングエリア18中の4個のエリア18a、18b、18c、18dと非コーティングエリア20a、20b、20c、20dとの輝度データの差データY1a、Y1b、Y1c、Y1dを検出する。   Next, in step S3, the CPU 72 determines the difference data Y1a of the luminance data between the four areas 18a, 18b, 18c, 18d in the coating area 18 detected in step S1 and the non-coating areas 20a, 20b, 20c, 20d. , Y1b, Y1c, Y1d are detected.

ステップS3のステップS3aでは、CPU72は、ステップS1aにおいて検出されたコーティングエリア18中のエリア18aの輝度データと非コーティングエリア20aの輝度データとの輝度データの差データY1aを検出する。   In step S3a of step S3, the CPU 72 detects difference data Y1a of luminance data between the luminance data of the area 18a in the coating area 18 and the luminance data of the non-coating area 20a detected in step S1a.

同様に、ステップS3bでは、ステップS1bにおいて検出されたコーティングエリア18中のエリア18bの輝度データと非コーティングエリア20bの輝度データとの差データY1bを検出する。ステップS3cでは、ステップS1cにおいて検出されたコーティングエリア18のエリア18cの輝度データと非コーティングエリア20cの輝度データとの差データY1cを検出する。ステップS3dでは、ステップS1dにおいて検出されたコーティングエリア18中のエリア18dの輝度データと非コーティングエリア20dの輝度データとの差データY1dを検出する。   Similarly, in step S3b, difference data Y1b between the luminance data of the area 18b in the coating area 18 detected in step S1b and the luminance data of the non-coating area 20b is detected. In step S3c, difference data Y1c between the luminance data of the area 18c of the coating area 18 detected in step S1c and the luminance data of the non-coating area 20c is detected. In step S3d, difference data Y1d between the luminance data of the area 18d in the coating area 18 detected in step S1d and the luminance data of the non-coating area 20d is detected.

次に、ステップS5において、CPU72は、ステップS3において検出した輝度データの差データY1a、Y1b、Y1c、Y1dと、SDRAM56内の領域a、b、c、dに記録されている前回撮像妨害と判断されなかった輝度データの差データY2a、Y2b、Y2c、Y2dの値を比較し、変化量を検出する。   Next, in step S5, the CPU 72 determines that the difference between the luminance data detected in step S3 is Y1a, Y1b, Y1c, Y1d and the previous imaging disturbance recorded in the areas a, b, c, d in the SDRAM 56. The values of the difference data Y2a, Y2b, Y2c, Y2d of the luminance data that has not been compared are compared to detect the amount of change.

ステップS5のステップS5aにおいて、CPU72は、SDRAM56内の領域aに格納されている前回撮像妨害と判断されなかったコーティングエリア18中のエリア18aと非コーティングエリア20a間の輝度データの差データY2aの値を取り出し、ステップS3aにおいて今回コーティングエリア18中のエリア18aと非コーティングエリア20a間から検出した輝度データの差データY1aと取り出された差データY2aとの値を比較し変化量を検出する。同様に、ステップS5bにおいても、SDRAM56内の領域bに格納されている前回撮像妨害と判断されなかった輝度データの差データY2bの値と、ステップS3bにおいて今回検出した輝度データの差データY1bの値を比較し変化量を検出する。ステップS5cにおいても、SDRAM56内の領域cに格納されている前回撮像妨害と判断されなかった輝度データの差データY2cの値と、ステップS3cにおいて今回検出した輝度データの差データY1cの値を比較し変化量を検出する。ステップS5dにおいても、SDRAM56内の領域dに格納されている前回撮像妨害と判断されなかった輝度データの差データY2dの値と、ステップS3dにおいて今回検出した輝度データの差データY1dの値を比較し変化量を検出する。   In step S5a of step S5, the CPU 72 stores the value of the luminance data difference data Y2a between the area 18a in the coating area 18 and the non-coating area 20a that has not been determined as the previous imaging disturbance stored in the area a in the SDRAM 56. In step S3a, the difference between the brightness data difference data Y1a detected from the area 18a in the current coating area 18 and the non-coating area 20a is compared with the extracted difference data Y2a to detect the amount of change. Similarly, also in step S5b, the value of the difference data Y2b of the luminance data that has not been determined as the previous imaging disturbance stored in the area b in the SDRAM 56 and the value of the difference data Y1b of the luminance data detected this time in step S3b To detect the amount of change. Also in step S5c, the value of the difference data Y2c of the luminance data stored in the area c in the SDRAM 56 that has not been determined to be the previous imaging disturbance is compared with the value of the difference data Y1c of the luminance data detected this time in step S3c. Detect the amount of change. Also in step S5d, the value of the difference data Y2d of the brightness data that has not been determined as the previous imaging disturbance stored in the area d in the SDRAM 56 is compared with the value of the difference data Y1d of the brightness data detected this time in step S3d. Detect the amount of change.

次に、ステップS7〜S29では、CPU72はステップS5において輝度データの差データY1a〜Y1dとY2a〜Y2d間の値の変化量がそれぞれハードディスクレコーダ70内に保持されている所定値T以上であるか各々を判断し、所定値以上である場合は各々のフラグを立て、所定値未満の場合は各々の領域に今回入力の差データに置き換える。   Next, in steps S7 to S29, the CPU 72 determines whether or not the amount of change in value between the luminance data difference data Y1a to Y1d and Y2a to Y2d in step S5 is greater than or equal to the predetermined value T held in the hard disk recorder 70, respectively. Each is judged, and if it is equal to or greater than a predetermined value, each flag is set, and if it is less than the predetermined value, it is replaced with the difference data input this time in each area.

ステップS7では、CPU72は、ステップS5aにおいて検出された前回撮像妨害と判断されなかった差データY2aと今回検出された差データY1a間の変化量の値がハードディスクレコーダ70内に保持されている所定値T以上であるか否かを判断する。ステップS7においてYES、つまり差データY2aとY1aの変化量の値がT以上であれば、撮像妨害ありと判断し、ステップS9に進む。つまり、前回撮像妨害なしと判断されたコーティングエリア18中のエリア18aと非コーティングエリア20a間の輝度データの差データY2aよりも、今回検出されたコーティングエリア18中のエリア18aと非コーティングエリア20a間の輝度データの差データY1aの値が大きく変化しているということから、スプレー塗料等が付着しやすい非コーティングエリア20aの範囲に、スプレー塗料を付着させる等の撮像妨害をされたと判断できる。通常、スプレー塗料を付着させられる等の撮像妨害がされた場合、非コーティングエリア20aの輝度データの値よりもコーティングエリア18のエリア18aの輝度データの値の方が大きくなり、差データ1aの値も大きくなる。また、前回撮像妨害なしと判断された差データY2aが小さいため、差データY2aとY1aの値を比較した場合、変化量が大きくなる。   In step S7, the CPU 72 determines a predetermined value in which the value of the amount of change between the difference data Y2a detected in step S5a and not detected as the previous imaging disturbance and the difference data Y1a detected this time is held in the hard disk recorder 70. It is determined whether or not it is equal to or greater than T. If YES in step S7, that is, if the value of the change amount between the difference data Y2a and Y1a is equal to or greater than T, it is determined that there is an imaging disturbance, and the process proceeds to step S9. That is, the difference between the brightness data difference data Y2a between the area 18a in the coating area 18 and the non-coating area 20a that has been determined not to interfere with the previous imaging is between the area 18a in the coating area 18 detected this time and the non-coating area 20a. Since the value of the difference data Y1a of the brightness data of the above is greatly changed, it can be determined that the imaging disturbance such as the spray paint being adhered is made in the range of the non-coating area 20a to which the spray paint or the like easily adheres. Normally, when imaging disturbance such as spray paint is applied, the luminance data value of the area 18a of the coating area 18 becomes larger than the luminance data value of the non-coating area 20a, and the value of the difference data 1a Also grows. In addition, since the difference data Y2a that has been determined to have no imaging disturbance last time is small, the amount of change increases when the values of the difference data Y2a and Y1a are compared.

ステップS9ではアラーム出力回路74にフラグaを立てる。ステップS7においてNO、つまり差データY2aとY1aの変化量の値がT未満であれば、CPU72は撮像妨害なしと判断する。前回撮像妨害なしと判断された差データY2aと今回検出された差データY1aの間の変化量の値が大きく変化しておらず、つまりコーティングエリア18中のエリア18aと非コーティングエリア20aとの間では輝度データでは差がほとんどないため、非コーティングエリア20aの範囲にスプレー塗料を付着させる等の撮像妨害をされていないと判断し、ステップS11に進む。ステップS11では、CPU72はSDRAM56内の領域aに今回撮像妨害と判断しなかった輝度データの差データY1aと前回の輝度データの差データY2aとを置き換え、ステップS13に進む。   In step S9, the flag a is set in the alarm output circuit 74. If NO in step S7, that is, if the value of the amount of change between the difference data Y2a and Y1a is less than T, the CPU 72 determines that there is no imaging disturbance. The amount of change between the difference data Y2a determined to be no previous imaging disturbance and the difference data Y1a detected this time does not change greatly, that is, between the area 18a in the coating area 18 and the non-coating area 20a. However, since there is almost no difference in the luminance data, it is determined that there is no obstruction of imaging such as spray paint being attached to the range of the non-coating area 20a, and the process proceeds to step S11. In step S11, the CPU 72 replaces the luminance data difference data Y1a that has not been determined to be imaging disturbance at this time in the area a in the SDRAM 56 and the previous luminance data difference data Y2a, and proceeds to step S13.

次にステップS13では、ステップS7と同様に、SDRAM56内の領域bに格納されている差データY2bとステップS5bにおいて検出された差データY1bの変化量の値がハードディスクレコーダ70内に保持されている所定値T以上であるか否かを判断する。ステップS13においてYES、つまり差データY2bとY1bの変化量の値がT以上であれば、今回検出した非コーティングエリア20bの範囲で撮像妨害ありと判断し、ステップS15に進む。ステップS15ではアラーム出力回路74にフラグbを立てる。ステップS13においてNO、つまり差データY2bとY1bの変化量の値がT未満であれば今回検出した非コーティングエリア20bの範囲で撮像妨害なしと判断され、ステップS17に進む。ステップS17では、CPU72はSDRAM56内の領域bに今回撮像妨害ありと判断しなかった輝度データの差データY1bと前回の輝度データの差データY2bとを置き換え、ステップS19に進む。   Next, in step S13, as in step S7, the change value of the difference data Y2b stored in the area b in the SDRAM 56 and the difference data Y1b detected in step S5b is held in the hard disk recorder 70. It is determined whether or not the value is equal to or greater than a predetermined value T. If YES in step S13, that is, if the value of the change amount of the difference data Y2b and Y1b is equal to or greater than T, it is determined that there is an imaging disturbance in the range of the uncoated area 20b detected this time, and the process proceeds to step S15. In step S15, the flag b is set in the alarm output circuit 74. If NO in step S13, that is, if the value of the amount of change between the difference data Y2b and Y1b is less than T, it is determined that there is no imaging disturbance in the range of the non-coating area 20b detected this time, and the process proceeds to step S17. In step S17, the CPU 72 replaces the luminance data difference data Y1b that has not been determined to be imaging disturbance this time in the area b in the SDRAM 56 with the previous luminance data difference data Y2b, and proceeds to step S19.

ステップS19では、こちらもステップS7と同様に、SDRAM56内の領域cに格納されている差データY2cとステップS5cにおいて検出された差データY1cの変化量の値がハードディスクレコーダ70内に保持されている所定値T以上であるか否かを判断する。ステップS19においてYES、つまり差データY2cとY1cの変化量の値がT以上であれば今回検出した非コーティングエリア20cの範囲で撮像妨害ありと判断し、ステップS21に進む。ステップS21ではアラーム出力回路74にフラブcを立てる。ステップS19においてNO、つまり差データY2cとY1cの変化量の値がT未満であれば今回検出した非コーティングエリア20cの範囲で撮像妨害なしと判断され、ステップS23に進む。ステップS23では、CPU72はSDRAM56内の領域cに今回撮像妨害ありと判断しなかった輝度データの差データY1bと前回の輝度データの差データY2cとを置き換え、ステップS27に進む。   In step S19, similarly to step S7, the change value of the difference data Y2c stored in the area c in the SDRAM 56 and the difference data Y1c detected in step S5c is held in the hard disk recorder 70. It is determined whether or not the value is equal to or greater than a predetermined value T. If YES in step S19, that is, if the value of the amount of change between the difference data Y2c and Y1c is equal to or greater than T, it is determined that there is imaging interference within the range of the non-coating area 20c detected this time, and the process proceeds to step S21. In step S21, a flab c is set in the alarm output circuit 74. If NO in step S19, that is, if the value of the amount of change between the difference data Y2c and Y1c is less than T, it is determined that there is no imaging disturbance in the range of the non-coating area 20c detected this time, and the process proceeds to step S23. In step S23, the CPU 72 replaces the difference data Y1b of the luminance data that has not been determined to be imaging disturbance this time in the area c in the SDRAM 56 with the difference data Y2c of the previous luminance data, and proceeds to step S27.

ステップS27では、こちらもステップS7と同様に、CPU72はSDRAM56内の領域dに格納されている差データY2dと、ステップS5dにおいて検出された差データY1dの変化量の値がハードディスクレコーダ70内に保持されている所定値T以上であるか否かを判断する。ステップS27においてYES、つまり差データY2dとY1dの変化量の値がT以上であれば今回検出した非コーティングエリア20dの範囲で撮像妨害ありと判断し、ステップS25に進む。ステップS25ではアラーム出力回路74にフラグdを立てる。ステップS27においてNO、つまり差データY2dとY1dの変化量の値が所定値T未満であれば今回検出した非コーティングエリア20dの範囲で撮像妨害なしと判断され、ステップS29に進む。ステップS29では、CPU72はSDRAM56内の領域dに今回撮像妨害ありと判断されなかった輝度データの差データY1dと前回の輝度データの差データY2dとを置き換える。   In step S27, as in step S7, the CPU 72 holds the difference data Y2d stored in the area d in the SDRAM 56 and the change value of the difference data Y1d detected in step S5d in the hard disk recorder 70. It is determined whether or not the predetermined value T is exceeded. If YES in step S27, that is, if the value of the amount of change between the difference data Y2d and Y1d is equal to or greater than T, it is determined that there is imaging interference within the range of the uncoated area 20d detected this time, and the process proceeds to step S25. In step S25, a flag d is set in the alarm output circuit 74. If NO in step S27, that is, if the value of the amount of change between the difference data Y2d and Y1d is less than the predetermined value T, it is determined that there is no imaging disturbance in the range of the non-coating area 20d detected this time, and the process proceeds to step S29. In step S29, the CPU 72 replaces the difference data Y1d of the luminance data that has not been determined to have imaging disturbance this time in the area d in the SDRAM 56 with the difference data Y2d of the previous luminance data.

輝度データの比較が終わると、CPU72はアラーム出力の判断を行う。ステップS41では、フラグaが立てられているか否かを判断する。YES、つまりフラグaが立てられている場合はステップS49に進み、アラーム出力回路74よりアラーム出力を行う。NO、つまりフラグaが立てられていなかった場合はステップS43に進む。   When the comparison of the luminance data is finished, the CPU 72 determines the alarm output. In step S41, it is determined whether or not the flag a is set. If YES, that is, if the flag a is set, the process proceeds to step S49, where the alarm output circuit 74 outputs an alarm. If NO, that is, if the flag a is not set, the process proceeds to step S43.

ステップS43では、フラグb立てられているか否かを判断する。YES、つまりフラグbが立てられている場合はステップS49に進み、アラーム出力回路74よりアラーム出力を行う。NO、つまりフラグbが立てられていない場合はステップS45に進む。   In step S43, it is determined whether or not the flag b is set. If YES, that is, if the flag b is set, the process proceeds to step S49 where an alarm is output from the alarm output circuit 74. If NO, that is, if the flag b is not set, the process proceeds to step S45.

ステップS45では、フラグcが立てられている否かを判断する。YES、つまりフラグcが立てられている場合はステップS49に進み、アラーム出力回路74よりアラーム出力を行う。NO、つまりフラグcが立てられていない場合はステップS47に進む。   In step S45, it is determined whether or not the flag c is set. If YES, that is, if the flag c is set, the process proceeds to step S49, where the alarm output circuit 74 outputs an alarm. If NO, that is, if the flag c is not set, the process proceeds to step S47.

ステップS47では、フラグdが立てられているか否かを判断する。YES、つまりフラグdが立てられている場合はステップS49に進み、アラーム出力回路74よりアラーム出力を行い、ステップS50に進む。アラーム出力により図示しないセキュリティ会社等にアラーム信号を送るがセキュリティ会社等がアラーム出力をリセットするまでアラーム信号を送り続ける。NO、つまりフラグdが立てられていない場合はステップS50に進む。従って、透明カバー12に対し、一部分だけスプレー塗料を付着させる等の撮像妨害が行われたとき、コーティングエリア18の4個のエリア18a、18b、18c、18dと非コーティングエリア20a、20b、20c、20d間との時間的変化において、そのうちひとつの範囲でも撮像妨害があると判断された場合は、アラーム出力を行うことにより、撮像妨害検知度を向上させることができる。ステップS50ではCPU72内のカウンタ73によって所定時間カウントをし、カウントが終了すればカウンタをリセットし、再びステップS1に戻る。   In step S47, it is determined whether or not the flag d is set. If YES, that is, if the flag d is set, the process proceeds to step S49, where an alarm is output from the alarm output circuit 74, and the process proceeds to step S50. An alarm signal is sent to a security company (not shown) by the alarm output, but the alarm signal is continuously sent until the security company resets the alarm output. If NO, that is, if the flag d is not set, the process proceeds to step S50. Therefore, when the imaging obstruction such as the spray paint is applied to the transparent cover 12 only partially, the four areas 18a, 18b, 18c, 18d of the coating area 18 and the non-coating areas 20a, 20b, 20c, When it is determined that there is an imaging disturbance even in one of the time changes between 20d, an imaging output can be improved by performing an alarm output. In step S50, the counter 73 in the CPU 72 counts for a predetermined time. When the counting is completed, the counter is reset, and the process returns to step S1 again.

以上の説明から分かるように、透明カバー12に、カメラへ入力される被写体光を妨害する妨害物が付着しにくい少なくとも撥水または防水もしくは塗料をはじく作用を有する物質でコーティングされたコーティングエリア18と、妨害物が付着しにくく、カメラによる撮影に影響を受けない位置に非コーティングエリア20a、20b、20c、20dのように複数個設けているため、その透明カバー12に対しスプレー塗料等の被写体光を遮る妨害物を付着させる等の撮像妨害をされても、透明カバー12のコーティングエリア18には付着しないため、撮影を続けることができる。また、透明カバー12の非コーティングエリア20はスプレー塗料等が付着する。コーティングエリア18と非コーティングエリア20a、20d、20c、20dの情報の輝度データの時間的変化の関係、本実施例ではスプレー塗料等の被写体光を遮る妨害物が付着していないコーティングエリア18の情報と付着している非コーティングエリア20a、20b、20c、20dの情報を比較することにより撮像妨害を検知することができ、またその後の撮影に差支えがない。   As can be seen from the above description, the transparent cover 12 is coated with a coating area 18 coated with a substance having at least water repellency or waterproofing or a paint repelling function, which is difficult for obstructions to obstruct the subject light input to the camera. Since a plurality of non-coating areas 20a, 20b, 20c, and 20d are provided at positions where obstructions are difficult to adhere and are not affected by the shooting by the camera, subject light such as spray paint is applied to the transparent cover 12. Even if an imaging obstruction such as an obstructing object is attached, it does not adhere to the coating area 18 of the transparent cover 12, so that the photographing can be continued. In addition, spray paint or the like adheres to the non-coating area 20 of the transparent cover 12. Relationship between temporal changes in luminance data of information on the coating area 18 and the non-coating areas 20a, 20d, 20c, and 20d, information on the coating area 18 in which no obstruction obstructing subject light such as spray paint adheres in this embodiment. And the non-coating areas 20a, 20b, 20c, and 20d attached thereto can be detected, and imaging disturbance can be detected, and there is no problem in subsequent imaging.

本発明の輝度データ比較処理及びアラーム出力判断処理の一実施例について説明をしたが、次に図7を参照して輝度データ比較処理及びアラーム出力判断処理の他の実施例について説明する。   Although one embodiment of the luminance data comparison processing and alarm output determination processing of the present invention has been described, another embodiment of luminance data comparison processing and alarm output determination processing will now be described with reference to FIG.

なお、他の実施例の監視装置10の構成は、上記の実施例(図1〜図4)に記載されているものと同等であり、輝度データ比較処理および、アラーム出力判断処理が異なる。
具体的には、現在撮像モードによって撮像されたデジタル画像データのコーティングエリア18中の任意の4個のエリア18a、18b、18c、18dの4個の輝度データを全て加算して、加算された輝度データを領域分で除算した、つまり4で除算した平均値と非コーティングエリア20a、20b、20c、20dの4個の輝度データを全て加算して、加算された輝度データを4で除算したの平均値間の差データYav1と、前回撮像妨害と判断されなかったコーティングエリア18中の任意の4個のエリア18a、18b、18c、18dの4個の輝度データを全て加算して、加算された輝度データを4で除算した平均値と非コーティングエリア20a、20b、20c、20dの4個の輝度データを全て加算して、加算された輝度データを4で除算した平均値との差データYav2とを比較して、その変化量により撮像妨害を検知しアラームを出力する。
In addition, the structure of the monitoring apparatus 10 of another Example is equivalent to what is described in said Example (FIGS. 1-4), and a brightness | luminance data comparison process and an alarm output judgment process differ.
Specifically, all four luminance data of arbitrary four areas 18a, 18b, 18c, and 18d in the coating area 18 of the digital image data imaged in the current imaging mode are added, and the added luminance The average value obtained by dividing the data by the area, that is, the average value obtained by dividing by 4 and the four luminance data of the non-coating areas 20a, 20b, 20c, and 20d are all added, and the added luminance data is divided by 4. The difference data Yav1 between the values and the four luminance data of arbitrary four areas 18a, 18b, 18c, and 18d in the coating area 18 that was not determined to be the previous imaging disturbance are added together, and the added luminance The average value obtained by dividing the data by 4 and the four brightness data of the non-coating areas 20a, 20b, 20c, and 20d are all added, and the added brightness By comparing the difference data Yav2 between the average value obtained by dividing the over data at 4, and outputs an alarm detects imaging hampered by the amount of change.

つまり、図3および図4を参照して、CPU72は、抽出されたコーティングエリア18中のエリア18a、18b、18c、18dの4エリア内の全画素の輝度レベルを積分回路66に入力してデジタル積分し、同様に非コーティングエリア20a、20b、20c、20dの各々の輝度レベルを積分回路66に入力し、それぞれデジタル積分する。積分されたコーティングエリア18a、18b、18c、18dの輝度データを全て加算して、加算された輝度データを4で除算した平均値と、積分された非コーティングエリア20a、20b、20c、20dの輝度データを全て加算して、加算された輝度データを4で除算した平均値との比較を行い、輝度データの平均値の差データYav1を検出する。   That is, referring to FIGS. 3 and 4, the CPU 72 inputs the luminance levels of all the pixels in the four areas 18 a, 18 b, 18 c, and 18 d in the extracted coating area 18 to the integration circuit 66 and digitally inputs them. Similarly, the luminance levels of the non-coating areas 20a, 20b, 20c, and 20d are input to the integrating circuit 66 and digitally integrated. All the integrated luminance data of the coated areas 18a, 18b, 18c, 18d are added, the average value obtained by dividing the added luminance data by 4, and the integrated non-coated areas 20a, 20b, 20c, 20d. All the data are added and compared with the average value obtained by dividing the added luminance data by 4, and difference data Yav1 of the average value of the luminance data is detected.

次にSDRAM56に格納されている前回撮像妨害と判断されなかった輝度データの平均値の差データYav2と、今回の輝度データの平均値の差データYav1の比較を行う。SDRAM56内の領域Mには、前回撮像妨害と判断されなかった輝度データの平均値の差データが格納されている。領域Mに格納された前回撮像妨害と判断されなかった輝度データの平均値の差データと、今回の輝度データの平均値の差データの比較を行う。
そして、CPU72は輝度データの平均値の差データの比較によって撮像妨害と判断した場合、アラーム出力を行うようアラーム出力回路74を制御する。
Next, the difference data Yav2 of the average value of the luminance data that has not been determined to be the previous imaging disturbance stored in the SDRAM 56 and the difference data Yav1 of the average value of the current luminance data are compared. In the area M in the SDRAM 56, difference data of the average value of the luminance data that has not been determined to be the previous imaging disturbance is stored. The difference data of the average value of the luminance data that has not been determined to be the previous imaging disturbance stored in the area M is compared with the difference data of the average value of the current luminance data.
The CPU 72 controls the alarm output circuit 74 to output an alarm when it is determined that the image pickup is disturbed by comparing the difference data of the average value of the luminance data.

以下、輝度データの比較とアラーム出力判断について、図7を参照して説明する。図7は、コーティングエリア18中の4個のエリア18a、18b、18c、18dの輝度データの平均値と非コーティングエリア20a、20b、20c、20dの輝度データの平均値の差データYav1と、前回の輝度データの平均値の差データYav2との比較処理をし、アラーム出力を示すフロー図である。CPU72は輝度データ比較処理およびアラーム出力判断処理を実行する。   Hereinafter, luminance data comparison and alarm output determination will be described with reference to FIG. FIG. 7 shows difference data Yav1 between the average value of the luminance data of the four areas 18a, 18b, 18c and 18d in the coating area 18 and the average value of the luminance data of the non-coating areas 20a, 20b, 20c and 20d, and the previous time. It is a flowchart which shows the comparison process with difference data Yav2 of the average value of luminance data, and shows an alarm output. The CPU 72 executes luminance data comparison processing and alarm output determination processing.

図7を参照して、ステップS51において、CPU72は、ハードディスクレコーダ70内の領域A2からコーティングエリア18中の4個のエリア18a、18b、18c、18dのアドレスAd07、Ad12、Ad19、Ad24と、非コーティングエリア20a、20b、20c、20dのアドレスAd08、Ad11、Ad20、Ad23を取り出し、SDRAM56に格納されている現在撮像モードによって撮像されたデジタル画像データから、該当エリア内の全画素の輝度レベルを取り出す。具体的には、ステップS51aにおいて非コーティングエリア20aに対応するアドレスAd08をハードディスクレコーダ70内のメモリA2より取り出し、SDRAM56内に一時格納されている画像からエリア20a内の全画素の輝度レベルを取り出し、積分回路66に入力し、デジタル積分をし、輝度データを検出する。   Referring to FIG. 7, in step S51, the CPU 72 determines that the addresses Ad07, Ad12, Ad19, Ad24 in the four areas 18a, 18b, 18c, 18d in the coating area 18 from the area A2 in the hard disk recorder 70 are non- The addresses Ad08, Ad11, Ad20, and Ad23 of the coating areas 20a, 20b, 20c, and 20d are extracted, and the luminance levels of all the pixels in the corresponding area are extracted from the digital image data captured in the current imaging mode stored in the SDRAM 56. . Specifically, in step S51a, the address Ad08 corresponding to the non-coating area 20a is extracted from the memory A2 in the hard disk recorder 70, and the luminance levels of all the pixels in the area 20a are extracted from the image temporarily stored in the SDRAM 56. The signal is input to the integration circuit 66, digital integration is performed, and luminance data is detected.

同様に、ステップS51bでは、非コーティングエリア20bに対応するアドレスAd11を取り出し、エリア20b内の全画素の輝度レベルを取り出し、積分回路66に入力し、デジタル積分し、輝度データを検出する。ステップS51cでは、非コーティングエリア20cに対応するアドレスAd20を取り出し、エリア20c内の全画素の輝度レベルを取り出し、積分回路66に入力し、デジタル積分をし、輝度データを検出する。ステップS51dでは、非コーティングエリア20dに対応するアドレスAd23を取り出し、エリア20d内の全画素の輝度レベルを取り出し、積分回路66に入力し、デジタル積分をし、輝度データを検出する。ステップS51にて、各々の輝度データ検出が終わるとステップS53に進む。   Similarly, in step S51b, the address Ad11 corresponding to the non-coating area 20b is extracted, the luminance levels of all the pixels in the area 20b are extracted, input to the integrating circuit 66, digitally integrated, and luminance data is detected. In step S51c, the address Ad20 corresponding to the non-coating area 20c is extracted, the luminance levels of all the pixels in the area 20c are extracted, input to the integrating circuit 66, digitally integrated, and luminance data is detected. In step S51d, the address Ad23 corresponding to the non-coating area 20d is extracted, the luminance levels of all the pixels in the area 20d are extracted, input to the integrating circuit 66, digitally integrated, and the luminance data is detected. If each luminance data detection is completed in step S51, the process proceeds to step S53.

ステップS53では、CPU72は、コーティングエリア18中のエリア18a、18b、18c、18dの輝度データを全て加算して、加算された輝度データを4で除算した平均値および非コーティングエリア20a、20b、20c、20dの輝度データを全て加算して、加算された輝度データを4で除算した平均値を算出し、ステップS55に進む。   In step S53, the CPU 72 adds all the luminance data of the areas 18a, 18b, 18c, 18d in the coating area 18, and the average value obtained by dividing the added luminance data by 4 and the non-coating areas 20a, 20b, 20c. , 20d are all added, an average value obtained by dividing the added luminance data by 4 is calculated, and the process proceeds to step S55.

ステップS55では、CPU72はSDRAM領域Mに格納されている前回撮像妨害と判断されなかったコーティングエリア18a〜18dの輝度データの平均値と、非コーティングエリア20a〜20dの輝度データの平均値の差データYav2と、今回のコーティングエリア18a〜18dの輝度データの平均値と、非コーティングエリア20a〜20dの平均値の差データYav1の変化量を検出し、ステップS57に進む。   In step S55, the CPU 72 stores the difference data between the average value of the brightness data of the coating areas 18a to 18d stored in the SDRAM area M and not determined as the previous imaging disturbance and the average value of the brightness data of the non-coating areas 20a to 20d. The amount of change in difference data Yav1 between Yav2, the average value of the luminance data of the coating areas 18a to 18d and the average value of the non-coating areas 20a to 20d is detected, and the process proceeds to step S57.

ステップS57では、CPU72は、ステップS55において検出されたYav2とYav1間の変化量がハードディスクレコーダ内70に格納された所定値T以上であるか否かを判断する。   In step S57, the CPU 72 determines whether or not the amount of change between Yav2 and Yav1 detected in step S55 is equal to or greater than a predetermined value T stored in the hard disk recorder 70.

ステップS57においてYES、つまりYav2とYav1間の変化量が所定値T以上あればステップS59に進み、CPU72は、アラーム出力回路74からアラーム出力をする。アラーム出力により図示しないセキュリティ会社等にアラーム信号を送るが、セキュリティ会社等がアラーム出力をリセットするまでアラーム信号を送り続ける。ステップS57においてNO、つまりYav2とYav1の変化量が所定値T未満であればステップS61に進む。   If YES in step S57, that is, if the amount of change between Yav2 and Yav1 is equal to or greater than the predetermined value T, the process proceeds to step S59, and the CPU 72 outputs an alarm from the alarm output circuit 74. An alarm signal is sent to a security company (not shown) by the alarm output, but the alarm signal is continuously sent until the security company resets the alarm output. If NO in step S57, that is, if the amount of change between Yav2 and Yav1 is less than the predetermined value T, the process proceeds to step S61.

ステップS61では、SDRAM56内の領域Mに格納されている前回撮像妨害と判断されなかった平均値の差データYav2を、今回撮像妨害と判断されなかった平均値の差データYav1に置き換える。   In step S61, the average value difference data Yav2 that has not been determined to be the previous imaging disturbance stored in the area M in the SDRAM 56 is replaced with the average value difference data Yav1 that has not been determined to be the current imaging disturbance.

次にステップS63では、CPU72内のカウンタ73によって所定時間カウントされ、所定時間のカウントが終了したらカウンタをリセットし、再びステップS51に戻る。   In step S63, the counter 73 in the CPU 72 counts for a predetermined time. When the predetermined time is counted, the counter is reset, and the process returns to step S51 again.

なお、本実施例では、防汚コーティングを透明カバー12に施し、コーティングエリア18と非コーティングエリア20a、20b、20c、20dを設けているが、透明カバー12を設けず、直接カメラ部14のレンズ部16のレンズの表面に撥水または防水もしくは塗料をはじく作用をする様な防汚コーティングを施し、コーティングエリア18と複数個の非コーティングエリア20を設け撮像を行い、上記透明カバー12を設けたときと同様な撮像妨害処理を行うようにしてもよい。   In this embodiment, the antifouling coating is applied to the transparent cover 12, and the coating area 18 and the non-coating areas 20a, 20b, 20c, and 20d are provided. However, the transparent cover 12 is not provided, and the lens of the camera unit 14 is directly provided. The surface of the lens of the portion 16 is provided with an antifouling coating that acts to be water repellent, waterproof, or repels paint, and a coating area 18 and a plurality of non-coating areas 20 are provided for imaging, and the transparent cover 12 is provided. You may make it perform the imaging disturbance process similar to the time.

さらに、本実施例では、撮像妨害判断をする際にデジタルの輝度レベルを比較しているが、アナログの輝度レベルで比較してもよい。   Furthermore, in the present embodiment, the digital luminance level is compared when the imaging disturbance determination is made, but the comparison may be made with an analog luminance level.

また、本実施例では、撮像動作が行われたときに撮像データをデジタルでハードディスクレコーダ70に記録するようにしているが、アナログでVTR等に記録してもよい。   Further, in this embodiment, the imaging data is digitally recorded in the hard disk recorder 70 when the imaging operation is performed, but may be recorded in an analog VTR or the like.

また、処理部、記録部、アラーム処理部をカメラと一体に構成することも可能であることは言うまでもない。   Needless to say, the processing unit, the recording unit, and the alarm processing unit may be integrated with the camera.

本発明の一実施例である監視装置を示した構成図である。It is the block diagram which showed the monitoring apparatus which is one Example of this invention. 本発明の一実施例である監視装置の透明カバーの一例を示す図解図である。It is an illustration figure which shows an example of the transparent cover of the monitoring apparatus which is one Example of this invention. 本発明の一実施例である監視装置の撮像エリアの一例を示す図解図である。It is an illustration figure which shows an example of the imaging area of the monitoring apparatus which is one Example of this invention. 本発明の一実施例である図1実施例の構成を示すブロック図である。It is a block diagram which shows the structure of FIG. 1 Example which is one Example of this invention. 本発明の一実施例である図1実施例の動作の一部を示すフロー図である。It is a flowchart which shows a part of operation | movement of FIG. 1 Example which is one Example of this invention. 本発明の一実施例である図1実施例の動作のほかの一部を示すフロー図である。It is a flowchart which shows a part of other operation | movement of FIG. 1 Example which is one Example of this invention. 本発明の他の実施例の動作の一部を示すフロー図である。It is a flowchart which shows a part of operation | movement of the other Example of this invention.

符号の説明Explanation of symbols

10…監視装置
12…透明カバー
14…カメラ
16…レンズ部
18…コーティングエリア
20…非コーティングエリア
56…SDRAM
66…積分回路
72…CPU
73…カウンタ
DESCRIPTION OF SYMBOLS 10 ... Monitoring apparatus 12 ... Transparent cover 14 ... Camera 16 ... Lens part 18 ... Coating area 20 ... Non-coating area 56 ... SDRAM
66 ... Integral circuit 72 ... CPU
73 ... Counter

Claims (14)

カメラによる撮像に対し、妨害をされたことを検出する監視装置において、
カメラと、
前記カメラへ入力される被写体光を妨害する妨害物が付着しにくい第一のエリアとそうでない第二のエリアを設けたカバーと、
前記カバーを通して撮像された前記カメラからの画像のうち前記第一のエリアと前記第二のエリアからの情報の時間的変化の関係を比較して撮像妨害を検知する比較検知手段と
を備えたことを特徴とする監視装置。
In a monitoring device that detects that an image is captured by a camera,
A camera,
A cover provided with a first area where obstructions that obstruct the subject light input to the camera are less likely to adhere and a second area that is not,
Comparing and detecting means for detecting imaging disturbance by comparing a temporal change relationship of information from the first area and the second area among images from the camera imaged through the cover. A monitoring device characterized by.
前記第一のエリアとは、少なくとも撥水または防水もしくは塗料をはじく作用を有する物質がコーティングされたエリアであることを特徴とする請求項1記載の監視装置。 2. The monitoring apparatus according to claim 1, wherein the first area is an area coated with a substance having at least water repellency, water proofing, or a paint repelling action. 前記比較検知手段は、前記第一のエリアと前記第二のエリアからの情報である輝度レベルの時間的変化の関係を比較することにより撮像妨害を検知することを特徴とする請求項1至2記載の監視装置。 The comparison detection unit detects an imaging disturbance by comparing a temporal change relationship of a luminance level as information from the first area and the second area. The monitoring device described. 前記第二のエリアは、前記カバーに前記カメラによる被写体の撮影に影響を受けない位置に設けることを特徴とする請求項1至3記載の監視装置。 4. The monitoring apparatus according to claim 1, wherein the second area is provided on the cover at a position not affected by photographing of a subject by the camera. 前記第二のエリアは、前記カバーに複数個設けることを特徴とする請求項1至4の監視装置。 5. The monitoring apparatus according to claim 1, wherein a plurality of the second areas are provided on the cover. カメラによる撮像に対し、妨害をしたことを検出する監視装置において、
カメラと、
前記カメラへ入力される被写体光を妨害する妨害物が付着しにくい第一のエリアとそうでない第二のエリアを設けたレンズと、
前記レンズを通して撮像された前記カメラからの画像のうち前記第一のエリアと前記第二のエリアからの情報の時間的変化の関係を比較して撮像妨害を検知する比較検知手段と
を備えたことを特徴とする監視装置。
In a monitoring device that detects that the camera has interfered with imaging,
A camera,
A lens provided with a first area in which obstructions that obstruct subject light input to the camera are less likely to adhere, and a second area that is not,
Comparing and detecting means for detecting an imaging disturbance by comparing a temporal change relationship of information from the first area and the second area among images from the camera imaged through the lens A monitoring device characterized by.
前記第一のエリアとは、少なくとも撥水または防水もしくは塗料をはじく作用を有する物質がコーティングされたエリアであることを特徴とする請求項6記載の監視装置。 7. The monitoring apparatus according to claim 6, wherein the first area is an area coated with a substance having at least water repellency, waterproofing, or paint repelling action. 前記比較検知手段は、前記第一のエリアと前記第二のエリアからの情報である輝度レベルを比較することにより撮像妨害を検知することを特徴とする請求項6至7記載の監視装置。 The monitoring device according to claim 6, wherein the comparison detection unit detects an imaging disturbance by comparing luminance levels as information from the first area and the second area. 前記第二のエリアは、前記レンズに前記カメラによる撮影に影響を受けない位置に設けることを特徴とする請求項6至8記載の監視装置。 9. The monitoring device according to claim 6, wherein the second area is provided at a position where the lens is not affected by photographing by the camera. 前記第二のエリアは、前記レンズに複数個設けることを特徴とする請求項6至9の監視装置。 The monitoring device according to claim 6, wherein a plurality of the second areas are provided in the lens. カメラによる撮像に対し、妨害をされたことを検出する監視方法において、
カメラへ入力される被写体光を妨害する妨害物が付着しにくい第一のエリアとそうでない第二のエリアを設けたカバーもしくはレンズを通して撮像された該カメラからの画像のうち、前記第一のエリアと前記第二のエリアからの情報の時間的変化の関係を比較して撮像妨害を検知することを特徴とする監視方法。
In a monitoring method for detecting that an image is captured by a camera,
Of the images from the camera taken through a cover or lens provided with a first area where obstructions that obstruct subject light input to the camera are difficult to adhere and a second area that is not so, the first area And a temporal change of information from the second area are compared to detect an imaging disturbance.
カメラによる撮像に対し、妨害されたことを検出する監視方法において、
カメラへ入力される被写体光を妨害する妨害物が付着しにくい第一のエリアとそうでない第二のエリアを設けたカバーもしくはレンズを通して撮像された該カメラからの画像のうち、前記第一のエリアと前記第二のエリアからの情報である輝度レベルの時間的変化の関係を比較することにより撮像妨害を検知することを特徴とする監視方法。
In a monitoring method for detecting that an image is captured by a camera,
Of the images from the camera taken through a cover or lens provided with a first area where obstructions that obstruct subject light input to the camera are less likely to adhere and second areas that are not, the first area And an imaging disturbance is detected by comparing the relationship of temporal change in luminance level as information from the second area.
前記第二のエリアとは、少なくとも撥水又は防水もしくは塗料をはじく作用を有する物質がコーティングされたエリアであることを特徴とする請求項11至12記載の監視方法。 13. The monitoring method according to claim 11, wherein the second area is an area coated with a substance having at least a water repellent property, a waterproof property, or a paint repelling action. 前記第二のエリアは、前記カバーもしくはレンズに前記カメラによる被写体の映像に影響を受けない位置に設けることを特徴とする請求項11至13記載の監視方法。 The monitoring method according to claim 11, wherein the second area is provided at a position on the cover or the lens that is not affected by an image of a subject by the camera.
JP2004216821A 2004-07-26 2004-07-26 Monitoring device and monitoring method Expired - Fee Related JP4219307B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2004216821A JP4219307B2 (en) 2004-07-26 2004-07-26 Monitoring device and monitoring method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2004216821A JP4219307B2 (en) 2004-07-26 2004-07-26 Monitoring device and monitoring method

Publications (2)

Publication Number Publication Date
JP2006041779A true JP2006041779A (en) 2006-02-09
JP4219307B2 JP4219307B2 (en) 2009-02-04

Family

ID=35906319

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2004216821A Expired - Fee Related JP4219307B2 (en) 2004-07-26 2004-07-26 Monitoring device and monitoring method

Country Status (1)

Country Link
JP (1) JP4219307B2 (en)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010239275A (en) * 2009-03-30 2010-10-21 Oki Networks Co Ltd Monitoring apparatus
KR101074877B1 (en) * 2009-09-03 2011-10-19 김민수 CCTV camera with water repellency funtion
CN102379275A (en) * 2010-08-30 2012-03-21 席钰佳 Full-automatic grid tower bird expelling device

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010239275A (en) * 2009-03-30 2010-10-21 Oki Networks Co Ltd Monitoring apparatus
KR101074877B1 (en) * 2009-09-03 2011-10-19 김민수 CCTV camera with water repellency funtion
CN102379275A (en) * 2010-08-30 2012-03-21 席钰佳 Full-automatic grid tower bird expelling device

Also Published As

Publication number Publication date
JP4219307B2 (en) 2009-02-04

Similar Documents

Publication Publication Date Title
JP4803376B2 (en) Camera tampering detection method
US5731832A (en) Apparatus and method for detecting motion in a video signal
EP2076022B1 (en) Image capture device that records image accordant with predetermined condition and program
KR101486996B1 (en) Motion detecting device, motion detecting method, imaging device, and monitoring system
WO2012157486A1 (en) Display control device, method, and program
US8792681B2 (en) Imaging system and imaging method
JP2011130271A (en) Imaging device and video processing apparatus
JP2011130271A5 (en)
JP5045590B2 (en) Display device
KR100995949B1 (en) Image processing device, camera device and image processing method
WO2000054508A1 (en) Camera signal processing device and camera signal processing method
JPH0583712A (en) Picture processing system and monitor system
JP4219307B2 (en) Monitoring device and monitoring method
KR100763969B1 (en) Auto image pickup apparatus and computer-readable recording medium recorded with program for controlling the same
JP2004222200A (en) Method and device for detecting intruding object
KR100994418B1 (en) System For Processing Imaging For Detecting the Invasion Of Building and Method Thereof
JP2000285327A (en) Infrared monitoring device
KR101061868B1 (en) Monitoring system using dual surveillance camera
JP2001008193A (en) Image sensor
JP4825479B2 (en) Monitoring system and monitoring method
JP5313956B2 (en) Surveillance camera
JP2019012897A (en) Monitoring camera device
JP2019012896A (en) Monitoring camera device
JP3702520B2 (en) Video camera system and automatic tracking method thereof
CN108605089B (en) Monitoring camera and monitoring camera system provided with same

Legal Events

Date Code Title Description
RD01 Notification of change of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7421

Effective date: 20051226

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20070706

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20080710

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20080715

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20080916

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20081014

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20081111

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20111121

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20111121

Year of fee payment: 3

LAPS Cancellation because of no payment of annual fees