JP2003162724A - Image sensor - Google Patents
Image sensorInfo
- Publication number
- JP2003162724A JP2003162724A JP2001358084A JP2001358084A JP2003162724A JP 2003162724 A JP2003162724 A JP 2003162724A JP 2001358084 A JP2001358084 A JP 2001358084A JP 2001358084 A JP2001358084 A JP 2001358084A JP 2003162724 A JP2003162724 A JP 2003162724A
- Authority
- JP
- Japan
- Prior art keywords
- area
- image
- image sensor
- shadow
- change
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Landscapes
- Image Processing (AREA)
- Closed-Circuit Television Systems (AREA)
- Studio Devices (AREA)
- Image Analysis (AREA)
Abstract
Description
【０００１】[0001]
【発明の属する技術分野】本発明は、撮影した画像を解
析し、画像に現れる変化の要因を特定することにより、
移動体を検出する画像センサに関する。BACKGROUND OF THE INVENTION 1. Field of the Invention The present invention analyzes a photographed image and identifies a factor of change appearing in the image.
The present invention relates to an image sensor that detects a moving body.
【０００２】[0002]
【従来の技術】従来、監視カメラにて監視領域を撮影
し、画像中で変化した領域（変化領域）が人間の特徴を
示す領域であるか否かを分析し、監視領域内における侵
入者の有無を判定する画像センサが提案されている。こ
のような画像センサにおいて、監視領域内に外部から光
が差し込むと、光が映った部分が変化領域として検出さ
れることがある。この変化領域を人間によるものと判定
することを防止するため、光の入射により発生した変化
領域を光領域として判定できるようにした画像センサが
提案されている（特開２０００−３４１６７７）。2. Description of the Related Art Conventionally, a surveillance area is photographed by a surveillance camera, and it is analyzed whether or not the changed area (changed area) in the image is an area showing human characteristics, and an intruder in the surveillance area is detected. Image sensors for determining the presence / absence have been proposed. In such an image sensor, when light enters from the outside into the monitoring area, a portion where the light is reflected may be detected as a change area. In order to prevent such a change area from being determined by a human, an image sensor has been proposed in which the change area generated by the incidence of light can be determined as a light area (Japanese Patent Laid-Open No. 2000-341677).
【０００３】この画像センサにおいては、更に、外部に
いる人の影が光領域内に映った場合、影の移動に伴い変
化領域が移動をしたことを検出したときに、これを影に
よる変化領域として検出することが行われる。これによ
り、影による変化領域を人によるものと誤判定をするこ
とを防止している。また、画像中の変化領域について、
光、影、小動物などの外乱の特徴を示す領域であるかを
分析し、監視領域内における侵入者の有無の判定から外
乱による影響を排除する画像センサが提案されている
（特開２００１−２４３４７５）。Further, in this image sensor, when the shadow of a person outside is reflected in the light area, when it is detected that the change area moves due to the movement of the shadow, the change area caused by the shadow is detected. Is detected. This prevents erroneous determination that the change area due to the shadow is due to a person. In addition, regarding the change area in the image,
An image sensor has been proposed which analyzes whether a region showing the characteristics of disturbance such as light, shadow, or small animal, and excludes the influence of the disturbance from the determination of the presence or absence of an intruder in the monitoring area (Japanese Patent Laid-Open No. 2001-243475). ).
【０００４】これらの画像センサは、監視領域を撮影し
た画像であって、侵入者が写っていない画像、所定時間
前の画像、あるいはこれら複数の画像を合成した画像な
どを基準画像とする。この基準画像と同じ監視領域を撮
影した画像（現画像）とを比較し、画像中で変化があっ
た領域（変化領域）に対して種々の分析を行い、侵入者
の有無を検出している。Each of these image sensors is an image obtained by photographing a monitoring area, and an image in which an intruder is not photographed, an image before a predetermined time, or an image obtained by combining a plurality of these images is used as a reference image. This reference image is compared with an image (current image) obtained by photographing the same monitoring area, and various analysis is performed on a changed area (changed area) in the image to detect the presence or absence of an intruder. .
【０００５】上記画像センサにおける変化領域の分析方
法を説明すると次のとおりである。画像処理部で、変化
領域について画像情報から人間らしさを多値で示す人属
性情報と人間以外の要因らしさを多値で示す外乱属性情
報とを算出する。なお、外乱としては、光、影、又は猫
などの小動物に起因するものがある。判定部で、人属性
情報と外乱属性情報との比率に基づき人間の存在の有無
を判定する。判定部が人が存在すると判定した場合、出
力部は、警報装置やベルなどにより人を検知した旨を通
報する。このように人間と外乱との区別を行うことによ
り、人間の存在の検出を精度良く行うことができる。The method of analyzing the changed area in the image sensor will be described below. The image processing unit calculates, from the image information of the change region, human attribute information indicating multi-valued human-likeliness and disturbance attribute information indicating multi-valued human-likeness. Note that the disturbance may be caused by light, shadow, or a small animal such as a cat. The determination unit determines the presence or absence of a person based on the ratio between the person attribute information and the disturbance attribute information. When the determination unit determines that a person exists, the output unit notifies that the person is detected by an alarm device or a bell. By thus distinguishing the human from the disturbance, the presence of the human can be accurately detected.
【０００６】上記の各画像センサにおいては、変化領域
を整合化処理し、整合化された一塊の領域を同一原因に
よる変化、すなわち同一移動体と判断している。同一移
動体と認識された変化領域は分析の一単位とされ、変化
領域全体のエッジの変化、テクスチャの変化、輝度ヒス
トグラムの変化などの特徴量が算出される。そして、こ
れらの特徴量に基づいて、変化領域が人に起因する特徴
を有するのか、外乱に起因する特徴を有するのかを判断
していた。例えば、変化領域におけるテクスチャの変化
は、基準画像における変化領域に対する対応領域が異な
ると、変化領域におけるテクスチャの変化として現れる
特徴量も異なる。したがって、基準画像における対応領
域のテクスチャの変化により、分析のための判定ロジッ
クを選択しなければならない。In each of the above image sensors, the changed area is subjected to the matching processing, and the matched one lump area is judged to be a change due to the same cause, that is, the same moving body. The change area recognized as the same moving body is regarded as one unit of analysis, and the characteristic amount such as the change of the edge of the whole change area, the change of the texture, the change of the brightness histogram, etc. is calculated. Then, based on these feature amounts, it is determined whether the change region has a feature caused by a person or a disturbance. For example, regarding the change in texture in the change area, if the corresponding area to the change area in the reference image differs, the feature amount that appears as the change in texture in the change area also changes. Therefore, the decision logic for analysis must be selected according to the change in the texture of the corresponding area in the reference image.
【０００７】図を用いて基準画像のテクスチャの変化に
より判定ロジックを選択する理由を説明する。図１は、
太陽光が窓から入射している領域とその外の領域とで影
による変化を判定するロジックが異なることを説明する
ための図である。Ａ−１は基準画像を示す。ここには、
窓から太陽光が入射して床面１に映った領域（太陽光領
域２）があることを示す。Ａ−２は現画像を示す。ここ
には、窓の外を人が通ったことにより、太陽光領域２内
に人の影３が映っている状態を示す。Ａ−３は、基準画
像Ａ−１と現画像Ａ−２を比較した結果の変化領域４を
示す。The reason for selecting the determination logic based on the change in the texture of the reference image will be described with reference to the drawings. Figure 1
It is a figure for demonstrating that the logic which determines the change by a shadow differs with the area | region where the sunlight has entered from the window, and the area | region outside it. A-1 shows a reference image. here,
It shows that there is a region (sunlight region 2) in which the sunlight is incident from the window and reflected on the floor surface 1. A-2 shows the current image. Here, a state in which a person's shadow 3 is reflected in the sunlight region 2 due to a person passing through the outside of the window is shown. A-3 shows a change area 4 as a result of comparison between the reference image A-1 and the current image A-2.
【０００８】Ｂ−１は、太陽光領域がない監視領域を撮
影した基準画像を示す。Ｂ−２は現画像で、監視領域内
にいる人の影５が映っている状態を示す。Ｂ−３は、変
化領域６を示す。太陽光領域２内の影３は強い影である
ためテクスチャが保存されにくく（テクスチャが透けて
見えにくく）、また、変化領域４が太陽光領域２内から
出ないという性質がある。他方、太陽光領域の外の影５
は、淡い影であるためテクスチャが保存される（テクス
チャが透けて見える）という性質がある。Reference numeral B-1 indicates a reference image obtained by photographing a monitoring area having no sunlight area. B-2 is a current image, and shows a state in which a shadow 5 of a person in the monitoring area is reflected. B-3 indicates the change region 6. Since the shadow 3 in the sunlight region 2 is a strong shadow, the texture is difficult to be stored (the texture is difficult to see through), and the change region 4 does not come out of the sunlight region 2. On the other hand, shadows 5 outside the sunlight region
Has a property that the texture is preserved because it is a light shadow (the texture can be seen through).
【０００９】したがって、太陽光領域２内とそれ以外の
領域とでは、同じ影による変化を判定する場合であって
も、判定ロジックを変える必要がある。従来の画像セン
サにおいては、変化領域４、６が太陽光領域２内にある
かそれ以外の領域にあるかを判断してから、判定ロジッ
クの選択を行っていた。なお、判定ロジックの選択は、
テクスチャの変化だけでなく、エッジの変化、輝度レベ
ルの変化によっても行われる。Therefore, it is necessary to change the determination logic in the sunlight region 2 and in the other regions even if the change due to the same shadow is determined. In the conventional image sensor, the determination logic is selected after determining whether the change regions 4 and 6 are in the sunlight region 2 or in other regions. The selection of the judgment logic is
Not only the change of texture but also the change of edge and the change of brightness level.
【００１０】[0010]
【発明が解決しようとする課題】しかしながら、変化領
域全体についてエッジの変化、テクスチャの変化、輝度
ヒストグラムの変化などの特徴量を算出して、これらの
特徴量に基づいて、変化領域が人に起因する特徴を有す
るのか、あるいは外乱に起因する特徴を有するのかを判
断するだけでは、以下に示すような新たな問題が発生す
ることが判明した。However, the characteristic amount such as the edge change, the texture change, and the luminance histogram change is calculated for the entire change region, and the change region is caused by the person based on these feature amounts. It has been found that the following new problems occur only by determining whether or not there is a characteristic that is present or a characteristic that is caused by disturbance.
【００１１】この点について図２を用いて説明する。図
２のＣ−１は基準画像で、太陽光が窓から差し込んで、
太陽光領域２が床面１にできたことを示している。Ｃ−
２は現画像で、窓の外を通る人の影９が太陽光領域２内
に映っている。このような状況では、影９が接する太陽
光領域２の縁１０に接して、太陽光領域２の外側に淡い
影（はみ出し影）８が出現することがある。Ｃ−３は変
化領域を示し、二つの影８、９は一塊の変化領域７とし
て検出されている。This point will be described with reference to FIG. C-1 of FIG. 2 is a reference image, in which sunlight is inserted through the window,
This shows that the sunlight region 2 is formed on the floor surface 1. C-
Reference numeral 2 is a current image, and a shadow 9 of a person passing through the window is reflected in the sunlight region 2. In such a situation, a light shadow (protruding shadow) 8 may appear outside the sunlight region 2 in contact with the edge 10 of the sunlight region 2 with which the shadow 9 is in contact. C-3 indicates a change area, and the two shadows 8 and 9 are detected as a single change area 7.
【００１２】変化領域７が人に起因するものか影などの
外乱に起因するものかが判定される場合、変化領域７に
おける二つの影８と９が占める割合の差が大きければ、
大きいほうの特徴量に基づいて強い影又は淡い影と判定
することができる。つまり、判定ロジック使用時におけ
る小さい方の特徴量による全体の特徴量への影響は少な
い。しかし、二つの影８と９が占める割合の差が小さい
場合は、相互の特徴量への影響が大きくなり、適切な判
定結果が得られない場合が生じる。その結果、変化領域
が影領域であるにもかかわらず、強い影領域でも淡い影
領域でもないと判定されることがある。これにより、画
像センサが誤報又は失報をすることがある。When it is determined whether the change area 7 is caused by a person or a disturbance such as a shadow, if the difference between the proportions of the two shadows 8 and 9 in the change area 7 is large,
A strong shadow or a light shadow can be determined based on the larger feature amount. That is, the influence of the smaller feature amount on the entire feature amount when using the determination logic is small. However, when the difference in the proportion occupied by the two shadows 8 and 9 is small, the mutual influence on the feature amount becomes large, and an appropriate determination result may not be obtained. As a result, it may be determined that the change area is neither a strong shadow area nor a light shadow area, although the change area is a shadow area. As a result, the image sensor may give a false alarm or a false alarm.
【００１３】このような現象は、基準画像の領域ごとに
異なった特性の差（輝度の差、エッジの差、テクスチャ
の差など）があり、この特性の差が移動体検出の判定に
使用する特徴量に影響を及ぼすことに起因するものであ
る。したがって、同様な状態は太陽光領域に限らず発生
する。例えば、監視領域にテクスチャの強い領域と弱い
領域が並存する場合などにおいても生じる。Such a phenomenon has different characteristic differences (brightness difference, edge difference, texture difference, etc.) depending on the regions of the reference image, and this characteristic difference is used for the determination of the moving object detection. This is because it affects the feature amount. Therefore, a similar state occurs not only in the sunlight region. For example, this also occurs when a strong texture area and a weak texture area coexist in the monitoring area.
【００１４】図３は、監視領域の背景のテクスチャが領
域ごとに変化する例を示す。Ｄ−１は基準画像で、背景
となる壁面１１にはテクスチャが少なく、床面１にはテ
クスチャが多いことを示している。Ｄ−２は現画像で、
人１２が映っており、上半身は壁面１１を背景とし、下
半身は床面１を背景としている。Ｄ−３は変化領域１３
を示し、その上半分には壁面１１のテクスチャによる人
の画像が持つテクスチャへの影響があまり出ておらず、
下半分は床面１のテクスチャによる人の画像が持つテク
スチャへの影響が多く出ている。FIG. 3 shows an example in which the background texture of the monitoring area changes from area to area. D-1 is a reference image, which shows that the background wall surface 11 has less texture and the floor surface 1 has more texture. D-2 is the current image,
A person 12 is shown, and the upper half of the body is in the background of the wall surface 11 and the lower half of the body is in the background of the floor 1. D-3 is change area 13
In the upper half, the texture of the wall surface 11 has little effect on the texture of the human image,
In the lower half, the texture of the floor 1 has a large influence on the texture of the human image.
【００１５】人属性情報について判定をするときは、基
準画像との正規化相関が低い（以下「Ｆ１」とす
る。）、エッジ消去度が高い（Ｆ２）、エッジ増加度が
高い（Ｆ３）という判定ロジックが用いられる。これら
の特徴は背景画像のテクスチャの度合いによって信頼性
が変化する。この判定ロジックを図３の例に適用する場
合、変化領域１３の上半分においては、Ｆ１、Ｆ２を用
いた判定は信頼性が低く、Ｆ３を用いた判定は信頼性が
高くなる。逆に、下半分においては、Ｆ１、Ｆ２を用い
た判定は信頼性が高く、Ｆ３を用いた判定は信頼性が低
くなる。When the person attribute information is determined, the normalized correlation with the reference image is low (hereinafter referred to as "F1"), the edge erasing degree is high (F2), and the edge increase degree is high (F3). Decision logic is used. The reliability of these features changes depending on the degree of texture of the background image. When this determination logic is applied to the example of FIG. 3, in the upper half of the change region 13, the determination using F1 and F2 has low reliability, and the determination using F3 has high reliability. On the contrary, in the lower half, the determination using F1 and F2 has high reliability, and the determination using F3 has low reliability.
【００１６】したがって、図３に示した例においても、
一つの判定ロジックを用いただけでは変化領域１３を人
１２によるものと判定せずに、外乱によるものと判定す
ることが発生し得る。なお、図２及び３を用いて説明し
た例では、基準画像にテクスチャが異なる領域がある場
合の誤判定について説明をしたが、基準画像にエッジ、
輝度レベルが異なる領域がある場合も同様に誤判定が発
生する。Therefore, even in the example shown in FIG.
It may occur that the change region 13 is not determined to be due to the person 12 but to be due to disturbance only by using one determination logic. In the example described with reference to FIGS. 2 and 3, the erroneous determination when the reference image has regions having different textures is described.
If there are areas with different brightness levels, erroneous determination occurs similarly.
【００１７】本発明は、基準画像において特性の異なる
領域がある場合でも、変化領域に対して適切な特徴量の
算出を可能とし、確実に移動体を検出できる画像センサ
の実現を目的とするものである。It is an object of the present invention to realize an image sensor capable of reliably detecting a moving object, even if there are regions having different characteristics in the reference image, which makes it possible to calculate an appropriate feature amount for the changed region. Is.
【００１８】[0018]
【課題を解決するための手段】本願発明は上記目的を達
成するためになされたものである。本発明の画像センサ
は、入力された画像から移動体を検出する画像センサで
あって、撮影された監視画像を取得する入力手段と、基
準画像と前記監視画像とを比較し、画像中の変化領域を
抽出する変化領域抽出手段と、前記変化領域を基準画像
の領域特性に基づいて分割する分割手段と、前記変化領
域の分割された領域ごとに移動体としての特徴量を算出
する特徴量算出手段と、前記分割された領域ごとの特徴
量から前記変化領域全体について移動体判定を行う統合
判定手段とを具備する。The present invention has been made to achieve the above object. The image sensor of the present invention is an image sensor that detects a moving body from an input image, and compares an input unit that acquires a captured monitoring image with a reference image and the monitoring image, and changes in the image. Changing area extracting means for extracting an area, dividing means for dividing the changing area based on area characteristics of a reference image, and characteristic amount calculation for calculating a characteristic amount as a moving body for each divided area of the changing area Means, and integrated determination means for performing moving body determination for the entire changed area from the feature amount for each of the divided areas.
【００１９】本発明の画像センサによれば、変化領域を
基準画像の領域特性に基づいて分割し、分割領域ごとの
特徴量について分析を行い、この分析結果から変化領域
全体について移動体判定を行う。これにより、異なる特
徴量を有する領域が整合化された一つの変化領域として
検出された場合であっても、適切な判定結果を得ること
ができる。According to the image sensor of the present invention, the changing area is divided based on the area characteristics of the reference image, the feature amount for each divided area is analyzed, and the moving object is determined for the entire changing area based on the analysis result. . This makes it possible to obtain an appropriate determination result even when areas having different feature amounts are detected as one matched changed area.
【００２０】[0020]
【発明の実施の形態】本発明の実施形態について図を用
いて説明する。図４は画像センサの構成を示す。画像セ
ンサ２１は、監視領域を撮影する撮像部２２、取得した
画像情報を画像処理して人属性情報と外乱属性情報を算
出する画像処理部２３、人属性情報と外乱属性情報から
人間の存在の有無を判定する判定部２４、判定結果を外
部に対して出力する出力部２５から構成される。DETAILED DESCRIPTION OF THE INVENTION An embodiment of the present invention will be described with reference to the drawings. FIG. 4 shows the configuration of the image sensor. The image sensor 21 includes an image capturing unit 22 that captures a surveillance area, an image processing unit 23 that performs image processing on the acquired image information to calculate human attribute information and disturbance attribute information, and the presence of a human from the human attribute information and disturbance attribute information. It is composed of a determination unit 24 for determining the presence or absence and an output unit 25 for outputting the determination result to the outside.
【００２１】撮像部２２は、光学系、ＣＣＤ素子又はＣ
−ＭＯＳ素子などの素子から構成され、監視領域を撮影
した撮像データをＡ／Ｄ変換したディジタル画像を画像
処理部２３に出力する。画像処理部２３は、撮像部２２
から取得した画像情報を処理し、特徴量の抽出、各属性
の算出などを行う。画像処理部２３のハード構成は、画
像処理用のＩＣチップや画像用のメモリなど一般に使用
されるものが用いられるが、本発明の本質でないので、
詳細は省略する。The image pickup section 22 is an optical system, a CCD element or a C
It is composed of elements such as a MOS element, and outputs to the image processing section 23 a digital image obtained by A / D converting the imaged data of the monitoring area. The image processing unit 23 includes the image capturing unit 22.
The image information acquired from is processed, and the feature amount is extracted and each attribute is calculated. As the hardware configuration of the image processing unit 23, a commonly used one such as an IC chip for image processing or an image memory is used, but it is not the essence of the present invention.
Details are omitted.
【００２２】画像処理部２３は、人属性算出部２６と外
乱属性算出部２７から構成される。さらに、外乱属性算
出部２７は、光属性算出部２８、影属性算出部２９、小
動物属性算出部３０から構成される。判定部２４は、人
属性情報と外乱属性情報との比率に基づいて、人間の存
在の有無を判定する。判定のアルゴリズムについては後
述する。出力部２５は、判定部２４の判定結果に応じ
て、警報装置やベルなどにより、人を検知した旨を通報
する。The image processing section 23 is composed of a person attribute calculating section 26 and a disturbance attribute calculating section 27. Further, the disturbance attribute calculation unit 27 includes a light attribute calculation unit 28, a shadow attribute calculation unit 29, and a small animal attribute calculation unit 30. The determination unit 24 determines the presence or absence of a person based on the ratio between the person attribute information and the disturbance attribute information. The determination algorithm will be described later. The output unit 25 notifies that a person is detected by an alarm device, a bell, or the like according to the determination result of the determination unit 24.
【００２３】以下、人属性算出部２６と外乱属性算出部
２７の動作を説明する。なお、外乱属性算出部２７に関
しては、影属性算出部２９についてのみ説明する。その
外の光属性算出部２８、小動物属性算出部３０も同様な
処理を行うものである。また、各属性算出部２６、２８
〜３０は、以下に説明する処理を実行するだけでなく外
の算出方法、例えば特開２００１−２４３４７５に開示
された算出方法を併用することも可能である。The operations of the human attribute calculator 26 and the disturbance attribute calculator 27 will be described below. Regarding the disturbance attribute calculation unit 27, only the shadow attribute calculation unit 29 will be described. The light attribute calculation unit 28 and the small animal attribute calculation unit 30 other than that perform the same processing. In addition, each attribute calculation unit 26, 28
In addition to executing the processing described below, it is possible to use other calculation methods in combination with other calculation methods, for example, the calculation method disclosed in Japanese Patent Laid-Open No. 2001-243475.
【００２４】図５のフローチャートを用いて影属性算出
部２９における算出処理を説明する。本処理は、図２に
示した影の分析に適しているので、図２を参照しながら
説明をする。ステップＳ１で、変化領域７を、太陽光領
域２と重なる領域Ａ（影９）と重ならない領域Ｂ（影
８）に分割する。Calculation processing in the shadow attribute calculation unit 29 will be described with reference to the flowchart of FIG. Since this processing is suitable for the shadow analysis shown in FIG. 2, it will be described with reference to FIG. In step S1, the changing area 7 is divided into an area A (shadow 9) overlapping the sunlight area 2 and an area B (shadow 8) not overlapping.
【００２５】なお、太陽光領域２の決定方法は、基準画
像上で絶対輝度又は相対輝度が所定値を超える画素によ
る領域を太陽光領域２とすることにより行われる。ここ
で、絶対輝度とは、シャッタスピード、ＡＧＣゲイン値
などの画像制御量から、画像上の輝度値を監視領域にお
ける実際の輝度に変換したものである。相対輝度とは、
基準画像上の輝度値をそのまま採用したものである。絶
対輝度を採用する方法によれば正確な結果が得られ、相
対輝度を採用する方法によれば処理を簡単にすることが
できる。The method for determining the sunlight region 2 is performed by setting the region of pixels on the reference image whose absolute luminance or relative luminance exceeds a predetermined value as the sunlight region 2. Here, the absolute brightness is a value obtained by converting the brightness value on the image into the actual brightness in the monitoring area from the image control amount such as the shutter speed and the AGC gain value. What is relative brightness?
The brightness value on the reference image is directly adopted. An accurate result can be obtained by the method using the absolute luminance, and the processing can be simplified by the method using the relative luminance.
【００２６】ステップＳ２で、領域Ａと領域Ｂのそれぞ
れの面積が共に特徴量として使用するために必要な画素
数として２０画素以上であるか否かが判定される。ここ
でＹＥＳ（領域Ａ、Ｂが共に２０画素以上）であれば、
変化領域７が太陽光領域２とその他の領域にまたがって
いると判定してステップＳ３へ進み、ＮＯ（領域Ａ、Ｂ
の一方又は両方が小さい。）であれば、変化領域７が太
陽光領域２とその他の領域にまたがっていないと判定し
てステップＳ１１へ進む。In step S2, it is determined whether or not the area of each of the areas A and B is 20 pixels or more as the number of pixels required to be used as a feature amount. Here, if YES (both areas A and B are 20 pixels or more),
It is determined that the change area 7 extends over the sunlight area 2 and other areas, and the process proceeds to step S3, and NO (areas A, B
One or both is small. ), It is determined that the change area 7 does not extend over the sunlight area 2 and other areas, and the process proceeds to step S11.
【００２７】ステップＳ３で、領域Ａ（太陽光領域２と
重なる領域）において、強い影の特徴を有する度合い
（０〜１の値）を計算する。例えば、背景画像における
テクスチャとの類似度により強い影か否かを判定する。
領域Ａが強い影によるものであれば背景画像のテクスチ
ャは検出されず、変化領域の輪郭線以外にエッジは検出
されない。図２の例であれば、影９が強い影の特徴を有
する度合いは高いものとなる。In step S3, a degree (value of 0 to 1) having a strong shadow feature in the area A (area overlapping the sunlight area 2) is calculated. For example, it is determined whether or not the shadow is strong based on the degree of similarity with the texture in the background image.
If the area A has a strong shadow, the texture of the background image is not detected, and no edge is detected other than the outline of the changed area. In the example of FIG. 2, the degree of the shadow 9 having a strong shadow characteristic is high.
【００２８】ステップＳ４で、領域Ｂ（太陽光領域２と
重ならない領域）において、淡い影の特徴を有する度合
い（０〜１の値）を計算する。領域Ｂが淡い影によるも
のであれば背景画面におけるテクスチャが保存される。
図２の例であれば、影８が淡い影の特徴を有する度合い
は高いものとなる。ステップＳ５で、領域Ａでは強い影
の特徴をもち、領域Ｂでは淡い影の特徴をもつ度合いを
混合影領域度として計算する。例えば、混合影領域度＝
（領域Ａの強い影の特徴を有する度合い）×（領域Ｂの
淡い影の特徴を有する度合い）で計算する。ステップＳ
６で、計算した混合影領域度を影属性度として記憶す
る。その後、ステップＳ７へ進む。In step S4, the degree (value of 0 to 1) having the characteristic of a light shadow in the area B (area not overlapping the sunlight area 2) is calculated. If the region B has a light shadow, the texture on the background screen is saved.
In the case of the example in FIG. 2, the degree that the shadow 8 has the characteristic of a light shadow is high. In step S5, the degree of having a strong shadow feature in the area A and the light shadow feature in the area B is calculated as a mixed shadow area degree. For example, mixed shadow area degree =
Calculation is performed by (degree of having strong shadow feature of area A) × (degree of having light shadow feature of area B). Step S
In step 6, the calculated mixed shadow area degree is stored as a shadow attribute degree. Then, it progresses to step S7.
【００２９】ステップＳ２でＮＯ（はみ出し影なし）の
とき、ステップＳ１１で、変化領域全体について強い影
の特徴を有する度合い（強い影特徴度、０〜１の値）を
計算する。ここでの計算方法はステップＳ３と同様であ
る。ステップＳ１２で、変化領域全体について淡い影の
特徴を有する度合い（淡い影特徴度、０〜１の値）を計
算する。ここでの計算方法はステップＳ４と同様であ
る。If NO in step S2 (no protruding shadow), the degree of having a strong shadow feature (strong shadow feature degree, a value of 0 to 1) is calculated in the entire change region in step S11. The calculation method here is the same as that in step S3. In step S12, the degree of having the characteristic of a light shadow (light shadow feature degree, a value of 0 to 1) is calculated for the entire change region. The calculation method here is the same as that in step S4.
【００３０】ステップＳ１３で、淡い影特徴度と強い影
特徴度の値から影属性度の値を決定する。例えば、淡い
影特徴度と強い影特徴度の内の最大値を影属性度の値と
して採用する。変化領域が強い影によるものであれば、
ステップＳ１１で計算された度合いが高いものとなる。
変化領域７が淡い影によるものであれば、ステップＳ１
２で計算された度合いが高いものとなる。その後、ステ
ップＳ７へ進む。In step S13, the value of the shadow attribute value is determined from the values of the light shadow feature value and the strong shadow feature value. For example, the maximum value of the light shadow feature level and the strong shadow feature level is adopted as the value of the shadow attribute level. If the change area is due to a strong shadow,
The degree calculated in step S11 is high.
If the change area 7 is caused by a light shadow, step S1
The degree calculated in 2 is high. Then, it progresses to step S7.
【００３１】ステップＳ７で、ステップＳ６又はステッ
プＳ１３で計算した影属性度を記憶する。以上の処理と
同様の処理が光属性算出部２８及び小動物属性算出部３
０においても行われ、それぞれ光属性度、小動物属性度
を記憶する。In step S7, the shadow attribute degree calculated in step S6 or step S13 is stored. The same processing as the above processing is performed by the light attribute calculation unit 28 and the small animal attribute calculation unit 3.
This is also performed at 0, and the light attribute degree and the small animal attribute degree are stored respectively.
【００３２】図６のフローチャートを用いて人属性算出
部２６における人属性算出処理を説明する。本処理は、
図３に示した人の分析に適しているので、図３を参照し
ながら説明をする。人の領域らしい特徴としては、図３
の説明で述べたように、基準画像との正規化相関が低い
（Ｆ１）、エッジ消去度が高い（Ｆ２）、エッジ増加度
が高い（Ｆ３）がある。The person attribute calculating process in the person attribute calculating unit 26 will be described with reference to the flowchart of FIG. This process is
Since it is suitable for the person analysis shown in FIG. 3, the description will be given with reference to FIG. Figure 3
As described above, there are low normalized correlation with the reference image (F1), high edge erasing degree (F2), and high edge increasing degree (F3).
【００３３】ステップＳ２１で、変化領域１３を、テク
スチャ領域（床面１）と重なる領域Ａと、そうでない領
域（壁面１１）と重なる領域Ｂとに分割する。ここで、
テクスチャ領域の作成方法を説明する。基準画像（Ｄ−
１）を小領域にブロック分割（例、３×４に分割）し
て、平均エッジ量が多い、又は、分散値が高いなどと判
定された分割領域をテクスチャのある分割領域とする。In step S21, the changing area 13 is divided into an area A overlapping the texture area (floor surface 1) and an area B overlapping the other area (wall surface 11). here,
A method of creating a texture area will be described. Reference image (D-
1) is block-divided into small areas (eg, divided into 3 × 4), and the divided areas determined to have a large average edge amount or a high variance value are set as textured divided areas.
【００３４】ステップＳ２２で、領域Ａについて、Ｆ１
とＦ２の特徴量の重みを高くした人の領域らしさＨA を
計算する。例えば、
ＨA＝α1×Ｆ1の度合い＋α2×Ｆ2の度合い＋α3×Ｆ3
の度合い
ただし、重み係数をαは、α1＞α2＞α3で、α1＋α2
＋α3＝１の関係にある。ステップＳ２３で、領域Ｂに
ついて、Ｆ３の特徴量の重みを高くした人の領域らしさ
ＨB を計算する。
ＨB＝α4×Ｆ1の度合い＋α5×Ｆ2の度合い＋α6×Ｆ3
の度合い
ただし、重み係数をαは、α4＜α5＜α6で、α4＋α5
＋α6＝１の関係にある。In step S22, for area A, F1
Of the human region with higher weight of the feature amount of F and F2A To
calculate. For example,
HA= Α1× F1Degree + α2× F2Degree + α3× F3
Degree of
However, the weighting factor α is α1> Α2> Α3And α1+ Α2
+ Α3= 1. In step S23, in area B
As for the area of a person who has increased the weight of the F3 feature quantity
HB To calculate.
HB= ΑFour× F1Degree + αFive× F2Degree + α6× F3
Degree of
However, the weighting factor α is αFour<ΑFive<Α6And αFour+ ΑFive
+ Α6= 1.
【００３５】ステップＳ２４で、領域Ａと領域Ｂにおけ
るそれぞれの人の領域らしさから、変化領域１３全体の
人の領域らしさを計算する。例えば、変化領域１３全体
における領域Ａの比率ＳA （０〜１の値）と領域Ｂの比
率ＳB （０〜１の値）を求め（ＳA＋ＳB＝１であ
る。）、変化領域１３全体の人の領域らしさＨALLを、
ＨALL＝ＳA×ＨA＋ＳB×ＨBで計算する。ステップＳ２
５でＨALLを記憶する。In step S24, the person-likeness of the entire change area 13 is calculated from the person-likeness of each of the areas A and B. For example, the ratio S A of the region A (value of 0 to 1) and the ratio S B of the region B (value of 0 to 1) in the entire change region 13 are obtained (S A + S B = 1), and the change region is obtained. 13 area likelihood H ALL of the whole person,
Calculate with H ALL = S A × H A + S B × H B. Step S2
Memorize H ALL with 5.
【００３６】判定部２４は、人属性算出部２６に記憶し
てある人属性情報と、光属性算出部２８、影属性算出部
２９、小動物属性算出度３０に記憶してある光属性情
報、影属性情報、出力動物属性情報との比率に基づき、
変化領域１３が人によるものかその外の外乱によるもの
かを判定し、人の存在の有無を判定する。判定部２４に
おいて人が存在すると判定すると、出力部２５は警報装
置やベルなどにより人を検知した旨を通報する。The determination unit 24 includes the human attribute information stored in the human attribute calculation unit 26, the light attribute information stored in the light attribute calculation unit 28, the shadow attribute calculation unit 29, and the small animal attribute calculation degree 30, and the shadow. Based on the ratio of attribute information and output animal attribute information,
It is determined whether the change area 13 is caused by a person or an external disturbance, and it is determined whether or not a person is present. When the determination unit 24 determines that a person exists, the output unit 25 notifies that the person is detected by an alarm device, a bell, or the like.
【００３７】[0037]
【発明の効果】本発明によれば、変化領域が特性の異な
る領域を有する場合に、分割領域ごとに特徴量の算出を
するので、変化領域が人によるものか、外乱によるもの
かを正確に判定することができる。According to the present invention, when the change area has areas having different characteristics, the feature amount is calculated for each divided area. Therefore, it is possible to accurately determine whether the change area is caused by a person or a disturbance. Can be determined.
【図１】異なる影の特性を説明する図である。FIG. 1 is a diagram illustrating characteristics of different shadows.
【図２】異なる影の特性を示す変化領域を説明する図で
ある。FIG. 2 is a diagram illustrating a change area having different shadow characteristics.
【図３】異なる背景を含む変化領域を説明する図であ
る。FIG. 3 is a diagram illustrating a change area including a different background.
【図４】本発明の画像センサの回路構成を示す図であ
る。FIG. 4 is a diagram showing a circuit configuration of an image sensor of the present invention.
【図５】図４の画像センサにおける影属性算出処理を示
すフローチャートである。5 is a flowchart showing a shadow attribute calculation process in the image sensor of FIG.
【図６】図４の画像センサにおける人属性算出処理を示
すフローチャートである。6 is a flowchart showing a human attribute calculation process in the image sensor of FIG.
１…床面 ２…太陽光領域 ３…影 ４…変化領域 ５…影 ６…変化領域 ７…変化領域 ８…影 ９…影 １０…縁 １１…壁面 １２…人 １３…変化領域 ２１…画像センサ ２２…撮像部 ２３…画像処理部 ２４…判定部 ２５…出力部 ２６…人属性算出部 ２７…外乱属性算出部 ２８…光属性算出部 ２９…影属性算出部 ３０…小動物属性算出部 1 ... Floor 2 ... sunlight area 3 ... Shadow 4 ... Area of change 5 ... Shadow 6 ... Change area 7 ... Change area 8 ... Shadow 9 ... Shadow 10 ... Edge 11 ... Wall surface 12 ... people 13 ... Area of change 21 ... Image sensor 22 ... Imaging unit 23 ... Image processing unit 24 ... Judgment unit 25 ... Output section 26 ... Human Attribute Calculation Unit 27 ... Disturbance attribute calculator 28 ... Light attribute calculator 29 ... Shadow attribute calculation unit 30 ... Small Animal Attribute Calculation Unit
───────────────────────────────────────────────────── フロントページの続き Ｆターム(参考） 5B057 AA19 BA02 DA11 DA15 DB02 DB09 DC04 DC16 5C022 AA01 AA05 AC18 AC42 AC69 5C054 AA01 CA04 CG06 CH01 EA01 ED07 ED11 FC01 FC12 FF06 GD05 HA18 HA19 5L096 AA06 BA02 DA03 FA06 FA46 FA59 GA19 HA01 ─────────────────────────────────────────────────── ─── Continued front page F term (reference) 5B057 AA19 BA02 DA11 DA15 DB02 DB09 DC04 DC16 5C022 AA01 AA05 AC18 AC42 AC69 5C054 AA01 CA04 CG06 CH01 EA01 ED07 ED11 FC01 FC12 FF06 GD05 HA18 HA19 5L096 AA06 BA02 DA03 FA06 FA46 FA59 GA19 HA01
Claims (9)
像センサであって、 撮影された監視画像を取得する入力手段と、 基準画像と前記監視画像とを比較し、画像中の変化領域
を抽出する変化領域抽出手段と、 前記変化領域を前記基準画像の領域特性に基づいて分割
する分割手段と、 前記変化領域の分割された領域ごとに、移動体としての
特徴量を算出する特徴量算出手段と、 前記分割された領域ごとの特徴量から前記変化領域全体
について移動体判定を行う統合判定手段と、 を具備することを特徴とした画像センサ。1. An image sensor for detecting a moving object from an input image, wherein an input means for acquiring a captured monitoring image and a reference image are compared with the monitoring image to detect a change area in the image. Change area extracting means for extracting, dividing means for dividing the change area based on area characteristics of the reference image, and feature amount calculation for calculating a feature quantity as a moving body for each of the divided areas of the change area An image sensor comprising: a unit; and an integrated determination unit that determines a moving object for the entire changed region based on the feature amount of each of the divided regions.
１に記載の画像センサ。2. The image sensor according to claim 1, wherein the area characteristic is a brightness level.
１に記載の画像センサ。3. The image sensor according to claim 1, wherein the area characteristic is a texture.
との組合せである請求項１に記載の画像センサ。4. The image sensor according to claim 1, wherein the area characteristic is a combination of a brightness level and a texture.
て領域分割する根拠とした前記領域特性に応じて、算出
する特徴量を選択する請求項１〜４のいずれか１項に記
載された画像センサ。5. The feature amount calculating means is described in claim 1, wherein the feature amount calculating means selects a feature amount to be calculated in accordance with the area characteristic used as a basis for dividing the area by the dividing means. Image sensor.
記載の画像センサ。6. The image sensor according to claim 5, wherein the feature amount is a shadow attribute.
て分割する根拠とした前記領域特性に応じて算出する特
徴量に重み付けを行う請求項１〜４のいずれか１項に記
載された画像センサ。7. The feature quantity calculation means weights the feature quantity calculated according to the area characteristic used as the basis for division by the division means, according to any one of claims 1 to 4. Image sensor.
ある請求項７に記載の画像センサ。8. The image sensor according to claim 7, wherein the feature amount for weighting is a human attribute.
上であるときに分割を実行する請求項１〜８のいずれか
１項に記載された画像センサ。9. The image sensor according to claim 1, wherein the dividing unit executes the division when the divided area has a predetermined number of pixels or more.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2001358084A JP3957495B2 (en) | 2001-11-22 | 2001-11-22 | Image sensor |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2001358084A JP3957495B2 (en) | 2001-11-22 | 2001-11-22 | Image sensor |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2003162724A true JP2003162724A (en) | 2003-06-06 |
| JP3957495B2 JP3957495B2 (en) | 2007-08-15 |
Family
ID=19169324
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2001358084A Expired - Fee Related JP3957495B2 (en) | 2001-11-22 | 2001-11-22 | Image sensor |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP3957495B2 (en) |
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2007156655A (en) * | 2005-12-01 | 2007-06-21 | Toshiba Corp | Variable region detection apparatus and its method |
| EP2005747A1 (en) * | 2006-03-29 | 2008-12-24 | Curtin University Of Technology | Testing surveillance camera installations |
| JP2010211617A (en) * | 2009-03-11 | 2010-09-24 | Sony Corp | Imaging apparatus, moving body detection method, moving body detection circuit and program |
| JP2015046811A (en) * | 2013-08-29 | 2015-03-12 | セコム株式会社 | Image sensor |
| JP2019169057A (en) * | 2018-03-26 | 2019-10-03 | セコム株式会社 | Region sectioning device |
-
2001
- 2001-11-22 JP JP2001358084A patent/JP3957495B2/en not_active Expired - Fee Related
Cited By (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2007156655A (en) * | 2005-12-01 | 2007-06-21 | Toshiba Corp | Variable region detection apparatus and its method |
| US7756295B2 (en) | 2005-12-01 | 2010-07-13 | Kabushiki Kaisha Toshiba | Change region detection device and change region detecting method |
| JP4533836B2 (en) * | 2005-12-01 | 2010-09-01 | 株式会社東芝 | Fluctuating region detection apparatus and method |
| EP2005747A1 (en) * | 2006-03-29 | 2008-12-24 | Curtin University Of Technology | Testing surveillance camera installations |
| EP2005747A4 (en) * | 2006-03-29 | 2010-04-07 | Univ Curtin Tech | Testing surveillance camera installations |
| US8305438B2 (en) | 2006-03-29 | 2012-11-06 | Curtin University Of Technology | Testing surveillance camera installations |
| JP2010211617A (en) * | 2009-03-11 | 2010-09-24 | Sony Corp | Imaging apparatus, moving body detection method, moving body detection circuit and program |
| US8787617B2 (en) | 2009-03-11 | 2014-07-22 | Sony Corporation | Imaging apparatus, mobile body detecting method, mobile body detecting circuit and program |
| JP2015046811A (en) * | 2013-08-29 | 2015-03-12 | セコム株式会社 | Image sensor |
| JP2019169057A (en) * | 2018-03-26 | 2019-10-03 | セコム株式会社 | Region sectioning device |
Also Published As
| Publication number | Publication date |
|---|---|
| JP3957495B2 (en) | 2007-08-15 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109076198B (en) | Video-based object tracking occlusion detection system, method and equipment | |
| JP4451307B2 (en) | How to classify objects in a scene | |
| US9377861B2 (en) | Information processing device and method, program and recording medium for identifying a gesture of a person from captured image data | |
| TWI380223B (en) | Image processing apparatus and image processing method | |
| US7031525B2 (en) | Edge detection based on background change | |
| JP5106356B2 (en) | Image monitoring device | |
| US20080292192A1 (en) | Human detection device and method and program of the same | |
| JP4313758B2 (en) | How to chain edges in stereo images together | |
| JP5832910B2 (en) | Image monitoring device | |
| US20090207260A1 (en) | Image pickup apparatus and image pickup method | |
| JP4389602B2 (en) | Object detection apparatus, object detection method, and program | |
| US10762372B2 (en) | Image processing apparatus and control method therefor | |
| JP2000295617A (en) | Method for detecting error block in compressed video sequence | |
| KR101769741B1 (en) | Method and apparatus for recognizing iris through pupil detection | |
| JP7074174B2 (en) | Discriminator learning device, discriminator learning method and computer program | |
| JP4740755B2 (en) | Monitoring device using images | |
| JP2003162724A (en) | Image sensor | |
| JP4042602B2 (en) | Image processing device | |
| JPH05300516A (en) | Animation processor | |
| JP6124739B2 (en) | Image sensor | |
| JP4619082B2 (en) | Image determination device | |
| JP4544955B2 (en) | Image monitoring device | |
| US20230377170A1 (en) | Method for motion detection and circuit system | |
| JP4565738B2 (en) | Image sensor | |
| JP7275863B2 (en) | Image processing device, image processing device control method, and image processing device control program |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20041028 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20070109 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20070308 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20070410 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20070508 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 3957495 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100518 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110518 Year of fee payment: 4 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110518 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120518 Year of fee payment: 5 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130518 Year of fee payment: 6 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130518 Year of fee payment: 6 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| LAPS | Cancellation because of no payment of annual fees |