JP2019021189A - Object detection device - Google Patents

Object detection device Download PDF

Info

Publication number
JP2019021189A
JP2019021189A JP2017140983A JP2017140983A JP2019021189A JP 2019021189 A JP2019021189 A JP 2019021189A JP 2017140983 A JP2017140983 A JP 2017140983A JP 2017140983 A JP2017140983 A JP 2017140983A JP 2019021189 A JP2019021189 A JP 2019021189A
Authority
JP
Japan
Prior art keywords
polarization
region
image
input image
detection
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2017140983A
Other languages
Japanese (ja)
Other versions
JP6585668B2 (en
Inventor
鮎子 太田
Ayuko Ota
鮎子 太田
全史 大津
Masafumi Otsu
全史 大津
森 敦
Atsushi Mori
敦 森
Original Assignee
セコム株式会社
Secom Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by セコム株式会社, Secom Co Ltd filed Critical セコム株式会社
Priority to JP2017140983A priority Critical patent/JP6585668B2/en
Publication of JP2019021189A publication Critical patent/JP2019021189A/en
Application granted granted Critical
Publication of JP6585668B2 publication Critical patent/JP6585668B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Abstract

To determine whether or not an area having a change by an object in comparison with a comparison image is obtained by using polarization information.SOLUTION: A polarization information acquisition part 20 acquires the polarization information of an image photographed by a photographing part 10. Area division means 44 divides an input image into a local area. Similarity calculation means 46 calculates similarity which becomes higher as a correlation between the polarization information of the input image and the polarization information of the comparison image is higher, in the local area. Entity determination means 48 determines that the local area in the input image is the area having the change by the object, when the similarity is a predetermined value or less and determines that the local area in the input image is the area not having the change by the object, when the similarity is higher than the predetermined value.SELECTED DRAWING: Figure 1

Description

本発明は、検出対象を検出するための物体検出装置に関する。   The present invention relates to an object detection apparatus for detecting a detection target.
可視光画像から侵入者を検出する画像センサでは、背景差分によって変化領域を抽出し、変化領域の形状や大きさが、人物らしいか否かを判定することで侵入者を検出している。   In an image sensor that detects an intruder from a visible light image, an intruder is detected by extracting a change area based on a background difference and determining whether the shape or size of the change area is a person.
このとき、人物とその影が入力画像に出現した場合は、人物と影が一体となって1つの変化領域として抽出される。この場合、変化領域の形状や大きさからでは、人物を精度良く検出できないため、人物と影を分離する必要がある。   At this time, when a person and its shadow appear in the input image, the person and the shadow are extracted as one change area. In this case, since the person cannot be accurately detected from the shape and size of the change area, it is necessary to separate the person and the shadow.
従来、影が低輝度で撮影されることを利用して、人物と影を区別していた。   Conventionally, a person and a shadow are distinguished from each other by utilizing the fact that the shadow is photographed with low brightness.
特開平5−151356号公報JP-A-5-151356
しかし、人物が影と同じ輝度で撮影されていた場合(黒服の人物などが撮影されていた場合)は、低輝度であるという特徴から人物と影を区別することが困難であった。また、影だけではなく光についても同様に、人物が光と同じ輝度で撮影されていた場合は、高輝度であるという特徴から人物と光を区別することが困難であった。   However, when a person is photographed with the same brightness as that of a shadow (when a person in black clothes or the like is photographed), it is difficult to distinguish the person and the shadow because of the feature of low brightness. Similarly, in the case of not only the shadow but also the light, when the person is photographed with the same brightness as the light, it is difficult to distinguish the person and the light from the feature of high brightness.
本発明は、上記課題を鑑みてなされたものであり、偏光情報の時間変化に着目することで、物体による変化があるか否かを精度良く判定することができる物体検出装置を提供することを目的とする。   The present invention has been made in view of the above problems, and provides an object detection device capable of accurately determining whether or not there is a change due to an object by paying attention to the time change of polarization information. Objective.
上記の目的を達成するために本発明に係る物体検出装置は、空間を撮影した入力画像から、局所領域内の各画素の偏光情報を取得する偏光情報取得部と、前記局所領域について、前記入力画像の前記偏光情報と、前記入力画像と撮影時刻が異なる前記空間を撮影した比較画像の前記偏光情報との相関が高いほど高くなる類似度を算出する類似度算出部と、前記類似度が所定値以下である場合、前記入力画像における前記局所領域が、前記比較画像と比較して物体による変化があった領域であると判定する物体判定部と、を含んで構成されている。   In order to achieve the above object, an object detection apparatus according to the present invention includes a polarization information acquisition unit that acquires polarization information of each pixel in a local area from an input image obtained by photographing a space, and the input for the local area. A similarity calculation unit that calculates a degree of similarity that increases as the correlation between the polarization information of the image and the polarization information of the comparison image obtained by capturing the space in which the input image differs from the imaging time increases; and the similarity is predetermined An object determination unit that determines that the local region in the input image is a region that has changed due to an object compared to the comparison image when the value is equal to or less than the value;
本発明に係る物体判定部は、前記類似度が前記所定値よりも高い場合、前記入力画像における前記局所領域が、前記比較画像と比較して物体による変化がなかった領域であると判定する。   When the similarity is higher than the predetermined value, the object determination unit according to the present invention determines that the local region in the input image is a region that has not changed by the object as compared with the comparative image.
本発明に係る類似度算出部は、前記局所領域について、画素毎に前記入力画像の当該画素の前記偏光情報と前記比較画像の当該画素の前記偏光情報とを比較した比較結果の傾向の有無を表す相関値を、前記類似度として算出する。   The similarity calculation unit according to the present invention determines, for each local region, whether there is a tendency of a comparison result by comparing the polarization information of the pixel of the input image and the polarization information of the pixel of the comparison image for each pixel. A correlation value to be expressed is calculated as the similarity.
本発明に係る類似度算出部は、前記局所領域について、画素毎の、前記入力画像の当該画素の前記偏光情報と前記比較画像の当該画素の前記偏光情報との差分のばらつきを、前記類似度として算出する。   The similarity calculation unit according to the present invention calculates, for each local region, a variation in a difference between the polarization information of the pixel of the input image and the polarization information of the pixel of the comparison image for each pixel. Calculate as
本発明に係る物体検出装置は、前記入力画像の対象領域を検出する対象領域検出部と、前記対象領域内の局所領域のうち、前記物体による変化があった領域であると判定された局所領域を結合した物体領域を生成し、前記物体領域が検出対象を表すか否かを判定する検出対象判定部と、を更に含む。   The object detection apparatus according to the present invention includes a target area detection unit that detects a target area of the input image, and a local area that is determined to be an area that has changed due to the object among local areas in the target area. And a detection target determination unit that determines whether or not the object region represents a detection target.
以上説明したように、本発明の物体検出装置によれば、偏光情報の時間変化を利用することによって、物体による変化があるか否かを精度良く判定することができる、という効果が得られる。   As described above, according to the object detection device of the present invention, it is possible to accurately determine whether or not there is a change due to an object by using the time change of polarization information.
本発明を適用した物体検出装置100の概略構成を示した図である。It is the figure which showed schematic structure of the object detection apparatus 100 to which this invention is applied. 偏光フィルタの偏光方向と偏光画像の輝度値との関係を示した図である。It is the figure which showed the relationship between the polarization direction of a polarizing filter, and the luminance value of a polarization image. (a)入力画像と、入力画像内の対象領域の偏光情報を示す図、(b)背景画像と、背景画像内の対象領域の偏光情報を示す図、(c)背景画像と入力画像における、実体領域である局所領域の変更情報を示す図、及び(d)背景画像と入力画像における、非実体領域である局所領域の変更情報を示す図である。(A) Input image and diagram showing polarization information of target area in input image, (b) Background image and figure showing polarization information of target area in background image, (c) Background image and input image, It is a figure which shows the change information of the local area which is an entity area, and (d) The figure which shows the change information of the local area which is a non-entity area in a background image and an input image. 本発明の実施の形態に係る物体検出装置による全体処理の動作を示すフローチャートである。It is a flowchart which shows the operation | movement of the whole process by the object detection apparatus which concerns on embodiment of this invention.
以下、図面を参照して本発明の実施の形態を詳細に説明する。   Hereinafter, embodiments of the present invention will be described in detail with reference to the drawings.
<本発明の実施の形態の原理>
本発明の実施の形態では、入力画像の局所領域毎に、入力画像の偏光情報(偏光度や偏光方向)と背景画像の偏光情報の空間的な分布の類似度を求める。類似度が低い局所領域は、背景画像と比較して、実体(人物など)による偏光情報の時間変化がある領域であると判定する。類似度が高い局所領域は、背景画像と比較して、実体(人物など)による偏光情報の時間変化がない領域であると判定し、例えば、光や影(もしくは背景がそのまま映っている)と判定する。
<Principle of Embodiment of the Present Invention>
In the embodiment of the present invention, the similarity between the spatial distribution of the polarization information (polarization degree and polarization direction) of the input image and the polarization information of the background image is obtained for each local region of the input image. A local region having a low degree of similarity is determined to be a region where there is a temporal change in polarization information due to an entity (such as a person) compared to a background image. A local region having a high degree of similarity is determined to be a region in which polarization information does not change with time due to an entity (such as a person) compared to a background image. For example, light and shadow (or a background is reflected as it is) judge.
なお、本発明の実施の形態では、背景差分によって変化領域を抽出し、その変化領域内をSLIC(Simple Linear Iterative Clustering)や所定のグリッドで分割したものを局所領域としている。しかし、変化領域を用いずに、入力画像をSLICや所定のグリッドで分割したものでもよい。また、変化領域自体を局所領域としてもよい。   In the embodiment of the present invention, a change area is extracted based on a background difference, and the change area is divided by a SLIC (Simple Linear Iterative Clustering) or a predetermined grid as a local area. However, the input image may be divided by SLIC or a predetermined grid without using the change area. Further, the change area itself may be a local area.
背景画像と入力画像では、撮影時の照明条件が必ずしも一致するわけではない。このため、図3(c)、(d)のように、「物体による変化がある実体領域」も「影が映っている非実体領域」も、入力画像の偏光情報と背景画像の偏光情報(偏光方向や偏光度)は一致しない。   The illumination conditions at the time of shooting do not necessarily match between the background image and the input image. For this reason, as shown in FIGS. 3C and 3D, both the “substance region with a change by an object” and the “non-substance region in which a shadow is reflected” are applied to the polarization information of the input image and the polarization information of the background image ( (Polarization direction and polarization degree) do not match.
しかし、「影が映っている非実体領域」については、偏光情報自体は背景画像と一致しないものの、局所領域内における画素間の偏光情報の関係性が保たれたまま、偏光情報が変化していることがわかる。すなわち、入力画像と背景画像で映っている物体の形状が同じ場合(影や光などが映っている場合や、そのまま背景が映っている場合)、入力画像と背景画像で偏光情報の相対関係が変化していない。   However, for the “intangible area where the shadow is reflected”, although the polarization information itself does not match the background image, the polarization information changes while maintaining the relationship of the polarization information between the pixels in the local area. I understand that. That is, when the shape of the object shown in the input image and the background image is the same (when shadows or light are reflected, or when the background is reflected as it is), there is a relative relationship between the polarization information in the input image and the background image. It has not changed.
一方、「実体による変化がある実体領域」については、入力画像と背景画像で、偏光情報自体も一致しないし、局所領域内における画素間の偏光情報の関係性が保たれることなく、偏光情報が時間変化していることがわかる。すなわち、入力画像と背景画像で映っている物体の形状が違う場合(実体が出現・消失した場合など)、入力画像と背景画像で、偏光情報の相対関係が時間変化している。   On the other hand, with regard to “substance region that varies depending on the entity”, the polarization information itself does not match between the input image and the background image, and the polarization information does not maintain the relationship of the polarization information between pixels in the local region. It can be seen that is changing over time. That is, when the shapes of the objects shown in the input image and the background image are different (such as when an entity appears or disappears), the relative relationship between the polarization information changes with time in the input image and the background image.
本発明の実施の形態は、これを利用したものであり、各局所領域について、入力画像の偏光情報と背景画像の偏光情報の空間的な分布の類似度を求める。   The embodiment of the present invention utilizes this, and for each local region, the similarity of the spatial distribution of the polarization information of the input image and the polarization information of the background image is obtained.
そして、空間的な分布の類似度が高い場合には、偏光情報の相対関係が時間変化していないと判断し、局所領域は、光や影(背景物そのもの)を表していると判定する。   When the spatial distribution similarity is high, it is determined that the relative relationship of the polarization information has not changed with time, and the local region is determined to represent light or a shadow (background object itself).
一方、空間的な分布の類似度が低い場合には、偏光情報の相対関係が時間変化していると判断し、局所領域は、人物などの検出対象を表していると判定する。これにより、影や光と区別して、検出対象(人物など)を精度良く検出することができる。   On the other hand, when the spatial distribution similarity is low, it is determined that the relative relationship of polarization information changes with time, and the local region is determined to represent a detection target such as a person. As a result, it is possible to accurately detect a detection target (such as a person) by distinguishing it from shadows and light.
なお、本発明の実施の形態では、「空間的な分布の類似度」として、局所領域内における偏光情報の相関値や、偏光情報の差分のバラつき具合を算出する。   In the embodiment of the present invention, as the “similarity of spatial distribution”, the correlation value of polarization information in the local region and the degree of variation in the difference of polarization information are calculated.
<物体検出装置100の構成>
以下、本発明を適用した物体検出装置100の概略構成を示した図1を参照し、本発明の実施の形態の構成を説明する。
<Configuration of Object Detection Device 100>
Hereinafter, a configuration of an embodiment of the present invention will be described with reference to FIG. 1 showing a schematic configuration of an object detection apparatus 100 to which the present invention is applied.
(物体検出装置100)
物体検出装置100は、監視空間を撮影した画像から取得した偏光情報を用いて、当該監視空間内に存在する検出対象を検出する。本実施の形態では、物体検出装置100にて、監視空間に存在する人物を検出対象として検出し、その検出結果を外部の監視センタなどに出力する例を説明する。
(Object detection apparatus 100)
The object detection apparatus 100 detects a detection target existing in the monitoring space using polarization information acquired from an image obtained by photographing the monitoring space. In the present embodiment, an example will be described in which the object detection apparatus 100 detects a person existing in the monitoring space as a detection target and outputs the detection result to an external monitoring center or the like.
図1は、本実施の形態における物体検出装置100の構成を示した図である。   FIG. 1 is a diagram illustrating a configuration of an object detection device 100 according to the present embodiment.
図1に示すように、本実施の形態における物体検出装置100は、撮影部10、偏光情報取得部20、記憶部30、情報処理部40、及び出力部54から構成される。   As illustrated in FIG. 1, the object detection apparatus 100 according to the present embodiment includes an imaging unit 10, a polarization information acquisition unit 20, a storage unit 30, an information processing unit 40, and an output unit 54.
(撮影部10)
撮影部10は、カメラなどの撮影装置であり、所定の空間を撮影する。
(Shooting unit 10)
The photographing unit 10 is a photographing device such as a camera and photographs a predetermined space.
撮影部10は、光学系、CCD素子またはCMOS素子から構成される。   The photographing unit 10 includes an optical system, a CCD element, or a CMOS element.
本実施の形態における撮影部10は、空間を撮影したデータをA/D変換し、そのデジタル画像を、偏光情報取得部20に出力する。   The imaging unit 10 in the present embodiment performs A / D conversion on data obtained by imaging a space, and outputs the digital image to the polarization information acquisition unit 20.
撮影部10は、特定の偏光方向の光のみを透過する偏光フィルタを備え、偏光フィルタが透過する偏光方向が少なくとも3種類以上になるように、監視空間を撮影する。   The imaging unit 10 includes a polarization filter that transmits only light in a specific polarization direction, and images the monitoring space so that there are at least three types of polarization directions that the polarization filter transmits.
具体的には、撮影部10は、偏光フィルタを回転させて、透過させる光の偏光方向を切換えながら、都度、撮影を行うことで、異なる3種類以上の偏光方向の画像(以下、偏光画像)を撮影する。   Specifically, the imaging unit 10 rotates the polarization filter to change the polarization direction of the light to be transmitted and perform imaging every time, so that images with three or more different polarization directions (hereinafter, polarization images) are taken. Shoot.
本実施の形態における撮影部10は、偏光フィルタを備え、それを回転させることで、4種類の偏光方向(0deg、45deg、90deg、135deg)の偏光画像を撮影する。すなわち、撮影部は、1シーン毎に4枚の偏光画像を撮影し、それらの偏光画像をシーン毎に対応付けて偏光情報取得部20に出力する。   The imaging unit 10 according to the present embodiment includes a polarizing filter, and rotates it to capture polarized images of four types of polarization directions (0 deg, 45 deg, 90 deg, 135 deg). That is, the imaging unit captures four polarized images for each scene, and outputs the polarized images to the polarization information acquisition unit 20 in association with each scene.
なお、偏光画像の撮影方法はこれに限らない。例えば、画素毎に異なる偏光方向の偏光フィルタをモザイク状に配置した偏光カメラを用いて、偏光方向が互いに異なる3種類以上の偏光画像を撮影してもよい。このように、撮影部10の構成や撮影方法は特に限定されず、偏光方向が互いに異なる3種類以上の偏光画像を撮影できるものであればよい。   Note that the polarization image capturing method is not limited to this. For example, three or more types of polarized images having different polarization directions may be taken using a polarization camera in which polarization filters having different polarization directions are arranged in a mosaic pattern for each pixel. As described above, the configuration and the imaging method of the imaging unit 10 are not particularly limited as long as they can capture three or more types of polarized images having different polarization directions.
また、本実施の形態における物体検出装置100は、偏光フィルタを備えた撮影部10のみを用いているが、これに限らない。例えば、偏光フィルタを備えた撮影装置に加えて、偏光フィルタを備えない撮影装置を設け、当該撮影装置を用いて、監視空間を、偏光フィルタを備えた撮影装置と略同じ画角・略同時に撮影するようにしてもよい。そして、この偏光フィルタを備えない撮影装置で撮影された画像を、後述する情報処理部40の対象領域の検出処理に用いてもよい。   Moreover, although the object detection apparatus 100 in this Embodiment uses only the imaging | photography part 10 provided with the polarizing filter, it is not restricted to this. For example, in addition to an imaging device provided with a polarizing filter, an imaging device not provided with a polarizing filter is provided, and using the imaging device, a monitoring space is imaged at substantially the same angle of view and substantially simultaneously as an imaging device provided with a polarizing filter. You may make it do. And the image image | photographed with the imaging device which is not provided with this polarizing filter may be used for the detection process of the target area | region of the information processing part 40 mentioned later.
(偏光情報取得部20)
偏光情報取得部20は、撮影部10から受け取った、同じシーンを撮影した3種類以上の偏光画像を用いて、画素毎に、当該シーンにおける偏光情報を取得する。具体的には、本実施の形態における偏光情報取得部20は、偏光情報として、偏光度及び偏光方向を算出する。また、偏光情報取得部20は、各偏光画像の輝度値の平均値(平均輝度値)から、そのシーンにおける平均輝度値画像を生成する。以下、この画像を入力画像とする。
(Polarization information acquisition unit 20)
The polarization information acquisition unit 20 acquires polarization information in the scene for each pixel, using three or more types of polarization images obtained by capturing the same scene received from the imaging unit 10. Specifically, the polarization information acquisition unit 20 in the present embodiment calculates the degree of polarization and the polarization direction as the polarization information. Further, the polarization information acquisition unit 20 generates an average luminance value image in the scene from the average value (average luminance value) of the luminance values of the respective polarization images. Hereinafter, this image is set as an input image.
本実施の形態における偏光情報取得部20は、画素毎に算出した偏光情報を、入力画像の各画素に対応付けて、後述する情報処理部40に出力する。   The polarization information acquisition unit 20 in the present embodiment outputs the polarization information calculated for each pixel to the information processing unit 40 described later in association with each pixel of the input image.
また、本実施の形態では、物体検出装置100の撮影部10で撮影した偏光画像を用いて、偏光情報取得部20にて偏光情報の算出と入力画像の生成を行ったが、これに限らない。例えば、予め、物体検出装置100の外部で入力画像の画素毎に偏光情報を予め対応付けておき、それを物体検出装置100の記憶部30に記憶しておく。そして、後述する情報処理部40は、記憶部30からそれらの情報を取得して各種の処理を行うようにしてもよい。   In the present embodiment, the polarization information acquisition unit 20 calculates the polarization information and generates the input image using the polarization image captured by the imaging unit 10 of the object detection apparatus 100. However, the present invention is not limited to this. . For example, polarization information is previously associated with each pixel of the input image outside the object detection apparatus 100 and stored in the storage unit 30 of the object detection apparatus 100. And the information processing part 40 mentioned later may acquire such information from the memory | storage part 30, and may be made to perform various processes.
また、平均輝度値画像を入力画像とするのではなく、前述したように、偏光フィルタを備えない撮影装置で撮影した画像について、当該画像の画素毎に、同一のシーンを撮影した偏光画像から算出した偏光情報を対応付けて、情報処理部40に出力するようにしてもよい。   Also, instead of using the average luminance value image as the input image, as described above, for the image captured by the image capturing apparatus that does not include the polarization filter, the image is calculated from the polarized image obtained by capturing the same scene for each pixel of the image. The polarization information may be associated and output to the information processing unit 40.
また、対象領域検出手段42によって検出された対象領域、及び領域分割手段44によって得られた局所領域を用いて、対象領域の局所領域内の各画素についてのみ偏光情報を取得してもよい。   Alternatively, the polarization information may be acquired only for each pixel in the local region of the target region using the target region detected by the target region detecting unit 42 and the local region obtained by the region dividing unit 44.
(偏光度・偏光方向・平均輝度値の算出)
次に、偏光度・偏光方向・平均輝度値の算出について説明する。図2は、偏光フィルタの偏光方向と偏光画像の輝度値との関係を示した図である。
(Calculation of polarization degree, polarization direction, and average luminance value)
Next, calculation of the degree of polarization, the polarization direction, and the average luminance value will be described. FIG. 2 is a diagram showing the relationship between the polarization direction of the polarization filter and the luminance value of the polarization image.
偏光した光の輝度値は、偏光方向に対して正弦波として変化する。すなわち、偏光方向m[deg]の光が透過する偏光フィルタを介して撮影した場合の輝度値Imは、以下の式で表される。 The luminance value of the polarized light changes as a sine wave with respect to the polarization direction. That is, the luminance value I m when the light polarization direction m [deg] is taken through a polarizing filter that transmits is expressed by the following equation.
偏光情報取得部20は、入力画像の画素毎に、最も強い輝度値を示す偏光方向の角度ρ(偏光角度ρ)を求め、それを当該画素の偏光方向とする。また、平均輝度値Mに対する正弦波の振幅Aの比率Dを偏光度とする。   The polarization information acquisition unit 20 obtains an angle ρ (polarization angle ρ) of the polarization direction that indicates the strongest luminance value for each pixel of the input image, and sets this as the polarization direction of the pixel. The ratio D of the amplitude A of the sine wave with respect to the average luminance value M is defined as the degree of polarization.
本実施の形態のように、4種類の偏光方向の偏光画像(0deg、45deg、90deg、135deg)から偏光情報を算出する場合、ある画素における偏光画像の輝度値をそれぞれI0、I45、I90、I135とすると、偏光角度ρ、偏光度D、平均輝度値Mは、以下の式で求められる。 When the polarization information is calculated from the polarization images (0 deg, 45 deg, 90 deg, 135 deg) of four types of polarization directions as in the present embodiment, the luminance values of the polarization image at a certain pixel are respectively I 0 , I 45 , I Assuming 90 and I 135 , the polarization angle ρ, the polarization degree D, and the average luminance value M are obtained by the following equations.
(記憶部30)
記憶部30は、ROM(Read Only Memory)、RAM(Random Access Memory)等の半導体メモリ、ハードディスクなどのメモリ装置で構成される。
(Storage unit 30)
The storage unit 30 includes a semiconductor device such as a ROM (Read Only Memory) and a RAM (Random Access Memory), and a memory device such as a hard disk.
記憶部30は、物体検出装置100において、各処理を実行するのに必要なプログラムやパラメータなどの各種情報を記憶する。また、記憶部30は、物体検出装置100を構成する各部などからアクセス可能である。   The storage unit 30 stores various types of information such as programs and parameters necessary for executing each process in the object detection apparatus 100. The storage unit 30 is accessible from each unit constituting the object detection device 100.
本実施の形態における記憶部30は、背景画像30Aを記憶する。背景画像30Aは、検出対象が映っていない入力画像である。すなわち、背景画像30Aは、情報処理部40の処理対象となる入力画像とは撮影時刻が異なる画像である。背景画像は、比較画像の一例である。   Storage unit 30 in the present embodiment stores background image 30A. The background image 30A is an input image in which the detection target is not shown. That is, the background image 30A is an image having a shooting time different from that of the input image to be processed by the information processing unit 40. The background image is an example of a comparative image.
本実施の形態では、後述する情報処理部40の背景画像更新手段52にて、対象領域や検出対象が検出されなかった入力画像を背景画像として記憶部30に記憶する。これにより、背景画像が適宜更新される。また、背景画像の各画素について、入力画像と同様に取得した偏光情報を対応付けて、記憶部30に背景画像を記憶する。   In the present embodiment, the background image update unit 52 of the information processing unit 40 to be described later stores an input image in which no target area or detection target is detected in the storage unit 30 as a background image. Thereby, the background image is updated as appropriate. Further, for each pixel of the background image, the background image is stored in the storage unit 30 in association with the polarization information acquired in the same manner as the input image.
(情報処理部40)
情報処理部40は、取得した入力画像の偏光情報と記憶部30に記憶されている背景画像30Aの偏光情報を比較し、その比較結果に基づいて監視空間における検出対象の存在を検出する。
(Information Processing Unit 40)
The information processing unit 40 compares the polarization information of the acquired input image with the polarization information of the background image 30A stored in the storage unit 30, and detects the presence of the detection target in the monitoring space based on the comparison result.
本実施の形態における情報処理部40は、対象領域検出手段42、領域分割手段44、類似度算出手段46、実体判定手段48、検出対象判定手段50、及び背景画像更新手段52から構成される。なお、領域分割手段44は、局所領域抽出部の一例であり、実体判定手段48が、物体判定部の一例である。   The information processing unit 40 in the present embodiment includes a target area detection unit 42, a region division unit 44, a similarity calculation unit 46, an entity determination unit 48, a detection target determination unit 50, and a background image update unit 52. The region dividing unit 44 is an example of a local region extracting unit, and the entity determining unit 48 is an example of an object determining unit.
(対象領域検出手段42)
対象領域検出手段42は、入力画像から検出対象が撮影されている可能性が高い領域を対象領域として検出する。本実施の形態では、対象領域検出手段42は、記憶部30から取得した背景画像30Aと入力画像を比較して、対象領域を検出する。
(Target area detection means 42)
The target area detection unit 42 detects an area where the detection target is highly likely to be captured from the input image as the target area. In the present embodiment, the target area detection unit 42 detects the target area by comparing the background image 30A acquired from the storage unit 30 with the input image.
具体的には、本実施の形態における対象領域検出手段42は、入力画像と背景画像の輝度値の差分をとり、差分が所定値以上となった画素を、変化画素として検出する。そして、検出された変化画素について、8近傍で隣接する画素をひとまとまりとして、それらの変化画素の集合を対象領域とする。   Specifically, the target area detection unit 42 in the present embodiment takes a difference between the luminance values of the input image and the background image, and detects a pixel whose difference is equal to or greater than a predetermined value as a change pixel. Then, regarding the detected changed pixels, adjacent pixels in the vicinity of 8 are grouped, and a set of these changed pixels is set as a target region.
なお、対象領域の検出方法はこれに限らない。例えば、輝度値の差分の他に、偏光方向や偏光度に対しても入力画像と背景画像の差分を画素毎に求め、輝度値、偏光方向、偏光度のいずれかで差分が所定値以上となった画素を変化画素としてもよい。   Note that the method of detecting the target area is not limited to this. For example, in addition to the difference in luminance value, the difference between the input image and the background image is obtained for each pixel with respect to the polarization direction and polarization degree, and the difference is greater than or equal to a predetermined value in any one of the luminance value, polarization direction, and polarization degree. The changed pixel may be a change pixel.
また、背景差分ではなく、フレーム間差分によって変化画素を検出してもよい。この場合、フレーム間差分を求める入力画像と撮影時刻の異なる画像が比較画像の一例である。   Further, the changed pixel may be detected not by the background difference but by the inter-frame difference. In this case, an input image for obtaining a difference between frames and an image having a different shooting time are examples of the comparative image.
なお、この対象領域の検出方法を用いた場合、背景画像は必須ではないため、記憶部30に背景画像30Aを記憶することや、後述する背景画像更新手段52は不要となる。その代わりに、フレーム間差分を求める入力画像と撮影時刻の異なる画像を記憶しておけばよい。   Note that when this target area detection method is used, a background image is not essential, and therefore the storage of the background image 30A in the storage unit 30 and the background image update means 52 described later are not necessary. Instead, an input image for obtaining a difference between frames and an image having a different shooting time may be stored.
また、本実施の形態では、入力画像である平均輝度値画像から対象領域を検出しているが、これに限らず、前述した偏光フィルタを備えない撮影装置で撮影した画像から対象領域を検出してもよい。   In the present embodiment, the target area is detected from the average luminance value image that is the input image. However, the present invention is not limited to this, and the target area is detected from an image captured by an imaging apparatus that does not include the polarization filter described above. May be.
(領域分割手段44)
領域分割手段44は、入力画像を複数の小領域に分割する。この小領域を局所領域とする。本実施の形態では、領域分割手段44は、対象領域に対して分割処理を行う。具体的には、領域分割手段44は、入力画像の対象領域内の各画素について、互いに隣接する画素同士をグループ化し、グループ化された画素からなる領域を局所領域とする。
(Area dividing means 44)
The area dividing unit 44 divides the input image into a plurality of small areas. Let this small area be a local area. In the present embodiment, the area dividing unit 44 performs a dividing process on the target area. Specifically, the region dividing unit 44 groups adjacent pixels for each pixel in the target region of the input image, and sets a region including the grouped pixels as a local region.
例えば、SLIC(Simple Linear Iterative Clustering)法などのクラスタリング技術を用いて、平均輝度値および/または画素間の距離が近い画素同士をグループ化する。なお、平均輝度値に限らず、偏光方向や偏光度などを用いてグループ化してもよい。また、前述した偏光フィルタを備えない撮影装置で撮影した画像の輝度値を用いてグループ化してもよい。   For example, using a clustering technique such as an SLIC (Simple Linear Iterative Clustering) method, pixels having an average luminance value and / or a short distance between pixels are grouped. In addition, you may group by using not only an average luminance value but a polarization direction, a polarization degree, etc. Further, grouping may be performed using the luminance value of an image captured by an imaging apparatus that does not include the polarization filter described above.
また、分割方法は、SLIC法に限らず、入力画像を固定サイズの矩形でメッシュ状に分割してもよい。   Further, the dividing method is not limited to the SLIC method, and the input image may be divided into a mesh of a fixed size rectangle.
局所領域のサイズは、物体検出装置100が検出すべき物体(検出対象)のサイズよりも小さいサイズにすることが好ましい。   The size of the local region is preferably smaller than the size of the object (detection target) to be detected by the object detection apparatus 100.
なお、本実施の形態では、対象領域に対して分割処理を行ったが、入力画像全体に対して分割処理を行ってもよい。この場合、対象領域の検出処理は不要である。また、対象領域自体を1つの局所領域としてもよい。   In the present embodiment, the division process is performed on the target area. However, the division process may be performed on the entire input image. In this case, the target area detection process is unnecessary. Further, the target area itself may be one local area.
(類似度算出手段46)
類似度算出手段46は、各局所領域について、入力画像の偏光情報と背景画像の偏光情報を比較することで、偏光情報の空間的な分布の類似度を算出する。
(Similarity calculation means 46)
The similarity calculation means 46 calculates the similarity of the spatial distribution of polarization information by comparing the polarization information of the input image and the polarization information of the background image for each local region.
本実施の形態では、以下の2つの方法で、入力画像の偏光情報と背景画像の偏光情報の空間的な分布の類似度を算出する。なお、それぞれの方法で算出した類似度を併用してもよいし、それぞれを単独で使用してもよい。また、偏光情報の空間的な分布の類似度は、これらの方法で算出したものに限らず、公知の技術を用いればよい。   In this embodiment, the similarity between the spatial distributions of the polarization information of the input image and the polarization information of the background image is calculated by the following two methods. In addition, the similarity calculated by each method may be used together, or each may be used alone. The similarity of the spatial distribution of polarization information is not limited to those calculated by these methods, and a known technique may be used.
<方法1:偏光情報の相関値>
局所領域内の画素数をKとし、ある画素での入力画像の偏光角度、偏光度をρi(k)、Di(k)、背景画像の偏光角度、偏光度をρb(k)、Db(k)とする(ただし、 k=0,1,・・・,K−1)。
<Method 1: Polarization information correlation value>
The number of pixels in the local region is K, and the polarization angle and polarization degree of the input image at a certain pixel are ρ i (k) and D i (k), the polarization angle and polarization degree of the background image are ρ b (k), Let D b (k) (where k = 0, 1,..., K−1).
このとき、偏光度が低い場合、偏光角度の精度が落ちてしまうという問題がある。このため、局所領域内の入力画像、背景画像の平均偏光度を ̄Dl、 ̄Dbとし、どちらの平均偏光度も所定値以上であった場合は、偏光角度の相関値を類似度として用いる。また、いずれかの平均偏光度が所定値未満であった場合、偏光度の相関値を類似度として用いる。 At this time, when the degree of polarization is low, there is a problem that the accuracy of the polarization angle is lowered. Therefore, the input image in the local region, the average degree of polarization of D l of the background image, and D b, when both average polarization was more than the predetermined value, the correlation value of the angle of polarization as the similarity Use. If any of the average polarization degrees is less than a predetermined value, the correlation value of the polarization degrees is used as the similarity.
なお、偏光度と偏光角度で、相関値の分布範囲が変わる可能性が高いので、後述する実体判定手段48にて、相関値が高いか低いかを判定する判定閾値をそれぞれ別に設定するか、所定の係数をかけて補正を行うことが好ましい。   In addition, since there is a high possibility that the distribution range of the correlation value is changed depending on the polarization degree and the polarization angle, whether or not the determination threshold value for determining whether the correlation value is high or low is set separately in the entity determination unit 48 described later, It is preferable to perform correction by applying a predetermined coefficient.
偏光角度、偏光度の相関値をそれぞれCorrρ、CorrDとすると、以下の式で表すことができる。 When the correlation values of the polarization angle and the polarization degree are Corr ρ and Corr D , respectively, they can be expressed by the following equations.
ここで、STD(Di(k))、STD(Db(k))は、それぞれ、入力画像の局所領域内での偏光度の標準偏差と、背景画像の局所領域内での偏光度の標準偏差を表す。STD(ρi(k))、STD(ρb(k))は、それぞれ、入力画像の局所領域内での偏光角度の標準偏差と、背景画像の局所領域内での偏光角度の標準偏差を表す。DIFF(θ,γ)は、偏光角度θ,γの差を表す。 Here, STD (D i (k)) and STD (D b (k)) are respectively the standard deviation of the degree of polarization in the local region of the input image and the degree of polarization in the local region of the background image. Represents standard deviation. STD (ρ i (k)) and STD (ρ b (k)) are respectively the standard deviation of the polarization angle in the local region of the input image and the standard deviation of the polarization angle in the local region of the background image. Represent. DIFF (θ, γ) represents the difference between the polarization angles θ and γ.
ただし、偏光角度の平均、標準偏差は単純には求められないため、偏光角度ρi(k)を極座標(cos2ρi(k),sin2ρi(k))に変換して算出する。また、偏光角度は0〜180degで循環するため、差分も−90〜90degの範囲となるように丸める処理が必要となる。 However, since the average and standard deviation of the polarization angles cannot be obtained simply, the polarization angles ρ i (k) are calculated by converting them into polar coordinates (cos2ρ i (k), sin2ρ i (k)). In addition, since the polarization angle circulates in the range of 0 to 180 deg, it is necessary to round the difference so that the difference is in the range of −90 to 90 deg.
<方法2:偏光情報の差分のばらつき度>
局所領域内について、入力画像の偏光情報と背景画像の偏光情報の差分値を画素毎に算出する。算出した画素毎の差分値の分散を類似度として用いる。
<Method 2: Variation degree of difference in polarization information>
For the local region, a difference value between the polarization information of the input image and the polarization information of the background image is calculated for each pixel. The variance of the calculated difference value for each pixel is used as the similarity.
ここで、偏光情報の差分値を以下のように算出する。まず、入力画像のある座標の偏光角度、偏光度を使い、極座標系で2次元空間上の点として表現した際の直交座標系での座標位置(xi(k),yi(k))=(Di(k)cos2ρi(k),Di(k)sin2ρi(k))を求める。同様にして、背景画像についても (xb(k),yb(k))=(Db(k)cos2ρb(k),Db(k)sin2ρb(k))を求める。 Here, the difference value of the polarization information is calculated as follows. First, the coordinate position (x i (k), y i (k)) in the orthogonal coordinate system when expressed as a point in the two-dimensional space in the polar coordinate system using the polarization angle and polarization degree of a certain coordinate of the input image. = (D i (k) cos2ρ i (k), D i (k) sin2ρ i (k)) Similarly, (x b (k), y b (k)) = (D b (k) cos 2ρ b (k), D b (k) sin 2ρ b (k)) is also obtained for the background image.
そして、2次元空間上での(xi(k),yi(k))と(xb(k),yb(k))の差分ベクトル(xdiff(k),ydiff(k))を求める。差分ベクトルは以下の式で表すことができる。 Then, a difference vector (x diff (k), y diff (k)) between (x i (k), y i (k)) and (x b (k), y b (k)) in a two-dimensional space. ) The difference vector can be expressed by the following equation.
2次元空間上で、局所領域内の差分ベクトル(xdiff(k),ydiff(k))が大きくばらついて分布している(分散が高い)場合は、類似度が低くなり、ばらつきが小さく、固まって分布している(分散が低い)場合は類似度が高くなる。 When the difference vectors (x diff (k), y diff (k)) in the local region are widely dispersed and distributed (high dispersion) in the two-dimensional space, the similarity is low and the variation is small. In the case of solid distribution (low dispersion), the degree of similarity is high.
局所領域内の差分ベクトルのばらつき度としては、例えば差分ベクトルの局所領域内平均( ̄xdiff, ̄ydiff)からの平均距離を用いればよい。 As the degree of variation of the difference vector in the local region, for example, an average distance from the average of the difference vector in the local region ( ̄x diff ,  ̄y diff ) may be used.
(実体判定手段48)
実体判定手段48は、類似度算出手段46が算出した類似度を用いて、各局所領域について、実体領域か非実体領域かを判定する。実体領域は、背景画像に映っていた物体と異なる形状の物体が入力画像に映っている領域である。すなわち、実体領域は、実体によって入力画像が変化した領域である。非実体領域は、背景画像に映っていた物体と同じ形状の物体が入力画像に映っている領域である。すなわち、非実体領域は、実体による入力画像の変化が生じていない領域である。
(Substance determination means 48)
The entity determination unit 48 determines whether each local region is an entity region or a non-substance region by using the similarity calculated by the similarity calculation unit 46. The entity area is an area where an object having a different shape from the object reflected in the background image is reflected in the input image. In other words, the entity area is an area where the input image has changed depending on the entity. The non-substance area is an area in which an object having the same shape as the object reflected in the background image is reflected in the input image. That is, the non-substance area is an area where the input image does not change due to the substance.
本実施の形態における実体判定手段48は、類似度が低い局所領域を実体領域であると判定し、類似度が高い局所領域を非実体領域であると判定する。例えば、偏光情報の相関値を類似度として算出した場合、相関値が判定閾値未満の場合に局所領域を実体領域であると判定する。そして、相関値が判定閾値以上の場合に局所領域を非実体領域であると判定する。   The entity determination unit 48 in the present embodiment determines that a local region having a low similarity is an entity region, and determines that a local region having a high similarity is a non-substance region. For example, when the correlation value of polarization information is calculated as the similarity, when the correlation value is less than the determination threshold, the local region is determined to be an actual region. Then, when the correlation value is equal to or greater than the determination threshold, the local region is determined to be a non-substance region.
例えば、図3(a)に示すような入力画像60内の対象領域60Aの局所領域のうち、図3(b)に示すような背景画像62内の対応する局所領域との画素毎の比較結果がある傾向を有している局所領域(図3(d)参照)は、偏光情報の相関値が判定閾値以上となり、非実体領域であると判定される。一方、入力画像60内の対象領域60Aの局所領域のうち、背景画像62内の対応する局所領域との画素毎の比較結果がなんら傾向を有していない局所領域(図3(c)参照)は、偏光情報の相関値が判定閾値未満となり、実体領域であると判定される。   For example, among the local regions of the target region 60A in the input image 60 as shown in FIG. 3A, the comparison result for each pixel with the corresponding local region in the background image 62 as shown in FIG. A local region (see FIG. 3D) having a certain tendency has a correlation value of polarization information equal to or higher than a determination threshold value, and is determined to be an insubstantial region. On the other hand, among the local regions of the target region 60A in the input image 60, the comparison result for each pixel with the corresponding local region in the background image 62 has no tendency (see FIG. 3C). Is determined to be a substantial region because the correlation value of polarization information is less than the determination threshold.
また、偏光情報の差分のばらつき度を類似度として算出した場合、ばらつき度が判定閾値以上の場合に局所領域が実体領域であると判定する。そして、ばらつき度が判定閾値以上の場合に局所領域が非実体領域であると判定する。このとき、ばらつき度をそのまま類似度として用いるのではなく、ばらつき度が高いほど低くなり、ばらつき度が低いほど高くなるような評価値を求め、その評価値を類似度として判定閾値と比較するようにしてもよい。   Further, when the variation degree of the difference in polarization information is calculated as the similarity degree, it is determined that the local region is a substantial region when the variation degree is equal to or greater than a determination threshold value. Then, when the degree of variation is equal to or greater than the determination threshold, it is determined that the local region is a non-substance region. At this time, instead of using the degree of variation as the degree of similarity as it is, an evaluation value that is lower as the degree of variation is higher and higher as the degree of variation is higher is obtained, and the evaluation value is compared with the determination threshold as the degree of similarity. It may be.
(検出対象判定手段50)
検出対象判定手段50は、実体判定手段48の判定結果を用いて、監視空間に検出対象が存在するか否かを判定する。本実施の形態では、対象領域毎に、当該対象領域内の局所領域のうち実体領域と判定された局所領域同士を結合した領域(実体領域群)の大きさや形状に基づいて、当該対象領域が検出対象であるか否かを判定する。なお、実体領域群が、物体領域の一例である。
(Detection target determination means 50)
The detection target determination unit 50 determines whether a detection target exists in the monitoring space using the determination result of the entity determination unit 48. In the present embodiment, for each target region, the target region is determined based on the size and shape of a region (substance region group) obtained by combining local regions determined to be a substantial region among local regions in the target region. It is determined whether it is a detection target. The entity area group is an example of the object area.
本実施の形態では、人物を検出対象としているため、検出対象判定手段50は、実体領域群の大きさや形状が人物らしい場合に「検出対象あり」と判定する。例えば、大きさが所定範囲内、かつ縦長形状である(外接矩形のアスペクト比が一定範囲内である)場合に、人物らしいと判定する。   In the present embodiment, since a person is a detection target, the detection target determination unit 50 determines that “there is a detection target” when the size and shape of the entity region group seems to be a person. For example, when the size is within a predetermined range and is vertically long (the aspect ratio of the circumscribed rectangle is within a certain range), it is determined that the person is likely to be a person.
また、これに限らず、対象領域毎に、当該対象領域内の局所領域のうち非実体領域と判定された局所領域を除外して、その除外後の対象領域の大きさや形状に基づいて、当該対象領域が検出対象であるか否かを判定するようにしてもよい。   In addition, the present invention is not limited to this, for each target region, exclude a local region determined as an intangible region among local regions in the target region, and based on the size and shape of the target region after the exclusion, You may make it determine whether a target area | region is a detection target.
これにより、1つの対象領域内に、人物とその影が含まれていても、人物と影を分離して、精度良く人物の存在を判定することができる。また、対象領域内に含まれる、実体領域や非実体領域の割合に基づいて、実体による変化と、影や光による変化とを区別するようにしてもよい。例えば、対象領域内に含まれる非実体領域の割合が所定割合以上(例えば90%以上)である場合に、当該対象領域は実体のない影や光による変化と判定し、検出対象ではないと判定するようにしてもよい。   As a result, even if a person and its shadow are included in one target area, the person and the shadow can be separated and the presence of the person can be accurately determined. Further, based on the ratio of the entity area and the non-entity area included in the target area, a change due to an entity and a change due to a shadow or light may be distinguished. For example, when the ratio of the non-substance area included in the target area is equal to or higher than a predetermined ratio (for example, 90% or higher), the target area is determined to be a change caused by an invisible shadow or light, and is not detected. You may make it do.
なお、検出対象は、人物に限らず、車両などでもよい。   The detection target is not limited to a person but may be a vehicle.
また、本実施の形態では、対象領域を用いて検出対象を判定したが、これに限らない。例えば、入力画像中の実体領域を隣接するもの同士で結合して、1つの実体領域群とし、実体領域群の形状や大きさなどに基づいて、検出対象か否かを判定するようにしてもよい。   Moreover, in this Embodiment, although the detection target was determined using the object area | region, it is not restricted to this. For example, adjacent entity regions in the input image are joined together to form one entity region group, and whether or not the detection target is detected is determined based on the shape and size of the entity region group. Good.
(背景画像更新手段52)
背景画像更新手段52は、記憶部30に記憶されている背景画像を更新する。本実施の形態における背景画像更新手段52は、検出対象が撮影されている対象領域が検出されなかった入力画像を、新たな背景画像として記憶する。なお、背景画像の更新方法は、これに限らず、公知の方法を用いればよい。
(Background image updating means 52)
The background image update unit 52 updates the background image stored in the storage unit 30. The background image update means 52 in the present embodiment stores an input image in which the target area where the detection target is photographed is not detected as a new background image. The background image update method is not limited to this, and a known method may be used.
(出力部54) (Output 54)
出力部54は、検出対象判定手段50の検出結果を外部に出力する。本実施の形態では、出力部54は、検出対象判定手段50にて、入力画像中に人物などの検出対象が撮影されていると判定された対象領域が1つ以上存在する場合に、監視空間内に侵入物体が存在すると判定して、外部の監視センタなどに、その旨を出力する。   The output unit 54 outputs the detection result of the detection target determination unit 50 to the outside. In the present embodiment, the output unit 54 detects the monitoring space when there is one or more target areas in which the detection target determination unit 50 determines that a detection target such as a person is captured in the input image. It is determined that there is an intruding object inside, and this is output to an external monitoring center or the like.
<物体検出装置100の動作>
以下、図4に示したフローチャートを参照しつつ、本発明を適用した物体検出装置100による全体処理の動作を説明する。図4に示すフローチャートは、ユーザーの指示等によって開始される。
<Operation of Object Detection Device 100>
Hereinafter, the operation of the entire process by the object detection apparatus 100 to which the present invention is applied will be described with reference to the flowchart shown in FIG. The flowchart shown in FIG. 4 is started by a user instruction or the like.
最初に、撮影部10は、偏光フィルタが透過する偏光方向が少なくとも3種類以上になるように、監視空間を撮影し、同じシーンを撮影した3種類以上の偏光画像を取得する(ステップS1)。   First, the imaging unit 10 captures the monitoring space so that there are at least three types of polarization directions transmitted by the polarization filter, and acquires three or more types of polarized images of the same scene (step S1).
そして、偏光情報取得部20は、撮影部10から受け取った、同じシーンを撮影した3種類以上の偏光画像を用いて、画素毎に、当該シーンにおける偏光情報を取得する(ステップS2)。具体的には、本実施の形態における偏光情報取得部20は、偏光情報として、偏光度及び偏光方向を算出する。また、偏光情報取得部20は、各偏光画像の輝度値の平均値(平均輝度値)から、そのシーンにおける平均輝度値画像を生成し、入力画像とする。   And the polarization information acquisition part 20 acquires the polarization information in the said scene for every pixel using the 3 or more types of polarization image which image | photographed the same scene received from the imaging | photography part 10 (step S2). Specifically, the polarization information acquisition unit 20 in the present embodiment calculates the degree of polarization and the polarization direction as the polarization information. In addition, the polarization information acquisition unit 20 generates an average luminance value image in the scene from the average value (average luminance value) of the luminance values of each polarization image, and sets it as an input image.
そして、対象領域検出手段42は、入力画像から検出対象が撮影されている可能性が高い領域を対象領域として検出する(ステップS3)。本実施の形態では、対象領域検出手段42は、記憶部30から取得した背景画像30Aと入力画像を比較して、対象領域を検出する。   Then, the target area detection unit 42 detects an area where the detection target is highly likely to be captured from the input image as the target area (step S3). In the present embodiment, the target area detection unit 42 detects the target area by comparing the background image 30A acquired from the storage unit 30 with the input image.
そして、情報処理部40は、上記ステップS3で対象領域が検出されたか否かを判定する(ステップS4)。上記ステップS3で対象領域が検出されなかったと判定された場合には、ステップS11へ移行する。   Then, the information processing section 40 determines whether or not the target area has been detected in step S3 (step S4). If it is determined in step S3 that the target area has not been detected, the process proceeds to step S11.
一方、上記ステップS3で対象領域が検出されたと判定された場合には、検出された対象領域の数だけ、後述するステップS5〜ステップS8を繰り返し実行する。このとき、検出された対象領域の各々を、処理対象となる対象領域として、ステップS5〜ステップS8を繰り返し実行する。   On the other hand, if it is determined in step S3 that the target area has been detected, steps S5 to S8 described later are repeatedly executed for the number of detected target areas. At this time, Steps S5 to S8 are repeatedly executed with each of the detected target regions as a target region to be processed.
まず、領域分割手段44は、処理対象となる対象領域を複数の小領域に分割し、この小領域を局所領域とする(ステップS5)。   First, the area dividing unit 44 divides a target area to be processed into a plurality of small areas, and sets this small area as a local area (step S5).
次に、上記ステップS5で得られた局所領域の数だけ、後述するステップS6〜ステップS7を繰り返し実行する。このとき、局所領域の各々を、処理対象となる局所領域として、ステップS6〜ステップS7を繰り返し実行する。   Next, steps S6 to S7 described later are repeatedly executed for the number of local regions obtained in step S5. At this time, Steps S6 to S7 are repeatedly executed with each local region as a local region to be processed.
類似度算出手段46は、処理対象の局所領域について、入力画像の偏光情報と背景画像の偏光情報を比較することで、偏光情報の空間的な分布の類似度を算出する(ステップS6)。   The similarity calculation means 46 calculates the similarity of the spatial distribution of the polarization information by comparing the polarization information of the input image and the polarization information of the background image for the local region to be processed (step S6).
そして、実体判定手段48は、類似度算出手段46が算出した類似度を用いて、処理対象の局所領域について、実体領域か非実体領域かを判定する。   Then, the entity determination unit 48 determines whether the local region to be processed is an entity region or a non-substance region using the similarity calculated by the similarity calculation unit 46.
検出対象判定手段50は、実体判定手段48による各局所領域の判定結果を用いて、処理対象の対象領域が検出対象であるか否かを判定する(ステップS8)。本実施の形態では、検出対象判定手段50は、実体判定手段48による各局所領域の判定結果を用いて、処理対象の対象領域内の局所領域のうち実体領域と判定された局所領域同士を結合した領域(実体領域群)の大きさや形状を求め、処理対象の対象領域が検出対象であるか否かを判定する。   The detection target determination unit 50 determines whether or not the target region to be processed is a detection target using the determination result of each local region by the entity determination unit 48 (step S8). In the present embodiment, the detection target determination unit 50 combines local regions determined as entity regions among local regions in the target region to be processed using the determination results of the local regions by the entity determination unit 48. The size and shape of the region (substance region group) obtained are obtained, and it is determined whether or not the target region to be processed is a detection target.
そして、情報処理部40は、上記ステップS8で検出対象が撮影されていると判定された対象領域が1つ以上存在するか否かを判定する(ステップS9)。上記ステップS8で検出対象が撮影されていると判定された対象領域が1つも存在しないと判定された場合には、ステップS11へ移行する。   Then, the information processing section 40 determines whether or not there is one or more target areas in which it is determined in step S8 that the detection target is captured (step S9). If it is determined that there is no target area in which it is determined in step S8 that the detection target has been shot, the process proceeds to step S11.
一方、上記ステップS8で検出対象が撮影されていると判定された対象領域が1つ以上存在すると判定された場合には、ステップS10へ移行する。   On the other hand, if it is determined that there is one or more target areas in which it is determined in step S8 that the detection target has been shot, the process proceeds to step S10.
出力部54は、検出対象判定手段50の検出結果を外部に出力する(ステップS10)。本実施の形態では、出力部54は、監視空間内に侵入物体が存在すると判定して、外部の監視センタなどに、その旨を出力し、上記ステップS1へ戻る。   The output unit 54 outputs the detection result of the detection target determination unit 50 to the outside (step S10). In the present embodiment, the output unit 54 determines that there is an intruding object in the monitoring space, outputs that fact to an external monitoring center, and returns to Step S1.
背景画像更新手段52は、記憶部30に記憶されている背景画像を更新する(ステップS11)。本実施の形態における背景画像更新手段52は、検出対象が撮影されている対象領域が検出されなかった入力画像を、新たな背景画像30Aとして記憶部30に記憶し、上記ステップS1へ戻る。   The background image update unit 52 updates the background image stored in the storage unit 30 (step S11). The background image update means 52 in the present embodiment stores the input image in which the target area where the detection target is photographed is not detected as a new background image 30A in the storage unit 30, and returns to step S1.
以上説明してきたように、本発明の実施の形態に係る物体検出装置は、局所領域について、入力画像の偏光情報と背景画像の偏光情報との相関が高いほど高くなる類似度を算出し、類似度が所定値以下であるか否かを判定することにより、偏光情報を用いて、背景画像(比較画像)と比較して物体による変化がある領域であるか否かを判定することができる。また、被写体の立体形状に関する成分を含んだ偏光情報を用いて、入力画像の偏光情報と背景画像(比較画像)の偏光情報を比較することで、実体のない影や光と、実体のある人物などを区別することができる。   As described above, the object detection device according to the embodiment of the present invention calculates the similarity for the local region, which increases as the correlation between the polarization information of the input image and the polarization information of the background image increases. By determining whether or not the degree is equal to or less than a predetermined value, it is possible to determine whether or not the region has a change due to an object as compared with the background image (comparative image) using the polarization information. Also, by comparing the polarization information of the input image and the polarization information of the background image (comparison image) using the polarization information including the component related to the three-dimensional shape of the subject, an intangible shadow or light and an actual person Can be distinguished.
以上、本発明の好適な実施形態について説明してきたが、本発明はこれらの実施形態に限定されるものではない。当業者は本発明の範囲内で、実施される形態に合わせて様々な変更を行うことができる。   The preferred embodiments of the present invention have been described above, but the present invention is not limited to these embodiments. Those skilled in the art can make various modifications in accordance with the embodiment to be implemented within the scope of the present invention.
10 撮影部
20 偏光情報取得部
30 記憶部
30A 背景画像
40 情報処理部
42 対象領域検出手段
44 領域分割手段
46 類似度算出手段
48 実体判定手段
50 検出対象判定手段
52 背景画像更新手段
54 出力部
100 物体検出装置
DESCRIPTION OF SYMBOLS 10 Image | photographing part 20 Polarization information acquisition part 30 Storage part 30A Background image 40 Information processing part 42 Target area detection means 44 Area division means 46 Similarity calculation means 48 Entity determination means 50 Detection target determination means 52 Background image update means 54 Output part 100 Object detection device

Claims (5)

  1. 空間を撮影した入力画像から、局所領域内の各画素の偏光情報を取得する偏光情報取得部と、
    前記局所領域について、前記入力画像の前記偏光情報と、前記入力画像と撮影時刻が異なる前記空間を撮影した比較画像の前記偏光情報との相関が高いほど高くなる類似度を算出する類似度算出部と、
    前記類似度が所定値以下である場合、前記入力画像における前記局所領域が、前記比較画像と比較して物体による変化があった領域であると判定する物体判定部と、
    を含む物体検出装置。
    A polarization information acquisition unit that acquires polarization information of each pixel in the local region from an input image obtained by photographing a space;
    For the local region, a similarity calculation unit that calculates the degree of similarity that increases as the correlation between the polarization information of the input image and the polarization information of the comparison image obtained by imaging the space where the input image differs from the imaging time is higher. When,
    An object determination unit that determines that the local region in the input image is a region that has changed due to an object compared to the comparison image when the similarity is equal to or less than a predetermined value;
    An object detection apparatus including:
  2. 前記物体判定部は、前記類似度が前記所定値よりも高い場合、前記入力画像における前記局所領域が、前記比較画像と比較して物体による変化がなかった領域であると判定する請求項1記載の物体検出装置。   The said object determination part determines that the said local area | region in the said input image is an area | region which did not change with an object compared with the said comparison image, when the said similarity degree is higher than the said predetermined value. Object detection device.
  3. 前記類似度算出部は、前記局所領域について、画素毎に前記入力画像の当該画素の前記偏光情報と前記比較画像の当該画素の前記偏光情報とを比較した比較結果の傾向の有無を表す相関値を、前記類似度として算出する請求項1又は2記載の物体検出装置。   The similarity calculation unit, for the local region, a correlation value representing presence / absence of a tendency of a comparison result comparing the polarization information of the pixel of the input image and the polarization information of the pixel of the comparison image for each pixel. The object detection device according to claim 1, wherein the calculation is performed as the similarity.
  4. 前記類似度算出部は、前記局所領域について、画素毎の、前記入力画像の当該画素の前記偏光情報と前記比較画像の当該画素の前記偏光情報との差分のばらつきを、前記類似度として算出する請求項1〜請求項3の何れか1項記載の物体検出装置。   The similarity calculation unit calculates, as the similarity, a variation in a difference between the polarization information of the pixel of the input image and the polarization information of the pixel of the comparison image for each pixel for the local region. The object detection apparatus of any one of Claims 1-3.
  5. 前記入力画像の対象領域を検出する対象領域検出部と、
    前記対象領域内の局所領域のうち、前記物体による変化があった領域であると判定された局所領域を結合した物体領域を生成し、前記物体領域が検出対象を表すか否かを判定する検出対象判定部と、
    を更に含む請求項1〜請求項4の何れか1項記載の物体検出装置。
    A target area detection unit for detecting a target area of the input image;
    Detection that generates an object region obtained by combining local regions determined to be a region changed by the object among local regions in the target region, and determines whether the object region represents a detection target An object determination unit;
    The object detection device according to any one of claims 1 to 4, further comprising:
JP2017140983A 2017-07-20 2017-07-20 Object detection device Active JP6585668B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2017140983A JP6585668B2 (en) 2017-07-20 2017-07-20 Object detection device

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2017140983A JP6585668B2 (en) 2017-07-20 2017-07-20 Object detection device

Publications (2)

Publication Number Publication Date
JP2019021189A true JP2019021189A (en) 2019-02-07
JP6585668B2 JP6585668B2 (en) 2019-10-02

Family

ID=65355320

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2017140983A Active JP6585668B2 (en) 2017-07-20 2017-07-20 Object detection device

Country Status (1)

Country Link
JP (1) JP6585668B2 (en)

Also Published As

Publication number Publication date
JP6585668B2 (en) 2019-10-02

Similar Documents

Publication Publication Date Title
US20170293796A1 (en) Flight device and flight control method
JP4308319B2 (en) Image processing apparatus and image processing method
KR102144394B1 (en) Apparatus and method for alignment of images
JP2017045283A5 (en)
JP2009188837A (en) Image pickup apparatus and image pickup method
US10839521B2 (en) Image processing apparatus, image processing method, and computer-readable storage medium
JP4193342B2 (en) 3D data generator
KR101348681B1 (en) Multi-sensor image alignment method of image detection system and apparatus using the same
JP2017032335A (en) Information processing device, information processing method, and program
JP2016057194A (en) Information processing device, information processing method, and program
JP2019021189A (en) Object detection device
JP2016072924A (en) Image processing system and image processing method
JP6579950B2 (en) Image analysis apparatus, program, and method for detecting person appearing in captured image of camera
KR20150021352A (en) Apparatus and method for alignment of images
EP2953096B1 (en) Information processing device, information processing method, system and carrier means
JP6275022B2 (en) Image monitoring device
JP6617124B2 (en) Object detection device
JP2019022147A (en) Light source direction estimation device
KR102156998B1 (en) A method for detecting motion in a video sequence
JP2020149641A (en) Object tracking device and object tracking method
TWI709110B (en) Camera calibration method and apparatus, electronic device
JP6774915B2 (en) Image processing equipment, image processing method and image processing program
KR101578523B1 (en) Method, system and computer-readable recording medium for utilizing multiview cameras equipped with parallel image filtering units and linear light source
KR101844004B1 (en) Image generating apparatus including distance information
JP2021140406A (en) Image processing device, image processing method and image processing program

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20180927

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20190808

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20190827

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20190905

R150 Certificate of patent or registration of utility model

Ref document number: 6585668

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150