JP2009080572A - Apparatus and method for detecting moving body - Google Patents

Apparatus and method for detecting moving body Download PDF

Info

Publication number
JP2009080572A
JP2009080572A JP2007247915A JP2007247915A JP2009080572A JP 2009080572 A JP2009080572 A JP 2009080572A JP 2007247915 A JP2007247915 A JP 2007247915A JP 2007247915 A JP2007247915 A JP 2007247915A JP 2009080572 A JP2009080572 A JP 2009080572A
Authority
JP
Japan
Prior art keywords
edge
class
moving object
frequency distribution
moving
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2007247915A
Other languages
Japanese (ja)
Inventor
Takeshi Tazaki
豪 田崎
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Toshiba Corp
Original Assignee
Toshiba Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Toshiba Corp filed Critical Toshiba Corp
Priority to JP2007247915A priority Critical patent/JP2009080572A/en
Publication of JP2009080572A publication Critical patent/JP2009080572A/en
Pending legal-status Critical Current

Links

Landscapes

  • Image Processing (AREA)
  • Studio Devices (AREA)
  • Image Analysis (AREA)

Abstract

<P>PROBLEM TO BE SOLVED: To provide a moving body detection apparatus, capable of detecting a moving body with good accuracy from an image of a wide view angle obtained from a mobile body. <P>SOLUTION: The moving body detection apparatus includes an imaging device 10 for obtaining wide view angle images from the mobile body at first and second time points; an edge acquisition section 101 for obtaining edges of radial direction from the wide view angle images at the first and the second time points, respectively; a frequency distribution generation section 102 for generating edge frequency distribution by defining a frequency to be the magnitude of the edge in the radial direction at each of the first and the second time points; a clustering section 104 for clustering a consecutive plurality of histogram bins included in the edge frequency distribution at each of the first and the second time points, as an identical class; a moving amount estimation section 105 for estimating the moving amount of the class between the first and the second time points; a candidate detection section 106 for detecting moving image candidates based on the moving amount; and a moving body detection section 107 for detecting the moving body from the moving body candidates. <P>COPYRIGHT: (C)2009,JPO&INPIT

Description

本発明は、広視野角画像から動物体を検出する動物体検出装置及び動物体検出方法に関する。   The present invention relates to a moving object detection device and a moving object detection method for detecting a moving object from a wide viewing angle image.

ロボット等の自立移動体にとって、安全な走行を行うために周囲の動物体を検出して、回避動作を行うことは重要である。そこで広視野角画像を取得できるカメラが開発されている。広視野角画像を用いれば、一つのカメラ素子でも周囲の状況を把握することができ、装置の小型化と同期処理の手間が省ける。又、移動体が広範囲の動物体(障害物)を検出し、自立走行が可能になる。しかし、広視野角画像には歪みが大きいため、移動中の広視野角画像による動物体検出を行った例は少ない。   It is important for an autonomous moving body such as a robot to detect surrounding animals and perform an avoidance operation in order to perform safe traveling. Therefore, a camera capable of acquiring a wide viewing angle image has been developed. If a wide viewing angle image is used, the surrounding situation can be grasped even with a single camera element, and the downsizing of the apparatus and the trouble of synchronization processing can be saved. In addition, the moving body can detect a wide range of moving objects (obstacles) and can run independently. However, since a wide viewing angle image has a large distortion, there are few examples of performing moving object detection using a moving wide viewing angle image.

移動中の広視野角画像を用いた技術として、広視野角画像からエッジヒストグラムを作成し、動物体を検出する手法がある(例えば、特許文献1及び2参照。)。しかし、広視野角画像全体に対してエッジを検出しているので、棚等、広視野角画像上で円周方向のエッジを持つ物体が多くある屋内施設においては、エッジヒストグラムが平坦化してしまい、動物体の検出が難しくなる。又、閾値処理により大きなエッジだけを利用し、単一の類似尺度を用いてエッジヒストグラム全体で対応をとるので、小さなエッジを持つ背景情報を使用できず、特定方向に移動する動物体しか検出できない。   As a technique using a wide viewing angle image during movement, there is a technique of creating an edge histogram from the wide viewing angle image and detecting a moving object (see, for example, Patent Documents 1 and 2). However, since edges are detected for the entire wide viewing angle image, the edge histogram is flattened in indoor facilities where there are many objects with circumferential edges on the wide viewing angle image, such as shelves. This makes it difficult to detect moving objects. In addition, since only a large edge is used for threshold processing, and a single similarity measure is used for the entire edge histogram, background information having a small edge cannot be used, and only moving objects that move in a specific direction can be detected. .

例えば特許文献1及び2では、エッジヒストグラム作成時に閾値処理をかけることで、全体的な背景の流れを知るための小さなエッジ情報は使用できない。これらの例では、車が前方に移動していることを利用して、前から後ろに流れる大きなエッジを静止物体とし、後ろから前に流れる大きなエッジを移動物体としている。したがって、さまざまな方向に移動するロボットにおいて、動物体を検出することができない。
特開2001−301552号公報 特開2001−8196号公報
For example, in Patent Documents 1 and 2, small edge information for knowing the overall background flow cannot be used by applying threshold processing when creating an edge histogram. In these examples, using the fact that the car is moving forward, a large edge flowing from the front to the back is a stationary object, and a large edge flowing from the back to the front is a moving object. Therefore, a moving object cannot be detected in a robot that moves in various directions.
JP 2001-301552 A JP 2001-8196 A

本発明の目的は、移動体からの広視野角画像から動物体を精度良く検出可能な動物体検出装置及び動物体検出方法を提供することである。   An object of the present invention is to provide a moving object detection apparatus and a moving object detection method capable of accurately detecting a moving object from a wide viewing angle image from a moving object.

本願発明の一態様によれば、(イ)第1及び第2の時刻において移動体からの広視野角画像を取得する撮像装置と、(ロ)第1及び第2の時刻のそれぞれの広視野角画像から半径方向エッジをそれぞれ獲得するエッジ獲得部と、(ハ)第1及び第2の時刻のそれぞれの半径方向エッジの大きさを度数としてエッジ度数分布をそれぞれ作成する度数分布作成部と、(ニ)第1及び第2の時刻のそれぞれのエッジ度数分布中に含まれる連続する複数のヒストグラムビンを同一のクラスとしてそれぞれクラスタリングするクラスタリング部と、(ホ)第1及び第2の時刻間のクラスの移動量を推定する移動量推定部と、(ヘ)移動量に基づき動物体候補を検出する候補検出部と、(ト)動物体候補から動物体を検出する動物体検出部とを備える動物体検出装置が提供される。   According to one aspect of the present invention, (b) an imaging device that acquires a wide viewing angle image from a moving body at first and second times, and (b) a wide field of view at each of first and second times. An edge acquisition unit that acquires each radial edge from a corner image; and (c) a frequency distribution generation unit that generates an edge frequency distribution using the size of each radial edge at the first and second times as a frequency, and (D) a clustering unit that clusters a plurality of continuous histogram bins included in each edge frequency distribution at each of the first and second times as the same class; and (e) between the first and second times. A movement amount estimation unit that estimates a movement amount of a class, (f) a candidate detection unit that detects a moving object candidate based on the movement amount, and (g) a moving object detection unit that detects a moving object from the moving object candidate. animal Detecting apparatus is provided.

本願発明の他の態様によれば、(イ)移動体からの広視野角画像を取得するステップと、(ロ)第1及び第2の時刻のそれぞれの広視野角画像から半径方向エッジをそれぞれ獲得するステップと、(ハ)第1及び第2の時刻のそれぞれの半径方向エッジの大きさを度数としてエッジ度数分布をそれぞれ作成するステップと、(ニ)第1及び第2の時刻のそれぞれのエッジ度数分布中に含まれる連続する複数のヒストグラムビンを同一のクラスとしてそれぞれクラスタリングするステップと、(ホ)第1及び第2の時刻間のクラスの移動量を推定するステップと、(ヘ)移動量に基づき動物体候補を検出するステップと、(ト)動物体候補から動物体を検出するステップとを含む動物体検出方法が提供される。   According to another aspect of the present invention, (b) a step of acquiring a wide viewing angle image from a moving body, and (b) a radial edge from each of the wide viewing angle images at the first and second times. (C) a step of creating an edge frequency distribution using the size of the radial edge at each of the first and second times as a frequency, and (d) each of the first and second times. Clustering a plurality of consecutive histogram bins included in the edge frequency distribution as the same class, (e) estimating the amount of movement of the class between the first and second times, and (f) moving An object detection method is provided that includes a step of detecting a moving object candidate based on the amount, and (g) a step of detecting the moving object from the moving object candidate.

本発明によれば、移動体からの広視野角画像から動物体を精度良く検出可能な動物体検出装置及び動物体検出方法を提供することができる。   ADVANTAGE OF THE INVENTION According to this invention, the moving body detection apparatus and moving body detection method which can detect a moving body accurately from the wide viewing angle image from a moving body can be provided.

次に、図面を参照して、本発明の実施の形態を説明する。以下の図面の記載において、同一又は類似の部分には同一又は類似の符号を付している。ただし、図面は模式的なものであり、厚みと平面寸法との関係、各層の厚みの比率等は現実のものとは異なることに留意すべきである。したがって、具体的な厚みや寸法は以下の説明を参酌して判断すべきものである。又、図面相互間においても互いの寸法の関係や比率が異なる部分が含まれていることは勿論である。   Next, embodiments of the present invention will be described with reference to the drawings. In the following description of the drawings, the same or similar parts are denoted by the same or similar reference numerals. However, it should be noted that the drawings are schematic, and the relationship between the thickness and the planar dimensions, the ratio of the thickness of each layer, and the like are different from the actual ones. Therefore, specific thicknesses and dimensions should be determined in consideration of the following description. Moreover, it is a matter of course that portions having different dimensional relationships and ratios are included between the drawings.

(動物体検出装置)
本発明の実施の形態に係る動物体検出装置は、図1に示すように、第1及び第2の時刻において移動体からの広視野角画像を取得する撮像装置10と、第1及び第2の時刻のそれぞれの広視野角画像から半径方向エッジをそれぞれ獲得するエッジ獲得部101と、第1及び第2の時刻のそれぞれの半径方向エッジの大きさを度数としてエッジ度数分布をそれぞれ作成する度数分布作成部102と、第1及び第2の時刻のそれぞれのエッジ度数分布中に含まれる連続する複数のヒストグラムビンを同一のクラスとしてそれぞれクラスタリングするクラスタリング部104と、第1及び第2の時刻間のクラスの移動量を推定する移動量推定部105と、移動量に基づき動物体候補を検出する候補検出部106と、動物体候補から動物体を検出する動物体検出部107とを備える。
(Animal body detection device)
As shown in FIG. 1, the moving object detection device according to the embodiment of the present invention includes an imaging device 10 that acquires wide viewing angle images from a moving body at first and second times, and first and second. An edge acquisition unit 101 that acquires radial edges from each wide viewing angle image at each time, and a frequency that creates an edge frequency distribution with the size of each radial edge at the first and second times as frequencies. A distribution creation unit 102; a clustering unit 104 that clusters a plurality of continuous histogram bins included in each edge frequency distribution at each of the first and second times as the same class; and between the first and second times A moving amount estimating unit 105 for estimating the moving amount of the class, a candidate detecting unit 106 for detecting a moving object candidate based on the moving amount, and detecting a moving object from the moving object candidate And a object detection unit 107.

エッジ獲得部101、度数分布作成部102、クラスタリング部104、移動量推定部105、候補検出部106、及び動物体検出部107は、ハードウェア資源であるモジュール(論理回路)として中央演算処理装置(CPU)100に論理的に備えられている。分割部103は、エッジ度数分布を移動体の進行方向で分割するハードウェア資源としてのモジュール(論理回路)である。CPU100には、左側度数分布記憶装置108、右側度数分布記憶装置109、左側クラス記憶装置110、右側クラス記憶装置111及びデータ記憶装置112等が接続されている。ここで、右側および左側とは、広視野角画像の任意の角度を原点とし、原点に対して一方を右側、他方を左側と相対的に定義したものである。   The edge acquisition unit 101, the frequency distribution creation unit 102, the clustering unit 104, the movement amount estimation unit 105, the candidate detection unit 106, and the moving object detection unit 107 are a central processing unit (module) as a hardware resource module (logic circuit). CPU) 100 is logically provided. The dividing unit 103 is a module (logic circuit) as a hardware resource that divides the edge frequency distribution in the moving direction of the moving object. A left frequency distribution storage device 108, a right frequency distribution storage device 109, a left class storage device 110, a right class storage device 111, a data storage device 112, and the like are connected to the CPU 100. Here, the right side and the left side are defined by defining an arbitrary angle of the wide viewing angle image as an origin and defining one as a right side and the other as a left side with respect to the origin.

撮像装置10は、ロボット等の移動体に設置されている。撮像装置10としては、曲面ミラーや魚眼レンズ等の広視野を確保するための光学機器を装着したカメラ等が使用可能である。撮像装置10は、第1及び第2の時刻において図2に示すような環状の広視野角画像を撮像する。図2に示した広視野角画像中の位置P1,P2には動物体(人物)A1,A2が写っている。   The imaging device 10 is installed on a moving body such as a robot. As the imaging device 10, a camera equipped with an optical device for securing a wide field of view such as a curved mirror or a fisheye lens can be used. The imaging device 10 captures an annular wide viewing angle image as shown in FIG. 2 at the first and second times. Moving bodies (persons) A1 and A2 are shown at positions P1 and P2 in the wide viewing angle image shown in FIG.

エッジ獲得部101は、撮像装置10が取得した第1及び第2の時刻のそれぞれの環状の広視野角画像について、移動体の進行方向を中心としてパノラマ展開を行い、図3に示すような帯状のパノラマ画像を得る。図3に示したパノラマ画像において縦軸方向が半径方向、横軸方向が円周方向を表す。   The edge acquisition unit 101 performs panoramic development about the annular wide viewing angle images acquired by the imaging device 10 at the first and second times with the moving direction of the moving body as the center, as shown in FIG. Get panoramic images. In the panoramic image shown in FIG. 3, the vertical axis direction represents the radial direction, and the horizontal axis direction represents the circumferential direction.

更に、エッジ獲得部101は、パノラマ画像の各画素の濃度を縦軸方向(円周方向)に微分することにより、図4に白色で示すような半径方向に強い強度を持つ半径方向エッジを獲得する。   Further, the edge acquisition unit 101 acquires a radial edge having a strong intensity in the radial direction as shown in white in FIG. 4 by differentiating the density of each pixel of the panoramic image in the vertical axis direction (circumferential direction). To do.

度数分布作成部102は、エッジ獲得部101により獲得した各方位角の半径方向エッジの大きさを度数としてエッジ度数分布を作成する。ここで、半径方向エッジの大きさとは、半径方向のエッジの累積度数またはエッジの累積輝度を指す。図5は、エッジ度数分布で表現されるエッジ度数分布図(エッジヒストグラム)を示す。エッジ度数分布を構成する複数のヒストグラムビンは、ここでは1度間隔としているが、特に限定されない。   The frequency distribution creating unit 102 creates an edge frequency distribution with the size of the radial edge of each azimuth angle acquired by the edge acquiring unit 101 as the frequency. Here, the size of the edge in the radial direction refers to the cumulative frequency of the edge in the radial direction or the cumulative luminance of the edge. FIG. 5 shows an edge frequency distribution diagram (edge histogram) expressed by an edge frequency distribution. The plurality of histogram bins constituting the edge frequency distribution are set to one-degree intervals here, but are not particularly limited.

分割部103は、度数分布作成部102により作成したエッジ度数分布を原点(例えば移動体の進行方向)で左側と右側に分割する。例えば、図5に点線で示した180度方向を進行方向とし、左側エッジ度数分布は0度〜180度、右側エッジ度数分布は180度〜360度とする。左側エッジ度数分布及び右側エッジ度数分布は、それぞれ左側度数分布記憶装置108及び右側度数分布記憶装置109に記憶される。   The dividing unit 103 divides the edge frequency distribution created by the frequency distribution creating unit 102 into the left side and the right side at the origin (for example, the traveling direction of the moving body). For example, the 180 degree direction indicated by the dotted line in FIG. 5 is the traveling direction, the left edge frequency distribution is 0 to 180 degrees, and the right edge frequency distribution is 180 to 360 degrees. The left edge frequency distribution and the right edge frequency distribution are stored in the left frequency distribution storage device 108 and the right frequency distribution storage device 109, respectively.

クラスタリング部104は、データ記憶装置112に記憶されている閾値を読み出し、右側度数分布記憶装置109に記憶されている第1及び第2の時刻のそれぞれの右側エッジ度数分布において、度数が0より大きいヒストグラムビンのうち、互いの円周方向の方位角上の距離が閾値以内にある連続する複数のヒストグラムビンを同一のクラスとしてクラスタリングする。この閾値は任意に設定可能である。各クラスに付されるクラス番号、ヒストグラムビンの数(メンバ数)、クラスを構成するエッジ度数分布、クラスの始点となるヒストグラムビンの方位角、終点となるヒストグラムビンの方位角等のクラス情報を、クラス毎に右側クラス記憶装置111に記憶させる。   The clustering unit 104 reads the threshold value stored in the data storage device 112, and the frequency is greater than 0 in each of the right edge frequency distributions at the first and second times stored in the right frequency distribution storage device 109. Among histogram bins, a plurality of continuous histogram bins whose distances on the azimuth angle in the circumferential direction are within a threshold value are clustered as the same class. This threshold value can be set arbitrarily. Class information such as the class number assigned to each class, the number of histogram bins (number of members), the edge frequency distribution constituting the class, the azimuth angle of the histogram bin as the start point of the class, and the azimuth angle of the histogram bin as the end point The right class storage device 111 stores each class.

図6には180度〜360度の右側エッジ度数分布をクラスタリングした一例を示す。図6では、ヒストグラムビンを丸印のマークで示している。第1の時刻t−Δtにおいて、クラス毎にクラス番号1〜10が付されている。第2の時刻tにおいて、クラス毎にクラス番号1〜9が付されている。   FIG. 6 shows an example of clustering the right edge frequency distribution of 180 degrees to 360 degrees. In FIG. 6, the histogram bin is indicated by a circle mark. At the first time t−Δt, class numbers 1 to 10 are assigned for each class. At the second time t, class numbers 1 to 9 are assigned for each class.

同様に、クラスタリング部104は、データ記憶装置112に記憶されている閾値を読み出し、左側度数分布記憶装置108に記憶されている第1の時刻t−Δt及び第2の時刻tのそれぞれの左側エッジ度数分布において、度数が0より大きいヒストグラムビンのうち、互いの円周方向の方位角上の距離が閾値以内にある連続する複数のヒストグラムビンを同一のクラスとしてクラスタリングし、クラス情報を左側クラス記憶装置110に記憶させる。   Similarly, the clustering unit 104 reads the threshold value stored in the data storage device 112, and the left edge of each of the first time t−Δt and the second time t stored in the left frequency distribution storage device 108. In the frequency distribution, among histogram bins whose frequency is greater than 0, a plurality of consecutive histogram bins whose distances on the circumferential direction azimuth are within a threshold are clustered as the same class, and class information is stored in the left class. Store in device 110.

移動量推定部105は、右側度数分布記憶装置109に記憶されている第1の時刻t−Δt及び第2の時刻tのそれぞれの右側エッジ度数分布と、右側クラス記憶装置111に記憶されている第1の時刻t−Δt及び第2の時刻tのそれぞれのクラス情報を読み出す。第1の時刻t−Δtのクラス番号n(n=1,2,3…,第1の時刻t−Δtの総クラス数)について、類似尺度を用いて第2の時刻tのエッジ度数分布と対応付けて、第1の時刻t−Δtと第2の時刻tとの間のクラスの移動量を推定する。   The movement amount estimation unit 105 stores the right edge frequency distribution at the first time t−Δt and the second time t stored in the right frequency distribution storage device 109 and the right class storage device 111. The respective class information at the first time t−Δt and the second time t is read out. For the class number n (n = 1, 2, 3..., The total number of classes at the first time t−Δt) at the first time t−Δt, the edge frequency distribution at the second time t using the similarity measure Correspondingly, the movement amount of the class between the first time t−Δt and the second time t is estimated.

ここで、小さなエッジも大きなエッジも扱えるよう、複数種の類似尺度を定義し、各クラスを構成するエッジ度数分布の特徴等に応じて類似尺度を選択して使用する。複数種の類似尺度として、本発明の実施の形態においては、「ビン一致度」と「度数差異度」を計算する。第1の時刻t−Δtのクラス番号nのクラスをシフトさせる方位角上の度数をshiftとした場合、ビン一致度Cn(shift)、度数差異度Rn(shift)はそれぞれ例えば式(1),(2)のように定義される。
Here, a plurality of types of similarity measures are defined so that both small edges and large edges can be handled, and the similarity measures are selected and used according to the characteristics of the edge frequency distribution constituting each class. In the embodiment of the present invention, “bin matching degree” and “frequency difference degree” are calculated as a plurality of types of similarity measures. When the frequency on the azimuth angle for shifting the class of the class number n at the first time t−Δt is set to shift, the bin coincidence degree Cn (shift) and the frequency difference degree Rn (shift) are, for example, formulas (1), It is defined as (2).

ここで、Ht(k)は第2の時刻tにおける方位角kのヒストグラムビンの度数を表し、snはクラス番号nの始点となる方位角、fnはクラス番号nの終点となる方位角を表す。また関数Z(・)は引数が正の場合は1、0以下の場合は0を返す。 Here, Ht (k) represents the histogram bin frequency of the azimuth angle k at the second time t, sn represents the azimuth angle that is the starting point of the class number n, and fn represents the azimuth angle that is the end point of the class number n. . The function Z (•) returns 1 if the argument is positive, and returns 0 if the argument is 0 or less.

図7に示すような第1の時刻t−Δtのクラスと第2の時刻tのクラスとは、度数差異度を用いた場合、図8に示すようにヒストグラムビンの度数の差異が小さくなるように対応付けられる。一方、図9に示すような第1の時刻t−Δtのクラスと第2の時刻tのクラスとは、ビン一致度を用いた場合、図10に示すように各ヒストグラムビンが重なるように対応付けられる。   When the frequency difference degree is used between the first time t−Δt class and the second time t class as shown in FIG. 7, the frequency difference of the histogram bins is reduced as shown in FIG. 8. Is associated with. On the other hand, the class at the first time t−Δt and the class at the second time t as shown in FIG. 9 correspond so that the histogram bins overlap as shown in FIG. Attached.

ここで、図11に示すように、全体的に小さなエッジからなり、メンバ数が比較的多いクラスについて、ノイズ等がのった場合、度数差異度を用いると、図12に示すように度数の大きなヒストグラムビンにつられ、移動量推定に誤差が出る場合がある。一方、メンバ数が少ない場合にビン一致度を用いると、ノイズのように生成・消滅する背景エッジにつられ、移動量推定に誤差が出る場合がある。このように、一つの類似尺度のみを用いた場合には、ノイズ等に対応できない場合がある。これに対して本発明の実施の形態では、複数種の類似尺度を用いることにより、より適切な移動量を推定することが可能となる。   Here, as shown in FIG. 11, when noise or the like is applied to a class having a small edge as a whole and having a relatively large number of members, the frequency difference is used as shown in FIG. There is a case where an error occurs in the movement amount estimation due to a large histogram bin. On the other hand, when the bin coincidence is used when the number of members is small, an error may occur in the movement amount estimation due to a background edge that is generated and disappears like noise. Thus, when only one similarity measure is used, it may not be possible to cope with noise or the like. On the other hand, in the embodiment of the present invention, it is possible to estimate a more appropriate movement amount by using a plurality of types of similarity scales.

ここで、移動量推定方法の一例を、図13のフローチャートを参照しながら説明する。   Here, an example of the movement amount estimation method will be described with reference to the flowchart of FIG.

(イ)ステップS101において、第1の時刻t−Δtのクラス番号nのクラスをシフトさせる方位角上の度数の「Shift」の初期値を「-S_thresh-1」とする。ステップS102において、「Shift」を1度増加させる。ステップS103において、「Shift」がクラスの終点の方位角「S_thresh」まで達したか判断する。「Shift」が「S_thresh」まで達していなければ、ステップS104においてビン一致度を計算し、ステップS105において度数差異度を計算する。ステップS102に戻り、「Shift」を1度増加させる。これにより、第1の時刻t−Δtのクラス番号nについて、クラスの始点の方位角「-S_thresh」からクラスの終点の方位角「S_thresh」まで1度ずつシフトさせながら、ビン一致度及び度数差異度のそれぞれについて第2の時刻tのエッジ度数分布と比較される。   (A) In step S101, the initial value of “Shift” in degrees on the azimuth angle for shifting the class of class number n at the first time t−Δt is set to “−S_thresh−1”. In step S102, “Shift” is increased once. In step S103, it is determined whether “Shift” has reached the azimuth angle “S_thresh” of the end point of the class. If “Shift” has not reached “S_thresh”, the bin coincidence is calculated in step S104, and the frequency difference is calculated in step S105. Returning to step S102, “Shift” is increased once. As a result, for the class number n at the first time t−Δt, the bin coincidence and the frequency difference are shifted one by one from the azimuth angle “−S_thresh” of the class start point to the azimuth angle “S_thresh” of the class end point. Each of the degrees is compared with the edge frequency distribution at the second time t.

(ロ)ステップS106において、クラス番号nのメンバ数と、データ記憶装置112から読み出した閾値とを比較する。クラス番号nのメンバ数が閾値以下の場合には、ステップS107において、度数差異度が最小の場合の移動量「shift_Rn」を計算し、クラスの移動量「shift_n」とする。ステップS108において、「shift_Rn」とデータ記憶装置112から読み出した閾値とを比較する。「shift_Rn」が閾値より小さい場合は「shift_Rn」を移動量と推定し、出力する。一方、「shift_Rn」が閾値より大きい場合は「shift_Rn」を異常値と判断して、今度はステップS109においてビン一致度が最大の移動量「shift_Cn」を「shift_n」とする。ステップS110において「shift_Cn」と閾値とを比較する。「shift_Cn」が閾値より大きい場合は「shift_Cn」を移動量と推定し、出力する。一方、「shift_Cn」が閾値より小さい場合は「shift_Cn」も異常値と判断して、ステップS115において「shift_n」の値は「NULL」とし、以後の処理に利用しない。 このようにビン一致度及び度数差異度をそれぞれ用いた場合の対応付け後のクラスの移動の異常性を判断し、クラスの移動量を適切に推定することができる。   (B) In step S106, the number of members of the class number n is compared with the threshold value read from the data storage device 112. When the number of members of the class number n is equal to or smaller than the threshold, in step S107, the movement amount “shift_Rn” when the frequency difference is the minimum is calculated and set as the class movement amount “shift_n”. In step S108, “shift_Rn” is compared with the threshold value read from the data storage device 112. When “shift_Rn” is smaller than the threshold value, “shift_Rn” is estimated as the movement amount and output. On the other hand, if “shift_Rn” is larger than the threshold value, “shift_Rn” is determined as an abnormal value, and the shift amount “shift_Cn” having the largest bin matching degree is set to “shift_n” in step S109. In step S110, “shift_Cn” is compared with a threshold value. When “shift_Cn” is larger than the threshold value, “shift_Cn” is estimated as a movement amount and output. On the other hand, if “shift_Cn” is smaller than the threshold value, “shift_Cn” is also determined to be an abnormal value, and the value of “shift_n” is set to “NULL” in step S115 and is not used for the subsequent processing. As described above, it is possible to determine the class movement abnormality after the association when the bin coincidence degree and the frequency difference degree are respectively used, and to appropriately estimate the class movement amount.

(ハ)ステップS106においてクラス番号nのメンバ数が閾値より大きな場合、ステップS111において、「shift_Cn」を「shift_n」とする。ステップS112において、「shift_Cn」とデータ記憶装置112から読み出した閾値とを比較する。「shift_Cn」が閾値より大きい場合は「shift_Cn」を移動量と推定し、出力する。一方、「shift_Cn」が閾値より小さい場合は「shift_Cn」は異常値と判断して、ステップS113において「shift_Rn」を計算し、「shift_n」とする。ステップS113において、「shift_Rn」と閾値とを比較する。「shift_Rn」が閾値より小さい場合は「shift_Rn」を移動量と推定し、出力する。一方、「shift_Rn」が閾値より大きい場合は「shift_Rn」も異常値と判断して、ステップS115において「shift_n」の値は「NULL」とし、以後の処理に利用しない。このようにして得られた「shift_n」を「Shift_n」、図6の第1の時刻t−Δtのクラスと第2の時刻tにおけるクラスの間の丸印のマークは、第1の時刻t−Δtにおけるクラスを移動量「Shift_n」分移動させたものを示している。   (C) If the number of members of class number n is larger than the threshold value in step S106, “shift_Cn” is set to “shift_n” in step S111. In step S112, “shift_Cn” is compared with the threshold value read from the data storage device 112. When “shift_Cn” is larger than the threshold value, “shift_Cn” is estimated as a movement amount and output. On the other hand, if “shift_Cn” is smaller than the threshold value, “shift_Cn” is determined to be an abnormal value, and “shift_Rn” is calculated in step S113 to be “shift_n”. In step S113, “shift_Rn” is compared with a threshold value. When “shift_Rn” is smaller than the threshold value, “shift_Rn” is estimated as the movement amount and output. On the other hand, if “shift_Rn” is larger than the threshold value, “shift_Rn” is also determined to be an abnormal value, and the value of “shift_n” is set to “NULL” in step S115 and is not used for subsequent processing. “Shift_n” obtained in this way is “Shift_n”, and the circle mark between the class at the first time t−Δt and the class at the second time t in FIG. 6 is the first time t−. The class at Δt is moved by the movement amount “Shift_n”.

同様に、移動量推定部105は、左側度数分布記憶装置108から第1の時刻t−Δt及び第2の時刻tのそれぞれの左側エッジ度数分布、左側クラス記憶装置110から第1の時刻t−Δt及び第2の時刻tのそれぞれの左側エッジ度数分布のクラス情報をそれぞれ読み出し、左側エッジ度数分布から作成されるクラスの第1の時刻t−Δt及び第2の時刻tの間の移動量を推定する。   Similarly, the movement amount estimation unit 105 receives the left edge frequency distribution from the left frequency distribution storage device 108 at the first time t−Δt and the second time t, and the first time t− from the left class storage device 110. The class information of the left edge frequency distribution at each of Δt and the second time t is read out, and the movement amount between the first time t−Δt and the second time t of the class created from the left edge frequency distribution is calculated. presume.

候補検出部106は、移動量推定部105により推定された各クラスの移動量の代表値を背景の流れとし、背景の流れと大きく異なる移動量を持つクラスを動物体候補として検出する。即ち、候補検出部106は、移動量推定部105により推定された左側エッジ度数分布の各クラスの移動量「shift_n」のうち値が「NULL」となるものを除いて、「shift_n」の分散と中間値を計算し、中間値を代表値として求める。そして、データ記憶装置112から閾値を読み出して分散と閾値を比較し、分散が閾値以上の場合はノイズが多いと判断し、動物体候補はなしとする。一方、分散が閾値より小さい場合、各クラスの移動量の中間値との差の絶対値と閾値とをそれぞれ比較し、絶対値が閾値以上となる移動量を持つクラスを動物体候補として検出する。この閾値は、分散に応じて変動させてもよいし、固定でもよい。又、中間値に関しても、平均値や最頻値を用いてよい。   The candidate detection unit 106 uses the representative value of the movement amount of each class estimated by the movement amount estimation unit 105 as a background flow, and detects a class having a movement amount significantly different from the background flow as a moving object candidate. That is, the candidate detection unit 106 determines the variance of “shift_n” except for the movement amount “shift_n” of each class of the left edge frequency distribution estimated by the movement amount estimation unit 105, except for the value “NULL”. An intermediate value is calculated, and the intermediate value is obtained as a representative value. Then, the threshold value is read from the data storage device 112 and the variance is compared with the threshold value. On the other hand, if the variance is smaller than the threshold value, the absolute value of the difference between the movement amount of each class and the threshold value are compared, and a class having a movement amount whose absolute value is equal to or greater than the threshold value is detected as a moving object candidate. . This threshold value may be varied according to the variance or may be fixed. Further, an average value or a mode value may be used for the intermediate value.

同様に、候補検出部106は、移動量推定部105により推定された左側エッジ度数分布の各クラスの移動量「shift_n」に基づき、特定のクラスを動物体候補として検出する。   Similarly, the candidate detection unit 106 detects a specific class as a moving object candidate based on the movement amount “shift_n” of each class of the left edge frequency distribution estimated by the movement amount estimation unit 105.

動物体検出部107は、候補検出部106により動物体候補とされたクラスについて、全クラスの移動量の分散や、動物体候補となるクラスのエッジ度数分布の度数、メンバ数、ヒストグラムビンの独立性等をもとに、そのクラスが動物体であるか否かを判断する。言い換えると、「メンバ数が閾値以上である」、「クラス内で孤立しているヒストグラムビンが少ない」等の動物体らしさを表す指標で判断される。これらの指標は、データ記憶装置112に予め記憶しておけば良い。これらの指標を満たす場合に該当するクラスが存在する方位角を動物体の位置として検出し、出力する。この結果、図6においては、第2の時刻tのクラス番号8のクラスが動物体として検出され、その方位角上の位置P2が検出される。   The moving object detecting unit 107 distributes the movement amount of all classes, the frequency of the edge frequency distribution of the class that becomes a moving object candidate, the number of members, and the histogram bins independently for the class that is determined as the moving object candidate by the candidate detecting unit 106. Based on the gender, etc., it is determined whether or not the class is a moving object. In other words, the determination is based on an index representing the character of an animal such as “the number of members is equal to or greater than the threshold” or “there are few histogram bins isolated in the class”. These indicators may be stored in the data storage device 112 in advance. When these indices are satisfied, the azimuth angle where the corresponding class exists is detected and output as the position of the moving object. As a result, in FIG. 6, the class of class number 8 at the second time t is detected as the moving object, and the position P2 on the azimuth angle is detected.

同様に、動物体検出部107は、候補検出部106により動物体候補とされた左側エッジ度数分布のクラスが動物体であるかを判断し、動物体を検出する。   Similarly, the moving object detection unit 107 determines whether the class of the left edge frequency distribution determined as the moving object candidate by the candidate detection unit 106 is a moving object, and detects the moving object.

左側度数分布記憶装置108、右側度数分布記憶装置109、左側クラス記憶装置110、右側クラス記憶装置111及びデータ記憶装置112としては、例えば半導体メモリ、磁気ディスク、光ディスク、光磁気ディスクや磁気テープ等が採用可能である。半導体メモリとしては、例えば、ROM及びRAMが採用可能である。ROMは、CPU100において実行されるプログラムを格納しているプログラム記憶装置等として機能させることが可能である(プログラムの詳細は後述する。)。RAMは、CPU100におけるプログラム実行処理中に利用されるデータ等を一時的に格納したり、作業領域として利用される一時的なデータメモリ等として機能させることが可能である。   Examples of the left frequency distribution storage device 108, the right frequency distribution storage device 109, the left class storage device 110, the right class storage device 111, and the data storage device 112 include a semiconductor memory, a magnetic disk, an optical disk, a magneto-optical disk, and a magnetic tape. It can be adopted. As the semiconductor memory, for example, a ROM and a RAM can be adopted. The ROM can function as a program storage device that stores a program executed by the CPU 100 (details of the program will be described later). The RAM can temporarily store data and the like used during program execution processing in the CPU 100, and can function as a temporary data memory or the like used as a work area.

(動物体検出方法)
次に、本発明の実施の形態に係る動物体検出方法を、図14のフローチャートを用いて説明する。
(Animal body detection method)
Next, the moving object detection method according to the embodiment of the present invention will be described with reference to the flowchart of FIG.

(イ)ステップS10において、撮像装置10が、図2に示すように、第1の時刻t−Δt及び第2の時刻tにおいて移動中の移動体からの広視野角画像を撮像・取得する。   (A) In step S10, as shown in FIG. 2, the imaging device 10 captures and acquires wide viewing angle images from the moving body at the first time t-Δt and the second time t.

(ロ)ステップS11において、エッジ獲得部101が、図3に示すように、撮像装置10により取得された広視野角画像をパノラマ展開する。更に、エッジ獲得部101が、第1の時刻t−Δt及び第2の時刻tのそれぞれの広視野角画像の円周方向に微分をとることにより、図4に示すように、広視野角画像から半径方向エッジをそれぞれ獲得する。   (B) In step S11, the edge acquisition unit 101 panoramicly develops the wide viewing angle image acquired by the imaging device 10, as shown in FIG. Further, as shown in FIG. 4, the edge acquisition unit 101 differentiates in the circumferential direction of the wide viewing angle images at the first time t−Δt and the second time t, so that the wide viewing angle image is displayed. Obtain radial edges from each.

(ハ)ステップS12において、度数分布作成部102が、図5に示すように、第1の時刻t−Δt及び第2の時刻tのそれぞれの半径方向エッジの大きさを度数としてエッジ度数分布をそれぞれ作成する。   (C) In step S12, the frequency distribution creating unit 102 generates an edge frequency distribution with the size of each radial edge at the first time t−Δt and the second time t as the frequency, as shown in FIG. Create each one.

(ニ)ステップS13において、分割部103が、度数分布作成部102により作成された第1の時刻t−Δt及び第2の時刻tのそれぞれのエッジ度数分布を進行方向で分割する。   (D) In step S13, the dividing unit 103 divides each edge frequency distribution at the first time t−Δt and the second time t created by the frequency distribution creating unit 102 in the traveling direction.

(ホ)ステップS14において、クラスタリング部104が、図6に示すように、エッジ度数分布中に含まれる連続する複数のヒストグラムビンを同一のクラスとしてクラスタリングする。左側エッジ度数分布のクラス情報は時系列で左側クラス記憶装置110、右側エッジ度数分布のクラス情報は右側クラス記憶装置111に記憶される。   (E) In step S14, the clustering unit 104 clusters a plurality of continuous histogram bins included in the edge frequency distribution as the same class as shown in FIG. The class information of the left edge frequency distribution is stored in the left class storage device 110 in time series, and the class information of the right edge frequency distribution is stored in the right class storage device 111.

(ヘ)ステップS15において、移動量推定部105が、左側クラス記憶装置110及び右側クラス記憶装置111から第1の時刻t−Δt及び第2の時刻tのクラスを読み出し、複数種の類似尺度を用いて、第1の時刻t−Δt及び第2の時刻t間のクラスの移動量を推定する。例えば、図13に示したステップS101〜S115の手順により度数差異度とビン一致度を用いて移動量を推定する。   (F) In step S15, the movement amount estimation unit 105 reads out the classes of the first time t-Δt and the second time t from the left class storage device 110 and the right class storage device 111, and obtains a plurality of similar measures. Using this, the movement amount of the class between the first time t−Δt and the second time t is estimated. For example, the movement amount is estimated using the frequency difference degree and the bin coincidence degree in the procedure of steps S101 to S115 shown in FIG.

(ト)ステップS16において、候補検出部106が、移動量推定部105により推定された移動量に基づき、複数のクラスのうちから特定のクラスを動物体候補として検出する。   (G) In step S <b> 16, the candidate detection unit 106 detects a specific class as a moving object candidate from a plurality of classes based on the movement amount estimated by the movement amount estimation unit 105.

(チ)ステップS17において、動物体検出部107が、候補検出部106により動物体候補と検出されたクラスが動物体であるか判断し、動物体であると判断した場合に動物体の方位角上の位置を検出する。   (H) In step S17, the moving object detection unit 107 determines whether the class detected as the moving object candidate by the candidate detection unit 106 is a moving object, and when determining that the moving object is an moving object, the azimuth angle of the moving object Detect the upper position.

本発明の実施の形態によれば、広視野角画像において、歪みが比較的小さい半径方向エッジを獲得して使用することにより、小さなエッジを持つ背景情報も利用でき、閾値処理をしなくても利用できるエッジ度数分布を作成することができる。よって、ロボット等の移動体からの広視野角画像を用いて精度良く動物体を検出することができる。   According to the embodiment of the present invention, by acquiring and using a radial edge with relatively small distortion in a wide viewing angle image, background information having a small edge can be used, and threshold processing is not performed. An available edge frequency distribution can be created. Therefore, it is possible to detect a moving object with high accuracy using a wide viewing angle image from a moving object such as a robot.

又、複数種の類似尺度を用いることにより、ノイズ等の影響を除去して適切な移動量を推定することが可能となる。   Further, by using a plurality of types of similarity scales, it is possible to remove an influence such as noise and estimate an appropriate movement amount.

(プログラム)
又、図14に示した一連の手順、即ち:撮像装置10が、移動中の移動体からの広視野角画像を撮像・取得するステップ;エッジ獲得部101が、撮像装置10により取得された第1の時刻t−Δt及び第2の時刻tのそれぞれの広視野角画像から半径方向エッジをそれぞれ獲得するステップ;度数分布作成部102が、半径方向エッジの大きさを度数としてエッジ度数分布を作成するステップ;分割部103が、エッジ度数分布を進行方向で分割するステップ;クラスタリング部104が、エッジ度数分布中に含まれる連続する複数のヒストグラムビンを同一のクラスとしてクラスタリングし、クラスを時系列で左側クラス記憶装置110、右側クラス記憶装置111に記憶するステップ;移動量推定部105が、左側クラス記憶装置110、右側クラス記憶装置111から第1の時刻t−Δt及び第2の時刻tのクラスを読み出し、複数種の類似尺度を用いて、第1の時刻t−Δt及び第2の時刻t間のクラスの移動量を推定するステップ;候補検出部106が、移動量に基づき、複数のクラスのうちから特定のクラスを動物体候補として検出するステップ;動物体検出部107が、候補検出部106により動物体候補と検出されたクラスに基づき動物体を検出するステップ;等は、図14と等価なアルゴリズムのプログラムにより、図1に示した動物体検出装置を制御して実行出来る。
(program)
Further, a series of procedures shown in FIG. 14, that is, the step in which the imaging device 10 captures and acquires a wide viewing angle image from the moving moving body; the edge acquisition unit 101 acquires the first image acquired by the imaging device 10. A step of acquiring radial edges from the wide viewing angle images at time t-Δt of time 1 and time t of second time; a frequency distribution creation unit 102 creates an edge frequency distribution with the size of the radial edge as a frequency A step in which the dividing unit 103 divides the edge frequency distribution in the traveling direction; a clustering unit 104 clusters a plurality of continuous histogram bins included in the edge frequency distribution as the same class, and classifies the classes in time series. Step of storing in the left class storage device 110 and the right class storage device 111; The class of the first time t−Δt and the second time t is read from the right class storage device 111, and a class between the first time t−Δt and the second time t is used using a plurality of types of similarity measures. A step in which the candidate detection unit 106 detects a specific class from among a plurality of classes as a moving object candidate based on the movement amount; The step of detecting the moving object based on the detected body class and the class can be executed by controlling the moving object detecting apparatus shown in FIG. 1 by the algorithm program equivalent to FIG.

このプログラムは、本発明の動物体検出装置を構成するコンピュータシステムのデータ記憶装置112等に記憶させればよい。又、このプログラムは、コンピュータ読取り可能な記録媒体に保存し、この記録媒体を動物体検出装置のデータ記憶装置112に読み込ませることにより、本発明の実施の形態の一連の手順を実行することができる。   This program may be stored in the data storage device 112 of the computer system constituting the moving object detection device of the present invention. The program can be stored in a computer-readable recording medium, and the recording medium can be read into the data storage device 112 of the moving object detection apparatus, thereby executing a series of procedures according to the embodiment of the present invention. it can.

ここで、「コンピュータ読取り可能な記録媒体」とは、例えばコンピュータの外部メモリ装置、半導体メモリ、磁気ディスク、光ディスク、光磁気ディスク、磁気テープ等のプログラムを記録することができるような媒体等を意味する。具体的には、フレキシブルディスク、CD−ROM,MOディスク等が「コンピュータ読取り可能な記録媒体」に含まれる。例えば、動物体検出装置の本体は、フレキシブルディスク装置(フレキシブルディスクドライブ)および光ディスク装置(光ディスクドライブ)を内蔵若しくは外部接続するように構成できる。   Here, the “computer-readable recording medium” means a medium capable of recording a program such as an external memory device of a computer, a semiconductor memory, a magnetic disk, an optical disk, a magneto-optical disk, and a magnetic tape. To do. Specifically, a flexible disk, CD-ROM, MO disk, etc. are included in the “computer-readable recording medium”. For example, the main body of the moving object detection apparatus can be configured to incorporate or externally connect a flexible disk device (flexible disk drive) and an optical disk device (optical disk drive).

フレキシブルディスクドライブに対してはフレキシブルディスクを、また光ディスクドライブに対してはCD−ROMをその挿入口から挿入し、所定の読み出し操作を行うことにより、これらの記録媒体に格納されたプログラムをデータ記憶装置112にインストールすることができる。又、所定のドライブ装置を接続することにより、例えばROMや、磁気テープ装置を用いることもできる。更に、インターネット等の情報処理ネットワークを介して、このプログラムをデータ記憶装置112に格納することが可能である。   A flexible disk is inserted into the flexible disk drive, and a CD-ROM is inserted into the optical disk drive from the insertion slot, and the program stored in these recording media is stored as data by performing a predetermined read operation. It can be installed on the device 112. Further, for example, a ROM or a magnetic tape device can be used by connecting a predetermined drive device. Furthermore, this program can be stored in the data storage device 112 via an information processing network such as the Internet.

(その他の実施の形態)
上記のように、本発明は実施の形態によって記載したが、この開示の一部をなす論述及び図面はこの発明を限定するものであると理解すべきではない。この開示から当業者には様々な代替実施の形態、実施例及び運用技術が明らかとなろう。
(Other embodiments)
As described above, the present invention has been described according to the embodiment. However, it should not be understood that the description and drawings constituting a part of this disclosure limit the present invention. From this disclosure, various alternative embodiments, examples, and operational techniques will be apparent to those skilled in the art.

本発明の実施の形態では、類似尺度としてビン一致度と度数差異度を使用したが、ここで定義する類似尺度は一例であり、ヒストグラムビンの重なり度に主眼を置いた類似尺度と、度数の大きさに主眼を置いた類似尺度であれば何を用いてもよい。例えば度数差異度の代わりに差の絶対値(SAD)やヒストグラムインターセクション等の類似尺度を用いることができる。又、本発明の実施の形態では2つの類似尺度を用いたが、より多くの類似尺度を用いてもよい。   In the embodiment of the present invention, the bin coincidence degree and the frequency difference degree are used as the similarity measure. However, the similarity measure defined here is an example. Any similar scale may be used as long as it is focused on size. For example, a similarity measure such as an absolute difference (SAD) or a histogram intersection can be used instead of the frequency difference. In the embodiment of the present invention, two similarity measures are used, but more similarity measures may be used.

又、本発明の実施の形態では、第1の時刻t−Δt及び第2の時刻tにおける広視野角画像に対して動物体検出を行う一例を説明したが、広視野角画像を時系列で撮像し、複数の時刻間のクラスの移動量から動物体検出を行っても良い。   In the embodiment of the present invention, an example in which the moving object detection is performed on the wide viewing angle images at the first time t−Δt and the second time t has been described. Imaging may be performed, and the moving object detection may be performed from the amount of movement of the class between a plurality of times.

このように、本発明はここでは記載していない様々な実施の形態等を含むことは勿論である。したがって、本発明の技術的範囲は上記の説明から妥当な特許請求の範囲に係る発明特定事項によってのみ定められるものである。   As described above, the present invention naturally includes various embodiments not described herein. Accordingly, the technical scope of the present invention is defined only by the invention specifying matters according to the scope of claims reasonable from the above description.

本発明の実施の形態に係る動物体検出装置の論理的な構成の一例を示すブロック図である。It is a block diagram which shows an example of a logical structure of the moving object detection apparatus which concerns on embodiment of this invention. 広視野角画像の一例を示す画像である。It is an image which shows an example of a wide viewing angle image. 広視野角画像をパノラマ展開した画像の一例を示す画像である。It is an image which shows an example of the image which panoramic-expanded the wide viewing angle image. 半径方向エッジの一例を示す画像である。It is an image which shows an example of a radial direction edge. エッジ度数分布により表現されるエッジヒストグラムの一例を示す画像である。It is an image which shows an example of the edge histogram expressed by edge frequency distribution. 第1の時刻と第2の時刻のエッジ度数分布のクラスタリング結果を示す画像である。It is an image which shows the clustering result of edge frequency distribution of 1st time and 2nd time. 第1の時刻と第2の時刻のクラスのエッジ度数分布により表現されるエッジヒストグラムの一例を示す概略図である。It is the schematic which shows an example of the edge histogram expressed by the edge frequency distribution of the class of 1st time and 2nd time. 度数差異度によるクラス移動量推定方法を説明するための概略図である。It is the schematic for demonstrating the class movement amount estimation method by a frequency difference degree. 第1の時刻と第2の時刻のクラスのエッジ度数分布により表現されるエッジヒストグラムの他の一例を示す概略図である。It is the schematic which shows another example of the edge histogram expressed by the edge frequency distribution of the class of 1st time and 2nd time. ビン一致度によるクラス移動量推定方法を説明するための概略図である。It is the schematic for demonstrating the class movement amount estimation method by bin matching degree. ノイズがのったクラスのエッジ度数分布により表現されるエッジヒストグラムを示す概略図である。It is the schematic which shows the edge histogram represented by the edge frequency distribution of the class with noise. 度数差異度を用いた移動量推定の問題点を説明するための概略図である。It is the schematic for demonstrating the problem of the movement amount estimation using a frequency difference degree. 本発明の実施の形態に係るクラス移動量推定処理の一例を説明するためのフローチャートである。It is a flowchart for demonstrating an example of the class movement amount estimation process which concerns on embodiment of this invention. 本発明の実施の形態に係る動物体検出方法の一例を説明するためのフローチャートである。It is a flowchart for demonstrating an example of the moving body detection method which concerns on embodiment of this invention.

符号の説明Explanation of symbols

10…撮像装置
100…中央演算処理装置(CPU)
101…エッジ獲得部
102…度数分布作成部
103…分割部
104…クラスタリング部
105…移動量推定部
106…候補検出部
107…動物体検出部
108…左側度数分布記憶装置
109…右側度数分布記憶装置
110…左側クラス記憶装置
111…右側クラス記憶装置
112…データ記憶装置
DESCRIPTION OF SYMBOLS 10 ... Imaging device 100 ... Central processing unit (CPU)
DESCRIPTION OF SYMBOLS 101 ... Edge acquisition part 102 ... Frequency distribution creation part 103 ... Dividing part 104 ... Clustering part 105 ... Movement amount estimation part 106 ... Candidate detection part 107 ... Moving object detection part 108 ... Left frequency distribution storage device 109 ... Right frequency distribution storage device 110: Left class storage device 111 ... Right class storage device 112 ... Data storage device

Claims (6)

第1及び第2の時刻において移動体からの広視野角画像を取得する撮像装置と、
前記第1及び第2の時刻のそれぞれの前記広視野角画像から半径方向エッジをそれぞれ獲得するエッジ獲得部と、
前記第1及び第2の時刻のそれぞれの前記半径方向エッジの大きさを度数としてエッジ度数分布をそれぞれ作成する度数分布作成部と、
前記第1及び第2の時刻のそれぞれのエッジ度数分布中に含まれる連続する複数のヒストグラムビンを同一のクラスとしてそれぞれクラスタリングするクラスタリング部と、
前記第1及び第2の時刻間のクラスの移動量を推定する移動量推定部と、
前記移動量に基づき動物体候補を検出する候補検出部と、
前記動物体候補から動物体を検出する動物体検出部
とを備えることを特徴とする動物体検出装置。
An imaging device that acquires a wide viewing angle image from a moving body at first and second times;
An edge acquisition unit for acquiring a radial edge from each of the wide viewing angle images at each of the first and second times;
A frequency distribution creating unit that creates an edge frequency distribution using the size of the radial edge at each of the first and second times as a frequency; and
A clustering unit that respectively clusters a plurality of continuous histogram bins included in the edge frequency distribution at each of the first and second times as the same class;
A movement amount estimation unit for estimating a movement amount of the class between the first and second times;
A candidate detection unit for detecting moving object candidates based on the amount of movement;
A moving object detection device comprising: a moving object detection unit that detects a moving object from the moving object candidates.
前記エッジ獲得部は、
前記広視野角画像をパノラマ展開し、
前記パノラマ展開した広視野角画像の円周方向の微分をとることで前記半径方向エッジを獲得する
ことを特徴とする請求項1に記載の動物体検出装置。
The edge acquisition unit
Panoramic development of the wide viewing angle image,
The moving object detection apparatus according to claim 1, wherein the edge in the radial direction is acquired by taking a differential in a circumferential direction of the panoramic wide-angle image.
前記移動量推定部は、
複数種の類似尺度を用いて前記第1及び第2の時刻のそれぞれの前記クラスを互いに対応付けて前記第1及び第2の時刻間の前記クラスの移動量を推定することを特徴とする請求項1又は2に記載の動物体検出装置。
The movement amount estimation unit
The movement amount of the class between the first and second times is estimated by associating the classes of the first and second times with each other using a plurality of types of similarity measures. Item 3. The moving object detection device according to Item 1 or 2.
前記複数種の類似尺度は、
前記ヒストグラムビンの度数の差異を考慮した第1の類似尺度と、
前記ヒストグラムビンの重なり度を考慮した第2の類似尺度
とを含むことを特徴とする請求項3に記載の動物体検出装置。
The multiple types of similarity measures are:
A first similarity measure that takes into account the frequency difference of the histogram bins;
The moving object detection apparatus according to claim 3, further comprising: a second similarity measure that takes into account the degree of overlap of the histogram bins.
前記エッジ度数分布を前記移動体の進行方向で分割する分割部を更に備えることを特徴とする請求項1〜4のいずれか1項に記載の動物体検出装置。   The moving object detection apparatus according to claim 1, further comprising a dividing unit that divides the edge frequency distribution in a traveling direction of the moving body. 移動体からの広視野角画像を取得するステップと、
前記第1及び第2の時刻のそれぞれの前記広視野角画像から半径方向エッジをそれぞれ獲得するステップと、
前記第1及び第2の時刻のそれぞれの前記半径方向エッジの大きさを度数としてエッジ度数分布をそれぞれ作成するステップと、
前記第1及び第2の時刻のそれぞれのエッジ度数分布中に含まれる連続する複数のヒストグラムビンを同一のクラスとしてそれぞれクラスタリングするステップと、
前記第1及び第2の時刻間のクラスの移動量を推定するステップと、
前記移動量に基づき動物体候補を検出するステップと、
前記動物体候補から動物体を検出するステップ
とを含むことを特徴とする動物体検出方法。
Obtaining a wide viewing angle image from a moving object;
Obtaining a radial edge from each of the wide viewing angle images at each of the first and second times; and
Creating an edge frequency distribution using the size of the radial edge at each of the first and second times as a frequency; and
Clustering a plurality of successive histogram bins included in each edge frequency distribution at each of the first and second times as the same class,
Estimating the amount of movement of the class between the first and second times;
Detecting a moving object candidate based on the amount of movement;
A moving body detecting method comprising: detecting a moving body from the moving body candidates.
JP2007247915A 2007-09-25 2007-09-25 Apparatus and method for detecting moving body Pending JP2009080572A (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2007247915A JP2009080572A (en) 2007-09-25 2007-09-25 Apparatus and method for detecting moving body

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2007247915A JP2009080572A (en) 2007-09-25 2007-09-25 Apparatus and method for detecting moving body

Publications (1)

Publication Number Publication Date
JP2009080572A true JP2009080572A (en) 2009-04-16

Family

ID=40655295

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2007247915A Pending JP2009080572A (en) 2007-09-25 2007-09-25 Apparatus and method for detecting moving body

Country Status (1)

Country Link
JP (1) JP2009080572A (en)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009229226A (en) * 2008-03-21 2009-10-08 Toshiba Corp Object detection device and method for detecting object
JP2013195783A (en) * 2012-03-21 2013-09-30 Ricoh Co Ltd Position shift detection device, vehicle, and position shift detection method
CN114036987A (en) * 2021-11-12 2022-02-11 上海擎朗智能科技有限公司 Escalator detection method and device, mobile equipment and storage medium

Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2541924B2 (en) * 1985-05-24 1996-10-09 キヤノン株式会社 Imaging optical device
JP3167023B2 (en) * 1989-11-13 2001-05-14 キヤノン株式会社 Focus adjustment device, blur detection device, motion detection device, and subject position detection device
JP2001301552A (en) * 2000-04-24 2001-10-31 Daihatsu Motor Co Ltd Rear sideward monitoring device for vehicle and control method therefor
JP2002342762A (en) * 2001-05-22 2002-11-29 Matsushita Electric Ind Co Ltd Object tracing method
JP2003324604A (en) * 2002-05-07 2003-11-14 Sharp Corp Image processing equipment, image forming equipment, image processing method, program and recording medium
JP3501396B2 (en) * 1999-06-25 2004-03-02 ダイハツ工業株式会社 Rear side monitoring device for vehicle and monitoring method thereof
JP2004215228A (en) * 2002-12-17 2004-07-29 Sony Corp Photographing device
JP3596339B2 (en) * 1999-03-15 2004-12-02 日産自動車株式会社 Inter-vehicle distance measurement device
JP2005101720A (en) * 2003-09-22 2005-04-14 Kddi Corp Partial image coding device
JP2007158807A (en) * 2005-12-06 2007-06-21 Sony Corp Recording and reproducing device and method, recorder and recording method, reproducing device and reproducing method, and program
JP2007188294A (en) * 2006-01-13 2007-07-26 Central Res Inst Of Electric Power Ind Method for detecting moving object candidate by image processing, moving object detection method for detecting moving object from moving object candidate, moving object detection apparatus, and moving object detection program

Patent Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2541924B2 (en) * 1985-05-24 1996-10-09 キヤノン株式会社 Imaging optical device
JP3167023B2 (en) * 1989-11-13 2001-05-14 キヤノン株式会社 Focus adjustment device, blur detection device, motion detection device, and subject position detection device
JP3596339B2 (en) * 1999-03-15 2004-12-02 日産自動車株式会社 Inter-vehicle distance measurement device
JP3501396B2 (en) * 1999-06-25 2004-03-02 ダイハツ工業株式会社 Rear side monitoring device for vehicle and monitoring method thereof
JP2001301552A (en) * 2000-04-24 2001-10-31 Daihatsu Motor Co Ltd Rear sideward monitoring device for vehicle and control method therefor
JP2002342762A (en) * 2001-05-22 2002-11-29 Matsushita Electric Ind Co Ltd Object tracing method
JP2003324604A (en) * 2002-05-07 2003-11-14 Sharp Corp Image processing equipment, image forming equipment, image processing method, program and recording medium
JP2004215228A (en) * 2002-12-17 2004-07-29 Sony Corp Photographing device
JP2005101720A (en) * 2003-09-22 2005-04-14 Kddi Corp Partial image coding device
JP2007158807A (en) * 2005-12-06 2007-06-21 Sony Corp Recording and reproducing device and method, recorder and recording method, reproducing device and reproducing method, and program
JP2007188294A (en) * 2006-01-13 2007-07-26 Central Res Inst Of Electric Power Ind Method for detecting moving object candidate by image processing, moving object detection method for detecting moving object from moving object candidate, moving object detection apparatus, and moving object detection program

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009229226A (en) * 2008-03-21 2009-10-08 Toshiba Corp Object detection device and method for detecting object
JP4660569B2 (en) * 2008-03-21 2011-03-30 株式会社東芝 Object detection apparatus and object detection method
JP2013195783A (en) * 2012-03-21 2013-09-30 Ricoh Co Ltd Position shift detection device, vehicle, and position shift detection method
CN114036987A (en) * 2021-11-12 2022-02-11 上海擎朗智能科技有限公司 Escalator detection method and device, mobile equipment and storage medium
CN114036987B (en) * 2021-11-12 2024-05-31 上海擎朗智能科技有限公司 Staircase detection method and device, mobile equipment and storage medium

Similar Documents

Publication Publication Date Title
JP6435750B2 (en) Three-dimensional coordinate calculation apparatus, three-dimensional coordinate calculation method, and three-dimensional coordinate calculation program
US8873837B2 (en) Image-based crack detection
JP6679266B2 (en) Data analysis device, data analysis method and program
US8995714B2 (en) Information creation device for estimating object position and information creation method and program for estimating object position
Liu et al. Opening up open world tracking
US9911204B2 (en) Image processing method, image processing apparatus, and recording medium
CN110569703B (en) Computer-implemented method and device for identifying damage from picture
JP4660569B2 (en) Object detection apparatus and object detection method
JP2009506831A (en) Method and apparatus for automatic and dynamic vessel detection
US20170162195A1 (en) Information processing apparatus, information processing method, and recording medium
US20160171341A1 (en) Apparatus and method for detecting object in image, and apparatus and method for computer-aided diagnosis
US11928805B2 (en) Information processing apparatus, information processing method, and storage medium for defect inspection and detection
US8660302B2 (en) Apparatus and method for tracking target
JP4724638B2 (en) Object detection method
US11887303B2 (en) Image processing model generation method, image processing method and device, and electronic device
JP6116765B1 (en) Object detection apparatus and object detection method
CN112614184A (en) Object 6D attitude estimation method and device based on 2D detection and computer equipment
JP2006090957A (en) Surrounding object detecting device for moving body, and surrounding object detection method for moving body
JP2019164521A (en) Tracking device
JP2009080572A (en) Apparatus and method for detecting moving body
US7751613B2 (en) Method for rapidly establishing image space relation using plane filtering constraint
JP2009266155A (en) Apparatus and method for mobile object tracking
US20210402616A1 (en) Information processing apparatus, information processing method, mobile robot, and non-transitory computer-readable storage medium
JP2017016592A (en) Main subject detection device, main subject detection method and program
Chang et al. Confidence level estimation in multi-target classification problems

Legal Events

Date Code Title Description
A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20100601

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20100608

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20100809

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20100914