JP2000348163A - 物体検出装置および物体検出方法ならびに物体検出プログラムを記録したコンピュータ読み取り可能な情報記録媒体 - Google Patents

物体検出装置および物体検出方法ならびに物体検出プログラムを記録したコンピュータ読み取り可能な情報記録媒体

Info

Publication number
JP2000348163A
JP2000348163A JP11157926A JP15792699A JP2000348163A JP 2000348163 A JP2000348163 A JP 2000348163A JP 11157926 A JP11157926 A JP 11157926A JP 15792699 A JP15792699 A JP 15792699A JP 2000348163 A JP2000348163 A JP 2000348163A
Authority
JP
Japan
Prior art keywords
pixel
background
pixels
luminance
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP11157926A
Other languages
English (en)
Other versions
JP3465632B2 (ja
Inventor
Yusuke Takahashi
祐介 高橋
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
NEC Corp
Original Assignee
NEC Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by NEC Corp filed Critical NEC Corp
Priority to JP15792699A priority Critical patent/JP3465632B2/ja
Publication of JP2000348163A publication Critical patent/JP2000348163A/ja
Application granted granted Critical
Publication of JP3465632B2 publication Critical patent/JP3465632B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/20Image preprocessing
    • G06V10/28Quantising the image, e.g. histogram thresholding for discrimination between background and foreground patterns

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Burglar Alarm Systems (AREA)
  • Studio Devices (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)
  • Closed-Circuit Television Systems (AREA)

Abstract

(57)【要約】 【課題】 参照点を任意の位置に設定可能として、照明
変動の影響を受けることなく物体を検出する。 【解決手段】 複数参照点選択手段6は、画像の注目画
素ごとに複数の参照画素を選択し、背景モデル作成手段
10は、これらの注目画素および参照画素に対して背景
の輝度が照明変動の影響を受けて変化した場合の照明変
動背景モデル作成する。そして、距離計算手段12は、
輝度空間において、上記照明変動背景モデルと、注目画
素、および参照画素に対応する背景画素の輝度値の各組
が表す点との間の距離を計算する。物体判別手段14
は、この距離にもとづいて注目画素が物体を表す画素か
否かを判別する。

Description

【発明の詳細な説明】
【0001】
【発明の属する技術分野】本発明は、監視カメラなどに
より撮影した画像に含まれる物体を検出する物体検出装
置、物体検出方法、ならびに物体検出プログラムを記録
したコンピュータ読み取り可能な情報記録媒体に関する
ものである。
【0002】
【従来の技術】監視カメラなどで撮影した動画像から物
体を検出する場合、日照条件などにより背景の明るさが
変動しても確実に物体を検出できることが重要である。
そこで、本発明の発明者らは照明変動が大きく、かつ頻
繁に発生する場合でも、その影響を受けにくい物体検出
技術を考案し、すでにその特許出願を行っている(特願
平11−078641号)。
【0003】この物体検出技術は、あらかじめ作成した
背景画像と、現時点の画像とにおいて、注目点とは異な
る位置に参照点を設け、その参照点の輝度値変化の相関
情報から物体を判別するというものである。以下、原理
について図面を参照して詳しく説明する。図8は背景画
像を表す説明図であり、水平方向にX軸、垂直方向にY
軸がそれぞれ設定されている。ただし、必要以上に複雑
になることを避けるため、背景画像はテクスチャーがな
く場所によらず一定の明るさであるとする。図8におい
て、PAは注目点、PBはその近傍に設けた参照点であ
る。そして、注目点PAにおける輝度値をIA、参照点P
Bにおける輝度値をIBとする。
【0004】図9は注目点および参照点の輝度値により
形成される2次元の輝度空間を示す説明図である。この
輝度空間には2次元の座標系が設定され、その横軸は上
記注目点PAの輝度値IAを表し、縦軸は上記参照点PB
の輝度値IBを表している。ここで、注目点PAの輝度値
がIA1、参照点PBの輝度値がIB1であったとすると、
これらの輝度値の組に対応する、上記輝度空間上の点、
すなわち輝度点(I A1、IB1)は、たとえば図9中の白
ドット102の位置となる。そして、背景の明るさが変
化し、注目点PAの輝度値がたとえば小さくなったとす
ると、参照点PBの輝度値も同じ割合で小さくなる。ま
た、注目点PAの輝度値が0なら、参照点PBの輝度値も
0となる。したがって、注目点PAおよび参照点PBの輝
度IA、IBの組に対応する輝度空間上の点は、背景の明
るさが変化したとき、図9に示した直線104に沿って
移動する。ここではこのような直線のことを照明変動背
景モデルと呼ぶ。
【0005】一方、たとえば注目点PAの位置に物体が
侵入したとし、注目点PAの輝度値がIA2に下がったと
すると、この場合の輝度点(IA2、IB1)はたとえば白
丸ドット106の位置となる。したがって、このような
輝度点と直線104との距離107を調べ、輝度点が直
線104から離れている場合には、注目点の位置に物体
が侵入していると判定することができる。そして、照明
変動が生じ、たとえば参照点PBの輝度値が大きくなっ
たとすると、通常、物体上の注目点PAの輝度値も同様
に大きくなるため、輝度点(IA2、IB1)はおおむね直
線104と平行に右上方向(矢印A)に移動し、直線1
04との間の距離はあまり変化しない。したがって、照
明変動が生じても物体を確実に検出することができる。
【0006】
【発明が解決しようとする課題】しかし、上記従来技術
では、参照点を注目点に接近して配置した場合には物体
の輪郭部のみが抽出されて、抽出した物体画像が中抜け
の状態となり、この点で改良の余地があった。以下、図
10を参照して具体的に説明する。図10は、たとえば
監視カメラの撮影領域に物体が侵入した場合の撮影画像
を示す説明図である。背景は図8の場合と同様、場所に
よらず一定の明るさであるとする。この画像に対して、
図10に示したように、注目点PAを設定し、近接して
参照点PBを設定したとすると、図10の状態ではこれ
らの点はいずれも物体108上に在り、両点の輝度はと
もに同じ程度に低下するため、輝度空間において注目点
Aおよび参照点PBが対応する輝度点(IA、IB)は、
図9に示した直線104上の黒ドット110の位置とな
る。そして、黒ドット110と直線104との間の距離
は零であるから、この場合、注目点PAは、物体上には
ないと判定することになり、注目点PAが物体108上
に在るにも係わらず物体を検出することができない。
【0007】一方、注目点PAと参照点PBを同様の間隔
で設定した場合でも、物体108の縁部で、たとえば注
目点PAが物体108上となり、参照点PBが背景上とな
る位置に各点を設定した場合には、両点に輝度差が生
じ、図9において対応する輝度点は直線104から離れ
た位置となるため、物体108を検出することができ
る。したがって、特願平11−078641号の技術で
は、注目点と参照線とを近接して配置した場合には、物
体の縁部、すなわち輪郭部のみが検出されることにな
る。
【0008】そこで、物体の輪郭部だけでなく全体を検
出するためには、参照点を注目点から充分に離して配置
する必要がある。また、特願平11−078641号の
技術では、参照点はかならず、物体が侵入する可能性の
ある領域の外に設定する必要がある。これについて図1
1を参照して説明する。図11の(A)は画像面を示す
説明図、(B)は物体が撮影領域に侵入した場合の模式
図、(C)は検出結果を示す模式図である。
【0009】図11の(A)に示したように、画像上に
注目点PAと注目点PBとを離して設定した場合、図11
の(B)に示したように、物体108が注目点PAの位
置に侵入すると、注目点PAと参照点PBとの間で輝度差
が生じて物体108が検出される。しかし、物体108
が参照点PBの位置に侵入した場合にも同様の輝度差が
生じるため、この場合にも物体108は検出されること
になる。したがって、注目点PAに物体108が侵入し
て検出された場合、物体108が注目点PAの位置に存
在するのか、あるいは参照点PBの位置に存在するのか
を特定することができず、その結果、注目点PAの位置
のみに物体108が存在するにもかかわらず、図11の
(C)に示したように、両方の位置に物体108が存在
するように物体像109が生成されてしまう。
【0010】そのため、このような現象を回避すべく、
参照点はかならず、物体が侵入する可能性のある領域の
外に設定しなければならない。本発明はこのような欠点
を除去するためになされたもので、その目的は、照明変
動が大きく、かつ頻繁に発生する場合にも安定で、しか
も高精度に物体を検出できるとともに、参照点を任意の
位置に設定して確実に物体を検出することが可能な物体
検出装置、物体検出方法、ならびに物体検出プログラム
を記録したコンピュータ読み取り可能な情報記録媒体を
提供することにある。
【0011】
【課題を解決するための手段】本発明は、上記目的を達
成するため、撮影画像を用いて物体を検出する物体検出
装置であって、前記撮影画像の各画素の輝度値を取り込
んで保持する画像入力手段と、前記撮影画像の注目画素
ごとに複数の参照画素を選択して、選択した複数の参照
画素および前記注目画素の輝度値を前記画像入力手段か
ら前記注目画素ごとに取得する複数参照点選択手段と、
前記撮影画像の背景を成す背景画像の各画素の輝度値を
保持する背景画像保持手段と、前記複数参照点選択手段
が選択した前記注目画素および同画素に対応する前記複
数の参照画素にそれぞれ対応する、前記背景画像におけ
る複数の画素の輝度値を前記背景画像保持手段から取得
して、背景の輝度が照明変動の影響を受けて変化した場
合の照明変動背景モデルを前記注目画素と、同画素に対
応する各参照画素との組ごとに作成する背景モデル作成
手段と、輝度空間において、前記背景モデル作成手段が
前記注目画素と参照画素との前記組ごとに作成した前記
照明変動背景モデルと、前記複数参照点選択手段が前記
注目画素ごとに取得した前記複数の参照画素の輝度値の
それぞれと前記注目画素の輝度値との組が表す点との間
の距離をそれぞれ計算する距離計算手段と、前記注目画
素と各参照画素との組ごとに、前記距離計算手段が計算
した前記距離にもとづいて前記注目画素が物体を表す画
素か否かを判別し、前記組ごとの判別結果に対し論理演
算を行って前記注目画素が物体を表す画素か否かを最終
的に判別する物体判別手段とを備えたことを特徴とす
る。
【0012】本発明の物体検出装置では、画像入力手段
は、撮影画像の各画素の輝度値を取り込んで保持し、複
数参照点選択手段は、前記画像の注目画素ごとに複数の
参照画素を選択して、選択した複数の参照画素および前
記注目画素の輝度値を画像入力手段から注目画素ごとに
取得する。そして、背景モデル作成手段は、複数参照点
選択手段が選択した注目画素および同画素に対応する前
記複数の参照画素にそれぞれ対応する、前記背景画像に
おける複数の画素の輝度値を背景画像保持手段から取得
して、背景の輝度が照明変動の影響を受けて変化した場
合の照明変動背景モデルを注目画素と、同画素に対応す
る各参照画素との組ごとに作成する。
【0013】その上で、距離計算手段は、輝度空間にお
いて、背景モデル作成手段が注目画素と参照画素との前
記組ごとに作成した前記照明変動背景モデルと、複数参
照点選択手段が注目画素ごとに取得した前記複数の参照
画素の輝度値のそれぞれと注目画素の輝度値との組が表
す点との間の距離をそれぞれ計算する。そして、物体判
別手段は、注目画素と各参照画素との組ごとに、距離計
算手段が計算した前記距離にもとづいて前記注目画素が
物体を表す画素か否かを判別し、前記組ごとの判別結果
に対し論理演算を行って注目画素が物体を表す画素か否
かを最終的に判別する。
【0014】また、本発明は、撮影画像を用いて物体を
検出する物体検出装置であって、前記撮影画像の各画素
の輝度値を取り込んで保持する画像入力手段と、前記撮
影画像において水平方向に配列された複数の画素から成
る注目水平画素列ごとに、前記注目水平画素列に含まれ
る複数の参照画素を選択して各参照画素の輝度値を前記
画像入力手段から取得する水平参照点選択手段と、前記
撮影画像において垂直方向に配列された複数の画素から
成る注目垂直画素列ごとに、前記注目垂直画素列に含ま
れる複数の参照画素を選択して各参照画素の輝度値を前
記画像入力手段から取得する垂直参照点選択手段と、前
記撮影画像の背景を成す画像の各画素の輝度値を保持す
る背景画像保持手段と、前記水平参照点選択手段が選択
した前記複数の参照画素にそれぞれ対応する、前記背景
画像における複数の画素の輝度値を前記背景画像保持手
段から取得して背景の輝度が照明変動の影響を受けて変
化した場合の照明変動背景モデルを作成する水平背景モ
デル作成手段と、前記垂直参照点選択手段が選択した前
記複数の参照画素にそれぞれ対応する、前記背景画像に
おける複数の画素の輝度値を前記背景画像保持手段から
取得して背景の輝度が照明変動の影響を受けて変化した
場合の照明変動背景モデルを作成する垂直背景モデル作
成手段と、多次元輝度空間において、前記水平背景モデ
ル作成手段が作成した前記照明変動背景モデルと、前記
水平参照点選択手段が取得した前記複数の輝度値が表す
点との間の距離を計算する水平距離計算手段と、多次元
輝度空間において、前記垂直背景モデル作成手段が作成
した前記照明変動背景モデルと、前記垂直参照点選択手
段が取得した前記複数の輝度値が表す点との間の距離を
計算する垂直距離計算手段と、前記水平距離計算手段お
よび前記垂直距離計算手段が計算した前記距離にもとづ
いて、前記注目水平画素列および前記注目垂直画素列に
物体を表す画素が含まれているか否かを判別し、両画素
列に係わる判別結果に対して論理演算を行って物体を含
む矩形領域を特定する物体判別手段とを備えたことを特
徴とする。
【0015】本発明の物体検出装置では、画像入力手段
は撮影画像の各画素の輝度値を取り込んで保持し、水平
参照点選択手段は、撮影画像において水平方向に配列さ
れた複数の画素から成る注目水平画素列ごとに、注目水
平画素列に含まれる複数の参照画素を選択して各参照画
素の輝度値を画像入力手段から取得する。また、垂直参
照点選択手段は、撮影画像において垂直方向に配列され
た複数の画素から成る注目垂直画素列ごとに、注目垂直
画素列に含まれる複数の参照画素を選択して各参照画素
の輝度値を画像入力手段から取得する。そして、水平背
景モデル作成手段は、水平参照点選択手段が選択した前
記複数の参照画素にそれぞれ対応する、前記背景画像に
おける複数の画素の輝度値を背景画像保持手段から取得
して背景の輝度が照明変動の影響を受けて変化した場合
の照明変動背景モデルを作成し、垂直背景モデル作成手
段は、垂直参照点選択手段が選択した前記複数の参照画
素にそれぞれ対応する、前記背景画像における複数の画
素の輝度値を背景画像保持手段から取得して背景の輝度
が照明変動の影響を受けて変化した場合の照明変動背景
モデルを作成する。
【0016】その後、水平距離計算手段は、多次元輝度
空間において、水平背景モデル作成手段が作成した前記
照明変動背景モデルと、水平参照点選択手段が取得した
前記複数の輝度値が表す点との間の距離を計算し、垂直
距離計算手段は、多次元輝度空間において、垂直背景モ
デル作成手段が作成した前記照明変動背景モデルと、垂
直参照点選択手段が取得した前記複数の輝度値が表す点
との間の距離を計算する。そして、物体判別手段は、水
平距離計算手段および垂直距離計算手段が計算した前記
距離にもとづいて、注目水平画素列および注目垂直画素
列に物体を表す画素が含まれているか否かを判別し、両
画素列に係わる判別結果に対して論理演算を行って物体
を含む矩形領域を特定する。
【0017】また、本発明は、撮影画像を用いて物体を
検出する物体検出方法であって、前記撮影画像の各画素
の輝度値を取り込んで第1の記憶手段に保持させる画像
入力ステップと、前記撮影画像の注目画素ごとに複数の
参照画素を選択して、選択した複数の参照画素および前
記注目画素の輝度値を前記第1の記憶手段から前記注目
画素ごとに取得する複数参照点選択ステップと、前記撮
影画像の背景を成す背景画像の各画素の輝度値を第2の
記憶手段に保持させる背景画像保持ステップと、前記複
数参照点選択ステップで選択した前記注目画素および同
画素に対応する前記複数の参照画素にそれぞれ対応す
る、前記背景画像における複数の画素の輝度値を前記第
2の記憶手段から取得して、背景の輝度が照明変動の影
響を受けて変化した場合の照明変動背景モデルを前記注
目画素と、同画素に対応する各参照画素との組ごとに作
成する背景モデル作成ステップと、輝度空間において、
前記背景モデル作成ステップで前記注目画素と参照画素
との前記組ごとに作成した前記照明変動背景モデルと、
前記複数参照点選択ステップで前記注目画素ごとに取得
した前記複数の参照画素の輝度値のそれぞれと前記注目
画素の輝度値との組が表す点との間の距離をそれぞれ計
算する距離計算ステップと、前記注目画素と各参照画素
との組ごとに、前記距離計算ステップで計算した前記距
離にもとづいて前記注目画素が物体を表す画素か否かを
判別し、前記組ごとの判別結果に対し論理演算を行って
前記注目画素が物体を表す画素か否かを最終的に判別す
る物体判別ステップとを備えたことを特徴とする。
【0018】また、本発明は、撮影画像を用いて物体を
検出する物体検出プログラムを記録したコンピュータ読
み取り可能な情報記録媒体であって、前記撮影画像の各
画素の輝度値を取り込んで第1の記憶手段に保持させる
画像入力ステップと、前記撮影画像の注目画素ごとに複
数の参照画素を選択して、選択した複数の参照画素およ
び前記注目画素の輝度値を前記第1の記憶手段から前記
注目画素ごとに取得する複数参照点選択ステップと、前
記撮影画像の背景を成す背景画像の各画素の輝度値を第
2の記憶手段に保持させる背景画像保持ステップと、前
記複数参照点選択ステップで選択した前記注目画素およ
び同画素に対応する前記複数の参照画素にそれぞれ対応
する、前記背景画像における複数の画素の輝度値を前記
第2の記憶手段から取得して、背景の輝度が照明変動の
影響を受けて変化した場合の照明変動背景モデルを前記
注目画素と、同画素に対応する各参照画素との組ごとに
作成する背景モデル作成ステップと、輝度空間におい
て、前記背景モデル作成ステップで前記注目画素と参照
画素との前記組ごとに作成した前記照明変動背景モデル
と、前記複数参照点選択ステップで前記注目画素ごとに
取得した前記複数の参照画素の輝度値のそれぞれと前記
注目画素の輝度値との組が表す点との間の距離をそれぞ
れ計算する距離計算ステップと、前記注目画素と各参照
画素との組ごとに、前記距離計算ステップで計算した前
記距離にもとづいて前記注目画素が物体を表す画素か否
かを判別し、前記組ごとの判別結果に対し論理演算を行
って前記注目画素が物体を表す画素か否かを最終的に判
別する物体判別ステップとを含むことを特徴とする。
【0019】本発明の物体検出方法および本発明のコン
ピュータ読み取り可能な情報記録媒体に記録された物体
検出プログラムでは、画像入力ステップにおいて、撮影
画像の各画素の輝度値を取り込んで第1の記憶手段に保
持させ、複数参照点選択ステップでは、前記画像の注目
画素ごとに複数の参照画素を選択して、選択した複数の
参照画素および前記注目画素の輝度値を第1の記憶手段
から注目画素ごとに取得する。そして、背景モデル作成
ステップでは、複数参照点選択ステップで選択した注目
画素および同画素に対応する前記複数の参照画素にそれ
ぞれ対応する、前記背景画像における複数の画素の輝度
値を第2の記憶手段から取得して、背景の輝度が照明変
動の影響を受けて変化した場合の照明変動背景モデルを
注目画素と、同画素に対応する各参照画素との組ごとに
作成する。
【0020】その上で、距離計算ステップでは、輝度空
間において、背景モデル作成ステップで注目画素と参照
画素との前記組ごとに作成した前記照明変動背景モデル
と、複数参照点選択ステップで注目画素ごとに取得した
前記複数の参照画素の輝度値のそれぞれと注目画素の輝
度値との組が表す点との間の距離をそれぞれ計算する。
そして、物体判別ステップでは、注目画素と各参照画素
との組ごとに、距離計算ステップで計算した前記距離に
もとづいて前記注目画素が物体を表す画素か否かを判別
し、前記組ごとの判別結果に対し論理演算を行って注目
画素が物体を表す画素か否かを最終的に判別する。
【0021】また、本発明は、撮影画像を用いて物体を
検出する物体検出プログラムを記録したコンピュータ読
み取り可能な情報記録媒体であって、前記撮影画像の各
画素の輝度値を取り込んで第1の記憶手段に保持させる
画像入力ステップと、前記撮影画像において水平方向に
配列された複数の画素から成る注目水平画素列ごとに、
前記注目水平画素列に含まれる複数の参照画素を選択し
て各参照画素の輝度値を前記第1の記憶手段から取得す
る水平参照点選択ステップと、前記撮影画像において垂
直方向に配列された複数の画素から成る注目垂直画素列
ごとに、前記注目垂直画素列に含まれる複数の参照画素
を選択して各参照画素の輝度値を前記第1の記憶手段か
ら取得する垂直参照点選択ステップと、前記撮影画像の
背景を成す画像の各画素の輝度値を第2の記憶手段に保
持させる背景画像保持ステップと、前記水平参照点選択
ステップで選択した前記複数の参照画素にそれぞれ対応
する、前記背景画像における複数の画素の輝度値を前記
第2の記憶手段から取得して背景の輝度が照明変動の影
響を受けて変化した場合の照明変動背景モデルを作成す
る水平背景モデル作成ステップと、前記垂直参照点選択
ステップで選択した前記複数の参照画素にそれぞれ対応
する、前記背景画像における複数の画素の輝度値を前記
第2の記憶手段から取得して背景の輝度が照明変動の影
響を受けて変化した場合の照明変動背景モデルを作成す
る垂直背景モデル作成ステップと、多次元輝度空間にお
いて、前記水平背景モデル作成ステップで作成した前記
照明変動背景モデルと、前記水平参照点選択ステップで
取得した前記複数の輝度値が表す点との間の距離を計算
する水平距離計算ステップと、多次元輝度空間におい
て、前記垂直背景モデル作成ステップで作成した前記照
明変動背景モデルと、前記垂直参照点選択ステップで取
得した前記複数の輝度値が表す点との間の距離を計算す
る垂直距離計算ステップと、前記水平距離計算ステップ
および前記垂直距離計算ステップで計算した前記距離に
もとづいて、前記注目水平画素列および前記注目垂直画
素列に物体を表す画素が含まれているか否かを判別し、
両画素列に係わる判別結果に対して論理演算を行って物
体を含む矩形領域を特定する物体判別ステップとを含む
ことを特徴とする。
【0022】また、本発明は、撮影画像を用いて物体を
検出する物体検出方法であって、前記撮影画像の各画素
の輝度値を取り込んで第1の記憶手段に保持させる画像
入力ステップと、前記撮影画像において水平方向に配列
された複数の画素から成る注目水平画素列ごとに、前記
注目水平画素列に含まれる複数の参照画素を選択して各
参照画素の輝度値を前記第1の記憶手段から取得する水
平参照点選択ステップと、前記撮影画像において垂直方
向に配列された複数の画素から成る注目垂直画素列ごと
に、前記注目垂直画素列に含まれる複数の参照画素を選
択して各参照画素の輝度値を前記第1の記憶手段から取
得する垂直参照点選択ステップと、前記撮影画像の背景
を成す画像の各画素の輝度値を第2の記憶手段に保持さ
せる背景画像保持ステップと、前記水平参照点選択ステ
ップで選択した前記複数の参照画素にそれぞれ対応す
る、前記背景画像における複数の画素の輝度値を前記第
2の記憶手段から取得して背景の輝度が照明変動の影響
を受けて変化した場合の照明変動背景モデルを作成する
水平背景モデル作成ステップと、前記垂直参照点選択ス
テップで選択した前記複数の参照画素にそれぞれ対応す
る、前記背景画像における複数の画素の輝度値を前記第
2の記憶手段から取得して背景の輝度が照明変動の影響
を受けて変化した場合の照明変動背景モデルを作成する
垂直背景モデル作成ステップと、多次元輝度空間におい
て、前記水平背景モデル作成ステップで作成した前記照
明変動背景モデルと、前記水平参照点選択ステップで取
得した前記複数の輝度値が表す点との間の距離を計算す
る水平距離計算ステップと、多次元輝度空間において、
前記垂直背景モデル作成ステップで作成した前記照明変
動背景モデルと、前記垂直参照点選択ステップで取得し
た前記複数の輝度値が表す点との間の距離を計算する垂
直距離計算ステップと、前記水平距離計算ステップおよ
び前記垂直距離計算ステップで計算した前記距離にもと
づいて、前記注目水平画素列および前記注目垂直画素列
に物体を表す画素が含まれているか否かを判別し、両画
素列に係わる判別結果に対して論理演算を行って物体を
含む矩形領域を特定する物体判別ステップとを備えたこ
とを特徴とする。
【0023】本発明の物体検出方法および本発明のコン
ピュータ読み取り可能な情報記録媒体に記録された物体
検出プログラムでは、画像入力ステップにおいて撮影画
像の各画素の輝度値を取り込んで第1の記憶手段に保持
させ、水平参照点選択ステップでは、撮影画像において
水平方向に配列された複数の画素から成る注目水平画素
列ごとに、注目水平画素列に含まれる複数の参照画素を
選択して各参照画素の輝度値を第1の記憶手段から取得
する。また、垂直参照点選択ステップでは、撮影画像に
おいて垂直方向に配列された複数の画素から成る注目垂
直画素列ごとに、注目垂直画素列に含まれる複数の参照
画素を選択して各参照画素の輝度値を第1の記憶手段か
ら取得する。そして、水平背景モデル作成ステップで
は、水平参照点選択ステップで選択した前記複数の参照
画素にそれぞれ対応する、前記背景画像における複数の
画素の輝度値を第1の記憶手段から取得して背景の輝度
が照明変動の影響を受けて変化した場合の照明変動背景
モデルを作成し、垂直背景モデル作成ステップでは、垂
直参照点選択ステップで選択した前記複数の参照画素に
それぞれ対応する、前記背景画像における複数の画素の
輝度値を第2の記憶手段から取得して背景の輝度が照明
変動の影響を受けて変化した場合の照明変動背景モデル
を作成する。
【0024】その後、水平距離計算ステップでは、多次
元輝度空間において、水平背景モデル作成ステップで作
成した前記照明変動背景モデルと、水平参照点選択ステ
ップで取得した前記複数の輝度値が表す点との間の距離
を計算し、垂直距離計算ステップでは、多次元輝度空間
において、垂直背景モデル作成ステップで作成した前記
照明変動背景モデルと、垂直参照点選択ステップで取得
した前記複数の輝度値が表す点との間の距離を計算す
る。そして、物体判別ステップでは、水平距離計算ステ
ップおよび垂直距離計算ステップで計算した前記距離に
もとづいて、注目水平画素列および注目垂直画素列に物
体を表す画素が含まれているか否かを判別し、両画素列
に係わる判別結果に対して論理演算を行って物体を含む
矩形領域を特定する。
【0025】
【発明の実施の形態】次に本発明の実施の形態例につい
て図面を参照して説明する。まず、第1の実施の形態例
における物体検出の原理について説明する。図3の
(A)は画像面における注目点と参照点との位置関係を
示す説明図、(B)は物体が撮影領域に侵入した場合の
模式図、(C)は検出結果を示す模式図、(D)は画像
面における注目点と参照点との位置関係を示す他の説明
図、(E)は検出結果を示す他の模式図、(F)は最終
的な検出結果を示す模式図である。
【0026】図3の(A)に示したように、画像上に注
目点PAと注目点PBとを離して設定した場合、図3の
(B)に示したように、物体108が注目点PAの位置
に侵入すると、注目点PAと参照点PBとの間で輝度差が
生じるので、照明変動背景モデルを用いた従来と同じ手
法で検出を行って物体108を検出する。そして、検出
結果は、図3の(C)に示したように、従来と同様、注
目点PAと参照点PBの両方に物体108が存在する可能
性があることを示すものとなる。
【0027】一方、本実施の形態例では、図3の(D)
に示したように、参照点PBとは異なる参照点PCをさら
に設定する。そして、注目点PAと参照点PCとの組に関
しても従来と同様の手法で物体の検出を行う。その結
果、上述のように物体108が注目点PAに侵入した場
合、検出結果では図3の(E)に示したように、注目点
Aと参照点PCの両方の位置に物体108が存在する可
能性があることを示すものとなる。
【0028】本実施の形態例では、さらに、この2つの
検出結果、すなわち図3の(C)と(E)の論理積をと
る。したがって、図3の(F)に示したように、図3の
(C)と(E)の両方に共通して存在する注目点PA
位置の物体像111のみが残り、注目点PAに侵入した
物体108がその位置を特定して確実に検出される。そ
して、本実施の形態例では注目点と参照点とをある程度
離して配置することができることから、検出された物体
の画像は輪郭部だけでなく内側の領域も描画された画像
となる。
【0029】なお、一般に、1つの注目点に対し、注目
点を含むN個(Nは3以上の整数)の異なる参照点を設
定した場合、次式により表される条件を満たすことで物
体の存在領域を特定することができる。
【0030】
【数1】dist(Pi、Pj)>ObjectSize だだし、1≦i、j≦N(i≠j)であり、dist
(A、B)は点A、B間の距離を表す。また、Obje
ctSizeは画像上での物体の大きさを表している。
【0031】次に、本発明の第1の実施形態について図
面を参照して詳細に説明する。図1は第1の実施の形態
例の物体検出装置を示すブロック図、図2は図1の物体
検出装置の動作を示すフローチャートである。以下で
は、これらの図面を参照して本発明の物体検出装置の一
例について説明すると同時に本発明の物体検出方法およ
び物体検出プログラムを記録したコンピュータ読み取り
可能な情報記録媒体の実施の形態例について説明する。
【0032】図1に示した物体検出装置2は、画像入力
手段4、複数参照点選択手段6、背景画像保持手段8、
背景モデル作成手段10、距離計算手段12、物体判別
手段14、ならびに背景作成手段16を含み、たとえば
監視カメラにより撮影した画像から物体を検出する構成
となっている。物体検出装置2は具体的には、一例とし
て、監視カメラやビデオテープレコーダとのインターフ
ェースなども備え、所定のオペレーティングシステムが
組み込まれたコンピュータにより構成されており、コン
ピュータを構成する入力装置に、本発明の物体検出プロ
グラムを記録したコンピュータ読み取り可能な情報記録
媒体としてのたとえばCD−ROMを装着してCD−R
OMからプログラムデータを読み込み、コンピュータの
メモリにロードして、コンピュータのCPUを同プログ
ラムデータにもとづいて動作させることで実現されてい
る。
【0033】画像入力手段4は、監視カメラにより撮影
された画像、あるいは撮影後、ビデオテープレコーダに
録画された画像を、監視カメラやVTRなどから取り込
んで保持する。より詳しくは、画像入力手段4は、撮影
画像の各画素の輝度値を取り込んで保持する。なお、画
像入力手段4が取り込む画像は動画像であっても、静止
画像であってもよい。また、画像入力手段4は、自身が
画像を撮像するカメラを備えた構成であってもよい。
【0034】複数参照点選択手段6は、前記画像の注目
画素(注目点の位置の画素)ごとに、あらかじめ決めら
れた複数の参照画素(参照点の位置の画素)を選択し
て、選択した複数の参照画素および注目画素の各輝度値
を画像入力手段4から注目画素ごとに取得する。なお、
1つの注目画素に対応する上記複数の参照画素は参照画
素群ともいう。背景画像保持手段8は、撮影領域の背景
画像の各画素の輝度値を保持している。背景画像保持手
段8が保持する輝度値は、本実施の形態例では、後に説
明するように背景作成手段16により適宜更新される。
背景モデル作成手段10は、複数参照点選択手段6が選
択した注目画素および同画素に対応する前記複数の参照
画素にそれぞれ対応する、前記背景画像における複数の
画素の輝度値を背景画像保持手段8から取得して、背景
の輝度が照明変動の影響を受けて変化した場合の照明変
動背景モデルを注目画素と、同画素に対応する各参照画
素との組ごとに作成する。
【0035】そして、距離計算手段12は、輝度空間に
おいて、背景モデル作成手段10が注目画素と参照画素
との前記組ごとに作成した前記照明変動背景モデルと、
複数参照点選択手段6が注目画素ごとに取得した複数の
参照画素の輝度値のそれぞれと注目画素の輝度値との組
が表す点との間の距離をそれぞれ計算する。
【0036】物体判別手段14は、注目画素と各参照画
素との組ごとに、距離計算手段12が計算した前記距離
にもとづいて前記注目画素が物体を表す画素か否かを判
別し、注目画素と各参照画素との組ごとの判別結果に対
し論理演算を行って注目画素が物体を表す画素か否かを
最終的に判別する。そして、画像出力手段15は、物体
判別手段14が出力する判別結果の画像データを不図示
の表示装置などへ出力する。また、背景作成手段16
は、物体判別手段14が物体を表す画素ではないと判別
した注目画素と、同画素に対応する前記複数の参照画素
のそれぞれに対応する背景画像の画素の輝度値を、注目
画素および参照画素の輝度値にもとづき更新して背景画
像保持手段8に保持させる。
【0037】次に、このように構成された第1の実施の
形態例の動作について説明する。図2に示したように、
まず、物体検出装置2の画像入力手段4は、監視カメラ
などによって撮像された画像を読み込み、画像を構成す
る各画素ごとの輝度値を画像入力手段4内に設けられた
不図示のメモリに保持する(ステップA1)。画像はマ
トリクス状に配列された多数の画素により構成され、画
像入力手段4はこのような画素の輝度値を2次元配列の
データとして保持する。また、各画素は上記メモリのx
アドレスとyアドレスを指定することで特定可能となっ
ており、xアドレスはマトリクスの列番号に対応し、y
アドレスはマトリクスの行番号に対応している。
【0038】そして、複数参照点選択手段6は、上記画
像の注目画素ごとに、あらかじめ決められた複数の参照
画素を選択して、選択した複数の参照画素および注目画
素の各輝度値を画像入力手段4の上記メモリから注目画
素ごとに取得する(ステップA2)。上記参照画素はそ
れぞれ、検出すべき侵入物体の大きさよりも大きい距離
だけ注目画素から離れた位置に設定されている。たとえ
ば、侵入物体の画面上での大きさが100画素未満であ
るとし、現在の注目画素点PAと、この画素とは異なる
もう1つの画素点PBを参照点とする場合、図3の
(A)に示したように参照点PBは、注目点PAからx
軸方向に100画素離れた位置に設定する。このとき、
注目点PAにおける輝度値はI(x、y)、参照点PB
における輝度値はI(x+100、y)のように表すこ
とができる。同様に、もう1つの参照点PCを設定する
場合、図3の(D)に示したように、参照点PCは注目
点PAからx軸の反対方向に100画素離れた位置に設
定する。参照点PCにおける輝度値はI(x−100、
y)のように表すことができる。
【0039】本実施の形態例では、複数参照点選択手段
6は、注目点PAに対し注目点以外に2つの参照点PB
Cを設定するものとし、したがって、注目点および各
参照点にそれぞれ対応する1つの注目画素と2つの参照
画素を設定するものとする。次に、複数参照点選択手段
6は、ステップA2で得た注目画素および参照画素の各
輝度値を背景作成手段16に供給する(ステップA
3)。この段階では、背景画像保持手段8を構成するメ
モリには、背景画像を構成する各画素の輝度値はまだ格
納されていないため、背景作成手段16は、複数参照点
選択手段6から供給された各輝度値を、それぞれ対応す
る背景画像の画素の輝度値として、背景画像保持手段8
に保持させる。
【0040】次に、背景モデル作成手段10は、背景画
像保持手段8が保持している背景画像の各画素の輝度値
を用いて照明変動背景モデルを作成する。たとえば注目
画素が図3における注目点PAに対応するpaであり、参
照画素が参照点PB、PCに対応するpb、pcであったと
すると、背景モデル作成手段10はまず、注目画素pa
および参照画素pbに対応する、背景画像における2つ
の画素の輝度値を背景画像保持手段8から取得する。
【0041】そして、これら2つの輝度値を用いて、注
目画素paと参照画素pbとの組に対応するものとして、
背景の輝度が照明変動の影響を受けて変化した場合の照
明変動背景モデルを作成する。具体的には、図9に示し
たような、注目画素paに対応する背景画素の輝度値を
横軸、参照画素pbに対応する背景画素の輝度値を縦軸
とする輝度空間において、注目画素paと参照画素pb
対応する背景画素の輝度値の組が表す点と、原点を通過
する直線を求め、その直線を上記照明変動背景モデルと
する。背景モデル作成手段10は、注目画素paと参照
画素pcとの組に対しても同様に照明変動背景モデルを
作成する。
【0042】なお、注目画素ごとに参照する画素の数が
注目画素も含めてN個であれば、1つの注目画素ごとに
N個の背景画像の画素の輝度値を用いることになり、し
たがって注目画素ごとの背景の輝度値の組はN次元のベ
クトルとして表すことができる。本実施例では注目画素
と1参照点の組を2組用いているので、背景の輝度値は
2組の2次元ベクトルとなる。
【0043】その後、距離計算手段12は、注目画素p
aおよび参照画素pbの組に対して、上記輝度空間におい
て、上記照明変動背景モデルと、注目画素paおよび参
照画素pbの輝度値の組が表す点との間の距離を計算
し、さらに、注目画素paおよび参照画素pcの組に対し
ても同様の距離を計算する(ステップA4)。
【0044】ここで、注目画素pa、参照画素pb、pc
に対応する背景画素の輝度値をia0、ib0、ic0とし、
注目画素pa、参照画素pb、pcの輝度値をia1
b1、ic 1とすると、注目画素paと参照画素pbとの組
に対応する照明変動背景モデルと、輝度値ia1、ib1
対応する点との間の距離D1、ならびに注目画素paと参
照画素pcとの組に対応する照明変動背景モデルと、輝
度値ia1、ic1に対応する点との間の距離D2はそれぞ
れ[数2]、[数4]に示した式によって計算すること
ができる。
【0045】
【数2】
【0046】
【数3】 次に、物体判別手段14は、ステップA4において求め
られた距離D1、D2と、あらかじめ設定されているしき
い値T1、T2とを比べ(ステップA5)、これらの距離
およびしきい値が[数4]を満たす場合には、注目画素
aは物体を表す画素であり、対応箇所に物体が存在す
ると判断し、一方、[数4]を満たさない場合には、注
目画素paは背景を表す画素であると判断する(ステッ
プA6、S7、S8、S9)。
【0047】
【数4】 より詳しくは、物体判別手段14は、複数距離計算手段
が計算した距離D1、D2がそれぞれ上記しきい値T1
2より大きいか否かを調べる(ステップA5)。たと
えば距離D1がしきい値T1より大きい場合には、物体判
別手段14は注目画素paおよび参照画素pbは物体を表
す画素である可能性があるとし、検出結果として両画素
に論理”1”を対応づける。また、距離D2も、しきい
値T2より大きい場合には、物体判別手段14は、注目
画素paおよび参照画素pcは物体を表す画素である可能
性があるとし、検出結果として両画素に論理”1”を対
応づける。一方、距離D1、D2がT1、T2より小さい場
合には、各画素には論理”0”を対応づける。
【0048】その上で、物体判別手段14は、これらの
検出結果の論理積をとり(ステップA6)、そして値を
判定して(ステップA7)、結果が論理”1”の場合は
注目画素paは物体を表す画素であるとし(ステップA
8)、論理”0”の場合は注目画素paは物体を表さ
ず、背景を表す画素であるとする(ステップA9)。た
とえば、距離D1がしきい値T1より大きい場合、物体判
別手段14が各画素pa、pb、pcに対応づける値は”
1”、”1”、”0”となり、また、距離D2がしきい
値T2より大きい場合、物体判別手段14が各画素pa
b、pcに対応づける値は”1”、”0”、”1”とな
る。したがって、各画素ごとに、これらの値の論理積を
とると、それぞれ”1”、”0”、”0”となり、画素
aに対する論理値のみが”1”となる。したがって、
物体判別手段14は、注目画素p aが物体を表す画素で
あると判断する。
【0049】一般に注目画素以外にN個の参照点をとっ
た場合、各参照点ごとに距離Diを計算し、各参照点ご
とのしきい値Tiを用いて、[数5]が成立するか否か
により注目画素が物体を表す画素であるか否かを判別す
ることができる。
【0050】
【数5】 このようなステップA2からS9までの処理を、画像入
力手段4が保持している全画素を次々に注目画素に設定
して行うことで(ステップA10)、撮影画像上の物体
を検出することができる。検出された物体は、画像出力
手段15により出力され、表示装置に表示される。その
際、ステップA7、A8において、物体を表すと判別さ
れた注目画素の表示色を、背景とは異なる色で表示すれ
ば、画面上で検出物体の形状などをより明瞭に把握する
ことができる。
【0051】なお、ステップA10において、すべての
画素について処理が終わったと判断された場合に、物体
であると判別された画素の数をカウントして、このカウ
ント値が予め設定されたしきい値より大きい場合にのみ
物体が存在すると判断するようにしてもよい。これによ
って、ある大きさ以上の物体のみを検出することが可能
となる。
【0052】一方、ステップA7、A9で注目画素が物
体を表す画素ではないと判別された場合には、背景作成
手段16は、同注目画素および対応する複数の参照画素
の輝度値にもとづいて、対応する背景画像の画素の輝度
値を更新し、背景画像保持手段8に保持させる(ステッ
プA3)。なお、最初の入力画像に移動物体が含まれて
いなければ、基本的に背景画像の各画素の輝度値は更新
する必要はない。しかし、ノイズ等の影響で、背景領域
の輝度値が照明変動以外の要因でばらつきを起こしうる
ため、物体判別手段14により背景とみなされた画素に
おいて随時輝度値を更新していくことで誤差を抑えるこ
とができる。
【0053】また、このような背景画像の更新におい
て、新旧の輝度値に重みを乗じて徐々に更新するという
方法をとることができる。すなわち、物体判別手段14
で注目画素paが背景画素とみなされた場合、[数6]
のように新しく加わるデータに重みをかけ徐々に更新す
ることができる。
【0054】
【数6】 ここで、PA_newは注目画素paと参照画素pb、pc
に対応する背景画素の輝度値による3次元輝度値行列、
A_oldは今までの注目画素paと参照画素pb、pc
に対応する背景画素の輝度値による3次元背景輝度行列
である。また、IAは、注目画素paと参照画素pb、pc
の輝度値行列、αは上記重み定数である。
【0055】次に、ステップA10において、すべての
画素に対して前述した判別処理が終了したと判断された
場合、画像入力手段4は、次の画像があるか否かを判断
し(ステップA11)、次の画像がある場合はステップ
A1に戻って、画像を取得し、以降、上述した各処理が
繰り返される。そして、すべての画像に対して処理が終
了した時点で、物体検出処理を終了する。以上の処理を
監視カメラから画像が取り込まれるごとに行うことで、
物体検出を逐次行うことができる。
【0056】図4の(A)は、道路を黒い車が走ってい
る原画像を示す模式図、(B)は従来技術による車の検
出結果を示す説明図、(C)は本実施の形態例による車
の検出結果を示す説明図である。図4の(B)は、図4
の(A)に示した原画像および背景画像により図8など
を用いて説明した従来技術にもとづき車の検出を行った
結果を示し、注目点および参照点を隣接させて物体検出
を行ったため、車の輪郭部のみが検出されている。
【0057】これに対して、本実施の形態例による検出
結果である図4の(C)では、車の輪郭部だけでなく、
輪郭の内側も含め、車全体が検出されており、より明瞭
に、したがって確実に車が検出されている。本実施の形
態例では、上述したように、各注目画素ごとに選択する
参照画素を、注目画素に対し、物体の大きさ以上に離し
て設定する。したがって、注目画素と参照画素とを接近
させて設定した場合のように物体の輪郭部のみが検出さ
れるといったことがない。そして、1つの注目画素に対
して複数の参照画素を設定し、注目画素と各参照画素と
の組ごとに物体検出を行って、最終的に論理演算により
注目画素が物体の画素か否かを判別するので、注目画素
と参照画素とを離して設定しても、物体の位置を確実に
特定できる。
【0058】また、上記従来技術と同様、輝度空間にお
ける照明変動背景モデルと輝度点との距離にもとづいて
注目画素が画像を表すか否かを判定しているので、照明
変動が大きく、かつ頻繁に発生する場合にも安定で、し
かも高精度に物体を検出することができる。
【0059】次に、本発明の第2の実施形態について説
明する。図5は第2の実施の形態例の物体検出装置2を
示すブロック図、図6は図5の物体検出装置の動作を示
すフローチャートである。以下では、これらの図面を参
照して本発明の第2の実施の形態例の物体検出装置につ
いて説明すると同時に本発明の第2の実施の形態例の物
体検出方法および物体検出プログラムを記録したコンピ
ュータ読み取り可能な情報記録媒体について説明する。
なお、図5において図1と同一の要素には同一の符号が
付されており、それらに関する説明はここでは省略す
る。
【0060】図5に示した物体検出装置18が上記物体
検出装置2と異なるのは、物体自体を検出するのではな
く物体の外接矩形を求める点であり、その結果、少ない
計算量で物体を検出することが可能となる。物体検出装
置18は、画像入力手段4、本発明に係わる水平参照点
選択手段および垂直参照点選択手段として機能する複数
参照点選択手段20、背景画像保持手段8、本発明に係
わる水平背景モデル作成手段および垂直背景モデル作成
手段として機能する背景モデル作成手段22、本発明に
係わる水平距離計算手段および垂直距離計算手段として
機能する距離計算手段24、物体判別手段26、背景作
成手段28、ならびに画像出力手段15を含み、たとえ
ば監視カメラにより撮影した画像から物体を検出する構
成となっている。
【0061】物体検出装置18は上記物体検出装置2と
同様、具体的には、一例として監視カメラやビデオテー
プレコーダとのインターフェースなども備えたコンピュ
ータにより構成されており、コンピュータを構成する入
力装置に、本発明の物体検出プログラムを記録したコン
ピュータ読み取り可能な情報記録媒体としてのたとえば
CD−ROMを装着してCD−ROMからプログラムデ
ータを読み込み、コンピュータのメモリにロードして、
コンピュータのCPUを同プログラムデータにもとづい
て動作させることで実現されている。
【0062】物体検出装置18の複数参照点選択手段2
0は、水平参照点選択手段として機能して、撮影画像に
おいて水平方向に配列された複数の画素から成る注目水
平画素列ごとに、注目水平画素列に含まれる複数の参照
画素を選択して各参照画素の輝度値を画像入力手段4か
ら取得する。また、複数参照点選択手段20は、垂直参
照点選択手段として機能して、撮影画像において垂直方
向に配列された複数の画素から成る注目垂直画素列ごと
に、注目垂直画素列に含まれる複数の参照画素を選択し
て各参照画素の輝度値を画像入力手段4から取得する。
【0063】そして、背景モデル作成手段22は、水平
背景モデル作成手段として機能して、水平参照点選択手
段が選択した複数の参照画素にそれぞれ対応する、背景
画像における複数の画素の輝度値を背景画像保持手段8
から取得して背景の輝度が照明変動の影響を受けて変化
した場合の照明変動背景モデルを作成する。また、背景
モデル作成手段22は、垂直背景モデル作成手段として
機能して、垂直参照点選択手段が選択した複数の参照画
素にそれぞれ対応する、背景画像における複数の画素の
輝度値を背景画像保持手段8から取得して背景の輝度が
照明変動の影響を受けて変化した場合の照明変動背景モ
デルを作成する。
【0064】複数距離計算手段2は、水平距離計算手段
として機能して、多次元輝度空間において、水平背景モ
デル作成手段としての背景モデル作成手段22が作成し
た前記照明変動背景モデルと、水平参照点選択手段とし
ての複数参照点選択手段20が取得した複数の輝度値が
表す点との間の距離を計算する。また、複数距離計算手
段2は、垂直距離計算手段として機能して、多次元輝度
空間において、垂直背景モデル作成手段としての背景モ
デル作成手段22が作成した前記照明変動背景モデル
と、垂直参照点選択手段としての複数参照点選択手段2
0が取得した前記複数の輝度値が表す点との間の距離を
計算する。
【0065】物体判別手段26は、上記水平距離計算手
段および垂直距離計算手段としての複数距離計算手段2
が計算した前記距離にもとづいて、注目水平画素列およ
び注目垂直画素列に物体を表す画素が含まれているか否
かを判別し、両画素列に係わる判別結果に対して論理演
算を行って物体を含む矩形領域を特定する。背景作成手
段28は、物体判別手段26が物体を表す画素を含まな
いと判別した前記注目水平画素列および注目垂直画素列
を構成する各画素の輝度値にもとづいて、対応する前記
背景画像の画素の輝度値を更新して背景画像保持手段8
に保持させる。
【0066】次に、このように構成された物体検出装置
18の動作について説明する。図7は第2の実施の形態
例の動作を説明するための図であって、(A)は垂直方
向における物体の存在可能領域の検出を表す説明図、
(B)は水平方向における物体の存在可能領域の検出を
表す説明図、(C)は検出結果を示す説明図である。以
下では、図5とともに図6、図7を参照して説明する。
【0067】図6に示したように、まず、画像入力手段
4は、監視カメラなどによって撮像された画像を読み込
み、画像を構成する各画素ごとの輝度値を画像入力手段
4内に設けられた不図示のメモリに保持する(ステップ
B1)。次に、複数参照点選択手段20は、撮影画像に
おいて垂直方向のアドレスyにおける1行分の画素を注
目水平画素列とし、またこの1行分の画素を参照画素
(参照画素群)に選択して、各参照画素の輝度値を画像
入力手段4から取得する(ステップB4)。したがっ
て、撮影画像の幅がWidth画素(Widthは正の
整数)であったとすると、上記注目水平画素列にはWi
dth個の画素が含まれ、複数参照点選択手段20は、
本実施の形態例ではこれらすべて画素を参照画素とす
る。
【0068】そして、背景モデル作成手段22は、複数
参照点選択手段20が選択した上記参照画素にそれぞれ
対応する、背景画像における各画素の輝度値を背景画像
保持手段8から取得して背景の輝度が照明変動の影響を
受けて変化した場合の照明変動背景モデルを作成する。
その後、複数距離計算手段24は、参照画素の輝度値に
よって形成される多次元輝度空間において、背景モデル
作成手段22が作成した前記照明変動背景モデルと、複
数参照点選択手段20が取得した上記複数の輝度値が表
す点との間の距離を計算する(ステップB6)。
【0069】つづいて、物体判別手段26は、複数距離
計算手段24がこのように計算した距離をしきい値と比
較して、距離がしきい値より大きい場合には、上記注目
水平画素列に対応づけて論理”1”を保持し、距離がし
きい値より小さい場合には論理”0”を保持する(ステ
ップB8)。複数参照点選択手段20、背景モデル作成
手段22、ならびに複数距離計算手段2は、このような
処理を、アドレスyの値を1ずつ大きくしながら、画像
の垂直方向の全範囲において行う(ステップB10)。
その結果、図7の(A)に示したように、物体108が
図のように存在する場合、Hの範囲内の各注目水平画素
列に対して、物体判別手段26は論理”1”を保持する
ことになる。
【0070】また、複数参照点選択手段20、背景モデ
ル作成手段22、ならびに複数距離計算手段2は、同様
の処理を、画像の水平方向においても行う。すなわち、
複数参照点選択手段20は、撮影画像において水平方向
のアドレスxにおける1列分の画素を注目垂直画素列と
し、またこの1列分の画素を参照画素(参照画素群)に
選択して、各参照画素の輝度値を画像入力手段4から取
得する(ステップB2)。したがって、撮影画像の高さ
がHeight画素(Heightは正の整数)であっ
たとすると、上記注目垂直画素列にはHeight個の
画素が含まれ、複数参照点選択手段20は、本実施の形
態例ではこれらすべて画素を参照画素とする。
【0071】そして、背景モデル作成手段22は、複数
参照点選択手段20が選択した上記参照画素にそれぞれ
対応する、背景画像における各画素の輝度値を背景画像
保持手段8から取得して背景の輝度が照明変動の影響を
受けて変化した場合の照明変動背景モデルを作成する。
その後、複数距離計算手段24は、参照画素の輝度値に
よって形成される多次元輝度空間において、背景モデル
作成手段22が作成した前記照明変動背景モデルと、複
数参照点選択手段20が取得した上記複数の輝度値が表
す点との間の距離を計算する(ステップB5)。
【0072】つづいて、物体判別手段26は、複数距離
計算手段2がこのように計算した距離をしきい値と比較
して、距離がしきい値より大きい場合には、上記注目垂
直画素列に対応づけて論理”1”を保持し、距離がしき
い値より小さい場合には論理”0”を保持する(ステッ
プB7)。複数参照点選択手段20、背景モデル作成手
段22、ならびに複数距離計算手段24は、このような
処理を、アドレスyの値を1ずつ大きくしながら、画像
の水平方向の全範囲において行う(ステップB9)。そ
の結果、図7の(B)に示したように、Wの範囲内の各
注目垂直画素列に対して、物体判別手段26は論理”
1”を保持することになる。
【0073】その後、物体判別手段26は、各注目水平
画素列および各注目垂直画素列ごとに保持している論理
値の論理積をとることで(ステップB11)、検出結果
としての矩形領域の画像を保持するためのメモリ(図示
せず)において、各画素ごとに、その値が論理”1”か
論理”0”かを決定する。詳しくは、値を決定すべき画
素に対応する位置の撮影画像の画素を含む注目水平画素
列および注目垂直画素列に対して、共に論理”1”を保
持している場合には、上記画素の値は論理”1”に設定
する。一方、対応する撮影画像の画素を含む注目水平画
素列および注目垂直画素列の少なくとも一方に対して論
理”0”を保持している場合には、上記画素の値は論
理”0”に設定する(ステップB12、B13、B1
4)。その結果、検出結果を保持する上記メモリにおい
て、図7の(C)に示したように、物体を含む可能性の
ある矩形領域R内の画素の値は論理”1”となり、それ
以外の画素の値は論理”0”となる。
【0074】したがって、このメモリの内容を画像出力
手段15により表示装置に表示すれば、物体を含む矩形
領域が画面に表示されることになる。また、矩形領域R
の4辺は物体108の外接矩形となっている。そして、
撮影画像の幅がWidth画素、高さがHeight画
素であった場合、上記第1の実施の形態例では、各画素
ごとに背景モデルの作成や距離の計算を行うので、この
ような演算処理を(Width×Heigh)回行う必
要がある。しかし、第2の実施の形態例では、各水平画
素列ごとに上記演算処理を行い、また各垂直画素列ごと
に上記演算処理を行えばよいので、演算処理の回数は全
体で(Width+Height)回となる。したがっ
て、演算量は第1の実施の形態例の場合にくらべ大幅に
低減し、高速に物体検出を行ったり、装置の低コスト化
を図る場合に非常に有利である。
【0075】なお、物体検出装置2の場合と同様に、背
景作成手段28は、物体判別手段26が物体を表す画素
を含まないと判別した注目水平画素列および注目垂直画
素列を構成する各画素の輝度値にもとづいて、対応する
背景画像の画素の輝度値を更新して背景画像保持手段8
に保持させる。これにより最新の背景画像を用いて精度
の高い物体検出を行うことができる。また、処理すべき
画像がさらに存在する場合には、物体検出装置2の場合
と同様、以上の手順が次の画像に対して繰り返される
(ステップB15)。
【0076】なお、この第2の実施の形態例では、注目
水平画素列および注目垂直画素列において、各画素列の
すべての画素を参照画素にするとしたが、数画素ごとに
選択するなどの間引きを行って、さらに演算量の低減を
図ることも可能である。さらに、たとえば水平方向およ
び垂直方向のいずれか一方でまず物体の存在可能領域を
確定し、その上で、その領域内でのみ他方の方向におけ
る処理を行えば、物体が存在する可能性のない領域では
演算処理を行わなくても済むため、さらに演算量を削減
することが可能となる。
【0077】なお、ここでは物体検出装置2および物体
検出装置18はコンピュータにより構成されているとし
たが、物体検出装置2および物体検出装置18を専用の
ハードウェアにより構成することも無論可能である。ま
た、本発明に係わる機能のうち、一部の機能をコンピュ
ータに所定のプログラムをロードして実現し、他の機能
は専用のハードウェアによって実現したり、さらには、
コンピュータにすでに組み込まれているプログラムを組
み合わせて用いることで物体検出装置2および物体検出
装置18を構成とすることも可能である。
【0078】また、コンピュータ読み取り可能な情報記
録媒体とは、上述したCD−ROMに限らず、フロッピ
ーディスク、光磁気ディスク、ROMなどの可搬媒体
や、コンピュータに内蔵されるハードディスクなどの記
憶装置を含んでいる。さらに、コンピュータ読み取り可
能な情報記録媒体は、インターネットなどの通信ネット
ワークや電話回線などの通信回線を介してプログラムを
送信する場合の通信線のように、短時間の間、動的にプ
ログラムを保持するものも含み、その場合のサーバやク
ライアントとなるコンピュータシステム内部の揮発性メ
モリのように、一定時間プログラムを保持するものも含
んでいる。
【0079】
【発明の効果】以上説明したように本発明の物体検出装
置では、画像入力手段は、撮影画像の各画素の輝度値を
取り込んで保持し、複数参照点選択手段は、前記画像の
注目画素ごとに複数の参照画素を選択して、選択した複
数の参照画素および前記注目画素の輝度値を画像入力手
段から注目画素ごとに取得する。そして、背景モデル作
成手段は、複数参照点選択手段が選択した注目画素およ
び同画素に対応する前記複数の参照画素にそれぞれ対応
する、前記背景画像における複数の画素の輝度値を背景
画像保持手段から取得して、背景の輝度が照明変動の影
響を受けて変化した場合の照明変動背景モデルを注目画
素と、同画素に対応する各参照画素との組ごとに作成す
る。
【0080】その上で、距離計算手段は、輝度空間にお
いて、背景モデル作成手段が注目画素と参照画素との前
記組ごとに作成した前記照明変動背景モデルと、複数参
照点選択手段が注目画素ごとに取得した前記複数の参照
画素の輝度値のそれぞれと注目画素の輝度値との組が表
す点との間の距離をそれぞれ計算する。そして、物体判
別手段は、注目画素と各参照画素との組ごとに、距離計
算手段が計算した前記距離にもとづいて前記注目画素が
物体を表す画素か否かを判別し、前記組ごとの判別結果
に対し論理演算を行って注目画素が物体を表す画素か否
かを最終的に判別する。
【0081】このように、本発明の物体検出装置では、
1つの注目画素に対して複数の参照画素を設定し、注目
画素と各参照画素との組ごとに物体検出を行って、最終
的に論理演算により注目画素が物体の画素か否かを判別
するので、注目画素と参照画素とを離して設定しても、
物体の位置を確実に特定できる。したがって、各注目画
素ごとに選択する参照画素を、注目画素に対し、物体の
大きさ以上に離して設定することができ、その結果、注
目画素と参照画素とを接近させて設定した場合のように
物体の輪郭部のみが検出されるといったことがない。ま
た、上述した従来技術と同様、輝度空間における照明変
動背景モデルと輝度点との距離にもとづいて注目画素が
画像を表すか否かを判定するので、照明変動が大きく、
かつ頻繁に発生する場合にも安定で、しかも高精度に物
体を検出することができる。
【0082】また、本発明の物体検出装置では、画像入
力手段は撮影画像の各画素の輝度値を取り込んで保持
し、水平参照点選択手段は、撮影画像において水平方向
に配列された複数の画素から成る注目水平画素列ごと
に、注目水平画素列に含まれる複数の参照画素を選択し
て各参照画素の輝度値を画像入力手段から取得する。ま
た、垂直参照点選択手段は、撮影画像において垂直方向
に配列された複数の画素から成る注目垂直画素列ごと
に、注目垂直画素列に含まれる複数の参照画素を選択し
て各参照画素の輝度値を画像入力手段から取得する。そ
して、水平背景モデル作成手段は、水平参照点選択手段
が選択した前記複数の参照画素にそれぞれ対応する、前
記背景画像における複数の画素の輝度値を背景画像保持
手段から取得して背景の輝度が照明変動の影響を受けて
変化した場合の照明変動背景モデルを作成し、垂直背景
モデル作成手段は、垂直参照点選択手段が選択した前記
複数の参照画素にそれぞれ対応する、前記背景画像にお
ける複数の画素の輝度値を背景画像保持手段から取得し
て背景の輝度が照明変動の影響を受けて変化した場合の
照明変動背景モデルを作成する。
【0083】その後、水平距離計算手段は、多次元輝度
空間において、水平背景モデル作成手段が作成した前記
照明変動背景モデルと、水平参照点選択手段が取得した
前記複数の輝度値が表す点との間の距離を計算し、垂直
距離計算手段は、多次元輝度空間において、垂直背景モ
デル作成手段が作成した前記照明変動背景モデルと、垂
直参照点選択手段が取得した前記複数の輝度値が表す点
との間の距離を計算する。そして、物体判別手段は、水
平距離計算手段および垂直距離計算手段が計算した前記
距離にもとづいて、注目水平画素列および注目垂直画素
列に物体を表す画素が含まれているか否かを判別し、両
画素列に係わる判別結果に対して論理演算を行って物体
を含む矩形領域を特定する。
【0084】本発明の物体検出装置では、各水平画素列
ごとに背景モデルの作成や、背景モデルと輝度点との間
の距離の計算といった演算処理を行い、また各垂直画素
列ごとに同様の演算処理を行えばよいので、演算処理の
回数は全体で画像の水平方向の画素数に、画像の垂直方
向の画素数を加えた値となる。一方、各画素ごとに背景
モデルの作成や、背景モデルと輝度点との間の距離の計
算といった演算処理を行った場合には、全体の演算処理
の回数は、画像の水平方向の画素数に、画像の垂直方向
の画素数を乗じたものとなる。したがって、本発明で
は、照明変動が大きく、かつ頻繁に発生する場合にも安
定で、しかも高精度に物体の存在領域を検出できる上
に、演算量が大幅に低減し、その結果、高速に物体検出
を行ったり、装置の低コスト化を図る上で非常に有利と
なる。
【0085】本発明の物体検出方法および本発明のコン
ピュータ読み取り可能な情報記録媒体に記録された物体
検出プログラムでは、画像入力ステップにおいて、撮影
画像の各画素の輝度値を取り込んで第1の記憶手段に保
持させ、複数参照点選択ステップでは、前記画像の注目
画素ごとに複数の参照画素を選択して、選択した複数の
参照画素および前記注目画素の輝度値を第1の記憶手段
から注目画素ごとに取得する。そして、背景モデル作成
ステップでは、複数参照点選択ステップで選択した注目
画素および同画素に対応する前記複数の参照画素にそれ
ぞれ対応する、前記背景画像における複数の画素の輝度
値を第2の記憶手段から取得して、背景の輝度が照明変
動の影響を受けて変化した場合の照明変動背景モデルを
注目画素と、同画素に対応する各参照画素との組ごとに
作成する。
【0086】その上で、距離計算ステップでは、輝度空
間において、背景モデル作成ステップで注目画素と参照
画素との前記組ごとに作成した前記照明変動背景モデル
と、複数参照点選択ステップで注目画素ごとに取得した
前記複数の参照画素の輝度値のそれぞれと注目画素の輝
度値との組が表す点との間の距離をそれぞれ計算する。
そして、物体判別ステップでは、注目画素と各参照画素
との組ごとに、距離計算ステップで計算した前記距離に
もとづいて前記注目画素が物体を表す画素か否かを判別
し、前記組ごとの判別結果に対し論理演算を行って注目
画素が物体を表す画素か否かを最終的に判別する。
【0087】このように本発明では、1つの注目画素に
対して複数の参照画素を設定し、注目画素と各参照画素
との組ごとに物体検出を行って、最終的に論理演算によ
り注目画素が物体の画素か否かを判別するので、注目画
素と参照画素とを離して設定しても、物体の位置を確実
に特定できる。したがって、各注目画素ごとに選択する
参照画素を、注目画素に対し、物体の大きさ以上に離し
て設定することができ、その結果、注目画素と参照画素
とを接近させて設定した場合のように物体の輪郭部のみ
が検出されるといったことがない。また、上述した従来
技術と同様、輝度空間における照明変動背景モデルと輝
度点との距離にもとづいて注目画素が画像を表すか否か
を判定するので、照明変動が大きく、かつ頻繁に発生す
る場合にも安定で、しかも高精度に物体を検出すること
ができる。
【0088】また、本発明の物体検出方法および本発明
のコンピュータ読み取り可能な情報記録媒体に記録され
た物体検出プログラムでは、画像入力ステップにおいて
撮影画像の各画素の輝度値を取り込んで第1の記憶手段
に保持させ、水平参照点選択ステップでは、撮影画像に
おいて水平方向に配列された複数の画素から成る注目水
平画素列ごとに、注目水平画素列に含まれる複数の参照
画素を選択して各参照画素の輝度値を第1の記憶手段か
ら取得する。また、垂直参照点選択ステップでは、撮影
画像において垂直方向に配列された複数の画素から成る
注目垂直画素列ごとに、注目垂直画素列に含まれる複数
の参照画素を選択して各参照画素の輝度値を第1の記憶
手段から取得する。そして、水平背景モデル作成ステッ
プでは、水平参照点選択ステップで選択した前記複数の
参照画素にそれぞれ対応する、前記背景画像における複
数の画素の輝度値を第1の記憶手段から取得して背景の
輝度が照明変動の影響を受けて変化した場合の照明変動
背景モデルを作成し、垂直背景モデル作成ステップで
は、垂直参照点選択ステップで選択した前記複数の参照
画素にそれぞれ対応する、前記背景画像における複数の
画素の輝度値を第2の記憶手段から取得して背景の輝度
が照明変動の影響を受けて変化した場合の照明変動背景
モデルを作成する。
【0089】その後、水平距離計算ステップでは、多次
元輝度空間において、水平背景モデル作成ステップで作
成した前記照明変動背景モデルと、水平参照点選択ステ
ップで取得した前記複数の輝度値が表す点との間の距離
を計算し、垂直距離計算ステップでは、多次元輝度空間
において、垂直背景モデル作成ステップで作成した前記
照明変動背景モデルと、垂直参照点選択ステップで取得
した前記複数の輝度値が表す点との間の距離を計算す
る。そして、物体判別ステップでは、水平距離計算ステ
ップおよび垂直距離計算ステップで計算した前記距離に
もとづいて、注目水平画素列および注目垂直画素列に物
体を表す画素が含まれているか否かを判別し、両画素列
に係わる判別結果に対して論理演算を行って物体を含む
矩形領域を特定する。
【0090】このように、本発明では、各水平画素列ご
とに背景モデルの作成や、背景モデルと輝度点との間の
距離の計算といった演算処理を行い、また各垂直画素列
ごとに同様の演算処理を行えばよいので、演算処理の回
数は全体で画像の水平方向の画素数に、画像の垂直方向
の画素数を加えた値となる。一方、各画素ごとに背景モ
デルの作成や、背景モデルと輝度点との間の距離の計算
といった演算処理を行った場合には、全体の演算処理の
回数は、画像の水平方向の画素数に、画像の垂直方向の
画素数を乗じたものとなる。したがて、本発明では、照
明変動が大きく、かつ頻繁に発生する場合にも安定で、
しかも高精度に物体の存在領域を検出できる上に、演算
量が大幅に低減し、その結果、高速に物体検出を行った
り、装置の低コスト化を図る上で非常に有利となる。
【図面の簡単な説明】
【図1】第1の実施の形態例の物体検出装置を示すブロ
ック図である。
【図2】図1の物体検出装置の動作を示すフローチャー
トである。
【図3】(A)は画像面における注目点と参照点との位
置関係を示す説明図、(B)は物体が撮影領域に侵入し
た場合の模式図、(C)は検出結果を示す模式図、
(D)は画像面における注目点と参照点との位置関係を
示す他の説明図、(E)は検出結果を示す他の模式図、
(F)は最終的な検出結果を示す模式図である。
【図4】(A)は、道路を黒い車が走っている原画像を
示す模式図、(B)は従来技術による車の検出結果を示
す説明図、(C)は本実施の形態例による車の検出結果
を示す説明図である。
【図5】第2の実施の形態例の物体検出装置を示すブロ
ック図である。
【図6】図5の物体検出装置の動作を示すフローチャー
トである。
【図7】第2の実施の形態例の動作を説明するための図
であって、(A)は垂直方向における物体の存在可能領
域の検出を表す説明図、(B)は水平方向における物体
の存在可能領域の検出を表す説明図、(C)は検出結果
を示す説明図である。
【図8】背景画像を表す説明図である。
【図9】注目点および参照点の輝度値により形成される
2次元の輝度空間を示す説明図である。
【図10】監視カメラの撮影領域に物体が侵入した場合
の撮影画像を示す説明図である。
【図11】(A)は画像面を示す説明図、(B)は物体
が撮影領域に侵入した場合の模式図、(C)は検出結果
を示す模式図である。
【符号の説明】
2……物体検出装置、4……画像入力手段、6……複数
参照点選択手段、8……背景画像保持手段、10……背
景モデル作成手段、12……距離計算手段、14……物
体判別手段、16……背景作成手段、18……物体検出
装置、20……複数参照点選択手段、22……背景モデ
ル作成手段、24……距離計算手段、26……物体判別
手段、28……背景作成手段、102……白ドット、1
04……直線、106……白丸ドット、108……物
体、110……黒ドット。
───────────────────────────────────────────────────── フロントページの続き (51)Int.Cl.7 識別記号 FI テーマコート゛(参考) G06F 15/70 330Z 9A001 Fターム(参考) 5B057 AA19 CH11 DA06 DC02 DC22 DC32 DC36 5C022 AA01 5C054 AA01 AA05 CA04 CC05 FC03 FC12 GA04 HA18 5C084 AA02 AA04 AA07 AA08 AA13 BB06 CC19 DD12 EE01 EE02 GG12 GG20 GG37 GG43 GG45 GG52 GG56 GG57 GG61 5L096 BA02 CA02 FA66 GA08 JA11 LA05 9A001 GG01 HH23 KK16

Claims (12)

    【特許請求の範囲】
  1. 【請求項1】 撮影画像を用いて物体を検出する物体検
    出装置であって、 前記撮影画像の各画素の輝度値を取り込んで保持する画
    像入力手段と、 前記撮影画像の注目画素ごとに複数の参照画素を選択し
    て、選択した複数の参照画素および前記注目画素の輝度
    値を前記画像入力手段から前記注目画素ごとに取得する
    複数参照点選択手段と、 前記撮影画像の背景を成す背景画像の各画素の輝度値を
    保持する背景画像保持手段と、 前記複数参照点選択手段が選択した前記注目画素および
    同画素に対応する前記複数の参照画素にそれぞれ対応す
    る、前記背景画像における複数の画素の輝度値を前記背
    景画像保持手段から取得して、背景の輝度が照明変動の
    影響を受けて変化した場合の照明変動背景モデルを前記
    注目画素と、同画素に対応する各参照画素との組ごとに
    作成する背景モデル作成手段と、 輝度空間において、前記背景モデル作成手段が前記注目
    画素と参照画素との前記組ごとに作成した前記照明変動
    背景モデルと、前記複数参照点選択手段が前記注目画素
    ごとに取得した前記複数の参照画素の輝度値のそれぞれ
    と前記注目画素の輝度値との組が表す点との間の距離を
    それぞれ計算する距離計算手段と、 前記注目画素と各参照画素との組ごとに、前記距離計算
    手段が計算した前記距離にもとづいて前記注目画素が物
    体を表す画素か否かを判別し、前記組ごとの判別結果に
    対し論理演算を行って前記注目画素が物体を表す画素か
    否かを最終的に判別する物体判別手段とを備えたことを
    特徴とする物体検出装置。
  2. 【請求項2】 前記物体判別手段が物体を表す画素では
    ないと判別した前記注目画素、および同画素に対応する
    前記複数の参照画素のそれぞれに対応する前記背景画像
    の画素の輝度値を、前記注目画素、および同画素に対応
    する前記複数の参照画素の輝度値にもとづき更新して前
    記背景画像保持手段に保持させる背景作成手段を備えた
    ことを特徴とする請求項1記載の物体検出装置。
  3. 【請求項3】 撮影画像を用いて物体を検出する物体検
    出装置であって、 前記撮影画像の各画素の輝度値を取り込んで保持する画
    像入力手段と、 前記撮影画像において水平方向に配列された複数の画素
    から成る注目水平画素列ごとに、前記注目水平画素列に
    含まれる複数の参照画素を選択して各参照画素の輝度値
    を前記画像入力手段から取得する水平参照点選択手段
    と、 前記撮影画像において垂直方向に配列された複数の画素
    から成る注目垂直画素列ごとに、前記注目垂直画素列に
    含まれる複数の参照画素を選択して各参照画素の輝度値
    を前記画像入力手段から取得する垂直参照点選択手段
    と、 前記撮影画像の背景を成す画像の各画素の輝度値を保持
    する背景画像保持手段と、 前記水平参照点選択手段が選択した前記複数の参照画素
    にそれぞれ対応する、前記背景画像における複数の画素
    の輝度値を前記背景画像保持手段から取得して背景の輝
    度が照明変動の影響を受けて変化した場合の照明変動背
    景モデルを作成する水平背景モデル作成手段と、 前記垂直参照点選択手段が選択した前記複数の参照画素
    にそれぞれ対応する、前記背景画像における複数の画素
    の輝度値を前記背景画像保持手段から取得して背景の輝
    度が照明変動の影響を受けて変化した場合の照明変動背
    景モデルを作成する垂直背景モデル作成手段と、 多次元輝度空間において、前記水平背景モデル作成手段
    が作成した前記照明変動背景モデルと、前記水平参照点
    選択手段が取得した前記複数の輝度値が表す点との間の
    距離を計算する水平距離計算手段と、 多次元輝度空間において、前記垂直背景モデル作成手段
    が作成した前記照明変動背景モデルと、前記垂直参照点
    選択手段が取得した前記複数の輝度値が表す点との間の
    距離を計算する垂直距離計算手段と、 前記水平距離計算手段および前記垂直距離計算手段が計
    算した前記距離にもとづいて、前記注目水平画素列およ
    び前記注目垂直画素列に物体を表す画素が含まれている
    か否かを判別し、両画素列に係わる判別結果に対して論
    理演算を行って物体を含む矩形領域を特定する物体判別
    手段とを備えたことを特徴とする物体検出装置。
  4. 【請求項4】 前記物体判別手段が物体を表す画素を含
    まないと判別した前記注目水平画素列および注目垂直画
    素列を構成する各画素の輝度値にもとづいて、対応する
    前記背景画像の画素の輝度値を更新して前記背景画像保
    持手段に保持させる背景作成手段とを備えたことを特徴
    とする請求項3記載の物体検出装置。
  5. 【請求項5】 撮影画像を用いて物体を検出する物体検
    出方法であって、 前記撮影画像の各画素の輝度値を取り込んで第1の記憶
    手段に保持させる画像入力ステップと、 前記撮影画像の注目画素ごとに複数の参照画素を選択し
    て、選択した複数の参照画素および前記注目画素の輝度
    値を前記第1の記憶手段から前記注目画素ごとに取得す
    る複数参照点選択ステップと、 前記撮影画像の背景を成す背景画像の各画素の輝度値を
    第2の記憶手段に保持させる背景画像保持ステップと、 前記複数参照点選択ステップで選択した前記注目画素お
    よび同画素に対応する前記複数の参照画素にそれぞれ対
    応する、前記背景画像における複数の画素の輝度値を前
    記第2の記憶手段から取得して、背景の輝度が照明変動
    の影響を受けて変化した場合の照明変動背景モデルを前
    記注目画素と、同画素に対応する各参照画素との組ごと
    に作成する背景モデル作成ステップと、 輝度空間において、前記背景モデル作成ステップで前記
    注目画素と参照画素との前記組ごとに作成した前記照明
    変動背景モデルと、前記複数参照点選択ステップで前記
    注目画素ごとに取得した前記複数の参照画素の輝度値の
    それぞれと前記注目画素の輝度値との組が表す点との間
    の距離をそれぞれ計算する距離計算ステップと、 前記注目画素と各参照画素との組ごとに、前記距離計算
    ステップで計算した前記距離にもとづいて前記注目画素
    が物体を表す画素か否かを判別し、前記組ごとの判別結
    果に対し論理演算を行って前記注目画素が物体を表す画
    素か否かを最終的に判別する物体判別ステップとを備え
    たことを特徴とする物体検出方法。
  6. 【請求項6】 前記物体判別ステップで物体を表す画素
    ではないと判別した前記注目画素、および同画素に対応
    する前記複数の参照画素のそれぞれに対応する前記背景
    画像の画素の輝度値を、前記注目画素、および同画素に
    対応する前記複数の参照画素の輝度値にもとづき更新し
    て前記第1の記憶手段に保持させる背景作成ステップを
    備えたことを特徴とする請求項5記載の物体検出方法。
  7. 【請求項7】 撮影画像を用いて物体を検出する物体検
    出方法であって、 前記撮影画像の各画素の輝度値を取り込んで第1の記憶
    手段に保持させる画像入力ステップと、 前記撮影画像において水平方向に配列された複数の画素
    から成る注目水平画素列ごとに、前記注目水平画素列に
    含まれる複数の参照画素を選択して各参照画素の輝度値
    を前記第1の記憶手段から取得する水平参照点選択ステ
    ップと、 前記撮影画像において垂直方向に配列された複数の画素
    から成る注目垂直画素列ごとに、前記注目垂直画素列に
    含まれる複数の参照画素を選択して各参照画素の輝度値
    を前記第1の記憶手段から取得する垂直参照点選択ステ
    ップと、 前記撮影画像の背景を成す画像の各画素の輝度値を第2
    の記憶手段に保持させる背景画像保持ステップと、 前記水平参照点選択ステップで選択した前記複数の参照
    画素にそれぞれ対応する、前記背景画像における複数の
    画素の輝度値を前記第2の記憶手段から取得して背景の
    輝度が照明変動の影響を受けて変化した場合の照明変動
    背景モデルを作成する水平背景モデル作成ステップと、 前記垂直参照点選択ステップで選択した前記複数の参照
    画素にそれぞれ対応する、前記背景画像における複数の
    画素の輝度値を前記第2の記憶手段から取得して背景の
    輝度が照明変動の影響を受けて変化した場合の照明変動
    背景モデルを作成する垂直背景モデル作成ステップと、 多次元輝度空間において、前記水平背景モデル作成ステ
    ップで作成した前記照明変動背景モデルと、前記水平参
    照点選択ステップで取得した前記複数の輝度値が表す点
    との間の距離を計算する水平距離計算ステップと、 多次元輝度空間において、前記垂直背景モデル作成ステ
    ップで作成した前記照明変動背景モデルと、前記垂直参
    照点選択ステップで取得した前記複数の輝度値が表す点
    との間の距離を計算する垂直距離計算ステップと、 前記水平距離計算ステップおよび前記垂直距離計算ステ
    ップで計算した前記距離にもとづいて、前記注目水平画
    素列および前記注目垂直画素列に物体を表す画素が含ま
    れているか否かを判別し、両画素列に係わる判別結果に
    対して論理演算を行って物体を含む矩形領域を特定する
    物体判別ステップとを備えたことを特徴とする物体検出
    方法。
  8. 【請求項8】 前記物体判別ステップで物体を表す画素
    を含まないと判別した前記注目水平画素列および注目垂
    直画素列を構成する各画素の輝度値にもとづいて、対応
    する前記背景画像の画素の輝度値を更新して前記第2の
    記憶手段に保持させる背景作成ステップとを備えたこと
    を特徴とする請求項7記載の物体検出方法。
  9. 【請求項9】 撮影画像を用いて物体を検出する物体検
    出プログラムを記録したコンピュータ読み取り可能な情
    報記録媒体であって、 前記撮影画像の各画素の輝度値を取り込んで第1の記憶
    手段に保持させる画像入力ステップと、 前記撮影画像の注目画素ごとに複数の参照画素を選択し
    て、選択した複数の参照画素および前記注目画素の輝度
    値を前記第1の記憶手段から前記注目画素ごとに取得す
    る複数参照点選択ステップと、 前記撮影画像の背景を成す背景画像の各画素の輝度値を
    第2の記憶手段に保持させる背景画像保持ステップと、 前記複数参照点選択ステップで選択した前記注目画素お
    よび同画素に対応する前記複数の参照画素にそれぞれ対
    応する、前記背景画像における複数の画素の輝度値を前
    記第2の記憶手段から取得して、背景の輝度が照明変動
    の影響を受けて変化した場合の照明変動背景モデルを前
    記注目画素と、同画素に対応する各参照画素との組ごと
    に作成する背景モデル作成ステップと、 輝度空間において、前記背景モデル作成ステップで前記
    注目画素と参照画素との前記組ごとに作成した前記照明
    変動背景モデルと、前記複数参照点選択ステップで前記
    注目画素ごとに取得した前記複数の参照画素の輝度値の
    それぞれと前記注目画素の輝度値との組が表す点との間
    の距離をそれぞれ計算する距離計算ステップと、 前記注目画素と各参照画素との組ごとに、前記距離計算
    ステップで計算した前記距離にもとづいて前記注目画素
    が物体を表す画素か否かを判別し、前記組ごとの判別結
    果に対し論理演算を行って前記注目画素が物体を表す画
    素か否かを最終的に判別する物体判別ステップとを含む
    ことを特徴とする物体検出プログラムを記録したコンピ
    ュータ読み取り可能な情報記録媒体。
  10. 【請求項10】 前記物体判別ステップで物体を表す画
    素ではないと判別した前記注目画素、および同画素に対
    応する前記複数の参照画素のそれぞれに対応する前記背
    景画像の画素の輝度値を、前記注目画素、および同画素
    に対応する前記複数の参照画素の輝度値にもとづき更新
    して前記第1の記憶手段に保持させる背景作成ステップ
    を含むことを特徴とする請求項9記載の物体検出プログ
    ラムを記録したコンピュータ読み取り可能な情報記録媒
    体。
  11. 【請求項11】 撮影画像を用いて物体を検出する物体
    検出プログラムを記録したコンピュータ読み取り可能な
    情報記録媒体であって、 前記撮影画像の各画素の輝度値を取り込んで第1の記憶
    手段に保持させる画像入力ステップと、 前記撮影画像において水平方向に配列された複数の画素
    から成る注目水平画素列ごとに、前記注目水平画素列に
    含まれる複数の参照画素を選択して各参照画素の輝度値
    を前記第1の記憶手段から取得する水平参照点選択ステ
    ップと、 前記撮影画像において垂直方向に配列された複数の画素
    から成る注目垂直画素列ごとに、前記注目垂直画素列に
    含まれる複数の参照画素を選択して各参照画素の輝度値
    を前記第1の記憶手段から取得する垂直参照点選択ステ
    ップと、 前記撮影画像の背景を成す画像の各画素の輝度値を第2
    の記憶手段に保持させる背景画像保持ステップと、 前記水平参照点選択ステップで選択した前記複数の参照
    画素にそれぞれ対応する、前記背景画像における複数の
    画素の輝度値を前記第2の記憶手段から取得して背景の
    輝度が照明変動の影響を受けて変化した場合の照明変動
    背景モデルを作成する水平背景モデル作成ステップと、 前記垂直参照点選択ステップで選択した前記複数の参照
    画素にそれぞれ対応する、前記背景画像における複数の
    画素の輝度値を前記第2の記憶手段から取得して背景の
    輝度が照明変動の影響を受けて変化した場合の照明変動
    背景モデルを作成する垂直背景モデル作成ステップと、 多次元輝度空間において、前記水平背景モデル作成ステ
    ップで作成した前記照明変動背景モデルと、前記水平参
    照点選択ステップで取得した前記複数の輝度値が表す点
    との間の距離を計算する水平距離計算ステップと、 多次元輝度空間において、前記垂直背景モデル作成ステ
    ップで作成した前記照明変動背景モデルと、前記垂直参
    照点選択ステップで取得した前記複数の輝度値が表す点
    との間の距離を計算する垂直距離計算ステップと、 前記水平距離計算ステップおよび前記垂直距離計算ステ
    ップで計算した前記距離にもとづいて、前記注目水平画
    素列および前記注目垂直画素列に物体を表す画素が含ま
    れているか否かを判別し、両画素列に係わる判別結果に
    対して論理演算を行って物体を含む矩形領域を特定する
    物体判別ステップとを含むことを特徴とする物体検出プ
    ログラムを記録したコンピュータ読み取り可能な情報記
    録媒体。
  12. 【請求項12】 前記物体判別ステップで物体を表す画
    素を含まないと判別した前記注目水平画素列および注目
    垂直画素列を構成する各画素の輝度値にもとづいて、対
    応する前記背景画像の画素の輝度値を更新して前記第2
    の記憶手段に保持させる背景作成ステップとを含むこと
    を特徴とする請求項11記載の物体検出プログラムを記
    録したコンピュータ読み取り可能な情報記録媒体。
JP15792699A 1999-06-04 1999-06-04 物体検出装置および物体検出方法 Expired - Fee Related JP3465632B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP15792699A JP3465632B2 (ja) 1999-06-04 1999-06-04 物体検出装置および物体検出方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP15792699A JP3465632B2 (ja) 1999-06-04 1999-06-04 物体検出装置および物体検出方法

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2003170951A Division JP4306333B2 (ja) 2003-06-16 2003-06-16 物体検出プログラムを記録したコンピュータ読み取り可能な情報記録媒体

Publications (2)

Publication Number Publication Date
JP2000348163A true JP2000348163A (ja) 2000-12-15
JP3465632B2 JP3465632B2 (ja) 2003-11-10

Family

ID=15660501

Family Applications (1)

Application Number Title Priority Date Filing Date
JP15792699A Expired - Fee Related JP3465632B2 (ja) 1999-06-04 1999-06-04 物体検出装置および物体検出方法

Country Status (1)

Country Link
JP (1) JP3465632B2 (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010238034A (ja) * 2009-03-31 2010-10-21 Nohmi Bosai Ltd 煙検出装置
JP2016510532A (ja) * 2013-01-15 2016-04-07 アビジロン コーポレイション シーン適応型自動露出補正を伴う撮像装置

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010238034A (ja) * 2009-03-31 2010-10-21 Nohmi Bosai Ltd 煙検出装置
JP2016510532A (ja) * 2013-01-15 2016-04-07 アビジロン コーポレイション シーン適応型自動露出補正を伴う撮像装置

Also Published As

Publication number Publication date
JP3465632B2 (ja) 2003-11-10

Similar Documents

Publication Publication Date Title
JP3679512B2 (ja) 画像抽出装置および方法
US8861806B2 (en) Real-time face tracking with reference images
JP3684017B2 (ja) 画像処理装置及び方法
JP5055092B2 (ja) 映像処理装置及び映像処理方法
US20190304112A1 (en) Methods and systems for providing selective disparity refinement
JP2011521521A (ja) 最適映像選択
JPWO2005043466A1 (ja) 物体の状態を推定する推定システム、推定方法および推定プログラム
JP4373840B2 (ja) 動物体追跡方法、動物体追跡プログラムおよびその記録媒体、ならびに、動物体追跡装置
JP2012530994A (ja) 半顔面検出のための方法および装置
CN104811660A (zh) 控制装置及控制方法
KR20110023472A (ko) 좌표맵을 이용한 팬틸트줌 카메라 기반의 객체 추적 장치 및 방법
JP2000194867A (ja) ビデオデ―タ信号から取得された静止画像内でのモ―ション表示方法
CN110572636B (zh) 摄像头脏污检测方法、装置、存储介质及电子设备
CN107578424B (zh) 一种基于时空分类的动态背景差分检测方法、系统及装置
JP7085812B2 (ja) 画像処理装置およびその制御方法
JP2020030750A (ja) 影検出装置、影検出方法、影検出プログラム、学習装置、学習方法、及び学習プログラム
JP2003006654A (ja) 動画像における移動体の特徴量抽出方法と自動追跡方法及びそれらの装置、並びに、それらの方法の実行プログラムとこの実行プログラムを記録した記録媒体
JP4496005B2 (ja) 画像処理方法および画像処理装置
JP7312026B2 (ja) 画像処理装置、画像処理方法およびプログラム
JP4328259B2 (ja) 動物体追跡方法、動物体追跡プログラムおよびその記録媒体、ならびに、動物体追跡装置
JPWO2018179119A1 (ja) 映像解析装置、映像解析方法およびプログラム
JPH10320566A (ja) 画像処理装置、画像処理方法及びその方法を記憶した記憶媒体
JP3465632B2 (ja) 物体検出装置および物体検出方法
JP4306333B2 (ja) 物体検出プログラムを記録したコンピュータ読み取り可能な情報記録媒体
US9842406B2 (en) System and method for determining colors of foreground, and computer readable recording medium therefor

Legal Events

Date Code Title Description
FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20070829

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20080829

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20080829

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20090829

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20090829

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100829

Year of fee payment: 7

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110829

Year of fee payment: 8

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110829

Year of fee payment: 8

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120829

Year of fee payment: 9

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130829

Year of fee payment: 10

LAPS Cancellation because of no payment of annual fees