JP2012194121A - 物体検出装置 - Google Patents

物体検出装置 Download PDF

Info

Publication number
JP2012194121A
JP2012194121A JP2011059699A JP2011059699A JP2012194121A JP 2012194121 A JP2012194121 A JP 2012194121A JP 2011059699 A JP2011059699 A JP 2011059699A JP 2011059699 A JP2011059699 A JP 2011059699A JP 2012194121 A JP2012194121 A JP 2012194121A
Authority
JP
Japan
Prior art keywords
detection
background
region
image
area
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2011059699A
Other languages
English (en)
Other versions
JP5799219B2 (ja
Inventor
Kenichiro Nosaka
健一郎 野坂
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Panasonic Corp
Original Assignee
Panasonic Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Panasonic Corp filed Critical Panasonic Corp
Priority to JP2011059699A priority Critical patent/JP5799219B2/ja
Priority to EP12757894.6A priority patent/EP2672294A1/en
Priority to PCT/IB2012/000476 priority patent/WO2012123808A1/ja
Priority to US14/001,573 priority patent/US9189685B2/en
Priority to CN201280011379.5A priority patent/CN103415788B/zh
Priority to KR1020137022497A priority patent/KR20140007402A/ko
Publication of JP2012194121A publication Critical patent/JP2012194121A/ja
Application granted granted Critical
Publication of JP5799219B2 publication Critical patent/JP5799219B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S3/00Direction-finders for determining the direction from which infrasonic, sonic, ultrasonic, or electromagnetic waves, or particle emission, not having a directional significance, are being received
    • G01S3/78Direction-finders for determining the direction from which infrasonic, sonic, ultrasonic, or electromagnetic waves, or particle emission, not having a directional significance, are being received using electromagnetic waves other than radio waves
    • G01S3/782Systems for determining direction or deviation from predetermined direction
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/103Static body considered as a whole, e.g. static pedestrian or occupant recognition
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S3/00Direction-finders for determining the direction from which infrasonic, sonic, ultrasonic, or electromagnetic waves, or particle emission, not having a directional significance, are being received
    • G01S3/78Direction-finders for determining the direction from which infrasonic, sonic, ultrasonic, or electromagnetic waves, or particle emission, not having a directional significance, are being received using electromagnetic waves other than radio waves
    • G01S3/782Systems for determining direction or deviation from predetermined direction
    • G01S3/783Systems for determining direction or deviation from predetermined direction using amplitude comparison of signals derived from static detectors or detector systems
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01VGEOPHYSICS; GRAVITATIONAL MEASUREMENTS; DETECTING MASSES OR OBJECTS; TAGS
    • G01V8/00Prospecting or detecting by optical means
    • G01V8/10Detecting, e.g. by using light barriers
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/11Region-based segmentation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/174Segmentation; Edge detection involving the use of two or more images
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/194Segmentation; Edge detection involving foreground-background segmentation
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01VGEOPHYSICS; GRAVITATIONAL MEASUREMENTS; DETECTING MASSES OR OBJECTS; TAGS
    • G01V9/00Prospecting or detecting by methods not provided for in groups G01V1/00 - G01V8/00
    • G01V9/005Prospecting or detecting by methods not provided for in groups G01V1/00 - G01V8/00 by thermal methods, e.g. after generation of heat by chemical reactions
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10048Infrared image
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20212Image combination
    • G06T2207/20224Image subtraction
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00Indexing scheme relating to image or video recognition or understanding
    • G06V2201/07Target detection

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Electromagnetism (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Life Sciences & Earth Sciences (AREA)
  • Geophysics (AREA)
  • Geophysics And Detection Of Objects (AREA)
  • Radiation Pyrometers (AREA)
  • Image Processing (AREA)

Abstract

【課題】環境温度の変化に対応することにより誤検出を生じにくくした物体検出装置を提供する。
【解決手段】物体検出装置1は、センサ装置2から熱画像を取得する取得部11と、背景画像を記憶する記憶部12と、対象物3を検出する検出部13と、背景画像を更新する更新部15とを備えている。物体検出装置1は、現在の熱画像である取得画像と背景画像との差分を検出する背景差分法により、検出部13にて対象物3を検出する。更新部15は、対象物3が検出されなかった不検出領域については、最新の取得画像に基づいて背景画像を更新する。更新部15は、対象物3が検出された検出領域については、第1の背景更新処理によって更新された温度の変化量から補正値を求め、この補正値を用いて背景画像を更新する。
【選択図】図1

Description

本発明は、熱画像を用いて、現在の熱画像と背景画像との差分を求めることによって対象物を検出する物体検出装置に関する。
従来から、センサ装置から検知範囲の熱画像を取得し、熱画像から対象物である人などの熱源を検出する物体検出装置が提供されている。物体検出装置による物体の検出方法としては、検知範囲に対象物が存在しない時点での検知範囲の熱画像を背景画像として予め記録しておき、センサ装置より取得された現在の熱画像と背景画像との差分を検出する背景差分法が知られている。背景差分法は、演算が簡単であり、安定した環境下では検出精度もよいという利点がある。
ところで、背景差分法を用いた物体検出装置は、一度取得した背景画像をそのまま使用し続けると、対象物に依らない検知範囲内の温度(以下、「環境温度」という)が変化したときに誤検出を生じるおそれがあるので、背景画像を更新していく必要がある。
そこで、被検知物体が検出されなかった場合に、参照画像(背景画像)を原画像(取得画像)にて更新させる機能を持った装置が提案されている(たとえば特許文献1参照)。また、前回の基準画像(背景画像)を取り込んだ時刻より所定時間隔てた時刻での入力画像を取り込み、この入力画像と基準画像との加算平均値を求めて、次回の基準画像として更新する機能を持った装置も提案されている(たとえば特許文献2参照)。ただし、特許文献2に記載の装置においては、入力画像から対象物が検出された場合、加算平均処理は実行されない。
さらにまた、画像から人体を識別する装置として、背景画像と現在の画像との差分演算を行い所定の閾値で2値化し、閾値以下の画素については現在の画像で背景画像を書き換える機能を有する装置も提案されている(たとえば特許文献3参照)。特許文献3に記載の装置には、閾値以上の画素(つまり2値化により検出された画素)であっても、人体でないと判断された画素については、現在の画像で背景画像を書き換える機能も備わっている。
特開昭62−240823号公報 特開平10−308939号公報 特開平5−118916号公報
しかし、特許文献1,2に記載の構成では、対象物が検出されている画像では背景画像の更新が行われないため、検知範囲に対象物が存在し続けている間は背景画像の更新が行わず、環境温度が変化した場合に対応できずに誤検出を生じる可能性がある。
また、特許文献3に記載の装置のように、対象物が検出された画像のうち対象物(人)が検出されない領域については背景画像の更新を行う場合でも、対象物が検出された領域は背景画像の更新が行われないため、環境温度の変化に対応できずに誤検出を生じ得る。すなわち、たとえば同じ位置に人が居続けている状態で環境温度が低下した場合、人の体温も環境温度に応じて低下するが、人が居る領域の背景画像は、環境温度が高い状態のまま更新されない。この場合、いずれは人の体温と背景画像との差分値が閾値を下回ってしまい、物体検出装置は人が居ないと誤検出(失報)する可能性がある。反対に、同じ位置に人が居続けている状態で環境温度が上昇した場合、人が居る領域の背景画像が実際の環境温度よりも低いままとなり、人がその領域を去っても、物体検出装置はその領域に人が居ると誤検出する可能性がある。
本発明は上記事由に鑑みて為されており、環境温度の変化に対応することにより誤検出を生じにくくした物体検出装置を提供することを目的とする。
本発明の物体検出装置は、検知範囲内の温度分布を表す取得情報を取得する取得部と、前記検知範囲に対象物が存在しないときの前記検知範囲内の温度分布を表す背景情報を記憶する記憶部と、前記背景情報に対する前記取得情報の変化に基づいて前記検知範囲における前記対象物の有無を検出する検出部と、前記記憶部に記憶されている前記背景情報を繰り返し更新する更新部とを備え、前記更新部は、前記背景情報を、前記検出部で前記対象物が検出された領域を含む検出領域と、当該検出領域以外の領域からなる不検出領域とに分け、前記不検出領域については、前記取得情報に基づいて前記背景情報を更新する第1の背景更新処理を実行し、前記検出領域については、前記不検出領域の少なくとも一部からなる抽出領域の前記第1の背景更新処理による温度の変化量から求まる補正値を用いて、前記背景情報を更新する第2の背景更新処理を実行することを特徴とする。
この物体検出装置において、前記更新部は、前記不検出領域のうち前記検出領域に接している一部の領域を前記抽出領域として、当該抽出領域の温度の変化量から前記補正値を求めることが望ましい。
この物体検出装置において、前記更新部は、前記背景情報の前記不検出領域の一部の領域を前記抽出領域として、当該抽出領域の温度の変化量から前記補正値を求める第1モードと、前記背景情報の前記不検出領域の全域を前記抽出領域として、当該抽出領域の温度の変化量から前記補正値を求める第2モードとを、前記第1の背景更新処理による前記不検出領域の温度の変化量のばらつき度合いに応じて切り替えることがより望ましい。
本発明は、検出領域については、更新部が、不検出領域の少なくとも一部からなる抽出領域の温度の変化量から求まる補正値を用いて、背景情報を更新する第2の背景更新処理を実行するので、環境温度の変化に対応することにより誤検出を生じにくくなる。
実施形態1に係る物体検出装置の構成を示す概略図である。 実施形態1に係る物体検出装置の動作を示すフローチャートである。 実施形態1に係る物体検出装置の動作を示す説明図である。 実施形態1に係る物体検出装置の動作を示す説明図である。 実施形態1に係る物体検出装置の動作を示す説明図である。 実施形態1の他の構成に係る物体検出装置の動作を示す説明図である。 実施形態1の他の構成に係る物体検出装置の動作を示す説明図である。 実施形態1の他の構成に係る物体検出装置の動作を示す説明図である。 実施形態2に係る物体検出装置の動作を示す説明図である。
本実施形態の物体検出装置1は、図1に示すように、センサ装置2から情報を取得する取得部11と、情報を記憶する記憶部12と、背景差分などの演算を行い対象物3の有無を検出する検出部13と、検出結果を出力する出力部14とを備えている。ここでは人を対象物3とするが、人に限らず、たとえば走行中の自動車など熱源となる対象物であれば本実施形態の物体検出装置1は検出することができる。
センサ装置2は、赤外線に感度を持つたとえばサーモパイル素子等のセンサ素子(図示せず)がマトリクス状に2次元配置されて成り、検知範囲(センシング範囲)内の温度分布を表す情報を二次元の熱画像(温度分布画像)として継続的に出力する。各センサ素子は熱画像の各画素に対応しており、以下では各センサ素子が検出した領域の摂氏温度を、熱画像にて対応する各画素の画素値として説明する。なお、図1の例では物体検知装置1はセンサ装置2と別体であるが、この構成に限らず、物体検知装置1にセンサ装置2が一体に備わっていてもよい。
本実施形態の物体検出装置1はコンピュータからなり、コンピュータに所定のプログラムを実行させることにより、取得部11、検出部13、さらに後述の更新部15としての各機能をコンピュータにて実現する。出力部14は、モニタ装置やプリンタ装置など、検出部13の検出結果をユーザに提示する機能を有する装置からなる。
物体検出装置1は、検知範囲内の温度分布を表す取得情報を取得部11にてセンサ装置2から取得し、検出部13にて、記憶部12に記憶された背景情報に対する取得情報の変化に基づいて、検知範囲における対象物3の有無を検出する。すなわち、物体検出装置1は、検知範囲に対象物3が存在しない時点での検知範囲の温度分布を表す熱画像を背景画像(背景情報)として予め記憶部12に記録している。この物体検出装置1は、センサ装置2から現在の検知範囲の温度分布を表す熱画像である取得画像(取得情報)を定期的に取得し、取得画像と背景画像との差分を検出する背景差分法により、検出部13にて対象物3を検出する。
ただし、もし一度取得した背景画像をそのまま使用し続けると、物体検出装置1は、時間帯の変化や冷暖房等により、対象物3に依らない検知範囲内の温度(以下、「環境温度」という)が変化したときに誤検出を生じる可能性がある。
そこで、本実施形態の物体検出装置1は、記憶部12に記憶されている背景画像を繰り返し更新する更新部15を備えている。ここでは、更新部15は、取得画像と背景画像との対比による対象物3の検出処理が検出部13にて為される度に背景画像を更新するが、この構成に限らず、たとえば複数回の検出処理ごとに1度の周期で背景画像を更新してもよい。また、更新部15は、たとえばある決められた時刻になると背景画像を更新してもよい。
以下に、物体検出装置1の動作について、検出部13による対象物3の検出処理、および更新部15による背景画像の更新処理を中心に、図2のフローチャートを参照して説明する。また、図3〜5は、5×5画素の熱画像を例として、物体検出装置1の処理を例示している。なお、以下では、画像における各画素の画素値を、画像における各画素の座標位置(x,y)および時刻tにて特定する。
物体検出装置1は、まず、対象物3が存在しない状態でセンサ装置2から出力される熱画像を取得部11にて取得し、この熱画像の各画素値を、背景データTb(x,y,t)の初期値として記憶部12に予め記憶する(S1)。背景データTb(x,y,t)は、背景画像Tbを構成する各画素の画素値である。
物体検出装置1は、現在の温度分布データT(x,y,t)をセンサ装置2から取得部11にて取得し、この温度分布データT(x,y,t)を記憶部12に記憶する(S2)。温度分布データT(x,y,t)は、取得画像Tを構成する各画素の画素値である。
検出部13は、図3に例示するように、記憶部12に記憶されている背景データTb(x,y,t)と温度分布データT(x,y,t)との差分を、差分データTd(x,y,t)として算出する(S3)。つまり、差分データTd(x,y,t)は数1にて表される。差分データTd(x,y,t)は差分画像Tdを構成する各画素の画素値である。検出部13は数1で表される演算を画素ごとに取得画像Tの全画素について行う。
Figure 2012194121
それから、検出部13は、差分データTd(x,y,t)を所定の閾値によって2値化する(S4)。このとき、検出部13は、図3に例示するように、差分値が閾値以上の画素を対象物3が検出された「検出画素」とし(S5)、差分値が閾値より小さな画素を対象物3が検出されなかった「不検出画素」とする(S6)ように2値化し、検出画像Iを生成する。図3〜5の例では、斜線部が検出画素の集合からなる領域、つまり対象物3が検出された領域である検出領域D1を表し、それ以外の領域が不検出領域の集合からなる領域、つまり対象物3が検出されなかった領域である不検出領域D0を表している。検出画像Iを構成する各画素の画素値I(x,y,t)は閾値Cを用いて数2にて表される。
Figure 2012194121
つまり、I(x,y,t)=1となる画素(x,y)が検出画素であり、I(x,y,t)=0となる画素(x,y)が不検出画素である。検出画像Iは、検出部13の検出結果として出力部14から出力される。
次に、物体検出装置1は、不検出画素の集合からなる不検出領域D0について背景データTb(x,y,t)を更新する第1の背景更新処理を、更新部15にて行う(S7)。更新部15は、不検出領域D0の全画素について、最新の温度分布データT(x,y,t)に基づいて記憶部12に記憶されている背景データTb(x,y,t)を補正することにより、第1の背景更新処理を行う。具体的には、更新部15は、図4に例示するように、記憶部12に記憶されている背景データTb(x,y,t)と、現在の温度分布データT(x,y,t)との重み付き平均(加重平均)値を算出することによって、第1の背景更新処理を行う。つまり、不検出領域D0の新たな背景データTb(x,y,t+1)は、重み付き平均のパラメータαを用いて数3にて表される。図4の例では、パラメータα=0.1としている。更新部15は、数3で表される演算を画素ごとに不検出領域D0の全画素について行う。
Figure 2012194121
更新部15は、第1の背景更新処理で得られた不検出領域D0の新たな背景データTb(x,y,t+1)を用いて、後述の第2の背景更新処理で用いられる補正値を求める。補正値は、背景画像Tbのうち不検出領域D0の少なくとも一部からなる抽出領域において、第1の背景更新処理で更新された温度の変化量から求められる。本実施形態では、不検出領域D0の全域を抽出領域とする。ここでは、更新部15は、まず数4で表される更新値ΔTb(x,y,t)を、図5(a)に例示するように、画素ごとに不検出領域D0の全画素について求める(S8)。更新値ΔTb(x,y,t)は、背景画像Tbにおいて第1の背景更新処理によって更新された画素値の変化量を表す値である。
Figure 2012194121
続いて、更新部15は、抽出領域である不検出領域D0の全画素における更新値ΔTb(x,y,t)の代表値を、補正値として求める(S9)。本実施形態では、補正値となる更新値ΔTb(x,y,t)の代表値は数5にて表される平均値ΔTavとする。ただし、代表値は平均値に限らず、中央値や最頻値などであってもよい。なお、数5では、不検出領域D0に属する要素数(画素数)を|D0|として表している。
Figure 2012194121
図5の例では、19画素からなる不検出領域D0中に、更新値ΔTb(x,y,t)=0.1の画素が12画素存在するので、平均値ΔTavは1.2/19≒0.06となる。
それから、物体検出装置1は、検出画素の集合からなる検出領域D1について背景データTb(x,y,t)を更新する第2の背景更新処理を、更新部15にて行う(S10)。更新部15は、検出領域D1の全画素について、処理S8,S9にて求めた補正値(平均値ΔTav)を用いて記憶部12に記憶されている背景データTb(x,y,t)を補正することにより、第2の背景更新処理を行う。具体的には、更新部15は、図5(b)に例示するように、記憶部12に記憶されている現在の背景データTb(x,y,t)に、補正値を加算することによって、第2の背景更新処理を行う。つまり、検出領域D1の新たな背景データTb(x,y,t+1)は数6にて表される。更新部15は、数6で表される演算を画素ごとに検出領域D1の全画素について行う。
Figure 2012194121
要するに、更新部15は、背景データTb(x,y,t)のうち、不検出領域D0については数3による第1の背景更新処理を行い、検出領域D1については数6による第2の背景更新処理を行う。更新部15は、このようにして得られる新たな背景データTb(x,y,t+1)によって、記憶部12内の背景画像Tbを随時書き換える。その結果、記憶部12には、全画素(不検出領域D0および検出領域D1の両方の全画素)について値が更新された新たな背景データTb(x,y,t+1)からなる背景画像Tb(t+1)が、背景画像Tbとして記憶されることになる。なお、センサ装置2の検知範囲内に対象物3が存在しなければ、差分画像Tdは検出領域D1を含まず、全域が不検出領域D0になるので、第1の背景更新処理のみで背景画像Tbの全域が更新される。
その後、物体検出装置1は、S2の処理に戻って、更新後の背景画像Tbを用いてS2〜S10の処理を繰り返し実行する。
以上説明した本実施形態の物体検出装置1によれば、対象物3が同一箇所に存在し続けている間に環境温度が変化した場合でも、更新部15は、対象物3が検出された検出領域D1について、環境温度の変化に追従して背景画像Tbを更新することができる。したがって、対象物3が同一箇所に長時間存在し続けた場合でも、背景画像Tbは環境温度の変化に対応して正しく更新され、物体検出装置1は、更新後の背景画像Tbを用いることにより、その後の対象物3の検出処理を正しく行うことができる。
要するに、更新部15は、対象物3が検出されなかった不検出領域D0だけでなく、対象物3が検出された検出領域D1についても、背景画像Tbを更新するので、背景画像Tbの全域を環境温度の変化に対応させることができる。たとえば、同じ位置に人が居続けている状態で環境温度が低下した場合でも、人が居る領域の背景画像Tbも環境温度の変化に応じて更新されるため、物体検出装置1は人が居ないと誤検出(失報)してしまうことを回避できる。また、同じ位置に人が居続けている状態で環境温度が上昇した場合には、物体検出装置1は、人がその領域を去ったときに、その領域に人が居ると誤検出してしまうことを回避できる。
結果的に、本実施形態の物体検出装置1は、背景画像Tbのうち検出領域D1の更新を行わない構成に比べて、環境温度の変化に対応することにより誤検出を生じにくいという利点がある。
ところで、上記実施形態においては、検出領域D1は、差分データが閾値以上の画素(検出画素)の集合そのものであるが、この例に限らず、検出領域D1は、適切に拡大されることが望ましい。つまり、検出領域D1は、少なくとも検出部13で対象物3が検出された領域全体を含んでいればよく、対象物3が検出された領域そのものに限らない。同様に、不検出領域D0は、検出領域D1以外の領域であって、対象物3が検出されなかった領域そのものに限らない。検出領域D1が拡大されることにより、以下のような問題を解消することができる。
すなわち、センサ装置2の画素分解能が粗い場合などで、同一画素中に対象物3が存在する部分と存在しない部分とが混在する画素については、平均化された低い画素値(温度)が出力され、差分データが閾値以上とならずに不検出領域D0に含まれることがある。この画素においては実際には対象物3が存在するため、画素値は閾値未満とはいえ本来の環境温度より高い。したがって、上記実施形態の物体検出装置1によれば、背景データは更新部15によって本来の環境温度よりも高い温度に更新されることとなり、誤検出の原因となる。
これに対して、検出領域D1が拡大された場合、同一画素中に対象物3が存在する部分と存在しない部分とが混在する画素についても、検出領域D1に含まれることになるので、この画素の画素値によって背景データが更新されることを回避できる。したがって、背景データが更新部15によって本来の環境温度よりも高い温度に更新されることを回避できる。
検出領域D1の拡大の処理は、具体的には、上記処理S4〜S6によって生成された検出画像Iのうち画素値I(x,y,t)=1である画素について為される膨張処理(Dilation)である。これにより、差分画像Tdの検出領域D1は、図6に例示すように差分データTd(x,y,t)が閾値以上の画素(検出画素)の集合だけでなく、その周辺にまで拡大される。ここでいう膨張処理は、画像処理技術として一般的な手法であり、値が同一であり互いに連結された画素の塊の境界線を外側に1画素分拡大する処理である。この膨張処理を行うことによって、同一画素中に対象物3が存在する部分と存在しない部分とが混在する画素を検出領域D1に含むことができる。
物体検出装置1は、検出領域D1の拡大処理を行った後、図7および図8に例示するように、検出領域D1以外の領域を不検出領域D0として、第1の背景更新処理および第2の背景更新処理を実行する(上記処理S7〜S10)。なお、図6〜8の例では、斜線部が検出領域D1を表し、それ以外の領域が不検出領域D0を表している。
(実施形態2)
本実施形態の物体検出装置1は、第2の背景更新処理用の補正値を求める際に用いる抽出領域の設定が実施形態1の物体検出装置1と相違する。以下では、実施形態1と同様の構成については同一の符号を付して説明を適宜省略する。
実施形態1に係る物体検出装置1では、不検出領域D0の全域を抽出領域としており、更新部15は不検出領域D0の全画素の更新値ΔTb(x,y,t)の代表値を第2の背景更新処理用の補正値とする。そのため、センサ装置2の検知範囲が広く、検知範囲内で環境温度の変化に偏りがある場合に、以下のような不具合が生じ得る。たとえばストーブのような対象物3以外の熱源が対象物(人)3から離れた位置に存在する場合、検出領域D1の本来の環境温度とは関係のない熱源周辺の温度が、第2の背景更新処理用の補正値に影響することがある。これにより、検出領域D1の背景データが、本来の環境温度よりも高い温度に更新されることがある。
これに対して、本実施形態では、更新部15は、不検出領域D0のうち検出領域D1に接している一部の領域のみを抽出領域とする。すなわち、更新部15は、不検出領域D0のうち検出領域D1に隣接する周辺画素における更新値ΔTb(x,y,t)の代表値(たとえば平均値ΔTav)を補正値として算出し、この補正値を用いて第2の背景更新処理を行う。具体的には、更新部15は、検出画像Iに対してn回(n=1,2,・・・)の膨張処理を実行し、膨張された領域と膨張前の検出領域D1との差分領域を抽出領域とし、抽出領域内の画素のみを対象として、更新値ΔTb(x,y,t)の代表値(補正値)を求める。ここで、nは抽出領域の広さ(幅)を決めるパラメータであって、センサ装置2の検知範囲および画素分解能に応じて設定されていればよい。
以上説明した本実施形態の物体検出装置1によれば、不検出領域D0のうち検出領域D1に接している一部の領域のみが抽出領域となるので、検知範囲内で環境温度の変化に偏りがある場合でも、第2の背景更新処理用の補正値として適切な値が算出される。つまり、補正値を用いた第2の背景更新処理により、対象物3が検出された検出領域D1の背景データは、対象物3の近傍の環境温度の変化を用いて更新されるので、より確からしい値に補正されることになる。したがって、検知範囲内で環境温度の変化に偏りがある場合でも、第2の背景更新処理において、検出領域D1の背景データが本来の環境温度よりも高い温度に更新されることを回避できる。この構成は、センサ装置2の検知範囲が広い場合など、検知範囲内で環境温度の変化に偏りが生じやすい場合に特に有用である。
また、図9に例示するように、互いに連結された検出画素の塊が複数存在する場合、更新部15は、塊ごとに、各塊のみが存在する検出画像Im(m=1,2,・・・)を一時的に生成し、各検出画像Imについて個別に抽出領域を設定してもよい。つまり、更新部15は、検出画素の塊の数だけ検出画像Imを生成し、各検出画像Imについて個別に膨張処理をn回(図9では2回)実行し、膨張後の領域と膨張前の検出領域D11,D12との差分領域を抽出領域D13,D14とする。なお、図9では、検出画素の塊である検出領域D11,D12と、補正値の算出対象となる抽出領域D13,D14とを斜線の向きで区別している。
この場合に、更新部15は、抽出領域D13,D14ごとに補正値を算出し、各補正値を用いて各検出領域D11,D12の背景データを更新する。すなわち、図9の例では、検出画像I1の抽出領域D13から算出される補正値は、検出画像I1の検出領域D11の背景データ更新に用いられ、検出画像I2の抽出領域D14から算出される補正値は、検出画像I2の検出領域D12の背景データ更新に用いられる。
なお、本実施形態では、抽出領域の決め方として単純に画像処理技術における膨張処理を採用しているが、センサ装置2の配置によっては、検出画素に隣接する画素が実空間では対象物3の近傍ではないこともあり得る。センサ装置2の配置がこのような配置であることが予め分かっている場合、たとえばセンサ装置2が斜め下方に向けて配置されているような場合、更新部15は、検出画素のうち対象物3と床面との接点になる足元領域の周辺画素のみを抽出領域としてもよい。
その他の構成および機能は実施形態1と同様である。
(実施形態3)
本実施形態の物体検出装置1は、第2の背景更新処理用の補正値を求める際に用いる抽出領域の設定が実施形態2の物体検出装置1と相違する。以下では、実施形態2と同様の構成については同一の符号を付して説明を適宜省略する。
本実施形態では、更新部15は、不検出領域D0のうち検出領域D1に接している一部の領域のみを抽出領域とする第1モードと、不検出領域D0の全域を抽出領域とする第2モードとの2つの動作モードを切替可能である。更新部15は、これら第1モードと第2モードとを、第1の背景更新処理による不検出領域D0の温度の変化量のばらつき度合いに応じて切り替える。
具体的には、更新部15は、第1の背景更新処理に伴い算出された更新値ΔTb(x,y,t)の値が、不検出領域D0の全画素について概ね均一か否かを判断し、均一でないと判断すれば第1モードで動作し、均一であると判断すれば第2モードで動作する。ここで、更新部15は、たとえば不検出領域D0における更新値ΔTb(x,y,t)の最大値と最小値との差分値を所定の閾値と比較し、差分値が閾値より小さければ概ね均一であり、閾値以上であれば均一でないと判断する。この構成に限らず、更新部15は、たとえば更新値ΔTb(x,y,t)の標準偏差を求め、この値が所定の閾値の範囲内か否かによって、概ね均一か否かを判断してもよい。
以上説明した本実施形態の物体検出装置1によれば、不検出領域D0の温度の変化量のばらつき度合いに応じて補正値の算出対象である抽出領域が変わるので、更新部15は最適な方法で補正値を算出することができる。
すなわち、検出領域D1に接している一部の領域を抽出領域とする第1モードは、検知範囲内で環境温度の変化に偏りがある場合に有効であるが、算出対象となる画素数の減少による補正値のばらつきや、膨張処理に伴う演算負荷の増大を生じる可能性がある。一方、不検出領域D0の全域を抽出領域とする第2モードは、検知範囲内で環境温度の変化に偏りがある場合には適さないが、算出対象となる画素数の減少による補正値のばらつきや、膨張処理に伴う演算負荷の増大を生じないという利点がある。本実施形態の更新部15は、これらの第1モードと第2モードとを、不検出領域D0における温度の変化量のばらつき度合いに応じて切り替えるので、常に最適な方法で補正値を算出できる。
なお、更新部14が第1モードにおいて抽出領域とする領域は、不検出領域D0のうち検出領域D1に接している一部の領域に限らず、不検出領域D0の一部の領域であればよい。
その他の構成および機能は実施形態2と同様である。
1 物体検出装置
2 センサ装置
3 対象物
11 取得部
12 記憶部
13 検出部
15 更新部

Claims (3)

  1. 検知範囲内の温度分布を表す取得情報を取得する取得部と、前記検知範囲に対象物が存在しないときの前記検知範囲内の温度分布を表す背景情報を記憶する記憶部と、前記背景情報に対する前記取得情報の変化に基づいて前記検知範囲における前記対象物の有無を検出する検出部と、前記記憶部に記憶されている前記背景情報を繰り返し更新する更新部とを備え、
    前記更新部は、前記背景情報を、前記検出部で前記対象物が検出された領域を含む検出領域と、当該検出領域以外の領域からなる不検出領域とに分け、
    前記不検出領域については、前記取得情報に基づいて前記背景情報を更新する第1の背景更新処理を実行し、前記検出領域については、前記不検出領域の少なくとも一部からなる抽出領域の前記第1の背景更新処理による温度の変化量から求まる補正値を用いて、前記背景情報を更新する第2の背景更新処理を実行することを特徴とする物体検出装置。
  2. 前記更新部は、前記不検出領域のうち前記検出領域に接している一部の領域を前記抽出領域として、当該抽出領域の温度の変化量から前記補正値を求めることを特徴とする請求項1に記載の物体検出装置。
  3. 前記更新部は、前記背景情報の前記不検出領域の一部の領域を前記抽出領域として、当該抽出領域の温度の変化量から前記補正値を求める第1モードと、前記背景情報の前記不検出領域の全域を前記抽出領域として、当該抽出領域の温度の変化量から前記補正値を求める第2モードとを、前記第1の背景更新処理による前記不検出領域の温度の変化量のばらつき度合いに応じて切り替えることを特徴とする請求項1または請求項2に記載の物体検出装置。
JP2011059699A 2011-03-17 2011-03-17 物体検出装置 Active JP5799219B2 (ja)

Priority Applications (6)

Application Number Priority Date Filing Date Title
JP2011059699A JP5799219B2 (ja) 2011-03-17 2011-03-17 物体検出装置
EP12757894.6A EP2672294A1 (en) 2011-03-17 2012-03-14 Object detection device
PCT/IB2012/000476 WO2012123808A1 (ja) 2011-03-17 2012-03-14 物体検出装置
US14/001,573 US9189685B2 (en) 2011-03-17 2012-03-14 Object detection device
CN201280011379.5A CN103415788B (zh) 2011-03-17 2012-03-14 物体检测装置
KR1020137022497A KR20140007402A (ko) 2011-03-17 2012-03-14 물체 검출 장치

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2011059699A JP5799219B2 (ja) 2011-03-17 2011-03-17 物体検出装置

Publications (2)

Publication Number Publication Date
JP2012194121A true JP2012194121A (ja) 2012-10-11
JP5799219B2 JP5799219B2 (ja) 2015-10-21

Family

ID=46830097

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2011059699A Active JP5799219B2 (ja) 2011-03-17 2011-03-17 物体検出装置

Country Status (6)

Country Link
US (1) US9189685B2 (ja)
EP (1) EP2672294A1 (ja)
JP (1) JP5799219B2 (ja)
KR (1) KR20140007402A (ja)
CN (1) CN103415788B (ja)
WO (1) WO2012123808A1 (ja)

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2014025915A (ja) * 2012-07-30 2014-02-06 Nec (China) Co Ltd 占有検出方法および装置
JP2015197564A (ja) * 2014-04-01 2015-11-09 キヤノン株式会社 画像形成装置、画像形成装置の制御方法、及びプログラム
JP2016045502A (ja) * 2014-08-19 2016-04-04 キヤノン株式会社 情報処理装置、情報処理装置の制御方法、及びプログラム
JP2016080619A (ja) * 2014-10-21 2016-05-16 アズビル株式会社 人検知システムおよび方法
JP2016109672A (ja) * 2014-12-04 2016-06-20 台達電子工業股▲ふん▼有限公司Delta Electronics,Inc. 人員検出システム及び人員検出方法
JP2017195454A (ja) * 2016-04-19 2017-10-26 アズビル株式会社 監視装置、監視方法、およびプログラム
WO2019221244A1 (ja) * 2018-05-16 2019-11-21 パナソニックIpマネジメント株式会社 物体検知システム、センサシステム、空気調和システム、物体検知方法及びプログラム
JPWO2022176151A1 (ja) * 2021-02-19 2022-08-25

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6001183B2 (ja) * 2014-02-17 2016-10-05 パナソニック株式会社 空気調和機及び熱画像センサシステム
JP2015216482A (ja) * 2014-05-09 2015-12-03 キヤノン株式会社 撮像制御方法、および撮像装置
CN105423494B (zh) * 2015-12-11 2018-05-01 四川长虹电器股份有限公司 一种校正方法及空调设备
CN107233082B (zh) * 2016-03-29 2020-04-21 广州斯摩莱信息科技有限公司 红外热成像检测系统
KR20190138325A (ko) * 2018-06-05 2019-12-13 휴렛-팩커드 디벨롭먼트 컴퍼니, 엘.피. 사용자를 감지하는 화상형성장치 및 그의 제어 방법
US11242479B2 (en) * 2020-02-14 2022-02-08 Halliburton Energy Services, Inc. Geopolymer cement for use in subterranean operations
US11162015B2 (en) 2020-02-14 2021-11-02 Halliburton Energy Services, Inc. Geopolymer formulations for mitigating losses
US11332654B2 (en) 2020-02-14 2022-05-17 Halliburton Energy Services, Inc. Well bore spacer and efficiency fluids comprising geopolymers
CN113743222A (zh) * 2021-08-04 2021-12-03 北京澎思科技有限公司 体温测量方法、装置、电子设备以及可读存储介质

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0894400A (ja) * 1994-09-21 1996-04-12 Matsushita Electric Ind Co Ltd 画像処理装置と画像処理装置を用いた応用機器
JPH0933662A (ja) * 1995-07-21 1997-02-07 Murata Mfg Co Ltd 赤外線発生物体検知装置
JPH0962822A (ja) * 1995-08-28 1997-03-07 Matsushita Electric Ind Co Ltd 人体移動検知装置および通過人数検知装置
JP2002148354A (ja) * 2000-11-07 2002-05-22 Matsushita Electric Ind Co Ltd 人体検知装置
JP2007256219A (ja) * 2006-03-27 2007-10-04 Nissan Motor Co Ltd 温度検出装置
JP2008224396A (ja) * 2007-03-12 2008-09-25 Saxa Inc 移動体検出装置及び移動体検知システム

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS62240823A (ja) 1986-04-14 1987-10-21 Matsushita Electric Works Ltd 監視制御用画像センサ
JPH05118916A (ja) 1991-10-25 1993-05-14 Matsushita Electric Ind Co Ltd 人体認識装置
EP0755034B1 (en) 1995-07-19 2001-10-24 Matsushita Electric Industrial Co., Ltd. Movement pattern recognizing apparatus for detecting movements of human bodies and the number of passing persons
JPH10308939A (ja) 1997-05-08 1998-11-17 Nec Corp 赤外線監視システム
US7415164B2 (en) * 2005-01-05 2008-08-19 Mitsubishi Electric Research Laboratories, Inc. Modeling scenes in videos using spectral similarity
US7693331B2 (en) * 2006-08-30 2010-04-06 Mitsubishi Electric Research Laboratories, Inc. Object segmentation using visible and infrared images
CN101169891A (zh) * 2006-11-30 2008-04-30 中国科学院长春光学精密机械与物理研究所 智能防盗监控器
US8300890B1 (en) * 2007-01-29 2012-10-30 Intellivision Technologies Corporation Person/object image and screening
US8446468B1 (en) * 2007-06-19 2013-05-21 University Of Southern California Moving object detection using a mobile infrared camera
CN101702035B (zh) * 2009-02-19 2012-10-03 黄程云 数字式准静态被动人体探测器
US8934020B2 (en) * 2011-12-22 2015-01-13 Pelco, Inc. Integrated video quantization
JP5948983B2 (ja) * 2012-03-09 2016-07-06 オムロン株式会社 画像処理装置、画像処理方法、および画像処理プログラム

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0894400A (ja) * 1994-09-21 1996-04-12 Matsushita Electric Ind Co Ltd 画像処理装置と画像処理装置を用いた応用機器
JPH0933662A (ja) * 1995-07-21 1997-02-07 Murata Mfg Co Ltd 赤外線発生物体検知装置
JPH0962822A (ja) * 1995-08-28 1997-03-07 Matsushita Electric Ind Co Ltd 人体移動検知装置および通過人数検知装置
JP2002148354A (ja) * 2000-11-07 2002-05-22 Matsushita Electric Ind Co Ltd 人体検知装置
JP2007256219A (ja) * 2006-03-27 2007-10-04 Nissan Motor Co Ltd 温度検出装置
JP2008224396A (ja) * 2007-03-12 2008-09-25 Saxa Inc 移動体検出装置及び移動体検知システム

Cited By (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2014025915A (ja) * 2012-07-30 2014-02-06 Nec (China) Co Ltd 占有検出方法および装置
JP2015197564A (ja) * 2014-04-01 2015-11-09 キヤノン株式会社 画像形成装置、画像形成装置の制御方法、及びプログラム
US10628718B2 (en) 2014-04-01 2020-04-21 Canon Kabushiki Kaisha Image forming apparatus, control method for the image forming apparatus, and storage medium for controlling a power state based on temperature
JP2016045502A (ja) * 2014-08-19 2016-04-04 キヤノン株式会社 情報処理装置、情報処理装置の制御方法、及びプログラム
JP2016080619A (ja) * 2014-10-21 2016-05-16 アズビル株式会社 人検知システムおよび方法
JP2016109672A (ja) * 2014-12-04 2016-06-20 台達電子工業股▲ふん▼有限公司Delta Electronics,Inc. 人員検出システム及び人員検出方法
US9811065B2 (en) 2014-12-04 2017-11-07 Delta Electronics, Inc. Human detection system and human detection method
JP2017195454A (ja) * 2016-04-19 2017-10-26 アズビル株式会社 監視装置、監視方法、およびプログラム
WO2019221244A1 (ja) * 2018-05-16 2019-11-21 パナソニックIpマネジメント株式会社 物体検知システム、センサシステム、空気調和システム、物体検知方法及びプログラム
JPWO2022176151A1 (ja) * 2021-02-19 2022-08-25
WO2022176151A1 (ja) * 2021-02-19 2022-08-25 三菱電機株式会社 人検出装置、電気機器、人検出方法、及び人検出システム
JP7418652B2 (ja) 2021-02-19 2024-01-19 三菱電機株式会社 人検出装置、電気機器、人検出方法、及び人検出システム

Also Published As

Publication number Publication date
CN103415788B (zh) 2017-02-15
US20130329959A1 (en) 2013-12-12
JP5799219B2 (ja) 2015-10-21
US9189685B2 (en) 2015-11-17
KR20140007402A (ko) 2014-01-17
EP2672294A1 (en) 2013-12-11
CN103415788A (zh) 2013-11-27
WO2012123808A1 (ja) 2012-09-20

Similar Documents

Publication Publication Date Title
JP5799219B2 (ja) 物体検出装置
JP5576937B2 (ja) 車両の周辺監視装置
JP2018181333A5 (ja)
JP4533836B2 (ja) 変動領域検出装置及びその方法
JP5938631B2 (ja) 物体検出装置及び物体検出方法
JP2013074461A5 (ja)
JP2008002817A (ja) 物体識別システム
JP6543790B2 (ja) 信号処理装置、入力装置、信号処理方法、およびプログラム
JP2012084012A (ja) 画像処理装置、その処理方法及びプログラム
US8942478B2 (en) Information processing apparatus, processing method therefor, and non-transitory computer-readable storage medium
KR101712136B1 (ko) 열화상 카메라를 이용한 객체의 실신 상황 감지 방법 및 장치
JP2020027405A (ja) 物体検出プログラム、および物体検出装置
US20170190301A1 (en) Vehicle periphery monitoring device
CN112101090B (zh) 人体检测方法及装置
JP2012226595A (ja) ジェスチャ認識装置
JP4777196B2 (ja) 運転支援装置
JP2007011490A (ja) 道路パラメータ検出装置および道路パラメータ検出方法
JPH11224389A (ja) 炎の検出方法、火災検出方法および火災検出装置
JP2018107665A (ja) 撮像装置、汚れ検知システム、及び、汚れ検知方法
JP5302926B2 (ja) 煙検出装置
JP2010286995A (ja) 車両用画像処理システム
JP2014157453A (ja) 画像処理装置、画像処理方法、および画像処理プログラム
JPWO2020141588A1 (ja) 情報処理装置、情報処理方法及びプログラム
JP4828265B2 (ja) 画像センサ
JP6855233B2 (ja) 障害物検出装置および障害物検出方法

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20140210

A711 Notification of change in applicant

Free format text: JAPANESE INTERMEDIATE CODE: A711

Effective date: 20141008

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20150303

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20150327

R151 Written notification of patent or utility model registration

Ref document number: 5799219

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151