JP2014056494A - 画像処理装置、オブジェクト検出方法、およびオブジェクト検出プログラム - Google Patents

画像処理装置、オブジェクト検出方法、およびオブジェクト検出プログラム Download PDF

Info

Publication number
JP2014056494A
JP2014056494A JP2012201759A JP2012201759A JP2014056494A JP 2014056494 A JP2014056494 A JP 2014056494A JP 2012201759 A JP2012201759 A JP 2012201759A JP 2012201759 A JP2012201759 A JP 2012201759A JP 2014056494 A JP2014056494 A JP 2014056494A
Authority
JP
Japan
Prior art keywords
image
background difference
captured
integrated frame
background
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2012201759A
Other languages
English (en)
Other versions
JP5904069B2 (ja
Inventor
Makoto Watanabe
慎 渡邉
Koichiro Kajitani
浩一郎 梶谷
Nobuyori Tanaka
信頼 田中
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Omron Corp
Original Assignee
Omron Corp
Omron Tateisi Electronics Co
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Omron Corp, Omron Tateisi Electronics Co filed Critical Omron Corp
Priority to JP2012201759A priority Critical patent/JP5904069B2/ja
Publication of JP2014056494A publication Critical patent/JP2014056494A/ja
Application granted granted Critical
Publication of JP5904069B2 publication Critical patent/JP5904069B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Closed-Circuit Television Systems (AREA)
  • Image Analysis (AREA)

Abstract

【課題】ショットノイズや飛行する虫、雨滴等のノイズや空中を瞬時に移動する物体、または霧、黄砂、光化学スモッグ、煙等の空気中に微粒子が漂っている環境下における、オブジェクトの検出精度の低下が十分に抑えられる技術を提供する。
【解決手段】画像処理装置1は、撮像装置で撮像した検知エリアの撮像画像と、この検知エリアの背景画像と、の背景差分画像を生成する。画像処理装置1は、生成した背景差分画像を処理し、撮像されているオブジェクトを検出する。画像処理装置1は、オブジェクトを検出した撮像画像を基準にして決定した、複数フレームの撮像画像について生成した複数フレームの背景差分画像に基づく積算フレーム画像を生成する。画像処理装置1は、検出したオブジェクトがノイズであるかどうかを、生成した積算フレーム画像を用いて判定する。
【選択図】図1

Description

この発明は、撮像装置で撮像した検知エリアの撮像画像を処理し、撮像されているオブジェクトを検出する技術に関する。
従来、撮像装置で撮像した検知エリアの撮像画像を処理し、撮像されている人や物をオブジェクトとして検出する画像処理装置がある。この種の画像処理装置は、不審者の侵入や不審物の放置を監視するシステムに利用されている。
また、最近では、乗降客が駅ホームから線路内に落ちるのを防止するために、駅ホームの側端部に沿って設置した落下防止柵と、停車している列車との間に取り残された乗降客や、手荷物を検出する装置としての利用も考えられている。具体的には、駅ホームからの列車の発車時等における安全性を確保するために、落下防止柵と、列車との間に取り残された乗降客や、手荷物を検出する装置としての利用が考えられている。
この種の画像処理装置は、撮像装置で撮像した検知エリアの撮像画像と、この検知エリアの背景画像(背景モデル)と、の差分画像(背景差分画像)を生成し、撮像されているオブジェクトを検出している。ここで言う背景差分画像とは、各画素を、背景を撮像している背景画素、または、前景(オブジェクト)を撮像している前景画素で区別した2値化画像である。また、撮像画像の背景は、検知エリア内の明るさの変化等、撮像環境の変化に応じて変化する。オブジェクトの検出精度の向上を図る目的で、撮像環境の変化に応じて背景画像(背景モデル)を更新する技術が種々提案されている(例えば、特許文献1参照)。
特開2012−104872号公報
しかしながら、撮像画像において、ショットノイズや飛行する虫、雨滴等のノイズや空中を瞬時に移動する物体、または霧、黄砂、光化学スモッグ、煙等の空気中に漂っている微粒子が撮像されている画素(以下、総称してノイズ画素と言う。)は、背景差分画像の生成において背景画素ではなく、前景画素に区別される。その結果、ノイズ画素が、オブジェクトとして誤検出されることがある。したがって、検知エリアが屋外である場合等、ノイズ画素が比較的生じやすい環境下においては、オブジェクトの検出精度の低下という問題があった。
この発明の目的は、ショットノイズや飛行する虫、雨滴等のノイズや空中を瞬時に移動する物体、または霧、黄砂、光化学スモッグ、煙等の空気中に微粒子が漂っている環境下における、オブジェクトの検出精度の低下が十分に抑えられる技術を提供することにある。
この発明の画像処理装置は、上記課題を解決し、その目的を達するために、以下のように構成している。
画像入力部には、撮像装置で撮像した検知エリアの撮像画像が入力される。この撮像画像は、ビデオカメラで撮像した検知エリアの可視画像であってもよいし、TOF(Time Of Flight)カメラで撮像した検知エリアの距離画像であってもよい。
背景差分画像生成部は、検知エリアの背景画像(背景モデル)と、画像入力部に入力された撮像画像と、の背景差分画像を生成する。背景差分画像は、各画素が背景を撮像している背景画素、または、前景(オブジェクト)を撮像している前景画素で区別した2値化画像である。
オブジェクト検出部は、背景差分画像生成部が生成した背景差分画像を処理し、撮像されているオブジェクトを検出する。例えば、オブジェクト検出部は、背景差分画像において、周辺に位置する前景画素の集合を1つのグループとするグルーピングを行い、画素数が予め定めたオブジェクトサイズ(画素数)の下限を超えるグループをオブジェクトとして検出する。このオブジェクト検出部が検出するオブジェクトには、ショットノイズや飛行する虫、雨滴等のノイズや空中を瞬時に移動する物体、または霧、黄砂、光化学スモッグ、煙等の空気中に漂っている微粒子が撮像されている画素(以下、総称してノイズ画素と言うこともある。)によって誤検出されたオブジェクトが含まれることがある。
積算フレーム画像生成部は、オブジェクト検出部がオブジェクトを検出した撮像画像を基準にして決定した、画像入力部に入力された複数フレームの撮像画像について、背景差分画像生成部が生成した複数フレームの背景差分画像に基づく積算フレーム画像を生成する。この積算フレーム画像生成部は、例えば、オブジェクト検出部がオブジェクトを検出した撮像画像を基準にして決定した、画像入力部に入力された複数フレームの撮像画像について、背景差分画像生成部が生成した全ての背景差分画像において前景画素であった画素を前景画素、その他の画素を背景画素とした積算フレーム画像を生成する構成とすればよい。ノイズ画素(特に、ショットノイズや飛行する虫、雨滴等のノイズや空中を瞬時に移動する物体にかかるノイズ画素)は、フレーム毎に変化する。したがって、生成される積算フレーム画像においては、ノイズ画素が背景画素に区別される。
判定部は、オブジェクト検出部が検出したオブジェクトがノイズであるかどうかを、積算フレーム画像生成部が生成した積算フレーム画像を用いて判定する。すなわち、判定部は、積算フレーム画像においても、オブジェクトとして検出されるかどうかによって、オブジェクト検出部が検出したオブジェクトがノイズ画素によるもの(誤検出によるもの)であるかどうかを判定する。また、判定部は、オブジェクト検出部が検出したオブジェクトのサイズが予め定めた確定サイズ(上述したオブジェクトサイズよりも大きい画素数)を超えていれば、積算フレーム画像生成部が生成した積算フレーム画像を用いることなく、オブジェクトであると判定するようにしてもよい。ノイズ画素によって誤検出されるオブジェクトの大きさは、比較的小さいので、比較的大きいサイズのオブジェクトについては、積算フレーム画像を用いないで、オブジェクトであると判定しても、特に問題は生じない。また、このようにすれば、装置本体の処理負荷が低減できる。
これにより、ノイズ画素によって、オブジェクトが誤検出されるのを抑えられる。したがって、検知エリアが屋外である場合等、ノイズ画素が比較的生じやすい環境下における、オブジェクトの検出精度の低下が十分に抑えられる。特にショットノイズや飛行する虫、雨滴等のノイズや空中を瞬時に移動する物体にかかるノイズ画素によるオブジェクトの誤検出については、ほぼ確実に防止できる。
また、画像入力部に入力される撮像画像が、例えばTOFカメラで撮像した検知エリアの距離画像である場合には、積算フレーム画像生成部を、オブジェクト検出部がオブジェクトを検出した撮像画像を基準にして決定した、前記画像入力部に入力された複数フレームの撮像画像について、背景差分画像生成部が生成した全ての背景差分画像において前景画素であり、且つ、これら複数フレームの撮像画像における距離の変化幅が予め定めた距離設定範囲内であった画素を前景画素、その他の画素を背景画素とした積算フレーム画像を生成する、構成としてもよい。
このようにすれば、ノイズ画素によるオブジェクトの誤検出が一層抑えられる。
また、TOFカメラでは、検知エリアの受光強度画像も得られるので、積算フレーム画像生成部を、オブジェクト検出部がオブジェクトを検出した撮像画像を基準にして決定した、画像入力部に入力された複数フレームの撮像画像について、背景差分画像生成部が生成した全ての背景差分画像において前景画素であり、且つ、これら複数フレームの撮像画像における受光強度の変化幅が予め定めた受光強度設定範囲内であった画素を前景画素、その他の画素を背景画素とした積算フレーム画像を生成する、構成としてもよい。
また、この発明にかかるオブジェクト検出方法は、上述の背景画像生成部、オブジェクト検出部、積算フレーム画像生成部、および判定部の構成に相当する処理をコンピュータに実行させる発明である。
さらに、この発明にかかるオブジェクト検出プログラムは、コンピュータにインストールすることで、上述の背景画像生成部、オブジェクト検出部、積算フレーム画像生成部、および判定部の構成に相当する処理を、このコンピュータに実行させる発明である。
この発明によれば、ショットノイズや飛行する虫、雨滴等のノイズや空中を瞬時に移動する物体、または霧、黄砂、光化学スモッグ、煙等の空気中に微粒子が漂っている環境下における、オブジェクトの検出精度の低下が十分に抑えられる。
画像処理装置の主要部の構成を示すブロック図である。 画像処理装置の動作を示すフローチャートである。 判定処理を示すフローチャートである。 積算フレーム画像生成処理を説明する図である。
以下、この発明の実施形態である画像処理装置について説明する。
図1は、画像処理装置の主要部の構成を示すブロック図である。画像処理装置1は、制御部2と、画像入力部3と、画像処理部4と、入出力部5と、を備えている。この画像処理装置1は、ハードウェアとして上述の構成を有するパーソナルコンピュータ等の情報処理装置を利用することができる。ハードウェアとして利用する情報処理装置は、この発明で言うオブジェクト検出プログラムをインストールすることで、後述する処理(図2、および図3に示すフローチャートにかかる処理)を実行する。
制御部2は、画像処理装置1本体各部の動作を制御する。
画像入力部3は、撮像装置10で撮像した検知エリアの撮像画像が入力される。撮像装置10は、可視画像を撮像するビデオカメラであってもよいし、距離画像、および受光強度画像を撮像するTOF(Time Of Flight)カメラであってもよい。検知エリアは、不審者の侵入や、不審物の放置等を監視するエリアである。撮像装置10は、検知エリア全体が撮像エリアに収まるように設置している。撮像装置10は、1秒間に数フレームから数十フレームの撮像画像を出力する。
画像処理部4は、画像入力部3に入力されたフレーム画像を処理し、このフレーム画像に撮像されているオブジェクト(背景でないオブジェクト)を検出する。また、画像処理部4は、検知エリアの背景画像等を記憶する画像メモリ(不図示)を有している。
入出力部5は、図示していない上位装置との間におけるデータの入出力を制御する。入出力部5は、画像処理部4でオブジェクトが検出されたときに、その旨を上位装置(不図示)に通知する。
なお、上位装置は、画像処理装置1の入出力部5から出力された信号によって、検知エリア内に位置するオブジェクトの検出が通知されたときに、その旨を警告灯の点灯や、音声による報知等で、周辺にいる係員等に通知する構成であってもよいし、この通知を他の処理に利用する構成であってもよい。
次に、この画像処理装置1の動作について説明する。この例では、上述した撮像装置10はビデオカメラであり、画像入力部3に入力される検知エリアの撮像画像は可視画像である。図2は、画像処理装置の動作を示すフローチャートである。
画像処理装置1は、撮像装置10が撮像した検知エリアの撮像画像が画像入力部3に入力されると(s1)、画像処理部4において背景差分画像を生成する(s2)。s2では、画像処理部4が記憶する背景画像(背景モデル)を用いて、画像入力部3に入力された撮像画像の画素毎に、その画素が背景が撮像されている背景画素であるか、前景(オブジェクト)が撮像されている前景画素であるかを判定し、その判定結果を設定した2値化画像を背景差分画像として生成する。また、画像処理部4は、画像入力部3に入力された撮像画像を用いて、背景差分画像の生成に用いる背景画像を更新する更新処理も行う。この背景画像の更新処理については、上述した特許文献1に記載された手法等、様々な手法がすでに公知であるので、ここではその説明を省略する。
なお、この例にかかる画像処理装置1は、画像処理部4における背景画像の更新処理として、公知のいずれの手法を用いてもよい。
画像処理部4は、s2で生成した背景差分画像を画像メモリに記憶する(s3)。s3では、後述する判定処理を実行するときに用いる背景差分画像を一時的に保持しておく処理である。したがって、画像処理部4は、時間経過にともなって、後述する判定処理で用いなくなった背景差分画像については、その時点で画像メモリから消去する。このため、画像メモリの記憶容量を無駄に使用することはなく、画像メモリの必要な記憶容量が抑えられる。
画像処理部4は、s2で生成した背景差分画像に撮像されているオブジェクトを検出するオブジェクト検出処理を行う(s4)。s4では、s2で生成した背景差分画像において、周辺に位置する前景画素をグルーピングすることで、前景領域を設定する。また、s4では、設定した前景領域毎に、その前景領域に属する前景画素の画素数が、予め定めたオブジェクト判定画素数(例えば3〜5画素程度)以下の前景領域について、ノイズ(オブジェクトでない。)と判定する。画像処理部4は、オブジェクト判定画素数を超える前景領域をオブジェクトとして検出する。このs4では、検知エリア内に位置するオブジェクトだけでなく、ショットノイズや飛行する虫、雨滴等のノイズや空中を瞬時に移動する物体、または霧、黄砂、光化学スモッグ、煙等の空気中に漂っている微粒子等が撮像された画素(以下、総称してノイズ画素という場合もある。)が原因でオブジェクトとして誤検出されたものが含まれていることがある。このs4にかかる処理が、この発明で言うオブジェクト検出部に相当する。
画像処理部4は、s4で検出したオブジェクト毎に、そのオブジェクトにかかる前景画素の画素数が予め定めた確定画素数を超えているかどうかを判定し(s5)、確定画素数(例えば、20〜30画素)を超えていればオブジェクトとして確定し(s6)、反対に確定画素数以下であれば、この時点でオブジェクトとして確定するのではなく未確定のオブジェクトとして登録する(s7)。ノイズ画素を前景画素と判定し、且つ、s4で誤検出されるオブジェクトにかかる画素数は比較的少ない。言い換えれば、比較的画素数が多いオブジェクトは、s4で適正に検出されたオブジェクトである。s5の判定に用いる確定画素数が、この発明で言う確定サイズに相当する。
画像処理装置1は、s7で登録した未確定のオブジェクトについて、後述する判定処理を行い、このオブジェクトが、ノイズ画素が原因で誤検出されたものであるかどうかを判定する。
画像処理装置1は、画像処理部4において行ったオブジェクトの検出結果を上位装置に通知し(s8)、s1に戻る。このオブジェクトの検出結果には、後述する判定処理による検出結果も含まれる。
図3は、判定処理を示すフローチャートである。この判定処理は、図2に示した処理と並行して実行される処理である。画像処理部4は、図2に示すs3において、画像メモリに背景差分画像を記憶すると(s11)、図2に示すs7で登録された未確定のオブジェクトがあるかどうかを判定する(s12)。画像処理部4は、s12で未確定のオブジェクトがないと判定すると、s11に戻る。
画像処理部4は、s12で未確定のオブジェクトがあれば、その未確定のオブジェクトが最初に検出された撮像画像を基準にし、これ以降に撮像された撮像画像が予め定めた積算フレーム数n(例えば、3〜5フレーム)に達しかどうかを判定する(s13)。s13では、登録されている未確定のオブジェクトが最初に検出された撮像画像にかかる背景差分画像を含み、これ以降に撮像された撮像画像にかかる背景差分画像の合計フレーム数が、積算フレーム数nに達したかどうかを判定している。
画像処理部4は、登録されている未確定のオブジェクトのいずれについてもs13で積算フレーム数nに達していないと判定すると、s11に戻る。
画像処理部4は、登録されている未確定のオブジェクトのいずれかがs13で積算フレーム数nに達していると判定すると、積算フレーム画像生成処理を行う(s14)。このs14にかかる積算フレーム画像生成処理は、未確定のオブジェクトが最初に検出された撮像画像にかかる背景差分画像を1フレーム目とし、これ以降に撮像された撮像画像にかかる背景差分画像を2フレーム目〜nフレーム目とし、画素毎に、全ての背景差分画像において前景画素である画素を前景画素、その他の画素を背景画素とした積算フレーム画像を生成する。この積算フレーム画像は、前景画素を1、背景画素を0とした各フレームの背景差分画像において、画素毎に論理積をとったものである。
例えば、図4(A)に示す、nフレームの背景差分画像から、図4(B)に示す積算フレーム画像が生成される。複数フレームにわたって、同じ画素が、ショットノイズや飛行する虫、雨滴等のノイズや空中を瞬時に移動する物体、または霧、黄砂、光化学スモッグ、煙等の空気中に漂っている微粒子が原因で前景画素と判定されることはない。すなわち、複数フレームにわたって、同じ画素がノイズ画素になることはない。したがって、いずれかのフレームでショットノイズや飛行する虫、雨滴等のノイズや空中を瞬時に移動する物体、または霧、黄砂、光化学スモッグ、煙等の空気中に漂っている微粒子が原因で前景画素と判定された画素を取り除いた(背景画素とした)積算フレーム画像が生成できる。
なお、図4では、s6で確定されるオブジェクトが撮像されていない場合を例示している。
画像処理部4は、s14で生成した積算フレーム画像において、未確定のオブジェクトの有無を判定する(s15)。画像処理部4は、未確定のオブジェクトがなければ、この未確定のオブジェクトをノイズ(s4で誤検出されたオブジェクト)と判定する(s16)。反対に、画像処理部4は、未確定のオブジェクトがあれば、この未確定のオブジェクトをオブジェクトとして確定する(s17)。
このように、背景差分画像において、検出されたオブジェクトの画素数が、オブジェクト判定画素数を超え、確定画素数以下であったオブジェクト(未確定のオブジェクト)についても、オブジェクトであるかどうかを精度よく判定することができる。したがって、検知エリアが屋外である場合等、ショットノイズや飛行する虫、雨滴等のノイズや空中を瞬時に移動する物体、または霧、黄砂、光化学スモッグ、煙等の空気中に微粒子が漂っている環境下における、オブジェクトの検出精度の低下が十分に抑えられる。
また、図3に示す判定処理の対象になった未確定のオブジェクトについては、この判定処理が終了した時点で、その登録を解除する。また、上記の説明から明らかなように、画像メモリは、予め設定している積算フレーム数nの背景差分画像を記憶すればよい。言い換えれば、積算フレーム数nを超える背景差分画像を記憶しなくてもよい。
次に、別の例にかかる画像処理装置1について説明する。この例は、上述した撮像装置10を、TOFカメラとした構成であり、画像入力部3に入力される検知エリアの撮像画像は距離画像である。
TOFカメラは、公知のように、検知エリア(撮像エリア)に赤外光を照射する光源、およびn×m個の受光素子をマトリクス状に配置した撮像素子(n×m画素の撮像素子)を有する。TOFカメラは、赤外光を検知エリアに照射してから、反射光を受光するまでの時間(飛行時間)を画素毎(受光素子毎)に計測する。TOFカメラは、検知エリアに照射した光と、受光した反射光と、の位相差を計測することによって、飛行時間を得る。TOFカメラは、この飛行時間を得るため、撮像素子の一部の画素に、検知エリアに照射した光を直接受光させている。
TOFカメラは、画素毎に、その画素について得た飛行時間から、照射した光を反射した反射面までの距離を算出する。TOFカメラは、画素毎に、反射面までの距離を対応付けた距離画像を取得する。また、TOFカメラは、画素毎に、その画素が受光した反射光の強度(受光強度)を対応付けた受光強度画像を取得することができる。TOFカメラは、同じタイミングで撮像した検知エリアの距離画像、および受光強度画像を一対の撮像画像として得ることができる。
このTOFカメラは、例えば、1秒間に5〜10フレーム程度の距離画像、および受光強度画像(一対の撮像画像)の撮像が行える。
この例にかかる画像処理装置1は、撮像画像、および背景画像が距離画像である点で上述した例と異なるが、図2に示す処理を行うことで、s4にかかるオブジェクト検出処理で、s2で生成した背景差分画像に撮像されているオブジェクトを検出することができる。また、画像処理部4は、s2で背景差分画像を生成するとき、距離の差が予め定めた範囲内である画素を背景画素、距離の差が予め定めた範囲内でない画素を前景画素と判定する。また、画像処理部4は、s4で検出したオブジェクトのサイズに基づき、オブジェクトの確定、または未確定が判定できる。
また、未確定のオブジェクトについては、図3に示す判定処理を行うことで、オブジェクトであるかどうかを精度よく判定することができる。したがって、上述した例と同様に、ショットノイズや飛行する虫、雨滴等のノイズや空中を瞬時に移動する物体、または霧、黄砂、光化学スモッグ、煙等の空気中に微粒子が漂っている環境下における、オブジェクトの検出精度の低下が十分に抑えられる。
また、s14で積算フレーム画像を生成するときに、その画素を前景画素とするか、背景画素とするかの判定を、全てのフレームにおいて前景画素であったかどうかで判定するだけでなく、全てのフレームにおいて距離の変化幅が予め定めた距離設定範囲内であったかどうかを加えて判定するようにしてもよい。
この場合、背景差分画像だけでなく、画像入力部3に入力された距離画像も画像メモリに記憶する構成とすればよい。
このようにすれば、未確定のオブジェクトについて、その距離も加味して、オブジェクトであるか、ノイズ(誤検出されたオブジェクト)であるかの判定が行える。したがって、ショットノイズや飛行する虫、雨滴等のノイズや空中を瞬時に移動する物体、または霧、黄砂、光化学スモッグ、煙等の空気中に微粒子が漂っている環境下における、オブジェクトの検出精度の低下が一層抑えられる。
また、上述したように、TOFカメラは、受光強度画像を撮像することができるので、この受光強度画像を利用して、s14で積算フレーム画像を生成するときに、その画素を前景画素とするか、背景画素とするかの判定を、全てのフレームにおいて前景画素であったかどうかで判定するだけでなく、全てのフレームにおいて受光強度の変化幅が予め定めた受光強度設定範囲内であったかどうかを加えて判定するようにしてもよい。
この場合、背景差分画像だけでなく、画像入力部3に入力された受光強度画像も画像メモリに記憶する構成とすればよい。
このようにすれば、未確定のオブジェクトについて、その受光強度も加味して、オブジェクトであるか、ノイズ(誤検出されたオブジェクト)であるかの判定が行える。したがって、降雨時や、霧、黄砂、光化学スモッグ、煙等の空気中に微粒子が漂っている環境下における、オブジェクトの検出精度の低下が一層抑えられる。
さらに、上述した距離、受光強度の両方を加えて、s14で積算フレーム画像を生成するときに、その画素を前景画素とするか、背景画素とするかの判定を行うようにしてもよい。このようにすれば、未確定のオブジェクトについて、その距離、および受光強度も加味して、オブジェクトであるか、ノイズ(誤検出されたオブジェクト)であるかの判定が行える。したがって、ショットノイズや飛行する虫、雨滴等のノイズや空中を瞬時に移動する物体、または霧、黄砂、光化学スモッグ、煙等の空気中に微粒子が漂っている環境下における、オブジェクトの検出精度の低下がより一層抑えられる。
1…画像処理装置
2…制御部
3…画像入力部
4…画像処理部
5…入出力部
10…撮像装置

Claims (8)

  1. 撮像装置で撮像した検知エリアの撮像画像が入力される画像入力部と、
    検知エリアの背景画像と、前記画像入力部に入力された撮像画像と、の背景差分画像を生成する背景差分画像生成部と、
    前記背景差分画像生成部が生成した背景差分画像を処理し、撮像されているオブジェクトを検出するオブジェクト検出部と、
    前記オブジェクト検出部がオブジェクトを検出した撮像画像を基準にして決定した、前記画像入力部に入力された複数フレームの撮像画像について、前記背景差分画像生成部が生成した複数フレームの背景差分画像に基づく積算フレーム画像を生成する積算フレーム画像生成部と、
    前記オブジェクト検出部が検出したオブジェクトがノイズであるかどうかを、前記積算フレーム画像生成部が生成した積算フレーム画像を用いて判定する判定部と、を備えた画像処理装置。
  2. 前記積算フレーム画像生成部は、前記オブジェクト検出部がオブジェクトを検出した撮像画像を基準にして決定した、前記画像入力部に入力された複数フレームの撮像画像について、前記背景差分画像生成部が生成した全ての背景差分画像において前景画素であった画素を前景画素、その他の画素を背景画素とした積算フレーム画像を生成する、請求項1に記載の画像処理装置。
  3. 前記画像入力部は、前記撮像装置で撮像した検知エリアの距離画像が撮像画像として入力される、請求項1、または2に記載の画像処理装置。
  4. 前記積算フレーム画像生成部は、前記オブジェクト検出部がオブジェクトを検出した撮像画像を基準にして決定した、前記画像入力部に入力された複数フレームの撮像画像について、前記背景差分画像生成部が生成した全ての背景差分画像において前景画素であり、且つ、これら複数フレームの撮像画像における距離の変化幅が予め定めた距離設定範囲内であった画素を前景画素、その他の画素を背景画素とした積算フレーム画像を生成する、請求項3に記載の画像処理装置。
  5. 前記画像入力部は、前記撮像装置で撮像した検知エリアの距離画像とともに、受光強度画像が撮像画像として入力され、
    前記積算フレーム画像生成部は、前記オブジェクト検出部がオブジェクトを検出した撮像画像を基準にして決定した、前記画像入力部に入力された複数フレームの撮像画像について、前記背景差分画像生成部が生成した全ての背景差分画像において前景画素であり、且つ、これら複数フレームの撮像画像における受光強度の変化幅が予め定めた受光強度設定範囲内であった画素を前景画素、その他の画素を背景画素とした積算フレーム画像を生成する、請求項3に記載の画像処理装置。
  6. 前記判定部は、前記オブジェクト検出部が検出したオブジェクトのサイズが予め定めた確定サイズを超えていれば、前記積算フレーム画像生成部が生成した積算フレーム画像を用いることなく、オブジェクトであると判定する、請求項1〜5のいずれかに記載の画像処理装置。
  7. コンピュータが、
    撮像装置で撮像した検知エリアの撮像画像と、この検知エリアの背景画像と、の背景差分画像を生成する背景差分画像生成ステップと、
    前記背景差分画像生成ステップが生成した背景差分画像を処理し、撮像されているオブジェクトを検出するオブジェクト検出ステップと、
    前記オブジェクト検出ステップがオブジェクトを検出した撮像画像を基準にして決定した、複数フレームの撮像画像について、前記背景差分画像生成ステップが生成した複数フレームの背景差分画像に基づく積算フレーム画像を生成する積算フレーム画像生成ステップと、
    前記オブジェクト検出ステップが検出したオブジェクトがノイズであるかどうかを、前記積算フレーム画像生成ステップが生成した積算フレーム画像を用いて判定する判定ステップと、を実行するオブジェクト検出方法。
  8. 撮像装置で撮像した検知エリアの撮像画像と、この検知エリアの背景画像と、の背景差分画像を生成する背景差分画像生成ステップと、
    前記背景差分画像生成ステップが生成した背景差分画像を処理し、撮像されているオブジェクトを検出するオブジェクト検出ステップと、
    前記オブジェクト検出ステップがオブジェクトを検出した撮像画像を基準にして決定した、複数フレームの撮像画像について、前記背景差分画像生成ステップが生成した複数フレームの背景差分画像に基づく積算フレーム画像を生成する積算フレーム画像生成ステップと、
    前記オブジェクト検出ステップが検出したオブジェクトがノイズであるかどうかを、前記積算フレーム画像生成ステップが生成した積算フレーム画像を用いて判定する判定ステップと、をコンピュータに実行させるオブジェクト検出プログラム。
JP2012201759A 2012-09-13 2012-09-13 画像処理装置、オブジェクト検出方法、およびオブジェクト検出プログラム Expired - Fee Related JP5904069B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2012201759A JP5904069B2 (ja) 2012-09-13 2012-09-13 画像処理装置、オブジェクト検出方法、およびオブジェクト検出プログラム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2012201759A JP5904069B2 (ja) 2012-09-13 2012-09-13 画像処理装置、オブジェクト検出方法、およびオブジェクト検出プログラム

Publications (2)

Publication Number Publication Date
JP2014056494A true JP2014056494A (ja) 2014-03-27
JP5904069B2 JP5904069B2 (ja) 2016-04-13

Family

ID=50613741

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2012201759A Expired - Fee Related JP5904069B2 (ja) 2012-09-13 2012-09-13 画像処理装置、オブジェクト検出方法、およびオブジェクト検出プログラム

Country Status (1)

Country Link
JP (1) JP5904069B2 (ja)

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2014066602A (ja) * 2012-09-26 2014-04-17 Omron Corp 画像処理装置、周囲環境推定方法、および周囲環境推定プログラム
JP2016024677A (ja) * 2014-07-22 2016-02-08 サクサ株式会社 撮像装置及び判定方法
JP2016024676A (ja) * 2014-07-22 2016-02-08 サクサ株式会社 撮像装置及び判定方法
JP2017033478A (ja) * 2015-08-06 2017-02-09 オムロン株式会社 障害物検知装置、障害物検知方法、および障害物検知プログラム
WO2017187406A1 (en) * 2016-04-29 2017-11-02 Blueburg Overseas S.A. Method of verifying a triggered alert and alert verification processing apparatus
JP2018063221A (ja) * 2016-10-14 2018-04-19 富士通株式会社 距離測定装置、距離測定方法及びプログラム
JP2020085486A (ja) * 2018-11-16 2020-06-04 日本信号株式会社 物体検知装置
DE112018004891T5 (de) 2017-09-01 2020-06-10 Sony Corporation Bildverarbeitungsvorrichtung, bildverarbeitungsverfahren, programm und mobiler körper
WO2021059699A1 (ja) * 2019-09-25 2021-04-01 ソニーセミコンダクタソリューションズ株式会社 測距装置及び測距装置の制御方法、並びに、電子機器
WO2021241189A1 (ja) * 2020-05-25 2021-12-02 ソニーセミコンダクタソリューションズ株式会社 情報処理装置、情報処理方法、およびプログラム

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002373339A (ja) * 2001-06-15 2002-12-26 Sony Corp 画像処理装置および方法、記録媒体、並びにプログラム
JP2009003787A (ja) * 2007-06-22 2009-01-08 Sanyo Electric Co Ltd 対象物検出装置、対象物検出プログラム及び対象物検出システム
JP2011237884A (ja) * 2010-05-06 2011-11-24 Nomura Research Institute Ltd 対象物検出サイズ算出システムおよび対象物検出サイズ算出プログラム
JP2012104872A (ja) * 2010-11-05 2012-05-31 Omron Corp 画像処理ユニット、および画像処理プログラム

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002373339A (ja) * 2001-06-15 2002-12-26 Sony Corp 画像処理装置および方法、記録媒体、並びにプログラム
JP2009003787A (ja) * 2007-06-22 2009-01-08 Sanyo Electric Co Ltd 対象物検出装置、対象物検出プログラム及び対象物検出システム
JP2011237884A (ja) * 2010-05-06 2011-11-24 Nomura Research Institute Ltd 対象物検出サイズ算出システムおよび対象物検出サイズ算出プログラム
JP2012104872A (ja) * 2010-11-05 2012-05-31 Omron Corp 画像処理ユニット、および画像処理プログラム

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
JPN6015050484; 中村 昭浩: 'テクスチャ特徴とSVMによる屋外施設での煙領域抽出手法について' 第16回 画像センシングシンポジウム 講演論文集 [CD-ROM] IS2-10, 20100609, IS2-10-1 〜 IS2-10-7, 画像センシング技術研究会 *

Cited By (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2014066602A (ja) * 2012-09-26 2014-04-17 Omron Corp 画像処理装置、周囲環境推定方法、および周囲環境推定プログラム
JP2016024677A (ja) * 2014-07-22 2016-02-08 サクサ株式会社 撮像装置及び判定方法
JP2016024676A (ja) * 2014-07-22 2016-02-08 サクサ株式会社 撮像装置及び判定方法
JP2017033478A (ja) * 2015-08-06 2017-02-09 オムロン株式会社 障害物検知装置、障害物検知方法、および障害物検知プログラム
GB2550111B (en) * 2016-04-29 2019-10-09 Marss Ventures S A Method of verifying a triggered alert and alert verification processing apparatus
GB2550111A (en) * 2016-04-29 2017-11-15 Blueburg Overseas S A Method of verifying a triggered alert and alert verification processing apparatus
US20190122040A1 (en) * 2016-04-29 2019-04-25 Marss Ventures S.A. Method of verifying a triggered alert and alert verification processing apparatus
WO2017187406A1 (en) * 2016-04-29 2017-11-02 Blueburg Overseas S.A. Method of verifying a triggered alert and alert verification processing apparatus
US11010602B2 (en) * 2016-04-29 2021-05-18 Marss Ventures S.A. Method of verifying a triggered alert and alert verification processing apparatus
JP2018063221A (ja) * 2016-10-14 2018-04-19 富士通株式会社 距離測定装置、距離測定方法及びプログラム
DE112018004891T5 (de) 2017-09-01 2020-06-10 Sony Corporation Bildverarbeitungsvorrichtung, bildverarbeitungsverfahren, programm und mobiler körper
US11341615B2 (en) * 2017-09-01 2022-05-24 Sony Corporation Image processing apparatus, image processing method, and moving body to remove noise in a distance image
JP2020085486A (ja) * 2018-11-16 2020-06-04 日本信号株式会社 物体検知装置
JP7223559B2 (ja) 2018-11-16 2023-02-16 日本信号株式会社 物体検知装置
WO2021059699A1 (ja) * 2019-09-25 2021-04-01 ソニーセミコンダクタソリューションズ株式会社 測距装置及び測距装置の制御方法、並びに、電子機器
WO2021241189A1 (ja) * 2020-05-25 2021-12-02 ソニーセミコンダクタソリューションズ株式会社 情報処理装置、情報処理方法、およびプログラム

Also Published As

Publication number Publication date
JP5904069B2 (ja) 2016-04-13

Similar Documents

Publication Publication Date Title
JP5904069B2 (ja) 画像処理装置、オブジェクト検出方法、およびオブジェクト検出プログラム
KR102400452B1 (ko) 이동 경로 메타데이터를 이용한 항공 사진/비디오에서의 상황 인식 객체 검출
US9934442B2 (en) Passenger counting device, passenger counting method, and program recording medium
US10032283B2 (en) Modification of at least one parameter used by a video processing algorithm for monitoring of a scene
CN110264495B (zh) 一种目标跟踪方法及装置
US9619895B2 (en) Image processing method of vehicle camera and image processing apparatus using the same
KR101921610B1 (ko) 촬영영상으로부터 객체를 감시하기 위한 장치 및 방법
JP6031908B2 (ja) 画像処理装置、オブジェクト検出方法、およびオブジェクト検出プログラム
JP6070306B2 (ja) 画像処理装置、オブジェクト検出方法、およびオブジェクト検出プログラム
JP6599644B2 (ja) 動き判定装置、動き判定方法、および動き判定プログラム
JP6384803B2 (ja) 移動体検出装置、画像処理装置、移動体検出方法、及び、集積回路
JP6015296B2 (ja) 画像処理装置、周囲環境推定方法、および周囲環境推定プログラム
KR101793790B1 (ko) 축사 개체 탐지 장치 및 방법
JP6934386B2 (ja) 動体追尾装置及びそのプログラム
JP2017019351A (ja) 転落者検知装置、転落者検知システム、転落者検知方法、および転落者検知プログラム
WO2017010314A1 (ja) 撮像装置および撮像方法、並びにプログラム
JP2009010594A (ja) 画像センサ
KR101533338B1 (ko) 물체 탐지 장치 및 방법
US20220101704A1 (en) Mitigating Effects Caused by Fast Moving Objects in a Scene
JP7414587B2 (ja) 監視方法および監視装置
JP5968752B2 (ja) 飛来物体を検出する画像処理方法、画像処理装置及び画像処理プログラム
JP2010101073A (ja) 崩落検知システムおよび方法
KR101761604B1 (ko) 다중 보행자 인식, 추적 시스템 및 그 제어 방법
EP3611655A1 (en) Object detection based on analysis of a sequence of images
KR101165671B1 (ko) 계층적으로 사건을 탐지하기 위한 무선 영상 감시 시스템 및 그 방법

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20150309

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20151209

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20151215

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20160201

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20160216

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20160229

R150 Certificate of patent or registration of utility model

Ref document number: 5904069

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

LAPS Cancellation because of no payment of annual fees