JP2013025713A - 検出装置及び検出方法 - Google Patents

検出装置及び検出方法 Download PDF

Info

Publication number
JP2013025713A
JP2013025713A JP2011162490A JP2011162490A JP2013025713A JP 2013025713 A JP2013025713 A JP 2013025713A JP 2011162490 A JP2011162490 A JP 2011162490A JP 2011162490 A JP2011162490 A JP 2011162490A JP 2013025713 A JP2013025713 A JP 2013025713A
Authority
JP
Japan
Prior art keywords
detection target
detection
image
sub
gradation value
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2011162490A
Other languages
English (en)
Other versions
JP5861299B2 (ja
Inventor
Masaki Hayashi
林  正樹
Hirokazu Kasahara
広和 笠原
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Seiko Epson Corp
Original Assignee
Seiko Epson Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Seiko Epson Corp filed Critical Seiko Epson Corp
Priority to JP2011162490A priority Critical patent/JP5861299B2/ja
Publication of JP2013025713A publication Critical patent/JP2013025713A/ja
Application granted granted Critical
Publication of JP5861299B2 publication Critical patent/JP5861299B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Landscapes

  • Image Processing (AREA)
  • Image Analysis (AREA)

Abstract

【課題】検出対象物の検出精度を向上させること。
【解決手段】センサーの出力に対応する階調値を含む検出対象画像を生成する画像生成部と、前記検出対象画像から検出対象物を検出することに用いる学習済みの識別器を有する検出部と、を含み、前記識別器は、前記検出対象画像における任意の2つの領域の階調値に基づいて前記検出対象画像における前記検出対象物の検出を行う複数のサブ識別器を有し、前記検出部は、前記複数のサブ識別器に対して、前記検出対象物の複数の領域のうち対応する2つの領域の階調値を入力し、前記複数のサブ識別器の出力に基づいて前記検出対象画像における検出対象物の検出を行う、検出装置。
【選択図】図2

Description

本発明は、検出装置及び検出方法に関する。
赤外線センサーなどを用いて人体等を検出する装置の開発が行われている。このような装置は、車両周囲に人物等が存在する場合に、その旨を車両の乗員に認識させることなどに用いられる。
特許文献1には、ミリ波の反射波が微弱である人物を車両等と区別して検出するために遠赤外線カメラの撮像画像を補助的に利用することが示されている。特許文献2には、物体の温度に相当する輝度値が閾値の範囲内か否かに基づいて人物を検出することが示されている。
特開2010−127717号公報 特開2006−101384号公報
上述の手法は、基本的に、人物の温度に近い温度が見つかった場合に人物であると判定している。人物の表面温度はその人物の周囲の温度(環境温度)によって変化する。しかしながら、上述の手法では、環境温度により人物の表面温度が変化することは考慮されていなかった。例えば、夏の人物は薄着となるため表面温度は体温近辺となるが、冬の人物は厚着となるため表面温度は環境温度に近い温度となる。すなわち、季節によっては、検出が困難となる場合がある。
また、顔など肌が露出している部分の温度は、季節にかかわらずほぼ一定とみることもできるが、顔の向き、髪型、着衣等により常に撮影されるとは限らないため、有効に検出できるか否かは定かではない。すなわち、検出対象物の温度が環境温度によって変わる場合において、精度良く検出対象物を検知することができないという問題がある。
本発明は、このような事情に鑑みてなされたものであり、検出対象物の検出精度を向上させることを目的とする。
上記目的を達成するための主たる発明は、
センサーの出力に対応する階調値を含む検出対象画像を生成する画像生成部と、
前記検出対象画像から検出対象物を検出することに用いる学習済みの識別器を有する検出部と、を含み、
前記識別器は、前記検出対象画像における任意の2つの領域の階調値に基づいて前記検出対象画像における前記検出対象物の検出を行う複数のサブ識別器を有し、
前記検出部は、
前記複数のサブ識別器に対して、前記検出対象画像の複数の領域のうち対応する2つの領域の階調値を入力し、前記複数のサブ識別器の出力に基づいて前記検出対象画像における検出対象物の検出を行う、
検出装置である。
本発明の他の特徴については、本明細書及び添付図面の記載により明らかにする。
本実施形態における人物検出システム1の概略構成を示すブロック図である。 本実施形態の概要を説明する図である。 参考例の人物検出方法の説明図である。 本実施形態における学習処理のフローチャートである。 本実施形態における回帰式作成処理のフローチャートである。 クロッピング画像を複数のセルに分割する様子を説明する図である。 本実施形態における特徴量抽出処理のフローチャートである。 本実施形態における人物検出処理(全体画像)のフローチャートである。 本実施形態における人物検出処理(クロッピング画像)のフローチャートである。 探索窓の移動の様子の説明図である。
本明細書及び添付図面の記載により、少なくとも、以下の事項が明らかとなる。すなわち、
センサーの出力に対応する階調値を含む検出対象画像を生成する画像生成部と、
前記検出対象画像から検出対象物を検出することに用いる学習済みの識別器を有する検出部と、を含み、
前記識別器は、前記検出対象画像における任意の2つの領域の階調値に基づいて前記検出対象画像における前記検出対象物の検出を行う複数のサブ識別器を有し、
前記検出部は、
前記複数のサブ識別器に対して、前記検出対象画像の複数の領域のうち対応する2つの領域の階調値を入力し、前記複数のサブ識別器の出力に基づいて前記検出対象画像における検出対象物の検出を行う、
検出装置である。
このように、任意の2つの領域の階調値に基づいて検出対象物の検出を行うサブ識別器を複数有することで、検出精度が良好な1つ又は複数のサブ識別器を用いて検出対象物の検出を行うことができる。そして、検出対象物の検出精度を向上させることができる。
かかる検出装置であって、前記複数のサブ識別器は、前記2つの領域の階調値を入力したときの特徴量に基づく値を出力し、前記特徴量は、前記2つの領域のうち対応する一方の領域の階調値と、前記2つの領域のうち対応する他方の領域の階調値に基づいて推定された前記一方の領域の推定階調値と、の差を表すことが望ましい。
このような構成であれば、学習済みの識別器に2つの領域の階調値を入力すると、その特徴量として、一方の領域の階調値と、他方の領域の階調値に基づいて推定された一方の領域の推定階調値と、の差が求められる。そして、学習済みの識別器において、これらの差は検出対象画像と検出対象物との近似の程度を意味する。よって、このような特徴量に基づく値を出力するようにすることで、検出対象物の検出を精度良く行うことができる。
また、前記推定階調値と前記他方の領域の階調値との関係が一次式で表される場合において、前記検出対象物を含む複数の学習用画像における前記一方の領域の階調値と前記他方の領域における階調値とを用いた最小二乗法により前記一次式の係数を求めることが望ましい。
このようにすることで、一方の領域の推定階調値と他方の領域の階調値との関係式を、複数の学習用画像に基づいて統計学的に求めることができる。したがって、検出精度を向上させることができる。
また、前記複数のサブ識別器に、前記学習用画像の対応する前記一方の領域の階調値と前記他方の領域の階調値を入力してそれぞれのサブ識別器の特徴量を求め、前記複数のサブ識別器のうち該特徴量が小さいサブ識別器から順に所定個数を検出対象物の検出に用いる評価式に含めることが望ましい。
特徴量が、一方の領域の階調値と、他方の領域の階調値に基づいて推定された一方の領域の推定階調値と、の差が小さいほど、検出対象画像と検出対象物とが近似していると言えるので、この差の値が小さいサブ識別器ほど良好なサブ識別器ということになる。よって、特徴量が小さいサブ識別器から順に所定個数を検出対象物の検出に用いられる評価式に含めることとすることで、精度良く検出対象物の検出を行うことができる。
また、前記複数のサブ識別器のそれぞれに、前記検出対象画像における対応する2つの領域の階調値が入力され、前記複数のサブ識別器の出力の合計値に基づいて前記検出対象画像に検出対象物が含まれているか否かについて判定することが望ましい。
このようにすることで、複数のサブ識別器の出力の合計値に基づいて、検出対象画像に検出対象物が含まれているか否かの判定をすることができる。
また、前記画像生成部は、前記検出対象画像を含む全体画像から複数の画像をクロッピングすることにより前記検出対象画像を複数生成し、前記複数の検出対象画像のそれぞれについて前記検出対象物の検出を行うことにより、前記全体画像における前記検出対象物の位置を特定することが望ましい。
このようにすることで、全体画像において複数の検出対象物が存在する場合であっても、それぞれの検出対象物を検出することができる。
また、前記センサーの出力は、該センサーが検出した温度に応じた出力であることが望ましい。
このようにすることで、温度に応じて検出対象物を検出することができる。
また、本明細書及び添付図面の記載により、少なくとも、以下の事項も明らかとなる。すなわち、
センサーの出力に対応する階調値を含む検出対象画像を生成することと、
前記検出対象画像における任意の2つの領域の階調値に基づいて前記検出対象画像における前記検出対象物の検出を行う複数のサブ識別器を用いて前記検出対象画像から検出対象物を検出することと、
を含み、
前記検出することは、前記複数のサブ識別器に対して、前記検出対象画像の複数の領域のうち対応する2つの領域の階調値を入力し、前記複数のサブ識別器の出力に基づいて前記検出対象画像における検出対象物の検出を行うことを含む、検出方法である。
このように、任意の2つの領域の階調値に基づいて検出対象物の検出を行うサブ識別器を複数有することで、検出精度が良好な1つ又は複数のサブ識別器を用いて検出対象物の検出を行うことができる。そして、検出対象物の検出精度を向上させることができる。
===実施形態===
図1は、本実施形態における人物検出システム1の概略構成を示すブロック図である。以下に示す実施形態では、人物を検出するシステムとして説明を行うが、検出対象物はこれに限られない。図1には、人物検出システム1に含まれる赤外線カメラ110と、人物検出装置120と、表示装置130が示されている。本実施形態では、赤外線カメラ110と、人物検出装置120と、表示装置130とは、それぞれ別体であり、電気的に接続されているが、これらのうち少なくとも2つが一体の装置であってもよい。
赤外線カメラ110(センサーに相当)は、中赤外線から遠赤外線の範囲の波長をとらえデジタル値の映像信号を人物検出装置120の画像取得部122に送信する。赤外線カメラ110は、不図示の撮像部とアナログデジタル変換部(A/D変換部)を含む。撮像部は、赤外線カメラ110の受光素子に対応するものであり、受光素子が受光した赤外領域の光に対応した信号を人物検出装置120に出力する。A/D変換部は、撮像部で得られたアナログ信号をデジタル信号に変換する機能を有する。
ここで、中赤外線は2.5μm〜4.0μmの波長、遠赤外線は4μm〜1000μmの波長を有する赤外光である。本実施形態では、赤外線カメラ110は8〜14μmの波長を検知し、人物の体温を検出対象とするが、この波長に限られず、温度を検出できる波長であればこれに限られない。赤外線カメラ110は、車両のフロントグリル部などに搭載される。そして、自車両(赤外線カメラ110が搭載された車両)から前方方向の環境を撮影する。
人物検出装置120は、画像取得部122と画像メモリー124と制御部126と記憶部128を含む。そして、後述するような処理により、表示装置130に表示するデータを生成する。これら画像取得部122、画像メモリー124、制御部126、及び、記憶部128は、例えば、不図示の中央演算装置(CPU)、ランダムアクセスメモリー(RAM)及びハードディスク(HDD)などにより実現される。
画像取得部122は、赤外線カメラ110が得た映像(例えば、15fpsの映像)を取得し、この映像からフレーム画像(全体画像)を取得する。そして、得られた各画像は画像メモリー124に送られる。
画像メモリー124は、画像取得部122から送られた画像を一時的に記憶する。制御部126は、人物検出処理を行うための演算を行う。具体的な人物検出処理については、後述する。記憶部128は、学習モデルなどのデータ、演算途中の一時ファイル、及び、演算結果等を保存する。
表示装置130は、例えば、赤外線画像として得られている自車両前方映像を表示するディスプレイである。表示装置130には、さらに人物の検出結果として、検出された人物を強調表示することもできる。
図2は、本実施形態の概要を説明する図である。図2には、本実施形態の人物検出システム1の概要を説明するために、各処理がブロックとして表されている。人物検出システム1は、学習処理と検出処理とを行う。なお、外部メモリー等を記憶部128として用いたり、学習処理によって得られる検出処理に必要なデータを外部から記憶部128に記憶させれば、必ずしも人物検出システム1が学習処理を行わなくてもよい。
学習処理では、予め用意された学習用クロッピング画像を用いて学習を行い、その学習結果を学習モデルデータベース(記憶部128)に記憶する。学習用クロッピング画像は、学習用に用意された画像であって、必ず人物が含まれている画像である。
検出処理では、赤外線カメラ110から得られた全体画像からクロッピング画像(検出対象画像に相当する)を切り出し、クロッピング画像に人物が含まれているか否かについて前述の学習結果に応じて判定を行う。
学習処理では、前述の学習用クロッピング画像についてコントラストの調整などの前処理が行われ、学習用クロッピング画像は学習器に渡される。学習器は、前処理後の学習用クロッピング画像に基づいて特徴量を求め、特徴量に基づく学習結果を学習モデルデータベースに記憶する。
検出処理では、赤外線カメラ110から得られた全体画像から、部分的に画像をクロッピング(切り出し)し、クロッピング画像を生成する。クロッピング画像についてコントラスト調整などの前処理が行われ、クロッピング画像は識別器に渡される。識別器は、学習結果に応じた複数のサブ識別器を有している。クロッピング画像の階調値が複数のサブ識別器に入力され、これらサブ識別器の出力に基づいてクロッピング画像に人物が含まれているか否かの判定が行われる。
クロッピング画像は、全体画像から少しずつ位置をずらして画像を切り出すことによって、複数生成される。そして、前述のように、各クロッピング画像について人物が含まれているか否かの判定が行われ、その判定結果は統合される。そして、統合された結果は、全体画像に人物が強調表示されるなどの処理がされた出力画像として表示装置130に出力される。
図3は、参考例の人物検出方法の説明図である。図3を参照しつつ、参考例としての人物検出方法の概念を説明する。図3には、人物が含まれている画像において人物領域階調値Tfと背景領域階調値Tbが示されている。人物領域階調値Tfと背景領域階調値Tbは、ともに、赤外線カメラにより取得された温度に応じて変換された階調値である。参考例の人物検出方法では、人物領域階調値Tfが所定範囲内の階調値である場合には人物が含まれているものとして人物検出を行うが、この「所定範囲内の階調値」は、背景領域階調値Tbに応じて変化するものとなっている。これは、一般に、人物の温度が、その周辺温度に影響を受けて変化するからである。
参考例の人物検出方法では、背景領域階調値Tbに基づいて人物領域階調値が推定される(人物領域推定階調値Tf’)。人物領域推定階調値Tf’は、背景領域階調値Tbの関数として表される。ここで、人物領域階調値Tfと背景領域階調値Tbとは、検出対象画像において所定位置にある領域(セル)、例えば検出対象画像の右上隅の領域と中央付近の領域である。
この関数に背景領域階調値Tbを代入して人物領域推定階調値Tf’を得る。そして、この人物領域推定階調値Tf’と実際の人物領域階調値Tfとの差の絶対値が所定範囲に入っているときには、画像に人物が含まれているものと判定する。一方、人物領域推定階調値Tf’と実際の人物領域階調値Tfとの差の絶対値が所定範囲に入っていないときには、画像に人物が含まれていないものと判定する。
このような参考例の手法によっても、従来技術と比較して、画像中に人物が含まれているか否かの判定精度を向上することができる。しかしながら、参考例の手法では、人物領域階調値Tfの位置と背景領域階調値Tbとの位置が固定となっている。そして、人物領域階調値Tfのセルの位置と背景領域階調値Tbのセルの位置について、図3に示した位置関係が最適かどうかは定かではない。つまり、参考例の手法では、より精度良く人物の検出を行う余地があるといえる。よって、本実施形態では以下のような学習を行って、より精度良く人物の検出を行うこととしている。
図4は、本実施形態における学習処理のフローチャートである。以下、本フローチャートを参照しつつ、学習処理について説明を行う。学習処理が行われるにあたり、前述のように、学習用クロッピング画像が複数用意されている。そして、これら人物が含まれていることが確実な学習用クロッピング画像を用いて学習モデルを構築する。
最初に、複数の学習用クロッピング画像(学習画像)の読み込みが行われる(S102)。ここでは、N枚の学習用クロッピング画像が用意されている。そして、これら複数の学習用クロッピング画像のそれぞれについて特徴量抽出処理が行われる(S104)。特徴量抽出処理は、回帰式を用いて行われる。ここでは、まず、この回帰式の作成処理について説明を行う。
図5は、本実施形態における回帰式作成処理のフローチャートである。図6は、クロッピング画像を複数のセル(領域)に分割する様子を説明する図である。学習用クロッピング画像は、回帰式作成処理において、複数のセルに分割される。これらの学習用クロッピング画像は、赤外線カメラ130によって取得された画像であるので、その階調値は温度に関連したものになっている。ここでは、学習用クロッピング画像の複数のセルのうちの2つのセルの階調値(温度を表す)を用いた線形回帰式を求める。
図6には、学習用クロッピング画像が示され、前述のように学習用クロッピング画像が複数のセルに分割されている。そして、左上のセルから右に向かって順にセル番号が割り当てられ、これらのセルの階調値Tが使用される(iはセル番号)。本実施形態では、各セルは複数の画素を含むため、これら画素の階調値の平均値をそのセルの階調値Tとしてもよいし、中間値をそのセルの階調値Tとしてもよい。また、これら個々のセルが1つの画素である場合には、その画素に対応する階調値をそのまま階調値Tとして用いることもできる。
図5のステップS202において、変数をiとしたループが構築される。変数iはセル番号であり、増分を1として1からMまで変化させられる。また、ステップS204において、変数をjとしたループが構築される。変数jはセル番号であり、増分を1として1からMまで変化させられる。さらに、ステップS206において、変数をkとしたループが構築される。変数kは学習用クロッピング画像の番号であり、増分を1として1からNまで変化させられる。
ステップS208において、k番目の学習用クロッピング画像のi番目のセルの階調値Tkiを取得する。次に、ステップS210において、k番目の学習用クロッピング画像のj番目のセルの階調値Tkjを取得する。そして、ステップS212において、kが1だけ増分される。このような処理が、1枚目の学習用画像からN枚目の学習用画像まで繰り返される(S214)。
次に、得られた階調値TkiとTkjに基づいて、線形回帰式T’=aij+bijの係数aij及びbijが最小二乗法により求められる(S216)。そして、ステップS218において、jが1だけ増分される。
このようなjを変数とした処理が、セル番号1からセル番号Mまで繰り返される(S220)。また、ステップS222において、iが1だけ増分される。このようなiを変数とした処理が、セル番号1からセル番号Mまで繰り返される(S224)。このようにすることによって、M本の線形回帰式が得られることになる。
線形回帰式を求められると、これに基づいて特徴量を抽出することができるようになる。
図7は、本実施形態における特徴量抽出処理のフローチャートである。ここでは、1枚の画像から特徴量を計算する手法について説明する。なお、この特徴量抽出処理は、学習処理だけでなく、後述する人物検出処理においても使用される。学習処理では、ステップS102において読み込まれた学習用クロッピング画像の特徴量が抽出されることになる。
ステップS302において、変数をiとしたループが構築される。これにより、変数iは、増分を1として1からMまで変化させられる。次に、i番目のセルの階調値Tを取得する(S304)。
ステップS306において、変数をjとしたループが構築される。これにより、変数jは、増分を1として1からMまで変化させられる。次に、特徴量vijが求められる(S308)。ステップS306によって求められる複数の特徴量の一つ一つがサブ識別器に相当する。
特徴量vijは、以下の式により求められる。

ij=T−T
=T−(aij・T+bij

ここで、i及びjはループ内で変化する変数である。また、aij及びbijの値は、前述の線形回帰式の作成において求められている。また、Tは、i番目のセルの階調値であり、Tは、j番目のセルの階調値である。
ステップS310において、変数jが1だけ増分される。このような処理が、jを変数としてセル番号1からセル番号Mまで繰り返される(S312)。また、ステップS314において、変数iが1だけ増分される。このような処理が、iを変数としてセル番号1からセル番号Mまで繰り返される(S316)。
このようにすることで、各線形回帰式を用いた特徴量が得られることになる。すなわち、特徴量v11〜vMMが得られることになり、合計でM個の特徴量が得られることになる。
このようにして得られた特徴量に基づいて学習が行われる(S106)。特徴量について考察すると、特徴量vijは、ある一つのセルの実際の階調値T(一方の領域の階調値)と、他のセルの階調値Tに基づいて得られたある一つのセルの推定階調値T’(一方の領域の推定階調値)との差を表す。学習用クロッピング画像を用いて求めたものであるため、これら推定階調値と実際の階調値はほぼ同値であることが望ましい。よって、学習用クロッピング画像を用いたときにおいて、特徴量が小さいときの、2つのセル番号の組み合わせに基づいて、検出対象物がその画像に含まれているか否かを判定することが望ましいことになる。
このような原理によると、学習用クロッピング画像の2つのセルの階調値を入力したときの特徴量が小さいセルの組み合わせを用いて、検出対象物がその画像に含まれているか否かの判定を行うことができる。
そうすると、判定用の評価値をEとして、

E=w11・v11+w12・v12+・・・+wMM・vMM

という評価式を用いることができる。ここで、wijは、重み付けされた係数である。重み付けされた係数は次のようにして決めることができる。例えば、学習用クロッピング画像を用いたときにおける特徴量vijの値が小さい順にiとjの組み合わせが所定個数だけ選択される。そして、選択されたiとjの組み合わせの重み付け係数wijを「1」とし、選択されなかったiとjの組み合わせの重み付け係数wijを「0」とする。このようにすることにより、特徴量vijが大きいセルの組み合わせについては、評価式から除外し、特徴量vijが小さいセルの組み合わせを評価式に組み入れることができる。
このようにして、それぞれの重み付け係数wijを求め、評価値Eを求めるための評価式、及び、M個の特徴量の算出式を学習モデルとして出力する(S108)。この学習モデルは、記憶部128に記憶され、後の人物検出処理において使用されることになる。この学習モデルは、学習済みの識別器に相当する。
なお、ここでは上述のような学習器及び識別器を採用することとしたが、学習器及び識別器はこれに限られず、adaboostを用いることとしてもよい。adaboostを用いる場合、個々の特徴量の算出式を弱識別器に対応させてもよい。また、個々の特徴量から人物検出に適した特徴量を選択し、強識別器を構築してもよい。
図8は、本実施形態における人物検出処理(全体画像)のフローチャートである。図8を参照しつつ、赤外線カメラ110から得られた全体画像から人物を検出する処理について説明する。
最初に、上述のようにして求められた学習モデルの読み込みが行われる(S402)。これにより、評価値Eを求めるための評価式、及び、M個の特徴量算出式が取得される。これら個々の特徴量算出式で用いられる回帰式の係数aij及びbijは、前述の学習処理により求められている。
赤外線カメラ110は、撮影対象物から放出される赤外線に応じた映像をデジタルデータとして出力する。このような映像から1枚の画像(全体画像)が取得される(S404)。赤外線カメラ110から得られた画像は、温度に応じた階調値が各画素に設定された画像である。つまり、この画像は画素単位で温度情報を有する画像である。
そして、得られた画像について前処理が行われる(S406)。前処理は、例えば、画像のコントラストの調整、及び、リサイズなどの処理である。
次に、ステップS408〜ステップS412において、探索窓w(図10参照)を全体画像の範囲内で移動させつつ、人物検出処理(ステップS410)が行われる。具体的には、ステップS408〜ステップS412のループにおいて、探索窓wが一画素分ずつ(又は複数画素分ずつ)動かされながら探索窓wのサイズで画像がクロッピングされ、クロッピング画像に検出対象物である人物が含まれているか否かの判定が行われる。
図9は、本実施形態における人物検出処理(クロッピング画像)のフローチャート、つまりステップS410を説明するフローチャートである。この人物検出処理は、各クロッピング画像について適用される。よって、人物検出処理(クロッピング画像)において、最初に、クロッピング画像の読み込みが行われる(S502)。
次に、読み込まれたクロッピング画像の特徴量の抽出が行われる(S504)。特徴量抽出処理は、図7を用いて説明を行った処理とほぼ同様であり、ステップS308で用いられた線形回帰式の係数aij及びbijの値も、学習用クロッピング画像で得られたものが用いられる。このように特徴量抽出処理を行うことで、クロッピング画像について、評価値Eを求めるための評価式に入力するM個の特徴量が得られることになる。
次に、求められたM個の特徴量に基づいてクロッピング画像に人物が含まれているか否かの判定が行われる(S506)。具体的には、求められたM個の特徴量が評価式に入力され評価値Eが求められる。そして、この評価値Eが所定値よりも小さいときには、クロッピング画像に人物が含まれていると判定し、このクロッピング画像の全体画像における位置も記憶する。一方、評価値Eが所定値以上のときには、クロッピング画像に人物が含まれていないと判定する。
このような人物検出処理がステップS408〜S412のループにおいて行われることにより、すべてのクロッピング画像についての人物検出処理が完了される。
図10は、探索窓の移動の様子の説明図である。図10には、全体画像において探索窓が移動させられている様子が示されている。このように、探索窓wが全体画像において移動させられつつクロッピングされた画像について前述の人物の検出処理が行われる。このようにして、各クロッピング画像について人物が存在するか否かの判定を行い、人物が検出されたクロッピング画像の位置を記憶することによって、全体画像における人物の位置が特定できる。
全体画像における各クロッピング画像についての人物検出処理が完了すると、人物検出装置120に接続された表示装置130に検出結果が表示される(S414)。結果表示は、赤外線画像として得られている自車両前方映像に、歩行者として判定された箇所を、歩行者を含むように強調表示させたり、注意を喚起するために画面をフラッシュさせたりして行うことができる。さらに、場合によっては運転支援としてブレーキをかけることをアシストしたり、視覚補助として婦論とライトがダウンライトになっているのをアップライトにしてもよい。
このようにして、学習用クロッピング画像に基づいて得られた評価式を用いて人物の検出を行うので、学習用クロッピング画像に含まれる人物によく合致するクロッピング画像について、人物が含まれているものとして精度良く検出を行うことができる。また、上述のようなアルゴリズムは、クロッピング画像における2つの領域の階調値を特徴量算出式に入力するというきわめて単純なものであるので、検出速度を向上させることもできる。
1 人物検出システム、
110 赤外線カメラ、120 人物検出装置、130 表示装置、
122 画像取得部、124 画像メモリー、
126 制御部、128 記憶部、
Tb 背景領域階調値、Tf 人物領域階調値

Claims (8)

  1. センサーの出力に対応する階調値を含む検出対象画像を生成する画像生成部と、前記検出対象画像から検出対象物を検出することに用いる学習済みの識別器を有する検出部と、を含み、
    前記識別器は、前記検出対象画像における任意の2つの領域の階調値に基づいて前記検出対象画像における前記検出対象物の検出を行う複数のサブ識別器を有し、
    前記検出部は、
    前記複数のサブ識別器に対して、前記検出対象画像の複数の領域のうち対応する2つの領域の階調値を入力し、前記複数のサブ識別器の出力に基づいて前記検出対象画像における検出対象物の検出を行う、
    検出装置。
  2. 前記複数のサブ識別器は、前記2つの領域の階調値を入力したときの特徴量に基づく値を出力し、
    前記特徴量は、前記2つの領域のうち対応する一方の領域の階調値と、前記2つの領域のうち対応する他方の領域の階調値に基づいて推定された前記一方の領域の推定階調値と、の差を表す、請求項1に記載の検出装置。
  3. 前記推定階調値と前記他方の領域の階調値との関係が一次式で表される場合において、
    前記検出対象物を含む複数の学習用画像における前記一方の領域の階調値と前記他方の領域における階調値とを用いた最小二乗法により前記一次式の係数を求める、請求項2に記載の検出装置。
  4. 前記複数のサブ識別器に、前記学習用画像の対応する前記一方の領域の階調値と前記他方の領域の階調値を入力してそれぞれのサブ識別器の特徴量を求め、前記複数のサブ識別器のうち該特徴量が小さいサブ識別器から順に所定個数を検出対象物の検出に用いる評価式に含める、請求項2または3に記載の検出装置。
  5. 前記複数のサブ識別器のそれぞれに、前記検出対象画像における対応する2つの領域の階調値が入力され、前記複数のサブ識別器の出力の合計値に基づいて前記検出対象画像に検出対象物が含まれているか否かについて判定する、請求項2〜4のいずれかに記載の検出装置。
  6. 前記画像生成部は、前記検出対象画像を含む全体画像から複数の画像をクロッピングすることにより前記検出対象画像を複数生成し、
    前記複数の検出対象画像のそれぞれについて前記検出対象物の検出を行うことにより、前記全体画像における前記検出対象物の位置を特定する、請求項1〜5のいずれかに記載の検出装置。
  7. 前記センサーの出力は、該センサーが検出した温度に応じた出力である、請求項1〜6のいずれかに記載の検出装置。
  8. センサーの出力に対応する階調値を含む検出対象画像を生成することと、
    前記検出対象画像における任意の2つの領域の階調値に基づいて前記検出対象画像における前記検出対象物の検出を行う複数のサブ識別器を用いて前記検出対象画像から検出対象物を検出することと、
    を含み、
    前記検出することは、前記複数のサブ識別器に対して、前記検出対象画像の複数の領域のうち対応する2つの領域の階調値を入力し、前記複数のサブ識別器の出力に基づいて前記検出対象画像における検出対象物の検出を行うことを含む、検出方法。
JP2011162490A 2011-07-25 2011-07-25 検出装置及び検出方法 Active JP5861299B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2011162490A JP5861299B2 (ja) 2011-07-25 2011-07-25 検出装置及び検出方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2011162490A JP5861299B2 (ja) 2011-07-25 2011-07-25 検出装置及び検出方法

Publications (2)

Publication Number Publication Date
JP2013025713A true JP2013025713A (ja) 2013-02-04
JP5861299B2 JP5861299B2 (ja) 2016-02-16

Family

ID=47783955

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2011162490A Active JP5861299B2 (ja) 2011-07-25 2011-07-25 検出装置及び検出方法

Country Status (1)

Country Link
JP (1) JP5861299B2 (ja)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005284348A (ja) * 2004-03-26 2005-10-13 Sony Corp 情報処理装置および方法、記録媒体、並びにプログラム
JP2006101384A (ja) * 2004-09-30 2006-04-13 Nissan Motor Co Ltd 人物検出装置及び方法
JP2009140369A (ja) * 2007-12-07 2009-06-25 Sony Corp 集団学習装置及び集団学習方法、対象物検出装置及び対象物検出方法、並びにコンピュータ・プログラム

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005284348A (ja) * 2004-03-26 2005-10-13 Sony Corp 情報処理装置および方法、記録媒体、並びにプログラム
JP2006101384A (ja) * 2004-09-30 2006-04-13 Nissan Motor Co Ltd 人物検出装置及び方法
JP2009140369A (ja) * 2007-12-07 2009-06-25 Sony Corp 集団学習装置及び集団学習方法、対象物検出装置及び対象物検出方法、並びにコンピュータ・プログラム

Also Published As

Publication number Publication date
JP5861299B2 (ja) 2016-02-16

Similar Documents

Publication Publication Date Title
CN111587437B (zh) 使用视频管的活动识别方法
CN109255352B (zh) 目标检测方法、装置及系统
US8406470B2 (en) Object detection in depth images
US8345921B1 (en) Object detection with false positive filtering
US20100296706A1 (en) Image recognition apparatus for identifying facial expression or individual, and method for the same
EP3168810A1 (en) Image generating method and apparatus
TW202021333A (zh) 感測器裝置及信號處理方法
CN102609724B (zh) 一种基于双摄像头的周围环境信息提示方法
KR102199094B1 (ko) 관심객체 검출을 위한 관심영역 학습장치 및 방법
Nikisins et al. RGB-DT based face recognition
CN112801027A (zh) 基于事件相机的车辆目标检测方法
JP2017156988A (ja) 物体検出装置
US10891740B2 (en) Moving object tracking apparatus, moving object tracking method, and computer program product
JP2020123244A (ja) 情報処理装置、情報処理方法、及びプログラム
US11074716B2 (en) Image processing for object detection
JP5862261B2 (ja) 検出装置、検出方法、及び、車両
JP5861299B2 (ja) 検出装置及び検出方法
JP5834812B2 (ja) 検出装置、及び、検出方法
US20200186782A1 (en) Depth sensing camera system
JP6296769B2 (ja) 物体検出装置
Rodin et al. Fast glare detection in document images
Apatean et al. Visible-infrared fusion in the frame of an obstacle recognition system
KR101621157B1 (ko) Mct를 이용한 얼굴 인식 장치 및 그 방법
KR101403035B1 (ko) 차량용 블랙박스의 영상 탐색장치 및 그 방법
JP6276504B2 (ja) 画像検出装置及び制御プログラム並びに画像検出方法

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20140618

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20150325

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20150331

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20150513

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20151124

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20151207

R150 Certificate of patent or registration of utility model

Ref document number: 5861299

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

S531 Written request for registration of change of domicile

Free format text: JAPANESE INTERMEDIATE CODE: R313531

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350