JP2013149146A - 物体検知装置、物体検知方法、および、コンピュータ・プログラム - Google Patents

物体検知装置、物体検知方法、および、コンピュータ・プログラム Download PDF

Info

Publication number
JP2013149146A
JP2013149146A JP2012010126A JP2012010126A JP2013149146A JP 2013149146 A JP2013149146 A JP 2013149146A JP 2012010126 A JP2012010126 A JP 2012010126A JP 2012010126 A JP2012010126 A JP 2012010126A JP 2013149146 A JP2013149146 A JP 2013149146A
Authority
JP
Japan
Prior art keywords
image
region
learning
position estimation
image feature
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2012010126A
Other languages
English (en)
Inventor
Kazuyuki Sakurai
和之 櫻井
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
NEC Corp
Original Assignee
NEC Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by NEC Corp filed Critical NEC Corp
Priority to JP2012010126A priority Critical patent/JP2013149146A/ja
Publication of JP2013149146A publication Critical patent/JP2013149146A/ja
Pending legal-status Critical Current

Links

Images

Landscapes

  • Image Analysis (AREA)

Abstract

【課題】画像に映された対象物の検知性能を高く保ちつつ、検知した対象物の画像内における位置をより精度よく推定する技術を提供すること。
【解決手段】入力画像を取得する入力画像取得部11と、入力画像における1つ以上の各候補領域について、画像情報に基づく画像特徴量を計算する画像特徴量計算部12と、各候補領域について、検知対象物を表すか否かを識別する統計的識別器を用いて統計的識別値を計算する統計的識別値計算部13と、各候補領域について、該候補領域の位置の、検知対象物を表す領域の位置に対する近さを表す位置推定量を、画像特徴量および統計的識別値に基づいて所定のパラメータを用いて計算する位置推定量計算部14と、各候補領域の位置推定量に基づいて、各候補領域のいずれかの位置を、検知対象物を表す領域の位置として出力する検知位置出力部15と、を備える。
【選択図】 図2

Description

本発明は、画像に映された物体を検知する物体検知装置、物体検知方法、および、コンピュータ・プログラムに関する。
画像に映された物体を検知する物体検知装置が知られている。例えば、自車両に取り付けられた撮像装置によって撮像された自車両周辺の画像内において、対象物が映された領域を検出し、検出した領域に基づいて、路面上における対象物の位置を算出するものがある(例えば、特許文献1参照)。
この特許文献1に記載された装置は、自車両周辺の過去の画像を用いて求めた対象物の路面上での位置と、自車両の速度等の物理量とに基づいて、対象物の路面上での現在位置を予測する。そして、この装置は、予測した現在位置に基づいて、自車両周辺の現在の画像において対象物を囲う検出枠を設定する。このとき、この装置は、現在の画像における検出枠を、統計的識別器を用いて調整する。そして、この装置は、検出枠内で対象物の路面接地部分を検出し、検出した路面接地部分の画像内での位置に基づいて、対象物の路面上での第1の推定位置を推定する。また、この装置は、過去の画像の検出枠内の対象物の大きさに対する、現在の画像の検出枠内の対象物の大きさの拡大率に基づいて、対象物の路面上での第2の推定位置を推定する。そして、この装置は、予測した現在位置、ならびに、第1および第2の推定位置に基づいて、対象物の現在位置を算出する。
特開2011−65338号公報
しかしながら、特許文献1に記載されたものにおいて、検出枠の調整に用いられる統計的識別器は、検知性能が高い(すなわち、検知漏れや誤検知が少ない)ものの、検知位置の精度が比較的低い。これは、統計的識別器が、個々の学習データの形状等の個体差の影響を抑えつつ同種の対象物を識別するように設計され、そのトレードオフとして、真の位置からある程度ずれた領域をも対象物として識別する傾向にあるためである。したがって、特許文献1に記載されたものでは、検出枠の位置精度が十分でなく、その結果、検出枠に基づいて推定する第1および第2の推定位置の精度が高くないという課題があった。
本発明は、上述の課題を解決するためになされたもので、画像に映された対象物の検知性能を高く保ちつつ、検知した対象物の画像内における位置をより精度よく推定する技術を提供することを目的とする。
本発明の物体検知装置は、入力画像を取得する入力画像取得部と、前記入力画像における1つ以上の各候補領域について、画像情報に基づく画像特徴量を計算する画像特徴量計算部と、前記各候補領域について、検知対象物を表すか否かを識別する統計的識別器を用いて統計的識別値を計算する統計的識別値計算部と、前記各候補領域について、該候補領域の位置の、前記検知対象物を表す領域の位置に対する近さを表す位置推定量を、前記画像特徴量および前記統計的識別値に基づいて所定のパラメータを用いて計算する位置推定量計算部と、前記各候補領域の前記位置推定量に基づいて、前記各候補領域のいずれかの位置を、前記検知対象物を表す領域の位置として出力する検知位置出力部と、を備える。
また、本発明の物体検知方法は、入力画像における1つ以上の各候補領域について、画像情報に基づく画像特徴量を計算し、前記各候補領域について、検知対象物を表すか否かを識別する統計的識別器を用いて統計的識別値を計算し、前記各候補領域について、該候補領域の位置の、前記検知対象物を表す領域の位置に対する近さを表す位置推定量を、前記画像特徴量および前記統計的識別値に基づいて所定のパラメータを用いて計算し、前記各候補領域の前記位置推定量に基づいて、前記各候補領域のいずれかの位置を、前記検知対象物を表す領域の位置として出力する。
また、本発明のコンピュータ・プログラムは、入力画像を取得する入力画像取得ステップと、前記入力画像における1つ以上の各候補領域について、画像情報に基づく画像特徴量を計算する画像特徴量計算ステップと、前記各候補領域について、検知対象物を表すか否かを識別する統計的識別器を用いて統計的識別値を計算する統計的識別値計算ステップと、前記各候補領域について、該候補領域の位置の、前記検知対象物を表す領域の位置に対する近さを表す位置推定量を、前記画像特徴量および前記統計的識別値に基づいて所定のパラメータを用いて計算する位置推定量計算ステップと、前記各候補領域の前記位置推定量に基づいて、前記各候補領域のいずれかの位置を、前記検知対象物を表す領域の位置として出力する検知位置出力ステップと、をコンピュータ装置に実行させる。
本発明は、画像に映された対象物の検知性能を高く保ちつつ、検知した対象物の画像内における位置をより精度よく推定する技術を提供することができる。
本発明の第1の実施の形態としての物体検知装置のハードウェア構成図である。 本発明の第1の実施の形態としての物体検知装置の機能ブロック図である。 本発明の第1の実施の形態としての物体検知装置の動作を説明するフローチャートである。 本発明の第2の実施の形態としての物体検知装置の機能ブロック図である。 本発明の第2の実施の形態における検知対象物を表す領域の一例を示す模式図である。 本発明の第2の実施の形態における位置推定計算領域の一例を示す模式図である。 本発明の第2の実施の形態における画像特徴量計算領域の一例を示す模式図である。 本発明の第2の実施の形態における位置推定量パラメータ学習部によるモデル関数に基づく学習の一例を示す模式図である。 本発明の第2の実施の形態としての物体検知装置の学習動作を説明するフローチャートである。 本発明の第2の実施の形態としての物体検知装置の検知動作を説明するフローチャートである。
以下、本発明の各実施の形態について、図面を参照して詳細に説明する。なお、本発明の各実施の形態において、検知対象物とは、人物や車両等、検知したい種類の物体をいうものとする。
(第1の実施の形態)
まず、本発明の第1の実施の形態としての物体検知装置1のハードウェア構成を、図1に示す。
図1において、物体検知装置1は、CPU(Central Processing Unit)1001と、RAM(Random Access Memory)1002と、ROM(Read Only Memory)1003と、ハードディスク等の記憶装置1004と、画像入力装置接続インタフェース1005とを備えたコンピュータ装置によって構成されている。
ROM1003および記憶装置1004には、コンピュータ装置を本実施の形態の物体検知装置1として機能させるためのコンピュータ・プログラムおよび各種データが記憶されている。
画像入力装置接続インタフェース1005は、物体を検知するための入力画像を取得する画像入力装置4に接続するインタフェースである。画像入力装置接続インタフェース1005は、例えば、画像入力装置4としての撮像装置や記録媒体読取装置に接続するインタフェースであってもよい。あるいは、画像入力装置接続インタフェース1005は、画像入力装置4が接続されたネットワークに接続するインタフェースであってもよい。
CPU1001は、ROM1003および記憶装置1004に記憶されたコンピュータ・プログラムおよび各種データをRAM1002に読み込んで実行する。
次に、物体検知装置1の機能ブロック構成を、図2に示す。図2において、物体検知装置1は、入力画像取得部11と、画像特徴量計算部12と、統計的識別値計算部13と、位置推定量計算部14と、検知位置出力部15と、を備えている。ここで、入力画像取得部11は、画像入力装置接続インタフェース1005と、ROM1003および記憶装置1004に記憶されたコンピュータ・プログラムおよび各種データをRAM1002に読み込んで実行するCPU1001とによって構成される。また、画像特徴量計算部12、統計的識別値計算部13、位置推定量計算部14および検知位置出力部15は、ROM1003および記憶装置1004に記憶されたコンピュータ・プログラムおよび各種データをRAM1002に読み込んで実行するCPU1001によって構成される。なお、物体検知装置1の各機能ブロックを構成するハードウェア構成は、上述の構成に限定されない。
入力画像取得部11は、入力画像を取得する。前述のように、入力画像取得部11は、撮像装置や記録媒体読取装置等の画像入力装置4から入力画像を取得してもよい。あるいは、入力画像取得部11は、既に記憶装置1004に記憶されている入力画像を取得してもよい。
画像特徴量計算部12は、入力画像における1つ以上の候補領域について、該候補領域の画像情報に基づく画像特徴量を計算する。ここで、1つ以上の候補領域とは、例えば、入力画像の領域全体、または、あらかじめ検知対象物を表す領域が含まれることがわかっている領域のうち、あらかじめ定められたいくつかのサイズの領域を、あらかじめ定められた距離ずつずらしていくことによって得られる各領域であってもよい。
また、画像特徴量とは、対象となる領域における各画素値の勾配に基づく量であってもよい。例えば、画像特徴量は、対象となる領域における画素のうち、画素値の勾配の方向があらかじめ定められた範囲内である各画素における勾配の強度の和に基づく量であってもよい。また、画素値の勾配は、輝度値の勾配であってもよい。その他、画像特徴量は、例えば、画素単位に計算されるなどの理由により、対象となる領域の位置の変化によりその値が敏感に変化する量が望ましい。
統計的識別値計算部13は、各候補領域について、検知対象物を表すか否かを識別する統計的識別器を用いて、統計的識別値を計算する。統計的識別値とは、統計的識別器により計算される検知対象物らしさを表す値である。
ここで、統計的識別器について説明する。統計的識別器は、一般に式(1)で表されるようなパラメータwにより規定される識別関数を用いて、入力データaに対して、aが属すると推定されるクラスcを出力するものである。
c=f(a;w)・・・(1)
例えば、そのようなクラスとして、検知対象物を表すクラスと、検知対象物以外を表すクラスとの2クラスを想定すると、統計的識別器は、候補領域が検知対象物のクラスである場合に1、検知対象物以外のクラスである場合に0の値を出力する。ただし、識別関数f(a;w)の出力値は、0および1の2値でなくてもよく、一般的には、0および1の間の連続値である場合が多い。このような場合、統計的識別器は、識別関数の出力値を閾値と比較することにより、クラスを識別する。そこで、本実施の形態では、このような統計的識別器によって用いられる識別関数の出力値(連続値であってもよい)を、検知対象物らしさを表す統計的識別値というものとする。
なお、本実施の形態において用いる統計的識別器は、学習により既にパラメータwを決定しているものとする。ここで、統計的識別器の学習とは、学習用データ集合(ai,ci)(i=0,1,・・・)を用いて、パラメータwを決定する処理である。ただし、学習用データ(ai,ci)とは、対応するクラスciが既に特定されている入力データaiの集合である。
位置推定量計算部14は、各候補領域について、その画像特徴量および統計的識別値に基づく位置推定量を計算する。ここで、位置推定量とは、候補領域の位置の、検知対象物を表す領域の位置に対する近さを表す値である。例えば、位置推定量は、統計的識別値および画像特徴量の重みつき線形和、積あるいは商等であってもよい。また、位置推定量は、これらの値の全部もしくは一部の値を引数とするガウス関数等の関数の出力値であってもよい。あるいは、位置推定量は、そのような関数の出力値の線形和、積あるいは商等であってもよい。このように、位置推定量は、統計的識別値および画像特徴量に基づき数学的操作により計算される量であって、その候補領域の位置の、検知対象物を表す領域の位置に対する近さに応じて変化する量であればよい。例えば、候補領域の位置が、検知対象物を表す領域の位置に近いほど、その位置推定量は、大きい値をとるものであってもよい。そして、そのように位置推定量が変化するよう、位置推定量の算出に用いられるパラメータは、あらかじめ定められているものとする。
検知位置出力部15は、各候補領域の位置推定量に基づいて、いずれかの領域の位置を、検知対象物を表す領域の位置として決定し、出力する。例えば、候補領域の位置が、検知対象物を表す領域の位置に近いほど、位置推定量が大きい値を示す場合、検知位置出力部15は、位置推定量が最も大きい候補領域の位置を、検知対象物を表す領域の位置として決定してもよい。
以上のように構成された物体検知装置1の動作について、図3を参照して説明する。
まず、入力画像取得部11は、入力画像を取得する(ステップS1)。
次に、物体検知装置1は、入力画像において、あらかじめ定められた各種サイズおよび各位置の候補領域について、以下のステップS2〜S6の処理を実行する。なお、このとき、物体検知装置1は、入力画像においてあらかじめ検知対象物を表す領域が含まれるものとして設定された部分領域において、各候補領域を取得してもよい。
ここでは、まず、画像特徴量計算部12は、この候補領域の画像特徴量を計算する(ステップS2)。
次に、統計的識別値計算部13は、この候補領域の統計的識別値を計算する(ステップS3)。
次に、位置推定量計算部14は、ステップS2で計算された画像特徴量と、ステップS3で計算された統計的識別値を用いて、この候補領域の位置推定量を計算する(ステップS4)。
次に、検知位置出力部15は、ステップS4で計算された位置推定量が、それまでに計算された最大の位置推定量(最大位置推定量)より大きいか否かを判断する(ステップS5)。
ここで、ステップS4で計算された位置推定量が、それまでの最大位置推定量より大きいと判断すれば、検知位置出力部15は、ステップS4で計算された位置推定量を、新たな最大位置推定量とする(ステップS6)。なお、それまでに計算された位置推定量がなければ、検知位置出力部15は、ステップS4で計算された位置推定量を最大位置推定量とする。
一方、ステップS4で計算された位置推定量が、それまでの最大位置推定量より小さいと判断すれば、検知位置出力部15は、それまでの最大位置推定量をそのまま保持する。
以上のステップS2〜S6の処理を、各候補領域について終了すると、検知位置出力部15は、最大位置推定量が計算された候補領域の位置を、検知対象物を表す領域の位置として決定し、出力する(ステップS7)。
以上で、物体検知装置1は、動作を終了する。
次に、本発明の第1の実施の形態の効果について述べる。
本発明の第1の実施の形態としての物体検知装置は、画像を用いた対象物の検知性能を高く保ちつつ、検知した対象物の画像内における位置をより精度よく推定することができる。
その理由は、入力画像における各候補領域について、画像特徴量計算部が、領域の位置の変化に応じて値が敏感に変化する画像特徴量を算出し、統計的識別値計算部が、検知対象物らしさを表す統計的識別値を統計的識別器によって算出し、位置推定量計算部が、画像特徴量および統計的識別値に基づき、検知対象物を表す領域の位置に対する候補領域の近さを表す位置推定量を算出するからである。そして、検知位置出力部が、位置推定量に基づき候補領域のいずれかの位置を、検知対象物を表す領域の位置として決定するからである。これにより、本発明の第1の実施の形態としての物体検知装置は、領域の位置の変化に応じて値が敏感に変化する画像特徴量を用いて位置精度を高めることと、検知対象物の検知漏れや誤検知が少ない統計的識別器を用いて検知性能を高く保つこととを、両立することが出来るためである。
(第2の実施の形態)
次に、本発明の第2の実施の形態について図面を参照して詳細に説明する。なお、本実施の形態の説明において参照する各図面において、本発明の第1の実施の形態と同一の構成および同様に動作するステップには同一の符号を付して本実施の形態における詳細な説明を省略する。
まず、本発明の第2の実施の形態としての物体検知装置2の機能ブロック構成を図4に示す。図4において、物体検知装置2は、位置推定量計算領域生成部201と、学習用画像特徴量計算部202と、学習用統計的識別値計算部203と、位置推定量パラメータ学習部204とからなる学習処理部20と、入力画像取得部11と、画像特徴量計算部212と、統計的識別値計算部13と、位置推定量計算部214と、検知位置出力部215とからなる物体検知処理部21とを備える。学習処理部20および物体検知処理部21は、図1に示したものと同様な構成をそれぞれ備える異なるコンピュータ装置によって構成されていてもよいし、同一のコンピュータ装置によって構成されていてもよい。異なるコンピュータ装置によって構成される場合、学習処理部20および物体検知処理部21は、LAN、インターネット、公衆回線網、無線通信網またはこれらの組合せ等によって構成されるネットワークを介して互いに通信可能に接続されていてもよい。あるいは、異なるコンピュータ装置によって構成される場合、学習処理部20および物体検知処理部21は、持ち運び可能な外付け記録媒体を介して必要となる情報をやりとりするため、そのような外付け記録媒体の書込装置または読取装置を備えていてもよい。このように、学習処理部20および物体検知処理部21は、必要な情報をやりとりできる構成であればよい。
また、物体検知装置2は、画像データベース3と、画像入力装置4とに接続されている。
画像データベース3は、コンピュータ装置の記憶装置によって構成される。画像データベース3を構成する記憶装置を有するコンピュータ装置は、物体検知装置2の学習処理部20と同一のコンピュータ装置によって構成されていてもよいし、異なるコンピュータ装置によって構成されていてもよい。異なるコンピュータ装置によって構成される場合、画像データベース3および学習処理部20は、LAN、インターネット、公衆回線網、無線通信網またはこれらの組合せ等によって構成されるネットワークを介して互いに通信可能に接続される。
また、画像データベース3は、学習処理部20の処理に必要となる学習用画像を格納している。1つの学習用画像には、1つ以上の学習用の検知対象物を表す領域が含まれている。学習用画像の一例を図5に示す。図5において、領域400は、1つの学習用画像の領域全体を示している。また、領域500は、学習用の検知対象物(例えば、人物)を表す領域を示している。以降、このような学習用の検知対象物を表す領域を、学習用検知対象物領域とも記載する。図5の例では、学習用検知対象物領域は、検知対象物が映された部分を囲む矩形領域である。また、このような学習用検知対象物領域は、学習用検知対象物が映された部分を含んでいればよく、図5に示すような矩形領域であってもよいし、他の形状の領域であってもよい。なお、各学習用画像において、このような学習用検知対象物領域は、あらかじめ設定されているものとする。
画像入力装置4は、入力画像が入力される装置である。入力画像は、検知対象物を表す領域を含む可能性を有する画像である。画像入力装置4は、例えば、ビデオカメラ等の撮像装置や記録媒体読取装置によって構成される。このような画像入力装置4は、物体検知装置2の物体検知処理部21に、画像入力装置接続インタフェース1005によって接続されている。
次に、物体検知装置2の各機能ブロックについて説明する。
位置推定量計算領域生成部201は、画像データベース3に格納されている学習用画像における学習用検知対象物領域の位置に基づいて、その学習用画像における1つ以上の位置推定量計算領域を生成する。例えば、位置推定量計算領域は、学習用検知対象物領域からそれぞれ所定の相対位置にあるそれぞれ所定サイズの領域であってもよい。このような位置推定量計算領域の1つは、学習用検知対象物領域そのものであってもよい。また、1つの学習用画像に複数の学習用検知対象物領域が含まれる場合、位置推定量計算領域生成部201は、各学習用検知対象物領域について、1つ以上の位置推定量計算領域を生成する。
例えば、図5に示した学習用検知対象物領域500の位置に基づいて生成される位置推定量計算領域の具体例を、図6に示す。図6において、位置推定量計算領域生成部201は、7つの位置推定量計算領域600a〜600gを生成している。位置推定量計算領域600aは、学習用検知対象物領域500そのものである。また、位置推定量計算領域600b〜600gは、学習用検知対象物領域500を、それぞれ1/6W、2/6Wおよび3/6Wだけ上下方向にずらすことにより得られる学習用検知対象物領域500と同サイズの領域である。なお、Wは、学習用検知対象物領域500の横幅を表している。
学習用画像特徴量計算部202は、各位置推定量計算領域について、その領域の位置に基づく1つ以上の画像特徴量計算領域を生成する。そして、学習用画像特徴量計算部202は、各画像特徴量計算領域について、それぞれ画像特徴量を計算する。
例えば、学習用画像特徴量計算部202は、各位置推定量計算領域における所定の接地部分位置からそれぞれ所定の相対位置にあるそれぞれ所定サイズの領域のうち1つ以上を、画像特徴量計算領域として生成してもよい。ここで、所定の接地部分位置とは、検知対象物を表すものと想定される任意の画像領域において、その検知対象物の接地部分が映されていると想定される領域の相対位置をいう。例えば、位置推定量計算領域としての矩形領域において、その下端が接地部分位置としてあらかじめ定められていてもよい。
例えば、図6に示した位置推定量計算領域600aについて生成される画像特徴量計算領域の具体例を、図7に示す。図7において、学習用画像特徴量計算部202は、位置推定量計算領域600aにおける所定の接地部分位置である下端の位置に基づいて、3つの画像特徴量計算領域700a〜700cを生成している。
ここで、画像特徴量計算領域700aは、横方向の位置および横幅が位置推定量計算領域600aに一致し、縦方向の位置が位置推定量計算領域600aの下端を中心とし、縦長が位置推定量計算領域600aの横幅Wの1/6の領域である。また、この例では、画像特徴量計算領域700aは、後述の横エッジ特徴量を検出する領域として生成される。
また、画像特徴量計算領域700bは、画像特徴量計算領域700aの上部に隣接し、横幅がW、縦長がW/3の領域である。また、この例では、画像特徴量計算領域700bは、後述の縦エッジ特徴量を検出する領域として生成される。なお、このような画像特徴量計算領域700bから算出される縦エッジ特徴量を、以降、上部縦エッジ特徴量とも記載する。
また、画像特徴量計算領域700cは、画像特徴量計算領域700aの下部に隣接し、横幅がW、縦長がW/3の領域である。また、この例では、画像特徴量計算領域700cは、縦エッジ特徴量を検出する領域として生成される。なお、このような画像特徴量計算領域700cから算出される縦エッジ特徴量を、以降、下部縦エッジ特徴量とも記載する。
また、学習用画像特徴量計算部202は、位置推定量計算領域600aに対して、さらに、位置推定量計算領域600aの領域そのものを、画像特徴量計算領域700dとして生成してもよい。あるいは、学習用画像特徴量計算部202は、そのような画像特徴量計算領域700a〜700dのうちの1つ以上を画像特徴量計算領域として生成してもよい。なお、以下では、学習用画像特徴量計算部202が、各位置推定量計算領域600a〜600cに対する画像特徴量計算領域として、領域700a〜700cに相当する3つずつの領域をそれぞれ生成した例を中心に説明を続ける。
また、学習用画像特徴量計算部202が各画像特徴量計算領域について計算する画像特徴量は、画像特徴量計算領域の位置の変化によりその値が敏感に変化する特徴量が望ましい。例えば、画素単位に計算される値に基づく画像特徴量は、画像特徴量計算領域の位置の変化によりその値が敏感に変化する。このような画像特徴量として、エッジに基づく特徴量がある。エッジに基づく特徴量は、各画素値の隣接画素値との間の勾配に基づき算出されるものである。例えば、エッジに基づく特徴量は、該当する領域内の画素のうち、隣接画素との間の輝度値の勾配の方向(エッジ方向)が所定範囲内である各画素に関する輝度値の勾配の強度(エッジ強度)の和に基づく量であってもよい。
例えば、前述の横エッジ特徴量は、次のようにして算出される。学習用画像特徴量計算部202は、該当する領域(例えば、図7「における画像特徴量計算領域700a)の各画素についてソーベルフィルタを施し、ソーベルx成分Sxとソーベルy成分Syを計算する。次に、次式(2)により、その画素のエッジ方向Edおよびエッジ強度Emを計算する。ただし、式(2)において、“| |”は絶対値を表し、“sqrt()”は平方根を表わす。
Ed = arctan( |Sx| / |Sy| ), Em = sqrt( Sx * Sx + Sy * Sy )・・・(2)
そして、学習用画像特徴量計算部202は、該当する領域内の画素のうち、エッジ方向Edが閾値以下(例えばπ/8以下)の各画素について、エッジ強度Emの和を計算する。そして、学習用画像特徴量計算部202は、そのような該当画素のエッジ強度Emの和を、領域内の全画素のエッジ強度Emの和で除した値を、横エッジ特徴量としてもよい。
また、前述の縦エッジ特徴量は、次のようにして算出される。学習用画像特徴量計算部202は、該当する領域(例えば、図7における画像特徴量計算領域700bおよび700c)の各画素について、横エッジ特徴量と同様の処理を行う。ただし、縦エッジ特徴量の算出処理は、横エッジ特徴量の算出処理に対して、エッジ方向Edが閾値以上(例えば3π/8以上)の画素について、エッジ強度Emの和を計算する点が異なる。そして、学習用画像特徴量計算部202は、そのような該当画素のエッジ強度Emの和を、領域内の全画素のエッジ強度Emの和で除した値を、縦エッジ特徴量としてもよい。
学習用統計的識別値計算部203は、各位置推定量計算領域について、統計的識別値を計算する。この統計的識別値は、本発明の第1の実施の形態における統計的識別値計算部13と同様に、検知対象物を表すか否かを識別する統計的識別器を用いて算出される。この統計的識別器において用いられるパラメータwは、統計的識別値計算部13において用いられるパラメータwと同一の値があらかじめ学習により決定されているものとする。
位置推定量パラメータ学習部204は、各位置推定量計算領域について算出された画像特徴量および統計的識別値と、各位置推定量計算領域の学習用検知対象物領域に対する相対位置とを用いて、位置推定量の算出に用いるパラメータを学習する。例えば、位置推定量パラメータ学習部204は、各位置推定量計算領域の学習用検知対象物領域に対する相対位置が近いほど、画像特徴量および統計的識別値に基づく位置推定量が大きくなるよう、パラメータを学習すればよい。
ここで、位置推定量パラメータ学習部204による学習について具体例を説明する。ここでは、位置推定量が、式(3)で表されるようなパラメータvにより規定される関数gにより算出される値kであるとする。
k=g(d;v),d=(e,h0,h1,・・・,hn)・・・(3)
ただし、eは、対象となる領域の統計的識別値である。また、hj(j=0,1,2,・・・,n)は、対象となる領域の各画像特徴量計算領域について計算される画像特徴量である。また、学習用検知対象物領域の位置を(x1,y1)で表し、各位置推定量計算領域diの位置を(x2i,y2i)で表す。すると、各位置推定量計算領域diの学習用検知対象物領域に対する相対位置は、(xi,yi)(xi=x2i−x1,yi=y2i−y1)で表される。このとき、位置推定量パラメータ学習部204は、相対位置(xi,yi)が学習用検知対象物領域から近いことを表すほど、関数gの出力値kが大きく、遠いことを表すほど小さくなるようにパラメータvを決定する。なお、位置推定量パラメータ学習部204は、関数gを、検知対象物の位置とそれ以外の位置とを識別する統計的識別器とみなすことにより、前述の統計的識別器に関する学習方法を用いてパラメータvを学習してもよい。
また、例えば、位置推定量パラメータ学習部204は、図8に示すような、学習用画像における任意の領域の下端の位置を入力とする関数であって、学習用検知対象物領域の下端の位置(人物の真の足元位置)で最大値をとるモデル関数を用いて、パラメータvの学習を行ってもよい。この場合、位置推定量パラメータ学習部204は、このようなモデル関数に前述の位置推定量があてはまるようにパラメータvを学習することができる。ここで、「モデル関数にあてはまる」とは、このようなモデル関数の出力値と、各位置推定量計算領域から計算される位置推定量との違いがより少なくなることをいう。違いとは、差、差の絶対値、あるいは、差の二乗等、値の違いを表す量であればよい。パラメータvの学習は、このようなモデル関数に位置推定量が最もあてはまるように行われてもよい。このようなモデル関数としては、例えば、人物の真の足元位置を中心としたガウス関数等を適用可能である。
あるいは、例えば、位置推定量パラメータ学習部204は、1つ以上の位置推定量計算領域のうち、検知対象物を表す位置推定量計算領域と、それ以外の位置推定量計算領域とを判別する判別分析を行うことにより、パラメータvの学習を行ってもよい。このように、位置推定量パラメータ学習部204は、パラメータvの学習手法として、例えば、ニューラルネットワーク、判別分析、サポートベクタマシン、ベクトル量子化器等といった、2つのクラスを識別する処理に一般的に採用される統計的識別器を用いた手法を適用可能である。
画像特徴量計算部212は、入力画像の各候補領域について、学習用画像特徴量計算部202と同様に定められる1つ以上の画像特徴量計算領域を生成し、各画像特徴量計算領域について画像特徴量を計算する。例えば、画像特徴量計算部212は、各候補領域について、図7に示した3つの画像特徴量計算領域700a〜700cに相当する領域を生成してもよい。この場合、画像特徴量計算部212は、各候補領域について、前述の横エッジ特徴量、上部縦エッジ特徴量、および、下部縦エッジ特徴量を算出してもよい。
位置推定量計算部214は、入力画像の各候補領域について位置推定量を計算する際に、位置推定量パラメータ学習部204によって決定されたパラメータを用いる点が、本発明の第1の実施の形態における位置推定量計算部14に対して異なる。
検知位置出力部215は、最大の位置推定量が計算された候補領域の位置を、検知対象物を表す領域の位置として決定する。そして、検知位置出力部215は、そのように決定された候補領域の位置に基づいて、入力画像において検知対象物が接地する部分(足元)が映された位置を出力してもよい。例えば、検知位置出力部215は、そのように決定された候補領域の下端の位置を、入力画像において検知対象物が接地する部分(足元)が映された位置とみなして出力可能である。
また、検知位置出力部215は、入力画像が撮像装置によって撮像された画像である場合、入力画像において検知対象物が接地する部分が映された位置に基づいて、撮像装置に対する検知対象物の相対位置を算出してもよい。例えば、検知位置出力部215は、撮像装置から検知対象物までの距離や方角を算出してもよい。
以上のように構成された物体検知装置2の動作について、図面を参照して詳細に説明する。
まず、物体検知装置2の学習動作を図9に示す。
図9において、物体検知装置2の学習処理部20は、画像データベース3に格納された学習用画像に含まれる各学習用検知対象物領域について、以下のステップS11〜S13の処理を実行する。ここでは、学習用画像は、図5に示したような、検知対象物としての人物が映された領域を含む画像であるものとする。
ここでは、まず、位置推定量計算領域生成部201は、この学習用検知対象物領域の位置に基づいて、1つ以上の位置推定量計算領域を生成する(ステップS11)。例えば、位置推定量計算領域生成部201は、図5における検知対象物を表す領域500について、図6に示したような位置推定量計算領域600a〜600gを生成する。
ステップS11で生成された各位置推定量計算領域(位置推定量計算領域600a〜600g)について、物体検知装置2の学習処理部20は、以下のステップS12〜S13の処理を実行する。
ここでは、まず、学習用画像特徴量計算部202は、この位置推定量計算領域の位置に基づいて、1つ以上の画像特徴量計算領域を生成する。そして、学習用画像特徴量計算部202は、生成した各画像特徴量計算領域について画像特徴量を計算する(ステップS12)。例えば、学習用画像特徴量計算部202は、この位置推定量計算領域について、図7に示した画像特徴量計算領域700aの横エッジ特徴量、画像特徴量計算領域700bの上部縦エッジ特徴量、および、画像特徴量計算領域700cの下部縦エッジ特徴量の3つを算出してもよい。
次に、学習用統計的識別値計算部203は、この位置推定量計算領域について、統計的識別値を計算する(ステップS13)。
このようにして、物体検知装置2は、画像データベース3に格納された学習用画像における各学習用検知対象物領域から生成された各位置推定量計算領域について、画像特徴量および統計的識別値の計算処理を行う。
次に、位置推定量パラメータ学習部204は、これらの画像特徴量および統計的識別値を用いて、位置推定量計算部214によって用いられるパラメータを学習する(ステップS14)。
例えば、位置推定量パラメータ学習部204は、各位置推定量計算領域について次式(4)で算出される位置推定量kが、その位置推定量計算領域の検知対象物を表す領域に対する相対位置が近いほど大きくなるよう、パラメータ(p,q,r,s,t)を学習する。ただし、式(4)において、eは、統計的識別値を表す。また、h0は横エッジ特徴量を表し、h1は上部縦エッジ特徴量を表し、h2は下部縦エッジ特徴量を表す。
k=g(d;v)=p*e+q*h0+r*h1+s*h2+t・・・(4)
次に、位置推定量パラメータ学習部204は、学習したパラメータを出力する(ステップS15)。
以上で、物体検知装置2は、学習処理を終了する。
次に、物体検知装置2の検知動作を図10に示す。
ここでは、まず、入力画像取得部11は、本発明の第1の実施の形態の物体検知装置1と同様に、画像入力装置4から入力画像を取得する(ステップS1)。
次に、物体検知装置2は、入力画像において、あらかじめ定められた各種サイズおよび各位置の候補領域について、以下のステップS22、S3、S24、S5、S6の処理を実行する。なお、このとき、物体検知装置2は、本発明の第1の実施の形態の物体検知装置1と同様に、入力画像において、あらかじめ検知対象物を表す領域が含まれるものとして設定された領域において、各候補領域を取得してもよい。
ここでは、まず、画像特徴量計算部212は、この候補領域について1つ以上の画像特徴量計算領域を生成する。そして、画像特徴量計算部212は、各画像特徴量計算領域の画像特徴量を計算する(ステップS22)。例えば、画像特徴量計算部212は、この候補領域について、前述の横エッジ特徴量、上部縦エッジ特徴量、および下部縦エッジ特徴量を算出してもよい。
次に、統計的識別値計算部13は、本発明の第1の実施の形態の物体検知装置1と同様に、この候補領域の統計的識別値を計算する(ステップS3)。
次に、位置推定量計算部214は、ステップS22で計算された画像特徴量と、ステップS3で計算された統計的識別値と、ステップS15で出力されたパラメータとを用いて、この候補領域の位置推定量を計算する(ステップS24)。例えば、位置推定量計算部214は、ステップS22で算出した横エッジ特徴量h0、上部縦エッジ特徴量h1および下部縦エッジ特徴量h2、ステップS3で算出した統計的識別値e、ならびに、ステップS15で出力されたパラメータ(p,q,r,s,t)を用いて、式(4)による位置推定量kを算出してもよい。
以降、物体検知装置2は、ステップS5〜S6まで、本発明の第1の実施の形態と同様に動作する。
このようにして各候補領域について位置推定量の算出が終了すると、検知位置出力部215は、最大の位置推定量が計算された候補領域における接地部分位置を、入力画像において検知対象物が接地する部分が映された位置として決定し、出力する。例えば、検知位置出力部215は、そのような候補領域の下端の位置を、入力画像において検知対象物が接地する部分が映された位置として出力してもよい(ステップS27)。さらに、入力画像が撮像装置によって撮像された画像である場合、検知位置出力部215は、そのような入力画像において検知対象物が接地する部分が映された位置に基づいて、撮像装置に対する検知対象物の距離や方角を算出してもよい。
以上で、検知対象物2は、検知動作を終了する。
次に、本発明の第2の実施の形態の効果について述べる。
本発明の第2の実施の形態としての物体検知装置は、画像を用いた対象物の検知性能を高く保ちつつ、検知した対象物の画像内における位置をさらに精度よく推定することができる。
その理由は、候補領域の位置変化に敏感な画像特徴量と、検知性能が高い統計的識別値とに基づく位置推定量の計算に用いるパラメータを、位置推定量パラメータ学習部が、学習用画像を用いて学習するからである。そのために、位置推定量計算領域生成部が、各学習用画像における各学習用検知対象物領域について1つ以上の位置推定量計算領域を生成し、位置推定量パラメータ学習部が、各位置推定量計算領域について計算される画像特徴量および統計的識別値に基づく位置推定量を、各位置推定量計算領域の学習用検知対象物領域に対する相対位置に応じて変化させるよう、所定のパラメータを学習するからである。このようにして学習されたパラメータを用いることにより、本実施の形態としての物体検知装置は、入力画像の各候補領域について、検知位置精度の高い画像特徴量と、検知性能の高い統計的識別値に基づく位置推定量を、より精度良く算出することができるからである。
また、本発明の第2の実施の形態としての物体検知装置は、画像を用いた対象物の検知性能を高く保ちつつ、検知対象物の画像内における位置として、検知対象物の撮像装置に対する相対位置を算出するためにより適切な位置を精度良く算出することができる。
その理由は、学習用画像特徴量計算部が、各位置推定量計算領域において、検知対象物が接地する部分が映されていると想定される接地部分位置に基づく1つ以上の画像特徴量計算領域について、それぞれ画像特徴量を計算するからである。そのような画像特徴量は、検知対象物が接地する部分が映されている領域の位置の変化に敏感な量となる。したがって、位置推定量パラメータ学習部は、各位置推定量計算領域についてのそのような画像特徴量および統計的識別値を用いてパラメータの学習を行うことにより、検知対象物の接地部分を表す領域の位置からの近さをより精度よく表す位置推定量の算出に必要なパラメータを学習できることになる。このようにして学習されたパラメータを用いることにより、本実施の形態としての物体検知装置は、入力画像の各候補領域について、検知対象物の接地部分が映された真の位置に対する近さを表す位置推定量をより精度良く算出することができるからである。
なお、本発明の第2の実施の形態において、位置推定量計算領域生成部は、位置推定量計算領域として、学習用検知対象物領域を上下にずらすことにより得られる同サイズの領域を生成する例について説明した。これに限らず、本発明の第2の実施の形態における位置推定量計算領域生成部は、位置推定量計算領域として、学習用検知対象物領域をその他の方向にずらすことにより得られる領域や、少なくとも1つは学習用検知対象物領域に対して異なる形状やサイズの領域を生成してもよい。このように、位置推定量計算領域は、学習用検知対象物領域の位置に基づき生成されるものであればよい。
また、本発明の第2の実施の形態において、学習用画像特徴量計算部および画像特徴量計算部は、画像特徴量計算領域として、検知対象物を表す領域において検知対象物が接地する部分が映されていると想定される部分の位置に基づく領域を生成する例について説明した。これに限らず、本発明の第2の実施の形態における学習用画像特徴量計算部および画像特徴量計算部は、画像特徴量計算領域として、位置推定量計算領域または候補領域の位置に基づきあらかじめ定められたその他の領域を生成してもよい。
また、上述の各実施の形態において、入力画像は、撮像装置等によって撮像された原画像の画像情報そのものに限らず、原画像の画像情報にフィルタや幾何変換等の処理を施した処理画像であってもよい。
また、上述の各実施の形態において、統計的識別値計算部および学習用統計的識別値計算部によって用いられる統計的識別器としては、例えば、ニューラルネットワーク、線形識別器、サポートベクタマシン、ベクトル量子化器、以下の参考文献1で述べられているカスケード型識別器等、一般に画像の識別において用いることのできる統計的識別器を適用可能である(参考文献1:P. Viola, M. Jones, “Rapid Object Detection using a Boosted Cascade of Simple Features”, Proc. IEEE Conf. on Computer Vision and Pattern Recognition, Vol. 1, pp.511-518, December 2001.)。
また、上述の各実施の形態において、統計的識別値計算部および学習用統計的識別値計算部によって用いられる統計的識別器に入力される入力データは、計算対象とする画像領域の画像情報であってもよいし、そのような画像領域の特徴ベクトルであってもよい。なお、特徴ベクトルとは、画像領域から計算される1つ以上の特徴値をベクトル表現したものである。このような特徴ベクトルとしては、例えば、原画像の画素値、原画像にフィルタや幾何変換等の処理を施した処理画像の画素値、前述の参考文献1で述べられているHaar-like特徴、以下の参考文献2で述べられているHOG(Histogram of Oriented Gradient)特徴等、一般に画像の識別において用いることのできる特徴ベクトルを適用可能である(参考文献2:N. Dalal and B. Triggs: “Histograms of Oriented Gradients for Human Detection”, IEEE Proc. CVPR2005, pp.829-836, 2005.)。
例えば、各実施の形態における統計的識別値計算部および学習用統計的識別値計算部は、該当する画像領域について、HOG特徴およびサポートベクタマシンによる統計的識別器を用いて、前述の統計的識別値を算出してもよい。
また、上述の各実施の形態において、位置推定量は、統計的識別値および画像特徴量の重み付き線形和、積または商であってもよい。あるいは、位置推定量は、このような重み付き線形和、積または商の値の全部もしくは一部の値を引数とするガウス関数等の関数や、それら関数の線形和、積または商等であってもよい。このように、位置推定量は、統計的識別値と画像特徴量とから数学的操作により計算される量であって、対象となる領域の検知対象物を表す領域に対する近さを表す量であればよい。
また、上述の各実施の形態において、位置推定量は、位置推定量の計算される領域が検知対象物を表す領域に近いほど大きい値をとる例を中心に説明したが、位置推定量の計算される領域が検知対象物を表す領域に近いほど小さい値をとるものであってもよい。その場合、各実施の形態において、検知位置出力部は、最大となる位置推定量が計算された候補領域の代わりに、最小となる位置推定量が計算された候補領域の位置を出力すればよい。
また、上述した本発明の各実施の形態において、各フローチャートを参照して説明した物体検知装置の動作を、本発明のコンピュータ・プログラムとしてコンピュータ装置の記憶装置(記憶媒体)に格納しておき、係るコンピュータ・プログラムを当該CPUが読み出して実行するようにしてもよい。そして、このような場合において、本発明は、係るコンピュータ・プログラムのコード或いは記憶媒体によって構成される。
また、上述した各実施の形態は、適宜組み合わせて実施されることが可能である。
また、本発明は、上述した各実施の形態に限定されず、様々な態様で実施されることが可能である。
また、上術した各実施の形態の一部又は全部は、以下の付記のようにも記載されうるが、以下には限られない。
(付記1)
入力画像を取得する入力画像取得部と、
前記入力画像における1つ以上の各候補領域について、画像情報に基づく画像特徴量を計算する画像特徴量計算部と、
前記各候補領域について、検知対象物を表すか否かを識別する統計的識別器を用いて統計的識別値を計算する統計的識別値計算部と、
前記各候補領域について、該候補領域の位置の、前記検知対象物を表す領域の位置に対する近さを表す位置推定量を、前記画像特徴量および前記統計的識別値に基づいて所定のパラメータを用いて計算する位置推定量計算部と、
前記各候補領域の前記位置推定量に基づいて、前記各候補領域のいずれかの位置を、前記検知対象物を表す領域の位置として出力する検知位置出力部と、
を備えた物体検知装置。
(付記2)
学習用画像における前記検知対象物を表す領域の位置に基づいて、前記学習用画像における1つ以上の位置推定量計算領域を生成する位置推定量計算領域生成部と、
前記各位置推定量計算領域について、前記画像特徴量を計算する学習用画像特徴量計算部と、
前記各位置推定量計算領域について、前記統計的識別器を用いて前記統計的識別値を計算する学習用統計的識別値計算部と、
前記各位置推定量計算領域について計算された前記画像特徴量および前記統計的識別値に基づき前記位置推定量計算部によって算出される前記位置推定量が、前記学習用画像における前記検知対象物を表す領域の位置に対する前記各位置推定量計算領域の位置の近さに応じて変化するよう、前記位置推定量計算部が用いる前記所定のパラメータを学習する位置推定量パラメータ学習部と、
をさらに備え、
前記位置推定量計算部は、前記位置推定量パラメータ学習部によって学習された前記所定のパラメータを用いて、前記入力画像における前記各候補領域の前記位置推定量を算出することを特徴とする付記1に記載の物体検知装置。
(付記3)
前記位置推定量計算領域生成部は、前記学習用画像において、前記検知対象物を表す領域からそれぞれ所定の相対位置にあるそれぞれ所定サイズの1つ以上の領域を、前記各位置推定量計算領域として生成することを特徴とする付記2に記載の物体検知装置。
(付記4)
前記学習用画像特徴量計算部は、前記各位置推定量計算領域について、該位置推定量計算領域の位置に基づく1つ以上の画像特徴量計算領域を生成し、生成した各画像特徴量計算領域における前記画像特徴量を計算し、
前記画像特徴量計算部は、前記各候補領域について、前記各画像特徴量計算領域を生成し、生成した各画像特徴量計算領域について、前記画像特徴量を計算することを特徴とする付記2または付記3に記載の物体検知装置。
(付記5)
前記検知対象物を表すことが想定される任意の画像領域において、前記検知対象物が接地する部分が映されていると想定される領域の相対位置(接地部分位置)があらかじめ定められているとき、
前記学習用画像特徴量計算部は、前記各位置推定量計算領域における前記接地部分位置からそれぞれ所定の相対位置にあるそれぞれ所定サイズの領域のうち1つ以上を、前記画像特徴量計算領域として生成し、
前記画像特徴量計算部は、前記各候補領域における前記接地部分位置からそれぞれ所定の相対位置にあるそれぞれ所定サイズの領域のうち1つ以上を、前記画像特徴量計算領域として生成することを特徴とする付記4に記載の物体検知装置。
(付記6)
前記検知位置出力部は、前記各候補領域の前記位置推定量に基づいて、前記各候補領域のいずれかを前記検知対象物を表す領域として決定し、決定した候補領域における前記接地部分位置に基づいて、前記入力画像において前記検知対象物が接地する部分が映された位置を出力することを特徴とする付記5に記載の物体検知装置。
(付記7)
前記入力画像が撮像装置によって撮像された画像であるとき、
前記検知位置出力部は、前記入力画像において前記検知対象物が接地する部分が映された位置に基づいて、前記撮像装置に対する前記検知対象物の相対位置を算出することを特徴とする付記6に記載の物体検知装置。
(付記8)
前記位置推定量パラメータ学習部は、前記1つ以上の位置推定量計算領域のうち、前記検知対象物を表す位置推定量計算領域と、それ以外の位置推定量計算領域とを識別する位置推定量が計算されるよう、前記所定のパラメータを学習することを特徴とする付記2から付記7のいずれか1つに記載の物体検知装置。
(付記9)
前記位置推定量パラメータ学習部は、前記学習用画像における任意の領域の位置を入力とし前記検知対象物を表す領域の位置が入力されると最大値をとるモデル関数と、前記各位置推定量計算領域について前記位置推定量計算部によって算出される前記位置推定量との違いをより小さくするよう、前記所定のパラメータを学習することを特徴とする付記2から付記8のいずれか1つに記載の物体検知装置。
(付記10)
前記位置推定量計算部は、前記画像特徴量および前記統計的識別値を用いた所定の線形関数により前記位置推定量を計算することを特徴とする付記1から付記9のいずれか1つに記載の物体検知装置。
(付記11)
前記画像特徴量は、対象となる画像領域における各画素値の勾配に基づく量であることを特徴とする付記1から付記10のいずれか1つに記載の物体検知装置。
(付記12)
前記画像特徴量は、対象となる画像領域における画素のうち、画素値の勾配の方向が所定範囲内である各画素における勾配の強度の和に基づく量であることを特徴とする付記11に記載の物体検知装置。
(付記13)
入力画像における1つ以上の各候補領域について、画像情報に基づく画像特徴量を計算し、
前記各候補領域について、検知対象物を表すか否かを識別する統計的識別器を用いて統計的識別値を計算し、
前記各候補領域について、該候補領域の位置の、前記検知対象物を表す領域の位置に対する近さを表す位置推定量を、前記画像特徴量および前記統計的識別値に基づいて所定のパラメータを用いて計算し、
前記各候補領域の前記位置推定量に基づいて、前記各候補領域のいずれかの位置を、前記検知対象物を表す領域の位置として出力する、物体検知方法。
(付記14)
学習用画像における前記検知対象物を表す領域の位置に基づいて、前記学習用画像における1つ以上の位置推定量計算領域を生成し、
前記各位置推定量計算領域について、前記画像特徴量を計算し、
前記各位置推定量計算領域について、前記統計的識別器を用いて前記統計的識別値を計算し、
前記各位置推定量計算領域について計算された前記画像特徴量および前記統計的識別値に基づき算出される前記位置推定量が、前記学習用画像における前記検知対象物を表す領域の位置に対する前記各位置推定量計算領域の位置の近さに応じて変化するよう、前記位置推定量の計算に用いられる前記所定のパラメータを学習し、
前記入力画像における前記各候補領域の前記位置推定量を算出する際に、学習した前記所定のパラメータを用いることを特徴とする付記13に記載の物体検知方法。
(付記15)
入力画像を取得する入力画像取得ステップと、
前記入力画像における1つ以上の各候補領域について、画像情報に基づく画像特徴量を計算する画像特徴量計算ステップと、
前記各候補領域について、検知対象物を表すか否かを識別する統計的識別器を用いて統計的識別値を計算する統計的識別値計算ステップと、
前記各候補領域について、該候補領域の位置の、前記検知対象物を表す領域の位置に対する近さを表す位置推定量を、前記画像特徴量および前記統計的識別値に基づいて所定のパラメータを用いて計算する位置推定量計算ステップと、
前記各候補領域の前記位置推定量に基づいて、前記各候補領域のいずれかの位置を、前記検知対象物を表す領域の位置として出力する検知位置出力ステップと、
をコンピュータ装置に実行させるコンピュータ・プログラム。
(付記16)
学習用画像における前記検知対象物を表す領域の位置に基づいて、前記学習用画像における1つ以上の位置推定量計算領域を生成する位置推定量計算領域生成ステップと、
前記各位置推定量計算領域について、前記画像特徴量を計算する学習用画像特徴量計算ステップと、
前記各位置推定量計算領域について、前記統計的識別器を用いて前記統計的識別値を計算する学習用統計的識別値計算ステップと、
前記各位置推定量計算領域について計算された前記画像特徴量および前記統計的識別値に基づき算出される前記位置推定量が、前記学習用画像における前記検知対象物を表す領域の位置に対する前記各位置推定量計算領域の位置の近さに応じて変化するよう、前記位置推定量計算ステップで用いられる前記所定のパラメータを学習する位置推定量パラメータ学習ステップと、
をさらに前記コンピュータ装置に実行させ、
前記位置推定量計算ステップで、前記位置推定量パラメータ学習ステップにおいて学習された前記所定のパラメータを用いて、前記入力画像における前記各候補領域の前記位置推定量を算出することを特徴とする付記15に記載のコンピュータ・プログラム。
1、2 物体検知装置
3 画像データベース
4 画像入力装置
11 入力画像取得部
12、212 画像特徴量計算部
13 統計的識別値計算部
14、214 位置推定量計算部
15、215 検知位置出力部
20 学習処理部
21 物体検知処理部
201 位置推定量計算領域生成部
202 学習用画像特徴量計算部
203 学習用統計的識別値計算部
204 位置推定量パラメータ学習部
500 学習用検知対象物領域
600a〜600g 位置推定量計算領域
700a〜700c 画像特徴量計算領域
1001 CPU
1002 RAM
1003 ROM
1004 記憶装置
1005 画像入力装置接続インタフェース
600a、600b、600c、600d、600e、600f、600g 位置推定量計算領域
700a、700b、700c、700d 画像特徴量計算領域

Claims (10)

  1. 入力画像を取得する入力画像取得部と、
    前記入力画像における1つ以上の各候補領域について、画像情報に基づく画像特徴量を計算する画像特徴量計算部と、
    前記各候補領域について、検知対象物を表すか否かを識別する統計的識別器を用いて統計的識別値を計算する統計的識別値計算部と、
    前記各候補領域について、該候補領域の位置の、前記検知対象物を表す領域の位置に対する近さを表す位置推定量を、前記画像特徴量および前記統計的識別値に基づいて所定のパラメータを用いて計算する位置推定量計算部と、
    前記各候補領域の前記位置推定量に基づいて、前記各候補領域のいずれかの位置を、
    前記検知対象物を表す領域の位置として出力する検知位置出力部と、
    を備えた物体検知装置。
  2. 学習用画像における前記検知対象物を表す領域の位置に基づいて、前記学習用画像における1つ以上の位置推定量計算領域を生成する位置推定量計算領域生成部と、
    前記各位置推定量計算領域について、前記画像特徴量を計算する学習用画像特徴量計算部と、
    前記各位置推定量計算領域について、前記統計的識別器を用いて前記統計的識別値を計算する学習用統計的識別値計算部と、
    前記各位置推定量計算領域について計算された前記画像特徴量および前記統計的識別値に基づき前記位置推定量計算部によって算出される前記位置推定量が、前記学習用画像における前記検知対象物を表す領域の位置に対する前記各位置推定量計算領域の位置の近さに応じて変化するよう、前記位置推定量計算部が用いる前記所定のパラメータを学習する位置推定量パラメータ学習部と、
    をさらに備え、
    前記位置推定量計算部は、前記位置推定量パラメータ学習部によって学習された前記所定のパラメータを用いて、前記入力画像における前記各候補領域の前記位置推定量を算出することを特徴とする請求項1に記載の物体検知装置。
  3. 前記位置推定量計算領域生成部は、前記学習用画像において、前記検知対象物を表す領域からそれぞれ所定の相対位置にあるそれぞれ所定サイズの1つ以上の領域を、前記各位置推定量計算領域として生成することを特徴とする請求項2に記載の物体検知装置。
  4. 前記学習用画像特徴量計算部は、前記各位置推定量計算領域について、該位置推定量計算領域の位置に基づく1つ以上の画像特徴量計算領域を生成し、生成した各画像特徴量計算領域における前記画像特徴量を計算し、
    前記画像特徴量計算部は、前記各候補領域について、前記各画像特徴量計算領域を生成し、生成した各画像特徴量計算領域について、前記画像特徴量を計算することを特徴とする請求項2または請求項3に記載の物体検知装置。
  5. 前記位置推定量パラメータ学習部は、前記1つ以上の位置推定量計算領域のうち、前記検知対象物を表す位置推定量計算領域と、それ以外の位置推定量計算領域とを識別する位置推定量が計算されるよう、前記所定のパラメータを学習することを特徴とする請求項2から請求項4のいずれか1項に記載の物体検知装置。
  6. 前記位置推定量パラメータ学習部は、前記学習用画像における任意の領域の位置を入力とし前記検知対象物を表す領域の位置が入力されると最大値をとるモデル関数と、前記各位置推定量計算領域について前記位置推定量計算部によって算出される前記位置推定量との違いをより小さくするよう、前記所定のパラメータを学習することを特徴とする請求項2から請求項5のいずれか1項に記載の物体検知装置。
  7. 入力画像における1つ以上の各候補領域について、画像情報に基づく画像特徴量を計算し、
    前記各候補領域について、検知対象物を表すか否かを識別する統計的識別器を用いて統計的識別値を計算し、
    前記各候補領域について、該候補領域の位置の、前記検知対象物を表す領域の位置に対する近さを表す位置推定量を、前記画像特徴量および前記統計的識別値に基づいて所定のパラメータを用いて計算し、
    前記各候補領域の前記位置推定量に基づいて、前記各候補領域のいずれかの位置を、前記検知対象物を表す領域の位置として出力する、物体検知方法。
  8. 学習用画像における前記検知対象物を表す領域の位置に基づいて、前記学習用画像における1つ以上の位置推定量計算領域を生成し、
    前記各位置推定量計算領域について、前記画像特徴量を計算し、
    前記各位置推定量計算領域について、前記統計的識別器を用いて前記統計的識別値を計算し、
    前記各位置推定量計算領域について計算された前記画像特徴量および前記統計的識別値に基づき算出される前記位置推定量が、前記学習用画像における前記検知対象物を表す領域の位置に対する前記各位置推定量計算領域の位置の近さに応じて変化するよう、前記位置推定量の計算に用いられる前記所定のパラメータを学習し、
    前記入力画像における前記各候補領域の前記位置推定量を算出する際に、学習した前記所定のパラメータを用いることを特徴とする請求項7に記載の物体検知方法。
  9. 入力画像を取得する入力画像取得ステップと、
    前記入力画像における1つ以上の各候補領域について、画像情報に基づく画像特徴量を計算する画像特徴量計算ステップと、
    前記各候補領域について、検知対象物を表すか否かを識別する統計的識別器を用いて統計的識別値を計算する統計的識別値計算ステップと、
    前記各候補領域について、該候補領域の位置の、前記検知対象物を表す領域の位置に対する近さを表す位置推定量を、前記画像特徴量および前記統計的識別値に基づいて所定のパラメータを用いて計算する位置推定量計算ステップと、
    前記各候補領域の前記位置推定量に基づいて、前記各候補領域のいずれかの位置を、前記検知対象物を表す領域の位置として出力する検知位置出力ステップと、
    をコンピュータ装置に実行させるコンピュータ・プログラム。
  10. 学習用画像における前記検知対象物を表す領域の位置に基づいて、前記学習用画像における1つ以上の位置推定量計算領域を生成する位置推定量計算領域生成ステップと、
    前記各位置推定量計算領域について、前記画像特徴量を計算する学習用画像特徴量計算ステップと、
    前記各位置推定量計算領域について、前記統計的識別器を用いて前記統計的識別値を計算する学習用統計的識別値計算ステップと、
    前記各位置推定量計算領域について計算された前記画像特徴量および前記統計的識別値に基づき算出される前記位置推定量が、前記学習用画像における前記検知対象物を表す領域の位置に対する前記各位置推定量計算領域の位置の近さに応じて変化するよう、前記位置推定量計算ステップで用いられる前記所定のパラメータを学習する位置推定量パラメータ学習ステップと、
    をさらに前記コンピュータ装置に実行させ、
    前記位置推定量計算ステップで、前記位置推定量パラメータ学習ステップにおいて学習された前記所定のパラメータを用いて、前記入力画像における前記各候補領域の前記位置推定量を算出することを特徴とする請求項9に記載のコンピュータ・プログラム。
JP2012010126A 2012-01-20 2012-01-20 物体検知装置、物体検知方法、および、コンピュータ・プログラム Pending JP2013149146A (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2012010126A JP2013149146A (ja) 2012-01-20 2012-01-20 物体検知装置、物体検知方法、および、コンピュータ・プログラム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2012010126A JP2013149146A (ja) 2012-01-20 2012-01-20 物体検知装置、物体検知方法、および、コンピュータ・プログラム

Publications (1)

Publication Number Publication Date
JP2013149146A true JP2013149146A (ja) 2013-08-01

Family

ID=49046574

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2012010126A Pending JP2013149146A (ja) 2012-01-20 2012-01-20 物体検知装置、物体検知方法、および、コンピュータ・プログラム

Country Status (1)

Country Link
JP (1) JP2013149146A (ja)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2017117244A (ja) * 2015-12-24 2017-06-29 Kddi株式会社 カメラの撮影画像に映る人物を検出する画像解析装置、プログラム及び方法
JP2022148383A (ja) * 2021-03-24 2022-10-06 パナソニックIpマネジメント株式会社 学習方法、学習装置、及び、プログラム
JP2023500993A (ja) * 2020-01-03 2023-01-17 モービルアイ ビジョン テクノロジーズ リミテッド 歩行者を伴い、車両フリースペースを特定する車両ナビゲーション

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2017117244A (ja) * 2015-12-24 2017-06-29 Kddi株式会社 カメラの撮影画像に映る人物を検出する画像解析装置、プログラム及び方法
JP2023500993A (ja) * 2020-01-03 2023-01-17 モービルアイ ビジョン テクノロジーズ リミテッド 歩行者を伴い、車両フリースペースを特定する車両ナビゲーション
US11680801B2 (en) 2020-01-03 2023-06-20 Mobileye Vision Technologies Ltd. Navigation based on partially occluded pedestrians
JP2022148383A (ja) * 2021-03-24 2022-10-06 パナソニックIpマネジメント株式会社 学習方法、学習装置、及び、プログラム
JP7361342B2 (ja) 2021-03-24 2023-10-16 パナソニックIpマネジメント株式会社 学習方法、学習装置、及び、プログラム

Similar Documents

Publication Publication Date Title
US9158985B2 (en) Method and apparatus for processing image of scene of interest
US8897575B2 (en) Multi-scale, perspective context, and cascade features for object detection
JP5726125B2 (ja) 奥行き画像内の物体を検出する方法およびシステム
US7957560B2 (en) Unusual action detector and abnormal action detecting method
JP2018509678A (ja) ターゲット取得の方法及び装置
KR20170056860A (ko) 이미지 생성 방법 및 장치
JP6393230B2 (ja) オブジェクト検出方法及び画像検索システム
Xin et al. A self-adaptive optical flow method for the moving object detection in the video sequences
US11423266B2 (en) Subject recognizing method and apparatus
Shen et al. Adaptive pedestrian tracking via patch-based features and spatial–temporal similarity measurement
JP2012221162A (ja) 対象物検出装置及びプログラム
Liu et al. Smoke-detection framework for high-definition video using fused spatial-and frequency-domain features
Masmoudi et al. Vision based system for vacant parking lot detection: Vpld
CN110211021B (zh) 图像处理装置、图像处理方法和存储介质
US20240135552A1 (en) Object feature extraction device, object feature extraction method, and non-transitory computer-readable medium
JP2013149146A (ja) 物体検知装置、物体検知方法、および、コンピュータ・プログラム
Qi et al. Pedestrian detection from thermal images with a scattered difference of directional gradients feature descriptor
Ali et al. On-road vehicle detection using support vector machine and decision tree classifications
Dai et al. Robust and accurate moving shadow detection based on multiple features fusion
JP5829155B2 (ja) 歩行者検出装置及びプログラム
KR20110069923A (ko) 문맥상 사라진 특징점의 복원을 통한 물체 인식 방법
Sourtzinos et al. People counting in videos by fusing temporal cues from spatial context-aware convolutional neural networks
KR20150136971A (ko) 저 에너지/해상도 가지는 얼굴 검출 방법 및 장치
JP2022148383A (ja) 学習方法、学習装置、及び、プログラム
Ibrahim et al. Eye-state analysis using an interdependence and adaptive scale mean shift (IASMS) algorithm