JP2015191338A - 人物検出装置 - Google Patents

人物検出装置 Download PDF

Info

Publication number
JP2015191338A
JP2015191338A JP2014066860A JP2014066860A JP2015191338A JP 2015191338 A JP2015191338 A JP 2015191338A JP 2014066860 A JP2014066860 A JP 2014066860A JP 2014066860 A JP2014066860 A JP 2014066860A JP 2015191338 A JP2015191338 A JP 2015191338A
Authority
JP
Japan
Prior art keywords
window
likelihood
pedestrian
person
lower body
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2014066860A
Other languages
English (en)
Other versions
JP6340227B2 (ja
Inventor
雄基 原口
Yuki Haraguchi
雄基 原口
長谷川 弘
Hiroshi Hasegawa
弘 長谷川
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
MegaChips Corp
Original Assignee
MegaChips Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by MegaChips Corp filed Critical MegaChips Corp
Priority to JP2014066860A priority Critical patent/JP6340227B2/ja
Priority to PCT/JP2015/055010 priority patent/WO2015146414A1/ja
Publication of JP2015191338A publication Critical patent/JP2015191338A/ja
Application granted granted Critical
Publication of JP6340227B2 publication Critical patent/JP6340227B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/56Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)
  • Traffic Control Systems (AREA)

Abstract

【課題】撮影画像から人物を検出する精度を向上することができる人物検出装置を提供することを課題とする。
【解決手段】人物検出装置1において、検出窓設定部12は、グレースケール画像22に対して検出窓23を設定する。検出窓23の上の領域が上部窓31に設定され、検出窓23の下の領域が下部窓41に設定される。上半身尤度算出部14Aは、上部窓31が人物の上半身を含むであろう上半身尤度33Aと、下部窓41が人物の上半身を含むであろう上半身尤度43Aを算出する。下半身尤度算出部14Bは、上部窓31が人物の下半身を含むであろう下半身尤度33Bと、下部窓41が人物の下半身を含むであろう下半身尤度43Bとを算出する。判断部15は、上半身尤度33A,43Aと下半身尤度33B,43Bとに基づいて、検出窓23に歩行者が存在するか否かを判断する。
【選択図】図1

Description

本発明は、人物検出装置に関し、さらに詳しくは、カメラにより撮影された撮影画像から人物を検出する人物検出装置に関する。
カメラが撮影した画像などに検出対象が存在するか否かを判定する物体検出装置が存在する。物体検出装置は、たとえば、カメラとともに車両に搭載される。物体検出装置は、カメラが撮影した画像に人物が存在するか否かを判定することにより、運転手に歩行者の存在を知らせることができる。物体検出装置を利用することにより、運転手は、車両の外部の状況を容易に把握することができる。
物体検出装置は、検出対象が画像に存在するか否かを判定するために、パターンマッチングを用いる。パターンマッチングのアルゴリズムとして、ニューラルネットワークや、サポートベクターマシンなどが挙げられる。物体検出装置は、入力された画像に対して、物体を検出する領域(窓領域)を設定する。物体検出装置は、上記のアルゴリズムが実装されたプログラムを用いて、検出対象が窓領域に含まれているか否かを判定する。
パターンマッチングを用いる物体検出装置が、特許文献1及び2に開示されている。
上記特許文献1に係る歩行者認識装置は、歩行者の画像に類似する撮影画像の領域を、歩行者候補として特定する。歩行者認識装置は、特定された歩行者候補において、歩行者の下半身の特徴を示すエッジを検出することにより、撮影画像から歩行者を検出する。下半身の特徴を示すエッジは、歩行者の両脚に対応する右斜め方向のエッジと左斜め方向のエッジである。また、歩行者候補から、右斜め方向のエッジと左斜め方向のエッジとを結ぶエッジが検出される。歩行者認識装置は、これら3つのエッジの長さの比率に基づいて、歩行者候補内に歩行者が存在するか否かが判定される。
上記特許文献2に係る対象物識別装置は、人物の6個のパーツ(頭、右肩、左肩、股下、右足、及び左足)の類似度を撮影画像のブロックごとに計算する。対象物識別装置は、予め設定された各パーツの位置関係に基づいて、各パーツの類似度を統合した統合類似度を算出する。統合類似度を所定のしきい値と比較した結果に基づいて、歩行者が撮影画像内に存在するか否かが判定される。
特開2013−97459号公報 特開2013−232080号公報
上述のように、特許文献1に係る歩行者認識装置は、歩行者の画像を用いて歩行者を特定する。予め設定された歩行者の画像は、全身を含む画像であるため、上半身又は下半身が隠れた歩行者が撮影画像に存在しても、これらの歩行者を含む領域を歩行者候補として特定することができない。
特許文献2に係る対象物識別装置は、人物の6個のパーツ(頭、右肩、左肩、股下、右足、及び左足)の類似度を統合し、統合された類似度がしきい値を上回る場合に、人物が存在すると判定する。しかし、人物のパーツのいずれかが隠れている場合、統合された類似度が減少する。この結果、一部の部位が隠れている歩行者が撮影画像に存在する場合、この歩行者に対応する統合類似度がしきい値を下回る可能性がある。この場合、この歩行者を検出できないおそれがある。
このように、従来の人物検出装置は、撮影画像から人物を検出する精度が低下するという問題があった。
本発明は、上記課題に鑑み、撮影画像から人物を検出する精度を向上することができる人物検出装置を提供することを目的とする。
上記課題を解決するため、請求項1記載の発明は、人物検出装置であって、フレーム画像に対して、第1窓領域を設定し、前記第1窓領域の下に位置する第2窓領域を設定する検出窓設定部と、前記第1窓領域が人物の上半身を含むであろう第1上半身尤度と、前記第2窓領域が人物の上半身を含むであろう第2上半身尤度とを算出する上半身尤度算出部と、前記第1窓領域が人物の下半身を含むであろう第1下半身尤度と、前記第2窓領域が人物の下半身を含むであろう第2下半身尤度とを算出する下半身尤度算出部と、前記第1上半身尤度と、前記第2上半身尤度と、前記第1下半身尤度と、前記第2下半身尤度とに基づいて、前記フレーム画像に人物が存在するか否かを判断する判断部と、を備える。
請求項2記載の発明は、請求項1に記載の人物検出装置であって、前記判断部は、前記第1上半身尤度と前記第2下半身尤度との積算値が第1のしきい値以上であり、かつ、前記第2上半身尤度と前記第1下半身尤度との積算値が第2のしきい値以下である場合、前記フレーム画像に人物が存在すると判断する。
請求項3記載の発明は、請求項1に記載の人物検出装置であって、前記判断部は、前記第1上半身尤度と前記第2上半身尤度との差分絶対値が所定の上半身基準値以上である場合、又は、前記第1下半身尤度と前記第2下半身尤度との差分絶対値が所定の下半身基準値以上である場合、前記フレーム画像に人物が存在すると判断する。
請求項4記載の発明は、請求項1ないし請求項3のいずれかに記載の人物検出装置であって、さらに、前記判断部により前記フレーム画像に人物が存在すると判断された場合、前記フレーム画像内の人物の上半身又は下半身が隠れているか否かを判断する隠れ検出部、を備える。
請求項5記載の発明は、請求項1ないし請求項4のいずれかに記載の人物検出装置であって、さらに、前記第1窓領域に対して第1特徴抽出処理を実行して第1上部特徴データを生成し、前記第2窓領域に対して前記第1特徴抽出処理を実行して第1下部特徴データを生成する第1特徴抽出部と、前記第1窓領域に対して第2特徴抽出処理を実行して第2上部特徴データを生成し、前記第2窓領域に対して前記第2特徴抽出処理を実行して第2下部特徴データを生成する第2特徴抽出部と、を備え、前記上半身尤度算出部は、前記第1上部特徴データから前記第1上半身尤度を算出し、前記第1下部特徴データから前記第2上半身尤度を算出し、前記下半身尤度算出部は、前記第2上部特徴データから前記第1下半身尤度を算出し、前記第2下部特徴データから前記第2下半身尤度を算出する。
請求項7記載の発明は、人物検出装置に搭載されるコンピュータに、フレーム画像に対して、第1窓領域を設定し、前記第1窓領域の下に位置する第2窓領域を設定するステップと、前記第1窓領域が人物の上半身を含むであろう第1上半身尤度と、前記第2窓領域が人物の上半身を含むであろう第2上半身尤度とを算出するステップと、前記第1窓領域が人物の下半身を含むであろう第1下半身尤度と、前記第2窓領域が人物の下半身を含むであろう第2下半身尤度とを算出するステップと、前記第1上半身尤度と、前記第2上半身尤度と、前記第1下半身尤度と、前記第2下半身尤度とに基づいて、前記フレーム画像に人物が存在するか否かを判断するステップと、を実行させるための人物検出プログラムである。
本発明に係る人物検出装置は、第1窓領域から第1上半身尤度及び第1下半身尤度を算出し、第2窓領域から第2上半身尤度及び第2下半身尤度を算出する。本発明に係る人物検出装置は、これら4つの尤度を用いることにより、撮影画像に人物が存在するか否かを高い精度で判定することができる。
本発明の第1の実施の形態に係る人物検出装置の構成を示す機能ブロック図である。 図1に示す人物検出装置により学習される上部歩行者画像及び下部歩行者画像を示す図である。 図1に示す人物検出装置の動作を示すフローチャートである。 図1に示す画像変換部により生成されるグレースケール画像を示す図である。 図4に示す検出窓から生成される上部窓及び下部窓を示す図である。 図1に示す尤度算出部により算出される上半身尤度及び下半身尤度の具体例を示す図である。 図1に示す判断部により実行される判断処理のフローチャートである。 図7に示す隠れ検出処理のフローチャートである。 本発明の第2の実施の形態に係る人物検出装置により実行される判断処理のフローチャートである。
以下、図面を参照し、本発明の実施の形態を詳しく説明する。図中同一又は相当部分には同一符号を付してその説明は繰り返さない。
[第1の実施の形態]
{1.全体構成}
図1は、本発明の第1の実施の形態に係る人物検出装置1の構成を示す機能ブロック図である。人物検出装置1は、カメラ100が撮影した画像から、人物(歩行者)を検出する。人物検出装置1は、カメラ100とともに自動車などの車両に搭載される。
カメラ100は、自動車のダッシュボード上に設置され、前方の景色を撮影して画像データ20を生成する。画像データ20は、複数のフレームにより構成される動画像であり、フレーム単位で人物検出装置1に入力される。人物検出装置1は、1つのフレーム(以下、「撮影画像21」と呼ぶ。)内に歩行者が存在するか否かを判断する。
図1に示すように、人物検出装置1は、画像変換部11と、検出窓設定部12と、特徴抽出部13A,13Bと、尤度算出部14と、判断部15と、学習部16と、記憶部17とを備える。画像変換部11は、カラーの撮影画像21をグレースケール画像22に変換する。
検出窓設定部12は、グレースケール画像22に対して検出窓を設定する。検出窓は、撮影画像21から歩行者を検出するための単位領域である。さらに、検出窓設定部12は、検出窓の上の領域を上部窓31に設定し、上部窓31をグレースケール画像22から切り出す。検出窓設定部12は、検出窓の下の領域を下部窓41に設定し、下部窓41をグレースケール画像22から切り出す。検出窓、上部窓31、及び下部窓41の詳細については、後述する。
特徴抽出部13Aは、上部窓31及び下部窓41に対して、歩行者の上半身の特徴量を抽出するための画像処理を実行する。具体的には、特徴抽出部13Aは、上部窓31のHOG(Histograms Of Oriented Gradients)特徴量を抽出することにより、上部特徴データ32Aを生成する。また、下部窓41のHOG特徴量が抽出されることにより、下部特徴データ42Aが生成される。
特徴抽出部13Bは、上部窓31及び下部窓41に対して、歩行者の下半身の特徴量を抽出するための画像処理を実行する。具体的には、特徴抽出部13Bは、右斜め方向に延びるエッジ及び左斜め方向に延びるエッジを強調する処理を上部窓31に対して実行することにより、上部特徴データ32Bを生成する。同様に、エッジを強調する処理が下部窓41に対して実行されることにより、下部特徴データ42Bが生成される。
尤度算出部14は、上半身尤度算出部14Aと、下半身尤度算出部14Bとを備える。
上半身尤度算出部14Aは、上部窓31が歩行者の上半身を含むであろう上半身尤度33Aを、上部特徴データ32Aから算出する。上半身尤度算出部14Aは、下部窓41が歩行者の上半身を含むであろう上半身尤度43Aを、下部特徴データ42Aから算出する。上半身尤度33A,43Aの算出には、歩行者の上半身のパターンが記録されたパターンデータ50Aが用いられる。
下半身尤度算出部14Bは、上部窓31が歩行者の下半身を含むであろう下半身尤度33Bを、上部特徴データ32Bから算出する。下半身尤度算出部14Bは、下部窓41が歩行者の下半身を含むであろう下半身尤度43Bを、下部特徴データ42Bから算出する。下半身尤度33B,43Bの算出には、歩行者の下半身のパターンが記録されたパターンデータ50Bが用いられる。
判断部15は、上半身尤度算出部14Aにより算出された上半身尤度33A,43Aと、下半身尤度算出部14Bにより算出された下半身尤度33B,43Bとに基づいて、検出窓に歩行者が存在するか否かを判断する。判断部15の動作の詳細については、後述する。
学習部16は、撮影画像21から歩行者を検出する処理を開始する前に、歩行者の上半身のパターンを学習してパターンデータ50Aを生成し、歩行者の下半身のパターンを学習してパターンデータ50Aを生成する。学習部16の詳細については、後述する。
記憶部17は、例えば、ハードディスク装置やフラッシュメモリなどである。記憶部17は、パターンデータ50A,50Bを格納する。
{2.人物検出装置1の動作}
{2.1.歩行者の学習}
人物検出装置1は、撮影画像21から歩行者の検出を開始する前に、歩行者を含む画像を学習して、パターンデータ50A,50Bを作成する。
図2は、人物検出装置1により学習される画像の一例を示す図である。図2に示す歩行者画像51は、グレースケールであり、検出窓と同じ幅及び高さを有する。歩行者画像51は、画像変換部11を介さず、検出窓設定部12に直接入力される。検出窓設定部12が、歩行者画像51から上部歩行者画像51Aと、下部歩行者画像51Bとを生成する。検出窓設定部12は、上部歩行者画像51Aと下部歩行者画像51Bとを生成する際に、歩行者画像51に対して検出窓を設定する処理を実行しない。
上部歩行者画像51Aは、歩行者画像51内の歩行者60の上半身を含むように、歩行者画像51から切り出される。歩行者画像51の高さをHとした場合、上部歩行者画像51Aは、歩行者画像51の下端を基準にして、0.45×Hの高さにある横方向の直線L1より上の画像である。
下部歩行者画像51Bは、歩行者60の下半身を含むように、歩行者画像51から切り出される。下部歩行者画像51Bは、歩行者画像51の下端を基準にして、0.55×Hの高さにある横方向の直線L2より下の画像である。
図2では、上部歩行者画像51Aの一部の領域が、下部歩行者画像51Bの一部の領域と重複しているが、上部歩行者画像51Aと下部歩行者画像51Bとは、重複しなくてもよい。また、図2において、上部歩行者画像51Aの高さは、下部歩行者画像51Bの高さと同じであるが、上部歩行者画像51Aの高さを、下部歩行者画像51Bの高さと異なるようにしてもよい。
特徴抽出部13Aは、上部歩行者画像51AからHOG特徴量を抽出する処理を実行して、学習用の特徴データ62Aを生成する。学習部16は、上部歩行者画像51Aから生成された学習用の特徴データ62Aを用いて、歩行者の上半身のパターンを学習する。学習部16は、上半身のパターンの学習結果を反映したパターンデータ50Aを生成する。
特徴抽出部13Bは、下部歩行者画像51Bに対してエッジを強調する処理を実行して、学習用の特徴データ62Bを生成する。学習部16は、下部歩行者画像51Bから生成された学習用の特徴データ62Bを用いて、歩行者の下半身のパターンを学習する。学習部16は、下半身のパターンの学習結果を反省したパターンデータ50Bを生成する。
人物検出装置1は、複数の歩行者画像51を用いて、パターンデータ50A,50Bを作成する。これにより、歩行者の上半身及び下半身の様々なパターンを、パターンデータ50A及び50Bに反映させることができる。学習に用いられる複数の歩行者画像51において、各画像に含まれる歩行者は、正規化されていることが望ましい。ここで、歩行者が正規化されているとは、歩行者画像51のそれぞれに含まれる歩行者のサイズ、頭の位置、足の位置などが揃っていることを示す。
{2.2.歩行者の検出}
図3は、撮影画像21から歩行者を検出する人物検出装置1の動作を示すフローチャートである。人物検出装置1は、カメラ100から撮影画像21が入力されるたびに、図3に示す処理を実行して、入力された撮影画像21から歩行者を検出する。
人物検出装置1がカメラ100から撮影画像21を入力した場合、画像変換部11が、撮影画像21をグレースケール画像22に変換する(ステップS1)。人物検出装置1は、ステップS2〜S6を実行して、グレースケール画像22に対して検出窓を設定し、検出窓に歩行者が存在するか否かを判断する。ステップS2〜S6の詳細は、後述する。
人物検出装置1は、判断処理(ステップS5)が終了した後に、グレースケール画像22に対する検出窓の設定が終了したか否かを確認する(ステップS6)。検出窓の設定が終了していない場合(ステップS6においてNo)、人物検出装置1は、新たな検出窓を設定するために、ステップS2に戻る。一方、全ての検出窓の設定が終了した場合(ステップS6においてYes)、人物検出装置1は、図3に示す処理を終了する。人物検出装置1は、新たな撮影画像21が入力された場合、図3に示す処理を再び実行する。
以下、ステップS2〜S5について詳しく説明する。
(検出窓の設定(ステップS2))
検出窓設定部12は、画像変換部11により生成されたグレースケール画像22を入力する。検出窓設定部12は、入力されたグレースケール画像22に対して、検出窓、上部窓31及び下部窓41を設定する(ステップS2)。
図4は、グレースケール画像22の一例を示す図である。検出窓設定部12は、歩行者を検出するための検出窓23を設定する。つまり、ステップS2が実行されるたびに、検出窓23が1つ設定される。
図3に示すように、ステップS2〜S6が繰り返されることにより、グレースケール画像22に対して複数の検出窓23が設定される。グレースケール画像22(図4参照)の左上頂点に位置する検出窓23が、最初に設定される。検出窓設定部12は、グレースケール画像22を左上から右下にかけてスキャンするように複数の検出窓23を設定する。検出窓設定部12は、検出窓23を新たに設定する場合、既に設定された検出窓23の一部と重複するように新しい検出窓23を設定することが望ましい。
検出窓設定部12は、設定した検出窓23から、上部窓31及び下部窓41を生成する。図5は、図4に示すグレースケール画像22に対して設定された検出窓23から、上部窓31及び下部窓41を生成する手順を示す図である。上部窓31及び下部窓41を生成する手順は、歩行者画像51(図2参照)から上部歩行者画像51A及び下部歩行者画像51Bを生成する手順と同じである。
つまり、図5に示すように、検出窓23の高さがHである場合、検出窓設定部12は、検出窓23の下端を基準にして、0.45×Hの高さにある横方向の直線L3より上の領域を、上部窓31に設定する。検出窓設定部12は、この上の領域をグレースケール画像22から切り出すことにより、上部窓31を生成する。検出窓設定部12は、検出窓23の下端を基準にして、0.55×Hの高さにある横方向の直線L4より下の領域を下部窓41に設定する。検出窓設定部12は、この下の領域をグレースケール画像22から切り出すことにより、下部窓41を生成する。
このようにして、検出窓設定部12は、グレースケール画像22に対して、上部窓31と、上部窓31の下に位置する下部窓41とを設定する(ステップS2)。なお、上部歩行者画像51A及び下部歩行者画像51Bと同様に、上部窓31と下部窓41とにおいて、一部の領域が重複しなくてもよい。上部窓31の高さを下部窓41と異なるようにしてもよい。
(特徴抽出(ステップS3))
ステップS3において、特徴抽出部13Aは、上部窓31及び下部窓41の各々から、歩行者の上半身の特徴量を抽出する。特徴抽出部13Bは、上部窓31及び下部窓41の各々から、歩行者の下半身の特徴量を抽出する。特徴抽出部13Aは、上部窓31のHOG特徴量を抽出して、上部特徴データ32Aを生成し、下部窓41のHOG特徴量を抽出して、下部特徴データ42Aを生成する。
特徴抽出部13Bは、右斜め方向に延びるエッジ及び左斜め方向に延びるエッジを強調する処理を上部窓31に対して実行して、上部特徴データ32Bを生成する。特徴抽出部13Bは、右斜め方向に延びるエッジ及び左斜め方向に延びるエッジを強調する処理を実行して、下部特徴データ42Bを生成する。
(尤度算出(ステップS4))
ステップS4において、上半身尤度算出部14Aが、パターンデータ50Aを用いて、上部特徴データ32Aから上半身尤度33Aを算出し、下部特徴データ42Aから上半身尤度43Aを算出する。上半身尤度33Aは、上部窓31が歩行者の上半身を含む度合いを示す数値である。上半身尤度43Aは、下部窓41が歩行者の上半身を含む度合いを示す数値である。
また、ステップS4において、下半身尤度算出部14Bが、パターンデータ50Bを用いて、上部特徴データ32Bから下半身尤度33Bを算出し、下部特徴データ42Bから下半身尤度43Bを算出する。下半身尤度33Bは、上部窓31が歩行者の下半身を含む度合いを示す数値である。下半身尤度43Bは、下部窓41が歩行者の下半身を含む度合いを示す数値である。
図6は、上半身尤度33A,43A及び下半身尤度33B,43B5の具体例を示す図である。図6に示す検出窓123,223,323は、図4に示すグレースケール画像22と異なるグレースケール画像22に対して設定された画像である。
上半身尤度33A,43A及び下半身尤度33B,43Bは、それぞれ、0以上1以下の数値である。上部窓31、下部窓41が歩行者の上半身を含む場合、上半身尤度33A,43Aは、1に近づく。上部窓31、下部窓41が歩行者の上半身を含まない場合、上半身尤度33A,43Aは、0に近づく。同様に、上部窓31、下部窓41が歩行者の下半身を含む場合、下半身尤度33B,43Bは、1に近づき、上部窓31、下部窓41が歩行者の下半身を含まない場合、下半身尤度33B,43Bは、0に近づく。
検出窓123は、左方向に進む歩行者の全身を含む。上部窓123a及び下部窓123bは、検出窓123から生成される。
上部窓123aは、左方向に進む歩行者の上半身を含む。上部窓123aから算出される上半身尤度33Aは、0.94であり、1に近い値(例えば、0.7以上)を有する。一方、下部窓123bは、歩行者の上半身を含まない。下部窓123bから算出される上半身尤度43Aは、0.43であり、0に近い値(例えば、0.5以下)を有する。
下部窓123bは、左方向に進む歩行者の下半身を含む。下部窓123bから算出される下半身尤度43Bは、0.89であり、1に近い値を有する。一方、上部窓123aは、歩行者の下半身を含まない。上部窓123aから算出される下半身尤度33Bは、0.32であり、0に近い値を有する。
検出窓123の例のように、検出窓23が歩行者の全身を含む場合、上部窓31が歩行者の上半身を含み、下部窓41が歩行者の下半身を含む。この場合、上半身尤度33A及び下半身尤度43Bは、1に近い値を有するのに対して、上半身尤度43A及び下半身尤度33Bは、0に近い値を有する。
検出窓223は、後ろを向く歩行者を含んでおり、この歩行者の全身のうち、下半身が隠れている。上部窓223a及び下部窓223bは、検出窓223から生成される。
上部窓223aは、後ろを向く歩行者の上半身を含む。上部窓223aから算出される上半身尤度33Aは、0.91であり、1に近い値を有する。一方、下部窓223bは、歩行者の上半身を含まない。下部窓223bから算出される上半身尤度43Aは、0.26であり、0に近い値を有する。
検出窓223において、後ろを向く歩行者の下半身が隠れている。このため、下部窓223bは、歩行者の下半身を含まない。下部窓223bから算出される下半身尤度43Bは、0.28であり、0に近い値を有する。上部窓223aも、下部窓223bと同様に、歩行者の下半身を含まない。上部窓223aから算出される下半身尤度33Bは、0.39であり、0に近い値を有する。
検出窓223のように、検出窓23が歩行者を含むが、この歩行者の下半身が隠れている場合、上部窓31が歩行者の上半身を含み、下部窓41が歩行者の下半身を含まない。この場合、上半身尤度33Aは、1に近い値を有するのに対して、上半身尤度43A及び下半身尤度33B,43Bは、0に近い値を有する。
検出窓223とは逆に、検出窓23が歩行者を含むが、この歩行者の上半身が隠れている場合、上部窓31が歩行者の上半身を含まず、下部窓41が歩行者の下半身を含む。この場合、下半身尤度43Bが、1に近い値を有するのに対して、上半身尤度33A,43A及び下半身尤度33Bが、0に近い値を有する。
検出窓323は、歩行者を含まず、右側の領域に電信柱を含む。このため、上部窓323a及び下部窓323bは、歩行者の上半身及び下半身を含まない。上部窓323aから算出される上半身尤度33A及び下半身尤度33Bは、それぞれ、0.25及び0.42であり、0に近い値を有する。同様に、下部窓323bから算出される上半身尤度43A及び下半身尤度43Bは、それぞれ、0.42及び0.34であり、0に近い値を有する。検出窓323のように、検出窓23が歩行者を含まない場合、上半身尤度33A,43A及び下半身尤度33B,43Bはいずれも0に近い値を有する。
このように、上部窓31及び下部窓41が歩行者を含むか否かによって、4種類の尤度が変化する。後述する判断処理(ステップS5)では、これら4種類の尤度の関係を考慮して、検出窓23に歩行者が存在するか否かが判断される。
(判断処理(ステップS5))
再び、図3を参照する。判断部15は、尤度算出部14により4種類の尤度が算出された(ステップS4)後に、これら4種類の尤度に基づいて、検出窓23に歩行者が存在するか否かを判断する(ステップS5)。以下、判断処理(ステップS5)について詳しく説明する。
図7は、判断部15により実行される判断処理(ステップS5)のフローチャートである。図7において、Lu1は、上半身尤度33Aが有する値を示し、Lu2は、上半身尤度43Aが有する値を示す。Ld1は、下半身尤度33Bが有する値を示し、Ld2は、下半身尤度43Bが有する値を示す。
判断部15は、2種類の積算値S1,S2を算出する(ステップS51)。積算値S1は、上部窓31から算出された上半身尤度33Aと下部窓41から算出された下半身尤度43Bとを積算することにより算出される。積算値S2は、下部窓41から算出された上半身尤度43Aと上部窓31から算出された下半身尤度33Bとを積算することにより算出される。
判断部15は、積算値S1を予め設定されたしきい値Th1と比較する(ステップS52)。
図6の検出窓123,223から算出された4種類の尤度を参照して、しきい値Th1を決定する基準について説明する。検出窓123は、歩行者の全身を含む。このため、上部窓123aから算出される上半身尤度33Aと、下部窓123bから算出される下半身尤度43Bとは、共に1に近い値を有する。検出窓223は、下半身が隠れた歩行者を含む。このため、上部窓223aから算出される上半身尤度33Aは、1に近い値を有し、下部窓223bから算出される下半身尤度43Bは、0に近い値を有する。従って、検出窓23が、歩行者の全身を含む場合、下半身が隠れた歩行者を含む場合、上半身が隠れた歩行者を含む場合のいずれにおいても、上半身尤度33A及び下半身尤度43Bの少なくとも一方が1に近い値を有する。これらの場合、積算値S1は、1よりも大きくなると考えられる。しきい値Th1は、検出窓23が歩行者の全身、下半身が隠れた歩行者、又は上半身が隠れた歩行者を含む場合における上半身尤度33A及び下半身尤度43Bの傾向を考慮して決定される。しきい値Th1は、例えば、1.0に設定される。積算値S1がしきい値Th1よりも小さい場合(ステップS52においてNo)、判断部15は、検出窓23に歩行者が存在しないと判断し(ステップS56)、図7に示す処理を終了する。
一方、積算値S1がしきい値Th1以上である場合(ステップS52においてYes)、判断部15は、積算値S2を予め設定されたしきい値Th2と比較する(ステップS53)。
図6の検出窓223から算出された4種類の尤度を参照して、しきい値Th2を決定する基準について説明する。検出窓223は、上半身が隠れた歩行者を含む。このため、上部窓223aから算出される上半身尤度33Aは、1に近い値を有し、上部窓223aから算出される下半身尤度33Bは、0に近い値を有する。下部窓123bは、歩行者の下半身が隠れているため、歩行者の下半身を含まない。このため、下部窓123bから算出される上半身尤度43A及び下半身尤度43Bは、0に近い値を有する。つまり、検出窓23が、下半身が隠れた歩行者を含む場合、上半身尤度43A及び下半身尤度33Bが共に0に近い値を有する。同様に、検出窓23が、歩行者の全身を含む場合、及び、上半身が隠れた歩行者を含む場合においても、上半身尤度43A及び下半身尤度33Bが共に0に近い値を有する。このように、しきい値Th2は、検出窓23が歩行者の全身を含む場合、上半身が隠れた歩行者を含む場合、下半身が隠れた歩行者を含む場合に算出される上半身尤度43A及び下半身尤度33Bの傾向を考慮して決定される。例えば、しきい値Th2は、0.9に設定される。
積算値S2がしきい値Th2よりも大きい場合(ステップS53においてNo)、判断部15は、検出窓23に歩行者が存在しないと判断し(ステップS56)、図7に示す処理を終了する。
一方、積算値S2がしきい値Th2以下である場合(ステップS53においてYes)、判断部15は、検出窓23に歩行者が存在すると判断する(ステップS54)。判断部15は、ステップS55を実行して、検出窓23に存在する歩行者の上半身又は下半身が隠れているか否かを判断する。ステップS55の詳細は、後述する。
以下、具体例として、図6に示す各検出窓を対象とした判断処理(ステップS5)を説明する。しきい値Th1が1.0に設定され、しきい値Th2が0.9に設定されている。
最初に、検出窓123について説明する。上部窓123aから算出された上半身尤度33A及び下半身尤度33Bは、0.94及び0.32である。下部窓123bから算出された上半身尤度43A及び下半身尤度43Bは、0.43及び0.89である。ステップS51の結果、積算値S1は、1.83である。積算値S2は、0.75である。積算値S1がしきい値Th1以上である(ステップS52においてYes)。積算値S2がしきい値Th2以下である(ステップS53においてYes)。従って、判断部15は、検出窓123に歩行者が存在すると判断する(ステップS54)。
検出窓223において、上部窓223aから算出された上半身尤度33A及び下半身尤度33Bは、0.91及び0.39である。下部窓223bから算出された上半身尤度43A及び下半身尤度43Bは、0.26及び0.28である。ステップS51の結果、積算値S1は、1.19である。積算値S2は、0.65である。 積算値S1がしきい値Th1以上である(ステップS52においてYes)。積算値S2がしきい値Th2以下である(ステップS53においてYes)。従って、判断部15は、検出窓223に歩行者が存在すると判断する(ステップS54)。
検出窓323において、上部窓323aから算出された上半身尤度33A及び下半身尤度33Bは、0.25及び0.42である。下部窓323bから算出された上半身尤度43A及び下半身尤度43Bは、0.26及び0.0.34である。ステップS51の結果、積算値S1は、0.59である。積算値S2は、0.68である。判断部15は、積算値S1がしきい値Th1よりも小さいため(ステップS52においてNo)、検出窓23に歩行者が存在しないと判断する(ステップS56)。
このように、判断部15は、上部窓31から算出される上半身尤度33Aと下部窓41から算出される下半身尤度43Bとを積算した積算値S1と、上部窓31から算出される下半身尤度33Bと下部窓41から算出される上半身尤度43Aとを積算した積算値S2とを用いて、検出窓23に歩行者が存在するか否かを判断する。これにより、検出窓23に歩行者が存在するか否かを高い精度で判断できる。以下、この理由を説明する。
検出窓23が歩行者を含まないにも関わらず、上部窓31から算出される上半身尤度33A及び下部窓41から算出される下半身尤度43Bが1に近い値を有する場合がある。この場合、積算値S1がしきい値Th1以上となる可能性が高い(ステップS52においてYes)。ステップS52のみを用いて、検出窓23に歩行者が存在するか否かを判断した場合には、歩行者でないものを誤って歩行者として検出するおそれがある。
しかし、検出窓23が歩行者の全身、上半身が隠れた歩行者、又は下半身が隠れた歩行者を含む場合、上部窓31から算出される上半身尤度33A及び下半身尤度33Bが共に1に近い値となることはなく、下部窓41から算出される上半身尤度43A及び下半身尤度43Bが共に1に近い値となることはない。従って、積算値S1がしきい値Th1以上となる場合(ステップS52においてYes)、判断部15は、積算値S2をしきい値Th2と比較することにより、歩行者でないものを誤って歩行者として検出することを防ぐことができる。
(隠れ検出処理(ステップS55))
図8は、隠れ検出処理(ステップS55)のフローチャートである。図8に示す処理は、判断部15が検出窓23に歩行者が存在すると判断した場合(ステップS54)に実行される。
隠れ検出処理(ステップS55)では、4種類の尤度のうち、上部窓31から算出される上半身尤度33A及び下部窓41から算出される下半身尤度43Bが用いられる。
判断部15は、上半身尤度33Aをしきい値Th3と比較する(ステップS551)。しきい値Th3は、上部窓31に歩行者の上半身が存在するか否かを判断するための基準値であり、例えば、0.8である。
上半身尤度33Aがしきい値Th3以下である場合(ステップS551においてYes)、判断部15は、検出窓23に存在する歩行者の上半身が隠れていると判断する(ステップS552)。一方、上半身尤度33Aがしきい値Th3よりも大きい場合(ステップS551においてNo)、判断部15は、検出窓23に存在する歩行者の上半身が隠れていないと判断する(ステップS555)。つまり、判断部15は、検出窓23において歩行者の上半身を視認できると判断する。
次に、判断部15は、下半身尤度43Bをしきい値Th4と比較する(ステップS553)。しきい値Th4は、下部窓41に歩行者の下半身が存在するか否かを判断するための基準値であり、例えば、0.8である。なお、しきい値Th4は、しきい値Th3と異なっていてもよい。
下半身尤度43Bがしきい値Th4以下である場合(ステップS553においてYes)、判断部15は、検出窓23に存在する歩行者の下半身が隠れていると判断する(ステップS554)。一方、下半身尤度43Bがしきい値Th4よりも大きい場合(ステップS553においてNo)、判断部15は、検出窓23に存在する歩行者の下半身が隠れていないと判断する(ステップS556)。つまり、判断部15は、検出窓23において歩行者の下半身を視認できると判断する。
以下、検出窓123,223を用いて、隠れ検出処理(ステップS55)の具体例を説明する。判断部15は、検出窓123に歩行者が存在すると判断する(ステップS54。図7参照)。この場合、検出窓123について図8に示す処理が実行される。
図6に示すように、上部窓123aから算出された上半身尤度33Aは、0.94であり、下部窓123bから算出された下半身尤度43Bは、0.89である。判断部15は、上半身尤度33Aがしきい値Th3よりも大きいため(ステップS551においてNo)、検出窓123において上半身の隠れがないと判断する(ステップS555)。判断部15は、下半身尤度43Bがしきい値Th4よりも大きいため(ステップS553においてNo)、検出窓123において下半身の隠れがないと判断する(ステップS556)。判断部15は、検出窓123から歩行者が検出され、検出された歩行者の上半身及び下半身が隠れていないことを示す結果データ25を生成する。
次に、検出窓223について説明する。上述のように、判断部15は、検出窓223に歩行者が存在すると判断する(ステップS54。図7参照)。この場合、検出窓223について図8に示す処理が実行される。
図6に示すように、上部窓223aから算出された上半身尤度33Aは、0.91であり、下部窓223bから算出された下半身尤度43Bは、0.28である。判断部15は、上半身尤度33Aがしきい値Th3よりも大きいため(ステップS551においてNo)、検出窓223において上半身の隠れがないと判断する(ステップS555)。判断部15は、下半身尤度43Bがしきい値Th4以下であるため(ステップS553においてYes)、検出窓223において下半身が隠れていると判断する(ステップS554)。判断部15は、検出窓223から歩行者が検出され、検出された歩行者の下半身が隠れていることを示す結果データ25を生成する。
以上説明したように、人物検出装置1は、上部窓31から上半身尤度33A及び下半身尤度33Bを算出し、下部窓41から上半身尤度43A及び下半身尤度43Bを算出する。人物検出装置1は、これら4種類の尤度を用いて、検出窓23に歩行者が存在するか否かを判断する。これにより、撮影画像21から歩行者を高精度で検出することができる。
[第2の実施の形態]
本発明の第2の実施の形態に係る物体検出装置は、上記第1の実施の形態に係る人物検出装置1と同じ構成を備える(図1参照)。本実施の形態に係る物体検出装置は、図3に示す処理を実行して、撮影画像21から歩行者を検出する。
本実施の形態において、判断部15の動作(判断処理(ステップS5))が、第1の実施の形態における判断部15の動作と異なる。以下、本実施の形態における判断部15の動作を中心に説明する。
図9は、本実施の形態に係る物体検出装置により実行される判断処理(ステップS5)のフローチャートである。以下、図6及び図9を参照しながら、本実施の形態に係る物体検出装置により実行される判断処理を説明する。
図9において、Lu1は、上半身尤度33Aが有する値を示し、Lu2は、上半身尤度43Aが有する値を示す。Ld1は、下半身尤度33Bが有する値を示し、Ld2は、下半身尤度43Bが有する値を示す。
判断部15は、2種類の差分絶対値D1,D2を算出する(ステップS71)。差分絶対値D1は、上部窓31から算出された上半身尤度33A及び下半身尤度33Bから算出される。差分絶対値D1は、上半身尤度33Aから下半身尤度33Bを減算し、減算により得られた差分値の絶対値を取ることにより算出される。差分絶対値D2は、下部窓41から算出された上半身尤度43A及び下半身尤度43Bから算出される。差分絶対値D2は、下半身尤度43Bから上半身尤度43Aを減算し、減算により得られた差分値の絶対値を取ることにより算出される。
判断部15は、差分絶対値D1を予め設定されたしきい値Th5と比較する(ステップS72)。
検出窓23が、歩行者の全身を含む場合、上部窓31から算出される上半身尤度33Aは、1に近い値を有し、上部窓31から算出される下半身尤度33Bは、0に近い値を有する。検出窓23が、下半身が隠れた歩行者を含む場合、上部窓31から算出される上半身尤度33Aは、1に近い値を有し、上部窓31から算出される下半身尤度33Bが0に近い値を有する。このように、検出窓23が、歩行者の全身又は下半身が隠れた歩行者を含む場合、差分絶対値D1は、一定値以上の値を有すると考えられる。しきい値Th5は、検出窓23が、歩行者の全身又は下半身が隠れた歩行者を含む場合における上半身尤度33A及び下半身尤度33Bの傾向を考慮して決定される。例えば、しきい値Th5は、0.4に設定される。
差分絶対値D1がしきい値Th5以上である場合(ステップS72においてYes)、判断部15は、検出窓23に歩行者が存在すると判断する(ステップS74)。そして、判断部15は、隠れ検出処理(ステップS55)を実行する。
一方、差分絶対値D1がしきい値Th5よりも小さい場合(ステップS72においてNo)、判断部15は、差分絶対値D2をしきい値Th6と比較する(ステップS73)。
検出窓23が、歩行者の全身を含む場合、下部窓41から算出される上半身尤度43Aが0に近い値を有し、下部窓41から算出される下半身尤度43Bが1に近い値を有する。検出窓23が、上半身が隠れた歩行者を含む場合、下部窓41から算出される上半身尤度43Aが0に近い値を有し、下部窓41から算出される下半身尤度43Bが1に近い値を有する。このように、検出窓23が歩行者の全身又は上半身が隠れた歩行者を含む場合、差分絶対値D2は、差分絶対値D1と同様に、一定値以上の値を有すると考えられる。しきい値Th6は、検出窓23が、歩行者の全身、又は上半身が隠れた歩行者を含む場合における上半身尤度33A及び下半身尤度33Bの傾向を考慮して決定される。例えば、しきい値Th6は、0.4に設定される。しきい値Th6は、しきい値Th5と異なっていてもよい。
差分絶対値D2がしきい値Th6よりも小さい場合(ステップS73においてNo)、判断部15は、検出窓23に歩行者が存在しないと判断する(ステップS75)。一方、差分絶対値D2がしきい値Th6以上である場合(ステップS73においてYes)、判断部15は、検出窓23に歩行者が存在すると判断する(ステップS74)。
以下、具体例として、図6に示す各検出窓を対象とした判断処理(ステップS5)を説明する。ここで、しきい値Th5,Th6が0.4に設定されている。
最初に、検出窓123について説明する。上部窓123aから算出された上半身尤度33A及び下半身尤度33Bは、0.94及び0.32である。下部窓123bから算出された上半身尤度43A及び下半身尤度43Bは、0.43及び0.89である。ステップS71の結果、差分絶対値D1,D2は、それぞれ0.62,0.46である。判断部15は、差分絶対値D1がしきい値Th5以上であるため(ステップS72においてYes)。検出窓123に歩行者が存在すると判断する(ステップS74)。
次に、検出窓223について説明する。上部窓223aから算出された上半身尤度33A及び下半身尤度33Bは、0.91及び0.39である。下部窓223bから算出された上半身尤度43A及び下半身尤度43Bは、0.26及び0.28である。ステップS71の結果、差分絶対値D1,D2は、それぞれ0.52,0.02である。判断部15は、差分絶対値D1がしきい値Th5以上であるため(ステップS72においてYes)、検出窓223に歩行者が存在すると判断する(ステップS74)。
次に、検出窓323について説明する。上部窓323aから算出された上半身尤度33A及び下半身尤度33Bは、0.25及び0.42である。下部窓123bから算出された上半身尤度43A及び下半身尤度43Bは、0.26及び0.0.34である。ステップS71の結果、差分絶対値D1,D2は、それぞれ0.17,0.08である。差分絶対値D1がしきい値Th5よりも小さく(ステップS72においてNo)、差分絶対値D2がしきい値Th6よりも小さい(ステップS73においてNo)。従って、判断部15は、検出窓23に歩行者が存在しないと判断する(ステップS75)。
このように、判断部15は、上部窓31から算出される上半身尤度33Aと下半身尤度33Bとの差分絶対値D1と、下部窓41から算出される上半身尤度43Aと下半身尤度43Bとの差分絶対値D2とに基づいて、検出窓23に歩行者が存在するか否かを判断する。これにより、上記第1の実施の形態と同様に、検出窓23に歩行者が存在するか否かを高い精度で判断できる。
上記実施の形態では、検出窓設定部12が、上部窓31及び下部窓41の設定に検出窓23を用いる例を説明したが、これに限られない。例えば、検出窓設定部12は、上部窓31を最初に設定し、上部窓31の中心と所定の位置関係にある座標を下部窓41の中心に設定することにより、下部窓41を設定してもよい。この場合、上部窓31の下に位置し、上部窓31から所定の距離にある座標を、下部窓41の中心に設定すればよい。
あるいは、検出窓設定部12は、下部窓41を最初に設定してもよい。この場合、検出窓設定部12は、下部窓41の中心よりも上に位置し、下部窓41の中心から所定の距離にある座標を上部窓31の中心に設定すればよい。
上記実施の形態では、特徴抽出部13Aが上部窓31、下部窓41及び上部歩行者画像51Aの各々からHOG特徴量を抽出する例を説明したが、これに限られない。特徴抽出部13Aは、上部歩行者画像51Aから歩行者の上半身の特徴を抽出することができる画像処理を実行すればよい。例えば、特徴抽出部13Aは、エッジを強調する処理を実行してもよい。つまり、特徴抽出部13Aは、上部歩行者画像51Aに対して実行される画像処理と同じ画像処理を、上部窓31及び下部窓41に対して実行すればよい。
同様に、特徴抽出部13Bが、上部窓31、下部窓41及び下部歩行者画像51Bの各々に対してエッジを強調する処理を実行する例を説明したが、これに限られない。特徴抽出部13Bは、下部歩行者画像51Bから歩行者の下半身の特徴を抽出することができる画像処理を実行すればよい。例えば、特徴抽出部13Bは、HOG特徴量を抽出する処理を実行してもよい。つまり、特徴抽出部13Bは、下部歩行者画像51Bに対して実行される画像処理と同じ画像処理を、上部窓31及び下部窓41に対して実行すればよい。
上記実施の形態では、上半身尤度算出部14A及び下半身尤度算出部14Bがニューラルネットワークを用いる例を説明したが、これに限られない。上半身尤度算出部14A及び下半身尤度算出部14Bは、尤度を算出するためのアルゴリズムとして、ニューラルネットワーク以外のアルゴリズムを用いてもよい。また、上半身尤度算出部14A及び下半身尤度算出部14Bは、尤度を算出するためのアルゴリズムとして、互いに異なるアルゴリズムを使用してもよい。例えば、上半身尤度算出部14Aがサポートベクターマシンを使用し、下半身尤度算出部14Bが、ニューラルネットワークを使用してもよい。
なお、上記実施の形態では、学習の際に、歩行者画像51が人物検出装置1に入力される例を説明したが、これに限られない。例えば、上部歩行者画像51A及び下部歩行者画像51Bが、人物検出装置1に入力されてもよい。この場合、上部歩行者画像51Aは、画像変換部11及び検出窓設定部12を介さずに、特徴抽出部13Aに直接入力される。同様に、下部歩行者画像51Bは、特徴抽出部13Bに直接入力される。
また、上記実施の形態では、検出窓23に歩行者が検出された場合、判断部15が、隠れ検出処理(ステップS55)を実行する例を説明したが、これに限られない。判断部15は、隠れ検出処理(ステップS55)を実行しなくてもよい。
なお、上記実施の形態において、物体検出装置1に入力される歩行者画像のサイズが検出窓23のサイズと同じである例を説明したが、これに限られない。物体検出装置1に入力される歩行者画像51のアスペクト比が検出窓23のアスペクト比に一致していれば、歩行者画像51のサイズが検出窓23のサイズと同じでなくてもよい。この場合、上部窓31及び下部窓41が特徴抽出部13A,13Bに入力される前に、上部窓31及び下部窓41のサイズを上部歩行者画像51A及び下部歩行者画像51Bのサイズに一致するように変更すればよい。あるいは、上部特徴データ32A及び下部特徴データ42Aが上半身尤度算出部14Aに入力される前、上部特徴データ32B及び下部特徴データ42Bが下半身尤度算出部14Bに入力される前に、これらの特徴データのサイズを上部歩行者画像51A及び下部歩行者画像51Bのサイズに一致するように変更すればよい。あるいは、検出窓23から上部窓31及び下部窓41を生成する前に、検出窓23のサイズを歩行者画像31のサイズに一致するように変更すればよい。
上記実施の形態で説明した人物検出装置1において、各機能部は、LSIなどの半導体装置により個別に1チップ化されても良いし、一部又は全部を含むように1チップ化されてもよい。集積回路化の手法はLSIに限るものではなく、専用回路又は汎用プロセッサーで実現してもよい。LSI製造後に、プログラムすることが可能なFPGA(Field Programmable Gate Array)や、LSI内部の回路セルの接続や設定を再構成可能なリコンフィギュラブル・プロセッサを利用しても良い。
また、上記実施の形態の各機能ブロックの処理の一部または全部は、プログラムにより実現されるものであってもよい。そして、上記実施の形態の各機能ブロックの処理の一部または全部は、コンピュータにおいて、中央演算装置(CPU)により行われる。また、それぞれの処理を行うためのプログラムは、ハードディスク、ROMなどの記憶装置に格納されており、ROMにおいて、あるいはRAMに読み出されて実行される。
また、上記実施形態の各処理をハードウェアにより実現してもよいし、ソフトウェア(OS(オペレーティングシステム)、ミドルウェア、あるいは、所定のライブラリとともに実現される場合を含む。)により実現してもよい。さらに、ソフトウェアおよびハードウェアの混在処理により実現しても良い。
前述した方法をコンピュータに実行させるコンピュータプログラム及びそのプログラムを記録したコンピュータ読み取り可能な記録媒体は、本発明の範囲に含まれる。ここで、コンピュータ読み取り可能な記録媒体としては、例えば、フレキシブルディスク、ハードディスク、CD−ROM、MO、DVD、DVD−ROM、DVD−RAM、BD(Blu−ray Disc)、半導体メモリを挙げることができる。
上記コンピュータプログラムは、上記記録媒体に記録されたものに限られず、電気通信回線、無線又は有線通信回線、インターネットを代表とするネットワーク等を経由して伝送されるものであってもよい。
1 人物検出装置
11 画像変換部
12 検出窓設定部
13A,13B 特徴抽出部
14 尤度算出部
14A 上半身尤度算出部
14B 下半身尤度算出部
15 判断部
16 学習部
17 記憶部
21 撮影画像
23,123,223,323 検出窓
31,123a,223a,323a 上部窓
41,123b,223b,323b 下部窓
33A,43A 上半身尤度
33B,43B 下半身尤度


Claims (6)

  1. フレーム画像に対して、第1窓領域を設定し、前記第1窓領域の下に位置する第2窓領域を設定する検出窓設定部と、
    前記第1窓領域が人物の上半身を含むであろう第1上半身尤度と、前記第2窓領域が人物の上半身を含むであろう第2上半身尤度とを算出する上半身尤度算出部と、
    前記第1窓領域が人物の下半身を含むであろう第1下半身尤度と、前記第2窓領域が人物の下半身を含むであろう第2下半身尤度とを算出する下半身尤度算出部と、
    前記第1上半身尤度と、前記第2上半身尤度と、前記第1下半身尤度と、前記第2下半身尤度とに基づいて、前記フレーム画像に人物が存在するか否かを判断する判断部と、
    を備える人物検出装置。
  2. 請求項1に記載の人物検出装置であって、
    前記判断部は、前記第1上半身尤度と前記第2下半身尤度との積算値が第1のしきい値以上であり、かつ、前記第2上半身尤度と前記第1下半身尤度との積算値が第2のしきい値以下である場合、前記フレーム画像に人物が存在すると判断する人物検出装置。
  3. 請求項1に記載の人物検出装置であって、
    前記判断部は、前記第1上半身尤度と前記第2上半身尤度との差分絶対値が所定の上半身基準値以上である場合、又は、前記第1下半身尤度と前記第2下半身尤度との差分絶対値が所定の下半身基準値以上である場合、前記フレーム画像に人物が存在すると判断する人物検出装置。
  4. 請求項1ないし請求項3のいずれかに記載の人物検出装置であって、さらに、
    前記判断部により前記フレーム画像に人物が存在すると判断された場合、前記フレーム画像内の人物の上半身又は下半身が隠れているか否かを判断する隠れ検出部、
    を備える人物検出装置。
  5. 請求項1ないし請求項4のいずれかに記載の人物検出装置であって、さらに、
    前記第1窓領域に対して第1特徴抽出処理を実行して第1上部特徴データを生成し、前記第2窓領域に対して前記第1特徴抽出処理を実行して第1下部特徴データを生成する第1特徴抽出部と、
    前記第1窓領域に対して第2特徴抽出処理を実行して第2上部特徴データを生成し、前記第2窓領域に対して前記第2特徴抽出処理を実行して第2下部特徴データを生成する第2特徴抽出部と、
    を備え、
    前記上半身尤度算出部は、前記第1上部特徴データから前記第1上半身尤度を算出し、前記第1下部特徴データから前記第2上半身尤度を算出し、
    前記下半身尤度算出部は、前記第2上部特徴データから前記第1下半身尤度を算出し、前記第2下部特徴データから前記第2下半身尤度を算出する人物検出装置。
  6. 人物検出装置に搭載されるコンピュータに、
    フレーム画像に対して、第1窓領域を設定し、前記第1窓領域の下に位置する第2窓領域を設定するステップと、
    前記第1窓領域が人物の上半身を含むであろう第1上半身尤度と、前記第2窓領域が人物の上半身を含むであろう第2上半身尤度とを算出するステップと、
    前記第1窓領域が人物の下半身を含むであろう第1下半身尤度と、前記第2窓領域が人物の下半身を含むであろう第2下半身尤度とを算出するステップと、
    前記第1上半身尤度と、前記第2上半身尤度と、前記第1下半身尤度と、前記第2下半身尤度とに基づいて、前記フレーム画像に人物が存在するか否かを判断するステップと、
    を実行させるための人物検出プログラム。
JP2014066860A 2014-03-27 2014-03-27 人物検出装置 Expired - Fee Related JP6340227B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2014066860A JP6340227B2 (ja) 2014-03-27 2014-03-27 人物検出装置
PCT/JP2015/055010 WO2015146414A1 (ja) 2014-03-27 2015-02-23 人物検出装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2014066860A JP6340227B2 (ja) 2014-03-27 2014-03-27 人物検出装置

Publications (2)

Publication Number Publication Date
JP2015191338A true JP2015191338A (ja) 2015-11-02
JP6340227B2 JP6340227B2 (ja) 2018-06-06

Family

ID=54194949

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2014066860A Expired - Fee Related JP6340227B2 (ja) 2014-03-27 2014-03-27 人物検出装置

Country Status (2)

Country Link
JP (1) JP6340227B2 (ja)
WO (1) WO2015146414A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108665476A (zh) * 2017-03-31 2018-10-16 华为数字技术(苏州)有限公司 一种行人跟踪方法以及电子设备

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110312952B (zh) 2017-02-20 2022-09-27 3M创新有限公司 光学制品和与其交互的系统
US11314971B2 (en) 2017-09-27 2022-04-26 3M Innovative Properties Company Personal protective equipment management system using optical patterns for equipment and safety monitoring
CN112101139B (zh) * 2020-08-27 2024-05-03 普联国际有限公司 人形检测方法、装置、设备及存储介质

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013250734A (ja) * 2012-05-31 2013-12-12 Denso Corp 人検出装置

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013250734A (ja) * 2012-05-31 2013-12-12 Denso Corp 人検出装置

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108665476A (zh) * 2017-03-31 2018-10-16 华为数字技术(苏州)有限公司 一种行人跟踪方法以及电子设备
KR20190118619A (ko) * 2017-03-31 2019-10-18 후아웨이 테크놀러지 컴퍼니 리미티드 보행자 추적 방법 및 전자 디바이스
JP2020515974A (ja) * 2017-03-31 2020-05-28 華為技術有限公司Huawei Technologies Co.,Ltd. 歩行者追跡の方法および電子デバイス
KR102296088B1 (ko) 2017-03-31 2021-08-30 후아웨이 테크놀러지 컴퍼니 리미티드 보행자 추적 방법 및 전자 디바이스

Also Published As

Publication number Publication date
WO2015146414A1 (ja) 2015-10-01
JP6340227B2 (ja) 2018-06-06

Similar Documents

Publication Publication Date Title
JP5726125B2 (ja) 奥行き画像内の物体を検出する方法およびシステム
JP5554984B2 (ja) パターン認識方法およびパターン認識装置
JP4999163B2 (ja) 画像処理方法および装置ならびにプログラム
US9377861B2 (en) Information processing device and method, program and recording medium for identifying a gesture of a person from captured image data
US9020251B2 (en) Image processing apparatus and method
JP4410732B2 (ja) 顔画像検出装置、顔画像検出方法および顔画像検出プログラム
JP4699298B2 (ja) 人体領域抽出方法および装置並びにプログラム
JP6340227B2 (ja) 人物検出装置
JP2008286725A (ja) 人物検出装置および方法
JP2012123626A (ja) 対象物検出装置及びプログラム
JP6340228B2 (ja) 物体検出装置
JP5648452B2 (ja) 画像処理プログラムおよび画像処理装置
JP2010262576A (ja) 対象物検出装置及びプログラム
JP6280412B2 (ja) 物体検出装置
US10223583B2 (en) Object detection apparatus
JP6077785B2 (ja) 対象物検出装置及びプログラム
CN109074646B (zh) 图像识别装置以及图像识别程序
JP5020920B2 (ja) 歩行者検出装置及びプログラム
JP6393495B2 (ja) 画像処理装置および物体認識方法
JP5829155B2 (ja) 歩行者検出装置及びプログラム
KR102031842B1 (ko) 웨이퍼 맵의 처리 방법 및 이를 위한 컴퓨터 프로그램
JP2010009234A (ja) 眼画像処理装置
JP6076128B2 (ja) 文字認識装置および文字認識方法
Adorno et al. Smartphone-based floor detection in unstructured and structured environments
JP6161931B2 (ja) 物体検出装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20170215

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20180424

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20180514

R150 Certificate of patent or registration of utility model

Ref document number: 6340227

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

LAPS Cancellation because of no payment of annual fees