JP2005128776A - 閾値設定装置及び閾値設定方法 - Google Patents

Abstract

【課題】 人物領域をより正確に抽出することができる閾値設定装置及び閾値設定方法を提供すること。
【解決手段】 閾値設定装置１に、車両周辺の状態量データ値を有する熱画像Ａを取得するカメラ１０と、カメラ１０により取得された熱画像Ａに基づいて、熱データ値と、熱データ値の度数との関係を示すヒストグラムを作成するヒストグラム作成部１２と、ヒストグラム作成部１２により作成されたヒストグラムに基づいて、ヒストグラムの極大点及び変曲点を含む特徴量を算出する特徴量算出部１３と、特徴量算出部１３により算出された特徴量と、車両の周辺環境とに基づいて、人物が有する熱データ値の範囲を示す閾値を設定する閾値設定部１５と、カメラ１０により取得された熱画像Ａから、閾値設定部１５により設定された閾値が示す範囲内の熱データ値を有する人物領域を抽出する領域抽出部１７と、を備えさせた。
【選択図】 図１

Description

本発明は、車両に搭載される閾値設定装置及び閾値設定方法に関する。

従来より、車両に搭載される閾値設定装置が知られている（例えば、特許文献１）。

特許文献１記載の技術では、車両前方を撮影して熱画像（車両前方の熱データ値を有する画像）を取得し、当該熱画像に基づいて、熱データ値と当該熱データ値の度数との関係を示すヒストグラムを作成する。そして、当該ヒストグラムが有する極大点を参照して、人物が有する熱データ値の範囲を示す閾値を設定する。具体的には、ヒストグラムが有する極大点のうち、対応する熱データ値が最も高い極大点を参照して、閾値を設定する。なお、このように閾値を設定することができるのは、ヒストグラムは極大点を通常２つ有し、且つ、これら極大点のうち、対応する熱データ値が高い方の極大点は通常人物に対応するからである。

そして、熱画像から、当該閾値が示す範囲内の熱データ値を有する人物領域を抽出し、当該抽出された人物領域から人物を検出する。
特開平２００３−１６４５８号公報

しかし、当該技術では、ヒストグラムが有する極大点のうち、参照される極大点が人物に対応する（言い換えれば、当該極大点に対応する熱データ値が人物が有する熱データ値に一致する）場合に、閾値を正確に設定することができるので、極大点の数や極大点に対応する熱データ値によっては、人物領域を正確に抽出することができない場合がある。

具体的には、ヒストグラムが極大点を１つしか有しない場合や、３つ以上有する場合に、人物を正確に抽出することができない場合がある。参照される極大点が人物に対応しない場合があるからである。

また、ヒストグラムが極大点を２つ有する場合であっても、参照される極大点が人物に対応しない場合もある。したがって、ヒストグラムが極大点を２つ有する場合であっても、人物を正確に抽出することができない場合がある。

また、人物が有する熱データ値の範囲を特定するためには上限、下限の閾値をそれぞれ設定する必要があるところ、極大点のみでは閾値の幅（下限の閾値と上限の閾値との差）を特定することができないので、当該幅をあらかじめ設定しておく必要があった。このため、ヒストグラムの形状によっては、閾値が示す範囲が狭すぎて、人物領域を十分に抽出することができなかったり、閾値が示す範囲が広すぎて、人物領域を余分に抽出してしまうことがあった。したがって、この点においても、人物領域を正確に抽出することができない場合があった。

また、当該技術では、画像を１枚取得する毎に当該画像に基づいて閾値を設定していた。このため、ヒストグラムのうち人物に対応しない部分が極大点を有すると、それまで閾値を適切に設定していた場合であっても、人物が有する熱データ値の範囲外で閾値を設定してしまう。よって、この点においても、人物領域を正確に抽出することができない場合があった。

本発明はこのような従来の課題を解決するためになされたものであり、その主に目的とするところは、人物領域をより正確に抽出することができる閾値設定装置及び閾値設定方法を提供することである。

上記目的を達成するため、本願特許請求の範囲に記載の発明は、車両に搭載される閾値設定装置において、車両周辺の状態量データ値を有する画像を取得する画像取得手段と、画像取得手段により取得された画像に基づいて、状態量データ値と、状態量データ値の度数との関係を示す度数分布グラフを作成するグラフ作成手段と、グラフ作成手段により作成された度数分布グラフに基づいて、度数分布グラフの極大点及び変曲点を含む特徴量を算出する特徴量算出手段と、特徴量算出手段により算出された特徴量と、車両の周辺環境とに基づいて、所定の検出対象物が有する状態量データ値の範囲を示す閾値を設定する閾値設定手段と、画像取得手段により取得された画像から、閾値設定手段により設定された閾値が示す範囲内の状態量データ値を有する検出対象物領域を抽出する領域抽出手段と、を備えることを主な特徴とする。

本願特許請求の範囲に記載の発明では、主に、以下の効果を得ることができる。即ち、本発明では、ヒストグラムの特徴量として極大点及び変曲点を算出する。そして、当該特徴量に基づいて、閾値を設定する。従って、閾値の設定に用いられる特徴量が従来よりも増加するので、従来よりも適切且つ正確な閾値を設定することができる。

具体的には、ヒストグラムが有する極大点のうち、対応する熱データ値が最も高い極大点が人物に対応しない場合であっても、他の特徴量、即ち変曲点から人物に対応する特徴量を選択し、当該選択された特徴量を用いて閾値を設定することができる。したがって、従来よりも適切且つ正確な閾値を設定することができる。よって、人物領域をより正確に抽出することができる。

（第１の実施の形態）
以下、本発明の第１の実施の形態を図面に基づいて説明する。まず、図１〜図９に基づいて、本発明の一実施の形態に係る閾値設定装置１の構成要素及び各構成要素の主な機能について説明する。

図１は閾値設定装置１の構成を示すブロック図であり、図２はカメラ１０の設置位置を示す側面図及び平面図である。図１〜図２に示すように、閾値設定装置１は、車両Ｐに搭載され、カメラ（画像取得手段）１０と、画像メモリ１１と、ヒストグラム作成部（グラフ作成手段）１２と、ヒストグラム特徴量算出部（以下、「特徴量算出部」と称する）（特徴量算出手段）１３と、環境情報を用いた初期設定部（以下、「初期設定部」と称する）１４と、閾値設定部（閾値設定手段）１５と、ヒストグラム・閾値保存メモリ（以下、「保存メモリ」と称する）１６と、領域抽出部（領域抽出手段）１７を備える。

カメラ１０は、図２に示すように、その光軸が車両Ｐの進行方向に平行になるように車両Ｐの前部に設置される。そして、車両Ｐ前方を撮影して、車両Ｐ前方の熱データ値を有する熱画像Ａを熱画像データの形式で取得する。なお、カメラ１０の設置位置、及び撮影方向は図２に示す限りではなく、他の設置位置及び撮影方向であってもよい。

熱画像Ａの例を図３に示す。図３は、車両Ｐ前方に二人の人物、車両、及び電柱が存在する場合にカメラ１０が取得する熱画像Ａを示す。当該熱画像Ａには、人物画像Ａ１〜Ａ２、車両画像Ａ３、及び電柱画像Ａ４〜Ａ６が含まれる。この熱画像データは複数の画素データで構成され、各画素データには座標データ及び熱データが含まれる。

また、カメラ１０は、当該熱画像データを画像メモリ１１に出力する。画像メモリ１１は、カメラ１０から与えられた熱画像データを保存する。

ヒストグラム作成部１２は、画像メモリ１１から熱画像データを取得し、当該取得された熱画像データに基づいて、熱データ値と、熱データ値の頻度（度数）との関係を示すヒストグラムを作成する。図４に、ヒストグラムの一例として、ヒストグラム１２０を示す。図４中、横軸が熱データ値を表す。

そして、ヒストグラム作成部１２は、当該作成されたヒストグラムに関するヒストグラムデータを生成して特徴量算出部１３に出力する。

特徴量算出部１３は、ヒストグラム作成部１２から与えられたヒストグラムデータに基づいて、ヒストグラムの極大点（極大点）、極小点及び変曲点を特徴量として算出する。具体的には、ヒストグラムを１次微分することで極大点、極小点を算出し、２次微分することで変曲点を算出する。なお、頻度の変化率がある基準値以上（または基準値以下）となる点を特徴量としても良い。例えば、ヒストグラムデータが図４に示すヒストグラム１２０を示す場合、特徴量算出部１３は、図５に示すように、ヒストグラム１２０の極大点１２１、極小点１２２、及び変曲点１２３を特徴量として算出する。

そして、特徴量算出部１３は、当該算出された特徴量に関する特徴量データを生成して閾値設定部１５に出力する。

初期設定部１４は、図示しないセンサを備え、且つ、初期閾値と周辺環境との関係を示す閾値マップを記憶する。そして、当該センサを用いて車両Ｐの周辺環境（例えば、現在時刻、車両Ｐ周辺の気温）を検出し、当該検出された周辺環境と閾値マップに基づいて、初期閾値を設定する。初期閾値は、人物の顔部が有する熱データ値の上限値を示す第１の初期閾値と、人物の顔部が有する熱データ値の下限値及び人物の体が有する熱データ値の上限値を示す第２の初期閾値と、人物の体が有する熱データ値の下限値を示す第３の初期閾値と、で構成される。なお、初期設定部１４は、当該周辺環境及び閾値マップの代わりに、当該周辺環境、及び初期閾値と周辺環境との関係式に基づいて初期閾値を設定しても良い。

そして、初期設定部１４は、当該設定された初期閾値に関する初期設定データを生成して閾値設定部１５に出力する。

閾値設定部１５は、特徴量算出部１３から与えられた特徴量データと、初期設定部１４から与えられた初期設定データに基づいて、人物が有する熱データ値の範囲を示す閾値を設定する。具体的には、特徴量算出部１３により算出された特徴量のうち、第１の初期閾値に最も近い特徴量が示す熱データ値を閾値Ｔｈ１として設定し、第２の初期閾値に最も近い特徴量が示す熱データ値を閾値Ｔｈ２として設定する。また、特徴量算出部１３により算出された特徴量のうち、第３の初期閾値に最も近い特徴量が示す熱データ値をＴｈ３として設定する。ここで、閾値Ｔｈ２以上閾値Ｔｈ１以下の熱データ値は人物の顔が有する熱データ値を示し、閾値Ｔｈ３以上閾値Ｔｈ２以下の熱データ値は、人物の体が有する熱データ値を示す。

例えば、特徴量算出部１３により算出された特徴量が図５に示す極大点１２１、極小点１２２、及び変曲点１２３である場合、閾値設定部１５は、図５〜図６に示すように、極小点１２２ａが示す熱データ値を閾値Ｔｈ１として設定し、変曲点１２３ａが示す熱データ値を閾値Ｔｈ２として設定する。また、極大点１２１ａが示す熱データ値を閾値Ｔｈ３として設定する。

そして、閾値設定部１５は、当該設定された閾値Ｔｈ１〜Ｔｈ３に関する閾値設定データを生成して保存メモリ１６に出力する。保存メモリ１６は、当該閾値設定データを保存する。なお、当該閾値Ｔｈ１〜Ｔｈ３を設定することで、人物相当温度帯が形成される。ここで、人物相当温度帯は、閾値Ｔｈ３以上閾値Ｔｈ１以下の範囲とヒストグラムのうち当該範囲に対応する部分とで形成される領域である。この人物相当温度帯は、さらに、顔部相当温度帯と体相当温度帯とで構成される。ここで、顔部相当温度帯は、閾値Ｔｈ２以上閾値Ｔｈ１以下の範囲とヒストグラムのうち当該範囲に対応する部分とで形成される領域である。また、体相当温度帯は、閾値Ｔｈ３以上閾値Ｔｈ２以下の範囲とヒストグラムのうち当該範囲に対応する部分とで形成される領域である。例えば、図６に示す場合、領域１３０が人物相当温度帯となる。また、領域１３１が顔部相当温度帯となり、領域１３２が体相当温度帯となる。これらの温度帯については、後述する。

領域抽出部１７は、保存メモリ１６から閾値設定データを、画像メモリ１１から熱画像データをそれぞれ取得し、これら取得された閾値設定データ及び熱画像データに基づいて、熱画像Ａから、閾値Ｔｈ２以上閾値Ｔｈ１以下の熱データ値を有する顔候補領域を抽出する。また、閾値Ｔｈ３以上閾値Ｔｈ２以下の熱データ値を有する体候補領域を抽出する。

そして、これら抽出された領域と、特開平１１−３２８３６４号公報等に示す技術に基づいて、熱画像Ａから人物が描かれた人物領域を抽出する。その後、図示しない検出部が当該抽出された人物領域から人物を検出する。これにより、人物を検出することができる。

例えば、熱画像Ａが図３に示すものである場合、領域抽出部１７は、図７に示すように、熱画像Ａから顔候補領域ａ１〜ａ１１を抽出する。また、図８に示すように、熱画像Ａから体候補領域ｂ１〜ｂ８を抽出する。そして、図９に示すように、顔候補領域ａ１〜ａ１１、体候補領域ｂ１〜ｂ８、及び、特開平１１−３２８３６４号公報等に示す技術に基づいて、熱画像Ａから、顔候補領域ａ１及び体候補領域ｂ１を含む人物領域ｃ１と、顔候補領域ａ２及び体候補領域ｂ２を含む人物領域ｃ２を抽出する。

次に、閾値設定装置１による処理の手順を図１０に示すフローチャートに沿って説明する。

図１０に示すステップＳ１０にて、カメラ１０は、車両Ｐ前方を撮影して、車両Ｐ前方の熱データを有する熱画像Ａを熱画像データの形式で取得する。次いで、当該取得された熱画像データを画像メモリ１１に出力する。画像メモリ１１は、カメラ１０から与えられた熱画像データを保存する。

次いで、ステップＳ１１にて、ヒストグラム作成部１２は、画像メモリ１１から熱画像データを取得し、当該取得された熱画像データに基づいてヒストグラムを作成する。次いで、当該作成されたヒストグラムに関するヒストグラムデータを生成して特徴量算出部１３に出力する。

次いで、ステップＳ１２にて、特徴量算出部１３は、ヒストグラム作成部１２から与えられたヒストグラムデータに基づいて、ヒストグラムの極大点、極小点及び変曲点を特徴量として算出する。次いで、当該算出された特徴量に関する特徴量データを生成して閾値設定部１５に出力する。

ステップＳ１３にて、初期設定部１４は、車両Ｐの周辺環境を検出し、当該検出された周辺環境と閾値マップに基づいて、第１〜第３の初期閾値を設定する。次いで、当該設定された第１〜第３の初期閾値に関する初期設定データを生成して閾値設定部１５に出力する。

次いで、ステップＳ１４にて、閾値設定部１５は、特徴量算出部１３から与えられた特徴量データと、初期設定部１４から与えられた初期設定データに基づいて、上述した処理により、閾値Ｔｈ１〜Ｔｈ３を設定する。次いで、当該設定された閾値Ｔｈ１〜Ｔｈ３に関する閾値設定データを生成して保存メモリ１６に出力する。保存メモリ１６は、当該閾値設定データを保存する。

次いで、ステップＳ１５にて、領域抽出部１７は、保存メモリ１６から閾値設定データを、画像メモリ１１から熱画像データをそれぞれ取得し、これら取得された閾値設定データ及び熱画像データに基づいて、上述した処理により、熱画像Ａから顔候補領域及び体候補領域を抽出する。

次いで、ステップＳ１６にて、領域抽出部１７は、当該抽出された顔候補領域及び体候補領域と、特開平１１−３２８３６４号公報等に示す技術に基づいて、熱画像Ａから人物領域を抽出する。その後、図示しない検出部が当該抽出された人物領域から人物を検出する。これにより、人物を検出することができる。

以上により、本第１の実施の形態では、図５〜図６に示すように、閾値設定装置１は、ヒストグラムの特徴量として極大点、極小点及び変曲点を算出する。そして、当該特徴量に基づいて、閾値Ｔｈ１〜閾値Ｔｈ３を設定する。従って、閾値Ｔｈ１〜Ｔｈ３の設定に用いられる特徴量が従来よりも増加するので、従来よりも適切且つ正確な閾値Ｔｈ１〜Ｔｈ３を設定することができる。

具体的には、ヒストグラムが有する極大点のうち、対応する熱データ値が最も高い極大点が人物に対応しない場合であっても、他の特徴量、例えば変曲点等から人物に対応する特徴量を選択し、当該選択された特徴量を用いて閾値Ｔｈ１〜Ｔｈ３を設定することができる。したがって、従来よりも適切且つ正確な閾値Ｔｈ１〜Ｔｈ３を設定することができる。

また、極大点の他、変曲点等を特徴量とするので、閾値Ｔｈ１〜Ｔｈ３に対応する特徴量を適宜変更することで閾値Ｔｈ１〜Ｔｈ３の幅を変更することができる。したがって、閾値Ｔｈ１〜Ｔｈ３の幅（例えば、閾値Ｔｈ１から閾値Ｔｈ２までの幅）をあらかじめ定めておく必要がないので、ヒストグラムの形状に応じて閾値Ｔｈ１〜Ｔｈ３の幅を適切な幅に調整することができる。したがって、この点でも、閾値Ｔｈ１〜Ｔｈ３を正確に設定することができる。

また、閾値設定装置１は、当該車両Ｐ周辺の環境と初期閾値との関係を示す閾値マップの他に、ヒストグラムを参照して閾値Ｔｈ１〜Ｔｈ３を設定するので、車両Ｐ周辺の環境に応じて閾値Ｔｈ１〜Ｔｈ３を設定することができる。また、車両Ｐ周辺の環境が変動しても（例えば、車両が影に入っても）、閾値Ｔｈ１〜Ｔｈ３が人物の熱データ値と一致するように閾値Ｔｈ１〜Ｔｈ３を設定することができる。したがって、この点でも、閾値Ｔｈ１〜Ｔｈ３を正確に設定することができる。

したがって、閾値設定装置１は、閾値Ｔｈ１〜Ｔｈ３を正確に設定することができるので、人物領域を正確に抽出することができる。

（第２の実施の形態）
以下、本発明の第２の実施の形態を図面に基づいて説明する。まず、図１及び図１１に基づいて、本発明の一実施の形態に係る閾値設定装置２の構成要素及び各構成要素の主な機能について説明する。図１１は、各時刻で作成されるヒストグラムを示した説明図である。

図１に示すように、閾値設定装置２は、閾値設定装置１のヒストグラム作成部１２、閾値設定部１５、及び保存メモリ１６をヒストグラム作成部（グラフ作成手段）２２、閾値設定部（閾値設定手段）２５、及び保存メモリ（記憶手段）２６に変更し、且つ、特徴量算出部１３を除いたものである。

ヒストグラム作成部２２は、画像メモリ１１から熱画像データを取得し、当該取得された熱画像データに基づいて、熱データ値と、熱データ値の頻度（度数）との関係を示すヒストグラムを作成する。そして、ヒストグラム作成部２２は、当該作成されたヒストグラムに関するヒストグラムデータを生成して保存メモリ２６に出力する。そして、これらの処理を所定時間毎に繰り返す。図１１に、所定時間毎に作成されるヒストグラムの一例として、ヒストグラム１２０ａ〜１２０ｃを示す。

保存メモリ２６は、ヒストグラム作成部２２から与えられたヒストグラムデータを順次記憶する。したがって、ヒストグラムデータを時系列で記憶する。また、閾値設定部２５から与えられた閾値設定データを記憶する。

閾値設定部２５は、保存メモリ２６に記憶されるヒストグラムデータの数、即ちヒストグラムの枚数が規定数以上となった場合に、規定数以上のヒストグラムデータと初期設定部１４から与えられた初期設定データに基づいて、閾値Ｔｈ１〜Ｔｈ３を設定する。ここで、規定数は、目的とする処理（例えば、人物検出処理や車両検出処理等）に応じて定められる。また、閾値Ｔｈ１〜Ｔｈ３は、第１の実施の形態と同様のものである。

具体的には、閾値設定部２５は、保存メモリ２６から規定数以上のヒストグラムデータを取得する。そして当該取得されたヒストグラムデータと、初期設定部１４から与えられた初期設定データに基づいてヒストグラムの平均化処理を行い、閾値Ｔｈ１〜Ｔｈ３を設定する。

なお、以下の処理により閾値Ｔｈ１〜Ｔｈ３を設定しても良い。即ち、閾値設定部２５は、ヒストグラム上の各点において熱データ値の頻度変化率を算出し、当該算出された頻度変化率が所定の基準変化率よりも大きくなる点を抽出する。そして、当該抽出された点のうち、いずれかの熱データ値を閾値Ｔｈ１〜Ｔｈ３として設定しても良い。また、ヒストグラムの形状を予測し、当該予測された形状に基づいて、閾値Ｔｈ１〜Ｔｈ３を設定しても良い。また、当該予測された形状のヒストグラムと、第１の実施の形態にて説明した処理に基づいて、閾値Ｔｈ１〜Ｔｈ３を設定しても良い。

そして、閾値設定部２５は、当該設定された閾値Ｔｈ１〜Ｔｈ３に関する閾値設定データを生成して保存メモリ２６に出力する。

次に、閾値設定装置２による処理の手順を、図１２に示すフローチャートに沿って説明する。

図１２に示すステップＳ２０にて、カメラ１０は、車両Ｐ前方を撮影して熱画像Ａを熱画像データの形式で取得し、当該取得された熱画像データを画像メモリ１１に出力する。画像メモリ１１は、カメラ１０から与えられた熱画像データを保存する。

次いで、ステップＳ２１にて、ヒストグラム作成部２２は、画像メモリ１１から熱画像データを取得し、当該取得された熱画像データに基づいてヒストグラムを作成する。次いで、当該作成されたヒストグラムに関するヒストグラムデータを生成して保存メモリ２６に出力する。

次いで、ステップＳ２２にて、保存メモリ２６は、ヒストグラム作成部２２から与えられたヒストグラムデータを記憶する。

次いで、ステップＳ２３にて、閾値設定部２５は、保存メモリ２６に記憶されるヒストグラムデータの数、即ちヒストグラムの枚数が規定数以上となったかどうかを判定する。

この結果、ヒストグラムの枚数が規定数以上となった場合には、ステップＳ２４に進み、規定数未満（ステップＳ２３にてＮＯ）には、ステップＳ２０に戻る。

ステップＳ２４にて、初期設定部１４は、第１の実施の形態と同様の処理で初期設定データを生成し、閾値設定部２５に出力する。次いで、閾値設定部２５は、保存メモリ２６に記憶されるヒストグラムデータを規定数以上取得し、当該取得されたヒストグラムデータと初期設定部１４から与えられた初期設定データに基づいて、上述した方法により閾値Ｔｈ１〜Ｔｈ３を設定する。次いで、当該設定された閾値Ｔｈ１〜Ｔｈ３に関する閾値設定データを生成して保存メモリ２６に出力する。保存メモリ２６は、閾値設定部２５から与えられた閾値設定データを保存する。

次いで、ステップＳ２５にて、領域抽出部１７は、保存メモリ２６から閾値設定データを、画像メモリ１１から熱画像データをそれぞれ取得し、これら取得された閾値設定データ及び熱画像データに基づいて、第１の実施の形態と同様の処理により、顔候補領域及び体候補領域を抽出する。

次いで、ステップＳ２６にて、領域抽出部１７は、第１の実施の形態と同様の処理により、熱画像Ａから、人物が描かれた人物領域を抽出する。その後、図示しない検出部が当該抽出された人物領域から人物を検出する。

以上により、本第２の実施の形態では、閾値設定装置２は、図１１に示すように、ヒストグラムデータを時間の経過に応じて順次、即ち時系列で記憶する。そして、当該記憶されたヒストグラムデータが規定数以上となった後、これら規定数以上のヒストグラムデータに基づいて、閾値Ｔｈ１〜Ｔｈ３を設定する。

したがって、時系列で記憶されたヒストグラムのうち、一部のヒストグラムが人物に対応しない熱データ値で特徴量（例えば、極大点）を有する場合であっても、他のヒストグラム、即ち人物に対応する熱データ値で特徴量を有するヒストグラムに基づいて、閾値Ｔｈ１〜Ｔｈ３を設定することができる。したがって、この場合であっても、人物に対応する熱データ値の範囲内で閾値Ｔｈ１〜Ｔｈ３を設定することができるので、閾値Ｔｈ１〜Ｔｈ３を正確に設定することができる。

（第３の実施の形態）
以下、本発明の第３の実施の形態を図面に基づいて説明する。まず、図１に基づいて、本発明の一実施の形態に係る閾値設定装置３の構成要素及び各構成要素の主な機能について説明する。

図１に示すように、閾値設定装置３は、閾値設定装置１の閾値設定部１５、保存メモリ１６、及び領域抽出部１７を閾値設定部（閾値設定手段）３５、保存メモリ（記憶手段）３６、及び領域抽出部（領域抽出手段）３７に変更し、且つ閾値設定装置１に図示しないカウンタを備えさせたものである。このカウンタの初期値は１である。

閾値設定部３５は、特徴量算出部１３から特徴量データを与えられた際に、カウンタの値を確認する。この結果、カウンタの値が１である場合には閾値設定部１５と同様の処理により閾値Ｔｈ１〜Ｔｈ３を設定する。一方、カウンタの値が２以上である場合には、保存メモリ３６から前回記憶された閾値設定データを取得し、当該取得された閾値設定データと特徴量データに基づいて、以下の処理を行う。即ち、各特徴量が示す熱データ値のうち、前回設定された閾値Ｔｈ１に最も近い熱データ値を今回の閾値Ｔｈ１として設定する。同様に、前回設定された閾値Ｔｈ２に最も近い熱データ値を今回の閾値Ｔｈ２として設定し、前回設定された閾値Ｔｈ３に最も近い熱データ値を今回の閾値Ｔｈ３として設定する。

そして、閾値Ｔｈ１〜Ｔｈ３に関する閾値設定データを生成し、保存メモリ３６に出力する。保存メモリ３６は、閾値設定部３５から与えられた閾値設定データを順次記憶する。言い換えれば、時系列で記憶する。

領域抽出部３７は、画像メモリ１１から熱画像データを取得し、且つ、保存メモリ３６から今回記憶された閾値設定データを取得する。そして、当該取得された熱画像データ及び閾値設定データに基づいて、領域抽出部１７と同様の処理により熱画像Ａから人物領域を抽出する。その後、カウンタの値を１増加させる。

次に、閾値設定装置３による処理の手順を、図１３に示すフローチャートに沿って説明する。

図１３に示すステップＳ３０〜ステップＳ３２にて、閾値設定装置３は、図１０に示すステップＳ１０〜ステップＳ１２の処理と同様の処理を行う。

次いで、ステップＳ３３にて、閾値設定部３５は、特徴量算出部１３から特徴量データを与えられた際に、カウンタの値を確認する。この結果、カウンタの値が１である場合にはステップＳ３５に進み、カウンタの値が２以上である場合（ステップＳ３３にてＮＯ）には、ステップＳ３４に進む。

ステップＳ３４にて、閾値設定部３５は、保存メモリ３６から前回記憶された閾値設定データを取得し、当該取得された閾値設定データと特徴量データに基づいて、上述した処理により、各特徴量が示す熱データ値のうち、前回設定された閾値Ｔｈ１〜Ｔｈ３に最も近い熱データ値を今回の閾値Ｔｈ１〜Ｔｈ３として設定する。次いで、当該設定された閾値Ｔｈ１〜Ｔｈ３に関する閾値設定データを生成し、保存メモリ３６に出力する。保存メモリ３６は、閾値設定部３５から与えられた閾値設定データを記憶する。その後ステップＳ３７に進む。

ステップＳ３５〜ステップＳ３６にて、閾値設定装置３は、図１０に示すステップＳ１３〜ステップＳ１４と同様の処理を行う。その後、ステップＳ３７に進む。

ステップＳ３７にて、領域抽出部３７は、画像メモリ１１から熱画像データを取得し、且つ、保存メモリ３６から今回記憶された閾値設定データを取得する。次いで、当該取得された熱画像データ及び閾値設定データに基づいて、領域抽出部１７と同様の処理により熱画像Ａから顔候補領域及び体候補領域を抽出する。

次いで、ステップＳ３８にて、領域抽出部３７は、当該抽出された顔候補領域及び体候補領域に基づいて、領域抽出部１７と同様の処理により、熱画像Ａから人物領域を抽出する。その後、カウンタの値を１増加させて、ステップＳ３０に戻る。

以上により、本第３の実施の形態では、閾値設定装置３は、閾値設定部３５により設定された閾値を時系列で記憶する。そして、当該記憶された閾値に基づいて、今回の閾値を設定する。具体的には、ヒストグラムの特徴量が示す熱データ値のうち、前回設定された閾値Ｔｈ１〜Ｔｈ３に最も近い熱データ値を今回の閾値Ｔｈ１〜Ｔｈ３として設定する。したがって、周囲環境が急変したり、車両Ｐが右左折をしたりすること等によりヒストグラムの形状が変動しても（特に、ヒストグラムの極大点が人物に対応しなくなっても）、閾値Ｔｈ１〜Ｔｈ３の変動を抑えることができる。言い換えれば、このような場合であっても、人物に対応する熱データ値の範囲で閾値Ｔｈ１〜Ｔｈ３を設定することができる。

（第４の実施の形態）
以下、本発明の第４の実施の形態を図面に基づいて説明する。まず、図１、図６及び図１４に基づいて、本発明の一実施の形態に係る閾値設定装置４の構成要素及び各構成要素の主な機能について説明する。ここで、図１４は、ヒストグラムと人物相当温度帯の一例を示した説明図である。

図１に示すように、閾値設定装置４は、閾値設定装置３のヒストグラム作成部１２、閾値設定部３５及び領域抽出部３７をヒストグラム作成部（グラフ作成手段）４２、閾値設定部（閾値設定手段、判定手段）４５及び領域抽出部（領域抽出手段）４７に変更したものである。

ヒストグラム作成部４２は、ヒストグラム作成部１２と同様の処理によりヒストグラムデータを生成し、当該生成されたヒストグラムデータを特徴量算出部１３及び閾値設定部４５に出力する。

閾値設定部４５は、閾値設定部３５と同様の処理を行う他、以下の処理を行う。即ち、閾値Ｔｈ１〜Ｔｈ３を設定した後、当該設定された閾値Ｔｈ１〜Ｔｈ３と、ヒストグラム作成部４２から与えられたヒストグラムデータに基づいて、人物相当温度帯の面積を算出する。ここで、人物相当温度帯は、上述したように、閾値Ｔｈ３以上閾値Ｔｈ１以下の範囲とヒストグラムのうち当該範囲に対応する部分とで形成される領域である。閾値設定部４５は、さらに、熱画像温度帯の面積を算出する。ここで、熱画像相当温度帯は、ヒストグラムが示す熱データ値の全範囲（ヒストグラムが示す熱データ値の下限値Ｔｈ０から上限値Ｔｈ４までの範囲）と、ヒストグラム全体とで形成される領域である。図６に人物相当温度帯及び熱画像温度帯の一例として、人物相当温度帯１３０及び熱画像温度帯１３３を示す。

そして、閾値設定部４５は、当該人物相当温度帯の面積を熱画像温度帯の面積で除算することで、人物領域が熱画像Ａ中に占める割合αを算出する。そして、当該算出された割合αと、あらかじめ設定された割合βとを比較する。この結果、割合αが割合β以上となる場合には、人物領域から人物を検出することができないと判定し、割合αが割合βより小さい場合には、人物領域から人物を検出することができると判定する。割合αが割合βより小さい場合の一例を図１４（ａ）に、割合αが割合β以上となる場合の一例を図１４（ｂ）に示す。なお、図１４は、ヒストグラム、人物相当温度帯、及び熱画像温度帯の一例として、ヒストグラム１２０、人物相当温度帯１３０ａ〜１３０ｂ、及び熱画像温度帯１３３を示す。

なお、このように判定することができるのは、割合αが大きくなると、人物領域が大きくなるので、人物の検出が困難となるからである。したがって、割合βは、人物領域から人物を検出することができなくなった際の割合αに一致する。

また、閾値設定部４５は、割合αが割合β以上となる場合、人物を検出することができない旨を図示しない提示装置（例えば、ディスプレイやスピーカ）にて提示するとともに、カウンタの値を１にリセットする。

また、閾値設定部４５は、割合αが割合βよりも小さい場合、閾値Ｔｈ１〜Ｔｈ３に関する閾値設定データを生成して保存メモリ３６に出力する。

領域抽出部４７は、人物を検出することができると判定された場合に、領域抽出部３７と同様の処理により、熱画像Ａから人物領域を抽出する。

次に、閾値設定装置４による処理の手順を図１５に示すフローチャートに沿って説明する。

図１５に示すステップＳ４０〜ステップＳ４６にて、閾値設定装置４は、図１３に示すステップＳ３０〜ステップＳ３６と同様の処理を行って、閾値Ｔｈ１〜Ｔｈ３を設定する。なお、ステップＳ４１では、ヒストグラム作成部４２は、生成されたヒストグラムデータを特徴量算出部１３の他、閾値設定部４５にも出力する。

次いで、ステップＳ４７にて、閾値設定部４５は、当該設定された閾値Ｔｈ１〜Ｔｈ３と、ヒストグラム作成部４２から与えられたヒストグラムデータに基づいて、人物相当温度帯の面積及び熱画像温度帯の面積を算出する。次いで、当該人物相当温度帯の面積を熱画像温度帯の面積で除算することで、人物領域が熱画像Ａ中に占める割合αを算出する。

次いで、ステップＳ４８にて、閾値設定部４５は、当該算出された割合αと、あらかじめ設定された割合βとを比較する。この結果、割合αが割合βより小さい場合には、ステップＳ４９に進み、割合αが割合β以上となる場合（ステップＳ４８にてＮＯ）には、ステップＳ５１に進む。

ステップＳ４９にて、閾値設定部４５は、人物領域から人物を検出することができると判定する。次いで、閾値Ｔｈ１〜Ｔｈ３に関する閾値設定データを生成して保存メモリ３６に出力する。保存メモリ３６は、閾値設定部４５から与えられた閾値設定データを記憶する。

次いで、領域抽出部４７は、画像メモリ１１から熱画像データを取得し、且つ、保存メモリ３６から今回記憶された閾値設定データを取得する。次いで、領域抽出部３７と同様の処理により、熱画像Ａから顔候補領域及び体候補領域を抽出する。

次いで、ステップＳ５０にて、領域抽出部４７は、領域抽出部３７と同様の処理により、熱画像Ａから人物領域を抽出するとともに、カウンタの値を１増加させる。その後、ステップＳ４０に戻る。

一方、上述したステップＳ４８の処理において割合αが割合β以上となる場合には、ステップＳ５１にて、閾値設定部４５は、人物を検出することができない旨を図示しない提示装置にて提示するとともに、カウンタの値を１にリセットする。その後、ステップＳ４０に戻る。

以上により、本第４の実施の形態では、閾値設定装置４は、人物領域から人物を検出することができる場合にのみ、閾値設定部３５により設定された閾値Ｔｈ１〜Ｔｈ３を時系列で記憶する。そして、当該記憶された閾値Ｔｈ１〜Ｔｈ３に基づいて、今回の閾値Ｔｈ１〜Ｔｈ３を設定する。

したがって、閾値設定装置４は、閾値Ｔｈ１〜Ｔｈ３を人物が有する熱データ値の範囲内に第３の実施の形態よりも確実に設定することができる。即ち、閾値Ｔｈ１〜Ｔｈ３の信頼性を第３の実施の形態よりも向上させることができる。

また、閾値設定装置４は、人物領域から人物を検出することができる場合にのみ、熱画像Ａから人物領域を抽出する。したがって、領域抽出部４７は、人物領域から人物を検出することができるかどうかを判定する必要がない。具体的には、人物領域の抽出段階において通常行われるラベリング処理、人物領域の面積の算出、人物領域の形状把握等を行う必要が無い。したがって、閾値設定装置４による処理速度が向上する。また、これらの処理を行うことなく、人物検出の可否、及び閾値再設定の必要性を判定することができる。

なお、上述した第１〜第４の実施の形態に記載の技術を互いに組み合わせることができるのはもちろんである。

また、第１〜第４の実施の形態では、検出対象物として人物を検出することとしたが、他の検出物体、例えば道路構造物を検出するようにしてもよい。

本発明の一実施の形態に係る閾値設定装置の構成を示すブロック図である。 （ａ）カメラの設置位置を示した側面図である。（ｂ）カメラの設置位置を示した平面図である。 カメラにより取得される熱画像の一例を示す説明図である。 ヒストグラムの一例を示す説明図である。 特徴量の一例を示す説明図である。 人物相当温度帯の一例を示す説明図である。 顔候補領域の一例を示す説明図である。 体候補領域の一例を示す説明図である。 人物領域の一例を示す説明図である。 閾値設定装置による処理の手順を示したフローチャートである。 所定時間毎に作成されるヒストグラムの一例を示す説明図である。 閾値設定装置による処理の手順を示したフローチャートである。 閾値設定装置による処理の手順を示したフローチャートである。 （ａ）人物相当温度帯の一例を示す説明図である。（ｂ）人物相当温度帯の一例を示す説明図である。 閾値設定装置による処理の手順を示したフローチャートである。

符号の説明

１〜４…閾値設定装置
１０…カメラ（画像取得手段）
１１…画像メモリ
１２、２２、４２…ヒストグラム作成部（グラフ作成手段）
１３…特徴量算出部（特徴量算出手段）
１４…初期設定部
１５、２５、３５、４５…閾値設定部（閾値設定手段）
１６、２６、３６…保存メモリ（記憶手段）
１７、３７、４７…領域抽出部（領域抽出手段）
１２０、１２０ａ〜１２０ｃ…ヒストグラム（度数分布グラフ）
１２１、１２１ａ…極大点
１２２、１２２ａ…極小点
１２３、１２３ａ…変曲点

Claims (5)

1. 車両に搭載される閾値設定装置において、
   前記車両周辺の状態量データ値を有する画像を取得する画像取得手段と、
   前記画像取得手段により取得された画像に基づいて、前記状態量データ値と、前記状態量データ値の度数との関係を示す度数分布グラフを作成するグラフ作成手段と、
   前記グラフ作成手段により作成された度数分布グラフに基づいて、前記度数分布グラフの極大点及び変曲点を含む特徴量を算出する特徴量算出手段と、
   前記特徴量算出手段により算出された特徴量と、前記車両の周辺環境とに基づいて、所定の検出対象物が有する状態量データ値の範囲を示す閾値を設定する閾値設定手段と、
   前記画像取得手段により取得された画像から、前記閾値設定手段により設定された閾値が示す範囲内の状態量データ値を有する検出対象物領域を抽出する領域抽出手段と、を備えることを特徴とする閾値設定装置。
2. 車両に搭載される閾値設定装置において、
   前記車両周辺の状態量データ値を有する画像を取得する画像取得手段と、
   前記画像取得手段により取得された画像に基づいて、前記状態量データ値と、前記状態量データ値の度数との関係を示す度数分布グラフを作成するグラフ作成手段と、
   前記グラフ作成手段により作成された度数分布グラフを時系列で記憶する記憶手段と、
   前記記憶手段により記憶された度数分布グラフに基づいて、所定の検出対象物が有する状態量データ値の範囲を示す閾値を設定する閾値設定手段と、
   前記画像取得手段により取得された画像から、前記閾値設定手段により設定された閾値が示す範囲内の状態量データ値を有する検出対象物領域を抽出する領域抽出手段と、を備えることを特徴とする閾値設定装置。
3. 請求項１記載の閾値設定装置において、
   前記閾値設定手段により設定された閾値を時系列で記憶する記憶手段を備え、
   前記閾値設定手段は、前記記憶手段により記憶された閾値に基づいて、今回の閾値を設定することを特徴とする閾値設定装置。
4. 請求項１〜３のいずれか１項に記載の閾値設定装置において、
   前記グラフ作成手段により作成された度数分布グラフと、前記閾値設定手段により設定された閾値と、に基づいて、前記検出対象物領域が前記画像中に占める割合を算出し、当該算出された割合に基づいて、前記検出対象物の検出可能性を判定する判定手段を備え、
   前記領域抽出手段は、前記検出対象物が検出可能であると判定された場合には、前記画像から前記検出対象物領域を抽出することを特徴とする閾値設定装置。
5. 車両周辺の状態量データ値を有する画像を取得する第１の工程と、
   前記第１の工程により取得された画像に基づいて、前記状態量データ値と、前記状態量データ値の度数との関係を示す度数分布グラフを作成する第２の工程と、
   前記第２の工程により作成された度数分布グラフに基づいて、前記度数分布グラフの極大点及び変曲点を含む特徴量を算出する第３の工程と、
   前記第３の工程により算出された特徴量と、前記車両の周辺環境とに基づいて、所定の検出対象物が有する状態量データ値の範囲を示す閾値を設定する第４の工程と、
   前記第１の工程により取得された画像から、前記第４の工程により設定された閾値が示す範囲内の状態量データ値を有する検出対象物領域を抽出する第５の工程と、を備えることを特徴とする閾値設定方法。
   

Images