JP2012247225A - 検出装置及び検出方法 - Google Patents
検出装置及び検出方法 Download PDFInfo
- Publication number
- JP2012247225A JP2012247225A JP2011117249A JP2011117249A JP2012247225A JP 2012247225 A JP2012247225 A JP 2012247225A JP 2011117249 A JP2011117249 A JP 2011117249A JP 2011117249 A JP2011117249 A JP 2011117249A JP 2012247225 A JP2012247225 A JP 2012247225A
- Authority
- JP
- Japan
- Prior art keywords
- distance
- detection
- output
- gradation value
- infrared sensor
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Withdrawn
Links
Images
Landscapes
- Geophysics And Detection Of Objects (AREA)
Abstract
【課題】検出対象物の検出精度を向上させること。
【解決手段】受光した赤外領域の光に応じた量の信号を出力する赤外線センサーと、環境温度を取得する環境温度取得部と、検出対象物を検出しようとする距離に応じて前記環境温度毎に設けられ、前記赤外線センサーの出力を階調値に変換することに用いるルックアップテーブルを記憶する記憶部と、前記環境温度取得部が取得した環境温度と前記検出対象物を検出しようとする距離とに対応する前記ルックアップテーブルを参照し、前記赤外線センサーの出力を前記階調値に変換して解像度が異なる複数の画像を生成し、前記検出対象物を検出することに用いる所定サイズの探索窓を前記複数の画像内に適用して前記検出対象物を検出する演算部と、を備える検出装置。
【選択図】図6
【解決手段】受光した赤外領域の光に応じた量の信号を出力する赤外線センサーと、環境温度を取得する環境温度取得部と、検出対象物を検出しようとする距離に応じて前記環境温度毎に設けられ、前記赤外線センサーの出力を階調値に変換することに用いるルックアップテーブルを記憶する記憶部と、前記環境温度取得部が取得した環境温度と前記検出対象物を検出しようとする距離とに対応する前記ルックアップテーブルを参照し、前記赤外線センサーの出力を前記階調値に変換して解像度が異なる複数の画像を生成し、前記検出対象物を検出することに用いる所定サイズの探索窓を前記複数の画像内に適用して前記検出対象物を検出する演算部と、を備える検出装置。
【選択図】図6
Description
本発明は、検出装置及び検出に関する。
赤外線センサーを用いて人体等の温体を検出する装置の開発が行われている。このような装置は、車両周囲に人体等が存在する場合に、その旨を車両の乗員に認識させることなどに用いられる。
特許文献1には、人体等の温体と、背景としての路面や大気との温度関係と、をもとにして、第1の赤外線センサーからの出力と第2の赤外線センサーからの出力とを選択的に切り替えることが示されている。
特許文献2には、予め赤外線カメラの出力特性を測定し、絶対温度算出式における計算定数を求めておき、この計算定数と雰囲気温度との関係を表すための補正定数を記憶することが示されている。そして、これらに基づいて処理を行って、熱画像及び絶対温度の数値を表示回路に表示することが示されている。
しかしながら、特許文献1の手法を用いた場合、赤外線センサーの選択を適切に行うために、日射センサーや外気温センサー、さらには風速センサー等の外環境情報を取得するセンサーを複数用いるため、回路構成が複雑なものとなる。
また、特許文献2の手法を用いた場合、温体が遠距離に存在する場合の外乱影響が考慮されておらず、検出対象である人体を背景から分離することが困難で、人体の存在を精度良く検知できないという問題がある。
本発明は、このような事情に鑑みてなされたものであり、検出対象物の検出精度を向上させることを目的とする。
上記目的を達成するための主たる発明は、
受光した赤外領域の光に応じた量の信号を出力する赤外線センサーと、
環境温度を取得する環境温度取得部と、
検出対象物を検出しようとする距離に応じて前記環境温度毎に設けられ、前記赤外線センサーの出力を階調値に変換することに用いるルックアップテーブルを記憶する記憶部と、
前記環境温度取得部が取得した環境温度と前記検出対象物を検出しようとする距離とに対応する前記ルックアップテーブルを参照し、前記赤外線センサーの出力を前記階調値に変換して解像度が異なる複数の画像を生成し、前記検出対象物を検出することに用いる所定サイズの探索窓を前記複数の画像内に適用して前記検出対象物を検出する演算部と、
を備える検出装置である。
受光した赤外領域の光に応じた量の信号を出力する赤外線センサーと、
環境温度を取得する環境温度取得部と、
検出対象物を検出しようとする距離に応じて前記環境温度毎に設けられ、前記赤外線センサーの出力を階調値に変換することに用いるルックアップテーブルを記憶する記憶部と、
前記環境温度取得部が取得した環境温度と前記検出対象物を検出しようとする距離とに対応する前記ルックアップテーブルを参照し、前記赤外線センサーの出力を前記階調値に変換して解像度が異なる複数の画像を生成し、前記検出対象物を検出することに用いる所定サイズの探索窓を前記複数の画像内に適用して前記検出対象物を検出する演算部と、
を備える検出装置である。
本発明の他の特徴については、本明細書及び添付図面の記載により明らかにする。
本明細書及び添付図面の記載により、少なくとも、以下の事項が明らかとなる。すなわち、
受光した赤外領域の光に応じた量の信号を出力する赤外線センサーと、
環境温度を取得する環境温度取得部と、
検出対象物を検出しようとする距離に応じて前記環境温度毎に設けられ、前記赤外線センサーの出力を階調値に変換することに用いるルックアップテーブルを記憶する記憶部と、
前記環境温度取得部が取得した環境温度と前記検出対象物を検出しようとする距離とに対応する前記ルックアップテーブルを参照し、前記赤外線センサーの出力を前記階調値に変換して解像度が異なる複数の画像を生成し、前記検出対象物を検出することに用いる所定サイズの探索窓を前記複数の画像内に適用して前記検出対象物を検出する演算部と、
を備える検出装置。
一般的に、赤外線センサーからの距離に応じて、背景に対する検出対象物の温度の取得精度が異なる。また、環境温度によっても背景に対する検出対象物の温度が異なる。よって、このように、赤外線センサーの出力を階調値に変換するためのルックアップテーブルを複数用意しておき、取得した環境温度と検出対象物を検出しようとする距離とに応じて赤外線センサーの出力を階調値に変換することにより、環境温度と距離に応じて検出対象物の検出を最適化することができ、検出対象物の検出精度を向上させることができる。
受光した赤外領域の光に応じた量の信号を出力する赤外線センサーと、
環境温度を取得する環境温度取得部と、
検出対象物を検出しようとする距離に応じて前記環境温度毎に設けられ、前記赤外線センサーの出力を階調値に変換することに用いるルックアップテーブルを記憶する記憶部と、
前記環境温度取得部が取得した環境温度と前記検出対象物を検出しようとする距離とに対応する前記ルックアップテーブルを参照し、前記赤外線センサーの出力を前記階調値に変換して解像度が異なる複数の画像を生成し、前記検出対象物を検出することに用いる所定サイズの探索窓を前記複数の画像内に適用して前記検出対象物を検出する演算部と、
を備える検出装置。
一般的に、赤外線センサーからの距離に応じて、背景に対する検出対象物の温度の取得精度が異なる。また、環境温度によっても背景に対する検出対象物の温度が異なる。よって、このように、赤外線センサーの出力を階調値に変換するためのルックアップテーブルを複数用意しておき、取得した環境温度と検出対象物を検出しようとする距離とに応じて赤外線センサーの出力を階調値に変換することにより、環境温度と距離に応じて検出対象物の検出を最適化することができ、検出対象物の検出精度を向上させることができる。
かかる検出装置であって、前記検出対象物を検出しようとする距離が第1の距離の場合には、前記画像の解像度が第1の解像度であり、前記距離が前記第1の距離よりも遠い第2の距離の場合には、前記画像の解像度は前記第1の解像度よりも高い第2の解像度であることが望ましい。
検出対象物を検出しようとする距離が第1の距離よりも遠い第2の距離の場合の方が画像の解像度が高いので、第1の距離に対応する画像と第2の距離に対応する画像とでは、第2の距離のほうが画像に対する探索窓のサイズが相対的に小さくなる。これにより、所定のサイズの探索窓を適用して、遠距離から近距離にかけての検出対象物を検出することができる。
検出対象物を検出しようとする距離が第1の距離よりも遠い第2の距離の場合の方が画像の解像度が高いので、第1の距離に対応する画像と第2の距離に対応する画像とでは、第2の距離のほうが画像に対する探索窓のサイズが相対的に小さくなる。これにより、所定のサイズの探索窓を適用して、遠距離から近距離にかけての検出対象物を検出することができる。
また、前記環境温度毎に設けられるルックアップテーブルにおいて、前記環境温度が第1の温度の場合には、前記赤外線センサーの出力に対する前記階調値は第1の範囲であり、前記環境温度が前記第1の温度よりも高い第2の温度の場合には、前記赤外線センサーの出力に対する前記階調値が前記第1の範囲よりも高い第2の範囲であることが望ましい。
例えば検出対象が人体の場合などには環境温度が高いと背景と検出対象物との温度差がつきにくい。よって、環境温度が第1の温度の場合には階調値が第1の範囲であり、環境温度が第1の温度よりも高い第2の温度の場合には階調値第1の範囲よりも高い第2の範囲とすることで、変換後における背景と検出対象物との差があらわれやすくすることができる。
例えば検出対象が人体の場合などには環境温度が高いと背景と検出対象物との温度差がつきにくい。よって、環境温度が第1の温度の場合には階調値が第1の範囲であり、環境温度が第1の温度よりも高い第2の温度の場合には階調値第1の範囲よりも高い第2の範囲とすることで、変換後における背景と検出対象物との差があらわれやすくすることができる。
また、前記ルックアップテーブルにおいて、前記赤外線センサーの出力が第1の出力範囲の場合には、前記階調値の増加量は第1の増加量であり、前記赤外線センサーの出力が前記第1の出力範囲よりも大きい第2の出力範囲の場合には、前記階調値の増加量は前記第1の増加量よりも大きい第2の増加量であり、かつ、前記検出対象物を検出しようとする距離が第3の距離の場合には、前記階調値の増加量は第3の増加量であり、前記距離が前記第3の距離よりも遠い第4の距離の場合には、前記階調値の増加量は前記第3の増加量よりも大きい第4の増加量であることが望ましい。
一般に、検出対象物の距離が遠いほど周囲の大気の揺らぎなどにより背景温度と検出対象物との温度差があらわれにくくなる。よって、赤外線センサーの出力が第1の出力範囲の場合には、階調値の増加量は第1の増加量であり、赤外線センサーの出力が第1の出力範囲よりも大きい第2の出力範囲の場合には、階調値の増加量は第1の増加量よりも大きい第2の増加量であり、かつ、検出対象物を検出しようとする距離が第3の距離の場合には、階調値の増加量は第3の増加量であり、距離が第3の距離よりも遠い第4の距離の場合には、階調値の増加量は第3の増加量よりも大きい第4の増加量とすることで、距離が離れている場合であっても、背景温度と検出対象物の温度との差が表れやすいように階調値への変換を行うことができる。
一般に、検出対象物の距離が遠いほど周囲の大気の揺らぎなどにより背景温度と検出対象物との温度差があらわれにくくなる。よって、赤外線センサーの出力が第1の出力範囲の場合には、階調値の増加量は第1の増加量であり、赤外線センサーの出力が第1の出力範囲よりも大きい第2の出力範囲の場合には、階調値の増加量は第1の増加量よりも大きい第2の増加量であり、かつ、検出対象物を検出しようとする距離が第3の距離の場合には、階調値の増加量は第3の増加量であり、距離が第3の距離よりも遠い第4の距離の場合には、階調値の増加量は第3の増加量よりも大きい第4の増加量とすることで、距離が離れている場合であっても、背景温度と検出対象物の温度との差が表れやすいように階調値への変換を行うことができる。
また、前記検出対象物の検出は、前記画像に対する前記探索窓のテンプレートマッチングによって行われることが望ましい。
検出対象物の距離に応じたサイズに画像の解像度を変更した場合において、探索窓のサイズを変更することなくテンプレートマッチングにより検出対象物を検出することができる。
検出対象物の距離に応じたサイズに画像の解像度を変更した場合において、探索窓のサイズを変更することなくテンプレートマッチングにより検出対象物を検出することができる。
また、前記演算部によって検出された前記検出対象物を表示する表示部をさらに備え、前記演算部は、前記複数の画像から前記検出対象物を検出した場合に、前記複数の画像から検出された前記検出対象物を合成した画像を生成し、前記表示部は、前記合成した画像を表示する、ことが望ましい。
このようにすることで、遠距離で検出された検出対象物と近距離で検出された検出対象物とを適切に表示部に表示することができる。
このようにすることで、遠距離で検出された検出対象物と近距離で検出された検出対象物とを適切に表示部に表示することができる。
また、本明細書及び添付図面の記載により、少なくとも、以下の事項も明らかとなる。すなわち、
受光した赤外領域の光に応じた量の信号を出力することと、
環境温度を取得することと、
前記環境温度と検出対象物を検出しようとする距離とに対応するルックアップテーブルを参照し、前記赤外領域の光に応じた量の信号を階調値に変換して解像度が異なる複数の画像を生成し、前記検出対象物を検出することに用いる所定サイズの探索窓を前記複数の画像に適用して前記検出対象物を検出することと、
を含む検出方法である。
このように、赤外線センサーの出力を階調値に変換するためのルックアップテーブルを複数用意しておき、取得した環境温度と検出対象物を検出しようとする距離とに応じて赤外線センサーの出力を階調値に変換することにより、環境温度と距離に応じて検出対象物の検出を最適化することができ、検出対象物の検出精度を向上させることができる。
受光した赤外領域の光に応じた量の信号を出力することと、
環境温度を取得することと、
前記環境温度と検出対象物を検出しようとする距離とに対応するルックアップテーブルを参照し、前記赤外領域の光に応じた量の信号を階調値に変換して解像度が異なる複数の画像を生成し、前記検出対象物を検出することに用いる所定サイズの探索窓を前記複数の画像に適用して前記検出対象物を検出することと、
を含む検出方法である。
このように、赤外線センサーの出力を階調値に変換するためのルックアップテーブルを複数用意しておき、取得した環境温度と検出対象物を検出しようとする距離とに応じて赤外線センサーの出力を階調値に変換することにより、環境温度と距離に応じて検出対象物の検出を最適化することができ、検出対象物の検出精度を向上させることができる。
また、本明細書及び添付図面の記載により、少なくとも、以下の事項も明らかとなる。すなわち、
受光した赤外領域の光に応じた量の信号を出力する赤外線センサーと、
環境温度を取得する環境温度取得部と、
検出対象物を検出しようとする距離に応じて前記環境温度毎に設けられ、前記赤外線センサーの出力を階調値に変換することに用いるルックアップテーブルを記憶する記憶部と、
前記環境温度取得部が取得した環境温度と前記検出対象物を検出しようとする距離とに対応する前記ルックアップテーブルを参照し、前記赤外線センサーの出力を前記階調値に変換して複数の画像を生成し、前記検出対象物を検出しようとする距離に応じたサイズの探索窓を、前記複数の画像に適用して前記検出対象物を検出する演算部と、
を備える検出装置である。
このように、環境温度と距離とに応じて赤外線センサーの出力を変換した階調値に変換した画像に、検出対象物を検出しようとする距離に応じたサイズの探索窓を適用することによっても、検出対象物の検出精度を向上させることができる。
受光した赤外領域の光に応じた量の信号を出力する赤外線センサーと、
環境温度を取得する環境温度取得部と、
検出対象物を検出しようとする距離に応じて前記環境温度毎に設けられ、前記赤外線センサーの出力を階調値に変換することに用いるルックアップテーブルを記憶する記憶部と、
前記環境温度取得部が取得した環境温度と前記検出対象物を検出しようとする距離とに対応する前記ルックアップテーブルを参照し、前記赤外線センサーの出力を前記階調値に変換して複数の画像を生成し、前記検出対象物を検出しようとする距離に応じたサイズの探索窓を、前記複数の画像に適用して前記検出対象物を検出する演算部と、
を備える検出装置である。
このように、環境温度と距離とに応じて赤外線センサーの出力を変換した階調値に変換した画像に、検出対象物を検出しようとする距離に応じたサイズの探索窓を適用することによっても、検出対象物の検出精度を向上させることができる。
===第1実施形態===
図1は、第1実施形態における歩行者検知システム1(検出装置)の概略構成を示すブロック図である。本実施形態における検出対象物は歩行者であり、図1には、赤外線カメラ10と歩行者検知装置20とディスプレイ30が示されている。
図1は、第1実施形態における歩行者検知システム1(検出装置)の概略構成を示すブロック図である。本実施形態における検出対象物は歩行者であり、図1には、赤外線カメラ10と歩行者検知装置20とディスプレイ30が示されている。
赤外線カメラ10(赤外線センサーに相当)は、中赤外線及び遠赤外線の波長をとらえデジタル値の映像信号を歩行者検知装置20に送信する。ここで、中赤外線は2.5μm〜4.0μmの波長、遠赤外線は、4μm〜1000μmの波長を有する光である。第1実施形態では、8〜14μmの波長を用いて体温を検出対象とするが、この波長に限られず、温度を検出できる波長であればよい。赤外線カメラ10は、車両のフロントグリル部などに搭載される。そして、自車両(赤外線カメラ10を搭載した車両、本実施形態では赤外線カメラ10と歩行者検知装置20とディスプレイ30の全てが搭載されている)から前方方向の環境を撮影する。
歩行者検知装置20は、画像処理ボード201と、中央演算装置(CPU)等の処理部202と、ランダムアクセスメモリー(RAM)などの記憶部203を含む。そして、後述するような処理により、これら画像処理ボード201と処理部202と記憶部203が協働して動作し、ディスプレイ30に表示するデータを生成する。ディスプレイ30は、生成されたデータに基づく情報を表示する。
温度センサー40は、車両に搭載され、車両の周辺温度(環境温度に相当)を取得する。なお、この周辺温度は、前述の赤外線カメラ10から出力されるデジタル信号に基づいて取得されるようにすれば、温度センサー40を設けない構成とすることもできる。
図2は、第1実施形態における歩行者検知システム1における歩行者検知装置20の詳細なブロック図である。赤外線カメラ10は、撮像部11とアナログデジタル変換部(A/D変換部)12を含む。撮像部11は、赤外線カメラの受光素子に対応するものであり、受光素子が受光した赤外領域の光に対応した信号を出力する。A/D変換部12は、撮像部11で得られたアナログ信号をデジタル信号に変換する機能を有する。
歩行者検知装置20は、画像格納部21と、特徴量抽出部22と、歩行者判定部23と、表示制御部24と、歩行者テーブル格納部25を含む。これらの各部は、上述の画像処理ボード201と、CPU202と、RAM203により実現されている。
画像格納部21は、撮像部11から得られた映像(例えば、15fpsの映像)から、1画像ずつ順次処理するために、赤外線カメラ10から取得したデジタル信号を一時的に保管する。特徴量抽出部22は、画像格納部21に格納されたデジタル信号を順次読み込み、後述するルックアップテーブルを参照して複数の階調値からなる画像(以下、変換画像)へと変換する。そして、この変換画像に基づいて特徴量を抽出する処理を行う。特徴量としては、例えば、歩行者を検出することを前提とした場合、予め歩行者のテンプレート画像を保持しておき、そのテンプレート画像の階調値と変換画像の階調値との階調値(濃度)差分を算出した値を特徴量として扱うことができる。
歩行者判定部23は、特徴量抽出部22の処理により得られた特徴量と、歩行者テーブルのデータテーブル値とを比較して、対象領域が歩行者であるか否かについて判定する。上記のようなテンプレートを用いて検出を行う場合において、上記の階調値差分の値が閾値以下の場合には、歩行者として判定する。一方、階調値差分の値が閾値より大きい場合は、歩行者ではないものとして判定を行う。なお、この閾値は、実験的に予め求められるものである。
歩行者テーブル格納部25は、前述の特徴量抽出部22及び歩行者判定部23で用いられるデータを記憶する。例えば、前述のようにテンプレートを用いる場合には、歩行者などの複数のテンプレート画像を記憶する。
表示制御部24は、歩行者判定部23における判定結果を運転者に伝えるために、表示部31への描画画像を作成する。例えば、赤外線画像として得られている自車両前方映像に、歩行者として判定された箇所を、歩行者を含むようにして強調表示させたり、注意を喚起するために表示部31をフラッシュさせたりする。
図3は、第1実施形態の概略図である。図4は、歩行者検出処理を説明するフローチャートである。以下、これらの図を参照しつつ、歩行者検出処理について説明を行う。第1実施形態における歩行者検出処理は、赤外線センサーの出力に基づいて階調を有する画像を作成することで、検出対象の歩行者の表面温度とその背景との温度差に基づいて歩行者を検出する処理である。
検出対象物から放射される赤外線に応じた出力を赤外線カメラ10から取得する(S102)。次に、温度センサー40によって、車両の周辺温度が計測される(S104)この車両の周辺温度は、前述のように赤外線カメラ10からの出力に基づいて類推するものとしてもよい。
そして、ステップS102において取得された赤外線センサー出力と、ステップS104において取得された周辺温度と、に基づいて後述する複数の画像からなる画像ピラミッドを作成する(S106)。
図5は、画像ピラミッド作成処理を説明するフローチャートである。図6は、画像ピラミッドの説明図である。画像ピラミッドとは、サイズ(解像度)の異なる画像を作成した結果、図6に示されるように、最もサイズの小さい画像を頂点としたピラミッド状に見えることからこのように略称される。図6には、近距離に対応する変換画像(a)と、中距離に対応する変換画像(b)と、遠距離に対応する変換画像(c)が示されている。ここでの距離は、自車両(赤外線カメラ10)から検出対象物を検出しようとする位置までの距離である。
画像ピラミッド作成処理において、最初に、ステップS102で得られた赤外線センサーの出力を取得する(S202)。次に、ステップS104において得られた周辺温度に基づいて、対応する温度のルックアップテーブル(LUT)を選択する(S204)。
図7は、第1実施形態に用いられるルックアップテーブルの説明図である。図は、赤外線センサーの出力値に対する階調値の関係を表するグラフである。横軸が赤外線センサーの出力値、縦軸が階調値を表す。また、破線は周辺温度が20℃のときの階調値を示し、実線は周辺温度が30℃のときの階調値を示す。なお、ここでは20℃のものと30℃のものを例示しているが、これよりも多くのテンプレートが用意される。また、ここでは、近距離(40m〜80m)のものと、中距離(80m〜100m)のものと、遠距離(100m〜200m)のものを示しているが、より細分化されたものを用意することもできる。
図7に示されるように、これらのルックアップテーブルは、環境温度が高いほど赤外線センサーの出力に対する階調値が高くなっている。すなわち、環境温度がある温度(第1の温度)の場合には、赤外線センサーの出力に対する階調値はある範囲(第1の範囲)であり、環境温度が第1の温度よりも高い第2の温度の場合には、赤外線センサーの出力に対する階調値が前記第1の範囲よりも高い第2の範囲である。また、これらルックアップテーブルにおける赤外線センサーの出力と階調値との関係は、赤外線センサーの出力が高いほど階調値の増加量が高くなる関係であり、この増加量は後述する距離が遠いほど高いものになっている。例えば、これらのルックアップテーブルは、階調値をGとし、赤外線センサーの出力値(距離に対応する値)をdとしたとき、
G(d)=B0+B1・d+B2・d2+B3・d3+B4・d4
但し、B0〜B4は距離別または温度別に決められた定数
のような多項式で表すことができる。本実施形態においては、B0〜B4は距離と温度の両方に基づいて定められている。すなわち、赤外線センサーの出力が第1の出力範囲の場合には、階調値の増加量は第1の増加量であり、赤外線センサーの出力が第1の出力範囲よりも大きい第2の出力範囲の場合には、階調値の増加量は第1の増加量よりも大きい第2の増加量であり、かつ、検出対象物を検出しようとする距離が第3の距離の場合には、階調値の増加量は第3の増加量であり、距離が前記第3の距離よりも遠い第4の距離の場合には、階調値の増加量は第3の増加量よりも大きい第4の増加量である。
G(d)=B0+B1・d+B2・d2+B3・d3+B4・d4
但し、B0〜B4は距離別または温度別に決められた定数
のような多項式で表すことができる。本実施形態においては、B0〜B4は距離と温度の両方に基づいて定められている。すなわち、赤外線センサーの出力が第1の出力範囲の場合には、階調値の増加量は第1の増加量であり、赤外線センサーの出力が第1の出力範囲よりも大きい第2の出力範囲の場合には、階調値の増加量は第1の増加量よりも大きい第2の増加量であり、かつ、検出対象物を検出しようとする距離が第3の距離の場合には、階調値の増加量は第3の増加量であり、距離が前記第3の距離よりも遠い第4の距離の場合には、階調値の増加量は第3の増加量よりも大きい第4の増加量である。
ステップS204において、例えば周辺温度が20℃として得られていたとき、図7に示されるルックアップテーブルのうち、破線で表した20℃のものが選択されることになる。
次に、画像サイズの初期化を行う(S206)。画像サイズの初期化は、後に作成される複数の変換画像の画像サイズを決定する処理である。画像サイズの決定は、縦横のピクセル数を決定することにより行われる。
この決定は、近距離(例えば、40m〜80m)の歩行者を検出対象とした場合、テンプレートマッチングで用いられる探索窓Wのサイズ(縦横のピクセル数)が近距離における歩行者のサイズ(縦横のピクセル数)とほぼ同じになるように行われる。例えば、赤外線カメラが出力する画像と同じサイズ(QVGA320×240pixel相当)の縦横のピクセル数を、近距離における変換画像サイズとする。
また、この決定は、中距離(例えば、80m〜100m)の歩行者を検出対象とした場合、テンプレートマッチングで用いられる探索窓Wのサイズ(縦横のピクセル数)が中距離における歩行者のサイズ(縦横のピクセル数)とほぼ同じになるように行われる。例えば、赤外線カメラが出力する画像の4倍(面積比)のサイズ(VGA640×480pixel相当)の縦横のピクセル数を、中距離における変換画像サイズとする。すなわち、検出対象物を検出しようとする距離が第1の距離の場合には、画像の解像度が第1の解像度であり、距離が第1の距離よりも遠い第2の距離の場合には、画像の解像度は第1の解像度よりも高い第2の解像度である。
次に、変換画像サイズに対応するルックアップテーブル(LUT)を選択する(S208)。このルックアップテーブルの選択は、ステップS204において既に選択された20℃に対応する複数のルックアップテーブルから、変換画像サイズに対応する距離に対応するルックアップテーブルを選択する。例えば、上述のQVGAサイズ(近距離(40m〜80m)に対応している)の画像を作成するときにおいて、図7における20℃かつ近距離のルックアップテーブルが選択されることになる。また、上述のVGAサイズ(中距離(100m〜200m)に対応している)の画像を作成するときにおいて、図7における20℃かつ中距離のルックアップテーブルが選択されることになる。
このようにして選択したルックアップテーブルを参照し、赤外線カメラの出力に対応する階調値を取得し(S210)、画像(ここでは、まだ全てQVGAサイズの画像)を生成する。
次に、ステップS210において得られた階調値からなる画像を、ステップS206で決定した画像サイズに変換する(S212)。例えば、ステップS210で得られた元画像サイズがQVGA(320×240pixel)であるから、中距離用の画像サイズVGA(640×480pixel相当)に変換する場合、縦横それぞれ2倍に拡大する。画像を拡大する処理アルゴリズムとしては、バイリニア法による補間を用いることができるが、これに限られず、バイキュービック法による補間を用いてもよい。このようにして変換された画像は、メモリ(記憶部203)に記憶される。
次に、画像ピラミッドに必要な画像サイズを全て作成したか否かを判定する(S214)。例えば、近距離用の変換画像、中距離用の変換画像、及び、遠距離用の変換画像の全てを作成したか否かを判定する。そして、全て作成したと判定した場合(S214がYES)には、本処理を終了し、全ての作成を完了していないと判定した場合(S214がNO)には、ステップS206へと進み、次の変換画像を作成する。
このようにして、画像ピラミッド作成処理が完了すると、次に、歩行者判定処理が行われる(S108)。歩行者判定処理は、ステップS106の画像ピラミッド作成処理において得られた複数の変換画像から歩行者を検出する処理である。
ここでは、例えば、テンプレートマッチング手法が用いられる。テンプレートマッチング手法において、画像ピラミッド内の探索窓領域において特徴量値を算出し、データテーブルに予め格納された値と比較する。具体的には、前述のように、探索窓Wの画素の階調値と変換画像のうち探索窓Wの領域に対応する画素の階調値との差分を求める。そして、この差分の絶対値が、所定の閾値以下の場合には歩行者であると判定する。一方、所定の閾値よりも大きい場合には歩行者ではないと判定する。なお、この所定の閾値は、実験的に予め求められるものである。
このような判定は、図6に示されるように探索窓Wを変換画像上で1画素ずつ(又は複数画素分)動かしながら行われる。このようにして、歩行者であると判定された場合、歩行者であると判定したときの探索窓Wの変換画像上の位置と、変換画像のサイズを記憶する。このような歩行者検知処理を、全ての画像ピラミッドに対して行う。
次に、歩行者検知結果の描画が行われる(S110)。本実施形態においては、ステップS108において得られた結果から、歩行者の位置を強調表示する描画画像を用意する。ステップS108においては、画像サイズの異なる複数の画像のそれぞれについて、検知結果が得られているので、これらの結果を合成した画像を生成する。例えば、遠距離用の変換画像から1人、近距離用の変換画像から1人が検出された場合には、2人の歩行者を強調表示する1枚の画像が生成される。そして、ステップS110において用意した画像をディスプレイに表示することで、運転者に危険を警告する(S112)。場合によっては、運転支援として、ブレーキをかけることをアシストしたり、視覚補助としてフロントライトがダウンライトになっているのをアップライトにする。
再度、図3を参照する。図3の、「距離別画像生成」では、例示として遠距離用の変換画像と近距離用の変換画像が示されている。遠距離用の変換画像は、遠距離すなわち小さく映った人物を検出するために、遠距離の人物の階調値(濃度)に最適化されたルックアップテーブルを用いて作成された。その結果、遠距離用の画像に写る近距離の人物は黒つぶれしている。しかしながら、前述のテンプレートマッチングでは、この近距離の人物はそもそも検出対象としていないため問題は生じない。また、近距離用の変換画像は、近距離すなわち大きく映った人物を検出するために、近距離の人物の階調値(濃度)に最適化されたルックアップテーブルを用いて作成された。その結果、近距離用の画像に写る遠距離の人物は白飛び(破線で表される)している。しかしながら、前述のテンプレートマッチングでは、この遠距離の人物はそもそも検出対象としていないため問題は生じない。
第1実施形態では、このようにして得られた画像に対してそれぞれテンプレートマッチングを行って、最終的に結果を合成して表示することとしている。このようにすることで、車両運転手に対して、歩行者等の視認性を高めることができ、車両前方に人物が存在する場合に、その旨を運転手に適切に認識させることができる。また、周囲温度によって、赤外線カメラの出力特性が変化した場合であっても、近距離及び遠距離の検出対象物の正確な検出処理が可能となる。
===第2実施形態===
前述の第1実施形態では、探索窓Wのサイズは一定として、複数のサイズの変換画像を作成することでテンプレートマッチングを行っていたが、検出方法はこれに限られない。例えば、変換画像のサイズを一定にしつつ、探索窓Wのサイズを距離に応じて変更することとしてもよい。この場合、前述のステップS206とステップS212は省略される。そして、人物に対応する探索窓Wが、距離に応じて複数のサイズで用意されることになる。
前述の第1実施形態では、探索窓Wのサイズは一定として、複数のサイズの変換画像を作成することでテンプレートマッチングを行っていたが、検出方法はこれに限られない。例えば、変換画像のサイズを一定にしつつ、探索窓Wのサイズを距離に応じて変更することとしてもよい。この場合、前述のステップS206とステップS212は省略される。そして、人物に対応する探索窓Wが、距離に応じて複数のサイズで用意されることになる。
このようにすることによっても、複数の画像のぞれぞれは、検出対象物の距離に最適なルックアップテーブルを用いて作成されているので、近距離および遠距離の検出対象物の正確な検出処理が可能となる。
1 歩行者検知システム、
10 赤外線カメラ、11 撮像部、12 A/D変換部、
20 歩行者検知装置、21 画像格納部、22 特徴量抽出部、
23 歩行者判定部、24 表示制御部、25 歩行者テーブル格納部、
30 ディスプレイ、31 表示部、
201 画像処理ボード、202 処理部、203 記憶部
10 赤外線カメラ、11 撮像部、12 A/D変換部、
20 歩行者検知装置、21 画像格納部、22 特徴量抽出部、
23 歩行者判定部、24 表示制御部、25 歩行者テーブル格納部、
30 ディスプレイ、31 表示部、
201 画像処理ボード、202 処理部、203 記憶部
Claims (8)
- 受光した赤外領域の光に応じた量の信号を出力する赤外線センサーと、
環境温度を取得する環境温度取得部と、
検出対象物を検出しようとする距離に応じて前記環境温度毎に設けられ、前記赤外線センサーの出力を階調値に変換することに用いるルックアップテーブルを記憶する記憶部と、
前記環境温度取得部が取得した環境温度と前記検出対象物を検出しようとする距離とに対応する前記ルックアップテーブルを参照し、前記赤外線センサーの出力を前記階調値に変換して解像度が異なる複数の画像を生成し、前記検出対象物を検出することに用いる所定サイズの探索窓を前記複数の画像内に適用して前記検出対象物を検出する演算部と、
を備える検出装置。 - 前記検出対象物を検出しようとする距離が第1の距離の場合には、前記画像の解像度が第1の解像度であり、前記距離が前記第1の距離よりも遠い第2の距離の場合には、前記画像の解像度は前記第1の解像度よりも高い第2の解像度である、請求項1に記載の検出装置。
- 前記環境温度毎に設けられるルックアップテーブルにおいて、前記環境温度が第1の温度の場合には、前記赤外線センサーの出力に対する前記階調値は第1の範囲であり、前記環境温度が前記第1の温度よりも高い第2の温度の場合には、前記赤外線センサーの出力に対する前記階調値が前記第1の範囲よりも高い第2の範囲である、請求項1又は2に記載の検出装置。
- 前記ルックアップテーブルにおいて、前記赤外線センサーの出力が第1の出力範囲の場合には、前記階調値の増加量は第1の増加量であり、前記赤外線センサーの出力が前記第1の出力範囲よりも大きい第2の出力範囲の場合には、前記階調値の増加量は前記第1の増加量よりも大きい第2の増加量であり、かつ、
前記検出対象物を検出しようとする距離が第3の距離の場合には、前記階調値の増加量は第3の増加量であり、前記距離が前記第3の距離よりも遠い第4の距離の場合には、前記階調値の増加量は前記第3の増加量よりも大きい第4の増加量である、請求項1〜3のいずれかに記載の検出装置。 - 前記検出対象物の検出は、前記画像に対する前記探索窓のテンプレートマッチングによって行われる、請求項1〜4のいずれかに記載の検出装置。
- 前記演算部によって検出された前記検出対象物を表示する表示部をさらに備え、
前記演算部は、前記複数の画像から前記検出対象物を検出した場合に、前記複数の画像から検出された前記検出対象物を合成した画像を生成し、
前記表示部は、前記合成した画像を表示する、
請求項1〜5のいずれかに記載の検出装置。 - 受光した赤外領域の光に応じた量の信号を出力することと、
環境温度を取得することと、
前記環境温度と検出対象物を検出しようとする距離とに対応するルックアップテーブルを参照し、前記赤外領域の光に応じた量の信号を階調値に変換して解像度が異なる複数の画像を生成し、前記検出対象物を検出することに用いる所定サイズの探索窓を前記複数の画像に適用して前記検出対象物を検出することと、
を含む検出方法。 - 受光した赤外領域の光に応じた量の信号を出力する赤外線センサーと、
環境温度を取得する環境温度取得部と、
検出対象物を検出しようとする距離に応じて前記環境温度毎に設けられ、前記赤外線センサーの出力を階調値に変換することに用いるルックアップテーブルを記憶する記憶部と、
前記環境温度取得部が取得した環境温度と前記検出対象物を検出しようとする距離とに対応する前記ルックアップテーブルを参照し、前記赤外線センサーの出力を前記階調値に変換して複数の画像を生成し、前記検出対象物を検出しようとする距離に応じたサイズの探索窓を、前記複数の画像に適用して前記検出対象物を検出する演算部と、
を備える検出装置。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2011117249A JP2012247225A (ja) | 2011-05-25 | 2011-05-25 | 検出装置及び検出方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2011117249A JP2012247225A (ja) | 2011-05-25 | 2011-05-25 | 検出装置及び検出方法 |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2012247225A true JP2012247225A (ja) | 2012-12-13 |
Family
ID=47467813
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2011117249A Withdrawn JP2012247225A (ja) | 2011-05-25 | 2011-05-25 | 検出装置及び検出方法 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2012247225A (ja) |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN106772656A (zh) * | 2015-11-19 | 2017-05-31 | 上海理工大学 | 一种基于红外阵列传感器的室内人体检测方法 |
CN107622258A (zh) * | 2017-10-16 | 2018-01-23 | 中南大学 | 一种结合静态底层特征和运动信息的快速行人检测方法 |
WO2018025466A1 (ja) * | 2016-08-04 | 2018-02-08 | ソニー株式会社 | 画像処理装置、及び画像処理方法 |
US11151592B2 (en) | 2016-11-29 | 2021-10-19 | Nihon Techno Co., Ltd. | Device for evaluating energy-saving promotion achievement |
-
2011
- 2011-05-25 JP JP2011117249A patent/JP2012247225A/ja not_active Withdrawn
Cited By (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN106772656A (zh) * | 2015-11-19 | 2017-05-31 | 上海理工大学 | 一种基于红外阵列传感器的室内人体检测方法 |
CN106772656B (zh) * | 2015-11-19 | 2019-04-05 | 上海理工大学 | 一种基于红外阵列传感器的室内人体检测方法 |
WO2018025466A1 (ja) * | 2016-08-04 | 2018-02-08 | ソニー株式会社 | 画像処理装置、及び画像処理方法 |
JPWO2018025466A1 (ja) * | 2016-08-04 | 2019-05-30 | ソニー株式会社 | 画像処理装置、及び画像処理方法 |
US11035736B2 (en) | 2016-08-04 | 2021-06-15 | Sony Corporation | Image processing apparatus and image processing method |
JP7024713B2 (ja) | 2016-08-04 | 2022-02-24 | ソニーグループ株式会社 | 画像処理装置、及び画像処理方法 |
US11151592B2 (en) | 2016-11-29 | 2021-10-19 | Nihon Techno Co., Ltd. | Device for evaluating energy-saving promotion achievement |
CN107622258A (zh) * | 2017-10-16 | 2018-01-23 | 中南大学 | 一种结合静态底层特征和运动信息的快速行人检测方法 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6891954B2 (ja) | 物体検知装置、物体検知方法、及びプログラム | |
JP4482599B2 (ja) | 車両の周辺監視装置 | |
US20180292529A1 (en) | Vehicle based radar upsampling | |
US10176543B2 (en) | Image processing based on imaging condition to obtain color image | |
CN102574485B (zh) | 用于交通状况的视频数据和距离数据的组合可视显示的方法和装置 | |
JP6093221B2 (ja) | 画像処理回路及び画像検出装置 | |
JP2009100256A (ja) | 物体検知装置 | |
JP4715718B2 (ja) | 車両用表示装置 | |
JP5991648B2 (ja) | 車両用表示制御装置 | |
KR102438078B1 (ko) | 어라운드뷰 제공 장치 및 방법 | |
JPWO2012004938A1 (ja) | 車両の周辺監視装置 | |
JPWO2019202628A1 (ja) | 路面検出装置、路面検出装置を利用した画像表示装置、路面検出装置を利用した障害物検知装置、路面検出方法、路面検出方法を利用した画像表示方法、および路面検出方法を利用した障害物検知方法 | |
JP2012247225A (ja) | 検出装置及び検出方法 | |
JP2015127668A (ja) | 計測装置、システムおよびプログラム | |
WO2018042976A1 (ja) | 画像生成装置、画像生成方法、記録媒体、および画像表示システム | |
JP2006318061A (ja) | 画像処理装置、画像処理方法、および画像処理用プログラム | |
JP5862261B2 (ja) | 検出装置、検出方法、及び、車両 | |
JP2005242914A (ja) | 人間認識システム及び画像処理装置 | |
JP5782870B2 (ja) | 検出装置及び検出方法 | |
JP6276504B2 (ja) | 画像検出装置及び制御プログラム並びに画像検出方法 | |
JP5861299B2 (ja) | 検出装置及び検出方法 | |
JP2008040724A (ja) | 画像処理装置、及び画像処理方法 | |
JP2012142832A (ja) | 撮像装置 | |
JP5834812B2 (ja) | 検出装置、及び、検出方法 | |
EP4304191A2 (en) | Camera system, method for controlling the same, and computer program |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A300 | Withdrawal of application because of no request for examination |
Free format text: JAPANESE INTERMEDIATE CODE: A300 Effective date: 20140805 |