JP2021033835A - 対象物認識装置、対象物認識方法及びプログラム - Google Patents

Abstract

【課題】赤外線カメラの撮影画像を基に、背景の温度よりも相対的に低温となっている対象物を精度良く認識することができる。【解決手段】赤外線カメラの撮影画像を基に、対象物を認識する対象物認識装置１０は、外気温の値に基づき、外気温が所定の閾値以下の温度から所定温度以上の温度上昇があった場合に、あるいは、外気温が閾値以下の温度のとき、トンネル内に入った場合に、撮影画像をネガポジ反転処理させる判定を行う環境情報判定部３２と、環境情報判定部の判定結果に基づき、撮影画像にネガポジ反転処理を行う画像制御部３１と、ネガポジ反転処理された撮影画像から対象物を認識する認識制御部３３と、を備える。【選択図】図１

Description

本発明は、対象物認識装置、対象物認識方法及びプログラムに関する。

夜間に、走行する車両に搭載された遠赤外線カメラで歩行者や動物（例えば、犬や猫）などの対象物を検出し、遠赤外線画像（図１２参照）を基に、対象物を認識し、車両と対象物とが衝突する危険性を警告するシステムが実用化されている。そのようなシステムでは、あらかじめ大量の対象物の遠赤外線画像から機械学習により認識辞書を作成し、遠赤外線画像内を認識辞書と比較することで、対象物の検出を行っている。遠赤外線カメラにより生成される画像は、温度が高いほど輝度が高く温度が低いほど輝度が低くなるようになっている。春、秋、冬などの通常の生活環境では、対象物は、相対的に暗めの背景の中に相対的に明るい対象物が映っている状態の遠赤外線画像として撮影されるので、認識辞書もそういった画像で作成しておけば、高い精度で検出が可能となる。

しかし、気温の高い真夏の夕方などには、道路や壁などの背景の温度が歩行者の温度よりも高い状況になる場合があり、その場合には背景の方が明るく歩行者が相対的に暗い画像となる。こうした歩行者が背景よりも相対的に暗い画像を、歩行者が背景よりも相対的に明るい画像を集めた認識辞書で検出した場合、検出精度が低下してしまう。その対策として、特許文献１では、外気温が人の体温などよりも高温の場合には、遠赤外線画像を２値化するときに反転させて検出処理を行うことが開示されている。

国際公開第２０１４／００２５３４号

この方法によれば、夏季などの外気温が高く、歩行者よりも背景の方が相対的に温度が高い場合でも対象物を検出することができるようになる。冬季などは歩行者が厚着になるため、その表面温度は体温よりもかなり低くなるが、それ以上に外気温が低いため、背景も低温になり歩行者の検出は可能である。しかしながら、冬季のトンネル内などでは熱がこもるため、例えば外気温が５度程度である場合であっても、トンネル内の気温は例えば２５度など比較的高温になる場合がある。このようなトンネルに歩行者が進入すると、歩行者の表面温度はトンネル外の外気温によってトンネル内の気温よりも低く、結果的に背景の方が明るく歩行者が暗い画像となってしまう。しかも外気温自体は歩行者の通常の体温よりも高温になっているわけではないため、特許文献１で示された方法では検出が困難となるという問題があった。

本発明は上記の点に鑑みてなされたもので、赤外線カメラの撮影画像を基に、背景の温度よりも相対的に低温となっている対象物を精度良く認識することができる対象物認識装置、対象物認識方法及びプログラムを提供することを目的とする。

本発明の一態様にかかる対象物認識装置は、
赤外線カメラの撮影画像を基に、対象物を認識する対象物認識装置であって、
外気温の値に基づき、外気温が所定の閾値以下の温度から所定温度以上の温度上昇があった場合、あるいは、外気温が前記閾値以下の温度のとき、トンネル内に入った場合に、撮影画像をネガポジ反転処理させる判定を行う環境情報判定部と、
前記環境情報判定部の判定結果に基づき、撮影画像にネガポジ反転処理を行う画像制御部と、
ネガポジ反転処理された撮影画像から対象物を認識する認識制御部と、
を備える。

本発明の一態様にかかる対象物認識方法は、
赤外線カメラの撮影画像を基に、対象物を認識する対象物認識方法であって、
外気温の値に基づき、外気温が所定の閾値以下の温度から所定温度以上の温度上昇があった場合に、あるいは、外気温が前記閾値以下の温度のとき、トンネル内に入った場合に、撮影画像をネガポジ反転処理させる判定を行い、
前記撮影画像をネガポジ反転処理させる判定に基づき、撮影画像にネガポジ反転処理を行い、
ネガポジ反転処理された撮影画像から対象物を認識する。

本発明の一態様にかかるプログラムは、赤外線カメラの撮影画像を基に、対象物を認識する対象物認識プログラムであって、
外気温センサの値に基づき、外気温が所定の閾値以下の温度から所定温度以上の温度上昇があった場合に、あるいは、外気温が前記閾値以下の温度のとき、トンネル内に入った場合に、撮影画像をネガポジ反転処理させる判定を行う処理と、
前記撮影画像をネガポジ反転処理させる判定に基づき、撮影画像にネガポジ反転処理を行う処理と、
ネガポジ反転処理された撮影画像から対象物を認識する処理と、
をコンピュータに実行させる。

本発明によれば、赤外線カメラの撮影画像を基に、背景の温度よりも相対的に低温となっている対象物を精度良く認識することができる対象物認識装置、対象物認識方法及びプログラムを提供することができる。

本発明の実施の形態１にかかる対象物認識装置の構成を示すブロック図である。 本発明の実施の形態にかかる赤外線カメラ画像のネガポジ反転処理を説明する図である。 本発明の実施の形態にかかる認識辞書内のポジティブ画像の例を示す図である。 本発明の実施の形態１にかかる環境情報判定部３２による画像反転を行うか否かの判定処理を示すフローチャートである。 本発明の実施の形態２にかかる対象物認識装置の構成を示すブロック図である。 通常道路走行時の撮影画像の一例を示す図である。 トンネル内走行時の撮影画像の一例を示す図である。 通常道路走行時とトンネル内走行時の撮影画像の画面上部の輝度値のヒストグラムを示す。 本発明の実施の形態２にかかる環境情報判定部３２による画像反転を行うか否かの判定処理を示すフローチャートである。 本発明の実施の形態３にかかる対象物認識装置の構成を示すブロック図である。 本発明の実施の形態３にかかる環境情報判定部３２による画像反転を行うか否かの判定処理を示すフローチャートである。 車両に搭載された赤外線カメラからの撮影画像の一例を示す図である。

以下、本発明を適用した具体的な実施形態について、図面を参照しながら詳細に説明する。ただし、本発明が以下の実施形態に限定される訳ではない。また、説明を明確にするため、以下の記載および図面は、適宜、簡略化されている。

（実施の形態１）
図１は本発明の実施の形態１にかかる対象物認識装置の構成を示すブロック図である。対象物認識装置１０は、カメラ１１と接続された画像制御部３１と、ディスプレイ１２及びスピーカ１３と接続された認識制御部３３と、外気温センサ２１と接続された環境情報判定部３２と、を備える。対象物認識装置１０は、記憶部に格納された各種プログラムに基づいて、各種制御を実行する機能を有し、中央演算処理装置（ＣＰＵ）、読出専用メモリ（ＲＯＭ）、ランダムアクセスメモリ（ＲＡＭ）、入出力ポート（Ｉ／Ｏ）等により実現される。ＣＰＵがプログラムを実行することにより、対象物認識装置１０は、画像制御部３１、認識制御部３３、及び環境情報判定部３２として機能する。なお、画像制御部３１、認識制御部３３、及び環境情報判定部３２は別々のハードウェアによって実現されてもよい。なお、ここでは外気温センサ２１と環境情報判定部３２が直接接続されているが、車載ネットワーク経由で接続されていてもよい。

対象物認識装置１０は、車両に搭載され、人や動物等の対象物と車両との衝突を防止するため、カメラ１１により撮影された撮影画像データを基に対象物を認識する。撮影画像は、対象物を認識可能な形態で、ディスプレイ１２に表示させ、車両を運転する運転者に提示される。また、ディスプレイ１２には、ナビゲーション情報（地図など）を表示することもできる。また、スピーカ１３は運転者に警報音等の音声を出力することができる。

カメラ１１は、マイクロボロメータなど、赤外波長、特に波長が１０μｍ前後の放射エネルギーを検出する素子などで構成される。通常、人や動物等の対象物を撮影するには、赤外線カメラが用いられる。赤外線カメラは、対象物から放射される赤外線エネルギーをレンズで赤外線センサ上に結像することで、対象の温度分布を可視化する。絶対零度以上の物質はすべて赤外線を放出しており、赤外線エネルギーは絶対温度の４乗に比例するので、温度が高い物質ほど赤外線エネルギーが高くなる。赤外線センサは多数の素子から構成され、各素子で受けた赤外線エネルギーの量により異なる出力が得られるため、各素子の出力を対応する画素の輝度値に変換することでカメラ画像を作成することができる。なお、カメラ１１は、赤外線カメラに限定されず、他の好適なカメラであってもよい。カメラ１１は、通常、車両の前部に搭載され、車両の前方を撮影している。

図１に示すように、赤外線カメラ１１により撮影された撮影画像は、画像制御部３１に入力され、画像制御部３１により各種処理が施され、認識制御部３３に出力する。画像制御部３１は、赤外線カメラ１１から受け取った撮影画像に対しノイズ除去やコントラスト改善などの画質改善処理を行う。さらに、画像制御部３１は、夏季に、外気温が所定温度（例えば、３２度）以上になった場合に、対象物となる人物が背景の温度より相対的に低温になっているため、撮影画像に対して、図２に示すように、ネガポジ反転を行う。これにより、背景の温度より相対的に人物が高温となっているような、背景よりも人物の輝度が高い画像を取得することができる。図２（Ａ）は、ネガポジ反転処理を行う前の撮影画像の例であり、図２（Ｂ）は、図２（Ａ）の撮影画像に対してネガポジ反転処理を行った撮影画像の例である。ネガポジ反転された撮影画像は、認識制御部３３に提供される。

環境情報判定部３２は、車両に取り付けられた外気温センサ２１からの外気温データを入力し、外気温データに基づいて、上述したネガポジ反転を行うか否かを判定する。判定結果は、画像制御部３１に送られる。また、環境情報判定部３２は、外気温を測定したデータを記憶する記憶部を有する。

認識制御部３３は、画像制御部３１から受け取った画像データと、予め作成された認識辞書とを比較して、対象物の検出処理を行う。認識辞書は、数多くの画像データから歩行者等の対象物の映っている部分を切り取ってポジティブ画像（図３参照）とし、これらのポジティブ画像のＨＯＧ（Histograms of Oriented Gradients）特徴量を計算してＳＶＭ（support vector machine）などの機械学習により作成している。ポジティブ画像には背景の温度が歩行者等の温度より相対的に低い画像を選別している。そのため、ポジディブ画像を用いて、背景が相対的に暗く歩行者が相対的に明るい画像を検出した場合、歩行者の検出を精度よく行うことができる。こうした認識辞書は、認識制御部３３内の記憶部又は、認識制御部３３とネットワークを介して接続された外部の記憶部に記憶されている。

しかし、真夏の気温が高い（例えば、３２度以上）場合などは、背景が相対的に明るく歩行者が相対的に暗い画像となる。こうした画像は、ポジティブ画像からなる認識辞書を用いて検出しても、検出精度が悪化する。しかし、前述したように、画像制御部３１により、ネガポジ反転させた画像では背景が相対的に暗く歩行者が相対的に明るい画像に変換されるため、認識制御部３３は、高精度で対象物を検出することができる。

本発明は、こうしたネガポジ反転における新たな条件を追加するものである。すなわち、本発明者は、冬季など気温が比較的に低いときに、車両がトンネル内など熱のこもる場所に侵入した場合、歩行者を検出することが困難であるという知見を得た。これは、外気温が例えば５度などであっても、トンネル内温度は、熱がこもることで例えば２５度くらいになっているのに対し、トンネルに侵入してきた歩行者の表面温度は、トンネル内温度よりも低くなっているためである。結果的に背景の方が相対的に明るく歩行者が相対的に暗い画像を、前述したポジティブ画像からなる認識辞書で検出しても、精度良く検出できない場合がある。本発明は、こうした知見に基づいたものであり、以下に、図４を参照して、画像反転の条件を詳細に説明する。

図４は、本発明の実施の形態１にかかる対象物認識装置１０による処理を示すフローチャートである。
対象物認識装置１０は、車両の利用開始など、任意の条件で図４に示す認識処理を開始する。図４の処理が開始されると、環境情報判定部３２は、外気温センサ２１から取得した外気温が閾値以上の高温であるか否かを判断する（ステップＳ１）。ステップＳ１の判断は、外気温が閾値以上の高温であることが、例えば１分以上などの所定期間推移したか否かの判断としてもよい。ここでの「閾値」とは、夏季など、外気温が人の表面温度などよりも高温である場合を想定して、任意に設定される値であり、ここでは、例えば、３２度に設定される。ステップＳ１で外気温が高温ではないと判断された場合（ステップＳ１でＮｏ）、画像制御部３１がネガポジ反転処理を実行中であるか、つまり、画像制御部３１がネガポジ反転処理を行い、認識制御部３３がネガポジ反転画像に基づき認識処理を行っているか否かを判断する（ステップＳ２）。図４の処理に並行して、認識制御部３３が撮影画像から警告対象となる対象物を認識した場合、ディスプレイ１２やスピーカ１３によって対象物が存在することを報知する。

ステップＳ１で、外気温が高温であると判断された場合（ステップＳ１でＹｅｓ）、認識制御部３３は、ネガポジ反転画像による認識処理を実施する、つまり、画像制御部３１はカメラ１１から取得した画像に対しネガポジ反転処理を行い、認識制御部３３はネガポジ反転画像による認識処理を行う（ステップＳ７）。

ステップＳ２でネガポジ反転処理による認識処理中ではないと判断された場合（ステップＳ２でＮｏ）、環境情報判定部３２は、外気温センサ２１が取得している外気温に所定温度以上の急激な温度上昇があったかどうかの判定を行う（ステップＳ６）。ここでは、「所定温度以上の急激な温度上昇」とは、車両がトンネル内など熱のこもる場所に侵入した場合を想定して、任意に設定される温度上昇量であり、例えば、５秒間で５度以上の温度上昇とすることができる。また、この温度上昇量は、春、夏、秋、冬など季節ごと、すなわち、トンネル外の外気温に応じて異なるように設定してもよい。ステップＳ６において、所定温度以上の急激な温度上昇があったと判断された場合（ステップＳ６でＹｅｓ）には、画像制御部３１は、カメラ１１から取得した撮影画像に対してネガポジ反転処理を行い、認識制御部３３は、ネガポジ反転処理された撮影画像に対して認識処理を行う（ステップＳ７）。ステップＳ６において、所定温度以上の急激な温度情報がないと判断された場合（ステップＳ６でＮｏ）、ステップＳ４に推移する。

ステップＳ２において、ネガポジ反転処理による認識処理中であると判断された場合（ステップＳ２でＹｅｓ）、環境情報判定部３２は、外気温センサ２１が取得している外気温に所定温度以上の急激な温度下降があったかどうかの判定を行う（ステップＳ３）。「所定温度以上の急激な温度下降」とは、車両がトンネル内など熱のこもる場所から出た場合を想定して、任意に設定される温度下降量であり、例えば、２０秒間で５度以上の温度下降とすることができる。また、この温度下降量は、春、夏、秋、冬など季節ごと、すなわち、トンネル外の外気温に応じて異なるように設定してもよい。また、ステップＳ３は、トンネルに入ったことでネガポジ反転処理による認識処理が開始されてから、つまり、閾値以下の温度から所定温度以上の温度上昇が検出されてから、所定期間内に所定温度以上の急激な温度下降があったかどうかの判定を行うこととしてもよい。この場合の所定期間とは、トンネルに入ったあと、トンネルから出るまでに要する期間を含む期間であり、例えば、１分から５分などの期間が設定される。この期間は、トンネルの長さや走行速度、渋滞状況などに基づいて変動してもよい。

ステップＳ３で、急激な温度下降があったと判断された場合（ステップＳ３でＹｅｓ）、ステップＳ４に推移する。また、ステップＳ３で、急激な温度下降がないと判断された場合（ステップＳ３でＮｏ）、ステップＳ７に推移する。

ステップＳ４においては、画像制御部３１は、ステップＳ４でネガポジ反転処理を行っている撮影画像に対するネガポジ反転を行わず、認識制御部３３は、通常の撮影画像に対して認識処理を行う。

ステップＳ５においては、ステップＳ１で開始された認識処理を終了するか否かを判断する。認識処理の終了とは、車両の利用を終了した場合など、任意の条件で終了可能である。ステップＳ５で、認識処理を終了しないと判断した場合（ステップＳ５でＮｏ）、ステップＳ１に推移する。ステップＳ５で、認識処理を終了すると判断した場合（ステップＳ５でＹｅｓ）、本処理を終了する。

次に、対象物認識装置１０の処理を詳細に説明する。ステップＳ７の処理においては、画像制御部３１は、カメラ１１から受け取った撮影画像である画像データをネガポジ反転処理を行ってから認識制御部３３に送信する。ここでいうネガポジ反転とは、画像の白を黒に、黒を白に変換することであり、具体的には画像の輝度の規定最大値が２５５であれば、２５５から現在の輝度値を引いて新しい輝度値を得る処理を画像全体に行うことである。

認識制御部３３は、画像制御部３１から撮影画像である画像データを受け取ると、あらかじめ作成した認識辞書を使って対象物検出処理を行う。認識辞書は、数多くの画像データから歩行者又は動物の映っている部分を切り取ってポジティブ画像とし、これらのポジティブ画像のＨＯＧ特徴量を計算してＳＶＭなどの機械学習により作成している。ポジティブ画像には背景の温度が相対的に低く歩行者の温度が相対的に高い画像を選んでいるため、背景より歩行者が相対的に明るい画像では、歩行者の検出を精度よく行うことができる。

冬季のトンネル内などの状況においては、そのままでは背景が明るく歩行者が暗い画像となり、検出精度が悪化する。そこで、ネガポジ反転させた画像では背景が相対的に暗く歩行者が相対的に明るい画像となるため、検出精度の悪化を和らげることができる。

以上説明したように、本実施の形態では、環境情報判定部３２は、外気温に急激な温度上昇があった場合に、車両がトンネル内等の内部温度が高い場所に侵入したと推定し、画像反転を有効化するように判定した。さらに、環境情報判定部３２は、外気温に所定温度以上の急激な温度下降（例えば、２０秒間で５度以上の温度下降）があった場合に、車両がトンネル内等の内部温度が高い場所を通過した（脱出した）と判断し、画像反転設定を無効化するように判定することができる。あるいは、環境情報判定部３２は、外気温に急激な温度下降があった後、下降したあとの温度が所定期間（例えば、１分間）継続した場合に、車両がトンネル内等の内部温度が高い場所を通過した（脱出した）と判断してもよい。これにより、２本のトンネルが、非常に短い間隔（例えば、数メートル）を隔てて連続している場合を除外することができる。

（実施の形態２）
次に、図５及び図６を参照して、実施の形態２にかかる対象物認識装置１０について説明する。本実施の形態では、車両がトンネル内に侵入したことを車両の現在位置情報や画像認識結果から判定し、それによって、ネガポジ画像反転が必要であると判定するものである。

図５は、本発明の実施の形態２にかかる対象物認識装置の構成を示すブロック図である。図５では、実施の形態１と同一の構成要素は、図１と同一の符号を付し、適宜説明を省略する。図５では、基本的に図１に示した構成と同一であるが、本実施の形態にかかる環境情報判定部３２は、現在位置判定部３２１を含む。また、外気温センサ２１の代わりに、ｗｅｂ情報等から近隣地域の気温を取得する気温情報取得部２３が追加されている。また、図５では、環境情報判定部３２に接続された位置情報受信部２２と地図情報データベース３５がさらに追加されている。

本実施形態では、環境情報判定部３２は、認識制御部３３による画像認識方法と、ＧＰＳ（Global Positioning System）等による位置検出方法のいずれかの方法で、車両の現在位置がトンネル内にあると判定することができる。また、本実施形態では、外気温センサ２１を用いずに、トンネル内でのネガポジ画像反転を実施することができる。

まず、認識制御部３３による画像認識方法を説明する。本実施形態にかかる認識制御部３３は、トンネル内走行判定も行うことができ、その結果を環境情報判定部３２に提供する。トンネル内以外の道路走行時には、図６に示すように、カメラ画像の中央上部には空などの部分Ｓが映り込む。さらに、カメラ画像の中央上部の両脇には街中であればビルや家屋などの建造物、郊外であれば山や森林などが映り込み、空とは温度が異なる部分が大半になる。それに対して、図７に示すように、トンネル内では画面上部の背景はほぼトンネルＴの天井と壁面になるため温度がほぼ一定となり、概ね均一な輝度値となる。図８に通常道路走行時とトンネル内走行時の撮影画像の画面上部の輝度値のヒストグラムを示す。トンネル内以外の道路走行時には曲線Ｃ２のように輝度値がばらつく。一方、トンネル内走行時の曲線Ｃ１は、曲線Ｃ２に比べて、バラつきが小さくなる。結果として曲線Ｃ１と曲線Ｃ２では、標準偏差に大きな差が表れる。そこで、認識制御部３３は、カメラ画像上部の輝度値の標準偏差を計算し、閾値と比較することによりトンネル内走行中かどうかの判定を行う。例えばトンネル内以外の道路走行時に輝度値の標準偏差が４０程度になるのに対してトンネル内では１５程度になったとすると、標準偏差の閾値を２０とすることで、それよりも小さければトンネル内走行していると判定することができる。

なお、ここでは、閾値を２０としたが、それ以外の値にすることも可能であるし、画像上部ではなく画像内の特定のエリアの標準偏差を計算するようにしてもよい。また標準偏差ではなく、分散やそれ以外の別の指標により判定を行ってもよいし、トンネルの入り口や出口を画像認識などにより検出することで、判定するようにしてもよい。

環境情報判定部３２は、認識制御部３３から、トンネル内を走行中であるかどうかの走行状況を表す走行情報を取得して記憶している。環境情報判定部３２は、画像制御部３１から問い合わせを受けると、外気温が閾値以上の高温かを判定するとともに、トンネル内走行中かなどを判定することで、ネガポジ画像反転すべきかどうかを判定する。環境情報判定部３２は、その結果を画像制御部３１に応答する。

次に、ＧＰＳによる位置検出方法について説明する。
位置情報受信部２２は、図示しないＧＰＳアンテナを介してＧＰＳ衛星の出力信号を受信して、車両の現在位置を検出することができる。位置情報受信部２２は、ＧＰＳシステムに限らず、他の方式の測位衛星システムを適用可能である。環境情報判定部３２は、位置情報受信部２２から車両の現在位置を受信する。地図情報データベース３５は、国道・県道・高速道路等の各種道路、各種店舗、建物、トンネル、信号機などの位置情報を記憶している。したがって、環境情報判定部３２は、車両の現在位置及び地図情報に基づいて、車両がトンネル内を走行しているか否かを判定することができる。

図９は、本発明の実施の形態２にかかる環境情報判定部３２による画像反転を行うか否かの判定処理を示すフローチャートである。図９のフローチャートにおいて、ステップＳ２１、ステップＳ２４、ステップＳ２５およびステップＳ２７の処理は、図４のフローチャートにおける、ステップＳ１、ステップＳ４、ステップＳ５およびステップＳ７の処理と同一であるため、説明は省略する。ステップＳ２１において外気温が閾値よりも高温でないと判断された場合（ステップＳ２１でＮｏ）、環境情報判定部３２は、車両の現在位置がトンネル内であるか否か、言い換えると、車両がトンネル内を走行中であるか否かを判断する（ステップＳ２２）。

ステップＳ２２で、車両の現在位置がトンネル内ではないと判断された場合（ステップＳ２２でＮｏ）、車両がトンネルに進入したか否かを判断する（ステップＳ２６）。ステップＳ２２の判断は前述したように、環境情報判定部３２、カメラ１１から取得した撮影画像に基づき、車両の現在位置がトンネル内となったか否かを判断する。また、環境情報判定部３２は、車両の現在位置情報に基づいて、車両の現在位置がトンネル内となったか否かを判断する。ステップＳ２６において、車両の現在位置がトンネル内となったと判断された場合、つまり、車両がトンネルに進入したと判断された場合（ステップＳ２６でＹｅｓ）、ステップＳ２７に推移する。また、ステップＳ２６において、車両の現在位置がトンネル内となっていないと判断された場合、つまり、車両がトンネルに進入していないと判断された場合（ステップＳ２６でＮｏ）、ステップＳ２４に推移する。

ステップＳ２２において、車両がトンネル内を走行中であると判断された場合（ステップＳ２２でＹｅｓ）、環境情報判定部３２は、カメラ１１から取得した撮影画像、または車両の現在位置に基づき、車両がトンネルから出たか否かを判断する（ステップＳ２３）。ステップＳ２３において、車両がトンネルから出たと判断された場合（ステップＳ２３でＹｅｓ）、ステップＳ２４に推移する。また、ステップＳ２３で、トンネルから出たと判断されない場合（ステップＳ２３でＮｏ）、ステップＳ２７に推移する。

本実施の形態によれば、外気温センサにより測定された急激な温度上昇ではなく、認識制御部３３による画像認識又は位置情報受信部２２からの位置情報により、車両がトンネル内にいることを判定することができる。これにより、対象物認識装置１０は、トンネル内でも歩行者などの対象物を精度良く認識することができる。

また、本実施の形態によれば、車両が地下駐車場や倉庫等などの建物内に侵入した場合を除外し、トンネルへ侵入したことをより正確に判定することができる。車両が地下駐車場等に侵入した場合も、トンネルと同様に急激な温度上昇は発生するが、百貨店等に併設された地下駐車場や、倉庫内を歩く歩行者の表面温度は、外気で冷やされていないため、トンネル内の歩行者と比べて、高い可能性がある。すなわち、こうした場所では赤外線カメラで撮影された歩行者の画像は、背景の方が明るく歩行者が暗い画像とはならない場合があり、ネガポジ画像反転の必要がなくなる。

また、本実施の形態では、認識制御部３３による画像認識又は位置情報受信部２２からの位置情報により、トンネル内に侵入していた車両が該トンネルを通過した（脱出した）ことを判定し、それによって、ネガポジ画像反転設定を無効化することができる。

なお、本実施形態の変形例としては、認識制御部３３による画像認識と位置情報受信部２２からの位置情報の両方を用いて、より正確にトンネル内に走行していることを判定してもよい。地図情報は、道路の新規建設などによって更新され得るが、古いデータを使用していた場合でも、こうした画像認識により、トンネル走行判定を実施することができる。

（実施の形態３）
図１０は、本発明の実施の形態３にかかる対象物認識装置の構成を示すブロック図である。図１０では、実施の形態１および実施の形態２と同一の構成要素は、図１および図５と同一の符号を付し、説明を省略する。

図１１は、本発明の実施の形態３にかかる環境情報判定部３２による画像反転を行うか否かの判定処理を示すフローチャートである。図１１のフローチャートにおいて、ステップＳ３１、およびステップＳ３３からステップＳ８の処理は、図９のフローチャートにおける、ステップＳ２１、およびステップＳ２２からステップＳ２７の処理と同一であるため、説明は省略する。また、図１１のフローチャートにおけるステップＳ３２は、図４のフローチャートにおけるステップＳ６の処理と同一であるため、説明は省略する。

図１１の処理は、急激な温度上昇があったか否かの判断（ステップＳ３２）に加えて、撮影画像の認識結果または車両の現在位置情報に基づき、車両がトンネル内を走行しているかどうかの判定を行う（ステップＳ３３）。車両がトンネル内を走行していると判断された場合には（ステップＳ３３でＹｅｓ）、ステップＳ３４に推移し、車両がトンネル内を走行していないと判断された場合（ステップＳ３３でＮｏ）、ステップＳ３７に推移する。これにより、車両が地下駐車場や倉庫等に入った場合は、撮影画像のネガポジ反転処理は無効化したままとすることができる。

本実施の形態によれば、外気温センサ２１により測定された急激な温度上昇だけでなく、認識制御部３３による画像認識又は位置情報受信部２２からの位置情報により、車両がトンネルを走行していることを判定することができる。これにより、対象物認識装置１０は、撮影画像のネガポジ反転処理を適切に実行し、トンネル内でも歩行者などの対象物を精度良く認識することができる。

また、本実施の形態では、認識制御部３３による画像認識又は位置情報受信部２２からの位置情報により、トンネルに侵入した車両が該トンネルを通過したことを判定することで、ネガポジ画像反転設定を無効化することができる。あるいは、環境情報判定部３２は、外気温に所定温度以上の急激な温度下降（例えば、２０秒間で５度以上の温度下降）があった場合に、車両がトンネル内等の内部温度が高い場所を通過したと判断し、ネガポジ画像反転を無効化するように判定してもよい。

画像制御部３１は受け取ったネガポジ画像反転設定が有効であれば、撮影画像である画像データをネガポジ反転してから認識制御部３３に送信する。認識制御部３３では歩行者検出処理を行い、結果をディスプレイに表示するとともに、場合によってはスピーカから警告音を出力させる。また、認識辞書についてはＨＯＧなどの局所特徴量を用いたものなどいろいろあるが、それらに限定されるものではなく、ここでは説明しない。

さらに、上述した様々な実施の形態において、対象物認識装置における処理の手順を説明したように、本開示は、外気温センサの値に基づき、前記外気温センサの値が閾値以下の温度から所定温度以上の温度上昇があった場合に、あるいは、外気温が閾値以下の温度のとき、トンネル内に入った場合に、撮影画像をネガポジ反転処理させる判定を行い、前記撮影画像をネガポジ反転処理させる判定に基づき、撮影画像にネガポジ反転処理を行い、ネガポジ反転処理された撮影画像から対象物を認識する、対象物認識方法としての形態も採り得る。なお、その他の例については、上述した様々な実施の形態で説明した通りである。また、対象物認識プログラムは、コンピュータにこのような対象物認識方法を実行させるためのプログラムである。

上述の例において、プログラムは、様々なタイプの非一時的なコンピュータ可読媒体（non-transitory computer readable medium）を用いて格納され、コンピュータに供給することができる。非一時的なコンピュータ可読媒体は、様々なタイプの実体のある記録媒体（tangible storage medium）を含む。非一時的なコンピュータ可読媒体の例は、磁気記録媒体（例えばフレキシブルディスク、磁気テープ、ハードディスクドライブ）、光磁気記録媒体（例えば光磁気ディスク）、ＣＤ−ＲＯＭ（Read Only Memory）、ＣＤ−Ｒ、ＣＤ−Ｒ／Ｗ、ＤＶＤ（Digital Versatile Disc）、ＢＤ（Blu-ray（登録商標） Disc）、半導体メモリ（例えば、マスクＲＯＭ、ＰＲＯＭ（Programmable ROM）、ＥＰＲＯＭ（Erasable PROM）、フラッシュＲＯＭ、ＲＡＭ（Random Access Memory））を含む。また、プログラムは、様々なタイプの一時的なコンピュータ可読媒体（transitory computer readable medium）によってコンピュータに供給されてもよい。一時的なコンピュータ可読媒体の例は、電気信号、光信号、及び電磁波を含む。一時的なコンピュータ可読媒体は、電線及び光ファイバ等の有線通信路、又は無線通信路を介して、プログラムをコンピュータに供給できる。

なお、本発明は上記実施の形態に限られたものではなく、趣旨を逸脱しない範囲で適宜変更することが可能である。例えば、以上で説明した複数の例は、適宜組み合わせて実施されることもできる。

上記実施形態では、車両について説明したが、本発明はこれに限定されず、例えば、自動車、トラック、トラクター、スクーター、バイク、サイクル、水陸両用車両、雪上車、ボート、公共交通、バス、モノレール、汽車、路面電車、無人航空機（ＵＡＶ））、ドローン、自律走行車両、スマート移動手段、電気自動車、知能型車両、プラグインハイブリッド電気自動車（ＰＨＥＶ）、ハイブリッド電気自動車（ＨＥＶ）、又は、ハイブリッド自動車などのあらゆる移動手段に適用可能である。

１０ 対象物認識装置
１１ カメラ
１２ ディスプレイ
１３ スピーカ
２１ 外気温センサ
２２ 位置情報受信部
２３ 気温情報取得部
３１ 画像制御部
３２ 環境情報判定部
３２１ 現在位置判定部
３３ 認識制御部
３５ 地図情報データベース
Ｔ トンネル
Ｓ 空

Claims (6)

1. 赤外線カメラの撮影画像を基に、対象物を認識する対象物認識装置であって、
   外気温の値に基づき、外気温が所定の閾値以下の温度から所定温度以上の温度上昇があった場合、あるいは、外気温が前記閾値以下の温度のとき、トンネル内に入った場合に、撮影画像をネガポジ反転処理させる判定を行う環境情報判定部と、
   前記環境情報判定部の判定結果に基づき、撮影画像にネガポジ反転処理を行う画像制御部と、
   ネガポジ反転処理された撮影画像から対象物を認識する認識制御部と、
   を備える、
   対象物認識装置。
2. 前記環境情報判定部は、前記画像制御部から提供された撮影画像を前記認識制御部が認識した結果から、トンネル内にいることを判定し、前記外気温の値が前記閾値以下の温度から所定温度以上の温度上昇があった場合であって、トンネル内にいる場合に、撮影画像にネガポジ反転処理させる判定を行う、
   請求項１に記載の対象物認識装置。
3. 前記環境情報判定部は、前記外気温の値が前記閾値以下の温度から所定温度以上の温度上昇があったあとに、所定期間内に所定温度以上の温度下降があった場合、撮影画像をネガポジ反転処理させない判定を行う、
   請求項１または２に記載の対象物認識装置。
4. 前記認識制御部は、ネガポジ反転処理を行った撮影画像に対し、背景の温度よりも相対的に輝度の高い対象物を認識する、
   請求項１から３のいずれか１項に記載の対象物認識装置。
5. 赤外線カメラの撮影画像を基に、対象物を認識する対象物認識方法であって、
   外気温の値に基づき、外気温が所定の閾値以下の温度から所定温度以上の温度上昇があった場合に、あるいは、外気温が前記閾値以下の温度のとき、トンネル内に入った場合に、撮影画像をネガポジ反転処理させる判定を行い、
   前記撮影画像をネガポジ反転処理させる判定に基づき、撮影画像にネガポジ反転処理を行い、
   ネガポジ反転処理された撮影画像から対象物を認識する、
   対象物認識方法。
6. 赤外線カメラの撮影画像を基に、対象物を認識する対象物認識プログラムであって、
   外気温の値に基づき、外気温が所定の閾値以下の温度から所定温度以上の温度上昇があった場合に、あるいは、外気温が前記閾値以下の温度のとき、トンネル内に入った場合に、撮影画像をネガポジ反転処理させる判定を行う処理と、
   前記撮影画像をネガポジ反転処理させる判定に基づき、撮影画像にネガポジ反転処理を行う処理と、
   ネガポジ反転処理された撮影画像から対象物を認識する処理と、
   をコンピュータに実行させる対象物認識プログラム。

Images