JP2014074708A - 画像処理装置、オブジェクト検出方法、およびオブジェクト検出プログラム - Google Patents

Abstract

【課題】降雨時に、雨滴を物体として誤検出するのを十分に抑えることができる画像処理装置を提供する。
【解決手段】画像処理装置は、画像センサ部がＴＯＦカメラで撮像した一対の撮像画像に基づく、基準距離画像、および基準受光強度画像を生成し、これらを一対の基準画像として取得するｓ１。画像処理装置は、画像センサ部がＴＯＦカメラで撮像した一対の撮像画像を、一対の検知用画像として取得するｓ２。画像処理装置は、一対の基準画像、および一対の検知用画像を用いて、検知エリア内に位置するオブジェクトを検出するｓ３。
【選択図】図５

Description

この発明は、検知エリアに照射した光の反射光を受光することによって撮像した、この検知エリアの距離画像を処理して、検知エリア内に位置するオブジェクトの検出を行う技術に関する。

従来、鉄道会社では、乗降客が駅ホームから線路内に落ちるのを防止するために、駅ホームの側端部に沿って落下防止柵を設置することを進めている。この落下防止柵は、駅ホームに停車している列車に乗降する乗降客の通路を確保する必用がある。

落下防止柵としては、駅ホームに停車した列車のドア（車両ドア）に対向する位置に、水平方向にスライドして開閉するスライドドアを設けたもの（特許文献１参照）や、入出口の両側に固定支柱を立設し、この固定支柱に対して上下方向にスライド自在に取り付けた可動支柱間に、上下方向に並べて水平方向に掛け渡した複数本の制止バーを設けたもの（特許文献２参照）等がある。

落下防止柵は、列車が駅ホームに停車した後に、乗降客の通路を確保するために一時的に開される。列車は、乗降客の乗降が完了し、落下防止柵が閉された後に発車する。列車の発車時における安全性を確保するため、この列車と、落下防止柵と、の間に位置する物体の有無をセンサ等で検出している。具体的には、駅ホームに停車している列車に対する乗降客の乗降が完了し、この列車のドア、および落下防止柵を閉した後に、列車と、落下防止柵と、の間に位置する物体が検出されると、列車を発車させずに、駅係員等に確認させている。

この列車と、落下防止柵と、の間に位置する物体を検出するセンサは、物体の有無を検出することができない死角が生じるのを防止する観点から、透過型や反射型の光電センサを用いる構成よりも、画像センサを用いる構成が一般的である。

特開２０００− １６２８０号公報 国際公開第２０１１／０２４６１２号

しかしながら、画像センサを用いた構成では、降雨時に、雨滴の影響を受けた画素（雨滴影響画素）が発生することがある。雨滴影響画素の出力は、ノイズである。したがって、雨滴影響画素が多くなるにつれて、物体が誤検出される可能性が高くなる（実際には、物体が存在していないのに、物体が検出される可能性が高くなる。）。

列車の運転手は、列車と、落下防止柵と、の間に位置する物体が検出されると、駅係員等が安全を確認するまで、列車を発車させない。したがって、降雨時に、ノイズである雨滴影響画素の出力によって、列車と落下防止柵との間に位置する物体（実際には存在していない物体）が誤検出されると、駅での列車の停車時間が無駄に長くなり、ダイヤを乱すことになる。また、安全確認を行う、駅係員の作業負担を増大させることになる。

この発明の目的は、降雨時に、雨滴の影響を受けた雨滴影響画素の発生にともなうオブジェクトの誤検出を十分に抑えることができる技術を提供することにある。

この発明の画像処理装置は、上記課題を解決し、その目的を達するために、以下のように構成している。

画像取得部は、撮像装置が光を検知エリアに照射し、その反射光を受光することで撮像した検知エリアの距離画像、および受光強度画像を一対の撮像画像として取得する。

なお、画像取得部は、少なくとも検知エリアの距離画像を取得する構成であればよい。

撮像装置は、例えば、公知のＴＯＦ（Time Of Flight）カメラを用いてもよいし、レーザ光を照射する光源、反射光を受光する受光素子、および検知エリア内において光源から照射されたレーザ光を走査する走査部を有する構成としてもよい。撮像装置は、検知エリアの距離画像、および受光強度画像が同じタイミングで撮像できる構成であればよい。

なお、ＴＯＦカメラは単眼で距離画像を得ることができ、ステレオ画像処理方式に比べて低コストで小型化できる点で注目されている。

また、画像取得部は、少なくとも検知エリアの距離画像を取得する（受光強度画像を取得しない）構成であればよい。この場合、撮像装置は、検知エリアの距離画像が撮像できる構成であればよい。

雨滴影響画素判定部は、画像取得部が一対の撮像画像として取得した距離画像、および受光強度画像の各画素について、その画素において取得した距離や受光強度を用いて、雨滴の影響を受けた雨滴影響画素であるかどうかを判定する。雨滴影響画素には、例えば雨滴からの反射光を検知した雨画素や、撮像レンズに付着した雨滴の影響を受けた雨滴付着画素（撮像レンズに付着している雨滴を透過した反射光を受光した画素）がある。

なお、この発明で言う画素とは、撮像素子の１つの受光素子（１ピクセル）であってもよいし、隣接する複数の受光素子（例えば、縦横２ずつの受光素子（２×２ピクセル））で構成されるブロックであってもよい。この発明の画像処理装置は、距離画像や受光強度画像を、ここで言う画素単位で処理する（受光素子単位で処理するとは限らない。）。

降雨時に検出される雨滴からの反射光は、比較的近い位置で反射されている。また、雨滴の反射率を考慮し、その反射率が大きく異なる受光強度の反射光については、雨滴で反射された反射光ではなく、オブジェクトで反射された反射光である可能性が高い。したがって、その画素において取得した距離や受光強度を用いて、雨滴からの反射光を検知した雨画素であるかどうかを判定することにより、その判定精度を向上できる。

また、本願の発明者は、撮像レンズに付着した雨滴の影響を受けた雨滴付着画素について、距離や受光強度の傾向を実験により確認した。雨滴付着画素は、受光強度が低下することを確認した。雨滴付着画素の多くは、受光光量の低下量がある範囲に収まることを確認した。これは、撮像レンズに付着している雨滴の透過にともなう反射光量の減衰により生じた現象であると考えられる。また、雨滴付着画素の多くは、距離の変化がある範囲に収まることを確認した。これは、撮像レンズに付着している雨滴の透過時に反射光が屈折し、この反射光を受光する画素が、隣接する画素や近辺の画素にずれることにより生じた現象であると考えられる。

したがって、雨滴付着画素について実験により確認した、上述の距離や受光強度の傾向に基づき、撮像レンズに付着した雨滴の影響を受けた雨滴付着画素であるかどうかを判定することにより、その判定精度を向上できる。

なお、撮像レンズに付着した雨滴の影響を受けた雨滴付着画素における距離の変化、および受光強度の変化の傾向は、画像取得部の特性や撮像環境等の要因によって異なると考えられるので、本装置の設置時に、これらの傾向を確認し、雨滴付着画素であるかどうかを判定する判定基準を設定するのが好ましい。

また、雨滴影響画素であるかどうかの判定は、その画素において取得した距離または受光強度の一方を用いて行うこともできるが、判定精度を十分に確保するには、距離および受光強度の両方を用いるのが好ましい。言い換えれば、画像取得部は、検知エリアの距離画像、および受光強度画像を一対の撮像画像として取得する構成とするのが好ましい（撮像装置は、検知エリアの距離画像、および受光強度画像が同じタイミングで撮像できる構成であるのが好ましい。）。

オブジェクト検出部は、雨滴影響画素判定部の判定結果を用いて、検知用距離画像を処理し、この検知用距離画像に撮像されているオブジェクトを検出する。オブジェクト検出部は、雨滴影響画素を、オブジェクトからの反射光を検知した画素としないことで、ノイズである雨滴影響画素の影響を受けることなく、検知エリア内に位置するオブジェクトを検出することができる。すなわち、降雨時に、雨滴の影響を受けた雨滴影響画素の発生にともなうオブジェクトの誤検出を十分に抑えることができる
また、基準画像記憶部が、検知エリアの基準距離画像、および基準受光強度画像を一対の基準画像として記憶する構成としてもよい。この場合、雨滴影響画素判定部は、撮像装置が撮像し、画像取得部が取得した距離画像、および受光強度画像を一対の検知用画像とし、各画素について雨滴影響画素であるかどうかを判定し、オブジェクト検出部は、基準距離画像と、検知用画像の距離画像と、の差画像を生成し、撮像されているオブジェクトを検出するように構成すればよい。

これにより、検知エリア内に位置する構造物（支柱や壁等）や、検知エリア内に停車している列車や自動車等を、検知エリア内の背景とし、これらをオブジェクトとして検出することがない。

また、雨滴影響画素判定部は、各画素について、基準受光強度画像と検知用画像の受光強度画像とにおける当該画素の受光強度を用いて算出した受光強度の差と、に基づき、雨滴からの反射光を検知した雨画素であるかどうかを判定する、構成としてもよい。

さらには、雨滴影響画素判定部は、各画素について、検知用画像の距離画像における当該画素において取得した距離と、基準受光強度画像と検知用画像の受光強度画像とにおける当該画素の受光強度を用いて算出した受光強度の差と、に基づき、雨滴からの反射光を検知した雨画素であるかどうかを判定する、構成としてもよい。

雨滴の反射率は、その雨滴の後方に位置する物体（背景を含む）の反射率によって変化する。したがって、基準受光強度画像と検知用画像の受光強度画像とにおける当該画素の受光強度を用いて算出した受光強度の差を用いることで、雨滴からの反射光を検知した雨画素であるかどうかの判定が、雨滴の後方に位置する物体（背景を含む）の反射率を考慮して行える。したがって、雨滴からの反射光を検知した雨画素であるかどうかの判定精度を一層向上でき、その結果、検知エリア内に位置するオブジェクトの検出精度の一層の向上が図れる。

また、上述したように、雨滴付着画素の多くは、受光光量の低下量がある範囲に収まること、および距離の変化がある範囲に収まることを確認した。

したがって、基準受光強度画像と検知用画像の受光強度画像とにおける当該画素の受光強度を用いて算出した受光強度の差が、設定した範囲内（受光光量の低下量が収まる範囲内）である画素を、雨滴付着画素と判定することにより、雨滴付着画素の判定精度を向上でき、その結果、検知エリア内に位置するオブジェクトの検出精度の一層の向上が図れる。

また、基準受光強度画像と検知用画像の受光強度画像とにおける当該画素の距離の差が、設定した範囲内（距離の変化が収まる範囲内）である画素を、雨滴付着画素と判定することにより、雨滴付着画素の判定精度を向上でき、その結果、検知エリア内に位置するオブジェクトの検出精度の一層の向上が図れる。

なお、雨滴付着画素であるかどうかの判定は、距離の差、または受光強度の差の一方を用いて行ってもよいが、距離の差、および受光強度の差の両方を用いて判定するのが好ましい。

また、基準画像生成部が、予め定めた基準画像取得タイミングで撮像装置が撮像し、画像取得部が取得した１、または複数フレーム分の距離画像、および受光強度画像を基に基準距離画像、および基準受光強度画像を一対の基準画像として生成する、構成としてもよい。

特に、複数フレーム分の距離画像、および受光強度画像を基に基準画像を生成することで、この基準画像に含まれるノイズを抑えることができ、その結果、検知エリア内に位置するオブジェクトの検出精度の一層の向上が図れる。

また、雨滴影響画素判定部が雨滴影響画素であると判定した画素数に基づいて、降雨状態であるかどうかを判定する降雨状態判定部を備えてもよい。

このようにすれば、降雨状態であるかどうかを判定した判定結果に基づいて、オブジェクト検出部におけるオブジェクトの検出処理の切り替え等が行える。

例えば、オブジェクト検出部を、降雨状態判定部が降雨状態であると判定した場合、検出するオブジェクトのサイズを、降雨状態判定部が降雨状態でないと判定した場合よりも大きくする構成にすればよい。このようにすれば、降雨時に、雨滴影響画素がある程度集中しても、オブジェクトの誤検出を十分に抑えることができる。

また、オブジェクト検出部は、検出するオブジェクトのサイズを、雨滴影響画素判定部が雨滴影響画素であると判定した画素数、すなわち降雨量、に応じて決定するようにしてもよい。雨滴影響画素の画素数は、降雨量が多くなるにつれて、多くなる。したがって、降雨量が比較的多いときに、ノイズである雨滴影響画素を、検知エリア内に位置するオブジェクトとして誤検出するのを防止できるだけでなく、降雨量が比較的少ないときに、オブジェクトからの反射光を検知した隣接する複数の画素を、雨滴影響画素であると誤判定し、その結果、検知エリア内に位置するオブジェクトを見逃すような事態の発生も抑えられる。

また、この発明にかかるオブジェクト検出方法は、上述の画像取得部、雨滴画素判定部、およびオブジェクト検出部の構成に相当する処理をコンピュータに実行させる発明である。

さらに、この発明にかかるオブジェクト検出プログラムは、コンピュータにインストールすることで、上述の画像取得部、雨滴画素判定部、およびオブジェクト検出部の構成に相当する処理を、このコンピュータに実行させる発明である。

この発明によれば、降雨時に、雨滴の影響を受けた雨滴影響画素の発生にともなうオブジェクトの誤検出を十分に抑えることができる。

落下防止柵が設置されている駅ホームを示す概略図である。 画像処理装置の主要部の構成を示すブロック図である。 オブジェクトまでの距離を求める既知の原理を説明する図である。 ＴＯＦカメラの取付例を示す図である。 画像処理装置の動作を示すフローチャートである。 基準画像取得処理を示すフローチャートである。 オブジェクト検出処理を示すフローチャートである。 雨画素であるかどうかの判定手法を説明する図である。 雨滴付着画素にかかる実験結果を示す図である。 雨滴付着画素であるかどうかの判定手法を説明する図である。 別の例にかかる降雨状態判定処理を示すフローチャートである。

以下、この発明の実施形態である画像処理装置について説明する。

この例にかかる画像処理装置は、乗降客が駅ホームから線路内に落ちるのを防止するために、駅ホームの側端部に沿って設置している落下防止柵と、列車と、の間の空間を検知エリアとしたものである。画像処理装置は、この検知エリア内に位置するオブジェクトを検出する。

まず、駅ホームの側端部に沿って設置している落下防止柵について簡単に説明しておく。

図１は、落下防止柵が設置されている駅ホームを示す概略図である。図１（Ａ）は、駅ホームの俯瞰図であり、図１（Ｂ）は、線路側から駅ホームを見た平面図である。落下防止柵は、戸袋として機能する筐体１と、この筐体１に対してスライド自在に取り付けたスライドドア２を有する。図１は、スライドドア２を閉している状態を示している。スライドドア２は、設置している駅ホームに停車する列車の各ドアが対向する位置に設けている。スライドドア２は、開したときに、筐体１内（戸袋）に収納される。スライドドア２は、図１において、左右方向にスライドする。

この例にかかる画像処理装置がオブジェクトを検出する検知エリアは、スライドドア２が設けられている位置における、落下防止柵と線路との間である。この例では、画像処理装置は各スライドドア２に設けている。

なお、ここでは、落下防止柵として、上述した特許文献１に示されているものを例示しているが、上述した特許文献２に示されているものであってもよい。

図２は、この例にかかる画像処理装置の主要部の構成を示すブロック図である。画像処理装置１０は、制御部１１と、画像センサ部１２と、画像処理部１３と、出力部１４と、を備えている。この画像処理装置１０は、ハードウェアとして上述の構成を有するパーソナルコンピュータ等の情報処理装置を利用することができる。ハードウェアとして利用する情報処理装置は、この発明で言うオブジェクト検出プログラムをインストールすることで、後述する処理（図５、図６、図７、および図１１に示すフローチャートにかかる処理）を実行する。

制御部１１は、画像処理装置１０本体各部の動作を制御する。

画像センサ部１２は、赤外光を検知エリアに照射し、その反射光を受光することにより検知エリアの距離画像、および受光強度画像を撮像するＴＯＦ（Time Of Flight）カメラを有する。このＴＯＦカメラが、この発明で言う撮像装置に相当する。

ＴＯＦカメラは、検知エリア（撮像エリア）に赤外光を照射する光源、およびｎ×ｍ個の受光素子をマトリクス状に配置した撮像素子（ｎ×ｍ画素の撮像素子）を有する。ＴＯＦカメラは、赤外光を検知エリアに照射してから、反射光を受光するまでの時間（飛行時間）を画素毎に計測する。ＴＯＦカメラは、検知エリアに照射した光と、受光した反射光と、の位相差を計測することによって、オブジェクト（光反射した対象物体の反射面）までの距離を得る。

オブジェクトまでの距離を求める既知の原理を説明すると、光源から照射される光は、発光強度が変調されたものを用いる。検知エリアからの反射光を受光する際に伝播距離に応じて変調位相がずれる。光源からの光の一部を受光素子の一部で直接受光することで照射光の位相をモニタし、反射光として受光した光の位相とのズレを求める。位相ずれを求める既知の原理は、図３（Ａ）に示すように、照射光の変調周期Ｔに対してＴ／２期間ごとにサンプリングした受光信号（Ａ０、Ａ２）と、さらに図３（Ｂ）に示すように、Ｔ／４ずらしたタイミングでサンプリングした受光信号（Ａ１，Ａ３）と、に基づいて伝播距離によって位相のずれ量φを算出する。位相のずれ量φは、
φ＝arctan{（Ａ３−Ａ１）／（Ａ０−Ａ２）}
により算出できる。

また、ここで求めた位相のずれφからオブジェクトまでの距離Ｄを求めることができる。オブジェクトまでの距離Ｄは、
Ｄ＝Ｌｍａｘ×φ／２π
により算出できる。ここでＬｍａｘはφ＝２πとなるときの物体までの距離（測定最大距離）であり、変調周波数が２０ＭＨｚであればＬｍａｘは７．５ｍ、１０ＭＨｚであれば１５ｍとなる。

なお、撮像素子における説明をすると、隣接する縦横それぞれ２つずつ（合計４つ）の受光素子（４ピクセル）を１組とし、これを１画素として扱う。各受光素子（ピクセル）は、Ｔ／４期間ごとずらしたサンプリングタイミングで光電変換された電荷を蓄積する。これにより、Ｔ／４期間ごとの蓄積電荷に基づいて、前述のＡ０，Ａ１，Ａ２，Ａ３の受光信号を得ることができる。また、他の既知技術として、２つの受光素子を１画素として扱い、前述のＡ０〜Ａ３の受光信号を得る方式もある。

ここでいう「画素」とは、上述したように、位相のずれまたは距離を求めてオブジェクトを検知するために画像処理を行うときの単位となる受光素子（ピクセル）のブロックであり、撮像素子の１つの受光素子（１ピクセル）であってもよいし、隣接する複数の受光素子（例えば、縦横２ずつの受光素子（２×２ピクセル））で構成されるブロックであってもよい。この発明の画像処理装置は、距離画像や受光強度画像を、ここで言う画素単位で処理する（受光素子単位で処理するとは限らない。）。

ＴＯＦカメラにおける実際の画像処理においては、前述の照射光の変調の１周期だけの受光電荷では量的に少なすぎるので、カメラの露光時間を適宜設定し、その期間に蓄積された電荷量を用いて位相のずれを算出し、オブジェクトまでの距離を求める。これで求めた画素（上述したように、画像処理をするうえで単位となるブロックの意味である。）毎の距離情報を全て集めることにより、画素毎に反射面までの距離を対応付けた距離画像を取得する。また、ＴＯＦカメラは、画素毎に所定期間分（複数周期分）の蓄積電荷を全て集めることにより、画素毎にその画素が受光した反射光の強度（反射光量）を対応付けた受光強度画像を取得する。ＴＯＦカメラは、同じ露光タイミング（露光期間)で撮像した検知エリアの距離画像、および受光強度画像を得ることができる。

なお、上述のＴＯＦカメラにかえて、レーザ光を照射する光源、反射光を受光する受光素子、および検知エリア内において光源から照射されたレーザ光を走査する走査部を有する構成の撮像装置を用いてもよい。画像センサ部１２が有する撮像装置は、検知エリアの距離画像、および受光強度画像が同じ露光タイミング（露光期間)で撮像できる構成であればよい。このＴＯＦカメラは、例えば、１秒間に５〜１０フレーム程度の距離画像、および受光強度画像（一対の撮像画像）の撮像が行える。

図４は、ＴＯＦカメラの取付例を示す図である。ＴＯＦカメラは、図１に示した検知エリアが撮像エリア内に収まるように、筐体１の比較的上方に取り付け、撮像方向を斜め下方に向けている。また、ＴＯＦカメラは、スライドドア２よりも線路側に取り付けている。

また、ＴＯＦカメラは、検知エリアを撮像エリア内に収めることができれば、図４に示すように、落下防止柵の筐体１に取り付けなくても、駅ホームに立設している支柱等に取り付けてもよい。

画像処理部１３は、画像センサ部１２が同じタイミングで撮像した検知エリアの距離画像、および受光強度画像を、一対の検知用画像（検知用距離画像、および検知用受光強度画像）として処理する場合もあれば、一対の基準画像（基準距離画像、および基準受光強度画像）の生成に用いる場合もある。画像処理部１３は、生成した一対の基準画像を記憶するメモリ（不図示）を有している。このメモリが、この発明で言う基準画像記憶部に相当する構成である。また、画像処理部１３は、メモリに記憶している一対の基準画像を用いて、一対の検知用画像を処理し、検知エリア内に位置するオブジェクトを検出する。オブジェクトを検出する処理の詳細については、後述する。

出力部１４は、画像処理部１３におけるオブジェクトの検出結果を、接続されている落下防止柵や、警報装置に出力する。オブジェクトの検出結果が入力された装置は、オブジェクトが検出された場合、警告音による報知を行ったり、警告灯を点灯させる等して、その旨（オブジェクトが検出されたこと）を駅係員等に知らせる。

以下、画像処理装置１０の動作について説明する。図５は、画像処理装置の動作を示すフローチャートである。

落下防止柵は、上述したように、駅ホームに列車が停車していないとき、スライドドア２を閉している。画像処理装置１０は、駅ホームに列車が停車する毎に、図５に示す処理を実行する。

画像処理装置１０は、駅ホームに列車が停車すると、このタイミング（この発明で言う第１のタイミングに相当する。）で、画像センサ部１２がＴＯＦカメラで撮像した一対の撮像画像（距離画像、および受光強度画像）に基づく、基準距離画像、および基準受光強度画像（一対の基準画像）を生成し、取得する基準画像取得処理を実行する（ｓ１）。この基準画像取得処理は、駅ホームに停車した列車のドア、および落下防止柵のスライドドア２が閉している状態で、ＴＯＦカメラが撮像した一対の撮像画像を用いる。すなわち、一対の基準画像は、検知エリア内にオブジェクトが存在していない背景画像として用いることができる。また、この一対の基準画像は、駅ホームに停車している列車を背景とした画像である。

画像処理装置１０が一対の基準画像を生成し、取得すると、駅ホームに停車した列車のドア、および落下防止柵のスライドドア２が開され、列車に対する乗降客の乗降が許可される。列車に対する乗降客の乗降が完了すると、駅ホームに停車している列車のドア、および落下防止柵のスライドドア２が閉される。

画像処理装置１０は、駅ホームに停車している列車のドア、および落下防止柵のスライドドア２が閉されたタイミング（この発明で言う第２のタイミングに相当する。）で、画像センサ部１２がＴＯＦカメラで撮像した一対の撮像画像（距離画像、および受光強度画像）を、一対の検知用画像として取得する検知用画像取得処理を実行する（ｓ２）。

画像処理装置１０は、ｓ１で生成し、取得した一対の基準画像、およびｓ２で取得した一対の検知用画像を用いて、検知エリア内に位置するオブジェクトを検出するオブジェクト検出処理を行う（ｓ３）。ｓ３では、ｓ１で取得した一対の基準画像に撮像されていないオブジェクトが、ｓ２で取得した一対の検知用画像に撮像されているかどうかを検出する処理である。したがって、駅ホームに停車している列車や、駅ホームに設置されている支柱や、落下防止柵等の構造物を、ｓ３でオブジェクトとして検出することはない。

画像処理装置１０は、出力部１４おいて、ｓ３にかかるオブジェクト検出処理の検出結果を出力する（ｓ４）。

検出結果が入力された装置は、検知エリア内に位置するオブジェクトが検出されていれば、警告報知等を行って、駅係員や、列車の運転手等にその旨を通知する。列車の運転手は、画像処理装置１０におけるオブジェクト検出処理で、検知エリア内に位置するオブジェクトが検出されなければ、駅ホームから列車を発車させる。反対に、検知エリア内に位置するオブジェクトが検出されていれば、駅係員が確認を行った後に、駅ホームから列車を発車させる。

なお、列車の運行を管理している運行管理システム等が、画像処理装置１０に対して、ｓ１にかかる基準画像取得処理の開始タイミングや、ｓ２にかかる検知用画像取得処理の開始タイミングを指示する構成とすればよい。また、これらの開始タイミングの指示は、列車の運転手や駅係員による入力操作で行う構成としてもよい。

次に、ｓ１にかかる基準画像取得処理、ｓ２にかかる検知用画像取得処理、およびｓ３にかかるオブジェクト検出処理を、詳細に説明する。

図６は、基準画像取得処理を示すフローチャートである。

画像センサ部１２は、ＴＯＦカメラで一対の撮像画像（距離画像、および受光強度画像）を予め設定されているフレーム数（例えば、５フレーム）撮像する（ｓ１１）。画像処理部１３は、ｓ１１で撮像されたフレーム数の距離画像を用いて、基準距離画像を生成する（ｓ１２）。ｓ１２では、画素毎に、その画素に対応する各フレームの距離の平均値を対応付けた距離画像を生成し、これを基準距離画像として取得する処理である。

また、画像処理部１３は、ｓ１１で撮像されたフレーム数の受光強度画像を用いて、基準受光強度画像を生成する（ｓ１３）。ｓ１３では、画素毎に、その画素に対応する各フレームの受光強度の平均値を対応付けた受光強度画像生成し、これを基準受光強度画像として取得する処理である。

ｓ１２、およびｓ１３にかかる処理を実行する順番は、上記と逆であってもよい。

画像処理部１３は、ｓ１２で生成し、取得した基準距離画像、およびｓ１３で生成し、取得した基準受光強度画像を、一対の基準画像として画像メモリ（不図示）に記憶する（ｓ１４）。

このように、この例では、基準距離画像を複数フレームの距離画像から生成し、基準受光強度画像を複数フレームの受光強度画像から生成する構成としたので、各フレームに生じているノイズの影響を抑えた基準距離画像、および基準受光強度画像を生成し、取得することができる。

なお、画像処理部１３は、設定しているフレーム数を１フレームとし、画像センサ部１２で撮像した距離画像、および受光強度画像を、基準距離画像、および基準受光強度画像として画像メモリに記憶する構成としてもよい。

ｓ２にかかる検知用画像取得処理は、ＴＯＦカメラで一対の撮像画像（距離画像、および受光強度画像）を撮像し、これを検知用距離画像、および検知用受光強度画像とした一対の検知用画像を取得する処理である。

図７は、オブジェクト検出処理を示すフローチャートである。画像処理部１３は、検知用画像の画素毎に、その画素が雨滴からの反射光を受光した画素（以下、雨画素と言う。）であるかどうかを判定する雨画素判定処理を行う（ｓ２１）。

なお、前述のように、雨画素の「画素」の意味は、画像処理を行うときの単位となる受光素子（ピクセル）のブロックである。ただし、このブロックは、撮像素子の１つの受光素子（１ピクセル）であってもよいし、隣接する複数の受光素子（例えば、縦横２ずつの受光素子（２×２ピクセル））で構成されるブロックであってもよい。

ｓ２１にかかる雨画素判定処理は、以下に示す（１）〜（３）のいずれかの方法で行う。

（１）雨滴からの反射光は、比較的近い位置で反射されることに注目し、図８（Ａ）に示すように、検知用距離画像において対応付けられている距離（図７（Ａ）における横軸）が、予め定めた距離Ｄ１未満である画素を雨画素と判定し、予め定めた距離Ｄ１以上である画素を雨画素でないと判定する。

（２）また、雨滴の反射率をも考慮し、図８（Ｂ）に示すように、距離と受光強度との一次関数で、雨画素であるかどうかを判定する判定直線を予め定めておき、検知用距離画像において対応付けられている距離（図８（Ｂ）における横軸）と、検知用受光強度画像に対応付けられている受光強度（図８（Ｂ）における縦軸）と、に基づいてプロットした点が、図８（Ｂ）にハッチングで示す領域内に位置する画素を雨画素と判定し、このハッチングで示す領域内に位置しない画素を雨画素でないと判定する。

（３）さらに、雨滴の反射率は、その雨滴の後に位置する反射面の反射率によって変化することを考慮してもよい。図８（Ｃ）に示すように、距離と受光強度差（検知用受光強度画像における受光強度と、基準受光強度画像における受光強度との差の絶対値）との一次関数で、雨画素であるかどうかを判定する判定直線を予め定めておく。そして、検知用距離画像において対応付けられている距離（図８（Ｃ）における横軸）と、検知用受光強度画像における受光強度と基準受光強度画像における受光強度との差の絶対値（図８（Ｃ）における縦軸）と、に基づいてプロットした点が、図８（Ｃ）にハッチングで示す領域内に位置する画素を雨画素と判定し、このハッチングで示す領域内に位置しない画素を雨画素でないと判定する。

図８（Ａ）、（Ｂ）、（Ｃ）に示す、雨画素と判定する領域は、検知エリアの撮像環境や、画像センサ部１２の撮像特性（例えば、ＴＯＦカメラの画素密度や、撮像レンズの焦点距離）によって変化するので、画像処理装置１０の設置時に調整している。

ここで言う、受光強度差は、上述したように、基準受光強度画像と、検知用受光強度画像と、において対応する画素の受光強度の差の絶対値である。絶対値を用いる理由は、基準受光強度画像の画素が雨滴からの反射光を検出した雨画素で、検知用受光強度画像の対応する画素が雨滴からの反射光を検出していない画素であった場合を考慮するためである。また、基準受光強度画像、および検知用受光強度画像の両方において、雨滴からの反射光を検出した画素については、後述する差分画像生成処理で、背景と判定される可能性が高い。

雨画素判定処理は、（１）、（２）、（３）の順番に精度が向上する。また、雨画素判定処理は、（１）、（２）、（３）の順番に計算量が増加するので、処理時間が増加する。雨画素判定処理を、上述した（１）〜（３）のいずれの方法で行うかについては、精度、および処理時間を考慮して決めればよい。

次に、画像処理部１３は、検知用画像の画素毎に、その画素が撮像レンズに付着した雨滴の影響を受けた画素（以下、雨滴付着画素と言う。）であるかどうかを判定する雨滴付着画素判定処理を行う（ｓ２２）。

ｓ２２にかかる雨滴付着画素判定処理は、以下に示す（４）〜（６）のいずれかの方法で行う。

本願の発明者は、撮像レンズに付着した雨滴の影響を受けた雨滴付着画素について、距離、および受光強度の変化の傾向を実験により確認した。雨滴付着画素は、受光強度が低下することを確認した。また、雨滴付着画素の多くは、受光光量の低下量がある範囲に収まることを確認した。これは、撮像レンズに付着している雨滴の透過にともなう反射光量の減衰により生じた現象であると考えられる。

図９（Ａ）は、撮像レンズに雨滴が付着した画素にかかる受光光量の変化量を測定した測定結果である。棒グラフは、受光強度の変化量に対する画素数を示す。また、折れ線グラフは、雨滴影響画素における、受光強度の変化量に対する画素の累計の割合（百分率）を示す。この実験では、図９（Ａ）に示すように、雨滴付着画素の約９４％が、受光強度の変化量が１００以下であることが確認された。ただし、ここで言う受光強度の変化量は、発明者が本実験を実施した環境によるものであり、その数値については、環境によって異なることはいうまでもない。

また、雨滴付着画素の多くは、距離の変化がある範囲に収まることも確認した。これは、撮像レンズに付着している雨滴の透過時に反射光が屈折し、この反射光を受光する画素が、隣接する画素や近辺の画素にずれることにより生じた現象であると考えられる。

図９（Ｂ）は、撮像レンズに雨滴が付着した画素にかかる距離の変化量を測定した測定結果である。棒グラフは、距離の変化量に対する画素数を示す。また、折れ線グラフは、雨滴影響画素における、距離の変化量に対する画素の累計の割合（百分率）を示す。この実験では、図９（Ｂ）に示すように、雨滴付着画素の約７３％が、距離の変化量が３５０ｍｍ以下であることが確認された。また、距離の変化量が１５０ｍｍ以下である雨滴付着画素の割合が約３％であることも確認された。ただし、ここで言う距離の変化量も、発明者が本実験を実施した環境によるものであり、その数値については、環境によって異なることはいうまでもない。

したがって、雨滴付着画素について実験により確認した、上述の距離、および受光強度の変化の傾向に基づき、撮像レンズに付着した雨滴の影響を受けた雨滴付着画素であるかどうかを判定することにより、その判定精度を向上できる。

（４）基準受光強度画像と、検知用受光強度画像において、受光強度の差の絶対値が、図１０（Ａ）に示すＰ１（上記の実験では、例えばＰ１＝１００である。）以下である画素を、雨滴付着画素と判定し、その他の画素を雨滴付着画素でないと判定する。

（５）基準距離画像と、検知用距離画像において、距離の差の絶対値が、図１０（Ｂ）に示すＤｍｉｎと、Ｄｍａｘ（上記の実験では、例えばＤｍｉｎ＝１５０、Ｄｍａｘ＝３５０である。）との間である画素を、雨滴付着画素と判定し、その他の画素を雨滴付着画素でないと判定する。

（６）基準受光強度画像と、検知用受光強度画像において、受光強度の差の絶対値が、図１０（Ｃ）に示すＰ１以下であり、且つ、基準距離画像と、検知用距離画像において、距離の差の絶対値が、図１０（Ｃ）に示すＤｍｉｎと、Ｄｍａｘとの間である画素を、雨滴付着画素と判定し、その他の画素を雨滴付着画素でないと判定する。

図１０（Ａ）、（Ｂ）、（Ｃ）に示す、雨滴付着画素と判定する領域を決定するＰ１、Ｄｍｉｎ、Ｄｍａｘは、検知エリアの撮像環境や、画像センサ部１２の撮像特性（例えば、ＴＯＦカメラの画素密度や、撮像レンズの焦点距離）によって変化するので、画像処理装置１０の設置時に調整する。

この雨滴付着画素判定処理は、（４）、（５）、（６）の順番に精度が向上する。また、この雨滴付着画素判定処理も、上述した雨画素判定処理と同様に、対応する画素の受光強度の差の絶対値、および対応する画素の距離の差の絶対値を用いる理由は、基準受光強度画像の画素が雨滴付着画素で、検知用受光強度画像の対応する画素が雨滴付着画素でなかった場合を考慮するためである。

画像処理部１３は、降雨状態であるかどうかを判定する降雨状態判定処理を行う（ｓ２３）。ｓ２３では、ｓ２１で雨画素であると判定した画素と、ｓ２２で雨滴付着画素であると判定した画素と、の総数が、予め定めた閾値画素数Ｓ以上であれば、降雨状態と判定する。ｓ２１で雨画素であると判定した画素と、ｓ２２で雨滴付着画素であると判定した画素と、の総数が、予め定めた閾値画素数Ｓ未満であれば、降雨状態でないと判定する。

画像処理部１３は、ｓ２３で降雨状態でないと判定すると、検出するオブジェクトのサイズの下限をＡ１に設定する（ｓ２４）。画像処理部１３は、ｓ２３で降雨状態であると判定すると、検出するオブジェクトのサイズの下限をＡ１よりも大きいＡ２（Ａ１＜Ａ２）に設定する（ｓ２５）。Ａ１、およびＡ２の単位は、画素数である。

画像処理部１３は、ｓ１２で生成し取得した基準距離画像と、ｓ２で取得した検知用距離画像と、の差分画像を生成する（ｓ２６）。ｓ２６では、距離がほぼ同じ画素、ｓ２２で雨画素と判定した画素、およびｓ２３で雨滴付着画素と判定した画素の画素値を「０」、その他の画素の画素値を「１」とした２値画像を生成する。

画像処理部１３は、ｓ２６で生成した差分画像に撮像されているオブジェクトを検出する（ｓ２７）。ｓ２７では、ｓ２６で生成した差画像において、周辺に位置する画素値が「１」である画素の集合を１つのグループとするグルーピングを行う。画像処理部１３は、グループ毎に、そのグループの画素数が、ｓ２４またはｓ２５で設定したオブジェクトのサイズの下限（Ａ１、またはＡ２）よりも多ければ、そのグループをオブジェクトと判定し、少なければノイズ（オブジェクトでない。）と判定する。

このように、この例にかかる画像処理装置１０は、雨滴からの反射光を検出した雨画素や、撮像レンズに付着した雨滴の影響を受けた雨滴付着画素等の雨滴影響画素の発生にともなうオブジェクトの誤検出を十分に抑えることができる。すなわち、降雨時においても、オブジェクトの誤検出を十分に抑えることができる。

また、画像処理装置１０は、ｓ４でオブジェクトの検出結果だけでなく、ｓ２３における降雨状態の判定結果も出力する構成としてもよい。

また、画像処理装置１０は、降雨状態であるかどうかに応じて、ｓ２７で検出するオブジェクトのサイズの下限（Ａ１、またはＡ２）を変更する構成としたので、ｓ２１で一部の画素について雨画素を雨画素でないとする誤判定や、ｓ２２で一部の画素について雨滴付着画素を雨滴付着画素でないとする誤判定が生じても、この誤判定にともなって、オブジェクトが誤検出されるのを防止できる。また、逆に、降雨時でないときに、オブジェクトからの反射光を検知した隣接する複数の画素を、雨滴影響画素であると誤判定し、検知エリア内に位置するオブジェクトを見逃すような事態の発生も抑えられる。

また、上記の例では、降雨状態であるかどうかに応じて、ｓ２７で検出するオブジェクトのサイズの下限を２段階で設定する構成としたが、このオブジェクトのサイズの下限を、ｓ２１で雨画素であると判定した画素と、ｓ２２で雨滴付着画素であると判定した画素と、の総数に応じて設定するようにしてもよい。例えば、ｓｓ２１で雨画素であると判定した画素と、ｓ２２で雨滴付着画素であると判定した画素と、の総数がＸ未満であるとき、ｓ２７で検出するオブジェクトのサイズをＡ１に設定し、ｓ２１で雨画素であると判定した画素と、ｓ２２で雨滴付着画素であると判定した画素と、の総数がＸ以上であるとき、ｓ２７で検出するオブジェクトのサイズＡを、
Ａ＝α×（ｓ２１で雨滴画素であると判定した画素数）＋Ａ１
（ただしαは、予め定めた比例定数、算出したＡの小数点以下切り捨て）
により算出し、設定する構成としてもよい。このようにすれば、降雨量に応じて、ｓ２７で検出するオブジェクトのサイズの下限を設定することができる。

雨滴影響画素の画素数は、降雨量が多くなるにつれて、多くなる。したがって、降雨量が比較的多いときに、隣接する複数の雨滴影響画素を、検知エリア内に位置するオブジェクトとして誤検出するのを防止できるだけでなく、降雨量が比較的少ないときに、オブジェクトからの反射光を検知した隣接する複数の画素を、雨滴影響画素である誤判定し、その結果、検知エリア内に位置するオブジェクトを見逃すような事態の発生が一層抑えられる。

また、上記の例では、降雨状態の判定を、検知エリア内に位置するオブジェクトの検出処理に合わせて行う構成としたが、例えば、列車がホームに停車していない時間帯に行ってもよい。この場合、ＴＯＦカメラによる検知エリアの撮像を連続的に行う構成とし、図１１に示す処理を行えばよい。

画像処理装置１０は、ＴＯＦカメラで一対の撮像画像（距離画像、および受光強度画像）を撮像する（ｓ３１）。画像処理部１３は、今回撮像した一対の撮像画像を含む、設定フレーム数の最新の撮像画像に基づいて一対の基準画像を生成し、取得する（ｓ３２）。ｓ３２は、上述したｓ１（ｓ１１〜ｓ１４）と同様の処理である。

画像処理部１３は、今回撮像した一対の撮像画像を検知用画像として取得する（ｓ３３）。画像処理部１３は、上述した雨滴影響画素判定処理を行い（ｓ３４）、降雨状態であるかどうか判定する（ｓ３５）。ｓ３４、およびｓ３５にかかる処理は、上述したｓ２１〜ｓ２３と同じ処理である。

また、ｓ３５では、雨滴影響画素であると判定した画素の総数が、予め定めた閾値画素数Ｓ以上であるフレームが、設定フレーム以上連続したときに、降雨状態であると判定するようにしてもよい。また、ｓ３５では、最近のＮフレームの撮像画像において、雨滴影響画素であると判定した画素の総数の平均値が、予め定めた閾値画素数Ｓ以上であれば、降雨状態であると判定するようにしてもよい。

なお、上記の例では、オブジェクトを検出する検知エリアを、スライドドア２が設けられている位置における、落下防止柵と線路との間とした画像処理装置１０を例にして本願発明の説明を行ったが、例えば、工場やマンション等に出入口を検知エリアとし、侵入者を検知する用途等で使用することもできる。この場合、侵入者を検知したときには、警備室や管理室に滞在している警備員にその旨を通知する構成とすればよい。

１０…画像処理装置
１１…制御部
１２…画像センサ部
１３…画像処理部
１４…出力部

Claims (19)

1. 撮像装置が光を検知エリアに照射し、その反射光を受光することで撮像した前記検知エリアの距離画像、および受光強度画像を一対の撮像画像として取得する画像取得部と、
   前記画像取得部が一対の撮像画像として取得した前記距離画像、および前記受光強度画像の各画素において取得した距離、および受光強度を用いて、雨滴の影響を受けた雨滴影響画素であるかどうかを判定する雨滴影響画素判定部と、
   前記雨滴影響画素判定部の判定結果を用いて、前記距離画像を処理し、この距離画像に撮像されているオブジェクトを検出するオブジェクト検出部と、を備えた画像処理装置。
2. 撮像装置が光を検知エリアに照射し、その反射光を受光することで撮像した前記検知エリアの距離画像を取得する画像取得部と、
   前記画像取得部が取得した前記距離画像の各画素において取得した距離を用いて、雨滴の影響を受けた雨滴影響画素であるかどうかを判定する雨滴影響画素判定部と、
   前記雨滴影響画素判定部の判定結果を用いて、前記距離画像を処理し、この距離画像に撮像されているオブジェクトを検出するオブジェクト検出部と、を備えた画像処理装置。
3. 撮像装置が光を検知エリアに照射し、その反射光を受光することで撮像した前記検知エリアの距離画像、および受光強度画像を一対の撮像画像として取得する画像取得部と、
   前記画像取得部が取得した前記受光強度画像の各画素において取得した受光強度を用いて、雨滴の影響を受けた雨滴影響画素であるかどうかを判定する雨滴影響画素判定部と、
   前記雨滴影響画素判定部の判定結果を用いて、前記画像取得部が取得した前記距離画像を処理し、この距離画像に撮像されているオブジェクトを検出するオブジェクト検出部と、を備えた画像処理装置。
4. 前記検知エリアの基準距離画像、および基準受光強度画像を一対の基準画像として記憶する基準画像記憶部を備え、
   前記雨滴影響画素判定部は、前記画像取得部が取得した前記距離画像、および前記受光強度画像を一対の検知用画像とし、各画素について前記雨滴影響画素であるかどうかを判定し、
   前記オブジェクト検出部は、前記基準距離画像と、前記検知用画像の距離画像と、の差分画像を生成し、撮像されているオブジェクトを検出する、請求項１、または３に記載の画像処理装置。
5. 前記雨滴影響画素判定部は、各画素について、前記基準受光強度画像と前記検知用画像の受光強度画像とにおける当該画素の受光強度を用いて算出した受光強度の差に基づき、前記雨滴影響画素であるかどうかを判定する、請求項４に記載の画像処理装置。
6. 前記雨滴影響画素判定部は、各画素について、前記検知用画像の距離画像における当該画素の距離と、前記基準受光強度画像と前記検知用画像の受光強度画像とにおける当該画素の受光強度を用いて算出した受光強度の差と、に基づき、雨滴からの反射光を検知した雨画素であるかどうかを判定し、前記雨画素であると判定した画素を前記雨滴影響画素とする、請求項５に記載の画像処理装置。
7. 前記雨滴影響画素判定部は、各画素について、前記基準距離画像と前記検知用画像の距離画像とにおける当該画素の距離を用いて算出した距離の差と、前記基準受光強度画像と前記検知用画像の受光強度画像とにおける当該画素の受光強度を用いて算出した受光強度の差と、に基づき、前記画像取得部の撮像レンズに付着した雨滴の影響を受けた雨滴付着画素であるかどうかを判定し、前記雨滴付着画素であると判定した画素を前記雨滴影響画素とする、請求項５、または６に記載の画像処理装置。
8. 予め定めた基準画像取得タイミングにおいて、前記撮像装置が撮像し、前記画像取得部が取得した前記検知エリアの前記距離画像、および前記受光強度画像を基に、一対の前記基準画像を生成する基準画像生成部を備え、
   前記基準画像記憶部は、記憶している一対の前記基準画像を前記基準画像生成部が生成した一対の前記基準画像に更新する、請求項４〜７のいずれかに記載の画像処理装置。
9. 前記基準画像生成部は、前記基準画像取得タイミングにおいて、前記撮像装置が撮像し、前記画像取得部が取得した複数フレーム分の前記距離画像、および前記受光強度画像を基に、一対の前記基準画像を生成する、請求項８に記載の画像処理装置。
10. 前記雨滴影響画素判定部が前記雨滴影響画素であると判定した画素数に基づいて、降雨状態であるかどうかを判定する降雨状態判定部を備えた請求項１〜９のいずれかに記載の画像処理装置。
11. 前記オブジェクト検出部は、検出するオブジェクトのサイズを、前記降雨状態判定部による判定が降雨状態である場合、この判定が降雨状態でない場合よりも大きくする、請求項１０に記載の画像処理装置。
12. 前記オブジェクト検出部は、検出するオブジェクトのサイズを、前記雨滴影響画素判定部が前記雨滴影響画素であると判定した画素数に応じて決定する、請求項１０に記載の画像処理装置。
13. 前記オブジェクト検出部によるオブジェクトの検出結果を出力する出力部を備えた請求項１〜１２のいずれかに記載の画像処理装置。
14. コンピュータが、
    撮像装置が光を検知エリアに照射し、その反射光を受光することで撮像した前記検知エリアの距離画像、および受光強度画像を一対の撮像画像として取得する画像取得ステップと、
    前記画像取得ステップが一対の撮像画像として取得した前記距離画像、および前記受光強度画像の各画素において取得した距離、および受光強度を用いて、雨滴の影響を受けた雨滴影響画素であるかどうかを判定する雨滴影響画素判定ステップと、
    前記雨滴影響画素判定ステップの判定結果を用いて、前記距離画像を処理し、この距離画像に撮像されているオブジェクトを検出するオブジェクト検出ステップと、
    を実行するオブジェクト検出方法。
15. コンピュータが、
    撮像装置が光を検知エリアに照射し、その反射光を受光することで撮像した前記検知エリアの距離画像を取得する画像取得ステップと、
    前記画像取得ステップが取得した前記距離画像の各画素において取得した距離を用いて、雨滴の影響を受けた雨滴影響画素であるかどうかを判定する雨滴影響画素判定ステップと、
    前記雨滴影響画素判定ステップの判定結果を用いて、前記距離画像を処理し、この距離画像に撮像されているオブジェクトを検出するオブジェクト検出ステップと、
    を実行するオブジェクト検出方法。
16. コンピュータが、
    撮像装置が光を検知エリアに照射し、その反射光を受光することで撮像した前記検知エリアの距離画像、および受光強度画像を一対の撮像画像として取得する画像取得ステップと、
    前記画像取得ステップが一対の撮像画像として取得した前記受光強度画像の各画素において取得した受光強度を用いて、雨滴の影響を受けた雨滴影響画素であるかどうかを判定する雨滴影響画素判定ステップと、
    前記雨滴影響画素判定ステップの判定結果を用いて、前記距離画像を処理し、この距離画像に撮像されているオブジェクトを検出するオブジェクト検出ステップと、
    を実行するオブジェクト検出方法。
17. コンピュータが、
    撮像装置が光を検知エリアに照射し、その反射光を受光することで撮像した前記検知エリアの距離画像、および受光強度画像を一対の撮像画像として取得する画像取得ステップと、
    前記画像取得ステップが一対の撮像画像として取得した前記距離画像、および前記受光強度画像の各画素において取得した距離、および受光強度を用いて、雨滴の影響を受けた雨滴影響画素であるかどうかを判定する雨滴影響画素判定ステップと、
    前記雨滴影響画素判定ステップの判定結果を用いて、前記距離画像を処理し、この距離画像に撮像されているオブジェクトを検出するオブジェクト検出ステップと、
    をコンピュータに実行させるオブジェクト検出プログラム。
18. 撮像装置が光を検知エリアに照射し、その反射光を受光することで撮像した前記検知エリアの距離画像を取得する画像取得ステップと、
    前記画像取得ステップが取得した前記距離画像の各画素において取得した距離を用いて、雨滴の影響を受けた雨滴影響画素であるかどうかを判定する雨滴影響画素判定ステップと、
    前記雨滴影響画素判定ステップの判定結果を用いて、前記距離画像を処理し、この距離画像に撮像されているオブジェクトを検出するオブジェクト検出ステップと、
    をコンピュータに実行させるオブジェクト検出プログラム。
19. 撮像装置が光を検知エリアに照射し、その反射光を受光することで撮像した前記検知エリアの距離画像、および受光強度画像を一対の撮像画像として取得する画像取得ステップと、
    前記画像取得ステップが一対の撮像画像として取得した前記受光強度画像の各画素において取得した受光強度を用いて、雨滴の影響を受けた雨滴影響画素であるかどうかを判定する雨滴影響画素判定ステップと、
    前記雨滴影響画素判定ステップの判定結果を用いて、前記距離画像を処理し、この距離画像に撮像されているオブジェクトを検出するオブジェクト検出ステップと、
    をコンピュータに実行させるオブジェクト検出プログラム。

Images