JP2020036164A - 画像処理装置 - Google Patents

Abstract

【課題】撮像画像に含まれる異物が人であるか否かの判定精度を向上させる。【解決手段】画像処理装置１は、所定領域を撮像する複数の撮像部によって同時に撮像された複数の撮像画像に基づいて、所定領域に対応する複数の画素のそれぞれに基準面からの被写体の高さが関連付けられた撮像データを作成又は取得する撮像データ作成部１３１と、物体がない状態で所定領域が撮像された基準画像に含まれる複数の画素のそれぞれに所定領域における基準面からの被写体の高さが関連付けられた基準データを取得する基準データ取得部１３２と、撮像データに含まれる画素に関連付けられた高さが、基準データにおける対応する画素に関連付けられた高さよりも大きい複数の異常画素を特定する画素特定部１３３と、画素特定部が特定した複数の異常画素の時間変化に基づいて、複数の異常画素が示す物体が警報を発する対象であるか否かを判定する判定部１３４と、を有する。【選択図】図２

Description

本発明は、撮像画像を処理する画像処理装置に関する。

従来、線路に落下した異物を検出する技術が知られている。特許文献１には、プラットホームに設置された撮像装置が生成した撮像画像において異物が検出された場合に警報を発するシステムが開示されている。

特開２００７−１１５１８号公報

線路上には、人以外の物体（例えば鳥又は新聞紙）が侵入する場合がある。従来のシステムは、人以外の物体が撮像画像に写っている場合にも警報を発してしまうので、異常状態が発生していないにもかかわらず、列車を停止させたり駅員が救助のための準備をしたりする必要が生じていた。

そこで、本発明はこれらの点に鑑みてなされたものであり、撮像画像に含まれる異物が人であるか否かの判定精度を向上させることができる画像処理装置を提供することを目的とする。

本発明の画像処理装置は、所定領域を撮像する複数の撮像部によって同時に撮像された複数の撮像画像に基づいて、前記所定領域に対応する複数の画素のそれぞれに前記所定領域における基準面からの被写体の高さが関連付けられた撮像データを作成又は取得する撮像データ作成部と、物体がない状態で前記所定領域が撮像された基準画像に含まれる複数の画素のそれぞれに前記所定領域における基準面からの被写体の高さが関連付けられた基準データを取得する基準データ取得部と、前記撮像データに含まれる画素に関連付けられた高さが、前記基準データにおける対応する画素に関連付けられた高さよりも大きい複数の異常画素を特定する画素特定部と、前記画素特定部が特定した前記複数の異常画素の時間変化に基づいて、前記複数の異常画素が示す物体が警報を発する対象であるか否かを判定する判定部と、を有する。

前記画素特定部は、前記基準面からの高さに関連付けて、前記複数の異常画素を含む異常画素群を特定し、前記判定部は、前記異常画素群の高さ方向の時間変化に基づいて、前記物体が警報を発する対象であるか否かを判定してもよい。

前記画素特定部は、前記基準面からの高さの範囲ごとに前記異常画素群を特定してもよい。

前記判定部は、第１高さにおいて前記異常画素群を検出した後に、前記異常画素群が示す形状と同一又は類似する異常画素群を、前記第１高さよりも高い第２高さにおいて検出した場合に、前記物体が警報を発する対象でないと判定してもよい。

本発明によれば、撮像画像に含まれる異物が人であるか否かの判定精度を向上させることができるという効果を奏する。

画像処理システムの模式図である。 画像処理装置の機能構成を示す図である。 第１撮像画像及び第２撮像画像と撮像データとの関係を示す図である。 プラットホームと線路の周辺領域を水平から見た状態の模式図である。 画素特定部の動作を説明するための図である。 画素特定部が作成する異常画素群データを概念的に説明するための図である。 画素特定部が作成した異常画素群データの例を示す図である。 画素特定部が作成した異常画素群データの例を示す図である。 画像処理装置の動作フローチャートである。

［監視システムＳの概要］
図１は、本実施形態に係る画像処理システムＳの模式図である。画像処理システムＳは、画像処理装置１と、撮像装置２と、表示装置３と、入力装置４とを含む。画像処理システムＳは、その他のサーバ、端末等の機器を含んでもよい。

撮像装置２は、複数の撮像部（以下、第１撮像部及び第２撮像部という）が駅のプラットホームＰＬの長さ方向に沿って水平に配置されたステレオカメラである。撮像装置２は、駅のプラットホームＰＬの上部から、車両が走行する線路ＲＡに向けて所定の角度となるように設置される。撮像装置２は、プラットホームＰＬの周辺、すなわちプラットホームＰＬ及び線路ＲＡを含む所定の撮像範囲を俯瞰的に撮像して撮像画像を生成し、生成した撮像画像を画像処理装置１に送信する。プラットホームＰＬの周辺における監視対象の領域を網羅して撮像できるように、プラットホームＰＬには任意の数の撮像装置２が配置される。

表示装置３は、液晶ディスプレイ、ＣＲＴ（Cathode Ray Tube）ディスプレイ等のように、画像処理装置１から受け取った情報を表示可能な任意の表示装置である。入力装置４は、キーボード、マウス等、ユーザによる入力を受け付ける入力装置である。表示装置３及び入力装置４は、１つのコンピュータとして構成されてもよい。

画像処理装置１は、撮像装置２が撮像した撮像画像において物体を検出するコンピュータである。画像処理装置１は、撮像装置２、表示装置３及び入力装置４に有線又は無線で接続される。画像処理装置１は、撮像装置２から受信した撮像画像を用いて所定の処理を行い、所定の結果等の情報を表示装置３に表示させる。画像処理装置１は、撮像装置２と一体的に構成されてもよい。すなわち、撮像装置２は、後述する画像処理装置１の機能を有してもよい。

［画像処理装置１の機能構成］
図２は、画像処理装置１の機能構成を示す図である。画像処理装置１は、通信部１１と、記憶部１２と、画像処理部１３とを有する。画像処理部１３は、撮像データ作成部１３１と、基準データ取得部１３２と、画素特定部１３３と、判定部１３４とを有する。

通信部１１は、撮像装置２との間でデータを送受信するための通信インターフェースである。通信部１１は、例えばプラットホームに設置された複数の撮像装置２のそれぞれから撮像画像を受信する。

記憶部１２は、ＲＯＭ（Read Only Memory）、ＲＡＭ（Random Access Memory）及びハードディスク等の記憶媒体を有する。記憶部１２は、通信部１１が撮像装置２から受信した撮像画像のデータ等のように、画像処理装置１が動作するために必要な各種のデータを一時的に記憶する。また、記憶部１２は画像処理部１３が実行するプログラムを記憶する。

さらに、記憶部１２は、物体がない状態で所定領域が撮像された基準画像に含まれる複数の画素のそれぞれに所定領域における基準面からの被写体の高さが関連付けられた基準データを記憶する。基準データは、画素の座標に関連付けて、異物がない状態で撮像装置２において撮像された撮像画像の画素値及び基準面からの高さを示す情報を含んでいる。記憶部１２は、例えば画像処理装置１の管理者の操作に応じて外部装置から送信された基準データを記憶する。

画像処理部１３は、例えばＣＰＵ（Central Processing Unit）であり、記憶部１２に記憶されたプログラムを実行することにより、撮像データ作成部１３１、基準データ取得部１３２及び画素特定部１３３として機能する。

撮像データ作成部１３１は、所定領域を撮像する複数の撮像部によって同時に撮像された複数の撮像画像に基づいて、所定領域に対応する複数の画素のそれぞれに所定領域における基準面からの被写体の高さが関連付けられた撮像データを作成又は取得する。

図３及び図４は、撮像データ作成部１３１が所定領域に対応する複数の画素のそれぞれの高さを特定する処理について説明するための図である。図３は、第１撮像画像５１及び第２撮像画像５２と撮像データとの関係を示す図である。図４は、プラットホームＰＬと線路の周辺領域を水平から見た状態の模式図である。以下、図３及び図４を参照しながら撮像データ作成部１３１が実行する処理を説明する。

撮像データ作成部１３１は、まず、第１撮像部によって撮像された第１撮像画像５１と、第２撮像部によって撮像された第２撮像画像５２とに基づいて、第１撮像画像５１及び第２撮像画像５２の画素ごとに、第１撮像部と第２撮像部との間の視差を特定する。具体的には、撮像データ作成部１３１は、特定した視差と、第１撮像部が有するレンズの中心と第２撮像部が有するレンズの中心との間隔と、第１撮像部及び第２撮像部の焦点距離とに基づいて、複数の画素ごとに被写体から撮像装置２までの距離Ｄ２を特定する。

続いて、撮像データ作成部１３１は、画素ごとに特定した視差に基づいて、所定領域における基準面からの被写体の高さを複数の画素ごとに特定する。基準面は、例えばレールの設置面であるが、他の面であってもよい。撮像データ作成部１３１は、各画素に高さを関連付けた撮像データを作成する（図３を参照）。

撮像データ作成部１３１が被写体の高さを特定するために、記憶部１２には、複数の画素ごとに予め定められている基準位置Ｐ１から撮像装置２までの距離Ｄ１及び基準面からの高さｈ１が記憶されている。撮像データ作成部１３１は、複数の画素ごとに予め定められている基準位置Ｐ１から撮像装置２までの距離Ｄ１及び基準面からの高さｈ１と、特定した距離Ｄ２とに基づいて、複数の画素ごとに被写体の基準面からの高さｈ２を特定する。

図４に示すように、基準面の高さを０、基準面を基準とした位置Ｐ１の高さをｈ１、位置Ｐ２の高さをｈ２、撮像装置２の高さをｈｃ、撮像装置２から位置Ｐ１までの距離をＤ１、撮像装置２から位置Ｐ２までの距離をＤ２とすると、以下の（１）式が成り立つ。
ｈｃ−ｈ１：ｈｃ−ｈ２＝Ｄ１：Ｄ２・・・（１）

（１）式に基づいて、画素Ａに対応する異物Ｆの高さｈ２は以下の（２）式で表される。
ｈ２＝ｈｃ−Ｄ２／Ｄ１＊（ｈｃ−ｈ１）・・・（２）
撮像データ作成部１３１は、複数の画素のそれぞれについて、（２）式に基づいて高さｈ２を特定する。

なお、撮像データ作成部１３１は、第１撮像画像５１及び第２撮像画像５２に対応する各画素の高さを特定する代わりに、撮像装置２が画素ごとに特定した高さを示す情報を含む撮像画像データを取得してもよい。撮像データ作成部１３１は、取得した撮像画像データに基づいて、複数の画素のそれぞれに所定領域における基準面からの被写体の高さが関連付けられた撮像データを作成してもよい。

図２に戻り、基準データ取得部１３２による処理を説明する。基準データ取得部１３２は、物体がない状態で所定領域が撮像された基準画像に含まれる複数の画素のそれぞれに所定領域における基準面からの被写体の高さが関連付けられた基準データを取得する。基準データ取得部１３２は、例えば、予め記憶部１２に記憶された基準データを読み出すことにより基準データを取得する。基準データ取得部１３２は、通信部１１を介して、外部装置から基準データを取得してもよい。

画素特定部１３３は、撮像データ作成部１３１が作成した撮像データに含まれる画素に関連付けられた高さが、基準データ取得部１３２が取得した基準データにおける対応する画素に関連付けられた高さよりも大きい複数の異常画素を特定する。画素特定部１３３は、例えば、撮像データ作成部１３１が作成した撮像データに含まれる画素に関連付けられた画素値と、基準データにおける対応する画素に関連付けられた画素値との間に、同一の被写体が撮像された画素ではないと想定される差があることをさらに条件として、複数の異常画素を特定する。

図５は、画素特定部１３３の動作を説明するための図である。図５（ａ）は基準データに基づく画像であり、図５（ｂ）は撮像データに基づく画像である。図５（ｃ）は、図５（ａ）に示す基準データと図５（ｂ）に示す撮像データとの間に差がある複数の異常画素を含む領域Ｒを示す図である。図５（ｃ）に示す領域Ｒに含まれる複数の画素に関連付けられた高さは、基準データにおける対応する複数の画素に関連付けられた高さと異なっている。

画素特定部１３３は、基準面からの高さに関連付けて、複数の異常画素を含む異常画素群を特定する。画素特定部１３３は、例えば基準面からの高さの範囲ごとに異常画素群を特定する。具体的には、画素特定部１３３は、基準面と基準面から０．２ｍ以内の高さの範囲に含まれる異常画素群、及び基準面から０．２ｍの位置と基準面から０．４ｍの位置との間の高さの範囲に含まれる異常画素群のように、複数の高さの範囲に関連付けて異常画素群を特定する。そして、画素特定部１３３は、複数の異常画素を特定した時点からの経過時間ごとに、基準面からの高さと異常画素群の形状とを関連付けた異常画素群データを作成する。

図６は、画素特定部１３３が作成する異常画素群データを概念的に説明するための図である。図６は、経過時間と異物の基準面からの高さとの関係を模式的に示している。図６（ａ）及び図６（ｂ）は、それぞれ線路に落下した人の動きと鳥の動きとを模式的に示している。図６（ａ）においては、プラットホームＰＬから線路に落下した人の身体が存在する高さ方向の領域を斜線で示している。図６（ｂ）においては、線路に侵入した鳥が存在する高さ方向の領域を斜線で示している。

図７及び図８は、画素特定部１３３が作成した異常画素群データの例を示す図である。図７は、線路に落下した人が撮像画像に含まれている場合に作成される異常画素群データを示しており、図８は、鳥が撮像画像に含まれている場合に作成される異常画素群データを示している。図７及び図８における斜線で囲まれた領域は、各高さ範囲に含まれる複数の異常画素により特定される領域を示している。

画素特定部１３３は、例えば、複数の異常画素の密度が所定の密度以上の領域の輪郭線を検出することにより、異常画素群の領域を推定する。画素特定部１３３は、推定した領域の輪郭線のベクトル又は輪郭線上の複数の点の座標を特定し、特定したベクトル又は座標を、基準面からの高さ及び経過時間に関連付けることにより、図７及び図８に示すような異常画素群データを作成する。

図７においては、図６（ａ）における斜線の領域の時間変化の傾向と同様に、経過時間が０秒から１．０秒までの間に異常画素群が１．２ｍから０ｍに向けて落下し、１．０秒以降は異常画素群の高さがほぼ一定である。これに対して、図８においては、図６（ｂ）における斜線の領域の時間変化の傾向と同様に、経過時間の変化に伴い、異常画素群の高さが０．４ｍ以下にならない範囲で下降してから上昇している。

判定部１３４は、画素特定部１３３が作成した異常画素群データに基づいて、人が線路に落下したのか、人以外の物体が線路の上方に存在しているのかを判定する。そして、判定部１３４は、画素特定部１３３が特定した複数の異常画素の時間変化に基づいて、複数の異常画素が示す物体が警報を発する対象であるか否かを判定する。具体的には、判定部１３４は、異常画素群の高さ方向の時間変化に基づいて、又は異常画素群の変化加速度及び変化速度の少なくともいずれかに基づいて、物体が警報を発する対象であるか否かを判定する。

判定部１３４は、高さ方向の時間変化に基づいて物体が警報を発する対象であるか否かを判定する場合、例えば、図７に示すように、時間が経過するにつれて異常画素群が下方に移動し、かつ所定の高さ以下に含まれている場合に、異常画素群に対応する物体が、警報を発する対象である人であると判定する。所定の高さは、人が落下して倒れている状態で人が検出される高さの上限値であり、例えば０．４ｍ以下である。

判定部１３４は、第１高さにおいて異常画素群を検出した後に、異常画素群が示す形状と同一又は類似する異常画素群を、第１高さよりも高い第２高さにおいて検出した場合に、物体が警報を発する対象でないと判定してもよい。判定部１３４は、例えば、図８に示すように、時間が経過するにつれて異常画素群が第１高さ（０．６ｍ〜０．８ｍの範囲）から、第１高さよりも高い第２高さ（０．８ｍよりも高い範囲）に移動した場合に、異常画素群に対応する物体が警報を発する対象でない物体（例えば鳥又は新聞紙）であると判定する。判定部１３４は、異常画素群が下降したり上昇したりする高さ方向の変化を所定の回数以上繰り返す場合に、異常画素群に対応する物体が警報を発する対象でない物体であると判定してもよい。

［画像処理装置１の動作フローチャート］
図９は、画像処理装置１の動作フローチャートである。図９のフローチャートは、撮像データ作成部１３１が撮像装置２から第１撮像画像５１及び第２撮像画像５２を取得した時点から開始している（Ｓ１）。撮像データ作成部１３１は、取得した第１撮像画像５１及び第２撮像画像５２に基づいて、これらの撮像画像により特定される所定の範囲内の画素に関連付けて、基準面からの高さを特定し、画素と高さとが関連付けられた撮像データを作成する（Ｓ２）。

続いて、画素特定部１３３は、基準データと撮像データとを比較することにより、異物に対応すると推定される異常画素群を特定する（Ｓ３）。続いて、判定部１３４は、少なくとも一部の異常画素群の高さが所定の高さ範囲に含まれているか否かを判定する（Ｓ４）。所定の高さ範囲は、例えば人の身長に対応する１．８ｍ以下の範囲である。判定部１３４は、全ての異常画素群の高さが所定の高さ範囲に含まれていない場合（Ｓ４においてＮＯ）、警報は不要であると判定する（Ｓ８）。

判定部１３４は、少なくとも一部の異常画素群の高さが所定の高さ範囲（例えば１．８ｍ）以下である場合（Ｓ４においてＹＥＳ）、異常画素群が上昇する動きをするか否かを判定する（Ｓ５）。判定部１３４は、その後所定の時間が経過するか否かを監視する（Ｓ６）。所定の時間は、異物が人でない場合に所定の高さ範囲内に継続的に滞在すると想定される時間、及び人が落下してから警報が発せられるまでの遅延許容時間に基づいて定められており、例えば５秒である。

判定部１３４は、時間帯により所定の時間を決定してもよい。判定部１３４は、例えば電車が到着する予定の時刻までの時間が長いほど所定の時間を長くしたり、電車の本数が多い時間帯に所定の時間を短くしたりしてもよい。判定部１３４がこのようにすることで、画像処理装置１は、人が落下しているか否かの判定精度を高めるとともに、人が落下している場合に、電車が到着するまでに警報を発することができる。

判定部１３４は、所定の時間が経過していない場合（Ｓ６においてＮＯ）、Ｓ４に戻る。判定部１３４は、所定の時間が経過した場合（Ｓ６においてＹＥＳ）、警報を発する（Ｓ７）。

［変形例］
判定部１３４は、上述した判定条件と異なる条件に基づいて、撮像画像に含まれる異物が警報を発する対象であるか否かを判定してもよい。例えば、判定部１３４は、画素特定部１３３が特定した異常画素群が、落下した人が横たわった状態において存在すると想定される高さ以下（例えば０．４ｍ以下）の領域に存在した後に、当該領域に存在しなくなった場合に、異常画素群に対応する異物が、警報を発する対象ではないと判定してもよい。また、判定部１３４は、一部の高さ範囲に含まれる異常画素群が存在する領域の面積が、異物が人である場合に想定される最小面積以下に変化した場合に、異常画素群に対応する異物が、警報を発する対象ではないと判定してもよい。

［画像処理装置１による効果］
以上説明したように、画像処理装置１においては、画素特定部１３３が、撮像データに含まれる画素に関連付けられた高さが、基準データにおける対応する画素に関連付けられた高さよりも大きい複数の異常画素を特定する。そして、判定部１３４が、画素特定部１３３が特定した複数の異常画素の時間変化に基づいて、複数の異常画素が示す物体が警報を発する対象であるか否かを判定する。画像処理装置１がこのような構成を有することで、検出された異物の動きの特徴に基づいて、検出された異物が警報を発する必要がある人であるか、警報を発する必要がない人以外の物体であるかを判定する精度を向上させることができる。

以上、本発明を実施の形態を用いて説明したが、本発明の技術的範囲は上記実施の形態に記載の範囲には限定されず、その要旨の範囲内で種々の変形及び変更が可能である。例えば、装置の分散・統合の具体的な実施の形態は、以上の実施の形態に限られず、その全部又は一部について、任意の単位で機能的又は物理的に分散・統合して構成することができる。また、複数の実施の形態の任意の組み合わせによって生じる新たな実施の形態も、本発明の実施の形態に含まれる。組み合わせによって生じる新たな実施の形態の効果は、もとの実施の形態の効果を合わせ持つ。

１ 画像処理装置
２ 撮像装置
３ 表示装置
４ 入力装置
１１ 通信部
１２ 記憶部
１３ 画像処理部
５１ 第１撮像画像
５２ 第２撮像画像
１３１ 撮像データ作成部
１３２ 基準データ取得部
１３３ 画素特定部
１３４ 判定部

Claims (4)

1. 所定領域を撮像する複数の撮像部によって同時に撮像された複数の撮像画像に基づいて、前記所定領域に対応する複数の画素のそれぞれに前記所定領域における基準面からの被写体の高さが関連付けられた撮像データを作成又は取得する撮像データ作成部と、
   物体がない状態で前記所定領域が撮像された基準画像に含まれる複数の画素のそれぞれに前記所定領域における基準面からの被写体の高さが関連付けられた基準データを取得する基準データ取得部と、
   前記撮像データに含まれる画素に関連付けられた高さが、前記基準データにおける対応する画素に関連付けられた高さよりも大きい複数の異常画素を特定する画素特定部と、
   前記画素特定部が特定した前記複数の異常画素の時間変化に基づいて、前記複数の異常画素が示す物体が警報を発する対象であるか否かを判定する判定部と、
   を有する画像処理装置。
2. 前記画素特定部は、前記基準面からの高さに関連付けて、前記複数の異常画素を含む異常画素群を特定し、
   前記判定部は、前記異常画素群の高さ方向の時間変化に基づいて、前記物体が警報を発する対象であるか否かを判定する、
   請求項１に記載の画像処理装置。
3. 前記画素特定部は、前記基準面からの高さの範囲ごとに前記異常画素群を特定する、
   請求項２に記載の画像処理装置。
4. 前記判定部は、第１高さにおいて前記異常画素群を検出した後に、前記異常画素群が示す形状と同一又は類似する異常画素群を、前記第１高さよりも高い第２高さにおいて検出した場合に、前記物体が警報を発する対象でないと判定する、
   請求項２又は３に記載の画像処理装置。