JP2016144993A - 画像処理装置 - Google Patents

Abstract

【課題】プラットホームを監視するカメラの設置作業に要する時間を短縮する。【解決手段】プラットホームの上部に設置された撮影装置により撮影された撮影画像を処理するデータ管理装置であって、撮影装置の第１撮影部で撮影した第１画像と、第２撮影部で撮影した第２画像との視差に基づいて、距離画像５３を生成する第１生成部と、視差に基づいて、距離画像５３内の物体の３次元データを算出する算出部と、距離画像５３を３次元データに基づいて補正し、補正後の距離画像５４を生成する第２生成部と、を備える。【選択図】図７

Description

本発明は、画像処理装置に関する。

多数の乗客が利用する鉄道車両では安全な運行が要求されるため、鉄道車両の関係者は、鉄道車両を安全に運行するための様々な試みを行っている。例えば、乗客がプラットホームから線路へ転落すると、重大な事故に繋がるおそれがあることから、乗客の転落をいち早く検知する試みが多数なされており、そのうちの幾つかは実際に鉄道車両の駅で採用されている。

具体的な一例として、プラットホームの天井下に複数のカメラを設置し、複数のカメラでプラットホームや線路上等の駅構内を監視するカメラシステムがよく知られている。
このようなカメラシステムとして、例えば、特許文献１には、複数のカメラをデイジーチェーン接続し、夫々のカメラで取得された監視情報を他のカメラを経由してサーバに伝送するカメラシステムが開示されている。

特開２０１２−１１９８９号公報

ところで、プラットホームの上部に設置するカメラシステムでは、鉄道車両の運行に影響を与えないように、プラットホームと線路との境界（即ち、プラットホーム端）の直上ではなく、当該境界からプラットホーム側に所定量だけセットバックした位置にカメラを設置しなければならない。このような設置では、カメラシステムは、プラットホーム端や線路を斜めに見下ろす状態で駅構内を監視することになるため、設置現場では、カメラを取り付ける角度や画角を高精度に調整する必要があり、多大な時間を要していた。
特に、プラットホーム全域に亘り監視を行うためには多数のカメラを設置する必要があり、夫々のカメラにおいて固有の調整が必要なため膨大な時間が必要になる上に、乗客の利便性を損なうことのないよう調整作業は夜間に行う必要があるので、調整作業を軽減する技術が求められていた。

本発明は、このような問題に鑑みてなされたものであり、プラットホームを監視するカメラの設置作業に要する時間を短縮可能にする画像処理装置を提供することを目的とする。

本発明の第１の態様においては、第１方向に延びるプラットホームの上部に設置されたステレオカメラにより撮影された第１撮影画像を処理する画像処理装置であって、前記ステレオカメラの第１撮影部で撮影した第１画像と、第２撮影部で撮影した第２画像との視差に基づいて、第１距離画像を生成する第１生成部と、前記視差に基づいて、当該第１距離画像内の物体の３次元データを算出する算出部と、前記第１距離画像を前記３次元データに基づいて補正し、補正後の第２距離画像を生成する第２生成部と、を備える画像処理装置を提供する。

また、前記第１方向に延びる任意の位置を軸として前記３次元データを回転することで、前記物体の回転後の３次元データを算出する回転制御部、を更に備え、前記第２生成部は、算出した前記回転後の３次元データに基づいて第２距離画像を生成することとしてもよい。

また、前記第１距離画像から、前記プラットホームの側面に前記第１方向に沿って延びる線路の枕木を検出する検出部と、前記回転に伴い前記線路を構成する複数の枕木の夫々が、前記第１方向と直交する第２方向に沿って平行となる回転量を取得する取得部と、を更に備え、前記回転制御部は、取得した回転量分だけ前記３次元データを回転することとしてもよい。

また、前記取得部は、検出した一の枕木のうちの前記第２方向において異なる複数の監視点における前記第１方向の座標に基づいて、前記枕木の夫々が第２方向に沿って平行であることを判定することとしてもよい。

また、前記第２距離画像を前記軸を境に第１領域及び第２領域に分割し、前記第１領域のうちの任意の領域を第１監視領域と設定し、前記第２領域のうちの任意の領域を第２監視領域と設定する監視設定部と、前記第２距離画像に存在する異物が、前記第１監視領域及び前記第２監視領域の何れに存在するか判定する探索部と、を更に備えることとしてもよい。

また、前記探索部は、前記第１距離画像において異物を検出すると、前記軸を中心に前記異物の３次元データを回転することで、当該異物の回転後の３次元データを算出するとともに、当該回転後の３次元データに基づいて、前記異物が、前記第１監視領域又は前記第２監視領域の何れに存在するか判定することとしてもよい。

本発明によれば、プラットホームを監視するカメラの設置作業に要する時間を短縮することができるとともに、プラットホーム及び線路内の危険を精度良く検出することができる。

一実施形態に係る撮影システムの構成例を示す図である。 駅プラットホームにおける撮影装置の設置例を示す図である。 駅プラットホームにおける撮影装置の設置例を示す図である。 撮影装置が撮影した各種撮影画像の一例を示す図である。 撮影装置が撮影した各種撮影画像の一例を示す図である。 撮影システムの概要を示す図である。 撮影システムの概要を示す図である。 データ管理装置の機能構成を示すブロック図である。 回転制御部による距離画像の回転方法を説明するための図である。 回転制御部による距離画像の回転方法を説明するための図である。 回転後の距離画像に設定する監視領域の一例を示す図である。 探索部による異物の探索方法の流れを説明するための図である。 撮影システムの処理の流れを示すフローチャートである。 撮影システムの処理の流れを示すフローチャートである。 従来の監視運用方法を説明するための図である。

［撮影システム１０の全体構成］
図１は、本実施形態に係る撮影システム１０の全体構成を示す図であり、図２は、撮影装置１０１の駅のプラットホームＰにおける設置例を示す図である。なお、図２Ａは、鉄道車両の進行方向から駅のプラットホームＰを見た図であり、図２Ｂは、鉄道車両の進行方向に対して直交する方向から駅のプラットホームＰを見た図である。

図１に示すように撮影システム１０は、撮影装置群１００、及び撮影装置群１００と通信可能に接続されたデータ管理装置２００を含んで構成される。
なお、撮影システム１０は、データ管理装置２００と撮影装置群１００との間にハブ３００を備えてもよく、また、ハブ３００に接続される撮影装置群１００を複数備えてもよい。この場合、例えば、夫々の撮影装置群１００を、駅にある複数のプラットホームＰの夫々に設置することとしてもよい。また、撮影システム１０は、撮影装置群１００で撮影された画像を表示するモニタ４００を備えてもよい。

撮影装置群１００は、複数の撮影装置１０１（撮影装置１０１−１、撮影装置１０１−２・・・撮影装置１０１−ｎ、ただしｎは３以上の自然数）が所定方向に沿ってデイジーチェーン接続されて構成される。なお、図２Ｂに示すように、本実施形態では、複数の撮影装置１０１は、駅のプラットホームＰの長さ方向に沿ってデイジーチェーン接続される。

撮影装置１０１は、複数の撮影部が駅のプラットホームＰの長さ方向に沿って水平に配置されたステレオカメラである。図２Ａに示すように、撮影装置１０１は、鉄道車両の運行に影響を与えないように、駅のプラットホームＰの上部（天井）のうちプラットホームＰと線路Ｒとの境界（即ち、プラットホームＰの線路Ｒ側の端部）の直上からプラットホームＰの内側に所定量だけセットバックして設置される。また、図２Ｂに示すように、撮影装置１０１は、夫々の撮影装置１０１の撮影範囲Ｓが隣接する撮影装置１０１の撮影範囲Ｓと重なり合うように設置される。

撮影装置１０１は、プラットホームＰの周辺、即ちプラットホームＰ及び線路Ｒを俯瞰的に撮影する。ここで、撮影装置１０１によって撮影される第１画像５１及び第２画像５２、並びに第１画像５１と第２画像５２とから生成される距離画像５３の一例を図３Ａに示す。

第１画像５１は、撮影装置１０１の第１撮影部により撮影される撮影画像であり、第２画像５２は、撮影装置１０１の第２撮影部により撮影される撮影画像である。
図３Ａの第１画像５１に示すように、撮影装置１０１は、プラットホームＰ及び線路Ｒを撮影する。本実施形態では、線路Ｒは、レールＲａと複数の枕木Ｒｔと砂利Ｒｂとから構成されるバラスト軌道である。

距離画像５３は、第１画像５１と第２画像５２との視差に基づいて生成される画像である。
ここで、視差の算出方法は既に公知であり、基準画像（第１画像５１）の基準点と対応する対応点を比較画像（第２画像５２）の中から探索することで視差を算出する。具体的には、基準となる画素を中心に基準画像から画素ブロックを抽出し、比較画像の視差探索領域内の画素ブロックのうち基準画像から抽出した画素ブロックと輝度パターンが類似している画素ブロックをＳＡＤ（Sum of Absolute Differences）法等の公知の手法により特定する。そして、基準画像の画素ブロックの座標と比較画像の画素ブロックの座標との相違から、視差を算出する。

視差は、テクスチャが明瞭である領域に対して算出されるため、プラットホームＰ、レールＲａ及び枕木Ｒｔのようなテクスチャが少なく表面のパターンが一様な物体に対しては算出されない。そのため、撮影装置１０１でバラスト軌道を撮影する場合、図３Ａの距離画像５３に示すように、プラットホームＰ、レールＲａ及び枕木Ｒｔについては視差を算出できず、砂利Ｒｂのようにパターンに特徴がありテクスチャが明瞭な領域では、視差を算出することができる。

なお、夫々の画像において水平方向をＸ方向（第１方向）、垂直方向をＹ方向（第２方向）とする。撮影装置１０１の複数の撮影部が駅のプラットホームＰの長さ方向に沿って水平に配置されるため、Ｘ方向はプラットホームＰの長さ方向に相当する。また、Ｙ方向は、プラットホームＰや線路Ｒの幅方向に相当する。また、以下では、説明の便宜上、画像上部をＹ座標「小」とし、画面下部をＹ座標「大」とする。

撮影装置１０１が撮影した第１画像５１及び第２画像５２と、これら第１画像５１及び第２画像５２から生成された距離画像５３とは、所定の通信線を介してデータ管理装置２００に送信され、データ管理装置２００の記憶部２０２に記憶される。なお、距離画像５３は、撮影装置１０１が生成することなく、データ管理装置２００において生成することとしてもよい。

［撮影システム１０の概要］
続いて、本実施形態に係る撮影システム１０の概要について説明する。撮影装置１０１は、プラットホームＰの端からセットバックして設置されるため、撮影装置１０１は、プラットホームＰの端部や線路Ｒを斜めに見下ろすことになる。ここで、図２Ａに示すように、乗客がプラットホームＰの端に立っている場合、撮影装置１０１により撮影された距離画像５３では、図３Ｂに示すように、乗客の上半身が線路内に存在するかのように映ってしまい、線路落下を誤検知してしまうおそれがある。

そこで、撮影システム１０では、図４Ａに示すように、プラットホームＰの長さ方向（Ｘ方向）に延びる任意の軸を中心に距離画像５３を回転し、新たな距離画像５４を生成する。なお、駅構内の監視では、危険がプラットホーム上で発生しているのか、線路内で発生しているのかを精度良く監視する必要がある。このような監視は、プラットホームＰと線路Ｒとの境界を真上から監視することが好ましいため、本実施形態では特に、プラットホームＰの長さ方向に延びるプラットホームＰの端部を軸に距離画像５３を回転する。

この回転の結果、図４Ｂに示すように、プラットホーム端からセットバックして設置した撮影装置１０１から、プラットホーム端を真上から撮影したかのような距離画像５４を得ることができる。これにより、プラットホームＰの端からセットバックして設置した場合であっても、プラットホーム及び線路内の危険を精度良く監視することができる。

また、設置した後の回転処理により撮影装置１０１の監視精度の調整を行うことができるため、撮影装置１０１の設置時には、取り付ける角度や画角を精密に調整する必要がない。そのため、撮影システム１０では、撮影装置１０１の設置に膨大な時間をかける必要がなく、撮影装置１０１の設置作業に要する時間を短縮することができる。
以下、このような制御を可能にするデータ管理装置２００の詳細について説明する。

［データ管理装置２００の機能構成］
図５は、データ管理装置２００の機能構成を示すブロック図である。データ管理装置２００は、制御部２０１と、記憶部２０２と、を含んで構成される。

記憶部２０２は、例えば、ＲＯＭ及びＲＡＭ等により構成される。記憶部２０２は、データ管理装置２００を機能させるための各種プログラムを記憶する。また、記憶部２０２は、撮影装置１０１（ステレオカメラ）の第１撮影部が撮影した第１画像５１及び第２撮影部が撮影した第２画像５２の画像データと、第１画像５１及び第２画像５２から生成される距離画像５３の画像データと、距離画像５３を回転することで生成される距離画像５４の画像データと、を記憶する。

制御部２０１は、例えば、ＣＰＵにより構成され、記憶部２０２に記憶されている各種プログラムを実行することにより、第１生成部２０３、算出部２０４、回転制御部２０５、第２生成部２０６、監視設定部２０７及び探索部２０８として機能する。

第１生成部２０３は、撮影装置１０１の第１撮影部が撮影した第１画像５１と、第２撮影部が撮影した第２画像５２とから距離画像５３（第１距離画像）を生成する。具体的には、第１生成部２０３は、第１画像５１と第２画像５２との視差をＳＡＤ法等の公知の手法により特定し、特定した視差に基づいて距離画像５３を生成する。

算出部２０４は、第１画像５１と第２画像５２との視差に基づいて、距離画像５３内の物体の３次元データを算出する。撮影装置１０１の撮影範囲内に物体が存在する場合、当該物体は他の領域と異なるパターンであるため、第１画像５１と第２画像５２との間で視差が生じ、距離画像５３に当該物体があらわれる。視差が分かると、三角測量の原理で撮影装置１０１から当該物体までの距離を測定できるため、算出部２０４は、距離画像５３内の物体のＸＹ座標に加え、当該物体のＺ座標を算出することができる。算出部２０４は、これらＸＹＺ座標を、物体の３次元データとして算出する。

第２生成部２０６は、算出部２０４が算出した３次元データ（ＸＹＺ座標）に対して所定の演算を行うことで、距離画像５３（第１距離画像）を補正し、補正後の距離画像５４（第２距離画像）を生成する。本実施形態では、一例として、第２生成部２０６は、回転制御部２０５が回転した３次元データを用いて、距離画像５４を生成する。
以下、具体的に説明する。

回転制御部２０５は、距離画像５３のＸ方向に延びる任意の軸を中心に物体の３次元データを回転することで、当該物体の回転後の３次元データを算出する。このような回転制御は座標変換として既に公知であり、ローカル座標であらわされる物体がグローバル座標系においてどのように配置されるか算出することで行われる。
具体的には、距離画像５３は、第１画像５１と第２画像５２との視差に基づいて生成されるため、距離画像５３内の物体にはＸＹＺ座標の３次元データ（ローカル座標）が与えられる。回転制御部２０５は、この３次元データ（ローカル座標）を、Ｘ方向に延びる回転軸を基準とするワールド座標系に配置し、当該回転軸を中心に回転することで、回転後の物体の３次元データを算出する。

第２生成部２０６は、算出した回転後の３次元データに基づいて距離画像５４を生成する。距離画像５３において撮影装置１０１からの物体の距離（回転前の距離）が分かっているため、第２生成部２０６は、この回転前の距離を、回転前の物体の３次元データと回転後の物体の３次元データとの相違に基づいて補正することで、回転後の距離画像５４を生成することができる。

ここで、上述したように、Ｘ方向に延びる回転軸とはプラットホームＰの端部であり、また、このような回転処理は、プラットホームＰの端を真上から撮影したかのような距離画像５４を得るために行う。
そこで、回転制御部２０５は、距離画像５３の中から回転軸としてのプラットホームＰの端部を特定するための特定部２０９、及びプラットホームＰの端を真上から撮影するために必要な回転量を取得するための検出部２１０及び取得部２１１と、を含むこととしてもよい。

特定部２０９は、第１画像５１と第２画像５２との視差に基づいて、距離画像５３におけるプラットホームの端部の位置（Ｙ座標）を特定する。
具体的には、図６（Ａ）に示すように、特定部２０９は、距離画像５３をＹ方向に走査し、Ｙ座標毎に視差ゼロである画素数を計数する。そして、特定部２０９は、視差ゼロである画素数に基づいて、プラットホームＰ及びレールＲａの位置（Ｙ座標）を検出する。

図６（Ｂ）は、Ｙ座標と視差ゼロの画素数との関係を示すヒストグラムである。本実施形態のようにバラスト軌道を撮影する場合、撮影画像のＸ方向に沿って延びるプラットホームＰ及びレールＲａの位置（Ｙ座標）では、視差ゼロの画素数が多くなる。一方、砂利Ｒｂの位置（Ｙ座標）では、視差が算出されるため、視差ゼロの画素数が少なくなる。

特定部２０９は、視差ゼロの画素数が多いＹ座標のうち、Ｙ座標が最も大きいものをプラットホームＰとし、Ｙ座標が次に大きいものを２本のレールＲａの手前側のレールＲａ（以下、「下部レールＲａｄ」と呼ぶ）とし、Ｙ座標が次に大きいものを２本のレールＲａの奥側のレールＲａ（以下、「上部レールＲａｕ」と呼ぶ）とする。
そして、特定部２０９は、プラットホームＰと砂利Ｒｂとの境界部分のＹ座標「Ｒ３」を、プラットホームＰの端部と特定する。また、特定部２０９は、上部レールＲａｕの位置（Ｙ座標）を座標Ｒ１とし、下部レールＲａｄの位置（Ｙ座標）を座標Ｒ２とする。

検出部２１０は、距離画像５３から、プラットホームＰの側面にＸ方向沿って延びる線路Ｒの枕木Ｒｔの位置を検出する。
具体的には、検出部２１０は、距離画像５３のうち上部レールＲａｕ及び下部レールＲａｄが存在する領域（Ｙ座標）のうちの任意の位置をＸ方向に走査し、枕木Ｒｔの位置（Ｘ座標）を検出する。図７に示す例では、上部レールＲａｕ及び下部レールＲａｄ間を３分割し、上部レールＲａｕ及び下部レールＲａｄ間を３分割にする位置に、夫々、座標Ｍ１，座標Ｍ２をセットする。また、枕木Ｒｔは、レールＲａよりも手前側及び奥側に延びて設置されるため、検出部２１０は、下部レールＲａｄよりも手前側の位置に座標Ｍ３をセットし、上部レールＲａｕよりも奥側の位置に座標Ｍ４をセットする。
なお、検出部２１０は、「下部レールＲａｄの座標Ｒ２＋α１」を座標Ｍ３としてセットし、「上部レールＲａｕの座標Ｒ１−α２」を、座標Ｍ４としてセットする。このとき、α１及びα２は、実験等により経験的に設定される値である。

続いて、検出部２１０は、座標Ｍ１から座標Ｍ４の夫々について、距離画像５３をＸ方向に走査し、Ｘ座標毎に視差ゼロの画素数を計数する。なお、図７（Ｂ）は、例えば、座標Ｍ１の位置をＸ方向に走査した場合の、Ｘ座標と視差ゼロの画素数との関係を示すヒストグラムである。
枕木Ｒｔでは視差が算出できないため、枕木Ｒｔの位置（Ｘ座標）では、視差ゼロの画素数が多くなる。一方、砂利Ｒｂでは、視差が算出されるため、砂利Ｒｂの位置（Ｘ座標）では、視差ゼロの画素数が少なくなる。検出部２１０は、視差ゼロの画素数に基づいて、枕木Ｒｔの位置（Ｘ座標）を検出する。

取得部２１１は、プラットホームＰの端を真上から撮影したかのような距離画像５４を得るために必要な回転量を取得する。枕木Ｒｔは、線路Ｒにおいて上部レールＲａｕ及び下部レールＲａｄに対して垂直に設置されるため、夫々の枕木Ｒｔは、Ｙ方向において平行に設置されている。
この点、プラットホームＰや線路Ｒを斜めに見下ろして撮影した場合、枕木ＲｔのプラットホームＰ側と線路Ｒの奥側とで撮影装置１０１からの距離が異なるため、図７（Ｃ）に示すように、夫々の枕木Ｒｔは平行にならない。これに対して、プラットホームＰの端を真上から撮影した場合、枕木ＲｔのプラットホームＰ側と線路Ｒの奥側とで撮影装置１０１からの距離が等しくなる（より詳細には、斜めに見下ろした場合よりも近似する）。

そこで、本実施形態では、図７（Ｄ）に示すように、線路Ｒを構成する複数の枕木Ｒｔの夫々がＹ方向に沿って平行となる状態を、プラットホームＰの端を真上から撮影した状態とし、取得部２１１は、当該状態になるまでに必要な回転量を、プラットホームＰの端を真上から撮影したかのような距離画像５４を得るために必要な回転量として取得する。

具体的には、取得部２１１は、検出した一の枕木ＲｔのうちのＹ方向において異なる複数の監視点におけるＸ方向の座標に基づいて、枕木Ｒｔの夫々がＹ方向に沿って平行であることを判定する。図７に示す例の場合、座標Ｍ１から座標Ｍ４は、夫々Ｙ座標が異なる位置である。取得部２１１は、座標Ｍ１から座標Ｍ４の夫々における枕木ＲｔのＸ座標を比較し、当該Ｘ座標が略一致した場合に、枕木Ｒｔの夫々がＹ方向に沿って平行であると判定する。

なお、プラットホーム端を真上から撮影したとしても、撮影装置１０１から枕木ＲｔのプラットホームＰ側までの距離と、撮影装置１０１から枕木Ｒｔの線路Ｒの奥側までの距離とは、完全に一致するわけではない。また、回転は、距離画像５３という一方向からの撮影結果のみに基づいて行われるため、回転後の形状と実際の形状との一致精度にも所定の限界がある。
そのため、枕木Ｒｔの夫々がＹ方向に沿って平行となる状態とは、枕木Ｒｔの夫々が完全に一致することまでを要求するものではなく、平行度が所定の閾値を満たせば足りる。なお、所定の閾値については、実験等により経験的に設定される。

取得部２１１が取得した回転量は、対象の距離画像５３を撮影した撮影装置１０１に対応付けられて記憶部２０２に記憶される。回転制御部２０５は、記憶部２０２から撮影装置１０１に対応してセットされた回転量を読み出し、当該回転量分だけ距離画像５３を回転することで、回転後の３次元データを算出する。

このように、プラットホーム端を真上から撮影した状態となる回転量を、撮影装置１０１毎に取得しセットしておくことで、撮影装置１０１の設置時に取り付ける角度や画角を精密に調整する必要がなくなる。その結果、撮影システム１０では、撮影装置１０１の設置に膨大な時間をかける必要がなく、撮影装置１０１の設置作業に要する時間を短縮することができる。

図５に戻り、監視設定部２０７は、回転後の距離画像５４に対して、線路Ｒへの落下を監視する落下検知エリア、及びプラットホーム端への接近を監視する接近検知エリアを設定する。具体的には、監視設定部２０７は、距離画像５４を回転軸（プラットホーム端）を境にして、線路側の領域とプラットホーム側の領域に分割し、線路側の領域のうちの任意の領域を落下検知エリアと設定し、プラットホーム側の領域のうちの任意の領域を接近検知エリアと設定する。

一の線路と他の線路とが隣接する場合、路線によっては、線路間に資材を置くことがある。落下検知エリアは、この資材を線路内の異物として検出しないように、Ｙ方向において適切な範囲を設定する必要がある。
この点、本実施形態では、監視設定部２０７は、図８に示すように、落下検知エリアのＹ座標を、座標Ｙ１から座標Ｙ２の範囲に設定する。座標Ｙ１は、上部レールＲａｕの座標Ｒ１よりも奥側５０ｃｍの位置であり、座標Ｙ２は、プラットホーム端の座標Ｒ２である。なお、奥側５０ｃｍについては、画像素子１画素の大きさと、撮影装置１０１からの距離との関係に基づいて算出することができ、撮影装置１０１を線路面から４．３ｍ上方に設置している場合には、５０ｃｍは４７画素になる。

接近検知エリアとしては、プラットホーム端から内側所定領域までを設定する必要がある。多くの駅において、プラットホームＰには点字ブロックが設置されているため、プラットホーム端から点字ブロックまでの領域を接近検知エリアとして設定することとしてもよいが、点字ブロックの設置パターンは全ての駅において統一されているわけではないため、本実施形態では、次のような範囲に接近検知エリアを設定する。
具体的には、監視設定部２０７は、図８に示すように、接近検知エリアのＹ座標を、座標Ｙ２から座標Ｙ３の範囲に設定する。座標Ｙ３は、座標Ｙ２よりも手前側９０ｃｍの位置であり、撮影装置１０１をプラットホーム面から２．２ｍ上方に設置している場合には、座標Ｙ２＋１６３（画素）が座標Ｙ３となる。

なお、落下検知エリア及び接近検知エリアのＸ方向の範囲は適宜任意に設定することができる。一例として、監視設定部２０７は、Ｘ方向の全範囲から両サイドのマージンと視差探索領域分を減算した範囲を、落下検知エリア及び接近検知エリアのＸ方向の範囲として設定する。

図５に戻り、探索部２０８は、撮影装置１０１の監視エリア内で異物（例えば、線路内に存在する人や物、又はプラットホーム端の近傍に存在する人や物）を検出するとともに、検出した異物が落下検知エリア及び接近検知エリアの何れに存在するか判定する。
具体的には、探索部２０８は、撮影装置１０１が撮影した距離画像５３において異物（異常視差）を検出すると、プラットホーム端を回転軸として当該異物の３次元データを、取得部２１１が取得した回転量だけ回転し、当該異物の回転後の３次元データを算出する。そして、探索部２０８は、算出した回転後の３次元データと、距離画像５４に対して設定した落下検知エリア及び接近検知エリアとを比較して、異物が落下検知エリア及び接近検知エリアの何れに存在するか判定する。

ここで、図９を参照して、探索部２０８による異物の探索方法を具体的に説明する。なお、説明を容易にするため、本実施形態では、図９（Ａ）に示すように、プラットホーム端に直方体の異物がある場合を例にとり、探索部２０８による異物の探索方法について説明する。
プラットホーム端に異物が存在する場合、図９（Ｂ）に示すように、距離画像５３において当該異物は、異常視差としてあらわれる。撮影装置１０１は、プラットホーム端や線路を斜めに見下ろすように設置されているため、異物がプラットホーム内に存在する場合であっても、距離画像５３では、線路内の領域に異常視差が存在し、異物が線路内に存在するかのように判定されてしまう。

異物に対する第１撮影部と第２撮影部との視差から、当該異物の３次元データ（ＸＹＺ座標）を算出することができるため、探索部２０８は、プラットホーム端を回転軸として検出した異物を回転する。その結果、図９（Ｃ）に示すように、プラットホーム端を真上から撮影したかのような距離画像５４を得ることができる。探索部２０８は、距離画像５４における異物の中心の所定領域に着目して、当該所定領域が落下検知エリア及び接近検知エリアの何れに存在するか判定することで、異物がプラットホーム内に存在するのか、線路内に存在するのかを判定する。

なお、撮影装置１０１による撮影は一方向のみからであるため、回転後の異物の形状は、当該異物を真上から撮影した場合の実際の形状と一致せずに実際の形状に対して歪んでしまう。しかしながら、プラットホームＰや線路Ｒの監視としては、線路落下やプラットホーム端への接近を検知できれば足り、異物の実際の形状を正確に判定する必要はない。そのため、回転後の異物の形状が歪んでしまったとしても、駅構内の監視を適切に行うことができる。

［撮影システム１０の処理］
続いて、図１０及び図１１を参照して、本発明の撮影システム１０の処理の流れについて説明する。図１０は、プラットホームＰに設置した撮影装置１０１に対して各種設定を行う設定処理の流れを示すフローチャートである。

図１０に示すように、初めに、ステップＳ１において、撮影装置１０１は、線路Ｒを撮影し、第１画像５１及び第２画像５２を取得する。続いて、ステップＳ２において、データ管理装置２００の第１生成部２０３は、撮影した第１画像５１及び第２画像５２の視差から距離画像５３を生成する。

続いて、ステップＳ３において、算出部２０４は、距離画像５３に含まれる物体の３次元データ（ＸＹＺ座標）を、第１画像５１及び第２画像５２の視差に基づいて算出する。続いて、ステップＳ４において、特定部２０９は、距離画像５３のプラットホーム端を特定する。例えば、特定部２０９は、距離画像５３をＹ方向に走査して、Ｙ座標と視差ゼロの画素数との関係を示すヒストグラムを生成し、視差ゼロである画素数に基づいて、プラットホーム端の位置（Ｙ座標）を特定する。

続いて、ステップＳ５において、回転制御部２０５は、ステップＳ３で算出した物体の３次元データを、ステップＳ４で特定したプラットホーム端を軸に回転する。この回転は、ステップＳ６において、夫々の枕木Ｒｔが平行になったと判定されるまで行われる。なお、ステップＳ６の判定では、回転制御部２０５（取得部２１１）は、枕木ＲｔのうちのＹ方向において異なる複数の監視点におけるＸ方向の座標が略一致した場合に、枕木Ｒｔが平行になったと判定する。

回転により枕木Ｒｔが平行になると、続いて、ステップＳ７において、回転制御部２０５（取得部２１１）は、当該状態になるまでに要した回転量を、ステップＳ１で撮影した撮影装置１０１に対応付けて登録する。また、ステップＳ８において、監視設定部２０７は、回転後の距離画像５４に対して落下検知エリア及び接近検知エリアを設定し、撮影装置１０１に対応付けて登録し、設定処理を終了する。

続いて、図１１を参照して、撮影装置１０１の監視領域において異物を検知した場合の異物検知処理について説明する。
図１１に示すように、初めに、ステップＳ１１において、撮影装置１０１は、線路Ｒを撮影し、第１画像５１及び第２画像５２を取得する。続いて、ステップＳ１２において、データ管理装置２００の第１生成部２０３は、撮影した第１画像５１及び第２画像５２の視差から距離画像５３を生成する。

続いて、ステップＳ１３において、探索部２０８は、距離画像５３内に異物が存在するか否かを判定する。一例として、探索部２０８は、プラットホーム端や線路内に異常視差が存在する場合に、異物が存在すると判定する。

距離画像５３内に異物が存在する場合、続いて、ステップＳ１４において、探索部２０８は、当該距離画像５３のうちのプラットホーム端を回転軸として、図１０のステップＳ７で設定した回転量分だけ、当該距離画像５３を回転する。続いて、ステップＳ１４において、探索部２０８は、回転後の距離画像５４における異物の存在する位置と、図１０のステップＳ８で設定した落下検知エリア及び接近検知エリアとを比較して、落下検知エリア及び接近検知エリアの何れに異物が存在するか判定する。続いて、ステップＳ１５において、異物が存在するエリアに応じた所定の警告を行い、異物検知処理を終了する。

［撮影システム１０における効果］
以上、本発明の実施形態について説明した。続いて、撮影システム１０における効果について説明する。

撮影システム１０では、第１の効果として、撮影装置１０１の設置作業に要する時間を短縮することができる。
プラットホーム端や線路を斜めに撮影する場合、線路落下の誤検知を防止するために、通常であれば、撮影装置１０１を取り付ける角度や画角を高精度に調整する必要がある。この点、撮影システム１０では、撮影装置１０１が撮影した距離画像５３から被写体の３次元データ（ＸＹＺ座標）を算出できることに着目して、プラットホーム端を真上から撮影したかのような画像を得るために必要な回転量を撮影装置１０１に対して設定する。

これにより、設置した後の回転処理により撮影装置１０１の監視精度の調整を行うことができるため、撮影装置１０１の設置時には、取り付ける角度や画角を精密に調整する必要がない。そのため、撮影システム１０では、撮影装置１０１の設置に膨大な時間をかける必要がなく、撮影装置１０１の設置作業に要する時間を短縮することができる。
この第１の効果は、プラットホーム全域に亘り監視を行う撮影システム１０においてより顕著にあらわれる。即ち、撮影システム１０では、多数の撮影装置１０１を用いてプラットホームを監視するものの、設置作業時間を撮影装置１０１の夫々において短縮することができるため、撮影システム１０全体において設置時間を大幅に短縮することができる。

また、プラットホームでは多くの点検作業が行われるため、撮影装置１０１を取り付けた後も、何らかの事象で撮影装置１０１がずれてしまう場合がある。従来の運用では、撮影装置１０１がずれてしまうと、撮影装置１０１の設置を再度手動で調整しなければならい。この再度の調整も、鉄道車両の運行に与えないように夜間に行う必要があり、作業員にとって大きな負担を与えるだけでなく、調整作業が済むまで適切な監視を行うことができない。
この点、撮影システム１０では、定期的又は管理者の手動で、撮影装置１０１に対する設定処理を行うことで、撮影装置１０１がずれてしまったとしても、適切な回転量を再度設定することができる。これにより、調整作業の工数を短縮できるとともに、継続的な監視を行うことができ、好適である。

また、撮影システム１０では、第２の効果として、撮影装置１０１による監視精度の向上が期待できる。
プラットホーム端を斜めに撮影する場合、プラットホーム端に存在する乗客の上半身が線路上に写ってしまい、線路落下と誤検知してしまうおそれがある。この点、従来では、落下検知の高さ方向（Ｚ方向）の探索範囲を狭くすることで誤検知を防止していたが、撮影システム１０では、プラットホーム端を真上から撮影した状態でプラットホームＰや線路Ｒを監視するため、高さ方向の探索範囲を調整することなく、線路落下の誤検知を防止することができる。

ここで、図１２を参照して、撮影システム１０における従来の監視運用方法について説明する。図１２（Ａ）に示すように、乗客Ｕａは、線路内に存在し、乗客Ｕｂは、プラットホーム端に存在している。乗客の平均身長を考慮すると、線路面から高さ１９０ｃｍの範囲を探索範囲として設定すると、線路内に存在する乗客Ｕａの全身を探索することができる一方で、線路面から１９０ｃｍの範囲では、プラットホーム上に存在する乗客Ｕｂの上半身も探索範囲に含まれてしまい、好ましくない。そこで、従来の運用では、線路面から高さ１３０ｃｍの範囲を探索範囲として設定している。

図１２（Ｂ）に示すように、高さ方向の探索範囲を線路Ｒ面から１３０ｃｍまでとした場合、プラットホーム上の乗客Ｕｂの足部分までが探索範囲となる。探索範囲が足部分までであれば検知サイズが小さく、乗客Ｕｂを線路落下と誤検知してしまうことはない。
一方で、高さ方向の探索範囲を線路面から１３０ｃｍまでとした場合、線路上の乗客Ｕａの胸部分までで距離探索が終わってしまう。胸部分で切ってしまうと、テクスチャが少なく乗客Ｕａをロストしてしまう場合があり、線路落下を見逃してしまう場合がある。

これに対して、図１２（Ｃ）に示すように、高さ方向の探索範囲を線路面から１９０ｃｍまでとした場合、乗客Ｕａの全身が探索範囲となるため、線路上の乗客Ｕａを安定して検出することができ、線路落下を見逃すことがない。
一方で、高さ方向の探索範囲を線路面から１９０ｃｍまでとした場合、プラットホーム上の乗客Ｕｂの胸部分まで距離探索が行われてしまう。プラットホーム上の乗客Ｕｂの胸部分まで探索してしまうと、テクスチャが少なくロストする可能性があるものの、検知してしまう可能性もあり、検知してしまった場合に、線路落下の誤検知に繋がる。

このように従来の監視方法では、線路落下の誤検知と検知漏れとを考慮して、高さ方向の探索範囲を調整していた。この点、撮影システム１０では、プラットホーム端を真上から撮影した状態で監視することができるため、探索範囲の調整など必要なく、線路落下等の危険を精度よく検知することができる。

以上、本発明を実施の形態を用いて説明したが、本発明の技術的範囲は上記実施の形態に記載の範囲には限定されない。上記実施の形態に、多様な変更又は改良を加えることが可能であることが当業者に明らかである。その様な変更又は改良を加えた形態も本発明の技術的範囲に含まれ得ることが、特許請求の範囲の記載から明らかである。

上記実施形態では、プラットホームＰの長さ方向（Ｘ方向）に延びる軸を中心に、距離画像５３や当該距離画像５３に含まれる物体を回転することとしているが、回転方向はこれに限られるものではなく、プラットホームＰの長さ方向に直交する方向（Ｙ方向）に延びる軸を中心に回転することとしてもよく、高さ方向（Ｚ方向）に延びる軸を中心に回転することとしてもよい。
撮影装置１０１の設置状態によっては、プラットホームＰの長さ方向と距離画像５３のＸ方向とが一致しない場合もあるが、この場合であっても、距離画像５３を高さ方向（Ｚ方向）に延びる軸を中心に回転することで、プラットホームＰの長さ方向と距離画像５３のＸ方向とを合わせることができる。そのため、設置作業に要する時間を短縮できるという効果を期待できる。

１０・・・撮影システム
１００・・・撮影装置群
１０１・・・撮影装置
２００・・・データ管理装置（画像処理装置）
２０１・・・制御部
２０２・・・記憶部
２０３・・・第１生成部
２０４・・・算出部
２０５・・・回転制御部
２０６・・・第２生成部
２０７・・・監視設定部
２０８・・・探索部
２０９・・・特定部
２１０・・・検出部
２１１・・・取得部
３００・・・ハブ
４００・・・モニタ

Claims (6)

1. 第１方向に延びるプラットホームの上部に設置されたステレオカメラにより撮影された撮影画像を処理する画像処理装置であって、
   前記ステレオカメラの第１撮影部で撮影した第１画像と、第２撮影部で撮影した第２画像との視差に基づいて、第１距離画像を生成する第１生成部と、
   前記視差に基づいて、当該第１距離画像内の物体の３次元データを算出する算出部と、
   前記第１距離画像を前記３次元データに基づいて補正し、補正後の第２距離画像を生成する第２生成部と、
   を備える画像処理装置。
2. 前記第１方向に延びる任意の位置を軸として前記３次元データを回転することで、前記物体の回転後の３次元データを算出する回転制御部、を更に備え、
   前記第２生成部は、算出した前記回転後の３次元データに基づいて第２距離画像を生成する、
   請求項１に記載の画像処理装置。
3. 前記第１距離画像から、前記プラットホームの側面に前記第１方向に沿って延びる線路の枕木を検出する検出部と、
   前記回転に伴い前記線路を構成する複数の枕木の夫々が、前記第１方向と直交する第２方向に沿って平行となる回転量を取得する取得部と、
   を更に備え、
   前記回転制御部は、取得した回転量分だけ前記３次元データを回転する、
   請求項２に記載の画像処理装置。
4. 前記取得部は、検出した一の枕木のうちの前記第２方向において異なる複数の監視点における前記第１方向の座標に基づいて、前記枕木の夫々が第２方向に沿って平行であることを判定する、
   請求項３に記載の画像処理装置。
5. 前記第２距離画像を前記軸を境に第１領域及び第２領域に分割し、前記第１領域のうちの任意の領域を第１監視領域と設定し、前記第２領域のうちの任意の領域を第２監視領域と設定する監視設定部と、
   前記第２距離画像に存在する異物が、前記第１監視領域及び前記第２監視領域の何れに存在するか判定する探索部と、
   を更に備える請求項２から４の何れか１項に記載の画像処理装置。
6. 前記探索部は、前記第１距離画像において異物を検出すると、前記軸を中心に前記異物の３次元データを回転することで、当該異物の回転後の３次元データを算出するとともに、当該回転後の３次元データに基づいて、前記異物が、前記第１監視領域又は前記第２監視領域の何れに存在するか判定する、
   請求項５に記載の画像処理装置。

Images