JP2020180905A

JP2020180905A - レール曲率推定装置

Info

Publication number: JP2020180905A
Application number: JP2019085048A
Authority: JP
Inventors: 寛修深井; Hironaga Fukai; 勇介渡部; Yusuke Watabe; 大樹山本; Hiroki Yamamoto
Original assignee: Meidensha Corp; Meidensha Electric Manufacturing Co Ltd
Current assignee: Meidensha Corp; Meidensha Electric Manufacturing Co Ltd
Priority date: 2019-04-26
Filing date: 2019-04-26
Publication date: 2020-11-05
Anticipated expiration: 2039-04-26
Also published as: JP7127607B2

Abstract

【課題】レールの曲率半径を簡便に求めることを可能とするレール曲率推定装置を提供する。【解決手段】車両１に設置されレール２を撮像するエリアセンサカメラ１１と、エリアセンサカメラ１１にて取得した画像データに基づき、レール２の曲率半径を求める処理部１３とを備え、処理部１３は、画像データ、及び、レール２の直線区間におけるレール２の幅と隣り合う枕木３間の距離と電柱間の距離とを用いて、エリアセンサカメラ１１の焦点距離及び主点座標を算出する内部パラメータ算出部２２と、画像データ及びエリアセンサカメラ１１の焦点距離に基づき、エリアセンサカメラ１１とレール２との間の位置姿勢を算出する外部パラメータ算出部２３と、レール２の中心座標、エリアセンサカメラ１１の焦点距離と主点座標、及び、上記位置姿勢を用いて、レール２の曲率半径を求める曲率半径算出部２４とを備える。【選択図】図２

Description

本発明は、鉄道分野における画像処理を用いたレール曲率推定装置に関する。

鉄道分野においては、カメラで取得した画像を処理することでレールの曲率半径を求めることがある。

例えば、下記特許文献１は、建築限界内の支障物の有無、より一般的には、線路空間における支障物の有無を定量的に評価するものであり、さらには、営業列車を用いて支障物の検知を行うものであるが、建築限界枠を計算するために必要なレールの曲率半径を、車両中心位置やカメラ位置などのパラメータから導出する方法を開示している。

また、下記特許文献２は、エリアセンサカメラの画像を用いて高精度にレールの検出を行うことができる装置を開示している。

特開２０１６‐０００５９８号公報特開２０１６‐０９１５０６号公報

Z. Zhang. "A Flexible New Technique for Camera Calibration", IEEE Transactions on Pattern Analysis and Machine Intelligence, Vol. 22, No. 11, 2000年, pp.1330-1334.

上記特許文献１では、カメラの位置（車両の枕木方向中央）及び傾き（光軸方向にのみ回転）を精密に設定しなければ、正確に曲率半径を求めることができない。

また、上記特許文献２では、対象領域のレールを纏めて検出するのに「レール形状モデル」という統計モデルを使用するが、このモデルを作成するために、事前にレール中心座標とレール形状との関係を統計的にモデル化するため、これらの対応がとれているデータを予め用意しなければ曲率半径を求めることができない。

本発明は、上記各特許文献のような手間を必要とせず、レールの曲率半径を簡便に求めることを可能とするレール曲率推定装置を提供することを目的とする。

上記課題を解決するための第１の発明に係るレール曲率推定装置は、
鉄道車両に設置されレールを撮像するカメラと、
前記カメラにより連続的に取得した複数の画像に基づき、前記レールの曲率半径を求める処理部とを備え、
前記処理部は、
前記カメラの焦点距離及び主点座標を算出する内部パラメータ算出部と、
前記画像、前記焦点距離及び前記主点距離、並びに、前記レールの直線区間における前記レールの幅、隣り合う枕木間の距離及び電柱間の距離を用いて、各前記画像ごとに前記カメラの前記レールに対する位置姿勢を算出する外部パラメータ算出部と、
前記レールの中心座標、前記焦点距離及び前記主点座標、並びに、前記位置姿勢を用いて、各前記画像ごとに前記レールの曲率半径を求める曲率半径算出部とを備える
ことを特徴とする。

上記課題を解決するための第２の発明に係るレール曲率推定装置は、
上記第１の発明に係るレール曲率推定装置において、
前記曲率半径算出部は、前記カメラにより取得した画像上の前記レールの中心座標、前記焦点距離及び前記主点座標、並びに、前記位置姿勢を用いて前記曲率半径を求める
ことを特徴とする。

上記課題を解決するための第３の発明に係るレール曲率推定装置は、
上記第２の発明に係るレール曲率推定装置において、
前記曲率半径の初期値およびレール座標系における前記レールの長手方向の任意の位置に基づいて前記中心座標を算出するレール中心座標算出部をさらに備える
ことを特徴とする。

本発明に係るレール曲率推定装置によれば、レールの曲率半径を簡便に求めることが可能となる。

鉄道車両に設置された本発明の実施例１に係るレール曲率推定装置を示す模式図である。本発明の実施例１に係るレール曲率推定装置の構成を説明するブロック図である。カメラ座標系とレール座標系との関係を説明する模式的斜視図である。画像座標系を説明する模式図である。曲率半径とＸｒとの関係を示す説明図である。本発明の実施例３に係るレール曲率推定装置の構成を説明するブロック図である。

本発明に係るレール曲率推定装置は、鉄道車両に設置されたカメラから得られた画像データ、及び、カメラの内部パラメータに基づき、画像中のレール位置を検出するとともに、曲率半径を求めるものである。

以下、本発明に係るレール曲率推定装置について、実施例にて図面を用いて説明する。

［実施例１］
本実施例に係るレール曲率推定装置は、エリアセンサカメラから得られた画像データ、及び、カメラの焦点距離及び主点座標等の内部パラメータから、曲率半径を求めるのに必要なレールとカメラとの位置姿勢関係を算出するものである。

本実施例に係るレール曲率推定装置の構成について説明する。図１は、鉄道車両（車両１）に設置された本実施例に係るレール曲率推定装置を示す模式図であり、図２は、本実施例に係るレール曲率推定装置の構成を説明するブロック図である。

図１，２に示すように、本実施例に係るレール曲率推定装置は、エリアセンサカメラ１１、記憶部１２、及び、処理部１３を備えている。

エリアセンサカメラ１１は、図１のように、車両１の屋根上１ａにおける進行方向前方側にて、車両１の進行方向に向けて配置され、車両１の進行方向のレール２を撮像（レール２が写った画像データを取得）するか、あるいは、車両１の屋根上１ａにおける進行方向後方側にて、車両１の進行方向と反対に向けて配置され、車両１の進行方向と反対側のレール２を撮像するものである。

記憶部１２は、エリアセンサカメラ１１に接続されており、エリアセンサカメラ１１にて取得した画像データを記憶する。

処理部１３は、エリアセンサカメラ１１にて取得した画像データを用いてレール２の曲率半径を求めるものであり、記憶部１２に接続され、図２に示すように、入力部２１、内部パラメータ算出部２２、外部パラメータ算出部２３、及び曲率半径算出部２４を備えている。このうち、入力部２１には、記憶部１２に記憶された画像データが入力される。

内部パラメータ算出部２２は、エリアセンサカメラ１１の焦点距離及び主点距離（以下、「内部パラメータ」と記載）を求める。なお、内部パラメータの算出手法については既知の手法（例えば、非特許文献１に記載されたキャリブレーションボードを用いる手法等）を用いればよく、ここでの詳細な説明は省略する。

また、外部パラメータ算出部２３では、入力部２１に入力された画像データからレール２、枕木３及び電柱の位置を作業者が手動で検出することにより取得したレール２の直線区間における、レール２の幅（以下、単に「レール幅」と記載）、隣り合う枕木３間の距離、及び、電柱間の距離（レール２を挟んだ距離及びレール２の延伸方向に沿った距離）と、内部パラメータ算出部２２にて算出した内部パラメータとを用いて、エリアセンサカメラ１１とレール２との間の位置姿勢関係（レール２に対するエリアセンサカメラ１１の位置姿勢。以下、「外部パラメータ」と記載）を算出する。

具体的には、本実施例では、非特許文献１における外部パラメータの算出手順の一部を変更して、外部パラメータを求める。

すなわち、非特許文献１では、カメラの外部パラメータを算出するために、カメラ及びキャリブレーション用のキャリブレーションボードをレール面上に設置している。このキャリブレーションボードを用いることで、カメラの外部パラメータを求めることができる。

しかしながら、鉄道車両に設置されたカメラの位置からレールまでは、距離が数メートルから数十メートルと遠いケースが多く、外部パラメータを正確に求めるために必要な「画像中に大きくキャリブレーションボードが映るようにする」という条件を満たすには、相応の大きさのキャリブレーションボードが必要になり、現実的にはそのようなキャリブレーションボードの設置は難しい。

そこで本実施例では、外部パラメータ算出部２３において、非特許文献１におけるカメラの外部パラメータの算出手順のうち、既知の情報として、キャリブレーションボードの代わりに、レール２の直線区間における、レール幅、枕木３間の距離、及び、電柱間の距離を用いて、外部パラメータを求める。

このように、キャリブレーションボードに代えてエリアセンサカメラ１１で撮影する領域内に必ず存在するレール２、枕木３及び電柱を利用し、これらレール２、枕木３及び電柱がエリアセンサカメラ１１により撮像した画像中に大きく映るようにすることで、非特許文献１の理論を用いて外部パラメータを求めることができる。

曲率半径算出部２４は、手動又は自動で検出したレール２の中心座標（レール２の軌道間の中間地点）、エリアカメラ１１の内部パラメータおよび外部パラメータ等を利用してレール２の曲率半径を求める。なお、曲率半径算出部２４における処理は後述する実施例２以降で詳細に説明する。

このように構成されることにより、本実施例に係るレール曲率推定装置によれば、エリアセンサカメラ１１の位置（車両の枕木方向中央）及び傾き（光軸方向にのみ回転）を精密に設定したり、レール形状モデルを作成するために、事前にレール中心座標とレール形状との関係を統計的にモデル化することなく、正確に曲率半径を求めることができる。また、本実施例では、用途が鉄道に限定されているため、巨大なキャリブレーションボードがなくとも、既知であるレール２、枕木３及び電柱の情報を用いて簡便に外部パラメータを算出することができる。

［実施例２］
本実施例に係るレール曲率推定装置は、図１および図２に示し上述した実施例１と同様の構成を備えるものであり、実施例１に対して曲率半径算出部２４における処理を詳細に説明するものである。以下、実施例１と同様の構成については説明を省略し、曲率半径算出部２４における処理を中心に説明する。

本実施例において曲率半径算出部２４は、エリアセンサカメラ１１によって取得した画像データ上に複数存在するレール２の軌道間の中間地点である、レール中心座標（ｕ_i，ｖ_i）、及び実施例１で求めたエリアセンサカメラ１１のカメラパラメータを用いて、下記（１）の変換式からレール２の曲率半径（レール２の軌道間の中間地点の曲率半径）ＣＲを求める。

なお、本実施例において、レール中心座標（ｕ_i，ｖ_i）はエリアセンサカメラ１１にて取得した画像データから作業者が手動で指定する。ｉはインデックス番号を表す。

また、本実施例においてカメラパラメータとは、焦点距離及び主点座標等の内部パラメータ、及び、エリアセンサカメラ１１とレール２との間の位置姿勢である外部パラメータを指す。また、下記の式（１）〜（９）において、ボールド体（太字）ではないアルファベットはスカラーであり、ボールド体（太字）の小文字のアルファベットはベクトルであり、ボールド体（太字）の大文字のアルファベットは行列である。なお、文書中においては、ボールド体（太字）を使用できないので、通常の書式とし、該当するアルファベットの直後に“（ボールド体）”と付記している。

上記（１）式は、下記（１´）の円の方程式から導出している。
（Ｘ_r−ＣＲ）²＋Ｚ_r ²＝ＣＲ² …（１´）

図４に示すように、Ｘ_r座標はレール２の枕木方向、Ｙ_r座標は鉛直方向、Ｚ_r座標はレール２の延伸方向に、それぞれ設定されており、上記（１）式におけるＸ_ri，Ｚ_riは、レール座標系（レール２の幅方向にＸ_r軸、鉛直方向にＹ_r軸、レール２の長手方向にＺ_r軸をとる座標系）の座標であるマーカ座標系座標データ（真値座標（Ｘ_i，０））の任意の点のＸ_r座標及びＺ_r座標の値（画像中に複数存在するレール中心座標のｕ_i，ｖ_iに対応するＸ_r座標及びＺ_r座標の値）である。図６に示すように、曲率半径ＣＲは、Ｘ_r座標が負のときに負の値（ＣＲ＜０）、Ｘ_r座標が正のときに正の値（ＣＲ＞０）となる。また、レール座標系の任意の点のＹ_r座標の値をＹ_riとする。

また、カメラ座標系（カメラ光軸方向にＸ_c軸、鉛直方向にＹ_c軸、Ｘ軸_c及びＹ軸_cに直交する方向にＺ_c軸をとる座標系）の任意の点のＸ_c座標上、Ｙ_c座標上、Ｚ_c座標上の値を、それぞれＸ_ci，Ｙ_ci，Ｚ_ciとする。Ｘ_c座標はエリアセンサカメラ１１の画像平面における横軸と平行な方向、Ｙ_c座標はエリアセンサカメラ１１の画像平面における縦軸と平行な方向、Ｚ_c座標はエリアセンサカメラ１１の光軸方向である。

ここで、上記円の方程式（１´）は、円の中心がＸ_r座標の正の位置にあることを想定した式である。円の中心がＸ_r座標の負の位置にある場合には式が変わるが、Ｘ_r座標、Ｙ_r座標、Ｚ_r座標を上述のように設けた為、円の中心の座標に関わらず、上記（１）式の変換式を用いて曲率半径ＣＲを求めることができる。

また、上記カメラ座標系と上記レール座標系との関係は、下記（２）式で表される。

また、下記（３）式に示すように、Ｒ（ボールド体）はカメラ座標系とレール座標系との間の回転行列、ｔ（ボールド体）は並進ベクトルである。

図５に示すように、エリアセンサカメラ１１にて取得した画像データ上における座標系である画像座標系は、画像の横軸をｕ、縦軸をｖとして定義する。そして、この画像座標系と上記カメラ座標系との関係は、下記（４）式で表現することができる。

ここではカメラモデルとしてピンホールモデルを用いた。ｕ_i，ｖ_iは、画像座標系の任意の点のｕ座標上及びｖ座標上の値であり、ｆ_uは画像ｕ軸方向の焦点距離、ｆ_vは画像ｖ軸方向の焦点距離、ｃ_uは画像ｕ軸方向の主点座標、ｃ_vは画像ｖ軸方向の主点座標である。

曲率半径ＣＲを求めるにはＸ_ri及びＺ_riの値が分かればよいが、画像データはｕ，ｖについての２次元情報しかないため、Ｘ，Ｙ，Ｚの全情報を復元することは（形状情報既知で複数点を用いる、あるいは、複数のカメラを用いることがない限り）できない。

しかしながら、レール座標系におけるレール２については、Ｙ_r軸方向の情報が無い（Ｙ_ri＝０）ため、ｕ_i，ｖ_i情報だけでもＸ_ri及びＺ_riを算出することが可能である。

Ｙ_riが常に０になることを考慮し、上記（４）式に上記（２），（３）式を代入すると下記（５）式のようになる。

上記（５）式から、ｕ_i，ｖ_iは下記（６），（７）式のように連立方程式として表すことができる。

上記（６），（７）式から、Ｘ_ri及びＺ_riは下記（８）式のように表すことができ、これにより、Ｘ_ri及びＺ_riを求めることができる。

ただし、Ａ〜Ｆは次の通りとする。
Ａ＝ｆ_vｒ₂₃−（ｖ_i−ｃ_v）ｒ₃₃
Ｂ＝ｆ_uｒ₁₃−（ｕ_i−ｃ_u）ｒ₃₃
Ｃ＝ｆ_uｔ₁−（ｕ_i−ｃ_u）ｔ₃
Ｄ＝ｆ_vｔ₂−（ｖ_i−ｃ_v）ｔ₃
Ｅ＝（ｕ_i−ｃ_u）ｒ₃₁−ｆ_uｒ₁₁
Ｆ＝（ｖ_i−ｃ_v）ｒ₃₁−ｆ_vｒ₂₁

あとは、Ｘ_ri及びＺ_riを上記（１）式に代入することで、曲率半径ＣＲを求めることができる。なお、ここでは、画像座標系における一点のｕ_i，ｖ_iから曲率半径ＣＲを求める式について説明したが、最小二乗法を用いて複数のｕ，ｖ座標から曲率半径ＣＲを求めるようにしてもよい。

このようにして本実施例では、エリアセンサカメラ１１により取得した画像データから手動で検出したレール中心座標（ｕ_i，ｖ_i）、外部パラメータ及び内部パラメータを用いることで、レール２の曲率半径ＣＲを算出することができる。

［実施例３］
図７は、本実施例に係るレール曲率推定装置の構成を説明するブロック図である。図７に示すように、本実施例に係るレール曲率推定装置は、実施例２と同様の構成に加え、レール中心座標算出部２５を備えている。以下、実施例１，２と同様の構成については詳しい説明は省略し、レール中心座標算出部２５における処理を中心に説明する。

上述した実施例２では、内部パラメータは一度求めたものを固定値として、レール曲率推定を行う間用いることができる一方、外部パラメータ、レール中心座標（ｕ_i，ｖ_i）、曲率半径ＣＲは画像データごとに求める必要がある。本実施例では、レール中心座標（ｕ_i，ｖ_i）の算出を自動化することにより、外部パラメータ、レール中心座標（ｕ_i，ｖ_i）、曲率半径ＣＲを連続的に求めることが可能となる。

ここで、実施例２では、エリアセンサカメラ１１によって取得した画像データ上のレール２のｕ，ｖ座標を手動で与えることでレール中心座標（ｕ_i，ｖ_i）を指定した。

これに対し、本実施例では、内部パラメータ算出部２２および外部パラメータ算出部２３により求めたエリアセンサカメラ１１のカメラパラメータ、及び、エリアセンサカメラ１１により取得した画像データを用いて、レール中心座標算出部２５においてレール中心座標（ｕ_i，ｖ_i）を算出し、曲率半径算出部２４において曲率半径ＣＲを算出する。

すなわち、実施例２における（１´）式から、Ｘ_riは下記（９）式のように示すことができる。ただし、下記（９）式は、曲率半径ＣＲが正の値のときにＸ_r座標が曲率半径ＣＲよりも小さい場合、及び曲率半径ＣＲが負の値のときにＸ_r座標が曲率半径ＣＲよりも大きい場合にレール２に該当することを利用した式となっている。

上記（９）式により、曲率半径ＣＲの初期値（例えば、上述した実施例２の手法で求めた曲率半径を手動で登録、または、曲率半径が既知の区間であればその既知の曲率半径を手動で登録したもの）を使うことでＺ_ri（レール座標系における前記レールの長手方向の任意の位置）が既知であればこのＺ_riからＸ_ri座標を求めることができることが分かる。さらに、実施例２における（６），（７）式に上記Ｘ_riを代入することで、レール中心座標（ｕ_i，ｖ_i）についてもＺ_riで求めることができる。このようにして求めたＸ_r座標、レール中心座標（ｕ_i，ｖ_i）を用いて、曲率半径算出部２４で曲率半径ＣＲを求め、レール中心座標算出部２５でレール中心座標（ｕ_i，ｖ_i）を求める。

なお、本実施例ではレール中心座標算出部２５におけるレール中心座標（ｕ_i，ｖ_i）の検出に上記特許文献２の技術を利用する。ただし、既に説明したように、この上記特許文献２では「レール形状モデル」という統計モデルが必要であった。本実施例では、このレール形状モデルを実施例２における（６），（７）式及び上記（９）式の幾何モデルに変えることで、事前に統計モデルを作成する必要なく、レール中心座標（ｕ_i，ｖ_i）の算出が可能となり、これにより曲率半径算出部２４における曲率半径ＣＲの算出も可能となる。

このようにして本実施例では、実施例２における効果に加え、さらにレール中心座標を自動的に算出することができ、これにより外部パラメータ、レール中心座標（ｕ_i，ｖ_i）、曲率半径ＣＲを連続的に求めることが可能になるため、レール曲率推定に係る時間を大幅に短縮することが可能になる。

本発明は、鉄道分野における画像処理によるレール曲率推定装置として好適である。

１車両
１ａ車両の屋根上
２レール
３枕木
１１エリアセンサカメラ
１２記憶部
１３処理部
２１入力部
２２内部パラメータ算出部
２３外部パラメータ算出部
２４曲率半径算出部
２５レール中心座標算出部

Claims

鉄道車両に設置されレールを撮像するカメラと、
前記カメラにより連続的に取得した複数の画像に基づき、前記レールの曲率半径を求める処理部とを備え、
前記処理部は、
前記カメラの焦点距離及び主点座標を算出する内部パラメータ算出部と、
前記画像、前記焦点距離及び前記主点距離、並びに、前記レールの直線区間における前記レールの幅、隣り合う枕木間の距離及び電柱間の距離を用いて、各前記画像ごとに前記カメラの前記レールに対する位置姿勢を算出する外部パラメータ算出部と、
前記レールの中心座標、前記焦点距離及び前記主点座標、並びに、前記位置姿勢を用いて、各前記画像ごとに前記レールの曲率半径を求める曲率半径算出部とを備える
ことを特徴とするレール曲率推定装置。
前記曲率半径算出部は、前記カメラにより取得した画像上の前記レールの中心座標、前記焦点距離及び前記主点座標、並びに、前記位置姿勢を用いて前記曲率半径を求める
ことを特徴とする請求項１に記載のレール曲率推定装置。
前記曲率半径の初期値およびレール座標系における前記レールの長手方向の任意の位置に基づいて前記中心座標を算出するレール中心座標算出部をさらに備える
ことを特徴とする請求項２に記載のレール曲率推定装置。