JP2019023017A - Vehicle body inclination estimating device - Google Patents
Vehicle body inclination estimating device Download PDFInfo
- Publication number
- JP2019023017A JP2019023017A JP2017142542A JP2017142542A JP2019023017A JP 2019023017 A JP2019023017 A JP 2019023017A JP 2017142542 A JP2017142542 A JP 2017142542A JP 2017142542 A JP2017142542 A JP 2017142542A JP 2019023017 A JP2019023017 A JP 2019023017A
- Authority
- JP
- Japan
- Prior art keywords
- rail
- camera
- estimation
- vehicle body
- inclination
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Landscapes
- Length Measuring Devices By Optical Means (AREA)
- Image Processing (AREA)
- Train Traffic Observation, Control, And Security (AREA)
- Image Analysis (AREA)
Abstract
Description
本発明は、レールの三角測量を行うことによりレール面に対する車体の傾きを推定する車体の傾き推定装置に関する。 The present invention relates to a vehicle body inclination estimation device that estimates the inclination of a vehicle body relative to a rail surface by performing triangulation of the rail.
下記特許文献１には、移動体に搭載されたステレオカメラにより撮影画像から視差画像を生成し、それを基に移動体の前方に存在する立体物を検出する立体物検出装置、立体物検出方法、立体物検出プログラム、及び移動体機器制御システムが開示されている。 The following Patent Document 1 discloses a three-dimensional object detection device and a three-dimensional object detection method for generating a parallax image from a captured image by a stereo camera mounted on a moving body and detecting a three-dimensional object existing in front of the moving body based on the parallax image. , A three-dimensional object detection program, and a mobile device control system are disclosed.
また、下記特許文献２には、線路を走行する車両に設置されるデジタルビデオカメラによって異なる時刻に撮像された二枚の画像を用いてステレオ計測を行うことで線路空間における支障物の有無を検知する線路空間支障物検知システムが開示されている。 Patent Document 2 below detects the presence or absence of obstacles in the track space by performing stereo measurement using two images taken at different times by a digital video camera installed in a vehicle traveling on the track. A track space obstacle detection system is disclosed.
下記特許文献３には、車両に設置される複数台のカメラによって走行中の車両の前方または後方を撮像した画像を用いて建築限界領域と障害物との離隔距離の算出および離隔判定を行う建築限界判定装置が開示されている。 In Patent Document 3 below, a building that calculates a separation distance between a building limit region and an obstacle and makes a separation determination using an image obtained by imaging the front or rear of a traveling vehicle with a plurality of cameras installed in the vehicle. A limit determination device is disclosed.
しかしながら、特許文献１の方法はステレオカメラを用いて移動体の前方に存在する立体物の検出を行っているが、検出した立体物に対してカメラを搭載した移動体がどの程度傾いているかを推定するものではなかった。 However, although the method of Patent Document 1 uses a stereo camera to detect a three-dimensional object existing in front of a moving object, how much the moving object equipped with the camera is inclined with respect to the detected three-dimensional object. It was not an estimate.
また、特許文献２の方法は一台のカメラを用いるものであり、レールの検出はするものの、レールとカメラとの角度の推定は求めたレール曲率から算出し、実際の角度を直接的に求めるものではなかった。 Moreover, although the method of patent document 2 uses one camera and detects a rail, the estimation of the angle of a rail and a camera is calculated from the calculated | required rail curvature, and calculates | requires an actual angle directly. It was not a thing.
また、特許文献３では連続した二フレームの撮影箇所において、相対的な位置姿勢の変化を求める手法を提案しているが、レールとカメラが設置された車両との相対的な位置姿勢を求めるものではなかった。また計測した三次元点群同士を使って位置姿勢を求めるものであり、計測点が疎になることに起因する推定誤差や、計測誤差に起因する推定誤差が生じるおそれがあった。 Further, Patent Document 3 proposes a method for obtaining a relative position and orientation change in a continuous two-frame shooting location, but obtains a relative position and orientation between a rail and a vehicle on which a camera is installed. It wasn't. Further, the position and orientation are obtained by using the measured three-dimensional point groups, and there is a possibility that an estimation error due to sparse measurement points and an estimation error due to measurement errors may occur.
このようなことから本発明は、推定誤差を抑制しつつレールに対する電車車両の車体の傾きを推定することを可能とした車体の傾き推定装置を提供することを目的とする。 In view of the above, an object of the present invention is to provide a vehicle body inclination estimation apparatus that can estimate the inclination of a vehicle body of a train car with respect to a rail while suppressing an estimation error.
上記の課題を解決するための第１の発明に係る車体の傾き推定装置は、
車両の屋根上の枕木方向に沿って配置され、それぞれ前記車両の前方または後方のレールを撮像する第一のカメラおよび第二のカメラと、前記第一のカメラおよび前記第二のカメラによってそれぞれ前記レールを撮像した画像に基づいて前記レールに対する前記車両の車体の傾きを推定する演算部とを備える車体の傾き推定装置であって、
前記演算部は、
前記第一のカメラおよび前記第二のカメラによって撮像した前記画像からそれぞれ前記レールを検出して当該レールの位置を求めるレール検出部と、
前記第一のカメラおよび前記第二のカメラによって撮像した画像からそれぞれ求めた前記レールの位置に基づき三角測量により前記レールの三次元形状を算出する三次元形状算出部と、
ＩＣＰアルゴリズムにより前記レールの三次元形状と予め用意したレール形状モデルとの位置合わせを行い、前記レールに対する前記車体の傾きとして前記レールに対する前記カメラの傾きを求める傾き推定部と
を含み、
前記傾き推定部は、前記レール形状モデルと前記レールの三次元形状との位置合わせの際の回転方向および並進方向のパラメータ推定手段として、Ｍ推定またはＲＡＮＳＡＣを用いる
ことを特徴とする。
A vehicle body tilt estimation apparatus according to a first aspect of the present invention for solving the above problems
A first camera and a second camera arranged along a direction of sleepers on the roof of the vehicle, respectively, for imaging the front or rear rails of the vehicle, and the first camera and the second camera, respectively. A vehicle body inclination estimation device comprising: an arithmetic unit that estimates an inclination of the vehicle body relative to the rail based on an image of the rail,
The computing unit is
A rail detection unit that detects the rail from each of the images captured by the first camera and the second camera and obtains the position of the rail; and
A three-dimensional shape calculation unit for calculating the three-dimensional shape of the rail by triangulation based on the position of the rail respectively obtained from the images captured by the first camera and the second camera;
A tilt estimation unit that aligns the three-dimensional shape of the rail with a rail shape model prepared in advance by an ICP algorithm and obtains the tilt of the camera with respect to the rail as the tilt of the vehicle body with respect to the rail;
The inclination estimation unit uses M estimation or RANSAC as parameter estimation means for the rotational direction and the translation direction when aligning the rail shape model with the three-dimensional shape of the rail.
また、上記の課題を解決するための第２の発明に係る車体の傾き推定装置は、第１の発明において、
前記傾き推定部は、前記第一のカメラおよび前記第二のカメラによって撮像した前記画像のうち一枚目の画像に対してのみ前記パラメータ推定手段としてＭ推定またはＲＡＮＳＡＣを用いる一方、二枚目以降の画像についてはパーティクルフィルタを用いて回転方向および並進方向のパラメータを追跡する
ことを特徴とする。
In addition, the vehicle body tilt estimation apparatus according to the second invention for solving the above-described problems in the first invention,
The tilt estimation unit uses M estimation or RANSAC as the parameter estimation unit only for the first image among the images captured by the first camera and the second camera, while the second and subsequent images. The image is characterized in that the parameters of the rotation direction and the translation direction are tracked using a particle filter.
また、上記の課題を解決するための第３の発明に係る車体の傾き推定装置は、第１または第２の発明において、
前記演算部は、
前記車両の速度情報または連続する前記画像、及び、連続する前記画像毎に求めた前記レールに対する前記車体の傾きから、連続する前記画像間の前記レールに対する前記車体の移動量を算出する移動量推定部と、
連続する前記画像毎に求めた前記車体の傾きと連続する前記画像間の前記レールに対する前記車両の移動量とから、連続する前記画像間の前記レールに対する前記車体の位置姿勢を算出する位置姿勢推定部と
を含むことを特徴とする。
A vehicle body tilt estimation apparatus according to a third aspect of the present invention for solving the above-described problems is the first or second aspect of the invention.
The computing unit is
Movement amount estimation for calculating the movement amount of the vehicle body relative to the rail between the successive images from the vehicle speed information or the successive images and the inclination of the vehicle body relative to the rail obtained for each successive image. And
Position / orientation estimation for calculating the position / orientation of the vehicle body relative to the rail between successive images from the inclination of the vehicle body obtained for each successive image and the amount of movement of the vehicle relative to the rail between successive images Part.
また、上記の課題を解決するための第４の発明に係る車体の傾き推定装置は、第１から第３のいずれか一つの発明において、
前記第一のカメラおよび前記第二のカメラに代えて、二つのレンズ機構およびシャッター機構を一体的に備えるステレオカメラを用いる
ことを特徴とする。
According to a fourth aspect of the present invention, there is provided a vehicle body tilt estimation apparatus according to a fourth aspect of the present invention, wherein:
Instead of the first camera and the second camera, a stereo camera integrally including two lens mechanisms and a shutter mechanism is used.
本発明に係る車体の傾き推定装置によれば、推定誤差を抑制しつつレールに対する電車車両の車体の傾きを推定することができる。 According to the vehicle body inclination estimation apparatus according to the present invention, it is possible to estimate the inclination of the vehicle body of the train car with respect to the rail while suppressing an estimation error.
以下、図面を参照しつつ本発明に係る車体の傾き推定装置について説明する。
本発明に係る車体の傾き推定装置は、鉄道分野において、枕木方向に沿って配置された複数台の監視カメラで電車車両の前方もしくは後方をそれぞれ撮像した画像から画像処理により検出したレール位置をもとに、ステレオ計測もしくは複数カメラによる三角測量を行うことでレールの三次元形状の計測と、レール面と車体との相対的な傾きとを推定するものである。
Hereinafter, a vehicle body tilt estimation apparatus according to the present invention will be described with reference to the drawings.
The vehicle body tilt estimation apparatus according to the present invention has a rail position detected by image processing from images obtained by imaging the front or rear of a train car with a plurality of monitoring cameras arranged along the sleeper direction in the railway field. In addition, the measurement of the three-dimensional shape of the rail and the relative inclination between the rail surface and the vehicle body are estimated by performing stereo measurement or triangulation with a plurality of cameras.
以下、図１Ａ，図１Ｂおよび図２から図８を用いて本発明の実施例１に係る車体の傾き推定装置の詳細を説明する。
図１Ａに示すように、本実施例において車体の傾き推定装置は、電車車両（以下、車両）１の屋根上に設置されたデジタルビデオカメラ等の第一，第二の監視カメラ２Ａ，２Ｂと、車両１の内部に設置された演算部３とを備えている。
Hereinafter, the details of the vehicle body tilt estimation apparatus according to the first embodiment of the present invention will be described with reference to FIGS. 1A, 1B and FIGS.
As shown in FIG. 1A, in the present embodiment, the vehicle body tilt estimation apparatus includes first and second monitoring cameras 2A and 2B such as digital video cameras installed on the roof of a train car (hereinafter referred to as vehicle) 1. And a calculation unit 3 installed inside the vehicle 1.
第一，第二の監視カメラ２Ａ，２Ｂは、車両１の屋根上の先頭側であって枕木方向両側に設置され、走行中の車両１の前方のレール４を撮像する。第一，第二の監視カメラ２Ａ，２Ｂによって取得した図１Ｂに示すような監視画像ＩA，ＩBのデータ（以下、監視画像データ）は演算部３に入力される。 The first and second monitoring cameras 2A and 2B are installed on the top side of the roof of the vehicle 1 and on both sides in the sleeper direction, and image the rail 4 in front of the traveling vehicle 1. First and second surveillance camera 2A, the monitoring image as shown in FIG. 1B obtained by 2B I A, data of I B (hereinafter, the monitoring image data) is inputted to the arithmetic unit 3.
演算部３は、第一，第二の監視カメラ２Ａ，２Ｂによって撮像した車両１の前方のレール４の監視画像ＩA，ＩBから、レール４に対する第一，第二の監視カメラ２Ａ，２Ｂの傾きをレール４に対する車両１の車体の傾き（レール面に対する車体の角度）として求める。 The calculation unit 3 uses the first and second monitoring cameras 2A and 2B for the rail 4 from the monitoring images I A and I B of the rail 4 in front of the vehicle 1 captured by the first and second monitoring cameras 2A and 2B. Is determined as the inclination of the vehicle body of the vehicle 1 with respect to the rail 4 (the angle of the vehicle body with respect to the rail surface).
より詳しくは、演算部３は、図２に示すように監視画像入力部３１と、レール検出部３２と、三次元形状算出部３３と、傾き推定部３４と、移動量推定部３５と、位置姿勢推定部３６と、記憶部３７とを備えている。 More specifically, as shown in FIG. 2, the calculation unit 3 includes a monitoring image input unit 31, a rail detection unit 32, a three-dimensional shape calculation unit 33, a tilt estimation unit 34, a movement amount estimation unit 35, A posture estimation unit 36 and a storage unit 37 are provided.
監視画像入力部３１は、第一，第二の監視カメラ２Ａ，２Ｂから取得した監視画像データを記憶部３７に保管する。 The monitoring image input unit 31 stores monitoring image data acquired from the first and second monitoring cameras 2 </ b> A and 2 </ b> B in the storage unit 37.
レール検出部３２は、監視画像ＩA，ＩBからレール４を検出し、検出したレール４の位置のデータ（以下、位置データ）を記憶部３７に保管する。なお、レール検出部３２では、例えば上記特許文献３等に開示されている手法を用いてレール４の位置を求めるものとし、ここでの詳細な説明は省略する。 The rail detection unit 32 detects the rail 4 from the monitoring images I A and I B and stores the detected position data of the rail 4 (hereinafter, position data) in the storage unit 37. In addition, in the rail detection part 32, the position of the rail 4 shall be calculated | required, for example using the method currently disclosed by the said patent document 3, etc., and detailed description here is abbreviate | omitted.
三次元形状算出部３３は、レール検出部３２で各監視画像ＩA，ＩBから検出した位置データに基づいて三角測量によってレール４の三次元形状を算出し、算出したレール４の三次元形状のデータ（以下、三次元形状データ）を記憶部３７に保管する。本実施例においてレール４の三次元形状は、レール検出部３２で検出した位置データに基づき、事前にキャリブレーションにより求めたパラメータ（キャリブレーションデータ）を用いて三角測量を行うことにより求める。 The three-dimensional shape calculation unit 33 calculates the three-dimensional shape of the rail 4 by triangulation based on the position data detected from the monitoring images I A and I B by the rail detection unit 32, and the calculated three-dimensional shape of the rail 4 (Hereinafter, three-dimensional shape data) is stored in the storage unit 37. In the present embodiment, the three-dimensional shape of the rail 4 is obtained by performing triangulation using parameters (calibration data) obtained in advance based on the position data detected by the rail detection unit 32.
なお、本実施例においてキャリブレーションデータは、第一，第二の監視カメラ２Ａ，２Ｂの焦点距離、主点座標、および歪み係数、並びに、第一，第二の監視カメラ２Ａ，２Ｂ間の位置姿勢等となる。これらにより第一，第二の監視カメラ２Ａ，２Ｂから計測地点までの角度が得られるため、三角測量が可能になる。 In this embodiment, the calibration data includes the focal lengths, principal point coordinates, and distortion coefficients of the first and second monitoring cameras 2A and 2B, and the position between the first and second monitoring cameras 2A and 2B. It becomes posture. As a result, the angle from the first and second monitoring cameras 2A and 2B to the measurement point can be obtained, so that triangulation can be performed.
傾き推定部３４は、三次元形状算出部３３により算出した三次元形状データと予め設定するレール形状モデルＱのデータ（レール形状モデルデータ）とを用いてレール４に対する車体の傾きを求め、このレール４に対する車体の傾きのデータ（以下、傾きデータ）を記憶部３７に保管する。 The inclination estimation unit 34 obtains the inclination of the vehicle body with respect to the rail 4 using the three-dimensional shape data calculated by the three-dimensional shape calculation unit 33 and the data of the rail shape model Q set in advance (rail shape model data). 4 is stored in the storage unit 37 (hereinafter referred to as inclination data).
以下に、傾き推定部３４による高精度かつノイズにロバストな傾き検出方法について詳細に説明する。 Hereinafter, a highly accurate and robust tilt detection method by the tilt estimation unit 34 will be described in detail.
レール検出部３２によるレール検出の結果、図３に示すようにレール面がほぼ安定して得られている場合、主成分分析等の手法を用いることで、レール形状モデルデータと最もフィットする三次元形状データの傾きと位置を最小二乗解として算出する手法を用いることが考えられる。しかしながら図４に示すようにレール面が安定して得られていない場合、同様の手法を用いると誤計測箇所の影響を強く受け、レール４と第一，第二の監視カメラ２Ａ，２Ｂ（すなわち、車体）との相対位置を正確に求めることができないおそれがある。本発明ではレール検出方法については問わないが、画像処理に基づく手法では誤計測が生じることは一般的にあり得るため、この誤計測について対応する必要がある。そのため誤計測に起因するノイズにロバストなレール面の位置および傾きの算出が必要になる。 As a result of the rail detection by the rail detection unit 32, when the rail surface is obtained almost stably as shown in FIG. 3, a three-dimensional fit that best fits the rail shape model data by using a method such as principal component analysis. It is conceivable to use a method of calculating the inclination and position of the shape data as a least squares solution. However, when the rail surface is not stably obtained as shown in FIG. 4, if the same method is used, it is strongly influenced by the erroneous measurement location, and the rail 4 and the first and second monitoring cameras 2A and 2B (that is, There is a possibility that the relative position with respect to the vehicle body cannot be accurately obtained. In the present invention, the rail detection method is not limited, but it is generally possible that erroneous measurement occurs in the method based on image processing. Therefore, it is necessary to cope with this erroneous measurement. Therefore, it is necessary to calculate the position and inclination of the rail surface that is robust against noise caused by erroneous measurement.
そこで、ロバストな推定として本実施例では上記非特許文献１等で知られるＭ推定を用いる。Ｍ推定は、外れ値に影響されにくいデータを使った推定を行うことでノイズにロバストになるパラメータ推定手法であって、具体的には全ての点を平等に扱うのではなく、各点に重みをつけ、中央値から距離が離れる場合は重みの値を小さくすることでノイズの影響を少なくする方法である。 Therefore, in the present embodiment, M estimation known from Non-Patent Document 1 or the like is used as robust estimation. M estimation is a parameter estimation method that is robust to noise by performing estimation using data that is not easily affected by outliers. Specifically, it does not treat all points equally but weights each point. When the distance from the median is increased, the influence of noise is reduced by reducing the weight value.
Ｍ推定ではデータを全て均等に扱うのではなく、データの外れ度合いに応じて重みを設定する。ここでは単純な最小二乗を行うのではなく、中央値と正規化中央絶対偏差（ＭＡＤＮ：各サンプルから中央値を減算した値の中央値を０．６７５で割ったもの）を用いて重み付けをすることで最適なパラメータの算出が可能となる。 In M estimation, not all data is handled equally, but weights are set according to the degree of data detachment. Here, weighting is not performed using simple least squares, but using a median value and a normalized median absolute deviation (MADN: a median value obtained by subtracting the median value from each sample divided by 0.675). This makes it possible to calculate optimal parameters.
図５に、レール形状モデルＱとレール４の三次元形状（黒丸で示す計測点Ｐから構成される計測レール点群５）との位置合わせのためのパラメータ推定の概念を示す。図５に示すように、ここで求めるパラメータは、回転方向及び並進方向のパラメータであり、三軸の回転を有する回転行列Ｒと、ある一つの基準となるカメラ（２Ａまたは２Ｂ）から一定の距離にあるレールの中心地点までの移動量である並進ベクトルＴの合計６自由度のパラメータ（回転並進パラメータ）である。例えばカメラ２Ａから任意の距離離れた地点を高さ０、レール形状モデルＱおよび計測レール点群５の中心地点をそれぞれの原点とし、決まった幅を持つレール形状モデルＱと計測レール点群５との位置合わせを行うことで、上記回転行列Ｒと並進ベクトルＴとを算出する。図６に、計測レール点群５とレール形状モデルＱとの位置合わせを行った結果の例を示す。 FIG. 5 shows the concept of parameter estimation for alignment between the rail shape model Q and the three-dimensional shape of the rail 4 (measurement rail point group 5 composed of measurement points P indicated by black circles). As shown in FIG. 5, the parameters to be obtained here are parameters in the rotation direction and translation direction, and a fixed distance from the rotation matrix R having three-axis rotation and a certain reference camera (2A or 2B). Is a parameter (rotation translation parameter) with a total of 6 degrees of freedom of the translation vector T, which is the amount of movement to the center point of the rail. For example, a point at an arbitrary distance from the camera 2A is 0 height, the center point of the rail shape model Q and the measurement rail point group 5 is the origin, and the rail shape model Q and the measurement rail point group 5 having a fixed width , The rotation matrix R and the translation vector T are calculated. FIG. 6 shows an example of the result of alignment between the measurement rail point group 5 and the rail shape model Q.
このレール形状モデルＱと計測レール点群５の位置合わせ（マッチング）には上記非特許文献４等で知られるＩＣＰアルゴリズムを用いる。ＩＣＰアルゴリズムは、三次元の位置合わせアルゴリズムであり、Iterative Closest Pointという手法名にあるように、まず位置合わせする点群同士の各点の最近点を求め、その組み合わせから最も一致するようなパラメータを算出し、算出したパラメータを用いて位置合わせした後に、再度各点の最近点を求めるといった反復的な処理をすることで、最適な点群の組み合わせと最適なパラメータを同時に求める手法である。 For the alignment (matching) of the rail shape model Q and the measurement rail point group 5, an ICP algorithm known from the above-mentioned Non-Patent Document 4 or the like is used. The ICP algorithm is a three-dimensional alignment algorithm. As shown in the method name Iterative Closest Point, first, the nearest point of each point between the point groups to be aligned is obtained, and the parameter that most closely matches the combination is determined. This is a method of obtaining an optimum combination of point groups and an optimum parameter at the same time by performing an iterative process such as obtaining the nearest point of each point again after calculating and aligning using the calculated parameter.
このＩＣＰアルゴリズムを用いて行うレール形状モデルＱと計測レール点群５との位置合わせの評価の際に、上述したＭ推定を用いる。つまり、回転行列Ｒおよび並進ベクトルＴのパラメータ推定と同時にノイズ判定を行い、反復的にパラメータとノイズを求めることで、ノイズにロバストな傾き推定を行う。図７に、予め設定したレール領域Ａ（図６および図７中にドットを付して示す領域）の外部に存在する計測点Ｐをノイズと判断し、これを削除した例を示す。 In the evaluation of the alignment between the rail shape model Q and the measurement rail point group 5 performed using this ICP algorithm, the above-described M estimation is used. That is, noise determination is performed simultaneously with the parameter estimation of the rotation matrix R and the translation vector T, and the parameter and the noise are obtained repeatedly, thereby estimating the slope robust to the noise. FIG. 7 shows an example in which the measurement point P existing outside the preset rail area A (area shown with dots in FIGS. 6 and 7) is determined as noise and deleted.
なお、レール形状モデルＱは基本的に直線と仮定して計算するが、計測した点群に合わせて曲線レール形状モデルを採用することで計測精度を向上することが可能である。 Note that the rail shape model Q is basically calculated on the assumption that it is a straight line, but it is possible to improve the measurement accuracy by adopting a curved rail shape model in accordance with the measured point group.
移動量推定部３５は、監視画像データ（または速度データ）と、傾き推定部３４で算出した傾きデータとから、連続する画像（フレーム）間における移動量（連続する画像間におけるレール４に対する車両１の移動量）を推定し、連続する画像間の移動量のデータ（以下、移動量データ）を記憶部３７に保管する。 The movement amount estimation unit 35 calculates the movement amount between successive images (frames) (the vehicle 1 relative to the rail 4 between successive images) from the monitoring image data (or speed data) and the inclination data calculated by the inclination estimation unit 34. The movement amount between the continuous images (hereinafter referred to as movement amount data) is stored in the storage unit 37.
位置姿勢推定部３６は、傾き推定部３４で算出した傾きデータと移動量推定部３５で推定した移動量データとから、連続する画像間の位置姿勢（連続する画像間でのレール４に対する第一，第二の監視カメラ２Ａ，２Ｂの位置姿勢の変化）を算出し、連続する画像間の位置姿勢のデータ（以下、位置姿勢データ）を記憶部３７に保管する。 The position / orientation estimation unit 36 determines the position / orientation between successive images (first with respect to the rail 4 between successive images) from the inclination data calculated by the inclination estimation unit 34 and the movement amount data estimated by the movement amount estimation unit 35. , Changes in position and orientation of the second monitoring cameras 2A and 2B), and stores position and orientation data between successive images (hereinafter, position and orientation data) in the storage unit 37.
記憶部３７は、監視画像データ、位置データ、三次元形状データ、傾きデータ、移動量データ、および位置姿勢データ等を保管する。 The storage unit 37 stores monitoring image data, position data, three-dimensional shape data, tilt data, movement amount data, position and orientation data, and the like.
以下、図８を用いて本実施例における車体の傾き推定装置による処理の流れを説明する。
図８に示すように、本実施例の車体の傾き推定装置ではまず、ステップＳ１で監視画像入力部３１により第一，第二の監視カメラ２Ａ，２Ｂから車両１の前方の監視画像データを入力し、ステップＳ２でレール検出部３２により各監視画像ＩA，ＩBからレール４を検出しその位置を求める。
Hereinafter, the flow of processing performed by the vehicle body tilt estimation apparatus according to the present embodiment will be described with reference to FIG.
As shown in FIG. 8, in the vehicle body tilt estimation apparatus of this embodiment, first, monitoring image data in front of the vehicle 1 is input from the first and second monitoring cameras 2A and 2B by the monitoring image input unit 31 in step S1. In step S2, the rail detection unit 32 detects the rail 4 from the monitoring images I A and I B and obtains the position thereof.
続いて、ステップＳ３で三次元形状算出部３３によりレール４の三次元形状を求める。具体的には、三次元形状算出部３３では、各監視画像ＩA，ＩBから求めたレール４の位置データに基づき、事前にキャリブレーションで求めたパラメータを適用して三角測量を行い、レール４の三次元形状（計測レール点群５）を求める。その後、ステップＳ４で傾き推定部３４により上述したようにレール形状モデルＱに対するレール４の三次元形状の位置合わせを行い、レール４に対する車体の傾きとしてレール４に対する第一，第二の監視カメラ２Ａ，２Ｂの傾きを求める。 Subsequently, the three-dimensional shape of the rail 4 is obtained by the three-dimensional shape calculation unit 33 in step S3. Specifically, the three-dimensional shape calculation unit 33 performs triangulation by applying parameters previously obtained by calibration based on the position data of the rail 4 obtained from the monitoring images I A and I B. 4 three-dimensional shape (measurement rail point group 5) is obtained. Thereafter, in step S4, the inclination estimation unit 34 aligns the three-dimensional shape of the rail 4 with respect to the rail shape model Q as described above, and the first and second monitoring cameras 2A with respect to the rail 4 as the inclination of the vehicle body with respect to the rail 4 , 2B slope.
続いて、ステップＳ５で移動量推定部３５により各監視画像データおよびレール４と第一，第二の監視カメラ２Ａ，２Ｂとの間の傾きを利用して連続する画像間におけるレール４に対する車両１の移動量を求め、ステップＳ６で位置姿勢推定部３６によりレール４と第一，第二の監視カメラ２Ａ，２Ｂとの間の傾きおよび連続する画像間の移動量を利用して連続する画像間におけるレール４に対する車両１の位置姿勢（相対位置姿勢）を求める。 Subsequently, in step S5, the movement amount estimation unit 35 uses the respective monitoring image data and the inclination between the rail 4 and the first and second monitoring cameras 2A and 2B to use the vehicle 1 with respect to the rail 4 between successive images. Between the successive images using the inclination between the rail 4 and the first and second monitoring cameras 2A and 2B and the amount of movement between successive images by the position / orientation estimation unit 36 in step S6. The position / orientation (relative position / orientation) of the vehicle 1 with respect to the rail 4 is obtained.
続いて、ステップＳ７で第一，第二の監視カメラ２Ａ，２Ｂによる撮像が終了したか否かを判定し、撮像が終了していれば（ＹＥＳ）一連の処理を終了し、撮像が終了していなければ（ＮＯ）ステップＳ８で監視画像入力部３１により第一，第二の監視カメラ２Ａ，２Ｂから新たに撮像された監視画像データを入力してステップＳ２以降の処理を繰り返す。 Subsequently, in step S7, it is determined whether or not the imaging by the first and second monitoring cameras 2A and 2B is completed. If the imaging is completed (YES), a series of processing is terminated and the imaging is terminated. If not (NO), in step S8, the monitoring image input unit 31 inputs monitoring image data newly captured from the first and second monitoring cameras 2A and 2B, and repeats the processing from step S2.
車両１の車体の傾きを測定する方法はいくつかあるが、本実施例では上述したように車両１の屋根上の先頭側に設置され車両１の前方のレール４を撮像する第一，第二の監視カメラ２Ａ，２Ｂと、これら第一，第二の監視カメラ２Ａ，２Ｂによって撮像した監視画像ＩA，ＩBを解析する演算部３とから車体の傾き推定装置を構成する。 There are several methods for measuring the inclination of the vehicle body of the vehicle 1. In this embodiment, as described above, the first and second images of the rail 4 in front of the vehicle 1 installed on the top side of the roof of the vehicle 1 are imaged. The vehicle body tilt estimation apparatus comprises the monitoring cameras 2A and 2B and the calculation unit 3 that analyzes the monitoring images I A and I B captured by the first and second monitoring cameras 2A and 2B.
すなわち、本実施例に係る車体の傾き推定装置は、動揺センサ等の計測機器を必要とせず、また画像処理特有のノイズや誤計測の問題も解決した高精度かつロバストな傾き推定を行うことができる。車体の傾きを求めるメリットとしては、鉄道設備の検査・保守における設備の計測位置の同定や、建築限界判定が可能になること、三次元地図の生成に使用することができるという点が挙げられる。 That is, the vehicle body tilt estimation apparatus according to the present embodiment does not require a measurement device such as a motion sensor, and can perform highly accurate and robust tilt estimation that solves the problems of noise and erroneous measurement peculiar to image processing. it can. Advantages of obtaining the tilt of the vehicle body include that it is possible to identify the measurement position of equipment in inspection and maintenance of railway equipment, to determine building limits, and to use it for generating a three-dimensional map.
また、第一，第二の監視カメラ２Ａ，２Ｂを用いる理由としては、機器がレーザやレーダに比べ小型で安価であること、分解能や撮像周期の面で優れており今後も発展の可能性を残していること、前述したような鉄道設備の検査・保守を行う場合や三次元地図を生成する場合、そもそもカメラやレーザを用いるため、動揺センサなどを追加で用意することなくコストを抑制しつつ車体の傾き推定が可能となることが挙げられる。 The reason for using the first and second surveillance cameras 2A and 2B is that the equipment is smaller and cheaper than lasers and radars, and is excellent in terms of resolution and imaging period, and may be developed in the future. In addition, when conducting inspection / maintenance of railway equipment as described above, or when generating a 3D map, since cameras and lasers are used in the first place, it is possible to control costs without preparing additional motion sensors. It is possible to estimate the inclination of the vehicle body.
これまでにもカメラを用いて相対的な傾きを求める手法は提案されている。上記特許文献２ではカメラを用いていること、建築限界枠の推定のためにカメラの傾きを求めていることは本実施例と類似している。しかしながら特許文献２ではカメラの傾きをレールの曲率から求めており、カメラにより撮影される画像から直接傾きを求めているわけではない。また特許文献２で求めることが可能なのはレール長手方向を軸とした傾きであり、レール幅方向および鉛直方向を軸とした傾きは分からない。これに対し本実施例ではレール４の三次元位置を計測し、その結果を用いてレール４に対する第一，第二の監視カメラ２Ａ，２Ｂの姿勢を求めるため、直接的な角度計測であるとともに、三次元の傾き（三軸の傾き）を求めることが可能である。 There have been proposed methods for obtaining a relative tilt using a camera. In the said patent document 2, it is similar to a present Example that the camera is used and the inclination of a camera is calculated | required for the estimation of a construction limit frame. However, in Patent Document 2, the inclination of the camera is obtained from the curvature of the rail, and the inclination is not directly obtained from an image photographed by the camera. Moreover, what can be calculated | required by patent document 2 is the inclination centering on a rail longitudinal direction, and the inclination which uses a rail width direction and a vertical direction as an axis | shaft is not known. On the other hand, in this embodiment, the three-dimensional position of the rail 4 is measured, and the results are used to determine the postures of the first and second monitoring cameras 2A and 2B with respect to the rail 4. It is possible to obtain a three-dimensional inclination (triaxial inclination).
また、三次元の計測点から三軸の傾きを求める方法として上記特許文献３があるが、当該特許文献３では三角測量のための計測点をレールに限定していない点、計測した計測点同士のマッチングにより位置姿勢を求めている点が本実施例とは異なる。三角測量のための計測点をレールに限定しない場合、二つの面でデメリットがある。一つは計測される点群のもともとの形状が不明であるため、計測された点のノイズ判定ができないということである。二つ目は計測した点群の分解能は画像分解能に依存するため空間中に疎であり、連続する二画像で全く同じ箇所を計測することはできないことから、それに起因した位置合わせ誤差が出るということである。 Moreover, although there exists the said patent document 3 as a method of calculating | requiring the inclination of a three-axis from a three-dimensional measurement point, in the said patent document 3, the point which does not limit the measurement point for triangulation to a rail, measured measurement points This is different from the present embodiment in that the position and orientation are obtained by matching. When measuring points for triangulation are not limited to rails, there are two disadvantages. One is that the original shape of the point group to be measured is unknown, and therefore noise determination of the measured point cannot be performed. Second, because the resolution of the measured point cloud depends on the image resolution, it is sparse in the space, and it is impossible to measure the exact same place with two consecutive images, so that an alignment error caused by it will occur That is.
これに対し本実施例では、三角測量のための計測部分をレール４に限定しており、これにより局所的にはレール４は平面上に同じ幅で存在することが分かっているため、計測誤差や多視点計測、ステレオ計測時の誤対応に起因するノイズの影響を除去することができる。また、三角測量のための計測部分としてレール４を使用し、かつ既知のレール形状を使用して画像からレール４を検出しているため位置合わせ誤差が生じることを防止することができる。 On the other hand, in the present embodiment, the measurement part for triangulation is limited to the rail 4, and it is known that the rail 4 exists locally on the plane with the same width. In addition, it is possible to eliminate the influence of noise caused by mishandling during multi-viewpoint measurement and stereo measurement. Further, since the rail 4 is used as a measurement part for triangulation and the rail 4 is detected from an image using a known rail shape, it is possible to prevent an alignment error from occurring.
このような本実施例に係る車体の傾き推定装置によれば、次の効果が得られる。
（１）レーザやレーダ、動揺センサを用いる必要がないためコストを抑制しつつ車両１の車体の傾きを推定することができる。
（２）レール４に対するカメラ（すなわち車体）の三次元的な傾きを推定することが可能になる。
（３）ノイズ判定を行うことにより、ノイズにロバストな車体の傾き推定が可能になる。
（４）レール形状モデルＱを用いることにより対応点同士のずれに起因する誤差が発生することがない。
（５）Ｍ推定を用いることによりノイズにロバストな車体の傾き推定が可能になる。
According to such a vehicle body tilt estimation apparatus according to the present embodiment, the following effects can be obtained.
(1) Since it is not necessary to use a laser, a radar, or a vibration sensor, the inclination of the vehicle body of the vehicle 1 can be estimated while suppressing costs.
(2) It is possible to estimate the three-dimensional inclination of the camera (that is, the vehicle body) with respect to the rail 4.
(3) By performing noise determination, it is possible to estimate the inclination of the vehicle body robust to noise.
(4) By using the rail shape model Q, an error caused by a shift between corresponding points does not occur.
(5) By using the M estimation, it is possible to estimate the inclination of the vehicle body that is robust against noise.
なお、本発明は上述した実施例に限定されるものではなく、本発明の趣旨を逸脱しない範囲で種々の変更が可能である。 In addition, this invention is not limited to the Example mentioned above, A various change is possible in the range which does not deviate from the meaning of this invention.
例えば、本実施例では、第一，第二の監視カメラ２Ａ，２Ｂを車両１の屋根上の先頭側に設置して車両１の前方のレール４を撮像する例を示したが、第一，第二の監視カメラ２Ａ，２Ｂを車両１の屋根上の末尾側に設置して車両１の後方のレール４を撮像し、撮像した画像を用いてレール４に対する車体の傾きとしてレール４に対する第一，第二の監視カメラ２Ａ，２Ｂの傾きを推定するようにしてもよい。 For example, in the present embodiment, the first and second monitoring cameras 2A and 2B are installed on the top side on the roof of the vehicle 1, and the rail 4 in front of the vehicle 1 is imaged. The second surveillance cameras 2A and 2B are installed on the rear side on the roof of the vehicle 1 to image the rear rail 4 of the vehicle 1, and the first image relative to the rail 4 is defined as the inclination of the vehicle body relative to the rail 4 using the captured image. The inclinations of the second monitoring cameras 2A and 2B may be estimated.
また、第一，第二の監視カメラ２Ａ，２Ｂに代えて、二つのレンズ機構およびシャッター機構を一体的に備えるステレオカメラを採用しても構わない。 Further, instead of the first and second monitoring cameras 2A and 2B, a stereo camera integrally including two lens mechanisms and a shutter mechanism may be employed.
また、本発明は少なくともレール４に対する第一，第二の監視カメラ２Ａ，２Ｂの傾きを推定することができればよく、移動量推定部３５、位置姿勢推定部３６は必要に応じて設ければよい。すなわち、傾き推定部３４で求められるのは第一，第二の監視カメラ２Ａ，２Ｂと任意の距離離れたレール４との間の傾きと位置関係である。本実施例のように移動量推定部３５および位置姿勢推定部３６を設ければ、速度情報を利用するか、各監視画像ＩA，ＩB中のある共通した画像特徴量を持つ画素の三次元移動量を求めることで、連続する画像間における相対的な位置姿勢を求めることができ、これにより三次元地図の生成や計測地点の同定が可能になる。 In the present invention, it is sufficient that at least the inclinations of the first and second monitoring cameras 2A and 2B with respect to the rail 4 can be estimated, and the movement amount estimation unit 35 and the position / orientation estimation unit 36 may be provided as necessary. . That is, what is obtained by the inclination estimation unit 34 is the inclination and the positional relationship between the first and second monitoring cameras 2A and 2B and the rail 4 that is separated by an arbitrary distance. If the movement amount estimation unit 35 and the position / orientation estimation unit 36 are provided as in the present embodiment, the velocity information is used or the tertiary of pixels having a certain common image feature amount in each of the monitoring images I A and I B. By obtaining the original movement amount, it is possible to obtain a relative position and orientation between successive images, thereby enabling generation of a three-dimensional map and identification of a measurement point.
以下、本発明の実施例２に係る車体の傾き推定装置の詳細を説明する。
本実施例では、上述した実施例１に比較して、傾き推定部３４における処理が異なる。
その他の構成については実施例１と同様であり、同様の作用を奏する部材には同一の符号を付して説明するものとし、実施例１で説明した内容と重複する説明は省略する。
Hereinafter, the details of the vehicle body tilt estimation apparatus according to the second embodiment of the present invention will be described.
In the present embodiment, the processing in the inclination estimation unit 34 is different from that in the first embodiment described above.
The other configurations are the same as those in the first embodiment, and members having the same functions are described with the same reference numerals, and the description overlapping the contents described in the first embodiment is omitted.
本実施例において傾き推定部３４は、実施例１で説明したＭ推定に代えて、上記非特許文献２等で知られるＲＡＮＳＡＣを用いて上述したパラメータ推定を行う。 In the present embodiment, the inclination estimation unit 34 performs the parameter estimation described above using RANSAC known in Non-Patent Document 2 or the like instead of the M estimation described in the first embodiment.
上記非特許文献２に記載されているように、ＲＡＮＳＡＣは、パラメータ推定を行う際にランダムサンプリングした、パラメータ推定に必要な最低限のサンプルを用いることでノイズにロバストになるパラメータ推定手法である。ＲＡＮＳＡＣは、求めたパラメータの妥当性を評価するために、どの程度一致しているか任意の範囲内のサンプル点数で評価することで、ノイズの影響を少なくする。 As described in Non-Patent Document 2, RANSAC is a parameter estimation method that is robust against noise by using a minimum sample necessary for parameter estimation, which is randomly sampled when parameter estimation is performed. In order to evaluate the validity of the obtained parameters, RANSAC reduces the influence of noise by evaluating how much they match with the number of sample points within an arbitrary range.
より詳しくは、ＲＡＮＳＡＣは全体サンプルからパラメータ推定可能な最低限のサンプルを抽出し、そのサンプルのみでパラメータを算出し、最終的にサンプル全体でそのパラメータの妥当性を確認する（例えば最小二乗直線の算出の問題であれば、直線から一定距離に入るサンプルの点数で評価する）。この最低限のサンプル抽出をランダムに何度も行い、最も妥当性の高かったパラメータを採用する。 More specifically, RANSAC extracts the minimum sample from which the parameter can be estimated from the entire sample, calculates the parameter using only that sample, and finally checks the validity of the parameter for the entire sample (for example, the least square line If it is a calculation problem, it is evaluated by the number of samples that fall within a certain distance from the straight line). This minimum sample extraction is performed many times at random, and the parameter with the highest validity is adopted.
ＲＡＮＳＡＣもＭ推定と同様にノイズにロバストなパラメータ推定手法として良く用いられるが、ＲＡＮＳＡＣでは試行回数と妥当性評価距離の範囲がパラメータになる。 RANSAC is often used as a parameter estimation method that is robust to noise, as in M estimation. In RANSAC, the number of trials and the range of validity evaluation distance are parameters.
このような本実施例に係る車体の傾き推定装置によれば、実施例１の効果（１）〜（４）に加えて、次の効果が得られる。
（５）ＲＡＮＳＡＣを用いることでノイズにロバストな傾き推定が可能になる。
According to the vehicle body tilt estimation apparatus according to the present embodiment, the following effects can be obtained in addition to the effects (1) to (4) of the first embodiment.
(5) By using RANSAC, it is possible to estimate a slope that is robust to noise.
以下、本発明の実施例３に係る車体の傾き推定装置の詳細を説明する。
本実施例は、上述した実施例１または実施例２に比較して、傾き推定部３４における処理が異なる。
その他の構成については実施例１または実施例２と同様であり、同様の作用を奏する部材には同一の符号を付して説明するものとし、実施例１または実施例２で説明した内容と重複する説明は省略する。
The details of the vehicle body tilt estimating apparatus according to the third embodiment of the present invention will be described below.
The present embodiment is different from the first embodiment or the second embodiment described above in the processing in the inclination estimation unit 34.
The other configurations are the same as those in the first embodiment or the second embodiment, and members having the same functions are described with the same reference numerals and overlap with the contents described in the first or second embodiment. The description to be omitted is omitted.
本実施例において傾き推定部３４は、実施例１で説明したＭ推定、または実施例２で説明したＲＡＮＳＡＣに加え、上記非特許文献３等で知られるパーティクルフィルタを用いて車体の傾き推定を行う。パーティクルフィルタは、ベイズ推定に基づくノイズにロバストな時系列フィルタである。パーティクルフィルタは、連続する画像を推定する際に、直前の情報により定義される事前確率に基づいてパーティクルと呼ばれる任意の数の粒子分だけパラメータ候補を生成し、各粒子のパラメータの一致度を尤度関数によって評価することで、事後確率を求める手法である。確率分布で表現するためノイズに頑健である。 In the present embodiment, the inclination estimation unit 34 estimates the inclination of the vehicle body using the particle filter known in Non-Patent Document 3 or the like in addition to the M estimation described in the first embodiment or the RANSAC described in the second embodiment. . The particle filter is a time series filter that is robust to noise based on Bayesian estimation. When estimating successive images, the particle filter generates parameter candidates for an arbitrary number of particles called particles based on the prior probabilities defined by the immediately preceding information, and estimates the coincidence of the parameters of each particle. This is a technique for obtaining the posterior probability by evaluating with a degree function. It is robust against noise because it is represented by a probability distribution.
実施例１，２ではノイズにロバストな傾き推定を行っていた。これらの手法は、ＲＡＮＳＡＣでは任意パターン分、ＩＣＰアルゴリズムとその評価を行う必要があった。Ｍ推定についても反復的にノイズ除去とパラメータ推定を行う。これは計算時間的に非常に重い処理となる。 In Examples 1 and 2, inclination estimation robust to noise was performed. In these methods, it is necessary for RANSAC to perform ICP algorithm and evaluation for an arbitrary pattern. For M estimation, noise removal and parameter estimation are repeatedly performed. This is a very heavy process in terms of calculation time.
そこで本実施例では、初期画像（一枚目の画像）における回転並進パラメータはＲＡＮＳＡＣ又はＭ推定で求め、その後の画像（二枚目以降の画像）における回転並進パラメータはパーティクルフィルタで追跡する。これにより複数回のパラメータ推定を行うのではなく、パラメータ候補をパーティクル数分用意するだけでよく、実施例１，２に比べ計算量を減らすことが可能となる。 Therefore, in this embodiment, the rotational translation parameter in the initial image (first image) is obtained by RANSAC or M estimation, and the rotational translation parameter in the subsequent images (second and subsequent images) is tracked by the particle filter. Thus, instead of performing parameter estimation a plurality of times, it is only necessary to prepare parameter candidates for the number of particles, and the amount of calculation can be reduced compared to the first and second embodiments.
このような本実施例に係る車体の傾き推定装置によれば、実施例１または実施例２の効果（１）〜（４）に加えて、次の効果が得られる。
（５）パーティクルフィルタを用いることで反復計算が不要かつノイズにロバストな傾き推定が可能になる。
According to the vehicle body tilt estimation apparatus according to the present embodiment, the following effects can be obtained in addition to the effects (1) to (4) of the first embodiment or the second embodiment.
(5) By using a particle filter, it is possible to estimate a slope which is not required for iterative calculation and is robust to noise.
１ 電車車両
２Ａ 第一の監視カメラ
２Ｂ 第二の監視カメラ
３ 演算部
４ レール
５ 計測レール点群
３１ 監視画像入力部
３２ レール検出部
３３ 三次元形状算出部
３４ 傾き推定部
３５ 移動量推定部
３６ 位置姿勢推定部
３７ 記憶部
Ａ レール領域
ＩA 第一の監視カメラによって撮像した監視画像
ＩB 第一の監視カメラによって撮像した監視画像
Ｐ 計測点
Ｑ レール形状モデル
DESCRIPTION OF SYMBOLS 1 Train vehicle 2A 1st monitoring camera 2B 2nd monitoring camera 3 Calculation part 4 Rail 5 Measurement rail point group 31 Monitoring image input part 32 Rail detection part 33 Three-dimensional shape calculation part 34 Inclination estimation part 35 Movement amount estimation part 36 Position / orientation estimation unit 37 Storage unit A Rail area I A Monitoring image captured by the first monitoring camera I B Monitoring image captured by the first monitoring camera P Measurement point Q Rail shape model
Claims (4)
前記演算部は、
前記第一のカメラおよび前記第二のカメラによって撮像した前記画像からそれぞれ前記レールを検出して当該レールの位置を求めるレール検出部と、
前記第一のカメラおよび前記第二のカメラによって撮像した画像からそれぞれ求めた前記レールの位置に基づき三角測量により前記レールの三次元形状を算出する三次元形状算出部と、
ＩＣＰアルゴリズムにより前記レールの三次元形状と予め用意したレール形状モデルとの位置合わせを行い、前記レールに対する前記車体の傾きとして前記レールに対する前記カメラの傾きを求める傾き推定部と
を含み、
前記傾き推定部は、前記レール形状モデルと前記レールの三次元形状との位置合わせの際の回転方向および並進方向のパラメータ推定手段として、Ｍ推定またはＲＡＮＳＡＣを用いる
ことを特徴とする車体の傾き推定装置。 A first camera and a second camera arranged along a direction of sleepers on the roof of the vehicle, respectively, for imaging the front or rear rails of the vehicle, and the first camera and the second camera, respectively. A vehicle body inclination estimation device comprising: an arithmetic unit that estimates an inclination of the vehicle body relative to the rail based on an image of the rail,
The computing unit is
A rail detection unit that detects the rail from each of the images captured by the first camera and the second camera and obtains the position of the rail; and
A three-dimensional shape calculation unit for calculating the three-dimensional shape of the rail by triangulation based on the position of the rail respectively obtained from the images captured by the first camera and the second camera;
A tilt estimation unit that aligns the three-dimensional shape of the rail with a rail shape model prepared in advance by an ICP algorithm and obtains the tilt of the camera with respect to the rail as the tilt of the vehicle body with respect to the rail;
The inclination estimation unit uses M estimation or RANSAC as parameter estimation means for rotational direction and translational direction when aligning the rail shape model and the three-dimensional shape of the rail. apparatus.
ことを特徴とする請求項１記載の車体の傾き推定装置。 The tilt estimation unit uses M estimation or RANSAC as the parameter estimation unit only for the first image among the images captured by the first camera and the second camera, while the second and subsequent images. The vehicle body inclination estimation apparatus according to claim 1, wherein parameters of the rotation direction and the translation direction are tracked using a particle filter.
前記車両の速度情報または連続する前記画像、及び、連続する前記画像毎に求めた前記レールに対する前記車体の傾きから、連続する前記画像間の前記レールに対する前記車体の移動量を算出する移動量推定部と、
連続する前記画像毎に求めた前記車体の傾きと連続する前記画像間の前記レールに対する前記車両の移動量とから、連続する前記画像間の前記レールに対する前記車体の位置姿勢を算出する位置姿勢推定部と
を含むことを特徴とする請求項１または請求項２記載の車体の傾き推定装置。 The computing unit is
Movement amount estimation for calculating the movement amount of the vehicle body relative to the rail between the successive images from the vehicle speed information or the successive images and the inclination of the vehicle body relative to the rail obtained for each successive image. And
Position / orientation estimation for calculating the position / orientation of the vehicle body relative to the rail between successive images from the inclination of the vehicle body obtained for each successive image and the amount of movement of the vehicle relative to the rail between successive images The vehicle body inclination estimation device according to claim 1 or 2, further comprising:
ことを特徴とする請求項１から請求項３のいずれか１項に記載の車体の傾き推定装置。 4. The stereo camera integrally provided with two lens mechanisms and a shutter mechanism is used in place of the first camera and the second camera. 5. Car body tilt estimation device.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2017142542A JP2019023017A (en) | 2017-07-24 | 2017-07-24 | Vehicle body inclination estimating device |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2017142542A JP2019023017A (en) | 2017-07-24 | 2017-07-24 | Vehicle body inclination estimating device |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JP2019023017A true JP2019023017A (en) | 2019-02-14 |
Family
ID=65368319
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2017142542A Pending JP2019023017A (en) | 2017-07-24 | 2017-07-24 | Vehicle body inclination estimating device |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP2019023017A (en) |
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110596683A (en) * | 2019-10-25 | 2019-12-20 | 中山大学 | Multi-group laser radar external parameter calibration system and method thereof |
| CN110775105A (en) * | 2019-11-07 | 2020-02-11 | 交控科技股份有限公司 | Method and system for monitoring train in subway vehicle section based on UWB |
| JP2020180905A (en) * | 2019-04-26 | 2020-11-05 | 株式会社明電舎 | Rail curvature estimation device |
| CN112298285A (en) * | 2019-07-26 | 2021-02-02 | 比亚迪股份有限公司 | Train control system, train control method and train |
| JP7368409B2 (en) | 2021-03-15 | 2023-10-24 | 公益財団法人鉄道総合技術研究所 | Track measuring device and track measuring method |
-
2017
- 2017-07-24 JP JP2017142542A patent/JP2019023017A/en active Pending
Cited By (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2020180905A (en) * | 2019-04-26 | 2020-11-05 | 株式会社明電舎 | Rail curvature estimation device |
| JP7127607B2 (en) | 2019-04-26 | 2022-08-30 | 株式会社明電舎 | Rail curvature estimator |
| CN112298285A (en) * | 2019-07-26 | 2021-02-02 | 比亚迪股份有限公司 | Train control system, train control method and train |
| CN110596683A (en) * | 2019-10-25 | 2019-12-20 | 中山大学 | Multi-group laser radar external parameter calibration system and method thereof |
| CN110596683B (en) * | 2019-10-25 | 2021-03-26 | 中山大学 | Multi-group laser radar external parameter calibration system and method thereof |
| CN110775105A (en) * | 2019-11-07 | 2020-02-11 | 交控科技股份有限公司 | Method and system for monitoring train in subway vehicle section based on UWB |
| JP7368409B2 (en) | 2021-03-15 | 2023-10-24 | 公益財団法人鉄道総合技術研究所 | Track measuring device and track measuring method |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP2019023017A (en) | Vehicle body inclination estimating device | |
| CN104204721B (en) | Single camera distance estimations | |
| CN102175222B (en) | Crane obstacle-avoidance system based on stereoscopic vision | |
| JP5804185B2 (en) | Moving object position / orientation estimation apparatus and moving object position / orientation estimation method | |
| EP3193306A1 (en) | A method and a device for estimating an orientation of a camera relative to a road surface | |
| JP2015190921A (en) | Vehicle stereo-image processing apparatus | |
| JP6524529B2 (en) | Building limit judging device | |
| JP2016088183A (en) | Obstacle detection system and railway vehicle | |
| JP2009041972A (en) | Image processing device and method therefor | |
| JP6708730B2 (en) | Mobile | |
| EP3282389B1 (en) | Image processing apparatus, image capturing apparatus, moving body apparatus control system, image processing method, and program | |
| JP6349737B2 (en) | Moving object tracking device and moving object tracking method | |
| CN107787496B (en) | Vanishing point correcting device and method | |
| JP2013097675A (en) | Gradient estimation device, gradient estimation method, and gradient estimation program | |
| JP5501084B2 (en) | Planar area detection apparatus and stereo camera system | |
| JP2021120255A (en) | Distance estimation device and computer program for distance estimation | |
| JP5107154B2 (en) | Motion estimation device | |
| JP5981284B2 (en) | Object detection device and object detection method | |
| KR20160125803A (en) | Apparatus for defining an area in interest, apparatus for detecting object in an area in interest and method for defining an area in interest | |
| JP6699323B2 (en) | Three-dimensional measuring device and three-dimensional measuring method for train equipment | |
| JP4462533B2 (en) | Road lane detection device | |
| JP2020006845A (en) | Track curvature estimation device and method | |
| JP5891802B2 (en) | Vehicle position calculation device | |
| JP7127607B2 (en) | Rail curvature estimator | |
| WO2008032376A1 (en) | Distance measuring device and method, and computer program |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| RD02 | Notification of acceptance of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7422 Effective date: 20190524 |
|
| RD04 | Notification of resignation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7424 Effective date: 20190605 |
|
| RD04 | Notification of resignation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7424 Effective date: 20190529 |