JP2021033857A - 画像処理装置及び画像処理方法 - Google Patents

Abstract

【課題】ラインセンサと被写体との相対速度の変化に起因する画像の歪みをラインセンサと被写体との相対速度を測定したり、複数の基準値を用意したりすることなく簡便に、かつ、高精度に補正可能な画像処理装置を提供する。【解決手段】画像処理装置１００は、第１の撮像装置１０１によって撮像された複数の第１の線画像に応じて撮像順に一方向に繋げた第１の補正前画像及び第２の撮像装置１０２によって撮像された複数の第２の線画像に応じて撮像順に前記一方向に繋げた第２の補正前画像を取得する補正前画像取得部１０４と、第１の補正前画像と第２の補正前画像との一方向の位置ずれの大きさであるずれ量を算出するずれ量算出部１０５と、ずれ量に基づいて、第１の補正前画像の一方向の幅を補正した第１の補正後画像を生成する画像補正部１０６と、を備える。【選択図】図１

Description

本発明は、画像処理装置及び画像処理方法に関する。

ラインセンサを使用し２次元画像を生成する際、被写体の速度に応じて画像の横軸方向の歪みを補正する必要がある。例えば特許文献１には、車速パルスに同期しない被写体撮影用ラインセンサカメラ１、被写体撮影用ラインセンサカメラ１と同期する車速パルス光撮影用ラインセンサカメラ２及び距離に基づく補正を被写体原画像に施す画像処理装置４から構成される撮影装置が開示されている。また特許文献２には、基準プロファイルとエッジとを比較し（Ｓ２５）、撮影画像に横方向の伸縮補正処理を行い（Ｓ２６）、撮影画像のばらつきを補正する補正手段（Ｓ２）を備える技術が開示されている。

特開２０１４−０６０６３３号公報 特開２０１７−２１５２２０号公報

しかしながら特許文献１では、被写体撮影用ラインセンサカメラ１及び車速パルス光撮影用ラインセンサカメラ２を高精度に同期した上で被写体の速度及び移動距離を算出しなければ、画像の補正精度が低下してしまうという問題がある。また特許文献２では、事前に車種の特徴部分が示された基準プロファイルを用意する手間があり、被写体の車種の増加に伴ってユーザの負担も増加する問題がある。また撮影時には外環境によって撮影画像が変化するため、撮影画像から抽出されたエッジと基準プロファイルとの差異が大きくなり、比較処理が正しく行われず画像の補正精度が低下することがあるという問題がある。なお外環境とは例えばラインセンサや被写体などに対する照明、振動、汚れ、濡れなどが挙げられる。

本発明の一態様は、ラインセンサと被写体との相対速度の変化に起因する画像の歪みをラインセンサと被写体との相対速度を測定したり、複数の基準値を用意したりすることなく簡便に、かつ、高精度に補正可能な画像処理装置を提供することを目的とする。

上記の課題を解決するために、本発明の一態様に係る画像処理装置は、第１の撮像装置によって撮像された複数の第１の線画像に応じて撮像順に一方向に繋げた第１の補正前画像、及び第２の撮像装置によって撮像された複数の第２の線画像に応じて撮像順に前記一方向に繋げた第２の補正前画像を取得する補正前画像取得部と、第１の補正前画像と第２の補正前画像との一方向の位置ずれの大きさであるずれ量を算出するずれ量算出部と、ずれ量に基づいて、第１の補正前画像の一方向の幅を補正した第１の補正後画像を生成する画像補正部と、を備える。

ラインセンサと被写体との相対速度に起因する画像の歪みを、ラインセンサと被写体との相対速度を測定したり、複数の基準値を用意したりすることなく簡便に、かつ、高精度に補正可能な画像処理装置を提供することができる。

第１の実施の形態における画像処理装置の構成を示すブロック図である。 鉄道車両の外観検査環境を示す図である。 第１の実施の形態において補正前画像取得部が取得する補正前画像の一例である。 第１の実施の形態において補正前画像取得部が取得する補正前画像の一例である。 画像処理の処理手順を示すフローチャートである。 第１の実施の形態における同一時刻における補正前画像の一部の範囲を示す。 第１の実施の形態において画像補正部が補正前画像から生成する補正後画像の一例である。 第１の実施の形態において画像補正部が補正前画像から生成する補正後画像の一例である。 第２の実施の形態における撮像装置に関して、補正前画像取得部が取得する補正前画像である。 第２の実施の形態における撮像装置に関して、補正前画像取得部が取得する補正前画像である。 第２の実施の形態における同一時刻における補正前画像の一部の範囲を示す。 第２の実施の形態における補正前画像の一部の範囲の画素毎のずれ量を示す。 第２の実施の形態における補正の際の画素毎の輝度値の算出に関する図を示す。 第２の実施の形態における補正後画像の一部の範囲を示す。 第２の実施の形態において画像補正部が補正前画像から生成する補正後画像の一例である。 第２の実施の形態において画像補正部が補正前画像から生成する補正後画像の一例である。 第２の実施の形態においてラインセンサと被写体との相対速度がせず、ずれ量が参照ずれ量となる際の画像生成部が生成する補正前画像の一部の範囲である。 第３の実施の形態における補正後画像を示す。 第３の実施の形態における補正後画像の表示例を示す。

以下では、鉄道車両の外観検査を行う方法を例に挙げ、本発明の実施の形態の一態様について図面を参照して詳細に説明する。ただし、以下に記載されている構成は、特に限定的な記載がない限り、本発明の実施の形態の範囲をそれのみに限定する趣旨ではなく、単なる説明例に過ぎない。また、各図は説明のためのものであり、実際とは異なる場合がある。

［第１の実施の形態］
図１に本実施の形態における画像処理装置１００の構成を示すブロック図を示す。図１に示すように画像処理装置１００は、撮像装置１０１（第１の撮像装置）、及び撮像装置１０２（第２の撮像装置）に接続されている。

撮像装置１０１，１０２は、線画像である１ラインの画像データ（以下、これをラインデータと呼んでもよい）を撮像するＣＭＯＳ（Complementary metal-oxide-semiconductor）を使用したモノクロのラインセンサである。線画像の幅方向の画素数は、例えば１画素である。撮像装置１０１，１０２は、所定の周期Ｔで線画像を撮像する。

画像処理装置１００は、画像生成部１０３を備えている。画像生成部１０３は、撮像装置１０１によって撮像された複数のラインデータ３０２（第１の線画像）、及び撮像装置１０２（第２の撮像装置）によって撮像された複数のラインデータ４０２（第２の線画像）を取得する（図３、図４参照）。

画像生成部１０３は、図示せぬ補正前画像生成部を備えている。補正前画像生成部は、複数のラインデータ３０２に応じて撮像順に一方向に繋げた補正前画像３００（第１の補正前画像）、及び複数のラインデータ４０２に応じて撮像順に繋げた補正前画像４００（第２の補正前画像）を生成する。

なお、補正前画像生成部は、画像処理装置１００に設けられる構成に限らず、例えば、画像処理装置１００とは別の装置に設けられ、生成した補正前画像３００，４００を画像処理装置１００に出力するように構成されていてもよい。

画像生成部１０３は、補正前画像取得部１０４、ずれ量算出部１０５、及び画像補正部１０６を更に備えている。補正前画像取得部１０４は、補正前画像生成部が生成した補正前画像３００，４００を取得する。ずれ量算出部１０５は、補正前画像３００と補正前画像４００との一方向の位置ずれの大きさであるずれ量ｄｎを算出する。

画像補正部１０６は、ずれ量ｄｎに基づいて、補正前画像３００の一方向の幅を補正した補正後画像７００（第１の補正後画像）を生成する（図７参照）。さらに、画像補正部１０６は、ずれ量ｄｎに基づいて、補正前画像４００の一方向の幅を補正した補正後画像８００（第２の補正後画像）を生成する（図８参照）。

画像処理装置１００は、画像出力部１０７を更に備えている。画像出力部１０７は、補正後画像７００，８００を画像表示装置１０８に出力する。画像表示装置１０８は、例えば据え置き型の液晶ディスプレイとする。画像生成部１０３及び画像出力部１０７は、それぞれがＩＣ（Integrated Circuit）チップなどの集積回路に形成された論理回路によって実現されるものとする。

補正前画像取得部１０４、ずれ量算出部１０５及び画像補正部１０６は、それぞれが画像生成部１０３の内部に設けられたＩＣチップなどの集積回路に形成された論理回路によって実現されるものとする。

なお画像処理装置１００は、図１においては画像生成部１０３及び画像出力部１０７は専用の電子回路とする構成としているが、例えばＣＰＵ（Central Processing Unit）などのプロセッサ及び不揮発性メモリを備える構成としてもよい。不揮発性メモリは、ＲＯＭ（Read Only Memory）や半導体メモリや磁気テープやメモリーカードやハードディスクドライブやプログラマブル論理回路などとする。

プロセッサは、不揮発性メモリにプログラムとして保存された画像生成部１０３及び画像出力部１０７を呼び出して処理を行う。なお画像処理装置１００は、ＲＡＭ（Random Access Memory）などの揮発性メモリをさらに備えていてもよく、不揮発性メモリからプログラムを呼び出す際に揮発性メモリを介してもよい。

また撮像装置１０１，１０２は、１ラインではなく複数ラインのものでもよく、ＣＭＯＳでなくＣＣＤ（Charged-coupled devices）を使用したものでよいし、モノクロでなくてカラーでもよい。

また画像表示装置１０８は、据え置き型でなくスマートフォンのモニタなどの持ち運べるものであってもよい。また画像表示装置１０８は、液晶ディスプレイでなくてブラウン管やプラズマディスプレイや有機エレクトロルミネッセンスディスプレイや量子ドット液晶ディスプレイなどでもよい。

図２に鉄道車両２００の外観検査環境を示す図である。本実施の形態において被写体を鉄道車両２００として説明する。例えば本実施の形態は、鉄道車両２００の側面の傷などの検査のために用いられる。

本実施の形態において鉄道車両２００は、進行方向２０１に向かって撮像装置１０１，１０２との相対速度が一定速度となるようにレール２０２上の通過範囲２０８を通過する。

レール２０２の側方に撮像装置１０１，１０２が接続された画像処理装置１００が設置され、撮像装置１０１，１０２は、鉄道車両２００の側面を撮像するように、撮像する方向が撮像方向２０３，２０４となるように設置される。また撮像装置１０１，１０２は、撮像装置１０１，１０２の走査方向２０５が鉛直方向であって進行方向２０１と直交するように設置されている。

撮像装置１０１と撮像装置１０２とは、進行方向２０１と平行であって、撮像装置１０１と撮像装置１０２との距離が長さ２０６となるように設置される。レール２０２と撮像装置１０１、１０２との距離が長さ２０７となるように設置される。例えば長さ２０６は鉄道車両２００の長さに応じて決定され、長さ２０７は鉄道車両２００の高さに応じて決定される。

図３に補正前画像取得部１０４が取得する補正前画像３００の一例を示す。図４に補正前画像取得部１０４が取得する補正前画像４００の一例を示す。撮像装置１０１，１０２と鉄道車両２００との相対速度が、撮像装置１０１，１０２による撮像の際に基準となる所定の相対速度より遅かったために、補正前画像３００，４００は間延びした画像となっている。

図３，４は、時刻ｔ０からｔ１１０までの１１０個分のラインデータ３０２，４０２を撮像順に一方向に繋げた画像である。時刻はｔ０の次は時刻ｔ１、その次は時刻ｔ２とし、時刻ｔ０と時刻ｔ１との間の時間や時刻ｔ１と時刻ｔ２との間の時間は周期Ｔとする。

例えば時刻ｔ０と時刻ｔ１０との間の時間は１０Ｔとする。図３，図４において横軸は時刻となっている。なお図３，図４に示す通り、補正前画像３００，４００は補正が行われていない。なお画像処理装置１００の使用者に表示する形式の補正後画像７００，８００（図７，図８参照）は、後述のように横軸を座標とする。

図３，図４に示すように補正前画像３００，４００は、列車の一編成分や一車両分毎の画像として、鉄道車両２００の検査や管理を行いやすくする。補正前画像生成部は、鉄道車両２００が通過範囲２０８を通過する予定である通過時刻に基づいて撮像装置１０１，１０２からラインデータ３０２，４０２を取得する。

なお補正前画像生成部は、撮像装置１０１，１０２よりも進行方向２０１側に進行方向２０１と平行に設置された図示せぬ車両検知センサの検知状態に基づいて撮像装置１０１，１０２からラインデータ３０２，４０２を取得してもよい。

また補正前画像生成部は、画像処理装置１００の使用者が設定した開始時刻と終了時刻に基づいて、撮像装置１０１，１０２からラインデータ３０２，４０２を取得してもよいものとする。

図５を用いて画像処理装置１００が行う画像処理方法の詳細について説明する。図５は画像処理の処理手順を示すフローチャートを示す。例えば鉄道車両２００が通過範囲２０８を通過する予定である通過時刻を経過し、撮像装置１０１，１０２がラインデータ３０２，４０２を生成すると画像処理装置１００は、画像処理を開始する。

補正前画像生成部は、撮像装置１０１，１０２が所定の周期Ｔで繰り返し撮像して送信する複数のラインデータ３０２，４０２を取得し、取得した複数のラインデータ３０２，４０２を結合した補正前画像３００，４００を生成する。補正前画像取得部１０４は、補正前画像生成部が生成した補正前画像３００，４００を取得する（Ｓ５０１）。

ずれ量算出部１０５は、補正前画像取得部１０４が取得した補正前画像３００と補正前画像４００とのずれ量ｄｎを、補正前画像３００の各画素の輝度値Ｌ１と補正前画像４００の各画素の輝度値Ｌ１とを参照することで算出する（Ｓ５０２）。

ここでずれ量ｄｎは、補正前画像３００と補正前画像４００との一方向における位置ずれの大きさであって、補正前画像３００と補正前画像４００とが何周期分ずれているかを表すものとする。

ずれ量算出部１０５は、補正前画像３００から補正前画像４００が何周期分ずれているかのずれ量ｄｎと、補正前画像４００から補正前画像３００が何周期分ずれているかのずれ量ｄｎと、の２種類のずれ量ｄｎを算出する。

このようにずれ量ｄｎは補正前画像３００を基準画像にした場合と補正前画像４００を基準画像にした場合の２種類となる。なおずれ量ｄｎは補正前画像３００，４００の画素毎に算出される。

補正前画像３００と補正前画像４００とのずれ量ｄｎは、補正前画像３００と補正前画像４００との対応点を探索することで算出する。具体的にはＳＡＤ（Sum of Absolute Difference）というステレオマッチングの一種の評価式で評価を行い、対応点を探索する。

図６を用いて補正前画像３００と補正前画像４００との対応点の探索についての概要を説明する。図６に本実施の形態における補正前画像３００，４００の一部の範囲３０１，４０１を示す。図６において、範囲３０１，４０１の各画素内に記載されている数値は輝度値Ｌ１を示す。

ステレオマッチングでは、基準画像の注目画素を中心とした矩形範囲を参照画像上で走査することで基準画像の注目画素に対応する対応点を探索する。本実施の形態においては矩形範囲として鉛直方向１画素、水平方向１０画素分とする。

またステレオマッチングによるずれ量算出は、輝度の変化や模様によってエッジなどが検出され特徴があるとされた画素（以下、これを特徴画素と呼んでもよい）においてのみ行われる。

図６においては、範囲３０１，４０１の画素はそれぞれの２０画素が、特徴画素とする。本実施の形態では、被写体である鉄道車両２００と撮像装置１０１，１０２との相対速度が一定速度であり全ての画素が同様のずれ量ｄｎである。

このため、基準画像を補正前画像３００，４００のうちのどちらか一方とし、他方を参照画像として、基準画像の１画素（以下これを基準画素と呼んでもよい）においてのみずれ量ｄｎを算出すればよい。なお基準画素に対して参照画像において対応点となる１画素を参照画素とする。

補正前画像３００からの補正前画像４００のずれ量ｄｎの算出に際しては、範囲３０１においての基準画素を画素６０１として、参照画素は画素６０２となり、ずれ量ｄｎは１０Ｔとなる。同様に補正前画像４００からの補正前画像３００のずれ量ｄｎの算出に際しては、範囲４０１においての基準画素を画素６０２として、参照画素は画素６０１となり、ずれ量ｄｎは１０Ｔとなる。なお基準画素及び参照画素は特徴画素である。

なおずれ量ｄｎの算出にはＳＳＤ（Sum of Squared Difference）やＺＮＣＣ（Zero Means Normalized Cross Correlation）といったＳＡＤではない別の評価式でステレオマッチングとしての評価値を算出してもよい。

またステレオマッチングにおける矩形範囲のサイズを鉛直方向１画素、水平方向１０画素としたが本実施の形態はこれに限らない。例えば、被写体の特徴量や被写体の画像上でのサイズやステレオマッチングとして必要な処理速度などに応じて矩形範囲のサイズを他のサイズとして、ステレオマッチングの探索精度や処理量を調整してもよい。

またずれ量ｄｎの算出に用いる手法は、ステレオマッチングではなく、ＤＰ（Dynamic Programming Feature Transform）マッチングや、ＳＩＦＴ（Scale Invariant Feature Transform）のような特徴量を用いた手法などを用いてもよい。

図５に戻り、画像処理の詳細を説明する。画像補正部１０６は、画像処理装置１００が外部から取得する基準値である参照ずれ量ｄｒをずれ量ｄｎで除して算出する補正率Ｃによって補正前画像３００，４００を画像の横軸方向に拡大又は縮小する画像補正を行い、補正後画像７００，８００を生成する（Ｓ５０３）。補正率Ｃの算出式を下記式（１）に示す。

参照ずれ量ｄｒは例えば長さ２０６に応じて決まり、本実施の形態においては５Ｔとする。補正率Ｃが２より大きい場合に画像を拡大する補正を行い、補正率が０．５より小さい場合に画像を縮小する補正を行う。補正率Ｃが０．５以上２以下の場合は画像を拡大や縮小といった補正はしなくてよい。

なお本実施の形態においては、倍率が２倍や１／２倍といった整数倍の拡大や縮小を画像に対して行う場合を想定しているがこれに限らず、補正率Ｃが１より大きければ画像を拡大し、１より小さければ画像を縮小するようにしてもよい。

参照ずれ量ｄｒは、撮像装置１０１，１０２と鉄道車両２００との相対速度が一定速度であって、鉄道車両２００が基準となる所定の周期数の範囲内に撮像される際のずれ量ｄｎとする。なお換言すると、参照ずれ量ｄｒとなっている時間においては、撮像装置１０１，１０２と鉄道車両２００とは基準となる所定の相対速度であるといえる。

本実施の形態においては、補正率Ｃは０．５となり、各画素への横軸方向に関する縮小が行われる。図７，８を用いて各画素への横軸方向に関する補正について説明する。図７は、第１の実施の形態において画像補正部１０６が補正前画像３００から生成する補正後画像７００の一例である。図８は、第１の実施の形態において画像補正部１０６が補正前画像４００から生成する補正後画像８００の一例である。

図７，８に示すように、横軸方向は座標としていて、図７，８においての座標は、ずれ量ｄｎが参照ずれ量ｄｒだった場合の表示に合わせている。例えば図３，４に示した補正前画像３００，４００のように補正率Ｃが０．５の場合は、例えば時刻ｔ２０に対応する箇所は座標１０といったように補正後画像７００，８００の横軸方向に補正率Ｃを乗じたようにされ縮小されて表示される。図７，８に示すように補正後画像７００，８００はアスペクト比が実際の鉄道車両に同程度となるように補正される。

また例えば時刻ｔ２０の輝度値Ｌ１と時刻ｔ２０に対応する箇所の座標１０の輝度値Ｌ２は同等の値となる。本実施の形態においては輝度値Ｌ１と輝度値Ｌ２とは同等の値となるが、横軸方向が時刻から座標に変換されると、輝度値Ｌ１は輝度値Ｌ２に変換される。

換言すると横軸方向が時刻である補正前画像３００，４００の輝度は輝度値Ｌ１であり、横軸方向が座標である補正後画像７００，８００の輝度は輝度値Ｌ２である。なお座標０は基準点とし、座標０と座標１の間は１画素とする。

図５に戻り、画像処理の詳細を説明する。画像出力部１０７は、補正後画像７００，８００のうち少なくとも一方を画像表示装置１０８に出力する（Ｓ５０４）。撮像装置１０１と撮像装置１０２とは、長さ２０６離れて設置されており、設置されている位置が異なるため、補正後画像７００，８００はそれぞれ異なるように生成される。画像処理装置１００の使用者が多くの情報を得たうえで検査ができるため、補正後画像７００，８００は両方出力されることが望ましい。

以上のように本実施の形態においては、撮像装置１０１，１０２と鉄道車両２００との相対速度の変化に起因する画像の歪みを、撮像装置１０１，１０２と鉄道車両２００との相対速度を測定したり、複数の基準値を用意したりすることなく簡便に、かつ、高精度に補正可能な画像処理装置を提供することができる。

［第２の実施の形態］
第１の実施の形態においては、鉄道車両２００が進行方向２０１に向かって撮像装置１０１，１０２との相対速度が一定速度となるようにレール２０２上の通過範囲２０８を通過したが、本実施の形態はこれに限らない。

本実施の形態において鉄道車両２００は、例えば加速又は減速により、進行方向２０１に向かって撮像装置１０１，１０２との相対速度を変化させながらレール２０２上の通過範囲２０８を通過してもよい。

本実施の形態においては、画像処理装置１００の構成、鉄道車両２００の外観検査環境及び画像処理の処理フローは第１の実施の形態と同等であるため、説明を省略する。図９に補正前画像取得部１０４が取得する補正前画像９００の一例を示す。図１０に補正前画像取得部１０４が取得する補正前画像１０００の一例を示す。図示せぬ補正前画像生成部は、補正前画像９００，１０００を撮像装置１０１，１０２のラインデータ９０２，１００２から生成する。

図９，１０は、時刻ｔ０からｔ２０までの２０個分のラインデータ９０２，１００２を撮像順に一方向に繋げた画像である。時刻はｔ０の次は時刻ｔ１、その次は時刻ｔ２とし、時刻ｔ０と時刻ｔ１との間の時間や時刻ｔ１と時刻ｔ２との間の時間は周期Ｔとする。

例えば時刻ｔ０と時刻ｔ１０との間の時間は１０Ｔとする。図９，図１０において横軸は時刻となっている。なお図９，図１０に示す通り、補正前画像９００，１０００は補正が行われていない。なお画像処理装置１００の使用者に表示する形式の補正後画像１５００，１６００（図１５，図１６参照）は、後述のように横軸を座標とする。

図９，図１０において時刻ｔ０〜ｔ６の間の期間９１１では、撮像装置１０１，１０２と鉄道車両２００との相対速度が一定速度であって、鉄道車両２００が所定の周期数の２倍程度で撮像されている。

また時刻ｔ６〜ｔ９の間の期間９１２では、撮像装置１０１，１０２と鉄道車両２００との相対速度が一定速度であって、鉄道車両２００が基準となる所定の周期数の３倍程度で撮像されている。

また時刻ｔ９〜ｔ２１の間の期間９１３では、撮像装置１０１，１０２と鉄道車両２００との相対速度が一定速度であって、鉄道車両２００が基準となる所定の周期数の４倍程度で撮像されている。

なお換言すると、期間９１１では撮像装置１０１，１０２と鉄道車両２００との相対速度は基準となる所定の相対速度の半分程度であるといえる。また期間９１２では撮像装置１０１，１０２と鉄道車両２００との相対速度は基準となる所定の相対速度の３分の１程度であるといえ、期間９１３では撮像装置１０１，１０２と鉄道車両２００との相対速度は基準となる所定の相対速度の４分の１程度であるといえる。

図９，図１０に示すように補正前画像９００，１０００は、列車の一編成分や一車両分毎の画像として、鉄道車両２００の検査や管理を行いやすくする。補正前画像生成部は、鉄道車両２００が通過範囲２０８を通過する予定である通過時刻に基づいて撮像装置１０１，１０２からラインデータ９０２，１００２を取得する。

なお補正前画像生成部は、撮像装置１０１，１０２よりも進行方向２０１側に進行方向２０１と平行に設置された図示せぬ車両検知センサの検知状態に基づいて撮像装置１０１，１０２からラインデータ９０２，１００２を取得してもよい。

また補正前画像生成部は、画像処理装置１００の使用者が設定した開始時刻と終了時刻に基づいて、撮像装置１０１，１０２からラインデータ９０２，１００２を取得してもよいものとする。

本実施の形態において補正率Ｃは、補正前画像９００，１０００の画素毎に異なり、各画素への横軸方向に関する補正が行われる。図１１〜１７を用いて画像補正部１０６が行う各画素への横軸方向に関する補正について説明する。

図１１は、本実施の形態における同一時刻における補正前画像９００，１０００の一部の範囲９０１，１００１を示す。図１２は、本実施の形態における補正前画像９００，１０００の一部の範囲９０１，１００１の画素毎のずれ量ｄｎを示す。

図１３は、本実施の形態における補正の際の画素毎の輝度値Ｌ２の算出に関する図を示す。図１４は、本実施の形態における補正後画像１５００，１６００の一部の範囲１４００，１４１０を示す。

図１５は、本実施の形態において画像補正部１０６が補正前画像９００から生成する補正後画像１５００の一例である。図１６は、本実施の形態において画像補正部１０６が補正前画像１０００から生成する補正後画像１６００の一例である。

図１７は、本実施の形態において撮像装置１０１，１０２と鉄道車両２００との相対速度が変化せず、ずれ量ｄｎが参照ずれ量ｄｒとなる際に画像生成部が生成する補正後画像の一部の範囲１７０１，１７０２である。図１７に記載された数値は各画素の輝度値Ｌ２を示す。

図１１において、範囲９０１，１００１の各画素内に記載されている数値は輝度値Ｌ１を示す。補正前画像９００の範囲９０１における範囲１１０１の各画素の輝度値Ｌ１は２５０である。

同様に補正前画像９００の範囲９０１における範囲１１０２の各画素の輝度値Ｌ１は５０であり、範囲１１０３の各画素の輝度値Ｌ１は１００であり、範囲１１０４の各画素の輝度値Ｌ１は１５０であり、範囲１１０５の各画素の輝度値Ｌ１は２５０である。

また補正前画像１０００の範囲１００１における範囲１１０６の各画素の輝度値Ｌ１は２５０である。同様に補正前画像１０００の範囲１００１における範囲１１０７の各画素の輝度値Ｌ１は５０であり、範囲１１０８の各画素の輝度値Ｌ１は１００であり、範囲１１０９の各画素の輝度値Ｌ１は１５０であり、範囲１１１０の各画素の輝度値Ｌ１は２５０である。

図１２において、範囲１２１０，１２２０の各画素内に記載されている数値は、ずれ量ｄｎを示す。範囲１２１０では範囲９０１の各画素のずれ量ｄｎを示しており、範囲１２２０では範囲１００１の各画素のずれ量ｄｎを示している。

範囲１２１０のずれ量ｄｎは、補正前画像９００における基準とする画素から補正前画像１０００における対応する画素までのずれ量ｄｎである。範囲１２２０のずれ量ｄｎは、補正前画像１０００における基準とする画素から補正前画像９００における対応する画素までのずれ量ｄｎである。

なお図中のｂｇは周辺画素に基づいた値としていることを示す。ステレオマッチングによるずれ量算出は特徴画素においてのみ行われるため、輝度の変化や模様によってエッジなどが検出されず特徴がない画素（以下、これを特徴無画素と呼んでもよい）において、ずれ量ｄｎは、任意方向の隣接する画素と同様の値とする。

なお特徴無画素のずれ量ｄｎは、周辺画素に基づいて線形補間やスプライン補間をされてもよい。例えば特徴無画素のずれ量ｄｎは、特徴無画素の上下左右の画素のずれ量ｄｎに基づいた線形補間によって算出されてもよい。

鉄道車両２００と撮像装置１０１，１０２との相対速度は、撮像装置１０１，１０２の撮像の際に変化するため、撮像装置１０１，１０２が撮像したラインデータ９０２，１００２に基づく補正前画像９００，１０００は、画素毎にずれ量ｄｎが異なる。なお本実施の形態において参照ずれ量ｄｒは１とする。

本実施の形態においては、画素毎にずれ量ｄｎが異なるため、補正前画像９００，１０００を補正して補正後画像１５００，１６００とするために横軸を時刻から座標に変換する際、図１３に示すように補正率Ｃを横軸が時刻の際の画素毎の横軸方向の幅に乗ずる。

補正前画像９００の範囲９０１に関しては、範囲１３０１のようになり、補正前画像１０００の範囲１００１に関しては、範囲１３０２のようになる。範囲１２１１，１２２１では、ずれ量ｄｎが２であるため補正率Ｃは１／２となり、範囲１２１２，１２２２では、ずれ量ｄｎが３であるため補正率Ｃは１／３となり、範囲１２１３，１２２３では、ずれ量ｄｎが４であるため補正率Ｃは１／４となる。

横軸が時刻の場合の輝度値Ｌ１の画素の幅に補正率Ｃを乗じた画素を座標０から撮像順に並べて、座標１単位当たりの輝度値Ｌ２を求めたものが図１４となる。なお画像補正部１０６は、ラインデータ９０２，１００２の幅に補正率Ｃを乗じて座標０から撮像順に並べ、輝度値Ｌ２を座標０から撮像順に計算していくことで補正後画像１５００，１６００を生成する。

図１４では横軸を座標として座標の１単位である画素毎に輝度値Ｌ２を記載しており、図１４に記載された輝度値Ｌ２は図１３に記載された輝度値Ｌ１の加重平均によって下記式（２）のように表せる。なお必要な場合輝度値Ｌ２は、小数第２を四捨五入した少数第１までの値とする。

ここで、周期数ｎは座標の１単位当たりの周期Ｔの数を表し、周期毎補正率Ｃ（ｉ）は各周期Ｔにおける補正率を表し、周期毎輝度値Ｌ１（ｉ）は各周期Ｔにおける輝度値Ｌ１を表し、周期毎割合Ｐ（ｉ）は各周期Ｔの割合を示す。

具体的には画素１４０１，１４０２，１４１１の輝度Ｌ２は、周期数ｎが２、周期毎補正率Ｃ（１），Ｃ（２）が１／２、周期毎輝度値Ｌ１（１），Ｌ１（２）が２５０、周期毎割合Ｐ（１），Ｐ（２）が１であるため、２５０となる。

画素１４０３，１４１２の輝度Ｌ２は、周期数ｎが２、周期毎補正率Ｃ（１），Ｃ（２）が１／２、周期毎輝度値Ｌ１（１），Ｌ１（２）が５０、周期毎割合Ｐ（１），Ｐ（２）が１であるため、５０となる。

画素１４０４，１４１３の輝度Ｌ２は、周期数ｎが２、周期毎補正率Ｃ（１），Ｃ（２）が１／２、周期毎輝度値Ｌ１（１），Ｌ１（２）が１００、周期毎割合Ｐ（１），Ｐ（２）が１であるため、１００となる。

画素１４０５の輝度Ｌ２は、周期数ｎが３、周期毎補正率Ｃ（１），Ｃ（２），Ｃ（３）が１／３、周期毎輝度値Ｌ１（１）が１００、周期毎輝度値Ｌ１（２），Ｌ１（３）が１５０、周期毎割合Ｐ（１），Ｐ（２），Ｐ（３）が１であるため、１３３．３となる。

画素１４０６の輝度Ｌ２は、周期数ｎが４、周期毎補正率Ｃ（１），Ｃ（２），Ｃ（３），Ｃ（４）が１／４、周期毎輝度値Ｌ１（１）が１５０、周期毎輝度値Ｌ１（２），Ｌ１（３），Ｌ１（４）が２５０、周期毎割合Ｐ（１），Ｐ（２），Ｐ（３），Ｐ（４）が１であるため、２００となる。

画素１４０７，１４１６，１４１７の輝度Ｌ２は、周期数ｎが４、周期毎補正率Ｃ（１），Ｃ（２），Ｃ（３），Ｃ（４）が１／４、周期毎輝度値Ｌ１（１），Ｌ１（２），Ｌ１（３），Ｌ１（４）が２５０、周期毎割合Ｐ（１），Ｐ（２），Ｐ（３），Ｐ（４）が１であるため、２５０となる。

画素１４１４の輝度Ｌ２は、周期数ｎが４、周期毎補正率Ｃ（１）が１／３、周期毎補正率Ｃ（２），Ｃ（３），Ｃ（４）が１／４、周期毎輝度値Ｌ１（１），Ｌ１（２），Ｌ１（３）が１５０、周期毎輝度値Ｌ１（４）が２５０、周期毎割合Ｐ（１），Ｐ（２），Ｐ（３）が１、周期毎割合Ｐ（４）が２／３であるため、１６６．７となる。

画素１４１５の輝度Ｌ２は、周期数ｎが５、周期毎補正率Ｃ（１），Ｃ（２），Ｃ（３），Ｃ（４），Ｃ（５）が１／４、周期毎輝度値Ｌ１（１），Ｌ１（２），Ｌ１（３），Ｌ１（４），Ｌ１（５）が２５０、周期毎割合Ｐ（１）が１／３、周期毎割合Ｐ（２），Ｐ（３），Ｐ（４）が１、周期毎割合Ｐ（５）が２／３であるため、２５０となる。

範囲９０１，１００１以外の補正前画像９００，１０００の範囲についても、範囲１４００，１４１０のように補正をすることで、補正後画像１５００，１６００が生成される。

なお画像補正部１０６は、補正前画像９００，１０００の全体について補正を行うため、幅に補正率Ｃを乗じたラインデータ９０２，１００２を、座標０から撮像順に並べずに、横軸方向の中央から左右の方向に並べてもよい。この場合、輝度値Ｌ２を横軸方向の中央から左右の方向に計算していくことで補正後画像１５００，１６００を生成する。

なお範囲１４００，１４１０と範囲１７０１，１７０２とを比較すると、輝度値Ｌ２が一部の画素において一致していないことがわかる。このためエッジとなる画素が周囲の画素と平準化することでぼやけたようになってしまう可能性があると一般的には考えられるが、本実施の形態においてはこの限りではない。

本実施の形態においては、画像処理装置１００を検査などの用途に使用するため、補正後画像１５００，１６００が用途に十分な解像度となるように短い周期Ｔで撮像装置１０１，１０２によって撮像を行う。短い周期Ｔで撮像するため、補正前画像９００，１０００はエッジとなる画素周辺の画素の輝度値Ｌ１は滑らかに変化している。このため、平準化の影響はないと考えられる。

以上のように本実施の形態においては、鉄道車両２００と撮像装置１０１，１０２との相対速度は、撮像装置１０１，１０２の撮像の際に変化する場合においても、撮像装置１０１，１０２と鉄道車両２００との相対速度の変化に起因する画像の歪みを、撮像装置１０１，１０２と鉄道車両２００との相対速度を測定したり、複数の基準値を用意したりすることなく簡便に、かつ、高精度に補正可能な画像処理装置を提供することができる。

なお本実施の形態においては、撮像装置１０１，１０２と鉄道車両２００との相対速度が、撮像装置１０１，１０２による撮像の際に一定でないため、補正前画像９００，１０００は鉄道車両２００の位置毎に縮尺率が異なる画像となっている。

［第３の実施の形態］
第１及び第２の実施の形態では補正後画像７００，８００，１５００，１６００は横軸の鉄道車両２００の位置がそろっておらず、かつ、補正後画像７００，８００，１５００，１６００は少なくとも一方が出力されればよかった。

これに対して本実施の形態においては、補正後画像７００，８００，１５００，１６００を２つ出力するようにして、かつ、出力する画像の横軸において基準画素と参照画素とを揃えずれ量ｄｎを小さくするようにする。

本実施の形態においては、画像処理装置１００の構成、鉄道車両２００の外観検査環境及び画像処理の処理フローは第１及び第２の実施の形態と同等であるため、同等の内容については説明を省略する。

第１の実施の形態をもとにして本実施の形態を説明する。本実施の形態においては、画像補正部１０６は、補正後画像７００，８００を生成するとさらに、補正後画像７００，８００のうちの一方の基準画素を他方の参照画素に合わせる。

例えば横軸方向に関して、補正後画像７００の基準画素に補正後画像８００の参照画素を合わせると補正後画像８００は図１８に示すような補正後画像１８００となる。領域１８０１の幅は参照ずれ量ｄｒであって、領域１８０１に関しては、ラインデータ４０２が存在しない。画像表示装置１０８に表示させる際などには、データが存在しないことがわかるように例えば領域１８０１を黒塗りの表示とする。

なお横軸方向に関して、補正後画像８００の基準画素に補正後画像７００の参照画素を合わせてもよい。また参照ずれ量ｄｒ分だけどちらか一方の補正後画像７００，８００をずらした後に、横軸方向に関しての重複部分のみを表示してもよい。また横軸方向に関して補正後画像７００，８００の両方を参照ずれ量ｄｒの半分ずつ逆の方向にずらしてもよい。

以上のように本実施の形態における画像処理装置１００は、出力する画像の横軸において基準画素と参照画素とを揃えることで、同一の鉄道車両２００の同一の箇所を、角度を変えて撮像した画像を表示することができる。このため、画像処理装置１００の使用者は、２つの画像の対応箇所を参照しやすく、２つの画像の相違が確認しやすくなり異常などを検知しやすくなる。

なお画像から鉄道車両２００の傷の検出を行う際には、撮像装置１０１，１０２と鉄道車両２００との位置関係や鉄道車両２００への照度の変化によって画像上での表示のされ方が異なる。このため、画像から鉄道車両２００の傷の検出を行う際に特に本実施の形態が好適である。

なお画像表示装置１０８に２つの画像を表示する際に、図１９の本実施の形態における補正後画像の表示例に示すように横軸を揃えたうえで２つの画像を並べて表示してもよい。なお図１９では、補正後画像１８００と補正後画像７００とを並べて表示する例を示している。

また２つの画像を同じ位置に時間を変えて交互に切り替えて表示してもよい。なお画像の一部のみを切り替えてもよいものとする。このように表示方法を工夫することで画像処理装置１００の使用者はより２つの画像の相違が確認しやすくなる。

なお本実施形態では、画像全体をずらすことで、鉄道車両２００の位置を揃えた画像を生成するようにしたが、画像の一部をずらしてもよい。例えば、横軸方向において鉄道車両２００が表示された範囲のみをずらしてもよい。また画像の縦軸方向において中央の８割の範囲のみをずらすなど鉄道車両２００が写る範囲に応じてずらす範囲を設定してもよい。

なお本実施形態の画像処理装置１００では、画像補正部１０６において補正後画像８００をずらしたが、画像出力部１０７で補正後画像８００をずらしてもよい。例えば一方の補正後画像が表示されているときに、画像処理装置１００の使用者が画像処理装置１００に入力する入力情報に応じて、画像出力部１０７は他方の補正後画像をずらした状態で出力して表示するようにすることができる。

［その他の実施の形態］
第１、第２及び第３の実施の形態では、ずれ量ｄｎが参照ずれ量ｄｒと異なる場合に補正率Ｃを用いて画像を補正する場合について述べたが、本実施の形態はこれに限らない。例えば本実施の形態においては、ずれ量ｄｎが参照ずれ量ｄｒの場合には、画像処理装置１００は補正せずに画像を出力し、ずれ量ｄｎが参照ずれ量ｄｒと異なる場合には画像処理装置１００は画像を出力しないようにしてもよい。

より詳細には、画像補正部１０６は、補正前画像３００，４００に補正率Ｃを乗じずにそのままの比率で補正前画像３００，４００の横軸を時刻から座標に置き換え補正後画像とする。なお例えば画像処理装置１００が鉄道車両２００は通常通り走行しているという情報を取得している場合、基準値を参照せずに画像補正部１０６は、補正前画像をそのまま補正後画像とする処理をしてもよい。

通常通り走行している場合、鉄道車両２００は、撮像装置１０１，１０２との相対速度が一定速度となるようにレール２０２上の通過範囲２０８を通過し、全体が撮像装置１０１，１０２における所定の周期数範囲内に撮像される。

なお、第１、第２及び第３の実施の形態では、補正前画像生成部がラインデータ３０２，４０２，９０２，１００２を繋げて補正前画像３００，４００，９００，１０００を生成する構成としたが、本実施の形態はこれに限らない。

補正前画像生成部は、補正前画像取得部１０４を介して、撮像毎に、ラインデータ３０２，４０２，９０２，１００２を取得してずれ量算出部１０５や画像補正部１０６に送信するようにしてもよい。

ラインデータ３０２，４０２，９０２，１００２を撮像毎に受信する場合、画像補正部１０６は、ラインデータ３０２，４０２，９０２，１００２の取得期間の情報を入手し、取得期間の経過後に処理を行う。

この場合、画像補正部１０６は、ラインデータ３０２，４０２，９０２，１００２毎に補正をした後に、補正したラインデータ３０２，４０２，９０２，１００２を繋げ合わせてもよいし、繋げ合わせた後に補正をしてもよい。

また第１、第２及び第３の実施の形態では、基準値である参照ずれ量ｄｒは、撮像装置１０１，１０２と鉄道車両２００との相対速度が一定速度であって、鉄道車両２００が基準となる所定の周期数の範囲内に撮像される際のずれ量ｄｎとしたが本実施の形態ではこれに限らない。

例えば参照ずれ量ｄｒは、撮像装置１０１，１０２と鉄道車両２００との相対速度が一定速度であって、鉄道車両２００が基準となる所定の周期数の範囲内に撮像される際のずれ量ｄｎよりも大きく設定されてもよい。

この場合、補正後画像を生成する時点で、撮像装置１０１，１０２と鉄道車両２００との相対速度が一定でない場合も含め、横軸方向に一律に補正前画像を拡大することができ、補正後画像を表示する際などに改めて拡大する処理を省くことができる。

また撮像装置１０１，１０２と鉄道車両２００との相対速度が撮像装置１０１，１０２による撮像の際の一部の期間のみ一定となる場合、その期間の範囲をグループとして、グループ毎にずれ量を算出し画像補正部１０６の処理量を削減できるようにしてもよい。

撮像装置１０１，１０２と鉄道車両２００との相対速度が一定となる期間であるラインデータ数は、例えば、撮像装置１０１，１０２と鉄道車両２００との相対加速度の最大値の予想値と周期Ｔとに基づいて算出できる。

また第１、第２及び第３の実施の形態では、画像処理装置１００は、撮像装置１０１，１０２からラインデータ３０２，４０２，９０２，１００２を取得するようにしているが、本実施の形態ではこれに限らない。

例えば画像処理装置１００が、事前に撮像装置１０１，１０２によって撮像された複数のラインデータ３０２，４０２，９０２，１００２を取得してもよい。なお画像処理装置１００が撮像装置１０１，１０２を備えてもよい。

また第１、第２及び第３の実施の形態では、撮像装置１０１，１０２が固定されていて、鉄道車両２００が移動しているような場合としたが、本実施の形態はこれに限らず、鉄道車両２００と撮像装置１０１，１０２とが相対的に移動していればよい。例えば鉄道車両２００が固定されていて撮像装置１０１，１０２が移動してもよいし、鉄道車両２００と撮像装置１０１，１０２が共に移動していてもよい。

１００……画像処理装置、１０１，１０２……撮像装置、１０３……画像生成部、１０４……補正前画像取得部、１０５……ずれ量算出部、１０６……画像補正部、１０７……画像出力部、１０８……画像表示装置。

Claims (7)

1. 第１の撮像装置によって撮像された複数の第１の線画像に応じて撮像順に一方向に繋げた第１の補正前画像、及び第２の撮像装置によって撮像された複数の第２の線画像に応じて撮像順に前記一方向に繋げた第２の補正前画像を取得する補正前画像取得部と、
   前記第１の補正前画像と前記第２の補正前画像との前記一方向の位置ずれの大きさであるずれ量を算出するずれ量算出部と、
   前記ずれ量に基づいて、前記第１の補正前画像の前記一方向の幅を補正した第１の補正後画像を生成する画像補正部と、を備える、
   画像処理装置。
2. 前記画像補正部は、前記ずれ量と基準値との差に応じて、前記第１の補正前画像の前記一方向の幅を補正する、
   請求項１に記載の画像処理装置。
3. 前記ずれ量は、前記第１の補正前画像において着目する第１の特徴画素と、前記第２の補正前画像における前記第１の特徴画素に対応する第２の特徴画素と、の前記一方向の画素差である、
   請求項１又は２に記載の画像処理装置。
4. 前記ずれ量算出部は、前記複数の第１の線画像の少なくとも一部の前記ずれ量を算出し、
   前記画像補正部は、前記複数の第１の線画像毎に前記一方向の幅を補正する、
   請求項１〜３のいずれか１項に記載の画像処理装置。
5. 前記画像補正部は、前記ずれ量に基づいて、前記第２の補正前画像の前記一方向の幅を補正した第２の補正後画像を更に生成する、
   請求項１〜４のいずれか１項に記載の画像処理装置。
6. 前記画像補正部は、前記第１の補正前画像と前記第２の補正前画像との前記一方向の位置ずれが小さくなるように、前記第１の補正前画像と前記第２の補正前画像との少なくとも一方を前記一方向にずらす、
   請求項５に記載の画像処理装置。
7. 第１の撮像装置によって撮像された複数の第１の線画像を撮像順に一方向に繋げた第１の補正前画像、及び第２の撮像装置によって撮像された複数の第２の線画像を撮像順に前記一方向に繋げた第２の補正前画像を取得し、
   前記第１の補正前画像と前記第２の補正前画像との前記一方向の位置ずれの大きさであるずれ量を算出し、
   前記ずれ量に基づいて、前記第１の補正前画像の前記一方向の幅を補正した第１の補正後画像を生成する、
   画像処理方法。

Images