JP2021189484A - 画像処理装置および画像処理方法 - Google Patents

Abstract

【課題】 計算コストを抑制して、精度よく画像からまくらぎ部分を抽出する。【解決手段】画像処理装置１においては、まくらぎが含まれた俯瞰画像をグレースケール化したのち、エッジ抽出フィルタを施すエッジ抽出フィルタ処理部１２と、エッジ抽出フィルタ処理部１２によるエッジ抽出結果に対して、まくらぎの画像サイズとほぼ同一サイズのカーネルを有する平均化フィルタを施す平均化フィルタ処理部１３と、平均化フィルタ処理部１３による平均化結果に基づいて、輝度の極値となる座標を検出する輝度極値座標検出部１４と、俯瞰画像から、輝度極値座標検出部１４により抽出された座標を中央とした所定範囲の画像を、まくらぎの抽出結果として切り出すまくらぎ抽出部１５とを有する。【選択図】図１

Description

本発明は、画像処理装置および画像処理方法に関する。

画像から直線的な対象物を抽出する手法として、例えば、自動車の分野で単眼車載カメラから、道路上の白線を検知するものがある（例えば、非特許文献１および非特許文献２）。

単眼車載カメラ画像を利用した自動車運転支援, 広島工業大学紀要. 研究編第43, 317-322 (2009)

自動車カメラ動画像に対する白線認識システムの開発, 情報処理学会第 69 回全国大会講演論文集, 67-68, 2007

鉄道の保守点検作業において、まくらぎ検査は、現状では、検査員の徒歩巡視によって行われているため、将来的な検査員人口の減少を考えると、検査員の確保、検査員の移動、または、人件費の増加などの課題がある。そのため、徒歩巡視に代わって、撮影した画像からまくらぎを抽出し、現場に行くことなく遠隔で、まくらぎ検査を可能にしたいという要求がある。

非特許文献１および非特許文献２に記載の技術を用いて、撮像した画像からまくらぎを検出することは、ノイズの少ない状況下では可能である。しかしながら、非特許文献１および非特許文献２に記載の技術は、特徴点抽出アルゴリズムとして、ハフ（Hough）変換を用いているため、計算コストが高く、また、ノイズに弱いため、屋外のため天候の変動が激しく、バラストや自然環境要因によるノイズが多いと考えられる画像から、精度よくまくらぎ部分のみを抽出するのは容易ではない。

そこで、本発明は、前記課題を解決すること、すなわち、計算コストを抑制して、精度よく画像からまくらぎ部分を抽出することができる、画像処理装置および画像処理方法を提供することを目的とする。

本発明の画像処理装置の一側面は、まくらぎが含まれた俯瞰画像をグレースケール化したのち、エッジ抽出フィルタを施すエッジ抽出フィルタ処理部と、エッジ抽出フィルタ処理部によるエッジ抽出結果に対して、まくらぎの画像サイズとほぼ同一サイズのカーネルを有する平均化フィルタを施す平均化フィルタ処理部と、平均化フィルタ処理部による平均化結果に基づいて、輝度の極値となる座標を検出する輝度極値座標検出部と、俯瞰画像から、輝度極値座標検出部により抽出された座標を中央とした所定範囲の画像を、まくらぎの抽出結果として切り出すまくらぎ抽出部とを備えることを特徴とする。

本発明の画像処理装置の他の側面は、エッジ抽出フィルタ処理部が、エッジ抽出結果を白黒反転し、輝度極値座標検出部は、輝度の最大値側の極値となる座標を検出する。

本発明の画像処理方法の一側面は、まくらぎが含まれた俯瞰画像をグレースケール化したのち、エッジ抽出フィルタを施すエッジ抽出フィルタ処理ステップと、エッジ抽出フィルタ処理ステップによるエッジ抽出結果に対して、まくらぎの画像サイズとほぼ同一サイズのカーネルを有する平均化フィルタを施す平均化フィルタ処理ステップと、平均化フィルタ処理ステップによる平均化結果に基づいて、輝度の極値となる座標を検出する輝度極値座標検出ステップと、俯瞰画像から、輝度極値座標検出ステップの処理により抽出された座標を中央とした所定範囲の画像を、まくらぎの抽出結果として切り出すまくらぎ抽出ステップとを含むことを特徴とする。

本発明によれば、計算コストを抑制して、精度よく画像からまくらぎ部分を抽出することができる。

画像処理装置１の機能構成を示す機能ブロック図である。 俯瞰画像の例を示す図である。 ソーベルフィルタによる処理について説明するための図である。 ソーベルフィルタによる処理について説明するための図である。 ソーベルフィルタによる処理について説明するための図である。 ソーベルフィルタによる処理について説明するための図である。 ソーベルフィルタによる処理について説明するための図である。 平均化フィルタによる処理について説明するための図である。 平均化フィルタによる処理について説明するための図である。 平均化フィルタによる処理について説明するための図である。 平均化フィルタによる処理について説明するための図である。 平均化フィルタによる処理について説明するための図である。 輝度の分布と極値について説明するための図である。 抽出されたまくらぎの画像について説明するための図である。 画像処理について説明するためのフローチャートである。

以下、本発明の一実施の形態の画像処理装置について、図１〜図１５を参照しながら説明する。

図１は、本発明の一実施例である画像処理装置１が有する機能構成を示す機能ブロック図である。

画像処理装置１は、バラスト軌道上に設置されたレールを含んだ俯瞰画像からまくらぎの部分を抽出する画像処理を実行するものである。画像処理装置１は、俯瞰画像取得制御部１１、エッジ抽出フィルタ処理部１２、平均化フィルタ処理部１３、輝度極値座標検出部１４、まくらぎ抽出部１５、および、出力制御部１６の機能を含んで構成されている。

俯瞰画像取得制御部１１は、例えば、図２に示されるような、バラスト上に設置されたレールを含んだ俯瞰画像の取得を制御し、取得された俯瞰画像を、エッジ抽出フィルタ処理部１２、および、まくらぎ抽出部１５に供給する。

エッジ抽出フィルタ処理部１２は、取得された俯瞰画像をグレースケール化したのち、エッジ抽出フィルタを施し、エッジが強調され、各ピクセルに０(黒)〜２５５(白)の輝度値が格納された、エッジ検出結果に対応する画像データを、平均化フィルタ処理部１３に供給する。エッジ抽出フィルタとしては、いずれのフィルタを用いるものとしてもよいが、例えば、一次微分フィルタ、ソーベルフィルタ、ロバーツフィルタ、プレヴィットフィルタ、キャニーエッジフィルタ、または、ラプラシアンフィルタなどを用いることができる。ここでは、エッジ抽出フィルタ処理部１２は、ソーベルフィルタを用いるものとして説明する。

図３〜図６を参照し、ソーベルフィルタについて説明する。

例えば、図３に示されるような、白い部分と黒い部分が縦に分かれたエッジ部分において、図４に示される５×５のソーベルフィルタを施す場合、図３において太枠で囲った画素に対するソーベルフィルタは、図５に示されるような５×５の行列となり、対応する画素の値は、５×５の行列の総和の絶対値となる。このような演算を図３の各画素に施した結果は、図６に示されるようになり、エッジに対応する画素の部分の輝度値が高く、エッジに対応しない部分の輝度値が低くなる。

エッジ抽出フィルタ処理部１２は、取得された俯瞰画像をグレースケール化したのち、ソーベルフィルタを施し、フィルタリング結果を白黒反転し、図７に示されるような、エッジ抽出され、エッジのほとんど無いまくらぎ部分の輝度が高い、グレースケールの画像データを、平均化フィルタ処理部１３に供給する。

平均化フィルタ処理部１３は、エッジ抽出フィルタ処理部１２から供給されたエッジ抽出された画像に、抽出したいまくらぎの画像サイズとほぼ同一サイズのカーネルを有する平均化フィルタを施し、平均化されたフィルタリング結果を、輝度極値座標検出部１４に供給する。

図８〜図１１を参照し、平均化フィルタについて説明する。

例えば、図８に示されるように、所定範囲の輝度値が他の箇所より輝度値が高い画像（図８においては、３×９の所定範囲の輝度値を２５５とし、他の箇所の輝度値を０としている）においては、図９に示されるように、検出したい範囲と略同じカーネルサイズの平均化フィルタ、すなわち、ここでは、一般的にカーネルサイズは奇数×奇数であるので（ただし、必ずしも奇数×奇数である必要はない）、カーネルサイズ３×９で１／２７を乗算するフィルタを用いることにより、輝度値が高い範囲の中央位置を検出することができる。具体的には、図８中太枠で囲った画素に対して、図９の平均化フィルタをかけた場合の演算結果は、図１０に示されるような３×９の行列となり、対応する画素の値は、３×９の行列の総和となる。このような演算を図８の各画素に施した結果は、図１１に示されるようになり、元画像において輝度値が高い範囲の中央位置の輝度値は極値を取る。

平均化フィルタ処理部１３は、例えば、図７に示されるような、エッジ抽出されたグレースケールの画像データに、抽出したいまくらぎの画像サイズとほぼ同一サイズのカーネルを有する平均化フィルタを施す。処理画素がまくらぎの中心にあたる画素の時に、カーネルの範囲がまくらぎの画像サイズとほぼ同一となり、図１２に示されるフィルタリング結果を得る。平均化フィルタ処理部１３は、図１２に示されるようなフィルタリング結果を、輝度極値座標検出部１４に供給する。

なお、俯瞰画像取得制御部１１により取得される俯瞰画像におけるまくらぎのサイズがそれぞれ異なる場合、平均化フィルタ処理部１３は、図示しない操作入力部から供給されるユーザの操作入力に基づいて、平均化フィルタのカーネルサイズを適宜設定可能なようにしてもよいことは言うまでもない。

輝度極値座標検出部１４は、平均化フィルタ処理部１３から供給された、例えば、図１２に示されるフィルタリング結果に基づいて、輝度の極値となる座標を検出する。抽出したいまくらぎの画像サイズとほぼ同一サイズのカーネルを用いた平均化フィルタの処理の結果、処理画素がまくらぎの中心にあたる画素の時にカーネルの範囲がまくらぎの画像サイズとほぼ同一となるため、輝度の平均値が極値となる。

図１２に示されるフィルタリング結果の左上隅を座標（０，０）とした場合の各画素の輝度値の３次元グラフを図１３に示す。図１３のグラフにおいて、ｙ座標が０に近い側に存在する極値は、図２の俯瞰画像の画像上部のまくらぎの中央に対応し、ｙ座標が大きい側に存在する極値は、図２の俯瞰画像の画像下部のまくらぎの中央に対応する。輝度極値座標検出部１４は、輝度の極値となる座標の検出結果を、まくらぎ抽出部１５に供給する。

なお、ここでは、エッジ抽出フィルタ処理部１２が、エッジ検出結果を白黒反転し、それ以降の処理を行っているため、輝度極値座標検出部１４は、輝度の極大値となる座標を検出しているが、エッジ抽出フィルタ処理部１２が、フィルタリング結果を白黒反転しない場合、輝度極値座標検出部１４は、輝度の極小値となる座標を検出する。

まくらぎ抽出部１５は、俯瞰画像取得制御部１１から供給された俯瞰画像から、輝度極値座標検出部１４から供給された輝度の極値となる座標を中央とした所定範囲の画像を、まくらぎの抽出結果として切り出し、出力制御部１６に供給する。ここで、まくらぎ抽出部１５が、まくらぎの抽出結果として俯瞰画像から切り出すための所定の範囲は、平均化フィルタ処理部１３による平均化フィルタのカーネルサイズと略同じか、または、所定の画素数だけ大きいものであると好適であり、俯瞰画像取得制御部１１により取得される俯瞰画像におけるまくらぎのサイズに基づいて、図示しない操作入力部から供給されるユーザの操作入力により適宜設定可能である。

図２の、バラスト上に設置されたレールを含んだ俯瞰画像のまくらぎ部分には、日陰と日向が存在し、まくらぎ上には石なども存在している。しかしながら、上述した処理により、抽出されるべきまくらぎの全てに対して、例えば、図１４に示されるように、正しく、まくらぎ部分が抽出される。

出力制御部１６は、まくらぎ抽出部１５から供給された、まくらぎ部分が切り出された俯瞰画像の、図示しない表示装置、印字装置、または、ネットワークを介した他の装置等への出力を制御する。

このように、画像処理装置１においては、まくらぎが含まれた俯瞰画像をグレースケール化したのち、エッジ抽出フィルタを施すエッジ抽出フィルタ処理部１２と、エッジ抽出フィルタ処理部１２によるエッジ抽出結果に対して、まくらぎの画像サイズとほぼ同一サイズのカーネルを有する平均化フィルタを施す平均化フィルタ処理部１３と、平均化フィルタ処理部１３による平均化結果に基づいて、輝度の極値となる座標を検出する輝度極値座標検出部１４と、俯瞰画像から、輝度極値座標検出部１４により抽出された座標を中央とした所定範囲の画像を、まくらぎの抽出結果として切り出すまくらぎ抽出部１５とを有するので、計算コストを抑制して、精度よく画像からまくらぎ部分を抽出することができる。

次に、図１５のフローチャートを参照して、画像処理装置１が実行する画像処理について説明する。

ステップＳ１において、俯瞰画像取得制御部１１は、例えば、図２に示されるような、バラスト上に設置されたレールを含んだ俯瞰画像を取得し、エッジ抽出フィルタ処理部１２、および、まくらぎ抽出部１５に供給する。

ステップＳ２において、エッジ抽出フィルタ処理部１２は、取得された俯瞰画像をグレースケール化する。

ステップＳ３において、エッジ抽出フィルタ処理部１２は、グレースケール化された俯瞰画像に対して、例えば、図３〜図６を用いて説明したソーベルフィルタなどのエッジ抽出フィルタを施す。

ステップＳ４において、エッジ抽出フィルタ処理部１２は、エッジが強調され、各ピクセルに０(黒)〜２５５(白)の輝度値が格納された、エッジ検出結果に対応する画像データを、白黒反転し、平均化フィルタ処理部１３に供給する。

ステップＳ５において、平均化フィルタ処理部１３は、エッジ抽出フィルタ処理部１２から供給されたエッジ抽出された画像に、抽出したいまくらぎの画像サイズとほぼ同一サイズのカーネルを有する平均化フィルタを施し、例えば、図１２に示されるような、平均化されたフィルタリング結果を、輝度極値座標検出部１４に供給する。

ステップＳ６において、輝度極値座標検出部１４は、平均化フィルタ処理部１３から供給された、例えば、図１２に示されるフィルタリング結果に基づいて、各画素の輝度値を検出する。

ステップＳ７において、輝度極値座標検出部１４は、検出された輝度値の極値となる画素の座標を抽出し、輝度の極値となる座標の検出結果を、まくらぎ抽出部１５に供給する。

ステップＳ８において、まくらぎ抽出部１５は、俯瞰画像取得制御部１１から供給された俯瞰画像から、輝度極値座標検出部１４から供給された輝度の極値となる座標を中央とした所定範囲の画像を、まくらぎの抽出結果として切り出し、出力制御部１６に供給する。

ステップＳ９において、出力制御部１６は、まくらぎ抽出部１５から供給された、まくらぎ部分が切り出された俯瞰画像の、図示しない表示装置、印字装置、または、ネットワークを介した他の装置等への出力を制御し、処理が終了される。

図２の、バラスト上に設置されたレールを含んだ俯瞰画像のまくらぎ部分には、日陰と日向が存在し、まくらぎ上には石なども存在している。しかしながら、このような処理により、計算コストを抑制して、例えば、図１４に示されるように、精度よく画像からまくらぎ部分を抽出することができる。

上述した技術は、ハードウェアとしては、例えば、パーソナルコンピュータに適用することができる。

上述した一連の処理は、ハードウェアにより実行することもできるし、ソフトウェアにより実行することもできる。一連の処理をソフトウェアにより実行する場合には、そのソフトウェアを構成するプログラムが、専用のハードウェアに組み込まれているコンピュータ、または、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどに、プログラム記録媒体からインストールされる。

なお、コンピュータが実行するプログラムは、本明細書で説明する順序に沿って時系列に処理が行われるプログラムであっても良いし、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで処理が行われるプログラムであっても良い。

また、本発明の実施の形態は、上述した実施の形態に限定されるものではなく、本発明の要旨を逸脱しない範囲において種々の変更が可能である。

１…画像処理装置、 １１…俯瞰画像取得制御部、 １２…エッジ抽出フィルタ処理部、 １３…平均化フィルタ処理部、 １４…輝度極値座標検出部、 １５…まくらぎ抽出部、 １６…出力制御部

Claims (3)

1. まくらぎが含まれた俯瞰画像をグレースケール化したのち、エッジ抽出フィルタを施すエッジ抽出フィルタ処理部と、
   前記エッジ抽出フィルタ処理部によるエッジ抽出結果に対して、前記まくらぎの画像サイズとほぼ同一サイズのカーネルを有する平均化フィルタを施す平均化フィルタ処理部と、
   前記平均化フィルタ処理部による平均化結果に基づいて、輝度の極値となる座標を検出する輝度極値座標検出部と、
   前記俯瞰画像から、前記輝度極値座標検出部により抽出された前記座標を中央とした所定範囲の画像を、前記まくらぎの抽出結果として切り出すまくらぎ抽出部と
   を備えることを特徴とする画像処理装置。
2. 請求項１に記載の画像処理装置において、
   前記エッジ抽出フィルタ処理部は、前記エッジ抽出結果を白黒反転し、
   前記輝度極値座標検出部は、輝度の最大値側の極値となる前記座標を検出する
   ことを特徴とする画像処理装置。
3. まくらぎが含まれた俯瞰画像をグレースケール化したのち、エッジ抽出フィルタを施すエッジ抽出フィルタ処理ステップと、
   前記エッジ抽出フィルタ処理ステップによるエッジ抽出結果に対して、前記まくらぎの画像サイズとほぼ同一サイズのカーネルを有する平均化フィルタを施す平均化フィルタ処理ステップと、
   前記平均化フィルタ処理ステップによる平均化結果に基づいて、輝度の極値となる座標を検出する輝度極値座標検出ステップと、
   前記俯瞰画像から、前記輝度極値座標検出ステップの処理により抽出された前記座標を中央とした所定範囲の画像を、前記まくらぎの抽出結果として切り出すまくらぎ抽出ステップと
   を含むことを特徴とする画像処理方法。
   
   

Images