JP2021155986A - 取付管検出装置および取付管検出方法 - Google Patents

Abstract

【課題】管路の内壁に破損や凹み、取付管が混在している場合にでも、破損や凹みと取付管とを区別し、取付管のみを検出する。【解決手段】取付管検出装置は、管路の内部を撮像した画像データから所定の形状を検出する所定形状検出部と、前記画像データ中の陰影を抽出する明暗差抽出部と、所定形状検出部で検出された所定の形状と、前記明暗差抽出部で抽出された前記陰影と、に基づいて、前記所定の形状を取付管として認定する取付管認定部と、を備える。【選択図】図１

Description

本発明は、取付管検出装置および取付管検出方法に関する。

特許文献１には、路面の凹凸を所定の間隔で計測して点群データを収集する光学計測手段と、路面に水平方向から可視光線を照射する投光手段と、投光手段によって照らし出された路面の陰影画像を撮像する可視陰影画像撮像手段と、点群データと路面の陰影画像とを重畳して路面に存在する隆起部及び陥没部の少なくとも１つにおける位置、形状、寸法を特定する路面性状調査装置が開示されている。

特開２０１９−７０２５４号公報

しかしながら、特許文献１に記載された構成では、調査対象である路面に取付管などが取り付けられていることは考慮されていない。このため路面の凹凸全てを隆起部や陥没部として特定するため、異常部位である破損や凹みと取付管などとを区別することが困難であるという問題があった。

本発明の一態様は上記課題に鑑みて発明されたものであり、路面特に下水道管などの管路の内部に接続されている取付管を検出することができる装置を提供することを目的とする。

上記課題を解決するために、本発明の一態様に係る取付管検出装置は、管路の内部を撮像した画像データから所定の形状を検出する所定形状検出部と、前記画像データ中の陰影を抽出する明暗差抽出部と、所定形状検出部で検出された所定の形状と、前記明暗差抽出部で抽出された前記陰影と、に基づいて、前記所定の形状を取付管として認定する取付管認定部と、を備える。

本発明の一態様に係る取付管検出装置によれば、管路の内壁に異常部位である破損や凹みと正常部位である取付管とが混在している場合にでも、異常部位である破損や凹みと正常部位である取付管とを区別し、正常部位である取付管のみを検出することができる。

本発明の実施の形態の一態様に係る取付管検出装置を備える端末に関する概念図である。 本発明の実施の形態の一態様に係る移動体が管路の内部を撮像している様子の上面概略図である。 本発明の実施の形態の一態様に係る端末が処理するデータの概念図である。 本発明の実施の形態の一態様に係る端末が出力するデータにより表示される画像の一例である。 本発明の実施の形態の一態様に係るテンプレート画像の一例である。 本発明の実施の形態の一態様において取付管と取付管の陰影との位置関係について説明する図である。 本発明の実施の形態の一態様に係る画像処理のためのフィルタを説明する図である。 本発明の実施の形態の一態様に係る画像処理のためのフィルタの出力値の算出方法を説明する図である。 本発明の実施の形態の一態様に係る取付管位置表示処理の処理手順を示すフローチャートである。 本発明の実施の形態の一態様に係る所定形状検出処理の処理手順を示すフローチャートである。 本発明の実施の形態の一態様に係る明暗差抽出処理の処理手順を示すフローチャートである。 本発明の実施の形態の一態様に係る取付管認定処理の処理手順を示すフローチャートである。 本発明の実施の形態の一態様に係る他の画像処理のためのフィルタを説明する図である。 本発明の他の実施の形態の一態様における端末が処理するデータによる表示の一例である。 本発明の他の実施の形態の一態様に係るパターンマッチングの対象範囲を限定する方法を説明するための図である。

以下、本発明の実施の形態について、図面を参照しながら説明する。

[本実施の形態]
図１を参照して本実施の形態の概要について説明する。図１に本実施の形態に係る取付管検出装置１３０を備える端末１２０に関する概念図を示す。図１に示すように端末１２０は、例えば下水道の管路１００内に取り付けられた取付管１０１の取り付け位置を表示する装置である。取付管１０１は、例えば、汚水ますと管路１００とを結ぶ管である。管路１００は、例えば断面が円周１１９の筒状とする。

図１に示すように、端末１２０は、取付管１０１を検出する取付管検出装置１３０と、取付管１０１が取り付けられた位置を表示する表示装置１２２と、後述の移動体１１０に記憶された後述の画像データを読み取る記憶読取装置１２３と、を備える。また端末１２０は、記憶読取装置１２３が読み取った画像データを取得して取付管検出装置１３０へと送信する画像取得装置１２１を備える。

取付管検出装置１３０は、所定形状検出部１３１と、明暗差抽出部１３２と、取付管認定部１３３とを備える。所定形状検出部１３１は、画像データから所定の形状を検出する。明暗差抽出部１３２は、画像データ中の陰影を抽出する。取付管認定部１３３は、所定形状検出部１３１で検出された所定の形状と、明暗差抽出部１３２で抽出された陰影と、に基づいて、所定の形状を取付管として認定する。なお例えば所定の形状とは、撮像した際の歪みが反映された円形（以下、これを歪んだ円形とも呼ぶ）を指す。

取付管認定部１３３は、例えば、検出された所定の形状の位置と大きさに基づいて得られる所定の領域に抽出された陰影が含まれている場合、検出された所定の形状を取付管として認定する。具体的には、例えば、取付管認定部１３３は、検出された所定の形状の付近又は内部の所定の領域に抽出された着目画素が集合している領域がある検出された所定の形状を、取付管として認定する。ここで、所定の領域とは例えば所定の形状が収まるような矩形の領域とする。また、取付管認定部１３３は、検出された所定の形状の付近又は内部の所定の領域に陰影として抽出された着目画素が所定個以上含まれている場合、検出された所定の形状を取付管として認定してもよい。

所定形状検出部１３１、明暗差抽出部１３２及び取付管認定部１３３は、それぞれが例えば集積回路に形成された論理回路によって実現され、取付管検出装置１３０は、論理回路の集合体とする。表示装置１２２は、例えばＬＣＤ（Liquid Crystal Display）や有機ＥＬディスプレイ（Organic Electro-Luminescence Display : OELD）などとする。記憶読取装置１２３は、例えばＵＳＢフラッシュドライブやＳＤメモリーカードなどとする。

移動体１１０は、例えば、モータなどの動力源によって移動する車型の装置である。また移動体１１０は、移動体１１０が移動する方向である進行方向１１５を照らす光源１１２と、光源１１２によって照らされた管路１００の内部を撮像する撮像装置１１１と、撮像装置１１１によって撮像された画像データを記憶する記憶装置１１３とを備える。

撮像装置１１１は、例えばＣＣＤ（Charge-Coupled Device）イメージセンサやＣＭＯＳ（Complementary Metal-Oxide-Semiconductor）イメージセンサなどとする。光源１１２は、例えば発光ダイオードなどとし、撮像装置１１１が撮像する範囲を照らすように設置する。記憶装置１１３は、記憶読取装置１２３と互換性が有る装置とし、記憶読取装置１２３と同様の装置とする。

撮像装置１１１は、例えば、移動体１１０の所定の高さに、撮像装置１１１の光軸が移動体１１０の進行方向１１５と平行となるように取り付けられている。光源１１２は、光１１７によって管路１００内の移動体１１０の進行方向１１５を照らし、撮像装置１１１は撮像範囲１１６内の光１１７によって照らされた範囲の管路１００内部を撮像する。

ここで、例えば管路１００の軸方向である奥行１１８までが撮像される範囲とする。また所定の高さとは、例えば管路１００の壁面を撮像可能な管路１００の通路から１ｍ程度といったような高さとする。

次に、図２を参照して移動体１１０による撮像の様子を説明する。図２に本実施の形態に係る移動体１１０が管路１００内部を撮像している様子の上面概略図を示す。図２に示すように管路１００内には取付管１０１の他に例えば管路１００内のひびわれなどの浅い窪み２１０が存在するものとする。

移動体１１０は、例えば、移動体１１０の左右にそれぞれ光源１１２が配置される。取付管１０１は中空状となっているため、取付管１０１の内壁２０１によって光１１７が遮られ陰影２０２が取付管１０１の内壁２０３に発生する。また窪み２１０についても窪み２１０の内壁２１１によって光１１７が遮られ陰影２１２が窪み２１０の内壁２１３に発生する。図２では、光源１１２と内壁２０１の角２０１ａとを結ぶ点線１１７ａ及び光源１１２と内壁２１１の角２１１ａとを結ぶ点線１１７ｂが示されている。陰影２０２は進行方向１１５に対して取付管１０１内の点線１１７ａの外側に生じ、陰影２１２は進行方向１１５に対して窪み２１０内の点線１１７ｂの外側に生じる。

撮像装置１１１は、例えば、移動体１１０の中央に配置される。図２では、撮像装置１１１と内壁２０１の角２０１ａとを結ぶ点線１１６ａ及び撮像装置１１１と内壁２１１の角２１１ａとを結ぶ点線１１６ｂが示されている。図２に示されるように、撮影範囲１１６内には陰影２０２の一部の領域２０２ａ及び陰影２１２の一部の領域２１２ａが含まれる。領域２０２ａは、例えば後述される図３の領域３０２に対応し、領域２１２ａは、例えば図３の領域３０３に対応する。

次に、図３を参照して撮像装置１１１によって撮像される画像データについて説明する。図３に本実施の形態に係る端末１２０が処理するデータの概念図を示す。例えば、撮像装置１１１によって撮像される画像データは、例えば記憶装置１１３に記憶される際に、画像情報ＴＢ３００として示すように、画像データへの参照情報である画像インデックス情報と、画像データが取得された例えば緯度経度などの位置情報を含むように記憶される。記憶装置１１３は、経度緯度などの基となる位置情報を別途図示せぬ移動体１１０が備える地磁気センサなどの位置情報取得装置から取得する。

具体的には、例えば、番号１の行に関しては、位置は経度４１、緯度２であって画像３００を表示するためのデータである画像データへの画像インデックス＃１が格納される。番号２の行に関しては、位置は経度４１、緯度３であって画像３５０を表示するためのデータである画像データへの画像インデックス＃２が格納される。

番号３の行に関しては、位置は経度４１、緯度４であって画像３６０を表示するためのデータである画像データへの画像インデックス＃３が格納される。番号４の行に関しては、位置は経度４２、緯度４であって画像３７０を表示するためのデータである画像データへの画像インデックス＃４が格納される。

画像３００においては、取付管１０１は領域３０１として撮像されており、陰影２０２は領域３０１の付近又は内部に領域３０２として撮像されているものとする。また画像３００において陰影２１２は領域３０３として撮像されているものとする。

また、画像３５０において取付管１０１は撮像されていないものとする。画像３６０において、取付管１０１の代わりにひび割れが領域３６１として撮像されているものとする。また画像３６０においてはよごれが領域３６２，３６３として撮像されているものとする。画像３７０においては画像３００において取付管１０１が撮像された位置とは違う位置において取付管１０１及び陰影２０２が領域３７１，３７２として撮像されているものとする。

画像情報ＴＢ３１０は、取付管検出装置１３０によって取付管１０１が検出された後の情報であって、画像インデックスが＃１と＃４のものが含まれるように、画像情報ＴＢ３００の中で取付管１０１が検出された画像データに関わる情報のみとなっている。表示装置１２２は、例えば、表示装置画像情報ＴＢ３１０を基に取付管１０１が取り付けられた位置と大きさを例えば画像４００のように表示する。画像４００のように表示することで端末１２０は、取付管１０１の位置を明示的に表示することが可能となる。

画像情報ＴＢ３１０においては、画像インデックスごとに取付管１０１が検出された領域についての情報を含む。例えば画像インデックスが＃１の場合は、画像３００における座標（７００，２５０）の位置に、高さ３０、幅２０の領域が画像３００において取付管１０１として検出されていることを示している。同様に画像インデックスが＃４の場合は、画像３７０における座標（２０，２５０）の位置に、高さ３０、幅２０の領域が画像３７０において取付管１０１として検出されていることを示している。

次に、図４を参照して端末１２０が表示する画像４００について説明する。図４は、本実施の形態に係る端末１２０が出力するデータにより表示される画像４００の一例である。図４に示すように画像４００には、例えば、画像３００に対して検出領域４０１や「取付管が検出されました」といった文章が表示されるテキスト領域４０５といった検出結果を示す検出結果表示情報４０６が付加される。

検出領域４０１は、検出された所定の形状である領域３０１の付近又は内部の所定の領域を検出した領域である。画像中で検出領域４０１の位置を、例えば検出領域４０１の左上部の座標４０２で示し、画像中で検出領域４０１の大きさを幅４０３、高さ４０４で示す。検出領域４０１は、例えば領域３０１がちょうど収まるような矩形の領域とする。

次に、図５を参照して所定形状検出部１３１が行う所定の形状の検出の詳細について説明する。図５は、本実施の形態に係るテンプレート画像の一例を示す。本実施の形態において、取付管１０１は、管路１００との接続箇所の形状は円形であるが、撮像時に取付管１０１と撮像装置１１１とは正対していないため、撮像されると画像３００における領域３０１のように歪んだ形状として表れる。

例えば、比較照合（以下、これをパターンマッチングと呼んでもよい）によって領域３０１を所定の形状として検出するためには、図５の様に取付管１０１が撮像される箇所毎の形状を備える複数の画像であるテンプレート画像５０１〜５０８を使用する。具体的には画像３７０のように取付管１０１が左上部に撮像される場合は、パターンマッチングにテンプレート画像５０１を使用する。なおパターンマッチングを行う前に画像に対してソーベルフィルタやキャニー法などによる一般的なエッジ検出を行うとよごれなどノイズの影響を受けずに所定の形状を検出しやすくなるため好適である。

所定形状検出部１３１は、例えば、テンプレート画像５０１と領域３０１とを重複箇所が一番大きくなるように重ね合わせることで比較照合し、重複箇所がテンプレート画像５０１及び領域３０１の９割以上となった場合に一致したと判断する。

また、取付管１０１が上部中央に撮像される場合には、パターンマッチングにテンプレート画像５０２が使用される。画像３００のように取付管１０１が右上部に撮像される場合、パターンマッチングにテンプレート画像５０３が使用される。また、取付管１０１が左部に撮像される場合、パターンマッチングにテンプレート画像５０４が使用される。取付管１０１が右部に撮像される場合、パターンマッチングにテンプレート画像５０５が使用される。

更に、取付管１０１が左下部に撮像される場合、パターンマッチングにテンプレート画像５０６が使用される。取付管１０１が下部に撮像される場合、パターンマッチングにテンプレート画像５０７が使用される。取付管１０１が右下部に撮像される場合、パターンマッチングにテンプレート画像５０８が使用される。

次に、図６、図７及び図８を参照して明暗差抽出部１３２が行う陰影の抽出のための明暗差の抽出の詳細の一例について説明する。図６は、本実施の形態において取付管１０１と取付管１０１の陰影２０２との位置関係について説明する図である。図７は、本実施の形態に係る画像処理のためのフィルタ７０１の一例を説明する図である。図８は、本発明の実施の形態の一態様に係る画像処理のためのフィルタ７０６の出力値の算出方法の一例を説明する図である。

図６に示すように、例えば端末１２０のユーザは事前に移動体１１０が管路１００を走行した際に撮像した画像などから管路１００の中心点６０１を端末１２０の図示せぬキーボードやタッチパネルなどの入力装置を用いて設定する。例えば、端末１２０のユーザは大体中心だと判断した場合は画像データの中心の座標そのままとし、ずれていると判断した場合はおよそのずれ量を推定して中心点６０１を設定する。このように、管路１００の中心点６０１は、例えば、ユーザが端末１２０の図示せぬキーボードやタッチパネルなどの入力装置を用いて予め設定する等の所定の方法により設定される。

中心点６０１から真下におろした基準線６０２を基準として、領域３０１，３７２，６２２〜６２４の傾きを時計回りの方向を正として定義する。例えば所定の形状として検出される領域３０１に関して中心点６０１との位置関係は、基準線６０２と、中心点６０１と領域３０１の重心６４０とを結んだ線６０３と、の角度である傾き６３０のようになる。なお領域３０１の重心６４０の座標は、例えば領域３０１内の全画素の座標の平均値とする。

同様に取付管１０１が管路１００の左上部、左下部及び右下部に検出されるような他の主要な場合についても図６を参照し説明を行う。取付管１０１が管路１００の左上部、左下部及び右下部に検出される場合、基準線６０２と領域３７１，６２２，６２４の重心６４１，６４２，６４３を結んだ線６０４，６０５，６０６との角度である傾き６３１，６３２，６３３のようになる。

次に、図７を用いて、本実施の形態におけるフィルタの一例について説明する。図７に示すように、フィルタ７０１を、所定の範囲を二等分にし、一方の範囲を黒色領域で表し他方の範囲を白色領域で表す。フィルタ７０１は、フィルタ７０１の中心である着目画素である中心座標７１１に関しての出力を行うフィルタである。図７に示すように、所定の範囲は例えば矩形であって、例えば所定の形状よりも小さい範囲であって２画素以上とする。中心座標７１１はｘ軸の値がｉ、ｙ軸の値がｊである座標（ｉ、ｊ）とする。フィルタ７０１の縦方向（以下、ｘ軸方向と呼んでもよい）の大きさを２ａ、横方向（以下、ｙ軸方向と呼んでもよい）の大きさを２ｂとする。例えば、黒色領域は中心点６０１から近い範囲とし、白色領域は、中心点６０１から遠い範囲とする。

ここで、フィルタ７０１を例にする場合、Ｈ（ｉ，ｊ）を座標（ｉ，ｊ）でのフィルタの出力値とし、ｆ（ｉ，ｊ）を座標での輝度値（以下、画素値と呼んでもよい）とすると、とＨ（ｉ，ｊ）は以下の式（１）に示すことができる。なおｉ，ｊ，ｋ，ｌ，ａ，ｂは整数とする。

この場合、式(１)のように白色領域に含まれる画素における輝度値の総和から黒色領域に含まれる画素における輝度値の総和を減算したものが着目画素における出力値となる。白色領域と黒色領域との明暗差が大きい場合にはフィルタの出力値は大きくなり、白色領域と黒色領域との明暗差があまりない場合にはフィルタの出力値は小さくなる。

明暗差抽出部１３２は、フィルタの出力値が所定値以上の場合、着目画素を明暗差有画素（陰影）として抽出する。ここで、所定値とは、グレースケール化した画像において８ビット（０〜２５５までの値）で輝度値を示す場合、例えば０と２５５の中間の値である１２８とする。

フィルタ７０１は、対象となる所定の形状として検出された領域３０１，３７１，６２２，６２４の付近又は内部における明暗差を精度よく抽出するために所定の形状と中心点６０１との位置関係に基づいた傾きだけ回転させて使用される。具体的には、例えば、図６に示すような所定の形状として検出される領域３０１の付近又は内部における明暗差を抽出する場合、中心点６０１と領域３０１の重心６４０を結んだ線６０３と、基準線６０２と、が成す角度である傾き６３０と同じ角度（反時計回りに１３５度）だけフィルタ７０１が回転されて使用される。フィルタ７０１が反時計回りに１３５回転されるとフィルタ７０６のようになる。

フィルタ７０２〜７０８は、フィルタ７０１を時計回りにそれぞれ１８０度、１３５度、３１５度、４５度、２２５度、９０度、２７０度回転したものである。またフィルタ７０６を例とすると中心は中心座標７１２となる。

次に、所定の形状として検出された領域３０１の付近又は内部の検出領域４０１がフィルタ７１０によって走査される様子を、図８を用いて説明する。例えば検出領域４０１において、座標４０２に着目画素として中心座標７１２を合わせたフィルタ７１０が位置８０１において座標４０２における出力値を出力する。

次にフィルタ７１０は走査方向８０３へ一画素分移動し、位置８０２において座標４０２から右方向に１画素分ずれた位置における出力値を出力する。フィルタ７１０は、検出領域４０１の端まで移動し、位置８０４において出力値を出力すると、走査方向８０７へ一画素分移動し、位置８０４から下方向に１画素分ずれた位置８０５における出力値を出力する。

フィルタ７１０は、位置８０５において出力値を出力すると、走査方向８０８へ一画素分移動し、位置８０６において出力値を出力する。フィルタ７１０は、上述のようにまず走査方向８０３へ移動し、端まで移動すると走査方向８０７へ一画素分移動し、今度は走査方向８０８へ移動するという動きを繰り返す。

次に、図３及び図６を用いて取付管認定部１３３が行う取付管１０１の認定の詳細の一例について説明する。取付管認定部１３３は、フィルタの出力値が所定値以上となった着目画素が集合する集合領域を抽出する。

取付管認定部１３３は、所定の形状の領域を取付管１０１の領域として認定する際に、所定の形状の領域に対応する検出領域内の集合領域の位置及び集合領域の大きさを確認する。具体的には取付管認定部１３３は、集合領域の位置の確認として、中心点６０１を基準として、集合領域は所定の形状の領域よりも外側（以下、これを遠くと呼んでもよい）に位置するか否かを判断する。この判断には例えば集合領域及び所定の形状の領域の代表点として重心の座標を使用する。重心の座標の算出に関しては前述の通りなので省略する。

また取付管認定部１３３は、集合領域の大きさの確認として、集合領域の大きさが所定値以上か否かを判断する。具体的には集合領域の大きさの確認として、集合領域の長手方向の長さが所定の領域の長手方向の長さの半分以上であるか否かを判断する。

取付管認定部１３３は、検出領域内の集合領域の位置及び集合領域の大きさの確認に加えて、パターン画像との比較照合の結果が一致するか否かも合わせたうえで、所定の領域を取付管１０１と認定するか否かを決定する。

次に、画像３００，３７０を例に取付管認定部１３３の処理について説明する。所定の形状を有する領域３０１，３７１が取付管認定部１３３によって取付管１０１として認定される際、陰影２０２として取付管認定部１３３によって認定される領域３０２，３７２は、線６０３を外側に延長した延長線上の検出領域４０１，６５０内の範囲６１０，６１１に出現している。また領域３０２，３７２の長手方向の長さは、所定の形状を有する領域３０１，３７１の長手方向の半分以上である。

このように画像３００，３７０において領域３０２，３７２が領域３０１，３７１に比べて中心点６０１から遠い箇所であって検出領域４０１，６５０内に位置し、領域３０２の長手方向の長さが領域３０１の長手方向の長さの半分以上である。また画像３００，３７０において領域３０１は比較照合の結果としてテンプレート画像５０３と一致する。このため、取付管認定部１３３は領域３０１を取付管１０１として認定する。

なお画像３００において領域３０３として出現している陰影２１２についても説明をする。陰影２１２は、検出領域４０１内に出現していないため、取付管認定部１３３によって取付管１０１の陰影２０２とは認定されない。

また画像３６０を例に取付管認定部１３３の処理について説明する。領域３６１は比較照合の結果としてテンプレート画像５０３と一致するが、領域３６１の検出領域４０１内に集合領域として表れる領域３６２，３６３は大きさ又は位置において領域３６１が取付管１０１として認定される要件を満たしていない。

具体的には大きさに関して領域３６２の長手方向の長さは領域３６１の長手方向の長さの半分以上ではない。また位置に関して領域３６３は線６０３を外側に延長した延長線上の検出領域４０１内の範囲６１０に出現していない。このため取付管認定部１３３は、領域３６１を取付管１０１とは認定しない。

なお取付管認定部１３３が、領域３０１と同様に領域３７１，６２２，６２４を取付管１０１として認定する際、取付管認定部１３３によって陰影２０２として認定される領域３７２，６２３，６２５は、線６０４，６０５，６０６を外側に延長した延長線上の範囲６１１，６１２，６１３に出現する。

次に、図９を用いて端末１２０が行う取付管位置表示処理について説明する。図９は本実施の形態に係る取付管位置表示処理の処理手順を示すフローチャートである。まず本実施の形態における取付管位置表示処理の主要処理である取付管検出方法について説明する。

取付管検出方法は、図９に示すように、取付管１０１が取り付けられた管路１００の内部を撮像した画像データから所定の形状を検出する第１のステップ（所定形状検出処理：Ｓ１０００）と、画像データから着目画素の周囲の所定の範囲を二等分にした一方の範囲の画素の明るさの和から他方の範囲の画素の明るさの和を減算した値が所定値以上である着目画素を抽出する第２のステップ（明暗差抽出処理：Ｓ１１００）と、検出された所定の形状と、抽出された着目画素とから画像データにおける取付管１０１の領域を認定する第３のステップ（取付管認定処理：Ｓ１２００）と、を備える。第２のステップ（明暗差抽出処理：Ｓ１１００）は、画像データ中の陰影を抽出する処理の一例である。尚、陰影は、例えば、画像データから着目画素の周囲の所定の範囲を二等分にした一方の範囲の画素の明るさの和から他方の範囲の画素の明るさの和を減算した値が所定値以上である着目画素である。第２のステップ（明暗差抽出処理：Ｓ１１００）は、例えば、画像データから着目画素の周囲の所定の範囲を二等分にした一方の範囲の画素の明るさの和から他方の範囲の画素の明るさの和を減算した値が所定値以上である着目画素を陰影として抽出してもよい。第３のステップ（取付管認定処理：Ｓ１２００）は、検出された所定の形状と、抽出された陰影と、に基づいて、所定の形状を取付管として認定する処理の一例である。

取付管位置表示処理の詳細を説明する。まず画像取得装置１２１は、記憶読取装置１２３から画像３００を取得する（Ｓ９０１）。画像取得装置１２１が取得した画像３００を受信すると、所定形状検出処理Ｓ１０００が開始される。

本実施の形態に係る所定形状検出処理Ｓ１０００の処理手順を示すフローチャートを示す図１０を用いて所定形状検出処理Ｓ１０００の詳細な説明を行う。所定形状検出部１３１は、画像３００に対してエッジ検出処理を行う（Ｓ１００１）。所定形状検出部１３１は、エッジ検出処理が行われた画像３００に対して、テンプレート画像５０１を用いてパターンマッチングを行う（Ｓ１００２）。

所定形状検出部１３１は、パターンマッチングの結果として所定の形状を検出した場合に所定の形状の情報を記録する（Ｓ１００３）。例えば所定形状検出部１３１は、所定の形状として領域３０１を検出した場合、検出領域４０１の座標４０２と幅４０３と高さ４０４とを所定の形状の情報として記録する。なお所定の形状が複数検出された場合は検出された分だけ所定形状の情報を記録する。

所定の形状の情報を記録すると、所定形状検出部１３１は、パターンマッチングに使用されていないテンプレート画像５０２〜５０８が無いか否かを判断する（Ｓ１００４）。パターンマッチングに使用されていないテンプレート画像が有ると判断した場合（Ｓ１００４：ＮＯ）、所定形状検出部１３１は、ステップＳ１００２，Ｓ１００３を次のテンプレート画像５０２で実行する。

所定形状検出部１３１は、テンプレート画像５０３，５０４に関してもステップＳ１００２，Ｓ１００３処理を行う。パターンマッチングに使用されていないテンプレート画像がないと判断した場合（Ｓ１００４：ＹＥＳ）、所定形状検出処理Ｓ１０００は終了する。

図９に戻り説明を続ける。所定形状検出部１３１は、所定形状検出処理Ｓ１０００の結果所定の形状の検出が有ったか否かを判断する（Ｓ９０２）。所定形状検出部１３１による所定の形状の検出が有ると判断した場合（Ｓ９０２：ＹＥＳ）、明暗差抽出処理Ｓ１１００が開始される。

本実施の形態に係る明暗差抽出処理Ｓ１１００の処理手順を示すフローチャートを示す図１１を用いて明暗差抽出処理Ｓ１１００の詳細な説明を行う。明暗差抽出部１３２は、管路１００の中心点６０１を取得し（Ｓ１１０１）、取得した管路１００の中心点６０１と所定形状検出処理Ｓ１０００によって所定の形状として検出された領域３０１との位置関係に基づいてフィルタ７０１を傾け（Ｓ１１０２）、例えばフィルタ７０６のようにする。

明暗差抽出部１３２は、例えばフィルタ７０６を着目画素である中心座標７１２に関して所定の形状として検出された領域３０１の一部に重ねる（Ｓ１１０３）。明暗差抽出部１３２は、領域３０１の一部にフィルタ７０６を重ねると、フィルタ７０６の白い矩形の領域に含まれる画素値の和を算出する（Ｓ１１０４）。また明暗差抽出部１３２は、領域３０１の一部にフィルタ７０６を重ねると、フィルタ７０６の黒い矩形の領域に含まれる画素値の和を算出する（Ｓ１１０５）。

明暗差抽出部１３２は、ステップＳ１１０４で算出した白い矩形の領域に含まれる画素の画素値の和からステップＳ１１０５で算出した黒い矩形領域に含まれる画素の画素値の和を減算する（Ｓ１１０６）。

ステップＳ１１０６での減算の結果が所定値以上の場合に明暗差抽出部１３２は、着目画素である中心座標７１２を明暗差有画素（陰影）として抽出する（Ｓ１１０７）。次に明暗差抽出部１３２は、所定の形状の領域内の全画素において処理済みか否かを判断する（Ｓ１１０８）。

所定の形状の領域内の全画素において処理済みではないと判断した場合（Ｓ１１０８：ＮＯ）、明暗差抽出部１３２は、着目画素である中心座標７１２を一画素分ずらし、ステップＳ１１０３〜Ｓ１１０８の処理を再度行う。

所定の形状の領域内の全画素において処理済みと判断した場合（Ｓ１１０８：ＹＥＳ）、明暗差抽出部１３２は、処理中の画像内において未処理の所定の形状が無いか否かを判断する（Ｓ１１０９）。

処理中の画像内において未処理の所定の形状が有ると判断した場合（Ｓ１１０９：ＮＯ）、明暗差抽出部１３２は、別の所定の形状に対してステップＳ１１０２〜Ｓ１１０９の処理を再度行う。処理中の画像内において未処理の所定の形状が無いと判断された場合（Ｓ１１０９：ＹＥＳ）、明暗差抽出処理Ｓ１１００は終了する。

図９に戻り説明を続ける。明暗差抽出処理Ｓ１１００において明暗差抽出部１３２によって明暗差有画素が抽出されない場合、取付管位置表示処理は終了する。明暗差抽出部１３２によって明暗差有画素が抽出された場合、取付管認定処理Ｓ１２００が開始される。

本実施の形態に係る取付管認定処理Ｓ１２００の処理手順を示すフローチャートを示す図１２を用いて取付管認定処理Ｓ１２００の詳細な説明を行う。取付管認定部１３３は、差分が所定値以上となった着目画素が集合する集合領域を抽出する（Ｓ１２０１）。取付管認定部１３３は、ステップＳ１２０１で抽出した集合領域が、対応する所定の形状よりも外側か否かを判断する（Ｓ１２０２）。

集合領域が対応する所定の形状よりも外側だと判断した場合（Ｓ１２０２：ＹＥＳ）、取付管認定部１３３は、集合領域の大きさは所定値以上か否かを判断する（Ｓ１２０３）。

集合領域の大きさが所定値以上だと判断した場合（Ｓ１２０３：ＹＥＳ）、取付管認定部１３３は、処理中の集合領域に対応する所定の形状を取付管の領域として認定する（Ｓ１２０４）。

集合領域が対応する所定の形状よりも外側ではないと判断した場合（Ｓ１２０２：ＮＯ）、または、集合領域の大きさが所定値以上ではないと判断した場合（Ｓ１２０３：ＮＯ）、取付管認定部１３３は、処理中の検出領域内において未処理の集合領域が無いか否かを判断する（Ｓ１２０５）。処理中の検出領域内において未処理の集合領域が有る（Ｓ１２０５：ＮＯ）と判断した場合、取付管認定部１３３は、ステップＳ１２０２，Ｓ１２０３の処理を再度行う。

処理中の検出領域内において未処理の集合領域が無いと判断した場合（Ｓ１２０５：ＹＥＳ）、または、ステップＳ１２０４を実行後、取付管認定部１３３は、処理中の画像内において未処理の所定の形状が無いか否かを判断する（Ｓ１２０６）。

未処理の所定の形状が有ると判断した場合（Ｓ１２０６：ＮＯ）、取付管認定部１３３は、ステップＳ１２０１〜Ｓ１２０６を再度行う。未処理の所定の形状が無いと判断された場合（Ｓ１２０６：ＹＥＳ）、取付管認定処理Ｓ１２００は終了する。

図９に戻り説明を続ける。取付管認定処理Ｓ１２００が終了すると、表示装置１２２は取付管１０１の位置を表示する（Ｓ９０３）。表示装置１２２が取付管の位置を表示した後、または、所定形状検出部１３１により所定の形状の検出が無いと判断された場合（Ｓ９０２：ＮＯ）、画像取得装置１２１は、未処理画像が無いか否かを判断する（Ｓ９０４）。

未処理画像が有ると判断された場合（Ｓ９０４：ＮＯ）、再度ステップＳ９０１から取付管位置表示処理が開始される。未処理画像が無いと判断された場合（Ｓ９０４：ＹＥＳ）、取付管位置表示処理は終了する。

以上のように、本実施の形態の取付管検出装置１３０によれば、取付管１０１の位置を検出することができ、端末１２０は取付管１０１の位置を明示的に表示することができる。

取付管１０１には家庭から出る汚水が汚水ますから流れ込むため、取付管１０１や取付管１０１の周辺に汚れが溜まりやすいため、取付管１０１や取付管１０１の周辺では異常や異常につながる事象が多発する。例えば取付管１０１に起こる異常としては、取付管１０１の接合不良による、取付管１０１が管路１００内部に突出するといった異常が挙げられる。

取付管１０１や取付管１０１の周辺以外においても、ひび割れや破損などの異常は発生するが、取付管１０１や取付管１０１の周辺に比べると異常の発生の頻度は少ない。このため取付管１０１や取付管１０１の周辺に絞って高い頻度で調査をすると効率的に異常を発見することができる。

このため、管路１００の調査を取付管１０１や取付管１０１の周辺に絞って行う際、取付管１０１の位置が予め明示的に表示される場合、作業者が目視で確認する作業が省けるため、作業者が効率的に調査を行うことが可能となる。具体的には、調査をする際に作業者は目視で取付管１０１の位置を画像などから確認する時間を省くことができる。

本実施の形態の明暗差抽出部１３２は、フィルタ７０１を傾けることで、明暗差が表れる境目に沿って、明暗差を抽出することが可能となっているため、精度よく、取付管１０１の陰影を認定することが可能となる。

なお所定の形状を歪んだ円形とした場合について述べたが、例えば所定の形状は、撮像した際の歪みが反映された矩形（以下、これを歪んだ矩形と呼んでもよい）としてもよい。

なお所定の形状を歪んだ矩形とした場合、所定形状検出部１３１は、本実施の形態に係る他の画像処理のためのフィルタを説明する図を示す図１３に示すようなテンプレート画像１３０１〜１３０８を使用する。テンプレート画像１３０１〜１３０８の使用方法については、テンプレート画像５０１〜５０８と同様であるため、説明を省略する。

また中心点６０１はユーザによって設定されるとしているが、管路１００の形状に応じたモデルをフィッティングすることで中心点６０１を明暗差抽出部１３２が設定してもよい。また明暗差抽出部１３２は、処理対象の画像の前後の画像を用いてオプティカルフローを算出して求める消失点を、中心点６０１に設定してもよい。

また移動体１１０と端末１２０との画像データのやり取りは、記憶装置１１３及び記憶読取装置１２３を介さなくてもよい。例えば、移動体１１０と端末１２０とは、無線ＬＡＮなどの無線通信によって画像データをやり取りしてもよい。

また取付管検出装置１３０は、論理回路の集合体でなくてもよく、例えばＣＰＵ（Central Processing Unit）やＧＰＵ（Graphic Processing Unit）でもよい。

また管路１００は下水道管に限らず、鉄道及び道路などのトンネルやガス管や煙突や上水道管などでもよい。また取付管１０１を人が出入りするマンホール（以下、これを人孔と呼んでもよい）や空気を換気する換気口としてもよい。

また移動体１１０は、モータなどの動力源によって移動する車型の装置に限らない。例えば移動体１１０は、ドローンなどの飛行体であってもよいし、船などの水上を移動するものであってもよいし、潜水艦のような水中を移動するものであってもよい。

またフィルタの出力値の算出においてグレースケール化した画像において輝度値を用いる場合について述べたが、カラー画像を用いて色相による変化の度合いからフィルタの出力値を算出してもよい。

また１つの画像データについて、所定形状検出処理Ｓ１０００及びステップＳ９０２の次に明暗差抽出処理Ｓ１１００を行う場合について述べたが、明暗差抽出処理Ｓ１１００の次に所定形状検出処理Ｓ１０００及びステップＳ９０２を行ってもよいものとする。

また１つの画像データについて、所定形状検出処理Ｓ１０００と明暗差抽出処理Ｓ１１００とを連続して行う場合について述べたが、所定形状検出処理Ｓ１０００と明暗差抽出処理Ｓ１１００とを独立して行ってもよい。

なお所定形状検出処理Ｓ１０００と明暗差抽出処理Ｓ１１００とを独立して行う場合、図３に示す画像情報ＴＢ３２０のような所定の形状を検出し、陰影に関しては考慮されていないデータが所定形状検出部１３１から出力される。

またステップＳ１１０４で算出した白い矩形の領域に含まれる画素の画素値の和からステップＳ１１０５で算出した黒い矩形領域に含まれる画素の画素値の和を減算する場合について述べたが、本実施の形態はこれに限らない。例えば、単純に白い矩形の領域に含まれる画素の画素値の和と黒い矩形領域に含まれる画素の画素値の和との差分を求めてもよい。単純に差分を求める場合、差分が負の値となった場合と正の値となった場合とで処理を変更してもよい。

また複数のテンプレート画像５０１〜５０８を用意する場合について述べたが、本実施の形態はこれに限らない。例えば明暗差抽出処理Ｓ１１００においてフィルタ７０１を傾けるように、所定形状検出処理Ｓ１０００においても１つのテンプレート画像５０１の傾きを変えて、パターンマッチングを行ってもよい。１つのテンプレート画像５０１の傾きを変えて、パターンマッチングを行う場合、所定の形状の細かい角度の変化にも対応できる。

またテンプレート画像５０１〜５０８がそのまま使われる場合について述べたが、テンプレート画像５０１〜５０８が拡大縮小され所定の形状とパターンマッチングされてもよい。例えばテンプレート画像５０１〜５０８を１．１倍に拡大したものと、０．９倍に縮小したものと、そのままのものの３種類を用意する場合を例に挙げる。

例えばテンプレート画像５０１〜５０８が使われた場合、取付管１０１と撮像装置１１１との距離が２５０ｍｍの際に撮像された取付管１０１が、所定の形状として検出される。

テンプレート画像５０１〜５０８を０．９倍に縮小したものが使われた場合、取付管１０１と撮像装置１１１との距離が３００ｍｍの際に撮像された取付管１０１が、所定の形状として検出される。

上述のように、テンプレート画像５０１〜５０８は、そのままの倍率の他に、拡大または縮小されて使用される。このことで、そのままの倍率によって取付管１０１が所定の形状として検出された画像の前後に撮像された画像についても、取付管１０１が所定の形状として検出される。

例えば、そのままの倍率と１．１倍の倍率と、０．９倍の倍率との３種類のテンプレート画像５０１〜５０８を用いる場合は、同一の取付管１０１に対して３回パターンマッチングを行うことになり、誤検出が減り検出の精度が増す。

[他の実施の形態]
また上述の実施の形態の取付管検出装置１３０は、撮像装置１１１が撮像した画像３００を表示するようなデータである画像データをそのまま使用する場合について述べたが、本発明はこれに限らない。例えば図１４の他の実施の形態における端末が処理するデータによる表示の一例に示すように取付管検出装置１３０は、画像３００の歪みを補正した補正画像１４０１を使用してもよい。補正画像１４０１においては、奥行１１８が長さ１４０２、円周１１９が長さ１４０３として表れていて、進行方向１１５は下方向として表れている。

補正画像１４０１は、管路１００を切り開いて平面に伸ばしたように補正した画像である。取付管１０１として補正画像１４０１に現れる領域１４０４は、ほぼ円形となり、テンプレート画像は円形のもの１つ用意すればよい。このため、補正画像１４０１を用いて取付管位置表示処理が行われる場合例えば所定形状検出処理Ｓ１０００においてステップＳ１００２〜Ｓ１００４の繰り返し処理が不要となる。

取付管１０１が管路１００内のどこに位置しようとも、陰影２０２として補正画像１４０１に現れる領域１４０５は、領域１４０４の下側に現れる。このためフィルタ７０１を傾ける処理を行う必要がなくなる。このため、補正画像１４０１が用いられる場合、明暗差抽出処理Ｓ１１００においてステップＳ１１０１，Ｓ１１０２の処理が不要となる。

このように補正した画像である補正画像１４０１を用いると、所定形状検出処理Ｓ１０００や明暗差抽出処理Ｓ１１００に関しては処理時間を短縮することが可能となる。例えば、画像を補正する処理を移動体１１０が管路１００内を移動している間に行い、端末１２０で取付管位置表示処理を行う際には補正画像１４０１が生成されているようにするといった運用するような場合には特に効率的に処理が行える。

また上述の実施の形態では歪んだ円形を検出するために複数のテンプレート画像５０１〜５０８を処理中の画像の全範囲においてパターンマッチングを行ったが、本発明はこれに限らない。例えば、図１５の他の実施の形態に係るパターンマッチングの対象範囲を限定する方法を説明するための図に示すように画像内を領域１５０１〜１５０８に分割して各領域においてはそれぞれ対応する１つのテンプレート画像５０１〜５０８のみでパターンマッチングをするようにしてもよい。

例えば、取付管１０１が取り付けられている位置が進行方向１１５に対して左上部と右上部のみだとわかっている場合を例に挙げる。この場合、領域１５０１についてテンプレート画像５０１でのパターンマッチング、及び、領域１５０３についてテンプレート画像５０３でのパターンマッチングを行うだけでよい。このようにパターンマッチングの対象範囲を限定する方法を用いると、パターンマッチングを行う回数と領域を減らすことができ処理時間が短縮する上に、処理量が減るため誤検出も減らすことができる。

端末１２０の制御ブロック（特に、取付管検出装置１３０の所定形状検出部１３１、明暗差抽出部１３２、および取付管認定部１３３）は、集積回路（ＩＣ（Integrated Circuit）チップ）等に形成された論理回路（ハードウェア）によって実現可能であり、またＣＰＵ（Central Processing Unit）を用いてソフトウェアによって実現してもよい。後者の場合、端末１２０は、各機能を実現するソフトウェアであるプログラムの命令を実行するＣＰＵ、上記プログラムおよび各種データがコンピュータ（またはＣＰＵ）で読み取り可能に記録されたＲＯＭまたは記憶装置（これらを「記録媒体」と称する）、上記プログラムを展開するＲＡＭ等を備えている。そして、コンピュータ（またはＣＰＵ）が上記プログラムを上記記録媒体から読み取って実行することにより、本発明の目的が達成される。上記記録媒体としては、「一時的でない有形の媒体」、例えば、テープ、ディスク、カード、半導体メモリ、プログラマブルな論理回路等を用いることができる。また、上記プログラムは、伝送可能な任意の伝送媒体を介して上記コンピュータに供給されてよい。
なお、本発明は、上述した実施の形態に限定されるものではなく変形可能であり、上記の構成は、実質的に同一の構成、同一の作用効果を奏する構成又は同一の目的を達成することができる構成で置き換えることができる。

１００……管路、１０１……取付管、１１０……移動体、１１１……撮像装置、１１２……光源、１１３……記憶装置、１２０……端末、１２１……画像取得装置、１２２……表示装置、１２３……記憶読取装置、１３０……取付管検出装置、１３１……所定形状検出部、１３２……明暗差抽出部、１３３……取付管認定部。

Claims (6)

1. 管路の内部を撮像した画像データから所定の形状を検出する所定形状検出部と、
   前記画像データ中の陰影を抽出する明暗差抽出部と、
   前記所定形状検出部で検出された前記所定の形状と、前記明暗差抽出部で抽出された前記陰影と、に基づいて、前記所定の形状を取付管として認定する取付管認定部と、
   を備える取付管検出装置。
2. 前記明暗差抽出部は、前記画像データから着目画素の付近の所定の範囲を二等分にした一方の範囲の画素の明るさの和から他方の範囲の画素の明るさの和を減算した値が所定値以上である前記着目画素を前記陰影として抽出する請求項１に記載の取付管検出装置。
3. 前記取付管認定部は、検出された前記所定の形状の付近又は内部の所定の領域に抽出された前記着目画素が集合している領域がある検出された前記所定の形状を、前記取付管として認定することを特徴とする請求項２に記載の取付管検出装置。
4. 前記所定の範囲は、矩形であって前記画像データにおいて所定の方法で設定された前記管路の中心点と前記所定の形状とに基づいた傾きとなる請求項３に記載の取付管検出装置。
5. 前記明暗差抽出部は、前記所定の範囲において、前記中心点から遠い範囲を前記一方の範囲とし、前記管路の前記中心点に近い範囲を前記他方の範囲とする請求項４に記載の取付管検出装置。
6. 管路の内部を撮像した画像データから所定の形状を検出する第１のステップと、
   前記画像データ中の陰影を抽出する第２のステップと、
   検出された前記所定の形状と、抽出された前記陰影と、に基づいて、前記所定の形状を取付管として認定する第３のステップと、
   を備える取付管検出方法。
   

Images