本発明は、移送機構に用いるスチールコードを含む長尺部材を点検対象とするが、まず、移送機構の長尺部材としては、エスカレータ、動く歩道等の乗客コンベアのハンドレールが好ましい一例として上げられる。また、移送機構の長尺部材として、エレベータに用いる裸のワイヤロープであってもよい。
本発明は、X線或いは可視光を照射してスチールコードの投影画像を形成する撮影部を備えるが、乗客コンベア用ハンドレールのスチールコードを撮像対象とする場合には、スチールコードが、化粧ゴムの外皮で覆われるために、X線を使用する撮影部が好ましい。また、エレベータのように、裸のワイヤロープ(スチールコード)を撮像対象とする場合には、可視光を使用する撮影部が好ましい。
画像処理部は、例えば、上記撮影部からの投影画像を入力して、入力した投影画像に正常なスチールコードよりも細く且つ正常なスチールコードよりも輝度の高い線分が含まれている場合にその線分を”素線化”候補として抽出する画像処理を行う。好ましい一例としては、例えば、撮影部は、正常な外径を有するスチールコードについては本影を形成し、スチールコードのほつれについては細い半影を形成するよう設定される。そして、画像処理部は、半影の判定基準となる輝度範囲を設定して、この判定基準に基づいてほつれに相当する線分を抽出する。
[X線画像の可視化と撮影]
本実施形態では、乗客コンベアのハンドレールをX線撮影した画像を処理してスチールコードの”素線化”を検出して劣化を判断する。その際、スチールコードの”素線化”について、ハンドレールの長手方向にそれらの特徴が所定の長さ以上継続するか否かを判断基準とする。そして、検出された特徴を利用してハンドレールの品質を例えば劣化と良品の2段階、または不良、劣化、良品の3段階以上で評価する。
本実施形態では、乗客コンベアのハンドレールに内蔵のスチールコードをX線撮影により可視化して画像処理する。X線撮影は一切の外光を遮断した環境下で、X線を放射状に出射するX線管と、X線像を可視化するスクリーンであるシンチレータの間に、ハンドレールに内蔵されたスチールコードを配置した構成で行う。前記シンチレータは数百μm程度の厚さの紙または樹脂に蛍光物質を塗布したものでX線の照射を受けている間に発光する。このうち、前記内蔵のスチールコードに当たらずにそのまま大きなX線線量が照射した部分は高輝度に発光する。一方、スチールコードに吸収されたり反射されたりしてX線が照射されない部分は発光しない。しかし、実際にはスチールコードで遮られた部分でも乱反射して照射するX線もあり、低輝度で若干発光する。そして、該スチールコードの影絵として相対的な輝度分布が発生するのでこれをカメラで撮影する構成をとる。
[素線の説明]
ここで、”素線化”とはスチールコードを構成する素線と呼ばれる細い針金の撚りがほどけて単独で存在する状態である。素線の外径は正常なスチールコードの外径の約1/5〜1/10程度である。例えば、素線の外径が0.18mm前後であれば、これをより合わせて構成したスチールコードの外径は1.5mm前後から1.8mm前後である。
[素線の顕在化]
通常のスチールコードと素線を区別する物理的指標はその外径であって、通常のスチールコードの外径は1.5〜1.8mmに対して、素線の外径は0.15〜0.3mmの範囲である。しかし、可視光領域の光学レンズ系で撮影した場合でも、カメラと素線の距離の変動により、外径を測れるまでに鮮明な画像を得ることは難しい。また、ハンドレールに内蔵のスチールコードにおける素線をX線撮影する場合において、極めて細い素線を鮮明に撮影するには0.1mmにも満たない極小の開口から強力なX線量を照射する必要がある。しかし、冷却や安全性およびコストの制約からX線の出力は限られており、X線出射の開口サイズは0.7mm程度必要である。そうすると、ある程度の大きさを有するX線出射開口で撮影しながら、これよりも外径の小さい素線を撮影して自動検出することが必要となる。
後で図を用いて説明するが、大きさのある開口から出射したX線でスチールコードを撮影すると、スチールコードでX線が完全に遮蔽されて形成される暗い影である本影が生じる。そして本影の周囲には、前記X線出射開口に大きさがあるために、X線が一部遮蔽されずに形成される半影が生じる。半影は本影よりも明るい影である。そして、素線は前記X線出射開口の大きさよりも外径が小さいので、本影を作ることはできず、半影のみの画像となる。そこで、本影を有する通常のスチールコードと異なり、半影のみからなる物体を素線として検出することにより、素線よりも大きなX線出射開口を有するX線撮影系であっても素線検出が可能となる。この方法による細線の検出はX線の撮影系に限られず、有限の大きさの光源から放射状に可視光を投影した物体の像において半影のみを形成する物体を素線として検出することで、エレベータのロープやクレーンのワイヤーの素線を検出することも可能となる。
[点検装置の構成例]
本実施形態では、移送機構用長尺部材の点検装置の一例として、乗客コンベアのハンドレール点検装置の構成を例示し、例えば、以下のようなものとすることができる。
(1)乗客コンベアのハンドレールをX線で撮影するX線撮影部と、前記X線撮影部で撮影された画像を処理して、前記ハンドレールに内蔵されたスチールコードの”素線化”を検出し、前記ハンドレールの長手方向における前記スチールコードの”素線化”の発生している部分の長さが所定の長さ以上継続する場合には、前記ハンドレールの品質を不良と判定する画像処理部を有する。
(2)(1)において、前記画像処理部は、前記スチールコードの”素線化”を検出し、前記ハンドレールの長手方向における前記スチールコードの”素線化”の発生部分の長さが前記所定の長さより短く、かつ、前記ハンドレールの長手方向における前記スチールコードの”素線化”発生部分の長さがもう一つの所定の長さの範囲内であるときは、前記ハンドレールの品質を劣化と判定する。
(3)(2)において、前記画像処理部は、前記ハンドレールの長手方向における前記スチールコードの”素線化”発生部分の長さが、前記もう一つの所定の長さの範囲より短い場合には、前記ハンドレールの品質を良品と判定する。
本実施形態の乗客コンベアの保全方法は、例えば、(1)から(3)における画像処理部での判定方法と同様の方法によりハンドレールの品質を判定する。そして、前記ハンドレールの品質が不良と判定された場合に、前記ハンドレールを補修または交換または補修後に交換する。また、前記ハンドレールの品質が劣化と判定された場合に、通常の点検周期よりも短い周期で前記劣化と判定されたハンドレールを再点検する。
尚、上記した構成はあくまで一例であり、技術思想を逸脱しない範囲内で適宜変更が可能である。
[実施例の説明]
以下、本発明の実施例を、図面を参照しながら説明する。尚、各図および各実施例において、同一または類似の構成要素には同じ符号を付し、重複した説明を省略する。
実施例1は、移送機構用長尺部材の点検装置の一例として、ハンドレールの劣化段階を自動診断することのできる乗客コンベアのハンドレール点検装置を例示するものである。
[撮影構成と装着の例]
図4(a)は、本実施例に係る乗客コンベアのハンドレール点検装置の機器構成と、この点検装置を点検時にハンドレールへ装着した例を示す図であり、X線撮影部1と画像処理部2で構成される。画像処理部2は例えばパーソナルコンピュータによって構成することができる。また、必要に応じてエンコーダ3が追加される。
X線撮影部1は、X線管5と、シンチレータ6と、カメラ7で構成される。X線撮影部1はハンドレール4の一部を撮影してその撮影画像を画像処理部内部に取り込めるように、X線管5とシンチレータ6との間にハンドレール4が位置するように構成される。X線管5から広がりをもってX線が出射され、ハンドレール4を透過してシンチレータ6を照射する。シンチレータ6はX線を照射されると蛍光する蛍光板であって、X線の照射量に応じた輝度で蛍光する。ハンドレール4は内部に鋼鉄製のスチールコードを含み、X線透過率に応じた影絵の像がシンチレータ6に発生する。シンチレータ6に発生した像はカメラ7に取り込まれる。X線撮影部1は装置外部の光を遮断するためシンチレータ6の発光による画像のみを効率的に取り込むことができる。カメラ7は画像処理部2に接続されて、該画像は電子データとして画像処理部2に取り込まれる。
また、シンチレータ6とカメラ7の間に鉛ガラス8を備えることで、X線管5から出射するX線がカメラ7を損傷することを防ぐことができる。鉛ガラス8はX線波長の電磁波を吸収し、シンチレータ6の発光およびカメラ7の撮影に係る可視光の波長帯の電磁波を透過するものである。鉛ガラス8により、カメラ7にはX線は透過せず、シンチレータ6の発光による光のみが到達するようにすることができる。
図4(b)はX線撮影部をハンドレールに装着した例を示す図であって、X線撮影部1はハンドレール4の一部を内部に取り込むようにして装着される。装着にあたり、X線撮影部1は例えば、カメラ7と、鉛ゴム8と、シンチレータ6を備える第1の部分1aと、X線管5を備える第2の部分1bに分離可能な機構とし、ハンドレール4を上下に挟み込んでから留め具で前記二つの部分1aと1bを結合する構造とすることができる。ここでは、乗客コンベアとして上階床と下階床との間に架設され乗客が搭乗するステップを備えたエスカレータにおいて、傾斜部におけるハンドレールにX線撮影部を装着した例を示しているが、装着場所はこれに限られるものではない。X線撮影の際にX線撮影部1とハンドレール4は相対的に移動するようにする。つまり、X線撮影部1を固定してハンドレール4を移動させるか、またはハンドレール4を静止させた状態でX線撮影部1を移動させる。このようにして、ハンドレールの所望の箇所の撮影が可能となる。撮影は動画として連続的に撮影され、画像処理部2の磁気媒体などの記憶部に動画ファイルとして保存する場合には、例えばMPEG形式やAVI形式を用いることができる。
図5は本実施例の乗客コンベアのハンドレール点検装置で撮影したハンドレールX線画像の例である。図面横方向がハンドレールの長手方向である。ハンドレールは長手方向に5mmから20mm程度という比較的狭い視野で撮影される。これはX線点検装置が携行できるほどコンパクトにする必要上から油を用いた冷却機構を持たないため、X線管の出力が、医療用機器等の他の機器よりも小さいことによる。小さいX線出力を有効に利用するため、ハンドレールの長手方向の撮影視野は5mmから20mm程度とし、ハンドレール長手方向と直交する方向は50mm程度の範囲で放射するように、X線管は設計されている。ただし、この視野制限はコンパクト設計上の制約であり、本発明の乗客コンベアのハンドレールX線点検装置は、より広い視野のX線撮影機構を用いても実現可能である。また、ハンドレール長手方向の視野は狭くとも、長手方向に移動しながら撮影するので問題はない。
図5に示すように、スチールコードはX線の透過率が低いため黒い線分(暗部)として撮影されている。複数並ぶように配置されているスチールコードの間(背景)はゴムのみで比較的X線の透過率が高いため明るく(明部)撮影されている。この例では、ハンドレールの周辺部(図面上端と下端)はゴムが厚くX線透過率が比較的低いため暗く撮影されている。ここでは18本のスチールコードが写っており、説明の便宜上、図面上から下まで順に01コード、02コード、…、18コードと呼ぶことにする。
図面左側の輝度分布は矢印9において、ハンドレールを直角に横切って横断する方向(図面の縦方向で、以後、横断方向、あるいは、ハンドレールの長手方向に直交する方向と呼ぶ。)の線分上の輝度分布を表したものである。スチールコードは輝度分布の谷の部分である。また、周辺のゴムの厚い部分は輝度が小さくコントラストも中央部に比べて低い。
X線撮影部またはハンドレールを一定速度で移動させながら撮影すれば、一枚の画像では5mmから20mm程度の視野であるが、動画としては数十メートルに及ぶハンドレール全体を撮影することができる。撮影中のX線撮影部またはハンドレールの移動は一定速度で行われることが望ましいが、非定常速度の移動でもエンコーダ3を用いて補正することができる。エンコーダ3はX線撮影部に固定されていて、ハンドレール4との相対的移動量を計測し、その移動量を画像処理部に送信する。画像処理部ではX線撮影部で得られる動画から、エンコーダ3の距離情報に基づいて、一定距離を移動するごとに画像を採取すれば擬似的に一定の速度で移動するハンドレール4の動画を得ることができる。
[良品と劣化品の例]
図6は良品ハンドレールのX線画像をイメージした概念図である。図面の都合上、ハンドレール長手方向を図面上下方向に示している。スチールコードの部分が暗く(黒く)写っている。この概念図においては、区間10はスチールコードの継ぎ目部の存在する区間であって、継ぎ目部は、スチールコードの隙間がやや大きい部分となってスチールコード間同様に明るく写っていることを示している。また、スチールコードは、若干の蛇行をしていることを示している。このようなスチールコードの継ぎ目による不連続性と蛇行は、正常なハンドレールでも存在するので、それによっては劣化と判断することはできない。
一方、図7(a)は”素線化”(ほつれ)の生じている劣化初期ハンドレールX線画像の概念図である。上記した継ぎ目によるスチールコードの不連続性が存在することから、隙間がやや大きい部分があったとしても、これをもって劣化と判断してはならず、この隙間部に生じている”素線化”の検出をもって劣化と判断する必要がある。図7(b)は素線化の生じている部分を拡大して表したものであり、(c)は素線の位置を説明するために単純な模式図として示したものである。線分11が素線化したスチールコードの像である。
[撮影系]
図8に本実施例に係る乗客コンベアのハンドレール点検装置の撮影系の例を示す。
図8はX線管5のX線出射口12と、ハンドレール内蔵のスチールコード15(複数のうち一つを取り出している)と、シンチレータ6との位置関係を示しており、図面上部から下部の方向へX線が照射され、図面と直交する方向がハンドレールおよび該スチールコードの長手方向である。符号15の実線で示す円により、正常な外径のスチールコード15(通常のスチールコード15)を断面方向から示した状態を示している。符号16の実線で示す円により、正常状態よりも細いスチールコード16を断面方向から示した状態を示している。破線矢印13はX線が照射される範囲を示している。X線出射口12の両端からシンチレータ6の照射面上のX線照射範囲内の任意の点までの二本の線分17を引く。ここで、スチールコード群が概ね存在する範囲の中心位置を破線4aで表す。そして、破線4a上に中心を有して二本の線分17に接する円14を破線で示す。本発明の乗客コンベアのハンドレールX線点検装置においては、正常なスチールコードは破線円14よりも外径が大きいものとし、”素線化”により生じた素線は破線円14よりも外径が小さいものとして説明をする。以後破線円14の外径を境界外径14と称する場合もある。
図9は、図8の撮影系における、正常なスチールコードの形成する像の輝度分布を説明する図である。破線4aの位置にある通常のスチールコード15はX線出射口12からのX線の一部を吸収または反射することによりシンチレータ6に影絵として像(投影像)を作る。X線出射口12の端からスチールコード15の接線として二本の線分18と二本の破線の線分19をシンチレータ6まで引く。それぞれ異なる端から引いた線分18と線分19がシンチレータ6上に作る領域20(斜線領域)はスチールコード15が、出射されたX線を部分的に遮蔽する領域である。すなわち、領域20のいずれの位置においてもシンチレータ6上からX線出射口12を見ると、その一部がスチールコード15の陰に隠れている。このように、X線出射口12を部分的に覆うことでできる影を半影という。つまり、領域20はスチールコード15の半影のできる領域である。また、二本の線分19の外側の領域21(点描領域)はX線出射口12に対してスチールコード15が全く覆わない領域である。また、二つの領域20の間の領域22はX線出射口12に対してスチールコード15が完全に覆っている領域である。このように、X線出射口12を完全に覆うことでできる暗い影を本影という。つまり、領域22はスチールコード15が本影を作る領域である。この本影と半影が形成されることにより、シンチレータ6は領域21では高輝度になり領域22では低輝度になる。領域20は、領域21に接している場所から領域22に接している場所に近づくにつれてX線出射口12に対してスチールコード15が覆う面積が増えていくので、輝度は次第に低くなる。
また、X線画像はランダムなノイズが多いため、原画に対して平滑化フィルタ処理を加える必要があるが、この平滑化フィルタ処理を加えた後のシンチレータ6の輝度分布は、図9の曲線23のようになる。輝度分布23は縦軸が輝度で、横軸がシンチレータ6上の場所を表す。X線出射口12からシンチレータ6に達するX線は出射範囲の周辺部に近づくにつれて弱まるので、輝度分布23は正確には、周辺部が幾分低いものとなる。
図10は、図8の撮影系における、素線化した細いスチールコードの形成する像の輝度分布を説明する図である。破線4aの位置にある正常よりも細いスチールコード16は、X線出射口12からのX線の一部を吸収または反射することによりシンチレータ6に影絵として像を作る。X線出射口12の端からスチールコード16の接線として、二本の線分18と、二本の破線の線分19をシンチレータ6まで引く。線分19の外側の領域21(点描領域)はX線出射口12に対してスチールコード16が全く覆わない領域である。また、図10の場合は、X線出射口12に対してスチールコード16が完全に遮蔽する領域はシンチレータ6上にないため本影は存在しない。二本の線分18の間の領域24は、シンチレータ6からみてスチールコード16によって隠されるX線出射口12の部分の面積が最大となる範囲である。しかし、領域24は、上述したようにX線出射口12を完全に覆うことはないため、図9における本影の領域22に較べて高輝度となる。X線出射口12の端の同一地点から引いた線分18と線分19の間の領域25(斜線領域)は、X線出射口12に対して、スチールコード16の一部が遮蔽する領域である。また、二本の線分19の外側の領域21(点描領域)ではX線出射口12を遮蔽するものが無いのでシンチレータ6は高輝度になる。領域24と領域25はスチールコード16が半影を形成する領域である。領域25は、領域21に接している場所から領域24に接している場所に近づくにつれてX線出射口12に対してスチールコード16が遮蔽する面積が増えていくので輝度は次第に低くなる。また、X線画像はランダムなノイズが多いため、原画に対して平滑化フィルタ処理を加える必要があるが、この平滑化フィルタ処理を加えた後のシンチレータ6の輝度分布は曲線26のようになる。輝度分布26は縦軸が輝度で、横軸がシンチレータ6上の場所を表す。X線出射口12からシンチレータ6に達するX線は出射範囲の周辺部に近づくにつれて弱まるので、輝度分布26は正確には、周辺部が幾分低いものとなる。
図11は、図8の撮影系における、境界外径14を有するスチールコードの形成する像の輝度分布を説明する図である。破線4aの位置にある境界外径14のスチールコードは、X線出射口12からのX線の一部を吸収または反射することによりシンチレータ6に影絵として像を作る。
X線出射口12の端から境界外径14のスチールコードの接線として二本の線分18と二本の破線の線分19をシンチレータ6まで引く。線分19の外側の領域21(点描領域)はX線出射口12に対して境界外径14のスチールコードが全く覆わない領域である。また、図11の場合は、二本の線分18はシンチレータ6上の一点で交わることから、X線出射口12に対して境界外径14のスチールコードが完全に遮蔽する領域はシンチレータ6上に一点しか存在しないため、一定の範囲を有するという意味での実質的な本影は存在しない。二本の線分19の外側の領域はX線出射口12が全く遮られない領域21(点描領域)で、シンチレータ6は高輝度となる。二本の線分19の内側は境界外径14のスチールコードによってX線出射口12の一部が遮蔽される領域25(斜線領域)であって、シンチレータ6上に半影を生じる部分である。この領域内の最低輝度値をBth_Dashとする。ここでの輝度分布27は、高輝度である背景輝度Bbakから最低輝度値Bth_Dashまでを結ぶ曲線となる。また、X線画像はランダムなノイズが多いため、原画に対して平滑化フィルタ処理を加える必要があるが、この平滑化フィルタ処理を加えた後のシンチレータ6の輝度分布は曲線27のようになる。輝度分布27は縦軸が輝度で、横軸がシンチレータ6上の場所を表す。X線出射口12からシンチレータ6に達するX線は出射範囲の周辺部に近づくにつれて弱まるので、輝度分布27は正確には、周辺部が幾分低いものとなる。また、作図上はシンチレータ6上で、一点だけ本影と同じ暗さの輝度が現れることになるが、実際は、空間的に有限な大きさを有する画素で離散化することと、上述のランダムノイズを除去するために隣接画素との平滑化をすることで、Bth_DashはBminよりも大きな値となる。そして、輝度分布27の半値幅すなわち、輝度分布27がBbakとBth_Dashの中間輝度を横切る地点27a、27bの幅をスチールコード太さのしきい値Wth_Dashとする。このBth_Dashを輝度しきい値として通常のスチールコードと素線を区別することができる。上記のように輝度しきい値としてBth_Dashを用いることができるが、通常の外径のスチールコードと素線の輝度の差異を際立たせるために、図12に示すように、境界外径よりも幾分小さくしたth外径(しきい値外径)14aのスチールコードの像の輝度値の最低値をしきい値Bthとしてもよい。
図12は、図8の撮影系における、図11で説明した境界外径14よりも小さく、かつ検出すべき素線(素線化)よりも大きな外径(th外径14a)のスチールコードの形成する像の輝度分布を説明する図である。破線4aの位置にある外径14aのスチールコードはX線出射口12からのX線の一部を吸収または反射することによりシンチレータ6に影絵として像を作る。X線出射口12の端からth外径14aのスチールコードの接線として二本の線分18と二本の破線の線分19をシンチレータ6まで引く。二本の線分19の外側の領域はX線出射口12が全く遮られない領域21(点描領域)で、シンチレータ6は高輝度となる。一方、二本の線分19の内側の領域25と領域24はth外径14aのスチールコードによってX線出射口12の一部が遮蔽されることにより、シンチレータ6上に半影を生じる部分である。二本の線分18がシンチレータ6と交わる二点に挟まれた領域24において、最低輝度が発生し、これをしきい値Bthとする。ここでの輝度分布27αは、図11の輝度分布27に類似するが、最低輝度値がより高輝度となっている。そして、輝度分布27αの半値幅、すなわち、輝度分布27αがBbakとBthの中間輝度を横切る地点27a、27bの幅を、スチールコード太さのしきい値Wthとして用いることができる。また、Bthを輝度しきい値として通常のスチールコードと素線を区別することができる。
図8乃至図12の撮影系は説明の都合上、スチールコードの存在位置4aをX線管5に近い距離とした。しかし、図13に示すように、スチールコードの存在する位置4bのように、シンチレータ6寄りに配置した方がX線画像の視野を大きく確保することができる。また、境界外径14よりも太い通常のスチールコードの場合においても、”素線化”により素線化した細いスチールコードにあっても、領域20,22,24,25の範囲がシンチレータ6上で空間的に圧縮されてコンパクトになる。また、結果的にX線の放射範囲をより小さい範囲に収めることができるので、X線照射の中心部が明るく周辺部が暗くなるという輝度の差異も小さくすることができる。一方で、スチールコードの存在位置を4aから4bに変えることに伴って、通常スチールコードと細いスチールコードを区別する境界外径14も変わることに留意する。通常とすべきスチールコードと素線として検出すべき細いスチールコードの外径を定めた後、これに基づいて境界外径14若しくはth外径14aを定め、更にX線出射口12の大きさと、スチールコード存在位置と、シンチレータ6の距離を調整することで所望の外径の素線化したスチールコードおよび”素線化”を検出することができる。
以上、図8乃至図13により、X線出射口12の大きさと、シンチレータ6と、スチールコード存在位置の位置関係により、境界外径14若しくはth外径14aを境として、これよりも太い正常なスチールコードは本影という暗い影を形成し、これよりも細い素線は本影を形成せずに比較的輝度の高い半影のみを形成することを示した。図8乃至図13では素線としての細いスチールコード16が図面に直交している場合について説明をしたが、図面上に平行になっている場合でも、X線出射口12の大きさと、シンチレータ6と、スチールコード存在位置の関係により半影のみの画像となる。また、スチールコードの断面は円形でなくとも、境界外径14に近似する値でなければ、上記の本影と半影による画像が区別容易なほどに形成される。
X線源の出射面の縦横の寸法は、上記したスチールコードの本影及び素線の半影を形成するために、素線外径さらにはスチールコードの境界外径よりも面積が大きいことが望ましい。
[ハンドレール点検装置の画像処理手段]
図14は本発明の画像処理部の一実施例であって例えば画像処理部2で実施することができる。前記画像処理部はフレーム取得部28と、スチールコード検出部(以下、SC検出部)29と、スチールコードモデル保持部(以下、SCモデル保持部)30と、スチールコードトレース/要素特徴検出部(以下、SCトレース/要素特徴検出部)31と、フレーム毎良否判定部32と、最終判定部33と、表示部34と、コマンド入力部35と、制御部36とから構成されている。また、SCトレース/要素特徴検出部31には、素線検出部311が含まれる。この後、説明の便宜上、ハンドレールの長手方向を「長手方向」と表現し、これに直交する方向を「直交方向」と表現する。
フレーム取得部28はカメラ7で撮影した動画から1フレームを切り出して、その中からスチールコードが含まれる視野範囲を切り出して、画像輝度に対するランダムノイズの除去とコントラスト補正を行う。
SC検出部29は、この画像の輝度分布から独立して存在するスチールコードに対応するスチールコード部を検出して座標を計算する。その重心の直交方向すなわち図5においては図面上下方向の座標を、該フレームにおける該スチールコードの位置として代表させる。
SCモデル保持部30は所定の本数からなるSC群モデルを更新し保持する。前記SC群モデルは各スチールコードの直交方向の座標と共に、該スチールコード領域の輝度と、それに隣接する背景領域の輝度の情報を更新保持する(SC群モデルの更新保持については、図29を用いて後述する)。SC群モデルの各スチールコードには、図5における01,02,…,18コード等と命名される。
SCトレース/要素特徴検出部31は、SC検出部29の出力であるスチールコードの代表座標とSCモデル保持部30の保持するSC群モデルの座標を比較して、前記所定の本数分の総合的な座標の差異(差異の総和)が最小になるように対応付けをする。この処理により、現フレームで検出されている各スチールコードが、各スチールコードのコード番号すなわち、図5における01,02,…,18コードのいずれに対応するかが確定する。そして、この対応関係に基づいて、各スチールコードの現フレームにおける、抜け,接触,絡み、素線化の有無が検出され、「フレーム毎の要素特徴ログ」としてメモリ保存される。また、各スチールコードの代表座標はSCモデル保持部30にて、SC群モデルの更新情報に使われる。そして、更新されたSC群モデルの各スチールコード座標は「フレーム毎のトレースログ」としてメモリ保存される。
フレーム毎良否判定部32は、前記「フレーム毎の要素特徴ログ」を参照し、現フレームで発生している要素特徴すなわち、スチールコードの抜け、接触、絡み、素線化の有無と、これらの特徴が何フレームに亘り継続しているのかを確認し、所定のフレーム以上”素線化”が継続している場合は「不良」とフレーム毎の良否判定ログに記録し、継続していない場合は「良品」と記録する。また、「不良」の場合には当該要素特徴の発生したフレームまで遡り、その間のログに全て「不良」と記録し直す。このようにして「フレーム毎の良否判定ログ」を更新してメモリ保存する。ここで、複数の要素特徴の有無の論理積の結果を用いて多段階の良否判定をログとして保存することもできる。
最終判定部33は、前記「フレーム毎の良否判定ログ」の全体を参照し、当該ハンドレールサンプル全体としての良否判定をし、最終判定結果として出力する。
コマンド入力部35はキーボードやマウスなどの周知のコマンド入力機器で実現され、制御部36を介して、前記画像処理部2の処理の開始や停止を制御することができる。
表示部34はPCのディスプレイ等の周知のグラフィカルユーザインタフェースを用いることができる。カメラ7の画像と共に、最終判定部33の出力した良否判定結果を表示部34に表示する構成とすることができる。
また、本発明のハンドレール点検装置を使う保全員の注意を促すべく、最終判定部33の出力する結果と同一の結果をコマンド入力部35に入力することによってのみ、本発明の画像処理部2の処理を終了させられるように構成することもできる。以上、画像処理部2の構成を説明した。
[フレーム取得手段]
フレーム取得部28は取得した動画から順次フレームを取り出して処理をする。この処理はオンライン処理、すなわち、カメラ7からフレームを受け取るたびに逐次処理をするように構成してもよいし、オフライン処理、すなわち、ハンドレール4の計測部分全体を動画ファイルとして一時的に磁気記憶装置に保存した後に読みだして処理をするように構成してもよい。オフライン処理とした方が画像処理部2に過度の負荷をかけること無く処理をすることができる。
X線撮影部1またはハンドレール4が非定常速度で移動し、エンコーダ3の距離情報に基づいて、オンライン処理する場合は、フレーム取得部27はエンコーダ3の出力に応じて、ハンドレール4が、例えば5mmから20mmの間の所定の距離移動するたびにフレームを取得して処理をする。また、オフライン処理の場合は、エンコーダ3の出力に応じて、ハンドレール4が、例えば5mmから20mmの間の所定の距離移動するたびにフレームを取得して、間引き動画ファイルを構成して一時的に磁気記憶装置に保存するように構成することができる。このような構成で作成された動画ファイルは一定速度で移動するハンドレールの動画となっている。フレーム取得部28はこの動画を読み込んで、1フレームずつ取得して処理することができる。オフライン処理とするときはフレーム取得部28に、取得した画像を動画ファイルとして保存する機能は必須ではなく、動画作成は別途動画作成ソフトウェアで行ってもよい。
ここで、ハンドレール4の移動速度と、図5に示すハンドレールX線画像のハンドレール長手方向の視野幅と、カメラ7の動画フレームレートの関係について説明する。カメラ7のフレームレートが毎秒Nフレームである場合、カメラ7から出力されるフレームの時間的間隔は1/N秒である。一方、ハンドレール4の移動速度が毎秒Lミリメートルであると、カメラ7が1フレームを取得する間に、L/Nミリメートル移動している。したがって、カメラ7のシャッターが開放であることを前提にすれば、ハンドレール4の長手方向の視野長さが、L/Nミリメートルよりも大きければ、ハンドレール4の画像情報の全てが前記動画ファイルに含まれる。
例えば、カメラ7のフレームレートが毎秒30フレームで、ハンドレール4の移動速度が毎秒500ミリメートルの場合は、1フレーム取得する間の移動量は500/30≒16.7ミリメートルとなる。したがって、ハンドレールX線画像の視野長さが17ミリメートル以上であれば、ハンドレール4の画像情報の全てが前記動画ファイルに含まれる。
また、カメラ7にインタレース方式のカメラを用いる場合、毎秒30枚得られる各フレームには、偶数フィールドと奇数フィールドとして、取得時刻が約16.7ミリ秒異なる2枚の画像が含まれる。これらを分離して2画像として処理すれば、実質的に毎秒60フレームのフレームレートで画像が得られることになる。この場合には、1フレーム取得する間の移動量は500/60≒8.3333ミリメートルとなる。したがって、図5に示すハンドレールX線画像のハンドレールの長手方向の大きさが8.4ミリメートル以上であれば、ハンドレール4の画像情報の全てが前記動画ファイルに含まれることになる。
[SC検出手段]
次に、SC検出部29の説明をする。図15はSC検出手段の処理第一例を示す図であって、処理の流れを示す。フレーム取得部28によるX線画像を、例えば図5に示すように、ハンドレールの長手方向に投影して投影輝度分布を作成する(S1)。投影することにより、X線撮影に伴う輝度のランダムノイズを相殺し、ゴムの厚さの違いによって該ハンドレールの場所に応じた輝度の傾向を計測することができる。S1の投影プロファイルからコントラスト補正曲線を作成する(S2)。次に、該X線画像の直交方向の輝度分布を左端から右端へ1ラインずつ、または所定のラインずつ飛ばしながら解析するために、HR直交方向ラインを長手方向左端に設定する(S3)。
その後、ハンドレール(図15には、HRと記載)長手方向へループ処理(S4)をしてフレーム取得部28によるX線画像の視野範囲内の解析をする。すなわち、設定されたラインにおいて、取得した輝度分布に対して平滑化とコントラスト補正をした輝度分布を作成し(S5)、設定されたラインのSC候補セルを検出する(S6)。SC候補セルはスチールコードの部分である可能性のある画素である。S6の詳細は後記する。S4ループの第1回目のループでは、S7は処理をせずに通過するが、第2回目のループ以降は、前ループで検出されたSC候補セルと現ループで検出されたSC候補セルを連結する(S7)。連結の仕方は後記する。現ループで解析したラインよりも右方のラインを設定する(S8)。該X線画像の右端まで解析が終了したらS4ループから抜ける(S9)。
S4ループで検出されたSC候補セルの連結長さが所定の長さに達した場合はスチールコードとして確定し、該SC候補セルの連結物体の重心座標のうち、直交方向の座標を該フレームでの該スチールコードの代表座標とする(S10)。S10で、確定したスチールコード本数と、確定したスチールコードの該フレームでの直交方向座標を出力して、SC検出部29の処理が終了する。
次に、S5の処理を具体的に説明する。図16はSC検出部29の、コントラスト補正の一例を示す図である。図16(a)はフレーム取得部28の取得によるハンドレールX線画像の直交方向の、あるライン上の輝度分布である。図面上下方向の軸がハンドレール直交方向の座標で、図面左方向の軸が輝度である。該輝度分布はスチールコードのところで谷になり、スチールコード間で山になる。また、X線撮影に伴う輝度のランダムノイズにより、輝度分布には小さな山谷がある。さらに、図面の上端付近と下端付近は輝度が低く、山と谷のコントラストが悪い。これらに平滑化とコントラスト補正(S5)をしてスチールコードに起因する山谷を顕在化させる。
図16(b)は図16(a)の輝度分布に平滑化処理をしたものである。平滑化は例えば、非特許文献1に記載の周知の平滑化フィルタで実現できる。前述の通り該スチールコードに起因する山谷を消さない程度で十分に大きなサイズの平滑化フィルタを用いれば好適にランダムノイズを除去できる。
カメラ7のレンズなどの撮像系パラメータが確定すれば、検出すべきスチールコードの画像上の画素数はほぼ決まるから平滑化フィルタの適切なサイズをあらかじめ決めることは可能である。また、ハンドレール周辺部に該当する、図面の上端付近と下端付近は輝度と山谷のコントラストが低いために補正をする。
図16(c)はS1による長手方向投影輝度分布である。破線37は該長手方向投影輝度分布の極大値の包絡線である。輝度分布の一次差分を算出し、一次差分のゼロ交差付近を複数の極大値として検出した後、これら複数の極大値に接する曲線を、例えばラグランジュの多項式近似によって得ることができる。こうして得られた破線37をf(x)として、例えば、CONST/f(x)を平滑化輝度分布(b)に乗じるとコントラストが補正された輝度分布が得られる(図16(d))。ここで、xは直交方向の座標を表し、CONSTは定数であって、画像の輝度値や輝度分布値が0から255までの場合には200前後が適当な値である。f(x)の値となる破線37は除算に用いられるので、不安定にならないようにあまり小さい値にならないように、例えば10以下の数値にならないようにクリッピングすることも有効である。この場合のクリッピングとは、10以下の数値が現われた場合は下限よりも大きい数値11等で置き換える処理である。図16(d)は図16(b)に対してコントラスト補正をした輝度分布であって、鋭い谷が18個あるが、これは18本のスチールコードに対応している。このように鋭い谷にすることができると、この分布を一次差分してゼロ交差する所をSC候補セルとすることができる。
次にスチールコード(SC)候補セル検出S6とSC候補セル連結S7の具体的に示す。図17はSC検出部29の、SC候補セルの検出(S6)の一例を示す図である。図17(a)は図16(d)と同じくコントラスト補正した輝度分布であり、図17(b)はこれを、直交方向に一次差分した分布である。一次差分は注目点の下方の輝度値と上方の輝度値の減算値を該注目点の値とするものであるが、該注目点から上方および下方までの距離(画素数)は予め適正に調整しておく必要がある。本発明の場合のように、検出すべきスチールコードの外径が概ね決まっている場合には、調整した距離を固定値として保持することができる。正のしきい値38と負のしきい値39も調整済みの適正値を固定して保持することができる。
例えば、図17(a)の輝度分布の谷40に対応する部分は、図17(b)の一次差分値が負のしきい値39から増加して正のしきい値38に達するまでの区間41と42に該当する直交方向の座標区間において、図17(a)の輝度分布の極小値をとる座標を求めればよい。また、谷40の鋭さは、極大値43と極小値44の直交方向の距離を算出し、所定の固定値以下の場合には鋭い谷として選別することができる。このように鋭い谷として選別されたところが図17(a)の輝度分布におけるSC候補セルの検出位置である。
図18はSC検出部29の、SC候補セルの連結(S7)処理を示す図である。図18(a)(b)(c)(d)は、SC検出部29の処理対象たる画像の一部である。斜線領域45と46は独立して存在するスチールコードで、斜線領域47は2本のスチールコードが接している状態で、斜線領域48は短いスチールコードである。図面縦方向の破線群49はS3とS8で設定される輝度分布解析用のラインを明示的に表したものである。すなわち、これらのラインに沿って輝度分布を解析して谷の部分にSC候補セルを定める。
図18(b)にて、斜線領域45上にある白矩形50はSC候補セルの1つである。斜線領域45上の他の矩形もSC候補セルであるが、煩雑になるため番号を付していない。斜線領域46と48上の白矩形もSC候補セルである。斜線領域47では、接触により輝度分布に鋭い谷が発生しないので、SC候補セルは設定できない。SC候補セルを設定できないということは、接することなく独立して存在するスチールコードが無いことを意味する。
図18(c)はS4処理ループの動作を明示的に示している。すなわち、輝度分布解析用ライン49a,…,49dと左端から右端へ処理を進め、設定済みのSC候補セルを実線白矩形で、未だ設定されていないが処理完了後には設定されるSC候補セルは点線表している。S7において、前ラインで設定したSC候補セルと現ラインで設定したSC候補セルを連結する。連結は最も距離の小さいSC候補セル同士を連結する。距離とはSC候補セル同士の直交方向座標の差異である。連結可能な距離の上限を定めておけば、誤った連結を防ぐことができる。
図18(d)の実線51と52と53はS7でSC候補セルが連結された結果を明示的に示している。これは当該フレームにおいて、独立した長いスチールコード51と52および、短いスチールコード53が存在することを示す。
S10ではあらかじめ長さのしきい値を決めておき、所定の長さ以上の連結結果についてスチールコードと決定し、前記しきい値未満の連結結果は除去する。フレーム取得部28の取得によるハンドレールX線画像はX線撮影部1を設計する時点で長手方向の画像サイズが確定するので、前記長さのしきい値を決めることは可能である。
以上はHR処理ループS4で1ラインを解析するたびに平滑化とコントラスト補正をするように説明したが、図19に示すSC検出部の処理第二例の処理フローのように、2次元の画像処理として平滑化とコントラスト補正の処理を施してから(S11)、1ラインごとの輝度分布解析をするように構成してもよい。図19において、S1とS2の処理は図15において説明した処理と同様である。S11において、フレーム取得部28の取得によるハンドレールX線画像内で2次元の平滑化フィルタをかけてX線撮影に伴う輝度ランダムノイズを相殺する。非特許文献1に記載の周知の2次元平滑化フィルタで平滑化は実現することができる。コントラスト補正は、S2で得たコントラスト補正曲線f(x)を使って、該X線画像内の画素に対して、CONST/f(x)を乗じる。この際に画素値が例えば255などの上限を超える場合はその上限値で置き換えるなどクリッピング処理をする。以上説明した方法でS11は平滑化とコントラスト補正をしたX線画像を作成する。
S3とS4は、図15で説明した処理と同様で該X線画像の左端から右端へ1ラインずつまたは所定のラインを飛ばしながら輝度分布解析を行う。ここで得られる輝度分布は図15のS5で得られる輝度分布すなわち、図16(d)と同等である。続くS6乃至S10までの処理は図15で説明した処理フローのものと同一である。
[SCモデル保持手段]
図20はSCモデルと検出されたスチールコードの照合法を示す図である。次に図20を参照して、SCモデル保持部30とSCトレース/要素特徴検出部31の協調処理によって成される、SCモデルと検出されたSCの照合法について説明する。
説明を単純化するために、ハンドレールに内蔵されるスチールコードの本数は元々5本であったとする。そうするとSCモデルも5本のスチールコードからなり、端から順に01コード,02コード,03コード,04コード,05コードと命名することができる。
ここで、SC検出部29で5本のスチールコードが検出されたとする。この場合には、無条件で、端から順に検出されたスチールコードとSCモデルのスチールコードを対応付ける(図20(a))。すなわち、検出されたスチールコード54、55、56、57、58はそれぞれスチールコードモデルの01コード,02コード,03コード,04コード,05コードに対応付けられる。この処理により、検出されたスチールコードにはそれぞれ、01から05コードという名前が確定する。また、SCモデルの各コードは位置情報(座標)をもっており、SCモデルの座標は、検出されて対応付けられたスチールコードの位置を代表する重心の座標で更新される。図20(a)の検出されたスチールコード中央の白丸はそれぞれの重心位置を明示的に示している。
図20(b)は検出されたスチールコードが3本の場合である。これは他の2本が欠如していたり、または互いに接触していたりすることにより独立した2本のスチールコードとして検出できない場合である。前記SCモデルのスチールコードの順番が上下で入れ替わらないという拘束条件を設けると、検出されたスチールコード59がSCモデルと対応付けられるのは、01コード,02コード,03コードである。仮に04コードと対応付けてしまうと、検出されたスチールコード60と61のいずれかが余ってしまう。同様の拘束条件により、検出されたスチールコード60がSCモデルと対応付けられるのは、02コード,03コード,04コードであり、検出されたスチールコード61については、03コード,04コード,05コードに対応付けられる。
図20(c)の距離テーブルはこれらの条件を表にまとめたものである。左端の縦欄はSCモデルのコード名を表している。上端である第1行目は現フレームにおいて検出されたスチールコードで、検出された座標の小さいものから順に、左方から右方へ記入してある。この例では左方から順に検出されたスチールコード59、60、61である。この時点ではどのスチールコードを見失っているのか不明であるから、検出されているスチールコードにも名前を確定することができない。距離テーブルにおいて、行と縦欄の交わる場所には、モデルの保持している座標と検出されたスチールコードの座標の差異の絶対値を記入する。アスタリスクの記入されている組合せは、上述の拘束条件からあり得ない組合せである。それ以外の場所すなわち、d11,d21,d31,d22,d32,d42,d33,d43,d53は座標差異の絶対値である。距離テーブル右端の縦欄は座標差異の最小値である最小座標差異を記入する欄である。01コードと05コードについては、それぞれ、d11とd53の値しかないのでこれを記入する。その他の箇所については該当する行の最小値を記入する。たとえば、02コードの行では、d21とd22の小さい方を記入する。両者が等しい場合はその数値を記入する。
ここでは、SCモデルのスチールコードが5本に対して、検出されたスチールコードが3本であるからいずれかの2本が未検出である。そこで、距離テーブル右端の縦欄の大きいものから順に2つを選択する。ここで選択された行に該当するスチールコードが未検出とみなされる。たとえば、02コードの行と03コードの行が選択された場合には、02コードと03コードが未検出となる。その結果、検出されたスチールコード59はSCモデルの01コードと対応付けられて01コードであることが確定する。検出されたスチールコード60はSCモデルの04コードと対応付けられて04コードであることが確定する。検出されたスチールコード61はSCモデルの05コードと対応付けられて05コードであることが確定する。
以上の処理により、検出されたスチールコードの名前が確定する。一方、SCモデルの01コードの座標はスチールコード59の持つ座標で更新され、SCモデルの04コードの座標はスチールコード60の持つ座標で更新される。そして、SCモデルの05コードの座標はスチールコード61の持つ座標で更新される。SCモデルのスチールコード02と03は、01と04の座標の間に、それぞれ、1:2と2:1に内分される座標で更新される。
以上説明した処理は図21の処理の流れに従って行われる。図21はSCモデル保持部30とSCトレース/要素特徴検出部31の処理の流れを示す図である。検出されたスチールコード数がハンドレールに内蔵されるスチールコードの設計上の数と等しければ、全スチールコードが検出されたとして、S21を実行してここでの処理を終了する。S21では、検出されたスチールコードの座標の小さいものから順に、SCモデルのスチールコードのコード名の数字の小さいものに割り当てていく。SCモデルのスチールコード情報とは、該当するスチールコードの座標と、その座標位置における、元の画像、すなわちフレーム取得部28の取得によるハンドレールX線画像の輝度である。これは該当するスチールコード部分の輝度値である。また、その領域の両側であって、所定の距離隔たった場所の輝度を背景輝度として保持する。所定の距離とは隣接するスチールコード座標との中点である。S21ではこれらの座標値と輝度値を更新する。
一方、検出されたスチールコード数が不足している場合には処理P1に進む(S20)。処理P1では、現SCモデルと検出されたスチールコードについて、図20(c)で説明した距離テーブルを作成する(S22)。先に説明をしたように、最小座標差異に基づいて、未検出のスチールコードを特定して、検出されたスチールコードにコード名を付与する(S23)。検出されたスチールコードの座標に基づいて、SCモデルの座標を更新する(S24)。このときは、輝度値は更新しない。
以上、SCモデル保持部30とSCトレース/要素特徴検出部31の協調処理によるスチールコードのトレースと、SCモデルの更新について説明した。尚、SCのトレースは、SCトレース/要素特徴検出部31のうち、SCトレース部によって行われる。これまでの説明では、スチールコードの設計上の本数よりも多いスチールコードが検出された場合についてはなかった。これは、SC検出部29にて平滑化処理等を十分に行って、偽のスチールコードを検出しないようにしているため、多く検出する場合は無いからである。
[要素特徴検出法]
次にSCトレース/要素特徴検出部31で行われる、スチールコード劣化に係る要素特徴の検出法について説明する。ここでは、SCトレース/要素特徴検出部31のうち、要素特徴検出部によって検出が行われる。要素特徴は当該フレーム内で認められる劣化に係る外観特徴であって、スチールコードの欠如(抜け)と、スチールコード同士の接触と、素線化したスチールコードの存在がある。また、接触が隣接するスチールコードに留まらず、隣接しないスチールコード同士や、3本以上のスチールコードが接している場合には絡み特徴となる。
図22はSCトレース/要素特徴検出部31における要素特徴“抜け”の検出法を示す図である。図22において、16本の黒い横縞を有する矩形62はハンドレールX線画像の概念図である。16本の黒い横縞は独立して存在する16本のスチールコードを表していて、これらはSC検出部29によって検出されている。破線63で囲まれている横長の矩形はこの検出されたスチールコードを示している。また、18本の水平線分64はSCモデル保持部30の保持するSCモデルのスチールコードの座標の位置を示していて、上から順に01コード,02コード,…,18コードである。先に説明したSCモデル保持部30とSCトレース/要素特徴検出部31の協調処理により、検出されたスチールコード63の16本は命名済みである。この例の場合では09コードと10コードが未検出である。未検出スチールコードのあるべき座標は前記SCモデルから知ることができ、破線65の領域である。
そこで、前記X線画像における破線65の領域の最低輝度を算出して所定のしきい値よりも大きい場合にはスチールコードが欠如していると判定する。前記所定のしきい値は、前記SCモデルの該当するスチールコードの輝度とこれに隣接する背景輝度の平均値を用いることができる。この例の場合はSCモデルの09コードと10コードの平均値をSCモデルの輝度とし、09スチールコードと10スチールコードの座標の中点座標における輝度をSCモデルの背景輝度とし、前記スチールコード輝度と前記背景輝度の平均値を前記所定の値として、スチールコードが欠如しているか否かの判定しきい値とする。前述したように前記SCモデルの01コードから18コードまでの輝度とこれらの間の背景輝度は、全スチールコードが検出されたフレームにおいて更新されている値である。スチールコードが独立して検出されるべき場所において、スチールコードが欠如していて、かつ、輝度が高いということはスチールコードが欠如していると判断することができる。以上に説明した処理により、該フレームにおいてスチールコードの欠如を検出する。
図23はSCトレース/要素特徴検出部31における要素特徴“接触”の検出法を示す図である。図23において、17本の黒い横縞を有する矩形66はハンドレールX線画像の概念図である。破線69の領域にあるのは接触により太い外観となったスチールコードである。他の16本の黒い横縞は独立して存在する16本のスチールコードを表していて、これらはSC検出部29によって検出されている。破線67で囲まれている横長の矩形はこの検出されたスチールコードを示している。破線69で示すような太い外観のスチールコードは、SC検出部29の説明でしたように、輝度分布で鋭い谷が現れないので検出することができない。また、18本の水平線分68はSCモデル保持部30の保持するSCモデルのスチールコードの座標の位置を示していて、上から順に01コード,02コード,…,18コードである。先に説明したSCモデル保持部30とSCトレース/要素特徴検出部31の協調処理により、検出されたスチールコード67の16本は命名済みである。この例の場合では09コードと10コードが未検出である。未検出スチールコードのあるべき座標は前記SCモデルから知ることができ、破線69の領域である。
そこで、前記X線画像における破線69の領域の最低輝度を算出して所定のしきい値よりも小さい場合には複数のスチールコードが接触していると判定する。前記所定のしきい値は、先に説明したように前記SCモデルの該当するスチールコードの輝度とこれに隣接する背景輝度の平均値を用いることができる。この例においてはスチールコード09とスチールコード10が未検出なので、これらのスチールコードが接触していると判断される。スチールコードが独立して検出されるべき場所において、スチールコードが欠如していて、かつ、輝度が低いということはスチールコード複数本が接触していると判断することができる。以上に説明した処理により、該フレームにおいてスチールコードの接触を検出する。
図24はSCトレース/要素特徴検出部31における要素特徴“絡み”の検出法を示す図である。図24において、16本の黒い横縞を有する矩形70はハンドレールX線画像の概念図である。破線73の領域にあるのは絡みにより太い外観となったスチールコードである。他の15本の黒い横縞は独立して存在する15本のスチールコードを表していて、これらはSC検出部29によって検出されている。破線71で囲まれている横長の矩形はこの検出されたスチールコードを示している。破線73で示すような太い外観のスチールコードは先の説明のようにその輝度分布に鋭い谷が現れないので検出することができない。また、18本の水平線分72はSCモデル保持部30の保持するSCモデルのスチールコードの座標の位置を示していて、上から順に01コード,02コード,…,18コードである。先に説明したSCモデル保持部30とSCトレース/要素特徴検部31の協調処理により、検出されたスチールコード71の15本は命名済みである。この例の場合では08コードと09コードと10コードが未検出である。未検出スチールコードのあるべき座標は前記SCモデルから知ることができ、破線73の領域である。
そこで、前記X線画像における破線73の領域の最低輝度を算出して所定のしきい値よりも小さい場合には複数のスチールコードが接触していると判定する。前記所定のしきい値は、先に説明したように前記SCモデルの該当するスチールコードの輝度とこれに隣接する背景輝度の平均値を用いることができる。この例においてはスチールコード08とスチールコード09とスチールコード10が未検出なので、これらのスチールコードが接触していると判断される。そして、この場合は3本以上のスチールコードが接触しており、したがって隣接しているスチールコード以外のスチールコードも接触しているので絡みが発生していると判断する。
ところで、スチールコードの抜け,接触,絡みの有無を判定するために破線65領域および、破線69領域および破線73領域の輝度を参照するために前記X線画像における当該領域の最低輝度を用いたが、その代わりに、SC検出部29で得た平滑化された画像における当該領域の最低輝度を用いてもよい。このように構成すると、X線撮影の際の輝度のばらつきの影響を受けなくなる。
[要素特徴検出法における素線検出法]
次に、SCトレース/要素特徴検出部31に含まれる、”素線化”によって出現した素線を検出する素線検出部311および素線検出方法について説明する。
図25は、ハンドレールX線画像の概念図であって、スチールコードの一部に素線化が生じている一例を示す。
図25において、黒い矩形74乃至77は、正常な外径を有するスチールコードの像の典型例である。斜線を付した線状の領域78と79は、ここで検出すべき素線(ほつれ)の例である。素線は概ね、正常なスチールコードの外径の1/10から1/5程度であるが、図8乃至図12を使って撮影系に関して説明したように、X線出射口12の大きさが有限であってゼロでないために、境界外径14またはth外径14aよりも細い素線は半影のみが形成される。よって、素線78と素線79は正常なスチールコード74乃至77よりも幅が狭いだけでなく輝度も高い。また、素線自身の長手方向は、該ハンドレールの長手方向のみならず、あらゆる方向になっている可能性がある。また、通常の外径を有するスチールコードの周辺部は半影であるので、素線に近い輝度をとる。しかし、SC検出部29が検出するスチールコードの位置は前記検出用の輝度分布の谷の部分であるから、本影に該当する部分である。よって、SC検出部29が検出した位置における通常の外径を有するスチールコード(正常なスチールコード)の輝度は本影の輝度、すなわち図9の輝度分布23で規定されるBminになる。
ここで、正常(通常)のスチールコードと素線の作る像の輝度について論じる。先に説明したように、通常のスチールコードは暗い本影を作るが、境界外径14より細い素線は半影のみの像となる。本影と半影の絶対的な輝度はシンチレータ6の感度によって異なり、カメラ7で撮影した画像上では該カメラの感度とゲイン調整によって変化する。そこで、図8乃至図12で説明した撮影系の、X線管5と、シンチレータ6と、スチールコード存在位置4aと、X線出射口12の大きさを確定した後、カメラ7のゲインを確定する。その後、通常のスチールコードをカメラ7で撮影し、撮影されたデジタル画像において、スチールコードが作る本影の輝度値をBminとする。1画素の輝度が0〜255に量子化される場合にあっては、Bminは80以下になるように調整することが望ましく、本影でも半影でも無い領域、すなわち、背景である領域21の部分の輝度Bbakは160以上に調整することが望ましい。
次に境界外径14またはth外径(しきい値外径)14aの物体が作る像をカメラ7で撮影し、撮影されたデジタル画像において、境界外径14またはth外径14aが作る半影の中の最低輝度をBthとする。
ここで、正常(通常)のスチールコードと素線の外径の境界となる外径を有する境界外径スチールコードの外径について論じる。スチールコードや素線の画像上での外径を論じる場合には、デジタル画像としてとらえた時の画素数で論じるのが便宜である。図11若しくは図12で説明した構成により、X線管5と、シンチレータ6と、スチールコード存在位置4aと、X線出射口12の大きさと、境界外径14若しくはth外径14aのスチールコードから輝度分布27若しくは27αを作図する。境界外径14よりもth外径14aを用いる方が好ましいので、以後、th境界外径14aを用いた場合で、図12に基づいて説明する。輝度分布27αについて、最低輝度値Bthから背景(本影でも半影でもない領域すなわち領域21)輝度値Bbakまでの遷移区間の曲線は該区間両端を直線で結んでもよい。そして、輝度分布27αのBthとBbakの中間値Bmdl(例えば、Bmdl=(Bth+Bbak)/2)を輝度分布27αが横切るときの場所27aと27bの差から境界幅Wthを定める。境界幅Wthに基づき定める所定の幅は元々、1/10mmから数mmの範囲であるが、カメラ7に撮影した場合の1画素当たりの画素の大きさで除して、画素数とすることができる。今後境界幅Wthとはth外径14aに基づいて定めた画素数とする。
以上を踏まえて、素線78および素線79に代表される素線を検出するための処理フローを図1に示す。図1において、フレーム取得部28によって得られたX線画像の画面全体に平滑化処理をする(S30)。これはX線画像の特徴であるランダムな輝度変化雑音を除去するためである。該平滑化処理は、たとえば3×3画素の平滑化フィルタで達成することができる。これは注目画素の縦横および斜めに隣接する近傍8画素の平均値を、当該注目画素の輝度として置き換えることで達成される。この平滑化は非特許文献1に示すような周知の平滑化フィルタで実現することもできる。平滑化後の画像に対してS32の処理ループを実行するために、画像処理部2は、画像左上に、画素値をアクセスするためのポインタ(走査開始点)を設定する(S31)。注目画素の輝度値(画素値)がth外径14aのスチールコードが形成する半影輝度値下限であるBthと比較し、Bthを超えていれば後記の線分検出処理S35をする(S34)。先に説明したように、検出すべき素線の形成する半影の輝度はBthを超えるからである。尚、境界外径14を用いる場合は、Bthの値としてBth_Dashを用いればよい。線分検出処理S35により該画像の処理範囲を終了したか否かを判定し、終了した場合(真)には処理ループS32から抜ける(S36)。終了していない場合は画素ポインタを更新し(S37)、最終的に該画像の処理範囲について線分検出処理S35をする。後記の線分検出処理S35では、たとえば7×7画素などの所定の大きさの処理カーネルを使用するが、S35の処理の際に前記処理カーネルが当該処理範囲をはみ出さないことに留意する。たとえば、当該画像の大きさが横640画素、縦480画素で、当該処理範囲が全面であるときは、7×7画素カーネルによる処理は、横方向は4画素目から637画素目まで前記画素ポインタを更新する(S36、S37)。また、縦方向は4画素(列)目から477画素(列)目まで前記画素ポインタを更新する(S36、S37)。次に、処理ループS32の処理結果に対して、後記の線分分析処理S33を実行して素線を検出する。
線分検出処理S35は、半影輝度値下限Bth以上で境界幅Wthの基準となる中間輝度値Bmdl以下のあらゆる方向の線分を検出する処理である。あらゆる方向とは8近傍方向すなわち画面に対して水平方向、左上斜め45°方向、右上斜め45°方向、垂直方向でもよいし、これよりも細かい方向のピッチでもよい。8近傍方向の場合は、たとえば図2に示す、線分検出フィルタa1、a2、a3、a4を順次かけて所定の条件に適合する画素をピックアップし、線分集計画像80(後記)に結果を集計する。線分集計画像80の全画素は線分検出処理s35に先立ってゼロクリアされているとする。ここでは7×7画素のフィルタであるが、境界幅Wthに適合させて、3×3画素、5×5画素、9×9画素等を選択することができる。たとえば線分検出フィルタa1はb1に示すような水平方向に延びる半影を検出するもので、注目画素に線分検出フィルタa1の基準画素m1を合わせる。すなわち、基準画素m1の輝度は注目画素の輝度値となる。ここで、ref11とref12に該当する画素、ここでは注目画素の上下3画素目の輝度値を参照し、これら参照画素の輝度が基準画素m1よりも高い輝度であれば、当該注目画素の位置に水平方向に延びる半影b1が存在するとみなす。そして、線分集計画像80の所定の画素値を例えば255にするなどして識別できるようにする。
同様に、線分検出フィルタa2の基準画素m2を注目画素に合わせてref21とref22に該当する画素値と比較して、これらよりも注目画素値の輝度が低ければ、当該注目画素の位置に左上斜め45°方向に延びる半影b2が存在するとみなす。そして、線分集計画像80の所定の画素値を例えば255にするなどして識別できるようにする。
同様に、線分検出フィルタa3の基準画素m3を注目画素に合わせてref31とref32に該当する画素値と比較して、これらよりも注目画素値の輝度が低ければ、当該注目画素の位置に右上斜め45°方向に延びる半影b3が存在するとみなす。そして、線分集計画像80の所定の画素値を例えば255にするなどして識別できるようにする。
同様に、線分検出フィルタa4の基準画素m4を注目画素に合わせてref41とref42に該当する画素値と比較して、これらよりも注目画素値の輝度が低ければ、当該注目画素の位置に垂直方向に延びる半影b4が存在するとみなす。そして、線分集計画像80の所定の画素値を例えば255にするなどして識別できるようにする。各基準画素の輝度値がref11等の参照画素よりも低いことを条件としたのは、半影は背景よりも暗いからである。この条件は通常のスチールコードの本影上でも起こりえるが、輝度Bthを超える輝度をもつ画素のみを選択する処理(S34)をした後なので、本影を誤検出することは抑制されている。また、正常なスチールコードの半影上では輝度Bthを超える輝度をもつ画素もあり得るが、これらは注目画素の両側がより高輝度であるという、線分フィルタa1乃至a4の条件に合わないので誤検出は抑制されている。以上の処理によって、線分集計画像80に二値画像として素線の半影候補が集計される。
図3は線分集計画像の例を示す図であって、図3(a)がX線画像の例である。図3(b)はこの概念図であって、素線81乃至85の現われている例である。図3(c)は、処理ループS32により集計された線分集計画像80である。
ここで、線分集計画像80は二値画像であるので、線分分析処理S33において、孤立点を除去したりラベリング処理の後、所定の画素に満たない線分を除外したりすることにより、前段で除外しきれなかった誤報や、無視してよい程の些細な素線を除去することができる。
さらに、線分分析処理S33では、以上の処理で得た検出線分に係る画素またはラベルがある場合に、当該画像(動画の中の当該フレーム)に”素線化”による素線が発生していると判定する。ところで、図2に示す線分検出フィルタは、線分検出フィルタの例示であって、非特許文献2に記載の周知のエッジ検出フィルタを用いることもできる。
以上に説明した処理により、該フレームにおいてスチールコードの抜け、接触、絡み、素線化を検出する。そして、フレーム処理をするたびに該フレームにおいて、抜けまたは、接触、絡みまたは素線化という要素特徴の有無を、その特徴別に履歴として保持更新する。この要素特徴履歴を「フレーム毎の要素特徴ログ」とよび、これはSCトレース/要素特徴検出部31の出力である。また、先に説明のSCモデルの各スチールコードの座標の更新履歴をフレーム毎に更新保持することもできる。このSCモデルの各スチールコードの座標の更新履歴を「フレーム毎のトレースログ」とよび、これもSCトレース/要素特徴検出部31の出力である。
[フレーム毎良否判定手段]
図26はフレーム毎良否判定部32における良否判定条件の例を示す図である。フレーム毎良否判定部32は、「フレーム毎の要素特徴ログ」を参照して、各フレームにおける点検対象たるハンドレールに内蔵のスチールコードの良否の判定をし、これらの良否判定フレーム毎の履歴を更新保持する。このフレーム毎履歴を「フレーム毎の良否判定ログ」とよび、これはフレーム毎良否判定部32の出力である。
スチールコードの良否の判定は、”素線化”(ほつれ)という要素特徴がスチールコードの長手方向に継続する長さを指標として行う。例えば、”素線化”の長手方向のしきい値としてSthという所定の自然数を定めてこのしきい値以上に継続する場合には劣化(あるいは不良)と判定し、その判定を該フレームの「フレーム毎の良否判定ログ」に保持する。また、劣化(あるいは不良)の場合には当該要素特徴である”素線化”の発生したフレームまで遡り、その間のログに全て劣化(あるいは不良)と記録し直す。このようにして「フレーム毎の良否判定ログ」を更新してメモリ保存する。また、劣化(あるいは不良)に該当しない場合(継続しない場合)は、該フレームの「フレーム毎の良否判定ログ」に良品と記録する。
この判定は例えば図26に示すように実施することができる。図26において、品質ランクは正常と劣化(あるいは不良)の二段階とする。右縦欄は判定条件で、フレーム毎良否判定部32で判定されて、「フレーム毎の良否判定ログ」として出力される。ここでは正常と劣化(あるいは不良)の二段階評価としたが、”素線化”発生のフレームの継続するフレーム数に応じて劣化を段階的に評価することも可能である。
以上、正常と劣化(あるいは不良)または、段階的な評価処理について説明したが、劣化判定したときは、ハンドレールの交換が必要であることを表示部34で通知して保全作業員にハンドレールの交換を行わせるようにしてもよい。図26ではSthという所定の長さをフレームで表現したが、該当するミリメートルで表現することも可能である。
[最終判定手段]
次に最終判定部33の処理を説明する。最終判定部33は前記「フレーム毎の良否判定ログ」を参照して、点検対象たるハンドレール単体としての品質判定を下す処理をする。例えば、前記「フレーム毎の良否判定ログ」に劣化の判定箇所が皆無であれば、当該ハンドレールは単体として良品判定とすることができる。また、前記「フレーム毎の良否判定ログ」中に所定のフレーム数以上劣化判定の箇所があれば、当該ハンドレールは単体として劣化判定とすることができる。また、より簡単な最終判定部33の実現例として、前記「フレーム毎の良否判定ログ」に記録されている最も悪い品質判定の結果を、当該ハンドレールの単体としての評価とすることができる。以上、最終判定部33の処理を説明した。
[画像処理手段の処理の流れ]
図33は本発明の乗客コンベアのハンドレール点検装置の画像処理手段の処理のフローを示す図である。
図33を参照して、乗客コンベアのハンドレール点検装置の画像処理手段の処理のフローを説明する。新規にハンドレールの画像を処理するに先だって、処理に用いるメモリとパラメータの初期化を行う(S50)。メモリ初期化とは例えば、「フレーム毎の要素特徴ログ」や、「フレーム毎のトレースログ」や、「フレーム毎の良否判定ログ」の初期化がある。
フレーム処理ループS51は、ハンドレールの品質評価に必要な動画処理を完了するまでループ処理をし、処理すべき全フレームが完了するとこのループから抜けてS58の処理へ進む(S52)。フレーム終了判定処理S52およびフレーム取得処理S53はフレーム取得部28で実施される。次に、SC検出部29にてSC検出処理S54が実施される。そして、SCモデル保持部30とSCトレース/要素特徴検出部31の協調によりSCトレースおよび要素特徴検出処理S55が実施され、同時にSCモデル保持部30に保持されているSCモデルについて、SCモデル更新処理S56がなされる。次いで、該フレームに関して、フレーム毎良否判定処理S57をし、「フレーム毎の良否判定ログ」を更新する。この処理はフレーム毎良否判定部32で実施される。
必要なフレームすべてについて上記の処理を完了した後は、ハンドレール品質最終判定処理S58を、最終判定部33で実施する。この際に、最終判定結果を磁気媒体に保存したり、ネットワークを介して品質管理サーバ等に送信したりすることができる。以上の処理をもって、ハンドレールの品質評価の自動判定が実現される。
[抜け等の発生部分のみで素線検出する例]
素線検出部311における、素線検出処理フロー(図1)の処理は、動画像の全フレームについて実施することが可能である。しかし、SCトレース/要素特徴検出部31で検出した要素特徴であって、“素線化”以外の特徴、すなわち“接触”や“抜け”や“絡み”の特徴の有無と連動させて実施させることもできる。これは、“接触”や“抜け”や“絡み”の特徴を発生しているフレームにおいて“素線化”が起きやすいからである。このように、動画像において処理するフレームを限定することで動画全体としての処理量を削減し、処理の高速化に資することができる。
[輝度しきい値Bthを非固定とする方式の例]
先に、素線の条件たる半影か、正常スチールコードの条件たる本影を有する像であるかを識別する輝度しきい値Bthの定め方を説明した。本影と半影の輝度値は、電流に関連する線量、電圧に関連する波長など、X線源の出力に応じて変化し、また、使用するシンチレータの種類やカメラのゲイン調整によっても変化する。そこで、前記の例では、X線源の出力とシンチレータの種類とカメラゲインの値を設定した後に、図8〜図13に示すような作図によって求めることを示した。しかし、スチールコードを覆うゴムの厚さが場所ごとに大きく異なる場合には、このように固定した輝度しきい値Bthでは不十分な場合もある。
そこで、上記作図によってBthを定めた時に、これと背景輝度Bbakとの比である、KthB=Bth/Bbakを求めておく。KthBは0より大で、1より小の有理数となる。そして、SCトレース/要素特徴検出部31で独立して存在するスチールコードの位置を確定した際に、該スチールコード間の画像の輝度を計測し、これを背景輝度Bbakとみなすことができる。このとき、数フレーム分の該当する位置の平均値をとって、背景輝度Bbakとすればランダムノイズの影響を相殺することができる。そうすると、みなし背景輝度Bbakを用いて、Bth=KthB×Bbakのように、輝度しきい値Bthをゴム厚等の状況の変化に合わせて自動調整することができる。
一方、上記作図によってBthを定めた時に、本影輝度Bminとの比である、KthM=Bmin/Bthを求めておくこともできる。KthMは0より大で、1より小の有理数となる。そして、SCトレース/要素特徴検出部31で独立して存在するスチールコードの位置を確定した際に、該スチールコード部の画像の輝度を計測し、これを本影輝度Bminとみなす。先に説明したように、SC検出部29で検出されるスチールコードの位置は輝度分布の谷部なので、該スチールコードの位置の画像輝度は、本影輝度Bminとみなすことができる。このとき、数フレーム分の該当する位置の平均値をとって、本影輝度Bminとすればランダムノイズの影響を相殺することができる。そうすると、みなし本影輝度Bminを用いて、Bth=Bmin/KthMのように、輝度しきい値Bthをゴム厚等の状況の変化に合わせて自動調整することができる。
以上のBbakとBminの計測について、図27を使って説明する。図27は輝度しきい値Bthが非固定の場合の輝度測定法を説明する図であって、正常なスチールコード6本が存在する、X線画像の概念図である。その他の図と異なって、本影と半影を顕在化して示している。各スチールコード像の中央部には本影87乃至92が存在し、それらの周囲には斜線を付した半影93乃至98が存在する。画面のおよそ上半分の点描を付した領域86は、スチールコードを包むゴムが厚いために全体として暗く撮影されている領域である。領域86とこれ以外の領域で輝度差が大きい場合には輝度しきい値Bthを一律に固定値とするのは不適切な場合もある。
そこで、各スチールコードの近傍においては、本影87乃至92の輝度値を計測してBminとし、本影でも半影でもない領域の輝度を選択して背景輝度Bbakとする必要がある。前述の通りSC検出部29で検出されるスチールコードの位置は輝度分布の谷部なので、該スチールコードの位置は本影87乃至92の範囲である。したがって検出されたスチールコードの位置で輝度測定をすることで本影輝度が得られる。一方、背景輝度は検出されたスチールコード間の中点位置の輝度を当てる。スチールコード同士が接近している場合には、隣接スチールコードの半影同士が重なって、背景輝度が得られない場合もある。したがって、隣接スチールコードの半影同士が重なるほど接近している場合には背景輝度の計測を停止して、これ以前に得た背景輝度値を適用することが必要である。以上説明した方法により、ゴム厚により輝度に変動があっても適切なしきい値輝度Bthと背景輝度Bbakを得ることができる。画像全体において、検出されたスチールコードを中心としてその周辺に該当領域を設けて、この領域内においては該スチールコード位置を基準にして得たBthとBbakを適用することとすればよい。
すなわち、素線化による半影の判定基準となる輝度範囲を、投影画像の背景の輝度の変化或いは本影の輝度の変化を配慮して、投影画像の背景の輝度或いは本影の輝度をパラメータとして可変に設定してもよい。
また、半影95と半影96の間には、領域86の境界があり、本影89と本影90に係るスチールコード間の背景輝度は領域86とこれ以外の領域の背景輝度が平均化される場合もあり得るが、スチールコード全体としては極狭い領域であるので問題にならない。
[スチールコードのトレースを省略した実施例]
以上の実施例(実施例1)は、ハンドレール内蔵のスチールコードに発生し得る、“接触”や、“抜け”や、“絡み”や、“素線化”全てを検出して良否判定することを前提に説明をした。しかし、“素線化”特徴のみからスチールコード(乗客コンベア)の良否判定をする場合には、図28に示す実施例2の画像処理を実行すると、より簡易に良否判定の実施することができる。図28は、実施例2に係る乗客コンベアのハンドレール点検装置の画像処理部である。本実施例の画像処理部2は、フレーム取得手段28と、素線検出部311とフレーム毎良否判定部32と、最終判定部33と、表示部34と、コマンド入力部35と、制御部36によって構成される。
本実施例では、X線撮影に係る動画の全フレームについて、フレーム取得部28で取得し、これに対して、素線検出部311において、図1を用いて説明した素線検出フローを実施する。これにより、フレーム毎に“素線化”の有無を判定して、「フレーム毎の要素特徴ログ」を出力する。このログはフレーム毎の“素線化”の有無が記録されている。フレーム毎良否判定部32と、最終判定部33と、表示部34と、コマンド入力部35と、制御部36は図14を用いて説明した第一実施例のものと同様である。
[双方向トレース方法]
図14のSC検出部29は、フレーム毎にSC検出ログテーブルを保持することができ、SCモデル保持部30は、フレーム毎にSCモデルログテーブルを保持する構成をとることができる。
SC群モデルは、スチールコードのトレースのため既述したように検出されたスチールコード(SC)との照合に用いられるが、SCモデル群は、直前のフレームにおける検出されたSCデータ群(SCモデルログテーブル)により更新される。これは、スチールコードのトレースの直近のデータを用いることで精度を高めるためである。図29は、SC検出ログテーブルとSCモデルログテーブルの例であって、ここでは説明の煩雑を避けるために、スチールコードは9本として設計された場合として示す。
例えば、図29(a)は、第120フレーム目におけるSCモデルログテーブルである。フレーム番号120はログが該当するフレームが120であることを示し、モデルコード欄の01乃至09の番号はモデルコードに命名された番号を示している。他方、図29(b)は次フレームに当たる、第121フレーム目におけるSC検出ログテーブルである。フレーム番号121はログが該当するフレームが121であることを示し、検出コードは、検出された座標の小さい順に並べられている。検出コード欄の“D”はスチールコードが検出されたことを示す。同欄の1乃至9の番号は座標に基づいて並べた順番であって、検出されたコードの命名番号ではない。この場合は設計上のすべてのスチールコードが検出されているので、図20(a)を用いて説明したように検出されたスチールコードの座標の小さい順に01乃至09に命名され、検出された座標で、次フレームに当たる第121フレーム目のSCモデルログテーブルとなる。これを図29(c)に示す。
図30はSC検出ログテーブルとSCモデルログテーブルのもう一つの例であって、ここでは煩雑を避けるために、スチールコードは9本として設計された場合として示す。例えば、図30(a)は、第120フレーム目におけるSCモデルログテーブルである。フレーム番号120はログが該当するフレームが120であることを示し、モデルコード欄の01乃至09の番号はモデルコードに命名された番号を示している。他方、図30(b)は次フレームに当たる、第121フレーム目におけるSC検出ログテーブルである。フレーム番号121はログが該当するフレームが121であることを示し、検出コードは、検出された座標の小さい順に並べられている。検出コード欄の“D”はスチールコードが検出されたことを示す。この場合は7本のスチールコードのみが検出されている。図20(b)を用いて説明した処理により、例えば06コードと07コードが未検出であると決定された場合には、01乃至05コードと08コードと09コードは121フレームにおけるスチールコードの検出座標で更新される。そして未検出の06コードと07コードは、検出済みの05コードの座標と08コードの座標を線形に補間して、06コードと07コードの座標が更新される。以上の動作にして、スチールコードに未検出のものがあっても、スチールコードモデルは更新される。
しかし、未検出のスチールコード本数が多かったり、未検出スチールコードのあるフレームが長く続いたりするとSCモデルの更新が不正確になるという問題がある。具体的には、順方向におけるトレース過程において、スチールコードの絡みなどでスチールコードの検出不能領域が続くと、その検出不能領域からある範囲(所定フレーム数)の長さまでを未検出領域としてみなす場合があるが、実際には、逆方向からトレースしてみると、前記みなし未検出領域よりもスチールコード検出可能領域が長い場合もあり得る。このような過度のみなし未検出領域を設定する不具合を解消するために、本実施例では、スチールコードをフレーム順と、フレーム逆順に双方向トレースする構成をとることも提案する。なお、双方向トレースの採用の有無は、任意である。
図31は、双方向トレースを実現する方法を示す図であって、SC検出部29と、SCモデル保持部30と、SCトレース/要素特徴検出部32で構成されるトレース方法およびトレース装置である。
SC検出部29は、図29と図30で説明したSC検出ログテーブル99を有し、フレーム毎に検出されたスチールコードの座標を保持する。
SCモデル保持部30は図29と図30で説明したSCモデルログテーブル順方向100と、SCモデルログテーブル逆方向101を有し、図20で説明したように順次スチールコードモデルを更新して、命名されたコードと共に位置座標のログを、SCモデルログテーブル順方向100に保持する。
SCトレース/要素特徴検出部32はインパーフェクトカウンタ102と、インパーフェクトカウンタログテーブル103を有し、SC検出部29から検出されたスチールコードの座標を受け取る際に、検出されたスチールコードの本数が設計上の本数に満たない場合はインパーフェクトカウンタ102をカウントアップし、検出されたスチールコードの本数が設計上の本数と一致する場合にリセットする。
このような動作にして、インパーフェクトカウンタ102には、未検出スチールコードを有するフレームが何フレーム続いているかを知ることができる。インパーフェクトカウンタログテーブル103はフレーム毎に、インパーフェクトカウンタ102が示す値を記録保持する。この構成にすることにより、全フレームの処理終了後に、インパーフェクトカウンタログテーブル103を参照すると、順方向のトレースにおいて、スチールコード未検出の状態で、スチールコードモデルが更新されたフレームを知ることができる。
図32は双方向トレースをする場合の、本実施例の乗客コンベアのハンドレール点検装置の画像処理手段の処理のフローを示す図である。
図32を参照して、乗客コンベアのハンドレール点検装置の画像処理手段の処理のフローを説明する。新規にハンドレールの画像を処理するに先だって、処理に用いるメモリとパラメータの初期化を行う(S50)。メモリ初期化とは例えば、「フレーム毎の要素特徴ログ」や、「フレーム毎のトレースログ」や、「フレーム毎の良否判定ログ」および、SC検出ログテーブル99、SCモデルログテーブル順方向100、SCモデルログテーブル逆方向101、インパーフェクトカウンタ102とインパーフェクトカウンタログテーブル103の初期化がある。
フレーム処理ループS51は、ハンドレールの品質評価に必要な動画処理を完了するまでループ処理をし、処理すべき全フレームが完了するとこのループから抜けてS60の逆ループ処理へ進む(S52)。フレーム終了判定処理S52およびフレーム取得処理S53はフレーム取得部28で実施される。次に、SC検出部29にてSC検出処理S54が実施される。そして、SCモデル保持部30とSCトレース/要素特徴検出部31の協調によりSCトレース処理S59が実施され、同時にSCモデル保持部30に保持されているSCモデルについて、SCモデル更新処理S56がなされる。S54とS59とS56の処理において、前述のようにSC検出ログテーブル99と、SCモデルログテーブル順方向100と、インパーフェクトカウンタ102と、インパーフェクトカウンタログテーブル103が更新される。また、フレーム毎の要素特徴抽出と良否判定は逆方向トレースの際に行うのでここでは行わない。
SCトレース/要素特徴検出部32は、順方向のSCトレースが終了した後に、インパーフェクトカウンタをリセットしてから(S70)、フレーム逆順にSCトレースを開始する(S60)。この際に、SC検出部29からは、図15乃至図19で説明した処理で新たに検出したスチールコードでなく、SC検出ログテーブル99をフレーム逆順に参照して得たスチールコード本数と座標を得る(S62)。
そして、スチールコード本数が設計上の本数に満たない場合はインパーフェクトカウンタ102をカウントアップして、設計上の本数に一致する場合にはリセットする(S62)。
また、図20で説明した動作によりSCモデルを更新して、SCモデルログテーブル逆方向101を更新する(S63)。このときに、現フレームにおけるインパーフェクトカウンタ102と、インパーフェクトカウンタログテーブル103の当該フレームの記録を参照する。インパーフェクトカウンタ102の値と、インパーフェクトカウンタログテーブル103に記録された値を比較して、インパーフェクトカウンタログテーブル103に記録された値の方が小さいときは、先に順方向でトレースした結果の方が、信頼性が高いと判断できる。そこで、この場合には、SCモデルログテーブル順方向100に記録済みの各スチールコード座標で、SCモデル保持部30の値を置き換える(S63)。
この処理により、SCモデルとして、双方向トレースの内、より信頼性の高い値で更新することができる。SCトレースの結果を用いて、“接触”、“抜け”、“絡み”、“素線化”の特徴をフレーム毎に検出して「フレーム毎の要素特徴ログ」と「フレーム毎のトレースログ」を更新する(S64)。次いで、該フレームに関して、フレーム毎良否判定処理S65をし、「フレーム毎の良否判定ログ」を更新する。この処理はフレーム毎良否判定部32で実施される。
必要なフレームすべてについて上記の処理を完了した後は、ハンドレール品質最終判定処理S58を、最終判定部33で実施する。この際に、最終判定結果を磁気媒体に保存したり、ネットワークを介して品質管理サーバ等に送信したりすることができる。以上の処理をもって、ハンドレールの品質評価の自動判定が実現される。
[可視光による素線検出装置]
次に、移送機構用長尺部材の点検装置の別の実施例として、被覆に覆われていないワイヤーやロープの素線を、X線に代わって可視光で画像取得して検出する素線検出装置の説明をする。
図34は可視光で素線を検出するための撮影系の図であって、外光を遮断するカバー104と、カバー104にレンズ部を挿入したカメラ7と、有限の大きさを有する光源107と、スクリーン106と、図示しない画像処理部2で構成される。
スクリーン106は障子紙のように比較的薄手であって、破線105付近に物体を配置した場合に影(投影像)を形成して、カメラ7の側から撮影できるスクリーンである。このときに規準外径を有する物体109に対して、接線110を光源107の両端から引いてスクリーン106上で、一点で交わるように物体の位置105を調整する。この構成にして、規準外径109よりも大きな外径を有する物体108に対しては、光源107を完全に遮蔽することで形成される本影がスクリーン106に出現する。一方、基準外径109よりも小さな外径を有する物体、たとえばロープやワイヤーから分離した素線に対しては、光源107の一部を覆うことで形成される半影が出現する。この像を、カメラ7を介して画像処理部2に入力し、図1を用いて説明をした素線検出フローの処理を施すと素線を検出することができる。
これをもって、本発明の画像処理装置の構成の実施例を説明した。
実施例によれば、ハンドレールの長手方向におけるスチールコードの”素線化”発生が所定の長さ以上継続する場合には、ハンドレールの品質を不良と判定できるので、ハンドレールの交換が必要であることがわかるとともに、誤判定や不要なハンドレール交換を抑制できる。
また、スチールコードの”素線化”が不良と判定されない程度の状態の場合には、スチールコードの”素線化”を考慮してハンドレールの品質を劣化と判定し、それ以外の場合を良品と判定するので、ハンドレールの品質が劣化と判定された場合にはハンドレールの交換時期が近いことがわかるとともに、ハンドレールの品質を3段階以上の多段階(例えば、不良、劣化、良品などの段階)で評価することができる。
以上、本発明を、実施例を用いて説明してきたが、これまでの各実施例で説明した構成はあくまで一例であり、本発明は、技術思想を逸脱しない範囲内で適宜変更が可能である。
また、それぞれの実施例で説明した構成は、互いに矛盾しない限り、組み合わせて用いても良い。尚、本明細書において、「点検」は「検査」と呼ばれる場合もあり、本明細書および特許請求の範囲における「点検」は「検査」を含むものとする。同様に、本明細書において、「保全」は「保守」と呼ばれる場合もあり、本明細書および特許請求の範囲における「保全」は「保守」を含むものとする。また、保全(保守)とは、点検(検査)、補修、交換のうち少なくとも1つを実施することであり、これらのうち2つ以上を組み合わせて実施する場合を含む。