JP2021127183A - 作業車用のワイヤロープ点検システム、作業車、方法、及びプログラム - Google Patents

Abstract

【課題】ワイヤロープに生じた異常を、異常の種別及び検出範囲を定めなくとも簡易に検出し、オペレータに提示することができる作業車用のワイヤロープ点検システム、作業車、方法、及びプログラムを提供する。【解決手段】作業車用のワイヤロープ点検システム１００は、カメラで撮影した画像から取得した判定の対象となるワイヤロープの画像と、正常なワイヤロープの画像とを比較して画像の乖離度を求める画像比較部３１２と、画像比較部３１２で求めた乖離度が、予め定められた基準値を超え、かつ、基準値を超えた数が予め定められた所定数以上である場合、判定の対象となるワイヤロープが劣化しているものと判断する劣化判断部３１５と、劣化判断部３１５からの指示に基づいて、オペレータに判定の対象となるワイヤロープが劣化していることを報知する報知部３３と、を備える。また、作業車は作業車用のワイヤロープ点検システム１００を備える。【選択図】図４

Description

本発明は、作業車用のワイヤロープ点検システム、作業車、方法、及びプログラムに関する。

作業車であるクレーンに用いられるワイヤロープは、安全規則により、定期的に点検をして正常な状態を維持しておくことが求められている。ワイヤロープの点検は、点検員により目視で行われる。ワイヤロープは、クレーンによっては数十メートルから数百メートルに及ぶ。このため、ワイヤロープの全長に亘って、検査員が目視でキンク、扁平、摩耗、発錆、素線切れ等のワイヤロープの異常の有無を検出するには膨大な時間がかかる。また、検査員が目視で検査すると、ワイヤロープの異常を見逃す場合もある。

そこで、検査員の負担の軽減または見逃しを防ぐ技術が検討されており、例えば、特許文献１には、ワイヤロープの画像から素線切れ、発錆、摩耗等を検出する技術が開示されている。また、特許文献２には、ワイヤロープの画像から直径算出と形状認識をすることにより、素線の摩耗足の大きさと数とを検出する技術が開示されている。

特開平２−０５６３９７号公報 特開２００９−０１２９０３号公報

特許文献１に開示された技術では、予め入力されているワイヤロープの素線切れ、発錆、摩耗等のパターンと、ＴＶカメラで撮影したワイヤロープの画像とを比較し、ワイヤロープの欠陥を判定している。しかし、ワイヤロープの素線切れ、発錆、摩耗等のパターンは多種多様であり、全てのパターンを網羅して入力することは難しい。このため、ワイヤロープの欠陥を判定できない可能性がある。

また、特許文献２に開示された技術では、ワイヤロープを巻き上げる巻き上げ機の綱車、または、そらせ車と擦れて摩耗する所定範囲におけるワイヤロープの画像を撮影し、素線の摩耗足の大きさと数とを検出している。しかし、ワイヤロープの摩耗、キンク、発錆等の異常は、一定の範囲内のみで起きるわけではなく、ワイヤロープの全長で生じる可能性がある。このため、ワイヤロープの所定範囲外に生じた異常を見逃す可能性がある。

本発明はこれらの課題を解決するものであり、ワイヤロープに生じた異常を、異常の種別及び検出範囲を定めなくとも簡易に検出し、オペレータに提示することができる作業車用のワイヤロープ点検システム、作業車、方法、及びプログラムを提供することを目的とする。

上記目的を達するため、本発明に係る作業車用のワイヤロープ点検システムは、
カメラで撮影した画像から取得した判定の対象となるワイヤロープの画像と、正常なワイヤロープの画像とを比較して画像の乖離度を求める画像比較部と、
前記画像比較部で求めた乖離度が、予め定められた基準値を超え、かつ、前記基準値を超えた数が予め定められた所定数以上である場合、前記判定の対象となるワイヤロープが劣化しているものと判断する劣化判断部と、
前記劣化判断部からの指示に基づいて、オペレータに前記判定の対象となるワイヤロープが劣化していることを報知する報知部と、
を備える。

また、上記目的を達するため、本発明に係る作業車は、作業車用のワイヤロープ点検システムを備えている。

本発明における作業車用のワイヤロープ点検システム、作業車、方法、及びプログラムによれば、カメラで撮影した画像から取得した判定の対象となるワイヤロープの画像と、正常なワイヤロープの画像とを比較して画像の乖離度を求め、基準値を超えた乖離度が所定数以上ある場合、オペレータに判定の対象となるワイヤロープが劣化していることを報知することができる。これにより、ワイヤロープに生じた異常を、異常の種別、検出範囲を定めず簡易に検出し、オペレータに提示することができる。

実施の形態に係るクレーンの概要図である。 （Ａ）は実施の形態に係るブーム先端カメラによるワイヤロープの撮影の概要を示す図であり、（Ｂ）はブーム先端カメラにより撮影されたワイヤロープの映像の一例を示す図である。 実施の形態に係るクレーンで用いられるワイヤロープの外観を示す図である。（Ａ）は正常なワイヤロープの一例を示し、（Ｂ）はプラスキンクのワイヤロープの一例を示し、（Ｃ）は形くずれを生じたワイヤロープの一例を示し、（Ｄ）は摩耗したワイヤロープの一例を示し、（Ｅ）は素線に断線が生じたワイヤロープの一例を示す。 実施の形態に係るワイヤロープ点検システムの構成図である。 実施の形態に係る制御部のハードウエア構成の一例を示す図である。 実施の形態に係るニューラルネットワークの概要を示す図である。 図６に示したニューラルネットワークにおける畳み込み処理の概要を示す図である。 図６に示したニューラルネットワークにおけるプーリング処理の概要を示す図である。 図６に示したニューラルネットワークにおけるフラット化処理の概要を示す図である。 実施の形態に係る評価データベースのテーブルの一例を示す図である。 実施の形態に係る学習処理のフローチャートである。 実施の形態に係るワイヤロープ点検処理のフローチャートである。

本発明の実施の形態に係るワイヤロープ点検システムは、作業車である移動式クレーンに備えられる。ワイヤロープ点検システムは、ブームの先端に取り付けられたブーム先端カメラにより撮影されたワイヤロープの画像から、ニューラルネットワークにより正常なワイヤロープの画像との乖離度を求め、予め定められた基準値を超えた乖離度の数が、予め定められた所定数以上あった場合に、クレーンのオペレータにワイヤロープの異常を提示することができるシステムである。

以下、実施の形態に係るワイヤロープ点検システムについて、図面を参照しつつ説明する。なお、同一または同等の部分に同一の符号を付す。

最初に、本実施の形態におけるワイヤロープ点検システム１００が適用されるクレーン１の全体的な構成を、図１を参照しつつ説明する。クレーン１は、走行機能を有する車両本体部分の上に旋回台を介してブラケット２とキャビン３とを備えている。キャビン３には、後述するワイヤロープＷの異常を判定する処理を行う制御部３１と、ワイヤロープＷの異常を判定するためのデータ、プログラム等を保存する記憶部３２、キャビン３に搭乗するオペレータにワイヤロープＷの異常を提示する報知部３３とが内蔵されている。報知部３３は、キャビン３に搭乗するオペレータが、クレーン１を操作中に視認可能な場所に配置されている。なお、制御部３１と記憶部３２とは、オペレータが、クレーン１を操作中に視認可能な場所または視認不可能な場所のどちらに配置されていてもよい。

また、ブラケット２には、ブーム４が、ブーム４の基端部の支持軸を介して取り付けられている。ブーム４は、この支持軸を中心にして起伏することができる。ブーム４は、ブラケット２とブーム４との間に設けられた起伏用シリンダが伸縮することにより、起伏することができる。また、ブーム４の先端には、ブーム先端部６が備えられている。ブーム先端部６の内部には、シーブが備えられている。

ブーム４の基端部の近傍には、回転することにより、ワイヤロープＷの繰り出し及び巻き上げを行うウインチドラム５が設けられている。ウインチドラム５から延びたワイヤロープＷは、ブーム４に沿ってブーム先端部６内のシーブに掛けられ、シーブを経由してフックブロック７を吊り下げる。また、ブーム先端部６には、フックブロック７を吊り下げているワイヤロープＷを撮影することができるブーム先端カメラ８が備えられている。

ここで、図１において、フックブロック７を吊り下げるワイヤロープＷのうち、ブーム先端カメラ８側のワイヤロープＷを第１ワイヤロープＷ１と呼び、ブーム４側のワイヤロープＷを第２ワイヤロープＷ２と呼ぶ。また、フックブロック７がブーム先端部６に向かう方向を上方向とし、フックブロック７が地面に向かう方向を下方向とする。

ブーム先端カメラ８による、フックブロック７を吊り下げているワイヤロープＷの撮影方法について、図２を参照しつつ説明する。まず、図２（Ａ）に示すブーム先端カメラ８は、自らの撮影領域ｆａ内にあるものの動画及び静止画を撮影することができるカメラである。本実施の形態において、ブーム先端カメラ８は、第１ワイヤロープＷ１を撮影することができる位置及び角度で、ブーム先端部６に設けられているものとする。ブーム先端カメラ８は、Ｐ方向から見た第１ワイヤロープＷ１を撮影する。

第１ワイヤロープＷ１は、図１に示したウインチドラム５からワイヤロープＷが繰り出されると、第２ワイヤロープＷ２と共に繰り出された長さに応じて伸びる。これにより、フックブロック７が下方向に向かう。また、第１ワイヤロープＷ１は、ウインチドラム５によりワイヤロープＷが巻き上げられると、第２ワイヤロープＷ２と共に巻き上げられた長さに応じて縮む。これにより、フックブロック７が上方向に向かう。

ブーム先端カメラ８は、上方向または下方向に向かう第１ワイヤロープＷ１の連続した動きを捉えられるようにするため、動画で第１ワイヤロープＷ１を撮影する。ブーム先端カメラ８により撮影される動画の一例を、図２（Ｂ）に示す。第１ワイヤロープＷ１の動画は、時間ｔに応じて動く画像である。後述するワイヤロープ点検システム１００では、ブーム先端カメラ８により撮影された動画像の一部の区間を切り取って静止画とし、静止画に含まれる第１ワイヤロープＷ１の像をもとにワイヤロープＷの異常の有無を判定する。以下では、ブーム先端カメラ８により撮影された動画像を切り取る区間を、区間ｓとする。区間ｓで動画を切り取るタイミングは、図１に示したウインチドラム５が３分の１回転した時、一定の時間毎など、任意のタイミングである。なお、区間ｓを切り取るタイミングは、第１ワイヤロープＷ１における異常の有無を漏れなく判定できるように、前後の区間ｓが途切れない、もしくは、前後の区間ｓの一部分が被るタイミングであると、より好ましい。

ワイヤロープＷは、金属線である素線の束を撚り合わせたストランドを複数本、天然及び合成の繊維、または、鋼材により構成される心綱を中心に撚り合わせること構成されている。例えば、正常なワイヤロープＷの一例を、図３（Ａ）に示す。正常なワイヤロープＷは、ストランドの撚りが均一であり、素線の飛び出し、変形等も無い状態である。

ワイヤロープＷには、使用している間に様々な異常が生じる。例えば、図３（Ｂ）の矢印ａの差し示す部分のストランドのように、局部的にストランド同士の撚りが戻る場合がある。これを、プラスキンクという。なお、逆に、局部的にストランド同士の撚り詰まる場合もあり、これをマイナスキンクという。以下では、プラスキンクとマイナスキンクとを総称して、キンクと呼ぶ。その他にも、図３（Ｃ）の矢印ｂの差し示す部分のように、形くずれしてストランドが飛び出す場合、図３（Ｄ）の矢印ｃの差し示す部分のように、ワイヤロープ同士、シーブ等に擦れて摩耗する場合、図３（Ｅ）の矢印ｄの差し示す部分のように素線が断線する場合等がある。なお、ここでの摩耗は、ストランドを構成する素線と素線の隙間が無くなることをいう。

図３（Ｂ）から図３（Ｅ）に示した異常等がワイヤロープＷに生じると、ワイヤロープＷの強度が低下する。そのまま使用し続けると、例えば、吊り荷を支え切れず滑落させる場合、ストリングが切れる場合等、重大な事故につながる可能性が高い。しかし、クレーン１の作業中にワイヤロープＷに異常が生じたことが分かっても、クレーン１で行っている作業を直ぐに中断しワイヤロープＷを点検及び交換することは、実際の作業の工程上難しい場合が多い。また、図３（Ｂ）から図３（Ｅ）に示した異常等の状態が、直ぐに対処しないと不味い状態になっていない場合、クレーン１における作業が終わった後でワイヤロープＷを点検し、必要であれば交換しても大きな支障はない。

そこで、本実施の形態では、ブーム先端カメラ８により撮影された第１ワイヤロープＷ１の画像をもとに、ニューラルネットワークにより正常なワイヤロープＷの画像との乖離度を求め、閾値以上の乖離度が予め定められた回数以上あった場合に、クレーン１のオペレータにワイヤロープＷの異常を提示することができるワイヤロープ点検システム１００を提供する。

本実施の形態に係るワイヤロープ点検システム１００の構成を、図４に示す。ワイヤロープ点検システム１００は、ブーム先端カメラ８から第１ワイヤロープＷ１の動画を取得し各種の処理を行う制御部３１と、制御部３１の処理で使用されるデータ及びプログラム等を保存する記憶部３２と、キャビン３に搭乗するオペレータにワイヤロープＷの異常を提示する報知部３３とを含む。

制御部３１は、第１ワイヤロープＷ１の動画を取得する画像取得部３１１と、第１ワイヤロープＷ１と正常なワイヤロープＷとの乖離度を求める画像比較部３１２と、ワイヤロープＷの繰り出し量を取得する繰出量検出部３１３と、記憶部３２の評価データベース３２４にデータを保存する評価結果保存部３１４と、第１ワイヤロープＷ１の劣化を判断する劣化判断部３１５とを備える。画像取得部３１１は、ブーム先端カメラ８から第１ワイヤロープＷ１の動画を取得する。

画像取得部３１１は、取得した動画を、図２（Ｂ）に示した区間ｓで切り取り、静止画を生成する。なお、画像取得部３１１により第１ワイヤロープＷ１の動画を区間ｓで切り取るタイミングは任意のタイミングであり、例えば、図１に示したウインチドラム５が３分の１回転した時、一定の時間毎である。続いて、画像取得部３１１は、生成した静止画から第１ワイヤロープＷ１の画像を検出して切り取り、第１ワイヤロープＷ１の周囲に写り込んだものを除去する。なお、切り取った第１ワイヤロープＷ１の画像に対して平滑化、先鋭化、エッジ抽出、二値化等の画像処理を加えても良い。

画像比較部３１２は、画像取得部３１１から第１ワイヤロープＷ１の画像を取得する。画像比較部３１２は、取得した第１ワイヤロープＷ１の画像の特徴ベクトルを、ニューラルネットワークを用いて求める。画像比較部３１２の備えるニューラルネットワークは、畳み込みニューラルネットワークである。以下では、畳み込みニューラルネットワークのことをＣＮＮ（Ｃｏｎｖｏｌｕｔｉｏｎａｌ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ）と呼ぶ。画像比較部３１２は、予め教師データ３２１により学習を行い、ＣＮＮの畳み込み処理に使用するカーネルの重みと、分類を行う多層パーセプトロンの係数とを定める。定められたＣＮＮのカーネルの重みのデータと係数のデータとは、記憶部３２にカーネル及び係数のデータ３２２として保存される。画像比較部３１２は、後述する記憶部３２の基準特徴ベクトルのデータ３２３を取得し、求めた静止画の特徴ベクトルと比較して類似度を求める。画像比較部３１２は、求めた類似度を１から引き、正常なワイヤロープＷとの乖離度を求める。

繰出量検出部３１３は、ウインチドラム５から回転数を取得する。繰出量検出部３１３は、取得した回転数をもとにして、ワイヤロープＷの位置を求める。なお、本実施の形態においてワイヤロープＷの位置は、図１に示したブーム４を構成するセカンドブームからトップブームまで全てベースブームに収納され、起伏用シリンダが縮小してキャビン３横に折り畳まれた状態を０メートルとし、ウインチドラム５の回転数に応じて変化するものとする。

評価結果保存部３１４は、画像比較部３１２から正常なワイヤロープＷとの乖離度を取得する。また、評価結果保存部３１４は、画像取得部３１１により第１ワイヤロープＷ１の静止画を取得されたタイミングのワイヤロープＷの位置を、繰出量検出部３１３から取得する。評価結果保存部３１４は、取得した正常なワイヤロープＷとの乖離度と、ワイヤロープＷの位置とを対応付けて、記憶部３２の評価データベース３２４に保存する。

劣化判断部３１５は、記憶部３２に保存された評価データベース３２４を取得する。劣化判断部３１５は、取得した正常なワイヤロープＷとの乖離度が、予め定められていた基準値を超える場合、基準値を超えた数が予め定められた所定数以上であるか否かを判定する。劣化判断部３１５は、基準値を超えた数が所定数以上である場合、ワイヤロープＷが劣化しているものと判断し、クレーン１のオペレータに対して、ワイヤロープＷが劣化していることを、報知部３３から報知させる。

報知部３３は、音声により報知をする音声出力部３３ａと、表示による報知をする表示部３３ｂとを含む。音声出力部３３ａにより報知される音声は、単一の音からなる警告音、メッセージを読み上げる人の声等である。表示部３３ｂにより報知される表示は、警告の旨を示す文字列、記号等である。

制御部３１に備えられた画像取得部３１１と、画像比較部３１２と、繰出量検出部３１３と、評価結果保存部３１４と、劣化判断部３１５とは、ソフトウエアとして構成される処理ブロックである。この処理ブロックを実現するためのハードウエア構成の一例を、図５に示す。

制御部３１は、各種プログラムを実行するプロセッサ３３０と、各種プログラムを展開するためのメモリ３３１と、表示部３３ｂに表示用データを出力する表示コントローラ３３２と、ブーム先端カメラ８、ウインチドラム５、音声出力部３３ａ等を接続するためのＩ／Ｏポート３３３とを備えている。このプロセッサ３３０と、メモリ３３１と、表示コントローラ３３２と、Ｉ／Ｏポート３３３とは、データバス３３４を介して相互に接続している。また、制御部３１は、各種プログラム及び各種データを保存する記憶部３２とも、データバス３３４を介して接続している。

プロセッサ３３０は、記憶部３２に保存された各種プログラムを読み出してメモリ３３１に展開し、実行する。プロセッサ３３０は、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）、ＭＰＵ（Ｍｉｃｒｏ−ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）等の処理装置を用いて構成することができる。メモリ３３１は、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）、フラッシュメモリ等の揮発性または不揮発性の半導体メモリ等の記憶素子および記憶媒体を用いて構成することができる。

表示コントローラ３３２は、表示部３３ｂに対して、文字及び画像から構成される表示用データを表示させるため映像信号を出力するコントローラである。表示コントローラ３３２は、ビデオカード、ＧＰＵ（Ｇｒａｐｈｉｃｓ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）、グラフィックボードといった映像信号出力装置を用いて構成することができる。

また、ブーム先端カメラ８は、静止画及び動画を撮影することができるカメラであり、ＣＣＤ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）、ＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）等の撮像素子を用いて構成することができる。また、ブーム先端カメラ８には、ピントの設定、パン機能、チルト機能といった一般的なデジタルカメラが備える機能を備える。

音声出力部３３ａは、クレーン１のオペレータに音声による報知を行うものであり、スピーカ、報知器等の音声出力機器を用いて構成することができる。表示部３３ｂは、ＬＣＤ（Ｌｉｑｕｉｄ Ｃｒｙｓｔａｌ Ｄｉｓｐｌａｙ）、有機ＥＬ（Ｅｌｅｃｔｒｏ−Ｌｕｍｉｎｅｓｃｅｎｃｅ）パネル等の表示インターフェース装置から構成することができる。また、記憶部３２は、ＨＤＤ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）、フラッシュメモリ、ＩＣ（Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ）メモリ素子等の記憶装置または記憶素子を用いて構成することができる。

次に、図４に示した制御部３１の画像比較部３１２が行う、第１ワイヤロープＷ１の静止画の特徴ベクトルを、ニューラルネットワークを用いて求める処理について、以下に説明する。まず、画像比較部３１２に組み込まれるニューラルネットワークであるＣＮＮについての概要を、図６を参照しつつ説明する。

ＣＮＮは、入力された入力画像の特徴を畳み込む畳み込み層と、畳み込みされた画像の解像度を下げるプーリング層と、畳み込んだ画像を分類する全結合層と、結果を出力する出力層とを備える。畳み込み層は、入力画像の全画素に対して、カーネル（フィルタ）のデータと画素毎に比較し、その特徴量を求め、特徴マップを生成する。例えば、図７に示すように、高さ６×幅６の入力画像に対して、高さ３×幅３のカーネルを使用して特徴マップを生成するものとする。なお、カーネルは、白黒であれば１つであるが、カラーであれば色の数だけ用意する必要が。例えば、ＲＧＢの３色であれば、カーネルを３つ用意し、各カーネルにより入力画像を畳み込む。

入力画像内の数値は、画素を示している。また、カーネル内の数値は、カーネルの重みを示している。カーネルの重みは、ＣＮＮの学習により変化する値である。まず、入力画像の左上の３×３サイズの部分に、カーネルを使用する。入力画像の各画素に対して、対応する位置のカーネルの重みを掛ける。掛けた値を全て合算する。ここでは、（０×１）＋（１×０）＋（１×１）＋（１×０）＋（０×０）＋（０×１）＋（１×１）＋（１×１）＋（０×０）＝３となる。合算した値「３」を、特徴マップの左の一番上に入力する。続いて、入力画像の画素に対して、カーネルを上下左右に一画素ずつずらし、特徴マップを生成する。

図６にもどる。次に、畳み込み層で生成した特徴マップをプーリング層に入力する。プーリング層は、入力された特徴マップに対して、画像の解像度を下げるプーリング処理を行う。プーリング処理には、平均プーリングという集約方法と、最大プーリングという集約方法がある。例えば、最大プーリングという集約方法をとる場合を図８に示す。

例えば、特徴マップが４×４サイズとする。この特徴マップを２×２サイズに縮小する場合、特徴マップの２×２サイズの領域の中で、一番大きな値を持つ画素を抽出する。まず、図８に示す特徴マップにおいて、左上の２×２サイズの領域の中で一番大きな値を持つ画素を探す。左上の２×２サイズの中では、「４」が一番大きいので、この値を抽出する。続いて、特徴マップの左下、右上、右下の２×２サイズの領域それぞれに対して、その領域の中で一番大きな値を持つ画素を抽出する。抽出した画素は、各領域の特徴量となる。

図６に戻る。畳み込み層とプーリング層とは、順番に複数配置される。最終のプーリング層におけるプーリング処理を終え、生成された入力画像の特徴量を、全結合層に入力する。全結合層は、多層パーセプトロンの入力層及び中間層である。多層パーセプトロンの入力層には、１次元のデータしか入力することができない。入力画像から生成された特徴量は、多次元のマトリックのデータである。そこで、入力画像から生成された特徴量のデータをフラット化し、一次元の列ベクトルにしてから、全結合層の入力層へ入力する。

フラット化に方法について、図９を参照して説明する。最終プーリング層後の入力画像から生成された特徴量を、例えば、３×３のマトリックスのデータとする。このマトリックのデータを、１行目の１から３列目、２行目の１から３列目、３行目の１から３列目の順で、１列に並べる。１列に並べたデータは一次元の列ベクトルとなるため、列ベクトルの各値を全結合層の入力層へ入力することができる。なお、以下では、この列ベクトルのことを、特徴ベクトルと呼ぶ。

図６に戻る。全結合層は、入力層に特徴ベクトルの各値が入力されると、各ニューロンに設定された係数データを用いて、順次計算をし、計算結果を中間層に送る。中間層は、各ニューロンに設定された係数のデータを用いて、前の層から受信した計算結果を計算する。

ＣＮＮの出力層は、多層パーセプトロンの出力層である。中間層の計算結果を出力層に入力すると、出力層の各ニューロンに設定された値と比較する。比較した結果、設定された値が一致すればニューロンが発火し、不一致であればニューロンが発火しない。発火したニューロンに設定されていた値を基に、ＣＮＮの出力を定める。

上述したように、ＣＮＮでは、最終のプーリング層で生成された特徴量から生成された特徴ベクトルのデータを、全結合層に入力し分類している。ＣＮＮは、クラス識別のためのニューラルネットワークであり、全結合層へ入力されるデータを基にクラス識別することができるのであれば、全結合層へ入力されるデータを、入力画像を要約する特徴量のデータとしてみなすことができる。そこで、本実施の形態に係るワイヤロープ点検システム１００では、全結合層へ入力されるデータ、すなわち、特徴ベクトルを基にブーム先端カメラ８で撮影する第１ワイヤロープＷ１の画像と正常なワイヤロープＷの画像との乖離度を求め、求めた乖離度から第１ワイヤロープＷ１の劣化を判断するものとする。

ブーム先端カメラ８で撮影する第１ワイヤロープＷ１の画像と正常なワイヤロープＷの画像との乖離度は、ＣＮＮにより抽出された各々の特徴ベクトルを比較して類似度を求め、求めた類似度を基に求めることができる。第１ワイヤロープＷ１の画像と正常なワイヤロープＷの画像との特徴ベクトルは同じ次元のベクトルであるので、ベクトルの類似度を求めるコサイン類似度、ヒアソンの相関係数、偏差パターン類似度等の方法を用いて、特徴ベクトル同士の類似度を求める。

本実施の形態では、コサイン類似度を用いて、特徴ベクトル同士の類似度を求めるものとする。コサイン類似度は、ベクトルＸ、Ｙのなす角θの余弦ＣＯＳθをいい、ベクトルの向きの近さを類似性の指標とするものである。コサイン類似度では、三角関数の普通のコサインの通り、１に近ければ類似し、０に近ければ類似しないものとされる。ここで、ベクトルＸ、Ｙの類似度をＲとする。ベクトルＸ、Ｙの類似度Ｒは、下記の式（１）により求めることができる。

上記の式（１）のベクトルＸに、第１ワイヤロープＷ１の画像の特徴ベクトルを代入し、ベクトルＹに正常なワイヤロープＷの画像との特徴ベクトルを代入し、第１ワイヤロープＷ１の画像と正常なワイヤロープＷの画像との類似度Ｒを求める。第１ワイヤロープＷ１の画像と正常なワイヤロープＷの画像との乖離度Ｅ［％］は、下記の式（２）により求めることができる。
乖離度Ｅ［％］ ＝（１−類似度Ｒ）＊１００ （２）

乖離度Ｅは、０［％］に近いほど、第１ワイヤロープＷ１の画像と正常なワイヤロープＷの画像とは似ており、すなわち、第１ワイヤロープＷ１の状態は正常な状態に近いことを示す。逆に、乖離度Ｅは、１００［％］に近いほど、第１ワイヤロープＷ１の画像と正常なワイヤロープＷの画像とは似ておらず、すなわち、第１ワイヤロープＷ１の状態は劣化した状態にあることを示す。

上述の第１ワイヤロープＷ１の画像と正常なワイヤロープＷの画像との類似度及び乖離度Ｅ［％］は、図４に示した制御部３１の画像比較部３１２により求められる。画像比較部３１２で求められた乖離度Ｅ［％］は、図４に示した制御部３１の評価結果保存部３１４により、乖離度Ｅを求めた対象のワイヤロープＷの位置及び対象のワイヤロープＷの画像を撮影した日時と対応つけて、図４に示した記憶部３２の評価データベース３２４に保存される。

記憶部３２に保存された評価データベース３２４のテーブルの一例を、図１０に示す。評価データベース３２４のテーブルは、項目として、乖離度Ｅを求めた対象のワイヤロープＷの画像を撮影した日時と、乖離度Ｅと、乖離度Ｅを求めた対象のワイヤロープＷの位置とを含む。図４に示した制御部３１の劣化判断部３１５は、評価データベース３２４に保存された乖離度Ｅのデータのうち、所定値以上の乖離度Ｅが規定回数以上あった場合に、クレーン１のオペレータに警告を報知する。

次に、本実施の形態に係るワイヤロープ点検システム１００の動作について、図１１及び図１２を参照しつつ説明する。図１１は、図４に示したワイヤロープ点検システム１００の制御部３１の画像比較部３１２における学習処理のフローチャートであり、図１２は、ワイヤロープ点検システム１００におけるワイヤロープ点検処理のフローチャートである。図１１示す学習処理のフローチャート及び図１２に示すワイヤロープ点検処理のフローチャートとはそれぞれ、学習処理プログラム、ワイヤロープ点検処理プログラムとして、図４に示した記憶部３２に保存されている。

学習処理プログラムは、図４に示した制御部３１の画像比較部３１２に備えられたＣＮＮに、正常な状態のワイヤロープＷの画像を入力し、出力として正常な状態のワイヤロープＷであることを判定できるように、畳み込み層のカーネルの重みと、全結合層の中間層及び出力層の重み係数とを定めさせる処理である。したがって、ワイヤロープ点検システム１００におけるワイヤロープ点検処理を行う前に、制御部３１の画像比較部３１２は、学習処理プログラムを実行し、畳み込み層のカーネルの重みと、全結合層の中間層及び出力層の重み係数とを定める。ワイヤロープ点検システム１００は、ワイヤロープ点検処理を実行する前に、図５に示したプロセッサ３３０に記憶部３２から学習処理プログラムをメモリ３３１に読み出し、実行する。学習処理プログラムの実行する処理の流れを、図１１を参照しつつ、以下に説明する。

制御部３１の画像比較部３１２は、ＣＮＮの畳み込み層のカーネルの重みと、全結合層の中間層及び出力層の各ニューロンの重み係数とに初期値を設定する（ステップＳ１）。画像比較部３１２は、図４に示した教師データ３２１から、一つ目の画像を読み込む（ステップＳ２）。この教師データ３２１は、正常な状態のワイヤロープＷの画像である。画像比較部３１２は、誤差伝搬（Ｂａｃｋ Ｐｒｏｐａｇａｔｉｏｎ）法を用いて、畳み込み層のカーネルの重みと、全結合層の中間層及び出力層の各ニューロンの重み係数とを更新する（ステップＳ３）。

続いて、画像比較部３１２は、全ての教師データ３２１について、学習処理を終了したか判定する（ステップＳ４）。画像比較部３１２は、全ての教師データ３２１について、学習処理を終了していない場合（ステップＳ４；ＮＯ）、ステップＳ２に戻り、次の教師データ３２１について誤差伝搬処理を実行する。一方、画像比較部３１２は、全ての教師データ３２１について、学習処理を終了した場合（ステップＳ４；ＹＥＳ）、その時点での、全結合層への入力値である特徴ベクトルのデータを、図４に示した記憶部３２に基準特徴ベクトルのデータ３２３として保存する（ステップＳ５）。続いて、画像比較部３１２は、その時点での畳み込み層のカーネルの重みのデータと、全結合層の中間層及び出力層の各ニューロンの重み係数のデータとを、記憶部３２にカーネル及び係数のデータ３２２として保存する（ステップＳ６）。

次に、図１２に示すワイヤロープ点検処理の動作について説明する。ワイヤロープ点検システム１００は、クレーン１で作業が開始されると、図５に示したプロセッサ３３０に記憶部３２からワイヤロープ点検処理プログラムをメモリ３３１に読み出し、実行する。ワイヤロープ点検処理プログラムが実行されると、制御部３１は、図４に示した各情処理ブロックとして機能する。ワイヤロープ点検処理プログラムの実行する処理の流れを、図１２を参照しつつ、以下に説明する。

図４に示した制御部３１の画像比較部３１２は、記憶部３２に保存されているカーネル及び係数のデータ３２２から、畳み込み層のカーネルの重みのデータと、全結合層の中間層及び出力層の各ニューロンの重み係数のデータを取得する。画像比較部３１２は、自身に備えられたＣＮＮに、畳み込み層のカーネルの重みのデータと、全結合層の中間層及び出力層の各ニューロンの重み係数のデータを読み込ませる（ステップＳ１１）。続いて、画像比較部３１２は、記憶部３２の基準特徴ベクトルのデータ３２３から、基準特徴ベクトルのデータを取得する（ステップＳ１２）。この基準特徴ベクトルは、正常なワイヤロープＷの画像から求めた特徴ベクトルのデータである。

図４に示した制御部３１の画像取得部３１１は、ブーム先端カメラ８から図２（Ａ）に示した第１ワイヤロープＷ１の動画を取得する。画像取得部３１１は、取得した動画を図２（Ｂ）に示した区間ｓで切り取り、静止画を生成する。画像取得部３１１は、生成した静止画から第１ワイヤロープＷ１の画像を取得する（ステップＳ１３）。画像取得部３１１は、取得した第１ワイヤロープＷ１の画像を、画像比較部３１２に送信する。

評価結果保存部３１４は、図４に示した制御部３１の繰出量検出部３１３を介してウインチドラム５の回転数を取得する。評価結果保存部３１４は、取得したウインチドラム５の回転数を基にして、ステップＳ１３で画像取得部３１１が第１ワイヤロープＷ１の動画を取得した時のワイヤロープＷの位置を求める。また、評価結果保存部３１４は、ステップＳ１３で画像取得部３１１が第１ワイヤロープＷ１の動画を取得した時の日時を取得する（ステップＳ１４）。

画像比較部３１２は、画像取得部３１１から受信した第１ワイヤロープＷ１の画像をＣＮＮに入力し、特徴ベクトルを求める（ステップＳ１５）。画像比較部３１２は、第１ワイヤロープＷ１の画像から求めた特徴ベクトルと、ステップＳ１２で記憶部３２から取得した基準特徴ベクトルとの類似度Ｒを、上述したコサイン類似度の式（１）を用いて求める。画像比較部３１２は、求めた類似度Ｒを上述した式（２）に当てはめ、乖離度Ｅを求める（ステップＳ１６）。画像比較部３１２は、求めた乖離度Ｅを、図４に示した制御部３１の評価結果保存部３１４に送信する。

評価結果保存部３１４は、画像比較部３１２から受信した乖離度Ｅを、ステップＳ１４で求めたワイヤロープＷの位置と、画像取得部３１１が第１ワイヤロープＷ１の動画を取得した時の日時とに対応づけ、図４に示した記憶部３２の評価データベース３２４の末尾に追記し、保存する（ステップＳ１７）。図４に示した制御部３１の劣化判断部３１５は、記憶部３２に保存された評価データベース３２４を読み込む。劣化判断部３１５は、評価データベース３２４に保存されている乖離度Ｅのデータのうち、予め定められている基準値を超えた乖離度Ｅのデータの数が、予め定められた所定数以下か判定する（ステップＳ１８）。基準値を超えた乖離度Ｅのデータの数が、所定数以下である場合（ステップＳ１８；ＹＥＳ）、劣化判断部３１５は処理を終了し、ステップＳ１３に戻る。

基準値を超えた乖離度Ｅのデータの数が、所定数を超えた場合（ステップＳ１８；ＮＯ）、劣化判断部３１５は、ワイヤロープＷが劣化しているものと判断する。劣化判断部３１５は、クレーン１のオペレータに対して、図４に示した報知部３３からワイヤロープが劣化している旨を報知させる（ステップＳ１９）。例えば、劣化判断部３１５は、報知部３３の音声出力部３３ａから、音声によるメッセージ、警告音等を出力させる。また、劣化判断部３１５は、報知部３３の表示部３３ｂに、ワイヤロープＷが劣化している旨と、劣化しているワイヤロープＷの位置の情報とを表示させる。制御部３１は、ステップＳ１３に戻り、処理を繰り返す。

以上のように、実施の形態によれば、ブーム４の先端に取り付けられたブーム先端カメラ８により撮影されたワイヤロープＷの画像から、ニューラルネットワークにより正常な状態のワイヤロープＷの画像との乖離度Ｅを求め、基準値を超えた乖離度Ｅが所定数以上あった場合に、クレーン１のオペレータに対し、ワイヤロープＷが劣化していることを提示することができる。これにより、ワイヤロープに生じた異常を、異常の種別、検出範囲を定めず簡易に検出し、オペレータに提示することができる。

また、本発明の実施の形態では、ワイヤロープ点検システム１００における情報処理の各機能を実現する制御部３１を、図５に示したプロセッサ３３０、メモリ３３１、表示コントローラ３３２、Ｉ／Ｏポート３３３、データバス３３４、記憶部３２にて実現するものとした。しかしながら、専用のシステムによらず、通常のコンピュータシステムを用いて実現可能である。例えば、上述の各機能を実現するためのプログラムを、コンピュータが読み取り可能なＣＤ−ＲＯＭ（Ｃｏｍｐａｃｔ Ｄｉｓｃ Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、ＤＶＤ−ＲＯＭ（Ｄｉｇｉｔａｌ Ｖｅｒｓａｔｉｌｅ Ｄｉｓｃ Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）などの記録媒体に格納して配布し、このプログラムをコンピュータにインストールすることにより、上述の各機能を実現することができるコンピュータを構成してもよい。そして、各機能をＯＳ（Ｏｐｅｒａｔｉｎｇ Ｓｙｓｔｅｍ）とアプリケーションとの分担、またはＯＳとアプリケーションとの協同により実現する場合等には、アプリケーションのみを記録媒体に格納してもよい。

さらに、搬送波に各プログラムを重畳し、ネットワークを介して配信することも可能である。例えば、ネットワーク上の掲示板であるＢＢＳ（Ｂｕｌｌｅｔｉｎ Ｂｒｏａｄ Ｓｙｓｔｅｍ）にプログラムを掲示し、ネットワークを介して当該プログラムを配信してもよい。そして、これらのプログラムを起動し、ＯＳの制御下で、他のアプリケーションプログラムと同様に実行することにより、上述の処理を実行できる構成としてもよい。

（変形例１）
上記の実施の形態においては、ブーム先端カメラ８により撮影されたワイヤロープＷの画像を基に、ワイヤロープの異常を判定した。しかしながら、ウインチドラム５の動作を監視するために設けられているドラム監視カメラ、吊り荷を監視する吊り荷監視カメラ等により撮影されたワイヤロープＷの画像を基に、ワイヤロープＷの異常を判定してもよい。また、複数のカメラで撮影した画像を基にしたワイヤロープＷの異常を判定の結果を組み合わせ、異常を判定してもよい。

（変形例２）
上記の実施の形態においては、制御部３１の画像比較部３１２に備えるＣＮＮに、正常なワイヤロープの画像を学習させ、ブーム先端カメラ８により撮影されたワイヤロープＷの画像との乖離度Ｅを求めることにより、ワイヤロープＷの異常を判定した。しかしながら、画像比較部３１２に備えるＣＮＮに、正常なワイヤロープの画像だけでなく、各種の異常なワイヤロープＷの画像を学習させ、異常の種別を判定できるようにしてもよい。

（変形例３）
上記の実施の形態においては、制御部３１をクレーン１のキャビン３に内蔵するものとした、これに限らず、制御部３１をクレーン１の外部に置き、ワイヤロープＷの異常を判定させてもよい。

（変形例４）
上記の実施の形態においては、制御部３１の画像比較部３１２に備えるニューラルネットワークをＣＮＮとした。これに限らず、いずれのニューラルネットワークを使用してもよい。

（変形例５）
上記の実施の形態においては、画像の乖離度を求めるために、ＣＮＮの全結合層へ入力されるデータである、最終プーリング層の特徴量を列ベクトルにした特徴ベクトルを用いた。しかしながら、これに限らず、全結合層の中間層の各ニューロンへ入力される値を特徴ベクトルとして用いても良い。

なお、本発明の技術的範囲は、上記実施の形態と変形例によっては限定されない。本発明は特許請求の範囲に記載された技術的思想の限りにおいて、自由に応用、変形、あるいは改良して、実施することができる。

１ クレーン、２ ブラケット、３ キャビン、４ ブーム、５ ウインチドラム、６ ブーム先端部、７ フックブロック、８ ブーム先端カメラ、３１ 制御部、３２ 記憶部、３３ 報知部、３３ａ 音声出力部、３３ｂ 表示部、１００ ワイヤロープ点検システム、３１１ 画像取得部、３１２ 画像比較部、３１３ 繰出量検出部、３１４ 評価結果保存部、３１５ 劣化判断部、３２１ 教師データ、３２２ カーネル及び係数のデータ、３２３ 基準特徴ベクトルのデータ、３２４ 評価データベース、３３０ プロセッサ、３３１ メモリ、３３２ 表示コントローラ、３３３ Ｉ／Ｏポート、３３４ データバス、ｆａ 撮影領域、ｓ 区間、Ｗ ワイヤロープ、Ｗ１ 第１ワイヤロープ、Ｗ２ 第２ワイヤロープ。

Claims (7)

1. カメラで撮影した画像から取得した判定の対象となるワイヤロープの画像と、正常なワイヤロープの画像とを比較して画像の乖離度を求める画像比較部と、
   前記画像比較部で求めた乖離度が、予め定められた基準値を超え、かつ、前記基準値を超えた数が予め定められた所定数以上である場合、前記判定の対象となるワイヤロープが劣化しているものと判断する劣化判断部と、
   前記劣化判断部からの指示に基づいて、オペレータに前記判定の対象となるワイヤロープが劣化していることを報知する報知部と、を備える、
   作業車用のワイヤロープ点検システム。
2. 前記画像比較部は、前記判定の対象となるワイヤロープの画像と、正常なワイヤロープの画像とから生成される特徴量を基に、一次元の列ベクトルである特徴ベクトルを求めるニューラルネットワークを備え、
   前記画像比較部は、前記ニューラルネットワークで求めた、前記判定の対象となるワイヤロープの特徴ベクトルと、前記正常なワイヤロープの特徴ベクトルとを比較した結果から前記画像の乖離度を求める、
   請求項１に記載の作業車用のワイヤロープ点検システム。
3. 作業車用のワイヤロープ点検システムは、前記画像比較部で求めた画像の乖離度のデータと、前記判定の対象となるワイヤロープの位置のデータとを対応づけて保存するための評価データベースをさらに備え、
   前記劣化判断部は、前記評価データベースに保存された画像の乖離度のデータが、前記基準値を超え、かつ、前記基準値を超えた数が予め定められた所定数以上である場合、前記判定の対象となるワイヤロープが劣化しているものと判断する、
   請求項１または２に記載の作業車用のワイヤロープ点検システム。
4. 前記報知部は、表示部を備え、
   前記報知部は、前記劣化判断部からの指示に基づいて、前記表示部にワイヤロープが劣化していることを示すメッセージと、劣化しているワイヤロープの位置の情報とを表示させる、
   請求項１から３のいずれか一項に記載の作業車用のワイヤロープ点検システム。
5. 請求項１から４のいずれか一項に記載の作業車用のワイヤロープ点検システムを備える、
   作業車。
6. 撮影した画像から取得した判定の対象となるワイヤロープの画像と、正常なワイヤロープの画像とを比較して画像の乖離度を求め、
   求めた前記乖離度が、予め定められた基準値を超え、かつ、前記基準値を超えた数が予め定められた所定数以上である場合、前記判定の対象となるワイヤロープが劣化しているものと判断し、
   オペレータに前記判定の対象となるワイヤロープが劣化していることを報知する、
   方法。
7. コンピュータに、
   撮影した画像から取得した判定の対象となるワイヤロープの画像と、正常なワイヤロープの画像とを比較して画像の乖離度を求める処理、
   求めた前記乖離度が、予め定められた基準値を超え、かつ、前記基準値を超えた数が予め定められた所定数以上である場合、前記判定の対象となるワイヤロープが劣化しているものと判断する処理、
   オペレータに前記判定の対象となるワイヤロープが劣化していることを報知する処理、
   を実行させるためのプログラム。

Images