JP2022046997A - 船舶の壁面検査用高度知能化検査システム - Google Patents

Abstract

【課題】時間帯、季節、天候などの変化に基づく光量変動の影響を受けることなく、判定基準が安定した、船舶の壁面の検査を実行する壁面検査用高度知能化検査システムを提供する。【解決手段】船舶の壁面を撮像し、壁面の撮像画像データＤを利用して、壁面の状態を良否判定する船舶の壁面検査用高度知能化検査システムであって、撮像による、時間帯、季節、天候などの変化に基づく光量変動に対して不変な情報を画像処理による前処理にて作成する前処理手段１と、前処理手段１にて作成された不変な情報を、壁面の状態について良否判定のために予め記憶され、学習されている複数の基準データに基づいて、壁面の状態を良否判定する状態判定手段２と、良否判定結果を画像再生するメディアプレーヤー４と、を備える検査用パソコン３で構成される。【選択図】図１

Description

本発明は、船舶の壁面検査用高度知能化検査システムに関するものである。

現在、船倉、船底、外板などの船舶の壁面の状態検査は、船舶が大型であるため、通常、屋外で、はしごを使用したり足場を組んだりして、専門家である作業者（検査者）が直接船舶の壁面を目視で観察して、不具合箇所を確認し、壁面の状態の良否判定を実施している。従って、広範囲に亘る高所での作業であり、作業者の安全性の確保と作業効率の向上が求められている。

そこで、このような不具合箇所の確認を、作業者が直接目視で行うのではなく、マルチコプターに搭載した撮像カメラにより取得した画像で行うようにすれば、時間やリスクを大幅に削減できることに着想し、マルチコプターに搭載した撮像カメラを用いて船倉の壁面を撮像し、その後、撮像画像により検査を行うことを出願人は先に提案している（例えば、特許文献１参照）。

また、マルチコプターに、飛行制御に必要な各種センサを設けることは知られている（例えば、特許文献２参照）。

特許第６６２８３７３号公報 特表２０１７－５２９９０３号公報

しかしながら、直接作業者による目視検査であっても、マルチコプターに搭載した撮像カメラを用いた撮像画像による検査であっても、作業者（検査者）の個人的感性での主観的な良否判定となり、判定基準が安定していない。

船舶の壁面の検査は、主に屋外での撮像画像を前提とするので、屋内の場合とは異なり、時間帯、季節、天候などの変化に基づく光量変動の影響を強く受けるので、それを配慮する必要性が高い。

本発明は、時間帯、季節、天候などの変化に基づく光量変動の影響を受けることなく、判定基準が安定した、船倉、船底、外板などの船舶の壁面の検査を実行できる船舶の壁面検査用高度知能化検査システムを提供する。

本発明の一の態様に係る船舶の壁面検査用高度知能化検査システムは、船舶の壁面を撮像し、前記壁面の撮像画像データを利用して、前記壁面の状態を良否判定する船舶の壁面検査用高度知能化検査システムであって、撮像による壁面の撮像画像データから、画像処理により、時間帯、季節、天候などの変化に基づく光量変動に対して不変な情報を作成する前処理手段と、前記前処理手段に先立って、予め撮像して取得した複数の画像データから、画像処理により、それぞれ時間帯、季節、天候などの変化に基づく光量変動に対して不変な複数の基準データを記憶させ学習させる学習手段と、前記前処理手段にて作成された前記不変な情報を、前記複数の基準データに基づいて、前記壁面の状態を良否判定する状態判定手段と、を備えることを特徴とする。ここで、船舶の壁面の撮像は、主に屋外で行われるが、船倉の壁面の撮像など屋内で行われる場合を含む。

また、時間帯、季節、天候などの変化に基づく光量変動に対して不変な情報とは、時間帯、季節、天候などの変化による環境変化を原因とする光量変動に影響されない情報を意味する。また、複数の基準データとは、例えば良品、不良品についての複数の画像データに基づくもので、これらが予め記憶、学習される。なお、判定対象の情報（データ）も、判定終了後は、このデータを記憶、学習して以後の基準データとして用いることができる。

このようにすれば、船舶の壁面を撮像し、その壁面の撮像画像データから、時間帯、季節、天候などの変化に基づく光量変動に対して不変な情報を画像処理による前処理にて作成し、その不変な情報を、前記壁面の状態について良否判定のために予め記憶、学習されている基準データに基づいて、前記壁面の状態の良否が判定されるので、専門家である作業者（検査者）の個人的感性によることなく、判定基準が安定した検査が実行される。

また、上述した通り、船舶の壁面の検査は、主に屋外での撮像画像を前提とするので、屋内の場合に比べ、時間帯、季節、天候などの変化に基づく光量変動の影響を強く受ける。また、ドローンで撮像した画像を対象とする場合には、空撮の焦点ボケ、傾きなどの影響が直接壁面の良否判定に受けることとなる。

さらに、各種色合いの異なる壁面を検査対象とする場合には、色合いの違いに不変な仕組みを考慮する必要がある。一方、専門家の再現性が不十分な感性判断における壁面の良否判定を、専門家が選定した良品及び不良品の画像で判定の仕組みを自動で構築することが必要となる。

以上の条件を満たし、精度よく良否判定するためには、通常の画像処理とパターンマッチングでは不十分であり、人工知能を用いた学習を用いることが好ましく、例えば、人工知能の一種である人間の学習機能をコンピュータで模倣するニューラルネットワーク（神経回路網）を用いるのが最適である。

そこで、発明者らは、事前に想定される上記各種画像の変動要因を可能な範囲で画像処理しある程度変動に不変な情報を生成し、そのうえで、ニューラルネットワークにて学習し、自律的に良否判定の仕組みを構築することを発明した。

このニューラルネットワークを用いて良否判定する必然性は、前処理である種の変動に対してある程度不変な情報にして判定を行うが、検査システムに入力される画像は状況に応じて曖昧性を含むものであるため、このような良否判定においてはそういった曖昧性を含む非線形識別である高次の良否分離識別関数を用いた検査システムの実現が必要となるからである。

さらに、このような学習結果は、壁面の状態ごと（例えば、滑らかな壁面と凹凸の壁面）に作成し、本検査システムを操作する作業者が判断して、その都度、壁面の状態に沿った学習結果を利用して良否判定を検査システムにて実施することが望ましい。

これらのことから、本発明の一の態様に係る船舶の壁面検査用高度知能化検査システムは、前記学習手段が前記複数の基準データを、ニューラルネットワークを用いて学習させるものであり、前記状態判定手段が前記不変な情報を前記複数の基準データに基づいて、ニューラルネットワークを用いて良否判定する手段であることを特徴とすることが望ましい。

また、この本検査システムでは、前記前処理手段は、撮像による撮像画像データについて、濃淡ムラに基づく光量変動に対して濃淡正規化による前処理を実施するものであり、前記不変な情報は、濃淡ムラに不変な情報である、ことが望ましい。

また、前記前処理手段は、前記壁面である判定対象の学習時と判定時の色合いに依存しない白黒濃淡情報として、前記不変な情報を作成するものである、ことが望ましい。

そして、前記壁面の状態について良否判定のために予め記憶されている基準データは、前記壁面の形状及び性状の違いに応じて異なる複数種類が作成されており、前記複数種類の基準データは、前記撮像する壁面に基づき、作業者の指示で、使い分けられることが望ましい。

前記船舶の壁面の撮像は、カメラを搭載したマルチコプターを送信機にて操縦して飛行させて行うものであり、前記前処理手段は、前記マルチコプターによる前記壁面の空撮時における上下左右などの傾き変動に対し、撮像画像から前記傾き変動に不変な情報を作成するものである、ことが望ましい。

前記状態判定手段は、前記マルチコプターによる空撮の際、前記マルチコプターの送信機からの撮像画像データ信号を受け、作業者の判断で、その場で良否判定するオンライン検査モードを有する、ことが望ましい。

前記マルチコプターは、空撮の際、撮像した壁面画像を保存するモバイルメモリを備え、前記状態判定手段は、空撮完了後、前記モバイルメモリに保存した壁面画像を検査用パソコンに取り込み、良否判定するオフライン検査モードや、前記船舶の壁面の撮像は、カメラを用いて作業者が行い、撮像した壁面画像はモバイルメモリに保存されるものであり、前記状態判定手段は、撮像完了後、前記モバイルメモリに保存した壁面画像を検査用パソコンに取り込み、良否判定するオフライン検査モードを有する、ことが望ましい。ここで、モバイルメモリとは、ＳＤカード、ＵＳＢメモリなどを意味する。

そして、前記状態判定手段は、前記撮像画像データを上下左右に複数に分割し、この分割された個々の画像を判定の単位画像として良否判定を行うものである、ことが望ましい。ここで、撮像画像データとは、マルチコプター又は作業により撮像された一連の画像データを意味する。

前記状態判定手段は、良否判断を行う場合、前記壁面の状態を、良品、不良品についての複数の状態に分類する機能を有する、ことが望ましい。ここで、良品とは補修の必要がない部分であること、不良品とは補修を必要とする部分であることをそれぞれ意味し、また、複数の状態に分類する機能とは、良品レベル１や良品レベル２、不良レベル１、不良レベル２など、状態を複数の段階に段階的に評価することを意味する。

また、前記状態判定手段は、前記撮像画像データを、前記検査用パソコンにてメディア再生ソフトウエアで再生する場合、不良品であると判定された前記単位画像を、前記撮像画像に部分的に明示する機能や、不良品であると判定された判定の単位の画像が前記撮像画像に部分的に明示されるまでスキップさせる機能を有する、ことが望ましい。ここで、メディア再生ソフトウエアとは、メディアプレーヤーなどを意味する。

本発明は、船舶の壁面を撮像し、その壁面の撮像画像データから、時間帯、季節、天候などの変化に基づく光量変動に対して不変な情報を画像処理による前処理にて作成し、その不変な情報を、前記壁面の状態について良否判定のために予め記憶されている基準データに基づいて、前記壁面の状態が状態の良否を判定するので、時間帯、季節、天候などの変化に基づく光量変動の影響を受けることなく、また、専門家である作業者の個人的感性によることなく、判定基準が安定した検査を実行することができる。

本発明に係る船舶の壁面検査用高度知能化検査システムの構成を示すブロック図である。 船舶の船倉の壁面の連続撮像の説明図である。 連続撮像した画像を時系列に象限分割した画像を示す説明図である。 象限分割した画像を、作業フレーム画像（大きさ256mm×256mm）に分割したものを示す説明図である。 カラー画像から濃淡画像への変換の説明図である。 フレーム画素内の画素値についてのオフセットカット処理の説明図である。 基準値の作り方の説明図である。 濃淡ムラ正規化演算式を示す図である。 画素値の濃淡ヒストグラムによる濃淡正規化の効果を示す図である。 撮像画像から対象を抽出する流れ図である。 回転に対する不変性を得るための処理を示す流れ図である。 ２次元フーリエ変換を用いた回転に不変な情報への変換に用いる演算式を示す図である。 背景除去の処理を示す流れ図である。 良否判定システムの構成を示す説明図である。 ニューラルネットワークでの学習に使用する改良型誤差逆伝搬法の方程式を示す図である。 検査アプリケーションの説明図である。 別の検査アプリケーションの説明図である。 最小単位の画像で判定された結果を、前記広域かつ連続の撮像画像に明示した状態を示す図である。 実施例１において使用した画像例を示し、（ａ）（ｂ）（ｃ）は良品画像例を示す図、（ｄ）（ｅ）（ｆ）は不良品画像例を示す図である。 学習結果を示す画面の一例を示す図である。 実施例１のＮＥＵＲＯ値（学習）を示す図である。 実施例１の良品評価記録(A log)を示す図である。 実施例１の不良品評価記録(B log)を示す図である。 実施例１の反応値(B log)を示す図である。 実施例１の反応値(A log)を示す図である。 実施例２において使用した画像例を示し、（ａ）（ｂ）（ｃ）は良品画像例を示す図、（ｄ）（ｅ）（ｆ）は不良品画像例を示す図である。 実施例２の学習結果を示す画面の一例を示す図である。 実施例２のＮＥＵＲＯ値（学習）を示す図である。 実施例２の良品評価記録(A log)を示す図である。 実施例２の不良品評価記録(B log)を示す図である。 実施例２の反応値(B log)を示す図である。 実施例２の反応値(A log)を示す図である。 実施例３において使用した画像例を示し、（ａ）（ｂ）（ｃ）は良品画像例を示す図、（ｄ）（ｅ）（ｆ）は不良品画像例を示す図である。 実施例３の学習結果を示す画面の一例を示す図である。 実施例３のＮＥＵＲＯ値（学習）を示す図である。 実施例３の良品評価記録(A log)を示す図である。 実施例３の不良品評価記録(B log)を示す図である。 実施例３の反応値グラフ(B log)を示す図である。 実施例３の反応値グラフ(A log)を示す図である。 実施例４において使用した画像例を示し、（ａ）（ｂ）（ｃ）は良品画像例を示す図、（ｄ）（ｅ）（ｆ）は不良品画像例を示す図である。 実施例４の学習結果を示す画面の一例を示す図である。 実施例４のＮＥＵＲＯ値（学習）を示す図である。 実施例４の良品評価記録(A log)を示す図である。 実施例４の不良品評価記録(B log)を示す図である。 実施例４の反応値グラフ(B log)を示す図である。 実施例４の反応値グラフ(A log)を示す図である。

以下、本発明の検査システムの一実施形態を図面に基づき説明するが，本発明は下記実施形態に限定されるものではない。図１は本発明に係る船舶の壁面検査用高度知能化検査システムの構成を示すブロック図である。

本実施形態に係る船舶の壁面検査用高度知能化検査システムは、船舶の壁面を撮像し、この壁面の撮像画像データＤから、人工知能を利用して壁面の状態を良否判定するものである。なお、本実施形態においては、人工知能の一例としてニューラルネットワークを用いている。

図１に示すように、船舶の壁面検査用高度知能化検査システムは、撮像による撮像画像データＤから、時間帯、季節、天候などの変化に基づく光量変動に対して不変な情報を画像処理による前処理にて作成する前処理手段１を備える。また、前処理手段１にて作成された不変な情報を、壁面の状態について良否判定のために予めニューラルネットワークにて学習し記憶されている複数の基準データに基づいて、壁面の状態をニューラルネットワークにて良否判定する状態判定手段２を備える。

なお、複数の基準データは、予め撮像して取得した複数の基準画像データから、それぞれ時間帯、季節、天候などの変化に基づく光量変動に対して不変な基準データとして記憶させ学習させたものである。また、この検査システムには、光量変動に対して不変な基準データのほか、撮像された複数の基準画像データも記憶され、適宜これらのデータを参照することが可能である。

状態判定手段２には、壁面の状態について良否判定のための判定基準となる、複数種類の基準データが予めニューラルネットワークにて学習し記憶されている。そして、後述するように、作業者の判断で、壁面の形状や性状の違いに応じて使い分けられ、壁面の状態について、ニューラルネットワークを用いて良否判定が行われる。

前処理手段１、状態判定手段２は、検査用パソコン３に含まれ、前記検査システムとされる。判定結果は検査用パソコン３のディスプレイに、メディア再生ソフトウエア、例えばメディアプレーヤー４を利用して表示される。

続いて、カメラを搭載したマルチコプターを送信機にて操縦して飛行させ、船舶の壁面（例えば、船倉の壁面）を前記カメラで撮像し、その撮像画像データを利用して、船舶の壁面検査用高度知能化検査システムで、船倉の壁面の状態の良否判定を行う例について説明しながら、本発明を具体的に説明する。

（壁面の連続撮像）
例えば図２に示すように、検査対象となる船倉の壁面１１に沿ってマルチコプター１２を、一定区間、飛行移動させ、壁面１１を、マルチコプター１２に搭載されたカメラにて連続撮像し、広域かつ連続の撮像画像データを得る。

この広域かつ連続撮像した画像を上下左右に複数に分割する。例えば、図３に示すように、No.1、No.2、No.3という具合に、時系列に象限分割する。

象限分割した画像を、図４に示すように、６つの作業フレーム画像（大きさ256mm×256mm）に分割する。図４では、No.2を一例としている。この分割された個々の画像（作業フレーム画像）を、判定のための単位画像とすることができ、前記単位画像（最小単位の画像）ごとに良否判定を行う。

そして、メディアプレーヤー４を利用しているので、不良品であると判定された単位画像を、前記検査用パソコンにてメディアプレーヤー４で再生する場合、撮像画像に部分的に明示することができる。つまり、再生される広域かつ連続の撮像画像において、その一部分として、赤枠で囲む等して明示することができる。

また、前記撮像画像を、前記検査用パソコンにてメディアプレーヤー４で再生する場合、不良品であると判定された前記単位画像が撮像画像に部分的に明示される部分までスキップさせることもできる。

このように、状態判定手段２は、(a)不良品であると判定された最小単位の画像を、前記広域かつ連続撮像画像に明示する機能、(b)前記広域かつ連続撮像画像を、前記検査用パソコンにてメディア再生ソフトウエアで再生する場合、不良品であると判定された最小単位の画像が広域かつ連続撮像画像に部分的に明示されるまでスキップさせる機能をそれぞれ有する。

（作業フレーム画像に対する各種前処理の実施・前処理手段）
屋外での撮像による濃淡ムラに基づく光量変動に対して濃淡正規化による前処理を実施するものである。つまり、光量の影響の軽減を行うために、撮像画像に写る検知対象以外の情報を少なくするため、画像の切り出しを行い、２値化した際に大きな違いが発生しないようにする。

つまり、船倉等の船舶の壁面の状態の良否判定において学習画像と評価画像が、例えば(1)屋外における天候の差異、(2)判定する色相の差異、(3)判定する壁面の差異を原因として、大きくことなることが想定されるので、これら全てに適応できる学習画像を作成することが必要である。

・(1)(2)について
(i)カラー画像から濃淡画像への変換（Ｒ、Ｇ、Ｂ均等加算平均処理）
図５に示すように、色相均等加算平均により、白黒濃淡画像とする。

(ii)ここで、前もって、フレーム画像内の画素値のオフセットカット処理を実施する。
図６に示すように、画素内の最小値Ｐ（基準値）を探索し、全画素から最小値Ｐを差し引く。光量差を消去できる差分画像とする。これにより、一様な明るすぎ、暗すぎに対し、同一明るさの画像（差分画像）とする。

最小値Ｐ（基準値）は、図７に示すように、濃度ヒストグラムにより最頻画像の濃度値つまり平均値を基準画像濃度とする。これをフレーム内の全画素から差し引くことで、差分画像とする。

(iii)光量変動に対する濃淡正規化を行う。
そして、RBF出力関数による部品検査システムか、シグモイド出力関数によるパワースペクトルを入力とするニューラルネットワークで、学習と評価を行う。

・(3)について
判定する壁面の差異に応じて、つまり、例えば壁面の形状や性状の違いに対して、それぞれニューラルネットワークにて学習がなされ、個々の形状や性状についての学習結果を、複数種類の基準データとして予め記憶しておく。そして、例えば船倉の壁面を検査する場合には、壁面の形状や性状の違いを作業者が判断してその判断した作業者の指示に従い、状態判定手段において利用する基準データを切り替えて、ニューラルネットワークにて壁面の状態の良否判定を行う。

つまり、船倉の形状や性状の違いに対応して、作業者の判断で、予めニューラルネットワークにて学習し記憶している複数種類の基準データの中から最もふさわしい基準データを選択する。このように、壁面の形状や性状の違いに対応して、作業者の判断で、基準データを使い分け、ニューラルネットワークにて精度の高い良否判定を行うことができる。

前記状態判定手段の入力情報を、濃淡ムラに不変な情報とする。濃淡ムラ正規化演算式を図８に示す。図８において、文言は以下の意味で用いている。
ｄ１：変換後の画素値
ＬＥＶＥＬ：明るさの最大値
ＳＩＺＥ：変換する画素の番号
ｉ：（量子化レベルの）明るさの段階（例えば０～２５５段階の濃さの階調など）
ｐ（ｉ）：一定幅内の明るさの度数（出現頻度）

図９は、図８に示す演算式による濃淡幅と対象の帯域を補正した結果である、Ａ：暗すぎる場合、Ｂ：標準、Ｃ：明るすぎる場合を示す。これにより、前記壁面である判定対象の学習時と評価判定時の色合いに依存しない白黒濃淡情報として、前記入力情報が作成される。

(iv)上記画像に回転不変処理を実施する。
まず、図１０に示すように、撮像画像をグレイスケール(Grayscale)に変換し、グレイスケール画像を２値化し、対象を特定し、対象を抽出する。

それから、図１１に示すように、抽出画像から背景を除去し、二次元高速フーリエ変換（図１２参照）を用いて周波数領域に変換し、メッシュ状に分割し、同周波数帯を加算平均し、（０、１）に正規化し、入力値を算出する。

背景の除去は、図１３に示すように、グレイスケール化、二値化を行い、対象にラベリングし、切り出すことで行う。

これにより、前記マルチコプターによる前記壁面の空撮時における上下左右などの傾き変動に対し、撮像画像データから、前記傾き変動に不変な情報が作成される。

(v)状態判定手段（ＡＩの一種であるニューラルネットワーク）により、図１４に示すように、良品と、不良品１、不良品２、不良品３・・・など、壁面の状態についての良否判定を実施する。つまり、壁面を、良品、不良品についての複数の状態に分類することができる。なお、結果はログファイルに出力される。ニューラルネットワークでの学習には改良型誤差逆伝搬法を使用する。その方程式を、図１５に示す。

（メイン処理）
図１６に本検査システムにおけるメイン処理部のプログラムを示す。カメラ映像、またはカメラ画像ファイルを入力情報とし、機械学習にて異常個所を発見し、該当箇所を、例えば赤枠で囲った画像を出力する検査補助システムである。

・各関数の処理詳細

なお、メイン処理部のプログラムは、図１７に示すようにすることもできる。

(vi)不良画像を象限画像内で表示する（図１８参照）。

(vii)象限番号に基づき、複数の象限画像をつなぎ合わせ、壁面全体画像を形成し、それに対し、不良部位がある象限（最小単位の象限）を赤枠で囲むなどして、全体画像の、どの部分にあるかを明示する。

続いて、前記検査システムを用いた評価結果について説明する。なお、グレイスケール化する際に使用した画像処理ソフトは、GIMP ver2.10.12である。

（実施例１：マルチコプター画像（白黒）判別評価）
・評価条件
学習回数10000 誤差0.001
50枚を学習し、50枚を含む100枚を評価
・画像例
良品画像を図１９（ａ）～（ｃ）に不良品画像を図１９（ｄ）～（ｆ）にそれぞれ示す。
・評価結果

・学習条件と学習結果
図２０～図２５に示す。

（実施例２：マルチコプター画像（カラー）判別評価）
・評価条件
学習回数10000 誤差0.001
50枚を学習し、50枚を含む100枚を評価
・画像例
良品画像を図２６（ａ）～（ｃ）に不良品画像を図２６（ｄ）～（ｆ）にそれぞれ示す。
・評価結果

・学習条件と学習結果
図２７～図３２に示す。

（実施例３：画像（カラー）判別評価）
・画像例
良品画像を図３３（ａ）～（ｃ）に不良品画像を図３３（ｄ）～（ｆ）にそれぞれ示す。
・評価結果
（条件）
50枚を学習し、50枚を含む100枚を評価
（結果）

・学習結果
図３４～図３９に示す。

（実施例４：白黒画像判別評価）
・画像例
良品画像を図４０（ａ）～（ｃ）に、不良品画像を図４０（ｄ）～（ｆ）にそれぞれ示す。
・評価結果
（条件）
50枚を学習し、50枚を含む100枚を評価
（結果）

・学習結果
図４１～図４６に示す。

以上のように、撮像した壁面画像の良品画像と不良状態画像とを使い、状態判定手段（ＡＩの一種であるニューラルネットワーク）により機械学習させれば、良否判定のメカニズムを自律的に構築することができる。特に、マルチコプターを使用した空撮での広範囲な壁面撮像を実施し、その空撮画像の良品画像と不良状態画像とを使い、学習させた場合に高い正答率を示した。

また、本検査システムは、検査モードとして、オンライン検査モードとオフライン検査モードとを併せ持ち、オンライン検査モードでは、マルチコプターによる撮像の際、空撮しながら、前記マルチコプターのカメラの画像を検査用パソコンに無線で直接送信するが、前記マルチコプターの送信機のモニタ画像から、作業者の判断で、その場で良否判定することができるので、即時に良否判定を実施することができる。

一方、オフライン検査モードでは、マルチコプターで撮像後の画像あるいは作業者が撮影した後の画像を、モバイルメモリを利用して検査シスステムの検査用パソコン取り込み、前記壁面の状態について良否判定のために予めニューラルネットワークにて学習し記憶されている学習済みの基準データに基づいて、時間をかけて、より詳細な良否判定を実現することができる。

マルチコプターを利用して、広範囲な空撮画像を採取すれば、作業者（検査者）の安全性、さらに、作業効率の向上が期待できる。また、作業者が判定した良品画像と不良状態画像を状態判定手段（ＡＩの一種であるニューラルネットワーク）による機械学習で実施することで、良否判定のメカニズムを自動構築できる。つまり、専門家である作業者（検査者）と同等レベルでの検査品質の安定が実現できる。

また、検査対象である壁面の色相、明暗、撮像画像の傾き（空撮の場合）などの変化に対してロバストな情報に変換してからの機械学習及び良否判定を実施するので、検査対象の色相の違い、屋外での撮像の問題である明暗の変動、空撮による傾きの変動などの変化に依存せず、客観的な良否判定を実施することが可能となる。

以上のとおり、図面を参照しながら本発明の好適な実施形態を説明したが、本発明の趣旨を逸脱しない範囲内で、種々の追加、変更または削除が可能である。例えば、マルチコプターを用いることなく、作業者が直接撮像した画像を用いることもできる。

１ 前処理手段
２ 状態判定手段
３ 検査用パソコン
４ メディアプレーヤー
１１ 壁面
１２ マルチコプター
Ｄ 壁面の撮像画像データ

Claims (13)

1. 船舶の壁面を撮像し、前記壁面の撮像画像データを利用して、前記壁面の状態を良否判定する船舶の壁面検査用高度知能化検査システムであって、
   撮像による壁面の撮像画像データから、画像処理により、時間帯、季節、天候などの変化に基づく光量変動に対して不変な情報を作成する前処理手段と、
   前記前処理手段に先立って、予め撮像して取得した複数の画像データから、画像処理により、それぞれ時間帯、季節、天候などの変化に基づく光量変動に対して不変な複数の基準データを記憶させ学習させる学習手段と、
   前記前処理手段にて作成された前記不変な情報を、前記複数の基準データに基づいて、前記壁面の状態を良否判定する状態判定手段と、
   を備えることを特徴とする船舶の壁面検査用高度知能化検査システム。
2. 前記学習手段が、前記複数の基準データを、ニューラルネットワークを用いて学習させるものであり、
   前記状態判定手段が、前記不変な情報を前記複数の基準データに基づいて、ニューラルネットワークを用いて良否判定する手段である、
   請求項１に記載の船舶の壁面検査用高度知能化検査システム。
3. 前記前処理手段は、前記撮像による濃淡ムラに基づく光量変動に対して濃淡正規化による前処理を実施するものであり、
   前記不変な情報は、濃淡ムラに不変な情報である、
   請求項１または２記載の船舶の壁面検査用高度知能化検査システム。
4. 前記前処理手段は、前記壁面である判定対象の学習時と判定時の色合いに依存しない白黒濃淡情報として、前記不変な情報を作成するものである、
   請求項１または２記載の船舶の壁面検査用高度知能化検査システム。
5. 前記壁面の状態について良否判定のために予め記憶されている基準データは、前記壁面の形状及び性状の違いに応じて異なる複数種類が作成されており、
   前記複数種類の基準データは、前記撮像する壁面に基づき、作業者の指示で使い分けられる、
   請求項１乃至４のいずれか１項に記載の船舶の壁面検査用高度知能化検査システム。
6. 前記船舶の壁面の撮像は、カメラを搭載したマルチコプターを送信機にて操縦して飛行させて行うものであり、
   前記前処理手段は、前記マルチコプターによる前記壁面の空撮時における上下左右などの傾き変動に対し、撮像画像から前記傾き変動に不変な情報を作成するものである、
   請求項１乃至５のいずれか１項に記載の船舶の壁面検査用高度知能化検査システム。
7. 前記状態判定手段は、前記マルチコプターによる空撮の際、前記マルチコプターの送信機からの撮像画像データ信号を受け、作業者の判断で、その場で良否判定するオンライン検査モードを有する、
   請求項６記載の船舶の壁面検査用高度知能化検査システム。
8. 前記マルチコプターは、空撮の際、撮像した壁面画像を保存するモバイルメモリを備え、
   前記状態判定手段は、空撮完了後、前記モバイルメモリに保存した壁面画像を検査用パソコンに取り込み、良否判定するオフライン検査モードを有する、
   請求項６又は７記載の船舶の壁面検査用高度知能化検査システム。
9. 前記船舶の壁面の撮像は、カメラを用いて作業者が行い、撮像した壁面画像はモバイルメモリに保存されるものであり、
   前記状態判定手段は、撮像完了後、前記モバイルメモリに保存した壁面画像を検査用パソコンに取り込み、良否判定するオフライン検査モードを有する、
   請求項１乃至５のいずれか１項に機作の船舶の壁面検査用高度知能化検査システム。
10. 前記状態判定手段は、前記撮像画像データを上下左右に複数に分割し、この分割された個々の画像を判定の単位画像として良否判定を行うものである、
    請求項１乃至９のいずれか１項に記載の船舶の壁面検査用高度知能化検査システム。
11. 前記状態判定手段は、良否判断を行う場合、前記壁面の状態を、良品、不良品についての複数の状態に分類可能である、
    請求項１乃至１０のいずれか１項に記載の船舶の壁面検査用高度知能化検査システム。
12. 前記状態判定手段は、前記撮像画像データを、前記検査用パソコンにてメディア再生ソフトウエアで再生する場合、不良品であると判定された前記単位画像を、前記撮像画像に部分的に明示する機能を有する、
    請求項１乃至１１のいずれか１項に記載の船舶の壁面検査用高度知能化検査システム。
13. 前記状態判定手段は、前記撮像画像データを、前記検査用パソコンにてメディア再生ソフトウエアで再生する場合、不良品であると判定された判定の単位の画像が前記撮像画像に部分的に明示されるまでスキップさせる機能を有する、
    請求項１２記載の船舶の壁面検査用高度知能化検査システム。

Images