JP2012207948A - 設備異常経時変化判定装置、設備異常変化判定方法、およびプログラム - Google Patents
設備異常経時変化判定装置、設備異常変化判定方法、およびプログラム Download PDFInfo
- Publication number
- JP2012207948A JP2012207948A JP2011072013A JP2011072013A JP2012207948A JP 2012207948 A JP2012207948 A JP 2012207948A JP 2011072013 A JP2011072013 A JP 2011072013A JP 2011072013 A JP2011072013 A JP 2011072013A JP 2012207948 A JP2012207948 A JP 2012207948A
- Authority
- JP
- Japan
- Prior art keywords
- image
- abnormal
- coordinates
- time
- change determination
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Landscapes
- Investigating Materials By The Use Of Optical Means Adapted For Particular Applications (AREA)
- Examining Or Testing Airtightness (AREA)
Abstract
【解決手段】(a)は、漏油やさび等の異常部分501に特定の波長の光を照射して、その反射光を撮影した特定波長照合画像である。(b)では、電力関連設備503を撮影した可視光照合画像と、拡大縮小変換後の特定波長照合画像とを合成した合成画像を作成する。次に、(b)の合成画像を(c)の基準画像に位置合わせするための画像形状変換パラメータを求める。(d)では、画像形状変換パラメータを用いて(b)の合成画像を画像形状変換し、異常部分501bの画像を求める。(f)では、(e)に示す過去の異常部分505の画像と(d)の異常部分501bの画像とを重畳した、異常部分の重畳画像を求める。そして、この重畳画像の状態を解析することによって、異常部分の経時変化を判定する。
【選択図】図6
Description
また、異常部分の画像が画像形状変換によってつぶれた状態にならないようにするために、異常部分の画像のS/N比を高くする必要もある。そのために、照射光をパルス化し、パルス光を発光した直後と所定時間が経過したときとの双方のタイミングで、異常部分からの反射光を撮影して画像化する。そして、双方のタイミングで撮影された画像において、画素値の差分を算出した差分画像を作成する。そして、双方のタイミングで繰り返し撮影した画像に対して、差分画像の画素値を画素ごとに積算することによってS/N比を向上させる。
設備異常の経時変化を解析する設備異常変化解析システム1の構成例を図1に示す。
設備異常変化解析システム1は、設備異常経時変化判定装置10、撮像装置(カメラ)20a,20b、照明装置30、および現場の処理装置40によって構成される。なお、電力関連設備50は、点検対象であり、設備異常変化解析システム1には含まれない。
設備異常経時変化判定装置10は、通信部11、処理部12、記憶部13、入力部14、および出力部15によって構成される。
撮影画像DB131は、撮像装置20a,20bにより撮影された画像データを記憶している。
解析画像DB132は、基準画像、処理部12が作成した異常部分の画像、異常部分の位置情報、および撮影した時間情報を関連付けて記憶している。
経時変化DB133は、処理部12が作成した異常部分の画像と、経時変化の判定結果とを関連付けて記憶している。なお、経時変化DB133に記憶している異常部分の画像と、解析画像DB132に記憶している異常部分の画像とは、関連付けが行えるように、識別情報等によって管理される。
出力部15は、ディスプレイであり、処理部12の処理結果や入力を促すメッセージ等を表示する。
次に、設備異常経時変化判定装置10において、異常部分の変化を重畳する方法の概要について、図2を用いて説明する(適宜、図1参照)。
基準画像201(第2の画像)は、照合画像202を位置合わせするときの基準として使用されるもので、解析画像DB132に記憶されている。基準画像201は、初めて異常部分211が発見されたときに撮影された画像である。したがって、基準画像201は、1回取得されれば良いことになるが、1箇所からの撮影では見えない部分もあるため、複数枚の基準画像201をセットとして備えるようにしても良い。なお、図2では、異常部分211は、過去の異常部分の画像に相当することになる。
また、異常部分の重畳213において、異常部分212bの形状は、異常部分211の形状より大きくなっており、異常状態が拡大していることを表している。このように、異常部分の重畳213の状態を解析することによって、異常部分の経時変化を判定することができる。
次に、異常状態の種別について、図3を用いて説明する。
電力関連設備50においては、老朽化に伴って漏油やさび等の設備異常が発生することがある。このような設備異常は、その異常状態が進行することもあるが、逆に自然に停止することもある。また、異常部分は、補修や、さびの部分に塗装を施すことによって消滅することもある。そこで、異常部分の進行状態を判定するために過去の異常部分の範囲と現在の異常部分の範囲とを比較して、異常部分の経時変化を分類する。なお、図3の説明において、時間t1を過去、時間t2を現在として説明する。
図3(a)は、新規発生を示している。過去の時間t1(ただし、過去のなかでも最も現在に近い時間)では発生していなかった異常部分が、現在の時間t2では新たに発生している状態を示す。
図3(b)は、消滅を示している。過去の時間t1で発生していた異常部分が、現在の時間t2では消滅している状態を示す。例えば、異常部分に対して修理や塗装によって漏油やさび等の設備異常が消滅している状態である。
図3(c)は、拡大を示している。現在の時間t2での異常部分の範囲が、過去の時間t1での異常部分の範囲を包含している状態を示す。
図3(d)は、停止を示している。現在の時間t2での異常部分の範囲と、過去の時間t1での異常部分の範囲とがほぼ一致して(所定の閾値以内となって)おり、異常部分の範囲の広がりが停止した状態を示す。なお、所定の閾値は、画像の解像度の低減や画像形状変換のために発生する画像のつぶれにともなう誤差等を考慮して設定される。
図3(e)は、縮小を示している。過去の時間t1での異常部分の範囲が、現在の時間t2での異常部分の範囲を包含している状態を示す。例えば、設備修理をした後で、再び、さびや漏油等の異常部分が発生した場合である。
図3(f)は、位置変化を示している。過去の時間t1での異常部分の範囲が、現在の時間t2での異常部分の範囲と比べて、位置が移動している状態を示す。例えば、漏油等が発生している状態で、設備が地震等で傾いたときに発生する。
次に、設備異常経時変化判定装置10の機能例について、図4を用いて説明する(適宜、図1参照)。
画像取得部401は、通信部11を介して、基準画像および照合画像を取得する。また、画像取得部401は、取得した基準画像および照合画像を撮影画像DB131に記憶する。
ここで、現在および過去の特定波長照合画像を重畳する方法の一例について、図6を用いて説明する(適宜、図1参照)。
なお、重畳する方法については、撮像装置20aおよび撮像装置20bのレンズの光軸が一致している場合(ケース1)と、レンズの光軸が、不一致または平行にずれている場合(ケース2)とで分けて説明する。
ケース1は、例えば、撮像装置20aのレンズ部やセンサ素子部に光学フィルタを装着することによって撮像装置20bを実現した場合である。ただし、各撮像装置20a,20bを別々に構成する場合には、一般的に、レンズ部やセンサ素子部が異なるため、焦点距離や画角が異なる場合がある。
図6(b)では、電力関連設備503を撮影した可視光照合画像と、拡大縮小変換後の特定波長照合画像とを合成した合成画像(第1の画像)が表されている。合成画像を作成するためには、前記したように、図6(b)に示す可視光照合画像と図6(a)に示す特定波長照合画像とは、一般的に焦点距離や画角が異なるので、拡大縮小変換が必要となる。つまり、図6(b)に示す異常部分501aは、図6(a)に示す異常部分501を拡大縮小変換したものとなっている。なお、図6(b)に示す図は、図2に示す照合画像202と同様の状態に相当する。
次に、図6(f)では、図6(e)に示す過去の異常部分505の特定波長照合画像と、図6(d)の異常部分501bの特定波長照合画像とを重畳した、異常部分の重畳画像が求められる。
そして、この重畳画像の状態を解析することによって、図3に示すような異常状態(異常部分の経時変化)の種別を判定することが可能となる。
設備異常の経時変化を判定する処理フローについて、図7〜図9を用いて説明する(適宜、図4参照)。
ステップS701では、画像取得部401は、通信部11を介して、基準画像および照合画像を取得する。
ステップS702では、差分画像生成積算部402は、特定波長照合画像を生成する。
ステップS703では、特定波長照合画像変換部403は、特定波長照合画像を、可視光照合画像に位置合わせを行う拡大縮小変換を実行し、特定波長照合画像の画角を可視光照合画像の画角に合わせる。
(X-k,Y-k)、(X-(k+1),Y-k)、・・、(X-k,Y)(X-(k-1),Y)、・・、(X+(k-1),Y+k)、(X+k,Y+k)
の画像範囲を設定することに相当する。そして、図10(a)〜(d)に示すような3×3のマスクを画像の濃淡値に適用して、その画像の濃淡値の平均値を算出する。マスクには0および1の値が振られており、マスクの中心の座標を(x,y)とすると、(x-m,y-n)(m=-1,0,1, n=-1,0,1)の画素の輝度をVAL(x-m,y-n)とする。VAL(x-m,y-n)は、RGB(Red,Green,Blue)のモデルで表すと、下記式(1)のように表される。
VAL(x-m,y−n)
=R(x-m,y−n)×0.2989+G(x-m,y−n)×0.5866+B(x-m,y−n)×0.1145
・・・式(1)
TotalVal=VAL(x,y-1)+VAL(x,y)+VAL(x,y+1) ・・・式(2)
特徴点決定部406は、図10(a)〜(d)に示すマスクを、矩形領域内で1画素ずつずらして、画素ごとにTotalValを算出する。次に、1つの画素ごとに、図10(a)〜(d)に示す4種類のマスクを用いて算出された4つのTotalValを加算する。そして、その矩形領域中で、加算したTotalValが最大となる画素の位置を求める。このようなマスク処理では、画像の折れ曲がり等(例えば、電力関連設備50の外形の辺や角等のコントラストが明確になっている場所)に対応する画素において、加算したTotalValが最大となる。すなわち、異常部分を含む平面形状の特徴点を抽出することができる。なお、一般的には、同じ矩形領域内に、加算したTotalValが最大となる画素が複数存在するため、抽出された特徴点が同じ矩形領域中に複数存在する場合がある。
P=(a0,a1,a2,b0,b1,b2,1,c1,c2)T ・・・式(3)
ここでTは転置行列を示す。
また、基準画像および可視光照合画像の特徴点同士の座標変換のための変換行列Hは下記式(4)で表わされる。
ただし、上記式(4)において、本実施形態では特徴点の数は4つであるので、k=4である。また、基準画像の4つの特徴点の座標がそれぞれ(x1,y1),(x2,y2),(x3,y3),(x4,y4)であり、可視光照合画像の4つの特徴点の座標がそれぞれ(X1,Y1),(X2,Y2),(X3,Y3),(X4,Y4)であるものとする。
HP=0 ・・・式(5)
を満足するようにして決められる。
X=(a0+a1x+a2y)/(1+c1x+c2y) ・・・・式(6)
Y=(b0+b1x+b2y)/(1+c1x+c2y) ・・・・式(7)
まず、ステップS801では、画像変形部408は、ステップS707(図7参照)において取得した画像形状変換パラメータを用いて、ステップS706で選択した可視光照合画像の特徴点を、基準画像上の座標に変換した点を求め、その点の近傍にある基準画像の特徴点を選択する。
誤差の総和が所定の閾値以下でないと判定した場合(ステップS803でNo)、処理はB(図7のステップS706)へ戻る。
また、誤差の総和が所定の閾値以下であると判定した場合(ステップS803でYes)、処理はステップS804へ進む。
変換が成功しなかったと判定した場合(ステップS805でNo)、処理はC(図7のステップS704)へ戻る。
判定していない異常部分がないと判定した場合(ステップS807でNo)、ステップS809では、報告データ作成部415は、ステップS901〜S913(図9参照)において、判定された異常状態の種別について、異常部分の画像ととともに報告データとして経時変化DB133に記憶するとともに、出力部15に表示する。なお、報告データの様式は任意で良い。また、報告データでは、拡大している漏油・さびの異常については、電力関連設備の管理者に注意を促すため、テキストの色等を変えると良い。
異常状態の種別には、図3に示したように、新規発生、消滅、拡大、停止、縮小、および位置変化の6つが考えられる。
そこで、変化判定部410は、これらの異常状態を分類するために、過去および現在の特定波長照合画像の位置関係から重畳した異常部分の画素の数Uをカウントする。また、現在の特定波長照合画像の異常部分の中で重畳していない画素の数V、過去の特定波長照合画像の異常部分の中で重畳していない画素の数Wをカウントする。
このとき、変化判定部410は、下記式(8)および式(9)を満たす場合、それぞれ重畳していない画素は、重畳しているものとして重畳範囲内に組み入れる調整を行う。
V<U×SD ・・・・式(8)
W<U×SD ・・・・式(9)
ここで、SDは、重畳している部分の画素の数Uの標準偏差を重畳している部分の画素の数Uで除算をした値である。
ステップS902では、変化判定部410は、異常状態の種別が新規発生であるか否かを判定する。
新規発生であると判定した場合(ステップS902でYes)は、処理はG(図8のステップS807)へ戻る。
新規発生でないと判定した場合(ステップS902でNo)は、処理はステップS903へ進む。
Overlap=Cold/Cnew ・・・・式(10)
そして、発生消滅判定部413は、式(10)により算出した数値Overlapを閾値検証部414に送信する。閾値検証部414では、下記式(11)を満足するか否かを検証する。
Overlap≧σ1 ・・・・式(11)
ただし、σ1(第1の閾値)は、予め決められた値である。
閾値検証部414は、式(11)を満たすか否かの検証結果を発生消滅判定部413に送信する。発生消滅判定部413は、式(11)を満たすという検証結果を受信した場合、消滅であると判定する。そして、発生消滅判定部413は、消滅の判定結果を、変化判定部410に送信する。
消滅であると判定した場合(ステップS904でYes)は、処理はG(図8のステップS807)へ戻る。
消滅でないと判定した場合(ステップS904でNo)は、処理はステップS905へ進む。
Overlap<σ2<1 ・・・・式(12)
ただし、σ2(第2の閾値)は、予め決められた値である。
閾値検証部414は、式(12)を満たすか否かの検証結果を拡大縮小停止判定部411に送信する。拡大縮小停止判定部411は、式(12)を満たすという検証結果を受信した場合、拡大であると判定する。そして、拡大縮小停止判定部411は、拡大の判定結果を、変化判定部410に送信する。
拡大であると判定した場合(ステップS906でYes)は、処理はG(図8のステップS807)へ戻る。
拡大でないと判定した場合(ステップS906でNo)は、処理はステップS907へ進む。
σ1>Overlap>σ3>1 ・・・・式(13)
ただし、σ3(第3の閾値)は、予め決められた値である。
閾値検証部414は、式(13)を満たすか否かの検証結果を拡大縮小停止判定部411に送信する。拡大縮小停止判定部411は、式(13)を満たすという検証結果を受信した場合、縮小であると判定する。そして、拡大縮小停止判定部411は、縮小の判定結果を、変化判定部410に送信する。
縮小であると判定した場合(ステップS908でYes)は、処理はG(図8のステップS807)へ戻る。
縮小でないと判定した場合(ステップS908でNo)は、処理はステップS909へ進む。
σ4<Overlap<σ5 ・・式(14)
ただし、σ4(第4の閾値),σ5(第5の閾値)は、予め決められた値であり、1−α=σ4<σ5=1+β,(0<α<β<1)である。
閾値検証部414は、式(14)を満たすか否かの検証結果を拡大縮小停止判定部411に送信する。拡大縮小停止判定部411は、式(14)を満たすという検証結果を受信した場合、停止であると判定する。そして、拡大縮小停止判定部411は、停止の判定結果を、変化判定部410に送信する。
停止であると判定した場合(ステップS910でYes)は、処理はG(図8のステップS807)へ戻る。
停止でないと判定した場合(ステップS910でNo)は、処理はステップS911へ進む。
V>U×SD ・・・・式(15)
W>U×SD ・・・・式(16)
閾値検証部414は、式(15)および式(16)を満たすか否かの検証結果を位置変化判定部412に送信する。位置変化判定部412は、式(15)および式(16)を満たすという検証結果を受信した場合、位置変化であると判定する。そして、位置変化判定部412は、位置変化の判定結果を、変化判定部410に送信する。
位置変化であると判定した場合(ステップS912でYes)は、処理はG(図8のステップS807)へ戻る。
位置変化でないと判定した場合(ステップS912でNo)は、処理はステップS913へ進む。
次に、撮像装置20aおよび撮像装置20bのレンズの光軸が不一致または平行にずれている場合について説明する。
ケース2の場合は、撮像装置20a,20b双方のカメラの焦点距離、カメラレンズ中心間の距離、および結像面と対象地点までの距離が重要となる。カメラ幾何学の基礎方程式の簡単な変形によって、可視光照合画像と特殊波長照合画像の間の関係は下記式(17),式(18)のように表される。
X={f2(xD−f1d)}/(f1D) ・・・・式(17)
Y={f2(yD−f1d)}/(f1D) ・・・・式(18)
ここで、D>>dとしている。
なお、各変数は、下記のとおりである。
f1:可視光照合画像を撮影する撮像装置20aの焦点距離
f2:特定波長照合画像を撮影する撮像装置20bの焦点距離
D:結像面と対象との距離
d:2種類のカメラの光軸間の距離
x:特定波長照合画像における対象物の位置(結像面でのX座標)
y:特定波長照合画像における対象物の位置(結像面でのY座標)
X:可視光照合画像の対象物の位置(結像面でのX座標)
Y:可視光照合画像の対象物の位置(結像面でのY座標)
まず、特定波長照合画像の画素を選択し、その座標を式(17)および式(18)に代入して、可視光照合画像の座標に変換する。
次に、可視光照合画像の座標に変換された画素の位置を式(6)および式(7)により座標変換して、基準画像の位置に変換する。
次に、可視光照合画像および特定波長照合画像の取得フローの一例について、図12を用いて説明する(適宜、図1,4参照)。
ステップS1201では、現場の処理装置40は、撮像装置20aによって撮影された可視光域の画像(可視光照合画像)を取得する。この可視光照合画像は、特徴点を取得するための照合画像となる。
ステップS1203では、現場の処理装置40は、照明装置30から照射光であるハロゲン光等を照射するためのタイミングを指定するためのタイマを設定する。そして、現場の処理装置40は、所定の時間間隔で照射光を発光して、その反射光強度の最大と最小の時間を事前に決めておき、この時間のときに撮像装置20bを用いて画像を撮影する。また、照射回数はあらかじめ決めておく。
また、異常が発生している異常部分の画素(例えば、符号1302の画素)では、AからBを減算した値(差分値)は、異常部分でない画素の画素値と比較して異なってくる。このようにして異常部分と異常部分でない部分を区別することができる。また、差分値の積算を行うことによって、異常部分が強調されることにもなる。これにより夏と冬で背景光の強さが異なる場合でも、繰り返し取得した差分画像を積算することにより、真値信号と雑音誤差の比であるS/N比を高めることができる。
前記説明では、特徴点は、異常部分の近傍でコントラストが明確になっている点のことであるものとしていた。しかし、異常部分が広い平面上に現れることがある。この場合は、図10に示すマスクを用いても、特徴点を抽出することができない虞がある。そこで、マーカを用いることによって、特徴点の抽出を容易にする。マーカが設備の色と異なる場合または特徴的な形状をしている場合には、形状認識によりマーカの位置を認識することができる。なお、マーカは、異常部分の近傍に5点設置(貼付)される。
ステップS1501では、図7に示すステップS701〜S703の処理を実行する。
ステップS1504は、ステップS707と同様の処理であるので、説明を省略する。
誤差の総和が最小であると判定した場合(ステップS1507でYes)、処理はステップS1508へ進む。
また、誤差の総和が最小でないと判定した場合(ステップS1507でNo)、処理はステップS1503へ戻る。
ステップS1509は、ステップS805と同様の処理であるので、説明を省略する。
これまでに説明した異常部分の重畳方法は、電力関連設備、特に変電設備に適用可能である。その際、異常部分がどの設備のどの場所にあるかを管理しておく必要がある。そのため、異常部分の存在している設備が、変電所等の平面図と対応付けてプロットされていれば、点検者や設備管理者が容易に、その位置を認識することができる。
図16に示す平面図1601は、出力部15に表示されている状態を表しており、変電所のような電力関連設備が表されている。平面図1601には、変圧器等の電力関連設備1611が表示されている。また、出力部15の画面上には、カーソル1602やアイコン1603が表示されている。
また、図4では、変化判定部410、拡大縮小停止判定部411、位置変化判定部412、発生消滅判定部413、および閾値検証部414の機能を分割して説明したが、一つにまとめて変化判定部410の機能として構成しても構わない。
10 設備異常経時変化判定装置
11 通信部
12 処理部
13 記憶部
14 入力部
15 出力部
20,20a,20b 撮像装置
30 照明装置
40 現場の処理装置
50 電力関連設備
71〜78 矩形領域
131 撮影画像DB
132 解析画像DB
133 経時変化DB
401 画像取得部
402 差分画像生成積算部
403 特定波長照合画像変換部
404 領域抽出部
405 候補点座標入力部
406 特徴点決定部
407 変換パラメータ算出部
408 画像変形部
409 変化抽出部
410 変化判定部
411 拡大縮小停止判定部
412 位置変化判定部
413 発生消滅判定部
414 閾値検証部
415 報告データ作成部
501,505 異常部分
502 特定波長照合画像
503 合成画像
504 基準画像
1301〜1308 マーカ
1601 平面図
1602 カーソル
1604 アイコン
1621 線アイコン
Claims (13)
- 撮像装置によって撮影された電力関連設備の設備異常の経時変化を判定する設備異常経時変化判定装置であって、
前記設備異常の異常部分を含む第1の画像と、前記第1の画像の位置合わせの基準となる第2の画像とを取得する画像取得部と、
前記第1の画像から前記位置合わせに用いる4点の座標を取得して第1の特徴点の座標として決定し、前記第2の画像から前記位置合わせに用いる4点の座標を取得して第2の特徴点の座標として決定する特徴点決定部と、
前記第1の特徴点の座標および前記第2の特徴点の座標の間の対応関係に基づいて、前記位置合わせのための座標を変換する画像形状変換パラメータを算出する変換パラメータ算出部と、
前記画像形状変換パラメータを用いて、前記第1の画像に対して画像形状変換を行う画像変形部と、
前記画像形状変換後の第1の画像に含まれる前記異常部分の画像を撮影時間と関連付けて記憶している記憶部と、
前記画像形状変換後の第1の画像の前記異常部分の画像と、前記第1の画像の撮影時間とは異なる撮影時間に撮影された前記記憶部に記憶されている前記異常部分の画像と、の間の経時変化を判定する変化判定部と
を備えることを特徴とする設備異常経時変化判定装置。 - 前記電力関連設備の設備異常である漏油およびさびの領域を示す前記異常部分を所定の波長域で撮影した特定波長照合画像と、可視光によって撮影した画像とを合成することによって前記第1の画像を生成する特定波長照合画像変換部
を備えることを特徴とする請求項1に記載の設備異常経時変化判定装置。 - (A)前記異常部分に照射する照明の強さを変化させて、前記異常部分からの反射光の強度が最大および最小となる時間において撮影された画像を、それぞれ第3の画像および第4の画像として取得し、
(B)前記第3の画像および前記第4の画像の色相値の差分を算出し、
(C)前記(A),(B)を繰り返し実行し、画素ごとに前記算出した差分を積算して積算値を算出し、
(D)前記(C)の処理後に、所定の閾値範囲内にある前記積算値の画素の集合を前記異常部分として決定する領域抽出部
を備えることを特徴とする請求項1に記載の設備異常経時変化判定装置。 - 前記変化判定部は、
前記画像形状変換後の第1の画像の前記異常部分の画像と前記記憶部から読み出した前記異常部分の画像とを重畳し、その重畳状態における包含関係に基づいて、経時変化を判定する
ことを特徴とする請求項1ないし請求項3のいずれか一項に記載の設備異常経時変化判定装置。 - 前記変化判定部は、
前記画像形状変換後の第1の画像の前記異常部分の画素数を、前記第1の画像の撮影時間とは異なる撮影時間に撮影された前記記憶部に記憶されている前記異常部分の画素数で除算して求めた数値を算出し、
(a)前記画像形状変換後の第1の画像の前記異常部分の画像を撮影した時間に最も近い過去に撮影された前記異常部分の画像が前記記憶部に記憶されていない場合に、前記異常部分が新規に発生したことを示す新規発生と判定する処理、
(b)前記画像形状変換後の第1の画像の前記異常部分の画像を撮影した時間に最も近い過去に撮影された前記異常部分の画像が存在し、かつ前記数値が第1の閾値より大きい場合に、前記異常部分が消滅したと判定する処理、
(c)前記画像形状変換後の第1の画像の前記異常部分が、前記第1の画像の撮影時間とは異なる撮影時間に撮影された前記記憶部に記憶されている前記異常部分を包含し、かつ前記数値が1より小さい第2の閾値未満の場合に、前記異常部分が拡大したと判定する処理、
(d)前記画像形状変換後の第1の画像の前記異常部分が、前記第1の画像の撮影時間とは異なる撮影時間に撮影された前記記憶部に記憶されている前記異常部分に包含され、かつ前記数値が前記第1の閾値未満でかつ1より大きい第3の閾値を超える場合に、前記異常部分が縮小したと判定する処理、
(e)前記数値が1より小さい第4の閾値を超えかつ1より大きい第5の閾値未満の場合に、前記異常部分の経時変化が停止したと判定する処理、
(f)前記画像形状変換後の第1の画像の前記異常部分、前記第1の画像の撮影時間とは異なる撮影時間に撮影された前記記憶部に記憶されている前記異常部分、および双方の重畳部分それぞれの画素数を第1の画素数、第2の画素数、および第3の画素数として集計し、前記第1の画素数から前記第3の画素数を減算した画素数および前記第2の画素数から前記第3の画素数を減算した画素数それぞれが、前記第3の画素数に所定の係数を積算した値より大きい場合に、前記異常部分の位置が変化したことを示す位置変化と判定する処理
のうちのいずれかまたは複数の組み合わせを実行する
ことを特徴とする請求項4に記載の設備異常経時変化判定装置。 - 前記第1の画像および前記第2の画像が、前記位置合わせに用いる4点の位置に設置した第1のマーカおよびその4点の位置とは異なる位置に設置した第2のマーカを含めて撮影されている場合、
前記特徴点決定部は、前記第1の画像から前記第1のマーカの4点の座標を取得して第1の特徴点の座標として決定し、前記第2の画像から前記第1のマーカの4点の座標を取得して第2の特徴点の座標として決定し、
前記変換パラメータ算出部は、前記第1の特徴点の座標および前記第2の特徴点の座標の間の対応関係および前記第2のマーカの対応関係の双方に基づいて、前記位置合わせのための座標を変換する画像形状変換パラメータを算出する
ことを特徴とする請求項1に記載の設備異常経時変化判定装置。 - 撮像装置によって撮影された電力関連設備の設備異常の経時変化を判定する設備異常経時変化判定装置において用いられる設備異常経時変化判定方法であって、
前記設備異常経時変化判定装置は、
前記設備異常の異常部分を含む第1の画像と、前記第1の画像の位置合わせの基準となる第2の画像とを取得する画像取得ステップと、
前記第1の画像から前記位置合わせに用いる4点の座標を取得して第1の特徴点の座標として決定し、前記第2の画像から前記位置合わせに用いる4点の座標を取得して第2の特徴点の座標として決定する特徴点決定ステップと、
前記第1の特徴点の座標および前記第2の特徴点の座標の間の対応関係に基づいて、前記位置合わせのための座標を変換する画像形状変換パラメータを算出する変換パラメータ算出ステップと、
前記画像形状変換パラメータを用いて、前記第1の画像に対して画像形状変換を行う画像変形ステップと、
前記画像形状変換後の第1の画像に含まれる前記異常部分の画像を撮影時間と関連付けて記憶部に記憶するステップと、
前記画像形状変換後の第1の画像の前記異常部分の画像と、前記第1の画像の撮影時間とは異なる撮影時間に撮影された前記記憶部に記憶されている前記異常部分の画像と、の間の経時変化を判定する変化判定ステップと
を実行することを特徴とする設備異常経時変化判定方法。 - 前記設備異常経時変化判定装置は、
前記電力関連設備の設備異常である漏油およびさびの領域を示す前記異常部分を所定の波長域で撮影した特定波長照合画像と、可視光によって撮影した画像とを合成することによって前記第1の画像を生成する特定波長照合画像変換ステップ
を実行することを特徴とする請求項7に記載の設備異常経時変化判定方法。 - 前記設備異常経時変化判定装置は、
(A)前記異常部分に照射する照明の強さを変化させて、前記異常部分からの反射光の強度が最大および最小となる時間において撮影された画像を、それぞれ第3の画像および第4の画像として取得し、
(B)前記第3の画像および前記第4の画像の色相値の差分を算出し、
(C)前記(A),(B)を繰り返し実行し、画素ごとに前記算出した差分を積算して積算値を算出し、
(D)前記(C)の処理後に、所定の閾値範囲内にある前記積算値の画素の集合を前記異常部分として決定する領域抽出ステップ
を実行することを特徴とする請求項7に記載の設備異常経時変化判定方法。 - 前記変化判定ステップは、
前記画像形状変換後の第1の画像の前記異常部分の画像と前記記憶部から読み出した前記異常部分の画像とを重畳し、その重畳状態における包含関係に基づいて、経時変化を判定する
ことを特徴とする請求項7ないし請求項9のいずれか一項に記載の設備異常経時変化判定方法。 - 前記変化判定ステップは、
前記画像形状変換後の第1の画像の前記異常部分の画素数を、前記第1の画像の撮影時間とは異なる撮影時間に撮影された前記記憶部に記憶されている前記異常部分の画素数で除算して求めた数値を算出し、
(a)前記画像形状変換後の第1の画像の前記異常部分の画像を撮影した時間に最も近い過去に撮影された前記異常部分の画像が前記記憶部に記憶されていない場合に、前記異常部分が新規に発生したことを示す新規発生と判定する処理、
(b)前記画像形状変換後の第1の画像の前記異常部分の画像を撮影した時間に最も近い過去に撮影された前記異常部分の画像が存在し、かつ前記数値が第1の閾値より大きい場合に、前記異常部分が消滅したと判定する処理、
(c)前記画像形状変換後の第1の画像の前記異常部分が、前記第1の画像の撮影時間とは異なる撮影時間に撮影された前記記憶部に記憶されている前記異常部分を包含し、かつ前記数値が1より小さい第2の閾値未満の場合に、前記異常部分が拡大したと判定する処理、
(d)前記画像形状変換後の第1の画像の前記異常部分が、前記第1の画像の撮影時間とは異なる撮影時間に撮影された前記記憶部に記憶されている前記異常部分に包含され、かつ前記数値が前記第1の閾値未満でかつ1より大きい第3の閾値を超える場合に、前記異常部分が縮小したと判定する処理、
(e)前記数値が1より小さい第4の閾値を超えかつ1より大きい第5の閾値未満の場合に、前記異常部分の経時変化が停止したと判定する処理、
(f)前記画像形状変換後の第1の画像の前記異常部分、前記第1の画像の撮影時間とは異なる撮影時間に撮影された前記記憶部に記憶されている前記異常部分、および双方の重畳部分それぞれの画素数を第1の画素数、第2の画素数、および第3の画素数として集計し、前記第1の画素数から前記第3の画素数を減算した画素数および前記第2の画素数から前記第3の画素数を減算した画素数それぞれが、前記第3の画素数に所定の係数を積算した値より大きい場合に、前記異常部分の位置が変化したことを示す位置変化と判定する処理
のうちのいずれかまたは複数の組み合わせを実行する
ことを特徴とする請求項10に記載の設備異常経時変化判定方法。 - 前記第1の画像および前記第2の画像が、前記位置合わせに用いる4点の位置に設置した第1のマーカおよびその4点の位置とは異なる位置に設置した第2のマーカを含めて撮影されている場合、
前記特徴点決定ステップは、前記第1の画像から前記第1のマーカの4点の座標を取得して第1の特徴点の座標として決定し、前記第2の画像から前記第1のマーカの4点の座標を取得して第2の特徴点の座標として決定し、
前記変換パラメータ算出ステップは、前記第1の特徴点の座標および前記第2の特徴点の座標の間の対応関係および前記第2のマーカの対応関係の双方に基づいて、前記位置合わせのための座標を変換する画像形状変換パラメータを算出する
ことを特徴とする請求項7に記載の設備異常経時変化判定方法。 - 請求項7ないし請求項12のいずれか一項に記載の設備異常経時変化判定方法を、コンピュータである前記設備異常経時変化装置に実行させるためのプログラム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2011072013A JP5654402B2 (ja) | 2011-03-29 | 2011-03-29 | 設備異常経時変化判定装置、設備異常変化判定方法、およびプログラム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2011072013A JP5654402B2 (ja) | 2011-03-29 | 2011-03-29 | 設備異常経時変化判定装置、設備異常変化判定方法、およびプログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2012207948A true JP2012207948A (ja) | 2012-10-25 |
JP5654402B2 JP5654402B2 (ja) | 2015-01-14 |
Family
ID=47187826
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2011072013A Active JP5654402B2 (ja) | 2011-03-29 | 2011-03-29 | 設備異常経時変化判定装置、設備異常変化判定方法、およびプログラム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP5654402B2 (ja) |
Cited By (12)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2016133320A (ja) * | 2015-01-16 | 2016-07-25 | 株式会社日立システムズ | 損傷状況判定システム及び損傷状況判断方法 |
KR101803018B1 (ko) * | 2016-09-05 | 2017-11-30 | 인천대학교 산학협력단 | 이미지에 기반한 형상 변화 탐지 방법 및 장치 |
WO2017200300A3 (ko) * | 2016-05-18 | 2018-01-04 | (주)에스엠인스트루먼트 | 소음원 가시화 데이터 누적 표시방법 및 음향 카메라 시스템 |
KR20180072655A (ko) * | 2018-06-25 | 2018-06-29 | (주)에스엠인스트루먼트 | 소음원 가시화 데이터 누적 표시방법 및 음향 카메라 시스템 |
JP2018185208A (ja) * | 2017-04-25 | 2018-11-22 | 富士通株式会社 | 変化検知プログラム、変化検知装置及び変化検知方法 |
WO2019159425A1 (ja) * | 2018-02-16 | 2019-08-22 | 新東工業株式会社 | 評価システム、評価装置、評価方法、評価プログラム、及び記録媒体 |
CN111638715A (zh) * | 2020-05-29 | 2020-09-08 | 北京海益同展信息科技有限公司 | 机器人的控制方法、机器人、电子设备及存储介质 |
JPWO2020203263A1 (ja) * | 2019-04-03 | 2020-10-08 | ||
JP2020204542A (ja) * | 2019-06-18 | 2020-12-24 | 朝日エティック株式会社 | 鉄系構造物の腐食検知システム |
JP2021073463A (ja) * | 2021-02-02 | 2021-05-13 | キヤノン株式会社 | 情報処理装置、情報処理装置の制御方法及びプログラム |
CN114047121A (zh) * | 2021-09-29 | 2022-02-15 | 上海伯耶信息科技有限公司 | 一种工业视觉检测的图像形态质量判定方法 |
WO2024157719A1 (ja) * | 2023-01-25 | 2024-08-02 | 日本電気株式会社 | 異常検出装置、異常検出方法、及びプログラム |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR101800064B1 (ko) | 2014-02-07 | 2017-12-20 | 주식회사 엘지화학 | 고노지그를 이용한 폴리머 셀의 기하공차 검사방법 |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH08128916A (ja) * | 1994-10-31 | 1996-05-21 | Mitsubishi Electric Corp | 油漏れ検出装置 |
JPH11304634A (ja) * | 1998-04-24 | 1999-11-05 | Toko Seiki Co Ltd | 静止漏油の異常監視装置 |
JPH11328410A (ja) * | 1998-05-13 | 1999-11-30 | Nippon Avionics Co Ltd | パターンの位置合わせ方法 |
JP2009053001A (ja) * | 2007-08-27 | 2009-03-12 | Akinobu Morita | 構造物検査装置 |
-
2011
- 2011-03-29 JP JP2011072013A patent/JP5654402B2/ja active Active
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH08128916A (ja) * | 1994-10-31 | 1996-05-21 | Mitsubishi Electric Corp | 油漏れ検出装置 |
JPH11304634A (ja) * | 1998-04-24 | 1999-11-05 | Toko Seiki Co Ltd | 静止漏油の異常監視装置 |
JPH11328410A (ja) * | 1998-05-13 | 1999-11-30 | Nippon Avionics Co Ltd | パターンの位置合わせ方法 |
JP2009053001A (ja) * | 2007-08-27 | 2009-03-12 | Akinobu Morita | 構造物検査装置 |
Cited By (18)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2016133320A (ja) * | 2015-01-16 | 2016-07-25 | 株式会社日立システムズ | 損傷状況判定システム及び損傷状況判断方法 |
WO2017200300A3 (ko) * | 2016-05-18 | 2018-01-04 | (주)에스엠인스트루먼트 | 소음원 가시화 데이터 누적 표시방법 및 음향 카메라 시스템 |
KR101803018B1 (ko) * | 2016-09-05 | 2017-11-30 | 인천대학교 산학협력단 | 이미지에 기반한 형상 변화 탐지 방법 및 장치 |
JP2018185208A (ja) * | 2017-04-25 | 2018-11-22 | 富士通株式会社 | 変化検知プログラム、変化検知装置及び変化検知方法 |
WO2019159425A1 (ja) * | 2018-02-16 | 2019-08-22 | 新東工業株式会社 | 評価システム、評価装置、評価方法、評価プログラム、及び記録媒体 |
KR20180072655A (ko) * | 2018-06-25 | 2018-06-29 | (주)에스엠인스트루먼트 | 소음원 가시화 데이터 누적 표시방법 및 음향 카메라 시스템 |
KR101962198B1 (ko) * | 2018-06-25 | 2019-03-26 | (주)에스엠인스트루먼트 | 소음원 가시화 데이터 누적 표시방법 및 음향 카메라 시스템 |
JPWO2020203263A1 (ja) * | 2019-04-03 | 2020-10-08 | ||
WO2020203263A1 (ja) * | 2019-04-03 | 2020-10-08 | 日本電気株式会社 | 表面異常検知装置、及びシステム |
JP7131692B2 (ja) | 2019-04-03 | 2022-09-06 | 日本電気株式会社 | 表面異常検知装置、及びシステム |
JP2020204542A (ja) * | 2019-06-18 | 2020-12-24 | 朝日エティック株式会社 | 鉄系構造物の腐食検知システム |
JP7117007B2 (ja) | 2019-06-18 | 2022-08-12 | 朝日エティック株式会社 | 鉄系構造物の腐食検知システム |
CN111638715A (zh) * | 2020-05-29 | 2020-09-08 | 北京海益同展信息科技有限公司 | 机器人的控制方法、机器人、电子设备及存储介质 |
CN111638715B (zh) * | 2020-05-29 | 2023-09-01 | 京东科技信息技术有限公司 | 机器人的控制方法、机器人、电子设备及存储介质 |
JP2021073463A (ja) * | 2021-02-02 | 2021-05-13 | キヤノン株式会社 | 情報処理装置、情報処理装置の制御方法及びプログラム |
JP7005799B2 (ja) | 2021-02-02 | 2022-02-10 | キヤノン株式会社 | 情報処理装置、情報処理装置の制御方法及びプログラム |
CN114047121A (zh) * | 2021-09-29 | 2022-02-15 | 上海伯耶信息科技有限公司 | 一种工业视觉检测的图像形态质量判定方法 |
WO2024157719A1 (ja) * | 2023-01-25 | 2024-08-02 | 日本電気株式会社 | 異常検出装置、異常検出方法、及びプログラム |
Also Published As
Publication number | Publication date |
---|---|
JP5654402B2 (ja) | 2015-01-14 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5654402B2 (ja) | 設備異常経時変化判定装置、設備異常変化判定方法、およびプログラム | |
US11263807B2 (en) | Method for the automatic material classification and texture simulation for 3D models | |
CN103065413B (zh) | 获取火灾等级信息的方法及装置 | |
EP3401671B1 (en) | Detection device and detection method | |
JP4700477B2 (ja) | 移動体監視システムおよび移動体特徴量算出装置 | |
JP6510247B2 (ja) | 測量データ処理装置、測量データ処理方法およびプログラム | |
US20120314080A1 (en) | Gas leakage detecting system and method | |
JP2010117800A (ja) | 駐車場監視装置及び方法 | |
CN104240429B (zh) | 一种红外与多光谱波段组合监测森林火灾的方法 | |
KR101998639B1 (ko) | 열화상 카메라와 색상 카메라의 복합 영상을 이용한 지능형 발화지점 감시 시스템 | |
CN107886670A (zh) | 林区初期火灾快速识别与定位方法、存储介质、电子设备 | |
Rossi et al. | A 3D vision system for the measurement of the rate of spread and the height of fire fronts | |
CN106663322A (zh) | 识别特征 | |
JP2011132010A (ja) | ワイヤーロープ検査装置 | |
JP5726472B2 (ja) | アライメント方法及び検出装置 | |
JP2014056486A (ja) | 画像ネットワークシステム、画像表示端末および画像処理方法 | |
JP2007041730A (ja) | 電線異常検出方法および装置およびプログラム | |
US12002237B2 (en) | Position coordinate derivation device, position coordinate derivation method, position coordinate derivation program, and system | |
JP2006275984A (ja) | 高圧鉄塔の変位計測方法 | |
KR101700651B1 (ko) | 위치정보 기반의 공유 경로데이터를 이용한 객체 트래킹 장치 | |
KR20160073491A (ko) | 모바일 단말기를 이용한 인터렉티브 건설 공정 관리 시스템 및 사용자 인터페이스 | |
KR101560810B1 (ko) | 템플릿 영상을 이용한 공간 관리 방법 및 장치 | |
JP2015064755A (ja) | 3次元形状計測システム、及び色情報貼付方法 | |
JP2007232684A (ja) | 計測装置および計測方法並びに計測プログラム | |
US11921024B2 (en) | Airborne particulate density determination using standard user equipment |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20121205 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20130918 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20130924 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20140507 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20140617 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20141021 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20141120 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 5654402 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |