JP2020154486A - 変更点検出装置、変更点検出方法及び変更点検出プログラム - Google Patents

Abstract

【課題】制御盤の外観の変更点を高精度に検出すること。【解決手段】制御盤の改修の作業前後の変更点を検出する変更点検出装置００において、盤前面特定部０００，０１０は、前記改修の作業前，作業後の盤前面の撮影により得られた画像データから当該盤前面の輪郭を特定して作業前，作業後の盤前面画像を各々抽出する。対応点探索部０４０は、前記作業前，作業後の盤前面画像１０１，１１１の対応点探索により互いに対応する当該作業前，当該作業後の盤前面画像の対応点座標群Ｃ１４０，Ｃ１４１を得る。射影変換部０４１は、前記作業前，前記作業後の盤前面画像の対応点座標群Ｃ１４０，Ｃ１４１に基づき当該盤前面画像を射影変換結果画像１１４に変換する。差分検出部０２０は、作業前の盤前面画像１０１及び作業後の射影変換結果画像１１４の差分を検出し、盤前面画像１０１上に変化点を着色して変更点検出結果画像１２０を生成する。【選択図】図１８

Description

本発明は、制御盤の撮影画像により制御盤の変更点を検出するための技術に関する。

被写体の画像により被写体の変化を検出する技術としては例えば特許文献１，２に開示された変化検出装置等が挙げられる。

特許文献１の検出技術装置は、同一の被写体に対して撮影場所および撮影時期の異なる複数の画像データ群を取得し、この各画像の特徴となる点に対して三角測量法により特徴点と撮影装置の位置関係を把握して三次元点群データを作成する。そして、各画像データ群から得られた三次元点群データを比較することにより被写体の変化点を抽出する。

特許文献２の変化検出装置は、被写体にAR（Augmented Reality）マーカーを取り付け、映像のフレーム毎の被写体の変化点を検出する。

特開２０１６−１１０２１０号公報 特開２０１５−１５８８８０号公報 特開２０１７−３９１８９号公報

青木孝文，伊藤康一，柴原琢磨，長嶋聖，" 位相限定相関法に基づく高精度マシンビジョン − ピクセル分解能の壁を越える画像センシング技術を目指して − ，" IEICE Fundamentals Review ， Vol.1， No.1， pp.30-40 ， July 2007.

制御盤に例示される機器は、単色の箱型を成し特徴点が乏しいことと、機器に付属するレバーやスイッチ等の部品類は黒色や光沢があるので撮影時に光反射することがあり、変更点の誤検出が起こり易くなる。したがって、特許文献１のような三次元点群データに基づく変化点検出技術は特徴点の乏しい被写体の変更点の検出には適さない。

一方、特許文献２の検出技術は、被写体に付されたARマーカーを基準に被写体の変化点を検出する。しかしながら、被写体が例えば顧客の保有する機器である場合、その被写体にARマーカーを付することは顧客の要望に沿わないことがある。また、マグネットシートのように着脱自在にARマーカーを機器に付する場合、機器のメンテナンスの際にARマーカーの位置や向きが変化することがあり、変化点の検出に支障が生ずることがある。さらに、上述のように制御盤等の機器は一般的に特徴点に乏しいのでARマーカーに準ずるような特徴点を抽出して変更点を検出することは困難となる。また、制御盤のような比較的大型の被写体に小サイズのARマーカーを付することは変化点の検出精度が劣るものとなる。

本発明は、上記の事情を鑑み、制御盤の外観の変更点を高精度に検出することを課題とする。

そこで、本発明の一態様は、制御盤の改修の作業前後の変更点を検出する変更点検出装置であって、前記改修の作業前と作業後の盤前面の撮影により得られた画像データから当該盤前面の輪郭を特定して作業前と作業後の盤前面画像を抽出する盤前面特定部と、前記作業前と作業後の盤前面画像の対応点探索により互いに対応する当該作業前と当該作業後の盤前面画像の対応点座標群を得る対応点探索部と、前記作業前と前記作業後の盤前面画像の対応点座標群に基づき当該盤前面画像を射影変換結果画像に変換する射影変換部と、前記作業前と前記作業後の射影変換結果画像を細分化して当該作業前と当該作業後の差異のある細分化画像に着色した変更点検出結果画像を生成する差分検出部を備える。

本発明の一態様は、制御盤の改修の作業前後の変更点を検出する変更点検出装置であって、前記改修の作業前と作業後の盤前面の撮影により得られた画像データから当該盤前面の輪郭を特定して盤前面画像を抽出する盤前面特定部と、前記盤前面画像を射影変換結果画像に変換する射影変換部と、前記作業前と前記作業後の射影変換結果画像の特徴点座標の色相差及び類似度を二次元特徴量として二次元空間にマッピングされた当該二次元特徴量の対応座標群が予め定められた非類似判定領域にある場合に当該対応座標群を非類似座標群とみなして当該非類似座標群から抽出した変更点検出領域に対応する前記作業前の射影変換結果画像における範囲を着色して変更点検出結果画像を生成する差分検出部を備える。

本発明の一態様は、前記変更点検出装置において、前記作業前と前記作業後の射影変換結果画像の特徴点座標のRGB値差、HSV値差、視差及び類似度に基づく学習により前記差分検出部での前記非類似座標群の検出に供される識別係数を予め算出する補正係数学習部をさらに備え、前記差分検出部は、前記RGB値差、HSV値差、視差及び類似度を多次元特徴量とし、前記識別係数との積に基づき判定された非類似特徴点座標群から抽出した変更点検出領域に対応する前記作業前の射影変換結果画像における範囲を着色して変更点検出結果画像を生成する。

本発明の一態様は、コンピュータが制御盤の改修の作業前後の変更点を検出する変更点検出方法であって、前記改修の作業前と作業後の盤前面の撮影により得られた画像データから当該盤前面の輪郭を特定して作業前と作業後の盤前面画像を抽出する盤前面特定過程と、前記作業前と作業後の盤前面画像の対応点探索により互いに対応する当該作業前と当該作業後の盤前面画像の対応点座標群を得る対応点探索過程と、前記作業前と前記作業後の盤前面画像の対応点座標群に基づき当該盤前面画像を射影変換結果画像に変換する射影変換過程と、前記作業前と前記作業後の射影変換結果画像を細分化して当該作業前と当該作業後の差異のある細分化画像に着色した変更点検出結果画像を生成する差分検出過程を有する。

本発明の一態様は、コンピュータが制御盤の改修の作業前後の変更点を検出する変更点検出方法であって、前記改修の作業前と作業後の盤前面の撮影により得られた画像データから当該盤前面の輪郭を特定して盤前面画像を抽出する盤前面特定過程と、前記盤前面画像を射影変換結果画像に変換する射影変換過程と、前記作業前と前記作業後の射影変換結果画像の特徴点座標の色相差及び類似度を二次元特徴量として二次元空間にマッピングされた当該二次元特徴量の対応座標群が予め定められた非類似判定領域にある場合に当該対応座標群を非類似座標群とみなして当該非類似座標群から変更点検出領域を抽出し、この変更点検出領域に対応した前記作業前の射影変換結果画像における範囲を着色して変更点検出結果画像を生成する差分検出過程を有する。

本発明の一態様は、前記変更点検出装置としてコンピュータを機能させる変更点検出プログラム、または、前記変更点検出方法をコンピュータに実行させる変更点検出プログラムである。

以上の本発明によれば制御盤の外観の変更点を高精度に検出できる。

本発明の一態様である変更点検出装置を備えた盤変更点検出システムの概要を示したブロック構成図。 図１の変更点検出装置の動作例の説明図。 図１の盤変更点検出システムを用いた際の画像処理過程の説明図。 本発明の実施形態１における盤前面特定過程の説明図。 実施形態１における差分検出過程の説明図。 実施形態１における画素比較過程の説明図。 本発明の実施形態２の盤前面特定部０００による盤前面特定過程の説明図。 実施形態２の盤前面特定部０１０による盤前面特定過程の説明図。 実施形態２における被処理画像の処理過程の説明図。 実施形態３における盤前面特定過程の説明図。 実施形態３における被処理画像の処理過程の説明図。 実施形態３における盤前面角座標に基づく盤前面画像の抽出過程の説明図。 実施形態４における差分検出過程の説明図。 実施形態４における画素比較過程の説明図。 実施形態５における差分検出過程の説明図。 実施形態５における階層的特徴点探索処理の説明図。 実施形態５における座標範囲化処理の説明図。 実施形態６における変更点検出装置の動作例の説明図。 実施形態６における変更点検出過程の説明図。 実施形態６における射影変換処理の説明図。 実施形態７における差分検出過程の説明図。 実施形態７における特徴量抽出過程の説明図。 実施形態７における非類似特徴量判定過程の説明図。 実施形態８における変更点検出装置を備えた盤変更点検出システムの概要を示したブロック構成図。 実施形態８における差分検出過程の説明図。 実施形態８における補正係数学習過程の説明図。 実施形態８における特徴量検出過程の説明図。

以下に図面を参照しながら本発明の実施形態について説明する。

［実施形態１］
（概要）
制御盤の改修作業を行う際に制御盤のスイッチのON/OFF等の意図しない些細な変更が事故や損害に繋がる可能性があるので、改修作業後の制御盤の変更点が妥当であるかの確認の重要性が高まっている。

図１に例示された本実施形態の盤変更点検出システム１は、改修作業前後の制御盤の画像に基づき当該制御盤の変更点を簡単且つ高精度に把握する。

（盤変更点検出システム１の態様例）
盤変更点検出システム１は、撮影装置２０，入力装置３０，画像データ記憶装置４０，変更点検出装置００及び表示装置５０を有する。

撮影装置２０、入力装置３０、画像データ記憶装置４０、変更点検出装置００及び表示装置５０は、コンピュータのハードウェア資源とソフトウェア資源との協働により盤変更点検出システム１に実装される。

撮影装置２０は、改修作業前後の制御盤の写真を撮影する。撮影装置２０としては、一般的なディジタルカメラ２１が適用される。ディジタルカメラ２１は、例えば、盤変更点検出システム１がスマートフォン、タブレット、ノートパソコン等のスマート端末に実装される場合、当該スマート端末に内蔵される。

入力装置３０は、前記撮影により得られた制御盤の画像に対する盤前面角の指定をユーザー（例えば、制御盤の管理者）の入力操作により受け付ける。入力装置３０は入力部３１を介して前記指定を明示的に受け付ける。入力部３１としては、例えば、盤変更点検出システム１が前記スマート端末に実装される場合、当該スマート端末のディスプレイに表示された状態で入力デバイスやタッチ操作により前記指定を受け付けるユーザーインターフェースの態様が挙げられる。

画像データ記憶装置４０は、前記制御盤の撮影により得られた画像データを記憶する。

変更点検出装置００は、前記画像データを処理して被撮影盤の変更点を検出する。

表示装置５０は、表示部５００を介して被撮影盤の変更点検出結果を表示する。表示部５００としては、例えば、前記スマート端末のディスプレイが挙げられる。

尚、盤変更点検出システム１は、前記スマート端末のハードウェア資源とソフトウェア資源との協働により、撮影装置２０、入力装置３０、画像データ記憶装置４０、変更点検出装置００、表示装置５０を単一の機器で構成することも可能である。

（変更点検出装置００の構成例と動作例）
図１に示されたように、変更点検出装置００は、盤前面特定部０００，０１０と射影変換部００１，０１１と差分検出部０２０を備える。

盤前面特定部０００は、制御盤の改修の作業前の盤前面の撮影により得られた作業前盤画像の画像データ１００を画像データ記憶装置４０のデータ記憶部４００から受け取り、この画像データ１００から当該盤前面の輪郭を特定して盤前面画像１０１を抽出する。

盤前面特定部０１０は、前記改修の作業後の盤前面の撮影により得られた作業後盤画像の画像データ１１０を画像データ記憶装置４０のデータ記憶部４０１を受け取り、この画像データ１１０から当該盤前面の輪郭を特定して盤前面画像１１１を抽出する。

射影変換部００１は、盤前面画像１０１を盤前面の角の座標に基づく射影変換により射影変換結果画像１０２に変換する。

射影変換部０１１は、盤前面画像１１１を盤前面の角の座標に基づく射影変換により射影変換結果画像１１２に変換する。

差分検出部０２０は、前記作業前の射影変換結果画像１０２と前記作業後の射影変換結果画像１１２を細分化して当該作業前と当該作業後の差異のある細分化画像に着色した変更点検出結果画像１２０を生成する。

図２，３を参照して変更点検出装置００による画像データ処理の流れを説明する。

先ず、制御盤の改修作業前に変更点検出対象の制御盤の撮影が行われ、撮影装置２０により画像データ１００が得られる。入力装置３０のユーザーの操作により画像データ１００に対して盤前面角座標群Ｃ１０１が指定される。画像データ１００及び盤前面角座標群Ｃ１０１が盤前面特定部０００に入力されると盤前面画像１０１が得られる。盤前面画像１０１及び盤前面角座標群Ｃ１０１は射影変換部００１により射影変換結果画像１０２に変換される。射影変換結果画像１０２は差分検出部０２０に入力される。

以上のように、前記入力された画像データが前記制御盤の正面から撮影された画像に変換される。上述の盤前面特定処理と射影変換処理は、以下に述べるように、同じ撮影対象に対して撮影場所および撮影時期の異なる画像データに対して行われる。

次いで、制御盤の改修作業後に当該制御盤の撮影が再度行われ、撮影装置２０により画像データ１１０が得られる。先と同様に、ユーザーによる入力装置３０の操作により画像データ１１０に対して盤前面角座標群Ｃ１１１が指定される。画像データ１１０及び盤前面角座標群Ｃ１１１は盤前面特定部０１０に入力され、盤前面画像１１１が得られる。盤前面画像１１１及び盤前面角座標群Ｃ１１１は射影変換部０１１により射影変換結果画像１１２に変換される。この射影変換結果画像１１２は差分検出部０２０に入力される。

そして、差分検出部０２０は各画像データに対して得られた射影変換後の画像データを比較することにより、変更点検出を行い、変更点検出結果画像を得る。すなわち、差分検出部０２０は、射影変換結果画像１０２と射影変換結果画像１１２とを比較して異なる箇所を検出し、射影変換結果画像１１２上に変更点を着色して変更点検出結果画像１２０を得る。

以上の処理により、撮影対象物に対して撮影を行うカメラの位置が異なる２枚の画像であったとしても、その変更点を検出できる。

（盤前面特定部０００，０１０の動作例）
図４を参照しながら盤前面特定部０００，０１０の具体的な動作例について説明する。

本実施形態の盤前面特定部０００，０１０は以下の盤前面特定過程を実行する。

Ｓ１０１：ユーザーにより操作された入力装置３０から受けた指示により入力画像（盤の画像）に対する盤前面角を指定する。

Ｓ１０２：前記指定された盤前面角の座標を認識する。

本過程では、盤前面特定部０００が、画像データ１００中の盤前面角がユーザーの入力装置３０からの明示的な指定により、盤前面角座標群Ｃ１０１を得る。

一方、盤前面特定部０１０は、画像データ１１０中の盤前面角がユーザーの入力装置３０からの明示的な指定により、盤前面角座標群Ｃ１１１を得る。

Ｓ１０３：前記指定した角を線で繋ぎ、盤前面の輪郭線を描画する。

本過程では、盤前面特定部０００の輪郭線描画機能２００が、前記指定された盤の角を線で結ぶことにより盤前面輪郭線Ｌ１００を描画する。

一方、盤前面特定部０１０の輪郭線描画機能２００は、前記指定された盤の角を線で結ぶことにより盤前面輪郭線Ｌ１１０を描画する。

Ｓ１０４：前記盤前面の輪郭線で囲まれた部分の画像を切り取る。

本過程では、盤前面特定部０００の画像抽出機能２０１が、前記入力された画像のうち盤前面輪郭線Ｌ１００で囲まれた部分のみ画像を抽出して盤前面画像１０１を作成する。一方、盤前面特定部０１０の画像抽出機能２０１は、前記入力された画像のうち盤前面輪郭線Ｌ１１０で囲まれた部分のみ画像を抽出して盤前面画像１１１を作成する。

Ｓ１０５：前記切り取った盤前面の画像と前記盤前面の角座標を射影変換部００１，０１１に入力する。

本過程では、盤前面画像１０１及び盤前面角座標群Ｃ１０１が射影変換部００１に入力される。一方、盤前面画像１１１及び盤前面角座標群Ｃ１１１が射影変換部０１１に入力される。

Ｓ１０６：以上のＳ１０１〜Ｓ１０５の処理を前記作業前後の各画像に対して行う。

（射影変換部００１，０１１の動作例）
図２を参照しながら射影変換部００１，０１１の具体的な動作例について説明する。

射影変換部００１，０１１は以下の射影変換過程を実行する。

Ｓ１１１：盤前面特定部０００，０１０から盤前面画像と盤前面角座標を受け取る。

本過程では、射影変換部００１が盤前面特定部０００から盤前面画像１０１及び盤前面角座標群Ｃ１０１を受け取る。

一方、射影変換部０１１は盤前面特定部０１０からの盤前面画像１１１及び盤前面角座標群Ｃ１１１を受け取る。

Ｓ１１２：盤前面画像を、盤の正面から撮影した画像に射影変換する。

本過程では、射影変換部００１は、盤前面角座標群Ｃ１０１に基づく射影変換に準ずる一般的な手法により、盤前面画像１０１を盤の正面から撮影された画像に変換し、射影変換結果画像１０２を得る。

一方、射影変換部０１１は、盤前面角座標群Ｃ１１１に基づく射影変換に準ずる一般的な手法により、盤前面画像１１１を盤の正面から撮影された画像に変換し、射影変換結果画像１１２を得る。

Ｓ１１３：射影変換結果を差分検出部０２０に入力する。

本過程では、射影変換結果画像１０２及び射影変換結果画像１１２が差分検出部０２０に入力される。

Ｓ１１４：上記を前記作業前，作業後の各画像（盤前面画像１０１，１１１）に対して行う。

図示の事例では、射影変換結果画像１０２または射影変換結果画像１１２の画像形式、画像サイズ、画像解像度、射影変換結果画像中に描画される盤前面の面積および画像中の盤前面の位置は、入力される盤前面画像によらず一定とする。

（差分検出部０２０の動作例）
図５を参照しながら差分検出部０２０の具体的な動作例について説明する。

差分検出部０２０の処理は以下の差分検出過程を実行する。

Ｓ１２１：前記作業前，作業後の射影変換結果画像１０２，１１２を受け取る。

本過程では、射影変換部００１から、前記作業前の射影変換結果画像１０２を受け取る。また、射影変換部０１１から、前記作業後の射影変換結果画像１１２を受け取る。

Ｓ１２２：各画像をメッシュ状に切り分けて細分化し、各細分化画像の座標を記憶する。

本過程では、差分検出部０２０の画像細分化機能３００は、先ず、射影変換部００１から得られた射影変換結果画像１０２を細分化し、細分化画像群１０３と射影変換結果画像１０２中の各細分化画像の座標群Ｃ１０３を得る。

一方で、差分検出部０２０の画像細分化機能３０１は、先ず、射影変換部０１１から得られた射影変換結果画像１１２を細分化し、細分化画像群１１３と射影変換結果画像１１２中の各細分化画像の座標群Ｃ１１３を得る。

この時、細分化画像群１０３及び細分化画像群１１３中の全ての細分化画像は同サイズかつ同解像度とする。

Ｓ１２３：同座標の細分化画像において、一画素ずつRGB色空間で比較する。

本過程では、差分検出部０２０の細分化画像比較機能３０２が、同座標における細分化画像を画素単位で比較し、事前に変更点検出装置００に設定された画素数閾値S1以上の画素数に差があれば変更がある部分とみなす処理を行う。

Ｓ１２４：RGB閾値以上の差異がある画素が、画素数閾値以上に存在する場合、その細分化画像は差異がある部分として認識し、その座標を記録する。

本過程で、画素単位の比較にはRGB色空間を参照する。細分化画像群１０３及び細分化画像群１１３における同座標の細分化画像中の各画素に対して、事前に変更点検出装置００に設定したRGB閾値群S2以上の差異がある場合、その画素は変更があったものとして認識する。RGB閾値群S2はR(レッド)、G(グリーン)、B(ブルー)に対して各RGB値の差の閾値S2R、S2G、S2Bを持つ。細分化画像群１１３の細分化画像中の各画素のRGB値が、これと同座標の細分化画像群１０３の細分化画像中の各画素のRGB値に対して一つでも±S2R、±S2G、±S2Bの範囲外であれば、その画素には変更があったものとみなす。

各細分化画像において差のある画素数が画素数閾値S1に満たない場合は、当該細分化画像中の画素比較を続行する。全ての画素を比較しても差のある画素数が画素数閾値S1未満であるならば当該細分化画像に変化がないものと見なし、当該細分化画像の比較を終了し、次の細分化画像の比較を行う。

また、上記比較処理において、細分化画像中の画素に対して画素数閾値S1以上の画素数の差を確認した場合、図６に例示されたように、変更がある部分と見なし、その時点で当該細分化画像の比較を終了する。その後、当該細分化画像の座標を記録し、次の細分化画像の比較を行う。

Ｓ１２５：上記の処理を全ての細分化画像に対して行う。

本過程では、上記比較処理を繰り返し、細分化画像群１０３及び細分化画像群１１３の全ての細分化画像を比較し、変更点を確認した細分化画像の座標を変更点座標群Ｃ１２０として記録する。

Ｓ１２６：前記作業後の射影変換結果画像１１２に、差異のある細分化画像の部分のみ着色して出力する。

本過程では、射影変換結果画像１１２に対して、変更点座標群Ｃ１２０の各座標に細分化画像と同サイズの領域を着色する。これにより変更点検出結果画像１２０を得る。

（実施形態１の効果）
特許文献１のような従来技術は、三次元形状復元技術を用いて変更点検出を行う手法であった。しかし、一般に盤は特徴点が少なく、三次元形状復元を実施した際の精度が低い。本文献に記載された技術を盤に使用すると、三次元形状復元の際に盤上の特徴点を捉えることができず三次元形状復元を行えないか、または盤の三次元形状復元を行えたとしてもその精度が低く、変更していない箇所を変更点として認識してしまう場合がある。

また、特許文献２のような従来技術は、撮影対象にARマーカーを取り付け被撮影物の変化点を検出する手法であった。盤に対して後付でARマーカーを取り付ける場合、盤の改造や補修の作業中にARマーカーの位置や向きが変化する可能性がある。その場合、ARマーカーの位置を基準とした盤上のスイッチやランプといった構成部品の位置が全て移動した状態として認識されることとなり、変更点を検出できなくなる。また、盤の改造や補修の作業中にARマーカーが移動しなかったとしても、制御盤のような大きさの物に対して小さなARマーカーを設置して位置関係を認識するのは、一般に精度が悪く、その結果、変更していない箇所を変更点として認識してしまう場合がある。

これに対して、本実施形態の盤変更点検出システム１は、盤前面特定部０００，０１０により盤前面を認識し、射影変換部００１，０１１により盤前面を正面から撮影した画像を生成し、差分検出部０２０により盤前面の変更点がRGB値差で判断される。つまり、前記作業前後の盤前面画像を比較する際、盤前面上の特徴点やARマーカーを基準にして比較を行うのではなく、盤前面角を基準とした盤前面上の同座標の色を比較する。これにより、より高精度に盤前面を認識し、かつその変更点をより高精度に認識することが可能となる。

以上のように、本実施形態の盤変更点検出システム１によれば、一般に特徴となる点が少ないとされる制御盤を撮影対象として、異なる撮影条件下および照明条件下において撮影された被改造盤および被補修盤の変更点を高精度に検出することができる。また、ARマーカーのような特徴となる特殊なイラストを設置せずとも、その変更点を高精度に検出することができる。

［実施形態２］
（概要）
実施形態１は、画像データ１００及び画像データ１１０において、盤の前面の角座標を設定する際、ユーザーが入力装置３０の操作により入力部３１において明示的に設定する方式を採る。

これに対して、実施形態２は、変更点検出装置００を実装したコンピュータのハードウェア資源による画像処理を活用することにより、画像データ１１０の盤前面角座標の設定を自動化させている。

実施形態２の盤変更点検出システム１は、変更点検出装置００の図２の盤前面特定部０００が図４の処理機能が図７の処理機能に変更され、図２の盤前面特定部０１０の図４の処理機能が図８の処理機能に変更された以外は、実施形態１の同様の態様となっている。

（盤前面特定部０００，０１０の動作例）
図７〜９を参照して本実施形態の画像処理の流れについて説明する。

実施形態２の盤前面特定部０００，０１０は以下の盤前面特定過程を実行する。

Ｓ２０１：入力された前記作業前の盤の画像に対して、前記ユーザーが盤前面角を指定する。

本過程では、図７に示されたように、盤前面特定部０００は、まず入力された画像データ１００の盤前面角座標群Ｃ１０１が、前記ユーザーの入力装置３０の操作により、入力部３１において明示的に指定される。

Ｓ２０２：盤前面角の座標を認識する。

Ｓ２０３：指定した角を線で繋ぎ、盤前面の輪郭線を描画する。

本過程では、盤前面特定部０００の輪郭線描画機能２１０が、指定された盤前面角座標群Ｃ１０１を線で結ぶことで盤前面輪郭線Ｌ１０１を描画する。

Ｓ２０４：盤前面の輪郭線で囲まれた部分の画像を切り取る。

本過程では、盤前面特定部０００の画像抽出機能２１１が、入力された画像のうち盤前面輪郭線Ｌ１０１で囲まれた部分のみ画像を抽出して盤前面画像１０１を得る。この盤前面画像１０１は盤前面角座標群Ｃ１０１と共に射影変換部００１に入力される。

Ｓ２０５：盤前面の角（盤前面盤四隅）周辺の画像を切り取り、マッチングテンプレート画像として登録する。

本過程では、盤前面特定部０００の画像抽出機能２１２が、盤前面画像１０１のうち盤前面角座標群Ｃ１０１周辺画像を抽出し、マッチングテンプレート画像群１０４を得る。盤前面画像１０１のうち盤前面角座標群Ｃ１０１周辺画像が抽出されると、盤前面角周辺の盤前面輪郭線が含まれていることを前提とし、盤前面輪郭線と画像端で囲まれた領域を抽出することにより盤前面のうち盤前面角周辺を抽出したマッチングテンプレート画像群１０４を得る。マッチングテンプレート画像群１０４は盤前面特定部０１０に入力される。

Ｓ２０６：入力された前記作業後の盤の画像に対して、テンプレートマッチングを行う。

本過程では、図８に示されたように、盤前面特定部０１０のテンプレートマッチング機能２１３が、先ず、入力された画像データ１１０に対して、マッチングテンプレート画像群１０４をマッチングテンプレートとし、テンプレートマッチングを行う。得られたマッチング結果のうち、画像データ１１０上の各マッチングテンプレート画像に最も近い画像部を選定し、その画像部の角端を盤前面角座標群Ｃ１１１とする。

Ｓ２０７：盤前面角の座標を認識する。

Ｓ２０８：検出された盤の角を線で繋ぎ、盤前面の輪郭線を描画する。

図９の事例のように、マッチングテンプレート画像群１０４、すなわち、四枚のマッチングテンプレート画像のうち、どのマッチングテンプレート画像に対してマッチしたかで、どの角端を盤前面角座標とするかは異なる。そこで、本過程では、盤前面特定部０１０の輪郭線描画機能２１４が、盤前面角座標群Ｃ１１１を線で結ぶことにより盤前面輪郭線Ｌ１１１を描画する。

Ｓ２０９：盤前面の輪郭線で囲まれた部分の画像を切り取る。

本過程では、盤前面特定部０１０の描画抽出機能２１５が、入力された画像のうち盤前面輪郭線Ｌ１１１で囲まれた部分のみ画像を抽出して盤前面画像１１１を得る。

Ｓ２１０：切り取られた盤前面画像と盤前面の角座標を射影変換部に入力する。

本過程では、盤前面画像１１１及び盤前面角座標群Ｃ１１１が射影変換部０１１に入力される。

以上のように本実施形態の盤変更点検出システム１によれば、実施形態１と同様に、上記で得られた盤前面画像１０１及び盤前面角座標群Ｃ１０１が射影変換部００１に、盤前面画像１１１及び盤前面角座標群Ｃ１１１が射影変換部０１１に入力される。そして、射影変換部０１１で得られた射影変換結果画像１０２及び射影変換結果画像１１２が差分検出部０２０に入力され、変更点検出結果画像１２０が得られる。

特に、本実施形態においては、上記のテンプレートマッチング手法に限定せず、例えば、特許文献３の配置検出技術を適用することで実現できる。

以上のように、本実施形態の盤変更点検出システム１によれば、コンピュータの画像処理を活用することにより、画像データ１１０における盤前面角座標の設定が自動化されるので、実施形態１の発明の効果に加えて、データ処理の効率化が図れる。

［実施形態３］
（概要）
上述の実施形態１は、画像データ１００及び画像データ１１０において、盤の前面の角座標を指定する際、前記ユーザーが明示的に変更点検出装置００にて設定される。

また、実施形態２は、画像データ１００の盤前面角座標を前記ユーザーが明示的に設定すれば、画像データ１１０の盤前面角座標は変更点検出装置００により自動認識される。

これに対し、図１１の実施形態３では、撮影された写真中では盤前面が最も大きく写っている事を前提とし、前記ユーザーが盤前面角座標を設定することなく、かつ盤前面のどの箇所の改造や補修を行ったとしても、変更点検出装置００が自動で盤前面角を認識する。

実施形態３の盤変更点検出システム１は、実施形態１の入力装置３０を備えていないこと、変更点検出装置００の盤前面特定部０００，盤前面特定部０１０の処理内容が図４の代わりに図１０の内容となっていること以外は、実施形態１の同様の態様である。

（盤前面特定部０００，０１０の動作例）
図１０〜１２を参照して本実施形態の画像処理の流れについて説明する。

実施形態３の盤前面特定部０００，０１０は以下の盤前面特定過程を実行する。

Ｓ３０１：入力された盤の画像に対して、直線検出と角検出を行う。

本過程では、盤前面特定部０００の直線検出機能２２０は、先ず、ハフ変換に準ずる一般的な手法を用い、入力された画像データ１００中に存在する直線成分式群Ｅ１００の抽出を行う。一方、盤前面特定部０１０の直線検出機能２２０は、先ず、ハフ変換に準ずる一般的な手法を用い、入力された画像データ１１０中に存在する直線成分式群Ｅ１１０の抽出を行う。

また、盤前面特定部０００の角検出機能２２１は、コーナー検出に準ずる一般的な手法を用い、画像データ１００に存在する角を検出し、角座標群Ｃ１００を得る。一方、盤前面特定部０１０の角検出機能２２１は、コーナー検出に準ずる一般的な手法を用い、画像データ１１０に存在する角を検出し、角座標群Ｃ１１０を得る。

Ｓ３０２：検出した直線上に検出した角座標が存在する場合、その座標間のみ線を描画した画像を作成する。

本過程では、盤前面特定部０００の全直線輪郭描画機能２２２は、直線成分式群Ｅ１００の各直線成分式に着目し、当該直線成分式の線上に複数の角座標が存在する場合、その角座標間に直線を描画する（図１２）。これにより、画像データ１００に存在する全直線輪郭のみを描画した直線輪郭画像１０５が得られる。

一方、盤前面特定部０１０の全直線輪郭描画機能２２２は、直線成分式群Ｅ１１０の各直線成分式に着目し、当該直線成分式の線上に複数の角座標が存在する場合、その角座標間に直線を描画する（図１２）。これにより、画像データ１１０に存在する全直線輪郭のみを描画した直線輪郭画像１１５が得られる。

Ｓ３０３：描画された線で囲まれた全ての四角形の面積を算出し、そのなかでも最も面積の大きな四角形のみ描画した画像を作成する。

本過程では、盤前面特定部０００の最大面積平面選定機能２２３は、直線輪郭画像１０５の全ての四角形の面積を算出し、最大面積平面である四角形を選定する。これにより、直線輪郭画像１０５の最大面積平面のみを描画した最大面積平面輪郭画像１０６が得られる。

一方、盤前面特定部０１０の最大面積平面選定機能２２３は、直線輪郭画像１１５の全ての四角形の面積を算出し、最大面積平面である四角形を選定する。これにより、直線輪郭画像１１５の最大面積平面のみを描画した最大面積平面輪郭画像１１６が得られる。

Ｓ３０４：最大面積の四角形が描画された画像と、元々の入力画像を重ね合わせ、四角形で囲まれた範囲内のみ画像を抽出する。これにより、盤前面のみを抽出した画像となる。

本過程では、盤前面特定部０００の画像抽出機能２２４は、最大面積平面輪郭画像１０６に画像データ１００を重ね合わせ、最大面積平面輪郭内の画像部分のみを切り取る。これにより、盤前面画像１０１が得られる。

一方、盤前面特定部０１０の画像抽出機能２２４は、最大面積平面輪郭画像１１６に画像データ１１０を重ね合わせ、最大面積平面輪郭内の画像部分のみを切り取る。これにより、盤前面画像１１１が得られる。

Ｓ３０５：最大面積の四角形を描画した画像に対して角座標を重ね合わせ、最大面積の四角形の角座標を選定する。これにより、盤前面の角座標を認識する。

本過程では、盤前面特定部０００の盤前面角座標選定機能２２５は、最大面積平面輪郭画像１０６に角座標群Ｃ１００を重ね合わせ、角座標群Ｃ１００から最大面積平面の角座標を選定する。これにより、盤前面角座標群Ｃ１０１が得られる。

一方、盤前面特定部０１０の盤前面角座標選定機能２２５は、最大面積平面輪郭画像１１６に角座標群Ｃ１１０を重ね合わせ、角座標群Ｃ１００から最大面積平面の角座標を選定する。これにより、盤前面角座標群Ｃ１１１が得られる。

Ｓ３０６：切り取った盤前面画像と盤前面の角座標を射影変換部に入力する。

本過程では、Ｓ３０５で得られた盤前面画像１０１及び盤前面角座標群Ｃ１０１は射影変換部００１に入力される。一方、Ｓ３０５で得られた盤前面画像１１１及び盤前面角座標群Ｃ１１１は射影変換部０１１に入力される。

Ｓ３０７：以上のＳ３０１〜Ｓ３０６の処理を前記作業前後の各画像に対して行う。

以上のように本実施形態の盤変更点検出システム１によれば、実施形態１と同様に、上記で得られた盤前面画像１０１及び盤前面角座標群Ｃ１０１が射影変換部００１に、盤前面画像１１１及び盤前面角座標群Ｃ１１１が射影変換部０１１に入力される。そして、射影変換部０１１で得られた射影変換結果画像１０２及び射影変換結果画像１１２が差分検出部０２０に入力され、変更点検出結果画像１２０が得られる。

したがって、本実施形態の盤変更点検出システム１によれば、実施形態１，２の発明の効果に加えて、前記ユーザーが盤前面角座標の設定する手間が省かれ、現場作業の迅速性が図られる。また、改造及び補修の作業において盤前面角部分の変更が行われても、盤前面角を認識できる。

［実施形態４］
（概要）
図１３に示された実施形態４の差分検出部０２０は、細分化画像群１０３及び細分化画像群１１３を比較する際に、RGB色空間を参照するのではなく、HSV色空間を参照する。HSV色空間では、色相(H)、彩度(S)、明度(V)をそれぞれ個別のパラメータとして扱っている。

実施形態４の盤変更点検出システム１は、変更点検出装置００の差分検出部０２０の処理内容が図５の代わりに図１３の内容となっていること以外は、実施形態１の同様の態様である。

（差分検出部０２０の動作例）
図１３，１４を参照して本実施形態の差分検出の流れについて説明する。

実施形態４の差分検出部０２０は以下の差分検出過程を実行する。

Ｓ４０１：射影変換部００１から前記作業前の射影変換結果画像１０２を受け取る。一方、射影変換部０１１から前記作業後の射影変換結果画像１１２を受け取る。

Ｓ４０２：各画像をメッシュ状に切り分けて細分化して各細分化画像の座標を記憶する。

本過程では、差分検出部０２０の画像細分化機能３１０は、先ず、射影変換部００１から得られた射影変換結果画像１０２を細分化し、細分化画像群１０３と射影変換結果画像１０２の各細分化画像の座標群Ｃ１０３を得る。一方、差分検出部０２０の画像細分化機能３１１は、射影変換部０１１から得られた射影変換結果画像１１２を細分化し、細分化画像群１１３と射影変換結果画像１１２の各細分化画像の座標群Ｃ１１３を得る。

Ｓ４０３：同座標の細分化画像において、一画素ずつHSV色空間で色相を比較する。

本過程では、細分化画像群１０３，細分化画像群１１３の全ての細分化画像は同サイズかつ同解像度とする。すなわち、差分検出部０２０の細分化画像比較機能３１２は、同座標における細分化画像を画素単位で比較し、事前に変更点検出装置００に設定した画素数閾値S1以上の画素数に差があれば変更がある部分とみなす処理を行う。

画素単位の比較にはHSV色空間における色相を参照する。細分化画像群１０３及び細分化画像群１１３における同座標の細分化画像中の各画素に対して、事前に変更点検出装置００上に設定した色相閾値S3に基づき、各画素に対して変更有無の判断を行う。

実施形態４における色相閾値S3はHSV色空間における色相の差の閾値（HSV閾値）を示す。HSV色空間は、色相(H)、彩度(S)、および明度(V)の三要素からなる色空間であり、色相を１パラメータで表現することを特徴とする。これにより前記作業前後の被撮影盤画像の明度が異なる場合であっても、色相H値のみを比較することで被撮影盤の色相のみを比較することが可能となる。

同色相かつ明度が異なる二色をRGB色空間におけるRGB値で表現する場合、同色相であるにも関わらず、R値、G値、B値の３つのパラメータが異なる。したがって、前記作業前後の被撮影盤画像の明度が異なる場合、実施形態１のようにRGB色空間で色相差を判定することは難易度が高く、閾値の設定を誤ると被撮影盤の明度によっては変更していない箇所を変更点として誤認識する可能性がある。

実施形態４では、HSV色空間における色相H値でのみ比較することで、前記作業前後の被撮影盤画像の明度が異なる場合であっても、その色相差を判定する際に閾値設定がより容易であり、その結果、閾値設定を誤ることに起因する誤認識が発生しにくい。

Ｓ４０４：色相閾値以上の差異がある画素が、画素数閾値以上に存在する場合、その細分化画像は差異がある部分として認識し、その座標を記録しておく。

本過程では、細分化画像群１０３の細分化画像中の各画素の色相値をH1、これと同座標の細分化画像群１１３の細分化画像中の各画素の色相値をH2として、|H1-H2|および(360-|H1-H2|)のうち小さい方がS3以上であれば、その画素には変更があったものとみなす。各細分化画像において差のある画素数が画素数閾値S1に満たない場合は、当該細分化画像中の画素比較を続行する。全ての画素を比較しても差のある画素数が画素数閾値S1未満であるならば当該細分化画像に変化がないものと見なし、当該細分化画像の比較を終了し、次の細分化画像の比較を行う。また、上記比較処理において、細分化画像中の画素に対して画素数閾値S1以上の画素数の差を確認した場合、変更がある部分と見なし、その時点で当該細分化画像の比較を終了する（図１４）。その後、当該細分化画像の座標を記録し、次の細分化画像の比較を行う。

Ｓ４０５：上記処理を全ての細分化画像に対して行う。

Ｓ４０３，Ｓ４０４の比較処理を繰り返し、細分化画像群１０３，細分化画像群１１３の全ての細分化画像を比較し、変更点を確認した細分化画像の座標を変更点座標群Ｃ１２０として記録する。

Ｓ４０６：前記作業後の射影変換結果画像に、差異のある細分化画像の部分のみ着色して出力する。

本過程では、差分検出部０２０の変更点検出領域着色機能３１３は、射影変換結果画像１１２に対して、変更点座標群Ｃ１２０の各座標に細分化画像と同サイズの領域が着色される。これにより、図３に示したように変更点検出結果画像１２０が得られる。

被撮影盤画像の明度が前記作業前後で異なる場合、変更していない場所でも変更点として認識されてしまうことがある。これは色相が同じでかつ明度が異なる二色をRGB値で表現する場合に、R値、G値、B値の三つのパラメータが全て異なる場合があることに起因する。このことから、RGB閾値群S2の設定を誤ると被撮影盤の明度によっては、変更していない所を変更点として誤認識してしまう可能性がある。

これに対して、本実施形態の盤変更点検出システム１によれば、色相(H)にのみ閾値を設けることにより、細分化画像群１０３及び細分化画像群１１３を色相でのみ比較することが容易となる。したがって、本実施形態によれば、実施形態１〜３の発明の効果に加えて、両画像群の明度が異なる場合であっても、高精度に変更点認識を行うことができる。

［実施形態５］
（概要）
実施形態１及び４は、射影変換結果画像１０２及び射影変換結果画像１１２を細分化画像群１０３及び細分化画像群１１３に切り分け、同じ座標の細分化画像において色の比較を行うことにより、変更点を検出する。

これに対して、図１５に示された本実施形態の差分検出部０２０は、射影変換結果画像１０２及び射影変換結果画像１１２を比較する際、両者の同座標の色を比較するのではなく、射影変換結果画像１１２から射影変換結果画像１０２の特徴点を見出す。これにより、射影変換結果画像１０２及び射影変換結果画像１１２に含まれる盤面構成部品の位置座標が局所的に異なる場合であっても、高精度に変更点認識を行える。

（差分検出部０２０の動作例）
図１５〜１７を参照して本実施形態の差分検出の流れについて説明する。

実施形態５の差分検出部０２０は以下の差分検出過程を実行する。

Ｓ５０１：射影変換部００１から前記作業前の射影変換結果画像１０２を受け取る。一方、射影変換部０１１から前記作業後の射影変換結果画像１１２を受け取る。

Ｓ５０２：前記作業前及び作業後の射影変換結果画像１０２，１１２に対して画像サイズを縮小した縮小画像１０２ａ，１１２ａを作成する。

本過程では、差分検出部０２０の画像縮小機能３２０は、射影変換部００１から得られた射影変換結果画像１０２の画像サイズを縮小し、縮小画像１０２ａを得る。一方、差分検出部０２０の画像縮小機能３２１は、射影変換部０１１から得られた射影変換結果画像１１２の画像サイズを縮小し、縮小画像１１２ａを得る。

Ｓ５０３：縮小画像１０２ａ，１１２ａに対して更に画像サイズを縮小した縮小画像１０２ｂ，１１２ｂを作成する。

本過程では、差分検出部０２０の画像縮小機能３２２は、縮小画像１０２ａの画像サイズを更に縮小し、図１６に示したように、縮小画像１０２ｂを得る。一方、差分検出部０２０の画像縮小機能３２３は、縮小画像１１２ａの画像サイズを更に縮小し、同図に示したように、縮小画像１１２ｂを得る。

Ｓ５０４：前記作業前及び作業後の射影変換結果画像及びＳ５０２〜Ｓ５０３の過程で得られた縮小画像に基づき階層的特徴点探索処理を行う。

本過程では、差分検出部０２０の階層的特徴点探索処理機能３２４は、射影変換結果画像１０２、射影変換結果画像１１２、縮小画像１０２ａ、縮小画像１１２ａ、縮小画像１０２ｂ及び縮小画像１１２ｂについて、階層的特徴点探索処理を行う。

階層的特徴点探索処理は、初めに最も解像度の低い縮小画像１０２ｂと縮小画像１１２ｂのテンプレートマッチングを行う。本処理において差異があると判断された特徴点を記憶しておく。また、差異が無いと判定された領域について解像度が高い縮小画像１０２ａ、縮小画像１１２ａのテンプレートマッチングを行う。本処理において差異があると判断された特徴点を記憶しておく。また、差異が無いと判定された領域についてさらに射影変換結果画像１０２、射影変換結果画像１１２のテンプレートマッチングを行う。本処理において差異があると判断された特徴点を記憶する。上記処理において、射影変換結果画像１０２および射影変換結果画像１１２において、差異があると判断された座標群を得る。このような階層的特徴点探索処理としては、階層的テンプレートマッチング、階層的マッチングなどと呼ばれる一般的な手法を適用すればよい（例えば、非特許文献１）。

Ｓ５０５：階層的特徴点探索処理により得られた類似度の低い特徴点の座標群を得る。

本過程では、階層的特徴点探索処理機能３２４は、類似度が類似度閾値S4以上の特徴点は変更がない箇所とみなし、類似度が類似度閾値S4よりも低い特徴点の座標群が非類似特徴点の座標群Ｃ１３０として得られる。

Ｓ５０６：前記座標範囲化処理により得られた変更点検出領域の座標群のうち隣接する座標が存在する領域を変更範囲とみなす。

本過程では、差分検出部０２０の座標範囲化処理機能３２５は、図１７に示したように、非類似特徴点の座標群Ｃ１３０のうち、ある座標を中心として座標隣接距離R1を半径とする円領域内に隣接座標数閾値S5個以上の座標が存在する場合のみ、当該領域は変更があった領域とみなし、変更点検出領域とする。同図の事例においては、（１）、（３）で示した領域が変更点検出領域として検出されている。以上の座標範囲化処理が非類似特徴点の座標群Ｃ１３０の全ての座標に対して行われることにより、変更点検出領域群Ａ１３０が得られる。

Ｓ５０７：射影変換結果画像１１２における所定の変更範囲を着色して出力する。

本過程では、差分検出部０２０の変更点検出領域着色機能３２６は、射影変換結果画像１１２における変更点検出領域群Ａ１３０の領域を着色することにより、変更点検出結果画像１２０を得る。

画像データ１００及び画像データ１１０の撮影の際、被撮影盤に対する撮影装置の位置関係が大きく異なると、射影変換処理により盤正面から撮影した画像に変更したとしても、射影変換結果画像１０２及び射影変換結果画像１１２中の盤面構成部品の位置座標が異なる場合がある。これは変更点検出システムの変更点検出精度を下げる原因となる。

これに対して、本実施形態の差分検出部０２０は、射影変換結果画像１０２及び射影変換結果画像１１２を比較する際、同座標の色を比較するのではなく、階層的特徴点探索処理により射影変換結果画像１０２から特徴点を射影変換結果画像１１２から見出す。

特に、階層的特徴点探索処理によれば、探索ウィンドウサイズを一定とし、低解像度である縮小画像１０２ｂ及び縮小画像１１２ｂから順にテンプレートマッチングが行われるので、射影変換結果画像１１２から射影変換結果画像１０２中の特徴点が見出される。

以上のように、本実施形態によれば、被撮影盤に対する撮影装置の位置関係が異なることにより、実施形態１，４と同様に、射影変換結果画像中の盤面構成部品の位置座標が局所的に異なる場合でも、高精度に変更点検出を行うことができる。また、本実施形態の階層的特徴点探索処理は、階層毎に探索範囲を限定して探索し、指定された探索範囲中に類似度の高い特徴点の有無を判断基準とする。したがって、射影変換結果画像において同座標の色を比較する実施形態１及び４の方式と比べても、射影変換結果画像中の盤面構成部品の局所的な位置座標の違いに対して頑健なものとなる。特に、類似して特徴点が並ぶ盤の特徴点探索に適したものとなる。尚、階層的特徴点探索処理手法に関して限定せず、一般的な手法を使用することで実現できる。

［実施形態６］
（概要）
実施形態１〜５においては、盤前面特定部０００及び盤前面特定部０１０にて盤前面を特定した後、射影変換部００１及び射影変換部０１１にて盤前面の四角を合わせるように射影変換が行われる。

画像データ１００（作業前盤画像）及び画像データ１１０（作業後盤画像）の取得の際、被撮影盤に対する撮影装置の位置関係が大きく異なると、射影変換処理により盤正面から撮影した画像に変換される際、射影変換結果画像１０２及び射影変換結果画像１１２の盤面構成部品の位置座標が異なることがある。これは、変更点の検出精度を低下させる原因となることがある。

そこで、実施形態６の変更点検出装置００においては、盤前面画像の盤前面四角を合わせる射影変換を行なわないで、盤前面中に含まれる特徴点の位置を合わせる射影変換を行う。これにより、盤前面画像１０１及び盤前面画像１１１の盤面構成部品の位置座標が異なる場合でも、高精度に変更点検出を行える。

（変更点検出装置００の態様例及び動作例）
図１８に示された実施形態６の変更点検出装置００は、盤前面特定部０００と盤前面特定部０１０と対応点探索部０４０と射影変換部０４１と差分検出部０２０とを備える。尚、盤前面特定部０００、盤前面特定部０１０及び差分検出部０２０の態様は特に限定しないが、実施形態１〜５の態様が有効に適用できる。

対応点探索部０４０は、前記作業前，作業後の盤前面画像１０１，１１１の対応点探索により互いに対応する当該作業前，当該作業後の盤前面画像の対応点座標群Ｃ１４０，Ｃ１４１を得る。

射影変換部０４１は、前記作業前，前記作業後の盤前面画像の対応点座標群Ｃ１４０，Ｃ１４１に基づき当該盤前面画像を射影変換結果画像１１４に変換する。

差分検出部０２０は、作業前の盤前面画像１０１及び作業後の射影変換結果画像１１４の差分を検出し、盤前面画像１０１上に変化点を着色して変更点検出結果画像１２０を出力する。

図１８〜２０を参照して本実施形態の画像データ処理の流れについて説明する。

Ｓ６０１：変更点検出装置００は画像データ記憶装置４０のデータ記憶部４００，４０１から作業前，作業後の画像データ１００，１１０を各々受け取る。

Ｓ６０２：画像データ１００，１１０中の盤前面を特定した作業前，作業後の盤前面画像１０１，１１１を作成する。

本過程では、盤前面特定部０００が、画像データ１００から作業前の盤前面の輪郭を特定して盤前面画像１０１を抽出する。一方、盤前面特定部０１０が、画像データ１１０から作業後の盤前面の輪郭を特定して盤前面画像１１１を抽出する。本過程での盤前面特定法としては実施形態１〜５の盤前面特定法が適用されるが、本発明の盤前面特定法はこれらの特定法に限定しない。

Ｓ６０３：盤前面画像１０１，１１１において対応点探索を行う。

本過程では、対応点探索部０４０が、盤前面特定部０００，０１０から盤前面画像１０１，１１１を各々受け取り、対応点探索を行う。対応点探索部０４０における対応点探索処理には、ＳＩＦＴ（Scale-Invariant Feature Transform）またはＳＵＦＴ（Speeded-Up Robust Feature Transform）等の周知の処理法が適用される。以上の対応点探索処理により得られた盤前面画像１０１の対応点座標群Ｃ１４０と盤前面画像１１１の対応点座標群Ｃ１４１とが対応点探索部０４０から出力される。

Ｓ６０３：作業後の盤前面画像１１１の対応点と作業前の盤前面画像１０１の対応点とが合うように、作業後の盤前面画像１０１を射影変換する。

本過程では、射影変換部０４１は、盤前面画像１１１の対応点座標群Ｃ１４１が盤前面画像１０１の対応点座標群Ｃ１４０と一致するように射影変換を行い、作業後の射影変換結果画像１１４を出力する。図２０にその処理例を示した。

Ｓ６０４：作業前の盤前面画像１０１と作業後の射影変換結果画像１１４の差分を検出する。

本過程では、差分検出部０２０が作業前の盤前面画像１０１及び作業後の射影変換結果画像１１４の差分を検出し、盤前面画像１０１上に変化点を着色して変更点検出結果画像１２０を出力する。尚、本過程での差分検出手法としては実施形態１〜５の差分検出法が適用されるが、本発明の差分検出法はこれらの検出方法に特に限定されない。

以上のように本実施形態においては、作業前，作業後の盤前面画像１０１，１１１の特徴点座標が一致するように射影変換を行う対応点探索過程が実行される。したがって、盤前面四角が合うように射影変換を行う実施形態１〜５の方式と比べても、盤前面画像中の盤面構成部品の位置座標の差に対して頑健となる。

［実施形態７］
（概要）
実施形態１，４においては、射影変換結果画像１０２及び射影変換結果画像１１２を細分化画像群１０３及び細分化画像群１１３に切り分け、同じ座標の細分化画像において色の比較を行うことで、その変更点が検出される。

ここで、被撮影盤の撮影時に、カメラのフラッシュ光のような強い光やその反射光、時刻によって色や強さを変える太陽光などの自然光が撮影画像中に写り込むと、前記変更点の検出精度を低下させる原因となることがある。

そこで、実施形態７の差分検出部０２０は、射影変換結果画像１０２と射影変換結果画像１１２とを比較する際、同座標の色比較のみならず、射影変換結果画像１０２に含まれる模様情報を射影変換結果画像１１２における近傍座標から検出する位相限定相関法処理を採る。これにより、画像データ１００及び画像データ１１０の撮影時の照明環境が異なる場合でも高精度に変更点認識を行える。

本実施形態の盤変更点検出システム１は、変更点検出装置００の差分検出部０２０の処理内容が図５，１３の代わりに図２１の内容となっていること以外は、実施形態１，４の同様の態様である。

すなわち、差分検出部０２０は、作業前，作業後の射影変換結果画像１０２，１１２の特徴点座標の色相差及び類似度を二次元特徴量として二次元空間にマッピングされた当該二次元特徴量の対応座標群が予め定められた非類似判定領域にある場合に当該対応座標群を非類似座標群（非類似特徴点座標群Ｃ１５２）とみなす。そして、この非類似座標群から抽出された変更点検出領域に対応した前記作業前の射影変換結果画像１０２における範囲を着色して変更点検出結果画像１２０を生成する。

（差分検出部０２０の動作例）
図２１〜２３を参照して本実施形態の具体的な差分検出の流れについて説明する。

実施形態７の差分検出部０２０は以下の差分検出過程を実行する。

Ｓ７０１：射影変換部００１，０１１から作業前の射影変換結果画像１０２，作業後の射影変換結果画像１１２を各々受け取る。そして、射影変換結果画像１０２及び射影変換結果画像１１２は差分検出部０２０の特徴量抽出器３３０に入力される。

Ｓ７０２：射影変換結果画像１０２及び射影変換結果画像１１２から位相限定相関法類似度（以下、ＰＯＣ類似度と称する）及び視差を抽出する。

本過程では、図２２に示された差分検出部０２０の特徴量抽出器３３０が、射影変換結果画像１０２及び射影変換結果画像１１２のＰＯＣ類似度値群ＰＯＣ１を抽出する。また、射影変換結果画像１０２と射影変換結果画像１１２の対応点における色相値差群ＤＩＦ−Ｈ１を特徴量として抽出する。さらに、前記対応点のうち、射影変換結果画像１０２上の座標を特徴点座標群Ｃ１５０として出力する。

以下、図２２を参照して特徴量抽出器３３０の具体的な動作例について説明する。

特徴量抽出器３３０は、以下の特徴量抽出機能３３０ａ、類似特徴点探索機能３３０ｂおよび色相計算機能３３０ｃを実行する。

特徴量抽出機能３３０ａは、入力された射影変換結果画像１０２及び射影変換結果画像１１２においてＰＯＣ類似度を算出する。そして、射影変換結果画像１０２，１１２における最も類似度の高い点から視差ＰＡＲ１’を算出して出力する。また、前記最も類似度の高い点におけるＰＯＣ類似度をＰＯＣ類似度値ＰＯＣ１’として出力する。さらに、前記最も類似度の高い点の射影変換結果画像１０２上の座標を特徴点座標Ｃ１５０’として出力する。

類似特徴点探索機能３３０ｂは、特徴点座標Ｃ１５０’、視差ＰＡＲ１’及びＰＯＣ類似度値ＰＯＣ１’に基づき射影変換結果画像１１２の当該特徴点に対応する射影変換結果画像１１２の特徴点の座標を特徴点座標Ｃ１５１’として検出する。

色相計算機能３３０ｃは、射影変換結果画像１０２上の特徴点座標Ｃ１５０’の色相値と射影変換結果画像１１２の特徴点座標Ｃ１５１’の色相値差ＤＩＦ−Ｈ１’を算出する。この演算は前記得られた全ての特徴点座標Ｃ１５０’，Ｃ１５１’について実行される。

Ｓ７０３：差分検出部０２０は、特徴量抽出器３３０から供されたＰＯＣ類似度値ＰＯＣ１’及び色相値差ＤＩＦ−Ｈ１’に基づき両画像（射影変換結果画像１０２，１１２）の対応点座標を算出する。

本過程では、図２１に示された差分検出部０２０の特徴量二次化機能３３１が、Ｓ７０４でのマッピングの前処理として、前記対応点座標を算出する。

Ｓ７０４：前記対応点座標におけるＰＯＣ類似度値及び色相値差を二次元特徴量とし、二次元空間にマッピングする。

本過程では、特徴量二次化機能３３１が、特徴点座標群Ｃ１５０の前記対応点座標に対し、ＰＯＣ類似度値群ＰＯＣ１と色相値差群ＤＩＦ−Ｈ１の各値を割り当て二次元情報とし、ＰＯＣ類似度を第一軸に、色相値差群ＤＩＦ−Ｈ１を第二軸とした二次元平面にプロットする。

前記プロットに際し、色相値差ＤＩＦ−Ｈ１’には色相値正規化係数Ｃ１が、ＰＯＣ類似度値ＰＯＣ１’にはＰＯＣ類似度値正規化係数Ｃ２が用いられ、正規化が施される。色相値正規化係数Ｃ１及びＰＯＣ類似度値正規化係数Ｃ２は変更点検出装置００を実装するコンピュータに予め設定される。以上の特徴量の二次元化処理を全ての座標において実行することにより、二次元特徴量群ＳＱ１が得られる。

Ｓ７０５：前記二次元特徴量の対応座標が予め用意された非類似判定領域内にある場合、その座標を非類似座標とみなす。

本過程では、特徴量抽出器３３０の非類似座標検出機能３３２が、前記二次元特徴量が、前記コンピュータに予め設定された非類似判定領域Ａ１４０にあるかを判定し、非類似判定領域Ａ１４０内にある特徴量の座標を非類似特徴点座標として記録する。

前記判定は二次元特徴量群ＳＱ１の全ての特徴量について実行され、非類似特徴点座標群Ｃ１５２が得られる。上記の判定例を図２３に示した。尚、本過程の非類似判定領域の数や形状は特に限定しない。

Ｓ７０６：前記得られた非類似特徴点座標群Ｃ１５２のうち隣接する座標が存在する領域を変更範囲とみなす。

本過程では、図１７の実施形態５の座標範囲化処理と同様の処理が実行される。すなわち、特徴量抽出器３３０の座標範囲化処理機能３３３が、非類似特徴点座標群Ｃ１５２のうちで、ある座標を中心として座標隣接距離Ｒ２を半径とする円領域内に隣接座標数閾値Ｓ６個以上の座標が存在する場合のみ、当該領域は変更があった領域とみなす。そして、この領域を変更点検出領域とする。以上の処理は非類似特徴点座標群Ｃ１５２の全ての座標に対して行われ、変更点検出領域群Ａ１５２が得られる。

Ｓ７０７：作業前の射影変換結果画像に対し、変更点検出領域群Ａ１５２に対応した変更範囲を着色して出力する。

本過程では、特徴量抽出器３３０の変更点検出領域着色機能３３４が、射影変換結果画像１０２に対して変更点検出領域群Ａ１５２の領域を着色し、変更点検出結果画像１２０を得る。

以上のように、本実施形態の盤変更点検出システム１によれば、実施形態１，４の効果に加えて、異なる照明条件下において撮影された盤画像の変更点を高精度に検出することができる。

［実施形態８］
（概要）
実施形態７においては、射影変換結果画像から色相差とＰＯＣ類似度の二つの特徴量を抽出し、事前に設定された境界において当該特徴量に基づき変更点の有無が判定される。

しかし、前記境界の設定は一般に大きな手間を要する。前記境界は撮影環境や盤の色、主とする盤上構成部品によって変わる可能性があり、その都度、境界の事前設定が必要となり、当該設定に柔軟に対応できる差分検出部０２０の態様が望ましい。

また、実施形態７の色相差とＰＯＣ類似度以外の特徴量も差分検出に考慮したい場合があり、考慮する特徴量数が増えると、境界の設定はさらに複雑及び困難となり、さらに手間を要するので、多様な特徴量に柔軟な差分検出部の容易な構築及び自動化が望まれる。

そこで、図２４に示された本実施形態の変更点検出装置００は、事前にサポートベクターマシン（以下、ＳＶＭ）に学習させた図２６の識別係数群Ｃ３を射影変換結果画像１０２，１１２から抽出した特徴量に掛け合わせた際の積に基づき変更の有無を判定する。これにより、大きな手間を要せずに、多様な特徴量を考慮した高精度な変更点検出を行える。

（盤変更点検出システム１の構成例）
盤変更点検出システム１は、図２４に示されたように、画像データ記憶装置４０においてデータ記憶部４０２がさらに具備され、変更点検出装置００において補正係数学習部０２１がさらに具備されていること以外は、実施形態７と同様の態様となっている。

データ記憶部４０２は、差分検出を行う前に教師画像を用意して補正係数学習部０２１でのＳＶＭによる事前の学習により得られた識別係数群Ｃ３を予め記憶（保存）する。

補正係数学習部０２１は、図２６に示されたように、作業前，作業後の射影変換結果画像１０２，１１２の特徴点座標のRGB値差、HSV値差、視差及び類似度に基づく学習により差分検出部０２０での非類似座標群の検出に供される識別係数群Ｃ３を予め算出する。

差分検出部０２０は、図２５に示したように、特徴量抽出器３４０から供された多次元特徴量とデータ記憶部４０２から供された識別係数との積に基づき判定された非類似特徴点座標群Ｃ１５２から変更点検出領域群Ａ１５２を抽出する。この変更点検出領域群Ａ１５２に対応した前記作業前の射影変換結果画像１０２における範囲を着色して変更点検出結果画像１２０を生成する。

変更点検出装置００の差分検出部０２０は、射影変換部００１，０１１から受けた射影変換結果画像１０２，１１２から抽出した特徴量とデータ記憶部４０２から受けた識別係数群Ｃ３とに基づき盤前面画像の変更点を検出する。尚、射影変換結果画像１０２，１１２は実施形態１〜７と同様の方法により得られる。

（盤変更点検出システム１の動作例）
以下、図２４〜２７を参照して変更点検出装置００による具体的な処理の流れについて説明する。変更点検出装置００は以下の補正係数学習過程と変更点検出過程とを実行する。

（補正係数学習過程）
補正係数学習過程は補正係数学習部０２１のＳＶＭ３４４により実行される。以下、図２６を参照して具体的な学習過程について説明する。

ＳＶＭ３４４は、先ず、図２６の特徴量抽出器３４０から、特徴量として、ＲＧＢ値差群ＤＩＦ−ＲＧＢ１，ＨＳＶ値差群ＤＩＦ−ＨＳＶ１、視差群ＰＡＲ２及びＰＯＣ類似度値群ＰＯＣ２を受け取る。また、射影変換結果画像１０２に対する射影変換結果画像１１２の変更有無情報である変更有無情報ＡＮＳ１を外部から受け取る。

次いで、ＳＶＭ３４４は、変更有無情報ＡＮＳ１の情報に基づき、特徴量抽出器３４０から供された前記特徴量に対する学習により得られた識別係数群Ｃ３をデータ記憶部４０２に出力して保存する。識別係数群Ｃ３は前記特徴量に掛け合わせた際に、その積を以て当該特徴点における変更の有無を識別できるものとする。

ＳＶＭ３４４のサポートベクターマシンとしては周知の機械学習法を適用すればよい。また、本実施形態において変更有無情報ＡＮＳ１の生成方法は特に限定しない。例えば、入力装置からユーザーが指定する方法、実施形態１〜７の盤変更点検出システム１で出力された変更点検出結果画像１２０を入力する方法、または、これらの方法と同等の方法により生成すればよい。

（変更点検出過程）
図２５、２７を参照して変更点検出過程について説明する。

Ｓ８０１：差分検出部０２０は、射影変換部００１，０１１から作業前の射影変換結果画像１０２，作業後の射影変換結果画像１１２を各々受け取る。射影変換結果画像１０２及び射影変換結果画像１１２は差分検出部０２０の特徴量抽出器３４０に入力される。

Ｓ８０２：差分検出部０２０において、特徴量抽出器３４０は、射影変換結果画像１０２，１１２からＲＧＢ値差群ＤＩＦ−ＲＧＢ１、ＨＳＶ値差群ＤＩＦ−ＨＳＶ１、ＰＯＣ類似度値群ＰＯＣ２、視差群ＰＡＲ２の特徴量を得る。

以下、図２７を参照して特徴量抽出器３４０の具体的な動作例について説明する。

特徴量抽出器３４０は、以下の特徴量抽出機能３４０ａ、対応点座標探索機能３４０ｂ、絶対値差演算機能３４０ｃ，３４０ｄを実行する。

特徴量抽出機能３４０ａは、射影変換結果画像１０２及び射影変換結果画像１１２においてＰＯＣ類似度を計算する。そして、射影変換結果画像１０２，１１２における最も類似度の高い点から視差ＰＡＲ２’を出力する。また、前記最も類似度の高い点における類似度をＰＯＣ類似度値ＰＯＣ２’として出力する。さらに、前記最も類似度の高い点の射影変換結果画像１０２の座標を特徴点座標Ｃ１６０’として出力する。

対応点座標探索機能３４０ｂは、前記得られた視差ＰＡＲ２’、ＰＯＣ類似度値ＰＯＣ２’、特徴点座標Ｃ１６０’から、射影変換結果画像１０２の当該特徴点に対応する射影変換結果画像１１２の点の座標を特徴点座標Ｃ１６１’として検出する。

絶対値差演算機能３４０ｃは、射影変換結果画像１０２の特徴点座標Ｃ１６０’のＲＧＢ値と射影変換結果画像１１２の特徴点座標Ｃ１６１’’のＲＧＢ値の差ＤＩＦ−ＲＧＢ１’を算出する。この演算は前記得られた全ての特徴点座標Ｃ１６０’，Ｃ１６１’について行われる。

絶対値差演算機能３４０ｄは、射影変換結果画像１０２の特徴点座標Ｃ１６０’のＨＳＶ値と射影変換結果画像１１２の特徴点座標Ｃ１６１’のＨＳＶ値の差ＤＩＦ−ＨＳＶ１’を算出する。この演算は前記得られた全ての特徴点座標Ｃ１６０’，Ｃ１６１’について行われる。

Ｓ８０５：差分検出部０２０は、特徴量抽出器３４０にて抽出された特徴量に対して、ＳＶＭにより予め用意した識別係数を掛け合わせ、その積に基づく当該座標の変更有無の判定を全ての特徴点で行い、変更が検出された座標を非類似座標群とする。

本過程では、差分検出部０２０の非類似座標検出機能３４１が、Ｓ８０４で得られたＲＧＢ値差群ＤＩＦ−ＲＧＢ１、ＨＳＶ値差群ＤＩＦ−ＨＳＶ１、ＰＯＣ類似度値群ＰＯＣ２、視差群ＰＡＲ２に、データ記憶部４０２から引き出した識別係数群Ｃ３を掛け合わせ、その積が非類似であることを示す座標を非類似特徴点座標として記録する。以上の判定を特徴点座標群Ｃ１６０の各座標の特徴量に対して行い、非類似特徴点座標群Ｃ１５２を得る。

Ｓ８０７：差分検出部０２０は、非類似特徴点座標群Ｃ１５２のうち、隣接する座標が存在する領域を変更範囲とみなす。

本過程では、差分検出部０２０の座標範囲化処理機能３４２が、図１７の実施形態５と同様の処理により、非類似特徴点座標群Ｃ１５２のうち、ある座標を中心として座標隣接距離Ｒ３を半径とする円領域内に隣接座標数閾値Ｓ７個以上の座標が存在する場合のみ、当該領域は変更があった領域とみなし、変更点検出領域とする。以上の処理を非類似特徴点座標群Ｃ１５２の全ての座標に対して行い、変更点検出領域群Ａ１５２を得る。

Ｓ８０８：差分検出部０２０は、作業前の射影変換結果画像１０２に対し、変更点検出領域群Ａ１５２に対応した変更範囲を着色して出力する。

本過程では、差分検出部０２０の変更点検出領域着色機能３４３が、射影変換結果画像１０２に対して、変更点検出領域群Ａ１５２の領域を着色する。これにより図２５に例示された変更点検出結果画像１２０が得られる。

以上の実施形態８によれば、変更点検出装置００において機械学習が適用されることで、大きな手間を要することなく、高精度な盤変更点の検出が行える。

［本発明の他の態様例］
本発明の他の態様例としては、コンピュータを上述の変更点検出装置００としてまたは変更点検出方法をコンピュータに実行させる変更点検出プログラムが挙げられる。このプログラムはコンピュータが読み取り可能な周知の記録媒体またはインターネット等のネットワークを介して提供できる。

尚、本発明は、以上説明した実施形態に限定されるものではなく、本発明の特許請求の範囲内で様々な態様で実施が可能である。

１…盤変更点検出システム
３０…入力装置
４０…画像データ記憶装置
００…変更点検出装置、０００，０１０…盤前面特定部、００１，０１１…射影変換部、０２０…差分検出部、０２１…補正係数学習部
０４０…対応点探索部、０４１…射影変換部
５０…表示装置

Claims (6)

1. 制御盤の改修の作業前後の変更点を検出する変更点検出装置であって、
   前記改修の作業前と作業後の盤前面の撮影により得られた画像データから当該盤前面の輪郭を特定して作業前と作業後の盤前面画像を抽出する盤前面特定部と、
   前記作業前と作業後の盤前面画像の対応点探索により互いに対応する当該作業前と当該作業後の盤前面画像の対応点座標群を得る対応点探索部と、
   前記作業前と前記作業後の盤前面画像の対応点座標群に基づき当該盤前面画像を射影変換結果画像に変換する射影変換部と、
   前記作業前と前記作業後の射影変換結果画像を細分化して当該作業前と当該作業後の差異のある細分化画像に着色した変更点検出結果画像を生成する差分検出部と
   を備えたことを特徴とする変更点検出装置。
2. 制御盤の改修の作業前後の変更点を検出する変更点検出装置であって、
   前記改修の作業前と作業後の盤前面の撮影により得られた画像データから当該盤前面の輪郭を特定して盤前面画像を抽出する盤前面特定部と、
   前記盤前面画像を射影変換結果画像に変換する射影変換部と、
   前記作業前と前記作業後の射影変換結果画像の特徴点座標の色相差及び類似度を二次元特徴量として二次元空間にマッピングされた当該二次元特徴量の対応座標群が予め定められた非類似判定領域にある場合に当該対応座標群を非類似座標群とみなして当該非類似座標群から抽出した変更点検出領域に対応する前記作業前の射影変換結果画像における範囲を着色して変更点検出結果画像を生成する差分検出部と
   を備えたことを特徴とする変更点検出装置。
3. 前記作業前と前記作業後の射影変換結果画像の特徴点座標のRGB値差、HSV値差、視差及び類似度に基づく学習により前記差分検出部での前記非類似座標群の検出に供される識別係数を予め算出する補正係数学習部をさらに備え、
   前記差分検出部は、前記RGB値差、HSV値差、視差及び類似度を多次元特徴量とし、前記識別係数との積に基づき判定された非類似特徴点座標群から抽出した変更点検出領域に対応する前記作業前の射影変換結果画像における範囲を着色して変更点検出結果画像を生成すること
   を特徴とする請求項２に記載の変更点検出装置。
4. コンピュータが制御盤の改修の作業前後の変更点を検出する変更点検出方法であって、
   前記改修の作業前と作業後の盤前面の撮影により得られた画像データから当該盤前面の輪郭を特定して作業前と作業後の盤前面画像を抽出する盤前面特定過程と、
   前記作業前と作業後の盤前面画像の対応点探索により互いに対応する当該作業前と当該作業後の盤前面画像の対応点座標群を得る対応点探索過程と、
   前記作業前と前記作業後の盤前面画像の対応点座標群に基づき当該盤前面画像を射影変換結果画像に変換する射影変換過程と、
   前記作業前と前記作業後の射影変換結果画像を細分化して当該作業前と当該作業後の差異のある細分化画像に着色した変更点検出結果画像を生成する差分検出過程と
   を有することを特徴とする変更点検出方法。
5. コンピュータが制御盤の改修の作業前後の変更点を検出する変更点検出方法であって、
   前記改修の作業前と作業後の盤前面の撮影により得られた画像データから当該盤前面の輪郭を特定して盤前面画像を抽出する盤前面特定過程と、
   前記盤前面画像を射影変換結果画像に変換する射影変換過程と、
   前記作業前と前記作業後の射影変換結果画像の特徴点座標の色相差及び類似度を二次元特徴量として二次元空間にマッピングされた当該二次元特徴量の対応座標群が予め定められた非類似判定領域にある場合に当該対応座標群を非類似座標群とみなして当該非類似座標群から抽出した変更点検出領域に対応する前記作業前の射影変換結果画像における範囲を着色して変更点検出結果画像を生成する差分検出過程と
   を備えたことを特徴とする変更点検出方法。
6. 請求項１から３のいずれか１項に記載の変更点検出装置としてコンピュータを機能させることを特徴とする変更点検出プログラム。