JP2018010630A - 被写体異常有無調査システム - Google Patents
被写体異常有無調査システム Download PDFInfo
- Publication number
- JP2018010630A JP2018010630A JP2017128818A JP2017128818A JP2018010630A JP 2018010630 A JP2018010630 A JP 2018010630A JP 2017128818 A JP2017128818 A JP 2017128818A JP 2017128818 A JP2017128818 A JP 2017128818A JP 2018010630 A JP2018010630 A JP 2018010630A
- Authority
- JP
- Japan
- Prior art keywords
- image
- subject
- unit
- worker
- difference
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 230000005856 abnormality Effects 0.000 title claims abstract description 55
- 238000011835 investigation Methods 0.000 title claims abstract description 37
- 238000012545 processing Methods 0.000 claims abstract description 66
- 230000008859 change Effects 0.000 claims abstract description 57
- 230000002159 abnormal effect Effects 0.000 claims abstract description 35
- 238000001514 detection method Methods 0.000 claims abstract description 29
- 238000007689 inspection Methods 0.000 claims abstract description 24
- 230000007547 defect Effects 0.000 claims description 23
- 238000013507 mapping Methods 0.000 claims description 22
- 238000013461 design Methods 0.000 claims description 20
- 238000001228 spectrum Methods 0.000 claims description 9
- 238000012790 confirmation Methods 0.000 claims description 7
- 239000000284 extract Substances 0.000 claims description 7
- 239000011521 glass Substances 0.000 claims description 7
- PEDCQBHIVMGVHV-UHFFFAOYSA-N Glycerine Chemical compound OCC(O)CO PEDCQBHIVMGVHV-UHFFFAOYSA-N 0.000 claims description 6
- 230000003287 optical effect Effects 0.000 claims description 2
- 230000007717 exclusion Effects 0.000 claims 4
- 230000006866 deterioration Effects 0.000 abstract description 22
- 238000005516 engineering process Methods 0.000 abstract description 3
- 230000008439 repair process Effects 0.000 abstract description 3
- 238000000034 method Methods 0.000 description 22
- 238000010586 diagram Methods 0.000 description 16
- 238000000605 extraction Methods 0.000 description 11
- 230000006870 function Effects 0.000 description 11
- 230000015556 catabolic process Effects 0.000 description 6
- 238000006731 degradation reaction Methods 0.000 description 6
- 238000012544 monitoring process Methods 0.000 description 6
- 230000006378 damage Effects 0.000 description 5
- JEIPFZHSYJVQDO-UHFFFAOYSA-N iron(III) oxide Inorganic materials O=[Fe]O[Fe]=O JEIPFZHSYJVQDO-UHFFFAOYSA-N 0.000 description 4
- 230000008569 process Effects 0.000 description 4
- 238000012423 maintenance Methods 0.000 description 3
- 238000010521 absorption reaction Methods 0.000 description 2
- 230000007797 corrosion Effects 0.000 description 2
- 238000005260 corrosion Methods 0.000 description 2
- 238000003745 diagnosis Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000003384 imaging method Methods 0.000 description 2
- 239000002994 raw material Substances 0.000 description 2
- 239000000126 substance Substances 0.000 description 2
- 239000003245 coal Substances 0.000 description 1
- 230000008878 coupling Effects 0.000 description 1
- 238000010168 coupling process Methods 0.000 description 1
- 238000005859 coupling reaction Methods 0.000 description 1
- 238000005336 cracking Methods 0.000 description 1
- 238000012217 deletion Methods 0.000 description 1
- 230000037430 deletion Effects 0.000 description 1
- 230000008034 disappearance Effects 0.000 description 1
- 238000006073 displacement reaction Methods 0.000 description 1
- 239000005357 flat glass Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000001454 recorded image Methods 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 230000003595 spectral effect Effects 0.000 description 1
Images
Landscapes
- Image Processing (AREA)
- Emergency Alarm Devices (AREA)
- Alarm Systems (AREA)
Abstract
【課題】被写体の変化部分の調査、点検、劣化状況、修復などを行う作業員からの視点、例えば、作業位置の視点から変化部分を分かり易く表示し、変化部分の状況を診断し、異常有無を調査し得る技術を提供する。【解決手段】カメラにて撮影した画像を３次元画像として表示装置に出力する画像処理部、現在の画像と前記過去の画像とを比較して当該両画像の差分を検出する画像差分検出部、画像処理部からの被写体の３次元画像と前記画像差分検出部からの画像の差分をマッピング表示し、かつ、前記被写体の状態を確認する作業員が装着するウェアラブル端末から出力される作業員通路、作業員視点からの映像、又は点検通路からの透視画像を表示する表示部を含み、表示部における３次元画像、画像の差分、作業員通路、作業員視点からの映像、又は点検通路からの透視画像により、画像の差分に基づく変化部分の異常個所の確認、異常状態の確認を可能とする。【選択図】図１
Description
本発明は、被写体異常有無調査システムに関する。
更に詳しくは、ビル、工場、家屋などの建造物（建物）やストックヤード、原料ヤード、河川、崖、鉱山、などの自然物を含む被写体（対象物）を、例えば、遠隔操作により、飛行する自律飛行体（含ドローン）に搭載したカメラで撮影した撮影画像から建物の外壁や屋根などの破損、損傷、ひび割れ、劣化、建物の傾き、位置ズレ、などの変化した変化部分を検出して建物の重軽度を含む異常有無を調査する被写体異常有無調査システムに関する。
更に詳しくは、ビル、工場、家屋などの建造物（建物）やストックヤード、原料ヤード、河川、崖、鉱山、などの自然物を含む被写体（対象物）を、例えば、遠隔操作により、飛行する自律飛行体（含ドローン）に搭載したカメラで撮影した撮影画像から建物の外壁や屋根などの破損、損傷、ひび割れ、劣化、建物の傾き、位置ズレ、などの変化した変化部分を検出して建物の重軽度を含む異常有無を調査する被写体異常有無調査システムに関する。
監視対象者の状態を容易に把握するため、特開２０１３−２０６０１２号公報（特許文献１）に記載の技術がある。この公報には、「監視対象者の居住空間に位置する第１の端末装置と、監視者が目視する第２の端末装置とを具備する監視システムであって、前記第１の端末装置は、前記居住空間を撮像する撮像部と、前記撮像部が撮像した画像に基づいて前記監視対象者の態様を判定する態様判定部とを備え、前記第２の端末装置は、前記態様判定部の判定結果に対応する画像を生成する画像生成部と、前記画像生成部が生成した画像を表示する表示部とを備えることを特徴とする監視システム」という記載がある。
特許文献１に記載された発明では、監視対象者の態様を把握することは可能であるも、被写体の変化部分を作業員からの視点、例えば、作業位置の視点から異常個所を分かり易くする表示することまでは想定されていない。そのため、監視対象者（被見守り者）がどのような状態にあるかを直感的に把握するという効果に留まる。
そこで、本発明では、例えば、被写体の変化部分の調査、点検、劣化状況、修復（メンテナンス）などを行う作業員からの視点、例えば、作業位置の視点から変化部分を分かり易く表示し、変化部分の状況を診断し、被写体の異常有無を調査し得る技術を提供することを目的とする。
上記課題を解決するために、代表的な本発明の被写体異常有無調査システムの一つは、被写体をカメラにて撮影した現在の画像と過去の画像とを比較し、当該両画像の差分を被写体の変化部分として被写体の３次元画像上にマッピングする被写体異常有無調査システムであって、
記憶装置と、画像処理装置と、表示装置、を備え、
前記記憶装置は、前記過去の画像を記憶する記憶部、を含み、
前記画像処理装置は、前記カメラにて撮影した画像を３次元画像として前記表示装置に出力する画像処理部、前記現在の画像と前記過去の画像とを比較して当該両画像の差分を検出する画像差分検出部を含み、
前記表示装置は、前記画像処理部からの被写体の３次元画像と前記画像差分検出部からの画像の差分をマッピング表示し、かつ、前記被写体の状態を確認する作業員が装着するウェアラブル端末から出力される作業員通路、作業員視点からの映像、又は点検通路からの透視画像を表示する表示部を含み、
前記表示部における３次元画像、前記画像の差分、前記作業員通路、作業員視点からの映像、又は点検通路からの透視画像により、前記画像の差分に基づく変化部分の異常個所の確認、異常状態の確認を可能とすることを特徴とする。
記憶装置と、画像処理装置と、表示装置、を備え、
前記記憶装置は、前記過去の画像を記憶する記憶部、を含み、
前記画像処理装置は、前記カメラにて撮影した画像を３次元画像として前記表示装置に出力する画像処理部、前記現在の画像と前記過去の画像とを比較して当該両画像の差分を検出する画像差分検出部を含み、
前記表示装置は、前記画像処理部からの被写体の３次元画像と前記画像差分検出部からの画像の差分をマッピング表示し、かつ、前記被写体の状態を確認する作業員が装着するウェアラブル端末から出力される作業員通路、作業員視点からの映像、又は点検通路からの透視画像を表示する表示部を含み、
前記表示部における３次元画像、前記画像の差分、前記作業員通路、作業員視点からの映像、又は点検通路からの透視画像により、前記画像の差分に基づく変化部分の異常個所の確認、異常状態の確認を可能とすることを特徴とする。
本発明によれば、作業員からの視点、例えば、作業位置の視点から建物などの異常個所を分かり易く表示することができ、異常個所の診断、保守などの対策を迅速に行うことが可能である。
上記した以外の課題、構成及び効果は、以下の実施形態の説明により明らかにされる。
上記した以外の課題、構成及び効果は、以下の実施形態の説明により明らかにされる。
カメラで建物を撮影した撮影画像から建物の壁や屋根などの破損、ひび割れ、劣化、位置ズレ、傾きなどの変動などを元に被写体の異常有無を調査する手段として、以下のような技術がある。
すなわち、過去に撮影した過去画像（異常が見られないときの正常画像）と現在に撮影した現在画像とを比較して、両者画像の差分（画像差分）を抽出し、当該抽出した画像差分を変化部分の画像として表示部に表示された建物の３次元画像にマッピングし、当該画像からビルを含む建物などの異常個所を見つけ出す技術である。
すなわち、過去に撮影した過去画像（異常が見られないときの正常画像）と現在に撮影した現在画像とを比較して、両者画像の差分（画像差分）を抽出し、当該抽出した画像差分を変化部分の画像として表示部に表示された建物の３次元画像にマッピングし、当該画像からビルを含む建物などの異常個所を見つけ出す技術である。
しかし、係る技術は、特許文献１と同様に変化部分（異常個所）の検査、評価、修復を行う作業員からの視点、例えば、作業位置の視点から異常個所の状態を表示し、分かりやすくすることまでは考慮されていない。
また、両者画像の差分（画像差分）から被写体の変化部分（異常個所など）を抽出して表示する技術には、以下のような課題があった。
（１）画像差分による変化部分を３次元画像上にマッピングしても、変化部分の変化状況を異常有無の点検、評価、補修する作業の視点からは分かりにくい。
（２）画像の中で変化部分が多い場合、過去と現在の画像の位置合わせができない。
（３）変化部分の対象の出現、削除だけでなく、変化の大きさ、移動の大きさなどについても検出する必要がある。
（４）変化の大きさや移動の大きさだけでなく、変化の速さも検出、可視化することが必要である。
（５）変化部分の多様な劣化や異常を検出に対応する必要がある。
（６）変化部分の特徴点が捉えにくい被写体（対象物）については形状の把握が困難である。
（７）被写体のガラス面に写り込んだパターンが変化抽出の障害となる。
（８）太陽、月、及び雲、植生などの写り込みが変化部分となり、変化抽出のノイズになる。
（１）画像差分による変化部分を３次元画像上にマッピングしても、変化部分の変化状況を異常有無の点検、評価、補修する作業の視点からは分かりにくい。
（２）画像の中で変化部分が多い場合、過去と現在の画像の位置合わせができない。
（３）変化部分の対象の出現、削除だけでなく、変化の大きさ、移動の大きさなどについても検出する必要がある。
（４）変化の大きさや移動の大きさだけでなく、変化の速さも検出、可視化することが必要である。
（５）変化部分の多様な劣化や異常を検出に対応する必要がある。
（６）変化部分の特徴点が捉えにくい被写体（対象物）については形状の把握が困難である。
（７）被写体のガラス面に写り込んだパターンが変化抽出の障害となる。
（８）太陽、月、及び雲、植生などの写り込みが変化部分となり、変化抽出のノイズになる。
本発明は、斯様な技術課題に鑑み、以下、その技術課題を是正する実施例について図面を参照して説明する。
図１は、本発明の一実施例を示し、過去画像と現在画像から両者の画像差分を抽出して、当該画像差分を変化部分として被写体の３次元画像にマッピング表示する被写体異常有無調査システム１の構成例を示すブロック図である。
そのために、被写体異常有無調査システム１は、以下のような構成を備えている。以下、被写体異常有無調査システム１の構成について説明する。
被写体異常有無調査システム１は、以下の機能を有するサーバからなる。サーバは、まず、被写体３の全体を飛行体２に搭載したカメラ２１、例えば２次元画像を出力するカメラで撮影した過去画像（建物が正常な状態にある画像）と現在画像を比較して、両者の画像差分を抽出する。
次に、その比較結果、両者との間で画像差分があれば、その画像差分を被写体３の変化部分、つまり、被写体３に何らかの異常があると思われる変化部分の箇所を３次元画像に変換して表示装置に出力し、当該表示装置に表示された被写体３の３次元画像にマッピングする。
また、外部から入力される作業員の通路、作業員視点からの入力映像、又は点検通路からの透視画像を３次元画像にマッピングする。
表示装置１３には、通路、入力映像、又は透視画像、などの画像と共に変化部分の箇所をマッピングしたマッピング部に関連するガイド画像が表示される。
表示装置１３の表示部に表示される外部から入力される２次元画像、３次元画像、及び３次元画像にマッピングしたマッピング画像に関連するガイド画像、などについては後述する。
次に、その比較結果、両者との間で画像差分があれば、その画像差分を被写体３の変化部分、つまり、被写体３に何らかの異常があると思われる変化部分の箇所を３次元画像に変換して表示装置に出力し、当該表示装置に表示された被写体３の３次元画像にマッピングする。
また、外部から入力される作業員の通路、作業員視点からの入力映像、又は点検通路からの透視画像を３次元画像にマッピングする。
表示装置１３には、通路、入力映像、又は透視画像、などの画像と共に変化部分の箇所をマッピングしたマッピング部に関連するガイド画像が表示される。
表示装置１３の表示部に表示される外部から入力される２次元画像、３次元画像、及び３次元画像にマッピングしたマッピング画像に関連するガイド画像、などについては後述する。
ここで、カメラ２１からの画像は、３次元画像であってもよい。過去画像と現在画像の比較処理をし易くするためには２次元画像の方が良いが、その一方、２次元画像を３次元画像に変換する処理が必要となる。外部から入力される作業員の通路、作業員視点からの入力映像は、例えば、ウェアラブルカメラにより撮影した映像とする。
そして、上記機能を実現するために、被写体異常有無調査システム１は、インターフェース装置１１、記憶装置１２、表示装置１３、画像処理装置１４、を有する。
インターフェース装置１１は、外部より被写体３を撮影する被写体撮影用カメラ２１（以下、カメラと略する）にて撮影した撮影画像（含過去の画像、現在の画像）、例えば、２次元画像、及び作業者が身に着けたまま使えるウェアラブルコンピュータ（wearable computer）４（以下、ウェアラブル端末と称する）におけるウェアラブルカメラ４１にて撮影した作業員の通路、作業員の視点からの映像を入力するインターフェース部１１１を有する。
以下、本例では、被写体３として、ビルや工場などの建物を想定して説明する。
以下、本例では、被写体３として、ビルや工場などの建物を想定して説明する。
インターフェース部１１１は、例えば、リモコン操作により飛行する自律飛行体２に搭載されたカメラ２１により撮影された建物３の撮影画像を無線受信する機能を有するインターフェースであり、又は、ＵＳＢなどのメモリ媒体に記録されたカメラ２１の撮影画像を受信する機能を有するインターフェースである。
また、インターフェース部１１１は、例えば、作業員が建物３の入り口から建物３の異常個所まで歩行して撮影した作業員の通路、作業員の視点から捉えた異常個所の映像、又は点検通路からの透視画像を入力する機能を有するインターフェースでもある。
作業員の通路、作業員の視点から捉えた異常個所の映像を撮影するには、作業員が装着するウェアラブル端末４を使用するとよい。
特に、ウェアラブル端末４は、例えば、作業員の視点から捉えた異常個所の映像を撮影する上で適したゴーグルや眼鏡にウェアラブルカメラ４１を装着したタイプの端末を使用するとよい。ウェアラブルカメラ４１により、撮影された作業員通路、作業位置の視点からの映像（２次元画像）は、インターフェース装置１１を通して記憶装置１２及び画像処理装置１４に供給される。画像処理装置１４に供給されたウェアラブルカメラ４１の映像は、画像処理装置１４の画像処理部１４１１にて３次元画像に変換され、記憶装置１２の画像ＤＢ１２１に供給される。そして、画像ＤＢ１２１に記憶された画像は、画像読取部１４１２を介して入力映像表示追加部１４１４に供給される。ここで、作業位置の視点からの映像とは、厳密に作業者から見た視点のみならず、当該視点に近い部分から撮影した映像も含む。
特に、ウェアラブル端末４は、例えば、作業員の視点から捉えた異常個所の映像を撮影する上で適したゴーグルや眼鏡にウェアラブルカメラ４１を装着したタイプの端末を使用するとよい。ウェアラブルカメラ４１により、撮影された作業員通路、作業位置の視点からの映像（２次元画像）は、インターフェース装置１１を通して記憶装置１２及び画像処理装置１４に供給される。画像処理装置１４に供給されたウェアラブルカメラ４１の映像は、画像処理装置１４の画像処理部１４１１にて３次元画像に変換され、記憶装置１２の画像ＤＢ１２１に供給される。そして、画像ＤＢ１２１に記憶された画像は、画像読取部１４１２を介して入力映像表示追加部１４１４に供給される。ここで、作業位置の視点からの映像とは、厳密に作業者から見た視点のみならず、当該視点に近い部分から撮影した映像も含む。
ウェアラブル端末４は、ゴーグルや眼鏡タイプに限定する必要はない。例えば、衣服やヘルメットに取り付けられ、建物３の異常個所を直に撮影することができるビデオカメラを有するものであればよい。
ここで、作業員の通路、視点から異常個所を見つけられず、ウェアラブルカメラ４１により撮影できない場合は、作業員点検通路からの透視画像（transparent image：３次元図形を一定の方向から透視して描いた画像）を表示するとよい。つまり、コンピュータなどによって作り出されたサイバースペースをあたかも現実のように体験する技術（バーチャルリアリティ／ＶＲ：virtual reality）を利用してもよい。
例えば、入力として、３次元画像と作業点検可能通路の情報を入力し、以下の手順にて透視画像を出力、表示する。
（１）３次元画像と作業員点検可能通路（事前に用意）より、作業員点検不可領域を抽出する。
（２）作業員点検可能通路と作業員確認不可領域より、最近点検可能通路を決定する。
（３）作業員が当該最近接点検可能通路到着時に、最近接点検可能と作業員確認不可領域から確認可能点を決定し、当該点からの画像を透視画像として表示する。
例えば、入力として、３次元画像と作業点検可能通路の情報を入力し、以下の手順にて透視画像を出力、表示する。
（１）３次元画像と作業員点検可能通路（事前に用意）より、作業員点検不可領域を抽出する。
（２）作業員点検可能通路と作業員確認不可領域より、最近点検可能通路を決定する。
（３）作業員が当該最近接点検可能通路到着時に、最近接点検可能と作業員確認不可領域から確認可能点を決定し、当該点からの画像を透視画像として表示する。
記憶装置１２は、カメラ２１にて撮影した撮影画像を過去の画像として記憶する記憶部を有する。記憶部は、例えば、画像ＤＢ１２１からなる。
画像処理装置１４は、画像処理部１４１１、画像読取部１４１２、変化部分抽出部１４１３、入力映像表示追加部１４１４、を有する。
画像処理部１４１１は、１以上のカメラ２１で撮影された画像、例えば、２次元画像を受け、当該２次元画像に所望の処理を施して３次元画像に変換して表示装置１３に出力する。また、２次元画像及び３次元画像は、記憶装置１２の画像ＤＢ１２１に記憶される。
カメラ２１は、本例では、２次元画像を出力するカメラを使用するが、３次元画像を出力するカメラを使用してもよい。
画像読取部１４１２は、記憶装置１２の画像ＤＢ１２１から過去の画像を読み取り、変化部分抽出部１４１３に出力する。
変化部分抽出部１４１３は、被写体３を撮影した現在の画像が過去の画像との間で変化した部分（変化点）を抽出するものであり、例えば、画像差分検出部１４１３２、画像位置合せ部１４１３１、を有する。
画像差分検出部１４１３２は、カメラ２１で撮影した現在の画像と記憶装置１２の画像ＤＢ１２１に予め記憶した過去の画像とを比較し、それらの画像の差分を建物３の変化部分として捉えて検出し、表示装置１３の表示部１３１に出力する。また、画像の差分は、記憶装置１２に記憶される。
ここで、変化部分とは、建物３に異常が見られると思われる部分の画像を指す。また、変化部分の対象は、新たに出現した画像、消滅した画像だけでなく、変化の大きさや移動量の大きさ、変化率の大小も含まれる。
ここで、変化部分とは、建物３に異常が見られると思われる部分の画像を指す。また、変化部分の対象は、新たに出現した画像、消滅した画像だけでなく、変化の大きさや移動量の大きさ、変化率の大小も含まれる。
画像差分検出部１４１３２は、変化対象の大きさだけでなく、変化の速さ、つまり、変化率（変化分の時間微分）の大小も検出し、異常部分を抽出、可視化できるようにするとよい。変化の進行の早い部分、遅い部分を抽出することで、異常部分の対応の優先順位を決めることができる。
また、画像差分検出部１４１３２は、例えば、複数の波長帯（バンド）に分けて撮影したマルチスペクトル画像において、腐食箇所の波長を持つ特定の光スペクトルのバンドの結合（関数）、つまり、複数のバンドデータ間の演算処理によって変化点を抽出するとよい。これにより、多様な変化点抽出に対応できる。
画像位置合せ部１４１３１は、画像差分検出部１４１３２にて現在の画像と過去の画像を比較する場合、比較を容易にするために、両者画像の位置合せを行うものである。
入力映像表示追加部１４１４は、画像読取部１４１２により画像ＤＢ１２１から読み出したウェアラブル端末４におけるウェアラブルカメラ４１からの映像、つまり、建物３の変化部分（異常個所）までの作業員の通路、作業位置の視点からの映像、又は点検通路からの透視画像を表示装置１３の表示部１３１に出力する。
表示装置１３における表示部１３１は、画像処理部１４１１から出力される３次元画像、画像差分検出部１４１３２から出力される画像の差分（変化部分）、及び入力映像表示追加部１４１４から出力される作業員の通路、作業位置の視点からの映像を受けて、これらをマッピング表示する。
ここで、画像の差分を３次元画像にマッピングした表示のみでは、本当に建物３に異常が生じたのか正確に把握することは難しい場合がある。例えば、建物３の壁などに葉っぱが張り付いたような場合である。このようにマッピング表示のみでは、建物３に異常が生じたのか正確に把握することは難しいような場合には、作業者を異常と思われる個所まで出向き、視覚的に確認することが必要となる。
本例では、変化部分（画像の差分）を３次元画像にマッピングした画像に、更に作業員の通路、作業位置の視点からの映像、又は点検通路からの透視画像をマッピングして表示する。
本例では、変化部分（画像の差分）を３次元画像にマッピングした画像に、更に作業員の通路、作業位置の視点からの映像、又は点検通路からの透視画像をマッピングして表示する。
これにより、作業員による異常個所、異常レベル（異常の程度、破損、劣化状況など）の確認、検査が容易に行うことができ、メンテナンスなどを適切に行うことができる。建物の異常レベルとは、例えば、ヒビ割れなどの程度、破損や劣化状況などである。
図５Ａは、本発明の被写体異常有無調査システムにおける画像処理装置１４の処理手順を示すフローチャートであって、初期撮影時における処理手順を示すフローチャート、図５Ｂは、一定時間経過後における処理手順を示すフローチャート、図５Ｃは、点検時における処理手順を示すフローチャート、図５Ｄは、劣化抽出時における処理手順を示すフローチャートである。
図５Ａ〜図５Ｄのフローチャートに基づく動作は以下のとおりである。
図５Ａ〜図５Ｄのフローチャートに基づく動作は以下のとおりである。
まず、初期撮影時には、図５Ａにおいて、
ステップ５０１：画像処理装置１４は、飛行体／ウェアラブル端末等のカメラで被写体／作業員通路を撮影する。
ステップ５０２：画像処理装置１４は、カメラで撮影した撮影画像を画像ＤＢ１２１に記憶する。撮影画像は、静止画だけでなく、動画も可である。
ステップ５０３：画像処理装置１４は、一連の撮影画像から３次元モデルを生成する。ここで、一連とは、例えば、同じ日に同じ対象物（被写体）を撮ったことで識別する。
ステップ５０４：画像処理装置１４は、生成した３次元モデルを画像ＤＢ１２１に記憶する。
ステップ５０１：画像処理装置１４は、飛行体／ウェアラブル端末等のカメラで被写体／作業員通路を撮影する。
ステップ５０２：画像処理装置１４は、カメラで撮影した撮影画像を画像ＤＢ１２１に記憶する。撮影画像は、静止画だけでなく、動画も可である。
ステップ５０３：画像処理装置１４は、一連の撮影画像から３次元モデルを生成する。ここで、一連とは、例えば、同じ日に同じ対象物（被写体）を撮ったことで識別する。
ステップ５０４：画像処理装置１４は、生成した３次元モデルを画像ＤＢ１２１に記憶する。
次に、一定時間経過後には、図５Ｂにおいて、
ステップ５１１：画像処理装置１４は、飛行体等のカメラで被写体を撮影し、画像ＤＢ１２１に記憶する。
ステップ５１２：画像処理装置１４は、現在の画像の集合から未処理画像を選択する。
ステップ５１３：画像処理装置１４は、ステップ５１３にて選択した画像に対応する過去の画像を読み出す。つまり、同じ対象物を撮った過去の画像から位置／撮影方向が最も近い画像を選定する。
ステップ５１４：画像処理装置１４は、画像間のずれを補正し、画像間の差分を検出する。
ステップ５１５画像処理装置１４は、ステップ５１４にて検出した画像間の差分を示す差分情報を記憶装置１２の差分／劣化ＤＢ（図示せず）に記憶する。
ステップ５１６：画像処理装置１４は、全画像の処理が完了した場合（Ｙｅｓ）は、処理を終了し、完了していない場合（Ｎｏ）は、ステップ５１２に戻り、上述した処理を繰り返す。
ステップ５１１：画像処理装置１４は、飛行体等のカメラで被写体を撮影し、画像ＤＢ１２１に記憶する。
ステップ５１２：画像処理装置１４は、現在の画像の集合から未処理画像を選択する。
ステップ５１３：画像処理装置１４は、ステップ５１３にて選択した画像に対応する過去の画像を読み出す。つまり、同じ対象物を撮った過去の画像から位置／撮影方向が最も近い画像を選定する。
ステップ５１４：画像処理装置１４は、画像間のずれを補正し、画像間の差分を検出する。
ステップ５１５画像処理装置１４は、ステップ５１４にて検出した画像間の差分を示す差分情報を記憶装置１２の差分／劣化ＤＢ（図示せず）に記憶する。
ステップ５１６：画像処理装置１４は、全画像の処理が完了した場合（Ｙｅｓ）は、処理を終了し、完了していない場合（Ｎｏ）は、ステップ５１２に戻り、上述した処理を繰り返す。
点検時には、図５Ｃにおいて、
ステップ６０１：画像処理装置１４は、撮影画像一覧、および対応する３次元画像を表示装置１３の表示部１３１に表示する。このとき、差分／劣化情報のある画像は強調して表示、例えば、赤枠付で表示するとよい。
ステップ６０２：ユーザが表示部１３１に表示された画像で注目すべき画像を選択する。
ステップ６０３：画像処理装置１４は、ユーザが注目した注目画像の撮影位置／方向に応じて３次元モデル表示を更新する。このとき、データがあれば、差分／劣化情報も表示する。
ステップ６０４：画像処理装置１４は、作業用通路／作業員視点の画像／映像の読み出しを行う。つまり、劣化の位置情報から表示すべき画像／映像を選択する。
ステップ６０５：画像処理装置１４は、ステップ６０４にて読み出した画像／映像を表示部１３１に表示する。
ステップ６０１：画像処理装置１４は、撮影画像一覧、および対応する３次元画像を表示装置１３の表示部１３１に表示する。このとき、差分／劣化情報のある画像は強調して表示、例えば、赤枠付で表示するとよい。
ステップ６０２：ユーザが表示部１３１に表示された画像で注目すべき画像を選択する。
ステップ６０３：画像処理装置１４は、ユーザが注目した注目画像の撮影位置／方向に応じて３次元モデル表示を更新する。このとき、データがあれば、差分／劣化情報も表示する。
ステップ６０４：画像処理装置１４は、作業用通路／作業員視点の画像／映像の読み出しを行う。つまり、劣化の位置情報から表示すべき画像／映像を選択する。
ステップ６０５：画像処理装置１４は、ステップ６０４にて読み出した画像／映像を表示部１３１に表示する。
劣化抽出時には、図５Ｄにおいて、２画像の差分でなく、１画像から劣化を抽出する場合、
ステップ５１３ｂ：画像処理装置１４は、選択画像内の劣化を検出する。
ステップ５１５ｂ：画像処理装置１４は、記憶装置１２の劣化情報を差分／劣化ＤＢに記憶する。
ステップ５１３ｂ：画像処理装置１４は、選択画像内の劣化を検出する。
ステップ５１５ｂ：画像処理装置１４は、記憶装置１２の劣化情報を差分／劣化ＤＢに記憶する。
図６は、撮影画像データのデータ構成例を示す図である。
撮影画像データは、図示のように、画像のＩＤ（１、２、・・・）、ファイル格納場所（Ｐａｔｈ：/img/A/0001.jpg,・・・）、撮影日時（Ｄａｔｅ2016/10/02 10:02:00、・・・）、撮影場所 (Ｌｏｃａｔｉｏｎ：緯度／経度／高さ)、対象物（Ｔａｒｇｅｔ Building A、・・・）、撮影方向(（Ｄｉｒｅｃｔｉｏｎ：Yaw/Pitch/Roll)、対応する３次元モデルＩＤ（３Ｄ Ｍｏｄｅｌ 10、・・・）、などを示す情報を格納する項目を有する。
撮影画像データは、図示のように、画像のＩＤ（１、２、・・・）、ファイル格納場所（Ｐａｔｈ：/img/A/0001.jpg,・・・）、撮影日時（Ｄａｔｅ2016/10/02 10:02:00、・・・）、撮影場所 (Ｌｏｃａｔｉｏｎ：緯度／経度／高さ)、対象物（Ｔａｒｇｅｔ Building A、・・・）、撮影方向(（Ｄｉｒｅｃｔｉｏｎ：Yaw/Pitch/Roll)、対応する３次元モデルＩＤ（３Ｄ Ｍｏｄｅｌ 10、・・・）、などを示す情報を格納する項目を有する。
図７は、３次元画像データのデータ構成例を示す図である。
３次元画像データは、図示のように、３次元モデルＩＤ（10）、ファイル格納場所（/3d/building_A.3d））、を示す情報を格納する項目を有する。
３次元画像データは、図示のように、３次元モデルＩＤ（10）、ファイル格納場所（/3d/building_A.3d））、を示す情報を格納する項目を有する。
図８は、差分／劣化データのデータ構成例を示す図である。
差分／劣化データは、図示のように、ＩＤ（＃）、新しい画像（Ｉｍａｇｅ Ｎｅｗ:
1001、・・・）、過去の画像（Ｉｍａｇｅ Ｏｌｄ：１、・・・）、差分／劣化場所（Ｐｌａｃｅ：（100,200）-（150、400）、・・・）、差分／劣化の種別（Ｋｉｎｄ：diff,crack,rust）、などの情報を格納する項目を有する。新しい画像（Ｉｍａｇｅ Ｎｅｗ）は、両方にＩＤがある場合は、２つの画像間の差分を、片方にだけＩＤがある場合は、当該画像内の劣化を表す。また、差分／劣化場所（Ｐｌａｃｅ）は、四角形の頂点座標で示している。差分／劣化の種別（Ｋｉｎｄ）における“diff”は差分、“crack”は、ひび、“rust”はさびを表す。
差分／劣化データは、図示のように、ＩＤ（＃）、新しい画像（Ｉｍａｇｅ Ｎｅｗ:
1001、・・・）、過去の画像（Ｉｍａｇｅ Ｏｌｄ：１、・・・）、差分／劣化場所（Ｐｌａｃｅ：（100,200）-（150、400）、・・・）、差分／劣化の種別（Ｋｉｎｄ：diff,crack,rust）、などの情報を格納する項目を有する。新しい画像（Ｉｍａｇｅ Ｎｅｗ）は、両方にＩＤがある場合は、２つの画像間の差分を、片方にだけＩＤがある場合は、当該画像内の劣化を表す。また、差分／劣化場所（Ｐｌａｃｅ）は、四角形の頂点座標で示している。差分／劣化の種別（Ｋｉｎｄ）における“diff”は差分、“crack”は、ひび、“rust”はさびを表す。
図９Ａは、表示部１３１の表示画面の一例を示す図であって、劣化箇所３１０に着目したときの表示画面例であり、図９Ｂは、作業員視点の画像として３Ｄモデルから作業員視点からの透過画像を生成、表示した例を示す表示画面例である。
図９Ａにおいて、表示画面１３１１は、撮影画像表示領域１３１１１、３次元マッピング表示領域１３１１２、作業員通路画像表示領域１３１１３、作業員視点画像表示領域１３１１４、を有する。
撮影画像表示領域１３１１１には、３次元画像（３次元マッピング）の元になる２次元画像のうち、着目した劣化箇所（３１０）が写っている１つ以上の撮影画像（本例では３つの撮影画像）が表示され、３次元マッピング表示領域１３１１２には、撮影画像表示領域１３１１１の２次元画像を元に生成された１つの３次元画像が表示される。また、作業員通路画像表示領域１３１１３には、劣化箇所（変化部分）３１０に対して、一つ以上の視点（本例では３２０、３２１、３２２の３つの視点）からの作業員の通路画像が表示され、作業員視点画像表示領域１３１１４には、作業員が劣化箇所３１０まで到着したとき、作業員視点の画像が表示される。
作業員視点画像表示領域１３１１４には、図９Ｂに示すように、作業員視点の画像として、３次元モデルから、作業員視点からの透視画像を生成し、表示してもよい。
これらの撮影画像、通路画像や作業員視点の画像、から作業員は劣化箇所（修理箇所（場所）まで容易に到達することができる。
図２は、図１に示す被写体異常有無調査システム１の改良例を示すブロック図である。
画像差分検出部１４１３２にて上記２つの画像の差分を検出する場合、建物３の変化部分、つまり、画像の差分から見て、異常と思われる箇所が多い場合には、過去と現在の画像の位置合せができない場合が生じる。
また、カメラ２１にて特徴点の少ない建物３、例えば、巨大なタンクや風車ブレードなどを撮影した場合、３次元的に構成できないような場合がある。
本実施例は、斯様な課題を是正するものである。
画像差分検出部１４１３２にて上記２つの画像の差分を検出する場合、建物３の変化部分、つまり、画像の差分から見て、異常と思われる箇所が多い場合には、過去と現在の画像の位置合せができない場合が生じる。
また、カメラ２１にて特徴点の少ない建物３、例えば、巨大なタンクや風車ブレードなどを撮影した場合、３次元的に構成できないような場合がある。
本実施例は、斯様な課題を是正するものである。
そのため、画像処理装置１４は、前者の課題を是正するために、指定した画像領域を除去する画像領域除去部／画像領域指定部１４１３３、マスクパターン指定部１４１３４、を有する。
また、後者の課題を是正するために、画像処理装置１４は、特徴点生成・追加部１４１５、を有する。
また、後者の課題を是正するために、画像処理装置１４は、特徴点生成・追加部１４１５、を有する。
画像領域除去部／画像領域指定部１４１３３は、画像位置合せ部１４１３１の前段に配置され、画像差分検出部１４１３２にて画像の差分を検出するに際して、建物３の画像の変化点の障害となる画像領域を除去し、又は建物３の画像の変化点の障害とならない画像領域をパスする。これらは、例えば、マスクパターン技術を利用して行う。マスクパターン（窓枠パターン）は、マスクパターン指定部１４１３４にて選択・指定する。この選択・指定は、例えば、操作キーを含む入力装置（図示せず）の操作者による操作に基づき行われる。
マスクパターン指定部１４１３４は、画像領域除去部／画像領域指定部１４１３３にて位置合せに不適な部分を除去する画像領域、又はその逆に位置合せに適した部分の画像領域、を指定するものである。
つまり、建物３の画像の変化点の障害となる画像領域、例えば、変化が起こることが予想される部分の画像領域をマスクパターンにて指定して除外する。又は、その逆に位置合せに適した部分の画像領域、例えば、画像履歴、設計データ、画像パターンなどから建物３の輪郭（建物輪郭）、道路など変化が起こりにくい部分を選択して位置合せ画像として指定する。
つまり、建物３の画像の変化点の障害となる画像領域、例えば、変化が起こることが予想される部分の画像領域をマスクパターンにて指定して除外する。又は、その逆に位置合せに適した部分の画像領域、例えば、画像履歴、設計データ、画像パターンなどから建物３の輪郭（建物輪郭）、道路など変化が起こりにくい部分を選択して位置合せ画像として指定する。
また、画像領域除去部／画像領域指定部１４１３３は、変化対象の出現、消滅だけでなく、変化対象の大きさや変化対象の移動、例えば、原料ヤードの変化量や鉱山（石炭など）の形くずれなども併せて検出する機能を有するとよい。
変化対象の大きさ、変化対象の移動は、時系列データから対象物を特定することにより、多様な変化の仕方について対応できる。
変化対象の大きさ、変化対象の移動は、時系列データから対象物を特定することにより、多様な変化の仕方について対応できる。
また、画像領域除去部／画像領域指定部１４１３３は、変化点の障害となる画像を除去する。変化点の障害となる画像とは、建物３のガラス面に写り込んだパターン（ガラス特有の反射スペクトルパターン）、太陽、月などが写り込んだ画像、雲、植生などが写り込んだ画像、などである。
窓ガラスに写り込んだ背景画像の除去は、例えば、マスクパターン（窓枠パターン）やガラス特有の反射スペクトルを検出して行う。太陽、月の背景画像の除去は、ＧＰＳ情報から太陽、月の方向を算出して行う。雲、植生などが写り込んだ背景画像の除去は、それらの特有なスペクトルを検出して行う。
例えば、植生分布画像は以下の画像間演算により求める。
例えば、植生分布画像は以下の画像間演算により求める。
また、画像差分検出部１４１３２は、変化対象の大きさだけでなく、変化の速さ、つまり、変化率（変化分の時間微分）の大小も検出し、異常部分を抽出、可視化できるようにするとよい。変化の進行の早い部分、遅い部分を抽出することにより、異常部分の対応の優先順位を決めることができる。
また、画像差分検出部１４１３２は、マルチスペクトル画像において、例えば、腐食箇所の波長を持つ特定のバンドの結合（関数）によって変化点を抽出するとよい。物質は電磁エネルギーに対してそれぞれ固有のバンドでスペクトル反射・吸収帯（波長に対する反射率）を有する。この物質による反射・吸収帯の違いを利用して建物３の変化部分を識別することができる。これにより、多様な変化点抽出に対応できる。
特徴点生成・追加部１４１５は、特徴点の少ない建物３、例えば、３次元的に構成できないような巨大タンクや風車ブレードなどである場合には、周知のプロジェクションマッピング（ＰＣで作成したＣＧとプロジェクションのような映写器を用いて建物に対して映像を映し出す技術）で特徴点を生成して建物３に投影し、当該生成した特徴点を画像に取り込むとよい。これにより、画像の差分を検出し易くなり、特徴点を定義しにくい建物３の形状を正確に計測することができる。
図３は、撮影画像から欠陥リストに対応する部分を抽出して、その位置座標を３次元画像にマッピング表示する被写体異常有無調査システム１の構成を示すブロック図である。図１〜図２と同一部分には、同一番号を付与し、その説明は省略する。
被写体異常有無調査システム１における記憶装置１２は、さらに、カメラ２１にて撮影した撮影画像を記憶する撮影画像記憶部１２２及び建物３の欠陥部分（異常部分）を欠陥リストとして事前に記憶する欠陥リスト記憶部１２３、を有する。
撮影画像記憶部１２２は、インターフェース装置１１に入力された建物３を撮影した映像を記憶する撮影画像ＤＢからなり、画像ＤＢ１２１を兼用してもよい。
欠陥リスト記憶部１２３は、欠陥リストを記憶する欠陥リストＤＢからなる。
欠陥リストＤＢには、例えば、予め赤外線カメラにより建物３を撮影したとき、所望の箇所の温度が所定以上、例えば、８０℃を超えている部分の画像（写真）や錆び特有の波長や色を示す部分の画像を欠陥として欠陥リストに登録しておく。
欠陥リストＤＢには、例えば、予め赤外線カメラにより建物３を撮影したとき、所望の箇所の温度が所定以上、例えば、８０℃を超えている部分の画像（写真）や錆び特有の波長や色を示す部分の画像を欠陥として欠陥リストに登録しておく。
また、画像処理装置１４は、さらに、画像内検索部１４２１、画像位置座標抽出部１４２２、マッピング位置座標追加部１４２３、を有する。
画像内検索部１４２１は、記憶装置１２の撮影画像を検索し、当該検索した撮影画像から欠陥リストＤＢ１２３における欠陥リストに対応する部分の画像を抽出する。
画像位置座標抽出部１４２２は、画像内検索部１４２１にて検索した画像の位置座標を抽出してマッピング位置座標追加部１４２３に出力する。
マッピング位置座標追加部１４２３は、画像位置座標抽出部１４２２にて抽出した欠陥リストに対応する部分の画像のマッピング位置座標を表示装置１３の表示部１３１に出力する。
表示装置１３の表示部１３１は、マッピング位置座標追加部１４２３から出力されたマッピング位置座標を３次元画像に重ねて表示する。
図４は、撮影画像と設計データを比較してから欠陥リストに対応する部分を抽出して３次元画像上にマッピング表示する被写体異常有無調査システム１のブロック図である。図１〜、図３と同一部分には、同一番号を付与し、その説明は省略する。
被写体異常有無調査システム１における記憶装置１２は、カメラ２１で撮影した撮影画像を記憶する記憶部１２４、建物３の設計図面を記憶する記憶部１２５を有する。記憶部１２４は、撮影画像ＤＢからなり、記憶部１２５は、設計図面における設計データ／基準データを記憶する設計データ／基準データＤＢからなる。
画像処理装置１４は、画像読取部１４１６、設計データ読取部１４１７、画像位置合せ部１４１３１’、画像差分検出部１４１３２’、を有する。
画像読取部１４１６は、撮影画像ＤＢ１２４から撮影画像を読出して画像位置合わせ部１４１３１’に出力する。
設計データ読取部１４１７は、設計データ／基準データＤＢ１２５から建物３の設計図面（キャドデータ）に関する設計データ／基準データから欠陥リストＤＢ１２３の欠陥リストに対応する部分の画像を読出して画像位置合せ部１４１３１’に出力する。
画像位置合せ部１４１３１’は、画像読取部１４１６からの撮影画像と設計データ読取部１４１７からの設計データ／基準データとの位置合せを行い、画像差分検出部１４１３２’に出力する。
画像差分検出部１４１３２’は、画像位置合せ部１４１３１’にて位置合せされた撮影画像と設計データ／基準データと比較して画像の差分を求めてから、欠陥リストに対応する部分（欠陥部分）を抽出して表示装置１３の表示部１３１に出力する。
表示装置１３の表示部１３１は、画像差分検出部１４１３２’における欠陥リストＤＢ１１３に対応する部分（画像の差分）を３次元画像にマッピング表示する。
以上述べた実施例によれば、カメラで撮影した建造物などの被写体に異常が行ったと思われる箇所の確認、異常状態、例えば異常程度を含む異常有無や劣化診断などが容易となり、また、そのためにおける画像比較における位置合せが容易になる効果が期待できる。
なお、本発明は上述した実施例に限定されるものではなく、様々な変形例が含まれる。例えば、上述した実施例は本発明を分かりやすく説明するために詳細に説明したものであり、必ずしも説明した全ての構成を備えるものに限定されるものではない。また、ある実施例の構成の一部を他の実施例の構成に置き換えることが可能であり、また、ある実施例の構成に他の実施例の構成を加えることも可能である。また、各実施例の構成の一部について、他の構成の追加・削除・置換をすることが可能である。また、上記の各構成、機能等は、プロセッサがそれぞれの機能を実現するプログラムを解釈し、実行することによりソフトウェアで実現してもよい。各機能を実現するプログラム、テーブル、ファイル等の情報は、メモリや、ハードディスク、ＳＳＤ（solid State Drive）等の記録装置、または、ＩＣカード、ＳＤカード、ＤＶＤ等の記録媒体に置くことができる。
１ 被写体異常有無調査システム（サーバ）
１１ インターフェース装置
１２ 記憶装置
１２１ 記憶部（画像ＤＢ）
１２２ 記憶部（撮影画像ＤＢ）
１２３ 記憶部（欠陥リストＤＢ）
１２５ 記憶部（設計図面：設計データ／基準データＤＢ）
１３ 表示装置
１３１ 表示部
１４ 画像処理装置
１４１１ 画像処理部
１４１２ 画像読取部
１４１３ 変化部分抽出部
１４１４ 入力映像表示追加部
１４１３１、１４１３１’ 画像位置合せ部
１４１３２、１４１３２’ 画像差分検出部
１４１３３ 画像領域除去部／画像領域指定部
１４１３４ マスクパターン指定部
１４２１ 画像内検索部
１４２２ 画像位置座標抽出部
１４２３ マッピング位置座標追加部
２ 飛行体
２１ 被写体撮影用カメラ
３ 被写体（建物などの対象物）
４ ウェアラブル端末
４１ ウェアラブルカメラ
１１ インターフェース装置
１２ 記憶装置
１２１ 記憶部（画像ＤＢ）
１２２ 記憶部（撮影画像ＤＢ）
１２３ 記憶部（欠陥リストＤＢ）
１２５ 記憶部（設計図面：設計データ／基準データＤＢ）
１３ 表示装置
１３１ 表示部
１４ 画像処理装置
１４１１ 画像処理部
１４１２ 画像読取部
１４１３ 変化部分抽出部
１４１４ 入力映像表示追加部
１４１３１、１４１３１’ 画像位置合せ部
１４１３２、１４１３２’ 画像差分検出部
１４１３３ 画像領域除去部／画像領域指定部
１４１３４ マスクパターン指定部
１４２１ 画像内検索部
１４２２ 画像位置座標抽出部
１４２３ マッピング位置座標追加部
２ 飛行体
２１ 被写体撮影用カメラ
３ 被写体（建物などの対象物）
４ ウェアラブル端末
４１ ウェアラブルカメラ
Claims (10)
- 被写体をカメラにて撮影した現在の画像と過去の画像とを比較し、当該両画像の差分を被写体の変化部分として被写体の３次元画像上にマッピングする被写体異常有無調査システムであって、
記憶装置と、画像処理装置と、表示装置、を備え、
前記記憶装置は、前記過去の画像を記憶する記憶部、を含み、
前記画像処理装置は、前記カメラにて撮影した画像を３次元画像として前記表示装置に出力する画像処理部、前記現在の画像と前記過去の画像とを比較して当該両画像の差分を検出する画像差分検出部を含み、
前記表示装置は、前記画像処理部からの被写体の３次元画像と前記画像差分検出部からの画像の差分をマッピング表示し、かつ、前記被写体の状態を確認する作業員が装着するウェアラブル端末から出力される作業員通路、作業員視点からの映像、又は点検通路からの透視画像を表示する表示部を含み、
前記表示部における３次元画像、前記画像の差分、前記作業員通路、作業員視点からの映像、又は点検通路からの透視画像により、前記画像の差分に基づく変化部分の異常個所の確認、異常状態の確認を可能とすることを特徴とする被写体異常有無調査システム。 - 請求項１に記載された被写体異常有無調査システムにおいて、
前記画像処理装置は、さらに、画像位置合せ部を有し、
前記画像位置合せ部は、前記画像差分検出部にて画像の差分を比較する場合に前記被写体の画像のどの部分により画像位置合せを行うかを決定する位置合せ決定手段を含み、
前記位置合せ決定手段は、前記画像位置合せ前記被写体に変化が起こることが予想される部分の画像領域を除外する画像領域除外部、又は前記被写体に変化が起こりにくい部分の画像領域を指定する画像領域指定部からなることを特徴とする被写体異常有無調査システム。 - 請求項１又は２に記載された被写体異常有無調査システムにおいて、
前記変化部分は、変化部分の出現、削減、変化の大きさ、移動、変化率の大小、特定の光スペクトルのバンドの結合により変化する変化点、の何れか１つ以上であることを特徴とする被写体異常有無調査システム。 - 請求項１に記載された被写体異常有無調査システムにおいて、
前記画像処理装置は、さらに、特徴点生成・追加部を有し、
前記特徴点生成・追加部は、前記被写体が３次元的に構成できない対象物であって、特徴点の少ない場合、プロジェクションマッピングで特徴点を生成し、当該特徴点を前記対象物に付与し、当該対象物の変化部分を検出し易いようにしたことを特徴とする被写体異常有無調査システム。 - 請求項２に記載された被写体異常有無調査システムにおいて、
前記画像領域除外部は、特有のスペクトルを有する画像領域は除外することを特徴とする被写体異常有無調査システム。 - 請求項５に記載された被写体異常有無調査システムにおいて、
前記特有のスペクトルは、ガラス特有の反射スペクトル、又は雲、植生に特有のスペクトルであることを特徴とする被写体異常有無調査システム。 - 請求項２に記載された被写体異常有無調査システムにおいて、
前記画像領域除外部は、ＧＰＳ情報を受けて太陽、月の方向を算出して、当該太陽、月を映し出した画像領域は除外することを特徴とする被写体異常有無調査システム。 - 被写体をカメラにて撮影した撮影画像から欠陥リストに対応する画像部分を被写体の変化部分として被写体の３次元画像上に表示する被写体異常有無調査システムであって、
記憶装置と、画像処理装置と、表示装置、を備え、
前記記憶装置は、前記撮影画像を記憶する記憶部、前記欠陥リストの画像を記憶する記憶部、を含み、
前記画像処理装置は、前記カメラにて撮影した画像を３次元画像として前記表示装置に出力する画像処理部、前記撮影画像から前記欠陥リストに対応する画像と抽出する画像検出部を含み、
前記表示装置は、前記画像処理部からの被写体の３次元画像と前記画像検出部からの画像のマッピング位置座標をマッピング表示し、かつ、前記被写体の状態を確認する作業員が装着するウェアラブル端末から出力される作業員通路、作業員視点からの映像、又は点検通路からの透視画像を表示する表示部を含み、
前記表示部における３次元画像、前記画像のマッピング位置座標、前記作業員通路、作業員視点からの映像、又は点検通路からの透視画像により、前記画像の差分に基づく変化部分の異常個所の確認、異常状態の確認を可能とすることを特徴とする被写体異常有無調査システム。 - 被写体をカメラにて撮影した撮影画像と設計図面の設計データ／基準データとを比較し、当該両画像の差分を被写体の変化部分として被写体の３次元画像上にマッピングする被写体異常有無調査システムであって、
記憶装置と、画像処理装置と、表示装置、を備え、
前記記憶装置は、前記撮影画像を記憶する記憶部、前記設計データ／基準データを記憶する記憶部を含み、
前記画像処理装置は、前記カメラにて撮影した画像を３次元画像として前記表示装置に出力する画像処理部、前記撮影画像と前記設計データ／基準データに基づく画像とを比較して当該両画像の差分を検出する画像差分検出部を含み、
前記表示装置は、前記画像処理部からの被写体の３次元画像と前記画像差分検出部からの画像の差分をマッピング表示し、かつ、前記被写体の状態を確認する作業員が装着するウェアラブル端末から出力される作業員通路、作業員視点からの映像、又は点検通路からの透視画像を表示する表示部を含み、
前記表示部における３次元画像、前記画像の差分、前記作業員通路、作業員視点からの映像、又は点検通路からの透視画像により、前記画像の差分に基づく変化部分の異常個所の確認、異常状態の確認を可能とすることを特徴とする被写体異常有無調査システム。 - 請求項９に記載された被写体異常有無調査システムにおいて、
前記画像処理装置は、さらに、画像位置合せ部を有し、
前記画像位置合せ部は、前記画像差分検出部にて画像の差分を比較する場合に前記被写体の画像のどの部分により画像位置合せを行うかを決定する位置合せ決定手段を含み、
前記位置合せ決定手段は、前記画像位置合せ前記被写体に変化が起こることが予想される部分の画像領域を除外する画像領域除外部、又は前記被写体に変化が起こりにくい部分の画像領域を指定する画像領域指定部からなることを特徴とする被写体異常有無調査システム。
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2016130444 | 2016-06-30 | ||
| JP2016130444 | 2016-06-30 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2018010630A true JP2018010630A (ja) | 2018-01-18 |
| JP6868487B2 JP6868487B2 (ja) | 2021-05-12 |
Family
ID=60995627
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2017128818A Active JP6868487B2 (ja) | 2016-06-30 | 2017-06-30 | 被写体異常有無調査システム |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP6868487B2 (ja) |
Cited By (16)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2019230604A1 (ja) * | 2018-05-31 | 2019-12-05 | 株式会社センシンロボティクス | 検査システム |
| JP2019211486A (ja) * | 2019-08-26 | 2019-12-12 | 株式会社センシンロボティクス | 検査システム |
| WO2020003545A1 (ja) | 2018-06-29 | 2020-01-02 | 株式会社日立システムズ | コンテンツ作成システム |
| JP2020016663A (ja) * | 2019-10-03 | 2020-01-30 | 株式会社センシンロボティクス | 検査システム |
| JP2020016664A (ja) * | 2019-10-03 | 2020-01-30 | 株式会社センシンロボティクス | 検査システム |
| CN111489449A (zh) * | 2019-01-29 | 2020-08-04 | 株式会社斯巴鲁 | 对象物确认装置 |
| JP2020118501A (ja) * | 2019-01-22 | 2020-08-06 | コニカミノルタ株式会社 | 画像検査装置、画像形成システム、画像検査方法及びプログラム |
| KR20200134556A (ko) * | 2019-05-22 | 2020-12-02 | (주) 동양구조안전기술 | 화재 피해 건축물의 보수 보강 시스템 |
| JP2021002167A (ja) * | 2019-06-20 | 2021-01-07 | ソフトバンク株式会社 | 画像生成装置、画像生成方法および画像生成プログラム |
| JP2021009508A (ja) * | 2019-06-28 | 2021-01-28 | ソフトバンク株式会社 | 点検管理システム、点検管理サーバ、点検管理方法および点検管理プログラム |
| JP2021174285A (ja) * | 2020-04-27 | 2021-11-01 | Kddi株式会社 | 点群構築装置、位置推定装置、点群構築方法、位置推定方法及びプログラム |
| JP7003352B1 (ja) | 2021-04-12 | 2022-01-20 | 株式会社三井Ｅ＆Ｓマシナリー | 構造物の点検データ管理システム |
| JP2022032540A (ja) * | 2020-08-12 | 2022-02-25 | 武志 小畠 | 赤外線調査解析診断装置 |
| JP2022522563A (ja) * | 2019-12-24 | 2022-04-20 | 中国▲鉱▼▲業▼大学 | 炭鉱地域のサイト特性を識別するための衛星／空中画像データ融合の方法 |
| JP2022085295A (ja) * | 2020-11-27 | 2022-06-08 | 三菱電機株式会社 | 治水施設監視装置、治水施設監視方法及び治水施設監視プログラム |
| WO2023203762A1 (ja) * | 2022-04-22 | 2023-10-26 | 日本電気株式会社 | 情報処理装置、システム、方法、及びコンピュータ可読媒体 |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2006114955A1 (ja) * | 2005-04-25 | 2006-11-02 | Geo Technical Laboratory Co., Ltd. | 撮影位置解析方法 |
| US20150213590A1 (en) * | 2011-07-29 | 2015-07-30 | Google Inc. | Automatic Pose Setting Using Computer Vision Techniques |
| JP2016018463A (ja) * | 2014-07-10 | 2016-02-01 | 株式会社日立製作所 | 状態変化管理システム及び状態変化管理方法 |
-
2017
- 2017-06-30 JP JP2017128818A patent/JP6868487B2/ja active Active
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2006114955A1 (ja) * | 2005-04-25 | 2006-11-02 | Geo Technical Laboratory Co., Ltd. | 撮影位置解析方法 |
| US20150213590A1 (en) * | 2011-07-29 | 2015-07-30 | Google Inc. | Automatic Pose Setting Using Computer Vision Techniques |
| JP2016018463A (ja) * | 2014-07-10 | 2016-02-01 | 株式会社日立製作所 | 状態変化管理システム及び状態変化管理方法 |
Cited By (26)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2019211257A (ja) * | 2018-05-31 | 2019-12-12 | 株式会社センシンロボティクス | 検査システム |
| WO2019230604A1 (ja) * | 2018-05-31 | 2019-12-05 | 株式会社センシンロボティクス | 検査システム |
| EP4138006A1 (en) | 2018-06-29 | 2023-02-22 | Hitachi Systems, Ltd. | Content creation system |
| WO2020003545A1 (ja) | 2018-06-29 | 2020-01-02 | 株式会社日立システムズ | コンテンツ作成システム |
| US12051340B2 (en) | 2018-06-29 | 2024-07-30 | Hitachi Systems, Ltd. | Content creation system |
| JP7275597B2 (ja) | 2019-01-22 | 2023-05-18 | コニカミノルタ株式会社 | 画像検査装置、画像形成システム、画像検査方法及びプログラム |
| JP2020118501A (ja) * | 2019-01-22 | 2020-08-06 | コニカミノルタ株式会社 | 画像検査装置、画像形成システム、画像検査方法及びプログラム |
| CN111489449A (zh) * | 2019-01-29 | 2020-08-04 | 株式会社斯巴鲁 | 对象物确认装置 |
| KR20200134556A (ko) * | 2019-05-22 | 2020-12-02 | (주) 동양구조안전기술 | 화재 피해 건축물의 보수 보강 시스템 |
| KR102229477B1 (ko) * | 2019-05-22 | 2021-03-18 | (주) 동양구조안전기술 | 화재 피해 건축물의 보수 보강 시스템 |
| JP2021002167A (ja) * | 2019-06-20 | 2021-01-07 | ソフトバンク株式会社 | 画像生成装置、画像生成方法および画像生成プログラム |
| JP2021009508A (ja) * | 2019-06-28 | 2021-01-28 | ソフトバンク株式会社 | 点検管理システム、点検管理サーバ、点検管理方法および点検管理プログラム |
| JP7046873B2 (ja) | 2019-06-28 | 2022-04-04 | ソフトバンク株式会社 | 点検管理システム、点検管理サーバ、点検管理方法および点検管理プログラム |
| JP2019211486A (ja) * | 2019-08-26 | 2019-12-12 | 株式会社センシンロボティクス | 検査システム |
| JP2020016664A (ja) * | 2019-10-03 | 2020-01-30 | 株式会社センシンロボティクス | 検査システム |
| JP2020016663A (ja) * | 2019-10-03 | 2020-01-30 | 株式会社センシンロボティクス | 検査システム |
| JP2022522563A (ja) * | 2019-12-24 | 2022-04-20 | 中国▲鉱▼▲業▼大学 | 炭鉱地域のサイト特性を識別するための衛星／空中画像データ融合の方法 |
| JP2021174285A (ja) * | 2020-04-27 | 2021-11-01 | Kddi株式会社 | 点群構築装置、位置推定装置、点群構築方法、位置推定方法及びプログラム |
| JP7290601B2 (ja) | 2020-04-27 | 2023-06-13 | Kddi株式会社 | 点群構築装置、位置推定装置、点群構築方法、位置推定方法及びプログラム |
| JP2022032540A (ja) * | 2020-08-12 | 2022-02-25 | 武志 小畠 | 赤外線調査解析診断装置 |
| JP7298921B2 (ja) | 2020-08-12 | 2023-06-27 | 株式会社赤外線高精度技術利用機構 | 赤外線調査解析診断装置 |
| JP2022085295A (ja) * | 2020-11-27 | 2022-06-08 | 三菱電機株式会社 | 治水施設監視装置、治水施設監視方法及び治水施設監視プログラム |
| JP7399069B2 (ja) | 2020-11-27 | 2023-12-15 | 三菱電機株式会社 | 治水施設監視装置、治水施設監視方法及び治水施設監視プログラム |
| JP2022162443A (ja) * | 2021-04-12 | 2022-10-24 | 株式会社三井Ｅ＆Ｓマシナリー | 構造物の点検データ管理システム |
| JP7003352B1 (ja) | 2021-04-12 | 2022-01-20 | 株式会社三井Ｅ＆Ｓマシナリー | 構造物の点検データ管理システム |
| WO2023203762A1 (ja) * | 2022-04-22 | 2023-10-26 | 日本電気株式会社 | 情報処理装置、システム、方法、及びコンピュータ可読媒体 |
Also Published As
| Publication number | Publication date |
|---|---|
| JP6868487B2 (ja) | 2021-05-12 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP6868487B2 (ja) | 被写体異常有無調査システム | |
| US11494891B2 (en) | Method of inspecting and evaluating coating state of steel structure and system therefor | |
| KR102038127B1 (ko) | 무인비행체를 이용한 시설물 관리 장치 및 방법 | |
| US11893538B1 (en) | Intelligent system and method for assessing structural damage using aerial imagery | |
| JP6405320B2 (ja) | 物的資産の改良された自動外観検査のための方法およびシステム | |
| Jiang et al. | Quantitative condition inspection and assessment of tunnel lining | |
| JP6510247B2 (ja) | 測量データ処理装置、測量データ処理方法およびプログラム | |
| CN102713671A (zh) | 点群数据处理装置、点群数据处理方法和点群数据处理程序 | |
| CN101939765A (zh) | 用于远程检查工业过程的由计算机实施的方法和系统 | |
| US9909859B2 (en) | Apparatus and method for measuring visual range using geometrical information of an image and an image pattern recognition technique | |
| JPWO2019082519A1 (ja) | 情報処理装置、情報処理方法、プログラム、情報処理システム | |
| JP2018077837A (ja) | 位置認識方法およびシステム、ならびに異常判定方法およびシステム | |
| CN113971829A (zh) | 安全帽佩戴情况的智能检测方法、装置、设备及存储介质 | |
| JP7026438B2 (ja) | 既存構造物の管理情報確認システム | |
| Grehl et al. | Towards virtualization of underground mines using mobile robots–from 3D scans to virtual mines | |
| JP2011145856A (ja) | 複合現実感技術による画像生成方法及び画像生成システム | |
| KR20240051806A (ko) | 드론 영상정보를 이용한 딥러닝 기반 구조물 손상 점검 방법 | |
| EP3070459A1 (en) | Inspection target object extraction apparatus and inspection target object extraction method | |
| JP6516384B2 (ja) | 情報処理装置、情報処理システム、情報処理方法、及び情報処理プログラム | |
| KR102387717B1 (ko) | 드론 촬영 및 사진첩 기법을 이용한 시설물 손상 진단 및 점검방법 | |
| JP6883699B1 (ja) | 流量推定システム、情報処理装置およびプログラム | |
| CN111819838A (zh) | 摄影评价图、摄影评价图生成装置、摄影评价图生成方法及摄影评价图生成程序 | |
| Li et al. | Occlusion-free Orthophoto Generation for Building Roofs Using UAV Photogrammetric Reconstruction and Digital Twin Data | |
| JP7188798B2 (ja) | 座標算出装置、座標算出方法、及びプログラム | |
| US11302073B2 (en) | Method for texturing a 3D model |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20200612 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20210202 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20210326 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20210406 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20210412 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 6868487 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |