JP2020201107A - 撮影処理装置、及び撮影処理方法 - Google Patents

撮影処理装置、及び撮影処理方法 Download PDF

Info

Publication number
JP2020201107A
JP2020201107A JP2019107725A JP2019107725A JP2020201107A JP 2020201107 A JP2020201107 A JP 2020201107A JP 2019107725 A JP2019107725 A JP 2019107725A JP 2019107725 A JP2019107725 A JP 2019107725A JP 2020201107 A JP2020201107 A JP 2020201107A
Authority
JP
Japan
Prior art keywords
unit
image
photographing
shooting
difference
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2019107725A
Other languages
English (en)
Other versions
JP7399632B2 (ja
Inventor
直弥 坂本
Naoya Sakamoto
直弥 坂本
徹郎 相川
Tetsuo Aikawa
徹郎 相川
尾崎 健司
Kenji Ozaki
健司 尾崎
美徳 佐藤
Yoshinori Sato
美徳 佐藤
朋美 菱沼
Tomomi Hishinuma
朋美 菱沼
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Toshiba Corp
Toshiba Energy Systems and Solutions Corp
Original Assignee
Toshiba Corp
Toshiba Energy Systems and Solutions Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Toshiba Corp, Toshiba Energy Systems and Solutions Corp filed Critical Toshiba Corp
Priority to JP2019107725A priority Critical patent/JP7399632B2/ja
Publication of JP2020201107A publication Critical patent/JP2020201107A/ja
Application granted granted Critical
Publication of JP7399632B2 publication Critical patent/JP7399632B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Length Measuring Devices By Optical Means (AREA)
  • Image Analysis (AREA)

Abstract

【課題】撮影画像を撮影した撮影位置を取得可能な撮影処理装置及び撮影処理方法を提供する。【解決手段】撮影処理装置1は、撮影部101と、記憶部102と、生成部と、対応処理部と、撮影位置取得部と、を備える。撮影部は、対象物の画像を含む第1撮影画像を撮影する。記憶部は、対象物の3次元位置を示す点群データを記憶する102a。生成部は、点群データに基づき、任意の位置から対象物の少なくとも一部の範囲を撮影した撮影画像に対応するシミュレーション画像を生成する103。対応処理部は、対象物の同一箇所が写像された少なくとも3箇所の対応位置を、第1撮影画像とシミュレーション画像との間で求める対応処理を行う104。撮影位置取得部は、少なくとも3箇所における対応位置の3次元位置の情報に基づき、第1撮影画像を撮影した際の撮影部の第1撮影位置を取得する105。【選択図】図6

Description

本発明の実施形態は、撮影処理装置、及び撮影処理方法に関する。
発電プラントでは、プラントを安全に運転するために、膨大な機器の保守点検を定期的に点検員が巡視点検している。また点検員は、巡視中に機器異常なども合わせて目視で確認している。従来の保守点検は、一般に現場で点検員が確認した結果を手書き記録し、事務所で点検記録を作成すことなどが行われる。このように、人手による作業が多く、作業の省力化を図る取り組みが行われている。このような省力化を図る取り組みの多くは、モバイル端末を利用するサービスである。例えば点検員へ点検要領書を提示すると共に、点検員が目視確認したメータなどの数値をモバイル端末に入力することにより、手書き作業を除外し、点検結果をデジタル化するものである。
また、機器異常などの記録とし、巡視中の点検員が持ったカメラの映像をドライブレコーダーのように記録して、後日、必要に応じて映像を確認できるシステムの検討も進められている。映像を確認する際、記録された映像が長時間であるため、撮影位置を特定した映像の確認や異常の可能性がある映像のみを確認することが望まれる。
しかし、位置測位方法として屋外であればGPSの利用が一般的であるが、発電プラントなどの屋内では電波が届かないためGPSの利用が難しいため、撮影位置の特定がより難しくなる。また、異常検知としては、撮影日の異なる過去の映像と比較する方法が考えられるが、同じ撮影位置の映像を比較する必要があり、撮影位置が不明な場合には適用が困難となってしまう。
特開2019−045163号公報
本発明が解決しようとする課題は、撮影画像を撮影した撮影位置を取得可能な撮影処理装置及び撮影処理方法を提供することである。
本実施形態に係る撮影処理装置は、撮影部と、記憶部と、生成部と、対応処理部と、撮影位置取得部と、を備える。撮影部は、対象物の画像を含む第1撮影画像を撮影する。記憶部は、対象物の3次元位置を示す点群データを記憶する。生成部は、点群データに基づき、任意の位置から対象物の少なくとも一部の範囲を撮影した撮影画像に対応するシミュレーション画像を生成する。対応処理部は、対象物の同一箇所が写像された少なくとも3箇所の対応位置を、第1撮影画像とシミュレーション画像との間で求める対応処理を行う。撮影位置取得部は、少なくとも3箇所における対応位置の3次元位置の情報に基づき、第1撮影画像を撮影した際の撮影部の第1撮影位置を取得する。
本実施形態によれば、撮影画像を撮影した撮影位置を取得することができる。
撮影処理装置の構成を示すブロック図。 第1撮影画像の例を示す説明図。 画像比較部が抽出する特徴的な箇所の例を示す図。 画像差分検出部による差分処理の一例を示す図。 撮影処理装置の処理例を示すフローチャート。 第2実施形態に係る撮影処理装置の構成を示すブロック図。 ボクセルを3次元的に配列した評価空間例を示す図。 第2実施形態に係る撮影処理装置の処理例を示すフローチャート。 第3実施形態に係る撮影処理装置の構成を示すブロック図。 発電プラント内の対象物などの配置を示す図。 発電プラント内の差分領域の計画位置を示す図。 発電プラント内の計画外差分位置と計画内差分位置とを示す図。 第3実施形態に係る撮影処理装置の処理例を示すフローチャート。 第4実施形態に係る撮影処理装置の構成を示すブロック図。 差分領域内の画像とシミュレーション画像を示す図 第4実施形態に係る撮影処理装置の処理例を示すフローチャート。 第5実施形態に係る撮影処理装置の構成を示すブロック図。 第1撮影画像と第2撮影画像とを示す図。 画像補正部の処理例を示すフローチャート。
以下、本発明の実施形態に係る撮影処理装置、及び撮影処理方法について、図面を参照しながら詳細に説明する。なお、以下に示す実施形態は、本発明の実施形態の一例であって、本発明はこれらの実施形態に限定して解釈されるものではない。また、本実施形態で参照する図面において、同一部分又は同様な機能を有する部分には同一の符号又は類似の符号を付し、その繰り返しの説明は省略する場合がある。また、図面の寸法比率は説明の都合上実際の比率とは異なる場合や、構成の一部が図面から省略される場合がある。
(第1実施形態)
以下、本発明に係わる実施の形態について、図面を参照して説明する。
図1は、第1実施形態に係る撮影処理装置1の構成を示すブロック図である。
図1に示すように、撮影処理装置1は、撮影位置を特定することが可能であり、
撮影部101と、記憶部102と、シミュレーション画像作成部103と、画像比較部104と、撮影位置推定部105と、画像差分検出部106とを備えて構成される。
撮影部101は、例えばデジタルカメラであり、デジタルの第1撮影画像を撮影する。より具体的には、この撮影部101は、発電プラントの屋内における対象物の画像を含む第1撮影画像を撮影する。また、撮影部101は、例えば、駆動機構を備えた移動部に設定され、この移動部の移動に応じて自動的に第1撮影画像を撮影する。さらにまた、撮影部101は、第1撮影画像を画像比較部104に供給する。
図2は、第1撮影画像の例を示す説明図である。図2に示すように、撮影部101は、発電プラント建屋内などの現場の状況を撮影し第1撮影画像200a、bを出力する。また移動部は、撮影部101が出力する撮影画像200の撮影範囲を第1撮影画像200aと第1撮影画像200bのように重複させながら撮影部101を移動させる。なお、撮影部101には、全方位を撮影する機能を備えた全方位カメラを用いてもよい。この場合、一度に広い範囲を撮影可能となる。これにより、対象物に対して撮影部101を走査する機能などが移動部に不要となり、移動部の機構の簡略化や撮影時間の短縮化が可能となる。
記憶部102は、例えばRAM(Random Access Memory)、フラッシュメモリ等の半導体メモリ素子、ハードディスク等により実現される。この記憶部102は、3Dデータ記録部102aと、映像記録部102bとを有する。3Dデータ記録部102aは、対象物の3次元位置を示す点群データを記録する。より詳細には、3Dデータ記録部102aには、例えば3Dレーザスキャナなどで計測した発電プラントの各構造物の形状と3次元位置を示す点群データが記録される。映像記録部102bには、撮影部101により撮影された第2撮影画像と第2撮影位置が記録される。
シミュレーション画像作成部103は、3Dデータ記録部102aに記録される対象物の3次元位置を示す点群データに基づき、対象物の少なくとも一部の範囲を含むシミュレーション画像を生成する。例えば、シミュレーション画像作成部103は、撮影部101と同じ画角により、任意位置から撮影される領域を計算する。そして、このシミュレーション画像作成部103は、この領域内に対応する3Dデータ記録部102aに記録される点群データに基づき、シミュレーション画像を生成する。より具体的には、シミュレーション画像作成部103は、撮影部101により撮影された第1撮影画像と同じ解像度のシミュレーション画像を作成し、シミュレーション画像の各画素に対応する点群データに付加されたレーザの反射強度をシミュレーション画像の輝度として各画素に設定する。
また、シミュレーション画像作成部103は、各点群データ間の死角情報を反映する処理を行う。例えば、シミュレーション画像の各画素に対応する点群データを求める場合に、点群データには任意視点からの死角情報がないため、1画素に対して複数の点群データが求まる場合がある。この場合に、シミュレーション画像作成部103は、求めた各点群データと任意視点との距離を計算し、任意視点に最も至近の点群データを選択することにより、選択されなかった各点群データに死角情報を反映する。すなわち、選択されなかった各点群データに、死角情報であることを示すフラグを設定する。さらにまた、シミュレーション画像作成部103は、画像の輝度が設定されていない画素が存在する場合には、輝度が設定された周辺画素の平均値を輝度として、その画素に設定する。
また、シミュレーション画像は、撮影部101で撮影した領域の一部分を含むように生成する必要がある。このため、操作者が任意視点の位置を調整しても良い。或いは、後述する撮影位置推定部105により推定された撮影部101の直前の撮影位置を利用しても良い。なお、本実施形態では、シミュレーション画像の輝度に点群データに付加されたレーザの反射強度を設定したが、これに限定されない。例えば、任意視点と点群データ間の距離を画素に設定する方法でも良い。また、本実施形態に係るシミュレーション画像作成部103が生成部に対応する。
画像比較部104は、対象物の同一箇所が写像された対応位置を第1撮影画像とシミュレーション画像間で求める。例えば、画像比較部104は、撮影部101で撮影された第1撮影画像とシミュレーション画像作成部103で作成したシミュレーション画像を比較し、対象物の同一箇所が写像された対応位置を画像間で求める。
シミュレーション画像の輝度にレーザの反射光度を設定した場合でも、レーザを照射する3Dレーザスキャナの位置と、撮影部101で撮影する際の照明の位置が異なるなどの要因により、第1撮影画像とシミュレーション画像とでは構造物の陰や濃淡が異なる場合がある。そこで、画像比較部104では、周辺画素との輝度差を利用し、撮影画像とシミュレーション画像のそれぞれで構造物のエッジを検出する。
図3は、画像比較部104が抽出する特徴的な箇所の例を示す図である。図3に示すように、画像比較部104は、構造物のエッジを検出する。これにより、撮影画像とシミュレーション画像で濃淡が異なる場合でも、第1撮影画像とシミュレーション画像間で同一の構造物が認識し易くなる。また、シミュレーション画像に任意視点と各点群データ間の距離を設定した場合においても、周辺画素との輝度差は周辺との距離差となるため、同様の方法にて構造物のエッジを検出することができる。
より詳細には、画像比較部104は、撮影画像とシミュレーション画像のそれぞれでエッジの端点や交点などの特徴的な箇所300を抽出し、抽出箇所300を中心とする矩形ブロック301を設定する。次に、画像比較部104は、撮影画像とシミュレーション画像のぞれぞれで設定した複数の矩形ブロック間に対し、矩形ブロック内の画像特性が類似する矩形ブロック301を対応付ける。例えば、画像比較部104は、輝度差を用いた方法や輝度の相関を用いた方法などにより、矩形ブロック内の画像特性が類似する矩形ブロック301同士を対応付ける。なお、本実施形態に係る画像比較部104が対応処理部に対応する。
撮影位置推定部105は、画像比較部104が対応させた矩形ブロック301の3次元位置情報に基づき、撮影部101の第1撮影位置を取得する。より詳細には、撮影位置推定部105は、画像比較部104が対応させた矩形ブロック301の3次元位置の情報を3Dデータ記録部104の点群データを参照し、取得する。そして、撮影位置推定部105は、3点以上の撮影画像上の位置と、その点の実空間における3次元位置との幾何学的な関係に基づき、撮影位置を計算する。また、3点で1箇所の撮影位置が計算できるため、4点以上あると2箇所以上の撮影位置が計算できる。このため、撮影位置推定部105は、複数の撮影位置が計算できる場合には、計算した複数の撮影位置の平均や、計算した撮影位置の密集度により最終的な撮影位置を決定する。また、撮影位置推定部105は、取得した撮影部101の第1撮影位置と、対応する第1撮影画像を関連付け、映像記録部102bに第2撮影画像及び第2撮影位置として記録する。なお、本実施形態に係る撮影位置推定部105が撮影位置取得部に対応する。
図4は、画像差分検出部106による差分処理の一例を示す図である。左上図が第1撮影画像400を示す図であり、右上図が過去画像、すなわち第2撮影画像401を示す図であり、下図が差分領域402を示す図である。図4に示すように、画像差分検出部106は、撮影部101により撮影された第1撮影画像400と、撮影位置推定部105により取得された撮影部101の位置から所定範囲の撮影位置から撮影された第2撮影画像401とを用いて、変化領域である差分領域402を検出する。なお、本実施形態に係る画像差分検出部106が検出部に対応する。
より詳細には、画像差分検出部106は、映像記録部102bに記憶される複数の第2撮影画像の内で、撮影位置推定部105より取得された第1撮影位置から所定範囲の撮影位置から撮影された第2撮影画像を映像記録部102bから取得する。例えば、画像差分検出部106は、撮影位置推定部105より取得された撮影位置に最も近い位置で撮影された第2撮影画像を映像記録部102bから検索し取り出す。
次に、画像差分検出部106は、第1撮影画像400と第2撮影画像401の撮影位置がずれている場合、対象物の写像位置が第1撮影画像400と第2撮影画像401とでずれるため、第1撮影画像400と第2撮影画像401との位置合わせを行う。例えば、画像差分検出部106は、画像の位置合わせ処理として、例えば第1撮影画像400と第2撮影画像401との重ね合わせ位置を順次ずらしていき、重複領域の輝度差が最も小さくなる位置を求める方法や、第1撮影画像400と第2撮影画像401とのぞれぞれで特徴点を検出し、特徴点の対応位置から射影変換行列を求める方法などを用いる。これにより第1撮影画像400と第2撮影画像401とのずれを補正し重ね合わせることが可能となる。そして、画像差分検出部106は、第1撮影画像400と第2撮影画像401との比較処理により、差分がある差分領域を変化領域として検出する。すなわち、この変化領域が異常の可能性がある領域となる。
以上が本実施形態に係る撮影処理装置1の構成の説明であるが、以下に撮影処理装置1の処理例を説明する。
図5は、撮影処理装置1の処理例を示すフローチャートである。先ず、撮影部101は、図示していない移動部にて移動しながら対象物となる建屋内などの現場の状況を撮影し、対象物の画像を含む第1撮影画像400(図4)を出力する(ステップS100)。
次に、シミュレーション画像作成部103は、3Dデータ記録部102aに記録される点群データを用いて、撮影部101と同じ画角により、任意視点から撮影したシミュレーション画像を作成する(ステップS102)。続けて、シミュレーション画像作成部103は、第1撮影画像400と同じ解像度のシミュレーション画像に対して、画像の各画素に対応する点群データを求め、点群データに付加されたレーザの反射強度を画像の輝度として画素に設定する。
次に、画像比較部104は、撮影部101の第1撮影画像400とシミュレーション画像作成部103で作成したシミュレーション画像との画像比較を行う(ステップS104)。これにより、第1撮影画像400とシミュレーション画像のぞれぞれで設定した複数の矩形ブロック301(図3)間の対応を求める。
次に、測定位置推定部105は、対応付けられた3点以上の矩形ブロック301の実空間における3次元位置と、第1撮影画像400の対応付けられた3点以上の矩形ブロック301との幾何学的な関係に基づいて、第1撮影画像400の撮影位置を推定する(ステップS106)。
次に、画像差分検出部106は、撮影位置推定部105で求めた撮影位置に最も近い位置で過去に撮影された第2撮影画像401を映像記録部102bから取り出し、第1撮影画像400と第2撮影画像401とを比較し、変化領域である差分領域402(図4)を検出する(ステップS108)。
以上説明したように、本実施形態によれば、シミュレーション画像作成部103が対象物の3次元位置を示す点群データに基づくシミュレーション画像を生成し、画像比較部104が対象物の同一箇所が写像された少なくとも3箇所の対応位置を、第1撮影画像とシミュレーション画像との間で求める。これにより、対応付けられた3箇所の実空間における3次元位置と、第1撮影画像の対応付けられた3箇所の位置との、幾何学的な関係に基づいて、第1撮影画像の撮影位置を求めることが可能となる。また、第1撮影画像の撮影位置に基づき、撮影位置が近い第2撮影画像(過去画像)を検索することが可能となり、第1撮影画像と撮影位置が近い第2撮影画像と画像比較を行うことにより、差分がある変化領域をより適切に検出することができる。
(第2実施形態)
第2実施形態に係る撮影処理装置1は、撮影位置の異なる複数の第1撮影画像を用いて算出した対象物の3次元位置と、3Dデータ記録部102aに記録された対象物の3次元位置とを比較し、差分を検出する機能を更に備える点で、第1実施形態に係る撮影処理装置1と相違する。以下では、第1実施形態に係る撮影処理装置1と相違する点に関して説明する。
図6は、第2実施形態に係る撮影処理装置1の構成を示すブロック図である。図6に示すように、第2実施形態に係る撮影処理装置1は、距離測定部600と位置差分検出部601とを更に備える点で第1実施形態に係る撮影処理装置1と相違する。
距離測定部600は、対象物を撮影した複数の第1撮影画像と、撮影位置推定部105で計算したこれら複数の第1撮影画像を撮影した際の複数の撮影位置を用いて、対象物までの距離を計算すると共に対象物の3次元位置を算出し、全画素の3次元位置を示す点群データを求める。より具体的には、距離測定部600は、例えば図2に示すように、撮影範囲を重複させて撮影した第1撮影画像200a、bを画像処理により比較し、画像間で同一箇所が写像された位置の対応を求める。例えば、第1撮影画像200aの注目画素を中央とした矩形ブロックを定義し、輝度差を用いた方法や輝度の相関を用いた方法などにより、第1撮影画像200aの矩形ブロックと第1撮影画像200bのブロックマッチング処理を行い、最も矩形ブロックに類似した対応位置を計算する。このような処理を第1撮影画像200aの全画素で実行し、第1撮影画像200aと第1撮影画像200bとの対応位置を計算する。次に、距離測定部600は、撮影位置推定部105で計算した第1撮影画像200aと第1撮影画像200bの各撮影位置と画像間の対応位置から3角測量の原理により撮影位置と対象物までの距離を計算すると共に対象物の3次元位置を計算し、全画素の3次元位置を示す点群データを求める。なお、本実施形態では、2枚の第1撮影画像を使用した場合を例に説明したが、これに限定されない。例えば、3枚以上の第1撮影画像を使用して測定することも同様に可能である。なお、本実施形態に係る距離測定部600が3次元情報生成部に対応する。
位置差分検出部501は、距離測定部600により算出された対象物の3次元位置と、3Dデータ記録部10aに記録された対象物の3次元位置とを比較し、差分を検出する。
図7は、ボクセル602を3次元的に配列した評価空間例を示す図であり、図7に基づき、位置差分検出部501の詳細な処理例を説明する。図7に示すように、位置差分検出部501は、3次元空間上に一定サイズのボクセル602を3次元的に配列した評価空間を有し、距離測定部で計算した対象物の点群データを評価空間に配置する。次に、位置差分検出部501は、ボクセル602毎にボクセル中のデータ数を求め、データ数がしきい値以上の場合に対象物体が存在すると判断する。
同様に、位置差分検出部501は、3Dデータ記録部104に記録されている対象物の点群データについても、評価空間に配置し、ボクセル中のデータ数がしきい値以上の場合に物体が存在すると判断する。そして、位置差分検出部501は、距離測定部で計算したデータから物体が存在すると判断したボクセルと、3Dデータ記録部104のデータから物体が存在すると判断したボクセルを比較することにより、3次元空間上での位置差分を検出する。
本実施形態に係る画像差分検出部106は、第1実施形態と同様の処理を行う第1モードと、位置差分検出部501で検出した差分箇所を対象に、検証用の差分検出を行う第2モードを有する。第2モードでは、画像差分検出部106は、位置差分検出部501で検出した差分箇所を対象に、検証用の差分検出を行う。画像差分検出部106は、位置差分検出部501で検出した差分箇所に、差分が検出された場合は位置差分検出部501で検出した位置差分の結果が正しいと判断する。一方で、画像差分検出部106は、位置差分検出部501で検出した差分箇所に差分が検出されない場合には、位置差分検出部501の位置差分の結果がエラーであると判断する。
図8は、第2実施形態に係る撮影処理装置1の処理例を示すフローチャートである。図8に示すように、先ず、撮影部101は、移動部により移動しながら対象物を複数撮影する(ステップs200)。この際に撮影部101は、例えば図2に示すように撮影画像の第1撮影範囲を第1撮影画像200aと1撮影画像200bとのように重複させて撮影し、出力する。
次に、距離測定部500は、撮影部101から出力される第1撮影画像200aと第1撮影画像200bを画像処理により比較し、画像間で同一箇所が写像された位置の対応を求める(ステップs202)。例えば、第1撮影画像200aの矩形ブロックと第1撮影画像200bの形ブロックとのブロックマッチング処理を行い、最も矩形ブロックに類似した対応位置を計算する。続けて、距離測定部500は、第1撮影画像200aの全画素でブロックマッチング処理を実行し、全画素の3次元位置を示す点群データを求める(ステップs204)。
次に、位置差分検出部501は、距離測定部500で計算した対象物の3次元位置を示す点群データと、3Dデータ記録部104に記録されている対象物の3次元位置を示す点群データを比較し、差分を検出する(ステップs206)。
以上説明したように、本実施形態によれば、距離測定部600は、対象物を撮影した複数の第1撮影画像と、撮影位置推定部105で計算したこれら複数の第1撮影画像を撮影した際の複数の撮影位置を用いて、対象物までの距離と対象物の3次元位置を計算し、全画素の3次元位置を示す点群データを求めることとした。これにより、第1画像が撮影された時点の対象物と、3Dデータ記録部104に記録された時点の対象物の差分を検出することが可能となる。このように、3次元位置を示す点群データによる差分処理により、変化領域を検出することが可能であるので、対象画像の画像輝度の変化、及び撮影位置が異なることによる対象画像の形状の相違などによる変化領域の検出精度の低下を抑制できる。
(第3実施形態)
第3実施形態に係る撮影処理装置1は、画像差分検出部106が検出した変化領域である差分領域が計画内の事象であるか否かを判断する機能を更に備える点で、第2実施形態に係る撮影処理装置1と相違する。以下では、第2実施形態に係る撮影処理装置1と相違する点に関して説明する。
図9は、第3実施形態に係る撮影処理装置1の構成を示すブロック図である。図9に示すように、第3実施形態に係る撮影処理装置1は、計画データベース102cと、差分位置判断部700と、確認部701とを更に備える点で第2実施形態に係る撮影処理装置1と相違する。
記憶部102の計画データベース102cは、対象物の移動位置、及び追加設置の位置などの情報を記録する。すなわち、計画データベース102cは、画像差分検出部106の差分領域、すなわち変化領域が検出されるべき実位置を示す計画位置を記録する。
差分位置判断部700は、画像差分検出部106が検出した変化領域である差分領域の実位置を取得する。ここで、実位置とは、例えば実空間の座標系X、Y、Zでの座標位置を意味する。なお、本実施形態に係る差分位置判断部700が実位置取得部に対応する。
図10は、発電プラント内の対象物などの配置を示す図であり、図10に基づき、差分位置判断部700の詳細な処理例を説明する。図10は、上部から見た鳥瞰図を示しているため、高さ方向の位置は図示されていない。図10に示すように、差分位置判断部700は、差分領域の方位と範囲を、撮影部101の画角と差分が検出された画像上の位置とサイズから計算する。次に、差分位置判断部700は、撮影位置推定部105で計算した撮影位置を基準にして、3Dデータ記録部102aに記録された三次元点群データの中から差分領域の方位と範囲に入る三次元点群データを抽出することで、差分領域の実位置801a、bを判断する。なお、距離測定部500で計算した対象物の3次元位置から差分を検出した範囲のデータを抽出し、同様に差分を検出した実位置を判断する方法でも良い。
図11は、発電プラント内の差分領域の計画位置を示す図である。図11は、上部から見た鳥瞰図である。差分領域の計画位置900は、計画データベース102c内の実位置に基づく差分領域の計画位置を示している。
図11に示すように、確認部701は、差分位置判断部700で判断した差分領域の実位置801a、b(図10)と、計画データベース102cに記録された差分領域の計画位置900と、を比較し、差分が検出された差分領域が計画内の事象であるか否かを判断する。なお、本実施形態に係る確認部701が判断部に対応する。
図12は、発電プラント内の計画外差分位置1000と計画内差分位置1001とを示す図である。図12は、上部から見た鳥瞰図である。図12に示すように、確認部701は、差分領域の実位置801aが差分領域の計画位置900に対応する場合に、計画内差分位置1001と確認する。一方で、確認部701は、差分領域の実位置801bが差分領域の計画位置900に対応しない場合に、計画外差分位置1000と確認する。より具体的には、確認部701は、差分領域の計画位置900(図11)に対して任意の範囲を設け、差分領域の実位置801a、bがその範囲内であるかを基に判断する。
図13は、第3実施形態に係る撮影処理装置1の処理例を示すフローチャートである。図13に示すように、先ず、差分位置判断部700は、画像差分検出装置106で検出された差分領域の方位と範囲を計算する(ステップS300)。続いて、差分位置判断部700は、撮影位置推定装置105で計算した撮影位置を基準にして、3Dデータ記録装置に記録された点群データから差分の方位と範囲に入る点群データを抽出し、差分領域の実位置801a,bを判断する(ステップS302)。
次に、確認部701は、差分位置判断部700で判断した差分領域の実位置801a,bと、計画データベース702に記録された差分領域の計画位置900を比較する(ステップS304)。確認部701は、実位置801aと計画位置900が重なる場合(ステップS304のYES)、差分領域が検出された位置が計画内と判断する。一方で、実位置801aと計画位置900が重ならない場合(ステップS304のNO)、差分領域が検出された位置が計画外と判断し、全体処理終了する。
以上説明したように、本実施形態によれば、確認部701が、差分位置判断部700で判断した差分領域の実位置801a、bと、計画データベース102cに記録された差分領域の計画位置900を比較し、差分が検出された差分領域が計画内の事象であるか否かを判断することとした。これにより、計画内の事象を判断し、計画内の差分領域を異常領域として抽出することを抑制できる。
(第4実施形態)
第4実施形態に係る撮影処理装置1は、差分領域の機器の種類を認識する機能を更に備える点で、第3実施形態に係る撮影処理装置1と相違する。以下では、第3実施形態に係る撮影処理装置1と相違する点に関して説明する。
図14は、第4実施形態に係る撮影処理装置1の構成を示すブロック図である。図14に示すように、第4実施形態に係る撮影処理装置1は、機器3Dデータベース部102dと、機器認識部1100を更に備える点で第3実施形態に係る撮影処理装置1と相違する。
記憶部102の機器3Dデータベース部102dは、複数の機器の3次元形状を示す点群データを記録する。
機器認識部1100は、画像差分検出部106で検出した差分領域の3次元形状又は画像と、3次元データと機器3Dデータベース部102dに記録された対象物の3次元形状又は画像とを比較し差分領域の機器を認識する。
図15は、差分領域1200内の画像とシミュレーション画像を示す図である。図15に示すように、機器認識部1100は、画像差分検出部106で検出した差分領域1200内の差分検出画像1201と、機器3Dデータベースに記録した機器のデータとを比較し、差分領域1200の機器の種類を認識する。
より詳細には、機器認識部1100は、シミュレーション画像作成部103と同様に、機器3Dデータベース部102dに記録された機器の点群データから任意の視点から見た複数のシミュレーション画像1202a〜cを生成する。すなわち、この機器認識部1100は、視点の異なる複数のシミュレーション画像1202a〜cを生成し、各シミュレーション画像1202a〜cと差分検出画像1201との類似度をそれぞれ計算し、類似度が高い結果を、演算対象の機器の類似度に決定する。この類似度の計算には、輝度差を用いた方法、及び輝度の相関を用いた方法のいずれかなどを用いる。そして、機器認識部1100は、機器3Dデータベース部102dに記録された全ての機器について同様の計算を行い、機器毎に計算した類似度の中から最も類似度の高い機器を差分領域1200に対する機器の種類として認識する。
機器認識部1100は、シミュレーション画像1202a〜cと差分検出画像1201を比較する際に、画像の縮尺を変化させて類似度を計算する。或いは、距離測定部500で計算した対象物までの距離を利用して画像の縮尺を調整しても良い。これにより、撮影位置から対象物までの距離に応じた画像上の対象物の大きさの違いに対応することができる。なお、本実施例形態では、機器3Dデータベース部1101に記録された点群データからシミュレーション画像1202a〜cを作成し差分検出画像1201との類似度を計算する方法を例に説明したが、これに限定されない。例えば、距離測定部500で計算した対象物の3次元データと、機器3Dデータベース部1101に記録した点群データを比較し、差分領域1200の機器の種類を判断しても良い。
本実施形態に係る確認部701は、機器認識部1100で認識した機器と計画データベース部102cに記録された計画機器とが一致するか否かを確認する。すなわち、この確認部701は、機器認識部1100で認識した差分領域1200の機器の種類と、計画データベース702に記録された機器の種類を比較し、一致する場合に、差分領域1200の機器が計画通りに配置されたと判断し、一致しない場合に、差分領域1200の機器が計画通りに配置されていないと判断する。
図16は、第4実施形態に係る撮影処理装置1の処理例を示すフローチャートである。図14に示すように、機器認識部1100は、視点の異なる複数のシミュレーション画像1202a〜cを生成する(ステップS400)。続けて、機器認識部1100は、各シミュレーション画像1202a〜cと差分検出画像1201との類似度をそれぞれ計算し、類似度が高い結果を、演算対象の機器の類似度として決定する(ステップS402)。
続けて、機器認識部1100は、機器3Dデータベース部102dに記録された全ての機器について類似度を計算したか否かを判断する(ステップS404)。全ての機器について類似度を計算していない場合(ステップS404のNO)、ステップS400からの処理を機器3Dデータベース部102dに記録される機器を変更して繰り返す。一方で、全ての機器について類似度を計算した場合(ステップS404のYES)、機器認識部1100は、機器毎に計算した類似度の中から最も類似度の高い機器を差分領域1200に対する機器の種類として認識する(ステップS406)。
次に、確認部701は、差分領域1200の機器の種類と、計画データベース702に記録された機器の種類を比較する(ステップS408)。続けて、確認部701は、一致する場合に、差分領域1200の機器が計画通りに配置されたと判断し、一致しない場合に、差分領域1200の機器が計画通りに配置されていないと判断し、全体処理を終了する。
以上説明したように、本実施形態に係る撮影処理装置1は、機器認識部1100が差分領域1200の機器の種類を認識することとした。これにより、認識された機器の種類と、計画データベース702に記録された機器の種類を比較し、差分領域1200の機器が計画通りに配置されたか、否かを判断することができる。
(第5実施形態)
第5実施形態に係る撮影処理装置1は、第1撮影画像の撮影位置から対象物までの距離と、第2撮影画像の撮影位置から対象物までの距離と、に応じて撮影画像の大きさを補正する機能を更に備える点で、第4実施形態に係る撮影処理装置1と相違する。以下では、第4実施形態に係る撮影処理装置1と相違する点に関して説明する。
図17は、第5実施形態に係る撮影処理装置1の構成を示すブロック図である。図17に示すように、第5実施形態に係る撮影処理装置1は、画像補正部1300を更に備える点で第4実施形態に係る撮影処理装置1と相違する。なお、シミュレーション画像作成部103、画像比較部104、撮影位置推定部105、画像差分検出部106、距離測定部600、位置差分検出部601、差分位置判断部700、確認部701、機器認識部1100、及び画像補正部1300の各処理部は、例えばCPU(Central Processing Unit)、ASIC(Application Specific Integrated Circuit)またはFPGA(Field−Programmable Gate Array)等の回路を含むハードウェアにより構成される。
画像補正部1300は、第1撮影画像の撮影位置から対象物までの距離と、過去の撮影画像である第2撮影画像の撮影位置から対象物までの距離と、に応じて撮影画像の大きさを補正する。より詳細には、画像補正部1300は、撮影位置推定部105で推定した撮影部101の撮影位置と、3Dデータ記録部102aに記録された対象物の3次元位置とを用いて、第1撮影画像の撮影時の撮影部101から対象物までの距離を測定する。また、画像補正部1300は、映像記録部102bに記録された第2撮影画像の撮影位置と33Dデータ記録部102aに記録された対象物の3次元位置とを用いて、第2撮影画像の撮影時の撮影部101から撮影位置までの距離を測定する。そして、画像補正部1300は、それぞれの距離に応じて画像間の縮尺を補正する処理を第1撮影画像、及び第2撮影画像の少なくとも一方に行う。
図18は、第1撮影画像1401と第2撮影画像1402を示す図である。左図が第1撮影画像1401を示し、右図が第2撮影画像1402を示す。図18に示すように、第1撮影画像1401と第2撮影画像1402とでは、写っている対象物1400のサイズが異なる。
図19は、第5実施形態に係る撮影処理装置1の処理例を示すフローチャートである。ここでは、図18図を参照にしつつ撮影処理装置1の処理例を説明する。
先ず、画像補正部1300は、第1撮影画像1401と第2撮影画像1402とを比較する矩形ブロックとして、第1撮影画像1401に任意サイズの矩形ブロック1403aを設定する(ステップS500)。続けて、画像補正部1300は、撮影部101の画角と対象物までの距離に基づき、対象物1400の位置における矩形ブロック1403aの実サイズを計算する。
次に、画像補正部1300は、第2撮影画像1402の撮影時の対象物1400までの距離に基づき、第2撮影画像1402上での矩形ブロック1403bのサイズを計算し、第2撮影画像1402に矩形ブロック1403bを設定する(ステップS502)。
次に、画像補正部1300は、第1撮影画像1401の矩形ブロック1403aと過去画像1402の矩形ブロック1403bの画素数が同じになるように第1撮影画像1401及び第2撮影画像1402の少なくともいずれかの画像サイズを補正する(ステップS504)。
画像差分検出部106は、補正した第1撮影画像1401の矩形ブロック1403aと過去画像1402の矩形ブロック1403bとを、輝度差を用いた方法や輝度の相関を用いた方法などにより比較し差分を検出する(ステップS506)。続けて、画像差分検出部106は、矩形ブロックの位置を順次ずらしながら同様の処理を行い、撮影画像1401全体の差分検出を行い、全体処理を終了する。なお、本実施形態では、撮影位置と3Dデータ記録部104に記録された対象物の3次元位置から対象物までの距離を測定する方法を例に説明したが、これに限定されない。例えば、距離測定部500で計算した対象物までの距離を利用する方法でも良い。
以上説明したように、本実施形態によれば、画像補正部1300が第1撮影画像1401の撮影位置から対象物までの距離と、過去の撮影画像である第2撮影画像1402の撮影位置から対象物までの距離と、に応じて撮影画像の大きさを補正することとした。これにより、撮影画像1401と第2撮影画像1402とでの撮影部101から対象物1400までの距離が異なる場合においても、より適切に画像間の差分を検出することが可能となる。
上述した実施形態で説明した撮影処理装置の少なくとも一部は、ハードウェアで構成してもよいし、ソフトウェアで構成してもよい。ソフトウェアで構成する場合には、制御部および水素製造システムの少なくとも一部の機能を実現するプログラムをフレキシブルディスクやCD−ROM等の記録媒体に収納し、コンピュータに読み込ませて実行させてもよい。記録媒体は、磁気ディスクや光ディスク等の着脱可能なものに限定されず、ハードディスク部やメモリなどの固定型の記録媒体でもよい。
また、撮影処理装置の少なくとも一部の機能を実現するプログラムを、インターネット等の通信回線(無線通信も含む)を介して頒布してもよい。さらに、同プログラムを暗号化したり、変調をかけたり、圧縮した状態で、インターネット等の有線回線や無線回線を介して、あるいは記録媒体に収納して頒布してもよい。
以上、いくつかの実施形態を説明したが、これらの実施形態は、例としてのみ提示したものであり、発明の範囲を限定することを意図したものではない。本明細書で説明した新規な部、方法及びプログラムは、その他の様々な形態で実施することができる。また、本明細書で説明した部、方法及びプログラムの形態に対し、発明の要旨を逸脱しない範囲内で、種々の省略、置換、変更を行うことができる。
1:撮影処理装置、101:撮影部、102:記憶部、103:シミュレーション画像作成部、104:画像比較部、105:撮影位置推定部、106:画像差分検出部、501:位置差分検出部、600:距離測定部、700:差分位置判断部、701:確認部、1300:画像補正部。

Claims (10)

  1. 対象物の画像を含む第1撮影画像を撮影する撮影部と、
    前記対象物の3次元位置を示す点群データを記憶する記憶部と、
    前記点群データに基づき、任意の位置から前記対象物の少なくとも一部の範囲を撮影した撮影画像に対応するシミュレーション画像を生成する生成部と、
    前記対象物の同一箇所が写像された少なくとも3箇所の対応位置を、前記第1撮影画像と前記シミュレーション画像との間で求める対応処理を行う対応処理部と、
    前記少なくとも3箇所における前記対応位置の前記3次元位置の情報に基づき、前記第1撮影画像を撮影した際の前記撮影部の第1撮影位置を取得する撮影位置取得部と、
    を備える、撮影処理装置。
  2. 前記記憶部は、前記撮影部により撮影した複数の第2撮影画像と、前記複数の第2撮影画像それぞれの第2撮影位置とを更に記憶しており、
    前記複数の第2撮影画像の内で前記第1撮影位置から所定範囲の撮影位置から撮影された近接撮影画像と、前記第1撮影画像と、を用いて変化領域を検出する検出部を、
    更に備える、請求項1に記載の撮影処理装置。
  3. 前記検出部は、前記第1撮影画像と、前記近接撮影画像とを対応させ、比較処理を行うことにより前記変化領域を検出する、請求項2に記載の撮影処理装置。
  4. 前記対象物を撮影した前記複数の前記第1撮影画像と、前記撮影位置取得部で取得された前記複数の前記第1撮影画像を撮影した際の複数の撮影位置とを用いて、前記対象物の3次元位置を示す点群データを生成する3次元情報生成部と、
    前記3次元情報生成部により生成された前記対象物の点群データと、前記記憶部に記録された前記対象物の点群データとを用いて、前記3次元情報生成部により算出された前記対象物の3次元位置と、前記記憶部に記録された前記対象物の3次元位置との位置差分を検出する位置差分検出部と、
    を更に備える、請求項1に記載の撮影処理装置。
  5. 前記記憶部は、前記変化領域が検出されるべき実位置を示す計画位置を更に記憶しており、
    前記検出部が検出した前記変化領域である差分領域の実位置を取得する実位置取得部と、
    前記変化領域の実位置と、前記記憶部に記憶された前記差分領域の計画位置とを比較し、前記変化領域が計画内の事象であるか否かを判断する判断部と、
    を更に備える、請求項2に記載の撮影処理装置。
  6. 前記記憶部は、複数の機器の3次元形状を示す点群データと、機器の種類とを更に記憶しており、
    前記変化領域の画像または3次元データと、前記複数の機器の点群データに基づき生成した前記複数の機器のシミュレーション画像または3次元データと、を比較して、前記変化領域に配置された機器を認識する機器認識部と、
    前記変化領域に配置された機器と、前記記憶部に記憶された前記変化領域に配置されるべき機器とを比較し、前記変化領域に配置された機器が計画内の機器であるか否かを判断する判断部と、
    を更に備える、請求項2に記載の撮影処理装置。
  7. 前記撮影部が全方位を撮影する機能を備える、請求項1に記載の撮影処理装置。
  8. 前記撮影部が出力する前記第1撮影画像の撮影範囲を重複させながら前記撮影部を移動させる、請求項1記載の撮影処理装置。
  9. 前記第1撮影位置及び前記第2撮影位置と、前記記憶部に記憶された対象物の3次元位置とに基づき、前記第1撮影位置から前記対象物までの第1距離と、前記第2撮影位置から前記対象物までの第2距離とを測定する距離測定部と、
    前記第1距離と、前記第2距離に応じて前記第1撮影画像と前記第2撮影画像との間の縮尺を補正する画像補正部と、
    を更に備え、
    前記検出部は、前記補正をした前記第1撮影画像と前記第2撮影画像間の差分処理を行う、請求項3に記載の撮影処理装置。
  10. 対象物の3次元位置を示す点群データを予め記憶する記憶工程と、
    前記対象物の画像を含む第1撮影画像を撮影部により撮影する撮影工程と、
    前記点群データに基づき、任意の位置から前記対象物の少なくとも一部の範囲撮影した撮影画像に対応するシミュレーション画像を生成する生成工程と、
    前記対象物の同一箇所が写像された少なくとも3箇所の対応位置を、前記第1撮影画像と前記シミュレーション画像との間で求める対応処理を行う対応処理工程と、
    前記少なくとも3箇所における前記対応位置の前記3次元位置の情報に基づき、前記第1撮影画像を撮影した際の前記撮影部の第1撮影位置を取得する撮影位置取得工程と、
    を備える、撮影処理方法。
JP2019107725A 2019-06-10 2019-06-10 撮影処理装置、及び撮影処理方法 Active JP7399632B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2019107725A JP7399632B2 (ja) 2019-06-10 2019-06-10 撮影処理装置、及び撮影処理方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2019107725A JP7399632B2 (ja) 2019-06-10 2019-06-10 撮影処理装置、及び撮影処理方法

Publications (2)

Publication Number Publication Date
JP2020201107A true JP2020201107A (ja) 2020-12-17
JP7399632B2 JP7399632B2 (ja) 2023-12-18

Family

ID=73744266

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2019107725A Active JP7399632B2 (ja) 2019-06-10 2019-06-10 撮影処理装置、及び撮影処理方法

Country Status (1)

Country Link
JP (1) JP7399632B2 (ja)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010141599A (ja) * 2008-12-11 2010-06-24 Canon Inc 情報処理装置及び情報処理方法
JP2015111111A (ja) * 2013-10-29 2015-06-18 株式会社イクシスリサーチ 劣化診断支援システム、データベース、データベース作成装置および劣化診断支援方法
JP2016103263A (ja) * 2015-08-31 2016-06-02 株式会社大林組 構造物状況把握支援装置、構造物状況把握支援方法及びプログラム
JP2017181114A (ja) * 2016-03-28 2017-10-05 株式会社東芝 放射線強度分布測定システム及び方法
JP2019087111A (ja) * 2017-11-08 2019-06-06 株式会社東芝 電力設備の保守方法、保守装置、およびプログラム

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010141599A (ja) * 2008-12-11 2010-06-24 Canon Inc 情報処理装置及び情報処理方法
JP2015111111A (ja) * 2013-10-29 2015-06-18 株式会社イクシスリサーチ 劣化診断支援システム、データベース、データベース作成装置および劣化診断支援方法
JP2016103263A (ja) * 2015-08-31 2016-06-02 株式会社大林組 構造物状況把握支援装置、構造物状況把握支援方法及びプログラム
JP2017181114A (ja) * 2016-03-28 2017-10-05 株式会社東芝 放射線強度分布測定システム及び方法
JP2019087111A (ja) * 2017-11-08 2019-06-06 株式会社東芝 電力設備の保守方法、保守装置、およびプログラム

Also Published As

Publication number Publication date
JP7399632B2 (ja) 2023-12-18

Similar Documents

Publication Publication Date Title
US9965870B2 (en) Camera calibration method using a calibration target
US10704900B2 (en) Detection device and detection method
JP5745178B2 (ja) 3次元測定方法、装置及びシステム、並びに画像処理装置
JP6543520B2 (ja) 測量データ処理装置、測量データ処理方法および測量データ処理用プログラム
JP5671281B2 (ja) 位置姿勢計測装置、位置姿勢計測装置の制御方法及びプログラム
US6690841B2 (en) Method and apparatus for image registration
CN112161619B (zh) 位姿检测方法、三维扫描路径规划方法和检测系统
US20150116481A1 (en) Mapping damaged regions on objects
CN111879235A (zh) 弯管的三维扫描检测方法、三维扫描系统和计算机设备
Moussa et al. An automatic procedure for combining digital images and laser scanner data
US9214024B2 (en) Three-dimensional distance measurement apparatus and method therefor
WO2021226716A1 (en) System and method for discrete point coordinate and orientation detection in 3d point clouds
US9245375B2 (en) Active lighting for stereo reconstruction of edges
JP7399632B2 (ja) 撮影処理装置、及び撮影処理方法
CN115717865A (zh) 环形结构全场变形测量方法
JP2006317418A (ja) 画像計測装置、画像計測方法、計測処理プログラム及び記録媒体
Sadeq Using total probability in image template matching.
Uyanik et al. A method for determining 3D surface points of objects by a single camera and rotary stage
CN114460093B (zh) 一种航空发动机缺陷检测方法及系统
KR101770866B1 (ko) 뎁스 센서와 촬영 카메라 간의 관계에 기초한 뎁스 영상 보정 장치 및 방법
CN114111645B (zh) 一种基于视觉检测的角度测量方法及系统
Simon et al. Asserting the precise position of 3D and multispectral acquisition systems for multisensor registration applied to cultural heritage analysis
KR100597529B1 (ko) 기준점 측량없이 근거리 다중영상의 3차원 좌표를 취득하는방법
Wang et al. A feasibility study on data automation for comprehensive pavement condition survey
CN114460093A (zh) 一种航空发动机缺陷检测方法及系统

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20220121

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20221006

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20221021

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20221216

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20230404

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230626

A911 Transfer to examiner for re-examination before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A911

Effective date: 20230704

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20230929

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20231010

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20231107

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20231206

R150 Certificate of patent or registration of utility model

Ref document number: 7399632

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150