JP2021504776A - 斜面安定性可視化 - Google Patents

Abstract

現場の移動データ、現場の視覚像を記録し、視覚像と移動データを相関させる鉱山保安装置。この装置は、現場における位置データを記録し、経時的に位置データを追跡して、移動を特定し、視覚移動オーバーレイを生成する斜面監視デバイスと、或る位置から現場の複数の視覚像を記録する画像取得デバイスと、視覚像を現場全体のパノラマ画像へ繋ぎ合わせ、現場における選択された関心点に対して、視覚移動オーバーレイが関心点と正しく相関されるように座標を正確に決定するプロセッサとを備える。更に、或る位置から現場の複数の視覚像を記録するステップと、視覚像を共に繋ぎ合わせて、パノラマ画像座標系を有する現場全体のパノラマ画像を作成するステップと、現場における関心点を選択し、前記位置から選択された画像点周辺の領域の画像タイルを記録するステップと、視覚像座標系による画像タイルにおける関心点の座標を決定するステップと、画像テンプレートマッチングを使用してパノラマ画像において画像タイルを見つけるステップと、画像タイルにおける視覚像座標系による関心点の座標をパノラマ画像座標系によるパノラマ画像における座標に変換するステップと、パノラマ画像座標系で関心点を表示するステップと、全ての関心点が表示されるまでステップを繰り返すステップとを含む斜面安定性可視化の方法。

Description

本発明は、採掘の分野に関し、特に採掘の安全性に関する。より詳細には、本発明は、ユーザに鉱山画像を誤って解釈させ得る画像歪みを除去する、採掘作業中の傾斜地形の安定性の改善された可視化のための方法および装置に関する。本発明は、トンネルおよび建築物の安定性の可視化のためにも有用である。

露天採掘作業および土木の重大な問題が、採掘場の傾斜壁などの、壁の安定性である。特に採掘作業のために、斜面安定性を監視するために様々な監視技法が論述および実現されてきた。周知の技法は、レーザースキャナーまたはロボットトータルステーションによって監視される再帰反射プリズムを使用することである。この技法は、レーザースキャナーによって続いて検出されて壁上の既知の基準点を提供するプリズムの正確な位置判定に依存する。既知の位置からのいかなる変動も壁移動として特定される。再帰反射プリズムは、既知の位置で強力かつ容易に識別可能な信号を提供する利点を有する。

プリズムの利点にもかかわらず、それらは幾つかの欠点も有する。プリズムは、位置がずらされ、壁から払い落とされ、またはその他壁から落下し得る。それらは汚れると効果も落ち得る。プリズムを保守してこれらの問題点に対処するコストは比較的高い。経済的問題点は別にしてさえ、不安定な区域におけるプリズムを交換しようとする安全性リスクは不当に高くなり得る。プリズムが必要とされる主な場所が正にプリズムを安全に設けることができない場所であることが多いので、このことは特有の問題である。

プリズムに関しては他の制約もある。適度なサイズの採掘場に対してさえ、必要とされるプリズムの数は数百であり得、設置するのに著しい時間および保守するのに多くの労力を要し得る。多数のプリズムのコストは、時間および材料コストの点でも著しい。同じ問題点が、トンネル技術などの土木作業に当てはまる。

斜面監視または他の監視作業のためにプリズムを使用するとき、監視により移動を特定するが、しかし適切な処置を取ることができるためには、どこで移動が発生しているかを人間が地上で特定することができる必要がある。例えば、運搬道路上の車両の経路上へまたは車両の経路内へ落石があるとすれば、運搬道路上方の小移動さえ危険であり得る。他方では、運搬道路下方の小移動は重要でなくなり得る。斜面監視技法が数ミリメートルまで正確であるとはいえ、現在のグラウンドトゥルーシングのための技法は、どこで移動が発生しているかを精密に特定するには十分に正確ではない。結果として、坑内作業現場は不必要に混乱させられ得る。

「グラウンドトゥルーシング」とは、監視される区域の視覚像に斜面監視機器によって生成される斜面変形マップを整合させることが意味される。好ましくは、監視区域の視覚像は広角パノラマ画像であるが、しかしこれらは、写真画像歪みのためグラウンドトゥルーシングにとって特に困難な問題を提示する。

したがって、採掘作業の安全性を改善するために、写真画像歪みは最小化される必要があり、そして斜面変形マップと視覚像との間の相関が最大化される必要がある。

一形態において、唯一のまたは実際に最も広い形態である必要はないが、本発明は、現場の移動データを記録し、現場の視覚像を記録し、視覚像と移動データを相関させる鉱山保安装置であって、この装置は、
現場における位置データを記録し、経時的に位置データを追跡して、移動を特定し、視覚移動オーバーレイを生成する斜面監視デバイスと、
或る位置から現場の複数の視覚像を記録する画像取得デバイスと、
(a)複数の視覚像を繋ぎ合わせて、パノラマ画像座標系を有する現場全体のパノラマ画像を作成し、
(b)選択された関心点に対して、視覚像座標系による画像タイルにおける関心点の座標を決定し、
(c)画像テンプレートマッチングを使用してパノラマ画像において画像タイルを見つけ、
(d)画像タイルにおける視覚像座標系による関心点の座標をパノラマ画像座標系によるパノラマ画像における座標に変換し、
(e)パノラマ画像座標系で関心点を表示し、
(f)全ての関心点が表示されるまでステップ(b)から(e)を繰り返し、
(g)パノラマ画像座標系に視覚移動オーバーレイを整合させ、
(h)移動が関心点と相関されるようにパノラマ画像に視覚移動オーバーレイを重ねる
プロセッサと
を備える。

斜面監視デバイスは、好ましくは、斜面安定性レーダーまたは斜面安定性ライダーである。

画像取得デバイスは、好ましくは、カメラである。

関心点は仮想プリズムまたは実プリズムであってもよい。

別の形態において、本発明は、
(a) 或る位置から現場の複数の視覚像を記録するステップと、
(b) 視覚像を繋ぎ合わせて、パノラマ画像座標系を有する現場全体のパノラマ画像を作成するステップと、
(c) 現場における関心点を選択し、前記位置から選択された画像点周辺の領域の画像タイルを記録するステップと、
(d) 視覚像座標系による画像タイルにおける関心点の座標を決定するステップと、
(e) 画像テンプレートマッチングを使用してパノラマ画像において画像タイルを見つけるステップと、
(f) 画像タイルにおける視覚像座標系による関心点の座標をパノラマ画像座標系によるパノラマ画像における座標に変換するステップと、
(g) パノラマ画像座標系で関心点を表示するステップと、
(h) 全ての関心点が表示されるまでステップ(c)から(g)を繰り返すステップと
を含む斜面安定性可視化の方法である。

この方法は、好ましくは、
(i) 斜面安定性の可視化を提供するようにパノラマ画像に各関心点におけるまたは各関心点周辺の斜面移動を重ねる更なるステップ
を含む。

画像タイルにおける関心点の座標は、好ましくは、画像タイルの中心の座標から決定される。

選択された関心点周辺の領域の画像タイルは、ステップ(a)で記録される視覚像であってもよい。代替的に、画像タイルは、ステップ(a)の視覚像と異なるズームレベルで記録される画像であってもよい。

好ましくは、関心点は仮想プリズムまたは実プリズムである。仮想プリズムとは、実プリズムがない位置であるが、下記で述べる処理により斜面安定性可視化目的で実プリズムの特性を有する位置が意味される。

パノラマ画像に関心点周辺の斜面移動を重ねるステップは、パノラマ画像における関心点と斜面安定性変形マップにおける関心点を合わせることによって行われる。

本発明の更なる特徴および有利点は以下の詳細な説明から明らかになるであろう。

本発明を理解するのを支援するため、かつ当業者が本発明を実施することを可能にするために、本発明の好適な実施形態が添付図面を参照しつつ単に例として説明されることになる。

斜面安定性を監視する際に使用されるプリズムのための好適な位置を示す露天掘り鉱山の写真である。 実プリズムの位置を示す図1の露天掘り鉱山の写真である。 仮想プリズムの追加を示す図2の写真である。 仮想プリズムを可視化するプロセスを図示するフローチャートである。 パノラマ画像に斜面安定性マップを重ねるための追加ステップを図示するフローチャートである。 監視されることになる現場のパノラマ画像である。 画像タイルである。 パノラマ画像における画像タイルの位置を表す。 関心点を正確に表示するための本発明の動作を表す画像を示す。 関心点を正確に表示するための本発明の動作を表す画像を示す。 関心点を正確に表示するための本発明の動作を表す画像を示す。 関心点を正確に表示するための本発明の動作を表す画像を示す。 移動マップが重ねられた図9のパノラマ画像を示す。

本発明の実施形態は主に、写真画像歪みに関して修正された、斜面、建築物またはトンネル、特に露天掘り鉱山壁における関心点を可視化する方法にある。したがって、方法のステップが図面に簡潔な略図形式で例示されているが、本開示の利益を有する当業者に容易に明らかであろう過剰な詳細で本開示を不明瞭にしないように、本発明の実施形態を理解するために必要である具体的な詳細だけを図示する。

本明細書において、第1および第2、左および右などといった形容詞は、必ずしも何らかの実際のそのような関係または順序を必要とするまたは意味することなく、専ら1つの要素または作用を別の要素または作用から区別するために使用され得る。「備える」または「含む」などの単語が非排他的包含を定義すると意図され、そのため一覧の要素を備えるプロセス、方法、物品または装置がそれらの要素だけを含むのでなく、そのようなプロセス、方法、物品または装置に固有である要素を含め、明示的に列記されない他の要素を含み得る。

図1を参照すると、いずれも機器の喪失および場合により負傷に至る崩壊のリスクを呈し得る幾つかの壁または斜面を伴う典型的な採掘場の写真が示される。写真に重ねられているのは、斜面の効果的な監視のための、10などの、望ましいプリズム位置の配列である。当業者は、多数の実プリズムを配備することが経済的に可能でないと理解するであろう。不安定であり得る斜面の或る部分にプリズムを設けることが安全でないとはいえ、これらが正に監視される必要がある部分であることも認識されるであろう。

図2は、実プリズムの位置がひし形によって示された同じ露天掘り鉱山を示す。実プリズムは監視デバイスに信号を返すリフレクターである。例として、レーザーなど、光学監視デバイスが使用される場合、実プリズムはレトロリフレクターであろう。当業者は、監視デバイスのために必要とされる実プリズムの性質を容易に判定するであろう。

実プリズムの数は望ましいほどではなく、しかもそれらは理想の位置には設けられない。プリズムは、落石、塵堆積、結露またはプリズム内部の水蓄積を含む様々な要因によって失われまたは無用にされ得る。最も適切な位置に十分なプリズムを有しない問題は、図3に十字形11によって示されるように、仮想プリズムを設けることによって対処される。仮想プリズムは、岩石または他の表面から直接なされるリフレクターレス測定である。それは、例えば、同時係属中の国際公開第2017/063033号に記載される「Slope Stability Lidar」を使用することによって測定され得る。

有用であるためには、仮想プリズムの厳密な位置が知られなければならず、したがっていかなる画像歪みも不正確に至ることになる。これは、撮像光学系によって歪められる広角画像において特に問題である。代替の画像は狭視野画像から繋ぎ合わされるパノラマ画像であるが、しかしこれらも仮想プリズムの座標の誤った決定に至る歪みを有する。既知の関心点を可視化する際の困難がある。レーザースキャナーまたはロボットトータルステーションが、スキャナーからの角オフセットおよび距離を測定することによって点の位置を整合させる。写真歪みのため、写真画像はスキャナーの座標系に合わせられない。図4を参照しつつ下記で述べる技法が、写真画像歪みに関係なく写真上の各プリズムに対する正確な位置を得る。実プリズムの視覚位置はパノラマ画像において正確に見えるかもしれないが、それがスキャナー座標系と合わないので、この技術が仮想プリズムおよび実プリズムに適用される。同様に、仮想プリズムは、スキャナーの座標系において正確であろうが、しかしパノラマ画像においては正確に見えないであろう。

図4のフローチャートは、斜面安定性を監視するための仮想プリズムの可視化のためのステップを詳述する。監視されることになる斜面に及ぶ現場の幾つかの写真が撮られる。写真は限られた視野、すなわち対角で33度を有する。他の適切なサイズは、1度と同程度高いズーム、または10度、15度、20度、25度、30度、35度、40度もしくは間の任意の数を含め、5度と45度との間であってもよい。各写真は同じ位置から撮られる。

各写真は視覚像を構成し、そして視覚像が共に繋ぎ合わされて現場のパノラマ画像(panoramic image of scene (PIS))を形成する。パノラマ画像内の位置はパノラマ画像座標系により記述され、単に画素位置であってもよい(例えば1024×768画素表示内)。パノラマ画像を形成するために使用される視覚像内の位置は、パノラマ画像座標系と異なるであろう視覚像座標系により定義されることになる。視覚像座標系は、測地座標系または鉱山座標系など、利用可能である任意の座標系であってもよい。各視覚像の位置が同じ座標系により指定されることを除いて、具体的な座標系は重要でない。測地座標系は、度、分および秒を使用する地図系であってもよい。鉱山座標系は、鉱山内の既知の位置を基準点として使用する極座標系であってもよい。

各画像タイルはレンズおよびセンサ歪みを有し、加えて視覚像をPISへ繋ぎ合わせるプロセスは、隣接する視覚像から連続して見える画像を獲得するために、必然的に視覚像の歪みを生じさせる。プロセスの結果として、パノラマ画像における任意の特定の点の位置は視覚像座標系によっては正確でないかもしれないが、視覚像座標系からパノラマ画像座標系への非線形写像があるであろう。あいにく、写像は複雑であり、そして写像を計算するために必要とされる処理は、あまりに時間浪費であり実用的でない。PISにおける関心点の真の位置を決定するための何らかの他の技法が必要とされる。

図4を再度参照すると、パノラマ画像において関心点(Point of Interest (POI))が選択される。これは容易に識別可能な特徴であってもよい、またはそれは単に仮想プリズムの配列を構築する望ましい位置であってもよい。一旦POIが選択されると、POIを含む画像タイルが特定または記録される。好ましくは、画像タイルは、パノラマ画像を構築するために使用された視覚像より大きなズームレベルであってもよい適切なズームレベルで記録される、選択されたPOI周辺の範囲の写真画像である。しかしながら、パノラマ画像を構築するために使用された原視覚像を選択することも許容可能である。新たな画像が記録されるならば、それはパノラマ画像におけるタイルの中心を含まなければならない。画像タイルは視覚像と同じ位置から記録されなければならず、画像タイルが視覚像の1つであれば、明らかに該当することになる。カメラの位置が既知であるので、POIの座標は視覚像座標系により知られることになる。

パノラマ画像座標系における各パノラマ画像タイルの中心の座標は、設定時に測量によって精密に知られているカメラの位置により知られる。中心座標からPOIの座標が決定できる。画像テンプレートマッチングプロセスを使用してパノラマ画像においてPOI画像タイルを見つける。パノラマ画像におけるパノラマ画像タイルの見かけの中心座標とPOI座標系におけるPOI画像タイルに対して記録された座標との間の写像が次いで計算される。次いで写像を使用して、POIがPIS上に正しく位置付けられるようにPOIの座標を修正する。

同プロセスは、関心点の数に対して必要とされる回数繰り返されてよい。所望の精度に応じて、POI間を補間することが許容可能であるので、あらゆる関心点がこのプロセスによって決定される必要があるわけではない。

一旦全てのPOIが正確な座標に決定および写像されると、POIは更なる処理のために使用できる。斜面の習性を理解するためにPOIの正確な可視化が重要である。

当業者は、様々な画像サイズの2つの写真を合わせて、同じ位置から撮られた2つの画像を適切に相互に整合させるために多くの画像テンプレートマッチング(ITM)アルゴリズムおよび方法が利用可能であると認めるであろう。発明者らは、幾つかのブレンディングアルゴリズムを適用して、画像間で露光、色相、彩度、輝度およびコントラストチャネルを平滑化し、より一貫したパノラマ画像を得る前に、適切なアルゴリズムが、コントラスト、輝度または彩度の急激な変化であるエッジ検出を使用して、各画像内の急激な境界、パターンおよび特徴を特定し、次いで画像を拡縮、回転および僅かに歪めさせ、特定した境界が許容差内に一致するようにフレームを合わせることを見出した。

図4のフローチャートで概説したプロセスは、図5のフローチャートに示すような斜面安定性可視化を改善するために使用される。本出願人の国際特許出願番号WO2002/046790(Slope Monitoring System)およびWO2017/063033(Slope Stability Lidar)に記載されているものなど、幾つかの利用可能な斜面監視技法を使用して斜面安定性マップ(SSM)が記録されてよく、これらの出願の内容が参照により本明細書に組み込まれる。SSMは視覚像座標系で生成されてPIS座標系に修正され、それによってPIS上のSSMのオーバーレイを許容する。可視化の精度を最大化するために、著しい移動が起こりやすい位置などの、SSMにおけるPOIが特定されてよく、そして仮想プリズムなどの、近くのPOIがPISに位置付けられる。選択されるPOIの数は、所望の精度のレベルを達成する必要に応じて選ばれてよい。一般的な注釈として、POIが多いほど精度は高くなる。SSMおよびPISに同数のPOIを有する必要はない。SSMにおける各関心領域周辺に複数のPOIが使用されてもよさそうである。

本発明の動作を更に説明するために、現場のパノラマ画像が図6に示される。パノラマ画像は、全てが1つの位置から記録された、複数の視覚像を共に繋ぎ合わせることによって生成される。個々の画像は図6に示されないが、しかし目安として、図6のパノラマ画像は56枚の視覚像から生成されている。

図7は、写真内の岩肌である、特定の関心点を含む画像タイルを示す。図7の画像タイルは、原視覚像より大きな光学ズームレベルで撮られる。画像を通る十字は、写真を撮るカメラの既知の位置ならびに写真が記録される方位角および仰角の記録により既知の座標を有する画像の中央を表す。

図8は、現場のパノラマ画像において画像タイルを特定するためにどのように画像テンプレートマッチングが使用されるかを表す。パノラマ画像82におけるズーム画像80の位置81が示される。

更なる説明として、図9の一連の画像を参照する。図9aは、現場のパノラマ画像に適用されることになる仮想プリズムを表現できるドットの規則的配列を示す。図9bに示されるように、2Dパノラマ画像が上述したように歪みを含むので、単に画像に規則的格子を重ねることでは地上位置の不正確をもたらす。図4の技法を使用した結果として、ドットの配列は、図9cに示されるように、真のPOIと一致するように動かされる。その結果、図9aのドットの規則的配列は、図9dに示されるように、PIS座標でそれらの位置を正確に表現するように修正される。

図5への参照によって説明したように、本技法は、パノラマ画像上の斜面安定性マップの正確なオーバーレイを可能にする。これは、図9のパノラマ画像に斜面安定性ヒートマップ100が重ねられている図10に例証される。実際には、斜面安定性ヒートマップは色が、より大きな移動を示すために徐々に赤に移行する。仮想プリズムがパノラマ画像の座標系に正確に位置付けられ、そして斜面安定性マップが同じ座標系で正確に描写されるので、ユーザは、地面のどこで移動が発生しているかを明確に特定し、そして適切な決定をすることができる。移動は、プリズムの色分けによって表されてもよい。

本発明の様々な実施形態の上記記載は当業者への説明の目的で提供される。それは、網羅的であるとも本発明を単一の開示した実施形態に限定するとも意図されない。上述したように、本発明の多数の代替例および変形例は上記教示の当業者に明らかであろう。したがって、一部の代替実施形態を詳細に論じたが、他の実施形態は当業者によって明らかまたは比較的容易に発展されるであろう。したがって、本発明は、本明細書に論じた本発明の全ての代替例、変更例および変形例、ならびに上記発明の趣旨および範囲内に収まる他の実施形態を包含すると意図される。

10 プリズム位置
11 仮想プリズム
80 ズーム画像
81 位置
82 パノラマ画像
100 斜面安定性ヒートマップ

Claims (17)

1. 現場の移動データ、前記現場の視覚像を記録し、前記視覚像と前記移動データを相関させる鉱山保安装置であって、
   前記現場における位置データを記録し、経時的に前記位置データを追跡して、移動を特定し、視覚移動オーバーレイを生成する斜面監視デバイスと、
   或る位置から前記現場の複数の視覚像を記録する画像取得デバイスと、
   (a)前記複数の視覚像を共に繋ぎ合わせて、パノラマ画像座標系を有する前記現場全体のパノラマ画像を作成し、
   (b)選択された関心点に対して、視覚像座標系による画像タイルにおける前記関心点の座標を決定し、
   (c)画像テンプレートマッチングを使用して前記パノラマ画像において前記画像タイルを見つけ、
   (d)前記画像タイルにおける前記視覚像座標系による前記関心点の座標を前記パノラマ画像座標系による前記パノラマ画像における座標に変換し、
   (e)前記パノラマ画像座標系で前記関心点を表示し、
   (f)全ての関心点が表示されるまでステップ(b)から(e)を繰り返し、
   (g)前記パノラマ画像座標系に前記視覚移動オーバーレイを整合させ、
   (h)移動が前記関心点と相関されるように前記パノラマ画像に前記視覚移動オーバーレイを重ねる
   プロセッサと
   を備える、鉱山保安装置。
2. 前記斜面監視デバイスが斜面安定性レーダーまたは斜面安定性ライダーである、請求項1に記載の鉱山保安装置。
3. 前記画像取得デバイスがカメラである、請求項1に記載の鉱山保安装置。
4. 前記プロセッサが、前記画像タイルにおける前記関心点の座標を前記画像タイルの中心の座標から決定する、請求項1に記載の鉱山保安装置。
5. 前記関心点が仮想プリズムである、請求項1に記載の鉱山保安装置。
6. 前記関心点が実プリズムである、請求項1に記載の鉱山保安装置。
7. 前記プロセッサが、前記パノラマ画像における関心点と斜面安定性変形マップにおける関心点を合わせることによって前記パノラマ画像座標系に前記視覚移動オーバーレイを整合させる、請求項1に記載の鉱山保安装置。
8. (a) 或る位置から現場の複数の視覚像を記録するステップと、
   (b) 前記視覚像を共に繋ぎ合わせて、パノラマ画像座標系を有する前記現場全体のパノラマ画像を作成するステップと、
   (c) 前記現場における関心点を選択し、前記位置から前記選択された画像点周辺の領域の画像タイルを記録するステップと、
   (d) 視覚像座標系による前記画像タイルにおける前記関心点の座標を決定するステップと、
   (e) 画像テンプレートマッチングを使用して前記パノラマ画像において前記画像タイルを見つけるステップと、
   (f) 前記画像タイルにおける前記視覚像座標系による前記関心点の座標を前記パノラマ画像座標系による前記パノラマ画像における座標に変換するステップと、
   (g) 前記パノラマ画像座標系で前記関心点を表示するステップと、
   (h) 全ての関心点が表示されるまでステップ(c)から(g)を繰り返すステップと
   を含む斜面安定性可視化の方法。
9. (i) 斜面安定性の可視化を提供するように前記パノラマ画像に各関心点におけるまたは各関心点周辺の斜面移動を重ねるステップ
   を更に含む、請求項8に記載の方法。
10. 前記画像タイルにおける前記関心点の座標が前記画像タイルの中心の座標から決定される、請求項8に記載の方法。
11. 前記選択された関心点周辺の領域の画像タイルが、ステップ(a)で記録される視覚像である、請求項8に記載の方法。
12. 前記選択された関心点周辺の領域の画像タイルが、ステップ(a)の前記視覚像と異なるズームレベルで記録される画像である、請求項8に記載の方法。
13. 前記関心点が仮想プリズムである、請求項8に記載の方法。
14. 前記関心点が実プリズムである、請求項8に記載の方法。
15. 前記パノラマ画像座標系が測地座標系または鉱山座標系の一方から選択される、請求項8に記載の方法。
16. 前記パノラマ画像に関心点周辺の斜面移動を重ねる前記ステップが、前記パノラマ画像における関心点と斜面安定性変形マップにおける関心点を合わせることによって行われる、請求項8に記載の方法。
17. ステップ(e)の前記画像テンプレートマッチングがエッジ検出アルゴリズムを使用する、請求項8に記載の方法。

Images