JP2015518138A - １つ以上の空間物体に関する情報を抽出するための方法、機器およびコンピュータプログラム - Google Patents

Abstract

使用者によって１つ以上の空間物体に関する情報を抽出するためのコンピュータプログラムを提供する。コンピュータプログラムは、画像解析技術を用いてリアルタイムで一連の画像を解析し、１つ以上の物体に関する情報を抽出し、出力手段を介してリアルタイムで少なくとも一部の情報を使用者に通信するように設計されている。１つ以上の物体に関する情報は少なくとも、１つ以上の物体の空間位置、２つの物体間の空間距離、２つの実質的に線状物体の間の相対的な空間角度、および／または抽出された情報の達成精度を示す指標を含む。

Description

本発明は、使用者によって１つ以上の空間物体に関する情報を抽出するための方法に関する。方法は、コンピュータプログラムが実装される中央処理装置と、前記中央処理装置に接続されているデジタルメモリと、一連の画像を録画することができるカメラと、前記中央処理装置に接続された出力手段とを含む機器によって実行される。本発明はさらに、このような方法に使用できる機器に関する。

階段昇降機を組立てるために階段の測定に関する従来技術は、とりわけ、写真測量技術と呼ばれる技術を含む。写真測量技術によれば、階段およびその近傍の３次元モデルを作るために、階段およびその近傍の写真を数多く撮影され、その後、階段昇降案内部材が仮想的に階段上に設けられ、この案内部材の各部の寸法が、ＣＡＤプログラムを用いて決定される。

この方法の欠点は、写真撮影およびその後コンピュータ上の情報処理が比較的大量の時間を要すること、および、階段の写真を撮影する人は、十分な写真を撮影したか、これらの写真が（露光および撮影角度に関して）正しく撮影されたか、これらの写真が階段の十分正確な３次元モデルを作るためにおよび十分な精度で部品の寸法を決定するために十分な重なりを有するかを分からないことである。このようなことは、頻繁に起きるため、再び測定を行わなければならない。また、数多くの写真は、メモリ容量を大量に占有し、電子手段での送信も多大な時間を要する。

本発明の目的は、物体に関する情報、特に物体に関する幾何学情報を取得するための迅速かつ信頼できる方法を提供することにあり、より具体的には物体の測定、さらに具体的には階段昇降機の案内部材の設計に使用するために、階段およびその近傍に関する幾何学情報を取得するための迅速かつ信頼できる方法を提供することにある。

本発明の第１局面によれば、本発明の目的を達成するために、コンピュータプログラムは、画像解析技術を用いてリアルタイムで一連の画像を解析し、１つ以上の物体に関する情報を抽出し、出力手段を介してリアルタイムで前述情報の少なくとも一部を使用者に通信するように設計されている。本発明の別の局面によれば、１つ以上の物体に関する前述情報は、１つ以上の物体の空間位置、２つの物体間の空間距離、２つの実質的に線状の物体間の相対的な空間角度、および／または抽出された情報の（統計的な）達成精度を示す指標を少なくとも含む。

好ましくは、機器によって一連の画像を録画する前に、１つ以上の物体の上面にまたは近傍にマーカが設置される。前述マーカは、画像において検出可能な空間向きを取ることができるような形状を有する。コンピュータプログラムは、画像において検出されたマーカおよび／または画像において検出された顕著要素（「目立った特徴」または「自然特徴」）に基づいて、マーカの空間位置および空間向きを決定し、および、画像の各々を録画する期間中に決定された前記マーカの空間位置および空間向きに関する情報を使用して前記１つ以上の物体に関する前記情報を抽出するように、設計されている。その結果、一連の明確に認識可能な点が測定され、よってカメラの位置を高精度に決定することができる。好ましくは、各マーカは、検出可能な独自のＩＤを有する。

好ましくは、画像解析技術は、画像の各々を録画する期間中にマーカおよびカメラの空間位置を決定するための、ＡＲマーカ追跡アルゴリズムと同時自己位置推定および環境地図作成（ＳＬＡＭ）アルゴリズムとを含む。画像解析技術は、画像の各々を録画する期間中に１つ以上の物体の少なくとも２つの顕著点の空間位置を決定するための、エピポーラ幾何学に基づくアルゴリズムを含む。ＡＲマーカ追跡アルゴリズムを使用すれば、再構築された物体において、特定の明白な測定点を明確に形成することができる。

より好ましくは、画像解析技術は、カメラの位置および画像の各々を録画する期間中に検出された認識可能な点の空間位置を決定するための、同時自己位置推定および環境地図作成（ＳＬＡＭ）アルゴリズムまたは動画像解析（ＳｆＭ）アルゴリズムと、ＡＲマーカ追跡アルゴリズムとを含む。ＡＲマーカ追跡アルゴリズムを用いて、１つ以上の物体の少なくとも２つの顕著点の空間位置を決定するために、再構築されたシーン内において特定の測定点を明確に形成することができる。

ＳｆＭ技術およびＳＬＡＭ技術は、それ自体が知られている技術である。Kai Zhou（ＭＡＴＲ第０７２７７９４号）によるインターネット掲載記事「構造＆動画」は、物体に関する空間情報を取得するＳｆＭ技術およびＳＬＡＭ技術と、２つの代替方法とを記載し、比較した。本発明の上記局面によれば、ＳＬＡＭ技術は、カメラの位置、およびカメラ画像から検出された一意的に認識可能な点の３次元位置を決定するために使用される。本発明において、一連の点は、好ましくは、検出されたマーカの角点とその近傍に存在する顕著要素（「目立った特徴」または「自然特徴」）との両方を含む。

好ましくは、方法は、階段昇降機または手すりを製造する応用と、他の建築構造物を設置する応用と、法医学検査における状況を録画する応用と、考古学調査における状況を録画する応用と、工場および他の場所で技術的な設置をするための測定を行う応用とを含む応用のいずれか１つに使用される前述情報を抽出するために使用される。

１つ以上の物体の顕著点は、１つ以上のマーカによってマークされることができる。よって、測定を高精度で達成することができ、一連の認識可能な点を明確に測定することができる。好ましくは、使用されたマーカは、決定可能な位置および向きを有する。よって、測定される点は、マーカの中心の外側またはマーカの圏外に位置してもよい。物体の明暗差および物体の認識可能なパターンに応じて、顕著点は、画像認識ソフトウェアによって決定されてもよい。

プログラムは、好ましくは１つ以上の物体の情報の少なくとも一部、より好ましくは１つ以上の物体の空間位置の座標をデジタルメモリに格納するように設計されている。

本発明の一局面によれば、プログラムは、一つ以上の物体に関する前述の抽出情報の（統計的な）達成精度を示す指標をリアルタイムで算出し、前記出力手段を介して前記情報を前記通信するように設計されている。指標は、音響信号および／または視覚信号であってもよい。このようにして、必要される情報の正確な決定を達成するために、十分な画像が取得されていることが保証される。

好ましい実施形態において、本発明の方法は、案内部材を備えた階段昇降機の製造に使用される。案内部材は、階段に設置され、使用者が着座できるフレームが案内部材に沿って移動可能である。マーカは、階段上またはその近傍に設置され、１つ以上の物体に関する情報は、マーカの空間位置を少なくとも含む。プログラムは、好ましくは、階段昇降機の案内部材の各部の寸法を計算するように設計されている。このようにして、案内部材たとえばレールの形状および各部の寸法は、リアルタイムで計算することができ、出力として使用者に視覚的に提供することができる。

機器は、好ましくは、表示画面を含む。好ましい実施形態において、（統計的な）達成精度に関する指標は、中央処理装置によって生成された、点、線および／または面の射影からなる階段または案内レールのような物体像を含む。この階段または案内レールの物体像は、表示画面において示された増加する安定度で、カメラから得られたたとえば階段の現在画像と重なっている。このようにして、物体または機器と物体とに沿って移動しながら撮影している使用者は、たとえば再構築された階段の生成された物体像を表示画面において拡張現実感で観察することができる。この生成された物体像は、既に画像に投影されたレールを有してもよい。この生成物体像が最初に不完全に表示されおよび／またはその位置が変化するが、十分な画像が利用可能になる次第に、物体像が完全にかつ安定した位置に表示される。

ＳＬＡＭアルゴリズムは、たとえば、英国オックスフォード大学のアクティブビジョン研究グループが開発したＰＴＡＭＭと、スウェーデン第１３研究室が開発したｉＰａｄ２に基づくＳＬＡＭ実装とを含む利用可能または同等なツールのいずれか１つによって実行される。

ＡＲマーカ追跡アルゴリズムは、たとえば、Qualcomm社が開発したVuforiaと、ARToolworks社が開発したARToolkitと、OpenCV（オープンソースコンピュータビジョン、Open Source Computer Vision）とを含む利用可能または同等なツールのいずれか１つによって実行される。

機器は、好ましくは、市販されているタブレットコンピュータまたはスマートフォンである。機器は、好ましくは、中央処理装置に接続されている加速度センサおよび／またはジャイロスコープを含み、プログラムは、加速度センサおよび／またはジャイロスコープからの情報に基づいて、カメラが空間において少なくとも実質的に静止しているかを決定し、その時点でカメラからの映像を一連の画像に録画する。このようにして、鮮明な画像を自動的に録画することができる。

本発明はさらに、使用者によって１つ以上の空間物体に関する情報を抽出するためのコンピュータプログラムに関する。このコンピュータプログラムは、コンピュータ読取り可能な担体上に記憶されてもよく、記憶されなくてもよい。

階段昇降機を備える階段の斜視図である。 本発明に係る方法を実行することができるタブレットコンピュータの斜視図である。 本発明に係る方法において使用することができるＡＲマーカの上面図である。 本発明に係る方法において使用することができるアルゴリズムのフロー図である。

図面に示された実施形態を参照して、本発明をより詳細に説明する。
図１は、設置された階段昇降機１を示している。この階段昇降機は、屈曲部を有する階段２に沿って設置されたレール３と、機器４とを備える。レールは、水平方向Ｈに対して角度αを有する。機器４は、異なる階に負荷を搬送する。本実施形態の場合、機器４は、レール３に沿って移動可能な階段昇降機である。このような階段昇降機は、欧州出願２２１６２８４Ａ１により詳細に記載されている。

レール３は、階段２に沿って設けられた複数の支柱５によって支持されている。レール３には、移動可能な機器４のモータが係合することができるラックが設けられている。レール３は、異なる長さおよび曲率を有する複数のレール部品３ａ，３ｂ，３ｃにより構成される。

階段昇降機を形成するために、まず、階段の複数の場所（たとえばすべてのステップ）に、マーカを設ける。

次に、図２に示された機器、すなわちカメラを備えるタブレットコンピュータ８は、マーカが設けられた階段に沿って移動される。このタブレットコンピュータ８には、リアルタイムでカメラ画像を合成かつ処理するように設計されたコンピュータプログラムが動作している。定期的に、タブレットコンピュータ８は、一定の間隔で使用者によって静止状態に保持される。タブレットコンピュータ８内のセンサがタブレットコンピュータが静止していると検出した時点で、コンピュータプログラムが録画するように設計されている。

この特定の応用において、コンピュータプログラムは、得られた写真に基づいて、支柱５の位置およびレール部品３ａ，３ｂ，３ｃなどの寸法をリアルタイムで計算するように設計されている。また、コンピュータプログラムを、上記の計算で結果が得られた時点で、カメラによって撮影された画像において再構築された支柱５およびレール３を有する階段像をタブレットコンピュータの表示部９にリアルタイムですぐ投影し始めるように設計してもよい。このようにして、階段昇降機の案内部材を有する階段の全体像は、一定の時間後、拡張現実感で表示部上に表示される。投影されたレール部品３ａ，３ｂ，３ｃは、最初には不完全に表示されるまたはそれらの位置が変化する可能性がある。より多くの写真が撮影されると、投影された画像がより安定かつ完全になる。したがって、測定の進行状況に関するフィードバックが使用者に与えられる。このフィードバックは、インジケータを用いてさまざまな方法で与えることができる。測定の精度が十分であれば、音響信号がタブレットコンピュータ８のスピーカ１０から発される。この時点では、レール部品の形状および寸法は、タブレットコンピュータ８のメモリに記憶される。このような測定は、約６０秒で完了することができる。レール部品３ａ，３ｂ，３ｃの形状および寸法ならびに必要とされる支柱５に関するデータは、データポート１１を介して読出すことができ、または無線接続を介してさらなる処理用に送信することができる。

コンピュータプログラムは、各写真を撮影する時点のカメラ位置および検出された認識可能な点の３次元位置を決定するために、同時自己位置推定および環境地図作成（ＳＬＡＭ）アルゴリズムとＡＲ追跡アルゴリズムとを併用する。認識可能な点は、好ましくは、いわゆる自然特徴とＡＲマーカの角点との二組から構成される。自然特徴は、いわゆる特徴ベクトルによって一意的に認識され、検出順番に基づいて連続するＩＤが与えられている。マーカの角点は、マーカ自身のＩＤおよび角点のＩＤに基づいて認識される。たとえば、左上が０で、右上が１で、右下が２で、左下が３である。

録画されたカメラ画像は、好ましくは、二回に解析される。好ましくは、一回目がＡＲマーカのＩＤおよび角点を抽出し、二回目が自然特徴を検出／追跡する。

この方法の特徴は、リアルタイムでＡＲマーカ追跡をＳＬＡＭリアルタイム追跡に併用することによって、以下の両方の利点を得ることができる。
−ＡＲマーカが確実に一意的に認識されることができるため、場面の鮮明な３次元画像が計算結果から得られる（自然特徴に基づくＳＬＡＭ追跡のみを使用すると、大群の解釈困難な点しか得られない）。
−検出された点の３次元位置がＳＬＡＭ追跡によって高精度に算出されたため、ＡＲマーカの位置も非常に正確に計算されることができる。通常のＡＲ追跡とは、著しく異なる。通常のＡＲ追跡においては、マーカの位置が（グローバルではなく）カメラの座標系において決定されたため、特にカメラから深さ方向で観察する場合、精度が比較的低いである。

また、コンピュータプログラムは、（統計的な）技術を使用してリアルタイムでデータを解析するように設計されている。画像の解析は、必要な（統計的な）精度が得られる限り、反復的なプロセスによってリアルタイムで行われる。必要な（統計的な）精度が得られると、音響信号または視覚信号が配信される。

このようにして、階段２およびその近傍の、生成された点、線および面を備える３次元画像は、表示画面９上に表示することができる。たとえばレール３を形成するときに、これらの点、線および面の一部は、２つのマーカが一緒でありかつ線を形成しなければならないという事実がプログラムに認識される場合、自動的に生成されることができる。他の点、線および面は、たとえば使用者が画像において距離を決定しなければならない２つの点を選択するか、または角度を決定するための３つの点を指定することによって、対話的に生成されてもよい。

測定点としてのＡＲマーカの一例は、図３に示される。この測定点は、マーカ点によって示されることができ、その座標は、一般的に（ｘ，ｙ，ｚ）のように表すことができる。図３の場合、その座標は、（６，−２，０）である。

アルゴリズムにおけるステップの一例は、図４に示される。
ステップ１：（４１）センサからカメラ画像を受信する。

ステップ２ａ：（４２）カメラ画像における自然特徴を検出または追跡して、２次元座標を表（５３）に格納する。

ステップ２ｂ：（４３）ＡＲマーカを検出して、表（５２）から相対的な３次元の座標の読取り、ＡＲマーカの有効性を確認して、ＡＲマーカの４つの角点の２次元座標を表（５３）に格納する。表内の記述子は、マーカＩＤおよび角点ＩＤの組合せで表記される。

ステップ３：（４４）ステップ２ａおよびステップ２ｂの検出によって得られた表（５３）ならびにステップ４ａ（４７）の表（５４）からのデータに対し、ＳＬＡＭ解析を実施する。

ステップ４：（４５）カメラの現在位置および現在向きを更新する（追跡する）。
（４６）カメラ位置が十分に異なる場合、
ステップ４ａ：（４７）新たなカメラ、点を用いて３次元再構築を更新し、既存点を絞込む（マッピングする）ことによって、表（５４）における自然特徴の３次元位置を生成する、および、（４８）現在画像から検出されたＡＲマーカの測定品質を更新する。

ステップ４ｂ：（４９）表（５４）からのＡＲマーカの角点の正確な３次元位置に基づいて、ＡＲマーカの座標系を計算する。

ステップ４ｃ：（５０）マーカの座標系および表（５２）からの座標系における測定点の相対位置に基づいて、測定点の位置を計算する。

ステップ５：（５１）ステップ３から得られたデータに基づいて、リアルタイムで拡張現実感に処理された現場の画像ならびに幾何情報および測定情報を実際に描画し、ステップ４においてカメラ位置が変更され、よってステップ４ｃのデータが変更された場合、表（５５）の線および面などを含むデータおよび表（５６）の測定点の間に存在した距離、角度、面積および体積などを含むデータを使用することができる。これら測定点は、使用者が使用者インタフェースを介して指定され、または、たとえば予め決められたＡＲマーカ群に基づいて、プロセッサによって測定点の間に自動的に生成される。

ステップ１（４１）に戻る。
以上では、本発明を上記の例示的な実施形態に基づいて説明したが、本発明は、空間内において物体の位置および／または向きを決定しなければならない用途、たとえば設置技術、法医学検査、考古学、造園、水中測定、改築、建築、内装、床敷設、道路施工（横断歩道、踏切、信号機）などの分野において多く応用可能であることが理解されるであろう。

Claims (18)

1. 使用者によって１つ以上の空間物体に関する情報を抽出するための方法であって、
   コンピュータプログラムが実装される中央処理装置と、
   前記中央処理装置に接続されているデジタルメモリと、
   一連の画像を録画することができるカメラと、
   前記中央処理装置に接続された出力手段とを含む機器によって実行され、
   前記コンピュータプログラムは、画像解析技術を用いてリアルタイムで前記一連の画像を解析し、前記１つ以上の物体に関する情報を抽出し、前記出力手段を介してリアルタイムで前記情報の少なくとも一部を前記使用者に通信するように設計され、
   前記１つ以上の物体に関する前記情報は少なくとも、前記１つ以上の物体の空間位置、２つの物体間の空間距離、２つの実質的に線状物体の間の相対的な空間角度、および／または抽出された情報の達成精度を示す指標を含む、方法。
2. 前記機器によって一連の画像を録画する前に、前記１つ以上の物体の上面にまたは近傍にマーカを設置し、
   前記マーカは、前記画像において検出可能な空間向きを取ることができるような形状を有し、
   前記コンピュータプログラムは、前記画像において検出された前記マーカおよび／または前記画像において検出された顕著要素に基づいて、前記マーカの空間位置および空間向きを決定し、および、前記画像の各々を録画する期間中に決定された前記マーカの空間位置および空間向きに関する情報を使用して前記１つ以上の物体に関する前記情報を抽出するように、設計されている、請求項１に記載の方法。
3. 前記画像解析技術は、前記画像の各々を録画する期間中に前記マーカおよび前記カメラの空間位置を決定するための、ＡＲマーカ追跡アルゴリズムと同時自己位置推定および環境地図作成（ＳＬＡＭ）アルゴリズムとを含み、
   前記画像解析技術は、前記画像の各々を録画する期間中に前記１つ以上の物体の少なくとも２つの顕著点の空間位置を決定するための、エピポーラ幾何学に基づくアルゴリズムを含み、前記画像の各々を録画する期間中に前記ＳＬＡＭアルゴリズムによって決定された前記カメラの位置は、前記アルゴリズムの入力として使用される、請求項１または２に記載の方法。
4. 前記方法は、階段昇降機または手すりを製造する応用と、他の建築構造物を設置する応用と、法医学検査における状況を録画する応用と、考古学調査における状況を録画する応用と、工場および他の場所で技術的な設置をするための測定を行う応用とを含む応用のいずれか１つに使用される前記情報を抽出するために使用される、請求項１、２または３に記載の方法。
5. 前記１つ以上の物体の前記顕著点は、１つ以上の前記マーカによってマークされる、請求項１から４のいずれか１項に記載の方法。
6. 前記プログラムは、前記情報の少なくとも一部を前記デジタルメモリに格納するように設計されている、請求項１から５のいずれか１項に記載の方法。
7. 前記プログラムは、前記１つ以上の物体の前記空間位置の座標を前記デジタルメモリに格納するように設計されている、請求項１から６のいずれか１項に記載の方法。
8. 前記プログラムは、前記一つ以上の物体に関する前記抽出情報の（統計的な）達成精度を示す指標をリアルタイムで算出し、前記出力手段を介して前記情報を通信するように設計されている、請求項１から７のいずれか１項に記載の方法。
9. 前記指標は、音響信号および／または視覚信号である、請求項８に記載の方法。
10. 前記方法は、案内部材を備えた階段昇降機の製造に使用され、
    前記案内部材は、階段に設置され、使用者が着座できるフレームが前記案内部材に沿って移動可能であり、
    前記マーカは、前記階段上またはその近傍に設置され、
    前記１つ以上の物体に関する情報は、前記マーカの前記空間位置を少なくとも含む、請求項１から９のいずれか１項に記載の方法。
11. 前記プログラムはさらに、前記階段昇降機の前記案内部材の各部の寸法を計算するように設計されている、請求項１０に記載の方法。
12. 前記機器は、表示画面を含み、
    前記統計的な達成精度に関する前記指標は、中央処理装置によって生成されたたとえば案内レールの物体像を含み、この案内レールの物体像は、前記表示画面において示された増加する安定度で、前記カメラから得られたたとえば階段の現在画像と重なっている、請求項１から１１のいずれか１項に記載の方法。
13. 前記ＳＬＡＭアルゴリズムは、英国オックスフォード大学のアクティブビジョン研究グループが開発したＰＴＡＭＭと、スウェーデン第１３研究室が開発したｉＰａｄに基づくＳＬＡＭ実装とを含む利用可能または同等なツールのいずれか１つによって実行される、請求項１から１２のいずれか１項に記載の方法。
14. 前記ＡＲマーカ追跡アルゴリズムは、Qualcomm社が開発したVuforiaと、ARToolworks社が開発したARToolkitと、OpenCV（オープンソースコンピュータビジョン、Open Source Computer Vision）とを含む利用可能なまたは同等なツールのいずれか１つによって実行される、請求項１から１３のいずれか１項に記載の方法。
15. 前記機器は、タブレットコンピュータまたはスマートフォンである、請求項１から１４のいずれか１項に記載の方法。
16. 前記機器は、前記中央処理装置に接続されている加速度センサおよび／またはジャイロスコープを含み、
    前記プログラムは、前記加速度センサおよび／またはジャイロスコープからの情報に基づいて、前記カメラが空間において少なくとも実質的に静止しているかを決定し、その時点で前記カメラからの映像を前記一連の画像に録画する、請求項１から１５のいずれか１項に記載の方法。
17. 使用者によって１つ以上の空間物体に関する情報を抽出するための機器であって、
    コンピュータプログラムが実装される中央処理装置と、
    前記中央処理装置に接続されているデジタルメモリと、
    一連の画像を録画することができるカメラと、
    前記中央処理装置に接続された出力手段とを含み、
    前記コンピュータプログラムは、画像解析技術を用いてリアルタイムで前記一連の画像を解析し、前記１つ以上の物体に関する情報を抽出し、前記出力手段を介してリアルタイムで前記情報の少なくとも一部を前記使用者に通信するように設計され、
    前記１つ以上の物体に関する前記情報は、前記１つ以上の物体の空間位置、２つの物体間の空間距離、２つの実質的に線状の物体間の相対的な空間角度、および／または抽出された情報の達成精度を示す指標を少なくとも含む、機器。
18. 使用者によって１つ以上の空間物体に関する情報を抽出するためのコンピュータプログラムであって、
    前記コンピュータプログラムは、画像解析技術を用いてリアルタイムで前記一連の画像を解析し、前記１つ以上の物体に関する情報を抽出し、前記出力手段を介してリアルタイムで前記情報の少なくとも一部を前記使用者に通信するように設計され、
    前記１つ以上の物体に関する前記情報は、前記１つ以上の物体の空間位置、２つの物体間の空間距離、２つの実質的に線状の物体間の相対的な空間角度、および／または抽出された情報の達成精度を示す指標を少なくとも含む、コンピュータプログラム。

Images