JP2016176927A - Pose determination from pattern of four leds - Google Patents
Pose determination from pattern of four leds Download PDFInfo
- Publication number
- JP2016176927A JP2016176927A JP2016026243A JP2016026243A JP2016176927A JP 2016176927 A JP2016176927 A JP 2016176927A JP 2016026243 A JP2016026243 A JP 2016026243A JP 2016026243 A JP2016026243 A JP 2016026243A JP 2016176927 A JP2016176927 A JP 2016176927A
- Authority
- JP
- Japan
- Prior art keywords
- led
- pose
- leds
- group
- solving
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 claims abstract description 65
- 239000003550 marker Substances 0.000 claims abstract description 19
- 230000003287 optical effect Effects 0.000 abstract description 10
- 238000013507 mapping Methods 0.000 abstract description 5
- 238000004364 calculation method Methods 0.000 description 16
- 238000005286 illumination Methods 0.000 description 6
- 230000003190 augmentative effect Effects 0.000 description 4
- 238000012545 processing Methods 0.000 description 4
- 238000013459 approach Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 210000000629 knee joint Anatomy 0.000 description 2
- 230000004913 activation Effects 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 230000007423 decrease Effects 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 238000005553 drilling Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000005484 gravity Effects 0.000 description 1
- 238000003709 image segmentation Methods 0.000 description 1
- 210000003127 knee Anatomy 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 238000007781 pre-processing Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000001228 spectrum Methods 0.000 description 1
- 238000001356 surgical procedure Methods 0.000 description 1
- 210000001519 tissue Anatomy 0.000 description 1
- 238000012549 training Methods 0.000 description 1
- 238000005303 weighing Methods 0.000 description 1
Images
Landscapes
- Length Measuring Devices By Optical Means (AREA)
- Image Analysis (AREA)
Abstract
Description
本発明は、計算の分野に関し、光学的オブジェクトトラッキングシステムにおいて、追跡されるオブジェクトの基準マーカーと、カメラによって撮像された画像平面への基準マーカーの投影との1対1のマッピングを探し出す方法をカバーする。 The present invention relates to the field of computation and covers a method for finding a one-to-one mapping between a reference marker of a tracked object and a projection of the reference marker onto an image plane imaged by a camera in an optical object tracking system. To do.
ある環境において三次元のオブジェクトを追跡し、所定の座標系に対する位置と方向(ポーズ)を計算する方法及びモデルがあることが知られている。これらの種類のトラッカーシステムは、例えば、航空機において、パイロットの頭の方向を判定するのに使用されている。例えば表示装置の座標系に関して、方向が取得されると、それに応じて、表示装置上でグラフィックスを生成することが可能になる。磁気的な、機械的な、又は光学的な手段を使用して、その場のオブジェクトを追跡する別の方法がある。現在、オブジェクトの空間関係は、磁気センサ又はレーザビームを使用して判定されているけれども、本発明は、特に、カメラベース(日中のテレビカメラ、熱、赤外線(IR)、TOF(Time-of-Flight)など)の追跡機を使用したシステムに関する。 It is known that there are methods and models for tracking a three-dimensional object in a certain environment and calculating the position and direction (pose) relative to a given coordinate system. These types of tracker systems are used, for example, in aircraft to determine the pilot's head direction. For example, with respect to the coordinate system of the display device, once a direction is obtained, graphics can be generated on the display device accordingly. There are other ways to track objects in place using magnetic, mechanical or optical means. Currently, the spatial relationship of objects is determined using a magnetic sensor or laser beam, but the present invention is particularly useful for camera-based (daytime TV cameras, heat, infrared (IR), TOF (Time-of-Time). -Flight) etc.) related to a system using a tracking machine.
光学的カメラベースのシステムの一つにおいて、パイロットは模様(基準マーカー)が付いたヘルメットを着用し、少なくとも1つのトラッカーカメラがこれらの模様に基づいた幾何学的計算を使用して、ヘルメットの位置と方向を判定する。カメラベースのトラッカーシステムにおいて使用される模様は、可視光カメラによって追跡されるグラフィカルな(一般的に、黒と白の)模様(パッシブ・マーカー)、又は光源アレイ(例えば、発光ダイオード、すなわちLED)(アクティブ・マーカー)である。これらの光源は、電磁スペクトルの赤外領域内になるように、カメラセンサとフィルタのセットの適当な選択により、選ばれる。他の配置も可能であるけれども、これらのシステムは不適当な照明条件下であっても動作できるため、赤外線LEDを使用したものが、それらの配置の中で最も便利である。それ故、追跡模様を持つオブジェクトとカメラとの空間関係の計算が、最先端において周知である。文書全体にわたって空間関係について述べているときはいつでも、エンティティの所定の基準系と他のものとの関係を意味していることが、理解されるべきである。目的は、カメラと3Dオブジェクトの回転と移動を探し出して、オブジェクトの3Dの位置と方向が分かるようにすることである。この基準系は、一般的に、検討中のオブジェクトの各模様に基づいている。トラッカーシステムにおいて、他の座標系に関するトラッカーカメラの位置と方向が知られている(又は計算可能、又は測定可能である)ため、トラッカーカメラのセンサとそれから他の座標系とを使用して、ヘルメットの空間関係を計算することもできる。この文脈において「追跡されるオブジェクト」は、追跡模様(基準マーカー)を持ち、トラッカーシステムによって追跡されるオブジェクトを意味する。それは、ヘルメットを搭載したトラッカーシステムのヘルメットであっても良いし、又は任意の他のオブジェクトであっても良い。 In one optical camera-based system, the pilot wears a helmet with patterns (reference markers) and at least one tracker camera uses geometric calculations based on these patterns to determine the position of the helmet. And determine the direction. The pattern used in a camera-based tracker system can be a graphical (typically black and white) pattern (passive marker) tracked by a visible light camera, or a light source array (eg, light emitting diode or LED) (Active marker). These light sources are selected by appropriate selection of a camera sensor and filter set to be in the infrared region of the electromagnetic spectrum. Although other arrangements are possible, these systems can operate even under inadequate lighting conditions, so using infrared LEDs is the most convenient of those arrangements. Therefore, the calculation of the spatial relationship between an object having a tracking pattern and a camera is well known in the state of the art. It should be understood that whenever a spatial relationship is described throughout a document, it means a relationship between a given reference frame of an entity and others. The purpose is to find out the rotation and movement of the camera and 3D object so that the 3D position and direction of the object can be known. This reference system is generally based on each pattern of the object under consideration. In a tracker system, since the position and orientation of the tracker camera with respect to other coordinate systems is known (or can be calculated or measured), the tracker camera sensors and then other coordinate systems are used to It is also possible to calculate the spatial relationship. “Tracked object” in this context means an object that has a tracking pattern (reference marker) and is tracked by a tracker system. It may be a helmet of a tracker system with a helmet, or any other object.
上記光学的カメラベースのトラッキングシステムについてのポーズ推定問題は、以下のように示される:オブジェクトの三次元(3D)の点とそのオブジェクトの画像平面への二次元(2D)の投影との間の、一連のN個の特徴の対応を与えられて、カメラの基準系に対するオブジェクトの回転と移動を探し出す。目的は、カメラと3Dオブジェクトの間の回転と移動を探し出して、オブジェクトの3Dの位置と方向を分かるようにすることである。ポーズ推定問題の正式な定義は、正しい解が二重であること、すなわち対応問題であることを必要とする。対応問題は、以下のように示される:カメラの基準系に対するオブジェクトの回転と移動が与えられて(又は与えられず)、オブジェクトの3Dの点とそのオブジェクトの画像平面への2Dの投影との間のN個の特徴の対応を探し出す。目的は、オブジェクトの3Dの点と、そのオブジェクトの画像平面への2Dの投影との間の対応を探し出し、これが使用されて、オブジェクトの3Dの位置と方向を探し出すことである。この問題は、最先端において周知である。しかし、我々は、解が正しく解決可能な二重のものであることを必要とする2つの問題を持つ。それ故、トラッカーシステムは、ポーズ推定問題と対応問題のいずれかに対する最初の解を必要とする。 The pose estimation problem for the optical camera-based tracking system is shown as follows: between a three-dimensional (3D) point of an object and a two-dimensional (2D) projection of the object onto the image plane. Given the correspondence of a series of N features, find the rotation and movement of the object relative to the reference frame of the camera. The purpose is to find out the rotation and movement between the camera and the 3D object so that the 3D position and direction of the object can be known. The formal definition of the pose estimation problem requires that the correct solution is double, that is, a corresponding problem. The correspondence problem is shown as follows: given the rotation and movement of the object relative to the camera's reference frame (or not), the 3D point of the object and the 2D projection of the object onto the image plane Find the correspondence of N features in between. The goal is to find the correspondence between the 3D point of the object and the 2D projection of the object onto the image plane, and this is used to find the 3D position and orientation of the object. This problem is well known at the forefront. But we have two problems that require the solution to be double that can be solved correctly. Therefore, the tracker system requires an initial solution to either the pose estimation problem or the correspondence problem.
カメラの基準系に対するオブジェクトの回転と移動が与えられない場合、対応問題は最初の対応問題と呼ばれる。最初の対応問題を解決することを選ぶ場合、対応問題を解決するための完了時間をできる限り短くする。追跡されるオブジェクトは、カメラの視錐台から離れ、その後そこに戻る可能性があるため、このような取り組みは必要である。このようなケースでは、追跡プロセスの再スタートが必要であり、それ故、最初の対応問題の速い解決は、起動時間を短くする。好ましい応用の一つにおいて、特にパイロットの頭が何回も視錐台から離れる場合、ヘルメットを追跡するために、速い起動は見えない時間を著しく断ち切る。 If the rotation and movement of the object with respect to the camera reference frame is not given, the correspondence problem is called the first correspondence problem. If you choose to solve the first response problem, make the completion time to resolve the response problem as short as possible. Such an approach is necessary because the tracked object may leave the camera frustum and then return to it. In such cases, a restart of the tracking process is necessary, so a fast solution of the first response problem shortens the startup time. In one preferred application, fast activation significantly cuts the invisible time to track the helmet, especially when the pilot's head moves away from the frustum many times.
追跡されるオブジェクトの3Dの点と、そのオブジェクトの画像平面への2Dの投影との間の、最初の対応を決定する、現在使用されている方法がいくつかある。その方法の一つにおいて、多数の連続画像が使用されて、そこでは点灯されるLEDの数が反復毎に1つ増加する。それから、ポーズの変更は連続して撮像されたフレーム間で多くないと仮定して、3Dから2Dへのマッチングが近似計算により計算される。新たに点灯されるLEDは、合致リストに追加されている、いずれの2D点にも合致しなかったものである。追跡されるオブジェクトのポーズが小さな誤差だけで知られている場合には、対応問題の解決はより簡単である。それから、類似の近似計算が実行されて、3Dから2Dへのマッチングが探し出される。 There are several methods currently used to determine the initial correspondence between the 3D point of the tracked object and the 2D projection of the object onto the image plane. In one method, multiple sequential images are used, where the number of LEDs that are lit increases by one for each iteration. Then, assuming that there are not many pose changes between consecutively captured frames, 3D to 2D matching is calculated by approximate calculation. The newly lit LED has been added to the match list and did not match any 2D point. If the pose of the tracked object is known with only small errors, the response problem is easier to solve. A similar approximate calculation is then performed to find a 3D to 2D match.
現在の方法を用いた最初の対応問題の解決は、多くのフレームキャプチャを必要とするため、長い時間を要するが、最初は追跡されるオブジェクトの回転/移動のデータを利用できないため、追跡されるオブジェクトのポーズを使用する方法を利用できない。現在の方法は、最初の対応問題を解決する効果的な方法を提供していない。この問題の解決を提供するために、非常に効率的な方法で問題を解決する新しい手法が導入されるべきである。さらに、提案された方法は、対応問題を(最初のケースだけでなく)解決し、対応問題の全体的な解決を提供するのに使用されうる。 The resolution of the initial response problem using current methods takes a lot of time because it requires a lot of frame capture, but is initially tracked because the rotation / movement data of the tracked object is not available The method of using object poses is not available. Current methods do not provide an effective way to solve the first response problem. In order to provide a solution to this problem, new approaches should be introduced that solve the problem in a very efficient way. Furthermore, the proposed method can be used to solve the response problem (not just the first case) and provide an overall solution of the response problem.
米国特許第005828770号の文献(Leis,Ristau)、最先端の出願は、多数の連続したフレームキャプチャを使用して最初の対応問題を解決する、近似計算に基づく方法を開示している。この文献では、追跡されるオブジェクトのポーズが分かっているときに対応問題を解決する、類似の近似に基づく方法もまた提供されている。 U.S. Pat. No. 5,028,770 (Leis, Ristau), state-of-the-art application, discloses a method based on approximate computation that uses a large number of consecutive frame captures to solve the initial correspondence problem. This document also provides a similar approximation based method that solves the correspondence problem when the pose of the tracked object is known.
本発明の目的は、光学的オブジェクトトラッキングシステムにおいて、追跡されるオブジェクトの基準マーカーと、カメラによって撮像された画像平面への基準マーカーの投影との1対1のマッピングを探し出すことである。 An object of the present invention is to find a one-to-one mapping between a reference marker of a tracked object and a projection of the reference marker onto an image plane imaged by a camera in an optical object tracking system.
本発明の目的を達成するために実現されるシステム及び方法が、添付の図に示されている。 The systems and methods implemented to accomplish the objectives of the invention are illustrated in the accompanying figures.
対応問題を解決する方法(100)は、本質的に、
現在のLED群を点灯するステップ(101)と、
現在のLED群のうちの4つのLEDの全てがカメラで見えるかどうかを判断するステップ(102)と、
現在のLED群のうちの全てのLEDが見える場合、中央LEDを識別するステップ(103)と、
中央LEDが不明瞭かどうかを判断するステップ(104)と、
中央LEDが不明瞭でない場合、側部LEDを識別するステップ(105)と、
上部LEDと下部LEDを識別するステップ(106)と、
計算された対応を使用して、追跡されるオブジェクトのポーズを計算するステップ(107)と、
計算されたポーズが不明瞭かどうかを判断するステップ(108)と、
現在のLED群のうちの全てのLEDが見えない、又は中央LEDが不明瞭である、又は計算されたポーズが不明瞭である場合、新しいLED群に切り替えるステップ(109)と、
を含む。
The method (100) for solving the correspondence problem is essentially:
Lighting the current LED group (101);
Determining whether all four of the current LEDs are visible to the camera (102);
Identifying all LEDs in the current group of LEDs when the central LED is visible (103);
Determining whether the central LED is obscure (104);
Identifying the side LED if the central LED is not obscured (105);
Identifying an upper LED and a lower LED (106);
Calculating the pose of the tracked object using the calculated correspondence (107);
Determining whether the calculated pose is ambiguous (108);
If all LEDs of the current LED group are not visible, or if the center LED is unclear, or the calculated pose is unclear, switching to a new LED group (109);
including.
ステップ101において、現在のLED群のLEDを点灯し、2D空間へのLEDの投影が見えるようにする。好ましくは、各群は、追跡されるオブジェクト上の、特定のパターンの、選択された4つのLEDで構成される。点灯される4つのLEDの選択は、2つの主な要因から生じる。第1に、対応を探し出すために、いくつかの幾何学的ルールを定義する必要があり、より簡単なルールが定義されて、より少ないLEDを使用して実行されうる。第2に、オブジェクトのポーズを計算するのに必要な対応の理論的な最小数は4である。それ故、ステップ101において、できるだけ少ないLEDが点灯され、点灯されたLEDが追跡されるオブジェクトのポーズの計算を可能にする。
In
点灯されたLEDの2D空間の投影は領域の影響を及ぼし、いくつかの画素は高輝度の値を持ち、それ故、画像処理のいくつかの形態が適用される必要がある。これは、簡単な閾値化、接続要素の計算、近接要素の重心の計算などの形態であっても良い。これらのプロセスは最先端で周知であり、ここでは説明しない。この前処理の最後に、4組の(x,y)の値を持つことになる。各値は目に見えるLEDの一つに対応する。 The 2D space projection of the lit LEDs has a region effect and some pixels have high brightness values, so some form of image processing needs to be applied. This may be in the form of simple thresholding, calculation of connection elements, calculation of the center of gravity of adjacent elements, or the like. These processes are state of the art and are not described here. At the end of this preprocessing, there will be four sets of (x, y) values. Each value corresponds to one of the visible LEDs.
ステップ102において、点灯されたLEDの全てがカメラの視点から見えるかどうかを判断する。追跡されるオブジェクトが、カメラから見えるLEDを遮断するポーズで配置されているか、又は追跡されるオブジェクト上のいくつかのLEDがカメラの視錐台の範囲外にある可能性がある。このようなケースでは、定義された幾何学的ルールは、適用できない。さらに、たとえ対応の計算が成功しても、理論的限界の4に対し、分かっている対応の数がより少ないため、ポーズ推定を実行できない。このようなケースでは、新しいLEDセットに切り替えて再試行する。
In
LED群のLEDは、特別なパターンで配置される。サンプルのパターンが図2に見られ、ここでは、3つのLEDが一直線に配置され、4つめのLEDが側部の位置に配置されている。最終的な配置は、「T」によく似ている。この特別な配置を使用して、特別な幾何学的ルールを生成して、中央、側部、上部、及び下部のLEDを識別する。 The LEDs of the LED group are arranged in a special pattern. A sample pattern can be seen in FIG. 2, where three LEDs are arranged in a straight line and a fourth LED is arranged in a lateral position. The final placement is very similar to “T”. This special arrangement is used to generate special geometric rules to identify the center, side, top and bottom LEDs.
ステップ103において、中央LEDに関する対応を探し出す。中央LEDが他の点灯されたLEDまでの最小の総距離を持つと仮定して、中央LEDを識別する幾何学的ルールが生成される。中央LEDの3Dの位置は、おおよそ他のLEDの真ん中にあり、LEDの2Dの投影のために、そうであると仮定することは安全であるため、これは合理的な仮定である。2つのLED間の距離は、2D空間上でユークリッド距離として計算される。それから、他のLEDまでの最小の総距離を持つものとして、中央LEDの投影を識別する。 In step 103, a correspondence for the central LED is found. Assuming the central LED has the smallest total distance to other lit LEDs, a geometric rule is generated that identifies the central LED. This is a reasonable assumption because the 3D position of the central LED is roughly in the middle of the other LEDs and it is safe to assume that for the 2D projection of the LED. The distance between the two LEDs is calculated as the Euclidean distance in 2D space. The central LED projection is then identified as having the smallest total distance to the other LEDs.
しかし、中央LEDを常に間違いなく識別することは難しい。2つのLEDが、互いに非常に近接している他のLEDまでの最小の総距離を持つ場合、中央LEDの決定の信頼性は低いと言える。カメラがLEDに対して横向きの位置に配置されている場合に、このようなケースは起こり、中央LEDを側部LEDと間違える可能性がある、又は中央LEDを上部LED/下部LEDと間違える可能性がある。理論的に、3Dから2Dへの投影が完璧で、LEDが同一平面上にある場合、このような信頼性の計量を必要としない。しかし、光学的ひずみと、あるエラーを引き起こす画像処理技術と、同一平面状にない形状で配置されたLEDは、このような計量を必要とする。このようなケースが、不明瞭な識別と名付けられる。ステップ104において、中央LEDの識別が不明瞭かどうかを判断する。このような判断は、簡単な相対的閾値化を使用して実現されうる(2番目に最小の総距離が、最小の総距離の所定の割合の範囲内であれば、LEDの識別は不明瞭であると言う)。不明瞭な判断が存在すれば、新しいLEDセットに切り替えて再試行する。
However, it is difficult to definitely identify the central LED. If two LEDs have the smallest total distance to other LEDs that are in close proximity to each other, the central LED determination is less reliable. Such a case can occur when the camera is placed in a position transverse to the LED, and the center LED can be mistaken for the side LED, or the center LED can be mistaken for the top / bottom LED. There is. Theoretically, if the 3D to 2D projection is perfect and the LEDs are in the same plane, such a reliability metric is not required. However, optical distortion, image processing techniques that cause certain errors, and LEDs arranged in non-coplanar shapes require such weighing. Such a case is termed ambiguous identification. In
ステップ105において、側部LEDの識別が行われる。側部LEDを識別するために定義された幾何学的ルールは、画像内で中央LEDから他の3つのLEDまで線を描くことを必要とする。それから、各線について、残りの2つのLEDから線までの直交距離を計算し、全部で6(3×2)の値を計算する。計算された6つの値の中から最小値に対応するLEDが、上部/下部LEDのうちの一つとして識別される。6つの値の最小値を計算するのに使用された線を描くために、(中央LEDと共に)使用されたLEDは、他方の上部/下部のLEDとして識別される。中央LEDと上部/下部LEDが識別されるため、残りのLEDが側部LEDとなる。 In step 105, the side LEDs are identified. The geometric rules defined to identify the side LEDs require drawing a line from the center LED to the other three LEDs in the image. Then, for each line, the orthogonal distance from the remaining two LEDs to the line is calculated, for a total of 6 (3 × 2) values. The LED corresponding to the minimum value among the six calculated values is identified as one of the upper / lower LEDs. In order to draw the line used to calculate the minimum of the six values, the LED used (along with the center LED) is identified as the other top / bottom LED. Since the central LED and the upper / lower LED are distinguished, the remaining LEDs become the side LEDs.
この時点で、2つのLEDが上部/下部のLEDとして識別されたということに注目すべきである。しかし、2つのLED間の、上部と下部の位置への、1対1のマッピングはない。ステップ106において、上部と下部のLEDの計算が行われる。上部と下部のLEDを識別するために定義された幾何学的ルールは、側部LEDから中央LEDまで線を描くことを必要とする。それから、線の右側のLEDを上部LEDとして識別し、線の左側のLEDを下部LEDとして識別できる(側部LEDが右側で選択されると仮定する。そうでなければ、下部LEDを上部LEDと切り替える)。中央LEDの不明瞭性を除いて、LEDの特別な配置は対応の計算に関する混同を許可しないことに注目すべきである。それ故、説明した方法は、計算する対応の堅固な方法を提供する。
It should be noted that at this point, two LEDs have been identified as top / bottom LEDs. However, there is no one-to-one mapping between the two LEDs to the top and bottom positions. In
ステップ107において、計算された4つの対応を使用して、ポーズの計算が行われる。4つの対応を使用して、ポーズを計算することができる。しかし、いくつかのケースでは、LEDの2Dビューとポーズとの1対1のマッピングがない(すなわち、LEDの特定の2Dビューから、両方が正しい2つのポーズを計算することができる。)。このケースは、ポーズの不明瞭性と呼ばれ、ポーズ推定問題の継承問題である。ポーズの不明瞭性の問題の例が図3に示されている。図3において、左側のグラフは3D空間のLED群の位置を示し、右側のグラフは2D空間へのそれらの投影を示している。図3(a)は、LEDを回転させていない、標準投影であり、参照を取るためのものである。図3(b)において、LEDは仰角軸において−45度回転される。図3(c)において、LEDは仰角軸において+45度回転される。図からわかるように、結果として生じる画像は同一である。それ故、EL=45度とEL=−45度で探し出されたポーズは、数学的に両方正しい。しかし、実際には、これらのポーズのうちの一方のみが、結果として生じる画像をもたらす。しかし、ポーズ推定方法を使用して、正しいポーズを探し出す方法はない。完了するために、(各LEDについて単一の(x,y)の値を探し出すために)撮像された画像の前処理の後に、図3の右側のグラフが得られることに注目すべきである。撮像された原画像において、図3(b)では上部LEDがカメラにより近いため、下部LEDよりも大きい。図3(c)では、下部LEDがカメラにより近いため、上部LEDよりも大きい。問題は単一の軸に抑制されず、単一の2Dビューに対応するポーズが対称であるときに問題は存在することにも注目すべきである。
In
ステップ108において、ポーズの計算が不明瞭であるかどうかを判断する。不明瞭でなければ、計算された対応は正しく、ポーズを計算するのに、計算された対応を使用できる。ポーズ推定と対応の計算の標準の反復を開始できる。しかし、ポーズが不明瞭であれば、例え、対応の計算が正しかったとしても、ポーズ推定プロセスにおいてそれらを使用することができない。それ故、計算された対応は、ポーズの推定と対応の計算の標準の反復を開始するのに十分ではない。このようなケースでは、新しいLEDセットに切り替えて再試行する。
In
対応問題を解決する方法(100)が4つのLEDからなる一群のみを使用して実行される場合、ポーズの不明瞭性が原因で、対応を計算できない、又はオブジェクトのポーズが見つからないケースがある。このようなケースを避けるために、数個のLED群を使用することを提案する。しかし、LED群を注意深く選択し、オブジェクトが取ることができる、可能性があるポーズの全てをカバーしながら、選択するLED群を最小数にするべきである。対応問題を解決する(100)ために使用されるLED群を選択する方法(200)は、より良い形式で使用事例に適合する、より良いLED群の選択のために、動いている状況下で追跡されるオブジェクトのポーズを使用する、このような注意深い選択プロセスを特定する。 When the method (100) for solving the correspondence problem is performed using only a group of four LEDs, there may be cases where the correspondence cannot be calculated or the pose of the object cannot be found due to pose ambiguity . In order to avoid such a case, it is proposed to use several LED groups. However, one should carefully select the LED groups and select a minimum number of LED groups while covering all of the possible poses that the object can take. A method (200) for selecting LED groups to be used to solve a response problem (100) is in a moving situation for the selection of better LED groups that better fit the use case. Identify such a careful selection process that uses the pose of the tracked object.
対応問題を解決する(100)ために使用されるLED群を選択する方法(200)は、本質的に、
アクティブなマーカーの位置を表すメッシュデータと、動いている状況下で追跡されるオブジェクトの可能性のあるポーズを表すポーズデータと、1つのカメラの位置及び方向とを取得するステップ(201)と、
カバーされていないポーズセットを取得したポーズデータに初期化するステップ(202)と、
「T」形のパターンの4つのLED群の全てを列挙し(生成し)、非選択のLED群のセットに追加するステップ(203)と、
現在のカバーされていないポーズセットのポーズ毎に、カメラ配置データを使用して、非選択のLED群を2D空間に投影するステップ(204)と、
(非選択のLED群、現在のカバーされていないポーズセットのポーズの)各ペアについて、4つ全てのLEDが見える場合、非選択のLED群にポーズを登録するステップと(205)、
非選択のLED群の中から、最もカバーされていないポーズをカバーするLED群を識別して、選択されたLED群に加えるステップ(206)と、
カバーされていないポーズセットからカバーされたポーズを除去し、且つ非選択のLED群のセットから選択されたLED群を除去するステップ(207)と、
終了条件が満たされたかどうかを判断し、そうであれば終了するステップ(208)と、
を含む。
The method (200) of selecting LED groups used to solve (100) the response problem essentially consists of:
Obtaining (201) mesh data representing the position of an active marker, pose data representing a possible pose of an object being tracked under moving conditions, and the position and direction of one camera;
Initializing the uncovered pose set to the acquired pose data (202);
Enumerating (creating) all four LED groups of a “T” shaped pattern and adding them to a set of unselected LED groups (203);
Projecting (204) unselected LEDs into 2D space using camera placement data for each pose of the current uncovered pose set;
If all four LEDs are visible for each pair (non-selected LEDs, poses of the current uncovered pose set), registering a pose with the non-selected LEDs (205);
Identifying from among the unselected LED groups the LED group that covers the most uncovered pose and adding to the selected LED group (206);
Removing (207) the covered pose from the uncovered pose set and removing the selected LED group from the set of unselected LED groups;
Determining whether the termination condition is satisfied, and if so, terminating step (208);
including.
追跡されるオブジェクト(例えば、赤外線LEDを備えたヘッドトラッキングシステムのためのヘルメット)のアクティブな基準の位置が、オブジェクトの各位置について三次元座標で表される。一般的な座標系に対して、メッシュ(モデル)に関するこれらの座標が判定され、カメラの場所に関連付けられるべきであることに注目することが重要である。それと同時に、動いている状況下で追跡されるオブジェクトの可能性のあるポーズを表すポーズデータも導入する必要がある。本発明の好ましい構成において、これらのデータは、実際のオブジェクト上に置かれた慣性計測装置(IMU)を使用して、実際の動いている状況下で取得され、オブジェクトの動作が記録されて、ポーズデータとして使用される。 The active reference position of the tracked object (eg, a helmet for a head tracking system with an infrared LED) is represented in three dimensional coordinates for each position of the object. It is important to note that for a common coordinate system, these coordinates for the mesh (model) should be determined and associated with the camera location. At the same time, it is also necessary to introduce pose data representing the possible poses of the object being tracked under moving conditions. In a preferred configuration of the invention, these data are acquired under actual moving conditions using an inertial measurement unit (IMU) placed on the actual object, and the object's movement is recorded, Used as pause data.
ステップ202において、カバーされていないポーズセットの初期化が行われる。カバーされていないポーズセットとは、現在カバーされていないポーズの集まりである。ここで、「カバーされていない」とは、現在選択されているLED群のうちのいずれもが、そのポーズでは、完全には見えないことを意味する。このセットは、最初は、入力ポーズデータの全部である。しかし、方法が進むと、より多くのポーズがカバーされるため、このセットは空のセットに低減される。
In
ステップ203において、「T」形のパターンのLED群の全ての列挙(生成)が行われる。このステップは、追跡されるオブジェクトのアクティブな基準の位置に過度に依存する。しかし、LED群の生成はやや容易である。簡単な例が、n×nグリッドのLEDを使用して提供されうる。n×nグリッド上で、3×3グリッドのLEDを使用する場合、3×3グリッドの真ん中のLEDは、8つのLED群において使用されうる。真ん中のLEDは、「T」パターンの中央LEDである(3×3グリッドのサイズ3の、「+」と「×」の形状の4つの直線を作成でき、側部LEDを右側又は左側に配置することができる)。アクティブな基準位置についての特定の入力のために、同様の方略が探し出される。しかし、合理的に小さい数のLED群をもたらすように、任意の生成プロセスが予期されるべきである。
In
追跡されるオブジェクトとカメラの相対的な空間位置を知ることにより、入力ポーズデータを使用して、数学的に、LED群を移動し回転することができ、基準の可視性を計算できる。ステップ204において、カバーされていないポーズセットのポーズ毎に、入力カメラの位置/方向から、メッシュ上の各非選択LED群の可視性が計算される。ステップ205において、各非選択LED群を表す、可視性の値のリストが生成される。可視性の値は、LED群の全てのノードが、現在のカバーされていないポーズセットを考慮して、カメラのビューポートから何回見えたかを表す。
By knowing the relative spatial position of the tracked object and the camera, the input pose data can be used to mathematically move and rotate the LEDs and calculate the reference visibility. In
好ましい構成において、ポーズを与えられた3Dモデルの点(アクティブ・マーカー)の可視性を推定するのに、閉鎖モデルが使用される(2004年Davis他)。それは、コンピュータグラフィックスにおいて開発された光線追跡技術に基づいている。LED基準のケースにおいて、可視性の計算は、オブジェクトの座標系に対するLEDの法線と、LED照明の円錐角と、オブジェクトの既知のポーズとに基づいている。カメラ座標系におけるLEDの法線とカメラ平面の法線との角度は、LEDがどの程度垂直にカメラ(LEDの方向角)に向けられているかを定義する。LED照明の円錐角は、カメラに対して可視のLEDについての、最小のLED方向角の閾値を定義する。与えられたポーズについて、LED方向角をLED毎に計算して、その可視性を決定できる。オブジェクトの座標系に対するマーカーの法線と、マーカー照明の円錐角と、オブジェクトの既知のポーズが、任意のアクティブマーカー追跡システムに同等に適用されうる。 In a preferred configuration, a closed model is used (2004 Davis et al.) To estimate the visibility of a point (active marker) in a 3D model that is paused. It is based on ray tracing technology developed in computer graphics. In the LED reference case, the visibility calculation is based on the LED normal to the object coordinate system, the cone angle of the LED illumination, and the known pose of the object. The angle between the normal of the LED in the camera coordinate system and the normal of the camera plane defines how vertically the LED is oriented towards the camera (LED direction angle). The LED illumination cone angle defines the minimum LED direction angle threshold for LEDs visible to the camera. For a given pose, the LED direction angle can be calculated for each LED to determine its visibility. The marker normal to the object coordinate system, the cone angle of the marker illumination, and the known pose of the object can be equally applied to any active marker tracking system.
それから、ステップ206において、最も高い可視性の数を持つ非選択のLED群が、対応問題を解決するための方法(100)で使用するために選択される。対応問題を解決するための方法(100)において使用されるLED群として以前に決定されなかった最も高い可視性の数を持つLED群が、決定されたポーズデータのほとんどにおいて完全に見えるため、選択される。ステップ207において、カバーされていないポーズセットから最近選択されたLED群によってカバーされたポーズを除去し、且つさらなる計算のために使用される非選択のLED群のセットから、最近選択されたLED群を削除する。この構成において、少なくとも一つのポーズが新しく選択されたLED群によってカバーされるため、カバーされていないポーズセットのエレメントの数は反復毎に減少する。また、この構成において、選択されたLED群の数は、反復毎に一つ増加する。
Then, in
ステップ208において、終了条件がチェックされる。最初のポーズデータのすべてのポーズが、少なくとも1つの選択されたLED群によってカバーされるときに、主な終了条件が発生する。このケースは、入力ポーズデータに対するLED群の成功した熟練の選択に対応する。いくつかの特別なケースにおいて、入力ポーズデータ、カメラの位置、及びアクティブなマーカーの位置は、全てのポーズの範囲を許可しない。このケースでは、新しいLED群を追加しても、方法が少なくとも1つのポーズのカバーに失敗した場合に、終了できる。このケースにおいて、対応問題を解決するために使用されるLED群を選択する方法(200)によって生成されるLED群は、訓練セットにおけるすべてのポーズについて、対応問題を解決する方法(100)において使用されるときに、有効な対応結果を生じさせることができない。異なる終了条件が、所定数のLED群の選択として、特定されうる。この構成において、いくつかのポーズはカバーされない。しかし、対応問題を解決する方法(100)は、より少ないLED群を持ち、使用して動作する。
In
100 対応問題を解決する方法
200 対応問題を解決するために使用されるLED群を選択する方法
C カメラ
O0 オブジェクトの仰角(0)
O1 オブジェクトの仰角(−45)
O2 オブジェクトの仰角(45)
B0 オブジェクトの仰角0度での下部LEDの投影
B1 オブジェクトの仰角−45度での下部LEDの投影
B2 オブジェクトの仰角45度での下部LEDの投影
T0 オブジェクトの仰角0度での上部LEDの投影
T1 オブジェクトの仰角−45度での上部LEDの投影
T2 オブジェクトの仰角45度での上部LEDの投影
C0 オブジェクトの仰角0度での中央LEDの投影
C1 オブジェクトの仰角−45度での中央LEDの投影
C2 オブジェクトの仰角45度での中央LEDの投影
F0 オブジェクトの仰角0度での側部LEDの投影
F1 オブジェクトの仰角−45度での側部LEDの投影
F2 オブジェクトの仰角45度での側部LEDの投影
100 Method for Solving the
The elevation angle of the O1 object (-45)
The elevation angle of the O2 object (45)
B0 Projection of lower LED at 0 degree elevation of object B1 Projection of lower LED at elevation angle of -45 degree B2 Projection of lower LED at 45 degree elevation of object T0 Projection of upper LED at 0 degree elevation of object T1 Projection of the upper LED at an object elevation angle of -45 degrees T2 Projection of the upper LED at an object elevation angle of 45 degrees C0 Projection of the center LED at an object elevation angle of 0 degrees C1 Projection of the center LED at an elevation angle of -45 degrees C2 Projection of center LED at 45 degree elevation angle of object F0 Projection of side LED at elevation angle of object F1 Projection of side LED at elevation angle of object -45 degree F2 Side LED projection at 45 degree elevation angle of object projection
米国特許第005828770号の文献(Leis,Ristau)、最先端の出願は、多数の連続したフレームキャプチャを使用して最初の対応問題を解決する、近似計算に基づく方法を開示している。この文献では、追跡されるオブジェクトのポーズが分かっているときに対応問題を解決する、類似の近似に基づく方法もまた提供されている。
2005年のBoschetti他は、自由な外科的遠隔操作の任務の5レベルの実行中に、オペレータを導く問題に取り組んでいる。この研究は、触覚マスタ、スレーブロボット、光学追跡装置、及び主制御装置で構成される脊椎手術遠隔ロボットシステムの実現可能性に重点を置いている。このシステムを使用して、外科医は、遠隔ロボット装置を使用して、触覚フィードバックにより導かれながら、穴を開ける作業を実行する。脊椎骨が動くとすぐに、追跡装置は脊椎骨のポーズを測定する。適当な力がオペレータの手に与えられて、手術道具の位置と方向をオペレータに調整させる。さらに、触覚マスタは、遠隔操作に関連した力のフィードバックを生成する。この文書は、この触覚システムの設計と実施、特に制御システム構造に関し、重点を置いている。
2000年のDario他は、従来の関節鏡検査のための高性能の道具と、コンピュータを使用した関節鏡検査のためのシステムの主要構成要素の両方である、関節鏡検査のためのメカトロニクスの道具を記載している。メカトロニクスの関節鏡は、ケーブルで作動され、サーボモータで駆動される、多関節の機械的構造を持ち、先端の方向を測定するための位置センサと、膝の繊細な組織との可能性のある接触を検出するための力センサとを備えていて、センサの信号の処理と、モータの駆動と、外科医とインターフェースをとるための埋め込み式のマイクロコントローラ、及び/又はシステム制御部を組み込んでいる。コンピュータを使用した関節鏡検査システムは、術前のCT又はMR画像の分割と3Dの復元のための画像処理モジュールと、膝関節の位置を測定して、操作している道具の軌道を追跡し、術前と術中の画像をマッチングするための登録モジュールと、拡張現実のシナリオと、メカトロニクスの関節鏡からのデータを友好的及び直感的な方法で表示するヒューマン・マシン・インターフェースと、を含む。術前と術中の画像と、メカトロニクス関節鏡により提供される情報とを統合することにより、システムは、計画段階での膝関節の仮想ナビゲーションと、介入中の拡張現実によるコンピュータガイダンスとを可能にする。この文書は、メカトロニクス関節鏡の特性と、コンピュータを使用した関節鏡検査のためのシステムの特性とを詳細に記載していて、道具とシステムの暫定版を使用して得られた実験結果を論じている。
2000年のHoff/Vincentは、ヘッドマウントディスプレイを備えた拡張現実システムにおいて、オブジェクトに対する頭の相対的な位置と方向(ポーズ)の精度を分析するための方法が開発されたことを開示している。光学追跡センサのエラーの確率的推定から、共分散行列の形式で、オブジェクトに対する頭のポーズの不確実性が計算されうる。位置の不確実性は、3D楕円体として可視化されうる。不確実性の明確な表現を持つ一つの有用な利点は、全体的な登録の制度を改善するために、固定のセンサとヘッドマウントセンサの組み合わせにより、センサデータを結合できることである。方法は、光学透過ヘッドマウントディスプレイと、ヘッドマウントCCDカメラと、固定の光学追跡センサとを組み込む実験的な拡張現実システムの分析に適用された。ヘッドマウントディスプレイに対して移動可能なオブジェクトのポーズの不確実性が分析された。
U.S. Pat. No. 5,028,770 (Leis, Ristau), state-of-the-art application, discloses a method based on approximate computation that uses a large number of consecutive frame captures to solve the initial correspondence problem. This document also provides a similar approximation based method that solves the correspondence problem when the pose of the tracked object is known.
The 2005 Boschetti et al. Tackle the problem of guiding the operator during the five-level execution of the free surgical teleoperation mission. This research focuses on the feasibility of a spinal surgery remote robot system consisting of a haptic master, a slave robot, an optical tracking device, and a main controller. Using this system, the surgeon uses a remote robotic device to perform the hole drilling task, guided by haptic feedback. As soon as the vertebra moves, the tracking device measures the vertebra pose. Appropriate force is applied to the operator's hand to allow the operator to adjust the position and orientation of the surgical tool. In addition, the haptic master generates force feedback associated with the remote operation. This document focuses on the design and implementation of this haptic system, especially on the control system structure.
Dario et al. In 2000 found a high-performance tool for conventional arthroscopy and a mechatronics tool for arthroscopy, which is both a key component of a computer-based arthroscopy system. Is described. Mechatronic arthroscopes have a multi-joint mechanical structure, actuated by a cable and driven by a servo motor, with the possibility of a position sensor for measuring the direction of the tip and the delicate tissue of the knee A force sensor for detecting contact, and incorporating an embedded microcontroller and / or system controller for processing sensor signals, driving the motor, and interfacing with the surgeon. A computer-based arthroscopy system is an image processing module for pre-operative CT or MR image segmentation and 3D reconstruction, and measures the position of the knee joint to track the trajectory of the tool being operated. A registration module for matching pre- and intra-operative images, an augmented reality scenario, and a human-machine interface that displays data from mechatronic arthroscopes in a friendly and intuitive manner. By integrating pre- and intra-operative images with the information provided by the mechatronic arthroscope, the system enables virtual navigation of the knee joint during the planning phase and computer guidance with augmented reality during the intervention. . This document details the characteristics of the mechatronic arthroscope and the system for computer-based arthroscopy, and discusses the experimental results obtained using the provisional version of the tool and system. ing.
2000 Hoff / Vincent discloses the development of a method for analyzing the accuracy of the relative position and orientation (pose) of the head relative to the object in an augmented reality system with a head-mounted display. . From a probabilistic estimate of the error of the optical tracking sensor, the head pose uncertainty for the object can be calculated in the form of a covariance matrix. The position uncertainty can be visualized as a 3D ellipsoid. One useful advantage of having a clear representation of uncertainty is the ability to combine sensor data with a combination of fixed and head-mounted sensors to improve the overall registration scheme. The method was applied to the analysis of an experimental augmented reality system that incorporated an optically transmissive head-mounted display, a head-mounted CCD camera, and a fixed optical tracking sensor. The uncertainty of the pose of the movable object with respect to the head mounted display was analyzed.
本発明の目的を達成するために実現されるシステム及び方法が、添付の図に示されている。
提案した方法を使用して、ポーズを決定するために使用されるLEDの全てを識別することができる。また、提案した方法は、LEDの3Dの位置とそれらのそれぞれの2Dの投影との対応問題を解決するために使用されるLED群の選択の仕方に関する一連のステップを含む。
The systems and methods implemented to accomplish the objectives of the invention are illustrated in the accompanying figures.
The proposed method can be used to identify all of the LEDs used to determine the pose. The proposed method also includes a series of steps on how to select LED groups used to solve the correspondence problem between the 3D positions of the LEDs and their respective 2D projections.
好ましい構成において、ポーズを与えられた3Dモデルの点(アクティブ・マーカー)の可視性を推定するのに、閉鎖モデルが使用される。それは、コンピュータグラフィックスにおいて開発された光線追跡技術に基づいている。LED基準のケースにおいて、可視性の計算は、オブジェクトの座標系に対するLEDの法線と、LED照明の円錐角と、オブジェクトの既知のポーズとに基づいている。カメラ座標系におけるLEDの法線とカメラ平面の法線との角度は、LEDがどの程度垂直にカメラ(LEDの方向角)に向けられているかを定義する。LED照明の円錐角は、カメラに対して可視のLEDについての、最小のLED方向角の閾値を定義する。与えられたポーズについて、LED方向角をLED毎に計算して、その可視性を決定できる。オブジェクトの座標系に対するマーカーの法線と、マーカー照明の円錐角と、オブジェクトの既知のポーズが、任意のアクティブマーカー追跡システムに同等に適用されうる。 In a preferred arrangement, to estimate the visibility of the point of the 3D model given pause (active marker), closure model Ru is used. It is based on ray tracing technology developed in computer graphics. In the LED reference case, the visibility calculation is based on the LED normal to the object coordinate system, the cone angle of the LED illumination, and the known pose of the object. The angle between the normal of the LED in the camera coordinate system and the normal of the camera plane defines how vertically the LED is oriented towards the camera (LED direction angle). The LED illumination cone angle defines the minimum LED direction angle threshold for LEDs visible to the camera. For a given pose, the LED direction angle can be calculated for each LED to determine its visibility. The marker normal to the object coordinate system, the cone angle of the marker illumination, and the known pose of the object can be equally applied to any active marker tracking system.
Claims (18)
現在のLED群のうちの4つのLEDの全てがカメラで見えるかどうかを判断するステップ(102)と、
現在のLED群のうちの全てのLEDが見える場合、中央LEDを識別するステップ(103)と、
中央LEDが不明瞭かどうかを判断するステップ(104)と、
中央LEDが不明瞭でない場合、側部LEDを識別するステップ(105)と、
上部LEDと下部LEDを識別するステップ(106)と、
計算された対応を使用して、追跡されるオブジェクトのポーズを計算するステップ(107)と、
計算されたポーズが不明瞭かどうかを判断するステップ(108)と、
現在のLED群のうちの全てのLEDが見えない、又は中央LEDが不明瞭である、又は計算されたポーズが不明瞭である場合、新しいLED群に切り替えるステップ(109)と、
を含むことを特徴とする、対応問題を解決する方法(100)。 Lighting the current LED group (101);
Determining whether all four of the current LEDs are visible to the camera (102);
Identifying all LEDs in the current group of LEDs when the central LED is visible (103);
Determining whether the central LED is obscure (104);
Identifying the side LED if the central LED is not obscured (105);
Identifying an upper LED and a lower LED (106);
Calculating the pose of the tracked object using the calculated correspondence (107);
Determining whether the calculated pose is ambiguous (108);
If all LEDs of the current LED group are not visible, or if the center LED is unclear, or the calculated pose is unclear, switching to a new LED group (109);
A method (100) for solving a correspondence problem, characterized by comprising:
アクティブなマーカーの位置を表すメッシュデータと、動いている状況下で追跡されるオブジェクトの可能性のあるポーズを表すポーズデータと、1つのカメラの位置及び方向とを取得するステップ(201)と、
カバーされていないポーズセットを取得したポーズデータに初期化するステップ(202)と、
「T」形のパターンの4つのLED群の全てを列挙し(生成し)、非選択のLED群のセットに追加するステップ(203)と、
現在のカバーされていないポーズセットのポーズ毎に、カメラ配置データを使用して、非選択のLED群を2D空間に投影するステップ(204)と、
(非選択のLED群、現在のカバーされていないポーズセットのポーズの)各ペアについて、4つ全てのLEDが見える場合、非選択のLED群にポーズを登録するステップ(205)と、
非選択のLED群の中から、最もカバーされていないポーズをカバーするLED群を識別して、選択されたLED群に加えるステップ(206)と、
カバーされていないポーズセットからカバーされたポーズを除去し、且つ非選択のLED群のセットから選択されたLED群を除去するステップ(207)と、
終了条件が満たされたかどうかを判断し、そうであれば終了するステップ(208)と、
を含むことを特徴とする、LED群を選択する方法(200)。 A method (200) for selecting a group of LEDs used to solve a response problem (100), comprising:
Obtaining (201) mesh data representing the position of an active marker, pose data representing a possible pose of an object being tracked under moving conditions, and the position and direction of one camera;
Initializing the uncovered pose set to the acquired pose data (202);
Enumerating (creating) all four LED groups of a “T” shaped pattern and adding them to a set of unselected LED groups (203);
Projecting (204) unselected LEDs into 2D space using camera placement data for each pose of the current uncovered pose set;
If all four LEDs are visible for each pair (non-selected LED group, pose of current uncovered pose set), registering a pose with the non-selected LED group (205);
Identifying from among the unselected LED groups the LED group that covers the most uncovered pose and adding to the selected LED group (206);
Removing (207) the covered pose from the uncovered pose set and removing the selected LED group from the set of unselected LED groups;
Determining whether the termination condition is satisfied, and if so, terminating step (208);
A method (200) for selecting a group of LEDs, comprising:
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2016026243A JP6240234B2 (en) | 2016-02-15 | 2016-02-15 | Determination of pose by pattern of 4 LEDs |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2016026243A JP6240234B2 (en) | 2016-02-15 | 2016-02-15 | Determination of pose by pattern of 4 LEDs |
Related Parent Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2016518590A Division JP6240320B2 (en) | 2013-06-11 | 2013-06-11 | Determination of pose by pattern of 4 LEDs |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2016176927A true JP2016176927A (en) | 2016-10-06 |
JP6240234B2 JP6240234B2 (en) | 2017-11-29 |
Family
ID=57069666
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2016026243A Expired - Fee Related JP6240234B2 (en) | 2016-02-15 | 2016-02-15 | Determination of pose by pattern of 4 LEDs |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP6240234B2 (en) |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US5828770A (en) * | 1996-02-20 | 1998-10-27 | Northern Digital Inc. | System for determining the spatial position and angular orientation of an object |
JP2003236244A (en) * | 2002-02-14 | 2003-08-26 | Konami Co Ltd | Controller, attitude remote measuring device of controller and video game device |
-
2016
- 2016-02-15 JP JP2016026243A patent/JP6240234B2/en not_active Expired - Fee Related
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US5828770A (en) * | 1996-02-20 | 1998-10-27 | Northern Digital Inc. | System for determining the spatial position and angular orientation of an object |
JP2003236244A (en) * | 2002-02-14 | 2003-08-26 | Konami Co Ltd | Controller, attitude remote measuring device of controller and video game device |
Also Published As
Publication number | Publication date |
---|---|
JP6240234B2 (en) | 2017-11-29 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6240320B2 (en) | Determination of pose by pattern of 4 LEDs | |
Lin et al. | Video‐based 3D reconstruction, laparoscope localization and deformation recovery for abdominal minimally invasive surgery: a survey | |
JP5422735B2 (en) | Computer-aided analysis method for real-time use of image sequences including variable postures | |
Davison et al. | MonoSLAM: Real-time single camera SLAM | |
KR101650161B1 (en) | Fiducial marker design and detection for locating surgical instrument in images | |
CN112652016B (en) | Point cloud prediction model generation method, pose estimation method and pose estimation device | |
JP7376569B2 (en) | System and method for tracking the position of robotically operated surgical instruments | |
JP5803367B2 (en) | Self-position estimation apparatus, self-position estimation method and program | |
Labbé et al. | Single-view robot pose and joint angle estimation via render & compare | |
US20130106833A1 (en) | Method and apparatus for optical tracking of 3d pose using complex markers | |
CN102341054A (en) | Configuration marker design and detection for instrument tracking | |
US10902610B2 (en) | Moving object controller, landmark, and moving object control method | |
US20220392084A1 (en) | Scene perception systems and methods | |
JP6240234B2 (en) | Determination of pose by pattern of 4 LEDs | |
Watanabe et al. | A new 2D depth-depth matching algorithm whose translation and rotation freedoms are separated | |
WO2021202341A1 (en) | Systems and methods for facilitating automated operation of a device in a surgical space | |
JP2023505322A (en) | Method and system for programming robots | |
Steinicke et al. | Generating optimized marker-based rigid bodies for optical tracking systems. | |
US20240185432A1 (en) | System, method, and apparatus for tracking a tool via a digital surgical microscope | |
Roberti | Medical SLAM in an autonomous robotic system | |
US20230005174A1 (en) | Method and system for optically detecting the pose of at least one instrument in an operating theater | |
Jarvis | Robot Vision | |
Heitzmann et al. | Position-based visual servoing using a coded structured light sensor | |
CN117934593A (en) | Target object pose estimation method, system and computer readable storage medium | |
CN118177970A (en) | Pose determining method and device of operation instrument, readable storage medium and terminal |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20170404 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20170519 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20171010 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20171102 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6240234 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
LAPS | Cancellation because of no payment of annual fees |