JP2019168251A - Shape measuring apparatus, shape measuring method, and program - Google Patents
Shape measuring apparatus, shape measuring method, and program Download PDFInfo
- Publication number
- JP2019168251A JP2019168251A JP2018054347A JP2018054347A JP2019168251A JP 2019168251 A JP2019168251 A JP 2019168251A JP 2018054347 A JP2018054347 A JP 2018054347A JP 2018054347 A JP2018054347 A JP 2018054347A JP 2019168251 A JP2019168251 A JP 2019168251A
- Authority
- JP
- Japan
- Prior art keywords
- feature point
- frame
- distance
- distance image
- frames
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Landscapes
- Length Measuring Devices By Optical Means (AREA)
- Image Analysis (AREA)
Abstract
Description
本発明は形状測定装置、形状測定方法及びプログラムに関する。 The present invention relates to a shape measuring device, a shape measuring method, and a program.
画像情報から物体の3次元形状を取得する形状測定装置が知られている。例えば、測定対象の物体をステージや回転台に固定し、複数台の測定装置を使用して異なる視点から取得した画像データを組み合わせる手法が一般的に知られている(特許文献1)。 A shape measuring device that acquires a three-dimensional shape of an object from image information is known. For example, a technique is generally known in which an object to be measured is fixed to a stage or a turntable, and image data acquired from different viewpoints are combined using a plurality of measurement apparatuses (Patent Document 1).
しかし、上述の形状測定装置は、複数台の測定装置が必要であるため、装置の規模が大きくなってしまう問題がある。また、測定対象の物体の姿勢がステージや回転台によって制限されてしまい、物体に形状によっては形状の測定が困難な場合がある。 However, since the above-described shape measuring apparatus requires a plurality of measuring apparatuses, there is a problem that the scale of the apparatus becomes large. Further, the posture of the object to be measured is limited by the stage or the turntable, and it may be difficult to measure the shape of the object depending on the shape.
本発明は、上記に鑑みて成されたものであり、物体の3次元形状を効率的に測定することができる形状測定装置、形状測定方法及びプログラムを提供することを目的とする。 The present invention has been made in view of the above, and an object thereof is to provide a shape measuring apparatus, a shape measuring method, and a program capable of efficiently measuring the three-dimensional shape of an object.
本発明の一態様である形状測定装置は、対象物の2次元画像を複数のフレームにわたって取得する撮像部と、前記対象物の距離画像を前記複数のフレームにわたって取得する距離画像センサ部と、複数のフレームのそれぞれの前記距離画像から前記対象物の特徴点を検出し、前記対象物に対して設定した座標系に検出した前記特徴点を書き込む処理装置と、を有するものである。 The shape measuring apparatus according to one aspect of the present invention includes an imaging unit that acquires a two-dimensional image of an object over a plurality of frames, a distance image sensor unit that acquires a distance image of the object over the plurality of frames, And a processing device for detecting feature points of the object from the distance images of each frame and writing the detected feature points in a coordinate system set for the object.
本発明の一態様である形状測定方法は、対象物の2次元画像を複数のフレームにわたって取得し、前記対象物の距離画像を前記複数のフレームにわたって取得し、複数のフレームのそれぞれの前記距離画像から前記対象物の特徴点を検出し、前記対象物に対して設定した座標系に、検出した前記特徴点を書き込むものである。 In the shape measurement method according to one aspect of the present invention, a two-dimensional image of an object is acquired over a plurality of frames, a distance image of the object is acquired over the plurality of frames, and the distance image of each of a plurality of frames is acquired. The feature point of the target object is detected from, and the detected feature point is written in the coordinate system set for the target object.
本発明の一態様である形状測定方法は、対象物の2次元画像を複数のフレームにわたって取得する処理と、前記対象物の距離画像を前記複数のフレームにわたって取得する処理と、複数のフレームのそれぞれの前記距離画像から前記対象物の特徴点を検出する処理と、前記対象物に対して設定した座標系に、検出した前記特徴点を書き込む処理と、をコンピュータに実行させる、ものである。 The shape measuring method according to one aspect of the present invention includes a process of acquiring a two-dimensional image of an object over a plurality of frames, a process of acquiring a distance image of the object over the plurality of frames, and a plurality of frames. The process of detecting the feature point of the target object from the distance image and the process of writing the detected feature point in the coordinate system set for the target object is executed by a computer.
本発明によれば、物体の3次元形状を効率的に測定することができる形状測定装置、形状測定方法及びプログラムを提供することができる。 ADVANTAGE OF THE INVENTION According to this invention, the shape measuring apparatus, the shape measuring method, and program which can measure the three-dimensional shape of an object efficiently can be provided.
実施の形態1
実施の形態1にかかる形状測定装置について説明する。図1は、実施の形態1にかかる形状測定装置100の構成を模式的に示す図である。形状測定装置100は、撮像部1、距離画像センサ部2、操作部3、表示部4及び処理装置5を有する。
A shape measuring apparatus according to the first embodiment will be described. FIG. 1 is a diagram schematically illustrating a configuration of a
撮像部1は、形状測定の対象となる物体(以下、対象物10と称する)の2次元画像を取得する装置であり、例えばカメラとして構成される。
The
距離画像センサ部2は、距離画像センサ部2と対象物10との間の距離を示す距離画像を取得する。ここで、距離画像は、画素の2次元平面上での座標と、その座標における距離と、を含む3次元の点群データとして取得される。したがって、以下では、点群データを構成するデータ要素を点と称するものとする。距離画像センサ部2としては、例えばTOF(Time of Flight)カメラや赤外線センサを用いてもよい。
The distance
操作部3は、形状測定装置100に与えるコマンドや設定パラメータなどの入力に用いられる。操作部3としては、キーボード、タッチパネル、マウスなどの各種の入力用機器を用いることができる。
The
表示部4は、形状測定装置100での測定結果や設定情報などを表示する。表示部4としては、液晶ディスプレイやタッチパネルなど、各種の表示機器を用いることができる。
The
処理装置5は、撮像部1で取得された2次元画像と距離画像センサ部2で取得された距離画像とから、対象物10の形状を検出可能に構成される。処理装置5は、コンピュータなどのハードウェア資源を用いて構成される。
The
処理装置5は、画像インターフェイス(I/F)11、制御I/F12、表示I/F13、通信I/F14、処理部15、RAM(Random Access Memory)16、ROM(Read only Memory)17、記憶部18及びバス19を有する。
The
撮像部1で取得された2次元画像は、画像I/F11及びバス19を介して、例えばRAM16に格納される。距離画像センサ部2で取得された距離情報は、画像I/F11及びバス19を介して、例えばRAM16に格納される。
The two-dimensional image acquired by the
操作部3からは、コマンド等の入力情報が、制御I/F12及びバス19を介して、例えば処理部15へ与えられる。
From the
処理部15は、形状測定装置100での形状測定動作を制御し、形状測定にかかる演算処理を行う。処理部15からは、測定結果などの表示情報が、表示I/F13及びバス19を介して、表示部4へ出力される。処理部15は、通信I/F14及びバス19を介して、外部のネットワーク1000と双方向通信が可能である。処理部15の構成及び処理については後述する。
The
ROM17は、処理部15が用いる情報が格納される。例えば、ROM17は、処理部15の処理に用いるパラメータや、処理部15が実行するプログラムなどが格納される。
The
記憶部18は、形状測定装置100での形状測定の結果や、測定処理完了後の画像データなどが格納される。RAM16の容量に余裕がない場合、記憶部18はRAM16に書き込まれるべき情報をRAM16に代わって格納してもよい。記憶部18は、ハードディスクなどの各種に記憶媒体を用いることができる。
The
図2に、実施の形態1にかかる処理部15の構成を模式的に示す。処理部15は、制御部15A、表示処理部15B、ユーザーインターフェイス(UI:User Interface)部15C、通信部15D、画像取得部15E、認識処理部15F、特徴点検出部15G及びモデル生成部15Hを有する。
FIG. 2 schematically illustrates the configuration of the
制御部15Aは、表示処理部15B、UI部15C、通信部15D、画像取得部15E、認識処理部15F、特徴点検出部15G及びモデル生成部15Hの動作を制御する。
The
表示処理部15Bは、表示I/F13を介して、表示すべき情報を表示部4へ出力する。
The
UI部15Cは、制御I/F12を介して、操作部3からコマンド等の入力情報を受け取り、制御部15Aへ転送する。
The UI unit 15C receives input information such as a command from the
通信部15Dは、通信I/F14を介して、外部のネットワーク1000との間で通信を行う。
The communication unit 15D performs communication with the
画像取得部15Eは、撮像部1が取得した2次元画像を逐次読み込むことができる。画像取得部15Eは、撮像部1が取得してRAM16又は記憶部18に格納された2次元画像を、RAM16又は記憶部18から読み込んでもよい。画像取得部15Eは、距離画像センサ部2が取得した距離画像を逐次読み込むことができる。画像取得部15Eは、距離画像センサ部2が取得してRAM16又は記憶部18に格納された距離画像を、RAM16又は記憶部18から読み込んでもよい。
The
認識処理部15Fは、読み込んだ2次元画像と距離画像から、対象物10に対応する領域を検出する。
The
特徴点検出部15Gは、認識処理部15Fで処理後の距離画像から、対象物10の画像から特徴点を検出する。特徴点検出部15Gは、検出した特徴点を、例えばRAM16へ書き込む。
The feature
本実施の形態にかかる形状測定装置100は、対象物10を回転させながら複数のフレームにわたって2次元画像と距離画像とを取得し、各フレームについて対象物10の特徴点を検出する。そして、異なるフレーム間で特徴点をパターンマッチングし、新たに検出された特徴点を逐次追加する。これにより、複数のフレームを用いて対象物10の3次元形状を特定するための特徴点を検出できる。
The
また、本実施の形態にかかる形状測定装置100は、対象物10に設定した座標系を用いて特徴点を保存する。そのため、フレーム間における対象物10の移動を検出し、その移動に対象物10の座標系を追随させる。よって、対象物10の姿勢が変化しても、対象物10に設定した座標系は対象物10の姿勢の変化に追随することができる。
Further, the
本実施の形態では、対象物10は、ユーザの手や保持部材などによって保持される。図3に、実施の形態1における対象物10の保持例を示す。図3に示すように、対象物10は、例えばユーザの親指F1と人差し指F2とに挟まれ保持される。ユーザが、対象物10を持ち替えて対象物10を移動、回転させて2次元画像及び距離画像を取得することで、複数のフレームにわたって2次元画像及び距離画像が得られる。
In the present embodiment, the
ここで、特徴点の検出と座標系について説明する。図4に、第1フレームにおける対象物10の特徴点を示す。図5に、第1フレームよりも後のタイミングで取得された第2フレームにおける対象物10の特徴点を示す。なお、第1フレームと第2フレームとは連続したフレームでも連続していなフレームでもよく、連続していない場合は第1フレームと第2フレームとの間に所定のフレーム数を挟むようにしてもよい。
Here, the detection of feature points and the coordinate system will be described. FIG. 4 shows feature points of the
第1フレームと第2フレームとの間の特徴点の対応付けは、例えば両フレームの特徴点をパターンマッチングすることで可能である。なお、第1フレームと第2フレームとで、画像内の対象物10の大きさが変化し、対象物10が移動したとしても、画像を比較することで特徴点の移動や距離の変化を考慮したパターンマッチングを行うことが可能である。
The feature points between the first frame and the second frame can be associated by, for example, pattern matching the feature points of both frames. Even if the size of the
すなわち、本実施の形態では、複数フレームの画像について、1フレームずつ順に特徴点を抽出する。この際、隣接するフレーム間で、前のフレーム(第1フレーム)までに検出した特徴点と、後のフレーム(第2のフレーム)で新たに検出した特徴点とを比較し、パターンマッチングを行うことで、同一の特徴点を検出することができる。 That is, in the present embodiment, feature points are extracted sequentially for each frame of a plurality of frames. At this time, between adjacent frames, feature points detected up to the previous frame (first frame) are compared with feature points newly detected in the subsequent frame (second frame), and pattern matching is performed. Thus, the same feature point can be detected.
図4では、特徴点を白丸と黒丸とで示している。白丸は、第1フレームの2次元画像には存在するが、第2フレームの2次元画像には存在しない特徴点CP1を示している。黒丸は、第1フレームの2次元画像及び第2フレームの2次元画像の両方に存在する特徴点CP2を示している。 In FIG. 4, feature points are indicated by white circles and black circles. A white circle indicates a feature point CP1 that exists in the two-dimensional image of the first frame but does not exist in the two-dimensional image of the second frame. A black circle indicates a feature point CP2 existing in both the two-dimensional image of the first frame and the two-dimensional image of the second frame.
図5では、特徴点を黒丸と四角形とで示している。四角形は、第1フレームの2次元画像には存在しないが、第2フレームの2次元画像には存在する特徴点CP3を示している。 In FIG. 5, the feature points are indicated by black circles and squares. A square indicates a feature point CP3 that does not exist in the two-dimensional image of the first frame but exists in the two-dimensional image of the second frame.
図4の第1フレームと図5の第2フレームとの間で対象物10の姿勢が変化すると、特徴点CP2は見えているが、特徴点CP1は隠れてしまい、特徴点CP3が新たに現れる。なお、上述したように、特徴点CP2はパターンマッチングにより特定される。第1フレームで検出された既知の特徴点CP1及びCP2に、第2フレームで新たに検出された特徴点CP3を対象物10に設定した座標系に書き加えることで、特徴点を蓄積することができる。
When the posture of the
図6は、対象物10に設定される座標系を示す図である。第1のタイミングで取得された2次元画像及び距離画像(第1フレーム)において、2つの特徴点A1及びB1が存在するものとする。そして、第2のタイミングで取得された2次元画像及び距離画像(第2フレーム)においては、特徴点A2が第1フレームの特徴点A1に対応し、特徴点B2が第1フレームの特徴点B1に対応するものとする。
FIG. 6 is a diagram showing a coordinate system set for the
第1フレームの対象物10に対して第2フレームの対象物10がある回転軸を中心に角度θだけ回転している場合、回転軸となる直線を対象物10の座標系のz軸(第1の軸とも称する)として設定する。特徴点A1(第1の特徴点とも称する)と特徴点A2(第2の特徴点とも称する)とが属する平面とz軸とが交わる点を直交する条件で原点Oとして設定する。対象物10の座標系と距離センサ部2が測定する座標の関係であるが、z軸は特徴点A1,A2、B1、B2の測定系の座標で一義的に決定できる。すなわち、特徴点A1、A2から等距離にある点の集合が作る面と、特徴点B1,B2から等距離にある点の集合が作る面が重なった部分は直線になるが、その直線がz軸になる。したがって、特徴点が2つ、フレームが2つあれば、z軸は決定できる。
When the
本実施の形態では、3次元円筒座標系を用いる。すなわち、原点から特徴点A1へ向かう方向に動径座標を設定し、z軸回りの回転方向に回転座標を設定する。原点Oから特徴点A1及びA2までの距離をRとすると、特徴点A1の座標は(R,0,0)となり、特徴点A2の座標は(R,θ,0)となる。これに合わせて、第2フレームにおいては、対象物10に対する座標系もz軸に対してθだけ回転させ、対象物10の動きに追随させる。この結果、特徴点A2は座標(R、0、0)となり、第1フレームにおける特徴点A1の座標と同じになるから、同じ特徴点に対しては同じ座標を維持できる。第2フレーム以降においても同様に対象物10に対する座標系は対象物10の動きに合わせて追随し、各特徴点の座標を維持する。
In this embodiment, a three-dimensional cylindrical coordinate system is used. That is, the radial coordinate is set in the direction from the origin to the feature point A1, and the rotation coordinate is set in the rotation direction around the z axis. If the distance from the origin O to the feature points A1 and A2 is R, the coordinates of the feature point A1 are (R, 0, 0), and the coordinates of the feature point A2 are (R, θ, 0). In accordance with this, in the second frame, the coordinate system for the
3次元直交座標系を用いる場合には、原点Oと特徴点A1とを通る線x軸(第2の軸とも称する)とする。平面PLにおいてx軸と直交する線をy軸(第3の軸とも称する)とする。なお、最初の基準となる特徴点は任意である。 When a three-dimensional orthogonal coordinate system is used, the line x axis (also referred to as a second axis) passing through the origin O and the feature point A1 is used. A line orthogonal to the x axis in the plane PL is defined as a y axis (also referred to as a third axis). Note that the first reference feature point is arbitrary.
上述したように、第2フレームには、第1フレームに存在する既知の特徴点とは異なる新たな特徴点が検出され得る。複数のフレームについて特徴点の検出を行うことで、新たな特徴点が追加され、対象物10の3次元形状を取得するのに必要な数の特徴点を蓄積することが可能となる。
As described above, a new feature point different from the known feature points existing in the first frame can be detected in the second frame. By detecting feature points for a plurality of frames, new feature points are added, and the number of feature points necessary for acquiring the three-dimensional shape of the
第1フレームの距離画像には存在するが、第2フレームの距離画像では隠れてしまって検出されなかった既知の特徴点も存在しうる。この場合、既知の特徴点を第2フレーム上の特徴点に換算することで、既知の特徴点の情報と新たに検出された特徴点とを、同一の座標空間上で対応付けて保存することができる。 There may be known feature points that exist in the distance image of the first frame, but are hidden and not detected in the distance image of the second frame. In this case, by converting the known feature points into the feature points on the second frame, the information on the known feature points and the newly detected feature points are stored in association with each other in the same coordinate space. Can do.
次いで、実施の形態1にかかる形状測定装置100の形状測定について説明する。図7は、実施の形態1にかかる形状測定装置100の動作示すフローチャートである。
Next, shape measurement of the
ステップS1
処理部15は、RAM16に格納された2次元画像から、1フレーム分の2次元画像を読み込む。ここで、取得された2次元画像をIMGとする。また、処理部15は、RAM16に格納された距離画像から、画像IMGに対応する距離画像DISを読み込む。ここで、読み込んだ2次元画像の横方向をX方向、縦方向をY方向と定義する。距離画像は、X−Y平面に対して垂直なZ方向の対象物10までの距離を示すものとする。
Step S1
The
ステップS2
読み込んだ2次元画像と距離画像とを用いて1フレーム分の特徴点を検出し、RAM16に保存する。
Step S2
Using the read two-dimensional image and distance image, feature points for one frame are detected and stored in the
ステップS3
形状測定に用いる複数のフレームのうち、読み出されていないフレームが有るかを判定する。読み込まれていないフレームが有る場合、ステップS1に戻る。
Step S3
It is determined whether there is a frame that has not been read from among a plurality of frames used for shape measurement. If there is a frame that has not been read, the process returns to step S1.
ステップS4
読み込まれていないフレームが無い場合、保存した特徴点に基づいて、3次元モデルを生成する。3次元モデルは、ステップS1〜S3で不要な点を除いた距離画像に同じフレームの2次元画像の情報(画素の輝度、色など)を対応づけることで生成することができる。
Step S4
If there is no unread frame, a three-dimensional model is generated based on the stored feature points. The three-dimensional model can be generated by associating the two-dimensional image information (pixel brightness, color, etc.) of the same frame with the distance image excluding unnecessary points in steps S1 to S3.
次いで、ステップS2にかかる特徴点検出について説明する。図8は、実施の形態1にかかる特徴点検出を示すフローチャートである。ステップS2では、1フレーム分の2次元画像と距離画像とを用いて、特徴点検出を行う。 Next, feature point detection according to step S2 will be described. FIG. 8 is a flowchart of feature point detection according to the first embodiment. In step S2, feature point detection is performed using a two-dimensional image for one frame and a distance image.
ステップS21
対象物10を保持しているユーザの指などが距離画像に写り込んでいるため、指等についても形状測定装置は特徴点を検出してしまう。そのため、指等の特徴点をデータから除去する必要がある。ステップS21では、これらの不要なデータが削除される。
Step S21
Since the user's finger or the like holding the
認識処理部15Fは、距離画像DISを参照し、距離画像DISが示す距離が所定の値よりも大きな点を距離画像DISから削除する。これにより、対象物10の背景などに起因する雑音データが除外される。また、認識処理部15Fは、距離画像DISから対象物10を保持している部材やユーザの手などのデータを削除する。これは、例えば記憶部18に予め対象物10を保持している部材やユーザの手など形状や色の情報を記憶しておき、認識処理部15Fがこの情報を参照することで実現することができる。例えば、ユーザが特定の色の手袋を着用している場合、当該手袋の色の画素を2次元画像IMGから削除してもよい。
The
または、持ち方を変えて対象物の同じ面について複数回測定を行う方法もとり得る。これによれば、特徴点を、検出回数が少ない特徴点と検出回数が多い特徴点とに選別することができる。この場合、検出回数が少ない特徴点は対象物10を保持している指などの保持体であると判断できる。なぜならば、持ち方を変化させると、同じ特徴点が同じ座標に現れる可能性は少ないためである。したがって、持ち方を変化させながら複数回測定を行い、それぞれの特徴点が検出された回数をカウントすることで、不必要な特徴点を削除することができる。
Alternatively, it is possible to take a method of performing measurement a plurality of times on the same surface of the object by changing the holding method. According to this, feature points can be selected into feature points with a small number of detections and feature points with a large number of detections. In this case, it can be determined that a feature point with a small number of detections is a holding body such as a finger holding the
ステップS22
特徴点検出部15Gは、距離画像DISを複数の領域RAに分割する。図9に、距離画像DISの分割を模式的に示す。図9に示すように、距離画像DISは、例えば複数の領域RAに分割される。この例では、距離画像DISは、例えば複数の矩形領域に分割される。
Step S22
The feature
ステップS23
特徴点検出部15Gは、分割された領域から、注目領域TAを選択する。
Step S23
The feature
ステップS24
特徴点検出部15Gは、選択された領域に、距離画像の距離情報が対応づけられた点が存在するかを判定する。
Step S24
The feature
ステップS25
特徴点検出部15Gは、選択された領域に距離画像の距離情報が対応づけられた点が存在する場合、選択された領域から特徴点候補を抽出する。以下、ステップS25にかかる特徴点候補の抽出について具体的に説明する。図10に、ステップS25にかかる特徴点候補の抽出を示すフローチャートである。
Step S25
The feature
ステップS251
選択された領域に距離画像の距離情報が対応づけられた2点が存在する場合、特徴点検出部15Gは、選択された領域を、隣接する2点の組p1〜pm(注目領域の場合には第1の組とも称し、周辺領域の場合には第2の組とも称する)を全通り生成する。
Step S251
When there are two points associated with the distance information of the distance image in the selected region, the feature
ステップS252
特徴点検出部15Gは、2点の組p1〜pmの各組について、一方の点の距離と他方の点の距離との距離差を計算する。
Step S252
The feature
ステップS253
特徴点検出部15Gは、2点の組p1〜pmの距離差の平均値を計算する。
Step S253
The feature
ステップS254
特徴点検出部15Gは、算出した平均値よりも大きな距離差を有する2点の組を、特徴点候補として、例えばRAM16に保存する。
Step S254
The feature
図8に戻り、ステップS26以降について説明する。
ステップS26
特徴点検出部15Gは、注目領域に隣接する周辺領域のうち、未選択の周辺領域が存在するかを判定する。図11に、注目領域TAと周辺領域CA1〜CA8とを模式的に示す。
Returning to FIG. 8, step S26 and subsequent steps will be described.
Step S26
The feature
ステップS27
未選択の周辺領域が存在する場合、特徴点検出部15Gは、未選択の周辺領域から1つの周辺領域を選択し、ステップS24へ戻る。これにより、ステップS25において、選択された周辺領域内の特徴点候補が抽出される。
Step S27
If there is an unselected peripheral region, the feature
ステップS28
未選択の周辺領域が存在しない場合、すなわち、全ての周辺領域が選択済みの場合、特徴点検出部15Gは、注目領域TA及び周辺領域の特徴点候補から、特徴点を検出する。以下、ステップS28にかかる特徴点の検出について具体的に説明する。図12に、ステップS28にかかる特徴点検出を示すフローチャートである。
Step S28
When there is no unselected peripheral region, that is, when all the peripheral regions have been selected, the feature
ステップS281
注目領域の特徴点候補に含まれる点のそれぞれと、周辺領域の特徴点候補に含まれる点のそれぞれと、の組み合わせ(第3の組とも称する)を全通り生成する。
Step S281
All combinations (also referred to as a third set) of points included in the feature point candidates of the attention area and points included in the feature point candidates of the peripheral area are generated.
ステップS282
各組み合わせに含まれる2点の距離差を計算する。
Step S282
The distance difference between two points included in each combination is calculated.
ステップS283
計算した全ての組み合わせの距離差の平均値を計算する。
Step S283
Calculate the average distance difference of all the calculated combinations.
ステップS284
算出した平均値よりも大きな距離差を有する組み合わせに含まれる注目矩形領域の特徴点候補を、特徴点として検出する。検出された特徴点は、例えばRAM16に保存される。
Step S284
A feature point candidate of a target rectangular area included in a combination having a distance difference larger than the calculated average value is detected as a feature point. The detected feature points are stored in the
図8に戻り、ステップS29について説明する。
ステップS29
特徴点検出部15Gは、複数の領域のうちで、注目領域として選択されていない領域が存在するかを判定する。
Returning to FIG. 8, step S29 will be described.
Step S29
The feature
注目領域TAとして選択されていない領域が存在する場合、ステップS23に戻り、別の注目領域を選択して特徴点の検出が続行される。 If there is an area that has not been selected as the attention area TA, the process returns to step S23 to select another attention area and continue to detect feature points.
注目領域として選択されていない領域が存在しない場合、すなわち、複数の領域の全てが注目領域として選択済みの場合、特徴点検出を終了する。 When there is no region that is not selected as the attention region, that is, when all of the plurality of regions have been selected as the attention region, the feature point detection ends.
以上、本構成によれば、対象物上に設定した座標系を用いて、対象物の3次元形状を特定するための特徴点を検出することができる。フレーム間における対象物10の移動に応じて対象物上に設定した座標系を追随させることができるので、対象物が移動しても、既知の特徴点と新たに検出された特徴点との位置関係を正確に反映させて特徴点を保存することができる。
As described above, according to this configuration, it is possible to detect a feature point for specifying the three-dimensional shape of an object using the coordinate system set on the object. Since the coordinate system set on the object can be followed according to the movement of the
これにより、対象物がステージや回転テーブルなどに固定されず、ユーザの手によって保持されて比較的複雑な移動をする場合でも、正確に特徴点を検出できる。また、専用のステージや回転テーブルが必要なく、より容易かる効率的に対象物の形状を測定することが可能となる。なお、ここでは各組の2点間の距離差から平均値を計算し比較しているが、予め所定値を決めておき、その所定値と比較するようにしてもよい。 Thereby, even when the object is not fixed to the stage or the rotary table but is held by the user's hand and moves relatively complicatedly, the feature point can be accurately detected. Further, there is no need for a dedicated stage or a rotary table, and the shape of the object can be measured more easily and efficiently. Here, the average value is calculated and compared from the distance difference between the two points in each group, but a predetermined value may be determined in advance and compared with the predetermined value.
実施の形態2
実施の形態1では、複数のフレームの2次元画像と距離画像とを用いた対象物の形状測定について説明した。しかし、第1フレームと第2フレームとの間での対象物10の移動が小さい場合、両方のフレームにおいて、ほぼ同じ位置で同じ特徴点を検出してしまい、新たな特徴点が少数しか得られない、又は、新たな特徴点が1つも得られないことがあり得る。この場合、第2フレームについて特徴点検出を行っても、検出処理に要するリソースに対する特徴点の蓄積効果が小さくなってしまう。そのため、本実施の形態では、第1フレームと第2フレームとの間で新たな特徴点検出を効率的に行うことができる程度に対象物10が移動した場合に、選択的に特徴点検出を行うことが望ましい。
In the first embodiment, the shape measurement of an object using a two-dimensional image and a distance image of a plurality of frames has been described. However, when the movement of the
実施の形態2にかかる形状測定装置について説明する。実施の形態2にかかる形状測定装置は、実施の形態1にかかる形状測定装置100の処理装置5の処理部15を処理部25に置換した構成を有する。図13に、実施の形態2にかかる処理部25の構成を模式的に示す。処理部25は、処理部15に、移動検知部25Aを追加した構成を有する。
A shape measuring apparatus according to the second embodiment will be described. The shape measuring apparatus according to the second embodiment has a configuration in which the
移動検知部25Aは、前のフレーム(第1フレーム)の距離画像と、後のフレーム(第2フレーム)の距離画像との差分を算出し、差分に応じて後のフレーム(第2フレーム)の特徴点検出を行う。
The
図14は、実施の形態2にかかる形状測定装置の動作を示すフローチャートである。図14に示すように、移動検知処理(ステップS5)が、ステップS1とステップS2との間に挿入される。 FIG. 14 is a flowchart of the operation of the shape measuring apparatus according to the second embodiment. As shown in FIG. 14, the movement detection process (step S5) is inserted between step S1 and step S2.
移動検知処理(ステップS5)について説明する。図15は、移動検知処理(ステップS5)を示すフローチャートである。 The movement detection process (step S5) will be described. FIG. 15 is a flowchart showing the movement detection process (step S5).
ステップS51
移動検知部25Aは、1つ前に読み込んだフレーム(第1フレーム)が存在するかを判定する。1つ前に読み込んだフレーム(第1フレーム)が存在しない場合、距離画像の比較はできないので、移動検知部25Aは移動検知処置を終了し、ステップS3へ進む。
Step S51
The
ステップS52
移動検知部25Aは、1つ前に読み込んだ(第1フレーム)フレームが存在する場合、RAM16から1つ前に読み込んだ(第1フレーム)フレームの距離画像とステップS1で読み込んだ後のフレーム(第2フレーム)の距離画像と、を読み込む。
Step S52
When there is a frame (first frame) read immediately before (the first frame), the
ステップS53
移動検知部25Aは、1つ前に読み込んだ(第1フレーム)フレームの距離画像と、ステップS1で読み込んだ後のフレーム(第2フレーム)の距離画像と、の差分を算出する。
Step S53
The
ステップS54
移動検知部25Aは、算出した差分が所定値よりも大きいかを判定する。算出した差分が所定値よりも小さい場合、特徴点検出(ステップS2)をスキップし、ステップS3に進む。算出した差分が所定値よりも小さい場合、特徴点検出(ステップS2)へ進む。なお、算出した差分が所定値と一致する場合、ステップS2へ進むものとしてもよいし、ステップS3へ進むものとしてもよい。
Step S54
The
以上より、対象物に有意な移動がない場合には、特徴点検出をスキップすることができる。これにより、不要な処理を行わずに済み、複数フレームの特徴点検出処理の全体的な処理時間を短くすることができる。 As described above, the feature point detection can be skipped when there is no significant movement of the object. As a result, unnecessary processing can be omitted, and the overall processing time of the feature point detection processing for a plurality of frames can be shortened.
実施の形態3
次いで、実施の形態3にかかる形状測定装置について説明する。実施の形態2及び3では、検出した特徴点の基づいた3次元モデルの生成について説明した。本実施の形態にかかる形状測定装置は、生成した3次元モデルを自動的に複数に部位に分割する機能を有するものとして構成される。
Next, the shape measuring apparatus according to the third embodiment will be described. In the second and third embodiments, generation of a three-dimensional model based on detected feature points has been described. The shape measuring apparatus according to the present embodiment is configured to have a function of automatically dividing a generated three-dimensional model into a plurality of parts.
実施の形態3にかかる形状測定装置について説明する。実施の形態3にかかる形状測定装置は、実施の形態1にかかる形状測定装置100の処理装置5の処理部15を処理部35に置換した構成を有する。図16に、実施の形態3にかかる処理部35の構成を模式的に示す。処理部35は、処理部15に、分割処理部35Aを追加した構成を有する。
A shape measuring apparatus according to the third embodiment will be described. The shape measuring apparatus according to the third embodiment has a configuration in which the
分割処理部35Aは、ステップS4で生成された3次元モデルを分割する処理を行う。分割処理部35Aは、モデル分割部35Bとモデル再構築部35Cとを有する。モデル分割部35Bは、3次元モデルの断面を参照し、断面が所定値よりも小さくなる位置で3次元モデルを分割する。モデル再構築部35Cは、モデル分割部35Bにより分割された部位の集合として、3次元モデルを再構築する。
The
図17は、実施の形態3にかかる形状測定装置の動作を示すフローチャートである。図17に示すように、モデル分割(ステップS6)とモデル再構築(ステップS7)とが、3次元モデル生成(ステップS4)の後に追加される。ステップS1〜S4については、実施の形態1と同様であるので説明を省略する。 FIG. 17 is a flowchart of the operation of the shape measuring apparatus according to the third embodiment. As shown in FIG. 17, model division (step S6) and model reconstruction (step S7) are added after the three-dimensional model generation (step S4). Since steps S1 to S4 are the same as those in the first embodiment, the description thereof is omitted.
ステップS6
上述したように、モデル分割部35Bは、3次元モデルの断面を参照し、断面が所定値よりも小さくなる位置で3次元モデルを分割する。以下、ステップS6について説明する。図18は、ステップS6での処理を示すフローチャートである。
Step S6
As described above, the
ステップS61
モデル分割部35Bは、RAM16から、3次元モデルを読み込む。
Step S61
The
ステップS62
モデル分割部35Bは、読み込んだ3次元モデルを、仮想的な3次元直交座標系に展開する。
Step S62
The
ステップS63
モデル分割部35Bは、3次元モデルをX軸に垂直な面で分割する処理を行う。以下、ステップS63について説明する。図19は、ステップS63での処理を示すフローチャートである。
Step S63
The
ステップS631
X軸に所定のピッチだけ離隔した3次元モデルの複数の断面を複数取得する。例えば、X座標が最小の断面からX座標が最大の断面へ向けて、複数の断面を所得する。取得した断面の数をN(Nは、3以上の整数)である場合、1番目〜N番目の断面CS1〜CSNが取得される。
Step S631
A plurality of cross sections of a three-dimensional model separated by a predetermined pitch on the X axis are acquired. For example, a plurality of cross sections are acquired from a cross section with the smallest X coordinate to a cross section with the largest X coordinate. When the number of acquired cross sections is N (N is an integer of 3 or more), the first to Nth cross sections CS1 to CSN are acquired.
ステップS632
取得した複数の断面から隣接する2つの断面の組を順に選択する。ここでは、断面CSiと断面CS(i+1)とを選択する。ここで、iは、3以上N以下の整数である。なお、iの初期値は1である。
Step S632
A set of two adjacent sections is sequentially selected from the acquired plurality of sections. Here, the cross section CSi and the cross section CS (i + 1) are selected. Here, i is an integer of 3 or more and N or less. The initial value of i is 1.
ステップS633
断面CSiと断面CS(i+1)との間での3次元モデルの断面積の差ΔCSを計算する。
Step S633
The difference ΔCS of the cross-sectional area of the three-dimensional model between the cross section CSi and the cross section CS (i + 1) is calculated.
ステップS634
算出した3次元モデルの断面積の差ΔCSが所定値THよりも大きいか(ΔCS>TH
)を判定する。断面積の差ΔCSが所定値THよりも小さければ、ステップS636へ進む。
Step S634
Whether the calculated difference ΔCS in cross-sectional area of the three-dimensional model is greater than a predetermined value TH (ΔCS> TH
). If the cross-sectional area difference ΔCS is smaller than the predetermined value TH, the process proceeds to step S636.
ステップS635
算出した3次元モデルの断面積の差ΔCSが所定値THよりも大きい場合、断面積が小さい方の断面にて3次元モデルを分割する。
Step S635
When the calculated cross-sectional difference ΔCS of the three-dimensional model is larger than the predetermined value TH, the three-dimensional model is divided at the cross section having the smaller cross-sectional area.
ステップS636
取得した複数の断面のうちで未選択の断面が有るかを判定する。具体的には、i=Nであるか否かを判定する。未選択の断面の組がない場合(i=N)、3次元モデルの分割を終了する。
Step S636
It is determined whether there is an unselected cross section among the plurality of acquired cross sections. Specifically, it is determined whether i = N. If there is no unselected section set (i = N), the division of the three-dimensional model is terminated.
ステップS637
未選択の断面の組が有る場合(i<N)、選択する断面を変更する必要がある。ここでは、iを1だけインクリメントして、ステップS632へ戻る。
Step S637
When there is a set of unselected cross sections (i <N), it is necessary to change the cross section to be selected. Here, i is incremented by 1, and the process returns to step S632.
ステップS64
モデル分割部35Bは、3次元モデルをY軸に垂直な面で分解する処理を行う。以下、ステップS64について説明する。図20は、ステップS64での処理を示すフローチャートである。
Step S64
The
ステップS641〜S648は、X軸がY軸に変わったことを除き、図19のステップS631〜638と同様であるので。詳細な説明を省略する。 Steps S641 to S648 are the same as steps S631 to 638 in FIG. 19 except that the X axis is changed to the Y axis. Detailed description is omitted.
ステップS65
モデル分割部35Bは、3次元モデルをZ軸に垂直な面で分解する処理を行う。以下、ステップS65について説明する。図21は、ステップS65での処理を示すフローチャートである。
Step S65
The
ステップS651〜S658は、X軸がZ軸に変わったことを除き、図19のステップS631〜638と同様であるので。詳細な説明を省略する。 Steps S651 to S658 are the same as steps S631 to 638 in FIG. 19 except that the X axis is changed to the Z axis. Detailed description is omitted.
以上の処理により、各軸に対して垂直な断面の面積が大きく変化する位置、すなわちくびれる位置で、3次元モデルを分割することができる。 With the above processing, the three-dimensional model can be divided at a position where the area of the cross section perpendicular to each axis changes greatly, that is, a constricted position.
図17に戻り、ステップS7について説明する。
ステップS7
モデル再構築部35Cは、ステップS6で分割された3次元モデルを連結し、分割された部位の集合体として3次元モデルを再構築する。
Returning to FIG. 17, step S7 will be described.
Step S7
The model reconstruction unit 35C connects the three-dimensional models divided in step S6, and reconstructs the three-dimensional model as an aggregate of the divided parts.
以上、本実施の形態にかかる形状測定装置によれば、ステップS64〜S66で設定する所定値に応じて、3次元モデルを複数の部位に自動的に分割することができる。なお、ステップS64〜S66で用いる所定値は同じであってもよいし、異なっていてもよい。 As mentioned above, according to the shape measuring apparatus concerning this Embodiment, according to the predetermined value set by step S64-S66, a three-dimensional model can be divided | segmented into a some site | part automatically. Note that the predetermined values used in steps S64 to S66 may be the same or different.
ここで、3次元モデルの分割の例について説明する。図22に、分割前の3次元モデルの一例を示す。図23に、分割後の3次元モデルの例を示す。図22の分割前の人型玩具の3次元モデル301は、本実施の形態にかかるモデル分割により、図23に示すように、頭部302、右腕部303、左腕部304、胴体部305及び脚部306に分割されている、なお、図23では、3次元モデルが分割されていることを明らかにするため、頭部302、右腕部303、左腕部304、胴体部305及び脚部306をそれぞれ離隔させて表示している。
Here, an example of division of the three-dimensional model will be described. FIG. 22 shows an example of a three-dimensional model before division. FIG. 23 shows an example of the divided three-dimensional model. As shown in FIG. 23, the three-
3次元モデルを分割することで、分割された各部位を独立して取り扱うことができるため、特定の部位の変更や置換を容易に行うことが可能となる。図24に、図22の3次元モデルの頭部を置換した例を示す。この例では、3次元モデル301の頭部302は、別の頭部307に置換されることで、3次元モデル308となっている。このように、頭部などの一部の部位を置換して、分割されたモデルを再構築することで、3次元モデルの設計を容易に変更することが可能となる。したがって、モデルの設計作業を効率的に行うことができる。
By dividing the three-dimensional model, each of the divided parts can be handled independently, so that it is possible to easily change or replace a specific part. FIG. 24 shows an example in which the head of the three-dimensional model in FIG. 22 is replaced. In this example, the
なお、モデル分割(ステップS6)は、1回だけでなく、複数回繰り返して行ってもよい。例えば、1回目のモデル分割された各部位に、ステップS634、S644及びS654で用いる所定値THを1回目のモデル分割よりも小さな値を設定して再度モデル分割してもよい。これにより、各部位を更に小さな複数の部位に分割することができる。」 The model division (step S6) may be repeated not only once but a plurality of times. For example, the model division may be performed again by setting the predetermined value TH used in steps S634, S644, and S654 to a value smaller than that of the first model division for each part of the first model division. Thereby, each part can be divided into a plurality of smaller parts. "
分割対象の3次元モデルは、実施の形態1又は2で生成された3次元モデルだけでなく、任意の3次元モデルであってもよい。 The three-dimensional model to be divided may be an arbitrary three-dimensional model as well as the three-dimensional model generated in the first or second embodiment.
その他の実施の形態
なお、本発明は上記実施の形態に限られたものではなく、趣旨を逸脱しない範囲で適宜変更することが可能である。例えば、図17の形状測定装置の動作において、図14のステップS5にかかる移動検知処理を挿入してもよい。
Other Embodiments The present invention is not limited to the above-described embodiments, and can be appropriately changed without departing from the spirit of the present invention. For example, in the operation of the shape measuring apparatus in FIG. 17, a movement detection process according to step S5 in FIG. 14 may be inserted.
上述の実施の形態では、本発明をハードウェアの構成として説明したが、本発明は、これに限定されるものではない。本発明は、例えば処理装置に含まれる処理部の制御を、CPU(Central Processing Unit)にコンピュータプログラムを実行させることにより実現することも可能である。 In the above-described embodiments, the present invention has been described as a hardware configuration, but the present invention is not limited to this. The present invention can also be realized, for example, by causing a CPU (Central Processing Unit) to execute a computer program to control a processing unit included in a processing device.
プログラムは、様々なタイプの非一時的なコンピュータ可読媒体(non-transitory computer readable medium)を用いて格納され、コンピュータに供給することができる。非一時的なコンピュータ可読媒体は、様々なタイプの実体のある記録媒体(tangible storage medium)を含む。非一時的なコンピュータ可読媒体の例は、磁気記録媒体(例えばフレキシブルディスク、磁気テープ、ハードディスクドライブ)、光磁気記録媒体(例えば光磁気ディスク)、CD−ROM(Read Only Memory)、CD−R、CD−R/W、半導体メモリ(例えば、マスクROM、PROM(Programmable ROM)、EPROM(Erasable PROM)、フラッシュROM、RAM(random access memory))を含む。また、プログラムは、様々なタイプの一時的なコンピュータ可読媒体(transitory computer readable medium)によってコンピュータに供給されてもよい。一時的なコンピュータ可読媒体の例は、電気信号、光信号、及び電磁波を含む。一時的なコンピュータ可読媒体は、電線及び光ファイバ等の有線通信路、又は無線通信路を介して、プログラムをコンピュータに供給できる。 The program may be stored using various types of non-transitory computer readable media and supplied to a computer. Non-transitory computer readable media include various types of tangible storage media. Examples of non-transitory computer-readable media include magnetic recording media (for example, flexible disks, magnetic tapes, hard disk drives), magneto-optical recording media (for example, magneto-optical disks), CD-ROMs (Read Only Memory), CD-Rs, CD-R / W and semiconductor memory (for example, mask ROM, PROM (Programmable ROM), EPROM (Erasable PROM), flash ROM, RAM (random access memory)) are included. The program may also be supplied to the computer by various types of transitory computer readable media. Examples of transitory computer readable media include electrical signals, optical signals, and electromagnetic waves. The temporary computer-readable medium can supply the program to the computer via a wired communication path such as an electric wire and an optical fiber, or a wireless communication path.
1 撮像部
2 距離画像センサ部
3 操作部
4 表示部
5〜7 処理装置
10 対象物
11 画像I/F
12 制御I/F
13 表示I/F
14 通信I/F
15、25、35 処理部
15A 制御部
15B 表示処理部
15C UI部
15D 通信部
15E 画像取得部
15F 認識処理部
15G 特徴点検出部
16 RAM
17 ROM
18 記憶部
19 バス
25A 移動検知部
35A 分割処理部
35B モデル分割部
35C モデル再構築部
100 形状測定装置
301、308 3次元モデル
302、307 頭部
303 右腕部
304 左腕部
305 胴体部
306 脚部
1000 ネットワーク
F1 親指
F2 人差し指
A1、A2、B1、B2、CP1〜CP3 特徴点
IMG 2次元画像
DESCRIPTION OF
12 Control I / F
13 Display I / F
14 Communication I / F
15, 25, 35
17 ROM
18
Claims (8)
前記対象物の距離画像を前記複数のフレームにわたって取得する距離画像センサ部と、
複数のフレームのそれぞれの前記距離画像から前記対象物の特徴点を検出し、前記対象物に対して設定した座標系に検出した前記特徴点を書き込む処理装置と、を備える、
形状測定装置。 An imaging unit that acquires a two-dimensional image of the object over a plurality of frames;
A distance image sensor unit for acquiring a distance image of the object over the plurality of frames;
A processing device that detects a feature point of the object from each of the distance images of a plurality of frames and writes the detected feature point in a coordinate system set for the object;
Shape measuring device.
前記複数のフレームに含まれる第1フレームと第2フレームとの間での前記対象物の回転を検出し、前記回転の回転軸を前記座標系の第1の軸として設定し、
前記第1フレームの前記距離画像に存在する第1の特徴点と、前記第1フレームと異なる第2フレームの前記距離画像で前記第1の特徴点に対応する第2の特徴点と、が属する平面を設定し、
前記平面が前記第1の軸と交わる点を前記座標系の原点として設定し、
前記原点から前記第1の特徴点へ向かう方向に動径座標を設定し、
前記第1の軸まわりの回転角方向に回転座標を設定する、
請求項1に記載の形状測定装置。 The processor is
Detecting rotation of the object between a first frame and a second frame included in the plurality of frames, and setting a rotation axis of the rotation as a first axis of the coordinate system;
A first feature point existing in the distance image of the first frame and a second feature point corresponding to the first feature point in the distance image of a second frame different from the first frame belong. Set the plane,
Setting the point where the plane intersects the first axis as the origin of the coordinate system;
Set a radial coordinate in a direction from the origin to the first feature point;
Setting rotation coordinates in a rotation angle direction around the first axis;
The shape measuring apparatus according to claim 1.
前記複数のフレームに含まれる第1フレームと第2フレームとの間での前記対象物の回転を検出し、前記回転の回転軸を前記座標系の第1の軸として設定し、
前記第1フレームの前記距離画像に存在する第1の特徴点と、前記第1フレームと異なる第2フレームの前記距離画像で前記第1の特徴点に対応する第2の特徴点と、が属する平面を設定し、
前記平面が前記第1の軸と交わる点を前記座標系の原点として設定し、
前記原点と前記第1の特徴点とを通る線を前記座標系の第2の軸として設定し、
前記平面上で前記第2の軸に直交する線を前記座標系の第3の軸として設定する、
請求項1に記載の形状測定装置。 The processor is
Detecting rotation of the object between a first frame and a second frame included in the plurality of frames, and setting a rotation axis of the rotation as a first axis of the coordinate system;
A first feature point existing in the distance image of the first frame and a second feature point corresponding to the first feature point in the distance image of a second frame different from the first frame belong. Set the plane,
Setting the point where the plane intersects the first axis as the origin of the coordinate system;
A line passing through the origin and the first feature point is set as the second axis of the coordinate system;
Setting a line perpendicular to the second axis on the plane as a third axis of the coordinate system;
The shape measuring apparatus according to claim 1.
前記距離画像を読み込む画像取得部と、
前記距離画像を参照し、前記対象物までの距離が所定値よりも大きな点を削除する処理を行う認識処理部と、
前記認識処理部で処理された前記距離画像から前記特徴点を検出する特徴点検出部と、を備える、
請求項2又は3に記載の形状測定装置。 The processor is
An image acquisition unit for reading the distance image;
A recognition processing unit that performs processing for referring to the distance image and deleting a point whose distance to the object is larger than a predetermined value;
A feature point detection unit that detects the feature point from the distance image processed by the recognition processing unit,
The shape measuring apparatus according to claim 2 or 3.
前記認識処理部で処理された前記距離画像を複数の領域に分割し、
前記複数の領域から注目領域を選択し、
前記注目領域の点から、隣接する2点からなる第1の組を全通り生成し、
一方の点にかかる前記対象物までの距離と他方の点にかかる前記対象物までの距離との差が所定の演算値または所定値よりも大きい前記第1の組を、特徴点候補として抽出し、
前記注目領域の周辺の前記領域の点と隣接する点とからなる第2の組を全通り生成し、
一方の点にかかる前記対象物までの距離と他方の点にかかる前記対象物までの距離との差が所定の演算値または所定値よりも大きい前記第2の組を、特徴点候補として抽出し、
前記特徴点候補として抽出された前記第1の組に含まれる点のそれぞれと、前記特徴点候補として抽出された前記第2の組に含まれる点のそれぞれとからなる第3の組を全通り生成し、
一方の点にかかる前記対象物までの距離と他方の点にかかる前記対象物までの距離との差が所定の演算値または所定値よりも大きい前記第3の組に含まれる前記第1の組の点を、特徴点として検出する、
請求項4に記載の形状測定装置。 The feature point detector
Dividing the distance image processed by the recognition processing unit into a plurality of regions;
Selecting a region of interest from the plurality of regions;
A first set of two adjacent points is generated entirely from the points of interest region,
The first set in which the difference between the distance to the target object on one point and the distance to the target object on the other point is larger than a predetermined calculation value or a predetermined value is extracted as a feature point candidate ,
A second set consisting of the points of the region around the region of interest and adjacent points is generated as a whole,
The second set in which the difference between the distance to the target object on one point and the distance to the target object on the other point is larger than a predetermined calculation value or a predetermined value is extracted as a feature point candidate ,
A third set consisting of each of the points included in the first set extracted as the feature point candidate and each of the points included in the second set extracted as the feature point candidate Generate and
The first group included in the third group in which the difference between the distance to the target object on one point and the distance to the target object on the other point is larger than a predetermined calculation value or a predetermined value. Are detected as feature points.
The shape measuring apparatus according to claim 4.
前記第1フレームの前記距離画像と前記第2フレームの前記距離画像との差分を計算し、前記差分が所定値よりも大きな場合に前記対象物の移動を検知する移動検知部を更に備え、
特徴点検出部は、前記移動検知部が前記対象物の移動を検知した場合に、前記第2フレームの前記距離画像から特徴点を検出する、
請求項4又は5に記載の形状測定装置。 The processor is
Further comprising a movement detection unit that calculates a difference between the distance image of the first frame and the distance image of the second frame, and detects a movement of the object when the difference is larger than a predetermined value;
The feature point detection unit detects a feature point from the distance image of the second frame when the movement detection unit detects the movement of the object.
The shape measuring apparatus according to claim 4 or 5.
前記対象物の距離画像を前記複数のフレームにわたって取得し、
複数のフレームのそれぞれの前記距離画像から前記対象物の特徴点を検出し、
前記対象物に対して設定した座標系に、検出した前記特徴点を書き込む、
形状測定方法。 Acquiring a two-dimensional image of the object over multiple frames;
Obtaining a distance image of the object over the plurality of frames;
Detecting feature points of the object from the distance images of each of a plurality of frames;
Write the detected feature points in the coordinate system set for the object,
Shape measurement method.
前記対象物の距離画像を前記複数のフレームにわたって取得する処理と、
複数のフレームのそれぞれの前記距離画像から前記対象物の特徴点を検出する処理と、
前記対象物に対して設定した座標系に、検出した前記特徴点を書き込む処理と、をコンピュータに実行させる、
形状測定プログラム。 Processing for acquiring a two-dimensional image of an object over a plurality of frames;
Processing to obtain a distance image of the object over the plurality of frames;
Processing for detecting feature points of the object from the distance images of each of a plurality of frames;
Causing the computer to execute processing for writing the detected feature points in the coordinate system set for the object,
Shape measurement program.
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2018054347A JP7000940B2 (en) | 2018-03-22 | 2018-03-22 | Shape measuring device, shape measuring method and program |
US16/296,185 US11080875B2 (en) | 2018-03-22 | 2019-03-07 | Shape measuring apparatus, shape measuring method, non-transitory computer readable medium storing program |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2018054347A JP7000940B2 (en) | 2018-03-22 | 2018-03-22 | Shape measuring device, shape measuring method and program |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2019168251A true JP2019168251A (en) | 2019-10-03 |
JP7000940B2 JP7000940B2 (en) | 2022-01-19 |
Family
ID=68107185
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2018054347A Active JP7000940B2 (en) | 2018-03-22 | 2018-03-22 | Shape measuring device, shape measuring method and program |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP7000940B2 (en) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2023189601A1 (en) * | 2022-03-29 | 2023-10-05 | ソニーグループ株式会社 | Information processing device, recording medium, and information processing method |
Citations (12)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2011013121A (en) * | 2009-07-02 | 2011-01-20 | Sobal Kk | Three-dimensional shape measuring apparatus and three-dimensional shape measurement method |
JP2011133273A (en) * | 2009-12-22 | 2011-07-07 | Canon Inc | Estimation apparatus and control method thereof, and program |
WO2012073381A1 (en) * | 2010-12-03 | 2012-06-07 | 富士通株式会社 | Biometric authentication device and biometric authentication method |
JP2012185665A (en) * | 2011-03-04 | 2012-09-27 | Fuji Heavy Ind Ltd | Vehicle external monitoring device |
WO2013021767A1 (en) * | 2011-08-10 | 2013-02-14 | 富士フイルム株式会社 | Device and method for detecting moving objects |
JP2013530757A (en) * | 2010-06-22 | 2013-08-01 | スリーディー システムズ インコーポレーテッド | Custom-made appliances, casts and tools with fenestrations, limited flexibility and modular construction, and methods of design and fabrication |
JP2014240800A (en) * | 2013-06-12 | 2014-12-25 | 株式会社ブリヂストン | Inspection auxiliary device |
US20150022640A1 (en) * | 2013-07-22 | 2015-01-22 | Hexagon Technology Center Gmbh | Method and system for volume determination using a structure from motion algorithm |
JP2015192443A (en) * | 2014-03-31 | 2015-11-02 | 株式会社ニコン | Image generating device, image retrieval device, image generating program and image retrieval program |
JP2016218920A (en) * | 2015-05-25 | 2016-12-22 | キヤノン株式会社 | Information processor, information processing method, and program |
JP2017084307A (en) * | 2015-10-30 | 2017-05-18 | キヤノン株式会社 | Information processing device, control method therefor, program, and recording medium |
JP2017150893A (en) * | 2016-02-23 | 2017-08-31 | ソニー株式会社 | Ranging module, ranging system, and control method of ranging module |
-
2018
- 2018-03-22 JP JP2018054347A patent/JP7000940B2/en active Active
Patent Citations (12)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2011013121A (en) * | 2009-07-02 | 2011-01-20 | Sobal Kk | Three-dimensional shape measuring apparatus and three-dimensional shape measurement method |
JP2011133273A (en) * | 2009-12-22 | 2011-07-07 | Canon Inc | Estimation apparatus and control method thereof, and program |
JP2013530757A (en) * | 2010-06-22 | 2013-08-01 | スリーディー システムズ インコーポレーテッド | Custom-made appliances, casts and tools with fenestrations, limited flexibility and modular construction, and methods of design and fabrication |
WO2012073381A1 (en) * | 2010-12-03 | 2012-06-07 | 富士通株式会社 | Biometric authentication device and biometric authentication method |
JP2012185665A (en) * | 2011-03-04 | 2012-09-27 | Fuji Heavy Ind Ltd | Vehicle external monitoring device |
WO2013021767A1 (en) * | 2011-08-10 | 2013-02-14 | 富士フイルム株式会社 | Device and method for detecting moving objects |
JP2014240800A (en) * | 2013-06-12 | 2014-12-25 | 株式会社ブリヂストン | Inspection auxiliary device |
US20150022640A1 (en) * | 2013-07-22 | 2015-01-22 | Hexagon Technology Center Gmbh | Method and system for volume determination using a structure from motion algorithm |
JP2015192443A (en) * | 2014-03-31 | 2015-11-02 | 株式会社ニコン | Image generating device, image retrieval device, image generating program and image retrieval program |
JP2016218920A (en) * | 2015-05-25 | 2016-12-22 | キヤノン株式会社 | Information processor, information processing method, and program |
JP2017084307A (en) * | 2015-10-30 | 2017-05-18 | キヤノン株式会社 | Information processing device, control method therefor, program, and recording medium |
JP2017150893A (en) * | 2016-02-23 | 2017-08-31 | ソニー株式会社 | Ranging module, ranging system, and control method of ranging module |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2023189601A1 (en) * | 2022-03-29 | 2023-10-05 | ソニーグループ株式会社 | Information processing device, recording medium, and information processing method |
Also Published As
Publication number | Publication date |
---|---|
JP7000940B2 (en) | 2022-01-19 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US9767563B2 (en) | Image processing apparatus and method for obtaining position and orientation of imaging apparatus | |
US8493389B2 (en) | 3D connected shadow mouse pointer | |
US20200033109A1 (en) | Workpiece measurement device, workpiece measurement method and non-transitory computer readable medium recording a program | |
KR20150121179A (en) | Real time stereo matching | |
US11490062B2 (en) | Information processing apparatus, information processing method, and storage medium | |
US9836130B2 (en) | Operation input device, operation input method, and program | |
US20210350115A1 (en) | Methods and apparatus for identifying surface features in three-dimensional images | |
CN109313821A (en) | Three dimensional object scanning feedback | |
CN110398215A (en) | Image processing apparatus and method, system, article manufacturing method, storage medium | |
EP3309750A1 (en) | Image processing apparatus and image processing method | |
CN115049744A (en) | Robot hand-eye coordinate conversion method and device, computer equipment and storage medium | |
US11080875B2 (en) | Shape measuring apparatus, shape measuring method, non-transitory computer readable medium storing program | |
JP7000940B2 (en) | Shape measuring device, shape measuring method and program | |
CN110779460B (en) | Offline guidance device, measurement control device, and storage medium | |
JP7000941B2 (en) | Processing device, 3D model division method and program | |
JP2018049498A (en) | Image processor, operation detection method, computer program, and storage medium | |
US9824455B1 (en) | Detecting foreground regions in video frames | |
JP2015114762A (en) | Finger operation detection device, finger operation detection method, finger operation detection program, and virtual object processing system | |
JP6643825B2 (en) | Apparatus and method | |
JP7020636B2 (en) | Optical interference tomography scan control | |
JP6894398B2 (en) | Object tracking device, object tracking method, and object tracking program | |
Chen et al. | A 3-D point clouds scanning and registration methodology for automatic object digitization | |
JP2016153996A (en) | Coordinate acquisition system, display device, coordinate acquisition method, and program | |
JPWO2020111139A1 (en) | Coordinate calculation device, coordinate calculation method, and program | |
Kumar et al. | Multimodal interface for temporal pattern based interactive large volumetric visualization |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20200831 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20210721 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20210803 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20210928 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20211124 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20211207 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7000940 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |