JP2018185658A - Information processing apparatus, information processing method, and program - Google Patents
Information processing apparatus, information processing method, and program Download PDFInfo
- Publication number
- JP2018185658A JP2018185658A JP2017087162A JP2017087162A JP2018185658A JP 2018185658 A JP2018185658 A JP 2018185658A JP 2017087162 A JP2017087162 A JP 2017087162A JP 2017087162 A JP2017087162 A JP 2017087162A JP 2018185658 A JP2018185658 A JP 2018185658A
- Authority
- JP
- Japan
- Prior art keywords
- measurement model
- feature
- shape
- target object
- information processing
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Abstract
Description
本発明は、特に、対象物体の位置姿勢を推定するための特徴群を判定するために用いて好適な情報処理装置、情報処理方法およびプログラムに関する。 The present invention particularly relates to an information processing apparatus, an information processing method, and a program suitable for use in determining a feature group for estimating a position and orientation of a target object.
従来、物体の３次元形状モデルに基づいて生成した特徴群を、物体を撮影した画像に当てはめることによってカメラの位置姿勢を推定する技術が知られている。例えば、特許文献１には、物体のＣＡＤモデルに基づいて抽出した特徴群の中から位置姿勢の推定に利用する特徴を予め選択しておき、選択した特徴を用いて位置姿勢の推定を行う方法が開示されている。 Conventionally, a technique for estimating the position and orientation of a camera by applying a feature group generated based on a three-dimensional shape model of an object to an image obtained by photographing the object is known. For example, Patent Document 1 discloses a method for selecting a feature to be used for position and orientation estimation from a feature group extracted based on a CAD model of an object, and estimating the position and orientation using the selected feature. Is disclosed.
しかしながら、物体のＣＡＤモデルとして物体の形状を計測したデータに基づいて生成した３次元計測モデル（以下、計測モデルと呼ぶ）は、欠損や微小な凹凸などを含んでいる。このため、位置姿勢の推定に用いる特徴群を計測モデルから抽出する場合、このような欠損等により誤った特徴が抽出される可能性がある。このため、物体の位置姿勢を推定する精度が低下する恐れがある。 However, a three-dimensional measurement model (hereinafter referred to as a measurement model) generated based on data obtained by measuring the shape of an object as a CAD model of the object includes defects, minute irregularities, and the like. For this reason, when a feature group used for position and orientation estimation is extracted from a measurement model, an erroneous feature may be extracted due to such a defect. For this reason, the accuracy of estimating the position and orientation of the object may be reduced.
本発明は前述の問題点に鑑み、物体の計測モデルに基づいて抽出した特徴の信頼度を求めることを目的としている。 The present invention has been made in view of the above-described problems, and an object of the present invention is to obtain reliability of features extracted based on an object measurement model.
本発明に係る情報処理装置は、対象物体の形状を計測して生成した計測モデルと、前記計測モデルに基づいて抽出された特徴とに基づいて、前記対象物体の形状と前記計測モデルの形状との差異を解析する解析手段と、前記解析手段による解析の結果に基づいて、抽出された前記特徴の信頼度を決定する決定手段とを有することを特徴とする。 The information processing apparatus according to the present invention includes: a measurement model generated by measuring a shape of a target object; and a feature extracted based on the measurement model, and the shape of the target object and the shape of the measurement model. And analyzing means for analyzing the difference between them, and determining means for determining the reliability of the extracted feature based on the result of analysis by the analyzing means.
本発明によれば、物体の計測モデルに基づいて抽出した特徴の信頼度を求めることができる。これにより、例えば、抽出した特徴を用いて物体の位置姿勢を推定する場合に、推定の精度をより向上させることができる。 According to the present invention, the reliability of features extracted based on an object measurement model can be obtained. Thereby, for example, when estimating the position and orientation of the object using the extracted features, the estimation accuracy can be further improved.
（第１の実施形態）
本実施形態では、計測モデルに基づいて抽出した特徴の中から、位置姿勢の推定に利用しないことが望ましいと推定される特徴の信頼度を低く算出する。ここで信頼度とは、対象物体の形状と前記特徴との整合性の高さを示すものである。具体的には、対象物体の形状と計測モデルの形状との差異として、表面形状が欠如している欠損箇所において抽出してしまった特徴を特定し、欠損箇所以外において抽出した特徴の信頼度よりも信頼度を低く算出する。これにより、特徴を用いた位置姿勢の推定において、欠損箇所における特徴の利用を抑制することが可能となり、位置姿勢を推定する精度を向上させることができる。以下、詳細について説明する。
(First embodiment)
In this embodiment, from the features extracted based on the measurement model, the reliability of features that are estimated not to be used for position and orientation estimation is calculated low. Here, the reliability indicates the degree of consistency between the shape of the target object and the feature. Specifically, as a difference between the shape of the target object and the shape of the measurement model, the feature extracted in the missing part lacking the surface shape is identified, and the reliability of the feature extracted in other than the missing part is determined. Also calculate low reliability. Thereby, in the estimation of the position and orientation using the feature, it becomes possible to suppress the use of the feature in the missing part, and the accuracy of estimating the position and orientation can be improved. Details will be described below.
図１は、本実施形態に係る情報処理装置１００の機能構成例を示すブロック図である。
図１において、情報処理装置１００は、計測モデル入力部１０２、特徴入力部１０３、形状解析部１０４、信頼度算出部１０５及び表示制御部１０６を備えている。また、計測モデル入力部１０２及び特徴入力部１０３は、情報処理装置１００の外部に設けられた記憶装置１０１と接続されている。
FIG. 1 is a block diagram illustrating a functional configuration example of the information processing apparatus 100 according to the present embodiment.
In FIG. 1, the information processing apparatus 100 includes a measurement model input unit 102, a feature input unit 103, a shape analysis unit 104, a reliability calculation unit 105, and a display control unit 106. The measurement model input unit 102 and the feature input unit 103 are connected to a storage device 101 provided outside the information processing apparatus 100.
計測モデル入力部１０２は、記憶装置１０１から計測モデルを入力する。特徴入力部１０３は、該計測モデルに基づいて予め抽出されている特徴を記憶装置１０１から入力する。形状解析部１０４は、特徴入力部１０３で入力した特徴と計測モデル入力部１０２で入力した計測モデルとを用いて、各特徴の近傍の計測モデルの箇所が欠損しているか否かを判定する。信頼度算出部１０５は、形状解析部１０４で実施した欠損判定に基づいて、特徴ごとの信頼度を算出する。表示制御部１０６は、入力した特徴や計測モデル等を表示装置１０７に表示する。また、記憶装置１０１には、対象物体に係る計測モデル及び撮影画像と、該計測モデルに基づいて抽出された特徴などが記憶されている。 The measurement model input unit 102 inputs a measurement model from the storage device 101. The feature input unit 103 inputs a feature extracted in advance based on the measurement model from the storage device 101. The shape analysis unit 104 determines whether or not a portion of the measurement model near each feature is missing using the feature input by the feature input unit 103 and the measurement model input by the measurement model input unit 102. The reliability calculation unit 105 calculates the reliability for each feature based on the defect determination performed by the shape analysis unit 104. The display control unit 106 displays the input features, measurement models, and the like on the display device 107. Further, the storage device 101 stores a measurement model and a captured image related to the target object, and features extracted based on the measurement model.
図２は、本実施形態における全体的な処理手順の一例を示すフローチャートである。
（ステップＳ２００）
計測モデル入力部１０２は、記憶装置１０１から計測モデルを入力する。ここで、入力される計測モデルは、対象物体の形状を計測したデータに基づいて生成された３次元形状モデルとし、頂点と稜線とで表現される複数のポリゴンで構成される表面形状を有するモデルとする。対象物体の形状を３次元スキャナで計測した３次元点群から表面形状を生成する方法は、例えば、非特許文献１に記載の方法がある。この方法では、３次元点群に局所的な曲面を当て嵌め、当てはめた曲面を複数のポリゴンに分割する。
FIG. 2 is a flowchart showing an example of the overall processing procedure in the present embodiment.
(Step S200)
The measurement model input unit 102 inputs a measurement model from the storage device 101. Here, the input measurement model is a three-dimensional shape model generated based on data obtained by measuring the shape of the target object, and has a surface shape composed of a plurality of polygons represented by vertices and ridge lines. And As a method for generating a surface shape from a three-dimensional point group obtained by measuring the shape of a target object with a three-dimensional scanner, for example, there is a method described in Non-Patent Document 1. In this method, a local curved surface is fitted to a three-dimensional point group, and the fitted curved surface is divided into a plurality of polygons.
（ステップＳ２０１）
特徴入力部１０３は、記憶装置１０１から計測モデルに基づいて予め抽出された特徴を入力する。本実施形態において予め抽出されている特徴は、エッジ特徴とする。エッジ特徴は、３次元の位置と方向を保持する。計測モデルに基づいてエッジ特徴を抽出する方法は次の通りである。
(Step S201)
The feature input unit 103 inputs features previously extracted from the storage device 101 based on the measurement model. The feature extracted in advance in this embodiment is an edge feature. Edge features retain a three-dimensional position and orientation. The method for extracting edge features based on the measurement model is as follows.
まず、計測モデルを任意の視点で画像に投影し、各画素位置に対応する計測モデルの箇所の奥行値を算出する。奥行値は、視点と各画素とを結ぶ線分と計測モデルとの交点を通りかつ視軸方向に垂直な平面から、視点位置までの距離とする。次に、隣接する画素間の奥行値の差を算出する。そして、算出した奥行き値の差が所定の値以上となる画素位置に対応する計測モデルの箇所をエッジ特徴の位置とする。また、エッジから該エッジの近傍に存在するエッジまでの方向を、エッジ特徴の方向とする。 First, the measurement model is projected onto the image from an arbitrary viewpoint, and the depth value of the location of the measurement model corresponding to each pixel position is calculated. The depth value is the distance from the plane passing through the intersection of the line connecting the viewpoint and each pixel and the measurement model and perpendicular to the visual axis direction to the viewpoint position. Next, a difference in depth value between adjacent pixels is calculated. Then, the position of the measurement model corresponding to the pixel position where the difference between the calculated depth values is a predetermined value or more is set as the position of the edge feature. The direction from the edge to the edge existing in the vicinity of the edge is defined as the direction of the edge feature.
なお、エッジ特徴の位置は、上述した以外の方法で抽出したものであってもよい。例えば、計測モデルの曲率を算出し、曲率が予め定めた閾値よりも大きい箇所をエッジ特徴の位置として抽出したものでもよい。 Note that the position of the edge feature may be extracted by a method other than that described above. For example, the curvature of the measurement model may be calculated, and a portion where the curvature is larger than a predetermined threshold may be extracted as the edge feature position.
また、抽出されている特徴はエッジ特徴に限らず、例えば、計測モデルの表面上の点（以下、表面点と呼ぶ）としてもよい。表面点は、３次元の位置と法線方向とする。計測モデルから表面点を抽出する方法は、次の通りである。まず、計測モデルを任意の視点で画像上に投影し、投影画像において均一の画素間隔で画素を選択する。そして、選択した画素位置と視点位置とを結ぶ線分と、計測モデルとの交点を表面点の位置とする。また、該表面点の位置が含まれるポリゴンの法線方向を表面点の法線方向とする。なお、計測モデルから表面点を抽出する方法は、計測モデルの表面上の点が抽出できれば別の方法であってもよい。例えば、計測モデルのポリゴンの頂点を表面点としてもよい。また、エッジ特徴と表面転との両方を入力するようにしてもよい。 Further, the extracted feature is not limited to the edge feature, and may be, for example, a point on the surface of the measurement model (hereinafter referred to as a surface point). The surface point has a three-dimensional position and normal direction. The method for extracting surface points from the measurement model is as follows. First, a measurement model is projected onto an image from an arbitrary viewpoint, and pixels are selected at a uniform pixel interval in the projected image. And the intersection of the line segment which connects the selected pixel position and viewpoint position, and a measurement model is made into the position of a surface point. The normal direction of the polygon including the position of the surface point is defined as the normal direction of the surface point. The method for extracting the surface points from the measurement model may be another method as long as the points on the surface of the measurement model can be extracted. For example, the vertex of the polygon of the measurement model may be used as the surface point. Further, both edge features and surface rolling may be input.
さらに、特徴入力部１０３は、計測モデルに基づいて抽出された特徴を入力したが、これに限らず、計測モデル、対象物体を撮影した画像及び撮影視点に基づいて抽出された特徴を入力するようにしてもよい。この場合、対象物体を撮影した画像は濃淡画像または距離画像とする。濃淡画像は、画素値として輝度値を保持し、距離画像は、画素値として距離値を保持する。エッジ特徴の位置の算出方法は次の通りである。まず、画像の隣接する画素間の輝度値または距離値の差が所定の値よりも大きくなる画素位置を、エッジ特徴の２次元位置として算出する。次に、撮影視点と該エッジ特徴の２次元位置を結ぶ線分と、計測モデルとの交点を算出する。そして、算出した交点を該エッジ特徴の３次元位置とする。表面点を特徴とする場合は、撮影視点と画像上で任意に選択した画素位置とを結ぶ線分と、計測モデルとの交点を表面点として算出する。 Further, the feature input unit 103 inputs the feature extracted based on the measurement model. However, the feature input unit 103 is not limited thereto, and inputs the feature extracted based on the measurement model, the image of the target object, and the shooting viewpoint. It may be. In this case, an image obtained by photographing the target object is a grayscale image or a distance image. The grayscale image holds a luminance value as a pixel value, and the distance image holds a distance value as a pixel value. The calculation method of the position of the edge feature is as follows. First, a pixel position where the difference in luminance value or distance value between adjacent pixels of the image is larger than a predetermined value is calculated as a two-dimensional position of the edge feature. Next, an intersection point between the line segment connecting the photographing viewpoint and the two-dimensional position of the edge feature and the measurement model is calculated. The calculated intersection is set as the three-dimensional position of the edge feature. When a surface point is a feature, an intersection point between a line segment connecting a photographing viewpoint and a pixel position arbitrarily selected on the image and the measurement model is calculated as a surface point.
（ステップＳ２０２）
以下、ステップＳ２０１で入力した各特徴に対して処理を行うループである。
(Step S202)
The following is a loop for performing processing on each feature input in step S201.
（ステップＳ２０３）
形状解析部１０４は、処理対象である特徴の近傍の計測モデルの箇所が欠損しているか否かを判定する。具体的には、次の通りである。まず、処理対象の特徴と計測モデルの各ポリゴンとの距離を算出し、該距離が最小となるポリゴンを選択する。次に、選択したポリゴンの各稜線に関して、稜線を共有するポリゴンの数を算出し、該ポリゴンの数が１つのみとなる場合には、該稜線と特徴との距離を算出する。そして、算出した距離が予め定めた値よりも小さかった場合には、該特徴の近傍の計測モデルの箇所が欠損していると判定する。
(Step S203)
The shape analysis unit 104 determines whether or not the location of the measurement model near the feature to be processed is missing. Specifically, it is as follows. First, the distance between the feature to be processed and each polygon of the measurement model is calculated, and the polygon that minimizes the distance is selected. Next, for each ridgeline of the selected polygon, the number of polygons sharing the ridgeline is calculated, and when the number of polygons is only one, the distance between the ridgeline and the feature is calculated. If the calculated distance is smaller than a predetermined value, it is determined that the location of the measurement model near the feature is missing.
なお、欠損の判定方法は、上述した方法に限らず、別の方法であってもよい。例えば、処理対象の特徴と最近傍となる計測モデルのポリゴンとの距離を算出し、該距離が予め定めた値よりも大きかった場合には、該特徴の近傍の計測モデルの箇所に形状の欠損があると判定するようにしてもよい。 In addition, the determination method of a defect | deletion is not restricted to the method mentioned above, Another method may be sufficient. For example, if the distance between the feature to be processed and the polygon of the nearest measurement model is calculated, and the distance is greater than a predetermined value, the shape is missing at the location of the measurement model near the feature. It may be determined that there is.
（ステップＳ２０４）
ステップＳ２０３で実施した欠損判定の結果に基づいて、信頼度算出部１０５は、その特徴の信頼度を算出する。信頼度は、ステップＳ２０３で欠損と判定した場合には、欠損と判定しなかった場合と比べて低く算出する。例えば、欠損と判定した場合には該特徴の信頼度を０とし、欠損と判定しなかった場合には１とする。あるいは、ステップＳ２０３で算出した該稜線と特徴との距離が大きいほど低い値となる関数、例えば、以下の式（１）を用いて信頼度ｗを算出する。この場合、ｄは、該稜線と特徴との距離とする。
ｗ＝１／（ｄ＋１） ・・・（１）
(Step S204)
Based on the result of the defect determination performed in step S203, the reliability calculation unit 105 calculates the reliability of the feature. The reliability is calculated to be lower when it is determined as missing in step S203 than when it is not determined as missing. For example, the reliability of the feature is set to 0 when it is determined as missing, and is set to 1 when it is not determined as missing. Alternatively, the reliability w is calculated using a function having a lower value as the distance between the ridge line calculated in step S203 and the feature is larger, for example, the following equation (1). In this case, d is the distance between the ridge line and the feature.
w = 1 / (d + 1) (1)
図９は、本実施形態において、表示制御部１０６によって表示される画面の一例を示す図である。以下、特徴の削除や追加を行う方法について説明する。
画像表示部９００には、計測モデルと特徴とが表示され、特徴の削除や追加を行う箇所を、カーソル９０３を用いて指定することができる。カーソルの操作は、情報処理装置１００の外部に接続された不図示のマウスを用いて行うことができる。欄９０５は、画像表示部９００で表示される特徴及び計測モデルに係る信頼度などを選択する欄である。また、欄９０１は、編集対象及び編集操作の選択を行う編集操作部である。
FIG. 9 is a diagram illustrating an example of a screen displayed by the display control unit 106 in the present embodiment. Hereinafter, a method for deleting and adding features will be described.
The image display unit 900 displays the measurement model and the feature, and a location where the feature is deleted or added can be designated using the cursor 903. The cursor operation can be performed using a mouse (not shown) connected to the outside of the information processing apparatus 100. A column 905 is a column for selecting characteristics displayed on the image display unit 900, reliability related to the measurement model, and the like. A column 901 is an editing operation unit for selecting an editing target and an editing operation.
図９に示す例では、画像表示部９００に表示する特徴としてエッジ特徴及び表面点、表示する形状の差異の種別として形状の欠損、さらに計測モデルをそれぞれ表示するように選択されている。画像表示部９００では、計測モデル９０２とエッジ特徴（×印）及び表面点（黒丸印）をそれぞれ同一の視点に基づいて画像上に投影し、表示している。また、欠損箇所を示す画像９０４を計測モデル９０２上に重畳して表示している。なお、欠損箇所に該当するエッジ特徴及び表面点が識別可能なように、他の特徴及び表面点とは異なる色や形で表示してもよい。図９の例では、欠損箇所においてエッジ特徴が存在していることが分かる。欠損箇所において誤って抽出されたエッジ特徴を除去する場合には、欄９０１においてエッジ除去を選択し、画像表示部９００においてカーソル９０３で除去対象となるエッジ特徴を選択することで、該エッジ特徴を除去することができる。 In the example shown in FIG. 9, an edge feature and a surface point are selected as features to be displayed on the image display unit 900, a shape defect is displayed as a type of difference in shape to be displayed, and a measurement model is selected. In the image display unit 900, the measurement model 902, the edge feature (x mark), and the surface point (black circle mark) are projected and displayed on the image based on the same viewpoint. In addition, an image 904 showing a missing portion is superimposed on the measurement model 902 and displayed. In addition, you may display with the color and shape different from another feature and surface point so that the edge feature and surface point applicable to a defect | deletion location can be identified. In the example of FIG. 9, it can be seen that an edge feature exists at the missing portion. When removing an edge feature that has been erroneously extracted from a missing portion, the edge feature is selected by selecting edge removal in the field 901 and selecting an edge feature to be removed by the cursor 903 in the image display unit 900. Can be removed.
以上のように計測モデルと特徴とを同時に表示することにより、ユーザは、特徴の誤りを容易に確認することが可能となる。また、特徴の削除及び追加を行うことが可能となる。なお、計測モデル及び特徴を表示したが、これに限らず、特徴の正誤が確認できる情報であれば、他の情報を表示してもよい。例えば、エッジ特徴の方向や、表面点の法線方向を示す線分をさらに表示するようにしてもよい。 By displaying the measurement model and the feature at the same time as described above, the user can easily confirm the feature error. It is also possible to delete and add features. Although the measurement model and the feature are displayed, the present invention is not limited to this, and other information may be displayed as long as the feature can be confirmed. For example, a line segment indicating the direction of the edge feature or the normal direction of the surface point may be further displayed.
また、図９に示した例では、マウスを用いてカーソルを動かし、カーソルを用いて特徴の削除または追加を行う箇所を指定したが、それ以外の方法で指定してもよい。例えば、表示装置１０７にタッチパネル機能が存在する場合には、ユーザによるタッチなどで指定してもよい。また、指定方法として、削除または追加を行う箇所を指定する代わりに、削除または追加を行う領域を指定してもよい。あるいは、削除または追加を行わない領域を指定し、指定した領域以外の領域の特徴の削除または追加を行うようにしてもよい。 In the example shown in FIG. 9, the cursor is moved using the mouse, and the location where the feature is to be deleted or added is specified using the cursor, but may be specified by other methods. For example, when the display device 107 has a touch panel function, the display device 107 may be designated by a user touch or the like. Further, as a designation method, instead of designating a place to be deleted or added, an area to be deleted or added may be designated. Alternatively, an area that is not deleted or added may be specified, and features of areas other than the specified area may be deleted or added.
また、図９に示した例では、計測モデルと特徴とを重畳して表示したが、両者を同時に表示できればよく、別の表示方法であっても良い。例えば、画像表示部を複数設け、計測モデル、エッジ特徴、表面点をそれぞれの画像表示部で表示するようにしてもよい。 In the example shown in FIG. 9, the measurement model and the feature are superimposed and displayed, but it is only necessary that both can be displayed simultaneously, and another display method may be used. For example, a plurality of image display units may be provided, and measurement models, edge features, and surface points may be displayed on the respective image display units.
以上のように本実施形態によれば、特徴を用いた位置姿勢推定において、欠損箇所における特徴の利用を抑制することが可能となり、位置姿勢を推定する精度を向上させることができる。 As described above, according to the present embodiment, in the position and orientation estimation using features, it is possible to suppress the use of features in the missing part, and the accuracy of estimating the position and orientation can be improved.
なお、本実施形態では、欠損判定を行う計測モデルの箇所は、１つの特徴の近傍の計測モデルの箇所として説明したが、複数の特徴の近傍の計測モデルの箇所としてもよい。また、本実施形態では、特徴ごとに欠損判定と信頼度の算出とを行ったが、全ての特徴に関して欠損判定を実施した後で、それぞれの特徴の信頼度を算出するようにしてもよい。 In the present embodiment, the location of the measurement model for performing the defect determination has been described as the location of the measurement model near one feature, but may be the location of the measurement model near a plurality of features. In this embodiment, the defect determination and the reliability calculation are performed for each feature. However, after performing the defect determination for all the features, the reliability of each feature may be calculated.
（第２の実施形態）
第１の実施形態では、計測モデルの形状を解析することにより欠損の有無を判定した。これに対して本実施形態では、計測モデルと画像との両方を用いて計測モデルの形状を解析して欠損の有無を判定する。画像で撮影された箇所のみ形状の解析を行うため、特徴が抽出された箇所全ての形状の解析を行う場合と比べて、効率的に処理を行うことが可能となる。なお、本実施形態に係る情報処理装置１００の構成は基本的には図１と同様であるが、特徴入力部１０３は、記憶装置１０１から対象物体を複数の視点で撮影した複数の画像及び撮影視点情報を入力する。画像は、距離画像または濃淡画像とする。以下、第１の実施形態と異なる部分について説明する。
(Second Embodiment)
In the first embodiment, the presence or absence of a defect is determined by analyzing the shape of the measurement model. On the other hand, in this embodiment, the presence or absence of a defect is determined by analyzing the shape of the measurement model using both the measurement model and the image. Since the shape analysis is performed only on the portion photographed in the image, the processing can be performed more efficiently than in the case of analyzing the shape of all the portions where the features are extracted. Note that the configuration of the information processing apparatus 100 according to the present embodiment is basically the same as that in FIG. Enter viewpoint information. The image is a distance image or a grayscale image. Hereinafter, a different part from 1st Embodiment is demonstrated.
図３は、本実施形態における全体的な処理手順の一例を示すフローチャートである。なお、図２と同様の処理については説明を省略し、第１の実施形態と異なる点について説明する。 FIG. 3 is a flowchart illustrating an example of an overall processing procedure in the present embodiment. Note that a description of the same processing as in FIG. 2 is omitted, and only differences from the first embodiment will be described.
（ステップＳ３００）
特徴入力部１０３は、記憶装置１０１から対象物体を複数の視点で撮影した複数の画像及び撮影視点情報を入力する。
(Step S300)
The feature input unit 103 inputs a plurality of images obtained by photographing the target object from a plurality of viewpoints and photographing viewpoint information from the storage device 101.
（ステップＳ３０１）
形状解析部１０４は、特徴入力部１０３で入力した特徴と複数の画像及び撮影視点情報とを用いて、処理対象である特徴の近傍の計測モデルの箇所が欠損しているか否かを判定する。具体的には、次の通りである。
(Step S301)
The shape analysis unit 104 uses the feature input by the feature input unit 103, the plurality of images, and the shooting viewpoint information to determine whether or not the location of the measurement model near the feature to be processed is missing. Specifically, it is as follows.
ステップＳ３００で入力された複数の画像が距離画像である場合は、まず、形状解析部１０４は、計測モデルを撮影視点情報に基づいて距離画像上に投影する。次に、距離画像の各画素位置と視点を結ぶ線分と計測モデルとの交点を算出し、さらに、算出した交点と距離画像の該画素値（距離値）との差を算出する。そして、算出した値が所定の値よりも大きい場合には、該特徴の近傍の計測モデルの箇所が欠損していると判定する。 When the plurality of images input in step S300 are distance images, first, the shape analysis unit 104 projects the measurement model on the distance image based on the photographing viewpoint information. Next, an intersection point between a line segment connecting each pixel position of the distance image and the viewpoint and the measurement model is calculated, and further, a difference between the calculated intersection point and the pixel value (distance value) of the distance image is calculated. If the calculated value is larger than the predetermined value, it is determined that the location of the measurement model near the feature is missing.
一方、ステップＳ３００で入力された複数の画像が濃淡画像である場合は、まず、形状解析部１０４は、計測モデルの法線マップを生成し、ステップＳ３００において入力した各撮影視点情報に基づいて法線マップを描画した画像を生成する。法線マップは、３次元モデルの表面の微細な凹凸を表現するために使用するモデルの法線情報が格納されたテクスチャであり、法線ベクトルのＸ，Ｙ，Ｚ座標に対応したＲＧＢ画像で描画される。次に、法線マップ画像の隣接する画素間の画素値の差が、所定の値よりも大きくなる画素位置Ａを欠損箇所の候補として抽出する。次に、濃淡画像の隣接する画素間の画素値（輝度値）の差が、所定の値よりも大きくなる画素位置Ｂを抽出する。そして、欠損箇所の候補となった画素位置Ａの近傍に、濃淡画像の輝度値の差が所定の値よりも大きくなった画素位置Ｂが存在するか否かを探索する。画素位置Ｂが存在した場合には、画素位置Ａに対応する計測モデル上の位置を欠損箇所として判定する。 On the other hand, when the plurality of images input in step S300 are grayscale images, first, the shape analysis unit 104 generates a normal map of the measurement model, and based on each shooting viewpoint information input in step S300 Generate an image with a line map drawn. The normal map is a texture in which normal information of the model used for expressing fine irregularities on the surface of the three-dimensional model is stored, and is an RGB image corresponding to the X, Y, Z coordinates of the normal vector. Drawn. Next, a pixel position A where the difference in pixel value between adjacent pixels in the normal map image is larger than a predetermined value is extracted as a candidate for a missing portion. Next, a pixel position B where the difference in pixel value (luminance value) between adjacent pixels of the grayscale image is larger than a predetermined value is extracted. Then, a search is made as to whether or not there is a pixel position B in which the difference between the luminance values of the grayscale images is greater than a predetermined value in the vicinity of the pixel position A that is a candidate for the missing portion. When the pixel position B exists, the position on the measurement model corresponding to the pixel position A is determined as a missing part.
図１１は、本実施形態において、表示制御部１０６によって表示される画面の一例を示す図である。この例では、表示する特徴としてエッジ特徴及び表面点、さらに画像をそれぞれ表示するように選択されている。画像表示部１１００には、エッジ特徴（×印）及び表面点（黒丸印）をそれぞれ同一の視点に基づいて画像上に投影し、対象物体を撮影した画像１１０２と共に表示さている。図１１に示す例では、欄９０１では表面点追加が選択され、画像表示部１１００においてカーソル１１０３を用いて特徴を追加する箇所を指定し、表面点を追加することができる。 FIG. 11 is a diagram illustrating an example of a screen displayed by the display control unit 106 in the present embodiment. In this example, the edge feature and the surface point, and the image are selected to be displayed as the feature to be displayed. On the image display unit 1100, edge features (x marks) and surface points (black circle marks) are projected on the image based on the same viewpoint, and displayed together with the image 1102 obtained by photographing the target object. In the example illustrated in FIG. 11, addition of a surface point is selected in the column 901, and a location where a feature is to be added can be specified using the cursor 1103 in the image display unit 1100 to add a surface point.
以上のように本実施形態によれば、画像で撮影された箇所のみ形状の解析を行うようにしたので、特徴が抽出された箇所全ての形状の解析を行う場合と比べて、効率的に処理を行うことが可能となる。 As described above, according to the present embodiment, the shape analysis is performed only on the portion photographed in the image, so that the processing is performed more efficiently than in the case of analyzing the shape of all the portions from which the features are extracted. Can be performed.
（第３の実施形態）
第１及び第２の実施形態では、計測モデルに基づいて予め抽出されていた特徴を入力した。本実施形態では、計測モデルを入力した後に、該計測モデルに基づいて情報処理装置側で特徴を抽出する。
(Third embodiment)
In the first and second embodiments, the features extracted in advance based on the measurement model are input. In the present embodiment, after inputting a measurement model, features are extracted on the information processing apparatus side based on the measurement model.
図４は、本実施形態に係る情報処理装置４００の機能構成例を示すブロック図である。情報処理装置４００は、計測モデル入力部１０２、特徴抽出部４０１、形状解析部１０４、信頼度算出部１０５及び表示制御部１０６を備えている。また、計測モデル入力部１０２は、情報処理装置４００の外部に設けられた記憶装置１０１と接続している。なお、特徴抽出部４０１以外の構成は、第１の実施形態と同様のため、ここでの説明は省略する。また、記憶装置１０１には、計測モデル、その対象物体を撮影した画像及び撮影視点情報などが記憶されている。 FIG. 4 is a block diagram illustrating a functional configuration example of the information processing apparatus 400 according to the present embodiment. The information processing apparatus 400 includes a measurement model input unit 102, a feature extraction unit 401, a shape analysis unit 104, a reliability calculation unit 105, and a display control unit 106. The measurement model input unit 102 is connected to a storage device 101 provided outside the information processing apparatus 400. Since the configuration other than the feature extraction unit 401 is the same as that of the first embodiment, a description thereof is omitted here. Further, the storage device 101 stores a measurement model, an image obtained by photographing the target object, photographing viewpoint information, and the like.
特徴抽出部４０１は、計測モデル入力部１０２で入力した計測モデルに基づいて特徴を抽出する。特徴の種類および抽出方法については、第１の実施形態で説明したものと同様の方法を用いる。また、さらに対象物体を撮影した画像及び撮影視点情報に基づいて特徴を抽出する場合は、計測モデル入力部１０２は、対象物体を撮影した画像及び撮影視点情報を記憶装置１０１から入力し、特徴抽出部４０１は、これらの入力した情報を用いて特徴を抽出する。 The feature extraction unit 401 extracts features based on the measurement model input by the measurement model input unit 102. About the kind of feature and extraction method, the method similar to what was demonstrated in 1st Embodiment is used. Further, in the case of extracting features based on an image obtained by photographing the target object and photographing viewpoint information, the measurement model input unit 102 inputs an image obtained by photographing the target object and photographing viewpoint information from the storage device 101, and performs feature extraction. The unit 401 extracts features using these input information.
なお、本実施形態における全体的な処理手順は図２と同様であるが、ステップＳ２０１では、特徴抽出部４０１は、計測モデル入力部１０２で入力した計測モデルに基づいて、特徴を抽出する。特徴の抽出方法は、例えば第１の実施形態で説明した方法とする。 The overall processing procedure in this embodiment is the same as that in FIG. 2, but in step S201, the feature extraction unit 401 extracts features based on the measurement model input by the measurement model input unit 102. The feature extraction method is, for example, the method described in the first embodiment.
以上のように本実施形態によれば、特徴が予め抽出されていない場合であっても、欠損箇所における特徴の利用を抑制することが可能となり、位置姿勢を推定する精度を向上させることができる。なお、本実施形態と第１又は第２の実施形態とを組み合わせることによって処理負荷を軽減するようにしてもよい。 As described above, according to the present embodiment, even when features are not extracted in advance, it is possible to suppress the use of features at a missing portion, and it is possible to improve the accuracy of estimating the position and orientation. . Note that the processing load may be reduced by combining this embodiment with the first or second embodiment.
（第４の実施形態）
第１〜第３の実施形態では、欠損箇所から誤って抽出した特徴の信頼度を低く算出した。本実施形態では、誤差が大きい箇所から抽出した特徴の信頼度を低く算出する。これにより、特徴を用いた位置姿勢の推定において、誤差が大きい箇所から誤って抽出した特徴の利用を抑制することが可能となり、位置姿勢を推定する精度が向上する。なお、本実施形態に係る情報処理装置１００の構成は基本的には図１と同様であるが、記憶装置１０１には、後述する計測モデルの誤差の情報が記憶されている。
(Fourth embodiment)
In the first to third embodiments, the reliability of the feature that is erroneously extracted from the missing portion is calculated to be low. In the present embodiment, the reliability of the feature extracted from the portion with a large error is calculated low. Thereby, in the position and orientation estimation using the feature, it is possible to suppress the use of the feature erroneously extracted from the portion having a large error, and the accuracy of estimating the position and orientation is improved. The configuration of the information processing apparatus 100 according to the present embodiment is basically the same as that in FIG. 1, but the storage apparatus 101 stores measurement model error information to be described later.
ここでの誤差は、計測モデルを生成した元の計測値（３次元座標値）ごとに算出され、記憶装置１０１に記憶されている。計測値の誤差は、計測装置の機械的な要因による誤差や複数回計測した時の各計測値の分散値（偶然誤差）とする。モデル化誤差は、各計測値と計測モデルとの間の距離とする。 The error here is calculated for each original measurement value (three-dimensional coordinate value) that generated the measurement model, and stored in the storage device 101. The error of the measurement value is an error due to a mechanical factor of the measurement device or a dispersion value (accidental error) of each measurement value when measured a plurality of times. The modeling error is a distance between each measurement value and the measurement model.
なお、本実施形態における全体的な処理手順は図２と同様であるが、ステップＳ２０３では、形状解析部１０４は、処理対象である特徴の近傍の計測モデルの箇所の誤差を記憶装置１０１から取得する。具体的には、特徴の箇所と最近傍となる位置の計測値の誤差を取得する。ステップＳ２０４では、信頼度算出部１０５は、ステップＳ２０３で取得した誤差が小さいほど高い信頼度を算出する。例えば、前述した式（１）を利用して距離ｄを誤差に置き換えて、信頼度ｗを算出する。 Note that the overall processing procedure in this embodiment is the same as that in FIG. 2, but in step S203, the shape analysis unit 104 acquires from the storage device 101 the error of the location of the measurement model near the feature to be processed. To do. Specifically, the error of the measured value at the position closest to the feature location is acquired. In step S204, the reliability calculation unit 105 calculates a higher reliability as the error acquired in step S203 is smaller. For example, the reliability w is calculated by replacing the distance d with an error using the above-described equation (1).
なお、記憶装置１０１に記憶されている誤差は、計測モデルを生成した元の計測値の誤差としたが、これに限らず、画像の計測誤差であってもよい。画像の計測誤差は、撮像ノイズ、ボケやブレなどの影響による画素値の分散値とする。具体的には、対象物体を複数回計測した時の画素値の分散値とし、画素ごとに算出する。これ以外にも、計測モデルを生成した元の計測値の誤差と画像の計測誤差の両方に基づいて誤差を算出してもよい。具体的には、計測モデルを生成した元の計測値の誤差（画像の計測誤差）を、計測モデルを生成した元の計測値の誤差（画像の計測誤差）の最大値で除することで正規化する。そして、計測モデルを生成した元の計測値の誤差と画像の計測誤差との和を算出し、これを誤差とする。 The error stored in the storage device 101 is the error of the original measurement value that generated the measurement model, but is not limited thereto, and may be an image measurement error. An image measurement error is a dispersion value of pixel values due to the influence of imaging noise, blurring, blurring, and the like. Specifically, a variance value of pixel values when the target object is measured a plurality of times is calculated for each pixel. In addition to this, the error may be calculated based on both the error of the original measurement value that generated the measurement model and the measurement error of the image. Specifically, the original measurement value error (image measurement error) that generated the measurement model is divided by the maximum value of the original measurement value error (image measurement error) that generated the measurement model. Turn into. Then, the sum of the error of the original measurement value that generated the measurement model and the measurement error of the image is calculated, and this is used as the error.
以上のように本実施形態によれば、特徴を用いた位置姿勢の推定において、誤差が大きい箇所から誤って抽出した特徴の利用を抑制することが可能となり、位置姿勢を推定する精度を向上させることができる。 As described above, according to the present embodiment, it is possible to suppress the use of features that are erroneously extracted from locations with large errors in position and orientation estimation using features, and improve the accuracy of position and orientation estimation. be able to.
（第５の実施形態）
本実施形態では、計測モデルに基づいて平面度を算出し、平面度に基づいて、エッジ特徴ごとの信頼度を算出する。これにより、実物には存在しない、計測モデルの微小な凹凸形状から抽出されたエッジ特徴を特定し、信頼度を低く算出することが可能となる。したがって、特徴を用いた位置姿勢の推定において、微小な凹凸形状から抽出されたエッジ特徴の利用を抑制することが可能となり、位置姿勢を推定する精度が向上する。なお、本実施形態に係る情報処理装置の内部構成については、基本的に図１と同様であるため、説明は省略する。
(Fifth embodiment)
In this embodiment, the flatness is calculated based on the measurement model, and the reliability for each edge feature is calculated based on the flatness. As a result, it is possible to specify an edge feature extracted from a minute uneven shape of the measurement model that does not exist in the real object, and to calculate the reliability low. Therefore, in the estimation of the position and orientation using the feature, it is possible to suppress the use of the edge feature extracted from the minute uneven shape, and the accuracy of estimating the position and orientation is improved. Note that the internal configuration of the information processing apparatus according to the present embodiment is basically the same as that shown in FIG.
なお、本実施形態における全体的な処理手順は図２と同様であるが、ステップＳ２０３では、形状解析部１０４は、処理対象である特徴の近傍の計測モデルの箇所の平面度を算出する。平面度は、該箇所に該当する計測モデルの頂点群及から推定される局所平面と、該頂点との距離の最大値とする。なお、算出した該距離の最大値が小さいほど、平面度は高くなる。ステップＳ２０４では、信頼度算出部１０５は、ステップＳ２０３で取得した平面度が高いほど低い信頼度を算出する。例えば、ステップＳ２０３で算出した局所平面と各頂点との距離の最大値を信頼度としてもよい。 Although the overall processing procedure in this embodiment is the same as that in FIG. 2, in step S203, the shape analysis unit 104 calculates the flatness of the location of the measurement model near the feature to be processed. The flatness is a maximum value of the distance between the local plane estimated from the vertex group of the measurement model corresponding to the location and the vertex. The flatness increases as the calculated maximum value of the distance decreases. In step S204, the reliability calculation unit 105 calculates a lower reliability as the flatness acquired in step S203 is higher. For example, the maximum value of the distance between the local plane and each vertex calculated in step S203 may be used as the reliability.
以上のように本実施形態によれば、特徴を用いた位置姿勢の推定において、微小な凹凸形状から抽出されたエッジ特徴の利用を抑制することが可能となり、位置姿勢を推定する精度を向上させることができる。 As described above, according to the present embodiment, it is possible to suppress the use of edge features extracted from minute uneven shapes in position and orientation estimation using features, and improve the accuracy of position and orientation estimation. be able to.
なお、本実施形態では平面度を計測モデルに基づいて算出したが、距離画像から平面度を算出してもよい。この場合には、図３に示す処理に従い、ステップＳ３０１では、形状解析部１０４は、特徴の近傍の距離画像の箇所の３次元点群から推定した局所平面と、各３次元点との距離の最大値を平面度として算出する。これ以外にも、計測モデルと距離画像との両方に基づいて平面度を算出してもよい。この場合には、計測モデル及び距離画像のそれぞれで平面度を算出し、両者の平面度のうち高い方を、該箇所の平面度とする。 In the present embodiment, the flatness is calculated based on the measurement model, but the flatness may be calculated from the distance image. In this case, according to the process shown in FIG. 3, in step S301, the shape analysis unit 104 calculates the distance between the local plane estimated from the three-dimensional point group at the location of the distance image near the feature and each three-dimensional point. The maximum value is calculated as flatness. In addition to this, the flatness may be calculated based on both the measurement model and the distance image. In this case, the flatness is calculated for each of the measurement model and the distance image, and the higher one of the two flatnesses is set as the flatness of the portion.
なお、本実施形態では、入力する特徴をエッジ特徴として説明したが、特徴を表面点としてもよい。この場合には、信頼度算出部１０５は、平面度が高いほど高い信頼度を算出する。例えば、例えば、前述した式（１）を利用して距離ｄを、ステップＳ２０３で算出した局所平面と各頂点との距離の最大値に置き換え、信頼度ｗを算出する。 In the present embodiment, the feature to be input is described as an edge feature, but the feature may be a surface point. In this case, the reliability calculation unit 105 calculates a higher reliability as the flatness is higher. For example, the reliability d is calculated by replacing the distance d with the maximum distance between the local plane calculated in step S203 and each vertex using the above-described equation (1), for example.
（第６の実施形態）
本実施形態では、計測モデルまたは画像の所定の箇所が観測可能か否かを判定し、観測不可能な該箇所から抽出された特徴の信頼度を低く算出する。これにより、特徴を用いた位置姿勢の推定において、本来観測できない裏側や内部の形状で抽出された特徴の利用を抑制することが可能となり、位置姿勢を推定する精度が向上する。なお、本実施形態に係る情報処理装置の内部構成は図１と同様であるため、説明は省略する。以下、第２の実施形態と異なる点についてのみ説明する。
(Sixth embodiment)
In this embodiment, it is determined whether or not a predetermined part of the measurement model or image can be observed, and the reliability of the feature extracted from the part that cannot be observed is calculated to be low. Thereby, in the position and orientation estimation using the features, it is possible to suppress the use of the features extracted from the back side and the internal shape that cannot be observed originally, and the accuracy of estimating the position and orientation is improved. The internal configuration of the information processing apparatus according to this embodiment is the same as that shown in FIG. Only differences from the second embodiment will be described below.
また、本実施形態における全体的な処理手順は図３と同様であり、ステップＳ３０１及びステップＳ２０４以外は、第２の実施形態と同様であるため、ここでの説明は省略する。 Further, the overall processing procedure in this embodiment is the same as that in FIG. 3, and steps other than step S301 and step S204 are the same as those in the second embodiment, and thus description thereof is omitted here.
（ステップＳ３０１）
形状解析部１０４は、処理対象である特徴の近傍の計測モデルまたは画像の箇所の観測判定を行う。ここで画像は、距離画像とする。観測判定方法は次の通りである。まず、特徴入力部１０３で入力した特徴ごとに近傍となる計測モデルまたは距離画像上の箇所を特定する。具体的には、該特徴と最近傍となる計測モデルのポリゴンまたは距離点を、該箇所として特定する。次に、該特徴から観測視点を結ぶベクトルと該箇所の法線ベクトルとのなす角度を算出する。そして、該なす角度が予め定めた所定の範囲を超える場合には、該特徴の近傍の計測モデルまたは画像の箇所を観測不可能と判定する。
(Step S301)
The shape analysis unit 104 performs observation determination of a measurement model or an image location near the feature to be processed. Here, the image is a distance image. The observation judgment method is as follows. First, for each feature input by the feature input unit 103, a nearby measurement model or a location on the distance image is specified. Specifically, the polygon or distance point of the measurement model that is closest to the feature is specified as the location. Next, an angle between a vector connecting the observation viewpoints and a normal vector of the portion is calculated from the feature. If the angle formed exceeds a predetermined range, it is determined that the measurement model or the location of the image near the feature cannot be observed.
（ステップＳ２０４）
信頼度算出部１０５は、ステップＳ２０３で観測不可能と判定した場合には、観測可能と判定した場合と比べて低い信頼度を算出する。例えば、観測不可能と判定した場合には該特徴の信頼度を０とし、観測可能と判定した場合には１とする。あるいは、該特徴から観測視点を結ぶベクトルの単位ベクトルｖと該箇所の法線ベクトルの単位ベクトルｎとの内積を信頼度ｗとして算出してもよい。
(Step S204)
When the reliability calculation unit 105 determines that observation is not possible in step S203, the reliability calculation unit 105 calculates a lower reliability than when it is determined that observation is possible. For example, the reliability of the feature is set to 0 when it is determined that observation is impossible, and is set to 1 when it is determined that observation is possible. Alternatively, the inner product of the unit vector v of the vector connecting the observation viewpoint from the feature and the unit vector n of the normal vector of the part may be calculated as the reliability w.
図１０は、本実施形態において、表示制御部１０６によって表示される画面の一例を示す図である。この例では、欄９０５では、表示する特徴としてエッジ特徴及び表面点、表示する特性として観測不可の領域を、さらに計測モデルをそれぞれ表示するように選択されている。画像表示部１０００では、計測モデル１００２とエッジ特徴（×印）及び表面点（黒丸印）とをそれぞれ同一の視点に基づいて画像上に投影し、表示している。また、観測不可な領域を示すテクスチャ１００４が計測モデル１００２上に重畳して表示している。なお、観測不可能な領域に該当するエッジ特徴及び表面点が識別可能なように、他の特徴及び表面点とは異なる色や形で表示してもよい。欄９０１では、表面点除去が選択され、カーソル１００３を使って除去対象となる表面点を指定し、除去することができる。 FIG. 10 is a diagram illustrating an example of a screen displayed by the display control unit 106 in the present embodiment. In this example, the column 905 is selected to display edge features and surface points as features to be displayed, unobservable regions as properties to be displayed, and a measurement model. In the image display unit 1000, the measurement model 1002, the edge feature (x mark), and the surface point (black circle mark) are projected and displayed on the image based on the same viewpoint. Further, a texture 1004 indicating an unobservable region is displayed superimposed on the measurement model 1002. It should be noted that the edge feature and the surface point corresponding to the unobservable region may be displayed in a color and shape different from those of the other feature and surface point. In a column 901, surface point removal is selected, and a surface point to be removed can be specified and removed using the cursor 1003.
以上のように本実施形態によれば、特徴を用いた位置姿勢の推定において、本来観測できない裏側や内部の形状で抽出された特徴の利用を抑制することが可能となり、位置姿勢を推定する精度を向上させることができる。 As described above, according to the present embodiment, it is possible to suppress the use of features extracted from the back side and the internal shape that cannot be observed in the estimation of the position and orientation using features, and the accuracy of estimating the position and orientation. Can be improved.
（第７の実施形態）
本実施形態では、計測モデルの形状と画像との比較に基づいて、実物には存在しない形状となっている計測モデルの箇所を特定し、該箇所から抽出した特徴の信頼度を低く算出する。これにより、特徴を用いた位置姿勢の推定において、実物には存在しない形状から抽出された特徴の利用を抑制することが可能となり、位置姿勢を推定する精度が向上する。なお、本実施形態に係る情報処理装置の内部構成は図１と同様であるため、説明は省略する。以下、第２の実施形態と異なる点についてのみ説明する。
(Seventh embodiment)
In the present embodiment, based on the comparison between the shape of the measurement model and the image, the location of the measurement model that has a shape that does not exist in the actual object is specified, and the reliability of the feature extracted from the location is calculated low. This makes it possible to suppress the use of features extracted from shapes that do not actually exist in the estimation of position and orientation using features, and improve the accuracy of estimating the position and orientation. The internal configuration of the information processing apparatus according to this embodiment is the same as that shown in FIG. Only differences from the second embodiment will be described below.
また、本実施形態における全体的な処理手順は図３と同様であり、ステップＳ３０１及びステップＳ２０４以外は、第２の実施形態と同様であるため、ここでの説明は省略する。
ステップＳ３０１では、形状解析部１０４は、処理対象である特徴の近傍の計測モデルの箇所と、該箇所に相当する画像とを比較する。具体的には、ステップＳ３００で入力された複数の画像が距離画像か濃淡画像かによって以下の処理を行う。
Further, the overall processing procedure in this embodiment is the same as that in FIG. 3, and steps other than step S301 and step S204 are the same as those in the second embodiment, and thus description thereof is omitted here.
In step S301, the shape analysis unit 104 compares the location of the measurement model in the vicinity of the feature to be processed with an image corresponding to the location. Specifically, the following processing is performed depending on whether the plurality of images input in step S300 are distance images or grayscale images.
ステップＳ３００で入力された複数の画像が距離画像である場合は、まず、処理対象である特徴の近傍の計測モデルの箇所として、該特徴と最近傍となる計測モデルのポリゴンを特定する。次に特定したポリゴンを、ステップＳ３００で入力した撮影視点情報に基づいて画像上に投影し、画像上での画素位置を求める。そして、求めた画素位置における距離画像の３次元点群と該ポリゴンとの距離の分散値を算出する。なお、分散値が大きいほど、実物には存在しない形状である可能性が高いことを示している。 If the plurality of images input in step S300 are distance images, first, the measurement model polygon closest to the feature is specified as the location of the measurement model near the feature to be processed. Next, the specified polygon is projected on the image based on the photographing viewpoint information input in step S300, and the pixel position on the image is obtained. Then, a variance value of the distance between the three-dimensional point group of the distance image at the obtained pixel position and the polygon is calculated. In addition, it has shown that possibility that it is a shape which does not exist in a real thing is so high that a dispersion value is large.
ステップＳ２０４では、信頼度算出部１０５は、ステップＳ３０１で実施した比較結果に基づいて信頼度を算出する。具体的には、算出した距離の分散値が大きいほど低い信頼度を算出する。例えば、前述した式（１）を利用し、距離ｄを分散値σに置き換えて、信頼度ｗを算出する。なお、距離画像が保持する３次元点群と計測モデルのポリゴンとの距離の分散値を用いて信頼度を算出したが、別の方法であってもよい。例えば、分散値に代わって、距離画像が保持する３次元点群と計測モデルのポリゴンとの距離の平均や最大値を用いて信頼度を算出してもよい。 In step S204, the reliability calculation unit 105 calculates the reliability based on the comparison result performed in step S301. Specifically, the lower reliability is calculated as the calculated dispersion value of the distance is larger. For example, the reliability w is calculated by using the above-described equation (1) and replacing the distance d with the variance value σ. Although the reliability is calculated using the dispersion value of the distance between the three-dimensional point group held by the distance image and the polygon of the measurement model, another method may be used. For example, instead of the variance value, the reliability may be calculated using the average or maximum value of the distance between the three-dimensional point group held by the distance image and the polygon of the measurement model.
一方、ステップＳ３００で入力された複数の画像が濃淡画像である場合は、ステップＳ３０１においては、まず、濃淡画像から背景領域及び対象物体の輪郭を抽出する。背景領域の抽出方法は、例えば背景画像を予め設定しておき、輝度値を参照することで背景領域を抽出する。例えば、背景画像を予め黒と設定した場合には、濃淡画像から黒となる領域を背景として抽出する。対象物体の輪郭は、背景領域の輪郭とする。次に、特徴の近傍の計測モデルの箇所を、ステップＳ３００で入力した撮影視点情報に基づいて画像上に投影し、画像上での画素位置を求める。そして、求めた画素位置が背景領域に該当する場合には、特徴の近傍の計測モデルの箇所を本来存在しない形状として特定する。 On the other hand, when the plurality of images input in step S300 are grayscale images, in step S301, first, the background region and the contour of the target object are extracted from the grayscale image. As a background region extraction method, for example, a background image is set in advance, and the background region is extracted by referring to the luminance value. For example, when the background image is set to black in advance, a black region is extracted from the grayscale image as the background. The contour of the target object is the contour of the background area. Next, the location of the measurement model near the feature is projected on the image based on the photographing viewpoint information input in step S300, and the pixel position on the image is obtained. When the obtained pixel position corresponds to the background area, the location of the measurement model near the feature is specified as a shape that does not exist originally.
ステップＳ２０４では、信頼度算出部１０５は、ステップＳ３０１で実施した比較結果に基づいて信頼度を算出する。具体的には、本来存在しない形状と特定された場合には、求めた画素位置から対象物体の輪郭までの距離ｄ'を用い、前述した式（１）の距離ｄを上記の距離ｄ'に置き換えて信頼度ｗを算出する。また、本来存在しない形状と特定されなかった場合には、信頼度を１とする。 In step S204, the reliability calculation unit 105 calculates the reliability based on the comparison result performed in step S301. Specifically, when it is specified that the shape does not exist originally, the distance d ′ from the obtained pixel position to the contour of the target object is used, and the distance d in the above-described equation (1) is set to the above distance d ′. The reliability w is calculated by replacement. In addition, the reliability is set to 1 when the shape does not originally exist.
以上のように本実施形態によれば、実物には存在しない形状から抽出された特徴の利用を抑制することが可能となり、位置姿勢を推定する精度を向上させることができる。 As described above, according to the present embodiment, it is possible to suppress the use of features extracted from shapes that do not exist in the real thing, and it is possible to improve the accuracy of estimating the position and orientation.
（第８の実施形態）
本実施形態では、計測モデルの形状の解析結果に基づいて、特徴を抽出する箇所を決定する。これにより、特徴抽出に適切と推定される箇所から特徴の抽出を行うことが可能となり、位置姿勢を推定する精度を向上させることが可能となる。
(Eighth embodiment)
In the present embodiment, the location from which the feature is extracted is determined based on the analysis result of the shape of the measurement model. As a result, it is possible to extract features from locations that are estimated to be appropriate for feature extraction, and to improve the accuracy of estimating the position and orientation.
図５は、本実施形態に係る情報処理装置５００の機能構成例を示すブロックである。情報処理装置５００は、計測モデル入力部１０２、形状解析部１０４、特徴抽出部４０１及び表示制御部１０６を備えている。また、計測モデル入力部１０２は、情報処理装置５００の外部に設けられた記憶装置１０１と接続されている。記憶装置１０１には、計測モデル、その対象物体を撮影した画像及び撮影視点情報などが記憶されている。 FIG. 5 is a block diagram illustrating a functional configuration example of the information processing apparatus 500 according to the present embodiment. The information processing apparatus 500 includes a measurement model input unit 102, a shape analysis unit 104, a feature extraction unit 401, and a display control unit 106. In addition, the measurement model input unit 102 is connected to a storage device 101 provided outside the information processing apparatus 500. The storage device 101 stores a measurement model, an image obtained by photographing the target object, photographing viewpoint information, and the like.
また、本実施形態に係る形状解析部１０４及び特徴抽出部４０１は、以下の点で図４と異なるものとする。
形状解析部１０４は、計測モデルの各領域の形状を解析し、特徴を抽出することの適切度を算出する。特徴抽出部４０１は、形状解析部１０４において算出した適切度が所定の値よりも高い場合に、該領域から特徴を抽出する。
In addition, the shape analysis unit 104 and the feature extraction unit 401 according to the present embodiment are different from those in FIG. 4 in the following points.
The shape analysis unit 104 analyzes the shape of each region of the measurement model and calculates the appropriateness of extracting features. The feature extraction unit 401 extracts features from the region when the appropriateness calculated by the shape analysis unit 104 is higher than a predetermined value.
図６は、本実施形態における全体的な処理手順の一例を示すフローチャートである。
（ステップＳ６００）
計測モデル入力部１０２は、記憶装置１０１から計測モデルを入力する。そして、入力した計測モデルを複数の領域に分割する。
FIG. 6 is a flowchart illustrating an example of an overall processing procedure in the present embodiment.
(Step S600)
The measurement model input unit 102 inputs a measurement model from the storage device 101. Then, the input measurement model is divided into a plurality of regions.
（ステップＳ６０１）
ステップＳ６０１は、ステップＳ６００で入力した計測モデルにおいて複数に分割され各領域に対して処理を行うループである。
(Step S601)
Step S601 is a loop that is divided into a plurality of parts in the measurement model input in step S600 and performs processing on each region.
（ステップＳ６０２）
形状解析部１０４は、計測モデルの処理対象となる領域の形状を解析し、特徴を抽出することの適切度を算出する。具体的には、処理対象である領域に欠損があるかないかを判定し、欠損の箇所が小さいほど高い適切度を算出する。欠損があるかないかの判定方法は、第１の実施形態で説明した方法と同様に、該領域に含まれる計測モデルのポリゴンの各稜線を共有するポリゴンの数が１つのみとなるものが含まれていた場合に、欠損があると判定する。欠損の箇所の大きさは、該稜線の長さとする。そして、前述した式（１）を利用し、距離ｄを欠損箇所に該当する稜線の長さｌに置き換えて適切度（信頼度）ｗを算出する。
(Step S602)
The shape analysis unit 104 analyzes the shape of the region to be processed by the measurement model, and calculates the appropriateness of extracting features. Specifically, it is determined whether or not there is a defect in the area to be processed, and the higher the degree of appropriateness is calculated the smaller the missing part. Similar to the method described in the first embodiment, the method for determining whether or not there is a defect includes a method in which the number of polygons sharing each edge of the polygon of the measurement model included in the region is only one. If it is, it is determined that there is a defect. The size of the missing part is the length of the ridgeline. Then, the appropriateness (reliability) w is calculated by replacing the distance d with the length l of the ridge line corresponding to the missing portion using the above-described equation (1).
（ステップＳ６０３）
形状解析部１０４は、ステップＳ６０２において算出した適切度ｗが所定の値よりも高いか否かを判定する。この判定の結果、適切度が所定の値以下である場合には、ステップＳ６０１に戻り、次の領域ついて処理を行う。一方、適切度が所定の値よりも高い場合には、ステップＳ６０４へ進む。
(Step S603)
The shape analysis unit 104 determines whether or not the appropriateness w calculated in step S602 is higher than a predetermined value. If the result of this determination is that the appropriateness is less than or equal to a predetermined value, processing returns to step S601 and the next region is processed. On the other hand, if the appropriateness is higher than the predetermined value, the process proceeds to step S604.
（ステップＳ６０４）
特徴抽出部４０１は、その領域から特徴を抽出する。特徴の抽出方法は、第３の実施形態と同様であるものとし、第１の実施形態で説明した方法を用いる。
(Step S604)
The feature extraction unit 401 extracts features from the area. The feature extraction method is the same as that in the third embodiment, and the method described in the first embodiment is used.
以上のように本実施形態によれば、特徴抽出に適切と推定される箇所から特徴の抽出を行うことが可能となり、位置姿勢を推定する精度を向上させることが可能となる。 As described above, according to the present embodiment, it is possible to extract features from locations that are estimated to be appropriate for feature extraction, and it is possible to improve the accuracy of estimating the position and orientation.
なお、本実施形態では、第１の実施形態の処理に従って形状解析部１０４において欠損の有無を判定し、適切度を算出した。これに限らず、前述した実施形態のいずれかで説明した形状解析部１０４の処理を計測モデルの領域ごとに実施し、信頼度に代わって適切度を算出するようにしてもよい。 In the present embodiment, the shape analysis unit 104 determines the presence or absence of a defect according to the processing of the first embodiment, and calculates the appropriateness. Not limited to this, the processing of the shape analysis unit 104 described in any of the above-described embodiments may be performed for each region of the measurement model, and the appropriateness may be calculated instead of the reliability.
（第９の実施形態）
第１〜第７の実施形態で説明した方法を用いて特徴ごとに信頼度を算出すると、信頼度の高い特徴の分布に偏りが発生し、特徴及び信頼度を用いた位置姿勢の推定において、精度が低下する可能性がある。そこで本実施形態では、第１〜第７の実施形態で説明した方法に加えて、さらに、特徴の空間的な分布が一様となるように特徴を選択する方法について説明する。これにより、特徴分布の偏りによる位置姿勢を推定する精度の低下を抑制することが可能となる。
(Ninth embodiment)
When the reliability is calculated for each feature using the method described in the first to seventh embodiments, a bias occurs in the distribution of features with high reliability, and in the estimation of the position and orientation using the features and reliability, Accuracy may be reduced. Therefore, in the present embodiment, in addition to the methods described in the first to seventh embodiments, a method for selecting features so that the spatial distribution of features is uniform will be described. As a result, it is possible to suppress a decrease in accuracy in estimating the position and orientation due to the deviation of the feature distribution.
図７は、本実施形態に係る情報処理装置７００の機能構成例を示すブロック図である。情報処理装置７００は、計測モデル入力部１０２、特徴抽出部４０１、形状解析部１０４、信頼度算出部１０５、表示制御部１０６、パラメータ設定部７０１及び特徴選択部７０２を備えている。また、計測モデル入力部１０２は情報処理装置７００の外部に設けられた記憶装置１０１と接続されている。 FIG. 7 is a block diagram illustrating a functional configuration example of the information processing apparatus 700 according to the present embodiment. The information processing apparatus 700 includes a measurement model input unit 102, a feature extraction unit 401, a shape analysis unit 104, a reliability calculation unit 105, a display control unit 106, a parameter setting unit 701, and a feature selection unit 702. The measurement model input unit 102 is connected to a storage device 101 provided outside the information processing apparatus 700.
パラメータ設定部７０１は、特徴の分布を決定するパラメータを設定する。特徴選択部７０２は、パラメータ設定部７０１で設定したパラメータに基づいて、特徴を選択する。パラメータ設定部７０１及び特徴選択部７０２以外は、図４と同様であるため、ここでの説明は省略する。 The parameter setting unit 701 sets parameters for determining the feature distribution. The feature selection unit 702 selects a feature based on the parameters set by the parameter setting unit 701. Other than the parameter setting unit 701 and the feature selection unit 702 are the same as those in FIG.
図８は、本実施形態における全体的な処理手順の一例を示すフローチャートである。ステップＳ２００〜ステップＳ２０４は、第３の実施形態で説明したものと同様であるため、ここでの説明は省略する。 FIG. 8 is a flowchart showing an example of the overall processing procedure in the present embodiment. Steps S200 to S204 are the same as those described in the third embodiment, and a description thereof is omitted here.
（ステップＳ８００）
パラメータ設定部７０１は、特徴の分布を決定するパラメータを設定する。この処理で設定するパラメータは、特徴の密度や空間的な広がりを示すパラメータとする。具体的な手順としては、特徴の密度として、特徴同士の最近傍間距離を設定し、最近傍間距離が小さいほど密度が高く、大きいほど密度が低くなる。また、空間的な広がりとして、各特徴の３次元位置をベクトルとした主成分分析を行い、それぞれ２軸及び３軸の寄与率を算出し、最小寄与率の値を最大寄与率の値で除した値を設定する。
(Step S800)
The parameter setting unit 701 sets parameters for determining the feature distribution. The parameters set in this process are parameters indicating feature density and spatial extent. As a specific procedure, the distance between features is set as the feature density. The smaller the distance between the nearest neighbors, the higher the density, and the larger the density, the lower the density. In addition, as a spatial extension, principal component analysis is performed using the three-dimensional position of each feature as a vector, the 2-axis and 3-axis contribution ratios are calculated, and the minimum contribution ratio value is divided by the maximum contribution ratio value. Set the value.
（ステップＳ８０１）
特徴選択部７０２は、ステップＳ８００で設定したパラメータに基づいて、ステップＳ２０１で抽出した特徴群の中から特徴を選択する。具体的には、次の通りである。まず、ステップＳ２０１で抽出した特徴の中から、ステップＳ２０４で算出した信頼度が所定の値よりも大きくなるものを選択する。次に、選択した特徴の中から、ステップＳ８００で設定した特徴の密度と同程度となるように特徴をさらに選択する。次に、選択した特徴群を用いて特徴の空間的な分布を算出する。そして、算出した特徴の空間的な分布が、ステップＳ８００で設定した値よりも小さい場合には、再度特徴を選択し直す。逆に、算出した特徴の空間的な分布が、ステップＳ８００で設定した値以上となった場合には、本処理を終了する。以上のように算出した特徴の空間的な分布が、ステップＳ８００で設定した値以上となるまで特徴の選択を繰り返す。
(Step S801)
The feature selection unit 702 selects a feature from the feature group extracted in step S201 based on the parameter set in step S800. Specifically, it is as follows. First, a feature whose reliability calculated in step S204 is greater than a predetermined value is selected from the features extracted in step S201. Next, a feature is further selected from the selected features so as to have the same density as the feature set in step S800. Next, a spatial distribution of features is calculated using the selected feature group. If the calculated spatial distribution of the feature is smaller than the value set in step S800, the feature is selected again. On the other hand, when the calculated spatial distribution of features is equal to or greater than the value set in step S800, the present process is terminated. Feature selection is repeated until the spatial distribution of features calculated as described above is equal to or greater than the value set in step S800.
以上のように本実施形態によれば、特徴の分布を一様にすることが可能となる。そのため、特徴分布の偏りによる位置姿勢を推定する精度の低下を抑制することが可能となる。 As described above, according to this embodiment, the distribution of features can be made uniform. For this reason, it is possible to suppress a decrease in accuracy in estimating the position and orientation due to the deviation of the feature distribution.
なお、本実施形態では、特徴の空間的な広がりは、各特徴の３次元位置をベクトルとした主成分分析を行い、それぞれ２軸及び３軸の寄与率を算出し、最小寄与率の値を最大寄与率の値で除した値とした。これに限らず、特徴の空間的な広がりを示せれば、何でもよい。例えば、表面点の３次元位置に代わって、表面点の法線方向を主成分分析することで空間的な分布を示す値を算出してもよい。また、本実施形態では、第３の実施形態のように計測モデルから特徴を抽出する例について説明したが、第１の実施形態のように予め抽出された特徴を入力する場合において適用することもできる。 In the present embodiment, the spatial spread of features is obtained by performing principal component analysis using the three-dimensional position of each feature as a vector, calculating the 2-axis and 3-axis contribution rates, and calculating the minimum contribution rate value. The value was divided by the maximum contribution rate. However, the present invention is not limited to this. For example, instead of the three-dimensional position of the surface point, a value indicating a spatial distribution may be calculated by principal component analysis of the normal direction of the surface point. In the present embodiment, the example of extracting features from the measurement model as in the third embodiment has been described. However, the present invention may be applied to inputting features extracted in advance as in the first embodiment. it can.
（第１０の実施形態）
本実施形態では、計測モデルに基づいて抽出した特徴及び信頼度と、対象物体を撮影した画像とに基づいて、対象物体の位置姿勢を算出する方法について説明する。
(Tenth embodiment)
In the present embodiment, a method for calculating the position and orientation of a target object based on features and reliability extracted based on a measurement model and an image obtained by capturing the target object will be described.
図１２は、本実施形態に係る情報処理装置１２００の機能構成例を示すブロック図である。本実施形態に係る情報処理装置１２００は、図１に示した構成に加えて位置姿勢推定部１２０１をさらに備えている。位置姿勢推定部１２０１は、計測モデルに基づいて抽出した特徴と、対象物体を撮影した画像とに基づいて、撮影した視点の位置姿勢を算出する。なお、その他の構成については第２の実施形態と同様であり、図３に示した手順により信頼度を算出する。 FIG. 12 is a block diagram illustrating a functional configuration example of the information processing apparatus 1200 according to the present embodiment. The information processing apparatus 1200 according to the present embodiment further includes a position / orientation estimation unit 1201 in addition to the configuration shown in FIG. The position / orientation estimation unit 1201 calculates the position and orientation of the photographed viewpoint based on the feature extracted based on the measurement model and the image obtained by photographing the target object. Other configurations are the same as those in the second embodiment, and the reliability is calculated by the procedure shown in FIG.
図１３は、本実施形態において、対象物体の位置姿勢を推定する処理手順の一例を示すフローチャートである。
（ステップＳ１３０１）
まず、位置姿勢推定部１２０１は、初期化を行う。この処理では、対象物体の位置姿勢の概略値を設定する。
FIG. 13 is a flowchart illustrating an example of a processing procedure for estimating the position and orientation of the target object in the present embodiment.
(Step S1301)
First, the position / orientation estimation unit 1201 performs initialization. In this process, an approximate value of the position and orientation of the target object is set.
（ステップＳ１３０２）
特徴入力部１０３は、記憶装置１０１から対象物体を撮影した画像及び撮影視点情報を入力し、位置姿勢推定部１２０１は、対象物体を撮影した画像からエッジ特徴を抽出する。そして、位置姿勢推定部１２０１は、計測モデルから抽出されたエッジ特徴と、画像から抽出したエッジ特徴との対応付けを行う。具体的には、計測モデルから抽出したエッジ特徴の最近傍となる画像から抽出したエッジ特徴とを対応付ける。なお、エッジ特徴の代わりに表面点を用いてもよい。
(Step S1302)
The feature input unit 103 inputs an image obtained by photographing the target object and photographing viewpoint information from the storage device 101, and the position / orientation estimation unit 1201 extracts an edge feature from the image obtained by photographing the target object. Then, the position / orientation estimation unit 1201 associates the edge feature extracted from the measurement model with the edge feature extracted from the image. Specifically, an edge feature extracted from an image that is closest to the edge feature extracted from the measurement model is associated. Note that surface points may be used instead of edge features.
（ステップＳ１３０３）
位置姿勢推定部１２０１は、対象物体の位置姿勢の補正量Δｓを未知数とする線形連立方程式（以下の式（２））を算出する。ここでＷは、各特徴に設定した信頼度を対角成分とする重みつけ行列（式（３）参照）であり、ｗ1〜ｗnは各エッジ特徴における信頼度である。Ｊは画像から抽出した各エッジ特徴（又は表面点）の３次元位置に基づいて算出されるヤコビアン行列であり、Ｅは対応付いたエッジ特徴（又は表面点）間の距離を要素とする誤差ベクトルである。
(Step S1303)
The position / orientation estimation unit 1201 calculates a linear simultaneous equation (the following equation (2)) with the correction amount Δs of the position and orientation of the target object as an unknown quantity. Where W is the weighted matrix to reliability diagonal elements are set to the individual characteristics (formula (3) refer), w 1 to w n is the confidence in each edge features. J is a Jacobian matrix calculated based on the three-dimensional position of each edge feature (or surface point) extracted from the image, and E is an error vector whose element is the distance between the corresponding edge features (or surface points). It is.
（ステップＳ１３０４）
位置姿勢推定部１２０１は、ステップＳ１３０３で算出した線形連立方程式を以下の式（４）のようにして解くことにより、補正値Δｓを算出する。
(Step S1304)
The position / orientation estimation unit 1201 calculates the correction value Δs by solving the linear simultaneous equations calculated in step S1303 as the following equation (4).
（ステップＳ１３０５）
位置姿勢推定部１２０１は、ステップＳ１３０４において算出された位置姿勢の補正値Δｓにより、位置姿勢をｓ＋Δｓに更新する。
(Step S1305)
The position / orientation estimation unit 1201 updates the position / orientation to s + Δs based on the position / orientation correction value Δs calculated in step S1304.
（ステップＳ１３０６）
位置姿勢推定部１２０１は、位置姿勢が収束したか否かを判定する。収束判定では、Ｓ１３０５の補正量が所定の値以下でほぼ変化がないと判定された場合に収束したと判定する。なお、収束判定の方法はこの方法に限定されるものではなく反復回数が所定回数に達した場合に収束したものと判定してもよい。この判定の結果、位置姿勢が収束した場合は、その時の位置姿勢をフィッティング結果として処理を終了する。一方、位置姿勢が収束していない場合は、位置姿勢が収束するまでＳ１３０２〜Ｓ１３０５の処理を繰り返し行う。
(Step S1306)
The position / orientation estimation unit 1201 determines whether or not the position / orientation has converged. In the convergence determination, when it is determined that the correction amount in S1305 is equal to or less than a predetermined value and there is almost no change, it is determined that the convergence has occurred. The convergence determination method is not limited to this method, and it may be determined that the convergence has occurred when the number of iterations reaches a predetermined number. If the position and orientation converge as a result of this determination, the processing is terminated with the position and orientation at that time as the fitting result. On the other hand, if the position and orientation has not converged, the processes of S1302 to S1305 are repeated until the position and orientation converge.
以上説明したようにステップＳ１３０１〜Ｓ１３０６の処理により、対象物体の位置姿勢を算出することができる。 As described above, the position and orientation of the target object can be calculated by the processing in steps S1301 to S1306.
（その他の実施形態）
前述した第１〜第７の実施形態では、様々な方法により信頼度を算出したが、これらの方法を個別に実施するのではなく、いくつかの方法を組み合わせて同時に実施してもよい。例えば、各実施形態で説明した手順で算出した信頼度の加重平均や最小値を信頼度として算出してもよい。これにより、各実施形態で説明した方法を個別に実施するよりも、信頼度の低い特徴をより確実に割り出すことが可能となる。したがって、信頼度の低い特徴の利用を抑制することで、位置姿勢を推定する精度が向上する。
(Other embodiments)
In the first to seventh embodiments described above, the reliability is calculated by various methods. However, these methods may not be performed individually but may be performed simultaneously by combining several methods. For example, a weighted average or minimum value of reliability calculated by the procedure described in each embodiment may be calculated as the reliability. As a result, it is possible to more reliably determine features with low reliability than when the methods described in the embodiments are individually performed. Therefore, the accuracy of estimating the position and orientation is improved by suppressing the use of features with low reliability.
前述した実施形態の計測モデル入力部は、対象物体を計測して生成した計測モデルを記憶装置から入力したが、計測モデルを生成する装置など、それ以外の装置から計測モデルを入力するようにしてもよい。また、入力される計測モデルは、対象物体の形状を計測したデータに基づいて生成した表面形状を有する３次元モデルであれば表現形式は何でもよい。例えば、前述したような複数のポリゴンで表現されるポリゴンモデルであってもよく、表面形状を曲面関数で表現した曲面モデルであってもよい。 The measurement model input unit of the above-described embodiment inputs the measurement model generated by measuring the target object from the storage device, but inputs the measurement model from other devices such as a device that generates the measurement model. Also good. The input measurement model may be in any representation format as long as it is a three-dimensional model having a surface shape generated based on data obtained by measuring the shape of the target object. For example, it may be a polygon model expressed by a plurality of polygons as described above, or a curved surface model in which the surface shape is expressed by a curved surface function.
また、前述した実施形態における特徴入力部も同様に、計測モデル、または計測モデル及び画像に基づいて抽出した特徴が入力できれば何処から入力してもよい。例えば、前述したように記憶装置に記憶されている特徴を入力するようにしてもよく、特徴抽出を行う装置から特徴を入力するようにしてもよい。 Similarly, the feature input unit in the above-described embodiment may be input from anywhere as long as the measurement model or the feature extracted based on the measurement model and the image can be input. For example, as described above, a feature stored in the storage device may be input, or a feature may be input from a device that performs feature extraction.
（その他の実施形態）
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。
(Other embodiments)
The present invention supplies a program that realizes one or more functions of the above-described embodiments to a system or apparatus via a network or a storage medium, and one or more processors in a computer of the system or apparatus read and execute the program This process can be realized. It can also be realized by a circuit (for example, ASIC) that realizes one or more functions.
１０４ 形状解析部
１０５ 信頼度算出部
104 Shape analysis unit 105 Reliability calculation unit
Claims (16)
前記解析手段による解析の結果に基づいて、抽出された前記特徴の信頼度を決定する決定手段とを有することを特徴とする情報処理装置。 Analysis means for analyzing the difference between the shape of the target object and the shape of the measurement model based on the measurement model generated by measuring the shape of the target object and the features extracted based on the measurement model;
An information processing apparatus comprising: a determination unit that determines reliability of the extracted feature based on a result of analysis by the analysis unit.
前記決定手段は、前記解析手段によって欠損があると判定された場合には、欠損がないと判定された場合よりも前記信頼度を低くすることを特徴とする請求項１〜３の何れか１項に記載の情報処理装置。 The analysis means determines whether or not there is a defect in the location of the measurement model in the vicinity of the feature as a difference between the shape of the target object and the shape of the measurement model,
4. The method according to claim 1, wherein the determination unit makes the reliability lower when the analysis unit determines that there is a defect than when the determination unit determines that there is no defect. The information processing apparatus according to item.
前記決定手段は、前記解析手段によって観測不可能と判定された場合には、観測可能と判定された場合よりも前記信頼度を低くすることを特徴とする請求項１〜３の何れか１項に記載の情報処理装置。 The analysis means determines whether the location of the measurement model in the vicinity of the feature is observable as a difference between the shape of the target object and the shape of the measurement model,
4. The method according to claim 1, wherein when the determination unit determines that the observation is impossible, the determination unit lowers the reliability compared to the case where the determination unit determines that the observation is possible. The information processing apparatus described in 1.
前記決定手段は、前記誤差が大きいほど前記信頼度を低くすることを特徴とする請求項１〜３の何れか１項に記載の情報処理装置。 The analysis means calculates an error of a measurement value generated from the measurement model in the vicinity of the feature or an error of a measurement value of an image obtained by photographing the target object as a difference between the shape of the target object and the shape of the measurement model. Judgment,
The information processing apparatus according to claim 1, wherein the determination unit decreases the reliability as the error increases.
前記決定手段は、前記解析手段によって誤っていると判定された場合には、誤っていないと判定された場合よりも前記信頼度を低くすることを特徴とする請求項１〜３の何れか１項に記載の情報処理装置。 The analysis unit compares the location of the measurement model in the vicinity of the feature with the location of the image obtained by capturing the target object as a difference between the shape of the target object and the shape of the measurement model. Determine whether the part of the measurement model is incorrect,
4. The method according to claim 1, wherein when the determination unit determines that the analysis unit is erroneous, the determination unit lowers the reliability than when the determination unit determines that there is no error. The information processing apparatus according to item.
前記決定手段は、前記平面度に基づいて当該特徴の信頼度を決定することを特徴とする請求項１〜３の何れか１項に記載の情報処理装置。 The analysis means calculates the flatness of the location of the measurement model near the feature as the difference between the shape of the target object and the shape of the measurement model,
The information processing apparatus according to claim 1, wherein the determining unit determines the reliability of the feature based on the flatness.
前記解析手段による解析の結果に基づいて、前記対象物体の位置姿勢の推定に利用するための特徴を前記計測モデルから抽出する抽出手段とを有することを特徴とする情報処理装置。 Analysis means for analyzing a difference between the shape of the target object and the shape of the measurement model based on a measurement model generated by measuring the shape of the target object;
An information processing apparatus comprising: an extraction unit that extracts, from the measurement model, a feature to be used for estimating the position and orientation of the target object based on a result of analysis by the analysis unit.
前記表示装置に表示された特徴に対して削除または追加を行う手段とをさらに有することを特徴とする請求項１〜９の何れか１項に記載の情報処理装置。 Display control means for displaying the measurement model and the features on a display device;
The information processing apparatus according to claim 1, further comprising means for deleting or adding to the feature displayed on the display device.
前記解析工程における解析の結果に基づいて、抽出された前記特徴の信頼度を決定する決定工程とを有することを特徴とする情報処理方法。 An analysis step of analyzing a difference between the shape of the target object and the shape of the measurement model based on the measurement model generated by measuring the shape of the target object and the characteristics extracted based on the measurement model;
A determination step of determining a reliability of the extracted feature based on a result of the analysis in the analysis step.
前記解析工程における解析の結果に基づいて、前記対象物体の位置姿勢の推定に利用するための特徴を前記計測モデルから抽出する抽出工程とを有することを特徴とする情報処理方法。 Based on a measurement model generated by measuring the shape of the target object, an analysis step of analyzing a difference between the shape of the target object and the shape of the measurement model;
An information processing method comprising: an extraction step of extracting, from the measurement model, a feature to be used for estimating the position and orientation of the target object based on an analysis result in the analysis step.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2017087162A JP6938201B2 (en) | 2017-04-26 | 2017-04-26 | Information processing equipment, information processing methods and programs |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2017087162A JP6938201B2 (en) | 2017-04-26 | 2017-04-26 | Information processing equipment, information processing methods and programs |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2018185658A true JP2018185658A (en) | 2018-11-22 |
| JP6938201B2 JP6938201B2 (en) | 2021-09-22 |
Family
ID=64355879
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2017087162A Active JP6938201B2 (en) | 2017-04-26 | 2017-04-26 | Information processing equipment, information processing methods and programs |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP6938201B2 (en) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2022044197A1 (en) * | 2020-08-27 | 2022-03-03 | 三菱電機株式会社 | Shape modeling device and shape modeling method |
| WO2022203305A1 (en) * | 2021-03-24 | 2022-09-29 | 주식회사 메디트 | Data processing device and data processing method |
| CN117824546A (en) * | 2024-03-04 | 2024-04-05 | 泉州湖南大学工业设计与机器智能创新研究院 | Basin flatness detection method |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2010104181A1 (en) * | 2009-03-13 | 2010-09-16 | 日本電気株式会社 | Feature point generation system, feature point generation method, and feature point generation program |
| JP2011179908A (en) * | 2010-02-26 | 2011-09-15 | Canon Inc | Three-dimensional measurement apparatus, method for processing the same, and program |
| JP2014006682A (en) * | 2012-06-25 | 2014-01-16 | Juki Corp | Image processing apparatus |
| JP2016148649A (en) * | 2015-02-05 | 2016-08-18 | キヤノン株式会社 | Information processing apparatus, control method therefor, and program |
| JP2016218920A (en) * | 2015-05-25 | 2016-12-22 | キヤノン株式会社 | Information processor, information processing method, and program |
-
2017
- 2017-04-26 JP JP2017087162A patent/JP6938201B2/en active Active
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2010104181A1 (en) * | 2009-03-13 | 2010-09-16 | 日本電気株式会社 | Feature point generation system, feature point generation method, and feature point generation program |
| JP2011179908A (en) * | 2010-02-26 | 2011-09-15 | Canon Inc | Three-dimensional measurement apparatus, method for processing the same, and program |
| JP2014006682A (en) * | 2012-06-25 | 2014-01-16 | Juki Corp | Image processing apparatus |
| JP2016148649A (en) * | 2015-02-05 | 2016-08-18 | キヤノン株式会社 | Information processing apparatus, control method therefor, and program |
| JP2016218920A (en) * | 2015-05-25 | 2016-12-22 | キヤノン株式会社 | Information processor, information processing method, and program |
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2022044197A1 (en) * | 2020-08-27 | 2022-03-03 | 三菱電機株式会社 | Shape modeling device and shape modeling method |
| JPWO2022044197A1 (en) * | 2020-08-27 | 2022-03-03 | ||
| JP7464134B2 (en) | 2020-08-27 | 2024-04-09 | 三菱電機株式会社 | Shape modeling device and shape modeling method |
| WO2022203305A1 (en) * | 2021-03-24 | 2022-09-29 | 주식회사 메디트 | Data processing device and data processing method |
| CN117824546A (en) * | 2024-03-04 | 2024-04-05 | 泉州湖南大学工业设计与机器智能创新研究院 | Basin flatness detection method |
Also Published As
| Publication number | Publication date |
|---|---|
| JP6938201B2 (en) | 2021-09-22 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US9852238B2 (en) | 4D vizualization of building design and construction modeling with photographs | |
| US11721067B2 (en) | System and method for virtual modeling of indoor scenes from imagery | |
| CN109003325B (en) | Three-dimensional reconstruction method, medium, device and computing equipment | |
| JP7403528B2 (en) | Method and system for reconstructing color and depth information of a scene | |
| JP6503906B2 (en) | Image processing apparatus, image processing method and image processing program | |
| KR20180100476A (en) | Virtual reality-based apparatus and method to generate a three dimensional(3d) human face model using image and depth data | |
| KR100920225B1 (en) | Method and apparatus for accuracy measuring of?3d graphical model by using image | |
| CN114119751A (en) | Method and system for large scale determination of RGBD camera poses | |
| JP6464938B2 (en) | Image processing apparatus, image processing method, and image processing program | |
| JP6723798B2 (en) | Information processing device, method, and program | |
| JP2015138428A (en) | Additional information display apparatus and additional information display program | |
| JP6938201B2 (en) | Information processing equipment, information processing methods and programs | |
| JP2001067463A (en) | Device and method for generating facial picture from new viewpoint based on plural facial pictures different in viewpoint, its application device and recording medium | |
| KR101875047B1 (en) | System and method for 3d modelling using photogrammetry | |
| JP2017207438A (en) | Topographic change analysis method | |
| JP2018063693A (en) | Image processing device, image processing method, and program | |
| JP6719945B2 (en) | Information processing apparatus, information processing method, information processing system, and program | |
| JP6362401B2 (en) | Image processing apparatus and image processing apparatus control method | |
| US11475629B2 (en) | Method for 3D reconstruction of an object | |
| JP2004030408A (en) | Three-dimensional image display apparatus and display method | |
| JP2021128592A (en) | Image processing device, image processing method, learned model generation method, and program | |
| WO2020121406A1 (en) | Three-dimensional measurement device, three-dimensional measurement device, moving robot, wheelbarrow-type moving device, and three-dimensional measurement processing method | |
| JP2019185475A (en) | Specification program, specification method, and information processing device | |
| JP7188798B2 (en) | Coordinate calculation device, coordinate calculation method, and program | |
| CN111435969B (en) | Image processing apparatus, control method thereof, recording medium, and information processing system |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20200331 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20210427 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20210601 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20210719 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20210803 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20210901 |
|
| R151 | Written notification of patent or utility model registration |
Ref document number: 6938201 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |