JP2006178696A - Plane detection apparatus and method, and plane detection program - Google Patents
Plane detection apparatus and method, and plane detection program Download PDFInfo
- Publication number
- JP2006178696A JP2006178696A JP2004370343A JP2004370343A JP2006178696A JP 2006178696 A JP2006178696 A JP 2006178696A JP 2004370343 A JP2004370343 A JP 2004370343A JP 2004370343 A JP2004370343 A JP 2004370343A JP 2006178696 A JP2006178696 A JP 2006178696A
- Authority
- JP
- Japan
- Prior art keywords
- small
- plane
- small area
- integration
- region
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Abstract
Description
本発明は、カメラ等の撮像装置で撮像された１枚の画像と、該画像の画素と前記画像とは異なる位置で撮像されたステレオ画像の画素との対応座標から、前記画像に撮像されている空間中の同一平面に属する領域を平面毎に検出する平面検出装置および方法並びに平面検出プログラムに関するものである。 The present invention captures an image from one image captured by an imaging device such as a camera, and corresponding coordinates between a pixel of the image and a pixel of a stereo image captured at a position different from the image. The present invention relates to a plane detection apparatus and method for detecting, for each plane, a region belonging to the same plane in a given space, and a plane detection program.
空間をカメラ等で撮影した画像から空間中の同一平面に属する領域を検出する従来の平面検出技術では、検出された平面を利用して、３次元シーンを理解することや、検出された平面領域を利用して、これを撮像したカメラを校正することなどを可能としている。 In the conventional plane detection technology for detecting a region belonging to the same plane in the space from an image obtained by photographing the space with a camera or the like, the detected plane is used to understand the three-dimensional scene, and the detected plane region Using this, it is possible to calibrate the camera that captured the image.
この平面検出は、例えば「３次元情報を用いた物体認識」に記載の方法では、レーザレンジファインダに代表される測距装置から取得した、もしくはステレオカメラから三角測量の原理により生成した、ある基準点から物体までの距離を画素にした距離画像から、撮像されたシーンの法線情報を求め、該法線情報の類似性をもとに平面領域を抽出することによって実現されている（例えば、非特許文献１参照。）。
For example, in the method described in “object recognition using three-dimensional information”, this plane detection is obtained from a distance measuring device typified by a laser range finder or generated from a stereo camera based on the principle of triangulation. This is realized by obtaining normal information of a captured scene from a distance image in which the distance from a point to an object is a pixel, and extracting a plane area based on the similarity of the normal information (for example, (Refer
しかしながら、レーザレンジファインダは、その価格が高価、または大型であることから、その利用が難しいといった問題があった。また、ステレオカメラは、カメラ間の相対距離、角度の相対関係からなる外部パラメータや焦点距離等の内部パラメータがあらかじめ校正され、全て既知の状態でなければ距離画像を生成できず、その校正作業に非常に手間が掛かるという問題があった。 However, the laser range finder has a problem that its price is expensive or large, and thus its use is difficult. In addition, stereo cameras have internal parameters such as external parameters and focal lengths, which are composed of relative distances and angles between cameras, calibrated in advance. There was a problem that it took much time and effort.
これに対して、例えば「特徴点の位置分布に基づくランダムサンプリングによる平面領域のロバストな検出法」に記載の平面検出方法では、未校正のステレオカメラを利用し、該ステレオカメラで撮像された画像内の特徴点と、該特徴点に対してステレオカメラ間で同一点を示す対応点をあらかじめ求めておき、前記特徴点を画像からランダムサンプリングして、その対応点情報から平面上に存在する点同士の関係を未校正のカメラで撮像された画像においても、唯一に表現する平面射影行列を算出し、平面領域を検出することを可能としている（例えば、非特許文献２参照。）。
しかしながら、従来の平面検出技術では、画像中の特徴点をランダムサンプリングし平面射影行列を求め、その信頼性からランダムサンプリングした点が平面上に存在するかどうかを判定する作業を、ランダムサンプリングの度に逐次行なうが、撮像した画像中に平面が多く存在する場合や、局所的な平面が存在する場合にはランダムサンプリングした点全てが平面上に存在することの確率は極めて低く、従って多くの場合ランダムサンプリング回数を大幅に増やす必要があり、処理量が大幅に増加するといった問題があった。 However, in the conventional plane detection technology, the feature points in the image are randomly sampled to obtain the plane projection matrix, and the task of determining whether or not the randomly sampled points exist on the plane is determined from the reliability. However, if there are many planes in the captured image, or if there are local planes, the probability that all randomly sampled points will be on the plane is extremely low. There is a problem that the number of random samplings needs to be greatly increased, and the amount of processing greatly increases.
また、ランダムサンプリング回数を少なくすると、多平面が存在する場合や、局所的な平面が存在する場合に、その平面を見落とすといった問題があった。 Further, if the number of random samplings is reduced, there is a problem that a plane is overlooked when there are multiple planes or when there are local planes.
また、最終的に求めた平面領域は無限の広さを表現する平面方程式によって記述されるため、平面の境界領域の抽出は不可能であり、たとえランダムサンプリング点を境界としても正確な境界とは異なるといった問題があった。 In addition, since the finally obtained plane area is described by a plane equation that expresses an infinite width, it is impossible to extract the boundary area of the plane, and even if a random sampling point is used as the boundary, what is an accurate boundary? There was a problem of being different.
本発明は、上述したような従来技術が有する問題点に鑑みてなされたものであり、平面検出装置および方法において、画像中に平面が多く存在する場合や、局所的な平面が存在する場合においても、少ない処理量で、かつ、局所的な平面を見落としなく、正確な平面の境界を維持して、撮像画像中の平面を検出できる平面検出装置および方法並びに平面検出プログラムを提供することを目的とする。 The present invention has been made in view of the problems of the prior art as described above, and in the flat surface detection apparatus and method, when there are many flat surfaces in the image or when there are local flat surfaces. Another object of the present invention is to provide a plane detection apparatus and method and a plane detection program capable of detecting a plane in a captured image while maintaining a precise plane boundary with a small amount of processing and without overlooking a local plane. And
上記の課題を達成するために、本発明に関わる平面検出装置では、撮像された１枚の画像の画素と前記画像とは異なる位置で撮像されたステレオ画像との対応点座標を入力する画像入力手段と、該画像を複数の領域に分割し、該分割された領域である小領域毎に唯一のIDを小領域IDとして付与し出力する小領域分割手段と、全小領域について前記対応点座標から平面上に存在する点同士の関係を表現する平面射影行列を算出して空間中の平面が撮像された領域上に属する小領域を抽出し、続いて、前記小領域のうち２つを選択し、夫々基準小領域、参照小領域とし、該基準小領域、該参照小領域の両者から両小領域が空間中の同一平面に属するかどうかを判定するために利用する統合用小領域間距離値の算出処理を基準小領域、参照小領域の全組み合わせに亘って行う統合用小領域間距離値算出手段と、前記統合用小領域間距離値に基づき前記小領域を統合する平面統合手段とを備えてなることを特徴とする。 In order to achieve the above object, in the flat surface detection apparatus according to the present invention, an image input for inputting corresponding point coordinates between a pixel of one captured image and a stereo image captured at a position different from the image is performed. Means, dividing the image into a plurality of areas, and assigning and outputting a unique ID as a small area ID for each small area that is the divided area, and the corresponding point coordinates for all small areas A plane projection matrix that expresses the relationship between points existing on the plane is calculated, and small areas belonging to the area in which the plane in the space is imaged are extracted, and then two of the small areas are selected. And a small inter-integration distance used for determining whether both small areas belong to the same plane in the space from the standard small area and the reference small area, respectively. The value calculation process is applied to all of the standard small area and the reference small area. It is characterized by comprising integration small area distance value calculating means for performing the combination and plane integration means for integrating the small areas based on the integration small area distance value.
あるいは、前記統合用小領域間距離値算出手段は、算出された前記基準小領域と前記参照小領域の両者の平面射影行列の差行列を算出し、該差行列を構成する各要素の二乗和であるノルムを算出し、これを統合用小領域間距離値とすることを特徴とする。 Alternatively, the integration inter-region distance value calculation means calculates a difference matrix of the calculated planar projection matrix of both the reference small region and the reference small region, and sums of squares of the elements constituting the difference matrix The norm is calculated as a distance value between small areas for integration.
あるいは、前記統合用小領域間距離値算出手段は、前記基準小領域で求めた平面射影行列によって算出される対応点とその対応点に相当する、該平面射影行列を求める際に利用した基準小領域内に属する対応点との二乗距離の平均値と、参照小領域で求めた平面射影行列によって算出される対応点とその対応点に相当する、該平面射影行列を求める際に利用した参照小領域内に属する対応点との二乗距離の平均値との和を算出し、これを統合用小領域間距離値とすることを特徴とする。 Alternatively, the integration sub-region distance value calculation means may calculate the reference small points used when calculating the corresponding point calculated by the plane projection matrix calculated in the reference small region and the corresponding plane projection matrix. The average value of the square distances with corresponding points belonging to the area, the corresponding points calculated by the planar projection matrix obtained in the reference small area, and the reference small used when obtaining the planar projection matrix corresponding to the corresponding points The sum of the mean value of the square distances with corresponding points belonging to the area is calculated, and this is used as the inter-small area distance value for integration.
あるいは、前記統合用小領域間距離値算出手段は、前記基準小領域で求めた平面射影行列によって算出される対応点とその対応点に相当する、参照小領域内に属する対応点との二乗距離の平均値と、参照小領域で求めた平面射影行列によって算出される対応点とその対応点に相当する、参照小領域内に属する対応点との二乗距離の平均値との和を算出し、これを統合用小領域間距離値とすることを特徴とする。 Alternatively, the integration inter-region distance value calculating means calculates the square distance between the corresponding point calculated by the planar projection matrix obtained in the reference small region and the corresponding point belonging to the reference small region corresponding to the corresponding point. And the sum of the average value of the square distance between the corresponding point calculated by the plane projection matrix obtained in the reference small area and the corresponding point belonging to the reference small area corresponding to the corresponding point, This is characterized by a distance value between small areas for integration.
また、本発明に関わる平面検出方法では、画像入力手段が、撮像された１枚の画像の画素と前記画像とは異なる位置で撮像されたステレオ画像との対応点座標を入力する画像入力手順と、小領域分割手段が、該画像を複数の領域に分割し、該分割された領域である小領域毎に唯一のIDを小領域IDとして付与し出力する小領域分割手順と、統合用小領域間距離値算出手段が、全小領域について前記対応点座標から平面上に存在する点同士の関係を表現する平面射影行列を算出して空間中の平面が撮像された領域上に属する小領域を抽出し、続いて、前記小領域のうち２つを選択し、夫々基準小領域、参照小領域とし、該基準小領域、該参照小領域の両者から両小領域が空間中の同一平面に属するかどうかを判定するために利用する統合用小領域間距離値の算出処理を基準小領域、参照小領域の全組み合わせに亘って行う統合用小領域間距離値算出手順と、平面統合手段が、前記統合用小領域間距離値に基づき前記小領域を統合する平面統合手順とを備えてなることを特徴とする。 Further, in the plane detection method according to the present invention, the image input means inputs the corresponding point coordinates between the pixel of one captured image and the stereo image captured at a position different from the image; A small area dividing unit that divides the image into a plurality of areas and assigns and outputs a unique ID as a small area ID for each small area that is the divided area; and a small area for integration The inter-distance value calculating means calculates a plane projection matrix expressing the relationship between points existing on the plane from the corresponding point coordinates for all the small areas, and selects the small areas belonging to the area where the plane in the space is imaged. Then, two of the small areas are selected and set as a standard small area and a reference small area, and both small areas belong to the same plane in the space from both the standard small area and the reference small area. Between small areas for integration used to determine whether A distance value calculation procedure for integration that performs distance value calculation processing over all combinations of the reference small area and the reference small area, and plane integration means, the plane integration means calculates the small area based on the integration small area distance value. And a planar integration procedure for integration.
あるいは、前記統合用小領域間距離値算出手順は、算出された前記基準小領域と前記参照小領域の両者の平面射影行列の差行列を算出し、該差行列を構成する各要素の二乗和であるノルムを算出し、これを統合用小領域間距離値とすることを特徴とする。 Alternatively, the integration sub-region distance value calculation procedure calculates a difference matrix of the calculated planar projection matrix of both the reference sub-region and the reference sub-region, and the sum of squares of each element constituting the difference matrix The norm is calculated as a distance value between small areas for integration.
あるいは、前記統合用小領域間距離値算出手順は、前記基準小領域で求めた平面射影行列によって算出される対応点とその対応点に相当する、該平面射影行列を求める際に利用した基準小領域内に属する対応点との二乗距離の平均値と、参照小領域で求めた平面射影行列によって算出される対応点とその対応点に相当する、該平面射影行列を求める際に利用した参照小領域内に属する対応点との二乗距離の平均値との和を算出し、これを統合用小領域間距離値とすることを特徴とする。 Alternatively, the integration sub-region distance value calculation procedure may be performed by calculating the reference small points used when calculating the corresponding planes corresponding to the corresponding points calculated by the plane projection matrix calculated in the reference small region and the corresponding points. The average value of the square distances with corresponding points belonging to the area, the corresponding points calculated by the planar projection matrix obtained in the reference small area, and the reference small used when obtaining the planar projection matrix corresponding to the corresponding points The sum of the mean value of the square distances with corresponding points belonging to the area is calculated, and this is used as the inter-small area distance value for integration.
あるいは、前記統合用小領域間距離値算出手順は、前記基準小領域で求めた平面射影行列によって算出される対応点とその対応点に相当する、参照小領域内に属する対応点との二乗距離の平均値と、参照小領域で求めた平面射影行列によって算出される対応点とその対応点に相当する、参照小領域内に属する対応点との二乗距離の平均値との和を算出し、これを統合用小領域間距離値とすることを特徴とする。 Alternatively, the integration sub-region distance value calculation procedure includes a square distance between a corresponding point calculated by the planar projection matrix obtained in the reference small region and a corresponding point belonging to the reference small region corresponding to the corresponding point. And the sum of the average value of the square distance between the corresponding point calculated by the plane projection matrix obtained in the reference small area and the corresponding point belonging to the reference small area corresponding to the corresponding point, This is characterized by a distance value between small areas for integration.
さらに、本発明に関わる平面検出プログラムでは、平面検出方法における手順を、コンピュータに実行させるためのプログラムとしたことを特徴とする。 Furthermore, the plane detection program according to the present invention is characterized in that the procedure in the plane detection method is a program for causing a computer to execute.
以上述べたように、本発明によれば、小領域において平面射影行列を求め、これを統合するため、多平面が存在する場合や、局所的な平面が存在する場合にも平面を見落とすことなく検出することが可能となる。 As described above, according to the present invention, a planar projection matrix is obtained in a small area and integrated, so that even if there are multiple planes or local planes, the planes are not overlooked. It becomes possible to detect.
また本発明では、画像を小領域毎に分割し、該小領域毎に平面であるかどうかを判定し、その後、隣接する小領域が同一平面に属するかどうかを、距離値を使い判定し、同一平面に属する際には順次統合していくため、画像上で平面を撮影している小領域毎に同一平面か、否かが決定される。このため、平面方程式が出力される従来技術では不可能であった画像上での平面領域の境界の抽出も可能となる。これによって、本発明では、画像上での小領域を統合して最終的な平面を検出するため、正確な平面境界を保った平面検出が可能となる。 Further, in the present invention, the image is divided into small areas, it is determined whether or not each small area is a plane, and then whether or not adjacent small areas belong to the same plane is determined using a distance value, Since they are sequentially integrated when belonging to the same plane, whether or not they are the same plane is determined for each small area in which the plane is photographed on the image. For this reason, it is also possible to extract the boundary of the planar area on the image, which was impossible in the prior art in which the plane equation is output. Accordingly, in the present invention, since the final plane is detected by integrating the small areas on the image, it is possible to detect the plane while maintaining an accurate plane boundary.
以下本発明の実施の形態を図面に基づいて説明する。まず、本発明における平面検出装置の構成について説明する。図１は、本発明の実施の形態による平面検出装置を説明するための構成図である。この平面検出装置は、画像入力手段１１、小領域分割手段１２、統合用小領域間距離値算出手段１３と平面統合手段１４から概略構成されている。 Embodiments of the present invention will be described below with reference to the drawings. First, the configuration of the flat surface detection apparatus according to the present invention will be described. FIG. 1 is a configuration diagram for explaining a flat panel detector according to an embodiment of the present invention. This plane detection apparatus is roughly composed of an image input means 11, a small area dividing means 12, an integration small area distance value calculating means 13, and a plane integration means 14.
画像入力手段１１は、カメラ等の撮像装置で撮像された１枚の画像と、該画像の画素と前記画像とは異なる位置で撮像されたステレオ画像の画素との対応点座標を受信する。 The image input means 11 receives corresponding point coordinates of one image captured by an imaging device such as a camera, and pixels of the image and a stereo image captured at a position different from the image.
小領域分割手段１２は、画像入力手段１１から受信した画像を分割して小領域とし、各小領域に唯一のＩＤを付与し、小領域ＩＤとして出力する。
The small
統合用小領域間距離値算出手段１３では、前記小領域に分割された画像と対応点座標を受信し、２つの小領域が空間中の同一平面に属するかどうかを判定するために利用する統合用小領域間距離値を算出して出力する。 The integration inter-region distance value calculation means 13 receives the image divided into the small regions and the corresponding point coordinates, and uses the integration to determine whether the two small regions belong to the same plane in the space. Calculate and output the distance value between the small areas.
平面統合手段１４は、統合用小領域間距離値と小領域ＩＤ、対応点座標を受信し、小領域ＩＤの統合用小領域間距離値も用いて空間中の同一平面に属する小領域を統合し、最終的におのおのの平面に対応付けられた対応点座標を出力する。
The
続いて平面検出装置で行われる処理を詳細に説明する。平面検出装置では、まず画像入力手段１１が起動される。画像入力手段１１は起動すると、ユーザから入力される、カメラ等の撮像装置で撮像された１枚の画像と、該画像の画素と前記画像とは異なる位置で撮像されたステレオ画像の画素との対応点座標を受信し、小領域分割手段１２へと転送して処理を終了する。
Next, processing performed by the flat surface detection device will be described in detail. In the plane detection apparatus, first, the image input means 11 is activated. When the
続いて小領域分割手段１２が起動する。小領域分割手段１２は起動すると、まず、画像入力手段１１から前記画像と前記対応点座標を受信する。続いて前記画像を一定面積毎に分割して小領域とし、各小領域に唯一のＩＤを付与し小領域ＩＤとして出力する。小領域への分割とＩＤ付与は、例えば、入力された画像サイズが100×100で一定面積サイズを10×10とすると、重なりの無いような10×10個の小領域に分割でき、それらをそれぞれ{0，1，・・・，99}のようにＩＤ付けすることによって実現される。
Subsequently, the small area dividing
続いて統合用小領域間距離値算出手段１３が起動する。ここで、統合用小領域間距離値算出手段１３で行なわれる処理を図２に示すフローチャートにより述べる。統合用小領域間距離値算出手段１３は起動すると、まず、小領域分割手段１２から前記小領域に分割され、夫々ＩＤが付与された画像と対応点座標を受信する（Ｓ１）。 Subsequently, the integration inter-region distance value calculation means 13 is activated. Here, the processing performed by the integration inter-region distance value calculation means 13 will be described with reference to the flowchart shown in FIG. When the integration small area distance value calculating means 13 is activated, it first divides the small area from the small area dividing means 12, and receives the image and the corresponding point coordinates respectively assigned with the ID (S1).
続いて受信した全小領域につき、各小領域毎に該小領域内に属する対応点座標を用いて平面射影行列を算出する（Ｓ２）。 Subsequently, for all the received small areas, a plane projection matrix is calculated for each small area using the corresponding point coordinates belonging to the small area (S2).
ここで、平面射影行列とは、空間中に存在する同一平面を撮影した２枚の画像間で同一平面上に存在する点の射影的関係を表す行列Ｈであり、以下に示す（式１）のように８つのパラメータ（ｈi）で表現される。（式１）のように一旦平面射影行列Ｈが求まると、一方の画像上での画素（ｘ1，ｙ1）の他方画像上での対応点（ｘ2，ｙ2）が、空間中の平面を撮像した画素に関しては全画素において算出可能となる。 Here, the plane projection matrix is a matrix H representing a projective relationship between points existing on the same plane between two images obtained by photographing the same plane existing in the space, and is expressed as follows (Formula 1). It is expressed by 8 parameters (h i ) as follows. Once the planar projection matrix H is obtained as in (Expression 1), the corresponding point (x 2 , y 2 ) on the other image of the pixel (x 1 , y 1 ) on one image is With respect to pixels that image a plane, calculation is possible for all pixels.
少数の対応点座標から平面射影行列を算出する方法は、例えば「Hartley，R.，“In defence of the eightpoint algorithm ，”IEEE Transactions of Pattern Analysis and Machine Intelligence， Vol.19，No.6，pp580-593，1997.」に記載の技術により実現される。なお、この平面射影行列算出時に算出された平面射影行列に対する、算出に使用した対応点の当てはめ誤差が大きかった小領域は非平面として以降の処理を行なわない（Ｓ３）。 For example, “Hartley, R.,“ Indefence of the eightpoint algorithm, ”IEEE Transactions of Pattern Analysis and Machine Intelligence, Vol.19, No.6, pp580- 593, 1997. ". It should be noted that the small area in which the fitting error of the corresponding points used for the calculation with respect to the plane projection matrix calculated at the time of calculation of the plane projection matrix is non-planar is not processed (S3).
続いて、前記小領域のうち２つを選択し、夫々基準小領域、参照小領域とする際に、全小領域ＩＤについて、基準小領域となるＩＤの選択処理が終了したかを判定する（Ｓ４）。 Subsequently, when two of the small areas are selected and set as a standard small area and a reference small area, respectively, it is determined whether or not the selection process for the ID as the standard small area has been completed for all the small area IDs ( S4).
判定の結果、「Yes」なら統合用小領域間距離値を基準、参照小領域の組み合わせＩＤに関連付けて平面統合手段１４へ出力する（Ｓ９）。 If “Yes” as a result of the determination, the distance value between the small areas for integration is output to the plane integrating means 14 in association with the combination ID of the reference small area as a standard (S9).
前記（Ｓ４）の判定で、「No」なら基準小領域として未選択の小領域ＩＤを基準小領域として選択処理し（Ｓ５）、続いて、選択基準小領域に対する参照小領域ＩＤを全小領域ＩＤについて選択処理が終了したかを判定する（Ｓ６）。 If “No” in the determination of (S4), the small area ID that has not been selected as the reference small area is selected as the reference small area (S5), and then the reference small area ID for the selected reference small area is set to all the small areas. It is determined whether or not the selection process has been completed for the ID (S6).
（Ｓ６）の判定で、「Yes」なら処理は、（Ｓ４）に戻り、「No」なら、選択基準小領域に対する参照小領域として未選択の小領域ＩＤを参照小領域として選択処理する（Ｓ７）。 If “Yes” in the determination of (S6), the process returns to (S4). If “No”, the small area ID that has not been selected as the reference small area for the selection reference small area is selected as the reference small area (S7). ).
その後、基準、参照小領域間の統合用小領域間距離値を、両領域の平面射影行列、対応点を用いて、後述する図３、図４で示すように算出処理し（Ｓ８）、（Ｓ６）の処理に戻る。 Thereafter, the inter-sub-region distance value for integration between the reference and reference sub-regions is calculated using the planar projection matrix and corresponding points of both regions as shown in FIGS. 3 and 4 (S8). The process returns to S6).
上記のような処理によって、前記小領域のうち２つを選択し、夫々基準小領域、参照小領域とし、該基準小領域、該参照小領域の両者から両小領域が空間中の同一平面に属するかどうかを判定するために利用する統合用小領域間距離値を算出する処理を基準小領域、参照小領域の全組み合わせに亘って行なう。ここで、統合用小領域間距離値は以下に示す（式２）〜（式４）のいずれかによって算出される。
（数２） ＥBR＝‖ＨB−ＨR‖ （式２）
ここで、（式２）において、ＥBRは基準小領域と参照小領域間の統合用小領域間距離値を、ＨB，ＨRはそれぞれ基準小領域、参照小領域の平面射影行列を表す。また‖…‖は行列のノルムであり、例えば、行列を構成する各要素の二乗和で定義できる。
Through the processing as described above, two of the small areas are selected as a standard small area and a reference small area, and both small areas are formed on the same plane in the space from both the standard small area and the reference small area. The process of calculating the integration inter-region distance value used for determining whether or not it belongs is performed over all combinations of the reference small region and the reference small region. Here, the integration inter-region distance value is calculated by any one of (Expression 2) to (Expression 4) shown below.
(Equation 2) E BR = ‖H B −H R ‖ (Formula 2)
Here, in (Equation 2), E BR represents a distance value between small areas for integration between the standard small area and the reference small area, and H B and H R represent planar projection matrices of the standard small area and the reference small area, respectively. . Also, ‖ ... ‖ is the norm of the matrix and can be defined, for example, by the sum of squares of each element constituting the matrix.
ここで、（式３），（式４）において、ＥBRは基準小領域と参照小領域間の統合用小領域間距離値を、ｐ，ｑはそれぞれ基準小領域、参照小領域内に属する対応点数を、ｈb，ｈrはそれぞれＨB，ＨRの行列要素を表す。 Here, in (Expression 3) and (Expression 4), E BR belongs to the integration small area distance value between the standard small area and the reference small area, and p and q belong to the standard small area and the reference small area, respectively. the corresponding points, h b, h r each H B, representing the matrix elements of H R.
また、（ｘib，ｙib）は基準小領域上に属するｉ番目の点の画像座標を、（ｘjr，ｙjr）は参照小領域上に属するｊ番目の点の画像座標を示す。（ｘ’ib，ｙ’ib）は前記入力画像と異なるステレオ画像上で（ｘib，ｙib）に対応する点の画像座標をそれぞれ示し、同様に（ｘ’jr，ｙ’jr）は前記入力画像と異なるステレオ画像上で（ｘjr，ｙjr）に対応する画像座標をそれぞれ示す。 (X ib , y ib ) indicates the image coordinates of the i-th point belonging to the reference small area, and (x jr , y jr ) indicates the image coordinates of the j-th point belonging to the reference small area. (X ′ ib , y ′ ib ) indicate image coordinates of points corresponding to (x ib , y ib ) on a stereo image different from the input image, respectively, and similarly (x ′ jr , y ′ jr ) Image coordinates corresponding to (x jr , y jr ) on a stereo image different from the input image are shown.
（式２）の統合用小領域間距離値は、基準小領域で求めた平面射影行列と参照小領域で求めた平面射影行列の各要素の数値の違いを距離としている。 The distance value between the integration small areas in (Expression 2) is the distance between the numerical values of the elements of the planar projection matrix obtained in the reference small area and the planar projection matrix obtained in the reference small area.
また、（式３）の統合用小領域間距離値は、図３で示すように、基準小領域で求めた平面射影行列によって算出される対応点とその対応点に相当する、該平面射影行列を求める際に利用した基準小領域内に属する対応点との二乗距離の平均値と、参照小領域で求めた平面射影行列によって算出される対応点とその対応点に相当する、該平面射影行列を求める際に利用した参照小領域内に属する対応点との二乗距離の平均値との和を意味している。 Further, as shown in FIG. 3, the integration inter-region distance value in (Equation 3) includes the corresponding point calculated by the planar projection matrix obtained in the reference small region and the corresponding planar projection matrix. The plane projection matrix corresponding to the average value of the squared distance from the corresponding point belonging to the reference small region used when obtaining the value, the corresponding point calculated by the planar projection matrix obtained in the reference small region, and the corresponding point It means the sum of the mean value of the square distances with the corresponding points belonging to the reference small area used when obtaining.
また、（式４）の統合用小領域間距離値は、図４で示すように、基準小領域で求めた平面射影行列によって算出される対応点とその対応点に相当する、参照小領域内に属する対応点との二乗距離の平均値と、参照小領域で求めた平面射影行列によって算出される対応点とその対応点に相当する、基準小領域内に属する対応点との二乗距離の平均値との和を意味している。 Further, as shown in FIG. 4, the integration inter-region distance value in (Equation 4) is calculated by using the corresponding point calculated by the planar projection matrix obtained in the reference small region and the reference small region corresponding to the corresponding point. The mean value of the squared distances between the corresponding points belonging to, and the average of the squared distances between the corresponding points calculated by the planar projection matrix obtained in the reference small area and the corresponding points belonging to the reference small area corresponding to the corresponding points Means the sum with the value.
なお、図３，図４では両者とも入力画像を画像Ａと表記し、算出した平面射影行列を２次元画像上での説明用に直線を当てはめた場合に置き換え、これを当てはめられたモデルとして記述している。 3 and 4, the input image is denoted as image A in both cases, and the calculated planar projection matrix is replaced with a straight line for explanation on a two-dimensional image, and this is described as a fitted model. is doing.
統合用小領域間距離値算出手段１３では最後に、算出した統合用小領域間距離値を基準、参照小領域の組み合わせＩＤに関連付けて（Ｓ９）、平面統合手段１４に転送し、処理を終了する。 Finally, the integration inter-region distance value calculation means 13 associates the calculated integration inter-region distance value with the reference sub-area combination ID as a reference (S9), transfers it to the plane integration means 14, and ends the processing. To do.
続いて平面統合手段１４が起動する。平面統合手段１４は起動するとまず統合用小領域間距離値算出手段１３から基準、参照小領域の組み合わせＩＤに関連付けられた統合用小領域間距離値を受信する。
Subsequently, the
続いて全小領域をクラスタとし、該統合用小領域間距離値をクラスタ間距離値としてこれをクラスタリング手法により統合する。ここでクラスタリング手法としては、例えば階層的クラスタリング法により実現できる。この階層的クラスタリング法とは、はじめに与えられたＮ個のサンプルを要素数が１つのＮ個のクラスタと考え、特徴空間において、クラスタ間距離を用いて（最も類似した）２つのクラスタを融合し新たなクラスタとする処理を、距離値があらかじめ与えられた閾値もしくは所望のクラスタ数になるまで繰り返すことによってクラスタリングを行なう方法である。 Subsequently, all the small regions are set as clusters, and the integration inter-region distance value is set as an inter-cluster distance value and integrated by a clustering method. Here, the clustering method can be realized by, for example, a hierarchical clustering method. This hierarchical clustering method considers the N samples given first as N clusters with one element, and fuses the two (most similar) clusters using the distance between clusters in the feature space. This is a method of performing clustering by repeating the process of making a new cluster until the distance value reaches a predetermined threshold value or a desired number of clusters.
階層的クラスタリング法では最も類似したクラスタを選択する基準として、最短距離法や最長距離法、メディアン法、重心法、群平均法やフォード法などの基準があるが、何れを用いても良い。 In the hierarchical clustering method, there are standards such as the shortest distance method, the longest distance method, the median method, the centroid method, the group average method, and the Ford method as criteria for selecting the most similar cluster.
また、クラスタリング法としてK-means法を用いても良いものとする。最後に統合されたクラスタに平面ＩＤを付与し、該平面ＩＤとこれに属する小領域ＩＤを出力する、もしくは前記平面ＩＤとこれに属する小領域ＩＤに属する対応点座標を出力して処理を終了する。 Further, the K-means method may be used as the clustering method. Finally, a plane ID is assigned to the integrated cluster, and the plane ID and the small area ID belonging to it are output, or the corresponding point coordinates belonging to the plane ID and the small area ID belonging to the plane ID are output and the process is terminated. To do.
［第一実施の形態］
次に本発明における第一の実施の形態を具体的データに即して説明する。まず、図５に示すようなステレオ画像のうちの一方の画像と、この画像の画素に他方のステレオ画像上で対応する点の座標が与えられたものとする。
[First embodiment]
Next, the first embodiment of the present invention will be described with reference to specific data. First, it is assumed that one of the stereo images as shown in FIG. 5 and the coordinates of a point corresponding to the pixel of this image on the other stereo image are given.
平面検出装置では画像入力手段１１が起動し、前記画像と前記対応点座標を受信し、これを小領域分割手段１２に転送する。 In the plane detection apparatus, the image input means 11 is activated, receives the image and the corresponding point coordinates, and transfers them to the small area dividing means 12.
続いて小領域分割手段１２が起動し、図５で示される画像、対応点座標を受信し、該画像を一定面積毎に分割し、該分割された小領域毎に唯一のＩＤを小領域ＩＤとして付与し出力する。この例では、図６中枠で示すように、４つの小領域に分割され、それぞれ図示のようにａ，ｂ，ｃ，ｄと小領域ＩＤが付与されたものとする。 Subsequently, the small area dividing means 12 is activated, receives the image and corresponding point coordinates shown in FIG. 5, divides the image into fixed areas, and assigns a unique ID for each divided small area to the small area ID. As output. In this example, as shown by the frame in FIG. 6, it is divided into four small areas, and a, b, c, d and small area IDs are given as shown in the figure.
続いて統合用小領域間距離値算出手段１３が起動し、ａ，ｂ，ｃ，ｄの小領域ＩＤと前記対応点座標を受信する。続いて受信した４つの小領域につき、各小領域毎に該小領域内に属する対応点座標を用いて４つの平面射影行列を算出する。続いて前記小領域のうち２つを選択し、それぞれ基準小領域、参照小領域とする。 Subsequently, the integration inter-region distance value calculation means 13 is activated to receive the small region IDs a, b, c, and d and the corresponding point coordinates. Subsequently, for the received four small areas, four plane projection matrices are calculated for each small area using corresponding point coordinates belonging to the small area. Subsequently, two of the small areas are selected as a reference small area and a reference small area, respectively.
この例では、まず、基準小領域としてａ，参照小領域としてｂが選択されたものとする。続いて、ａ，ｂの組み合わせの統合用小領域間距離値を算出する。この例では前述の（式３）を用いて統合用小領域間距離値を算出し、その値が「110」であったものとする。 In this example, first, it is assumed that a is selected as the reference small area and b is selected as the reference small area. Subsequently, a distance value between the small areas for integration of a combination of a and b is calculated. In this example, the integration inter-region distance value is calculated using (Equation 3) described above, and the value is “110”.
この統合用小領域間距離値を算出する処理は、基準小領域、参照小領域の全組み合わせに亘って行なわれる。この例では基準小領域ａに対して参照小領域がｂ，ｃ，ｄと選択される。同様に基準小領域ｂに対して参照小領域がｃ，ｄ，基準小領域ｃに対して参照小領域がｄと選択される。 The processing for calculating the integration inter-region distance value is performed over all combinations of the reference small region and the reference small region. In this example, the reference small areas are selected as b, c, and d with respect to the standard small area a. Similarly, the reference small area b is selected as c and d for the standard small area b, and the reference small area is selected as d for the standard small area c.
本実施の形態において、これら全ての組み合わせに対して統合用小領域間距離値が算出された時のそれぞれの値を基準、参照小領域の組み合わせＩＤに関連付けて表にしたものが図７である。 In the present embodiment, FIG. 7 shows the values obtained when the integration inter-region distance values are calculated for all of these combinations in a table in association with the reference and reference sub-region combination IDs. .
統合用小領域間距離値算出手段１３では最後にこの基準、参照小領域の組み合わせＩＤに関連付けられた統合用小領域間距離値を平面統合手段１４に転送して処理を終了する。 The integration inter-region distance value calculation means 13 finally transfers the integration inter-region distance value associated with the reference / reference sub-area combination ID to the plane integration means 14 and ends the processing.
続いて平面統合手段１４が起動する。平面統合手段１４は、図７の基準、参照小領域の組み合わせＩＤに関連付けられた統合用小領域間距離値を受信する。続いて全小領域をクラスタとし、該統合用小領域間距離値をクラスタ間距離値とし、クラスタがクラスタリング手法によって統合される。
Subsequently, the
この例では、あらかじめ閾値として「120」が与えられ階層的クラスタリングが行なわれたとすると、平面ＩＤａ，ｂ，ｃが同一平面、ｄがその他の平面となり、平面ＩＤ１＝｛ａ，ｂ，ｃ｝，平面ＩＤ２＝｛ｄ｝が最終的に出力される。 In this example, if “120” is given as a threshold value in advance and hierarchical clustering is performed, the planes IDa, b, and c are the same plane, d is the other plane, and the plane ID1 = {a, b, c}, Plane ID2 = {d} is finally output.
［第二実施の形態］
次に本発明における第二実施の形態を具体的データに即して説明する。統合用小領域間距離値算出手段１３と平面統合手段１４以外の構成、動作は第一実施の形態と同様であるので、ここでの説明は省く。
[Second Embodiment]
Next, a second embodiment of the present invention will be described based on specific data. Since the configuration and operation other than the integration small area distance value calculation means 13 and the plane integration means 14 are the same as those in the first embodiment, description thereof is omitted here.
本実施の形態では、統合用小領域間距離値算出手段１３において、小領域ＩＤａ，ｂ，ｃ，ｄと前記対応点座標を受信後、受信した４つの小領域につき、各小領域毎に該小領域内に属する対応点座標を用いて４つの平面射影行列を算出した際に、平面射影行列算出時に誤差が大きかった小領域ｄは非平面と判定され破棄されたものとすると、第一実施の形態で空間中の２つの平面が同一平面と誤判定されたことに対処するため、異なる２平面上に属する小領域において該領域間の距離値をより大きくする（式４）を用いて統合用小領域間距離値を算出したところが第一実施の形態と異なる。 In the present embodiment, the integration inter-region distance value calculation means 13 receives the small regions IDa, b, c, d and the corresponding point coordinates, and then, for each of the four small regions received, When four plane projection matrices are calculated using corresponding point coordinates belonging to the small area, the small area d having a large error when calculating the plane projection matrix is determined to be non-planar and discarded. In order to deal with the fact that two planes in the space are mistakenly determined to be the same plane in the form of (2), integration is performed by using a larger distance value between the areas in small areas belonging to two different planes (Formula 4) The difference between the small sub-region distance values is different from the first embodiment.
本実施の形態では、まず、基準小領域としてａ，参照小領域としてｂが選択されたものとする。続いて、ａ，ｂの組み合わせの統合用小領域間距離値を算出する。この例では前述の（式４）を用いて統合用小領域間距離値を算出し、その値が「220」であったものとする。 In the present embodiment, it is assumed that a is selected as the reference small area and b is selected as the reference small area. Subsequently, a distance value between the small areas for integration of a combination of a and b is calculated. In this example, it is assumed that the distance value between the integration small regions is calculated using the above-described (Expression 4), and the value is “220”.
この統合用小領域間距離値を算出する処理は、基準小領域、参照小領域の全組み合わせに亘って行なわれる。この例では基準小領域ａに対して参照小領域がｂ，ｃと選択される。同様に基準小領域ｂに対して参照小領域がｃと選択される。本実施の形態において、これら全ての組み合わせに対して統合用小領域間距離値が算出された時のそれぞれの値を基準、参照小領域の組み合わせＩＤに関連付けて表にしたものが図８である。統合用小領域間距離値算出手段１３では最後にこの基準、参照小領域の組み合わせＩＤに関連付けられた統合用小領域間距離値を平面統合手段１４に転送して処理を終了する。 The processing for calculating the integration inter-region distance value is performed over all combinations of the reference small region and the reference small region. In this example, the reference small areas are selected as b and c with respect to the standard small area a. Similarly, the reference small area is selected as c with respect to the standard small area b. In the present embodiment, FIG. 8 shows a table in which the values when the integration inter-region distance values are calculated for all of these combinations are associated with the reference ID of the reference sub-region, based on the respective values. . The integration inter-region distance value calculation means 13 finally transfers the integration inter-region distance value associated with the reference / reference sub-area combination ID to the plane integration means 14 and ends the processing.
続いて平面統合手段１４が起動する。平面統合手段１４は図８の基準、参照小領域の組み合わせＩＤに関連付けられた統合用小領域間距離値を受信する。続いて全小領域をクラスタとし、該統合用小領域間距離値をクラスタ間距離値とし、クラスタがクラスタリング手法によって統合される。この例では、あらかじめ閾値として「120」が与えられ階層的クラスタリングが行なわれたとすると、平面ＩＤａ，ｂが同一平面、ｃがその他の平面となり、平面ＩＤ１＝｛ａ，ｂ｝，平面ＩＤ２＝｛ｃ｝が最終的に出力される。
Subsequently, the
本実施の形態では、いずれも、各小領域の面積を一定としたが、各小領域の面積は必ずしも一定とする必要は無い。 In each of the embodiments, the area of each small region is constant, but the area of each small region is not necessarily constant.
なお、本発明の装置はコンピュータとプログラムによっても実現でき、プログラムを記録媒体に記録することも、ネットワークを通して提供することも可能である。 The apparatus of the present invention can also be realized by a computer and a program, and the program can be recorded on a recording medium or provided through a network.
以上、本発明を実施の形態に基づき具体的に説明したが、上記実施の形態の説明は、本発明を説明するためのものであって、特許請求の範囲に記載の発明を限定し、或は範囲を減縮する様に解すべきではない。また、本発明の各手段構成は上記実施の形態に限らず、特許請求の範囲に記載の技術的範囲内で種々の変形が可能であることは勿論である。 Although the present invention has been specifically described above based on the embodiment, the description of the above embodiment is for explaining the present invention, and limits the invention described in the claims. Should not be construed as reducing the range. Moreover, each means structure of this invention is not restricted to the said embodiment, Of course, a various deformation | transformation is possible within the technical scope as described in a claim.
１１…画像入力手段
１２…小領域分割手段
１３…統合用小領域間距離値算出手段
１４…平面統合手段
DESCRIPTION OF
Claims (9)
該画像を複数の領域に分割し、該分割された領域である小領域毎に唯一のIDを小領域IDとして付与し出力する小領域分割手段と、
全小領域について前記対応点座標から平面上に存在する点同士の関係を表現する平面射影行列を算出して空間中の平面が撮像された領域上に属する小領域を抽出し、
続いて、前記小領域のうち２つを選択し、夫々基準小領域、参照小領域とし、
該基準小領域、該参照小領域の両者から両小領域が空間中の同一平面に属するかどうかを判定するために利用する統合用小領域間距離値の算出処理を基準小領域、参照小領域の全組み合わせに亘って行う統合用小領域間距離値算出手段と、
前記統合用小領域間距離値に基づき前記小領域を統合する平面統合手段と、
を備えてなることを特徴とする平面検出装置。 Image input means for inputting corresponding point coordinates between a pixel of one imaged image and a stereo image imaged at a position different from the image;
A small area dividing means for dividing the image into a plurality of areas, and assigning and outputting a unique ID as a small area ID for each small area that is the divided area;
Calculating a plane projection matrix expressing the relationship between points existing on the plane from the corresponding point coordinates for all the small areas, and extracting a small area belonging to the area where the plane in the space is imaged,
Subsequently, two of the small areas are selected as a reference small area and a reference small area,
The calculation processing of the inter-small area distance value used for determining whether both small areas belong to the same plane in the space from both the standard small area and the reference small area is performed as the standard small area and the reference small area. A means for calculating a distance value between small areas for integration over all combinations of
Plane integration means for integrating the small regions based on the integration inter-region distance values;
A flat surface detection device comprising:
算出された前記基準小領域と前記参照小領域の両者の平面射影行列の差行列を算出し、
該差行列を構成する各要素の二乗和であるノルムを算出し、これを統合用小領域間距離値とすること
を特徴とする請求項１記載の平面検出装置。 The integration inter-region distance value calculation means includes:
Calculating a difference matrix of the planar projection matrix of both the calculated reference small region and the reference small region;
The flat detection apparatus according to claim 1, wherein a norm that is a sum of squares of each element constituting the difference matrix is calculated and used as a distance value between small areas for integration.
前記基準小領域で求めた平面射影行列によって算出される対応点とその対応点に相当する、該平面射影行列を求める際に利用した基準小領域内に属する対応点との二乗距離の平均値と、参照小領域で求めた平面射影行列によって算出される対応点とその対応点に相当する、該平面射影行列を求める際に利用した参照小領域内に属する対応点との二乗距離の平均値との和を算出し、これを統合用小領域間距離値とすること
を特徴とする請求項１記載の平面検出装置。 The integration inter-region distance value calculation means includes:
The average value of the square distance between the corresponding point calculated by the planar projection matrix obtained in the reference small region and the corresponding point belonging to the reference small region used when calculating the planar projection matrix corresponding to the corresponding point; , The average value of the square distance between the corresponding point calculated by the plane projection matrix obtained in the reference subregion and the corresponding point belonging to the reference subregion used when obtaining the plane projection matrix corresponding to the corresponding point, and The flat detection device according to claim 1, wherein the sum is calculated and used as the integration inter-region distance value.
前記基準小領域で求めた平面射影行列によって算出される対応点とその対応点に相当する、参照小領域内に属する対応点との二乗距離の平均値と、参照小領域で求めた平面射影行列によって算出される対応点とその対応点に相当する、参照小領域内に属する対応点との二乗距離の平均値との和を算出し、これを統合用小領域間距離値とすること
を特徴とする請求項１記載の平面検出装置。 The integration inter-region distance value calculation means includes:
The mean value of the square distance between the corresponding point calculated by the planar projection matrix obtained in the reference small region and the corresponding point corresponding to the corresponding point in the reference small region, and the planar projection matrix obtained in the reference small region The sum of the corresponding points calculated by the above and the average value of the square distances of the corresponding points belonging to the reference small area corresponding to the corresponding points is calculated, and this is used as the inter-small area distance value. The flat panel detector according to claim 1.
小領域分割手段が、該画像を複数の領域に分割し、該分割された領域である小領域毎に唯一のIDを小領域IDとして付与し出力する小領域分割手順と、
統合用小領域間距離値算出手段が、全小領域について前記対応点座標から平面上に存在する点同士の関係を表現する平面射影行列を算出して空間中の平面が撮像された領域上に属する小領域を抽出し、
続いて、前記小領域のうち２つを選択し、夫々基準小領域、参照小領域とし、該基準小領域、該参照小領域の両者から両小領域が空間中の同一平面に属するかどうかを判定するために利用する統合用小領域間距離値の算出処理を基準小領域、参照小領域の全組み合わせに亘って行う統合用小領域間距離値算出手順と、
平面統合手段が、前記統合用小領域間距離値に基づき前記小領域を統合する平面統合手順と、
を備えてなることを特徴とする平面検出方法。 An image input procedure in which the image input means inputs corresponding point coordinates between a pixel of one captured image and a stereo image captured at a position different from the image;
A small area dividing means for dividing the image into a plurality of areas, and assigning and outputting a unique ID as a small area ID for each small area that is the divided area; and
The integration small area distance value calculating means calculates a plane projection matrix expressing the relationship between points existing on the plane from the corresponding point coordinates for all the small areas, and on the area where the plane in the space is imaged. Extract the small area to which it belongs,
Subsequently, two of the small areas are selected as a standard small area and a reference small area, respectively, and it is determined whether both small areas belong to the same plane in the space from the standard small area and the reference small area. An integration small area distance value calculation procedure for performing the calculation process of the integration small area distance value used for determination over all combinations of the reference small area and the reference small area;
Plane integration means for integrating the small regions based on the integration inter-region distance value,
A plane detection method comprising:
算出された前記基準小領域と前記参照小領域の両者の平面射影行列の差行列を算出し、
該差行列を構成する各要素の二乗和であるノルムを算出し、これを統合用小領域間距離値とすること
を特徴とする請求項５記載の平面検出方法。 The integration sub-region distance value calculation procedure is:
Calculating a difference matrix of the planar projection matrix of both the calculated reference small region and the reference small region;
The plane detection method according to claim 5, wherein a norm that is a sum of squares of each element constituting the difference matrix is calculated and used as a distance value between the small areas for integration.
前記基準小領域で求めた平面射影行列によって算出される対応点とその対応点に相当する、該平面射影行列を求める際に利用した基準小領域内に属する対応点との二乗距離の平均値と、参照小領域で求めた平面射影行列によって算出される対応点とその対応点に相当する、該平面射影行列を求める際に利用した参照小領域内に属する対応点との二乗距離の平均値との和を算出し、これを統合用小領域間距離値とすること
を特徴とする請求項５記載の平面検出方法。 The integration sub-region distance value calculation procedure is:
The average value of the square distance between the corresponding point calculated by the planar projection matrix obtained in the reference small region and the corresponding point belonging to the reference small region used when calculating the planar projection matrix corresponding to the corresponding point; , The average value of the square distance between the corresponding point calculated by the plane projection matrix obtained in the reference subregion and the corresponding point belonging to the reference subregion used when obtaining the plane projection matrix corresponding to the corresponding point, and The plane detection method according to claim 5, wherein the sum is calculated and used as a distance value between small areas for integration.
前記基準小領域で求めた平面射影行列によって算出される対応点とその対応点に相当する、参照小領域内に属する対応点との二乗距離の平均値と、参照小領域で求めた平面射影行列によって算出される対応点とその対応点に相当する、参照小領域内に属する対応点との二乗距離の平均値との和を算出し、これを統合用小領域間距離値とすること
を特徴とする請求項５記載の平面検出方法。 The integration sub-region distance value calculation procedure is:
The mean value of the square distance between the corresponding point calculated by the planar projection matrix obtained in the reference small region and the corresponding point corresponding to the corresponding point in the reference small region, and the planar projection matrix obtained in the reference small region The sum of the corresponding points calculated by the above and the average value of the square distances of the corresponding points belonging to the reference small area corresponding to the corresponding points is calculated, and this is used as the inter-small area distance value. The plane detection method according to claim 5.
ことを特徴とする平面検出プログラム。
A flat surface detection program characterized in that a program for causing a computer to execute the procedure in the flat surface detection method according to any one of claims 5 to 8.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2004370343A JP2006178696A (en) | 2004-12-22 | 2004-12-22 | Plane detection apparatus and method, and plane detection program |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2004370343A JP2006178696A (en) | 2004-12-22 | 2004-12-22 | Plane detection apparatus and method, and plane detection program |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JP2006178696A true JP2006178696A (en) | 2006-07-06 |
Family
ID=36732762
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2004370343A Pending JP2006178696A (en) | 2004-12-22 | 2004-12-22 | Plane detection apparatus and method, and plane detection program |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP2006178696A (en) |
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2011523742A (en) * | 2008-05-20 | 2011-08-18 | 本田技研工業株式会社 | Rectangle table detection using RGB and depth measurement hybrid camera sensors |
| JP2013214155A (en) * | 2012-03-30 | 2013-10-17 | Fujitsu Ltd | Image processing device, image processing method and image processing program |
| JP2014199586A (en) * | 2013-03-29 | 2014-10-23 | 株式会社パスコ | Unevenness extraction device for multi-plane structure, unevenness extraction method for multi-plane structure, and program |
| JP2014238714A (en) * | 2013-06-07 | 2014-12-18 | Ｎｅｃソリューションイノベータ株式会社 | Three-dimensional data generation device, three-dimensional data generation method, and program |
| JP2018010601A (en) * | 2016-07-15 | 2018-01-18 | セコム株式会社 | Image processing device |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH10283462A (en) * | 1997-04-04 | 1998-10-23 | Fuji Heavy Ind Ltd | Outer-vehicle monitoring device |
| JP2004086779A (en) * | 2002-08-28 | 2004-03-18 | Toshiba Corp | Obstacle detection device and its method |
| JP2004246667A (en) * | 2003-02-14 | 2004-09-02 | Keiogijuku | Method for generating free visual point moving image data and program for making computer perform the same processing |
| JP2005326247A (en) * | 2004-05-14 | 2005-11-24 | Nippon Telegr & Teleph Corp <Ntt> | Calibrator, calibration method, and calibration program |
-
2004
- 2004-12-22 JP JP2004370343A patent/JP2006178696A/en active Pending
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH10283462A (en) * | 1997-04-04 | 1998-10-23 | Fuji Heavy Ind Ltd | Outer-vehicle monitoring device |
| JP2004086779A (en) * | 2002-08-28 | 2004-03-18 | Toshiba Corp | Obstacle detection device and its method |
| JP2004246667A (en) * | 2003-02-14 | 2004-09-02 | Keiogijuku | Method for generating free visual point moving image data and program for making computer perform the same processing |
| JP2005326247A (en) * | 2004-05-14 | 2005-11-24 | Nippon Telegr & Teleph Corp <Ntt> | Calibrator, calibration method, and calibration program |
Non-Patent Citations (3)
| Title |
|---|
| 川上 裕司, 伊藤 吉弘, 金澤 靖: "特徴点の位置分布に基づくランダムサンプリングによる平面領域のロバストな検出法", 情報処理学会研究報告, vol. 第2004巻第6号, JPN6010013742, 23 January 2004 (2004-01-23), JP, pages 37 - 44, ISSN: 0001566780 * |
| 稲本 奈穂, 斎籐 英雄: "サッカーシーンにおける多視点映像からの中間映像生成", 電子情報通信学会技術研究報告[マルチメディア・仮想環境基礎], vol. 第101巻第426号, JPN6010013737, 9 November 2001 (2001-11-09), JP, pages 87 - 94, ISSN: 0001566781 * |
| 関 晃仁, 奥富 正敏: "ステレオ動画像を利用した平面領域抽出による障害物検出", 情報処理学会論文誌, vol. 第45巻第SIG13CVIM1号, JPN6010013740, 15 December 2004 (2004-12-15), JP, pages 1 - 10, ISSN: 0001566779 * |
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2011523742A (en) * | 2008-05-20 | 2011-08-18 | 本田技研工業株式会社 | Rectangle table detection using RGB and depth measurement hybrid camera sensors |
| JP2013214155A (en) * | 2012-03-30 | 2013-10-17 | Fujitsu Ltd | Image processing device, image processing method and image processing program |
| JP2014199586A (en) * | 2013-03-29 | 2014-10-23 | 株式会社パスコ | Unevenness extraction device for multi-plane structure, unevenness extraction method for multi-plane structure, and program |
| JP2014238714A (en) * | 2013-06-07 | 2014-12-18 | Ｎｅｃソリューションイノベータ株式会社 | Three-dimensional data generation device, three-dimensional data generation method, and program |
| JP2018010601A (en) * | 2016-07-15 | 2018-01-18 | セコム株式会社 | Image processing device |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP6236118B2 (en) | 3D data processing apparatus, 3D data processing system, 3D data processing method and program | |
| TWI729995B (en) | Generating a merged, fused three-dimensional point cloud based on captured images of a scene | |
| JP5580164B2 (en) | Optical information processing apparatus, optical information processing method, optical information processing system, and optical information processing program | |
| JP5620200B2 (en) | Point cloud position data processing device, point cloud position data processing method, point cloud position data processing system, and point cloud position data processing program | |
| WO2014061372A1 (en) | Image-processing device, image-processing method, and image-processing program | |
| EP3093822B1 (en) | Displaying a target object imaged in a moving picture | |
| JP2001194114A (en) | Image processing apparatus and method and program providing medium | |
| TW201118791A (en) | System and method for obtaining camera parameters from a plurality of images, and computer program products thereof | |
| JP2012063866A (en) | Device for processing point group position data, method for processing point group position data, system for processing point group position data, and program for processing point group position data | |
| TW201131512A (en) | Distance evaluation methods and apparatuses, and machine readable medium thereof | |
| JPH09212648A (en) | Moving image processing method | |
| JP6684475B2 (en) | Image processing apparatus, image processing method and program | |
| WO2013052600A1 (en) | Using videogrammetry to fabricate parts | |
| CN108362205B (en) | Space distance measuring method based on fringe projection | |
| JP2011134012A (en) | Image processor, image processing method for the same and program | |
| Georgantas et al. | An accuracy assessment of automated photogrammetric techniques for 3D modeling of complex interiors | |
| JP6806459B2 (en) | Methods and devices for tracking objects | |
| JP2019004305A (en) | Image processing device, image processing method, and program | |
| CN113494893A (en) | Calibration method and device of three-dimensional laser scanning system and computer equipment | |
| JP6411188B2 (en) | Stereo matching device, stereo matching program, and stereo matching method | |
| WO2008032375A1 (en) | Image correcting device and method, and computer program | |
| TWI471821B (en) | A system, a method, and a recording medium for establishing a correlation for a plurality of images | |
| JP2006178696A (en) | Plane detection apparatus and method, and plane detection program | |
| JP2003006618A (en) | Method and device for generating three-dimensional model and computer program | |
| JP2016206909A (en) | Information processor, and information processing method |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20070220 |
|
| RD02 | Notification of acceptance of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7422 Effective date: 20090527 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20100302 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20100316 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20100517 |
|
| RD02 | Notification of acceptance of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7422 Effective date: 20100518 |
|
| A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20100608 |