JP2013254380A - Image processing method - Google Patents

Image processing method Download PDF

Info

Publication number
JP2013254380A
JP2013254380A JP2012129943A JP2012129943A JP2013254380A JP 2013254380 A JP2013254380 A JP 2013254380A JP 2012129943 A JP2012129943 A JP 2012129943A JP 2012129943 A JP2012129943 A JP 2012129943A JP 2013254380 A JP2013254380 A JP 2013254380A
Authority
JP
Japan
Prior art keywords
image
processing
processing method
template
subject
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2012129943A
Other languages
Japanese (ja)
Inventor
Satoshi Aso
聡志 麻生
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Konica Minolta Inc
Original Assignee
Konica Minolta Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Konica Minolta Inc filed Critical Konica Minolta Inc
Priority to JP2012129943A priority Critical patent/JP2013254380A/en
Publication of JP2013254380A publication Critical patent/JP2013254380A/en
Pending legal-status Critical Current

Links

Images

Landscapes

  • Image Processing (AREA)
  • Image Analysis (AREA)

Abstract

PROBLEM TO BE SOLVED: To reduce a calculation amount and shorten processing time using a relatively small scale circuit when correctly recognizing a subject by 3D range-finding and 2D template matching.SOLUTION: An image processing method includes: 3D range-finding processing for searching for corresponding points on a pair of subject images whose imaging positions are different; tilt correction processing for correcting tilt of the subject image based on a three-dimensional position obtained by the 3D range-finding processing; and 2D template matching processing for detecting coincidence of the subject image subjected to tilt correction and a prestored template image. In the 3D range-finding processing, information on at least two end positions is obtained from the template image used in the 2D template matching processing as a comparison object and the corresponding points are searched for in the peripheral range of the end position of the subject image.

Description

本願発明は、3D測距処理により得られた3次元的な位置により被写体画像のあおりを補正して、テンプレート画像との一致を検出する2Dテンプレートマッチング処理を行う画像処理方法に関する。   The present invention relates to an image processing method for performing 2D template matching processing for correcting a tilt of a subject image based on a three-dimensional position obtained by 3D distance measurement processing and detecting a match with a template image.

工業製品の開発や生産工程において、設計・開発・生産に関わるすべての情報を一元化して管理し、工程の効率化や期間の短縮をはかるため、コンピュータを使用した情報処理システムが活用されている。   In the development and production process of industrial products, all information related to design, development and production is centralized and managed, and information processing systems using computers are used to improve process efficiency and shorten the period. .

この情報処理システムでは、CADデータなどの図面データや、仕様書などの文書データからなる設計に関するデータの管理や、製品を構成する部品の構成データの管理と購買・資材システムとの連携、設計・生産のスケジュールの把握と効率化をはかるワークフロー管理などの機能が中心となって構成される。   In this information processing system, management of design-related data consisting of drawing data such as CAD data and document data such as specifications, management of component data constituting the product and cooperation with purchasing / material systems, design / It is composed mainly of functions such as workflow management to grasp production schedules and improve efficiency.

そして、生産工程において、ステレオマッチング法による3D測距と、2Dテンプレートマッチングとによって、ロボットを制御してテーブル上に載置された部品をピッキングして組み付けるといった作業が可能になる。   In the production process, it is possible to perform operations such as picking and assembling components placed on the table by controlling the robot by 3D distance measurement by the stereo matching method and 2D template matching.

ここで、ステレオマッチング法による3D測距とは、左右に配置された2台のカメラ(ステレオカメラ)で撮影された2枚1組の一対の画像を用いて、左のカメラで撮影された画像が右のカメラで撮影された画像のどの部分に対応するかを面積相関の計算により求め、その対応関係を使った三角測量により、各点の3次元的位置を推測する方法である。   Here, 3D ranging by the stereo matching method is an image taken by the left camera using a pair of images taken by two cameras (stereo cameras) arranged on the left and right. This is a method of determining which part of the image taken by the right camera corresponds to the area correlation calculation and estimating the three-dimensional position of each point by triangulation using the correspondence.

また、2Dテンプレートマッチングとは、予め保持している対象物のテンプレート画像と撮影画像とを比較し、撮影した画像中から特定の被写体(対象物)を探し出す手法のことである。   The 2D template matching is a technique for comparing a template image of a target object held in advance with a captured image and searching for a specific subject (target object) from the captured image.

なお、テーブル上の複数の対象物を、傾きが無い状態で真上から撮影することができれば、3D測距は不要で、2Dテンプレートマッチングだけで済む。しかし、実際には、部品が載置された向きや、カメラの撮影方向に、傾きが生じているため、2Dテンプレートマッチングの前処理として、上述したステレオマッチング法による3D測距が必要になる。   If a plurality of objects on the table can be photographed from directly above without tilting, 3D distance measurement is unnecessary and only 2D template matching is required. However, in reality, there is an inclination in the direction in which the component is placed and the shooting direction of the camera, so 3D distance measurement by the stereo matching method described above is necessary as preprocessing for 2D template matching.

なお、3D測距を行う場合には、撮影画像あるいは被写体画像の全画素について、一対の画像間で相関度を計算する必要があり、計算量が膨大になり、処理時間もかかることが知られている。   In addition, when performing 3D distance measurement, it is necessary to calculate the degree of correlation between a pair of images for all the pixels of a captured image or subject image, and it is known that the calculation amount is enormous and processing time is also required. ing.

そこで、3D測距における計算量を低減して処理時間を短縮する手法が、以下の特許文献に提案されている。   In view of this, a technique for reducing the amount of calculation in 3D ranging and shortening the processing time has been proposed in the following patent documents.

特開2008−58279号公報JP 2008-58279 A

以上の特許文献1には、撮影画像中に距離の異なる複数の対象物が重なりつつ存在している場合に、各対象物のエッジを抽出することで、距離の異なる対象物を識別し、演算範囲を限定することで計算量を削減することが提案されている。   In Patent Document 1 described above, when a plurality of objects with different distances are present in the captured image, the objects having different distances are identified and extracted by extracting the edges of the objects. It has been proposed to reduce the amount of calculation by limiting the range.

但し、この特許文献1の手法では、重なり合った対象物を識別して演算範囲を限定しているものの、本来の被写体画像の全画素について一対の画像間で相関度を計算することに変わりはなく、従来と比較して3D測距の計算量や処理時間が大幅に短縮されるものではない。   However, although the method of Patent Document 1 identifies the overlapping objects and limits the calculation range, there is no change in calculating the correlation between a pair of images for all pixels of the original subject image. Compared with the prior art, the calculation amount and processing time of 3D ranging are not greatly reduced.

なお、撮影画像を振幅情報と位相情報とに分解して位相情報を用いて対応点を探索することで精度の高い3D測距処理が行えるPOC処理が提案されている。しかし、このPOC処理では、フーリエ変換が必要であり、高性能の演算装置が必要であり、また、処理時間も掛かるという問題を抱えている。その結果、全体として処理に時間が掛かることから、全体として高速な処理が望まれていた。   In addition, a POC process that can perform highly accurate 3D distance measurement processing by decomposing a captured image into amplitude information and phase information and searching for corresponding points using the phase information has been proposed. However, this POC process requires a Fourier transform, requires a high-performance computing device, and has a problem that it takes a long processing time. As a result, since the processing takes time as a whole, high-speed processing has been desired as a whole.

本願発明はこのような問題に鑑み、3D測距と2Dテンプレートマッチングとにより、被写体の正確な認識を図る際に、計算量を削減し、比較的小規模な回路で処理時間の短縮を図ることが可能な、画像処理方法を提供することを目的とする。   In view of such a problem, the present invention reduces the amount of calculation and shortens the processing time with a relatively small circuit when accurately recognizing a subject by 3D distance measurement and 2D template matching. An object of the present invention is to provide an image processing method capable of

上記の目的は、下記に記載する発明により達成される。   The above object is achieved by the invention described below.

(1)この発明は、撮影位置が異なる一対の被写体画像上の対応点を探索して3次元的な位置を計測する3D測距処理と、前記3D測距処理により得られた3次元的な位置により前記被写体画像のあおりを補正するあおり補正処理と、あおりが補正された前記被写体画像及び予め保持しているテンプレート画像の一致を検出する2Dテンプレートマッチング処理と、を行う画像処理方法であって、前記3D測距処理では、前記2Dテンプレートマッチング処理で比較対象として用いる前記テンプレート画像から少なくとも2つの端部位置の情報を得て、前記被写体画像の該端部位置の周辺範囲において対応点の探索を行う、ことを特徴とする。   (1) This invention searches for corresponding points on a pair of subject images with different shooting positions and measures a three-dimensional position, and a three-dimensional distance obtained by the 3D distance measurement process. An image processing method for performing a tilt correction process for correcting a tilt of the subject image according to a position, and a 2D template matching process for detecting a match between the subject image whose tilt has been corrected and a template image held in advance. In the 3D ranging process, information on at least two end positions is obtained from the template image used as a comparison target in the 2D template matching process, and corresponding points are searched in the peripheral range of the end position of the subject image. It is characterized by performing.

(2)この発明は、上記(1)において、前記端部位置は、前記被写体画像の撮影により生じるあおりの影響により3次元的な位置変化の影響が大きい位置である、ことを特徴とする。   (2) The present invention is characterized in that, in the above (1), the end position is a position where an influence of a three-dimensional position change is large due to an influence of a tilt generated by photographing the subject image.

(3)この発明は、上記(1)−(2)において、前記端部位置は、前記テンプレート画像と共に予め保持されている情報により生成される、ことを特徴とする。   (3) The present invention is characterized in that, in the above (1)-(2), the end position is generated by information held in advance together with the template image.

(4)この発明は、上記(1)−(2)において、前記端部位置は、前記テンプレート画像のエッジを抽出して生成する、ことを特徴とする。   (4) The present invention is characterized in that, in the above (1) to (2), the end position is generated by extracting an edge of the template image.

(5)この発明は、上記(4)において、前記エッジの抽出は、探索ベースの手法、ゼロ交差法をベースとした手法、もしくは、キャニー法、のいずれかにより行う、ことを特徴とする。   (5) The present invention is characterized in that, in the above (4), the edge extraction is performed by any one of a search-based method, a zero-crossing method-based method, or a Canny method.

(6)この発明は、上記(4)において、前記3D測距処理において、前記エッジに基づいて3以上の前記端部位置を指定する、ことを特徴とする。   (6) In the above (4), the present invention is characterized in that, in the 3D distance measurement process, three or more end positions are designated based on the edge.

(7)この発明は、上記(4)の前記3D測距処理において、前記テンプレート画像の重心位置を求め、前記重心位置からの距離と前記エッジとに基づいて、前記端部位置を指定する、ことを特徴とする。   (7) According to the present invention, in the 3D distance measurement process of (4), the center position of the template image is obtained, and the end position is designated based on the distance from the center position and the edge. It is characterized by that.

(8)この発明は、上記(4)の前記3D測距処理において、互いの距離が最も大きくなる位置を前記端部位置として指定する、ことを特徴とする。   (8) The present invention is characterized in that, in the 3D distance measurement process of (4), a position where the mutual distance is the largest is designated as the end position.

(9)この発明は、上記(4)の前記3D測距処理において、スキャンにより画像を処理する際の先頭位置の画素と末端位置の画素に基づいて、前記端部位置を指定することを特徴とする。   (9) The present invention is characterized in that, in the 3D distance measuring process of (4), the end position is specified based on a pixel at a head position and a pixel at a terminal position when an image is processed by scanning. And

(10)この発明は、上記(1)−(9)において、前記3D測距処理では、前記一対の撮影画像を振幅情報と位相情報とに分解し、前記位相情報を用いて前記対応点を探索する、ことを特徴とする。   (10) According to the present invention, in the above (1) to (9), in the 3D distance measuring process, the pair of captured images are decomposed into amplitude information and phase information, and the corresponding points are determined using the phase information. It is characterized by searching.

この発明は、3D測距処理により被写体画像の3次元的な位置を計測し、3次元的な位置により被写体画像のあおりを補正し、あおりが補正された被写体画像及び予め保持しているテンプレート画像の一致を2Dテンプレートマッチング処理により検出する際に、被写体画像と比較すべきテンプレート画像を参照して少なくとも2つの端部位置の情報を得て、被写体画像の該端部位置の周辺範囲において3D測距処理で対応点を探索して3次元的な位置を計測するため、対応点探索の範囲が特定の範囲に狭まることにより、対応点探索のための計算量が大幅に低減され、精度を落とさずに、比較的小規模な回路で処理時間の短縮を図ることが可能になる。   The present invention measures the three-dimensional position of a subject image by 3D distance measurement processing, corrects the tilt of the subject image based on the three-dimensional position, the subject image in which the tilt is corrected, and a template image held in advance. Is detected by 2D template matching processing, information on at least two end positions is obtained with reference to the template image to be compared with the subject image, and 3D measurement is performed in the peripheral range of the end position of the subject image. Since the corresponding point is searched by the distance processing and the three-dimensional position is measured, the range of the corresponding point search is narrowed to a specific range, so that the calculation amount for the corresponding point search is greatly reduced and the accuracy is lowered. Therefore, the processing time can be reduced with a relatively small circuit.

なお、以上の端部位置は、被写体画像の撮影により生じるあおりの影響により3次元的な位置変化の影響が大きい位置とすることで、あおり補正の精度が高まる。   Note that the above-described end position is a position where the influence of the three-dimensional position change is large due to the influence of the tilt caused by photographing the subject image, so that the accuracy of the tilt correction is increased.

また、該テンプレート画像の端部位置に関連する情報をテンプレート画像と共に予め保持しておき、この予め保持されている端部位置に関連する情報により端部位置の情報を生成することで、対応点探索の範囲を効率的に狭めて処理時間の短縮を図ることが可能になる。   In addition, information related to the end position of the template image is stored in advance together with the template image, and the end position information is generated based on the information related to the end position held in advance. It is possible to efficiently narrow the search range and shorten the processing time.

また、テンプレート画像のエッジを抽出して端部位置を生成することで、対応点探索の範囲を効率的に狭めて処理時間の短縮を図ることが可能になる。なお、この際のエッジの抽出は、探索ベースの手法、ゼロ交差法をベースとした手法、もしくは、キャニー法、のいずれかにより行うことが可能である。   In addition, by extracting the edge of the template image and generating the end position, it is possible to efficiently narrow the range of the corresponding point search and reduce the processing time. Note that the edge extraction at this time can be performed by any one of a search-based method, a method based on the zero-crossing method, or the Canny method.

また、端部位置として、テンプレート画像のエッジに基づいて3以上の複数の端部位置を指定する、ことを特徴とすることで、精度を落とさずに対応点探索の範囲を効率的に狭めて処理時間の短縮を図ることが可能になる。例えば、被写体の形状が複雑である場合や、いずれの方向にあおりが生じるか不明の場合などは、3箇所以上の端部付近の周辺範囲について、一対の画像間で相関度を計算して対応点を探索することで、あおり度合いの算出の精度が高まる。   Further, by designating a plurality of end positions of three or more as end positions based on the edges of the template image, the range of corresponding point search can be effectively narrowed without reducing accuracy. It becomes possible to shorten the processing time. For example, when the shape of the subject is complex or when it is unknown in which direction the tilt occurs, the degree of correlation between a pair of images is calculated for the peripheral area near the end of three or more locations. By searching for points, the accuracy of calculating the degree of tilt increases.

また、テンプレート画像の重心位置を求め、該重心位置からの距離とエッジとに基づいて、端部位置を指定することで、精度を落とさずに対応点探索の範囲を効率的に狭めて処理時間の短縮を図ることが可能になる。   In addition, by obtaining the barycentric position of the template image and specifying the end position based on the distance from the barycentric position and the edge, the corresponding point search range can be efficiently narrowed without reducing accuracy, and the processing time Can be shortened.

また、テンプレート画像のエッジにおいて互いの距離が最も大きくなる位置を端部位置を指定することで、精度を落とさずに対応点探索の範囲を効率的に狭めて処理時間の短縮を図ることが可能になる。   In addition, by designating the edge position as the position where the distance between the edges of the template image is the largest, it is possible to efficiently narrow down the corresponding point search range and reduce the processing time without reducing accuracy. become.

また、テンプレート画像のエッジにおいて、スキャンにより画像を処理する際の先頭位置と末端位置とを端部位置として指定することで、精度を落とさずに対応点探索の範囲を効率的に狭めて処理時間の短縮を図ることが可能になる。   In addition, at the edge of the template image, the start position and the end position when processing the image by scanning are designated as end positions, so that the corresponding point search range can be effectively narrowed down without reducing accuracy. Can be shortened.

また、フーリエ変換等によって、一対の撮影画像を振幅情報と位相情報とに分解し、位相情報を用いて対応点を探索する場合にも、対応点探索の範囲を効率的に狭めているため、処理時間の短縮を図ることが可能になる。   In addition, when a pair of captured images is decomposed into amplitude information and phase information by Fourier transform or the like, and a corresponding point is searched using the phase information, the range of the corresponding point search is efficiently narrowed. It becomes possible to shorten the processing time.

第1実施形態に係る処理を実行する装置の構成を示す構成図である。It is a block diagram which shows the structure of the apparatus which performs the process which concerns on 1st Embodiment. 第1実施形態に係る処理を実行する装置の主要部構成を示す構成図である。It is a block diagram which shows the principal part structure of the apparatus which performs the process which concerns on 1st Embodiment. 比較例の制御フローを示すフローチャートである。It is a flowchart which shows the control flow of a comparative example. 比較例の処理の様子を模式的に示す説明図である。It is explanatory drawing which shows typically the mode of the process of a comparative example. 第1実施形態の制御フローを示すフローチャートである。It is a flowchart which shows the control flow of 1st Embodiment. 第1実施形態の処理の様子を模式的に示す説明図である。It is explanatory drawing which shows typically the mode of the process of 1st Embodiment. 第1実施形態の処理の様子を模式的に示す説明図である。It is explanatory drawing which shows typically the mode of the process of 1st Embodiment. 第1実施形態の処理の様子を模式的に示す説明図である。It is explanatory drawing which shows typically the mode of the process of 1st Embodiment.

以下、本発明を実施の形態を具体例に基づいて説明するが、本発明は該実施の形態に示される具体例に限られるものではない。   Hereinafter, the present invention will be described based on specific examples, but the present invention is not limited to the specific examples shown in the embodiments.

〔A〕構成:
図1は第1実施形態に係る画像処理方法を実現する画像処理システムあるいは情報処理システムの構成を示す構成図である。以下、画像処理システムと情報処理システムを総称して画像処理システムと呼ぶ。
[A] Configuration:
FIG. 1 is a configuration diagram showing a configuration of an image processing system or an information processing system that realizes the image processing method according to the first embodiment. Hereinafter, the image processing system and the information processing system are collectively referred to as an image processing system.

この画像処理システムは、本実施形態の画像処理方法を実施する処理装置100と、撮影位置が異なる一対の撮影画像をステレオマッチングのために生成する撮像ユニット110a及び110bと、処理装置100での処理結果や各種状況を表示する表示部120と、処理装置100に対して各種の設定等を入力するキーボードやポインティングデバイスを有する操作部130と、を備えて構成されている。   The image processing system includes a processing device 100 that performs the image processing method of the present embodiment, imaging units 110a and 110b that generate a pair of captured images with different imaging positions for stereo matching, and processing performed by the processing device 100. The display unit 120 displays results and various situations, and includes an operation unit 130 having a keyboard and a pointing device for inputting various settings to the processing apparatus 100.

また、処理装置100は、工業製品の開発や生産工程における画像処理システム等で使用されるもので、撮像ユニット110a,110bからの一対の撮影画像を受けて、ステレオマッチングによる前処理とテンプレートマッチングによる後処理とを実行する。   The processing apparatus 100 is used in an image processing system or the like in the development of industrial products or production processes. The processing apparatus 100 receives a pair of captured images from the imaging units 110a and 110b, and performs preprocessing by stereo matching and template matching. Perform post-processing.

ここで、処理装置100は、本実施形態の画像処理方法を実施する際の各種制御を行う制御部101と、ステレオマッチングによる前処理並びに該前処理により抽出された被写体画像及び予め保持しているテンプレート画像の一致を検出するテンプレートマッチングによる後処理とを行う画像処理部103と、テンプレートマッチングの際に被写体画像と比較するために用いられるテンプレート画像を予め記憶しておく記憶部105と、を有して構成される。   Here, the processing apparatus 100 holds in advance a control unit 101 that performs various controls when performing the image processing method of the present embodiment, pre-processing by stereo matching, and subject images extracted by the pre-processing. An image processing unit 103 that performs post-processing by template matching for detecting matching of template images, and a storage unit 105 that stores in advance a template image used for comparison with a subject image at the time of template matching. Configured.

なお、処理装置100での処理結果は、表示部120に表示されるほか、図示されないロボット等の生産装置にも送られる。また、撮像ユニット110a,110bは、それぞれ、撮像レンズ、撮像素子、A−D変換器などを備えているものとする。   The processing result of the processing apparatus 100 is displayed on the display unit 120 and also sent to a production apparatus such as a robot (not shown). The imaging units 110a and 110b are each provided with an imaging lens, an imaging device, an A-D converter, and the like.

また、画像処理部103の詳細構成を図2に示す。画像処理部103は、3D測距処理部1031と、補正画像作成処理部1033と、2Dテンプレートマッチング処理部1035と、を備えて構成されている。   The detailed configuration of the image processing unit 103 is shown in FIG. The image processing unit 103 includes a 3D distance measurement processing unit 1031, a corrected image creation processing unit 1033, and a 2D template matching processing unit 1035.

ここで、3D測距処理部1031は、後述する2Dテンプレートマッチング処理(後処理)の前段階の前処理として、3D測距処理を実行する。   Here, the 3D distance measurement processing unit 1031 performs the 3D distance measurement process as a pre-process before the 2D template matching process (post-process) described later.

なお、3D測距処理部1031は、3D測距処理を実行するためにステレオマッチング処理部1031aを備えており、左右に配置された2台の撮像ユニット110a,110b(ステレオカメラ)で撮影された2枚1組の一対の撮影画像を用いて、ステレオマッチング法による3D測距処理により、一方のカメラで撮影された画像が他方のカメラで撮影された画像のどの部分に対応するかを面積相関の計算により求め、その対応関係を使った三角測量により、各点の3次元的位置を推測する。   Note that the 3D distance measurement processing unit 1031 includes a stereo matching processing unit 1031a for executing the 3D distance measurement processing, and was captured by the two imaging units 110a and 110b (stereo cameras) arranged on the left and right. Area correlation indicating which part of the image captured by one camera corresponds to the image captured by one camera by stereo matching 3D distance measurement processing using a pair of captured images The three-dimensional position of each point is estimated by triangulation using the corresponding relationship.

なお、このステレオマッチング処理部1031aにおけるステレオマッチング法の3D測距処理では、撮影画像を振幅情報と位相情報とに分解して、位相情報を用いて対応点を探索することにより精度の高い3D測距処理を行う。   In the stereo matching method 3D distance measurement processing in the stereo matching processing unit 1031a, highly accurate 3D measurement is performed by decomposing a captured image into amplitude information and phase information and searching for corresponding points using the phase information. Perform distance processing.

また、3D測距処理部1031は、3D測距処理を限定的範囲で実行する際の端部位置を特定する端部位置特定部1031bを備えている。この端部位置特定部1031bは、2Dテンプレートマッチング処理で比較対象として用いるテンプレート画像から少なくとも2つの端部位置の情報を得て、3D測距処理において被写体画像の対応点の探索を行うべき端部位置の周辺範囲を特定する。   In addition, the 3D ranging processing unit 1031 includes an end position specifying unit 1031b that specifies an end position when executing the 3D ranging process within a limited range. The end position specifying unit 1031b obtains information on at least two end positions from a template image used as a comparison target in the 2D template matching process, and searches for corresponding points of the subject image in the 3D distance measurement process. Identify the surrounding area of the position.

補正画像作成処理部1033は、3D測距処理部1031の計測結果と、撮像ユニット110a,110bからの撮影画像とを受けて、撮影画像に含まれる被写体について、あおり(撮影対象面の光軸に対する傾き)等の撮影時に生じている歪みが補正された状態の被写体画像を作成する。   The corrected image creation processing unit 1033 receives the measurement result of the 3D distance measurement processing unit 1031 and the captured images from the imaging units 110a and 110b, and applies a tilt (with respect to the optical axis of the imaging target surface) to the subject included in the captured image. A subject image is created in a state in which distortion occurring during shooting such as (tilt) is corrected.

2Dテンプレートマッチング処理部1035は、後処理として、記憶部105からの対象物のテンプレート画像と、補正画像作成処理部1033で作成された歪補正済みの撮影画像とを比較し、撮影画像中の特定の被写体(対象物)を探し出す。   As a post-processing, the 2D template matching processing unit 1035 compares the template image of the target object from the storage unit 105 with the distortion-corrected captured image created by the corrected image creation processing unit 1033, and identifies the target image in the captured image. Find the subject (object).

〔B〕動作:
以下、図3と図5のフローチャート、図4と図6の説明図を参照して、従来動作と比較しつつ、第1実施形態の動作を説明する。
[B] Operation:
The operation of the first embodiment will be described below with reference to the flowcharts of FIGS. 3 and 5 and the explanatory diagrams of FIGS. 4 and 6 while comparing with the conventional operation.

ここで、図3を参照して、第1実施形態に対応する従来例の動作を説明する。ここでは、従来例の動作について、図1相当の画像処理システムで実行されるものとする。   Here, with reference to FIG. 3, the operation of the conventional example corresponding to the first embodiment will be described. Here, it is assumed that the operation of the conventional example is executed by the image processing system corresponding to FIG.

まず、撮像ユニット(ステレオカメラ)で撮影を行い、2枚1組の一対の撮影画像(図4(a),(b))を得る(図3中のステップS11)。   First, photographing is performed with an imaging unit (stereo camera), and a pair of captured images (FIGS. 4A and 4B) is obtained (step S11 in FIG. 3).

そして、ステレオマッチング法による3D測距処理により、一方のカメラで撮影された画像が他方のカメラで撮影された画像のどの部分に対応するかを面積相関の計算により求め、その対応関係を使った三角測量により、各点の3次元的位置情報を生成する(図3中のステップS12)。   Then, by 3D distance measurement processing using the stereo matching method, the portion of the image captured by one camera corresponds to which part of the image captured by the other camera is calculated by area correlation, and the correspondence is used. Three-dimensional position information of each point is generated by triangulation (step S12 in FIG. 3).

この場合、一方の画像(図4(c))のある画素(図4c00)について、他方の画像(図4(d))の被写体の全画素について、一対の画像間で相関度を計算して対応点を探索する。そして、このような処理を、一方の被写体の全範囲について順次繰り返して実行する。   In this case, the degree of correlation between a pair of images is calculated for a certain pixel (FIG. 4c00) in one image (FIG. 4C) and for all pixels of the subject in the other image (FIG. 4D). Search for corresponding points. Such processing is sequentially repeated for the entire range of one subject.

その後、以上のステレオマッチング法の3D測距処理により得られた3次元位置情報に基づいて、撮影画像に含まれる被写体のあおり量(あおり度合い)を算出する(図3中のステップS13)。   Thereafter, based on the three-dimensional position information obtained by the 3D distance measurement process of the stereo matching method described above, the amount of tilt (degree of tilt) of the subject included in the captured image is calculated (step S13 in FIG. 3).

そして、算出されたあおり量に基づいて、撮像画像中の被写体について、あおり補正補正処理を行う(図3中のステップS14)。   Then, based on the calculated amount of tilt, tilt correction correction processing is performed on the subject in the captured image (step S14 in FIG. 3).

そして、あおり補正処理された被写体について、予め保持されているテンプレート画像との一致を検出する2Dテンプレートマッチング処理を行う(図3中のステップS15)。   Then, a 2D template matching process is performed for detecting a match with a template image held in advance for the subject subjected to the tilt correction process (step S15 in FIG. 3).

次に、図5を参照して、第1実施形態の動作を説明する。   Next, the operation of the first embodiment will be described with reference to FIG.

まず、撮像ユニット(ステレオカメラ)110a,110bで撮影を行い、2枚1組の一対の撮影画像(図6(a),(b))を得る(図5中のステップS101)。   First, imaging is performed by the imaging units (stereo cameras) 110a and 110b, and a pair of captured images (FIGS. 6A and 6B) is obtained (step S101 in FIG. 5).

なお、図6(a)は、例えば、撮像ユニット110a,110b中の左側のカメラにより得られた撮影画像であり、Gtg_Lは撮影画像中の被写体画像であり、あおりによる歪を有した状態である。また、図6(b)は、例えば、撮像ユニット110a,110b中の右側のカメラにより得られた撮影画像であり、Gtg_Rは撮影画像中の被写体画像であり、あおりによる歪を有した状態である。   Note that FIG. 6A is a captured image obtained by the left camera in the imaging units 110a and 110b, for example, and Gtg_L is a subject image in the captured image and has distortion due to tilt. . FIG. 6B is a photographed image obtained by the right camera in the imaging units 110a and 110b, for example, and Gtg_R is a subject image in the photographed image and has a distortion due to tilt. .

ここで、端部位置特定部1031bが、2Dテンプレートマッチング処理で比較対象として用いるテンプレート画像(図6(c)中のGtmp)のエッジ(図6(c)の縦長長方形c0)を抽出する(図5中のステップS102)。なお、この際のエッジの抽出は、探索ベースの手法、ゼロ交差法をベースとした手法、もしくは、キャニー法、のいずれかにより行うことが可能である。   Here, the edge position specifying unit 1031b extracts the edge (vertically long rectangle c0 in FIG. 6C) of the template image (Gtmp in FIG. 6C) used as a comparison target in the 2D template matching process (FIG. 6). 5 in step S102). Note that the edge extraction at this time can be performed by any one of a search-based method, a method based on the zero-crossing method, or the Canny method.

そして、端部位置特定部1031bは、テンプレート画像のエッジ領域(図6(c)のc0)を参照して、少なくとも2つの端部位置(図6(c)のc1とc2等)を特定して位置情報を生成する(図5中のステップS103)。なお、この端部位置は、後述する3D測距処理で対応点を探索して3次元的な位置を計測する際の処理範囲を限定するためのものである。このため、以上の端部位置は、被写体画像の撮影により生じるあおりの影響により3次元的な位置変化の影響が大きく出やすい位置とする。   Then, the end position specifying unit 1031b specifies at least two end positions (such as c1 and c2 in FIG. 6C) with reference to the edge region of the template image (c0 in FIG. 6C). Position information is generated (step S103 in FIG. 5). This end position is for limiting the processing range when measuring a three-dimensional position by searching for a corresponding point in a 3D ranging process described later. For this reason, the above end position is a position where the influence of the three-dimensional position change is likely to occur greatly due to the influence of the tilt generated by photographing the subject image.

また、この端部位置は、テンプレート画像と共に予め記憶部105に保持されている情報により生成されるようにしてもよい。   Further, the end position may be generated by information previously stored in the storage unit 105 together with the template image.

なお、この端部位置については、端部位置特定部1031bがエッジから抽出する以外に、表示部120にテンプレート画像(図6(c))を表示した状態で、操作部130からオペレータがポインティングデバイスを用いて端部位置(図6(c)のc1とc2等)を特定するようにしても良い。   Note that the end position is not extracted from the edge by the end position specifying unit 1031b, and a template image (FIG. 6C) is displayed on the display unit 120 by the operator from the operation unit 130. May be used to specify the end position (c1 and c2 etc. in FIG. 6C).

そして、端部位置特定部1031bは、この端部位置として、あおりの影響により3次元的な位置変化の影響が大きく出やすい位置として、最低2個だけでなく、3個以上の端部位置を指定しても良い。また、テンプレート画像の形状によって、端部位置の個数を増やしても良い。   Then, the end position specifying unit 1031b sets not only at least two end positions but also three or more end positions as positions where the influence of the three-dimensional position change is likely to occur due to the influence of the tilt. May be specified. Further, the number of end positions may be increased depending on the shape of the template image.

また、端部位置特定部1031bは、テンプレート画像の重心位置を求め、該重心位置を中心として一端側と他端側のように、該重心位置からの互いの距離が大きくなるようにして、あおりの影響により3次元的な位置変化の影響が大きく出やすい位置として、エッジ上の範囲内で端部位置の位置情報を生成する。   Further, the end position specifying unit 1031b obtains the centroid position of the template image, and increases the distance from the centroid position so that the distance from the centroid position becomes larger, such as one end side and the other end side, centered on the center position. The position information of the end position is generated within the range on the edge as a position where the influence of the three-dimensional position change is likely to occur greatly due to the influence of the above.

なお、端部位置特定部1031bは、以上のようにして端部位置を特定して位置情報を生成する際には、複数の端部位置の互いの距離が最も大きくなる端部位置を指定することが望ましい。これにより、あおりの影響により3次元的な位置変化の影響が大きく出やすい位置となる。   Note that the end position specifying unit 1031b specifies the end position where the distance between the plurality of end positions is the largest when the end position is specified and the position information is generated as described above. It is desirable. Thus, the position is likely to be greatly affected by a three-dimensional position change due to the influence of the tilt.

そして、以上のようにテンプレート画像に基づいて、被写体画像の撮影により生じるあおりの影響により3次元的な位置変化の影響が大きい端部位置が特定された状態において、ステレオマッチング処理部1031aは、被写体画像Gtg_LとGtg_Rについて、の該端部位置の周辺範囲に限定して、3D測距処理で対応点を探索して3次元的な位置を計測する(図5中のステップS104)。   Then, based on the template image as described above, in the state where the end position where the influence of the three-dimensional position change is large due to the influence of the tilt generated by photographing the subject image is specified, the stereo matching processing unit 1031a For the images Gtg_L and Gtg_R, the corresponding points are limited to the peripheral range of the end position, and the corresponding points are searched by the 3D distance measurement process to measure the three-dimensional position (step S104 in FIG. 5).

ここでは、端部が2つである場合を具体例にして説明する。まず、一方の画像中の被写体(図6(d)のGtg_L)の端部c1付近のある画素(図6(d)のd1)について、他方の画像中の被写体(図6(e)のGtg_R)では端部c1付近の周辺範囲d11,d12について、一対の画像間で相関度を計算して対応点を探索する。例えば、c1は5×5画素の25画素、d11やd12も5×5画素の25画素、として、相関演算を行う。   Here, a case where there are two end portions will be described as a specific example. First, for a certain pixel (d1 in FIG. 6D) near the end c1 of the subject in one image (Gtg_L in FIG. 6D), the subject in the other image (Gtg_R in FIG. 6E). ), For the peripheral ranges d11 and d12 in the vicinity of the end c1, the degree of correlation is calculated between a pair of images to search for corresponding points. For example, the correlation calculation is performed with c1 being 25 pixels of 5 × 5 pixels and d11 and d12 being 25 pixels of 5 × 5 pixels.

また、一方の画像中の被写体(図6(d)のGtg_L)の端部c2付近のある画素(図6(d)のd2)について、他方の画像中の被写体(図6(e)のGtg_R)では端部c2付近の周辺範囲d21,d22について、一対の画像間で相関度を計算して対応点を探索する。例えば、c2は5×5画素の25画素、d21やd22も5×5画素の25画素、として、相関演算を行う。   Further, for a certain pixel (d2 in FIG. 6D) near the end c2 of the subject in one image (Gtg_L in FIG. 6D), the subject in the other image (Gtg_R in FIG. 6E). ), For the peripheral ranges d21 and d22 in the vicinity of the end c2, the degree of correlation is calculated between a pair of images to search for corresponding points. For example, the correlation calculation is performed with c2 being 25 pixels of 5 × 5 pixels and d21 and d22 being 25 pixels of 5 × 5 pixels.

そして、3D測距処理部1031は、以上のようにして算出した被写体画像の3次元位置情報に基づいて、被写体のあおり度合いを算出する(図5中のステップS105)。   Then, the 3D distance measurement processing unit 1031 calculates the tilting degree of the subject based on the three-dimensional position information of the subject image calculated as described above (step S105 in FIG. 5).

なお、被写体の形状が複雑である場合や、いずれの方向にあおりが生じるか不明の場合などは、3箇所以上の端部付近の周辺範囲について、一対の画像間で相関度を計算して対応点を探索することで、あおり度合いの算出の精度が高まる。   In addition, when the shape of the subject is complex or when it is unknown in which direction the tilt occurs, it is possible to calculate the degree of correlation between a pair of images for the peripheral area near the end of three or more locations. By searching for points, the accuracy of calculating the degree of tilt increases.

図7では、テンプレート画像Gtmp(図7中の一点鎖線)と被写体画像Gtg(被写体画像Gtg_Lと被写体画像Gtg_Rのいずれか一方(図7中の二点鎖線))とを重ね合わせた状態で示している。なお、テンプレート画像Gtmpは、あおりの全く生じていない被写体画像と考えてもよい。ここでは、テンプレート画像Gtmp(図7中の一点鎖線)に対して、被写体画像Gtg(図7中の二点鎖線)は、あおり中心軸(図7中の破線)を中心にθだけ傾いてあおりが発生した状態になっている。   In FIG. 7, the template image Gtmp (one-dot chain line in FIG. 7) and the subject image Gtg (one of the subject image Gtg_L and the subject image Gtg_R (two-dot chain line in FIG. 7)) are shown in an overlapped state. Yes. Note that the template image Gtmp may be considered as a subject image in which no tilt is generated. Here, the subject image Gtg (two-dot chain line in FIG. 7) is inclined by θ around the center axis (dashed line in FIG. 7) with respect to the template image Gtmp (one-dot chain line in FIG. 7). Has occurred.

ここで、3D測距処理部1031は、算出した三次元位置情報から、図8に示すように、あおりを生じている辺の長さLと、あおりにより生じた奥行き方向の差Zとにより、あおり角θについて、θ=arcsin(Z/L)として算出する。   Here, as shown in FIG. 8, the 3D ranging processing unit 1031 calculates, based on the calculated three-dimensional position information, the length L of the side causing the tilt and the difference Z in the depth direction caused by the tilt. The tilt angle θ is calculated as θ = arcsin (Z / L).

なお、複数の端部位置の互いの距離が最も大きくなる端部位置を指定したり、重心位置を中心として該重心位置からの互いの距離が大きくなるように端部位置を指定することで、この式のLやZが大きくなるため、あおり角θを求める際の精度が高まる。   In addition, by specifying the end position where the distance between the plurality of end positions is the largest, or by specifying the end position so that the mutual distance from the center of gravity position is increased around the center of gravity position, Since L and Z in this equation are increased, the accuracy in obtaining the tilt angle θ is increased.

以上のようにしてあおり度合いとしてあおり角θを算出した3D測距処理部1031は、三次元位置情報とあおり度合いの情報とを含む計測結果を、補正画像作成処理部1033に送信する。   The 3D distance measurement processing unit 1031 that has calculated the tilt angle θ as the tilt degree as described above transmits a measurement result including the three-dimensional position information and the tilt degree information to the corrected image creation processing unit 1033.

補正画像作成処理部1033は、3D測距処理部1031の計測結果と、撮像ユニット110a,110bからの撮影画像とを受けて、撮影画像に含まれる被写体について、撮影時に生じているあおり角θが補正された状態の被写体画像を作成する(図5中のステップS106)。   The corrected image creation processing unit 1033 receives the measurement result of the 3D distance measurement processing unit 1031 and the captured images from the imaging units 110a and 110b, and the tilt angle θ generated at the time of capturing is determined for the subject included in the captured image. A subject image in a corrected state is created (step S106 in FIG. 5).

そして、2Dテンプレートマッチング処理部1035において、あおり補正処理された被写体画像について、記憶部105に予め保持されているテンプレート画像との一致を検出する2Dテンプレートマッチング処理を行う(図5中のステップS107)。   Then, the 2D template matching processing unit 1035 performs 2D template matching processing for detecting a match with the template image held in advance in the storage unit 105 for the subject image subjected to the tilt correction processing (step S107 in FIG. 5). .

以上の実施形態では、3D測距処理の後に2Dテンプレートマッチング処理を実行する際に、被写体画像と比較すべきテンプレート画像を参照して少なくとも2つの端部位置の情報を得て、被写体画像の該端部位置の周辺範囲において3D測距処理で対応点を探索して3次元的な位置を計測するため、対応点探索の範囲が特定の範囲に狭まることにより、対応点探索のための計算量が大幅に低減され、精度を落とさずに、比較的小規模な回路で処理時間の短縮を図ることが可能になる。   In the above embodiment, when the 2D template matching process is executed after the 3D ranging process, information on at least two end positions is obtained with reference to the template image to be compared with the subject image, and the subject image Since the corresponding point is searched for in the peripheral range of the end position by the 3D ranging process and the three-dimensional position is measured, the calculation amount for the corresponding point search is reduced by narrowing the corresponding point search range to a specific range. Therefore, the processing time can be reduced with a relatively small circuit without degrading accuracy.

すなわち、従来は図4(c),(d)に示したように全画素で対応点の探索を実行するために高性能な処理装置を用いても大きな処理時間がかかっていたが、本実施形態では図6(d),(e)のように端部位置の周辺範囲のみで対応点の探索を実行するだけで良いために処理が大幅に軽減される。   That is, conventionally, as shown in FIGS. 4C and 4D, it takes a long processing time even if a high-performance processing device is used to search for corresponding points in all pixels. In the embodiment, as shown in FIGS. 6D and 6E, it is only necessary to search for the corresponding points only in the peripheral range of the end position, so that the processing is greatly reduced.

以下、計算量について、具体例を挙げて説明する。例えば、画像サイズが1600画素×1200画素であるとき、従来手法によると、処理点数は400×150 = 60,000点となる。一方、本実施形態により、4端部周辺の32×16画素分に処理点数を限定した場合には、4×32×16 = 2,048点となる。すなわち、従来の60,000点に対して、本発明では2,048点まで削減できるため、計算量は約1/30となる。このため、精度を落とさずに比較的小規模な回路で処理時間の短縮を図ることが可能になる。   Hereinafter, the calculation amount will be described with a specific example. For example, when the image size is 1600 pixels × 1200 pixels, according to the conventional method, the number of processing points is 400 × 150 = 60,000 points. On the other hand, when the number of processing points is limited to 32 × 16 pixels around the four ends according to the present embodiment, 4 × 32 × 16 = 2,048 points. That is, compared with the conventional 60,000 points, the present invention can reduce the number to 2,048 points, so the calculation amount is about 1/30. Therefore, it is possible to shorten the processing time with a relatively small circuit without reducing accuracy.

なお、以上の端部位置は、被写体画像の撮影により生じるあおりの影響により3次元的な位置変化の影響が大きい位置とすることで、あおり補正の精度が高まる。   Note that the above-described end position is a position where the influence of the three-dimensional position change is large due to the influence of the tilt caused by photographing the subject image, so that the accuracy of the tilt correction is increased.

また、該テンプレート画像の端部位置に関連する情報をテンプレート画像と共に予め保持しておき、この予め保持されている端部位置に関連する情報により端部位置の情報を生成することで、対応点探索の範囲を効率的に狭めて処理時間の短縮を図ることが可能になる。   In addition, information related to the end position of the template image is stored in advance together with the template image, and the end position information is generated based on the information related to the end position held in advance. It is possible to efficiently narrow the search range and shorten the processing time.

また、テンプレート画像のエッジを抽出して端部位置を生成することで、対応点探索の範囲を効率的に狭めて処理時間の短縮を図ることが可能になる。   In addition, by extracting the edge of the template image and generating the end position, it is possible to efficiently narrow the range of the corresponding point search and reduce the processing time.

また、端部位置として、エッジに基づいて3以上の複数の端部位置を指定することで、精度を落とさずに対応点探索の範囲を効率的に狭めて処理時間の短縮を図ることが可能になる。すなわち、被写体の形状が複雑である場合や、いずれの方向にあおりが生じるか不明の場合などは、3箇所以上の端部付近の周辺範囲について、一対の画像間で相関度を計算して対応点を探索することで、あおり度合いの算出の精度が高まる。   In addition, by specifying a plurality of end positions of 3 or more based on edges as end positions, it is possible to efficiently narrow the corresponding point search range and reduce the processing time without reducing accuracy. become. In other words, when the shape of the subject is complex or when it is unknown in which direction the tilt occurs, the degree of correlation between a pair of images is calculated for the peripheral area near the end of three or more locations. By searching for points, the accuracy of calculating the degree of tilt increases.

例えば、4箇所の端部位置の周辺範囲で対応点探索を行うことで、いずれの方向にあおりが生じていても対応することができ、かつ、従来の全画素の対応点探索に比較すれば処理の範囲は大幅に狭められている。   For example, by performing corresponding point search in the peripheral range of the four end positions, it is possible to cope with any occurrence of a tilt, and if compared with the conventional corresponding point search for all pixels The scope of processing is greatly narrowed.

また、テンプレート画像の重心位置を求め、該重心位置からの距離とエッジとに基づいて、端部位置を指定することで、精度を落とさずに対応点探索の範囲を効率的に狭めて処理時間の短縮を図ることが可能になる。   In addition, by obtaining the barycentric position of the template image and specifying the end position based on the distance from the barycentric position and the edge, the corresponding point search range can be efficiently narrowed without reducing accuracy, and the processing time Can be shortened.

また、テンプレート画像中において互いの距離が最も大きくなる位置を端部位置を指定することで、精度を落とさずに対応点探索の範囲を効率的に狭めて処理時間の短縮を図ることが可能になる。   In addition, by designating the end position as the position where the mutual distance is the largest in the template image, it is possible to efficiently narrow the range of the corresponding point search and reduce the processing time without reducing accuracy. Become.

また、ラスタースキャン(Raster scan)により一定の方向に沿って画像を処理する際の先頭位置の画素と末端位置の画素とをテンプレート画像のエッジ上で求めて、これを端部位置として指定することも可能であり、この場合も精度を落とさずに対応点探索の範囲を効率的に狭めて処理時間の短縮を図ることが可能になる。同様に、1行ずつの処理を列方向に移動させるスキャンであっても、このスキャンにおいてテンプレート画像のエッジと最初に交差する画素と最後に交差する画素とを、端部位置として指定することも可能である。   Also, obtain the start position pixel and the end position pixel on the edge of the template image when processing the image along a certain direction by raster scan, and specify this as the end position In this case as well, the processing time can be shortened by efficiently narrowing the corresponding point search range without reducing accuracy. Similarly, even in a scan in which processing for each row is moved in the column direction, the pixel that first intersects the edge of the template image and the pixel that intersects last in this scan may be designated as the end position. Is possible.

また、フーリエ変換等が必要になるPOC処理を採用して、一対の撮影画像を振幅情報と位相情報とに分解し、位相情報を用いて対応点を探索する場合にも、対応点探索の範囲を効率的に狭めているため、処理時間の短縮を図りつつ精度を高めることが可能になる。   In addition, when a POC process that requires Fourier transform or the like is employed, a pair of captured images is decomposed into amplitude information and phase information, and corresponding points are searched using phase information, the range of corresponding point search Therefore, it is possible to increase the accuracy while shortening the processing time.

また、この実施形態により3D測距処理と2Dテンプレートマッチング処理との処理時間の短縮を図ることができるため、ロボット等の生産装置(図示せず)での動作時間に余裕が生じることになり、テーブル上に載置された部品のピッキングなどを従来よりも確実に実行できるようになる。すなわち、生産装置としても確実な動作により生産性を高めることが可能になる。   Moreover, since the processing time of the 3D ranging process and the 2D template matching process can be shortened according to this embodiment, there is a margin in the operation time in a production apparatus (not shown) such as a robot, The picking of parts placed on the table can be executed more reliably than before. That is, the productivity can be increased by a reliable operation as a production apparatus.

100 処理装置
101 制御部
103 画像処理部
105 記憶部
110a,110b 撮像ユニット
120 表示部
130 操作部
1031 3D測距処理部
1033 補正画像作成処理部
1035 2Dテンプレートマッチング処理部
1031a ステレオマッチング処理部
1031b 端部位置特定部
DESCRIPTION OF SYMBOLS 100 Processing apparatus 101 Control part 103 Image processing part 105 Memory | storage part 110a, 110b Imaging unit 120 Display part 130 Operation part 1031 3D ranging process part 1033 Correction image creation processing part 1035 2D template matching process part 1031a Stereo matching process part 1031b End part Positioning part

Claims (10)

撮影位置が異なる一対の被写体画像上の対応点を探索して3次元的な位置を計測する3D測距処理と、
前記3D測距処理により得られた3次元的な位置により前記被写体画像のあおりを補正するあおり補正処理と、
あおりが補正された前記被写体画像及び予め保持しているテンプレート画像の一致を検出する2Dテンプレートマッチング処理と、を行う画像処理方法であって、
前記3D測距処理では、前記2Dテンプレートマッチング処理で比較対象として用いる前記テンプレート画像から少なくとも2つの端部位置の情報を得て、前記被写体画像の該端部位置の周辺範囲において対応点の探索を行う、
ことを特徴とする画像処理方法。
3D distance measurement processing for searching for corresponding points on a pair of subject images having different shooting positions and measuring a three-dimensional position;
A tilt correction process for correcting a tilt of the subject image based on a three-dimensional position obtained by the 3D ranging process;
An image processing method for performing a 2D template matching process for detecting a match between the subject image corrected for tilt and a template image held in advance,
In the 3D ranging process, information on at least two end positions is obtained from the template image used as a comparison target in the 2D template matching process, and corresponding points are searched in the peripheral range of the end position of the subject image. Do,
An image processing method.
前記端部位置は、前記被写体画像の撮影により生じるあおりの影響により3次元的な位置変化の影響が大きい位置である、
ことを特徴とする請求項1に記載の画像処理方法。
The end position is a position where the influence of the three-dimensional position change is large due to the influence of the tilt generated by photographing the subject image.
The image processing method according to claim 1.
前記端部位置は、前記テンプレート画像と共に予め保持されている情報により生成される、
ことを特徴とする請求項1−2に記載の画像処理方法。
The end position is generated by information held in advance together with the template image.
The image processing method according to claim 1-2.
前記端部位置は、前記テンプレート画像のエッジを抽出して生成する、
ことを特徴とする請求項1−2に記載の画像処理方法。
The end position is generated by extracting an edge of the template image.
The image processing method according to claim 1-2.
前記エッジの抽出は、探索ベースの手法、ゼロ交差法をベースとした手法、もしくは、キャニー法、のいずれかにより行う、
ことを特徴とする請求項4に記載の画像処理方法。
The extraction of the edge is performed by one of a search-based method, a method based on a zero crossing method, or a Canny method.
The image processing method according to claim 4.
前記3D測距処理において、前記エッジに基づいて3以上の前記端部位置を指定する、
ことを特徴とする請求項4に記載の画像処理方法。
In the 3D ranging process, three or more end positions are designated based on the edge.
The image processing method according to claim 4.
前記3D測距処理において、
前記テンプレート画像の重心位置を求め、
前記重心位置からの距離と前記エッジとに基づいて、前記端部位置を指定する、
ことを特徴とする請求項4に記載の画像処理方法。
In the 3D ranging process,
Find the center of gravity position of the template image,
Based on the distance from the center of gravity position and the edge, the end position is designated.
The image processing method according to claim 4.
前記3D測距処理において、互いの距離が最も大きくなる位置を前記端部位置として指定する、
ことを特徴とする請求項4に記載の画像処理方法。
In the 3D ranging process, a position where the distance between each other is the largest is designated as the end position.
The image processing method according to claim 4.
前記3D測距処理において、スキャンにより画像を処理する際の先頭位置の画素と末端位置の画素に基づいて、前記端部位置を指定する、
ことを特徴とする請求項4に記載の画像処理方法。
In the 3D distance measurement processing, the end position is designated based on a pixel at a head position and a pixel at a terminal position when an image is processed by scanning.
The image processing method according to claim 4.
前記3D測距処理では、前記一対の撮影画像を振幅情報と位相情報とに分解し、前記位相情報を用いて前記対応点を探索する、
ことを特徴とする請求項1−9のいずれか一項に記載の画像処理方法。
In the 3D ranging process, the pair of captured images are decomposed into amplitude information and phase information, and the corresponding points are searched using the phase information.
The image processing method according to claim 1, wherein:
JP2012129943A 2012-06-07 2012-06-07 Image processing method Pending JP2013254380A (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2012129943A JP2013254380A (en) 2012-06-07 2012-06-07 Image processing method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2012129943A JP2013254380A (en) 2012-06-07 2012-06-07 Image processing method

Publications (1)

Publication Number Publication Date
JP2013254380A true JP2013254380A (en) 2013-12-19

Family

ID=49951825

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2012129943A Pending JP2013254380A (en) 2012-06-07 2012-06-07 Image processing method

Country Status (1)

Country Link
JP (1) JP2013254380A (en)

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0397079A (en) * 1989-09-11 1991-04-23 Juki Corp Device for detecting center of gravity
JPH07264483A (en) * 1994-03-17 1995-10-13 Fuji Photo Film Co Ltd Positioning method for radiograph
JPH09329440A (en) * 1996-06-12 1997-12-22 Topcon Corp Coordinating method for measuring points on plural images
JP2001346132A (en) * 2000-03-31 2001-12-14 Ricoh Co Ltd Image conversion method, image conversion server, image conversion system, image projector, image projection system, image conversion method, image projection method and computer-readable recording medium for recording program to allow computer to perform the methods
JP2005316550A (en) * 2004-04-27 2005-11-10 Fuji Xerox Co Ltd Image processor, image reader, image inspection device and program
JP2007164517A (en) * 2005-12-14 2007-06-28 Denso Corp Graphic center detection method, ellipse detection method, image recognition device and controller
JP2008058279A (en) * 2006-09-04 2008-03-13 Konica Minolta Holdings Inc Apparatus and method for forming range image, and program
JP2010286302A (en) * 2009-06-10 2010-12-24 Konica Minolta Holdings Inc Image processing apparatus, image processing method, and program

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0397079A (en) * 1989-09-11 1991-04-23 Juki Corp Device for detecting center of gravity
JPH07264483A (en) * 1994-03-17 1995-10-13 Fuji Photo Film Co Ltd Positioning method for radiograph
JPH09329440A (en) * 1996-06-12 1997-12-22 Topcon Corp Coordinating method for measuring points on plural images
JP2001346132A (en) * 2000-03-31 2001-12-14 Ricoh Co Ltd Image conversion method, image conversion server, image conversion system, image projector, image projection system, image conversion method, image projection method and computer-readable recording medium for recording program to allow computer to perform the methods
JP2005316550A (en) * 2004-04-27 2005-11-10 Fuji Xerox Co Ltd Image processor, image reader, image inspection device and program
JP2007164517A (en) * 2005-12-14 2007-06-28 Denso Corp Graphic center detection method, ellipse detection method, image recognition device and controller
JP2008058279A (en) * 2006-09-04 2008-03-13 Konica Minolta Holdings Inc Apparatus and method for forming range image, and program
JP2010286302A (en) * 2009-06-10 2010-12-24 Konica Minolta Holdings Inc Image processing apparatus, image processing method, and program

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
村田 憲彦: "文書画像入力のためのあおり歪補正技術", 第7回 画像センシングシンポジウム講演論文集 , JPN6015024827, June 2001 (2001-06-01), JP, pages 385 - 390, ISSN: 0003100231 *

Similar Documents

Publication Publication Date Title
EP3907702B1 (en) Three-dimensional sensor system and three-dimensional data acquisition method
JP5699788B2 (en) Screen area detection method and system
JP4492654B2 (en) 3D measuring method and 3D measuring apparatus
JP5923824B2 (en) Image processing device
JP2021192064A (en) Three-dimensional measuring system and three-dimensional measuring method
US20120249820A1 (en) Automatic Determination of Compliance of a Part with a Reference Drawing
JP5388921B2 (en) Three-dimensional distance measuring apparatus and method
JP4836086B2 (en) 3D shape detector
JP2014002033A5 (en)
KR102093674B1 (en) Deformation processing support system and deformation processing support method
JP2018136896A (en) Information processor, system, information processing method, and manufacturing method of article
JP6172432B2 (en) Subject identification device, subject identification method, and subject identification program
KR102235999B1 (en) Deformation processing support system and deformation processing support method
JP2013130508A (en) Three-dimension measurement method, three-dimension measurement program, and robot device
JP2017173142A (en) Image processing device, image processing method and micro joint cutting system
US11145048B2 (en) Image processing apparatus, image processing method, and non-transitory computer-readable storage medium for storing program
JP2014085156A (en) Strain measuring method and strain measuring system
JP2011107083A (en) Posture recognition method and 3d vision sensor using the same
JP2020071739A (en) Image processing apparatus
JP6867766B2 (en) Information processing device and its control method, program
JP2013254380A (en) Image processing method
JP2013254300A (en) Image processing method
JP2014235063A (en) Information processing apparatus and information processing method
JP6009364B2 (en) Image processing apparatus, method, and program for measuring shape of spiral spring
JP7399632B2 (en) Photography processing device and photography processing method

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20140909

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20150611

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20150623

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20151020