JP2012078105A - Attitude controller, control method, and program - Google Patents
Attitude controller, control method, and program Download PDFInfo
- Publication number
- JP2012078105A JP2012078105A JP2010220825A JP2010220825A JP2012078105A JP 2012078105 A JP2012078105 A JP 2012078105A JP 2010220825 A JP2010220825 A JP 2010220825A JP 2010220825 A JP2010220825 A JP 2010220825A JP 2012078105 A JP2012078105 A JP 2012078105A
- Authority
- JP
- Japan
- Prior art keywords
- imaging device
- viewpoint position
- control information
- posture
- feature
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Withdrawn
Links
Landscapes
- Length Measuring Devices By Optical Means (AREA)
- Investigating Materials By The Use Of Optical Means Adapted For Particular Applications (AREA)
Abstract
Description
本発明は、検査対象と、当該検査対象を撮像する撮像装置との間の相対位置を示す視点位置が所定の視点位置になるように前記撮像装置の姿勢を制御する姿勢制御装置、制御方法及びプログラムに関する。 The present invention relates to an attitude control apparatus, a control method, and a control method for controlling the attitude of the imaging apparatus so that a viewpoint position indicating a relative position between the inspection object and an imaging apparatus that images the inspection object becomes a predetermined viewpoint position. Regarding the program.
ガスタービンに用いるタービンブレードは、運用中に、損傷などの欠陥が生じることがある。従来、このようなタービンブレード等の検査対象の欠陥を検査するために、カメラと照明とを備える撮像装置によって予め定められた視点位置から検査対象の表面を撮影し、得られる画像を解析することで、検査対象の欠陥の有無を判定している(例えば、特許文献1〜3を参照)。 Turbine blades used in gas turbines may suffer defects such as damage during operation. Conventionally, in order to inspect defects of an inspection target such as a turbine blade, the surface of the inspection target is photographed from a predetermined viewpoint position by an imaging device including a camera and illumination, and the obtained image is analyzed Therefore, the presence or absence of a defect to be inspected is determined (for example, see Patent Documents 1 to 3).
なお、タービンブレードなどの複雑な形状を有する検査対象の欠陥を検査する場合、予め基準となる検査対象の画像と撮像装置が撮像した画像との差分を用いて欠陥の有無を判定する。この場合、基準となる画像に含まれる検査対象の位置と撮像装置が撮像した画像に含まれる検査対象の位置とを一致させる必要がある。 When inspecting a defect to be inspected having a complicated shape such as a turbine blade, the presence / absence of a defect is determined using a difference between an image to be inspected as a reference in advance and an image taken by an imaging device. In this case, it is necessary to match the position of the inspection target included in the reference image with the position of the inspection target included in the image captured by the imaging device.
しかしながら、タービンブレード等の検査対象を設置治具に設置する際、基準となる設置位置と全く同じ位置に設置することは困難であり、設置作業に時間が掛かってしまうという問題があった。
本発明は、上記の問題に鑑みてなされたものであり、検査対象と撮像装置との相対的な位置関係である視点位置が基準となる視点位置と同じになるように、撮像装置の姿勢を制御する姿勢制御装置、制御方法及びプログラムを提供することを課題とする。
However, when installing an inspection target such as a turbine blade on an installation jig, it is difficult to install the inspection target at the same position as the reference installation position, and there is a problem that it takes time for the installation work.
The present invention has been made in view of the above problems, and the orientation of the imaging device is set so that the viewpoint position, which is the relative positional relationship between the inspection target and the imaging device, is the same as the reference viewpoint position. It is an object to provide an attitude control device, a control method, and a program for controlling.
本発明は上記の課題を解決するためになされたものであり、検査対象と、当該検査対象を撮像する撮像装置との間の相対位置を示す視点位置が所定の視点位置になるように前記撮像装置の姿勢を制御する姿勢制御装置であって、前記検査対象を撮像する際の前記撮像装置の姿勢を制御する姿勢制御情報を記憶する制御情報記憶手段と、前記検査対象を特徴付ける部分を示す複数の特徴部同士の位置関係を示す3次元データを記憶する3次元データ記憶手段と、前記撮像装置が所定の姿勢で前記検査対象を撮像した画像データを取得する画像取得手段と、前記画像取得手段が取得した画像データから前記検査対象の特徴部を抽出する特徴部抽出手段と、前記3次元データ記憶手段が記憶する3次元データを透視投影したときに前記3次元データの特徴部の位置と前記特徴部抽出手段が抽出した特徴部の位置とが一致する視点位置を特定する視点特定手段と、前記視点特定手段が特定した視点位置から予め定められた所定の視点位置である基準視点位置までの移動量を算出する移動量算出手段と、前記移動量算出手段が算出した移動量を前記制御情報記憶手段が記憶する姿勢制御情報に反映させる反映手段とを備えることを特徴とする。 The present invention has been made to solve the above-described problem, and the imaging is performed so that a viewpoint position indicating a relative position between an inspection target and an imaging device that images the inspection target is a predetermined viewpoint position. A posture control device for controlling the posture of the apparatus, a plurality of control information storage means for storing posture control information for controlling the posture of the imaging device when imaging the inspection target, and a plurality of portions that characterize the inspection target Three-dimensional data storage means for storing three-dimensional data indicating the positional relationship between the characteristic portions of the image acquisition means, image acquisition means for acquiring image data obtained by imaging the inspection object in a predetermined posture, and the image acquisition means And a three-dimensional data when the three-dimensional data stored in the three-dimensional data storage means is perspective-projected. A viewpoint specifying means for specifying a viewpoint position where the position of the characteristic part and the position of the characteristic part extracted by the characteristic part extraction means match, and a predetermined viewpoint position determined in advance from the viewpoint position specified by the viewpoint specifying means A movement amount calculation unit that calculates a movement amount to a reference viewpoint position, and a reflection unit that reflects the movement amount calculated by the movement amount calculation unit in the attitude control information stored in the control information storage unit. And
また、本発明においては、前記制御情報記憶手段は、前記検査対象を撮像する際の前記撮像装置の複数の姿勢の識別情報に対応付けて前記撮像装置の姿勢を制御する姿勢制御情報を記憶し、前記反映手段は、前記制御情報記憶手段が記憶する姿勢制御情報の各々に前記移動量算出手段が算出した移動量を反映させることが好ましい。 In the present invention, the control information storage unit stores attitude control information for controlling the attitude of the imaging apparatus in association with identification information of a plurality of attitudes of the imaging apparatus when imaging the inspection target. The reflecting means preferably reflects the movement amount calculated by the movement amount calculating means in each of the posture control information stored in the control information storage means.
また、本発明においては、前記検査対象と同じ型の物体であって基準となる形状を有する物体を前記基準視点位置から撮像したときに得られる基準画像データを記憶する基準記憶手段と、前記基準視点位置で前記検査対象を撮像することで得られる補正後画像データと前記基準記憶手段が記憶する基準画像データとの間における前記特徴部以外の部分の変形量を算出する変形量算出手段と、を備え、前記反映手段は、前記撮像装置が前記検査対象の特徴部以外の部分を撮像する際の姿勢の識別情報に関連付けられた姿勢制御情報に、前記変形量算出手段が算出した変形量を反映させることが好ましい。 Further, in the present invention, reference storage means for storing reference image data obtained when an object of the same type as the inspection object and having a reference shape is imaged from the reference viewpoint position, and the reference A deformation amount calculating means for calculating a deformation amount of a portion other than the feature portion between corrected image data obtained by imaging the inspection object at a viewpoint position and reference image data stored in the reference storage means; The reflecting means includes the deformation amount calculated by the deformation amount calculating means in posture control information associated with posture identification information when the imaging device images a portion other than the characteristic portion to be inspected. It is preferable to reflect it.
また、本発明においては、前記制御情報記憶手段は、前記撮像装置の複数の姿勢の識別情報に対応付けて当該姿勢で撮像する際に撮像装置に入射させる光量を制御する光量制御情報をさらに記憶し、前記制御情報記憶手段が記憶する姿勢で前記撮像装置が撮像した画像データの所定の領域の平均明度が予め定められた基準明度になるように、前記姿勢の識別情報に関連付けられた光量制御情報を補正する光量補正手段とを備えることが好ましい。 In the present invention, the control information storage unit further stores light amount control information for controlling the amount of light incident on the imaging device when imaging in the posture in association with identification information of a plurality of postures of the imaging device. And the light amount control associated with the posture identification information so that the average lightness of a predetermined area of the image data captured by the image pickup device in the posture stored in the control information storage means becomes a predetermined reference lightness. It is preferable to include a light amount correction unit that corrects information.
また、本発明は、検査対象と、当該検査対象を撮像する撮像装置との間の相対位置を示す視点位置が所定の視点位置になるように前記撮像装置の姿勢を制御する姿勢制御装置であって、前記検査対象を撮像する際の前記撮像装置の姿勢を制御する姿勢制御情報を記憶する制御情報記憶手段と、検査対象を撮像する撮像装置が予め定められた所定の視点位置である基準視点位置から撮像した画像データに含まれる、前記検査対象を特徴付ける部分を示す複数の特徴部の位置を記憶する特徴部記憶手段と、前記撮像装置が前記所定の姿勢で撮像した画像データを取得する画像取得手段と、前記特徴部記憶手段が記憶する特徴部の位置と前記画像取得手段が取得した画像データの特徴部の位置とを用いて、前記撮像装置の視点位置から前記基準視点位置までの移動量を算出する移動量算出手段と、前記移動量算出手段が算出した移動量を前記制御情報記憶手段が記憶する姿勢制御情報に反映させる反映手段とを備えることを特徴とする。 In addition, the present invention is an attitude control apparatus that controls the attitude of the imaging apparatus so that a viewpoint position indicating a relative position between the inspection object and an imaging apparatus that images the inspection object becomes a predetermined viewpoint position. Control information storage means for storing attitude control information for controlling the attitude of the imaging apparatus when imaging the inspection object, and a reference viewpoint in which the imaging apparatus for imaging the inspection object is a predetermined viewpoint position Feature part storage means for storing the positions of a plurality of feature parts indicating the part characterizing the inspection object included in the image data picked up from the position, and an image for acquiring the image data picked up by the image pickup apparatus in the predetermined posture Using the acquisition unit, the position of the feature stored in the feature storage unit and the position of the feature of the image data acquired by the image acquisition unit, from the viewpoint position of the imaging device to the reference viewpoint A movement amount calculating means for calculating a movement amount of up location, the movement amount calculating means said control information storage means movement amount calculated is characterized in that it comprises a reflection means for reflecting the posture control information stored.
また、本発明においては、前記特徴部記憶手段は、複数の視点位置を示す視点位置情報それぞれに関連付けて前記特徴部の位置を記憶し、前記画像取得手段は、前記撮像装置が、前記初期位置記憶手段が記憶する視点位置情報が示すそれぞれの視点位置から撮像した画像データを取得し、前記移動量算出手段は、前記位置記憶手段が記憶する視点位置情報毎に、前記特徴量の位置と前記画像取得手段が取得した画像データの特徴量の位置とを用いて、前記撮像装置の視点位置から前記視点位置情報が示す視点位置までの移動量を算出することが好ましい。 In the present invention, the feature storage unit stores the position of the feature in association with viewpoint position information indicating a plurality of viewpoint positions, and the image acquisition unit is configured to store the initial position. Image data captured from each viewpoint position indicated by the viewpoint position information stored in the storage unit is acquired, and the movement amount calculation unit calculates the position of the feature amount and the position for each viewpoint position information stored in the position storage unit. It is preferable to calculate a movement amount from the viewpoint position of the imaging device to the viewpoint position indicated by the viewpoint position information using the position of the feature amount of the image data acquired by the image acquisition unit.
また、本発明においては、前記撮像装置の光軸方向に直交する軸を基準に傾斜させた前記検査対象を前記撮像装置が撮像した画像データを、前記検査対象の傾斜角に関連付けて記憶する傾斜情報記憶手段と、前記画像取得手段が取得した画像データと前記傾斜情報記憶手段が記憶する画像データとを比較し、最も近似する画像データに関連付けられた傾斜角を読み出す傾斜情報読出手段とを備え、前記移動量作成手段は、前記特徴部記憶手段が記憶する特徴部の位置と前記画像取得手段が取得した画像データの特徴部の位置と、前記傾斜情報読出手段が読み出した傾斜情報とを用いて、前記撮像装置の視点位置から前記視点位置情報が示す視点位置までの移動量を算出することが好ましい。 Further, in the present invention, the inclination that stores the image data obtained by the imaging device, which is obtained by imaging the inspection target tilted with respect to an axis orthogonal to the optical axis direction of the imaging device, in association with the inclination angle of the inspection target. Information storage means, and inclination information reading means for comparing the image data acquired by the image acquisition means with the image data stored by the inclination information storage means and reading the inclination angle associated with the closest image data. The moving amount creation means uses the position of the feature stored in the feature storage means, the position of the feature of the image data acquired by the image acquisition means, and the inclination information read out by the inclination information reading means. It is preferable to calculate a movement amount from the viewpoint position of the imaging device to the viewpoint position indicated by the viewpoint position information.
また、本発明は、検査対象と、当該検査対象を撮像する撮像装置との間の相対位置を示す視点位置が所定の視点位置になるように前記撮像装置の姿勢を制御し、前記検査対象を撮像する際の前記撮像装置の姿勢を制御する姿勢制御情報を記憶する制御情報記憶手段と、前記検査対象を特徴付ける部分を示す複数の特徴部同士の位置関係を示す3次元データを記憶する3次元データ記憶手段と、を備える姿勢制御装置の制御方法であって、画像取得手段は、前記撮像装置が所定の姿勢で前記検査対象を撮像した画像データを取得し、特徴部抽出手段は、前記画像取得手段が取得した画像データから前記検査対象の特徴部を抽出し、視点特定手段は、前記3次元データ記憶手段が記憶する3次元データを透視投影したときに前記3次元データの特徴部の位置と前記特徴部抽出手段が抽出した特徴部の位置とが一致する視点位置を特定し、移動量算出手段は、前記視点特定手段が特定した視点位置から予め定められた所定の視点位置である基準視点位置までの移動量を算出し、反映手段は、前記移動量算出手段が算出した移動量を前記制御情報記憶手段が記憶する姿勢制御情報に反映させることを特徴とする。 Further, the present invention controls the posture of the imaging device so that a viewpoint position indicating a relative position between the inspection target and an imaging device that images the inspection target is a predetermined viewpoint position, Control information storage means for storing attitude control information for controlling the attitude of the imaging device when taking an image, and three-dimensional data for storing three-dimensional data indicating the positional relationship between a plurality of features that indicate a part characterizing the inspection object And a data storage unit, wherein the image acquisition unit acquires image data obtained by imaging the inspection object in a predetermined posture, and the feature extraction unit includes the image The feature part to be inspected is extracted from the image data acquired by the acquisition unit, and the viewpoint specifying unit performs the characteristic projection of the three-dimensional data when perspectively projecting the three-dimensional data stored in the three-dimensional data storage unit. A viewpoint position where the position of the part matches the position of the feature part extracted by the feature part extraction means, and the movement amount calculation means is a predetermined viewpoint position determined in advance from the viewpoint position specified by the viewpoint specification means The movement amount to the reference viewpoint position is calculated, and the reflection means reflects the movement amount calculated by the movement amount calculation means in the attitude control information stored in the control information storage means.
また、本発明は、検査対象と、当該検査対象を撮像する撮像装置との間の相対位置を示す視点位置が所定の視点位置になるように前記撮像装置の姿勢を制御し、前記検査対象を撮像する際の前記撮像装置の姿勢を制御する姿勢制御情報を記憶する制御情報記憶手段と、検査対象を撮像する撮像装置が予め定められた所定の視点位置である基準視点位置から撮像した画像データに含まれる、前記検査対象を特徴付ける部分を示す複数の特徴部の位置を記憶する特徴部記憶手段とを備える姿勢制御装置であって、画像取得手段は、前記撮像装置が前記所定の姿勢で撮像した画像データを取得し、移動量算出手段は、前記特徴部記憶手段が記憶する特徴部の位置と前記画像取得手段が取得した画像データの特徴部の位置とを用いて、前記撮像装置の視点位置から前記基準視点位置までの移動量を算出し、反映手段は、前記移動量算出手段が算出した移動量を前記制御情報記憶手段が記憶する姿勢制御情報に反映させることを特徴とする。 Further, the present invention controls the posture of the imaging device so that a viewpoint position indicating a relative position between the inspection target and an imaging device that images the inspection target is a predetermined viewpoint position, Control information storage means for storing attitude control information for controlling the attitude of the imaging device when taking an image, and image data taken from a reference viewpoint position, which is a predetermined viewpoint position determined in advance by the imaging apparatus that images the inspection target And a feature storage means for storing the positions of a plurality of feature parts indicating the part characterizing the inspection object, wherein the image acquisition means captures the image in the predetermined orientation. The movement amount calculating means uses the position of the characteristic portion stored in the characteristic portion storage means and the position of the characteristic portion of the image data acquired by the image acquisition means. It calculates the amount of movement from the point position to the reference viewpoint position, reflecting means, a moving amount of the moving amount calculation means has calculated the control information storage means, characterized in that to reflect the attitude control information stored.
また、本発明は、検査対象と、当該検査対象を撮像する撮像装置との間の相対位置を示す視点位置が所定の視点位置になるように前記撮像装置の姿勢を制御し、前記検査対象を撮像する際の前記撮像装置の姿勢を制御する姿勢制御情報を記憶する制御情報記憶手段と、前記検査対象を特徴付ける部分を示す複数の特徴部同士の位置関係を示す3次元データを記憶する3次元データ記憶手段とを備える姿勢制御装置を、前記撮像装置が所定の姿勢で前記検査対象を撮像した画像データを取得する画像取得手段、前記画像取得手段が取得した画像データから前記検査対象の特徴部を抽出する特徴部抽出手段、前記3次元データ記憶手段が記憶する3次元データを透視投影したときに前記3次元データの特徴部の位置と前記特徴部抽出手段が抽出した特徴部の位置とが一致する視点位置を特定する視点特定手段、前記視点特定手段が特定した視点位置から予め定められた所定の視点位置である基準視点位置までの移動量を算出する移動量算出手段、前記移動量算出手段が算出した移動量を前記制御情報記憶手段が記憶する姿勢制御情報に反映させる反映手段として機能させるためのプログラムである。 Further, the present invention controls the posture of the imaging device so that a viewpoint position indicating a relative position between the inspection target and an imaging device that images the inspection target is a predetermined viewpoint position, Control information storage means for storing attitude control information for controlling the attitude of the imaging device when taking an image, and three-dimensional data for storing three-dimensional data indicating the positional relationship between a plurality of features that indicate a part characterizing the inspection object An attitude control device comprising data storage means; image acquisition means for acquiring image data obtained by imaging the inspection object in a predetermined attitude by the imaging apparatus; and a characteristic portion of the inspection object from the image data acquired by the image acquisition means A feature portion extracting means for extracting the three-dimensional data stored in the three-dimensional data storage means, and the feature portion extracting means extracts the position of the feature portion of the three-dimensional data and the feature portion extracting means. Viewpoint identifying means for identifying a viewpoint position that coincides with the position of the feature portion; movement amount calculation for calculating a movement amount from the viewpoint position identified by the viewpoint identifying means to a reference viewpoint position that is a predetermined predetermined viewpoint position And a program for causing the movement amount calculated by the movement amount calculation unit to function as a reflection unit that reflects the posture control information stored in the control information storage unit.
また、本発明は、検査対象と、当該検査対象を撮像する撮像装置との間の相対位置を示す視点位置が所定の視点位置になるように前記撮像装置の姿勢を制御し、前記検査対象を撮像する際の前記撮像装置の姿勢を制御する姿勢制御情報を記憶する制御情報記憶手段と、検査対象を撮像する撮像装置が予め定められた所定の視点位置である基準視点位置から撮像した画像データに含まれる、前記検査対象を特徴付ける部分を示す複数の特徴部の位置を記憶する特徴部記憶手段と、を備える姿勢制御装置を、前記撮像装置が前記所定の姿勢で撮像した画像データを取得する画像取得手段、前記特徴部記憶手段が記憶する特徴部の位置と前記画像取得手段が取得した画像データの特徴部の位置とを用いて、前記撮像装置の視点位置から前記基準視点位置までの移動量を算出する移動量算出手段、前記移動量算出手段が算出した移動量を前記制御情報記憶手段が記憶する姿勢制御情報に反映させる反映手段として機能させるためのプログラムである。 Further, the present invention controls the posture of the imaging device so that a viewpoint position indicating a relative position between the inspection target and an imaging device that images the inspection target is a predetermined viewpoint position, Control information storage means for storing attitude control information for controlling the attitude of the imaging device when taking an image, and image data taken from a reference viewpoint position, which is a predetermined viewpoint position determined in advance by the imaging apparatus that images the inspection target A posture control device comprising: a feature storage unit that stores the positions of a plurality of feature portions that indicate portions that characterize the inspection target, and acquires image data captured by the image pickup device in the predetermined posture Using the image acquisition means, the position of the feature stored in the feature storage means and the position of the feature of the image data acquired by the image acquisition means, the reference viewpoint from the viewpoint position of the imaging device Movement amount calculating means for calculating a movement amount of up location, a program for functioning as a reflecting unit for reflecting the movement amount which the movement amount calculating means has calculated the attitude control information the control information storage means for storing.
本発明によれば、姿勢制御装置は、撮像装置が所定の姿勢で検査対象を撮像した画像データから検査対象の特徴部を抽出し、当該特徴部の位置と基準となる特徴部の位置とに基づいて、現在の視点位置から基準となる視点位置までの移動量を算出する。そして、姿勢制御装置は、当該移動量を、検査対象を撮像する際の撮像装置の姿勢を制御する姿勢制御情報に反映させる。これにより、反映後の姿勢制御情報を用いて撮像装置の姿勢を制御することで、検査対象と撮像装置との相対的な位置関係である視点位置が基準となる視点位置と同じになるように、撮像装置の姿勢を制御することができる。 According to the present invention, the posture control device extracts the feature portion of the inspection target from the image data obtained by the imaging device capturing the inspection target in a predetermined posture, and sets the position of the feature portion and the position of the reference feature portion. Based on this, the amount of movement from the current viewpoint position to the reference viewpoint position is calculated. Then, the posture control device reflects the movement amount in posture control information for controlling the posture of the imaging device when imaging the inspection target. Thus, by controlling the posture of the imaging device using the posture control information after reflection, the viewpoint position that is the relative positional relationship between the inspection target and the imaging device is the same as the reference viewpoint position. The attitude of the imaging device can be controlled.
《第1の実施形態》
以下、図面を参照しながら本発明の第1の実施形態について詳しく説明する。
図1は、本発明の一実施形態による姿勢制御装置2を含む欠陥判定システムの構成を示す図である。
欠陥判定システムは、検査対象3に含まれるクラックなどの欠陥の有無を測定するシステムであり、撮像装置1及び姿勢制御装置2を備える。
撮像装置1は、検査対象3を撮像する撮像部11と、撮像部11の位置及び視線方向を固定するアーム12と、姿勢制御装置2から制御信号を受信し、当該制御信号に従って撮像装置1の姿勢を制御する制御部とを備える。
姿勢制御装置2は、撮像装置1の姿勢を制御する制御信号を撮像装置1に出力することで、撮像装置1が所定の視点位置で検査対象3を撮像できるように制御する。なお、視点位置とは、検査対象3と撮像装置1との相対的な位置関係のことである。
<< First Embodiment >>
Hereinafter, a first embodiment of the present invention will be described in detail with reference to the drawings.
FIG. 1 is a diagram showing a configuration of a defect determination system including an attitude control device 2 according to an embodiment of the present invention.
The defect determination system is a system that measures the presence or absence of defects such as cracks included in the inspection object 3, and includes an imaging device 1 and an attitude control device 2.
The imaging device 1 receives the control signal from the imaging unit 11 that images the inspection object 3, the arm 12 that fixes the position and line-of-sight direction of the imaging unit 11, and the attitude control device 2, and the imaging device 1 of the imaging device 1 according to the control signal. A control unit for controlling the posture.
The posture control device 2 outputs a control signal for controlling the posture of the imaging device 1 to the imaging device 1 so that the imaging device 1 can take an image of the inspection object 3 at a predetermined viewpoint position. The viewpoint position is a relative positional relationship between the inspection object 3 and the imaging device 1.
図2は、本発明の一実施形態による姿勢制御装置2の構成を示す概略ブロック図である。
姿勢制御装置2は、制御情報記憶部101(制御情報記憶手段)、姿勢制御部102、画像取得部103(画像取得手段)、3次元データ記憶部104(3次元データ記憶手段)、特徴線抽出部105(特徴部抽出手段)、入力部106(入力手段)、視点特定部107(視点特定手段)、基準特徴線記憶部108、移動量算出部109(移動量算出手段)、反映部110(反映手段)、基準画像記憶部111(基準記憶手段)、変形量算出部112(変形量算出手段)、3次元データ生成部113を備える。
FIG. 2 is a schematic block diagram showing the configuration of the attitude control device 2 according to one embodiment of the present invention.
The posture control device 2 includes a control information storage unit 101 (control information storage unit), a posture control unit 102, an image acquisition unit 103 (image acquisition unit), a three-dimensional data storage unit 104 (three-dimensional data storage unit), and a feature line extraction. Unit 105 (feature part extraction unit), input unit 106 (input unit), viewpoint identification unit 107 (viewpoint identification unit), reference feature line storage unit 108, movement amount calculation unit 109 (movement amount calculation unit), reflection unit 110 ( A reflection unit), a reference image storage unit 111 (reference storage unit), a deformation amount calculation unit 112 (deformation amount calculation unit), and a three-dimensional data generation unit 113.
制御情報記憶部101は、検査対象3を撮像する際の撮像装置1の姿勢を示す識別情報に関連付けて、当該姿勢を制御する姿勢制御情報を記憶する。なお、制御情報記憶部101は、少なくとも検査対象3の全体を撮像できる姿勢である基準姿勢の姿勢制御情報を記憶している。また、「撮像装置1の姿勢」とは、撮像装置1の撮像部11の位置及び視線方向のことを言い、アーム12の角度によって決定される。
姿勢制御部102は、制御情報記憶部101が記憶する姿勢制御情報に基づいて撮像装置1の姿勢を制御する。
画像取得部103は、姿勢制御部102が制御した姿勢で撮像装置1が撮像した画像データを取得する。
The control information storage unit 101 stores attitude control information for controlling the attitude in association with identification information indicating the attitude of the imaging apparatus 1 when imaging the inspection object 3. The control information storage unit 101 stores posture control information of a reference posture that is a posture capable of capturing at least the entire inspection object 3. Further, the “posture of the imaging device 1” refers to the position and the line-of-sight direction of the imaging unit 11 of the imaging device 1 and is determined by the angle of the arm 12.
The attitude control unit 102 controls the attitude of the imaging apparatus 1 based on the attitude control information stored in the control information storage unit 101.
The image acquisition unit 103 acquires image data captured by the imaging apparatus 1 with the attitude controlled by the attitude control unit 102.
3次元データ記憶部104は、3次元データ生成部113が生成した3次元データを記憶する。ここで、3次元データとは、検査対象3のエッジ部分を示す複数の特徴線(特徴部)を表すデータである。具体的には、3次元データ記憶部104は、検査対象3の特徴線の位置を示す方程式を、3次元データとして記憶する。また、3次元データが格納する各特徴線の情報には、当該特徴線の関数及び当該特徴線を識別する識別情報が含まれる。
特徴線抽出部105は、画像取得部103が取得した画像データから検査対象3の特徴線を抽出する。具体的には、特徴線抽出部105は、画像取得部103が取得したそれぞれの画像データからエッジ部分を特徴線として抽出する。エッジ部分の抽出方法としては、例えば画像データにHough変換処理を実行する方法や入力部106を介してユーザから直線の始点と終点の入力を受け付ける方法などが挙げられる。
入力部106は、特徴線抽出部105が抽出した特徴線を識別する識別情報の入力を受け付ける。
The three-dimensional data storage unit 104 stores the three-dimensional data generated by the three-dimensional data generation unit 113. Here, the three-dimensional data is data representing a plurality of feature lines (feature portions) indicating the edge portion of the inspection object 3. Specifically, the three-dimensional data storage unit 104 stores an equation indicating the position of the characteristic line of the inspection object 3 as three-dimensional data. Further, the information of each feature line stored in the three-dimensional data includes a function of the feature line and identification information for identifying the feature line.
The feature line extraction unit 105 extracts the feature line of the inspection target 3 from the image data acquired by the image acquisition unit 103. Specifically, the feature line extraction unit 105 extracts edge portions from the respective image data acquired by the image acquisition unit 103 as feature lines. Examples of the edge portion extraction method include a method of executing Hough conversion processing on image data and a method of receiving input of the start and end points of a straight line from the user via the input unit 106.
The input unit 106 receives input of identification information for identifying the feature line extracted by the feature line extraction unit 105.
視点特定部107は、3次元データ記憶部104が記憶する3次元データを透視投影したときに、3次元データが示す特徴線の位置と特徴線抽出部105が抽出した特徴線の位置とが一致するような視点位置を特定する。また、視点特定部107は、特定した視点位置を基準としたときの各特徴線を示す方程式を生成する。
基準特徴線記憶部108は、撮像装置1が検査対象3の全体を撮像することができる所定の視点位置である基準視点位置を基準としたときの各特徴線を示す方程式を記憶する。
When the perspective identification unit 107 perspectively projects the 3D data stored in the 3D data storage unit 104, the position of the feature line indicated by the 3D data matches the position of the feature line extracted by the feature line extraction unit 105. Identify the viewpoint position that will be used. In addition, the viewpoint specifying unit 107 generates an equation indicating each characteristic line when the specified viewpoint position is used as a reference.
The reference feature line storage unit 108 stores an equation indicating each feature line when a reference viewpoint position that is a predetermined viewpoint position at which the imaging apparatus 1 can image the entire inspection object 3 is used as a reference.
移動量算出部109は、視点特定部107が生成したデータと基準特徴線記憶部108が記憶するデータを用いて、基準姿勢における撮像装置1の視点位置から基準視点位置までの移動量を算出する。
反映部110は、移動量算出部109が算出した移動量を、制御情報記憶部101が記憶するそれぞれの姿勢制御情報に反映させる。また、反映部110は、変形量算出部112から検査対象3の特徴線以外の部分の変形量を入力し、撮像装置1が検査対象3の特徴線以外の部分を撮像する際の姿勢の識別情報に関連付けられた姿勢制御情報に当該変形量を反映させる。
The movement amount calculation unit 109 calculates the movement amount from the viewpoint position of the imaging apparatus 1 to the reference viewpoint position in the reference posture using the data generated by the viewpoint specifying unit 107 and the data stored in the reference feature line storage unit 108. .
The reflection unit 110 reflects the movement amount calculated by the movement amount calculation unit 109 in each posture control information stored in the control information storage unit 101. Further, the reflection unit 110 inputs the deformation amount of the portion other than the feature line of the inspection target 3 from the deformation amount calculation unit 112, and identifies the posture when the imaging device 1 images the portion other than the characteristic line of the inspection target 3. The deformation amount is reflected in the posture control information associated with the information.
基準画像記憶部111は、検査対象3と同じ型の物体であって基準となる形状を有する物体(例えば、未使用のタービンブレードなど)を基準視点位置から撮像したときに得られる基準画像データを記憶する。なお、基準画像データは、実際に撮像装置1が基準視点位置から撮像した画像データであっても良く、検査対象3の3Dデータを基準視点位置を視点としてモデリングすることで得られる画像データであっても良い。
変形量算出部112は、反映部110によって移動量が反映された姿勢制御情報に基づいて姿勢制御部102が制御した姿勢で、撮像装置1が撮像した画像データ(補正後画像データ)を画像取得部103から取得する。また、変形量算出部112は、当該画像データと基準画像記憶部111が記憶する基準画像データとの間における特徴線以外の部分の変形量を算出する。
The reference image storage unit 111 stores reference image data obtained when an object (for example, an unused turbine blade) that is the same type as the inspection object 3 and has a reference shape is imaged from the reference viewpoint position. Remember. The reference image data may be image data actually captured by the imaging device 1 from the reference viewpoint position, and is image data obtained by modeling the 3D data of the inspection target 3 with the reference viewpoint position as the viewpoint. May be.
The deformation amount calculation unit 112 acquires image data (corrected image data) captured by the imaging apparatus 1 in the posture controlled by the posture control unit 102 based on the posture control information in which the movement amount is reflected by the reflecting unit 110. Obtained from the unit 103. Further, the deformation amount calculation unit 112 calculates the deformation amount of a portion other than the feature line between the image data and the reference image data stored in the reference image storage unit 111.
3次元データ生成部113は、姿勢制御部102から入力した姿勢制御情報と、特徴線抽出部105が抽出した特徴線とを用いて3次元データを生成し、3次元データ記憶部104に当該3次元データを記録する。
ここで、3次元データ記憶部104が記憶する3次元データの生成方法を説明する。
まず、姿勢制御部102は、撮像装置1の姿勢を、検査対象3の全体を撮像できる姿勢に制御し、画像取得部103は当該姿勢で撮像した画像データを取得する。同様の処理を複数回実行することで、画像取得部103は、異なる視点位置から検査対象3の全体を撮像した画像データを取得する。このとき、姿勢制御部102は、撮像装置1を制御した姿勢を示す姿勢制御情報を3次元データ生成部113に出力する。
The three-dimensional data generation unit 113 generates three-dimensional data using the posture control information input from the posture control unit 102 and the feature line extracted by the feature line extraction unit 105, and stores the three-dimensional data in the three-dimensional data storage unit 104. Record dimensional data.
Here, a method for generating three-dimensional data stored in the three-dimensional data storage unit 104 will be described.
First, the posture control unit 102 controls the posture of the imaging apparatus 1 to a posture that can image the entire inspection object 3, and the image acquisition unit 103 acquires image data captured in the posture. By executing the same process a plurality of times, the image acquisition unit 103 acquires image data obtained by imaging the entire inspection object 3 from different viewpoint positions. At this time, the attitude control unit 102 outputs attitude control information indicating the attitude of controlling the imaging device 1 to the three-dimensional data generation unit 113.
図3は、複数の画像データから抽出した特徴線を用いて3次元空間における特徴線を示す方程式を導出する方法を示す図である。
次に、特徴線抽出部105は、画像取得部103が取得したそれぞれの画像データからエッジ部分を特徴線として抽出する。タービンブレードのプラットホームはエッジを有するため、画像データに当該エッジが直線として表れることとなる。
次に、ユーザは、当該抽出した特徴線のそれぞれに一意な識別情報を付与する。入力部106は、ユーザから当該識別情報の入力を受け付ける。同様の処理を、全ての画像データに対して実行する。図3(A)に示す例では、それぞれの特徴線にl1 (n)、l2 (n)、l3 (n)という識別情報を付与している。ここで、添字「1」、「2」、「3」は、特徴線に一意な識別番号を示し、添字「(n)」は、画像データの識別番号を示す。このとき、ユーザは、検査対象3の同一の部分を示す特徴線に対して同じ識別番号を付与する。
FIG. 3 is a diagram illustrating a method of deriving an equation indicating a feature line in a three-dimensional space using feature lines extracted from a plurality of image data.
Next, the feature line extraction unit 105 extracts edge portions from the respective image data acquired by the image acquisition unit 103 as feature lines. Since the platform of the turbine blade has an edge, the edge appears as a straight line in the image data.
Next, the user gives unique identification information to each of the extracted feature lines. The input unit 106 receives input of the identification information from the user. Similar processing is executed for all image data. In the example shown in FIG. 3A, identification information of l 1 (n) , l 2 (n) , and l 3 (n) is given to each feature line. Here, the subscripts “1”, “2”, and “3” indicate identification numbers that are unique to the feature lines, and the subscript “(n)” indicates the identification number of the image data. At this time, the user assigns the same identification number to the characteristic line indicating the same portion of the inspection object 3.
特徴線抽出部105は、入力部106から識別情報と特徴線との対応関係を示す情報を3次元データ生成部113に出力する。また、3次元データ生成部113は、姿勢制御部102から入力した姿勢制御情報と特徴線抽出部105が抽出した特徴線の情報から、それぞれの画像データが示す特徴線を3次元空間に投影したときの平面を示す平面方程式を導出する。次に、3次元データ生成部113は、導出した複数の平面方程式から3次元空間における特徴線を示す方程式を導出する。
図3(B)に示す例では、3次元データ生成部113は、撮像装置1が第1の画像データを撮像したときの座標系から、特徴線l1 (1)を示す平面方程式g(l1 (1))及び撮像装置1が第nの画像データを撮像したときの座標系から、特徴線l1 (n)を示す平面方程式g(l1 (n))を導出する。そして、3次元データ生成部113は、導出した平面方程式g(l1 (1))及びg(l1 (n))から直線L1を示す方程式g(l1 (1))×g(l1 (n))を導出する。
上記手順を特徴線毎に繰り返すことで、それぞれの特徴線を示す方程式を導出することができる。そして、3次元データ生成部113は、導出したそれぞれの方程式を特徴線の識別情報に関連付けて、3次元データとして3次元データ記憶部104に記録する。
The feature line extraction unit 105 outputs information indicating the correspondence between the identification information and the feature line from the input unit 106 to the three-dimensional data generation unit 113. Further, the three-dimensional data generation unit 113 projects the feature lines indicated by the respective image data on the three-dimensional space from the posture control information input from the posture control unit 102 and the feature line information extracted by the feature line extraction unit 105. A plane equation indicating the plane of the time is derived. Next, the three-dimensional data generation unit 113 derives an equation indicating a feature line in the three-dimensional space from the plurality of derived plane equations.
In the example shown in FIG. 3B, the three-dimensional data generation unit 113 uses the plane equation g (l ) indicating the characteristic line l 1 (1) from the coordinate system when the imaging device 1 captures the first image data. 1 (1) ) and the plane equation g (l 1 (n) ) indicating the characteristic line l 1 (n ) are derived from the coordinate system when the imaging device 1 images the n-th image data. Then, the three-dimensional data generation unit 113 calculates an equation g (l 1 (1) ) × g (l indicating the straight line L 1 from the derived plane equations g (l 1 (1) ) and g (l 1 (n) ). 1 (n) ) is derived.
By repeating the above procedure for each feature line, an equation indicating each feature line can be derived. Then, the three-dimensional data generation unit 113 records the derived equations in the three-dimensional data storage unit 104 as three-dimensional data in association with the feature line identification information.
上記構成を備えることで、姿勢制御装置2は、以下に示す動作を行う。
画像取得部103は、撮像装置1が所定の姿勢で検査対象3を撮像した画像データを取得する。特徴線抽出部105は、画像取得部103が取得した画像データから検査対象3の特徴線を抽出する。視点特定部107は、3次元データ記憶部104が記憶する3次元データを透視投影したときに3次元データの特徴線の位置と特徴線抽出部105が抽出した特徴線の位置とが一致する視点位置を特定する。移動量算出部109は、視点特定部107が特定した視点位置から予め定められた所定の視点位置である基準視点位置までの移動量を算出する。反映部110は、移動量算出部109が算出した移動量を制御情報記憶部101が記憶する姿勢制御情報に反映させる。
これにより、姿勢制御装置2は、当該姿勢制御情報を用いて撮像装置1を制御することで、撮像装置1の視点位置が基準視点位置と同じになるように撮像装置1の姿勢を制御することができる。
With the above configuration, the attitude control device 2 performs the following operation.
The image acquisition unit 103 acquires image data obtained by the imaging apparatus 1 capturing an image of the inspection target 3 in a predetermined posture. The feature line extraction unit 105 extracts the feature line of the inspection target 3 from the image data acquired by the image acquisition unit 103. The viewpoint specifying unit 107 is a viewpoint in which the position of the feature line of the three-dimensional data coincides with the position of the feature line extracted by the feature line extraction unit 105 when the three-dimensional data stored in the three-dimensional data storage unit 104 is perspective-projected. Identify the location. The movement amount calculation unit 109 calculates a movement amount from the viewpoint position specified by the viewpoint specifying unit 107 to a reference viewpoint position that is a predetermined viewpoint position determined in advance. The reflection unit 110 reflects the movement amount calculated by the movement amount calculation unit 109 in the posture control information stored in the control information storage unit 101.
Accordingly, the posture control device 2 controls the posture of the imaging device 1 so that the viewpoint position of the imaging device 1 is the same as the reference viewpoint position by controlling the imaging device 1 using the posture control information. Can do.
次に、本実施形態による姿勢制御装置2の動作を説明する。
図4は、第1の実施形態による姿勢制御装置2の動作を示すフローチャートである。
まず、姿勢制御部102は、制御情報記憶部101から基準姿勢の姿勢制御情報を読み出し、当該姿勢制御情報に基づいて撮像装置1の姿勢を基準姿勢に制御する(ステップS1)。これにより、撮像装置1は、基準姿勢で検査対象3を撮像する。
次に、画像取得部103は、撮像装置1から撮像装置1が撮像した画像データを取得する(ステップS2)。次に、特徴線抽出部105は、画像取得部103が取得した画像データから特徴線を抽出する(ステップS3)。
Next, the operation of the attitude control device 2 according to the present embodiment will be described.
FIG. 4 is a flowchart showing the operation of the attitude control device 2 according to the first embodiment.
First, the posture control unit 102 reads the posture control information of the reference posture from the control information storage unit 101, and controls the posture of the imaging device 1 to the reference posture based on the posture control information (step S1). Thereby, the imaging device 1 images the inspection object 3 in the reference posture.
Next, the image acquisition unit 103 acquires image data captured by the imaging device 1 from the imaging device 1 (step S2). Next, the feature line extraction unit 105 extracts feature lines from the image data acquired by the image acquisition unit 103 (step S3).
次に、入力部106は、ユーザから特徴線抽出部105が抽出した特徴線の識別情報の入力を受け付ける(ステップS4)。このとき、ユーザは3次元データ記憶部104が記憶する特徴線に対応する特徴線に対して識別情報を入力する。次に、特徴線抽出部105は、入力部106が入力を受け付けた識別番号を、抽出した特徴線のそれぞれに関連付けて、視点特定部107に出力する。
次に、視点特定部107は、特徴線抽出部105から入力した特徴線(2次元平面上の特徴線)と3次元データ記憶部104が記憶する3次元データが示す特徴線(3次元空間上の特徴線)とを用いて、基準姿勢の撮像装置1の位置を基準としたときの各特徴線の位置関係を示す方程式を導出する(ステップS5)。つまり、視点特定部107は、3次元データ記憶部104が記憶する3次元データを透視投影したときに3次元データの特徴線の位置と特徴線抽出部105が抽出した特徴線の位置とが一致する視点位置を特定し、当該視点位置を基準とした各特徴線の方程式を導出する。ここで「一致する」とは、完全に一致することのみを示すものではなく、同一の識別情報が示す特徴線同士のずれ量の総和が最小となることを言う。
Next, the input unit 106 receives an input of feature line identification information extracted by the feature line extraction unit 105 from the user (step S4). At this time, the user inputs identification information for the feature line corresponding to the feature line stored in the three-dimensional data storage unit 104. Next, the feature line extraction unit 105 outputs the identification number received by the input unit 106 to the viewpoint specifying unit 107 in association with each extracted feature line.
Next, the viewpoint specifying unit 107 outputs a feature line (a feature line on a two-dimensional plane) input from the feature line extraction unit 105 and a feature line (in the three-dimensional space) indicated by the three-dimensional data stored in the three-dimensional data storage unit 104. The characteristic line) is used to derive an equation indicating the positional relationship between the characteristic lines when the position of the imaging device 1 in the reference posture is used as a reference (step S5). In other words, the viewpoint specifying unit 107 matches the position of the feature line of the three-dimensional data with the position of the feature line extracted by the feature line extraction unit 105 when the three-dimensional data stored in the three-dimensional data storage unit 104 is perspective-projected. The viewpoint position to be identified is specified, and an equation of each feature line with respect to the viewpoint position is derived. Here, “match” does not only indicate complete match, but means that the total sum of shift amounts of feature lines indicated by the same identification information is minimized.
視点特定部107が、基準姿勢の撮像装置1の視点位置を基準とした特徴線の方程式を導出すると、移動量算出部109は、当該特徴線の方程式と、基準特徴線記憶部108が記憶する特徴線の方程式とを用いて、撮像装置1の視点位置から基準視点位置までの移動量を算出する(ステップS6)。具体的には、視点特定部107が導出した特徴線と基準特徴線記憶部108が記憶する特徴線とが一致するときの平行移動距離及び回転角を、基準姿勢における撮像装置1の視点位置から基準視点位置までの移動量として数値解析手法で算出する。 When the viewpoint identifying unit 107 derives a feature line equation based on the viewpoint position of the imaging device 1 in the reference posture, the movement amount calculation unit 109 stores the feature line equation and the reference feature line storage unit 108. The amount of movement from the viewpoint position of the imaging apparatus 1 to the reference viewpoint position is calculated using the characteristic line equation (step S6). Specifically, the parallel movement distance and rotation angle when the feature line derived by the viewpoint specifying unit 107 matches the feature line stored by the reference feature line storage unit 108 are determined from the viewpoint position of the imaging apparatus 1 in the reference posture. The amount of movement to the reference viewpoint position is calculated by a numerical analysis method.
次に、反映部110は、移動量算出部109が算出した移動量を制御情報記憶部101が記憶する各姿勢制御情報に反映させる(ステップS7)。例えば、反映部110は、移動量算出部109が算出したx軸方向の移動量を、姿勢制御情報のうち撮像装置1のアーム12の左右方向(左右方向がx軸に対応する場合)の移動量に加算する。同様の処理を、y軸方向の移動量、z軸方向の移動量、x軸方向の回転角、y軸方向の回転角、z軸方向の回転角に対してそれぞれ実行する。 Next, the reflection unit 110 reflects the movement amount calculated by the movement amount calculation unit 109 in each posture control information stored in the control information storage unit 101 (step S7). For example, the reflection unit 110 moves the movement amount in the x-axis direction calculated by the movement amount calculation unit 109 in the left-right direction of the arm 12 of the imaging device 1 in the posture control information (when the left-right direction corresponds to the x-axis). Add to the quantity. Similar processing is performed for the movement amount in the y-axis direction, the movement amount in the z-axis direction, the rotation angle in the x-axis direction, the rotation angle in the y-axis direction, and the rotation angle in the z-axis direction.
次に、姿勢制御部102は、制御情報記憶部101から基準姿勢の姿勢制御情報を読み出し、当該姿勢制御情報に基づいて撮像装置1の姿勢を基準姿勢に制御する(ステップS8)。これにより、撮像装置1は、移動量算出部109が算出した移動量を反映した基準姿勢で検査対象3を撮像する。
次に、画像取得部103は、撮像装置1から撮像装置1が撮像した画像データを取得し(ステップS9)、変形量算出部112に出力する。
Next, the posture control unit 102 reads the posture control information of the reference posture from the control information storage unit 101, and controls the posture of the imaging device 1 to the reference posture based on the posture control information (step S8). Thereby, the imaging device 1 images the inspection object 3 with the reference posture reflecting the movement amount calculated by the movement amount calculation unit 109.
Next, the image acquisition unit 103 acquires image data captured by the imaging device 1 from the imaging device 1 (step S <b> 9) and outputs the image data to the deformation amount calculation unit 112.
次に、変形量算出部112は、基準画像記憶部111が記憶する基準画像データを読み出す(ステップS10)。基準画像データは、上述したように検査対象3と同じ型の物体であって基準となる形状を有する物体を基準視点位置から撮像したときに得られる画像を示すデータである。また、ステップS9で画像取得部103が取得した画像データは、移動量算出部109が算出した移動量を反映した基準姿勢で検査対象3を撮像した画像を示すデータである。したがって、画像取得部103が取得した画像データと基準画像記憶部111が記憶する基準画像データは、少なくとも特徴線の位置が一致することとなる。 Next, the deformation amount calculation unit 112 reads the reference image data stored in the reference image storage unit 111 (step S10). The reference image data is data indicating an image obtained when an object having the same shape as the inspection object 3 and having a reference shape is imaged from the reference viewpoint position as described above. The image data acquired by the image acquisition unit 103 in step S9 is data indicating an image obtained by capturing the inspection target 3 with a reference posture reflecting the movement amount calculated by the movement amount calculation unit 109. Therefore, at least the position of the feature line matches between the image data acquired by the image acquisition unit 103 and the reference image data stored by the reference image storage unit 111.
次に、変形量算出部112は、画像取得部103から入力した画像データと基準画像記憶部111が記憶する基準画像データとの間における特徴部以外の部分の変形量を算出する(ステップS11)。例えば、変形量算出部112は、テンプレートマッチング法などを用いることで、変形量を算出すると良い。 Next, the deformation amount calculation unit 112 calculates the deformation amount of a portion other than the feature portion between the image data input from the image acquisition unit 103 and the reference image data stored in the reference image storage unit 111 (step S11). . For example, the deformation amount calculation unit 112 may calculate the deformation amount by using a template matching method or the like.
図5は、タービンブレードの変形の例を示す図である。
検査対象3がタービンブレードである場合、タービンブレードは、ガスタービンでの運用により羽根部分が変形することが多い。例えば、図5に示す例では、基準画像データと画像取得部103が取得した画像データとを比較すると、特徴線が含まれるプラットホーム部分は一致するが、特徴部以外の部分である羽根部分に変形が生じていることが分かる。
そこで、変形量算出部112は、画像取得部103が取得した画像データの特徴線以外の部分と基準画像データの特徴線以外の部分とをテンプレートマッチング処理し、変形量である平行移動距離及び回転角を算出する。
FIG. 5 is a diagram illustrating an example of deformation of the turbine blade.
When the inspection object 3 is a turbine blade, the blade portion of the turbine blade is often deformed by operation in a gas turbine. For example, in the example illustrated in FIG. 5, when the reference image data and the image data acquired by the image acquisition unit 103 are compared, the platform portion including the feature line matches, but is transformed into a blade portion that is a portion other than the feature portion. It can be seen that
Therefore, the deformation amount calculation unit 112 performs template matching processing on a portion other than the feature line of the image data acquired by the image acquisition unit 103 and a portion other than the feature line of the reference image data, and performs the parallel movement distance and rotation as the deformation amount. Calculate the corner.
次に、反映部110は、変形量算出部112が算出した変形量を、制御情報記憶部101が記憶する姿勢制御情報のうち、撮像装置1が検査対象3の特徴線以外の部分を撮像する際の姿勢の識別情報に関連付けられた姿勢制御情報に当該変形量を反映させる(ステップS12)。 Next, the reflection unit 110 captures the deformation amount calculated by the deformation amount calculation unit 112 in the posture control information stored in the control information storage unit 101, and the imaging device 1 images a portion other than the feature line of the inspection target 3. The deformation amount is reflected in the posture control information associated with the identification information of the posture at the time (step S12).
このように、本実施形態によれば、特徴線抽出部105は、撮像装置1が所定の姿勢で検査対象3を撮像した画像データから検査対象3の特徴線を抽出する。次に、移動量算出部109は、当該特徴線の位置と基準特徴線の位置とに基づいて、現在の視点位置から基準視点位置までの移動量を算出する。そして、反映部110は、当該移動量を姿勢制御情報に反映させる。これにより、姿勢制御部102が反映後の姿勢制御情報を用いて撮像装置1の姿勢を制御することで、検査対象3と撮像装置1との相対的な位置関係である視点位置が基準視点位置と同じになるように、撮像装置1の姿勢を制御することができる。 Thus, according to the present embodiment, the feature line extraction unit 105 extracts the feature line of the inspection target 3 from the image data obtained by capturing the inspection target 3 with the imaging device 1 in a predetermined posture. Next, the movement amount calculation unit 109 calculates a movement amount from the current viewpoint position to the reference viewpoint position based on the position of the feature line and the position of the reference feature line. Then, the reflection unit 110 reflects the movement amount in the posture control information. As a result, the posture control unit 102 controls the posture of the imaging device 1 using the posture control information after reflection, so that the viewpoint position that is the relative positional relationship between the inspection target 3 and the imaging device 1 is the reference viewpoint position. The posture of the imaging device 1 can be controlled so as to be the same.
また、本実施形態によれば、変形量算出部112は、特徴線の位置を一致させた後の画像データと、検査対象3と同じ型の基準となる物体との間の変形量を算出する。そして、反映部110は、当該移動量を姿勢制御情報のうち、特徴線以外の部分を撮像する姿勢を示す姿勢制御情報に反映させる。これにより、姿勢制御部102が反映後の姿勢制御情報を用いて撮像装置1の姿勢を制御することで、変形部分を撮像する際の検査対象3と撮像装置1との相対的な位置関係である視点位置が基準視点位置と同じになるように、撮像装置1の姿勢を制御することができる。 Further, according to the present embodiment, the deformation amount calculation unit 112 calculates the deformation amount between the image data after matching the positions of the feature lines and the reference object of the same type as the inspection target 3. . Then, the reflecting unit 110 reflects the movement amount in the posture control information indicating the posture in which the portion other than the feature line is imaged in the posture control information. As a result, the posture control unit 102 controls the posture of the imaging device 1 using the posture control information after reflection, so that the relative positional relationship between the inspection target 3 and the imaging device 1 when the deformed portion is imaged. The posture of the imaging apparatus 1 can be controlled so that a certain viewpoint position is the same as the reference viewpoint position.
《第2の実施形態》
以下、図面を参照しながら本発明の第2の実施形態について詳しく説明する。
図6は、第2の実施形態による姿勢制御装置2の構成を示す概略ブロック図である。
本発明の第2の実施形態による姿勢制御装置2は、第1の実施形態による姿勢制御装置2の3次元データ記憶部104、視点特定部107、移動量算出部109、及び変形量算出部112の代わりに、記憶しているデータ及び動作が異なる3次元データ記憶部201、視点特定部202、移動量算出部203、及び変形量算出部204を備える。また、本発明の第2の実施形態による姿勢制御装置2は、第1の実施形態による姿勢制御装置2の基準特徴線記憶部108及び基準画像記憶部111を備えず、代わりに基準視点位置記憶部205を備える。また、本発明の第2の実施形態による姿勢制御装置2は、第1の実施形態による姿勢制御装置2が備える3次元データ生成部113を備えない。
なお、第2の実施形態において、第1の実施形態と同様の構成要素については、同一の符号を付して詳細な説明を省略する。
<< Second Embodiment >>
Hereinafter, a second embodiment of the present invention will be described in detail with reference to the drawings.
FIG. 6 is a schematic block diagram showing the configuration of the attitude control device 2 according to the second embodiment.
The posture control device 2 according to the second embodiment of the present invention includes a three-dimensional data storage unit 104, a viewpoint specifying unit 107, a movement amount calculation unit 109, and a deformation amount calculation unit 112 of the posture control device 2 according to the first embodiment. Instead of this, a three-dimensional data storage unit 201, a viewpoint specifying unit 202, a movement amount calculation unit 203, and a deformation amount calculation unit 204 having different stored data and operations are provided. Further, the posture control device 2 according to the second embodiment of the present invention does not include the reference feature line storage unit 108 and the reference image storage unit 111 of the posture control device 2 according to the first embodiment, and instead stores the reference viewpoint position storage. The unit 205 is provided. Further, the posture control device 2 according to the second embodiment of the present invention does not include the three-dimensional data generation unit 113 provided in the posture control device 2 according to the first embodiment.
Note that in the second embodiment, the same components as those in the first embodiment are denoted by the same reference numerals, and detailed description thereof is omitted.
3次元データ記憶部201は、検査対象3の外観を表す3次元モデルを示す、3次元データを記憶する。
視点特定部202は、3次元データ記憶部201から3次元データを読み出し、当該3次元データが示す3次元モデルを透視投影したときに、3次元モデルの特徴線の位置と特徴線抽出部105が抽出した特徴線の位置とが一致するような視点位置を特定する。
基準視点位置記憶部205は、基準視点位置を記憶する。
移動量算出部203は、視点特定部202が特定した視点位置から基準視点位置記憶部205が記憶する基準視点位置までの移動量を算出する。
The three-dimensional data storage unit 201 stores three-dimensional data indicating a three-dimensional model representing the appearance of the inspection target 3.
When the viewpoint specifying unit 202 reads out the three-dimensional data from the three-dimensional data storage unit 201 and perspectively projects the three-dimensional model indicated by the three-dimensional data, the position of the feature line of the three-dimensional model and the feature line extraction unit 105 A viewpoint position that matches the position of the extracted feature line is specified.
The reference viewpoint position storage unit 205 stores the reference viewpoint position.
The movement amount calculation unit 203 calculates the movement amount from the viewpoint position specified by the viewpoint specification unit 202 to the reference viewpoint position stored in the reference viewpoint position storage unit 205.
変形量算出部204は、基準視点位置記憶部205が記憶する基準視点位置を用いて3次元データ記憶部201が記憶する3次元データが示す3次元モデルをレンダリングする。また、変形量算出部204は、レンダリングにより得られた画像データ(基準画像データ)と、反映部110によって移動量が反映された姿勢制御情報に基づいて姿勢制御部102が制御した姿勢で、撮像装置1が撮像した画像データ(補正後画像データ)との間における特徴部以外の部分の変形量を算出する。 The deformation amount calculation unit 204 renders the three-dimensional model indicated by the three-dimensional data stored in the three-dimensional data storage unit 201 using the reference viewpoint position stored in the reference viewpoint position storage unit 205. In addition, the deformation amount calculation unit 204 captures images with the posture controlled by the posture control unit 102 based on the image data (reference image data) obtained by rendering and the posture control information in which the movement amount is reflected by the reflection unit 110. A deformation amount of a portion other than the feature portion between the image data (corrected image data) captured by the apparatus 1 is calculated.
このように、本実施形態によれば、異なる視点位置から検査対象3の全体を撮像した画像データを用いて生成した3次元データではなく、検査対象3の外観を示す3次元モデルを示す3次元データを用いて、姿勢の制御を行うことができる。 As described above, according to the present embodiment, the three-dimensional model indicating the appearance of the inspection object 3 is used instead of the three-dimensional data generated using the image data obtained by imaging the entire inspection object 3 from different viewpoint positions. The posture can be controlled using the data.
《第3の実施形態》
以下、図面を参照しながら本発明の第3の実施形態について詳しく説明する。
図7は、第3の実施形態による姿勢制御装置2の構成を示す概略ブロック図である。
本発明の第3の実施形態による姿勢制御装置2は、第1の実施形態による姿勢制御装置2の制御情報記憶部101の代わりに、記憶しているデータが異なる制御情報記憶部301を備える。また、本発明の第2の実施形態による姿勢制御装置2は、第1の実施形態による姿勢制御装置2に加え、更に光量補正部302を備える。
なお、第3の実施形態において、第1の実施形態と同様の構成要素については、同一の符号を付して詳細な説明を省略する。
<< Third Embodiment >>
Hereinafter, the third embodiment of the present invention will be described in detail with reference to the drawings.
FIG. 7 is a schematic block diagram showing the configuration of the attitude control device 2 according to the third embodiment.
The attitude control device 2 according to the third embodiment of the present invention includes a control information storage unit 301 having different stored data instead of the control information storage unit 101 of the attitude control device 2 according to the first embodiment. Moreover, the attitude control device 2 according to the second embodiment of the present invention further includes a light amount correction unit 302 in addition to the attitude control device 2 according to the first embodiment.
Note that in the third embodiment, identical symbols are assigned to components similar to those in the first embodiment and detailed description thereof is omitted.
制御情報記憶部301は、検査対象3を撮像する際の撮像装置1の姿勢を示す識別情報に関連付けて、当該姿勢を制御する姿勢制御情報と、当該姿勢で撮像する際に撮像装置1に入射させる光量を制御する光量制御情報とを記憶する。なお、光量制御情報は、照明の光量、絞り、シャッター速度などの情報を示す。
光量補正部302は、制御情報記憶部101が記憶する姿勢で、撮像装置1が撮像した画像データの所定の領域の平均明度が予め定められた基準明度になるように、姿勢の識別情報に関連付けられた光量制御情報を補正する。例えば検査対象3がタービンブレードである場合、羽根部分の中央付近を撮像し、欠陥部分が明瞭に画像データに現れるように光量を制御したときの画像データの中央付近の領域の明度値の平均を、基準明度とすると良い。
The control information storage unit 301 is associated with identification information indicating the attitude of the imaging apparatus 1 when imaging the inspection object 3 and is incident on the imaging apparatus 1 when imaging with the attitude and the attitude control information for controlling the attitude. Light quantity control information for controlling the quantity of light to be stored is stored. The light amount control information indicates information such as the light amount of illumination, the aperture, and the shutter speed.
The light amount correction unit 302 is associated with the posture identification information so that the average lightness of a predetermined region of the image data captured by the imaging device 1 becomes a predetermined reference lightness in the posture stored in the control information storage unit 101. The received light amount control information is corrected. For example, when the inspection target 3 is a turbine blade, an image of the vicinity of the center of the blade portion is imaged, and the average brightness value of the region near the center of the image data when the amount of light is controlled so that the defective portion clearly appears in the image data is calculated. The reference brightness should be used.
以下に、本実施形態による姿勢制御装置2の動作を説明する。
図8は、第3の実施形態による姿勢制御装置2の動作を示すフローチャートである。
なお、上記ステップS1〜ステップS12の動作は、第1の実施形態と同じであるため、ここでは説明を省略する。
上記ステップS12によって反映部110が姿勢制御情報に当該変形量を反映させると、姿勢制御部102は、制御情報記憶部301からある識別情報に関連付けられた姿勢制御情報及び光量制御情報を読み出し、当該姿勢制御情報に基づいて撮像装置1の姿勢を基準姿勢に制御する(ステップS13)。撮像装置1は当該姿勢で検査対象3を撮像する。
次に、画像取得部103は、撮像装置1から撮像装置1が撮像した画像データを取得する(ステップS14)。
Below, operation | movement of the attitude | position control apparatus 2 by this embodiment is demonstrated.
FIG. 8 is a flowchart showing the operation of the attitude control device 2 according to the third embodiment.
In addition, since the operation | movement of the said step S1-step S12 is the same as 1st Embodiment, description is abbreviate | omitted here.
When the reflecting unit 110 reflects the deformation amount in the posture control information in step S12, the posture control unit 102 reads the posture control information and the light amount control information associated with the identification information from the control information storage unit 301, and Based on the posture control information, the posture of the imaging device 1 is controlled to the reference posture (step S13). The imaging device 1 images the inspection object 3 with the posture.
Next, the image acquisition unit 103 acquires image data captured by the imaging device 1 from the imaging device 1 (step S14).
次に、光量補正部302は、画像取得部103が取得した画像データの中央付近の領域の明度値の平均を算出する(ステップS15)。そして、光量補正部302は、当該明度値の平均と基準明度との差が所定の閾値以内であるか否かを判定する(ステップS16)。
光量補正部302は、明度の差が所定の閾値以内でないと判定した場合(ステップS16:NO)、画像データの明度値の平均と基準明度との差異が小さくなるように補正する補正情報を生成する(ステップS17)。すなわち、明度値の平均が低い場合には、より多くの光量を撮像装置1に取り入れられるよう、照明の光量を増加させ、絞りの開口を大きくし、またはシャッター速度を遅くすることを示す補正情報を生成する。他方、明度値の平均が高い場合には、撮像装置1に取り入れられる光量を減らすよう、照明の光量を減少させ、絞りの開口を小さくし、またはシャッター速度を速くすることを示す補正情報を生成する。
Next, the light quantity correction unit 302 calculates the average brightness value of the area near the center of the image data acquired by the image acquisition unit 103 (step S15). Then, the light quantity correction unit 302 determines whether or not the difference between the average brightness value and the reference brightness is within a predetermined threshold (step S16).
If the light amount correction unit 302 determines that the difference in brightness is not within a predetermined threshold (step S16: NO), it generates correction information for correcting the difference between the average brightness value of the image data and the reference brightness. (Step S17). That is, when the average brightness value is low, correction information indicating that the amount of illumination light is increased, the aperture of the diaphragm is increased, or the shutter speed is decreased so that a larger amount of light can be taken into the imaging apparatus 1. Is generated. On the other hand, when the average brightness value is high, correction information is generated to indicate that the amount of illumination light is reduced, the aperture of the diaphragm is reduced, or the shutter speed is increased so as to reduce the amount of light taken into the imaging apparatus 1. To do.
そして、光量補正部302は、生成した補正情報を、姿勢制御部102が読み出した姿勢制御情報と同じ識別情報に関連付けられた光量制御情報に反映させる(ステップS18)。
次に、姿勢制御部102は、制御情報記憶部301から、ステップS13で読み出した姿勢制御情報と同じ識別情報に関連付けられた光量制御情報を読み出し、当該光量制御情報を用いて撮像装置1を制御する(ステップS19)。撮像装置1が、補正された光量制御情報が示す条件で検査対象3を撮像すると、ステップS14に戻り、明度の調整処理を行う。
Then, the light amount correction unit 302 reflects the generated correction information in the light amount control information associated with the same identification information as the posture control information read out by the posture control unit 102 (step S18).
Next, the posture control unit 102 reads light amount control information associated with the same identification information as the posture control information read in step S13 from the control information storage unit 301, and controls the imaging device 1 using the light amount control information. (Step S19). When the imaging apparatus 1 images the inspection object 3 under the conditions indicated by the corrected light amount control information, the process returns to step S14, and brightness adjustment processing is performed.
他方、ステップS16で、光量補正部302が、明度の差が所定の閾値以内であると判定した場合(ステップS16:YES)、姿勢制御部102は、制御情報記憶部301が記憶する全ての姿勢に対して光量制御情報が補正されたか否かを判定する(ステップS20)。補正されていない光量制御情報があると判定した場合(ステップS20:NO)、ステップS13に戻り、まだ読み出していない姿勢制御情報に基づいて撮像装置1を制御する。他方、全ての光量制御情報が補正されていると判定した場合(ステップS20:YES)、処理を終了する。
これにより、本実施形態による姿勢制御装置2は、姿勢制御部102が反映後の光量制御情報を用いて撮像装置1を制御することで、各姿勢で撮像する画像データの明度を一定にすることができる。
On the other hand, when the light amount correction unit 302 determines in step S16 that the difference in brightness is within a predetermined threshold (step S16: YES), the posture control unit 102 stores all postures stored in the control information storage unit 301. It is determined whether or not the light quantity control information has been corrected (step S20). When it is determined that there is light amount control information that has not been corrected (step S20: NO), the process returns to step S13, and the imaging apparatus 1 is controlled based on the posture control information that has not yet been read. On the other hand, when it determines with all the light quantity control information having been correct | amended (step S20: YES), a process is complete | finished.
Accordingly, the posture control device 2 according to the present embodiment controls the imaging device 1 using the light amount control information after the reflection by the posture control unit 102, thereby making the brightness of image data captured in each posture constant. Can do.
《第4の実施形態》
以下、図面を参照しながら本発明の第4の実施形態について詳しく説明する。
図9は、第4の実施形態による姿勢制御装置2の構成を示す概略ブロック図である。
姿勢制御装置2は、制御情報記憶部401(制御情報記憶手段)、姿勢制御部402、画像取得部403(画像取得手段)、基準画像記憶部404(特徴部記憶手段)、特徴点抽出部405(特徴部抽出手段)、移動量算出部406(移動量算出手段)、反映部407(反映手段)を備える。
<< Fourth Embodiment >>
Hereinafter, a fourth embodiment of the present invention will be described in detail with reference to the drawings.
FIG. 9 is a schematic block diagram showing the configuration of the attitude control device 2 according to the fourth embodiment.
The attitude control device 2 includes a control information storage unit 401 (control information storage unit), an attitude control unit 402, an image acquisition unit 403 (image acquisition unit), a reference image storage unit 404 (feature unit storage unit), and a feature point extraction unit 405. (Characteristic part extraction means), a movement amount calculation section 406 (movement amount calculation means), and a reflection section 407 (reflection means).
制御情報記憶部401は、検査対象3を撮像する際の撮像装置1の姿勢を示す識別情報に関連付けて、当該姿勢を制御する姿勢制御情報を記憶する。なお、制御情報記憶部401は、少なくとも検査対象3を特徴付ける部分を示す特徴点(特徴部)を撮像できる姿勢である基準姿勢の姿勢制御情報を、異なる特徴点毎に記憶している。なお、それぞれの特徴点を撮像するための基準姿勢は、撮像部11の視線方向が鉛直方向であり、かつ特徴点から撮像部11までの高さ(カメラ座標系における特長点のz軸方向の値)が等しくなる姿勢を示す。 The control information storage unit 401 stores posture control information for controlling the posture in association with identification information indicating the posture of the imaging device 1 when the inspection target 3 is imaged. Note that the control information storage unit 401 stores posture control information of a reference posture, which is a posture capable of capturing at least a feature point (feature portion) indicating a part characterizing the inspection target 3, for each different feature point. It should be noted that the reference posture for imaging each feature point is such that the line-of-sight direction of the imaging unit 11 is the vertical direction and the height from the feature point to the imaging unit 11 (in the z-axis direction of the feature point in the camera coordinate system). (Value) indicates equal posture.
姿勢制御部402は、制御情報記憶部401が記憶する姿勢制御情報に基づいて撮像装置1の姿勢を制御する。
画像取得部403は、姿勢制御部402が制御した姿勢で撮像装置1が撮像した画像データを取得する。
基準画像記憶部404は、撮像装置1が所定の基準視点位置から撮像した画像データである基準画像データと当該基準画像データに含まれる特徴点の座標とを関連付けた情報を複数記憶する。なお、基準画像記憶部404が記憶する複数の基準画像データは、それぞれ異なる基準視点位置から撮像したものであり、それぞれに異なる特徴点が含まれる。
The posture control unit 402 controls the posture of the imaging apparatus 1 based on the posture control information stored in the control information storage unit 401.
The image acquisition unit 403 acquires image data captured by the imaging apparatus 1 with the attitude controlled by the attitude control unit 402.
The reference image storage unit 404 stores a plurality of pieces of information in which the reference image data that is image data captured by the imaging device 1 from a predetermined reference viewpoint position and the coordinates of the feature points included in the reference image data are associated with each other. The plurality of reference image data stored in the reference image storage unit 404 is captured from different reference viewpoint positions, and includes different feature points.
図10は、特徴点抽出部405による特徴点の抽出方法を示す図である。
特徴点抽出部405は、画像取得部403が取得した画像データから検査対象3の特徴点を抽出する。
ここで、特徴点抽出部405による特徴点の抽出方法を説明する。
例えば、図10(A)に示すように、検査対象3の設置位置が所定の位置からずれて設置されると、画像取得部103は、図10(C)に示すような画像データを取得する。他方、基準画像データは、図10(B)に示すような画像であり、基準画像記憶部404には、当該基準画像データに関連付けて特徴点の座標が記憶されている。ここで、特徴点抽出部405は、図10(D)に示すように、画像取得部403が取得した画像データと基準画像記憶部111が記憶する基準画像データとをテンプレートマッチング処理し、基準画像データの特徴点に対応する座標を、画像取得部403が取得した画像データの座標として抽出する。
FIG. 10 is a diagram illustrating a feature point extraction method by the feature point extraction unit 405.
The feature point extraction unit 405 extracts feature points of the inspection target 3 from the image data acquired by the image acquisition unit 403.
Here, a feature point extraction method by the feature point extraction unit 405 will be described.
For example, as illustrated in FIG. 10A, when the installation position of the inspection target 3 is shifted from a predetermined position, the image acquisition unit 103 acquires image data as illustrated in FIG. . On the other hand, the reference image data is an image as shown in FIG. 10B, and the reference image storage unit 404 stores the coordinates of the feature points in association with the reference image data. Here, the feature point extraction unit 405 performs template matching processing on the image data acquired by the image acquisition unit 403 and the reference image data stored in the reference image storage unit 111, as shown in FIG. The coordinates corresponding to the feature points of the data are extracted as the coordinates of the image data acquired by the image acquisition unit 403.
移動量算出部406は、特徴点抽出部405が抽出した特徴点の座標と基準画像記憶部111が記憶する特徴点の座標とを用いて、撮像装置1の視点位置から基準視点位置までの移動量を算出する。
反映部407は、移動量算出部406が算出した移動量を制御情報記憶部401が記憶する姿勢制御情報に反映させる。
The movement amount calculation unit 406 uses the feature point coordinates extracted by the feature point extraction unit 405 and the feature point coordinates stored in the reference image storage unit 111 to move from the viewpoint position of the imaging apparatus 1 to the reference viewpoint position. Calculate the amount.
The reflection unit 407 reflects the movement amount calculated by the movement amount calculation unit 406 in the posture control information stored in the control information storage unit 401.
上記構成を備えることで、姿勢制御装置2は、以下に示す動作を行う。
画像取得部403は、撮像装置1が所定の姿勢で撮像した画像データを取得する。移動量算出部406は、基準画像記憶部404が記憶する特徴点の位置と画像取得部403が取得した画像データの特徴点の位置とを用いて、撮像装置1の視点位置から基準視点位置までの移動量を算出する。反映部407は、移動量算出部406が算出した移動量を制御情報記憶部401が記憶する姿勢制御情報に反映させる。
これにより、姿勢制御装置2は、当該姿勢制御情報を用いて撮像装置1を制御することで、撮像装置1の視点位置が基準視点位置と同じになるように撮像装置1の姿勢を制御することができる。
With the above configuration, the attitude control device 2 performs the following operation.
The image acquisition unit 403 acquires image data captured by the imaging apparatus 1 in a predetermined posture. The movement amount calculation unit 406 uses the position of the feature point stored in the reference image storage unit 404 and the position of the feature point of the image data acquired by the image acquisition unit 403 from the viewpoint position of the imaging apparatus 1 to the reference viewpoint position. Is calculated. The reflection unit 407 reflects the movement amount calculated by the movement amount calculation unit 406 in the posture control information stored in the control information storage unit 401.
Accordingly, the posture control device 2 controls the posture of the imaging device 1 so that the viewpoint position of the imaging device 1 is the same as the reference viewpoint position by controlling the imaging device 1 using the posture control information. Can do.
次に、本実施形態による姿勢制御装置2の動作を説明する。
図11は、第4の実施形態による姿勢制御装置2の動作を示すフローチャートである。
まず、姿勢制御部402は、制御情報記憶部401から基準姿勢の姿勢制御情報を1つ読み出し、当該姿勢制御情報に基づいて撮像装置1の姿勢を基準姿勢に制御する(ステップS21)。これにより、撮像装置1は、基準姿勢で検査対象3を撮像する。
次に、画像取得部403は、撮像装置1から撮像装置1が撮像した画像データを取得する(ステップS22)。次に、特徴点抽出部405は、画像取得部403が取得した画像データから特徴点を抽出する(ステップS23)。
Next, the operation of the attitude control device 2 according to the present embodiment will be described.
FIG. 11 is a flowchart showing the operation of the attitude control device 2 according to the fourth embodiment.
First, the posture control unit 402 reads one piece of posture control information of the reference posture from the control information storage unit 401, and controls the posture of the imaging device 1 to the reference posture based on the posture control information (step S21). Thereby, the imaging device 1 images the inspection object 3 in the reference posture.
Next, the image acquisition unit 403 acquires image data captured by the imaging device 1 from the imaging device 1 (step S22). Next, the feature point extraction unit 405 extracts feature points from the image data acquired by the image acquisition unit 403 (step S23).
次に、姿勢制御部402は、制御情報記憶部101が記憶する全ての基準姿勢で撮像装置1を制御したか否かを判定する(ステップS24)。姿勢制御部402は、撮像装置1の制御に用いていない基準姿勢があると判定した場合(ステップS24:NO)、ステップS21に戻り、別の基準姿勢の姿勢制御情報で撮像装置1を制御する。
他方、姿勢制御部402が、制御情報記憶部101が記憶する全ての基準姿勢で撮像装置1を制御したと判定した場合(ステップS24:YES)、移動量算出部406は、特徴点抽出部が抽出したそれぞれの基準姿勢における特徴点の座標と、基準画像記憶部111が記憶する特徴点の座標とを、それぞれ撮像部11のカメラ座標系の座標に変換する(ステップS25)。ここで、カメラ座標系とは、実空間における撮像部11の位置と姿勢を示す直交する座標軸で表される座標系のことを示す。
Next, the posture control unit 402 determines whether or not the imaging apparatus 1 has been controlled with all the reference postures stored in the control information storage unit 101 (step S24). If the posture control unit 402 determines that there is a reference posture that is not used for control of the imaging device 1 (step S24: NO), the posture control unit 402 returns to step S21 and controls the imaging device 1 with posture control information of another reference posture. .
On the other hand, when the posture control unit 402 determines that the imaging apparatus 1 has been controlled with all the reference postures stored in the control information storage unit 101 (step S24: YES), the movement amount calculation unit 406 includes the feature point extraction unit. The extracted coordinate of the feature point in each reference posture and the coordinate of the feature point stored in the reference image storage unit 111 are each converted into the coordinates of the camera coordinate system of the imaging unit 11 (step S25). Here, the camera coordinate system indicates a coordinate system represented by orthogonal coordinate axes indicating the position and orientation of the imaging unit 11 in real space.
以下に、具体的な座標の変換方法を説明する。
一般に、カメラ座標系の座標(x,y,z)と画像座標(X,Y)の関係は、式(1)に示すとおりである。
Hereinafter, a specific coordinate conversion method will be described.
In general, the relationship between the coordinates (x, y, z) of the camera coordinate system and the image coordinates (X, Y) is as shown in Expression (1).
なお、fは、撮像部11の焦点距離を撮像素子のサイズで除算した値であり、撮像部11の設計によって決まる定数である。また、Cxは、画像データの中心のX座標である。また、Cyは、画像データの中心のY座標である。
本実施例では、カメラ座標系において特徴点から撮像部11までの高さはすべて同じhである。したがって、特徴点抽出部405が抽出したそれぞれの基準姿勢における特徴点の座標(Xs,Ys)を実空間における座標(xs、ys)に変換する式は、式(2)に示すとおりである。
Note that f is a value obtained by dividing the focal length of the imaging unit 11 by the size of the imaging device, and is a constant determined by the design of the imaging unit 11. Cx is the X coordinate of the center of the image data. Cy is the Y coordinate of the center of the image data.
In the present embodiment, the height from the feature point to the imaging unit 11 is the same h in the camera coordinate system. Therefore, an expression for converting the coordinates (X s , Y s ) of the feature points in the respective reference postures extracted by the feature point extraction unit 405 into the coordinates (x s , y s ) in the real space is shown in Expression (2). It is as follows.
但し、xc、ycは、制御情報記憶部401が記憶する姿勢制御情報が示す実空間における撮像部11のx座標の値及びy座標の値である。
同様に、基準画像記憶部404が記憶する特徴点の座標(Xe,Ye)を実空間における座標(xe、ye)に変換する式は、式(3)に示すとおりとなる。
However, x c and y c are the value of the x coordinate and the value of the y coordinate of the imaging unit 11 in the real space indicated by the attitude control information stored in the control information storage unit 401.
Similarly, an equation for converting the coordinates (X e , Y e ) of the feature points stored in the reference image storage unit 404 into the coordinates (x e , y e ) in the real space is as shown in equation (3).
移動量算出部406は、特徴点の座標を画像座標系からカメラ座標系に変換すると、変換したそれぞれの座標の情報を用いて、基準姿勢における撮像装置1の視点位置から基準視点位置までの移動量を算出する(ステップS26)。
具体的には、移動量算出部406は、以下に示す式(4)を用い、最小二乗法によって移動量の算出を行う。
When the coordinate of the feature point is converted from the image coordinate system to the camera coordinate system, the movement amount calculation unit 406 moves from the viewpoint position of the imaging apparatus 1 in the reference posture to the reference viewpoint position by using the converted coordinate information. The amount is calculated (step S26).
Specifically, the movement amount calculation unit 406 calculates the movement amount by the least square method using Expression (4) shown below.
但し、xsnは、特徴点抽出部405が抽出したn番目の基準姿勢における特徴点のx座標を実空間における座標に変換した座標を示す。また、ysnは、特徴点抽出部405が抽出したn番目の基準姿勢における特徴点のy座標を実空間における座標に変換した座標を示す。また、xenは、基準画像記憶部404が記憶するn番目の基準画像データに関連付けられた特徴点のx座標を実空間における座標に変換した座標を示す。また、yenは、基準画像記憶部404が記憶するn番目の基準画像データに関連付けられた特徴点のy座標を実空間における座標に変換した座標を示す。
また、dxは、実空間における座標撮像装置1のx軸方向の平行移動量を示す。また、dyは、実空間における座標撮像装置1のy軸方向の平行移動量を示す。また、a、bは、撮像装置1の拡大率及び回転角を示すパラメータであり、下記式(5)を満たす。
なお、式(4)の行列の右上の添え字「+」は、当該行列の擬似逆行列を示す。
Here, x sn represents the coordinate obtained by converting the x coordinate of the feature point in the nth reference posture extracted by the feature point extraction unit 405 into the coordinate in the real space. Further, y sn represents a coordinate obtained by converting the y coordinate of the feature point in the nth reference posture extracted by the feature point extraction unit 405 into a coordinate in the real space. Further, x en shows coordinates in which the reference image storage unit 404 converts the n-th x-coordinate of feature points associated with the reference image data stored in the coordinate in the real space. Further, y en indicates a coordinate obtained by converting the y coordinate of the feature point associated with the nth reference image data stored in the reference image storage unit 404 into a coordinate in the real space.
Dx represents the amount of parallel movement of the coordinate imaging apparatus 1 in the real space in the x-axis direction. Further, dy indicates the amount of parallel movement of the coordinate imaging apparatus 1 in the real space in the y-axis direction. Further, a and b are parameters indicating the enlargement ratio and the rotation angle of the imaging apparatus 1 and satisfy the following formula (5).
The subscript “+” at the upper right of the matrix in Expression (4) indicates a pseudo inverse matrix of the matrix.
なお、kは撮像装置1の拡大率を示し、θは撮像装置1の回転角を示す。
これにより、移動量算出部406は、ステップS26で、基準姿勢における撮像装置1の視点位置から基準視点位置までの移動量(dx、dy、k、θ)を算出する。
そして、反映部407は、移動量算出部406が算出した移動量を制御情報記憶部401が記憶する姿勢制御情報に反映させる(ステップS27)。
Note that k represents an enlargement factor of the imaging apparatus 1, and θ represents a rotation angle of the imaging apparatus 1.
Thereby, the movement amount calculation unit 406 calculates the movement amount (dx, dy, k, θ) from the viewpoint position of the imaging device 1 to the reference viewpoint position in the reference posture in step S26.
The reflection unit 407 reflects the movement amount calculated by the movement amount calculation unit 406 in the posture control information stored in the control information storage unit 401 (step S27).
以降、姿勢制御装置2の姿勢制御部402は、制御情報記憶部401が記憶する姿勢制御情報を用いて撮像装置1の姿勢を制御し、その位置で撮像処理を行う。このとき、撮像装置1の姿勢が変わることで、移動量を反映させた後であっても位置ずれが生じる可能性がある。その場合は、上記ステップS21〜ステップS27と同様の処理を行い、当該ずれの量が小さくなるように姿勢を補正することが望ましい。 Thereafter, the posture control unit 402 of the posture control device 2 controls the posture of the imaging device 1 using the posture control information stored in the control information storage unit 401, and performs imaging processing at that position. At this time, the posture of the imaging apparatus 1 changes, and thus there is a possibility that a positional deviation occurs even after the movement amount is reflected. In that case, it is desirable to perform the same process as in steps S21 to S27, and correct the posture so that the amount of the shift is small.
このように、本実施形態によれば、特徴点抽出部405は、撮像装置1が所定の姿勢で検査対象3を撮像した画像データから検査対象3の特徴点を抽出する。次に、移動量算出部406は、当該特徴点の位置と基準特徴点の位置とに基づいて、現在の視点位置から基準視点位置までの移動量を算出する。そして、反映部407は、当該移動量を姿勢制御情報に反映させる。これにより、姿勢制御部402が反映後の姿勢制御情報を用いて撮像装置1の姿勢を制御することで、検査対象3と撮像装置1との相対的な位置関係である視点位置が基準視点位置と同じになるように、撮像装置1の姿勢を制御することができる。 As described above, according to the present embodiment, the feature point extraction unit 405 extracts the feature points of the inspection target 3 from the image data obtained by imaging the inspection target 3 with the imaging apparatus 1 in a predetermined posture. Next, the movement amount calculation unit 406 calculates a movement amount from the current viewpoint position to the reference viewpoint position based on the position of the feature point and the position of the reference feature point. Then, the reflection unit 407 reflects the movement amount in the posture control information. As a result, the posture control unit 402 controls the posture of the imaging apparatus 1 using the posture control information after reflection, so that the viewpoint position that is the relative positional relationship between the inspection target 3 and the imaging device 1 is the reference viewpoint position. The posture of the imaging device 1 can be controlled so as to be the same.
《第5の実施形態》
以下、図面を参照しながら本発明の第5の実施形態について詳しく説明する。
図12は、第5の実施形態による姿勢制御装置2の構成を示す概略ブロック図である。
本発明の第5の実施形態による姿勢制御装置2は、第4の実施形態による姿勢制御装置2の制御情報記憶部401及び基準画像記憶部404の代わりに、記憶しているデータが異なる制御情報記憶部501及び基準画像記憶部502を備える。
なお、第5の実施形態において、第4の実施形態と同様の構成要素については、同一の符号を付して詳細な説明を省略する。
<< Fifth Embodiment >>
Hereinafter, a fifth embodiment of the present invention will be described in detail with reference to the drawings.
FIG. 12 is a schematic block diagram showing the configuration of the attitude control device 2 according to the fifth embodiment.
The posture control device 2 according to the fifth embodiment of the present invention is different from the control information storage unit 401 and the reference image storage unit 404 of the posture control device 2 according to the fourth embodiment in that the stored data is different. A storage unit 501 and a reference image storage unit 502 are provided.
Note that in the fifth embodiment, identical symbols are assigned to components similar to those in the fourth embodiment and detailed description thereof is omitted.
制御情報記憶部501は、検査対象3を撮像する際の撮像装置1の姿勢を示す識別情報に関連付けて、当該姿勢を制御する姿勢制御情報を記憶する。なお、制御情報記憶部501は、少なくとも検査対象3を特徴付ける部分を示す特徴点を撮像できる姿勢である基準姿勢の姿勢制御情報を異なる特徴点毎に、撮像面を示す撮像面情報(始点位置情報)に関連付けて記憶している。 The control information storage unit 501 stores posture control information for controlling the posture in association with identification information indicating the posture of the imaging device 1 when the inspection target 3 is imaged. Note that the control information storage unit 501 captures image plane information (start point position information) indicating an image plane for each feature point, with respect to posture control information of a reference posture, which is a posture capable of capturing at least a feature point indicating a part characterizing the inspection object 3. ) And remember it.
図13は、第5の実施形態による制御情報記憶部501が記憶する基準姿勢を示す図である。
制御情報記憶部501は、図13(A)に示すように撮像装置1の視線方向が鉛直方向(z軸方向)であり、かつ撮像装置1のz軸方向の値が等しい姿勢を示す姿勢制御情報を、「xy面」を示す撮像面情報に関連付けて記憶する。また、制御情報記憶部501は、図13(B)に示すように撮像装置1の視線方向がz軸方向に直交する方向(x軸方向)であり、かつ撮像装置1のx軸方向の値が等しい姿勢を示す姿勢制御情報を、「yz面」を示す撮像面情報に関連付けて記憶する。また、制御情報記憶部501は、図13(C)に示すように撮像装置1の視線方向がz軸方向及びx軸方向に直交する方向(y軸方向)であり、かつ撮像装置1のy軸方向の値が等しい姿勢を示す姿勢制御情報を、「xz面」を示す撮像面情報に関連付けて記憶する。
FIG. 13 is a diagram illustrating the reference posture stored in the control information storage unit 501 according to the fifth embodiment.
As shown in FIG. 13A, the control information storage unit 501 is a posture control that indicates a posture in which the line-of-sight direction of the imaging device 1 is the vertical direction (z-axis direction) and the values in the z-axis direction of the imaging device 1 are equal. Information is stored in association with imaging plane information indicating the “xy plane”. Further, the control information storage unit 501 is a direction (x-axis direction) in which the line-of-sight direction of the imaging apparatus 1 is orthogonal to the z-axis direction as illustrated in FIG. Are stored in association with imaging surface information indicating the “yz plane”. In addition, as shown in FIG. 13C, the control information storage unit 501 is configured such that the line-of-sight direction of the imaging device 1 is a direction (y-axis direction) orthogonal to the z-axis direction and the x-axis direction, and Posture control information indicating postures having the same value in the axial direction is stored in association with imaging surface information indicating the “xz plane”.
基準画像記憶部502は、撮像装置1が基準視点位置から撮像した画像データである基準画像データと当該基準画像データに含まれる特徴点の座標とを関連付けた情報を複数記憶する。なお、基準画像記憶部502が記憶する複数の基準画像データは、それぞれ制御情報記憶部501が記憶する基準姿勢に対応する基準視点位置から撮像したものである。 The reference image storage unit 502 stores a plurality of pieces of information in which reference image data, which is image data captured by the imaging apparatus 1 from the reference viewpoint position, and the coordinates of feature points included in the reference image data are associated with each other. The plurality of reference image data stored in the reference image storage unit 502 is captured from the reference viewpoint position corresponding to the reference posture stored in the control information storage unit 501.
そして、移動量算出部406は、基準画像記憶部502が記憶する視点位置情報毎に、基準画像記憶部502が記憶する特徴点の座標と画像取得部403が取得した画像データの特徴量の座標とを用いて、各撮像面毎の移動量を算出する。これにより、本実施形態による姿勢制御装置2は、検査対象3の設置位置が3次元的にずれている場合にも、視点位置が基準視点位置と同じになるように、撮像装置1の姿勢を制御することができる。 Then, the movement amount calculation unit 406, for each viewpoint position information stored in the reference image storage unit 502, the coordinates of the feature points stored in the reference image storage unit 502 and the coordinates of the feature amounts of the image data acquired by the image acquisition unit 403. Are used to calculate the amount of movement for each imaging surface. Thereby, the posture control device 2 according to the present embodiment changes the posture of the imaging device 1 so that the viewpoint position becomes the same as the reference viewpoint position even when the installation position of the inspection object 3 is three-dimensionally shifted. Can be controlled.
《第6の実施形態》
以下、図面を参照しながら本発明の第6の実施形態について詳しく説明する。
図14は、第6の実施形態による姿勢制御装置2の構成を示す概略ブロック図である。
本発明の第6の実施形態による姿勢制御装置2は、第4の実施形態による姿勢制御装置2に、さらに傾斜画像記憶部601(傾斜情報記憶手段)と傾斜情報読出部602(傾斜情報読出手段)を備える。また、第6の実施形態による姿勢制御装置2は、第4の実施形態による姿勢制御装置2の移動量算出部406に代えて、動作が異なる移動量算出部603を備える。
なお、第6の実施形態において、第4の実施形態と同様の構成要素については、同一の符号を付して詳細な説明を省略する。
<< Sixth Embodiment >>
Hereinafter, the sixth embodiment of the present invention will be described in detail with reference to the drawings.
FIG. 14 is a schematic block diagram showing the configuration of the attitude control device 2 according to the sixth embodiment.
The posture control device 2 according to the sixth embodiment of the present invention is further added to the posture control device 2 according to the fourth embodiment in a tilt image storage unit 601 (tilt information storage unit) and a tilt information reading unit 602 (tilt information reading unit). ). Further, the posture control apparatus 2 according to the sixth embodiment includes a movement amount calculation unit 603 having different operations instead of the movement amount calculation unit 406 of the posture control apparatus 2 according to the fourth embodiment.
Note that in the sixth embodiment, identical symbols are assigned to components similar to those in the fourth embodiment and detailed description thereof is omitted.
傾斜画像記憶部601は、基準画像記憶部404が記憶する基準画像データを撮像した基準視点位置から、撮像装置1のx軸及びy軸を基準に傾斜させた検査対象3を撮像装置1が撮像した画像データを、傾斜角に関連付けて記憶する。
傾斜情報読出部602は、画像取得部103が取得した画像データと傾斜画像記憶部601が記憶する画像データとを比較し、最も近似する画像データに関連付けられた傾斜角を読み出す。
移動量算出部603は、特徴点抽出部405が抽出した特徴点の座標と基準画像記憶部111が記憶する特徴点の座標とに加え、さらに傾斜情報読出部602が読み出した傾斜情報を用いて、撮像装置1の視点位置から基準視点位置までの移動量を算出する。
In the tilted image storage unit 601, the imaging device 1 captures the inspection object 3 tilted with reference to the x axis and the y axis of the imaging device 1 from the reference viewpoint position where the reference image data stored in the reference image storage unit 404 is captured. The obtained image data is stored in association with the tilt angle.
The inclination information reading unit 602 compares the image data acquired by the image acquisition unit 103 with the image data stored by the inclination image storage unit 601 and reads the inclination angle associated with the closest image data.
In addition to the feature point coordinates extracted by the feature point extraction unit 405 and the feature point coordinates stored in the reference image storage unit 111, the movement amount calculation unit 603 further uses the inclination information read out by the inclination information reading unit 602. The amount of movement from the viewpoint position of the imaging device 1 to the reference viewpoint position is calculated.
図15は、第6の実施形態の動作を示す図である。
検査対象3の設置位置が図15(A)に示すように仰角方向に傾斜している場合、撮像装置1が撮像した画像データは、図15(B)に示すように反射が不均一となる。そこで、傾斜情報読出部602は、図15(C)に示すような傾斜画像記憶部601が記憶する画像データと、画像取得部103が取得した画像データとを比較する。そして、最も近似する画像データに関連付けられた傾斜角を読み出すことで、検査対象3の仰角方向の傾斜度合いを推定することができる。図15に示す例では、検査対象3はx軸方向周りにθだけ傾斜していることが推定できる。
FIG. 15 is a diagram illustrating the operation of the sixth embodiment.
When the installation position of the inspection object 3 is inclined in the elevation direction as shown in FIG. 15A, the image data picked up by the image pickup apparatus 1 is unevenly reflected as shown in FIG. 15B. . Therefore, the inclination information reading unit 602 compares the image data stored in the inclination image storage unit 601 as shown in FIG. 15C with the image data acquired by the image acquisition unit 103. Then, by reading out the inclination angle associated with the closest image data, the degree of inclination of the inspection object 3 in the elevation angle direction can be estimated. In the example shown in FIG. 15, it can be estimated that the inspection object 3 is inclined by θ around the x-axis direction.
このように、検査対象3の仰角方向の傾斜角を推定し、撮像装置1の視点位置から基準視点位置までの移動量を算出することで、検査対象3の設置位置が3次元的にずれている場合にも、視点位置が基準視点位置と同じになるように、撮像装置1の姿勢を制御することができる。 Thus, by estimating the inclination angle of the inspection object 3 in the elevation direction and calculating the amount of movement from the viewpoint position of the imaging device 1 to the reference viewpoint position, the installation position of the inspection object 3 is shifted in a three-dimensional manner. Even when the image capturing apparatus 1 is, the posture of the imaging device 1 can be controlled so that the viewpoint position is the same as the reference viewpoint position.
以上、図面を参照してこの発明の一実施形態について詳しく説明してきたが、具体的な構成は上述のものに限られることはなく、この発明の要旨を逸脱しない範囲内において様々な設計変更等をすることが可能である。 As described above, the embodiment of the present invention has been described in detail with reference to the drawings. However, the specific configuration is not limited to the above, and various design changes and the like can be made without departing from the scope of the present invention. It is possible to
上述の姿勢制御装置2は内部に、コンピュータシステムを有している。そして、上述した各処理部の動作は、プログラムの形式でコンピュータ読み取り可能な記録媒体に記憶されており、このプログラムをコンピュータが読み出して実行することによって、上記処理が行われる。ここでコンピュータ読み取り可能な記録媒体とは、磁気ディスク、光磁気ディスク、CD−ROM、DVD−ROM、半導体メモリ等をいう。また、このコンピュータプログラムを通信回線によってコンピュータに配信し、この配信を受けたコンピュータが当該プログラムを実行するようにしても良い。 The attitude control device 2 described above has a computer system inside. The operation of each processing unit described above is stored in a computer-readable recording medium in the form of a program, and the above processing is performed by the computer reading and executing this program. Here, the computer-readable recording medium means a magnetic disk, a magneto-optical disk, a CD-ROM, a DVD-ROM, a semiconductor memory, or the like. Alternatively, the computer program may be distributed to the computer via a communication line, and the computer that has received the distribution may execute the program.
また、上記プログラムは、前述した機能の一部を実現するためのものであっても良い。さらに、前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるもの、いわゆる差分ファイル(差分プログラム)であっても良い。 The program may be for realizing a part of the functions described above. Furthermore, what can implement | achieve the function mentioned above in combination with the program already recorded on the computer system, and what is called a difference file (difference program) may be sufficient.
1…撮像装置 2…姿勢制御装置 3…検査対象 11…撮像部 12…アーム 101、301、401、501…制御情報記憶部 102、402…姿勢制御部 103、403…画像取得部 104、201…3次元データ記憶部 105…特徴線抽出部 106…入力部 107、202…視点特定部 108…基準特徴線記憶部 109、203、406、603…移動量算出部 110、407…反映部 111、404、502…基準画像記憶部 112、204…変形量算出部 205…基準視点位置記憶部 302…光量補正部 405…特徴点抽出部 601…傾斜画像記憶部 602…傾斜情報読出部 DESCRIPTION OF SYMBOLS 1 ... Imaging device 2 ... Attitude control device 3 ... Inspection object 11 ... Imaging part 12 ... Arm 101, 301, 401, 501 ... Control information memory | storage part 102, 402 ... Attitude control part 103, 403 ... Image acquisition part 104, 201 ... Three-dimensional data storage unit 105 ... Feature line extraction unit 106 ... Input unit 107, 202 ... View point identification unit 108 ... Reference feature line storage unit 109, 203, 406, 603 ... Movement amount calculation unit 110, 407 ... Reflection unit 111, 404 Reference image storage unit 112, 204 ... Deformation amount calculation unit 205 ... Reference viewpoint position storage unit 302 ... Light amount correction unit 405 ... Feature point extraction unit 601 ... Inclined image storage unit 602 ... Inclination information reading unit
Claims (11)
前記検査対象を撮像する際の前記撮像装置の姿勢を制御する姿勢制御情報を記憶する制御情報記憶手段と、
前記検査対象を特徴付ける部分を示す複数の特徴部同士の位置関係を示す3次元データを記憶する3次元データ記憶手段と、
前記撮像装置が所定の姿勢で前記検査対象を撮像した画像データを取得する画像取得手段と、
前記画像取得手段が取得した画像データから前記検査対象の特徴部を抽出する特徴部抽出手段と、
前記3次元データ記憶手段が記憶する3次元データを透視投影したときに前記3次元データの特徴部の位置と前記特徴部抽出手段が抽出した特徴部の位置とが一致する視点位置を特定する視点特定手段と、
前記視点特定手段が特定した視点位置から予め定められた所定の視点位置である基準視点位置までの移動量を算出する移動量算出手段と、
前記移動量算出手段が算出した移動量を前記制御情報記憶手段が記憶する姿勢制御情報に反映させる反映手段と
を備えることを特徴とする姿勢制御装置。 A posture control device that controls the posture of the imaging device such that a viewpoint position indicating a relative position between the inspection target and an imaging device that images the inspection target is a predetermined viewpoint position;
Control information storage means for storing attitude control information for controlling the attitude of the imaging device when imaging the inspection object;
Three-dimensional data storage means for storing three-dimensional data indicating the positional relationship between a plurality of features that indicate a portion that characterizes the inspection object;
Image acquisition means for acquiring image data obtained by imaging the inspection object in a predetermined posture by the imaging device;
Feature extraction means for extracting the feature to be inspected from the image data acquired by the image acquisition means;
A viewpoint for specifying a viewpoint position where the position of the feature portion of the three-dimensional data coincides with the position of the feature portion extracted by the feature portion extraction means when the three-dimensional data stored in the three-dimensional data storage means is perspective-projected Specific means,
A movement amount calculating means for calculating a movement amount from a viewpoint position specified by the viewpoint specifying means to a reference viewpoint position that is a predetermined viewpoint position determined in advance;
A posture control apparatus comprising: a reflecting unit that reflects the movement amount calculated by the movement amount calculating unit in the posture control information stored in the control information storage unit.
前記反映手段は、前記制御情報記憶手段が記憶する姿勢制御情報の各々に前記移動量算出手段が算出した移動量を反映させる
ことを特徴とする請求項1に記載の姿勢制御装置。 The control information storage means stores posture control information for controlling the posture of the imaging device in association with identification information of a plurality of postures of the imaging device when imaging the inspection object,
The posture control apparatus according to claim 1, wherein the reflection unit reflects the movement amount calculated by the movement amount calculation unit in each piece of posture control information stored in the control information storage unit.
前記基準視点位置で前記検査対象を撮像することで得られる補正後画像データと前記基準記憶手段が記憶する基準画像データとの間における前記特徴部以外の部分の変形量を算出する変形量算出手段と、
を備え、
前記反映手段は、前記撮像装置が前記検査対象の特徴部以外の部分を撮像する際の姿勢の識別情報に関連付けられた姿勢制御情報に、前記変形量算出手段が算出した変形量を反映させる
ことを特徴とする請求項2に記載の姿勢制御装置。 Reference storage means for storing reference image data obtained when an object of the same type as the inspection object and having a reference shape is imaged from the reference viewpoint position;
A deformation amount calculating means for calculating a deformation amount of a portion other than the feature portion between corrected image data obtained by imaging the inspection object at the reference viewpoint position and reference image data stored in the reference storage means. When,
With
The reflecting means reflects the deformation amount calculated by the deformation amount calculating means in posture control information associated with posture identification information when the imaging device images a portion other than the characteristic portion to be inspected. The attitude control device according to claim 2, wherein:
前記制御情報記憶手段が記憶する姿勢で前記撮像装置が撮像した画像データの所定の領域の平均明度が予め定められた基準明度になるように、前記姿勢の識別情報に関連付けられた光量制御情報を補正する光量補正手段と
を備えることを特徴とする請求項2または請求項3に記載の姿勢制御装置。 The control information storage means further stores light amount control information for controlling the amount of light incident on the imaging device when imaging in the posture in association with identification information of a plurality of postures of the imaging device,
The light amount control information associated with the posture identification information is set so that the average brightness of a predetermined area of the image data captured by the imaging device in a posture stored in the control information storage means becomes a predetermined reference lightness. The posture control device according to claim 2, further comprising: a light amount correction unit that corrects the light amount.
前記検査対象を撮像する際の前記撮像装置の姿勢を制御する姿勢制御情報を記憶する制御情報記憶手段と、
検査対象を撮像する撮像装置が予め定められた所定の視点位置である基準視点位置から撮像した画像データに含まれる、前記検査対象を特徴付ける部分を示す複数の特徴部の位置を記憶する特徴部記憶手段と、
前記撮像装置が前記所定の姿勢で撮像した画像データを取得する画像取得手段と、
前記特徴部記憶手段が記憶する特徴部の位置と前記画像取得手段が取得した画像データの特徴部の位置とを用いて、前記撮像装置の視点位置から前記基準視点位置までの移動量を算出する移動量算出手段と、
前記移動量算出手段が算出した移動量を前記制御情報記憶手段が記憶する姿勢制御情報に反映させる反映手段と
を備えることを特徴とする姿勢制御装置。 A posture control device that controls the posture of the imaging device such that a viewpoint position indicating a relative position between the inspection target and an imaging device that images the inspection target is a predetermined viewpoint position;
Control information storage means for storing attitude control information for controlling the attitude of the imaging device when imaging the inspection object;
A feature storage that stores the positions of a plurality of feature portions indicating portions characterizing the inspection target included in image data captured from a reference viewpoint position, which is a predetermined viewpoint position, which is imaged by the imaging device that images the inspection target Means,
Image acquisition means for acquiring image data captured by the imaging device in the predetermined posture;
The amount of movement from the viewpoint position of the imaging device to the reference viewpoint position is calculated using the position of the feature section stored by the feature section storage section and the position of the feature section of the image data acquired by the image acquisition section. A movement amount calculating means;
A posture control apparatus comprising: a reflecting unit that reflects the movement amount calculated by the movement amount calculating unit in the posture control information stored in the control information storage unit.
前記画像取得手段は、前記撮像装置が、前記初期位置記憶手段が記憶する視点位置情報が示すそれぞれの視点位置から撮像した画像データを取得し、
前記移動量算出手段は、前記位置記憶手段が記憶する視点位置情報毎に、前記特徴量の位置と前記画像取得手段が取得した画像データの特徴量の位置とを用いて、前記撮像装置の視点位置から前記視点位置情報が示す視点位置までの移動量を算出する
ことを特徴とする請求項5に記載の姿勢制御装置。 The feature storage means stores the position of the feature in association with viewpoint position information indicating a plurality of viewpoint positions,
The image acquisition unit acquires image data captured by the imaging device from each viewpoint position indicated by the viewpoint position information stored in the initial position storage unit;
The movement amount calculation unit uses the position of the feature amount and the position of the feature amount of the image data acquired by the image acquisition unit for each viewpoint position information stored in the position storage unit, and uses the viewpoint of the imaging device. The posture control apparatus according to claim 5, wherein a movement amount from a position to a viewpoint position indicated by the viewpoint position information is calculated.
前記画像取得手段が取得した画像データと前記傾斜情報記憶手段が記憶する画像データとを比較し、最も近似する画像データに関連付けられた傾斜角を読み出す傾斜情報読出手段と
を備え、
前記移動量作成手段は、前記特徴部記憶手段が記憶する特徴部の位置と前記画像取得手段が取得した画像データの特徴部の位置と、前記傾斜情報読出手段が読み出した傾斜情報とを用いて、前記撮像装置の視点位置から前記視点位置情報が示す視点位置までの移動量を算出する
ことを特徴とする請求項5または請求項6に記載の姿勢制御装置。 Inclination information storage means for storing image data obtained by imaging the inspection object, which is inclined with respect to an axis orthogonal to the optical axis direction of the imaging apparatus, in association with an inclination angle of the inspection object;
Inclination information reading means for comparing the image data acquired by the image acquisition means with the image data stored in the inclination information storage means and reading out the inclination angle associated with the closest image data,
The movement amount creating means uses the position of the characteristic portion stored in the characteristic portion storage means, the position of the characteristic portion of the image data acquired by the image acquisition means, and the inclination information read out by the inclination information reading means. The attitude control device according to claim 5 or 6, wherein a movement amount from a viewpoint position of the imaging device to a viewpoint position indicated by the viewpoint position information is calculated.
前記検査対象を撮像する際の前記撮像装置の姿勢を制御する姿勢制御情報を記憶する制御情報記憶手段と、
前記検査対象を特徴付ける部分を示す複数の特徴部同士の位置関係を示す3次元データを記憶する3次元データ記憶手段と、
を備える姿勢制御装置の制御方法であって、
画像取得手段は、前記撮像装置が所定の姿勢で前記検査対象を撮像した画像データを取得し、
特徴部抽出手段は、前記画像取得手段が取得した画像データから前記検査対象の特徴部を抽出し、
視点特定手段は、前記3次元データ記憶手段が記憶する3次元データを透視投影したときに前記3次元データの特徴部の位置と前記特徴部抽出手段が抽出した特徴部の位置とが一致する視点位置を特定し、
移動量算出手段は、前記視点特定手段が特定した視点位置から予め定められた所定の視点位置である基準視点位置までの移動量を算出し、
反映手段は、前記移動量算出手段が算出した移動量を前記制御情報記憶手段が記憶する姿勢制御情報に反映させる
ことを特徴とする制御方法。 Controlling the attitude of the imaging device so that the viewpoint position indicating the relative position between the inspection target and the imaging device that images the inspection target is a predetermined viewpoint position;
Control information storage means for storing attitude control information for controlling the attitude of the imaging device when imaging the inspection object;
Three-dimensional data storage means for storing three-dimensional data indicating the positional relationship between a plurality of features that indicate a portion that characterizes the inspection object;
A control method for an attitude control device comprising:
The image acquisition means acquires image data obtained by imaging the inspection object in a predetermined posture by the imaging device,
The feature extraction unit extracts the feature to be inspected from the image data acquired by the image acquisition unit,
The viewpoint specifying unit is a viewpoint in which the position of the feature portion of the three-dimensional data coincides with the position of the feature portion extracted by the feature portion extraction unit when the three-dimensional data stored in the three-dimensional data storage unit is perspective-projected. Identify the location,
The movement amount calculating means calculates a movement amount from the viewpoint position specified by the viewpoint specifying means to a reference viewpoint position that is a predetermined viewpoint position determined in advance.
The reflecting means reflects the movement amount calculated by the movement amount calculating means in the attitude control information stored in the control information storage means.
前記検査対象を撮像する際の前記撮像装置の姿勢を制御する姿勢制御情報を記憶する制御情報記憶手段と、
検査対象を撮像する撮像装置が予め定められた所定の視点位置である基準視点位置から撮像した画像データに含まれる、前記検査対象を特徴付ける部分を示す複数の特徴部の位置を記憶する特徴部記憶手段と
を備える姿勢制御装置であって、
画像取得手段は、前記撮像装置が前記所定の姿勢で撮像した画像データを取得し、
移動量算出手段は、前記特徴部記憶手段が記憶する特徴部の位置と前記画像取得手段が取得した画像データの特徴部の位置とを用いて、前記撮像装置の視点位置から前記基準視点位置までの移動量を算出し、
反映手段は、前記移動量算出手段が算出した移動量を前記制御情報記憶手段が記憶する姿勢制御情報に反映させる
ことを特徴とする制御方法。 Controlling the attitude of the imaging device so that the viewpoint position indicating the relative position between the inspection target and the imaging device that images the inspection target is a predetermined viewpoint position;
Control information storage means for storing attitude control information for controlling the attitude of the imaging device when imaging the inspection object;
A feature storage that stores the positions of a plurality of feature portions indicating portions characterizing the inspection target included in image data captured from a reference viewpoint position, which is a predetermined viewpoint position, which is imaged by the imaging device that images the inspection target A posture control device comprising:
The image acquisition means acquires image data captured by the imaging device in the predetermined posture,
The movement amount calculating means uses the position of the characteristic portion stored in the characteristic portion storage means and the position of the characteristic portion of the image data acquired by the image acquisition means, from the viewpoint position of the imaging device to the reference viewpoint position. Calculate the amount of movement
The reflecting means reflects the movement amount calculated by the movement amount calculating means in the attitude control information stored in the control information storage means.
前記検査対象を撮像する際の前記撮像装置の姿勢を制御する姿勢制御情報を記憶する制御情報記憶手段と、
前記検査対象を特徴付ける部分を示す複数の特徴部同士の位置関係を示す3次元データを記憶する3次元データ記憶手段と
を備える姿勢制御装置を、
前記撮像装置が所定の姿勢で前記検査対象を撮像した画像データを取得する画像取得手段、
前記画像取得手段が取得した画像データから前記検査対象の特徴部を抽出する特徴部抽出手段、
前記3次元データ記憶手段が記憶する3次元データを透視投影したときに前記3次元データの特徴部の位置と前記特徴部抽出手段が抽出した特徴部の位置とが一致する視点位置を特定する視点特定手段、
前記視点特定手段が特定した視点位置から予め定められた所定の視点位置である基準視点位置までの移動量を算出する移動量算出手段、
前記移動量算出手段が算出した移動量を前記制御情報記憶手段が記憶する姿勢制御情報に反映させる反映手段
として機能させるためのプログラム。 Controlling the attitude of the imaging device so that the viewpoint position indicating the relative position between the inspection target and the imaging device that images the inspection target is a predetermined viewpoint position;
Control information storage means for storing attitude control information for controlling the attitude of the imaging device when imaging the inspection object;
A posture control apparatus comprising: three-dimensional data storage means for storing three-dimensional data indicating a positional relationship between a plurality of characteristic portions indicating a portion characterizing the inspection object;
Image acquisition means for acquiring image data in which the imaging apparatus images the inspection object in a predetermined posture;
Feature extraction means for extracting the feature to be inspected from the image data acquired by the image acquisition means;
A viewpoint for specifying a viewpoint position where the position of the feature portion of the three-dimensional data coincides with the position of the feature portion extracted by the feature portion extraction means when the three-dimensional data stored in the three-dimensional data storage means is perspective-projected Specific means,
A movement amount calculating means for calculating a movement amount from the viewpoint position specified by the viewpoint specifying means to a reference viewpoint position that is a predetermined viewpoint position determined in advance;
A program for causing a movement amount calculated by the movement amount calculation unit to function as a reflection unit that reflects the posture control information stored in the control information storage unit.
前記検査対象を撮像する際の前記撮像装置の姿勢を制御する姿勢制御情報を記憶する制御情報記憶手段と、
検査対象を撮像する撮像装置が予め定められた所定の視点位置である基準視点位置から撮像した画像データに含まれる、前記検査対象を特徴付ける部分を示す複数の特徴部の位置を記憶する特徴部記憶手段と、
を備える姿勢制御装置を、
前記撮像装置が前記所定の姿勢で撮像した画像データを取得する画像取得手段、
前記特徴部記憶手段が記憶する特徴部の位置と前記画像取得手段が取得した画像データの特徴部の位置とを用いて、前記撮像装置の視点位置から前記基準視点位置までの移動量を算出する移動量算出手段、
前記移動量算出手段が算出した移動量を前記制御情報記憶手段が記憶する姿勢制御情報に反映させる反映手段
として機能させるためのプログラム。 Controlling the attitude of the imaging device so that the viewpoint position indicating the relative position between the inspection target and the imaging device that images the inspection target is a predetermined viewpoint position;
Control information storage means for storing attitude control information for controlling the attitude of the imaging device when imaging the inspection object;
A feature storage that stores the positions of a plurality of feature portions indicating portions characterizing the inspection target included in image data captured from a reference viewpoint position, which is a predetermined viewpoint position, which is imaged by the imaging device that images the inspection target Means,
An attitude control device comprising:
Image acquisition means for acquiring image data captured by the imaging device in the predetermined posture;
The amount of movement from the viewpoint position of the imaging device to the reference viewpoint position is calculated using the position of the feature section stored by the feature section storage section and the position of the feature section of the image data acquired by the image acquisition section. Travel amount calculation means,
A program for causing a movement amount calculated by the movement amount calculation unit to function as a reflection unit that reflects the posture control information stored in the control information storage unit.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2010220825A JP2012078105A (en) | 2010-09-30 | 2010-09-30 | Attitude controller, control method, and program |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2010220825A JP2012078105A (en) | 2010-09-30 | 2010-09-30 | Attitude controller, control method, and program |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2012078105A true JP2012078105A (en) | 2012-04-19 |
Family
ID=46238542
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2010220825A Withdrawn JP2012078105A (en) | 2010-09-30 | 2010-09-30 | Attitude controller, control method, and program |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2012078105A (en) |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR20140027868A (en) * | 2012-08-27 | 2014-03-07 | 더 보잉 컴파니 | Methods and systems for inspecting a workpiece |
WO2018143263A1 (en) * | 2017-02-06 | 2018-08-09 | 富士フイルム株式会社 | Photographing control device, photographing control method, and program |
CN111356913A (en) * | 2017-12-15 | 2020-06-30 | 株式会社堀场制作所 | Surface property inspection device and surface property inspection program |
-
2010
- 2010-09-30 JP JP2010220825A patent/JP2012078105A/en not_active Withdrawn
Cited By (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR20140027868A (en) * | 2012-08-27 | 2014-03-07 | 더 보잉 컴파니 | Methods and systems for inspecting a workpiece |
KR102030854B1 (en) | 2012-08-27 | 2019-10-10 | 더 보잉 컴파니 | Methods and systems for inspecting a workpiece |
WO2018143263A1 (en) * | 2017-02-06 | 2018-08-09 | 富士フイルム株式会社 | Photographing control device, photographing control method, and program |
CN111356913A (en) * | 2017-12-15 | 2020-06-30 | 株式会社堀场制作所 | Surface property inspection device and surface property inspection program |
CN111356913B (en) * | 2017-12-15 | 2023-08-01 | 株式会社堀场制作所 | Surface property inspection device and recording medium |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6271953B2 (en) | Image processing apparatus and image processing method | |
JP5469216B2 (en) | A device for picking up bulk items by robot | |
JP5273196B2 (en) | Image processing device | |
JP5580164B2 (en) | Optical information processing apparatus, optical information processing method, optical information processing system, and optical information processing program | |
JP5297403B2 (en) | Position / orientation measuring apparatus, position / orientation measuring method, program, and storage medium | |
CN112161619B (en) | Pose detection method, three-dimensional scanning path planning method and detection system | |
JP6736257B2 (en) | Information processing device, information processing method, and program | |
CN110926330B (en) | Image processing apparatus, image processing method, and program | |
US8654193B2 (en) | Method for registering model data for optical recognition processing and optical sensor | |
JP6506279B2 (en) | Map generation system and map generation method | |
JP2016103230A (en) | Image processor, image processing method and program | |
KR20140008262A (en) | Robot system, robot, robot control device, robot control method, and robot control program | |
CN111879235A (en) | Three-dimensional scanning detection method and system for bent pipe and computer equipment | |
US8781625B2 (en) | Control computer and method of controlling robotic arm | |
JP2014169990A (en) | Position/posture measuring apparatus and method | |
JP2017015396A (en) | Inspection method, inspection apparatus, processing apparatus, program, and recording medium | |
JPWO2016171263A1 (en) | Shape measuring apparatus and shape measuring method | |
US7711507B2 (en) | Method and device for determining the relative position of a first object with respect to a second object, corresponding computer program and a computer-readable storage medium | |
JP2012050013A (en) | Imaging apparatus, image processing device, image processing method, and image processing program | |
JP7427370B2 (en) | Imaging device, image processing device, image processing method, calibration method for imaging device, robot device, method for manufacturing articles using robot device, control program, and recording medium | |
JP2012078105A (en) | Attitude controller, control method, and program | |
JP2018173882A (en) | Information processing device, method, and program | |
JPH1079029A (en) | Stereoscopic information detecting method and device therefor | |
JP4788475B2 (en) | Image processing apparatus and image processing method | |
JP2018146347A (en) | Image processing device, image processing method, and computer program |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A300 | Withdrawal of application because of no request for examination |
Free format text: JAPANESE INTERMEDIATE CODE: A300 Effective date: 20131203 |