JP2023148294A - Three-dimensional angle detector - Google Patents
Three-dimensional angle detector Download PDFInfo
- Publication number
- JP2023148294A JP2023148294A JP2022056232A JP2022056232A JP2023148294A JP 2023148294 A JP2023148294 A JP 2023148294A JP 2022056232 A JP2022056232 A JP 2022056232A JP 2022056232 A JP2022056232 A JP 2022056232A JP 2023148294 A JP2023148294 A JP 2023148294A
- Authority
- JP
- Japan
- Prior art keywords
- angle
- linear object
- image
- image data
- linear
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000012545 processing Methods 0.000 claims abstract description 86
- 238000001514 detection method Methods 0.000 claims description 63
- 238000012937 correction Methods 0.000 claims description 19
- 230000007246 mechanism Effects 0.000 claims description 19
- 239000013307 optical fiber Substances 0.000 claims description 19
- 238000003384 imaging method Methods 0.000 claims description 11
- 238000010586 diagram Methods 0.000 description 10
- 238000000034 method Methods 0.000 description 7
- 230000008569 process Effects 0.000 description 5
- 230000006866 deterioration Effects 0.000 description 4
- 230000006870 function Effects 0.000 description 4
- 230000003287 optical effect Effects 0.000 description 4
- 230000008859 change Effects 0.000 description 3
- 230000001678 irradiating effect Effects 0.000 description 3
- 239000000126 substance Substances 0.000 description 3
- 230000015654 memory Effects 0.000 description 2
- 230000002093 peripheral effect Effects 0.000 description 2
- 238000013459 approach Methods 0.000 description 1
- 239000003153 chemical reaction reagent Substances 0.000 description 1
- 239000000470 constituent Substances 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 230000002950 deficient Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 239000011521 glass Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 239000012780 transparent material Substances 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Landscapes
- Length Measuring Devices By Optical Means (AREA)
Abstract
Description
本開示は、3次元角度検出装置に関し、特に、微小直線物の角度を検出する3次元角度検出装置に関する。 The present disclosure relates to a three-dimensional angle detection device, and particularly relates to a three-dimensional angle detection device that detects the angle of a minute straight object.
微小な領域を観察する際、一般的に顕微鏡を使用して観察を行う。顕微鏡観察の多くは、対物レンズやカメラに対して正面方向の2次元情報しか得られない。そのため、正面方向以外の側面や奥行方向の詳細情報を得ることは困難である。一方、近年の観察技術の発達により、観察する対物レンズを奥行方向へ高速に上下動し、スキャニング操作し、それらの画像を合成することで3次元観察を行う技術や、カメラなどの観察素子を2つ使用し、異なる軸方向から観察を行い、3次元的な観察を実現する試みがされている。 When observing a minute area, a microscope is generally used. In most microscopic observations, only two-dimensional information in the front direction relative to the objective lens or camera can be obtained. Therefore, it is difficult to obtain detailed information in sides other than the front direction and in the depth direction. On the other hand, with the development of observation technology in recent years, there has been a technology to perform three-dimensional observation by moving the observation objective lens up and down in the depth direction at high speed, performing scanning operations, and combining these images, and observation elements such as cameras. Attempts have been made to realize three-dimensional observation by using two and observing from different axial directions.
しかし、カメラなどの観察素子を複数用いる場合、コストの増大の要因になる。このため、近年の観察装置の中には、多面観察プリズムを用いることにより、観察対象物の複数の面を1つの方向から観察可能としているものがある(例えば、特許文献1、2)。
However, when a plurality of observation elements such as cameras are used, the cost increases. For this reason, some recent observation devices use a multifaceted observation prism to enable observation of multiple faces of an object to be observed from one direction (for example,
ここで、観察の対象物が直線状の部材の場合は、形状だけでなく、配置されている角度が重要な場合がある。例えば、微小な領域において直線状の針を用いて細胞操作を行う場合、空間における針の配置状態を認識することが、正確な操作を行う上で重要になる。なぜならば、細胞に針を刺し、試薬を注入するような操作を行う場合、その操作時に針の位置決め操作を行う機器が高精度に動作しても、駆動する軸に対して針に傾きが生じている場合、要求される操作が出来ない場合があるからである。このため、針を用いて微小な領域で正確な操作を行う際には、針の傾きを含めた3次元情報、即ち、針の配置状態についての情報が必要になる。しかし、多面観察プリズムを用いることによって針のような直線状の対象物を複数の面から観察した場合、形状についてはある程度認識できたとしても、空間における対象物の配置状態を高い精度で認識するのは困難なものとなっている。 Here, if the object to be observed is a linear member, not only the shape but also the angle at which it is arranged may be important. For example, when performing cell manipulation using a linear needle in a minute area, it is important to recognize the arrangement of the needle in space in order to perform accurate manipulation. This is because when performing an operation such as inserting a needle into a cell and injecting a reagent, even if the equipment that positions the needle operates with high precision during that operation, the needle may tilt relative to the driving axis. This is because the requested operation may not be possible if the Therefore, when performing accurate operation in a minute area using a needle, three-dimensional information including the inclination of the needle, that is, information about the arrangement state of the needle is required. However, when a linear object like a needle is observed from multiple sides using a multifaceted observation prism, even if the shape can be recognized to some extent, the placement of the object in space can be recognized with high accuracy. It has become difficult.
本開示は、上記に鑑みてなされたものであって、コストを抑えつつ直線状の部材の配置状態を検出することのできる3次元角度検出装置を提供することを目的とする。 The present disclosure has been made in view of the above, and an object of the present disclosure is to provide a three-dimensional angle detection device that can detect the arrangement state of linear members while suppressing costs.
本開示の3次元角度検出装置は、直線対象物を撮影する撮影部と、前記撮影部が前記直線対象物を撮影する方向とは異なる方向から前記直線対象物を見た前記直線対象物の鏡像を前記撮影部に向けて反射する反射部材と、前記撮影部で撮影した画像データを取得する画像データ取得部と、前記画像データ取得部で取得した前記画像データから前記画像データ上における前記直線対象物の角度を取得する角度取得部と、前記角度取得部で取得した前記画像データ上における前記直線対象物の角度に基づいて前記直線対象物の3次元角度を算出する演算処理部と、を備え、前記撮影部は、前記直線対象物の実像と前記反射部材で反射した前記直線対象物の前記鏡像とを同時に撮影し、前記角度取得部は、前記画像データ上における前記直線対象物の前記実像の角度と前記鏡像の角度とをそれぞれ取得し、前記演算処理部は、前記角度取得部で取得した前記直線対象物の前記実像の角度と前記鏡像の角度とに基づいて前記直線対象物の3次元角度を算出する。 The three-dimensional angle detection device of the present disclosure includes a photographing section that photographs a straight object, and a mirror image of the straight object viewed from a direction different from a direction in which the photographing section photographs the straight object. an image data acquisition section that acquires image data photographed by the photographing section; and a linear object on the image data from the image data acquired by the image data acquisition section. An angle acquisition section that acquires an angle of an object; and an arithmetic processing section that calculates a three-dimensional angle of the straight object based on the angle of the straight object on the image data acquired by the angle acquisition section. , the photographing section simultaneously photographs the real image of the straight object and the mirror image of the straight object reflected by the reflecting member, and the angle acquisition section captures the real image of the straight object on the image data. and the angle of the mirror image, respectively, and the arithmetic processing section calculates the angle of 3 of the linear object based on the angle of the real image and the angle of the mirror image of the linear object obtained by the angle obtaining section. Calculate dimensional angle.
この構成によれば、撮影部が直線対象物を撮影する方向とは異なる方向から見た直線対象物の鏡像を撮影部に向けて反射する反射部材を備え、撮影部によって直線対象物の実像と反射部材で反射した直線対象物の鏡像とを同時に撮影する。さらに、撮影部によって撮影した画像データ上における直線対象物の実像の角度と鏡像の角度とを角度取得部によってそれぞれ取得し、角度取得部で取得した直線対象物の実像の角度と鏡像の角度とに基づいて直線対象物の3次元角度を演算処理部により算出する。これにより、直線対象物を1つの撮影部で撮影することによって、直線対象物の3次元角度を算出することができ、コストを抑えつつ、直線状の部材である直線対象物の配置状態を検出することができる。 According to this configuration, the imaging section includes a reflecting member that reflects a mirror image of the linear object viewed from a direction different from the direction in which the imaging section photographs the linear object toward the imaging section, and the imaging section generates a real image of the linear object. The mirror image of the straight object reflected by the reflective member is photographed at the same time. Furthermore, the angle of the real image and the angle of the mirror image of the straight object on the image data photographed by the photographing section are respectively acquired by the angle acquisition section, and the angle of the real image and the angle of the mirror image of the straight object acquired by the angle acquisition section are The arithmetic processing unit calculates the three-dimensional angle of the straight object based on the following. This makes it possible to calculate the three-dimensional angle of a straight object by photographing it with one imaging unit, and to detect the arrangement of straight objects, which are straight members, while keeping costs down. can do.
望ましい形態として、前記画像データ取得部で取得した前記画像データに対して画像処理を行う画像処理部を備え、前記画像処理部は、前記画像データにおける前記直線対象物以外の部分に対する前記直線対象物の境界線の検出を行い、前記角度取得部は、前記画像処理部で検出した前記境界線の角度を取得することにより、前記直線対象物の角度を取得する。 Preferably, the image processing unit includes an image processing unit that performs image processing on the image data acquired by the image data acquisition unit; The angle acquisition unit acquires the angle of the straight line object by acquiring the angle of the boundary line detected by the image processing unit.
この構成によれば、画像データにおける直線対象物以外の部分に対する直線対象物の境界線を検出し、角度取得部は、検出した境界線の角度を取得することにより、画像データ上における直線対象物の角度を取得する。これにより、1つの撮影部で撮影した画像データの中から、画像データ上における直線対象物の角度を取得することができ、取得した直線対象物の角度に基づいて、直線対象物の3次元角度を演算処理部によって算出することができる。この結果、コストを抑えつつ直線対象物の配置状態を検出することができる。 According to this configuration, the boundary line of the straight line object is detected with respect to the part other than the straight line object in the image data, and the angle acquisition unit detects the boundary line of the straight line object on the image data by acquiring the angle of the detected boundary line. Get the angle of As a result, it is possible to obtain the angle of a straight object on the image data from among the image data photographed by one imaging unit, and based on the obtained angle of the straight object, the three-dimensional angle of the straight object can be calculated. can be calculated by the arithmetic processing unit. As a result, the arrangement state of the linear object can be detected while keeping costs down.
望ましい形態として、前記演算処理部は、任意の方向に対する前記直線対象物の前記実像の角度をθ1とし、前記鏡像の角度をθ2とする場合に、下記の式(1)により前記直線対象物の3次元角度θを算出する。 In a desirable form, the arithmetic processing unit calculates the linear object according to the following equation (1) when the angle of the real image of the linear object with respect to an arbitrary direction is θ 1 and the angle of the mirror image is θ 2 . Calculate the three-dimensional angle θ of the object.
この構成によれば、直線対象物の3次元角度θは、画像データ上における直線対象物の実像の角度θ1と鏡像の角度θ2とより、上記の式(1)を用いて算出するため、画像データより取得した直線対象物の角度に基づいて直線対象物の3次元角度θを算出することができる。この結果、コストを抑えつつ直線対象物の配置状態を検出することができる。 According to this configuration, the three-dimensional angle θ of the straight object is calculated using the above equation (1) from the angle θ 1 of the real image of the straight object on the image data and the angle θ 2 of the mirror image. , the three-dimensional angle θ of the straight object can be calculated based on the angle of the straight object obtained from the image data. As a result, the arrangement state of the linear object can be detected while keeping costs down.
望ましい形態として、前記演算処理部で算出した前記直線対象物の3次元角度が所定の範囲内であるか否かの判定を行う判定部と、前記直線対象物の3次元角度が所定の範囲内ではないと前記判定部で判定した場合に、前記直線対象物の3次元角度が所定の範囲内ではないことの報知を行う報知部と、を備える。 A desirable embodiment includes a determination unit that determines whether the three-dimensional angle of the straight object calculated by the arithmetic processing unit is within a predetermined range; and a notification unit configured to notify that the three-dimensional angle of the linear object is not within a predetermined range when the determination unit determines that the three-dimensional angle of the linear object is not within a predetermined range.
この構成によれば、算出した直線対象物の3次元角度が所定の範囲内であるか否かの判定を行い、3次元角度が所定の範囲内ではないと判定した場合に、直線対象物の3次元角度が所定の範囲内ではないことを報知部で報知するため、直線対象物が不適切に配置されている状態で使用されることを抑制できる。この結果、直線対象物が不適切に配置されている状態で使用されることに伴う作業性の悪化を抑制することができる。 According to this configuration, it is determined whether the calculated three-dimensional angle of the straight object is within a predetermined range, and when it is determined that the three-dimensional angle is not within the predetermined range, the Since the notification unit notifies that the three-dimensional angle is not within a predetermined range, it is possible to prevent the linear object from being used in a state where it is inappropriately placed. As a result, it is possible to suppress deterioration in workability caused by using the linear object in an inappropriately arranged state.
望ましい形態として、前記直線対象物の角度を調節する姿勢補正機構と、前記演算処理部で算出した前記直線対象物の3次元角度が所定の範囲内であるか否かの判定を行う判定部と、を備え、前記姿勢補正機構は、前記直線対象物の3次元角度が所定の範囲内ではないと前記判定部で判定した場合に、前記演算処理部で算出した前記直線対象物の3次元角度に基づいて前記直線対象物の角度を調節する。 A desirable embodiment includes: an attitude correction mechanism that adjusts the angle of the linear object; and a determination section that determines whether the three-dimensional angle of the linear object calculated by the arithmetic processing section is within a predetermined range. , the posture correction mechanism adjusts the three-dimensional angle of the straight-line object calculated by the arithmetic processing section when the determination section determines that the three-dimensional angle of the straight-line object is not within a predetermined range. The angle of the straight object is adjusted based on.
この構成によれば、算出した直線対象物の3次元角度が所定の範囲内ではないと判定した場合に、直線対象物の角度を姿勢補正機構によって調節するため、直線対象物が不適切に配置されている状態で使用されることを抑制できる。この結果、直線対象物が不適切に配置されている状態で使用されることに伴う作業性の悪化を抑制することができる。 According to this configuration, when it is determined that the calculated three-dimensional angle of the linear object is not within a predetermined range, the angle of the linear object is adjusted by the posture correction mechanism, so that the linear object is inappropriately placed. It is possible to prevent it from being used in a state where it is currently being used. As a result, it is possible to suppress deterioration in workability caused by using the linear object in an inappropriately arranged state.
望ましい形態として、前記反射部材にはプリズムが用いられる。 As a desirable form, a prism is used as the reflecting member.
この構成によれば、撮影部が直線対象物を撮影する方向とは異なる方向から見た直線対象物の鏡像を撮影部に向けて反射する反射部材には、プリズムが用いられるため、損傷し難く、配置をし易い反射部材を設けることができる。この結果、コストを抑えつつ直線対象物の配置状態を検出することができる。 According to this configuration, since a prism is used for the reflective member that reflects the mirror image of the linear object viewed from a direction different from the direction in which the imaging section photographs the linear object toward the imaging section, it is difficult to damage. , it is possible to provide a reflective member that is easy to arrange. As a result, the arrangement state of the linear object can be detected while keeping costs down.
望ましい形態として、前記直線対象物に対して前記撮影部が位置する側の反対側と、前記直線対象物に対して前記反射部材が位置する側の反対側とには、前記直線対象物に対して光を照射する光源が配置される。 In a desirable form, a side opposite to the side where the photographing unit is located with respect to the linear object and a side opposite to the side where the reflective member is located with respect to the linear object are provided with a A light source is arranged to emit light.
この構成によれば、直線対象物に対して撮影部が位置する側の反対側と、直線対象物に対して反射部材が位置する側の反対側とに光源を配置して直線対象物に対して光を照射するため、画像データにおける直線対象物の境界線の検出を行う際に、境界線を容易に検出可能にすることができる。これにより、画像データ上における直線対象物の実像の角度と鏡像の角度とを容易に取得することができ、直線対象物の実像の角度と鏡像の角度とより、直線対象物の3次元角度を算出することができる。この結果、コストを抑えつつ直線対象物の配置状態を検出することができる。 According to this configuration, the light sources are arranged on the side opposite to the side where the imaging unit is located with respect to the straight object, and on the side opposite to the side where the reflective member is located with respect to the straight object, and Since the light is irradiated with the light, the boundary line can be easily detected when detecting the boundary line of a straight object in image data. As a result, the angle of the real image and the angle of the mirror image of the straight object on the image data can be easily obtained, and the three-dimensional angle of the straight object can be calculated from the angle of the real image and the angle of the mirror image of the straight object. It can be calculated. As a result, the arrangement state of the linear object can be detected while keeping costs down.
望ましい形態として、光を発光する光源と、前記反射部材に取り付けられ、前記光源からの光を伝送して前記直線対象物に対して照射する光ファイバと、を備える。 A desirable form includes a light source that emits light, and an optical fiber that is attached to the reflective member and that transmits the light from the light source and irradiates the linear object.
この構成によれば、反射部材に光ファイバを取り付け、1つの光源からの光を光ファイバで伝送して直線対象物の近傍に位置する光ファイバの照射部から直線対象物に対して照射するため、直線対象物を照射するための構成の小型化を図ることができる。従って、3次元角度検出装置の小型化を図ることができる。 According to this configuration, an optical fiber is attached to the reflective member, and light from one light source is transmitted through the optical fiber, and the straight object is irradiated from the irradiation part of the optical fiber located near the straight object. , it is possible to downsize the configuration for irradiating a straight object. Therefore, it is possible to downsize the three-dimensional angle detection device.
本開示に係る3次元角度検出装置は、コストを抑えつつ直線状の部材の配置状態を検出することができる、という効果を奏する。 The three-dimensional angle detection device according to the present disclosure has the effect of being able to detect the arrangement state of linear members while suppressing costs.
発明を実施するための形態(実施形態)につき、図面を参照しつつ詳細に説明する。以下の実施形態に記載した内容により本開示が限定されるものではない。また、以下に記載した構成要素には、当業者が容易に想定できるもの、実質的に同一のものが含まれる。さらに、以下に記載した構成要素は適宜組み合わせることが可能である。 Modes for carrying out the invention (embodiments) will be described in detail with reference to the drawings. The present disclosure is not limited to the content described in the embodiments below. Further, the constituent elements described below include those that can be easily assumed by those skilled in the art and those that are substantially the same. Furthermore, the components described below can be combined as appropriate.
[第1実施形態]
図1は、第1実施形態に係る3次元角度検出装置10を示す模式図である。図2は、図1に示す3次元角度検出装置10の平面図である。図1、図2は、3次元角度検出装置10の要部の構成を模式的に示している。なお、以下の説明では、後述するカメラ15の光軸の方向を、3次元角度検出装置10におけるY方向として説明し、Y方向に直交する2方向のうち、一方をZ方向とし、他方をX方向として説明する。また、第1実施形態に係る3次元角度検出装置10は、Z方向が3次元角度検出装置10における上下方向となる向きで用いられ、これに伴い以下の説明では、Z方向を3次元角度検出装置10における上下方向Zとし、Y方向を3次元角度検出装置10における奥行方向Yとし、X方向を3次元角度検出装置10における幅方向Xとして説明する。
[First embodiment]
FIG. 1 is a schematic diagram showing a three-dimensional
第1実施形態に係る3次元角度検出装置10は、例えば、微小な領域で細胞等の微小物質に対して針等の直線部材によって操作を行うマニピュレーションシステムに適用される。3次元角度検出装置10は、針やキャピラリー等のように直線状に形成された直線対象物Sの3次元角度を検出することが可能になっている。
The three-dimensional
3次元角度検出装置10は、直線対象物Sの端部を把持する把持装置60を有しており、把持装置60で直線対象物Sを把持することにより、直線対象物Sの延在方向が上下方向Zなる向きで直線対象物Sを配置する。即ち、把持装置60は、上下方向Zに沿って延びる向きで配置される直線対象物Sの上端寄りの部分を着脱自在に把持する。
The three-dimensional
3次元角度検出装置10は、直線対象物Sを撮影する撮影部と、撮影部が直線対象物Sを撮影する方向とは異なる方向から直線対象物Sを見た直線対象物Sの鏡像を撮影部に向けて反射する反射部材とを有している。
The three-dimensional
撮影部には、対象物を撮影し、撮影した映像を電気信号として出力することが可能なカメラ15が用いられる。カメラ15は、光軸が延びる方向に直線対象物Sが位置する位置に配置され、これによりカメラ15は、直線対象物Sを撮影することができる。
The photographing unit uses a
反射部材には、プリズム20が用いられる。プリズム20は、直線対象物Sに対して幅方向Xにおける側方に配置されている。プリズム20は、ガラス等の透明な材料からなる多面体の形状で形成されており、その1つの面が、幅方向Xにおける直線対象物Sの側方で直線対象物Sに沿って上下方向Zに延びる反射面21になっている。反射面21は、直線対象物Sとカメラ15との双方に面する面になっており、奥行方向Yと幅方向Xとの双方に対して、約45°の傾斜角を有する面になっている。換言すると、プリズム20は、反射面21を幅方向Xにおける直線対象物Sの側方に位置させると共に、奥行方向Yと幅方向Xとの双方に対する反射面21の傾斜角が約45°となる向きで配置されている。
A
反射面21は、幅方向Xにおける直線対象物Sの側方で直線対象物Sとカメラ15との双方に面し、且つ、奥行方向Yと幅方向Xとの双方に対する傾斜角が45°となる向きで配置されるため、直線対象物Sが位置する側から幅方向Xに進む光を、奥行方向Yにおけるカメラ15が位置する側に向けて反射することが可能になっている。つまり、プリズム20の反射面21は、直線対象物Sが位置する側から幅方向Xに進む光を、90°向きを変えてカメラ15が位置する側に向けて全反射させることが可能になっている。
The
プリズム20は、このように反射面21が直線対象物Sの側方に配置され、直線対象物Sが位置する側から反射面21に向かう光を、カメラ15が位置する側に向けて全反射させることができる。このため、カメラ15は、直線対象物Sの実像と、プリズム20の反射面21で反射した直線対象物Sの鏡像との双方を撮影することができる。
In this way, the
また、3次元角度検出装置10は、直線対象物Sに対して光を照射する光源70を有している。光源70には、例えば、LED(Light Emitting Diode)が用いられる。光源70は、直線対象物Sに対してカメラ15が位置する側の反対側に配置される第1光源71と、直線対象物Sに対してプリズム20が位置する側の反対側に配置される第2光源72とを有している。第1光源71は、奥行方向Yにおいて、直線対象物Sに対してカメラ15が位置する側の反対側に配置されており、カメラ15が位置する側の反対側から、直線対象物Sに向けて光を照射することが可能になっている。第2光源72は、幅方向Xにおいて、直線対象物Sに対してプリズム20が位置する側の反対側に配置されており、プリズム20が位置する側の反対側から、直線対象物Sに向けて光を照射することが可能になっている。
Furthermore, the three-dimensional
図3は、図1に示す3次元角度検出装置10が有する制御装置30の説明図である。3次元角度検出装置10は、3次元角度検出装置10の制御を行う制御装置30を有している。制御装置30は、3次元角度検出装置10が適用されるマニピュレーションシステムの制御を行う制御装置に組み込まれる。なお、3次元角度検出装置10の制御装置30は、マニピュレーションシステムの制御を行う制御装置から独立して設けられていてもよい。
FIG. 3 is an explanatory diagram of the
制御装置30は、処理部31と、記憶部40とを有している。処理部31は、演算処理を行うCPU(Central Processing Unit)と、各種情報を記憶するメモリとして機能するRAM(Random Access Memory)及びROM(Read Only Memory)などを有している。処理部31の各機能の全部または一部は、ROMに保持されるアプリケーションプログラムをRAMにロードしてCPUで実行することによって、RAMやROMにおけるデータの読み出し及び書き込みを行うことで実現される。
The
記憶部40は、処理部31と電気的に接続され、情報を記憶する記憶装置である。制御装置30による3次元角度検出装置10の制御時は、処理部31によって取得した情報や処理部31によって演算した情報を記憶部40に記憶したり、記憶部40に記憶されている情報を処理部31で呼び出して3次元角度検出装置10の制御に用いたりする。
The
なお、処理部31により実現される各機能は、プログラムとして予め記憶部40に記憶されていてもよい。この場合、処理部31は、記憶部40に記憶されているプログラムを処理部31で呼び出し、プログラムに沿った動作を処理部31で実行することにより、各機能を実行する。また、記憶部40は、制御装置30に一体に備えられていてもよく、制御装置30に対して着脱自在に構成されていてもよい。
Note that each function realized by the
また、制御装置30には、カメラ15と報知部50とが電気的に接続されている。
Furthermore, the
処理部31は、機能的に画像データ取得部32と、画像処理部33と、角度取得部34と、演算処理部35と、判定部36と、不良時制御部37とを有している。このうち、画像データ取得部32は、カメラ15で撮影した画像データ100(図4参照)を取得する。
The
画像処理部33は、画像データ取得部32で取得した画像データ100に対して画像処理を行い、画像データ100における直線対象物S以外の部分に対する直線対象物Sの境界線106(図5参照)の検出を行う。
The
角度取得部34は、画像データ取得部32で取得した画像データ100から、画像データ100上における直線対象物Sの角度を取得する。詳しくは、角度取得部34は、画像処理部33で検出した境界線106の角度を取得することにより、画像データ100上における直線対象物Sの角度を取得する。
The
演算処理部35は、角度取得部34で取得した画像データ100上における直線対象物Sの角度に基づいて、直線対象物Sの3次元角度を算出する。この場合における3次元角度は、直線対象物Sを配置する際における目標となる直線対象物Sの延在方向である基準方向に対する角度を示している。つまり、3次元角度は、カメラ15が直線対象物Sを撮影する方向である奥行方向Yから直線対象物Sを見た場合の角度や、プリズム20の反射面21がカメラ15に向けて反射する直線対象物Sからの光が進む方向である幅方向Xから直線対象物Sを見た場合の角度に捕らわれない角度になっている。第1実施形態では、基準方向は上下方向Zになっており、3次元角度は、上下方向Zに対する直線対象物Sの傾斜角度になっている。
The
判定部36は、演算処理部35で算出した直線対象物Sの3次元角度が所定の範囲内であるか否かの判定を行う。即ち、判定部36は、基準方向に対する直線対象物Sの傾斜角度が所定の範囲内であるか否かの判定を行う。
The determining
不良時制御部37は、直線対象物Sの3次元角度が所定の範囲内ではないと判定部36で判定した場合に、任意の機器に対して所定の動作を行わせる。第1実施形態では、不良時制御部37は、直線対象物Sの3次元角度が所定の範囲内ではないと判定部36で判定した場合に、直線対象物Sの3次元角度が所定の範囲内ではないことの報知を報知部50に行わせる。
The
報知部50は、不良時制御部37からの制御信号に基づいて作動し、直線対象物Sの3次元角度が所定の範囲内ではないと判定部36で判定した場合に、直線対象物Sの3次元角度が所定の範囲内ではないことの報知を、3次元角度検出装置10を操作する作業者に対して行う。報知部50は、例えば、視覚的な情報や、聴覚的な情報により報知を行う。即ち、報知部50は、例えば、表示部(図示省略)を有し、直線対象物Sの3次元角度が所定の範囲内ではないことを表示部に表示したり、スピーカ(図示省略)を有し、直線対象物Sの3次元角度が所定の範囲内ではないことをスピーカから音声によって報知したりする。
The
次に、3次元角度検出装置10による直線対象物Sの3次元角度の検出手順について説明する。3次元角度検出装置10で直線対象物Sの3次元角度を検出する際には、まず、マニピュレーションシステムで使用する針やキャピラリー等の直線対象物Sを、把持装置60で把持させる。第1実施形態では、直線対象物Sは、延在方向が概ね上下方向Zとなる向きにし、直線対象物Sの上端付近を把持装置60で把持させる。直線対象物Sは、把持装置60で把持することより、カメラ15の光軸上に直線対象物Sが配置され、プリズム20に対しては、幅方向Xにおける直線対象物Sの側方にプリズム20が有する反射面21が位置する位置関係となって配置される。
Next, a procedure for detecting the three-dimensional angle of the linear object S by the three-dimensional
把持装置60で直線対象物Sを把持したら、光源70を発光させ、光源70で発光した光を直線対象物Sに対して照射しながら、カメラ15で直線対象物Sを撮影する。即ち、直線対象物Sに対して奥行方向Yにおけるカメラ15が位置する側の反対側から第1光源71によって光を照射し、直線対象物Sに対して幅方向Xにおけるプリズム20が位置する側の反対側から第2光源72によって光を照射する。カメラ15は、このように光源70によって光が照射されている状態で、直線対象物Sを撮影する。
After gripping the linear object S with the
その際に、幅方向Xにおける直線対象物Sの側方には、プリズム20の反射面21が位置し、プリズム20の反射面21は、直線対象物Sが位置する側から反射面21に向かう光を、カメラ15が位置する方向に向けて全反射させることが可能になっている。これにより、カメラ15は、直線対象物Sの実像101と、プリズム20の反射面21で反射した直線対象物Sの鏡像102とを同時に撮影する。
At that time, the
図4は、画像データ100の一例を示す模式図である。カメラ15で撮影した画像データ100は、電気信号によって制御装置30の処理部31に送られ、処理部31が有する画像データ取得部32で取得する。画像データ取得部32で取得した画像データ100には、1つの画像データ100に、直線対象物Sの実像101と、プリズム20の反射面21で反射した直線対象物Sの鏡像102とが含まれたものになっている。
FIG. 4 is a schematic diagram showing an example of the
詳しくは、プリズム20の反射面21は、直線対象物Sに対して幅方向Xにおける側方に配置されているため、画像データ100においても、反射面21の画像は直線対象物Sの実像101の側方に位置している。
Specifically, since the
なお、カメラ15は、光軸の方向が奥行方向Yとなる向きで直線対象物Sを撮影するため、撮影した画像データ100のうちの実像101では、奥行方向Yが画像データ100においても奥行方向として表れ、幅方向Xは、画像データ100においては横方向となって表れる。また、上下方向Zは、画像データ100においては上下方向となって表れる。
Note that since the
このため、上下方向Zに延在して配置される直線対象物Sは、画像データ100においても実像101が上下方向に延びて表れ、幅方向Xにおける直線対象物Sの側方に位置するプリズム20の反射面21の画像は、画像データ100では直線対象物Sの実像101の横に表れる。プリズム20の反射面21で反射した直線対象物Sの鏡像102は、このように直線対象物Sの実像101の横に表れる反射面21の画像中に位置して表れる。直線対象物Sの鏡像102は、直線対象物Sの実像101と同様に、画像データ100中において上下方向に延びる画像になる。
Therefore, in the case of a linear object S arranged extending in the vertical direction Z, the
また、幅方向Xにおける直線対象物Sの側方に配置されるプリズム20の反射面21は、直線対象物Sに対して幅方向Xから面するため、画像データ100におけるプリズム20の反射面21の画像中に表れる直線対象物Sの鏡像102は、直線対象物Sを幅方向Xに見た画像になっている。
Further, since the
ここで、プリズム20の反射面21は、幅方向Xに進む光をカメラ15が位置する側に90°向きを変えて反射するが、反射面21で反射する前の光では、光の進行方向は幅方向Xになり、光の進行方向に対して水平方向に直交する方向は奥行方向Yになる。一方、幅方向Xに進む光を反射面21で反射することによりカメラ15が位置する方向に進む光では、光の進行方向は奥行方向Yになり、光の進行方向に対して水平方向に直交する方向は幅方向Xになる。
Here, the
このため、画像データ100におけるプリズム20の反射面21の画像(鏡像102)中では、3次元角度検出装置10の実際の奥行方向Yは、反射面21の画像中では横方向になり、3次元角度検出装置10の実際の幅方向Xは、反射面21の画像中では奥行方向になる。つまり、画像データ100における直線対象物Sの実像101では、幅方向Xは画像データ100の横方向になり、奥行方向Yは画像データ100においても奥行方向になるのに対し、直線対象物Sの鏡像102では、幅方向Xは画像データ100の奥行方向になり、奥行方向Yは画像データ100では横方向になる。
Therefore, in the image (mirror image 102) of the
3次元角度検出装置10は、直線対象物Sの実像101と、プリズム20で反射した直線対象物Sの鏡像102とをカメラ15で同時に撮影することにより、1つの画像データ100中に、直線対象物Sを奥行方向Yに見た画像と、直線対象物Sを奥行方向Yに対して直交する幅方向Xに見た画像とを含めることができる。
The three-dimensional
直線対象物Sの実像101と鏡像102とを含む画像データ100を画像データ取得部32により取得したら、画像データ取得部32で取得した画像データ100に対して、制御装置30の処理部31が有する画像処理部33によって画像処理を行う。
After the image
画像処理部33は、画像データ100に対して画像処理を行うことにより、画像データ100中における直線対象物Sの画像と、直線対象物S以外の部分との境界を求める。画像処理部33は、例えば画像データ100に対して二値化処理を施すことにより、画像データ100中における直線対象物Sの画像と、直線対象物S以外の部分との境界を明確にする。
The
つまり、カメラ15で直線対象物Sを撮影する際には、直線対象物Sに対して、奥行方向Yにおけるカメラ15が位置する側の反対側から第1光源71によって光を照射するため、カメラ15が位置する側から見た直線対象物Sの周囲は、直線対象物Sよりも明るくなる。このため、画像データ100における直線対象物Sの実像101の周囲の輝度は、直線対象物Sの実像101の輝度よりも高くなる。
That is, when photographing the straight object S with the
同様に、カメラ15で直線対象物Sを撮影する際には、直線対象物Sに対して、幅方向Xにおけるプリズム20が位置する側の反対側から第2光源72によって光を照射するため、プリズム20が位置する側から見た直線対象物Sの周囲は、直線対象物Sよりも明るくなる。このため、画像データ100における、プリズム20の反射面21で反射した直線対象物Sの鏡像102の周囲の輝度は、直線対象物Sの鏡像102の輝度よりも高くなる。
Similarly, when photographing the straight object S with the
このため、画像処理部33は、直線対象物Sの実像101や鏡像102と、その周囲とを切り分けることができる閾値で、輝度を用いて二値化する。これにより、画像データ100中における直線対象物Sの画像と、直線対象物Sの周囲の部分との境界を明確にする。
For this reason, the
図5は、画像データ100における直線対象物Sの境界線106を検出した状態を示す説明図である。なお、図5では、直線対象物Sの実像101と鏡像102とを分かり易くするため、プリズム20の反射面21も図示しているが、二値化処理を行った場合は、反射面21も認識し難くなる。画像データ100に対して画像処理を行うことにより、直線対象物Sの画像と直線対象物Sの周囲の部分との境界を明確にした画像処理部33は、画像データ100における直線対象物S以外の部分に対する直線対象物Sの境界線106の検出を行う。つまり、画像処理部33は、二値化処理を行った画像データ100における、二値化の二つの値の境界部分を検出する。例えば、画像データ100に対して二値化処理を行う際に、輝度が閾値よりも高い画素は白にし、輝度が閾値よりも低い画素は黒にした場合、白い画素と黒い画素との境界を、直線対象物Sと直線対象物S以外の部分との境界として検出する。
FIG. 5 is an explanatory diagram showing a state in which the
さらに、画像処理部33は、検出した直線対象物Sと直線対象物S以外の部分との境界のうち、所定の長さ以上の長さで直線状に延びる部分を、直線対象物S以外の部分に対する直線対象物Sの境界線106として検出する。直線対象物Sの境界線106は、直線対象物Sの実像101の境界線106aと、鏡像102の境界線106bとをそれぞれ検出する。
Furthermore, the
画像データ100における直線対象物Sの境界線106を画像処理部33によって検出したら、画像データ100上における直線対象物Sの実像101の角度θ1と鏡像102の角度θ2とを取得する。直線対象物Sの実像101の角度θ1と鏡像102の角度θ2とは、制御装置30の処理部31が有する角度取得部34によってそれぞれ取得する。
When the
なお、1つの画像データ100における直線対象物Sの2つの画像のうち、どちらが実像101でどちらが鏡像102であるかは、直線対象物Sに対するプリズム20の反射位置に基づいて予め設定され、記憶部40で記憶される。即ち、1つの画像データ100における直線対象物Sの2つの画像のうち、幅方向Xにおいて直線対象物Sに対してプリズム20が位置する側の直線対象物Sの画像を、鏡像102として認識するように予め設定され、記憶部40に記憶される。角度取得部34は、記憶部40に記憶される実像101と鏡像102の位置関係の情報も用いて、直線対象物Sの実像101の角度θ1と鏡像102の角度θ2とをそれぞれ取得する。
Note that which of the two images of the linear object S in one
これらの直線対象物Sの実像101の角度θ1と鏡像102の角度θ2とは、任意の方向に対する角度になっている。第1実施形態では、画像データ100の横方向における端部の縁を基準線105とし、直線対象物Sの実像101の角度θ1と鏡像102の角度θ2とは、基準線105に対する相対角度になっている。つまり、直線対象物Sの実像101の角度θ1は、基準線105に対する、実像101の境界線106aの角度になっており、直線対象物Sの鏡像102の角度θ2は、基準線105に対する、鏡像102の境界線106bの角度になっている。
The angle θ 1 of the
ここで、カメラ15は、カメラ15の上下方向が3次元角度検出装置10の上下方向Zになる向きで直線対象物Sを撮影するため、画像データ100の基準線105は、上下方向Zを示す線になっており、実質的に上下方向Zに延びる線になっている。このため、直線対象物Sの実像101の角度θ1は、直線対象物Sを奥行方向Yに見た場合における、上下方向Zに対する傾斜角度になっており、直線対象物Sの鏡像102の角度θ2は、直線対象物Sを幅方向Xに見た場合における、上下方向Zに対する傾斜角度になっている。
Here, since the
画像データ100上における直線対象物Sの実像101の角度θ1と鏡像102の角度θ2とを取得したら、制御装置30の処理部31が有する演算処理部35によって、直線対象物Sの3次元角度を算出する。演算処理部35は、角度取得部34で取得した直線対象物Sの実像101の角度θ1と鏡像102の角度θ2とに基づいて、直線対象物Sの3次元角度を算出する。
After acquiring the angle θ 1 of the
次に、直線対象物Sの実像101の角度θ1と鏡像102の角度θ2とに基づいて、直線対象物Sの3次元角度を算出する方法について説明する。まず、直線対象物Sの実像101の角度θ1は、幅方向Xにおける大きさをxとし、上下方向における大きさをzとすると、下記の式(2)で表すことができる。同様に、直線対象物Sの鏡像102の角度θ2は、奥行方向Yにおける大きさをyとし、上下方向における大きさをzとすると、下記の式(3)で表すことができる。
tanθ1=x/z・・・(2)
tanθ2=y/z・・・(3)
Next, a method for calculating the three-dimensional angle of the linear object S based on the angle θ 1 of the
tanθ 1 =x/z...(2)
tanθ 2 =y/z...(3)
式(2)、(3)において、z=1とすると、3次元ベクトルの要素はそれぞれ式(4)、(5)になる。
tanθ1=x・・・(4)
tanθ2=y・・・(5)
In equations (2) and (3), when z=1, the elements of the three-dimensional vector become equations (4) and (5), respectively.
tanθ 1 =x (4)
tanθ 2 =y (5)
このため、3次元ベクトルと単位ベクトルは、それぞれ下記の式(6)、(7)のように表される。 Therefore, the three-dimensional vector and the unit vector are expressed as in the following equations (6) and (7), respectively.
ここで、下記の式(8)に示す内積の式より、θは式(9)のように表すことができる。 Here, from the inner product equation shown in equation (8) below, θ can be expressed as in equation (9).
また、単位ベクトルは、下記の式(10)、(11)、(12)のように表すことができるため、これらを演算すると、直線対象物Sの3次元角度θは、下記の式(1)で求めることができる。 Furthermore, since the unit vector can be expressed as the following equations (10), (11), and (12), by calculating these, the three-dimensional angle θ of the straight object S can be calculated using the following equation (1). ) can be found.
つまり、演算処理部35は、角度取得部34で取得した、直線対象物Sの実像101の角度θ1と鏡像102の角度θ2を用いて、上記の式(1)を演算することにより、直線対象物Sの3次元角度θを算出する。
In other words, the
この場合における直線対象物Sの3次元角度θは、直線対象物Sの実像101の角度θ1や鏡像102の角度θ2の基準となる、画像データ100の基準線105に対する相対角度になっている。画像データ100の基準線105は、実質的に上下方向Zの延びる線になっているため、演算処理部35で算出した直線対象物Sの3次元角度θは、実質的に上下方向Zに対する傾斜角度になっている。即ち、演算処理部35で算出した直線対象物Sの3次元角度θは、傾斜の方向は規定しない、上下方向Zに対する傾斜角度になっている。
In this case, the three-dimensional angle θ of the straight object S is a relative angle with respect to the
直線対象物Sの3次元角度θを演算処理部35で算出したら、算出した3次元角度θは所定の範囲内であるかの判定を、制御装置30の処理部31が有する判定部36により行う。判定部36での判定は、直線対象物Sの3次元角度θと、予め設定された閾値と比較することにより行う。判定部36での判定に用いる閾値は、上下方向Zに対する直線対象物Sの傾斜角度が、直線対象物Sを適切に使用できる範囲内であるか否かの観点で予め設定され、制御装置30の記憶部40に記憶されている。
After the three-dimensional angle θ of the straight object S is calculated by the
例えば、3次元角度検出装置10が、細胞等の微小物質に対して針によって操作を行うマニピュレーションシステムに適用され、直線対象物Sはマニピュレーションシステムで使用される針である場合は、判定部36での判定に用いる閾値は、微小物質に対して針によって適切に操作を行うことが可能な針の傾斜角度の限界値として設定される。
For example, if the three-dimensional
判定部36は、演算処理部35で算出した直線対象物Sの3次元角度θと、記憶部40に記憶されている閾値とを比較し、直線対象物Sの3次元角度θが閾値以上であるか否かを判定する。
The
判定部36での判定により、演算処理部35で算出した直線対象物Sの3次元角度θが、閾値以上であると判定された場合は、制御装置30の処理部31が有する不良時制御部37によって不良時制御を行う。この場合における不良時制御は、直線対象物Sの3次元角度θが閾値よりも大きい場合に、3次元角度θが閾値よりも大きい状態を解消するための制御になっている。
If the
第1実施形態では、不良時制御部37での不良時制御は、直線対象物Sの3次元角度θが閾値よりも大きいことの報知を報知部50に対して行わせる制御になっている。報知部50は、例えば、直線対象物Sの3次元角度θが閾値よりも大きいことを表示部で表示したり、スピーカから音声によって報知したりすることにより、直線対象物Sの3次元角度θが閾値よりも大きいことを、3次元角度検出装置10を操作する作業者に対して報知する。
In the first embodiment, the failure control by the
報知部50での報知を認識した作業者は、例えば、把持装置60で把持している直線対象物Sを把持装置60から外し、別の直線対象物Sを把持装置60に把持させる。これにより、直線対象物Sの3次元角度θが閾値よりも大きい状態を解消する。
The operator who has recognized the notification from the
以上の第1実施形態に係る3次元角度検出装置10は、カメラ15が直線対象物Sを撮影する方向とは異なる方向から直線対象物Sを見た直線対象物Sの鏡像102をカメラ15に向けて反射するプリズム20を備え、カメラ15によって直線対象物Sの実像101とプリズム20で反射した直線対象物Sの鏡像102とを同時に撮影している。さらに、カメラ15によって撮影した画像データ100上における直線対象物Sの実像101の角度θ1と鏡像102の角度θ2とを角度取得部34によってそれぞれ取得し、角度取得部34で取得した直線対象物Sの実像101の角度θ1と鏡像102の角度θ2とに基づいて直線対象物Sの3次元角度θを演算処理部35によって算出している。これにより、直線対象物Sを1つのカメラ15で撮影することによって、直線対象物Sの3次元角度θを算出することができる。この結果、コストを抑えつつ、直線状の部材である直線対象物Sの配置状態を検出することができる。
The three-dimensional
また、画像データ100に対して画像処理を行うことにより、画像データ100における直線対象物S以外の部分に対する直線対象物Sの境界線106を検出し、角度取得部34は、検出した境界線106の角度を取得することにより、画像データ100上における直線対象物Sの角度を取得している。これにより、1つのカメラ15で撮影した画像データ100の中から、画像データ100上における直線対象物Sの角度を取得することができ、取得した直線対象物Sの角度に基づいて、直線対象物Sの3次元角度θを演算処理部35によって算出することができる。この結果、コストを抑えつつ直線対象物Sの配置状態を検出することができる。
Further, by performing image processing on the
また、直線対象物Sの3次元角度θは、画像データ100上における直線対象物Sの実像101の角度θ1と鏡像102の角度θ2とより、上記の式(1)を用いて算出するため、画像データ100より取得した直線対象物Sの角度に基づいて直線対象物Sの3次元角度θを算出することができる。この結果、コストを抑えつつ直線対象物Sの配置状態を検出することができる。
Furthermore, the three-dimensional angle θ of the straight object S is calculated using the above equation (1) from the angle θ 1 of the
また、算出した直線対象物Sの3次元角度θが所定の範囲内であるか否かの判定を行い、3次元角度θが所定の範囲内ではないと判定した場合に、直線対象物Sの3次元角度が所定の範囲内ではないことを報知部50で報知するため、直線対象物Sが不適切に配置されている状態で使用されることを抑制できる。この結果、直線対象物Sが不適切に配置されている状態で使用されることに伴う作業性の悪化を抑制することができる。
In addition, it is determined whether the calculated three-dimensional angle θ of the linear object S is within a predetermined range, and if it is determined that the three-dimensional angle θ is not within the predetermined range, the linear object S is Since the
また、カメラ15が直線対象物Sを撮影する方向とは異なる方向から直線対象物Sを見た直線対象物Sの鏡像102をカメラ15に向けて反射する反射部材には、プリズム20が用いられるため、損傷し難く、配置をし易い反射部材を設けることができる。この結果、コストを抑えつつ直線対象物Sの配置状態を検出することができる。
Further, a
また、直線対象物Sに対してカメラ15が位置する側の反対側に第1光源71を配置し、直線対象物Sに対してプリズム20が位置する側の反対側に第2光源72を配置し、第1光源71と第2光源72とから直線対象物Sに対して光を照射するため、画像データ100に対して画像処理を行って直線対象物Sの境界線106の検出を行う際に、境界線106を容易に検出可能にすることができる。これにより、画像データ100上における直線対象物Sの実像101の角度θ1と鏡像102の角度θ2とを容易に取得することができ、直線対象物Sの実像101の角度θ1と鏡像102の角度θ2とより、直線対象物Sの3次元角度θを算出することができる。この結果、コストを抑えつつ直線対象物Sの配置状態を検出することができる。
Further, the
[第2実施形態]
次いで、第2実施形態に係る3次元角度検出装置10について説明する。第1実施形態と同一の構成部位には、同一符号を付けて説明を省略する。以下、第1実施形態と相違する点を中心に説明する。
[Second embodiment]
Next, a three-dimensional
図6は、第2実施形態に係る3次元角度検出装置10を示す模式図である。図7は、図6に示す3次元角度検出装置10の平面図である。第2実施形態においても、3次元角度検出装置10は、直線対象物Sを奥行方向Yから撮影するカメラ15と、直線対象物Sに対して幅方向Xにおける側方に配置され、直線対象物Sが位置する側から幅方向Xに進む光を、奥行方向Yにおけるカメラ15が位置する側に向けて反射する反射面21を有するプリズム20を備えている。
FIG. 6 is a schematic diagram showing a three-dimensional
また、第2実施形態でも光を発光する光源70を備えているが、光源70からの光は、光を伝送する光ファイバ75を介して直線対象物Sに対して照射される。詳しくは、光源70は、プリズム20の反射面21の近傍とは異なる位置でプリズム20の近傍に配置されている。
Although the second embodiment also includes a
光ファイバ75は、プリズム20に取り付けられており、光源70が配置されている位置からプリズム20に沿って反射面21の位置に亘って配置されている。即ち、光ファイバ75は、一端が光源70における光を照射する部分の近傍に配置され、他端がプリズム20の反射面21の近傍に配置されている。光ファイバ75における、プリズム20の反射面21の近傍に配置される側の端部は、光源70からの光を直線対象物Sに向けて照射する照射部76になっている。光ファイバ75は、第2実施形態ではプリズム20に4本が取り付けられており、矩形状に形成されるプリズム20の反射面21の四隅のそれぞれに、光ファイバ75の照射部76が1つずつ配置されている。
The
これらのように構成される第2実施形態においても、カメラ15によって直線対象物Sを撮影する際には、光源70を発光させ、光源70で発光した光を直線対象物Sに対して照射する。その際に、第2実施形態では、光源70からの光は、プリズム20に取り付けられる光ファイバ75によって伝送し、プリズム20の反射面21の位置に位置する光ファイバ75の照射部76から、直線対象物Sを対して照射する。
Also in the second embodiment configured as described above, when photographing the straight object S with the
カメラ15は、光ファイバ75の照射部76から照射された光により照らされた直線対象物Sを、直接、及びプリズム20の反射面21を介して撮影する。3次元角度検出装置10が有する制御装置30は、カメラ15で直線対象物Sを撮影した際の画像データ100を画像データ取得部32で取得し、画像処理部33で画像処理を行う。
The
その際に、第2実施形態では、幅方向Xにおける直線対象物Sの側方に位置するプリズム20の反射面21の位置に位置する、光ファイバ75の照射部76から、直線対象物Sに対して光を照射しながらカメラ15で撮影する。このため、直線対象物Sの照度が高い状態で撮影を行うことになるため、画像データ100は、直線対象物Sの実像101及び鏡像102の輝度が高くなる。これにより、画像処理部33で画像データ100に対して二値化処理を行うことにより、直線対象物Sと直線対象物S以外の部分との境界を検出することが可能になる。
At that time, in the second embodiment, from the
従って、第2実施形態においても第1実施形態と同様に、直線対象物Sの実像101の角度θ1と鏡像102の角度θ2とを角度取得部34で取得し、これらの角度に基づいて、直線対象物Sの3次元角度θを演算処理部35よって算出することができる。コストを抑えつつ、直線状の部材である直線対象物Sの配置状態を検出することができる。
Therefore, in the second embodiment, as in the first embodiment, the angle θ 1 of the
また、第2実施形態では、プリズム20に光ファイバ75を取り付け、1つの光源70からの光を光ファイバ75で伝送して直線対象物Sの近傍に位置する光ファイバ75の照射部76から直線対象物Sに対して照射する。従って、直線対象物Sを照射するための構成の小型化を図ることができ、3次元角度検出装置10の小型化を図ることができる。
In the second embodiment, an
[変形例]
なお、上述した第1実施形態では、3次元角度θが所定の範囲内ではないと判定部36で判定した場合は、報知部50によって報知を行っていたが、3次元角度θが所定の範囲内ではないと判定した場合は、これ以外の処理を行ってもよい。即ち、不良時制御は、報知部50での報知以外の制御を行ってもよい。
[Modified example]
Note that in the first embodiment described above, when the
図8は、第1実施形態に係る3次元角度検出装置10の変形例が備える姿勢補正機構80の平面図である。図9は、図8のA-A矢視図である。図10は、図8のB-B矢視図である。3次元角度検出装置10は、例えば、図8~図10に示す姿勢補正機構80を備えていてもよい。姿勢補正機構80は、直線対象物Sの角度を調節する装置になっており、3次元角度検出装置10の制御装置30に電気的に接続され、不良時制御部37により制御することが可能になっている。
FIG. 8 is a plan view of an
姿勢補正機構80は、直線対象物Sを把持する把持装置60が取り付けられると共に、第1モータ85と第2モータ86とを有し、第1モータ85によって直線対象物Sの幅方向Xにおける角度θ1を調整し、第2モータ86によって直線対象物Sの奥行方向Yにおける角度θ2を調整することが可能になっている。
The
詳しくは、上下方向Zにおける支持部材81の下側に、上下方向Zに延びる動作部材82が配置され、動作部材82の下端に把持装置60が配置されている。把持装置60で把持する直線対象物Sは、把持装置60から上下方向Zにおける下側に向かって延びる。
Specifically, below the
また、幅方向Xにおける支持部材81の一端側には第1調整部材83が配置され、第1調整部材83は、動作部材82と平行に支持部材81から下側に向かって延びて配置されている。動作部材82と第1調整部材83との間には、幅方向Xに延びる第1ねじ部材87が配置されており、第1ねじ部材87は、動作部材82に連結されると共に、第1調整部材83を貫通している。第1ねじ部材87は、外周面にねじ山が形成されており、第1調整部材83における第1ねじ部材87が通る部分はねじ孔になっている。
Further, a
これにより、第1ねじ部材87は、回転をすることによって幅方向Xに移動することが可能になっており、第1ねじ部材87が回転をして幅方向Xに移動した際には、第1ねじ部材87が連結される動作部材82と第1調整部材83との幅方向Xの距離を変化させ、第1調整部材83に対する動作部材82の角度を変化させることができる。第1ねじ部材87には、第1モータ85が連結され、第1モータ85は、第1ねじ部材87を回転させることが可能になっている。このため、第1モータ85は、第1ねじ部材87を回転させて第1調整部材83に対する動作部材82の角度を変化させることにより、動作部材82に取り付けられる把持装置60で把持する直線対象物Sの幅方向Xにおける角度θ1を調整することができる。
Thereby, the
また、奥行方向Yにおける支持部材81の一端側には第2調整部材84が配置され、第2調整部材84は、動作部材82と平行に支持部材81から下側に向かって延びて配置されている。動作部材82と第2調整部材84との間には、奥行方向Yに延びる第2ねじ部材88が配置されており、第2ねじ部材88は、動作部材82に連結されると共に、第2調整部材84を貫通している。第2ねじ部材88は、外周面にねじ山が形成されており、第2調整部材84における第2ねじ部材88が通る部分はねじ孔になっている。
Further, a
これにより、第2ねじ部材88は、回転をすることによって奥行方向Yに移動することが可能になっており、第2ねじ部材88が回転をして奥行方向Yに移動した際には、第2ねじ部材88が連結される動作部材82と第2調整部材84との奥行方向Yの距離を変化させ、第2調整部材84に対する動作部材82の角度を変化させることができる。第2ねじ部材88には、第2モータ86が連結され、第2モータ86は、第2ねじ部材88を回転させることが可能になっている。このため、第2モータ86は、第2ねじ部材88を回転させて第2調整部材84に対する動作部材82の角度を変化させることにより、動作部材82に取り付けられる把持装置60で把持する直線対象物Sの奥行方向Yにおける角度θ2を調整することができる。
Thereby, the
姿勢補正機構80は、これらのように構成されることにより、直線対象物Sの幅方向Xにおける角度θ1と奥行方向Yにおける角度θ2とをそれぞれ調整することが可能になっており、即ち、直線対象物Sの3次元角度θを調整することが可能になっている。このため、演算処理部35で演算した3次元角度θが所定の範囲内ではないと判定部36で判定した場合、つまり、直線対象物Sの3次元角度θが閾値よりも大きいと判定部36で判定した場合は、不良時制御部37は姿勢補正機構80の制御を行い、姿勢補正機構80に対して直線対象物Sの角度を調節させる。
By being configured as described above, the
その際に、不良時制御部37は、演算処理部35で算出した直線対象物Sの3次元角度θに基づいて、直線対象物Sの3次元角度θが基準となる角度に近付く方向に姿勢補正機構80の第1モータ85と第2モータ86とを作動させることによって、直線対象物Sの角度を調節させる。つまり、姿勢補正機構80は、直線対象物Sの3次元角度が所定の範囲内ではないと判定部36で判定した場合には、不良時制御部37からの信号によって作動することにより、演算処理部35で算出した直線対象物Sの3次元角度θに基づいて直線対象物Sの角度を調節する。
At this time, based on the three-dimensional angle θ of the linear object S calculated by the
これにより、直線対象物Sの3次元角度θが閾値よりも大きい状態を解消することができ、直線対象物Sが不適切に配置されている状態で使用されることを抑制できる。この結果、直線対象物Sが不適切に配置されている状態で使用されることに伴う作業性の悪化を抑制することができる。 Thereby, it is possible to eliminate the situation where the three-dimensional angle θ of the linear object S is larger than the threshold value, and it is possible to prevent the linear object S from being used in a state where it is inappropriately arranged. As a result, it is possible to suppress deterioration in workability caused by using the linear object S in an inappropriately arranged state.
なお、3次元角度検出装置10は、報知部50と姿勢補正機構80との双方を備え、演算処理部35で演算した3次元角度θが所定の範囲内ではないと判定部36で判定した場合には、報知部50によって報知を行うと共に、姿勢補正機構80によって直線対象物Sの角度を調節してもよい。
Note that the three-dimensional
また、上述した第1実施形態、第2実施形態では、カメラ15が直線対象物Sを撮影する方向とは異なる方向から直線対象物Sを見た直線対象物Sの鏡像102をカメラ15に向けて反射する反射部材には、プリズム20が用いられているが、当該反射部材にはプリズム20以外が用いられていてもよい。反射部材には、例えば鏡が用いられていてもよい。つまり、平面の鏡を、奥行方向Yと幅方向Xとの双方に対して、約45°の傾斜角になる向きで、幅方向Xにおける直線対象物Sの側方に配置することにより、鏡を反射部材として用いてもよい。
Furthermore, in the first and second embodiments described above, the
鏡は、このように配置することにより、幅方向Xにおける直線対象物Sの側方で直線対象物Sとカメラ15との双方に面し、且つ、奥行方向Yと幅方向Xとの双方に対する傾斜角が45°となる向きで配置されることになる。これにより鏡は、直線対象物Sが位置する側から幅方向Xに進む光を、90°向きを変えて奥行方向Yにおけるカメラ15が位置する側に向けて反射することができる。従って、カメラ15は、鏡からの光によって、直線対象物Sを幅方向Xから見た鏡像102を撮影することができ、カメラ15は、奥行方向Yから見た直線対象物Sの実像101と、幅方向Xから見た直線対象物Sを鏡像102とを同時に撮影することができる。
By arranging the mirror in this way, the mirror faces both the linear object S and the
以上、本開示の好適な実施形態を説明したが、本開示は上記の実施形態に記載されたものに限定されない。実施形態や変形例として説明した構成は、適宜組み合わせてもよい。 Although the preferred embodiments of the present disclosure have been described above, the present disclosure is not limited to those described in the above embodiments. The configurations described as embodiments and modified examples may be combined as appropriate.
10 3次元角度検出装置
15 カメラ
20 プリズム
21 反射面
30 制御装置
31 処理部
32 画像データ取得部
33 画像処理部
34 角度取得部
35 演算処理部
36 判定部
37 不良時制御部
40 記憶部
50 報知部
60 把持装置
70 光源
71 第1光源
72 第2光源
75 光ファイバ
76 照射部
80 姿勢補正機構
100 画像データ
101 実像
102 鏡像
105 基準線
106 境界線
10 Three-dimensional
Claims (8)
前記撮影部が前記直線対象物を撮影する方向とは異なる方向から前記直線対象物を見た前記直線対象物の鏡像を前記撮影部に向けて反射する反射部材と、
前記撮影部で撮影した画像データを取得する画像データ取得部と、
前記画像データ取得部で取得した前記画像データから前記画像データ上における前記直線対象物の角度を取得する角度取得部と、
前記角度取得部で取得した前記画像データ上における前記直線対象物の角度に基づいて前記直線対象物の3次元角度を算出する演算処理部と、
を備え、
前記撮影部は、前記直線対象物の実像と前記反射部材で反射した前記直線対象物の前記鏡像とを同時に撮影し、
前記角度取得部は、前記画像データ上における前記直線対象物の前記実像の角度と前記鏡像の角度とをそれぞれ取得し、
前記演算処理部は、前記角度取得部で取得した前記直線対象物の前記実像の角度と前記鏡像の角度とに基づいて前記直線対象物の3次元角度を算出する3次元角度検出装置。 a photography department that photographs straight objects;
a reflecting member that reflects a mirror image of the linear object viewed from a direction different from the direction in which the imaging section photographs the linear object toward the imaging section;
an image data acquisition section that acquires image data photographed by the photographing section;
an angle acquisition unit that acquires an angle of the linear object on the image data from the image data acquired by the image data acquisition unit;
an arithmetic processing unit that calculates a three-dimensional angle of the linear object based on the angle of the linear object on the image data acquired by the angle acquisition unit;
Equipped with
The photographing unit simultaneously photographs a real image of the straight object and the mirror image of the straight object reflected by the reflecting member,
The angle acquisition unit acquires the angle of the real image and the angle of the mirror image of the linear object on the image data, respectively;
The arithmetic processing unit is a three-dimensional angle detection device that calculates a three-dimensional angle of the linear object based on the angle of the real image of the linear object and the angle of the mirror image acquired by the angle acquisition unit.
前記画像処理部は、前記画像データにおける前記直線対象物以外の部分に対する前記直線対象物の境界線の検出を行い、
前記角度取得部は、前記画像処理部で検出した前記境界線の角度を取得することにより、前記直線対象物の角度を取得する請求項1に記載の3次元角度検出装置。 an image processing unit that performs image processing on the image data acquired by the image data acquisition unit;
The image processing unit detects a boundary line of the linear object with respect to a portion other than the linear object in the image data,
The three-dimensional angle detection device according to claim 1, wherein the angle acquisition unit acquires the angle of the linear object by acquiring the angle of the boundary line detected by the image processing unit.
前記直線対象物の3次元角度が所定の範囲内ではないと前記判定部で判定した場合に、前記直線対象物の3次元角度が所定の範囲内ではないことの報知を行う報知部と、
を備える請求項1から3のいずれか1項に記載の3次元角度検出装置。 a determination unit that determines whether the three-dimensional angle of the linear object calculated by the arithmetic processing unit is within a predetermined range;
a notification unit that notifies that the three-dimensional angle of the straight-line object is not within a predetermined range when the determination unit determines that the three-dimensional angle of the straight-line object is not within a predetermined range;
The three-dimensional angle detection device according to any one of claims 1 to 3.
前記演算処理部で算出した前記直線対象物の3次元角度が所定の範囲内であるか否かの判定を行う判定部と、
を備え、
前記姿勢補正機構は、前記直線対象物の3次元角度が所定の範囲内ではないと前記判定部で判定した場合に、前記演算処理部で算出した前記直線対象物の3次元角度に基づいて前記直線対象物の角度を調節する請求項1から3のいずれか1項に記載の3次元角度検出装置。 a posture correction mechanism that adjusts the angle of the linear object;
a determination unit that determines whether the three-dimensional angle of the linear object calculated by the arithmetic processing unit is within a predetermined range;
Equipped with
The posture correction mechanism is configured to adjust the posture correction mechanism based on the three-dimensional angle of the straight-line object calculated by the arithmetic processing section when the determination section determines that the three-dimensional angle of the straight-line object is not within a predetermined range. The three-dimensional angle detection device according to any one of claims 1 to 3, which adjusts the angle of a straight object.
前記反射部材に取り付けられ、前記光源からの光を伝送して前記直線対象物に対して照射する光ファイバと、
を備える請求項1から6のいずれか1項に記載の3次元角度検出装置。 a light source that emits light;
an optical fiber attached to the reflecting member and transmitting light from the light source to irradiate the linear object;
The three-dimensional angle detection device according to any one of claims 1 to 6.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2022056232A JP2023148294A (en) | 2022-03-30 | 2022-03-30 | Three-dimensional angle detector |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2022056232A JP2023148294A (en) | 2022-03-30 | 2022-03-30 | Three-dimensional angle detector |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2023148294A true JP2023148294A (en) | 2023-10-13 |
Family
ID=88287854
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2022056232A Pending JP2023148294A (en) | 2022-03-30 | 2022-03-30 | Three-dimensional angle detector |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2023148294A (en) |
-
2022
- 2022-03-30 JP JP2022056232A patent/JP2023148294A/en active Pending
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11822022B2 (en) | Methods and systems for LIDAR optics alignment | |
US8422127B2 (en) | Microscopic image capturing device | |
KR20120003376A (en) | Microscope and area determination method | |
EP2101144B1 (en) | Concave-convex surface inspection apparatus | |
JP5120625B2 (en) | Inner surface measuring device | |
JP6279060B1 (en) | Laser sensor and measuring method | |
US10379335B2 (en) | Illumination setting method, light sheet microscope apparatus, and recording medium | |
KR20110010749A (en) | Observation device and observation method | |
JP4490154B2 (en) | Cell culture equipment | |
JP6680653B2 (en) | Microscope device, microscope system, and imaging method | |
KR20190077491A (en) | Method and apparatus for defect inspection on transparent substrate | |
JP2018040569A (en) | Picked-up image arrangement determining method, image pick-up method, and image pick-up apparatus | |
JPH1062354A (en) | Device and method of inspecting transparent plate for defect | |
US20160274366A1 (en) | Device, System And Method For The Visual Alignment Of A Pipettor Tip And A Reference Point Marker | |
JP5042503B2 (en) | Defect detection method | |
JP2005098978A (en) | Apparatus, method and program for three-dimensional measurement, and recording medium | |
JP2023148294A (en) | Three-dimensional angle detector | |
US20170235087A1 (en) | Solid immersion lens holder and image acquisition device | |
JP4687248B2 (en) | Appearance inspection device | |
EP1684107B1 (en) | Examination method and examination-assisting tool | |
JP2019011960A (en) | Electronic component conveying device and electronic component inspection device | |
JP6530437B2 (en) | Optical connector end face inspection apparatus and acquisition method of focused image data thereof | |
US20200103439A1 (en) | Electronic component handler and electronic component tester | |
JP2017053775A (en) | Apparatus for imaging inside of light-transmissive object, and inspection apparatus | |
JP5512563B2 (en) | Three-dimensional shape measuring apparatus and three-dimensional shape measuring method |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20240805 |
|
A711 | Notification of change in applicant |
Free format text: JAPANESE INTERMEDIATE CODE: A711 Effective date: 20240805 |
|
RD02 | Notification of acceptance of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7422 Effective date: 20240805 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A821 Effective date: 20240805 |