JP2023036302A - 測定システム、測定方法及びプログラム - Google Patents

測定システム、測定方法及びプログラム Download PDF

Info

Publication number
JP2023036302A
JP2023036302A JP2021143284A JP2021143284A JP2023036302A JP 2023036302 A JP2023036302 A JP 2023036302A JP 2021143284 A JP2021143284 A JP 2021143284A JP 2021143284 A JP2021143284 A JP 2021143284A JP 2023036302 A JP2023036302 A JP 2023036302A
Authority
JP
Japan
Prior art keywords
distance
imaging
captured image
image data
measuring
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2021143284A
Other languages
English (en)
Inventor
直樹 光谷
Naoki Mitsuya
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Mitutoyo Corp
Mitsutoyo Kiko Co Ltd
Original Assignee
Mitutoyo Corp
Mitsutoyo Kiko Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Mitutoyo Corp, Mitsutoyo Kiko Co Ltd filed Critical Mitutoyo Corp
Priority to JP2021143284A priority Critical patent/JP2023036302A/ja
Priority to DE102022002870.0A priority patent/DE102022002870A1/de
Priority to US17/893,791 priority patent/US20230062780A1/en
Priority to CN202211026940.9A priority patent/CN115752246A/zh
Publication of JP2023036302A publication Critical patent/JP2023036302A/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00Programme-controlled manipulators
    • B25J9/16Programme controls
    • B25J9/1694Programme controls characterised by use of sensors other than normal servo-feedback from position, speed or acceleration sensors, perception control, multi-sensor controlled systems, sensor fusion
    • B25J9/1697Vision controlled systems
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J11/00Manipulators not otherwise provided for
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J19/00Accessories fitted to manipulators, e.g. for monitoring, for viewing; Safety devices combined with or specially adapted for use in connection with manipulators
    • B25J19/02Sensing devices
    • B25J19/021Optical sensing devices
    • B25J19/023Optical sensing devices including video camera means
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00Programme-controlled manipulators
    • B25J9/16Programme controls
    • B25J9/1679Programme controls characterised by the tasks executed
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/60Analysis of geometric attributes
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/70Determining position or orientation of objects or cameras
    • G06T7/73Determining position or orientation of objects or cameras using feature-based methods
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05BCONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00Program-control systems
    • G05B2219/30Nc systems
    • G05B2219/37Measurements
    • G05B2219/37575Pre-process, measure workpiece before machining
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05BCONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00Program-control systems
    • G05B2219/30Nc systems
    • G05B2219/39Robotics, robotics to robotics hand
    • G05B2219/39045Camera on end effector detects reference pattern
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10016Video; Image sequence
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30108Industrial image inspection
    • G06T2207/30164Workpiece; Machine component

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Robotics (AREA)
  • Mechanical Engineering (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Geometry (AREA)
  • Multimedia (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Abstract

【課題】多軸ロボットを用いてワークを測定する精度を向上させることができる。【解決手段】測定システム1は、多軸ロボット10と、多軸ロボット10に結合された測定ユニット20と、データ処理装置30と、を備え、測定ユニット20は、多軸ロボットの基準位置に対して移動可能な一以上の撮像デバイス23と、基準位置に対する一以上の撮像デバイスの位置を特定する位置特定デバイス22と、を有し、データ処理装置30は、一以上の撮像デバイス23が2つ以上の位置で撮像して生成した複数の撮像画像データを取得する取得部331と、複数の撮像画像データに含まれるワークの特徴点の位置に基づいて、ワークにおける複数の特徴点の間の距離を測定する測定部333と、を有する。【選択図】図4

Description

本発明は、測定システム、測定方法及びプログラムに関する。
従来、多軸ロボットに装着された撮像装置が被写体を撮像した撮像画像に基づいて、被写体の異常の有無を判定する判定装置が知られている(例えば、特許文献1を参照)。
特許第6659324号公報
多軸ロボットに装着された撮像装置が撮像した撮像画像に基づいて、被写体であるワークにおける複数の特徴点の間の距離を測定する場合、多軸ロボットの位置決め精度に測定精度が影響される。多軸ロボットの位置決め精度がワークの測定に求められる精度よりも低い場合、多軸ロボットを用いてワークの測定をすることができないという問題があった。
そこで、本発明はこれらの点に鑑みてなされたものであり、多軸ロボットを用いてワークを測定する精度を向上させることを目的とする。
本発明の第1の態様に係る測定システムは、多軸ロボットと、前記多軸ロボットに結合された測定ユニットと、データ処理装置と、を備え、前記測定ユニットは、前記多軸ロボットの基準位置に対して移動可能な一以上の撮像デバイスと、前記基準位置に対する一以上の前記撮像デバイスの位置を特定する位置特定デバイスと、を有し、前記データ処理装置は、一以上の前記撮像デバイスが2つ以上の位置で撮像して生成した複数の撮像画像データを取得する取得部と、複数の前記撮像画像データに含まれるワークの特徴点の位置に基づいて、前記ワークにおける複数の前記特徴点の間の距離を測定する測定部と、を有する。
前記測定ユニットは、複数の前記撮像デバイスを有し、前記取得部は、複数の前記撮像デバイスそれぞれが1つ以上の位置で撮像して生成した複数の前記撮像画像データを取得してもよい。
前記位置特定デバイスは、前記撮像デバイスの位置を示す目盛りを含むスケールと、前記スケールに沿って移動する一以上のヘッド部と、を有し、一以上の前記撮像デバイスは、一以上の前記ヘッド部に結合された状態で前記スケールに沿って移動してもよい。
前記測定ユニットは、前記ヘッド部を移動させるヘッド駆動部をさらに有し、前記データ処理装置は、前記特徴点が前記撮像画像データに含まれる位置になるように前記ヘッド部の位置を制御するヘッド制御部をさらに有してもよい。
前記測定部は、第1位置において前記撮像デバイスが撮像して生成した撮像画像データに含まれる前記ワークの一端の位置と、前記第1位置と異なる第2位置において前記撮像デバイスが撮像して生成した撮像画像データに含まれる前記ワークの他端の位置との間の距離を測定してもよい。
前記測定部は、前記第1位置と前記第2位置とにおいて前記位置特定デバイスが特定した前記撮像デバイスの位置それぞれの間の距離、及び前記第1位置と前記第2位置とにおいて前記撮像デバイスが撮像して生成した前記撮像画像データそれぞれにおける基準位置と前記特徴点との間の距離に基づいて、前記ワークの一端の位置と前記ワークの他端の位置との間の距離を測定してもよい。
前記測定ユニットは、前記撮像デバイスから前記特徴点までの距離を測定する測距デバイスをさらに有し、前記測定部は、前記第1位置において前記測距デバイスが測定した前記撮像デバイスから前記特徴点までの第1距離と、前記第2位置において前記測距デバイスが測定した前記撮像デバイスから前記特徴点までの第2距離との関係に基づいて、前記ワークの一端の位置と前記ワークの他端の位置との間の距離を補正することにより、前記ワークの前記一端から前記他端までの長さを測定してもよい。
本発明の第2の態様に係る測定方法は、コンピュータが実行する、多軸ロボットに支持された一以上の撮像デバイスが2つ以上の位置で撮像して生成した複数の撮像画像データを取得するステップと、複数の前記撮像画像データに含まれるワークの特徴点の位置に基づいて、前記ワークにおける複数の前記特徴点の間の距離を測定するステップと、を有する。
本発明の第3の態様に係るプログラムは、コンピュータに、多軸ロボットに支持された一以上の撮像デバイスが2つ以上の位置で撮像して生成した複数の撮像画像データを取得するステップと、複数の前記撮像画像データに含まれるワークの特徴点の位置に基づいて、前記ワークにおける複数の前記特徴点の間の距離を測定するステップと、を実行させる。
本発明によれば、多軸ロボットを用いてワークを測定する精度を向上させることができるという効果を奏する。
測定システム1の概要を説明するための図である。 測定ユニット20の構成を示す図である。 データ処理装置30がワークWを測定する動作を説明するための図である。 データ処理装置30の構成を示す図である。 測距デバイス24の動作を説明するための図である。 測定システム1における処理シーケンスの例を示す図である。 データ処理装置30における動作の流れを示すフローチャートである。 第3変形例に係る測定ユニット20の構成の一例を示す図である。 第4変形例に係る測定ユニット20の構成の一例を示す図である。 第5変形例に係る測定ユニット20の構成の一例を示す図である。
[測定システム1の概要]
図1は、測定システム1の概要を説明するための図である。測定システム1は、多軸ロボット10と、測定ユニット20と、データ処理装置30と、を備える。多軸ロボット10及び測定ユニット20は、イントラネット若しくはインターネット等のネットワーク、又はUSB(Universal Serial Bus)のような接続線を介してデータ処理装置30に接続されている。測定システム1は、ワークWにおける複数の特徴点の間の距離を測定するためのシステムである。特徴点は、例えばワークWにおける、端部、凹凸を有する位置、又は他の位置と色が異なる位置である。
多軸ロボット10は、台11と、複数のアーム12(アーム12a、アーム12b、アーム12c)と、を有しており、アーム12aが台11に固定されている。アーム12は、複数の関節を有しており、アーム12cの先端に測定ユニット20が結合されている。多軸ロボット10は、データ処理装置30から入力される位置調整データに基づいてアーム12を移動させる。
測定ユニット20は、ボディ21と、位置特定デバイス22と、一以上の撮像デバイス23と、を有しており、ボディ21がアーム12cの先端に結合されている。位置特定デバイス22は、例えばリニアエンコーダであり、多軸ロボット10の基準位置に対する一以上の撮像デバイス23の位置を特定する。多軸ロボット10の基準位置は、例えばリニアエンコーダがアーム12cにより固定された位置、又はリニアエンコーダの原点位置である。本実施形態においては、リニアエンコーダがアーム12cにより固定された位置を多軸ロボット10の基準位置とする。
図2は、測定ユニット20の構成を示す図である。図2(a)は、測定ユニット20を側方から見た図である。図2(b)は、測定ユニット20を正面から見た図である。図2(a)に示すように、位置特定デバイス22は、スケール221と、ヘッド部222と、ヘッド駆動部223と、を有する。スケール221及びヘッド駆動部223は、ボディ21に収容されている。
スケール221は、撮像デバイス23の位置を示す目盛りを含み、多軸ロボット10の基準位置に対する撮像デバイス23の位置を示す。図2(b)に示す位置S1は、測定ユニット20がアーム12cにより固定された位置であり、多軸ロボット10の基準位置である。図2(b)においては、スケール221は、例えば位置S1と、撮像デバイス23の中心の位置である位置S2との距離、及び位置S2が位置S1の左側か右側かを示す情報を出力する。
ヘッド部222は、位置特定デバイス22と撮像デバイス23とを結合するための結合部材であり、スケール221に沿って移動する。測定ユニット20が一以上の撮像デバイス23を有する場合、測定ユニット20は、撮像デバイス23に対応する一以上のヘッド部222を有する。この場合、一以上の撮像デバイス23は、一以上のヘッド部222に結合された状態でスケール221に沿って移動する。
ヘッド駆動部223は、例えばデータ処理装置30から入力された位置調整データに基づいて、ヘッド部222をスケール221に沿って移動させる。一例として、ヘッド駆動部223は、スケール221に対して光を照射する発光素子(例えば発光ダイオード)と、発光素子が発した光がスケール221で反射した光を受ける受光素子を有している。ヘッド駆動部223は、スケール221に沿ってヘッド駆動部223が移動することにより生じる受光量の変化を示すデータを、撮像デバイス23の位置を示す位置データとしてデータ処理装置30に出力する。
図1に戻って、撮像デバイス23は、例えばカメラであり、ワークWを撮像して生成した撮像画像データをデータ処理装置30に出力する。撮像デバイス23は、多軸ロボット10の基準位置に対して移動可能であり、例えばボディ21の長手方向に移動することができる。
データ処理装置30は、例えばプログラムを実行することによりワークWにおける複数の特徴点の間の距離を測定するコンピュータである。データ処理装置30は、位置調整データを位置特定デバイス22に出力することにより、撮像デバイス23の位置がワークWの特徴点を撮像できる位置になるように撮像デバイス23を移動させる。データ処理装置30は、撮像デバイス23の位置を示す位置データを位置特定デバイス22から取得する。
データ処理装置30は、撮像デバイス23が2つ以上の位置で撮像して生成した撮像画像データを取得する。データ処理装置30は、撮像画像データに含まれるワークWの特徴点の位置に基づいて、ワークWにおける複数の特徴点の間の距離を測定する。
図3は、データ処理装置30がワークWを測定する動作を説明するための図である。図3(a)は、測定ユニット20及びワークWを上から見た図である。図3(b)は、撮像デバイス23aが位置P1においてワークWの特徴点E1を撮像した撮像画像を示す図である。図3(c)は、撮像デバイス23bが位置P2においてワークWの特徴点E2を撮像した撮像画像を示す図である。図3においては、一例として、データ処理装置30がワークWの特徴点E1とワークWの特徴点E2との間の距離を測定する。
以下、図3を参照しながらデータ処理装置30が特徴点E1と特徴点E2との間の距離を測定する動作の概要を説明する。データ処理装置30は、撮像デバイス23aと撮像デバイス23bとの間の距離Dを測定する。データ処理装置30は、位置特定デバイス22から取得した、基準位置P3に対する位置P1の位置を示す位置データと基準位置P3に対する位置P2の位置を示す位置データとに基づいて距離Dを測定する。
続いて、データ処理装置30は、撮像デバイス23aが位置P1において特徴点E1を撮像して生成した撮像画像データ(図3(b)に示す撮像画像に対応する撮像画像データ)及び撮像デバイス23bが位置P2において特徴点E2を撮像して生成した撮像画像データ(図3(c)に示す撮像画像に対応する撮像画像データ)を取得する。
データ処理装置30は、図3(b)に示す撮像画像に含まれる基準位置C1と特徴点E1との距離d1、及び図3(c)に示す撮像画像に含まれる基準位置C2と特徴点E2との距離d2を測定する。撮像画像に含まれる基準位置C1は、位置P1に対応する位置であり、例えば図3(b)に示す画像の中心の位置である。撮像画像に含まれる基準位置C2は、位置P2に対応する位置であり、例えば図3(c)に示す画像の中心の位置である。
データ処理装置30は、例えば図3(b)に示す撮像画像に含まれる基準位置C1と特徴点E1との間の画素の数と画素の大きさとに基づいて距離d1を測定し、図3(c)に示す撮像画像に含まれる基準位置C2と特徴点E2との間の画素の数と画素の大きさとに基づいて距離d2を測定する。例えば、距離d1に対応する画素の数が10画素であり、画素の一辺が3ミクロンである場合、データ処理装置30は、距離d1の測定結果が30ミクロンであると特定する。
データ処理装置30は、測定した距離D、距離d1及び距離d2に基づいて特徴点E1と特徴点E2との距離を測定する。図3においては、データ処理装置30は、「距離D+距離d1-距離d2」を算出することにより、特徴点E1と特徴点E2との距離を測定する。測定システム1がこのように動作することで、測定システム1は、位置特定デバイス22の精度及び撮像デバイス23が撮像した撮像画像の画素の大きさに対応する精度でワークWを測定することができる。したがって、測定システム1が十分な精度の位置特定デバイス22及び高解像度の撮像デバイス23を有することで、測定システム1は、多軸ロボット10の位置の精度よりも高い精度でワークWの特徴点間の距離を測定することができる。
なお、図3には撮像デバイス23a及び撮像デバイス23bを示しているが、撮像デバイス23aが撮像デバイス23bとして機能してもよい。撮像デバイス23aが撮像デバイス23bとして機能する場合、データ処理装置30は、例えば位置P1にある撮像デバイス23aが特徴点E1を撮像した後に、位置P2に移動させるための位置調整データを位置特定デバイス22に出力することにより、撮像デバイス23aを位置P1から位置P2に移動させる。
[データ処理装置30の構成]
図4は、データ処理装置30の構成を示す図である。データ処理装置30は、通信部31と、記憶部32と、制御部33と、を有する。制御部33は、取得部331と、ヘッド制御部332と、測定部333と、を有する。図4においては、データ処理装置30がワークWの距離を測定した測定結果を表示する表示装置40も示されている。
通信部31は、ネットワークを介して情報を送受信するための通信デバイスを含む。通信デバイスは、例えばLAN(Local Area Network)コントローラ、無線LANコントローラ、又はUSBコントローラである。記憶部32は、ROM(Read Only Memory)、RAM(Random Access Memory)及びSSD(Solid State Drive)等の記憶媒体を有する。記憶部32は、制御部33が実行するプログラムを記憶している。
制御部33は、例えばCPU(Central Processing Unit)である。制御部33は、記憶部32に記憶されているプログラムを実行することにより、取得部331、ヘッド制御部332及び測定部333として機能する。
取得部331は、一以上の撮像デバイス23が2つ以上の位置で撮像して生成した複数の撮像画像データを取得する。取得部331は、例えば撮像デバイス23が、図3(a)に示す撮像デバイス23aの位置及び撮像デバイス23bの位置で撮像して生成した複数の撮像画像データを取得する。取得部331は、測定ユニット20が複数の撮像デバイス23を有する場合、複数の撮像デバイス23それぞれが1つ以上の位置で撮像して生成した複数の撮像画像データを取得する。
取得部331は、位置特定デバイス22が特定した、多軸ロボット10の基準位置に対する撮像デバイス23の位置を示す位置データを取得する。取得部331は、測定ユニット20が複数の撮像デバイス23を有する場合、多軸ロボット10の基準位置に対する複数の撮像デバイス23それぞれの位置を示す位置データを取得する。
ヘッド制御部332は、特徴点が撮像画像データに含まれる位置になるようにヘッド部222の位置を制御する。ヘッド制御部332は、例えば取得部331が取得した撮像画像データに特徴点が含まれているか否かを判定する。ヘッド制御部332は、撮像画像データに特徴点が含まれていない場合、位置調整データをヘッド駆動部223に出力することにより、ヘッド部222を移動させる。ヘッド制御部332は、撮像画像データに特徴点が含まれている場合、位置調整データをヘッド駆動部223に出力しない。
具体的には、図3(b)に示す撮像画像にワークWが含まれていて、且つ特徴点E1が含まれていない場合、ヘッド制御部332は、撮像デバイス23aを左端の方向に移動させるために、ヘッド部222の位置を移動させる。一方、図3(b)に示す撮像画像にワークWが含まれていない場合、ヘッド制御部332は、撮像デバイス23aを右端の方向に移動させるために、ヘッド部222の位置を移動させる。
ヘッド制御部332は、多軸ロボット10が有するアーム12を移動させるための位置調整データを多軸ロボット10に出力してもよい。ヘッド制御部332は、例えば撮像デバイス23が撮像する領域に含まれる位置と特徴点の位置とが閾値を超える場合、多軸ロボット10に位置調整データを出力することにより、アーム12を移動させてもよい。閾値は、例えば撮像デバイス23が移動可能な範囲の最大値である。
測定部333は、複数の撮像画像データに含まれるワークWの特徴点の位置に基づいて、ワークWにおける複数の特徴点の間の距離を測定する。測定部333は、例えば多軸ロボット10の基準位置に対する撮像デバイス23の位置と、撮像デバイス23が撮像した撮像画像における基準位置に対する特徴点の位置とに基づいて、ワークWにおける複数の特徴点の間の距離を測定する。
測定部333は、例えば図3(a)に示す基準位置P3に対する位置P1及びP2と、図3(b)に示す基準位置C1に対する特徴点E1の位置と、図3(c)に示す基準位置C2に対する特徴点E2の位置とに基づいて、特徴点E1と特徴点E2との距離を測定する。測定部333は、測定した距離を示す測定結果を表示装置40に表示させる。
ワークWの特徴点がワークWの一端及び他端である場合、測定部333は、第1位置において撮像デバイス23が撮像して生成した撮像画像データに含まれるワークWの一端の位置を測定する。そして、測定部333は、第1位置と異なる第2位置において撮像デバイス23が撮像して生成した撮像画像データに含まれるワークWの他端の位置との間の距離を測定する。第1位置は、例えば図3(a)に示す位置P1であり、第2位置は、例えば図3(a)に示す位置P2である。
測定部333は、例えば図3(a)に示すワークWの一端の位置(特徴点E1)と他端の位置(特徴点E2)との間の距離を測定する。この場合、測定部333は、位置P1において撮像デバイス23aが撮像して生成した撮像画像データに含まれる特徴点E1と、位置P2において撮像デバイス23bが撮像して生成した撮像画像データに含まれる特徴点E2との間の距離を測定する。
測定部333は、例えば第1位置と第2位置とにおいて位置特定デバイス22が特定した撮像デバイス23の位置それぞれの間の距離を測定する。測定部333は、第1位置と第2位置とにおいて撮像デバイス23が撮像して生成した撮像画像データそれぞれにおける基準位置と特徴点との間の距離を測定する。測定部333は、測定した距離に基づいて、ワークWの一端の位置とワークWの他端の位置との間の距離を測定する。
測定部333は、例えば図3(b)及び図3(c)に示す撮像画像において、特徴点E1の位置と基準位置C1との距離d1及び特徴点E2の位置と基準位置C2との距離d2とを測定する。基準位置C1及び基準位置C2は、それぞれ図3(b)及び図3(c)に示す撮像画像の中心の位置である。
測定部333は、距離d1及び距離d2それぞれに対応する画素の数と、画素の大きさとを特定することにより、距離d1及び距離d2を測定する。測定部333は、測定した距離d1、距離d2及び撮像デバイス23aと撮像デバイス23bとの距離Dに基づいて、ワークWにおける特徴点E1と特徴点E2との距離を特定する。測定部333がこのように動作することで、測定部333は、位置特定デバイス22の精度及び撮像画像に含まれる画素の大きさに対応する精度で複数の特徴点の間の距離を測定できる。その結果、測定部333は、多軸ロボット10の位置決め精度よりも高い精度で距離を測定できる。
[ワークWまでの距離に基づく補正]
測定部333は、測定ユニット20が測定した、撮像デバイス23から特徴点までの距離に基づいてワークWの一端から他端までの長さを補正してもよい。この場合、測定ユニット20は、例えば撮像デバイス23から特徴点までの距離を測定する測距デバイス24をさらに有する。図5は、測距デバイス24の動作を説明するための図である。図5は、測定ユニット20及びワークWを上から見た図である。図5においては、ヘッド部222a及びヘッド部222bに測距デバイス24a及び測距デバイス24bがそれぞれ結合されている。
測距デバイス24aは、撮像デバイス23aと特徴点E1との距離である距離L1を測定する。測距デバイス24bは、撮像デバイス23bと特徴点E2との距離である距離L2を測定する。測定ユニット20は、測距デバイス24a及び測距デバイス24bが測定した距離L1及び距離L2をデータ処理装置30に出力する。
図4に戻って、測定部333は、第1位置において測距デバイス24が測定した撮像デバイス23から特徴点までの第1距離と、第2位置において測距デバイス24が測定した撮像デバイス23から特徴点までの第2距離との関係に基づいて、ワークWの一端の位置とワークWの他端の位置との間の距離を補正する。測定部333は、補正した距離に基づいて、ワークWの一端から他端までの長さを測定する。
測定部333は、例えば図5において、第1位置である位置P1において測距デバイス24aが測定した撮像デバイス23aから特徴点E1までの第1距離である距離L1を取得する。測定部333は、第2位置である位置P2において測距デバイス24bが測定した撮像デバイス23bから特徴点E2までの第2距離である距離L2を取得する。測定部333は、取得した距離L1と距離L2との差、及び位置P1と位置P2との距離Dに基づいて、測定ユニット20の長手方向に対するワークWの傾きである角度θを算出する。
測定部333は、角度θに基づいて、ワークWの一端の位置とワークWの他端の位置との間の距離を補正することにより、ワークWの一端から他端までの距離を測定する。測定部333がこのように動作することで、測定部333は、ワークWが測定ユニット20の長手方向に対して平行でない場合であっても、測定した複数の特徴点の間の距離を角度θに基づいて補正することにより、高い精度でワークWの一端から他端までの距離を測定できる。
なお、データ処理装置30は、距離L1と距離L2とが同じ距離になるようにアーム12を移動させた後にワークWの一端から他端までの距離を測定してもよい。データ処理装置30においては、例えば測定部333が算出した角度θに基づいてアーム12を移動させる位置を特定し、アーム12を移動させるための位置調整データをヘッド制御部332から多軸ロボット10に出力してもよい。具体的には、データ処理装置30は、測定部333が算出した角度θがゼロに近づくようにアーム12を移動させてもよい。
[測定システム1における処理シーケンス]
図6は、測定システム1における処理シーケンスの例を示す図である。図6は、測定ユニット20及びデータ処理装置30の間で送受信されるデータの一部を示している。図6に示す処理シーケンスは、位置特定デバイス22が多軸ロボット10の基準位置に対する撮像デバイス23の位置を特定する時点から開始している(S11)。
撮像デバイス23は、ワークWを撮像する(S12)。測定ユニット20は、位置特定デバイス22が特定した撮像デバイス23の位置を示す位置データと、撮像デバイス23が撮像して生成した撮像画像データとをデータ処理装置30に出力する。データ処理装置30は、取得した撮像画像データに特徴点が含まれているか否かを判定する(S13)。
撮像画像データに特徴点が含まれていない場合(S13のYES)、データ処理装置30は、撮像デバイス23の位置を調整する(S14)。データ処理装置30は、撮像デバイス23を移動させるための位置調整データを測定ユニット20に出力する。
測定ユニット20は、位置調整データを取得したことに応じて、ヘッド駆動部223にヘッド部222を移動させることにより、撮像デバイス23を所定の位置に移動させる(S15)。この後、測定ユニット20は、ステップS11に戻る。撮像画像データに特徴点が含まれている場合(S13のNO)、データ処理装置30は、ワークWにおける複数の特徴点の間の距離を測定する(S16)。
[データ処理装置30における動作の流れ]
図7は、データ処理装置30における動作の流れを示すフローチャートである。取得部331は、多軸ロボット10の基準位置に対する撮像デバイス23の位置を示す位置データを取得する(S21)。取得部331は、撮像デバイス23から撮像画像データを取得する(S22)。
ヘッド制御部332は、取得部331が取得した撮像画像データに特徴点が含まれるか否かを判定する(S23)。撮像画像データに特徴点が含まれない場合(S23のNO)、ヘッド制御部332は、多軸ロボット10又は測定ユニット20に位置調整データを出力する(S24)。撮像画像データに特徴点が含まれる場合(S23のYES)、測定部333は、多軸ロボット10の基準位置に対する撮像デバイス23の位置に基づいて、複数の撮像デバイス23の間の距離を測定する。
続いて、測定部333は、撮像画像データに含まれる基準位置と特徴点との間の距離を測定する(S25)。測定部333は、複数の撮像デバイス23の間の距離と撮像画像データに含まれる基準位置と特徴点との間の距離とに基づいて、複数の特徴点の間の距離を測定する(S26)。
データ処理装置30は、処理を終了する処理が行われていない場合(S27のNO)、S21からS26までの処理を繰り返す。処理を終了する操作が行われた場合(S27のYES)、データ処理装置30は、処理を終了する。
[第1変形例]
以上の説明においては、測定ユニット20において一以上の撮像デバイス23がスケール221に沿って直線状に配置された場合の動作を例示したが、これに限らない。測定ユニット20は、例えば格子状に配置された複数の撮像デバイス23を有していてもよい。この場合、測定部333は、例えば複数の撮像デバイス23のうち、特徴点が含まれている撮像画像データを生成した複数の撮像デバイス23の間の距離Dを測定する。測定部333は、複数の撮像デバイス23のそれぞれの撮像画像データに特徴点が含まれるか否かを判定し、特徴点が含まれている場合、撮像画像データに含まれる特徴点の位置と撮像画像の中心位置との距離(例えば図3に示す距離d1、距離d2)を測定する。測定部333は、距離D、距離d1及び距離d2に基づいて、ワークWに含まれる複数の特徴点の間の距離を測定する。
さらに、格子状に配置された複数の撮像デバイス23それぞれは、水平方向又は水平方向と直交する方向に設けられたスケール221に沿って移動してもよい。撮像デバイス23がこのように動作することで、撮像デバイス23は、撮像する位置までの移動量を小さくすることができる。その結果、測定ユニット20が、より目盛りが小さいスケール221、又は、よりサイズが小さいスケール221を設けることができるので、測定部333は、ワークWを測定する精度を向上させることができる。
[第2変形例]
以上の説明においては、一以上の撮像デバイス23がスケール221に沿って移動できる方向におけるワークWの距離を測定する動作を例示したが、これに限らない。測定システム1は、例えば撮像デバイス23よりも視野角が広い撮像デバイス(不図示)が撮像して生成した撮像画像データに基づいてワークWの方向を特定し、特定した方向と測定ユニット20の長手方向とが一致するようにアーム12を回転させてもよい。測定システム1は、アーム12を回転させた後に撮像デバイス23が撮像して生成した撮像画像データに基づいて、ワークWの距離を測定する。測定システム1がこのように構成されていることで、測定システム1はワークWの方向によらずワークWの複数の特徴点間の距離を測定することができる。
[第3変形例]
以上の説明においては、ヘッド部222に結合されている測距デバイス24が撮像デバイス23とワークWの特徴点との距離を測定する動作を例示したが、これに限らない。測距デバイス24は、ヘッド部222と異なる位置に結合されていてもよい。図8は、第3変形例に係る測定ユニット20の構成の一例を示す図である。図8に示す測定ユニット20は、ボディ21における四隅近傍の位置に複数の測距デバイス24(測距デバイス24a、24b、24c、24d)を有する点で図2及び図5に示す測定ユニット20と異なり、他の点において同じである。
複数の測距デバイス24は、ワークWにおける複数の測距デバイス24に対応する複数の特徴点それぞれと複数の特徴点それぞれに対応する測距デバイス24との距離を測定する。測定ユニット20は、複数の測距デバイス24が測定した複数の距離をデータ処理装置30に出力する。データ処理装置30は、測定ユニット20から取得した複数の距離に基づいて、測定ユニット20の長手方向に対するワークWの傾きと、測定ユニット20の長手方向と直交する方向に対するワークWの傾きとを算出する。
データ処理装置30は、例えば測距デバイス24a及び測距デバイス24bが測定した距離、又は測距デバイス24c及び測距デバイス24dが測定した距離に基づいて測定ユニット20の長手方向に対するワークWの傾きを算出する。データ処理装置30は、測距デバイス24a及び測距デバイス24dが測定した距離、又は測距デバイス24b及び測距デバイス24cが測定した距離に基づいて測定ユニット20の長手方向と直交する方向に対するワークWの傾きを算出する。
測定ユニット20及びデータ処理装置30がこのように動作することで、データ処理装置30は、測定ユニット20とワークWとが複数の方向において傾いている場合であっても、複数の測距デバイス24が測定した距離に基づいて複数の方向の傾きを算出することにより、ワークWの一端から他端までの距離を測定できる。
なお、データ処理装置30は、ワークWにおける複数の測距デバイス24に対応する複数の特徴点それぞれと複数の特徴点それぞれに対応する測距デバイス24との距離が同じ距離になるようにアーム12を移動させてもよい。データ処理装置30においては、例えば測定部333が算出した、測定ユニット20の長手方向に対するワークWの傾き及び測定ユニット20の長手方向と直交する方向に対するワークWの傾きに基づいてアーム12を移動させる位置を特定する。続いて、ヘッド制御部332がアーム12を移動させるための位置調整データを多軸ロボット10に出力する。
[第4変形例]
以上の説明においては、ボディ21における四隅近傍の位置に複数の測距デバイス24を有する測定ユニット20が複数の測距デバイス24それぞれとワークWにおける複数の測距デバイス24に対応する複数の特徴点それぞれとの距離を測定する動作を例示したが、これに限らない。測定ユニット20は、ヘッド部222における複数の位置に複数の測距デバイス24を有していてもよい。図9は、第4変形例に係る測定ユニット20の構成の一例を示す図である。図9に示す測定ユニット20は、ヘッド部222の上端近傍の位置及び下端近傍の位置に複数の測距デバイス(測距デバイス24a、24b)を有する点で図8に示す測定ユニット20と異なり、他の点において同じである。
複数の測距デバイス24は、例えば図9に示す位置P1及び位置P2において、ワークWにおける複数の測距デバイス24に対応する複数の特徴点それぞれと複数の特徴点それぞれに対応する測距デバイス24との距離を測定する。データ処理装置30は、位置P1において測距デバイス24aが測定した距離と位置P2において測距デバイス24aが測定した距離とに基づいて測定ユニット20の長手方向に対するワークWの傾きを算出する。データ処理装置30は、位置P1において測距デバイス24aが測定した距離と位置P1において測距デバイス24bが測定した距離とに基づいて測定ユニットの長手方向と直交する方向に対するワークWの傾きを算出する。
ワークWにおける複数の特徴点の位置は複数のワークWそれぞれにおいて異なるため、ワークWにおける特徴点の位置がワークWにおける測距デバイス24に対応する位置と異なる場合がある。これに対して、測定ユニット20は、ワークWにおける複数の特徴点それぞれに対応する位置にヘッド部222を移動させることにより、ワークWにおける特徴点の位置とワークWにおける測距デバイス24に対応する位置とをあわせることができる。その結果、測定ユニット20は、複数の特徴点それぞれと測距デバイス24との距離を測定することができる。そして、データ処理装置30は、複数の測距デバイス24が測定した距離に基づいて複数の方向の傾きを算出することにより、ワークWの一端から他端までの距離を測定できる。
[第5変形例]
以上の説明においては、測距デバイス24とワークWにおける測距デバイス24に対応する特徴点との距離を複数の測距デバイス24が測定することにより、測定ユニット20が測定ユニット20とワークWとの傾きを算出する動作を例示したが、これに限らない。測定ユニット20は、測定ユニット20とワークWとの傾きを測定するセンサを有していてもよい。図10は、第5変形例に係る測定ユニット20の構成の一例を示す図である。図10に示す測定ユニット20は、測定デバイス25を有する点で図8及び図9に示す測定ユニット20と異なり、他の点において同じである。
測定デバイス25は、例えばLiDAR(Light Detection And Ranging)センサである。測定デバイス25は、測定ユニット20とワークWとの傾き、及びワークWにおける複数の特徴点それぞれと複数の特徴点それぞれに対応する測定ユニット20における位置との距離を測定する。測定ユニット20は、測定デバイス25が測定した測定結果に基づいてワークWの一端から他端までの距離を測定する。
[第6変形例]
以上の説明においては、ヘッド駆動部223が受光素子を有している場合の動作を例示したが、これに限らない。受光素子は、ボディ21の内側であって、スケール221とアーム12cとの間に備えられていてもよい。
[測定システム1による効果]
以上説明したように、測定システム1は、多軸ロボット10と、多軸ロボット10に結合された測定ユニット20と、データ処理装置30とを備えており、測定ユニット20は、多軸ロボット10の基準位置に対して移動可能な撮像デバイス23と、基準位置に対する撮像デバイス23の位置を特定する位置特定デバイス22とを有する。
そして、データ処理装置30が、撮像デバイス23が撮像して生成した撮像画像データに含まれるワークWの特徴点の位置に基づいて、ワークWにおける複数の特徴点の間の距離を測定する。測定システム1がこのように動作することで、測定システム1は、多軸ロボット10の位置決め精度よりも高い精度でワークWにおける複数の特徴点の間の距離を測定できるため、多軸ロボット10を用いてワークWを測定する精度を向上させることができる。
さらに、測定システム1においては、多軸ロボット10が有するアーム12の先端に測定ユニット20が固定されているため、測定システム1は、アーム12を回転させることにより、測定ユニット20の長手方向とワークWの方向とを一致させることができる。その結果、測定システム1は、ワークWの方向によらずワークWに含まれる複数の特徴点の間の距離を測定することができる。
以上、本発明を実施の形態を用いて説明したが、本発明の技術的範囲は上記実施の形態に記載の範囲には限定されず、その要旨の範囲内で種々の変形及び変更が可能である。例えば、装置の全部又は一部は、任意の単位で機能的又は物理的に分散・統合して構成することができる。また、複数の実施の形態の任意の組み合わせによって生じる新たな実施の形態も、本発明の実施の形態に含まれる。組み合わせによって生じる新たな実施の形態の効果は、もとの実施の形態の効果を併せ持つ。
1 測定システム
10 多軸ロボット
11 台
12 アーム
20 測定ユニット
21 ボディ
22 位置特定デバイス
23 撮像デバイス
24 測距デバイス
25 測定デバイス
30 データ処理装置
31 通信部
32 記憶部
33 制御部
331 取得部
332 ヘッド制御部
333 測定部

Claims (9)

  1. 多軸ロボットと、前記多軸ロボットに結合された測定ユニットと、データ処理装置と、を備え、
    前記測定ユニットは、
    前記多軸ロボットの基準位置に対して移動可能な一以上の撮像デバイスと、
    前記基準位置に対する一以上の前記撮像デバイスの位置を特定する位置特定デバイスと、
    を有し、
    前記データ処理装置は、
    一以上の前記撮像デバイスが2つ以上の位置で撮像して生成した複数の撮像画像データを取得する取得部と、
    複数の前記撮像画像データに含まれるワークの特徴点の位置に基づいて、前記ワークにおける複数の前記特徴点の間の距離を測定する測定部と、
    を有する、測定システム。
  2. 前記測定ユニットは、複数の前記撮像デバイスを有し、
    前記取得部は、複数の前記撮像デバイスそれぞれが1つ以上の位置で撮像して生成した複数の前記撮像画像データを取得する、
    請求項1に記載の測定システム。
  3. 前記位置特定デバイスは、
    前記撮像デバイスの位置を示す目盛りを含むスケールと、
    前記スケールに沿って移動する一以上のヘッド部と、
    を有し、
    一以上の前記撮像デバイスは、一以上の前記ヘッド部に結合された状態で前記スケールに沿って移動する、
    請求項1又は2に記載の測定システム。
  4. 前記測定ユニットは、
    前記ヘッド部を移動させるヘッド駆動部をさらに有し、
    前記データ処理装置は、
    前記特徴点が前記撮像画像データに含まれる位置になるように前記ヘッド部の位置を制御するヘッド制御部をさらに有する、
    請求項3に記載の測定システム。
  5. 前記測定部は、第1位置において前記撮像デバイスが撮像して生成した撮像画像データに含まれる前記ワークの一端の位置と、前記第1位置と異なる第2位置において前記撮像デバイスが撮像して生成した撮像画像データに含まれる前記ワークの他端の位置との間の距離を測定する、
    請求項1から4のいずれか一項に記載の測定システム。
  6. 前記測定部は、前記第1位置と前記第2位置とにおいて前記位置特定デバイスが特定した前記撮像デバイスの位置それぞれの間の距離、及び前記第1位置と前記第2位置とにおいて前記撮像デバイスが撮像して生成した前記撮像画像データそれぞれにおける基準位置と前記特徴点との間の距離に基づいて、前記ワークの一端の位置と前記ワークの他端の位置との間の距離を測定する、
    請求項5に記載の測定システム。
  7. 前記測定ユニットは、
    前記撮像デバイスから前記特徴点までの距離を測定する測距デバイスをさらに有し、
    前記測定部は、前記第1位置において前記測距デバイスが測定した前記撮像デバイスから前記特徴点までの第1距離と、前記第2位置において前記測距デバイスが測定した前記撮像デバイスから前記特徴点までの第2距離との関係に基づいて、前記ワークの一端の位置と前記ワークの他端の位置との間の距離を補正することにより、前記ワークの前記一端から前記他端までの長さを測定する、
    請求項5又は6に記載の測定システム。
  8. コンピュータが実行する、
    多軸ロボットに支持された一以上の撮像デバイスが2つ以上の位置で撮像して生成した複数の撮像画像データを取得するステップと、
    複数の前記撮像画像データに含まれるワークの特徴点の位置に基づいて、前記ワークにおける複数の前記特徴点の間の距離を測定するステップと、
    を有する、測定方法。
  9. コンピュータに、
    多軸ロボットに支持された一以上の撮像デバイスが2つ以上の位置で撮像して生成した複数の撮像画像データを取得するステップと、
    複数の前記撮像画像データに含まれるワークの特徴点の位置に基づいて、前記ワークにおける複数の前記特徴点の間の距離を測定するステップと、
    を実行させるためのプログラム。

JP2021143284A 2021-09-02 2021-09-02 測定システム、測定方法及びプログラム Pending JP2023036302A (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
JP2021143284A JP2023036302A (ja) 2021-09-02 2021-09-02 測定システム、測定方法及びプログラム
DE102022002870.0A DE102022002870A1 (de) 2021-09-02 2022-08-08 Messsystem, messverfahren und programm
US17/893,791 US20230062780A1 (en) 2021-09-02 2022-08-23 Measurement system, measurement method and non-transitory storage medium
CN202211026940.9A CN115752246A (zh) 2021-09-02 2022-08-25 测量系统、测量方法和存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2021143284A JP2023036302A (ja) 2021-09-02 2021-09-02 測定システム、測定方法及びプログラム

Publications (1)

Publication Number Publication Date
JP2023036302A true JP2023036302A (ja) 2023-03-14

Family

ID=85175180

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2021143284A Pending JP2023036302A (ja) 2021-09-02 2021-09-02 測定システム、測定方法及びプログラム

Country Status (4)

Country Link
US (1) US20230062780A1 (ja)
JP (1) JP2023036302A (ja)
CN (1) CN115752246A (ja)
DE (1) DE102022002870A1 (ja)

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6659324B2 (ja) 2015-11-26 2020-03-04 トヨタ自動車株式会社 鋳造装置および該鋳造装置における冷媒の漏れを検出する方法並びに漏れ検出装置
JP2018051728A (ja) * 2016-09-30 2018-04-05 ファナック株式会社 対象物の三次元位置を検出する検出方法および検出装置
WO2022014458A1 (ja) * 2020-07-13 2022-01-20 ファナック株式会社 検出装置及び検出方法
US20240046401A1 (en) * 2020-10-30 2024-02-08 Nikon Corporation Robot system, robot arm, end effector, and adapter
KR20220166040A (ko) * 2021-06-09 2022-12-16 현대자동차주식회사 로봇팔을 이용한 품질 검증 시스템 및 방법

Also Published As

Publication number Publication date
US20230062780A1 (en) 2023-03-02
CN115752246A (zh) 2023-03-07
DE102022002870A1 (de) 2023-03-02

Similar Documents

Publication Publication Date Title
JP5602392B2 (ja) 情報処理装置、情報処理方法およびプログラム
US9437005B2 (en) Information processing apparatus and information processing method
US8588974B2 (en) Work apparatus and calibration method for the same
CN112276936B (zh) 三维数据生成装置以及机器人控制系统
US10571254B2 (en) Three-dimensional shape data and texture information generating system, imaging control program, and three-dimensional shape data and texture information generating method
US20130230235A1 (en) Information processing apparatus and information processing method
JP2016516196A (ja) 6自由度において追跡される構造化光スキャナの補正
KR102314092B1 (ko) 로봇의 캘리브레이션 장치 및 그 방법
JP2007101197A (ja) 物体探索装置,物体探索装置を備えるロボットシステム及び物体探索方法
EP3322959B1 (en) Method for measuring an artefact
JP2019063954A (ja) ロボットシステム、キャリブレーション方法及びキャリブレーションプログラム
JP6180158B2 (ja) 位置姿勢計測装置、位置姿勢計測装置の制御方法、およびプログラム
CN103712572A (zh) 结构光源与相机结合的物体轮廓三维坐标测量装置
JP6420530B2 (ja) 情報処理装置、計測システム、制御システム、光量決定方法、プログラム及び記憶媒体
JPWO2018043524A1 (ja) ロボットシステム、ロボットシステム制御装置、およびロボットシステム制御方法
WO2018168757A1 (ja) 画像処理装置、システム、画像処理方法、物品の製造方法、プログラム
JP2014228527A (ja) 画像測定装置
JP2015007639A (ja) 情報処理装置、情報処理方法およびプログラム
JP6043974B2 (ja) 三次元位置測定装置、三次元測定装置及び三次元位置測定プログラム
JP5740649B2 (ja) 画像測定装置、オートフォーカス制御方法及びオートフォーカス制御プログラム
JP6500560B2 (ja) 光学式センサーの校正方法、及び三次元座標測定機
JP6565367B2 (ja) 位置補正システム
JP2023036302A (ja) 測定システム、測定方法及びプログラム
WO2022124232A1 (ja) 画像処理システム及び画像処理方法
CN116194252A (zh) 机器人系统

Legal Events

Date Code Title Description
RD02 Notification of acceptance of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7422

Effective date: 20231014

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20240821