JP2023008815A - 感知標識を利用した装備の組立ばらつき補正および工程誤差補正装置および、これを利用した組立ばらつき補正および工程遂行誤差補正方法 - Google Patents

感知標識を利用した装備の組立ばらつき補正および工程誤差補正装置および、これを利用した組立ばらつき補正および工程遂行誤差補正方法 Download PDF

Info

Publication number
JP2023008815A
JP2023008815A JP2022078833A JP2022078833A JP2023008815A JP 2023008815 A JP2023008815 A JP 2023008815A JP 2022078833 A JP2022078833 A JP 2022078833A JP 2022078833 A JP2022078833 A JP 2022078833A JP 2023008815 A JP2023008815 A JP 2023008815A
Authority
JP
Japan
Prior art keywords
unit
frame
sensing
marker
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2022078833A
Other languages
English (en)
Other versions
JP7423091B2 (ja
Inventor
イル イム、ナム
Nam Il Lim
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Realook&company Co ltd
Original Assignee
Realook&company Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Realook&company Co ltd filed Critical Realook&company Co ltd
Publication of JP2023008815A publication Critical patent/JP2023008815A/ja
Application granted granted Critical
Publication of JP7423091B2 publication Critical patent/JP7423091B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G01MEASURING; TESTING
    • G01BMEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00Measuring arrangements characterised by the use of optical techniques
    • G01B11/002Measuring arrangements characterised by the use of optical techniques for measuring two or more coordinates
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01BMEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00Measuring arrangements characterised by the use of optical techniques
    • G01B11/02Measuring arrangements characterised by the use of optical techniques for measuring length, width or thickness
    • G01B11/022Measuring arrangements characterised by the use of optical techniques for measuring length, width or thickness by means of tv-camera scanning
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/70Determining position or orientation of objects or cameras
    • G06T7/73Determining position or orientation of objects or cameras using feature-based methods
    • G06T7/74Determining position or orientation of objects or cameras using feature-based methods involving reference images or patches
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05BCONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B19/00Programme-control systems
    • G05B19/02Programme-control systems electric
    • G05B19/18Numerical control [NC], i.e. automatically operating machines, in particular machine tools, e.g. in a manufacturing environment, so as to execute positioning, movement or co-ordinated operations by means of programme data in numerical form
    • G05B19/402Numerical control [NC], i.e. automatically operating machines, in particular machine tools, e.g. in a manufacturing environment, so as to execute positioning, movement or co-ordinated operations by means of programme data in numerical form characterised by control arrangements for positioning, e.g. centring a tool relative to a hole in the workpiece, additional detection means to correct position
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B23MACHINE TOOLS; METAL-WORKING NOT OTHERWISE PROVIDED FOR
    • B23QDETAILS, COMPONENTS, OR ACCESSORIES FOR MACHINE TOOLS, e.g. ARRANGEMENTS FOR COPYING OR CONTROLLING; MACHINE TOOLS IN GENERAL CHARACTERISED BY THE CONSTRUCTION OF PARTICULAR DETAILS OR COMPONENTS; COMBINATIONS OR ASSOCIATIONS OF METAL-WORKING MACHINES, NOT DIRECTED TO A PARTICULAR RESULT
    • B23Q15/00Automatic control or regulation of feed movement, cutting velocity or position of tool or work
    • B23Q15/007Automatic control or regulation of feed movement, cutting velocity or position of tool or work while the tool acts upon the workpiece
    • B23Q15/12Adaptive control, i.e. adjusting itself to have a performance which is optimum according to a preassigned criterion
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00Programme-controlled manipulators
    • B25J9/16Programme controls
    • B25J9/1679Programme controls characterised by the tasks executed
    • B25J9/1692Calibration of manipulator
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00Programme-controlled manipulators
    • B25J9/16Programme controls
    • B25J9/1694Programme controls characterised by use of sensors other than normal servo-feedback from position, speed or acceleration sensors, perception control, multi-sensor controlled systems, sensor fusion
    • B25J9/1697Vision controlled systems
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01BMEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00Measuring arrangements characterised by the use of optical techniques
    • G01B11/14Measuring arrangements characterised by the use of optical techniques for measuring distance or clearance between spaced objects or spaced apertures
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01BMEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00Measuring arrangements characterised by the use of optical techniques
    • G01B11/26Measuring arrangements characterised by the use of optical techniques for measuring angles or tapers; for testing the alignment of axes
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01CMEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C9/00Measuring inclination, e.g. by clinometers, by levels
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05BCONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B19/00Programme-control systems
    • G05B19/02Programme-control systems electric
    • G05B19/18Numerical control [NC], i.e. automatically operating machines, in particular machine tools, e.g. in a manufacturing environment, so as to execute positioning, movement or co-ordinated operations by means of programme data in numerical form
    • G05B19/4155Numerical control [NC], i.e. automatically operating machines, in particular machine tools, e.g. in a manufacturing environment, so as to execute positioning, movement or co-ordinated operations by means of programme data in numerical form characterised by programme execution, i.e. part programme or machine function execution, e.g. selection of a programme
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/20Analysis of motion
    • G06T7/269Analysis of motion using gradient-based methods
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05BCONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00Program-control systems
    • G05B2219/30Nc systems
    • G05B2219/36Nc in input of data, input key till input tape
    • G05B2219/36088Machining parameters, overide
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05BCONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00Program-control systems
    • G05B2219/30Nc systems
    • G05B2219/39Robotics, robotics to robotics hand
    • G05B2219/39024Calibration of manipulator
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30204Marker

Landscapes

  • Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Mechanical Engineering (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Automation & Control Theory (AREA)
  • Manufacturing & Machinery (AREA)
  • Human Computer Interaction (AREA)
  • Theoretical Computer Science (AREA)
  • Robotics (AREA)
  • Multimedia (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Machine Tool Sensing Apparatuses (AREA)
  • Studio Devices (AREA)
  • Control Of Position Or Direction (AREA)

Abstract

【課題】装置の組立と駆動時に隙間と公差によって発生するばらつきをリアルタイムで最小化させること。【解決手段】本発明の実施例に係る工程誤差補正装置は、フレーム410、フレームを中心にフレームの内部または外部に形成され、所定の工程を遂行する機構部、フレームを中心にフレームの内部または外部に形成され、所定の移送を遂行する移送部、フレーム、機構部または移送部に形成される感知標識10、フレームの内部または外部に形成されて感知標識に対する撮像を遂行して撮像イメージを生成する撮像部100、およびフレーム、機構部または移送部に形成された感知標識を撮像した撮像部から伝達された撮像イメージを分析して、感知標識のイメージ変化値を導き出すことによって、フレーム、機構部または移送部のX、Y、Z軸の位置変化値と角度変化値(θx、θy、θz)を導き出す測定部;を含む。【選択図】図1

Description

本発明は感知標識を利用した装備の組立ばらつき補正および工程誤差補正装置および、これを利用した組立ばらつき補正および工程遂行誤差補正方法に関し、さらに詳細には、エイプリルタグなどのような感知用標識とカメラを利用して装置を構成する各フレーム、機構部、移送部、移動部、測定部、柔軟機構などのX、Y、Z軸の位置変化値と角度変化値(θx、θy、θz)を持続的にリアルタイムモニタリングして装備の組立と駆動時に隙間と公差によって発生するばらつきをリアルタイムで減少させる技術に関する。
これまで産業全般にわたって物体を3次元で復元しようとする試みは絶えることなく続けられてきており、コンピュータビジョン技術の発達により物体を3次元で復元することも実際に可能となった。この中でレーザーやパターン光を利用した場合、正確度は高いが装備の価格が高く実の使用が難しいという短所があり、これとは反対に人為的な光源を使わない3次元復元技術は能動方式に比べて精密度は落ちるが装備が簡便であるという長所がある。
このうちカメラを使う方式は、カメラの解像度と性能の向上によって活発に研究されており、その方法にはStructure From Motion(SFM)、ステレオビジョン(stereo vision)等の方式と空間をボクセル(voxel)で定義した後、ボクセルを各イメージに投影して色相の一貫性と可視性を満足するボクセルのみを残す空間彫刻方式がある。しかし、このような方式は復元対象がテクスチャが足りないか色相がほとんど類する場合は適用し難い短所がある。
これに反し、エイプリルタグ(Apriltag)は拡張現実、ロボット工学およびカメラ補正を含んだ多様な作業に有用な視覚的基準であって、一般のプリンタでもターゲットを容易に生成でき、感知ソフトウェアを通じて照明や視野角の制約があってもカメラでタグの正確な3D位置、方向などを計算することができる。
エイプリルタグは、2次元バーコードの一種であるという点でQRコード(登録商標)と概念的に類似しているが、それよりはるかに小さいデータペイロード(4~12ビット)をエンコーディングするように設計されて、さらに強力でさらに長い範囲で感知が可能で、探知率と正確度の側面で高い正確度を有し、3D位置を計算することができる。
大韓民国公開特許第10-2021-0057586号(発明の名称:ブラインドウォーターマーキング技術を利用したカメラ基盤側位方法およびシステム)では、コンピュータシステムで実行される側位方法において、前記コンピュータシステムはメモリに含まれたコンピュータ読み取り可能な命令を実行するように構成された少なくとも一つのプロセッサを含み、前記側位方法は、前記少なくとも一つのプロセッサによって、クエリイメージで非可視的なマーカー(invisible marker)が含まれた合成イメージを認識する段階;および前記少なくとも一つのプロセッサによって、前記マーカーの識別タグとマッチングされた座標に基づいて前記クエリイメージのポーズ(pose)を計算する段階を含む側位方法が開示されている。
大韓民国公開特許第10-2021-0057586号
前記のような問題点を解決するための本発明の目的は、エイプリルタグなどのような感知用標識とカメラを利用して装置を構成する各フレーム、機構部、移送部、移動部、測定部、柔軟機構などのX、Y、Z軸の位置変化値と角度変化値(θx、θy、θz)を持続的にリアルタイムモニタリングして装置の組立と駆動時に隙間と公差によって発生するばらつきをリアルタイムで最小化させることである。
本発明が達成しようとする技術的課題は以上で言及した技術的課題に制限されず、言及されていないさらに他の技術的課題は以下の記載から本発明が属する技術分野で通常の知識を有する者に明確に理解され得るであろう。
前記のような目的を達成するための本発明の構成は、フレーム;前記フレームを中心に前記フレームの内部または外部に形成され、所定の工程を遂行する機構部;前記フレームを中心に前記フレームの内部または外部に形成され、所定の移送を遂行する移送部;前記フレーム、前記機構部または前記移送部に形成される感知標識;前記フレームの内部または外部に形成されて前記感知標識に対する撮像を遂行して撮像イメージを生成する撮像部;および前記フレーム、前記機構部または前記移送部に形成された前記感知標識を撮像した前記撮像部から伝達された前記撮像イメージを分析して、前記感知標識のイメージ変化値を導き出すことによって、前記フレーム、前記機構部または前記移送部の3次元位置変化値を導き出す測定部;を含む。
本発明の実施例において、前記感知標識はエイプリルタグ(AprilTag)、アルコマーカー(Aruco marker)、エーアールタグ(ARtag)またはエーアールツールキット(ARToolKit)であり得る。
本発明の実施例において、前記測定部は、前記フレーム、前記機構部または前記移送部の3次元位置変化値により前記機構部または前記移送部の3次元位置が補正されるように前記機構部または前記移送部に制御信号を伝達することができる。
本発明の実施例において、前記感知標識は刻印、プリンティングまたは付着されて形成され得る。
本発明の実施例において、前記撮像部および前記フレームと結合し、前記撮像部を移動させる移送部をさらに含むことができる。
本発明の実施例において、前記測定部は、類似するピクセルグラジエントのクラスタで最小二乗法(LSM)を使って前記撮像イメージ内の前記感知標識のイメージで線分を感知することができる。
本発明の実施例において、前記測定部は、感知標識の3次元傾きまたは位置移動を分析して、前記感知標識が形成された前記フレーム、前記機構部または前記移送部の3次元位置変化値を導き出すことができる。
前記のような目的を達成するための本発明の構成は、前記感知標識に対する前記撮像イメージが前記撮像部により獲得される第1段階;前記測定部が前記撮像部から伝達された前記撮像イメージを分析して、前記感知標識のイメージ変化値を導き出す第2段階;前記測定部が前記機構部の3次元位置変化値を導き出す第3段階;および前記測定部が前記機構部に制御信号を伝達して、前記機構部の3次元位置が補正される第4段階;を含む。
前記のような構成による本発明の効果は、装置を構成する各フレーム、機構部、移送部、移動部、測定部、柔軟機構などのX、Y、Z軸の位置変化値と角度変化値(θx、θy、θz)を持続的にリアルタイムモニタリングして装置の組立と駆動時に隙間と公差によって発生するばらつきを反映することによって、前記のような各構成の3次元位置値を補正して各構成による工程誤差を最小化できるというものである。
本発明の効果は前記した効果に限定されるものではなく、本発明の詳細な説明または特許請求の範囲に記載された発明の構成から推論可能なすべての効果を含むものと理解されるべきである。
本発明の一実施例に係る装置の概略図である。 本発明の他の実施例に係る装置の斜視図である。 本発明の他の実施例に係る移送部に対する模式図である。 本発明で複数の実施例に係る感知標識に対するイメージである。 本発明で複数の実施例に係る感知標識に対するイメージである。 本発明の一実施例に係る感知標識の分析に対するイメージである。
以下では、添付した図面を参照して本発明を説明することにする。しかし、本発明は多様な異なる形態で具現され得、したがって、ここで説明する実施例に限定されるものではない。そして、図面で本発明を明確に説明するために説明に関わらない部分は省略したし、明細書全体を通じて類似する部分に対しては類似する図面符号を付した。
明細書全体で、或る部分が他の部分と「連結(接続、接触、結合)」されているとする時、これは「直接的に連結」されている場合だけでなく、その中間に他の部材を挟んで「間接的に連結」されている場合も含む。また或る部分が何らかの構成要素を「含む」とする時、これは特に反対の記載がない限り他の構成要素を除くものではなく他の構成要素をさらに具備し得ることを意味する。
本明細書で使った用語は単に特定の実施例を説明するために使われたものであり、本発明を限定しようとする意図ではない。単数の表現は文脈上明白に異なって意味しない限り、複数の表現を含む。本明細書で、「含む」または「有する」等の用語は明細書上に記載された特徴、数字、段階、動作、構成要素、部品またはこれらを組み合わせたものが存在することを指定しようとするものであって、一つまたはそれ以上の他の特徴や数字、段階、動作、構成要素、部品またはこれらを組み合わせたものなどの存在または付加の可能性をあらかじめ排除しないものと理解されるべきである。
以下、添付された図面を参照して本発明について詳細に説明することにする。
図1は本発明の一実施例に係る装置の概略図であり、図2は本発明の他の実施例に係る装置の斜視図である。また、図3は本発明の他の実施例に係る移送部300に対する模式図である。
図1および図2に示されたように、本発明の工程誤差補正装置は、フレーム410;フレーム410を中心にフレーム410の内部または外部に形成され、所定の工程を遂行する機構部;フレーム410を中心にフレーム410の内部または外部に形成され、所定の移送を遂行する移送部300;フレーム410、機構部または移送部300に形成される感知標識10;フレーム410の内部または外部に形成されて感知標識10に対する撮像を遂行して撮像イメージを生成する撮像部100;およびフレーム410、機構部または移送部300に形成された感知標識10を撮像した撮像部100から伝達された撮像イメージを分析して、感知標識10のイメージ変化値を導き出すことによって、フレーム410、機構部または移送部300の3次元位置変化値を導き出す測定部;を含む。
ここで、移送部300に設置された感知標識10は移送部300が停止した状態で撮像され得る。
感知標識10はエイプリルタグ(AprilTag)、アルコマーカー(Arucomarker)、エーアールタグ(ARtag)またはエーアールツールキット(ARToolKit)であり得る。本発明の実施例では、感知標識10が前記のような種類に限定されると説明しているが、必ずしもこれに限定されるものではなく、同じ機能を遂行できる他の2次元バーコードも利用され得ることは言うまでもない。
図1に示されたように、機構部は、加工対象500に対する加工を遂行するツール(tool)である加工ツール210、加工対象500を支持する加工ベース220、加工ツール210と結合し加工ツール210を3次元移動または回転させるツール移動機230および加工ベース220と結合し加工ベース220を3次元移動または回転させるベース移動機240を具備することができる。
加工ツール210、加工ベース220、ツール移動機230およびベース移動機240それぞれには多軸ロボットまたは直交ロボットが備えられ得、このような機構部の一部または全体がフレームを中心にフレームの内部または外部に設置され得る.本発明では説明の便宜のために、機構部がフレームの内部に形成された場合について説明することにする。機構部は加工に必要な移動装備、柔軟機構などのすべての装備を含む構成であり得る。
そして、前記のように機構部を構成するそれぞれの構成およびフレーム410等の表面に感知標識10が形成され得、感知標識10は刻印、プリンティングまたは付着されて形成され得る。
具体的には、感知標識10はレーザーなどでそれぞれの表面に刻印されて形成され得、または感知標識10がそれぞれの表面にプリンティングされて形成され得る。または基板上に感知標識10が刻印またはプリンティングされて形成され、基板が前記のようなそれぞれの表面に付着されることによって感知標識10が設置されてもよい。
移送部300は撮像部100およびフレーム410と結合し、撮像部100を移動させることができる。移送部300は、撮像部100と結合して撮像部100を支持する支持アーム310、支持アーム310と結合して支持アーム310を3次元移動または回転させる駆動器320、駆動器320と結合して駆動器320を支持する支持体330を具備することができる。ここで、駆動器320は支持体330に沿って移動したり支持体330を中心に回転を遂行できる。
撮像部100は、前記のように移送部300と結合できるだけでなく、フレーム410の内部で感知標識10を撮像できる複数の位置それぞれに形成されてもよい。撮像部100の設置位置および数は工程により異なり得る。
ただし、空間活用および工程遂行の効率的な面で撮像部100が移送部300に結合されることが有利であり得、本発明の説明では撮像部100が移送部300と結合されて構成される事項について説明することにする。基本原理は複数の位置に撮像部100が設置される場合にも同一であることは言うまでもない。
撮像部100は位置センサ110を具備し、位置センサ110により収集される撮像部100の位置および姿勢変化に対する情報が測定部に伝達され得る.測定部は位置センサ110から伝達された撮像部100の位置および姿勢変化に対する情報を分析して駆動器320に制御信号を伝達することによって、撮像部100の位置および姿勢を制御することができる。位置センサ110の情報は無線または有線で測定部に伝達され得る。
ここで、一つの感知標識10を撮像する撮像部100は、該当感知標識10を撮像するために基準となる位置である基準位置を一定に維持しながら該当感知標識10に対する撮像を遂行しないと該当感知標識10の位置変化を撮像できないので、一つの感知標識10に対する撮像部100の位置、姿勢および光軸が一定に維持されるように撮像部100の位置が制御され得る。
それぞれの感知標識10を撮像する位置に対する情報は測定部に保存されていてもよく、一つの感知標識10を撮像するために移送部300によって撮像部100の移動時、測定部は移送部300に制御信号を伝達して、一つの感知標識10を撮像するための基準位置で該当感知標識10を撮像するのに適合した姿勢および光軸で撮像部100が撮像を遂行するようにすることができる。
前記のような撮像部100に対する姿勢または光軸制御は撮像部100がフレーム410に結合される場合にも同一に遂行され得、フレーム410の一部位に固定された撮像部100が感知標識10に対する撮像遂行時、該当感知標識10を撮像するための基準位置で該当感知標識10を撮像するのに適合した姿勢および光軸で撮像部100が撮像を遂行するように撮像部100の位置が制御され得る。この時、撮像部100の位置制御のために撮像部100とフレーム410間には駆動器320が結合され得る。
図4と図5は、本発明で複数の実施例に係る感知標識10に対するイメージである。図6は、本発明の一実施例に係る感知標識10の分析に対するイメージである。
ここで、図4の(a)~(d)それぞれは、それぞれ他の実施例のエイプリルタグ(AprilTag)を示したイメージである。そして、図5の(a)はエーアールツールキット(ARToolKit)に対するイメージで、図5の(b)はエーアールタグ(ARtag)に対するイメージであり、図5の(c)はエイプリルタグ(AprilTag)に対するイメージで、図5の(d)はアルコマーカー(Aruco marker)に対するイメージである。
そして、図6は本発明の一実施例に係る感知標識10の分析に対するイメージである。具体的には、図6の(a)は撮像部100で獲得された撮像イメージを示し、図6の(b)は撮像イメージで線分感知に対する事項を示したイメージであり、図6の(c)はすべてのクアッド(quad)感知に対する事項を示したイメージであり、図6の(d)は有効なコード体系を有するクアッドがイメージから抽出される事項を示したイメージである。
図6の(a)に示されたように、撮像部100が感知標識10を撮像して撮像イメージを生成し、このような撮像イメージが測定部に伝達され得る.そして、図6の(b)に示されたように、測定部は、類似するピクセルグラジエント(gradients)のクラスタ(clusters)で最小二乗法(LSM、Least Square Method)を使って撮像イメージ内の感知標識10のイメージで線分を感知することができる。
次に、測定部では、図6の(c)に示されたように、グラジエントの方向により可能なすべてのクアッドがイメージで感知され得、その後、図6の(d)に示されたように、有効なコード体系を有するクアッドが撮像イメージで抽出され得る。そして、測定部は、ホモグラフィ(homography)および固有推定(intrinsicestimation)を使って撮像イメージにある感知標識10(AprilTag)のポーズを獲得し、最外郭四角形それぞれの頂点の座標変化を測定して3次元傾きまたは位置移動を測定することによって、感知標識10のイメージ変化値を導き出すことができる。
そして、感知標識10の3次元傾き(X、Y、Z軸の角度変化値、θx、θy、θz)または3次元位置移動(x、y、z)変化値を分析して、感知標識10が形成されたフレーム410、機構部、移送部300の3次元の位置変化値を導き出すことができる。
本発明の装置が作動中には、機構部またはフレーム410に形成された部品、機器などで引張、圧縮、曲げ、せん断、歪みなどの変化および駆動時の振動累積などによる締結部位の離隔に対して、各部品の部位別X、Y、Z軸の角度変化値(θx、θy、θz)またはX、Y、Z軸の位置変化値(x、y、z)が生成され得、このような場合、前記のように感知標識10では3次元傾きまたは位置移動が発生し得る。
測定部では、所定のプログラムを利用して感知標識10の3次元傾きまたは位置移動を分析することによって、感知標識10の各部位に対する3次元座標変化値を導き出し、これを利用して感知標識10が形成されたフレーム410、機構部、移送部300等の3次元位置変化値を導き出すことができる。
前記プログラムでは、感知標識10の3次元傾きまたは位置移動による感知標識10の各部位に対する3次元座標変化値に対するシミュレーションを遂行してそれぞれの場合に対するデータを保存し、保存されたデータによる感知標識10の基準イメージと撮像イメージの感知標識10の3次元傾きまたは位置移動に対するデータを比較して感知標識10の各部位に対する3次元座標変化値を導き出すことができる。
測定部は、フレーム410、機構部または移送部300の3次元位置変化値により機構部または移送部300の3次元位置が補正されるように機構部または移送部300に制御信号を伝達することができる。
前記のような場合、撮像部100は感知標識10に対する撮像を持続的に遂行して撮像イメージが測定部に伝達され得、測定部は伝達される撮像イメージと該当感知標識10の基準イメージが一致する場合、機構部が定められた位置に移動または回転したものと判断し、機構部に対する制御を完了することができる.機構部に対する制御は前記加工ツール210、加工ベース220、ツール移動機230およびベース移動機240それぞれに対する制御を含むことができる。このような事項は移送部300に対する制御にも同一に適用され得る。
具体的な実施例で、図2に示されたように、ハウジング420の内部に機構部が形成されて一つのモジュールが形成され得、このようなモジュールが複数個形成されてそれぞれのモジュールがフレーム410と結合することができる。このような構成において、撮像部100はそれぞれのモジュールに形成された機構部に対する撮像を遂行することができ、これに伴い、複数個の機構部に測定部の制御信号が伝達されてそれぞれの機構部に対する制御が遂行され得る。
そして、図3に示されたように、前記駆動器320に対応する構成としてリニアモータ341と回転モータ342が形成され得、支持アーム310の一端がリニアモータ341と結合し、支持アーム310の他端が撮像部100と結合することができる。また、撮像部100自体の駆動によって撮像部100に備えられたカメラの傾き運動、回転運動などが遂行され得るため、カメラの撮像範囲が増大し得る。
そして、移送部300はフレーム410の内部から垂直方向に延びるように形成され、リニアモータ341を支持するモータ支持体350を具備することができ、モータ支持体350の下端に回転モータ342が結合されて回転モータ342がモータ支持体350を回転させることによって撮像部100の回転運動が遂行され得る。
前記のように、測定部に撮像部100の位置センサ110から情報が伝達されると、測定部はリニアモータ341、回転モータ342およびサーボモータの中の一つ以上に制御信号を伝達して撮像部100の3次元位置移動および回転に対する制御を遂行でき、また、一つの感知標識10から他の感知標識10に撮像位置を変化させるために、移送部300に制御信号を伝達して撮像部100の位置を変更させることができる。
そして、モータ支持体350と回転モータ342のような固定された構成にも感知標識10が形成され得、フレーム410に設置された他の撮像部100によって固定された構成の感知標識10を撮像することができ、測定部はこの時獲得された撮像イメージを利用してそれぞれの固定された構成の3次元位置移動または回転変化値を測定することができる。
また、フレーム410も固定された構成に含まれ得、フレーム410のそれぞれの部位に形成された感知標識10を撮像部100が撮像して前記のような測定部による分析が遂行されることによって、フレーム410の一部位の変形(3次元位置移動または歪み変化値)を測定することができる。
そして、固定された構成の3次元位置移動、回転、または変形などが発生したものと測定部で判断される場合、測定部は使用者の電子機器に判断に対する情報を伝達し、使用者は固定された構成の位置および姿勢不良に対する保守を遂行できる。これに伴い、装置内のそれぞれの構成で発生した不良事項に対する迅速な措置が可能となり得る。
以下、本発明の装置を利用した組立ばらつき補正および工程誤差補正方法について説明することにする。
第1段階で、感知標識10に対する撮像イメージが撮像部100により獲得され得る。そして、第2段階で、測定部が撮像部100から伝達された撮像イメージを分析して、感知標識10のイメージ変化値を導き出すことができる。
次に、第3段階で、測定部が機構部の3次元位置変化値を導き出すことができる。その後、第4段階で、測定部が機構部に制御信号を伝達して機構部の3次元位置が補正され得る。
本発明の組立ばらつき補正および工程誤差補正方法に対する残りの詳細な事項は、前記本発明の装置に対する事項と同一である。
前記のような、本発明の装置および方法を利用して、装置を構成する各フレーム、機構部、移送部、移動部、測定部、柔軟機構などのX、Y、Z軸の位置変化値と角度変化値(θx、θy、θz)を持続的にリアルタイムモニタリングして装置の組立と駆動時に隙間と公差によって発生するばらつきを反映することによって、前記のようなそれぞれの構成の3次元位置値を補正して各構成による工程誤差を最小化することができる。すなわち、本発明の装置で組み立てられる装備に対する組立ばらつきまたは他の工程での工程誤差などを最小化させて、本発明の装置によって製造される製品の品質を向上させることができる。また、本発明の装置に設置される装備(機構部など)自体の組立過程で発生し得る誤差を最小化させて累積公差の発生も未然に防止することができる。
前述した本発明の説明は例示のためのもので、本発明が属する技術分野の通常の知識を有する者は本発明の技術的思想や必須の特徴を変更することなく他の具体的な形態に容易に変形可能であることが理解できるであろう。したがって、以上で記述した実施例はすべての面で例示的なものであり限定的ではないものと理解されるべきである。例えば、単一型と説明されている各構成要素は分散されて実施されてもよく、同様に分散されたものと説明されている構成要素も結合された形態で実施され得る。
本発明の範囲は後述する特許請求の範囲によって示され、特許請求の範囲の意味および範囲そしてその均等概念から導き出されるすべての変更または変形された形態も本発明の範囲に含まれるものと解釈されるべきである。
10:感知標識
100:撮像部
110:位置センサ
210:加工ツール
220:加工ベース
230:ツール移動機
240:ベース移動機
300:移送部
310:支持アーム
320:駆動器
330:支持体
341:リニアモータ
342:回転モータ
350:モータ支持体
410:フレーム
420:ハウジング
500:加工対象

Claims (8)

  1. フレーム;
    前記フレームを中心に前記フレームの内部または外部に形成され、所定の工程を遂行する機構部;
    前記フレームを中心に前記フレームの内部または外部に形成され、所定の移送を遂行する移送部;
    前記フレーム、前記機構部または前記移送部に形成される感知標識;
    前記フレームの内部または外部に形成されて前記感知標識に対する撮像を遂行して撮像イメージを生成する撮像部;および
    前記フレーム、前記機構部または前記移送部に形成された前記感知標識を撮像した前記撮像部から伝達された前記撮像イメージを分析して、前記感知標識のイメージ変化値を導き出すことによって、前記フレーム、前記機構部または前記移送部の3次元位置変化値を導き出す測定部;を含むことを特徴とする、感知標識を利用した装備の組立ばらつき補正および工程誤差補正装置。
  2. 前記感知標識はエイプリルタグ(AprilTag)、アルコマーカー(Aruco marker)、エーアールタグ(ARtag)またはエーアールツールキット(ARToolKit)であることを特徴とする、請求項1に記載の感知標識を利用した装備の組立ばらつき補正および工程誤差補正装置。
  3. 前記測定部は、前記フレーム、前記機構部または前記移送部の3次元位置変化値により前記機構部または前記移送部の3次元位置が補正されるように前記機構部または前記移送部に制御信号を伝達することを特徴とする、請求項1に記載の感知標識を利用した装備の組立ばらつき補正および工程誤差補正装置。
  4. 前記感知標識は刻印、プリンティングまたは付着されて形成されることを特徴とする、請求項1に記載の感知標識を利用した装備の組立ばらつき補正および工程誤差補正装置。
  5. 前記移送部は、前記撮像部および前記フレームと結合し、前記撮像部を移動させることを特徴とする、請求項1に記載の感知標識を利用した装備の組立ばらつき補正および工程誤差補正装置。
  6. 前記測定部は類似するピクセルグラジエントのクラスタで最小二乗法(LSM)を使って前記撮像イメージ内の前記感知標識のイメージで線分を感知することを特徴とする、請求項1に記載の感知標識を利用した装備の組立ばらつき補正および工程誤差補正装置。
  7. 前記測定部は、感知標識の3次元傾きまたは位置移動を分析して、前記感知標識が形成された前記フレーム、前記機構部または前記移送部の3次元位置変化値を導き出すことを特徴とする、請求項1に記載の感知標識を利用した装備の組立ばらつき補正および工程誤差補正装置。
  8. 請求項1に記載された感知標識を利用した装備の組立ばらつき補正および工程誤差補正装置を利用した組立ばらつき補正および工程遂行誤差補正方法において、
    前記感知標識に対する前記撮像イメージが前記撮像部により獲得される第1段階;
    前記測定部が前記撮像部から伝達された前記撮像イメージを分析して、前記感知標識のイメージ変化値を導き出す第2段階;
    前記測定部が前記機構部の3次元位置変化値を導き出す第3段階;および
    前記測定部が前記機構部に制御信号を伝達して、前記機構部の3次元の位置が補正される第4段階;を含むことを特徴とする、組立ばらつき補正およびゴング整数行誤差補正方法。
JP2022078833A 2021-07-02 2022-05-12 感知標識を利用した装備の組立ばらつき補正および工程誤差補正装置および、これを利用した組立ばらつき補正および工程遂行誤差補正方法 Active JP7423091B2 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR10-2021-0086980 2021-07-02
KR1020210086980A KR20230006146A (ko) 2021-07-02 2021-07-02 감지표식을 이용한 장비 조립 편차 보정 및 공정 오차 보정 장치 및, 이를 이용한 조립 편차 보정 및 공정 수행 오차 보정 방법

Publications (2)

Publication Number Publication Date
JP2023008815A true JP2023008815A (ja) 2023-01-19
JP7423091B2 JP7423091B2 (ja) 2024-01-29

Family

ID=81653458

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2022078833A Active JP7423091B2 (ja) 2021-07-02 2022-05-12 感知標識を利用した装備の組立ばらつき補正および工程誤差補正装置および、これを利用した組立ばらつき補正および工程遂行誤差補正方法

Country Status (6)

Country Link
US (1) US20230004137A1 (ja)
EP (1) EP4113053A1 (ja)
JP (1) JP7423091B2 (ja)
KR (1) KR20230006146A (ja)
CN (1) CN115560679A (ja)
WO (1) WO2023277339A1 (ja)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006018571A (ja) * 2004-07-01 2006-01-19 Seiko Epson Corp 画像生成装置、画像撮像装置、動画像生成装置、画像生成方法、画像生成プログラムおよび画像生成プログラムを記録した記録媒体
JP2017127933A (ja) * 2016-01-20 2017-07-27 キヤノン株式会社 生産ラインの制御方法、および組立装置
US20180350100A1 (en) * 2017-05-30 2018-12-06 General Electric Company System and method of robot calibration using image data
EP3705239A1 (en) * 2019-03-01 2020-09-09 Arrival Limited Calibration system and method for robotic cells

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9026242B2 (en) * 2011-05-19 2015-05-05 Taktia Llc Automatically guided tools
KR102028743B1 (ko) * 2011-10-07 2019-10-04 쥬키 가부시키가이샤 전자부품 실장장치 및 전자부품 실장방법
KR101484920B1 (ko) * 2013-04-16 2015-01-23 고등기술연구원연구조합 로봇손 조립오차 보정 장치
US9919427B1 (en) * 2015-07-25 2018-03-20 X Development Llc Visualizing robot trajectory points in augmented reality
KR101854366B1 (ko) * 2016-06-17 2018-05-03 무진기공주식회사 3차원 형상 측정방법
US10977825B2 (en) * 2017-02-03 2021-04-13 Sumitomo Mitsui Construction Co., Ltd. Position measurement device and position measurement method
JP7489671B2 (ja) * 2019-10-17 2024-05-24 パナソニックIpマネジメント株式会社 補正パラメータ算出方法、変位量算出方法、補正パラメータ算出装置、及び、変位量算出装置
KR102316216B1 (ko) 2019-11-12 2021-10-22 네이버랩스 주식회사 블라인드 워터마킹 기술을 이용한 카메라 기반 측위 방법 및 시스템
EP3916394A1 (en) * 2020-05-29 2021-12-01 Roche Diagnostics GmbH Module for an automated laboratory system

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006018571A (ja) * 2004-07-01 2006-01-19 Seiko Epson Corp 画像生成装置、画像撮像装置、動画像生成装置、画像生成方法、画像生成プログラムおよび画像生成プログラムを記録した記録媒体
JP2017127933A (ja) * 2016-01-20 2017-07-27 キヤノン株式会社 生産ラインの制御方法、および組立装置
US20180350100A1 (en) * 2017-05-30 2018-12-06 General Electric Company System and method of robot calibration using image data
EP3705239A1 (en) * 2019-03-01 2020-09-09 Arrival Limited Calibration system and method for robotic cells

Also Published As

Publication number Publication date
EP4113053A1 (en) 2023-01-04
CN115560679A (zh) 2023-01-03
KR20230006146A (ko) 2023-01-10
US20230004137A1 (en) 2023-01-05
JP7423091B2 (ja) 2024-01-29
WO2023277339A1 (ko) 2023-01-05

Similar Documents

Publication Publication Date Title
CN110555889B (zh) 一种基于CALTag和点云信息的深度相机手眼标定方法
US7377181B2 (en) In-situ large area optical strain measurement using an encoded dot pattern
US11833696B2 (en) Vision-based sensor system and control method for robot arms
KR102577448B1 (ko) 핸드 아이 캘리브레이션 방법 및 시스템
CA2556042C (en) Method for locating defective points and marking system
EP2132523B1 (en) Method and device for exact measurement of objects
US10974393B2 (en) Automation apparatus
US7324217B2 (en) Device and method for measuring components
US20080301072A1 (en) Robot simulation apparatus
US10331728B2 (en) System and method of robot calibration using image data
US20110056284A1 (en) Method for measuring deformation of tire tread
JP2019113895A (ja) ワークを撮像する視覚センサを備える撮像装置
KR102314092B1 (ko) 로봇의 캘리브레이션 장치 및 그 방법
Liu et al. Binocular-vision-based error detection system and identification method for PIGEs of rotary axis in five-axis machine tool
CN108340368A (zh) 编码器、机器人以及打印机
CN115294198A (zh) 一种基于视觉的机械臂全局性能测量系统及方法
JP2682763B2 (ja) ロボット機体の作動誤差の自動測定方法
JP2023008815A (ja) 感知標識を利用した装備の組立ばらつき補正および工程誤差補正装置および、これを利用した組立ばらつき補正および工程遂行誤差補正方法
KR20130075712A (ko) 레이저비전 센서 및 그 보정방법
Bostelman et al. Dynamic metrology performance measurement of a six degrees-of-freedom tracking system used in smart manufacturing
US9804252B2 (en) System and method for measuring tracker system accuracy
US20230211595A1 (en) Manufacturing system for a 3d protective film with improved positioning precision and convenience during manufacturing and a method for attaching a protective film
JP2012066321A (ja) ロボットシステムおよびロボット組立システム
Qiao Advanced sensing development to support robot accuracy assessment and improvement
Wieghardt et al. Self-calibration of a mobile manipulator using structured light

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20220512

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20230525

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20230530

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20230829

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20231030

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20231219

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20240110

R150 Certificate of patent or registration of utility model

Ref document number: 7423091

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150