JP2023090683A - 仕上げ自動化システムおよびその方法 - Google Patents

仕上げ自動化システムおよびその方法 Download PDF

Info

Publication number
JP2023090683A
JP2023090683A JP2022201035A JP2022201035A JP2023090683A JP 2023090683 A JP2023090683 A JP 2023090683A JP 2022201035 A JP2022201035 A JP 2022201035A JP 2022201035 A JP2022201035 A JP 2022201035A JP 2023090683 A JP2023090683 A JP 2023090683A
Authority
JP
Japan
Prior art keywords
finishing
vehicle body
surface defect
robot
automation system
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2022201035A
Other languages
English (en)
Inventor
緑 中 姜
Rokjong Kang
東 基 鄭
Tong Key Jung
鎭 チョル 金
Jin Cheol Kim
康 在 ゾ
Kang Jae Jo
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Kovitech Co Ltd
Hyundai Motor Co
Kia Corp
Original Assignee
Kovitech Co Ltd
Hyundai Motor Co
Kia Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Kovitech Co Ltd, Hyundai Motor Co, Kia Corp filed Critical Kovitech Co Ltd
Publication of JP2023090683A publication Critical patent/JP2023090683A/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • G06T7/0004Industrial image inspection
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B24GRINDING; POLISHING
    • B24BMACHINES, DEVICES, OR PROCESSES FOR GRINDING OR POLISHING; DRESSING OR CONDITIONING OF ABRADING SURFACES; FEEDING OF GRINDING, POLISHING, OR LAPPING AGENTS
    • B24B9/00Machines or devices designed for grinding edges or bevels on work or for removing burrs; Accessories therefor
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B08CLEANING
    • B08BCLEANING IN GENERAL; PREVENTION OF FOULING IN GENERAL
    • B08B15/00Preventing escape of dirt or fumes from the area where they are produced; Collecting or removing dirt or fumes from that area
    • B08B15/04Preventing escape of dirt or fumes from the area where they are produced; Collecting or removing dirt or fumes from that area from a small area, e.g. a tool
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B24GRINDING; POLISHING
    • B24BMACHINES, DEVICES, OR PROCESSES FOR GRINDING OR POLISHING; DRESSING OR CONDITIONING OF ABRADING SURFACES; FEEDING OF GRINDING, POLISHING, OR LAPPING AGENTS
    • B24B19/00Single-purpose machines or devices for particular grinding operations not covered by any other main group
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B24GRINDING; POLISHING
    • B24BMACHINES, DEVICES, OR PROCESSES FOR GRINDING OR POLISHING; DRESSING OR CONDITIONING OF ABRADING SURFACES; FEEDING OF GRINDING, POLISHING, OR LAPPING AGENTS
    • B24B19/00Single-purpose machines or devices for particular grinding operations not covered by any other main group
    • B24B19/26Single-purpose machines or devices for particular grinding operations not covered by any other main group for grinding workpieces with arcuate surfaces, e.g. parts of car bodies, bumpers or magnetic recording heads
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B24GRINDING; POLISHING
    • B24BMACHINES, DEVICES, OR PROCESSES FOR GRINDING OR POLISHING; DRESSING OR CONDITIONING OF ABRADING SURFACES; FEEDING OF GRINDING, POLISHING, OR LAPPING AGENTS
    • B24B27/00Other grinding machines or devices
    • B24B27/0038Other grinding machines or devices with the grinding tool mounted at the end of a set of bars
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B24GRINDING; POLISHING
    • B24BMACHINES, DEVICES, OR PROCESSES FOR GRINDING OR POLISHING; DRESSING OR CONDITIONING OF ABRADING SURFACES; FEEDING OF GRINDING, POLISHING, OR LAPPING AGENTS
    • B24B49/00Measuring or gauging equipment for controlling the feed movement of the grinding tool or work; Arrangements of indicating or measuring equipment, e.g. for indicating the start of the grinding operation
    • B24B49/12Measuring or gauging equipment for controlling the feed movement of the grinding tool or work; Arrangements of indicating or measuring equipment, e.g. for indicating the start of the grinding operation involving optical means
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B24GRINDING; POLISHING
    • B24BMACHINES, DEVICES, OR PROCESSES FOR GRINDING OR POLISHING; DRESSING OR CONDITIONING OF ABRADING SURFACES; FEEDING OF GRINDING, POLISHING, OR LAPPING AGENTS
    • B24B51/00Arrangements for automatic control of a series of individual steps in grinding a workpiece
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B24GRINDING; POLISHING
    • B24BMACHINES, DEVICES, OR PROCESSES FOR GRINDING OR POLISHING; DRESSING OR CONDITIONING OF ABRADING SURFACES; FEEDING OF GRINDING, POLISHING, OR LAPPING AGENTS
    • B24B55/00Safety devices for grinding or polishing machines; Accessories fitted to grinding or polishing machines for keeping tools or parts of the machine in good working condition
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B24GRINDING; POLISHING
    • B24BMACHINES, DEVICES, OR PROCESSES FOR GRINDING OR POLISHING; DRESSING OR CONDITIONING OF ABRADING SURFACES; FEEDING OF GRINDING, POLISHING, OR LAPPING AGENTS
    • B24B55/00Safety devices for grinding or polishing machines; Accessories fitted to grinding or polishing machines for keeping tools or parts of the machine in good working condition
    • B24B55/06Dust extraction equipment on grinding or polishing machines
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B24GRINDING; POLISHING
    • B24BMACHINES, DEVICES, OR PROCESSES FOR GRINDING OR POLISHING; DRESSING OR CONDITIONING OF ABRADING SURFACES; FEEDING OF GRINDING, POLISHING, OR LAPPING AGENTS
    • B24B7/00Machines or devices designed for grinding plane surfaces on work, including polishing plane glass surfaces; Accessories therefor
    • B24B7/10Single-purpose machines or devices
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J11/00Manipulators not otherwise provided for
    • B25J11/005Manipulators for mechanical processing tasks
    • B25J11/0065Polishing or grinding
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J19/00Accessories fitted to manipulators, e.g. for monitoring, for viewing; Safety devices combined with or specially adapted for use in connection with manipulators
    • B25J19/02Sensing devices
    • B25J19/021Optical sensing devices
    • B25J19/023Optical sensing devices including video camera means
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00Programme-controlled manipulators
    • B25J9/02Programme-controlled manipulators characterised by movement of the arms, e.g. cartesian coordinate type
    • B25J9/04Programme-controlled manipulators characterised by movement of the arms, e.g. cartesian coordinate type by rotating at least one arm, excluding the head movement itself, e.g. cylindrical coordinate type or polar coordinate type
    • B25J9/041Cylindrical coordinate type
    • B25J9/042Cylindrical coordinate type comprising an articulated arm
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00Programme-controlled manipulators
    • B25J9/16Programme controls
    • B25J9/1679Programme controls characterised by the tasks executed
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00Programme-controlled manipulators
    • B25J9/16Programme controls
    • B25J9/1679Programme controls characterised by the tasks executed
    • B25J9/1684Tracking a line or surface by means of sensors
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00Programme-controlled manipulators
    • B25J9/16Programme controls
    • B25J9/1694Programme controls characterised by use of sensors other than normal servo-feedback from position, speed or acceleration sensors, perception control, multi-sensor controlled systems, sensor fusion
    • B25J9/1697Vision controlled systems
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01BMEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00Measuring arrangements characterised by the use of optical techniques
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01BMEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00Measuring arrangements characterised by the use of optical techniques
    • G01B11/22Measuring arrangements characterised by the use of optical techniques for measuring depth
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84Systems specially adapted for particular applications
    • G01N21/88Investigating the presence of flaws or contamination
    • G01N21/8851Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/70Determining position or orientation of objects or cameras
    • G06T7/73Determining position or orientation of objects or cameras using feature-based methods
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84Systems specially adapted for particular applications
    • G01N21/88Investigating the presence of flaws or contamination
    • G01N21/8851Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
    • G01N2021/8854Grading and classifying of flaws
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84Systems specially adapted for particular applications
    • G01N21/88Investigating the presence of flaws or contamination
    • G01N21/8851Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
    • G01N2021/8854Grading and classifying of flaws
    • G01N2021/8874Taking dimensions of defect into account
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84Systems specially adapted for particular applications
    • G01N21/88Investigating the presence of flaws or contamination
    • G01N21/8851Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
    • G01N2021/8887Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges based on image processing techniques
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05BCONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00Program-control systems
    • G05B2219/30Nc systems
    • G05B2219/45Nc applications
    • G05B2219/45058Grinding, polishing robot
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05BCONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00Program-control systems
    • G05B2219/30Nc systems
    • G05B2219/45Nc applications
    • G05B2219/45082Sanding robot, to clean surfaces
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05BCONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00Program-control systems
    • G05B2219/30Nc systems
    • G05B2219/45Nc applications
    • G05B2219/45096Polishing manipulator
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20081Training; Learning
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30204Marker

Landscapes

  • Engineering & Computer Science (AREA)
  • Mechanical Engineering (AREA)
  • Robotics (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Pathology (AREA)
  • Signal Processing (AREA)
  • Biochemistry (AREA)
  • General Health & Medical Sciences (AREA)
  • Chemical & Material Sciences (AREA)
  • Immunology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Analytical Chemistry (AREA)
  • Health & Medical Sciences (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Quality & Reliability (AREA)
  • Investigating Materials By The Use Of Optical Means Adapted For Particular Applications (AREA)
  • Constituent Portions Of Griding Lathes, Driving, Sensing And Control (AREA)
  • Finish Polishing, Edge Sharpening, And Grinding By Specific Grinding Devices (AREA)
  • Manipulator (AREA)
  • Automobile Manufacture Line, Endless Track Vehicle, Trailer (AREA)
  • Machine Tool Sensing Apparatuses (AREA)

Abstract

【課題】ロボットにより車体に検査痕を自動生成して面不良検出のための視認性を確保し、イメージの分析により車体に表示された面不良マーキング位置を把握し、ロボットにより面不良マーキング位置に対する仕上げ作業を自動制御する仕上げ自動化システムおよびその方法を提供する。【解決手段】 本発明による、外装部品の面不良を除去する仕上げ自動化システムは、検査痕ツールを介して、均一な圧力で外装部品に一定のパターンの検査痕を生成して面不良の視認性を確保する第1ロボットと、少なくとも1つのビジョンセンサにより撮影した外装部品のイメージを分析して、検査痕が生成された前記外装部品に表示された面不良マーキング位置および面不良深さレベルを把握するビジョンシステムと、仕上げツールを少なくとも1つの前記面不良マーキング位置に順次に移動させながら、当該面不良深さレベルに応じて設定された仕上げ量で仕上げ作業をして前記面不良を除去する第2ロボットと、を含むことを特徴とする。【選択図】 図1

Description

本発明は、仕上げ自動化システムおよびその方法に係り、より詳しくは、自動車工場で製品の面不良を除去するための仕上げ自動化システムおよびその方法に関する。
一般に、自動車の車体に要求される主な品質としては剛性、寸法および外観などがある。
車体は金属素材を金型に塑性加工して車体部品を生産し、この過程でスクラッチ、屈曲、凹凸、打痕、押されなどのように外観品質に影響を与える面不良が発生することがある。
このような面不良は塗装をしても隠せないので、車体部品単位で検査により面不良の部位を把握し、その表面をサンディング処理する仕上げ作業を行っている。
一方、車体の面不良検査と仕上げ作業の大部分は熟練した作業者によって手作業で行われており、熟練度に応じて品質偏差が発生するので、これを低減するために多様な自動化方策が提案されている。
例えば、従来は、カメラベースの映像処理手法により車体に形成された不良部分を検出する方法が提案されている。しかし、実際に車体で発生する主な面不良は、圧痕/打痕、押され跡、凹凸などの様々な理由で平らでない表面の「微細屈曲」であるので、映像処理手法では検出するのに限界があって、現場への適用が不可能である。
また、ロボットを用いた仕上げ作業の自動化を考慮しているが、車体の形状が複雑で仕上げ過程で設備との接触および干渉などの2次的な不良が発生することがあって、自動化が難しい。
この背景技術部分に記載された事項は発明の背景に対する理解を増進させるために作成されたものであって、この技術の属する分野における通常の知識を有する者にすでに知られた従来技術でない事項を含むことができる。
本発明が目的とするところは、ロボットにより車体に検査痕を自動生成して面不良検出のための視認性を確保し、イメージの分析により車体に表示された面不良マーキング位置を把握し、ロボットにより面不良マーキング位置に対する仕上げ作業を自動制御する仕上げ自動化システムおよびその方法を提供することである。
本発明の外装部品の面不良を除去する仕上げ自動化システムは、検査痕ツールを介して、均一な圧力で外装部品に一定のパターンの検査痕を生成して面不良の視認性を確保する第1ロボットと、少なくとも1つのビジョンセンサにより撮影した外装部品のイメージを分析して、検査痕が生成された前記外装部品に表示された面不良マーキング位置および面不良深さレベルを把握するビジョンシステムと、仕上げツールを少なくとも1つの前記面不良マーキング位置に順次に移動させながら、当該面不良深さレベルに応じて設定された仕上げ量で仕上げ作業をして前記面不良を除去する第2ロボットと、を含むことを特徴とする。
また、前記第1ロボットおよび第2ロボットは、それぞれ前記検査痕ツールと仕上げツールに設けられた均圧制御モジュールを介して、前記外装部品に相当する車体の表面に均一な圧力を加えて検査痕生成作業および仕上げ作業を行うことを特徴とする。
また、前記均圧制御モジュールは、設定された圧力に比べて測定された圧力が大きいか小さければ、前記設定された圧力を基準として偏差だけ測定された圧力を減少または増加させて、均一な圧力が車体に加えられるように制御することを特徴とする。
また、前記検査痕ツールは、前記第1ロボットのエンドエフェクタに装着されるマウントブラケットと、前記外装部品に相当する車体に一定の圧力で接触して車体上で移動し、微細な検査痕を発生するようになった紙やすりモジュールと、その下部に付着した前記紙やすりモジュールが任意に回転しないように支持する検査痕生成モジュールと、前記マウントブラケットと前記検査痕生成モジュールとの間に設けられて、前記検査痕生成モジュールが車体に均一な圧力を加えるように制御する均圧制御モジュールと、吸入力を発生して前記車体に発生する粉塵を除去する吸塵モジュールと、を含むことを特徴とする。
また、前記第1ロボットは、前記検査痕生成のための動作を制御する第1制御器を含み、前記第1制御器は、前記外装部品に相当する車体の部位毎の車体IDに基づいた素材と形状に応じて検査痕ツールの設定条件と検査痕パターンのティーチング(Teaching)条件を設定することを特徴とする。
また、前記第1制御器は、前記車体の素材に応じて紙やすり規格、車体に対する紙やすりの面着角度、圧力および移動速度を含む前記検査痕ツールの設定条件を設定することを特徴とする。
また、前記第1制御器は、前記車体の形状に応じて無回転で固定された検査痕ツールの紙やすりモジュールを車体に面着した状態で一定の直線方向に移動させる検査痕パターンのティーチング条件を設定することを特徴とする。
また、前記第1制御器は、キャラクタラインの間に形成された平易な領域は、前記キャラクタラインに沿って横あるいは縦の一定の直線方向の繰り返されたパターンに前記検査痕パターンのティーチング条件を設定しかつ、前記キャラクタラインに相当する部分は、当該キャラクタラインが形成された方向に前記検査痕パターンのティーチング条件を設定することを特徴とする。
また、前記ビジョンシステムは、指定された位置で前記外装部品に相当する車体の2Dイメージを撮影するビジョンセンサと、車体の全面に均一な光を照射するように配置される少なくとも1つの照明と、前記ビジョンセンサから撮影された2Dイメージを分析して、車体に表記された面不良マーキング位置と面不良の種類、面不良の大きさを検出し、これに対する信号を前記第2ロボットに伝送するマーキング分析制御器と、を含むことを特徴とする。 また、前記ビジョンセンサは、検査痕が生成された前記車体の2Dイメージのビジョンセンシングにより微細屈曲を含む面不良を検出して前記車体の2Dイメージ上に仮想でマーキングすることを特徴とする。
また、前記マーキング分析制御器は、前記2Dイメージの分析時、前記車体イメージの背景を削除した後、RGB値および明暗勾配値を基準として製品輪郭線およびマーキングだけを残して白黒のイメージに加工することを特徴とする。
また、前記マーキング分析制御器は、ディープラーニングを活用してマーキングの特性値を学習して、マーキング形状認識のためのディープラーニング学習モデルを構築し、前記ディープラーニング学習モデルを基準として前記車体イメージからマーキング形状を認識し、その中心座標(x、y)を検出することを特徴とする。
また、前記マーキング分析制御器は、前記車体イメージの全体領域を複数のセル(cell)領域に分割し、各領域に固有のセル番号(cell ID)を付与したセルマトリクスマップ(MAP)を生成し、前記セルマトリクスマップ(MAP)において前記中心座標(x、y)が位置する領域のセル番号(セルID)を認識することを特徴とする。
また、前記マーキング分析制御器は、前記マーキング形状を認識する過程でイメージの分析により面不良深さレベルをさらに認識して、これに対する信号を前記第2ロボットに伝送することを特徴とする。
また、前記仕上げツールは、前記第2ロボットのエンドエフェクタに装着されるマウントブラケットと、車体に一定の圧力で接触して車体上で回動しながら面不良を除去するようになった紙やすりモジュールと、前記紙やすりモジュールが回動可能に装着され、車体の面不良位置に前記第2ロボットによって移動し、前記紙やすりモジュールを介して、一定の圧力を加えて仕上げする仕上げ機と、前記マウントブラケットと前記仕上げ機との間に設けられて、前記仕上げ機が車体に均一な圧力を加えるように制御する均圧制御モジュールと、吸入力を発生して前記車体に発生する粉塵を除去する吸塵モジュールと、を含むことを特徴とする。
また、前記第2ロボットは、前記仕上げ作業のための動作を制御する第2制御器を含み、前記第2制御器は、前記車体IDに応じた素材と形状を考慮した面不良の仕上げ条件をデータベース(DB)に格納し、前記ビジョンシステムから受信された面不良マーキング位置と面不良深さレベルに基づいた面不良の仕上げ条件を設定することを特徴とする。
また、前記第2制御器は、前記面不良深さのレベルが高くなるほど紙やすりの粗さおよび加圧力を増加させかつ、仕上げ機の回動速度(RPM)および仕上げ回数の少なくとも1つをさらに増加させ、第2ロボットの移動速度をさらに減少させることを特徴とする。
また、前記第2制御器は、前記面不良マーキング位置を中心として周りに一定の間隔を有する複数のレベルに仕上げ領域を広げていきながら次第に仕上げ量を低減して、仕上げ部と非仕上げ部との間の境界の屈曲偏差と粗さ偏差を減少させることを特徴とする。
一方、本発明の外装部品の面不良を除去する仕上げ自動化システムの仕上げ自動化方法は、a)第1ロボットに装着された検査痕ツールを用いて、均一な圧力で外装部品に一定のパターンの検査痕を生成して面不良の視認性を確保する段階と、b)ビジョンシステムが、少なくとも1つのビジョンセンサにより撮影した外装部品のイメージを分析して、検査痕が生成された外装部品に表示された面不良マーキング位置と面不良の種類、面不良の大きさ、面不良深さレベルの少なくとも1つを把握する段階と、c)第2ロボットに装着された仕上げツールを少なくとも1つの前記面不良マーキング位置に順次に移動させながら、当該面不良深さレベルに応じて設定された仕上げ量で仕上げ作業を行って前記面不良を除去する段階と、を含むことを特徴とする。
また、本発明の外装部品の面不良を除去する仕上げ自動化システムは、無回転で固定された仕上げツールを介して、均一な圧力で外装部品の表面に一定のパターンの検査痕を生成して面不良の視認性を確保する仕上げロボットと、少なくとも1つのビジョンセンサにより撮影した外装部品のイメージを分析して、検査痕が生成された外装部品に表示された面不良マーキング位置および面不良深さレベルを把握するビジョンシステムとを含み、前記仕上げロボットは、前記ビジョンシステムから受信された信号によって前記仕上げツールを回転させ、少なくとも1つの前記面不良マーキング位置に順次に移動させながら、当該面不良深さレベルに応じて設定された仕上げ量で仕上げ作業をして前記面不良を除去することを特徴とする。
本発明によれば、自動車工場の現場の状況を考慮して車体の面不良を検査し、これを除去する一連の仕上げ工程を実際のラインに適用できるように自動化することによって、ヒューマンエラーおよび仕上げ品質のばらつきによる品質偏差を低減できる効果がある。
また、自動的に検査痕を生成する前処理作業により作業者の面不良検出のための視認性を確保することによって、ヒューマンエラーを最小化できる効果がある。
さらに、車体の面不良検査工程と仕上げ工程の自動化によりアルミニウム粉塵などの危害環境から作業者を保護することができ、生産コストを節減できる効果がある。
なお、不良データおよび仕上げ結果などのデータを取得して、データベース化による格納および管理が容易であり、累積されたデータは今後の車体金型および工程改善に活用できる効果がある。
本発明の実施例による仕上げ自動化システムの構成を概略的に示す図である。 本発明の実施例による前処理ラインの検査痕作業設備を示す図である。 本発明の実施例による検査痕生成モジュールの均圧制御方法を示す図である。 本発明の実施例による検査痕パターンの生成方法を示す図である。 本発明の実施例による検査ラインのビジョンシステムの構成を示す図である。 本発明の実施例による面不良マーキング位置の検出方法を説明するための概念図である。 本発明の実施例による仕上げラインの仕上げ作業設備を示す図である。 本発明の実施例による面不良仕上げの最適条件の生成方法を示す図である。 本発明の実施例による仕上げ自動化方法を概略的に示すフローチャートである。 本発明の他の実施例による1つのロボットを用いた仕上げ自動化システムの構成を概略的に示す図である。
以下、添付した図面を参照して、本発明について、本発明の属する技術分野における通常の知識を有する者が容易に実施できるように詳細に説明する。
ここで使用される用語は単に特定の実施例を説明するための目的であり、本発明を制限すると意図されない。ここで使用されるように、単数形態は、文脈上明らかに異なって表示されない限り、複数形態をさらに含むことが意図される。「含む」および/または「含む」という用語は本明細書で使用される場合、言及された特徴、整数、段階、作動、構成要素および/またはコンポーネントの存在を特定するが、他の特徴、整数、段階、作動、構成要素、コンポーネントおよび/またはこれらのグループの1つ以上の存在または追加を排除しないことがさらに理解されるであろう。ここで使用されるように、用語「および/または」は、これに関連して挙げられた項目のうちの任意の1つまたはすべての組み合わせを含む。
明細書全体において、第1、第2、A、B、(a)、(b)などの用語は多様な構成要素を説明するのに使用できるが、前記構成要素は前記用語によって限定されてはならない。このような用語はその構成要素を他の構成要素と区別するためのものに過ぎず、その用語によって当該構成要素の本質や順番または順序などが限定されない。
明細書全体において、ある構成要素が他の構成要素に「連結される」か「接続される」と言及された時には、その他の構成要素に直接的に連結されているかまたは接続されていてもよいが、中間に他の構成要素が存在してもよいと理解されなければならない。これに対し、ある構成要素が他の構成要素に「直接連結される」か「直接接続される」と言及された時には、中間に他の構成要素が存在しないことが理解されなければならない。
追加的に、以下の方法またはこれらの態様の1つ以上は、少なくとも1つ以上の制御器によって実行できることが理解される。「制御器」という用語は、メモリおよびプロセッサを含むハードウェア装置を指すことができる。メモリは、プログラム命令を格納するように構成され、プロセッサは以下により詳しく説明される1つ以上のプロセスを行うためにプログラム命令を実行するように特別にプログラミングされる。制御器は、ここで記載されているように、ユニット、モジュール、部品、装置、またはこれと類似しているものの作動を制御することができる。また、以下の方法は、当業者によって認識されるように、1つ以上の他のコンポーネントと共に制御器を含む装置によって実行できることが理解される。
また、本開示の制御器は、プロセッサによって実行される実行可能なプログラム命令を含む非一時的なコンピュータ読取可能な記録媒体として実現できる。コンピュータ読取可能な記録媒体の例は、ROM、RAM、コンパクトディスク(CD)ROM 、磁気テープ、フロッピーディスク、フラッシュドライブ、スマートカードおよび光学データ記憶装置を含むが、これに限定されるものではない。コンピュータ読取可能な記録媒体はさらに、コンピュータネットワーク全般にわたって分散して、プログラム命令が、例えば、テレマティクスサーバ(telematics server)またはコントローラエリアネットワーク(Controller Area Network;CAN)のような分散方式で格納および実行される。
以下、本発明の仕上げ自動化システムおよびその方法について、図面を参照して詳細に説明する。
図1は、本発明の実施例による仕上げ自動化システムの構成を概略的に示す。
図1に示すとおり、本発明の仕上げ自動化システムは、前処理ラインに設けられて、製品の外装部品に検査痕を生成する第1ロボット100と、検査ラインの検査ルームに設けられたビジョンシステム200と、仕上げラインに設けられて、前記外装部品の面不良除去のための仕上げ作業を行う第2ロボット300とを含む。ここで、前記外装部品は、車体、ケース、ハウジング、カバー、本体などのように工場で生産される多様な製品の外装材を意味する。
例えば、自動車の車体をなす外装部品(以下、便宜上「車体」と名付ける)は、金属素材で製作され、各ラインに設けられたジグJ1、J2、J3によって設定位置に規制される。以下、本発明の実施例による仕上げ自動化システムは、説明の便宜上、アルミニウム素材の車体に最適化されたものとして説明するが、これに限定されない。
一般に、車体は、製作ばらつきによって面不良の大きさと位置、数量を予測することができない。そのため、第2ロボット300により車体の面不良に対する仕上げ作業を自動化するためには、まず、面不良を探してその位置を把握した後、どれだけ仕上げするかを示す仕上げ量(「仕上げ程度」ともいう)を導出する作業を行わなければならない。
先に説明したように、従来のカメラベースの映像処理技術では、車体の表面が平らでない微細屈曲を検出しにくいため、前記検査工程では、検査ルームで作業者が直接検査を行う。
このために、前処理ラインで、第1ロボット100は、これに装着された検査痕ツール110を用いて、車体に均一な圧力で一定の直線パターンの検査痕を生成して面不良の視認性を確保する前処理作業を行う。このように、自動化された前処理作業により微細屈曲を含む面不良検出のための作業者の視認性を高め、検出効率性を向上させることができる。
次に、検査ラインで、作業者は検査痕で視認性が向上した車体から面不良を探して、ペンなどを用いて円形や多角形(例えば、四角形、三角形など)形状のマーキングをする。
これは、従来のカメラを用いた映像で探せない微細な面不良位置を作業者が別途にマーキングして、ビジョンシステム200で認識できるようにすることである。ここでは、微細な面不良位置のマーキングを作業者が行うものとして説明するが、微細な面不良位置のマーキングは作業者によってのみ行われると制限されない。例えば、高度に精密なイメージ認識装置を用いて面不良位置が自動的にマーキングされてもよい。
ビジョンシステム200は、検査ルーム内に設けられた少なくとも1つのビジョンセンサ210により撮影した車体イメージを分析して、作業者によって前記車体に表示された面不良マーキング位置を把握し、これに対する信号を第2ロボット300に伝送する。
次に、仕上げラインで、第2ロボット300は、これに装着された仕上げツール310を少なくとも1つの前記面不良マーキング位置に順次に移動させながら、仕上げ作業を行う。仕上げ作業は、当該面不良深さのレベルに応じて設定された仕上げ量で行われて前記面不良を除去する。
このような、第1ロボット100および第2ロボット300は、それぞれ検査痕ツール110と仕上げツール310に設けられた均圧制御モジュール114、314を含む。均圧制御モジュール114、314は、ジグJ1、J3に装着される多様な車体間のスキ間に関係なく、均一な圧力を加えるようになっている。これによって、車体の製品ばらつきに関係なく、検査痕生成作業および仕上げ作業が一貫して行われる。
以下、図面により各ライン毎の設備構成について具体的に説明する。
図2は、本発明の実施例による前処理ラインの検査痕作業設備を示す。
図2に示すとおり、前処理ラインの検査痕作業設備は、第1ジグJ1と、検査痕ツール110が装着された第1ロボット100と、紙やすり自動交換機120と、第1制御器130とを含む。
第1ジグJ1は、上部に載置された車体を規制する。
第1ロボット100は、多関節マニピュレータ(manipulator)で構成されてもよいし、第1ロボット100の先端には検査痕ツール110が装着される。
検査痕ツール110は、マウントブラケット111と、紙やすりモジュール112と、検査痕生成モジュール113と、均圧制御モジュール114と、吸塵モジュール115とを含む。
マウントブラケット111は、検査痕ツール110に付着または装着されており、締結部材を介して第1ロボット100のエンドエフェクタ(End-Effector、E)に装着されて、検査痕ツール110を第1ロボット100の先端に装着する。
紙やすりモジュール112は、一定の圧力で車体に接触して車体上で移動し、微細な検査痕を発生するようになっている。紙やすりモジュール112は、老朽化時に取替可能な円盤型モジュールで構成される。例えば、紙やすりモジュール112は、アルミニウムの延性素材に検査痕を生成するのに適した網紙やすりで構成されるか、紙やすりまたはオイルストーンで構成されてもよい。
検査痕生成モジュール113は「L」字の断面形状で、下部に付着した紙やすりモジュール112が任意に回転しないように支持する。
一方、検査痕の生成時、車体の製品ばらつきに応じて車体の表面と検査痕生成モジュール113との間のスキ間が変化し、これによって、不均一な圧力で検査痕の品質低下を誘発しうる。
このような問題を解決するために、均圧制御モジュール114は、第1ロボット100に装着されたマウントブラケット111と検査痕生成モジュール113との間に設けられて、検査痕生成モジュール113が車体に均一な圧力を加えるように制御する。
つまり、検査痕生成モジュール113は、均圧制御モジュール114の一面に付着してマウントブラケット111に装着される構造を有するので、均圧制御モジュール114に設定された圧力に応じて車体に均一な圧力を加えて一定の品質の検査痕を生成することができる。
図3は、本発明の実施例による検査痕生成モジュールの均圧制御方法を示す。
第1ロボット100は、車体の種類(ID)に応じて設定された移動経路と圧力で検査痕ツール110を移動させながら、検査痕生成作業を繰り返す。
この時、均圧制御モジュール114は、基準設定で入力された圧力に比べて測定された圧力が大きいか小さければ、前記入力された圧力を基準として偏差だけ測定された圧力を減少または増加させて、常時均一な圧力が車体に加えられるように制御する。
例えば、図3(A)には、車体の製品ばらつきによって検査痕生成モジュール113と車体との間のスキ間が狭くなった状態を示す。
ここで、均圧制御モジュール114は、検査痕生成モジュール113を車体に接触させる検査痕生成作業時、入力された圧力(例;30N)に比べて測定された圧力が大きければ(例;50N)、前記入力された圧力を基準として圧力偏差(例;20N)を減少させて、検査痕生成モジュール113が均一な圧力を車体に加えるように制御する。
逆に、図3(B)には、車体の製品ばらつきによって検査痕生成モジュール113と車体との間のスキ間が広くなった状態を示す。
ここで、均圧制御モジュール114は、検査痕生成モジュール113を車体に接触させる検査痕生成作業時、入力された圧力(例;30N)に比べて測定された圧力が小さければ(例;0N)、前記入力された圧力を基準として圧力偏差(例;30N)を増加させて、検査痕生成モジュール113が均一な圧力を車体に加えるように制御する。
吸塵モジュール115は、マウントブラケット111に装着される吸入力発生装置であって、検査痕作業時、車体に発生する粉塵を吸入/除去する。
紙やすり自動交換機120は、第1ロボット100から老朽化した紙やすりモジュール112を回収し、新規な紙やすりモジュール112を供給する。前記紙やすり自動交換機120は、車体の素材に応じて100番~400番の間の多様な規格を有する新規紙やすりモジュール112を供給することができる。
第1制御器130は、エンジニアによってティーチングされるか、予め設定されたプログラムによって検査痕生成のための第1ロボット100の全般的な動作を制御し、このために、少なくとも1つのプロセッサとメモリとを含む。前記メモリには、予め設定されたプログラムとデータが格納される。
第1制御器130は、車体の部位毎のID(以下、「車体ID」と名付ける)に基づいた素材と形状に応じて第1ロボット100の検査痕ツールの設定条件と検査痕パターンのティーチング(Teaching)条件を設定する。
例えば、図4は、本発明の実施例による検査痕パターンの生成方法を示す。
図4に示すとおり、第1制御器130は、車体の素材に応じて紙やすり規格、車体に対する紙やすりの面着角度、圧力および検査痕ツールの移動速度の少なくとも1つを含む検査痕ツールの設定条件を設定することができる。
例えば、第1制御器130は、車体がアルミニウム素材の場合、紙やすり400番、圧力20~30N、速度400~800mm/sを最適値として検査痕ツールの設定条件を設定することができる。
第1制御器130は、車体の形状に応じて無回転で固定された紙やすりモジュール112を車体に面着した状態で左右前後に関係なく、横あるいは縦の一定の直線方向の繰り返されたパターンで移動させる検査痕パターンのティーチング条件を設定する。
仮に、図4のように、両側のキャラクタラインの間に形成された平易な領域は、キャラクタラインに沿って一定の直線方向の「己」字パターンに検査痕パターンのティーチング条件を設定することができる。この時、車体のキャラクタラインに相当する部分は、当該キャラクタラインが形成された方向に検査痕パターンのティーチング条件を設定する。また、検査痕パターンのティーチング条件を設定する時、紙やすりモジュール112が移動する経路の作業間隔は、紙やすりの直径の50%以下に設定することができる。
図5は、本発明の実施例による検査ラインのビジョンシステムの構成を示す。
図5に示すとおり、検査ラインに設けられる設備は、検査ルーム内に設けられる第2ジグJ2とビジョンシステム200とを含む。
検査ルームは、少なくとも1つの出入口が具備されたボックス型空間であり、外部の光を統制して光ムラなしに一定の性能で車体のイメージセンシングのための空間を提供する。
第2ジグJ2は、前処理工程で検査痕が生成された車体を規制する。
作業者は、検査痕が生成された車体の表面から微細屈曲を含む面不良を探して円形または多角形形状にマーキングする。前記マーキングは、車体の面不良位置をビジョンシステム200に認識させるための事前作業である。
この時、前記マーキングは、面不良深さレベル(つまり、微細屈曲の程度)に応じて多角形形状を異なって適用して表記することができる。仮に、作業者は、微細屈曲の場合、第1レベルの円形にマーキングし、これから微細屈曲の程度が深くなるほど第2レベルの四角形および第3レベルの三角形などでマーキングすることができる。また、本発明の実施例はこれに限定されず、1つの図形とその横に数字(例;1、2、3)で面不良深さレベルを表記することができる。
このように、微細屈曲のほか、スクラッチなどの他の面不良に対しても同一の方式でマーキングすることができる。
一方、ビジョンシステム200は、ビジョンセンサ210と、照明220と、マーキング分析制御器230とを含む。
ビジョンセンサ210は、指定された位置で車体イメージを撮影する少なくとも1つの2Dカメラで構成される。
例えば、ビジョンセンサ210は、検査ルームの天井の指定された位置に固定される。
ただし、本発明の実施例はこれに限定されず、ビジョンセンサ210は、車体の周辺にスタンドを介して固定されるか、ロボットに装着されて、指定された位置で撮影するようにしてもよい。 照明220は、検査ルームの内部で車体の表面に均一な光を照射するように複数配置される。照明220の位置、数量、照度などは、車体の素材と形状に応じて異なって適用して最適化設定可能である。
マーキング分析制御器230は、ビジョンセンシングプログラムを実行するようになっている。
マーキング分析制御器230は、ビジョンセンサ210から撮影されたイメージを分析して、車体に表記された面不良マーキング位置、面不良の種類、大きさおよび深さレベルなどの情報を検出して第2ロボット300に伝送する。前記面不良の種類は、微細屈曲、スクラッチ、凹凸、打痕および押されなどであってもよい。
図6は、本発明の実施例による面不良マーキング位置の検出方法を説明するための概念図である。
図6に示すとおり、ビジョンシステム200は、上部に固定された2Dビジョンセンサ210で撮影されたイメージを分析して、面不良マーキング位置を検出する特性上、2Dイメージの歪みが発生しうる。そのため、これを克服し、第2ロボット300が正確な面不良位置を仕上げできるように情報を提供する方法を説明する。
マーキング分析制御器230は、車体イメージの前処理過程で背景を削除した後、RGB値および明暗勾配値を基準として製品輪郭線およびマーキングを残し、残りは削除して、白黒の単純なイメージに加工する。
マーキング分析制御器230は、ディープラーニング学習モデルを基準として加工された全体イメージからマーキング形状を認識し、その中心座標(x、y)を検出する。このために、マーキング分析制御器230は、事前にディープラーニングを活用してマーキングの特性値を学習して、マーキング形状認識のためのディープラーニング学習モデルを構築することができる。
マーキング分析制御器230は、車体イメージの全体領域を横と縦の複数のセル(cell)領域に分割し、各領域に固有のセル番号(cell ID)を付与したセルマトリクスマップ(MAP)を生成する。そして、前記セルマトリクスマップ(MAP)において前記中心座標(x、y)が位置する領域のセル番号(セルID)を認識する。ここで、 一般的な地図に例えれば、前記座標(x、y)は緯度と経度に、そして前記セル番号はそのアドレスに例えることができる。
図6に示したように、車体の3D形状を2Dイメージで撮影して、座標(x3、y3)を探すと、実際の不良位置とイメージ上の不良位置とが異なる問題があり、補正により正すことも難しい。本発明の実施例では、車体の全体領域を複数のセル領域に分割し、面不良がどのセル領域(番号)にあるかを確認することによって、車体の形状に関係なく、面不良の位置を把握することができる。マーキング分析制御器230は、面不良と認識されたセル領域の大きさとパターンを解析して、面不良の種類と面不良の大きさを検出することができる。
このような、マーキング分析制御器230は、車体の大きさと形状の複雑度に応じてセル領域の分割を細分化して、面不良位置認識に対する精密度を向上させることができる。
また、マーキング分析制御器230は、前記マーキング形状を認識する過程でイメージの分析により面不良深さレベルをさらに認識して、第2ロボット300に伝送することができる。
一方、図7は、本発明の実施例による仕上げラインの仕上げ作業設備を示す。
図7に示すとおり、仕上げラインの仕上げ作業設備は、第3ジグJ3と、仕上げツール310が装着された第2ロボット300と、紙やすり自動交換機320と、第2制御器330とを含む。
第3ジグJ3は、検査痕と面不良位置がマーキングされた車体を規制する。
第2ロボット300は、多関節マニピュレータで構成されてもよいし、第2ロボット300の先端には仕上げツール310が装着される。
仕上げツール310は、マウントブラケット311と、紙やすりモジュール312と、仕上げ機313と、均圧制御モジュール314と、吸塵モジュール315とを含む。
マウントブラケット311は、仕上げツール310に付着または装着されており、締結部材を介して第2ロボット300のエンドエフェクタEに装着されて、仕上げツール310を第2ロボット300の先端に装着する。
紙やすりモジュール312は、一定の圧力で車体に接触して車体上で回動しながら面不良を除去するようになっている。紙やすりモジュール312は、老朽化時に取替可能な円盤型モジュールで構成される。
仕上げ機313は、サーボモータを用いた電動式であり、そのスピンドルに紙やすりモジュール312が回動可能に装着される。仕上げ機313は、車体の面不良位置に第2ロボット300によって移動し、紙やすりモジュール312を介して、一定の圧力を加えて仕上げする。
均圧制御モジュール314は、第2ロボット300に装着されたマウントブラケット311と仕上げ機313との間に設けられて、仕上げ機313が車体に均一な圧力を加えるように制御する。
つまり、仕上げ機313は、均圧制御モジュール314の一面に付着してマウントブラケット311に装着される構造を有するので、均圧制御モジュール314に設定された圧力に応じて車体に均一な圧力を加えて一定の品質の仕上げ量を制御することができる。
このような均圧制御モジュール314の制御方法と吸塵モジュール315および紙やすり自動交換機320の説明は、均圧制御モジュール114の制御方法と吸塵モジュール115および紙やすり自動交換機120の説明と類似しているので、重複した説明を省略する。
第2制御器330は、ティーチングされるか、予め設定されたプログラムによって仕上げ作業のための第2ロボット300の全般的な動作を制御し、このために、少なくとも1つのプロセッサとメモリとを含む。前記メモリには予め設定されたプログラムとデータが格納される。
第2制御器330は、ビジョンシステム200から面不良マーキング位置と面不良深さレベルを受信すると、第2ロボット300により仕上げツール310を前記面不良マーキング位置に位置させ、前記面不良深さレベルに基づいた領域毎の仕上げ量を調節して面不良を除去する仕上げ作業を制御する。
第2制御器330は、ビジョンシステム200から複数の面不良マーキング位置、面不良の種類、面不良の大きさおよび面不良深さレベルなどの情報を受信すると、当該位置らに仕上げツール310を順次に移動させた後、自動的に仕上げ作業を制御することができる。
第2制御器330は、車体IDに応じた素材と形状を考慮した最適な面不良の仕上げ条件をデータベース(DB)に格納し、受信された面不良マーキング位置、面不良の種類、大きさと面不良深さレベルに基づいた最適な面不良の仕上げ条件を設定する。
特に、面不良深さレベルに応じて最適化された仕上げ量を調節することによって、単一設定値で仕上げすることによって、面不良を完全に除去できなかったり、不必要に過度な仕上げ量による作業効率の低下および2次的な不良などの従来技術の問題を改善することができる。
図8は、本発明の実施例による面不良仕上げの最適条件の生成方法を示す。
図8に示すとおり、第2制御器330は、車体の面不良深さレベルに応じて仕上げ量を決定するために、試験で仕上げ量に影響を与える主な条件を変更しながら仕上げし、その結果、車体の厚さ変化に応じた仕上げ量と時間を測定してDB化する。ここで、前記主な条件は、紙やすりの粗さ、表面に対する仕上げ機の角度、加圧力、仕上げ機のスピンドル速度(RPM)、ロボットの移動速度および仕上げ回数などを含むことができる。
そして、第2制御器330は、第3ジグJ3にセットされた車体IDの面不良マーキング位置と面不良深さレベルに最適化された仕上げ条件をDBから探して自動的に適用することができる。
例えば、第2制御器330は、面不良深さが微細スクラッチ程度の第1レベルから高くなるほど、紙やすりの粗さ、加圧力、仕上げ機のスピンドル速度(RPM)および仕上げ回数の少なくとも1つを増加させ、第2ロボットの移動速度を減少させることができる。
また、仕上げ作業時の仕上げ部と非仕上げ部との境界の屈曲が過度で刺傷痕を残すと、塗装後に露呈する2次的な仕上げ不良問題が発生しうる。
このような仕上げ不良問題を予防するために、第2制御器330は、面不良マーキング位置だけを仕上げするのではなく、これを中心として周りに一定の間隔を有する複数レベルに仕上げ領域を広げていきながら次第に仕上げ量を低減する条件で、仕上げ部と非仕上げ部との境界の屈曲偏差と粗さ偏差を減少させる。この時、面不良マーキング位置を基準として、第1仕上げ領域(1)は100番の紙やすり、第2仕上げ領域(2)は200番の紙やすり、第3仕上げ領域(3)は400番の紙やすりを用いて粗さを低下させながら繰り返し仕上げする。そして、最後の作業は400番以上の紙やすりを用いてすべての仕上げ領域を細かくする。
一方、前述した仕上げ自動化システムの構成に基づいて、本発明の実施例による仕上げ自動化方法を説明する。
本発明の仕上げ自動化システムの第1ロボット100、ビジョンシステム200、第2ロボット300は、各制御器が設定されたプログラムによって動作する1つ以上のプロセッサで実現可能であり、前記設定されたプログラムは、本発明の実施例による仕上げ自動化方法の各段階を行うようにプログラミングされたものであってもよい。また、前記第1制御器130、マーキング分析制御器230、そして第2制御器230は、1つの制御器で統合されてもよい。
このような仕上げ自動化方法は、以下の図面を参照してさらに具体的に説明する。
図9は、本発明の実施例による仕上げ自動化方法を概略的に示すフローチャートである。
図9に示すとおり、検査痕ラインの第1ロボット100は、第1ジグJ1にローディングされた車体の素材と形状に応じて検査痕ツールの設定条件と検査痕パターンのティーチング条件を設定する(S110)。
第1ロボット100は、装着された検査痕ツール110を用いて、均一な圧力で車体に一定の直線パターンの検査痕を生成して面不良の視認性を確保する前処理作業を行う(S120)。
検査ラインの第2ジグJ2に前処理工程で検査痕が生成された車体がローディングされる。作業者は、検査痕が生成された車体の表面から微細スクラッチを含む面不良を探して円形または多角形形状にマーキングする。この時、面不良深さレベルに応じてマーキング形状が互いに異なって表示されてもよい。
ビジョンシステム200は、少なくとも1つのビジョンセンサ210により撮影した前記車体イメージを分析して、作業者によって表示された面不良マーキング位置を認識し(S130)、これに対する信号を第2ロボット300に伝送する(S140)。この時、ビジョンシステム200は、面不良マーキング位置を認識する過程でマーキング形状に応じて面不良深さレベルをさらに認識して、第2ロボット300に伝送することができる。 仕上げラインの第3ジグJ3に検査を終えた車体がローディングされる。
第2ロボット300は、ビジョンシステム200から受信された面不良マーキング位置と面不良深さレベルに基づいた最適な面不良の仕上げ条件を設定する(S150)。
第2ロボット300は、仕上げツール310を少なくとも1つの前記面不良マーキング位置に順次に移動させながら、当該面不良深さレベルに応じて設定された仕上げ量で仕上げ作業を行って面不良を除去する(S160)。
以後、第2ロボット300は、前記車体に対するすべての面不良の除去を完了すれば、当該仕上げ作業を終了し、次の作業を待機する。このように、本発明の実施例によれば、自動車工場の現場の状況を考慮して車体の面不良を検査し、これを除去する一連の仕上げ工程を実際のラインに適用できるように自動化することによって、ヒューマンエラーおよび仕上げ品質のばらつきによる品質偏差を低減できる効果がある。
また、自動的に検査痕を生成する前処理作業により作業者の面不良検出のための視認性を確保することによって、ヒューマンエラーを最小化できる効果がある。
さらに、車体の面不良検査工程と仕上げ工程の自動化によりアルミニウム粉塵などの危害環境から作業者を保護することができ、生産コストを節減できる効果がある。
なお、不良データおよび仕上げ結果などのデータを取得して、データベース化による格納および管理が容易であり、累積されたデータは今後の車体金型および工程改善に活用できる効果がある。
以上、本発明の実施例について説明したが、本発明は、上記の実施例のみに限定されるものではなく、その他の多様な変更が可能である。
例えば、図6により説明した本発明の実施例において、ビジョンシステム200は、2Dビジョンセンサ210を用いる特性上、イメージの歪みが発生することを考慮して、マーキング形状の中心座標(x、y)を用いず、様々なセル(cell)領域に分割して面不良マーキング位置を認識した。しかし、本発明の実施例はこれに限定されず、3Dビジョンセンサを用いてセル領域の分割を省略し、マーキング形状の中心座標(x、y)を直接探すことができる。
また、前述した本発明の実施例において、第1ロボット100および第2ロボット300は、それぞれ検査痕ツール110と仕上げツール310との間に設けられた均圧制御モジュール114、314を介して、多様な車体間のスキ間に関係なく、均一な圧力を加えて検査痕生成作業および仕上げ作業を行うものとして説明した。
しかし、本発明の実施例はこれに限定されず、第1ロボット100および第2ロボット300を力センサまたはトルクセンサが装着された協働ロボットで構成して前記均圧制御モジュールを代替することによって、均一な圧力で検査痕生成作業および仕上げ作業を制御することができる。
また、図1により説明した本発明の実施例では、作業者が車体の面不良位置をマーキングしてビジョンシステム200に認識させるものとして説明した。
しかし、本発明の実施例はこれに限定されず、車体に検査痕を生成して面不良の視認性を確保した状態で、作業者の介入なしに、ビジョンセンサ210のビジョンセンシングにより微細屈曲を含む面不良を検出して検査痕が生成された車体の2Dイメージ上に仮想でマーキングすることによって自動化することができる。この時、前記マーキングは、車体の2Dイメージ上に多角形形状あるいは面不良深さレベルを増強することによって表示することができる。このような本発明の実施例は、従来技術とは異なり、車体に検査痕を生成して面不良の視認性を確保する検査痕生成作業により可能になる。
以後、マーキング分析制御器230は、ビジョンセンサ210からマーキングされた車体イメージを分析して、車体の面不良マーキング位置、面不良の種類、大きさおよび深さレベルなどの情報を検出して第2ロボット300に伝送することができる。
また、前述した本発明の実施例は、第1ロボット100および第2ロボット300にそれぞれ検査痕ツール110と仕上げツール310を装着して、それぞれ検査痕生成作業および仕上げ作業を行うものとして説明した。
しかし、本発明の実施例はこれに限定されず、1つの仕上げロボットに装着された仕上げツールを用いて、制御方式によって検査痕生成作業と仕上げ作業を行うようにしてもよい。
例えば、図10は、本発明の他の実施例による1つの仕上げロボットを用いた仕上げ自動化システムの構成を概略的に示す。
以下、図10は、先に説明した実施例と類似しており、1つの仕上げロボット400を構成する点のみ異なるので、類似の説明は省略し、異なる点を中心に説明する。
図10に示すとおり、本発明の他の実施例により車体のような外装部品の面不良を除去する仕上げ自動化システムは、無回転で固定された仕上げツール410を介して、均一な圧力で外装部品の表面に一定のパターンの検査痕を生成して面不良の視認性を確保する仕上げロボット400と、少なくとも1つのビジョンセンサにより撮影した外装部品のイメージを分析して、検査痕が生成された外装部品に表示された面不良マーキング位置および面不良深さレベルを把握するビジョンシステム200とを含み、前記仕上げロボット400は、前記ビジョンシステム200から受信された信号によって前記仕上げツール410を回転させ、少なくとも1つの前記面不良マーキング位置に順次に移動させながら、当該面不良深さレベルに応じて設定された仕上げ量で仕上げ作業をして前記面不良を除去することを特徴とする。
ここで、仕上げツール410は、前述した実施例における仕上げツール310の構成と実質的に同一であり、ビジョンシステム200から受信された制御信号によって検査痕生成モードで動作するか、仕上げモードで動作することができる。また、仕上げロボット400は、前記検査痕生成モードおよび仕上げモードのいずれか1つへのモードの切替によって設定された紙やすりモジュールを取替えることができる。
これによって、外装部品の移送および工程設備を最小化し、1つの作業位置で検査痕生成、検査および仕上げ作業を統合可能で、工程費用の節減および作業空間を縮小できるという利点がある。
本発明の実施例は、以上に説明した装置および/または方法によってのみ実現されるのではなく、本発明の実施例の構成に対応する機能を実現するためのプログラム、そのプログラムが記録された記録媒体などによって実現されてもよいし、このような実現は先に説明した実施例の記載から本発明の属する技術分野における専門家であれば容易に実現することができる。
以上、本発明の実施例について詳細に説明したが、本発明の権利範囲はこれに限定されるものではなく、以下の特許請求の範囲で定義している本発明の基本概念を利用した当業者の様々な変形および改良形態も本発明の権利範囲に属する。
100:第1ロボット
110:検査痕ツール
111:マウントブラケット
112:紙やすりモジュール
113:検査痕生成モジュール
114:均圧制御モジュール
115:吸塵モジュール
120:紙やすり自動交換機
130:第1制御器
200:ビジョンシステム
210:ビジョンセンサ
220:照明
230:マーキング分析制御器
300:第2ロボット
310:仕上げツール
311:マウントブラケット
312:紙やすりモジュール
313:仕上げ機
314:均圧制御モジュール
315:吸塵モジュール
320:紙やすり自動交換機
330:第2制御器
400:仕上げロボット
410:仕上げツール
J1、J2、J3:第1ジグ、第2ジグ、第3ジグ

Claims (20)

  1. 外装部品の面不良を除去する仕上げ自動化システムにおいて、
    検査痕ツールを介して、均一な圧力で外装部品に一定のパターンの検査痕を生成して面不良の視認性を確保する第1ロボットと、
    少なくとも1つのビジョンセンサにより撮影した外装部品のイメージを分析して、検査痕が生成された前記外装部品に表示された面不良マーキング位置および面不良深さレベルを把握するビジョンシステムと、
    仕上げツールを少なくとも1つの前記面不良マーキング位置に順次に移動させながら、当該面不良深さレベルに応じて設定された仕上げ量で仕上げ作業をして前記面不良を除去する第2ロボットと、
    を含むことを特徴とする仕上げ自動化システム。
  2. 前記第1ロボットおよび第2ロボットは、
    それぞれ前記検査痕ツールと仕上げツールに設けられた均圧制御モジュールを介して、前記外装部品に相当する車体の表面に均一な圧力を加えて検査痕生成作業および仕上げ作業を行うことを特徴とする請求項1に記載の仕上げ自動化システム。
  3. 前記均圧制御モジュールは、
    設定された圧力に比べて測定された圧力が大きいか小さければ、前記設定された圧力を基準として偏差だけ測定された圧力を減少または増加させて、均一な圧力が車体に加えられるように制御することを特徴とする請求項2に記載の仕上げ自動化システム。
  4. 前記検査痕ツールは、
    前記第1ロボットのエンドエフェクタに装着されるマウントブラケットと、
    前記外装部品に相当する車体に一定の圧力で接触して車体上で移動し、微細な検査痕を発生するようになった紙やすりモジュールと、
    その下部に付着した前記紙やすりモジュールが任意に回転しないように支持する検査痕生成モジュールと、
    前記マウントブラケットと前記検査痕生成モジュールとの間に設けられて、前記検査痕生成モジュールが車体に均一な圧力を加えるように制御する均圧制御モジュールと、
    吸入力を発生して前記車体に発生する粉塵を除去する吸塵モジュールと、
    を含むことを特徴とする請求項1に記載の仕上げ自動化システム。
  5. 前記第1ロボットは、
    前記検査痕を生成するための動作を制御する第1制御器を含み、
    前記第1制御器は、前記外装部品に相当する車体の部位毎の車体IDに基づいた素材と形状に応じて検査痕ツールの設定条件と検査痕パターンのティーチング(Teaching)条件を設定することを特徴とする請求項1~4のいずれか1項に記載の仕上げ自動化システム。
  6. 前記第1制御器は、
    前記車体の素材に応じて紙やすり規格、車体に対する紙やすりの面着角度、圧力および移動速度を含む前記検査痕ツールの設定条件を設定することを特徴とする請求項5に記載の仕上げ自動化システム。
  7. 前記第1制御器は、
    前記車体の形状に応じて無回転で固定された検査痕ツールの紙やすりモジュールを車体に面着した状態で一定の直線方向に移動させる検査痕パターンのティーチング条件を設定することを特徴とする請求項5に記載の仕上げ自動化システム。
  8. 前記第1制御器は、
    キャラクタラインの間に形成された平易な領域は、前記キャラクタラインに沿って横あるいは縦の一定の直線方向の繰り返されたパターンに前記検査痕パターンのティーチング条件を設定しかつ、前記キャラクタラインに相当する部分は、当該キャラクタラインが形成された方向に前記検査痕パターンのティーチング条件を設定することを特徴とする請求項7に記載の仕上げ自動化システム。
  9. 前記ビジョンシステムは、
    指定された位置で前記外装部品に相当する車体の2Dイメージを撮影するビジョンセンサと、
    車体の全面に均一な光を照射するように配置される少なくとも1つの照明と、
    前記ビジョンセンサから撮影された2Dイメージを分析して、車体に表記された面不良マーキング位置と面不良の種類、面不良の大きさを検出し、これに対する信号を前記第2ロボットに伝送するマーキング分析制御器と、
    を含むことを特徴とする請求項1に記載の仕上げ自動化システム。
  10. 前記ビジョンセンサは、
    検査痕が生成された前記車体の2Dイメージのビジョンセンシングにより微細屈曲を含む面不良を検出して前記車体の2Dイメージ上に仮想でマーキングすることを特徴とする請求項9に記載の仕上げ自動化システム。
  11. 前記マーキング分析制御器は、
    前記2Dイメージの分析時、車体イメージの背景を削除した後、RGB値および明暗勾配値を基準として製品輪郭線およびマーキングだけを残して白黒のイメージに加工することを特徴とする請求項9に記載の仕上げ自動化システム。
  12. 前記マーキング分析制御器は、
    ディープラーニングを活用してマーキングの特性値を学習して、マーキング形状認識のためのディープラーニング学習モデルを構築し、前記ディープラーニング学習モデルを基準として車体イメージからマーキング形状を認識し、その中心座標(x、y)を検出することを特徴とする請求項9~11のいずれか1項に記載の仕上げ自動化システム。
  13. 前記マーキング分析制御器は、
    前記車体イメージの全体領域を複数のセル(cell)領域に分割し、各領域に固有のセル番号(cell ID)を付与したセルマトリクスマップ(MAP)を生成し、前記セルマトリクスマップ(MAP)において前記中心座標(x、y)が位置する領域のセル番号(セルID)を認識することを特徴とする請求項12に記載の仕上げ自動化システム。
  14. 前記マーキング分析制御器は、
    前記マーキング形状を認識する過程でイメージの分析により面不良深さレベルをさらに認識して、これに対する信号を前記第2ロボットに伝送することを特徴とする請求項12に記載の仕上げ自動化システム。
  15. 前記仕上げツールは、
    前記第2ロボットのエンドエフェクタに装着されるマウントブラケットと、
    車体に一定の圧力で接触して車体上で回動しながら面不良を除去するようになった紙やすりモジュールと、
    前記紙やすりモジュールが回動可能に装着され、車体の面不良位置に前記第2ロボットによって移動し、前記紙やすりモジュールを介して、一定の圧力を加えて仕上げする仕上げ機と、
    前記マウントブラケットと前記仕上げ機との間に設けられて、前記仕上げ機が車体に均一な圧力を加えるように制御する均圧制御モジュールと、
    吸入力を発生して前記車体に発生する粉塵を除去する吸塵モジュールと、
    を含むことを特徴とする請求項1に記載の仕上げ自動化システム。
  16. 前記第2ロボットは、
    前記仕上げ作業のための動作を制御する第2制御器を含み、
    前記第2制御器は、車体IDに応じた素材と形状を考慮した面不良の仕上げ条件をデータベース(DB)に格納し、前記ビジョンシステムから受信された面不良マーキング位置と面不良深さレベルに基づいた面不良の仕上げ条件を設定することを特徴とする請求項1または15に記載の仕上げ自動化システム。
  17. 前記第2制御器は、
    前記面不良深さのレベルが高くなるほど紙やすりの粗さおよび加圧力を増加させかつ、仕上げ機の回動速度(RPM)および仕上げ回数の少なくとも1つをさらに増加させ、第2ロボットの移動速度をさらに減少させることを特徴とする請求項16に記載の仕上げ自動化システム。
  18. 前記第2制御器は、
    前記面不良マーキング位置を中心として周りに一定の間隔を有する複数のレベルに仕上げ領域を広げていきながら次第に仕上げ量を低減して、仕上げ部と非仕上げ部との間の境界の屈曲偏差と粗さ偏差を減少させることを特徴とする請求項16に記載の仕上げ自動化システム。
  19. 外装部品の面不良を除去する仕上げ自動化システムの仕上げ自動化方法において、
    a)第1ロボットに装着された検査痕ツールを用いて、均一な圧力で外装部品に一定のパターンの検査痕を生成して面不良の視認性を確保する段階と、
    b)ビジョンシステムが、少なくとも1つのビジョンセンサにより撮影した外装部品のイメージを分析して、検査痕が生成された外装部品に表示された面不良マーキング位置と面不良の種類、面不良の大きさ、面不良深さレベルの少なくとも1つを把握する段階と、
    c)第2ロボットに装着された仕上げツールを少なくとも1つの前記面不良マーキング位置に順次に移動させながら、当該面不良深さレベルに応じて設定された仕上げ量で仕上げ作業を行って前記面不良を除去する段階と、
    を含むことを特徴とする仕上げ自動化方法。
  20. 外装部品の面不良を除去する仕上げ自動化システムにおいて、
    無回転で固定された仕上げツールを介して、均一な圧力で外装部品の表面に一定のパターンの検査痕を生成して面不良の視認性を確保する仕上げロボットと、
    少なくとも1つのビジョンセンサにより撮影した外装部品のイメージを分析して、検査痕が生成された外装部品に表示された面不良マーキング位置および面不良深さレベルを把握するビジョンシステムとを含み、
    前記仕上げロボットは、前記ビジョンシステムから受信された信号によって前記仕上げツールを回転させ、少なくとも1つの前記面不良マーキング位置に順次に移動させながら、当該面不良深さレベルに応じて設定された仕上げ量で仕上げ作業をして前記面不良を除去することを特徴とする仕上げ自動化システム。

JP2022201035A 2021-12-17 2022-12-16 仕上げ自動化システムおよびその方法 Pending JP2023090683A (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR10-2021-0181881 2021-12-17
KR1020210181881A KR20230092470A (ko) 2021-12-17 2021-12-17 사상 자동화 시스템 및 그 방법

Publications (1)

Publication Number Publication Date
JP2023090683A true JP2023090683A (ja) 2023-06-29

Family

ID=86606233

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2022201035A Pending JP2023090683A (ja) 2021-12-17 2022-12-16 仕上げ自動化システムおよびその方法

Country Status (5)

Country Link
US (1) US20230191557A1 (ja)
JP (1) JP2023090683A (ja)
KR (1) KR20230092470A (ja)
CN (1) CN116265182A (ja)
DE (1) DE102022212597A1 (ja)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11938632B2 (en) * 2020-07-31 2024-03-26 GrayMatter Robotics Inc. Method for autonomously detecting and repairing defects in a workpiece in surface finishing applications
US11883961B2 (en) * 2022-05-27 2024-01-30 GrayMatter Robotics Inc. Method for autonomously dimensional accuracy of a workpiece via three-dimensional sanding
CN116703906B (zh) * 2023-08-04 2023-10-20 山东鑫科来信息技术有限公司 基于图像处理的金属件打磨质量检测方法

Also Published As

Publication number Publication date
DE102022212597A1 (de) 2023-06-22
US20230191557A1 (en) 2023-06-22
KR20230092470A (ko) 2023-06-26
CN116265182A (zh) 2023-06-20

Similar Documents

Publication Publication Date Title
JP2023090683A (ja) 仕上げ自動化システムおよびその方法
US11110611B2 (en) Automatic detection and robot-assisted machining of surface defects
CN110434671B (zh) 一种基于特征测量的铸造件表面机加工轨迹校准方法
CA2554639C (en) Method and system for inspecting surfaces
US8387221B2 (en) Device and method for finishworking of a forming tool for an auto body sheet metal part
US5477268A (en) Method of and apparatus for finishing a surface of workpiece
US20030139836A1 (en) Paint defect automated seek and repair assembly and method
Princely et al. Vision assisted robotic deburring of edge burrs in cast parts
Konstantinidis et al. The role of machine vision in industry 4.0: an automotive manufacturing perspective
WO2020078335A1 (zh) 利用agv作为运载工具的夹具自动交换装置
CN102529019B (zh) 一种模具检测、保护及零件检测、摘取的方法
JP2021535502A (ja) ロボット塗装補修のための学習フレームワーク
CN114571326B (zh) 基于计算机视觉的变形曲面磨削方法、装置及系统
EP3480552A1 (en) Method and apparatus for inspecting precision countersinks in aircraft structures by machine vision
CN109848989B (zh) 一种基于红宝石探针的机器人执行末端自动标定及检测方法
US11707842B2 (en) Robot system and coordinate conversion method
MX2021014453A (es) Metodo para coordinar una identificacion y el procesamiento de un defecto de una pieza de trabajo y dispositivo para llevar a cabo el metodo.
US20230321687A1 (en) Robotic repair control systems and methods
CN116542914A (zh) 基于3d点云的焊缝提取与拟合方法
CN114833040B (zh) 一种涂胶方法及新能源电驱动端盖涂胶设备
EP4298485A1 (en) Determination of contour fidelity for a laser cutting machine
CN206840094U (zh) 机器人视觉系统
CN112571237A (zh) 用于识别和校正物体表面不平整处的系统
JPH0666732A (ja) 塗装点検仕上げ方法
CN117392129B (zh) 一种基于2d机器视觉的柴油发动机涂胶检测方法及装置