JP2017144454A - 車体部品の施工部位判定システム及び施工部位判定方法 - Google Patents

車体部品の施工部位判定システム及び施工部位判定方法 Download PDF

Info

Publication number
JP2017144454A
JP2017144454A JP2016027110A JP2016027110A JP2017144454A JP 2017144454 A JP2017144454 A JP 2017144454A JP 2016027110 A JP2016027110 A JP 2016027110A JP 2016027110 A JP2016027110 A JP 2016027110A JP 2017144454 A JP2017144454 A JP 2017144454A
Authority
JP
Japan
Prior art keywords
construction
vehicle body
image data
body part
dimensional image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2016027110A
Other languages
English (en)
Other versions
JP6658054B2 (ja
Inventor
克秀 有元
Katsuhide Arimoto
克秀 有元
貴夫 水野
Takao Mizuno
貴夫 水野
雄太 横道
Yuta YOKOMICHI
雄太 横道
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Toyota Auto Body Co Ltd
Original Assignee
Toyota Auto Body Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Toyota Auto Body Co Ltd filed Critical Toyota Auto Body Co Ltd
Priority to JP2016027110A priority Critical patent/JP6658054B2/ja
Priority to PCT/JP2016/077317 priority patent/WO2017141475A1/ja
Publication of JP2017144454A publication Critical patent/JP2017144454A/ja
Priority to US15/807,764 priority patent/US10507550B2/en
Application granted granted Critical
Publication of JP6658054B2 publication Critical patent/JP6658054B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B23—MACHINE TOOLS; METAL-WORKING NOT OTHERWISE PROVIDED FOR
    • B23K—SOLDERING OR UNSOLDERING; WELDING; CLADDING OR PLATING BY SOLDERING OR WELDING; CUTTING BY APPLYING HEAT LOCALLY, e.g. FLAME CUTTING; WORKING BY LASER BEAM
    • B23K31/00—Processes relevant to this subclass, specially adapted for particular articles or purposes, but not covered by only one of the preceding main groups
    • B23K31/12—Processes relevant to this subclass, specially adapted for particular articles or purposes, but not covered by only one of the preceding main groups relating to investigating the properties, e.g. the weldability, of materials
    • B23K31/125—Weld quality monitoring
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B23—MACHINE TOOLS; METAL-WORKING NOT OTHERWISE PROVIDED FOR
    • B23K—SOLDERING OR UNSOLDERING; WELDING; CLADDING OR PLATING BY SOLDERING OR WELDING; CUTTING BY APPLYING HEAT LOCALLY, e.g. FLAME CUTTING; WORKING BY LASER BEAM
    • B23K11/00—Resistance welding; Severing by resistance heating
    • B23K11/10—Spot welding; Stitch welding
    • B23K11/11—Spot welding
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G06T7/001—Industrial image inspection using an image reference approach
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
    • G06V10/752—Contour matching
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/64—Three-dimensional objects
    • G06V20/653—Three-dimensional objects by matching three-dimensional models, e.g. conformal mapping of Riemann surfaces
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30108—Industrial image inspection
    • G06T2207/30164—Workpiece; Machine component
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/06—Recognition of objects for industrial automation

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Software Systems (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Quality & Reliability (AREA)
  • Mechanical Engineering (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Databases & Information Systems (AREA)
  • Computing Systems (AREA)
  • Medical Informatics (AREA)
  • Signal Processing (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Evolutionary Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Image Analysis (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

【課題】車体部品の施工部位を簡単に且つ低コストで判定するのに有効な技術を提供する。【解決手段】施工部位判定システム１は、撮影装置１０及び処理装置２０を備え、処理装置２０は、撮影装置１０によって記録された車体部品Ｗの３次元画像を３次元画像データに変換する画像処理部２１と、３次元画像データと３次元設計データとの双方からそれぞれ、施工部位Ｐａ，Ｐｂ及び基準部位Ｑａ，Ｑｂを抽出する抽出部２５と、基準部位Ｑａ，Ｑｂを基準にして３次元画像データ及び３次元設計データの位置合わせを行う位置合わせ部２６と、位置合わせ部２６によって位置合わせされた３次元画像データ及び３次元設計データについて３次元画像データから抽出された施工部位Ｐａと３次元設計データから抽出された施工部位Ｐｂとの関係を判定する判定部２７と、を備える。【選択図】 図１

Description

本発明は、車体部品の施工部位を判定する技術に関する。
自動車の製造工程においては、種々の車体部品に対してスポット溶接が施工された後、このスポット溶接が予め作成された工法書に従って適正になされているか否かが検査される。従来、この検査は、スポット溶接によって形成された打点を作業者が目視で確認する視覚的検査として行われていた。例えば、作業者は、スポット溶接が施工された車体部品について、スポット溶接によって形成された打点の数と位置を目視によって確認する。その後、作業者は、その検査結果をチェックシート等に手書きで記入する。ところが、このような検査手法は、作業者本人の判断のみによるため人為的な誤判定の原因になり得る。
そこで、視覚的検査による検査手法の問題点を解消するべく、下記特許文献１には、カメラを用いて打点の判定を行う検査システムが開示されている。この検査システムでは、車体部品における打点を指し示す指示具と、指示具に設けられた識別部に向けて配置されるカメラと、が使用される。カメラを車体部品に対して固定位置に配置した後、このカメラによって車体部品を撮影することによってカメラからの撮像信号に基づいて打点の位置を検出する。そして、検出した打点の位置を予め登録された打点の位置と照合することによって、検出した打点の位置が適正であるか否かを判定する。
特開２００７−１５２３７１号公報
しかしながら、上記特許文献１に開示の検査システムを用いる場合、カメラを車体部品に対して決まった位置に固定配置する必要がある。従って、準備作業に時間及び工数がかかる。また、カメラとは別に、該カメラを固定する固定部材、及び打点を指し示す指示具を少なくとも準備する必要があり、検査に要するコストが高い。
そこで、この種のシステムの設計に際しては、車体部品の施工部位を簡単に且つ低コストで判定できる技術が求められている。また、この技術では、スポット溶接の打点が形成された施工部位のみならず、車体部品に開口形成された開口穴、車体部品に溶接されたボルト、ナット、座金などの施工部位についても同様に判定できるのが好ましい。
本発明は、かかる課題に鑑みてなされたものであり、車体部品の施工部位を簡単に且つ低コストで判定するのに有効な技術を提供しようとするものである。
本発明の一態様は、
車体部品の３次元画像を記録する撮影装置と、
上記撮影装置によって記録された上記車体部品の３次元画像に基づいて、上記車体部品の施工部位を判定する処理を行う処理装置と、を備え、
上記処理装置は、
上記３次元画像を３次元画像データに変換する画像処理部と、
上記３次元画像データと上記車体部品の設計に用いられる３次元設計データとの双方からそれぞれ、上記施工部位と上記車体部品の基準部位とを抽出する抽出部と、
上記基準部位を基準にして上記３次元画像データ及び上記３次元設計データの位置合わせを行う位置合わせ部と、
上記位置合わせ部によって位置合わせされた上記３次元画像データ及び上記３次元設計データについて、上記抽出部によって上記３次元画像データから抽出された上記施工部位と上記抽出部によって上記３次元設計データから抽出された上記施工部位との関係を判定する判定部と、を備える、車体部品の施工部位判定システムにある。
本発明の他の態様は、
車体部品の施工部位を判定する、車体部品の施工部位判定方法であって、
上記車体部品の３次元画像を記録する撮影装置を準備し、
上記撮影装置によって記録された上記車体部品の３次元画像を３次元画像データに変換し、
変換した上記３次元画像データと上記車体部品の設計に用いられる３次元設計データとの双方からそれぞれ、上記施工部位と上記車体部品の基準部位とを抽出し、
抽出した上記基準部位を基準にして上記３次元画像データ及び上記３次元設計データの位置合わせを行い、
位置合わせした上記３次元画像データ及び上記３次元設計データについて、上記３次元画像データから抽出した上記施工部位と上記３次元設計データから抽出した上記施工部位との関係を判定する、車体部品の施工部位判定方法にある。
上記の、車体部品の施工部位判定システム、及び車体部品の施工部位判定方法によれば、３次元画像データから基準部位を抽出し、且つこの基準部位を基準にして３次元画像データと３次元設計データとの位置合わせを行うことができる。このため、撮影装置を車体部品に対して決まった位置に固定配置する必要がない。従って、可搬式の３Ｄカメラのような比較的安価な撮影装置を使用することができる。また、作業者は撮影環境（車体部品に対する角度、明るさ、距離など）を気にすることなく、撮影装置によって車体部品を簡単に撮影することができる。更に、施工部位についての判定が視覚的な判定によらない場合には、作業に要する時間及び工数を低く抑えることができ、また人為的な誤判定が生じるのを阻止できる。
以上のごとく、上記の車体部品の施工部位判定システム、及び車体部品の施工部位判定方法によれば、車体部品の施工部位を簡単に且つ低コストで判定することが可能になる。
本実施形態の、車体部品の施工部位判定システムの概要を示す図。 図１中の処理装置におけるデータ確認画面の表示例を示す図。 図１中の処理装置による処理フローを示す図。 図３の処理フローの第１ステップにおける処理を模式的に示す図。 図３の処理フローの第２ステップにおける、施工部位についてのデータの抽出を模式的に示す図。 図３の処理フローの第２ステップにおける、基準部位についてのデータの抽出を模式的に示す図。 図３の処理フローの第３ステップにおける、施工部位についてのデータの抽出を模式的に示す図。 図３の処理フローの第３ステップにおける、基準部位についてのデータの抽出を模式的に示す図。 第３ステップで用いる抽出ロジックを説明するための図。 ３次元設計データと３次元画像データとの座標系の相違を説明するための図。 座標系の変換ロジックを説明するための図。 ３次元設計データと３次元画像データとを同一の座標系で重ね合わせた状態の図。 帳票の記載例を示す図。
本実施形態において、「施工部位」とは、車体を構成する車体部品において所定の施工がなされた部位、若しくは所定の施工が予定された部位をいう。従って、施工部位の判定によって、施工部位に実際になされている施工結果が設計通りのものであるか否かが判定され、若しくは施工部位に予定通り施工されているか否かが判定される。
また、上記の車体部品の施工部位判定システムにおいて、上記処理装置の上記抽出部は、上記施工部位及び上記基準部位のそれぞれの形状の特徴を識別するように予め機械学習がなされた分類器を有し、上記分類器によって上記施工部位及び上記基準部位のそれぞれを抽出するのが好ましい。これにより、抽出部が施工部位及び基準部位のそれぞれを抽出する精度を高めることができる。
また、上記の車体部品の施工部位判定システムにおいて、上記処理装置の上記位置合わせ部は、上記抽出部によって抽出された上記基準部位を基準にして上記３次元画像データの座標系と上記３次元設計データの座標系とを合わせることにより、上記３次元画像データ及び上記３次元設計データの位置合わせを行うのが好ましい。これにより、位置合わせ部における３次元画像データと３次元設計データとの位置合わせの精度を高めることができる。
また、上記の車体部品の施工部位判定システムにおいて、上記処理装置の上記判定部は、上記３次元画像データから上記施工部位が抽出され且つ該施工部位と上記３次元設計データから抽出された上記施工部位との間の距離が予め設定された許容値を下回る場合に、上記関係として上記車体部品における上記施工部位に設計通りの施工がなされていると判定するのが好ましい。これにより、判定部による適正な判定が可能になる。
また、上記の車体部品の施工部位判定システムにおいて、上記車体部品における上記施工部位は、スポット溶接による打点が形成される部位であるのが好ましい。これにより、スポット溶接による打点について、３次元画像データにおける打点と３次元設計データにおける打点との関係を判定することができる。
また、上記の車体部品の施工部位判定システムは、上記処理装置の上記判定部による判定結果を出力する出力装置を備えるのが好ましい。これにより、出力装置によって出力された判定結果を複数の人でチェックできる。その結果、人為的な誤判定を起こりにくくすることができる。
また、上記の車体部品の施工部位判定システムにおいて、上記出力装置は、上記判定結果とともに上記施工部位の３次元画像を表示するのが好ましい。これにより、作業者若しくは確認者は、施工部位の３次元画像に着目することによって、施工部位に設計通りの施工がなされているか否かを一目で確認できる。
以下、本実施形態の車体部品の施工部位判定システム及び施工部位判定方法について、図面を参照しつつ説明する。
図１に示されるように、施工部位判定システム１は、車体部品Ｗの施工部位を判定するシステムである。この施工部位判定システム１は、撮影装置１０、処理装置２０、出力装置３０、サーバ４０及びＬＡＮ５０を含む。この施工部位判定システム１を、「施工部位判定装置」ということもできる。車体部品Ｗとして、自動車の車体を構成する各種の製品を対象とすることができる。この車体部品Ｗには、施工部位Ｐ及び基準部位Ｑが含まれている。
撮影装置１０は、車体部品Ｗの撮影によってこの車体部品Ｗの３次元画像を記録する機能を有する。この撮影装置１０は、処理装置２０に接続されることによって、処理装置２０との間でのデータの送受信が可能になる。この撮影装置１０は、車体部品Ｗの撮影時に処理装置２０に接続された状態であってもよいし、或いは処理装置２０から分離された状態であってもよい。
本実施形態では、この撮影装置１０が３Ｄカメラによって構成されている。３Ｄカメラとして、２つのレンズのそれぞれで撮影された画像を合成することによって３次元画像を得る複眼式のカメラや、１つのレンズで角度を変えて２回撮影された画像を合成することによって３次元画像を得る単眼式のカメラを用いることができる。この３Ｄカメラとして、可搬式の小型カメラや、特定の位置に設置される大型の定点カメラを用いることができる。処理装置２０による後述の処理についての要求精度が高くない場合には、コストメリットの高い安価な可搬式の小型カメラを用いるのが好ましい。
処理装置２０は、撮影装置１０によって記録された車体部品Ｗの３次元画像に基づいて、車体部品Ｗの施工部位Ｐを判定する処理を行う機能を有する。この処理装置２０は、画像処理部２１、記憶部２２、入出力部２３及び演算部２４を備えている。この処理装置２０は、モニター（表示手段）、キーボード（入力手段）、マウス（選択手段）、ＣＰＵ、ＲＯＭ、ＲＡＭ等を有する、デスクトップ型若しくはノート型のパーソナルコンピュータ（ＰＣ）によって構成されている。
出力装置３０は、データを印字によって出力するプリンター、データを表示によって出力するモニター、データを音声によって出力するスピーカーのうちの少なくとも１つによって構成されている。
サーバ４０は、ＬＡＮ５０を介して送信された入力データを記憶する一方で、記憶しているデータを要求先からの制御信号に応じて読み出して要求先に送信する機能を有する。このサーバ４０は、上記の入力データとして、複数の車体部品Ｗのそれぞれについての３次元設計データ（「３次元ＣＡＤデータ」ともいう。）を記憶するように構成されている。この３次元設計データは、車体部品Ｗの設計上の３次元の点群データであり、車体部品Ｗの要求仕様書（工法書）に基づいて作製されている。
画像処理部２１は、撮影装置１０によって撮影された車体部品Ｗの３次元画像を、直交座標（Ｘ，Ｙ，Ｚ）で表現される３次元の点群データ、即ち３次元画像データ（「３次元製品データ」ともいう。）に変換する機能を有する。この画像処理部２１によって得られた、車体部品Ｗの３次元画像データは、記憶部２２に送信される。
この画像処理部２１は、所定の処理開始信号に応じて３次元画像を３次元画像データに変更する変換処理を実行するように構成されている。一方で、この画像処理部２１は、撮影装置１０と処理装置２０との接続時にこの変換処理を自動的に実行するように構成されてもよい。
記憶部２２は、撮影装置１０から送信された３次元画像、画像処理部２１から送信された３次元画像データ、及びサーバ４０から入出力部２３を経由して送信された３次元設計データを記憶（格納）する機能を有する。この記憶部２２は、画像処理部２１、入出力部２３及び演算部２４のそれぞれとの間でデータの送受信が可能になっている。
入出力部２３は、外部機器との間でデータの送受信を行う機能を有する。この外部機器は、上記の出力装置３０、サーバ４０及びＬＡＮ５０のそれぞれに接続された複数のＯＡ端末等によって構成されている。
演算部２４は、記憶部２２或いは入出力部２３から入力された情報を処理する機能を有し、抽出部２５、位置合わせ部２６、判定部２７を備えている。
抽出部２５は、画像処理部２１によって変換された３次元画像データと、車体部品Ｗの設計に用いられる３次元設計データとのそれぞれを記憶部２２から読み出して、これら３次元画像データ及び３次元設計データとの双方からそれぞれ、施工部位及び基準部位を抽出する機能を有する。
本実施形態の場合、車体部品Ｗの施工部位Ｐは、スポット溶接によるスポット溶接打点（以下、単に「打点」ともいう。）が形成される部位として予め設定されている。また、車体部品Ｗの基準部位Ｑは、開口穴が開口形成された部位として予め設定されている。
位置合わせ部２６は、抽出部２５によって抽出された基準部位Ｑａ，Ｑｂを基準にして３次元画像データ及び３次元設計データの位置合わせを行う機能を有する。基準部位Ｑａは、抽出部２５によって３次元設計データから抽出される。基準部位Ｑｂは、抽出部２５によって３次元画像データから抽出される。
判定部２７は、位置合わせ部２６によって位置合わせされた３次元画像データ及び３次元設計データについて、抽出部２５によって３次元設計データから抽出された施工部位Ｐａと抽出部２５によって３次元画像データから抽出された施工部位Ｐｂとの関係を判定する。具体的には、実際に施工がなされる予定の施工部位Ｐに対応した施工部位Ｐｂの状態が、要求仕様書に係る施工部位Ｐａの通りであるか否か、即ち施工部位Ｐに設計通りの施工がなされているか否かが、この判定部２７によって判定される。
この判定において、施工部位Ｐに実際に施工がなされているか否かは問わない。施工部位Ｐに実際に施工がなされている場合には、施工部位Ｐａと施工部位Ｐｂとの対比によって、施工部位Ｐになされている施工結果（数及び位置）が設計通りのものであるか否かが判定される。これに対して、施工部位Ｐに実際に施工がなされていない場合には、施工部位Ｐａと施工部位Ｐｂとの対比によって、施工部位Ｐに予定通り施工されているか否かが判定される。
撮影装置１０によって記録された車体部品Ｗの３次元画像ｄは、例えば、処理装置２０のモニターに表示されるデータ確認画面（図２参照）上で登録される。このデータ確認画面には、登録情報をプルダウンリストから選択可能な複数の入力欄６１が表示される。入力欄６１における登録情報には、車体部品Ｗにスポット溶接が施工されたロボットの管理番号等が含まれている。また、このデータ確認画面の表示部６２には、複数の入力欄６１の登録情報によって特定される、車体部品Ｗの３次元設計データｄ１が表示される。更に、このデータ確認画面の表示部６４には、ファイル欄６３において指定されたファイル先に保存されている、車体部品Ｗの３次元画像ｄが表示される。
なお、処理装置２０において処理を実行する前の準備作業として、作業者は、撮影装置１０を使用して車体部品Ｗを撮影する。このとき、車体部品Ｗの施工部位Ｐ及び基準部位Ｑの双方が写るように撮影される必要がある。これにより、処理装置２０の処理で使用される、車体部品Ｗの３次元画像ｄが得られる。
表示部６４に表示された３次元画像ｄは、「処理対象に追加」と表示された表示領域６５がクリックされることによって、３次元設計データｄ１に紐付けされた情報として記憶部１２に記憶される。「判定処理実行」と表示された表示領域６６がクリックされると、所定の処理開始信号によって処理装置２０による処理が自動的に実行される。この処理について、以下に図３〜１３を参照しつつ説明する。
処理装置２０による処理には、図３中のステップＳ１０１からステップＳ１０５までのステップが含まれている。これらのステップに対して、必要に応じて１または複数のステップが追加されてもよい。
ステップＳ１０１は、指定された車体部品Ｗについて、その３次元画像ｄを３次元画像データｄ２に変換するステップ（第１ステップ）である。このステップＳ１０１は、処理装置２０の画像処理部２１によって実行される。このステップＳ１０１によれば、車体部品Ｗの３次元画像ｄが記憶部２２から読み出され、直交座標（Ｘ，Ｙ，Ｚ）で表現される３次元の点群データである３次元画像データｄ２に変換される。このステップＳ１０１で得られた３次元画像データｄ２は、記憶部２２に記憶される。
なお、処理装置２０における処理精度を高めるためには、図４が参照されるように、車体部品Ｗが異なる角度で撮影された複数種類の３次元画像ｄ（図４では、３次元画像ｄａと３次元画像ｄｂとの２種類について記載）を使用するのが好ましい。
ステップＳ１０２は、指定された車体部品Ｗについて、３次元設計データｄ１の特徴点である施工部位Ｐａ及び基準部位Ｑａのそれぞれの取り込みを行うステップ（第２ステップ）である。このステップＳ１０２は、処理装置２０の抽出部２５によって実行される。このステップＳ１０２によれば、記憶部２２から３次元設計データｄ１が読み出され、この３次元設計データｄ１から施工部位Ｐａについてのデータが取り込まれる（抽出される）。
図５に示されるように、この施工部位Ｐａには、車体部品Ｗにスポット溶接によって形成される予定の５つの打点Ａ１，Ｂ１，Ｃ１，Ｄ１，Ｅ１が含まれている。同様に、３次元設計データｄ１から基準部位Ｑａについてのデータが取り込まれる（抽出される）。図６に示されるように、この基準部位Ｑａには、車体部品Ｗに設けられる予定の３つの開口穴Ｌ１，Ｍ１，Ｎ１が含まれている。
ステップＳ１０３は、指定された車体部品Ｗについて、３次元画像データｄ２の特徴点である施工部位Ｐｂ及び基準部位Ｑｂのそれぞれの検出を行うステップ（第３ステップ）である。このステップＳ１０３は、処理装置２０の抽出部２５によって実行される。このステップＳ１０３は、ステップＳ１０２と同時並行的に実行されてもよいし、或いはステップＳ１０２よりも前に実行されてもよいし、或いはステップＳ１０２に引き続いて実行されてもよい。
このステップＳ１０３によれば、記憶部２２から３次元画像データｄ２が読み出され、この３次元画像データｄ２から施工部位Ｐｂについてのデータが検出（抽出される）。図７に示されるように、この施工部位Ｐｂには、車体部品Ｗにスポット溶接によって形成されていると想定される５つの打点Ａ２，Ｂ２，Ｃ２，Ｄ２，Ｅ２が含まれている。同様に、３次元画像データｄ２から基準部位Ｑｂについてのデータが検出（抽出される）。図８に示されるように、この基準部位Ｑｂには、車体部品Ｗに設けられている３つの開口穴Ｌ２，Ｍ２，Ｎ２が含まれている。
本実施形態では、ステップＳ１０２における施工部位Ｐａ及び基準部位Ｑａや、ステップＳ１０３における施工部位Ｐｂ及び基準部位Ｑｂを精度良く抽出するために、図９に示される抽出ロジックを用いている。この抽出ロジックを実行するために、処理装置２０の抽出部２５は分類器ＤＣを備えている。
図９に示されるように、例えば施工部位Ｐｂに含まれる打点Ａ２を抽出する場合、分類器ＤＣは、打点Ａ２の形状の特徴を識別するように予め機械学習がなされている。この場合、打点Ａ２が含まれる複数のサンプル画像データＳａと、打点Ａ２とは異なる形状Ａ３が含まれる複数のサンプル画像データＳｂと、を準備する。そして、これらの複数のサンプル画像データＳａ，Ｓｂを分類器ＤＣに入力して、サンプル画像データＳａに含まれる打点Ａ２の形状の特徴を学習させる。これにより、打点Ａ２の形状、若しくは打点Ａ２の形状に近い形状を有する識別対象を識別可能な分類器ＤＣを作成できる。この分類器ＤＣによれば、入力画像データＳｃに打点Ａ２及び形状Ａ３の双方が含まれる場合、この入力画像データＳｃに含まれる情報から識別対象としての打点Ａ２を識別できる。
その他の打点や、基準点についても、この打点Ａ２の場合と同様の抽出ロジックを使用した抽出が可能である。
なお、分類器ＤＣの具体的な作成手法については、例えば、Ｈａａｒ−Ｌｉｋｅアルゴリズムによる分類器作成についてリンクhttp://gihyo.jp/dev/feature/01/opencv/0003に記載されている説明、ＬＢＰアルゴリズムによる分類器作成についてリンクhttp://compsci.world.coocan.jp/OUJ/2012PR/pr_15_a.pdfに記載されている説明、ＨＯＧアルゴリズムによる分類器作成についてリンクhttp://www.vision.cs.chubu.ac.jp/joint_hog/pdf/HOG+Boosting_LN.pdfに記載されている説明等を参考にすることができる。
ステップＳ１０４は、抽出部２５によって抽出された基準部位Ｑａ，Ｑｂを基準にして３次元設計データｄ１及び３次元画像データｄ２の位置合わせを行うステップ（第４ステップ）である。このステップＳ１０４は、ステップＳ１０２及びステップＳ１０３の終了後に、処理装置２０の位置合わせ部２６によって実行される。
ここで、３次元画像データの座標系は、人による撮影位置等に応じて撮影毎に変わる（１つに定まらない）ため、３次元設計データの座標系と異なる。従って、図１０が参照されるように、３次元画像データｄ２の座標系は３次元設計データｄ１の座標系と相違する。そこで、この位置合わせ部２６によれば、基準部位Ｑａと基準部位Ｑｂとを互いに合わせることによって、３次元画像データｄ２の座標系を３次元設計データｄ１の座標系に合わせることができる。
具体的には、図１１の座標系の変換ロジックが参照されるように、３次元設計データｄ１の基準部位Ｑａに含まれる３つの開口穴Ｌ１，Ｍ１，Ｎ１を頂点とした三角形Ｔ１と、３次元画像データｄ２の基準部位Ｑｂに含まれる３つの開口穴Ｌ２，Ｍ２，Ｎ２を頂点とした三角形Ｔ２とを対比する。そして、開口穴Ｌ２を開口穴Ｌ１に合わせ、且つ開口穴Ｍ２を開口穴Ｍ１に合わせ、且つ開口穴Ｎ２を開口穴Ｎ１に合わせるように、３次元画像データｄ２の座標系を変換する。
その結果、図１２に示されるように、３次元設計データｄ１及び３次元画像データｄ２は、同一の座標系で且つ基準部位Ｑａと基準部位Ｑｂとが一致するように互いに重ね合わせられた状態で表示される。この変換ロジックでは、異なる座標系を互いに合わせるために、開口穴のような基準点が少なくとも３つ必要になる。
ステップＳ１０５は、３次元画像データｄ２から抽出された施工部位Ｐｂと３次元設計データｄ１から抽出された施工部位Ｐａとの関係を判定するステップである。このステップＳ１０５は、ステップＳ１０４の終了後に、処理装置２０の判定部２７によって実行される。このステップＳ１０５によれば、図１２が参照されるように、３次元設計データｄ１（図中の実線参照）における施工部位Ｐａ（打点Ａ１，Ｂ１，Ｃ１，Ｄ１，Ｅ１）と、３次元画像データｄ２（図中の二点鎖線参照）における施工部位Ｐｂ（打点Ａ２，Ｂ２，Ｃ２，Ｄ２，Ｅ２）との関係が判定される。
具体的には、３次元画像データｄ２を３次元設計データｄ１と対比することによって、３次元画像データｄ２に３次元設計データｄ１の各打点に対応した打点が有るか否かが判定される（第１の判定）。図１２では、互いに重ね合わせられた３次元設計データｄ１及び３次元画像データｄ２について、３次元設計データｄ１に含まれている打点が「△」で示され、３次元画像データｄ２に含まれている打点が「□」で示されている。この第１の判定によれば、車体部品Ｗに実際に施工された打点の数（Ｎｕｍｂｅｒ）を確認できる。
第１の判定において、３次元画像データｄ２に３次元設計データｄ１の打点に対応した打点が有ると判定された場合（第１の判定結果が「ＹＥＳ」の場合）、更に、３次元設計データｄ１の打点に対する３次元画像データｄ２の打点の位置ずれ（以下、「誤差」という。）が予め設定された許容値を下回るか否かが判定される（第２の判定）。この場合、誤差は、比較する２つの打点間の距離として算出される。この第２の判定によれば、車体部品Ｗに実際に施工された打点の位置（Ｐｏｓｉｔｉｏｎ）を確認できる。
そして、第１の判定結果が「ＹＥＳ」であり、且つ第２の判定結果が「ＹＥＳ」の場合に、判定に係る打点が合格（ＯＫ）であり、打点が設計通り形成されていると判定される。そして、判定対象である全打点について合格（ＯＫ）である場合に、車体部品Ｗの施工部位Ｐに設計通りの施工がなされていると判定される。
図１３に示されるように、本実施形態では、上記の判定部２７による判定結果を示す帳票７０が上記の出力装置３０によって印字出力される。帳票７０には、車体部品Ｗの３次元画像ｄを表示する欄７１と、施工部位Ｐの打点のチェック結果（３次元画像データｄ２における施工部位Ｐｂの判定結果）を示すチェック結果一覧７２と、が記載されている。チェック結果一覧７２には、施工部位Ｐの各打点を示す打点番号の欄７３、打点画像の欄７４、誤差の欄７５及び結果の欄７６が含まれている。
なお、欄７１に３次元画像ｄに代えて３次元画像データｄ２が表示されてもよい。また、帳票７０の印字に代えて或いは加えて、帳票７０の記載の内容がモニター（図示省略）に表示されてもよい。
誤差の欄７５において、誤差ｅ１は、打点Ａ１と打点Ａ２との間の距離として算出されている。誤差ｅ２は、打点Ｂ１と打点Ｂ２との間の距離として算出されている。誤差ｅ３は、打点Ｃ１と打点Ｃ２との間の距離として算出されている。誤差ｅ４は、打点Ｄ１と打点Ｄ２との間の距離として算出されている。誤差ｅ５は、打点Ｅ１と打点Ｅ２との間の距離として算出されている。
作業者若しくは確認者は、結果の欄７６を視認することによって、各打点のチェック結果が合格（ＯＫ）であるか否かを確認できる。これにより、車体部品Ｗに実際に施工されている打点の数及び位置のチェック（ＮＰチェック）を容易に行うことができる。
また、本実施形態では、打点画像の欄７４に、車体部品Ｗに実際に施工された打点の３次元画像が表示されるように設定されている。このため、スポット溶接が実際に施工されている場合には、打点画像の欄７４に打点の３次元画像が母材の３次元画像とともに表示される。一方で、スポット溶接が実際に施工されていない場合には、打点画像の欄７４に打点の３次元画像は表示されずに母材の３次元画像のみが表示される。従って、作業者若しくは確認者は、この打点画像の欄７４を視認することによって、スポット溶接が予定された部位に実際に打点が形成されているか否かを一目で確認できる。
なお、処理装置２０の抽出部２５によって３次元画像データｄ２から抽出された打点の数の合計値や、３次元設計データｄ１から抽出された打点の数の合計値が帳票７０に記載されるようにしてもよい。
上記の実施形態によれば、以下のような作用効果が得られる。
上記の施工部位判定システム１、及び施工部位判定システム１を使用した判定方法によれば、３次元画像データｄ２から基準部位Ｑｂを抽出し、且つこの基準部位Ｑｂを基準にして３次元画像データｄ２と３次元設計データｄ１との位置合わせを行うことができる。このため、撮影装置１０を車体部品Ｗに対して決まった位置に固定配置する必要がない。従って、可搬式の３Ｄカメラのような比較的安価な撮影装置１０を使用することができる。また、作業者は撮影環境（車体部品Ｗに対する角度、明るさ、距離など）を気にすることなく、撮影装置１０によって車体部品Ｗを簡単に撮影することができる。更に、施工部位Ｐについての判定が処理装置２０によって自動的に実行され、当該判定が視覚的な判定によらないため、作業に要する時間及び工数を低く抑えることができ、また人為的な誤判定が生じるのを阻止できる。その結果、車体部品Ｗの施工部位Ｐの状態を簡単に且つ低コストで判定することが可能になる。
また、処理装置２０の抽出部２５が分類器ＤＣを備えているため、抽出部２５が施工部位Ｐａ，Ｐｂ及び基準部位Ｑａ，Ｑｂのそれぞれを抽出する精度を高めることができる。
また、処理装置２０の位置合わせ部２６は、基準部位Ｑａ，Ｑｂを基準にして３次元画像データｄ２の座標系と３次元設計データｄ１の座標系とを合わせるため、３次元画像データｄ２と３次元設計データｄ１との位置合わせの精度を高めることができる。
また、処理装置２０の判定部２７による判定結果を出力する出力装置３０が用いられるため、この出力装置３０によって出力された判定結果を複数の人でチェックできる。その結果、人為的な誤判定を起こりにくくすることができる。また、この出力装置３０による出力情報には、処理装置２０の判定部２７による判定結果とともに施工部位Ｐの３次元画像が含まれている。このため、作業者若しくは確認者は、施工部位Ｐの３次元画像に着目することによって、施工部位Ｐに設計通りの施工がなされているか否かを一目で確認できる。
本発明は、上記の典型的な実施形態のみに限定されるものではなく、本発明の目的を逸脱しない限りにおいて種々の応用や変形が考えられる。例えば、上記の実施形態を応用した次の各形態を実施することもできる。
上記の実施形態では、溶接スポット溶接によって打点が形成される部位を車体部品Ｗの施工部位Ｐとする場合について例示したが、その他の部位を施工部位Ｐとすることもできる。その他の部位として、典型的には、車体部品Ｗに開口穴が開口形成された部位や、車体部品Ｗにボルト、ナット、座金などが接合された部位などが挙げられる。
上記の実施形態では、開口穴が形成された部位を車体部品Ｗの基準部位Ｑとする場合について例示したが、その他の部位を基準部位Ｑとすることもできる。その他の部位として、典型的には、車体部品Ｗにボルト、ナット、座金などが接合された部位や、溶接スポット溶接による打点が形成される部位などが挙げられる。例えば、施工部位と同一の部位を基準部位にすることもできる。
上記の実施形態では、撮影装置１０として３Ｄカメラを用いる場合について例示したが、３Ｄカメラに代えて、該３Ｄカメラと同様の機能を備えた装置、例えばタブレット型の端末を用いることもできる。
１ 施工部位判定システム
１０ 撮影装置
２０ 処理装置
２１ 画像処理部
２５ 抽出部
２６ 位置合わせ部
２７ 判定部
３０ 出力装置
ｄ，ｄａ，ｄｂ ３次元画像
ｄ１ ３次元設計データ
ｄ２ ３次元画像データ
ＤＣ 分類器
Ｐ，Ｐａ，Ｐｂ 施工部位
Ｑ，Ｑａ，Ｑｂ 基準部位
Ｗ 車体部品

Claims (8)

  1. 車体部品の３次元画像を記録する撮影装置と、
    上記撮影装置によって記録された上記車体部品の３次元画像に基づいて、上記車体部品の施工部位を判定する処理を行う処理装置と、を備え、
    上記処理装置は、
    上記３次元画像を３次元画像データに変換する画像処理部と、
    上記３次元画像データと上記車体部品の設計に用いられる３次元設計データとの双方からそれぞれ、上記施工部位と上記車体部品の基準部位とを抽出する抽出部と、
    上記基準部位を基準にして上記３次元画像データ及び上記３次元設計データの位置合わせを行う位置合わせ部と、
    上記位置合わせ部によって位置合わせされた上記３次元画像データ及び上記３次元設計データについて、上記抽出部によって上記３次元画像データから抽出された上記施工部位と上記抽出部によって上記３次元設計データから抽出された上記施工部位との関係を判定する判定部と、を備える、車体部品の施工部位判定システム。
  2. 上記処理装置の上記抽出部は、上記施工部位及び上記基準部位のそれぞれの形状の特徴を識別するように予め機械学習がなされた分類器を有し、上記分類器によって上記施工部位及び上記基準部位のそれぞれを抽出する、請求項１に記載の、車体部品の施工部位判定システム。
  3. 上記処理装置の上記位置合わせ部は、上記抽出部によって抽出された上記基準部位を基準にして上記３次元画像データの座標系と上記３次元設計データの座標系とを合わせることにより、上記３次元画像データ及び上記３次元設計データの位置合わせを行う、請求項１又は２に記載の、車体部品の施工部位判定システム。
  4. 上記処理装置の上記判定部は、上記３次元画像データから上記施工部位が抽出され且つ該施工部位と上記３次元設計データから抽出された上記施工部位との間の距離が予め設定された許容値を下回る場合に、上記関係として上記車体部品における上記施工部位に設計通りの施工がなされていると判定する、請求項１〜３のいずれか一項に記載の、車体部品の施工部位判定システム。
  5. 上記車体部品における上記施工部位は、スポット溶接による打点が形成される部位である、請求項１〜４のいずれか一項に記載の、車体部品の施工部位判定システム。
  6. 上記処理装置の上記判定部による判定結果を出力する出力装置を備える、請求項１〜５のいずれか一項に記載の、車体部品の施工部位判定システム。
  7. 上記出力装置は、上記判定結果とともに上記施工部位の３次元画像を表示する、請求項６に記載の、車体部品の施工部位判定システム。
  8. 車体部品の施工部位を判定する、車体部品の施工部位判定方法であって、
    上記車体部品の３次元画像を記録する撮影装置を準備し、
    上記撮影装置によって記録された上記車体部品の３次元画像を３次元画像データに変換し、
    変換した上記３次元画像データと上記車体部品の設計に用いられる３次元設計データとの双方からそれぞれ、上記施工部位と上記車体部品の基準部位とを抽出し、
    抽出した上記基準部位を基準にして上記３次元画像データ及び上記３次元設計データの位置合わせを行い、
    位置合わせした上記３次元画像データ及び上記３次元設計データについて、上記３次元画像データから抽出した上記施工部位と上記３次元設計データから抽出した上記施工部位との関係を判定する、車体部品の施工部位判定方法。
JP2016027110A 2016-02-16 2016-02-16 車体部品の施工部位判定システム及び施工部位判定方法 Active JP6658054B2 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2016027110A JP6658054B2 (ja) 2016-02-16 2016-02-16 車体部品の施工部位判定システム及び施工部位判定方法
PCT/JP2016/077317 WO2017141475A1 (ja) 2016-02-16 2016-09-15 車体部品の施工部位判定システム及び施工部位判定方法
US15/807,764 US10507550B2 (en) 2016-02-16 2017-11-09 Evaluation system for work region of vehicle body component and evaluation method for the work region

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2016027110A JP6658054B2 (ja) 2016-02-16 2016-02-16 車体部品の施工部位判定システム及び施工部位判定方法

Publications (2)

Publication Number Publication Date
JP2017144454A true JP2017144454A (ja) 2017-08-24
JP6658054B2 JP6658054B2 (ja) 2020-03-04

Family

ID=59624950

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2016027110A Active JP6658054B2 (ja) 2016-02-16 2016-02-16 車体部品の施工部位判定システム及び施工部位判定方法

Country Status (3)

Country Link
US (1) US10507550B2 (ja)
JP (1) JP6658054B2 (ja)
WO (1) WO2017141475A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109834697A (zh) * 2017-11-28 2019-06-04 发那科株式会社 示教操作盘以及机器人控制系统

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109186457B (zh) * 2018-09-14 2021-02-12 天津玛特检测设备有限公司 一种双目的零件识别方法和装置及使用该装置的生产线
CA3022263A1 (en) * 2018-10-26 2020-04-26 Joel SULLIVAN Welding robot for repairing a surface defect in a press platen surface while placed in a press at operating temperature
US12002192B2 (en) * 2021-11-16 2024-06-04 Solera Holdings, Llc Transfer of damage markers from images to 3D vehicle models for damage assessment

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004078987A (ja) * 2003-10-20 2004-03-11 Jutaku Shizai Ryutsu Center:Kk 建築物の施工状況確認方法
JP2007152371A (ja) * 2005-12-01 2007-06-21 Kanto Auto Works Ltd 溶接打点位置検査システム
JP2010025615A (ja) * 2008-07-16 2010-02-04 Central Motor Co Ltd 自動スポット溶接検査システム
JP2013088169A (ja) * 2011-10-14 2013-05-13 Hitachi-Ge Nuclear Energy Ltd 検査装置及び方法
JP2015197297A (ja) * 2014-03-31 2015-11-09 ダイハツ工業株式会社 形状認識装置
JP2017146228A (ja) * 2016-02-18 2017-08-24 トヨタ自動車株式会社 溶接位置検査システム

Family Cites Families (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE69330513D1 (de) * 1992-03-20 2001-09-06 Commw Scient Ind Res Org Gegenstands-überwachungsystem
US5809658A (en) * 1993-09-29 1998-09-22 Snap-On Technologies, Inc. Method and apparatus for calibrating cameras used in the alignment of motor vehicle wheels
US6963661B1 (en) * 1999-09-09 2005-11-08 Kabushiki Kaisha Toshiba Obstacle detection system and method therefor
JP3849505B2 (ja) * 2001-11-26 2006-11-22 株式会社デンソー 障害物監視装置及びプログラム
US20050264472A1 (en) * 2002-09-23 2005-12-01 Rast Rodger H Display methods and systems
US8275193B2 (en) * 2004-08-04 2012-09-25 America Gnc Corporation Miniaturized GPS/MEMS IMU integrated board
JP2006088160A (ja) * 2004-09-21 2006-04-06 Toyota Auto Body Co Ltd 溶接位置検査装置および溶接位置検査プログラム
US7515737B2 (en) * 2004-11-30 2009-04-07 Honda Motor Co., Ltd. Vehicle surroundings monitoring apparatus
US20100222925A1 (en) * 2004-12-03 2010-09-02 Takashi Anezaki Robot control apparatus
WO2006070865A1 (ja) * 2004-12-28 2006-07-06 Kabushiki Kaisha Toyota Chuo Kenkyusho 車両運動制御装置
EP1901225A1 (en) * 2005-05-10 2008-03-19 Olympus Corporation Image processing device, image processing method, and image processing program
JP2008261749A (ja) * 2007-04-12 2008-10-30 Takata Corp 乗員検出装置、作動装置制御システム、シートベルトシステム、車両
KR101084025B1 (ko) * 2007-07-31 2011-11-16 가부시키가이샤 도요다 지도숏키 주차 지원 장치, 주차 지원 장치의 차량측 장치, 주차 지원 방법 및 주차 지원 프로그램
JP4975592B2 (ja) * 2007-11-19 2012-07-11 アルプス電気株式会社 撮像装置
JP5293994B2 (ja) * 2008-01-21 2013-09-18 トヨタ車体株式会社 溶接検査方法、溶接検査装置、溶接検査プログラム
JP5112998B2 (ja) * 2008-09-16 2013-01-09 本田技研工業株式会社 車両周囲監視装置
JP5190712B2 (ja) * 2009-03-24 2013-04-24 アイシン精機株式会社 障害物検出装置
EP2416292A4 (en) * 2009-03-31 2014-09-03 Konica Minolta Holdings Inc IMAGE INTEGRATION UNIT AND IMAGE INTEGRATION PROCESS
JP5272891B2 (ja) * 2009-05-21 2013-08-28 トヨタ車体株式会社 スポット溶接の打点位置電子化装置、スポット溶接の打点位置電子化方法、及びスポット溶接の打点位置電子化プログラム
JP5740241B2 (ja) * 2011-08-03 2015-06-24 株式会社東芝 車両検出装置
WO2013086249A2 (en) * 2011-12-09 2013-06-13 Magna Electronics, Inc. Vehicle vision system with customized display
CN104508723B (zh) * 2012-07-27 2016-10-12 歌乐株式会社 图像处理装置
WO2014017625A1 (ja) * 2012-07-27 2014-01-30 日産自動車株式会社 立体物検出装置および立体物検出方法
JP6565148B2 (ja) * 2014-09-05 2019-08-28 アイシン精機株式会社 画像表示制御装置および画像表示システム

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004078987A (ja) * 2003-10-20 2004-03-11 Jutaku Shizai Ryutsu Center:Kk 建築物の施工状況確認方法
JP2007152371A (ja) * 2005-12-01 2007-06-21 Kanto Auto Works Ltd 溶接打点位置検査システム
JP2010025615A (ja) * 2008-07-16 2010-02-04 Central Motor Co Ltd 自動スポット溶接検査システム
JP2013088169A (ja) * 2011-10-14 2013-05-13 Hitachi-Ge Nuclear Energy Ltd 検査装置及び方法
JP2015197297A (ja) * 2014-03-31 2015-11-09 ダイハツ工業株式会社 形状認識装置
JP2017146228A (ja) * 2016-02-18 2017-08-24 トヨタ自動車株式会社 溶接位置検査システム

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109834697A (zh) * 2017-11-28 2019-06-04 发那科株式会社 示教操作盘以及机器人控制系统
JP2019093535A (ja) * 2017-11-28 2019-06-20 ファナック株式会社 教示操作盤およびロボット制御システム
US10766135B2 (en) 2017-11-28 2020-09-08 Fanuc Corporation Teach pendant and robot control system

Also Published As

Publication number Publication date
WO2017141475A1 (ja) 2017-08-24
US20180065211A1 (en) 2018-03-08
JP6658054B2 (ja) 2020-03-04
US10507550B2 (en) 2019-12-17

Similar Documents

Publication Publication Date Title
Kwiatek et al. Impact of augmented reality and spatial cognition on assembly in construction
US11176287B2 (en) System and method for internal structural defect analysis using three-dimensional sensor data
WO2017141475A1 (ja) 車体部品の施工部位判定システム及び施工部位判定方法
US11654571B2 (en) Three-dimensional data generation device and robot control system
JP4492654B2 (ja) ３次元計測方法および３次元計測装置
US8849636B2 (en) Assembly and method for verifying a real model using a virtual model and use in aircraft construction
US11105615B2 (en) Deformation processing support system and deformation processing support method
JP2008235504A (ja) 組立品検査装置
JP5093591B2 (ja) 三次元位置姿勢計測方法および装置
JP6207764B2 (ja) 作業支援システム、作業支援装置及び作業支援方法
WO2016084142A1 (ja) 作業支援システム、及び、作業支援方法
JP6643000B2 (ja) 仮想環境作成方法、ロボット装置の制御方法、ロボットシステム、および情報処理装置
CN110928235B (zh) 工件贴合方法、装置、电子设备及工件贴合系统
Kaipa et al. Design of hybrid cells to facilitate safe and efficient human–robot collaboration during assembly operations
WO2016146559A1 (en) Method for determining a position of an object in a three-dimensional world coordinate system, computer program product, camera system and motor vehicle
KR20180076966A (ko) 용접로봇의 작업대상물 용접선 검출방법
JP7470511B2 (ja) 情報処理システム、情報処理方法、情報処理プログラム
JP5083715B2 (ja) 三次元位置姿勢計測方法および装置
JP2007152371A (ja) 溶接打点位置検査システム
US20240153069A1 (en) Method and arrangement for testing the quality of an object
JP2010146357A (ja) ３次元画像処理方法および３次元画像処理装置
JP7410387B2 (ja) 付属品の取り付け位置検査方法及び取り付け位置検査装置
JP7364269B2 (ja) 物体検知装置、画像処理表示方法及びプログラム
JP2007058811A (ja) パターンマッチング方法
JP3384617B2 (ja) 物体計測装置及びその方法

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20180423

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20190611

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20190704

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20200107

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20200120

R150 Certificate of patent or registration of utility model

Ref document number: 6658054

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250