JP2022553597A - 車両部品のギャップ・フラッシュ測定方法及び測定用トンネル - Google Patents

車両部品のギャップ・フラッシュ測定方法及び測定用トンネル Download PDF

Info

Publication number
JP2022553597A
JP2022553597A JP2022506341A JP2022506341A JP2022553597A JP 2022553597 A JP2022553597 A JP 2022553597A JP 2022506341 A JP2022506341 A JP 2022506341A JP 2022506341 A JP2022506341 A JP 2022506341A JP 2022553597 A JP2022553597 A JP 2022553597A
Authority
JP
Japan
Prior art keywords
vehicle
tunnel
measuring
video camera
coordinates
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2022506341A
Other languages
English (en)
Other versions
JP7373053B2 (ja
Inventor
プラ，ヘスス ベルダ
ルイス，ホルヘ ブロト
ロサノ，ホセ アリバス
クベル，マリア ホセ エステベ
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Eines Systems SLU
Original Assignee
Eines Systems SLU
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Eines Systems SLU filed Critical Eines Systems SLU
Publication of JP2022553597A publication Critical patent/JP2022553597A/ja
Application granted granted Critical
Publication of JP7373053B2 publication Critical patent/JP7373053B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B62—LAND VEHICLES FOR TRAVELLING OTHERWISE THAN ON RAILS
    • B62D—MOTOR VEHICLES; TRAILERS
    • B62D65/00—Designing, manufacturing, e.g. assembling, facilitating disassembly, or structurally modifying motor vehicles or trailers, not otherwise provided for
    • B62D65/02—Joining sub-units or components to, or positioning sub-units or components with respect to, body shell or other sub-units or components
    • B62D65/024—Positioning of sub-units or components with respect to body shell or other sub-units or components
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B62—LAND VEHICLES FOR TRAVELLING OTHERWISE THAN ON RAILS
    • B62D—MOTOR VEHICLES; TRAILERS
    • B62D65/00—Designing, manufacturing, e.g. assembling, facilitating disassembly, or structurally modifying motor vehicles or trailers, not otherwise provided for
    • B62D65/005—Inspection and final control devices
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/002—Measuring arrangements characterised by the use of optical techniques for measuring two or more coordinates
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/02—Measuring arrangements characterised by the use of optical techniques for measuring length, width or thickness
    • G01B11/03—Measuring arrangements characterised by the use of optical techniques for measuring length, width or thickness by measuring coordinates of points
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/14—Measuring arrangements characterised by the use of optical techniques for measuring distance or clearance between spaced objects or spaced apertures
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/24—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
    • G01B11/245—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures using a plurality of fixed, simultaneously operating transducers
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B21/00—Measuring arrangements or details thereof, where the measuring technique is not covered by the other groups of this subclass, unspecified or not relevant
    • G01B21/02—Measuring arrangements or details thereof, where the measuring technique is not covered by the other groups of this subclass, unspecified or not relevant for measuring length, width, or thickness
    • G01B21/04—Measuring arrangements or details thereof, where the measuring technique is not covered by the other groups of this subclass, unspecified or not relevant for measuring length, width, or thickness by measuring coordinates of points
    • G01B21/042—Calibration or calibration artifacts
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B5/00—Measuring arrangements characterised by the use of mechanical techniques
    • G01B5/0025—Measuring of vehicle parts
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B7/00—Measuring arrangements characterised by the use of electric or magnetic techniques
    • G01B7/14—Measuring arrangements characterised by the use of electric or magnetic techniques for measuring distance or clearance between spaced objects or spaced apertures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G06T7/001—Industrial image inspection using an image reference approach
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/13—Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/521—Depth or shape recovery from laser ranging, e.g. using interferometry; from the projection of structured light
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G06T7/593—Depth or shape recovery from multiple images from stereo images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N17/00—Diagnosis, testing or measuring for television systems or their details
    • H04N17/002—Diagnosis, testing or measuring for television systems or their details for television cameras
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/56—Cameras or camera modules comprising electronic image sensors; Control thereof provided with illuminating means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00—Indexing scheme for image data processing or generation, in general
    • G06T2200/04—Indexing scheme for image data processing or generation, in general involving 3D image data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G06T2207/10021—Stereoscopic video; Stereoscopic image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30108—Industrial image inspection
    • G06T2207/30156—Vehicle coating
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30108—Industrial image inspection
    • G06T2207/30164—Workpiece; Machine component
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30244—Camera pose
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior

Abstract

車両部品のギャップ・フラッシュ測定方法及び測定トンネル。車両部品のギャップとフラッシュを測定トンネルによって測定することができる方法が開示されている。この方法は、車両の２つの隣接する部品の端部または端部の３次元での座標を決定することができる。測定トンネル（１）は、複数のビデオカメラ（２）、ＬＥＤライト（２２）、コンベア（８）、車両（７）の動きを測定する位置エンコーダ（９）、測定トンネル構造の固定点を測定するトータルステーション（１１）、較正チェスボード（３）と較正パターン（４）、ビデオカメラで撮影した画像、車両のコンピュータ支援設計ファイル、エッジ認識アルゴリズムを保存する処理・保存手段（１０）を含む。

Description

発明の目的
本発明の目的は、車両部品のギャップおよびフラッシュ（面一度）の測定方法、および車両部品のギャップおよびフラッシュを測定するために必要な手段を備えた測定トンネルである。
本発明の目的は、その方法によって、異なる車両部品の周囲の部品に対するギャップおよびフラッシュを測定するプロセスを自動化することである。例えば、車両のドアは、他のドア、フェンダなど、ドアを囲む車両部品とフラッシュでなければならない周縁を有する。さらに、ドアは、ドアが適切に開閉するように、非常に狭いマージン内で特定のギャップを有する必要がある。
本発明が属する技術分野は、車両表面に接触することなく該車両表面に適用される測定装置および測定方法である。
現在、「ギャップ・アンド・フラッシュ」と呼ばれる測定システムは、３Ｄセンサを内蔵したロボットを用いて（主に最終組立製品上で）測定を行うことが多い自動システムである。固定式センサを用いたシステムもあるが、精度に欠ける。また、手動式のシステムもあり、携帯端末を持ったオペレータが車体の測定箇所にメータを当てて揺動させることでフラッシュを測定する。
オペレータを必要とするシステムは、一人の作業者が車体の左右に移動しなければならないため時間がかかり、さらに、車体に測定器を載せるために車体の塗装に影響を与える可能性がある。
ロボットを用いた計測システムは、ロボットやセキュリティなどのコストが高いため、導入コストが高いという欠点がある。すなわち、よくあることであるが最終組み立てを行うオペレータのようにロボットの専門家ではないユーザーには設定が難しい、メンテナンスコストが高い、新しいポイントを追加または削除する際にロボットを再プログラムしなければならないために変更への適応性が十分ではない、測定するセクションの数が限られている、言い換えれば、物理的な限界を持つロボットの速度に強く依存するため、可能なセクション数には最大数が存在する、などの欠点を有している。
したがって、車両を構成する部品のギャップとフラッシュを計算する問題に対して、完全に自動化された解決策を見つけることが望ましいと思われる。
本発明は、車両部品のギャップとフラッシュを測定する方法と、車両部品のギャップとフラッシュを測定するための測定トンネルを開示する。
本発明の第１の態様では、車両部品のギャップとフラッシュを測定するための測定用トンネルが開示される。この測定トンネルは、車両の画像を撮影するビデオカメラと、車両を直線的に移動させて測定トンネルを長手方向に通過させるコンベアと、車両の移動を測定する位置エンコーダと、測定トンネル構造の固定点を精密かつ３Ｄで測定するトータルステーションと、較正パターンが配置された較正チェスボードと、ビデオカメラと同期した少なくとも２つのライトと、少なくともビデオカメラによって撮影された画像、車両のコンピュータ支援設計（ＣＡＤ）ファイルおよびエッジ認識アルゴリズムが記憶されている処理・記憶手段で構成されている。さらに、処理・記憶手段は、ライト、ビデオカメラ、コンベア、および位置エンコーダに接続されている。最後に、処理手段および記憶手段は、本発明の別の形態で定義される車両部品のギャップおよびフラッシュを測定するための方法のステップを実行するように構成されている。
位置エンコーダは、コンベヤを動かすモータのシャフトに接続し、モータが回転している間にパルスを発生させるパルス発生器であることに留意しなければならない。本発明では、パルスが長さの測定値に変換されるため、位置エンコーダは、その搬送中における車両の前進を測定するために使用される。
測定トンネルの一実施形態において、較正パターンは、千鳥状に配置されたマスによって形成されている。さらに、較正パターンは、データマトリクスコードとフィデューシャルマーカとから構成される。データマトリクスコード及びフィデューシャルマーカは、行及び列の数、中央のマスの位置、マスのサイズ、マスの色などの較正パターンに関連する情報を含む。好ましくは、マスは、その接続点を決定する際にコントラストが大きくなるため、白黒とする。
本発明の測定トンネルの別の実施形態では、測定トンネルは、さらに、測定トンネル内を観察するために、ライトとカメラを支持するために、逆Ｕ字型の支持構造体と前部支持構造体とを備える。ライトとビデオカメラのためのこれらの支持体は、ビデオカメラを、カメラが測定トンネルの内部にある車両を完全に走査できるように位置付けるために好都合である。
測定トンネルの別の実施形態では、ライトは最小４００ｍｍの長さを有する。さらに、または選択的に、ライトはＬＥＤ技術を有する。
本発明の第２の態様では、本発明の第１の態様の測定トンネルに関連する車両部品のギャップ及びフラッシュを測定するための方法が開示される。車両部品のギャップ及びフラッシュを測定するための方法は、以下のステップを備える。
ビデオカメラの内部パラメータ及び外部パラメータを計算することによって、測定トンネル内に構成されたビデオカメラを較正するステップ。
測定トンネルのための共通基準システムＳＣＥを構築し、ビデオカメラを共通基準システムSCEにリンクさせるステップ。
共通基準システムＳＣＥに基づき、車両の少なくとも４つの基準点のステレオビジョンによる３Ｄ座標を計算し、各基準点のＸ、Ｙ、Ｚ座標を取得するステップ。
コンピュータ支援設計（ＣＡＤ）ファイルから車両基準系（ＳＣＶ）に基づいて各基準点のＸ，Ｙ，Ｚ座標を計算し、３次元の車両測定値を得るステップ。
少なくとも２つのライトから、前記ビデオカメラに同期して、前記車両部品から反射する光と、前記車両部品間の隙間に入り光を反射しない光ビームを発射し、光反射の欠如が光を反射しないエッジ間に閉じ込められるステップ。
ビデオカメラによって、反射を欠く車両部品の少なくとも２つの同期した２Ｄ画像を撮影し、各同期した２Ｄ画像の識別子ＩＤは、測定トンネルに対する車両の空間位置に関連付けられ、共通基準系ＳＣＥに基づいて各エッジのＸ，Ｙ座標と識別子ＩＤを計算するエッジ認識アルゴリズムを適用するステップ。
同期された２Ｄ画像を３Ｄ画像に結合し、３Ｄ画像内のエッジが共通基準系ＳＣＥにリンクされたＸ，Ｙ，Ｚ座標を有するステップ。
車両基準系ＳＣＶにリンクされた３Ｄ画像のエッジのＸ，Ｙ，Ｚ座標を次式から計算するステップ。
ＳＣＶ＝逆数（ＭＲ）×ＳＣＥ
ここで、ＳＣＶは車両基準系ＳＣＶにリンクしたＸ，Ｙ，Ｚ座標を定義する行列、ＳＣＥは共通基準系ＳＣＥにリンクしたＸ，Ｙ，Ｚ座標を定義する行列、ＭＲは両方の基準系の間の関係行列で、ある基準系から別の基準系に変換するために必要な移動、回転、倍率を定義する行列である。
車両基準系ＳＣＶにリンクされた座標Ｘ，Ｙ，Ｚ上のエッジ間のギャップ距離として、車両部品のフラッシュとギャップを計算すること。
この例として、車両のフロントドアから対応するフェンダまでの距離を測定する場合、ライトに照らされたときに光を反射するドアの最後のポイントによって決まる「セクション」（線）があり、これがセクションの端となり、ライトで照らされたときに光を反射するフェンダの最後のポイントが、セクションの他の端となる。端と端の間の部分は光を反射せず、車両部品（ドアとフェンダ）間の３次元的な距離（ギャップとフラッシュ）を表す。
ビデオカメラの較正ステップで説明したビデオカメラの較正処理では、内部パラメータと外部パラメータを算出する。内部パラメータを計算するために、以下のサブステップが実行される。
少なくともデータマトリクスコードとフィデューシャルマーカを含む較正チェスボードの少なくとも２つの画像を撮影するサブステップ。
データマトリクスコードを復号して、較正チェスボードのマスのサイズ、行数および列数を取得するサブステップ。
データマトリクスコードに基づいて、較正チェスボードの中心マスを決定するサブステップ。
前記中心マスを起点とするマスの繋がりをすべて計算するサブステップ。
前記マスの繋がり、ビデオカメラに含まれる光学系サイズ、ビデオカメラのＣＣＤのセルサイズから、光学中心、焦点距離、少なくとも６つの径方向歪みパラメータ（Ｋ１－Ｋ６）、少なくとも２つの接線歪みパラメータ（Ｐ１、Ｐ２）を計算するサブステップ。
さらに、外部パラメータを算出するために、車両のギャップとフラッシュを測定する方法は、以下のサブステップを含む。
較正チェスボードを測定トンネル内の少なくとも１台のビデオカメラで見える位置に設置するサブステップ。
トータルステーションを使用して、較正チェスボードを測定するサブステップ。
トータルステーションにより測定トンネルの構造上の４つの固定点を測定するブステップ。
トータルステーションを繰り返し配置し、検査トンネル内を介して車両を搬送する車両コンベヤを基準とした共通基準系ＳＣＥを取得するサブステップ。
共通基準系（ＳＣＥ）においてトータルステーションを使用し、較正チェスボード上に位置する少なくとも１２の補助点を測定するサブステップ。
剛体の推定と変換を使用して、共通基準系（ＳＣＥ）と較正チェスボードとの間の関係を計算するサブステップ。
各ビデオカメラによる、較正チェスボードの少なくとも１つの画像を保存するサブステップ。
各ビデオカメラのローカル座標系を計算し、ローカル座標系の共通基準系ＳＣＥへの変換を計算するサブステップ。
ビデオカメラの較正が完了し、共通基準系ＳＣＥを構築してビデオカメラを共通基準系ＳＣＥにリンクすると、次に、共通基準系ＳＣＥに基づいて車両の４つの基準点のステレオビジョンによる３次元座標を計算し、各基準点のＸ，Ｙ，Ｚ座標を取得する。車両の４つの基準点のステレオビジョンによる３次元座標を計算するために、以下のステップが実行される。
測定する４つの基準点に対して視覚的にアクセスできるビデオカメラを、車両の片側につき２台選択するステップ。
測定トンネルに対するコンベア上の車両の同期した動きを考慮し、車両上で計算される基準点を選択するステップ。
オプションとして、先の２つのステップに加えて、ベクトル検索アルゴリズムによって後続の類似車両を認識するための認識パターンを作成することができる。
図１は、車両部品のギャップやフラッシュを測定するための測定トンネルと、その内部の車両を示す。 図２は、較正チェスボードが底面に配置された本発明の測定トンネルを示す。 図３は、較正チェスボードの較正パターンを示す。 図４は、トータルステーションが測定トンネルの４つの固定点の３次元座標を取得している様子を示す。 図５は、ビデオカメラによる車両の４つの基準点の算出を示したものである。 図６は、４つの基準点を示す透視図である。 図７は、共通基準点システムＳＣＥと車両基準点システムＳＣＶを示す図である。 図８は、２つの部品間のギャップとフラッシュを測定する車両を示す図である。 図９は、車両の２つの部品の表面の掃引と、２つのエッジの間に定義された前記表面の不連続性とを示す図である。 図１０は、車両の２つの部品の間の不連続の２Ｄ画像と、エッジのＸ，Ｙ座標による２Ｄのエッジの位置とを示す図である。 図１１は、車両の２つの部品間の不連続性と、エッジのＸ、Ｙ、Ｚ座標による3次元でのエッジの位置の３次元画像である。
１． 計測用トンネル。
２． ビデオカメラ
３． 較正チェスボード
４． 較正パターン：４ａ－データマトリクスコード、４ｂ－フィデューシャルマーカ、４ｃ－マス、４ｄ－中央マス。
５． ビデオカメラの逆Ｕ字型支持構造。
６． 前面支持構造。
７． 車体。
８． 車両コンベア
９． 位置決め用エンコーダ
１０． 処理・記憶手段
１１． トータルステーション
１２． 測定トンネル構造物の固定点
１３． 使用しない。
１４． 使用しない。
１５． 車載用基準点。
１６． 共通基準点ＳＣＥ。
１７． 車両基準点システム ＳＣＶ。
１８． １辺の２次元ＸＹ座標。
１９． １辺の３次元ＸＹＺ座標。
２０． エッジの同期した２Ｄ画像。
２１． エッジの３Ｄ画像。
２２． ＬＥＤライト。
２３． 測定するセクション。
２４． 断面の不連続部のエッジ。
２５． 車両表面のスキャン。
以下、本発明の一実施形態を図に関連して説明する。
図１は、車体の任意の２点間のギャップおよびフラッシュを測定するための本発明の測定用トンネル１を示す図である。図１は、測定用トンネル１と、その内部で、コンベア８上の車両フレーム７を示す。コンベア８は、測定用トンネル１の内部で、車両７を移動させる。測定トンネル１は、主にビデオカメラ２とその近傍のＬＥＤライト２２で構成され、これら（２，２２）は全て逆Ｕ字型の支持構造５、さらに前部の支持構造６で支持されている。さらに、計測トンネル１は、車両コンベア８と、位置エンコーダ９と、処理・記憶手段１０とを備えている。処理・記憶手段１０は、本発明に記載の方法のステップを実行するとともに、測定トンネルを構成する残りの要素と相互接続するように構成されたプロセッサおよびメモリである。さらに、位置エンコーダ９により、測定トンネル１は、車両の位置を常に知ることができる。これにより、後述するように、同期した画像を撮影することができる。
車両部品間の距離を３Ｄで測定する処理を開始する前に、ビデオカメラ２を較正する必要がある。ビデオカメラ２の較正は、ビデオカメラの内部パラメータと外部パラメータを計算することにより行われる。
内部パラメータを計算するために、図２に示すように、較正チェスボード３が測定トンネル１内に設置されています。較正パターン４は、較正チェスボード3の表面に設置され、その形状は図３に示す通りである。較正パターン４は、チェスボードと同様に、黒と白のマス４ｃが千鳥状に交互に配置されたものである。較正パターン４は、データマトリクスコード４ａとフィデューシャルマーカ４ｂとが異なる白色のマス目に配置されて構成されている。処理・記憶手段１０は、内部パラメータを計算するために、ビデオカメラ２によって較正パターン４を有する較正チェスボード３の少なくとも２つの画像を撮影し、データマトリクスコード４ａを復号して、較正チェスボード３のマス４ｃ、中心マス４ｄ、行数および列数の大きさを得るというステップを実行する。処理・記憶手段１０は、前記情報により、中心マスを基準にマスのつながりを全て計算し、マスのつながり、ビデオカメラに含まれる光学系のサイズ、カメラのＣＣＤセルのサイズにより、光学中心、焦点距離、少なくとも６つのラジアル歪みパラメータ（Ｋ１～Ｋ６）、少なくとも２つの接線歪みパラメータ（Ｐ１、Ｐ２）である内部パラメータを計算する。
外部パラメータに関しては、較正チェスボード3を使用することに加えて、図４に示すように、トータルステーション１１を使用する。まず、較正チェスボード３は、測定トンネル１内の少なくとも１台のビデオカメラ２によって見える位置に設置される。次に、トータルステーション１１を用いて較正チェスボード３の計測を行う。これは、共通基準系ＳＣＥ１５を作成することを意味し、そのために、測定トンネル構造１の４点と較正チェスボード３上に位置する１２点の反復測定がトータルステーション１１によって行われる。言い換えれば、測定トンネル１の同じ４つの点と較正チェスボード３上に位置する１２点は、測定トンネル１に対するトータルステーション１１の異なる位置から測定される。異なる位置は、好ましくは、車両がコンベヤ８上を移動する位置である。言い換えれば、測定トンネル１の４つの固定点１２と較正チェスボード３上に位置する１２点の測定値の関係から、共通基準系ＳＣＥ１５を作成することができる。共通基準系ＳＣＥ １５が定義されると、後で車両部品の1つのエッジの３Ｄ座標を決定できるように、共通基準系ＳＣＥ １５に関して各ビデオカメラ２をリンクすることが必要である。そのためには、まず、剛体の変換と推定によって、共通基準系ＳＣＥと較正チェスボードとの間の関係を計算する必要がある。次に、各ビデオカメラ2によって撮影された較正チェスボード3の少なくとも１つの画像を保存し、各ビデオカメラ２のローカル座標系を計算し、最後に、ローカル座標系から共通基準系ＳＣＥへの変換を計算する。
ビデオカメラ２が較正され、共通基準系ＳＣＥ １６が構築されると、ビデオカメラを共通基準系ＳＣＥ １６にリンクし、次のステップが適用される。具体的に、共通基準系ＳＣＥに基づいて車両の４つの基準点１５のステレオビジョンによる３Ｄ座標を計算し、それによって図５および６に示すように各基準点のＸ，Ｙ，Ｚ座標を得るステップである。図５に示すように、車両７の両側では、２台のビデオカメラ２が基準点１５を撮影し、共通基準系ＳＣＥ１６を基準とした基準点１５の３次元座標を得る。したがって、車両の両側でそれぞれ１つずつ、２つの基準点１５の３次元座標が得られる。同時に、または順次、車両の両側に１つずつ、別の２つの基準点１５の３次元座標が計算される。これは、他の２つの基準点１５を撮影できるビデオカメラ２がある場合には、同時に、または、２つのビデオカメラ２が他の２つの基準点１５にアクセスできるようになるまで、コンベヤ８によって車両７を移動させることによって、順次実行することが可能である。基準点１５の３次元座標は、順次実行される場合、移動を排除するための補正係数を有し、これは、コンベヤ８に位置する位置エンコーダ９によって既知である。測定トンネル１内で検査される後続の同様の車両について、図５及び図６について説明したステップを繰り返す必要がないように、処理及び記憶手段１０は、コントラストベクトル探索アルゴリズムによって認識パターンを作成することができる。
車両７の４つの基準点１６の３Ｄ座標が共通基準系ＳＣＥ １６に関して計算されると、共通基準系ＳＣＥ １６に関する車両の４つの基準点１５の３Ｄ座標と車両基準系ＳＣＶ １７（図７）に関する車両のそれらの同じ４つの基準点15の３Ｄ座標との間の対応を確立し、３Ｄの車両の測定／座標を含むコンピュータ支援設計（ＣＡＤ）ファイルに４つの基準点を位置づけることが可能である。つまり、ビデオカメラによって算出された各基準点１５と、ＣＡＤファイルから抽出された同じ基準点１５との間に対応関係が確立される。
次に、車両７の表面をスキャン２５（図９）により解析し、測定すべきギャップゾーン（またはセクション）２３を検出する（図８）。具体的には、本発明の方法は、車両の異なる隣接部分の間に生じる不連続性のエッジ２４（図９）の３Ｄ座標を計算する。そのために、ビデオカメラ２と同期しているライト２２によって光ビームを照射し、車両を構成する部品からの光の反射と、前記車両の部品間のギャップ（図９及び図１０のエッジ２４間の空間）に闇（光の反射がないこと-詳細拡大図１０参照）を発生させる。
そのために、ビデオカメラによって車両7の複数の同期した２次元画像２０が撮影される（図１０）。各「同期」画像について、画像の識別子ＩＤと、ビデオカメラの空間位置と、車両の空間位置との間に直接的な関係があるため、２Ｄ画像が「同期」していると言われるが、これは、車両がコンベヤ８上にあり、その測定トンネル１との空間関係が位置エンコーダ９によって既知であるためである。図１０に示すように、各同期化２Ｄ画像２０にエッジ認識アルゴリズムが適用され、これを通じて処理・記憶手段が共通基準系ＳＣＥに基づいて各エッジ２４のＸ，Ｙ座標１８を計算し、それを識別子ＩＤに関連付け、さらなる処理のために記憶することが可能である。
エッジ１８の複数の同期した２Ｄ画像２０（少なくとも２つ）が撮影されると、同期した２Ｄ画像を３Ｄ画像２１と組み合わせて、３Ｄ画像内のエッジが共通の基準系ＳＣＥにリンクしたＸ，Ｙ，Ｚ座標１９を有する３Ｄ画像を得ることができる。車両自体のエッジ２４間の距離を意味する２つの車両部品間の距離を計算しているので、共通基準系ＳＣＥの３Ｄ画像のエッジのＸ，Ｙ，Ｚ座標の車両基準系ＳＣＶへの変換が、数式によって計算される。
Figure 2022553597000002
 ここで、ＳＣＶは車両基準系ＳＣＶに連動するＸ，Ｙ，Ｚ座標を定義する行列、ＳＣＥは共通基準系ＳＣＥに連動するＸ，Ｙ，Ｚ座標を定義する行列、ＭＲはＳＣＶ基準系からＳＣＥ基準系に行くのに必要な並進、回転、スケールを定義する関係行列である。これにより、エッジ１９の3次元座標（Ｘ，Ｙ，Ｚ）は、車両基準系ＳＣＥにリンクされた３次元画像において、車両７の塗装上に得られる。

Claims (7)

  1. 測定トンネルによって車両部品のギャップとフラッシュを測定する方法であって、
    ビデオカメラの内部パラメータと外部パラメータを計算することにより、前記測定トンネルに設置されたビデオカメラを較正するステップ、
    前記測定トンネルの共通基準システムＳＣＥを構築し、前記ビデオカメラを前記共通基準システムＳＣＥにリンクさせるステップ、
    前記共通基準系に基づき、車両の少なくとも4つの基準点のステレオビジョンによる3D座標を計算し、前記4つの基準点のそれぞれのX、Y、Z座標を取得するステップ、
    コンピュータ支援設計ファイル（ＣＡＤ）から、車両基準系（ＳＣＶ）に基づいて前記４つの基準点のそれぞれのＸ，Ｙ，Ｚ座標を計算し、３次元の車両寸法を算出するステップ、
    少なくとも２つのライトから、前記ビデオカメラに同期して、前記車両部品から反射する光と、前記車両部品間の隙間に入り光を反射しない光ビームを発射し、光反射の欠如が光を反射しないエッジ間に閉じ込められるステップ、
    前記ビデオカメラによって、反射を欠く前記車両部品の少なくとも２つの同期した２Ｄ画像を撮影するステップであって、前記同期した２Ｄ画像のそれぞれの識別子ＩＤは、前記測定トンネルに対する前記車両の空間位置に関連付けられ、前記共通基準系ＳＣＥに基づいて前記エッジのそれぞれのＸ，Ｙ座標と前記識別子ＩＤを計算するエッジ認識アルゴリズムを適用するステップ、
    前記同期した２Ｄ画像を３Ｄ画像に結合し、前記３Ｄ画像内の前記エッジが前記共通基準系ＳＣＥにリンクされたＸ，Ｙ，Ｚ座標を有するようにするステップ、
    前記車両基準系ＳＣＶにリンクされた前記３Ｄ画像の前記エッジのＸ，Ｙ，Ｚ座標を数式１を用いて計算するステップであって、
    Figure 2022553597000003
     ここで、ＳＣＶは前記車両基準系ＳＣＶにリンクしたＸ，Ｙ，Ｚ座標を定義する行列、ＭＲは関係行列、ＳＣＥは前記共通基準系ＳＣＥにリンクしたＸ，Ｙ，Ｚ座標を定義する行列であり、ＳＣＶは前記車両基準系ＳＣＶにリンクしたＸ，Ｙ，Ｚ座標を定義する行列である、ステップ、および
    前記車両基準系ＳＣＶにリンクされた座標Ｘ，Ｙ，Ｚ上の前記エッジ間のギャップ距離として、車両部品のフラッシュとギャップを算出するステップ、とを含む方法。
  2. ビデオカメラを較正するステップは、前記内部パラメータを計算するために、
    少なくともデータマトリクスコードとフィデューシャルマーカを含む較正チェスボードの少なくとも２つの画像を撮影するサブステップ、
    前記データマトリクスコードを復号して、前記較正チェスボードのマスのサイズ、行数および列数を取得するサブステップ、
    前記データマトリクスコードに基づいて、前記較正チェスボードの前記中心マスを決定するサブステップ、
    前記中心マスを起点とする前記マスの全ての接続を計算するサブステップ、および
    前記マスのつながり、前記ビデオカメラに内蔵された前記光学系のサイズ、および前記カメラのＣＤＤの前記セルサイズに基づいて、光学中心、焦点距離、少なくとも６つの放射状歪みのパラメータ（Ｋ１－Ｋ６）および少なくとも２つの接線方向歪みのパラメータ（Ｐ１、Ｐ２）を計算するサブステップを含むことを特徴とする、請求項１に記載の測定トンネルによる車両部品のギャップ及びフラッシュを測定するための方法。
  3. 前記ビデオカメラを較正するステップは、さらに、前記外部パラメータを計算するために、
    較正チェスボードを、少なくとも１つのビデオカメラによって見える前記測定トンネル内の位置に設置するサブステップ、
    前記トータルステーションを使用して、前記較正チェスボードを測定するサブステップを含み、
    前記較正チェスボードの測定は、
    前記トータルステーションにより前記測定トンネル構造の４つの固定点を測定すること、
    前記検査トンネル内で前記車両を搬送する車両コンベアに対して、前記共通基準系ＳＣＥを得るために前記トータルステーションを反復して配置すること。
    前記トータルステーションを前記共通基準系ＳＣＥで使用し、前記較正チェスボード上にある少なくとも１２点の補助点を測定すること、
    剛体の推定と変換を使用して、前記共通基準系ＳＣＥと前記較正チェスボードとの間の関係を計算すること、
    前記ビデオカメラのそれぞれによる前記較正チェスボードの少なくとも１つの画像を保存すること、
    前記ビデオカメラのそれぞれのローカル座標系を計算し、前記ローカル座標系と前記共通基準系ＳＣＥとの変換を計算することを含む、ことを特徴とする請求項１に記載の測定トンネルによる車両部品のギャップ及びフラッシュを測定するための方法。
  4. 前記ステレオビジョンによって前記３Ｄ座標を計算するステップは、
    測定された４つの基準点に視覚的にアクセスできる、車両の片側あたり２つのビデオカメラを選択するサブステップ、
    前記測定トンネルに対する前記コンベア上の前記車両の同期した動きを考慮し、前記車両上で計算する基準点を選択するサブステップ、および
    コントラストベクトル探索アルゴリズムにより、後続の類似車両を認識するための認識パターンを作成するサブステップを含む、請求項１に記載の測定トンネルによる車両部品のギャップ及びフラッシュを測定する方法。
  5. 車両部品のギャップとフラッシュを測定するための測定トンネルであって、測定トンネル（１）は、
    車両（７）の画像を撮影するためのビデオカメラ（２）、
    前記車両（７）を直線的に移動させ、前記測定トンネル（１）内を長手方向に通過させるコンベア（８）、
    前記車両（７）の移動を計測する位置エンコーダ（９）、
    前記測定トンネルにおける複数の固定点を測定するトータルステーション（１１）（１２）と、
    較正パターン（４）が配置された較正チェスボード（３）、
    前記ビデオカメラ（２）と同期している少なくとも２つのライト（２２）、
    少なくとも前記ビデオカメラによって撮影された画像、前記車両のコンピュータ支援設計（ＣＡＤ）ファイル、およびエッジ認識アルゴリズムを記憶する処理・記憶手段（１０）であって、前記ライト（２２）、前記ビデオカメラ（２）、前記コンベヤ（８）および前記位置エンコーダ（９）に接続され、処理・記憶手段が、請求項１から４のいずれか一項に記載の方法の手順を実行するように構成されている、測定トンネル。
  6. 前記較正パターン（４）が、千鳥状に配置されたマス（４ｃ）によって形成されており、さらにデータマトリクスコード（４ａ）およびフィデューシャルマーカ（４ｂ）を含む、請求項５に記載の車両部品のギャップおよびフラッシュを測定するための測定トンネル。
  7. 前記測定トンネル（１）が、前記測定トンネル（１）の内部に、ビジョンカメラ（２）及びライト（２２）を支持するための逆U字型の支持構造（５）及び前部支持構造（６）をさらに含む、請求項５に記載の車両部品のギャップ及びフラッシュを測定するための測定トンネル。
JP2022506341A 2019-10-23 2020-07-28 車両部品のギャップ・フラッシュ測定方法及び測定用トンネル Active JP7373053B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
ESP201930936 2019-10-23
ES201930936A ES2821104B2 (es) 2019-10-23 2019-10-23 Metodo de medicion de enrase y separacion de partes de un vehiculo y tunel de medicion
PCT/ES2020/070488 WO2021079018A1 (es) 2019-10-23 2020-07-28 Método de medición de enrase y separación de partes de un vehículo y túnel de medición

Publications (2)

Publication Number Publication Date
JP2022553597A true JP2022553597A (ja) 2022-12-26
JP7373053B2 JP7373053B2 (ja) 2023-11-01

Family

ID=75538890

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2022506341A Active JP7373053B2 (ja) 2019-10-23 2020-07-28 車両部品のギャップ・フラッシュ測定方法及び測定用トンネル

Country Status (8)

Country Link
US (1) US11953310B2 (ja)
EP (1) EP4049920A4 (ja)
JP (1) JP7373053B2 (ja)
KR (1) KR102639910B1 (ja)
CN (1) CN114502456A (ja)
ES (1) ES2821104B2 (ja)
TW (1) TW202134098A (ja)
WO (1) WO2021079018A1 (ja)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6529283B1 (en) * 1999-03-10 2003-03-04 Inos Automationssoftware Gmbh Method for measuring the width of a gap
WO2012154878A1 (en) * 2011-05-11 2012-11-15 Tyzx, Inc. Camera calibration using an easily produced 3d calibration pattern
JP2012253758A (ja) * 2011-06-01 2012-12-20 Harman Becker Automotive Systems Gmbh 車両視覚システムの較正方法および車両視覚システム

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE69001847T2 (de) * 1989-03-28 1993-12-16 Renault Automation Vorrichtung zum Zusammenbauen einer Karosserie mittels positionierbaren Seitenwerkzeugen.
BR0016748B1 (pt) * 1999-12-28 2009-01-13 mÉtodo de organizaÇço de linha de montagem e mÉtodo e linha de montagem de uma pluralidade de tipos de chassis de veÍculo.
US6971175B2 (en) * 2003-05-05 2005-12-06 Utica Enterprises, Inc. Assembly line and method for vehicle body manufacturing
JP4974489B2 (ja) * 2005-07-27 2012-07-11 トヨタ自動車株式会社 組付け精度計測システム
FR2922639B1 (fr) * 2007-10-23 2009-12-11 Peugeot Citroen Automobiles Sa Procede et dispositif de mesure de jeu et d'affleurement entre des pieces fixees sur un ensemble en l'absence de l'une d'elles
FR2928453B1 (fr) * 2008-03-06 2011-01-07 Peugeot Citroen Automobiles Sa Systeme de mesure de jeux et d'affleurements et procede correspondant
FR2941043B1 (fr) * 2009-01-14 2010-12-31 Peugeot Citroen Automobiles Sa Procede de mesure de jeux et affleurements
CN103685936A (zh) * 2012-09-25 2014-03-26 通用汽车环球科技运作有限责任公司 宽视场摄像机图像的校准和扭曲恢复
KR102359925B1 (ko) * 2017-07-12 2022-02-07 현대자동차 주식회사 자동차 조립라인의 차체 트랙킹 장치 및 방법
CN107765257A (zh) * 2017-11-16 2018-03-06 深圳市唯特视科技有限公司 一种基于反射强度辅助外部校准的激光探测与测量方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6529283B1 (en) * 1999-03-10 2003-03-04 Inos Automationssoftware Gmbh Method for measuring the width of a gap
WO2012154878A1 (en) * 2011-05-11 2012-11-15 Tyzx, Inc. Camera calibration using an easily produced 3d calibration pattern
JP2012253758A (ja) * 2011-06-01 2012-12-20 Harman Becker Automotive Systems Gmbh 車両視覚システムの較正方法および車両視覚システム

Also Published As

Publication number Publication date
ES2821104B2 (es) 2021-08-23
EP4049920A4 (en) 2022-12-28
JP7373053B2 (ja) 2023-11-01
ES2821104A1 (es) 2021-04-23
CN114502456A (zh) 2022-05-13
TW202134098A (zh) 2021-09-16
EP4049920A1 (en) 2022-08-31
US20220333914A1 (en) 2022-10-20
KR102639910B1 (ko) 2024-02-23
WO2021079018A1 (es) 2021-04-29
KR20220075309A (ko) 2022-06-08
US11953310B2 (en) 2024-04-09

Similar Documents

Publication Publication Date Title
US7414732B2 (en) Method and device for determining the 3D profile of an object
WO2015038354A1 (en) Use of a three-dimensional imager's point cloud data to set the scale for photogrammetry
KR20150128300A (ko) 카메라와 레이저 스캔을 이용한 3차원 모델 생성 및 결함 분석 방법
KR102643295B1 (ko) 제조 또는 다른 동작 동안 물체의 라이브 계측
CN112254680B (zh) 一种多自由度的智能视觉3d信息采集设备
JPH11166818A (ja) 三次元形状計測装置の校正方法及び校正装置
JP6035031B2 (ja) 複数の格子を用いた三次元形状計測装置
CN112254670A (zh) 一种基于光扫描和智能视觉融合的3d信息采集设备
CN112253913B (zh) 一种与旋转中心偏离的智能视觉3d信息采集设备
Bergström et al. Automatic in-line inspection of shape based on photogrammetry
Prieto et al. Visual system for fast and automated inspection of 3D parts
TW201907136A (zh) 立體影像與雷射掃描測距整合方法
JP7373053B2 (ja) 車両部品のギャップ・フラッシュ測定方法及び測定用トンネル
Matabosch et al. Registration of surfaces minimizing error propagation for a one-shot multi-slit hand-held scanner
CN112257536B (zh) 一种空间与物体三维信息采集匹配设备及方法
Di Leo et al. Uncertainty of line camera image based measurements
CN114430841A (zh) 运载器的油漆缺陷的检查方法及检查隧道
Peng et al. 3D digitizing technology in product reverse design
KR20150111944A (ko) 전기 회로의 3차원 이미지를 결정하기 위한 시스템
CN116878419B (zh) 基于三维点云数据的轨道车辆限界检测方法、系统及电子设备
Shi et al. Integrated process for measurement of free-form automotive part surface using a digital area sensor
Anchini et al. Subpixel location of discrete target images in close-range camera calibration: A novel approach
Shi et al. Develop a Non-contact Automated Dimensional Inspection System for Automotive Manufacturing Industry
CN115856797A (zh) 一种传感器标定方法及装置
JP2020201107A (ja) 撮影処理装置、及び撮影処理方法

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220516

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20220516

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20230307

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20230926

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20231020

R150 Certificate of patent or registration of utility model

Ref document number: 7373053

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150