JP2008235504A - Assembly inspection device - Google Patents

Assembly inspection device Download PDF

Info

Publication number
JP2008235504A
JP2008235504A JP2007071873A JP2007071873A JP2008235504A JP 2008235504 A JP2008235504 A JP 2008235504A JP 2007071873 A JP2007071873 A JP 2007071873A JP 2007071873 A JP2007071873 A JP 2007071873A JP 2008235504 A JP2008235504 A JP 2008235504A
Authority
JP
Japan
Prior art keywords
assembly
dimensional shape
shape data
component
assembled
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2007071873A
Other languages
Japanese (ja)
Inventor
Yoshimasa Ishii
芳征 石井
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Mitsubishi Electric Corp
Original Assignee
Mitsubishi Electric Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Mitsubishi Electric Corp filed Critical Mitsubishi Electric Corp
Priority to JP2007071873A priority Critical patent/JP2008235504A/en
Publication of JP2008235504A publication Critical patent/JP2008235504A/en
Pending legal-status Critical Current

Links

Images

Abstract

<P>PROBLEM TO BE SOLVED: To obtain an assembly inspection device capable of preventing an assembly mistake in the stage of the assembly of components and reducing assembly work. <P>SOLUTION: A camera for capturing a partial assembly and a profile acknowledgement device for generating the two-dimensional profile data of the partial assembly based on an image captured by the camera are provided. The three-dimensional profile data of the partial assembly generated by the attachment of a component identified by a component identification device are generated by use of the three-dimensional profile data of an assembly. Then, the two-dimensional profile data generated by the profile acknowledgement device are compared with two-dimensional profile data formed by projecting the three-dimensional profile data in the direction of the visual point of the camera. Thus, a mistake in the attachment of the partial assembly is detected. <P>COPYRIGHT: (C)2009,JPO&INPIT

Description

この発明は、カメラ画像を用いて、組立品の検査を行う組立品検査装置に関する。   The present invention relates to an assembly inspection apparatus that inspects an assembly using a camera image.

３次元ＣＡＤにより設計された３次元形状モデルをディスプレイ画面に表示し、組立て手順の表示や、組立て完成品のイメージ表示等を行う３次元形状モデル表示装置が知られている。このような３次元形状モデルを生成するための３次元ＣＡＤ図面については、データ生成方法やデータ形式に関する各種規格が存在することは周知のところである。   There is known a three-dimensional shape model display device that displays a three-dimensional shape model designed by three-dimensional CAD on a display screen, displays an assembly procedure, displays an image of an assembled product, and the like. It is well known that there are various standards relating to data generation methods and data formats for 3D CAD drawings for generating such 3D shape models.

また、カメラ画像に基づいて部品の２次元形状を検査したり、レーザスキャナを用いて部品の３次元形状を非接触で検査する３次元計測装置が広く利用されている（例えば、特許文献１参照）。   Further, a three-dimensional measuring apparatus that inspects a two-dimensional shape of a component based on a camera image or inspects a three-dimensional shape of a component in a non-contact manner using a laser scanner is widely used (for example, see Patent Document 1). ).

特開平１０−２８８５０８号公報JP-A-10-288508

一方、近年、カメラで撮像される実写像に基づき、画像処理を用いて製品の形状を検証する形状検証システムが提案されている。例えば、特許文献２には、３次元計測装置の計測データや３次元ＣＡＤ／ＣＡＭの設計データに基づいて、仮想空間で対象物の理想二次元像を再現し、対象物の実写像とを比較して、形状の検証を行う技術が詳細に記述されている。このシステムを用いることにより、３次元測定機を使用せずに、簡単に製品形状を検証することができる。   On the other hand, in recent years, a shape verification system that verifies the shape of a product using image processing based on a real image captured by a camera has been proposed. For example, in Patent Document 2, an ideal two-dimensional image of an object is reproduced in a virtual space based on measurement data of a three-dimensional measurement device or design data of three-dimensional CAD / CAM, and compared with an actual image of the object. A technique for verifying the shape is described in detail. By using this system, the product shape can be easily verified without using a three-dimensional measuring machine.

特開２０００−３０４５１６号公報JP 2000-304516 A

しかしながら、現在、製造業者が組立品の検査を行う場合は、組立担当者が組み上げた組立品について、検査担当者が２次元の設計図面と組立品とを見比べ、指示通りに部品が組み付けられているか否かを、目視で検査しているのが実情である。   However, currently, when a manufacturer inspects an assembly, the inspector compares the two-dimensional design drawing with the assembly, and the parts are assembled as instructed. In fact, it is actually inspecting whether or not there is any.

このような検査方法では、次の（１）〜（３）に示すような問題があった。
（１）内部に組み付けられる部品の組立途中で組み付け間違いがあった場合、組み上がった組立品を分解し、再度組立て作業のやり直しを行う。このようなやり直し作業を避けるために、組立途中の各段階で、検査担当者が逐一、部分組立品を検査することがある。
（２）検査担当者は組立図面を読図し、組立品の形状を正確に認識した上で、検査を行う必要がある。このため、読図及び、形状認識に多大な時間を要す。
（３）人手による検査のため、検査見逃し、勘違いや思い込みによる見逃し等を誘発する恐れがある。 Such an inspection method has the following problems (1) to (3).
(1) If there is an assembly mistake during the assembly of the parts assembled inside, the assembled assembly is disassembled and the assembly work is performed again. In order to avoid such redoing work, an inspector may inspect the subassembly one by one at each stage during assembly.
(2) The person in charge of inspection needs to read the assembly drawing and perform inspection after accurately recognizing the shape of the assembly. For this reason, much time is required for reading and shape recognition.
(3) Since inspection is performed manually, there is a risk of overlooking the inspection, or overlooking due to misunderstanding or misunderstanding.

なお、特許文献２の形状検証システムは、加工品や成型品の製品形状を検証するものであるが、組立品を構成する各部品の組み付け途中で、段階的に生成される部分組立品を検査するものではない。このため、複数の部品を複雑に組み付けて組立品を生成する際の、組付け間違いを防止し、検査作業を簡易化するための具体的な手段についてまでは、示されていない。   The shape verification system disclosed in Patent Document 2 verifies the product shape of a processed product or a molded product, but inspects a sub-assembly that is generated step by step during the assembly of each component constituting the assembly. Not what you want. For this reason, specific means for preventing an assembly error and simplifying the inspection work when a plurality of parts are assembled in a complex manner to generate an assembly are not shown.

この発明は、係る課題を解決するために成されたものであり、部品の組立段階における組付け間違いを防止するとともに、組立作業を軽減することのできる、組立品検査装置を得ることを目的とする。   The present invention has been made to solve such a problem, and an object of the present invention is to provide an assembly inspection apparatus capable of preventing an assembly error in an assembly stage of parts and reducing assembly work. To do.

この発明による組立品検査装置は、組立品の組立てに用いられる部品の識別情報と、当該識別情報に対応した部品の３次元形状データを順次結合して生成される組立品の３次元形状データとを格納する記憶装置と、
組み付ける部品を識別する部品識別装置と、
部分組立品を撮影するカメラと、
上記カメラの撮影画像に基づいて、部分組立品の２次元形状データを生成する形状認識装置と、
上記記憶装置に格納された組立品の３次元形状データを用いて、上記部品識別装置で識別された部品の組み付けにより生成される部分組立品の３次元形状データを生成する３次元形状モデル生成部と、
上記３次元形状モデル生成部により生成される部分組立品の３次元形状データを、上記カメラの視点方向に投影して、２次元形状データを生成する射影形状データ生成部と、
形状認識装置により生成された２次元形状データと射影形状データ生成部により生成された２次元形状データとを比較し、部分組立品の組み付け間違いを検出する比較部と、を備えたものである。 The assembly inspection apparatus according to the present invention includes identification information of parts used for assembling an assembly, and three-dimensional shape data of an assembly generated by sequentially combining the three-dimensional shape data of parts corresponding to the identification information, A storage device for storing
A component identification device for identifying a component to be assembled;
A camera for photographing subassemblies;
A shape recognition device that generates two-dimensional shape data of the subassembly based on the captured image of the camera;
A three-dimensional shape model generation unit that generates three-dimensional shape data of a subassembly generated by assembling the components identified by the component identification device, using the three-dimensional shape data of the assembly stored in the storage device When,
A projection shape data generation unit that projects the three-dimensional shape data of the subassembly generated by the three-dimensional shape model generation unit in the viewpoint direction of the camera to generate two-dimensional shape data;
A comparison unit that compares the two-dimensional shape data generated by the shape recognition device with the two-dimensional shape data generated by the projected shape data generation unit and detects an assembly error of the subassembly is provided.

また、画像処理によって認識可能な少なくとも３点の特徴部位を有し、組立品の一部を構成する土台と、
土台を撮影する第２のカメラと、
第２のカメラの撮影画像から土台の特徴部位を識別し、識別した特徴部位に基づいて、土台の基準方向の向きを計測する画像計測装置と、
を更に備え、
上記射影形状データ生成部は、上記画像計測装置で計測された土台の基準方向の向きに基づいて、土台の基準方向に対する上記カメラの視点方向を求め、上記３次元形状モデル生成部により生成される部分組立品の３次元形状データを、求めたカメラの視点方向に投影して、２次元形状データを生成するものであっても良い。 Further, the base has at least three feature parts that can be recognized by image processing, and forms a part of an assembly;
A second camera to shoot the foundation;
An image measuring device for identifying a feature portion of a base from a photographed image of the second camera, and measuring a direction of a reference direction of the base based on the identified feature portion;
Further comprising
The projected shape data generation unit obtains the viewpoint direction of the camera with respect to the base reference direction based on the orientation of the base reference direction measured by the image measurement device, and is generated by the three-dimensional shape model generation unit. The 3D shape data of the subassembly may be projected in the obtained camera viewpoint direction to generate 2D shape data.

この発明によれば、部品の組立段階における組付け間違いを防止するとともに、部分組立品の検査作業を減らすことができる、という効果が得られる。   According to the present invention, it is possible to obtain an effect that it is possible to prevent assembling mistakes in the part assembly stage and to reduce the inspection work of the subassembly.

実施の形態１．
以下、図を用いてこの発明に係る実施の形態１の組立品検査装置について説明する。この実施の形態１は、３次元ＣＡＤ／ＣＡＭシステムに代表される３次元の設計モデルと、３次元空間上にある部分組立品および最終組立品の画像認識結果とを照合し、部分組立品および最終組立品の検査に用いることを特徴とする。 Embodiment 1 FIG.
The assembly inspection apparatus according to Embodiment 1 of the present invention will be described below with reference to the drawings. In the first embodiment, a three-dimensional design model typified by a three-dimensional CAD / CAM system is collated with image recognition results of a subassembly and a final assembly on a three-dimensional space. It is used for inspection of the final assembly.

図１は、この発明に係る実施の形態１による組立品検査装置の構成を示す図である。図において、組立品および組立用部品の取り付け状況を撮影するカメラ１と、カメラ１の撮影画像から組立品および組立用部品の形状を認識する形状認識装置２と、３次元図面の形状データを格納した３次元図面庫５と、３次元図面庫５に格納された３次元図面の形状データと形状認識装置２から出力される形状データとを照合する計算機３と、組み付け部品の管理を行う部品ストッカ４を備えて構成される。可動台２０はカメラ１を保持し、組立品を所定の３方向から撮影するように、カメラ１を移動させる。勿論、カメラ１を３台設置固定して、３方向から撮影するようにしても良い。可動台２０は、カメラ１を移動させた位置でのカメラ１の視点方向を計測することができる。   FIG. 1 is a diagram showing a configuration of an assembly inspection apparatus according to Embodiment 1 of the present invention. In the figure, a camera 1 that captures the mounting state of an assembly and an assembly part, a shape recognition device 2 that recognizes the shape of the assembly and the assembly part from a captured image of the camera 1, and shape data of a three-dimensional drawing are stored. 3D drawing store 5, computer 3 for comparing the shape data of the 3D drawing stored in 3D drawing store 5 with the shape data output from shape recognition device 2, and a component stocker for managing assembly parts 4 is configured. The movable table 20 holds the camera 1 and moves the camera 1 so that the assembly is photographed from three predetermined directions. Of course, three cameras 1 may be installed and fixed, and photographing may be performed from three directions. The movable table 20 can measure the viewpoint direction of the camera 1 at the position where the camera 1 is moved.

部品ストッカ４において、組立品の組立てに必要な全ての組立用部品が所定の棚に収納され、ストックされている。部品ストッカ４の周辺には、バーコードリーダ２１が設置され、予め組立用部品に貼り付けされたバーコードを認識することにより、部品の識別情報を得ることができる。
なお、バーコードとしては、２次元バーコードを用いても良い。また、バーコードの代わりにＲＦＩＤを用い、バーコードリーダの代わりにＲＦＩＤリーダを用いて、ＲＦＩＤのコード情報を非接触で読み取っても良い。 In the parts stocker 4, all assembly parts necessary for assembling an assembly are stored in a predetermined shelf and stocked. A barcode reader 21 is installed in the vicinity of the component stocker 4, and the identification information of the component can be obtained by recognizing the barcode previously attached to the assembly component.
As the barcode, a two-dimensional barcode may be used. Further, RFID code information may be read in a non-contact manner by using RFID instead of the barcode and using an RFID reader instead of the barcode reader.

ここで、組立を行う対象品は、予め３次元ＣＡＤを用いて設計された３次元設計モデルが構築されている。この３次元設計モデルは、３次元図面庫５に格納された３次元図面の３次元形状データから成る。３次元設計モデルは、計算機３に接続された表示装置上で画像表示が可能であり、作業者は３次元設計モデルの表示画像に基づいて組立を行う。また、計算機３上で、最終組立品の３次元設計モデルを、３次元設計モデルを構成する全ての構成部品の３次元形状モデルに分解することが可能である。作業者は、３次元設計モデルに基づいて、組立用部品を組み合わせて順次部分組立品を構成し、全ての組立用部品を組み付けることにより、最終組立品を構築する。   Here, as a target product to be assembled, a three-dimensional design model designed in advance using a three-dimensional CAD is constructed. This three-dimensional design model is composed of three-dimensional shape data of a three-dimensional drawing stored in the three-dimensional drawing store 5. The three-dimensional design model can be displayed on a display device connected to the computer 3, and the worker assembles based on the display image of the three-dimensional design model. Further, on the computer 3, it is possible to decompose the three-dimensional design model of the final assembly into the three-dimensional shape models of all the components constituting the three-dimensional design model. Based on the three-dimensional design model, the worker composes the subassemblies sequentially by combining the assembly parts, and constructs the final assembly by assembling all the assembly parts.

図２は、計算機３の内部処理構成を示す図である。
図において、計算機３は、部品３次元形状モデル生成部２３と、部品射影形状データ生成部２４と、部品判別部２５と、３次元形状モデル生成部２７と、射影形状データ生成部２８と、比較部２９とを備える。また、計算機３は記憶装置２６を備える。記憶装置２６には３次元図面庫５が格納されている。部品３次元形状モデル生成部２３、部品射影形状データ生成部２４、部品判別部２５、３次元形状モデル生成部２７、射影形状データ生成部２８、および比較部２９は、計算機３のＲＯＭや記憶装置２６に格納されたプログラムに基づいて、計算機３のＣＰＵ制御により動作する。 FIG. 2 is a diagram showing an internal processing configuration of the computer 3.
In the figure, the computer 3 compares a component three-dimensional shape model generation unit 23, a component projection shape data generation unit 24, a component determination unit 25, a three-dimensional shape model generation unit 27, and a projection shape data generation unit 28. Part 29. The computer 3 includes a storage device 26. The storage device 26 stores a three-dimensional drawing store 5. The component 3D shape model generation unit 23, the component projection shape data generation unit 24, the component determination unit 25, the 3D shape model generation unit 27, the projection shape data generation unit 28, and the comparison unit 29 are a ROM or a storage device of the computer 3. Based on the program stored in the computer 26, the computer 3 operates under CPU control.

次に、動作について説明する。
図３は、計算機３が、組立品と３次元形状モデルとの整合性を検証するための部品とデータの流れを示す図である。また、図４は、計算機３が、組立品と３次元形状モデルとの整合性を検証するための動作フローを示す図である。作業者は、記憶装置２６の３次元図面庫５において、予めデータを取り出すべき組立品の３次元形状データを指定しておく。 Next, the operation will be described.
FIG. 3 is a diagram showing the flow of parts and data for the computer 3 to verify the consistency between the assembly and the three-dimensional shape model. FIG. 4 is a diagram showing an operation flow for the computer 3 to verify the consistency between the assembly and the three-dimensional shape model. The operator designates the three-dimensional shape data of the assembly from which data is to be extracted in advance in the three-dimensional drawing store 5 of the storage device 26.

図において、組立作業者は土台となる部品６を部品ストッカ４から取り出し、作業台に置き作業を開始する（ステップＳ１）。部品ストッカ４にはそれぞれの部品が識別可能なようにストックされている。   In the figure, the assembling worker takes out the component 6 as a base from the component stocker 4 and places it on the work table to start the operation (step S1). The parts stocker 4 is stocked so that each part can be identified.

作業者が部品６を手に取った時点で、部品認識装置２１が部品６のバーコードを読取、認識する。これにより、部品ストッカ４からどの部品が手に取られたかを認識することができる。部品認識装置２１は、読み取った組み付け部品のバーコードに基づいて、バーコードに対応する部品６の部品識別情報を、計算機３の部品３次元形状モデル生成部２３に入力する（ステップＳ４）。   When the operator picks up the component 6, the component recognition device 21 reads and recognizes the barcode of the component 6. Thereby, it is possible to recognize which part is picked up from the part stocker 4. The component recognition apparatus 21 inputs the component identification information of the component 6 corresponding to the barcode to the component three-dimensional shape model generation unit 23 of the computer 3 based on the read barcode of the assembled component (step S4).

部品３次元形状モデル生成部２３は、組立作業者により指定された組立品の３次元形状データを、３次元図面庫５から取り出す。部品３次元形状モデル生成部２３は、部品認識装置２１から供給される部品６の部品識別情報に基づいて、組立品の３次元形状データから組立てに用いられる部品６の３次元形状データを抽出する。
部品射影形状データ生成部２４は、部品３次元形状モデル生成部２３で生成された３次元形状データを、カメラ１の視点方向に投影して、組立てに用いられる部品のカメラ１の視点方向から見た２次元形状データを生成し、出力する（ステップＳ５）。なお、カメラ１の視点方向は、後述のように可動台２０から入力される。 The component 3D shape model generation unit 23 takes out the 3D shape data of the assembly designated by the assembly operator from the 3D drawing store 5. The part 3D shape model generation unit 23 extracts the 3D shape data of the part 6 used for assembly from the 3D shape data of the assembly based on the part identification information of the part 6 supplied from the part recognition device 21. .
The component projection shape data generation unit 24 projects the three-dimensional shape data generated by the component three-dimensional shape model generation unit 23 in the viewpoint direction of the camera 1 and views the component used for assembly from the viewpoint direction of the camera 1. Two-dimensional shape data is generated and output (step S5). Note that the viewpoint direction of the camera 1 is input from the movable base 20 as described later.

また、作業者が部品６を手に取った上記時点で、カメラ１からは作業台の検査用作業エリアに設置された部品６の形状を映像として入力する。形状認識装置２は、カメラ１の撮影画像から部品６の画像を認識する（ステップＳ２）。この際、作業者は、カメラ１を予め設定された部品撮影用の位置Ａに移動させるように、可動台２０に移動指示を与える。これにより、カメラ１は可動台２０によって可動され、予め設定された部品撮影用の位置Ａに移動する。位置Ａでは、検査用作業エリアの背景が一様となっており、予め記憶された背景画像と撮影画像の差分画像により部品６の画像を認識することができる。また、この際、可動台２０は位置Ａでのカメラ１の視点方向を求め、部品射影形状データ生成部２４に出力する。
次に、形状認識装置２は、部品６の画像に基づいて部品６の２次元形状を認識し、部品６の２次元形状データを出力する（ステップＳ３）。 At the time when the operator picks up the part 6, the shape of the part 6 installed in the work area for inspection on the work table is input from the camera 1 as an image. The shape recognition device 2 recognizes the image of the component 6 from the captured image of the camera 1 (step S2). At this time, the operator gives a movement instruction to the movable base 20 so as to move the camera 1 to a preset part shooting position A. As a result, the camera 1 is moved by the movable base 20 and moved to a preset part shooting position A. At the position A, the background of the work area for inspection is uniform, and the image of the component 6 can be recognized from the difference image between the background image and the captured image stored in advance. At this time, the movable base 20 obtains the viewpoint direction of the camera 1 at the position A and outputs it to the component projection shape data generation unit 24.
Next, the shape recognition device 2 recognizes the two-dimensional shape of the component 6 based on the image of the component 6, and outputs the two-dimensional shape data of the component 6 (step S3).

部品判別部２５は、部品射影形状データ生成部２４から出力される２次元形状データと、形状認識装置２から出力される２次元形状データとの照合を行い、一致した場合に正しい部品が選択されたと判断とし、不一致である場合に誤った部品が選択されたと判断するチェックを行う（ステップＳ６）。   The component discriminating unit 25 collates the two-dimensional shape data output from the component projection shape data generation unit 24 with the two-dimensional shape data output from the shape recognition device 2, and if they match, the correct component is selected. A check is performed to determine that an incorrect part has been selected if there is a mismatch (step S6).

部品判別部２５の照合の結果、正しい部品が選択されたと判断された場合、３次元形状モデル生成部２７に、部品６の部品識別情報を出力する。３次元形状モデル生成部２７は、組み付け順位に応じて、組み付けされる部品の部品識別情報と組み付け順位を記憶領域に格納することができる。３次元形状モデル生成部２７は、組立て開始後、最初に設置される部品６の部品識別情報を受けると、部品６の部品識別情報を、組み付け順１位の部品識別情報として記憶領域に格納する。
また、部品判別部２５の照合の結果、誤った部品が選択されたと判断された場合、組立作業を中断し、再びステップＳ１に戻る。 If it is determined that the correct part has been selected as a result of the collation by the part determination unit 25, the part identification information of the part 6 is output to the three-dimensional shape model generation unit 27. The three-dimensional shape model generation unit 27 can store the component identification information of the component to be assembled and the assembly order in the storage area according to the assembly order. When the three-dimensional shape model generation unit 27 receives the component identification information of the component 6 that is first installed after the start of assembly, the three-dimensional shape model generation unit 27 stores the component identification information of the component 6 in the storage area as the component identification information ranked first in the assembly order. .
On the other hand, if it is determined that the wrong part has been selected as a result of the collation by the part discriminating unit 25, the assembling operation is interrupted and the process returns to step S1 again.

次に、組立作業者は、土台の部品６を組立て用の作業エリアに設置する（ステップＳ８）。
このとき、カメラ１からは組立て用の作業エリアに設置された部品６の形状を映像として入力する。形状認識装置２は、カメラ１の撮影画像から部品６の画像を認識する（ステップＳ９）。この際、作業者は、カメラ１を予め設定された組立品撮影用の位置Ｂに移動させるよう、可動台２０に移動指示を与え、予めカメラ１を移動させておく。 Next, the assembly worker installs the base part 6 in the assembly work area (step S8).
At this time, the shape of the part 6 installed in the assembly work area is input from the camera 1 as an image. The shape recognition device 2 recognizes the image of the component 6 from the captured image of the camera 1 (step S9). At this time, the operator gives a movement instruction to the movable base 20 so as to move the camera 1 to the preset position B for photographing the assembly, and moves the camera 1 in advance.

これにより、カメラ１は可動台２０に可動され、予め設定された組立品撮影用の位置Ｂに移動する。カメラ１は位置Ｂにおいて、真上から部品６を撮影できるように配置されている。位置Ｂでは、組立て用の作業エリアの背景が一様となっており、予め記憶された背景画像と撮影画像の差分画像により部品６の画像を認識することができる。また、位置Ｂにおいてカメラ１から見える部品６の形状データが予め形状認識装置２に設定されている。   As a result, the camera 1 is moved by the movable base 20 and moved to a preset position B for photographing the assembly. The camera 1 is arranged at a position B so that the part 6 can be photographed from directly above. At the position B, the background of the assembly work area is uniform, and the image of the component 6 can be recognized from the difference image between the background image and the captured image stored in advance. In addition, the shape data of the component 6 that can be seen from the camera 1 at the position B is set in the shape recognition device 2 in advance.

形状認識装置２は、位置Ｂにおいてカメラ１により撮影される部品６の画像について、作業台に設置された部品６の２次元形状を認識し、予め設定された部品６の形状データとのパターンマッチングにより、部品６の特徴的な形状を示す代表点（例えば、図３の点ｓ、ｔ、ｕ）の位置を求める。また、位置Ｂにおいて、カメラ１により撮影される部品６の画像から得られる、少なくとも３つの代表点（ｓ、ｔ、ｕ）の位置座標と、予め設定された部品６の形状データにおける対応する代表点の位置座標とに基づいて、作業台に設置された部品６における３次元絶対座標空間での基準線の設置方向を認識する（ステップＳ１０）。この代表点としては、部品の画像中における角部や、穴部等の特徴部位が選択される。   The shape recognition device 2 recognizes the two-dimensional shape of the component 6 placed on the workbench with respect to the image of the component 6 photographed by the camera 1 at the position B, and performs pattern matching with preset shape data of the component 6. Thus, the positions of representative points (for example, points s, t, u in FIG. 3) indicating the characteristic shape of the component 6 are obtained. Further, at position B, the position coordinates of at least three representative points (s, t, u) obtained from the image of the part 6 photographed by the camera 1 and the corresponding representatives in the shape data of the part 6 set in advance. Based on the position coordinates of the points, the installation direction of the reference line in the three-dimensional absolute coordinate space in the component 6 installed on the work table is recognized (step S10). As this representative point, a characteristic part such as a corner or a hole in the image of the part is selected.

次に、組立作業者は、組立てに用いられる組み付け部品７を部品ストッカ４より手に取り、土台の部品６への組付を行う（ステップＳ１２）。
この際、作業者が、部品ストッカ４から部品７を手に取った時点で、部品認識装置２１が部品７のバーコードを読取、認識する。部品認識装置２１は、読み取った組み付け部品のバーコードに基づいて、バーコードに対応する部品７の部品識別情報を、計算機３の３次元形状モデル生成部２７に入力する（ステップＳ１３）。 Next, the assembly operator picks up the assembly part 7 used for assembly from the part stocker 4 and assembles it to the base part 6 (step S12).
At this time, when the operator picks up the component 7 from the component stocker 4, the component recognition device 21 reads and recognizes the barcode of the component 7. The component recognition apparatus 21 inputs the component identification information of the component 7 corresponding to the barcode to the three-dimensional shape model generation unit 27 of the computer 3 based on the read barcode of the assembled component (step S13).

部品３次元形状モデル生成部２３は、３次元図面庫５から、図面により指定された組立品の３次元形状データを取り出す。部品３次元形状モデル生成部２３は、部品認識装置２１から供給される部品７の部品識別情報に基づいて、部品７の３次元形状データを、組立品の３次元形状データから抽出する（ステップＳ１４）。   The component three-dimensional shape model generation unit 23 takes out the three-dimensional shape data of the assembly designated by the drawing from the three-dimensional drawing store 5. The component 3D shape model generation unit 23 extracts the 3D shape data of the component 7 from the 3D shape data of the assembly based on the component identification information of the component 7 supplied from the component recognition device 21 (step S14). ).

部品射影形状データ生成部２４は、部品３次元形状モデル生成部２３で生成された部品７の３次元形状データを、位置Ａでのカメラ１の視点方向に投影して、部品７のカメラ１の視点方向から見た２次元形状データを生成し、出力する（ステップＳ１５）。カメラ１の視点方向は可動台２０から入力される。   The component projection shape data generation unit 24 projects the three-dimensional shape data of the component 7 generated by the component three-dimensional shape model generation unit 23 in the viewpoint direction of the camera 1 at the position A, and Two-dimensional shape data viewed from the viewpoint direction is generated and output (step S15). The viewpoint direction of the camera 1 is input from the movable base 20.

また、作業者が部品７を手に取り、部品認識装置２１が部品７のバーコードを読取った時点で、カメラ１は自動的に位置Ａに復帰している。カメラ１は作業台に設置された部品７の形状を映像として入力する（ステップＳ１５）。形状認識装置２は、カメラ１から入力される部品７の画像に基づいて部品７の２次元形状を認識し、部品７の２次元形状データを出力する（ステップＳ１６）。   Further, when the operator picks up the part 7 and the part recognition device 21 reads the barcode of the part 7, the camera 1 automatically returns to the position A. The camera 1 inputs the shape of the component 7 installed on the work table as an image (step S15). The shape recognition device 2 recognizes the two-dimensional shape of the component 7 based on the image of the component 7 input from the camera 1, and outputs the two-dimensional shape data of the component 7 (step S16).

部品判別部２５は、部品射影形状データ生成部２４から出力される部品７の２次元形状データと、形状認識装置２から出力される部品７の２次元形状データとの照合を行い、正しい部品が作業台に設置されたか否かのチェックを行う（ステップＳ１７）。   The component discriminating unit 25 collates the two-dimensional shape data of the component 7 output from the component projected shape data generation unit 24 with the two-dimensional shape data of the component 7 output from the shape recognition device 2, and the correct component is found. It is checked whether or not it is installed on the work table (step S17).

チェックの結果、その部品が誤った部品であることが判明すると、組立てを中断する指示情報を出力する（ステップＳ１８）。画像表示装置４０は、組立てを中断する指示情報の出力を受け、組立ての中断を作業者に知らせる情報を、画面表示する。
チェックの結果、その部品が確かに部品７であることが判明すると、部品判別部２５は、３次元形状モデル生成部２７に部品７の部品識別情報を出力する。 As a result of the check, if it is determined that the part is an incorrect part, instruction information for interrupting the assembly is output (step S18). The image display device 40 receives the output of the instruction information for interrupting the assembly, and displays on the screen information that informs the operator of the interruption of the assembly.
As a result of the check, if it is determined that the part is indeed the part 7, the part determination unit 25 outputs the part identification information of the part 7 to the three-dimensional shape model generation unit 27.

次に、組立作業者は、部品７を組立て用の作業エリアに移動させ、部品６に部品７を組み付ける作業を行い、部分組立品８を生成する（ステップＳ２０）。
このとき、カメラ１は組立て用の作業エリアに設置された部分組立品８の形状を映像として入力する。 Next, the assembly worker moves the part 7 to the assembly work area, performs the work of assembling the part 7 to the part 6, and generates the subassembly 8 (step S20).
At this time, the camera 1 inputs the shape of the subassembly 8 installed in the assembly work area as an image.

形状認識装置２は、カメラ１の撮影画像から部分組立品８の画像を認識する（ステップＳ２１）。この際、作業者は、カメラ１を予め設定された組立品撮影用の位置Ｃに移動させるよう、可動台２０に移動指示を与え、予めカメラ１を移動させておく。形状認識装置２は、部分組立品８の画像に基づいて部分組立品８の２次元形状を認識し、部分組立品８の組み付け形状を示すデータとして、２次元形状データを出力する（ステップＳ２２）。   The shape recognition device 2 recognizes the image of the subassembly 8 from the photographed image of the camera 1 (step S21). At this time, the operator gives a movement instruction to the movable base 20 so as to move the camera 1 to a preset position C for photographing the assembly, and moves the camera 1 in advance. The shape recognition device 2 recognizes the two-dimensional shape of the subassembly 8 based on the image of the subassembly 8, and outputs two-dimensional shape data as data indicating the assembled shape of the subassembly 8 (step S22). .

３次元形状モデル生成部２７は、部品判別部２５からの部品７の部品識別情報に基づいて、部品７の部品識別情報を、組み付け順２位の部品識別情報として記憶領域に格納する。
３次元形状モデル生成部２７は、組み付け順１位の部品識別情報に対応した部品６と、組み付け順２位の部品識別情報に対応した部品７とを組み付けることにより生成される、部分組立品８の３次元形状モデルを生成する（ステップＳ１９）。 Based on the component identification information of the component 7 from the component identification unit 25, the three-dimensional shape model generation unit 27 stores the component identification information of the component 7 in the storage area as the component identification information ranked second in the assembly order.
The three-dimensional shape model generation unit 27 is generated by assembling the part 6 corresponding to the part identification information ranked first in the assembly order and the part 7 corresponding to the part identification information ranked second in the assembly order. The three-dimensional shape model is generated (step S19).

この際、３次元形状モデル生成部２７は、３次元図面庫５から指定された組立品の３次元形状データを取り出す。３次元形状モデル生成部２７は、部品６および部品７の部品識別情報に基づいて、組立品の３次元形状データから部品６と部品７が結合された３次元形状モデルを抽出する。
例えば、３次元形状モデルとして通常の３次元ＣＡＤデータを用いる場合、３次元形状モデル中で、部品６と部品７を表示状態とし、その他の部品を非表示状態とするようなデータ処理を行う。この場合、勿論、適宜視野方向に基づく陰線処理を行うことは言うまでもない。 At this time, the three-dimensional shape model generation unit 27 takes out the three-dimensional shape data of the designated assembly from the three-dimensional drawing store 5. The three-dimensional shape model generation unit 27 extracts a three-dimensional shape model in which the component 6 and the component 7 are combined from the three-dimensional shape data of the assembly based on the component identification information of the component 6 and the component 7.
For example, when normal 3D CAD data is used as the 3D shape model, data processing is performed in which the parts 6 and 7 are displayed in the 3D shape model and the other parts are not displayed. In this case, needless to say, hidden line processing is appropriately performed based on the viewing direction.

射影形状データ生成部２８は、３次元形状モデル生成部２７で生成された部分組立品８の３次元形状データを、カメラ１の視点方向に投影して、カメラ１の視点方向から見た部分組立品８の２次元形状データを生成し、出力する。この際、土台となる部品６の基準線の設置方向を加味して、部品６の基準線の設置方向に対する可動台２０から入力される３次元絶対座標空間でのカメラ１の視点方向から、カメラ１の視点方向が求められる。   The projected shape data generation unit 28 projects the 3D shape data of the subassembly 8 generated by the 3D shape model generation unit 27 in the viewpoint direction of the camera 1, and the partial assembly viewed from the viewpoint direction of the camera 1. Two-dimensional shape data of the product 8 is generated and output. At this time, taking the installation direction of the reference line of the component 6 as a base into consideration, the camera is viewed from the viewpoint direction of the camera 1 in the three-dimensional absolute coordinate space input from the movable table 20 with respect to the installation direction of the reference line of the component 6. One viewpoint direction is required.

このように、計算機３上では、土台となる部品６に部品７が設計意図通りに組付いて部分組立品８が構成された場合の、３次元形状の模擬を行っている。組立作業者が、土台となる部品６への部品７の組付を完了すると、比較部２９が、カメラ１により撮影され形状認識装置２により認識された部品６、７の組立後の形状と、射影形状データ生成部２８から出力されるカメラ１の視点方向から見た部分組立品８の２次元形状データとの照合を行う。かくして、部品６に部品７が正しい位置に正しい向きで組付けられたか否かのチェックが行われる（ステップＳ２３）。   Thus, on the computer 3, the three-dimensional shape is simulated when the subassembly 8 is configured by assembling the component 7 to the base component 6 as designed. When the assembly operator completes the assembly of the part 7 to the base part 6, the comparison unit 29 captures the shape of the parts 6, 7 after being assembled and photographed by the camera 1 and recognized by the shape recognition device 2. Collation with the two-dimensional shape data of the subassembly 8 viewed from the viewpoint direction of the camera 1 output from the projected shape data generation unit 28 is performed. Thus, it is checked whether or not the component 7 is assembled to the component 6 at the correct position in the correct orientation (step S23).

このチェックの結果、その部品が誤った部品であることが判明すると、比較部２９は組立ての中断を指示する情報を出力する（ステップＳ２４）。画像表示装置４０は、組立ての中断を指示する情報の出力を受け、組立ての中断を作業者に知らせる情報を、画面表示する。   If the result of this check reveals that the part is an incorrect part, the comparison unit 29 outputs information for instructing to suspend assembly (step S24). The image display device 40 receives the output of the information for instructing the interruption of the assembly, and displays on the screen information for notifying the operator of the interruption of the assembly.

また、このチェックの結果、その部品が確かに部品７であることが判明すると、比較部２９は、組み付け記録データを出力する（ステップＳ２５）。組み付け記録データは、組み付けに用いられた全ての部品の識別情報を有するものである。
画像表示装置４０は、組み付け記録データの出力を受け、組み付け記録データを画面に表示する。 If the result of this check reveals that the part is indeed the part 7, the comparison unit 29 outputs assembly record data (step S25). The assembly record data includes identification information of all parts used for assembly.
The image display device 40 receives the output of the assembly record data and displays the assembly record data on the screen.

次に、組立作業者が組み付け位置を間違えた場合について説明する。ここで、組立作業者が、部品９を部品ストッカ４より手に取り、部品６への組み付けを行うことを想定する。   Next, a case where the assembly operator makes a mistake in the assembly position will be described. Here, it is assumed that the assembly operator picks up the component 9 from the component stocker 4 and assembles it to the component 6.

組立作業者が、土台となる部品６に対し組み付け部品９を間違った位置に組み付けると、計算機３が、カメラ１により認識された組立後の形状と計算機３上の３次元形状モデル１０との照合を行うことにより、部品６に部品９が正しい位置に組み付けられていないことが検出される。計算機３の比較部４０は、この検出結果と３次元形状データを画像表示装置４０に出力する。この際、間違えて組付けた部品９がハイライトされた状態で表示されるように、３次元形状データの表示形式を設定する。画像表示装置４０では、この３次元形状データに基づいて間違えて組付けた部品のみをハイライトして、画面に表示する。   When the assembling operator assembles the assembly part 9 in the wrong position with respect to the base part 6, the computer 3 collates the shape after assembly recognized by the camera 1 with the three-dimensional shape model 10 on the computer 3. By performing the above, it is detected that the component 9 is not assembled to the component 6 at the correct position. The comparison unit 40 of the computer 3 outputs the detection result and the three-dimensional shape data to the image display device 40. At this time, the display format of the three-dimensional shape data is set so that the wrongly assembled component 9 is displayed in a highlighted state. In the image display device 40, only parts that are mistakenly assembled based on the three-dimensional shape data are highlighted and displayed on the screen.

以降の作業は順にこれを繰返し実施することにより、部分組立品並びに最終組立品における、組み付け部品及び組み付け位置の確実性を保証することができる。   The subsequent operations are repeatedly performed in order, thereby ensuring the certainty of the assembled parts and the assembled positions in the subassembly and the final assembly.

以上により、この実施の形態は、部分組立品を撮影するカメラと、カメラの撮影画像に基づいて部分組立品の２次元形状データを生成する形状認識装置と、組立品の３次元形状データを用いて、部品識別装置で識別された部品の組み付けにより生成される部分組立品の３次元形状データを生成することにより、形状認識装置により生成された２次元形状データと、３次元形状データをカメラの視点方向に投影した２次元形状データとを比較して、部分組立品の組み付け間違いを検出する。これによって、部品の組立段階における組付け間違いを防止するとともに、部分組立品の検査作業を減らすことができる、という効果が得られる。   As described above, this embodiment uses the camera for photographing the subassembly, the shape recognition device for generating the two-dimensional shape data of the subassembly based on the captured image of the camera, and the three-dimensional shape data of the assembly. By generating the three-dimensional shape data of the subassembly generated by assembling the components identified by the component identification device, the two-dimensional shape data and the three-dimensional shape data generated by the shape recognition device are By comparing the two-dimensional shape data projected in the viewpoint direction, an assembly error of the subassembly is detected. As a result, it is possible to prevent the assembly error at the part assembly stage and to reduce the inspection work of the subassembly.

実施の形態２．
この発明に係る実施の形態２では、組立対象のモーションキャプチャリングを行い、遠隔監視することを特徴とする。以下、図４を用いて実施の形態２を説明する。 Embodiment 2. FIG.
The second embodiment according to the present invention is characterized in that motion capture of an assembly target is performed and remote monitoring is performed. The second embodiment will be described below with reference to FIG.

図５、図６は、実施の形態２による組立品検査装置の構成を示す図である。
作業者による組立作業は、常にカメラ１により撮影され、形状認識装置２により形状認識が行われている。カメラ１の設置位置は、被組立品が撮影可能な前方、上方および作業者の目線の中で、適切な位置が予め選択される。図の例では、目線方向から撮影するカメラとして、カメラ１１を設けている。カメラ１またはカメラ１１は、形状認識装置２に接続される。形状認識装置２では、組立作業者や遠隔地の作業者の指示により、カメラ１とカメラ１１の何れか一方の撮影画像が選択されて、入力される。伝送装置４１は、計算機３の出力データを、遠隔地に配置された遠隔地計算機１４にデータを伝送する。遠隔地計算機１４は、３次元形状モデル生成部と画像表示装置とを有している。また、比較部２９は、土台部品６の設置方向を求める機能を有する。図中、図１〜３と同一符号の他のものについては、構成および動作が同様のものであるので、説明を省く。 5 and 6 are diagrams showing the configuration of the assembly inspection apparatus according to the second embodiment.
The assembly work by the operator is always photographed by the camera 1 and the shape recognition device 2 recognizes the shape. As the installation position of the camera 1, an appropriate position is selected in advance among the front, the upper side, and the operator's line of sight where the assembly target can be photographed. In the example of the figure, a camera 11 is provided as a camera that captures an image from the eye direction. The camera 1 or the camera 11 is connected to the shape recognition device 2. In the shape recognition device 2, a photographed image of either the camera 1 or the camera 11 is selected and input according to an instruction from an assembly worker or a remote worker. The transmission device 41 transmits the output data of the computer 3 to the remote computer 14 located at a remote location. The remote computer 14 has a three-dimensional shape model generation unit and an image display device. The comparison unit 29 has a function of obtaining the installation direction of the base part 6. In the figure, the other components having the same reference numerals as those in FIGS.

ここで、被組立品の土台部品６における、部品形状のエッジや穴等の特徴的な部分１２の部分形状と、少なくとも３つの特徴的な部分１２における幾何学的配置関係の情報とが、予め計算機３上に登録されている。計算機３は、比較部２９において、その特徴的な部分１２の部分形状を元にして、計算機３上の３次元形状モデルと、カメラ１で撮影され形状認識装置２で認識された被組立品の部品６とを照合し、フィッティングを行う。比較部２９は、このフィッティング結果に基づいて、３次元形状モデル上での部品６の基準方向とカメラ１で撮影された部品６の基準方向との方向ずれを検出し、３次元形状モデル上での基準方向に対する部品６の設置方向を求める。   Here, in the base part 6 of the assembly target, the partial shape of the characteristic part 12 such as the edge and hole of the part shape and the information on the geometrical arrangement relation in the at least three characteristic parts 12 are obtained in advance. Registered on the computer 3. In the comparison unit 29, the computer 3 uses the three-dimensional shape model on the computer 3 based on the partial shape of the characteristic portion 12, and the assembly object photographed by the camera 1 and recognized by the shape recognition device 2. The part 6 is collated and fitting is performed. Based on this fitting result, the comparison unit 29 detects a direction shift between the reference direction of the part 6 on the three-dimensional shape model and the reference direction of the part 6 photographed by the camera 1, and on the three-dimensional shape model. The installation direction of the component 6 with respect to the reference direction is obtained.

また、比較部２９は、実施の形態１と同様に、形状認識装置２により認識された、組み付け部品を組み付けて成る部分組立品の形状と、射影形状データ生成部２８から出力されるカメラ１の視点方向から見た部分組立品の２次元形状データとの、照合を行い、組み付け部品が正しい位置に正しい向きで組付けられたか否かをチェックする。また、比較部２９は、部分組立品の組立てに用いられた全ての組み付け部品の部品識別情報と組み付け部品の組み付け順位から成る組み付け記録データを、部分組立品の構成情報として出力する。組み付け記録データには、土台部品６の部品識別情報と最新の組み付け部品の識別情報が含まれる。   Similarly to the first embodiment, the comparison unit 29 recognizes the shape of the subassembly formed by assembling the assembly parts recognized by the shape recognition device 2 and the camera 1 output from the projected shape data generation unit 28. Collation with the two-dimensional shape data of the sub-assembly viewed from the viewpoint direction is performed, and it is checked whether or not the assembled part is assembled at the correct position and in the correct orientation. Further, the comparison unit 29 outputs assembly record data including part identification information of all assembly parts used for assembling the subassembly and assembly order of the assembly parts as configuration information of the subassembly. The assembly record data includes the component identification information of the base component 6 and the latest assembly component identification information.

比較部２９は、最新の組み付け部品の識別情報を含む組み付け記録データと、土台部品６の設置方向と、部分組立品の３次元形状データとを、データ伝送装置４１に送信する。データ伝送装置４１は、遠隔地に配置された遠隔地計算機１４に対し、比較部２９から受信した各データを伝送する。   The comparison unit 29 transmits assembly record data including identification information of the latest assembly component, the installation direction of the base component 6, and the three-dimensional shape data of the subassembly to the data transmission device 41. The data transmission device 41 transmits each data received from the comparison unit 29 to the remote computer 14 arranged at a remote location.

遠隔地計算機１４は、データ伝送装置４１から伝送された、最新の組み付け部品の識別情報と、組み付け記録データと、土台部品６の設置方向と、部分組立品の３次元形状データとを受け取る。遠隔地計算機１４の３次元形状モデル生成部は、受け取った部分組立品の３次元形状データを部品６の設置方向の視点に投影して、２次元形状データを求める。この求めた２次元形状データは、遠隔地計算機１４の画像表示装置に表示される。   The remote computer 14 receives the latest assembling part identification information, assembling record data, the installation direction of the base part 6 and the three-dimensional shape data of the subassembly transmitted from the data transmission device 41. The 3D shape model generation unit of the remote computer 14 projects the received 3D shape data of the subassembly onto the viewpoint of the installation direction of the part 6 to obtain 2D shape data. The obtained two-dimensional shape data is displayed on the image display device of the remote computer 14.

この際、最新の組み付け部品の３次元形状データは、部分組立品を構成する他の部品の３次元形状データとは、異なる配色や線種の表示形式としておく。これにより、３次元形状モデル生成部により生成された部分組立品の３次元形状データを、組み付け部品の３次元形状データを異なる表示形式で表示した状態で、土台の設置方向に投影した２次元形状データを画像表示装置に表示することが可能となる。   At this time, the latest three-dimensional shape data of the assembled parts is displayed in a different color and line type display format from the three-dimensional shape data of other parts constituting the subassembly. As a result, the two-dimensional shape of the subassembly generated by the three-dimensional shape model generation unit is projected in the mounting direction with the three-dimensional shape data of the assembled part displayed in a different display format. Data can be displayed on the image display device.

このように、土台となる部品６のモーションを常に検知することで、計算機３上の３次元形状モデル１３を連動してモーションさせ、画像表示装置に表示することができる。   In this way, by constantly detecting the motion of the component 6 as the foundation, the three-dimensional shape model 13 on the computer 3 can be caused to move in conjunction with the image and displayed on the image display device.

また、それぞれの組み付け部品は、部品６からの相対的な位置に組付けられるため、この部品６のモーションに合わせてそれぞれ組付けられたの部品をモーションすることができる。これにより、遠隔地計算機１４においても、組立作業者の視点から見た組立品の組み付け作業状況を、３次元形状モデルの投影図を通じて、リアルタイムに監視することができる。   In addition, since each assembled component is assembled at a relative position from the component 6, each assembled component can be moved according to the motion of the component 6. As a result, the remote computer 14 can also monitor the assembly work situation of the assembly viewed from the viewpoint of the assembly operator in real time through the projection view of the three-dimensional shape model.

実施の形態３．
この発明に係る実施の形態３では、計算機３上の３次元形状モデルに予め付帯された作業指示情報が、画像表示装置の表示画面を通じて、作業者に提供される。これにより、部品の組立状況の把握と平行して、次に組立てられる部品に対する組立部品の指示を行うことを特徴とする。図７は、実施の形態４による組立品検査装置の実施例を示す図である。 Embodiment 3 FIG.
In Embodiment 3 according to the present invention, work instruction information attached in advance to the three-dimensional shape model on the computer 3 is provided to the worker through the display screen of the image display device. Thereby, in parallel with grasping the assembly status of the parts, an instruction of the assembled parts for the parts to be assembled next is performed. FIG. 7 is a diagram illustrating an example of an assembly inspection apparatus according to the fourth embodiment.

組立作業者が組み付け部品を手に取った時点で、部品識別装置２１を通じて計算機３に該当部品の部品識別情報が入力される。計算機３の組立指示情報出力部５０には、組み付け部品毎に作業手順に従って記述された作業指示情報が格納されており、予め各作業手順が部品識別情報に対応付けされている。組立指示情報出力部５０は、部品識別装置２１を通じて得られる部品識別情報に基づいて、所定の作業指示情報を出力する。   When the assembly operator picks up the assembled part, the part identification information of the corresponding part is input to the computer 3 through the part identification device 21. The assembly instruction information output unit 50 of the computer 3 stores work instruction information described in accordance with the work procedure for each assembled component, and each work procedure is associated with the component identification information in advance. The assembly instruction information output unit 50 outputs predetermined work instruction information based on the component identification information obtained through the component identification device 21.

これにより、組立作業者は、組み付けただけでは組付けの確実性が保証できず、数値による確認を行う必要のあるネジ部品１５や、組み付けの際に特別な作業指示が必要な部品についても、組付けの状態を確認することができる。具体的な作業指示の例としては、以下の２つの実施例が挙げられる。   As a result, the assembling worker cannot guarantee the assembling reliability only by assembling the screw parts 15 that need to be confirmed by numerical values, or parts that require special work instructions when assembling, The state of assembly can be confirmed. Examples of specific work instructions include the following two examples.

（実施例１）
この例では、ネジ部品の組み付け例について説明する。
図７において、組立作業者が部品ストッカ４からネジ部品１５を手に取り、その部品が形状認識装置２で形状認識される。これによって、その部品が計算機３上でネジ部品の３次元形状モデル１６と照合された後、ネジ部品１５の締付けトルクの指示情報が提供される。 (Example 1)
In this example, an example of assembling screw parts will be described.
In FIG. 7, the assembly operator picks up the screw component 15 from the component stocker 4, and the shape is recognized by the shape recognition device 2. Thus, after the part is collated with the three-dimensional shape model 16 of the screw part on the computer 3, instruction information on the tightening torque of the screw part 15 is provided.

組立指示情報出力部５０は、ネジ部品の３次元形状モデル１６上に付帯された作業指示情報から、指示内容の１つである締付けトルク値の属性情報が取得される。取得された締付けトルク値はウインドウ１７に表示され、締付けトルク値の指示が行われる。作業者は、ネジ部品１５を所定のトルクで締めると、トルクドライバ１８がトルク値を計測し、計測した値が出力される。このトルクドライバ１８から出力されたトルク値は、計算機３に与えられる。計算機３は、与えられたトルク値を読取り、締付けトルクの確認を行う。   The assembly instruction information output unit 50 acquires the attribute information of the tightening torque value, which is one of the instruction contents, from the work instruction information attached to the three-dimensional shape model 16 of the screw part. The acquired tightening torque value is displayed in the window 17 and the tightening torque value is instructed. When the operator tightens the screw component 15 with a predetermined torque, the torque driver 18 measures the torque value, and the measured value is output. The torque value output from the torque driver 18 is given to the computer 3. The computer 3 reads the given torque value and confirms the tightening torque.

一方、計算機３上では、実施の形態１で説明したように、ネジ部品１５の３次元形状モデル１６が、ベース部品に設計意図通りに組付いた状態の３次元形状モデルを生成する。組立作業者がベース部品にネジ部品１５の組付を完了すると、計算機３は、カメラ１により認識された部分組立品の形状と、計算機３上の３次元形状モデルとの照合を行い、ベース部品にネジ部品１５が正しく組付けられたか否かのチェックを行う。   On the other hand, on the computer 3, as described in the first embodiment, the three-dimensional shape model 16 of the screw component 15 generates a three-dimensional shape model that is assembled to the base component as designed. When the assembling operator completes the assembly of the screw part 15 to the base part, the computer 3 collates the shape of the subassembly recognized by the camera 1 with the three-dimensional shape model on the computer 3, and the base part It is checked whether or not the screw component 15 is correctly assembled.

このようにして、組立作業者は、ネジ部品１５が作業指示に基づいて適正に取り付けされたか否かを、確認することができる。   In this way, the assembling worker can confirm whether or not the screw component 15 is properly attached based on the work instruction.

（実施例２）
この例では、挿入部品のように組付方向の指示が必要な部品を例に説明する。
図７において、組立作業者が部品ストッカ４から挿入部品を手に取ると、その部品が形状認識装置２で形状認識される。これによって、その部品が計算機３上で挿入部品の３次元形状モデルと照合された後、挿入部品の組付方向が指示される。 (Example 2)
In this example, a description will be given by taking as an example a component that requires an assembly direction instruction, such as an insertion component.
In FIG. 7, when the assembly operator picks up the inserted component from the component stocker 4, the shape is recognized by the shape recognition device 2. Thus, after the part is collated with the three-dimensional shape model of the insertion part on the computer 3, the assembly direction of the insertion part is instructed.

組立指示情報出力部５０は、挿入部品の３次元形状モデル上に付帯された作業指示情報から、指示内容の１つである挿入方向が取得される。取得された挿入方向は、ウインドウ１７に表示され、その方向が指示される。   The assembly instruction information output unit 50 acquires an insertion direction which is one of the instruction contents from the work instruction information attached on the three-dimensional shape model of the inserted part. The acquired insertion direction is displayed in the window 17 and the direction is instructed.

一方、計算機３上では、ベース部品に挿入部品の３次元形状モデルが設計意図通りに組付いた状態の、３次元形状モデルが生成される。組立作業者がベース部品に挿入部品の組付を完了すると、カメラ１により認識された組立後の形状と計算機３上の３次元形状モデルとの照合を行い、ベース部品に挿入部品が正しく組付けられたか否のチェックが行われる。   On the other hand, on the computer 3, a three-dimensional shape model in a state in which the three-dimensional shape model of the insertion part is assembled to the base part as designed is generated. When the assembly operator completes the assembly of the insertion part to the base part, the assembled shape recognized by the camera 1 is checked against the three-dimensional shape model on the computer 3, and the insertion part is correctly assembled to the base part. A check is made to see if it has been done.

実施の形態４．
図８は、実施の形態４による組立品検査装置の構成を示す図である。この発明に係る実施の形態４では、組み付け部品に貼付／刻印された部品番号、ロット番号等のラベル文字列を識別し、組立品検査を行う。ここで取扱う組立品では、組み付け品の部品番号、ロット番号の識別を目的として、組立作業中にラベルの貼付や刻印が行われる。 Embodiment 4 FIG.
FIG. 8 is a diagram illustrating a configuration of an assembly inspection apparatus according to the fourth embodiment. In Embodiment 4 according to the present invention, a label character string such as a part number or lot number affixed / engraved on an assembled part is identified, and an assembly inspection is performed. In the assembly handled here, for the purpose of identifying the part number and lot number of the assembly product, labeling and stamping are performed during the assembly operation.

図において、組立作業者により、部品または組立品６にラベル１９の貼付が行われる。ラベル１９の貼付後、カメラ１により撮影が行われる。カメラ１の撮影画像に基づいて、ラベル１９の貼付位置、大きさ、文字列情報が形状認識装置２によって読み取られる。   In the figure, a label 19 is attached to a part or assembly 6 by an assembly operator. After the label 19 is attached, the camera 1 takes a picture. Based on the photographed image of the camera 1, the position, size, and character string information of the label 19 are read by the shape recognition device 2.

一方、計算機３は、３次元図面庫５から、３次元形状モデル上に貼られるラベル情報を取得し、３次元形状モデル上におけるラベル形状データを得る。計算機３は、形状認識装置２により認識されたラベル１９の貼付位置、大きさ、文字列と、ラベル形状データにおけるラベルの貼付位置、大きさ、文字列との照合を行う。この照合結果に基づいて、組立部品の正しい位置に正しい大きさのラベル１９が貼られ、正しい文字列になっているか否かのチェックが行われる。   On the other hand, the computer 3 acquires label information pasted on the three-dimensional shape model from the three-dimensional drawing store 5 and obtains label shape data on the three-dimensional shape model. The computer 3 collates the pasting position, size, and character string of the label 19 recognized by the shape recognition device 2 with the pasting position, size, and character string of the label in the label shape data. Based on this collation result, a label 19 of the correct size is attached to the correct position of the assembly part, and it is checked whether or not the character string is correct.

この発明に係る実施の形態１の構成を示す図である。It is a figure which shows the structure of Embodiment 1 which concerns on this invention. この発明に係る実施の形態１による計算機３の構成を示す図である。It is a figure which shows the structure of the computer 3 by Embodiment 1 which concerns on this invention. この発明に係る実施の形態１によるデータフローを示す図である。It is a figure which shows the data flow by Embodiment 1 which concerns on this invention. この発明に係る実施の形態１によるフローチャートを示す図である。It is a figure which shows the flowchart by Embodiment 1 which concerns on this invention. この発明に係る実施の形態２の構成を示す図である。It is a figure which shows the structure of Embodiment 2 which concerns on this invention. この発明に係る実施の形態２の構成を示す図である。It is a figure which shows the structure of Embodiment 2 which concerns on this invention. この発明に係る実施の形態３の構成を示す図である。It is a figure which shows the structure of Embodiment 3 which concerns on this invention. この発明に係る実施の形態４の実施例を示す図である。It is a figure which shows the Example of Embodiment 4 which concerns on this invention.

符号の説明Explanation of symbols

１ カメラ、２ 形状認識装置、３ 計算機、４ 部品ストッカ、５ ３次元図面庫、６ 土台部品、７ 部品、８ 組付いた３次元形状、９ 部品、１０ 組付いた３次元形状、１１ カメラ（目線）、１２ 形状のエッジ等の特徴的な部分、１３ ３次元形状モデル、１４ 遠隔地計算機、１５ ネジ部品、１７ ウインドウ、１８ トルクドライバ、１９ ラベル、２０ 可動台、２１ 部品識別装置、２３ 部品３次元モデル生成部、２４ 部品射影形状データ生成部、２５ 部品判別部、２６ 記憶装置、２７ ３次元モデル生成部、２８ 射影形状データ生成部、２９ 比較部、４１ データ伝送装置、４２ 画像表示装置、５０ 組立指示情報出力部。   1 camera, 2 shape recognition device, 3 computer, 4 parts stocker, 5 3D drawing library, 6 foundation parts, 7 parts, 8 sets of 3D shapes, 9 parts, 10 sets of 3D shapes, 11 cameras ( Eyes), characteristic parts such as 12-shaped edges, 13 3D shape models, 14 remote computers, 15 screw parts, 17 windows, 18 torque drivers, 19 labels, 20 movable bases, 21 parts identification devices, 23 parts 3D model generation unit, 24 component projection shape data generation unit, 25 component discrimination unit, 26 storage device, 27 3D model generation unit, 28 projection shape data generation unit, 29 comparison unit, 41 data transmission device, 42 image display device 50 Assembly instruction information output unit.

Claims (8)

組立品の組立てに用いられる部品の識別情報と、当該識別情報に対応した部品の３次元形状データを順次結合して生成される組立品の３次元形状データとを格納する記憶装置と、
組み付ける部品を識別する部品識別装置と、
部分組立品を撮影するカメラと、
上記カメラの撮影画像に基づいて、部分組立品の２次元形状データを生成する形状認識装置と、
上記記憶装置に格納された組立品の３次元形状データを用いて、上記部品識別装置で識別された部品の組み付けにより生成される部分組立品の３次元形状データを生成する３次元形状モデル生成部と、
上記３次元形状モデル生成部により生成される部分組立品の３次元形状データを、上記カメラの視点方向に投影して、２次元形状データを生成する射影形状データ生成部と、
形状認識装置により生成された２次元形状データと射影形状データ生成部により生成された２次元形状データとを比較し、部分組立品の組み付け間違いを検出する比較部と、
を備えた組立品検査装置。 A storage device for storing identification information of parts used for assembling the assembly, and three-dimensional shape data of the assembly generated by sequentially combining the three-dimensional shape data of the parts corresponding to the identification information;
A component identification device for identifying a component to be assembled;
A camera for photographing subassemblies;
A shape recognition device that generates two-dimensional shape data of the subassembly based on the captured image of the camera;
A three-dimensional shape model generation unit that generates three-dimensional shape data of a subassembly generated by assembling the components identified by the component identification device, using the three-dimensional shape data of the assembly stored in the storage device When,
A projection shape data generation unit that projects the three-dimensional shape data of the subassembly generated by the three-dimensional shape model generation unit in the viewpoint direction of the camera to generate two-dimensional shape data;
A comparison unit that compares the two-dimensional shape data generated by the shape recognition device with the two-dimensional shape data generated by the projected shape data generation unit, and detects an assembly error of the subassembly;
Assembly inspection device with 組立品の組立てに用いられる部品の識別情報と、当該識別情報に対応した部品の３次元形状データを順次結合して生成される組立品の３次元形状データとを格納する記憶装置と、
組み付ける部品の識別情報を取得する部品識別装置と、
組み付ける部品および部分組立品を撮影するカメラと、
上記カメラの撮影画像に基づいて、組み付ける部品および部分組立品の２次元形状データを生成する形状認識装置と、
上記部品識別装置で取得された組み付ける部品の識別情報に基づいて、上記記憶装置に格納された組立品の３次元形状データから、組立てに用いられる部品の３次元形状データを生成する部品３次元形状モデル生成部と、
上記部品３次元形状モデル生成部により生成される部品の３次元形状データを、上記カメラの視点方向に投影して、組立てに用いられる部品の２次元形状データを生成する部品射影形状データ生成部と、
上記形状認識装置により生成された組み付ける部品の２次元形状データと部品射影形状データ生成部により生成された組立てに用いられる部品の２次元形状データとを比較し、組み付ける部品が組立てに用いられる部品であるか否かを判別する部品判別部と、
上記部品判別部にて組み付ける部品が組立てに用いられる部品であると判別されたとき、上記記憶装置に格納された組立品の３次元形状データを用いて、上記組み付ける部品の組み付けにより生成される部分組立品の３次元形状データを生成する３次元形状モデル生成部と、
上記３次元形状モデル生成部により生成される部分組立品の３次元形状データを、上記カメラの視点方向に投影して、２次元形状データを生成する射影形状データ生成部と、
形状認識装置により生成された２次元形状データと射影形状データ生成部により生成された２次元形状データとを比較し、部分組立品の組み付け間違いを検出する比較部と、
を備えた組立品検査装置。 A storage device for storing identification information of parts used for assembling the assembly, and three-dimensional shape data of the assembly generated by sequentially combining the three-dimensional shape data of the parts corresponding to the identification information;
A component identification device for acquiring identification information of components to be assembled;
A camera for photographing the parts and subassemblies to be assembled;
A shape recognition device for generating two-dimensional shape data of parts and subassemblies to be assembled based on the captured image of the camera;
A component 3D shape for generating 3D shape data of a component used for assembly from 3D shape data of an assembly stored in the storage device based on identification information of the component to be assembled acquired by the component identification device A model generator,
A component projection shape data generation unit that projects the three-dimensional shape data of the component generated by the component three-dimensional shape model generation unit in the viewpoint direction of the camera and generates two-dimensional shape data of the component used for assembly; ,
The two-dimensional shape data of the part to be assembled generated by the shape recognition device is compared with the two-dimensional shape data of the part used for assembly generated by the part projection shape data generation unit, and the part to be assembled is a part used for assembly. A component discriminating unit that discriminates whether or not there is,
A part generated by assembling the assembled part using the three-dimensional shape data of the assembly stored in the storage device when the part identifying unit determines that the part to be assembled is a part used for assembly. A three-dimensional shape model generation unit for generating three-dimensional shape data of the assembly;
A projection shape data generation unit that projects the three-dimensional shape data of the subassembly generated by the three-dimensional shape model generation unit in the viewpoint direction of the camera to generate two-dimensional shape data;
A comparison unit that compares the two-dimensional shape data generated by the shape recognition device with the two-dimensional shape data generated by the projected shape data generation unit, and detects an assembly error of the subassembly;
Assembly inspection device with 形状認識装置は、認識可能な少なくとも３点の特徴部位を有し組立品の一部を構成する土台の撮影画像から、土台の特徴部位を識別し、識別した特徴部位に基づいて、土台の基準方向の向きを計測し、
上記射影形状データ生成部は、上記形状認識装置で計測された土台の基準方向の向きに基づいて、土台の基準方向に対する上記カメラの視点方向を求め、上記３次元形状モデル生成部により生成される部分組立品の３次元形状データを、求めたカメラの視点方向に投影して、２次元形状データを生成することを特徴とした請求項１または請求項２記載の組立品検査装置。 The shape recognition device identifies a base feature from a photographed image of a base that has at least three recognizable feature parts and forms a part of an assembly, and based on the identified feature parts, Measure the direction of the direction,
The projected shape data generation unit obtains the viewpoint direction of the camera with respect to the reference direction of the base based on the orientation of the reference direction of the base measured by the shape recognition device, and is generated by the three-dimensional shape model generation unit. 3. The assembly inspection apparatus according to claim 1, wherein the three-dimensional shape data of the sub-assembly is projected in the obtained camera viewpoint direction to generate two-dimensional shape data. 部品識別装置は、組み付ける部品に貼り付けされた識別子の情報を非接触で読み取り、部品の識別情報を取得することを特徴とした請求項１または請求項２記載の組立品検査装置。 3. The assembly inspection apparatus according to claim 1, wherein the component identification device reads the information of the identifier attached to the component to be assembled in a non-contact manner and acquires the identification information of the component. 組み付ける部品の識別情報と、組立品の３次元形状データと、土台の設置方向とを、遠隔地の計算機に転送するデータ転送装置を備えたことを特徴とする請求項１または請求項２記載の組立品検査装置。 3. The data transfer device according to claim 1, further comprising a data transfer device for transferring the identification information of the part to be assembled, the three-dimensional shape data of the assembly, and the installation direction of the base to a remote computer. Assembly inspection device. 上記データ転送装置からの伝送データに基づいて、組み付ける部品の３次元形状データを異なる表示形式で表示可能な状態で、上記組み付ける部品を組み付けて生成される部分組立品の３次元形状データを生成する３次元形状モデル生成部と、
上記３次元形状モデル生成部により生成された部分組立品の３次元形状データを、上記組み付ける部品の３次元形状データを異なる表示形式で表示した状態で、土台の設置方向に投影した２次元形状データを表示する画像表示装置と、
を備えたことを特徴とする請求項５記載の組立品検査装置。 Based on the transmission data from the data transfer device, the three-dimensional shape data of the subassembly generated by assembling the assembled component is generated in a state where the three-dimensional shape data of the assembled component can be displayed in different display formats. A three-dimensional shape model generation unit;
Two-dimensional shape data obtained by projecting the three-dimensional shape data of the subassembly generated by the three-dimensional shape model generation unit in the installation direction of the base in a state where the three-dimensional shape data of the part to be assembled is displayed in different display formats. An image display device for displaying
The assembly inspection apparatus according to claim 5, further comprising: 部品識別装置で得られた組み付ける部品の識別情報に基づいて、次に組立み付けられる部品に対する組立の指示情報を出力する組立指示情報出力部を備えたことを特徴とする請求項１または請求項２記載の組立品検査装置。 2. An assembly instruction information output unit for outputting assembly instruction information for a part to be assembled next based on identification information of a part to be assembled obtained by the part identification apparatus. The assembly inspection apparatus according to 2. 組立品に貼り付けまたは刻印された文字列を認識する、画像認識装置を備えたことを特徴とする請求項１または請求項２記載の組立品検査装置。 The assembly inspection apparatus according to claim 1, further comprising an image recognition device that recognizes a character string pasted or stamped on the assembly.
JP2007071873A 2007-03-20 2007-03-20 Assembly inspection device Pending JP2008235504A (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2007071873A JP2008235504A (en) 2007-03-20 2007-03-20 Assembly inspection device

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2007071873A JP2008235504A (en) 2007-03-20 2007-03-20 Assembly inspection device

Publications (1)

Publication Number Publication Date
JP2008235504A true JP2008235504A (en) 2008-10-02

Family

ID=39907969

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2007071873A Pending JP2008235504A (en) 2007-03-20 2007-03-20 Assembly inspection device

Country Status (1)

Country Link
JP (1) JP2008235504A (en)

Cited By (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010218016A (en) * 2009-03-13 2010-09-30 Omron Corp Registration method for model data for optical recognition processing, and optical sensor
KR20140113337A (en) * 2013-03-15 2014-09-24 더 보잉 컴파니 Condition of assembly visualization system based on build cycles
KR20150081950A (en) * 2014-01-07 2015-07-15 한국전자통신연구원 System for experience of assembling digital cultural assets by using miniature components
KR101539216B1 (en) * 2014-02-27 2015-07-24 주식회사 동아지질 Apparatus of measuring a defect of assembly and method using the same
US9396576B2 (en) 2013-08-09 2016-07-19 Canon Kabushiki Kaisha Method and apparatus for estimating the three-dimensional shape of an object
JP2017068849A (en) * 2015-10-01 2017-04-06 株式会社巴コーポレーション Article assembling status information display device
JP2017102061A (en) * 2015-12-03 2017-06-08 キヤノン株式会社 Measurement device, measurement method, and manufacturing method of article
JP2017183390A (en) * 2016-03-29 2017-10-05 日本電気株式会社 Identification apparatus
KR101880555B1 (en) * 2016-06-24 2018-08-24 한국항공우주산업 주식회사 Fool proof system for factory automation line and method of operating thereof
CN109801274A (en) * 2019-01-09 2019-05-24 江南造船(集团)有限责任公司 Component assembling method and its device, equipment and storage medium based on projection
JP6564549B1 (en) * 2019-03-11 2019-08-21 ココン株式会社 Validity authentication activation management system
JP2020064909A (en) * 2018-10-15 2020-04-23 東京エレクトロン株式会社 Assembled state presentation device and assembled state presentation method
JP2020067691A (en) * 2018-10-22 2020-04-30 株式会社ミツトヨ Data recording system
JP2020122653A (en) * 2019-01-29 2020-08-13 株式会社Ｓｕｂａｒｕ Object confirmation device
JP2020197437A (en) * 2019-05-31 2020-12-10 株式会社ミツトヨ Shape measurement system
WO2021009846A1 (en) * 2019-07-16 2021-01-21 株式会社Ｆｕｊｉ Work machine
JP2021149828A (en) * 2020-03-23 2021-09-27 株式会社日立製作所 Work assisting system and work assisting method

Cited By (28)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010218016A (en) * 2009-03-13 2010-09-30 Omron Corp Registration method for model data for optical recognition processing, and optical sensor
KR20140113337A (en) * 2013-03-15 2014-09-24 더 보잉 컴파니 Condition of assembly visualization system based on build cycles
KR102288094B1 (en) * 2013-03-15 2021-08-10 더 보잉 컴파니 Condition of assembly visualization system based on build cycles
US9396576B2 (en) 2013-08-09 2016-07-19 Canon Kabushiki Kaisha Method and apparatus for estimating the three-dimensional shape of an object
KR102066024B1 (en) * 2014-01-07 2020-01-14 한국전자통신연구원 System for experience of assembling digital cultural assets by using miniature components
KR20150081950A (en) * 2014-01-07 2015-07-15 한국전자통신연구원 System for experience of assembling digital cultural assets by using miniature components
KR101539216B1 (en) * 2014-02-27 2015-07-24 주식회사 동아지질 Apparatus of measuring a defect of assembly and method using the same
JP2017068849A (en) * 2015-10-01 2017-04-06 株式会社巴コーポレーション Article assembling status information display device
JP2017102061A (en) * 2015-12-03 2017-06-08 キヤノン株式会社 Measurement device, measurement method, and manufacturing method of article
JP2017183390A (en) * 2016-03-29 2017-10-05 日本電気株式会社 Identification apparatus
KR101880555B1 (en) * 2016-06-24 2018-08-24 한국항공우주산업 주식회사 Fool proof system for factory automation line and method of operating thereof
JP7103910B2 (en) 2018-10-15 2022-07-20 東京エレクトロン株式会社 Assembly status presentation device and assembly status presentation method
JP2020064909A (en) * 2018-10-15 2020-04-23 東京エレクトロン株式会社 Assembled state presentation device and assembled state presentation method
JP7193303B2 (en) 2018-10-22 2022-12-20 株式会社ミツトヨ data recording system
JP2020067691A (en) * 2018-10-22 2020-04-30 株式会社ミツトヨ Data recording system
CN109801274B (en) * 2019-01-09 2022-03-01 江南造船(集团)有限责任公司 Projection-based part assembling method and device, equipment and storage medium
CN109801274A (en) * 2019-01-09 2019-05-24 江南造船(集团)有限责任公司 Component assembling method and its device, equipment and storage medium based on projection
JP2020122653A (en) * 2019-01-29 2020-08-13 株式会社Ｓｕｂａｒｕ Object confirmation device
JP7204504B2 (en) 2019-01-29 2023-01-16 株式会社Subaru Object confirmation device
JP6564549B1 (en) * 2019-03-11 2019-08-21 ココン株式会社 Validity authentication activation management system
JP2020197437A (en) * 2019-05-31 2020-12-10 株式会社ミツトヨ Shape measurement system
JP7296186B2 (en) 2019-05-31 2023-06-22 株式会社ミツトヨ Shape measurement system and its control method
WO2021009846A1 (en) * 2019-07-16 2021-01-21 株式会社Ｆｕｊｉ Work machine
JPWO2021009846A1 (en) * 2019-07-16 2021-01-21
CN114073177A (en) * 2019-07-16 2022-02-18 株式会社富士 Working machine
JP7238132B2 (en) 2019-07-16 2023-03-13 株式会社Fuji work machine
JP2021149828A (en) * 2020-03-23 2021-09-27 株式会社日立製作所 Work assisting system and work assisting method
JP7299187B2 (en) 2020-03-23 2023-06-27 株式会社日立製作所 Work support system and work support method

Similar Documents

Publication Publication Date Title
JP2008235504A (en) Assembly inspection device
US9448758B2 (en) Projecting airplane location specific maintenance history using optical reference points
US8559704B2 (en) Three-dimensional vision sensor
US8472703B2 (en) Image capture environment calibration method and information processing apparatus
EP3229169A1 (en) Code recognition device
JP2018530800A (en) Method for assembling electric switch and assembly assist device for simplifying assembly of such switch
CN104023906A (en) Work management apparatus and work management system
JP2002092647A (en) Information presentation system and model error detection system
US20210358110A1 (en) Device and Method for Processing at Least One Work Area With a Processing Tool
JP2021152979A (en) Work support device, work support method and program
CN109715307A (en) Bending machine with workspace image capture device and the method for indicating workspace
KR101535801B1 (en) Process inspection device, method and system for assembling process in product manufacturing using depth map sensors
JP2009216503A (en) Three-dimensional position and attitude measuring method and system
JP2009289046A (en) Operation support device and method using three-dimensional data
CN113196165A (en) Information projection system, control device, and information projection method
US20240029234A1 (en) Method for inspecting a correct execution of a processing step of components, in particular a wiring harness, data structure, and system
JP7036874B2 (en) Code recognition device
CN106203252A (en) Find out manipulator shaft angle by camera and select robot
US20150286975A1 (en) Process support system and method
CN116563391B (en) Automatic laser structure calibration method based on machine vision
WO2017135107A1 (en) Wire connection work assist system
US20090108073A1 (en) Method and apparatus for aligning a code and a reader without displaying a background image
US10967517B2 (en) Information processing apparatus, method, and storage medium for presenting information for calibration
EP3647890B1 (en) Assembly system and method for operating an assembly system
JP6736204B2 (en) Work support method, work support program, and work support device